CN113360512A - 基于用户反馈的模型更新方法、装置及存储介质 - Google Patents

基于用户反馈的模型更新方法、装置及存储介质 Download PDF

Info

Publication number
CN113360512A
CN113360512A CN202110686654.4A CN202110686654A CN113360512A CN 113360512 A CN113360512 A CN 113360512A CN 202110686654 A CN202110686654 A CN 202110686654A CN 113360512 A CN113360512 A CN 113360512A
Authority
CN
China
Prior art keywords
label
model
user
updating
confidence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110686654.4A
Other languages
English (en)
Other versions
CN113360512B (zh
Inventor
范凌
王喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tezign Shanghai Information Technology Co Ltd
Original Assignee
Tezign Shanghai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tezign Shanghai Information Technology Co Ltd filed Critical Tezign Shanghai Information Technology Co Ltd
Priority to CN202110686654.4A priority Critical patent/CN113360512B/zh
Publication of CN113360512A publication Critical patent/CN113360512A/zh
Application granted granted Critical
Publication of CN113360512B publication Critical patent/CN113360512B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/219Managing data history or versioning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种基于用户反馈的模型更新方法、装置及存储介质,包括:获取用户对基于模型所生成标签的反馈数据,所述反馈数据包括用户对任意一个标签任何或不认可;基于预设数量用户的反馈数据,对模型进行更新以使其输出的标签进行调整。基于预设数量用户的反馈数据,对模型进行更新以使其输出的标签进行调整包括:获取任意一个标签的曝光数以及该标签的不认可数将不认可数与曝光数做比得到标签置信度,基于所述标签置信度对所述模型更新。能够根据用户对模型输出的标签做的反馈更新模型对标签的置信度,并且其在得到新的标签置信度的过程中,会综合考虑多个用户对每个标签的认可或不认可的情况,使得更新后的模型更符合多数人使用需求。

Description

基于用户反馈的模型更新方法、装置及存储介质
技术领域
本发明涉及模型更新技术领域,尤其涉及一种基于用户反馈的模型更新方法、装置及存储介质。
背景技术
业务、数据、计算模型之间存在着相辅相成的关系,构建计算模型闭环是衡量模型和迭代模型的重要步骤。
在图像处理领域,因为图像内容可以是千奇百怪、非常复杂多变的,没有一种计算模型或技术能保证机器得到的标签100%正确,为了计算模型能成长,标签能越来越准确,我们需要不断地优化算法模型。
常见的计算模型通过以下的方式进行优化,包括:
1、扩充训练数据的维度,训练数据越多,模型能够识别的目标就越多;
2、研究更好的算法模型;
在第1种优化方式中,计算模型很容易发生过拟合的情况,在第二种优化方式中,在复杂的业务场景下,再好的计算模型也会出现识别错误的情况。
我们可以认为模型在业务场景是个不经世事的“小孩子”,而真实业务场景的使用人员就是他们的导师,对于模型识别错误的标签,通过用户来告诉它,以免下次出现同样的错误,以此来保障其不会再犯此类错误,实现模型的进一步优化。但是对于当前的技术来说,还没有一种良好的方式能够对用户的反馈进行模型更新。
发明内容
本发明实施例提供一种基于用户反馈的模型更新方法、装置及存储介质,能够根据客户的反馈数据对计算模型进行更新,以达到提高计算模型识别准确率的目的。
本发明实施例的第一方面,提供一种基于用户反馈的模型更新方法,包括:
获取用户对基于模型所生成标签的反馈数据,所述反馈数据包括用户对任意一个标签任何或不认可;
基于预设数量用户的反馈数据,对模型进行更新以使其输出的标签进行调整。
可选地,在第一方面的一种可能实现方式中,基于预设数量用户的反馈数据,对模型进行更新以使其输出的标签进行调整包括:
获取任意一个标签的曝光数以及该标签的不认可数;
将不认可数与曝光数做比得到标签置信度,基于所述标签置信度对所述模型更新。
可选地,在第一方面的一种可能实现方式中,所述将不认可数与曝光数做比得到标签置信度,基于所述标签置信度对所述模型更新包括:
对所有标签的曝光数进行统计,平均曝光次数为m,若标签的曝光数>平均曝光数,则按照以下公式计算:
L=M*(1+ΔU)
ΔU=lr*(Unew-Uold)
其中,L为标签的用户置信度,ΔU为用户置信度差值,Unew为当前得到的用户置信度,Uold为上一版本的用户置信度,lr为学习率。
可选地,在第一方面的一种可能实现方式中,还包括:
将曝光数大于等于平均曝光数且准确率为0的标签定义为黑名单标签;
被定为黑名单标签的标签不再出现与模型中。
可选地,在第一方面的一种可能实现方式中,所述获取用户对基于模型所生成标签的反馈数据包括:
所述反馈数据包括新增任意一个标签,新增的所述标签的初始置信度为1。
本发明实施例的第二方面,提供一种基于用户反馈的模型更新装置,包括:
获取模块,用于获取用户对基于模型所生成标签的反馈数据,所述反馈数据包括用户对任意一个标签任何或不认可;
更新模块,用于基于预设数量用户的反馈数据,对模型进行更新以使其输出的标签进行调整。
可选地,在第二方面的一种可能实现方式中,所述更新模块包括:
获取单元,用于获取任意一个标签的曝光数以及该标签的不认可数;
更新单元,将不认可数与曝光数做比得到标签置信度,基于所述标签置信度对所述模型更新。
可选地,在第二方面的一种可能实现方式中,所述更新单元还用于执行以下步骤,包括:
对所有标签的曝光数进行统计,平均曝光次数为m,若标签的曝光数>平均曝光数,则按照以下公式计算:
L=M*(1+ΔU)
ΔU=lr*(Unew-Uold)
其中,L为标签的用户置信度,ΔU为用户置信度差值,Unew为当前得到的用户置信度,Uold为上一版本的用户置信度,lr为学习率。
可选地,在第二方面的一种可能实现方式中,还包括黑名单处理模块,用于执行以下步骤:
将曝光数大于等于平均曝光数且准确率为0的标签定义为黑名单标签;
被定为黑名单标签的标签不再出现与模型中。
本发明实施例的第三方面,提供一种可读存储介质,所述可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时用于实现本发明第一方面及第一方面各种可能设计的所述方法。
本发明提供的一种基于用户反馈的模型更新方法、装置及存储介质,能够根据用户对模型输出的标签做的反馈更新模型对标签的置信度,并且其在得到新的标签置信度的过程中,会综合考虑多个用户对每个标签的认可或不认可的情况,使得更新后的模型更符合多数人使用需求。
并且,本发明还会设置标签黑名单,当一个标签被定义为属于标签黑名单时,此时就是将该标签在模型中进行删除,使得模型在生成标签时不再生成标签黑名单内的标签。
附图说明
图1为基于用户反馈的模型更新方法的第一种实施方式的流程图;
图2为被识别图像的示意图;
图3为多个用户的反馈数据的示意图;
图4为基于用户反馈的模型更新装置的第一种实施方式的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
应当理解,在本发明的各种实施例中,各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
应当理解,在本发明中,“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解,在本发明中,“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含A、B和C”、“包含A、B、C”是指A、B、C三者都包含,“包含A、B或C”是指包含A、B、C三者之一,“包含A、B和/或C”是指包含A、B、C三者中任1个或任2个或3个。
应当理解,在本发明中,“与A对应的B”、“与A相对应的B”、“A与B相对应”或者“B与A相对应”,表示B与A相关联,根据A可以确定B。根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其他信息确定B。A与B的匹配,是A与B的相似度大于或等于预设的阈值。
取决于语境,如在此所使用的“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
本发明提供一种基于用户反馈的模型更新方法,如图1所示其流程图,包括:
步骤S130、获取用户对基于模型所生成标签的反馈数据,所述反馈数据包括用户对任意一个标签任何或不认可。
在模型对待识别数据进行识别后悔生成多个标签,其中待识别数据可以是图2所示的图片,该图片中包括了至少以下的标签,狗、玫瑰花、植物以及宠物衣服。
多个用户对每个标签的认可或不认可通过以下表格表示
标签 删除 选择 新增
狗狗 0 100 0
玫瑰花 0 100 0
植物 30 70 0
宠物衣服 0 0 10
例如说植物对应的数量30为删除,则可能存在30个用户对植物的标签表示不认可。狗狗的对应的数量100为选择,则可能存在100个用户对狗狗表示认可。新增为10,则可能存在10个用户对新增宠物衣服表示认可。
步骤S160、基于预设数量用户的反馈数据,对模型进行更新以使其输出的标签进行调整。
如图3所示,包括5个用户,每个用户会对每个标签具有认可(图中的勾)或不认可(图中的叉)的情况,通过埋点数据分析,调整模型输出的标签。可以理解为让用户对错误的标签进行纠错,每个标签最终是被用户选择保留下来或者被删除至少得到5个人中的至少3个人(3/5)的一致判断,作为最终的结果。根据最终的结果对标签的置信度进行调整,进而同时对模型更新。
进一步的,在步骤S160中,包括:
获取任意一个标签的曝光数以及该标签的不认可数。
将不认可数与曝光数做比得到标签置信度,基于所述标签置信度对所述模型更新。
其中,将不认可数与曝光数做比得到标签置信度,基于所述标签置信度对所述模型更新包括:
对所有标签的曝光数进行统计,平均曝光次数为m,若标签的曝光数>平均曝光数,则按照以下公式计算:
L=M*(1+ΔU)
ΔU=lr*(Unew-Uold)
其中,L为标签的用户置信度,ΔU为用户置信度差值,Unew为当前得到的用户置信度,Uold为上一版本的用户置信度,lr为学习率。
通过以下表格,对上述公式的名词、解释以及计算方法进行说明
Figure BDA0003124955620000061
Figure BDA0003124955620000071
在一个可能的实施方式中,还包括:
将曝光数大于等于平均曝光数且准确率为0的标签定义为黑名单标签;
被定为黑名单标签的标签不再出现与模型中。
黑名单标签为模型中输出的错误标签,此时需要防止模型再次输出该标签,即控制黑名单标签的标签不再出现与模型中,以提高模型的准确率。
其中,获取用户对基于模型所生成标签的反馈数据包括:
所述反馈数据包括新增任意一个标签,新增的所述标签的初始置信度为1。
本发明更新置信度后的标签,标签置信度更新并保存在数据库中,记录新的版本号,例如说模型上一个版本号为1.1,则模型的下一个版本号可以是1.2。
标签置信度差值作为下面库中的deltaP,应用在下次的模型输出
其中,模型上一版本的用户反馈为oldP,如果标签在历史版本中未出现,用户置信度的初始值设为1,此次的用户置信度Unew为下面表格的newP(下次更新时,此次的用户置信度Unew作为下次的oldP,依次迭代)。
本发明包括但不限于具有以下的优势:
1.通过记录用户新增标签,可以及时了解用户对新标签的需求,后续可以根据需求补充数据;
2.统计每个标签的删除率、接受率可以清晰的获取用户对每个标签的认可程度,从而分析模型在不同标签上的表现,避免盲目的增加数据/更新算法;
3.通过黑名单机制可以避免模型容易发生的错误再次出现;
4.基于用户反馈,自动更新模型给出的标签置信度,让新模型输出更加符合用户的使用场景和业务属性的标签。
本发明提供的技术方案,还包括一种基于用户反馈的模型更新装置,如图4所示,包括:
获取模块,用于获取用户对基于模型所生成标签的反馈数据,所述反馈数据包括用户对任意一个标签任何或不认可;
更新模块,用于基于预设数量用户的反馈数据,对模型进行更新以使其输出的标签进行调整。
在一个实施例中,所述更新模块包括:
获取单元,用于获取任意一个标签的曝光数以及该标签的不认可数;
更新单元,将不认可数与曝光数做比得到标签置信度,基于所述标签置信度对所述模型更新。
在一个实施例中,所述更新单元还用于执行以下步骤,包括:
对所有标签的曝光数进行统计,平均曝光次数为m,若标签的曝光数>平均曝光数,则按照以下公式计算:
L=M*(1+ΔU)
ΔU=lr*(Unew-Uold)
其中,L为标签的用户置信度,ΔU为用户置信度差值,Unew为当前得到的用户置信度,Uold为上一版本的用户置信度,lr为学习率。
在一个实施例中,还包括黑名单处理模块,用于执行以下步骤:
将曝光数大于等于平均曝光数且准确率为0的标签定义为黑名单标签;
被定为黑名单标签的标签不再出现与模型中。
其中,可读存储介质可以是计算机存储介质,也可以是通信介质。通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。计算机存储介质可以是通用或专用计算机能够存取的任何可用介质。例如,可读存储介质耦合至处理器,从而使处理器能够从该可读存储介质读取信息,且可向该可读存储介质写入信息。当然,可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(ApplicationSpecific Integrated Circuits,简称:ASIC)中。另外,该ASIC可以位于用户设备中。当然,处理器和可读存储介质也可以作为分立组件存在于通信设备中。可读存储介质可以是只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本发明还提供一种程序产品,该程序产品包括执行指令,该执行指令存储在可读存储介质中。设备的至少一个处理器可以从可读存储介质读取该执行指令,至少一个处理器执行该执行指令使得设备实施上述的各种实施方式提供的方法。
在上述终端或者服务器的实施例中,应理解,处理器可以是中央处理单元(英文:Central Processing Unit,简称:CPU),还可以是其他通用处理器、数字信号处理器(英文:Digital Signal Processor,简称:DSP)、专用集成电路(英文:Application SpecificIntegrated Circuit,简称:ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于用户反馈的模型更新方法,其特征在于,包括:
获取用户对基于模型所生成标签的反馈数据,所述反馈数据包括用户对任意一个标签任何或不认可;
基于预设数量用户的反馈数据,对模型进行更新以使其输出的标签进行调整。
2.根据权利要求1所述的模型更新方法,其特征在于,
基于预设数量用户的反馈数据,对模型进行更新以使其输出的标签进行调整包括:
获取任意一个标签的曝光数以及该标签的不认可数;
将不认可数与曝光数做比得到标签置信度,基于所述标签置信度对所述模型更新。
3.根据权利要求1所述的模型更新方法,其特征在于,
所述将不认可数与曝光数做比得到标签置信度,基于所述标签置信度对所述模型更新包括:
对所有标签的曝光数进行统计,平均曝光次数为m,若标签的曝光数>平均曝光数,则按照以下公式计算:
L=M*(1+ΔU)
ΔU=lr*(Unew-Uold)
其中,L为标签的用户置信度,ΔU为用户置信度差值,Unew为当前得到的用户置信度,Uold为上一版本的用户置信度,lr为学习率。
4.根据权利要求1所述的模型更新方法,其特征在于,还包括:
将曝光数大于等于平均曝光数且准确率为0的标签定义为黑名单标签;
被定为黑名单标签的标签不再出现与模型中。
5.根据权利要求1所述的模型更新方法,其特征在于,
所述获取用户对基于模型所生成标签的反馈数据包括:
所述反馈数据包括新增任意一个标签,新增的所述标签的初始置信度为1。
6.一种基于用户反馈的模型更新装置,其特征在于,包括:
获取模块,用于获取用户对基于模型所生成标签的反馈数据,所述反馈数据包括用户对任意一个标签任何或不认可;
更新模块,用于基于预设数量用户的反馈数据,对模型进行更新以使其输出的标签进行调整。
7.根据权利要求6所述的模型更新装置,其特征在于,
所述更新模块包括:
获取单元,用于获取任意一个标签的曝光数以及该标签的不认可数;
更新单元,将不认可数与曝光数做比得到标签置信度,基于所述标签置信度对所述模型更新。
8.根据权利要求6所述的模型更新装置,其特征在于,
所述更新单元还用于执行以下步骤,包括:
对所有标签的曝光数进行统计,平均曝光次数为m,若标签的曝光数>平均曝光数,则按照以下公式计算:
L=M*(1+ΔU)
ΔU=lr*(Unew-Uold)
其中,L为标签的用户置信度,ΔU为用户置信度差值,Unew为当前得到的用户置信度,Uold为上一版本的用户置信度,lr为学习率。
9.根据权利要求6所述的模型更新装置,其特征在于,还包括黑名单处理模块,用于执行以下步骤:
将曝光数大于等于平均曝光数且准确率为0的标签定义为黑名单标签;
被定为黑名单标签的标签不再出现与模型中。
10.一种可读存储介质,其特征在于,所述可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时用于实现权利要求1至5任一所述的方法。
CN202110686654.4A 2021-06-21 2021-06-21 基于用户反馈的图像处理模型更新方法、装置及存储介质 Active CN113360512B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110686654.4A CN113360512B (zh) 2021-06-21 2021-06-21 基于用户反馈的图像处理模型更新方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110686654.4A CN113360512B (zh) 2021-06-21 2021-06-21 基于用户反馈的图像处理模型更新方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113360512A true CN113360512A (zh) 2021-09-07
CN113360512B CN113360512B (zh) 2023-10-27

Family

ID=77535503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110686654.4A Active CN113360512B (zh) 2021-06-21 2021-06-21 基于用户反馈的图像处理模型更新方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113360512B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114048104A (zh) * 2021-11-24 2022-02-15 国家电网有限公司大数据中心 一种监控方法、装置、设备及存储介质
CN117764427A (zh) * 2023-10-20 2024-03-26 国网智能科技股份有限公司 电力人工智能模型成效反馈评价方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346751A (zh) * 2014-11-11 2015-02-11 苏州晨川通信科技有限公司 一种半自动算法交易方法
CN106303720A (zh) * 2016-08-02 2017-01-04 合网络技术(北京)有限公司 一种视频推荐方法与系统
CN109800799A (zh) * 2018-12-31 2019-05-24 华南理工大学 一种适用于无标签不平衡数据流的在线主动学习方法
CN109872116A (zh) * 2018-12-28 2019-06-11 特赞(上海)信息科技有限公司 供应商与项目匹配系统
CN110163810A (zh) * 2019-04-08 2019-08-23 腾讯科技(深圳)有限公司 一种图像处理方法、装置以及终端
US20190340235A1 (en) * 2018-05-01 2019-11-07 Capital One Services, Llc Text categorization using natural language processing
DE102018211973A1 (de) * 2018-07-18 2020-01-23 Bayerische Motoren Werke Aktiengesellschaft Proaktive kontextbasierte Bereitstellung von Diensteempfehlungen in Fahrzeugen
CN111353516A (zh) * 2018-12-21 2020-06-30 华为技术有限公司 一种用于在线学习的样本分类方法及模型更新方法
CN111915020A (zh) * 2020-08-12 2020-11-10 杭州海康威视数字技术股份有限公司 检测模型的更新方法、装置及存储介质
CN112749841A (zh) * 2020-12-30 2021-05-04 科大国创云网科技有限公司 一种基于自训练学习的用户口碑预测方法及系统
CN112769803A (zh) * 2020-12-31 2021-05-07 北京天融信网络安全技术有限公司 网络威胁的检测方法、装置和电子设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346751A (zh) * 2014-11-11 2015-02-11 苏州晨川通信科技有限公司 一种半自动算法交易方法
CN106303720A (zh) * 2016-08-02 2017-01-04 合网络技术(北京)有限公司 一种视频推荐方法与系统
US20190340235A1 (en) * 2018-05-01 2019-11-07 Capital One Services, Llc Text categorization using natural language processing
DE102018211973A1 (de) * 2018-07-18 2020-01-23 Bayerische Motoren Werke Aktiengesellschaft Proaktive kontextbasierte Bereitstellung von Diensteempfehlungen in Fahrzeugen
CN111353516A (zh) * 2018-12-21 2020-06-30 华为技术有限公司 一种用于在线学习的样本分类方法及模型更新方法
CN109872116A (zh) * 2018-12-28 2019-06-11 特赞(上海)信息科技有限公司 供应商与项目匹配系统
CN109800799A (zh) * 2018-12-31 2019-05-24 华南理工大学 一种适用于无标签不平衡数据流的在线主动学习方法
CN110163810A (zh) * 2019-04-08 2019-08-23 腾讯科技(深圳)有限公司 一种图像处理方法、装置以及终端
CN111915020A (zh) * 2020-08-12 2020-11-10 杭州海康威视数字技术股份有限公司 检测模型的更新方法、装置及存储介质
CN112749841A (zh) * 2020-12-30 2021-05-04 科大国创云网科技有限公司 一种基于自训练学习的用户口碑预测方法及系统
CN112769803A (zh) * 2020-12-31 2021-05-07 北京天融信网络安全技术有限公司 网络威胁的检测方法、装置和电子设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
B. KIM 等: "Abstract HTML Improving Content-based Audio Retrieval by Vocal Imitation Feedback", 《ICASSP 2019 - 2019 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP)》, pages 4100 - 4104 *
B.KIM 等: "Abstract HTML Improving Content-based Audio Retrieval by Vocal Imitation Feedback", ICASSP 2019 - 2019 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP), pages 4100 - 4104 *
王微微 等: "一种基于用户行为反馈的兴趣度模型更新算法", 《辽宁大学学报(自然科学版)》, pages 40 - 45 *
王微微: "一种基于用户行为反馈的兴趣度模型更新算法", 辽宁大学学报(自然科学版), pages 40 - 45 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114048104A (zh) * 2021-11-24 2022-02-15 国家电网有限公司大数据中心 一种监控方法、装置、设备及存储介质
CN117764427A (zh) * 2023-10-20 2024-03-26 国网智能科技股份有限公司 电力人工智能模型成效反馈评价方法及系统

Also Published As

Publication number Publication date
CN113360512B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
CN108288051B (zh) 行人再识别模型训练方法及装置、电子设备和存储介质
CN105678253B (zh) 半监督人脸年龄估计装置及半监督人脸年龄估计方法
CN108399564B (zh) 信用评分方法及装置
CN113360512A (zh) 基于用户反馈的模型更新方法、装置及存储介质
CN110363084A (zh) 一种上课状态检测方法、装置、存储介质及电子
CN110942090A (zh) 模型训练、图像处理方法、装置、电子设备及存储介质
CN111383732B (zh) 一种基于互斥识别的药品审核方法、装置、计算机系统及可读存储介质
CN115982463A (zh) 资源推荐方法、装置、设备及存储介质
CN110083731B (zh) 图像检索方法、装置、计算机设备及存储介质
CN114090401A (zh) 处理用户行为序列的方法及装置
CN109144999B (zh) 一种数据定位方法、装置及存储介质、程序产品
CN115544214B (zh) 一种事件处理方法、设备及计算机可读存储介质
CN112035605A (zh) 题目推荐方法、装置、设备及存储介质
CN115618415A (zh) 敏感数据识别方法、装置、电子设备和存储介质
CN113032567B (zh) 位置嵌入解释方法、装置、计算机设备及存储介质
CN112699908B (zh) 标注图片的方法、电子终端、计算机可读存储介质及设备
CN112988699B (zh) 模型训练方法、数据标签的生成方法及装置
CN114692022A (zh) 基于时空行为模式的位置预测方法及系统
CN113095064A (zh) 代码字段识别方法、装置、电子设备及存储介质
CN113177603A (zh) 分类模型的训练方法、视频分类方法及相关设备
CN111984812A (zh) 一种特征提取模型生成方法、图像检索方法、装置及设备
CN112541357A (zh) 实体识别方法、装置及智能设备
CN112131942B (zh) 场所的属性分类方法、装置、电子设备及存储介质
JP2018156549A (ja) データ種別を推定するための情報処理方法、情報処理装置および情報処理プログラム
CN111814061B (zh) 药品搜索方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant