CN112541447A - 机器模型的更新方法、装置、介质及设备 - Google Patents

机器模型的更新方法、装置、介质及设备 Download PDF

Info

Publication number
CN112541447A
CN112541447A CN202011502264.9A CN202011502264A CN112541447A CN 112541447 A CN112541447 A CN 112541447A CN 202011502264 A CN202011502264 A CN 202011502264A CN 112541447 A CN112541447 A CN 112541447A
Authority
CN
China
Prior art keywords
difficult
machine model
sample
information
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011502264.9A
Other languages
English (en)
Other versions
CN112541447B (zh
Inventor
杨聪
张运辉
张致恺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Horizon Robotics Science and Technology Co Ltd
Original Assignee
Shenzhen Horizon Robotics Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Horizon Robotics Science and Technology Co Ltd filed Critical Shenzhen Horizon Robotics Science and Technology Co Ltd
Priority to CN202011502264.9A priority Critical patent/CN112541447B/zh
Publication of CN112541447A publication Critical patent/CN112541447A/zh
Priority to US17/543,706 priority patent/US20220198331A1/en
Application granted granted Critical
Publication of CN112541447B publication Critical patent/CN112541447B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

公开了一种机器模型的更新方法、装置、介质及设备，其中的方法包括：获取机器模型的第一难例样本以及所述第一难例样本的属性信息；根据所述第一难例样本的属性信息，确定所述第一难例样本的基于类别的数据分布信息；根据所述机器模型对所述第一难例样本类别的学习需求信息以及所述数据分布信息，确定所述机器模型在本次机器学习中的第二难例样本；根据所述机器模型对应的学习操作信息，通过所述第二难例样本对所述机器模型执行学习操作；基于所述机器模型的学习结果，更新所述机器模型。本公开有利于高效的实现机器学习生命周期，并有利于降低机器学习生命周期的成本。

Description

机器模型的更新方法、装置、介质及设备
技术领域
本公开涉及计算机技术，尤其是涉及一种机器模型的更新方法、机器模型的更新装置、存储介质以及电子设备。
背景技术
神经网络等机器模型已被广泛应用于客服、驾驶、游戏以及机器人等多种应用中。然而，机器模型通常需要在使用过程中不断的被完善，从而使机器模型的性能得到不断的提升。
如何便捷且低成本的使机器模型的性能得到提升，是一个值得关注的技术问题。
发明内容
为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种机器模型的更新方法、装置、存储介质以及电子设备。
根据本公开实施例的一个方面，提供了一种机器模型的更新方法，包括：获取机器模型的第一难例样本以及所述第一难例样本的属性信息；根据所述第一难例样本的属性信息，确定所述第一难例样本的基于类别的数据分布信息；根据所述机器模型对所述第一难例样本类别的学习需求信息以及所述数据分布信息，确定所述机器模型在本次机器学习中的第二难例样本；根据所述机器模型对应的学习操作信息，通过所述第二难例样本对所述机器模型执行学习操作；基于所述机器模型的学习结果，更新所述机器模型。
根据本公开实施例的另一方面，提供了一种机器模型的更新装置，包括：获取第一难例样本模块，用于获取机器模型的第一难例样本以及所述第一难例样本的属性信息；确定数据分布信息模块，用于根据所述获取第一难例样本模型获取的第一难例样本的属性信息，确定所述第一难例样本的基于类别的数据分布信息；确定第二难例样本模块，用于根据所述机器模型对所述第一难例样本类别的学习需求信息以及所述确定数据分布信息模块确定出的数据分布信息，确定所述机器模型在本次机器学习中的第二难例样本；学习模块，用于根据所述机器模型对应的学习操作信息，通过所述确定第二难例样本模块确定出的第二难例样本对所述机器模型执行学习操作；更新机器模型模块，用于基于所述学习模块获得的机器模型的学习结果，更新所述机器模型。
根据本公开实施例的又一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于实现上述方法。
根据本公开实施例的再一个方面，提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述方法。
基于本公开上述实施例提供的一种机器模型的更新方法和装置，通过获取机器模型的第一难例样本，并基于第一难例样本的属性信息获得第一难例的数据分布信息，可以在每一次的机器模型更新过程中，便捷的为机器模型提供符合其学习需求的难例，从而可以基于机器模型的各次学习结果对机器模型自动更新；由此可知，本公开提供的技术方案有利于使机器模型的学习生命周期涉及到的多个重要环节相互衔接，形成闭合的环路，从而可以高效的实现机器模型学习生命周期的初始化，并有利于降低机器模型学习生命周期的成本。
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征以及优势将变得更加明显。附图用来提供对本公开实施例的进一步的理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是本公开的机器模型的更新技术的一应用场景示意图；
图2为本公开的机器模型的更新方法一个实施例的流程图；
图3为本公开的通过样本采集方式获得机器模型的第一难例样本及其属性信息一实施例的流程图；
图4为本公开的获得新的第一难例样本一个实施例的流程图；
图5为本公开的确定机器模型在本次机器学习中的第二难例样本一个实施例的流程图；
图6为本公开的机器模型的更新装置一个实施例的结构示意图；
图7是本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
下面将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
另外，本公开中术语“和/或”，仅是一种描述关联对象的关联关系，表示可以存在三种关系，如A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开的实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或者专用计算系统环境或配置一起操作。适于与终端设备、计算机系统或者服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施。在分布式云计算环境中，任务可以是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
本公开概述
在实现本公开的过程中，发明人发现，机器模型学习生命周期(Machine LearningLifecycle)通常是指神经网络等机器模型通过不断的迭代更新，以达到系统对机器模型的要求的过程。机器模型学习生命周期可以认为是机器模型迭代更新的过程。
机器模型学习生命周期通常与来自真实场景中的数据以及机器模型使用过程中的反馈等众多因素密切相关，这使得机器模型学习生命周期所涉及到的环节非常繁多。
现有的用于实现机器模型学习生命周期的工具往往非常复杂，需要具有相当专业的技术知识的人才能够操作使用。如果能够使机器模型学习生命周期中的部分阶段，形成可以自动执行的闭合的环路，则有利于高效的实现机器模型学习生命周期，并降低机器模型学习生命周期的实现成本。
示例性概述
本公开的机器模型的更新技术方案可以适用于多种场景中。例如，本公开提供的机器模型的更新技术方案可以适用于DMS(Driver Monitoring System，驾驶员监控系统)应用场景中。
下面结合图1，对本公开的机器模型的更新技术的应用进行说明。
图1中，多个车辆(图1仅示意性的示出了三个车辆11、车辆12以及车辆13)中均配置有摄像装置和DMS，例如，车辆11中配置有摄像装置111和DMS112；车辆12中配置有摄像装置121和DMS122；车辆13中配置有摄像装置131和DMS132。对于任一车辆(如车辆11)而言，该车辆中的摄像装置(如摄像装置111)实时采集获得的各视频帧，均被提供给该车辆中的DMS(如DMS112)。
车辆中的DMS(如DMS112)可以根据其接收到的视频帧，通过相应的机器模型，判断驾驶员当前是否处于疲劳驾驶状态；如果DMS(如DMS112)的判断结果为驾驶员当前处于疲劳驾驶状态(如重度疲劳状态、中度疲劳状态或者轻度疲劳状态等)，则DMS(如DMS112)可以执行打开车窗、播放音乐、播放警示语音以及开启警示灯光等操作，以保证车辆(如车辆11)的安全行驶；如果DMS(如DMS112)的判断结果为驾驶员当前处于疑似疲劳状态(如疑似重度疲劳状态、疑似中度疲劳状态或者疑似轻度疲劳状态等)，则DMS(如DMS112)可以将相应的视频帧(如一个时间窗内的所有视频帧)或者图像块序列(如一个时间窗内的所有视频帧中的眼部区域图像块序列以及嘴部区域图像块序列等)作为难例(Badcase)上传给云端110。
云端110可以收集各车辆(如车辆11、车辆12和车辆13等)中的DMS(如DMS112、DMS122和DMS132等)分别上报的难例，并基于其收集到的多个难例，对相应的机器模型执行学习操作。在机器模型学习成功后，云端110可以利用成功学习的机器模型，来更新各车辆(如车辆11、车辆12和车辆13等)中的DMS(如DMS112、DMS122和DMS132等)各自使用的机器模型。之后，各车辆中的DMS可以使用更新后的机器模型，继续判断驾驶员当前是否处于疲劳驾驶状态。
由于上述机器模型的更新过程可以形成一个闭合环路，因此，本公开可以使各车辆中的DMS所使用的机器模型不断被完善，从而可以使DMS所使用的机器模型的性能不断被提升。
示例性方法
图2为本公开的机器模型的更新方法一个实施例的流程图。如图2所示的方法主要包括：S200、S201、S202、S203以及S204。下面对各步骤分别进行说明。
S200、获取机器模型的第一难例样本以及第一难例样本的属性信息。
本公开中的机器模型可以是指用于实现人工智能的神经网络等模型。本公开中的第一难例样本可以是指易于被机器模型识别错误的样本，即Badcase。本公开中的第一难例样本可以为基于图像的样本(如jpg格式的样本或者png格式的样本等)、基于音频的样本(如avi格式的样本或者mp4格式的样本等)、或者基于文本的样本。
本公开中的第一难例样本的属性信息可以包括从多个角度来描述第一难例样本的属性单元。本公开可以通过接收上报信息等方式获得第一难例样本及其属性信息。
S201、根据第一难例样本的属性信息，确定第一难例样本的基于类别的数据分布信息。
本公开可以基于第一难例样本的属性信息中的与类别相关的信息，对第一难例样本进行分类，从而可以将多个第一难例样本划分在不同类别中，进而本公开可以获得第一难例样本的基于类别的数据分布信息。
S202、根据机器模型对第一难例样本类别的学习需求信息以及上述数据分布信息，确定机器模型在本次机器学习中的第二难例样本。
本公开中的机器模型对第一难例样本类别的学习需求信息可以包括：机器模型对不同类别的第一难例样本的数量比例要求。本公开可以基于机器模型对第一难例样本类别的学习需求信息以及上述数据分布信息，从第一难例样本中选取部分第一难例样本，被选取出的第一难例样本即为机器模型在本次机器学习中的第二难例样本。
S203、根据机器模型对应的学习操作信息，通过第二难例样本对机器模型执行学习操作。
本公开中的机器模型对应的学习操作信息可以是指使机器模型进行机器学习的程序等。本公开可以通过运行机器模型对应的学习操作信息，使第二难例样本通过机器模型进行相应的运算处理，本公开可以基于运算处理的结果以及第二难例样本的属性信息，执行用于对机器模型的网络参数进行更新的操作，从而使机器模型具有新的网络参数。
S204、基于机器模型的学习结果，更新机器模型。
本公开中的机器模型的学习结果包括：机器模型成功学习完成或者机器模型未成功学习完成。在机器模型成功学习完成的情况下，本公开获得新版本的机器模型，并可以通过下发新版本的机器模型的方式，来更新机器模型。例如，本公开可以将新版本的机器模型的相关信息通过OTA(Over-the-AirTechnology，空中下载)方式，使多个客户端中的机器模型得以更新。
本公开通过获取机器模型的第一难例样本，并基于第一难例样本的属性信息获得第一难例的数据分布信息，可以在每一次的机器模型更新过程中，便捷的为机器模型提供符合其学习需求的难例，从而可以基于机器模型的各次学习结果对机器模型自动更新；由此可知，本公开提供的技术方案有利于使机器模型的学习生命周期涉及到的多个重要环节相互衔接，形成闭合的环路，从而可以高效的实现机器模型学习生命周期的初始化，并有利于降低机器模型学习生命周期的成本。本公开中的机器模型学习生命周期的初始化可以认为是机器模型学习生命周期的初期阶段。
在一个可选示例中，本公开可以通过样本采集方式获得机器模型的第一难例样本及其属性信息。一个例子如图3所示。
S300、接收机器模型在本次学习过程中和/或机器模型在使用过程中上报的难例样本。
可选的，在机器模型的学习过程中，本公开中的用于学习的第一难例样本会通过机器模型进行相应的运算处理，本公开可以利用用于学习的第一难例样本的标注信息，判断用于学习的第一难例样本通过机器模型的运算处理的结果是否正确，如果运算处理的结果不正确，则可以将该第一难例样作为难例样本上报，否则，不会将该第一难例样本作为难例样本上报。
可选的，本公开中的曾经成功学习的历史机器模型，会被下发而应用在实际环境中。例如，当前被多个车辆分别使用的机器模型。再例如，当前被多个移动电话分别使用的机器模型。再例如，当前被多个单位的安防系统分别使用的机器模型等。在实际环境中产生的待处理信息(如待处理视频帧或者待处理图像块或者待处理文字或者待处理语音等)，会通过应用于实际环境中的机器模型进行相应的运算处理，本公开可以通过设置相应的阈值等方式，确定需要上报(如需要向云端上报)的待处理信息，从实际环境中上报的待处理信息被作为难例样本。
S301、根据上报的难例样本，确定机器模型的难例采集特征信息和难例采集数量信息。
可选的，本公开可以对收集到的多个难例样本进行特征类别划分，从而不仅可以获得收集到的多个难例样本各自具有的特征信息，还可以获得分别具有每一种特征的难例样本的数量。例如，本公开可以使用用于分类的神经网络等对收集到的多个难例样本分别进行分类运算处理，并根据分类运算处理的结果，获得各难例样本各自具有的特征信息，本公开通过对具有相同特征信息的难例样本进行数量统计，可以获得分别具有每一种特征的难例样本的数量。
可选的，本公开可以根据多个难例样本的特征信息，确定机器模型的难例采集特征信息。例如，如果多个难例样本的特征信息包括：手遮挡嘴部这一特征信息，则本公开将手遮挡嘴部这一特征信息作为难例采集特征信息。再例如，如果多个难例样本的特征信息包括：目标对象戴帽子这一特征信息，则本公开可以将目标对象戴帽子这一特征信息作为难例采集特征信息。
可选的，本公开中的难例采集数量信息可以包括：具有不同特征的第一难例样本的采集比例。例如，如果上报获得的所有难例样本具有n(n为大于等于1的整数)种特征，本公开可以计算具有每一种特征的难例样本的数量，从而获得n个数量，本公开可以将n个数量所形成的比例(如n1:n2:......:nn，其中n1表示具有第一种特征的难例样本的数量所对应的数值，n2表示具有第二种特征的难例样本的数量所对应的数值，nn表示具有第n种特征的难例样本的数量所对应的数值)，作为具有不同特征的第一难例样本的采集比例。
可选的，本公开中的难例采集数量信息也可以包括：具有不同特征的第一难例样本的采集数量。例如，如果上报获得的所有难例样本具有n(n为大于等于1的整数)种特征，本公开可以先计算具有每一种特征的难例样本的数量，从而获得n个数量，从而本公开可以获得n个数量所形成的比例(如n1:n2:......:nn)，然后，本公开可以根据机器模型学习所需的第一难例样本的总数量以及该比例，确定具有不同特征的第一难例样本的采集数量。(如n11、n22、......nnn，其中n11表示具有第一种特征的第一难例样本的采集数量，n22表示具有第二种特征的第一难例样本的采集数量，nnn表示具有第n种特征的第一难例样本的采集数量)。
S302、将难例采集特征信息和难例采集数量信息提供给数据采集系统，并根据数据采集系统返回的信息，获得多个第一难例样本。
可选的，本公开中的数据采集系统可以是指能够根据接收到的难例采集特征信息和难例采集数量信息，实现第一难例样本的采集的系统。例如，数据采集系统可以包括：摄像装置、图像识别装置以及图像块剪切装置等。再例如，数据采集系统可以包括：录音装置、语音识别装置以及语音剪切装置等。本公开不限制数据采集系统的具体结构以及采集第一难例样本的具体过程。
可选的，本公开可以针对难例采集特征信息和难例采集数量信息生成一个难例采集任务，并将该难例采集任务提交给数据采集系统。一个难例采集任务通常具有唯一的难例采集任务标识。
可选的，本公开中的数据采集系统返回的信息通常包括：采集获得的多个样本，本公开可以将数据采集系统采集获得的所有样本均作为第一难例样本，本公开也可以对数据采集系统采集获得的所有样本进行筛选，并将筛选出的样本作为第一难例样本。
S303、设置多个第一难例样本的属性信息。
可选的，本公开中的第一难例样本的属性信息主要包括：第一难例样本的链接信息、第一难例样本的识别结果信息以及第一难例样本的标注信息等属性单元。其中的第一难例样本的链接信息可以是指用于获得第一难例样本的信息，例如，第一难例样本的链接信息可以为第一难例样本的存储地址等。其中的第一难例样本的识别结果信息可以是指用于描述第一难例样本在经过机器模型的运算处理后所获得的运算处理的结果的信息。其中的第一难例样本的标注信息可以是指用于描述第一难例样本在经过机器模型的运算处理后所应具有的运算处理的结果的信息。
由于本公开中的第一难例样本的属性信息包括第一难例样本的链接信息，因此，本公开可以将第一难例样本及其属性信息分开存储，例如，本公开可以将所有第一难例样本均存储在数据存储系统中，并将所有第一难例样本的属性信息均存储在badcase管理系统中。本公开通过将第一难例样本及其属性信息分成两部分存储，有利于第一难例样本的管理，例如，有利于避免对第一难例样本的属性信息的误维护操作对第一难例样本的影响。
可选的，本公开中的第一难例样本的属性信息还可以包括：第一难例样本的标识(即ID)、第一难例样本的触发信息(如上报第一难例样本的机器模型信息等)、第一难例样本的优先级信息(如表示第一难例样本被使用于机器模型学习过程中的优先级等)、第一难例样本的特征类别信息、第一难例样本所参与的机器模型学习的机器模型的版本信息、第一难例样本的提交方信息(如数据采集系统标识或者上报方标识等)、第一难例样本在机器模型学习过程中的出现频度信息、以及第一难例样本的采集设备信息(如摄像装置的类型以及型号等)等属性单元。
可选的，第一难例样本的属性信息中的部分内容(如第一难例样本所参与的机器模型学习的机器模型的版本信息以及第一难例样本在机器模型学习过程中的出现频度信息等)可以为空，随着第一难例样本被使用，属性信息中的部分内容会被逐渐完善。另外，本公开允许灵活设置第一难例样本的属性信息所包含的属性单元，例如，本公开预先设置多个预定属性单元，且本公开提供属性单元选择功能，该属性单元选择功能可以将所有预定属性单元分门别类的展示出来，本公开可以根据接收到的预定属性单元的激活信息，将相应的预定属性单元作为第一难例样本的属性信息中的属性单元，从而有利于灵活的组建第一难例样本的属性信息所包含的属性单元。
可选的，本公开可以利用数据标注系统，设置第一难例样本的标注信息。一个例子，本公开可以将数据采集系统返回的多个第一难例样本分别提供给数据标注系统，由数据标注系统执行为各第一难例样本分别进行标注的操作，本公开可以在接收到数据标注系统返回的各第一难例样本的标注信息时，将多个第一难例样本的标注信息分别设置在多个第一难例样本的属性信息中。
一个更具体的例子，本公开可以先将数据采集系统返回的多个第一难例样本存储在数据存储系统中，从而获得各第一难例样本的链接信息，本公开可以根据各第一难例样本的链接信息生成一标注任务，并将该标注任务提交给数据标注系统。一个标注任务通常具有唯一的标注任务标识。数据标注系统可以根据标注任务中的各第一难例样本的链接信息分别获得各第一难例样本，并针对各第一难例样本分别设置标注信息，数据标注系统可以根据各第一难例样本的链接信息、标注信息以及标注任务标识生成返回信息，从而本公开可以根据数据标注系统的返回信息，将多个第一难例样本的标注信息分别设置在相应的第一难例样本的属性信息中的标注信息属性单元中。
可选的，本公开可以针对一个标注任务对应的所有第一难例样本的属性信息存储在一个文件中。例如，本公开可以将一个标注任务对应的所有第一难例样本的属性信息存储于一CSV格式的文件中。该CSV文件可以与相应的标注任务标识相关联，且该标注任务标识还可以与相应的难例采集任务标识相关联。
在一个例子中，一第一难例样本的标注信息可以为重度疲劳状态、中度疲劳状态、轻度疲劳状态或者非疲劳状态。在另一个例子中，一第一难例样本的标注信息可以为打电话行为或者非打电话行为。本公开不限制第一难例样本的标注信息的具体表现形式。
可选的，本公开中的数据标注系统也可以设置第一难例样本的属性信息中的除标注信息之外的其他信息，例如，第一难例样本的优先级信息、第一难例样本的特征类别信息以及数据采集系统标识信息等。
本公开通过获得机器模型在学习以及使用过程中上报的难例样本，并获得难例采集特征信息和难例采集数量信息，可以使数据采集系统有针对性的执行难例样本的采集操作，从而有利于使机器模型基于第一难例样本进行有针对性的学习，进而有利于快速的提高机器模型的性能。通过将数据采集系统返回的第一难例样本提供给数据标注系统，可以打通上报难例样本与数据采集系统和数据标注系统之间的数据流，从而有利于形成第一难例样本这一数据流的闭合的环路，进而有利于高效的实现机器模型的更新。
在一个可选示例中，除了上述样本采集方式之外，本公开还可以采用其他方式获得机器模型的第一难例样本以及第一难例样本的属性信息。例如，本公开可以采用对当前获得的第一难例样本进行变换的方式，获得新的第一难例样本。一个具体的例子如图4所示。
S400、对当前存储的第一难例样本进行复制。
可选的，本公开可以提供样本复制功能，在样本复制功能被触发后，本公开可以对当前存储的第一难例样本中的被选定的第一难例样本执行复制操作。在复制第一难例样本的同时，还可以复制该第一难例样本的属性信息。
S401、对上述复制获得的第一难例样本进行修改，形成新的第一难例样本。
可选的，本公开对复制获得的第一难例样本进行的修改可以包括：遮挡第一难例样本的部分图像内容、调节第一难例样本的图像亮度、调节第一难例样本的图像对比度、调节第一难例样本中的部分图像内容的图像位置、修改第一难例样本的中部分文字、以及删除第一难例样本中的部分语音段等。本公开不限制对复制的第一难例样本进行修改的具体表现形式。
S402、设置上述新的第一难例样本的属性信息。
可选的，本公开中的新的第一难例样本的属性信息中的部分内容可以通过继承的方式获得。例如，新的第一难例样本的第一难例样本的优先级信息、第一难例样本的特征类别信息、以及第一难例样本的标注信息等可以继承被复制的第一难例样本的属性信息。本公开可以为新的第一难例样本设置样本标识、以及链接信息等属性信息。另外，本公开可以利用数据标注系统设置新的第一难例样本的属性信息。
本公开通过利用复制的方式获得新的第一难例样本，可以基于一第一难例样本快速的生成大体相同仅细节不同的多个第一难例样本，从而有利于提高获得第一难例样本的效率。另外，本公开还可以提供第一难例样本检索功能、新的第一难例样本的预览功能、用于为第一难例样本增加内容的增加项功能、用于为第一难例样本减少内容的删除项功能、用于替换第一难例样本中的内容的更新项功能、以及将第一难例样本添加到相应的集合(如训练样本集合或者测试样本集合或者相应的难例组等)中等功能，以方便对第一难例样本的管理以及对机器模型学习的管理。
在一个可选示例中，本公开确定机器模型在本次机器学习中的第二难例样本的一个例子如图5所示。
图5中，S500、根据第一难例样本的基于类别的数据分布信息，对机器模型的第一难例样本进行分组处理，获得机器模型的多个难例组的分组信息。
可选的，本公开可以将相同类别的所有第一难例样本划分在一个组中，该组可以称为难例组，从而本公开可以将机器模型的所有第一难例样本划分为多个难例组。在一个例子中，本公开可以根据各第一难例样本的属性信息中的一个属性单元(如特征类别信息这一属性单元等)，将机器模型的所有第一难例样本划分为多个难例组。本公开中的各难例组的分组信息均可以包括：组标识、组中第一难例样本所属的类别(如特征类别信息)以及组中第一难例样本的数量等。
需要特别说明的是，通常情况下，一个第一难例样本仅属于一个难例组，但是，本公开也允许出现一个第一难例样本同时属于多个难例组的情况，例如，一个第一难例样本中的目标对象的眼部和嘴部同时被遮挡，如果第一个难例组的分组信息包括：眼部被遮挡类别，而第二个难例组的分组信息包括：嘴部被遮挡类别，则该第一难例样本既可以属于第一个难例组，也可以属于第二个难例组。另外，本公开可以提供数据分析功能，在该数据分析功能被触发时，可以展示第一难例样本的属性信息中的可以进行分组的所有属性单元，也可以展示第一难例样本的属性信息所包含的所有属性单元，在接收到一属性单元被选择的信息后，本公开可以基于该属性单元，执行将相同类别的所有第一难例样本划分在一个组中的分组操作。
S501、根据机器模型对第一难例样本类别的学习需求信息以及分组信息，确定机器模型本次学习的难例组。
可选的，在本公开的机器模型对第一难例样本类别的学习需求信息包括：机器模型的学习对不同类别的第一难例样本的数量比例要求、以及本次学习所需的第一难例样本的总数量情况下，本公开可以根据该数量比例要求以及总数量，确定出本次学习所需的各类别的第一难例样本的数量，并根据各分组信息中的组中第一难例样本所属的类别以及组中第一难例样本的数量，确定参与机器模型本次学习的各难例组，且参与机器模型本次学习的各难例组中的所有第一难例样本均被作为机器模型在本次学习中的第二难例样本。在一个例子中，本公开可以提供分组项功能，在该分组项功能被触发时，本公开可以获取机器模型对第一难例样本类别的学习需求信息，并执行确定参与机器模型本次学习的各难例组的操作。
本公开通过对机器模型的第一难例样本进行分组处理，有利于使多种类别的第一难例样本均可以被作为第二难例样本参与到机器模型的学习过程中，且能够快速的满足机器模型的本次学习对第二难例样本的种类需求，例如，可以使机器模型基于数量均衡的不同类别的第二难例样本进行本次学习，从而有利于提高成功学习后获得的机器模型的性能。
在一个可选示例中，由于机器模型的学习过程通常包括：训练过程以及测试过程，因此，机器模型对第一难例样本类别的学习需求信息可以包括：机器模型对第一难例样本类别的训练需求信息、以及机器模型对第一难例样本类别的测试需求信息，从而本公开确定机器模型本次学习的难例组可以包括：确定机器模型本次训练的难例组以及确定机器模型本次测试的难例组。
可选的，本公开可以根据机器模型对第一难例样本类别的训练需求信息以及机器模型的多个难例组的分组信息，确定机器模型本次训练的难例组。例如，在本公开的机器模型对第一难例样本类别的训练需求信息包括：机器模型的训练对不同类别的第一难例样本的数量比例要求、以及本次训练所需的第一难例样本的总数量情况下，本公开可以根据该数量比例要求以及总数量，确定出本次训练所需的各类别的第一难例样本的数量，并根据各分组信息中的组中第一难例样本所属的类别以及组中第一难例样本的数量，确定参与机器模型本次训练的各难例组，且参与机器模型本次训练的各难例组中的所有第一难例样本均被作为机器模型在本次训练中的第二难例样本。机器模型本次训练的各难例组所包含的所有第二难例样本形成机器模型本次训练的训练样本集合。
可选的，本公开可以根据机器模型对第一难例样本类别的测试需求信息以及机器模型的多个难例组的分组信息，确定机器模型本次测试的难例组。例如，在本公开的机器模型对第一难例样本类别的测试需求信息包括：机器模型的测试对不同类别的第一难例样本的数量比例要求、以及本次测试所需的第一难例样本的总数量情况下，本公开可以先根据该数量比例要求以及总数量，确定出本次测试所需的各类别的第一难例样本的数量，并从所有难例组中去除参与机器模型训练的所有难例组，然后，根据各分组信息中的组中第一难例样本所属的类别以及组中第一难例样本的数量，从剩余的难例组中确定参与机器模型本次测试的各难例组，且参与机器模型本次测试的各难例组中的所有第一难例样本均被作为机器模型在本次测试中的第二难例样本。机器模型本次测试的各难例组所包含的所有第二难例样本形成机器模型本次测试的测试样本集合。
可选的，如果机器模型的学习过程还包括：验证过程，则机器模型对第一难例样本类别的学习需求信息还可以包括：机器模型对第一难例样本类别的验证需求信息，从而本公开的确定机器模型本次学习的难例组还可以包括：确定机器模型本次验证的难例组。具体的，本公开可以根据机器模型对第一难例样本类别的验证需求信息以及机器模型的多个难例组的分组信息，确定机器模型本次验证的难例组。一个例子，在本公开的机器模型对第一难例样本类别的验证需求信息包括：机器模型的验证对不同类别的第一难例样本的数量比例要求、以及本次验证所需的第一难例样本的总数量情况下，本公开可以先根据该数量比例要求以及总数量，确定出本次验证所需的各类别的第一难例样本的数量，并从所有难例组中去除参与机器模型训练和测试的所有难例组，然后，根据各分组信息中的组中第一难例样本所属的类别以及各组中的第一难例样本的数量，从剩余的难例组中确定参与机器模型本次验证的各难例组，且参与机器模型本次验证的各难例组中的所有第一难例样本均被作为机器模型在本次验证中的第二难例样本。机器模型本次验证的各难例组所包含的所有第二难例样本形成机器模型本次验证的验证样本集合。
可选的，本公开可以提供选取训练样本集合功能，即在需要针对一机器模型进行训练时，该选取训练样本集合功能被激活，本公开可以在选取训练样本集合功能被激活时，展示多个训练样本集合，本公开在接收到训练样本集合的选择信息时，可以利用被选择的训练样本集合执行机器模型的训练操作。本公开可以提供选取测试样本集合功能，即在需要针对一机器模型进行测试时，该选取测试样本集合功能被激活，本公开可以在选取测试样本集合功能被激活时，展示多个测试样本集合，本公开在接收到测试样本集合的选择信息后，可以利用被选择的测试样本集合执行机器模型的测试操作。本公开还可以提供选取验证样本集合功能，即在需要针对一机器模型进行验证时，该选取验证样本集合功能被激活，本公开可以在选取验证样本集合功能被激活时，展示多个验证样本集合，本公开在接收到验证样本集合的选择信息后，可以利用被选择的验证样本集合执行机器模型的验证操作。
本公开通过为机器模型的训练和测试分别设置难例组，有利于使多种类别的第一难例样本均可以被作为第二难例样本参与到机器模型的训练过程和测试过程中，且能够快速的满足机器模型的本次训练过程和测试过程对第二难例样本的种类需求，例如，可以使机器模型基于数量均衡的不同类别的第二难例样本进行本次训练和测试，从而有利于提高成功学习后获得的机器模型的性能。
在一个可选示例中，本公开可以根据机器模型对应的训练操作信息，使用参与机器模型本次训练的各难例组中的第二难例样本，针对机器模型执行训练操作。本公开中的机器模型对应的训练操作信息可以是指使机器模型进行机器训练的程序等。本公开可以通过运行机器模型对应的训练操作信息，使第二难例样本通过机器模型进行相应的运算处理，并通过运行机器模型对应的训练操作信息可以基于运算处理的结果以及第二难例样本的属性信息(如标注信息)，不断的执行用于对机器模型的网络参数进行更新的操作，从而使机器模型的网络参数不断的被迭代更新，并在机器模型的收敛情况符合预期时，成功完成机器模型的训练过程。
一个例子，假设机器模型本次训练的所有难例组共包括m(m为正整数，且通常较大，如m大于1000等)个第二难例样本，本公开通过运行机器模型对应的训练操作信息，会从m个第二难例样本中读取m1(m1为正整数，且m1小于m)个第二难例样本，且m1个第二难例样本先后通过机器模型进行相应的运算处理，获得m1个运算结果，被运行的机器模型对应的训练操作信息会利用预先设置的损失函数对m1个运算结果和m1个第二难例样本的标注信息进行损失计算，并将损失计算结果在机器模型中反向传播，以更新机器模型的网络参数。被运行的机器模型对应的训练操作信息判断当前获得的所有损失计算结果的收敛情况是否符合预期，如果符合预期，则机器模型本次成功训练完成，如果不符合预期，则被运行的机器模型对应的训练操作信息会再次从m个第二难例样本中读取m1个第二难例样本，并再次执行上述更新机器模型的网络参数的过程，直到机器模型成功训练完成或者m个第二难例样本均参与了机器模型的本次训练过程。
另外，对于m个第二难例样本中的任一第二难例样本而言，被运行的机器模型对应的训练操作信息在确定出该第二难例样本经过机器模型执行相应的运算处理的运算结果与该第二难例样本的标注信息的差异满足预定要求时，可以将该第二难例样本作为训练过程中的难例样本上报。再有，机器模型对应的训练操作信息在被运行时，会形成一个训练任务标识。
在一个可选示例中，本公开可以根据机器模型对应的测试操作信息，使用参与机器模型本次测试的各难例组中的第二难例样本，针对机器模型执行测试操作。本公开中的机器模型对应的测试操作信息可以是指使机器模型进行机器测试的程序等。本公开可以通过运行机器模型对应的测试操作信息，使各第二难例样本分别通过机器模型进行相应的运算处理，并通过运行机器模型对应的测试操作信息可以基于运算处理的结果以及第二难例样本的属性信息(如标注信息)，判断机器模型的性能。另外，被运行的机器模型对应的测试操作信息也可以基于运算处理的结果以及第二难例样本的属性信息执行用于对机器模型的网络参数进行更新的操作，从而使机器模型的网络参数在测试过程中继续被迭代更新。
一个例子，假设机器模型本次测试的所有难例组共包括s(s为正整数，s通常较大且小于m，如s大于500等)个第二难例样本，本公开通过运行机器模型对应的测试操作信息，会从s个第二难例样本中读取s1(s1为正整数，且s1小于s)个第二难例样本，且s1个第二难例样本先后通过机器模型进行相应的运算处理，获得s1个运算结果，被运行的机器模型对应的测试操作信息会基于s1个运算结果和s1个第二难例样本的标注信息判断机器模型的性能。另外，被运行的机器模型对应的测试操作信息也可以利用预先设置的损失函数对s1个运算结果和s1个第二难例样本的标注信息进行损失计算，并将损失计算结果在机器模型中反向传播，以更新机器模型的网络参数。被运行的机器模型对应的测试操作信息会再次从s个第二难例样本中读取s1个第二难例样本，并再次执行上述判断机器模型的性能以及更新机器模型的网络参数的过程，直到s个第二难例样本均参与了机器模型的本次测试过程。
另外，对于s个第二难例样本中的任一第二难例样本而言，被运行的机器模型对应的测试操作信息在确定出该第二难例样本经过机器模型执行相应的运算处理的运算结果与该第二难例样本的标注信息的差异满足预定要求时，可以将该第二难例样本作为测试过程中的难例样本上报。再有，机器模型对应的测试操作信息在被运行时，会形成一个测试任务标识，且该测试任务标识会与相应的训练任务标识以及相应的成功学习完成的机器模型的模型标识相关联。
本公开通过利用第二难例样本对机器模型进行训练操作和测试操作，有利于有序有效的完成机器模型的学习过程，并有利于使难例样本这一数据流分别与机器模型的训练环节和测试环节相衔接，从而有利于高效的实现机器模型学习生命周期的初始化。
在一个可选示例中，本公开可以在机器模型的学习操作过程中，获取机器模型的学习过程信息。例如，在机器模型的训练过程中，将被机器模型识别错误的第二难例样本记录在机器模型的训练过程信息中。训练过程信息可以为训练日志的形式。再例如，在机器模型的测试过程中，将被机器模型识别错误的第二难例样本记录在机器模型的测试过程信息中。测试过程信息可以为测试日志的形式。
另外，对于被机器模型识别错误的第二难例样本，本公开可以将机器模型的识别结果信息记录在该第二难例样本的属性信息中。例如，本公开可以根据机器模型的识别结果信息设置相应的第一难例样本的属性信息中的第一难例样本的识别结果信息。通过利用机器模型的识别结果信息完善第二难例样本的属性信息，有利于使数据流和学习环节紧密衔接，从而有利于使机器模型的学习过程形成闭合的环路，从而有利于高效的实现机器模型学习生命周期的初始化，并有利于降低机器模型学习生命周期的成本。
本公开可以根据实际需求获取机器模型的学习过程信息，例如，学习过程信息可以包括但不限于：学习过程所使用第二难例样本的总数量(如训练过程所使用第二难例样本的总数量和测试过程所使用第二难例样本的总数量等)、学习过程所使用的第二难例样本所在的难例组的组标识(如训练过程所使用第二难例样本所在难例组的组标识和测试过程所使用第二难例样本所在难例组的组标识等)、学习过程上报的第二难例样本的总数量(如训练过程上报的第二难例样本的总数量和测试过程上报的第二难例样本的总数量等)、学习过程上报的第二难例样本的标识(如训练过程上报的第二难例样本的标识和测试过程上报的第二难例样本的标识等)、机器模型的学习结果(如机器模型的训练结果和机器模型的测试结果等)等。学习过程信息可以与训练任务标识和测试任务标识相关联，例如，学习过程信息中的训练过程信息对应相应的训练任务标识，学习过程信息中的测试过程信息对应相应的测试任务标识。
可选的，本公开在基于机器模型的学习结果，更新机器模型的过程时，可以通过设置机器模型的发版任务，来更新机器模型(如车辆或者移动电话或者计算机等用户设备所使用的机器模型)。本公开可以关联发版任务、机器模型本次学习的难例以及机器模型的学习过程信息。例如，各发版任务分别具有唯一的发版任务标识，本公开可以将发版任务标识、训练任务标识以及测试任务标识关联在一起。
本公开通过关联发版任务、第二难例样本以及机器模型的学习过程信息，有利于便捷的回溯模型的机器学习生命周期，从而有利于提高机器学习生命周期的可管理性。
示例性装置
图6为本公开的机器模型的更新装置一个实施例的结构示意图。该实施例的装置可用于实现本公开相应的方法实施例。
如图6所示的装置包括：获取第一难例样本模块600、确定数据分布信息模块601、确定第二难例样本模块602、学习模块603和更新机器模型模块604。该装置还可以可选的包括：机器模型管理模块605。
获取第一难例样本模块600用于获取机器模型的第一难例样本以及第一难例样本的属性信息。
确定数据分布信息模块601用于根据获取第一难例样本模型600获取的第一难例样本的属性信息，确定第一难例样本的基于类别的数据分布信息。
确定第二难例样本模块602用于根据机器模型对第一难例样本类别的学习需求信息以及确定数据分布信息模块601确定出的数据分布信息，确定机器模型在本次机器学习中的第二难例样本。
学习模块603用于根据机器模型对应的学习操作信息，通过确定第二难例样本模块602确定出的第二难例样本对机器模型执行学习操作。
更新机器模型模块604用于基于学习模块603获得的机器模型的学习结果，更新机器模型。
可选的，获取第一难例样本模块600可以包括：第一子模块6001、第二子模块6002、第三子模块6003以及第四子模块6004。其中的第一子模块6001用于接收机器模型在本次学习过程中和/或机器模型在使用过程中上报的难例样本。其中的第二子模块6002用于根据第一子模块6001接收到的上报的难例样本，确定机器模型的难例采集特征信息和难例采集数量信息。其中的第三子模块6003用于将第二子模块6002确定出的难例采集特征信息和难例采集数量信息提供给数据采集系统，并根据数据采集系统返回的信息，获得多个第一难例样本。其中的第四子模块6004用于设置第三子模块6003获得的多个第一难例样本的属性信息。
可选的，第四子模块6004可以将第三子模块6003获得的多个第一难例样本分别提供给数据标注系统，并将数据标注系统返回的多个第一难例样本的标注信息分别设置在第三子模块6003获得的多个第一难例样本的属性信息中。
可选的，获取第一难例样本模块600可以包括：第五子模块6005、第六子模块6006和第七子模块6007。其中的第五子模块6005用于对当前存储的第一难例样本进行复制。其中的第六子模块6006用于对第五子模块6005复制获得的第一难例样本进行修改，形成新的第一难例样本。其中的第七子模块6007用于设置第六子模块6006获得的新的第一难例样本的属性信息。
可选的，确定第二难例样本模块602可以包括：第八子模块6021和第九子模块6022。其中的第八子模块6021用于根据确定数据分布信息模块601确定出的数据分布信息，对机器模型的第一难例样本进行分组处理，获得机器模型的多个难例组的分组信息。其中的第九子模块6022用于根据机器模型对第一难例样本类别的学习需求信息以及第八子模块6021获得的分组信息，确定机器模型本次学习的难例组。其中，机器模型本次学习的难例组中的所有第一难例样本被作为机器模型在本次学习中的第二难例样本。
可选的，第九子模块6022可以包括：第一单元以及第二单元(图6中未示出)。其中的第一单元用于根据机器模型对第一难例样本类别的训练需求信息以及第八子模块6021获得的分组信息，确定机器模型本次训练的难例组。其中的第二单元用于根据机器模型对第一难例样本类别的测试需求信息以及第八子模块6021获得的分组信息，确定机器模型本次测试的难例组。
可选的，学习模块603包括：第十子模块6031以及第十一子模块6032。其中的第十子模块6031用于根据机器模型对应的训练操作信息，使用第一单元确定出的机器模型本次训练的难例组中的第二难例样本，针对机器模型执行训练操作。其中的第十一子模块6032用于根据机器模型对应的测试操作信息，使用第二单元确定出的机器模型本次测试的难例组中的第二难例样本，针对机器模型执行测试操作。
可选的，更新机器模型模块604还用于设置机器模型的发版任务。
机器模型管理模块605用于在机器模型的学习操作过程中，获取机器模型的学习过程信息，并关联发版任务、第二难例样本以及机器模型的学习过程信息。
在一个例中，机器模型管理模块605可以进一步用于：在机器模型的训练过程中，将被机器模型识别错误的第二难例样本记录在机器模型的训练过程信息中；在机器模型的测试过程中，将被机器模型识别错误的第二难例样本记录在机器模型的测试过程信息中；对于被机器模型识别错误的第二难例样本，将机器模型的识别结果信息记录在该第二难例样本的属性信息中。
示例性电子设备
下面参考图7来描述根据本公开实施例的电子设备。图7示出了根据本公开实施例的电子设备的框图。如图7所示，电子设备71包括一个或多个处理器711和存储器712。
处理器711可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备71中的其他组件以执行期望的功能。
存储器712可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器，例如，可以包括：随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器，例如，可以包括：只读存储器(ROM)、硬盘以及闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器711可以运行所述程序指令，以实现上文所述的本公开的各个实施例的机器模型的更新方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备71还可以包括：输入装置713以及输出装置714等，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。此外，该输入设备713还可以包括例如键盘、鼠标等等。该输出装置714可以向外部输出各种信息。该输出设备714可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图7中仅示出了该电子设备71中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备71还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的机器模型的更新方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的机器模型的更新方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列举)可以包括：具有一个或者多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势以及效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备以及系统。诸如“包括”、“包含、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述，以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改等对于本领域技术人员而言，是非常显而易见的，并且在此定义的一般原理可以应用于其他方面，而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式中。尽管以上已经讨论了多个示例方面以及实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种机器模型的更新方法，包括：
获取机器模型的第一难例样本以及所述第一难例样本的属性信息；
根据所述第一难例样本的属性信息，确定所述第一难例样本的基于类别的数据分布信息；
根据所述机器模型对所述第一难例样本类别的学习需求信息以及所述数据分布信息，确定所述机器模型在本次机器学习中的第二难例样本；
根据所述机器模型对应的学习操作信息，通过所述第二难例样本对所述机器模型执行学习操作；
基于所述机器模型的学习结果，更新所述机器模型。
2.根据权利要求1所述的方法，其中，所述获取机器模型的第一难例样本以及所述第一难例样本的属性信息，包括：
接收所述机器模型在本次学习过程中和/或所述机器模型在使用过程中上报的难例样本；
根据所述上报的难例样本，确定所述机器模型的难例采集特征信息和难例采集数量信息；
将所述难例采集特征信息和难例采集数量信息提供给数据采集系统，并根据数据采集系统返回的信息，获得多个第一难例样本；
设置所述多个第一难例样本的属性信息。
3.根据权利要求2所述的方法，其中，所述设置所述多个第一难例样本的属性信息，包括：
将所述多个第一难例样本分别提供给数据标注系统；
将所述数据标注系统返回的所述多个第一难例样本的标注信息分别设置在所述多个第一难例样本的属性信息中。
4.根据权利要求1至3中任一项所述的方法，其中，所述获取机器模型的第一难例样本以及所述第一难例样本的属性信息，包括：
对当前存储的第一难例样本进行复制；
对所述复制获得的第一难例样本进行修改，形成新的第一难例样本；
设置所述新的第一难例样本的属性信息。
5.根据权利要求1至4所述的方法，其中，所述根据所述机器模型对所述第一难例样本类别的学习需求信息以及所述数据分布信息，确定所述机器模型在本次机器学习中的第二难例样本，包括：
根据所述数据分布信息，对所述机器模型的第一难例样本进行分组处理，获得所述机器模型的多个难例组的分组信息；
根据所述机器模型对所述第一难例样本类别的学习需求信息以及所述分组信息，确定所述机器模型本次学习的难例组；
其中，所述机器模型本次学习的难例组中的所有第一难例样本被作为所述机器模型在本次学习中的第二难例样本。
6.根据权利要求5所述的方法，其中，所述根据所述机器模型对所述第一难例样本类别的学习需求信息以及所述分组信息，确定所述机器模型本次学习的难例组，包括：
根据所述机器模型对所述第一难例样本类别的训练需求信息以及所述分组信息，确定所述机器模型本次训练的难例组；
根据所述机器模型对所述第一难例样本类别的测试需求信息以及所述分组信息，确定所述机器模型本次测试的难例组。
7.根据权利要求1至6任一项所述的方法，其中，所述方法还包括：
在所述机器模型的学习操作过程中，获取所述机器模型的学习过程信息；
设置所述机器模型的发版任务；
关联所述发版任务、所述第二难例样本以及所述机器模型的学习过程信息。
8.一种机器模型的更新装置，包括：
获取第一难例样本模块，用于获取机器模型的第一难例样本以及所述第一难例样本的属性信息；
确定数据分布信息模块，用于根据所述获取第一难例样本模型获取的第一难例样本的属性信息，确定所述第一难例样本的基于类别的数据分布信息；
确定第二难例样本模块，用于根据所述机器模型对所述第一难例样本类别的学习需求信息以及所述确定数据分布信息模块确定出的数据分布信息，确定所述机器模型在本次机器学习中的第二难例样本；
学习模块，用于根据所述机器模型对应的学习操作信息，通过所述确定第二难例样本模块确定出的第二难例样本对所述机器模型执行学习操作；
更新机器模型模块，用于基于所述学习模块获得的机器模型的学习结果，更新所述机器模型。
9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至7中任一项所述的方法。
10.一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-7中任一项所述的方法。
CN202011502264.9A 2020-12-18 2020-12-18 机器模型的更新方法、装置、介质及设备 Active CN112541447B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011502264.9A CN112541447B (zh) 2020-12-18 2020-12-18 机器模型的更新方法、装置、介质及设备
US17/543,706 US20220198331A1 (en) 2020-12-18 2021-12-06 Machine model update method and apparatus, medium, and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011502264.9A CN112541447B (zh) 2020-12-18 2020-12-18 机器模型的更新方法、装置、介质及设备

Publications (2)

Publication Number Publication Date
CN112541447A true CN112541447A (zh) 2021-03-23
CN112541447B CN112541447B (zh) 2024-06-14

Family

ID=75019091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011502264.9A Active CN112541447B (zh) 2020-12-18 2020-12-18 机器模型的更新方法、装置、介质及设备

Country Status (2)

Country Link
US (1) US20220198331A1 (zh)
CN (1) CN112541447B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024008388A1 (en) * 2022-07-06 2024-01-11 Koninklijke Philips N.V. Federated learning with hard examples
CN116450808B (zh) * 2023-06-15 2023-09-19 腾讯科技（深圳）有限公司 一种数据的处理方法、装置以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106372658A (zh) * 2016-08-30 2017-02-01 广东工业大学 车辆分类器的训练方法
CN108647577A (zh) * 2018-04-10 2018-10-12 华中科技大学 一种自适应难例挖掘的行人重识别模型、方法与系统
CN110751225A (zh) * 2019-10-28 2020-02-04 普联技术有限公司 图像分类方法、装置及存储介质
US20200151613A1 (en) * 2018-11-09 2020-05-14 Lunit Inc. Method and apparatus for machine learning
CN111667050A (zh) * 2020-04-21 2020-09-15 佳都新太科技股份有限公司 度量学习方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6976360B2 (ja) * 2018-01-30 2021-12-08 富士フイルム株式会社 データ処理装置及び方法、認識装置、学習データ保存装置、機械学習装置並びにプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106372658A (zh) * 2016-08-30 2017-02-01 广东工业大学 车辆分类器的训练方法
CN108647577A (zh) * 2018-04-10 2018-10-12 华中科技大学 一种自适应难例挖掘的行人重识别模型、方法与系统
US20200151613A1 (en) * 2018-11-09 2020-05-14 Lunit Inc. Method and apparatus for machine learning
CN110751225A (zh) * 2019-10-28 2020-02-04 普联技术有限公司 图像分类方法、装置及存储介质
CN111667050A (zh) * 2020-04-21 2020-09-15 佳都新太科技股份有限公司 度量学习方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US20220198331A1 (en) 2022-06-23
CN112541447B (zh) 2024-06-14

Similar Documents

Publication Publication Date Title
US10943186B2 (en) Machine learning model training method and device, and electronic device
US20150347212A1 (en) Error classification in a computing system
US20190258648A1 (en) Generating asset level classifications using machine learning
US20200082034A1 (en) Evaluating Autonomous Vehicle Algorithms
CN111552633A (zh) 接口的异常调用测试方法、装置、计算机设备及存储介质
US11341370B2 (en) Classifying images in overlapping groups of images using convolutional neural networks
CN112541447A (zh) 机器模型的更新方法、装置、介质及设备
CN109542737A (zh) 平台告警处理方法、装置、电子装置及存储介质
US11605028B2 (en) Methods and systems for sequential model inference
US20230222391A1 (en) Self-learning ontology-based cognitive assignment engine
US20220100867A1 (en) Automated evaluation of machine learning models
KR102359090B1 (ko) 실시간 기업정보시스템 이상행위 탐지 서비스를 제공하는 방법과 시스템
CN112883990A (zh) 数据分类方法及装置、计算机存储介质、电子设备
CN112148582A (zh) 策略测试方法及装置、计算机可读介质和电子设备
CN111768242A (zh) 下单率预测方法、设备及可读存储介质
US11636282B2 (en) Machine learned historically accurate temporal classification of objects
CN108628873B (zh) 一种文本分类方法、装置和设备
US11645110B2 (en) Intelligent generation and organization of user manuals
CN110532448B (zh) 基于神经网络的文档分类方法、装置、设备及存储介质
CN114697127B (zh) 一种基于云计算的业务会话风险处理方法及服务器
US11521121B2 (en) Encoding machine-learning models and determining ownership of machine-learning models
CN116868185A (zh) 方法、数据处理设备、计算机程序产品和数据载体信号
CN111045849A (zh) 核对异常原因的识别方法、装置、服务器和存储介质
CN111158654A (zh) 算法调用方法、装置、服务器及存储介质
CN113874860A (zh) 用于检测恶意软件的装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant