CN114841255A - 检测模型的训练方法、装置、设备、存储介质及程序产品 - Google Patents

检测模型的训练方法、装置、设备、存储介质及程序产品 Download PDF

Info

Publication number
CN114841255A
CN114841255A CN202210413966.2A CN202210413966A CN114841255A CN 114841255 A CN114841255 A CN 114841255A CN 202210413966 A CN202210413966 A CN 202210413966A CN 114841255 A CN114841255 A CN 114841255A
Authority
CN
China
Prior art keywords
initial
result
detection model
sample set
labeling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210413966.2A
Other languages
English (en)
Inventor
谢齐辉
王昭
曹阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN202210413966.2A priority Critical patent/CN114841255A/zh
Publication of CN114841255A publication Critical patent/CN114841255A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

本公开实施例公开了一种检测模型的训练方法、装置、设备、存储介质及程序产品,其中,所述方法包括:获取已训练的对象检测模型和用于训练对象检测模型的初始样本集;初始样本集中的样本为包括第一对象和第二对象的产品图像,且第二对象的图像区域位于第一对象的图像区域中,初始样本集中的至少部分样本的初始标注结果未被完全标注第一对象和/或第二对象;利用对象检测模型对初始样本集中的至少部分样本进行预测,得到部分样本关于第一对象或第二对象的预测结果;基于部分样本的预测结果和初始样本集中对应样本的初始标注结果,确定标注评估结果;基于标注评估结果更新初始样本集,得到更新后的样本集,以优化对象检测模型。

Description

检测模型的训练方法、装置、设备、存储介质及程序产品
技术领域
本公开涉及但不限于计算机视觉技术领域,尤其涉及一种检测模型的训练方法、装置、设备、存储介质及程序产品。
背景技术
目标检测是人工智能领域的一个重要应用方向,旨在从图像中查找出感兴趣的目标的位置和类型。目前,目标检测任务大多通过神经网络模型来实现,但是,神经网络模型在训练过程中需要大量携带标注的样本数据,才能取得较好的训练结果。然而,相关技术中,仍旧需要相关人员手动对每张图片进行标注,耗时较长以及标注准确率较低等。
发明内容
有鉴于此,本公开实施例至少提供一种检测模型的训练方法、装置、设备、存储介质及程序产品。
本公开实施例的技术方案是这样实现的:
一方面,本公开实施例提供一种检测模型的训练方法,所述方法包括:
获取已训练的对象检测模型和用于训练所述对象检测模型的初始样本集;其中,所述初始样本集中的样本为包括第一对象和第二对象的产品图像,且所述第二对象的图像区域位于所述第一对象的图像区域中,所述初始样本集中的至少部分样本的初始标注结果未被完全标注所述第一对象和/或所述第二对象;利用所述对象检测模型对所述初始样本集中的至少部分样本进行预测,得到所述部分样本关于所述第一对象或所述第二对象的预测结果;基于所述部分样本的预测结果和所述初始样本集中对应样本的初始标注结果,确定标注评估结果;其中,所述标注评估结果表征所述部分样本关于所述第一对象或所述第二对象的预测结果中是否为假阳性;基于所述标注评估结果更新所述初始样本集,得到更新后的样本集,以优化所述对象检测模型。
另一方面,本公开实施例提供一种检测模型的训练装置,包括:
第一获取模块,用于获取已训练的对象检测模型和用于训练所述对象检测模型的初始样本集;其中,所述初始样本集中的样本为包括第一对象和第二对象的产品图像,且所述第二对象的图像区域位于所述第一对象的图像区域中,所述初始样本集中的至少部分样本的初始标注结果未被完全标注所述第一对象和/或所述第二对象;第一预测模块,用于利用所述对象检测模型对所述初始样本集中的至少部分样本进行预测,得到所述部分样本关于所述第一对象或所述第二对象的预测结果;确定模块,用于基于所述部分样本的预测结果和所述初始样本集中对应样本的初始标注结果,确定标注评估结果;其中,所述标注评估结果表征所述部分样本关于所述第一对象或所述第二对象的预测结果中是否为假阳性;优化模块,用于基于所述标注评估结果更新所述初始样本集,得到更新后的样本集,以优化所述对象检测模型。
再一方面,本公开实施例提供一种计算机设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述方法中的部分或全部步骤。
又一方面,本公开实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述方法中的部分或全部步骤。
又一方面,本公开实施例提供一种计算机程序,包括计算机可读代码,当所述计算机可读代码在计算机设备中运行时,所述计算机设备中的处理器执行用于实现上述方法中的部分或全部步骤。
又一方面,本公开实施例提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机程序被计算机读取并执行时,实现上述方法中的部分或全部步骤。
本公开实施例中,首先,通过部分标注初始样本集中部分样本的第一对象和/或第二对象,得到初始标注结果,由于初始样本集是用于训练对象检测模型;这样,可以通过减少标注第一对象和/或第二对象的工作量从而减少标注时间,通过部分标注的初始样本集来训练未被训练的初始检测模型得到对象检测模型,由此可以通过减少标注时间来提高对象检测模型的训练效率。
然后,可以利用对象检测模型对初始样本集中的至少部分样本进行预测,得到部分样本关于第一对象或第二对象的预测结果,从而可以基于部分样本的预测结果和初始样本集中对应样本的初始标注结果,确定标注评估结果;而标注评估结果表征部分样本关于第一对象或第二对象的预测结果中是否为假阳性;这样,可以简单快速地确定对象检测模型的预测结果中是否为假阳性,提高对预测结果正确性的确定效率。
最后,可以基于标注评估结果更新初始样本集,得到更新后的样本集,以优化对象检测模型;这样,可以进一步提高对象标注的准确性和标注效率,增加对象的标注数量,以及可以通过多次优化,进一步提高对象检测模型的准确性和鲁棒性。同时,由于第二对象的图像区域位于第一对象的图像区域中,对象检测模型可以在检测到第一对象的图像区域的基础上,基于第一对象的图像区域,精确地检测第二对象,减少因第二对象的尺寸过小而无法检测到第二对象的情况,提高对象检测的准确性等。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开的技术方案。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。
图1为本公开实施例提供的一种检测模型的训练方法的实现流程示意图;
图2为本公开实施例提供的一种检测模型的训练方法的实现流程示意图;
图3为本公开实施例提供的一种检测模型的训练方法的实现流程示意图;
图4为本公开实施例提供的一种提升数据标注质量方法的实现框架示意图;
图5A为本公开实施例提供的一种初始标注结果的示意图;
图5B为本公开实施例提供的一种预测结果的示意图;
图6为本公开实施例提供的一种提升钢管图像数据标注质量方法的实现框架示意图;
图7为本公开实施例提供的一种检测模型的训练装置的组成结构示意图;
图8为本公开实施例提供的一种计算机设备的硬件实体示意图。
具体实施方式
为了使本公开的目的、技术方案和优点更加清楚,下面结合附图和实施例对本公开的技术方案进一步详细阐述,所描述的实施例不应视为对本公开的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本公开保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。所涉及的术语“第一/第二/第三”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一/第二/第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本公开实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本公开的目的,不是旨在限制本公开。
本公开实施例提供一种检测模型的训练方法,该方法可以由计算机设备的处理器执行。其中,计算机设备指的可以是服务器、笔记本电脑、平板电脑、台式计算机、智能电视、机顶盒、移动设备(例如移动电话、便携式视频播放器、个人数字助理、专用消息设备、便携式游戏设备)等具备检测模型的训练能力的设备。图1为本公开实施例提供的一种检测模型的训练方法的实现流程示意图,如图1所示,该方法包括如下步骤S101至步骤S104:
步骤S101,获取已训练的对象检测模型和用于训练所述对象检测模型的初始样本集。
这里,对象检测模型可以理解为预先设置的机器学习模型,如,神经网络模型,用于执行目标检测。可以预先初始化未训练的对象检测模型(也即初始检测模型)的配置参数,利用带初始标注结果的初始样本集对未训练的对象检测模型进行训练,从而更新配置参数,得到已训练的对象检测模型。初始样本集可以理解为未进行更新的、原始的样本集,初始样本集可以包括样本以及样本的初始标注结果,样本的类型可以为图像类型。初始标注结果为初始样本集中的样本对应的标注结果,通过对样本进行标注,可以确定在图像或视频等样本中是否存在对象、对象的类型及对象的位置信息等标注结果。通常以标注框的形式对样本进行标注,标注框可以理解为在初始标注结果中用于表征第一对象或第二对象的位置和尺寸的框。
在一些实施例中,可以对初始样本集进行更新,得到更新后的初始样本集。例如:可以将多张图像中道路上的行人对象进行标注,将标注有行人对象的多张图像作为初始样本集,再将该多张图像中的车辆内的人员对象进行标注,将标注有行人对象和车辆内人员对象的多张图像作为更新后的初始样本集等。初始样本集可以为携带标注结果的多个样本的集合,用于训练初始检测模型。初始样本集可以包括训练集合和测试集合,训练集合用于训练初始检测模型,得到对象检测模型,测试集合用于检验对象检测模型的准确率等,这里并不限定。例如:样本集可以包括500张标注有轿车对象的图像、500张标注有自行车对象的图像和1000张标注有行人对象的图像等。
在一些实施例中,初始样本集中的样本可以为包括第一对象和第二对象的产品图像,第一对象的类型和第二对象的类型可以不同。例如:第一对象为车辆对象,第二对象为人体对象;或者第一对象为动物对象,第二对象为植物对象等。产品图像可以理解为工业产品的图像,产品图像可以作为初始样本集中的样本,如,钢管图像、压力容器图像或光伏板图像等,这里并不限定。作为样本的产品图像包含可以进行标注的对象,对象可以包括人体、车辆、人脸、异常缺陷等类型中的一种或者多种,这里并不限定。
在一些实施例中,第二对象的图像区域可以位于第一对象的图像区域内,第一对象的图像区域可以理解为产品图像中包含第一对象的区域,第二对象的图像区域可以理解为产品图像中包含第二对象的区域。第一对象可以理解为产品图像中面积较大、数量较多的对象,第二对象可以理解为产品图像中面积较小、数量较少的对象,第一对象与第二对象可以存在重合区域,如,第二对象可以位于第一对象上等。例如:产品图像可以为街拍图像,第一对象可以为人体对象,第二对象可以为人脸对象;或者第一对象可以为车辆对象,第二对象可以为车窗对象等。
在一些实施例中,初始样本集中的至少部分样本的初始标注结果可以未被完全标注第一对象和/或第二对象。可以理解为:对于部分产品图像,标注所有的第一对象和第二对象,对于其余的产品图像,不标注第一对象和第二对象;或者,对于部分产品图像,标注部分的第一对象和第二对象,对于其余的产品图像,不标注第一对象和第二对象;或者,对于所有的产品图像,标注部分的第一对象和第二对象等,这里并不限定。例如:初始样本集包括1000张产品图像,每一产品图像包括至少两个第一对象和至少两个第二对象,可以标注每一图像中的一个第一对象和一个第二对象,作为初始标注结果。初始标注结果可以是指初始样本集中一个样本的标注结果,也可以是指初始样本集中所有的样本的标注结果,如,每一样本可以对应一个初始标注结果。
在一些实施例中,可以通过对预设产品(如,钢管)进行拍摄,得到多张产品图像,或者可以从现有的样本集(如,K400样本集或SSV2样本集等)中获取多张产品图像。然后,可以利用拉框工具采用人工方式,对至少部分产品图像中的至少部分第一对象和至少部分第二对象进行标注,得到初始标注结果。或者,可以利用标注工具(如,LabelImg或Labelme等),对至少部分产品图像中的至少部分第一对象和至少部分第二对象进行标注,得到初始标注结果,进而可以得到包含多张产品图像以及初始标注结果的初始样本集。
步骤S102,利用所述对象检测模型对所述初始样本集中的至少部分样本进行预测,得到所述部分样本关于所述第一对象或所述第二对象的预测结果。
这里,在获取已训练的对象检测模型和用于训练对象检测模型的初始样本集的情况下,可以从初始样本集中随机获取至少部分样本。至少部分样本也即预设数量的产品图像,可以包括初始样本集中部分的产品图像,也可以包括初始样本集中全部的产品图像,这里并不限定。
在一些实施例中,可以利用已训练的对象检测模型,对部分样本进行预测,得到预测结果。预测结果可以包括是否检测到第一对象或第二对象,第一对象或第二对象的类型,以及在检测到第一对象或第二对象的情况下,第一对象或第二对象的检测框的位置和尺寸等信息,这里并不限定。例如:对待检测的钢管进行拍摄,得到的钢管图像,利用对象检测模型对钢管图像进行缺陷检测,确定钢管图像是否包含圆形缺陷、未熔合/未焊透、条形缺陷、裂痕、夹钨等缺陷,进而确定钢管的质量。
步骤S103,基于所述部分样本的预测结果和所述初始样本集中对应样本的初始标注结果,确定标注评估结果。
这里,可以预先设置每一样本(如,每一产品图像)与该样本对应的初始标注结果之间的对应关系,例如:第一产品图像对应第一初始标注结果,第二产品图像对应第二初始标注结果。在获取部分样本的预测结果的情况下,可以根据当前选取的部分样本、以及样本与初始标注结果之间的对应关系,从初始样本集中获取该部分样本(也即初始样本集中对应样本)的初始标注结果。在获取部分样本的预测结果和对应样本的初始标注结果的情况下,可以确定部分样本的预测结果和对应样本的初始标注结果之间的差异。进而可以根据该差异确定标注评估结果,标注评估结果可以表征部分样本关于第一对象或第二对象的预测结果中是否为假阳性。例如:部分样本的预测结果包含10个第一对象,15个第二对象,对应样本的初始标注结果包含13个第一对象,20个第二对象等。进一步地,可以确定预测结果中的第一对象与初始标注结果中的第一对象是否存在相同,以及预测结果中的第二对象与初始标注结果中的第二对象是否存在相同。例如:采用人工对比方式,确定10个第一对象相同,14个第二对象相同,也即,预测结果中新增3个第一对象,新增5个第二对象。
由于通过已训练的对象检测模型得到的预测结果可能存在误差,预测结果并不完全准确,为了后续进一步优化对象检测模型,以及提高预测结果的准确性,可以进一步确定新增的第一对象和第二对象的真实性。例如:可以确定初始标注结果中标注的多个第一对象的第一平均特征和多个第二对象的第二平均特征,其中,可以用特征矩阵的形式来表征第一对象的特征和第二对象的特征。确定预测结果中新增的每一第一对象的特征,以及每一第二对象的特征。在新增的第一对象的特征与第一平均特征之间的差值属于第一阈值范围的情况下,确定新增的第一对象的预测结果为阴性(也即真);在新增的第一对象的特征与第一平均特征之间的差值不属于第一阈值范围的情况下,确定新增的第一对象的预测结果为假阳性(也即阳性或者假等);在新增的第二对象的特征与第二平均特征之间的差值属于第二阈值范围的情况下,确定新增的第二对象的预测结果为阴性(也即真);在新增的第二对象的特征与第二平均特征之间的差值不属于第一阈值范围的情况下,确定新增的第二对象的预测结果为假阳性(也即阳性或者假等)。
在一些可能的实施例中,可以将初始样本集中的样本进行分组,得到多组子初始样本集,可以利用对象检测模型对第一组子初始样本集中的样本进行预测,得到第一组子初始样本集对应的预测结果。进而可以利用对象检测模型对第二组子初始样本集进行预测的同时,确定第一组子初始样本集对应的预测结果与第一组子初始样本集对应的初始标注结果之间的标注评估结果。这样,有助于提高标注评估结果的确定效率等。
步骤S104,基于所述标注评估结果更新所述初始样本集,得到更新后的样本集,以优化所述对象检测模型。
这里,在确定部分样本关于第一对象或第二对象的预测结果中是否为假阳性后,可以将不为假阳性的预测结果添加至初始标注结果,得到更新后的初始标注结果,进而可以将更新后的初始标注结果,以及初始样本集中的样本,确定为更新后的样本集。在确定更新后的样本集的情况下,可以利用更新后的样本集进一步地优化对象检测模型。例如:针对第一对象和第二对象,利用对象检测模型对更新后的样本集中的样本进行预测,得到当前的预测结果。根据当前的预测结果和更新后的初始标注结果,确定对象检测模型当前的损失,根据当前的损失,更新对象检测模型的配置参数,从而得到优化后的对象检测模型。
本公开实施例中,首先,通过部分标注初始样本集中部分样本的第一对象和/或第二对象,得到初始标注结果,由于初始样本集是用于训练对象检测模型;这样,可以通过减少标注第一对象和/或第二对象的工作量,从而减少标注时间,通过部分标注的初始样本集来训练未被训练的初始检测模型得到对象检测模型,由此可以通过减少标注时间来提高对象检测模型的训练效率。
然后,可以利用对象检测模型对初始样本集中的至少部分样本进行预测,得到部分样本关于第一对象或第二对象的预测结果,从而可以基于部分样本的预测结果和初始样本集中对应样本的初始标注结果,确定标注评估结果;而标注评估结果表征部分样本关于第一对象或第二对象的预测结果中是否为假阳性;这样,可以简单快速地确定对象检测模型的预测结果中是否为假阳性,提高对预测结果正确性的确定效率。
最后,可以基于标注评估结果更新初始样本集,得到更新后的样本集,以优化对象检测模型;这样,可以进一步提高对象标注的准确性和标注效率,增加对象的标注数量,以及可以通过多次优化,进一步提高对象检测模型的准确性和鲁棒性。同时,由于第二对象的图像区域位于第一对象的图像区域中,对象检测模型可以在检测到第一对象的图像区域的基础上,基于第一对象的图像区域,精确地检测第二对象,减少因第二对象的尺寸过小而无法检测到第二对象的情况,提高对象检测的准确性。
在一些实施例中,所述初始标注结果中的所述第一对象和/或所述第二对象为人工标注的;所述对象检测模型包括第一检测模型和第二检测模型;上述检测模型的训练方法还可以包括如下步骤S111至步骤S113:
步骤S111,获取未训练的初始检测模型。
这里,初始检测模型可以理解为未训练的对象检测模型,对象检测模型可以包括第一检测模型和第二检测模型,第一检测模型可以用于检测第一对象,第二检测模型可以用于检测第二对象。可以接收用户上传的配置指令,配置指令可以包括初始检测模型的输入形式、输出形式、结构和层数等属性信息。基于该配置指令,生成初始检测模型。也可以从互联网中获取与产品图像的检测类型为同一类型的检测模型,作为初始检测模型。如:对象检测模型用于检测钢管图像的缺陷对象,那么,可以从互联网等网络资源平台中获取现有的、检测类型为缺陷检测的检测模型作为初始检测模型。例如:可以将针对道路图像的裂缝检测模型、针对显示屏图像的划痕检测模型等,作为用于检测第一对象和第二对象的初始检测模型,有助于提高对象检测模型的训练效率。
步骤S112,以所述初始标注结果中的第一对象的标注结果为第一标签,利用所述初始样本集对所述初始检测模型进行训练,直至满足包括防止过拟合的第一收敛条件,得到所述第一检测模型。
这里,初始标注结果中的第一对象和/或第二对象可以为人工标注的,例如:相关人员可以利用拉框工具,将钢管图像中的焊缝区域作为第一对象,将焊缝区域内的夹钨缺陷作为第二对象等。第一标签可以理解为用于训练第一检测模型的标注结果,第一标签可以包括初始标注结果中的第一对象的标注结果。在获取初始检测模型的情况下,针对第一对象,可以利用初始检测模型对初始样本集中的样本进行预测,得到当前的预测结果,基于当前的预测结果和第一标签,确定初始检测模型当前的损失,基于当前的损失,调整初始检测模型的配置参数,从而得到第一检测模型。
在对初始检测模型进行训练的过程中,为了减少第一检测模型出现过拟合的可能性,可以预先设置第一收敛条件,第一收敛条件可以理解为训练第一检测模型的过程中,针对第一检测模型的收敛条件。例如:第一收敛条件为当前的损失小于第一收敛阈值。在确定第一收敛条件为初始检测模型当前的损失小于第一收敛阈值的情况下,可以停止训练初始检测模型,从而使得当前的预测结果和第一标签之间不至于完全相等,以降低第一检测模型出现过拟合的情况。
步骤S113,基于所述第一对象的标注结果和所述第二对象的标注结果,利用所述初始样本集对所述初始检测模型进行训练,直至满足包括防止过拟合的第二收敛条件,得到所述第二检测模型。
这里,在获取初始检测模型的情况下,由于第二对象的图像区域位于第一对象的图像区域中,对于第二对象,可以基于第一对象的标注结果从样本中获取第一对象的图像区域。进而可以利用初始检测模型对第一对象的图像区域进行预测,得到当前的预测结果,基于当前的预测结果和第二对象的标注结果,确定初始检测模型当前的损失,基于当前的损失,调整初始检测模型的配置参数,从而得到第二检测模型。
在对初始检测模型进行训练的过程中,为了减少第二检测模型出现过拟合的可能性,可以预先设置第二收敛条件,第二收敛条件可以理解为训练第二检测模型的过程中,针对第二检测模型的收敛条件。例如:第二收敛条件可以为当前的损失小于第二收敛阈值。在确定第二收敛条件为初始检测模型当前的损失小于第二收敛阈值的情况下,可以停止训练初始检测模型,从而使得当前的预测结果和第二对象的标注结果之间不至于完全相等,以降低第二检测模型出现过拟合的情况。
本公开实施例中,通过以初始标注结果中的第一对象的标注结果为第一标签,可以利用初始样本集对初始检测模型进行训练,直至满足包括防止过拟合的第一收敛条件,进而可以简单快速地得到用于检测第一对象的第一检测模型。可以基于第一对象的标注结果和第二对象的标注结果,利用初始样本集对初始检测模型进行训练,直至满足包括防止过拟合的第二收敛条件,进而准确地得到用于检测第二对象的第二检测模型,提高第二检测模型的准确率和检测效率。
在一些实施例中,上述步骤S113可以包括如下步骤S121至步骤S122:
步骤S121,基于所述第一对象的标注结果,从所述初始样本集中的样本中获取对应样本所包括的第一对象的图像区域,得到第一样本集。
这里,第一对象的标注结果可以包括第一对象的类型、用于标注第一对象的标注框的尺寸和位置等信息,标注框可以包括矩形、圆形或者三角形等任意形状,这里并不限定。可以基于第一对象的标注框,从初始样本集的产品图像中获取第一对象的图像区域,例如:将第一对象的标注框的尺寸作为第一对象的图像区域的尺寸,将第一对象的标注框的位置作为第一对象的图像区域的位置,进而可以从产品图像中获取第一对象的图像区域。第一样本集可以理解为产品图像的第一对象的图像区域的集合,可以获取产品图像的第一对象的图像区域,以形成第一样本集。例如:从10张产品图像中,获取20个第一对象的图像区域作为第一样本集。
步骤S122,以所述初始标注结果中的第二对象的标注结果为第二标签,利用所述第一样本集对所述初始检测模型进行训练,直至满足包括防止过拟合的所述第二收敛条件,得到所述第二检测模型。
这里,第二标签可以理解为用于训练第二检测模型的标注结果,第二标签可以包括初始标注结果中的第二对象的标注结果。在获取第一样本集和初始检测模型的情况下,针对第二对象,可以利用初始检测模型对第一样本集中的样本进行预测,得到当前的预测结果,基于当前的预测结果和第二标签,确定初始检测模型当前的损失,基于当前的损失,调整初始检测模型的配置参数,从而得到第二检测模型。
在对初始检测模型进行训练的过程中,为了减少第二检测模型出现过拟合的可能性,可以预先设置第二收敛条件,第二收敛条件可以理解为训练第二检测模型的过程中,针对第二检测模型的收敛条件。例如:第二收敛条件可以为当前的迭代次数大于迭代阈值,在确定第二收敛条件为初始检测模型当前的迭代次数大于迭代阈值的情况下,可以停止训练初始检测模型,从而使得当前的预测结果和第二对象的标注结果之间不至于完全相等,以降低第二检测模型出现过拟合的情况。
本公开实施例中,基于第一对象的标注结果,从初始样本集中获取对应样本所包括的第一对象的图像区域,得到第一样本集;进而能够以初始标注结果中的第二对象的标注结果为第二标签,利用第一样本集对初始检测模型进行训练,直至满足包括防止过拟合的第二收敛条件,得到第二检测模型。这样,通过减小初始检测模型输入图像的尺寸,可以减少初始检测模型的计算量,从而提高检测效率,以及相比于从产品图像中检测出第二对象,从第一对象的图像区域检测出第二对象,通过减少可能存在干扰的其他对象,降低了检测难度。
在一些实施例中,上述步骤S112可以包括如下步骤S131至步骤S132:
步骤S131,基于所述初始检测模型,对所述初始样本集进行检测,得到第一检测结果。
这里,第一检测结果用于理解为针对第一对象进行的对象检测,得到第一检测结果,第一检测结果可以包括是否检测到第一对象,第一对象的类型,以及在检测到第一对象的情况下的第一对象的检测框等信息。例如:初始样本集中的产品图像可以为车辆图像,第一对象为车辆对象,利用初始检测模型,通过对车辆图像进行以车辆为对象的检测,确定存在车辆的情况下,并以检测框的形式标注出车辆对象在车辆图像中的位置等。
步骤S132,响应于所述初始标注结果与所述第一检测结果之间的第一差异大于第一阈值,调整所述初始检测模型的配置参数,得到所述第一检测模型。
这里,在确定该样本的第一检测结果的情况下,可以确定该样本的初始标注结果与该样本的第一检测结果之间的第一差异,第一差异用于表征初始标注结果与第一检测结果之间的差异。例如:初始标注结果表示产品图像中存在2个第一对象,第一检测结果表示产品图像中存在3个第一对象,且其中2个第一对象与初始标注结果中的2个第一对象相同,那么可以确定第一差异为新增1个第一对象。可以采用数值或者矩阵的形式来表征第一差异,在确定第一差异的情况下,确定第一差异是否大于预设的第一阈值,在第一差异大于第一阈值的情况下,可理解为训练未达到预设精度需求,可以调整初始检测模型的配置参数,经过多次迭代,再次确定初始标注结果与第一检测结果之间的差异,进而继续优化初始检测模型;在第一差异小于或者等于第一阈值的情况下,可理解为训练已达到预设精度需求,可以停止调整初始检测模型的配置参数,从而得到第一检测模型。
本公开实施例中,可以基于初始检测模型,对初始样本集进行检测,得到第一检测结果;从而可以响应于初始标注结果与第一检测结果之间的第一差异大于第一阈值,调整初始检测模型的配置参数,快速准确地得到第一检测模型,减少第一检测模型出现过拟合的情况。
在一些实施例中,上述步骤S113可以包括如下步骤S133至步骤S134:
步骤S133,基于所述初始检测模型,对所述第一样本集进行检测,得到第二检测结果。
这里,第二检测结果用于理解为针对第二对象进行的对象检测,得到第二检测结果,第二检测结果可以包括是否检测到第二对象,第二对象的类型,以及在检测到第二对象的情况下的第二对象的检测框等信息。例如:第一样本集可以为钢管焊缝的图像区域,也即第一对象为钢管的焊缝区域,第二对象为夹钨缺陷,利用初始检测模型,通过对钢管焊缝的图像区域进行以夹钨缺陷为对象的检测,确定存在夹钨缺陷的情况下,并以检测框的形式标注出夹钨缺陷在钢管图像中的位置等。
步骤S134,响应于所述初始标注结果与所述第二检测结果之间的第二差异大于第二阈值,调整所述初始检测模型的配置参数,得到所述第二检测模型。
这里,在确定该样本的第二检测结果的情况下,可以确定该样本的初始标注结果与该样本的第二检测结果之间的第二差异,第二差异用于表征初始标注结果与第二检测结果之间的差异。例如:初始标注结果表示产品图像中存在3个第二对象,第二检测结果表示产品图像中存在4个第二对象,且其中3个第二对象与初始标注结果中的3个第二对象相同,那么可以确定第二差异为新增1个第二对象。可以采用数值或者矩阵的形式来表征第二差异,在确定第二差异的情况下,可以确定第二差异是否大于预设的第二阈值,在第二差异大于第二阈值的情况下,可理解为训练未达到预设精度需求,可以调整初始检测模型的配置参数,进行多次迭代,再次确定初始标注结果与第二检测结果之间的差异,进而继续优化初始检测模型;在第二差异小于或者等于第二阈值的情况下,可理解为训练已达到预设精度需求,可以停止调整初始检测模型的配置参数,从而得到第二检测模型。
本公开实施例中,可以基于初始检测模型,对第一样本集进行检测,得到第二检测结果;从而可以响应于初始标注结果与第二检测结果之间的第二差异大于第二阈值,调整初始检测模型的配置参数,快速准确地得到第二检测模型,提高第二检测模型的训练效率,以及减少第二检测模型出现过拟合的情况等。
在一些实施例中,该方法还可以包括:
步骤S141,利用所述对象检测模型对所述更新后的样本集中的至少部分样本进行预测,得到所述更新后的样本集中的至少部分样本关于所述第一对象或所述第二对象的预测结果。
这里,在更新初始样本集,得到更新后的样本集的情况下,可以利用已训练的对象检测模型对更新后的样本集中的至少部分样本进行预测,得到更新后的样本集中的至少部分样本关于第一对象或第二对象的预测结果。例如:更新后的样本集中包含1000张产品图像,以及每一产品图像更新后的初始标注结果,随机获取500张产品图像,利用已训练的对象检测模型对该500张产品图像进行预测,得到该500张产品图像包括510个第一对象,790个第二对象的预测结果。更新后的样本集中的至少部分样本与初始样本集中的至少部分样本的数量可以相同,也可以不同,这里并不限定。
步骤S142,响应于所述更新后的样本集中的预设比例的样本的预测结果不为所述假阳性的情况下,停止对所述对象检测模型进行优化。
这里,在得到更新后的样本集中的至少部分样本关于第一对象或第二对象的预测结果的情况下,可以将更新后的样本集中的至少部分样本关于第一对象或第二对象的预测结果与更新后的初始标注结果进行对比,确定当前迭代次数的标注评估结果。当前迭代次数的标注评估结果可以表征部分样本关于第一对象或第二对象的预测结果中是否为假阳性。可以预先设置第一对象和第二对象不为假阳性的预设比例(如,80%),在确定预测结果中不为假阳性的比例大于预设比例(如,80%)的情况下,确定满足预设的精度要求。例如:确定更新后的样本集中的至少部分样本关于第一对象或第二对象的预测结果可以为新增1个第一对象,新增10个第二对象。第一对象不为假阳性,9个第二对象不为假阳性,1个第二对象为假阳性,第一对象不为假阳性的比例为100%,第二对象不为假阳性的比例为90%,那么可以认为当前的对象检测模型的准确率能够满足预设的精度要求,可以停止优化对象检测模型。
在一些实施例中,在响应于更新后的样本集中的预设比例的样本的预测结果为假阳性的情况下,可以通过多次迭代,继续优化对象检测模型,直至能够满足预设的精度要求。
本公开实施例中,可以响应于更新后的样本集中的预设数量的样本的预测结果不为假阳性的情况下,进而能够及时停止优化对象检测模型,防止出现多次优化而无法明显地提高对象检测模型的检测精度的情况等。
本公开实施例提供一种检测模型的训练方法,该方法可以由计算机设备的处理器执行。如图2所示,该方法包括如下步骤S201至步骤S205:
步骤S201,获取已训练的对象检测模型和用于训练所述对象检测模型的初始样本集。
步骤S202,利用所述对象检测模型对所述初始样本集中的至少部分样本进行预测,得到所述部分样本关于所述第一对象或所述第二对象的预测结果。
这里,上述步骤S201至步骤S202分别对应于前述步骤S101至步骤S102,在实施时可以参照前述步骤S101至步骤S102的具体实施方式。
步骤S203,将所述部分样本的预测结果与所述初始样本集中对应样本的人工标注结果进行比对,得到标注差异结果。
这里,标注差异结果可以表征部分样本的预测结果是否匹配初始样本集中对应样本的人工标注结果,由于初始标注结果中的第一对象和第二对象为人工标注的,初始标注结果也可以称为人工标注结果。可以基于第一对象或第二对象的位置等信息,确定预测结果中的第一对象是否与人工标注结果中的第一对象匹配。例如:预测结果可以为存在3个第一对象,第一对象的检测框的位置坐标分别为(1,1)、(2,2)和(3,3),人工标注结果为存在2个第一对象,第一对象的标注框的位置坐标分别为(1,1)和(2,2),那么可以确定预测结果中的2个第一对象匹配对应的人工标注结果,1个第一对象不匹配。
步骤S204,响应于所述部分样本的预测结果不匹配所述初始样本集中对应样本的人工标注结果,将所述部分样本的预测结果和所述对应样本的人工标注结果输出,以获取人工审核结果。
这里,人工审核结果用于表征部分样本中标注差异结果为不匹配的对象的预测结果是否为假阳性,由于标注评估结果表征部分样本关于第一对象或第二对象的预测结果中是否为假阳性,人工审核结果可以理解为利用人工审核方式,得到的标注评估结果。在确定部分样本的预测结果不匹配对应样本的人工标注结果的情况下,可以通过人工对比方式,对比标注差异结果为不匹配的对象与初始标注结果中的对象之间的形状、尺寸、位置等信息,得到人工审核结果。例如:确定标注评估结果包括预测结果中的其中2个第一对象匹配对应的人工标注结果,1个第一对象不匹配,且该第一对象为真实的第一对象,也即不为假阳性。
步骤S205,基于所述标注评估结果更新所述初始样本集,得到更新后的样本集,以优化所述对象检测模型。
这里,上述步骤S205对应于前述步骤S104,在实施时可以参照前述步骤S104的具体实施方式。
本公开实施例中,通过将部分样本的预测结果与初始样本集中对应样本的人工标注结果进行比对,得到标注差异结果;标注差异结果表征部分样本的预测结果是否匹配初始样本集中对应样本的人工标注结果;从而可以响应于部分样本的预测结果不匹配初始样本集中对应样本的人工标注结果,将部分样本的预测结果和对应样本的人工标注结果输出,以获取人工审核结果;人工审核结果用于表征部分样本中对应样本的预测结果是否为假阳性,有助于快速准确地确定出人工审核结果。
本公开实施例提供一种检测模型的训练方法,该方法可以由计算机设备的处理器执行。如图3所示,该方法包括如下步骤S301至步骤S305:
步骤S301,获取已训练的对象检测模型和用于训练所述对象检测模型的初始样本集。
步骤S302,利用所述对象检测模型对所述初始样本集中的至少部分样本进行预测,得到所述部分样本关于所述第一对象或所述第二对象的预测结果。
步骤S303,基于所述部分样本的预测结果和所述初始样本集中对应样本的初始标注结果,确定标注评估结果。
其中,所述标注评估结果表征所述部分样本关于所述第一对象或所述第二对象的预测结果中是否为假阳性。
这里,上述步骤S301至步骤S303分别对应于前述步骤S101至步骤S103,在实施时可以参照前述步骤S101至步骤S103的具体实施方式。
步骤S304,响应于所述标注评估结果表征所述部分样本的预测结果不为所述假阳性,将所述部分样本的预测结果更新为所述对应样本的标注结果。
这里,在确定标注评估结果表征部分样本的预测结果不为假阳性的情况下,可以将不为假阳性的样本的预测结果更新为对应样本的标注结果,得到更新后的初始标注结果,可以用于后续进一步优化对象检测模型。例如:确定标注评估结果包括预测结果包括2个第一对象匹配对应的初始标注结果,1个第一对象不匹配,且该第一对象为真实的第一对象,也即不为假阳性。那么,可以将该第一对象的预测结果、以及该预测结果与样本之间的对应关系添加至初始标注结果,得到更新后的初始标注结果。
步骤S305,响应于所述部分样本的预测结果为所述假阳性,不更新所述对应样本的标注结果。
这里,在确定标注评估结果表征部分样本的预测结果为假阳性的情况下,可以不更新为对应样本的标注结果,可以响应于部分样本的预测结果为假阳性的情况下,停止优化对象检测模型等。例如:确定标注评估结果包括预测结果包括2个第一对象匹配对应的初始标注结果,1个第一对象不匹配,且该第一对象不为真实的第一对象,也即为假阳性。那么,可以不更新当前的初始标注结果,也即当前的初始标注结果的准确率较高等,进而确定当前的对象检测模型的精度较高。
本公开实施例中,响应于标注评估结果表征部分样本的预测结果不为假阳性,将部分样本的预测结果更新为对应样本的标注结果;响应于部分样本的预测结果为假阳性,不更新对应样本的标注结果,有助于准确及时地更新标注结果,进一步优化对象检测模型,或者及时停止优化对象检测模型等。
下面说明本公开实施例提供的检测模型的训练方法在实际场景中的应用,以提升数据标注质量的场景为例进行说明。
当产品图像中对象的标注数据量达到一定量级,且对象的标注结果未出现过多错误时,初始检测模型可以基于产品图像和标注结果,训练得到准确率较高的对象检测模型。也即,可以将部分错误的标注结果作为噪声,不影响对象检测模型的训练,进而使得对象检测模型对于噪声具有一定的鲁棒性。
本公开实施例提供一种提升数据标注质量方法,该方法可以包括:
首先,可以通过人工标注的方式,对产品图像中的对象进行标注,得到初始标注结果。其中,初始标注结果可以存在一定数量的漏标注。例如:产品图像中的对象为缺陷对象时,标注人员可以对每一产品图像进行缺陷标注,可以只标注出大部分明显的缺陷对象。例如,参见图4中的产品图像401包括缺陷对象41和42,标注人员可以不对缺陷对象42进行标注仅标注缺陷对象41,缺陷对象41的初始标注结果为标注框43(参见图像402)。例如,产品图像401为钢管图像时,可以先确定钢管图像中的焊缝区域,如果在焊缝区域存在多个气孔缺陷,则可以只标注其中部分的气孔缺陷,这样有助于减少标注的工作量。
其次,在获取产品图像401和初始标注结果的情况下,可以利用带有初始标注结果的产品图像402对初始检测模型进行训练,得到对象检测模型403。继续以产品图像401为钢管图像进行举例,假设初始检测模型可以为精度较高的(Faster Region ConvolutionalNeural Network,Faster-RCNN)检测模型。
在训练过程中,为了能够继续优化标注结果,以及提高对象检测模型403的可用性,需要减少对象检测模型403出现过拟合现象的可能性。例如:在训练过程中,发现对象检测模型403的精度随着训练的进行而下降时(也即随着迭代次数的增加,对象检测模型的预测结果与初始标注结果之间的差异开始增大),可以终止训练;或者,在设置初始检测模型时,可以在预设的损失函数中引入正则化处理过程,或者设置随机失活(dropout)等处理,可以有效地减少出现过拟合的现象。
然后,在获取对象检测模型403的情况下,可以利用对象检测模型403对训练样本集中的产品图像401进行预测,得到带有预测结果的产品图像404。预测结果包括缺陷对象41和缺陷对象42的预测结果,缺陷对象41的预测结果为标注框43,缺陷对象42的预测结果为标注框44(参见图像404)。
接着,可以通过人工对比方式确定初始标注结果与预测结果之间的标注评估结果405,也即,确定是否存在预测结果中出现新增的缺陷对象,而初始标注结果中没有进行标注的情况。进一步地,再确定新增的缺陷对象是否为真实的缺陷对象。
若经过人工审核后确定是真实的缺陷对象(即新增的缺陷对象不是假阳性的),则可以在初始标注结果中添加该缺陷对象的标注结果,进行下一次的迭代,确定下一次的预测结果等。
若经过人工审核后发现确定不是真实的缺陷对象(即新增的缺陷对象是假阳性的),则可以利用当前的初始标注结果训练检测模型。例如:可以利用产品图像和初始标注结果训练一个两阶段的检测模型,检测模型在第一阶段可以检测出产品图像的第一对象,第二阶段可以基于第一对象的图像区域检测出第二对象等。在一些实施例中,产品图像可以为钢管图像,第一对象可以为焊缝区域,第二对象可以为缺陷对象,缺陷对象可以包括圆形缺陷、未熔合/未焊透、条形缺陷、裂痕、夹钨和其他缺陷等,这里并不限定。
图5A为本公开实施例提供的一种初始标注结果的示意图。如图5A所示,初始标注结果可以包含编号为1/3的第一钢管图像、编号为2/3的第二钢管图像和编号为3/3的第三钢管图像,可以预先设置焊缝区域的编号为6,未熔合缺陷的编号为1。第一钢管图像的初始标注结果包括焊缝区域501和未熔合缺陷511,第二钢管图像的初始标注结果包括焊缝区域502,第三钢管图像的初始标注结果包括焊缝区域503和未熔合缺陷512。
图5B为本公开实施例提供的一种预测结果的示意图。如图5B所示,预测结果可以包含编号为1/3的第一钢管图像、编号为2/3的第二钢管图像和编号为3/3的第三钢管图像。第一钢管图像的预测结果包括焊缝区域504和未熔合缺陷513,第二钢管图像的预测注结果包括焊缝区域505和未熔合缺陷514,第三钢管图像的预测结果包括焊缝区域506和未熔合缺陷515。根据对比初始标注结果和预测结果可以确定,标注评估结果可以为新增未熔合缺陷514的标注结果。
本公开实施例提供一种提升钢管图像数据标注质量方法,结合图6以检测钢管图像中的缺陷为例进行说明,该方法包括:
首先,可以通过人工标注的方式,对钢管图像601中的部分条形缺陷进行标注,条形缺陷的初始标注结果为标注框61(参见图像602)。
其次,在获取钢管图像601和条形缺陷的初始标注结果的情况下,可以利用初始标注结果对初始检测模型进行训练,得到对象检测模型603。其中,钢管图像601可以为数字X线摄影图像(Digital Radiography,DR)数据集中的图像,初始检测模型可以为Faster-RCNN检测模型。
然后,在获取对象检测模型603的情况下,可以利用对象检测模型603对钢管图像601进行预测,得到预测结果604。预测结果包括两个条形缺陷的预测结果,第一条形缺陷的预测结果为标注框62,第二条形缺陷的预测结果为标注框61(参见图像604)。
接着,可以通过人工对比方式确定初始标注结果与预测结果之间的标注评估结果605,也即,确定是否存在预测结果出现新增的条形缺陷,而初始标注结果中没有进行标注的情况。进一步地,再确定新增的条形缺陷是否为真实的条形缺陷。
若经过人工审核后确定是真实的条形缺陷(即新增的条形缺陷不是假阳性的),则可以在初始标注结果中添加该条形缺陷的标注结果,进行下一次的迭代,确定下一次的预测结果等。
若经过人工审核后发现确定不是真实的条形缺陷(即新增的条形缺陷是假阳性的),则可以利用当前的初始标注结果训练检测模型。例如:可以利用钢管图像和初始标注结果训练一个两阶段的检测模型,检测模型在第一阶段可以检测出钢管图像的焊缝区域,第二阶段可以基于焊缝区域检测出气孔缺陷等。
本公开实施例中,该提升钢管图像数据标注质量方法是一个不断迭代和尝试的过程,可以通过调整对象检测模型的结构,进一步地提高对象检测模型的检测效率和准确率等。如,使用可形变卷积网络作为提取缺陷对象特征的方式;在利用候选框获取算法(Region Proposal Network,RPN),获取焊缝区域的过程,可以中使用物体检测器机制(Guided Anchor),有助于快速确定焊缝区域;也可以使用Double RCNN结构作为检测头,来检测缺陷对象等;或者可以调整初始检测模型的超参数,如,学习率、迭代次数、先验框(anchor)尺寸等,有助于提高训练效率。本公开实施例中,可以仅基于一台具有训练机器学习模型能力的计算机设备以及一个相关人员即可循环改进数据标注的质量。相比于通过接收用户上报的告警,从而确定预测结果出现异常的情况下,经过多次返工改进初始样本集的标注结果的方式,本方案能够减少工作量,在得到精度较高的更新后的样本集的同时,也可以提高对象检测模型的检测准确率等。
基于前述的实施例,本公开实施例提供一种检测模型的训练装置,该装置包括所包括的各单元、以及各单元所包括的各模块,可以通过计算机设备中的处理器来实现;当然也可通过具体的逻辑电路实现;在实施的过程中,处理器可以为中央处理器(CentralProcessing Unit,CPU)、微处理器(Microprocessor Unit,MPU)、数字信号处理器(DigitalSignal Processor,DSP)或现场可编程门阵列(Field Programmable Gate Array,FPGA)等。
图7为本公开实施例提供的一种检测模型的训练装置的组成结构示意图,如图7所示,检测模型的训练装置700包括:第一获取模块710、第一预测模块720、确定模块730和优化模块740,其中:
第一获取模块710,用于获取已训练的对象检测模型和用于训练所述对象检测模型的初始样本集;其中,所述初始样本集中的样本为包括第一对象和第二对象的产品图像,且所述第二对象的图像区域位于所述第一对象的图像区域中,所述初始样本集中的至少部分样本的初始标注结果未被完全标注所述第一对象和/或所述第二对象;第一预测模块720,用于利用所述对象检测模型对所述初始样本集中的至少部分样本进行预测,得到所述部分样本关于所述第一对象或所述第二对象的预测结果;确定模块730,用于基于所述部分样本的预测结果和所述初始样本集中对应样本的初始标注结果,确定标注评估结果;其中,所述标注评估结果表征所述部分样本关于所述第一对象或所述第二对象的预测结果中是否为假阳性;优化模块740,用于基于所述标注评估结果更新所述初始样本集,得到更新后的样本集,以优化所述对象检测模型。
在一些实施例中,所述初始标注结果中的所述第一对象和/或所述第二对象为人工标注的;所述对象检测模型包括第一检测模型和第二检测模型;所述装置还包括:第二获取模块,用于获取未训练的初始检测模型;第一训练模块,用于以所述初始标注结果中的第一对象的标注结果为第一标签,利用所述初始样本集对所述初始检测模型进行训练,直至满足包括防止过拟合的第一收敛条件,得到所述第一检测模型;第二训练模块,用于基于所述第一对象的标注结果和所述第二对象的标注结果,利用所述初始样本集对所述初始检测模型进行训练,直至满足包括防止过拟合的第二收敛条件,得到所述第二检测模型。
在一些实施例中,所述第二训练模块还用于:基于所述第一对象的标注结果,从所述初始样本集中的样本中获取对应样本所包括的第一对象的图像区域,得到第一样本集;以所述初始标注结果中的第二对象的标注结果为第二标签,利用所述第一样本集对所述初始检测模型进行训练,直至满足包括防止过拟合的所述第二收敛条件,得到所述第二检测模型。
在一些实施例中,所述确定模块还用于:将所述部分样本的预测结果与所述初始样本集中对应样本的人工标注结果进行比对,得到标注差异结果;所述标注差异结果表征所述部分样本的预测结果是否匹配所述初始样本集中对应样本的人工标注结果;响应于所述部分样本的预测结果不匹配所述初始样本集中对应样本的人工标注结果,将所述部分样本的预测结果和所述对应样本的人工标注结果输出,以获取人工审核结果;所述人工审核结果用于表征所述部分样本中对应样本的预测结果是否为所述假阳性。
在一些实施例中,所述优化模块还用于:响应于所述标注评估结果表征所述部分样本的预测结果不为所述假阳性,将所述部分样本的预测结果更新为所述对应样本的标注结果;响应于所述部分样本的预测结果为所述假阳性,不更新所述对应样本的标注结果。
在一些实施例中,所述第一训练模块还用于:基于所述初始检测模型,对所述初始样本集进行检测,得到第一检测结果;响应于所述初始标注结果与所述第一检测结果之间的第一差异大于第一阈值,调整所述初始检测模型的配置参数,得到所述第一检测模型;所述第二训练模块还用于:基于所述初始检测模型,对所述第一样本集进行检测,得到第二检测结果;响应于所述初始标注结果与所述第二检测结果之间的第二差异大于第二阈值,调整所述初始检测模型的配置参数,得到所述第二检测模型。。
在一些实施例中,所述装置还包括:第二预测模块,用于利用所述对象检测模型对所述更新后的样本集中的至少部分样本进行预测,得到所述更新后的样本集中的至少部分样本关于所述第一对象或所述第二对象的预测结果;停止模块,用于响应于所述更新后的样本集中的预设比例的样本的预测结果不为所述假阳性的情况下,停止对所述对象检测模型进行优化。
以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上述方法实施例描述的方法,对于本公开装置实施例中未披露的技术细节,请参照本公开方法实施例的描述而理解。
需要说明的是,本公开实施例中,如果以软件功能模块的形式实现上述的检测模型的训练方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本公开实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本公开各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ReadOnly Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本公开实施例不限制于任何特定的硬件、软件或固件,或者硬件、软件、固件三者之间的任意结合。
本公开实施例提供一种计算机设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述方法中的部分或全部步骤。
本公开实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述方法中的部分或全部步骤。所述计算机可读存储介质可以是瞬时性的,也可以是非瞬时性的。
本公开实施例提供一种计算机程序,包括计算机可读代码,在所述计算机可读代码在计算机设备中运行的情况下,所述计算机设备中的处理器执行用于实现上述方法中的部分或全部步骤。
本公开实施例提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机程序被计算机读取并执行时,实现上述方法中的部分或全部步骤。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一些实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一些实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
这里需要指出的是:上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考。以上设备、存储介质、计算机程序及计算机程序产品实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本公开设备、存储介质、计算机程序及计算机程序产品实施例中未披露的技术细节,请参照本公开方法实施例的描述而理解。
需要说明的是,图8为本公开实施例中计算机设备的一种硬件实体示意图,如图8所示,该计算机设备800的硬件实体包括:处理器801、通信接口802和存储器803,其中:
处理器801通常控制计算机设备800的总体操作。
通信接口802可以使计算机设备通过网络与其他终端或服务器通信。
存储器803配置为存储由处理器801可执行的指令和应用,还可以缓存待处理器801以及计算机设备800中各模块待处理或已经处理的数据(例如,图像数据、音频数据、语音通信数据和视频通信数据),可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory,RAM)实现。处理器801、通信接口802和存储器803之间可以通过总线804进行数据传输。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本公开的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本公开的各种实施例中,上述各步骤/过程的序号的大小并不意味着执行顺序的先后,各步骤/过程的执行顺序应以其功能和内在逻辑确定,而不应对本公开实施例的实施过程构成任何限定。上述本公开实施例序号仅仅为了描述,不代表实施例的优劣。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本公开所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本公开各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本公开上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本公开各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本公开的实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本公开的保护范围之内。

Claims (11)

1.一种检测模型的训练方法,其特征在于,所述方法包括:
获取已训练的对象检测模型和用于训练所述对象检测模型的初始样本集;其中,所述初始样本集中的样本为包括第一对象和第二对象的产品图像,且所述第二对象的图像区域位于所述第一对象的图像区域中,所述初始样本集中的至少部分样本的初始标注结果未被完全标注所述第一对象和/或所述第二对象;
利用所述对象检测模型对所述初始样本集中的至少部分样本进行预测,得到所述部分样本关于所述第一对象或所述第二对象的预测结果;
基于所述部分样本的预测结果和所述初始样本集中对应样本的初始标注结果,确定标注评估结果;其中,所述标注评估结果表征所述部分样本关于所述第一对象或所述第二对象的预测结果中是否为假阳性;
基于所述标注评估结果更新所述初始样本集,得到更新后的样本集,以优化所述对象检测模型。
2.根据权利要求1所述的方法,其特征在于,所述初始标注结果中的所述第一对象和/或所述第二对象为人工标注的;所述对象检测模型包括第一检测模型和第二检测模型;所述方法还包括:
获取未训练的初始检测模型;
以所述初始标注结果中的第一对象的标注结果为第一标签,利用所述初始样本集对所述初始检测模型进行训练,直至满足包括防止过拟合的第一收敛条件,得到所述第一检测模型;
基于所述第一对象的标注结果和所述第二对象的标注结果,利用所述初始样本集对所述初始检测模型进行训练,直至满足包括防止过拟合的第二收敛条件,得到所述第二检测模型。
3.根据权利要求2所述的方法,其特征在于,所述基于所述第一对象的标注结果和所述第二对象的标注结果,利用所述初始样本集对所述初始检测模型进行训练,直至满足包括防止过拟合的第二收敛条件,得到所述第二检测模型,包括:
基于所述第一对象的标注结果,从所述初始样本集中的样本中获取对应样本所包括的第一对象的图像区域,得到第一样本集;
以所述初始标注结果中的第二对象的标注结果为第二标签,利用所述第一样本集对所述初始检测模型进行训练,直至满足包括防止过拟合的所述第二收敛条件,得到所述第二检测模型。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述基于所述部分样本的预测结果和所述初始样本集中对应样本的初始标注结果,确定标注评估结果,包括:
将所述部分样本的预测结果与所述初始样本集中对应样本的人工标注结果进行比对,得到标注差异结果;所述标注差异结果表征所述部分样本的预测结果是否匹配所述初始样本集中对应样本的人工标注结果;
响应于所述部分样本的预测结果不匹配所述初始样本集中对应样本的人工标注结果,将所述部分样本的预测结果和所述对应样本的人工标注结果输出,以获取人工审核结果;所述人工审核结果用于表征所述部分样本中对应样本的预测结果是否为所述假阳性。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述基于所述标注评估结果更新所述初始样本集,得到更新后的样本集,包括:
响应于所述标注评估结果表征所述部分样本的预测结果不为所述假阳性,将所述部分样本的预测结果更新为所述对应样本的标注结果;
响应于所述部分样本的预测结果为所述假阳性,不更新所述对应样本的标注结果。
6.根据权利要求3所述的方法,其特征在于,所述利用所述初始样本集对所述初始检测模型进行训练,直至满足包括防止过拟合的第一收敛条件,得到所述第一检测模型,包括:
基于所述初始检测模型,对所述初始样本集进行检测,得到第一检测结果;
响应于所述初始标注结果与所述第一检测结果之间的第一差异结果不满足第一条件,调整所述初始检测模型的配置参数,得到所述第一检测模型;
所述利用所述初始样本集对所述初始检测模型进行训练,直至满足包括防止过拟合的第二收敛条件,得到所述第二检测模型,包括:
基于所述初始检测模型,对所述第一样本集进行检测,得到第二检测结果;
响应于所述初始标注结果与所述第二检测结果之间的第二差异结果不满足第二条件,调整所述初始检测模型的配置参数,得到所述第二检测模型。
7.根据权利要求1至6任一项所述的方法,其特征在于,所述方法还包括:
利用所述对象检测模型对所述更新后的样本集中的至少部分样本进行预测,得到所述更新后的样本集中的至少部分样本关于所述第一对象或所述第二对象的预测结果;
响应于所述更新后的样本集中的预设比例的样本的预测结果不为所述假阳性的情况下,停止对所述对象检测模型进行优化。
8.一种检测模型的训练装置,其特征在于,包括:
第一获取模块,用于获取已训练的对象检测模型和用于训练所述对象检测模型的初始样本集;其中,所述初始样本集中的样本为包括第一对象和第二对象的产品图像,且所述第二对象的图像区域位于所述第一对象的图像区域中,所述初始样本集中的至少部分样本的初始标注结果未被完全标注所述第一对象和/或所述第二对象;
第一预测模块,用于利用所述对象检测模型对所述初始样本集中的至少部分样本进行预测,得到所述部分样本关于所述第一对象或所述第二对象的预测结果;
确定模块,用于基于所述部分样本的预测结果和所述初始样本集中对应样本的初始标注结果,确定标注评估结果;其中,所述标注评估结果表征所述部分样本关于所述第一对象或所述第二对象的预测结果中是否为假阳性;
优化模块,用于基于所述标注评估结果更新所述初始样本集,得到更新后的样本集,以优化所述对象检测模型。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至7任一项所述方法中的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至7任一项所述方法中的步骤。
11.一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机程序被计算机读取并执行时,实现权利要求1至7中任一项所述方法中的步骤。
CN202210413966.2A 2022-04-14 2022-04-14 检测模型的训练方法、装置、设备、存储介质及程序产品 Pending CN114841255A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210413966.2A CN114841255A (zh) 2022-04-14 2022-04-14 检测模型的训练方法、装置、设备、存储介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210413966.2A CN114841255A (zh) 2022-04-14 2022-04-14 检测模型的训练方法、装置、设备、存储介质及程序产品

Publications (1)

Publication Number Publication Date
CN114841255A true CN114841255A (zh) 2022-08-02

Family

ID=82566841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210413966.2A Pending CN114841255A (zh) 2022-04-14 2022-04-14 检测模型的训练方法、装置、设备、存储介质及程序产品

Country Status (1)

Country Link
CN (1) CN114841255A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294505A (zh) * 2022-10-09 2022-11-04 平安银行股份有限公司 风险物体检测及其模型的训练方法、装置及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294505A (zh) * 2022-10-09 2022-11-04 平安银行股份有限公司 风险物体检测及其模型的训练方法、装置及电子设备
CN115294505B (zh) * 2022-10-09 2023-06-20 平安银行股份有限公司 风险物体检测及其模型的训练方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN111078908B (zh) 一种数据标注的检测方法和装置
WO2019100888A1 (zh) 目标对象识别方法、装置、存储介质和电子设备
US20190266434A1 (en) Method and device for extracting information from pie chart
CN110264444B (zh) 基于弱分割的损伤检测方法及装置
US10964057B2 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
EP3220353B1 (en) Image processing apparatus, image processing method, and recording medium
TW202027007A (zh) 電腦執行的車輛定損方法及裝置
CN111310826B (zh) 样本集的标注异常检测方法、装置及电子设备
TWI716012B (zh) 樣本標註方法、裝置、儲存媒體和計算設備、損傷類別的識別方法及裝置
CN108229675B (zh) 神经网络的训练方法、物体检测方法、装置和电子设备
CN110827249A (zh) 电子设备背板外观瑕疵检测方法及设备
CN112669275A (zh) 基于YOLOv3算法的PCB表面缺陷检测方法及装置
CN111428717A (zh) 文本识别方法、装置、电子设备及计算机可读存储介质
CN110889421A (zh) 目标物检测方法及装置
JP2020060879A (ja) 学習装置、画像生成装置、学習方法、及び学習プログラム
CN110827246A (zh) 电子设备边框外观瑕疵检测方法及设备
CN111428374A (zh) 零件缺陷检测方法、装置、设备及存储介质
CN108229494B (zh) 网络训练方法、处理方法、装置、存储介质和电子设备
CN117372424B (zh) 一种缺陷检测方法、装置、设备及存储介质
CN114841255A (zh) 检测模型的训练方法、装置、设备、存储介质及程序产品
CN113191270A (zh) 抛洒事件检测方法、装置、电子设备及存储介质
CN113516144A (zh) 目标检测方法及装置、计算设备
CN112287905A (zh) 车辆损伤识别方法、装置、设备及存储介质
KR101268596B1 (ko) 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 장치 및 방법
CN116678888A (zh) 一种构件缺陷检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination