CN112085056A - 目标检测模型生成方法、装置、设备及存储介质 - Google Patents

目标检测模型生成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112085056A
CN112085056A CN202010778791.6A CN202010778791A CN112085056A CN 112085056 A CN112085056 A CN 112085056A CN 202010778791 A CN202010778791 A CN 202010778791A CN 112085056 A CN112085056 A CN 112085056A
Authority
CN
China
Prior art keywords
target
detection model
target detection
training
samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010778791.6A
Other languages
English (en)
Other versions
CN112085056B (zh
Inventor
刘业鹏
曾钰胜
程骏
顾景
王玥
庞建新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ubtech Robotics Corp
Original Assignee
Ubtech Robotics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ubtech Robotics Corp filed Critical Ubtech Robotics Corp
Priority to CN202010778791.6A priority Critical patent/CN112085056B/zh
Publication of CN112085056A publication Critical patent/CN112085056A/zh
Priority to PCT/CN2020/140412 priority patent/WO2022027913A1/zh
Priority to US17/403,902 priority patent/US11941844B2/en
Application granted granted Critical
Publication of CN112085056B publication Critical patent/CN112085056B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种目标检测模型生成方法、装置、设备及存储介质,涉及目标检测技术领域,能够有效改善由于负样本的影响,导致的目标检测模型出现误检的现象。该方法包括:对待训练的目标监测模型在迭代训练过程中,按照节点顺序依次确定目标检测模型的迭代节点的检测准确率,并针对监测准确率小于或等于预设的准确率阈值的任意迭代节点,对目标检测模型在该迭代节点的检错负样本进行增加处理,得到增强负样本之后,根据增强负样本和第一预设数量的训练样本对目标检测模型,在迭代节点进行训练;在完成迭代节点的训练后,返回节点顺序依次确定目标检测模型的迭代节点的检测准确率的步骤以及后续步骤,直至完成对目标检测模型的训练。

Description

目标检测模型生成方法、装置、设备及存储介质
技术领域
本申请涉及目标检测技术领域,尤其涉及一种目标检测模型生成方法、装置、设备及存储介质。
背景技术
目前,为了保证目标检测的准确性,可以通过目标检测模型获取检测结果,该检测结果包括拍摄图像或者视频帧中包括的各个目标。然而传统方法在训练目标检测模型时,将有标注框的位置视为正样本,以标注框的位置和尺寸为起点进行随机缩放和随机抠图,同时还可以使用随机变换等其他数据扩充方式获取到更多的正样本,从而实现对目标检测模型的训练。这种传统的训练方法通常没有考虑到负样本对目标检测模型检测准确性的影响。通常来说,将图像中非正样本区域的其他区域称为负样本,在目标检测模型训练过程中,如果没有考虑到负样本的影响,则会导致很多误检的现象无法消除。
发明内容
本申请实施例提供了一种目标检测模型生成方法、装置、设备及存储介质,能够有效改善由于负样本的影响,导致的目标检测模型出现误检的现象。
第一方面,本申请提供一种目标检测模型的生成方法,包括:
将第一预设数量的训练样本输入待训练的目标检测模型,开始对所述目标检测模型进行迭代训练,所述训练样本包括正样本和负样本;
按照节点顺序确定未完成训练的当前迭代节点为目标迭代节点,获取所述目标检测模型在所述目标迭代节点的上一迭代节点对应的模型参数;
根据所述模型参数确定所述目标检测模型在所述目标迭代节点的检测准确率;
若所述检测准确率小于或等于预设的准确率阈值,则根据预设的负样本增强规则,对所述目标检测模型在所述目标迭代节点的检错负样本进行增加处理,得到增强负样本;
根据所述增强负样本和所述第一预设数量的训练样本对所述目标检测模型,在所述目标迭代节点进行训练;
在完成所述目标迭代节点的训练后,返回所述按照节点顺序确定未完成训练的当前迭代节点为目标迭代节点的步骤以及后续步骤,直至完成对所述目标检测模型的训练。
在一可选的实现方式中,在根据所述模型参数确定所述目标检测模型在所述目标迭代节点的检测准确率之后,还包括:
若所述检测准确率大于预设的准确率阈值,则根据所述第一预设数量的训练样本对所述目标检测模型,在所述目标迭代节点进行训练。
在一可选的实现方式中,根据预设的负样本增强规则,对所述目标检测模型在所述目标迭代节点的检错负样本进行增加处理,得到增强负样本,包括:
获取所述目标检测模型在所述目标迭代节点的检错负样本;
分别获取第二预设数量的所述检错负样本;
分别将各所述第二预设数量的所述检错负样本与所述正样本进行间隔拼接,得到拼接之后的图像;
按照预设的裁剪规则裁剪所有拼接之后的所述图像,得到所述增强负样本。
在一可选的实现方式中,所述拼接之后的图像为宫格图像,所述检错负样本和所述正样本分别间隔放置在所述宫格图像的各个宫格内。
在一可选的实现方式中,所述按照预设的裁剪规则裁剪所有拼接之后的所述图像,得到所述增强负样本,包括:
按照预设的裁剪尺寸,分别裁剪各个所述宫格图像的宫格;
获取包括所述检错负样本的宫格,得到所述增强负样本。
在一可选的实现方式中,获取所述目标检测模型在所述目标迭代节点的检错负样本,包括:
确定所述目标检测模型在所述上一迭代节点,对所述第一预设数量的各个所述训练样本进行目标检测时,检测为正样本的负样本;
获取所有检测为正样本的负样本,得到所述目标检测模型在所述目标迭代节点的检错负样本。
在一可选的实现方式中,根据所述模型参数确定所述目标检测模型在所述目标迭代节点的检测准确率,包括:
将所述模型参数作为所述目标检测模型在所述目标迭代节点的变量值,确定所述目标检测模型分别对第三预设数量的各个所述训练样本进行目标检测时的并交比;
根据各个所述并交比,确定所述目标检测模型在所述目标迭代节点的检测准确率。
第二方面,本申请提供一种目标检测模型生成装置,包括:
输入模块,用于将第一预设数量的训练样本输入待训练的目标检测模型,开始对所述目标检测模型进行迭代训练,所述训练样本包括正样本和负样本;
获取模块,用于按照节点顺序确定未完成训练的当前迭代节点为目标迭代节点,获取所述目标检测模型在所述目标迭代节点的上一迭代节点对应的模型参数;
确定模块,用于根据所述模型参数确定所述目标检测模型在所述目标迭代节点的检测准确率;
增强模块,用于在若所述检测准确率小于或等于预设的准确率阈值,则根据预设的负样本增强规则,对所述目标检测模型在所述目标迭代节点的检错负样本进行增加处理,得到增强负样本;
第一训练模块,用于根据所述增强负样本和所述第一预设数量的训练样本对所述目标检测模型,在所述目标迭代节点进行训练;
返回模块,用于在完成所述目标迭代节点的训练后,返回所述按照节点顺序确定未完成训练的当前迭代节点为目标迭代节点的步骤以及后续步骤,直至完成对所述目标检测模型的训练。
在一可选的实现方式中,还包括:
第二训练模块,用于在若所述检测准确率大于预设的准确率阈值,则根据所述第一预设数量的训练样本对所述目标检测模型,在所述目标迭代节点进行训练。
在一可选的实现方式中,所述增强模块,包括:
第一获取单元,用于获取所述目标检测模型在所述目标迭代节点的检错负样本;
第二获取单元,用于分别获取第二预设数量的所述检错负样本;
拼接单元,用于分别将各所述第二预设数量的所述检错负样本与所述正样本进行间隔拼接,得到拼接之后的图像;
得到单元,用于按照预设的裁剪规则裁剪所有拼接之后的所述图像,得到所述增强负样本。
在一可选的实现方式中,所述拼接之后的图像为宫格图像,所述检错负样本和所述正样本分别间隔放置在所述宫格图像的各个宫格内。
在一可选的实现方式中,所述得到单元,包括:
裁剪子单元,用于按照预设的裁剪尺寸,分别裁剪各个所述宫格图像的宫格;
得到子单元,用于获取包括所述检错负样本的宫格,得到所述增强负样本。
在一可选的实现方式中,第二获取单元,包括:
确定子单元,用于确定所述目标检测模型在所述上一迭代节点,对所述第一预设数量的各个所述训练样本进行目标检测时,检测为正样本的负样本;
获取子单元,用于获取所有检测为正样本的负样本,得到所述目标检测模型在所述目标迭代节点的检错负样本。
在一可选的实现方式中,所述确定模块,包括:
第一确定单元,用于将所述模型参数作为所述目标检测模型在所述目标迭代节点的变量值,确定所述目标检测模型分别对第三预设数量的各个所述训练样本进行目标检测时的并交比;
第二确定单元,用于根据各个所述并交比,确定所述目标检测模型在所述目标迭代节点的检测准确率。
第三方面,本申请提供一种目标检测模型生成设备,包括:处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面或第一方面的任意可选方式所述的方法。
第四单元,本申请提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面或第一方面的任意可选方式所述的方法。
第五方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在目标检测模型生成设备上运行时,使得目标检测模型生成设备执行上述第一方面或第一方面的任意可选方式所述的方法。
采用本申请提供的目标监测模型生成方法,通过对待训练的目标监测模型在迭代训练过程中,按照节点顺序依次确定目标检测模型在各个未完成训练的迭代节点对应的检测准确率,并针对监测准确率小于或等于预设的准确率阈值的任意目标迭代节点,对所述目标检测模型在该目标迭代节点的检错负样本进行增加处理,得到增强负样本之后,根据所述增强负样本和所述第一预设数量的训练样本对所述目标检测模型,在所述目标迭代节点进行训练,能够有效改善由于负样本的影响,导致的目标检测模型出现误检的现象。
可以理解的是,上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1(a)是对包含有人脸的训练样本进行人脸随机裁剪的示意图;
图1(b)是对包含有人脸的训练样本进行随机镜像的示意图;
图2是本申请实施例提供的目标检测模型生成方法的示意流程图;
图3(a)是图2中S204的实现流程图;
图3(b)是拼接之后的4宫格图像;
图4是本申请实施例提供的目标检测模型生成装置的示意图;
图5是本申请实施例提供的目标检测模型生成设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
还应当理解,在本申请说明书中描述的参考“一个实施例”意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
在说明本申请提供的目标检测模型生成方法之前,首先结合传统的目标检测模型生成原理以及存在的问题,对本申请所采用的目标检测模型生成原理进行示例性的说明。
可以理解地,目标检测模型的生成过程包括模型的训练阶段。通常,模型的训练阶段是指将大量的训练样本输入预先确定的深度学习网络,进行学习的过程。在本申请的实施例中,预先确定的深度学习网络包括但不限于常见的卷积神经网络模型、深度信任网络模型或者堆栈自编码网络模型等。
传统的目标检测模型在进行模型训练之前,需要对训练样本进行预处理,常见的预处理过程包括:将训练样本集中的训练样本进行空间变换操作,例如,对训练样本进行空间变换操作包括对训练样本进行对象的随机裁剪和随机镜像操作,示例性地,分别如图1(a)和图1(b)所示,图1(a)是对包含有人脸的训练样本进行人脸随机裁剪的示意图,图1(b)是对包含有人脸的训练样本进行随机镜像的示意图。如图1(a)所示,对包含人脸的训练样本101进行裁剪处理之后,得到不同尺度的训练样本102;如图1(b)所示,对包含人脸的训练样本103进行随机镜像处理之后,可以得到在空间上呈现出不同图像的训练样本104。也即对训练图像进行空间变换操作,能够增加训练样本在尺度和空间上的多样性。
在对训练样本进行空间变换操作之后,还需要对训练样本进行对比度调整,示例性地,对训练样本进行对比度调整包括对作为训练样本的图像中的每个像素分别乘以预设范围内的随机数字,使得对训练样本进行对比度调正之后能够造成训练样本色差的变化。
传统的目标检测模型在进行模型训练之前,对训练样本进行上述预处理之后,则将所有预处理之后的训练样本输入待训练的目标检测模型进行模型训练。由于在对训练样本图像进行随机裁剪的过程中,是围绕目标进行随机裁剪,导致裁剪出来的图片为以目标为中心的图像。这样的操作一方面可以保证目标比例不变型,对裁剪之后的图像进行缩放虽然可以改变目标的大小,但是不会导致目标变形。另一方面,通过上述裁剪操作之后目标在图像中的大小比例会发生变化,这实际上增加了目标在训练样本中的尺度多样性。
但是上述裁剪过程会导致训练样本中部分背景信息的丢失,而通常训练样本中丢失的背景部分可能包括重要的目标数据,如上图中的人手部分或者后脑勺部分,在人脸检测过程中,人手信息或者后脑勺信息往往会影响人脸检测的准确性,通常,将训练样本中目标周围的部分称为负样本,如果在训练中导致部分负样本丢失,会影响目标检测模型的检测准确率。例如,在人脸检测模型的训练过程中,如果丢失手或者后脑勺等负样本的影响,导致训练出的人脸检测模型的误检率变高。
有鉴于此,本申请实施例提供了一种目标监测模型生成方法,通过对待训练的目标监测模型在迭代训练过程中,按照节点顺序依次确定目标检测模型在各个未完成训练的迭代节点对应的检测准确率,并针对监测准确率小于或等于预设的准确率阈值的任意目标迭代节点,对所述目标检测模型在该目标迭代节点的检错负样本进行增加处理,得到增强负样本之后,根据所述增强负样本和所述第一预设数量的训练样本对所述目标检测模型,在所述目标迭代节点进行训练,能够有效改善由于负样本的影响,导致的目标检测模型出现误检的现象。
另外,需要说明的是,目前,轻量级目标检测模型具有很广泛的应用价值,例如,将轻量级目标检测模型部署在机器人的移动端设备上进行离线的目标检测,示例性地,所述目标检测模型可以是人脸检测模型,通过将人脸检测模型部署在机器人的移动端设备上进行人脸检测。其中,机器人的移动端设备包括但不限于arm芯片、x86开发板等,需要说明的是,由于移动端设备都不具备很大的计算资源,因此,在移动端设备上部署目标检测模型时,通常对目标检测模型的计算量有很严格的限制。
而由于深度学习网络的准确率与网络深度相关,随着网络深度的变浅,深度学习网络的准确率会相应下降。但是,在实际应用中,移动端对于目标检测的准确率要求是很严格的,例如,机器人上的移动端对人脸检测时,如果将非人脸检测为人脸,将严重影响机器人后续的服务效果。如果在移动端采用本申请实施例提供的目标检测模型来进行目标检测,则会很大程度上提高目标检测的准确率。
下面通过具体实施例,对本申请提供的目标检测模型生成方法进行示例性的说明。
请参见图2,图2是本申请实施例提供的目标检测模型生成方法的示意流程图。本实施例中的目标检测模型生成方法的执行主体为目标检测模型生成设备,包括但不限于服务器、服务器集群、计算机等。如图2所示的目标检测模型生成方法可包括:
S201,将第一预设数量的训练样本输入待训练的目标检测模型,开始对所述目标检测模型进行迭代训练,所述训练样本包括正样本和负样本。
在本申请的实施例中,待训练的所述目标检测模型包括但不限于人脸检测模型、动物检测模型或车辆检测模型等,所述目标检测模型的模型结构可以是预设的深度学习网络,例如卷积神经网络、深度信任网络或者堆栈自编码网络中的任一网络。所述正样本为训练图像中标注了的目标区域,所述负样本为训练图像中正样本周边的区域。S202,按照节点顺序确定未完成训练的当前迭代节点为目标迭代节点,获取所述目标检测模型在所述目标迭代节点的上一迭代节点对应的模型参数。
需要说明的是,在对所述目标检测模型进行迭代训练时,将批处理(batch)的训练样本通过深度学习网络进行训练,每迭代一次深度学习网络的权重更新一次,且下一次迭代在前一次迭代完成之后的权重上进行。其中,批处理指的是迭代一次所需的样本的数目,通常设为2的n次幂,常用的n包括64、128或256。当网络较小时选用256,较大时选用64。
在本申请的实施例中,针对未完成训练的各个迭代节点(迭代节点对应为迭代次数),分别按照迭代顺序依次确定各个迭代节点的上一迭代节点对应的模型参数,所述模型参数为深度学习网络的权重。
S203,根据所述模型参数确定所述目标检测模型在所述目标迭代节点的检测准确率。
示例性地,确定为完成训练的当前迭代节点为目标迭代节点,根据所述目标迭代节点的上一迭代节点对应的模型参数,确定所述目标检测模型在目标迭代节点的准确率。例如,将所述模型参数作为所述目标检测模型在所述目标迭代节点的变量值,确定所述目标检测模型分别对第三预设数量的各个所述训练样本进行目标检测时的并交比;根据各个所述并交比,确定所述目标检测模型在所述目标迭代节点的检测准确率。
其中,所述变量值对应为权重的值,所述并交比(Intersection-over-Union,IOU)用于表示正确标注了目标的数据框与预测的数据框的匹配程度,只有当并交比大于预设比值,例如0.5才被认为是预测的数据框与标注了目标的数据框正确匹配。在本实施例中,预设有并交比概率与检测准确率之间的映射关系,根据各个所述并交比,确定所述目标检测模型在所述目标迭代节点的检测准确率,包括:根据各个所述并交比计算并交比大于预设比值的概率,确定并交比大于预设比值的概率为所述并交比概率;根据所述并交比概率和检测准确率之间的映射关系,确定所述目标检测模型在所述目标迭代节点的检测准确率。
S204,若所述检测准确率小于或等于预设的准确率阈值,则根据预设的负样本增强规则,对所述目标检测模型在所述目标迭代节点的检错负样本进行增加处理,得到增强负样本。
在本实施例中,所述预设的负样本增强规则,为通过拼接的方法将训练样本中难学到的负样本拼接在正样本周围,例如在裁剪过程中容易裁减掉的负样本拼接在正样本周围,再通过预设裁剪方式进行裁剪,保证难学到的负样本参与深度网络的训练,将难学的的负样本经过拼接以及裁剪之后,得到的参与深度网络训练的样本称为增强负样本。
示例性地,如图3(a)所示,图3(a)是图2中S204的实现流程图。详述如下:
S2041,若所述检测准确率小于或等于预设的准确率阈值,获取所述目标检测模型在所述目标迭代节点的检错负样本。
在本实施例中,将所述目标检错模型在所述上一迭代节点检测为正样本的负样本,称为检错负样本。具体地,获取所述目标检测模型在所述跌点节点的检错负样本,包括:确定所述目标检测模型在所述上一迭代节点,对所述第一预设数量的各个所述训练样本进行目标检测时,检测为正样本的负样本;获取所有检测为正样本的负样本,得到所述目标检测模型在所述目标迭代节点的检错负样本。
S2042,分别获取第二预设数量的所述检错负样本。
可以理解地,在所述目标迭代节点的上一迭代节点,分别对批处理的训练样本进行了目标检测,对应地,每个训练样本可能有一个检错负样本,也可能有多个检错负样本,或者其中部分训练样本没有检错负样本。在本实施例中,所述第二预设数量为小于或等于所有检错负样本总数的随机数,例如,可以是2个,3个或者4个等。具体对第二预设数量不进行限定,但是第二预设数量越大,对应在训练的时候运算量也越大,因此,通常根据模型训练的需要,选择合适的第二预设数量即可。
S2043,分别将各所述第二预设数量的所述检错负样本与所述正样本进行间隔拼接,得到拼接之后的图像。
在本实施例中,所述拼接之后的图像为宫格图像,所述检错负样本和所述正样本分别间隔放置在所述宫格图像的各个宫格内。示例性地,如图3(b)所示,图3(b)是拼接之后的4宫格图像。在本实施例中,是将所述2个检错负样本分别为3011和3012,和2个正样本3021和3022分别进行间隔拼接,得到拼接之后的4宫格图像300,具体地,由图3(b)可知,在本实施例中,负样本3011和3012,与正样本3021和3022分别间隔放置在所述4宫格图像300的各个宫格内。
可以理解地,在图3(b)中,是将相同数量(分别为2个)的检错负样本3011和正样本302进行间隔拼接得到4宫格图像300,在其它一些可选的实现方式中,可以将不同数量的检错负样本和正样本进行间隔拼接,例如,假设拼接后得到的图像为9宫格图像,则对应的可以是将4个检错负样本与5个正样本进行间隔拼接,也可以还是将5个检错负样本与4个正样本进行间隔拼接,其中,多个负样本可以是不同目标的负样本,多个正样本也可以是不同的目标的正样本。
S2044,按照预设的裁剪规则裁剪所有拼接之后的所述图像,得到所述增强负样本。
在本实例中,按照预设的裁剪尺寸,例如,预设的裁剪尺寸为对应宫格的尺寸,分别裁剪各个所述宫格图像的宫格,获取包括所述检错负样本的宫格,得到所述增强负样本。
S205,根据所述增强负样本和所述第一预设数量的训练样本对所述目标检测模型,在所述目标迭代节点进行训练。
可以理解地,宫格图像具有对称性,在正样本(例如,人脸)的周围都包含有负样本,该负样本在深度网络模型的训练过程中为容易忽略掉的样本,经过上述处理之后,输入所述目标检测模型进行训练,则能够保证目标检测模型对所述增强负样本的学习,从而能够解决由于负样本的影响,导致的目标检测模型出现误检的现象。
S206,在完成所述目标迭代节点的训练后,返回所述按照节点顺序确定未完成训练的当前迭代节点为目标迭代节点的步骤以及后续步骤,直至完成对所述目标检测模型的训练。
可以理解地,上述分析过程是针对若所述检测准确率小于或等于预设的准确率阈值时,对所述目标检测模型在所述目标迭代节点进行训练的过程分析,而若所述检测准确率大于预设的准确率阈值,则说明所述目标检测模型,在所述目标迭代节点的检测准确率不受负样本的影响,此时根据所述第一预设数量的训练样本对所述目标检测模型,在所述目标迭代节点进行训练即可。
通过上述分析可知,采用本申请提供的目标监测模型生成方法,通过对待训练的目标监测模型在迭代训练过程中,按照节点顺序依次确定目标检测模型在各个未完成训练的迭代节点对应的检测准确率,并针对监测准确率小于或等于预设的准确率阈值的任意目标迭代节点,对所述目标检测模型在该目标迭代节点的检错负样本进行增加处理,得到增强负样本之后,根据所述增强负样本和所述第一预设数量的训练样本对所述目标检测模型,在所述目标迭代节点进行训练,能够有效改善由于负样本的影响,导致的目标检测模型出现误检的现象。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
基于上述实施例所提供的目标检测模型生成方法,本发明实施例进一步给出实现上述方法实施例的装置实施例。
请参见图4,图4是本申请实施例提供的目标检测模型生成装置的示意图。包括的各模块用于执行图2对应的实施例中的各步骤。具体请参阅图2对应的实施例中的相关描述。为了便于说明,仅示出了与本实施例相关的部分。参见图4,目标检测模型生成装置4包括:
输入模块401,用于将第一预设数量的训练样本输入待训练的目标检测模型,开始对所述目标检测模型进行迭代训练,所述训练样本包括正样本和负样本;
获取模块402,用于按照节点顺序确定未完成训练的当前迭代节点为目标迭代节点,获取所述目标检测模型在所述目标迭代节点的上一迭代节点对应的模型参数;
确定模块403,用于根据所述模型参数确定所述目标检测模型在所述目标迭代节点的检测准确率;
增强模块404,用于在若所述检测准确率小于或等于预设的准确率阈值,则根据预设的负样本增强规则,对所述目标检测模型在所述目标迭代节点的检错负样本进行增加处理,得到增强负样本;
第一训练模块405,用于根据所述增强负样本和所述第一预设数量的训练样本对所述目标检测模型,在所述目标迭代节点进行训练;
返回模块406,用于在完成所述目标迭代节点的训练后,返回所述按照节点顺序确定未完成训练的当前迭代节点为目标迭代节点的步骤以及后续步骤,直至完成对所述目标检测模型的训练。
在一可选的实现方式中,还包括:
第二训练模块,用于在若所述检测准确率大于预设的准确率阈值,则根据所述第一预设数量的训练样本对所述目标检测模型,在所述目标迭代节点进行训练。
在一可选的实现方式中,所述增强模块,包括:
第一获取单元,用于获取所述目标检测模型在所述目标迭代节点的检错负样本;
第二获取单元,用于分别获取第二预设数量的所述检错负样本;
拼接单元,用于分别将各所述第二预设数量的所述检错负样本与所述正样本进行间隔拼接,得到拼接之后的图像;
得到单元,用于按照预设的裁剪规则裁剪所有拼接之后的所述图像,得到所述增强负样本。
在一可选的实现方式中,所述拼接之后的图像为宫格图像,所述检错负样本和所述正样本分别间隔放置在所述宫格图像的各个宫格内。
在一可选的实现方式中,所述得到单元,包括:
裁剪子单元,用于按照预设的裁剪尺寸,分别裁剪各个所述宫格图像的宫格;
得到子单元,用于获取包括所述检错负样本的宫格,得到所述增强负样本。
在一可选的实现方式中,第二获取单元,包括:
确定子单元,用于确定所述目标检测模型在所述上一迭代节点,对所述第一预设数量的各个所述训练样本进行目标检测时,检测为正样本的负样本;
获取子单元,用于获取所有检测为正样本的负样本,得到所述目标检测模型在所述目标迭代节点的检错负样本。
在一可选的实现方式中,所述确定模块,包括:
第一确定单元,用于将所述模型参数作为所述目标检测模型在所述目标迭代节点的变量值,确定所述目标检测模型分别对第三预设数量的各个所述训练样本进行目标检测时的并交比;
第二确定单元,用于根据各个所述并交比,确定所述目标检测模型在所述目标迭代节点的检测准确率。
需要说明的是,上述模块之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
图5是本申请实施例提供的目标检测模型生成设备的示意图。如图5所示,该实施例的目标检测模型生成设备5包括:处理器500、存储器501以及存储在所述存储器501中并可在所述处理器500上运行的计算机程序502,例如目标检测模型生成程序。处理器500执行所述计算机程序502时实现上述各个目标检测模型生成方法实施例中的步骤,例如图2所示的步骤201至206。或者,所述处理器500执行所述计算机程序502时实现上述各装置实施例中各模块/单元的功能,例如图4所示模块401至406的功能。
示例性的,所述计算机程序502可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器501中,并由处理器500执行,以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序502在所述目标检测模型生成设备5中的执行过程。例如,所述计算机程序502可以被分割成输入模块、获取模块、确定模块、增强模块、训练模块和返回模型,各模块具体功能请参阅图4对应地实施例中地相关描述,此处不赘述。
所述目标检测模型生成设备可包括,但不仅限于,处理器500和存储器501。本领域技术人员可以理解,图5仅仅是目标检测模型生成设备5的示例,并不构成对目标检测模型生成设备5的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述视频处理设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器500可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器501可以是所述目标检测模型生成设备5的内部存储单元,例如目标检测模型生成设备5的硬盘或内存。所述存储器501也可以是所述目标检测模型生成设备5的外部存储设备,例如所述目标检测模型生成设备5上配备的插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器501还可以既包括所述目标检测模型生成设备5的内部存储单元也包括外部存储设备。所述存储器501用于存储所述计算机程序以及所述目标检测模型生成设备所需的其他程序和数据。所述存储器501还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时可实现上述目标检测模型生成方法。
本申请实施例提供了一种计算机程序产品,当计算机程序产品在目标检测模型生成设备上运行时,使得目标检测模型生成设备执行时实现可实现上述目标检测模型生成方法。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (10)

1.一种目标检测模型生成方法,其特征在于,包括:
将第一预设数量的训练样本输入待训练的目标检测模型,开始对所述目标检测模型进行迭代训练,所述训练样本包括正样本和负样本;
按照节点顺序确定未完成训练的当前迭代节点为目标迭代节点,获取所述目标检测模型在所述目标迭代节点的上一迭代节点对应的模型参数;
根据所述模型参数确定所述目标检测模型在所述目标迭代节点的检测准确率;
若所述检测准确率小于或等于预设的准确率阈值,则根据预设的负样本增强规则,对所述目标检测模型在所述目标迭代节点的检错负样本进行增加处理,得到增强负样本;
根据所述增强负样本和所述第一预设数量的训练样本对所述目标检测模型,在所述目标迭代节点进行训练;
在完成所述目标迭代节点的训练后,返回所述按照节点顺序确定未完成训练的当前迭代节点为目标迭代节点的步骤以及后续步骤,直至完成对所述目标检测模型的训练。
2.根据权利要求1所述的方法,其特征在于,在根据所述模型参数确定所述目标检测模型在所述目标迭代节点的检测准确率之后,还包括:
若所述检测准确率大于预设的准确率阈值,则根据所述第一预设数量的训练样本对所述目标检测模型,在所述目标迭代节点进行训练。
3.根据权利要求1或2所述的方法,其特征在于,根据预设的负样本增强规则,对所述目标检测模型在所述目标迭代节点的检错负样本进行增加处理,得到增强负样本,包括:
获取所述目标检测模型在所述目标迭代节点的检错负样本;
分别获取第二预设数量的所述检错负样本;
分别将各所述第二预设数量的所述检错负样本与所述正样本进行间隔拼接,得到拼接之后的图像;
按照预设的裁剪规则裁剪所有拼接之后的所述图像,得到所述增强负样本。
4.根据权利要求3所述的方法,其特征在于,所述拼接之后的图像为宫格图像,所述检错负样本和所述正样本分别间隔放置在所述宫格图像的各个宫格内。
5.根据权利要求4所述的方法,其特征在于,所述按照预设的裁剪规则裁剪所有拼接之后的所述图像,得到所述增强负样本,包括:
按照预设的裁剪尺寸,分别裁剪各个所述宫格图像的宫格;
获取包括所述检错负样本的宫格,得到所述增强负样本。
6.根据权利要求3所述的方法,其特征在于,获取所述目标检测模型在所述目标迭代节点的检错负样本,包括:
确定所述目标检测模型在所述上一迭代节点,对所述第一预设数量的各个所述训练样本进行目标检测时,检测为正样本的负样本;
获取所有检测为正样本的负样本,得到所述目标检测模型在所述目标迭代节点的检错负样本。
7.根据权利要求1所述的方法,其特征在于,根据所述模型参数确定所述目标检测模型在所述目标迭代节点的检测准确率,包括:
将所述模型参数作为所述目标检测模型在所述目标迭代节点的变量值,确定所述目标检测模型分别对第三预设数量的各个所述训练样本进行目标检测时的并交比;
根据各个所述并交比,确定所述目标检测模型在所述目标迭代节点的检测准确率。
8.一种目标检测模型生成装置,其特征在于,包括:
输入模块,用于将第一预设数量的训练样本输入待训练的目标检测模型,开始对所述目标检测模型进行迭代训练,所述训练样本包括正样本和负样本;
获取模块,用于按照节点顺序确定未完成训练的当前迭代节点为目标迭代节点,获取所述目标检测模型在所述目标迭代节点的上一迭代节点对应的模型参数;
确定模块,用于根据所述模型参数确定所述目标检测模型在所述目标迭代节点的检测准确率;
增强模块,用于在若所述检测准确率小于或等于预设的准确率阈值,则根据预设的负样本增强规则,对所述目标检测模型在所述目标迭代节点的检错负样本进行增加处理,得到增强负样本;
训练模块,用于根据所述增强负样本和所述第一预设数量的训练样本对所述目标检测模型,在所述目标迭代节点进行训练;
返回模块,用于在完成所述目标迭代节点的训练后,返回所述按照节点顺序确定未完成训练的当前迭代节点为目标迭代节点的步骤以及后续步骤,直至完成对所述目标检测模型的训练。
9.一种目标检测模型生成设备,其特征在于,包括:处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
CN202010778791.6A 2020-08-05 2020-08-05 目标检测模型生成方法、装置、设备及存储介质 Active CN112085056B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010778791.6A CN112085056B (zh) 2020-08-05 2020-08-05 目标检测模型生成方法、装置、设备及存储介质
PCT/CN2020/140412 WO2022027913A1 (zh) 2020-08-05 2020-12-28 目标检测模型生成方法、装置、设备及存储介质
US17/403,902 US11941844B2 (en) 2020-08-05 2021-08-17 Object detection model generation method and electronic device and computer readable storage medium using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010778791.6A CN112085056B (zh) 2020-08-05 2020-08-05 目标检测模型生成方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112085056A true CN112085056A (zh) 2020-12-15
CN112085056B CN112085056B (zh) 2023-12-29

Family

ID=73735519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010778791.6A Active CN112085056B (zh) 2020-08-05 2020-08-05 目标检测模型生成方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN112085056B (zh)
WO (1) WO2022027913A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580734A (zh) * 2020-12-25 2021-03-30 深圳市优必选科技股份有限公司 目标检测模型训练方法、系统、终端设备及存储介质
CN112613553A (zh) * 2020-12-18 2021-04-06 中电金信软件有限公司 图片样本集生成方法、装置、计算机设备和存储介质
CN113642612A (zh) * 2021-07-19 2021-11-12 北京百度网讯科技有限公司 样本图像生成方法、装置、电子设备及存储介质
WO2022027913A1 (zh) * 2020-08-05 2022-02-10 深圳市优必选科技股份有限公司 目标检测模型生成方法、装置、设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612744A (zh) * 2022-03-10 2022-06-10 平安科技(深圳)有限公司 一种检测模型训练方法、车辆损伤检测方法及终端设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700099A (zh) * 2015-03-31 2015-06-10 百度在线网络技术(北京)有限公司 识别交通标志的方法和装置
CN106407908A (zh) * 2016-08-31 2017-02-15 广州市百果园网络科技有限公司 一种训练模型生成方法、人脸检测方法及装置
CN110569721A (zh) * 2019-08-01 2019-12-13 平安科技(深圳)有限公司 识别模型训练方法、图像识别方法、装置、设备及介质
CN111310660A (zh) * 2020-02-14 2020-06-19 开易(北京)科技有限公司 用于adas场景的目标检测虚警抑制方法及装置
CN111444931A (zh) * 2019-01-17 2020-07-24 北京京东尚科信息技术有限公司 异常访问数据的检测方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529424B (zh) * 2016-10-20 2019-01-04 中山大学 一种基于选择性搜索算法的车标检测识别方法及系统
CN110968718B (zh) * 2019-11-19 2023-07-14 北京百度网讯科技有限公司 目标检测模型负样本挖掘方法、装置及电子设备
CN112085056B (zh) * 2020-08-05 2023-12-29 深圳市优必选科技股份有限公司 目标检测模型生成方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700099A (zh) * 2015-03-31 2015-06-10 百度在线网络技术(北京)有限公司 识别交通标志的方法和装置
CN106407908A (zh) * 2016-08-31 2017-02-15 广州市百果园网络科技有限公司 一种训练模型生成方法、人脸检测方法及装置
CN111444931A (zh) * 2019-01-17 2020-07-24 北京京东尚科信息技术有限公司 异常访问数据的检测方法和装置
CN110569721A (zh) * 2019-08-01 2019-12-13 平安科技(深圳)有限公司 识别模型训练方法、图像识别方法、装置、设备及介质
CN111310660A (zh) * 2020-02-14 2020-06-19 开易(北京)科技有限公司 用于adas场景的目标检测虚警抑制方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HONGCHANG GAO 等: "Self-Paced Network Embedding", RESEARCHGATE *
李冕 等: "类脑计算机的多核互连路由网络的设计", 电脑知识与技术, vol. 15, no. 6 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022027913A1 (zh) * 2020-08-05 2022-02-10 深圳市优必选科技股份有限公司 目标检测模型生成方法、装置、设备及存储介质
CN112613553A (zh) * 2020-12-18 2021-04-06 中电金信软件有限公司 图片样本集生成方法、装置、计算机设备和存储介质
CN112613553B (zh) * 2020-12-18 2022-03-08 中电金信软件有限公司 图片样本集生成方法、装置、计算机设备和存储介质
CN112580734A (zh) * 2020-12-25 2021-03-30 深圳市优必选科技股份有限公司 目标检测模型训练方法、系统、终端设备及存储介质
CN112580734B (zh) * 2020-12-25 2023-12-29 深圳市优必选科技股份有限公司 目标检测模型训练方法、系统、终端设备及存储介质
CN113642612A (zh) * 2021-07-19 2021-11-12 北京百度网讯科技有限公司 样本图像生成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2022027913A1 (zh) 2022-02-10
CN112085056B (zh) 2023-12-29

Similar Documents

Publication Publication Date Title
CN112085056A (zh) 目标检测模型生成方法、装置、设备及存储介质
CN111860398B (zh) 遥感图像目标检测方法、系统及终端设备
CN114186632B (zh) 关键点检测模型的训练方法、装置、设备、存储介质
CN106855952B (zh) 基于神经网络的计算方法及装置
US11144782B2 (en) Generating video frames using neural networks
CN112508975A (zh) 一种图像识别方法、装置、设备及存储介质
CN111860276B (zh) 人体关键点检测方法、装置、网络设备及存储介质
CN111598087B (zh) 不规则文字的识别方法、装置、计算机设备及存储介质
CN110782430A (zh) 一种小目标的检测方法、装置、电子设备及存储介质
CN113724128A (zh) 一种训练样本的扩充方法
CN111709415B (zh) 目标检测方法、装置、计算机设备和存储介质
CN115457364A (zh) 一种目标检测知识蒸馏方法、装置、终端设备和存储介质
CN111950633A (zh) 神经网络的训练、目标检测方法及装置和存储介质
CN109190757B (zh) 任务处理方法、装置、设备及计算机可读存储介质
CN108154522B (zh) 目标追踪系统
CN108734712B (zh) 背景分割的方法、装置及计算机存储介质
CN110502975B (zh) 一种行人重识别的批量处理系统
US11941844B2 (en) Object detection model generation method and electronic device and computer readable storage medium using the same
CN110705695B (zh) 搜索模型结构的方法、装置、设备和存储介质
CN116050554A (zh) 一种景区客流量预测方法、装置、计算设备和存储介质
JPWO2021038840A5 (zh)
CN112883988B (zh) 基于多数据集的特征提取网络的训练及特征提取方法
CN110738212B (zh) 一种卷积网络模型的获取方法、装置及处理设备
US20230401670A1 (en) Multi-scale autoencoder generation method, electronic device and readable storage medium
CN116206212A (zh) 一种基于点特征的sar图像目标检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant