CN113221768A - 识别模型训练方法、识别方法、装置、设备及存储介质 - Google Patents

识别模型训练方法、识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113221768A
CN113221768A CN202110540966.4A CN202110540966A CN113221768A CN 113221768 A CN113221768 A CN 113221768A CN 202110540966 A CN202110540966 A CN 202110540966A CN 113221768 A CN113221768 A CN 113221768A
Authority
CN
China
Prior art keywords
recognition model
feature map
trained
determining
anchor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110540966.4A
Other languages
English (en)
Inventor
陈子亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110540966.4A priority Critical patent/CN113221768A/zh
Publication of CN113221768A publication Critical patent/CN113221768A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了识别模型训练方法、识别方法、装置、设备及存储介质,涉及计算机视觉、深度学习等技术领域。具体实现方案为:将包括目标物体的待识别图像输入待训练的识别模型,获得至少两张不同尺寸的特征图;采用所述待训练的识别模型,在每张特征图中,确定圈定所述目标物体的多个锚点框;根据每张所述特征图中的锚点框、设定的目标框和每张特征图对应的交并比阈值,确定每张特征图对应的多个正样本和/或多个负样本;根据所述正样本和/或负样本,确定损失值;根据所述损失值优化所述待训练的识别模型,得到训练后的识别模型。本公开实施例能够整体上提高训练后的识别模型对不同尺寸的目标物体的识别效果,且不需要增加额外的待识别图像的样本。

Description

识别模型训练方法、识别方法、装置、设备及存储介质
技术领域
本公开涉及计算机技术领域,尤其涉及计算机视觉、深度学习等技术领域。
背景技术
目标识别是图像处理的一个重要的手段和目的,通过目标识别,可以对视频、静态画面中的物体、人体、动物体等目标物体进行识别,根据识别结果实现身份认证、安全检查等多种用途。
根据目标物体与拍摄装置距离远近、镜头远近程度的不同,目标物体在视频或静态图像中所呈现的大小也有所不同。如何以较高的效率,针对在视频或静态图像中的大小不同的目标物体实现更佳的检测效果,是图像处理所需要进一步改进的问题。
发明内容
本公开提供了一种识别模型训练方法、识别方法、装置、设备以及存储介质。
根据本公开的一方面,提供了一种识别模型训练方法,包括:
将包括目标物体的待识别图像输入待训练的识别模型,获得至少两张不同尺寸的特征图;
采用待训练的识别模型,在每张特征图中,确定圈定目标物体的多个锚点框;
根据每张特征图中的锚点框、设定的目标框和每张特征图对应的交并比阈值,确定每张特征图对应的多个正样本和/或多个负样本;
根据正样本和/或负样本,确定损失值;
根据损失值优化待训练的识别模型,得到训练后的识别模型。
根据本公开的另一方面,提供了一种识别方法,包括:
将包括目标物体的待识别图像输入识别模型,得到圈定目标物体的多个锚点框;识别模型为本公开任意一项实施例所提供的训练后的识别模型;根据多个锚点框,获得目标物体识别结果。
根据本公开的另一方面,提供了一种识别模型训练装置,包括:
特征图模块,用于将包括目标物体的待识别图像输入待训练的识别模型,获得至少两张不同尺寸的特征图;
锚点框模块,用于采用待训练的识别模型,在每张特征图中,确定圈定目标物体的多个锚点框;
样本模块,用于根据每张特征图中的锚点框、设定的目标框和每张特征图对应的交并比阈值,确定每张特征图对应的多个正样本和/或多个负样本;
损失值模块,用于根据正样本和/或负样本,确定损失值;
优化模块,用于根据损失值优化待训练的识别模型,得到训练后的识别模型。
根据本公开的另一方面,提供了一种识别装置,包括:
锚点框模块,用于将包括目标物体的待识别图像输入识别模型,得到圈定目标物体的多个锚点框;识别模型为本公开任意一项实施例所提供的训练后的识别模型;
结果模块,用于根据多个锚点框,获得目标物体识别结果。
根据本公开的另一方面,提供了一种电子设备,包括:
至少一个处理器;以及
与该至少一个处理器通信连接的存储器;其中,
该存储器存储有可被该至少一个处理器执行的指令,该指令被该至少一个处理器执行,以使该至少一个处理器能够执行本公开任一实施例中的方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,该计算机指令用于使计算机执行本公开任一实施例中的方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现本公开任一实施例中的方法。
根据本公开的技术,可实现针对不同尺寸的目标物体调整回归训练样本和分类训练样本,提高模型识别不同尺寸的目标物体的准确性,同时无需增加过多的训练样本,提高模型训练效率。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开一实施例的识别模型训练方法示意图;
图2是根据本公开另一实施例的识别模型训练方法示意图;
图3是根据本公开一实施例的识别方法示意图;
图4是根据本公开一示例的识别模型训练方法示意图
图5是根据本公开一示例的待识别图像在待训练的识别模型中的处理过程示意图;
图6是根据本公开一实施例的识别模型训练装置示意图;
图7是根据本公开另一实施例的识别模型训练装置示意图;
图8是根据本公开又一实施例的识别模型训练装置示意图;
图9是根据本公开又一实施例的识别模型训练装置示意图;
图10是根据本公开又一实施例的识别模型训练装置示意图;
图11是根据本公开又一实施例的识别模型训练装置示意图;
图12是用来实现本公开实施例的识别模型训练方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本公开实施例首先提供了一种识别模型训练方法,如图1所示,包括:
步骤S11:将包括目标物体的待识别图像输入待训练的识别模型,获得至少两张不同尺寸的特征图;
步骤S12:采用待训练的识别模型,在每张特征图中,确定圈定目标物体的多个锚点框(anchor);
步骤S13:根据每张特征图中的锚点框、设定的目标框和每张特征图对应的交并比阈值,确定每张特征图对应的多个正样本和多个负样本;
步骤S14:根据正样本和/或负样本,确定损失值;
步骤S15:根据损失值优化待训练的识别模型,得到训练后的识别模型。
在一种实现方式中,包括目标物体的待识别图像,可以是包含任意需要识别的物体的图像,比如,包括人脸的图像,包括人体的图像,包括人眼的图像等。
在一种实现方式中,至少两张不同尺寸的特征图,可以是由卷积神经网络输出的。不同尺寸的特征图可以是不同像素尺寸的特征图,可由不同的卷积神经网络输出。
在一种实现方式中,各特征图是由同一个原始的待识别图像经过卷积等操作获得的,每个特征图均包含待识别的目标物体。在每个特征图中,可生成用于圈定目标物体的多个锚点框,目标物体可完全或部分地落入锚点框中。用于圈定同一个特征图中的目标物体的多个锚点框,可相互之间存在位置的偏移。
在具体实现方式中,每个尺寸的特征图可对应一个交并比阈值。各不同尺寸的特征图对应的交并比阈值不完全相同。比如,若通过待训练的识别模型输出三张特征图,则三张特征图中的两张特征图对应的交并比阈值可不同于另一张特征图对应的交并比阈值;三张特征图对应的交并比阈值可以各不相同。
在具体实现方式中,交并比阈值可通过一定范围内穷举法确定,通过多次实验确定最优的交并比阈值参数。
在具体实现方式中,每个尺寸的特征图可对应于同一个设定的目标框。设定的目标框可以为目标物体标定的参考框,能够位于目标物体所在的位置,以标注的参考方式圈定目标物体。
每张特征图对应的多个正样本,可以为特征图包括的多个锚点框中的一部分锚点框。每张特征图对应的多个负样本,可以为特征图包括的多个锚点框中的另一部分锚点框。
在一种实现方式中,根据损失值优化待训练的识别模型,得到训练后的识别模型,可以包括:根据损失值优化待训练的识别模型,使得识别模型输出的锚点框与目标框之间的偏差小于设定的限量。
本实施例中,较大尺寸的特征图可用于着重训练模型识别较小尺寸的目标物体的能力,较小尺寸的特征图可用于着重训练模型识别较大尺寸的目标物体的能力,而较小尺寸的目标物体识别过程和较大尺寸的目标物体识别过程中的回归难度和分类难度不相同,从而不同的特征图对应不同的交并比阈值,可实现针对不同尺寸的目标物体调整回归训练样本和分类训练样本,提高模型识别不同尺寸的目标物体的准确性,同时无需增加过多的训练样本,提高模型训练效率。
本公开实施例能够应用于人脸检测。一般情况下,为了实现人脸识别,需要使用较大的特征图去回归和分类anchor。但这种操作方式会使得识别模型的运算量急剧增加,带来的弊端就是耗时增加明显,没法在实际业务中应用。本公开实施例应用于人脸检测时,通过多尺度阈值的人脸检测算法避免必须使用较大的特征图,从而不需要较大的计算量就能够对人脸小目标有一个较好的结果。本公开实施例也能够在实际安防场景中落地应用,是一种兼顾了速度与效果的双优算法。
在一种实施方式中,特征图的尺寸与特征图对应的交并比阈值负相关。
本实施例中,在特征图尺寸较小的情况下,特征图对应的交并比阈值较小;在特征图尺寸较大的情况下,特征图对应的交并比阈值较大。
本实施例中,针对小尺寸的特征图,设置较大的交并比阈值,从而小尺寸的特征图对应的锚点框中,能够选出数量更难的负样本,在模型较容易学习到大尺寸的目标物体的识别方法的情况下,使用较少数量的正样本训练待训练的识别模型中的回归分支,提高模型训练效率。针对较大尺寸的特征图,设置较小的交并比阈值,从而大尺寸的特征图对应的锚点框中,能够选出数量更多的正样本,在模型较难学习到小尺寸的目标物体的识别方法的情况下,使用较多数量的正样本训练待训练的识别模型中的回归分支,提高模型识别小尺寸目标物体的能力。
本实施例应用到人脸识别时,能够考虑到小人脸和大人脸的检测难度的不一致性,针对尺寸较小的特征图设置较大的交并比阈值。小尺寸的人脸由于目标较小,又相对比较模糊等因素,在用anchor分类和回归的时候需要配置较多的正样本的anchor去分类和回归目标。而大尺寸的人脸往往包含较为高级的语义信息,任务相对简单,在用anchor分类和回归的时候,只需要少量的正样本和负样本的anchor即能取得理想的效果。假如在训练待训练的识别模型阶段,对大尺寸的人脸也用较多的anchor来分类和回归,在网络中大目标的特征学习就会得到加强,从而小尺寸的人脸的识别效果就会急剧退化。本实施例能够针对浅层输出的特征采图(大尺寸特征图)用较低的IOU阈值去区分正负样本,从而让更多的anchor去分类和回归目标;同时针对高层的特征输出采用正常的IOU阈值去区分正负样本,从而限制了匹配anchor的数据去分类和回归大尺寸的人脸,使得模型既能够学习到大尺寸的人脸的识别方式又能够学习到小尺寸的人脸的识别方式。
在一种实施方式中,如图2所示,根据每张特征图中的锚点框、设定的目标框和与每张特征图对应的交并比阈值,确定每张特征图对应的多个正样本和多个负样本,包括针对每张特征图执行的下述步骤:
步骤S21:针对每个锚点框,确定锚点框与设定的目标框之间的交并比(IOU,Intersection over Union);
步骤S22:在交并比大于锚点框所在的特征图对应的交并比阈值的情况下,确定锚点框为正样本;
步骤S23:在交并比小于锚点框所在的特征图对应的交并比阈值的情况下,确定锚点框为负样本。
本实施例中,每个锚点框与设定的目标框计算交并比时,采用锚点框与目标框之间的交集,与锚点框与目标框之间的并集的比值,作为锚点框对应的交并比。
本实施例中,在不同的锚点框与目标框之间的交并比相同的情况下,大尺寸的特征图对应的锚点框更有可能会被确定为正样本,小尺寸的特征图对应的锚点框更有可能会被确定为确定为负样本,从而使得大尺寸的特征图中出现更多正样本,训练模型的目标对象的回归功能。
在一种实施方式中,根据正样本,确定损失值,包括:
根据正样本,确定用于优化对应的锚点框大小计算参数的回归损失值。
本实施例中,回归损失用于优化待训练的识别模型的锚点框大小预测功能,使得模型能够在同样的锚点框位置的情况下,尽可能输出大小正好圈定目标物体的锚点框。
在一种实施方式中,根据正样本和负样本,确定损失值,包括:
根据正样本和负样本,确定用于优化对应的锚点框位置计算参数的分类损失值。
本实施例中,分类损失用于优化待训练的识别模型的锚点框位置预测功能,使得模型尽可能输出位置正好位于目标物体所在位置的锚点框。
在一种实施方式中,将包括目标物体的待识别图像输入待训练的识别模型,获得至少两张不同尺寸的特征图,包括:
将包括目标物体的待识别图像输入待训练的识别模型;
根据待训练的识别模型的特征金字塔网络,输出至少两张不同尺寸的特征图。
本实施例中,特征金字塔网络可以包含多层CNN(Convolutional NeuralNetworks,卷积神经网络)子网络,每层CNN子网络的参数不同,原始的待识别图像输入待训练的识别模型后,可经过特征金字塔网络第一层的处理,输出第一尺寸的特征图;第一尺寸的特征图经过特征金字塔第二层的处理,输出第二尺寸的特征图;第二尺寸的特征图经过特征金字塔第三层的处理,输出第三尺寸的特征图。第一尺寸的特征图>第二尺寸的特征图>第三尺寸的特征图。
在一种具体实现方式中,可针对金字塔网络的不同层的子网络采用不同的阈值策略。在浅层金字塔子网络通过设置较小的交并比阈值以获得更多的正样本的anchor;在深层金字塔通子网络过设置正常的交并比阈值去匹配正常数量的正负样本的anchor。
本公开实施例用于人脸识别时,并对小尺寸的人脸识别起到和大尺寸人脸识别均实现较佳的效果。尽管如今人脸检测随着卷积神经网络的应用已经取得了巨大的进步,但是仍然存在一些挑战。针对人脸检测,大概在待识别图像中,像素尺寸20×20以下的人脸都可以算作小人脸。小人脸检测问题一直是人脸检测领域一个较为棘手的问题。而视频监控以及安防场景往往存在大量的小人脸,因此小人脸检测问题仍然是具有很大研究价值的领域。由于小人脸尺寸小,包含的信息少,包含的语义信息也较少,可通过在人脸识别模型中构建多层金字塔网络输出的不同尺寸的特征图,通过较大尺寸的特征图检测小人脸。用金字塔的深层网络输出的特征输出较小尺寸的特征图,检测大人脸。本公开实施例提供的模型训练方法,能够根据特征金字塔输出的不同尺寸的特征图,根据不同的交并比阈值获得正样本和负样本,从而在不增加前向推理时间的情况下,使得模型识别大尺寸的人脸和小尺寸的人脸都具有较好的效果。
本实施例中,通过待训练的识别模型的特征金字塔网络,能够输出尺寸不同的特征图,用于待训练的识别模型进一步从中确定圈定目标物体的锚点框。
本公开实施例还提供一种识别方法,如图3所示,包括:
步骤S31:将包括目标物体的待识别图像输入识别模型,得到圈定目标物体的多个锚点框;识别模型为本公开任意一项实施例所提供的训练后的识别模型;
步骤S32:根据多个锚点框,获得目标物体识别结果。
本实施例中,训练后的识别模型可进一步从其产生的锚点框中,确定至少一个锚点框,作为目标物体识别结果。
本实施例中,通过本公开任意一项实施例提供的训练后的识别模型识别待识别图像,从而对大尺寸和小尺寸的目标物体都能够产生更为准确的识别结果。
在一种实施方式中,根据多个锚点框,获得目标物体识别结果,包括:
确定准确概率高于设定阈值的至少一个锚点框为目标物体识别结果。
本实施例中,训练后的识别模型针对待识别图像输出目标物体的多个锚点框时,可同时输出锚点框对应的准确概率,从而能够从识别模型输出的锚点框中选择至少一个作为目标物体识别结果。
本实施例中,选择准确概率高于设定阈值的至少一个锚点框为目标物体识别结果,从而能够进一步提高目标物体识别的准确性。
在本公开一种示例中,识别模型训练方法可用于对人脸识别模型进行训练,包括如图4所示的步骤:
步骤S41:设置交并比阈值超参数。
假设识别模型的特征金字塔网络存在三层子网络,针对三层子网络分别设置三个交并比阈值超参数,分别是:thre1、thre2、thre3
其中thre1是最底层金字塔区分正负样本的阈值;
其中thre2是第二层金字塔区分正负样本的阈值;
其中thre3是最高层金字塔区分正负样本的阈值;在本示例中,底层(浅层)特征金字塔子网络输出的特征图尺寸较大,高层特征金字塔子网络输出的特征图尺寸较小。且thre1<thre2<thre3
步骤S42:计算每个锚点框的交并比。
计算目标框和anchor之间的IOU,每一个anchor目标框即GT(Ground Truth,真值),也即监督信息。每个锚点框都对应一个与目标框之间的IOU值。
步骤S43:确定正样本和负样本。
本示例中,可通过下述公式确定锚点框中的正样本(positive)和负样本(negative):
Figure BDA0003071738630000091
上述公式中threi代表第i层金字塔的输出anchor对应的阈值,j可表示第j个锚点框。anchor对应的IOU大于阈值则anchor为正样本;相反,当IOU小于阈值为负样本。
步骤S44:损失计算。
在本示例中,可用正样本计算回归损失;用正负样本对计算分类损失。分类损失可以用于优化待训练的识别模型判断像素是否人脸的功能;回归损失可以用于优化待训练的识别模型判断人脸位置的功能。
本公开示例中,可针对不同尺度的特征金字塔网络的子网络输出的特征图,在匹配anchor正负样本的时候采取不同的交并比阈值。针对浅层金字塔子网络的交并比阈值小于深层金字塔的阈值:thre1<thre2<thre3
在人脸检测中,大尺寸的人脸包含较多的语义信息,用少量的正样本anchor即能够获得不错的检测效果;小尺寸的人脸由于受模糊光照等影响,检测存在较大的挑战;如果用相同数量的anchor去回归小尺寸的人脸,则并不能够取得一个较好的模型结果。则在本示例中小尺寸的人脸由于比较困难,通过设置不同的交并比阈值以为训练模型的小热念识别功能分配更多的anchor去回归小尺寸的人脸,从而让小尺寸的人脸检测取得最优的结果。而小尺寸的人脸需要小尺寸的anchor去检测,小尺寸的anchor框存在于浅层网络中,因此在浅层(低层)网络中使用较小的交并比阈值去匹配较多的anchor;同时随着网络的加深,逐渐增加交并比阈值的大小去检测大尺寸的人脸。这种网络设计方式经过相关实验验证在人脸检测上能够取得较优的结果。
在本公开一种示例中,输入的待识别图片在待训练的识别模型中的处理过程如图5所示。待识别图片作为输入信息(Input),输入待训练识别模型的特征金字塔网络的CNN子网络51,得到三张不同尺寸的特征图(Feature Map),三张不同尺寸的特征图可经过待训练的识别模型的头部52进行进一步处理,实现必要的其它特征转化过程,头部52的输出结果仍然为三张不同尺寸的特征图,特征图中针对目标物体标注有多个锚点框。根据每个锚点框以及预设的目标框(监督信息,GT),计算IOU,根据每个锚点框对应的IOU以及每个锚点框对应的特征图的交并比阈值:第一交并比阈值、第二交并比阈值、第三交并比阈值(marchthre1、march thre2、march thre3),从多个锚点框中确定正样本和负样本,根据正样本和负样本计算用于优化待训练的识别模型的损失(Loss)。针对三个特征图,分别输出损失1、损失2、损失3,损失具体可以包括回归损失和分类损失。
本公开实施例还提供一种识别模型训练装置,如图6所示,包括:
特征图模块61,用于将包括目标物体的待识别图像输入待训练的识别模型,获得至少两张不同尺寸的特征图;
锚点框模块62,用于采用待训练的识别模型,在每张特征图中,确定圈定目标物体的多个锚点框;
样本模块63,用于根据每张特征图中的锚点框、设定的目标框和每张特征图对应的交并比阈值,确定每张特征图对应的多个正样本和/或多个负样本;
损失值模块64,用于根据正样本和/或负样本,确定损失值;
优化模块65,用于根据损失值优化待训练的识别模型,得到训练后的识别模型。
在一种实施方式中,特征图的尺寸与特征图对应的交并比阈值负相关。
在一种实施方式中,如图7所示,样本模块包括:
交并比单元71,用于针对特征图的每个锚点框,确定锚点框与设定的目标框之间的交并比;
正样本单元72,用于在交并比大于锚点框所在的特征图对应的交并比阈值的情况下,确定锚点框为正样本;
负样本单元73,用于在交并比小于锚点框所在的特征图对应的交并比阈值的情况下,确定锚点框为负样本。
在一种实施方式中,如图8所示,损失值模块包括:
回归单元81,用于根据正样本,确定用于优化对应的锚点框大小计算参数的回归损失值。
在一种实施方式,如图9所示,损失值模块包括:
分类单元91,用于根据正样本和负样本,确定用于优化对应的锚点框位置计算参数的分类损失值。
在一种实施方式中,如图10所示,特征图模块包括:
输入单元101,用于将包括目标物体的待识别图像输入待训练的识别模型;
特征金字塔单元102,用于利用待训练的识别模型的特征金字塔网络,输出至少两张不同尺寸的特征图。
本公开实施例还提供一种识别装置,如图11所示,包括:
锚点框模块111,用于将包括目标物体的待识别图像输入识别模型,得到圈定目标物体的多个锚点框;识别模型为权利要求8-14中任意一项的训练后的识别模型;
结果模块112,用于根据多个锚点框,获得目标物体识别结果。
在一种实施方式中,结果模块还用于:
确定准确概率高于设定阈值的至少一个锚点框为目标物体识别结果。
本公开实施例用于人脸检测时,能够在识别模型训练阶段充分考虑大小脸检测难度的不一致性。小尺寸的人脸属于较难的任务,则针对小尺寸的人脸分配更多的anchor去检测目标物体;大尺寸的人脸属于较容易的任务,只需分配正常的anchor即可检测相应的目标物体。
本公开实施例提出的多尺度阈值的识别模型训练方法、识别方法及装置,仅仅影响模型训练阶段正负样本的分配,并不会影响模型推理阶段耗时的增加。因此,本公开提出的方案是一种即能增加效果又不增加耗时的先进算法。
当本公开提供的方案应用于人脸检测时,由于充分考虑了大小尺寸的人脸检测时候任务难度的不一致性,提出不同尺度的人脸使用不同阈值的匹配策略来检测人脸,在不增加模型前向推理时间的情况下,能够增加模型的表达效果,因此是一种行之有效的人脸检测方法。
本公开实施例各装置中的各单元、模块或子模块的功能可以参见上述方法实施例中的对应描述,在此不再赘述。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图12示出了可以用来实施本公开的实施例的示例电子设备120的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或要求的本公开的实现。
如图12所示,电子设备120包括计算单元121,其可以根据存储在只读存储器(ROM)122中的计算机程序或者从存储单元128加载到随机访问存储器(RAM)123中的计算机程序来执行各种适当的动作和处理。在RAM 123中,还可存储电子设备120操作所需的各种程序和数据。计算单元121、ROM 122以及RAM 123通过总线124彼此相连。输入输出(I/O)接口125也连接至总线124。
电子设备120中的多个部件连接至I/O接口125,包括:输入单元126,例如键盘、鼠标等;输出单元127,例如各种类型的显示器、扬声器等;存储单元128,例如磁盘、光盘等;以及通信单元129,例如网卡、调制解调器、无线通信收发机等。通信单元129允许电子设备120通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元121可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元121的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元121执行上文所描述的各个方法和处理,例如识别模型训练方法。例如,在一些实施例中,识别模型训练方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元128。在一些实施例中,计算机程序的部分或者全部可以经由ROM 122和/或通信单元129而被载入和/或安装到电子设备120上。当计算机程序加载到RAM 123并由计算单元121执行时,可以执行上文描述的识别模型训练方法的一个或多个步骤。备选地,在其他实施例中,计算单元121可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行识别模型训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入、或者触觉输入来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。

Claims (19)

1.一种识别模型训练方法,包括:
将包括目标物体的待识别图像输入待训练的识别模型,获得至少两张不同尺寸的特征图;
采用所述待训练的识别模型,在每张所述特征图中,确定圈定所述目标物体的多个锚点框;
根据每张所述特征图中的锚点框、设定的目标框和每张特征图对应的交并比阈值,确定每张特征图对应的多个正样本和/或多个负样本;
根据所述正样本和/或负样本,确定损失值;
根据所述损失值优化所述待训练的识别模型,得到训练后的识别模型。
2.根据权利要求1所述的方法,其中,所述特征图的尺寸与所述特征图对应的交并比阈值负相关。
3.根据权利要求1或2所述的方法,其中,所述根据每张所述特征图中的锚点框、设定的目标框和与每张特征图对应的交并比阈值,确定每张特征图对应的多个正样本和/或多个负样本,包括:针对每张所述特征图执行下述步骤:
针对所述特征图的每个所述锚点框,确定所述锚点框与所述设定的目标框之间的交并比;
在所述交并比大于锚点框所在的特征图对应的交并比阈值的情况下,确定所述锚点框为正样本;
在所述交并比小于锚点框所在的特征图对应的交并比阈值的情况下,确定所述锚点框为负样本。
4.根据权利要求1或2所述的方法,其中,根据所述正样本,确定损失值,包括:
根据所述正样本,确定用于优化对应的锚点框大小计算参数的回归损失值。
5.根据权利要求1或2所述的方法,其中,根据所述正样本和负样本,确定损失值,包括:
根据所述正样本和负样本,确定用于优化对应的锚点框位置计算参数的分类损失值。
6.根据权利要求1或2所述的方法,其中,所述将包括目标物体的待识别图像输入待训练的识别模型,获得至少两张不同尺寸的特征图,包括:
将所述包括目标物体的待识别图像输入待训练的识别模型;
利用所述待训练的识别模型的特征金字塔网络,输出所述至少两张不同尺寸的特征图。
7.一种识别方法,包括:
将包括目标物体的待识别图像输入识别模型,得到圈定所述目标物体的多个锚点框;所述识别模型为权利要求1-6中任意一项所述的训练后的识别模型;
根据所述多个锚点框,获得目标物体识别结果。
8.根据权利要求7所述的方法,其中,所述根据所述多个锚点框,获得目标物体识别结果,包括:
确定准确概率高于设定阈值的至少一个锚点框为目标物体识别结果。
9.一种识别模型训练装置,包括:
特征图模块,用于将包括目标物体的待识别图像输入待训练的识别模型,获得至少两张不同尺寸的特征图;
锚点框模块,用于采用所述待训练的识别模型,在每张所述特征图中,确定圈定所述目标物体的多个锚点框;
样本模块,用于根据每张所述特征图中的锚点框、设定的目标框和每张特征图对应的交并比阈值,确定每张特征图对应的多个正样本和/或多个负样本;
损失值模块,用于根据所述正样本和/或负样本,确定损失值;
优化模块,用于根据所述损失值优化所述待训练的识别模型,得到训练后的识别模型。
10.根据权利要求9所述的装置,其中,所述特征图的尺寸与所述特征图对应的交并比阈值负相关。
11.根据权利要求9或10所述的装置,其中,所述样本模块包括:
交并比单元,用于针对所述特征图的每个所述锚点框,确定所述锚点框与所述设定的目标框之间的交并比;
正样本单元,用于在所述交并比大于锚点框所在的特征图对应的交并比阈值的情况下,确定所述锚点框为正样本;
负样本单元,用于在所述交并比小于锚点框所在的特征图对应的交并比阈值的情况下,确定所述锚点框为负样本。
12.根据权利要求9或10所述的装置,其中,所述损失值模块包括:
回归单元,用于根据所述正样本,确定用于优化对应的锚点框大小计算参数的回归损失值。
13.根据权利要求9或10所述的装置,其中,所述损失值模块包括:
分类单元,用于根据所述正样本和所述负样本,确定用于优化对应的锚点框位置计算参数的分类损失值。
14.根据权利要求9或10所述的装置,其中,所述特征图模块包括:
输入单元,用于将所述包括目标物体的待识别图像输入待训练的识别模型;
特征金字塔单元,用于利用所述待训练的识别模型的特征金字塔网络,输出所述至少两张不同尺寸的特征图。
15.一种识别装置,包括:
锚点框模块,用于将包括目标物体的待识别图像输入识别模型,得到圈定所述目标物体的多个锚点框;所述识别模型为权利要求8-14中任意一项所述的训练后的识别模型;
结果模块,用于根据所述多个锚点框,获得目标物体识别结果。
16.根据权利要求15所述的装置,其中,所述结果模块还用于:
确定准确概率高于设定阈值的至少一个锚点框为目标物体识别结果。
17.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使计算机执行权利要求1-8中任一项所述的方法。
19.一种计算机程序产品,包括计算机程序,该计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的方法。
CN202110540966.4A 2021-05-18 2021-05-18 识别模型训练方法、识别方法、装置、设备及存储介质 Pending CN113221768A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110540966.4A CN113221768A (zh) 2021-05-18 2021-05-18 识别模型训练方法、识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110540966.4A CN113221768A (zh) 2021-05-18 2021-05-18 识别模型训练方法、识别方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113221768A true CN113221768A (zh) 2021-08-06

Family

ID=77092829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110540966.4A Pending CN113221768A (zh) 2021-05-18 2021-05-18 识别模型训练方法、识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113221768A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657249A (zh) * 2021-08-13 2021-11-16 北京百度网讯科技有限公司 训练方法、预测方法、装置、电子设备以及存储介质
CN113674142A (zh) * 2021-08-30 2021-11-19 国家计算机网络与信息安全管理中心 图像中目标物的消融方法、装置、计算机设备及介质
CN113762109A (zh) * 2021-08-23 2021-12-07 北京百度网讯科技有限公司 一种文字定位模型的训练方法及文字定位方法
CN113870196A (zh) * 2021-09-10 2021-12-31 苏州浪潮智能科技有限公司 一种基于锚点切图的图像处理方法、装置、设备和介质
CN113920339A (zh) * 2021-12-15 2022-01-11 智洋创新科技股份有限公司 一种基于深度学习的输电线路通道隐患中吊车误告警方法
CN113936158A (zh) * 2021-10-13 2022-01-14 北京百度网讯科技有限公司 一种标签匹配方法及装置
CN115601631A (zh) * 2022-12-15 2023-01-13 深圳爱莫科技有限公司(Cn) 一种卷烟陈列图像识别方法、模型、设备及储存介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537215A (zh) * 2018-03-23 2018-09-14 清华大学 一种基于图像目标检测的火焰检测方法
WO2018214195A1 (zh) * 2017-05-25 2018-11-29 中国矿业大学 一种基于卷积神经网络的遥感图像桥梁检测方法
CN109064514A (zh) * 2018-07-03 2018-12-21 北京航空航天大学 一种基于投影点坐标回归的六自由度位姿估计算法
CN110378232A (zh) * 2019-06-20 2019-10-25 陕西师范大学 改进的ssd双网络的考场考生位置快速检测方法
CN110458160A (zh) * 2019-07-09 2019-11-15 北京理工大学 一种基于深度压缩神经网络的无人艇水面目标识别算法
CN111209887A (zh) * 2020-01-15 2020-05-29 西安电子科技大学 针对小目标检测的ssd模型优化方法
CN112528995A (zh) * 2020-12-22 2021-03-19 北京百度网讯科技有限公司 用于训练目标检测模型的方法、目标检测方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018214195A1 (zh) * 2017-05-25 2018-11-29 中国矿业大学 一种基于卷积神经网络的遥感图像桥梁检测方法
CN108537215A (zh) * 2018-03-23 2018-09-14 清华大学 一种基于图像目标检测的火焰检测方法
CN109064514A (zh) * 2018-07-03 2018-12-21 北京航空航天大学 一种基于投影点坐标回归的六自由度位姿估计算法
CN110378232A (zh) * 2019-06-20 2019-10-25 陕西师范大学 改进的ssd双网络的考场考生位置快速检测方法
CN110458160A (zh) * 2019-07-09 2019-11-15 北京理工大学 一种基于深度压缩神经网络的无人艇水面目标识别算法
CN111209887A (zh) * 2020-01-15 2020-05-29 西安电子科技大学 针对小目标检测的ssd模型优化方法
CN112528995A (zh) * 2020-12-22 2021-03-19 北京百度网讯科技有限公司 用于训练目标检测模型的方法、目标检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHUAN-DONG YANG ETAL.: "Multi-Target Tracking and Segmentation Method for Missile-Borne Image Based on IoU Association", 《2019 12TH INTERNATIONAL CONFERENCE ON INTELLIGENT COMPUTATION TECHNOLOGY AND AUTOMATION (ICICTA)》, 2 March 2020 (2020-03-02) *
姚红革;王诚;喻钧;白小军;李蔚;: "复杂卫星图像中的小目标船舶识别", 遥感学报, no. 02, 25 February 2020 (2020-02-25) *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657249A (zh) * 2021-08-13 2021-11-16 北京百度网讯科技有限公司 训练方法、预测方法、装置、电子设备以及存储介质
CN113657249B (zh) * 2021-08-13 2024-05-17 北京神州数码云科信息技术有限公司 训练方法、预测方法、装置、电子设备以及存储介质
CN113762109A (zh) * 2021-08-23 2021-12-07 北京百度网讯科技有限公司 一种文字定位模型的训练方法及文字定位方法
CN113762109B (zh) * 2021-08-23 2023-11-07 北京百度网讯科技有限公司 一种文字定位模型的训练方法及文字定位方法
CN113674142A (zh) * 2021-08-30 2021-11-19 国家计算机网络与信息安全管理中心 图像中目标物的消融方法、装置、计算机设备及介质
CN113674142B (zh) * 2021-08-30 2023-10-17 国家计算机网络与信息安全管理中心 图像中目标物的消融方法、装置、计算机设备及介质
CN113870196A (zh) * 2021-09-10 2021-12-31 苏州浪潮智能科技有限公司 一种基于锚点切图的图像处理方法、装置、设备和介质
CN113936158A (zh) * 2021-10-13 2022-01-14 北京百度网讯科技有限公司 一种标签匹配方法及装置
CN113920339A (zh) * 2021-12-15 2022-01-11 智洋创新科技股份有限公司 一种基于深度学习的输电线路通道隐患中吊车误告警方法
CN115601631A (zh) * 2022-12-15 2023-01-13 深圳爱莫科技有限公司(Cn) 一种卷烟陈列图像识别方法、模型、设备及储存介质

Similar Documents

Publication Publication Date Title
CN113221768A (zh) 识别模型训练方法、识别方法、装置、设备及存储介质
CN112883902B (zh) 视频检测方法、装置、电子设备及存储介质
CN113221769B (zh) 识别模型训练方法、识别方法、装置、设备及存储介质
CN114677565B (zh) 特征提取网络的训练方法和图像处理方法、装置
KR20180109658A (ko) 영상 처리 방법과 장치
CN113869449A (zh) 一种模型训练、图像处理方法、装置、设备及存储介质
US20220172376A1 (en) Target Tracking Method and Device, and Electronic Apparatus
CN113326773A (zh) 识别模型训练方法、识别方法、装置、设备及存储介质
CN113378857A (zh) 目标检测方法、装置、电子设备及存储介质
CN113762220B (zh) 目标识别方法、电子设备、计算机可读存储介质
US20230245429A1 (en) Method and apparatus for training lane line detection model, electronic device and storage medium
CN114037087A (zh) 模型训练方法及装置、深度预测方法及装置、设备和介质
CN113705381A (zh) 雾天的目标检测方法、装置、电子设备以及存储介质
US11295211B2 (en) Multi-scale object detection with a trained neural network
CN117372928A (zh) 一种视频目标检测方法、装置及相关设备
CN115116111B (zh) 抗扰动人脸活体检测模型训练方法、装置及电子设备
CN115249281B (zh) 图像遮挡和模型训练方法、装置、设备以及存储介质
CN113139483B (zh) 人体行为识别方法、装置、设备、存储介质以及程序产品
CN113936158A (zh) 一种标签匹配方法及装置
CN114581890A (zh) 确定车道线的方法、装置、电子设备和存储介质
CN113935482A (zh) 一种行人再识别网络的训练方法及装置
CN113642510A (zh) 目标检测方法、装置、设备和计算机可读介质
CN113806361B (zh) 电子监控设备与道路的关联方法、装置及存储介质
CN114844889B (zh) 视频处理模型的更新方法、装置、电子设备及存储介质
CN115205939B (zh) 人脸活体检测模型训练方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination