CN112348112B - 图像识别模型的训练方法、训练装置及终端设备 - Google Patents
图像识别模型的训练方法、训练装置及终端设备 Download PDFInfo
- Publication number
- CN112348112B CN112348112B CN202011327949.4A CN202011327949A CN112348112B CN 112348112 B CN112348112 B CN 112348112B CN 202011327949 A CN202011327949 A CN 202011327949A CN 112348112 B CN112348112 B CN 112348112B
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- frame
- recognition model
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000012549 training Methods 0.000 title claims abstract description 68
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000007781 pre-processing Methods 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims description 59
- 238000004590 computer program Methods 0.000 claims description 22
- 238000005070 sampling Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005429 filling process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请适用于图像处理技术领域，提供了一种图像识别模型的训练方法、训练装置及终端设备，包括：获取样本图像，所述样本图像中包括干扰信息；对所述样本图像进行预处理，得到处理图像，其中，所述预处理用于提取所述样本图像中除所述干扰信息外的图像信息；根据所述处理图像对图像识别模型进行训练，得到训练后的图像识别模型。通过上述方法，有效排除了样本图像中干扰信息对模型训练的影响，利用除干扰信息外的图像信息对图像识别模型进行训练，能够有效提高图像识别模型的识别精度。
Description
技术领域
本申请属于图像处理技术领域，尤其涉及一种图像识别模型的训练方法、训练装置及终端设备。
背景技术
图像识别技术用于识别出图像中包含的目标物体的位置及其类别。图像识别技术通常包括训练和应用两个过程。在训练过程中，需要构建图像识别模型，然后利用大量的样本图像对图像识别模型进行训练。在应用过程中，利用训练好的图像识别模型对待识别的图像进行识别。
可以看出，样本图像的质量高低决定了图像识别模型的识别精度。当样本图像中包含了除目标物体的图像外的其他干扰信息时，由于干扰信息对目标物体的图像信息的干扰，导致训练后的图像识别模型无法准确地识别出目标物体、识别精度较低。
发明内容
本申请实施例提供了一种图像识别模型的训练方法、训练装置及终端设备，可以有效提高图像识别模型的检测精度。
第一方面，本申请实施例提供了一种图像识别模型的训练方法，包括：
获取样本图像，所述样本图像中包括干扰信息；
对所述样本图像进行预处理，得到处理图像，其中，所述预处理用于提取所述样本图像中除所述干扰信息外的图像信息；
根据所述处理图像对图像识别模型进行训练，得到训练后的图像识别模型。
获取到的样本图像中可能存在干扰信息，在本申请实施例中，在对图像识别模型进行训练之前，先对样本图像进行预处理，即只选取除干扰信息外的图像信息。通过上述方法，有效排除了样本图像中干扰信息对模型训练的影响，利用排除干扰信息外的图像信息对图像识别模型进行训练，能够有效提高图像识别模型的识别精度。
在第一方面的一种可能的实现方式中，所述对所述样本图像进行预处理，得到处理图像，包括：
检测所述样本图像中的目标物体，得到至少一个检测框；
将所述至少一个检测框中满足预设规则的检测框确定为目标框；
从所述样本图像中获取所述目标框对应的局部图像；
根据所述局部图像获取所述处理图像。
在第一方面的一种可能的实现方式中，所述预设规则包括：
第一候选框的中心与所述样本图像的中心之间的距离小于第二候选框的中心与所述样本图像的中心之间的距离；
其中，所述第一候选框为所述至少一个检测框中的任意一个检测框，所述第二候选框为所述至少一个检测框中除所述第一候选框外的任意一个检测框。
在第一方面的一种可能的实现方式中，所述从所述样本图像中获取所述目标框对应的局部图像，包括：
对所述目标框进行扩大处理，得到扩大框；
截取所述样本图像中所述扩大框内的图像，得到所述局部图像。
在第一方面的一种可能的实现方式中，所述根据所述局部图像获取所述处理图像，包括：
将所述局部图像填充为预设尺寸的填充图像，其中，所述预设尺寸与所述图像识别模型的输入尺寸相匹配；
将所述填充图像确定为所述处理图像。
在第一方面的一种可能的实现方式中，所述样本图像携带有标签信息；
所述获取样本图像，包括：
获取携带有标签信息的视频样本；
对所述视频样本进行图像帧采样处理，获得多张所述样本图像；
将所述样本图像的标签信息设置为所述视频样本的标签信息。
在第一方面的一种可能的实现方式中，在根据所述处理图像对图像识别模型进行训练，得到训练后的图像识别模型之后，所述方法还包括：
获取待检测图像；
将所述待识别图像输入到所述训练后的图像识别模型中，输出所述待识别图像的标签信息。
第二方面，本申请实施例提供了一种图像识别模型的训练装置，包括：
样本获取单元，用于获取样本图像，所述样本图像中包括干扰信息；
预处理单元，用于对所述样本图像进行预处理，得到处理图像，其中，所述预处理用于提取所述样本图像中除所述干扰信息外的信息；
模型训练单元，用于根据所述处理图像对图像识别模型进行训练，得到训练后的图像识别模型。
第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上述第一方面中任一项所述的图像识别模型的训练方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的图像识别模型的训练方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的图像识别模型的训练方法。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的口罩识别的流程示意图；
图2是本申请实施例提供的口罩佩戴状态的示意图；
图3是本申请实施例提供的图像识别模型的训练方法的流程示意图；
图4是本申请实施例提供的预处理的流程示意图；
图5是本申请实施例提供的样本图像的示意图；
图6是本申请实施例提供的检测框的示意图；
图7是本申请实施例提供的图像识别模型的训练装置的结构框图；
图8是本申请实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。
目前，在很多公共场合，需要检测口罩的佩戴情况。下面以口罩识别为例，介绍图像识别技术的一个应用场景。参见图1，是本申请实施例提供的口罩识别的流程示意图。口罩识别包括模型训练和应用两个过程。
如图1中的(a)所示，为口罩识别中的模型训练过程。在该过程中，首先需要收集大量的样本图像，每种口罩佩戴情况均需对应多张样本图像。参见图2，是本申请实施例提供的口罩佩戴状态的示意图。图2中示出了四种口罩佩戴情况，其中，图2中的(a)所示图像表示佩戴口罩的情况，图2中的(b)所示图像表示口罩未戴好的情况，图2中的(c)所示图像表示口罩未戴好的情况，图2中的(d)所示图像表示未佩戴口罩的情况。对每张样本图像进行标注，即确定每张样本图像对应的是哪种口罩佩戴情况。最后利用标注后的样本图像对图像识别模型进行训练，得到训练后的图像识别模型。
如图2中的(b)所示，为口罩识别实训中的应用过程。在该过程中，实时采集用户的面部图像，记为待识别图像；将待识别图像输入到训练后的图像识别模型中，输出待识别图像的标签信息，以确定用户佩戴口罩的情况。
在实际应用中，模型训练的任务通常是由远程的处理器来执行。当网络状态不佳或者数据处理量较大的情况下，远程处理器处理速度较慢、训练时间较长。为了解决上述问题，可以降低样本图像的分辨率，以提高数据处理速度。但是，在低分辨率下，图像识别模型容易将许多干扰信息当作有效信息来执行训练过程。
例如：在采集样本图像时，通常是对某个用户拍摄图像，但是由于该用户所在环境的嘈杂，该用户旁边可能有多个人物，这将导致拍摄出的样本图像中包括多个人脸图像。假设该用户佩戴口罩，但是该用户旁边的人物未佩戴口罩，而拍摄出的样本图像的标签信息为佩戴口罩。如果将这样的样本图像用于图像识别模型的训练，那么该样本图像中未佩戴口罩的人脸图像将会对佩戴口罩用户的人脸图像产生干扰，将导致图像识别模型的误判，即训练后的图像识别模型可能将未佩戴口罩的情况识别为佩戴口罩的情况。
为了保证低分辨率下的图像识别精度，本申请实施例提出了一种图像识别模型的训练方法。该方法中，在对图像识别模型进行训练之前，先对样本图像进行预处理，即只选取除干扰信息外的图像信息。通过上述方法，有效排除了样本图像中干扰信息对模型训练的影响。利用排除干扰信息外的图像信息对图像识别模型进行训练，能够在保证较高训练效率的前提下，有效提高图像识别模型的识别精度。
下面对本申请实施例提供的图像识别模型的训练方法进行介绍。参见图3，是本申请实施例提供的图像识别模型的训练方法的流程示意图。作为示例而非限定，如图3所示，该方法可以包括以下步骤：
S301，获取样本图像，样本图像中包括干扰信息。
样本图像是携带有标签信息的。在对图像识别模型进行训练时，样本图像携带的标签信息也参与到训练的过程中，这样图像识别模型才能分辨出样本图像所属的类别。
标签信息可以有多种表现形式，如文字、字符、符号或颜色等等。
可以人工采集样本图像，并对每张样本图像进行人工标注。由于对图像识别模型的训练需要大量的样本图像，如果人工对每一张样本图像进行标注，费时费力，效率较低。
为了提高样本图像的获取效率以及标注效率，在本申请一个实施例中，获取样本图像的一种实现方式为：
获取携带有标签信息的视频样本；对所述视频样本进行图像帧采样处理，获得多张所述样本图像；将所述样本图像的标签信息设置为所述视频样本的标签信息。
示例性的，令一名用户佩戴口罩，对该用户拍摄一定时长的视频样本；按照预设的时间间隔(采样频率)从视频样本中获取图像帧，将获取的图像帧记为样本图像，并将获取到的样本图像的标签信息记为佩戴口罩。同理，当一名用户不佩戴口罩时，对该用户拍摄一定时长的视频样本，从该视频样本中获取样本图像，并将该样本图像的标签信息记为未佩戴口罩。
为了保证图像识别模型的识别精度，需要尽可能多的采集样本图像，可以将图像帧采用处理的时间间隔设置较短、或将采用频率设置较高。另外，为了保证样本的全面性，需要对每种佩戴情况采集一定数量的样本图像。
通过上述方法，无需人工采集样本图像、人工标注样本，只需录制视频样本，即可自动采集一定数量的样本图像、并自动进行样本标注，大大提高了样本图像的采集效率和标注效率。
S302，对样本图像进行预处理，得到处理图像，其中，预处理用于提取样本图像中除干扰信息外的图像信息。
预处理的过程可以是：检测样本图像中的目标物体，然后滤除样本图像中除目标物体外的图像信息，得到处理图像。
上述方法可以有效滤除样本图像中与目标物体差别较大的背景图像。但是当样本图像中存在多个目标物体时，利用上述方法，无法分辨哪个才是能够用于模型训练的目标物体。
为了解决上述问题，在本申请一个实施例中，参见图4，是本申请实施例提供的预处理的流程示意图。如图4所示，预处理的一种实现方式可以包括以下步骤：
S401，检测样本图像中的目标物体，得到至少一个检测框。
其中，目标物体可以是人脸、手部、四肢等部位。例如：在口罩识别的应用场景中，目标物体为人脸(即面部)。根据实际需要，目标物体的定义不同。
可选的，可以通过训练好的目标检测模型检测样本图像中的目标物体。如利用训练好的人脸检测模型检测样本图像中的人脸。当然，也可以采用其他具有识别、检测功能的模型，如随机森林模型、聚类模型等等，在此不做限定。
得到的检测框包括检测框的位置信息，如检测框的顶点的坐标信息和中心的坐标信息等。通过检测框的位置信息可以确定出检测框在样本图像中的位置，进而能够确定目标物体在样本图像中的位置。
当样本图像中有多个目标物体时，检测出的每个目标物体各自对应一个检测框。
S402，将至少一个检测框中满足预设规则的检测框确定为目标框。
可选的，预设规则可以为：第一候选框的面积大于第二候选框的面积。
其中，第一候选框为至少一个检测框中的任意一个检测框，第二候选框为至少一个检测框中除第一候选框外的任意一个检测框。
换言之，是将至少一个检测框中面积最大的检测框确定为目标框。但是实际应用中，距离镜头的远近程度可能会影响样本图像中目标物体的图像面积的大小。当样本图像中包含多个人脸时，距离镜头近的人脸在样本图像中所占的图像面积可能大于距离镜头稍远人脸在样本图像中所占的图像面积。例如：参见图5，是本申请实施例提供的样本图像的示意图。如图5所示，样本图像中人脸B的图像面积大于人脸A的图像面积。但是，人脸B在样本图像中未展示完整，人脸A在样本图像中展示完整、且位于靠近样本图像中间的位置。针对上述情况，如果仅以检测框的面积大小作为预设规则，可能会发生误判。
为了解决上述问题，可选的，预设规则可以为：第一候选框的中心与样本图像的中心之间的距离小于第二候选框的中心与样本图像的中心之间的距离。
根据步骤S401中获取到的检测框的位置信息，可以计算每个检测框的中心与样本图像的中心之间的距离，然后取最小距离对应的检测框为目标框。具体的，计算方式可以为：
Ix＝target_Ox-Im_Ox；
Iy＝target_Oy-Im_Oy；
I＝Ix+Iy。
其中，target_Ox表示检测框的中心的x坐标，target_Oy表示检测框的中心的y坐标。Im_Ox表示样本图像的中心的x坐标，Im_Oy表示样本图像的中心的y坐标。Ix表示x轴距离差，Iy表示y轴距离差，I表示检测框的中心与样本图像的中心之间的距离。
参见图6，是本申请实施例提供的检测框的示意图。如图6所示，样本图像中有3个检测框A、B和C。当计算A的中心与样本图像的中心之间的距离时，A为第一候选框，B和C为第二候选框。当计算B的中心与样本图像的中心之间的距离时，B为第一候选框，A和C为第二候选框。即本申请实施例中，检测出的至少一个检测框中的任意一个检测框均可以作为第一候选框。如图6所示，根据上述方法，可以确定出检测框B的中心(OB)与样本图像的中心(O)之间的距离相对较小，可以将检测框B确定为目标框。
S403，从样本图像中获取目标框对应的局部图像。
本申请实施例中，目标框对应的局部图像可以指样本图像中目标框所占区域覆盖的图像。根据步骤S401中检测框的位置信息，可以获取目标框对应的局部图像。
在如上所述应用场景中，在低分辨率下可能还会存在一个问题，即对佩戴口罩的人脸图像提取不全。如果利用不完整的图像对图像识别模型进行训练，将会影响图像识别模型的识别精度。例如：用户佩戴口罩，但是未戴好口罩，如图2中的(b)所示。这种情况下，可能只检测出面部的部分，而未检测出口罩的部分，而该样本图像的标签信息为口罩未戴好，这将会导致在训练过程中、图像识别模型误将未佩戴口罩的人脸当作口罩未戴好的情况进行训练，影响训练结果。
为了保证训练图像的完整性，进而保证识别结果的准确性，在本申请一个实施例中，上述步骤S403的一种实现方式为：
对目标框进行扩大处理，得到扩大框；截取样本图像中扩大框内的图像，得到局部图像。
可以根据实际需要确定扩大处理的扩大比例。以口罩识别为例，通常口罩未戴好的情况下，口罩位于人脸以下的部分。因此，为了保证检目标框中图像的完整性，可以对目标框进行上下扩边处理。示例性的，假设目标框左上角的坐标为(x,y)，目标框的高为h、宽为w。扩大处理后的目标框的参数为(x,y,w,h+h/8)。即将目标框的高增加了h/8。
另外，还可以根据实际需要对目标框进行移动。同样以口罩识别为例，通常口罩佩戴与人脸的下半部分，因此，上半部分、尤其是额头的部分对识别是不具参考价值的。这种情况下，可以将目标框向下移动。继续上述示例，移动后的目标框的参数为(x,y-h/20,w,h+h/8)。即将目标框向下移动了h/20。
S404，根据局部图像获取处理图像。
可以将局部图像确定为处理图像。但是实际应用中，局部图像的尺寸可能不符合图像识别模型的输入尺度。
为了保证尺度的一致性，可选的，步骤S404的一种实现方式为：
将局部图像填充为预设尺寸的填充图像，其中，预设尺寸与图像识别模型的输入尺寸相匹配；将填充图像确定为处理图像。
示例性的，假设图像识别模型的输入尺度为160×160(即预设尺寸)，局部图像的尺寸为120×100。将局部图像填充为160×160的填充图像。
可选的，在填充过程中，可以随机选取像素值进行填充。如随机选取0-255中任意一个像素值进行填充，或随机选取0-255中多个像素值进行填充。
但是随机选取的像素值可能与局部图像中的像素值相近，导致填充部分的图像信息对局部图像的图像信息造成干扰。
为了解决上述问题，可以根据实际需要预先设定填充的像素值。以口罩检测为例，为了与口罩和人脸进行鲜明对比，以像素值0进行填充，即填充部分的图像为黑色。
通过上述的预处理过程有效排除了样本图像中干扰信息对模型训练的影响，得到处理图像分辨率较低，却能够包含较完整的目标物体的图像信息。
S303，根据处理图像对图像识别模型进行训练，得到训练后的图像识别模型。
图像识别模型可以为具有识别、检测功能的模型，如随机森林模型、聚类模型等等，在此不做限定。
可选的，可以采用基于深度可分离卷积的神经网络模型。这类神经网络模型的数据处理速度较快，有助于提高模型的训练效率。如mobilenetv1等。
当图像识别模型的识别精度达到预设精度时，训练结束。在应用过程中，利用训练后的图像识别模型对待识别图像进行识别。
可以将待识别图像输入到训练后的图像识别模型中，输出待识别图像的标签信息。
还可以将待识别图像进行如图4实施例中所述的预处理，然后将预处理后的待识别图像输入到训练后的图像识别模型中，输出待识别图像的标签信息。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的图像识别模型的训练方法，图7是本申请实施例提供的图像识别模型的训练装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图7，该装置包括：
样本获取单元71，用于获取样本图像，所述样本图像中包括干扰信息。
预处理单元72，用于对所述样本图像进行预处理，得到处理图像，其中，所述预处理用于提取所述样本图像中除所述干扰信息外的信息。
模型训练单元73，用于根据所述处理图像对图像识别模型进行训练，得到训练后的图像识别模型。
可选的，预处理单元72包括：
检测模块721，用于检测所述样本图像中的目标物体，得到至少一个检测框。
确定模块722，用于将所述至少一个检测框中满足预设规则的检测框确定为目标框。
局部图像获取模块723，用于从所述样本图像中获取所述目标框对应的局部图像。
处理图像获取模块724，用于根据所述局部图像获取所述处理图像。
可选的，所述预设规则包括：
第一候选框的中心与所述样本图像的中心之间的距离小于第二候选框的中心与所述样本图像的中心之间的距离；
其中，所述第一候选框为所述至少一个检测框中的任意一个检测框，所述第二候选框为所述至少一个检测框中除所述第一候选框外的任意一个检测框。
可选的，局部图像获取模块还用于：
对所述目标框进行扩大处理，得到扩大框；截取所述样本图像中所述扩大框内的图像，得到所述局部图像。
可选的，处理图像获取模块还用于：
将所述局部图像填充为预设尺寸的填充图像，其中，所述预设尺寸与所述图像识别模型的输入尺寸相匹配；将所述填充图像确定为所述处理图像。
可选的，所述样本图像携带有标签信息。
相应的，样本获取单元71还用于：
获取携带有标签信息的视频样本；对所述视频样本进行图像帧采样处理，获得多张所述样本图像；将所述样本图像的标签信息设置为所述视频样本的标签信息。
可选的，装置7还包括：
在根据所述处理图像对图像识别模型进行训练，得到训练后的图像识别模型之后，获取待检测图像；将所述待识别图像输入到所述训练后的图像识别模型中，输出所述待识别图像的标签信息。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
另外，图7所示的图像识别模型的训练装置可以是内置于现有的终端设备内的软件单元、硬件单元、或软硬结合的单元，也可以作为独立的挂件集成到所述终端设备中，还可以作为独立的终端设备存在。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
图8是本申请实施例提供的终端设备的结构示意图。如图8所示，该实施例的终端设备8包括：至少一个处理器80(图8中仅示出一个)处理器、存储器81以及存储在所述存储器81中并可在所述至少一个处理器80上运行的计算机程序82，所述处理器80执行所述计算机程序82时实现上述任意各个图像识别模型的训练方法实施例中的步骤。
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，图8仅仅是终端设备8的举例，并不构成对终端设备8的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器80可以是中央处理单元(Central Processing Unit，CPU)，该处理器80还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器81在一些实施例中可以是所述终端设备8的内部存储单元，例如终端设备8的硬盘或内存。所述存储器81在另一些实施例中也可以是所述终端设备8的外部存储设备，例如所述终端设备8上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器81还可以既包括所述终端设备8的内部存储单元也包括外部存储设备。所述存储器81用于存储操作系统、应用程序、引导装载程序(Boot Loader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器81还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在请的保护范围之内。
Claims (8)
1.一种图像识别模型的训练方法，其特征在于，包括：
获取样本图像，所述样本图像中包括干扰信息；
对所述样本图像进行预处理，得到处理图像，其中，所述预处理用于提取所述样本图像中除所述干扰信息外的图像信息；
根据所述处理图像对图像识别模型进行训练，得到训练后的图像识别模型；
所述对所述样本图像进行预处理，得到处理图像，包括：
检测所述样本图像中的目标物体，得到至少一个检测框；
将所述至少一个检测框中满足预设规则的检测框确定为目标框；
从所述样本图像中获取所述目标框对应的局部图像；
根据所述局部图像获取所述处理图像；
其中，所述预设规则包括第一候选框的面积大于第二候选框的面积，或第一候选框的中心与样本图像的中心之间的距离小于第二候选框的中心与样本图像的中心之间的距离；
其中，所述第一候选框为所述至少一个检测框中的任意一个检测框，所述第二候选框为所述至少一个检测框中除所述第一候选框外的任意一个检测框。
2.如权利要求1所述的图像识别模型的训练方法，其特征在于，所述从所述样本图像中获取所述目标框对应的局部图像，包括：
对所述目标框进行扩大处理，得到扩大框；
截取所述样本图像中所述扩大框内的图像，得到所述局部图像。
3.如权利要求1所述的图像识别模型的训练方法，其特征在于，所述根据所述局部图像获取所述处理图像，包括：
将所述局部图像填充为预设尺寸的填充图像，其中，所述预设尺寸与所述图像识别模型的输入尺寸相匹配；
将所述填充图像确定为所述处理图像。
4.如权利要求1所述的图像识别模型的训练方法，其特征在于，所述样本图像携带有标签信息；
所述获取样本图像，包括：
获取携带有标签信息的视频样本；
对所述视频样本进行图像帧采样处理，获得多张所述样本图像；
将所述样本图像的标签信息设置为所述视频样本的标签信息。
5.如权利要求1至4任一项所述的图像识别模型的训练方法，其特征在于，在根据所述处理图像对图像识别模型进行训练，得到训练后的图像识别模型之后，所述方法还包括：
获取待检测图像；
将所述待检测图像输入到所述训练后的图像识别模型中，输出所述待检测图像的标签信息。
6.一种图像识别模型的训练装置，其特征在于，包括：
样本获取单元，用于获取样本图像，所述样本图像中包括干扰信息；
预处理单元，用于对所述样本图像进行预处理，得到处理图像，其中，所述预处理用于提取所述样本图像中除所述干扰信息外的信息；
模型训练单元，用于根据所述处理图像对图像识别模型进行训练，得到训练后的图像识别模型；
所述预处理单元包括：
检测模块，用于检测所述样本图像中的目标物体，得到至少一个检测框；
确定模块，用于将所述至少一个检测框中满足预设规则的检测框确定为目标框；
局部图像获取模块，用于从所述样本图像中获取所述目标框对应的局部图像；
处理图像获取模块，用于根据所述局部图像获取所述处理图像；
其中，所述预设规则包括第一候选框的面积大于第二候选框的面积，或第一候选框的中心与样本图像的中心之间的距离小于第二候选框的中心与样本图像的中心之间的距离；
所述第一候选框为所述至少一个检测框中的任意一个检测框，所述第二候选框为所述至少一个检测框中除所述第一候选框外的任意一个检测框。
7.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的方法。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011327949.4A CN112348112B (zh) | 2020-11-24 | 2020-11-24 | 图像识别模型的训练方法、训练装置及终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011327949.4A CN112348112B (zh) | 2020-11-24 | 2020-11-24 | 图像识别模型的训练方法、训练装置及终端设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112348112A CN112348112A (zh) | 2021-02-09 |
| CN112348112B true CN112348112B (zh) | 2023-12-15 |
Family
ID=74365492
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011327949.4A Active CN112348112B (zh) | 2020-11-24 | 2020-11-24 | 图像识别模型的训练方法、训练装置及终端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112348112B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115460502B (zh) * | 2022-11-11 | 2023-02-14 | 成都智元汇信息技术股份有限公司 | 一种基于缩小目标区域的戴耳机识别方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111079699A (zh) * | 2019-12-30 | 2020-04-28 | 北京每日优鲜电子商务有限公司 | 商品识别方法及装置 |
| CN111104967A (zh) * | 2019-12-02 | 2020-05-05 | 精锐视觉智能科技(上海)有限公司 | 图像识别网络训练方法、图像识别方法、装置及终端设备 |
| CN111104538A (zh) * | 2019-12-06 | 2020-05-05 | 深圳久凌软件技术有限公司 | 一种基于多尺度约束的细粒度车辆图像检索的方法及装置 |
| WO2020164282A1 (zh) * | 2019-02-14 | 2020-08-20 | 平安科技（深圳）有限公司 | 基于yolo的图像目标识别方法、装置、电子设备和存储介质 |
| CN111598091A (zh) * | 2020-05-20 | 2020-08-28 | 北京字节跳动网络技术有限公司 | 图像识别方法、装置、电子设备及计算可读存储介质 |
| CN111950723A (zh) * | 2019-05-16 | 2020-11-17 | 武汉Tcl集团工业研究院有限公司 | 神经网络模型训练方法、图像处理方法、装置及终端设备 |
-
2020
- 2020-11-24 CN CN202011327949.4A patent/CN112348112B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020164282A1 (zh) * | 2019-02-14 | 2020-08-20 | 平安科技（深圳）有限公司 | 基于yolo的图像目标识别方法、装置、电子设备和存储介质 |
| CN111950723A (zh) * | 2019-05-16 | 2020-11-17 | 武汉Tcl集团工业研究院有限公司 | 神经网络模型训练方法、图像处理方法、装置及终端设备 |
| CN111104967A (zh) * | 2019-12-02 | 2020-05-05 | 精锐视觉智能科技(上海)有限公司 | 图像识别网络训练方法、图像识别方法、装置及终端设备 |
| CN111104538A (zh) * | 2019-12-06 | 2020-05-05 | 深圳久凌软件技术有限公司 | 一种基于多尺度约束的细粒度车辆图像检索的方法及装置 |
| CN111079699A (zh) * | 2019-12-30 | 2020-04-28 | 北京每日优鲜电子商务有限公司 | 商品识别方法及装置 |
| CN111598091A (zh) * | 2020-05-20 | 2020-08-28 | 北京字节跳动网络技术有限公司 | 图像识别方法、装置、电子设备及计算可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112348112A (zh) | 2021-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110232311B (zh) | 手部图像的分割方法、装置及计算机设备 | |
| CN104268498B (zh) | 一种二维码的识别方法及终端 | |
| EP3916627A1 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
| CN103065134B (zh) | 一种具有提示信息的指纹识别装置和方法 | |
| CN107958230B (zh) | 人脸表情识别方法及装置 | |
| CN109344864B (zh) | 用于密集物体的图像处理方法及装置 | |
| CN111597910A (zh) | 一种人脸识别方法、装置、终端设备及介质 | |
| CN112115803B (zh) | 口罩状态提醒方法、装置及移动终端 | |
| CN104298947A (zh) | 一种对二维条码精确定位的方法及装置 | |
| CN112633084A (zh) | 人脸框确定方法、装置、终端设备及存储介质 | |
| CN112668580A (zh) | 一种文本识别方法、文本识别装置及终端设备 | |
| CN113255516A (zh) | 活体检测方法、装置和电子设备 | |
| CN112348112B (zh) | 图像识别模型的训练方法、训练装置及终端设备 | |
| CN111680670B (zh) | 一种跨模态人头检测方法及装置 | |
| CN110728193A (zh) | 一种脸部图像丰富度特征的检测方法及设备 | |
| CN112686122B (zh) | 人体及影子的检测方法、装置、电子设备、存储介质 | |
| CN113191189A (zh) | 人脸活体检测方法、终端设备及计算机可读存储介质 | |
| CN117475353A (zh) | 基于视频的异常烟雾识别方法及系统 | |
| CN112749696A (zh) | 一种文本检测方法及装置 | |
| CN116862920A (zh) | 一种人像分割方法、装置、设备及介质 | |
| CN114494355A (zh) | 基于人工智能的轨迹分析方法、装置、终端设备及介质 | |
| CN111243058B (zh) | 物件模拟图像生成方法及计算机可读存储介质 | |
| CN111935480B (zh) | 一种用于图像获取装置的检测方法及相关装置 | |
| KR101985474B1 (ko) | 에이다부스트를 이용한 인체 영역의 강인한 검출 방법 | |
| Garba et al. | COMPUTATIONAL MODEL FOR CREATING NEURAL NETWORK DATASET OF EXTRACTED FEATURES FROM IMAGES CAPTURED BY MULTIMEDIA SECURITY DEVICES. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |