CN109284700B - 图像中多个人脸检测的方法、存储介质、设备及系统 - Google Patents
图像中多个人脸检测的方法、存储介质、设备及系统 Download PDFInfo
- Publication number
- CN109284700B CN109284700B CN201811033273.0A CN201811033273A CN109284700B CN 109284700 B CN109284700 B CN 109284700B CN 201811033273 A CN201811033273 A CN 201811033273A CN 109284700 B CN109284700 B CN 109284700B
- Authority
- CN
- China
- Prior art keywords
- image
- face
- neural network
- face area
- faces
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000003062 neural network model Methods 0.000 claims abstract description 136
- 238000012549 training Methods 0.000 claims abstract description 45
- 238000001514 detection method Methods 0.000 claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 11
- 230000004913 activation Effects 0.000 claims description 10
- 238000012217 deletion Methods 0.000 claims description 10
- 230000037430 deletion Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 4
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种图像中多个人脸检测的方法、存储介质、设备及系统，涉及图像处理技术领域，该方法包括：获取N张不同尺度且包含人脸的图像；对每张图像均创建图像金字塔，然后将相同分辨率的图片划分为一组；将同一组的图像作为同一个神经网络模型的训练图像，对神经网络模型进行训练，得到多个训练完成的神经网络模型；将待检测图像输入多个训练完成的神经网络模型中，进行人脸检测识别，得到每个人脸的人脸区域，并将所有神经网络模型得到的人脸区域进行得分排序；选取得分最高的人脸区域，依次与其它的人脸区域进行比对。本发明使用多个训练完成的神经网络模型对待检测图像中的人脸进行检测，准确而快速的检测到图像中的人脸。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种图像中多个人脸检测的方法、存储介质、设备及系统。
背景技术
当今，人脸检测在图像处理领域较为热门，越来越多的图像处理技术人员投身于人脸检测领域。
但当前在人脸检测的研究中，对于包含多个人脸的图像，进行图像中人脸的识别依旧是人脸检测研究的一个难点，由于图像中多个人脸的大小不同，同时受图像分辨率、环境等因素的影响，很难对图像中的多个人脸进行有效检测。
发明内容
针对现有技术中存在的缺陷，本发明的目的在于提供一种图像中多个人脸检测的方法，使用多个训练完成的神经网络模型对待检测图像中的人脸进行检测，准确而快速的检测到图像中的人脸。
为达到以上目的，本发明采取的技术方案是：
获取N张不同尺度且包含人脸的图像，每张图像中均包含多张人脸，所述N为大于1的正整数；
对每张图像均创建图像金字塔，对于每张图像均得到多张不同分辨率的图片，在得到的所有图片中，将相同分辨率的图片划分为一组；
提供多个待训练神经网络模型，将同一组的图像作为同一个待训练神经网络模型的训练图像，对待训练神经网络模型进行训练，得到多个训练完成的神经网络模型；
将待检测图像输入多个训练完成的神经网络模型中，进行人脸检测识别，得到每个人脸的人脸区域，并将所有神经网络模型得到的人脸区域进行得分排序；
选取得分最高的人脸区域，依次与其它的人脸区域进行比对，若当前人脸区域和得分最高人脸区域的重叠面积大于设定值，则将当前的人脸区域删除，选取得分第二且未删除的人脸区域，再依次与剩余的人脸区域进行比对，以此类推，直至当再次根据得分排名选取人脸区域，可选的人脸区域仅为一个或没有时，则所有剩下的人脸区域中含有的人脸即为待检测图像中的人脸。
在上述技术方案的基础上，所述对图像创建图像金字塔，得到多张不同分辨率的图片，具体为：所述对每张图像均创建图像金字塔，具体为：对每张图像创建图像金字塔，进行向上差值采样，且采样的倍数为2倍，每张图像均得到多张不同分辨率的图片。
在上述技术方案的基础上，所述神经网络模型为多个，且神经网络模型的个数与图片划分的组数相同。
在上述技术方案的基础上，所述将待检测图像输入多个训练完成的神经网络模型中，进行人脸检测识别，得到每个人脸的人脸区域，具体为：将待检测图像依次输入至每个训练完成的神经网络模型中，每个训练完成的神经网络模型均对输入的待检测图像进行人脸检测识别，并得到待检测图像中的人脸区域。
在上述技术方案的基础上，当可选的人脸区域仅为一个或没有时，此时所有剩下的人脸区域，人脸区域中含有的人脸即为待检测图像中的人脸，从而检测得到待检测图像中的人脸，并用方框对待检测图像中的人脸进行标记。
在上述技术方案的基础上，所述神经网络模型包括依次相连的输入层、残差单元、池化层和全连接层。
在上述技术方案的基础上，每个神经网络模型中均包括多个残差单元，每个残差单元间依次相连，所述残差单元包括依次相连的第一卷积层、第一归一化层、第一激活函数层、第二卷积层、第二归一化层、第二激活函数层，其中第一卷积层前和第二激活函数层前还使用跳层单向连接。
本发明还提供一种存储介质，该存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取N张不同尺度且包含人脸的图像，每张图像中均包含多张人脸，所述N为大于1的正整数；
对每张图像均创建图像金字塔，对于每张图像均得到多张不同分辨率的图片，在得到的所有图片中，将相同分辨率的图片划分为一组；
提供多个待训练神经网络模型，将同一组的图像作为同一个待训练神经网络模型的训练图像，对待训练神经网络模型进行训练，得到多个训练完成的神经网络模型；
将待检测图像输入多个训练完成的神经网络模型中，进行人脸检测识别，得到每个人脸的人脸区域，并将所有神经网络模型得到的人脸区域进行得分排序；
选取得分最高的人脸区域，依次与其它的人脸区域进行比对，若当前人脸区域和得分最高人脸区域的重叠面积大于设定值，则将当前的人脸区域删除，选取得分第二且未删除的人脸区域，再依次与剩余的人脸区域进行比对，以此类推，直至当再次根据得分排名选取人脸区域，可选的人脸区域仅为一个或没有时，则所有剩下的人脸区域中含有的人脸即为待检测图像中的人脸。
本发明还提供一种电子设备，所述电子设备包括：
获取单元，其用于获取N张不同尺度且包含人脸的图像，每张图像中均包含多张人脸，所述N为大于1的正整数；
创建单元，其用于对每张图像均创建图像金字塔，对于每张图像均得到多张不同分辨率的图片，在得到的所有图片中，将相同分辨率的图片划分为一组；
训练单元，其用于针对提供的多个待训练神经网络模型，将同一组的图像作为同一个待训练神经网络模型的训练图像，对待训练神经网络模型进行训练，得到多个训练完成的神经网络模型；
输入单元，其用于将待检测图像输入多个训练完成的神经网络模型中，进行人脸检测识别，得到每个人脸的人脸区域，并将所有神经网络模型得到的人脸区域进行得分排序；
检测执行单元，其用于选取得分最高的人脸区域，依次与其它的人脸区域进行比对，若当前人脸区域和得分最高人脸区域的重叠面积大于设定值，则将当前的人脸区域删除，选取得分第二且未删除的人脸区域，再依次与剩余的人脸区域进行比对，以此类推，直至当再次根据得分排名选取人脸区域，可选的人脸区域仅为一个或没有时，则所有剩下的人脸区域中含有的人脸即为待检测图像中的人脸。
本发明还提供一种图像中多个人脸检测的系统，包括：
获取模块，其用于获取N张不同尺度且包含人脸的图像，每张图像中均包含多张人脸，所述N为大于1的正整数；
创建模块，其用于对每张图像均创建图像金字塔，对于每张图像均得到多张不同分辨率的图片，在得到的所有图片中，将相同分辨率的图片划分为一组；
训练模块，其用于针对提供的多个待训练神经网络模型，将同一组的图像作为同一个待训练神经网络模型的训练图像，对待训练神经网络模型进行训练，得到多个训练完成的神经网络模型；
输入模块，其用于将待检测图像输入多个训练完成的神经网络模型中，进行人脸检测识别，得到每个人脸的人脸区域，并将所有神经网络模型得到的人脸区域进行得分排序；
检测执行模块，其用于选取得分最高的人脸区域，依次与其它的人脸区域进行比对，若当前人脸区域和得分最高人脸区域的重叠面积大于设定值，则将当前的人脸区域删除，选取得分第二且未删除的人脸区域，再依次与剩余的人脸区域进行比对，以此类推，直至当再次根据得分排名选取人脸区域，可选的人脸区域仅为一个或没有时，则所有剩下的人脸区域中含有的人脸即为待检测图像中的人脸。
与现有技术相比，本发明的优点在于：通过对训练用图像创建图像金字塔，得到多张不同分辨率的图片，然后使用同一分辨率的图片对同一神经网络模型进行训练，训练完成后得到精准识别不同分辨率图片的多个神经网络模型，针对待检测图像中含有的不同分辨率的人脸，使用多个训练完成的神经网络模型对待检测图像中的人脸进行检测，准确而快速的检测到图像中的人脸。
附图说明
图1为本发明实施例中一种图像中多个人脸检测的方法的流程图；
图2为本发明实施例中一种电子设备的结构示意图。
具体实施方式
以下结合附图及实施例对本发明作进一步详细说明。本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
参见图1所示，本发明实施例提供一种图像中多个人脸检测的方法，用于对待检测图像中含有的多个人脸进行检测，通过使用训练后的多个神经网络模型混合对待检测图像中的人脸进行检测，准确而快速的检测到图像中的所有人脸。本发明实施例的图像中多个人脸检测的方法具体包括以下步骤：
S1：获取N张不同尺度且包含人脸的图像，每张图像中均包含多张人脸，N为大于1的正整数。相当于获取训练用的图像，以便于对后续的多个神经网络模型进行训练，该图像中均含有多个人脸，且每张图片的尺度不同。
S2：对每张图像均创建图像金字塔，对于每张图像均得到多张不同分辨率的图片，在得到的所有图片中，将相同分辨率的图片划分为一组。对图像创建图像金字塔的目的就是对图像进行缩放，不同层包含了图像不同尺度的特征，即不同分辨率下的图像。本发明实施例中，对每张图像均创建图像金字塔，具体为：对每张图像创建图像金字塔，进行向上差值采样，且采样的倍数为2倍，每张图像均得到多张不同分辨率的图片，每一个图像经过创建图像金字塔后，均得到多张不同分辨率的图片，每个图像均创建图像金字塔，总共可以得到多张图片，然后将相同分辨率的图片划分为一组。
S3：提供多个待训练神经网络模型，将同一组的图像作为同一个待训练神经网络模型的训练图像，每一组图像对应一个待训练神经网络模型，对待训练神经网络模型进行训练，得到多个训练完成的神经网络模型。由于每一组图像的分辨率是相同的，将同一组的图像作为同一个待训练神经网络模型的训练图像，从而使得该组对应的待训练神经网络模型具有有效识别特定分辨率下的图像中人脸的能力。神经网络模型为多个，且神经网络模型的个数与图片划分的组数相同。
S4：将待检测图像输入多个训练完成的神经网络模型中，进行人脸检测识别，得到每个人脸的人脸区域，并将所有神经网络模型得到的人脸区域进行得分排序。将待检测图像输入多个训练完成的神经网络模型中，进行人脸检测识别，得到每个人脸的人脸区域，具体为：将待检测图像依次输入至每个训练完成的神经网络模型中，每个训练完成的神经网络模型均对输入的待检测图像进行人脸检测识别，并得到待检测图像中的人脸区域。
由于每个训练完成的神经网络模型均具有识别图像中人脸的能力，将待检测图像输入多个训练完成的神经网络模型后，每个神经网络模型均能识别出待检测图像中的人脸，因此可以检测得到多个人脸，且每个人脸均存在检测重复的情况。待检测图像中，人脸有大小之分，故待检测图像中人脸的分辨率是不尽相同的，而训练完成的神经网络模型是通过不同分辨率的图片进行训练的，故不同神经网络模型针对不同分辨率图片或图像的识别精度是不同的，故对于待检测图像中的某一个人脸，与该人脸分辨率相匹配的神经网络模型所识别出的结果是最准确的，即得分最高，其它神经网络模型对于该人脸的识别结果可能不太准确，故需要将其它神经网络模型对于该人脸的识别结果进行删除，仅保存识别最准确的那一个结果，可以理解为，每个训练完成神经网络模型能够针对一种分辨率下的图片或图像，实现人脸的精确识别。
S4：选取得分最高的人脸区域，依次与其它的人脸区域进行比对，若当前人脸区域和得分最高人脸区域的重叠面积大于设定值，则将当前的人脸区域删除，选取得分第二且未删除的人脸区域，再依次与剩余的人脸区域进行比对，以此类推，直至当再次根据得分排名选取人脸区域，可选的人脸区域仅为一个或没有时，则所有剩下的人脸区域中含有的人脸即为待检测图像中的人脸。即采用非极大值抑制的方法，对于待检测图像中的单个人脸，针对不同训练完成后的神经网络模型的多个检测结果，仅保留结果最准确，得分最高的那个结果，其它的删除。
例如，训练完成神经网络模型为3个，待检测图像中的人脸为2个，待检测图像经2个人脸经神经网络模型识别后，每个人脸均相应得到3个人脸区域，总共得到6个人脸区域，6个人脸区域中有3个人脸区域的画面有很大部分相同，另3个人脸区域的画面有很大部分相同，因无法保证3个神经网络模型的识别精度相同，故对于得到的6个人脸区域识别结果，结果中，有的人脸区域可能正好为人脸部分，不包含非人脸区域的部分，而有的人脸区域中除了包含人脸部分外，可能还包含有非人脸画面部分，故对人脸区域识别结果进行打分，仅包含人脸部分的人脸区域得分最高。因为同一个人脸，其对应的人脸区域只能为一个，故接下来需进行去重处理，假如6个人脸区域分别为A、B、C、D、E、F，得分排序为A＞C＞D＞E＞B＞F，A、C和E含有同一个人脸，B、D和F含有同一个人脸，故最先选取A，依次与其它比对，由于C和E含有和A相同的人脸，故C和A、E和A的相同重叠面积大于设定值，所以删掉C和E，与A含有相同人脸的人脸区域被全部删除，保证了A所含人脸的单一性，不会再有其它人脸区域含有和A相同的人脸，由于C被删除，此时剩下的人脸区域中，D得分最高，故取出D，与剩下的人脸区域比对，B和F含有和D相同的人脸，故B和、F和D的相同重叠面积大于设定值，所以删掉B和D，与D含有相同人脸的人脸区域被全部删除，此时所剩下的人脸区域中，还未被选择的人脸区域已没有，则所剩下的A和D中含有的人脸即为待检测图像中的人脸。存在一种特殊情况，若两个人脸区域得分相同，在进行去重操作时，可以等效为，在这二个人脸区域之间，默认其中一个的得分比另一个高，在最后的结果中，还是可以保证，同一个人脸的人脸区域仅留有一个，且待检测图像中每个人脸均对应留有人脸区域。
人脸区域为矩形，且矩形的长度等于当前人脸区域中人脸的长度，矩形的宽度等于当前人脸区域中人脸的宽度。对于待检测图像中的某个人脸，最准确的检测结果，检测到的人脸区域为矩形，且矩形的长度正好等于当前人脸区域中人脸的长度，矩形的宽度正好等于当前人脸区域中人脸的宽度，而其它较为不准确的检测结果，所检测到的人脸区域的宽度可能大于人脸的宽度。
当可选的人脸区域仅为一个或没有时，此时所有剩下的人脸区域，人脸区域中含有的人脸即为待检测图像中的人脸，从而检测得到待检测图像中的人脸，并用方框对待检测图像中的人脸进行标记。
对于本发明实施例中神经网络模型的结果，包括依次相连的输入层、残差单元、池化层和全连接层，神经网络模型的批量大小batch size(批尺寸)为64。每个神经网络模型中均包括多个残差单元，每个残差单元间依次相连，所述残差单元包括依次相连的第一卷积层、第一归一化层、第一激活函数层、第二卷积层、第二归一化层、第二激活函数层，其中第一卷积层前和第二激活函数层前还使用跳层单向连接，即每个残差单元均包括2个卷积层、2个归一化层和2个激活函数层。具体的，残差单元总共有16个，第16个残差单元连接池化层，残差单元中每个卷积层的卷积核大小均为3*3，第1至3个残差单元的输出通道均为64，第4至7个残差单元的输出通道均为128，第8至13个残差单元的输出通道均为256，第14至16个残差单元的输出通道均为512。由于有多个分辨率的图像分别训练多个神经网络模型，最后全连接层输出的图像与各个神经网络模型输入时图像的大小一致。
本发明实施例的图像中多个人脸检测的方法，通过对训练用图像创建图像金字塔，得到多张不同分辨率的图片，然后使用同一分辨率的图片对同一神经网络模型进行训练，训练完成后得到精准识别不同分辨率图片的多个神经网络模型，针对待检测图像中含有的不同分辨率的人脸，使用多个训练完成的神经网络模型对待检测图像中的人脸进行检测，准确而快速的检测到图像中的人脸。
本发明实施例还提供一种存储介质，该存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取N张不同尺度且包含人脸的图像，每张图像中均包含多张人脸，所述N为大于1的正整数；
对每张图像均创建图像金字塔，对于每张图像均得到多张不同分辨率的图片，在得到的所有图片中，将相同分辨率的图片划分为一组；
提供多个待训练神经网络模型，将同一组的图像作为同一个待训练神经网络模型的训练图像，对待训练神经网络模型进行训练，得到多个训练完成的神经网络模型；
将待检测图像输入多个训练完成的神经网络模型中，进行人脸检测识别，得到每个人脸的人脸区域，并将所有神经网络模型得到的人脸区域进行得分排序；
选取得分最高的人脸区域，依次与其它的人脸区域进行比对，若当前人脸区域和得分最高人脸区域的重叠面积大于设定值，则将当前的人脸区域删除，选取得分第二且未删除的人脸区域，再依次与剩余的人脸区域进行比对，以此类推，直至当再次根据得分排名选取人脸区域，可选的人脸区域仅为一个或没有时，则所有剩下的人脸区域中含有的人脸即为待检测图像中的人脸。
参见图2所示，本发明实施例还提供一种电子设备，所述电子设备包括：
获取单元，其用于获取N张不同尺度且包含人脸的图像，每张图像中均包含多张人脸，所述N为大于1的正整数；
创建单元，其用于对每张图像均创建图像金字塔，对于每张图像均得到多张不同分辨率的图片，在得到的所有图片中，将相同分辨率的图片划分为一组；
训练单元，其用于针对提供的多个待训练神经网络模型，将同一组的图像作为同一个待训练神经网络模型的训练图像，对待训练神经网络模型进行训练，得到多个训练完成的神经网络模型；
输入单元，其用于将待检测图像输入多个训练完成的神经网络模型中，进行人脸检测识别，得到每个人脸的人脸区域，并将所有神经网络模型得到的人脸区域进行得分排序；
检测执行单元，其用于选取得分最高的人脸区域，依次与其它的人脸区域进行比对，若当前人脸区域和得分最高人脸区域的重叠面积大于设定值，则将当前的人脸区域删除，选取得分第二且未删除的人脸区域，再依次与剩余的人脸区域进行比对，以此类推，直至当再次根据得分排名选取人脸区域，可选的人脸区域仅为一个或没有时，则所有剩下的人脸区域中含有的人脸即为待检测图像中的人脸。
本发明实施例还提供一种图像中多个人脸检测的系统，包括获取模块、创建模块、训练模块、输入模块和检测执行模块。
获取模块，其用于获取N张不同尺度且包含人脸的图像，每张图像中均包含多张人脸，所述N为大于1的正整数；
创建模块，其用于对每张图像均创建图像金字塔，对于每张图像均得到多张不同分辨率的图片，在得到的所有图片中，将相同分辨率的图片划分为一组；
训练模块，其用于针对提供的多个待训练神经网络模型，将同一组的图像作为同一个待训练神经网络模型的训练图像，对待训练神经网络模型进行训练，得到多个训练完成的神经网络模型；
输入模块用于将待检测图像输入多个训练完成的神经网络模型中，进行人脸检测识别，得到每个人脸的人脸区域，并将所有神经网络模型得到的人脸区域进行得分排序；
检测执行模块用于选取得分最高的人脸区域，依次与其它的人脸区域进行比对，若当前人脸区域和得分最高人脸区域的重叠面积大于设定值，则将当前的人脸区域删除，选取得分第二且未删除的人脸区域，再依次与剩余的人脸区域进行比对，以此类推，直至当再次根据得分排名选取人脸区域，可选的人脸区域仅为一个或没有时，则所有剩下的人脸区域中含有的人脸即为待检测图像中的人脸。
本发明实施例的图像中多个人脸检测的系统，通过对训练用图像创建图像金字塔，得到多张不同分辨率的图片，然后使用同一分辨率的图片对同一神经网络模型进行训练，训练完成后得到精准识别不同分辨率图片的多个神经网络模型，针对待检测图像中含有的不同分辨率的人脸，使用多个训练完成的神经网络模型对待检测图像中的人脸进行检测，准确而快速的检测到图像中的人脸。
本发明不局限于上述实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围之内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
Claims (9)
1.一种图像中多个人脸检测的方法，用于对待检测图像中含有的多个人脸进行检测，其特征在于，包括以下步骤：
获取N张不同尺度且包含人脸的图像，每张图像中均包含多张人脸，所述N为大于1的正整数；
对每张图像均创建图像金字塔，对于每张图像均得到多张不同分辨率的图片，在得到的所有图片中，将相同分辨率的图片划分为一组；
提供多个待训练神经网络模型，将同一组的图像作为同一个待训练神经网络模型的训练图像，对待训练神经网络模型进行训练，得到多个训练完成的神经网络模型，且训练完成的神经网络模型具有识别特定分辨率下的图像中人脸的能力；
将待检测图像输入多个训练完成的神经网络模型中，进行人脸检测识别，得到每个人脸的人脸区域，并将所有神经网络模型得到的人脸区域进行得分排序；
选取得分最高的人脸区域，依次与其它的人脸区域进行比对，若当前人脸区域和得分最高人脸区域的重叠面积大于设定值，则将当前的人脸区域删除，选取得分第二且未删除的人脸区域，再依次与剩余的人脸区域进行比对，以此类推，直至当再次根据得分排名选取人脸区域，可选的人脸区域仅为一个或没有时，则所有剩下的人脸区域中含有的人脸即为待检测图像中的人脸；
其中，所述神经网络模型为多个，且神经网络模型的个数与图片划分的组数相同。
2.如权利要求1所述的一种图像中多个人脸检测的方法，其特征在于：所述对每张图像均创建图像金字塔，具体为：对每张图像创建图像金字塔，进行向上差值采样，且采样的倍数为2倍，每张图像均得到多张不同分辨率的图片。
3.如权利要求1所述的一种图像中多个人脸检测的方法，其特征在于：所述将待检测图像输入多个训练完成的神经网络模型中，进行人脸检测识别，得到每个人脸的人脸区域，具体为：将待检测图像依次输入至每个训练完成的神经网络模型中，每个训练完成的神经网络模型均对输入的待检测图像进行人脸检测识别，并得到待检测图像中的人脸区域。
4.如权利要求1所述的一种图像中多个人脸检测的方法，其特征在于：当可选的人脸区域仅为一个或没有时，此时所有剩下的人脸区域，人脸区域中含有的人脸即为待检测图像中的人脸，从而检测得到待检测图像中的人脸，并用方框对待检测图像中的人脸进行标记。
5.如权利要求1所述的一种图像中多个人脸检测的方法，其特征在于：所述神经网络模型包括依次相连的输入层、残差单元、池化层和全连接层。
6.如权利要求5所述的一种图像中多个人脸检测的方法，其特征在于：每个神经网络模型中均包括多个残差单元，每个残差单元间依次相连，所述残差单元包括依次相连的第一卷积层、第一归一化层、第一激活函数层、第二卷积层、第二归一化层、第二激活函数层，其中第一卷积层前和第二激活函数层前还使用跳层单向连接。
7.一种存储介质，该存储介质上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现以下步骤：
获取N张不同尺度且包含人脸的图像，每张图像中均包含多张人脸，所述N为大于1的正整数；
对每张图像均创建图像金字塔，对于每张图像均得到多张不同分辨率的图片，在得到的所有图片中，将相同分辨率的图片划分为一组；
提供多个待训练神经网络模型，将同一组的图像作为同一个待训练神经网络模型的训练图像，对待训练神经网络模型进行训练，得到多个训练完成的神经网络模型，且训练完成的神经网络模型具有识别特定分辨率下的图像中人脸的能力；
将待检测图像输入多个训练完成的神经网络模型中，进行人脸检测识别，得到每个人脸的人脸区域，并将所有神经网络模型得到的人脸区域进行得分排序；
选取得分最高的人脸区域，依次与其它的人脸区域进行比对，若当前人脸区域和得分最高人脸区域的重叠面积大于设定值，则将当前的人脸区域删除，选取得分第二且未删除的人脸区域，再依次与剩余的人脸区域进行比对，以此类推，直至当再次根据得分排名选取人脸区域，可选的人脸区域仅为一个或没有时，则所有剩下的人脸区域中含有的人脸即为待检测图像中的人脸；
其中，所述神经网络模型为多个，且神经网络模型的个数与图片划分的组数相同。
8.一种电子设备，其特征在于，所述电子设备包括：
获取单元，其用于获取N张不同尺度且包含人脸的图像，每张图像中均包含多张人脸，所述N为大于1的正整数；
创建单元，其用于对每张图像均创建图像金字塔，对于每张图像均得到多张不同分辨率的图片，在得到的所有图片中，将相同分辨率的图片划分为一组；
训练单元，其用于针对提供的多个待训练神经网络模型，将同一组的图像作为同一个待训练神经网络模型的训练图像，对待训练神经网络模型进行训练，得到多个训练完成的神经网络模型，且训练完成的神经网络模型具有识别特定分辨率下的图像中人脸的能力；
输入单元，其用于将待检测图像输入多个训练完成的神经网络模型中，进行人脸检测识别，得到每个人脸的人脸区域，并将所有神经网络模型得到的人脸区域进行得分排序；
检测执行单元，其用于选取得分最高的人脸区域，依次与其它的人脸区域进行比对，若当前人脸区域和得分最高人脸区域的重叠面积大于设定值，则将当前的人脸区域删除，选取得分第二且未删除的人脸区域，再依次与剩余的人脸区域进行比对，以此类推，直至当再次根据得分排名选取人脸区域，可选的人脸区域仅为一个或没有时，则所有剩下的人脸区域中含有的人脸即为待检测图像中的人脸；
其中，所述神经网络模型为多个，且神经网络模型的个数与图片划分的组数相同。
9.一种图像中多个人脸检测的系统，其特征在于，包括：
获取模块，其用于获取N张不同尺度且包含人脸的图像，每张图像中均包含多张人脸，所述N为大于1的正整数；
创建模块，其用于对每张图像均创建图像金字塔，对于每张图像均得到多张不同分辨率的图片，在得到的所有图片中，将相同分辨率的图片划分为一组；
训练模块，其用于针对提供的多个待训练神经网络模型，将同一组的图像作为同一个待训练神经网络模型的训练图像，对待训练神经网络模型进行训练，得到多个训练完成的神经网络模型，且训练完成的神经网络模型具有识别特定分辨率下的图像中人脸的能力；
输入模块，其用于将待检测图像输入多个训练完成的神经网络模型中，进行人脸检测识别，得到每个人脸的人脸区域，并将所有神经网络模型得到的人脸区域进行得分排序；
检测执行模块，其用于选取得分最高的人脸区域，依次与其它的人脸区域进行比对，若当前人脸区域和得分最高人脸区域的重叠面积大于设定值，则将当前的人脸区域删除，选取得分第二且未删除的人脸区域，再依次与剩余的人脸区域进行比对，以此类推，直至当再次根据得分排名选取人脸区域，可选的人脸区域仅为一个或没有时，则所有剩下的人脸区域中含有的人脸即为待检测图像中的人脸；
其中，所述神经网络模型为多个，且神经网络模型的个数与图片划分的组数相同。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811033273.0A CN109284700B (zh) | 2018-09-05 | 2018-09-05 | 图像中多个人脸检测的方法、存储介质、设备及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811033273.0A CN109284700B (zh) | 2018-09-05 | 2018-09-05 | 图像中多个人脸检测的方法、存储介质、设备及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109284700A CN109284700A (zh) | 2019-01-29 |
| CN109284700B true CN109284700B (zh) | 2021-03-16 |
Family
ID=65183515
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811033273.0A Active CN109284700B (zh) | 2018-09-05 | 2018-09-05 | 图像中多个人脸检测的方法、存储介质、设备及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109284700B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112149517A (zh) * | 2020-08-31 | 2020-12-29 | 三盟科技股份有限公司 | 一种人脸考勤方法、系统、计算机设备及存储介质 |
| CN112149756A (zh) * | 2020-10-14 | 2020-12-29 | 深圳前海微众银行股份有限公司 | 模型训练方法、图像识别方法、装置、设备及存储介质 |
| CN112395960A (zh) * | 2020-10-30 | 2021-02-23 | 四川天翼网络服务有限公司 | 一种基于高斯金字塔的图像最大人脸识别方法及系统 |
| CN117372722B (zh) * | 2023-12-06 | 2024-03-22 | 广州炫视智能科技有限公司 | 一种目标识别方法及识别系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107247949A (zh) * | 2017-08-02 | 2017-10-13 | 北京智慧眼科技股份有限公司 | 基于深度学习的人脸识别方法、装置和电子设备 |
| CN107403141A (zh) * | 2017-07-05 | 2017-11-28 | 中国科学院自动化研究所 | 人脸检测方法及装置、计算机可读存储介质、设备 |
| CN108304820A (zh) * | 2018-02-12 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 一种人脸检测方法、装置及终端设备 |
| CN108446666A (zh) * | 2018-04-04 | 2018-08-24 | 平安科技（深圳）有限公司 | 双通道神经网络模型训练及人脸比对方法、终端及介质 |
-
2018
- 2018-09-05 CN CN201811033273.0A patent/CN109284700B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107403141A (zh) * | 2017-07-05 | 2017-11-28 | 中国科学院自动化研究所 | 人脸检测方法及装置、计算机可读存储介质、设备 |
| CN107247949A (zh) * | 2017-08-02 | 2017-10-13 | 北京智慧眼科技股份有限公司 | 基于深度学习的人脸识别方法、装置和电子设备 |
| CN108304820A (zh) * | 2018-02-12 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 一种人脸检测方法、装置及终端设备 |
| CN108446666A (zh) * | 2018-04-04 | 2018-08-24 | 平安科技（深圳）有限公司 | 双通道神经网络模型训练及人脸比对方法、终端及介质 |
Non-Patent Citations (2)
| Title |
|---|
| An On-device Deep Neural Network for Face Detection;计算机视觉机器学习小组;《Machine Learning Journal》;20171130;第1卷(第7期);正文第1-9页 * |
| Joint Face Detection and Alignment using Multitask Cascaded Convolutional Networks;Kaipeng Zhang et.al.;《IEEE SIGNAL PROCESSING LETTERS》;20161031;第23卷(第10期);第1499-1503页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109284700A (zh) | 2019-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109284700B (zh) | 图像中多个人脸检测的方法、存储介质、设备及系统 | |
| CN106934376B (zh) | 一种图像识别方法、装置及移动终端 | |
| CN110222791B (zh) | 样本标注信息的审核方法及装置 | |
| CN109800320B (zh) | 一种图像处理方法、设备及计算机可读存储介质 | |
| CN105574550A (zh) | 一种车辆识别方法及装置 | |
| CN108304328B (zh) | 一种众包测试报告的文本描述生成方法、系统及装置 | |
| CN110135505B (zh) | 图像分类方法、装置、计算机设备及计算机可读存储介质 | |
| Lepsøy et al. | Statistical modelling of outliers for fast visual search | |
| CN111061898A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| US10275682B2 (en) | Information processing apparatus, information processing method, and storage medium | |
| CN110490237B (zh) | 数据处理方法、装置、存储介质及电子设备 | |
| CN109726678B (zh) | 一种车牌识别的方法及相关装置 | |
| CN111401238B (zh) | 一种视频中人物特写片段的检测方法及装置 | |
| CN109977824B (zh) | 物品取放识别方法、装置及设备 | |
| CN109815823B (zh) | 数据处理方法及相关产品 | |
| CN110059212A (zh) | 图像检索方法、装置、设备及计算机可读存储介质 | |
| CN115115825B (zh) | 图像中的对象检测方法、装置、计算机设备和存储介质 | |
| CN111178367B (zh) | 适应多物件尺寸的特征决定装置及方法 | |
| CN110991357A (zh) | 一种答案匹配方法、装置和电子设备 | |
| CN114639152A (zh) | 基于人脸识别的多模态语音交互方法、装置、设备及介质 | |
| CN114168768A (zh) | 图像检索方法及相关设备 | |
| CN114140663A (zh) | 一种基于多尺度注意力学习网络的害虫识别方法及系统 | |
| CN111222558B (zh) | 图像处理方法及存储介质 | |
| CN111104965A (zh) | 车辆目标识别的方法及装置 | |
| US20220122341A1 (en) | Target detection method and apparatus, electronic device, and computer storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240206 Address after: Room 101-1, Building 2, No. 95 Daguan Middle Road, Tianhe District, Guangzhou City, Guangdong Province, 510000 Patentee after: Guangzhou Zhongtian Technology Consulting Co.,Ltd. Country or region after: China Address before: 430000 East Lake Development Zone, Wuhan City, Hubei Province, No. 1 Software Park East Road 4.1 Phase B1 Building 11 Building Patentee before: WUHAN DOUYU NETWORK TECHNOLOGY Co.,Ltd. Country or region before: China |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240328 Address after: 710000, 4th Floor, Building B, Jinhui Global Center, Jinhuatuo Second Road, Qujiang New District, Xi'an City, Shaanxi Province 20404-06 Patentee after: Shaanxi Canyu Songyang Network Technology Co.,Ltd. Country or region after: China Address before: Room 101-1, Building 2, No. 95 Daguan Middle Road, Tianhe District, Guangzhou City, Guangdong Province, 510000 Patentee before: Guangzhou Zhongtian Technology Consulting Co.,Ltd. Country or region before: China |