CN111881846B - 图像处理方法和相关装置、设备、存储介质 - Google Patents
图像处理方法和相关装置、设备、存储介质 Download PDFInfo
- Publication number
- CN111881846B CN111881846B CN202010752546.8A CN202010752546A CN111881846B CN 111881846 B CN111881846 B CN 111881846B CN 202010752546 A CN202010752546 A CN 202010752546A CN 111881846 B CN111881846 B CN 111881846B
- Authority
- CN
- China
- Prior art keywords
- initial image
- area
- target
- target object
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 46
- 238000004590 computer program Methods 0.000 title description 2
- 238000001514 detection method Methods 0.000 claims abstract description 213
- 238000007781 pre-processing Methods 0.000 claims abstract description 86
- 238000000034 method Methods 0.000 claims description 62
- 230000008569 process Effects 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 19
- 238000001574 biopsy Methods 0.000 description 10
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000001727 in vivo Methods 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像处理方法和相关装置、设备、存储介质,图像处理方法包括:获取包含至少一个目标对象的初始图像;根据对初始图像识别得到的目标对象,采用相应预处理方式对初始图像进行预处理,以得到至少一张待检测图像;其中,至少一张待检测图像用于进行活体检测以得到初始图像的活体检测结果。上述方案,能够提高后续活体检测的准确性。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种图像处理方法和相关装置、设备、存储介质。
背景技术
人脸识别技术作为一种身份认证和识别技术,由于其具有方便易用、用户友好性、非接触性等特征,得到了广泛的应用,由于人脸图片易于获取的特点,人脸识别系统容易受到打印的图片或视频等违章方式的攻击,产生了安全隐患。因此,活体检测技术应运而生。在活体检测中,通常情况下,是直接对摄像头采集到的未经任何处理的图片进行活体检测。
发明内容
本申请至少提供一种图像处理方法和相关装置、设备、存储介质。
本申请第一方面提供了一种图像处理方法,包括:获取包含至少一个目标对象的初始图像;根据对初始图像识别得到的目标对象,采用相应预处理方式对初始图像进行预处理,以得到至少一张待检测图像;其中,至少一张待检测图像用于进行活体检测以得到初始图像的活体检测结果。
因此,通过在活体检测之前,根据对初始图识别的得到目标对象选择对应的预处理方式对初始图像进行预处理,得到用于进行活体检测的待检测图像,故能够针对目标对象执行相应预处理,有利于提高后续活体检测的准确性。
其中,预处理方式包括以下至少一种:对初始图像中的目标对象进行预设增强处理、对初始图像中的目标对象进行分割。
因此,通过在活体检测之前,对初始图像进行预处理,即对图像中的目标对象进行预设增强处理和/或对初始图像中的目标对象进行分割能够在一定程度上减少初始图像中其他部分对目标对象造成的噪音影响,从而有利于提高后续活体检测的准确性。
其中,根据对初始图像识别得到的目标对象,采用相应预处理方式对初始图像进行预处理,以得到至少一张待检测图像,包括:确定对初始图像识别得到的目标对象数量;采用与目标对象数量匹配的预处理方式,对初始图像进行预处理,以得到至少一张待检测图像。
因此,通过确定初始图像中的目标对象数量来确定预处理的方式,使得能够适应更多的初始图像输入场景,使得在一定程度上提高了后续活体检测模型输入的鲁棒性。
其中,采用与目标对象数量匹配的预处理方式,对初始图像进行预处理,以得到至少一张待检测图像,包括:若目标对象数量小于或等于第一预设数量,则对初始图像中的目标对象进行预设增强处理,以得到一张待检测图像。
因此,初始图像中识别得到的目标对象小于或等于第一预设数量,则说明目标对象数量较少,其他目标对象之间彼此的影响较少,则可以对目标对象进行预设增强处理,提高目标对象在初始图像中的影响度,从而在一定程度上提高后续活体检测的准确度。
其中,采用与目标对象数量匹配的预处理方式,对初始图像进行预处理,以得到至少一张待检测图像,包括:若目标对象的数量大于第二预设数量,则对初始图像中的目标对象进行分割,以得到多张待检测图像。
因此,初始图像中的目标对象大于第二预设数量时,则说明初始图像中的目标对象较多,导致目标对象之间的影响较大,则需要对初始图像中的目标对象进行分割成多张待检测图像,从而减少目标对象之间的噪音,从而在一定程度上提高了后续活体检测的准确度。
其中,对初始图像中的目标对象进行预设增强处理,包括以下至少一种:调整初始图像中目标对象的位置;确定初始图像中包含目标对象的第一保留区域,删除初始图像中除第一保留区域以外的区域;对初始图像中目标对象对应的目标区域进行像素增强;对除目标区域以外的区域进行像素增强的逆处理。
因此,当目标对象位于初始图像中的角落或者目标对象面积过小或者目标对象在初始图像中不易识别时,通过上述方式中的至少一种,不论是将目标图像移动至初始图像的预设位置还是裁剪掉除包含目标对象的保留区域或者对初始图像中的目标对象进行像素增强,还是降低除目标区域之外的其他区域的像素,都能够提升目标对象在初始图像中的可识别度,并且通过上述方式能够对初始图像中的目标对象进行统一的调整,增强了对各种场景下的目标对象进行活体检测的鲁棒性。
其中,调整初始图像中目标对象的位置,包括:确定初始图像中目标对象对应的目标区域;将目标区域移动至初始图像的预设位置上,并对初始图像中除移动后的目标区域以外的背景区域进行填充。
因此,通过将目标区域移动至初始图像的预设位置上,并对初始图像中因为该移动操作而出现的背景区域进行填充,使得能够得到一个目标位置统一的待处理图像,从而在后续的活体检测过程中,只需要检测处于预设位置的目标图像即可,因此在提高检测结果准确性的同时还提高了检测的效率。
其中,将目标区域移动至初始图像的预设位置上,包括:基于初始图像的中心位置,移动目标区域,其中,移动后的目标区域的中心与初始图像的中心位置之间的距离小于移动前的目标区域的中心与初始图像的中心位置之间的距离;和/或,对初始图像中除移动后的目标区域以外的背景区域进行填充,包括:将背景区域的像素值设置为预设像素值,或者初始图像中除目标区域之外的区域的像素值。
因此,通过将目标区域大致移动至初始图像的中央后,能够提高目标对象在初始图像中的地位,利用预设像素值或者初始图像中除目标区域之外的区域的像素值对背景区域进行填充,有利于活体检测时对目标对象位置的确定,使得在检测过程中能够更准确、更快捷地找到目标对象的位置所在,提高了活体检测的准确度以及快捷度。
其中,基于初始图像的中心位置,移动目标区域,包括:将目标区域的中心移动至初始图像的中心位置;和/或,将背景区域的像素值设置为初始图像中除目标区域之外的区域的像素值,包括:对初始图像中除目标区域之外的区域进行切割,并将切割到的区域按照背景区域的形状进行拼接以对背景区域进行填充。
因此,通过将目标区域的中心移动至初始图像的中心位置,并且通过对目标区域之外的区域切割下来,并按照背景区域的形状进行拼接能够使得后续在活体检测过程中更准确地找到目标对象的位置所在,并且,在活体检测过程中能够更多地参考除目标区域之外的区域,能够在一定程度上提高活体检测的准确度。
其中,确定初始图像中包含目标对象的第一保留区域,包括:在初始图像中,将目标对象对应的目标区域向外扩预设倍数,并将外扩后的区域作为包含目标对象的第一保留区域。
因此,因活体检测可能会依赖背景信息或者目标对象与背景信息之间的差异,通过保留更多的出目标对象之外的背景信息有利于提高检测的精确度。
其中,对初始图像中的目标对象进行分割,包括:从初始图像中获取至少一个目标对象;对于每个获取的目标对象,确定初始图像中包含目标对象的第二保留区域;从初始图像中裁切每个第二保留区域,并将每个裁切的区域分别作为一待检测图像。
因此,当初始图像中的目标数量过多时,获取一个或多个目标对象,并对每个目标对象的第二保留区域进行裁剪使得待检测图像中包含一个目标对象,在很大程度上减轻了各个目标对象之间产生的噪声影响。
其中,从初始图像中获取至少一个目标对象,包括:选择在初始图像中的预设属性符合第一预设条件的至少一个目标对象。
因此,并不是盲目的在获取所有目标对象,而是获取预设属性符合第一预设条件的目标对象,从而减少了后续活体检测中的计算量提高了活体检测的效率。
其中,从初始图像中获取至少一个目标对象,包括如下至少一项:在初始图像中的目标对象数量不大于第三预设数量的情况下,选择初始图像中的所有目标对象;在初始图像中的目标数量大于第三预设数量的情况下,则选择在初始图像中的预设属性符合第二预设条件的至少一个目标对象。
因此,当目标对象的数量不大于第三预设数量时,则说明初始图像中目标对象所占初始图像的面积也就是目标对象的大小,基本上都是差不多的,此时可以获取全部的目标对象,而如果目标对象大于第三预设数量时,则表明目标对象的大小不一,有的目标对象可能存在过小不利于活体检测的情况,此时只获取其中满足条件的目标对象一方面能够提高活体检测的速度另一方面还能提高活体检测的准确度。
其中,预设属性包括以下至少一个:面积和位置;第一预设条件包括以下至少一个:目标对象在初始图像中的面积大于第一预设阈值、目标对象在初始图像中的第一面积大于其他目标对象的第二面积且第一面积与第二面积之间的差异大于第二预设阈值、目标对象在初始图像中的位置与初始图像中的中心位置之间的距离小于其他目标对象在初始图像中的位置与初始图像中的中心位置之间的距离;第二预设条件包括目标对象在初始图像中的面积大于其他目标对象在初始图像中的面积。
因此,当初始图像中的目标对象数量过多时,因为初始图像的面积有限,因此,有的目标对象所占面积较小,甚至于只能看清大致的轮廓,如果对这部分目标对象进行活体检测,最后得到的检测结果的错误率就很大,因此面积和/或位置符合第一预设条件,则将其作为目标对象,而不符合这个条件的,则不对其进行活体检测,通过选择初始图像中的目标对象参加活体检测,能够减轻面积过小的目标对象对检测结果的影响,有利于提高活体检测的准确率。
其中,确定初始图像中包含目标对象的第二保留区域,包括:在初始图像中,将目标对象对应的目标区域向外扩预设倍数;基于外扩后的区域与其他目标对象之间的相对位置关系,确定目标对象的第二保留区域。
因此,通过与其他目标对象之间的相对位置关系来调整目标对象的第二保留区域,能更好地降低其他目标对象相互之间的噪音。
其中,基于外扩后的区域与其他目标对象之间的相对位置关系,确定目标对象的第二保留区域,包括:在外扩后的区域不包含其他目标对象的中心的情况下,将外扩后的区域作为包含目标对象的第二保留区域;在外扩后的区域包含其他目标对象的中心的情况下,将外扩后的区域缩小至不再包括其他目标对象的中心后再作为包含目标对象的第二保留区域。
因此,因活体检测可能会依赖背景信息或者目标对象与背景信息之间的差异,通过保留更多的出目标对象之外的背景信息有利于提高检测的精确度。
其中,目标对象包括人脸;和/或,在根据对初始图像识别得到的目标对象,采用相应预处理方式对初始图像进行预处理,以得到至少一张待检测图像之后,方法还包括:对至少一张待检测图像中的目标对象进行活体检测,得到初始图像的活体检测结果。
因此,能够实现对人脸的活体检测,通过对经过预处理之后的待检测图像进行活体检测,从而得到初始图像中对应目标对象的活体检测结果。
其中,对至少一张待检测图像中的目标对象进行活体检测,得到初始图像的活体检测结果,包括:利用活体检测模型对至少一张待检测图像进行活体检测,得到至少一张待检测图像中的每个目标对象的活体检测分数;将参考目标对象的活体检测分数作为初始图像的活体检测结果,其中,参考目标对象为至少一个目标对象。其中,在至少一张待检测图像中包含的目标对象数量为多个的情况下,参考目标对象为活体检测分数最高的目标对象。
因此,能够根据不同业务场景,进行不同的活体检测策略,例如可以选择多个目标对象进行活体检测,并将最高活体检测分数作为活体检测结果,或者可以选择一个目标对象进行活体检测,并将该目标对象的活体检测分数,提高了活体检测的灵活性。
本申请第二方面提供了一种图像处理装置,包括:图像获取模块,用于获取包含至少一个目标对象的初始图像;图像预处理模块,用于根据对初始图像识别得到的目标对象,采用相应预处理方式对初始图像进行预处理,以得到至少一张待检测图像;其中,至少一张待检测图像用于进行活体检测以得到初始图像的活体检测结果。
本申请第三方面提供了一种电子设备,包括存储器和处理器,处理器用于执行存储器中存储的程序指令,以实现上述图像处理方法。
本申请第四方面提供了一种计算机可读存储介质,其上存储有程序指令,程序指令被处理器执行时实现上述图像处理方法。
上述方案,通过在活体检测之前,根据对初始图识别的得到目标对象然后对初始图像进行预处理,得到用于进行活体检测的待检测图像,从而有利于提高后续活体检测的准确性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本申请的实施例,并与说明书一起用于说明本申请的技术方案。
图1是本申请图像处理方法一实施例的流程示意图;
图2是本申请图像处理方法一实施例的另一流程示意图;
图3是本申请图像处理方法实施例中示出目标区域移动前后初始图像的位置变化示意图;
图4是本申请图像处理方法实施例中初始图像的第一示意图;
图5是本申请图像处理方法实施例中通过预设增强处理方式一获得的待检测图像的第一示意图;
图6是本申请图像处理方法实施例中通过预设增强处理方式一获得的待检测图像的第二示意图;
图7是本申请图像处理方法实施例中通过预设增强处理方式二获得的待检测图像的第三示意图;
图8是本申请图像处理方法实施例中通过预设增强处理方式三获得的待检测图像的第四示意图;
图9是本申请图像处理方法实施例中初始图像的第二示意图;
图10是本申请图像处理方法实施例中包含目标对象目标区域位置信息的图像示意图;
图11是本申请图像处理方法实施例中初始图像的第三示意图;
图12是本申请图像处理方法实施例中通过对目标对象进行分割获得的待检测图像的第五示意图;
图13是本申请图像处理方法实施例中通过对目标对象进行分割获得的待检测图像的第六示意图;
图14是本申请图像处理装置一实施例的结构示意图;
图15是本申请电子设备一实施例的结构示意图;
图16是本申请计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面结合说明书附图,对本申请实施例的方案进行详细说明。
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、接口、技术之类的具体细节,以便透彻理解本申请。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
请参阅图1,图1是本申请图像处理方法一实施例的流程示意图。具体而言,可以包括如下步骤:
步骤S11:获取包含至少一个目标对象的初始图像。
其中,初始图像可以是直接调用本设备的摄像头采集的包含目标对象的初始图像,当然还可以是从其他设备中获取到的图像,也可以是经过选帧、调整亮度、分辨率等的图像。目标对象也可以包括人脸、其他动物的面部或肢体等等。因此,获取包含目标对象的初始图像的方式不限。其中,其他设备指的是分别利用不同中央处理器才能进行操作的设备。
步骤S12:根据对初始图像识别得到的目标对象,采用相应预处理方式对初始图像进行预处理,以得到至少一张待检测图像;其中,至少一张待检测图像用于进行活体检测以得到初始图像的活体检测结果。
对初始图像中进行目标识别,获取目标对象的信息。其中,目标对象的信息包括但不限于初始图像中目标对象的位置信息、目标对象的数量信息。然后根据对初始图像识别得到的目标对象的位置信息和/或数量信息采用对应的预处理方式对初始图像进行预处理,即可得到用于活体检测的待检测图像。
因此,通过在活体检测之前,根据对初始图识别的得到目标对象然后对初始图像进行预处理,得到用于进行活体检测的待检测图像,从而有利于提高后续活体检测的准确性。
同时参见图2,图2是本申请图像处理方法一实施例的另一流程示意图。本公开实施例中,上述步骤S12包括:
识别初始图像中的目标对象,即可得到初始图像中目标对象的位置信息和/或数量信息。然后判断初始图像中的目标对象的数量。采用与目标对象数量匹配的预处理方式,对初始图像进行预处理,以得到至少一张待检测图像。当然,在其他实施例中,也可根据目标对象的位置信息获得目标对象在初始图像中的面积大小,接着根据目标对象的面积选择预处理的方式。例如,当目标对象的面积小于预设面积,则对初始图像中的目标对象进行分割,得到包含目标对象的待检测图像,使得目标对象在待检测图像中的面积比例得到提升,从而有利于后续的活体检测的准确性。
因此,通过确定初始图像中的目标对象数量来确定预处理的方式,使得能够适应更多的初始图像输入场景,使得在一定程度上提高了后续活体检测模型输入的鲁棒性。
其中,预处理的方式包括对初始图像中的目标对象进行预设增强处理、对初始图像中的目标对象进行分割中的至少一种。通过确定初始图像中的目标对象数量来确定预处理的方式,使得能够适应更多的初始图像输入场景,使得在一定程度上提高了后续活体检测模型输入的鲁棒性。
可选地,当初始图像中的目标对象数量小于或等于第一预设数量时,则对初始图像中的目标对象进行预设增强处理,以得到一张待检测图像。例如,第一预设数量等于1,即处于单人出镜的情况下,通过对初始图像中的目标对象进行预设增强处理即可。可选地,若目标对象的数量大于第二预设数量,则对初始图像中的目标对象进行分割,以得到多张待检测图像。其中,这里的第一预设数量可以与第二预设数量相等,例如第一预设数量为1,第二预设数量也为1。当然在其他公开实施例中,第一预设数量也可大于第二预设数量,例如第一预设数量为2,第二预设数量为1。
通过目标对象数量来确定预处理的方式能够适应更多的场景,当初始图像中的目标数量过多时,则将其中的目标对象进行分割成多张待检测图像,减轻了检测其中一个目标对象时,其他目标对象对其的噪音影响。而当目标对象的数量较少时,其他目标对象产生的噪音影响就相对较小,则采用对目标对象进行预设增强处理,提高了待检测图像中目标对象的可识别性。
其中,对初始图像中的目标对象进行预设增强处理的方式包括以下至少一种:
方式一,调整初始图像中目标对象的位置。本公开实施例中调整初始图像中目标对象位置的方式中首先确定初始图像中目标对象对应的目标区域。例如,通过获取包含目标对象的最小区域的四个顶点的坐标,其中,四个顶点所围区域即为目标区域。当然,在其他公开实施例中,也可获取左上及右下的两个点的坐标,并根据这两个点的坐标确定目标区域。然后通过目标区域的坐标点计算目标区域的中心点坐标。将目标区域移动至初始图像的预设位置上。可选地,接着将目标区域的中心点移动到初始图像的预设目标点上。其中,预设位置可以根据初始图像的中心点确定。可选地,预设位置可以是初始图像的中心位置,也可以是与初始图像的中心位置相隔预设距离的位置。其中,预设距离根据需求自行设定。因此,将目标区域移动至初始图像的预设位置上包括基于初始图像的中心位置,移动目标区域,其中,移动后的目标区域的中心与初始图像的中心位置之间的距离小于移动前的目标区域的中心与初始图像的中心位置之间的距离。其中,本公开实施例中,选择将目标区域的中心移动至初始图像的中心位置。
通过将目标区域移动至预设位置,有利于活体检测时对目标对象位置的确定,使得在检测过程中能够更准确、更快捷地找到目标对象的位置所在,提高了活体检测的准确度以及快捷度。
其中,移动目标区域的方式可以包括,通过移动整张初始图像上的所有像素点,或者只移动目标区域内的像素点使得目标对象对应的目标区域移动到初始图像的预设位置上。
将目标区域移动到初始图像的预设位置之后,对初始图像中移动后的目标区域以外的背景区域进行填充,以得到待检测图像。这里的背景区域指的是因为目标区域移动之后,初始图像中出现的空白区域或者通过移动整张初始图像上的像素点后,移动后的初始图像所在位置与未移动之前初始图像所在位置的非重叠区域。例如,参见图3,图3是本申请图像处理方法实施例中示出目标区域移动前后初始图像的位置变化示意图。如图3所示,其中图A是目标区域移动之前的初始图像,图B是目标区域移动之后的初始图像,其中的区域101则为上述非重叠区域,即背景区域。而空白区域指的是通过只移动目标区域至初始图像的预设位置后,原目标区域所在区域则为空白区域。
对初始图像中的背景区域填充的方式包括将背景区域的像素值设置为预设像素值或者初始图像中除目标区域之外的区域的像素值。预设像素值包括零像素,若移动目标区域的方式为移动初始图像中的所有像素点时,初始图像中除目标区域之外的区域的像素值包括移出原初始图像边缘的区域的像素值,也就是移动后的初始图像中未与原初始图像重叠的区域,该区域如图3中的区域202;若移动方式为只移动目标区域时,则初始图像中除目标区域之外的区域的像素值包括被目标区域覆盖的像素值。当然,在其他实施例中,还可以采用其他方式对背景区域进行填充,比如,通过形态学膨胀的方式对背景区域进行填充,在此对于填充方式不予限定,可以包括但不限于上述例举的情况。
其中,将背景区域的像素值设置为初始图像中除目标区域之外的区域的像素值的实现方式,可以包括对初始图像中除目标区域之外的区域进行切割,并将切割得到的区域按照背景区域的形状进行拼接以对背景区域进行填充。例如,将图3中的区域202切割为两个子区域,然后将子区域按照区域101的形状进行拼接,然后将拼接得到的区域填充到区域101中,对区域101进行填充。
同时参见图4、图5及图6,图4是本申请图像处理方法实施例中初始图像的第一示意图,图5是本申请图像处理方法实施例中通过预设增强处理方式一获得的待检测图像的第一示意图,图6是本申请图像处理方法实施例中通过预设增强处理方式一获得的待检测图像的第二示意图。
如图4~6所示,初始图像中的目标对象为人脸,且人脸的数量为1。如图4所示,初始图像中人脸对应的目标区域111位于初始图像的左下方。通过移动整张初始图像中的像素点,调整人脸对应的目标区域111至初始图像的预设位置,例如初始图像的中心位置,使得目标区域的中心点与初始图像的中心点的距离小于移动之前目标区域中心点与初始图像中心点之间的距离,移动后的初始图像的左边以及下边会出现非重叠区域,也即是上述的背景区域,图5采用的是通过移出原初始图像的像素值,即移动之后的初始图像中与原初始图像不重叠区域的像素值对背景区域进行填充,图6则采用的是像素0对背景区域进行填充,得到人脸在原初始图像中心位置的且图像大小与初始图像相等的待检测图像。
因此,通过将目标区域移动至初始图像的预设位置上,并对初始图像中因为该移动操作而出现的背景区域进行填充,使得能够得到一个目标位置统一的待检测图像,从而在后续的活体检测过程中,只需要检测处于待检测图像中的预设位置的目标对象即可,缩小了检测范围,因此在提高检测结果准确性的同时还提高了检测的效率。
对初始图像中的目标对象进行预设增强处理的方式二包括:确定初始图像中包含目标对象的第一保留区域,删除初始图像中除保留区域以外的区域。其中,确定初始图像中包含目标对象的第一保留区域的方式包括在初始图像中将目标对象对应的目标区域向外扩预设数倍以直接作为包含目标对象的保留区域。其中,向外扩指的是将目标区域的上下左右的尺寸扩大,使得目标区域在初始图像中的面积增大。预设数倍可以是目标区域的0.1~2倍。在其他实施例中,还可直接将包含目标对象的目标区域作为初始图像中包含目标对象的第一保留区域。将初始图像中除了保留区域之外的区域删除之后,即可获得待检测图像。其中,无论第一保留区域是否经过目标区域的外扩,获得的待检测图像与初始图像的尺寸大小都相等,且待检测图像上只包含保留区域内的像素。当然,这种方式还可理解为先将保留区域移动至初始图像中的中心位置,后将保留区域以外的区域删除,得到包含保留区域的待检测图像。在其他实施例中,获得待检测图像之后,进一步对待检测图像的长宽按照预设比例进行调整。其中,长宽的预设比例可以是4:3,或者其他合理的比例都行,这里长宽的比例按照终端的机型确定,例如有的终端的显示频的长宽为3:2,那么也可将待检测图像的长宽的比例设置3:2。将待检测图像的分辨率大小设置为初始图像的分辨率大小。当然,在其他实施例中,也可根据终端显示频的分辨率对待检测图像的分辨率进行适应性地调整。因此,此处不对待检测图像的分辨率进行限定。
同时参见图4及图7,图7是本申请图像处理方法实施例中通过预设增强处理方式二获得的待检测图像的第三示意图。如图4及图7所示,图7中显示的画面同图4中显示的画面相比缺少了一部分,图7中相对于图4中仍保留的部分则为该人脸对应的保留区域112,其中,图7中的保留区域是由图4中的目标区域111扩大了预设倍数得到。通过图4和图7的对比,可以发现,图7中人脸的面积相对于图4中人脸的面积增大了不少,由此说明了通过剔除保留区域112之外的区域能够增大目标对象的面积,在目标对象面积较小时,可以起到很好的放大作用,增强了目标对象的可识别度。
因此,因活体检测可能会依赖背景信息或者目标对象与背景信息之间的差异,通过保留更多的出目标对象之外的背景信息有利于提高检测的精确度。
对初始图像中的目标对象进行预设增强处理的方式三包括:对初始图像中目标对象的目标区域进行像素增强。进行像素增强的方式包括获取目标对象对应的目标区域的位置信息,具体的做法可以是获取初始图像中保留区域的坐标点,并对保留区域内的像素点的像素值置1,目标区域以外的像素点的像素值置0,得到包含目标对象的目标区域位置信息的图像,将该图像通过除RGB三通道之外的第四通道输入模型网络,并在模型网络的其中一层对该图像进行池化操作,相继与特征图进行乘法操作及加法操作。其中,这里的特征图为初始图像的特征图,与特征图相乘使得特征图中与像素值为1相乘的部分得以保留,而与像素值为0相乘的部分置0,最后再与特征图相加使得特征图中与像素值为1相乘的部分的像素值加倍,而与像素值为0相乘的部分不变,通过这种方式给予了目标对象对应的保留区域更大的权重,从而实现了对目标区域进行了像素增强。
同时参见图8至图10,图8是本申请图像处理方法实施例中通过预设增强处理方式三获得的待检测图像的第四示意图,图9是本申请图像处理方法实施例中初始图像的第二示意图,图10是本申请图像处理方法实施例中包含目标对象目标区域位置信息的图像示意图。当初始图像为图4时,按照预设增强处理的方式三对目标对象对应的目标区域111进行增强处理得到的待检测图像如图8所示,图8中目标对象对应的目标区域的可识别度比图4中对应的目标区域的可识别度高。具体如图9~10所示,图9中的目标对象为人脸,人脸上对应的方框所围区域为人脸对应的目标区域111,图10中像素为1的区域为人脸对应的目标区域111,像素为0的区域为目标区域之外的区域。其中,黑色部分为像素为0的区域。具体处理方式如上所述。
对初始图像中的目标对象进行预设增强处理的方式四包括:对除目标区域以外的区域进行像素增强的逆处理。其中,所谓像素增强的逆处理指的是像素减弱,即保持目标区域内的像素点的像素值不变,而目标区域以外的像素点的像素值减小。具体的方式可以是获取初始图像中保留区域的坐标点,并对保留区域内的像素点的像素值置1,目标区域以外的像素点的像素值置0,得到包含目标对象的目标区域位置信息的图像,将该图像通过第四通道输入模型网络,并在模型网络的其中一层对该图像进行池化操作,相继与特征图进行乘法操作及加法操作。其中,这里的特征图为初始图像的特征图,与特征图相乘使得特征图中与像素值为1相乘的部分得以保留,而与像素值为0相乘的部分置0,最后再与特征图相加使得特征图中与像素值为1相乘的部分的像素值加倍,而与像素值为0相乘的部分不变,然后将相加之后得到的特征图经过激活层时,将激活值变为在原有激活值的二分之一,使得最终得到的待检测图像中目标区域的像素值不变,而目标区域以外的区域的像素值变为原来的二分之一。其中,预设增强处理的方式三和方式四,其主要的思想都是提高目标区域的像素占整体像素的比重。因此,在其他实施例中,激活值的大小可以变为原激活值的三分之一等等,此处不做具体规定。
通过将除目标区域内的像素点之外的其余像素值降低,或者通过对初始图像中的目标对象对应的目标区域进行像素增强,相比于目标区域在初始图像中所占比重,目标区域在待检测图像中的可识别度得到了一定程度的提高,并且通过上述方式不论输入的初始图像中的目标对象位于什么位置都能够对其统一的调整,得到统一的输出,增强了应对多种场景输入的鲁棒性。
本公开实施例中,若初始图像中的目标对象的数量大于第二预设数量,则对初始图像中的目标对象进行分割,以得到若干张待检测图像。例如,当目标对象的数量大于1时,若直接对初始图像中的目标对象进行活体检测,当对其中一个目标对象进行活体检测时,在很大概率上会受到其他目标对象的干扰,因此,对初始图像中的目标对象进行分割使得能够得到包含单个目标对象的若干张待检测图像,然后再对待检测图像进行活体检测就能够在减少其他目标对象带来的噪声影响。
对初始图像中的不同目标对象进行分割包括以下几个步骤:
首先从初始图像中获取至少一个目标对象。在本公开实施例中,选择初始图像中的目标对象可以包括以下几种方式:
1、选择在初始图像中的预设属性符合第一预设条件的至少一个目标对象。其中,这里的预设属性可以是目标对象的在初始图像中的位置、也可以是目标对象在初始图像中所占面积,或者同时包括这位置属性和面积属性。
其中,第一预设条件包括以下至少一个,即目标对象在初始图像中的面积大于第一预设阈值、目标对象在初始图像中的第一面积大于其他目标对象的第二面积且第一面积与第二面积之间的差异大于第二预设阈值、目标对象在初始图像中的位置在初始图像中的位置与初始图像中的中心位置之间的距离小于其他目标对象在初始图像中的位置与初始图像中的中心位置之间的距离。例如,目标对象占了初始图像面积的二分之一、目标对象的第一面积乘以预设值,其中预设值为0~1之间的小数,例如0.2,还是大于其余目标对象的第二面积,或者目标对象的中心离初始图像的中心最近、目标对象的中心与初始图像的中心距离小于预设值等等;其中,这里的目标对象的中心实质上是目标区域的中心,目标对象在初始图像中的位置实质上是目标区域在初始图像中的位置。
因此,当初始图像中的目标对象数量过多时,因为初始图像的面积有限,因此,有的目标对象所占面积非常小,甚至于只能看清大致的轮廓,如果对这部分目标对象进行活体检测,最后得到的检测结果的错误率就很大,因此面积和/或位置符合第一预设条件,则将其作为目标对象,而不符合第一预设条件的,则不对其进行活体检测,通过选择初始图像中的目标对象参加活体检测,能够减轻面积过小的目标对象对检测结果的影响,有利于提高活体检测的准确率。并且,并不是盲目的在获取所有目标对象,而是获取预设属性符合第一预设条件的目标对象,从而减少了后续活体检测中的计算量提高了活体检测的效率。
2、在初始图像中的目标对象不大于第三预设数量的情况下,则选择初始图像中所有目标对象。在若初始图像中的目标对象数量大于第三预设数量的情况下,则选择在初始图像中的预设属性符合第二预设条件的至少一个目标对象。这里的第二预设条件包括目标对象在初始图像中的面积大于其他目标对象在初始图像中的面积。当然在其他实施例中第二预设条件还可单独包括或同时包括目标对象的位置在距离初始图像的中心的预设范围内。例如,当第二预设数量为2时,若初始图像中的目标对象不大于2,则选择初始图像中的两个目标对象,但当初始图像中的目标对象大于2时,例如3或4时,各个目标对象的面积就会很小,如果目标对象的面积较小,可能会导致活体检测的误判概率上升,因此,这种情况下只考虑满足第二预设条件的目标对象。
其次,对于每个选择的目标对象,确定初始图像中包含目标对象的第二保留区域。确定初始图像中包含目标对象保留区域的方式包括在初始图像中,将目标对象对应的目标区域向外扩预设倍数,基于外扩后的区域与其他目标对象之间的相对位置关系,确定目标对象的第二保留区域。此处的向外扩的方式同上述获取第一保留区域的方式。其他目标对象指的是与目标对象同属性的对象。例如,当目标对象为A人脸时,则其他目标对象可以是B人脸或C人脸。当然,在其他实施例中,如果目标对象可以是不同属性的对象时,那么其他目标对象则是具有上述属性的对象。例如,目标对象可以是人脸以及猫的面部,那么其他对象可以是其他的人脸或猫的面部。
其中,基于外扩后的区域与其他目标对象之间的相对位置关系,确定目标对象的第二保留区域的方式包括,在初始图像中将目标对象对应的目标区域向外扩预设倍数以直接作为包含目标对象的保留区域,该方式与上述对初始图像中的目标对象进行预设增强处理的方式二中所述的方式一致,或者是将目标对象对应的目标区域向外扩预设倍数,在外扩后的区域不包括其他目标对象的中心的情况下,则将外扩后的区域作为包含目标对象的第二保留区域,在外扩后的区域包含其他目标对象的中心的情况下,则将外扩后的区域缩小至不再包括其他目标对象的中心后再作为包含目标对象的第二保留区域。例如,当初始图像中包括两个目标对象时,从初始图像中选择两个目标对象,并分别两个目标对象的上下左右边界的尺寸外扩目标对象或目标区域或保留区域的上下左右边界尺寸的预设倍数。通过与其他目标对象之间的相对位置关系来调整目标对象的第二保留区域,能更好地降低其他目标对象相互之间的噪音。
最后,从初始图像中裁切每个第二保留区域,以对应作为一待检测图像。具体地,一个待检测图像中只包含一个第二保留区域。当然,在其他实施例中,可获取目标对象对应的目标区域,并从初始图像中裁剪每个目标区域以对应作为待检测图像,即此时的第二保留区域的大小与目标区域的大小相等。
因此,因活体检测可能会依赖背景信息或者目标对象与背景信息之间的差异,通过保留更多的出目标对象之外的背景信息有利于提高检测的精确度。
参见图11~13,图11是本申请图像处理方法实施例中初始图像的第三示意图,图12是本申请图像处理方法实施例中通过对目标对象进行分割获得的待检测图像的第五示意图,图13是本申请图像处理方法实施例中通过对目标对象进行分割获得的待检测图像的第六示意图。
如图11~13所示,目标对象为人脸,且人脸的数量为两个。当第三预设数量为2,因为人脸的数量不大于第三预设数量,所以选择图11初始图像中的所有人脸,确定初始图像中包含人脸的保留区域112,并对保留区域112进行切割,得到两个待检测图像,两个待检测图像如图11和12所示。但是当第二预设数量为1时,则因为人脸的数量大于第三预设数量,所以选择初始图像中的面积和/或位置符合第二预设条件的至少一个人脸,经过判断,图11中位于初始图像右边的人脸满足第二预设条件,则选择位于初始图像右边的人脸,并对其人脸对应的保留区域112进行切割,得到图13所示的待检测图像。或者通过第一预设条件的判断,图11中,位于初始图像右边的人脸满足第一预设条件,而位于初始图像左边的人脸不满足第一预设条件,所以只选择位于初始图像右边人脸对应的保留区域112进行切割得到如图13所示的待检测图像。
在本公开实施例中,在根据初始图像识别得到的目标对象,采用相应预处理方式对初始图像进行预处理,得到至少一张待检测图像之后,对至少一张待检测图像中的目标对象进行活体检测,得到初始图像的活体检测结果。其中,利用活体检测模型对至少一个待检测图像进行活体检测,得到至少一张待检测图像中的每个目标对象的活体检测分数。其中,活体检测模型为神经网络构成的模型,活体检测模型是提前经过训练之后的模型,活体检测模型的大致结构参见常用的活体检测模型。也就是输入活体检测模型的有N张待检测图像,那么最后就会得到N张待检测图像中的每个目标对象的活体检测分数。其中,目标对象的活体检测分数越高,则说明目标对象为活体的可能性越低。
将参考目标对象的活体检测分数作为初始图像的活体检测结果,其中,参考目标对象为至少一个目标对象。
其中,根据方案处于不同的业务场景,选择进行不同的活体检测检测策略来确定参考目标对象。在一些场景中,若至少一张待检测图像中包含的目标对象数量为多个,则选择最高的活体检测分数对应的目标对象作为参考目标对象,参考目标对象的活体检测分数作为初始图像的活体检测结果,若至少一张待检测图像中包含的目标对象数量不为多个,则将目标对象的活体检测分数作为初始图像的活体检测结果。具体地,当存在两张待检测图像时,则目标对象也相应的为两个,此时,选择更高的活体检测分数作为初始图像的活体检测结果,若只有一张待检测图像时,则目标对象为1,此时将该目标对象的活体检测结果作为初始图像的活体检测结果。当然,在另一些业务场景中,例如门禁、考勤和手机解锁等业务场景中,若至少一张待检测图像中包含的目标对象数量为多个时,判断检测结果中是否存在低于预设检测分数的检测结果,若有,则将该检测结果对应的目标对象作为参考目标对象,参考目标对象的活体检测分数作为初始图像的活体检测结果。可选地,当存在多个检测结果都低于预设检测分数的情况时,则选择最低活体检测分数对应的目标对象作为参考目标对象,参考目标对象的活体检测分数作为初始图像的活体检测结果。例如在门禁的场景中,如果其中一个目标对象的活体检测结果低于预设检测分数,则初始图像的检测结果为活体,继而控制门禁系统开启,使得人们可以通过。
因此,上述方案能够根据不同业务场景,进行不同的活体检测策略,例如可以选择多个目标对象进行活体检测,并将最高活体检测分数作为活体检测结果,或者可以选择一个目标对象进行活体检测,并将该目标对象的活体检测分数,提高了活体检测的灵活性。因为业务场景的不同,例如在支付场景中如果其中一个目标对象的活体检测分数过高,则表明该目标对象为假体,则总体就会判定为假人攻击行为,有利于保护支付安全。
上述方案,通过在活体检测之前,对初始图像进行预处理,即对图像中的目标对象进行预设增强处理和/或对初始图像中的目标对象进行分割能够在一定程度上减少初始图像中其他部分对目标对象造成的噪音影响,从而有利于提高活体检测的准确性。
其中,图像处理方法的执行主体可以是图像处理装置,例如,图像处理方法可以由终端设备或服务器或其它处理设备执行,其中,终端设备可以为用户设备(UserEquipment,UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(PersonalDigital Assistant,PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该图像处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
请参阅图14,图14是本申请图像处理装置一实施例的结构示意图。活体检测装置20包括图像获取模块21、图像预处理模块22。图像获取模块21用于获取包含至少一个目标对象的初始图像;图像预处理模块22用于根据对初始图像识别得到的目标对象,采用相应预处理方式对初始图像进行预处理,以得到至少一张待检测图像;其中,至少一张待检测图像用于进行活体检测以得到初始图像的活体检测结果。
上述方案,通过在活体检测之前,图像预处理模块22根据对初始图识别的得到目标对象然后对初始图像进行预处理,得到用于进行活体检测的待检测图像,从而有利于提高后续活体检测的准确性。
一些公开实施例中,预处理方式包括以下至少一种:图像预处理模块22对初始图像中的目标对象进行预设增强处理、对初始图像中的目标对象进行分割。
上述方案,通过在活体检测之前,图像预处理模块22对初始图像进行预处理,即对图像中的目标对象进行预设增强处理和/或对初始图像中的目标对象进行分割能够在一定程度上减少初始图像中其他部分对目标对象造成的噪音影响,从而有利于提高后续活体检测的准确性。
一些公开实施例中,图像预处理模块22根据对初始图像识别得到的目标对象,采用相应预处理方式对初始图像进行预处理,以得到至少一张待检测图像,包括:确定对初始图像识别得到的目标对象数量;采用与目标对象数量匹配的预处理方式,对初始图像进行预处理,以得到至少一张待检测图像。
上述方案,图像预处理模块22通过确定初始图像中的目标对象数量来确定预处理的方式,使得能够适应更多的初始图像输入场景,使得在一定程度上提高了后续活体检测模型输入的鲁棒性。
一些公开实施例中,图像预处理模块22采用与目标对象数量匹配的预处理方式,对初始图像进行预处理,以得到至少一张待检测图像,包括:若目标对象数量小于或等于第一预设数量,则对初始图像中的目标对象进行预设增强处理,以得到一张待检测图像。
上述方案,初始图像中识别得到的目标对象小于或等于第一预设数量,则说明目标对象数量较少,其他目标对象之间彼此的影响较少,则可以对目标对象进行预设增强处理,提高目标对象在初始图像中的影响度,从而在一定程度上提高后续活体检测的准确度。
一些公开实施例中,图像预处理模块22对初始图像中的目标对象进行预设增强处理,包括以下至少一种:调整初始图像中目标对象的位置;确定初始图像中包含目标对象的第一保留区域,删除初始图像中除第一保留区域以外的区域;对初始图像中目标对象对应的目标区域进行像素增强;对除目标区域以外的区域进行像素增强的逆处理。
上述方案,当目标对象位于初始图像中的角落或者目标对象面积过小或者目标对象在初始图像中不易识别时,通过上述方式中的至少一种,不论是将目标图像移动至初始图像的预设位置还是裁剪掉除包含目标对象的保留区域或者对初始图像中的目标对象进行像素增强,还是降低除目标区域之外的其他区域的像素,都能够提升目标对象在初始图像中的可识别度,并且通过上述方式能够对初始图像中的目标对象进行统一的调整,增强了对各种场景下的目标对象进行活体检测的鲁棒性。
一些公开实施例中,图像预处理模块22调整初始图像中目标对象的位置,包括:确定初始图像中目标对象对应的目标区域;将目标区域移动至初始图像的预设位置上,并对初始图像中除移动后的目标区域以外的背景区域进行填充。
上述方案,通过将目标区域移动至初始图像的预设位置上,并对初始图像中因为该移动操作而出现的背景区域进行填充,使得能够得到一个目标位置统一的待处理图像,从而在后续的活体检测过程中,只需要检测处于预设位置的目标图像即可,因此在提高检测结果准确性的同时还提高了检测的效率。
一些公开实施例中,图像预处理模块22将目标区域移动至初始图像的预设位置上,包括:基于初始图像的中心位置,移动目标区域,其中,移动后的目标区域的中心与初始图像的中心位置之间的距离小于移动前的目标区域的中心与初始图像的中心位置之间的距离;和/或,对初始图像中除移动后的目标区域以外的背景区域进行填充,包括:将背景区域的像素值设置为预设像素值,或者初始图像中除目标区域之外的区域的像素值。
上述方案,通过将目标区域大致移动至初始图像的中央后,能够提高目标对象在初始图像中的地位,利用预设像素值或者初始图像中除目标区域之外的区域的像素值对背景区域进行填充,有利于活体检测时对目标对象位置的确定,使得在检测过程中能够更准确、更快捷地找到目标对象的位置所在,提高了活体检测的准确度以及快捷度。
一些公开实施例中,图像预处理模块22基于初始图像的中心位置,移动目标区域,包括:将目标区域的中心移动至初始图像的中心位置;和/或,将背景区域的像素值设置为初始图像中除目标区域之外的区域的像素值,包括:对初始图像中除目标区域之外的区域进行切割,并将切割到的区域按照背景区域的形状进行拼接以对背景区域进行填充。
上述方案,通过将目标区域的中心移动至初始图像的中心位置,并且通过对目标区域之外的区域切割下来,并按照背景区域的形状进行拼接能够使得后续在活体检测过程中更准确地找到目标对象的位置所在,并且,在活体检测过程中能够更多地参考除目标区域之外的区域,能够在一定程度上提高活体检测的准确度。
一些公开实施例中,图像预处理模块22确定初始图像中包含目标对象的第一保留区域,包括:在初始图像中,将目标对象对应的目标区域向外扩预设倍数,并将外扩后的区域作为包含目标对象的第一保留区域。
上述方案,因活体检测可能会依赖背景信息或者目标对象与背景信息之间的差异,通过保留更多的出目标对象之外的背景信息有利于提高检测的精确度。
一些公开实施例中,图像预处理模块22采用与目标对象数量匹配的预处理方式,对初始图像进行预处理,以得到至少一张待检测图像,包括:若目标对象的数量大于第二预设数量,则对初始图像中的目标对象进行分割,以得到多张待检测图像。
上述方案,初始图像中的目标对象大于第二预设数量时,则说明初始图像中的目标对象较多,导致目标对象之间的影响较大,则需要对初始图像中的目标对象进行分割成多张待检测图像,从而减少目标对象之间的噪音,从而在一定程度上提高了后续活体检测的准确度。
一些公开实施例中,图像预处理模块22对初始图像中的目标对象进行分割,包括:从初始图像中获取至少一个目标对象;对于每个获取的目标对象,确定初始图像中包含目标对象的第二保留区域;从初始图像中裁切每个第二保留区域,并将每个裁切的区域分别作为一待检测图像。
上述方案,当初始图像中的目标数量过多时,图像预处理模块22获取一个或多个目标对象,并对每个目标对象的第二保留区域进行裁剪使得待检测图像中包含一个目标对象,在很大程度上减轻了各个目标对象之间产生的噪声影响。
一些公开实施例中,图像预处理模块22从初始图像中获取至少一个目标对象,包括:选择在初始图像中的预设属性符合第一预设条件的至少一个目标对象。其中,预设属性包括以下至少一个:面积和位置。第一预设条件包括以下至少一个:目标对象在初始图像中的面积大于第一预设阈值、目标对象在初始图像中的第一面积大于其他目标对象的第二面积且第一面积与第二面积之间的差异大于第二预设阈值、目标对象在初始图像中的位置与初始图像中的中心位置之间的距离小于其他目标对象在初始图像中的位置与初始图像中的中心位置之间的距离;
上述方案,当初始图像中的目标对象数量过多时,因为初始图像的面积有限,因此,有的目标对象所占面积较小,甚至于只能看清大致的轮廓,如果对这部分目标对象进行活体检测,最后得到的检测结果的错误率就很大,因此面积和/或位置符合第一预设条件,则将其作为目标对象,而不符合这个条件的,则不对其进行活体检测,通过选择初始图像中的目标对象参加活体检测,能够减轻面积过小的目标对象对检测结果的影响,有利于提高活体检测的准确率。
进一步地,并不是盲目的在获取所有目标对象,而是获取预设属性符合第一预设条件的目标对象,从而减少了后续活体检测中的计算量提高了活体检测的效率。
一些公开实施例中,在初始图像中的目标对象数量不大于第三预设数量的情况下,图像预处理模块22选择初始图像中的所有目标对象;在初始图像中的目标数量大于第三预设数量的情况下,则选择在初始图像中的预设属性符合第二预设条件的至少一个目标对象。第二预设条件包括目标对象在初始图像中的面积大于其他目标对象在初始图像中的面积。
上述方案,当目标对象的数量不大于第三预设数量时,则说明初始图像中目标对象所占初始图像的面积也就是目标对象的大小,基本上都是差不多的,此时可以获取全部的目标对象,而如果目标对象大于第三预设数量时,则表明目标对象的大小不一,有的目标对象可能存在过小不利于活体检测的情况,此时只获取其中满足条件的目标对象一方面能够提高活体检测的速度另一方面还能提高活体检测的准确度。
一些公开实施例中,图像预处理模块22确定初始图像中包含目标对象的第二保留区域,包括:在初始图像中,将目标对象对应的目标区域向外扩预设倍数;基于外扩后的区域与其他目标对象之间的相对位置关系,确定目标对象的第二保留区域。
上述方案,通过与其他目标对象之间的相对位置关系来调整目标对象的第二保留区域,使得更能降低其他目标对象相互之间的噪音。
一些公开实施例中,在外扩后的区域不包含其他目标对象的中心的情况下,图像预处理模块22将外扩后的区域作为包含目标对象的第二保留区域;在外扩后的区域包含其他目标对象的中心的情况下,将外扩后的区域缩小至不再包括其他目标对象的中心后再作为包含目标对象的第二保留区域。
上述方案,因活体检测可能会依赖背景信息或者目标对象与背景信息之间的差异,通过保留更多的出目标对象之外的背景信息有利于提高检测的精确度。
一些公开实施例中,目标对象包括人脸;和/或,图像预处理模块22在根据对初始图像识别得到的目标对象,采用相应预处理方式对初始图像进行预处理,以得到至少一张待检测图像之后,方法还包括:对至少一张待检测图像中的目标对象进行活体检测,得到初始图像的活体检测结果。
上述方案,能够实现对人脸的活体检测,通过对经过预处理之后的待检测图像进行活体检测,从而得到初始图像中对应目标对象的活体检测结果。
一些公开实施例中,图像处理装置还包括活体检测模块(图未示),活体检测模块对至少一张待检测图像中的目标对象进行活体检测,得到初始图像的活体检测结果,包括:利用活体检测模型对至少一张待检测图像进行活体检测,得到至少一张待检测图像中的每个目标对象的活体检测分数;将参考目标对象的活体检测分数作为初始图像的活体检测结果,其中,参考目标对象为至少一个目标对象。其中,在一些业务场景中,在至少一张待检测图像中包含的目标对象数量为多个的情况下,参考目标对象为活体检测分数最高的目标对象。当然在其他的业务场景中,例如门禁、考勤和手机解锁等业务场景中,若至少一张待检测图像中包含的目标对象数量为多个时,判断检测结果中是否存在低于预设检测分数的检测结果,若有,则将该检测结果对应的目标对象作为参考目标对象,参考目标对象的活体检测分数作为初始图像的活体检测结果。可选地,当存在多个检测结果都低于预设检测分数的情况时,则选择最低活体检测分数对应的目标对象作为参考目标对象,参考目标对象的活体检测分数作为初始图像的活体检测结果。例如在门禁的场景中,如果其中一个目标对象的活体检测结果低于预设检测分数,则初始图像的检测结果为活体,继而控制门禁系统开启,使得人们可以通过。
上述方案,能够根据不同业务场景,进行不同的活体检测策略,例如可以选择多个目标对象进行活体检测,并将最高活体检测分数作为活体检测结果,或者可以选择一个目标对象进行活体检测,并将该目标对象的活体检测分数,提高了活体检测的灵活性。
请参阅图15,图15是本申请电子设备一实施例的结构示意图。电子设备30包括存储器31和处理器32,处理器32用于执行存储器31中存储的程序指令,以实现上述任一图像处理方法实施例中的步骤。在一个具体的实施场景中,电子设备30可以包括但不限于:微型计算机、服务器,此外,电子设备30还可以包括笔记本电脑、平板电脑等移动设备,在此不做限定。
具体而言,处理器32用于控制其自身以及存储器31以实现上述任一图像处理方法实施例中的步骤。处理器32还可以称为CPU(Central Processing Unit,中央处理单元)。处理器32可能是一种集成电路芯片,具有信号的处理能力。处理器32还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器32可以由集成电路芯片共同实现。
上述方案,通过在活体检测之前,根据对初始图识别的得到目标对象,然后对初始图像进行预处理,得到用于进行活体检测的待检测图像,从而有利于提高后续活体检测的准确性。
请参阅图16,图16是本申请计算机可读存储介质一实施例的结构示意图。计算机可读存储介质40存储有能够被处理器运行的程序指令41,程序指令41用于实现上述任一图像处理方法实施例中的步骤。
上述方案,通过在活体检测之前,根据对初始图识别的得到目标对象然后对初始图像进行预处理,得到用于进行活体检测的待检测图像,从而有利于提高后续活体检测的准确性。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (20)
1.一种图像处理方法,其特征在于,包括:
获取包含至少一个目标对象的初始图像;
根据对所述初始图像识别得到的目标对象,采用相应预处理方式对所述初始图像进行预处理,以得到至少一张待检测图像,所述预处理包括对所述初始图像中的所述目标对象进行预设增强处理;其中,所述至少一张待检测图像用于进行活体检测以得到所述初始图像的活体检测结果;
所述预设增强处理包括:获取包含所述目标对象的第一保留区域的位置信息的图像,将所述包含所述目标对象的第一保留区域的位置信息的图像通过除RGB通道以外的第四通道输入模型网络进行池化,将池化后的结果与所述初始图像的特征图依次进行乘法操作及加法操作,将经过加法操作得到的特征图利用激活值降低后的激活层进行激活处理,得到预设增强处理的结果。
2.根据权利要求1所述的方法,其特征在于,所述预处理方式包括还包括对所述初始图像中的所述目标对象进行分割。
3.根据权利要求1或2所述的方法,其特征在于,所述根据对所述初始图像识别得到的目标对象,采用相应预处理方式对所述初始图像进行预处理,以得到至少一张待检测图像,包括:
确定对所述初始图像识别得到的目标对象数量;
采用与所述目标对象数量匹配的预处理方式,对所述初始图像进行预处理,以得到至少一张待检测图像。
4.根据权利要求3所述的方法,其特征在于,所述采用与所述目标对象数量匹配的预处理方式,对所述初始图像进行预处理,以得到至少一张待检测图像,包括:
若所述目标对象数量小于或等于第一预设数量,则对所述初始图像中的所述目标对象进行预设增强处理,以得到一张所述待检测图像。
5.根据权利要求3所述的方法,其特征在于,所述采用与所述目标对象数量匹配的预处理方式,对所述初始图像进行预处理,以得到至少一张待检测图像,包括:
若所述目标对象的数量大于第二预设数量,则对所述初始图像中的所述目标对象进行分割,以得到多张所述待检测图像。
6.根据权利要求2所述的方法,其特征在于,所述对所述初始图像中的所述目标对象进行预设增强处理,包括以下至少一种:
调整所述初始图像中所述目标对象的位置;
确定所述初始图像中包含所述目标对象的第一保留区域,删除所述初始图像中除所述第一保留区域以外的区域;
对所述初始图像中所述目标对象对应的目标区域进行像素增强;
对除所述目标区域以外的区域进行像素增强的逆处理。
7.根据权利要求6所述的方法,其特征在于,所述调整所述初始图像中所述目标对象的位置,包括:
确定所述初始图像中所述目标对象对应的目标区域;
将所述目标区域移动至所述初始图像的预设位置上,并对所述初始图像中除移动后的所述目标区域以外的背景区域进行填充。
8.根据权利要求7所述的方法,其特征在于,所述将所述目标区域移动至所述初始图像的预设位置上,包括:
基于所述初始图像的中心位置,移动所述目标区域,其中,移动后的所述目标区域的中心与所述初始图像的中心位置之间的距离小于移动前的所述目标区域的中心与所述初始图像的中心位置之间的距离;
和/或,所述对所述初始图像中除移动后的所述目标区域以外的背景区域进行填充,包括:
将所述背景区域的像素值设置为预设像素值,或者所述初始图像中除所述目标区域之外的区域的像素值。
9.根据权利要求8所述的方法,其特征在于,所述基于所述初始图像的中心位置,移动所述目标区域,包括:
将所述目标区域的中心移动至所述初始图像的中心位置;
和/或,所述将所述背景区域的像素值设置为所述初始图像中除所述目标区域之外的区域的像素值,包括:
对所述初始图像中除所述目标区域之外的区域进行切割,并将切割到的区域按照所述背景区域的形状进行拼接以对所述背景区域进行填充。
10.根据权利要求6所述的方法,其特征在于,所述确定所述初始图像中包含所述目标对象的第一保留区域,包括:
在所述初始图像中,将所述目标对象对应的目标区域向外扩预设倍数,并将外扩后的区域作为包含所述目标对象的第一保留区域。
11.根据权利要求2所述的方法,其特征在于,所述对所述初始图像中的所述目标对象进行分割,包括:
从所述初始图像中获取至少一个目标对象;
对于每个获取的所述目标对象,确定所述初始图像中包含所述目标对象的第二保留区域;
从所述初始图像中裁切每个所述第二保留区域,并将每个裁切的区域分别作为一所述待检测图像。
12.根据权利要求11所述的方法,其特征在于,所述从所述初始图像中获取至少一个目标对象,包括:
选择在所述初始图像中的预设属性符合第一预设条件的至少一个目标对象。
13.根据权利要求12所述的方法,其特征在于,所述从所述初始图像中获取至少一个目标对象,包括如下至少一项:
在所述初始图像中的目标对象数量不大于第三预设数量的情况下,选择所述初始图像中的所有所述目标对象;
在所述初始图像中的目标数量大于所述第三预设数量的情况下,则选择在所述初始图像中的所述预设属性符合第二预设条件的至少一个目标对象。
14.根据权利要求13所述的方法,其特征在于,所述预设属性包括以下至少一个:面积和位置;
所述第一预设条件包括以下至少一个:所述目标对象在所述初始图像中的面积大于第一预设阈值、所述目标对象在所述初始图像中的第一面积大于其他所述目标对象的第二面积且所述第一面积与所述第二面积之间的差异大于第二预设阈值、所述目标对象在所述初始图像中的位置与所述初始图像中的中心位置之间的距离小于其他目标对象在所述初始图像中的位置与所述初始图像中的中心位置之间的距离;
所述第二预设条件包括所述目标对象在所述初始图像中的面积大于其他目标对象在所述初始图像中的面积。
15.根据权利要求10所述的方法,其特征在于,所述确定所述初始图像中包含所述目标对象的第二保留区域,包括:
在所述初始图像中,将所述目标对象对应的目标区域向外扩预设倍数;
基于外扩后的区域与其他所述目标对象之间的相对位置关系,确定所述目标对象的第二保留区域。
16.根据权利要求15所述的方法,其特征在于,所述基于外扩后的区域与其他所述目标对象之间的相对位置关系,确定所述目标对象的第二保留区域,包括:
在外扩后的区域不包含其他所述目标对象的中心的情况下,将所述外扩后的区域作为包含所述目标对象的第二保留区域;
在外扩后的区域包含其他所述目标对象的中心的情况下,将所述外扩后的区域缩小至不再包括其他所述目标对象的中心后再作为包含所述目标对象的第二保留区域。
17.根据权利要求1或2所述的方法,其特征在于,所述目标对象包括人脸;和/或,
在所述根据对所述初始图像识别得到的目标对象,采用相应预处理方式对所述初始图像进行预处理,以得到至少一张待检测图像之后,所述方法还包括:
对所述至少一张待检测图像中的所述目标对象进行活体检测,得到所述初始图像的活体检测结果。
18.一种图像处理装置,其特征在于,包括:
图像获取模块,用于获取包含至少一个目标对象的初始图像;
图像预处理模块,用于根据对所述初始图像识别得到的目标对象,采用相应预处理方式对所述初始图像进行预处理,以得到至少一张待检测图像,所述预处理包括对所述初始图像中的所述目标对象进行预设增强处理;其中,所述至少一张待检测图像用于进行活体检测以得到所述初始图像的活体检测结果;
所述预设增强处理包括:获取包含所述目标对象的第一保留区域的位置信息的图像,将所述包含所述目标对象的第一保留区域的位置信息的图像通过除RGB通道以外的第四通道输入模型网络进行池化,将池化后的结果与所述初始图像的特征图依次进行乘法操作及加法操作,将经过加法操作得到的特征图利用激活值降低后的激活层进行激活处理,得到预设增强处理的结果。
19.一种电子设备,其特征在于,包括存储器和处理器,所述处理器用于执行所述存储器中存储的程序指令,以实现权利要求1至17任一项所述的方法。
20.一种计算机可读存储介质,其上存储有程序指令,其特征在于,所述程序指令被处理器执行时实现权利要求1至17任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010752546.8A CN111881846B (zh) | 2020-07-30 | 2020-07-30 | 图像处理方法和相关装置、设备、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010752546.8A CN111881846B (zh) | 2020-07-30 | 2020-07-30 | 图像处理方法和相关装置、设备、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111881846A CN111881846A (zh) | 2020-11-03 |
CN111881846B true CN111881846B (zh) | 2024-04-02 |
Family
ID=73205680
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010752546.8A Active CN111881846B (zh) | 2020-07-30 | 2020-07-30 | 图像处理方法和相关装置、设备、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111881846B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114723928A (zh) * | 2021-01-05 | 2022-07-08 | 华为技术有限公司 | 图像处理方法和装置 |
CN112712513A (zh) * | 2021-01-05 | 2021-04-27 | 歌尔股份有限公司 | 产品缺陷检测方法、装置、设备及计算机可读存储介质 |
CN115082990A (zh) * | 2022-06-27 | 2022-09-20 | 平安银行股份有限公司 | 人脸的活体检测方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108090908A (zh) * | 2017-12-07 | 2018-05-29 | 深圳云天励飞技术有限公司 | 图像分割方法、装置、终端及存储介质 |
CN108876791A (zh) * | 2017-10-23 | 2018-11-23 | 北京旷视科技有限公司 | 图像处理方法、装置和系统及存储介质 |
CN110176012A (zh) * | 2019-05-28 | 2019-08-27 | 腾讯科技(深圳)有限公司 | 图像中的目标分割方法、池化方法、装置及存储介质 |
CN111191567A (zh) * | 2019-12-26 | 2020-05-22 | 深圳供电局有限公司 | 身份数据处理方法、装置、计算机设备和存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108875535B (zh) * | 2018-02-06 | 2023-01-10 | 北京旷视科技有限公司 | 图像检测方法、装置和系统及存储介质 |
-
2020
- 2020-07-30 CN CN202010752546.8A patent/CN111881846B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108876791A (zh) * | 2017-10-23 | 2018-11-23 | 北京旷视科技有限公司 | 图像处理方法、装置和系统及存储介质 |
CN108090908A (zh) * | 2017-12-07 | 2018-05-29 | 深圳云天励飞技术有限公司 | 图像分割方法、装置、终端及存储介质 |
CN110176012A (zh) * | 2019-05-28 | 2019-08-27 | 腾讯科技(深圳)有限公司 | 图像中的目标分割方法、池化方法、装置及存储介质 |
CN111191567A (zh) * | 2019-12-26 | 2020-05-22 | 深圳供电局有限公司 | 身份数据处理方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111881846A (zh) | 2020-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11830230B2 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
CN111881846B (zh) | 图像处理方法和相关装置、设备、存储介质 | |
CN108776970B (zh) | 图像处理方法和装置 | |
CN109886997B (zh) | 基于目标检测的识别框确定方法、装置及终端设备 | |
EP3767520B1 (en) | Method, device, equipment and medium for locating center of target object region | |
CN110349082B (zh) | 图像区域的裁剪方法和装置、存储介质及电子装置 | |
CN108961158B (zh) | 一种图像合成方法及装置 | |
US8290277B2 (en) | Method and apparatus for setting a lip region for lip reading | |
CN111553302B (zh) | 关键帧选取方法、装置、设备及计算机可读存储介质 | |
JP2002216129A (ja) | 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体 | |
EP2977932A2 (en) | Image processing apparatus, image processing method and image processing program | |
CN114494775A (zh) | 视频切分方法、装置、设备及存储介质 | |
CN108960012B (zh) | 特征点检测方法、装置及电子设备 | |
CN109615620B (zh) | 图像压缩度识别方法、装置、设备及计算机可读存储介质 | |
CN111161299A (zh) | 影像分割方法、计算机程序、存储介质及电子装置 | |
US11308344B2 (en) | Image processing apparatus, image forming apparatus, display apparatus, image processing method, and storage medium | |
CN111008987B (zh) | 基于灰色背景中边缘图像提取方法、装置及可读存储介质 | |
CN111160240B (zh) | 图像对象的识别处理方法、装置及智能设备、存储介质 | |
CN111179287A (zh) | 人像实例分割方法、装置、设备及存储介质 | |
KR20110087620A (ko) | 레이아웃 기반의 인쇄매체 페이지 인식방법 | |
JP4379706B2 (ja) | 領域抽出方法 | |
KR101592087B1 (ko) | 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체 | |
CN116342519A (zh) | 一种基于机器学习的图像处理方法 | |
CN114758384A (zh) | 人脸检测方法、装置、设备及存储介质 | |
CN113849088B (zh) | 目标图片确定方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |