CN111243014A - 人脸检测处理方法、装置及设备 - Google Patents

人脸检测处理方法、装置及设备 Download PDF

Info

Publication number
CN111243014A
CN111243014A CN202010046935.9A CN202010046935A CN111243014A CN 111243014 A CN111243014 A CN 111243014A CN 202010046935 A CN202010046935 A CN 202010046935A CN 111243014 A CN111243014 A CN 111243014A
Authority
CN
China
Prior art keywords
rotation angle
face
face rotation
current
previous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010046935.9A
Other languages
English (en)
Other versions
CN111243014B (zh
Inventor
孙泽宇
胡振亮
武兵
彭坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Soyoung Technology Beijing Co Ltd
Original Assignee
Soyoung Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Soyoung Technology Beijing Co Ltd filed Critical Soyoung Technology Beijing Co Ltd
Priority to CN202010046935.9A priority Critical patent/CN111243014B/zh
Publication of CN111243014A publication Critical patent/CN111243014A/zh
Application granted granted Critical
Publication of CN111243014B publication Critical patent/CN111243014B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本公开是关于一种人脸检测处理方法、装置及设备。该方法包括:检测2D人脸图像得到人脸转动角度;获取当前人脸转动角度和上一人脸转动角度;根据所述当前人脸转动角度与所述上一人脸转动角度的比较结果,矫正所述当前人脸转动角度。本公开提供的方案,适用性更强且检测结果较为准确。

Description

人脸检测处理方法、装置及设备
技术领域
本公开涉及人脸检测技术领域,尤其涉及一种人脸检测处理方法、装置及设备。
背景技术
随着计算机视觉技术和人工智能技术的不断发展,人脸检测技术也得到了迅速发展,并广泛应用于各行各业,例如,应用于医美行业等。
人脸检测技术中的人脸转动角度是应用人脸检测数据的一个重要参考依据。目前人脸角度检测主要分为2D检测和3D检测,其中2D检测是通过普通图片或视频流分析可以得出人脸转动角度的模糊数值,优点是采集设备要求低;3D检测是通过具有3D拍摄功能的摄像头拍摄图片或视频流进行检测,得出人脸转动角度的数值,优点是检测数据准确度较高。
但是,相关技术中的两种方法都具有缺陷,不能被广泛应用。例如3D检测的缺陷是对采集设备要求较高,无法广泛使用;2D检测的缺陷是检测结果不准确,数据无法到达实际应用的最低标准。因此,希望能提供一种检测结果较准确且适用性更强的方案。
发明内容
为克服相关技术中存在的问题,本公开提供一种人脸检测处理方法、装置及设备,适用性更强且检测结果较为准确。
根据本公开实施例的第一方面,提供一种人脸检测处理方法,包括:
检测2D人脸图像得到人脸转动角度;
获取当前人脸转动角度和上一人脸转动角度;
根据所述当前人脸转动角度与所述上一人脸转动角度的比较结果,矫正所述当前人脸转动角度。
在一种实施方式中,所述根据所述当前人脸转动角度与所述上一人脸转动角度的比较结果,矫正所述当前人脸转动角度之后,还包括:
提示用户按矫正后的当前人脸转动角度对应的检测线位置,将人脸转动到指定角度;
获取所述人脸按提示转动后拍摄得到的2D人脸图像。
在一种实施方式中,所述获取所述人脸按提示转动后拍摄得到的2D人脸图像之后,还包括:
根据所述获取的所述人脸按提示转动后拍摄得到的2D人脸图像,合成人脸3D模型。
在一种实施方式中,所述检测2D人脸图像得到人脸转动角度,包括:
根据对2D视频流进行抽帧检测所得到的2D人脸图像或输入的2D人脸图像进行识别,得到人脸转动角度。
在一种实施方式中,所述根据所述当前人脸转动角度与所述上一人脸转动角度的比较结果,矫正所述当前人脸转动角度,包括:
在所述当前人脸转动角度与上一人脸转动角度的差值的绝对值小于预设偏差值时,
如果所述当前人脸转动角度与上一人脸转动角度相比为正向转动,将绘制的检测线向所述正向移动第一设定值;或,
如果所述当前人脸转动角度与上一人脸转动角度相比为反向转动,将所述绘制的检测线保持不变;
根据所述检测线的移动对应得到矫正后的人脸转动角度。
在一种实施方式中,所述移动的第一设定值为所述当前人脸转动角度与所述上一人脸转动角度的中间值。
在一种实施方式中,所述根据所述当前人脸转动角度与所述上一人脸转动角度的比较结果,矫正所述当前人脸转动角度,包括:
在所述当前人脸转动角度与上一人脸转动角度的差值的绝对值大于预设偏差值时,
如果所述当前人脸转动角度与上一人脸转动角度相比为正向转动,将绘制的检测线向所述正向移动第二设定值;或,
如果所述当前人脸转动角度与上一人脸转动角度相比为反向转动,将绘制的检测线向所述反向移动第二设定值,且更新规定的移动方向的指向;
根据所述检测线的移动对应得到矫正后的人脸转动角度。
在一种实施方式中,所述移动的第二设定值为所述当前人脸转动角度。
根据本公开实施例的第二方面,提供一种人脸检测处理装置,包括:
检测模块,用于检测2D人脸图像得到人脸转动角度;
获取模块,用于获取所述检测模块检测的当前人脸转动角度和上一人脸转动角度;
矫正模块,用于根据所述获取模块获取的当前人脸转动角度与所述上一人脸转动角度的比较结果,矫正所述当前人脸转动角度。
在一种实施方式中,所述装置还包括:
提示模块,用于提示用户按矫正后的当前人脸转动角度对应的检测线位置,将人脸转动到指定角度;
更新获取模块,用于获取所述人脸按提示转动后拍摄得到的2D人脸图像。
在一种实施方式中,所述装置还包括:
合成模块,用于根据所述更新获取模块获取的人脸按提示转动后拍摄得到的2D人脸图像,合成人脸3D模型。
根据本公开实施例的第三方面,提供一种终端设备,包括:
处理器;以及
存储器,其上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行如上所述的方法。
根据本公开实施例的第四方面,提供一种非暂时性机器可读存储介质,其上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如上所述的方法。
本公开的实施例提供的技术方案可以包括以下有益效果:
本公开的实施例提供的技术方案,在检测2D人脸图像得到人脸转动角度后,获取当前人脸转动角度和上一人脸转动角度,然后根据所述当前人脸转动角度与所述上一人脸转动角度的比较结果,矫正所述当前人脸转动角度。相关技术中2D检测得出的人脸转动角度的数值一般不太准确,本公开方案中是根据根据所述当前人脸转动角度与所述上一人脸转动角度的比较结果,矫正所述当前人脸转动角度,这样可以使得2D检测得出的人脸转动角度数据被矫正,从而提高检测数据准确性,而且只需要2D采集设备,采集设备的要求不高,因此也可以广泛使用,提高适用性。
本公开的实施例,还可以在矫正所述当前人脸转动角度之后,提示用户按矫正后的当前人脸转动角度对应的检测线位置,将人脸转动到指定角度;获取所述人脸按提示转动后拍摄得到的2D人脸图像;再根据所述获取的人脸按提示转动后拍摄得到的2D人脸图像,合成人脸3D模型。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
通过结合附图对本公开示例性实施方式进行更详细的描述,本公开的上述以及其它目的、特征和优势将变得更加明显,其中,在本公开示例性实施方式中,相同的参考标号通常代表相同部件。
图1是根据本公开一示例性实施例示出的一种人脸检测处理方法的流程示意图;
图2是根据本公开一示例性实施例示出的一种人脸检测处理方法的流程另一示意图;
图3是根据本公开一示例性实施例示出的一种人脸检测处理方法的流程另一示意图;
图4是根据本公开一示例性实施例示出的人脸检测区域及竖向检测线的示意图;
图5是根据本公开一示例性实施例示出的一种人脸检测处理装置的结构示意图;
图6是根据本公开一示例性实施例示出的一种人脸检测处理装置的结构另一示意图;
图7是根据本公开一示例性实施例示出的一种计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式,然而应该理解,可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
在本公开使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本公开可能采用术语“第一”、“第二”、“第三”等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本公开范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
本公开提供了一种人脸检测处理方法,适用性更强且检测结果较为准确。
以下结合附图详细描述本公开实施例的技术方案。
图1是根据本公开一示例性实施例示出的一种人脸检测处理方法的流程示意图。
参见图1,该方法包括:
在步骤101中,检测2D人脸图像得到人脸转动角度。
该步骤可以根据对2D视频流进行抽帧检测所得到的2D人脸图像或输入的2D人脸图像进行识别,得到人脸转动角度。
在步骤102中,获取当前人脸转动角度和上一人脸转动角度。
在步骤103中,根据所述当前人脸转动角度与所述上一人脸转动角度的比较结果,矫正所述当前人脸转动角度。
该步骤可以在所述当前人脸转动角度与上一人脸转动角度的差值的绝对值小于预设偏差值时,如果所述当前人脸转动角度与上一人脸转动角度相比为正向转动,将绘制的检测线向所述正向移动第一设定值;或,如果所述当前人脸转动角度与上一人脸转动角度相比为反向转动,将所述绘制的检测线保持不变;根据所述检测线的移动对应得到矫正后的人脸转动角度。
该步骤可以在所述当前人脸转动角度与上一人脸转动角度的差值的绝对值大于预设偏差值时,如果所述当前人脸转动角度与上一人脸转动角度相比为正向转动,将绘制的检测线向所述正向移动第二设定值;或,如果所述当前人脸转动角度与上一人脸转动角度相比为反向转动,将绘制的检测线向所述反向移动第二设定值,且更新规定的移动方向的指向;根据所述检测线的移动对应得到矫正后的人脸转动角度。
从该实施例可以看出,本公开的实施例提供的技术方案,在检测2D人脸图像得到人脸转动角度后,获取当前人脸转动角度和上一人脸转动角度,然后根据所述当前人脸转动角度与所述上一人脸转动角度的比较结果,矫正所述当前人脸转动角度。相关技术中2D检测得出的人脸转动角度的数值一般不太准确,本公开方案中是根据根据所述当前人脸转动角度与所述上一人脸转动角度的比较结果,矫正所述当前人脸转动角度,这样可以使得2D检测得出的人脸转动角度数据被矫正,从而提高检测数据准确性,而且只需要2D采集设备,采集设备的要求不高,因此也可以广泛使用,提高适用性。
图2是根据本公开一示例性实施例示出的一种人脸检测处理方法的流程另一示意图。图2相当于图1更详细描述了本公开的方案。
参见图2,该方法包括:
在步骤201中,检测2D人脸图像得到人脸转动角度。
该步骤可以根据对2D视频流进行抽帧检测所得到的2D人脸图像或输入的2D人脸图像进行识别,得到人脸转动角度。
在步骤202中,获取当前人脸转动角度和上一人脸转动角度。
在步骤203中,根据所述当前人脸转动角度与所述上一人脸转动角度的比较结果,矫正所述当前人脸转动角度。
该步骤可以参见步骤103中的描述。
在步骤204中,提示用户按矫正后的当前人脸转动角度对应的检测线位置,将人脸转动到指定角度。
检测线20(参见图4)可以作为指示器表示人脸实时转动角度,与人脸转动角度有对应关系。当移动检测线20的位置,人脸转动角度也会相应发生变化,对应得到一个新的人脸转动角度。在上一步骤将检测线20根据不同比较情况矫正移动后,对应得到了新的矫正后的人脸转动角度。该步骤可以将检测线20的位置,在显示界面上实时反馈给用户,提示用户按矫正后的当前人脸转动角度对应的检测线20位置,将人脸转动到所述检测线20指示的角度,也即用户转动头部到指定的角度。
在步骤205中,获取所述人脸按提示转动后拍摄得到的2D人脸图像。
该步骤可以通过摄像头再次拍摄采集指定角度的人脸图片,也即获取所述人脸按提示转动后拍摄得到的2D人脸图像作为图片素材,用于后续的合成3D模型。
在步骤206中,根据所述获取的所述人脸按提示转动后拍摄得到的2D人脸图像,合成人脸3D模型。
该步骤根据上一步获取的人脸按提示转动后拍摄得到的2D人脸图像,作为图片素材用于合成人脸3D模型,从而达到3D检测的效果。
从该实施例可以发现,本公开的方案还可以在矫正所述当前人脸转动角度之后,提示用户按矫正后的当前人脸转动角度对应的检测线位置,将人脸转动到指定角度;获取所述人脸按提示转动后拍摄得到的2D人脸图像;再根据所述获取的人脸按提示转动后拍摄得到的2D人脸图像,合成人脸3D模型,从而实现利用2D检测方法合成人脸3D模型。
图3是根据本公开一示例性实施例示出的一种人脸检测处理方法的流程另一示意图。图3相对于与图1和图2更详细描述了本公开的方案。
相关技术中一般3D人脸检测方法是通过人脸360度转动检测扫描,合成人脸3D模型,而2D人脸检测方法也是可以通过获得指定角度的2D人脸图像来合成人脸3D模型。本公开的2D人脸检测方法的过程主要是通过采集设备拍摄人脸的视频流,通过对视频流进行抽帧检测获得2D人脸图像并进行识别,根据界面绘制显示的检测线20获得人脸转动角度信息,通过当前人脸转动角度和上一人脸转动角度的比较,移动检测线20的位置,得到对应的一个新的矫正后的人脸转动角度,再提示用户将人脸转动到移动后的检测线20指示的角度,转动过程中根据转动角度重新拍摄所需要的2D人脸图像作为图片素材,最后合成人脸3D模型。
在相关技术中2D人脸检测方法获得的角度虽然并不精确,有较大偏差,但整体偏移方向是准确的,因此本公开方案可以通过对比分析的方法矫正检测数据,从而提高检测的数据准确性。
参见图3,该方法包括:
在步骤301中,获取2D视频流。
该步骤中,可以通过带有摄像功能的采集设备例如移动智能终端等拍摄人脸转动从而实时获得2D视频流。需说明的是,采集设备无需具备3D摄像头,利用普通的2D摄像头即可。
在步骤302中,通过2D检测方式检测2D人脸图像得到人脸转动角度。
该步骤中,可以应用相关的2D图像开源技术或2D图像识别技术,对当前视频流进行抽帧检测,也即每隔规定毫秒数获得当前视频的图像,从而得到2D人脸图像。通过对2D人脸图像进行识别分析,可以获得当前视频流检测后的人脸转动角度的数据。
本公开方案可以通过移动智能终端的图像绘制功能,绘制出包裹人脸的检测区域和检测区域中对应的竖向检测线20(参见图4)。绘制的检测线20可以作为指示器表示人脸实时转动角度,与人脸转动角度有对应关系。例如对2D人脸图像进行识别分析得到人脸转动角度后,绘制1条检测线20对应当前人脸转动角度。当移动检测线20的位置,人脸转动角度也会相应发生变化,对应得到一个新的人脸转动角度。检测线20是连接检测区域圆内的一条曲线,检测线20的曲率根据人脸转动角度的改变而改变。所谓曲线的曲率,就是针对曲线上某个点的切线方向角对弧长的转动率,通过微分来定义,表明曲线偏离直线的程度,是表明曲线在某一点的弯曲程度的数值。
需说明的是,该实施例是以根据对2D视频流进行抽帧检测所得到的2D人脸图像进行识别从而得到人脸转动角度举例说明但不限于此,可以是直接根据输入的2D人脸图像进行识别,得到人脸转动角度。
在步骤303中,获取当前人脸转动角度和上一人脸转动角度。
本公开方案中,每次得到的人脸转动角度都可以保存,可以获取保存的上一次的上一人脸转动角度作为基础数据,获取当前次的当前人脸转动角度作为对比数据。因为是对视频流进行抽帧检测,所以每一帧可以理解为都是一次检测,上一次可以理解为上一帧。需说明的是,也可以根据需要将紧邻的若干帧作为一次检测。
在步骤304中,确定当前人脸转动角度与上一人脸转动角度的差值的绝对值。
该步骤中,计算当前人脸转动角度和上一人脸转动角度差值的绝对值。
在步骤305中,判断当前人脸转动角度与上一人脸转动角度的差值的绝对值是否小于预设偏差值,如果是,进入步骤306,如果否,进入步骤309。
本公开方案可以设置预设偏差值,即根据不同采集设备和图像识别技术所获得的人脸角度转动准确度的系数。预设偏差值根据不同采集设备的图像采集能力例如像素光线补偿等不同以及所使用的2D图像检测技术不同,会有一些差异,一般预设偏差值可以取5°至9°的范围内,例如取6°或7°等。
该步骤判断当前人脸转动角度与上一人脸转动角度的差值的绝对值是否小于预设偏差值,当绝对值是小于预设偏差值时,则表明当前次检测结果是合理的,波动可以接受,进入步骤306,否则进入步骤309。
在步骤306中,判断所述当前人脸转动角度与上一人脸转动角度相比是否为正向转动,如果是,进入步骤307,如果否,进入步骤308。
本公开方案可以同规定大于上一人脸转动角度的转动角度的方向为正向,小于上一人脸转动角度的转动角度的方向为反向。需说明的是,这样设置只是为了区分是否为同一方向,也可以通过其他设置方式区分是否为同一方向。
该步骤判断所述当前人脸转动角度与上一人脸转动角度相比是正向转动还是反向转动,正向转动进入步骤307,反向转动进入步骤308。
在步骤307中,将绘制的检测线向所述正向移动第一设定值,移动的第一设定值为所述当前人脸转动角度与所述上一人脸转动角度的中间值,进入步骤312。
该步骤中根据上次检测结果规定的方向,如果判断为正向转动,也即此时当前人脸转动角度大于上一人脸转动角度,则预测用户按照惯性延续上次移动方向,因此将检测线20向正向移动,移动的角度可以为当前人脸转动角度与所述上一人脸转动角度的中间值。此处取中间值的目的是使得角度转动更小,视觉表现更平滑。
该步骤将检测线20向正向移动后,可以对应得到一个新的矫正后的人脸转动角度。
需说明的是,除了取中间值,也可以取其他的值,例如通过计算每次检测得出的角度差获得转动加速度,然后预测移动的角度的真实数据。
在步骤308中,将所述绘制的检测线保持不变,进入步骤312。
如果判断为反向转动,也即此时当前人脸转动角度小于上一人脸转动角度,则预测该次检测结果为检测波动,数值不准确,舍弃该次检测结果,将所述绘制的检测线20保持不变,即不移动检测线20,人脸转动角度也保持不变。
在步骤309中,判断所述当前人脸转动角度与上一人脸转动角度相比是否为正向转动,如果是,进入步骤310,如果否,进入步骤311。
当绝对值大于预设偏差值时,预测用户可能有较大幅度动作,因此不视为检测波动,而认定为有效检测。进一步的,判断所述当前人脸转动角度与上一人脸转动角度相比是否为正向转动,如果是,进入步骤310,如果否,进入步骤311。
在步骤310中,将绘制的检测线向所述正向移动第二设定值,第二设定值为所述当前人脸转动角度,进入步骤312。
该步骤中根据上次检测结果规定的方向,如果判断为正向转动,也即此时当前人脸转动角度大于上一人脸转动角度,则按照实际的当前人脸转动角度,将检测线20向正向移动。
该步骤将检测线20向正向移动后,可以对应得到一个新的矫正后的人脸转动角度。
在步骤311中,将绘制的检测线向所述反向移动第二设定值,第二设定值为所述当前人脸转动角度,且更新规定的移动方向的指向,进入步骤312。
该步骤中根据上次检测结果规定的方向,如果判断为反向转动,也即此时当前人脸转动角度小于上一人脸转动角度,则按照实际的当前人脸转动角度,将检测线20向反向移动。同时,更新检测所规定的方向,例如这时移动的方向就被认为是正向,如向反向移动了,则此时的反向被重新规定为正向,原来的正向就被规定为反向,并保存检测结果。
该步骤将检测线20向反向移动后,可以对应得到一个新的矫正后的人脸转动角度。
在步骤312中,通过显示的检测线的位置,提示用户将人脸转动到所述检测线指示的角度。
绘制的检测线20根据不同比较情况矫正移动后,对应得到了新的矫正后的人脸转动角度。将检测线20的位置,在显示界面上实时反馈给用户,提示用户按矫正后的当前人脸转动角度对应的检测线20位置,将人脸转动到所述检测线20指示的角度,也即用户转动头部到指定的角度。
在步骤313中,获取所述人脸按提示转动后拍摄得到的2D人脸图像。
当用户将人脸转动到所述检测线20指示的角度,通过摄像头再次拍摄采集指定角度的人脸图片,也即获取所述人脸按提示转动后拍摄得到的2D人脸图像作为图片素材,用于后续的合成3D模型。
在步骤314中,根据所述获取的人脸按提示转动后拍摄得到的2D人脸图像,合成人脸3D模型。
该步骤中,可根据上一步获取的人脸按提示转动后拍摄得到的2D人脸图像,作为图片素材用于合成人脸3D模型,从而达到3D检测的效果。需说明的是,可以采用相关人脸3D合成技术合成人脸3D模型,本公开并不加以限定。
从该实施例可以看出,本公开的方案,是一种可以基于2D人脸检测技术的数值矫正得到接近3D检测准确结果的优化方案。该方案能够使得2D检测的结果更加准确,达到可以应用的水平,方便更广泛使用。本公开方案可以避免相关3D检测方法成本高和2D检测方法不准确及不可用的缺点,可以应用于对于一般图像或视频流的人脸角度检测。本公开方案可以弥补相关2D检测方法的不足,提高准确性和适用性,使得可以一定程度应用于对于人脸角度判断要求较高的图像检测项目。
与前述应用功能实现方法实施例相对应,本公开还提供了一种人脸检测处理装置、终端设备及相应的实施例。
图5是根据本公开一示例性实施例示出的一种人脸检测处理装置的结构示意图。
参见图5,一种人脸检测处理装置,包括:检测模块51、获取模块52、矫正模块53。
检测模块51,用于检测2D人脸图像得到人脸转动角度。检测模块51可以根据对2D视频流进行抽帧检测所得到的2D人脸图像或输入的2D人脸图像进行识别,得到人脸转动角度。
获取模块52,用于获取所述检测模块51检测的当前人脸转动角度和上一人脸转动角度。
矫正模块53,用于根据所述获取模块52获取的当前人脸转动角度与所述上一人脸转动角度的比较结果,矫正所述当前人脸转动角度。
可以发现,本公开的实施例提供的技术方案,在检测2D人脸图像得到人脸转动角度后,获取当前人脸转动角度和上一人脸转动角度,然后根据所述当前人脸转动角度与所述上一人脸转动角度的比较结果,矫正所述当前人脸转动角度。相关技术中2D检测得出的人脸转动角度的数值一般不太准确,本公开方案中是根据根据所述当前人脸转动角度与所述上一人脸转动角度的比较结果,矫正所述当前人脸转动角度,这样可以使得2D检测得出的人脸转动角度数据被矫正,从而提高检测数据准确性,而且只需要2D采集设备,采集设备的要求不高,因此也可以广泛使用,提高适用性。
图6是根据本公开一示例性实施例示出的一种人脸检测处理装置的结构另一示意图。
参见图6,一种人脸检测处理装置,包括:检测模块51、获取模块52、矫正模块53、提示模块54、更新获取模块55、合成模块56。
其中,检测模块51、获取模块52、矫正模块53的功能可参见图5中的描述,此处不再赘述。
矫正模块53还可以包括:第一矫正子模块531、第二矫正子模块532。
第一矫正子模块531,用于在所述当前人脸转动角度与上一人脸转动角度的差值的绝对值小于预设偏差值时,如果所述当前人脸转动角度与上一人脸转动角度相比为正向转动,将绘制的检测线向所述正向移动第一设定值;或,如果所述当前人脸转动角度与上一人脸转动角度相比为反向转动,将所述绘制的检测线保持不变;根据所述检测线的移动对应得到矫正后的人脸转动角度。所述移动的第一设定值可以为所述当前人脸转动角度与所述上一人脸转动角度的中间值。
第二矫正子模块532,用于在所述当前人脸转动角度与上一人脸转动角度的差值的绝对值大于预设偏差值时,如果所述当前人脸转动角度与上一人脸转动角度相比为正向转动,将绘制的检测线向所述正向移动第二设定值;或,如果所述当前人脸转动角度与上一人脸转动角度相比为反向转动,将绘制的检测线向所述反向移动第二设定值,且更新规定的移动方向的指向;根据所述检测线的移动对应得到矫正后的人脸转动角度。所述移动的第二设定值可以为所述当前人脸转动角度。
提示模块54,用于提示用户按矫正后的当前人脸转动角度对应的检测线位置,将人脸转动到指定角度。提示模块54可以将检测线的位置,在显示界面上实时反馈给用户,提示用户将人脸转动到所述检测线指示的角度,也即用户转动头部到指定的角度。
更新获取模块55,用于获取所述人脸按提示转动后拍摄得到的2D人脸图像。更新获取模块55可以通过摄像头再次拍摄采集指定角度的人脸图片,也即获取所述人脸按提示转动后拍摄得到的2D人脸图像作为图片素材。
合成模块56,用于根据所述更新获取模块55获取的人脸按提示转动后拍摄得到的2D人脸图像,合成人脸3D模型。合成模块56可以将获取的人脸按提示转动后拍摄得到的2D人脸图像,作为图片素材用于合成人脸3D模型,从而达到3D检测的效果。合成模块56可以采用相关人脸3D合成技术合成人脸3D模型,本公开并不加以限定。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不再做详细阐述说明。
图7是根据本公开一示例性实施例示出的一种计算设备的结构示意图。该计算设备可以是移动终端设备但不局限于此。
参见图7,计算设备1000包括存储器1010和处理器1020。
处理器1020可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器1010可以包括各种类型的存储单元,例如系统内存、只读存储器(ROM),和永久存储装置。其中,ROM可以存储处理器1020或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中,永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中,永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备,例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外,存储器1010可以包括任意计算机可读存储媒介的组合,包括各种类型的半导体存储芯片(DRAM,SRAM,SDRAM,闪存,可编程只读存储器),磁盘和/或光盘也可以采用。在一些实施方式中,存储器1010可以包括可读和/或写的可移除的存储设备,例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM,双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器1010上存储有可执行代码,当可执行代码被处理器1020处理时,可以使处理器1020执行上文述及的方法中的部分或全部。
上文中已经参考附图详细描述了本公开的方案。在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详细描述的部分,可以参见其他实施例的相关描述。本领域技术人员也应该知悉,说明书中所涉及的动作和模块并不一定是本公开所必须的。另外,可以理解,本公开实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减,本公开实施例装置中的模块可以根据实际需要进行合并、划分和删减。
此外,根据本公开的方法还可以实现为一种计算机程序或计算机程序产品,该计算机程序或计算机程序产品包括用于执行本公开的上述方法中部分或全部步骤的计算机程序代码指令。
或者,本公开还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质),其上存储有可执行代码(或计算机程序、或计算机指令代码),当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时,使所述处理器执行根据本公开的上述方法的各个步骤的部分或全部。
本领域技术人员还将明白的是,结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
附图中的流程图和框图显示了根据本公开的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (13)

1.一种人脸检测处理方法,其特征在于,包括:
检测2D人脸图像得到人脸转动角度;
获取当前人脸转动角度和上一人脸转动角度;
根据所述当前人脸转动角度与所述上一人脸转动角度的比较结果,矫正所述当前人脸转动角度。
2.根据权利要求1所述的方法,其特征在于,所述根据所述当前人脸转动角度与所述上一人脸转动角度的比较结果,矫正所述当前人脸转动角度之后,还包括:
提示用户按矫正后的当前人脸转动角度对应的检测线位置,将人脸转动到指定角度;
获取所述人脸按提示转动后拍摄得到的2D人脸图像。
3.根据权利要求2所述的方法,其特征在于,所述获取所述人脸按提示转动后拍摄得到的2D人脸图像之后,还包括:
根据所述获取的所述人脸按提示转动后拍摄得到的2D人脸图像,合成人脸3D模型。
4.根据权利要求1所述的方法,其特征在于,所述检测2D人脸图像得到人脸转动角度,包括:
根据对2D视频流进行抽帧检测所得到的2D人脸图像或输入的2D人脸图像进行识别,得到人脸转动角度。
5.根据权利要求1所述的方法,其特征在于,所述根据所述当前人脸转动角度与所述上一人脸转动角度的比较结果,矫正所述当前人脸转动角度,包括:
在所述当前人脸转动角度与上一人脸转动角度的差值的绝对值小于预设偏差值时,
如果所述当前人脸转动角度与上一人脸转动角度相比为正向转动,将绘制的检测线向所述正向移动第一设定值;或,
如果所述当前人脸转动角度与上一人脸转动角度相比为反向转动,将所述绘制的检测线保持不变;
根据所述检测线的移动对应得到矫正后的人脸转动角度。
6.根据权利要求5所述的方法,其特征在于:
所述移动的第一设定值为所述当前人脸转动角度与所述上一人脸转动角度的中间值。
7.根据权利要求1所述的方法,其特征在于,所述根据所述当前人脸转动角度与所述上一人脸转动角度的比较结果,矫正所述当前人脸转动角度,包括:
在所述当前人脸转动角度与上一人脸转动角度的差值的绝对值大于预设偏差值时,
如果所述当前人脸转动角度与上一人脸转动角度相比为正向转动,将绘制的检测线向所述正向移动第二设定值;或,
如果所述当前人脸转动角度与上一人脸转动角度相比为反向转动,将绘制的检测线向所述反向移动第二设定值,且更新规定的移动方向的指向;
根据所述检测线的移动对应得到矫正后的人脸转动角度。
8.根据权利要求7所述的方法,其特征在于:
所述移动的第二设定值为所述当前人脸转动角度。
9.一种人脸检测处理装置,其特征在于,包括:
检测模块,用于检测2D人脸图像得到人脸转动角度;
获取模块,用于获取所述检测模块检测的当前人脸转动角度和上一人脸转动角度;
矫正模块,用于根据所述获取模块获取的当前人脸转动角度与所述上一人脸转动角度的比较结果,矫正所述当前人脸转动角度。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括:
提示模块,用于提示用户按矫正后的当前人脸转动角度对应的检测线位置,将人脸转动到指定角度;
更新获取模块,用于获取所述人脸按提示转动后拍摄得到的2D人脸图像。
11.根据权利要求10所述的方法,其特征在于,所述装置还包括:
合成模块,用于根据所述更新获取模块获取的人脸按提示转动后拍摄得到的2D人脸图像,合成人脸3D模型。
12.一种终端设备,其特征在于,包括:
处理器;以及
存储器,其上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行如权利要求1-8中任一项所述的方法。
13.一种非暂时性机器可读存储介质,其上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如权利要求1-8中任一项所述的方法。
CN202010046935.9A 2020-01-16 2020-01-16 人脸检测处理方法、装置及设备 Active CN111243014B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010046935.9A CN111243014B (zh) 2020-01-16 2020-01-16 人脸检测处理方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010046935.9A CN111243014B (zh) 2020-01-16 2020-01-16 人脸检测处理方法、装置及设备

Publications (2)

Publication Number Publication Date
CN111243014A true CN111243014A (zh) 2020-06-05
CN111243014B CN111243014B (zh) 2023-11-28

Family

ID=70877940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010046935.9A Active CN111243014B (zh) 2020-01-16 2020-01-16 人脸检测处理方法、装置及设备

Country Status (1)

Country Link
CN (1) CN111243014B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787884A (zh) * 2014-12-18 2016-07-20 联想(北京)有限公司 一种图像处理方法及电子设备
WO2016197788A1 (zh) * 2016-02-17 2016-12-15 中兴通讯股份有限公司 拍照方法及装置
CN106874861A (zh) * 2017-01-22 2017-06-20 北京飞搜科技有限公司 一种人脸矫正方法及系统
CN107358207A (zh) * 2017-07-14 2017-11-17 重庆大学 一种矫正人脸图像的方法
CN108470328A (zh) * 2018-03-28 2018-08-31 百度在线网络技术(北京)有限公司 用于处理图像的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787884A (zh) * 2014-12-18 2016-07-20 联想(北京)有限公司 一种图像处理方法及电子设备
WO2016197788A1 (zh) * 2016-02-17 2016-12-15 中兴通讯股份有限公司 拍照方法及装置
CN106874861A (zh) * 2017-01-22 2017-06-20 北京飞搜科技有限公司 一种人脸矫正方法及系统
CN107358207A (zh) * 2017-07-14 2017-11-17 重庆大学 一种矫正人脸图像的方法
CN108470328A (zh) * 2018-03-28 2018-08-31 百度在线网络技术(北京)有限公司 用于处理图像的方法和装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
GEWEI YANG, ET AL: "Face correction and recognition of multi-pose based on Gaussian process regression", 2016 IEEE ADVANCED INFORMATION MANAGEMENT, COMMUNICATES, ELECTRONIC AND AUTOMATION CONTROL CONFERENCE (IMCEC) *
张海燕;高杰;康今朝;: "基于最大特征分量的快速人脸倾斜校正方法", 电子测量与仪器学报, no. 04 *
杨作宝;侯凌燕;杨大利;: "改进的多姿态矫正的人脸识别算法", 微型机与应用, no. 03 *
马颖哲;孙劲光;: "一种多视角人脸检测方法", 计算机工程与科学, no. 01 *

Also Published As

Publication number Publication date
CN111243014B (zh) 2023-11-28

Similar Documents

Publication Publication Date Title
US10074031B2 (en) 2D image analyzer
CN109977770B (zh) 一种自动跟踪拍摄方法、装置、系统及存储介质
CN106650662B (zh) 目标对象遮挡检测方法及装置
CN109086734B (zh) 一种对人眼图像中瞳孔图像进行定位的方法及装置
JP2013009050A (ja) 画像処理装置、画像処理方法
US11620730B2 (en) Method for merging multiple images and post-processing of panorama
CN111028205B (zh) 一种基于双目测距的眼睛瞳孔定位方法及装置
JPWO2018051459A1 (ja) 物体検出装置および物体検出方法
CN110660102B (zh) 基于人工智能的说话人识别方法及装置、系统
CN109711241B (zh) 物体检测方法、装置与电子设备
US10956782B2 (en) Training for camera lens distortion
CN109002796A (zh) 一种图像采集方法、装置和系统以及电子设备
CN108875506B (zh) 人脸形状点跟踪方法、装置和系统及存储介质
US20210335010A1 (en) Calibration method and calibration apparatus
CN112116068A (zh) 一种环视图像拼接方法、设备及介质
CN111243014B (zh) 人脸检测处理方法、装置及设备
CN112752086B (zh) 用于环境映射的图像信号处理器、方法和系统
US11023769B2 (en) Modifying an image based on identifying a feature
CN107977644B (zh) 基于图像采集设备的图像数据处理方法及装置、计算设备
CN112272267A (zh) 拍摄控制方法、拍摄控制装置及电子设备
CN113409375A (zh) 图像处理方法、装置以及非易失性存储介质
JP3452188B2 (ja) 2次元動画像中の特徴点の追跡方法
JP2013029996A (ja) 画像処理装置
US10609311B2 (en) Method and device for increasing resolution of an image sensor
CN111401223A (zh) 一种脸型对比方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant