CN107977650A - 人脸检测方法及装置 - Google Patents

人脸检测方法及装置 Download PDF

Info

Publication number
CN107977650A
CN107977650A CN201711391527.1A CN201711391527A CN107977650A CN 107977650 A CN107977650 A CN 107977650A CN 201711391527 A CN201711391527 A CN 201711391527A CN 107977650 A CN107977650 A CN 107977650A
Authority
CN
China
Prior art keywords
roi
depth
continuum
value
figures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711391527.1A
Other languages
English (en)
Other versions
CN107977650B (zh
Inventor
王行
李骊
李朔
盛赞
周晓军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing HJIMI Technology Co Ltd
Original Assignee
Beijing HJIMI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing HJIMI Technology Co Ltd filed Critical Beijing HJIMI Technology Co Ltd
Priority to CN201711391527.1A priority Critical patent/CN107977650B/zh
Publication of CN107977650A publication Critical patent/CN107977650A/zh
Application granted granted Critical
Publication of CN107977650B publication Critical patent/CN107977650B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种人脸检测方法及装置,所述方法包括:确定摄像头采集的深度图中的深度连续区域,并在深度图对应的2D图中确定深度连续区域对应的2D图区域;根据深度连续区域中的深度值和2D图区域中的颜色值提取包含头部区域的第一ROI;合并重合的第一ROI,得到第二ROI;从深度图和2D图中截取第二ROI对应的RGB‑D图,并根据RGB‑D图中的深度值和颜色值回归人脸位置。本申请通过提取ROI进行人脸检测,无需对整幅图进行人脸检测,因此耗时较短,能够提升人脸检测速度。并且由真实人脸的鼻子与脸颊的高度不同可得,鼻子部分和脸颊部分在深度图中的深度值不同,因此通过深度图可以区分真实人脸还是照片。

Description

人脸检测方法及装置
技术领域
本申请涉及检测技术领域,尤其涉及一种人脸检测方法及装置。
背景技术
目前人脸检测技术已广泛应用在智能监控、智能手机应用、智能家居等领域。现有的人脸检测技术均是在2D图像上进行的人脸定位,具体地,通过对2D图像进行多尺度缩放,得到多尺度图像,然后以滑窗方式遍历每帧多尺度图像,并提取当前窗口对应的特征,并将提取的特征输入到分类器中,以获取人脸区域,最后融合获取到的重合的人脸区域,从而得到人脸位置。
然而,现有检测技术完全依赖于2D图像的像素信息,抗干扰能力弱,很难区分是真实人脸还是照片,并且需要用窗口遍历多个尺度图像,耗时比较长。
发明内容
有鉴于此,本申请提供一种人脸检测方法及装置,以解决现有检测方式抗干扰能力弱的问题。
根据本申请实施例的第一方面,提供一种人脸检测方法,所述方法包括:
确定摄像头采集的深度图中的深度连续区域,并在所述深度图对应的2D图中确定所述深度连续区域对应的2D图区域;
根据所述深度连续区域中的深度值和所述2D图区域中的颜色值提取包含头部区域的第一ROI;
合并重合的第一ROI,得到第二ROI;
从所述深度图和所述2D图中截取所述第二ROI对应的RGB-D图,并根据所述RGB-D图中的深度值和颜色值回归人脸位置。
根据本申请实施例的第二方面,提供一种人脸检测装置,所述装置包括:
确定模块,用于确定摄像头采集的深度图中的深度连续区域,并在所述深度图对应的2D图中确定所述深度连续区域对应的2D图区域;
提取模块,用于根据所述深度连续区域中的深度值和所述2D图区域中的颜色值提取包含头部区域的第一ROI;
合并模块,用于合并重合的第一ROI,得到第二ROI;
回归模块,用于从所述深度图和所述2D图中截取所述第二ROI对应的RGB-D图,并根据所述RGB-D图中的深度值和颜色值回归人脸位置。
应用本申请实施例,图像采集设备确定摄像头采集的深度图中的深度连续区域后,在深度图对应的2D图中再确定深度连续区域对应的2D图区域,然后根据深度连续区域中的深度值和2D图区域中的颜色值提取包含头部区域的第一ROI,并合并重合的第一ROI,得到第二ROI,最后从深度图和2D图中截取第二ROI对应的RGB-D图,并根据RGB-D图中的深度值和颜色值回归人脸位置。基于上述描述可知,由真实人脸的鼻子与脸颊的高度不同可得,鼻子部分和脸颊部分在深度图中的深度值不同,而照片中的人脸是平的,在深度图中的深度值相同,因此通过人脸位置在深度图中的深度值可以区分真实人脸还是照片。由于深度图反映的是物体与成像装置之间的距离大小,并不受光照影响,因此在光照不理想情况下,通过深度图和2D图的结合仍然能够精确定位人脸位置。此外,本申请通过提取ROI进行人脸检测,无需对整幅图进行人脸检测,因此耗时较短,能够提升人脸检测速度。
附图说明
图1A为本申请根据一示例性实施例示出的一种人脸检测方法的实施例流程图;
图1B为本申请根据图1A所示实施例示出的一种深度连续区域的示意图;
图1C为本申请根据图1A所示实施例示出的一种提取到的第一ROI的示意图;
图1D和图1E为本申请根据图1A所示实施例示出的一种人脸位置合并前和区域合并后的2D图;
图1F和图1G为本申请根据图1A所示实施例示出的一种光照不理想2D图和对应的人脸检测结果图;
图2为本申请根据一示例性实施例示出的另一种人脸检测方法的实施例流程图;
图3为本申请根据一示例性实施例示出的再一种人脸检测方法的实施例流程图;
图4为本申请根据一示例性实施例示出的一种图像采集设备的硬件结构图;
图5为本申请根据一示例性实施例示出的一种人脸检测装置的实施例结构图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
图1A为本申请根据一示例性实施例示出的一种人脸检测方法的实施例流程图;图1B为本申请根据图1A所示实施例示出的一种深度连续区域的示意图;图1C为本申请根据图1A所示实施例示出的一种提取的第一ROI的示意图;图1D和图1E为本申请根据图1A所示实施例示出的一种人脸位置合并前和区域合并后的2D图;图1F和图1G为本申请根据图1A所示实施例示出的一种光照不理想2D图和对应的人脸检测结果图,该实施例可以应用于图像采集设备(例如摄像机)上,如图1A所示,该人脸检测方法包括如下步骤:
步骤101:确定摄像头采集的深度图中的深度连续区域,并在深度图对应的2D图中确定深度连续区域对应的2D图区域。
在一实施例中,图像采集设备采集到当前场景的深度图和对应的2D图后,可以通过Blob检测算法确定深度图中的深度连续区域。
其中,2D图可以是彩色图,也可以是灰度图。深度连续区域是深度图中的子区域,每个深度连续区域中的深度值变化很小,即相邻像素之间的深度值差值均未超过某一预设数值。通常深度图中同一物体的深度值相同或者变化很小,不同物体的深度值差别比较大,因此通过深度连续区域可以将深度图中的每个物体分离出来。
在另一实施例中,在确定深度图中的深度连续区域之后,图像采集设备可以将面积在预设面积范围之外的深度连续区域丢弃,以去除背景干扰,将不属于人的区域过滤掉,提升后续的人脸检测速度。
其中,预设面积范围指的是人在图像中所占的面积范围,可以根据实际经验进行设置。
在一示例性场景中,如图1B所示,深度图中包括三个深度连续区域Blob1、Blob2、Blob3,Blob1包括的是人、Blob2包括的是花盆、Blob3包括的是桌子。由Blob2的面积小于预设面积范围,Blob3的面积大于预设面积范围,而Blob1的面积在预设面积范围之内,因此可以将Blob2和Blob3丢弃。
步骤102:根据深度连续区域中的深度值和2D图区域中的颜色值提取包含头部区域的第一ROI。
在一实施例中,图像采集设备可以将深度连续区域中的深度值和2D图区域中的颜色值输入到分类器中,由分类器输出包含头部区域的第一ROI(Region of Interest,感兴趣区域)。从而图像采集设备后续只需要对第一ROI进行人脸检测,而无需对整幅图进行人脸检测,提升了人脸检测速度。
其中,分类器可以通过CNN(Convolutional Neural Network,卷积神经网络)实现,也可以通过SVM(Support Vector Machine,支持向量机)实现,本申请在此不进行限制。
基于上述步骤101所示的场景,如图1C所示,从深度连续区域Blob1中提取出的第一ROI,即为人的头部区域。
步骤103:合并重合的第一ROI,得到第二ROI。
在一实施例中,在实际应用中,分类器输出的第一ROI,通常会存在区域重合的问题,因此需要对提取的第一ROI进行融合,以合并重合区域。图像采集设备可以确定每两个第一ROI之间的重合率,并合并重合率超过第二预设阈值的第一ROI。
其中,图像采集设备可以将两个第一ROI之间的重合面积与两个第一ROI的面积之和的商确定为两个第一ROI的重合率,该第二预设阈值可以根据实际经验设置,例如第二预设阈值可以是0.7。然后可以通过NMS(Non-Maximum Suppression,非极大值抑制)算法实现第一ROI的合并。
步骤104:从深度图和2D图中截取第二ROI对应的RGB-D图,并根据RGB-D图中的深度值和颜色值回归人脸位置。
在一实施例中,截取的RGB-D图指的是颜色深度图像,实际是两幅图,一副是深度图,另一幅是2D图,因此RGB-D图包含颜色值和深度值。
在另一实施例中,图像采集设备可以将RGB-D图中的深度值和颜色值输入到回归器中,由回归器输出人脸位置。由于上述步骤103得到的第二ROI包含的头部区域比较宽泛,例如除了人脸区域还有头发区域,因此,图像采集设备通过回归器可以精确提取人脸位置。
其中,回归器可以通过CNN(Convolutional Neural Network,卷积神经网络)实现,也可以通过SVR(Support Vector Regression,支持向量回归机)实现。
在又一实施例中,在实际使用中,由回归器输出的人脸位置可能仍然不止一个,存在重合的区域,因此可以进一步对人脸位置进行融合,以合并重合区域。图像采集设备可以利用上述步骤103中的合并算法进一步合并重合的人脸位置,进而得到精确的人脸位置。
在一示例性场景中,如图1D所示,为经过上述步骤101至步骤104处理之后,得到的人脸位置框,有3个,如图1E所示,为进一步合并重合的人脸位置后,得到1个精确的人脸位置框。
值得说明的是,本申请通过深度图中的深度值与2D图中的颜色值的结合实现人脸检测,由于深度图反映的是物体与成像装置之间的距离大小,并不受光照影响,因此在光照不理想情况下(例如光强过弱或过强,或者人脸姿态角度大),仍然能够精确定位人脸位置。
在另一示例性场景中,如图1F所示,为采集的2D图,光照比较暗,且人脸姿态角度比较大,如图1G所示,为利用图1F和对应的深度图经过上述步骤101至步骤104处理之后,得到的人脸位置。
本实施例中,图像采集设备确定摄像头采集的深度图中的深度连续区域后,在深度图对应的2D图中再确定深度连续区域对应的2D图区域,然后根据深度连续区域中的深度值和2D图区域中的颜色值提取包含头部区域的第一ROI,并合并重合的第一ROI,得到第二ROI,最后从深度图和2D图中截取第二ROI对应的RGB-D图,并根据RGB-D图中的深度值和颜色值回归人脸位置。基于上述描述可知,由真实人脸的鼻子与脸颊的高度不同可得,鼻子部分和脸颊部分在深度图中的深度值不同,而照片中的人脸是平的,在深度图中的深度值相同,因此通过人脸位置在深度图中的深度值可以区分真实人脸还是照片。由于深度图反映的是物体与成像装置之间的距离大小,并不受光照影响,因此在光照不理想情况下,通过深度图和2D图的结合仍然能够精确定位人脸位置。此外,本申请通过提取ROI进行人脸检测,无需对整幅图进行人脸检测,因此耗时较短,能够提升人脸检测速度。
图2为本申请根据一示例性实施例示出的另一种人脸检测方法的实施例流程图,本实施例利用本申请实施例提供的上述方法,如图2所示,包括如下步骤:
步骤201:确定摄像头采集的深度图中的深度连续区域,并在深度图对应的2D图中确定所述深度连续区域对应的2D图区域。
步骤201的描述请参见上述步骤101的描述,在此不再赘述。
步骤202:根据深度连续区域中的深度值确定缩放尺度。
在一实施例中,为了将深度连续区域和对应的2D图区域中的数据标准化,可以将深度连续区域和2D图区域缩放至某一合适的尺度。图像采集设备可以根据深度连续区域中的深度值确定缩放尺度,缩放尺度计算公式可以是:scale=k*d+b;
其中,scale>1表示放大,scale<1表示缩小,d可以是待归一化区域的深度值的平均值,也可以是最大值或者最小值,本申请不进行限制,k和b的取值需要满足的条件是:被摄场景与摄像头之间的距离近时,需要scale<1,即缩小图像至某一合理尺度,被摄场景与摄像头之间的距离远时,需要scale>1,即放大图像至某一合理尺度,k和b的具体数值可以根据摄像头的分辨率确定,例如,对于摄像头采集图像的分辨率为640*480,k取0.8,b取0.1可以适用于所有距离。
步骤203:利用缩放尺度对深度连续区域中的深度值和2D图区域中的颜色值分别进行归一化处理。
在一实施例中,深度连续区域的归一化公式可以为:其中,Db为深度连续区域,scale为缩放尺度,为归一化后的深度连续区域;对应的2D图区域的归一化公式可以为:其中,Ib为2D图区域,scale为缩放尺度,为归一化后的深度连续区域。
步骤204:根据归一化后的深度连续区域中的深度值和归一化后的2D图区域中的颜色值提取包含头部区域的第一ROI。
步骤204的描述请参见上述步骤102的描述,在此不再赘述。
步骤205:确定每个第一ROI的置信度,并将置信度低于第一预设阈值的第一ROI丢弃。
在一实施例中,上述步骤中的分类器输出第一ROI之外,还可以输出每一个第一ROI的置信度,表示的是该第一ROI为人脸的可能性程度。为了提高人脸检测精度,可以将置信度低的ROI过滤掉,该第一预设阈值可以根据实际经验设置,例如第一预设阈值可以是0.7。
步骤206:合并重合的第一ROI,得到第二ROI。
步骤206的描述可以参见上述步骤103的描述,不再赘述。
步骤207:从深度图和2D图中截取第二ROI对应的RGB-D图,并利用预设尺度对RGB-D图进行归一化处理。
关于从深度图和2D图中截取第二ROI对应的RGB-D图的过程,可以参见上述步骤104的相关描述,不再赘述。
在一实施例中,预设尺度为回归器要求输入的图像大小对应的缩放尺度,图像采集设备可以预先设置。如何进行归一化可以参见上述步骤203的相关描述,不再赘述。
步骤208:根据归一化后的RGB-D图中的深度值和颜色值回归人脸位置。
步骤208的描述可以参见上述步骤104的相关描述,不再赘述。
本实施例中,图像采集设备在提取第一ROI之前,由于是根据深度连续区域中的深度值确定的缩放尺度对深度连续区域和对应的2D图区域进行归一化处理,因此后续只需对一个尺度区域进行人脸检测,而不是用多个尺度进行归一化处理,并对多尺度图像进行人脸检测,从而可以进一步提升人脸检测速度。
图3为本申请根据一示例性实施例示出的再一种人脸检测方法的实施例流程图,本实施例利用本申请实施例提供的上述方法,如图3所示,包括如下步骤:
步骤301:根据深度连续区域中的深度值和2D图区域中的颜色值提取第一ROI之后,确定第一ROI的头部姿态。
在一实施例中,上述步骤102中分类器输出第一ROI的同时,还可以输出第一ROI的头部姿态。例如,头部姿态可以是左侧脸-20度、右侧脸+30度、抬头-30度、低头+50度等。
步骤302:合并重合的第一ROI,得到第二ROI之后,根据第一ROI的头部姿态确定第二ROI的头部姿态。
在一实施例中,由上述步骤205所述,每个第一ROI均有对应的置信度,因此,图像采集设备可以将置信度最高的第一ROI的头部姿态确定为第二ROI的头部姿态。
例如,第二ROI是由两个第一ROI(ROI-1和ROI-2)合并得到的,而ROI-1对应的置信度为0.7,头部姿态为左侧脸,ROI-2对应的置信度为0.8,头部姿态为抬头,由于ROI-2的置信度最大,因此,可以将ROI-2的头部姿态确定为第二ROI的头部姿态。
步骤303:根据RGB-D图中的深度值和颜色值回归人脸位置之后,确定人脸位置的头部姿态的偏移。
在一实施例中,上述步骤104中回归器输出人脸位置的同时,还可以输出人脸位置的头部姿态的偏移。
步骤304:根据头部姿态的偏移确定最终的头部姿态。
在一示例性场景中,截取的RGB-D图对应的头部姿态为左侧脸-20度,回归器输出的头部姿态的偏移为左20度,则最终的头部姿态为左侧脸-40度。
本实施例中,图像采集设备通过深度连续区域中的深度值和2D图区域中的颜色值结合,在提取第一ROI的同时,还可以得到初始的头部姿态,并且在回归人脸位置的同时,还可以得到头部姿态的偏移,进而根据该头部姿态的偏移可以得到精确的头部姿态,以用于后期的人脸应用中(例如人脸对齐、人脸化妆等应用)。
与前述人脸检测方法的实施例相对应,本申请还提供了人脸检测装置的实施例。
本申请人脸检测装置的实施例可以应用在图像采集设备上。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图4所示,为本申请根据一实施例性实施例示出的一种图像采集设备的硬件结构图,除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的设备通常根据该设备的实际功能,还可以包括其他硬件,对此不再赘述。
图5为本申请根据一示例性实施例示出的一种人脸检测装置的实施例结构图,如图5所示,该人脸检测装置包括:确定模块510、提取模块520、合并模块530以及回归模块540。
其中,确定模块510,用于确定摄像头采集的深度图中的深度连续区域,并在所述深度图对应的2D图中确定所述深度连续区域对应的2D图区域;
提取模块520,用于根据所述深度连续区域中的深度值和所述2D图区域中的颜色值提取包含头部区域的第一ROI;
合并模块530,用于合并重合的第一ROI,得到第二ROI;
回归模块540,用于从所述深度图和所述2D图中截取所述第二ROI对应的RGB-D图,并根据所述RGB-D图中的深度值和颜色值回归人脸位置。
在一可选的实现方式中,所述装置还包括(图5中未示出):
第一过滤模块,用于在所述确定模块510确定摄像头采集到的深度图中的深度连续区域之后,将面积在预设面积范围之外的深度连续区域丢弃。
在一可选的实现方式中,所述装置还包括(图5中未示出):
归一化模块,用于在所述提取模块520根据所述深度连续区域中的深度值和所述2D图区域中的颜色值提取第一ROI之前,根据所述深度连续区域中的深度值确定缩放尺度;利用所述缩放尺度对所述深度连续区域中的深度值和所述2D图区域中的颜色值分别进行归一化处理。
在一可选的实现方式中,所述装置还包括(图5中未示出):
第二过滤模块,用于在所述合并模块530合并重合的第一ROI之前,确定每个第一ROI的置信度;将置信度低于第一预设阈值的第一ROI丢弃。
在一可选的实现方式中,所述合并模块530,具体用于确定每两个第一ROI之间的重合率;合并重合率超过第二预设阈值的第一ROI。
在一可选的实现方式中,所述装置还包括(图5中未示出):
头部姿态确定模块,具体用于在所述提取模块根据所述深度连续区域中的深度值和所述2D图区域中的颜色值提取第一ROI之后,确定第一ROI的头部姿态;合并重合的第一ROI,得到第二ROI之后,根据所述第一ROI的头部姿态确定所述第二ROI的头部姿态;根据所述RGB-D图中的深度值和颜色值回归人脸位置之后,确定所述人脸位置的头部姿态的偏移;根据所述头部姿态的偏移确定最终的头部姿态。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。

Claims (12)

1.一种人脸检测方法,其特征在于,所述方法包括:
确定摄像头采集的深度图中的深度连续区域,并在所述深度图对应的2D图中确定所述深度连续区域对应的2D图区域;
根据所述深度连续区域中的深度值和所述2D图区域中的颜色值提取包含头部区域的第一感兴趣区域ROI;
合并重合的第一ROI,得到第二ROI;
从所述深度图和所述2D图中截取所述第二ROI对应的RGB-D图,并根据所述RGB-D图中的深度值和颜色值回归人脸位置。
2.根据权利要求1所述的方法,其特征在于,所述确定摄像头采集到的深度图中的深度连续区域之后,所述方法还包括:
将面积在预设面积范围之外的深度连续区域丢弃。
3.根据权利要求1所述的方法,其特征在于,所述根据所述深度连续区域中的深度值和所述2D图区域中的颜色值提取第一ROI之前,所述方法还包括:
根据所述深度连续区域中的深度值确定缩放尺度;
利用所述缩放尺度对所述深度连续区域中的深度值和所述2D图区域中的颜色值分别进行归一化处理。
4.根据权利要求1所述的方法,其特征在于,所述合并重合的第一ROI之前,所述方法还包括:
确定每个第一ROI的置信度;
将置信度低于第一预设阈值的第一ROI丢弃。
5.根据权利要求1所述的方法,其特征在于,所述合并重合的第一ROI,包括:
确定每两个第一ROI之间的重合率;
合并重合率超过第二预设阈值的第一ROI。
6.根据权利要求1所述的方法,其特征在于,所述根据所述深度连续区域中的深度值和所述2D图区域中的颜色值提取第一ROI之后,所述方法还包括:
确定第一ROI的头部姿态;
合并重合的第一ROI,得到第二ROI之后,根据所述第一ROI的头部姿态确定所述第二ROI的头部姿态;
根据所述RGB-D图中的深度值和颜色值回归人脸位置之后,确定所述人脸位置的头部姿态的偏移;
根据所述头部姿态的偏移确定最终的头部姿态。
7.一种人脸检测装置,其特征在于,所述装置包括:
确定模块,用于确定摄像头采集的深度图中的深度连续区域,并在所述深度图对应的2D图中确定所述深度连续区域对应的2D图区域;
提取模块,用于根据所述深度连续区域中的深度值和所述2D图区域中的颜色值提取包含头部区域的第一感兴趣区域ROI;
合并模块,用于合并重合的第一ROI,得到第二ROI;
回归模块,用于从所述深度图和所述2D图中截取所述第二ROI对应的RGB-D图,并根据所述RGB-D图中的深度值和颜色值回归人脸位置。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
第一过滤模块,用于在所述确定模块确定摄像头采集到的深度图中的深度连续区域之后,将面积在预设面积范围之外的深度连续区域丢弃。
9.根据权利要求7所述的装置,其特征在于,所述装置还包括:
归一化模块,用于在所述提取模块根据所述深度连续区域中的深度值和所述2D图区域中的颜色值提取第一ROI之前,根据所述深度连续区域中的深度值确定缩放尺度;利用所述缩放尺度对所述深度连续区域中的深度值和所述2D图区域中的颜色值分别进行归一化处理。
10.根据权利要求7所述的装置,其特征在于,所述装置还包括:
第二过滤模块,用于在所述合并模块合并重合的第一ROI之前,确定每个第一ROI的置信度;将置信度低于第一预设阈值的第一ROI丢弃。
11.根据权利要求7所述的装置,其特征在于,所述合并模块,具体用于确定每两个第一ROI之间的重合率;合并重合率超过第二预设阈值的第一ROI。
12.根据权利要求7所述的装置,其特征在于,所述装置还包括:
头部姿态确定模块,具体用于在所述提取模块根据所述深度连续区域中的深度值和所述2D图区域中的颜色值提取第一ROI之后,确定第一ROI的头部姿态;合并重合的第一ROI,得到第二ROI之后,根据所述第一ROI的头部姿态确定所述第二ROI的头部姿态;根据所述RGB-D图中的深度值和颜色值回归人脸位置之后,确定所述人脸位置的头部姿态的偏移;根据所述头部姿态的偏移确定最终的头部姿态。
CN201711391527.1A 2017-12-21 2017-12-21 人脸检测方法及装置 Active CN107977650B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711391527.1A CN107977650B (zh) 2017-12-21 2017-12-21 人脸检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711391527.1A CN107977650B (zh) 2017-12-21 2017-12-21 人脸检测方法及装置

Publications (2)

Publication Number Publication Date
CN107977650A true CN107977650A (zh) 2018-05-01
CN107977650B CN107977650B (zh) 2019-08-23

Family

ID=62007072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711391527.1A Active CN107977650B (zh) 2017-12-21 2017-12-21 人脸检测方法及装置

Country Status (1)

Country Link
CN (1) CN107977650B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034079A (zh) * 2018-08-01 2018-12-18 中国科学院合肥物质科学研究院 一种用于人脸非标准姿态下的面部表情识别方法
CN109086724A (zh) * 2018-08-09 2018-12-25 北京华捷艾米科技有限公司 一种加速的人脸检测方法及存储介质
CN109460709A (zh) * 2018-10-12 2019-03-12 南京大学 基于rgb和d信息融合的rtg视觉障碍物检测的方法
CN109993086A (zh) * 2019-03-21 2019-07-09 北京华捷艾米科技有限公司 人脸检测方法、装置、系统及终端设备
CN110186167A (zh) * 2019-05-31 2019-08-30 广东美的制冷设备有限公司 空调器的控制方法、装置、空调器及存储介质
CN110334769A (zh) * 2019-07-09 2019-10-15 北京华捷艾米科技有限公司 目标识别方法及装置
CN111382639A (zh) * 2018-12-30 2020-07-07 深圳市光鉴科技有限公司 一种活体人脸检测方法及装置
CN111832535A (zh) * 2018-08-24 2020-10-27 创新先进技术有限公司 人脸识别方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130054569A (ko) * 2011-11-17 2013-05-27 재단법인대구경북과학기술원 머리 위치에 따른 3차원 음향 구현장치 및 그 방법
CN103971116A (zh) * 2014-04-24 2014-08-06 西北工业大学 基于Kinect的感兴趣区域检测方法
US20140241624A1 (en) * 2013-02-27 2014-08-28 Sony Corporation Method and system for image processing
WO2016045711A1 (en) * 2014-09-23 2016-03-31 Keylemon Sa A face pose rectification method and apparatus
CN106372629A (zh) * 2016-11-08 2017-02-01 汉王科技股份有限公司 一种活体检测方法和装置
CN106874830A (zh) * 2016-12-12 2017-06-20 杭州视氪科技有限公司 一种基于rgb‑d相机和人脸识别的视障人士辅助方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130054569A (ko) * 2011-11-17 2013-05-27 재단법인대구경북과학기술원 머리 위치에 따른 3차원 음향 구현장치 및 그 방법
US20140241624A1 (en) * 2013-02-27 2014-08-28 Sony Corporation Method and system for image processing
CN103971116A (zh) * 2014-04-24 2014-08-06 西北工业大学 基于Kinect的感兴趣区域检测方法
WO2016045711A1 (en) * 2014-09-23 2016-03-31 Keylemon Sa A face pose rectification method and apparatus
CN106372629A (zh) * 2016-11-08 2017-02-01 汉王科技股份有限公司 一种活体检测方法和装置
CN106874830A (zh) * 2016-12-12 2017-06-20 杭州视氪科技有限公司 一种基于rgb‑d相机和人脸识别的视障人士辅助方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034079A (zh) * 2018-08-01 2018-12-18 中国科学院合肥物质科学研究院 一种用于人脸非标准姿态下的面部表情识别方法
CN109086724A (zh) * 2018-08-09 2018-12-25 北京华捷艾米科技有限公司 一种加速的人脸检测方法及存储介质
CN111832535A (zh) * 2018-08-24 2020-10-27 创新先进技术有限公司 人脸识别方法及装置
CN109460709A (zh) * 2018-10-12 2019-03-12 南京大学 基于rgb和d信息融合的rtg视觉障碍物检测的方法
CN109460709B (zh) * 2018-10-12 2020-08-04 南京大学 基于rgb和d信息融合的rtg视觉障碍物检测的方法
CN111382639A (zh) * 2018-12-30 2020-07-07 深圳市光鉴科技有限公司 一种活体人脸检测方法及装置
CN109993086A (zh) * 2019-03-21 2019-07-09 北京华捷艾米科技有限公司 人脸检测方法、装置、系统及终端设备
CN110186167A (zh) * 2019-05-31 2019-08-30 广东美的制冷设备有限公司 空调器的控制方法、装置、空调器及存储介质
CN110334769A (zh) * 2019-07-09 2019-10-15 北京华捷艾米科技有限公司 目标识别方法及装置

Also Published As

Publication number Publication date
CN107977650B (zh) 2019-08-23

Similar Documents

Publication Publication Date Title
CN107977650A (zh) 人脸检测方法及装置
CN107766786B (zh) 活性测试方法和活性测试计算设备
Li et al. Learning intrinsic image decomposition from watching the world
CN109711243B (zh) 一种基于深度学习的静态三维人脸活体检测方法
TWI686774B (zh) 人臉活體檢測方法和裝置
WO2020018359A1 (en) Three-dimensional living-body face detection method, face authentication recognition method, and apparatuses
EP3333768A1 (en) Method and apparatus for detecting target
US9104914B1 (en) Object detection with false positive filtering
CN112052831B (zh) 人脸检测的方法、装置和计算机存储介质
CN111626163B (zh) 一种人脸活体检测方法、装置及计算机设备
Saha et al. Mutual spectral residual approach for multifocus image fusion
US11227149B2 (en) Method and apparatus with liveness detection and object recognition
CN101271514A (zh) 一种快速目标检测和目标输出的图像检测方法及装置
WO2022121895A1 (zh) 双目活体检测方法、装置、设备和存储介质
WO2020147346A1 (zh) 图像识别方法、系统及装置
KR102275803B1 (ko) 얼굴 위변조 검출 장치 및 방법
Langmann et al. Multi-modal background subtraction using gaussian mixture models
US20230091865A1 (en) Face image verification method and apparatus, electronic device, and storage medium
CN106951750A (zh) 一种移动终端切换模式的方法及移动终端
JP2016505185A (ja) エッジ選択機能を有するイメージプロセッサ
Allaert et al. Optical flow techniques for facial expression analysis: Performance evaluation and improvements
Beham et al. Anti-spoofing enabled face recognition based on aggregated local weighted gradient orientation
KR100863882B1 (ko) 얼굴인식 보안 감시 방법과 이에 적용되는 얼굴인식장치
Greco et al. Saliency based aesthetic cut of digital images
Zia et al. Exploring chromatic aberration and defocus blur for relative depth estimation from monocular hyperspectral image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant