CN108052878B - 人脸识别设备和方法 - Google Patents
人脸识别设备和方法 Download PDFInfo
- Publication number
- CN108052878B CN108052878B CN201711226945.5A CN201711226945A CN108052878B CN 108052878 B CN108052878 B CN 108052878B CN 201711226945 A CN201711226945 A CN 201711226945A CN 108052878 B CN108052878 B CN 108052878B
- Authority
- CN
- China
- Prior art keywords
- face
- dimensional
- projection
- light
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000003384 imaging method Methods 0.000 claims abstract description 104
- 238000005286 illumination Methods 0.000 claims description 32
- 238000000605 extraction Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000003331 infrared imaging Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 239000002537 cosmetic Substances 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 108010064719 Oxyhemoglobins Proteins 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004132 cross linking Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000007920 subcutaneous administration Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Abstract
公开了一种人脸识别设备和方法。其中，第一投射装置用于向拍摄区域投射离散光束；不与第一投射装置同时工作的第二投射装置用于向拍摄区域投射基本均匀的均匀光；具有预定相对位置关系的第一和第二成像单元用于对拍摄区域进行拍摄以分别获得在离散斑点照射下的第一和第二二维图像；处理器用于基于第一和第二二维图像获取拍摄区域中人脸的深度图信息、基于在投射均匀光下拍摄的二维图像获取人脸的轮廓信息、以及根据深度图信息和轮廓信息确定拍摄区域中的人脸是否与存储的目标人脸相同。由此，能够通过分帧拍摄二维和三维图像材料而在各种应用场景下快速准确地获得识别待测人脸所需的信息。
Description
技术领域
本发明涉及图像测量与处理领域，特别涉及一种用于人脸识别的设备和方法。
背景技术
人脸检测与识别已经广泛应用于各种场景下的身份认证。例如，使用人脸解锁手机或是进行支付。传统的图像拍摄方法只能获得人脸的二维信息，无法得到空间深度信息，因此不法人员可以采用照片和视频等方式骗取计算机识别成功。这大大限制了人脸识别认证的可行与可靠性。通过引入人脸三维信息的测量与检测，能够大大提升人脸识别的应用范围。
三维信息，亦可称深度信息或景深信息。目前三维测量技术多采用激光进行辅助，例如可以通过三角测量法计算得出待测物体表面的空间深度值。现有技术中使用单目视觉识别技术来测量人脸的三维信息。但由于单目视觉往往需要投射光束的扫描或是与参考纹理的比较，因此其易用性和成像速度都存在缺陷。
因此，需要一种能够快速准确地识别人脸的设备和方法。
发明内容
本发明所要解决的一个技术问题是，提供一种人脸识别设备和方法，使得能够在不受环境光以及背景的影响的情况下，快速准确地获得待测人脸的深度信息。同时，还能够对各类伪装人脸情况进行识别，以提升人脸识别的安全性。
根据本发明的一个方面，提供了一种人脸识别设备，包括：第一投射装置，用于向拍摄区域投射离散光束，所述离散光束被调制以在所述拍摄区域中形成多个离散斑点；不与所述第一投射装置同时工作的第二投射装置，用于向所述拍摄区域投射基本均匀的均匀光；具有预定相对位置关系的第一和第二成像单元，用于对所述拍摄区域进行拍摄以分别获得在所述离散斑点照射的第一和第二二维图像；以及处理器，用于基于所述第一和第二二维图像获取所述拍摄区域中人脸的深度图信息，基于在投射所述均匀光下拍摄的二维图像获取所述人脸的轮廓信息，以及基于所述深度图信息和所述轮廓信息确定所述拍摄区域中的人脸是否与存储的目标人脸相同。
由此，通过均匀光照射下获取人脸轮廓信息，并通过离散光束照射下双目视觉识别技术获取人脸的深度信息，就能够相对快捷地获取高准确度的人脸信息，从而为实现高安全级别应用下的人脸识别提供基础。
在投射所述均匀光下拍摄的二维图像可以是由第一和/或第二成像单元还在所述均匀光的照射下对所述拍摄区域进行拍摄以获得在所述均匀光照射下的第三和/或第四二维图像，也可以是由在可见光波段进行成像的第三成像单元对所述拍摄区域进行拍摄而获得的第五二维RGB图像。处理器可以对上述任意图像进行处理以获取所述人脸的轮廓信息。由此满足各种成像需求。
优选地，处理器可以首先基于所述第三和/第四二维图像确定所述人脸的轮廓位置，再从所述第一和第二二维图像直接获取所确定的人脸轮廓位置范围内的深度图信息。由此，能够实现对深度图中人脸位置的快速定位，减少计算量，提升处理速度。
优选地，处理器可以将在均匀光照射下拍摄的二维图像中最为居中和/或占据面积最大的人脸所在位置确定为所述人脸的轮廓位置，以便应对图像中有多个人脸的情况。处理器还可以从投射所述均匀光下拍摄的二维图像识别出多个人脸的轮廓位置，并且基于所述多个人脸的轮廓位置，以低分辨率从所述第一和第二二维图像中确定距离最近的人脸作为要进行识别的所述人脸，再以高分辨率从所述第一和第二二维图像获取所确定的所述人脸的轮廓位置范围内的深度图信息
优选地，第一投射装置和第二投射装置投射的是红外光，并且第一和第二成像单元可以是红外成像单元。由此能够减低可见光对人脸测量的干扰。第一投射装置和第二投射装置可以投射940nm的红外光，由此进一步减低环境光的干扰并提升对真实人脸的识别能力。
优选地，第一投射装置可以包括用于产生激光的激光发生器以及对所述激光进行调制来产生所述离散光束的光学器件，并且第二投射装置可以是用于照亮人脸轮廓的点光源或是面光源。
根据本发明的另一个方面，提供了一种人脸识别方法，包括：拍摄区域投射离散光束，所述离散光束被调制以在所述拍摄区域中形成多个离散斑点；使用之间具有预定相对位置关系的第一和第二成像单元对所述离散光束投射下的拍摄区域进行拍摄以获得第一和第二二维图像；向拍摄区域投射照明光束，所述离散光束的投射和所述照明光束的投射不同时进行；对照明光束照亮下的拍摄区域进行拍摄以获得带有人脸轮廓信息的图像；以及使用处理器以基于所述第一和第二二维图像获取所述拍摄区域中人脸的深度图信息，基于照明光束照亮下拍摄的二维图像获取所述人脸的轮廓信息，以及基于所述深度图信息和所述轮廓信息确定所述拍摄区域中的人脸是否与存储的目标人脸相同。
通过使用本发明的人脸识别设备和方法，能够通过分帧拍摄获取深度图和平面图的方式实现对人脸深度和轮廓信息的全面获取，从而提升人脸识别的准确率。进一步地，可以通过首先提取轮廓信息在确定需要进行深度信息计算的区域来进一步减少获取必要人脸信息所需的计算量，从而提升人脸识别的速度。
附图说明
通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。
图1示出了根据本发明一个实施例的人脸识别设备的测量组件的结构图。
图2示出根据本发明另一个实施例的人脸识别设备的测量组件的结构图。
图3示出了根据本发明的人脸识别设备的示意性方框图。
图4示出了根据本发明一个实施例的人脸识别方法的示意性流程图。
图5示出根据本发明的景深信息测量方法的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本发明的人脸识别方案基于能够实时地对物体表面进行三维测量的双目视觉识别技术。双目视觉识别技术直接模拟人类双眼处理景物的方式，根据三角测量的原理，采用不同位置的两台摄像机拍摄同一景物，以一个摄像机所拍摄到的画面为主画面，通过在另一个摄像机所拍摄到的画面上去寻找与主画面匹配的同一目标，通过计算目标在两幅图像中的视差，即可计算得到该目标的三维空间坐标。该技术只需要经过简单的标定程序，获得两台摄像机之间的相对空间关系，就可以建立测量物体所在的空间坐标系统。本发明的人脸识别方案还可以使用上述两台摄像机之一或两者，或是单独的RGB成像单元在照明光源照亮人脸的情况下进行二维图像的拍摄，从而快速确定人脸的轮廓位置。
图1示出了根据本发明一个实施例的人脸识别设备的测量组件的结构图。
如图1所示，该实施例中的测量组件1可以包括第一投射装置10、第二投射装置20、第一成像单元30与第二成像单元40。上述投射和成像单元可由连接机构70固定，其各自的引线可经由上述连接机构70汇总至线缆60，以方便与处理和控制单元，例如处理器的连接。
该测量组件在第一投射装置10点亮的情况下使用第一成像单元30和第二成像单元40拍摄获取人脸深度信息所需的第一和第二二维图像，并且在第二投射装置20点亮的情况下进行拍摄以获取带有拍摄区域中人脸轮廓信息的二维图像。
由测量组件分帧获取的至少三幅二维图像可以经由线缆60送至处理器(图1中未示出)。处理器可以基于第一和第二二维图像获取拍摄区域中人脸的深度图信息，基于在投射所述均匀光下拍摄的二维图像获取所述人脸的轮廓信息，并且根据深度图信息和轮廓信息确定拍摄区域中的人脸是否与存储的目标人脸相同。
首先对获取人脸深度信息的拍摄进行描述，上述拍摄是在第一投射装置10点亮且第二投射装置20关闭的情况下进行的。三维图像(或是深度图像)可以由处理器从彼此具有视差的第一二维图像和第二二维图像中获取，第一二维图像与第二二维图像既可以为静态图像，也可以为动态图像。
第一投射装置10能够向拍摄区域投射离散光束，离散光束被调制以在拍摄区域中形成多个离散斑点。例如，照射在用于解锁智能电话的人脸上的离散斑点。在一个实施例中，该离散斑点可以是能被从其周围预定空间范围内的其它离散斑点中识别出的离散斑点。
第一成像单元30用于对拍摄区域进行拍摄以获得第一二维图像。第二成像单元40，与第一成像单元30之间具有预定相对位置关系，用于对拍摄区域进行拍摄以获得第二二维图像。离散斑点可以被编码。虽然第一成像单元30与第二成像单元40可以相继对二维图像进行捕获，但优选同时捕获第一和第二二维图像以实现对深度信息的准确求取。
针对现有技术中当被测对象被置于背景单一的环境或当被测对象被置于背景纹理自相似的环境时无法准确地测量被测对象的三维信息的问题，本实施例基于两个成像单元的立体视觉技术，将激光作为辅助手段，在被测对象表面投影可识别的离散斑点，增加被测对象表面纹理多样性，即使多台设备同时或是联合使用，激光投影区有所重叠，设备仍然能够正常进行第一二维图像和第二二维图像的图像匹配，计算出待测对象表面的三维信息。由于采用了激光散斑辅助投影测量的方式，因此有助于快速计算得到被测对象表面的深度信息。
在本发明中，由于投射离散光斑的目的可以只是为了增加被测对象表面可识别的特征纹理，并且也无需使用参考面纹理序列数据，因此即使是多台设备同时使用而导致离散光斑发生交联投影也不影响对被测对象空间三维信息的测量。
进一步地，第一成像单元30和第二成像单元40可以为两个阵列式图像传感器，例如，CCD(Charge-coupled Device，电荷耦合元件)或CMOS(Complementary Metal OxideSemiconductor，互补金属氧化物半导体)，可以将物像聚焦到第一成像单元30和第二成像单元40的表面，从而转化为可处理的数字信号。同时第一成像单元30和第二成像单元40例如可以通过带通滤光片来使得仅允许第一投射装置10所在工作波长的激光通过，除此之外的其他波长的光线均被截止，这样能够防止工作激光的照明强度湮没在其他波长的环境光照中，起到抗干扰作用。在一个实施例中，第一投射装置10投射红外光，例如，940nm的红外光。由于在太阳光谱中所占成分很小，因此940nm红外光不易受到环境光的影响。
如图所示，第一成像单元30和第二成像单元40之间有相对固定的空间关系，在空间布置上具有公共视场，即，两者的图像捕获视场有重叠。一般地，第一成像单元30和第二成像单元40并列布置，从光心伸出的轴线(例如，以下图5中所示的O11和O12)相互平行。第一投射装置10可以如图所示被布置在第一成像单元30和第二成像单元40之间，但这并不是唯一的布置方式，第一投射装置10与第一成像单元30和第二成像单元40之间的空间关系可以是任意的，只要满足离散斑点的投影区完全覆盖第一成像单元30和第二成像单元40的公共视场即可。
在一个实施例中，第一投射装置10可以用于产生激光的激光发生器(例如，940nm激光发生器)以及对所述激光进行调制来产生所述离散光束的光学器件(例如，DOE及其诸如准直透镜的其他必要光学器件)。本发明在此不做限制。
其次，对获取人脸轮廓信息的拍摄进行描述，这一拍摄是在第一投射装置10关闭且第二投射装置20点亮的情况下进行的。
第二投射装置20可以是点光源或是面光源，例如，LED阵列，其能够向拍摄区域投射基本均匀的均匀光。上述均匀光可以照亮位于拍摄区域内的特定对象，例如，想要解锁智能电话的用户的脸部。可以在第二投射装置20点亮时对拍摄区域进行拍摄，以获取包含用户脸部的二维图像。处理器可以对在该均匀光照射下的图像进行处理，以提取进行人脸识别所需的信息，例如，拍摄区域中人脸的轮廓位置信息。
上述均匀光可以照亮拍摄区域中的人脸，这时对拍摄区域中的人脸进行拍摄，由此确保至少在低光照条件下对人脸信息的准确获取。在一个实施例中，第二投射装置20可以投射红外光，并由例如配备有带通滤波器的成像装置对投射了均匀红外光的拍摄区域进行成像，由此能够在避免可见光干扰的情况下进行人脸拍摄。优选地，投射的红外光也可以是940nm红外光，以便在照亮人脸的同时最小化自然光的影响(例如，在阳光强烈的室外)。另外，940nm红外光对人体皮肤下的毛细血管有很好的显影作用(氧合血红蛋白对940nm光照吸收多，会呈现偏暗的颜色)，因此能够进一步避免在例如使用诸如树脂的特效化妆物对目标人脸进行恶意模仿时，人脸被错误识别的概率。
如图所示，第二投射装置20可以布置在第一投射装置10旁边，并位于第一成像单元30和第二成像单元40之间，但这并不是唯一的布置方式，第二投射装置20与第一投射装置10、第一成像单元30和第二成像单元40之间的空间关系可以是任意的，只要满足均匀光的投影区可以完全覆盖第一成像单元30和/或第二成像单元40的公共视场即可。
在图1所示的实施例中，均匀光照明下的拍摄同样可以使用第一成像单元30和第二成像单元40中的任意或是两者来进行。在一个实施例中，第一成像单元30和/或第二成像单元40还可用于在所述均匀光的照射下对拍摄区域进行拍摄以获得在均匀光照射下的第三和/或第四二维图像。处理器则基于该第三和/或第四二维图像作为所述在投射所述均匀光下拍摄的二维图像以获取所述人脸的轮廓信息。
相比于仅进行双目成像获取人脸深度信息并进行人脸识别的方案，并入了在均匀光下拍摄人脸二维图像并进行信息提取步骤的人脸识别方案有着诸多优点。
首先，由于直接对二维图像进行处理以通过识别人脸特征来确定人脸轮廓位置所需的计算量比对深度图进行三维计算所需的计算量要小得多，因此增加均匀光下拍摄图像并处理的步骤能够有效提升人脸识别的速度。
其次，由于离散光束照射下离散化的各个激光光斑间有一定距离，因此针对投射面较细窄的位置无法发射较多的光斑信息，这样就容易丢失部分真实深度信息。即使在较大的投射面，也会因为该原因而无法稳定连续描述其边缘轮廓，从而引起轮廓边缘的测量数据不稳定。这时，从均匀光下拍摄图像中提取的人脸轮廓信息能够对离散光测量的上述不足进行很好的弥补。
再次，除了提取人脸轮廓特征，还可以对上述二维图像中的人脸进行特征提取和分析，与深度图中的特征提取和分析相结合，以便从三维和二维两方面确保对足够人脸特征的提取，以提升识别准确率。
最后，由于在本发明中仅需光束投射在人脸上就可进行拍摄，因此可以实现两次拍摄之间非常短的时间间隔，从而能够在很大程度上确保用于深度图的人脸和用于轮廓提取的人脸之间不存在或是只有很少位移，由此可以降低两次拍摄之间的人脸信息匹配难度。
在双目视觉系统中通常会使用一个成像单元所拍摄到的画面作为主画面，通过在另一成像单元所拍摄到的画面上去寻找与主画面匹配的同一目标，再通过计算目标在两幅图像中的视差，来求取该目标的三维空间坐标。在本发明的实施例中，可以假设使用第一成像单元30拍摄到的第一二维图像作为主画面，并使用第二成像单元40拍摄到的第二二维图像来寻找与主画面匹配的同一目标。因此，在投射均匀光的拍摄时，优选使用第一成像单元30拍摄的第三二维图像来进行人脸轮廓信息的提取，由此进一步减少计算量。在离散光束下的拍摄和均匀光照射下的拍摄间隔时间很短的情况下，可以假设拍摄区域中的人脸没有移动或是位移很小。于是在一个优选实施例中，处理器可以首先基于在投射所述均匀光下拍摄的二维图像确定所述人脸的轮廓位置信息，并且仅从第一和第二二维图像获取所确定的人脸轮廓位置范围内的深度图信息。这样，由于二维图像的人脸判断非常迅速，因此能够极为快速地从例如第三二维图像中找出人脸轮廓位置。随后，再对第一和第二二维图像中仅涉及人脸信息的范围进行深度图合成，从而大大提升全面人脸信息获取的速度。另外，拍摄区域内存在多个人脸的情况下，处理器可以按照预定规则将在投射均匀光下拍摄的二维图像中最为居中和/或占据面积最大的人脸所在位置确定为人脸的轮廓位置。由此实现多人脸情况下对待测人脸的快速确定，并且能够避免用户勿入拍摄区域一角被正确识别而使得设备被错误开启的情况。在另一个实施例中，在从投射均匀光下拍摄的二维图像中识别出多个人脸的情况下，可以随后从离散光下拍摄的两幅二维图像中进行两次深度信息获取。首先，在低分辨率下快速检测不同人脸的前后位置。随后再根据最近的人脸进一步做出高分辨率的深度检测。以便基于前后距离更为准确地确定所需识别的人脸。
如图1所示，第一投射装置10、第二投射装置20、第一成像单元30与第二成像单元40可以被固定在连接机构70上，由此确保其相对位置的固定，以方便图像处理过程中各图像之间的定标。第一投射装置10和第二投射装置20的电源和控制线可以通过连接机构中留有的通道并入线缆60，第一成像单元30与第二成像单元40的数据、电源和控制线缆也可通过连接机构中留有的通道并入线缆60。线缆60随后可以与相关的电源、存储、处理器或控制器相连。虽然图中示出了从第一投射装置10下方伸出的线缆60，但本领域技术人员应该理解上述线缆60可以从其他位置引出，并且该测量组件中各装置的各类线缆也可以不像图1中的线缆60那样合并在一起。
在另一个实施例中，对均匀光照射下人脸图像的拍摄可由RGB成像装置进行。图2示出了根据本发明另一个实施例的人脸识别设备的测量组件的结构图。
除了具有与图1的测量组件相同的第一投射装置10、第二投射装置20、第一成像单元30与第二成像单元40、以及类似的线缆60和连接结构70之外，图2所示的测量组件还包括第三成像单元50。该第三成像单元50在可见光波段进行成像，可以用于对所述拍摄区域进行拍摄以获得二维彩色图像，例如，RGB图像。在一个实施例中，第三成像单元50可被用来满足用户日常的拍摄需要，而不参与人脸识别。在另一个实施例中，第三成像单元50可被用来在第二投射装置20点亮时拍摄人脸被均匀光照射的图像。上述图像可被处理器用来如图1所述确定人脸的轮廓信息，以及其他的人脸特征信息。在一个实施例中，上述彩色图像可被用来分析人脸对照射光的反应。由于人脸会因为皮下毛细血管中氧合血红蛋白对940nm红外光吸收较多而呈现偏暗的颜色，因此RGB成像单元的引入可以排除使用面具或是化妆物针对用户本人的伪装企图。
与图1相类似的，虽然图2中示出了测量组件中各器件的排列方式，但可以理解的是，这只是器件排列的一个具体例子，各器件及线缆还可以以其他合适的方式布置。
如图1和2所示的测量组件具有小型化尺寸，例如70x8x5mm。上述测量组件可以并入具有人脸识别功能的智能设备，例如布置在智能手机或是其他检测设备正面的顶部或是底部，并使得线缆60与智能设备中的相应组件恰当相连。由此，布置在智能设备内部的处理器能够基于第一和第二二维图像合成拍摄区域中人脸的深度图像，排除使用用户照片伪装用户本人的企图。在本发明的上述优选实施例中，可以根据从二维平面图中获取的人脸轮廓位置信息来加速人脸深度图像的获取。另外，可以通过辨别人脸在红外光照明下的拍摄效果来排除使用面具或是化妆物针对用户本人的伪装企图。
由上可知，根据本发明的用于人脸识别的测量组件分两次拍摄至少三张二维图像作为进行人脸识别的依据。其中的一次拍摄需要在拍摄区域内投射离散光束的情况下，由两个成像单元同时拍摄各自的二维图像，作为合成深度图的基础数据。另一次拍摄则需要在拍摄区域内投射均匀光的情况下，由成像单元拍摄一幅二维图像，作为提取人脸轮廓信息的基础数据。
图3示出了根据本发明的人脸识别设备的示意性方框图。如图3所示，该实施例中的人脸识别设备100可以包括前述实施例中的测量组件1(图3示意性示出测量组件1的主要部件)，以及处理器130，用于基于第一和第二二维图像以及第一成像单元30和第二成像单元40之间的预定相对位置关系，计算待测人脸上的多个离散斑点的深度数据，深度数据表示待测人脸上的点相对于第一成像单元30和/或第二成像单元40的距离。例如，处理器130可以从第一成像单元与第二成像单元在同一时刻拍摄的不同二维图像中搜索相同的激光编码片段，进而计算并获得图像深度信息。应该理解的是，图中处理器130具备控制测量组件1中各个部件，并从第一和第二成像单元中获取数据的能力。图中示出了处理器与各部件的连线，上述连线用于表示各部件与处理器130之间存在控制信号和/或数据信号的往来，在实际实现中，上述连线也可以通过汇总的线缆，例如图1中的线缆60来实现。
另外，图中各部件与待测对象(例如，本发明中位于拍摄区域内的人脸)之间的连线用于示意性地表示投射装置向其投射光，成像设备拍摄从其反射的光，而非真的与待测对象之间存在有线连接。
如上所述，待测人脸表面的三维测量计算可以通过人脸识别设备100中的处理器130完成，处理器130的功能可以在计算机处理器上通过编写的计算机程序来实现。可替代地，该处理器130的部分或全部功能可在定制的或半定制的集成电路上实现，也可以在DSP(Digital Signal Processor，数字信号处理器)或FPGA(Field Programmable GateArray，现场可编程门阵列)等通用计算芯片上通过运行预先编写的程序实现。
该实施例采用激光散斑作为辅助标记手段，在测量过程中对待测对象表面三维信息进行抽样测量，最后对离散的三维信息进行数据重建，从而无限拟合物体表面实际的三维信息。当待测对象表面为复杂曲面，尤其是多个曲面相互连接，且表面没有任何具有可识别的纹理时，能够测量并拟合得到没有纹理信息的曲面的三维信息。
处理器130还能够对均匀光照射下所拍摄的二维图像进行处理。按照具体应用场景，上述二维图像可以是灰度图(例如，由第一或第二成像单元拍摄)，也可以是彩色图(例如，由第三成像单元拍摄的RGB图像)。处理器130可以提取上述二维图像中的人脸轮廓信息，以及可选的其他信息，例如，人脸特征信息，以作为人脸深度信息的补充。
处理器130随后可以将拍摄到的人脸的相关信息与存储的目标人脸信息相比对，以判断是否相同。上述目标人脸信息的存储与比对是业内周知的，在此不再赘述。
图4示出了根据本发明一个实施例的人脸识别方法的示意性流程图。
在步骤S410，向拍摄区域投射离散光束，所述离散光束被调制以在所述拍摄区域中形成多个离散斑点。
在步骤S420，使用之间具有预定相对位置关系的第一和第二成像单元对所述离散光束投射下的拍摄区域进行拍摄以获得第一和第二二维图像。
在步骤S430，向拍摄区域投射照明光束，所述离散光束的投射和所述照明光束的投射不同时进行。
在步骤S440，对照明光束照亮下的拍摄区域进行拍摄以获得带有人脸轮廓信息的二维图像。
在步骤S450，使用处理器以基于所述第一和第二二维图像获取所述拍摄区域中人脸的深度图信息，基于所述照明光束照亮下拍摄的二维图像获取所述人脸的轮廓信息，以及基于所述深度图信息和所述轮廓信息确定所述拍摄区域中的人脸是否与存储的目标人脸相同。
在步骤S440中，可以使用在可见光波段进行成像的第三成像单元，用于对照明光束照亮下的拍摄区域进行拍摄以获得在所述均匀光照射下的第五二维RGB图像。并且相应地，在步骤S450，使用所述处理器基于所述第五二维RGB图像获取所述人脸的轮廓信息。
另外，在步骤S440中，还可以使用所述第一和/或第二成像单元用于对照明光束照亮下的拍摄区域进行拍摄以获得在所述均匀光照射下的第三和/或第四二维图像。并且相应地，在步骤S450，使用处理器基于所述第三和/第四二维图像获取所述人脸的轮廓信息。
在一个优选实施例中，使用所述处理器基于所述照明光束照亮下拍摄的二维图像确定所述人脸的轮廓位置信息，并仅从所述第一和第二二维图像获取所确定的人脸轮廓位置范围内的深度图信息。
应该理解的是，步骤S430和步骤S440也可以在步骤S410和步骤S420之前进行。换句话说，本发明对获取三维信息的拍摄(投射离散光束)以及获取人脸轮廓信息的拍摄(投射均匀光)的前后顺序不做限制。在基于均匀光下拍摄图像中提取的人脸轮廓位置信息来提取相应位置处的人脸深度信息的情况下，也可以优选先进行步骤S430和步骤S440，从而使得处理器对人脸轮廓位置信息的提取能够与离散光束下人脸拍摄并行进行，从而进一步提升人脸识别的总体速度。
图5示出根据本发明的景深信息测量方法的示意图。
如图5所示，第一成像单元30和第二成像单元40在布置上有固定的空间关系，在应用中，第一成像单元30和第二成像单元40一般被固定在平整的电路板表面，并保持一定的距离B，该距离B称为基线长度。因为基线距离B的存在会导致同一待测对象在第一成像单元30和第二成像单元40上成像的位置有所不同。这一原理可以理解为，第一成像单元30在O11处拍摄到待测对象P，待测对象P在第一成像单元30上的成像p距离所在捕获画面左侧的长度为x11，当第一成像单元30移动距离B后到达第二成像单元40所在的O12处，再次拍摄待测对象P，此时待测对象P在第二成像单元上的成像p’距离所在捕获画面左侧的长度为x12。
根据相似三角形Ppp’和PO11O12的关系，可以得到方程式：
其中，Z为待测对象P到基线的距离，即，需要测量的景深距离，f为图像的焦距，b为基线B的长度。取d＝x11-x12，即，待测对象P在第一成像单元30和第二成像单元40上的视差，将Z提取出来后，就得到以下Z的计算公式：
由上面的公式可以看出，b与f都是常数，因此当待测对象P的景深距离Z越大，则其在第一成像单元30和第二成像单元40上的视差d越小，反之亦然。因此对待测对象P的景深距离Z的测量可以根据以上数学模型转换为计算待测对象P在不同成像单元上成像的像素差，该转换过程可以通过坐标转换模型实现。
进一步地，为了提高对待测对象轮廓边缘的测量准确性，可以在拍摄三维图像之前或是之后，还向拍摄区域投射基本上均匀的均匀光，确定待测对象图像区域的轮廓。
上文中已经参考附图详细描述了根据本发明的人脸识别设备和方法。本发明的技术方案通过双目视觉技术结合均匀光照射下人脸轮廓特征的提取，能够提升人脸深度信息和其他人脸特征信息的获取速度和准确性，从而通过安全性和易用性的提升进一步拓展人脸识别技术的应用范围。
此外，根据本发明的方法还可以实现为一种计算机程序产品，该计算机程序产品包括计算机可读介质，在该计算机可读介质上存储有用于执行本发明的方法中限定的上述功能的计算机程序。本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (12)
1.一种人脸识别设备，包括：
第一投射装置，用于向拍摄区域投射离散光束，所述离散光束被调制以在所述拍摄区域中形成多个离散斑点；
不与所述第一投射装置同时工作的第二投射装置，用于向所述拍摄区域投射基本均匀的均匀光；
具有预定相对位置关系的第一和第二成像单元，用于对所述拍摄区域进行拍摄以分别获得在所述离散斑点照射下的第一和第二二维图像；以及
处理器，用于基于所述第一和第二二维图像获取所述拍摄区域中人脸的深度图信息，基于在投射所述均匀光下拍摄的二维图像获取所述人脸的轮廓信息，以及根据所述深度图信息和所述轮廓信息确定所述拍摄区域中的人脸是否与存储的目标人脸相同，
其中，所述第一投射装置和所述第二投射装置均投射红外光，
其中，所述第一成像单元还用于在所述均匀光的照射下对所述拍摄区域进行拍摄以获得在所述均匀光照射下的第三二维图像，并且
基于所述第三二维图像作为所述在投射所述均匀光下拍摄的二维图像，所述处理器获取所述人脸的轮廓信息，并对所述二维图像中的人脸进行特征提取和分析，用于与所述深度图中的特征提取和分析相结合。
2.如权利要求1所述的人脸识别设备，还包括：
在可见光波段进行成像的第三成像单元，用于对所述拍摄区域进行拍摄以获得在所述均匀光照射下的第五二维RGB图像，并且其中
所述处理器基于所述第五二维RGB图像作为所述在投射所述均匀光下拍摄的二维图像以获取所述人脸的轮廓信息。
3.如权利要求1所述的人脸识别设备，其中，所述处理器基于在投射所述均匀光下拍摄的二维图像确定所述人脸的轮廓位置信息，并且仅从所述第一和第二二维图像获取所确定的人脸轮廓位置范围内的深度图信息。
4.如权利要求3所述的人脸识别设备，其中，所述处理器将在投射所述均匀光下拍摄的二维图像中最为居中和/或占据面积最大的人脸所在位置确定为所述人脸的轮廓位置。
5.如权利要求3所述的人脸识别设备，其中，所述处理器从投射所述均匀光下拍摄的二维图像识别出多个人脸的轮廓位置，并且基于所述多个人脸的轮廓位置，以低分辨率从所述第一和第二二维图像中确定距离最近的人脸作为要进行识别的所述人脸，再以高分辨率从所述第一和第二二维图像获取所确定的所述人脸的轮廓位置范围内的深度图信息。
6.如权利要求1所述的人脸识别设备，其中，所述第一投射装置和所述第二投射装置投射红外光，并且所述第一和第二成像单元是红外成像单元。
7.如权利要求6所述的人脸识别设备，其中，所述第一投射装置和所述第二投射装置投射940nm的红外光。
8.如权利要求1所述的人脸识别设备，其中，所述第一投射装置包括用于产生激光的激光发生器以及对所述激光进行调制来产生所述离散光束的光学器件，并且
所述第二投射装置是用于照亮人脸轮廓的点光源或是面光源。
9.一种人脸识别方法，包括：
向拍摄区域投射离散光束，所述离散光束被调制以在所述拍摄区域中形成多个离散斑点；
使用之间具有预定相对位置关系的第一和第二成像单元对所述离散光束投射下的拍摄区域进行拍摄以获得第一和第二二维图像；
向拍摄区域投射照明光束，所述离散光束的投射和所述照明光束的投射不同时进行，其中，所述照明光束为向拍摄区域投射的基本均匀的均匀光；
对照明光束照亮下的拍摄区域进行拍摄以获得带有人脸轮廓信息的二维图像；以及
使用处理器以基于所述第一和第二二维图像获取所述拍摄区域中人脸的深度图信息，基于所述照明光束照亮下拍摄的二维图像获取所述人脸的轮廓信息，以及基于所述深度图信息和所述轮廓信息确定所述拍摄区域中的人脸是否与存储的目标人脸相同，
其中，所述离散光束和所述照明光束均为红外光，
对照明光束照亮下的拍摄区域进行拍摄以获得带有人脸轮廓信息的二维图像包括：
使用所述第一成像单元用于对照明光束照亮下的拍摄区域进行拍摄以获得在所述均匀光照射下的第三二维图像；以及
基于所述第三二维图像作为在投射所述均匀光下拍摄的二维图像，使用所述处理器获取所述人脸的轮廓信息，并对所述二维图像中的人脸进行特征提取和分析，用于与所述深度图中的特征提取和分析相结合。
10.如权利要求9所述的方法，其中，对照明光束照亮下的拍摄区域进行拍摄以获得带有人脸轮廓信息的二维图像包括：
使用在可见光波段进行成像的第三成像单元，用于对照明光束照亮下的拍摄区域进行拍摄以获得在所述均匀光照射下的第五二维RGB图像；以及
使用所述处理器基于所述第五二维RGB图像获取所述人脸的轮廓信息。
11.如权利要求9所述的方法，其中，使用所述处理器基于所述照明光束照亮下拍摄的二维图像确定所述人脸的轮廓位置信息，并仅从所述第一和第二二维图像获取所确定的人脸轮廓位置范围内的深度图信息。
12.如权利要求11所述的方法，其中，使用所述处理器从投射所述均匀光下拍摄的二维图像识别出多个人脸的轮廓位置，并且基于所述多个人脸的轮廓位置，以低分辨率从所述第一和第二二维图像中确定距离最近的人脸作为要进行识别的所述人脸，再以高分辨率从所述第一和第二二维图像获取所确定的所述人脸的轮廓位置范围内的深度图信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711226945.5A CN108052878B (zh) | 2017-11-29 | 2017-11-29 | 人脸识别设备和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711226945.5A CN108052878B (zh) | 2017-11-29 | 2017-11-29 | 人脸识别设备和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108052878A CN108052878A (zh) | 2018-05-18 |
| CN108052878B true CN108052878B (zh) | 2024-02-02 |
Family
ID=62121279
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711226945.5A Active CN108052878B (zh) | 2017-11-29 | 2017-11-29 | 人脸识别设备和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108052878B (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108804900B (zh) | 2018-05-29 | 2022-04-15 | Oppo广东移动通信有限公司 | 验证模板的生成方法和生成系统、终端和计算机设备 |
| CN108960066B (zh) * | 2018-06-04 | 2021-02-12 | 珠海格力电器股份有限公司 | 一种进行动态面部表情识别的方法及装置 |
| CN108650447B (zh) * | 2018-07-06 | 2024-03-05 | 上海图漾信息科技有限公司 | 图像传感器、深度数据测量头及测量系统 |
| CN109299662B (zh) * | 2018-08-24 | 2022-04-12 | 上海图漾信息科技有限公司 | 深度数据计算设备与方法及人脸识别设备 |
| CN109544618B (zh) * | 2018-10-30 | 2022-10-25 | 荣耀终端有限公司 | 一种获取深度信息的方法及电子设备 |
| CN109635539B (zh) * | 2018-10-30 | 2022-10-14 | 荣耀终端有限公司 | 一种人脸识别方法及电子设备 |
| CN109584150B (zh) * | 2018-11-28 | 2023-03-14 | 维沃移动通信（杭州）有限公司 | 一种图像处理方法及终端设备 |
| CN109539495B (zh) * | 2018-11-30 | 2021-07-23 | 广东美的制冷设备有限公司 | 控制方法、空气调节设备及存储介质 |
| CN111566663B (zh) * | 2019-03-26 | 2023-05-02 | 深圳市汇顶科技股份有限公司 | 用于光学脸部识别的多区域照明 |
| WO2020192384A1 (en) * | 2019-03-26 | 2020-10-01 | Shenzhen GOODIX Technology Co., Ltd. | Multizone illumination for optical face identification |
| CN110298256B (zh) * | 2019-06-03 | 2021-08-24 | Oppo广东移动通信有限公司 | 静脉识别方法及相关装置 |
| CN112066907B (zh) * | 2019-06-11 | 2022-12-23 | 深圳市光鉴科技有限公司 | 深度成像装置 |
| CN112068144B (zh) * | 2019-06-11 | 2022-10-21 | 深圳市光鉴科技有限公司 | 光投射系统及3d成像装置 |
| CN110991239A (zh) * | 2019-10-30 | 2020-04-10 | 珠海格力电器股份有限公司 | 一种身份验证方法、装置、设备和计算机可读存储介质 |
| CN112633239A (zh) * | 2020-12-31 | 2021-04-09 | 中国工商银行股份有限公司 | 微表情识别方法及装置 |
| CN112766973A (zh) * | 2021-01-19 | 2021-05-07 | 湖南校智付网络科技有限公司 | 人脸支付终端 |
| CN113063500B (zh) * | 2021-03-30 | 2022-04-22 | 新疆爱华盈通信息技术有限公司 | 一种人脸测温方法、人脸测温仪及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104634276A (zh) * | 2015-02-12 | 2015-05-20 | 北京唯创视界科技有限公司 | 三维测量系统、拍摄设备和方法、深度计算方法和设备 |
| CN104634277A (zh) * | 2015-02-12 | 2015-05-20 | 北京唯创视界科技有限公司 | 拍摄设备和方法、三维测量系统、深度计算方法和设备 |
| CN105912912A (zh) * | 2016-05-11 | 2016-08-31 | 青岛海信电器股份有限公司 | 一种终端用户身份登录方法和系统 |
-
2017
- 2017-11-29 CN CN201711226945.5A patent/CN108052878B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104634276A (zh) * | 2015-02-12 | 2015-05-20 | 北京唯创视界科技有限公司 | 三维测量系统、拍摄设备和方法、深度计算方法和设备 |
| CN104634277A (zh) * | 2015-02-12 | 2015-05-20 | 北京唯创视界科技有限公司 | 拍摄设备和方法、三维测量系统、深度计算方法和设备 |
| CN105912912A (zh) * | 2016-05-11 | 2016-08-31 | 青岛海信电器股份有限公司 | 一种终端用户身份登录方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108052878A (zh) | 2018-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108052878B (zh) | 人脸识别设备和方法 | |
| Steiner et al. | Design of an active multispectral SWIR camera system for skin detection and face verification | |
| US20200082160A1 (en) | Face recognition module with artificial intelligence models | |
| US20150256813A1 (en) | System and method for 3d reconstruction using multiple multi-channel cameras | |
| CN109766876B (zh) | 非接触式指纹采集装置和方法 | |
| US20050111705A1 (en) | Passive stereo sensing for 3D facial shape biometrics | |
| JP6799155B2 (ja) | 情報処理装置、情報処理システム、および被写体情報特定方法 | |
| KR20110084029A (ko) | 3차원 영상 획득 장치 및 방법 | |
| KR20190097640A (ko) | 영상 정합 방법 및 장치 | |
| Ellmauthaler et al. | A novel iterative calibration approach for thermal infrared cameras | |
| CN109583304A (zh) | 一种基于结构光模组的快速3d人脸点云生成方法及装置 | |
| WO2019196683A1 (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
| CN107590828B (zh) | 拍摄图像的虚化处理方法和装置 | |
| GB2544725A (en) | Systems and methods for forming models of a three-dimensional objects | |
| CN111460970A (zh) | 活体检测方法和装置、人脸识别设备 | |
| EP3381015B1 (en) | Systems and methods for forming three-dimensional models of objects | |
| KR20140053647A (ko) | 3차원 얼굴 인식 시스템 및 그의 얼굴 인식 방법 | |
| JP2020129175A (ja) | ３次元情報生成装置、生体認証装置および３次元画像生成装置 | |
| Liao et al. | Light fall-off stereo | |
| KR102274270B1 (ko) | 홍채인식범위 확장을 위한 홍채 영상 획득시스템 | |
| KR20120002723A (ko) | 3차원 영상 정보를 이용하는 사람 인식 방법 및 장치 | |
| CN107370952B (zh) | 图像拍摄方法和装置 | |
| CN207650834U (zh) | 人脸信息测量组件 | |
| JP5336325B2 (ja) | 画像処理方法 | |
| JP7300895B2 (ja) | 画像処理装置および画像処理方法、プログラム、並びに記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |