CN109299662A - 深度数据计算设备与方法及人脸识别设备 - Google Patents

深度数据计算设备与方法及人脸识别设备 Download PDF

Info

Publication number
CN109299662A
CN109299662A CN201810975875.1A CN201810975875A CN109299662A CN 109299662 A CN109299662 A CN 109299662A CN 201810975875 A CN201810975875 A CN 201810975875A CN 109299662 A CN109299662 A CN 109299662A
Authority
CN
China
Prior art keywords
discrete light
shooting area
image
light spot
distribution density
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810975875.1A
Other languages
English (en)
Other versions
CN109299662B (zh
Inventor
王敏捷
梁雨时
王旦福
顾其洋
米小强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Tuyang Information Technology Co Ltd
Original Assignee
Shanghai Tuyang Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Tuyang Information Technology Co Ltd filed Critical Shanghai Tuyang Information Technology Co Ltd
Priority to CN201810975875.1A priority Critical patent/CN109299662B/zh
Publication of CN109299662A publication Critical patent/CN109299662A/zh
Application granted granted Critical
Publication of CN109299662B publication Critical patent/CN109299662B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种深度数据计算设备和方法及人脸识别设备。该深度数据计算设备包括:离散光束投射装置,用于向拍摄区域投射离散光束,所述离散光束被调制以在所述拍摄区域中形成包括至少两种局部分布密度的多个离散光斑;成像单元,用于对所述拍摄区域进行拍摄以获得所述拍摄区域内的目标对象在所述离散光斑照射下的图像;以及处理器,用于基于所述图像中局部分布密度高的离散光斑求取拍摄区域内目标对象的低分辨率深度信息,和/或基于所述图像中两种或以上局部分布密度的离散光斑求取所述目标对象的高分辨率深度信息。由此,能够通过对离散光束投射图案的巧妙设计而避免由于需要多种投射图案而带来的设备复杂性和成本的增加。

Description

深度数据计算设备与方法及人脸识别设备
技术领域
本发明涉及图像测量与处理领域,尤其涉及一种深度数据测量设备和方法。
背景技术
三维信息,亦可称深度信息或景深信息。目前三维测量技术多采用结构光(例如,离散光斑投射)进行辅助,并且通过单目或双目视觉识别技术基于三角测量法计算得出待测物体表面的空间深度值。目前,涉及三维信息测量的各种方案已广泛发展。例如,人脸深度数据的测量和获取已经在智能电话的各种应用场景下得到应用。
在不同的应用场景下,对目标对象的深度数据的测量精度和反应速度会有不同的要求。例如,在智能电话解锁的应用场景中,需要对拍摄到的人脸图像数据进行快速的识别与解锁,而对人脸的识别精度要求不高。相反在某些图像处理的应用场景中,需要对拍摄到的人脸数据进行精确识别以进行各类处理(例如,美妆效果)。这时,则需要获取高分辨率的人脸深度数据,对处理速度的要求反而不是很高。
为了应对上述多分辨率的深度数据获取要求,现有技术采用稀疏程度不同的激光发生设备来投射光斑稀疏或密集的两套或多套结构光图案。例如,利用两套DOE(衍射光学元件)调制不同的结构光图案来直接发射不同的结构光图案。这一方案增大了深度测量设备的复杂程度和成本。
因此,需要一种更为简单有效的多分辨率深度数据测量方案。
发明内容
为了解决如上至少一个问题,本发明提出了一种新的深度数据测量方案,通过投射局部分布密度不同的离散光斑,可以通过仅对亮度较高区域的光斑进行匹配和深度计算来求取低分辨率的深度数据,还可以对例如全部离散光斑进行匹配和深度计算来求取高分辨率的深度数据。由此,通过对拍摄获得的同一图片进行不同的处理就能够按需获得所需分辨率的深度数据,从而使得深度数据计算设备的结构更为简单、成本更为低廉。
根据本发明的一个方面,公开了一种深度数据计算设备,包括:离散光束投射装置,用于向拍摄区域投射离散光束,所述离散光束被调制以在所述拍摄区域中形成包括至少两种局部分布密度的多个离散光斑;成像单元,用于对所述拍摄区域进行拍摄以获得所述拍摄区域内的目标对象在所述离散光斑照射下的图像;以及处理器,用于基于所述图像中局部分布密度高的离散光斑求取拍摄区域内目标对象的低分辨率深度信息,和/或基于所述图像中两种或以上局部分布密度的离散光斑求取所述目标对象的高分辨率深度信息。由此,通过对拍摄的单幅图像进行不同处理就能够简单实现不同分辨率深度信息的获取,从而去除了对多套投影图案装置的需要。
局部分布密度高的离散光斑可以包括由所述亮度大致相同的离散光斑叠加而成的更亮的光斑。由此,处理器可以仅基于所述图像中更亮的光斑求取拍摄区域内目标对象的低分辨率深度信息。
另外,局部分布密度高的离散光斑还可以包括由所述亮度大致相同的离散光斑集中分布而成的更密集的局部光斑群。由此,处理器对图像进行降采样,所述更密集的局部光斑群在降采样图像中形成更亮的光斑,并且所述处理器仅基于所述降采样图像中更亮的光斑求取拍摄区域内目标对象的低分辨率深度信息。
优选地,离散光束投射装置可以包括用于产生激光的激光发生器以及对所述激光进行调制来产生所述离散光束的光学器件。该光学器件优选可以是衍射光学元件(DOE),并且DOE具有通过光学微加工技术制成的表面微结构,用于使得入射激光发生衍射并使其被调制为具有特定投射规则的离散光斑。
成像单元可以包括具有预定相对位置关系的第一和第二成像单元,用于对所述拍摄区域进行拍摄以分别获得所述拍摄区域内的目标对象在所述离散光斑照射下的第一和第二图像,并且所述处理器用于基于所述第一和第二图像中局部分布密度高的离散光斑求取拍摄区域内目标对象的低分辨率深度信息,和/或基于所述第一和第二图像中两种或以上局部分布密度的离散光斑求取所述目标对象的高分辨率深度信息。
相应地,处理器可以基于第一匹配窗口尺寸针对所述第一和第二图像中局部分布密度高的离散光斑进行窗口匹配,基于第二匹配窗口尺寸针对所述第一和第二图像中两种或以上局部分布密度的离散光斑进行窗口匹配,其中,所述第一匹配窗口尺寸大于所述第二匹配窗口尺寸。进一步地,第二匹配窗口尺寸可以小于针对与相同分布密度下相同亮度级别的离散光斑的匹配窗口尺寸。
本发明的深度数据计算设备,还可以包括:不与所述离散光束投射装置同时工作的均匀光投射装置,用于向所述拍摄区域投射基本均匀的均匀光,并且所述成像单元还用于在所述均匀光的照射下对所述拍摄区域进行拍摄以获得在所述均匀光照射下的均匀光图像,并且所述处理器基于所述均匀光图像以获取所述目标对象的轮廓信息。
离散光束投射装置可以投射红外光,并且成像单元可以是红外成像单元。
优选地,处理器可以基于经降采样图像中更亮的光斑求取拍摄区域内目标对象的低分辨率深度信息,并基于未经降采样的所述图像中的全部离散光斑求取拍摄区域内目标对象的高分辨率深度信息。
根据本发明的另一个方面,提出了一种人脸识别设备,包括:如在前所述的深度数据计算设备,其中所述目标对象是人脸,并且所述处理器基于所述深度信息确定所述拍摄区域中的人脸是否与存储的目标人脸相同。
优选地,处理器可以基于所述图像中局部分布密度高的离散光斑求取拍摄区域内的人脸位置,并基于所述图像中两种或以上局部分布密度的离散光斑求取所述人脸位置范围内所述人脸的高分辨率深度信息。
根据本发明的又一个方面,提出了一种深度数据计算方法,包括:向拍摄区域投射被调制以在所述拍摄区域中形成包括至少两种局部分布密度的多个离散光斑的离散光束;对所述拍摄区域进行拍摄以获得所述拍摄区域内的目标对象在所述离散光斑照射下的图像;以及基于所述图像中局部分布密度高的离散光斑求取拍摄区域内目标对象的低分辨率深度信息,和/或基于所述图像中两种或以上局部分布密度的离散光斑求取所述目标对象的高分辨率深度信息。其中,局部分布密度高的离散光斑可以包括如下至少之一:由所述亮度大致相同的离散光斑集中分布而成的更密集的局部光斑群;以及由所述亮度大致相同的离散光斑叠加而成的更亮的光斑。
优选地,该方法还可以包括:对所述图像进行降采样,所述局部分布密度高的离散光斑在经降采样图像中形成更亮的光斑,并且所述处理器仅基于所述降采样图像中更亮的光斑求取拍摄区域内目标对象的低分辨率深度信息。
由此,本发明的深度数据计算方案能够通过对离散光束投射图案的巧妙设计而避免由于需要多种图案而带来的设备复杂性和成本的增加。另外,由于仅需通过对同一图像的不同处理就能够获取不同分辨率的深度信息,因此尤其适用于需要连续获取不同分辨率的应用场合。
附图说明
通过结合附图对本公开示例性实施方式进行更详细的描述,本公开的上述以及其它目的、特征和优势将变得更加明显,其中,在本公开示例性实施方式中,相同的参考标号通常代表相同部件。
图1示出了根据本发明一个实施例的深度数据计算设备的示意图。
图2A和2B示出了局部分布密度不同的离散光斑的图像及其降采样图像的例子。
图3示出了根据本发明另一个实施例的深度数据计算设备的示意图。
图4示出了根据本发明一个实施例的深度数据计算方法的流程示意图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式,然而应该理解,可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
本发明的深度数据计算方案基于结构光深度测量技术。投射装置用于向拍摄空间投射结构光(例如,离散光束),并利用单目或是双目成像原理来求取拍摄空间内目标对象上的结构光(例如,离散光斑)的深度距离。在单目实现中,可以基于投射装置和成像装置之间的预定距离,根据基准图像基于三角测量法进行深度数据的求取。双目视觉识别技术则直接模拟人类双眼处理景物的方式,根据三角测量的原理,采用不同位置的两台摄像机拍摄同一景物,以一个摄像机所拍摄到的画面为主画面,通过在另一个摄像机所拍摄到的画面上去寻找与主画面匹配的同一目标,通过计算目标在两幅图像中的视差,即可计算得到该目标的三维空间坐标。该技术需要经过简单的标定程序,获得两台摄像机之间的相对空间关系,由此可以建立测量物体所在的空间坐标系统。
图1示出了根据本发明一个实施例的深度数据计算设备的示意图。如图1所示,该实施例中的深度数据计算设备1可以包括离散光束投射装置10、成像单元20与处理器30。上述投射和成像单元可以耦联至处理器30,并在其控制下进行光束投射和成像。在一个实施例中,离散光束投射装置10可以投射红外光,并且成像单元可以是红外成像单元,由此尽可能地避免环境光的干扰。
离散光束投射装置10可用于向拍摄区域投射离散光束。离散光束被调制以在拍摄区域中形成包括至少两种局部分布密度的多个离散光斑。成像单元20可用于对拍摄区域进行拍摄以获得拍摄区域内的目标对象在离散光斑照射下的图像。
对于成像单元20拍摄的图像,处理器30可以根据应用场景对其进行不同的处理,以基于上述图像获取目标对象的不同分辨率的深度信息。处理器30可以基于所述图像中局部分布密度高的离散光斑求取拍摄区域内目标对象的低分辨率深度信息,和/或基于所述图像中两种或以上局部分布密度的离散光斑求取所述目标对象的高分辨率深度信息。在此,“低分辨率”和“高分辨率”是相对的概念,即,“高分辨率”指代相比于“低分辨率”更高的分辨率。
例如,在投射的离散光束在拍摄区域中形成高低两种局部分布密度的离散光斑时,可以针对局部分布密度高的离散光斑求取目标对象的低分辨率深度信息,针对所有的离散光斑求取目标对象的高分辨率深度信息。再例如,在投射的离散光束在拍摄区域中形成高中低三种局部分布密度的离散光斑时,可以针对局部分布密度高的离散光斑求取目标对象的低分辨率深度信息,针对中高局部分布密度的离散光斑求取目标对象的中分辨率深度信息,并针对所有的离散光斑求取目标对象的高分辨率深度信息。在此,“中分辨率”仍然可以认为是相比于所述“低分辨率”的高分辨率,以及相比于所述“高分辨率”的低分辨率。
在一个实施例中,离散光束投射装置10可以包括用于产生激光的激光发生器以及对所述激光进行调制来产生所述离散光束的光学器件。优选地,该光学器件可以是衍射光学元件(DOE)。该DOE可以具有通过光学微加工技术制成的表面微结构,用于使得入射激光发生衍射并使其被调制为具有特定投射规则的离散光斑。
根据DOE的特性,其能够发射出按照特定投射规则所规定的、具有特定图案的离散光斑。离散光斑都可以看作是彼此之间亮度大致相同、且亮度分布大致均匀的圆点。
在此,将具体基于DOE调制得到的亮度大致相同且亮度分布大致均匀的离散光斑来对“局部分布密度”加以解释。应该理解的是,本发明的原理也适用于使用经其他调制原理得到的离散光斑。不同的“局部分布密度”可用于指代单位面积内投射的光斑个数的多少。局部分布密度高,表示单位面积内投射的光斑个数多,局部分布密度低,表示单位面积内投射的光斑个数少。同样地,在这里“高”和“低”依然是相对概念。
单位面积内投射的光斑个数的多少,可以从不同的角度开始实现。例如,从位置角度来讲,可以向单位面积内投射10个互不重叠的光斑,这就比单位面积内投射5个互不重叠的光斑的局部分布密度要高。从明暗角度来讲,可以使得不同的光斑投射到相同的区域,由此使得该区域(例如,一个光斑所占面积的区域)的亮度较高,同样可以理解为在该区域所对应的“局部”,离散光斑密度较高。较亮光斑的获得,可以是两个或多个投射的离散光斑的完全或部分重叠。在具体应用中,可以根据需要采取如上的一种角度或是两者来实现“局部分布密度”的不同。
上述局部分布密度的不同,为后续处理器针对一套投影图案自由进行高低分辨率求取的实现提供了保证。图2A和2B示出了局部分布密度不同的离散光斑的图像及其降采样图像的例子。例如,可以如上所述基于能够投射出大小和亮度基本相同的光斑的DOE来投射如图2A所示的离散光斑。图2A所示的离散光斑具有特定的投射图案,该投射图案通过局部密集且局部稀疏的光斑分布来实现“不同的局部分布密度”。
当处于需要高分辨率深度信息的应用场景时,处理器30可以直接使用拍摄得到的图2A的图像,依据三角原理求取图像中每个光斑的深度信息,从而求取拍摄区域内目标对象的高分辨率深度信息。
而当处于需要低分辨率深度信息的应用场景时,例如,在需要快速获取深度信息的情况下,可以通过牺牲一定的精度来提升获取速度。由此,可以通过对图2A所示的拍摄图像进行降采样,由此得到图2B所示的降采样图像。通过降采样,在图2A中分布密度不同的离散光斑在图2B中呈现出明暗变化。这时,可以仅对图2B中较亮的光斑进行处理。例如,仅筛选出图2B中较亮的光斑。由于降采样操作所需时间远小于深度数据计算所需时间,因此通过对图2A的拍摄图像进行降采样以及针对较亮光斑的筛选,再进行低分辨率深度数据计算的这一过程仍然要远快于针对图2A图像直接进行高分辨率深度数据求取。
虽然为了清楚地示出图2B中经降采样后光斑的分布而将图2B显示为与图2A具有相同大小,但应该理解的是,图2B中降采样的图像的实际大小必然要小于图2A中的实际大小。例如,图2A可以是成像单元直接拍摄得到的800x600像素的图像,图2B可以是相应缩小的200x150像素的图像。
另外,虽然图2A和2B示出的是离散光斑在“位置”上局部分布密度不同的例子,但是在其他实施例中,上述操作同意适用于离散光斑在“亮度”上不同而导致局部分布密度不同的例子。例如,可以通过合理设计DOE,使其构成的图案中包括有些间隔分布的更为明亮的点。这些更亮的点并非通过增加单点亮度实现,而可以通过叠加两个或以上的点来实现。这样,拍摄图像的“不同的局部分布密度”可以通过例如光斑分布均匀但亮度有所不同而实现。在此情况下,处理器30例如可以基于拍摄的图像本身求取拍摄区域中目标对象的高分辨率深度信息。而在仅需低分辨率深度信息的情况下,可以可选地对图像进行降采样和过滤,以针对降采样图像中的更亮的点进行深度信息求取;也可以直接对图像进行过滤,针对过滤后更亮的点来进行计算。
本发明的方案还可以应用于双目视觉成像的场合。在一个实施例中,本发明的成像单元可以包括具有预定相对位置关系的第一和第二成像单元,用于对所述拍摄区域进行拍摄以分别获得所述拍摄区域内的目标对象在所述离散光斑照射下的第一和第二图像。图3示出了根据本发明另一个实施例的深度数据计算设备的示意图。如图3所示,该实施例中的深度数据计算设备1’可以包括离散光束投射装置10、第一成像单元20和第二成像单元25以及处理器30。上述投射和成像单元可以耦联至处理器30,并在其控制下进行光束投射和成像。
处理器30可以控制第一和第二成像单元进行同步拍摄,并且可以基于第一和第二图像中局部分布密度高的离散光斑求取拍摄区域内目标对象的低分辨率深度信息,和/或基于所述第一和第二图像中两种或以上局部分布密度的离散光斑求取所述目标对象的高分辨率深度信息。
由于双目视觉计算涉及针对第一和第二图像的匹配。在本发明中,处理器可以基于第一匹配窗口尺寸针对所述第一和第二图像中局部分布密度高的离散光斑进行窗口匹配,并且基于第二匹配窗口尺寸针对所述第一和第二图像中两种或以上局部分布密度的离散光斑进行窗口匹配,其中,所述第一匹配窗口尺寸大于所述第二匹配窗口尺寸。虽然在对第一和第二图像进行降采样的情况下,由于图像本身的尺寸缩小而导致匹配窗口缩小,但其匹配窗口所覆盖的原始像素面积显然要大于高分辨率匹配时的窗口大小。
在一个实施例中,第二匹配窗口尺寸可以小于针对与相同分布密度下相同亮度级别的离散光斑的匹配窗口尺寸。例如,在投射的图案本身就带有明暗信息的情况下,相比于不带明暗信息的光斑,其所需的匹配窗口显然更小。
本发明的深度数据计算设备还可以包括用于获取目标对象轮廓信息和/或其他信息的均匀光投射装置。在一个实施例中,深度数据计算设备还可以包括不与所述离散光束投射装置同时工作的均匀光投射装置,用于向所述拍摄区域投射基本均匀的均匀光。
单目或是双目的成像单元还可以在均匀光的照射下对拍摄区域进行拍摄以获得在所述均匀光照射下的均匀光图像,处理器可以基于均匀光图像以获取所述目标对象的轮廓信息。
由此,本发明的深度数据计算设备通过巧妙设计投射的离散光斑图案,实现了仅用一套投影图案就能够按需获取不同分辨率的深度信息的有益效果。应该理解的是,上文虽然给出了分别求取不同分辨率深度信息的应用场景,但本发明的方案尤其适用于同时需要多个不同分辨率深度信息的应用场景。由此,仅针对拍摄的一张图像,就能够首先进行粗略分析目标,再根据粗略分析结果直接针对该图像进一步进行精细信息获取。另外,同样应该理解的是,本发明的方案不仅适用于单张图像的拍摄,更适用于针对连续拍摄视频帧的处理。由于拍摄过程中无需更换投射图案,因此本发明有着更为广泛的适应性。
本发明的深度数据计算设备还可以实施相应的深度数据计算方法。图4示出了根据本发明一个实施例的深度数据计算方法的流程示意图。
在步骤S410,向拍摄区域投射被调制以在拍摄区域中形成包括至少两种局部分布密度的多个离散光斑的离散光束。上述离散光束可由如上描述的深度数据计算设备的投射装置投射。例如,激光二极管发生的红外光经准直后入射经特别设计的DOE。该DOE具有通过光学微加工技术制成的表面微结构,用于使得入射激光发生衍射并使其被调制为具有特定投射规则的离散光斑,即,本发明中能够在拍摄区域中形成包括至少两种局部分布密度的多个离散光斑。所述局部分布密度高的离散光斑包括如下至少之一:由所述亮度大致相同的离散光斑集中分布而成的更密集的局部光斑群;以及由所述亮度大致相同的离散光斑叠加而成的更亮的光斑。
在步骤S420,对拍摄区域进行拍摄以获得所述拍摄区域内的目标对象在所述离散光斑照射下的图像。
随后在步骤S430,基于图像中局部分布密度高的离散光斑求取拍摄区域内目标对象的低分辨率深度信息,和/或基于图像中两种或以上局部分布密度的离散光斑求取所述目标对象的高分辨率深度信息。
在一个实施例中,该方法还可以包括:对所述图像进行降采样,所述局部分布密度高的离散光斑在降采样图像中形成更亮的光斑。处理器可以仅基于所述降采样图像中更亮的光斑求取拍摄区域内目标对象的低分辨率深度信息。
[应用例]
本发明的上述深度数据计算设备尤其适用于作为人脸识别设备,或是应用于具有人脸识别功能的智能设备,例如智能电话中。由此,拍摄区域中的目标对象可以是人脸。处理器可以基于深度信息确定所述拍摄区域中的人脸是否与存储的目标人脸相同。
优选地,可以基于一张拍摄的图像进行高低分辨率的深度信息求取。例如,处理器可以基于图像中局部分布密度高的离散光斑求取拍摄区域内的人脸位置。在确定了人脸位置后,处理器可以基于所述图像中两种或以上局部分布密度的离散光斑求取所述人脸位置范围内所述人脸的高分辨率深度信息。例如,针对确定的人脸范围内的全部离散光斑进行深度信息求取。
上文中已经参考附图详细描述了根据本发明的深度数据计算方案。通过对投射装置的特殊设计以使其能够投射局部分布密度不同的离散光斑,针对拍摄得到的图像,能够根据具体应用进行针对同一图像的不同分辨率处理。由此,通过一套投射装置投射一种离散光斑图案,就能够实现对不同分辨率深度信息的方便获取,从而降低设备复杂度和成本。
此外,根据本发明的方法还可以实现为一种计算机程序或计算机程序产品,该计算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。
或者,本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质),其上存储有可执行代码(或计算机程序、或计算机指令代码),当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时,使所述处理器执行根据本发明的上述方法的各个步骤。
本领域技术人员还将明白的是,结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (18)

1.一种深度数据计算设备,包括:
离散光束投射装置,用于向拍摄区域投射离散光束,所述离散光束被调制以在所述拍摄区域中形成包括至少两种局部分布密度的多个离散光斑;
成像单元,用于对所述拍摄区域进行拍摄以获得所述拍摄区域内的目标对象在所述离散光斑照射下的图像;以及
处理器,用于基于所述图像中局部分布密度高的离散光斑求取拍摄区域内目标对象的低分辨率深度信息,和/或基于所述图像中两种或以上局部分布密度的离散光斑求取所述目标对象的高分辨率深度信息。
2.如权利要求1所述的设备,其中,所述局部分布密度高的离散光斑包括由亮度大致相同的离散光斑叠加而成的更亮的光斑。
3.如权利要求2所述的设备,其中,所述处理器仅基于所述图像中更亮的光斑求取拍摄区域内目标对象的低分辨率深度信息。
4.如权利要求1所述的设备,其中,所述局部分布密度高的离散光斑包括由亮度大致相同的离散光斑集中分布而成的更密集的局部光斑群。
5.如权利要求4所述的设备,其中,所述处理器对所述图像进行降采样,所述更密集的局部光斑群在降采样图像中形成更亮的光斑,并且所述处理器仅基于所述降采样图像中更亮的光斑求取拍摄区域内目标对象的低分辨率深度信息。
6.如权利要求1所述的设备,其中,所述离散光束投射装置包括用于产生激光的激光发生器以及对所述激光进行调制来产生所述离散光束的光学器件。
7.如权利要求6所述的设备,其中,所述光学器件是衍射光学元件(DOE),并且所述DOE具有通过光学微加工技术制成的表面微结构,用于使得入射激光发生衍射并使其被调制为具有特定投射规则的离散光斑。
8.如权利要求1所述的设备,其中,所述成像单元包括具有预定相对位置关系的第一和第二成像单元,用于对所述拍摄区域进行拍摄以分别获得所述拍摄区域内的目标对象在所述离散光斑照射下的第一和第二图像,并且所述处理器用于基于所述第一和第二图像中局部分布密度高的离散光斑求取拍摄区域内目标对象的低分辨率深度信息,和/或基于所述第一和第二图像中两种或以上局部分布密度的离散光斑求取所述目标对象的高分辨率深度信息。
9.如权利要求8所述的设备,其中,所述处理器基于第一匹配窗口尺寸针对所述第一和第二图像中局部分布密度高的离散光斑进行窗口匹配,基于第二匹配窗口尺寸针对所述第一和第二图像中两种或以上局部分布密度的离散光斑进行窗口匹配,其中,所述第一匹配窗口尺寸大于所述第二匹配窗口尺寸。
10.如权利要求9所述的设备,其中,所述第二匹配窗口尺寸小于针对与相同分布密度下相同亮度级别的离散光斑的匹配窗口尺寸。
11.如权利要求1所述的设备,还包括:
不与所述离散光束投射装置同时工作的均匀光投射装置,用于向所述拍摄区域投射基本均匀的均匀光,
并且所述成像单元还用于在所述均匀光的照射下对所述拍摄区域进行拍摄以获得在所述均匀光照射下的均匀光图像,并且
所述处理器基于所述均匀光图像以获取所述目标对象的轮廓信息。
12.如权利要求1所述的设备,其中,所述离散光束投射装置投射红外光,并且所述成像单元是红外成像单元。
13.如权利要求1所述的设备,其中,所述处理器基于经降采样图像中更亮的光斑求取拍摄区域内目标对象的低分辨率深度信息,并基于未经降采样的所述图像中的全部离散光斑求取拍摄区域内目标对象的高分辨率深度信息。
14.一种人脸识别设备,包括:
如权利要求1-13中任一项所述的深度数据计算设备,其中所述目标对象是人脸,
并且所述处理器基于所述深度信息确定所述拍摄区域中的人脸是否与存储的目标人脸相同。
15.如权利要求14所述的人脸识别设备,其中,所述处理器基于所述图像中局部分布密度高的离散光斑求取拍摄区域内的人脸位置,并基于所述图像中两种或以上局部分布密度的离散光斑求取所述人脸位置范围内所述人脸的高分辨率深度信息。
16.一种深度数据计算方法,包括:
向拍摄区域投射被调制以在所述拍摄区域中形成包括至少两种局部分布密度的多个离散光斑的离散光束;
对所述拍摄区域进行拍摄以获得所述拍摄区域内的目标对象在所述离散光斑照射下的图像;以及
基于所述图像中局部分布密度高的离散光斑求取拍摄区域内目标对象的低分辨率深度信息,和/或基于所述图像中两种或以上局部分布密度的离散光斑求取所述目标对象的高分辨率深度信息。
17.如权利要求16所述的方法,还包括:
对所述图像进行降采样,所述局部分布密度高的离散光斑在经降采样图像中形成更亮的光斑,并且
所述处理器仅基于所述降采样图像中更亮的光斑求取拍摄区域内目标对象的低分辨率深度信息。
18.如权利要求17所述的方法,其中,所述局部分布密度高的离散光斑包括如下至少之一:
由所述大致相同的离散光斑集中分布而成的更密集的局部光斑群;以及
由亮度大致相同的离散光斑叠加而成的更亮的光斑。
CN201810975875.1A 2018-08-24 2018-08-24 深度数据计算设备与方法及人脸识别设备 Active CN109299662B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810975875.1A CN109299662B (zh) 2018-08-24 2018-08-24 深度数据计算设备与方法及人脸识别设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810975875.1A CN109299662B (zh) 2018-08-24 2018-08-24 深度数据计算设备与方法及人脸识别设备

Publications (2)

Publication Number Publication Date
CN109299662A true CN109299662A (zh) 2019-02-01
CN109299662B CN109299662B (zh) 2022-04-12

Family

ID=65165369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810975875.1A Active CN109299662B (zh) 2018-08-24 2018-08-24 深度数据计算设备与方法及人脸识别设备

Country Status (1)

Country Link
CN (1) CN109299662B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110471081A (zh) * 2019-04-30 2019-11-19 深圳市光鉴科技有限公司 基于同步ToF离散点云的3D成像装置及电子设备
CN111369627A (zh) * 2020-03-05 2020-07-03 电子科技大学 一种非侵入式散斑定向成像方法
CN111566663A (zh) * 2019-03-26 2020-08-21 深圳市汇顶科技股份有限公司 用于光学脸部识别的多区域照明
CN111626928A (zh) * 2020-04-28 2020-09-04 Oppo广东移动通信有限公司 深度图像生成方法及装置、存储介质和电子设备
WO2020192384A1 (en) * 2019-03-26 2020-10-01 Shenzhen GOODIX Technology Co., Ltd. Multizone illumination for optical face identification
CN111947565A (zh) * 2019-04-30 2020-11-17 深圳市光鉴科技有限公司 基于同步ToF离散点云的3D成像方法
CN112824934A (zh) * 2019-11-20 2021-05-21 深圳市光鉴科技有限公司 基于调制光场的tof多径干扰去除方法、系统、设备及介质
WO2021258294A1 (zh) * 2020-06-23 2021-12-30 Oppo广东移动通信有限公司 电子设备及解锁方法、装置、存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101720047A (zh) * 2009-11-03 2010-06-02 上海大学 基于颜色分割的多目摄像立体匹配获取深度图像的方法
US20130030699A1 (en) * 2011-07-28 2013-01-31 Barnes Craig R Variable Density Depthmap
CN104050656A (zh) * 2013-03-12 2014-09-17 英特尔公司 用于确定图像中对象深度的设备和技术
CN104634276A (zh) * 2015-02-12 2015-05-20 北京唯创视界科技有限公司 三维测量系统、拍摄设备和方法、深度计算方法和设备
CN104899882A (zh) * 2015-05-28 2015-09-09 北京工业大学 一种复杂场景的深度获取方法
CN105264331A (zh) * 2013-04-18 2016-01-20 微软技术许可有限责任公司 确定捕捉到的图像的深度数据
CN205336464U (zh) * 2015-12-08 2016-06-22 上海图漾信息科技有限公司 深度数据检测系统
CN106772431A (zh) * 2017-01-23 2017-05-31 杭州蓝芯科技有限公司 一种结合tof技术和双目视觉的深度信息获取装置及其方法
CN107564051A (zh) * 2017-09-05 2018-01-09 歌尔股份有限公司 一种深度信息采集方法及系统
CN108052878A (zh) * 2017-11-29 2018-05-18 上海图漾信息科技有限公司 人脸识别设备和方法
CN108151671A (zh) * 2016-12-05 2018-06-12 杭州先临三维科技股份有限公司 一种三维数字成像传感器、三维扫描系统及其扫描方法
CN108195305A (zh) * 2018-02-09 2018-06-22 京东方科技集团股份有限公司 一种双目检测系统及其深度检测方法
CN207650834U (zh) * 2017-11-29 2018-07-24 上海图漾信息科技有限公司 人脸信息测量组件
CN108333859A (zh) * 2018-02-08 2018-07-27 宁波舜宇光电信息有限公司 结构光投射装置、深度相机以基于深度相机的深度图像成像方法
CN108428244A (zh) * 2018-02-27 2018-08-21 上海图漾信息科技有限公司 图像匹配方法及深度数据测量方法和系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101720047A (zh) * 2009-11-03 2010-06-02 上海大学 基于颜色分割的多目摄像立体匹配获取深度图像的方法
US20130030699A1 (en) * 2011-07-28 2013-01-31 Barnes Craig R Variable Density Depthmap
CN104050656A (zh) * 2013-03-12 2014-09-17 英特尔公司 用于确定图像中对象深度的设备和技术
CN105264331A (zh) * 2013-04-18 2016-01-20 微软技术许可有限责任公司 确定捕捉到的图像的深度数据
CN104634276A (zh) * 2015-02-12 2015-05-20 北京唯创视界科技有限公司 三维测量系统、拍摄设备和方法、深度计算方法和设备
CN104899882A (zh) * 2015-05-28 2015-09-09 北京工业大学 一种复杂场景的深度获取方法
CN205336464U (zh) * 2015-12-08 2016-06-22 上海图漾信息科技有限公司 深度数据检测系统
CN108151671A (zh) * 2016-12-05 2018-06-12 杭州先临三维科技股份有限公司 一种三维数字成像传感器、三维扫描系统及其扫描方法
CN106772431A (zh) * 2017-01-23 2017-05-31 杭州蓝芯科技有限公司 一种结合tof技术和双目视觉的深度信息获取装置及其方法
CN107564051A (zh) * 2017-09-05 2018-01-09 歌尔股份有限公司 一种深度信息采集方法及系统
CN108052878A (zh) * 2017-11-29 2018-05-18 上海图漾信息科技有限公司 人脸识别设备和方法
CN207650834U (zh) * 2017-11-29 2018-07-24 上海图漾信息科技有限公司 人脸信息测量组件
CN108333859A (zh) * 2018-02-08 2018-07-27 宁波舜宇光电信息有限公司 结构光投射装置、深度相机以基于深度相机的深度图像成像方法
CN108195305A (zh) * 2018-02-09 2018-06-22 京东方科技集团股份有限公司 一种双目检测系统及其深度检测方法
CN108428244A (zh) * 2018-02-27 2018-08-21 上海图漾信息科技有限公司 图像匹配方法及深度数据测量方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
QIANJUN WU 等: "Depth sensing of complex scenes using a multimodal pseudo-random structured light", 《2014 INTERNATIONAL CONFERENCE ON DIGITAL HOME》 *
贾同 等: "基于红外编码结构光的深度测量方法", 《红外与激光工程》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11423638B2 (en) 2019-03-26 2022-08-23 Shenzhen GOODIX Technology Co., Ltd. Multizone illumination for optical face identification
CN111566663A (zh) * 2019-03-26 2020-08-21 深圳市汇顶科技股份有限公司 用于光学脸部识别的多区域照明
CN111566663B (zh) * 2019-03-26 2023-05-02 深圳市汇顶科技股份有限公司 用于光学脸部识别的多区域照明
WO2020192384A1 (en) * 2019-03-26 2020-10-01 Shenzhen GOODIX Technology Co., Ltd. Multizone illumination for optical face identification
CN111947565A (zh) * 2019-04-30 2020-11-17 深圳市光鉴科技有限公司 基于同步ToF离散点云的3D成像方法
CN110471081A (zh) * 2019-04-30 2019-11-19 深圳市光鉴科技有限公司 基于同步ToF离散点云的3D成像装置及电子设备
CN112824934B (zh) * 2019-11-20 2024-05-07 深圳市光鉴科技有限公司 基于调制光场的tof多径干扰去除方法、系统、设备及介质
CN112824934A (zh) * 2019-11-20 2021-05-21 深圳市光鉴科技有限公司 基于调制光场的tof多径干扰去除方法、系统、设备及介质
CN111369627B (zh) * 2020-03-05 2023-04-07 电子科技大学 一种非侵入式散斑定向成像方法
CN111369627A (zh) * 2020-03-05 2020-07-03 电子科技大学 一种非侵入式散斑定向成像方法
CN111626928A (zh) * 2020-04-28 2020-09-04 Oppo广东移动通信有限公司 深度图像生成方法及装置、存储介质和电子设备
CN111626928B (zh) * 2020-04-28 2023-08-25 Oppo广东移动通信有限公司 深度图像生成方法及装置、存储介质和电子设备
WO2021258294A1 (zh) * 2020-06-23 2021-12-30 Oppo广东移动通信有限公司 电子设备及解锁方法、装置、存储介质

Also Published As

Publication number Publication date
CN109299662B (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
CN109299662A (zh) 深度数据计算设备与方法及人脸识别设备
CN109816703B (zh) 一种基于相机标定和icp算法的点云配准方法
CN106802138B (zh) 一种三维扫描系统及其扫描方法
CN106875444B (zh) 一种目标物定位方法及装置
EP2869266B1 (en) Method and apparatus for generating depth map of a scene
US10229483B2 (en) Image processing apparatus and image processing method for setting an illumination environment
KR101850048B1 (ko) 트래커 시스템을 최적화하는 시스템 및 방법
CN104380729B (zh) 摄像机参数的上下文驱动调整
CN103649674B (zh) 测量设备以及信息处理设备
CN104335005B (zh) 3d扫描以及定位系统
JP7041551B2 (ja) 施工工程管理システム及び施工工程管理方法
EP4329296A2 (en) System and methods for extrinsic calibration of cameras and diffractive optical elements
CN108234984A (zh) 双目深度相机系统和深度图像生成方法
CN108369742A (zh) 使用传感器融合的经优化对象扫描
CN105551020B (zh) 一种检测目标物尺寸的方法及装置
JP2008145431A (ja) 3次元表面形状再構築のための装置および方法
CN109816730A (zh) 工件抓取方法、装置、计算机设备和存储介质
JPWO2006049147A1 (ja) 三次元形状推定システム及び画像生成システム
JP7479729B2 (ja) 三次元表現方法及び表現装置
CN105306922A (zh) 一种深度相机参考图的获取方法和装置
CN105844633A (zh) 基于De序列和相位编码的单帧结构光深度获取方法
CN108876839A (zh) 一种结构光三维成像系统的景深扩展方法、装置和系统
EP3622481A1 (en) Method and system for calibrating a velocimetry system
CN111310567B (zh) 一种多人场景下的人脸识别方法及装置
JP2006058091A (ja) 3次元画像測定装置および方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant