CN107944422B - 三维摄像装置、三维摄像方法及人脸识别方法 - Google Patents

三维摄像装置、三维摄像方法及人脸识别方法 Download PDF

Info

Publication number
CN107944422B
CN107944422B CN201711294364.5A CN201711294364A CN107944422B CN 107944422 B CN107944422 B CN 107944422B CN 201711294364 A CN201711294364 A CN 201711294364A CN 107944422 B CN107944422 B CN 107944422B
Authority
CN
China
Prior art keywords
laser
laser light
dimensional
light source
intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711294364.5A
Other languages
English (en)
Other versions
CN107944422A (zh
Inventor
周贤颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Interface Optoelectronics Shenzhen Co Ltd
Interface Technology Chengdu Co Ltd
General Interface Solution Ltd
Original Assignee
Interface Optoelectronics Shenzhen Co Ltd
Interface Technology Chengdu Co Ltd
General Interface Solution Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Interface Optoelectronics Shenzhen Co Ltd, Interface Technology Chengdu Co Ltd, General Interface Solution Ltd filed Critical Interface Optoelectronics Shenzhen Co Ltd
Priority to CN201711294364.5A priority Critical patent/CN107944422B/zh
Priority to TW106145172A priority patent/TWI657408B/zh
Priority to US15/942,625 priority patent/US10841565B2/en
Publication of CN107944422A publication Critical patent/CN107944422A/zh
Application granted granted Critical
Publication of CN107944422B publication Critical patent/CN107944422B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/647Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种三维摄像装置、三维摄像方法及人脸识别方法。所述三维摄像装置包括激光光源、图像传感器及数据处理模块,所述激光光源用于发出激光,所述图像传感器用于感测可见光以产生目标景物的二维图像信号以及感测被所述目标景物的反射的所述激光以产生深度图像信号,所述数据处理模块,用于依据所述二维图像信号获得所述目标景物的二维坐标,以及依据所述深度图像信号获得所述目标景物的深度坐标,从而获得所述目标景物的三维坐标信息。

Description

三维摄像装置、三维摄像方法及人脸识别方法
技术领域
本发明涉及一种三维摄像装置、三维摄像方法及人脸识别方法。
背景技术
现有三维摄像装置通常采用两个摄像头的两个图像传感器针对同一目标景物获取不同角度的至少两张图像来计算目标景物的三维坐标信息,两个摄像头容易导致三维摄像装置的组装结构较为复杂、体积较大,同时两个摄像头也造成所述三维摄像装置成本较高,有必要改善。此外,再用三维摄像装置的人脸识别方法一般判断获取的人脸的三维坐标信息与预设模板是否一致来判断人脸识别是否通过,由于现有获取的人脸的三维坐标信息的时间较长,导致现有人脸识别方法的用时较长,用户体验较差。
发明内容
有鉴于此,提供一种结构较简单、体积较小的三维维摄像装置,也有提供一种三维摄像方法及人脸识别方法。
一种三维摄像装置,其包括:
激光光源,用于发出激光;
图像传感器,用于感测可见光以产生目标景物的二维图像信号以及感测被所述目标景物的反射的所述激光以产生深度图像信号;及
数据处理模块,用于依据所述二维图像信号获得所述目标景物的二维坐标,以及依据所述深度图像信号获得所述目标景物的深度坐标,从而获得所述目标景物的三维坐标信息。
在一种实施方式中,所述激光的波长大于所述可见光的波长。
在一种实施方式中,所述激光光源为红外激光光源,所述激光包括波长为950nm的激光。
在一种实施方式中,所述数据处理模块依据所述深度图像信号中被所述目标景物的反射的所述激光相较于标准位置的偏移方向与偏移距离来获取所述目标景物的深度坐标。
在一种实施方式中,设所述激光光源与所述图像传感器位于第一平面上,所述二维图像信号的解析度为H*V,H为水平方向的水平解析度,V为竖直方向的竖直解析度,所述图像传感器的视角为W,所述激光光源朝向目标景物的预设点发出的激光与所述第一平面的夹角为θ,所述图像传感器与所述预设点的连线与所述第一平面的夹角为ψ,其中所述夹角ψ=π/2-W(n-2H)/H,其中,n为所述返回的激光在所述二维图像信号的位置沿水平方向到所述二维图像的邻近所述预设点的边缘范围水平解析度。
在一种实施方式中,所述图像传感器与所述激光光源之间的距离为a,所述第一平面包括所述预设点的映射点,所述预设点到所述映射点的连线的距离等于所述预设点到所述第一平面的距离d,所述映射点到所述激光光源的距离为b,所述映射点至所述激光光源的距离为c,其中,tan(θ)=d/b,tan(ψ)=d/c,d=a*tan(ψ)*tan(θ)/(tan(ψ)-tan(θ)),所述数据处理模块利用公式ψ=π/2-W(n-2H)/H依据所述二维图像信号的解析度H*V、所述图像传感器的视角W、及所述返回的激光在所述二维图像信号的位置沿水平方向到所述二维图像的邻近所述预设点的边缘范围水平解析度n计算所述夹角ψ,并进一步利用公式d=a*tan(ψ)*tan(θ)/(tan(ψ)-tan(θ))依据所述距离a、所述夹角θ及所述夹角ψ计算所述距离d,从而获得所述目标景物的深度坐标。
在一种实施方式中,所述激光光源朝向所述图像传感器的视角W涵盖的范围内发出所述激光,所述图像传感器的视角W涵盖的范围划分为H*V个像素区域,所述三维摄像装置还包括光源控制器,所述激光光源发的所述激光的截面为点状,所述光源控制器控制所述激光光源依次朝向所述H*V个像素区域发出所述激光。
在一种实施方式中,所述光源控制器控制所述激光光源依次发出的激光与所述第一平面的夹角依次变大,所述激光与所述第一平面的夹角包括最小值及最大值,所述最小值为所述激光光源位于所述初始位置时的夹角,所述光源控制器还判断所述激光光源当前发出的激光与所述第一平面的夹角是否达到所述最大值,当所述夹角达到所述最大值时,所述光源控制器控制所述激光光源返回所述初始位置以使所述激光光源发出的下一激光的夹角为所述最小值,当所述夹角未达到所述最大值时,所述光源控制器控制所述激光光源移动预定距离以使所述激光光源发出的下一激光的夹角相较于所述当前的激光与所述第一平面的夹角增加预设值。
在一种实施方式中,所述激光光源朝向所述图像传感器的视角W涵盖的范围内发出所述激光,所述图像传感器的视角W涵盖的范围划分为H*V个像素区域,所述激光光源发的所述激光的截面为线状,每条线状激光朝向所述竖直方向的至少一列像素区域或者朝向所述水平方向的至少一行像素区域,所述至少一列像素区域或所述至少一行像素区域定义为发射区域。
在一种实施方式中,所述激光光源依次朝向所述H*V个像素区域的多个发射区域发出所述线状激光。
在一种实施方式中,所述激光光源同时朝向所述H*V个像素区域的多个发射区域发出多条线状激光,每一发射区域对应一条线状激光。
在一种实施方式中,所述H*V个像素区域还划分为多个并列区域,每个并列区域包括相邻的多个发射区域,所述激光光源同时发出的多条线状激光与所述多个并列区域一一对应,对于每个并列区域,所述激光光源还依次朝向每个并列区域的多个发射区域发出多条线状激光,每个并列区域的多条线状激光与所述第一平面的夹角随着发射次序逐渐增大或者每个并列区域的多条线状激光与所述第一平面的夹角随着发射次序逐渐减小。
在一种实施方式中,所述三维摄像装置包括光源控制器,所述激光光源同时朝向所述H*V个像素区域的多个发射区域发出的多条线状激光的强度包括第一强度与不同于所述第一强度的第二强度,所述光源控制器用于依据光强控制信号控制所述激光光源发出的所述多条线状激光的强度,每条线状激光的强度为第一强度或第二强度,在每个深度图像信号对应的感测周期内,设所述光源控制器控制所述激光光源同时朝向所述H*V个像素区域的多个发射区域发出的多条线状激光的次数为k次,所述图像传感器依据所述k次的所述多条线状激光被所述目标景物的反射的激光来产生深度图像信号,每条线状激光对应的光强控制信号为k位的二进制编码,且所述k位二进制编码的1与0分别对应所述第一强度与所述第二强度,且所述多条线状激光对应的光强控制信号的k位的二进制编码各不相同。
在一种实施方式中,所述发射区域的数量S与次数k的关系符合S=2k-2,且所述k位二进制编码不包括全是0或全是1的二进制编码。
在一种实施方式中,所述深度图像信号的刷新率F=60/k赫兹。
在一种实施方式中,所述激光光源同时朝向所述H*V个像素区域的多个发射区域发出的多条线状激光的强度包括第一强度与不同于所述第一强度的第二强度,所述激光光源包括发光元件及位于所述发光元件发出的激光的光路的激光控制元件,所述激光控制元件包括k个光栅罩,每个光栅罩具有用于发出第一强度的线状激光的第一区域与发出第二强度的线状激光的第二区域,所述第一区域与所述第二区域与所述多个发射区域对应,经由所述第一区域发射至所述发射区域的激光强度为所述第一强度,经由所述第一区域发射至所述发射区域的激光强度为所述第二强度,每个光栅罩同时朝向所述H*V个像素区域的多个发射区域发出所述多条线状激光,所述多个光栅罩的图案各不相同,在每个深度图像信号对应的感测周期内,所述发光元件开启,所述发光元件发出的激光依次经由所述k个光栅罩朝向所述多个发射区域发出所述多条线状激光。
在一种实施方式中,所述k个光栅罩沿圆周方向依次设置于一基体上,所述基体沿所述圆周的中心旋转使得所述k个光栅罩依次位于所述发光元件发出的激光的光路上,使得所述k个光栅罩依次朝向所述多个发射区域发出所述多条线状激光。
一种人脸识别方法,其包括如下步骤:
获取人脸的二维图像;
判断所述人脸的二维图像是否与预设模板一致,若所述人脸的二维图像与所述预设模板不一致,判断人脸识别不通过,若所述人脸的二维图像与所述预设模板一致,利用三维摄像装置摄取所述人脸至少部分区域的三维坐标信息,所述至少部分区域包括至少一个脸部特征;
依据所述人脸至少部分区域的三维坐标信息获取所述至少一个脸部特征的参数;及
判断所述至少一个脸部特征的参数与预设参数是否一致,若所述至少一个脸部特征的参数与预设参数一致,则判断人脸识别通过,若所述至少一个脸部特征的参数与预设参数不一致,判断人脸识别不通过。
在一种实施方式中,所述至少一个人脸特征为眼睛、颧骨或鼻子,所述至少一个脸部特征的参数为眼间距、颧骨高度或鼻梁高度。
相较于现有技术,本发明三维摄像装置及摄像方法中,可以采用一个图像传感器配合激光光源及数据处理模块来获得目标景物的三维坐标,相较于现有使用至少两个图像传感器的三维摄像装置,本发明三维摄像装置的组装结构较为简单、体积较小。
进一步地,本发明的人脸识别方法中,先判断所述人脸的二维图像是否与预设模板一致,若人脸的二维图像是否与预设模板则直接判断人脸识别不通过,相较于先前获取并使用人脸的三维坐标信息与预设模板是否一致来判断人脸识别是否通过的方法来说,本发明的人脸识别方法可以在一定程度缩短识别时间,提高用户体验。进一步地,本发明的人脸识别方法中,可以仅存储人脸的二维图像的预设模板及预设参数,相较于完整存储人脸的全部三维坐标信息的模板来说,本发明人脸识别方法可使得数据存储、数据比对处理等压力均较小,也有助于降低硬件成本、提高硬件寿命、缩短人脸识别时间及提高用户体验等。
附图说明
图1是本发明第一实施方式的三维摄像装置的结构示意图。
图2是图1所示的三维摄像装置的图像传感器及激光光源的立体结构示意图。
图3是图1所示的三维摄像装置的图像传感器的工作原理示意图。
图4及图5是图1所示的三维摄像装置的工作原理示意图。
图6及图7是本发明第二实施方式的三维摄像装置的工作原理示意图。
图8是本发明第三实施方式的三维摄像装置的工作原理示意图。
图9是本发明第四实施方式的三维摄像装置的工作原理示意图。
图10是本发明第五实施方式的三维摄像装置的工作原理示意图。
图11是图10所示激光光源的结构示意图。
图12是本发明三维摄像方法的流程图。
图13是本发明人脸识别方法的流程图。
主要元件符号说明
三维摄像装置 100
激光光源 110、510
图像传感器 130
数据处理模块 150
光源控制器 170
发光元件 511
激光控制元件 512
光栅罩 513
第一区域 516
第二区域 517
基体 101、514
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
请参阅图1,图1是本发明第一实施方式的三维摄像装置100的结构示意图。所述三维摄像装置100包括激光光源110、图像传感器130、数据处理模块150及光源控制器170。请参阅图2,图2是图1所示的三维摄像装置100的图像传感器130及激光光源110的立体结构示意图所述激光光源110用于发出激光(laser),所述光源控制器170用于控制所述激光光源,所述图像传感器130用于感测可见光以产生目标景物的二维图像信号以及感测被所述目标景物的反射的所述激光以产生深度图像信号,所述数据处理模块150用于依据所述二维图像信号获得所述目标景物的二维坐标,以及依据所述深度图像信号获得所述目标景物的深度坐标,从而获得所述目标景物的三维坐标信息。
可以理解,所述三维摄像装置100可以为相机、手机、平板电脑、笔记本电脑、台式电脑等终端设备,其中所述图像传感器130可以为所述终端设备的一摄像头上的图像传感器,所述激光光源110可以邻近所述图像传感器130设置,所述光源控制器170电连接所述激光光源110,具体地,所述激光光源110与所述图像传感器130可以设置在同一基体101(如同一电路板)上,所述光源控制器170及所述数据处理模块150可以设置于所述基体101上或者设置于所述终端设备的主电路板(图未示)上。
具体地,所述激光光源110发出的激光的波长范围可以与可见光的波长范围不重叠。在一种实施方式中,所述激光的波长可以大于所述可见光的波长(约400nm-700nm),如所述激光光源110可以为红外激光光源,用于发出红外激光,且所述红外激光的主波长可为950nm。所述激光光源110电连接所述光源控制器170,并在所述光源控制器170的控制下发出所述激光。
所述图像传感器130可以感测可见光及所述激光以对应产生所述目标景物的二维图像信号及所述目标景物的深度图像信号,所述图像传感器130电连接所述图像处理模块150。可以理解,所述图像传感器130可以通过设置于所述图像传感器130上方的镜头组件(lens)感测所述可见光及所述激光。
所述三维摄像装置100在工作时,所述图像传感器130可以同时感测可见光及所述激光以产生包含所述二维图像信号及深度图像信号的复合图像信号,所述图像传感器130可以将所述复合图像信号传输至所述数据处理模块150,所述数据处理模块150可以将所述复合信号中的二维图像信号及深度图像信号分离,以进一步依据分离后的二维图像信号及深度图像信号计算所述目标景物的二维坐标及获得所述目标景物的深度坐标,从而获得所述目标景物的三维坐标信息。请参阅图3,图3是图1所示的三维摄像装置100的图像传感器130的工作原理示意图。设所述激光光源110与所述图像传感器130位于第一平面上,具体地,所述激光光源110的发射所述激光的发射面可以与所述图像传感器130的感测可见光与所述激光的感测面在同一平面上。设所述二维图像信号的解析度为H*V,H为水平方向的水平解析度,V为竖直方向的竖直解析度,所述图像传感器130的视角为W,所述激光光源110朝向目标景物的任意一个预设点发出的激光与所述第一平面的夹角为θ,所述图像传感器130与所述预设点的连线与所述第一平面的夹角为ψ,其中所述夹角ψ=π/2-W(n-2H)/H,其中,n为所述返回的激光在所述二维图像信号的位置沿水平方向到所述二维图像的邻近所述预设点的边缘范围水平解析度。
其中,可以理解,对于一个实际使用的三维摄像装置100来说,所述解析度H*V是已知的,其与所述图像传感器130的用于感测的像素阵列的像素(pixel)数量一致,所述图像传感器130的视角W也是已知的,其与所述图像传感器130上方的透镜组件(lens)的结构相关,所述目标景物也是所述图像传感器130的视角W范围内的景物,所述激光光源110发出的所述激光的方向也是已知的,因此所述激光光源110发出的每个激光与所述第一平面的夹角θ已知,由于所述图像传感器130可以同时感测可见光及所述返回的激光,从而所述返回的激光在所述二维图像信号的位置也可以获知,进而所述返回的激光在所述二维图像信号的位置沿水平方向到所述二维图像的邻近所述预设点的边缘范围水平解析度n也是已知的,进而所述数据处理模块150可以依据所述公式ψ=π/2-W(n-2H)/H可以计算获得所述图像传感器130与所述预设点的连线与所述第一平面的夹角为ψ。
进一步地,设所述图像传感器130与所述激光光源110之间的距离为a,所述第一平面包括所述预设点的映射点,所述预设点到所述映射点的连线的距离等于所述预设点到所述第一平面的距离d,所述映射点到所述激光光源的距离为b,所述映射点至所述激光光源110的距离为c,其中,tan(θ)=d/b,tan(ψ)=d/c,d=a*tan(ψ)*tan(θ)/(tan(ψ)-tan(θ)),所述数据处理模块150依据所述二维图像信号的解析度H*V与所述图像传感器130的视角W计算所述夹角ψ,并进一步依据所述距离a、所述夹角θ及所述夹角ψ计算所述距离d,所述距离d可以表征所述目标景物的深度坐标,即获得所述距离d即可获得所述目标景物的深度坐标。
依据上述可知,所述激光光源110朝向目标景物的任意一个预设点发出所述激光,所述图像传感器130感测可见光获得目标景物的二维图像信号及感测所述预设点返回的所述激光获得所述预设点的深度图像信号,进而所述数据处理模块150依据所述图像传感器130输出的二维图像信号及深度图像信号计算目标景物的所述预设点的三维坐标信息。所述激光光源110可以朝向所述目标景物的各个预设点发出激光,所述图像传感器130感测可见光获得目标景物的二维图像信号及感测所述各个预设点返回的所述激光获得所述各个预设点的深度图像信号,进而所述数据处理模块150依据所述图像传感器输出的二维图像信号及深度图像信号计算目标景物的各个预设点的三维坐标信息,即获得所述目标景物的三维坐标信息。
请参阅图4,图4是图1所示的三维摄像装置100的工作原理示意图。其中图4(a)代表一种目标景物的结构示意图,其中所述目标景物可以包括第二平面及设置于所述第二平面邻近所述三维摄像装置的一侧的物体(如球体)。可以理解,所述激光光源110朝向所述图像传感器130的视角W涵盖的范围内发出所述激光,所述图像传感器130的视角W涵盖的范围划分为H*V个矩阵排列的像素区域,本实施方式中,所述激光光源110发的所述激光的截面为点状(如圆形或方形的光斑),所述光源控制器170可以控制所述激光光源110依次朝向所述H*V个像素区域发出所述激光,其中每个像素区域可以对应所述目标景物的一个所述预设点,即所述光源控制器170可以控制所述激光光源110依次朝向所述H*V个像素区域一一对应的多个预设点发出所述激光。
需要说明的是,任意相邻的两个激光的发射时间之间具有预定时间间隔t,因所述图像传感器130的能力及时间等原因的限制,设所述图像传感器130具有深度感测临界线,即在所述图像传感器130的视角W涵盖的范围内超出所述深度感测临界线的物体的深度图像信号将无法获取或设置为无效信号,为避免相邻的两个激光的返回的两个激光相互干扰而无法确定对应关系,所述预定时间间隔t最好大于所述激光传输所述激光光源110至所述深度感测临界线之间的最大距离的两倍的距离所需的时间。可以理解,本实施方式中,图4(a)所示的第二平面在所述深度感测临界线以内,如可以刚好位于所述深度感测临界线。
进一步地,所述光源控制器170控制所述激光光源110以所述预定时间间隔t依次朝向所述H*V个像素区域一一对应的多个预设点发出所述激光,可以理解,针对所述H*V个矩阵排列的像素区域,所述激光光源110可以先朝向矩阵一角落的像素区域发出第一个激光,所述图像传感器130感测所述第一个激光返回的激光获得第一个激光图像,然后所述激光光源110再朝向邻近的一个像素区域(如沿着水平方向邻近的一个像素区域)发出第二个激光,在图像传感器130感测所述第二个激光返回的激光获得第二个激光图像。进一步地,所述激光光源110可以依序朝向水平方向的一行像素区域发出激光,使得所述图像传感器130感测到所述一行像素区域对应的返回的激光的图像,然后,所述激光光源110可以依序朝向水平方向的下一行邻近的像素区域发出激光,使得所述图像传感器130感测到所述下一行邻近的像素区域对应的返回的激光的图像,直到所述激光光源110朝向所述多行像素区域均发出所述激光,且所述图像传感器130感测所述多行像素区域对应的返回的激光的图像从而获得所述深度图像信号,进一步地,在所述激光光源110朝向所述H*V个像素区域发出激光且所述图像传感器130接收对应返回的激光以获得目标景物的深度图像信号所需的时间可以定义为所述深度图像信号的感测周期T,可以理解,在一种实施方式中,所述感测周期T=H*V*t。所述图像传感器130可以在所述感测周期T内感测可见光产生所述目标景物的二维图像信号。
进一步地,依据前述内容可知,所述激光光源110依次朝向所述H*V个像素区域一一对应的多个预设点发出所述激光,所述激光光源110朝向所述多个预设点(或者说所述H*V个像素区域)发出的激光与所述第一平面的夹角均不相同,在一种实施例中,对于位于水平方向的一行像素区域来说,所述光源控制器170可以控制所述激光光源110依次发出的激光与所述第一平面的夹角随着发射次序依次变大。
具体来说,所述激光与所述第一平面的夹角包括最小值及最大值,所述最小值为所述激光光源位于所述初始位置时的夹角,所述光源控制器170还判断所述激光光源110当前发出的朝向一行像素区域(如第一n行像素区域)的激光与所述第一平面的夹角是否达到所述最大值,当所述夹角达到所述最大值时,所述光源控制器170控制所述激光光源110返回所述初始位置以使所述激光光源110发出的下一激光的夹角为所述最小值且朝向下一行像素区域(如与第n行像素区域相邻的第n+1行像素区域)),当所述夹角未达到所述最大值时,所述光源控制器130控制所述激光光源110移动预定距离以使所述激光光源110发出的下一激光的夹角相较于所述当前的激光与所述第一平面的夹角增加预设值,可以理解,所述预设值可以所述水平解析度及所述视角范围W来计算。具体来说,可以将所述深度感测临界线所在平面按照水平解析度划分为多个区段,所述预设值可以为一个区段的两个端点与所述激光光源进行连线获得夹角值。进一步地,所述三维图像装置100针对所述图4(a)的目标景物的感测到的二维图像信号与深度图像信号的复合图像如图4(b)所示,所述复合图像包括二维图像信号对应的二维图像与所述深度图像信号对应的包括多个激光图像的深度图像,其中所述激光图像与所述激光光源发出的激光的截面形状基本一致,如为点状。
可以理解,由于所述物体的存在,被所述物体反射而返回的激光的图像的位置相较于去除所述物体被所述第二平面反射而返回的激光的图像的位置有偏移(如向左偏移一定距离),具体地,所述偏移的距离与所述物体与所述三维摄像装置100的距离有关,如所述物体与所述三维摄像装置100的距离越远,所述偏移的距离越小;所述物体与所述三维摄像装置100的距离越近,所述偏移的距离越小。进一步地,如图4(c)所示,所述数据处理模块150依据将所述偏移的距离计算所述物体上各预设点的深度信息,即获得所述物体上各预设点的深度坐标。
更进一步地,所述数据处理模块150可以依据去除所述物体被所述第二平面反射而返回的激光的图像的位置确定各预设点的二维坐标,结合前述获得所述物体上各预设点的深度坐标可知,所述物体的三维坐标被获得。
可以理解,由于所述第二平面为正对所述图像传感器130的平面,依据被所述第二平面上的各预设点反射而返回的激光形成的图像的位置即可获得所述预设点的二维坐标,进一步依据所述第二平面至所述图像传感器130的距离即可获得所述第二平面的各预设点的三维坐标,进而所述三维摄像装置100针对图4(a)所示的目标景物获取的三维坐标信息如图4(c)所示。所述数据处理模块150可以将所述各预设点返回的激光形成的图像点中相邻的图像点之间连线,进而获得如图4(d)所示的三维轮廓图像。进一步地,所述数据处理模块150图4(d)所示的三维轮廓图像填充二维图像信号中的颜色信息(如红绿蓝三基色)从而获得如图4(e)所示的目标景物的三维图像信息。
需要说明的是,如图4(a)一种目标景物的示例图,在另一种目标景物的示例中,如图5(a)所示,所述目标景物可以不包括所述第二平面,但在超过深度感测临界线以外的所述图像传感器130的视角范围W内具有多个其他物体,对于图5所示的目标景物中,所述三维图像装置100感测到的二维图像信号与深度图像信号的复合图像如图5(b)所示。进一步地,如图5(c)所示,所述数据处理模块150依据将所述偏移的距离计算所述物体上各预设点的深度信息,即获得所述物体上各预设点的深度坐标。所述三维摄像装置100针对图5(a)所示的目标景物获取的三维坐标信息如图5(c)所示。所述数据处理模块150可以将所述各预设点返回的激光形成的图像点中相邻的图像点之间连线,进而获得如图5(d)所示的物体的三维轮廓图像。进一步地,所述数据处理模块150图5(d)所示的三维轮廓图像填充二维图像信号中的颜色信息(如红绿蓝三基色)从而获得如图5(e)所示的目标景物的三维图像信息。
相较于现有技术,本发明三维摄像装置100及摄像方法中,可以采用一个图像传感器130配合激光光源110及数据处理模块150来获得目标景物的三维坐标,相较于现有使用至少两个图像传感器的三维摄像装置,本发明三维摄像装置100的组装结构较为简单、体积较小。
然而,所述第一实施方式中,由于所述光源控制器170依序控制所述激光光源110以所述预定时间间隔T依次朝向H*V个像素区域发出所述激光,当所述解析度H*V较高时,所述激光的个数较多,所述深度图像信号的感测周期T较长,较大的限制了用户体验。为减小所述感测周期T,在一种变更实施方式中,所述激光的个数可以较所述解析度H*V小,如为所述解析度H*V的1/m,从而每个激光对应m个相邻的像素区域。
进一步地,为减小所述感测周期T,可以将所述激光光源110发的所述激光设置为截面为线状的线状激光,每条线状激光朝向所述竖直方向的至少一列像素区域或者朝向所述水平方向的至少一行像素区域,其中,所述至少一列像素区域或所述至少一行像素区域定义为发射区域。所述图像传感器130感测每条线状激光被目标景物返回的线状激光的图像来获得深度图像信号。请参阅图6,图6是本发明第二实施方式的三维摄像装置的工作原理示意图。所述图6主要以每条线状激光朝向所述竖直方向的至少一列像素区域为例进行说明。所述第二实施方式的三维摄像装置与第一实施方式的三维摄像装置基本相同,二者的区别主要在于:激光光源发出的激光不同,数据处理模块计算的目标景物的深度坐标方法与原理稍有不同。
具体地,所述第二实施方式中,所述激光光源依次朝向所述H*V个像素区域的多个发射区域发出所述线状激光,相邻两条线状激光的预定时间间隔为t,所述深度图像信号的感测周期T为H*t,相较于第一实施方式来说,所述深度图像信号的感测周期T大大减少,所述第二实施方式的三维摄像装置的深度图像信号的感测时间较少,用户体验较高。
进一步地,图6(a)的目标景物与图5(a)的目标景物相同,请参阅图6(b),由于所述激光为线状激光,所述线状激光对应所述目标景物上的一线状区域,所述图像传感器针对所述图6(a)的目标景物感测的二维图像信号与深度图像信号的复合图像如图6(b)所示,可以理解,由于所述物体的存在,被所述物体反射而返回的现状激光的图像的位置相较于去除所述物体被所述第二平面反射而返回的现状激光的图像的位置有偏移(如向左偏移一定距离),具体地,所述偏移的距离与所述物体与所述三维摄像装置的距离有关,如所述物体与所述三维摄像装置的距离越远,所述偏移的距离越小;所述物体与所述三维摄像装置的距离越近,所述偏移的距离越小。进一步地,如图6(c)所示,所述数据处理模块依据将所述偏移的距离计算所述物体多条线状区域的深度信息,即获得所述物体的多条线状区域的深度坐标。
更进一步地,所述数据处理模块可以依据去除所述物体被所述第二平面反射而返回的线状激光的图像的位置确定线状激光的二维坐标,结合前述获得所述物体上各线状区域的深度坐标可知,所述物体的三维坐标被获得。
可以理解,由于所述第二平面为正对所述图像传感器的平面,依据被所述第二平面上的各线状区域反射而返回的激光形成的图像的位置即可获得所述线状区域的二维坐标,进一步依据所述第二平面至所述图像传感器的距离即可获得所述第二平面的各线状区域的三维坐标,进而所述三维摄像装置针对图6(a)所示的目标景物获取的三维坐标信息如图6(c)所示。所述数据处理模块可以将所述各现状区域返回的激光形成的线状图像对应的各像素区域(如像素区域的中心点)与相邻的线状图像之间对应各像素区域之间进行连线,进而获得如图6(d)所示的三维轮廓图像。进一步地,所述数据处理模块图6(d)所示的三维轮廓图像填充二维图像信号中的颜色信息(如红绿蓝三基色)从而获得如图6(e)所示的目标景物的三维图像信息。
需要说明的是,如图6(a)一种目标景物的示例图,在另一种目标景物的示例中,如图7(a)所示,所述目标景物可以不包括所述第二平面,但在超过深度感测临界线以外的所述图像传感器的视角范围W内具有多个其他物体,对于图7所示的目标景物中,所述三维图像装置感测到的二维图像信号与深度图像信号的复合图像如图7(b)所示。进一步地,如图7(c)所示,所述数据处理模块依据将所述偏移的距离计算所述物体上各线状区域的深度信息,即获得所述物体上各线状区域的深度坐标。所述三维摄像装置针对图7(a)所示的目标景物获取的三维坐标信息如图7(c)所示。所述数据处理模块可以将所述各线状区域返回的激光形成的线状图像的对应各像素区域(如像素区域的中心点)中相邻的线状图像对应的各像素区域之间连线,进而获得如图7(d)所示的物体的三维轮廓图像。进一步地,所述数据处理模块图7(d)所示的三维轮廓图像填充二维图像信号中的颜色信息(如红绿蓝三基色)从而获得如图7(e)所示的目标景物的三维图像信息。
为减小所述感测周期T,考虑在第二实施方式的基础上,控制所述激光光源同时朝向所述H*V个像素区域的多个发射区域发出多条线状激光,每一发射区域对应一条线状激光。请参阅图8,图8是本发明第三实施方式的三维摄像装置的工作原理示意图。所述第三实施方式的三维摄像装置与第二实施方式的三维摄像装置基本相同,二者的区别主要在于:激光光源310发出的线状激光的时序稍有不同,但数据处理模块150计算的目标景物的深度坐标方法与原理基本不同。H*V个像素区域还划分为多个并列区域,每个并列区域包括相邻的多个发射区域,所述激光光源310同时朝向发出的多条线状激光与所述多个并列区域一一对应。多个并列区域包括的发射区域的数量相等。
对于每个并列区域,所述激光光源310还依次朝向每个并列区域的多个发射区域发出多条线状激光,每个并列区域310的多条线状激光与所述第一平面的夹角随着发射次序逐渐增大或者每个并列区域的多条线状激光与所述第一平面的夹角随着发射次序逐渐减小。
请参阅图9,图9是本发明第四实施方式的三维摄像装置的工作原理示意图。所述第四实施方式的三维摄像装置与第二实施方式的三维摄像装置基本相同,二者的区别主要在于:激光光源发出的线状激光的时序稍有不同,但数据处理模块计算的目标景物的深度坐标方法与原理基本不同。
所述激光光源同时朝向所述H*V个像素区域的多个发射区域发出的多条线状激光的强度包括第一强度与不同于所述第一强度的第二强度,光源控制器用于依据光强控制信号控制所述激光光源发出的所述多条线状激光的强度,每条线状激光的强度为第一强度或第二强度。其中,所述第一强度不为0,所述第二强度可以为0。
在每个深度图像信号对应的感测周期T内,设所述光源控制器控制所述激光光源同时朝向所述H*V个像素区域的多个发射区域发出的多条线状激光的次数为k次,图像传感器依据所述k次的所述多条线状激光被所述目标景物的反射的激光来产生深度图像信号,如图9所示,所述深度图像信号对应的深度图像包括与所述线状激光一一对应的激光图像,每条线状激光对应的光强控制信号为k位的二进制编码,且所述k位二进制编码的1与0分别对应所述第一强度与所述第二强度,且所述多条线状激光对应的光强控制信号的k位的二进制编码各不相同。
本实施方式中,所述发射区域的数量S(本实施方式中,S=水平解析度H)与次数k的关系符合S=2k-2,且所述k位二进制编码不包括全是0或全是1的二进制编码。本实施方式中,所述深度图像信号的刷新率F=60/k赫兹。
可以理解,图9主要以所述k为4、水平解析度为14进行示例性说明。在其他实施方式中,所述k也可以不为4,举例来说,在一种实施例中,若所述解析度H*V中的水平解析度为1920,所述发射区域的数量S为1920,则所述次数k可以为11,所述深度图像信号的刷新率F可以为5.5赫兹。
请参阅图10及11,图10是本发明第五实施方式的三维摄像装置的工作原理示意图,图11是图10所示激光光源510的结构示意图。所述第五实施方式的三维摄像装置与第四实施方式的三维摄像装置原理基本相同,二者的区别主要在于:激光光源510的结构有所不同,但数据处理模块计算的目标景物的深度坐标方法与原理基本不同。
具体地,所述第五实施方式中,所述激光光源510同时朝向所述H*V个像素区域的多个发射区域发出的多条线状激光的强度包括第一强度与不同于所述第一强度的第二强度(其中所述第一强度不为0,用二进制代码1表征;所述第二强度可以为0,用二进制代码0表征),所述激光光源510包括发光元件511及位于所述发光元件511发出的激光的光路的激光控制元件512,所述激光控制元件512包括k个光栅罩513,每个光栅罩513具有用于发出第一强度的线状激光的第一区域516与发出第二强度的线状激光的第二区域517,所述第一区域516与所述第二区域517与所述多个发射区域对应,经由所述第一区域516发射至所述发射区域的激光强度为所述第一强度,经由所述第一区域517发射至所述发射区域的激光强度为所述第二强度。本实施方式中,所述第一区域516为透光区域,所述第二区域517为不透光区域。每个光栅罩513同时朝向所述H*V个像素区域的多个发射区域发出所述多条线状激光,所述多个光栅罩513的图案各不相同,如图10所示,所述深度图像信号对应的深度图像包括与所述第一区域的激光一一对应的激光图像,在每个深度图像信号对应的感测周期T内,所述发光元件511开启,所述发光元件511发出的激光依次经由所述k个光栅罩513朝向所述多个发射区域发出所述多条线状激光。
可以理解,图10主要以所述k为4、水平解析度为14进行示例性说明。在其他实施方式中,所述k也可以不为4,举例来说,在一种实施例中,若所述解析度H*V中的水平解析度为1920,所述发射区域的数量S为1920,则所述k可以为11。
所述k个光栅罩511沿圆周方向依次设置于一基体514上,所述基体514沿所述圆周的中心旋转使得所述k个光栅罩511依次位于所述发光元件511发出的激光的光路上,使得所述k个光栅罩511依次朝向所述多个发射区域发出所述多条线状激光。
请参阅图12,图12是本发明三维摄像装置的三维摄像方法的流程图。所述三维摄像装置可以使用上述第一至第五实施方式及其变更实施方式中任意一个实施方式的三维摄像装置。所述三维摄像方法包括步骤S1-S3。
步骤S1,发出激光。
步骤S1中,所述激光可以由所述激光光源提供,且可以通过光源控制器控制所述激光光源。由于以上第一至第五实施方式及其变更实施方式已对激光光源及光源控制器进行了详细说明,此处就不再赘述。
步骤S2,感测可见光以产生目标景物的二维图像信号以及感测被所述目标景物的反射的所述激光以产生深度图像信号。
步骤S2中,可以使用所述图像传感器感测并产生所述二维图像信号及深度图像信号。由于以上第一至第五实施方式及其变更实施方式已对所述图像传感器进行了详细说明,此处就不再赘述。
步骤S3,依据所述二维图像信号获得所述目标景物的二维坐标,以及依据所述深度图像信号获得所述目标景物的深度坐标,从而获得所述目标景物的三维坐标信息。
步骤S3中,可以使用所述数据处理模块计算并获得所述目标景物的三维坐标信息。由于以上第一至第五实施方式及其变更实施方式已对所述数据处理模块进行了详细说明,此处就不再赘述。
请参阅图13,图13是本发明人脸识别方法的流程图。所述人脸识别方法包括以下步骤S4-S10。
步骤S4,获取人脸的二维图像。
步骤S5,判断所述人脸的二维图像是否与预设模板一致。若所述人脸的二维图像与所述预设模板不一致,执行步骤S6,即人脸识别不通过。若所述人脸的二维图像与所述预设模板一致,执行步骤S7。
步骤S7,利用三维摄像装置摄取所述人脸至少部分区域的三维坐标信息,所述至少部分区域包括至少一个脸部特征,所述三维摄像装置可以采用以上第一至第五实施方式及其变更实施方式任意一实施方式所述的三维摄像装置。
步骤S8,依据所述人脸至少部分区域的三维坐标信息获取所述至少一个脸部特征的参数。
步骤S9,判断所述至少一个脸部特征的参数与预设参数是否一致。若所述至少一个脸部特征的参数与预设参数一致,则判执行步骤S10,即人脸识别通过;若所述至少一个脸部特征的参数与预设参数不一致,则判执行步骤S6,即人脸识别不通过。
其中,所述至少一个人脸特征为眼睛、颧骨或鼻子,所述至少一个脸部特征的参数为眼间距、颧骨高度或鼻梁高度。
本发明的人脸识别方法中,先判断所述人脸的二维图像是否与预设模板一致,若人脸的二维图像是否与预设模板则直接判断人脸识别不通过,相较于先前获取并使用人脸的三维坐标信息与预设模板是否一致来判断人脸识别是否通过的方法来说,本发明的人脸识别方法可以在一定程度缩短识别时间,提高用户体验。进一步地,本发明的人脸识别方法中,可以仅存储人脸的二维图像的预设模板及预设参数,相较于完整存储人脸的全部三维坐标信息的模板来说,本发明人脸识别方法可使得数据存储、数据比对处理等压力均较小,也有助于降低硬件成本、提高硬件寿命、缩短人脸识别时间及提高用户体验等。
当然,本发明并不局限于上述公开的实施例,本发明还可以是对上述实施例进行各种变更。本技术领域人员可以理解,只要在本发明的实质精神范围之内,对以上实施例所作的适当改变和变化都落在本发明要求保护的范围之内。

Claims (18)

1.一种三维摄像装置,其特征在于:所述三维摄像装置包括:
激光光源,用于发出激光;
图像传感器,用于感测可见光以产生目标景物的二维图像信号以及感测被所述目标景物的反射的所述激光以产生深度图像信号;及
数据处理模块,用于依据所述二维图像信号获得所述目标景物的二维坐标,以及依据所述深度图像信号获得所述目标景物的深度坐标,从而获得所述目标景物的三维坐标信息,
设所述激光光源与所述图像传感器位于第一平面上,所述二维图像信号的解析度为H*V,H为水平方向的水平解析度,V为竖直方向的竖直解析度,所述图像传感器的视角为W,所述激光光源朝向目标景物的预设点发出的激光与所述第一平面的夹角为θ,所述图像传感器与所述预设点的连线与所述第一平面的夹角为ψ,其中所述夹角ψ=π/2-W(n-2H)/H,其中,n为返回的激光在所述二维图像信号的位置沿水平方向到所述二维图像的邻近所述预设点的边缘范围水平解析度。
2.如权利要求1所述三维摄像装置,其特征在于:所述激光的波长大于所述可见光的波长。
3.如权利要求1所述三维摄像装置,其特征在于:所述激光光源为红外激光光源,所述激光包括波长为950nm的激光。
4.如权利要求1所述三维摄像装置,其特征在于:所述目标景物包括第二平面及设置于所述第二平面邻近所述三维摄像装置的一侧的物体,所述数据处理模块依据所述深度图像信号中被所述物体反射而返回的激光的图像的位置相较于去除所述物体被所述第二平面反射而返回的激光的图像的位置的偏移方向与偏移距离来获取所述目标景物的深度坐标。
5.如权利要求1所述三维摄像装置,其特征在于:所述图像传感器与所述激光光源之间的距离为a,所述第一平面包括所述预设点的映射点,所述预设点到所述映射点的连线的距离等于所述预设点到所述第一平面的距离d,所述映射点到所述激光光源的距离为b,所述映射点至所述激光光源的距离为c,其中,tan(θ)=d/b,tan(ψ)=d/c,d=a*tan(ψ)*tan(θ)/(tan(ψ)-tan(θ)),所述数据处理模块利用公式ψ=π/2-W(n-2H)/H依据所述二维图像信号的解析度H*V、所述图像传感器的视角W、及所述返回的激光在所述二维图像信号的位置沿水平方向到所述二维图像的邻近所述预设点的边缘范围水平解析度n计算所述夹角ψ,并进一步利用公式d=a*tan(ψ)*tan(θ)/(tan(ψ)-tan(θ))依据所述距离a、所述夹角θ及所述夹角ψ计算所述距离d,从而获得所述目标景物的深度坐标。
6.如权利要求1所述三维摄像装置,其特征在于:所述激光光源朝向所述图像传感器的视角W涵盖的范围内发出所述激光,所述图像传感器的视角W涵盖的范围划分为H*V个像素区域,所述三维摄像装置还包括光源控制器,所述激光光源发的所述激光的截面为点状,所述光源控制器控制所述激光光源依次朝向所述H*V个像素区域发出所述激光。
7.如权利要求6所述三维摄像装置,其特征在于:所述光源控制器控制所述激光光源依次发出的激光与所述第一平面的夹角依次变大,所述激光与所述第一平面的夹角包括最小值及最大值,所述最小值为所述激光光源位于初始位置时的夹角,所述光源控制器还判断所述激光光源当前发出的激光与所述第一平面的夹角是否达到所述最大值,当所述夹角达到所述最大值时,所述光源控制器控制所述激光光源返回所述初始位置以使所述激光光源发出的下一激光的夹角为所述最小值,当所述夹角未达到所述最大值时,所述光源控制器控制所述激光光源移动预定距离以使所述激光光源发出的下一激光的夹角相较于所述当前的激光与所述第一平面的夹角增加预设值。
8.如权利要求1所述三维摄像装置,其特征在于:所述激光光源朝向所述图像传感器的视角W涵盖的范围内发出所述激光,所述图像传感器的视角W涵盖的范围划分为H*V个像素区域,所述激光光源发的所述激光的截面为线状,每条线状激光朝向所述竖直方向的至少一列像素区域或者朝向所述水平方向的至少一行像素区域,所述至少一列像素区域或所述至少一行像素区域定义为发射区域。
9.如权利要求8所述三维摄像装置,其特征在于:所述激光光源依次朝向所述H*V个像素区域的多个发射区域发出所述线状激光。
10.如权利要求8所述三维摄像装置,其特征在于:所述激光光源同时朝向所述H*V个像素区域的多个发射区域发出多条线状激光,每一发射区域对应一条线状激光。
11.如权利要求10所述三维摄像装置,其特征在于:所述H*V个像素区域还划分为多个并列区域,每个并列区域包括相邻的多个发射区域,所述激光光源同时发出的多条线状激光与所述多个并列区域一一对应,对于每个并列区域,所述激光光源还依次朝向每个并列区域的多个发射区域发出多条线状激光,每个并列区域的多条线状激光与所述第一平面的夹角随着发射次序逐渐增大或者每个并列区域的多条线状激光与所述第一平面的夹角随着发射次序逐渐减小。
12.如权利要求10所述三维摄像装置,其特征在于:所述三维摄像装置包括光源控制器,所述激光光源同时朝向所述H*V个像素区域的多个发射区域发出的多条线状激光的强度包括第一强度与不同于所述第一强度的第二强度,所述光源控制器用于依据光强控制信号控制所述激光光源发出的所述多条线状激光的强度,每条线状激光的强度为第一强度或第二强度,在每个深度图像信号对应的感测周期内,设所述光源控制器控制所述激光光源同时朝向所述H*V个像素区域的多个发射区域发出的多条线状激光的次数为k次,所述图像传感器依据所述k次的所述多条线状激光被所述目标景物的反射的激光来产生深度图像信号,每条线状激光对应的光强控制信号为k位的二进制编码,且所述k位二进制编码的1与0分别对应所述第一强度与所述第二强度,且所述多条线状激光对应的光强控制信号的k位的二进制编码各不相同。
13.如权利要求12所述三维摄像装置,其特征在于:所述发射区域的数量S与次数k的关系符合S=2k-2,且所述k位二进制编码不包括全是0或全是1的二进制编码。
14.如权利要求12所述三维摄像装置,其特征在于:所述深度图像信号的刷新率F=60/k赫兹。
15.如权利要求10所述三维摄像装置,其特征在于:所述激光光源同时朝向所述H*V个像素区域的多个发射区域发出的多条线状激光的强度包括第一强度与不同于所述第一强度的第二强度,所述激光光源包括发光元件及位于所述发光元件发出的激光的光路的激光控制元件,所述激光控制元件包括k个光栅罩,每个光栅罩具有用于发出第一强度的线状激光的第一区域与发出第二强度的线状激光的第二区域,所述第一区域与所述第二区域与所述多个发射区域对应,经由所述第一区域发射至所述发射区域的激光强度为所述第一强度,经由所述第一区域发射至所述发射区域的激光强度为所述第二强度,每个光栅罩同时朝向所述H*V个像素区域的多个发射区域发出所述多条线状激光,所述多个光栅罩的图案各不相同,在每个深度图像信号对应的感测周期内,所述发光元件开启,所述发光元件发出的激光依次经由所述k个光栅罩朝向所述多个发射区域发出所述多条线状激光。
16.如权利要求15所述三维摄像装置,其特征在于:所述k个光栅罩沿圆周方向依次设置于一基体上,所述基体沿所述圆周的中心旋转使得所述k个光栅罩依次位于所述发光元件发出的激光的光路上,使得所述k个光栅罩依次朝向所述多个发射区域发出所述多条线状激光。
17.一种人脸识别方法,其包括如下步骤:
获取人脸的二维图像;
判断所述人脸的二维图像是否与预设模板一致,若所述人脸的二维图像与所述预设模板不一致,判断人脸识别不通过,若所述人脸的二维图像与所述预设模板一致,利用三维摄像装置摄取所述人脸至少部分区域的三维坐标信息,所述至少部分区域包括至少一个脸部特征,所述三维摄像装置采用如权利要求1-16项任意一项所述的三维摄像装置;
依据所述人脸至少部分区域的三维坐标信息获取所述至少一个脸部特征的参数;及
判断所述至少一个脸部特征的参数与预设参数是否一致,若所述至少一个脸部特征的参数与预设参数一致,则判断人脸识别通过,若所述所述至少一个脸部特征的参数与预设参数不一致,判断人脸识别不通过。
18.如权利要求17所述的人脸识别方法,其特征在于:所述至少一个人脸特征为眼睛、颧骨或鼻子,所述至少一个脸部特征的参数为眼间距、颧骨高度或鼻梁高度。
CN201711294364.5A 2017-12-08 2017-12-08 三维摄像装置、三维摄像方法及人脸识别方法 Active CN107944422B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201711294364.5A CN107944422B (zh) 2017-12-08 2017-12-08 三维摄像装置、三维摄像方法及人脸识别方法
TW106145172A TWI657408B (zh) 2017-12-08 2017-12-21 三維攝像裝置、三維攝像方法及人臉識別方法
US15/942,625 US10841565B2 (en) 2017-12-08 2018-04-02 3D camera device, 3D imaging method, and human face recognition method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711294364.5A CN107944422B (zh) 2017-12-08 2017-12-08 三维摄像装置、三维摄像方法及人脸识别方法

Publications (2)

Publication Number Publication Date
CN107944422A CN107944422A (zh) 2018-04-20
CN107944422B true CN107944422B (zh) 2020-05-12

Family

ID=61945312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711294364.5A Active CN107944422B (zh) 2017-12-08 2017-12-08 三维摄像装置、三维摄像方法及人脸识别方法

Country Status (3)

Country Link
US (1) US10841565B2 (zh)
CN (1) CN107944422B (zh)
TW (1) TWI657408B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019171827A1 (ja) * 2018-03-08 2019-09-12 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN110191266B (zh) * 2018-04-28 2021-08-31 Oppo广东移动通信有限公司 数据处理方法、装置、电子设备及计算机可读存储介质
EP3672223B1 (en) 2018-04-28 2022-12-28 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Data processing method, electronic device, and computer-readable storage medium
CN108763911B (zh) 2018-06-06 2019-12-06 Oppo广东移动通信有限公司 验证方法、验证装置、电子设备和计算机可读存储介质
CN109194869A (zh) * 2018-10-09 2019-01-11 Oppo广东移动通信有限公司 控制方法、控制装置、深度相机和电子装置
CN111103306A (zh) * 2018-10-29 2020-05-05 所罗门股份有限公司 检测与标记瑕疵的方法
CN111487320B (zh) * 2019-01-29 2023-07-21 中慧医学成像有限公司 基于三维光学成像传感器的三维超声成像方法和系统
CN112394524A (zh) * 2019-08-19 2021-02-23 上海鲲游光电科技有限公司 匀光元件及其制造方法和系统以及电子设备
CN111144284B (zh) * 2019-12-25 2021-03-30 支付宝(杭州)信息技术有限公司 深度人脸图像的生成方法、装置、电子设备及介质
TR201922951A2 (tr) * 2019-12-31 2020-12-21 Kitslo Yazilim Anonim Sirketi Bi̇r görüntüleme aparati
CN111207690B (zh) * 2020-02-17 2021-03-12 天目爱视(北京)科技有限公司 一种可调整的虹膜3d信息采集测量设备
CN113409438A (zh) * 2020-02-28 2021-09-17 华为技术有限公司 一种数字摄影测量方法、电子设备及系统
CN113014782B (zh) * 2021-03-19 2022-11-01 展讯通信(上海)有限公司 图像数据处理方法及装置、摄像设备、终端及存储介质
CN113111762B (zh) * 2021-04-07 2024-04-05 瑞芯微电子股份有限公司 一种人脸识别方法、检测方法、介质及电子设备
CN113382166B (zh) * 2021-06-08 2022-07-15 贝壳找房(北京)科技有限公司 摄像设备光心对齐方法和装置、存储介质、电子设备
CN115904106B (zh) * 2021-08-13 2024-03-26 安徽省东超科技有限公司 定位感测方法及输入终端装置
CN113869302B (zh) * 2021-11-16 2022-07-15 云丁网络技术(北京)有限公司 用于图像处理的控制方法及装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040125072A1 (en) * 2002-12-30 2004-07-01 Gust Lawrence Alan Compact optical pointing apparatus and method
CN100418112C (zh) * 2001-10-17 2008-09-10 拜尔丹泰梯系统公司 用于记录和自动识别确认的面部成像系统
TWI318756B (zh) * 2005-12-29 2009-12-21 Ind Tech Res Inst
CN102779269A (zh) * 2012-06-13 2012-11-14 合肥工业大学 基于图像传感器成像系统的人脸识别算法
CN103108199A (zh) * 2011-11-09 2013-05-15 宏碁股份有限公司 动态景深调整装置及其方法
CN103234479A (zh) * 2013-04-10 2013-08-07 浙江大学 基于压缩感知脉冲编码调制的三维信息获取装置和方法
GB2518673A (en) * 2013-09-30 2015-04-01 Ortery Technologies Inc A method using 3D geometry data for virtual reality presentation and control in 3D space
CN103557796B (zh) * 2013-11-19 2016-06-08 天津工业大学 基于激光测距和计算机视觉的三维定位系统及定位方法
CN206461724U (zh) * 2017-01-19 2017-09-01 中国石油天然气股份有限公司 井下摄像装置
TWI599757B (zh) * 2012-12-19 2017-09-21 巴斯夫歐洲公司 用於偵測至少一物件之偵測器、其用途、用於偵測至少一物件之方法、人機介面、娛樂器件、追蹤系統及攝影機
TW201741620A (zh) * 2016-02-12 2017-12-01 Ckd Corp 三維測量裝置
CN107424186A (zh) * 2016-05-19 2017-12-01 纬创资通股份有限公司 深度信息测量方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NO301999B1 (no) * 1995-10-12 1998-01-05 Metronor As Kombinasjon av laser tracker og kamerabasert koordinatmåling
US20060197867A1 (en) * 2005-03-02 2006-09-07 Peter Johnson Imaging head and imaging system
US8537893B2 (en) * 2006-01-23 2013-09-17 Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V. High dynamic range codecs
JP4872862B2 (ja) * 2006-09-28 2012-02-08 ソニー株式会社 画像データ演算装置および方法、プログラム、並びに記録媒体
JPWO2013133286A1 (ja) * 2012-03-06 2015-07-30 株式会社ニコン 形状測定装置、構造物製造システム、走査装置、形状測定方法、構造物製造方法、及び形状測定プログラム
US9307256B2 (en) * 2013-01-21 2016-04-05 The Regents Of The University Of California Method and apparatus for spatially scalable video compression and transmission
CN206431724U (zh) * 2017-01-25 2017-08-22 辛明江 一种基于人脸识别技术的门禁系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100418112C (zh) * 2001-10-17 2008-09-10 拜尔丹泰梯系统公司 用于记录和自动识别确认的面部成像系统
US20040125072A1 (en) * 2002-12-30 2004-07-01 Gust Lawrence Alan Compact optical pointing apparatus and method
TWI318756B (zh) * 2005-12-29 2009-12-21 Ind Tech Res Inst
CN103108199A (zh) * 2011-11-09 2013-05-15 宏碁股份有限公司 动态景深调整装置及其方法
CN102779269A (zh) * 2012-06-13 2012-11-14 合肥工业大学 基于图像传感器成像系统的人脸识别算法
TWI599757B (zh) * 2012-12-19 2017-09-21 巴斯夫歐洲公司 用於偵測至少一物件之偵測器、其用途、用於偵測至少一物件之方法、人機介面、娛樂器件、追蹤系統及攝影機
CN103234479A (zh) * 2013-04-10 2013-08-07 浙江大学 基于压缩感知脉冲编码调制的三维信息获取装置和方法
GB2518673A (en) * 2013-09-30 2015-04-01 Ortery Technologies Inc A method using 3D geometry data for virtual reality presentation and control in 3D space
CN103557796B (zh) * 2013-11-19 2016-06-08 天津工业大学 基于激光测距和计算机视觉的三维定位系统及定位方法
TW201741620A (zh) * 2016-02-12 2017-12-01 Ckd Corp 三維測量裝置
CN107424186A (zh) * 2016-05-19 2017-12-01 纬创资通股份有限公司 深度信息测量方法及装置
CN206461724U (zh) * 2017-01-19 2017-09-01 中国石油天然气股份有限公司 井下摄像装置

Also Published As

Publication number Publication date
CN107944422A (zh) 2018-04-20
TWI657408B (zh) 2019-04-21
US10841565B2 (en) 2020-11-17
US20190182474A1 (en) 2019-06-13
TW201926259A (zh) 2019-07-01

Similar Documents

Publication Publication Date Title
CN107944422B (zh) 三维摄像装置、三维摄像方法及人脸识别方法
JP3779308B2 (ja) カメラ校正システム及び三次元計測システム
CN106210698B (zh) 深度相机的控制方法
CN109831660B (zh) 深度图像获取方法、深度图像获取模组及电子设备
US20200082160A1 (en) Face recognition module with artificial intelligence models
KR100917524B1 (ko) 위치 검출 장치
WO2018161466A1 (zh) 深度图像获取系统和方法
US9383549B2 (en) Imaging system
US10936900B2 (en) Color identification using infrared imaging
JP2006505784A (ja) 測距装置
US20190320886A1 (en) Endoscope apparatus
TW201724027A (zh) 產生具有減少過度平滑之視差圖
US11076145B2 (en) Depth map generator
US20200329220A1 (en) Image processing apparatus and method
EP3596425B1 (en) Optoelectronic devices for collecting three-dimensional data
US11061139B2 (en) Ranging sensor
US20230003894A1 (en) Time-of-flight imaging circuitry, time-of-flight imaging system, time-of-flight imaging method
CN213091888U (zh) 深度测量系统及电子设备
US11195290B2 (en) Apparatus and method for encoding in structured depth camera system
WO2020256634A1 (en) Projecting a structured light pattern from an apparatus having an oled display screen
TWI788120B (zh) 非接觸式電梯操控系統
US20240144575A1 (en) 3d image sensing device with 3d image processing function and 3d image processing method applied thereto
CN109974611B (zh) 深度检测系统及其支架和电子装置
KR102673019B1 (ko) 식별 장치 및 전자기기
TWI675350B (zh) 影像處理裝置與方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant