CN117452747B - 一种3d结构光系统 - Google Patents

一种3d结构光系统 Download PDF

Info

Publication number
CN117452747B
CN117452747B CN202311764989.9A CN202311764989A CN117452747B CN 117452747 B CN117452747 B CN 117452747B CN 202311764989 A CN202311764989 A CN 202311764989A CN 117452747 B CN117452747 B CN 117452747B
Authority
CN
China
Prior art keywords
light
pattern
light source
speckle
multispectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311764989.9A
Other languages
English (en)
Other versions
CN117452747A (zh
Inventor
李安
张莉萍
陈驰
张思曼
鲁亚东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Minshi Microelectronics Co.,Ltd.
Original Assignee
Shenzhen Angstrong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Angstrong Technology Co ltd filed Critical Shenzhen Angstrong Technology Co ltd
Priority to CN202311764989.9A priority Critical patent/CN117452747B/zh
Publication of CN117452747A publication Critical patent/CN117452747A/zh
Application granted granted Critical
Publication of CN117452747B publication Critical patent/CN117452747B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • G03B15/03Combinations of cameras with lighting apparatus; Flash units
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4205Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • G06V40/45Detection of the body part being alive
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明实施例公开了一种3D结构光系统,该系统包括多光谱投射器、接收相机、控制处理模块和活体检测模块;控制处理模块用于控制多光谱投射器向待测物体投射多光谱光斑;接收相机用于接收经待测物体返回的多光谱光斑,形成多张不同状态的光斑图像,控制处理模块还用于对其进行图像处理,并计算获得一张深度图;活体检测模块用于利用活体检测模型,至少对控制处理器获得的图像进行活体检测,并在活体检测模型均输出肯定结果时,判定待测物体为活体。该系统通过单个多光谱投射器实现了多种状态光斑的投射;并且通过活体检测模块判定待测物是否为活体,丰富了用于活体检测的图像种类,该系统结构简单,具有较高的系统活体检测准确性。

Description

一种3D结构光系统
技术领域
本发明实施例涉及活体检测技术,尤其涉及一种3D结构光系统。
背景技术
人体的人脸、掌纹、静脉、虹膜、指纹等特征是个人先天存在的生理方面特征,具有独一无二的特性,作为身份认证的方式,生物特征识别相比传统的认证方式如钥匙、签名等,具有安全、不易丢失、遗忘等优点,随着计算机科技的快速发展,生物特征识别的应用范围越来越广泛,如门锁、支付、闸机、考勤等各个领域。
但随着各种生物特征识别系统应用的日益广泛,许多针对生物识别系统的欺骗手段也随之出现,如使用打印的照片、电子屏幕播放的视频、三维模型等,对基于生物特征识别的系统造成了极大的安全隐患,因此,在系统中引入活体检测功能是非常重要和必须的,它可以有效地阻止或避免对识别系统的欺骗与攻击,增强系统识别的可靠性和安全性。
目前活体检测领域方法有:利用3D成像技术,得到用户的深度信息进行活体检测,这部分虽然能避免打印照片或者静态电子屏幕伪造,但某些特制的3D模型依然可以通过系统认证;此外还有利用多光谱检测,如采集用户在不同波长光照下的图片,提取不同光谱成像图片的特征信息,针对人的皮肤对多种波长光源成像与模型或照片的差异来判定,此方法涉及多种光源系统,系统较复杂,装置昂贵,且多光谱检测设备无法获取用户的深度信息,也较容易被伪造的平面图像攻克。
发明内容
本发明提供一种3D结构光系统,通过单个多光谱投射器实现了多种状态光斑的投射,并且通过活体检测模块判定待测物是否为活体,丰富了用于活体检测的图像种类,结构简单,提高了系统活体检测的准确性。
本发明实施例提供了一种3D结构光系统,其特征在于,包括多光谱投射器、接收相机、控制处理模块和活体检测模块;
所述控制处理模块分别与所述多光谱投射器、所述接收相机、所述活体检测模块电连接;
所述控制处理模块用于控制所述多光谱投射器向待测物体投射多光谱光斑;
所述接收相机用于接收经待测物体返回的多光谱光斑,形成多张不同状态的光斑图像,多张不同状态的所述光斑图像至少包括一张原始清晰散斑图、一张原始模糊散斑图或第一原始均匀泛光图和一张第二原始均匀泛光图;
所述控制处理模块还用于对多张不同状态的所述光斑图像进行图像处理,至少获得一张清晰散斑图、一张模糊散斑图或第一均匀泛光图和一张第二均匀泛光图,并根据所述清晰散斑图以及预设的参考清晰散斑图,计算获得一张深度图;
所述活体检测模块用于利用活体检测模型,至少对所述清晰散斑图、所述模糊散斑图或所述第一均匀泛光图、所述第二均匀泛光图以及所述深度图进行活体检测,并在所述活体检测模型均输出肯定结果时,判定待测物体为活体。
本发明实施例提供了一种3D结构光系统,该系统包括多光谱投射器、接收相机、控制处理模块和活体检测模块;控制处理模块分别与多光谱投射器、接收相机、活体检测模块电连接;控制处理模块用于控制多光谱投射器向待测物体投射多光谱光斑;接收相机用于接收经待测物体返回的多光谱光斑,形成多张不同状态的光斑图像,多张不同状态的光斑图像至少包括一张原始清晰散斑图、一张原始模糊散斑图或第一原始均匀泛光图和一张第二原始均匀泛光图;控制处理模块还用于对多张不同状态的光斑图像进行图像处理,至少获得一张清晰散斑图、一张模糊散斑图或第一均匀泛光图和一张第二均匀泛光图,并根据清晰散斑图以及预设的参考清晰散斑图,计算获得一张深度图;活体检测模块用于利用活体检测模型,至少对清晰散斑图、模糊散斑图或第一均匀泛光图、第二均匀泛光图以及深度图进行活体检测,并在活体检测模型均输出肯定结果时,判定待测物体为活体。该系统通过单个多光谱投射器实现了多种状态光斑,即多光谱光斑以及不同清晰度的散斑的投射;并且通过活体检测模块判定待测物是否为活体,丰富了用于活体检测的图像种类,保证了该系统结构简单的同时,还提高了系统活体检测的准确性。
附图说明
图1为本发明实施例提供的一种3D结构光系统组成模块示意图;
图2为图1所示3D结构光系统中的一种多光谱投射器的结构示意图;
图3-图5为图2所示多光谱投射器的三种不同波长的投射光斑示意图;
图6为图1所示3D结构光系统中的另一种多光谱投射器的结构示意图;
图7为图1所示3D结构光系统中的再一种多光谱投射器的结构示意图;
图8为图7所示多光谱投射器中的一种掩膜版的结构示意图;
图9为图8所示掩膜版的中的一种掩膜图案的结构示意图;
图10为图1所示3D结构光系统中的一种接收相机的结构示意图;
图11为图10所示接收相机中成像芯片的一种像素分布示意图;
图12-图14为图1所示3D结构光系统中的三种接收相机结构示意图;
图15为图1所示3D结构光系统中的又一种接收相机结构示意图;
图16为本发明实施例提供的另一种3D结构光系统组成模块示意图。
其中:
101-多光谱投射器、102-接收相机、1021-第一接收相机、1022-第二接收相机、1023-第三接收相机、103-控制处理模块、104-活体检测模块;
2011-第一电路板、2012-第二电路板、202-第一光源、2021-第一波长散斑图、2022-清晰散斑投射图、203-第二光源、2031-第二波长散斑图、2032-模糊散斑投射图、204-第三光源、2041-第三波长散斑图、2042-第二均匀泛光投射图、205-结构支架、206-准直-衍射一体化光学元件、207-掩膜版、2071-透明基底、2072-掩膜图案层、208-投射物镜、209-滤光片;
301-成像镜头、302-成像芯片、3021-第一成像芯片、3022-第二成像芯片、3023-第三成像芯片、3024-第四成像芯片、3025-第五成像芯片、3026-第一成像单元、3027-第二成像单元、3028-第三成像单元、3029-重复单元组、303-分光棱镜、3031-第一分光棱镜、3032-第二分光棱镜、304-分光光栅、305-垫高片。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。需要注意的是,本发明实施例所描述的“上”、“下”、“左”、“右”等方位词是以附图所示的角度来进行描述的,不应理解为对本发明实施例的限定。此外在上下文中,还需要理解的是,当提到一个元件被形成在另一个元件“上”或“下”时,其不仅能够直接形成在另一个元件“上”或者“下”,也可以通过中间元件间接形成在另一元件“上”或者“下”。术语“第一”、“第二”等仅用于描述目的,并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
本发明使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”。
需要注意,本发明中提及的“第一”、“第二”等概念仅用于对相应内容进行区分,并非用于限定顺序或者相互依存关系。
需要注意,本发明中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
图1为本发明实施例提供的一种3D结构光系统组成模块示意图,如图1所示,该3D结构光系统包括多光谱投射器101、接收相机102、控制处理模块103和活体检测模块104;
控制处理模块103分别与多光谱投射器101、接收相机102、活体检测模块104电连接;
控制处理模块103用于控制多光谱投射器101向待测物体投射多光谱光斑;
接收相机102用于接收经待测物体返回的多光谱光斑,形成多张不同状态的光斑图像,多张不同状态的光斑图像至少包括一张原始清晰散斑图、一张原始模糊散斑图或第一原始均匀泛光图和一张第二原始均匀泛光图;
控制处理模块103还用于对多张不同状态的光斑图像进行图像处理,至少获得一张清晰散斑图、一张模糊散斑图或第一均匀泛光图和一张第二均匀泛光图,并根据清晰散斑图以及预设的参考清晰散斑图,计算获得一张深度图;
活体检测模块104用于利用活体检测模型,至少对清晰散斑图、模糊散斑图或第一均匀泛光图、第二均匀泛光图以及深度图进行活体检测,并在活体检测模型均输出肯定结果时,判定待测物体为活体。
其中,待测物体可以是在检测范围内的人脸、手掌或人体的其它部位;多光谱投射器101向待测物体投射的多光谱光斑是多个不同波长或波段的光斑。
具体的,控制处理模块103控制多光谱投射器101向待测物体投射多光谱光斑,接收相机102接收经待测物体返回的多光谱光斑成多张不同状态光斑的图像,其中不同状态光斑的图像包含待测物体的至少一张原始清晰散斑图、一张原始模糊散斑图或第一原始均匀泛光图和一张第二原始均匀泛光图,将所得到的多张不同状态光斑的图像输出至控制处理模块103中进行图像处理,一方面为加快活体检测速度和提高活体检测准确性,图像处理包括对接收相机102输出的原始图像进行去噪声、裁剪、旋转等操作,得到处理后的清晰散斑图、模糊散斑图或第一均匀泛光图和第二均匀泛光图。需要说明的是,经处理后的图像尺寸较小,图像质量较好便于下一步的活体检测。另一方面,控制处理模块103还负责将处理后的清晰散斑图与预先保存在系统里的参考清晰散斑图进行匹配,计算得到待测物体的深度图,经控制处理模块103后可获得待测物体的清晰散斑图、深度图、模糊散斑图或第一均匀泛光图和第二均匀泛光图,均输出至活体检测模块104进行活体判定。此处活体检测模块104中设置有活体检测模型,该活体检测模型本质为神经网络模型,通过提前利用深度图以及多光谱光斑图进行训练,可以准确地对深度图和多光谱光斑图进行活体检测,输出活体判定结果。具体地,当上述的深度图以及包含清晰散斑图、模糊散斑图或第一均匀泛光图和第二均匀泛光图的多光谱光斑图均由该活体检测模型判定为活体时,则表明该待测物体为活体,能够避免单独以深度图或单独以多光谱光斑图进行活体判定时的缺陷,起到互补的效果。由此,若活体检测模块104判定为活体,则可进行下一步身份认证,若活体检测模块104判定为非活体,则活体检测不通过。
本发明实施例提供了一种3D结构光系统,该系统包括多光谱投射器、接收相机、控制处理模块和活体检测模块;控制处理模块分别与多光谱投射器、接收相机、活体检测模块电连接;控制处理模块用于控制多光谱投射器向待测物体投射多光谱光斑;接收相机用于接收经待测物体返回的多光谱光斑,形成多张不同状态的光斑图像,多张不同状态的光斑图像至少包括一张原始清晰散斑图、一张原始模糊散斑图或第一原始均匀泛光图和一张第二原始均匀泛光图;控制处理模块还用于对多张不同状态的光斑图像进行图像处理,至少获得一张清晰散斑图、一张模糊散斑图或第一均匀泛光图和一张第二均匀泛光图,并根据清晰散斑图以及预设的参考清晰散斑图,计算获得一张深度图;活体检测模块用于利用活体检测模型,至少对清晰散斑图、模糊散斑图或第一均匀泛光图、第二均匀泛光图以及深度图进行活体检测,并在活体检测模型均输出肯定结果时,判定待测物体为活体。该系统通过单个多光谱投射器实现了多种状态光斑,即多光谱光斑以及不同清晰度的散斑的投射;并且通过活体检测模块判定待测物是否为活体,丰富了用于活体检测的图像种类,保证了该系统结构简单的同时,还提高了系统活体检测的准确性。
图2为图1所示3D结构光系统中的一种多光谱投射器的结构示意图,图3-图5为图2所示多光谱投射器的三种不同波长的投射光斑示意图,参考图2-图5,多光谱投射器101至少包括准直-衍射一体化光学元件206、第一光源202、第二光源203和第三光源204;准直-衍射一体化光学元件206位于第一光源202、第二光源203和第三光源204的出光侧;第一光源202的出光波长λ1、第二光源203的出光波长λ2、第三光源204的出光波长λ3满足如下条件:|λ2-λ1|<|λ3-λ1|;
第一光源202为激光光源,第一光源202的出光面位于准直-衍射一体化光学元件206的焦平面;
第一光源202出射第一波长散斑图2021,第一波长散斑图2021经准直-衍射一体化光学元件206调制后形成清晰散斑投射图2022;
第二光源203出射第二波长散斑图2031,第二波长散斑图2031经准直-衍射一体化光学元件206调制后形成模糊散斑投射图2032或第一均匀泛光投射图(图中未示出);
第三光源204出射第三波长散斑图2041,第三波长散斑图2041经准直-衍射一体化光学元件206调制后形成第二均匀泛光投射图2042。
具体的,第一光源202、第二光源203和第三光源204间隔排列,需要说明的是,对三个光源的排列顺序无特殊要求。第一光源202、第二光源203和第三光源204发射光的中心波长λ1、λ2、λ3不同,且满足:|λ2-λ1|<|λ3-λ1|,准直-衍射一体化光学元件206针对不同波段的入射光有不同的光束调制效果,如针对第一光源202对应波长的光,有准直衍射功能,即第一光源202发出的光束经准直-衍射一体化光学元件206后,可以复制扩散为带一定特征信息的清晰散斑投射图2022。本领域技术人员可以理解,准直-衍射一体化光学元件206在设计时存在目标波长,具体地,输出面上的光场振幅与准直-衍射一体化光学元件206的相位分布以及输入光波场的振幅相关,其中输入光波长的振幅与光源波长相关,在设计准直-衍射一体化光学元件206时,会设定光源的波长,求解准直-衍射一体化光学元件206的相位分布,以此设计表面的微结构,使得该设定波长的光线经准直-衍射一体化光学元件206后可进行清晰成像,形成该准直-衍射一体化光学元件206的目标波长。换言之,本发明实施例中,将第一光源202的波长与准直-衍射一体化光学元件206的目标波长设置相同,并且,将第一光源202设置在准直-衍射一体化光学元件206的焦平面时,可通过准直-衍射一体化光学元件206输出清晰散斑投射图2022,具体可参考图3,第一光源202为伪随机分布的第一波长散斑图2021,经过准直-衍射一体化光学元件206后,复制扩散为更大视场的清晰散斑投射图2022。示例性的,第一光源202的发光点数量为N,(N≥2),准直-衍射一体化光学元件206的复制级次为M,(M≥2),则最终清晰散斑投射图2022包含的清晰散斑点数为N*M;若图中示意光源发光点的数量为5,光学元件的复制级次设置为9,则最终光斑中散斑点的个数为5*9=45。每个级次的散斑点分布与散斑点数量与激光光源的发光点一致,实际复制级次和光源发光点数量可以根据产品需求设置成任意数量。当入射光的波长远离第一光源202的波长时,如第二光源203发出的光入射至准直-衍射一体化光学元件206时,准直-衍射一体化光学元件206对其准直效果变差,使得其复制扩散为带一定特征信息的模糊散斑投射图2032,或第一均匀泛光投射图。示例性的,可参考图4,第二光源203可以为伪随机分布或规律分布的第二波长散斑图2031,经过准直-衍射一体化光学元件206后,复制扩散为更大视场的模糊散斑投射图2032或第一均匀泛光图,当清晰散斑投射图2022和模糊散斑投射图2032照射于同一距离的待测物体时,模糊散斑投射图2032图案中的散斑尺寸大于清晰散斑投射图2022中的散斑尺寸。当入射波长远离第一光源202的波长达到一定值后,如第三光源204经过准直-衍射一体化光学元件206后,准直-衍射一体化光学元件206对其准直效果进一步变差,即204的多个发光点经准直-衍射一体化光学元件206后,成像的光斑点互相重叠,没有明显的散斑边界,最终复制扩散为第二均匀泛光投射图2042。示例性的,参考图5,第三光源204可以为伪随机分布或规律分布的第三波长散斑图2041(图5所示为规律分布的点阵),经过准直-衍射一体化光学元件206后,复制扩散为更大视场的第二均匀泛光投射图2042。
示例性的,准直-衍射一体化光学元件206可以是通过在一片光学元件的表面集成准直微结构面和衍射微结构面来实现,准直微结构面的功能是将入射的光束准直为平行光,衍射微结构面的功能是将入射的光束复制扩散为视场角更大的光束;准直-衍射一体化光学元件206也可以是通过在一片光学元件的表面形成一个微结构面来实现如上述的准直和衍射功能。如该微结构面可以是基于衍射原理设计的光栅微结构面,也可以是基于广义斯涅耳原理设计的超表面微结构面,或基于其它原理设计的微纳光学元器件。激光光源一般可以是垂直腔面激光发射器、水平腔面激光发射器、边缘激光发射器等。
需要说明的是,参考图2-图5,第二光源203发出的光入射至准直-衍射一体化光学元件206后,可以是带一定特征信息的模糊散斑投射图2032,也可以是复制扩散为更大视场的第二均匀泛光投射图2042。若是复制扩散为更大视场的第二均匀泛光投射图2042,则最终输入活体检测模块104的图像类型有经过处理后的待测物体的清晰散斑图、深度图、第一均匀泛光图和第二均匀泛光图,即多张均匀的泛光图。
进一步的,参考图2,多光谱投射器101还包括第一电路板2011和结构支架205,结构支架205设置在第一电路板2011上,准直-衍射一体化光学元件206设置在结构支架205上并与结构支架205、第一电路板2011构成容置空间;第一光源202、第二光源203和第三光源204设置于容置空间中且电连接在第一电路板2011上。
具体的,第一光源202、第二光源203和第三光源204间隔排列,且均电联于第一电路板2011上,第一电路板2011可以是软硬结合板、陶瓷基板或PCB板等,用于为激光光源供电。
图6为图1所示3D结构光系统中的另一种多光谱投射器的结构示意图,参考图2和图6,第二光源203的出光面和/或第三光源204的出光面位于准直-衍射一体化光学元件206的非焦平面。
具体的,针对图2,在某些实施例中,为增加多光谱投射器101投射的模糊散斑投射图2032的弥散程度,和/或增加多光谱投射器101投射第一均匀泛光投射图和第二均匀泛光投射图2042的均匀性,可以在第二光源203和/或第三光源204底下增加垫高片305,通过改变光源与准直-衍射一体化光学元件206之间的距离,使光源偏离准直-衍射一体化光学元件206投射散斑最清晰的位置放置,即光源设置在准直-衍射一体化光学元件206的非焦平面上,得到预期模糊的模糊散斑投射图2032和第一均匀泛光投射图和第二均匀泛光投射图2042。
示例性的,如图6所示,第三光源204通过一定高度的垫高片305电联于第一电路板2011上,垫高片305可以是PCB、陶瓷基板或金属基板等。
可以理解的是,垫高片305也可以位于第一光源202的底部,此时第二光源203和第三光源204底部直接电联于第一电路板2011上。垫高片305的放置位置只需保证第一光源202位于准直-衍射一体化光学元件206投射最清晰的位置,第二光源203和/或第三光源204的发光面与第一光源202的发光面存在一定的高度差即可,此处不对垫高片305的具体位置进行限定。
图7为图1所示3D结构光系统中的再一种多光谱投射器的结构示意图,图8为图7所示多光谱投射器中的一种掩膜版的结构示意图,图9为图8所示掩膜版的一种掩膜图案的结构示意图,参考图7-图9,该多光谱投射器101至少包括第一光源202、第二光源203、第三光源204、掩膜版207和投射物镜208;
掩膜版207和投射物镜208依次排列于第一光源202、第二光源203和第三光源204的出光侧;第一光源202的出光波长λ1、第二光源203的出光波长λ2、第一光源202的出光波长λ3满足如下条件:|λ2-λ1|<|λ3-λ1|;
掩膜版207包括掩膜图案层2072,掩膜图案层2072中设置有散斑掩膜图案,掩膜版207的掩膜图案层2072位于投射物镜208的焦平面;需解释说明下此处散斑掩膜版207的图案可以点状散斑图案,类似于图3中的点分布图案,还可以是编码散斑图案,即图9中所示,不是点分布的,而是带一定编码特征的;
第一光源202出射第一光束,第一光束经掩膜版207透射且经投射物镜208调制后形成清晰散斑投射图2022;
第二光源203出射第二光束,第二光束经掩膜版207透射且经投射物镜208调制后形成模糊散斑投射图2032或第一均匀泛光投射图;
第三光源204出射第三光束,第三光束经掩膜版207透射且经投射物镜208调制后形成第二均匀泛光投射图2042。
具体的,图7所示的多光谱投射器101主要包含第一光源202、第二光源203、第三光源204、掩膜版207、投射物镜208,第一光源202、第二光源203、第三光源204间隔排列,第一光源202、第二光源203、第三光源204发射光的中心波长λ1、λ2、λ3满足|λ2-λ1|<|λ3-λ1|,光源发出的光束经掩膜版207调制后,再经投射物镜208投射到待测物体上,在待测物体表面形成预期的光斑。本发明实施例提供的多光谱投射器101仅针对某一特定波段的光束能全视场清晰成像,其他波段的光束不能清晰成像,可以通过改变投射物镜208与掩膜版207的相对位置来获取不同清晰状态的光斑,本实施例中掩膜版207的掩膜图案层2072位于投射物镜208的焦平面,且仅针对第一光源202发出的光束能清晰成像,针对第二光源203发出的光束成较模糊的像,针对第三光源204发出的光束无法成像,即第一光源202、第二光源203和第三光源204出射的光束经掩膜版207透射且经投射物镜208调制后,分别形成清晰散斑投射图2022、模糊散斑投射图2032或第一均匀泛光投射图和第二均匀泛光投射图2042。
示例性的,通过控制与处理模块间隔开启不同的光源,并同时启动接收相机102,得到待测物体不同光照状态下的图像;当第一光源开启时,多光谱投射器101发出清晰散斑投射图2022照射到待测物体上,接收相机102接收经待测物体返回的原始清晰散斑图;当第二光源203开启时,多光谱投射器101发出模糊散斑投射图2032或第一均匀泛光投射图照射到待测物体上,接收相机102接收原始模糊散斑图或第一原始均匀泛光图;当第三光源204开启时多光谱投射器101发出第二均匀泛光投射图2042照射到待测物体上,接收相机102接收第二原始均匀泛光图,三张图像经图像处理模块处理后得到待测物体的清晰散斑图、模糊散斑图或第一均匀泛光图、第二均匀泛光、深度图,将其输出至活体检测模块104进行活体判定。
需要说明的是,本发明实施例与上述实施例不同点在于,第一方面,光源可以不是激光光源。上述实施例中的准直-衍射一体化光学元件206是基于光学衍射原理设计,对光束调制效果与波长强相关,因而需要使用光谱带宽较窄的激光光源,才能得到比较清晰的散斑结构光,而本实施例中光源直接穿过掩膜版207来形成散斑图案,掩膜版207包括掩膜图案层2072,掩膜图案层2072中设置有散斑掩膜图案,再通过投射物镜208放大扩散形成更大视场的散斑结构光,因而对光源的带宽要求不苛刻,除可以使用上述提到的激光光源外,还可以使用光谱带宽较宽的LED光源。第二方面,本实施例是使用多光谱光源、掩膜版207与投射物镜208相配合的方案,通过第一光源202、第二光源203和第三光源204,分别得到清晰散斑投射图2022、模糊散斑投射图2032或第一均匀泛光投射图和第二均匀泛光投射图2042。
需要注意的是,本领域技术人员可以理解的是,投射物镜208在设计时同样存在目标波长,具体地,在设计投射物镜208时,透镜的折射率、入射光波长以及透镜的曲率半径是影响投射物镜208焦距的关键因素,也即,在设计投射物镜208时会设定入射光波长,当该设定的波长的光源设置在投射物镜208的焦平面时,则可进行清晰成像,该设定的入射光波长即为该投射物镜208清晰成像的目标波长。由此,本发明实施例中,将第一光源202的波长与投射物镜208的目标波长设置相同,并且,将掩膜版207包括掩膜图案层2072设置在投射物镜208的焦平面时,可通过投射物镜208输出清晰光斑图。可以理解的是,可以通过移动掩膜版207与投射物镜208的相对位置来得到模糊散斑图或泛光图,示例性的,当设置的目标波长接近且不等于第一光源202的波长时,焦平面投射出去的光斑还未达到均匀光的状态,依据上述思路,此方法可以增加多光谱投射器101投射的模糊散斑投射图2032的弥散程度,和/或增加多光谱投射器101投射第一均匀泛光投射图和第二均匀泛光投射图2042的均匀性。
进一步的,针对上述掩膜版207的具体构造有两种情况,本发明实施例为第一种情况,继续参考图7-图9,掩膜版207还包括透明基底2071,掩膜图案层2072设置于透明基底2071的一侧表面;
掩膜图案层2072为遮光图案层,遮光图案层中设置有遮光散斑图案,遮光图案层中遮光散斑图案所在的区域不透光,遮光图案层中非遮光散斑图案所在的区域透光。
具体的,掩膜版207由透明基底2071和掩膜图案层2072组成,掩膜图案层2072为遮光图案层,遮光图案层中设置有遮光散斑图案,遮光散斑图案区域不透光,遮光散斑图案的间隔区域无覆盖可透光,即不透光区有遮光散斑图案覆盖,透光区域无金属覆盖,光束穿过掩膜图案层2072的透光区域,在掩膜图案层2072的不透光区域被吸收或反射,投射物镜208将透过掩膜版207的光束投射出去,在待测物体上形成特定的光斑图案。
示例性的,透明基底2071的材质可以是玻璃、石英等,使用微纳加工工艺,在透明基底2071表面形成自定义的掩膜图案层2072,可以使用金属制作图案,金属图案为纳米或微米级高密度图案;投射物镜208可以是传统的基于几何光学原理设计的投射物镜208,由透镜组和镜筒组成,投射物镜208也可以是基于广义斯涅耳原理设计的超构透镜。
本发明实施例为掩膜版207具体构造的第二种情况,参考图7-图9,掩膜版207还包括透明基底2071,掩膜图案层2072设置于透明基底2071的一侧表面;
掩膜图案层2072为滤光图案层,滤光图案层中设置有滤光散斑图案;滤光图案层中非滤光散斑图案所在的区域透光;滤光图案层中滤光散斑图案所在的区域对第一光源的出光波长λ1不透光,对第二光源203的出光波长λ2透光或部分透光,对第一光源的出光波长λ3透光。
具体的,掩膜图案层2072为一层图案化的滤光图案层,覆盖有滤光图案层的区域可以选择透过某些波段的光,即用滤光图案层替代上述的金属层,而对其它波段的光束有高反射率或高吸收率,图案的间隔区域透光,即未覆盖有滤光图案层的区域为透光区域,所有波段的光均能通过;如选择对第一光源202对应波段的光高反射或高吸收,而对第三光源204发出的光有高透过率,则当第一光源202发出的光经过掩膜版207后,经过掩膜图案层2072的透光区域的光束透过,经过掩膜图案层2072的滤光图案层区域,光束被反射或吸收,投射物镜208将透过掩膜版207的光束投射出去,在待测物上形成与掩膜图案层2072图案一致的清晰散斑投射图2022,即如图3所示图样,可以理解的是,得到光斑为有明显边界的图样,并不限于图3所示样式,此时掩膜图案层2072层位于投射物镜208的焦平面位置附近,则投射物镜208将清晰散斑投射图2022投射到待测物体上;当第三光源204发出的光经过掩膜版207后,由于发出的光均能透过掩膜图案层2072,投射物镜208将所有透过掩膜版207的光束投射出去,在待测物上形成第二均匀泛光投射图2042,即没有图案信息,只是一块发光区通过投射物镜208变成更大视场的均匀光,此外滤光图案层对第二光源203发出的光的透过率无特殊限定。
可以理解的是,滤光图案层也可以选择对第二光源203发出的光高反射或高吸收,第二光源203发出的光经过掩膜版207和投射物镜208后,投射出来的为对比度较高的清晰散斑投射图2022,对比度较高指的是光斑的暗区相较于亮区的亮度差异大;当滤光图案层对第二光源203发出的光高透过时,第二光源203发出的光经过掩膜版207和投射物镜208后,投射出来的为第二均匀泛光投射图2042;当滤光图案层对第二光源203发出的光介于高透过和高反射或高吸收之间时,投射出来的为对比度较低的模糊散斑投射图2032或第一均匀泛光投射图,其中,对比度较低代表光斑的亮区相较于暗区的亮度差异小,原因是滤光图案层对第二光源203发出的光有部分透过,导致暗区部分有一定光束投射。
示例性的,滤光图案层可以是多层薄膜结构,通过蒸镀或溅射镀等工艺附着在掩膜版207的透明基底2071上,也可以是其它特殊的图案材料通过特殊工艺贴附在掩膜版207的透明基底2071上,此处不做限定。
可选的,多光谱投射器101还包括第一电路板2011和结构支架205,结构支架205设置在第一电路板2011上,掩膜版207设置在结构支架205上并与结构支架205、第一电路板2011构成容置空间;第一光源202、第二光源203和第三光源204设置于容置空间中且电连接在第一电路板2011上。
具体的,与上述实施例所提供的多光谱投射器101相同,第一光源202、第二光源203、第三光源204间隔排列,均电联于第一电路板2011上,第一电路板2011可以是软硬结合板、陶瓷基板或PCB板等,用于为激光光源供电。
进一步的,参考图7,结构支架205的内壁设置有吸光材料或结构支架205采用吸光材料制成,吸光材料吸收第一光源202的出光波长λ1的光线。
示例性的,当光源使用LED时,一般对应的光源发散角较大,如大于60°,这样会导致部分光线如图7中所示的R1光线经过结构支架205的内壁反射后再经掩膜版207后出射,此时从掩膜版207表面出射光线的出射角较大,若要想保证最终投射出去的光束对比度较好,对投射物镜208设计的物方孔径角要求较高,投射物镜208的设计难度和成本较高,本实施例提出可以通过在结构支架205的内壁涂上或镀上一层对特殊波段的光有高吸收率的材料,也可以直接选用对某一波段有高吸收的材料作为结构支架205的成型材料,如当第一光源202的中心波长940nm时,可以使用激光吸收涂料,激光吸收涂料是一种以溶剂为载体的材料。当涂料涂在塑料上时,溶剂迅速挥发,一层薄薄的均匀的红外吸收材料就会沉积在塑料表面。或是使用激光吸收树脂作为结构支架205的成型材料,激光吸收树脂是在树脂加入添加剂,这种添加剂的种类是由聚合物相容性、颜色要求和激光焊接波长决定。这种合成树脂可以吸收800至1064纳米范围内的特定波长。但也不限于提到的这几种,从而来压缩光源发出的光经过掩膜版207后的出射角,如图7中所示,第三光源204经掩膜版207后出射的最大角度由结构支架205的开窗尺寸决定(原本出射的最大角度由第三光源204的发散角决定),即R2光线对应的为最大出射角度光线,大大减小了光源经过掩膜版207后的出射角度,从而可大大减小了投射物镜208的设计口径和难度。
需要说明的是,由于第二光源203和第三光源204发出的光得到的光斑对图案清晰度无要求,因此结构支架205的内壁只需对第一光源202发出的光束有高吸收率即可。
可选的,可以通过在第一光源202上集成一个聚光透镜或匀光片来减小光源的发散角。
图2、图6和图7提供的三种多光谱投射器101,优选第一光源202的中心波长λ1范围为900-1000nm,第二光源203的中心波长λ2范围为800-860nm,第三光源204的中心波长λ3范围为400-700nm;通过控制处理模块103间隔开启不同的光源,在开启光源的同时启动接收相机102,得到待测物体不同光照状态下的图像;当第一光源202开启时,多光谱投射器101输出清晰散斑投射图2022,接收相机102接收原始清晰散斑图;当第二光源203开启时,多光谱投射器101输出模糊散斑投射图2032或第一均匀泛光投射图,接收相机102接收原始模糊散斑图或原始均匀泛光图;当第三光源204开启时,光谱投射器输出第二均匀泛光投射图2042,接收相机102接收第二原始均匀泛光图。三张图像经图像处理模块处理后得到待测物体的深度图、清晰散斑图、模糊散斑图或第一均匀泛光图和第二均匀泛光图,均输出至活体检测模块104进行活体判定。
进一步的,第一光源202、第二光源203、第三光源204也可以是集成在一个点光源阵列中。示例性的,该点阵列光源为可调谐波激光器,通过可调谐波器选择性地过滤掉特定波长的激光,从而实现间隔输出不同波长的激光;还可以在同一点光源阵列中集成不同波长出射的发光孔,通过驱动不同的发光孔发光,使光源间隔输出不同波长的光束,最终使得多光谱投射器101投射出不同的光斑图案。
需要说明的是,上述实施例使用三种波长的光源是为了解释说明效果,在某些实施例中,除了如上三种波长的光源外,还可以在同一投射器中增加更多不同波长的光源,如N种不同波长的光源,其中N>3,来进一步获得更多种类的投射光斑,提高活体检测的准确性,此处对光源波长种类数量无特殊限定。
在本实施例中,通过采集不同状态的光照下待测物体的图像,多张图片输入活体检测模块进行活体检测,检测样本的多样化大大提高活体检测的准确性;并且使用一个多光谱投射器即可完成多种状态光斑的投射,结构简单、成本低。
图10为图1所示3D结构光系统中的一种接收相机的结构示意图,图11为图10所示接收相机中成像芯片的一种像素分布示意图,参考图1、图10和图11,接收相机102的数量为一个;
接收相机102包括成像芯片302、成像镜头301和滤光片209,滤光片209为多通道滤光片209,成像镜头301和滤光片209依次设置于成像芯片302的受光路径上;
滤光片209用于滤除多光谱投射器101的多个出射波长之外的杂散光。
具体的,接收相机102主要包含成像芯片302、成像镜头301和滤光片209组成,成像镜头301由透镜和镜筒组成,透镜可以是由一片或多片镜片组成,镜片固定在镜筒中,透镜单元用于接收光斑经待测物反射后所形成的反射光,并将其聚焦成像在成像芯片302上成像,从而生成相应的光斑图像,滤光片209的通带设置与多光谱投射器101中光源设置的波长一致,其用于过滤杂散光以仅使与光源发射光束相应的反射光束进入成像芯片302。
示例性的,参考图2、图6和图7,当第一光源202开启时,多光谱投射器101投射出原始清晰散斑图,经待测物体反射,通过滤光片209在成像芯片302上清晰成像,最终输出原始清晰散斑图;当第二光源203开启时,多光谱投射器101投射出模糊散斑投射图2032或第一均匀泛光投射图,经待测物体反射,散斑能通过滤光片209在成像芯片302上成像,最终输出原始模糊散斑图或第一原始均匀泛光图;当第三光源204开启时,多光谱投射器101投射出第二均匀泛光投射图2042,经待测物体反射,泛光能通过滤光片209在成像芯片302上成像,最终输出均匀的第二原始均匀泛光图。
需要说明的是,滤光片209也可以是可切换的滤光片209,由多片单通道滤光片209组成,每片单通道滤光片209对应一个波段的光束通过,当开启不同波长的光源时,可切换的滤光片209切换成对应光源波段通过的单通滤光片209后,接收相机102开始采图。
继续参考图10和图11,在本发明的其中一种实施方式中,成像芯片302包括多种成像单元;多种成像单元的感光波长与多光谱投射器101的多个出射波长一一对应;
同种的多个成像单元均匀分布在成像芯片302的成像面上。
其中,滤光片209采用一片式多通道滤光片209,即滤光片209允许多光谱投射器101发出光束通过,而将其他非光源波段的光截止,针对成像芯片302有特殊设计,成像芯片302包括多种成像单元,并响应不同波长的光束,如第一成像单元3026只对λ1附近波段的光束感光成像,对λ2、λ3波段的光束不感光或感光度极低,同理第二成像单元3027只对λ2附近波段的光束感光成像,第三成像单元3028只对λ3附近波段的光束感光成像,且不同的感光像素单元相邻排列,可以通过在成像单元前添加滤光阵列,如第一成像单元3026、第二成像单元3027和第三成像单元3028前对应的像素区域的滤光层,分别只通过λ1、λ2、λ3附近波段的光束;此时多光谱投射器101打一次光,即所有光谱的光源同时点亮,成像芯片302不同成像单元对不同波长的光斑分别成像,将设置为感应同一波段的像素全部单独提取出来作为一张图像输出,这样便得到了三张图像,再经图像处理后输出至活体检测模块104。
需要说明的是,本发明实施例针对三种波长的光源进行说明,实际成像芯片302也可以针对多种波长的光源进行设计,即若光源种类为N种,对应的成像芯片302的像素感应种类也为N种,且与光源波段一一对应。
进一步的,参考图11,成像面包括沿行方向和列方向呈阵列排布的多个重复单元组3029,每个重复单元组3029包括同时在行方向和列方向相邻的四个像素单元,四个像素单元包括两个第一像素单元、一个第二像素单元和一个第三像素单元;
两个第一像素单元位于同一对角线的两个对角位置,一个第二像素单元和一个第三像素单元位于同一对角线上的两个对角位置。
具体的,第一像素单元同上述第一成像单元3026,只对λ1附近波段的光束感光成像,第二像素单元同上述第二成像单元3027,只对λ2附近波段的光束感光成像,第三像素单元同上述第三成像单元3028,只对λ3附近波段的光束感光成像。
图12-图14为图1所示3D结构光系统中的三种接收相机结构示意图,参考图12-图14,在本发明的另一种实施方式中,成像芯片302的数量为多个;
接收相机102还包括至少一个分光棱镜303,至少一个分光棱镜303设置在滤光片209的出光路径上;
分光棱镜303用于对包含多光谱投射器101的多个出射波长且透过滤光片209的光束进行分光,形成与多光谱投射器101的多个出射波长一一对应的多个分光光束;
多个成像芯片302分别设置在多个分光光束的路径上,以采集获得多张不同状态的光斑图像。
具体的,通过分光棱镜303将经透镜聚焦、滤光片209滤光后的光束根据波长分束达到不同的成像芯片302上成像,先参考图12,主要包第一成像芯片3021、第二成像芯片3022、第三成像芯片3023、成像镜头301、滤光片209和分光棱镜,分光棱镜303包含a、b两个分光面,当多光谱投射器101同时发出多个波长对应的光斑时,此处以三个波长为例,λ1、λ2、λ3,以图3为例的清晰散斑投射图2022对应的中心波长为λ1,经成像镜头301聚焦和滤光片209滤光后,直接通过分光棱镜303到达第一成像芯片3021上,此时第一成像芯片3021位于成像镜头301光斑成像清晰的位置处,第一成像芯片3021输出原始清晰散斑图;模糊散斑投射图2032对应的中心波长为λ2,经成像镜头301和滤光片209后,再经分光棱镜303的分光面a反射至第二成像芯片3022上,此时第二成像芯片3022可以位于成像镜头301光斑成像清晰的位置,也可以位于成像镜头301成像的失焦平面,第二成像芯片3022输出原始模糊散斑图或第一原始均匀泛光图;第二均匀泛光投射图2042对应的中心波长为λ3,经成像镜头301和滤光片209后,经分光棱镜303的分光面b反射至第三成像芯片3023上,此时第三成像芯片3023可以位于成像镜头301光斑成像清晰的位置,也可以位于成像镜头301成像的失焦平面,第三成像芯片3023输出第二原始均匀泛光图。
示例性的,当光源的波长种类多于3种时,如当光源波长种类为N,N>3时,可以通过在同一分光棱镜303中设置多个分光面将透过成像透镜的光束分束成N份,对应设置N个成像芯片302,此处将N取5作为示例方便解释说明,参考图13,包含第一成像芯片3021第二成像芯片3022、第三成像芯片3023、第四成像芯片3024、第五成像芯片3025、成像镜头301、滤光片209和分光棱镜303,分光棱镜303包含ABC’D’、AA’C’C、A’B’CD和BB’D’D四个分光面,多光谱投射器101同时发出五种不同中心波长的光斑:λ1、λ2、λ3、λ4、λ5,清晰散斑投射图2022对应的中心波长为λ1,经成像镜头301聚焦和滤光片209滤光后,直接通过分光棱镜303到达第一成像芯片3021上,此时第一成像芯片3021位于经成像镜头301光斑成像清晰的位置处,第一成像芯片3021输出清晰散斑投射图2022;模糊散斑对应的中心波长为λ2,经成像镜头301和滤光片209后,再经分光棱镜303的分光面A’B’CD反射至第二成像芯片3022上,此时第二成像芯片3022可以位于成像镜头301光斑成像清晰的位置,也可以位于成像镜头301成像的失焦平面,第二成像芯片3022输出模糊散斑投射图2032或第一均匀泛光投射图;第二均匀泛光图对应的中心波长为λ3,经成像镜头301和滤光片209后,经分光棱镜303的分光面BB’D’D反射至第三成像芯片3023上,此时第三成像芯片3023可以位于成像镜头301光斑成像清晰的位置,也可以位于成像镜头301成像的失焦平面,第三成像芯片3023输出第二均匀泛光图;同样第三均匀泛光投射图对应的中心波长为λ4,经成像镜头301和滤光片209后,经分光棱镜303的分光面ABC’D’反射至第四成像芯片3024上,此时第四成像芯片3024可以位于成像镜头301光斑成像清晰的位置,也可以位于成像镜头301成像的失焦平面,第四成像芯片3024输出均匀的第三均匀泛光投射图;第四均匀泛光投射图对应的中心波长为λ5,经成像镜头301和滤光片209后,经分光棱镜303的分光面AA’C’C反射至第五成像芯片3025上,此时第五成像芯片3025可以位于成像镜头301光斑成像清晰的位置,也可以位于成像镜头301成像的失焦平面,第五成像芯片3025输出第四均匀泛光投射图;分光面ABC’D’、AA’C’C、A’B’CD、BB’D’D上镀有选择透过性膜,ABC’D’对λ4高反,对λ1、λ2、λ3、λ5透过、如AA’C’C’对λ5高反,对λ1、λ2、λ3、λ4透过、A’B’CD对λ2高反,对λ1、λ3、λ4、λ5透过、BB’D’D对λ3高反,对λ1、λ2、λ4、λ5透过。
当光源波长种类为N,N>3时,在某些实施例中,还可以通过用多颗分光棱镜303叠加分光,将光束分成N份,对应设置N个成像芯片302,此处将N取5作为示例方便解释说明,参考图14,与图13不同的是,此处设置有两个分光棱镜303:第一分光棱镜3031和第二分光棱镜3032,第一分光棱镜3031包含两个分光面a1和b1,第二分光棱镜3032包含两个分光面a2和b2,分光面a1透过中心波长为λ1的光束,反射中心波长为λ4的光束,分光面b1透过中心波长为λ1的光束,反射中心波长为λ2的光束,分光面a2透过中心波长为λ4的光束,反射中心波长为λ5的光束,分光面b2透过中心波长为λ4的光束,反射中心波长为λ3的光束;中心波长为λ1的光束透过a1在第一成像芯片3021上成像,中心波长为λ2的光束经a1反射在第二成像芯片3022上成像,中心波长为λ3的光束经b1和b2反射在第三成像芯片3023上成像,中心波长为λ4的光束经a1反射和b2投射在第四成像芯片3024上成像,中心波长为λ5的光束经a1和b2反射在第五成像芯片3025上成像,不同成像芯片302上得到不同状态的光斑,此处不再一一展开说明。
图15为图1所示3D结构光系统中的又一种接收相机结构示意图,参考图15,在本发明的又一种实施方式中,成像芯片302的数量为多个;接收相机102还包括分光光栅304,分光光栅304设置在滤光片209的出光路径上;
分光光栅304用于对包含多光谱投射器101的多个出射波长且透过滤光片209的光束进行分光,形成与多光谱投射器101的多个出射波长一一对应的多个分光光束;
多个成像芯片302分别设置在多个分光光束的路径上,以采集获得多张不同状态的光斑图像。
具体的,通过分光光栅304将经成像镜头301聚焦、滤光片209滤光后的光束根据不同波长分束达到不同的成像芯片302上成像,主要包含第一成像芯片3021、第二成像芯片3022、第三成像芯片3023、成像镜头301、滤光片209和分光光栅304,分光光栅304是一种具有一定周期结构的光学元件,通常由一系列平行的凹槽或凸槽组成,当入射光照射到分光光栅304上时,分光光栅304对入射光进行衍射和干涉,从而产生一系列特定的衍射光束,当不同波长的光束以同一入射角入射至分光光栅304时,不同波长的光经由不同的衍射角出射,当多光谱投射器101同时发出多个波长对应的光斑时,此处以三个波长为例,λ1、λ2、λ3,清晰散斑投射光对应的中心波长为λ1,经成像镜头301聚焦和滤光片209滤光后,直接通过分光光栅304到达第一成像芯片3021上,此时第一成像芯片3021位于成像镜头301光斑成像清晰的位置处,第一成像芯片3021输出原始清晰散斑图;模糊散斑投射图2032对应的中心波长为λ2,经成像镜头301和滤光片209后,经分光光栅304后分光至成第二成像芯片3022上,此时第二成像芯片3022可以位于成像镜头301光斑成像清晰的位置,也可以位于成像镜头301成像的失焦平面,第二成像芯片3022输出原始模糊散斑图或第一原始均匀泛光图;第二均匀泛光投射图2042对应的中心波长为λ3,经成像镜头301和滤光片209后,经分光光栅304分光至成像芯片302第三成像芯片3023上,此时第三成像芯片3023可以位于成像镜头301光斑成像清晰的位置,也可以位于成像镜头301成像的失焦平面,第三成像芯片3023输出第二原始均匀泛光图。
需说明的是,各芯片的安装角度须与0°入射至分光光栅304表面的光线经分光光栅304衍射后的光线垂直,具体如图15所示R0光束为垂直入射至分光光栅304的光线,光束R0包含中心波长为λ1、λ2、λ3三种波长的光,不同波长的光经分光光栅304衍射后有不同的衍射角,即分束为不同角度出射的光线,如中心波长λ1的光经R5的路径传播至第一成像芯片3021、如中心波长λ2的光经R4的路径传播至第二成像芯片3022、如中心波长λ3的光经R6的路径传播至第三成像芯片3023,第一成像芯片3021的安装平面需与R5光线垂直、第二成像芯片3022的安装平面需与R4光线垂直、第三成像芯片3023的安装平面需与R6光线垂直;此实例只列举了波长为三种的情形,实际也可以将波长种类设置为N种,N>3,对应搭配N个成像芯片302,此处不展开说明。
上述实施例仅需一次打光即可采集多张图片的多种实施方式,由此可以提高采图效率,从而提高活体检测速度,本发明还提出了采集多张图片时需要相机配合多次打光的实施方式。
进一步的,接收相机102的数量为一个;接收相机102包括成像芯片302、成像镜头301和多个滤光片209,滤光片209为单通道滤光片209,成像镜头301设置于成像芯片302的受光路径上;滤光片209用于透射多光谱投射器101的多个出射波长中的一个出射波长的光线;
控制处理模块103用于依次控制多光谱投射器101,向待测物体投射不同出射波长的光斑,并控制多个滤光片209中对应于多光谱投射器101当前投射的出射波长的滤光片209,切换至成像镜头301和成像芯片302之间;
接收相机102用于依次形成多张不同状态的光斑图像。
具体的,可参考上述实施例,滤光片209是可切换的滤光片209,为单通道滤光片209,每片单通道滤光片209对应一个波段的光束通过,当开启不同波长的光源时,可切换的滤光片209切换成对应光源波段通过的单通滤光片209后,接收相机102开始采图。
除上述仅需一次打光即可采集多张图片的多种实施方式,以及需要相机配合多次打光采集多张图片的实施方式外,本发明实施例还提供了一种既可一次打光采集多张图片,也可多次打光采集多张图片的实施方式。图16为本发明提供的另一种3D结构光系统组成模块示意图,参考图16,接收相机102的数量为多个;接收相机102包括成像芯片302、成像镜头301和滤光片209,滤光片209为单通道滤光片209,成像镜头301和滤光片209依次设置于成像芯片302的受光路径上;
滤光片209用于透射多光谱投射器101的多个出射波长中的一个出射波长的光线,不同的接收相机102中的滤光片209透射的多光谱投射器101的出射波长不同;
多个接收相机102一一对应形成多张不同状态的光斑图像。
具体的,通过一个多光谱投射器101搭配多颗接收相机102,多光谱投射器101不同波长的光源同时点亮,并同时启动多颗接收相机102采集图片,同时得到多张不同光照下待测物体的图片。如图10所示,主要由多光谱投射器101、第一接收相机1021、第二接收相机1022、第三接收相机1023、控制处理模块103、活体检测模块104组成,多光谱投射器101可以是如上述实施例中提到的任意一种多光谱投射器101,多光谱投射器101中所有波长的光源同时开启,向待测物体投射不同的光斑,第一接收相机1021、第二接收相机1022、第三接收相机1023的结构同图10,不同的是第一接收相机1021的滤光片209只允许波长为λ1的光束通过,第一接收相机1021的成像芯片302在成像镜头301对焦清晰的平面上,最终采集到原始清晰散斑图,第二接收相机1022的滤光片209只允许波长为λ2的光束通过,最终采集到原始模糊散斑图或第一原始均匀泛光图,第三接收相机1023的滤光片209只允许波长为λ3的光束通过,最终采集到第二原始均匀泛光图,将相机采集到的图片输出到控制处理模块103,得到深度图、清晰散斑图、模糊散斑图或第一均匀泛光图和第二均匀泛光图,将上述图像输出至活体检测模块104进行活体判定,若判定为活体,则进行下一步身份认证,若判定为非活体,则输出认证不通过。
进一步的,成像镜头301包括镜筒和装配于镜筒内的至少一片镜片;滤光片209装配于镜筒内且位于至少一片镜片的出光侧;
接收相机102还包括第二电路板2012,成像芯片302电连接于第二电路板2012上。
具体的,透镜可以是由一片或多片镜片组成,镜片固定在镜筒中,透镜单元用于接收光斑经待测物反射后所形成的反射光,并将其聚焦成像在成像芯片302上成像,从而生成相应的光斑图像。
示例性的,多光谱投射器101中的光源还可以添加带某种特定偏振特性的光源,在对应的接收相机102中也添加与光源偏振方向一致的偏振片,从而得到待测物体的偏振图像,输出至活体检测模块104进行活体判定,一般活体相较仿制模型对偏振光有着不一样的反射特性,如此进一步的丰富活体检测的图像种类,提高活体检测的准确性;
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整、相互结合和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种3D结构光系统,其特征在于,包括多光谱投射器、接收相机、控制处理模块和活体检测模块;
所述控制处理模块分别与所述多光谱投射器、所述接收相机、所述活体检测模块电连接;
所述控制处理模块用于控制所述多光谱投射器向待测物体投射多光谱光斑;
所述接收相机用于接收经待测物体返回的多光谱光斑,形成多张不同状态的光斑图像,多张不同状态的所述光斑图像至少包括一张原始清晰散斑图、一张第一原始均匀泛光图和一张第二原始均匀泛光图或至少包括一张原始清晰散斑图、一张原始模糊散斑图和一张第二原始均匀泛光图;
所述控制处理模块还用于对多张不同状态的所述光斑图像进行图像处理,至少获得一张清晰散斑图、一张第一均匀泛光图和一张第二均匀泛光图或至少获得一张清晰散斑图、一张模糊散斑图和一张第二均匀泛光图,并根据所述清晰散斑图以及预设的参考清晰散斑图,计算获得一张深度图;
所述活体检测模块用于利用活体检测模型,至少对所述清晰散斑图、所述第一均匀泛光图、所述第二均匀泛光图以及所述深度图或至少对所述清晰散斑图、所述模糊散斑图、所述第二均匀泛光图以及所述深度图进行活体检测,并在所述活体检测模型均输出肯定结果时,判定待测物体为活体;
所述多光谱投射器至少包括第一光源、第二光源和第三光源;所述第一光源的出光波长λ1、所述第二光源的出光波长λ2、所述第一光源的出光波长λ3满足如下条件:|λ2-λ1|<|λ3-λ1|。
2.根据权利要求1所述的3D结构光系统,其特征在于,所述多光谱投射器至少还包括准直-衍射一体化光学元件;所述准直-衍射一体化光学元件位于所述第一光源、所述第二光源和所述第三光源的出光侧;
所述第一光源为激光光源,所述第一光源的出光面位于所述准直-衍射一体化光学元件的焦平面;
所述第一光源出射第一波长散斑图,所述第一波长散斑图经所述准直-衍射一体化光学元件调制后形成清晰散斑投射图;
所述第二光源出射第二波长散斑图,所述第二波长散斑图经所述准直-衍射一体化光学元件调制后形成模糊散斑投射图或第一均匀泛光投射图;
所述第三光源出射第三波长散斑图,所述第三波长散斑图经所述准直-衍射一体化光学元件调制后形成第二均匀泛光投射图。
3.根据权利要求2所述的3D结构光系统,其特征在于,所述第二光源的出光面和/或所述第三光源的出光面位于所述准直-衍射一体化光学元件的非焦平面。
4.根据权利要求1所述的3D结构光系统,其特征在于,所述多光谱投射器至少还包括掩膜版和投射物镜;
所述掩膜版和所述投射物镜依次排列于所述第一光源、所述第二光源和所述第三光源的出光侧;
所述掩膜版包括掩膜图案层,所述掩膜图案层中设置有散斑掩膜图案,所述掩膜版的掩膜图案层位于所述投射物镜的焦平面;
所述第一光源出射第一光束,所述第一光束经所述掩膜版透射且经所述投射物镜调制后形成清晰散斑投射图;
所述第二光源出射第二光束,所述第二光束经所述掩膜版透射且经所述投射物镜调制后形成模糊散斑投射图或第一均匀泛光投射图;
所述第三光源出射第三光束,所述第三光束经所述掩膜版透射且经所述投射物镜调制后形成第二均匀泛光投射图。
5.根据权利要求4所述的3D结构光系统,其特征在于,所述掩膜版还包括透明基底,所述掩膜图案层设置于所述透明基底的一侧表面;
所述掩膜图案层为遮光图案层,所述遮光图案层中设置有遮光散斑图案,所述遮光图案层中所述遮光散斑图案所在的区域不透光,所述遮光图案层中非所述遮光散斑图案所在的区域透光;
或者,所述掩膜图案层为滤光图案层,所述滤光图案层中设置有滤光散斑图案;所述滤光图案层中非所述滤光散斑图案所在的区域透光;所述滤光图案层中所述滤光散斑图案所在的区域对所述第一光源的出光波长λ1不透光,对所述第二光源的出光波长λ2透光或部分透光,对所述第一光源的出光波长λ3透光。
6.根据权利要求4所述的3D结构光系统,其特征在于,所述多光谱投射器还包括第一电路板和结构支架,所述结构支架设置在所述第一电路板上,所述掩膜版设置在所述结构支架上并与所述结构支架、所述第一电路板构成容置空间;所述第一光源、所述第二光源和所述第三光源设置于所述容置空间中且电连接在所述第一电路板上;
所述结构支架的内壁设置有吸光材料或所述结构支架采用吸光材料制成,所述吸光材料吸收所述第一光源的出光波长λ1的光线。
7.根据权利要求1所述的3D结构光系统,其特征在于,所述接收相机的数量为一个;
所述接收相机包括成像芯片、成像镜头和滤光片,所述滤光片为多通道滤光片,所述成像镜头和所述滤光片依次设置于所述成像芯片的受光路径上;
所述滤光片用于滤除所述多光谱投射器的多个出射波长之外的杂散光。
8.根据权利要求7所述的3D结构光系统,其特征在于,所述成像芯片包括多种成像单元;多种所述成像单元的感光波长与所述多光谱投射器的多个出射波长一一对应;
同种的多个所述成像单元均匀分布在所述成像芯片的成像面上。
9.根据权利要求7所述的3D结构光系统,其特征在于,所述成像芯片的数量为多个;
所述接收相机还包括至少一个分光棱镜,所述至少一个分光棱镜设置在所述滤光片的出光路径上;
所述分光棱镜用于对包含所述多光谱投射器的多个出射波长且透过所述滤光片的光束进行分光,形成与所述多光谱投射器的多个出射波长一一对应的多个分光光束;
多个所述成像芯片分别设置在多个所述分光光束的路径上,以采集获得多张不同状态的所述光斑图像;
或者,所述接收相机还包括分光光栅,所述分光光栅设置在所述滤光片的出光路径上;
所述分光光栅用于对包含所述多光谱投射器的多个出射波长且透过所述滤光片的光束进行分光,形成与所述多光谱投射器的多个出射波长一一对应的多个分光光束;
多个所述成像芯片分别设置在多个所述分光光束的路径上,以采集获得多张不同状态的所述光斑图像。
10.根据权利要求1所述的3D结构光系统,其特征在于,所述接收相机的数量为一个;
所述接收相机包括成像芯片、成像镜头和多个滤光片,所述滤光片为单通道滤光片,所述成像镜头设置于所述成像芯片的受光路径上;所述滤光片用于透射所述多光谱投射器的多个出射波长中的一个出射波长的光线;
所述控制处理模块用于依次控制所述多光谱投射器,向待测物体投射不同出射波长的光斑,并控制多个所述滤光片中对应于所述多光谱投射器当前投射的出射波长的滤光片,切换至所述成像镜头和所述成像芯片之间;
所述接收相机用于依次形成多张不同状态的所述光斑图像。
11.根据权利要求1所述的3D结构光系统,其特征在于,所述接收相机的数量为多个;
所述接收相机包括成像芯片、成像镜头和滤光片,所述滤光片为单通道滤光片,所述成像镜头和所述滤光片依次设置于所述成像芯片的受光路径上;
所述滤光片用于透射所述多光谱投射器的多个出射波长中的一个出射波长的光线,不同的所述接收相机中的所述滤光片透射的所述多光谱投射器的出射波长不同;
多个所述接收相机一一对应形成多张不同状态的所述光斑图像。
CN202311764989.9A 2023-12-21 2023-12-21 一种3d结构光系统 Active CN117452747B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311764989.9A CN117452747B (zh) 2023-12-21 2023-12-21 一种3d结构光系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311764989.9A CN117452747B (zh) 2023-12-21 2023-12-21 一种3d结构光系统

Publications (2)

Publication Number Publication Date
CN117452747A CN117452747A (zh) 2024-01-26
CN117452747B true CN117452747B (zh) 2024-04-02

Family

ID=89583981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311764989.9A Active CN117452747B (zh) 2023-12-21 2023-12-21 一种3d结构光系统

Country Status (1)

Country Link
CN (1) CN117452747B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118010725A (zh) * 2024-02-05 2024-05-10 深圳市九州智焊未来科技有限公司 一种激光焊接过程的检测系统、方法
CN118154829B (zh) * 2024-05-10 2024-07-19 深圳市安思疆科技有限公司 一种集成猫眼功能的成像系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113485082A (zh) * 2021-08-09 2021-10-08 锋睿领创(珠海)科技有限公司 基于体全息的三维检测系统、方法、控制器及介质
CN114428437A (zh) * 2022-01-14 2022-05-03 深圳市安思疆科技有限公司 一种结构光与泛光照明合置的3d投射器及电子设备
CN114494675A (zh) * 2022-01-14 2022-05-13 深圳市安思疆科技有限公司 一种3d结构光成像模组
CN217467374U (zh) * 2022-01-11 2022-09-20 星猿哲科技(上海)有限公司 光投射器、深度相机及物品拣选系统
CN218524989U (zh) * 2022-09-30 2023-02-24 奥比中光科技集团股份有限公司 光投射模组与深度相机
CN116500799A (zh) * 2023-06-29 2023-07-28 深圳市安思疆科技有限公司 一种结构光投射器和结构光模组
CN219512497U (zh) * 2022-09-16 2023-08-11 奥比中光科技集团股份有限公司 一种激光投射模组、结构光深度相机及tof深度相机
WO2023221450A1 (zh) * 2022-05-18 2023-11-23 华为技术有限公司 一种三维信息测量装置、测量方法和电子设备
CN220171253U (zh) * 2023-05-19 2023-12-12 奥比中光科技集团股份有限公司 一种3d模组及电子设备
CN117253296A (zh) * 2023-11-17 2023-12-19 深圳市安思疆科技有限公司 一种用于身份认证的3d成像系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113485082A (zh) * 2021-08-09 2021-10-08 锋睿领创(珠海)科技有限公司 基于体全息的三维检测系统、方法、控制器及介质
CN217467374U (zh) * 2022-01-11 2022-09-20 星猿哲科技(上海)有限公司 光投射器、深度相机及物品拣选系统
CN114428437A (zh) * 2022-01-14 2022-05-03 深圳市安思疆科技有限公司 一种结构光与泛光照明合置的3d投射器及电子设备
CN114494675A (zh) * 2022-01-14 2022-05-13 深圳市安思疆科技有限公司 一种3d结构光成像模组
WO2023221450A1 (zh) * 2022-05-18 2023-11-23 华为技术有限公司 一种三维信息测量装置、测量方法和电子设备
CN219512497U (zh) * 2022-09-16 2023-08-11 奥比中光科技集团股份有限公司 一种激光投射模组、结构光深度相机及tof深度相机
CN218524989U (zh) * 2022-09-30 2023-02-24 奥比中光科技集团股份有限公司 光投射模组与深度相机
CN220171253U (zh) * 2023-05-19 2023-12-12 奥比中光科技集团股份有限公司 一种3d模组及电子设备
CN116500799A (zh) * 2023-06-29 2023-07-28 深圳市安思疆科技有限公司 一种结构光投射器和结构光模组
CN117253296A (zh) * 2023-11-17 2023-12-19 深圳市安思疆科技有限公司 一种用于身份认证的3d成像系统

Also Published As

Publication number Publication date
CN117452747A (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
CN117452747B (zh) 一种3d结构光系统
US7397943B2 (en) Method and arrangement for touchless detection of data of uneven surfaces
US8433103B2 (en) Long distance multimodal biometric system and method
US5146102A (en) Fingerprint image input apparatus including a cylindrical lens
US7587071B2 (en) Method and device for recognition of natural skin during contact-free biometric identification of a person
JP2002122906A (ja) ファインダ内表示装置
US9082034B2 (en) Barcode reader having multiple illumination systems and multiple sets of imaging optics
TWI601074B (zh) Certification devices and certification prism body
US20080283723A1 (en) Optical characteristic measuring apparatus using light reflected from object to be measured and focus adjusting method therefor
CN109791275A (zh) 观察装置
CN111123537A (zh) 光投射模组以及具有其的图像采集系统和三维传感系统
RU2431876C2 (ru) Камера трехмерного изображения с фотомодулятором
US8811690B2 (en) Imaging device having a prismatic element
CN117253296B (zh) 一种用于身份认证的3d成像系统
US20060039048A1 (en) Systems and methods of capturing prints with a holographic optical element
US8864034B1 (en) Barcode reader having multiple illumination systems and multiple sets of imaging optics
CN101631194A (zh) 摄像装置
US5569904A (en) Multispot autofocus system having a radiation emitter which emits radiation that is divided into a plurality of discrete beams
US20220207909A1 (en) Presentation attack detection
JP6704049B2 (ja) 観察装置および標本観察方法
JP2020086749A (ja) 撮像装置および撮像方法
JP6927708B2 (ja) 撮像装置、撮像方法、プログラム及び記録媒体
US11971531B2 (en) Method and microscope for determining the thickness of a cover slip or slide
KR101438691B1 (ko) 홍채인식 장치용 광학계 및 이를 구비한 홍채인식 카메라
KR100818548B1 (ko) 자동 블로커

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240817

Address after: Room 102, 1st Floor, Building 2, No. 199 Shui'an 1st Road, Xiangzhou District, Zhuhai City, Guangdong Province 519000

Patentee after: Zhuhai Minshi Microelectronics Co.,Ltd.

Country or region after: China

Address before: Building 3, Nanshan Zhiyuan Chongwen Park, No. 3370 Liuxian Avenue, Fuguang Community, Taoyuan Street, Nanshan District, Shenzhen City, Guangdong Province, 518073, 2201-2202

Patentee before: SHENZHEN ANGSTRONG TECHNOLOGY Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right