CN112424673B - 红外投影仪,成像设备和终端设备 - Google Patents

红外投影仪,成像设备和终端设备 Download PDF

Info

Publication number
CN112424673B
CN112424673B CN201980046844.0A CN201980046844A CN112424673B CN 112424673 B CN112424673 B CN 112424673B CN 201980046844 A CN201980046844 A CN 201980046844A CN 112424673 B CN112424673 B CN 112424673B
Authority
CN
China
Prior art keywords
infrared
light
actuator
receive
infrared light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980046844.0A
Other languages
English (en)
Other versions
CN112424673A (zh
Inventor
林袁
何朝文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of CN112424673A publication Critical patent/CN112424673A/zh
Application granted granted Critical
Publication of CN112424673B publication Critical patent/CN112424673B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/26Reflecting filters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0808Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more diffracting elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4205Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/18Mountings, adjusting means, or light-tight connections, for optical elements for prisms; for mirrors
    • G02B7/182Mountings, adjusting means, or light-tight connections, for optical elements for prisms; for mirrors for mirrors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145Illumination specially adapted for pattern recognition, e.g. using gratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种红外投影仪、成像设备以及终端设备。该红外投影仪包括红外源、光反射部、滤光部和至少一个驱动部件。红外源被配置为发射红外光。光反射部被配置为接收和反射来自红外源的红外光。滤光部被配置为接收光反射部所反射的红外光。该至少一个驱动部件被配置为驱动光反射部和滤光部的至少一个进行移动。

Description

红外投影仪,成像设备和终端设备
技术领域
本发明涉及光学技术领域,尤其是一种红外投影仪,成像设备和终端设备。
背景技术
随着硬件和算法的最新发展,深度相机现在足够小,可以集成到诸如智能手机(例如iPhone X和OPPO Find X)的便携式设备中。借助深度相机,已经开发了许多应用程序,例如FaceID,虚拟现实(VR),增强现实(AR),手势控制,3D测量和
Figure BDA0002894871490000011
(iOS包括称为Animoji的动画表情符号(emoji)特色)等。这些商业应用推动了对更精准,更高分辨率的3D形状测量技术的需求。
发明内容
本发明公开了红外投影仪,成像装置和终端装置的多个实施方式。
本发明所提供的红外投影仪包括红外源,光反射部,滤光部和至少一个驱动部件。红外源被配置为发射红外光。光反射部被配置为接收和反射来自红外源的红外光。滤光部被配置为接收由光反射部所反射的红外光。至少一个驱动部件被配置为驱动光反射部和滤光部中的至少一个移动。
本发明所提供的成像装置包括红外投影仪和红外相机。红外投影仪包括红外源,光反射部,滤光部和至少一个驱动部件。红外相机被配置为发射红外光。光反射部被配置为接收并反射自红外源所发射的红外光。滤光部被配置为接收由光反射部所反射的红外光,并且使红外光穿过以被投影在物体上以形成点云。至少一个驱动部件设置在光反射部和滤光部中的至少一个中,并被配置以改变从光反射部到物体的光路。红外相机被配置为根据点云捕获投影图像。
本发明所提供的终端设备包括红外投影仪,红外相机以及用于容纳红外投影仪和红外相机的壳体。该红外投影仪包括红外源,光反射部,滤光部和至少一个驱动部件。红外源被配置为发射红外光。光反射部被配置为接收并反射自红外源发射的红外光。滤光部被配置为接收由光反射部反射的红外光,并且使红外光穿过以被投影在物体上以形成点云。至少一个驱动部件设置在光反射部和滤光部中的至少一个中,并被配置为改变从光反射部到物体的光路。红外相机被配置为根据点云捕获投影图像。
附图说明
在阅读以下详细描述时参考附图将有助于更好地理解本公开的内容。需要强调的是,根据惯例,图示中各个部分并不是按比例绘制的。相反,为表述清楚起见,已对各个不同部分的尺寸进行任意扩大或缩小。图1是示出从点投影仪到面部上的红外点云的示例性图像的示意图。
图2是示出终端设备的模块示意图。
图3是示出终端设备的模块图。
图4是示出传统的3D成像设备的模块图。
图5是示出根据本发明的一示例的红外投影仪的模块图。
图6和图7是示出红外投影仪中的光传输的示意图。
图8是示出其中驱动部件设置在光反射部的红外投影仪的示意图。
图9是示出红外投影仪中的光传输的另一示意图。
图10是示出一使用微镜致动器的方案的示意图。
图11是示出微镜致动器的示意图。
图12是示出其中驱动部件设置在滤光部的红外投影仪的模块示意图。
图13是示出了衍射光学元件的操作原理的示意图。
图14是示出了其中驱动部件布置在滤光部的红外投影仪的另一模块示意图。
图15是示出致动器的示意图。
图16是示出当将一掩模安装在致动器上时点云中的红外点的效果示意图。
图17是示出当将一掩模安装在两个致动器上时点云中的红外点的示意效果图。
图18和图19是示出根据本发明一示例的成像装置的模块示意图。
图20是示出根据本发明一例的终端设备的模块图。
具体实施方式
下面结合相关附图对本发明具体实施方式进行详细说明。为了上下一致,各个附图中的相同元件符号代表相同的元件。
首先,下面给出关键术语的缩写和定义以便对本发明的理解。
超分辨率成像(Super resolution imaging):超分辨率成像是一类技术,可以提高分辨率并超过成像系统的分辨率极限,并获得更高及更精准的分辨率深度信息。超分辨率成像技术用于一般图像处理和超分辨率显微镜中。
3D测量(3D measurement):3D测量是一种可以扫描场景中多个物体的3D形状和深度信息的技术。
3D传感器(3D sensor):3D传感器,也称为3D扫描仪,是一种分析现实世界物体或环境以收集其形状和可能的外观(例如颜色)的数据的设备。收集到的数据可随之用于构建数字三维模型。3D传感器的目的通常在于创建一个3D模型。该3D模型由对象表面上的几何样本的点云组成。这些点可以随之用于推断对象的形状(称为重建的过程)。如果在每个点收集颜色信息,那么也可以确定对象表面的颜色。
点云(Point cloud):点云是空间中的一组数据点。点云通常由3D扫描仪产生,该3D扫描仪测量围绕物体外表面上的大量的点。作为3D扫描过程的输出,点云有许多用途,包括为生产零部件,计量和质量检验以及大量的可视化,动画,渲染和批量定制应用创建3DCAD模型。图1是示出了从红外投影仪(也称为点投影仪)到面部上的红外点云的示例性图像的示意图。
为了获得图像的深度信息,近年来许多制造商进行了研究和开发。目前,有两种成熟的技术,即飞行时间(time of flight,TOF)和结构光(structured light)。
TOF:这项技术使用发光二极管(lighting emitting diode,LED)或激光二极管(laser diode,LD)发射红外光,然后红外光照射物体的表面然后反射回来。由于光的速度(v)是已知的,因此可以使用红外图像传感器来测量物体不同深度位置的反射时间(t),并且物体不同位置处的距离(深度)可以是用一个简单的数学公式计算。
结构光:这项技术使用激光二极管或数字光处理器(digital light processor,DLP)产生不同的光图案,这些光图案会被物体的不同深度所反射并导致光图案失真。例如,当将直条的光照射到手指上时,由于手指是三维弧形,因此直线光条被反射回来进而成为弧形条。在弧形条进入红外图像传感器之后,可以通过使用弧形条纹得到手指的三维结构。
在相关技术中,用TOF相机捕获的深度图具有非常低的数据质量:图像分辨率相当有限并且深度图中所包含的随机噪声水平非常高。考虑到这一点,Schuon S等人创造了LidarBoost,一种3D深度超分辨率方法,该方法将静态场景中来自从轻度移位的视点的多个低分辨率噪音深度图像进行组合,然后将它们合并为高分辨率深度图像。
LidarBoost的缺点是它只能应用于静态场景,而不能用于非静态场景,例如扫描一个正在微笑的用户。
在德州仪器公司的美国专利申请US 14/322,887中,提供了一种结构光成像中的超分辨率。但是,这个887专利将深度相机限制在“结构光”技术上。而且,887专利只考虑了一种投影图案的调整方式,即移动相机,因此不够灵活。此外,887专利未考虑便携式设备的设备尺寸限制。
鉴于此,我们提出了可以在超分辨率动态场景拍摄高分辨率深度图像的技术解决方案。本发明提供了一种用于深度相机的超分辨率技术,其可以通过合并场景的多个图像来获得高分辨率深度图像。特别地,除了静态场景之外,本文提供的超分辨率技术可以应用于诸如扫描一个正在微笑的用户之类的非静态场景,并且不需要移动相机以调整物体上的投影图案(点云)例如用户面部。由于设备尺寸小,还提供了可轻松将实现技术解决方案的产品集成到智能手机中。
本发明的以下方面形成其有益效果,并且每个方面在下文将会详细描述。
图2为示出终端设备的模块示意图。图3为示出传统成像装置的模块示意图。如图2和图3所示,终端设备10包括壳体11和屏幕16以及其他配件,例如扬声器,天线等。壳体11被配置为容纳终端设备10的内部组件,诸如下面描述的那些。终端设备10还包括3D成像设备12,至少一个处理器13(为了便于说明,在图3中仅示出了一个处理器,例如主处理器),存储器14和存储器15。成像设备12通常设置在终端设备的顶部并且与至少一个处理器13连接。至少一个处理器13与存储器14和存储器15连接并且可以访问存储器14和存储器15。如图3所示,终端设备可另外包括控制器,该控制器作为终端设备10的核心控制中心并且与至少一个处理器13连接。作为一个示例,通过3D成像设备12获得的图像或数据可以被提供给至少一个处理器13用于进一步处理或者存储于存储器15中。该存储器15配置用于存储锁定/解锁应用程序和图像,用户图片等。例如,至少一个处理器13(诸如应用处理单元(APU))可以分析和处理由3D成像设备12获得的数据或图像,并根据处理结果来控制终端设备10的操作。在用于解锁的面部识别的场景下,3D成像设备12可以捕获用户的面部图像并将面部图像提供给至少一个处理器13,由此至少一个处理器13可以将面部图像与预设的面部图像模板进行比较,以确定用户是合法的终端用户还是已注册的终端用户。如果面部图像与面部图像模板匹配,则表明面部识别成功并且可以解锁终端设备10的屏幕16。
终端设备10可以进一步包括用于指纹识别的指纹传感器。
图4是示出传统3D成像设备的示意图。3D成像设备可以被理解为3D形状测量设备,其包括多个相机和一个深度传感器(或多个)。图4所示的3D成像装置包括红外相机40,RGB相机42和点投影仪44。红外相机40,RGB相机42和点投影仪44可以集成至一个模块。点投影仪48也被称为点图案照明器,并且被配置为将红外光点(即,点云)投影在要扫描的投影上。
3D成像设备可进一步包括泛光照明器46和多个传感器,例如接近传感器48和环境光传感器49。泛光照明器42和接近传感器49可以被集成至一个模块中。
图4的设备可以被构造为能够实现3D形状扫描,成像,面部识别等。下面以面部识别为例进行介绍。
当物体靠近配备有3D成像装置的移动电话时,例如,将首先启动接近传感器48或任何其他结构光传感器,以确定是否存在面部信息。一旦确定存在面部信息,点投影仪48将开始在用户面部上投影约30,000个以上的红外光点,以形成例如图1所示的点云。红外相机40将读取点云并捕获3D面部图像以提取面部的图像信息。由红外相机40捕获的图像被发送至应用处理单元(APU)。APU配置为可以通过训练好的神经网络进行人脸识别,根据收到的3D图像。
通常,3D成像设备的分辨率取决于几个因素,例如由点投影仪生成的点云的密度,IR相机的分辨率以及3D成像设备与被扫描物体之间的距离。增加成像分辨率的自然方法是增加点云的密度,以获得更多的采样点。同时,也还需要提高红外相机的分辨率以识别这些点。在这里,我们提供了一种不同的方式来通过驱动或驱动机制来提高3D图像设备的分辨率。借助本文提供的技术解决方案,可以在不增加点云和IR相机分辨率下实现超分辨率输出。
根据本发明的实施方式,提供了一红外投影仪。图5是示出红外投影仪50的模块图。如图5所示,红外投影仪50包括红外源52,光反射部54,滤光部56和至少一个驱动部件58。例如,红外投影仪50可以用作图4的点投影仪44。
红外源50被配置为发射红外光。光反射部54被配置为接收和反射来自红外源52的红外光。滤光部56是光学元件,并且被配置为接收被光反射部54所反射的红外光。例如,滤光部的目的在于将红外转换为结构光或点云。至少一个驱动部件58被配置为驱动光反射部54和滤光部56中的至少一个进行移动。例如,至少一个驱动部件58可以与光反射部54,滤光部56,或者与光反射部54和滤光部56这两者连接。这里所用的术语“连接”可以理解为直接连接,附接等。为了节省红外投影仪的内部空间,驱动部件58可以被附接在或结合在光反射部54和/或滤光部56。如本文所使用的,术语“至少A和B中的一个”表示A,B或A和B两者,终端“A和/或B”表示A,B或A和B两者。理解这一原则下,本领域普通技术人员之一可以理解通过表述“至少一个驱动部件58被配置为驱动光反射部54和滤光部56中的至少一个进行移动”,意味着至少一个驱动部件58可以被配置为驱动光反射部54进行移动,驱动滤光部56移动或驱动光反射部54和滤光部56两者移动。在光反射部54包括多个组件的情况下,如将在下面详细描述的,至少一个驱动部件58可以被配置为驱动光反射部54的全部或部分组件移动。有时相应需要多个驱动部件58。这里使用的术语“移动”应被广义地解释,例如,它可等同于术语“振动”,“移位”等,并且可以指代“在垂直方向上移动”,“在水平方向上移动”,“轴向移动或旋转”以及其他可更改红外光的入射角或出射角,或更改红外光的光路或透射方向的运动。本发明不特别限制。
在一种实施方式中,至少一个驱动部件58被构造成使得光反射部54可以被驱动进行移动。
在一种实施方式中,如图6和图7所示,光反射部54包括实现光反射的功能。例如,光反射部54包括第一反射组件541和第二反射组件542。第一反射组件541被配置为接收和反射来自红外源52的红外光,第二反射组件542被配置为接收来自第一反射组件541的红外光,然后将从第一反射组件541接收的红外光反射到滤光部56。
关于第一反射组件541和第二反射组件542之间的位置关系,本发明不受特别限制。例如,第一反射组件541和第二反射组件542可以水平地布置,使得在一个组件挨着另一个组件。如图6中所示,第一反射组件541和第二反射组件542可被布置为使得从红外源52所发射的入射红外光的透射方向与由滤光部56所接收的红外光的透射方向相反。在这种情况下,从另一个角度看,如图6所示,红外源52和滤光部56布置在反射部54的同一侧。或者,如图7所示,第一个反射组件541和第二反射组件542可以被布置为使得从红外源52发射的入射红外光的透射方向与由滤光部56接收的红外光的透射方向相同。可以从图7看到,红外源52相对于滤光部56设置,滤光部相对于光反射部54设置。换言之,红外源52和滤光部56布置在光反射部54的不同侧。
第一反射组件541和第二反射组件542可以是反射镜,反射板或其他具有光反射功能的途径。在下文中,以镜子作为反射组件的示例仅出于举例说明目的,而无意于限制本发明。
从图8可以看出,驱动部件58可以连接或附接到第一反射组件541。然后当驱动部件58驱动第一反射组件沿着驱动部件58的长边移动,如图8所示的双向箭头a所示(例如振动,移位,旋转等)或沿着驱动部件58的短边,如图8所示的双向箭头b所示,或沿着其他任何可能的方向时,光将以与图8所示的点画线c和d不同的方向发射。因此,在滤光部侧56处,沿不同方向发射的光将被投影到诸如人脸的物体,以形成不同的点云。因此,与没有提供驱动部件的图6相比,可以获得人脸上更有效的参考点。在图8的情形中,第二反射组件542以固定镜实施。
类似地,驱动部件58可以布置在第二反射组件542而不是第一反射组件541处,并且在这种情况下,第一反射组件541可以配置为固定镜。
可替代地,即使未在图中示出,也可以使用两个驱动部件58以进一步增强致动效果。例如,一个驱动部件58附接在第一反射组件541,而另一个驱动部件58附接在第二反射组件542。
又一示例,与图6和图7的结构不同,如图9所示,反射部54可以仅由一个反射组件541实现。这里,驱动部件58可以附接在反射组件541以驱动反射组件541移动。本领域技术人员应理解,根据实际需要,也可以在反射部设置其他部件,以使从红外源发射的红外光可以沿预定方向发射,从而在滤光部56偏移所发射的红外光。
前述驱动部件58可以用致动器来实现,例如,致动器的一个示例在图15中示出,其将在下面详细描述。驱动部件移动所需的驱动力可以通过各种物理原理来提供。实际上,用于驱动这种驱动部件的相关原理包括但不限于电磁,静电,热电和压电效应。由于物理原理的优缺点的不同,应根据应用选择合适的驱动原理。与现有技术相比,由于该结构仅需要些许更多的能量来用于致动器的运动,因此将消耗相同的能量并且不会引起明显的额外功耗。能量消耗不会是问题。
图10示出了在反射部中使用微镜致动器的示例。除了驱动部件58连接或附接到光反射部541和/或光反射部542的前述结构之外,驱动部件58和光反射部可以一体化形成为一部件,例如作为安装有镜子的致动器(以下简称为“微镜致动器”),也称为微扫描仪,微扫描镜,微机电系统(MEMS)镜等,并且经常用于动态光调制。这里可使用的微镜致动器在图11中示出。该微镜致动器可以高频和准确地改变其镜的取向角,并且从诸如DOE模块的滤光部发出的红外光的方向将相应地改变。该致动器中镜子的运动所需的驱动力可以通过各种物理原理来提供。实际上,驱动这种镜的相关原理是电磁,静电,热电和压电效应。由于物理原理的优缺点不同,应根据应用选择合适的驱动原理。
微镜致动器的优点是基于它们的小尺寸,低重量和最小的功耗。其他优势随着集成的可能性一起出现。例如,可以将小尺寸的微镜致动器靠近红外源放置。另外,借助于微镜致动器,光路被折叠进很小的空间并且可轻易集成到智能电话中。
此外,与本文提供的其他解决方案相比,即使本文提供的每个技术解决方案具有其自身的优点,在快速谐振条件下,在快速谐振条件下使用微镜致动器进行高频扫描以抵抗红外投影仪的惯性也是可行的且有益的。
以上描述了驱动部件58被配置为驱动光反射部54移动的情况。除了以上确定或可替代的结构之外,驱动部件58被配置为驱动滤光部56移动。如图12所示,驱动部件58与滤光部56连接。例如,驱动部件58可以附接在滤光部56的下侧。换而言之,滤光部56可以安装在驱动部件58上。
滤光部56可以是衍射光学元件(diffractive optical element,DOE)或具有均匀或不均匀分布的小光通过孔的掩模。图13是示出DOE的工作原理的示意图。将参考图13概述DOE如何工作。如图13中所示,具有不同波长的入射光入射在DOE的输入平面上,并且在通过衍射来操纵光之后,可以在DOE的输出平面上形成光点。
基于此,图14示出了将诸如致动器的驱动部件58连接至DOE的示例。例如,DOE可以安装在致动器上。在此,致动器不需要配备镜子并且可以通过诸如图15所示的常规致动器来实现驱动DOE移动(例如移动,振动等)的功能,图示为三种模式(即中心,左,右)水平平移致动器。图15所示的致动器可以垂直和水平移动。也可以使用其他垂直或水平移动的致动器,并且本发明不受特别限制。因此,当将DOE安装在致动器上时,它可以与致动器同时移动,并且与不使用致动器并且DOE处于静态的情况相比,可以获得动态光以及在例如图13所示DOE的输入平面和/或输出平面处改变光传输的方向。相应地,投影在用户面部上的点云将被移动,并且可以获得更多参考点以用于后续处理,例如利用图4的红外相机捕获红外图像。因此,红外相机可以通过组合场景的多个图像来获取高分辨率的深度图像。
为了增进对本发明的理解,将描述某些示例。
以下,以具有均匀分布的光通过孔的掩模作为本发明的滤光部56的示例,并将该掩模安装在三模式水平平移致动器上,即,致动器可以水平移动。在这种情况下,致动器可以将点云保持在适当位置,或将其向左或向右移动。如图16所示,当致动器停留或移动到中心时,可以获得在图16的“中心”线中由黑色实心圆所表示的红外点。当致动器静止或向左水平移动时(图5中的“H”代表“水平”),可以获得由图16的线“左”中黑色实心圆所表示的红外点。类似地,当致动器停留或水平向右移动时,可以获得由图16的线“右”中黑色实心圆所表示的红外点。在没有致动器的现有技术中,仅可获得由图16的“中心”线中的黑色实心圆所表示的红外点。因此,本文提供的配置可以对信号三倍采样以进行超分辨率3D映射。
通过组合多个致动器,我们可以进一步提高红外投影仪的超分辨率能力。例如,如图17所示,其采用两个平移致动器,即,当将掩模安装在两个平移致动器上时,本文提供的技术方案被呈现为实现九倍的超分辨率3D映射结果。在图17中,“H”代表“水平”,“V”代表“垂直”。应当注意,如果将DOE而不是掩模安装在一个或多个致动器上,也可以实现类似的效果。
例如,这里,假设采用两个执行器,一个执行器水平移动同时另一个执行器垂直移动。参照图17,当一个致动器向上移动而另一致动器向左移动时,可以获得第2行第2列中的红外点。类似地,当一个致动器向下移动而另一个致动器位于中心时,可以获得第4行第3列中的红外点。又例如,当一个致动器向下移动而另一个致动器向右移动时,可以获得第4行第4列中的红外点。与不采用致动器而仅在第3行第3列获得红外点的情况相比,可以获得九倍的红外点。
替代均匀地移动红外投影仪,即均匀地移动掩模,我们可以随机移动红外投影仪或掩模以覆盖不同的位置集,只要我们可以准确地检索几何信息。
显然,本实施方式没有特别详细说明用于实现红外投影仪的致动器,并且可以采用任何其他适当的配置。例如,可以水平和垂直移动的多模式致动器可以被用于实现与使用两个水平平移致动器相同的目的。
例如,假设我们使用30,000个点的点云和90Hz的深度相机,与现有技术相比,本发明将产生略有不同的结果。从图16和图17可以看出,点云将覆盖更多的位置集,但是每个位置集将仅测量10次,在相关技术没有任何致动器的情况下,点云将测量相同位置集90次。借助于本发明的红外投影仪,可以提供更精确的深度信息并为点云的位置增加随机性。固定要发射的点云总数,我们可以采样各种位置集并将他们重叠,从而可以提高终端设备中例如FaceID的生物识别应用程序的安全性。
应注意,图16和图17示出了红外点的示例,并且可以获得的红外点不限于这些示例。
此外,在不使用致动器的现有技术中,如果诸如用户面部的扫描表面具有较小的变化,则将获得较低的分辨率。然而在本发明中,即使被扫描的表面具有较大的变化,仍然可以获得更高的分辨率。
前述的红外投影仪足够小以致可以集成到诸如智能电话的终端设备中。基于此并且理解到,本文提供的红外投影仪可更普遍地应用于任何3D映射,扫描或环境成像,本发明的实施例还提供了一种成像装置和终端装置。
根据本发明的实施例,进一步提供了一种成像装置。如图18和图19所示,成像装置包括根据本发明的前述实施例中的任一上述红外投影仪50,并且另外包括红外相机60。这里的红外投影仪50可以理解为成像设备的“发射器”,其将点云投影在诸如用户面部之类的物体上,如先前提及的。此处的成像设备可以使用“结构光”技术或TOF技术。
如图18和图19所示,红外投影仪50包括红外源52,光反射部54,滤光部56和至少一个驱动部件58。
红外源52被配置为发射红外光。反射部54被配置为接收并反射从红外源52发射的红外光。滤光部56被配置为接收由光反射部所反射的红外光,并且使红外光穿过以投射到物体上以形成点云。至少一个驱动部件58设置在的光反射部54和滤光部56的至少一个中,并且被配置为改变从光反射部54到物体的光路,即,改变红外光在光反射部54的出射角。
红外相机60与红外投影仪50连接,并且被配置为根据由红外投影仪50形成的点云来捕获投影图像。例如,红外相机60被配置为读取点云的点图案。捕获它的红外图像,为用户面部绘制精确而详细的深度图,并且例如将数据发送到终端设备的处理器以进行匹配。
至少一个驱动部件可包括参照附图描述且上文提及的一个或多个致动器。
在一种实施方式中,滤光部56设置在至少一个驱动部件之一上。例如,实现方式可以是DOE安装在致动器上的滤光部56,如图18所示。
在另一实施方式中,如图19所示,至少一个驱动部件包括配备有镜子的致动器(即,微镜致动器,例如图11所示的致动器),并且布置在光反射部中,光反射部另外包括光反射组件542。在这种情形下,致动器58被配置为经由镜子接收和反射来自红外源52的红外光,以及反射组件542被配置为接收来自致动器58的红外光并且将从致动器58接收的红外光反射至滤光部56。
在图19中,成像装置被构造成使得微镜致动器可以接收并反射自红外源52的红外光至滤光部542,然而,图19的结构仅用于举例说明的目的,并且本发明不限于此。例如,可以交换微镜致动器58的位置和诸如镜子的反射组件542的位置,使得反射组件542可以被配置为接收和反射来自红外源52的红外光,微镜致动器58可以被配置为接收来自反射组件542的红外光,并且经由镜子将从反射组件542接收的红外光反射到滤光部56。
仍可能的是,致动器不一定必须与镜子集成,实际上,可以采用能组合以实现偏移滤光部56出射的红外光的各个组件。此外,在图18和图19中,仅示出了一个致动器,然而,本发明可以在必要时于红外投影仪50的光路中的各个位置采用一个以上的致动器。
基于上述,例如,基于图18的结构,至少一个驱动部件包括配备有一镜子的第一致动器和配备有第二镜子的第二致动器,第一致动器和第二致动器都设置在光反射部中,第一致动器配置成经由第一镜子接收并反射来自红外源52的红外光,第二致动器配置为接收来自第一镜子的红外光,并且经由第二镜子将从第一镜子接收的红外光反射至滤光部56。
再一个例子,基于图19的结构,诸如DOE的滤光部56可以安装在两个致动器上。
根据本发明的又一个实施例,提供了一种终端设备。终端设备可以采取任何类型的具有3D扫描,映射或成像功能的设备的形式,例如移动设备,移动基站,移动单元,机器到机器(machine-to-machine,M2M)设备,无线单元,远程单元,用户-代理,移动客户端等。终端的示例包括但不限于移动通信终端,有线/无线电话,个人数字助理(PDA),智能电话,车载通信设备。
图20是示出终端设备的模块示意图。如图20所示,终端设备包括红外投影仪50,红外相机60以及配置为容纳红外投影仪50和红外相机60的壳体70。红外投影仪50和红外相机60可以设置在终端设备的顶端。红外投影仪50可以在终端设备的前产生大约30,000个红外点的图案,该图案照亮用户的脸部以便可以由红外相机60摄像捕获它们。
回看图18或图19。红外投影仪50包括红外源52,光反射部54,滤光部56和至少一个驱动部件58。红外源52被配置为发射红外光。光反射部54被配置为接收并反射从红外源52发射的红外光。滤光部56被配置为接收被光反射部54所反射的红外光,并且使红外光穿过以被投射在物体上进而形成点云的(例如用户面部)。至少一个驱动部件设置在光反射部54和滤光部56的至少一个中,并且被配置为改变从光反射部到物体的光路。即,驱动部件可以布置在光反射部54处,布置在滤光部56处,或者布置在光反射部54和滤光部56两者处。红外相机60配置为根据点云来捕获投影图像。
在一种实施方式中,至少一个驱动部件包括配备有镜子的致动器(微镜致动器),并且设置在光反射部,光反射部另外包括光反射组件,例如镜子,反射板或其他反射装置。
微镜致动器可以被设置为比反射组件更靠近红外源。在这种情况下,致动器被配置为经由反射镜接收并反射来自红外源的红外光,并且反射组件被配置为接收来自致动器的红外光并将从致动器接收的红外光反射至滤光部。
可替代地,与反射组件相比,微镜致动器可以被设置成远离红外源并且靠近滤光部。在这种情况下,反射组件被配置为接收和反射来自红外源的红外光,并且致动器被配置为接收来自反射组件的红外光,并经由镜子反射从反射组件接收的红外光至滤光部。
借助于本文提供的红外投影仪,成像装置或终端装置,可以获得用于各种应用,例如VR,AR的更加平滑和锐边的3D形状。即使使用低分辨率的点云或低分辨率的红外相机,也能实现更好的3D物体测量。
对于此处未提供的细节,参考前述的红外投影仪和成像装置。其实施例或特征可以没有抵触彼此组合或替换。
本领域普通技术人员可以理解,红外投影仪,成像设备和终端设备的全部或部分操作可以由计算机程序完成以指示相关的硬件,并且该程序可以存储在非易失性计算机可读存储介质。就该点而论,根据本发明的实施例,提供了一种非易失性计算机可读存储介质。非易失性计算机可读存储介质被配置为存储至少一个计算机可读程序,该计算机可读程序在由计算机执行时,使计算机执行本发明的信号传输方法的全部或部分操作。非易失性计算机可读存储介质的示例包括但不限于只读存储器(ROM),随机存储存储器(RAM),磁盘或光盘等。
尽管结合若干实施例已对本发明进行描述,但是应当理解的是本发明不限于所揭露的实施例但是,相反,本发明旨在保护权利要求范围所涵盖的各种调整和等效设置,其权利要求保护范围应被赋予最宽泛的解释,以涵盖法律所允许的所有此类调整和等效结构。

Claims (16)

1.一种红外投影仪,其特征在于,包括:
红外源,被配置为发射红外光;
光反射部,被配置为接收和反射来自所述红外源的红外光;
滤光部,被配置为接收由所述光反射部所反射的红外光以及投射所接收到的红外光至外部以形成投影中的点云,所述滤光部为衍射光学元件或具有均匀分布的小通孔的光学掩膜;和
至少一个驱动部件,被配置为驱动所述光反射部和所述滤光部移动;
其中,所述至少一个驱动部件包括两个第一致动器,所述滤光部安装在所述两个第一致动器上,其中一个第一致动器驱动所述滤光部沿第一方向移动,同时另一个第一致动器驱动所述滤光部沿垂直于所述第一方向的第二方向移动。
2.根据权利要求1所述的红外投影仪,其特征在于,所述光反射部包括第一反射组件和第二反射组件,所述第一反射组件被配置为接收和反射来自所述红外源的红外光,以及所述第二反射组件被配置为从所述第一反射组件接收所述红外光并反射来自所述第一反射组件的红外光至所述滤光部。
3.根据权利要求2所述的红外投影仪,其特征在于,所述至少一个驱动部件包括第二致动器,所述第一反射组件或所述第二反射组件置于所述第二致动器上。
4.根据权利要求3所述的红外投影仪,其特征在于,所述第一反射组件和所述第二反射组件为镜子,所述第二致动器和置于所述第二致动器上的所述镜子一体成形。
5.根据权利要求2所述的红外投影仪,其特征在于,所述至少一个驱动部件包括两个第二致动器,所述第一反射组件置于其中一第二致动器上,所述第二反射组件置于另一第二致动器上。
6.根据权利要求5所述的红外投影仪,其特征在于,所述第一反射组件和所述第二反射组件为镜子,所述第二致动器和置于所述第二致动器上的所述镜子一体成形。
7.根据权利要求1所述的红外投影仪,其特征在于,所述光反射部为置于所述至少一个驱动部件上且与其一体成形的镜子。
8.一种成像装置,其特征在于,包括:
红外投影仪,包括:
红外源,被配置为发射红外光;
光反射部,被配置为接收和反射所述红外源所发射的红外光;
滤光部,被配置为接收由所述光反射部所反射的红外光,并且让所述红外光穿过以被投影在物体上形成点云,所述滤光部为衍射光学元件或具有均匀分布的小通孔的光学掩膜;
至少一个驱动部件,设置在所述光反射部和所述滤光部中,并被配置为改变从所述光反射部到所述物体的光路;以及
红外相机,被配置为根据所述点云捕获投影图像;
其中,所述至少一个驱动部件包括两个第一致动器,所述滤光部安装在所述两个第一致动器上,其中一个第一致动器驱动所述滤光部沿第一方向移动,同时另一个第一致动器驱动所述滤光部沿垂直于所述第一方向的第二方向移动。
9.根据权利要求8所述的成像装置,其特征在于,所述至少一个驱动部件包括具有镜子的第二致动器并设置于所述光反射部中,其中所述光反射部进一步包括光反射组件。
10.根据权利要求9所述的成像装置,其特征在于,所述第二致动器被配置为经由所述镜子接收和反射来自所述红外源的红外光,以及所述反射组件被配置为接收来自所述第二致动器的红外光并且将从所述第二致动器接收到的红外光反射至所述滤光部。
11.根据权利要求9所述的成像装置,其特征在于,所述反射组件被配置为接收和反射来自所述红外源的红外光,以及所述第二致动器被配置为接收来自所述反射组件的红外光,并且经由所述镜子,将从所述反射组件接收到的红外光反射至所述滤光部。
12.根据权利要求8所述的成像装置,其特征在于,所述至少一个驱动部件包括具有第一镜子的第三致动器和具有第二镜子的第四致动器,所述第三致动器和所述第四致动器都设置于所述光反射部内,所述第三致动器配置成经由所述第一镜子接收并反射来自所述红外源的红外光,以及所述第四致动器被配置为接收来自所述第一镜子的红外光,并且经由所述第二镜子将从所述第一镜子接收到的红外光反射至所述滤光部。
13.一种终端设备,其特征在于,包括:
红外投影仪,包括:
红外源,被配置为发射红外光;
光反射部,被配置为接收和反射自所述红外源所发射的红外光;
滤光部,被配置为接收所述光反射组件所反射的红外光并让所述红外光穿过以被投影在物体上形成点云,所述滤光部为衍射光学元件或具有均匀分布的小通孔的光学掩膜;
至少一驱动部件,置于所述光反射部和所述滤光部中并且被配置为改变从所述光反射部至所述物体的光路;
红外相机,被配置为根据所述点云捕获所述投影的图像;以及
壳体,被配置以容纳所述红外投影仪和所述红外相机;
其中,所述至少一个驱动部件包括两个第一致动器,所述滤光部安装在所述两个第一致动器上,其中一个第一致动器驱动所述滤光部沿第一方向移动,同时另一个第一致动器驱动所述滤光部沿垂直于所述第一方向的第二方向移动。
14.根据权利要求13所述的终端设备,其特征在于,所述至少一个驱动部件包括具有镜子的第二致动器并置于所述光反射部,其中所述光反射部进一步包括光反射组件。
15.根据权利要求14所述的终端设备,其特征在于,所述第二致动器被配置为接收和反射,经由所述镜子,来自所述红外源的红外光,以及所述反射组件被配置为接收来自所述第二致动器的红外光,并反射自从所述第二致动器接收到的红外光至所述滤光部。
16.根据权利要求14所述的终端设备,其特征在于,所述反射组件被配置为接收和反射来自所述红外源的红外光,以及所述第二致动器被配置为接收来自所述反射组件的红外光,以及经由所述镜子反射从所述反射组件所接收到的红外光至所述滤光部。
CN201980046844.0A 2018-08-24 2019-08-22 红外投影仪,成像设备和终端设备 Active CN112424673B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862722769P 2018-08-24 2018-08-24
US62/722,769 2018-08-24
PCT/CN2019/102062 WO2020038445A1 (en) 2018-08-24 2019-08-22 Infrared projector, imaging device, and terminal device

Publications (2)

Publication Number Publication Date
CN112424673A CN112424673A (zh) 2021-02-26
CN112424673B true CN112424673B (zh) 2023-01-31

Family

ID=69591369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980046844.0A Active CN112424673B (zh) 2018-08-24 2019-08-22 红外投影仪,成像设备和终端设备

Country Status (4)

Country Link
US (1) US20210168306A1 (zh)
EP (1) EP3824339A4 (zh)
CN (1) CN112424673B (zh)
WO (1) WO2020038445A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220217301A1 (en) * 2019-04-15 2022-07-07 Shanghai New York University Systems and methods for interpolative three-dimensional imaging within the viewing zone of a display
US11508470B2 (en) * 2019-06-04 2022-11-22 Medos International Sarl Electronic medical data tracking system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104076581A (zh) * 2013-03-28 2014-10-01 Lg电子株式会社 激光投影仪
CN107688024A (zh) * 2017-10-13 2018-02-13 成都精工华耀机械制造有限公司 一种基于单目视觉与激光散斑的铁轨扣件异常检测系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090268031A1 (en) * 2005-09-15 2009-10-29 Kazunari Honma Electric Device, Information Terminal, Electric Refrigerator, Electric Vacuum Cleaner, Ultraviolet Sensor, and Field-Effect Transistor
CN101470225B (zh) * 2007-12-27 2011-05-25 汉王科技股份有限公司 用于人脸识别的红外滤光片及制作方法
CN101639800A (zh) * 2008-08-01 2010-02-03 华为技术有限公司 一种显示屏显示方法及终端
JP5683002B2 (ja) * 2011-02-01 2015-03-11 Jukiオートメーションシステムズ株式会社 3次元測定装置、3次元測定方法及びプログラム
US10785463B2 (en) * 2013-07-16 2020-09-22 Texas Instruments Incorporated Super-resolution in structured light imaging
US9325973B1 (en) * 2014-07-08 2016-04-26 Aquifi, Inc. Dynamically reconfigurable optical pattern generator module useable with a system to rapidly reconstruct three-dimensional data
WO2016024203A2 (en) * 2014-08-12 2016-02-18 Mantisvision Ltd. System, method and computer program product to project light pattern
CN107709925B (zh) * 2015-03-27 2018-12-14 富士胶片株式会社 距离图像获取装置
US10174931B2 (en) * 2015-06-03 2019-01-08 Apple Inc. Integrated optical modules with enhanced reliability and integrity
CN107783353B (zh) * 2016-08-26 2020-07-10 光宝电子(广州)有限公司 用于捕捉立体影像的装置及系统
CN106225678B (zh) * 2016-09-27 2018-10-19 北京正安维视科技股份有限公司 基于3d相机的动态物体定位与体积测量方法
CN107220621A (zh) * 2017-05-27 2017-09-29 北京小米移动软件有限公司 终端进行人脸识别的方法及装置
US11402197B2 (en) * 2017-09-13 2022-08-02 Sony Corporation Distance measuring module
CN107742631B (zh) * 2017-10-26 2020-02-14 京东方科技集团股份有限公司 深度摄像器件及制造方法、显示面板及制造方法、装置
CN107844773A (zh) * 2017-11-10 2018-03-27 广东日月潭电源科技有限公司 一种三维动态智能人脸识别方法及系统
CN108051929A (zh) * 2018-01-09 2018-05-18 北京驭光科技发展有限公司 三维信息检测用结构光场光学系统及其方法
WO2021032298A1 (en) * 2019-08-21 2021-02-25 Huawei Technologies Co., Ltd. High resolution optical depth scanner

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104076581A (zh) * 2013-03-28 2014-10-01 Lg电子株式会社 激光投影仪
CN107688024A (zh) * 2017-10-13 2018-02-13 成都精工华耀机械制造有限公司 一种基于单目视觉与激光散斑的铁轨扣件异常检测系统

Also Published As

Publication number Publication date
US20210168306A1 (en) 2021-06-03
CN112424673A (zh) 2021-02-26
EP3824339A4 (en) 2021-09-29
WO2020038445A1 (en) 2020-02-27
EP3824339A1 (en) 2021-05-26

Similar Documents

Publication Publication Date Title
US9826216B1 (en) Systems and methods for compact space-time stereo three-dimensional depth sensing
US9979953B1 (en) Reflector-based depth mapping of a scene
CN108471487B (zh) 产生全景深度图像的图像装置
US9462255B1 (en) Projection and camera system for augmented reality environment
CN106574761B (zh) 用于控制基于激光的发光系统的方法与系统
US20160223724A1 (en) Structured light pattern generation
CN112424673B (zh) 红外投影仪,成像设备和终端设备
WO2006075528A1 (ja) 3次元オブジェクト計測装置
CN108718406A (zh) 一种可变焦3d深度相机及其成像方法
KR101644087B1 (ko) 다시점 원샷 촬영 영상을 이용한 3차원 스캐너 시스템
CN111954790A (zh) 用于3d感测的装置和方法
US20170285936A1 (en) Laser projector and camera
JP7409443B2 (ja) 撮像装置
Tilmon et al. Foveacam: A mems mirror-enabled foveating camera
WO2021032298A1 (en) High resolution optical depth scanner
JPWO2020183711A1 (ja) 画像処理装置及び3次元計測システム
JP2011007798A (ja) 立体結像レンズモジュール
US20230026858A1 (en) Optical transmitting apparatus and electronic device
TWI385361B (zh) 多種物距組合檢測裝置及檢測方法
US20220321780A1 (en) Systems and Methods for Capturing and Generating Panoramic Three-Dimensional Models and Images
CN111505836B (zh) 一种三维成像的电子设备
US9892666B1 (en) Three-dimensional model generation
Chen et al. A light modulation/demodulation method for real-time 3d imaging
CN113825972A (zh) 改进的3d感测
KR102505659B1 (ko) 스마트폰 기반의 조명을 이용한 3차원 스캐닝 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant