CN102027388A - 采用显示器作为照明源的基于飞行时间的成像系统 - Google Patents

采用显示器作为照明源的基于飞行时间的成像系统 Download PDF

Info

Publication number
CN102027388A
CN102027388A CN2008801285805A CN200880128580A CN102027388A CN 102027388 A CN102027388 A CN 102027388A CN 2008801285805 A CN2008801285805 A CN 2008801285805A CN 200880128580 A CN200880128580 A CN 200880128580A CN 102027388 A CN102027388 A CN 102027388A
Authority
CN
China
Prior art keywords
imaging system
display
led
light
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2008801285805A
Other languages
English (en)
Other versions
CN102027388B (zh
Inventor
C·尼克拉斯
E·查尔邦
J·诺兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ecole Polytechnique Federale de Lausanne EPFL
Original Assignee
Ecole Polytechnique Federale de Lausanne EPFL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ecole Polytechnique Federale de Lausanne EPFL filed Critical Ecole Polytechnique Federale de Lausanne EPFL
Publication of CN102027388A publication Critical patent/CN102027388A/zh
Application granted granted Critical
Publication of CN102027388B publication Critical patent/CN102027388B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种基于飞行时间的成像系统，该系统包括作为照明源的光子发射器，光子传感器(6)，用于通过所述光子传感器传递取决于光子接收时间的信号的电子系统，其特征在于电子显示器(2)用作所述光子源。

Description

采用显示器作为照明源的基于飞行时间的成像系统
技术领域
本发明涉及基于飞行时间的成像系统，尤其涉及低功率、多用途和低成本的基于飞行时间的成像系统。
背景技术
三维(3D)光学成像的新的潜在高容量应用的出现使得这些设备重新开始引起关注。这些应用包括陆地和海洋测量器、虚拟键盘、脸识别系统、非电离医学层析成像器、舞台和编舞分析工具等。新一代的固态成像器已经被设计以解决所关心的致密性和速度。然而，功率、安全和成本限制仍然存在。
当前的固态三维光学成像基于三种主要技术：三角测量、干涉测量和使用调制且脉冲的激光源的飞行时间(TOF)。所有的这些方法各有优缺点，并已被广泛地研究。在三角测量系统中，到场景中的精确点的距离由已知点源的入射角度和反射光的角度导出，其中通常常规的光学传感器捕捉这些反射。这些系统的主要缺点是传感器上的速度要求、功率耗散和稍微受限的精度。干涉测量用于其确保的高精确度水平。然而干涉测量仪通常体积庞大并且非常昂贵。
使用高准直相干光源的光学TOF测距仪在技术上已经可行几十年。基于脉冲方法的这些设备，通过计算光线完成来回行程需要的时间，测量对象的距离和速度。该时间可以由快速记时器或者时间数字转换器(TDC)明确测量。可替换的，隐含的测量也可以通过估计调制光源和来自对象的反射光之间的相位差实现。这里，光子传感器和目标之间的距离与测量的相位差直接成比例。对于这些成像器，兆赫或更高的调制频率，连同零差鉴相和像素级的平均，已成功地用来放宽电路规格。
连续调制提供了在照明子系统中使用现成的和因此低成本的部件的优势。与脉冲方法相比，由于不需要非常快速上升和下降时间，更多种类的光源对于这种操作模式是可行的。可用于连续调制方法的低成本光源的例子是发光二极管(LED)阵列。
基于TOF距离测量原理的采用连续调制的高分辨率3D相机描述在T.Oggier等，“An all-solid-state optical range camera for 3D real-time imaging with sub-centimeter depth resolution(SwissRangerTM)”，SPIE Proc Vol.5249-65，St.Etienne，2003。在此文中，从包括48个LED阵列的照明单元产生的调制的红外光(IR)被场景中的目标反射，并行进返回到相机，其中基于CMOS/CCD技术，其到达的准确时间由3D传感器的每个光子传感器像素独立地测量。由于多数CCD的电荷载体传送机制是基于热扩散过程而不是漂移效应，可达到的最大解调频率是严格受限的。据报道的最大可接受频率是20MHz，因此防止测距仪达到毫米级精度。
本申请人的专利申请US2007182949描述了包括LED阵列的测距仪系统，该LED发出周期性的连续调制光学信号用于照射目标。反射的调制光学信号成像在固态光子传感器上，该传感器包括雪崩光电二极管和电路的阵列，以便得到测距仪和目标之间的距离。雪崩光电二极管的使用增加了对光的灵敏度，允许甚至单个光子的检测。
采用激光或LED的单独照明单元的使用增加了相机单元制造的成本和复杂性，因为附加的部件，LED模块必须连同合适的接线盒、电源和电子设备被提供。单独的照明也增加了相机的体积并需要额外的功率。这些缺点在大多数应用中是不希望的，并且特别是在要求低功率、小体积和低成本的移动消费者应用中，这些缺点变得危险。确实，当前使用的照明单元的这些缺点限制了移动设备上3D TOF成像的使用。
发明内容
因此，本发明的目标是提出一种新的系统和方法，其克服现有技术的至少一些局限。
按照本发明，这些目标是借助于包括独立权利要求特征的系统和方法来实现，在从属权利要求和说明书中指示了优选实施例。
这些目标还由TOF成像系统实现，其特征在于背光显示器包括用作照明源的背光组件和放置在背光组件前面的电子显示器。
在本发明的实施例中，背光组件包括在可见光谱中发射的LED，其可能用正弦信号连续调制，持续周期小于几十微秒，持续周期可能为几十纳秒，以便为成像系统的光子传感器产生调制照明。
在另一个实施例中，背光组件包括IR LED，这些IR LED被连续调制并用作成像系统的光子传感器的照明源。
在又另一个实施例中，背光组件的LED以如下方式驱动：从显示器的连续区域连续发射光以照明光子传感器。
在本发明的又另一个实施例中，光子传感器安装在远离显示器的设备上，例如，远程控制器。
在又另一个实施例中，背光组件的LED用脉冲方法中的脉冲或脉冲串调制，以便为成像系统的光子传感器产生调制照明。
本发明的成像系统不要求单独的照明单元，并且能够被优化以在低功率下操作。成像系统还多用途，因为它可以容易地在包括例如移动设备、计算机显示器和游戏控制台的各种配置中，可能在低成本配置中实现。
附图说明
借助于由示例和附图示意给出的实施例的描述，可以更好地理解本发明，其中：
图1示出了根据本发明的实施例的成像系统；
图2是直下式背光组件(direct backlight assembly)的截面图；
图3是非直下式背光组件(indirect backlight assembly)的截面图；
图4示出了在计算机监视器的情况下使用小照明区域；并且
图5示出了成像系统，其中光子传感器安装在远程设备上。
具体实施方式
图1示出了根据本发明的实施例的成像系统的实现实例。成像系统包括背光显示器(backlit)1，背光显示器1包括诸如LCD显示器的电子显示器2、放置在电子显示器2后面的背光组件3，该背光组件包括用于照明电子显示器2的LED5阵列。成像系统还包括背光驱动器4，用于调节提供给背光组件3的电流量和LED5的相应光强度；以及光子传感器6或传感器阵列，在本例中放置在电子显示器2的一侧或可能放置在后面。在本发明中，光信号7由光子发射器发射，这里是背光显示器1。被发射的光信号7到达目标8，并且反射光信号9行进返回到光子传感器6。被发射的光信号下面将详细描述。成像透镜10能够放置在光子传感器6的前面，以便为目标8的不同点成像。传感器6或传感器的阵列传递信号(该信号取决于光的TOF以及从其到目标8的距离，或者该目标的3D表示)可通过信号处理模块11或者直接在该阵列中计算，并且借助于通信接口模块12显示。
图2示出背光显示器1的截面图，背光显示器1包括电子显示器2和背光组件3。背光组件3包括在可见光谱发射的LED5的阵列，其被布置在基板13上，并直接在显示器2后面提供照明。这样的配置也称为直下式背光。阵列中的LED的数量常常取决于诸如显示器2的尺寸和期望的强度之类的因素。LED 5可以被设置在提供期望的照明量的任何模式中。LED可以单独地被寻址或者支持一个或多个LED的不同区域可以被连续地寻址。典型的背光组件3通常包括扩散器15，用于散布具有基本均匀性的光线。扩散的光穿过显示视频内容的显示器2并射向目标。
可替换地，显示器2可以使用非直下背光组件被间接照明，该非直下背光组件包括边缘照明组件16和光导17，边缘照明组件16包括位于边缘照明16一侧的至少一行LED 5。这样的非直下背光组件如图3所示。反射器19反射LED 5的输出到光导17，在其中其通过全反射传播，并通过孔径或者经由沿光导17在扩散器15和显示器2中的其他光提取特征(未示出)退出。背光显示器1也可以组合边缘照明组件16和上述的直下式背光组件3。
本发明的背光组件3能够被安装在标准的背光配置中，或者能够被安装在显示器的后面、上面、下面或者一侧，或者在这些配置的组合中。
在本发明的实施例中，整个显示器表面产生的光被用于TOF测量。的确，对于典型地用在诸如移动电话、MP3/便携式媒体播放器或PDA之类的便携式设备上的小LCD显示器，可以应用点源的近似。在优选实施例中，背光组件3的LED以持续时间周期P连续调制，该周期小于几微秒，优选的，周期为几纳秒，例如50ns。积分时间优选为至少几微秒，优选的是至少几毫秒，可能33ms的持续时间。调制优选为正弦信号，虽然还可以利用方波信号或者任何其他的信号调制形状。调制的光能够叠加(superimposed)LED强度，通常用于照亮显示器2。调制信号由背光驱动器4提供，或可替换地，由放置在背光驱动器4内或外部设备内的第一调制发生器(未图示)提供。
调制的发射光7穿过显示器2，被目标8反射，并行进返回到光子传感器6，在其中记录在发射光7和调制的反射光9之间的相位延迟。该相位通过在光子传感器6内同步解调调制的反射光9而检测。通过与原始调制信号的相关能够执行这个解调，产生所谓的互相关，从该所谓的互相关能够计算目标的距离。单一调制频率的使用称为零差调制/解调技术。可替换地，光子传感器6内的TDC输出与脉冲发送时间和脉冲接收时间之间的时间成比例的信号。
光子传感器6典型地是固态传感器，包括单光子雪崩光电二极管(SPAD)的一维或二维阵列和用于处理由雪崩光电二极管输出的信号的多个电路。光子传感器6或传感器阵列也可以是基于例如CMOS技术(CIS)的有源像素传感器(APS)、电荷耦合器件(CCD)、半导体检测器或者任何其他类型的能够以电信号转换光学图像或光的图像传感器。处理后的信号然后输入到信号处理模块11，该模块实时计算距离或者xyz位置。也可以从光子传感器6中直接递送距离和/或位置。计算的距离和/或位置能够进一步被处理以便应用图像滤波器和/或执行应用专用(application-dedicated)的算法。距离值和/或处理的数据输出到通信接口模块12，该模块可以是USB连接器、以太网或者CAN总线或无线连接。
可替换地，TOF测量可采用脉冲方法来执行，其中测量光束脉冲的直接来回行程时间。在此方法中，背光组件的LED用非常短的脉冲或例如几百微微秒的非常短的脉冲串调制。这样的技术在C.Niclass等，″A CMOS 3D Camera with Millimetric Depth Resolution″，IEEE Custom Integrated Circuits Conference，705-708页，2004年10月中描述。在该参考文献中报道了使用低功率脉冲激光照明源在几米距离上实现毫米分辨率的固态SPAD传感器。
在实施例中，背光组件3包括白色LED，例如，取决于磷光层(phosphor coating)产生可见“冷”白光或“较暖”白光的磷光蓝色LED。在这种情况下，光子传感器6能够与滤波器相关联，用于改进对所述白色LED直接发射的蓝光的灵敏性，不会由于涂层的重发射而延迟。还可以使用白色LED与不同颜色温度的混合物。
可替换地，背光组件3可包括发射红色(R)、绿色(G)和蓝色(B)的LED，其中当不同RGB LED的光线在直下式背光组件3的背光腔14或者边缘照明组件16的光混合腔18中混合时，获得白光。由于RGB LED能够显示在不同颜色之间的定时色散(具有不同的定时特性)，滤波器能够用在一种颜色(例如，绿色)周围并且忽略另一个。还可以在不同时间上照明和/或调制不同颜色的LED。这要求不同颜色的LED被独立地寻址。
LED5能够是任何类型的固态发光设备，包括有机发光二极管(OLED)或者聚合物发光二极管(PLED)等。
在本发明的另一实施例中，背光组件3包括红外或近红外LED，在本文的其余部分称为IR LED，用作TOF测量的专用调制光源。IR LED可以被添加到背光组件3和/或边缘照明组件16的可见LED的阵列，优选地横跨该阵列被均匀地分布。可选地，可以由IR LED代替背光组件3和/或边缘照明组件16中的一些可见LED。
IR LED的主要优点是它们的调制不会被用户感知，因此不会在视频显示图像中产生假象。IR LED的使用应由对眼睛无害的发光二极管产生，并且相比于可见光，由于对IR光较低的光子传感器灵敏度并且需要专用部件进行IR感测使得成像设备更加昂贵，IR LED的使用受到限制。
在此，通过背光驱动器4能够与其它可见LED无关地调制IR LED。为了增加IR调制光相对于可见照明的对比度，在TOF测量周期期间调制IR LED的同时能够减少可见LED的强度，或者IR滤波器可以用在光子传感器6的前面。可选地，在人类视觉不能检测到的速率上能够时分多路复用可见LED和IRLED。这个解决方案要求可见LED背光被调制打开和关闭。多路复用速率比IRLED的调制频率慢，并且还能够用于防止两个或更多显示器之间的干扰。
可替换地，显示器的一部分专用于IR LED产生的调制光照明。IR LED也可以放置在显示器的一侧。IR滤波器可放置在光子探测器6的前面，以便改进对IR或近IR光的灵敏度。
当使用诸如计算机监视器、笔记本LCD显示器，平板电视器等大显示器的整个表面用于TOF测量时，采用TOF方法的目标的误差距离估计可能由使用空间扩展光源引起。在本发明的实施例中，通过将TOF测量技术和三角测量方法结合最小化该误差。这可通过仅使用电子显示器的一个区域作为TOF照明源来执行。该区域的表面面积必须足够的小以近似有效的点源。例如，表面面积为几平方厘米的区域可以足以估计位于显示器大约一米距离的目标的距离。该区域可以是矩形形状或者任意其他实用的形状。
图4说明了在计算机监视器情况下的小照明区域的使用，其中显示器1的表面包括相同矩形区域的矩阵。对于任意给定时间，通过利用例如频率为20MHz的正弦信号连续调制直接放置在相应区域后面的LED，仅仅一个区域被用作照明源。用于TOF照明的区域可以在优选地不被人类视觉感知的频率上，例如，5kHz频率横跨显示器移动，该频率相应于200μs的测量周期。区域可以横跨显示器连续移动或者遵照其他任何顺序模式，例如随机模式。对于每一个测量周期，使用照明区域的中心和光子传感器6之间的已确定的距离计算目标的距离或者位置。
在一个实施例中，不同的照明区域横跨显示器移动，覆盖整个显示器表面。例如，在20英寸显示器，41厘米宽和30厘米高的情况下，遵循由符号R1，R2，R3，Ri，R49的序列在图中所指示的随机序列，能够照明覆盖整个显示器表面的49个边长为5cm的正方形区域的矩阵。在此，对于每个连续照明区域使用200μs照明周期，大约10ms执行横跨整个显示器表面的完整照明周期。该附图还示出根据显示器上区域的不同位置的不同发射光路径7。在另一个实施例中，不同的照明区域在显示器的区段(zone)内移动，该显示器的区段的表面面积小于整个显示器表面面积。该区段可以例如通过在完整的照明周期期间横跨显示器表面面积的仅仅一部分以连续或随机方式移动照明区域来覆盖显示器上的连接或不连接的表面。对应于不同49个照明区域的不同测量能够被组合以便提供图像或估计的距离。
在又另一个实施例中，单一区域作为照明源并位于显示器的固定部分，专门用于调制光照明。
用于TOF照明的不同显示区域通过连续地调制对应于不同区域的背光LED使用背光驱动器4来连续产生，背光LED被单独地或通过LED的部分寻址。
在一个实施例中，通过增加用于TOF照明的LED的强度来改进调制区域关于整个背光照明的对比度。增加LED强度可以导致调制LED的发热，但是由于短的调制周期，这个效应应该是有限的。
在另一个实施例中，在TOF照明区域中照明仅仅相应于三个RGB颜色之一的LED。例如，在TOF照明区域内，在TOF测量周期期间调制仅仅红色LED，同时在显示器的其余地方，所有RGB LED打开。
当使用IR LED作为TOF照明源时，根据上面描述的顺序，仅后者被背光驱动器4调制。相似的，通过在整个显示器表面上或仅仅在调制IR LED的区域中在测量周期期间减少可见LED5的强度能够改进IR调制光关于整个背光照明的对比度。可选地，在人类视觉不能检测到的速率上能够时分多路复用可见和IRLED。该解决方案要求可见LED背光被调制打开和关闭。多路复用速率比IRLED的调制频率慢，并且还能够用于防止两个或更多显示器之间的干扰。
由背光组件3的LED产生的照明的亮度和特性可以根据显示器视频内容而变化。的确，显示图像可以包含非常亮和黑的部分，在显示器上具有快速改变的位置，特别是在游戏应用中。暗的部分甚至可以阻止调制背光到达传感器6。特别如上所述当TOF测量技术与三角测量方法结合时，视频内容的影响可以是重要的。在此的确，调制光的强度将根据光必须穿过的显示器的亮区或暗区而变化，产生不可靠的TOF测量。
为了避免或至少最小化该缺点，在对应于照明的背光区域的显示器的部分中可以本地地修改视频内容。所述修改可以在于在TOF测量周期期间在对应于照明的背光区域的一部分中显示白色(透明)图像。在此，白色照明区域的对比度可以被减少，特别当发生在视频图像上的白色部分中时。可替换地，在TOF测量周期期间能够增加用于产生调制光的LED的强度。这些特性是可选的，并且能够被激活或减活。
依据本发明的一个方面，背光驱动器4包括驱动电路，用于按照本发明的实施例驱动背光组件3的LED。例如，这样的驱动电路应该允许独立控制和/或调制可见和/或IR背光LED的强度。驱动电路也应该允许连续驱动背光组件3的不同区域的LED，以及将显示器视频内容与驱动背光LED同步。例如，Austriamicrosystems AG生产的用于大型显示器的驱动器AS3693A，提供了多个LED通道的独立控制并允许显示器视频信号和LCD背光的同步。
依据本发明的另一方面，提供了一种计算机程序产品，其被配置为在位于背光驱动器4内的处理装置(未图示)上是可操作的，以便按照本发明的实施例实现背光组件3的可见和/或IR LED的驱动。该软件产品可被下载到与处理装置相关联的存储器(未图示)中。下载操作可以使用在成像系统上集成的存储读取器设备(未示出)，例如CD或DVD读取器，或者通过USB连接器或任何其他类型的连接器连接到成像系统的可移动存储读取器设备(未图示)，诸如外部CD或者DVD读取器、USB存储钥匙或闪存来执行。下载操作也可以以无线方式执行。
在另一实施例中，调制光源是由显示器视频内容提供。这里例如，整个显示器可以变暗，并且显示器的一个区域发射更明亮的白光。
在另一实施例中，使用窄视角的显示器以便降低成像系统的功率消耗。扩散覆盖物(diffusing overlay)经常放置在显示器的前面，以增加视角高达接近180°的值。然而，宽视角可能对TOF测量是不利的，因为总照明功率与该角度的平方相关。低消耗的成像传感器因此将是具有较窄视角的显示器的优点。例如，具有包括在60°到120°范围内视角的覆盖物对应于最优视角和最大化TOF照明功效之间的较好折衷。也可以使用具有用于可见和IR LED的不同视角的覆盖物。
本发明的成像系统可嵌入计算机监视器、笔记本、便携设备中，其中便携设备诸如移动电话、MP3/便携式媒体播放器或PDA等。可能的应用包括成像，诸如脸识别或距离测量。例如，光子传感器6可以放置在移动电话的相机和电话LCD显示屏的附近，作为照明源。在这种配置下，成像系统可用作成像相机或用于确定用户的位置，例如，用于相机自动聚焦系统或在视频会议系统中估计用户的位置。还可以在显示器周围放置多个光子传感器以对目标8后面的环境成像。
在本发明的另一个实施例中，光子传感器6安装在远离显示器的设备上，例如，远程控制器、计算机鼠标、指示器或者任何类似的远程设备。在这种配置中，调制的发射光7和调制的反射光9之间的同步不可用，并且相位延迟以及与目标(这里是远程设备)的距离不能被确定。因此，这样的系统必须包括时钟恢复(clock recovery)系统，用于使显示器中的时钟信号和远程设备中的时钟信号同步。
在图5所示的例子中，光子传感器6安装在远程指示器21上。光子传感器6能够产生调制信号，其复制背光驱动器4产生的调制信号。可替换地，复制的调制信号也可以由信号处理模块11产生或者由位于光子传感器6内或在外部设备中的第二调制发生器(未示出)产生。
背光驱动器4包括内部时钟(未示出)，通过诸如蓝牙、802.11UWB(超宽带)之类的无线传输设备22，或者通过有线连接，使用规则信标分组发送时间戳，该内部时钟与光子传感器6或者外部设备的内部时钟(未示出)同步。这里，显示器和/或远程设备可以无线连接或通过有线连接到计算机或游戏控制台。
在这种配置下，远程控制器可以例如用作在触摸屏交互显示器中或在游戏应用中的指示器。这里，基于放置在指示器上的光子传感器6和显示器之间测量的TOF，指示器的位置可以被检测到。基于检测的位置，控制序列可以被发送到计算机或游戏控制台以便控制，例如，幻灯片讲解(power point presentation)或游戏。
参考标记
1   背光显示器
2   电子显示器
3   背光组件
4   背光驱动器
5   LED
6   光子传感器
7   发射光
8   目标
9   反射光
10  成像透镜
11  信号处理模块
12  通信接口模块
13  基板
14  背光腔
15  扩散器
16  边缘照射组件
17  光导
18  光混合腔
19  反射器
21  远程指示器
22  无线传输设备

Claims (21)

1.一种基于飞行时间的成像系统，包括：
用作照明源的光子发射器；
光子传感器(6)；
用于通过所述光子传感器传递取决于光子接收时间的信号的电子系统；
其特征在于背光显示器(1)用作为所述照明源。
2.如权利要求1所述的成像系统，其中，所述背光显示器(1)包括用作所述照明源的背光组件(3)和放置在背光组件(3)前面的电子显示器(2)。
3.如权利要求2所述的成像系统，其中，所述背光组件(3)使用LED(5)。
4.如权利要求3所述的成像系统，其中，所述背光组件(3)包括红外LED，所述光子传感器(6)与红外滤波器相关联用于改进对所述红外LED发射的红外光的灵敏度。
5.如权利要求3或4所述的成像系统，其中，所述背光组件(3)使用白色LED，所述光子检测器与滤波器相关联用于改进对由所述白色LED发射的蓝光的灵敏度。
6.如权利要求2到5任一项所述的成像系统，包括背光驱动器(4)，用于从所述显示器(2)的连续区域连续发射所述光子传感器(6)所使用的光。
7.如权利要求6所述的成像系统，所述背光驱动器(4)被设置用于连续照明所述显示器(2)的连续区域。
8.如权利要求6或7所述的成像系统，其中，被连续照亮的每个区域和目标(8)之间的距离被连续地计算。
9.如权利要求6或8所述的成像系统，所述电子显示器(2)被设置用来修改被所述当前背光区域显示的视频内容，以便增加从所述区域发送的并且由所述光子传感器(6)接收的光的数量。
10.如权利要求2到9任一项所述的成像系统，包括背光驱动器(4)，用于从所述显示器(2)的不同区域连续照明所述光子传感器(6)，和用于基于从不同区域接收的光计算光反射目标的位置的计算装置。
11.如权利要求3到10任一项所述的成像系统，包括在不同时间被照明和/或调制的不同颜色的不同LED。
12.如权利要求1所述的成像系统，其中，视频图像被用作所述照明源。
13.如权利要求1到12任一项所述的成像系统，其中，所述光子传感器(6)被安装在与所述电子显示器不同的设备上，以致所述显示器和所述光子传感器(6)之间的位置不固定。
14.如权利要求13所述的成像系统，包括时钟恢复系统，用于在所述不同设备中恢复来自所述显示器的时钟信号。
15.如权利要求1到14任一项所述的成像系统，作为游戏控制台的一部分。
16.如权利要求1到15任一项所述的成像系统，作为个人数字助理或移动电话的一部分。
17.如权利要求1到16任一项所述的成像系统，其中，光子传感器(6)包括SPAD元件的阵列。
18.用于权利要求1到17的成像系统的照明方法，至少包括作为照明源的背光显示器(1)，光子传感器(6)和用于通过所述光子传感器传递信号的电子系统；包括如下步骤：
使用背光驱动器(4)从电子显示器(2)的连续不同区域产生调制照明；
计算被连续照亮的每个区域之间的距离；
使用光子传感器(6)记录目标(8)反射的调制照明的接收时间或者在发射照明和反射照明之间的相位延迟。
19.如权利要求18所述的照明方法，其中与连续照明同步修改显示器视频内容。
20.如权利要求18或19所述的照明方法，其中，遵循随机模式横跨显示器(2)移动连续照明的区域。
21.包括计算机程序的计算机程序产品，该计算机程序能够由处理装置来执行以便实现权利要求18-20之一所述的方法，当所述程序被所述处理装置执行时以便实现驱动权利要求1到17的成像系统的照明源。
CN2008801285805A 2008-04-11 2008-04-11 采用显示器作为照明源的基于飞行时间的成像系统 Expired - Fee Related CN102027388B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2008/054450 WO2009124601A1 (en) 2008-04-11 2008-04-11 Time-of-flight based imaging system using a display as illumination source

Publications (2)

Publication Number Publication Date
CN102027388A true CN102027388A (zh) 2011-04-20
CN102027388B CN102027388B (zh) 2013-08-28

Family

ID=39882909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008801285805A Expired - Fee Related CN102027388B (zh) 2008-04-11 2008-04-11 采用显示器作为照明源的基于飞行时间的成像系统

Country Status (4)

Country Link
US (1) US8810647B2 (zh)
EP (1) EP2283383B1 (zh)
CN (1) CN102027388B (zh)
WO (1) WO2009124601A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103558604A (zh) * 2013-10-12 2014-02-05 浙江大学 飞行时间原理的调制型漫反射表面反射成像方法与系统
CN104042398A (zh) * 2013-03-15 2014-09-17 庄臣及庄臣视力保护公司 用于向使用者提供可视表示的方法和眼科装置
CN105518485A (zh) * 2014-01-13 2016-04-20 软动力学传感器公司 用于驱动飞行时间系统的方法
CN105556337A (zh) * 2013-05-24 2016-05-04 微软技术许可有限责任公司 深度成像中的间接反射抑制
CN105705962A (zh) * 2013-06-06 2016-06-22 新加坡恒立私人有限公司 具有主动照明的传感器系统
CN107941248A (zh) * 2016-10-12 2018-04-20 意法半导体(R&D)有限公司 基于单光子雪崩二极管的范围检测装置
TWI622785B (zh) * 2015-03-27 2018-05-01 英特爾股份有限公司 用於空間－時間壓縮的飛行時間成像之技術
CN108600488A (zh) * 2018-07-06 2018-09-28 泰山学院 一种新型的基于人工智能的防护手机套
CN114325735A (zh) * 2022-03-16 2022-04-12 成都量芯集成科技有限公司 一种多点光发射测距装置及方法

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5709906B2 (ja) 2010-02-24 2015-04-30 アイピープレックス ホールディングス コーポレーション 視覚障害者支援用拡張現実パノラマ
US9237844B2 (en) * 2010-03-22 2016-01-19 Koninklijke Philips N.V. System and method for tracking the point of gaze of an observer
CN102375973B (zh) * 2010-08-24 2013-04-03 汉王科技股份有限公司 人脸识别方法和系统及红外背光补偿方法和系统
US8681255B2 (en) * 2010-09-28 2014-03-25 Microsoft Corporation Integrated low power depth camera and projection device
GB2485994A (en) 2010-11-30 2012-06-06 St Microelectronics Res & Dev Navigation device using a Single Photon Avalanche Diode (SPAD) detector
GB201020282D0 (en) * 2010-11-30 2011-01-12 Dev Ltd An improved input device and associated method
GB2486165A (en) 2010-11-30 2012-06-13 St Microelectronics Res & Dev Oven using a Single Photon Avalanche Diode (SPAD) array
GB2494663A (en) 2011-09-14 2013-03-20 St Microelectronics Res & Dev A system and corresponding method for monitoring vibration isolators
US9472005B1 (en) * 2012-04-18 2016-10-18 Amazon Technologies, Inc. Projection and camera system for augmented reality environment
US9689726B2 (en) * 2012-07-09 2017-06-27 Texas Instruments Incorporated Flow meter
US9057784B2 (en) * 2012-08-14 2015-06-16 Microsoft Technology Licensing, Llc Illumination light shaping for a depth camera
EP2703836B1 (en) * 2012-08-30 2015-06-24 Softkinetic Sensors N.V. TOF illuminating system and TOF camera and method for operating, with control means for driving electronic devices located in the scene
US20140268029A1 (en) * 2013-03-15 2014-09-18 Johnson & Johnson Vision Care, Inc. Method and ophthalmic device for providing visual representations to a user
US9442186B2 (en) 2013-05-13 2016-09-13 Microsoft Technology Licensing, Llc Interference reduction for TOF systems
US9459696B2 (en) 2013-07-08 2016-10-04 Google Technology Holdings LLC Gesture-sensitive display
EP2851704B1 (de) 2013-09-19 2019-12-11 Pepperl+Fuchs AG Vorrichtung und Verfahren zum optischen Bestimmen von Abständen zu Objekten in einem Überwachungsbereich
US10203399B2 (en) 2013-11-12 2019-02-12 Big Sky Financial Corporation Methods and apparatus for array based LiDAR systems with reduced interference
US9360554B2 (en) 2014-04-11 2016-06-07 Facet Technology Corp. Methods and apparatus for object detection and identification in a multiple detector lidar array
US10237534B2 (en) 2014-07-07 2019-03-19 Infineon Technologies Ag Imaging device and a method for producing a three-dimensional image of an object
US10036801B2 (en) 2015-03-05 2018-07-31 Big Sky Financial Corporation Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array
JPWO2016151982A1 (ja) * 2015-03-26 2018-01-25 パナソニックＩｐマネジメント株式会社 固体撮像素子およびこれを備えた撮像装置
US10250833B2 (en) 2015-04-20 2019-04-02 Samsung Electronics Co., Ltd. Timestamp calibration of the 3D camera with epipolar line laser point scanning
US20160309135A1 (en) 2015-04-20 2016-10-20 Ilia Ovsiannikov Concurrent rgbz sensor and system
US11736832B2 (en) 2015-04-20 2023-08-22 Samsung Electronics Co., Ltd. Timestamp calibration of the 3D camera with epipolar line laser point scanning
US11002531B2 (en) 2015-04-20 2021-05-11 Samsung Electronics Co., Ltd. CMOS image sensor for RGB imaging and depth measurement with laser sheet scan
US10132616B2 (en) 2015-04-20 2018-11-20 Samsung Electronics Co., Ltd. CMOS image sensor for 2D imaging and depth measurement with ambient light rejection
US9992477B2 (en) * 2015-09-24 2018-06-05 Ouster, Inc. Optical system for collecting distance information within a field
US10063849B2 (en) 2015-09-24 2018-08-28 Ouster, Inc. Optical system for collecting distance information within a field
JP6821686B2 (ja) * 2016-01-20 2021-01-27 ルミレッズ ホールディング ベーフェー 適応光源用のドライバ
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
US10462452B2 (en) 2016-03-16 2019-10-29 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras
CN105676564A (zh) * 2016-03-25 2016-06-15 山东华光光电子股份有限公司 一种具有目标距离测量和定位功能的激光夜视仪
WO2018039432A1 (en) 2016-08-24 2018-03-01 Ouster, Inc. Optical system for collecting distance information within a field
KR20180050473A (ko) 2016-11-04 2018-05-15 삼성디스플레이 주식회사 표시 장치
EP3615901A4 (en) 2017-05-15 2020-12-16 Ouster, Inc. OPTICAL IMAGING TRANSMITTER WITH BRIGHTNESS IMPROVEMENT
US20190068900A1 (en) * 2017-08-30 2019-02-28 Lenovo (Singapore) Pte. Ltd. Display Component Emitting Both Visible Spectrum and Infrared Spectrum Light
CN111492262B (zh) 2017-10-08 2024-06-28 魔眼公司 使用经向网格图案的距离测量
CN107742631B (zh) * 2017-10-26 2020-02-14 京东方科技集团股份有限公司 深度摄像器件及制造方法、显示面板及制造方法、装置
US11340336B2 (en) 2017-12-07 2022-05-24 Ouster, Inc. Rotating light ranging system with optical communication uplink and downlink channels
JP7354133B2 (ja) 2018-03-20 2023-10-02 マジック アイ インコーポレイテッド 三次元深度検知及び二次元撮像のためのカメラ露出調節
EP3803266A4 (en) 2018-06-06 2022-03-09 Magik Eye Inc. DISTANCE MEASUREMENT USING HIGH DENSITY PROJECTION PATTERNS
US11475584B2 (en) 2018-08-07 2022-10-18 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
US10739189B2 (en) 2018-08-09 2020-08-11 Ouster, Inc. Multispectral ranging/imaging sensor arrays and systems
US10732032B2 (en) 2018-08-09 2020-08-04 Ouster, Inc. Scanning sensor array with overlapping pass bands
EP3911920B1 (en) 2019-01-20 2024-05-29 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
US11474209B2 (en) 2019-03-25 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
US11982566B2 (en) 2019-03-29 2024-05-14 Ecole Polytechnique Federale De Lausanne (Epfl) System, device, and method for quantum correlation measurement with single photon avalanche diode arrays
US20220268930A1 (en) * 2019-10-15 2022-08-25 Sony Semiconductor Solutions Corporation Ranging device and light reception method thereof
JP2023504157A (ja) 2019-12-01 2023-02-01 マジック アイ インコーポレイテッド 飛行時間情報を用いた三角測量ベースの３次元距離測定の向上
CN114830190A (zh) 2019-12-29 2022-07-29 魔眼公司 将三维坐标与二维特征点相关联
US11688088B2 (en) 2020-01-05 2023-06-27 Magik Eye Inc. Transferring the coordinate system of a three-dimensional camera to the incident point of a two-dimensional camera

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050122308A1 (en) * 2002-05-28 2005-06-09 Matthew Bell Self-contained interactive video display system
CN1991407A (zh) * 2005-10-28 2007-07-04 夏普株式会社 光学式测距装置
US20070182949A1 (en) * 2005-12-21 2007-08-09 Cristiano Niclass Method and arrangement for measuring the distance to an object
CN101142496A (zh) * 2005-03-17 2008-03-12 莱卡地球系统公开股份有限公司 用于确定目标的位置和取向的方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8269746B2 (en) * 2006-11-27 2012-09-18 Microsoft Corporation Communication with a touch screen

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050122308A1 (en) * 2002-05-28 2005-06-09 Matthew Bell Self-contained interactive video display system
CN101142496A (zh) * 2005-03-17 2008-03-12 莱卡地球系统公开股份有限公司 用于确定目标的位置和取向的方法和系统
CN1991407A (zh) * 2005-10-28 2007-07-04 夏普株式会社 光学式测距装置
US20070182949A1 (en) * 2005-12-21 2007-08-09 Cristiano Niclass Method and arrangement for measuring the distance to an object

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104042398A (zh) * 2013-03-15 2014-09-17 庄臣及庄臣视力保护公司 用于向使用者提供可视表示的方法和眼科装置
CN105556337B (zh) * 2013-05-24 2018-12-25 微软技术许可有限责任公司 深度成像中的间接反射抑制
CN105556337A (zh) * 2013-05-24 2016-05-04 微软技术许可有限责任公司 深度成像中的间接反射抑制
US9729860B2 (en) 2013-05-24 2017-08-08 Microsoft Technology Licensing, Llc Indirect reflection suppression in depth imaging
CN105705962A (zh) * 2013-06-06 2016-06-22 新加坡恒立私人有限公司 具有主动照明的传感器系统
US10401498B2 (en) 2013-06-06 2019-09-03 Ams Sensors Singapore Pte. Ltd. Sensor system with active illumination
CN103558604A (zh) * 2013-10-12 2014-02-05 浙江大学 飞行时间原理的调制型漫反射表面反射成像方法与系统
US10509126B2 (en) 2014-01-13 2019-12-17 Sony Depthsensing Solutions Sa/Nv Method for driving a time-of-flight system
CN105518485B (zh) * 2014-01-13 2018-11-13 索尼深度传感解决方案股份有限公司 用于驱动飞行时间系统的方法
CN105518485A (zh) * 2014-01-13 2016-04-20 软动力学传感器公司 用于驱动飞行时间系统的方法
TWI622785B (zh) * 2015-03-27 2018-05-01 英特爾股份有限公司 用於空間－時間壓縮的飛行時間成像之技術
CN107941248A (zh) * 2016-10-12 2018-04-20 意法半导体(R&D)有限公司 基于单光子雪崩二极管的范围检测装置
US10903313B2 (en) 2016-10-12 2021-01-26 Stmicroelectronics (Research & Development) Limited Apparatus for controlling driver current for illumination source
CN107941248B (zh) * 2016-10-12 2021-04-13 意法半导体(R&D)有限公司 基于单光子雪崩二极管的范围检测装置
US11412590B2 (en) 2016-10-12 2022-08-09 Stmicroelectronics (Research & Development) Limited Apparatus for controlling driver current for illumination source
CN108600488A (zh) * 2018-07-06 2018-09-28 泰山学院 一种新型的基于人工智能的防护手机套
CN114325735A (zh) * 2022-03-16 2022-04-12 成都量芯集成科技有限公司 一种多点光发射测距装置及方法
CN114325735B (zh) * 2022-03-16 2022-06-14 成都量芯集成科技有限公司 一种多点光发射测距装置及方法

Also Published As

Publication number Publication date
CN102027388B (zh) 2013-08-28
US20110037849A1 (en) 2011-02-17
US8810647B2 (en) 2014-08-19
WO2009124601A1 (en) 2009-10-15
EP2283383B1 (en) 2013-07-17
EP2283383A1 (en) 2011-02-16

Similar Documents

Publication Publication Date Title
CN102027388B (zh) 采用显示器作为照明源的基于飞行时间的成像系统
CN107885023B (zh) 图像投影设备中用于亮度和自动聚焦控制的飞行时间感测
WO2021120403A1 (zh) 一种深度测量装置及测量方法
US10237534B2 (en) Imaging device and a method for producing a three-dimensional image of an object
EP3645965B1 (en) Detector for determining a position of at least one object
EP2622847B1 (en) Integrated low power depth camera and projection device
CN101042499B (zh) 液晶显示装置和用在液晶显示装置中的背光单元
CN209167538U (zh) 时间飞行深度相机
JP2002323302A (ja) 非走査型レンジ撮像システム用のｌｅｄを用いた照明デバイス
CN102722076B (zh) 投影装置及投影方法
WO2021169531A1 (zh) 一种ToF深度测量装置、控制ToF深度测量装置的方法及电子设备
CN109283508A (zh) 飞行时间计算方法
WO2017169732A1 (ja) 計測装置及び計測方法
CN109167905A (zh) 图像获取方法、图像获取装置、结构光组件及电子装置
CN109167903A (zh) 图像获取方法、图像获取装置、结构光组件及电子装置
CN109067951A (zh) 电子装置
US20220149016A1 (en) Display device and electronic device including the display device
CN102865849A (zh) 一种用于测距的拍摄装置及测距方法
Yang et al. LIPO: Indoor position and orientation estimation via superposed reflected light
GB2486164A (en) Using a single photon avalanche diode (SPAD) as a proximity detector
US20120133617A1 (en) Application using a single photon avalanche diode (spad)
Ahmed et al. Pseudo-passive indoor ToF sensing exploiting visible light communication sources
US11637149B2 (en) Array substrate, display device and spatial positioning method of display device
CN108462819B (zh) 用于运行相机用的光源的方法、光源、相机
CN221303575U (zh) 一种投射与显示一体的深度模组及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130828

Termination date: 20160411