CN101652627A - 一种用于成像的方法、设备和系统 - Google Patents

一种用于成像的方法、设备和系统 Download PDF

Info

Publication number
CN101652627A
CN101652627A CN200780052135A CN200780052135A CN101652627A CN 101652627 A CN101652627 A CN 101652627A CN 200780052135 A CN200780052135 A CN 200780052135A CN 200780052135 A CN200780052135 A CN 200780052135A CN 101652627 A CN101652627 A CN 101652627A
Authority
CN
China
Prior art keywords
sensor array
distance measuring
measuring sensor
image
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200780052135A
Other languages
English (en)
Inventor
吉洛拉·亚哈夫
大卫·曼德尔伯姆
吉尔·兹格尔曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
3DV SYSTEMS (NL)
Original Assignee
3DV SYSTEMS (NL)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3DV SYSTEMS (NL) filed Critical 3DV SYSTEMS (NL)
Publication of CN101652627A publication Critical patent/CN101652627A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light

Abstract

本发明提供一种用于成像的新颖的方法、设备和系统。根据本发明的一些实施方式，可见光图像传感器阵列(比如电荷耦合器件(“CCD”)或互补金属氧化物半导体(“CMOS”))和测距传感器阵列可被布置为实质上朝向相同的方向并具有实质上重叠的视场。根据本发明的其他实施方式，将从测距传感器阵列中的一个或更多个测距传感器单元得到的测距值与可见光传感器阵列中的一个或更多个成像单元相互关联。图像处理逻辑可基于得到的测距值而使该得到的测距值与一个或更多个成像单元相互关联。

Description

一种用于成像的方法、设备和系统
发明领域
本发明一般涉及用于成像的方法、设备和系统。更明确地，本发明涉及用于使用可见光图像传感器阵列和测距传感器阵列来获取场景的一个或更多个图像的方法、设备和系统，所述方法、设备和系统适合于输出表示所述场景的多维(比如，三维)数据集。
背景技术
已知用于获取场景的三维图像的各种技术，场景的三维图像即包括场景的深度或距离(distance)信息的图像。示例性多维成像的方法包括：(1)飞行时间(也就是光)测量法，(2)反射辐射相位检测，以及(3)立体图像三角测量。上述的技术(1)和(2)一般要求图像被例如激光光束照亮/脉冲地调节(pulse)，并且所获取的深度数据逐点遍布视场。技术(3)需要多个成像传感器阵列和相对大量计算能力，以便实时得到深度数据。然而，期望在许多应用中同时地并且实质上实时地在整个视场上获取深度或距离信息。
本领域中已知测距选通(range gated)照相机。这种照相机可包括选通检测器阵列，与照亮场景的脉冲触发的或频闪的光源协同工作。例如，阵列可通过将选通照明装置(intensifier)耦合到其上而被选通，或通过本领域中众所周知的其他手段而被选通。检测器阵列的门定时相对于光源延时，以便只获取从距照相机期望距离范围内的目标反射的光。照相机不能确定到该范围内的各种目标或不同点的距离。
这里通过引用而被并入的美国专利第6,057,909号描述了一种用于产生表示图像的多维数据集的装置，所述图像包括场景中的目标的距离信息。该装置包括已调制的辐射源，其具有将辐射指向场景的第一调制函数；检测器，其检测由第二调制函数调制的从场景反射的辐射，并响应于所检测的已调制的辐射，产生响应于场景的区域的距离的信号；处理器，接收来自检测器的信号，并基于所述信号形成图像，所述图像具有指示目标距所述装置的距离的强度(intensity)值分布；以及控制器，其响应由处理器形成的图像的强度值分布，来改变第一调制函数和第二调制函数中的至少一个。美国专利第6,057,909号中所描述的装置可在整个图像上同时获取深度或距离信息。
这里通过引用而被并入的美国专利第6,091,905号描述了一种用于产生图像的装置，所述图像指示距场景中目标的距离。该发明由辐射源和调制器、用于接收和校准从场景反射的辐射的远心光学器件、检测器和处理器组成。检测器接收被校准的、反射的辐射并将信号发送到处理器。处理器形成图像，所述图像具有指示目标距所述装置的距离的强度值分布。
这里通过引用而被并入的美国专利第6,100,517号描述了一种用于产生图像的装置，所述图像指示距场景中目标上的点的距离，所述装置包括：已调制的辐射源，其具有第一调制函数，所述第一调制函数将辐射指向场景，使得已调制的辐射的一部分从所述点反射并到达该装置；阵列检测器，其检测由第二调制函数调制的来自场景的辐射，阵列检测器的每个单元与场景中的点相关联，阵列检测器的每个单元响应于到达所述装置的被反射的辐射的一部分而生成信号，特定的单元的信号的大小依赖于与该单元的信号相关联的场景中点的距离；以及处理器，其基于与点相关联的信号的大小形成图像，所述图像具有指示场景中的每一个点距所述装置的距离的强度值分布；其中第一调制函数和第二调制函数包括彼此不同的重复的脉冲调制函数。
近来工业中技术的进步，例如游戏(比如沉浸式游戏)和多媒体通信，已经引起对有效并且廉价的实时3D成像方法、设备和系统的需求。用于许多消费者应用的3D成像系统要求这种能力，即产生包括可在二维屏幕上显示的二维图像和指示该二维图像上具体的点/目标的距离的深度图的合成图像。
用于产生表示场景的合成图像或多维(比如三维)图像的多维数据集的现有技术成像方法、设备和系统已经使用布置在共同视线上的测距传感器阵列和可见光传感器阵列的组合，例如通过使用被称为轴线校准(bore-sighting)的技术。为了使在可见光传感器阵列获取的二维图像数据和测距仪传感器阵列获取的测距数据之间具有适当的相关性，需要共同视线布置。使用包括准直仪、射束分离器和其他光学单元的光学布置来获得共同视线。然而，使用共同视线光学布置即不方便又昂贵。与产生共同视线光学布置相关联的复杂性是生成多维成像设备和系统中的负担。
在成像领域需要用于产生表示场景的合成(也就是，具有深度图的二维)图像的多维图像数据集的改进的方法、设备和系统。
发明内容
本发明是一种用于成像的方法、设备和系统。根据本发明的一些实施方式，可见光图像传感器阵列(比如电荷耦合器件(“CCD”)或互补金属氧化物半导体(“CMOS”))和测距传感器阵列可被布置为实质上朝向相同的方向并具有实质上重叠的视场。根据本发明的其他实施方式，将从测距传感器阵列中的一个或更多个测距传感器单元得到的测距值与可见传感器阵列中的一个或更多个成像单元相互关联。图像处理逻辑可基于得到的测距值而使该得到的测距值与一个或更多个成像单元相互关联。
根据本发明的一些实施方式，为了基于得到的测距值而将该得到的测距值与一个或更多个成像单元关联，可见光图像传感器阵列可从动地与测距传感器对齐。根据本发明的另外的实施方式，可见光图像传感器阵列可包括具有光轴的物镜光学器件和聚焦光学器件，以及可以是现今已知或未来将被设计出的任何类型的可见光数据采集设备(也就是，RGB/BW照相机)。
根据本发明的一些实施方式，相应像素之间的偏移是目标在一个传感阵列上的位置相对于它在另一传感阵列上的位置之间的位移，该偏移在下文中也被称为相对位移(RS)。根据本发明的其他实施方式，传感器的并行布置设定穿过两个传感阵列的“传感器轴”。根据本发明的另外的实施方式，目标距测距传感器阵列的“z”距离可设定“相对偏移轴”。根据本发明的另一个实施方式，相应像素之间的相对偏移可基于如下计算(1)被感测的目标的相对偏移轴以及(2)与被感测的目标相关联的测距像素的坐标。
根据本发明的一些实施方式，可见光图像传感器阵列和测距传感器阵列可被布置为实质上朝向相同的方向，并具有实质上重叠的视线(“并行布置”)。根据本发明的其他的实施方式，这种并行布置可引起每个传感器阵列上相应的像素之间的偏移(也就是场景中相同目标的像素在每个传感器阵列中位于不同的相对坐标上)。
根据本发明的一些实施方式，相应像素之间的偏移可基于如下计算：
a.传感器阵列的光学中心之间的距离；
b.测距传感器和图像传感器的聚焦长度；
c.测距像素的坐标；
d.图像像素的坐标；
e.测距传感器阵列参数(也就是窗口参数)；以及
d.得到的被感测的目标的测距值(例如，灰度参数)。
相应像素之间的偏移的示例性详细计算在这里下面给出。
根据本发明的一些实施方式，图像处理逻辑可包括用于被感测的像素的相对位移的查找表。查找表的输入参数可以是测距传感器阵列的参数(也就是，距离、像素坐标)。根据本发明的另外的实施方式，这样的查找表可预先生成，以便提供相对偏移的实时计算，因此使图像处理逻辑能够实质上实时地(“零时”)将测距传感器阵列的像素与可见光传感器阵列的像素(“相应的像素”)相互关联。
根据本发明的一些实施方式，测距传感器阵列和可见光传感器阵列都检测从场景反射的光，不管光是发源于照明子系统还是来自于其他源，只要波长处于各自模块的工作范围内即可。不是发源于该系统的已调制的光源而进入测距传感器的光可被称为背景噪声，这种背景噪声可使测距传感器阵列产生的测距数据的准确性失真。根据本发明的其他一些实施方式，基于系统参数的一部分，可从生成的图像中滤除背景噪声。
根据本发明的一些实施方式，测距传感器阵列可生成场景的强度图像和距离图像(distance image)，两个图像互相配准。根据本发明的另外的实施方式，测距传感器阵列可包括用于照明感兴趣的场景的辐射源和检测器阵列，优选CCD阵列，以用于检测从场景中的目标反射的辐射的强度，如在与本发明相同的申请人提交的题为“Optical Ranging Camera”的美国专利第6,057,909号中描述的，该专利被转让给本申请的受让人，且这个公开在这里通过引用而被并入。辐射源被调制，例如被机械快门或液晶快门调整，其交替地阻挡和不阻挡辐射源达预定的已知时间段。被反射的辐射被类似地调制，以便到达检测器阵列的辐射优选地被阻挡和不阻挡达预定的已知时间段，其可以相同于，或更优选地不同于辐射源被阻挡和不阻挡的时间段。为了确定场景中的目标距照相机的距离，接着处理到达检测器阵列并由此被检测到的辐射的强度。辐射源优选包括激光，但是可选地可包括合适的其他类型的光源。
根据本发明的一些实施方式，辐射源可被第一波形调制，被反射的辐射被第二波形调制。调整第一波形和第二波形的形状以及波形之间的时间延迟，以给出在检测器阵列的每个像素检测的强度对从成像系统到该像素所成像的目标的距离的函数相关性。调整第一波形和第二波形以及它们之间的延迟，以便界定距离“窗口”，也就是目标距成像系统的距离的一范围，在该范围内可确定目标的距离。当辐射源和被反射的辐射分别被第一波形和第二波形调制时，成像系统只分析该窗口内的目标的图像。通过合适地调整窗口，被检测到的辐射确定从照相机到窗口内的目标的距离的处理就被简化和/或其准确性被提高。根据本发明的另外的实施方式，还调整窗口，以为在距相应于感兴趣的场景的照相机一距离范围内的目标，最大化成像系统的动态范围。
根据本发明的一些实施方式，第一波形和第二波形可以是使得在检测器阵列的单个场或帧期间，源和/或被反射的辐射被多次阻挡和不阻挡。优选地，第一波形和第二波形包括多个脉冲，其中第二波形的每个脉冲按照预先确定的一般恒定的延迟跟随第一波形的相应脉冲。考虑到标准NTSC视频场的持续时间大约是16.7毫秒(msec)，而第一波形和第二波形的脉冲的持续时间一般小于1微秒，将理解单个场或帧的时间里可包括成百上千个这种脉冲。这种多脉冲调制功能对增加成像系统生成的图像的信噪比(“SNR”)是有用的。
根据本发明的一些实施方式，适应性地调整窗口，以便获取感兴趣的一个或更多目标的图像。优选地，第一窗口包括距成像系统大的距离范围，其使用相对长的持续时间的波形调制源和被反射的辐射来最初被界定。在这个窗口中获取感兴趣的目标的图像，并确定到至少一个目标的距离。然后界定第二窗口，包括至少一个目标以及优选地包括比第一窗口更窄的距离范围。这样，获取包括减少的不感兴趣的混乱的目标的第二图像，并允许更准确地确定到至少一个感兴趣的目标的距离。
根据本发明的一些实施方式，检测器阵列可以是二维矩阵阵列，例如CCD阵列，以及一个或更多个光调制器调制到达该阵列的被反射的光，以便不同的调制波形分别关联于阵列的相邻列中不同的列或组。用这种方式，不同的距离窗口，也就是不同的所选择的距离范围关联于相邻列的不同的列或组。相邻的列的每个这样的列或组将生成场景的线性图像，该线性图像包含关于被线分割的目标的深度信息。用于生成完整场景的图像的方法在这里通过引用而被并入的美国专利第6,057,909号中详细描述。
附图简述
在说明书的结束部分特别地指出并清楚地要求视为本发明的主题。然而，当连同随附的附图阅读时，参考以下详细描述，可最佳地理解本发明的操作机构和方法，连同它的目标、特征和优点，其中：
图1A表示根据本发明的一些实施方式的多维成像系统的示例性使用；
图1B表示根据本发明的一些实施方式的多维成像系统的原理框图；
图2A表示根据本发明的一些实施方式的成像系统的测距部分(segment)的原理框图；
图2B表示根据本发明的一些实施方式的包括测距部分的成像系统的示例性操作；
图3是表示根据本发明的一些实施方式的成像系统的部分和被成像的目标之间的示例性关系/布置的框图；
图4A是示出根据本发明的一些实施方式的被成像的目标的位置和目标在每个传感器阵列上的图像之间的关系的图示；
图4B是示出当目标沿相对偏移轴移动时，图4A中示出的关系的第二图示；
图5A表示几何公式1；
图5B表示几何公式2；
图6是表示相应传感器单元偏移和目标深度之间的关系的图表；
图7是包括示例性方法的步骤的流程图，根据本发明的一些实施方式，通过该方法，成像可使来自测距传感器阵列的单元与可见光传感器阵列中的单元相关联；以及
图8是表示根据本发明的一些实施方式包括成像系统的计算系统(也就是，游戏控制台)的示例性操作的框图，成像系统包括测距部分。
应理解，为了简要和清楚的示出，图中表示的单元没必要按比例绘制。例如为了清楚，一些单元的尺寸可相对于其他单元而被放大。进一步地，在被认为适当的地方，在图中可重复参考数字，以指示相应的或类似的单元。
详述
在以下详细描述中，为了提供本发明的彻底理解，提出了许多具体的细节。然而，本领域技术人员将理解，本发明可没有这些具体的细节而被实践。在其他情况中，不详细描述众所周知的方法、程序、组件和电路，以免使本发明模糊。
除非另外特别规定，如根据以下讨论明显的，应理解，贯穿说明书的讨论利用的术语，例如“处理”、“计算(computing)”、“推算(calculating)”、“确定”或之类术语的指的是计算机或计算系统或类似的电子计算设备的动作和/或处理，其将表示为计算系统的寄存器和/或存储器中的例如电子量的物理量的数据处理和/或变换为类似地表示为计算系统的存储器、寄存器或其他这种信息存储、传输或显示设备中的物理量的其他数据。
本发明的实施方式可包括用于执行这里的操作的装置。该装置可以是为期望的目的而特别构造的，或其可包括被存储在计算机中的计算机程序选择性地启动(activate)或重新配置的通用计算机。这种计算机程序可存储在计算机可读存储介质中，例如但不限于，任何类型的盘，包括软盘、光盘、CD-ROM、磁光盘，只读存储器(ROM)，随机存取存储器(RAM)，电可编程只读存储器(EPROM)，电可擦除和可编程只读存储器(EEPROM)，磁或光卡、或适合于存储电子指令并能够耦合到计算机系统总线的任何其他类型的介质。
这里提出的处理和显示不是固有地涉及任何特定的计算机或其他装置。依照这里的教导，各种通用系统可与程序共同使用，或可证实构造更专用的装置来执行期望的方法是方便的。用于多种这些系统的期望的结构将根据下面的描述而呈现。此外，本发明的实施方式不参考任何特定的程序设计语言来描述。应理解多种程序设计语言可用来实现如这里描述的本发明的教导。
本发明是一种用于成像的方法、设备和系统。根据本发明的一些实施方式，可见光图像传感器阵列(比如电荷耦合器件(“CCD”)或互补金属氧化物半导体(“CMOS”))和测距传感器阵列可实质上被布置为朝向相同的方向并具有实质上重叠的视场。根据本发明的其他实施方式，从测距传感器阵列中的一个或更多个测距传感器单元得到的测距值可与可见传感器阵列中的一个或更多个成像单元相关联。图像处理逻辑可基于得到的测距值将该得到的测距值与一个或更多个成像单元相关联。
根据本发明的一些实施方式，为了基于所得到的测距值将得到的一个或更多个成像单元的测距值关联，可见光图像传感器阵列可从动地与测距传感器对齐。根据本发明的另外的实施方式，可见光图像传感器阵列可包括具有光轴的物镜光学器件和聚焦光学器件，以及可以是现今已知或未来将被设计出的任何类型的可见光数据采集设备(也就是，RGB/BW照相机)。
根据本发明的一些实施方式，相应像素之间的偏移是目标在一个传感阵列上的位置相对于它在另一传感阵列上的位置之间的位移，该偏移在下文中也被称为相对位移(RS)。根据本发明的其他实施方式，传感器的并行布置设定穿过两个传感阵列的“传感器轴”。根据本发明的另外的实施方式，目标距测距传感器阵列的“z”距离可设定“相对偏移轴”。根据本发明的另一实施方式，相应像素之间的相对偏移可基于如下而被计算(1)被感测的目标的相对偏移轴以及(2)与被感测的目标相关联的测距像素的坐标。
根据本发明的一些实施方式，可见光图像传感器阵列和测距传感器阵列可实质上被布置为朝向相同的方向，并具有实质上重叠的视线(“并行布置”)。根据本发明的其他实施方式，这种并行布置可引起每个传感器阵列上相应的像素之间的偏移(也就是场景中的相同目标的像素在每个传感器阵列中位于不同的相对坐标上)。
根据本发明的一些实施方式，相应像素之间的偏移可基于如下而被计算：
g.传感器阵列的光学中心之间的距离；
h.测距传感器和图像传感器的聚焦长度；
i.测距像素的坐标；
j.图像像素的坐标；
k.测距传感器阵列参数(也就是窗口参数)；以及
l.得到的被感测的目标的测距值(例如，灰度参数)。
这里相应像素之间的偏移的示例性详细计算在下面给出。
根据本发明的一些实施方式，图像处理逻辑可包括用于被感测的像素的相对位移的查找表。查找表的输入参数可以是测距传感器阵列的参数(也就是，距离、像素坐标)。根据本发明的另外的实施方式，这样的查找表可预先产生，以便提供相对偏移的实时推算，因此使图像处理逻辑能够实质上实时地(“零时”)将测距传感器阵列的像素与可见光传感器阵列的像素(“相应的像素”)相关联。
根据本发明的一些实施方式，测距传感器阵列和可见光传感器阵列都检测从场景反射的光，不管光是发源于照明子系统还是来自于其他源，只要波长处于各自模块的工作范围内即可。不是发源于该系统的已调制的光源而进入测距传感器的光可被称为背景噪声，这种背景噪声可使测距传感器阵列产生的测距数据的准确性失真。根据本发明的一些其他的实施方式，基于一部分的系统参数，背景噪声可从产生的图像中过滤掉。
根据本发明的一些实施方式，测距传感器阵列可生成场景的强度图像和距离图像，两个图像互相配准(register)。根据本发明的另外的实施方式，测距传感器阵列可包括用于照明感兴趣的场景的辐射源和检测器阵列，CCD或CMOS成像阵列，用于检测从场景中的目标反射的辐射的强度，如在与本申请相同的申请人提交的题为“Optical Ranging Camera”的美国专利第6,057,909号中描述的，该专利被转让给本申请的受让人，且这个公开在这里通过引用而被并入。辐射源被例如机械快门或液晶快门或GaAs快门调制，这在与本申请相同的申请人提交的题为“Large ApertureOptical Image Shutter”的美国专利第6,331,911号中进行描述，该专利被转让给本申请的受让人，并且这个公开在这里通过引用而被并入，其交替地阻挡和不阻挡辐射源达预定的已知时间段。被反射的辐射被类似地调制，以便到达检测器阵列的辐射优选地被阻挡和不阻挡达预定的已知时间段，这可以相同于，或更优选地不同于辐射源被阻挡和不阻挡的时间段。为了确定场景中的目标距照相机的距离，接着处理到达检测器阵列以及由此被检测到的辐射的强度。辐射源优选包括激光，但是可选地可包括合适的其他类型的光源。
根据本发明的一些实施方式，辐射源可被第一波形调制，被反射的辐射被第二波形调制。调整第一波形和第二波形的形状以及波形之间的时间延迟，以给出在检测器阵列的每个像素检测的强度对从成像系统到该像素所成像的目标的距离的函数相关性。调整第一波形和第二波形以及它们之间的延迟，以便界定一距离“窗口”，也就是目标距成像系统的距离的一范围，在该范围内可确定目标的距离。当辐射源和被反射的辐射分别被第一波形和第二波形调制时，成像系统只分析窗口内的目标的图像。通过适当地调整窗口，被检测到的辐射确定从照相机到窗口中目标的距离的处理就被简化和/或其准确性被提高。根据本发明的另外的实施方式，还调整窗口，以为距相应于感兴趣的场景的一部分的照相机一距离范围的目标最大化成像系统的动态范围。
根据本发明的一些实施方式，第一波形和第二波形可以是使得在检测器阵列的单个场(field)或帧期间，源和/或被反射的辐射被多次阻挡和不阻挡。优选地，第一波形和第二波形包括多个脉冲，其中第二波形的每个脉冲按照预先确定的一般恒定的延迟跟随第一波形的相应脉冲。考虑到标准NTSC视频场的持续时间大约是16.7毫秒(msec)，而第一波形和第二波形的脉冲的持续时间一般小于1微秒，将理解，在单个场或帧的时间中可包括成百上千个这种脉冲。这种多脉冲调制功能对增加成像系统生成的图像的信噪比(“SNR”)是有用的。
根据本发明的一些实施方式，适应性地调整窗口，以便获取感兴趣的一个或更多目标的图像。优选地，第一窗口包括距成像系统的大的距离范围，其通过使用相对长的持续时间的波形来调制源和被反射的辐射而被最初界定。在这个窗口中获取感兴趣的目标的图像，并确定到至少一个目标的距离。然后界定第二窗口，包括至少一个目标以及优选地包含比第一窗口更窄的距离范围。这样，获取包括减少的不感兴趣的混乱的目标的第二图像，并允许更准确地确定到该至少一个感兴趣的目标的距离。
根据本发明的一些实施方式，检测器阵列可以是二维矩阵阵列，例如CMOS成像阵列，以及一个或更多个光调制器调制到达该阵列的被反射的光，以便不同的调制波形分别关联于阵列的相邻列中不同列或组。用这种方式，不同的距离窗口，也就是不同的选择的距离范围，关联于相邻列中的不同列或组。相邻列中的每个这样的列或组将生成场景的线性图像，该线性图像包含关于被线分割的目标的深度信息。用于生成完整场景的图像的方法在美国专利第6,057,909号中描述，其在这里通过引用而被并入。
现在转向图1A，显示根据本发明的一些实施方式的多维成像系统(1000)的示例性使用。根据本发明的一些实施方式，成像系统1000可适合从场景(1100)获取图像数据和测距数据，并通过使图像数据和测距数据的单元相互关联而生成场景的图像和深度数据(也就是，三维图像)。
现在转向图1B，显示根据本发明的一些实施方式的多维成像系统1000的原理框图。根据本发明的一些实施方式，成像系统1000可包括：(1)控制器1200，(2)照明模块1300，(3)测距传感器模块1400，(4)可见光图像传感器模块1500，以及(6)图像处理逻辑模块1600。根据本发明的一些实施方式，测距传感器模块可包括测距传感器阵列，可见光图像传感器模块可包括可见光图像传感器阵列。根据本发明的一些实施方式，测距传感器模块1400和可见光传感器模块1500可都检测从场景反射的光，而不管光是发源于照明模块1300还是来自于其他源。根据本发明的一些实施方式，可见光图像传感器模块(1500)和测距传感器模块(1400)可被布置为实质上朝向相同的方向并具有实质上重叠的视场。根据本发明的其他的实施方式，从测距传感器阵列中的一个或更多个测距传感器单元得到的测距值可与可见传感器阵列中的一个或更多个成像单元相互关联，如这里下面描述的。
根据本发明的其他实施方式，图像处理逻辑模块1600可基于得到的测距值而使得到的测距值与一个或更多个单元相互关联。
现在转向图2A，显示根据本发明的一些实施方式的成像系统的测距部分的原理框图。根据本发明的一些实施方式，测距传感器模块1400可包括：(1)控制器2000，(2)第一调制器2100，(3)测距传感器阵列2200，(4)辐射源2300，以及(5)第二调制器2400。根据本发明的一些实施方式，控制器2000可生成场景的强度图像和距离图像，两个图像互相配准。根据本发明的另外的实施方式，测距传感器模块1400可包括用于照明感兴趣的场景的辐射源2300和测距传感器阵列2200，其用于检测从场景中的目标反射的辐射的强度，如在与本申请相同的申请人提交的题为“Optical Ranging Camera”的美国专利第6,057,909号中描述的，该专利被转让给本申请的受让人，这个公开在这里通过引用而被并入。辐射源可被调制器2400调制，例如被机械快门、液晶快门或GaAs快门调制，其在与本申请相同的申请人提交的题为“Large Aperture Optical ImageShutter”的美国专利第6,331,911号中描述，该专利被转让给本申请的受让人，并且这个公开在这里通过引用而被并入，其交替地阻挡和不阻挡辐射源达预定的已知时间段。类似地，被反射的辐射被调制器2100调制，以便到达传感器阵列2200的辐射优选地被阻挡和不阻挡达预定的已知时间段，其可以相同于，或更优选地不同于辐射源2300被阻挡和不阻挡的时间段。为了确定场景中的目标距照相机的距离，接着处理到达检测器阵列以及由此被检测到的辐射的强度。辐射源2300优选包括激光，但是可选地可包括其他类型的合适的光源。测距传感器模块1400的功能性操作可结合图2B而被最佳地描述，图2B显示根据本发明的一些实施方式的包括测距传感器模块1400的成像系统1000的示例性操作。
根据本发明的一些实施方式，辐射源2300可被第一波形调制，被反射的辐射被第二波形调制。调整第一波形和第二波形的形状以及波形之间的时间延迟，以给出在测距传感器阵列2200的每个像素检测到的强度对从成像系统到该像素所成像的目标的距离的函数相关性。可调整第一波形和第二波形以及它们之间的延迟，以便界定距离“窗口”(2500)，也就是目标距成像系统的一距离范围，在该范围内可确定目标的距离。当辐射源和被反射的辐射分别被第一波形和第二波形调制时，成像系统只分析该窗口内的目标的图像，在图2B显示的实施例是成像系统1000的实施例，成像系统1000检测距成像系统距离不同的四个不同物品/目标(也就是，物品1距成像系统距离为D1，等等)反射的辐射。在该实施例中，只有物品2和物品3位于距离窗口2500内，因此，成像系统1000只分析物品2和物品3而忽略物品1和物品4。根据本发明的另外的实施方式，还可调整窗口2500，以针对距相应于感兴趣的场景的一部分的照相机一距离范围的目标，最大化成像系统的动态范围。
根据本发明的一些实施方式，第一波形和第二波形(由调制器2300和2400生成)可以是使得在传感器阵列2200的单个场或帧期间，源和/或被反射的辐射被多次阻挡和不阻挡。优选地，第一波形和第二波形可包括多个脉冲，其中第二波形的每个脉冲按照预先确定的一般恒定的延迟跟随第一波形的相应脉冲。
根据本发明的一些实施方式，可适应性地调整距离窗口2500，以便获取感兴趣的一个或更多个目标的图像。优选地，第一窗口包括距成像系统的大的距离范围，其通过使用相对长的持续时间的波形调制源和被反射的辐射来最初界定。在这个窗口中获取感兴趣的目标的图像，并确定到至少一个目标的距离。然后界定第二窗口，包括至少一个目标以及优选地包含比第一窗口更窄的距离范围。这样，获取包括减少的不感兴趣的混乱的目标的第二图像，并允许更准确地确定到至少一个感兴趣的目标的距离。
现在转向图3，显示根据本发明的一些实施方式的成像系统的部分和被成像的目标之间的示例性关系/布置的框图。根据本发明的一些实施方式，为了基于得到的测距值而使测距单元与一个或更多个成像单元相互关联，可见光图像传感器阵列3100可从动地与测距传感器阵列3200对齐。根据本发明的另外的实施方式，可见光图像传感器阵列3100可包括具有光轴的物镜光学器件和聚焦光学器件，以及可以是现今已知或未来将被设计出的任何类型的可见光数据采集设备。
根据本发明的一些实施方式，相应像素之间的偏移是目标在一个传感阵列中的位置相对于它在另一传感阵列上的位置之间的位移，该偏移在下文中也被称为相对位移(RS)。根据本发明的其他实施方式，传感器的并行布置设定穿过两个传感阵列的“传感器轴”3300。根据本发明的其他的实施方式，目标距测距传感器阵列的“z”距离(在深度轴3400上测量)可设定一“相对偏移轴”3500。根据本发明的另一实施方式，相应像素之间的相对偏移可基于如下计算(1)被感测的目标的相对偏移轴以及(2)与被感测的目标相关联的测距像素的坐标。这里详细的计算在下面描述。
现在转向图4A，显示示出根据本发明的一些实施方式的被成像的目标的位置与目标在每个传感器阵列上的图像之间的关系的第一图示。
根据本发明的一些实施方式，可见光图像传感器阵列4100和测距传感器阵列4200可实质上被布置为朝向相同的方向，并具有实质上重叠的视场(“并行布置”)。根据本发明的其他实施方式，这种并行布置可引起每个传感器阵列上的相应像素之间的偏移(也就是场景中的相同目标的像素位于每个传感器阵列中的不同相对坐标)。根据本发明的其他实施方式，传感器的并行布置设定穿过两个传感阵列的“传感器轴”4700。根据本发明的其他的实施方式，目标距测距传感器阵列的“z”距离可设定“相对偏移轴”4800。图4A显示位于相对偏移轴4800上的目标4000。目标4000被测距传感器阵列4200通过在地址R1的一个或更多个测距单元检测，图像处理逻辑适合于根据在地址R1的测距单元得到的测距值将从位置为R1的单元的得到测距值与一个或更多个可见光传感器阵列成像单元(V1)相互关联。
根据本发明的其他实施方式，图像处理逻辑也可适合于通过将偏移值应用到测距传感器单元的地址(也就是，R1的地址)，来使从处于位置R1的测距传感器单元得到的测距值与可见光传感器阵列成像单元相互关联，由此确定一相应的可见光传感器阵列成像单元(V1)的地址(V1’)。
根据本发明的一些实施方式，图像处理逻辑可基于来自一组测距传感器单元(R1)的聚合的一组测距值来记录/检测目标4000。根据本发明的另外的实施方式，图像处理逻辑通过基于测距单元得到的测距值为该组测距传感器单元估计一偏移值，可使该组测距传感器单元(R1)与一组可见光传感器阵列成像单元(V1)相互关联。根据本发明的一些另外的实施方式，图像处理逻辑将偏移值应用到该组测距传感器单元(R1)的地址，以确定相应的一组可见光传感器阵列成像单元(V1)的地址(V1’)，相应单元之间的偏移被称为相应传感器单元偏移(“CSEO”)。
图4B显示位于又一目标(4100)，其位于与目标4000相同的相对偏移轴4800上，但是在偏移轴上位于不同的位置。根据本发明的一些实施方式，测距单元R2的CSEO可与测距单元R1的CSEO相同。
结合图5A和图5B可最佳地描述计算目标的相对偏移的更详细的实施例，显示根据本发明的一些实施方式的用于计算目标的相对偏移(也就是，相应目标之间的偏移)的几何公式的图解法。相应像素之间的偏移可基于如下计算：
a.传感器阵列的光学中心之间的距离(d)；
b.测距传感器和图像传感器的聚焦长度(f)；
c.测距像素的坐标(Xr、Yr、Zr)；
d.图像像素的坐标(XI、YI、ZI)；
e.被感测的目标距测距阵列的距离(Z)；
f.得到的被感测的目标的测距值(例如，灰度参数)。
根据本发明的一些实施方式，偏移计算可执行如下：
f x r = z x
x = z x r f
f x l = z ( d - x ) = z ( d - z x r f )
⇒ x l = df - x r z z
因此，使用以下等式能够计算每个三维单元(也就是像素)的相应像素之间的偏离(偏移被标记为E)：
1 . E = - x r - x l = - x r - df - x r z z - = - df z
根据本发明的一些实施方式，测距传感器模块使用的分辨率与可见光传感器模块使用的分辨率可以是不同的，此外，每个模块的像素大小也可以是不同的。因此，计算偏移可包括一些附加的步骤，以下符号在图5B和这里下面的等式中使用：
A.S-测距传感器模块的像素大小
B.Pd-窗口开始(原始距离)
C.Pw-窗口宽度(原始宽度)
D.Zo-照相机到目标之间的距离
E.Zs-焦点与传感器上的像素位置之间的距离
F.(xp，yp)-图像上像素中的点
G.(xc，yc)-像素中的图像中心
我们知道：
2.Zo＝Pd+Pw(1-g/255)
3 . Z s = ( S ( y p - y c ) ) 2 + f 2
4 . Z s Z o = f Z
5 . Z = f Z o Z s
通过组合等式5和等式1，我们得到：
E ′ = E S = df Sz = df S ( f Z o Z s ) = dZ s SZ o = d S Z s Z o
根据本发明的一些实施方式，图像处理逻辑模块1600可包括用于被感测的像素的相对位移的查找表。查找表的输入参数可以是测距传感器阵列的参数(也就是，距离、像素坐标)。根据本发明的另外的实施方式，这样的查找表可被预先生成，以便提供相对偏移的实时计算，因此使图像处理逻辑能够实质上实时地(“零时”)使测距传感器阵列的像素与可见光传感器阵列的像素(“相应像素”)相互关联。
现在转向图7，显示包括示例性方法的步骤的流程图，根据本发明的一些实施方式，通过该方法成像可使来自测距传感器阵列的单元与可见光传感器阵列中的单元相互关联。
结合图1B中显示的系统并根据本发明的一些实施方式，可最佳地描述图7中显示的方法。控制器1200可适合于基于测距传感器阵列(一部分测距传感器模块1400)单元的输出来记录/检测目标(比如记录输出测距值相似的单元的群集)，如步骤7000中所示。
根据本发明的其他实施方式，控制器1200可适合于确定测距传感器单元距相应的可见光传感器阵列单元的偏移(“CSEO”)，如步骤7100中所示。
根据本发明的另外的实施方式，控制器1200可进一步适合于将测距传感器单元的群集关联/映射到相应的可见光传感器阵列单元的群集(例如，基于CSEO)，如步骤7200中所示。根据本发明的另外的实施方式，控制器1200可适合于使测距传感器单元的群集与相应的可见光传感器阵列单元的群集相互关联，如步骤7300中所示。
现在转向图8，显示包括根据本发明的一些实施方式的成像设备8100的计算系统8000(也就是游戏控制台)的示例性操作。根据本发明的一些实施方式，该计算系统可包括：(1)功能上如上文描述进行操作的成像设备8100和(2)人机接口(“HMI”)8200，HMI可在功能上耦合到成像设备和计算系统。根据本发明的另外的实施方式，HMI可适合于将三维图像和/或三维动作转换为电控信号。
虽然这里已经示出和描述了本发明的某些特征，但是本领域技术人员可想到许多更改、替换、改变和等价形式。因此，应理解随附的权利要求旨在覆盖落在本发明的真实精神内的所有这种更改和改变。

Claims (25)

1.一种成像设备，包括：
可见光图像传感器阵列和测距传感器阵列，所述可见光图像传感器阵列和所述测距传感器阵列实质上朝向相同的方向并具有至少部分地重叠的视场；以及
图像处理逻辑，其适合于基于从所述测距传感器阵列中的一个或更多个测距传感器单元得到的测距值将所述得到的测距值与一个或更多个可见光传感器阵列成像单元相互关联。
2.根据权利要求1所述的设备，其中所述图像处理逻辑适合于通过估计一偏移值，来将从一测距传感器单元得到的测距值与一可见光传感器阵列成像单元相互关联。
3.根据权利要求2所述的设备，其中所述图像处理逻辑进一步适合于通过将所述偏移值应用到一测距传感器单元的地址从而确定一相应的可见光传感器阵列成像单元的地址，来将从该测距传感器单元得到的测距值与一可见光传感器阵列成像单元相互关联。
4.根据权利要求2所述的设备，其中所述图像处理逻辑适合于基于来自测距单元彼此接近的一组测距传感器单元的聚合的一组测距值，来记录/检测目标。
5.根据权利要求4所述的设备，其中所述图像处理逻辑适合于通过针对所述一组测距传感器单元估计一偏移值，来将所述一组测距传感器单元与一组可见光传感器阵列成像单元相互关联。
6.根据权利要求5所述的设备，其中所述处理逻辑适合于将所述偏移值应用到所述一组测距传感器单元的地址，以确定相应的一组可见光传感器阵列成像单元的地址。
7.根据权利要求4所述的设备，其中所述成像处理逻辑进一步适合于滤除背景噪声。
8.一种成像方法，包括以下步骤：
实质上同时地使用可见光图像传感器阵列获取可见光图像和使用测距传感器阵列获取测距图像，所述可见光图像传感器阵列和所述测距传感器阵列实质上朝向相同的方向并具有至少地部分重叠的视场；以及
基于从所述测距传感器阵列中的一个或更多个测距传感器单元得到的测距值将从所述一个或更多个测距传感器单元得到的测距值与一个或更多个可见光传感器阵列成像单元相互关联。
9.根据权利要求8所述的方法，其中将从一测距传感器单元得到的测距值与一可见光传感器阵列成像单元相互关联的所述步骤包括估计一偏移值。
10.根据权利要求9所述的方法，其中将从一测距传感器单元得到的测距值与一可见光传感器阵列成像单元相互关联的所述步骤包括：将所述偏移值应用到该测距传感器单元的地址，由此确定一相应的可见光传感器阵列成像单元的地址。
11.根据权利要求9所述的方法，进一步包括：基于来自测距单元彼此接近的一组测距传感器单元的聚合的一组测距值，来记录/检测目标。
12.根据权利要求11所述的方法，进一步包括：通过针对所述一组测距传感器单元估计一偏移值，来将所述一组测距传感器单元与一组可见光传感器阵列成像单元相互关联。
13.根据权利要求12所述的方法，进一步包括：将所述偏移值应用到所述一组测距传感器单元的地址，以确定相应的一组可见光传感器阵列成像单元的地址。
14.根据权利要求11所述的方法，进一步包括滤除背景噪声。
15.一种计算系统，包括：
基于图像的接口，其中所述基于图像的接口包括可见光图像传感器阵列和测距传感器阵列，所述可见光图像传感器阵列和所述测距传感器阵列实质上朝向相同的方向并具有至少部分地重叠的视场；以及
图像处理逻辑，其适合于基于从所述测距传感器阵列中的一个或更多个测距传感器单元得到的测距值将所述得到的测距值与一个或更多个可见光传感器阵列成像单元相互关联。
16.根据权利要求15所述的系统，其中所述图像处理逻辑适合于通过估计一偏移值，来将从一测距传感器单元得到的测距值与一可见光传感器阵列成像单元相互关联。
17.根据权利要求16所述的系统，其中所述图像处理逻辑进一步适合于通过将所述偏移值应用到一测距传感器单元的地址从而确定一相应的可见光传感器阵列成像单元的地址，来将从该测距传感器单元得到的测距值与一可见光传感器阵列成像单元相互关联。
18.根据权利要求16所述的系统，其中所述图像处理逻辑适合于基于来自测距单元彼此接近的一组测距传感器单元的聚合的一组测距值，来记录/检测目标。
19.根据权利要求18所述的系统，其中所述图像处理逻辑适合于通过针对所述一组测距传感器单元估计一偏移值，来将所述一组测距传感器单元与一组可见光传感器阵列成像单元相互关联。
20.根据权利要求19所述的系统，其中所述处理逻辑适合于将所述偏移值应用到所述一组测距传感器单元的地址，以确定相应的一组可见光传感器阵列成像单元的地址。
21.根据权利要求18所述的系统，其中所述图像处理逻辑进一步适合于滤除背景噪声。
22.根据权利要求15所述的计算系统，其中所述计算系统选自由游戏控制台、网络会议系统和安全系统组成的组。
23.一种构成成像系统的方法，包括：
对齐一可见光图像传感器阵列与一测距传感器阵列，所述可见光图像传感器阵列与所述测距传感器阵列实质上朝向相同的方向并具有至少部分地重叠的视场；以及
集成一图像处理逻辑，所述图像处理逻辑适合于基于从所述测距传感器阵列中的一个或更多个测距传感器单元得到的测距值将所述得到的测距值与一个或更多个可见光传感器阵列成像单元相互关联。
24.根据权利要求23所述的方法，进一步包括集成一照明模块。
25.根据权利要求23所述的方法，进一步包括集成适合于界定动态距离窗口的第一调制器和第二调制器。
CN200780052135A 2007-01-14 2007-12-04 一种用于成像的方法、设备和系统 Pending CN101652627A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US88488207P 2007-01-14 2007-01-14
US60/884,882 2007-01-14

Publications (1)

Publication Number Publication Date
CN101652627A true CN101652627A (zh) 2010-02-17

Family

ID=39609127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200780052135A Pending CN101652627A (zh) 2007-01-14 2007-12-04 一种用于成像的方法、设备和系统

Country Status (5)

Country Link
US (1) US8208129B2 (zh)
EP (1) EP2106527A2 (zh)
JP (1) JP2010516153A (zh)
CN (1) CN101652627A (zh)
WO (1) WO2008084468A2 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102445688A (zh) * 2010-08-20 2012-05-09 电装国际美国公司 组合的飞行时间和图像传感器系统
CN102938826A (zh) * 2011-11-14 2013-02-20 微软公司 使用多个相机照相
CN103223892A (zh) * 2013-04-27 2013-07-31 浙江大丰实业有限公司 车载智能舞台装置
CN103411581A (zh) * 2013-08-24 2013-11-27 郑樯 光敏恒流电容积分传感器
CN104253947A (zh) * 2013-06-30 2014-12-31 莱威视觉有限公司 智能相机闪光灯
CN106471336A (zh) * 2014-07-15 2017-03-01 特林布尔有限公司 用于目标检测和/或识别的方法和测量仪器
CN109061658A (zh) * 2018-06-06 2018-12-21 天津大学 激光雷达数据融方法
CN109655825A (zh) * 2018-03-29 2019-04-19 上海智瞳通科技有限公司 多传感器融合的数据处理方法、装置与多传感器融合方法
CN110780284A (zh) * 2019-11-22 2020-02-11 上海禾赛光电科技有限公司 接收系统、包括其的激光雷达、以及回波接收处理的方法

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8334893B2 (en) 2008-11-07 2012-12-18 Honeywell International Inc. Method and apparatus for combining range information with an optical image
CN101598846B (zh) * 2009-06-30 2013-05-01 河南中光学集团有限公司 一种变焦镜头目标测距的计算机终端系统
JP5440927B2 (ja) * 2009-10-19 2014-03-12 株式会社リコー 測距カメラ装置
CN101858743B (zh) * 2010-06-04 2012-02-29 西安天和防务技术股份有限公司 基于大视场摄像及图像处理的测距装置及其方法
EP2395369A1 (en) * 2010-06-09 2011-12-14 Thomson Licensing Time-of-flight imager.
TWI420081B (zh) * 2010-07-27 2013-12-21 Pixart Imaging Inc 測距系統及測距方法
US8427324B2 (en) 2010-07-30 2013-04-23 General Electric Company Method and system for detecting a fallen person using a range imaging device
KR101722641B1 (ko) * 2010-12-23 2017-04-04 삼성전자주식회사 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
CA2868276A1 (en) * 2011-03-23 2013-09-27 Mgestyk Technologies Inc. Apparatus and system for interfacing with computers and other electronic devices through gestures by using depth sensing and methods of use
WO2013012335A1 (en) * 2011-07-21 2013-01-24 Ziv Attar Imaging device for motion detection of objects in a scene, and method for motion detection of objects in a scene
US9069075B2 (en) * 2012-02-10 2015-06-30 GM Global Technology Operations LLC Coupled range and intensity imaging for motion estimation
US9664790B2 (en) 2012-05-21 2017-05-30 pmdtechnologies ag Time of flight camera system
FR2998666B1 (fr) 2012-11-27 2022-01-07 E2V Semiconductors Procede de production d'images avec information de profondeur et capteur d'image
DE102013103333A1 (de) * 2013-04-03 2014-10-09 Karl Storz Gmbh & Co. Kg Kamera zur Erfassung von optischen Eigenschaften und von Raumstruktureigenschaften
US10082563B2 (en) * 2014-12-17 2018-09-25 Northrop Grumman Systems Corporation Synthesized profile
US9958383B2 (en) * 2014-12-18 2018-05-01 Microsoft Technology Licensing, Llc. Range camera
US10785422B2 (en) 2018-05-29 2020-09-22 Microsoft Technology Licensing, Llc Face recognition using depth and multi-spectral camera
US11245875B2 (en) 2019-01-15 2022-02-08 Microsoft Technology Licensing, Llc Monitoring activity with depth and multi-spectral camera

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4490617A (en) * 1979-11-26 1984-12-25 European Electronic Systems Limited Optical width measuring system using two cameras
US5200793A (en) * 1990-10-24 1993-04-06 Kaman Aerospace Corporation Range finding array camera
JPH06153238A (ja) * 1992-11-11 1994-05-31 Matsushita Electric Ind Co Ltd 立体映像装置および立体映像の作成方法
US6057909A (en) * 1995-06-22 2000-05-02 3Dv Systems Ltd. Optical ranging camera
IL114278A (en) * 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
JP3231618B2 (ja) * 1996-04-23 2001-11-26 日本電気株式会社 ３次元画像符号化復号方式
US5852492A (en) * 1996-06-07 1998-12-22 Lockheed Martin Vought Systems Corp. Fused lasar range/intensity image display for a human interpretation of lasar data
US6009359A (en) * 1996-09-18 1999-12-28 National Research Council Of Canada Mobile system for indoor 3-D mapping and creating virtual environments
WO1999040478A1 (en) * 1998-02-08 1999-08-12 3Dv Systems Ltd. Large aperture optical image shutter
US6567116B1 (en) * 1998-11-20 2003-05-20 James A. Aman Multiple object tracking system
US6042050A (en) * 1999-02-16 2000-03-28 The United States Of America As Represented By The Secretary Of The Army Synthetic discriminant function automatic target recognition system augmented by LADAR
JP3263931B2 (ja) * 1999-09-22 2002-03-11 富士重工業株式会社 ステレオマッチング装置
JP2001133231A (ja) * 1999-11-02 2001-05-18 Olympus Optical Co Ltd ３次元画像取得生成装置
JP2001280933A (ja) * 2000-03-31 2001-10-10 Minolta Co Ltd 撮影システム並びにそれに用いられる２次元撮像装置および３次元計測装置
JP2001268595A (ja) * 2000-03-16 2001-09-28 Telecommunication Advancement Organization Of Japan 映像表示方法及び映像表示装置
US7194112B2 (en) * 2001-03-12 2007-03-20 Eastman Kodak Company Three dimensional spatial panorama formation with a range imaging system
JP2007004318A (ja) * 2005-06-22 2007-01-11 Sega Corp 画像処理方法、画像処理を実行するためのプログラム、及び、当該プログラムが記憶された記憶媒体
JP4650935B2 (ja) * 2005-06-23 2011-03-16 アルパイン株式会社 車両運転支援装置
US20070121094A1 (en) * 2005-11-30 2007-05-31 Eastman Kodak Company Detecting objects of interest in digital images
WO2008060662A2 (en) * 2006-04-12 2008-05-22 Lockheed Martin Corporation Dual fov imaging semi-active laser system
US7701558B2 (en) * 2006-09-22 2010-04-20 Leica Geosystems Ag LIDAR system
US8334893B2 (en) * 2008-11-07 2012-12-18 Honeywell International Inc. Method and apparatus for combining range information with an optical image

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102445688A (zh) * 2010-08-20 2012-05-09 电装国际美国公司 组合的飞行时间和图像传感器系统
US8648702B2 (en) 2010-08-20 2014-02-11 Denso International America, Inc. Combined time-of-flight and image sensor systems
CN102938826A (zh) * 2011-11-14 2013-02-20 微软公司 使用多个相机照相
CN103223892A (zh) * 2013-04-27 2013-07-31 浙江大丰实业有限公司 车载智能舞台装置
CN104253947B (zh) * 2013-06-30 2018-04-13 莱威视觉有限公司 智能相机闪光灯
CN104253947A (zh) * 2013-06-30 2014-12-31 莱威视觉有限公司 智能相机闪光灯
CN103411581B (zh) * 2013-08-24 2015-10-14 郑樯 光敏恒流电容积分传感器
CN103411581A (zh) * 2013-08-24 2013-11-27 郑樯 光敏恒流电容积分传感器
CN106471336A (zh) * 2014-07-15 2017-03-01 特林布尔有限公司 用于目标检测和/或识别的方法和测量仪器
CN106471336B (zh) * 2014-07-15 2019-10-29 特林布尔有限公司 用于目标检测和/或识别的方法和测量仪器
CN109655825A (zh) * 2018-03-29 2019-04-19 上海智瞳通科技有限公司 多传感器融合的数据处理方法、装置与多传感器融合方法
CN109061658A (zh) * 2018-06-06 2018-12-21 天津大学 激光雷达数据融方法
CN109061658B (zh) * 2018-06-06 2022-06-21 天津大学 激光雷达数据融合方法
CN110780284A (zh) * 2019-11-22 2020-02-11 上海禾赛光电科技有限公司 接收系统、包括其的激光雷达、以及回波接收处理的方法
CN110780284B (zh) * 2019-11-22 2020-12-29 上海禾赛光电科技有限公司 接收系统、包括其的激光雷达、以及回波接收处理的方法

Also Published As

Publication number Publication date
WO2008084468A2 (en) 2008-07-17
US8208129B2 (en) 2012-06-26
US20100053592A1 (en) 2010-03-04
JP2010516153A (ja) 2010-05-13
WO2008084468A3 (en) 2009-09-03
EP2106527A2 (en) 2009-10-07

Similar Documents

Publication Publication Date Title
CN101652627A (zh) 一种用于成像的方法、设备和系统
US11940535B2 (en) Multi-pulse LIDAR system for multi-dimensional detection of objects
CN1302290C (zh) 激光测位装置及方法
US7616817B2 (en) Three dimensional shape correlator
US4893922A (en) Measurement system and measurement method
US7576839B2 (en) Range and velocity sensing system
CN101839981A (zh) 激光成像回波波形和层次特征获取方法及装置
CN109115121A (zh) 一种大视场激光三维成像仪及成像方法
WO2014101408A1 (zh) 基于多次积分的三维成像雷达系统及方法
CN111352120B (zh) 飞行时间测距系统及其测距方法
US20220196810A1 (en) Time of flight ranging system and ranging method thereof
CN1580815A (zh) 激光测距仪脉冲回波处理方法及装置
CN104049257B (zh) 一种多相机空间目标激光立体成像装置及方法
CN110471083A (zh) 一种纵向距离的激光三维成像装置及方法
CN111896971A (zh) Tof传感装置及其距离检测方法
CN111366943A (zh) 飞行时间测距系统及其测距方法
CN115407349A (zh) 一种影像捕捉辅助的多线激光测距模块
CN103697825A (zh) 一种超分辨3d激光测量系统及方法
CN206348459U (zh) 基于多传感器融合的三维视觉传感装置
Kawazoe et al. Development of receiver optics for simplified 3D laser scanner composition
KR100244808B1 (ko) 물체 관측 장치
CN110933394A (zh) 阵列式三维光学影像设备
CN203687882U (zh) 一种超分辨3d激光测量系统
CN116400379B (zh) 单光子激光雷达三维成像系统和三维成像方法
CN114383817B (zh) 一种高精度同步扫描光学系统装调精度评估方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20100217

C20 Patent right or utility model deemed to be abandoned or is abandoned