CN103245951A - 用于运动估计的耦合距离和强度成像 - Google Patents

用于运动估计的耦合距离和强度成像 Download PDF

Info

Publication number
CN103245951A
CN103245951A CN2013100501180A CN201310050118A CN103245951A CN 103245951 A CN103245951 A CN 103245951A CN 2013100501180 A CN2013100501180 A CN 2013100501180A CN 201310050118 A CN201310050118 A CN 201310050118A CN 103245951 A CN103245951 A CN 103245951A
Authority
CN
China
Prior art keywords
intensity
image
distance
imager
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013100501180A
Other languages
English (en)
Other versions
CN103245951B (zh
Inventor
S.曾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN103245951A publication Critical patent/CN103245951A/zh
Application granted granted Critical
Publication of CN103245951B publication Critical patent/CN103245951B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Abstract

一种方法和系统可操作耦合距离成像器和强度成像器以获得至少两个自动配准图像序列，每个自动配准图像包括同时获取的与成像场景有关的距离数据和强度数据。配准距离和强度数据被分析以获得成像场景的成像目标的元件的估计运动。

Description

用于运动估计的耦合距离和强度成像
技术领域
本发明涉及确定目标的位置和相对速度。
背景技术
车辆可配备有半自主或自主地控制车辆从而保持在道路中的相对位置和避免与目标或结构碰撞的系统或装置。这种系统可涉及使用各种传感器，用于检测结构或目标（例如，道路边缘和其它目标）的位置。例如，各个传感器可操作检测距目标的距离和从目标反射的辐射强度分布。
发明内容
耦合距离成像器和强度成像器可操作获得至少两个自动配准图像序列，每个自动配准图像包括同时获取的与成像场景有关的距离数据和强度数据。配准距离和强度数据可以被分析以获得或产生成像场景的成像目标的元件的估计运动。
方案1. 一种方法，包括：
操作耦合距离成像器和强度成像器，以获得至少两个自动配准图像序列，每个自动配准图像包括同时获取的与成像场景有关的距离数据和强度数据；以及
分析配准距离和强度数据，以获得成像场景的成像目标的元件的估计运动。
方案2. 根据方案1所述的方法，包括缩放所获得距离数据的像素以与所获得强度数据的像素匹配。
方案3. 根据方案1所述的方法，其中，获得每个自动配准图像包括将距离数据的像素与强度数据的相应像素组合以形成自动配准图像的像素。
方案4. 根据方案1所述的方法，其中，分析配准距离和强度数据包括找到约束估计运动的距离流平面。
方案5. 根据方案1所述的方法，其中，分析配准距离和强度数据包括应用光流技术。
方案6. 根据方案1所述的方法，其中，分析配准距离和强度数据包括应用迭代技术。
方案7. 根据方案1所述的方法，其中，操作耦合距离成像器和强度成像器包括产生共同触发信号以使得距离成像器和强度成像器获取数据。
方案8. 根据方案1所述的方法，其中，操作距离成像器包括操作发光装置发射光脉冲以由距离成像器检测。
方案9. 根据方案8所述的方法，其中，获得距离数据包括测量脉冲发射和脉冲检测之间的时间延迟。
方案10. 根据方案1所述的方法，包括计算与成像目标碰撞的时间。
方案11. 一种系统，包括
会聚光学器件，用于收集来自于场景的光且聚焦所收集的光；
强度成像器检测器；
距离成像器检测器；
分束器，用于划分由会聚光学器件收集的光，从而所收集的光的一部分聚焦在强度成像器检测器上，且所收集的光的另一部分聚焦在距离成像器检测器上；以及
控制器，用于控制强度成像器检测器获得场景的强度图像且同时控制距离成像器检测器获得距离图像，将所获得的强度和距离图像组合成自动配准图像，且分析相继获得的自动配准图像序列以计算场景中的成像目标的元件的估计运动。
方案12. 根据方案11所述的系统，其中，所述强度成像器检测器包括CCD或CMOS检测元件阵列。
方案13. 根据方案11所述的系统，包括发射器，用于朝向场景发射光脉冲。
方案14. 根据方案13所述的系统，其中，所述控制器配置成测量由发射器发射脉冲至在由目标元件反射时由距离成像器检测器的检测元件检测脉冲之间的飞行时间，且基于测量的飞行时间来计算距元件的距离。
方案15. 根据方案11所述的系统，其中，通过单个触发，所述强度成像器检测器可控制获得强度图像且所述距离成像器检测器可控制获得距离图像。
方案16. 根据方案11所述的系统，其中，所述控制器配置成通过计算相继获得的自动配准图像之间的光流来计算估计运动。
方案17. 根据方案16所述的系统，其中，光流的计算包括距离流平面的计算。
方案18. 根据方案11所述的系统，包含到车辆中。
方案19. 根据方案18所述的系统，其中，所述控制器配置成估计与成像目标碰撞的时间。
方案20. 根据方案18所述的系统，其中，所述车辆包括自主驾驶系统，用于根据所计算的元件运动来控制车辆的运动。
附图说明
在说明书的结束部分特别指出并且明确地要求保护被作为本发明的主题内容。然而，本发明在体系和操作方法、及其目的、特征和优势方面，通过参考下述详细说明并且结合附图阅读能够被最佳地理解，在附图中：
图1是根据本发明实施例的带有耦合距离成像器和强度成像器的系统的示意图；
图2示意性地示出了根据本发明实施例的包含带有耦合距离成像器和强度成像器的系统的车辆；
图3是根据本发明实施例的耦合距离成像器和强度成像器装置的操作方法的流程图；
图4图示了根据本发明实施例的距离和强度图像的像素的协调获取；和
图5是根据本发明实施例的运动估计方法的流程图。
将理解的是，为了图示简单和清楚，附图所示的元件不必按比例绘制。例如，为了清楚，一些元件的尺寸可以相对于其它元件放大。此外，在认为合适时，附图标记可以在附图中重复以表示对应或类似的元件。
具体实施方式
在以下详细说明中，阐述各个具体细节，以便提供对本发明的透彻理解。然而，本领域技术人员将理解的是，本发明实施例能够在不具有这些具体细节的情况下被实践。在其他情况下，公知的方法、过程和部件没有详细描述，从而使得本发明易懂。
除非另有具体声明，否则如从下述讨论中显而易见地应当理解，贯穿该说明书，利用了诸如“处理”、“计算”、“存储”、“确定”、“评估”、“计算”、“测量”、“提供”、“转换”等等的术语的讨论是指计算机或计算系统或类似的电子计算装置的动作和/或过程，其将表示为计算系统的寄存器和/或存储器内的物理（例如电子）量的数据操纵和/或转换成类似地表示为计算系统的存储器、寄存器或其他这种信息存储、传输或显示装置内的物理量的其他数据。
根据本发明的实施例，一种系统可包括被光学耦合且以耦合方式操作的距离成像器和强度成像器。例如，耦合距离成像器和强度成像器可以包含到车辆自主驾驶控制系统中或者与车辆自主驾驶控制系统相关联。（在一些实施例中，不需要使用自主驾驶控制系统）。这种耦合可称为紧密耦合，因为这是距离和强度成像器装置的物理耦合（例如，机械（两者彼此附连），光学（由两者形成的图像具有彼此恒定的关系，和电子（单组电子器件操作两者））。例如，距离成像器和强度成像器可共用成像光学器件，其将入射辐射聚焦到距离和强度成像器两者的检测器上。例如，入射辐射可以经由分束器通过，分束器将入射辐射的一部分引导到距离成像器的检测器，且将一部分引导到强度成像器的检测器。类似地，距离和强度成像器两者中的图像获取可同步（例如，由共同触发信号启动）。由此，在经由距离成像器获取的距离图像和经由强度成像器获得的强度图像之间可存在自动已知（例如，不用获取图像的图像分析）时间和空间关系（或配准）。该自动已知时间和空间关系可以称为自动配准。
因而，来自于两个成像器的图像数据可以组合成单个自动配准图像。距离和强度数据可以实际上组合，例如通过并入单个数据结构，或者可作为单组数据处理，通过使用距离和强度图像的像素之间的已知相关性。因而，距离成像器和强度成像器的同步操作可允许获得自动配准图像。重复同步操作两次或更多次可允许获得至少两个自动配准图像序列。
自动配准图像的分析可以获得或产生成像目标的三维位置信息。连续获取的图像的分析可以获得与成像目标相对于与距离和强度成像器有关（例如，安装在其上，由其承载，或附连到其上）的平台（例如，车辆）的运动有关的信息（例如，经由光流技术的应用）。
自动配准可以通过由距离和强度成像器的物理耦合引起的已知时间和空间关系允许。另一方面，在没有这种物理耦合（例如，如一些现有技术系统中那样）时，成像器可弱耦合。例如，对于现有技术弱耦合系统，距离成像器和强度成像器将针对单个目标，但是每个成像器将具有独立的成像光学器件，且图像获取通过独立触发信号触发。因而，图像获取将仅仅通过共同时钟来大约地同步。在这种现有技术系统中，获取图像中的目标可通过应用图像处理技术配准。应用这种图像处理技术可将不准确性引入配准（例如，尤其是在成像场景杂乱时）。图像处理技术的这种应用将比由根据本发明实施例的距离和强度成像器的物理耦合得到的自动配准更耗时。
图1是根据本发明实施例的带有耦合距离成像器和强度成像器的系统的示意图。耦合距离成像器和强度成像器装置10可例如包含在车辆的自主驾驶系统中。耦合距离成像器和强度成像器装置10可包括控制器12。控制器12可包括用于控制耦合距离成像器和强度成像器装置10的一个或多个部件的一个或多个控制器装置。控制器12可以根据包含的电路确定来操作，可根据编程指令操作，或者可根据上述组合来操作。
控制器12可以包含在处理器32中或者可以与处理器32通信，或者可与处理器32独立地操作。例如，处理器32可包含在车辆的自主驾驶系统中，或者可以是独立处理器。处理器32可包括多个互相通信的处理装置。处理器32可根据编程指令操作。
处理器32可以与数据存储装置34通信或者与数据存储装置34相连。处理器32可以包括例如中央处理单元处理器（CPU）、芯片或任何合适计算或可计算装置。处理器32可包括多个处理器，且可包括通用处理器和/或专用处理器（例如，图形处理芯片）。处理器32可以执行例如存储在存储器36或数据存储装置34中的代码或指令，以实现本发明的实施例。
存储器36可以是或者可包括例如随机存取存储器（RAM）、只读存储器（ROM）、动态RAM（DRAM）、同步DRAM（SD-RAM）、双倍数据速率（DDR）存储器芯片、闪存、易失性存储器、非易失性存储器、高速缓冲存储器、缓冲器、短期存储器单元、长期存储器单元或其他合适存储器单元或存储装置单元。存储器36可以是或可包括多个存储器单元。
数据存储装置34可以是或者可包括例如硬盘驱动器、软盘驱动器、光盘（CD）驱动器、CD可记录（CD-R）驱动器、通用串行总线（USB）装置或其他合适可拆卸和/或固定存储装置单元，且可包括多个这种单元或这种单元的组合。例如，数据存储装置34可操作存储用于操作处理器32或控制器12的编程指令，可用于存储由耦合距离成像器和强度成像器装置10获取的数据，或者可用于存储可在处理器32或控制器12操作期间使用或生成的数据或参数。处理器32可以与存储器装置36通信或者与存储器装置36相连。存储器装置36可包括在处理器32或控制器12操作期间可存储数据且可读取数据的一个或多个易失性或非易失性存储器装置。
例如，控制器12可控制耦合距离成像器和强度成像器装置10的部件的操作，例如，调制解调器14、距离成像器检测器28和强度成像器检测器30。控制调制解调器14、距离成像器检测器28和强度成像器检测器30的操作可以允许获取自动配准距离-强度图像。
控制器12可以控制包括光源16的光发射器，其操作由调制解调器14控制。例如，光源16可包括能够发射已知波长（或波长组或范围）的辐射的激光二极管或发光二极管（LED）。光源16可包括多个相同或不同光源。调制解调器14可控制光源16发射光脉冲（本文指代任何合适电磁辐射，例如红外或接近红外辐射，而不必是可见辐射），或者发射具有预定时间变化模式的光，例如强度模式或变化波长模式。
发射的辐射可由发射器光学器件18朝向场景引导。例如，发射器光学器件18可包括一个或多个透镜、镜、棱镜、光圈或用于将由光源16发射的光的至少一部分以光束、光扇或光锥的形式朝向场景再次引导的其它光学部件。例如，发射器光学器件18可包括固定部件，或者可包括一个或多个可移动部件。可移动部件可以例如由控制器12控制，以扫描跨过场景的光束，从而照亮场景的多个区域。场景可以包括目标20。从光源16发射的光可以由目标20上的各个点朝向会聚光学器件24反射。
类似地，来自于环境源22的光（例如，来自于太阳或来自于天空的直接或反射自然光，或者环境人工照明，例如来自于街灯或来自于车辆前灯，或者来自于与耦合距离成像器和强度成像器装置10有关的稳定或间歇性光源）可以从目标20朝向会聚光学器件24反射。例如，来自于环境源22的光可以是多色的（例如，基本上白色）。因而，源于环境源22且从目标20反射的光谱可以根据目标20的表面颜色着色。
入射在会聚光学器件24上的光可以朝向分束器26聚焦和引导。例如，会聚光学器件24可包括一个或多个透镜、镜、棱镜、光圈或用于将由从场景（例如，包括目标20的场景）入射的光的至少一些朝向分束器26引导的其它光学部件。
分束器26可以将入射光中的一些朝向距离成像器检测器28引导，且将一些朝向强度成像器检测器30引导。例如，分束器26可包括选择镜或滤光器，其将光源16发射的光频谱范围的光朝向距离成像器检测器28引导。作为另一个示例，光可以使用不是频谱选择的另一种类型分束技术在距离成像器检测器28和强度成像器检测器30之间划分。例如，分束器26可包括空间反射或透射表面，例如部分镀银的镜、棱镜、滤光器或其它类似部件。
由于会聚光学器件24的聚焦，场景图像，包括目标20的图像，可在距离成像器检测器28和强度成像器检测器30两者上同时成像。控制器12于是可以操作距离成像器检测器28和强度成像器检测器30以同时获得距离和强度图像。
例如，控制器12可以控制距离成像器检测器28的距离成像器像素29以便以与光源16发射光同步的方式检测入射光。例如，与距离成像器像素29有关或包含在距离成像器像素29中的电子器件或电路可以配置成测量从光源16到距离成像器像素29的光脉冲的飞行时间。由此，可以计算从耦合距离成像器和强度成像器装置10到目标20的每个成像点（例如，成像点21）的距离（例如，间距）。点的计算距离的二维阵列25或距离图像可以保存在例如存储器36中或数据存储装置32上。例如，距离成像器检测器28可包括由PMD Technologies制造的类型的光子混成器件（PMD）飞行时间照相机。
与距离图像的获取同时或者基本同时，控制器12可以控制强度成像器检测器30以获取成像场景（包括目标20）的强度图像。例如，强度成像器检测器30的强度成像器像素31可包括电荷耦合装置（CCD）检测器或互补金属氧化物半导体（CMOS）的阵列，或者其它类型的成像器。每个检测器可产生表示入射在该检测器上的辐射强度的信号，因而确定得到的图像的相应像素的亮度。检测器的这种阵列可包括分色机构（例如，彩色滤光器阵列），从而产生彩色图像。例如，检测器阵列可产生三色红-绿-蓝（RGB）图像。因而，成像目标可通过其表面颜色以及其位置彼此区分。获得的图像可以保存在例如存储器36中或数据存储装置32上。
由于光学器件的共用和图像获取的同步，获得的距离和强度图像自动对准。因而，从相对于会聚光学器件24的光轴处于已知角位置的成像目标的元件反射的辐射可总是聚焦到同一对距离成像器像素29和对应强度成像器像素31上。可以构建将每个距离成像器像素29与其对应强度成像器像素31相关联的映射表、表格、函数关系或其它对应性。例如，这种对应性可以在耦合距离成像器和强度成像器装置10制造或维护期间在系统上执行或者在生产线设计或开发阶段在耦合距离成像器和强度成像器装置10的原型上执行的标定过程期间测量或构建。
获得的距离图像和强度图像可以组合成单个距离-强度图像。因而，距离-强度图像的每个点（例如，像素）可以由四个值表征，其表征成像目标20的对应点或区域：距目标点的距离（一个值）和在每个RGB彩色色板中的反射光强度（三个值）。其它类型的强度数据（例如，使用一组可选彩色色板或单色图像）可以使用。可以使用其它数量的值。
在相继时间形成的图像之间的差异可以被分析以获得或产生每个成像目标（或目标点）相对于耦合距离成像器和强度成像器装置10的运动或估计运动。得到的运动可以例如用作控制车辆以避免与成像目标碰撞的基础。
图2示意性地示出了根据本发明实施例的包含带有耦合距离成像器和强度成像器的系统的车辆。
车辆或主车辆50（例如，货车、SUV、公共汽车、小客车、摩托车或其它车辆）可包括耦合距离成像器和强度成像器装置10。耦合距离成像器和强度成像器装置10可与一个或多个自动车辆控制系统、自主驾驶应用或车辆自动控制系统90结合或者独立地操作。车辆自动控制系统90可例如是自动转向系统或自动制动系统。在接合时，车辆自动控制系统90可以完全或部分地控制车辆的转向或制动，改变或减少驾驶员（例如，车辆50的操作者）经由方向盘82或制动控制器24（例如，制动踏板或手动制动器）的转向控制输入。
一个或多个传感器可附连到车辆50或者与车辆50相关联。在本发明的一个实施例中，车辆50可包括一个或多个装置或传感器以测量车辆转向输入、车辆转向状况、车辆转向参数、车辆动力学、驾驶员输入或其它车辆有关状况或测量。车辆动力学测量装置可包括一个或多个转向角传感器（例如，连接到方向盘82或转向系统的其它部件）。车辆动力学测量装置还可以包括加速计、速度计、车轮速度传感器、惯性测量单元（IMU）、换档位置传感器、气动踏板位置传感器、制动踏板位置传感器、或其它或不同装置。
车辆动力学测量装置可以测量驾驶员输入或车辆动力学参数，包括横向（例如，角向或向心）加速度、纵向加速度、车辆加速度、转向扭矩、转向方向、方向盘角度、偏航率、横向和纵向速度、车轮旋转速度和加速度、以及车辆50的其它车辆动力学特性。车辆动力学测量装置还可以测量车辆50的至少一个轮胎中的每个上的竖直力。测量车辆动力学、车辆状况、转向测量、转向状况或驾驶员输入信息可以发送或传输给车辆自动控制系统90，经由例如有线链路（例如，控制器局域网络（CAN）总线、Flexray总线、以太网缆线）或无线链路。测量车辆动力学、车辆状况、或驾驶员输入信息数据可以由车辆自动控制系统90或其它系统使用，以确定碰撞的当前风险或概率，且计算车辆50的期望操作，从而最小化碰撞可能性或概率。虽然在本文讨论某些车辆动力学测量装置和车辆自动控制系统，但是可以使用其它类型的这种系统。此外，本文公开的耦合距离成像器和强度成像器装置不需要与车辆自动控制系统一起使用。
在本发明的一个实施例中，车辆自动控制系统90可包括安装在车辆客舱40（或驾驶室）或货物区域60（例如，货车）中的仪表盘上的计算装置或包括在所述计算装置中。在可选实施例中，车辆自动控制系统90可位于车辆50的其它部分中，可位于车辆50的多个部分中，或者可使得其功能中的全部或部分远程地定位（例如，在远程服务器中或者在便携式计算装置中，例如，蜂窝电话）。耦合距离成像器和强度成像器装置和车辆自动控制系统可使得其功能中的全部或部分由相同装置执行，例如，控制器12、处理器32、存储器36和/或数据存储装置34、或其它装置。
虽然讨论了各个传感器和输入，在一些实施例中，可以使用传感器或输入的仅仅子组（例如，一个）类型。
图3是根据本发明实施例的耦合距离成像器和强度成像器装置的操作方法的流程图。耦合距离成像器和强度成像器操作方法100可以通过与例如车辆的耦合距离成像器和强度装置有关的处理器或控制器实施。例如，耦合距离成像器和强度成像器操作方法100可以定期执行，例如以预定时间间隔或根据感测状况（例如，车辆速度、道路弯度、或环境状况）确定的时间间隔。
关于该流程图且关于本文参考的所有流程图，应当理解的是，将所示方法划分成由独立框表示的独立操作仅仅是为了方便和清楚选择的。所示方法可以在具有等同结果的情况下以可选方式划分。方法的所有这种可选划分成操作应当认为落入本发明实施例的范围内。类似地，除非另有声明，框和表示的操作以仅仅是为了方便和清楚选择的顺序显示。除非另有声明，所示方法的所示操作可以在具有等同结果的情况下以可选顺序或者同时地执行。流程图的框和相应操作的所有这种重新排序应当认为落入本发明实施例的范围内。
在执行耦合距离成像器和强度成像器操作方法100时，可等待触发信号（框100）。例如，触发信号可以由控制器以预定间隔产生和/或发送。产生相继触发信号的间隔可以根据要求（例如，车辆自主驾驶系统的，例如以便实时检测目标以避免车辆和目标之间的碰撞，或者以便最小化相继获取图像之间的差异）、根据系统性能（例如，获取和读取距离和强度数据所需的时间）或根据上述或任何其它因素的组合来确定。
当检测触发信号时，可以获取强度图像或强度数据（框120）。例如，CCD读取电路可操作获得CCD阵列的每个CCD像素的累积电荷的读数。读数可以转换为成像场景的一个或多个强度映射。例如，读数可以转换为成像场景的RGB表示。
还在检测触发信号时，可以获取距离图像或距离数据（框130）。距离图像或数据可以与强度图像或强度数据的获取同时或基本同时地获取。例如，触发信号可以使得距离成像器的调制解调器控制光源以发射光脉冲。同时，读取电路可操作获得发射和由距离成像器的每个像素检测脉冲之间的飞行时间。例如，读取电路产生的电压可表示且可以转换为脉冲从距离成像器的光源到成像目标上的点且返回到距离成像器检测器的飞行时间。飞行时间可以乘以光速以获得或产生距离成像器和反射脉冲的点之间的来回路程距离。来回路程距离可以除以2以获得或产生成像点的距离。
图4图示了根据本发明实施例的距离和强度图像的像素的协调获取。两个测量循环，测量循环170a和测量循环170b，可表示单个距离成像器像素和单个强度成像器像素的两个顺序同时或基本同时测量，或者不同像素的同时或基本同时测量。传输信号172由门控信号176触发，表示辐射的传输脉冲。传输信号172可以积分以获得或产生积分传输信号180（具有信号电压s1）。如果传输脉冲的辐射从目标元件往回朝向系统的会聚光学器件反射，那么接收信号174a或174b可以由距离成像器检测器的像素接收。接收信号的测量时间延迟tD1或tD2可以与从系统到目标元件的距离相关。由门控信号178触发的接收信号的积分可以获得或产生积分接收信号182a或182b（分别具有信号电压s2a和s2b）。积分接收信号182a或182b的最大电压因而可以与接收信号的测量时间延迟tD1或tD2成比例。因而，在测量循环170a期间测量的飞行时间或等同地测量距离可以根据信号电压s1和信号电压s2a之间的计算差来确定。类似地，在测量循环170b期间测量的测量距离可以根据信号电压s1和信号电压s2b之间的计算差来确定。
积分强度信号186a或186b的测量可以由门控信号184门控。强度信号电压i1和i2可以表示由成像目标元件反射且在强度成像器检测器上成像的环境光强度。积分强度信号186a和186b可表示亮度测量（例如，以形成灰度图像），或者可表示（例如，RGB成像系统的）具体颜色信号的强度测量。在一些实施例中，可测量多个积分强度信号186a或186b。例如，可以测量红色、绿色和蓝色；或者任何其它组合的强度信号186a或186b。
强度成像器检测器中的像素间距可以与距离成像器检测器中的像素间距不同。因而，得到的原始强度图像和距离图像的分辨率可以不同。例如，读取距离图像可比读取强度图像更耗时。此外，读取距离图像的电路可比读取强度图像的电路更复杂。因而，距离图像的分辨率可比强度图像的分辨率更低（更宽间隔的像素）。使用的系统之间的其它差异可以在一些实施例中存在，且本文所述的差异可以全部或部分颠倒。
再次参考图3，具有较低分辨率的图像（例如，距离图像）可以缩放以获得或产生与具有较高分辨率的图像（例如，强度图像）相同的分辨率（框140）。例如，插值技术可以应用于距离图像的像素，以计算与强度图像的像素相对应的中间部分（在现有距离测量之间）处的插值距离。由于缩放，强度图像的每个像素（表示成像目标上的点）对应于距离图像的像素（表示成像目标的该点的距离）。在两个图像具有相等分辨率的情况下，缩放可能没有效果（缩放图像与缩放之前的图像相同）。在这种情况下，框140所示的操作可以省去。
在较低分辨率图像的任何缩放之后，两个图像可组合成自动配准图像（框150）。自动配准图像的每个像素可以例如由距离和强度相关值（例如，灰度色标或RGB）或多个值（例如，红色、蓝色和绿色值）表征。
相继获得的自动配准图像序列可以获得和分析以获得、产生或确定成像目标的运动或估计运动。例如，目标运动分析可以由自主驾驶系统使用，以控制车辆操作，以便避免与目标碰撞。作为另一个示例，驾驶员辅助应用可警告驾驶员车辆与目标可能碰撞，从而允许驾驶员调节车辆控制以便防止碰撞。
自动配准图像的强度（或颜色）信息和距离信息的组合可以加快数据分析，从而明确地确定成像目标的运动速度。例如，强度或颜色信息的分析可允许识别相继获取图像的成像目标。相应的相继获取距离信息的分析可获得或产生目标距离变化。类似地，图像目标的每个元件的距离的知识可允许将图像间距明确地转换为目标或目标元件之间的横向距离。估计距离和速度可以例如根据情况使用。
图5是根据本发明实施例的运动估计方法的流程图。
例如，可以相继地获取两个帧（每个包括从自动对准距离和强度图像获得的三维数据）。先前获取的帧可以称为模板图像T(u)，新获取的帧可以称为输入图像I(u)，其中，u=(u,v)称为像素的图像横坐标和纵坐标。
估计目标（或，目标元件）的速度可以描述为计算目标表面的连续区域分别沿X、Y和X轴的三维位移p = (U,V,W)。Z轴描述区域的间距（距离），X和Y描述横向距离（例如，相对于系统的会聚光学器件的光轴）。从该对帧适当地获得运动可包括自动地确定输入图像的哪个区域或小块与模板图像的给定小块相对应（例如，表示相同目标元件但是移位的图像）。运动估计方法200可以对输入图像的每个小块（局部区域）执行（框210）。
基于图像中的三维信息，可计算梯度∂ uZ和∂ uZ（框220）。类似地，模板图像和输入图像之间的小块距离（由Z量化）的时间位移∆ tZ可计算（框230）。
计算梯度和距离位移可以用于限定或产生距离流平面（range flow plane）（框240）。例如，小块中的点a的深度可以表示为距离流平面，可以同系形式表示为（根据时间）：
这可以差分以获得或产生同系形式的距离流平面的表示（以像素坐标表示）：
Figure 2013100501180100002DEST_PATH_IMAGE004
或者表示为：
Figure 2013100501180100002DEST_PATH_IMAGE006
距离流平面可以约束速度，从而结果是独立的。约束可以表示为：
Figure 2013100501180100002DEST_PATH_IMAGE008
根据距离流平面约束的光流技术可以应用，以便找到一组最佳位移（或速度）p = (U,V,W)。（在过程开始时，可初始化p值为例如0或描述先前分析相邻小块运动的值）。例如，流估计可以获得或产生弯卷函数R(u,p)，其描述T和I之间的图像元件的运动，从而I(R(u,p)) 尽可能接近地匹配T(u)。I(R(u,p))和T(u)之间的差异可以通过成本函数来量化：
Figure 2013100501180100002DEST_PATH_IMAGE010
其中，∆p是p从先前计算或初始值的变化。
使用迭代技术（例如，循环通过或者重复操作组，例如，框250至280）可以找到一组最佳位移。
可以优化运动（框250）。例如，最小二乘表示可以求解以获得或产生最小化成本函数的最佳值∆p*：
Figure 2013100501180100002DEST_PATH_IMAGE012
例如，可以应用Lucas-Kanade方法。
最佳运动增量∆p*的值可以与阈值ε进行比较（框260）。如果最佳运动增量∆p*的值足够小且小于阈值ε，那么方法可以认为收敛，且对于帧的当前选择区域，运动估计方法200的执行可以结束（框290）。运动估计方法200可以对输入图像的另一区域（例如，相邻区域）重复（从框210所述的操作开始）。
如果最佳运动增量∆p*的值大于阈值ε，那么运动p的先前值可以通过累增∆p*而修正（框270）：
p + ∆p* → p
修正运动p可以投射到距离流平面中（框280）。由此，修正运动可以由约束条件约束。
运动优化过程然后可以针对另一个迭代重复（返回框250），直到迭代过程完成。例如，迭代过程可在计算运动增量小（∆p*<ε，框260）或者满足其它标准（例如，迭代次数大于最大允许迭代次数）时完成。因而，计算可获得成像场景的成像目标的元件的运动或估计运动。
图像的每个小块的计算运动可以转换为（例如，通过除以帧之间的时间间隔）图像中的每个元件的速度。成像目标的元件的速度可以例如用于计算车辆（例如，在车辆中安装系统）与成像目标碰撞的时间（假设没有变化）。由于计算碰撞时间，车辆驾驶员可被警告碰撞可能性。例如，可听警告可产生。作为另一个示例，元件的速度可以由自动碰撞避免装置或应用使用，以操控车辆避免与目标碰撞。
本发明的实施例能够包括用于执行本文所述操作的设备。这种设备可以是为了期望目的而专门构造的，或者可以包括计算机或处理器，所述计算机或处理器通过存储在计算机中的计算机程序来选择性地启用或重新配置。这种计算机程序能够被存储在以下各项中：计算机可读或处理器可读的非临时存储介质、任何类型的盘（包括软盘、光盘、CD-ROM、磁光盘）、只读存储器（ROM）、随机存取存储器（RAM）、电可编程只读存储器（EPROM）、电可擦除及可编程只读存储器（EEPROM）、磁卡或光卡、或者适于存储电子指令的任何其他类型的介质。将理解的是，各种编程语言都能够被用于实施如本文所述的本发明的教导。本发明的实施例能够包括例如非临时计算机或处理器可读的非临时存储介质之类的物品，例如编码有、包括有或存储有指令（例如计算机可执行指令，这些指令在由处理器或控制器执行时使得处理器或控制器执行本文所公开的方法）的存储器、磁盘驱动器或USB闪存。这些指令可以使处理器或控制器执行实施本文所公开的方法的过程。
本文公开不同实施例。某些实施例的特征能够与其他实施例的特征结合；因而，某些实施例可以是多个实施例的特征的组合。对本发明的实施例的前述说明仅仅出于描述和说明的目的而提出。该说明并不旨在是穷尽的或者将本发明局限于所公开的准确形式。本领域技术人员应当理解的是，鉴于上述教导，许多修改、变形、替换、变化和等同物都是可能的。因此，要理解的是，所附权利要求旨在覆盖了落入本发明实质精神内的所有这种变形和变化。

Claims (10)

1.一种方法，包括：
操作耦合距离成像器和强度成像器，以获得至少两个自动配准图像序列，每个自动配准图像包括同时获取的与成像场景有关的距离数据和强度数据；以及
分析配准距离和强度数据，以获得成像场景的成像目标的元件的估计运动。
2.根据权利要求1所述的方法，包括缩放所获得距离数据的像素以与所获得强度数据的像素匹配。
3.根据权利要求1所述的方法，其中，获得每个自动配准图像包括将距离数据的像素与强度数据的相应像素组合以形成自动配准图像的像素。
4.根据权利要求1所述的方法，其中，分析配准距离和强度数据包括找到约束估计运动的距离流平面。
5.根据权利要求1所述的方法，其中，分析配准距离和强度数据包括应用光流技术。
6.根据权利要求1所述的方法，其中，分析配准距离和强度数据包括应用迭代技术。
7.根据权利要求1所述的方法，其中，操作耦合距离成像器和强度成像器包括产生共同触发信号以使得距离成像器和强度成像器获取数据。
8.根据权利要求1所述的方法，其中，操作距离成像器包括操作发光装置发射光脉冲以由距离成像器检测。
9.根据权利要求8所述的方法，其中，获得距离数据包括测量脉冲发射和脉冲检测之间的时间延迟。
10.一种系统，包括
会聚光学器件，用于收集来自于场景的光且聚焦所收集的光；
强度成像器检测器；
距离成像器检测器；
分束器，用于划分由会聚光学器件收集的光，从而所收集的光的一部分聚焦在强度成像器检测器上，且所收集的光的另一部分聚焦在距离成像器检测器上；以及
控制器，用于控制强度成像器检测器获得场景的强度图像且同时控制距离成像器检测器获得距离图像，将所获得的强度和距离图像组合成自动配准图像，且分析相继获得的自动配准图像序列以计算场景中的成像目标的元件的估计运动。
CN201310050118.0A 2012-02-10 2013-02-08 用于运动估计的耦合距离和强度成像 Expired - Fee Related CN103245951B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/370,685 US9069075B2 (en) 2012-02-10 2012-02-10 Coupled range and intensity imaging for motion estimation
US13/370,685 2012-02-10
US13/370685 2012-02-10

Publications (2)

Publication Number Publication Date
CN103245951A true CN103245951A (zh) 2013-08-14
CN103245951B CN103245951B (zh) 2016-12-07

Family

ID=48868456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310050118.0A Expired - Fee Related CN103245951B (zh) 2012-02-10 2013-02-08 用于运动估计的耦合距离和强度成像

Country Status (3)

Country Link
US (1) US9069075B2 (zh)
CN (1) CN103245951B (zh)
DE (1) DE102013201912A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106165399A (zh) * 2014-04-07 2016-11-23 三星电子株式会社 高分辨率、高帧率、低功率的图像传感器
CN108139462A (zh) * 2015-09-30 2018-06-08 微软技术许可有限责任公司 测距成像

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10116883B2 (en) * 2013-08-29 2018-10-30 Texas Instruments Incorporated System and methods for depth imaging using conventional CCD image sensors
US9354052B2 (en) * 2014-01-24 2016-05-31 Raytheon Company Shared-aperture electro-optic imaging and ranging sensor
JP6278464B2 (ja) * 2014-09-19 2018-02-14 オムロンオートモーティブエレクトロニクス株式会社 レーザレーダ装置および制御方法
CA2986450A1 (en) * 2015-05-18 2016-11-24 Terabee S.A.S. Device and method for uniform far-field illumination with leds
US9598078B2 (en) 2015-05-27 2017-03-21 Dov Moran Alerting predicted accidents between driverless cars
US10031522B2 (en) 2015-05-27 2018-07-24 Dov Moran Alerting predicted accidents between driverless cars
US10394237B2 (en) 2016-09-08 2019-08-27 Ford Global Technologies, Llc Perceiving roadway conditions from fused sensor data
EP3367130A1 (en) * 2017-02-22 2018-08-29 STMicroelectronics (Research & Development) Limited Integration of depth map device for adaptive lighting control
US10558844B2 (en) * 2017-12-18 2020-02-11 Datalogic Ip Tech S.R.L. Lightweight 3D vision camera with intelligent segmentation engine for machine vision and auto identification
WO2022170325A1 (en) * 2021-02-02 2022-08-11 Ringo Ai, Inc. Nonlinearity correction and range fitting for stereoscopy through illumination and approaches to using the same for noncontact color determination

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101173987A (zh) * 2007-10-31 2008-05-07 北京航空航天大学 多模多目标精密跟踪装置和方法
JP2009541758A (ja) * 2006-07-03 2009-11-26 ファロ テクノロジーズ インコーポレーテッド 空間エリアの３次元データを捕捉する方法及び装置
US20100128109A1 (en) * 2008-11-25 2010-05-27 Banks Paul S Systems And Methods Of High Resolution Three-Dimensional Imaging

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1522487A (en) 1974-08-29 1978-08-23 Sony Corp Solid state colour television cameras
US6480615B1 (en) * 1999-06-15 2002-11-12 University Of Washington Motion estimation within a sequence of data frames using optical flow with adaptive gradients
DE102004018813A1 (de) * 2004-04-19 2006-02-23 Ibeo Automobile Sensor Gmbh Verfahren zur Erkennung und/oder Verfolgung von Objekten
EP1797523A4 (en) * 2004-08-23 2009-07-22 Sarnoff Corp METHOD AND DEVICE FOR PRODUCING A CONDENSED IMAGE
US7262710B2 (en) * 2004-09-22 2007-08-28 Nissan Motor Co., Ltd. Collision time estimation apparatus for vehicles, collision time estimation method for vehicles, collision alarm apparatus for vehicles, and collision alarm method for vehicles
US20060111841A1 (en) * 2004-11-19 2006-05-25 Jiun-Yuan Tseng Method and apparatus for obstacle avoidance with camera vision
US7130745B2 (en) * 2005-02-10 2006-10-31 Toyota Technical Center Usa, Inc. Vehicle collision warning system
JP2007216722A (ja) * 2006-02-14 2007-08-30 Takata Corp 対象物検出システム、作動装置制御システム、車両
US7375803B1 (en) 2006-05-18 2008-05-20 Canesta, Inc. RGBZ (red, green, blue, z-depth) filter system usable with sensor systems, including sensor systems with synthetic mirror enhanced three-dimensional imaging
US7639874B2 (en) * 2006-08-03 2009-12-29 Tandent Vision Science, Inc. Methods for discriminating moving objects in motion image sequences
US20080059069A1 (en) * 2006-08-30 2008-03-06 Trutna William R System and method for detecting an object in the path of a vehicle
US8208129B2 (en) * 2007-01-14 2012-06-26 Microsoft International Holdings B.V. Method, device and system for imaging
EP2040220B1 (de) * 2007-09-24 2014-07-02 Delphi Technologies, Inc. Verfahren zur Hinderniserkennung
US8095313B1 (en) * 2008-06-23 2012-01-10 The United States Of America As Represented By The Secretary Of The Navy Method for determining collision risk for collision avoidance systems
US8564657B2 (en) * 2009-05-29 2013-10-22 Honda Research Institute Europe Gmbh Object motion detection system based on combining 3D warping techniques and a proper object motion detection
US8400511B2 (en) * 2009-12-04 2013-03-19 Lockheed Martin Corporation Optical detection and ranging sensor system for sense and avoid, and related methods
TWI540312B (zh) * 2010-06-15 2016-07-01 原相科技股份有限公司 可提高測量精確度、省電及／或能提高移動偵測效率的時差測距系統及其方法
US8648702B2 (en) * 2010-08-20 2014-02-11 Denso International America, Inc. Combined time-of-flight and image sensor systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009541758A (ja) * 2006-07-03 2009-11-26 ファロ テクノロジーズ インコーポレーテッド 空間エリアの３次元データを捕捉する方法及び装置
CN101173987A (zh) * 2007-10-31 2008-05-07 北京航空航天大学 多模多目标精密跟踪装置和方法
US20100128109A1 (en) * 2008-11-25 2010-05-27 Banks Paul S Systems And Methods Of High Resolution Three-Dimensional Imaging

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SEYED EGHBAL GHOBADI等: "2D/3D Image Data Analysis for Object Tracking and Classification", 《MACHINE LEARNING AND DATA ANALYSIS》 *
STEPHAN HUSSMANN 等: "A Performance Review of 3D TOF Vision Systems in Comparison to Stereo Vision Systems", 《STEREO VISION》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106165399A (zh) * 2014-04-07 2016-11-23 三星电子株式会社 高分辨率、高帧率、低功率的图像传感器
US10295669B2 (en) 2014-04-07 2019-05-21 Samsung Electronics Co., Ltd. High resolution, high frame rate, low power image sensor
CN106165399B (zh) * 2014-04-07 2019-08-20 三星电子株式会社 高分辨率、高帧率、低功率的图像传感器
CN108139462A (zh) * 2015-09-30 2018-06-08 微软技术许可有限责任公司 测距成像

Also Published As

Publication number Publication date
US20130211657A1 (en) 2013-08-15
DE102013201912A1 (de) 2013-08-14
CN103245951B (zh) 2016-12-07
US9069075B2 (en) 2015-06-30

Similar Documents

Publication Publication Date Title
CN103245951A (zh) 用于运动估计的耦合距离和强度成像
US11953599B2 (en) Vehicle navigation based on aligned image and LIDAR information
JP6835879B2 (ja) 自動被写体検出および視覚システムの照明不変画像センサの方法および装置
US9863775B2 (en) Vehicle localization system
EP3111165B1 (en) Distance measuring device and parallax calculation system
US9823340B2 (en) Method for time of flight modulation frequency detection and illumination modulation frequency adjustment
US11431958B2 (en) Vision system and method for a motor vehicle
CN106476728A (zh) 用于车载的车辆传感器的运动补偿
KR20050099623A (ko) 차량의 내부 또는 외부 장면의 3차원 검출용 차량 장치
CN111434105B (zh) 固态成像元件、成像装置和固态成像元件的控制方法
EP3865911B1 (en) Sensor fusion system, synchronization control device, and synchronization control method
US20200057149A1 (en) Optical sensor and electronic device
WO2020189339A1 (ja) 測距装置および測距方法
US20220011440A1 (en) Ranging device
WO2018074085A1 (ja) 測距装置、および、測距装置の制御方法
CN110291414A (zh) 距离测量装置和距离测量方法
TWI732425B (zh) 受光裝置及測距裝置
CN113646804A (zh) 物体检测装置
US20220113410A1 (en) Distance measuring device, distance measuring method, and program
CA3142395A1 (en) Adjustment device and lidar measuring device
JP2020118570A (ja) 測定装置および測距装置
CN114599999A (zh) 移动量估计装置、移动量估计方法、移动量估计程序以及移动量估计系统
WO2022004441A1 (ja) 測距装置および測距方法
EP4286895A1 (en) Gated camera, vehicular sensing system, and vehicular lamp
WO2022269995A1 (ja) 測距装置および方法、並びにプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161207

Termination date: 20200208

CF01 Termination of patent right due to non-payment of annual fee