CN113597534B - 测距成像系统、测距成像方法和程序 - Google Patents

测距成像系统、测距成像方法和程序 Download PDF

Info

Publication number
CN113597534B
CN113597534B CN202080022206.8A CN202080022206A CN113597534B CN 113597534 B CN113597534 B CN 113597534B CN 202080022206 A CN202080022206 A CN 202080022206A CN 113597534 B CN113597534 B CN 113597534B
Authority
CN
China
Prior art keywords
image
data
unit
association
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080022206.8A
Other languages
English (en)
Other versions
CN113597534A (zh
Inventor
薄田学
香山信三
小田川明弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN113597534A publication Critical patent/CN113597534A/zh
Application granted granted Critical
Publication of CN113597534B publication Critical patent/CN113597534B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light

Abstract

本公开所解决的问题是获得将亮度信息和距离信息彼此相关联的数据。测距成像系统(1)包括：第一获取单元(21)，从成像单元(4)获取指示第一亮度图像的信息的第一亮度信息；第二获取单元(22)，从测距单元(5)获取指示第一距离图像的信息的第一距离信息；第三获取单元(23)，从检测单元(6)获取指示第二亮度图像的信息的第二亮度信息，并且获取指示第二距离图像的信息的第二距离信息；以及计算单元(3)。成像单元(4)获取目标空间(S1)的第一亮度图像。测距单元(5)获取对到存在于目标空间(S1)中的对象(O1)的距离加以指示的第一距离图像。在同轴光学系统中，检测单元(6)获取目标空间(S1)的第二亮度图像，并且获取对到存在于目标空间中的物体(O1)的距离加以指示的第二距离图像(S1)。计算单元(3)执行：在第一亮度信息与第二亮度信息之间建立关联的处理以及在第一距离信息与第二距离信息之间建立关联的处理。

Description

测距成像系统、测距成像方法和程序
技术领域
本公开涉及测距成像系统、测距成像方法和程序，并且更具体地，涉及用于获取目标空间的亮度信息和距离信息的测距成像系统、测距成像方法和程序。
背景技术
专利文献1公开了一种图像相关方法。
在该图像相关方法中，通过激光扫描仪获取测量对象的3D点组数据，并且通过捕获测量对象来获取2D彩色图像。然后，在2D彩色图像上任意选择三个或更多点，并且基于3D点组数据为所选点中的每个点提供3D位置信息。然后基于与所选点有关的3D位置信息来计算在捕获测量对象时相机与激光扫描仪之间的相对位置关系。基于计算出的相对位置关系和与所选点有关的3D位置信息，将彩色图像的图像数据与包含在点组数据中的每个点的数据相关联。
引文列表
专利文献
专利文献1：JP2005-77385A
发明内容
在单独设置相机和激光扫描仪的情况下，很难在相机捕获的图像(亮度信息)与激光扫描仪获取的数据(距离信息)之间建立关联，这是因为这些设备在数据的捕获/获取时间、观测点、数据格式等方面是不同的。
本公开旨在提出能够获取将亮度信息和距离信息彼此相关联的数据的测距成像系统、测距成像方法和程序。
本公开的一个方面的一种测距成像系统包括第一获取单元、第二获取单元、第三获取单元和计算单元。第一获取单元被配置为从获取目标空间的第一二维(2D)图像的成像单元获取第一2D数据。第二获取单元被配置为从获取所述目标空间的第一三维(3D)图像的测距单元获取第一3D数据。第三获取单元被配置为从利用同轴光学系统获取所述目标空间的第二2D图像和第二3D图像的检测单元获取第二2D数据和第二3D数据。计算单元被配置为执行在所述第一2D数据与所述第二2D数据之间建立关联的处理以及在所述第一3D数据与所述第二3D数据之间建立关联的处理。
本公开的一个方面的一种测距成像方法包括第一获取步骤、第二获取步骤、第三获取步骤和处理步骤。第一获取步骤包括从获取目标空间的第一2D图像的成像单元获取第一2D数据。第二获取步骤包括从获取所述目标空间的第一3D图像的测距单元获取第一3D数据。第三获取步骤包括从利用同轴光学系统获取所述目标空间的第二2D图像和第二3D图像的检测单元获取第二2D数据和第二3D数据。处理步骤包括执行在所述第一2D数据与所述第二2D数据之间建立关联的处理以及在所述第一3D数据与所述第二3D数据之间建立关联的处理。
本公开的一个方面的一种测距成像系统包括第一获取单元、第二获取单元和计算单元。第一获取单元被配置为获取第一2D数据。第二获取单元被配置为利用同轴光学系统获取第二2D数据和第一3D数据。计算单元被配置为执行在所述第一2D数据与所述第二2D数据之间建立关联的处理以及在所述第一2D数据和所述第一3D数据之间建立关联的处理。
本公开的一个方面的一种测距成像方法包括第一获取步骤、第二获取步骤和处理步骤。第一获取步骤包括获取第一2D数据。第二获取步骤包括利用同轴光学系统获取第二2D数据和第一3D数据。处理步骤包括执行在所述第一2D数据与所述第二2D数据之间建立关联的处理以及在所述第一2D数据和所述第一3D数据之间建立关联的处理。
本公开的一个方面的一种程序是被配置为使一个或多个处理器执行测距成像方法的程序。
附图说明
图1是示出了实施例的测距成像系统的框图；
图2是示出了实施例的测距成像系统的成像单元的框图；
图3是示出了实施例的测距成像系统的测距单元的框图；
图4是示出了实施例的测距成像系统的检测单元的框图；
图5是示出了实施例的测距单元的操作的示意图；
图6是示出了实施例的测距成像系统的信号处理单元的框图；
图7A是示出了实施例的成像单元所获取的第一亮度图像的示例的示意图；
图7B是图7A中A1部分的放大视图；
图8A是示出了实施例的测距单元所获取的第一距离图像的示例的示意图；
图8B是图8A中A2部分的放大图；
图9A是示出了实施例的检测单元所获取的第二亮度图像的示例的示意图；
图9B是图9A中A3部分的放大图；
图10A是示出了实施例的检测单元所获取的第二距离图像的示例的示意图；
图10B是图10A中A4部分的放大图；
图11是示出了第一变体的测距成像系统的框图；以及
图12是示出了第一变体的测距成像系统的生成融合数据的过程的示意图。
具体实施方式
将参考附图来说明本公开的实施例的测距成像系统1。然而，下面所描述的实施例仅仅是本公开的各个实施例的示例。只要能够实现本公开的目的，就可以根据设计等以各种方式修改下面所描述的实施例。
(1)实施例
(1.1)概述
如图1所示，本实施例的测距成像系统1包括第一获取单元21、第二获取单元22、第三获取单元23和计算单元3。
第一获取单元21包括通信接口。第一单元21连接到计算单元3。第一获取单元21被配置为连接到成像单元4。第一获取单元21被配置为从成像单元4获取第一2D数据。例如，第一2D数据包括与目标空间S1的第一2D图像有关的信息。第一2D图像由成像单元4获取。例如，第一获取单元21从成像单元4获取与目标空间S1的第一2D图像相关的第一2D数据。
第二获取单元22包括通信接口。第二获取单元22连接到计算单元3。第二获取单元22被配置为连接到测距单元5。第二获取单元22被配置为从测距单元5获取第一3D数据。例如，第一3D数据包括与目标空间S1的第一3D图像有关的信息。第一3D图像由测距单元5获取。第一3D图像是对到存在于目标空间S1中的对象O1的距离加以指示的图像。例如，第二获取单元22从测距单元5获取与目标空间S1的第一3D图像相关的第一3D数据。
第三获取单元23包括通信接口。第三获取单元23连接到计算单元3。第三获取单元23被配置为连接到检测单元6。第三获取单元23被配置为从检测单元6获取第二2D数据和第二3D数据。例如，第二2D数据包括与目标空间S1的第二2D图像有关的信息。第二2D图像由检测单元6获取。例如，第二3D数据包括与目标空间S1的第二3D图像有关的信息。第二3D图像由检测单元6获取。例如，第二3D图像是对到存在于目标空间S1中的对象O1的距离加以指示的图像。检测单元6被配置为利用同轴光学系统获取第二2D图像和第二3D图像。例如，第三获取单元23从检测单元6获取与目标空间S1的第二2D图像相关的第二2D数据和与目标空间S1的第二3D图像相关的第二3D数据。
计算单元3被配置为执行在第一2D数据与第二2D数据之间建立关联的处理以及在第一3D数据和第二3D数据之间建立关联的处理。
根据本实施例的测距成像系统1，计算单元3在第一2D数据与第二2D数据之间建立关联并并在第一3D数据和第二3D数据之间建立关联。结果是，通过检测单元6所获取的第二2D数据和第二3D数据将第一2D数据和第一3D数据彼此相关联。因此能够获取将2D数据(第一2D图像)和3D数据(第一3D图像)彼此相关联的数据。
(2)配置
参考图1至图10B更详细地说明本实施例的测距成像系统1。在实施例中，假设测距成像系统1安装在诸如汽车等车辆上，作为检测障碍物的对象检测系统。然而，测距成像系统1不限于用于此。例如，测距成像系统1可以用于监视相机或安全相机以检测对象(人)。
如图1所示，本实施例的测距成像系统1包括信号处理单元10、成像单元4、测距单元5和检测单元6。信号处理单元10包括第一获取单元21至第三获取单元23和计算单元3。在实施例中，成像单元4、测距单元5和检测单元6具有互不相同的光接收单元和光学系统，并且具有互不相同的光轴。然而，成像单元4、测距单元5和检测单元6被设置为使得它们的光轴几乎彼此对准，并且从相同的目标空间S1接收光。
成像单元4被配置为获取目标空间S1的第一2D图像。在实施例中，成像单元4捕获目标空间S1的图像以获取第一亮度图像100(参见图7A)作为第一2D图像。例如，成像单元4包括诸如电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器之类的固态成像器件。成像单元4接收外部光。外部光可以包括从发光对象(太阳、灯具等)辐射的辐射光、辐射光被对象O1散射的散射光等。
如图2所示，成像单元4包括光接收单元(在下文中，也被称为“第一光接收单元”)41、控制器(在下文中，也被称为“第一控制器42”)和光学系统(在下文中，也被称为“第一光学系统”)43。
第一光接收单元41包括以2D阵列布置的多个像素单元。多个像素单元中的每个像素单元包括诸如光电二极管的光接收器件。光接收器件包括将光子转换为电荷的光电转换器。多个像素单元中的每个像素单元仅在曝光时接收光。像素单元的曝光时间由第一控制器42控制。多个像素单元中的每个像素单元输出对光接收器件所接收的光加以指示的电信号。电信号的信号电平对应于光接收器件接收到的光量。
例如，第一光学系统43包括将外部光聚焦在第一光接收单元41上的透镜。第一光学系统43可以包括用于选择要入射到像素单元上的光的波长的滤色器。
第一控制器42可以由包括一个或多个存储器和一个或多个处理器的计算机系统实现。第一控制器42的功能通过计算机系统的一个或多个处理器执行存储在一个或多个存储器中的程序来实现。程序可以预先存储在存储器中，或者可以通过互联网等电信网络提供，或者可以通过诸如存储卡的非暂时性存储介质提供。
第一控制器42被配置为控制第一光接收单元41。第一控制器42基于从第一光接收单元41的像素单元提供的电信号来生成第一亮度图像100(是2D图像)。第一控制器42生成第一2D数据，并且将所生成的第一2D数据输出到信号处理单元10。第一2D数据包括指示所生成的第一亮度图像100的第一亮度信息。第一控制器42将第一亮度信息作为第一2D数据输出到信号处理单元10(第一获取单元21)。
测距单元5被配置为获取目标空间S1的第一3D图像。在实施例中，第一3D图像是第一距离图像200。在实施例中，测距单元5基于飞行时间(TOF)方法来测量到对象O1的距离以获取第一距离图像200(参见图8A)。如图3所示，测距单元5包括光接收单元(在下文中，也被称为“第二光接收单元”)51、控制器(下文中也被称为“第二控制器”)52、光学系统(在下文中，也被称为“第二光学系统”)53，以及发光单元(在下文中，也被称为“第一发光单元”)54。
下文中所描述的示例中的测距单元5使用TOF方法，但是不限于此。例如，测距单元5可以使用发射激光的脉冲光并检测来自对象的反射光的LiDAR方法来基于反射时间确定距离。
第一发光单元54包括发射脉冲光的第一光源。从第一发光单元54发射的光可以是单色的，具有相对短的脉冲宽度和相对较高的峰值强度。从第一发光单元54发射的光的波长可以在近红外波段的波长范围内，在该波长范围内，人类视觉敏感度低且不易受来自阳光的干扰光影响。在本实施例中，第一发光单元54例如包括激光二极管并发射脉冲激光。第一发光单元54的发射定时、脉冲宽度、发射方向等由第二控制器52控制。
第二光接收单元51包括固态成像器件。第二光接收单元51接收反射光，该反射光是从第一发光单元54发射并被对象O1反射的光。第二光接收单元51包括以2D阵列布置的多个像素单元。多个像素单元中的每个像素单元包括诸如光电二极管的光接收器件。光接收器件可以是雪崩光电二极管。多个像素单元中的每个像素单元仅在曝光的同时接收光。像素单元的曝光时间由第二控制器52控制。多个像素单元中的每个像素单元输出对光接收器件所接收的光加以指示的电信号。电信号的信号电平对应于光接收器件接收到的光量。
例如，第二光学系统53包括将反射光聚焦在第二光接收单元51上的透镜。
第二控制器52可以由包括一个或多个存储器和一个或多个处理器的计算机系统实现。第二控制器52的功能通过计算机系统的一个或多个处理器执行存储在一个或多个存储器中的程序来实现。程序可以预先存储在存储器中，或者可以通过诸如互联网等电信网络提供，或者可以通过诸如存储卡的非暂时性存储介质提供。
第二控制器52被配置为控制第一发光单元54和第二光接收单元51。第二控制器52控制第一发光单元54的发光定时、脉冲宽度、发射方向等。第二控制器52控制第二光接收单元51的曝光定时、曝光时间等。
第二控制器52生成对到存在于目标空间S1中的对象O1的距离加以指示的第一距离图像200作为目标空间S1的第一3D图像。例如，第二控制器52通过以下方法获取第一距离图像200。
第二控制器52确定第一发光单元54的脉冲光的发射方向。确定发射方向导致确定第二光接收单元51的多个像素单元中的能够接收被对象O1反射的脉冲光的反射光的像素单元。利用一次测距，第二控制器52从该像素单元获取电信号。
如图5所示，第二控制器52划分与一次测距相对应的时间段(下文中，被称为“帧F1”)，使得在其中包括“n”个测量时段(“n”是大于或等于2的整数)。即，第二控制器52划分一个帧F1，使得其包括“n”个测量时段，被称为第一测量时段Tm1至第n测量时段Tmn。例如，将测量时段的长度设置为彼此相同。
如图5所示，第二控制器52进一步将每个测量时段划分为“n”个分时段。在实施例中，第二控制器52将每个测量时段划分为“n”个分时段，被称为第一分时段Ts1至第n分时段Tsn。
在每个测量时段中，第二控制器52控制第一发光单元54在分时段中的第一分时段期间(即，在第一分时段Tsl期间)发射脉冲光。
在每个测量时段中，第二控制器52控制第二光接收单元51在第一分时段Tsl至第n分时段Tsn中的任一分时段期间使(所有)像素单元曝光。对于第一测量时段Tm1至第n测量时段Tmn，第二控制器52使像素单元曝光的定时从第一分时段Ts1顺序地移位到第n分时段Tsn。
具体地，第二控制器52控制像素单元的曝光定时，使得：在第一测量时段Tml中，像素单元在第一分时段Tsl期间曝光；在第二测量时段Tm2中，像素单元在第二分时段Ts2期间曝光；......；并且在第n测量时段Tmn中，像素单元在第n分时段Tsn期间曝光(参见图5)。结果是，在一个帧F1中看到，在任何测量时段中的第一分时段Ts1至第n分时段Tsn中的每个分时段期间执行像素单元的曝光。
只有在执行曝光的同时，第二光接收单元51的像素单元才能检测到从对象O1反射的反射光。从第一光发射单元54发射光到反射光到达第二光接收单元51的持续时间取决于从测距单元5到对象O1的距离而变化。在从第一发光单元54发光的时间点经过了时间“t＝2d/c”之后，反射光到达第二光接收单元51，其中“d”表示从距测单元5到对象O1的距离，“c”表示光速。因此，第二控制器52可以基于以下项来计算到存在于发射方向上的对象O1的距离：第二光接收单元51的像素单元接收反射光的分时段的信息，换言之，第二光接收单元51的像素单元接收反射光的测量时段的信息。
在图5的示例中，例如，在每个测量时段中，来自对象O1的反射光在桥接第二分时段Ts2和第三分时段Ts3的时段期间到达。在这种情况下，在第一分时段Ts1期间像素单元曝光的第一测量时段Tm1中，第二光接收单元51不检测反射光。结果是，从像素单元输出的电信号的信号电平应低于预定阈值电平。另一方面，在第二分时段Ts2期间像素单元曝光的第二测量时段Tm2中以及在第三分时段Ts3期间像素单元曝光的第三测量时段Tm3中，像素单元在反射光到达第二光接收单元51时的定时处曝光。因此，第二光接收单元51在这些测量时段中检测反射光。结果是，从像素单元输出的电信号的信号电平高于或等于阈值电平。指示第二控制器52可以确定对象O1存在于与第二分时段Ts2相对应的距离范围和与第三分时段Ts3相对应的距离范围内。换言之，第二控制器52可以确定对象O1存在于以下距离之间的距离范围内：与第一发光单元54发射光后第二分时段Ts2开始的时间相对应的距离(c*Ts/2)；以及与第一发光单元54发射光后第三分时段Ts3结束的时间相对应的距离(3*c*Ts/2)，其中“Ts”表示每个分时段的长度。
由上面的说明可知，测距单元5的可测量距离(测距单元5能够测量的距离的上限)由“n*Ts*c/2”表示。而且，测距单元5的距离分辨率由“Ts*c/2”表示。
第二控制器52改变第一发光单元54的发射方向(水平面和/或垂直方向)，并且从与如此改变的发射方向相对应的像素单元获取电信号。因此，在与每个像素单元相对应的发射方向上，可以测量存在于目标空间S1中的对象O1的距离。
第二控制器52基于从第二光接收单元51的各个像素单元输出的电信号，生成第一距离图像200，第一距离图像200是像素的像素值对应于到存在于目标空间S1中的对象O1的距离的图像。
在不同视角下说明，测距单元5基于距测距单元5的距离，将可测距离划分为多(“n”)个距离范围。多个距离范围包括：与第一分时段Ts1相对应的第一距离范围(0至Ts*c/2)；与第二分时段Ts2相对应的第二距离范围(Ts*c/2至2*Ts*c/2)；......；以及与第n分时段Tsn相对应的第n距离范围((n-1)*Ts*c/2至n*Ts*c/2)。此外，测距单元5针对每个距离范围生成具有与多个像素单元相对应的单位像素的2D图像。针对每个距离范围生成的2D图像例如为二值图像，其中如果像素单元在与所讨论的距离范围相对应的测量时段接收到来自对象O1的反射光(即，该像素单元的信号电平大于或等于阈值电平)，则该像素单元在二值图像中的像素值为“1”，并且如果像素单元没有接收到反射光，则该像素单元在二值图像中的像素值为“0”。然后，第二控制器52基于距离范围，对与多个距离范围相对应的多个2D图像进行着色，例如，施加不同的颜色，并且对基于信号电平超过阈值的程度而加权的这些着色图像进行求和，从而生成第一距离图像200。
第二控制器52生成第一3D数据，并且将所生成的第一3D数据输出到信号处理单元10。在实施例中，第一3D数据包括对如此生成的第一距离图像200加以指示的第一距离信息。第二控制器52将第一距离信息作为第一3D数据输出到信号处理单元10(第二获取单元22)。
检测单元6被配置为获取目标空间S1的第二2D图像。在实施例中，检测单元6获取目标空间S1的第二亮度图像300(参见图9A)作为第二2D图像。检测单元6还被配置为获取目标空间S1的第二3D图像。在实施例中，第二3D图像为第二距离图像400。检测单元6基于飞行时间(TOF)方法测量到对象O1的距离以获取第二距离图像400(参见图10A)。如图4所示，检测单元6包括光接收单元(在下文中，也被称为“第三光接收单元”)61、控制器(在下文中，也被称为“第三控制器”)62、光学系统(在下文中，也被称为“第三光学系统”)63，以及发光单元(在下文中，也被称为“第二发光单元64”)。
与第一发光单元54一样，第二发光单元64包括发射脉冲光的光源(第二光源)。从第二发光单元64发出的光可以是单色的，具有相对短的脉冲宽度和相对较高的峰值强度。从第二发光单元64发射的光的波长可以在近红外波段的波长范围内，在该波长范围内，人类视觉敏感度低且不易受到来自太阳光的干扰光的影响。在本实施例中，第二发光单元64例如包括激光二极管并发射脉冲激光。第二发光单元64的发射定时、脉冲宽度、发射方向等由第三控制器62控制。
与第二光接收单元51一样，第三光接收单元61包括固态成像器件。第三光接收单元61接收反射光，该反射光是从第二发光单元64发射并被对象O1反射的光。第三光接收单元61包括以2D阵列布置的多个像素单元。例如，第三光接收单元61包括的像素单元的数量小于第一光接收单元41包括的像素单元的数量，也小于第二光接收单元51包括的像素单元的数量。多个像素单元中的每个像素单元包括诸如光电二极管的光接收器件。光接收器件可以是雪崩光电二极管。多个像素单元中的每个像素单元仅在曝光时接收光。像素单元的曝光时间由第三控制器62控制。多个像素单元中的每个像素单元输出对光接收器件所接收的光加以指示的电信号。电信号的信号电平对应于光接收器件接收到的光量。
例如，第三光学系统63包括将外部光和反射光聚焦在第三光接收单元61上的透镜。
第三控制器62可以由包括一个或多个存储器和一个或多个处理器的计算机系统实现。第三控制器62的功能通过计算机系统的一个或多个处理器执行一个或多个存储器中存储的程序来实现。程序可以预先存储在存储器中，或者可以通过诸如互联网等电信网络提供，或者可以通过诸如存储卡等非暂时性存储介质提供。
第三控制器62被配置为控制第二发光单元64和第三光接收单元61。第三控制器62控制第二发光单元64的发光定时、脉冲宽度、发光方向等。第三控制器62控制第三光接收单元61的曝光定时、曝光时间等。
第三控制器62确定从第二发光单元64发射的脉冲光的发射方向，并且指定第三光接收单元61的多个像素单元中的能够接收脉冲光的反射光的像素单元。利用一次测距，第三控制器62从该像素单元获取电信号。
第三控制器62将与一次测距相对应的时间段进行划分，使得在其中包括“x”个测量时段(“x”是大于或等于2的整数)，并且进一步将每个测量时段划分为“x”个分时段。在每个测量时段中，第三控制器62控制第二发光单元64在分时段中的第一分时段期间发射脉冲光。第三控制器62还控制第三光接收单元61使像素单元在针对多个测量时段的互不相同的分时段期间曝光。在实施例中，检测单元6执行距离测量的分时段的长度Tt长于测距单元5的分时段的长度Ts。第三控制器62针对每个测量时段获取来自与第三光接收单元61的发射方向相对应的像素单元的电信号。
第三控制器62改变第二发光单元64的发射方向，并且改变第三光接收单元61的多个像素单元中要从其获取电信号的像素单元，并且对多个像素单元中的每个像素单元执行上面的测量。因此，第三控制器62生成分别与多个测量时段相对应的多个2D图像。如针对测距单元5所解释的，多个测量时段分别对应于基于距检测单元6的距离划分目标空间S1的多个距离范围。每个2D图像的像素单元的像素值对应于在对应的测量时段期间所讨论的像素单元所接收的光量。
第三控制器62针对每个像素单元，对所讨论的像素单元在多个2D图像(对应于多个距离范围)中的像素值进行求和，从而生成第二亮度图像300。换言之，检测单元6通过将多个2D图像组合在一起而不识别多个2D图像的距离范围来生成第二亮度图像300(第二2D图像)。
此外，第三控制器62基于每个像素单元的像素值与预定阈值之间的比较，从多个2D图像生成多个二值图像。多个二值图像与多个2D图像(即，多个距离范围)一一对应。二值图像是以下图像：如果对应的2D图像的像素单元的像素值大于或等于阈值则像素值为“1”，如果其像素值小于阈值则像素值为“0”。此外，针对每个二值图像，第三控制器62将根据所讨论的二值图像的距离范围(即，测量时段)确定的像素值分配给像素值为“1”的像素。例如，第三控制器62确定多个二值图像的像素值，使得远离检测单元6的二值图像具有较大的像素值。即，第三控制器62根据它们的距离范围对多个二值图像着色。第三控制器62针对每个像素单元，对基于像素值超过阈值水平的程度而加权的多个二值图像的像素值进行求和，从而生成第二距离图像400。简而言之，检测单元6通过在识别多个2D图像的距离范围的同时将多个2D图像组合在一起来生成第二距离图像400(第二3D图像)。
如上所述，检测单元6基于由同一像素单元所接收的光量来生成第二亮度图像300和第二距离图像400两者。此外，第二亮度图像300和第二距离图像400是从同一组2D图像生成的。这意味着，目标空间S1中与第二亮度图像300的像素相对应的位置和目标空间S1中与第二距离图像400的像素相对应的位置彼此是一一对应的。此外，第二亮度图像300(第二2D图像)的多个像素和第二距离图像400(第二3D图像)的多个像素彼此是一一对应的。
第三控制器62生成第二2D数据并将所生成的第二2D数据输出到信号处理单元10。在实施例中，第二2D数据包括对所生成的第二亮度图像300加以指示的第二亮度信息。第三控制器62将第二亮度信息作为第二2D数据输出到信号处理单元10(第三获取单元23)。第三控制器62生成第二3D数据并将所生成的第二3D数据输出到信号处理单元10。在实施例中，第二3D数据包括对所生成的第二距离图像400加以指示的第二距离信息。第三控制器62将第二距离信息作为第二3D数据输出到信号处理单元10(第三获取单元23)。
如图6所示，信号处理单元10包括第一获取单元21至第三获取单元23和计算单元3。
第一获取单元21从成像单元4获取第一2D数据。在实施例中，第一获取单元21从成像单元4获取指示第一亮度图像100的第一亮度信息作为第一2D数据。第一亮度信息包括如下信息：例如，将指示亮度大小的数值分配给第一亮度图像100的每个像素的位置(坐标)作为像素值。
第二获取单元22从测距单元5获取第一3D数据。在实施例中，第二获取单元22从测距单元5获取指示第一距离图像200的第一距离信息作为第一3D数据。第一距离信息包括以下信息：例如将指示距离量的数值分配给第一距离图像100的每个像素的位置(坐标)作为像素值。
第三获取单元23从检测单元6获取第二2D数据。在实施例中，第三获取单元23从检测单元6获取指示第二亮度图像300的第二亮度信息作为第二2D数据。第二亮度信息包括以下信息：例如，将指示亮度大小的数值分配给第二亮度图像300的每个像素的位置(坐标)作为像素值。第三获取单元23从检测单元6获取第二3D数据。在实施例中，第三获取单元23从检测单元6获取指示第二距离图像400的第二距离信息作为第二3D数据。第二距离信息包括以下信息：例如，将指示距离量的数值分配给第二距离图像400的每个像素的位置(坐标)作为像素值。
如图6所示，计算单元3包括：亮度图像转换单元31，用作2D图像转换单元；距离图像转换单元32，用作3D图像转换单元；以及融合数据生成单元33。计算单元3可以由包括一个或多个存储器和一个或多个处理器的计算机系统实现。计算单元3的单元(亮度图像转换单元31、距离图像转换单元32和融合数据生成单元33)的功能是通过计算机系统的一个或多个处理器执行存储在一个或多个存储器中的程序来实现的。程序可以预先存储在存储器中，或者可以通过诸如互联网等电信网络提供，或者可以通过诸如存储卡等非暂时性存储介质提供。
亮度图像转换单元31执行将第一亮度图像100的每个像素的像素值分配给第二亮度图像300的关联像素区域的转换以生成计算出的亮度图像。即，2D图像转换单元执行将第一2D图像的每个像素的像素值分配给第二2D图像的关联像素区域的转换以生成计算出的2D图像。
距离图像转换单元32执行将第一距离图像200的每个像素的像素值分配给第二距离图像400的关联像素区域的转换以生成计算出的距离图像。即，3D图像转换单元执行将第一3D图像的每个像素的像素值分配给第二3D图像的关联像素区域的转换以生成计算出的3D图像。
融合数据生成单元33基于计算出的亮度图像和计算出的距离图像，生成将第一亮度信息和第一距离信息彼此相关联的融合数据。即，融合数据生成单元33基于计算出的2D图像和计算出的3D图像，生成将第一2D数据和第一3D数据彼此相关联的融合数据。
将参考图7A至图10B说明计算单元3的操作。
在实施例中，测距成像系统1(包括成像单元4、测距单元5、检测单元6和信号处理单元10)被安装在汽车上，并且作为对象O1的人存在于汽车前方的目标空间S1中。
例如，成像单元4捕获目标空间S1的图像以获取如图7A和图7B所示的第一亮度图像100。如图7A和图7B所示，成像单元4生成包括对象O1的第一亮度图像100，其分辨率取决于例如第一光接收单元41的像素数量(像素单元的数量)而确定。注意，第一亮度图像100不具有与到对象O1的距离有关的信息。
测距单元5利用第二光接收单元51的多个像素单元接收从第一发光单元54发射且被目标空间S1反射的光的反射光，并且对接收到的光执行处理，以生成如图8A和图8B所示的第一距离图像200。第一距离图像200可以以取决于例如测距单元5的分时段的长度Ts而确定的分辨率识别到对象O1的距离。例如，当分时段的长度Ts为20[ns]时，分辨率可以是3[m]。图8A示出了从测距单元5到第一距离图像200中存在的对象的距离，使得远离测距单元5的对象着色更深。
检测单元6利用第三光接收单元61接收第二发光单元64发射、并且被目标空间S1反射的光的反射光，并且对接收到的光执行处理，以生成如图9A和图9B所示的第二亮度图像300以及如图10A和图10B所示的第二距离图像400。如上所述，第二亮度图像300的像素和第二距离图像400的像素彼此一一对应。检测单元6的第三光接收单元61的像素数量小于成像单元4的第一光接收单元41的像素数量，因此第二亮度图像300的分辨率小于第一亮度图像100的分辨率。即成像单元4和检测单元6具有互不相同的空间分辨率(在实施例中，成像单元4具有相对较大的空间分辨率)。用于检测单元6的距离测量的分时段的长度Tt比用于测距单元5的距离测量的分时段的长度Ts长，因此第二距离图像400的分辨率(距离分辨率)小于第一距离图像200的分辨率。即，测距单元5和检测单元6具有互不相同的距离分辨率(在实施例中，测距单元5具有相对高的距离分辨率)。例如，检测单元6的分时段的长度Tt可以是100[ns]，距离的分辨率可以是15[m]。
亮度图像转换单元31从第一亮度图像100和第二亮度图像300中的每个亮度图像中提取诸如对象O1的轮廓之类的特征量，并且执行亮度图像的特征量之间的匹配，以例如在第一亮度图像100的多个像素与第二亮度图像300的多个像素之间建立关联。例如，亮度图像转换单元31基于提取到的特征量，确定图7B的像素范围A11对应于图9B的像素范围A31，并将第一亮度图像100的像素范围A1l的像素与第二亮度图像300的像素范围A31的像素相关联。此外，亮度图像转换单元31基于提取到的特征量，确定图7B的像素范围A12对应于图9B的像素范围A32，并且将第一亮度图像100的像素范围A12的像素与第二亮度图像300的像素范围A32的像素彼此相关联。这样，第一亮度图像100和多个第二亮度图像300的多个像素彼此相关联。在第一亮度图像100的像素数量和第二亮度图像300的像素数量彼此相同且成像单元4和检测单元6捕获同一目标空间S1的图像的示例情况下，第一亮度图像100的多个像素和第二亮度图像300的多个像素可以彼此一一相关联。在第一亮度图像100的像素数量在侧向方向和横向方向上都是第二亮度图像300的像素数量的两倍且成像单元4和检测单元6捕获同一目标空间S1的图像的另一示例情况下，第二亮度图像300的一个像素可以与第一亮度图像100的四个(2×2)像素相关联。
在关联完成后，亮度图像转换单元31执行将第一亮度图像100的每个像素的像素值分配给第二亮度图像300的关联像素区域的转换以生成计算出的亮度图像。因此，在第二亮度图像300的像素的每个坐标与第一亮度图像100的像素的像素值相关联的情况下能够生成计算出的亮度图像。即，在第二2D图像的像素的每个坐标与第一2D图像的像素的像素值相关联的情况下能够生成计算出的2D图像。
根据如此生成的计算出的亮度图像(计算出的2D图像)，将第一亮度图像100(第一2D图像)的像素的像素值分配给第二亮度图像300(第二2D图像)的任何像素区域。
距离图像转换单元32将包含在第一距离图像200中的对象O1的距离信息与包含在第二距离图像400中的对象O1的距离信息进行比较，并且例如在包含在第一距离图像200中的对象O1与包含在第二距离图像400中的对象O1之间建立关联。在实施例中，距离图像转换单元32确定当在第二距离图像400中存在同一距离范围内信号电平大于阈值电平且彼此连续的多个像素时，单个对象O1存在于与这些连续像素相对应的区域中(见图10B所示的对象O1)。此外，距离图像转换单元32确定当第一距离图像200中包含的对象O1的距离包含在第二距离图像400中包含的对象O1的距离中或反之亦然时，这些对象O1可以是彼此相同的对象。在示例情况下，假设在第一距离图像200中的区域A2内存在对在294[m]至297[m]的距离范围内存在对象O1加以指示的多个像素，如图8A所示。在示例情况下，还假设在第二距离图像400中的区域A4内，存在对在270[m]至300[m]的距离范围内存在对象O1加以指示的连续像素，如图10A所示。在这种情况下，距离图像转换单元32确定区域A2内的对象O1和区域A4内的对象O1可以是同一对象O1。距离图像转换单元32对多个对象执行这样的确定，并基于该确定，确定第一距离图像200中包含的多个对象O1与第二距离图像400中包含的多个对象O1之间的位置关系。基于这些对象的位置关系，距离图像转换单元32在第一距离图像200的多个像素与第二亮度图像300的多个像素之间建立关联，以提高距离的准确度。具体地，图10B的上述对象O1的距离范围从270[m]到300[m]校正到294[m]到297[m]。与上述针对计算出的亮度图像的情况一样，在第一距离图像200的像素数量和第二距离图像400的像素数量彼此相同并且测距单元5和检测单元6接收来自同一目标空间S1的反射光的示例情况下，第一距离图像200的多个像素与第二距离图像400的多个像素可以彼此一一相关联。在第一距离图像200的像素数量在侧向方向和横向方向上都是第二距离图像400的像素数量的两倍并且测距单元5和检测单元6接收来自同一目标空间S1的反射光的另一示例情况下，第二距离图像400的一个像素可以与第一距离图像200的四个(2×2)个像素相关联。
在关联完成后，距离图像转换单元32执行将第一距离图像200的每个像素的像素值分配给第二距离图像400的关联像素区域的转换以生成计算出的距离图像。因此，在第二距离图像400的像素的每个坐标与第一距离图像200的像素的像素值相关联的情况下能够生成计算出的距离图像。即，在第二3D图像的像素的每个坐标与第一3D图像的像素的像素值相关联的情况下能够生成计算出的距离图像。
根据如此生成的计算出的距离图像(计算出的3D图像)，将第一距离图像200(第一3D图像)的像素的像素值优先分配给第二距离图像400(第二3D图像)的任何像素区域。
融合数据生成单元33基于计算出的亮度图像和计算出的距离图像，生成将关于第一亮度图像100的信息和关于第一距离图像200的信息彼此相关联的融合数据。
如上所述，第二亮度图像300和第二距离图像400具有相同的像素数量，并且第二亮度图像300的多个像素和第二距离图像400的多个像素彼此一一对应。融合数据生成单元33在以下之间建立关联：第一亮度图像100的与第二亮度图像300的特定像素区域相关联的像素的像素值；和第一距离图像200的与第二距离图像400的像素区域相关联的像素的像素值，该像素区域已与(第二亮度图像300的)特定像素区域相关联。简而言之，融合数据生成单元33在第一亮度图像100的多个像素和第一距离图像200的多个像素之间建立关联，而第二亮度图像300和第二距离图像400由检测单元6用作桥接。
融合数据生成单元33因此生成将第一亮度信息和第一距离信息彼此相关联的融合数据(将第一2D数据和第一3D数据彼此相关联的融合数据)。例如，可以将由此生成的融合数据所指示的信息显示为立体图像。
如上所述，根据本实施例的测距成像系统1，第一2D数据和第一3D数据通过检测单元6所获取的第二2D数据和第二3D数据彼此相关联。因此，能够获得将亮度信息(第一亮度信息)和距离信息(第一距离信息)彼此相关联的数据(融合数据)，换言之，能够获得将2D数据(第一2D数据)和3D数据(第一3D数据)彼此相关联的数据(融合数据)。
此外，即使当第一亮度图像100的像素数量和第一距离图像200的像素数量彼此不相同，也能够利用第二亮度信息和第二距离信息在第一亮度图像100和第二亮度图像300之间建立关联。即，第一2D图像和第二3D图像能够通过第二2D数据和第二3D数据彼此相关联。
(3)变体
上述实施例仅仅是本公开的各个实施例的示例。只要能够实现本公开的目的，可以根据设计等以各种方式修改以上实施例。
(3.1)第一变体
参考图11描述本变体的测距成像系统1A和测距方法。
如图11所示，本变体的测距成像系统1A包括信号处理单元10A。信号处理单元10A包括第一获取单元21A、第二获取单元23A和计算单元3A。第二获取单元23A相当于上述实施例的第三获取单元23。因此，本变体的测距成像系统1A不包括与上述实施例的测距成像系统1的第二获取单元22和测距单元5相对应的组件。本变体的测距成像系统1A的与上述实施方式的测距成像系统1的组件共同的组件被赋予相同的数字，后跟字母“A”，并且可以适当地省略对其的说明。
第一获取单元21A被配置为获取第一2D数据。例如，第一获取单元21A被配置为连接到成像单元4A。例如，第一获取单元21A从成像单元4A获取第一2D数据。例如，第一2D数据包括与目标空间S1的第一2D图像有关的信息。例如，第一2D图像是目标空间S1的第一亮度图像100A。
第二获取单元23A被配置为通过同轴光学系统获取第二2D数据和第一3D数据。例如，第二获取单元23A被配置为连接到检测单元6A。例如，第二获取单元23A利用同轴光学系统从检测单元6A获取第二2D数据和第一3D数据。例如，第二2D数据包括与目标空间S1的第二2D图像有关的信息。例如，第二2D图像是目标空间S1的第二亮度图像300A。例如，第一3D数据包括与目标空间S1的第一3D图像有关的信息。第一3D图像是对到存在于目标空间S1中的对象O1的距离加以指示的图像。例如，第一3D图像是目标空间S1的第一距离图像400A。
计算单元3A被配置为执行在第一2D数据与第二2D数据之间建立关联的处理以及在第一2D数据和第一3D数据之间建立关联的处理。
具体地，计算单元3A包括2D数据转换单元和融合数据生成单元。
如图12所示，2D数据转换单元在第一获取单元21A获取的第一2D数据和第二获取单元23A获取的第二2D数据之间建立关联以生成计算出的2D数据。具体地，2D数据转换单元执行将第一2D图像(第一亮度图像100A)的每个像素的像素值分配给第二2D图像(第二亮度图像300A)的相关像素区域的转换以生成计算出的2D图像(计算出的亮度图像)。即，2D数据转换单元通过执行将第一2D数据的每个像素的像素值分配给第二2D数据的关联像素区域的转换以生成计算出的2D数据，来执行用于在第一2D数据与第二2D数据之间建立关联的处理。
如图12所示，融合数据生成单元基于计算出的2D图像和第一3D图像(第一距离图像400A)生成将第一2D数据和第一3D数据彼此相关联的融合数据。即，融合数据生成单元基于计算出的2D数据和第一3D数据生成将第一2D数据和第一3D数据彼此相关联的融合数据。
与检测单元6一样，检测单元6A基于同一像素单元接收的光量生成第二亮度图像300A和第一距离图像400A两者。此外，第二亮度图像300A和第一距离图像400A是从同一组2D图像生成的。这意味着，第二亮度图像300A(第二2D数据)的多个像素与第一距离图像400A(第一3D数据)的多个像素彼此一一对应。
根据本变体的测距成像系统1A，第一2D数据和第一3D数据通过检测单元6A获取的第二2D数据彼此相关联。因此，能够获得将2D数据(第一2D图像)和3D数据(第一3D图像)彼此相关联的数据。
根据本变体的测距成像系统1A，通过第二获取单元23A能够利用同轴光学系统一一对应地获取第二2D数据和第一3D数据，这引起省略复杂的机制。此外，与在3D数据和另一3D数据之间建立关联的情况相比，可以容易地在第一获取单元21A的第一2D数据和第二获取单元23A的第二2D数据之间建立关联。
(3.2)其他变体
测距成像系统1、1A、计算单元3或3A的功能可以通过测距成像方法、(计算机)程序、记录程序的非暂时性存储介质来实现。
根据一个方面的测距成像方法包括第一获取步骤、第二获取步骤、第三获取步骤和处理步骤。第一获取步骤包括从获取目标空间S1的第一2D图像的成像单元4获取第一2D数据。第二获取步骤包括从获取目标空间S1的第一3D图像的测距单元5获取第一3D数据。第三获取步骤包括从利用同轴光学系统获取目标空间S1的第二2D图像和第二3D图像的检测单元6获取第二2D数据和第二3D数据。处理步骤包括执行在第一2D数据与第二2D数据之间建立关联的处理以及在第一3D数据和第二3D数据之间建立关联的处理。
根据一个方面的测距成像方法包括第一获取步骤、第二获取步骤和处理步骤。第一获取步骤包括获取第一2D数据。第二获取步骤包括获取第二2D数据和第一3D数据。处理步骤包括执行在第一2D数据与第二2D数据之间建立关联的处理以及在第一2D数据和第一3D数据之间建立关联的处理。
根据一个方面的程序是被配置为使一个或多个处理器执行上述测距成像方法的程序。
以下将描述其他变体。这些变体主要基于实施例的测距成像系统1进行说明，但也可以适用于变体1的测距成像系统1A。
本公开的测距成像系统1包括计算机系统，例如成像单元4的第一控制器42、测距单元5的第二控制器52、检测单元6的第三控制器62、计算单元3等。计算机系统包括作为主组件的处理器和作为硬件的存储器。根据本公开的作为第一控制器42、第二控制器52、第三控制器62、计算单元3等的功能可以作为处理器执行计算机系统的存储器中存储的程序的结果来实现。该程序可以预先存储在计算机系统的存储器中，也可以通过电信网络提供，也可以通过诸如存储卡、光盘或硬盘驱动器等记录程序的非暂时性计算机可读存储介质而分布。计算机系统的处理器包括：一个或多个电子电路，包括半导体集成电路(IC)或大规模集成电路(LSI)。本文所记载的诸如IC或LSI等集成电路根据集成度的不同而称呼，并且可以包括被称为系统LSI、特大规模集成(VLSI)或超大规模集成(ULSI)的集成电路。此外，也可以采用LSI生产后要编程的现场可编程门阵列(FPGA)，或允许重新配置LSI内部连接关系或重构LSI内部的电路分区的逻辑器件作为处理器。电子电路可以集成在一个芯片上，也可以以分布式的方式设置在芯片上。这些芯片可以集成到一个设备中，也可以以分布式的方式设置在多个设备中。本文所记载的计算机系统包括一个包含一个或多个处理器和一个或多个存储器的微控制器。因此，微控制器可以由包括半导体集成电路或大规模集成电路在内的一个或多个电子电路组成。
对于测距成像系统1来说，为测距成像系统1提供的功能被合并到一个壳体中不是必要的。测距成像系统1的组件可以以分布式方式设置在壳体中。此外，测距成像系统1的至少一部分功能(例如计算单元3)可以通过例如服务器系统、云(云计算)服务等来实现。备选地，如上述实施例那样，测距成像系统1的所有功能可以合并到一个壳体中。
第一获取单元21至第三获取单元23可以通过相同的通信接口来实现，也可以通过互不相同的通信接口来实现。第三获取单元23可以包括用于获取第二亮度信息的通信接口和用于获取第二距离信息的另一通信接口。第一获取单元21至第三获取单元23中的任一个不限于通信接口，也可以是将成像单元4、测距单元5或检测单元6互连到计算单元3的电线。
第一控制器42不限于生成第一亮度图像100(第一2D图像)。第一控制器42可以输出能够从中生成第一亮度图像100(第一2D图像)的信息作为第一亮度信息(第一2D数据)。第二控制器52不限于生成第一距离图像200(第一3D图像)。第二控制器52可以输出能够从中生成第一距离图像200(第一3D图像)的信息作为第一距离信息(第一3D数据)。第三控制器62不限于生成第二亮度图像300(第二2D图像)。第三控制器62可以输出能够从中生成第二亮度图像300(第二2D图像)的信息作为第二亮度信息(第二2D数据)。第三控制器62不限于生成第二距离图像400(第二3D图像)。第三控制器62可以输出能够从中生成第二距离图像400(第二3D图像)的信息作为第二距离信息(第二3D数据)。检测单元6A的控制器不限于生成第一距离图像400A(第一3D图像)。检测单元6A的控制器可以输出能够从中生成第一距离图像400A(第一3D图像)的信息作为第一距离信息(第一3D数据)。
融合数据包括作为其内部数据的第二亮度图像300的各个像素的像素值、第二距离图像400的各个像素的像素值等。在这种情况下，如果第一亮度图像100中的某个像素具有错误的像素值，则该像素的像素值例如可以是第二亮度图像300的像素值。
第一亮度图像100的分辨率(像素数量)和第二亮度图像300的分辨率(像素数量)可以彼此相同或可以彼此不同。第一距离图像200的分辨率(距离分辨率)和第二距离图像400的分辨率(距离分辨率)可以彼此相同或可以彼此不同。
成像单元4的多个像素单元和检测单元6的多个像素单元可以预先彼此相关联。计算单元3可以基于成像单元4的像素单元和检测单元6的像素单元之间初步确定的关系，将第一亮度图像100和第二亮度图像彼此相关联。测距单元5的多个像素单元和检测单元6的多个像素单元可以预先彼此相关联。计算单元3可以根据测距单元5的像素单元与检测单元6的像素单元之间初步确定的关系，在第一距离图像200和第二距离图像400之间建立关联。
(4)总结
从上述实施例和变体中可以明显看出，本公开公开了以下方面。
第一方面的测距成像系统(1)包括第一获取单元(21)、第二获取单元(22)、第三获取单元(23)和计算单元(3)。第一获取单元(21)被配置为从成像单元(4)获取第一2D数据。成像单元(4)被配置为获取目标空间的第一2D图像(S1)。第二获取单元(22)被配置为从测距单元(5)获取第一3D数据。测距单元(5)被配置为获取目标空间(S1)的第一3D图像。第三获取单元(23)被配置为从检测单元(6)获取第二2D数据和第二3D数据。检测单元(6)被配置为利用同轴光学系统获取目标空间(S1)的第二2D图像和第二3D图像。计算单元(3)被配置为执行在第一2D数据与第二2D数据之间建立关联的处理以及在第一3D数据和第二3D数据之间建立关联的处理。
在该方面，第一2D数据和第一3D数据通过检测单元(6)获取的第二2D数据和第二3D数据彼此相关联。因此，能够获得将2D数据(第一2D数据)和3D数据(第一3D数据)彼此相关联的数据。
在第二方面的测距成像系统(1)中，根据第一方面，计算单元(3)包括2D图像转换单元(亮度图像转换单元31)、3D图像转换单元(距离图像转换单元32)和融合数据生成单元(33)。2D图像转换单元被配置为执行将第一2D图像的每个像素的像素值分配给第二2D图像的关联像素区域的转换，以生成计算出的2D图像。3D图像转换单元被配置为执行将第一3D图像的每个像素的像素值分配给第二3D图像的关联像素区域的转换以生成计算出的3D图像。融合数据生成单元(33)被配置为基于计算出的2D图像和计算出的3D图像生成将第一2D数据和第一3D数据彼此相关联的融合数据。
在该方面，能够获得将第一2D数据和第一3D数据彼此相关联的数据。
在第三方面的测距成像系统(1)中，根据第一方面或第二方面，检测单元(6)被配置为基于距检测单元(6)的距离将目标空间(S1)划分为多个距离范围，并生成分别对应于多个距离范围的多个2D图像。检测单元(6)被配置为在不识别多个2D图像的距离范围的情况下，通过将多个2D图像组合在一起来生成第二2D图像。检测单元(6)被配置为通过在识别多个2D图像的距离范围的同时将多个2D图像组合在一起来生成第二3D图像。第二2D图像的多个像素与第二3D图像的多个像素彼此一一对应。
在该方面，从同一组2D图像生成第二2D图像和第二3D图像，使得容易地在第二2D图像和第二3D图像之间建立关联。
在第四方面的测距成像系统(1)中，根据第一方面至第三方面中的任一方面，成像单元(4)和检测单元(6)具有互不相同的光轴，并且测距单元(5)和检测单元(6)具有互不相同的光轴。
在该方面，能够在2D图像(第一2D图像)和3D图像(第一3D图像)之间建立关联，这是利用其中第一2D图像、第一3D图像、第二2D图像和第二3D图像是利用具有互不相同的光轴的成像单元(4)、测距单元(5)和检测单元(6)来生成的系统。
在第五方面的测距成像系统(1)中，根据第一方面至第四方面中的任一方面，成像单元(4)和检测单元(6)具有互不相同的空间分辨率，并且测距单元(5)和检测单元(6)具有互不相同的距离分辨率。
在该方面，能够在2D图像(第一2D图像)和3D图像(第一3D图像)之间建立关联，这是利用其中成像单元(4)和检测单元(6)具有互不相同的空间分辨率并且测距单元(5)和检测单元(6)具有互不相同的距离分辨率的系统。
第六方面的测距成像系统(1)，根据第一方面至第五方面中的任一方面，还包括成像单元(4)、测距单元(5)或检测单元(6)中的至少一个。
在该方面，能够获得将2D数据(第一2D数据)和3D数据(第一3D数据)彼此相关联的数据。测距成像系统(1)还可以包括成像单元(4)、测距单元(5)和检测单元(6)中的任意两个，或成像单元(4)、测距单元(5)和检测单元(6)的全部。
第七方面的测距成像方法包括第一获取步骤、第二获取步骤、第三获取步骤和处理步骤。第一获取步骤包括从获取目标空间的第一2D图像(S1)的成像单元(4)获取第一2D数据。第二获取步骤包括从获取目标空间的第一3D图像的测距单元(5)获取第一3D数据(S1)。第三获取步骤包括从检测单元(6)获取第二2D数据和第二3D数据。检测单元(6)利用同轴光学系统获取目标空间(S1)的第二2D图像和第二3D图像。处理步骤包括执行在第一2D数据与第二2D数据之间建立关联的处理以及在第一3D数据和第二3D数据之间建立关联的处理。
在该方面，能够获得在2D数据(第一2D数据)和3D数据(第一3D数据)之间相关联的数据。
第八方面的程序是被配置为使一个或多个处理器执行第七方面的测距成像方法的程序。
在该方面，能够获得将2D数据(第一2D数据)和3D数据(第一3D数据)彼此相关联的数据。
第九方面的测距成像系统(1A)包括第一获取单元(21A)、第二获取单元(23A)和计算单元(3A)。第一获取单元(21A)被配置为获取第一2D数据。第二获取单元(23A)被配置为利用同轴光学系统获取第二2D数据和第一3D数据。计算单元(3A)被配置为执行在第一2D数据与第二2D数据之间建立关联的处理以及在第一2D数据和第一3D数据之间建立关联的处理。
在该方面，能够获得将2D数据(第一2D数据)和3D数据(第一3D数据)彼此关联的数据。
在第十方面的测距成像系统(1A)中，根据第九方面，计算单元(3A)包括2D数据转换单元和融合数据生成单元。2D数据转换单元被配置为通过执行将第一2D数据的每个像素的像素值分配给第二2D数据的关联像素区域的转换以生成计算出的2D数据，来执行在第一2D数据与第二2D数据之间建立彼此关联的处理。融合数据生成单元被配置为基于计算出的2D数据和第一3D数据生成将第一2D数据和第一3D数据彼此相关联的融合数据。
在该方面，能够获得将2D数据(第一2D数据)和3D数据(第一3D数据)彼此相关联的融合数据。
在第十一方面的测距成像系统(1A)中，根据第九或第十方面，第二2D数据的多个像素和第一3D数据的多个像素彼此一一对应。
在该方面，容易地在第二2D数据和第二3D数据之间建立关联。
在第十二方面的测距成像系统(1A)中，根据第九方面至第十一方面中的任一方面，第一获取单元(21A)和第二获取单元(23A)具有互不相同的光轴。
在第十三方面的测距成像系统(1A)中，根据第九方面至第十二方面中的任一方面，第一获取单元(21A)和第二获取单元(23A)具有互不相同的空间分辨率。
第十四方面的测距成像方法包括第一获取步骤、第二获取步骤和处理步骤。第一获取步骤包括获取第一2D数据。第二获取步骤包括利用同轴光学系统获取第二2D数据和第一3D数据。处理步骤包括执行在第一2D数据与第二2D数据之间建立关联的处理以及在第一2D数据和第一3D数据之间建立关联的处理。
在该方面，能够获得将2D数据(第一2D数据)和3D数据(第一3D数据)彼此相关联的数据。
第十五方面的程序是被配置为使一个或多个处理器执行第十四方面的测距成像方法的程序。
在该方面，能够获得将2D数据(第一2D数据)和3D数据(第一2D数据)彼此相关联的数据。
附图标记列表
1、1A 测距成像系统
21 第一获取单元
22 第二获取单元
23A 第二获取单元
23 第三获取单位
3、3A 计算单元
31 亮度图像转换单元
32 距离图像转换单元
33 融合数据生成单元
4、4A 成像单元
5 测距单元
6、6A 检测单元
S1 目标空间
O1 对象。

Claims (15)

1.一种测距成像系统，包括：
第一获取单元，被配置为从获取目标空间的第一2D图像的成像单元获取指示所述第一2D图像的第一2D数据；
第二获取单元，被配置为从获取所述目标空间的第一3D图像的测距单元获取指示所述第一3D图像的第一3D数据；
第三获取单元，被配置为从利用同轴光学系统获取所述目标空间的第二2D图像和第二3D图像的检测单元获取指示所述第二2D图像的第二2D数据和指示所述第二3D图像的第二3D数据；以及
计算单元，被配置为执行：在所述第一2D数据与所述第二2D数据之间建立关联的第一关联处理；在所述第一3D数据与所述第二3D数据之间建立关联的第二关联处理；以及在所述第一2D数据与所述第一3D数据之间建立关联的第三关联处理，
所述第一关联处理包括：基于包含在所述第一2D图像中的对象的特征量和包含在所述第二2D图像中的对象的特征量，在包含在所述第一2D图像中的多个像素与包含在所述第二2D图像中的多个像素之间建立关联，
所述第二关联处理包括：基于包含在所述第一3D图像中的对象的距离信息和包含在所述第二3D图像中的对象的距离信息，在包含在所述第一3D图像中的多个像素与包含在所述第二3D图像中的多个像素之间建立关联，
所述第三关联处理包括：基于所述第一关联处理的结果、所述第二关联处理的结果、以及彼此一一对应的包含在所述第二2D图像中的多个像素与包含在所述第二3D图像中的多个像素之间的对应关系，在包含在所述第一2D图像中的多个像素与包含在所述第一3D图像中的多个像素之间建立关联。
2.根据权利要求1所述的测距成像系统，其中，
所述计算单元包括：
2D图像转换单元，被配置为执行将所述第一2D图像的每个像素的像素值分配给所述第二2D图像的关联像素区域的转换，以生成计算出的2D图像；
3D图像转换单元，被配置为执行将所述第一3D图像的每个像素的像素值分配给所述第二3D图像的关联像素区域的转换，以生成计算出的3D图像；以及
融合数据生成单元，被配置为基于所述计算出的2D图像和所述计算出的3D图像，生成将所述第一2D数据和所述第一3D数据彼此相关联的融合数据。
3.根据权利要求1或2所述的测距成像系统，其中，
所述检测单元被配置为：
基于距所述检测单元的距离将所述目标空间划分为多个距离范围，并且生成分别对应于所述多个距离范围的多个2D图像；
通过在不识别所述多个2D图像的所述距离范围的情况下将所述多个2D图像组合在一起来生成所述第二2D图像；以及
通过在识别所述多个2D图像的所述距离范围的同时将所述多个2D图像组合在一起来生成所述第二3D图像，
所述第二2D图像的多个像素与所述第二3D图像的多个像素彼此一一对应。
4.根据权利要求1或2所述的测距成像系统，其中，
所述成像单元和所述检测单元具有互不相同的光轴，以及
所述测距单元和所述检测单元具有互不相同的光轴。
5.根据权利要求1或2所述的测距成像系统，其中，
所述成像单元和所述检测单元具有互不相同的空间分辨率，以及
所述测距单元和所述检测单元具有互不相同的距离分辨率。
6.根据权利要求1或2所述的测距成像系统，还包括所述成像单元、所述测距单元或所述检测单元中的至少一个单元。
7.一种测距成像方法，包括：
第一获取步骤，从获取目标空间的第一2D图像的成像单元获取指示所述第一2D图像的第一2D数据；
第二获取步骤，从获取所述目标空间的第一3D图像的测距单元获取指示所述第一3D图像的第一3D数据；
第三获取步骤，从利用同轴光学系统获取所述目标空间的第二2D图像和第二3D图像的检测单元获取指示所述第二2D图像的第二2D数据和指示所述第二3D图像的第二3D数据；以及
处理步骤，执行：在所述第一2D数据与所述第二2D数据之间建立关联的第一关联处理；在所述第一3D数据与所述第二3D数据之间建立关联的第二关联处理；以及在所述第一2D数据与所述第一3D数据之间建立关联的第三关联处理，
所述第一关联处理包括：基于包含在所述第一2D图像中的对象的特征量和包含在所述第二2D图像中的对象的特征量，在包含在所述第一2D图像中的多个像素与包含在所述第二2D图像中的多个像素之间建立关联，
所述第二关联处理包括：基于包含在所述第一3D图像中的对象的距离信息和包含在所述第二3D图像中的对象的距离信息，在包含在所述第一3D图像中的多个像素与包含在所述第二3D图像中的多个像素之间建立关联，
所述第三关联处理包括：基于所述第一关联处理的结果、所述第二关联处理的结果、以及彼此一一对应的包含在所述第二2D图像中的多个像素与包含在所述第二3D图像中的多个像素之间的对应关系，在包含在所述第一2D图像中的多个像素与包含在所述第一3D图像中的多个像素之间建立关联。
8.一种记录程序的非暂时性存储介质，所述程序被配置为使一个或多个处理器执行根据权利要求7所述的测距成像方法。
9.一种测距成像系统，包括：
第一获取单元，被配置为获取指示第一2D图像的第一2D数据；
第二获取单元，被配置为获取利用同轴光学系统获取的指示第二2D图像的第二2D数据和指示第一3D图像的第一3D数据；以及
计算单元，被配置为执行在所述第一2D数据与所述第二2D数据之间建立关联的第一关联处理以及在所述第一2D数据与所述第一3D数据之间建立关联的第二关联处理，
所述第一关联处理包括：基于包含在所述第一2D图像中的对象的特征量和包含在所述第二2D图像中的对象的特征量，在包含在所述第一2D图像中的多个像素与包含在所述第二2D图像中的多个像素之间建立关联，
所述第二关联处理包括：基于所述第一关联处理的结果、以及彼此一一对应的包含在所述第二2D图像中的多个像素与包含在所述第一3D图像中的多个像素之间的对应关系，在包含在所述第一2D图像中的多个像素与包含在所述第一3D图像中的多个像素之间建立关联。
10.根据权利要求9所述的测距成像系统，其中，
所述计算单元包括：
2D数据转换单元，被配置为通过执行将所述第一2D数据的每个像素的像素值分配给所述第二2D数据的关联像素区域的转换以生成计算出的2D数据，来执行在所述第一2D数据与所述第二2D数据之间建立关联的处理；以及
融合数据生成单元，被配置为基于所述计算出的2D数据和所述第一3D数据，生成将所述第一2D数据和所述第一3D数据彼此相关联的融合数据。
11.根据权利要求9或10所述的测距成像系统，其中，
所述第二2D数据的多个像素与所述第一3D数据的多个像素彼此一一对应。
12.根据权利要求9或10所述的测距成像系统，其中，
所述第一获取单元和所述第二获取单元具有互不相同的光轴。
13.根据权利要求9或10所述的测距成像系统，其中，
所述第一获取单元和所述第二获取单元具有互不相同的空间分辨率。
14.一种测距成像方法，包括：
第一获取步骤，获取指示第一2D图像的第一2D数据；
第二获取步骤，获取利用同轴光学系统获取的指示第二2D图像的第二2D数据和指示第一3D图像的第一3D数据；以及
处理步骤，执行在所述第一2D数据与所述第二2D数据之间建立关联的第一关联处理以及在所述第一2D数据与所述第一3D数据之间建立关联的第二关联处理，
所述第一关联处理包括：基于包含在所述第一2D图像中的对象的特征量和包含在所述第二2D图像中的对象的特征量，在包含在所述第一2D图像中的多个像素与包含在所述第二2D图像中的多个像素之间建立关联，
所述第二关联处理包括：基于所述第一关联处理的结果、以及彼此一一对应的包含在所述第二2D图像中的多个像素与包含在所述第一3D图像中的多个像素之间的对应关系，在包含在所述第一2D图像中的多个像素与包含在所述第一3D图像中的多个像素之间建立关联。
15.一种记录程序的非暂时性存储介质，所述程序被配置为使一个或多个处理器执行根据权利要求14所述的测距成像方法。
CN202080022206.8A 2019-03-26 2020-03-09 测距成像系统、测距成像方法和程序 Active CN113597534B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-059472 2019-03-26
JP2019059472 2019-03-26
PCT/JP2020/010092 WO2020195755A1 (ja) 2019-03-26 2020-03-09 測距撮像システム、測距撮像方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN113597534A CN113597534A (zh) 2021-11-02
CN113597534B true CN113597534B (zh) 2023-07-25

Family

ID=72610079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080022206.8A Active CN113597534B (zh) 2019-03-26 2020-03-09 测距成像系统、测距成像方法和程序

Country Status (4)

Country Link
US (1) US20220003875A1 (zh)
JP (1) JP7262064B2 (zh)
CN (1) CN113597534B (zh)
WO (1) WO2020195755A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117616310A (zh) * 2021-07-16 2024-02-27 新唐科技日本株式会社 物体检测装置及物体检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04169805A (ja) * 1990-11-01 1992-06-17 Matsushita Electric Ind Co Ltd 三次元画像測定装置
CN104913763A (zh) * 2014-03-14 2015-09-16 莱卡地球系统公开股份有限公司 用于创建空间模型的方法和手持测距装置
JP2016040520A (ja) * 2013-01-10 2016-03-24 三洋電機株式会社 物体検出装置
CN107533761A (zh) * 2015-04-27 2018-01-02 索尼半导体解决方案公司 图像处理装置和图像处理系统
CN109285220A (zh) * 2018-08-30 2019-01-29 百度在线网络技术（北京）有限公司 一种三维场景地图的生成方法、装置、设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4802891B2 (ja) 2006-06-27 2011-10-26 トヨタ自動車株式会社 距離測定システム及び距離測定方法
US9215382B1 (en) 2013-07-25 2015-12-15 The United States Of America As Represented By The Secretary Of The Navy Apparatus and method for data fusion and visualization of video and LADAR data
EP3215808B1 (en) * 2014-11-05 2021-01-06 Sierra Nevada Corporation Systems and methods for generating improved environmental displays for vehicles
JP6297965B2 (ja) * 2014-11-11 2018-03-20 日本電信電話株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN107683403B (zh) * 2015-06-09 2020-05-05 富士胶片株式会社 距离图像获取装置以及距离图像获取方法
JP7038315B2 (ja) 2016-09-08 2022-03-18 パナソニックＩｐマネジメント株式会社 カメラパラメータ算出装置、カメラパラメータ算出方法、プログラム、及び記録媒体
US10419741B2 (en) * 2017-02-24 2019-09-17 Analog Devices Global Unlimited Company Systems and methods for compression of three dimensional depth sensing
JP2019012915A (ja) * 2017-06-30 2019-01-24 クラリオン株式会社 画像処理装置、画像変換方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04169805A (ja) * 1990-11-01 1992-06-17 Matsushita Electric Ind Co Ltd 三次元画像測定装置
JP2016040520A (ja) * 2013-01-10 2016-03-24 三洋電機株式会社 物体検出装置
CN104913763A (zh) * 2014-03-14 2015-09-16 莱卡地球系统公开股份有限公司 用于创建空间模型的方法和手持测距装置
CN107533761A (zh) * 2015-04-27 2018-01-02 索尼半导体解决方案公司 图像处理装置和图像处理系统
CN109285220A (zh) * 2018-08-30 2019-01-29 百度在线网络技术（北京）有限公司 一种三维场景地图的生成方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP7262064B2 (ja) 2023-04-21
WO2020195755A1 (ja) 2020-10-01
US20220003875A1 (en) 2022-01-06
JPWO2020195755A1 (zh) 2020-10-01
CN113597534A (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
CN110596721B (zh) 双重共享tdc电路的飞行时间距离测量系统及测量方法
US11448757B2 (en) Distance measuring device
US7834985B2 (en) Surface profile measurement
CN106662651B (zh) Tof相机系统以及用于测量与该系统的距离的方法
US10935371B2 (en) Three-dimensional triangulational scanner with background light cancellation
Hussmann et al. A performance review of 3D TOF vision systems in comparison to stereo vision systems
US9964643B2 (en) Vehicle occupancy detection using time-of-flight sensor
US6373557B1 (en) Method and apparatus for picking up a three-dimensional range image
CN110596722A (zh) 直方图可调的飞行时间距离测量系统及测量方法
CN114616489A (zh) Lidar图像处理
US11914078B2 (en) Calibration of a depth sensing array using color image data
EP2927710B1 (en) Ranging system, information processing method and program thereof
US11662443B2 (en) Method and apparatus for determining malfunction, and sensor system
WO2021113001A1 (en) Configurable array of single-photon detectors
CN113597534B (zh) 测距成像系统、测距成像方法和程序
CN112740065A (zh) 使用视觉惯性测距的增强深度映射
CN112230244A (zh) 一种融合的深度测量方法及测量装置
JP6379646B2 (ja) 情報処理装置、測定方法及びプログラム
US20230078828A1 (en) Information processing system, sensor system, information processing method, and program
US20220091236A1 (en) Techniques for detecting and mitigating interference among multiple lidar sensors
JP7176364B2 (ja) 距離情報取得装置および距離情報取得方法
US11470261B2 (en) Three-dimensional distance measuring method and device
US20230019246A1 (en) Time-of-flight imaging circuitry, time-of-flight imaging system, and time-of-flight imaging method
CN116997821A (zh) 感测系统
Hussmann et al. A review on commercial solid state 3D cameras for machine vision applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant