CN105899966B - 距离图像生成装置以及距离图像生成方法 - Google Patents

距离图像生成装置以及距离图像生成方法 Download PDF

Info

Publication number
CN105899966B
CN105899966B CN201580003765.3A CN201580003765A CN105899966B CN 105899966 B CN105899966 B CN 105899966B CN 201580003765 A CN201580003765 A CN 201580003765A CN 105899966 B CN105899966 B CN 105899966B
Authority
CN
China
Prior art keywords
light
signal
exposure
value
irradiation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580003765.3A
Other languages
English (en)
Other versions
CN105899966A (zh
Inventor
村井嘉彦
山本真嗣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nuvoton Technology Corp Japan
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN105899966A publication Critical patent/CN105899966A/zh
Application granted granted Critical
Publication of CN105899966B publication Critical patent/CN105899966B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4868—Controlling received signal intensity or exposure of sensor

Abstract

距离图像生成装置，具备：光照射部，使信号光从光源照射到被摄体；受光部，对来自被摄体的反射光进行受光；距离图像生成部，根据照射与受光的时间差计算到被摄体为止的距离值，并且，生成距离图像；距离值分布解析部，计算距离图像生成部计算出的距离值的分布特性；照射控制部，对光照射部的输出进行调整；曝光控制部，对受光部的曝光进行调整；以及信号调整部，根据分布特性，对照射控制部和曝光控制部进行调整。信号调整部，根据通过第一信号光的照射以及受光而获得的分布特性，针对第二信号光，对照射控制部和曝光控制部的至少一个进行调整。

Description

距离图像生成装置以及距离图像生成方法
技术领域
本发明涉及，向被摄体照射信号光，达到被摄体的信号光由被摄体反射，根据对该反射光进行受光时产生的、信号光与反射光的时间差，获得被摄体的距离信息的TOF(TimeOf Flight)方式的距离图像生成装置以及方法。
背景技术
近几年，对于生成具有被摄体的测距信息的图像(以下，距离图像)的装置以及方法，根据设备的小型化以及面向普通消费者的商品的出现，不止以往所利用的游戏以及娱乐领域中的利用，人们关注向医疗以及广告等的多领域的用途、技术展开。
对于用于生成距离图像的被摄体的测距方法，存在几个方法，即，根据利用多个相机拍摄的图像的视差来生成距离图像的方法，以及向被摄体照射已知的随机点图案，并根据点图案的失真来生成距离图像的方法等，对于这些方法的一个例子，可以举出以下的方法，即，根据向被摄体照射红外光以及激光，达到被摄体来反射后受光为止的测量时间，来计算(测距)到被摄体为止的距离的TOF方式。
若被摄体的测距精度高，控制的自由度则显然提高。在TOF方式中，利用对被摄体所反射的光进行曝光而获得的信号量，因此，按照摄像点至被摄体的距离、以及被摄体的表面反射率，适当地执行照射的信号光的发光调整以及受光的反射光的曝光调整等，从而能够期待因受光信号的饱和以及信噪比的恶化防止而引起的测距精度的提高以及高精度的距离图像的生成。
根据某现有技术，在生成精度高的合成距离图像时，获得曝光不同的多张距离图像，对这些多张图像的每个像素进行比较，从而生成合成距离图像(参照专利文献1)。
根据其他的现有技术，按照获得的距离图像的距离值的分布特性，调整为被摄体的测距所需要的最低限度的发光量(功耗)(参照专利文献2)。
(现有技术文献)
(专利文献)
专利文献1：日本特开2012-225807号公报
专利文献2：日本特开2011-179997号公报
对于专利文献1的距离图像合成方法，在生成精度高的合成距离图像时，获得曝光不同的多张距离图像，对这些多张图像的每个像素进行比较，从而生成合成距离图像，因此，存在的问题是，难以避免因像素数增加而引起的生成时间的增加，为了生成而需要时间。
对于专利文献2的光量调整方法，按照获得的距离图像的距离值的分布特性，调整为被摄体的测距所需要的最低限度的发光量(功耗)，因此，难以获得精度高的距离信息。而且，在被摄体存在于多个不同的距离(深度)的情况下存在的问题是，设定为最低限度的发光量，因此，不能获得所有的被摄体的距离信息。
发明内容
鉴于所述的问题，本发明的目的在于实现如下情况，即，按照被摄体位置对信号光的照射以及反射光的曝光进行控制，且在短时间内获得精度高的距离信息。也就是说，目的在于，针对以一个以上的被摄体为对象的距离图像，高精度地生成距离图像。
为了实现所述目的，本发明的实施方案之一有关的距离图像生成装置，具备：光照射部，使信号光从光源照射到被摄体；受光部，对反射光进行受光，并获得信号量，所述反射光是从所述光照射部照射的所述信号光由被摄体反射而产生的；距离图像生成部，根据照射的开始时间与受光的开始时间的时间差计算到被摄体为止的距离值，并且，生成距离图像；距离值分布解析部，解析所述距离图像生成部计算出的所述距离值的分布特性；照射控制部，对所述光照射部的所述信号光的输出进行调整；曝光控制部，对所述受光部的受光进行调整；以及信号调整部，根据所述分布特性，计算与所述输出以及所述受光有关的调整值，对所述照射控制部和所述曝光控制部进行控制，所述光照射部向被摄体照射所述信号光，所述受光部在不同的定时获得多个所述信号量，距离图像生成部根据所述多个信号量的比率，计算到被摄体为止的所述距离值，为了生成被摄体的所述距离图像而照射的所述信号光包括第一信号光和第二信号光，所述第一信号光是，用于计算与所述第二信号光的输出以及受光有关的所述调整值的信号光，所述第二信号光是，用于生成所述距离图像的信号光，所述信号调整部，根据通过所述第一信号光的照射以及受光而获得的所述分布特性，针对所述第二信号光，对所述照射控制部和所述曝光控制部的至少一个进行控制。
例如，信号调整部，根据通过第一信号光的照射以及受光而获得的距离值的分布特性，对作为所述调整值的第二信号光的照射强度、照射时间、照射次数、无需曝光时间、曝光开始时间、曝光时间、以及曝光次数之中的至少一个进行调整，从而对所述照射控制部和所述曝光控制部进行控制。
根据本发明，针对以一个以上的被摄体为对象的距离图像，高精度地生成距离图像。
附图说明
图1是示出本发明的实施例1以及实施例2涉及的距离图像生成装置的结构的框图。
图2是按照S0、S1的顺序获得信号量，获得一次各个信号量时的TOF方式的时序图的一个例子。
图3是按照S0、S1、BG的顺序获得信号量，获得一次各个信号量时的TOF方式的时序图的一个例子。
图4是按照S1、S0、BG的顺序获得信号量，获得一次各个信号量时的TOF方式的时序图的一个例子。
图5A是按照S0、S1的顺序获得信号量，获得N次(N：自然数)各个信号量时的TOF方式的时序图的一个例子。
图5B是图5A以后的时序图。
图5C是图5B以后的时序图。
图6A是按照S0、S1、BG的顺序获得信号量，获得N次(N：自然数)各个信号量时的TOF方式的时序图的一个例子。
图6B是图6A以后的时序图。
图6C是图6B以后的时序图。
图6D是图6C以后的时序图。
图7A是按照S1、S0、BG的顺序获得信号量，获得N次(N：自然数)各个信号量时的TOF方式的时序图的一个例子。
图7B是图7A以后的时序图。
图7C是图7B以后的时序图。
图8是本发明的实施例1以及实施例2的处理顺序的流程图。
图9是示出被摄体的测距的一个例子的图。
图10是被摄体测距时序图的一个例子。
图11是示出生成的距离图像的一个例子的图。
图12A是示出被摄体的距离值的分布特性的一个例子的图。
图12B是示出被摄体的距离值的分布特性的一个例子的图。
图13是本发明的实施例1的利用第一信号光(调整光)按照S0、S1的顺序获得信号量，获得一次各个信号量时的时序图的一个例子。
图14是利用第一信号光(调整光)按照S0、S1、BG的顺序获得信号量，获得一次各个信号量时的时序图的一个例子。
图15是利用第一信号光(调整光)按照S1、S0、BG的顺序获得信号量，获得一次各个信号量时的时序图的一个例子。
图16是与图8不同的处理顺序的流程图的一个例子。
图17是交替照射第一信号光(调整光)和第二信号光(测距光)来执行第二信号光(测距光)的再调整时的流程图的一个例子。
图18是一定时间经过后照射第一信号光(调整光)来执行第二信号光(测距光)的再调整时的流程图的一个例子。
图19是根据以第一信号光(调整光)计算出的距离值的分布特性与以第二信号光(测距光)计算出的距离值的分布特性的比较结果来执行第二信号光(测距光)的再调整时的流程图的一个例子。
图20是在利用第一信号光(调整光)的距离值的分布特性的计算时信号饱和的情况下调整第一信号光(调整光)的照射时的流程图的一个例子。
图21是本发明的实施例2的利用第一信号光(调整光)按照S0、S1的顺序获得信号量，获得一次各个信号量时的时序图的一个例子。
图22是利用第一信号光(调整光)按照S0、S1、BG的顺序获得信号量，获得一次各个信号量时的时序图的一个例子。
图23是利用第一信号光(调整光)按照S1、S0、BG的顺序获得信号量，获得一次各个信号量时的时序图的一个例子。
具体实施方式
以下，对于用于实施本发明的形态，利用附图进行详细说明。但是，本发明不仅限于以下的说明，本领域技术人员能够容易理解只要不脱离本发明的宗旨以及其范围就能够进行其形态以及详情的各种变更。因此，不应该限于以下示出的实施例的记载内容来解释本发明。而且，在以下说明的发明的结构中，对于同一部分或同样的功能的部分在附图之间共同利用同一符号，省略其反复说明。
(实施例1)
图1是示出本发明的一个实施例涉及的距离图像生成装置100的概要结构的框图。图1示出的距离图像生成装置100是，利用了TOF方式的距离图像生成装置，具备：光照射部101，向被摄体照射信号光，来计算信号量；受光部102，对信号光由被摄体反射而产生的反射光进行受光；距离图像生成部103，根据照射光与反射光的时间差计算距离图像生成装置100至被摄体的距离，生成各个像素中具有计算出的距离以作为距离值的距离图像；距离值分布解析部104，解析距离值的分布特性；信号调整部105，决定发光和曝光的调整值；照射控制部106，调整发光；以及曝光控制部107，调整曝光。信号调整部，根据通过信号光的照射以及受光而获得的分布特性，对照射控制部106以及曝光控制部107的至少一个进行控制。
对于光照射部101照射的光，可以举出红外光以及激光等。对于受光部102所利用的图像传感器，可以举出CCD(Charge Coupled Device)、CMOS(Complementaly Metal-Oxide Semiconductor)传感器等。
可以举出通过距离值分布解析部104解析出的分布特性所示的信号量的最大值、平均值、阈值的设定、极大值等来决定调整值的方法，以及使信号调整部105具有信号量调整表，与分布特性的结果对应来决定调整值的方法等。
对于调整照射控制部106的参数的例子，可以举出照射的信号光的强度、照射的信号光的发光时间、照射的信号光的照射次数等。对于调整曝光控制部107的参数的例子，可以举出曝光的时间、曝光的定时等。并且，对于参数的调整方法的例子，可以举出图像传感器的快门速度的变更、光圈机构的使用、能够变更光透射率的滤波器的使用等。
在本发明中，其中，利用TOF方式计算到被摄体为止的距离值，根据计算出的距离值的分布特性，调整信号光。为了便于说明，利用第一信号光以及第二信号光这两种信号光进行说明。第一信号光是，用于第二信号光的发光以及曝光的调整的信号光，第二信号光是，用于生成与被摄体位置以及数量对应的精度高的距离图像的信号光。
首先，说明利用了TOF方式的被摄体的测距方法。TOF方式是如下的方式，即，在由光照射部101向被摄体照射光(照射光)，被摄体所反射的光(反射光)达到受光部102时，检测照射光达到被摄体，进一步照射光由被摄体反射，该反射光达到受光部102为止的时间，从而计算(测距)距离图像生成装置100至被摄体的距离。对于距离图像生成装置100至被摄体的距离L，若将光速设为c(3.0×108m/s左右)，将照射后反射光达到为止的时间设为ΔT，则能够以L＝(c×ΔT)/2来表示。
对于设想本发明的适用的具体的驱动方法，利用图2的时序图进行说明。图2是照射光201、反射光202以及曝光203的时序图的一个例子。
如照射光201的时序图示出，时刻T1是，第一照射开始时刻，时刻T3是，第一照射结束时刻，时刻T1至时刻T3是，第一发光时间。时刻T6是，第二照射开始时刻，时刻T8是，第二照射结束时刻，时刻T6至时刻T8是，第二发光时间。设想第一发光时间和第二发光时间是相等的长度T，但是，不仅限于此。
如反射光202的时序图示出，时刻T2是，第一反射开始时刻，时刻T4是，第一反射结束时刻，时刻T2至时刻T4是，第一反射时间。时刻T7是，第二反射开始时刻，时刻T9是，第二反射结束时刻，时刻T7至时刻T9是，第二反射时间。设想发光时间和反射时间是相等的长度T，但是，不仅限于此。
如曝光203的时序图示出，时刻T1是，第一曝光开始时刻，时刻T5是，第一曝光结束时刻，时刻T1至时刻T5是，第一曝光时间(反射光的全光量曝光时间)。时刻T8是，第二曝光开始时刻，时刻T10是，第二曝光结束时刻，时刻T8至时刻T10是，第二曝光时间(反射光的延迟光量曝光时间)。设想第一曝光时间以及第二曝光时间相等，曝光时间为发光时间T的两倍的2T，但是，不仅限于此。
并且，如曝光203的时序图示出，时刻T2至时刻T4是，第一反射光的受光时间，将在该时间获得的信号量(通过全光量曝光而获得的信号量)设为“信号量S0”。并且，时刻T8至时刻T9是，第二反射光的受光时间，将在该时间获得的信号量(通过延迟光量曝光而获得的信号量)设为“信号量S1”。
而且，曝光是指，将向被摄体照射的信号光由位于对象距离范围以内的被摄体反射而获得的所有的反射光积蓄在受光部的情况，受光是指，将向被摄体照射的信号光在对象距离范围以内的某距离上由被摄体反射而获得的反射光积蓄在受光部的情况。
设想第一曝光开始时刻是，与第一照射开始时刻相同的定时，第二曝光开始时刻是，与第二照射结束时刻相同的定时，但是，不仅限于此。
对于如此利用了通过第一照射、反射、曝光而获得的信号量S0、以及通过第二照射、反射、曝光而获得的信号量S1的到被摄体为止的距离L的计算方法，利用计算公式进行说明。
若将照射时间(发光时间)设为T，将从信号照射后达到被摄体来反射后受光为止的时间设为ΔT，将光速设为c，将信号光的比例常数设为K，则能够通过数学式(1)至数学式(4)所导出的数学式(5)来表示光源至被摄体的距离L。
(数式1)
S0＝K×T···(1)
(数式2)
S1＝K×ΔT···(2)
(数式3)
(数式4)
(数式5)
图3是照射光301、反射光302以及曝光303的时序图的一个例子。信号量S0以及信号量S1中，与照射光无关，而也包含周边光所产生的信号量，因此也可以设想，如图3的时序图示出，获得未照射期间(时刻T11至时刻T12)的信号量BG，如数学式(6)示出，从信号量S0以及信号量S1中减去信号量BG，从而计算到被摄体为止的距离L。
(数式6)
图4是照射光401、反射光402以及曝光403的时序图的一个例子。也可以设想，如图4的时序图示出，在使信号量S1的曝光开始时刻比第一照射开始时刻提早，来获得信号光时，通过数学式(7)至数学式(11)所导出的数学式(12)示出的算式，来计算到被摄体为止的距离L。数学式(13)示出，考虑因周边光而产生的信号量时的算式。
(数式7)
S0＝K×T···(7)
(数式8)
S1＝K×(T-ΔT)···(8)
(数式9)
(数式10)
(数式11)
(数式12)
(数式13)
如此，光速c以及发光时间T是已知的值，因此，若能够获得信号量S0和信号量S1，则能够计算到被摄体为止的距离L。
并且，也可以考虑，在数学式(5)以及数学式(6)的获得方法中，获得多次各个信号量(S0，S1，BG)，利用合计值。
对于数学式(5)的获得方法，利用图5A至图5C示出的时序图说明获得多次时的行为。图5A至图5C是照射光501、反射光502以及曝光503的时序图的一个例子。图5A至图5C示出，在各个信号量的获得时，照射N次(N：自然数)信号光时的行为。时刻T1至时刻T20是信号量S0的受光期间，时刻T21至时刻T40是信号量S1的受光期间。用于计算距离值的信号量S0是，在时刻T2至时刻T4获得的信号量S0、在时刻T7至时刻T9获得的信号量S0、在时刻T12至时刻T14获得的信号量S0、在时刻T17至时刻T19获得的信号量S0等的合计值。也就是说，是获得N次的信号量S0的合计值。用于计算距离值的信号量S1是，在时刻T23至时刻T24获得的信号量S1、在时刻T28至时刻T29获得的信号量S1、在时刻T33至时刻T34获得的信号量S1、在时刻T38至时刻T39获得的信号量S1等的合计值。也就是说，是获得N次的信号量S1的合计值。如此，也设想将根据图5A至图5C示出的行为获得的第一信号光(调整光)的信号量S0以及S1适用于数学式(5)。
并且，图6A至图6D示出，考虑信号量S0以及信号量S1中包含的、周边光所产生的信号量时的时序图。图6A至图6D是，照射光601、反射光602以及曝光603的时序图的一个例子。图6A至图6D示出，获得各个信号量时的、照射N次(N：自然数)信号光时的行为。对于时刻T1至时刻的T40的行为，与图5A至图5C同样，因此省略说明。时刻T41至时刻T48是信号量BG的受光期间。用于计算距离值的信号量BG是，在时刻T41至时刻T42获得的信号量BG、在时刻T43至时刻T44获得的信号量BG、在时刻T45至时刻T46获得的信号量BG、在时刻T47至时刻T48获得的信号量BG等的合计值。也就是说，是获得N次的信号量BG的合计值。如此，也设想将根据图6A至图6D示出的行为获得的第一信号光(调整光)的信号量S0、S1以及BG适用于数学式(6)。
进而，可以考虑在利用图4的时序图说明的、使信号量S1的曝光开始时刻比第一照射开始时刻提早的情况下，获得多次信号量的情况(图7A至图7C)。图7A至图7C是，照射光701、反射光702以及曝光703的时序图的一个例子。此时的算式是数学式(12)以及数学式(13)。
接着，利用图8至图15，对于实施例1涉及的距离图像生成装置100的处理工作的流程，利用生成图9所示的被摄体903的图11所示的距离图像的具体的一个例子进行说明。图8是示出实施例1涉及的距离图像生成装置100的处理工作的流程图。
从光照射部101向被摄体照射第一信号光(调整光)，调整光在被摄体反射所产生的反射光由受光部102接受，获得各个信号量(S0，S1，BG)(S801)。
而且，反复进行N次(N：自然数)获得各个信号量的处理(S802)。图10示出与信号光的照射和接受以及信号量的获得有关的时序图。图10是照射光1001、反射光1002以及曝光1003的时序图的一个例子。图10是N＝1的工作，获得信号量S0和S1时的行为。
受光部102由多个受光元件构成，能够按每个元件获得信号量。因此，距离图像生成部103根据受光部102获得的多个信号量，计算距离信息(距离值)(S803)，进一步生成图11所示的由多个距离值构成的距离图像1100。
距离值分布解析部104，根据距离图像生成部103生成的距离图像，计算图12A以及图12B所示的距离值的分布特性，并保存(S804)。
根据距离值分布解析部104计算出的距离值的分布特性，信号调整部105，计算照射控制部106以及曝光控制部107的调整值(S805)。具体而言，根据分布特性的结果计算最近距离(N)，根据最近距离(N)计算无需曝光时间(Δα)，根据无需曝光时间(Δα)计算曝光开始时间(EXS)，根据无需曝光时间(Δα)计算照射次数(EC)和曝光次数(EXC)。
对于调整值的决定方法可以举出，根据分布特性所示的信号量的最大值、平均值、阈值的设定、极大值等决定的方法，以及使信号调整部105具有信号量调整表，与分布特性的结果对应来决定调整值的方法。
以下，具体地说明各个调整值。
最近距离(N)是，认为存在被摄体的最近的深度距离。最近距离(N)按照相机等的摄像装置至被摄体的距离发生变化。也就是说，若在近距离存在被摄体，最近距离(N)则变小。
无需曝光时间(Δα)是，针对不存在被摄体的深度距离范围，不执行曝光的时间段。无需曝光时间(Δα)是，根据光速c和不存在被摄体的深度距离范围计算的。例如，在根据分布特性的计算结果，判断为在深度距离范围0至1.11m不存在被摄体的情况下，光速c为3.0×108m/s，对于无需曝光时间(Δα)，根据1.11＝(3.0×108×Δα)/2的公式，能够计算出无需曝光时间(Δα)＝7.4ns。
曝光开始时间(EXS)是，根据无需曝光时间(Δα)计算的、反射光的曝光开始时间。若无需曝光时间(Δα)长，曝光开始时间(EXS)则晚，若无需曝光时间(Δα)短，曝光开始时间(EXS)则早。
照射次数(EC)是，根据无需曝光时间(Δα)计算的、各个信号量的获得次数。通过设置无需曝光时间(Δα)，从而能够防止无用的曝光，但是，反而，获得的信号量减少，导致信噪比的恶化。因此，通过设置照射次数(EC)，对各个信号量的获得次数进行操作，从而防止信噪比的恶化。
曝光次数(EXC)是，根据无需曝光时间(Δα)计算的、反射光的曝光次数。并且，曝光次数(EXC)是照射次数(EC)的两倍。
如此，设置无需曝光时间(Δα)和曝光开始时间(EXS)，仅接受需要的反射光，试图提高信号量的分辨率。进而，设置照射次数(EC)和曝光次数(EXC)，防止因获得的信号量的减少而导致的信噪比的恶化。
根据信号调整部105决定的调整值，信号调整部105对照射控制部106以及曝光控制部107进行控制，调整第二信号光(测距光)的照射和接受(S806)。照射次数(EC)是，照射控制部106的调整值，曝光开始时间(EXS)和曝光次数(EXC)是，曝光控制部107的调整值。并且，除了所述的调整值以外，还可以将照射强度(E)调整为信号量饱和的界限。
接着，说明利用了第二信号光(测距光)的被摄体的测距。
在第二信号光(测距光)的调整后，从光照射部101向被摄体照射第二信号光(测距光)，与第一信号光(调整光)同样，由受光部102对反射光进行曝光，获得信号量(S807)。
对于利用了第二信号光(测距光)的具体的驱动方法，利用图13的时序图进行说明。图13是照射光1301、反射光1302以及曝光1303的时序图的一个例子。图13是表示判定为照射次数(EC)＝1时的行为的图，但是，照射N次的行为也是同样的想法。
如照射光1301的时序图示出，时刻T1是，第一照射开始时刻，时刻T4是，第一照射结束时刻，时刻T1至时刻T4是，第一发光时间。时刻T8是，第二照射开始时刻，时刻T11是，第二照射结束时刻，时刻T8至时刻T11是，第二发光时间。设想第一发光时间和第二发光时间为相等的长度T，但是，不仅限于此。
如反射光1302的时序图示出，时刻T3是，第一反射开始时刻，时刻T6是，第一反射结束时刻，时刻T3至时刻T6是，第一反射时间。时刻T10是，第二反射开始时刻，时刻T13是，第二反射结束时刻，时刻T10至时刻T13是，第二反射时间。设想发光时间和反射时间为相等的长度T，但是，不仅限于此。
如曝光1303的时序图示出，时刻T2是，第三曝光开始时刻，时刻T4是，第三曝光结束时刻，时刻T2至时刻T4是，第三曝光时间(第一次的信号量S0的曝光时间)。时刻T5是，第四曝光开始时刻，时刻T7是，第四曝光结束时刻，时刻T5至时刻T7是，第四曝光时间(第二次的信号量S0的曝光时间)。时刻T12是，第五曝光开始时刻，时刻T14是，第五曝光结束时刻，时刻T12至时刻T14是，第五曝光时间(第一次的信号量S1的曝光时间)。时刻T15是，第六曝光开始时刻，时刻T16是，第六曝光结束时刻，时刻T15至时刻T16是，第六曝光时间(第二次的信号量S1的曝光时间)。设想第三曝光时间至第六曝光时间分别为相等的长度T，但是，不仅限于此。
并且，如曝光1303的时序图示出，时刻T3至时刻T4是，第三反射光的受光时间，时刻T5至时刻T6是，第四反射光的受光时间，将在第三反射光的受光时间和第四反射光的受光时间获得的信号量的总和，从数学式(1)置换为数学式(13)的S0。并且，时刻T12至时刻T13是，第五反射光的受光时间，并且，时刻T15至时刻T16是，第六反射光的受光时间，将在第五反射光的受光时间和第六反射光的受光时间获得的信号量的总和，从数学式(1)置换为数学式(13)的S1。
而且，第三曝光时间以及第四曝光时间，相当于图2的第一曝光时间。并且，第五曝光时间以及第六曝光时间，相当于图2的第二曝光时间。
并且，设想时刻T1至时刻T2、时刻T4至时刻T5、时刻T8至时刻T9、时刻T11至时刻T12、时刻T14至时刻T15、是无需曝光时间(Δα)，时间分别为相等的长度T，但是，不仅限于此。
设想第三曝光开始时刻(时刻T2)是，从第一照射开始时刻(时刻T1)，经过无需曝光时间(Δα)后的定时，第四曝光开始时刻(时刻T5)是，从第一照射结束时刻(时刻T4)，经过无需曝光时间(Δα)后的定时，第五曝光开始时刻(时刻T12)是，从第二照射结束时刻(时刻T11)，经过无需曝光时间(Δα)后的定时，第六曝光开始时刻(时刻T15)是，从第五曝光结束时刻(时刻T14)，经过无需曝光时间(Δα)后的定时，但是，不仅限于此。
反复进行N次(以照射次数(EC)设定的次数)如上说明的处理，获得各个信号量(S808)。
接着，根据获得的信号量计算距离值(S809)。将图13示出的时序图作为一个例子，对于距离值的计算，利用数学式进行说明。若将发光时间设为T、将光速设为c、将从信号的照射后达到被摄体来反射后受光为止的时间设为ΔT、将无需曝光时间设为Δα、将ΔT和Δα的差分时间设为Δβ(Δβ＝ΔT-Δα)、将T和ΔT的差分时间设为Δγ(Δγ＝T-ΔT)，则能够通过数学式(14)至数学式(22)导出的数学式(23)那样表示到被摄体为止的距离L。
(数式14)
S0＝K×(Δβ+Δγ)···(14)
(数式15)
S1＝K×Δβ···(15)
(数式16)
(数式17)
(数式18)
(数式19)
(数式20)
(数式21)
(数式22)
(数式23)
并且，与第一信号光(调整光)同样，在根据第二信号光(测距光)的照射获得的信号量S0以及信号量S1中，也包含周边的物体基于环境光反射的信号量，因此，也能够从信号量S0以及信号量S1中减去在未照射时间获得的信号量BG来计算距离，此时的时序图为图14，能够像数学式(24)那样表示。图14是照射光1401、反射光1402以及曝光1403的时序图的一个例子。
(数式24)
进而，以图15的时序图示出，使信号量S1的曝光开始时刻比第一照射开始时刻提早，应用于获得信号量的方法时的行为。图15是照射光1501、反射光1502以及曝光1503的时序图的一个例子。在图15中，能够像由数学式(25)至数学式(34)导出的数学式(35)那样，计算到被摄体为止的距离L。并且，考虑因来自周边的光而产生的信号量时的算式是，如数学式(36)示出那样的。数学式中使用的变量，与数学式(14)至数学式(24)同样。
(数式25)
S0＝K×(Δβ+Δγ)···(25)
(数式26)
S1＝K×Δγ···(26)
(数式27)
(数式28)
(数式29)
(数式30)
(数式31)
(数式32)
(数式33)
(数式34)
(数式35)
(数式36)
在所述的数学式中，发光时间T以及无需曝光时间(Δα)是已知的值，因此，与第一信号光(调整光)同样，通过获得信号量S0、信号量S1以及信号量BG，距离图像生成部103能够进行到被摄体为止的距离L的计算以及距离图像的生成(S809，S810)。
并且，如图16示出的流程图(S1601至S1610)，也可以考虑反复进行利用了第二信号光(测距光)的距离图像的生成的方法(反复进行S1607至S1610的处理)。
利用图17至图19，说明第二信号光(测距光)的再调整。
为了与距离图像生成装置100以及被摄体903的运动对应，而需要进行第二信号光(测距光)的再调整。在进行第二信号光(测距光)的再调整时，利用照射控制部106以及曝光控制部107，将光照射部101和受光部102设定为与第一信号光(调整光)同样的值。对于执行再调整的定时决定方法，可以举出几种方法。
方法1：如图17的S1701至S1711，交替照射第一信号光(调整光)和第二信号光(测距光)，对第二信号光(测距光)进行再调整。与利用图8说明的方法同样，利用通过第一信号光(调整光)获得的结果，调整第二信号光(测距光)的照射和曝光后，利用第二信号光(测距光)生成距离图像(S1701至S1710)。然后，将照射和曝光恢复为第一信号光(调整光)(S1711)，利用第一信号光(调整光)，再次执行第二信号光(测距光)的调整。
方法2：如图18的S1801至S1812，按每一定时间照射第一信号光(调整光)，对第二信号光(测距光)进行再调整。与利用图8说明的方法同样，利用通过第一信号光(调整光)获得的结果，调整第二信号光(测距光)的照射和曝光(S1801至S1806)。从第二信号光(测距光)的调整结束后开始计数，调整后，若一定时间没有经过，则利用第二信号光(测距光)反复生成距离图像(S1808至S1811)，若一定时间经过后，则将照射和曝光恢复为第一信号光(调整光)(S1812)，利用第一信号光(调整光)，再次执行第二信号光(测距光)的调整。
方法3：如图19的S1901至S1914，对利用第一信号光(调整光)计算出的分布特性、和利用第二信号光(测距光)计算出的分布特性进行比较，在两个分布特性脱离时，对第二信号光(测距光)进行再调整。与利用图8说明的方法同样，利用第一信号光(调整光)计算距离值的分布特性(S1901至S1904)，然后，保存计算出的分布特性(S1905)。而且，对第二信号光(测距光)进行调整，利用第二信号光(测距光)计算距离值的分布特性(S1906至S1911)。对以第一信号光(调整光)计算出的分布特性、和以第二信号光(测距光)计算出的分布特性进行比较(S1912)，在两个直方图的差异不大的情况下生成距离图像(S1913)，在差异大的情况下将照射和曝光恢复为第一信号光(调整光)(S1914)，利用第一信号光(调整光)，再次执行第二信号光(测距光)的调整。例如，在图12A示出通过第一信号光计算出的分布特性，图12B示出通过第二信号光计算出的分布特性的情况下，在此，在图12B中，距离10至11间、距离11至12间的频度，与图12A相比增加，可以认为其他的被摄体混入了。在所述的情况下也可以，设定规定的值，将特定的距离间的频度的差超过规定的值的情况，设为分布特性的差大不同的情况。或者，在最大频度从距离8至9间变化为9至11间的情况下，可以认为被摄体移动了。
对于所述三种方法，可以独立执行，也可以组合来执行。
最后，对于利用了第一信号光(调整光)的分布特性的计算，说明信号量饱和时的行为。
如图20的S2001至S2013，与利用图8说明的方法同样，利用第一信号光(调整光)计算距离值的分布特性(S2001至S2004)，确认信号是否饱和(S2005)。而且，根据从受光部输出的信号是否是以最大值输出的，来判断是否饱和。这是因为，从受光部输出的信号被设定为，受光部能够接受的最大电荷以下时成为最大值的缘故。若信号饱和，则降低第一信号光(调整光)的照射强度(S2006)，再次利用第一信号光(测距光)计算分布特性。并且，若照射强度的调整次数为一定数以上，则判定为被摄体的反射率非常高，从而结束(S2007)。针对利用了第一信号光(调整光)的距离值，若信号没有饱和，则执行第二信号光(测距光)的调整，利用调整后的第二信号光(测距光)生成距离图像(S2008至S2013)。
并且，也可以将所述的说明与第二信号光(测距光)的再调整的方法组合。
通过执行所述的处理，能够进行与被摄体位置对应的被摄体的测距以及精度高的距离图像的生成。
(实施例2)
对于实施例2，以下利用附图进行说明。而且，省略与实施例1重复的部分的说明。
实施例2与实施例1的不同之处是，图1中的信号调整部105计算出的调整值的数量，与实施例1的相同之处是，利用了TOF方式的被摄体的测距方法，利用第一信号光(调整光)和第二信号光(测距光)进行被摄体的测距(距离图像的生成)。
接着，说明具体的处理顺序。首先，与实施例1中已经说明的方法同样，依据图8的处理顺序。向被摄体照射来自光照射部101的第一信号光(调整光)，被摄体所反射的第一信号光(调整光)的反射光由受光部102接受，获得N次(N：自然数)信号量S0以及信号量S1(根据需要还获得信号量BG)，根据获得的信号量由距离图像生成部103生成距离图像，根据距离图像由距离值分布解析部104计算距离值的分布特性，根据计算出的分布特性，信号调整部105计算照射控制部106以及曝光控制部107的调整值。
根据距离值分布解析部104计算出的距离值的分布特性，信号调整部105计算，照射控制部106以及曝光控制部107的调整值。具体而言，根据分布特性计算最远距离(F)和最近距离(N)，根据最远距离(F)计算照射强度(E)，根据最近距离(N)计算无需曝光时间(Δα)，根据无需曝光时间(Δα)计算曝光开始时间(EXS)，根据最远距离(F)和最近距离(N)计算照射时间(T)，根据照射时间(T)计算曝光时间(EXT)，根据照射强度(E)和照射时间(T)计算照射次数(EC)和曝光次数(EXC)。
对于调整值的决定方法可以举出与实施例1同样，根据分布特性所示的信号量的最大值、平均值、阈值的设定、极大值等决定的方法，以及使信号调整部105具有信号量调整表，与分布特性的结果对应来决定调整值的方法。
以下，说明各个调整值。
最远距离(F)是，认为存在被摄体的最远的深度距离，另一方面，最近距离(N)是，认为存在被摄体的最近的深度距离。最远距离(F)和最近距离(N)按照相机等的摄像装置至被摄体的距离发生变化。也就是说，若被摄体存在于近距离，则最近距离(N)小，若被摄体存在于远距离，则最远距离(F)大。
照射强度(E)是，根据最远距离(F)计算的、照射的信号光的强度。在被摄体存在于远距离的情况下，最远距离(F)大，因此，也使照射强度(E)变大，防止信噪比的降低。并且，在被摄体存在于近距离的情况下，最远距离(F)小，因此，使照射强度(E)变小，防止获得的反射光的信号量饱和。设想将照射强度(E)调整为饱和的界限值。
无需曝光时间(Δα)是，根据最近距离(N)计算的、调整反射光的曝光定时的时间。最近距离(N)越近，无需曝光时间(Δα)就越短，最近距离(N)越远，无需曝光时间(Δα)就越长。
曝光开始时间(EXS)是，根据无需曝光时间(Δα)计算的、反射光的曝光开始时间。若无需曝光时间(Δα)长，则曝光开始时间(EXS)晚，若无需曝光时间(Δα)短，则曝光开始时间(EXS)早。
照射时间(T)是，根据最远距离(F)与最近距离(N)的差分的绝对值计算的、照射的信号光的照射时间。最远距离(F)与最近距离(N)的差分值小、且照射时间(T)短的情况是，测距的深度距离范围窄的状态。另一方面，最远距离(F)与最近距离(N)的差分值大小、且照射时间(T)长的情况是，测距的深度距离范围宽的状态。
曝光时间(EXT)是，对向被摄体照射的信号光由被摄体反射的反射光进行曝光的时间。曝光时间(EXT)，照射时间(T)越长就越长，照射时间(T)越短就越短。并且，曝光时间(EXT)是照射时间(T)的两倍。
照射次数(EC)是，根据照射强度(E)和照射时间(T)计算的、各个信号量的获得次数。按照照射强度(E)和照射时间(T)的调整能够防止不需要的曝光，但是，反而，获得的信号量减少，导致信噪比的恶化。因此，设置照射次数(EC)来操作各个信号量的获得次数，防止信噪比的恶化。
总照射量是照射强度(E)和照射时间(T)和照射次数(EC)的积，总照射量因被摄体的反射率而变动，因此，例如，进行调整，以使总照射量成为受光量最大的像素饱和的界限值近旁。
曝光次数(EXC)是，根据照射强度(E)和照射时间(T)计算的、反射光的曝光次数。并且，曝光次数(EXC)和照射次数(EC)是相同的数量。
利用所述的调整值，调整第二信号光(测距光)。照射强度(E)的强弱、照射时间(T)的长短、照射次数(EC)的增减是，照射控制部106的调整值，曝光时间(EXT)的长短、曝光开始时间(曝光开始时刻)(EXS)、曝光次数(EXC)的增减是，曝光控制部107的调整值。
如此，根据距离值的分布特性，掌握被摄体存在的深度距离，仅对该距离的反射光进行曝光，从而能够削减获得的信号量。另一方面，根据信号量的减少，信噪比降低，导致距离值的精度恶化，因此，需要考虑到该情况，来决定照射强度(E)、照射时间(T)、照射次数(EC)。并且，根据通过第一信号光(调整光)获得的距离值的分布特性，也会有第一信号光(调整光)和第二信号光(测距光)成为相同的照射强度(E)、照射时间(T)、照射次数(EC)、曝光时间(EXT)、曝光开始时间(EXS)、曝光次数(EXC)的情况。
而且，对于所述的调整值，可以单独调整，也可以组合来调整。
接着，说明利用了第二信号光(测距光)的被摄体的测距。
与实施例1同样，将调整完毕的第二信号光(测距光)从光照射部101向被摄体照射，被摄体所反射的第二信号光(测距光)的反射光，由受光部102接受，根据接受的信号量，由距离图像生成部103计算被摄体的距离图像。
对于利用了第二信号光(测距光)的具体的驱动方法，利用图21的时序图进行说明。图21是，照射光2101、反射光2102以及曝光2103的时序图的一个例子。图21是表示判定为照射次数(EC)＝曝光次数(EXC)＝1时的行为的图，但是，照射N次(N：自然数)的行为也是同样的想法。
如照射光2101的时序图示出，时刻T1是，第一照射开始时刻，时刻T3是，第一照射结束时刻，时刻T1至时刻T3是，第一发光时间。时刻T7是，第二照射开始时刻，时刻T9是，第二照射结束时刻，时刻T7至时刻T9是，第二发光时间。设想第一发光时间以及第二发光时间为相等的长度T，但是，不仅限于此。
如反射光2102的时序图示出，时刻T4是，第一反射开始时刻，时刻T5是，第一反射结束时刻，时刻T4至时刻T5是，第一反射时间。时刻T10是，第二反射开始时刻，时刻T12是，第二反射结束时刻，时刻T10至时刻T12是，第二反射时间。设想发光时间和反射时间为相等的长度T，但是，不仅限于此。
如曝光2103的时序图示出，时刻T2是，第一曝光开始时刻，时刻T6是，第一曝光结束时刻，时刻T2至时刻T6是，第一曝光时间(信号光S0的受光时间)。时刻T11是，第二曝光开始时刻，时刻T14是，第二曝光结束时刻，时刻T11至时刻T14是，第二曝光时间(信号光S1的受光时间)。设想第一曝光时间和第二曝光时间为相等的长度T，但是，不仅限于此。
并且，如曝光2103示出，时刻T2至时刻T6是，第一反射光的受光时间(信号光S0的受光时间)，将在第一反射光的受光时间获得的信号量设为S0。并且，时刻T11至时刻T14是，第二反射光的受光时间(信号光S1的受光时间)，将在第二反射光的受光时间获得的信号量设为S1。
并且，时刻T1至时刻T2、时刻T9至时刻T11是，无需曝光时间(Δα)，各个时间相等，但是，不仅限于此。
设想第一曝光开始时刻(时刻T2)是，从第一照射开始时刻(时刻T1)，经过无需曝光时间(Δα)后的定时，第二曝光开始时刻(时刻T11)是，从第二照射结束时刻(时刻T9)，经过无需曝光时间(Δα)后的定时，但是，不仅限于此。
接着，说明针对第二信号光(测距光)设置无需曝光时间Δα时的距离值的计算。若将发光时间设为T、将光速设为c、将信号光的照射后达到被摄体而反射后接受为止的时间设为ΔT、将无需曝光时间设为Δα、将ΔT与Δα的差分时间设为Δβ(Δβ＝ΔT-Δα)，则能够通过数学式(37)至数学式(43)导出的数学式(44)那样表示到被摄体为止的距离L。
(数式37)
S0＝K×T···(37)
(数式38)
S1＝K×Δβ···(38)
(数式39)
(数式40)
(数式41)
(数式42)
(数式43)
(数式44)
并且，与第一信号光(调整光)同样，信号量S0以及信号量S1中也包含基于存在于周围的物体的环境光的反射光的信号量，因此，也能够从信号量S0以及信号量S1中在减去未照射时间获得的信号量BG来计算距离，此时的时序图是图22所示那样的。图22是，照射光2201、反射光2202以及曝光2203的时序图的一个例子。数学式(45)那样表示此时的到被摄体为止的距离L。
(数式45)
图23是，照射光2301、反射光2302以及曝光2303的时序图的一个例子。如图23的时序图示出也可以设想，使信号量S1的曝光开始时刻比第一照射开始时刻提早，在获得信号光时，根据通过数学式(46)至数学式(55)导出的数学式(56)表示那样的算式计算到被摄体为止的距离L。考虑到因周边光而产生的信号量时的算式是数学式(57)表示那样的。
(数式46)
S0＝K×T···(46)
(数式47)
S1＝K×Δβ···(47)
(数式48)
(数式49)
(数式50)
(数式51)
(数式52)
(数式53)
(数式54)
(数式55)
(数式56)
(数式57)
如此，到被摄体为止的距离值L的计算所需要的值是，信号量(S0、S1以及BG)、发光时间T、无需曝光时间Δα，发光时间T以及无需曝光时间Δα是已知的值，因此，与第一信号光(调整光)同样，获得信号量(S0、S1以及BG)，从而能够进行被摄体的测距以及距离图像的生成。
并且，与实施例1同样，也可以在实施例2的处理中追加第二信号光(测距光)的再调整、以及在利用第一信号光(调整光)的分布特性的计算中信号量饱和时的行为。对于它们的说明，在实施例1中已经说明，因此省略。
通过执行如上的处理，从而能够进行与被摄体位置对应的被摄体的测距以及精度高的距离图像的生成。
而且，本发明，除了能够作为具备实施例1以及实施例2的各个部的距离图像生成装置来提供以外，还能够提供使计算机执行以距离图像生成装置所具备的各个部作为各个步骤的距离图像生成方法的程序。而且，也可以通过以USB等为代表的存储介质以及互联网分发该程序。
而且，当然，所述的说明所示的实施例，仅仅是一个例子。也就是说，请求权利的对象的概念是，将所述的实施例抽象化的上位概念。而且，对于该上位概念，当然，也可以通过作为一个例子的所述的实施例执行(安装，实现)，也可以通过一部分或全部与所述的实施例不同的其他的实施例执行(安装，实现)。
本发明的距离图像生成装置，根据利用第一信号光(调整光)获得的距离图像计算出的距离值的分布特性，调整第二信号光(测距光)的照射和曝光，从而能够实现高精度的距离图像的生成，能够用于需要手势识别、物体识别的数字AV设备、游戏机等的各种各样的设备。不止所述的设备，对于本发明的距离图像生成装置，若是能够获得需要的距离信息的分布特性的距离图像生成装置，则能够适用的。
符号说明
100 距离图像生成装置
101 光照射部
102 受光部
103 距离图像生成部
104 距离值分布解析部
105 信号调整部
106 照射控制部
107 曝光控制部
903 被摄体
1100 生成的距离图像

Claims (20)

1.一种距离图像生成装置，具备：
光照射部，使信号光从光源照射到被摄体；
受光部，对反射光进行受光，并获得信号量，所述反射光是从所述光照射部照射的所述信号光由被摄体反射而产生的；
距离图像生成部，根据照射的开始时间与受光的开始时间的时间差计算到被摄体为止的距离值，并且，生成距离图像；
距离值分布解析部，解析所述距离图像生成部计算出的所述距离值的分布特性；
照射控制部，对所述光照射部的所述信号光的输出进行调整；
曝光控制部，对所述受光部的受光进行调整；以及
信号调整部，根据所述分布特性，计算与所述输出以及所述受光有关的调整值，对所述照射控制部和所述曝光控制部进行控制，
所述光照射部向被摄体照射所述信号光，所述受光部在不同的定时获得多个所述信号量，距离图像生成部根据多个所述信号量的比率，计算到被摄体为止的所述距离值，
为了生成被摄体的所述距离图像而照射的所述信号光包括第一信号光和第二信号光，所述第一信号光是，用于计算与所述第二信号光的输出以及受光有关的所述调整值的信号光，所述第二信号光是，用于生成所述距离图像的信号光，
所述信号调整部，根据通过所述第一信号光的照射以及受光而获得的所述分布特性，计算作为针对不存在被摄体的深度距离范围不执行曝光的时间段的无需曝光时间，并根据所述无需曝光时间对所述第二信号光的曝光开始时间进行调整，从而对所述曝光控制部进行控制，其中，所述无需曝光时间是根据光速和所述不存在被摄体的深度距离范围计算的，所述曝光开始时间是根据所述无需曝光时间计算的、反射光的曝光开始时间。
2.如权利要求1所述的距离图像生成装置，
所述信号调整部，根据通过所述第一信号光的照射以及受光而获得的所述分布特性，还对作为所述调整值的所述第二信号光的照射强度、照射时间、照射次数、曝光时间、以及曝光次数之中的至少一个进行调整，从而对所述照射控制部和所述曝光控制部进行控制。
3.如权利要求2所述的距离图像生成装置，
所述距离图像生成部，将多个所述信号量的各个信号量的计算中，通过反复进行所述信号光的向被摄体的照射、所述反射光的受光、以及所述信号量的计算而获得的信号量的总和，用于所述距离值的计算。
4.如权利要求3所述的距离图像生成装置，
所述信号调整部，根据所述分布特性所示的信号量的最大值、平均值、极大值、阈值的任一个来决定所述调整值，或者，根据所述信号调整部预先具有的调整值的组合表来决定所述调整值。
5.如权利要求4所述的距离图像生成装置，
所述信号调整部，将按每一定时间根据所述第一信号光计算出的所述分布特性保存到所述距离值分布解析部，在对该分布特性与利用所述第二信号光计算出的所述分布特性进行比较而得到的差超过设定的阈值时，执行所述第二信号光的再调整。
6.一种距离图像生成方法，包括：
第一受光步骤，由光照射部使第一信号光从光源照射到被摄体，由受光部对反射光进行受光，在不同的定时按每个像素获得通过受光而得到的第一信号量，所述反射光是照射的所述第一信号光由被摄体反射而产生的；
第一距离图像生成步骤，根据所述第一信号量的比率，计算到被摄体为止的第一距离值，并且，生成第一距离图像；
距离值分布解析步骤，对所述第一距离图像生成步骤中计算出的所述第一距离值的第一分布特性进行解析；
信号调整步骤，根据所述第一分布特性，计算与第二信号光的输出以及受光有关的调整值，对与所述第二信号光的输出以及受光有关的调整值之中的至少一个进行调整；
照射控制步骤，对与所述第二信号光的输出有关的调整值进行调整；
曝光控制步骤，对与所述第二信号光的受光有关的调整值进行调整；
第二受光步骤，在至少照射所述第一信号光之后，所述光照射部使所述第二信号光从所述光源照射到被摄体，所述受光部对反射光进行受光，在不同的定时按每个像素获得通过受光而得到的第二信号量，所述反射光是照射的所述第二信号光由被摄体反射而产生的；以及
第二距离图像生成步骤，根据所述第二信号量的比率，计算到被摄体为止的第二距离值，并且，生成第二距离图像，
在所述信号调整步骤中，根据通过所述第一信号光的照射以及受光而获得的所述第一分布特性，计算作为针对不存在被摄体的深度距离范围不执行曝光的时间段的无需曝光时间，并根据所述无需曝光时间对所述第二信号光的曝光开始时间进行调整，其中，所述无需曝光时间是根据光速和所述不存在被摄体的深度距离范围计算的，所述曝光开始时间是根据所述无需曝光时间计算的、反射光的曝光开始时间。
7.如权利要求6所述的距离图像生成方法，
在所述信号调整步骤中，根据通过所述第一信号光的照射以及受光而获得的所述第一分布特性，还对作为所述调整值的所述第二信号光的照射强度、照射时间、照射次数、曝光时间、以及曝光次数之中的至少一个进行调整。
8.如权利要求6所述的距离图像生成方法，
在所述距离图像生成步骤中，将多个所述信号量的各个信号量的计算中，通过反复进行所述信号光的向被摄体的照射、所述反射光的受光、以及所述信号量的计算而获得的信号量的总和，用于所述距离值的计算。
9.如权利要求8所述的距离图像生成方法，
在所述信号调整步骤中，根据所述第一分布特性所示的信号量的最大值、平均值、极大值、阈值的任一个来决定所述调整值，或者，在所述信号调整步骤中预先根据调整值的组合表来决定所述调整值。
10.如权利要求9所述的距离图像生成方法，
在所述信号调整步骤中，由所述距离值分布解析步骤保存按每一定时间根据所述第一信号光计算出的所述第一分布特性，对所述第一分布特性与利用所述第二信号光计算出的第二分布特性进行比较，在该比较的差超过设定的阈值时，再次执行所述受光步骤、所述距离图像生成步骤、所述距离值分布解析步骤、以及所述信号调整步骤。
11.一种距离图像生成装置，具备：
光照射部，使信号光从光源照射到被摄体；
受光部，对反射光进行受光，并获得信号量，所述反射光是从所述光照射部照射的所述信号光由被摄体反射而产生的；
距离图像生成部，根据照射的开始时间与受光的开始时间的时间差计算到被摄体为止的距离值，并且生成距离图像；
距离值分布解析部，解析所述距离图像生成部计算出的所述距离值的分布特性；
照射控制部，对所述光照射部的所述信号光的输出进行调整；
曝光控制部，对所述受光部的受光进行调整；以及
信号调整部，根据所述分布特性，计算与所述输出以及所述受光有关的调整值，对所述照射控制部和所述曝光控制部进行控制，
所述光照射部向被摄体照射所述信号光，所述受光部在不同的定时获得多个所述信号量，距离图像生成部根据多个所述信号量的比率，计算到被摄体为止的所述距离值，
为了生成被摄体的所述距离图像而照射的所述信号光包括第一信号光和第二信号光，所述第一信号光是用于计算与所述第二信号光的输出以及受光有关的所述调整值的信号光，所述第二信号光是用于生成所述距离图像的信号光，
所述信号调整部，根据通过所述第一信号光的照射以及受光而获得的所述分布特性，计算作为针对不存在被摄体的深度距离范围不执行曝光的时间段的无需曝光时间，并根据所述无需曝光时间对用于受光所述第二信号光的曝光开始时间、曝光时间、以及曝光次数之中的至少一个进行调整，从而对所述曝光控制部进行控制，其中，所述无需曝光时间是根据光速和所述不存在被摄体的深度距离范围计算的，所述曝光开始时间是根据所述无需曝光时间计算的、反射光的曝光开始时间。
12.如权利要求11所述的距离图像生成装置，
所述信号调整部，根据通过所述第一信号光的照射以及受光而获得的所述分布特性，对作为所述调整值的所述第二信号光的照射强度、照射时间、照射次数之中的至少一个进行调整，从而对所述照射控制部进行控制。
13.如权利要求12所述的距离图像生成装置，
所述距离图像生成部，将多个所述信号量的各个信号量的计算中，通过反复进行所述信号光的向被摄体的照射、所述反射光的受光、以及所述信号量的计算而获得的信号量的总和，用于所述距离值的计算。
14.如权利要求13所述的距离图像生成装置，
所述信号调整部，根据所述分布特性所示的信号量的最大值、平均值、极大值、阈值的任一个来决定所述调整值，或者，根据所述信号调整部预先具有的调整值的组合表来决定所述调整值。
15.如权利要求14所述的距离图像生成装置，
所述信号调整部，将按每一定时间根据所述第一信号光计算出的所述分布特性保存到所述距离值分布解析部，在对该分布特性与利用所述第二信号光计算出的所述分布特性进行比较而得到的差超过设定的阈值时，执行所述第二信号光的再调整。
16.一种距离图像生成方法，包括：
第一受光步骤，由光照射部使第一信号光从光源照射到被摄体，由受光部对反射光进行受光，在不同的定时按每个像素获得通过受光而得到的第一信号量，所述反射光是照射的所述第一信号光由被摄体反射而产生的；
第一距离图像生成步骤，根据所述第一信号量的比率，计算到被摄体为止的第一距离值，并且生成第一距离图像；
距离值分布解析步骤，对所述第一距离图像生成步骤中计算出的所述第一距离值的第一分布特性进行解析；
信号调整步骤，根据所述第一分布特性，计算与第二信号光的输出以及受光有关的调整值，对与所述第二信号光的输出以及受光有关的调整值之中的至少一个进行调整；
照射控制步骤，对与所述第二信号光的输出有关的调整值进行调整；
曝光控制步骤，对与所述第二信号光的受光有关的调整值进行调整；
第二受光步骤，在至少照射所述第一信号光之后，所述光照射部使所述第二信号光从所述光源照射到被摄体，所述受光部对反射光进行受光，在不同的定时按每个像素获得通过受光而得到的第二信号量，所述反射光是照射的所述第二信号光由被摄体反射而产生的；以及
第二距离图像生成步骤，根据所述第二信号量的比率，计算到被摄体为止的第二距离值，并且生成第二距离图像，
在所述信号调整步骤中，根据通过所述第一信号光的照射以及受光而获得的所述第一分布特性，计算作为针对不存在被摄体的深度距离范围不执行曝光的时间段的无需曝光时间，并根据所述无需曝光时间对作为所述调整值的曝光开始时间、曝光时间、以及曝光次数之中的至少一个进行调整，其中，所述无需曝光时间是根据光速和所述不存在被摄体的深度距离范围计算的，所述曝光开始时间是根据所述无需曝光时间计算的、反射光的曝光开始时间。
17.如权利要求16所述的距离图像生成方法，
在所述信号调整步骤中，根据通过所述第一信号光的照射以及受光而获得的所述第一分布特性，对作为所述调整值的所述第二信号光的照射强度、照射时间、照射次数之中的至少一个进行调整。
18.如权利要求16所述的距离图像生成方法，
在所述距离图像生成步骤中，将多个所述信号量的各个信号量的计算中，通过反复进行所述信号光的向被摄体的照射、所述反射光的受光、以及所述信号量的计算而获得的信号量的总和，用于所述距离值的计算。
19.如权利要求18所述的距离图像生成方法，
在所述信号调整步骤中，根据所述第一分布特性所示的信号量的最大值、平均值、极大值、阈值的任一个来决定所述调整值，或者，在所述信号调整步骤中预先根据调整值的组合表来决定所述调整值。
20.如权利要求19所述的距离图像生成方法，
在所述信号调整步骤中，由所述距离值分布解析步骤保存按每一定时间根据所述第一信号光计算出的所述第一分布特性，对所述第一分布特性与利用所述第二信号光计算出的第二分布特性进行比较，在该比较的差超过设定的阈值时，再次执行所述受光步骤、所述距离图像生成步骤、所述距离值分布解析步骤、以及所述信号调整步骤。
CN201580003765.3A 2014-01-14 2015-01-06 距离图像生成装置以及距离图像生成方法 Active CN105899966B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014004479 2014-01-14
JP2014-004479 2014-01-14
PCT/JP2015/000015 WO2015107869A1 (ja) 2014-01-14 2015-01-06 距離画像生成装置及び距離画像生成方法

Publications (2)

Publication Number Publication Date
CN105899966A CN105899966A (zh) 2016-08-24
CN105899966B true CN105899966B (zh) 2019-05-07

Family

ID=53542766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580003765.3A Active CN105899966B (zh) 2014-01-14 2015-01-06 距离图像生成装置以及距离图像生成方法

Country Status (4)

Country Link
US (1) US10310084B2 (zh)
JP (1) JP6587185B2 (zh)
CN (1) CN105899966B (zh)
WO (1) WO2015107869A1 (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6321146B2 (ja) 2014-05-02 2018-05-09 富士フイルム株式会社 測距装置、測距法、及び測距プログラム
WO2016208214A1 (ja) * 2015-06-24 2016-12-29 株式会社村田製作所 距離センサ
JP6558122B2 (ja) * 2015-07-30 2019-08-14 株式会社デンソー 光飛行型測距装置
WO2017022152A1 (ja) * 2015-07-31 2017-02-09 パナソニックＩｐマネジメント株式会社 測距撮像装置、及び、固体撮像装置
EP3334151B1 (en) * 2015-08-04 2021-04-07 Panasonic Semiconductor Solutions Co., Ltd. Method for driving solid-state imaging device
US9880267B2 (en) * 2015-09-04 2018-01-30 Microvision, Inc. Hybrid data acquisition in scanned beam display
JP6741680B2 (ja) * 2015-10-09 2020-08-19 パナソニックセミコンダクターソリューションズ株式会社 撮像装置、およびそれに用いられる固体撮像素子
US10963063B2 (en) * 2015-12-18 2021-03-30 Sony Corporation Information processing apparatus, information processing method, and program
US10928518B2 (en) 2016-04-19 2021-02-23 Hitachi-Lg Data Storage, Inc. Range image generation apparatus and range image generation method
EP3584602A4 (en) * 2017-02-15 2020-12-09 Pioneer Corporation OPTICAL SCANNING DEVICE AND CONTROL METHOD
JP6735515B2 (ja) * 2017-03-29 2020-08-05 パナソニックＩｐマネジメント株式会社 固体撮像装置
WO2018181250A1 (ja) * 2017-03-30 2018-10-04 パナソニックＩｐマネジメント株式会社 距離画像生成装置及び距離画像生成方法
US10469775B2 (en) * 2017-03-31 2019-11-05 Semiconductor Components Industries, Llc High dynamic range storage gate pixel circuitry
JP7076947B2 (ja) * 2017-03-31 2022-05-30 株式会社トプコン 測量装置、測量方法及び測量装置の制御プログラム
US11280908B2 (en) * 2017-08-15 2022-03-22 Black Sesame Technologies Inc. Obstacle detection by global shutter image sensor
CN107517517B (zh) * 2017-08-25 2019-08-06 深圳市光域物联科技有限公司 多功能智慧灯、控制方法及驱动方法
JP2019052981A (ja) * 2017-09-15 2019-04-04 株式会社東芝 距離計測装置
CN108259744B (zh) * 2018-01-24 2020-06-23 北京图森智途科技有限公司 图像采集控制方法及其装置、图像采集系统和tof相机
JP2019211231A (ja) * 2018-05-31 2019-12-12 株式会社日立エルジーデータストレージ 距離画像生成カメラ及び距離画像生成方法
CN109059795B (zh) * 2018-06-29 2020-11-03 歌尔光学科技有限公司 深度测量方法、深度测量装置及拍摄设备
JP7154924B2 (ja) * 2018-10-03 2022-10-18 株式会社日立エルジーデータストレージ 測距撮像装置
US11327177B2 (en) 2018-10-25 2022-05-10 Aeye, Inc. Adaptive control of ladar shot energy using spatial index of prior ladar return data
WO2020121705A1 (ja) * 2018-12-14 2020-06-18 パナソニックセミコンダクターソリューションズ株式会社 撮像装置
KR102165091B1 (ko) * 2018-12-20 2020-10-13 (주)미래컴퍼니 3차원 거리측정 카메라
JP7151519B2 (ja) * 2019-02-01 2022-10-12 株式会社デンソーウェーブ 距離画像測定装置
WO2020170969A1 (ja) * 2019-02-22 2020-08-27 ソニーセミコンダクタソリューションズ株式会社 測距装置及び測距装置の制御方法、並びに、電子機器
US11513223B2 (en) 2019-04-24 2022-11-29 Aeye, Inc. Ladar system and method with cross-receiver
JP2021021597A (ja) * 2019-07-25 2021-02-18 株式会社東芝 距離計測装置、及び距離計測方法
JP7463671B2 (ja) * 2019-08-01 2024-04-09 Ｔｏｐｐａｎホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法
CN114503543A (zh) * 2019-09-26 2022-05-13 株式会社小糸制作所 门控照相机、汽车、车辆用灯具、图像处理装置、图像处理方法
CN110703270B (zh) * 2019-10-08 2022-02-22 歌尔光学科技有限公司 深度模组测距方法、装置、可读存储介质及深度相机
JP7416647B2 (ja) * 2020-03-12 2024-01-17 株式会社トプコン 測量装置
JP7421437B2 (ja) 2020-07-27 2024-01-24 株式会社トプコン 測量装置
JP7421438B2 (ja) 2020-07-27 2024-01-24 株式会社トプコン 測量装置
CN112738413B (zh) * 2021-04-02 2021-06-04 杭州宇泛智能科技有限公司 一种基于tof的人像区域亮度自动调节方法
CN113296114A (zh) * 2021-05-21 2021-08-24 Oppo广东移动通信有限公司 dTOF深度图像的采集方法、装置、电子设备及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6141105A (en) * 1995-11-17 2000-10-31 Minolta Co., Ltd. Three-dimensional measuring device and three-dimensional measuring method

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3235485B2 (ja) * 1995-11-17 2001-12-04 ミノルタ株式会社 ３次元計測のための分光装置
JP2000330001A (ja) 1999-05-20 2000-11-30 Olympus Optical Co Ltd 測距装置
JP3820087B2 (ja) * 1999-08-11 2006-09-13 ペンタックス株式会社 ３次元画像検出装置
JP2002022425A (ja) * 2000-07-12 2002-01-23 Asahi Optical Co Ltd ３次元画像入力装置
JP2004012338A (ja) * 2002-06-07 2004-01-15 Nissan Motor Co Ltd 物体検知装置及び方法
JP4942467B2 (ja) * 2006-12-11 2012-05-30 富士フイルム株式会社 撮影装置および方法並びにプログラム
JP5295511B2 (ja) * 2007-03-23 2013-09-18 富士フイルム株式会社 測距装置及び測距方法
JP5190663B2 (ja) * 2007-03-27 2013-04-24 スタンレー電気株式会社 距離画像生成装置
JP5308088B2 (ja) * 2008-07-24 2013-10-09 パナソニック株式会社 距離画像センサ
JP5743390B2 (ja) * 2009-09-15 2015-07-01 本田技研工業株式会社 測距装置、及び測距方法
JP2011179997A (ja) 2010-03-02 2011-09-15 Panasonic Corp 距離情報取得装置および距離情報取得装置における光量調節方法
JP2012225807A (ja) 2011-04-20 2012-11-15 Optex Co Ltd 距離画像カメラおよび距離画像合成方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6141105A (en) * 1995-11-17 2000-10-31 Minolta Co., Ltd. Three-dimensional measuring device and three-dimensional measuring method

Also Published As

Publication number Publication date
JPWO2015107869A1 (ja) 2017-03-23
US10310084B2 (en) 2019-06-04
JP6587185B2 (ja) 2019-10-09
WO2015107869A1 (ja) 2015-07-23
US20160320486A1 (en) 2016-11-03
CN105899966A (zh) 2016-08-24

Similar Documents

Publication Publication Date Title
CN105899966B (zh) 距离图像生成装置以及距离图像生成方法
TWI648549B (zh) Distance image generating device and distance image generating method
Shrestha et al. Computational imaging with multi-camera time-of-flight systems
Naik et al. Single view reflectance capture using multiplexed scattering and time-of-flight imaging
JP6605580B2 (ja) 線形モード計算センシングレーザーレーダー
US9945936B2 (en) Reduction in camera to camera interference in depth measurements using spread spectrum
CA3055572C (en) Depth sensing techniques for virtual, augmented, and mixed reality systems
JP6467776B2 (ja) 測距システム、情報処理装置、情報処理方法及びプログラム
US20100053592A1 (en) Method, device and system for imaging
EP3775995B1 (en) Reduced power operation of time-of-flight camera
Chiu et al. Chaos LiDAR based RGB-D face classification system with embedded CNN accelerator on FPGAs
WO2021004946A1 (en) Time-of-flight imaging apparatus and time-of-flight imaging method
US9948844B2 (en) Periodic motion observation system
CN113009508B (zh) 用于tof模组的多径干扰校正方法及其系统和电子设备
Henley et al. Bounce-flash lidar
CN112513670A (zh) 测距仪、测距系统、测距方法及程序
Hernández et al. Self-calibrating a real-time monocular 3d facial capture system
Hussmann et al. One-phase algorithm for continuous wave TOF machine vision applications
CN211179887U (zh) 基于粒子图像测速的加速度测量装置
Werner et al. A new operation mode for depth-focused high-sensitivity ToF range finding
US20240005758A1 (en) Electronic device, method and computer program
Hussmann et al. Real-time image processing of TOF range images using a reconfigurable processor system
KR200313367Y1 (ko) 광유도 파이버를 이용한 간소화된 변형 형상측정용 광계측기
CN113837969A (zh) 非视距图像重建方法、装置、系统和计算机可读存储介质
Andrew et al. BRDF and geometry capture from extended inhomogeneous samples using flash photography

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200605

Address after: Kyoto Japan

Patentee after: Panasonic semiconductor solutions Co.,Ltd.

Address before: Osaka Prefecture, Japan

Patentee before: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

TR01 Transfer of patent right