CN109313267A - 测距系统及测距方法 - Google Patents

测距系统及测距方法 Download PDF

Info

Publication number
CN109313267A
CN109313267A CN201780035179.6A CN201780035179A CN109313267A CN 109313267 A CN109313267 A CN 109313267A CN 201780035179 A CN201780035179 A CN 201780035179A CN 109313267 A CN109313267 A CN 109313267A
Authority
CN
China
Prior art keywords
range
mentioned
light source
image
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780035179.6A
Other languages
English (en)
Other versions
CN109313267B (zh
Inventor
松浦幸治
森圭
森圭一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nuvoton Technology Corp Japan
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN109313267A publication Critical patent/CN109313267A/zh
Application granted granted Critical
Publication of CN109313267B publication Critical patent/CN109313267B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection

Abstract

具备：多个光源，包括第1光源(101)及第2光源(102)；光源控制部(103)，控制多个光源照射光的定时及照射期间；摄像部(104)，根据多个光源的由被摄体带来的反射光，按每个反射光生成距离图像；可靠度输出部(105)，输出各个距离图像的可靠度；以及图像合成部(106)，将多个距离图像合成；多个光源以相对于摄像部(104)的光轴分别不同的角度照射光；多个光源的照射范围具有仅一部分共通地照射的共通照射范围(110)；图像合成部(106)关于共通照射范围(110)外侧，从多个距离图像中排他性地选择作为合成对象的像素，关于共通照射范围(110)内侧，根据可靠度决定作为合成对象的像素，来生成合成距离图像(304)。

Description

测距系统及测距方法
技术领域
本发明涉及能够对从近距离到远距离的被摄体进行测距的测距系统及测距方法。
背景技术
近年来，提出了较多的使用立体相机或TOF(Time Of Flight)方式的相机测量到被摄体的距离的系统。
立体相机方式是由分离配置的2个相机拍摄图像、根据将拍摄出的图像进行比较而得到的视差信息计算到被摄体的距离的方式。该方式有难以进行远距离的测距、难以进行夜间的测距这样的问题。
另一方面，TOF方式是通过计测从相机照射的光在被摄体上反射而返回来为止的时间、来计算到被摄体的距离的方式。与立体相机方式不同，具有在远距离及夜间的测距方面较优良的特征。此外，在通常的TOF方式的测距系统中，有反射光的信号电平越大则计算出的距离信息的精度越提高的特征。
例如，在专利文献1的TOF方式的测距系统中，将多个光源分离而设置，一边将光源依次切换一边进行拍摄，按每个光源生成距离图像。并且，提出了选择反射光的信号电平最大的光源的距离图像的方法。
现有技术文献
专利文献
专利文献1：日本特开2010－190675号公报
发明内容
发明要解决的课题
但是，在专利文献1的方法中，虽然距离精度变高，但是有光源所需的功耗电大的问题。此外，还存在没有考虑从近距离到远距离的大范围下的测距的问题。
用来解决课题的手段
有关本发明的一技术方案的测距系统为了解决上述问题，具备：多个光源，照射光，至少包括第1光源及第2光源；光源控制部，控制上述多个光源照射光的定时及照射期间；摄像部，将上述多个光源的由被摄体带来的反射光分别以单独的定时及曝光期间曝光，根据上述反射光的电荷量，按每个上述反射光生成上述多个光源照射的照射范围的表示到被摄体的距离的距离图像；可靠度输出部，输出多个上述距离图像各自的对上述距离的可靠度；以及图像合成部，将按每个上述反射光生成的多个上述距离图像合成；上述多个光源以相对于上述摄像部的光轴分别不同的角度照射光；上述多个光源的照射范围具有仅一部分被共通地照射的共通照射范围；上述图像合成部关于上述共通照射范围的外侧，从多个上述距离图像中排他性地选择作为合成对象的像素，关于上述共通照射范围，根据上述可靠度决定作为合成对象的像素，来生成合成距离图像。
根据这样的测距系统，关于近距离能够进行宽视场角的测距。此外，关于共通照射范围由于能够按每个帧取得距离信息，所以能够提高由加权平均或卡尔曼滤波等的时间序列滤波带来的距离信息的噪声降低效果。因此，通过将噪声成分较大的远距离区域放入到共通照射范围，能够提高远距离的测距精度。进而，由于不是按每个帧将全部的光源同时照射、而是仅使一部分光源照射的方式，所以能够将功耗抑制得低。
此外，在本发明的测距系统中，也可以是，上述可靠度输出部具备按每个距离范围决定了光源的优先级的光源优先级表，对表示上述距离图像的每个像素的距离的距离信息与上述光源优先级表的值进行比较，选择上述可靠度并输出。
可测距的距离范围可以根据光源的强度及光波形的特性等而改变。因而，根据上述那样的测距系统，即使在按每个光源而可测量的距离范围或测距精度高的距离范围不同的情况下，也能够在各距离范围中选择最优的距离信息，所以能够提高测距精度。
此外，在本发明的测距系统中，也可以是，上述可靠度输出部具备确认上述反射光的信号电平的信号电平确认部；上述信号电平确认部确认与上述距离图像对应的上述反射光的信号电平，信号电平越大则生成越高的可靠度并输出。
根据这样的测距系统，能够使用利用信号电平更高的反射光的距离信息，所以能够提高测距精度。
此外，在本发明的测距系统中，也可以是，上述可靠度输出部具备确认上述距离图像的生成时间的摄像时间确认部；上述摄像时间确认部确认上述距离图像的生成时间，生成时间越新则生成越高的可靠度并输出。
根据这样的测距系统，能够使用更新的距离信息，所以即使在被摄体移动的情况下也能够高精度地进行测距。
此外，在本发明的测距系统中，也可以是，上述图像合成部关于上述共通照射范围，选择上述可靠度最高的距离信息来生成合成距离图像。
根据这样的测距系统，能够选择可靠度最高的信息，所以能够提高测距精度。
此外，在本发明的测距系统中，也可以是，上述图像合成部关于上述共通照射范围，使用上述可靠度的值取距离信息的加权平均来生成合成距离图像。
根据这样的测距系统，通过取各距离信息的加权平均能够降低距离信息的噪声，所以能够提高测距精度。
此外，在本发明的测距系统中，也可以是，上述共通照射范围被调整为，成为上述距离图像的大致中心。
通常，远方的被摄体由于测距系统与上述被摄体的距离的关系而靠近摄像面的中央。此外，摄像部所使用的光学透镜的中央部分拥有最好的特性。因而，根据上述那样的测距系统，能够对远方的被摄体设定共通照射范围，所以能够提高对处于远方的被摄体的测距精度。
此外，在本发明的测距系统中，也可以是，上述光源控制部使上述多个光源中的至少2个以上的光源同时驱动。
根据这样的测距系统，通过将光源同时驱动，能够提高上述共通照射范围内的光的强度，所以能够将上述共通照射范围内的测距范围扩展。
此外，在本发明的测距系统中，也可以是，还具备驱动光源数判定部；上述驱动光源数判定部根据上述反射光的信号电平的大小，决定同时驱动的光源的数量，并向上述光源控制部通知；上述光源控制部基于被通知的光源数，控制上述多个光源的驱动。
在照射光而测量距离的测距系统中，通常在被曝光的反射光饱和的情况下，不能根据其电荷量来计算距离信息。此外，在反射光的信号电平较低的情况下，测距精度变低。因而，根据上述那样的测距系统，即使在因与被摄体的距离变化而反射光的信号电平动态地变化的情况下，也能够高精度地测距。
此外，在本发明的测距系统中，也可以是，还具备图像输出选择部；上述图像输出选择部从上述距离图像和上述合成距离图像中选择1个以上的距离图像并输出。
根据这样的测距系统，能够适当地选择利用测距系统的应用所需要的距离图像，所以能够省去不需要的图像处理。
此外，为了解决上述问题，有关本发明的一技术方案的测距方法具备：光源控制步骤，控制光源，以使得通过使至少包括第1光源及第2光源的多个光源以相对于光轴分别不同的角度照射光，仅一部分区域被共通地照射光；摄像步骤，将上述多个光源的由被摄体带来的反射光分别以单独的定时和曝光期间曝光，根据上述反射光的电荷量，按每个上述反射光生成上述多个光源所照射的照射范围的表示到被摄体的距离的距离图像；可靠度生成步骤，根据上述反射光和对应于上述反射光的上述距离图像，生成上述距离图像的可靠度；以及图像合成步骤，对于按每个上述多个光源生成的多个上述距离图像，关于光的照射范围不重叠的范围，从各个上述距离图像中排他性地选择作为合成对象的像素，关于光的照射范围重叠的范围，根据上述可靠度决定作为合成对象的像素，来生成合成距离图像。
由此，起到与上述测距系统同样的效果。
另外，本发明不仅能够作为测距系统实现，还能够将其电路或功能替换为计算机的程序及其动作步骤。
发明效果
如以上说明，根据本发明，尽管能够进行从近距离到远距离的大范围下的测距，但也能够将光源的功耗抑制得低。
附图说明
图1是表示有关实施方式1的测距系统的结构的图。
图2是表示有关实施方式1的测距系统的动作的流程图。
图3是表示照射范围的关系的图。
图4A是表示实施方式1的第1距离图像的一例的图。
图4B是表示实施方式1的第2距离图像的一例的图。
图4C是表示实施方式1的可靠度信息的一例的图。
图4D是表示实施方式1的合成距离图像的一例的图。
图5是表示有关实施方式2的测距系统的结构的图。
图6A是表示实施方式2的第1距离图像的一例的图。
图6B是表示实施方式2的第2距离图像的一例的图。
图6C是表示实施方式2的光源优先级表的一例的图。
图6D是表示实施方式2的合成距离图像的一例的图。
图7是表示有关实施方式3的测距系统的结构的图。
图8A是表示实施方式3的第1距离图像的一例的图。
图8B是表示实施方式3的第2距离图像的一例的图。
图8C是表示实施方式3的各距离图像的信号电平的一例的图。
图8D是表示实施方式3的合成距离图像的一例的图。
图9是表示有关实施方式4的测距系统的结构的图。
图10A是表示实施方式4的第1距离图像的一例的图。
图10B是表示实施方式4的第2距离图像的一例的图。
图10C是表示实施方式4的摄像时间的一例的图。
图10D是表示实施方式4的合成距离图像的一例的图。
图11是表示有关实施方式5的测距系统的结构的图。
图12A是表示实施方式5的第1光源的照度范围的一例的图。
图12B是表示实施方式5的第2光源的照度范围的一例的图。
图12C是表示实施方式5的第3光源的照度范围的一例的图。
图12D是表示实施方式5的第4光源的照度范围的一例的图。
图13是表示有关实施方式6的测距系统的结构的图。
图14是表示有关实施方式7的测距系统的结构的图。
具体实施方式
以下，参照附图对本发明的实施方式进行说明。以下说明的实施方式都表示本发明的优选的一具体例。因而，在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例，不是限定本发明的意思。因此，关于以下的实施方式的构成要素中的、在表示本发明的最上位概念的独立权利要求中没有记载的构成要素，设为任意的构成要素进行说明。
另外，各图是示意图，并不一定是严密地图示的。此外，在各图中，对于实质上相同的结构赋予相同的标号，将重复的说明省略或简略化。
(实施方式1)
以下，使用图1～图4D对实施方式1进行说明。
[1－1.结构]
图1是表示本实施方式的测距系统100的结构的图。100是测距系统，101是第1光源，102是第2光源，103是光源控制部，104是摄像部，105是可靠度输出部，106是图像合成部。此外，121表示第1照射轴，122表示第2照射轴，111表示第1照射范围，112表示第2照射范围，110表示共通照射范围。
第1光源101及第2光源102按照从光源控制部103输入的发光控制信号所表示的定时，向外部照射光。第1光源101及第2光源102例如可以举出照射红外光的LD(Laser Diode)或LED(Light Emitting Diode)等，但并不限于此。第1光源101及第2光源102只要发出摄像部104能够检测的光就可以。
光源控制部103对于第1光源101及第2光源102，例如控制照射光的定时和照射期间。具体而言，光源控制部103对于第1光源101及第2光源102分别输出发光控制信号。发光控制信号例如也可以是“H”及“L”这2值的数字信号，用“H”指发光，用“L”指发光停止。此外，光源控制部103例如输出发光控制信号，以使第1光源101及第2光源102交替地照射光。即，光源控制部103例如进行控制以使第1光源101及第2光源102不同时照射光。此外，光源控制部103例如通过从内置的存储器读出程序、并执行所读出的程序的处理器或专用的电路实现。另外，光源控制部103除了照射光的定时和照射期间以外，也可以控制照射的光的强度。
摄像部104将从第1光源101及第2光源102照射的光由被摄体(未图示)反射的反射光分别以单独的定时及曝光期间曝光。并且，根据被曝光的反射光的电荷量，生成照射范围的表示到被摄体的距离的距离图像(参照图4A及图4B)。即，摄像部104生成将照射了第1光源101的光时的被摄体的反射光曝光的情况下的距离图像、和将照射了第2光源102的光时的被摄体的反射光曝光的情况下的距离图像这2种距离图像。摄像部104例如由未图示的光学透镜、TOF方式的图像传感器及信号处理电路等构成。
光学透镜是用来使从第1光源101及第2光源102照射并由被摄体反射的反射光向图像传感器聚光的透镜。光学透镜例如是凸透镜。
图像传感器通过按每个像素将反射光曝光而积蓄电荷，将积蓄的电荷向信号处理电路输出。电荷的积蓄与反射光的到达大致同时开始。此外，电荷在将反射光曝光的期间中累积地增加。图像传感器例如既可以是CMOS(Complementary Metal OxideSemiconductor)传感器，也可以是CCD(Charge Coupled Device)传感器。
信号处理电路根据从图像传感器输出的电荷量、光源照射光的定时及光照射的期间，计算各个像素的表示到被摄体的距离的距离信息。摄像部104将计算出的距离信息作为光源的照射范围中的距离信息的集合即距离图像向图像合成部106输出。信号处理电路例如由从内置的存储器读出程序、并执行所读出的程序的处理器或专用的电路实现。
此外，摄像部104的光轴中心被设置为与光学透镜的中心轴大致一致。
可靠度输出部105将表示共通照射范围110中的距离图像的可靠度的可靠度信息(参照图4C)向图像合成部106输出。可靠度输出部105例如预先存储可靠度信息。通过第1光源101的由被摄体带来的反射光生成且表示到被摄体的距离的距离图像(第1距离图像)和通过第2光源102的由被摄体带来的反射光生成且表示到被摄体的距离的距离图像(第2距离图像)是测量在共通照射范围110中共通的场所而得到的距离图像。即，共通照射范围110的距离图像存在第1距离图像及第2距离图像这2种(参照图4A及图4B)。关于可靠度信息，在图像合成部106中将第1距离图像及第2距离图像的共通照射范围110的距离图像进行合成时使用。另外，可靠度输出部105也可以不预先存储可靠度信息。例如，可靠度输出部105也可以根据刚刚之前生成的距离图像和当前生成的距离图像，考虑噪声等来计算距离图像的可靠度信息。此外，可靠度输出部105也可以基于光源的种类、反射光的信号电平、生成距离图像的时间或它们的组合来计算可靠度信息。
图像合成部106根据从摄像部104输出的距离图像及从可靠度输出部105输出的可靠度信息，生成第1照射范围111及第2照射范围112的表示到被摄体的距离的合成距离图像(参照图4D)。具体而言，图像合成部106通过基于可靠度信息将第1距离图像与第2距离图像合成，生成合成距离图像。图像合成部106例如由从内置的存储器将程序读出、并执行所读出的程序的处理器或专用的电路实现。并且，图像合成部106向作为输出所合成的结果的设备的输出部(未图示)输出结果。输出部例如是显示距离图像的LCD(Liquid CrystalDisplay)等显示器。另外，输出部并不限定于显示器。例如，输出部也可以根据图像合成部106合成的结果，作为警告音等输出。
另外，光源控制部103、摄像部104的信号处理电路及图像合成部106例如也可以由共通的处理器或专用的电路构成。
[1－2.动作]
接着，使用图2～图4D对有关本实施方式的测距系统100的动作进行说明。
图2是表示有关实施方式1的测距系统100的动作的流程图。
首先，将第1光源101及第2光源102以使光轴相对于摄像部104的光轴分别以不同的角度倾斜的方式设置(S1)。第1光源101以第1照射轴121照射光，所照射的光以第1照射范围111扩散。第2光源102以第2照射轴122照射光，所照射的光以第2照射范围112扩散。第1照射范围111及第2照射范围112仅在共通照射范围110的范围中照射范围重叠。
接着，光源控制部103首先驱动第1光源101，使其照射光。摄像部104将第1光源101所照射的光的由被摄体带来的反射光曝光，根据曝光的结果生成第1距离图像(S2)。并且，摄像部104将所生成的第1距离图像向图像合成部106输出。接着，光源控制部103在使第1光源101的驱动停止后，驱动第2光源102，使其照射光。摄像部104将第2光源102所照射的光的由被摄体带来的反射光曝光，根据曝光的结果生成第2距离图像(S2)。并且，摄像部104将所生成的第2距离图像向图像合成部106输出。
可靠度输出部105将表示共通照射范围110的各距离图像的可靠度的可靠度信息向图像合成部106输出(S3)。
图像合成部106如后述那样根据接收到的2个距离图像和可靠度，生成合成距离图像(S4～S7)。另外，关于步骤S4～S7在后面叙述。
图3是表示第1照射范围111、第2照射范围112及共通照射范围110的关系的图。在图3中，第1光源101及第2光源102分别为具有矩形的照射范围的光源，但并不限于此。例如也可以是具有圆形的照射范围的光源。通过如图3那样使第1光源101及第2光源102的光轴从摄像部104的光轴倾斜，能够形成一定的共通照射范围110。
图4A～图4D是对本实施方式的距离图像的合成的一例进行说明的图。301是第1距离图像，302是第2距离图像，303是可靠度信息，304是合成距离图像。通常，距离图像的尺寸为QVGA(Quarter Video Graphics Array(四分之一视频图形阵列)：水平320像素，垂直240像素)以上的较多，但以下为了使说明变得简单，假设距离图像的尺寸为水平6像素、垂直4像素。此外，将共通照射范围110设为距离图像中央的水平2像素、垂直4像素的范围的图4C仅表示了与共通照射范围110对应的格子。
图4A是表示本实施方式的第1距离图像301的一例的图。图4A的第1距离图像301是通过第1光源101的由被摄体带来的反射光生成的距离图像。格子内的数字表示距离信息(与该像素对应的到被摄体的距离)，关于第1照射范围111生成距离信息，而关于第1照射范围111的外侧，由于没有被照射光，所以不生成距离信息。
图4B是表示本实施方式的第2距离图像302的一例的图。图4B的第2距离图像302是通过第2光源102的由被摄体带来的反射光生成的距离图像。关于第2照射范围112生成距离信息，而关于第2照射范围112的外侧，由于没有被照射光，所以不生成距离信息。
图4C是表示本实施方式的可靠度信息303的一例的图。图4C的可靠度信息303表示共通照射范围110的距离图像的每个像素的(每个距离信息的)可靠度。格子内的数字1表示第1光源101，数字2表示第2光源102。意味着从格子内的左侧的数字起依次可靠度(优先级)变高。在图4C的例子中，例如，关于距第1光源101近的像素(图4C的左侧的列)，使第1光源101的可靠度高，关于距第2光源102近的像素(图4C的右侧的列)，使第2光源102的可靠度高。
图4D是表示本实施方式的合成距离图像304的一例的图。图4D的合成距离图像304表示将第1距离图像301及第2距离图像302合成的距离图像。这里，再次参照图2，在共通照射范围110以外的范围中(S4中否)，图像合成部106从第1距离图像301和第2距离图像302中排他性地选择距离信息(S6)。在共通照射范围110的范围(S4中是)中，图像合成部106基于可靠度信息303选择距离信息(S5)。例如，图像合成部106按距离图像的每个像素将可靠度进行比较，选择可靠度高的像素的距离信息。
图像合成部106通过将在步骤S5及步骤S6中选择的距离信息合成，生成作为光源照射的照射范围中的距离信息的合成距离图像304(S7)。
另外，在图4D中从可靠度高的(最高优先级)距离图像中选择距离信息，但距离信息的决定方法并不限于此。例如，也可以不是从各距离图像中排他性地选择距离信息，而是取距离信息的加权平均。此外，关于共通照射范围110，由于能够按每个帧取得距离信息，所以也可以通过卡尔曼滤波等推测距离信息，使用推测的距离信息来生成合成距离图像304。
[1－3.效果]
如以上这样，有关本实施方式的测距系统100具备：多个光源，照射光，至少包括第1光源101及第2光源102；光源控制部103，控制多个光源照射光的定时及照射期间；摄像部104，将多个光源的由被摄体带来的反射光分别以单独的定时及曝光期间曝光，根据反射光的电荷量，按每个反射光生成多个光源所照射的照射范围的表示到被摄体的距离的距离图像；可靠度输出部105，输出多个距离图像各自的可靠度；以及图像合成部106，将按每个反射光生成的多个距离图像合成；多个光源以相对于摄像部104的光轴分别不同的角度照射光；多个光源的照射范围具有仅一部分被共通地照射的共通照射范围110；图像合成部106关于共通照射范围110的外侧，从多个距离图像中排他性地选择作为合成对象的像素，关于共通照射范围110，根据可靠度决定作为合成对象的像素，来生成合成距离图像304。
此外，有关本实施方式的测距方法具备：光源控制步骤(S1)，控制光源，以使得通过使至少包括第1光源101及第2光源102的多个光源以相对于光轴分别不同的角度照射光，仅一部分区域被共通地照射光；摄像步骤(S2)，将多个光源的由被摄体带来的反射光分别以单独的定时和曝光期间曝光，根据反射光的电荷量，按每个上述反射光生成多个光源所照射的照射范围的表示到被摄体的距离的距离图像；可靠度生成步骤(S3)，根据反射光和对应于反射光的距离图像，生成距离图像的可靠度；图像合成步骤(S4～S7)，对于按每个光源生成的距离图像，关于光的照射范围不重叠的范围(S4中否)，从各距离图像中排他性地选择作为合成对象的像素(S6)，关于光的照射范围重叠的范围(S4中是)，根据可靠度决定作为合成对象的像素值(S5)，生成合成距离图像(S7)。
由此，关于近距离能够进行宽视场角的测距。此外，关于共通照射范围110能够按每个帧取得距离信息，所以能够提高由加权平均或卡尔曼滤波等的时间序列滤波得到的距离信息的噪声降低效果。因此，通过将噪声成分大的远距离区域放入到共通照射范围110，能够提高远距离的测距精度。进而，由于不是按每个帧将全部的光源同时照射、而是仅使一部分光源照射的方式，所以能够将功耗抑制得低。
(实施方式2)
以下，使用图5～图6D对实施方式2进行说明。本实施方式设想了各个光源的测距范围不同的测距系统。例如，是具备以从近距离到中距离的测距为目的的光源、和以从中距离到远距离的测距为目的的光源的测距系统等。
另外，在本实施方式中，仅说明与实施方式1不同的部分，对于与实施方式1相同的结构赋予相同的标号而省略说明。
[2－1.结构及动作]
图5是表示本实施方式的测距系统100a的结构的图。100a是测距系统，105a是可靠度输出部，401是光源优先级表。在本实施方式中，与图1所示的实施方式1不同的是可靠度输出部105a具有光源优先级表401这一点。以下，以可靠度输出部105a的光源优先级表401为中心进行说明。
如图5所示，可靠度输出部105a具有光源优先级表401。光源优先级表401如图6C所示，是按每个距离范围定义了以哪个光源的距离图像为优先的信息表。在图6C中，第1光源101是以从近距离到中距离的测距为目的的光源，在距离范围0～90中优先级高(第1优先级为表示第1光源101的1)。此外，第2光源102是以从中距离到远距离的测距为目的的光源，在距离范围91～中优先级高(第1优先级为表示第2光源102的2)。即，考虑各个光源的测量范围而制作了信息表，以使更适合的光源的优先级高。可靠度输出部105a既可以预先存储光源优先级表401，也可以由使用者每次设定。另外，以下假设可靠度输出部105a预先存储有光源优先级表401而进行说明。
接着，对有关本实施方式的测距系统100a的动作进行说明。另外，到摄像部104生成第1距离图像301(图6A)及生成第2距离图像302(图6B)为止的动作与实施方式1相同，省略说明。
如图5所示，摄像部104将所生成的距离图像除了图像合成部106以外还向可靠度输出部105a输出。可靠度输出部105a基于各距离图像的距离信息和记录在光源优先级表401中的各距离范围的光源优先级信息选择可靠度，向图像合成部106输出。其他的动作与实施方式1相同。
图6A～图6D是对图5的结构中的距离图像的合成进行说明的图。401是光源优先级表，304a是合成距离图像。
图6A及图6B分别是表示本实施方式的第1距离图像301及第2距离图像302的一例的图。图6A及图6B分别为与图4A及图4B相同的内容。
图6C是表示本实施方式的光源优先级表401的一例的图。光源优先级表401是按每个距离范围定义了以哪个光源的距离图像为优先的信息表。在图6C所示的光源优先级表401中设定为，在距离范围是0以上且90以下的情况下以第1光源101、第2光源102的顺序优先级高，在距离范围是91以上的情况下，以第2光源102、第1光源101的顺序优先级高。
另外，距离范围及优先级的设定并不限定于此。例如，距离范围也可以根据光源条件等来设定。此外，例如，光源优先级表401也可以为仅第1优先级(优先级最高者)的信息表。
图6D是表示本实施方式的合成距离图像304a的一例的图。图6D的合成距离图像304a表示将第1距离图像301及第2距离图像302合成的距离图像。图像合成部106在共通照射范围110以外的范围中，从第1距离图像301和第2距离图像302中排他性地选择距离信息。图像合成部106在共通照射范围110的范围中，基于光源优先级表401选择距离信息。
这里，关于与光源优先级表401的距离范围比较的距离信息，既可以例如与第1光源101近的像素使用第1距离图像301的值、与第2光源102近的像素使用第2距离图像302的值，或者也可以使用两者的平均值。在图6D中表示使用各距离图像的平均值进行距离图像的合成的结果。
[2－2.效果]
如以上这样，在有关本实施方式的测距系统100a中，可靠度输出部105a具备按每个距离范围决定了光源的优先级的光源优先级表401，将距离图像的表示各像素的距离的距离信息与光源优先级表401的值进行比较，选择可靠度并输出。
可测距的距离范围可以根据光源的强度、光波形的特性等而改变。因而，根据上述那样的测距系统，在按每个光源而可测量的距离范围或测距精度高的距离范围不同的情况下，也能够在各距离范围中选择最优的距离信息，所以能够提高测距精度。
(实施方式3)
以下，使用图7～图8D对实施方式3进行说明。本实施方式设想了各光源的光的照射强度不同的测距系统。例如，是具备以从近距离到中距离的测距为目的的弱光源、和以从中距离到远距离的测距为目的的强光源的测距系统等。
另外，在本实施方式中仅说明与实施方式1不同的部分，对于与实施方式1相同的结构赋予相同的标号而省略说明。
[3－1.结构及动作]
图7是表示本实施方式的测距系统的结构的图。100b是测距系统，105b是可靠度输出部，501是信号电平确认部。在本实施方式中，与图1所示的实施方式1不同的是可靠度输出部105b具备信号电平确认部501这一点。
如图7所示，可靠度输出部105b具备信号电平确认部501。信号电平确认部501确认从摄像部104接收到的各距离图像的共通照射范围110中的反射光的信号电平。信号电平例如是表示反射光的强度的数值。信号电平确认部501按共通照射范围110内的每个像素确认信号电平。可靠度输出部105b基于信号电平确认部501的结果计算可靠度，向图像合成部106输出。例如，可靠度输出部105b将信号电平高的像素的可靠度计算为高。其他的动作与实施方式1相同。
图8A～图8D是对图7的结构中的距离图像的合成进行说明的图。501a是第1距离图像的信号电平，501b是第2距离图像的信号电平，304b是合成距离图像。
图8A及图8B分别是表示本实施方式的第1距离图像301及第2距离图像302的一例的图。图8A及图8B分别为与图4A及图4B相同的内容。
图8C是表示各距离图像的信号电平的一例的图。图8C的第1距离图像的信号电平501a表示第1距离图像301的共通照射范围110内的由被摄体带来的反射光的信号电平。第2距离图像的信号电平501b表示第2距离图像302的共通照射范围110内的由被摄体带来的反射光的信号电平。可靠度输出部105b根据各距离图像的信号电平设定可靠度，将所设定的可靠度向图像合成部106输出。
图8D是表示将第1距离图像301及第2距离图像302合成的合成距离图像304b的图。图像合成部106在共通照射范围110以外的范围中，从第1距离图像301和第2距离图像302中排他性地选择距离信息。图像合成部106在共通照射范围110的范围中，基于各距离图像的反射光的信号电平选择距离信息。在图8C的例子中，如果将第1距离图像的信号电平501a与第2距离图像的信号电平501b比较，则在全部的像素中第2距离图像的信号电平501b高。因此，图像合成部106对于共通照射范围110内的像素全部使用从第2距离图像302选择的值(距离信息)，生成合成距离图像304b。此外，也可以不是如上述那样排他性地选择距离信息，而是取加权平均。
[3－2.效果]
如以上这样，在有关本实施方式的测距系统100b中，可靠度输出部105b具备确认反射光的信号电平的信号电平确认部501，信号电平确认部501确认与距离图像对应的反射光的信号电平，信号电平越大则生成越高的可靠度并输出。
根据这样的测距系统，在各光源的光的照射强度不同的测距系统中能够使用利用了信号电平高的反射光的距离信息，所以能够提高测距精度。此外，由于根据被摄体的形状或位置而光的照射状况变化，所以在各光源的光的照射强度相同的情况下本实施方式也是有效的。
(实施方式4)
以下，使用图9～图10D对实施方式4进行说明。实施方式4设想了对移动较快的被摄体进行测距的情况。
另外，在本实施方式中仅说明与实施方式1不同的部分，对于与实施方式1相同的结构赋予相同的标号而省略说明。
[4－1.结构及动作]
图9是表示本实施方式的测距系统的结构的图。100c是测距系统，105c是可靠度输出部，601是摄像时间确认部。在本实施方式中，与图1所示的实施方式1不同的是可靠度输出部105c具备摄像时间确认部601这一点。
如图9所示，可靠度输出部105c具备摄像时间确认部601。此外，如图9所示，摄像部104将所生成的距离图像除了图像合成部106以外还向可靠度输出部105c输出。摄像时间确认部601确认各距离图像的摄像时间。例如，摄像时间确认部601既可以将摄像部104生成各距离图像的时刻作为摄像时间，也可以将从摄像部104接收到各距离图像的时刻作为摄像时间。可靠度输出部105c基于摄像时间确认部601的结果计算可靠度，向图像合成部106输出。其他动作与实施方式1相同。
图10A～图10D是对图9的结构中的距离图像的合成进行说明的图。601a是摄像时间，304c是合成距离图像。
图10A及图10B是分别表示本实施方式的第1距离图像301及第2距离图像302的一例的图。图10A及图10B分别为与图4A及图4B相同的内容。
图10C是表示本实施方式的摄像时间601a的一例的图。图10C的摄像时间601a是表示第1距离图像301及第2距离图像302的摄像时间的一例的图。例如，数值越大，则表示越是最新的摄像。在图10C中，第1距离图像301的摄像时间是2，第2距离图像302的摄像时间是1。因此，在图10C的例子中，表示第1距离图像301是最新的图像。可靠度输出部105c根据摄像时间601a将第1距离图像301的可靠度设定得高，将所设定的可靠度向图像合成部106输出。
图10D是表示将第1距离图像301及第2距离图像302合成的合成距离图像304c的一例的图。图像合成部106在共通照射范围110以外的范围中，从第1距离图像301和第2距离图像302中排他性地选择距离信息。图像合成部106在共通照射范围110的范围中，基于各距离图像的摄像时间选择距离信息。将第1距离图像301的摄像时间与第2距离图像302的摄像时间比较可知，第1距离图像301的摄像更是最新的距离图像。因此，图像合成部106对于共通照射范围110内的像素全部使用从第1距离图像301中选择的值(距离信息)来生成合成距离图像304c。
[4－2.效果]
如以上这样，在有关本实施方式的测距系统100c中，可靠度输出部105c具备确认距离图像的生成时间的摄像时间确认部601，摄像时间确认部601确认距离图像的生成时间，生成时间越新则生成越高的可靠度并输出。
根据这样的测距系统，能够使用更新的距离信息，所以即使在被摄体移动的情况下也能够高精度地测距。
(实施方式5)
以下，使用图11～图12D对实施方式5进行说明。实施方式5设想了使光源中的几个同时驱动的测距系统。
另外，在本实施方式中仅说明与实施方式3不同的部分，对于与实施方式3相同的结构赋予相同的标号而省略说明。
[5－1.结构及动作]
图11是表示本实施方式的测距系统100d的结构的图。100d是测距系统，103d是光源控制部，1003是第3光源，1004是第4光源。在本实施方式中，与图7所示的实施方式3不同的是光源控制部103d除了第1光源101及第2光源102以外还控制第3光源1003及第4光源1004这一点。
图12A～图12D是表示本实施方式的光源的照射范围的图。图12A是表示第1光源101的照射范围的图。1101是表示第1光源101的照射范围的第1照射范围。图12B是表示第2光源102的照射范围的图。1102是表示第2光源102的照射范围的第2照射范围。图12C是表示第3光源1003的照射范围的图。1103是表示第3光源1003的照射范围的第3照射范围。图12D是表示第4光源1004的照射范围的图。1104是表示第4光源1004的照射范围的第4照射范围。1105是表示各光源的共通的照射范围的共通照射范围。第1照射范围1101是将第1光源101的照射轴从摄像部104的光轴向左上方倾斜的范围。这里，摄像部104的光轴是指从光源朝向共通照射范围1105的中央部的方向。第2照射范围1102是将第2光源102的照射轴从摄像部104的光轴向右下方倾斜的范围。第3照射范围1103是将第3光源1003的照射轴从摄像部104的光轴向右上方倾斜的范围。第4照射范围1104是将第4光源1004的照射轴从摄像部104的光轴向左下方倾斜的范围。
光源控制部103d首先将第1光源101和第2光源102同时驱动，使得照射光。摄像部104将第1光源101和第2光源102所照射的光的由被摄体带来的反射光曝光，生成距离图像。并且，摄像部104将所生成的距离图像向图像合成部106输出。
光源控制部103d在使第1光源101及第2光源的驱动停止后，将第3光源1003和第4光源1004同时驱动，使得照射光。摄像部104将第3光源1003和第4光源1004所照射的光的由被摄体带来的反射光曝光，生成距离图像。并且，摄像部104将所生成的距离图像向图像合成部106输出。其他动作与实施方式3相同。
[5－2.效果]
如以上这样，在有关本实施方式的测距系统100d中，光源控制部103d将多个光源中的至少一部分光源同时驱动。
根据这样的测距系统，与使各光源一个个地依次驱动的情况相比，通过使光源同时驱动，能够提高共通照射范围1105的光的强度，所以能够将共通照射范围1105内的测距范围扩展。即，能够提高远方被摄体的测距精度。进而，还能够扩大能够以各摄像定时测距的范围。
另外，在上述中，举出了将4个光源每两个地同时驱动的例子，但光源的数量及同时驱动的光源的数量并不限于此。光源也可以是5个以上，同时驱动的光源也可以是3个以上。此外，也可以使全部光源同时驱动。此外，例如同时驱动的光源并不限定于上述的组合。例如，也可以使第1光源101和第4光源1004同时驱动，也可以是其他的组合。
(实施方式6)
以下，使用图13对实施方式6进行说明。实施方式6是对实施方式5追加了控制同时驱动的光源的数量的功能的结构。本实施方式中，例如在被摄体处于近距离的情况下，通过将各光源依次驱动而使得像素不饱和，在被摄体处于远距离的情况下，通过将光源同时驱动而能够高精度地测距。
另外，在本实施方式中仅说明与实施方式5不同的部分，对于与实施方式5相同的结构赋予相同的标号而省略说明。
[6－1.结构及动作]
图13是表示本实施方式的测距系统的结构的图。100e是测距系统，103e是光源控制部，106e是图像合成部，1201是驱动光源数判定部。在本实施方式中，与图11所示的实施方式5不同的是测距系统100e具备驱动光源数判定部1201、驱动光源数判定部1201控制光源控制部103e这些点。
驱动光源数判定部1201确认被摄体的反射光的信号电平，判定能够同时驱动的光源数。例如，在同时驱动的光源数为2个时像素饱和的情况下，驱动光源数判定部1201将能够同时驱动的光源数判定为1个，将该信息向光源控制部103e及图像合成部106e通知。另一方面，在判定为光源数为1个时信号电平低、将2个光源同时驱动也没有问题的情况下，驱动光源数判定部1201将光源数判定为2个，将该信息向光源控制部103e及图像合成部106e通知。另外，从可靠度输出部105b接收反射光的信号电平。
光源控制部103e如果从驱动光源数判定部1201接收到信息，则按照该信息变更光源的驱动方法。如果要驱动的光源数是1个，则光源控制部103e例如使全部的光源依次驱动。此外，如果要驱动的光源数是2个，则光源控制部103e例如使第1光源101和第2光源102同时驱动、以及使第3光源1003和第4光源1004同时驱动。
图像合成部106e如果从驱动光源数判定部1201接收到信息，则按照该信息变更要合成的图像数。如果要驱动的光源数是1个，则图像合成部106e例如合成通过各光源的由被摄体带来的反射光生成的4个距离图像。如果要驱动的光源数是2个，则图像合成部106e例如合成通过第1光源101和第2光源102的反射光、以及第3光源1003和第4光源1004的反射光生成的2个距离图像。其他动作与实施方式5相同。
[6－2.效果]
如以上这样，有关本实施方式的测距系统100e还具备驱动光源数判定部1201，驱动光源数判定部1201根据反射光的信号电平的大小，决定同时驱动的光源的数量，向光源控制部103e通知，光源控制部103e基于被通知的光源数，控制多个光源的驱动。
在照射光而测量距离的测距系统中，通常，在曝光的反射光饱和的情况下，不能根据其电荷量计算距离信息。此外，在反射光的信号电平低的情况下，测距精度变低。因而，根据上述那样的测距系统，即使在因与被摄体的距离改变而反射光的信号电平动态地变化的情况下，也能够高精度地测距。如上述那样，能够根据被摄体的位置来选择最优的光源的数量，所以能够在将功率抑制得低的同时提高测距精度。
另外，在图13中，举出了将4个光源每2个地同时驱动的例子，但光源的数量及同时驱动的光源的数量并不限于此。光源也可以有5个以上，同时驱动的光源也可以是3个以上。此外，驱动光源数判定部1201也可以使全部光源同时驱动。
(实施方式7)
以下，使用图14对实施方式7进行说明。实施方式7用来将在利用测距系统的应用中不需要的处理省去。
另外，在本实施方式中仅说明与实施方式1不同的部分，对于与实施方式1相同的结构赋予相同的标号而省略说明。
[7－1.结构及动作]
图14是表示本实施方式的测距系统的结构的图。100f是测距系统，1301是图像输出选择部。在本实施方式中，与图1所示的实施方式1不同的是具备图像输出选择部1301这一点。
图像输出选择部1301在通过第1光源101的由被摄体带来的反射光生成的第1距离图像301、通过第2光源102的由被摄体带来的反射光生成的第2距离图像302、或者合成距离图像304中，将所需的距离图像向外部输出。其他动作与实施方式1相同。
[7－2.效果]
如以上这样，有关本实施方式的测距系统100f还具备图像输出选择部1301，图像输出选择部1301从距离图像(第1距离图像301及/或第2距离图像302)和合成距离图像(304)中选择1个以上的距离图像并输出。
根据这样的测距系统，能够仅输出利用测距系统的应用所需要的距离图像，所以在执行应用的装置中能够省去不需要的处理。
以上，详细地说明了本发明，但上述的说明在所有的方面都只不过是本发明的例示，不是要限定其范围。不脱离本发明的范围则当然能够进行各种各样的改良或变更。
例如，也可以将各实施方式组合而进行测距。例如，也可以是，可靠度输出部105c除了摄像时间确认部601以外还具备信号电平确认部501。
由此，可靠度输出部105c能够根据摄像时间及信号电平来计算可靠度，所以能够更正确地进行测距。例如，在摄像时间虽然是最新、但信号电平是规定值以下的情况下，可靠度输出部105c将摄像时间久的距离图像的可靠度设定得高。
此外，在实施方式6中驱动光源数判定部1201判定驱动的光源的数量，但并不限定于此。例如，在光源数是2个的状态下像素饱和的情况下，也可以不是减少光源数，而是调整从光源照射的光的强度。在此情况下，驱动光源数判定部1201向光源控制部103e通知光源的强度的变更。
由此，在像素饱和的情况下，能够在维持摄像部104及图像合成部106e的处理数的状态下进行测距。此外，由于将来自光源的光的强度降低，所以能够将功率抑制得低。在此情况下，光源的数量只要是2个以上就可以。
此外，本发明的总括性或具体的形态也可以由系统、装置、方法、集成电路、计算机程序或计算机可读取的CD－ROM、光盘等非暂时性的记录介质等实现。程序既可以预先存储在存储介质中，也可以经由包括因特网等的广域通信网向存储介质供给。
此外，上述各实施方式在权利要求书或其等价的范围中能够进行各种各样的变更、替换、附加、省略等。
产业上的可利用性
本发明能够作为面向自动行驶车、工业用机器人或汽车的测距系统来应用。
标号说明
100、100a、100b、100c、100d、100e、100f 测距系统
101 第1光源
102 第2光源
103、103d、103e 光源控制部
104 摄像部
105、105a、105b、105c 可靠度输出部
106、106e 图像合成部
110、1105 共通照射范围
111 第1照射范围
112 第2照射范围
121 第1照射轴
122 第2照射轴
301 第1距离图像
302 第2距离图像
303 可靠度信息
304、304a、304b、304c 合成距离图像
401 光源优先级表
501 信号电平确认部
501a 第1距离图像的信号电平
501b 第2距离图像的信号电平
601 摄像时间确认部
601a 摄像时间
1003 第3光源
1004 第4光源
1101 第1照射范围
1102 第2照射范围
1103 第3照射范围
1104 第4照射范围
1201 驱动光源数判定部
1301 图像输出选择部

Claims (11)

1.一种测距系统，其特征在于，具备：
多个光源，照射光，至少包括第1光源及第2光源；
光源控制部，控制上述多个光源照射光的定时及照射期间；
摄像部，将上述多个光源的由被摄体带来的反射光分别以单独的定时及曝光期间曝光，根据上述反射光的电荷量，按每个上述反射光生成上述多个光源所照射的照射范围的表示到被摄体的距离的距离图像；
可靠度输出部，输出多个上述距离图像各自的对上述距离的可靠度；以及
图像合成部，将按每个上述反射光生成的多个上述距离图像合成；
上述多个光源以相对于上述摄像部的光轴分别不同的角度照射光；
上述多个光源的照射范围具有仅一部分被共通地照射的共通照射范围；
上述图像合成部关于上述共通照射范围的外侧，从多个上述距离图像中排他性地选择作为合成对象的像素，关于上述共通照射范围，根据上述可靠度决定作为合成对象的像素，来生成合成距离图像。
2.如权利要求1所述的测距系统，其特征在于，
上述可靠度输出部具备按每个距离范围决定了光源的优先级的光源优先级表，对表示上述距离图像的每个像素的距离的距离信息与上述光源优先级表的值进行比较而选择上述可靠度并输出。
3.如权利要求1所述的测距系统，其特征在于，
上述可靠度输出部具备确认上述反射光的信号电平的信号电平确认部；
上述信号电平确认部确认与上述距离图像对应的上述反射光的信号电平，信号电平越大则生成越高的可靠度并输出。
4.如权利要求1所述的测距系统，其特征在于，
上述可靠度输出部具备确认上述距离图像的生成时间的摄像时间确认部；
上述摄像时间确认部确认上述距离图像的生成时间，生成时间越新则生成越高的可靠度并输出。
5.如权利要求1～4中任一项所述的测距系统，其特征在于，
上述图像合成部关于上述共通照射范围，从上述可靠度最高的上述距离图像中选择作为合成对象的像素。
6.如权利要求1～4中任一项所述的测距系统，其特征在于，
上述图像合成部关于上述共通照射范围，使用上述可靠度的值取上述距离图像的像素的加权平均。
7.如权利要求1～6中任一项所述的测距系统，其特征在于，
上述共通照射范围被调整为，成为上述距离图像的大致中心。
8.如权利要求1～7中任一项所述的测距系统，其特征在于，
上述光源控制部使上述多个光源中的至少2个以上的光源同时驱动。
9.如权利要求8所述的测距系统，其特征在于，
还具备驱动光源数判定部；
上述驱动光源数判定部根据上述反射光的信号电平的大小，决定同时驱动的光源的数量，并向上述光源控制部通知；
上述光源控制部基于被通知的光源数，控制上述多个光源的驱动。
10.如权利要求1～9中任一项所述的测距系统，其特征在于，
还具备图像输出选择部；
上述图像输出选择部从上述距离图像和上述合成距离图像中选择1个以上并输出。
11.一种测距方法，其特征在于，具备：
光源控制步骤，控制光源，以使得通过使至少包括第1光源及第2光源的多个光源以相对于光轴分别不同的角度照射光，仅一部分区域被共通地照射光；
摄像步骤，将上述多个光源的由被摄体带来的反射光分别以单独的定时和曝光期间曝光，根据上述反射光的电荷量，按每个上述反射光生成上述多个光源所照射的照射范围的表示到被摄体的距离的距离图像；
可靠度生成步骤，根据上述反射光和对应于上述反射光的上述距离图像，生成上述距离图像的可靠度；以及
图像合成步骤，对于按上述多个光源的每个光源生成的多个上述距离图像，关于光的照射范围不重叠的范围，从多个上述距离图像中排他性地选择作为合成对象的像素，关于光的照射范围重叠的范围，根据上述可靠度决定作为合成对象的像素值，来生成合成距离图像。
CN201780035179.6A 2016-06-08 2017-06-02 测距系统及测距方法 Active CN109313267B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-114877 2016-06-08
JP2016114877 2016-06-08
PCT/JP2017/020670 WO2017213052A1 (ja) 2016-06-08 2017-06-02 測距システム及び測距方法

Publications (2)

Publication Number Publication Date
CN109313267A true CN109313267A (zh) 2019-02-05
CN109313267B CN109313267B (zh) 2023-05-02

Family

ID=60578752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780035179.6A Active CN109313267B (zh) 2016-06-08 2017-06-02 测距系统及测距方法

Country Status (5)

Country Link
US (1) US11402508B2 (zh)
EP (1) EP3470880B1 (zh)
JP (1) JP6775871B2 (zh)
CN (1) CN109313267B (zh)
WO (1) WO2017213052A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110221309A (zh) * 2019-04-30 2019-09-10 深圳市光鉴科技有限公司 基于异步ToF离散点云的3D成像装置及电子设备
CN110244318A (zh) * 2019-04-30 2019-09-17 深圳市光鉴科技有限公司 基于异步ToF离散点云的3D成像方法
CN111766594A (zh) * 2019-03-14 2020-10-13 株式会社东芝 距离测量装置、距离测量方法以及信号处理方法
CN111947565A (zh) * 2019-04-30 2020-11-17 深圳市光鉴科技有限公司 基于同步ToF离散点云的3D成像方法
CN112929516A (zh) * 2019-12-05 2021-06-08 北京小米移动软件有限公司 图像采集模组、终端设备、图像处理方法及装置
CN113597567A (zh) * 2019-03-26 2021-11-02 松下知识产权经营株式会社 距离图像的获得方法、以及距离检测装置
CN113971938A (zh) * 2021-12-22 2022-01-25 北京灵犀微光科技有限公司 一种分区照明方法、装置、设备及计算机存储介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016031359A1 (ja) * 2014-08-29 2016-03-03 ソニー株式会社 制御装置、制御方法、及びプログラム
JP7042582B2 (ja) * 2017-09-28 2022-03-28 株式会社東芝 撮像装置及び撮像装置の距離算出方法
JP7149707B2 (ja) * 2018-01-15 2022-10-07 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム、並びに、運転制御システム
US10607552B2 (en) 2018-02-27 2020-03-31 Nvidia Corporation Parallel pipelines for computing backlight illumination fields in high dynamic range display devices
US11238815B2 (en) 2018-02-27 2022-02-01 Nvidia Corporation Techniques for updating light-emitting diodes in synchrony with liquid-crystal display pixel refresh
US10909903B2 (en) 2018-02-27 2021-02-02 Nvidia Corporation Parallel implementation of a dithering algorithm for high data rate display devices
US11636814B2 (en) 2018-02-27 2023-04-25 Nvidia Corporation Techniques for improving the color accuracy of light-emitting diodes in backlit liquid-crystal displays
US11043172B2 (en) 2018-02-27 2021-06-22 Nvidia Corporation Low-latency high-dynamic range liquid-crystal display device
JP7214363B2 (ja) * 2018-04-27 2023-01-30 ソニーセミコンダクタソリューションズ株式会社 測距処理装置、測距モジュール、測距処理方法、およびプログラム
WO2020130855A1 (en) * 2018-12-21 2020-06-25 Chronoptics Limited Time of flight camera data processing system
JP2023144238A (ja) * 2022-03-28 2023-10-11 ソニーセミコンダクタソリューションズ株式会社 測距モジュール
JP2024017303A (ja) * 2022-07-27 2024-02-08 株式会社ジャパンディスプレイ 表示装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999061948A1 (fr) * 1998-05-25 1999-12-02 Matsushita Electric Industrial Co., Ltd. Telemetre et appareil photographique
US6625398B1 (en) * 1999-09-10 2003-09-23 Olympus Optical Co., Ltd. Camera with a multi-point distance measuring apparatus
JP2004101311A (ja) * 2002-09-09 2004-04-02 Matsushita Electric Ind Co Ltd ラインセンサカメラ用の照明装置および照明方法
CN1735789A (zh) * 2002-11-11 2006-02-15 秦内蒂克有限公司 测距设备
JP2006190135A (ja) * 2005-01-07 2006-07-20 Matsushita Electric Ind Co Ltd 画像生成方法および画像生成装置
CN102437289A (zh) * 2011-11-07 2012-05-02 友达光电股份有限公司 有机发光二极管白光光源
CN102474570A (zh) * 2010-06-08 2012-05-23 松下电器产业株式会社 信息显示装置、显示控制用集成电路及显示控制方法
US20130261959A1 (en) * 2012-03-30 2013-10-03 Sony Corporation Information processing apparatus, information processing method, and program
JP2014109490A (ja) * 2012-11-30 2014-06-12 Keyence Corp 計測顕微鏡装置及びこれを用いた画像撮像方法
CN104104941A (zh) * 2013-04-08 2014-10-15 三星电子株式会社 三维图像获取装置以及生成深度图像的方法
TW201441752A (zh) * 2013-04-19 2014-11-01 Vivotek Inc 攝影裝置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4387377B2 (ja) * 1998-05-25 2009-12-16 パナソニック株式会社 カメラ
KR100322001B1 (ko) * 1998-09-16 2002-06-22 윤종용 이동통신시스템에서이동국의위치측정장치및방법
US6618123B2 (en) * 2000-10-20 2003-09-09 Matsushita Electric Industrial Co., Ltd. Range-finder, three-dimensional measuring method and light source apparatus
US20060245601A1 (en) * 2005-04-27 2006-11-02 Francois Michaud Robust localization and tracking of simultaneously moving sound sources using beamforming and particle filtering
JP2010190675A (ja) * 2009-02-17 2010-09-02 Toyota Motor Corp 距離画像センサシステムおよび距離画像生成方法
JP5478533B2 (ja) * 2011-02-18 2014-04-23 日本電信電話株式会社 全方位画像生成方法、画像生成装置およびプログラム
CN103477186B (zh) * 2011-04-07 2016-01-27 松下知识产权经营株式会社 立体摄像装置
DE102012207931A1 (de) * 2012-01-07 2013-07-11 Johnson Controls Gmbh Kameraanordnung zur Distanzmessung
JP5943707B2 (ja) * 2012-05-25 2016-07-05 三菱電機株式会社 画像表示装置
US9857472B2 (en) * 2013-07-02 2018-01-02 Electronics And Telecommunications Research Institute Laser radar system for obtaining a 3D image
US9572171B2 (en) * 2013-10-31 2017-02-14 Intel IP Corporation Systems, methods, and devices for efficient device-to-device channel contention
JP2016008875A (ja) * 2014-06-24 2016-01-18 株式会社リコー 距離測定装置
JP6478492B2 (ja) * 2014-06-27 2019-03-06 キヤノン株式会社 画像処理装置およびその方法
JP2016102697A (ja) * 2014-11-27 2016-06-02 パナソニックＩｐマネジメント株式会社 距離画像生成装置、距離画像生成方法、及び距離画像生成プログラム

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999061948A1 (fr) * 1998-05-25 1999-12-02 Matsushita Electric Industrial Co., Ltd. Telemetre et appareil photographique
US6625398B1 (en) * 1999-09-10 2003-09-23 Olympus Optical Co., Ltd. Camera with a multi-point distance measuring apparatus
JP2004101311A (ja) * 2002-09-09 2004-04-02 Matsushita Electric Ind Co Ltd ラインセンサカメラ用の照明装置および照明方法
CN1735789A (zh) * 2002-11-11 2006-02-15 秦内蒂克有限公司 测距设备
JP2006190135A (ja) * 2005-01-07 2006-07-20 Matsushita Electric Ind Co Ltd 画像生成方法および画像生成装置
CN102474570A (zh) * 2010-06-08 2012-05-23 松下电器产业株式会社 信息显示装置、显示控制用集成电路及显示控制方法
CN102437289A (zh) * 2011-11-07 2012-05-02 友达光电股份有限公司 有机发光二极管白光光源
US20130261959A1 (en) * 2012-03-30 2013-10-03 Sony Corporation Information processing apparatus, information processing method, and program
CN103363990A (zh) * 2012-03-30 2013-10-23 索尼公司 信息处理装置、信息处理方法和程序
JP2014109490A (ja) * 2012-11-30 2014-06-12 Keyence Corp 計測顕微鏡装置及びこれを用いた画像撮像方法
CN104104941A (zh) * 2013-04-08 2014-10-15 三星电子株式会社 三维图像获取装置以及生成深度图像的方法
TW201441752A (zh) * 2013-04-19 2014-11-01 Vivotek Inc 攝影裝置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张欣: "模糊决策在接收光源信号分析中的应用" *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111766594A (zh) * 2019-03-14 2020-10-13 株式会社东芝 距离测量装置、距离测量方法以及信号处理方法
CN113597567A (zh) * 2019-03-26 2021-11-02 松下知识产权经营株式会社 距离图像的获得方法、以及距离检测装置
CN110221309A (zh) * 2019-04-30 2019-09-10 深圳市光鉴科技有限公司 基于异步ToF离散点云的3D成像装置及电子设备
CN110244318A (zh) * 2019-04-30 2019-09-17 深圳市光鉴科技有限公司 基于异步ToF离散点云的3D成像方法
CN111947565A (zh) * 2019-04-30 2020-11-17 深圳市光鉴科技有限公司 基于同步ToF离散点云的3D成像方法
CN110244318B (zh) * 2019-04-30 2021-08-17 深圳市光鉴科技有限公司 基于异步ToF离散点云的3D成像方法
CN110221309B (zh) * 2019-04-30 2021-08-17 深圳市光鉴科技有限公司 基于异步ToF离散点云的3D成像装置及电子设备
CN112929516A (zh) * 2019-12-05 2021-06-08 北京小米移动软件有限公司 图像采集模组、终端设备、图像处理方法及装置
CN112929516B (zh) * 2019-12-05 2023-08-08 北京小米移动软件有限公司 图像采集模组、终端设备、图像处理方法及装置
CN113971938A (zh) * 2021-12-22 2022-01-25 北京灵犀微光科技有限公司 一种分区照明方法、装置、设备及计算机存储介质

Also Published As

Publication number Publication date
WO2017213052A1 (ja) 2017-12-14
US20190107626A1 (en) 2019-04-11
JP6775871B2 (ja) 2020-10-28
CN109313267B (zh) 2023-05-02
EP3470880A1 (en) 2019-04-17
US11402508B2 (en) 2022-08-02
EP3470880A4 (en) 2019-06-19
JPWO2017213052A1 (ja) 2019-04-04
EP3470880B1 (en) 2020-08-19

Similar Documents

Publication Publication Date Title
CN109313267A (zh) 测距系统及测距方法
US11854150B2 (en) Frame-by-frame rendering for augmented or virtual reality systems
US20220201210A1 (en) Depth sensing techniques for virtual, augmented, and mixed reality systems
US5305092A (en) Apparatus for obtaining three-dimensional volume data of an object
JP2008141666A (ja) 立体視画像作成装置、立体視画像出力装置及び立体視画像作成方法
CN106210532B (zh) 一种拍照处理方法及终端设备
CN110320666A (zh) 显示系统、控制装置及方法、计算机可读介质、移动体
CN105872355A (zh) 焦点调节装置和焦点调节方法
JP2023145588A (ja) 情報処理装置、情報処理方法、及びプログラム
CN1039275C (zh) 视点检测器及视点检测方法及其应用
CN103383513A (zh) 聚焦检测设备
JP2023175752A (ja) 処理装置、電子機器、処理方法、及びプログラム
CN114868037A (zh) 信息处理装置、摄像装置、信息处理方法及程序
JP2009014494A (ja) 計測装置
US20220317442A1 (en) Image processing apparatus and control method for image processing apparatus
JP6053385B2 (ja) 撮像装置及びその制御方法
JP2024014033A (ja) 測距装置およびその制御方法
JP2011211739A (ja) 立体視画像作成装置、立体視画像出力装置及び立体視画像作成方法
WO2020039841A1 (ja) 撮像装置
JP2015012441A (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200608

Address after: Kyoto Japan

Applicant after: Panasonic semiconductor solutions Co.,Ltd.

Address before: Osaka Japan

Applicant before: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

TA01 Transfer of patent application right
CB02 Change of applicant information

Address after: Kyoto Japan

Applicant after: Nuvoton Technology Corporation Japan

Address before: Kyoto Japan

Applicant before: Panasonic semiconductor solutions Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant