CN105452807A - 测距系统、以及信号产生装置 - Google Patents

测距系统、以及信号产生装置 Download PDF

Info

Publication number
CN105452807A
CN105452807A CN201480043384.3A CN201480043384A CN105452807A CN 105452807 A CN105452807 A CN 105452807A CN 201480043384 A CN201480043384 A CN 201480043384A CN 105452807 A CN105452807 A CN 105452807A
Authority
CN
China
Prior art keywords
range
light
illumination
light source
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480043384.3A
Other languages
English (en)
Inventor
伊藤顺治
山田徹
藤井俊哉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nuvoton Technology Corp Japan
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN105452807A publication Critical patent/CN105452807A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/003—Bistatic lidar systems; Multistatic lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone

Abstract

测距系统(1)具备：信号产生部(30)，产生指示光照射的发光信号与指示反射光的曝光的曝光信号；第一照明测距兼用光源部(20)，接收发光信号，进行光照射，以进行不以测距为目的的照明以及利用反射光的测距；摄像部(10)，接收曝光信号从而进行曝光，并且获得反射光的曝光量；以及运算部(40)，利用曝光量，运算并输出距离信息，所述测距系统，作为动作模式具有使第一照明测距兼用光源部进行照明的照明模式、以及使第一照明测距兼用光源部进行光照射使摄像部动作，从而进行第一测距的第一测距模式。

Description

测距系统、以及信号产生装置
技术领域
本申请涉及测距系统、以及信号产生装置。
背景技术
图21是目前为止提出的各种检测系统中，专利文献1公开的以往技术的检测系统。
该检测系统用于汽车，由设置在汽车前部的作为红外光源的LED灯12、作为摄像单元的摄像机13、设置在汽车内部的作为控制单元的控制电路14、以及作为显示单元的显示器15构成。
此外，LED灯12是与以照亮黑暗为目的的前照灯光源不同的光源，设置在汽车的保险杠的端部附近，构成为例如射出波长880nm的近红外光。
此外，摄像机13作为有源型的系统，由对从LED灯12射出的近红外线具有灵敏度的固体摄像元件构成，根据近红外线进行图像摄像。
显示器15利用设置在汽车的车内的专用的显示器或者汽车导航系统等的显示器，在该屏幕上显示上述的摄像画面，或者作为平视显示器，在设置在挡风玻璃的内表面的屏幕上投影上述的摄像画面。
此外，红外受光元件16作为无源型的系统，检测步行者和动物等发出的红外线。
(现有技术文献)
(专利文献)
专利文献1∶日本特开2002-274258号公报
然而，在专利文献1公开的以往技术中，需要分别设置用于照亮黑暗等的光源和为了摄像机13进行摄像而振荡近红外光的光源(LED灯12)，难以实现系统(装置)的小型化，轻量化这样的课题。
此外，近几年，为了实现检测系统的性能提高，用途扩大，尤其要求正确地获得距离信息。
发明内容
鉴于所述课题，本申请提供的测距系统及信号产生器，具备系统(装置)的小型化、轻量化以及高测距精度。
为了解决所述课题，本申请的一个方案涉及的测距系统，具备：信号产生部，产生指示光照射的发光信号与指示反射光的曝光的曝光信号；第一照明测距兼用光源部，接收所述发光信号，进行所述光照射，以进行不以测距为目的的照明以及利用反射光的测距；摄像部，接收所述曝光信号从而进行所述曝光，并且获得所述反射光的曝光量；以及运算部，利用所述曝光量，运算并输出距离信息，所述测距系统，作为动作模式具有使所述第一照明测距兼用光源部进行所述照明的照明模式、以及使所述第一照明测距兼用光源部进行所述光照射使所述摄像部动作，从而进行第一测距的第一测距模式。
通过该构成，一个光源(照明测距兼用光源部)，不仅用于照明还兼用于测距，比分别独立地设置照明系统和测距系统的情况，能够容易实现测距系统的小型化、轻量化。而且，照明测距兼用光源部是也用于照明的光源，能够充分获得测距所需的光量的反射光，从而能够提高测距精度。
此外，本申请的一个方案涉及的测距系统，可以是所述第一测距模式下从所述第一照明测距兼用光源部照射的光的振幅，比所述照明模式下从所述第一照明测距兼用光源部照射的光的振幅大。
通过该构成能够进一步提高测距精度。
此外，本申请的一个方案涉及的测距系统，可以是所述第一测距模式下从所述第一照明测距兼用光源部照射的光的点灯时间长度，比所述照明模式下从所述第一照明测距兼用光源部照射的光的点灯时间长度短。
通过该构成能够进一步提高测距精度。
此外，本申请的一个方案涉及的测距系统，可以是所述测距系统还具备如下模式，在所述第一照明测距兼用光源部熄灯的状态下，使所述摄像部动作，并使所述运算部测量背景光量的模式，所述运算部，进行从所述第一测距模式的曝光量减去所述背景光量的校正。
通过该构成能够进一步提高测距精度。
此外，本申请的一个方案涉及的测距系统，可以是所述第一照明测距兼用光源部搭载单色的LED或者多色的LED。
此外，本申请的一个方案涉及的测距系统，可以是所述第一测距模式与所述照明模式的切换至少是120次/秒。
此外，本申请的一个方案涉及的测距系统，可以是所述测距系统还具备第二照明测距兼用光源部，所述运算部，还利用所述第一照明测距兼用光源部与第二照明测距兼用光源部的相位差信息进行测距。
此外，本申请的一个方案涉及的测距系统，可以是所述第一照明测距兼用光源部及第二照明测距兼用光源部是车辆具备的左右远光光源和左右近光光源之中、(a)左和右远光光源以及(b)左和右近光光源中的任一个。
此外，本申请的一个方案涉及的测距系统，可以是所述运算部，利用来自所述摄像部的图像信号，对当前的帧与前一个帧进行比较，从而进行第二测距。
此外，本申请的一个方案涉及的测距系统，可以是所述运算部，将由所述第一测距和第二测距得到的距离信息的一方，通过所述第一测距和第二测距的距离信息的另一方来进行校正。
此外，本申请的一个方案涉及的测距系统，可以是所述第一测距和第二测距，根据昼夜、气候、距被摄体的距离、或者所述被摄体或所述测距系统的动作速度，来分开使用。
此外，本申请的一个方案涉及的测距系统，可以是所述摄像部具备固体摄像元件，所述固体摄像元件是CCD型的固体摄像元件。
此外，本申请的一个方案涉及的测距系统，可以是所述摄像部具备：具有多个像素的固体摄像元件，所述多个像素的每一个像素具备：受光部，进行光电转换；以及存储部，存储从所述受光部读出的信号电荷，所述固体摄像元件是，在所述多个像素将所述受光部的信号电荷一并读出到所述存储部的MOS型的固体摄像元件。
此外，本申请的一个方案涉及的测距系统，可以是所述摄像部具备：具有多个像素的固体摄像元件，所述多个像素的每一个像素，具备微透镜，该微透镜具有将与受光面垂直的轴设为中心轴，将折射率不同的材料以同心状重复布置的结构。
此外，本申请的一个方案涉及的测距系统，可以是所述摄像部具备：具有多个像素的固体摄像元件，所述多个像素的每一个像素具备红外线透过滤波器、使红色光和红外线透过的第一滤波器、使绿色光和红外线透过的第二滤波器、以及使蓝色光和红外线透过的第三滤波器中的任一个。
此外，本申请的一个方案涉及的测距系统，可以是所述红外线透过滤波器、以及所述第一滤波器以及所述第三滤波器的至少一个是层叠了无机材料的滤波器。
此外，本申请的一个方案涉及的测距系统，可以是将所述测距系统搭载到重机、或重机和操作现场的构造物。
此外，本申请的一个方案涉及的测距系统，可以是将所述测距系统搭载到运输设备。
此外，本申请的一个方案涉及的测距系统，可以是将所述测距系统搭载到住宅设备机器。
此外，本申请的一个方案涉及的信号产生装置，控制发光脉冲信号的信号产生装置，所述信号产生装置控制多种所述发光脉冲信号，所述多种发光脉冲信号包括指示用于进行测距的光照射的第一发光脉冲信号、以及指示不以测距为目的的照明的点灯的第二发光脉冲信号，在所述第二发光脉冲信号截止时，所述第一发光脉冲信号导通。
通过该构成能够提高测距精度。
此外，本申请的一个方案涉及的信号产生装置，可以是所述第一发光脉冲信号导通的期间，比所述第二发光脉冲信号导通的期间短。
通过该构成能够进一步提高测距精度。
此外，本申请的一个方案涉及的信号产生装置，可以是所述第二发光脉冲信号，在所述第一发光脉冲信号导通的期间重复多次之后，成为导通。
此外，本申请的一个方案涉及的信号产生装置，可以是所述第一发光脉冲信号导通的次数与所述第二发光脉冲信号导通的次数的总和为，至少120次/秒。
此外，本申请的一个方案涉及的信号产生装置，可以是所述第一发光脉冲信号的振幅比所述第二发光脉冲信号的振幅大。
此外，本申请的一个方案涉及的信号产生装置，可以是所述第一发光脉冲信号，在根据飞行时间TimeOfFlight进行测距时使用。
此外，本申请的一个方案涉及的信号产生装置，可以是所述信号产生装置控制曝光信号，该曝光信号指示由所述第一发光脉冲信号产生的照射光的、由被摄体反射而得到的反射光的曝光。
通过本申请涉及的测距系统及信号产生装置，能够实现系统(装置)的小型化、轻量化以及高测距精度。
附图说明
图1是表示实施方式1涉及的测距系统的概略构成的功能框图。
图2是表示实施方式1涉及的测距系统的搭载例的概略搭载图。
图3是表示实施方式1涉及的测距系统的搭载例的概略搭载图。
图4是表示实施方式1涉及的固体摄像元件的像素的结构的截面图。
图5是实施方式1涉及的CCD型的固体摄像元件的功能构成图。
图6是表示实施方式1涉及的MOS型的固体摄像元件的单位单元的构成的电路图。
图7是实施方式1涉及的单位单元以二维状布置而成的MOS图像传感器的概略构成图。
图8是表示实施方式1涉及的发光信号及曝光信号的动作例的第一时间图。
图9A是表示实施方式1涉及的发光信号及曝光信号的动作例的第二时间图。
图9B是表示使实施方式1涉及的发光信号的TOF模式或者照明模式一定次数连续地动作的动作例的图。
图10是表示实施方式1涉及的发光信号及曝光信号的动作例的第三时间图。
图11是表示实施方式2涉及的控制系统的概略构成的功能框图。
图12是表示将实施方式2涉及的测距系统搭载在汽车上的例子的概略搭载图。
图13A是表示实施方式2涉及的测距系统的第一照明测距兼用光源及第二照明测距兼用光源的详细的图。
图13B是表示实施方式2涉及的测距系统的TOF模式(第一测距模式)与照明模式的远光光源、近光光源的组合的例子的图。
图14A是表示实施方式3涉及的具备单独的照明测距兼用光源的测距系统的概略构成的功能框图。
图14B是表示实施方式3涉及的具备第一照明测距兼用光源以及第二照明测距兼用光源的测距系统的概略构成的功能框图。
图15A是表示实施方式3涉及的固体摄像元件的微透镜的第一阵列例的图。
图15B是表示实施方式3涉及的固体摄像元件的微透镜的第二阵列例的图。
图15C是表示实施方式3涉及的固体摄像元件的微透镜的第三阵列例的图。
图15D是表示实施方式3涉及的固体摄像元件与透镜以及被摄体之间的光路的说明图。
图16是实施方式涉及的按每个单位单元群示出的固体摄像元件的微透镜的布置以及结构的平面结构图。
图17是表示在住宅设备机器搭载实施方式4涉及的测距系统的例子的图。
图18A是关于实施方式涉及的测距系统搭载的图像传感器的像素，尤其说明IR透过滤波器(光子型)的详细的截面结构图。
图18B是关于实施方式涉及的测距系统搭载的图像传感器的像素，尤其说明IR透过滤波器(有机材料型)的详细的截面结构图。
图19是实施方式涉及的固体摄像元件的平面结构图。
图20是实施方式涉及的固体摄像元件的截面结构图。
图21是表示以往技术的检测系统的概略构成的功能框图。
具体实施方式
下面，参考附图来说明本申请的实施方式涉及的测距系统。另外，以下的实施方式都是表示本申请的一个具体例子，数值、形状、材料、构成要素、构成要素的布置位置以及连接形式等都是一个例子，主旨不是限制本申请。
(实施方式1)
实施方式1涉及的测距系统(传感系统)具备：信号产生部(信号产生装置)，产生(控制)指示光照射的多种发光信号(发光脉冲信号)和指示反射光的曝光的曝光信号；第一照明测距兼用光源部，接收发光信号，进行不以测距(传感)为目的的照明和根据反射光的测距(传感)的光照射；摄像部，接收曝光信号从而进行曝光，获得反射光的曝光量；以及运算部，利用曝光量运算并输出距离信息，作为动作模式具有照明模式、以及第一测距模式(传感模式)，该照明模式是不使摄像部及运算部动作而使第一照明测距兼用光源部进行照明的模式，该第一测距模式是使第一照明测距兼用光源部进行光照射，使摄像部动作从而进行第一测距的模式。
图1是表示实施方式1涉及的测距系统的概略构成的功能框图。
如该图所示，测距系统(检测系统)1具备：摄像部10、照明测距兼用光源20(第一照明测距兼用光源部)、信号产生部30、运算部40。
照明测距兼用光源20具有驱动电路、电容器及发光元件，将电容器保持的电荷提供到发光元件，从而产生光。作为发光元件，可以采用激光二极管或发光二极管(LED)等其他的发光元件。
此外，照明测距兼用光源20，兼用照明用光源和测距用光源，所述照明用光源不以测距为目的，而是用于照亮黑暗等，所述测距用光源用于检测距离等的物理量。例如，如后述图12一样，在运输设备(例如，汽车)使用的情况下，与前照灯或者雾灯等兼用。
此外，作为照明测距兼用光源20而使用的LED，能够采用单色LED(白色LED为例)。
此外，作为照明测距兼用光源20而采用的LED，可以组合多个颜色的LED(例如红色LED、蓝色LED、黄色LED等)，在这个情况下，测距时采用波长长(例如，红色LED)的光源，能够减少由雾等扩散粒子引起的衰减，与采用白色的情况相比，能够对更远的地方进行测距。
此外，作为多个颜色的LED，例如，也可以将红色LED、蓝色LED、黄色LED等与白色LED组合，在这个情况下，例如在傍晚等接受强的阳光的情况下，采用波长短的白色，在下雨的情况下等，就采用波长长的光源(例如，红色LED等)，以减少由散射引起的衰减，夜间按照道路状况，使朝着对车线侧的光源比人行道侧的光源更强，提高到达距离，通过这样分开使用，不管在怎样的气候、环境状况也都能高精度地测距。
此外，通过组合红色LED、蓝色LED、黄色LED等多种颜色的LED，从而能够进行从照明光源振动的光的波长区域中选择性采用近红外光的测距。
此外，信号产生部30，产生指示光照射的发光信号(第一发光脉冲信号、第二发光脉冲信号)51、以及指示来自被摄体的反射光的曝光的曝光信号52。照明测距兼用光源20进行如下的光照射：按照接收由信号产生部30产生的发光信号(第一发光脉冲信号)51的定时，对被摄体进行测距的光照射、以及按照接收由信号产生部30产生的发光信号(第二发光脉冲信号)51的定时，不以测距为目的，而是照亮黑暗的光照射。
摄像部10具有摄像机透镜、固体摄像元件(图像传感器)，以及模数转换器等的制作并输出RAW数据53的电路。另外，本实施方式还包括：制作并输出模数转换器等的RAW数据53的电路搭载在固体摄像元件的情况。
此外，摄像部10对包含对象物体(被摄体)的区域，按照由信号产生部30产生的曝光信号52所示出的定时，进行多次的曝光，输出与多次曝光量的总和对应的RAW数据53(飞行时间(TOF：TimeOfFlight)信息)。
此外，运算部40根据从摄像部10接受的RAW数据53进行运算，输出到被摄体为止的距离信息(检测信息)。
另外，本实施方式包括：信号产生部30、摄像部10及运算部40的一部分或者全部，以单片搭载在半导体基板的情况。
图2、图3是表示图1的测距系统的搭载例的概略搭载图。图2是在重机即挖掘机上搭载的情况，尤其是详细示出照明测距兼用光源20和摄像部10的概略图。
在图2中，在挖掘机90搭载了照明测距兼用光源20和摄像部10，摄像部10搭载在挖掘机90的上部旋转体的上部。此外，在挖掘机90的上部旋转体的车辆前部具备有手臂，在手臂的前端部分设置了掬起散材的铲斗96。此外，上部旋转体能够旋转360度。
此外，在图3中，挖掘机90中搭载了摄像部10，照明测距兼用光源20设置在工地的构造物18上。
将本实施方式涉及的测距系统1，搭载在重机、或者重机与操作现场的构造物上，例如能够正确地测量在挖地面等情况下的到障碍物为止的距离，换言之，挖到一定的距离或者自动地挖到障碍物(例如图2，图3的Y处)为止的距离，与预想的距离偏离的(或者接近预想的距离)情况下能够自动地停止动作等，虽然是小型且轻量的测距系统1却能进行自动运转。
另外，图2、图3示出了在重机搭载的例子，不过并非受此所限，可以搭载在所有设备上，例如，其他的重机(推土机等)，运输设备(汽车、自行车、摩托车、铁道车辆、飞机、宇航机等)、运输设备和基础设备、住宅设备机器等。
图4是表示本实施方式涉及的固体摄像元件的像素的结构的截面图。
图中的固体摄像元件包括：半导体基板301、受光部(PD)303、金属布线、栅极电极或者传输电极305、微透镜307等。来自被摄体的反射光，由微透镜307聚光，到达受光部(PD)303。
另外，本实施方式涉及的固体摄像元件，可以采用只对红外线(以下，称为IR)具有灵敏度的图像传感器，也可以采用对红色区域、绿色区域及蓝色区域(以下称为RGB)与IR(以下称为RGB+IR)具有灵敏度的图像传感器。另外，RGB+IR的详细情况留待后述。
下面，说明本实施方式涉及的测距系统1的摄像部10采用CCD型的固体摄像元件的情况。
图5是CCD型的固体摄像元件的功能构成图。如该图所示，CCD型固体摄像元件具备：受光部(光电二极管、PD)101、多个垂直传送部102、水平传送部103、信号电荷检测部104。
光电二极管101将接受的光转换为电荷。垂直传送部102，由多个栅极构成，将从光电二极管101读出的电荷依次向垂直方向传送。水平传送部103，由多个栅极构成，多个栅极将作为数据包从垂直传送部102接受的电荷，依次向水平方向传送。信号电荷检测部104依次检测从水平传送部接受的电荷，转换为电压信号，输出RAW数据(TOF信息)53。
此外，通过对多个光电二极管(PD)101一并进行复位动作，即全局复位，能够消除在各PD检测的光的时间差，利用检测针对被测量物的光的延迟，能够实现高精度的测距。
另外，图5是CCD图像传感器(CCD型固体摄像元件)，不过本实施方式中也能够采用MOS图像传感器。该MOS图像传感器具备具有多个像素的固体摄像元件，并且多个像素的每一个像素具备：进行光电转换的受光部、以及存储从受光部读出的信号电荷的存储部。MOS图像传感器的特征如下，在多个像素将受光部的信号电荷一并读出到存储部。
图6是本实施方式涉及的测距系统1的摄像部10中使用的MOS型的固体摄像元件的一例、示出MOS图像传感器中的单位单元201的构成的电路图。在这里，n是从1至4的整数。
根据图6每个单位单元201由以下构成：作为受光部的PD；快门晶体管M5，通过使快门信号TXSn成为高(H)，从而将存储在PD中的信号电荷复位(排出)；作为存储部的浮动扩散(floatingdifusion∶FD)；读出晶体管M1，通过使传送信号TXn成为H，从而由FD读出PD中存储的信号电荷；复位晶体管M2，通过使复位信号RSn成为H，从而复位由FD读出的信号电荷；栅极与FD连接的源极跟随晶体管M3；以及行选择晶体管M4，通过使选择信号SELn成为H，从而源极跟随晶体管M3与垂直信号线连接。复位晶体管M2和源极跟随晶体管M3和快门晶体管M5的漏极，与像素电极VDD连接。
图7是图6的单位单元201以二维状布置而成的MOS图像传感器的概略构成图。
图7的MOS图像传感器由以下构成：摄像区域202，将单位单元201排列成4行4列的二维状；FPN除去部203，除去基于每个列的晶体管阈值电压的偏差而产生的固定图案噪声(fixedpatternnoise∶FPN)；水平选择部204，依次选择FPN除去部203的输出信号；以及差动放大器205，放大水平选择部204的输出信号。另外，为了方便说明，将摄像区域202设为4行4列的小尺寸。
摄像区域202的行，由未图示的垂直扫描部依次被选择。各列的垂直信号线206与电流源209连接。FPN除去部203的各列由以下构成：接受样品保留信号SHS的信号电平用的样品晶体管M11、接受样品保留信号SHN的复位电平用的样品晶体管M12、信号电平用的电容C11、以及复位电平用的电容C12。水平选择部204的各列由以下构成：介于信号电平用的电容C11与第一水平信号线207之间的第一列选择晶体管M21、以及介于复位电平用的电容C12与第二水平信号线208之间的第二列选择晶体管M22。水平选择部204的各列，由来自未图示的水平扫描部的信号H1～H4依次被选择。差动放大器205放大第一水平信号线207与第二水平信号线208之间的电位差。
图6及图7示出的固体摄像元件，以具备在全像素一并读出并存储PD的信号电荷的存储部(图6的FD)为特点，在摄像区域2内的多个光电二极管PD能够一并复位，换言之，即使是MOS型也能实现全局快门&全局复位功能。
但是，本实施方式涉及的固体摄像元件，不限定为图5、图6、图7示出的CCD型、MOS型图像传感器，作为测距系统1考虑其他要求而采用其他的固体摄像元件(图像传感器)也能够得到后述的效果(提高测距精度等)。
下面，利用图8、图9A、图10的时间图来说明本实施方式涉及的测距系统的动作方法。图8、图9A、图10是示出发光信号及曝光信号的动作例的第一时间图至第三时间图。在本实施方式中，能够使用第一时间图～第三时间图中的任一动作。
首先作为第一驱动方法，利用图8来说明测距时(TOF模式)的驱动操作，发光信号51包含指示用于进行测距的光照射的第一发光脉冲信号、以及指示不以测距为目的的照明的点灯的第二发光脉冲信号，第二发光脉冲信号截止时，第一发光脉冲信号导通，第一发光脉冲信号用于通过TOF进行测距。并且，以根据投射的光到对象物为止往返所花费的时间来测量距离的TOF为基本原理，根据曝光信号52用第一曝光信号与第二曝光信号的不同的定时即两个图案被控制而曝光的各自的光量的比，来计算出到测量对象物为止的距离，该曝光信号52是指示由发光信号(第一发光脉冲信号)51产生的照射光被作为被摄体的测量对象物反射而得到的反射光的曝光的信号。例如，通过第一曝光信号，以包含来自测量对象物的反射光的全部的方式进行曝光，通过第二曝光信号，以来自测量对象物的反射光相对于发光定时越延迟，曝光量就越增加的方式进行曝光。此外，为了检测背景光等的偏移成分，使发光信号51停止，以与第一曝光信号及第二曝光信号相同的条件进行曝光。
而且，根据第一曝光信号的曝光量的总和S0、第二曝光信号的曝光量的总和S1、背景光的曝光量的总和BG、照射的直接光的发光信号51的时间宽度T0、以及光速c的各值来计算到被摄体的距离L(参考式1)。
(数式1)
L = c · T 0 2 × ( S 1 - B G S 0 - B G ) (式1)
此外，在一个画面的发光信号51、第一曝光信号、第二曝光信号的定时中，多次重复输出发光信号(第一发光脉冲信号)51和第一曝光信号，之后以相同的次数重复输出发光信号(第一发光脉冲信号)51和第二曝光信号，之后使发光信号(第一发光脉冲信号)51停止，以相同的次数重复输出与第一曝光信号和第二曝光信号相同的条件的曝光信号52。可以将该一连串的定时为一组，重复输出多组之后，输出被存储的曝光量，根据(式1)来计算到被摄体为止的距离。
接着利用图8来说明照明时(照明模式)的驱动操作，以TOF模式(传感模式)的光的振幅比照明模式的光的振幅为高强度的方式，进行动作。换言之，第一发光脉冲信号的振幅比第二发光脉冲信号的振幅大，从而，在TOF模式下从照明测距兼用光源20照射的光的振幅，比在照明模式下从照明测距兼用光源20照射的光的振幅大。
由此，在本实施方式涉及的测距系统1中，兼用用于照亮黑暗等的光源和用于根据反射光进行测距的光源，从而能够实现测距系统1的小型化和轻量化，还能正确地获得距离信息。
下面用图9A来说明第二驱动方法，以与图8中说明的内容的不同之处为中心详细说明。
首先，在照明模式下的驱动与图8的驱动方法相同。另一方面，在TOF模式(传感模式)下，进行与图8说明的驱动相同的驱动，不过，该一连串的动作时间比照明模式的时间短。换言之，点灯时间长度，TOF模式比照明模式短(窄)。换句话说，第一发光脉冲信号导通的期间比第二发光脉冲信号导通的期间短，从而，在TOF模式下从照明测距兼用光源20照射的光的点灯时间长度比在照明模式下从照明测距兼用光源20照射的光的点灯时间长度短。
通过该动作，能够与图8同样地实现测距系统1的小型化和轻量化，还能正确地获得距离信息。
下面用图10来说明第三驱动方法，以与图8说明的内容的不同之处为中心来详细说明。
在图10中，TOF模式(传感模式)具备第一测距模式和背景光量测量模式(第二测距模式)。在这个例子中，测距系统1具备如下模式，在照明测距兼用光源20熄灯的状态下，使摄像部10动作，使运算部40测量背景光量的模式，运算部40进行从第一测距模式的曝光量减去背景光量的校正。
在第一测距模式中的基本动作与图8及图9A中说明的相同。在测量背景光量的模式中，作为曝光信号52的定时图案追加了第三曝光信号。具体而言，在照明测距兼用光源20熄灯的状态下，测量背景光量的模式(换言之，在测距计算时，从TOF模式的接收数据中减去背景光量)的驱动。
通过该动作，能够实现测距系统1的小型化和轻量化，还能正确地获得距离信息。
接着，说明测距系统的动作方法，在图8、图9A、图10的驱动方法中，为了使照明点灯+TOF点灯的次数比一定次数多，进行如下的高速脉冲驱动，第一发光脉冲信号导通的次数和第二发光脉冲信号导通的次数的总和为60次以上/秒，优选的是120次以上/秒。例如照明点灯+TOF点灯的次数为60次以上/秒，优选的是120次以上/秒。换言之，第一测距模式与照明模式的切换至少为120次/秒。
从而，能够避免来自LED光源的光使被摄体、步行者等感觉耀眼，能够实现保护眼睛。换句话说，LED实际上以120次/秒以上的速度，通过脉冲驱动动态地点灯，但是人的眼睛因为余像效果，看起来好像是连续发光，所以能够保护人的眼睛，不耀眼且没有不舒服感。
换言之，在本实施方式中，测距系统1能够实现小型化、轻量化，并获得准确的距离信息，而且能够实现保护被摄体、步行者等的眼睛。
另外，本实施方式的测距系统，可以组合图8、图9A、图10的驱动方法来进行驱动。
此外，在图8、图9A、图10的驱动方法中，说明了交替地驱动TOF模式和照明模式的例子，不过不仅限于此，第二发光脉冲信号，可以在第一发光脉冲信号导通的期间重复多次之后，成为导通。图9B是表示通过发光信号在TOF模式或者照明模式下一定次数连续动作的动作例的图。如图9B所示，例如在TOF模式或者照明模式下，能够按照一定次数连续地动作。
(实施方式2)
下面参考附图说明实施方式2涉及的测距系统1的构成及动作，以与上述实施方式中说明的内容不同之处为中心详细说明。
实施方式2的测距系统，还具备第二所述照明测距兼用光源部，运算部40被构成为利用第一照明测距兼用光源部及第二照明测距兼用光源部的相位差信息来进行测距。图11是表示实施方式2涉及的其他控制系统的概略构成的功能框图。此外，图12是将实施方式2作为一例，在将测距系统1搭载到作为运输设备的汽车的情况下，尤其示出照明测距兼用光源20和摄像部10的详细的概略斜视图。第一照明测距兼用光源部及第二照明测距兼用光源部是照明测距兼用光源部20a及20b。
在图11、图12中，如汽车用的前照灯一样，相隔一定距离的多个照明测距兼用光源20a、20b，与用于检测距照明用光源的距离等的物理量的测距用光源兼用。
由此，摄像部10接受从不同的位置照射的光的多个反射光，从摄像部10向运算部40输出多个RAW数据53a、53b。在运算部40中，利用左右前照灯根据TOF进行距离运算，并且将利用多个RAW数据53a、53b换言之有相位差的反射光的第二距离信息，作为校正信息进行TOF数据的校正。由此，本实施方式的测距系统能够进行精度更高的检测。
加之，对照明测距兼用光源20a、20b，通过在测距时使用相互不同的波长的光源，利用从照明测距兼用光源20a、20b获得的图像数据以及距离数据，能够立体地捕捉物体的形状。
即，在本实施方式中，尤其优选的是将测距系统适用于作为多个照明测距光源的汽车的前照灯系统，在该方法中，能够根据照射光a和反射光a的路径与照射光b和反射光b的路径的差，来计算被摄体与图像传感器的相对位置，不需要很大地改变现有的照明设备的构成，就能够进行精度更高的距离检测。
另外，在图12中，作为相隔一定的距离的多个照明用光源使用了前照灯，但是也可以采用其他的光源(例如，雾灯100a、100b)。
此外，虽然在图12将摄像部10设置在挡风玻璃内的上部(后视镜附近)，但不受所述限制，也可以设置例如前格栅内、前保险扛内等。
加之，接着说明本实施方式的详细，图13A是示出将实施方式2用于汽车的汽车用测距系统1，尤其示出第一照明测距兼用光源及第二照明测距兼用光源的详细的图。第一照明测距兼用光源部及第二照明测距兼用光源部是在车辆具备的左右远光光源和左右近光光源中、(a)左和右远光光源以及(b)左和右近光光源中的任一个。
换言之，汽车的前照灯采用本实施方式的测距系统1，远光光源11a、11b，以及近光光源12a、12b作为第一照明测距兼用光源及第二照明测距兼用光源而使用。换言之，第一照明测距兼用光源，至少包含远光光源11a及近光光源12a的一方，第二照明测距兼用光源，至少包含远光光源11b及近光光源12b的一方。由此，能够在夜间充分照亮黑暗的同时高精度地测量距离。
图13B是示出在TOF模式(第一测距模式)和照明模式下作为第一照明测距兼用光源部及第二照明测距兼用光源部的远光光源11a、11b，近光光源12a、12b的组合例的图。
图13B中的组A示出在TOF模式(第一测距模式)、照明模式的双方都采用近光光源12a、12b的情况。换言之，在组A进行利用图8～图10的动作以及相位差信息的测距。
同样，组B示出在TOF模式(第一测距模式)、照明模式的双方都采用远光光源11a、11b的情况。组C示出TOF模式(第一测距模式)下采用近光光源12a、12b，照明模式下采用远光光源11a、11b的情况。组D示出TOF模式(第一测距模式)下采用远光光源11a、11b，照明模式下采用近光光源12a、12b的情况。
另外，在组D的情况下，除了远光还采用红外光，并与近光光源12a、12b同步，就能够用近光进行照亮黑暗的照明，并用红外光远光以不给被摄体，步行者等目眩的方式进行测距。在此说的同步是指使第一照明测距兼用光源部及第二照明测距兼用光源部中的一方的熄灯与另一方的点灯同步。
另外，本实施方式可以采用上述的图8、图9A、图10中说明的TOF模式、照明模式、背景光量测量模式的各动作，能够进行精度更高的测距。
另外，在图12、图13A中示出了搭载在汽车的例子，不过并非受此所限，例如可以搭载在其他的运输设备(自行车、摩托车、铁道车辆、飞机、宇航机等)，运输设备和基础设备，重机(挖掘机、推土机等)，住宅设备机器等的任何设备。
(实施方式3)
在实施方式3说明具有图像测距模式的测距系统，该图像测距模式是利用来自摄像部的图像信号，比较当前帧和前一个帧来进行第二测距的模式。
下面，参考附图来说明实施方式3涉及的测距系统1的构成及动作，以与上述的实施方式的不同点为中心进行说明。
图14A、图14B是表示实施方式3涉及的测距系统1的概略构成的功能框图。其中，图14A是如实施方式1的图1所示的具备单独的照明测距兼用光源20的情况，图14B是如实施方式2的图11所示的具备第一照明测距兼用光源以及第二照明测距兼用光源的情况。
根据图14A、图14B，测距系统1具备摄像部10、照明测距兼用光源20、信号产生部30、运算部40。
照明测距兼用光源20(20a、20b)具有驱动电路、电容器及发光元件，通过将电容器保持的电荷提供到发光二极管，从而发光。作为发光元件可以采用激光二极管和发光二极管(LED)等其他的发光元件。
此外，信号产生部30产生指示光照射的发光信号51(51a、51b)、以及指示来自被摄体的反射光的曝光的曝光信号52(52a、52b)。照明测距兼用光源20(20a、20b)，按照接收发光信号51的定时，对被摄体进行用于测距的光照射，该发光信号51是由信号产生部30产生的。
进而，按照接收由信号产生部30产生的发光信号51(51a、51b)的定时，进行用于不以测距为目的的照亮黑暗的光照射。
摄像部10具有摄像机透镜、固体摄像元件(图像传感器)，以及模数转换器等的制作并输出RAW数据53(53a、53b)的电路。此外，摄像部10对包含对象物体(被摄体)的区域，按照由信号产生部30产生的曝光信号52(52a、52b)所示出的定时，进行多次的曝光，获得与多次曝光量的总和对应的RAW数据53(53a、53b)(TOF信息)。
加之，摄像部10进行摄像，将该图像信息输出到运算部40。
运算部40利用从摄像部10接受的RAW数据53(53a、53b)和图像信息进行运算，输出距被摄体的距离信息(检测信息)。
首先，在TOF模式下进行测距与上述的实施方式相同。
进而，在本实施方式中进行图像摄像，根据该图像数据测量距离。作为该方法的一例，摄像部10拍摄连续图像，比较当前的帧(图像)和前一个帧(图像)，通过运算计算距离(图像测距模式)。
这样，作为距离信息使用TOF数据和图像信息的双方，通过如下的使用方法，能够提高测距精度。
第一使用方法是根据昼夜分开使用测量模式(距离信息)的方法。例如，在白天等通常不使照明光源点灯的情况下，本实施方式中使照明测距兼用光源20(20a、20b)熄灯，以图像测距模式进行测距。此外，在夜间等通常使照明光源点灯的情况下，本实施方式中使照明测距兼用光源20(20a、20b)点灯(脉冲点灯驱动)，以TOF模式进行测距。由此，在白天不使照明测距兼用光源20点灯，能够不论昼夜准确地进行测距。
第二使用方法是针对TOF模式的距离信息，利用图像测距模式的距离信息进行数据补充的方法。在该方法中，能够进一步提高测距精度。
第三使用方法是根据进行处理的气候和环境条件等，分开使用测量模式(距离信息)的方法。例如，在傍晚等接受较强的阳光的情况，在下雨的情况等(换言之，图像识别困难的情况)使用TOF模式，除此之外的环境使用图像测距模式。据此，不管怎样的气候以及情况下都能高精度地进行测距。
第四使用方法是根据距被摄体的距离分开使用测量模式(距离信息)的方法。即，例如到10m为止的近距离就使用TOF模式和图像测距模式，例如10m以上的远距离则主要使用TOF模式。由此，不管是什么样的距被摄体的距离，都能高精度地进行测距。
第五使用方法是根据搭载了本系统的运输设备(例如，汽车)、或被摄体的动作速度，分开使用测量模式(距离信息)的方法。例如运输设备的速度是例如30km/h为止的低速时，就使用TOF模式和图像测距模式，例如是30～100km/h为止的中速时，则按每个帧分开使用TOF模式和图像测距模式，例如是100km/h以上的高速时，使用TOF模式。由此，不管是什么样的距被摄体的距离，都能高精度地测距。
另外，本实施方式可以采用上述的图8、图9A、图10中说明的TOF模式、照明模式、背景光量测量模式的各动作，能够进行精度更高的测距。
此外，将本实施方式涉及的测距系统1，如上述图2、图3一样搭载在重机、或重机和操作现场的构造物，就可以到达障碍物为止自动地往下挖，并且，根据图像摄像识别出是不能往下挖的障碍物(物体硬、有爆炸的危险等)就自动地停止动作等，从而测距系统1虽然小型且轻量，但是能够进行自动运转。
此外，本实施方式的测距系统1可以搭载在例如运输设备(自行车、摩托车、铁道车辆、飞机、宇航机等)，运输设备和基础设备，重机(挖掘机、推土机等)，住宅设备机器等任何设备。
(实施方式3的变形例)
下面参考附图说明本变形例涉及的测距系统1的构成及动作，以与上述实施方式中说明的内容不同之处为中心详细说明。
首先，图15A～图15C是示出单位单元(微透镜)的第一至第三阵列例子的图。图15D是固体摄像元件与透镜以及被摄体之间的光路的说明图。区域A，B分别是透镜中的区域。
在图15A～图15C中，第一单位单元401与接受来自图15D的区域A的光的单位单元对应，第二单位单元402与接受来自图15D的区域B的光的单位单元对应。
在图15A中，多个第一单位单元401和多个第二单位单元402以方格纹的方式布置，列方向(垂直方向)以及行方向(水平方向)交替地布置。在图15B中，第一单位单元401的列和第二单位单元402的列在行方向交替地布置。在图15C中，第一单位单元401的行和第二单位单元402的行在列方向交替地布置。另外，作为单位单元的阵列图示了三个类型，不过，也可以将第一单位单元401及第二单位单元402按多个单元为一个块来布置。通过这样布置，在局部能同时接受两种光。
图16是按每个单位单元群示出微透镜的布置以及结构的平面结构图。
如上的图4所示，通常微透镜307具备曲面结构，根据微透镜及微透镜接触的物质(气体，固体等)的折射率间差，使光弯曲并且聚光。
另一方面，如图16示出的微透镜，从上方看时，具有多个透光膜以及由多个透光膜的组合被控制的实效折射率分布，该多个透光膜以与针对微透镜的入射光的波长相同程度或者比其短的线宽度分离，具有相对于微透镜的受光面为垂直的方向的轴为中心轴的同心结构。换言之，通过从所述中心轴重复地布置折射率不同的材料(透光膜)的结构，从而具有作为透镜的实效折射率分布。
并且，为了实现这样的微透镜，微透镜采用例如用无机材料形成的微透镜，即数字微透镜。将如图16一样的上表面图案的微透镜安装在各单位单元的上方，通过各单位单元，局部地具有相对于入射角度的变化而不同的聚光特性。换言之，使所述的中心轴从单位单元的中心偏离，从而能够设定光量(受光灵敏度)成为最大的入射角度。
因此，光量成为最大的入射角度不同的第一单位单元及第二单位单元相邻地设置，从而能够同时接受两个方向的入射光，所以不使用所谓立体摄影机，通过单眼图像传感器就能实现立体图像。
通过本构成，即使不用立体摄影机(复眼摄像机)，也能够描绘立体图像，利用该立体图像数据的图像测距模式，能够进一步高精度地进行测距。
另外，上述数字微透镜，也可以在图4，图18A，图18B说明的微透镜307使用。
(实施方式4)
下面参考附图，说明实施方式4涉及的测距系统1的构成及动作。
图17是表示在住宅设备机器(居住空间)搭载实施方式1或者实施方式2说明的测距系统1的例子的图。在该图中尤其示出照明测距兼用光源20和摄像部10。
在住宅设备机器搭载本实施方式涉及的测距系统1，作为数据能够自动地获得例如空间内的尺寸信息、家具等的布置信息，并且利用数据，在通过邮购购买家具等的情况下，能够自动地进行模拟例如尺寸上是否可以设置等。
(实施方式的变形例1)
下面参考附图说明本变形例涉及的测距系统1的构成及动作，以与上述的实施方式中说明的内容不同之处为中心详细说明。
图18A、图18B是关于本实施方式1～3涉及的测距系统1搭载的图像传感器的像素，尤其说明IR透过滤波器的详细的结构截面图。
在图18A中，IR透过滤波器是例如周期地层叠折射率相互不同的层的，所谓光子滤色片331。在IR透过滤波器中，例如按照色光使层叠结构中的至少一层的厚度不同，从而单位单元21按照作为检测对象的色光，选择性地透过的波长不同。
此外，IR透过滤波器，通过层叠无机材料例如SiO2和TiO2而构成。IR透过滤波器，例如通过溅射、真空淀积等真空隔膜形成法来制造。通过使用无机材料，能够形成按每个单位单元21具有波长特性差的IR透过滤波器。
在此，如图4所述，图像传感器，通过受光部(例如光电二极管)的结构的优化(例如，杂质概况的优化)，即使没有IR透过滤波器也能够接受光，以及产生信号电荷。然而在图像传感器搭载IR透过滤波器，能够选择接受的光的波长。
加之，如图18B一样，用一般的有机材料来形成IR透过滤波器330，从而获得本申请的效果，不过，通过用上述的无机材料来形成，从而能够缩小所选择的光的波长宽度。
通过上述，能够进行高精度的测距。
(实施方式的变形例2)
图19是实施方式涉及的固体摄像元件的平面结构图，各像素分别设置有R+IR、G+IR、B+IR、IR的各个滤波器。
该像素，并且设置了R+IR，G+IR，B+IR的各个滤波器的各个像素通过透过滤波器，在背景光包含红外成分的情况下，该一部分的红外光被接受。换言之，分别设置了R+IR，G+IR，B+IR的滤波器的各个像素分别接受R成分和所述一部分红外成分、G成分和所述一部分红外成分、B成分和所述一部分红外成分。此外通过IR透过滤波器，R+IR、G+IR、B+IR、IR的像素仅接受一部分红外成分并进行光电转换，在可见曝光时间中电荷存储到R+IR、G+IR、B+IR、IR各自的像素。
此时，在实施方式2以及实施方式3的测距系统1中，利用透过IR透过滤波器的光，以TOF模式进行测距，利用透过R+IR，G+IR，B+IR透过滤波器的光，进行图像摄像，利用该图像数据测量距离。作为其方法的一例，在摄像部10拍摄连续图像，对当前的帧(图像)和前一个帧(图像)进行比较运算，从而计算距离，能够进行更高精度的测距。
另外，在本变形例中，如图20所示，能够将R+IR、G+IR、B+IR、IR的各个滤波器，如上述图18A一样层叠无机材料来形成。
此外，在本变形例中能够将R+IR，G+IR，B+IR，IR的各个滤波器，如上述图18B一样由有机材料来形成。
此外，在本变形例中能够将R+IR，G+IR，B+IR，IR的各个滤波器，适当地分开形成为由无机材料形成的滤波器和由有机材料形成的滤波器。
此外，在本变形例中，能够将R+IR，G+IR，B+IR，IR的各个滤波器形成为组合由无机材料形成的滤波器和由有机材料形成的滤波器(例如在相对于半导体基板垂直的方向上重叠)。
本申请涉及的测距系统能够不依存于周围环境，实现对测量对象物的高精度的三维测量，从而有用于例如人物、建筑物等的三维测量。
符号说明
1测距系统
2摄像区域
10摄像部
11a，11b远光光源
12a，12b近光光源
18构造物
20，20a，20b照明测距兼用光源
21单位单元
30信号产生部
40运算部
51发光信号
52曝光信号
53，53a，53bRAW数据
90挖掘机
96铲斗
100a，100b雾灯
101光电二极管
102垂直传送部
103水平传送部
104信号电荷检测部
201单位单元
202摄像区域
203除去部
204水平选择部
205差动放大器
206垂直信号线
207，208水平信号线
209电流源
301半导体基板
305金属布线，栅极电极或者传送电极
307微透镜
330透过滤波器
331光子滤色片
401第一单位单元
402第二单位单元
C11，C12电容
M1读出晶体管
M2复位晶体管
M3源极跟随晶体管
M4行选择晶体管
M5快门晶体管
PD光电二极管
M12复位电平用样品晶体管
M21，M22列选择晶体管
M11信号电平用样品晶体管
RSn复位信号
SHN样品保留信号
SHS样品保留信号
TXn传送信号
VDD像素电极
SELn选择信号
TXSn快门信号

Claims (26)

1.一种测距系统，具备：
信号产生部，产生指示光照射的发光信号与指示反射光的曝光的曝光信号；
第一照明测距兼用光源部，接收所述发光信号，进行所述光照射，以进行不以测距为目的的照明以及利用反射光的测距；
摄像部，接收所述曝光信号从而进行所述曝光，并且获得所述反射光的曝光量；以及
运算部，利用所述曝光量，运算并输出距离信息，
所述测距系统，作为动作模式具有使所述第一照明测距兼用光源部进行所述照明的照明模式、以及使所述第一照明测距兼用光源部进行所述光照射使所述摄像部动作，从而进行第一测距的第一测距模式。
2.如权利要求1所述的测距系统，
所述第一测距模式下从所述第一照明测距兼用光源部照射的光的振幅，比所述照明模式下从所述第一照明测距兼用光源部照射的光的振幅大。
3.如权利要求1或2所述的测距系统，
所述第一测距模式下从所述第一照明测距兼用光源部照射的光的点灯时间长度，比所述照明模式下从所述第一照明测距兼用光源部照射的光的点灯时间长度短。
4.如权利要求1至3的任一项所述的测距系统，
所述测距系统还具备如下模式，在所述第一照明测距兼用光源部熄灯的状态下，使所述摄像部动作，并使所述运算部测量背景光量的模式，
所述运算部，进行从所述第一测距模式的曝光量减去所述背景光量的校正。
5.如权利要求1至4的任一项所述的测距系统，
所述第一照明测距兼用光源部搭载单色的LED或者多色的LED。
6.如权利要求5所述的测距系统，
所述第一测距模式与所述照明模式的切换至少是120次/秒。
7.如权利要求1至6的任一项所述的测距系统，
所述测距系统还具备第二照明测距兼用光源部，
所述运算部，还利用所述第一照明测距兼用光源部与第二照明测距兼用光源部的相位差信息进行测距。
8.如权利要求7所述的测距系统，
所述第一照明测距兼用光源部及第二照明测距兼用光源部是车辆具备的左右远光光源和左右近光光源之中、(a)左和右远光光源以及(b)左和右近光光源中的任一个。
9.如权利要求1至8的任一项所述的测距系统，
所述运算部，利用来自所述摄像部的图像信号，对当前的帧与前一个帧进行比较，从而进行第二测距。
10.如权利要求9所述的测距系统，
所述运算部，将由所述第一测距和第二测距得到的距离信息的一方，通过所述第一测距和第二测距的距离信息的另一方来进行校正。
11.如权利要求9或10所述的测距系统，
所述第一测距和第二测距，根据昼夜、气候、距被摄体的距离、或者所述被摄体或所述测距系统的动作速度，来分开使用。
12.如权利要求1至11的任一项所述的测距系统，
所述摄像部具备固体摄像元件，
所述固体摄像元件是CCD型的固体摄像元件。
13.如权利要求1至11的任一项所述的测距系统，
所述摄像部具备：具有多个像素的固体摄像元件，
所述多个像素的每一个像素具备：
受光部，进行光电转换；以及
存储部，存储从所述受光部读出的信号电荷，
所述固体摄像元件是，在所述多个像素将所述受光部的信号电荷一并读出到所述存储部的MOS型的固体摄像元件。
14.如权利要求1至13的任一项所述的测距系统，
所述摄像部具备：具有多个像素的固体摄像元件，
所述多个像素的每一个像素，具备微透镜，该微透镜具有将与受光面垂直的轴设为中心轴，将折射率不同的材料以同心状重复布置的结构。
15.如权利要求1至14的任一项所述的测距系统，
所述摄像部具备：具有多个像素的固体摄像元件，
所述多个像素的每一个像素具备红外线透过滤波器、使红色光和红外线透过的第一滤波器、使绿色光和红外线透过的第二滤波器、以及使蓝色光和红外线透过的第三滤波器中的任一个。
16.如权利要求15所述的测距系统，
所述红外线透过滤波器、以及所述第一滤波器以及所述第三滤波器的至少一个是层叠了无机材料的滤波器。
17.如权利要求1至16的任一项所述的测距系统，
将所述测距系统搭载到重机、或重机和操作现场的构造物。
18.如权利要求1至16的任一项所述的测距系统，
将所述测距系统搭载到运输设备。
19.如权利要求1至16的任一项所述的测距系统，
将所述测距系统搭载到住宅设备机器。
20.一种信号产生装置，控制发光脉冲信号的信号产生装置，
所述信号产生装置控制多种所述发光脉冲信号，
所述多种发光脉冲信号包括指示用于进行测距的光照射的第一发光脉冲信号、以及指示不以测距为目的的照明的点灯的第二发光脉冲信号，
在所述第二发光脉冲信号截止时，所述第一发光脉冲信号导通。
21.如权利要求20所述的信号产生装置，
所述第一发光脉冲信号导通的期间，比所述第二发光脉冲信号导通的期间短。
22.如权利要求20或21所述的信号产生装置，
所述第二发光脉冲信号，在所述第一发光脉冲信号导通的期间重复多次之后，成为导通。
23.如权利要求20至22的任一项所述的信号产生装置，
所述第一发光脉冲信号导通的次数与所述第二发光脉冲信号导通的次数的总和为，至少120次/秒。
24.如权利要求20至22的任一项所述的信号产生装置，
所述第一发光脉冲信号的振幅比所述第二发光脉冲信号的振幅大。
25.如权利要求20至24的任一项所述的信号产生装置，
所述第一发光脉冲信号，在根据飞行时间TimeOfFlight进行测距时使用。
26.如权利要求20至25的任一项所述的信号产生装置，
所述信号产生装置控制曝光信号，该曝光信号指示由所述第一发光脉冲信号产生的照射光的、由被摄体反射而得到的反射光的曝光。
CN201480043384.3A 2013-08-23 2014-08-08 测距系统、以及信号产生装置 Pending CN105452807A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013173529 2013-08-23
JP2013-173529 2013-08-23
PCT/JP2014/004146 WO2015025497A1 (ja) 2013-08-23 2014-08-08 測距システム及び信号発生装置

Publications (1)

Publication Number Publication Date
CN105452807A true CN105452807A (zh) 2016-03-30

Family

ID=52483292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480043384.3A Pending CN105452807A (zh) 2013-08-23 2014-08-08 测距系统、以及信号产生装置

Country Status (4)

Country Link
US (2) US10151835B2 (zh)
JP (1) JP6459069B2 (zh)
CN (1) CN105452807A (zh)
WO (1) WO2015025497A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108459417A (zh) * 2018-02-05 2018-08-28 华侨大学 一种单目窄带多光谱立体视觉系统及其使用方法
CN108594248A (zh) * 2018-03-08 2018-09-28 北京集光通达科技股份有限公司 激光镜头和激光测距系统
CN109564287A (zh) * 2016-08-01 2019-04-02 株式会社电装 光飞行型测距装置
CN110023785A (zh) * 2016-11-29 2019-07-16 松下知识产权经营株式会社 距离测定装置
WO2020006924A1 (zh) * 2018-07-04 2020-01-09 歌尔股份有限公司 基于tof模组的深度信息测量方法及装置
CN111032476A (zh) * 2017-08-10 2020-04-17 西门子交通有限公司 根据天气条件传感器控制地调节里程测量参数
CN111200710A (zh) * 2018-10-31 2020-05-26 英飞凌科技股份有限公司 用于单次读出深度测量的具有交织保持的图像传感器
CN112929519A (zh) * 2019-12-06 2021-06-08 Oppo广东移动通信有限公司 深度相机、成像装置和电子设备
WO2021136284A1 (zh) * 2019-12-30 2021-07-08 睿镞科技(北京)有限责任公司 三维测距方法和装置

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6362511B2 (ja) * 2014-11-04 2018-07-25 キヤノン株式会社 撮像装置及びその制御方法
JP6722194B2 (ja) * 2015-03-17 2020-07-15 コーネル・ユニバーシティーＣｏｒｎｅｌｌ Ｕｎｉｖｅｒｓｉｔｙ 深度フィールドイメージング装置、方法および応用
WO2016208214A1 (ja) * 2015-06-24 2016-12-29 株式会社村田製作所 距離センサ
CN106576145B (zh) 2015-07-10 2021-04-30 松下知识产权经营株式会社 摄像装置
EP3330739A4 (en) * 2015-07-31 2018-08-15 Panasonic Intellectual Property Management Co., Ltd. Range imaging device and solid-state imaging device
JP6738334B2 (ja) * 2015-08-04 2020-08-12 パナソニックセミコンダクターソリューションズ株式会社 固体撮像装置
JP6716902B2 (ja) * 2015-12-11 2020-07-01 株式会社ニコン 電子機器
WO2018139212A1 (ja) 2017-01-25 2018-08-02 パナソニックＩｐマネジメント株式会社 運転制御システムおよび運転制御方法
CN106772420A (zh) * 2017-02-28 2017-05-31 苏州四百克拉光电科技有限公司 水下微小颗粒物探测的高光谱连续光激光雷达系统
CN106908804A (zh) * 2017-03-10 2017-06-30 苏州四百克拉光电科技有限公司 一种林业植株三维点云测量激光雷达系统及方法
JP6846708B2 (ja) * 2017-03-30 2021-03-24 パナソニックＩｐマネジメント株式会社 画像認識装置および距離画像生成方法
US11175405B2 (en) 2017-05-15 2021-11-16 Ouster, Inc. Spinning lidar unit with micro-optics aligned behind stationary window
US10663565B2 (en) * 2017-09-19 2020-05-26 Rockwell Automation Technologies, Inc. Pulsed-based time of flight methods and system
US10585176B2 (en) 2017-09-19 2020-03-10 Rockwell Automation Technologies, Inc. Pulsed-based time of flight methods and system
US11543497B2 (en) 2017-12-22 2023-01-03 Sony Semiconductor Solutions Corporation Sensor chip, electronic equipment, and apparatus
US10996324B2 (en) 2018-05-14 2021-05-04 Rockwell Automation Technologies, Inc. Time of flight system and method using multiple measuring sequences
US11002836B2 (en) 2018-05-14 2021-05-11 Rockwell Automation Technologies, Inc. Permutation of measuring capacitors in a time-of-flight sensor
US10969476B2 (en) 2018-07-10 2021-04-06 Rockwell Automation Technologies, Inc. High dynamic range for sensing systems and methods
US11609313B2 (en) * 2018-07-31 2023-03-21 Waymo Llc Hybrid time-of-flight and imager module
WO2020049906A1 (ja) 2018-09-03 2020-03-12 パナソニックＩｐマネジメント株式会社 距離測定装置
US10789506B2 (en) * 2018-09-24 2020-09-29 Rockwell Automation Technologies, Inc. Object intrusion detection system and method
US11272156B2 (en) 2019-02-15 2022-03-08 Analog Devices International Unlimited Company Spatial correlation sampling in time-of-flight imaging
JP2020193957A (ja) * 2019-05-30 2020-12-03 ファナック株式会社 測距異常を補正する距離画像生成装置
JP7463671B2 (ja) * 2019-08-01 2024-04-09 Ｔｏｐｐａｎホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法
JP7175872B2 (ja) * 2019-11-14 2022-11-21 株式会社日立エルジーデータストレージ 測距装置
JP2021197284A (ja) * 2020-06-15 2021-12-27 ソニーセミコンダクタソリューションズ株式会社 光源駆動装置、光源装置および測距装置
JP2023068471A (ja) * 2021-11-02 2023-05-17 株式会社デンソー 制御装置、制御方法、制御プログラム
EP4198556A1 (en) * 2021-12-17 2023-06-21 Nokia Technologies Oy Determining position of object by optical time-of-flight measurement with background light referencing

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10239029A (ja) * 1997-02-28 1998-09-11 Olympus Optical Co Ltd 三次元形状計測装置
JP2000083260A (ja) * 1998-05-22 2000-03-21 Asahi Optical Co Ltd ３次元画像入力装置
US20020082474A1 (en) * 2000-12-26 2002-06-27 Asahi Kogaku Kogyo Kabushiki Kaisha Electronic endoscope with three-dimensional image capturing device
JP2004279284A (ja) * 2003-03-18 2004-10-07 Mitsubishi Heavy Ind Ltd 監視用レーザレーダシステム
US20080089557A1 (en) * 2005-05-10 2008-04-17 Olympus Corporation Image processing apparatus, image processing method, and computer program product
CN101356450A (zh) * 2005-12-19 2009-01-28 国家光学研究所 物体检测发光系统和方法
CN101772711A (zh) * 2007-08-01 2010-07-07 皇家飞利浦电子股份有限公司 车辆定位测量系统和方法
CN102683363A (zh) * 2011-03-16 2012-09-19 株式会社东芝 固体拍摄装置以及照相机模块
JP2013120133A (ja) * 2011-12-07 2013-06-17 Fujitsu Ltd 三次元座標測定装置、三次元座標測定方法、及びプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7415126B2 (en) * 1992-05-05 2008-08-19 Automotive Technologies International Inc. Occupant sensing system
US7164117B2 (en) * 1992-05-05 2007-01-16 Automotive Technologies International, Inc. Vehicular restraint system control system and method using multiple optical imagers
US5668663A (en) * 1994-05-05 1997-09-16 Donnelly Corporation Electrochromic mirrors and devices
EP1263626A2 (en) * 2000-03-02 2002-12-11 Donnelly Corporation Video mirror systems incorporating an accessory module
JP2001337166A (ja) * 2000-05-26 2001-12-07 Minolta Co Ltd ３次元入力方法および３次元入力装置
US20040012710A1 (en) * 2001-01-22 2004-01-22 Tsuyoshi Yaji Optical apparatus using deformable mirror
JP4688196B2 (ja) 2001-03-23 2011-05-25 スタンレー電気株式会社 自動車用暗視システム
US6711280B2 (en) * 2001-05-25 2004-03-23 Oscar M. Stafsudd Method and apparatus for intelligent ranging via image subtraction
US6747813B2 (en) * 2001-09-17 2004-06-08 Olympus Corporation Optical system and imaging device
JP4449443B2 (ja) * 2003-12-10 2010-04-14 日産自動車株式会社 レーダ機能付きｌｅｄランプ装置
JP2006318059A (ja) * 2005-05-10 2006-11-24 Olympus Corp 画像処理装置、画像処理方法、および画像処理用プログラム
US8242476B2 (en) 2005-12-19 2012-08-14 Leddartech Inc. LED object detection system and method combining complete reflection traces from individual narrow field-of-view channels
CN106158895B9 (zh) * 2011-03-10 2019-12-20 西奥尼克斯公司 三维传感器、系统和相关的方法
JP5901935B2 (ja) * 2011-10-24 2016-04-13 株式会社東芝 固体撮像装置及びカメラモジュール

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10239029A (ja) * 1997-02-28 1998-09-11 Olympus Optical Co Ltd 三次元形状計測装置
JP2000083260A (ja) * 1998-05-22 2000-03-21 Asahi Optical Co Ltd ３次元画像入力装置
US20020082474A1 (en) * 2000-12-26 2002-06-27 Asahi Kogaku Kogyo Kabushiki Kaisha Electronic endoscope with three-dimensional image capturing device
JP2004279284A (ja) * 2003-03-18 2004-10-07 Mitsubishi Heavy Ind Ltd 監視用レーザレーダシステム
US20080089557A1 (en) * 2005-05-10 2008-04-17 Olympus Corporation Image processing apparatus, image processing method, and computer program product
CN101356450A (zh) * 2005-12-19 2009-01-28 国家光学研究所 物体检测发光系统和方法
CN101772711A (zh) * 2007-08-01 2010-07-07 皇家飞利浦电子股份有限公司 车辆定位测量系统和方法
CN102683363A (zh) * 2011-03-16 2012-09-19 株式会社东芝 固体拍摄装置以及照相机模块
JP2013120133A (ja) * 2011-12-07 2013-06-17 Fujitsu Ltd 三次元座標測定装置、三次元座標測定方法、及びプログラム

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109564287B (zh) * 2016-08-01 2022-12-06 株式会社电装 光飞行型测距装置
CN109564287A (zh) * 2016-08-01 2019-04-02 株式会社电装 光飞行型测距装置
CN110023785A (zh) * 2016-11-29 2019-07-16 松下知识产权经营株式会社 距离测定装置
CN110023785B (zh) * 2016-11-29 2023-03-28 新唐科技日本株式会社 距离测定装置
CN111032476A (zh) * 2017-08-10 2020-04-17 西门子交通有限公司 根据天气条件传感器控制地调节里程测量参数
CN108459417A (zh) * 2018-02-05 2018-08-28 华侨大学 一种单目窄带多光谱立体视觉系统及其使用方法
CN108459417B (zh) * 2018-02-05 2020-06-26 华侨大学 一种单目窄带多光谱立体视觉系统及其使用方法
CN108594248A (zh) * 2018-03-08 2018-09-28 北京集光通达科技股份有限公司 激光镜头和激光测距系统
WO2020006924A1 (zh) * 2018-07-04 2020-01-09 歌尔股份有限公司 基于tof模组的深度信息测量方法及装置
CN111200710A (zh) * 2018-10-31 2020-05-26 英飞凌科技股份有限公司 用于单次读出深度测量的具有交织保持的图像传感器
CN112929519B (zh) * 2019-12-06 2022-10-25 Oppo广东移动通信有限公司 深度相机、成像装置和电子设备
CN112929519A (zh) * 2019-12-06 2021-06-08 Oppo广东移动通信有限公司 深度相机、成像装置和电子设备
WO2021136284A1 (zh) * 2019-12-30 2021-07-08 睿镞科技(北京)有限责任公司 三维测距方法和装置

Also Published As

Publication number Publication date
JPWO2015025497A1 (ja) 2017-03-02
US11422256B2 (en) 2022-08-23
US20190072673A1 (en) 2019-03-07
JP6459069B2 (ja) 2019-01-30
US20160161611A1 (en) 2016-06-09
WO2015025497A1 (ja) 2015-02-26
US10151835B2 (en) 2018-12-11

Similar Documents

Publication Publication Date Title
CN105452807A (zh) 测距系统、以及信号产生装置
US11470284B2 (en) Rotating LIDAR with co-aligned imager
JP7426377B2 (ja) マルチスペクトル測距／撮像センサアレイ及びシステム
US11733092B2 (en) Channel-specific micro-optics for optical arrays
US10302766B2 (en) Range imaging system and solid-state imaging device
US20190056498A1 (en) Gated imaging apparatus, system and method
WO2016092451A1 (en) Optical detector
CN103959041A (zh) 附着物探测器和附着物检测方法
JP2024056706A (ja) マルチスペクトル測距／撮像センサアレイ及びシステム
WO2024042360A1 (en) Systems and methods for updating point clouds in lidar systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200528

Address after: Kyoto Japan

Applicant after: Panasonic semiconductor solutions Co.,Ltd.

Address before: Osaka Japan

Applicant before: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20160330

RJ01 Rejection of invention patent application after publication