CN110050171A - 摄像装置和该摄像装置中使用的固体摄像元件 - Google Patents

摄像装置和该摄像装置中使用的固体摄像元件 Download PDF

Info

Publication number
CN110050171A
CN110050171A CN201780075071.XA CN201780075071A CN110050171A CN 110050171 A CN110050171 A CN 110050171A CN 201780075071 A CN201780075071 A CN 201780075071A CN 110050171 A CN110050171 A CN 110050171A
Authority
CN
China
Prior art keywords
region
subject
information
photographic device
imaged
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780075071.XA
Other languages
English (en)
Other versions
CN110050171B (zh
Inventor
岩桥贤二
新出弘纪
本多智宏
清水规贵
岩井浩
柴田修
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nuvoton Technology Corp Japan
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN110050171A publication Critical patent/CN110050171A/zh
Application granted granted Critical
Publication of CN110050171B publication Critical patent/CN110050171B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C9/00—Measuring inclination, e.g. by clinometers, by levels
    • G01C9/02—Details
    • G01C9/06—Electric or photoelectric indication or reading means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C9/00—Measuring inclination, e.g. by clinometers, by levels
    • G01C9/02—Details
    • G01C9/06—Electric or photoelectric indication or reading means
    • G01C2009/066—Electric or photoelectric indication or reading means optical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)

Abstract

摄像装置(1)搭载于运输设备，具有将照射光进行照射的光源(10)、固体摄像元件(20)和运算部(30)，固体摄像元件(20)具有使用照射光通过被摄体反射的反射光进行摄像的第1像素(21)和对被摄体进行摄像的第2像素(22)，固体摄像元件(20)进行摄像的摄像区域至少包含利用第1像素(21)进行摄像的第1区域(110)和利用第2像素(22)进行摄像的第2区域(120)，第1区域(110)或第2区域(120)设置在作为另一方的第2区域(120)或第1区域(110)的周围，运算部(30)根据来自第1区域(110)的信息和来自第2区域(120)的信息进行被摄体信息的运算，运输设备的垂直方向上的照射光的照射角度比运输设备的垂直方向上的摄像区域的视场角窄。

Description

摄像装置和该摄像装置中使用的固体摄像元件
技术领域
本发明涉及对被摄体进行摄像的摄像装置。
背景技术
以往，已知有对被摄体进行摄像的摄像装置(例如参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2011-64498号公报
发明内容
发明要解决的课题
在摄像装置中，期望提高被摄体的测距精度和/或被摄体的检测精度。
因此，本发明的目的在于，提供与以往相比能够提高被摄体的测距精度和/或被摄体的检测精度的摄像装置和该摄像装置中使用的固体摄像元件。
用于解决课题的手段
本发明的一个方式的摄像装置搭载于运输设备，具有将照射光进行照射的光源、对被摄体进行摄像并输出表示曝光量的摄像信号的固体摄像元件、以及使用所述摄像信号运算所述被摄体的被摄体信息的运算部，其中，所述固体摄像元件具有使用所述照射光通过所述被摄体反射的反射光进行摄像的第1像素和对所述被摄体进行摄像的第2像素，所述固体摄像元件进行摄像的摄像区域至少包含利用所述第1像素进行摄像的第1区域和利用所述第2像素进行摄像的第2区域，所述第1区域或所述第2区域设置在作为另一方的所述第2区域或所述第1区域的周围，所述运算部根据来自所述第1区域的信息和来自所述第2区域的信息进行所述被摄体信息的运算，所述运输设备的垂直方向上的所述照射光的照射角度比所述运输设备的垂直方向上的所述摄像区域的视场角窄。
本发明的一个方式的固体摄像元件用于摄像装置，该摄像装置搭载于运输设备，具有将照射光进行照射的光源和使用表示曝光量的摄像信号运算被摄体的被摄体信息的运算部，所述固体摄像元件对所述被摄体进行摄像并输出所述摄像信号，其中，所述固体摄像元件具有使用所述照射光通过所述被摄体反射的反射光进行摄像的第1像素和对所述被摄体进行摄像的第2像素，所述固体摄像元件进行摄像的摄像区域至少包含利用所述第1像素进行摄像的第1区域和利用所述第2像素进行摄像的第2区域，所述第1区域或所述第2区域设置在作为另一方的所述第2区域或所述第1区域的周围，所述运算部根据来自所述第1区域的信息和来自所述第2区域的信息进行所述被摄体信息的运算，所述运输设备的垂直方向上的所述照射光的照射角度比所述运输设备的垂直方向上的所述摄像区域的视场角窄。
发明效果
根据上述结构的摄像装置和固体摄像元件，与以往相比，能够提高被摄体的测距精度和/或被摄体的检测精度。
附图说明
图1是示出实施方式的摄像装置的结构的框图。
图2是示出实施方式的固体摄像元件所具有的像素阵列的示意图。
图3是示出TOF测距方式的测距时的发光定时与曝光定时的关系的时序图。
图4是示出实施方式的摄像装置搭载于车辆进行利用的一例的框图。
图5A是示意地示出实施方式的摄像装置的摄像区域的一例的侧视图。
图5B是示意地示出实施方式的摄像装置的摄像区域的一例的侧视图。
图6是示意地示出实施方式的摄像装置的摄像区域的一例的侧视图。
图7A是示意地示出实施方式的摄像装置的摄像区域的一例的俯视图。
图7B是示意地示出实施方式的摄像装置的摄像区域的一例的俯视图。
图7C是示意地示出实施方式的摄像装置的摄像区域的一例的俯视图。
图8是示出实施方式的摄像装置对路面进行摄像的状况的示意图。
图9A是示出实施方式的摄像装置对其他车辆进行摄像的状况的示意图。
图9B是示出实施方式的摄像装置对其他车辆进行摄像的状况的示意图。
图10是示出实施方式的摄像装置对路面进行摄像的状况的示意图。
图11是示出IR摄像图像的输出顺序与W摄像图像的输出顺序的关系的一例的示意图。
图12A是示出IR摄像图像的输出顺序与IR插值摄像图像的输出顺序的关系的一例的示意图。
图12B是示出W摄像图像的输出顺序与W插值摄像图像的输出顺序的关系的一例的示意图。
具体实施方式
本公开的一个方式的摄像装置搭载于运输设备，具有将照射光进行照射的光源、对被摄体进行摄像并输出表示曝光量的摄像信号的固体摄像元件、以及使用所述摄像信号运算所述被摄体的被摄体信息的运算部，所述固体摄像元件具有使用所述照射光通过所述被摄体反射的反射光进行摄像的第1像素和对所述被摄体进行摄像的第2像素，所述固体摄像元件进行摄像的摄像区域至少包含利用所述第1像素进行摄像的第1区域和利用所述第2像素进行摄像的第2区域，所述第1区域或所述第2区域设置在作为另一方的所述第2区域或所述第1区域的周围，所述运算部根据来自所述第1区域的信息和来自所述第2区域的信息进行所述被摄体信息的运算，所述运输设备的垂直方向上的所述照射光的照射角度比所述运输设备的垂直方向上的所述摄像区域的视场角窄。
另外，在上述摄像装置中，也可以是，所述运输设备的水平方向上的所述照射光的照射角度与所述运输设备的水平方向上的所述摄像区域的视场角不同。
另外，在上述摄像装置中，也可以是，所述运输设备的水平方向上的所述照射光的照射角度比所述运输设备的垂直方向上的所述照射光的照射角度大。
另外，在上述摄像装置中，也可以是，所述被摄体是存在于所述运输设备行驶的路面上的物体，所述固体摄像元件逐次进行所述摄像，在第1时刻在所述第1区域中对所述物体进行摄像、在从所述第1时刻起经过一定期间后的第2时刻对所述第2区域进行摄像的情况下，在所述第2时刻的所述被摄体信息的运算中，使用所述第1时刻的与所述物体之间的距离的信息。
另外，在上述摄像装置中，也可以是，所述被摄体是存在于所述运输设备行驶的路面上的物体，所述固体摄像元件逐次进行所述摄像，在第1时刻在所述第2区域中对所述物体进行摄像、在从所述第1时刻起经过一定期间后的第2时刻对所述第1区域进行摄像的情况下，在所述第2时刻的所述被摄体信息的运算中，使用所述第1时刻的所述物体的外观的信息。
另外，在上述摄像装置中，也可以是，所述固体摄像元件逐次进行所述摄像，所述运算部进行的所述运算包含将第1时刻的来自所述第1区域或所述第2区域的信息和与所述第1时刻不同的第2时刻的来自作为所述另一方的所述第2区域或所述第1区域的信息关联起来的处理。
另外，在上述摄像装置中，也可以是，来自所述第1区域的信息是与所述被摄体之间的距离的信息，来自所述第2区域的信息是所述被摄体的外观的信息，所述运算部进行的所述运算包含估计所述第2区域中的与所述被摄体之间的距离的处理，所述被摄体信息包含表示所述第2区域中的与所述被摄体之间的、估计出的距离的信息。
另外，在上述摄像装置中，也可以是，在所述被摄体是所述第1区域和所述第2区域中连续设置的物体的情况下，在所述第2区域中的所述被摄体信息的运算中关联所述第1区域的运算结果。
另外，在上述摄像装置中，也可以是，所述第1区域具有所述照射光通过所述运输设备行驶的路面反射的反射光到达所述固体摄像元件的第1a区域和所述反射光未到达所述固体摄像元件的第1b区域。
另外，在上述摄像装置中，也可以是，在所述被摄体是所述第1区域和所述第2区域中连续设置的物体的情况下，在所述第1a区域以外的区域中的所述被摄体信息的运算中关联所述第1a区域的运算结果。
另外，在上述摄像装置中，也可以是，所述运输设备是在路面行驶的车辆，来自所述第1区域的信息是所述路面的倾斜的信息，来自所述第2区域的信息是所述路面的外观的信息，所述运算部进行的所述运算包含估计所述第2区域中的所述路面的倾斜的处理，所述被摄体信息包含表示所述第2区域中的所述路面的、估计出的倾斜的信息。
另外，在上述摄像装置中，也可以是，所述照射光是红外光，所述第1像素接收红外光，所述第2像素接收可见光。
另外，在上述摄像装置中，也可以是，所述摄像装置具有对所述照射角度进行调整的扩散板。
本公开的一个方式的固体摄像元件用于摄像装置，该摄像装置搭载于运输设备，具有将照射光进行照射的光源和使用表示曝光量的摄像信号运算被摄体的被摄体信息的运算部，所述固体摄像元件对所述被摄体进行摄像并输出所述摄像信号，所述固体摄像元件具有使用所述照射光通过所述被摄体反射的反射光进行摄像的第1像素和对所述被摄体进行摄像的第2像素，所述固体摄像元件进行摄像的摄像区域至少包含利用所述第1像素进行摄像的第1区域和利用所述第2像素进行摄像的第2区域，所述第1区域或所述第2区域设置在作为另一方的所述第2区域或所述第1区域的周围，所述运算部根据来自所述第1区域的信息和来自所述第2区域的信息进行所述被摄体信息的运算，所述运输设备的垂直方向上的所述照射光的照射角度比所述运输设备的垂直方向上的所述摄像区域的视场角窄。
下面，参照附图对本公开的一个方式的摄像装置的具体例进行说明。这里所示的实施方式均表示本公开的一个具体例。因此，以下实施方式所示的数值、形状、结构要素、结构要素的配置和连接方式以及步骤(工序)和步骤的顺序等是一例，并不限定本公开。以下实施方式的结构要素中的、独立权利要求中未记载的结构要素是能够任意附加的结构要素。另外，各图是示意图，未必是严格地图示。
(实施方式)
图1是示出实施方式的摄像装置1的结构的框图。
如图1所示，摄像装置1构成为包含光源10、固体摄像元件20、运算部30、控制部40、扩散板50、透镜60和带通滤波器70。
光源10将照射光进行照射。更具体而言，光源10在由控制部40生成的发光信号所表示的定时发出对被摄体进行照射的照射光。
光源10例如构成为包含电容器、驱动电路和发光元件，利用电容器中蓄积的电能驱动发光元件而进行发光。作为一例，发光元件通过激光二极管、发光二极管等实现。需要说明的是，光源10可以构成为包含1种发光元件，也可以构成为包含与目的对应的多种发光元件。
下面，设发光元件例如是发出近红外线光的激光二极管、发出近红外线光的发光二极管等、光源10照射的照射光是近红外线光来进行说明。然而，光源10照射的照射光不需要限定为近红外线光。光源10照射的照射光例如也可以是近红外线光以外的频带的红外线光。
固体摄像元件20对被摄体进行摄像并输出表示曝光量的摄像信号。更具体而言，固体摄像元件20在由控制部40生成的曝光信号所表示的定时进行曝光，输出表示曝光量的摄像信号。
固体摄像元件20具有像素阵列，该像素阵列呈阵列状配置有使用照射光通过被摄体反射的反射光进行摄像的第1像素和对被摄体进行摄像的第2像素。固体摄像元件20例如也可以根据需要而具有玻璃罩、AD转换器等逻辑功能。
下面，与照射光同样地，设反射光是近红外线光来进行说明，但是，反射光只要是照射光通过被摄体反射的光即可，不需要限定为近红外线光。
图2是示出固体摄像元件20所具有的像素阵列2的示意图。
如图2所示，像素阵列2构成为呈阵列状进行配置，以使得以列单位交替排列使用照射光通过被摄体反射的反射光进行摄像的第1像素21(IR像素)和对被摄体进行摄像的第2像素22(W像素)。
另外，在图2中，在像素阵列2中，以第2像素22和第1像素21在行方向上相邻的方式排列，以呈行方向的条状排列的方式进行配置，但是不限于此，也可以每隔多行(作为一例，每隔2行)进行配置。即，也可以每隔M行(M为自然数)交替配置以第2像素22在行方向上相邻的方式排列的第1行和以第1像素21在行方向上相邻的方式排列的第2行。进而，也可以每隔不同行(交替重复N行的第1行和L行的第2行(N和L为不同的自然数))配置以第2像素22在行方向上相邻的方式排列的第1行和以第1像素21在行方向上相邻的方式排列的第2行。
第1像素21例如通过对反射光即近红外线光具有灵敏度的近红外线光像素实现。第2像素22例如通过对可见光具有灵敏度的可见光像素实现。
近红外线光像素例如构成为包含仅使近红外线光透过的光学滤波器、微透镜、作为光电转换部的受光元件、蓄积由受光元件生成的电荷的蓄积部等。另外，可见光像素例如构成为包含仅使可见光透过的光学滤波器、微透镜、作为光电转换部的受光元件、蓄积由受光元件转换后的电荷的蓄积部等。需要说明的是，可见光像素的光学滤波器也可以使可见光和近红外线光双方透过，还可以仅使可见光中的红色(R)、绿色(G)、蓝色(B)等特定波段的光透过。
再次返回到图1，继续说明摄像装置1。
运算部30使用由固体摄像元件20输出的摄像信号，运算被摄体的被摄体信息。
运算部30例如由微计算机等运算处理装置构成。微计算机包含处理器(微处理器)和存储器等，通过处理器执行存储器中存储的驱动程序，由此生成发光信号和曝光信号。需要说明的是，运算部30也可以使用FPGA或ISP等，可以由1个硬件构成，也可以由多个硬件构成。
运算部30例如通过使用来自固体摄像元件20的第1像素21的摄像信号进行的TOF测距方式，计算与被摄体之间的距离。
下面，参照附图说明运算部30进行的TOF测距方式的与被摄体之间的距离的计算。
图3是示出运算部30进行使用TOF测距方式进行的与被摄体之间的距离的计算时的、光源10的发光元件的发光定时与固体摄像元件20的第1像素21的曝光定时的关系的时序图。
在图3中，Tp是光源10的发光元件发出照射光的发光期间，Td是从光源10的发光元件发出照射光到该照射光通过被摄体反射的反射光返回到固体摄像元件20为止的延迟时间。而且，第1曝光期间成为与光源10发出照射光的发光期间相同的定时，第2曝光期间成为从第1曝光期间的结束时点起经过发光期间Tp为止的定时。
在图3中，q1表示第1曝光期间内的反射光在固体摄像元件20的第1像素21中的曝光量的总量，q2表示第2曝光期间内的反射光在固体摄像元件20的第1像素21中的曝光量的总量。
在图3所示的定时进行基于光源10的发光元件的照射光的发光和基于固体摄像元件20的第1像素21的曝光，由此，设光速为c，与被摄体之间的距离d能够通过下式(式1)表示。
d＝c×Tp/2×q1/(q1+q2)...式1
因此，运算部30通过利用式1，使用来自固体摄像元件20的第1像素21的摄像信号，能够计算与被摄体之间的距离。
再次返回到图1，继续说明摄像装置1。
运算部30例如使用来自固体摄像元件20的第2像素22的摄像信号，进行被摄体的检测和与被摄体之间的距离的计算。
即，运算部30对在第1时刻通过固体摄像元件20的多个第2像素22进行摄像而得到的第1可见光图像和在第2时刻通过固体摄像元件20的多个第2像素22进行摄像而得到的第2可见光图像进行比较，根据这些可见光图像之间的差分，进行被摄体的检测和与被摄体之间的距离的计算。这里，例如，可以通过被摄体的临界点的边缘检测，通过图案识别来进行形状的判别，由此实现被摄体的检测。另外，可以使用世界坐标变换进行与被摄体之间的距离的计算。
运算部30进行的其他运算例在后面叙述。
控制部40生成表示发光的定时的发光信号和表示曝光的定时的曝光信号。然后，控制部40将所生成的发光信号输出到光源10，将所生成的曝光信号输出到固体摄像元件20。
控制部40例如也可以生成并输出发光信号以使得光源10以规定的周期进行发光，生成并输出曝光信号以使得固体摄像元件20以规定的周期进行曝光，由此，使摄像装置1实现基于规定的帧频的连续摄像。
控制部40例如由微计算机等运算处理装置构成。微计算机包含处理器(微处理器)和存储器等，通过处理器执行存储器中存储的驱动程序，由此生成发光信号和曝光信号。需要说明的是，控制部40也可以使用FPGA或ISP等，可以由1个硬件构成，也可以由多个硬件构成。
扩散板50对照射光的角度进行调整。
透镜60是使从摄像装置1的外部进入的光会聚在固体摄像元件20的像素阵列2的表面的光学透镜。
带通滤波器70是使反射光即近红外线光和可见光透过的光学滤波器。
上述结构的摄像装置1搭载于运输设备进行利用。下面，设摄像装置1搭载于在路面行驶的车辆进行利用来进行说明，但是，搭载有摄像装置1的运输设备不需要必须限定为车辆。摄像装置1例如也可以搭载于摩托车、船舶、飞机等这样的车辆以外的运输设备进行利用。
需要说明的是，在运算部30中，跟通过上述TOF测距方式计算的与被摄体之间的距离相比，虽然其精度降低，但是不使用来自固体摄像元件20的第1像素21的摄像信号，也能够计算与被摄体之间的距离。
图4是示出摄像装置1搭载于车辆100进行利用的一例的框图。
如图4所示，摄像装置1例如与搭载于车辆100的ADAS(Advanced DriverAssistance System，高级驾驶辅助系统)/AD-ECU(Automated Driving-Engine ControlUnit，自动驾驶-发动机控制单元)110连接来进行利用。
ADAS/AD-ECU110是搭载于车辆100的、利用来自摄像装置1和传感器12A～12C的信号对车辆100的自动驾驶进行控制的系统，包含确定车辆的位置的定位部111以及对制动器、方向盘、发动机等进行控制的控制部112等。
摄像装置1能够搭载在车辆100的各种位置。例如，摄像装置1搭载在车辆100的前表面中央部、即两个头灯之间的中央部，能够将车辆100的前方作为其摄像区域。
图5A是示意地示出在摄像装置1为了进行车辆100的前方监视而搭载在车辆100的前表面中央部的情况下、外部环境为晴天的白天这样的可见光的摄像距离比反射光的摄像距离长时的摄像装置1的摄像区域的一例的侧视图。
在图5A中，第1区域110是至少利用第1像素21进行摄像的区域。即，第1区域110是从光源10照射的照射光通过被摄体反射、且反射后的反射光能够到达固体摄像元件20的区域。
在图5A中，第2区域120是利用第2像素22进行摄像的区域。即，第2区域120是可见光即环境光能够到达固体摄像元件20的区域。
在图5A所示的例子中，车辆100的垂直方向上的照射光的照射角度通过扩散板50进行适当调整，由此比车辆100的垂直方向上的摄像区域的视场角窄。例如，车辆100的垂直方向上的照射光的照射角度可以是20度左右，车辆100的垂直方向上的摄像区域的视场角可以是30度左右。
这样，通过将照射光的照射范围调整为比摄像区域的视场角窄，能够将光源10发出的有限能量的照射光缩小到特别希望关注的范围内进行照射。由此，与不缩小照射光的情况相比，能够进一步延长该希望关注的范围内的反射光的到达距离。
如图5A所示，在可见光的摄像距离比反射光的摄像距离长的外部环境的情况下，在比第1区域110更靠远方侧存在第2区域120。即，在这种外部环境的情况下，第2区域120设置在作为另一方的第1区域110的周围。
另外，如图5A所示，第1区域110包含第1a区域110a和第1b区域110b。
第1a区域110a是第1区域110中的、来自路面130(基准面)的反射光和来自比路面130更靠仰角方向上方的被摄体的反射光能够到达固体摄像元件20的区域。
第1b区域110b是第1区域110中的、来自比路面130更靠仰角方向上方的被摄体的反射光能够到达固体摄像元件20、但是来自路面的反射光未到达固体摄像元件20的区域。
另外，如图5A所示，第2区域120包含第2a区域120a和第2b区域120b。
第2a区域120a是第2区域120中的、比第1a区域110a与第1b区域110b的边界面更靠仰角方向上方侧的区域。
第2b区域120b是第2区域120中的、比第1a区域110a与第1b区域110b的边界面更靠仰角方向下方侧的区域。
图5B是示意地示出在摄像装置1为了进行车辆100的前方监视而搭载在车辆100的前表面中央部的情况下、反射光的摄像距离比可见光的摄像距离长的情况(作为一例，外部环境为夜间、雨天、浓雾时等的情况)下的摄像装置1的摄像区域的一例的侧视图。
如图5B所示，在反射光的摄像距离比可见光的摄像距离长的外部环境的情况下，在比第2区域120更靠远方侧存在第1区域110。即，在这种外部环境的情况下，第1区域110设置在作为另一方的第2区域120的周围。
如图5A、图5B中说明的那样，第2区域120的范围能够根据外部要因(作为一例，外部环境)而变化。另外，同样地，第1区域110的范围能够根据外部要因(作为一例，外部环境)而变化。
摄像装置1不限于图5A、图5B所示为了进行车辆100的前方监视而利用的情况。例如，也可以为了进行车辆100的后方监视而利用。即，摄像装置1例如搭载在车辆的背面中央部、即两个尾灯之间的中央部，能够将车辆100的后方作为其摄像区域。
图6是示意地示出在摄像装置1为了进行车辆100的后方监视而搭载在车辆100的背面中央部的情况下、外部环境为晴天的白天这样的可见光的摄像距离比反射光的摄像距离长时的摄像装置1的摄像区域的一例的侧视图。
图7A是示意地示出在摄像装置1为了进行车辆100的前方监视而搭载在车辆100的前表面中央部的情况下、可见光的摄像距离比反射光的摄像距离长的情况(作为一例，外部环境为晴天的白天等的情况)下的摄像装置1的摄像区域的一例的平面图。
在图7A所示的例子中，车辆的水平方向上的第1区域110的角度与车辆的水平方向上的第2区域120的角度大致相等。即，车辆100的水平方向上的照射光的照射角度通过扩散板50进行适当调整，由此与车辆100的水平方向上的摄像区域的视场角大致相等。例如，车辆100的水平方向上的照射光的照射角度可以是90度左右，车辆100的水平方向上的摄像区域的范围可以是90度左右。
这样，通过使车辆100的水平方向上的照射光的照射角度与车辆100的水平方向上的摄像区域的视场角大致相等，能够利用第1像素21对车辆的水平方向上的所有视场角的范围的被摄体进行摄像。
需要说明的是，也可以使车辆100的水平方向上的照射光的照射角度与车辆100的水平方向上的摄像区域的视场角不同。作为一例，可以使车辆100的水平方向上的照射光的照射角度比车辆100的水平方向上的摄像区域的视场角宽，以使得能够更加可靠地利用第1像素21对车辆的水平方向上的所有视场角的范围的被摄体进行摄像。例如，在车辆100的水平方向上的摄像区域的范围是90度左右的情况下，车辆100的水平方向上的照射光的照射角度可以是92度左右。
进而，摄像装置1也可以为了进行车辆100的斜方监视而利用，还可以为了进行车辆100的侧方监视而利用。
需要说明的是，更加优选图7A用作用于进行车辆100的紧急制动控制的多个感测装置之一。
进而，与后述图7B和图7C的情况相比，更加优选图7A用作测定远距离的感测装置。
图7B是示意地示出在摄像装置1为了进行车辆100的斜方监视而搭载在车辆100的头灯附近的情况下、可见光的摄像距离比反射光的摄像距离长的情况(作为一例，外部环境为晴天的白天等的情况)下的摄像装置1的摄像区域的一例的平面图。
图7C是示意地示出在摄像装置1为了进行车辆100的侧方监视而搭载在车辆100的车门后视镜侧面的情况下、可见光的摄像距离比反射光的摄像距离长的情况(作为一例，外部环境为晴天的白天等的情况)下的摄像装置1的摄像区域的一例的平面图。
需要说明的是，更加优选图7B和图7C用作用于进行车辆100的自动驾驶控制的多个感测装置之一。
进而，与图7A的情况相比，更加优选图7B和图7C用作测定短距离到中距离的感测装置。
特别是在为了进行车辆100的斜方监视或侧方监视而利用摄像装置1的情况下，优选车辆100的水平方向上的照射光的照射角度和车辆100的水平方向上的摄像区域的视场角大致相等。
图8是示出第1区域110与第2区域120的关系为图5A、图7A所示的关系的情况下、摄像装置1对路面130进行摄像的状况的一例的示意图，是摄像装置1的摄像视点的示意图。
如图8所示，在车辆100的垂直方向上，从摄像图像的视场角上端到视场角下端存在第2区域120，但是，仅在从比摄像图像的视场角上端更靠下方到比视场角下端更靠上方存在第1区域110。
另一方面，如图8所示，在车辆100的水平方向上，从摄像图像的左端到右端存在第1区域110和第2区域120双方。
在图8中，第2c区域120c是第2a区域120a内且第1a区域110a外的区域中的、存在反射光到达固体摄像元件20的可能性的区域，但是，是反射光的到达不稳定的区域。因此，运算部30在运算部30进行的运算中不利用来自与第2c区域120c相应的第1像素21的摄像信号。
另外，在图8中，第2d区域120d是第2b区域120b内且第1b区域110b外的区域中的、存在反射光到达固体摄像元件20的可能性的区域，但是，是反射光的到达不稳定的区域。因此，与第2c区域120c同样地，运算部30在运算部30进行的运算中不利用来自与第2d区域120d相应的第1像素21的摄像信号。
图9A、图9B是示出第1区域110与第2区域120的关系为图5A、图7A所示的关系的情况下、摄像装置1在第1时刻和比第1时刻更靠后的第2时刻对路面130上行驶中的其他车辆200进行摄像的状况的一例的示意图，是摄像装置1的摄像视点的示意图。
在图9A、图9B中，车辆200a、车辆200c是在第1时刻被摄像的其他车辆200，车辆200b、车辆200d是在比第1时刻更靠后的时刻即第2时刻被摄像的其他车辆200。
图9A、图9B所示的例子成为与在从第1时刻起经过时间而成为第2时刻的期间内、车辆100与其他车辆200之间的距离接近的场景对应的例子。但是，与其他车辆200之间的距离在图9A所示的例子和图9B所示的例子中不同。
在图9A所示的例子中，在第1区域110内且第2区域120内存在其他车辆200a。
因此，运算部30根据来自第2区域120的信息、即第1时刻的来自第2像素22的摄像信号进行被摄体即其他车辆200a的检测，并且，根据来自第1区域110的信息、即第1时刻的来自第1像素21的摄像信号，通过TOF测距方式，比较高精度地计算与被摄体即其他车辆200a之间的距离。
另一方面，在图9A所示的例子中，在第1区域110外且第2区域120内存在其他车辆200b。
因此，运算部30根据来自第2区域120的信息、即第2时刻的来自第2像素22的摄像信号进行被摄体即其他车辆200b的检测，另一方面，不根据来自第1区域110的信息即来自第1像素21的摄像信号，通过TOF测距方式计算与被摄体即其他车辆200b之间的距离。取而代之，运算部30根据来自第2区域120的信息即来自第2像素22的摄像信号，与TOF测距方式无关地，计算与被摄体即其他车辆200b之间的距离。
然后，运算部30将第1时刻的来自第1区域110的信息和第2时刻的来自第2区域120的信息关联起来。更具体而言，运算部30对第1时刻的车辆200a的检测结果和第2时刻的车辆200b的检测结果进行比较，在判定为车辆200a和车辆200b是同一车辆200的情况下，将表示第1时刻的通过TOF测距方式计算出的与其他车辆200a之间的距离的信息和第2时刻的车辆200b的检测结果关联起来(相关联)。
然后，运算部30估计第2区域中的与被摄体之间的距离。更具体而言，运算部30根据表示第1时刻的通过TOF测距方式计算出的与其他车辆200a之间的距离的信息、第2时刻的其他车辆200b的检测结果、表示第2时刻的与TOF测距方式无关地计算出的与其他车辆200b之间的距离的信息，估计第2时刻中的与车辆200b之间的距离。
由此，与仅根据第2时刻的来自第2像素22的摄像信号进行计算的情况相比，运算部30能够更高精度地估计第2时刻的与车辆200b之间的距离。
在图9B所示的例子中，在第1区域110外且第2区域120内存在其他车辆200c。
因此，运算部30根据来自第2区域120的信息、即第1时刻的来自第2像素22的摄像信号，进行被摄体即其他车辆200c的检测以及与TOF测距方式无关的与被摄体即其他车辆200c之间的距离的计算。
即，在图9A所示的例子中，被摄体是存在于运输设备行驶的路面上的物体(车辆200a或车辆200b)，固体摄像元件20逐次进行摄像，在第1时刻在第1区域110中对上述物体进行摄像、在从第1时刻起经过一定期间后的第2时刻对第2区域120进行摄像的情况下，在第2时刻的被摄体(车辆200b)信息的运算中使用第1时刻的与上述物体(车辆200a)之间的距离的信息。
另一方面，在图9B所示的例子中，在第1区域110内且第2区域120内存在其他车辆200d。
因此，运算部30根据来自第2区域120的信息、即第2时刻的来自第2像素22的摄像信号进行被摄体即其他车辆200d的检测，并且，根据来自第1区域110的信息、即第2时刻的来自第1像素21的摄像信号，通过TOF测距方式，比较高精度地计算与被摄体即其他车辆200d之间的距离。但是，运算部30还根据第1时刻的其他车辆200c的检测结果进行上述检测和上述计算。
即，运算部30例如根据第1时刻的其他车辆200c的检测结果，将其探索范围限定为一部分区域来进行上述检测和上述计算。
由此，与不根据车辆200c的检测结果进行上述检测和上述计算的情况相比，运算部30能够在更短时间内实现上述检测和上述计算。
另外，运算部30例如根据第1时刻的其他车辆200c的检测结果和第2时刻的来自第2像素22的摄像信号，进行第2时刻的其他车辆200d的检测。
由此，与不根据第1时刻的其他车辆200c的检测结果进行第2时刻的其他车辆200d的检测的情况相比，运算部30能够更高精度地实现第2时刻的其他车辆200d的检测。
即，在图9B所示的例子中，被摄体是存在于运输设备行驶的路面上的物体(车辆200c或车辆200d)，固体摄像元件20逐次进行摄像，在第1时刻在第2区域120中对上述物体进行摄像、在从第1时刻起经过一定期间后的第2时刻对第1区域110进行摄像的情况下，在第2时刻的被摄体(车辆200d)信息的运算中使用第1时刻的所述物体(车辆200c)的外观的信息。
如以上使用图9A、图9B说明的那样，在从第1时刻到第2时刻的经过中，在被摄体(车辆200a～200d)的位置(1)从第1区域110向第2区域120变化的情况下、(2)从第2区域120向第1区域110变化的情况下的任意情况下，都将第1时刻的来自第1区域110或第2区域120的信息和与第1时刻不同的第2时刻的来自作为另一方的所述第2区域120或第1区域110的信息关联起来，由此，能够在短时间内和/或高精度地进行第2时刻时的被摄体的感测(测距、检测等)。
图10是示出第1区域110与第2区域120的关系为图5A、图7A所示的关系的情况下、摄像装置1对路面130进行摄像的状况的一例的示意图，是摄像装置1的摄像视点的示意图。即，图10所示的例子成为跟与图8所示的例子相同的场景对应的附图。然而，为了以更加容易理解的方式说明运算部30的动作，图10通过与图8中图示的内容一部分不同的方法图示其图示内容的一部分。
在图10所示的例子中，表示路面130的路崖的路崖边界线140包含第1a区域110a中包含的路崖边界线区域140a和路崖边界线区域140b、以及第1a区域110a中不包含的路崖边界线区域140c～路崖边界线区域140f。
如上所述，路崖边界线区域140a和路崖边界线区域140b包含在第1a区域110a中。因此，运算部30根据来自第2区域120的信息即来自第2像素22的摄像信号，进行路崖边界线区域140a和路崖边界线区域140b中的路面130(即路崖区域)的检测，并且，根据来自第1a区域110a的信息即来自第1像素21的摄像信号，通过TOF测距方式，比较高精度地计算路崖边界线区域140a和路崖边界线区域140b中的与路面130(即路崖区域)之间的距离。
由此，运算部30能够计算路崖边界线区域140a和路崖边界线区域140b中的路面130(即路崖区域)的外观和倾斜。
另一方面，如上所述，路崖边界线区域140c～路崖边界线区域140f不包含在第1a区域110a中。因此，运算部30根据来自第2区域120的信息即来自第2像素22的摄像信号，进行路崖边界线区域140c～路崖边界线区域140f中的路面130(即路崖区域)的检测，另一方面，不根据来自第1a区域110a的信息即来自第1像素21的摄像信号，通过TOF测距方式计算路崖边界线区域140c～路崖边界线区域140f中的与路面130(即路崖区域)之间的距离。取而代之，运算部30根据来自第2区域120的信息即来自第2像素22的摄像信号，与TOF测距方式无关地，计算路崖边界线区域140c～路崖边界线区域140f中的与路面130(即路崖区域)之间的距离。
然后，运算部30计算路崖边界线区域140c～路崖边界线区域140f中的路面130(即路崖区域)的外观，另一方面，将来自第1a区域110a的信息和来自第2区域120的信息关联起来。更具体而言，运算部30对路崖边界线区域140a和路崖边界线区域140b中的路面130(即路崖区域)的检测结果与路崖边界线区域140c～路崖边界线区域140f中的路面130(即路崖区域)的检测结果进行比较，在判定为路崖边界线区域140a和路崖边界线区域140b中的路面130(即路崖区域)与路崖边界线区域140c～路崖边界线区域140f中的路面130(即路崖区域)是同一路崖边界线140中的路面130(即路崖区域)的一部分的情况下，将表示通过TOF测距方式计算出的路崖边界线区域140a和路崖边界线区域140b中的与路面130(即路崖区域)之间的距离的信息与路崖边界线区域140c～路崖边界线区域140f中的路面130(即路崖区域)的检测结果关联起来(相关联)。
然后，运算部30估计路崖边界线区域140c～路崖边界线区域140f中的路面130(即路崖区域)的倾斜。更具体而言，运算部30根据路崖边界线区域140a和路崖边界线区域140b中的路面130(即路崖区域)的外观和倾斜以及路崖边界线区域140c～路崖边界线区域140f中的路面130(即路崖区域)的外观，估计路崖形状的连续性，根据估计出的路崖形状的连续性，估计路崖边界线区域140c～路崖边界线区域140f中的路面130(即路崖区域)的倾斜。
由此，与仅根据来自第2像素22的摄像信号进行计算的情况相比，运算部30能够更高精度地估计第1a区域110a以外的区域中的路面130的倾斜。
即，在被摄体是第1区域110和第2区域120中连续设置的物体(路崖边界线140)的情况下，在第2区域120中的被摄体信息的运算中关联第1区域110的运算结果。
或者，在被摄体是第1区域110和第2区域120中连续设置的物体(路崖边界线140)的情况下，在第1a区域110a以外的区域(第2区域120、第1b区域110b)中的被摄体信息的运算中关联第1a区域110a的运算结果。
另外，摄像装置1例如也可以构成为，在规定的帧频中的彼此错开的定时进行基于第1像素21的摄像和基于第2像素22的摄像，在上述规定的帧频中的彼此错开的定时进行基于第1像素21的摄像信号(以下称为“IR摄像信号”。)的输出和基于第2像素22的摄像信号(以下称为“W摄像信号”)的输出。
图11是示出摄像装置1为上述结构的情况下的IR摄像信号的输出顺序与W摄像信号的输出顺序的关系的一例的示意图。
进而，摄像装置1例如也可以构成为利用W摄像信号对IR摄像信号进行插值。
图12A是示出摄像装置1为上述结构的情况下的IR摄像信号的输出顺序与利用W摄像信号对IR摄像信号进行补充而得到的摄像信号(以下称为“IR插值摄像信号”。)的输出顺序的关系的一例的示意图。
在图12A中，IR插值摄像信号a500a是根据W摄像信号a400a生成的、对IR摄像信号a300a与IR摄像信号b300b之间进行补充的IR插值摄像信号。IR插值摄像信号b500b是根据W摄像信号b400b生成的、对IR摄像信号b300b与IR摄像信号c300c之间进行补充的IR插值摄像信号。IR插值摄像信号c500c是根据W摄像信号c400c生成的、对IR摄像信号c300c与IR摄像信号d(未图示)之间进行补充的IR插值摄像信号。
如图12A所示，上述结构的摄像装置1能够实质地提高IR摄像信号的输出帧频。由此，上述结构的摄像装置1能够进一步提高被摄体的测距精度和/或被摄体的检测精度。
另外，摄像装置1例如也可以构成为，在生成IR插值摄像信号(例如IR插值摄像信号a500a)时，在对应的W摄像信号(例如W摄像信号a400a)的基础上，还根据其前后的IR摄像信号(例如IR摄像信号a300a和IR摄像信号b300b)进行生成。由此，上述结构的摄像装置1能够更高精度地生成IR插值摄像信号。
进而，摄像装置1例如也可以构成为利用IR摄像信号对W摄像信号进行插值。
图12B是示出摄像装置1为上述结构的情况下的W摄像信号的输出顺序与利用IR摄像信号对W摄像信号进行补充而得到的摄像信号(以下称为“W插值摄像信号”。)的输出顺序的关系的一例的示意图。
在图12B中，W插值摄像信号b600b是根据IR摄像信号b300b生成的、对W摄像信号a400a与W摄像信号b400b之间进行补充的W插值摄像信号。W插值摄像信号c600c是根据IR摄像信号c300c生成的、对W摄像信号c400b与W摄像信号c400c之间进行补充的W插值摄像信号。
如图12B所示，上述结构的摄像装置1能够实质地提高W摄像信号的输出帧频。由此，上述结构的摄像装置1能够进一步提高被摄体的测距精度和/或被摄体的检测精度。
另外，摄像装置1例如也可以构成为，在生成W插值摄像信号(例如W插值摄像信号b600b)时，在对应的IR摄像信号(例如IR摄像信号b300b)的基础上，还根据其前后的W摄像信号(例如W摄像信号a400a和W摄像信号b400b)进行生成。由此，上述结构的摄像装置1能够更高精度地生成W插值摄像信号。
(其他实施方式)
如上所述，作为本申请中公开的技术的例示，说明了实施方式。然而，本公开中的技术不限于此，还能够应用于适当进行了变更、置换、附加、省略等的实施方式。
(1)在本公开中，设为运算部30和控制部40是通过微处理器等运算处理装置实现的结构的例子进行了说明。然而，运算部30和控制部40只要具有与上述实现例相同的功能即可，不需要必须限定为如上述实现例那样实现的结构的例子。例如，运算部30和控制部40也可以是构成运算部30和控制部40的结构要素的一部分或全部通过专用电路实现的结构的例子。
(2)摄像装置1中的各结构要素可以通过IC(Integrated Circuit，集成电路)、LSI(Large Scale Integration，大规模集成)等半导体装置单独地单芯片化，也可以以包含一部分或全部的方式单芯片化。另外，集成电路化的方法不限于LSI，也可以通过专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA(Field Programmable GateArray，现场可编程门阵列)、能够对LSI内部的电路单元的连接和设定进行重构的可重构处理器。进而，如果通过半导体技术的进步或衍生的其他技术而出现替代LSI的集成电路化的技术，则也可以使用该技术进行功能块的集成化。存在应用生物技术等的可能性。
(3)通过任意组合上述实施方式所示的结构要素和功能而实现的方式也包含在本公开的范围内。
产业上的可利用性
本发明能够广泛利用于对被摄体进行摄像的摄像装置。
附图标记说明
1 摄像装置；
10 光源；
20 固体摄像元件；
21 第1像素；
22 第2像素；
30 运算部；
40 控制部；
50 扩散板；
110 第1区域；
110a 第1a区域；
110b 第1b区域；
120 第2区域；
120a 第2a区域；
120b 第2b区域。

Claims (14)

1.一种摄像装置，其搭载于运输设备，具有将照射光进行照射的光源、对被摄体进行摄像并输出表示曝光量的摄像信号的固体摄像元件以及使用所述摄像信号运算所述被摄体的被摄体信息的运算部，
所述固体摄像元件具有使用所述照射光通过所述被摄体反射的反射光进行摄像的第1像素和对所述被摄体进行摄像的第2像素，
所述固体摄像元件进行摄像的摄像区域至少包含利用所述第1像素进行摄像的第1区域和利用所述第2像素进行摄像的第2区域，
所述第1区域或所述第2区域设置在作为另一方的所述第2区域或所述第1区域的周围，
所述运算部根据来自所述第1区域的信息和来自所述第2区域的信息进行所述被摄体信息的运算，
所述运输设备的垂直方向上的所述照射光的照射角度比所述运输设备的垂直方向上的所述摄像区域的视场角窄。
2.根据权利要求1所述的摄像装置，其中，
所述运输设备的水平方向上的所述照射光的照射角度与所述运输设备的水平方向上的所述摄像区域的视场角不同。
3.根据权利要求1或2所述的摄像装置，其中，
所述运输设备的水平方向上的所述照射光的照射角度比所述运输设备的垂直方向上的所述照射光的照射角度大。
4.根据权利要求1～3中的任意一项所述的摄像装置，其中，
所述被摄体是存在于所述运输设备行驶的路面上的物体，
所述固体摄像元件逐次进行所述摄像，
在第1时刻在所述第1区域中对所述物体进行摄像、在从所述第1时刻起经过一定期间后的第2时刻对所述第2区域进行摄像的情况下，
在所述第2时刻的所述被摄体信息的运算中，使用所述第1时刻的与所述物体之间的距离的信息。
5.根据权利要求1～4中的任意一项所述的摄像装置，其中，
所述被摄体是存在于所述运输设备行驶的路面上的物体，
所述固体摄像元件逐次进行所述摄像，
在第1时刻在所述第2区域中对所述物体进行摄像、在从所述第1时刻起经过一定期间后的第2时刻对所述第1区域进行摄像的情况下，
在所述第2时刻的所述被摄体信息的运算中，使用所述第1时刻的所述物体的外观的信息。
6.根据权利要求1～3中的任意一项所述的摄像装置，其中，
所述固体摄像元件逐次进行所述摄像，
所述运算部进行的所述运算包含将第1时刻的来自所述第1区域或所述第2区域的信息和与所述第1时刻不同的第2时刻的来自作为所述另一方的所述第2区域或所述第1区域的信息关联起来的处理。
7.根据权利要求6所述的摄像装置，其中，
来自所述第1区域的信息是与所述被摄体之间的距离的信息，
来自所述第2区域的信息是所述被摄体的外观的信息，
所述运算部进行的所述运算包含估计所述第2区域中的与所述被摄体之间的距离的处理，
所述被摄体信息包含表示所述第2区域中的与所述被摄体之间的、估计出的距离的信息。
8.根据权利要求1～7中的任意一项所述的摄像装置，其中，
在所述被摄体是所述第1区域和所述第2区域中连续设置的物体的情况下，
在所述第2区域中的所述被摄体信息的运算中关联所述第1区域的运算结果。
9.根据权利要求1～8中的任意一项所述的摄像装置，其中，
所述第1区域具有所述照射光通过所述运输设备行驶的路面反射的反射光到达所述固体摄像元件的第1a区域和所述反射光未到达所述固体摄像元件的第1b区域。
10.根据权利要求9所述的摄像装置，其中，
在所述被摄体是所述第1区域和所述第2区域中连续设置的物体的情况下，
在所述第1a区域以外的区域中的所述被摄体信息的运算中关联所述第1a区域的运算结果。
11.根据权利要求1～7中的任意一项所述的摄像装置，其中，
所述运输设备是在路面行驶的车辆，
来自所述第1区域的信息是所述路面的倾斜的信息，
来自所述第2区域的信息是所述路面的外观的信息，
所述运算部进行的所述运算包含估计所述第2区域中的所述路面的倾斜的处理，
所述被摄体信息包含表示所述第2区域中的所述路面的、估计出的倾斜的信息。
12.根据权利要求1～11中的任意一项所述的摄像装置，其中，
所述照射光是红外光，
所述第1像素接收红外光，
所述第2像素接收可见光。
13.根据权利要求1～12中的任意一项所述的摄像装置，其中，
所述摄像装置还具有对所述照射角度进行调整的扩散板。
14.一种固体摄像元件，其用于摄像装置，该摄像装置搭载于运输设备，具有将照射光进行照射的光源和使用表示曝光量的摄像信号运算被摄体的被摄体信息的运算部，所述固体摄像元件对所述被摄体进行摄像并输出所述摄像信号，
所述固体摄像元件具有使用所述照射光通过所述被摄体反射的反射光进行摄像的第1像素和对所述被摄体进行摄像的第2像素，
所述固体摄像元件进行摄像的摄像区域至少包含利用所述第1像素进行摄像的第1区域和利用所述第2像素进行摄像的第2区域，
所述第1区域或所述第2区域设置在作为另一方的所述第2区域或所述第1区域的周围，
所述运算部根据来自所述第1区域的信息和来自所述第2区域的信息进行所述被摄体信息的运算，
所述运输设备的垂直方向上的所述照射光的照射角度比所述运输设备的垂直方向上的所述摄像区域的视场角窄。
CN201780075071.XA 2016-12-05 2017-11-30 摄像装置和该摄像装置中使用的固体摄像元件 Active CN110050171B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662430035P 2016-12-05 2016-12-05
US62/430,035 2016-12-05
PCT/JP2017/042990 WO2018105476A1 (ja) 2016-12-05 2017-11-30 撮像装置、及びそれに用いられる固体撮像素子

Publications (2)

Publication Number Publication Date
CN110050171A true CN110050171A (zh) 2019-07-23
CN110050171B CN110050171B (zh) 2022-03-01

Family

ID=62491916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780075071.XA Active CN110050171B (zh) 2016-12-05 2017-11-30 摄像装置和该摄像装置中使用的固体摄像元件

Country Status (5)

Country Link
US (1) US11200688B2 (zh)
EP (1) EP3550261A4 (zh)
JP (1) JP6541119B2 (zh)
CN (1) CN110050171B (zh)
WO (1) WO2018105476A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7257814B2 (ja) * 2019-02-21 2023-04-14 日立Astemo株式会社 走行路認識装置
US20200344405A1 (en) * 2019-04-25 2020-10-29 Canon Kabushiki Kaisha Image pickup apparatus of measuring distance from subject to image pickup surface of image pickup device and method for controlling the same
TWI748460B (zh) * 2019-06-21 2021-12-01 大陸商廣州印芯半導體技術有限公司 飛時測距裝置及飛時測距方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6963657B1 (en) * 1999-09-24 2005-11-08 Honda Giken Kogyo Kabushiki Kaisha Object recognition system
CN1877362A (zh) * 2005-06-06 2006-12-13 欧姆龙株式会社 车辆用测距装置
US20070075892A1 (en) * 2005-10-03 2007-04-05 Omron Corporation Forward direction monitoring device
JP2008309519A (ja) * 2007-06-12 2008-12-25 Panasonic Corp 画像処理を用いた物体検出装置
US20130229513A1 (en) * 2010-11-16 2013-09-05 Konica Minolta, Inc. Image input device and image processing device
US8825260B1 (en) * 2013-07-23 2014-09-02 Google Inc. Object and ground segmentation from a sparse one-dimensional range data
WO2015182135A1 (ja) * 2014-05-30 2015-12-03 パナソニックＩｐマネジメント株式会社 センシングシステム及び運転支援システム
JP2016088183A (ja) * 2014-10-31 2016-05-23 株式会社Ihi 支障物検知システムおよび鉄道車両
CN105723239A (zh) * 2013-11-20 2016-06-29 松下知识产权经营株式会社 测距摄像系统

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6067110A (en) * 1995-07-10 2000-05-23 Honda Giken Kogyo Kabushiki Kaisha Object recognizing device
JP2001134769A (ja) * 1999-11-04 2001-05-18 Honda Motor Co Ltd 対象物認識装置
JP3822515B2 (ja) * 2002-03-29 2006-09-20 株式会社東芝 障害物検知装置及びその方法
JP3909691B2 (ja) * 2002-09-12 2007-04-25 株式会社日立製作所 車載用画像処理装置
US6860350B2 (en) * 2002-12-20 2005-03-01 Motorola, Inc. CMOS camera with integral laser ranging and velocity measurement
JP2007263563A (ja) * 2004-06-03 2007-10-11 Matsushita Electric Ind Co Ltd カメラモジュール
US7602942B2 (en) * 2004-11-12 2009-10-13 Honeywell International Inc. Infrared and visible fusion face recognition system
US7671725B2 (en) * 2006-03-24 2010-03-02 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus, vehicle surroundings monitoring method, and vehicle surroundings monitoring program
US7579593B2 (en) * 2006-07-25 2009-08-25 Panasonic Corporation Night-vision imaging apparatus, control method of the same, and headlight module
WO2009046268A1 (en) * 2007-10-04 2009-04-09 Magna Electronics Combined rgb and ir imaging sensor
JP2010093472A (ja) * 2008-10-07 2010-04-22 Panasonic Corp 撮像装置および撮像装置用信号処理回路
DE102009020328A1 (de) * 2009-05-07 2010-11-11 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Darstellung von unterschiedlich gut sichtbaren Objekten aus der Umgebung eines Fahrzeugs auf der Anzeige einer Anzeigevorrichtung
JP2010272067A (ja) * 2009-05-25 2010-12-02 Hitachi Automotive Systems Ltd 画像処理装置
JP5743390B2 (ja) 2009-09-15 2015-07-01 本田技研工業株式会社 測距装置、及び測距方法
US8599027B2 (en) * 2010-10-19 2013-12-03 Deere & Company Apparatus and method for alerting machine operator responsive to the gaze zone
US8692980B2 (en) * 2010-11-01 2014-04-08 Advanced Scientific Concepts, Inc. Flash LADAR collision avoidance system
US9145140B2 (en) * 2012-03-26 2015-09-29 Google Inc. Robust method for detecting traffic signals and their associated states
DE102014103010A1 (de) * 2014-03-06 2015-09-10 Skidata Ag Digitalkamera
JP6364916B2 (ja) * 2014-04-21 2018-08-01 株式会社リコー 光源装置、および画像表示装置
JP6046666B2 (ja) * 2014-06-24 2016-12-21 トヨタ自動車株式会社 走路境界推定装置及び走路境界推定方法
US10356337B2 (en) * 2014-10-07 2019-07-16 Magna Electronics Inc. Vehicle vision system with gray level transition sensitive pixels
JP6600945B2 (ja) 2015-01-20 2019-11-06 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
IL239129A0 (en) * 2015-06-01 2015-11-30 Brightway Vision Ltd Image improvements in car imaging systems
WO2017043067A1 (ja) * 2015-09-11 2017-03-16 富士フイルム株式会社 走行支援装置及び走行支援装置による走行支援方法
JP2017112169A (ja) * 2015-12-15 2017-06-22 ソニー株式会社 イメージセンサ、撮像システム及びイメージセンサの製造方法
US10491879B2 (en) * 2016-01-15 2019-11-26 Blue River Technology Inc. Plant feature detection using captured images
US20190056498A1 (en) * 2016-03-01 2019-02-21 Brightway Vision Ltd. Gated imaging apparatus, system and method
EP3217191B1 (en) * 2016-03-08 2021-05-12 Continental Automotive GmbH Distance measuring apparatus and method for measuring a distance
US9963246B2 (en) * 2016-03-28 2018-05-08 Amazon Technologies, Inc. Combining depth and thermal information for object detection and avoidance
JP6795030B2 (ja) * 2016-04-27 2020-12-02 ソニー株式会社 撮像制御装置及び撮像制御方法、並びに撮像装置
CN113727000A (zh) * 2016-05-27 2021-11-30 松下知识产权经营株式会社 摄像系统
WO2018101049A1 (ja) * 2016-11-29 2018-06-07 パナソニックＩｐマネジメント株式会社 固体撮像装置及び測距撮像装置
US10397497B1 (en) * 2017-08-14 2019-08-27 Apple Inc. Solar invariant imaging system for object detection

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6963657B1 (en) * 1999-09-24 2005-11-08 Honda Giken Kogyo Kabushiki Kaisha Object recognition system
CN1877362A (zh) * 2005-06-06 2006-12-13 欧姆龙株式会社 车辆用测距装置
US20070075892A1 (en) * 2005-10-03 2007-04-05 Omron Corporation Forward direction monitoring device
JP2008309519A (ja) * 2007-06-12 2008-12-25 Panasonic Corp 画像処理を用いた物体検出装置
US20130229513A1 (en) * 2010-11-16 2013-09-05 Konica Minolta, Inc. Image input device and image processing device
US8825260B1 (en) * 2013-07-23 2014-09-02 Google Inc. Object and ground segmentation from a sparse one-dimensional range data
CN105723239A (zh) * 2013-11-20 2016-06-29 松下知识产权经营株式会社 测距摄像系统
WO2015182135A1 (ja) * 2014-05-30 2015-12-03 パナソニックＩｐマネジメント株式会社 センシングシステム及び運転支援システム
JP2016088183A (ja) * 2014-10-31 2016-05-23 株式会社Ihi 支障物検知システムおよび鉄道車両

Also Published As

Publication number Publication date
US11200688B2 (en) 2021-12-14
JP6541119B2 (ja) 2019-07-10
EP3550261A4 (en) 2019-12-25
JPWO2018105476A1 (ja) 2019-06-24
WO2018105476A1 (ja) 2018-06-14
EP3550261A1 (en) 2019-10-09
US20190287256A1 (en) 2019-09-19
CN110050171B (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
CN108919294B (zh) 测距摄像系统以及固体摄像元件
EP3423865B1 (en) Gated imaging apparatus, system and method
CN105313782B (zh) 车辆行驶辅助系统及其方法
JP6990859B2 (ja) 奥行取得装置、奥行取得方法およびプログラム
US20090040500A1 (en) Distance measurement method and device and vehicle equipped with said device
CN113227839A (zh) 具有结构光照明器的飞行时间传感器
KR20190098242A (ko) 차량 주변 환경을 특성화하기 위한 시스템
CN110050171A (zh) 摄像装置和该摄像装置中使用的固体摄像元件
JP2008052029A (ja) 撮像システム、車両乗員検出システム、作動装置制御システム、車両
CN115803656A (zh) 用于测量对象与光学传感器之间的距离的方法、用于执行这种方法的控制装置、具有这种控制装置的测距装置和具有这种测距装置的机动车
CN106415312B (zh) 感应系统及驾驶支援系统
US20220236378A1 (en) Sensing device and information processing apparatus
JP2023101522A (ja) 撮像装置、情報処理装置、撮像方法、およびプログラム
US20140092219A1 (en) Device for acquiring stereoscopic images
JP7135081B2 (ja) 装置および方法
US20150035974A1 (en) Combined imager and range finder
US20220368873A1 (en) Image sensor, imaging apparatus, and image processing method
KR101868293B1 (ko) 차량용 라이다 장치
US20230003895A1 (en) Method and apparatus for controlling distance measurement apparatus
US11782145B1 (en) 3D vision system with automatically calibrated stereo vision sensors and LiDAR sensor
WO2022163721A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
US20240183963A1 (en) 3d vision system with automatically calibrated stereo vision sensors and lidar sensor
JP7103324B2 (ja) 物体認識用異常検出装置及び物体認識用異常検出プログラム
JP7474759B2 (ja) 車両用灯具
US11999374B2 (en) Spatial aware object detection by LIDAR and camera fusion based super-resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200529

Address after: Kyoto Japan

Applicant after: Panasonic semiconductor solutions Co.,Ltd.

Address before: Osaka Prefecture, Japan

Applicant before: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

TA01 Transfer of patent application right
CB02 Change of applicant information

Address after: Kyoto Japan

Applicant after: Nuvoton Technology Corporation Japan

Address before: Kyoto Japan

Applicant before: Panasonic semiconductor solutions Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant