CN111971527B - 摄像装置 - Google Patents
摄像装置 Download PDFInfo
- Publication number
- CN111971527B CN111971527B CN201980025539.3A CN201980025539A CN111971527B CN 111971527 B CN111971527 B CN 111971527B CN 201980025539 A CN201980025539 A CN 201980025539A CN 111971527 B CN111971527 B CN 111971527B
- Authority
- CN
- China
- Prior art keywords
- light
- structured light
- light source
- projection
- image pickup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Measurement Of Optical Distance (AREA)
- Lighting Device Outwards From Vehicle And Optical Signal (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
Abstract
本发明提供一种摄像装置,目的在于提供一种在使用结构光获取与物体的距离时即使是远方的物体也能够精度良好地计测距离的技术。本发明的摄像装置根据从光源到投射位置的距离来变更结构光的光强度和结构光的图案尺寸中的至少一者。
Description
技术领域
本发明涉及使用结构光获取与物体的距离的摄像装置。
背景技术
作为获取到物体的距离的技术,存在通过对对象物照射光而计测从对象物反射的光,来计测与对象物的距离的技术。进而,也存在对对象物照射多种光,使用对各光计测的结果进行测距的情况。
以下专利文献1记载了使用立体摄像机的物体识别装置。该文献公开了“主要特征在于包括:具有对对象物体1投射光的投射单元110,根据其反射光求取与对象物体1的距离用的主动测距仪100;基于来自对象物体1的图像信息求取与该对象物体1的距离用的立体摄像机200;基于来自主动测距仪100的输出信号S1和来自立体摄像机200的输出信号S2识别对象物体1的物体识别单元310;和以将用主动测距仪100的投射单元110投射的光作为立体摄像机200的辅助光照射的方式对投射单元110进行动作控制的辅助光控制单元320。”这样的技术(参考摘要)。
以下专利文献2记载了照射均匀图案光和随机图案光来抑制可视性降低的技术。该文献公开了“包括:在车辆主体中搭载的、在不同的时段投射亮度分布不同的均匀图案光和随机图案光的、包括前灯装置10的投射装置;和对该投射装置的投射范围进行摄像的、包括左右2个摄像部的立体摄像机20。该情况下,能够抑制可视性降低同时得到对于检测物体信息有效的图像。”这样的技术(参考摘要)。
现有技术文献
专利文献
专利文献1:日本特开2005-077130号公报
专利文献2:日本特开2016-170163号公报
发明内容
发明要解决的课题
对于从车辆中具有的光源照射的图案光用摄像机进行摄像时,越远则图案的亮度越低,图案图像的对比度越低。另外,对于等宽的直线图案或由平行直线构成的图案用摄像机进行摄像时,会得到图案向透视中的消失点汇聚的图像。这样,越远则图案宽度和直线的间隔越窄,所以图案图像的对比度因摄像机的空间分辨能力而降低。因为这些影响,即使使用结构图案光,物体的距离计测性能也会劣化。
本发明是鉴于如上所述的课题得出的,目的在于提供一种在使用结构光获取到物体的距离时、即使是远方的物体也能够精度良好地计测距离的技术。
用于解决课题的技术方案
本发明的摄像装置根据从光源到投射位置的距离,变更结构光的光强度和结构光的图案尺寸中的至少一者。
发明的效果
根据本发明的摄像装置,即使在暗处等这样图像的对比度低的环境中,也能够精度良好地实施对远方的测距。由此,例如搭载了本发明的摄像装置的车辆能够高可靠性地实施是否存在可行驶路径和是否需要回避的判断。
附图说明
图1是实施方式1的立体摄像机100的结构图。
图2表示前灯200投射结构光时的投射图案的一例。
图3是补全图案的例子。
图4表示对图2的结构图案和图3的结构图案进行时间平均的结果。
图5是设想为摄像元件的各行的曝光时机是同时的全局快门方式的图案切换时机的例子。
图6是设想为摄像元件的各行的曝光时机错开的滚动快门方式的摄像元件的例子。
图7是与帧周期相比曝光时间相对更长的例子。
图8是使摄像机1的摄像元件与摄像机2的摄像元件之间的位置关系上下错开的例子。
图9是举例示出行驶速度在规定速度以上的情况下的投射范围的图。
图10是举例示出行驶速度在规定速度以下的情况下的投射范围的图。
图11是检测出在本车的前方存在前方车辆的例子。
图12是向左转方向盘的情况下的投射范围的例子。
图13是用区域匹配方式进行的匹配的说明图。
图14是按每个投射区域改变光强度的例子。
图15是结构图案和补全图案的每个投射区域的光强度的例子。
图16是结构图案和补全图案的每个投射区域的光强度的其他例子。
图17是实施方式2的立体摄像机700的结构图。
图18是激光光源707投射结构光时的投射图案的一例。
图19是表示用于识别2条类似直线的投射图案的图。
图20是识别摄像图像中的直线图案是哪个直线的判断基准的例子。
图21是用直线图案的光强度/直线宽度/排列区分直线的方法的一例。
图22是用直线图案的颜色/排列区分直线的方法的一例。
图23是举例示出行驶速度在规定速度以上的情况下的投射范围的图。
图24是举例示出行驶速度在规定速度以下的情况下的投射范围的图。
图25是向左转方向盘的情况下的投射范围的例子。
图26是立体摄像机700搭载加速度传感器708的结构例。
图27是实施方式3的摄像机1000的结构图。
图28是实施方式4的摄像机1400的结构图。
具体实施方式
<实施方式1>
图1是本发明的实施方式1的立体摄像机100的结构图。立体摄像机100是使用车辆搭载的前灯投射结构光的摄像系统。立体摄像机100具有光学部101、信号处理部102、距离运算部103、物体识别部104、车辆控制部105、控制部106。搭载立体摄像机100的车辆具有前灯200、前灯300、车辆控制器400。关于信号a、b1、b2在后文中叙述。
立体摄像机100在搭载立体摄像机的车辆的附件电源ON时,实施起动动作和自诊断之后,开始测距动作。光学部101具有2对成对的透镜与摄像元件。光学部101基于来自控制部106的信息,决定快门速度和增益等曝光设定并用各个摄像元件实施摄像,将获取的2个图像数据发送至信号处理部102。信号处理部102对从光学部101发送来的2个图像数据的亮度、颜色、畸变进行修正,将修正后的2个图像数据发送至距离运算部103。距离运算部103根据从信号处理部102发送来的图像数据检索两个图像的对应点,基于对应点的视差计算到对应点的距离,将计算出的距离信息发送至物体识别部104。物体识别部104基于从距离运算部103发送来的距离信息,实施物体的检测和识别,将得到的物体信息发送至车辆控制部105。车辆控制部105基于从物体识别部104发送来的物体信息,生成进行车辆的加速、减速、转向、车辆的光源的控制、雨刷的控制、对搭乘者的注意和附加信息的通知用的信号,将生成的控制信号发送至车辆控制器400。车辆控制器400基于发送来的控制信号控制车辆的动作。
图2表示前灯200投射结构光时的投射图案的一例。为了说明而仅示出了一方的前灯200的投射。越接近白色的填充部表示照度越高,越接近黑色的填充部表示照度越低。沿着以前灯200为中心的圆周方向,交替地投射低照度部分和高照度部分。对于该投射图案用立体摄像机100进行摄像的情况下,即使是周边较暗或图像对比度低的环境,也能够在低照度部分与高照度部分之间的边界产生的边缘部分得到视差。
图2的投射图案沿半径方向越接近中心(前灯200)则越暗,越远离中心则越亮。一般而言,摄像图像中的亮度越远则越低,但通过如图2所示地使照度越远则越高,能够使图像中形成的边缘与距离无关地成为同等的亮度差。由此即使是远方也能够稳定地得到视差。
图2的投射图案形成为以前灯200为中心的大致扇形,低照度部分的图案宽度和高照度部分的图案宽度越远则越宽。因为透视的效果,一般而言摄像图像中的图案宽度越远则越窄,识别性降低,但通过如图2所示地使图案宽度越远则越宽,即使是远方也易于识别边缘。由此,直到远方都能够稳定地得到视差。
图3是补全图案的例子。前灯200交替地切换图2所示的结构图案和图3所示的补全图案而进行投射。由此,在结构图案和补全图案的投射期间中都能够用在低照度部分与高照度部分之间的边界产生的边缘部分得到视差。
图4是对图2的结构图案和图3的结构图案进行时间平均的结果。通过对这些结构图案进行时间平均,而如图4所示地成为具有结构图案不可见的均匀的亮度分布、或者结构图案不可见的平滑的亮度分布的投射光。由此,能够实现不会使搭乘者和行人感到不自然的投射。
图5~图8是对于切换投射图案的时机进行说明的时序图。在结构图案与补全图案之间进行切换的时机,优选避开摄像机的曝光期间。这是因为在曝光期间中切换图案时,存在获取的图像中因为2个图案被曝光而使低照度部分与高照度部分的边缘的亮度差降低的可能性,或者因为产生类似图案而在图像匹配处理中易于发生用错本来应当匹配的边缘的误匹配。关于误匹配,用图13在后文中叙述。
图5是设想为摄像元件的各行的曝光时机是同时的全局快门方式的图案切换时机的例子。这设想了摄像元件的全部行的曝光时机一致的CCD或全局快门型的CMOS。该情况下全部像素的曝光结束的时机一致,所以在曝光结束时切换图案501与502。
图6是设想为摄像元件的各行的曝光时机错开的滚动快门方式的摄像元件的例子。结束行的曝光结束与起始行的曝光开始之间存在任意行中都没有实施曝光的期间的情况下,在该期间中切换图案511与512。
图7是与帧周期相比曝光时间相对更长的例子。该情况下如图7所示,存在任意行的曝光都没有实施的期间。该情况下,前灯200例如每2帧切换图案521与522,立体摄像机100使用在刚切换图案后的帧中获取的图像得到视差。更严密而言,设从起始行的曝光开始时间到结束行的曝光结束时间的时间为t1、帧周期即虚线的间隔为t2的情况下,对于t1·(n-1)<t2≤t1·n的n,每n帧切换图案521与522。图7的情况下,n=2,所以每2帧切换图案521与522。
图8是使摄像机1的摄像元件与摄像机2的摄像元件之间的位置关系上下错开的例子。该情况下,如图8所示使摄像机1的曝光时序与摄像机2的曝光时序有意地错开。该情况下,能够检测出视差的只有摄像元件的一部分行。从而,避开从曝光开始较晚的摄像元件的起始行的曝光开始、到曝光结束较早的摄像元件的结束行的曝光结束的期间,切换图案531与532。
图1所示的信号b1和b2是立体摄像机100对前灯200和300指示投射图案的控制信号。关于切换投射图案的时机,例如能够基于曝光方式、帧周期、曝光时间进行指示。关于光强度、形状图案、颜色等,可以从立体摄像机100输出指示这些内容本身的控制信号,由前灯200和300对其解释而自身生成指示的结构光,也可以由立体摄像机100输出个别地控制前灯200和300的元件的控制信号。无论是哪种情况,只要前灯200和300能够输出要求的结构光即可。关于后述的实施方式2中的激光光源707也是同样的。
以上说明中,对于即使是存在于远方的物体也能够精度良好地检测的投射图案进行了说明。另一方面,想要检测的物体的范围与本车的行驶速度相应地不同。例如,本车以时速100km/h行驶的情况下出于避免碰撞的观点而优选能够检测100m以上前方的物体,但在停止中或在道路宽度窄的道路上行驶时优选能够在更广角的范围中检测物体。对这些范围全面地照射时会消耗不必要的电力,或者会使周边的车辆和行人不必要地感到不自然。于是,立体摄像机100从车辆控制器400用信号a获取车辆的行驶速度,对前灯200和前灯300指示投射范围。
图9是举例示出行驶速度在规定速度以上的情况下的投射范围的图。该情况下,与图2的投射范围相比沿着行进方向直到更远方地投射结构图案。
图10是举例示出行驶速度在规定速度以下的情况下的投射范围的图。该情况下,与图2的投射范围相比更广角地投射结构图案。图9与图10的差异是想要识别的物体的范围因车辆的行驶速度而不同引起的。立体摄像机100通过与本车速度相应地改变投射范围,能够更准确地获取必要的范围的周边状况。
图11是检测出在本车的前方存在前方车辆的例子。该情况下,立体摄像机100在并不达到前方车辆的范围中投射结构图案。优选以不会使前方车辆的搭乘者因车内后视镜的反射而感到眩目的方式、例如以对减震器或号牌下方照射结构光的方式,控制投射范围。
图12是向左转方向盘的情况下的投射范围的例子。立体摄像机100从车辆控制器400用信号a获取车辆的舵角,并根据该舵角获取车辆的行进方向。立体摄像机100以向车辆的行进方向变更投射范围的方式,对前灯200和前灯300进行指示。此处与低速直线前进的图10相比使投射范围向左侧转动。通过这样与舵角相应地改变投射范围,能够更正确地获取必要的范围的周边状况。
立体摄像机100为了测定物体距离,使用从2个视点观察该物体的视差。为了判断2个视点之间1个物体是同一个,例如需要对基准点之间进行匹配的处理。此时,从2个视点得到的图像具有多个类似的特征点或图案时,存在发生将并非本来应当匹配的基准点的部分作为基准点进行匹配的、所谓误匹配的可能性。
图13是用区域匹配方式进行的匹配的说明图。为了从右图中检索与左图的用方形示出的区域匹配的区域,只要在极线上检索即可。投射图案是单调的反复图案的情况下,因为在本来应当匹配的区域(右图内的白实线)之外也存在多个具有类似的图案的区域(右图内的白虚线),所以存在发生误匹配的可能性。为了防止该情况,考虑按每个投射区域改变光强度、低照度部分和高照度部分的投射角度、低照度部分和高照度部分的图案宽度、颜色中的至少一者。
图14是按每个投射区域改变光强度的例子。立体摄像机100例如以使投射区域601、602、603的光强度分别不同的方式进行设置。由此,低照度部分与高照度部分之间的亮度差按每个投射区域不同,所以能够防止误匹配。
图15是结构图案和补全图案的每个投射区域的光强度的例子。从表的上行起顺次示出每当时间经过时各投射区域中的光强度。该例中,使结构图案和补全图案的强度的和在全部投射区域中相同。
图16是结构图案和补全图案的每个投射区域的光强度的其他例子。该例中,使区域601至603的光强度的和在t=1至t=6的期间中相同。使区域611至614的光强度的和在t=1至t=8的期间中相同。进而,也可以与摄像范围的亮度相应地使各区域的强度偏移。由此,能够实现对于环境变化稳健的测距性能。后述的实施例2中也是同样的。
也可以代替按每个投射区域改变光强度或在此之外地,使投射区域601~603的辐射角成为分别不同的角度。进而,也可以使投射区域601~603的颜色成为分别不同的颜色。该情况下,对于结构图案和补全图案,通过交替地投射接近光的三原色的红、绿、蓝的光,而使整个投射区域成为白色且亮度均匀的分布的照明。按每个区域投射不同颜色光的情况下,立体摄像机100通过按摄像元件的每个像素种类实施匹配处理,能够防止类似图案引起的误匹配。
前灯200和前灯300在可见光光源之外也具有非可见光光源,用非可见光投射结构图案的情况下,通过使用对非可见光的灵敏度高的摄像元件的像素种类实施匹配处理,能够更快地实施对象物的视差计算和测距。
<实施方式1:总结>
本实施方式1的立体摄像机100与从前灯200起的距离相应地改变结构光的光强度、结构光的图案宽度、结构光的图案尺寸中的至少一者。由此,即使是远方的物体也能够在摄像图像中清晰地识别图案边缘,所以能够提高识别精度。
本实施方式1的立体摄像机100按每个投射区域改变光强度、图案宽度、图案尺寸、颜色中的至少一者。由此,在摄像图像中包括类似的图案的情况下,能够抑制立体图像间的误匹配。
本实施方式1中,例如能够与投射距离相应地平滑地改变结构图案的光强度,但本发明不限定于此。例如,也能够通过将投射距离分割为多个范围并按每个范围设置不同的光强度,而使光强度离散地变化。该情况下也能够得到同等的效果。后述的实施方式2中也是同样的。
本实施方式1中,将本车的行驶速度分割为低速、中速、高速这3级的速度分组,能够按每个速度分组设定投射范围,但本发明不限定于此。例如也能够与本车的速度相应地连续地改变投射范围。该情况下也能够得到同等的效果。后述的实施方式2中也是同样的。
本实施方式1中,使前灯200和300投射结构光,但本发明不限定于此。例如,即使是雾灯、刹车灯、尾灯等也能够得到同等的效果。另外,转向时使用侧转向灯、倒车时使用后转向灯也能够得到同等的效果。
本实施方式1中,使用左右双方的前灯投射结构光,但本发明不限定于此。例如,也可以仅使用右前灯或左前灯投射结构光。或者检测出不能进行视差检测的区域和检测精度不稳定的区域,仅在该区域中投射结构光,也能够得到同等的效果。
本实施方式1中,在立体摄像机100的内部实施物体识别处理和车辆控制信号生成,但本发明不限定于此。例如,对车辆搭载的运算处理部和控制部输出距离运算结果或对距离运算结果简化得到的信息,也能够得到同等的效果。后述的实施方式2中也是同样的。
本实施方式1中,说明了与投射距离相应地改变结构光所具有的光强度、形状图案。此处所谓投射距离,指的是由从路面到光源的高度和结构光的俯角决定的、从光源到投射部位的距离。立体摄像机100预先存储结构光的投射方向与投射距离之间的关系,按照该关系对前灯200和300指示与投射距离对应的结构光即可。关于后述的实施方式2中的激光光源707也是同样的。
<实施方式2>
图17是本发明的实施方式2的立体摄像机700的结构图。立体摄像机700使用激光光源投射结构光。光学部701~控制部706是与实施方式1中的光学部101~控制部106同样的功能部。搭载立体摄像机100的车辆具有激光光源707、车辆控制器400。激光光源707基于从控制部706发送来的信号,控制结构光的图案、投射区域、光强度等。关于信号a、b在后文中叙述。
图18是激光光源707投射了结构光时的投射图案的一例。为了说明,用在行驶方向上延伸的2条直线示出了结构光。颜色越深则表示照度越高,颜色越浅则表示照度越低。各直线的光强度设为从本车或立体摄像机700起的距离越远则越强。各直线的宽度设为从本车或立体摄像机700起的距离越远则越粗。
立体摄像机700对图18的投射图案进行摄像的情况下,即使在周边较暗或摄像图像对比度低的环境下,也能够用在低照度部分与高照度部分之间的边界产生的边缘部分得到视差。特别是,通过使照度越远则越高,能够使图像中形成的边缘与距离无关地成为同等的亮度差,所以即使是远方也能够稳定地得到视差。另外,通过使图案的宽度越远则越粗,能够防止在图像中形成的边缘间隔与距离相应地减小,直到更远方都能够识别边缘,直到远方都能够稳定地得到视差。
图18中将结构图案设为2根直线,但亮度差仅可以在直线的边缘部分得到,所以直线的数量较少时视差的检测是部分的。相反,直线的数量越多则误匹配的概率越增大,所以需要在投射图案中不产生类似图案的改进。对于该改进使用图19进行说明。
图19是表示用于识别2条类似直线的投射图案的图。在两个摄像机的光轴的外侧的2个区域中投射各自的直线。但是,如图19所示,通过将直线配置在光学部701的2个摄像机的光轴的外侧,能够根据摄像图像中的消失点(透视中的平行线汇聚的点)与直线之间的相对位置,识别是哪个直线。用下一图20说明判断基准。
图20是识别摄像图像中的直线图案是哪个直线的判断基准的例子。直线901无论从左侧摄像机看来还是从右侧摄像机看来都位于消失点的左侧。直线902无论从左侧摄像机看来还是从右侧摄像机看来都位于消失点的右侧。根据该判断基准,立体摄像机700能够识别摄像图像中的直线是哪个直线。
作为识别直线图案的其他方法,可以考虑按每个投射图案对不同的位置投射直线、随着时间经过切换图案的方法。除此以外,也可以考虑通过适当地设定直线图案的光强度、直线宽度、颜色、排列,来形成不会同时产生类似图案的图案的方法。
在随着时间经过切换图案的方法中,优选避开摄像机的曝光期间实施图案切换。这是因为在曝光期间中切换图案时,在获取的图像中2个图案被曝光,所以存在低照度部分与高照度部分的边缘的亮度差降低的可能性,或者因产生类似图案而在图像匹配处理中易于发生误匹配。图案切换的具体例已用实施方式1的图5至图8说明,所以省略。
图21是用直线图案的光强度、直线宽度、排列区分直线的方法的一例。图21中,夹着左右摄像机的光轴地对右侧投射弱、中、强3个光强度的直线903、904、905,对左侧也投射弱、中、强3个光强度的直线906、907、908。由此能够在1帧的摄像图像内显示6条直线,与图18所示的例子相比能够同时且以更精细的空间分辨能力得到视差。进而,通过以邻接的方式显示光强度不同的线,改变排列顺序,能够进一步增加同时显示的直线数。使用单色光的情况下,通过使用对该波长的光的灵敏度高的摄像元件的像素种类先实施匹配处理,能够更快地实施对象物的视差计算和测距。
图22是用直线图案的颜色、排列区分直线的方法的一例。图22中,夹着左右摄像机的光轴地对右侧投射红、绿、蓝3色的直线909、910、911,对左侧也投射红、绿、蓝3色的直线912、913、914。由此能够在1帧的摄像图像内显示6条直线,与图18所示的例子相比能够同时且以更精细的空间分辨能力得到视差。该情况下,视差检测中的匹配处理优选对于红、绿、蓝的每个像素种类独立地实施。进而,通过组合光强度、排列顺序、颜色,与图21和图22所示的例子相比能够同时且以更精细的空间分辨能力得到视差。
图23是举例示出行驶速度在规定速度以上的情况下的投射范围的图。立体摄像机700经由控制部706从车辆控制器400用信号a获取车辆的行驶速度,对激光光源707指示显示范围。行驶速度在规定速度以上的情况下,与图18的投射范围相比沿着行进方向直到更远方地投射结构图案。
图24是举例示出行驶速度在规定速度以下的情况下的投射范围的图。该情况下与图18的投射范围相比更广角地投射结构图案。图23与图24的差异是因为与图9与图10的差异相同的理由。
检测出前方和周边存在前方车辆或行人的情况下,如实施方式1的图11所说明地限制由行驶速度决定的投射距离。即,至少限制存在前方车辆的方向的结构光的投射距离,为了使激光不会经由车内后视镜射入前方车辆的搭乘者的眼中,而例如以对减震器或号牌的下方照射结构光的方式控制投射范围。另外,至少限制存在周边的行人的方向的结构光的投射距离,为了使激光不会射入行人的眼中而例如以对该行人的下半身以下照射结构光的方式控制投射范围。
图25是向左转方向盘的情况下的投射范围的例子。立体摄像机700从车辆控制器400用信号a获取车辆的舵角,对激光光源707指示显示范围。此处与低速直线前进的图18使投射范围向左侧转动。通过这样与舵角相应地改变投射范围,能够更正确地获取必要的范围的周边状况。
图26是立体摄像机700搭载加速度传感器708的结构例。通过与加速度传感器708检测出的加速度相应地控制结构光的俯仰方向的投射方向,对于因后车座搭乘和后备箱中存放行李的不同而变动的车辆的俯仰方向的姿势,能够实现稳健性能高的投射范围控制。
激光光源707也可以以与立体摄像机700所具有的2个摄像机透镜中的任一个的光轴重叠的方式投射直线形状的结构光。即,对包括光轴的垂直面与路面的相交线上,投射结构光。该情况下,结构光的直线图案与该摄像机的光轴一致,所以即使车辆的俯仰角变化,结构光的X坐标也不变化(总是与消失点大致相同的X坐标)。从而,对于车辆的俯仰方向的姿势变化,能够提高匹配精度的稳健性。由此,能够将另一个摄像机检测出的X坐标直接视为视差,所以能够使匹配处理简化。
立体摄像机700使用摄像图像中的视差进行测距,所以只要产生视差就能够进行测距。例如能够代替使用2个摄像机地(或在此之外),用一个摄像机与激光光源707的组合进行测距。但是,使用立体摄像机进行的测距,在其原理上,摄像机的基线长越长则能够对越远方的对象物进行测距。用一个摄像机与激光光源707的组合进行测距的情况也是同样的。从而,该情况下,一个摄像机与激光光源707之间的间隔优选在立体摄像机700的基线长以上。这是因为间隔与其相比更小时,测距精度比立体摄像机700更差。使用一方的摄像机和激光光源707进行测距的情况下,以包括在相对于车辆的直线前进方向平行的垂直面中的方式投射结构光即可。
<实施方式2:总结>
本实施方式2中,代替车辆搭载的前灯而使用激光光源707投射结构光。本实施方式2中,也能够发挥与实施方式1同样的效果。本实施方式2中用激光光源707投射结构光,但本发明不限定于此。例如,使用LED(Light Emitting Diode)灯也能够得到类似的效果。
本实施方式2中,激光光源707可以配置在远离立体摄像机700主体的位置。例如,即使配置在挡风玻璃的右上部或左上部、后视镜、前灯、减震器等处也能够得到同等的效果。
<实施方式3>
图27是本发明的实施方式3的摄像机1000的结构图。本实施方式3中,光学部1001具有1对成对的透镜与摄像元件。信号处理部1002~控制部1006是与实施方式1中的信号处理部102~控制部106同样的功能部。本实施方式3中,在低照度部分与高照度部分的边界产生的边缘部分与光学部1001之间的相对位置是已知的,这一点与实施方式1不同。除此以外与实施方式1相同。本实施方式3中,也能够用与实施方式1同样的原理计测距离。
<实施方式4>
图28是本发明的实施方式4的摄像机1400的结构图。本实施方式4中,光学部1401具有1对成对的透镜与摄像元件。信号处理部1402~激光光源1407是与实施方式2中的信号处理部702~激光光源707同样的功能部。本实施方式4中,在低照度部分与高照度部分的边界产生的边缘部分与光学部1401的相对位置是已知的、或者结构图案的线间隔是已知的,这一点与实施方式2不同。除此以外与实施方式2相同。本实施方式4中,也能够用与实施方式2同样的原理计测距离。
<关于本发明的变形例>
本发明不限定于上述实施方式,包括各种变形例。例如,上述实施方式是为了易于理解地说明本发明而详细说明的,并不限定于必须具备说明的全部结构。另外,能够将某个实施方式的结构的一部分置换为其他实施方式的结构,也能够在某个实施方式的结构上添加其他实施方式的结构。另外,对于各实施方式的结构的一部分,能够追加、删除、置换其他结构。
对于上述各结构、功能、处理部、处理单元等,例如可以通过在集成电路中设计等而用硬件实现其一部分或全部。另外,上述各结构、功能等,也可以通过处理器解释、执行实现各功能的程序而用软件实现。实现各功能的程序、表、文件等信息,能够保存在存储器、硬盘、SSD(Solid State Drive)等记录装置、或者IC卡、SD卡等记录介质中。另外,控制线和信息线示出了认为说明上必要的,并不一定示出了产品上全部的控制线和信息线。实际上也可以认为几乎全部结构都相互连接。
附图标记说明
100:立体摄像机
101:光学部
102:信号处理部
103:距离运算部
104:物体识别部
105:车辆控制部
106:控制部
200:前灯
300:前灯
400:车辆控制器
707:激光光源
708:加速度传感器。
Claims (23)
1. 一种能够获取与物体的距离的摄像装置,其特征在于,包括:
用于投射结构光的光源;和
能够获取被投射了所述结构光的投射部位的图像的摄像机,
所述光源根据从所述光源到所述投射部位的距离,变更所述结构光的光强度和所述结构光的形状图案尺寸中的至少一者,
所述摄像机使用所述图像中包含的所述结构光的图案来获取从所述摄像机到所述物体的距离,
并且,所述结构光的图案包括从所述光源辐射的多个投射区域,按照每个投射区域,改变低照度部分与高照度部分之间的亮度差/低照度部分和高照度部分的投射角度/低照度部分和高照度部分的图案宽度/颜色之中的至少一者。
2.如权利要求1所述的摄像装置,其特征在于:
所述光源一边将所述结构光所具有的光强度在2个以上的光强度之间变更一边投射所述结构光,
所述光源在从所述光源到所述投射部位的距离是第一距离时投射具有第一光强度的所述结构光,
所述光源在从所述光源到所述投射部位的距离是比所述第一距离长的第二距离时投射具有比所述第一光强度强的第二光强度的所述结构光。
3.如权利要求1所述的摄像装置,其特征在于:
所述光源投射具有从所述光源到所述投射部位的距离越远则宽度越宽的形状图案的所述结构光。
4.如权利要求1所述的摄像装置,其特征在于:
所述摄像装置还具有能够获取所述摄像装置的移动速度的速度获取部,
所述光源一边将所述结构光所具有的形状图案在2个以上的形状图案之间切换一边投射所述结构光,
所述光源在所述移动速度是第一速度时投射具有第一形状图案的所述结构光,
所述光源在所述移动速度是比所述第一速度快的第二速度时投射具有与所述第一形状图案相比能够到达更远离所述光源的位置的第二形状图案的所述结构光。
5.如权利要求1所述的摄像装置,其特征在于:
所述光源对第一投射区域投射第一结构光并对第二投射区域投射第二结构光,
所述第一结构光所具有的光强度与所述第二结构光所具有的光强度、所述第一结构光所具有的形状图案尺寸与所述第二结构光所具有的形状图案尺寸、以及所述第一结构光所具有的颜色与所述第二结构光所具有的颜色中的至少一者彼此不同。
6.如权利要求1所述的摄像装置,其特征在于:
所述光源在所述摄像机所具有的摄像元件曝光的期间以外的期间,切换所述结构光的光强度和所述结构光的形状图案尺寸中的至少一者。
7.如权利要求1所述的摄像装置,其特征在于:
令在摄像元件的规定范围内最初进行曝光的像素的曝光开始时间与最后曝光结束的像素的曝光结束时间的差为t1,且令帧周期为t2的情况下,
t1>t2时,对于满足t2×(n-1)<t1<t2×n的n,其中n是自然数,
所述光源每n帧切换所述结构光的光强度和所述结构光的形状图案尺寸中的至少一者。
8.如权利要求1所述的摄像装置,其特征在于:
所述摄像装置还具有能够获取搭载所述摄像装置的车辆的舵角的舵角获取部,
所述光源根据所述舵角来获取所述车辆的行进方向,并且向着所述行进方向改变投射所述结构光的方向。
9.如权利要求1所述的摄像装置,其特征在于:
所述摄像装置还具有能够获取所述投射部位的照度的照度获取部,
所述光源根据所述照度变更所述结构光的光强度。
10.如权利要求1所述的摄像装置,其特征在于:
所述光源切换对第一投射区域投射具有第一照度的第一结构光并对第二投射区域投射具有比所述第一照度高的第二照度的第二结构光的第一投射模式,和对所述第一投射区域投射具有比所述第一照度高的第三照度的第三结构光并对所述第二投射区域投射具有比所述第二照度低的第四照度的第四结构光的第二投射模式来实施,使所述第一投射区域中的所述结构光的照度和所述第二投射区域中的所述结构光的照度分别平滑化。
11.如权利要求1所述的摄像装置,其特征在于:
所述光源是搭载所述摄像装置的车辆所具有的前灯。
12.如权利要求1所述的摄像装置,其特征在于:
所述摄像机是具有第一摄像机和第二摄像机的立体摄像机。
13. 一种能够获取与物体的距离的摄像装置,其特征在于,包括:
用于控制投射结构光的光源的控制部;和
能够获取被投射了所述结构光的投射部位的图像的摄像机,
所述控制部根据从所述光源到所述投射部位的距离来对所述光源输出控制信号,所述控制信号指示将所述结构光的光强度和所述结构光的形状图案尺寸中的至少一者变更,
所述摄像机使用所述图像中包含的所述结构光的图案来获取从所述摄像机到所述物体的距离,
并且,所述结构光的图案包括从所述光源辐射的多个投射区域,按照每个投射区域,改变低照度部分与高照度部分之间的亮度差/低照度部分和高照度部分的投射角度/低照度部分和高照度部分的图案宽度/颜色之中的至少一者。
14.如权利要求13所述的摄像装置,其特征在于:
所述控制部对所述光源输出所述控制信号,所述控制信号指示一边将所述结构光所具有的光强度在2个以上的光强度之间变更一边投射所述结构光,
所述光源在从所述光源到所述投射部位的距离是第一距离时投射具有第一光强度的所述结构光,
所述光源在从所述光源到所述投射部位的距离是比所述第一距离长的第二距离时投射具有比所述第一光强度强的第二光强度的所述结构光。
15.如权利要求13所述的摄像装置,其特征在于:
所述控制部对所述光源输出所述控制信号,所述控制信号指示投射具有从所述光源到所述投射部位的距离越远则宽度越宽的形状图案的所述结构光。
16.如权利要求13所述的摄像装置,其特征在于:
所述摄像装置还具有能够获取所述摄像装置的移动速度的速度获取部,
所述控制部对所述光源输出所述控制信号,所述控制信号指示一边将所述结构光所具有的形状图案在2个以上的形状图案之间切换一边投射所述结构光,
所述光源在所述移动速度是第一速度时投射具有第一形状图案的所述结构光,
所述光源在所述移动速度是比所述第一速度快的第二速度时投射具有与所述第一形状图案相比能够到达更远离所述光源的位置的第二形状图案的所述结构光。
17.如权利要求13所述的摄像装置,其特征在于:
所述控制部对所述光源输出所述控制信号,所述控制信号指示对第一投射区域投射第一结构光并对第二投射区域投射第二结构光,
所述第一结构光所具有的光强度与所述第二结构光所具有的光强度、所述第一结构光所具有的形状图案尺寸与所述第二结构光所具有的形状图案尺寸、以及所述第一结构光所具有的颜色与所述第二结构光所具有的颜色中的至少一者彼此不同。
18.如权利要求13所述的摄像装置,其特征在于:
所述控制部对所述光源输出所述控制信号,所述控制信号指示在所述摄像机所具有的摄像元件曝光的期间以外的期间切换所述结构光的光强度和所述结构光的形状图案尺寸中的至少一者。
19.如权利要求13所述的摄像装置,其特征在于:
所述摄像装置还具有能够获取搭载所述摄像装置的车辆的舵角的舵角获取部,
所述控制部根据所述舵角获取所述车辆的行进方向,
所述控制部对所述光源输出所述控制信号,所述控制信号指示向着所述行进方向改变投射所述结构光的方向。
20.如权利要求13所述的摄像装置,其特征在于:
所述摄像装置还具有能够获取所述投射部位的照度的照度获取部,
所述控制部对所述光源输出所述控制信号,所述控制信号指示根据所述照度变更所述结构光的光强度。
21.如权利要求13所述的摄像装置,其特征在于:
所述控制部切换对第一投射区域投射具有第一照度的第一结构光并对第二投射区域投射具有比所述第一照度高的第二照度的第二结构光的第一投射模式,和对所述第一投射区域投射具有比所述第一照度高的第三照度的第三结构光并对所述第二投射区域投射具有比所述第二照度低的第四照度的第四结构光的第二投射模式来实施,对所述光源输出所述控制信号,所述控制信号指示将所述第一投射区域中的所述结构光的照度和所述第二投射区域中的所述结构光的照度分别平滑化。
22.如权利要求13所述的摄像装置,其特征在于:
所述光源是搭载所述摄像装置的车辆所具有的前灯。
23.如权利要求13所述的摄像装置,其特征在于:
所述摄像机是具有第一摄像机和第二摄像机的立体摄像机。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018091755A JP7096701B2 (ja) | 2018-05-10 | 2018-05-10 | 撮像装置 |
JP2018-091755 | 2018-05-10 | ||
PCT/JP2019/010114 WO2019216020A1 (ja) | 2018-05-10 | 2019-03-12 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111971527A CN111971527A (zh) | 2020-11-20 |
CN111971527B true CN111971527B (zh) | 2022-08-05 |
Family
ID=68467957
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980025539.3A Active CN111971527B (zh) | 2018-05-10 | 2019-03-12 | 摄像装置 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP7096701B2 (zh) |
CN (1) | CN111971527B (zh) |
WO (1) | WO2019216020A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024069682A1 (ja) * | 2022-09-26 | 2024-04-04 | 三菱電機株式会社 | 路面描画装置および路面描画方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005077130A (ja) * | 2003-08-28 | 2005-03-24 | Olympus Corp | 物体認識装置 |
JP2013124941A (ja) * | 2011-12-15 | 2013-06-24 | Samsung Yokohama Research Institute Co Ltd | 測距装置、及び測距方法 |
CN104395168A (zh) * | 2012-04-27 | 2015-03-04 | 谷歌公司 | 通过与其它车辆维持安全距离来在道路上安全地导航 |
JP2016057141A (ja) * | 2014-09-09 | 2016-04-21 | 株式会社リコー | 距離測定装置、移動体装置及び距離測定方法 |
JP2016080471A (ja) * | 2014-10-15 | 2016-05-16 | シャープ株式会社 | 画像認識処理装置及びプログラム |
WO2016188939A1 (de) * | 2015-05-22 | 2016-12-01 | Sirona Dental Systems Gmbh | Vorrichtung zur optischen 3d-vermessung eines objekts |
CN107407559A (zh) * | 2015-03-30 | 2017-11-28 | 富士胶片株式会社 | 距离图像获取装置以及距离图像获取方法 |
-
2018
- 2018-05-10 JP JP2018091755A patent/JP7096701B2/ja active Active
-
2019
- 2019-03-12 CN CN201980025539.3A patent/CN111971527B/zh active Active
- 2019-03-12 WO PCT/JP2019/010114 patent/WO2019216020A1/ja active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005077130A (ja) * | 2003-08-28 | 2005-03-24 | Olympus Corp | 物体認識装置 |
JP2013124941A (ja) * | 2011-12-15 | 2013-06-24 | Samsung Yokohama Research Institute Co Ltd | 測距装置、及び測距方法 |
CN104395168A (zh) * | 2012-04-27 | 2015-03-04 | 谷歌公司 | 通过与其它车辆维持安全距离来在道路上安全地导航 |
JP2016057141A (ja) * | 2014-09-09 | 2016-04-21 | 株式会社リコー | 距離測定装置、移動体装置及び距離測定方法 |
JP2016080471A (ja) * | 2014-10-15 | 2016-05-16 | シャープ株式会社 | 画像認識処理装置及びプログラム |
CN107407559A (zh) * | 2015-03-30 | 2017-11-28 | 富士胶片株式会社 | 距离图像获取装置以及距离图像获取方法 |
WO2016188939A1 (de) * | 2015-05-22 | 2016-12-01 | Sirona Dental Systems Gmbh | Vorrichtung zur optischen 3d-vermessung eines objekts |
Also Published As
Publication number | Publication date |
---|---|
WO2019216020A1 (ja) | 2019-11-14 |
CN111971527A (zh) | 2020-11-20 |
JP7096701B2 (ja) | 2022-07-06 |
JP2019197008A (ja) | 2019-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5680573B2 (ja) | 車両の走行環境認識装置 | |
US10632899B2 (en) | Illumination device for a motor vehicle for increasing the perceptibility of an obstacle | |
JP4544233B2 (ja) | 車両検出装置及びヘッドランプ制御装置 | |
JP5617999B2 (ja) | 車載周辺物認識装置及びこれを用いる運転支援装置 | |
US10369922B2 (en) | Vehicle headlight device | |
US10239440B2 (en) | Illumination apparatus for vehicle | |
US20120062746A1 (en) | Image Processing Apparatus | |
US11073379B2 (en) | 3-D environment sensing by means of projector and camera modules | |
US10965878B2 (en) | Vehicle illumination system and vehicle | |
JP5772714B2 (ja) | 灯火検出装置及び車両制御システム | |
JP2004104646A (ja) | 車載用画像処理装置 | |
US11704910B2 (en) | Vehicle detecting device and vehicle lamp system | |
CN112896035A (zh) | 车辆用投光控制装置及方法、车辆用投光系统 | |
CN111971527B (zh) | 摄像装置 | |
KR20200020604A (ko) | 전조등의 배광 제어 시스템 및 배광 제어 수단 | |
JP2008293116A (ja) | 車載用車両灯検出装置および車両用照明装置 | |
JP2003267125A (ja) | 前照灯照射範囲制御方法及び前照灯装置 | |
JP2007124676A (ja) | 車載用画像処理装置 | |
JP2013101432A (ja) | 障害物検出装置及びプログラム | |
US11375134B2 (en) | Vehicle monitoring system | |
CN209776290U (zh) | 车辆检测装置以及车辆用灯具系统 | |
JP5668937B2 (ja) | 前照灯制御装置 | |
WO2020250711A1 (ja) | 車載システム、車載装置 | |
JP6946993B2 (ja) | 画像処理装置および画像処理方法 | |
JP2015096390A (ja) | 他車両検出装置及び他車両検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: Ibaraki Applicant after: Hitachi astemo Co.,Ltd. Address before: Ibaraki Applicant before: HITACHI AUTOMOTIVE SYSTEMS, Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |