CN110053625A - 距离计算装置和车辆控制装置 - Google Patents
距离计算装置和车辆控制装置 Download PDFInfo
- Publication number
- CN110053625A CN110053625A CN201811445254.9A CN201811445254A CN110053625A CN 110053625 A CN110053625 A CN 110053625A CN 201811445254 A CN201811445254 A CN 201811445254A CN 110053625 A CN110053625 A CN 110053625A
- Authority
- CN
- China
- Prior art keywords
- distance
- vehicle
- presumption
- camera
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/801—Lateral distance
Landscapes
- Engineering & Computer Science (AREA)
- Transportation (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Physics & Mathematics (AREA)
- Measurement Of Optical Distance (AREA)
- Traffic Control Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Closed-Circuit Television Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供一种距离计算装置和车辆控制装置,在计算车辆和对象物之间的距离的情况下,能够扩大能确保良好的计算精度的区域,而能够提高实用性。距离计算装置(1)使用来自左、右相机(4a、4b)的图像数据,获得重叠区域(7c)内的实测距离(Xs_o_n),并使用来自左相机(4a)的图像数据,计算重叠区域和左非重叠区域(7a)内的第1推定距离(Xn_o_n)和第2推定距离(Xn_o_m)。并且,在对象物处于重叠区域内时,以减小实测距离(Xs_o_n)和第1推定距离之间的差分(E_id_n)的绝对值的方式计算修正值(Kmod),并使用修正值修正对象物处于两个区域内时的推定距离,据此来对计算距离进行计算。
Description
技术领域
本发明涉及一种搭载于车辆,并计算该车辆和对象物之间的距离的距离计算装置和车辆控制装置。
背景技术
在现有技术中,作为距离计算装置已知一种在专利文献1中记载的装置。该距离计算装置是搭载于车辆的立体相机方式的装置,具有左右一对相机。在左右一对相机中,两者的光轴以彼此的间隔越靠向前方则越宽的方式倾斜着配置,各拍摄区域由彼此重叠的立体视觉区域和非重叠的非立体视觉区域构成。
在其第2实施方式的距离计算装置的情况下,在本车辆的前方没有行人时,通过立体匹配(stereo matching)方法,基于立体视觉区域中的左右拍摄图像,来计算本车辆和前方行驶车辆之间的距离。
现有技术文献
【专利文献】
专利文献1:日本发明专利公开公报特开2005-24463号
发明内容
【发明要解决的技术问题】
根据上述现有技术中的距离计算装置,构成为仅在前方行驶车辆等对象物位于立体视觉区域的条件下,能够计算本车辆和对象物之间的距离,因此,在对象物横跨立体区域和非立体视觉区域而存在的情况下,无法以良好的精度计算非立体区域中的对象物的距离,而存在实用性较低的问题。
本发明是为了解决上述技术问题而做出的,目的在于提供一种在计算车辆和对象物之间的距离的情况下,能够扩大能确保良好的计算精度的区域,而能够提高实用性的距离计算装置和车辆控制装置。
【用于解决技术问题的技术方案】
为了实现上述目的,本发明优选为一种距离计算装置1,其搭载于车辆(3),计算该车辆(3)和对象物之间的距离,该距离计算装置(1)具有:距离信息获取机构(左、右相机4a、4b、雷达8),其获取距离信息;实测距离获取机构(ECU2、实测距离计算部11),其使用距离信息,获取与第1规定区域(重叠区域7c、7e)内的任意的点之间的距离的实测值、即实测距离(Xs_o_n);图像信息获取机构(左相机4a、相机4c),其获取图像信息;推定距离计算机构(ECU2、推定位置计算部12),其使用图像信息和规定的推定算法(深层学习法),计算与包含整个第1规定区域(重叠区域7c、7e)的、比第1规定区域大的第2规定区域(区域7a+7c、7d+7d+7e)内的任意的点之间的距离的推定值、即推定距离(第1推定距离Xn_o_n和第2推定距离Xn_o_m);修正值计算机构(ECU2、修正值计算部13、修正位置计算部14),其计算修正值(Kmod),该修正值用于修正所述对象物的所述推定距离,以减小在对象物的至少局部位于第1规定区域内时通过实测距离获取机构获得对象物的实测距离(Xs_o_n)和在该对象物的至少局部位于第1规定区域内时通过推定距离计算机构计算出的对象物的推定距离(第1推定距离Xn_o_n)之间的差分(误差信号值E_id_n)的绝对值;和修正后距离计算机构(ECU2、修正位置计算部14),其使用修正值(Kmod)修正在对象物位于包含第1规定区域的第2规定区域内时通过推定距离计算机构计算出的对象物的推定距离(Index_x_h),据此计算对象物的修正后距离(计算距离X_h)。
根据该距离计算装置,通过距离信息获取机构获得距离信息,使用该距离信息获得与第1规定区域内的任意的点之间的距离的实测值、即实测距离,通过图像信息获取机构获得图像信息,并且使用该图像信息和规定的推定算法,计算与包含整个第1规定区域的、比第1规定区域大的第2规定区域内的任意的点之间的距离的推定值、即推定距离。在这种情况下,推定距离为与包含整个第1规定区域的、比第1规定区域大的第2规定区域内的任意的点之间的距离,因此,作为比实测距离大的区域中的距离被计算出。
并且,计算用于以减小对象物的实测距离和对象物的推定距离之间的差分的绝对值的方式来修正对象物的推定距离的修正值,其中,对象物的实测距离是在对象物的至少局部位于第1规定区域内时通过实测距离获取机构获得的距离,对象物的推定距离是在对象物的至少局部位于第1规定区域内时通过推定距离计算机构计算出的距离,因此,该修正值具有使对象物的至少局部位于第1规定区域内时的、对象物的实测距离和对象物的推定距离之间的误差减小的功能。
因此,使用修正值修正在对象物位于包含第1规定区域内的第2规定区域内时通过推定距离计算机构计算出的对象物的推定距离,据此计算对象物的修正后距离,因此,能够将修正后距离作为使位于第2规定区域内的对象物的推定距离的计算精度提高的值而计算出。其结果,在使用距离信息和图像信息计算车辆和对象物之间的距离的情况下,能够扩大能确保良好的计算精度的区域,而能够提高实用性(此外,在本说明书中的“获得实测距离”等的“获得”不限定于通过传感器等直接检测该值,也包括基于参数计算/推定该值)。
在本发明中优选,距离信息获取机构使用第1相机(左相机4a)和比第1相机灵敏度高的第2相机(右相机4b),通过立体匹配方法来获得距离信息,图像信息获取机构使用第1相机(左相机4a),来获得图像信息。
根据该距离计算装置,使用第1相机和与第1相机相比高灵敏度的第2相机,通过立体匹配方法来获得距离信息,并使用该距离信息来获得实测距离,因此,能够以良好的精度获得实测距离。另外,使用第1相机获得图像信息,使用该图像信息和推定算法计算推定距离,因此,能够在确保较大的视场区域的同时计算推定距离。并且,如上所述,修正后距离作为使位于第2规定区域内的对象物的推定距离的计算精度提高的值被计算出,因此,能够在比第1规定区域大的第2规定区域内,在确保高的计算精度的同时计算修正后距离。
在本发明中优选,距离信息获取机构使用雷达(8)和激光雷达(LIDAR)中的一方来获得距离信息,图像信息获取机构使用相机(4c)来获得图像信息。
根据该距离计算装置,使用雷达和LIDAR中的一方来获得距离信息,因此,即使在雨天、雾等由相机图像获得距离信息的获得精度下降的条件下,也能够以良好的精度获得距离信息,从而能够提高实测距离的获得精度。另外,由于是使用相机获得图像信息,因此能够在确保大的视场区域的同时计算推定距离。其结果,如上所述,由于修正后距离作为使位于第2规定区域内的对象物的推定距离的计算精度提高的值被计算出,能够在比第1规定区域大的第2规定区域内,在确保高的计算精度的同时计算修正后距离。
本发明中优选,修正值(Kmod)作为以下函数值被计算出:该函数值在将相对于车辆(3)的基准点的横向作为一个坐标,将相对于该基准点的纵向作为一个坐标的二维坐标系中,在该横向的坐标上于第1规定区间(推定距离Index_x_1~Index_x_N+M)内连续,同时在该纵向的坐标上于第2规定区间(推定横向位置Index_y_1~Index_y_N+M)内连续。
根据该距离计算装置,修正值作为以下函数值被计算出:该函数值在将相对于车辆的基准点的横向作为一个坐标,将相对于该基准点的纵向作为一个坐标的二维坐标系中,在该横向的坐标上于第1规定区间内连续,同时在该纵向的坐标上于第2规定区间内连续,因此,在对象物位于车辆前侧的区域的情况下,能够在补偿车辆的前后方向和左右方向的倾斜的影响的同时,计算修正后距离。据此,能够进一步提高修正后距离的计算精度。
优选为本发明所涉及的车辆控制装置具有上述任意一种的距离计算装置(1),第1规定区域和第2规定区域为车辆(3)的前侧和后侧中的一方的区域,使用对象物的修正后距离(计算距离X_h),控制所述车辆(3)的驱动力、制动力和操舵量中的至少一个(图7/步骤1~3)。
根据该车辆控制装置,能够使用上述的计算精度较高的修正后距离,来控制车辆的驱动力、制动力和操舵量中的至少一个,因此,能够提高该控制精度。
附图说明
图1是示意性地表示本发明的一实施方式所涉及的距离计算装置及车辆控制装置,和适用距离计算装置及车辆控制装置的车辆的结构的图。
图2是表示左右的相机的视场区域的图。
图3是表示距离计算装置的功能性结构的框图。
图4是表示在距离加权函数值Wx_i的计算中使用的图表的一例的图。
图5是表示在横向位置加权函数值Wy_j的计算中使用的图表的一例的图。
图6是表示修正值Kmod与推定距离Index_x及推定横向位置Index_y之间的关系的一例的图。
图7是表示自动停止控制处理的流程图。
图8是表示距离计算装置的变形例的图。
附图标记说明
1:距离计算装置、车辆控制装置;2:ECU(实测距离获取机构、推定距离计算机构、修正值计算机构、修正后距离计算机构);3:车辆;4a:左相机(距离信息获取机构、图像信息获取机构、第1相机);4b:右相机(距离信息获取机构、第2相机);4d:相机(图像信息获取机构);7a:左非重叠区域(第2规定区域的局部);7c:重叠区域(第1规定区域、第2规定区域的局部);7d:左、右非重叠区域(第2规定区域的局部);7e:重叠区域(第1规定区域、第2规定区域的局部);8:雷达(距离信息获取机构);11:实测距离计算部(实测距离获取机构);12:推定位置计算部(推定距离计算机构);13:修正值计算部(修正值计算机构);14:修正位置计算部(修正值计算机构、修正后距离计算机构);Xs_o_n:实测距离;Xn_o_n:第1推定距离(推定距离);Xn_o_m:第2推定距离(推定距离);E_id_n:误差信号值(偏差);Index_x_h:推定距离(第1规定区间);Index_y_h:推定横向位置(第2规定区间);Kmod:修正值;X_h:计算距离(修正后距离)。
具体实施方式
下面,边参照附图,边对本发明的一实施方式所涉及的距离计算装置和车辆控制装置进行说明。此外,本实施方式的车辆控制装置也兼用作距离计算装置,因此,在以下的说明中,对车辆控制装置进行说明,并且,在其中也对距离计算装置的功能和结构进行说明。
如图1所示,该车辆控制装置1是适用于能够自动驾驶的四轮车辆(以下称为“本车辆”)3的装置,该本车辆3以对应于车行道的左侧通行的方式构成。车辆控制装置1具有ECU2,在该ECU2上电连接有左右相机4a、4b(参照图2)、状况检测装置4c、原动机5和执行机构6。
如图2所示,左、右相机4a、4b配置为,两者的光轴彼此的间隔为越靠向本车辆3前方则越大,并且,两者的视场区域构成彼此重叠的重叠区域7c(在图中由网格表示的区域)和彼此未重叠的左、右非重叠区域7a、7b。在这种情况下,左、右相机4a、4b的光轴间的角度被设定为能够识别停止线位置等的规定角度(例如几十度)。
此外,在本实施方式中,左相机相当于距离信息获取机构、图像信息获取机构和第1相机,右相机相当于距离信息获取机构和第2相机。另外,重叠区域7c相当于第1规定区域,左非重叠区域7a和重叠区域7c合在一起的区域相当于第2规定区域。
该左相机4a由能够拍摄三原色的图像的RGB相机构成,右相机4b由具有比左相机4a高的灵敏度的、仅能够拍摄黑白图像的CCC相机构成。该CCC相机作为像素值仅输出无色(白色)。
ECU2如后述那样,基于来自左、右相机4a、4b的图像数据,计算与位于本车辆3的前方的对象物之间的距离。
另外,状况检测装置4c由毫米波雷达、GPS和各种传感器等构成,将表示本车辆3的位置和本车辆3的行进方向的周边状况的周边状况数据向ECU2输出。
原动机5例如由电动马达等构成,在执行包含后述的自动停止控制的自动驾驶控制的过程中,通过ECU2来控制原动机5的输出。
另外,执行机构6由制动用执行机构和操舵用执行机构等构成,在执行包含后述的自动停止控制的自动驾驶控制的过程中,通过ECU2来控制执行机构6的动作。
另一方面,ECU2为由CPU、RAM、ROM、E2PROM、I/O接口和各种电气电路(均未图示)等构成的微型计算机构成,并基于来自上述左、右相机4a、4b的图像数据和来自状况检测装置4c的周边状况数据等,执行包含后述的自动停止控制的自动驾驶控制等各种控制处理。
此外,在本实施方式中,ECU2相当于实测距离获取机构、推定距离计算机构、修正值计算机构和修正后距离计算机构。
接着,边参照图3,边对本实施方式的车辆控制装置1中的作为距离计算装置的功能性结构进行说明。该车辆控制装置1为通过下面所述的计算算法,计算与位于本车辆3的前方的对象物之间的距离的装置,下面所述的计算值全部存储在E2PROM内。
在这种情况下,行人和车辆等交通参与者、中心线、道路边界、停止线、交叉路口的进入位置、通过交叉路口后的进入路的入口、交叉路口的左右转弯之后的道路的入口、交叉路口的中心位置、信号灯、标识和人行横道等道路构造物相当于对象物。
此外,在以下的说明中,以本车辆3的前端的中央位置为原点(基准点),将本车辆3的前后方向规定为x坐标轴、将左右方向规定为y坐标轴,将此时的二维坐标系中的x坐标值称为“距离”,y坐标值称为“横向位置”。
如图3所示,车辆控制装置1具有实测距离计算部11、推定位置计算部12、修正值计算部13和修正位置计算部14,这些结构要素11~14具体地由ECU2构成。
在该实测距离计算部11(实测距离获取机构)中,基于来自左、右相机4a、4b的图像数据,通过立体匹配方法,计算N(N为大于1的值)个实测距离Xs_o_n(n=1~N),作为位于所述重叠区域7c内的对象物的距离的实测值。由于该立体匹配方法为公知的方法,因此,此处省略对其的说明。
另外,在推定位置计算部12(推定距离计算机构)中,基于来自左相机4a的图像数据,通过使用深层神经网络的深层学习法,来计算N个第1推定位置(Xn_o_n,Yn_o_n)和M(M为大于1的值)个第2推定位置(Xn_o_m,Yn_o_m)。
这些N个第1推定位置(Xn_o_n,Yn_o_n)为在重叠区域7c内存在的对象物的位置的推定值,是将N个第1推定距离Xn_o_n(n=1~N)作为x坐标值,将N个第1推定横向位置Yn_o_n(n=1~N)作为y坐标值的位置。
另外,M个第2推定位置(Xn_o_m,Yn_o_m)为在左非重叠区域7a内存在的对象物的位置的推定值,是将M个第2推定距离Xn_o_m(m=1~M)作为x坐标值,将M个第2推定横向位置Yn_o_m(m=1~M)作为y坐标值的位置。
在该推定位置计算部12中,通过公知的深层学习法,基于图像上的对象物的位置、对象物和其他对象物之间的相对位置、对象物的动作速度(或者光流)、对象物和其他对象物之间的速度差、对象物的亮度/色调等,计算N个第1推定位置(Xn_o_n,Yn_o_n)和M个第2推定位置(Xn_o_m,Yn_o_m)。
而且,在所述的修正值计算部13(修正值计算机构)中,通过以下的式(1)~(3)所示的计算算法,来计算4个局部修正值Kmod_ij(i=1~2,j=1~2)。此外,在以下的说明中,带标记(k)的各离散数据表示与规定的控制周期ΔT(在本实施方式中为几百msec)同步地采样或计算的数据,标记k(k为正整数)表示控制时刻。此外,在以下的説明中,适当省略各离散数据中的标记(k)。
【数式1】
E_id_n(k)=Xn_o_n(k)-Xs_o_n(k)…(1)
【数式2】
E_id_ij_n(k)=E_id_n(k)·Wx_i(Xn_o_n(k))Wy_j(Yn_o_n(k))···(2)
【数式3】
上式(1)的E_id_n(n=1~N)为N个误差信号值,作为第1推定距离Xn_o_n和实测距离Xs_o_n之间的偏差被计算出。在这种情况下,实测距离Xs_o_n基于来自左、右相机4a、4b的图像数据,通过立体匹配方法计算出,因此,可认为具有比仅基于来自左相机4a的图像数据计算出的第1推定距离Xn_o_n高的计算精度。因此,误差信号值E_id_n能视为表示第1推定距离Xn_o_n相对于实测距离Xs_o_n的误差的值。
另外,上式(2)的E_id_ij_n为局部误差信号值。而且,式(2)的Wx_i(Xn_o_n)为N个距离加权函数值,通过按照N个第1推定距离Xn_o_n在图4所示的图表中进行检索而被计算出。另一方面,式(2)的Wy_j(Yn_o_n)为N个横向位置加权函数值,通过按照N个第1推定横向位置Yn_o_n在图5所示的图表中进行检索而被计算出。而且,上式(3)的kid为以使kid<0成立的方式设定的规定的更新增益。
参照上式(1)~(3)明确可知,局部误差信号值E_id_ij_n作为如下值被计算出,即,针对通过x坐标上的Xn_o_1~Xn_o_N的范围、和y坐标上的Yn_o_1~Yn_o_N的范围规定的区域,一边通过4个加权函数值Wx_i,Wy_j对第1推定距离Xn_o_n相对于实测距离Xs_o_n的误差、即误差信号值E_id_n进行加权一边进行配分得到的值。
而且,4个局部修正值Kmod_ij以误差信号值E_id_ij_n总和的绝对值收敛于值0的方式,通过仅积算项的反馈控制算法计算出,因此,4个局部修正值Kmod_ij以具有以下功能的方式计算出:4个局部修正值Kmod_ij的计算次数越大(即,4个局部修正值Kmod_ij的更新次数越多),则在上述区域中越会使第1推定距离Xn_o_n相对于实测距离Xs_o_n的误差的绝对值收敛于值0。
接着,在修正位置计算部14(修正值计算机构、修正后距离计算机构)中,首先通过下式(4)计算修正值Kmod。
【数式4】
上式(4)的Index_x_h(h=1~N+M)为相当于N个第1推定距离Xn_o_n和M个第2推定距离Xn_o_m的集合的N+M个推定距离。另外,在将N个第1推定距离Xn_o_n作为推定距离Index_x_h使用的情况下,式(4)的加权函数Wx_i(Index_x_h)使用上述的图4的图表来计算,另一方面,在将M个第2推定距离Xn_o_m作为推定距离Index_x_h使用的情况下,式(4)的加权函数Wx_i(Index_x_h)使用将上述的图4的横轴从第1推定距离Xn_o_n替换为第2推定距离Xn_o_m的图表来计算。
而且,上式(4)的Index_y_h为相当于N个第1推定横向位置Yn_o_n和M个第2推定横向位置Yn_o_m的集合的N+M个推定横向位置。另外,在将N个第1推定横向位置Yn_o_n作为推定横向位置Index_y_h使用的情况下,式(4)的加权函数Wy_i(Index_y_h)使用上述的图5的图表来计算,另一方面,在将M个第2推定横向位置Yn_o_m作为推定横向位置Index_y_h使用的情况下,式(4)的加权函数Wy_i(Index_y_h)使用将上述的图5的横轴从第1推定横向位置Yn_o_n替换为第2推定横向位置Yn_o_m的图表来计算。
通过上式(4)计算出修正值Kmod,因此,修正值Kmod以具有如下功能的方式被计算出,即,通过上述4个局部修正值Kmod_ij的功能,使第1推定距离Xn_o_n相对于实测距离Xs_o_n的误差的绝对值收敛于值0的功能。
另外,根据相同理由,修正值Kmod作为以下函数值被计算出:该函数值在将推定距离Index_x作为一个坐标、并将推定横向位置Index_y作为一个坐标的二维坐标系中,在由N+M个推定距离Index_x_h规定的第1规定区间内连续的同时,在由N+M个推定横向位置Index_y_h规定的第2规定区间内连续。其结果,在将修正值Kmod设定为与该二维坐标系正交的坐标轴的情况下,修正值Kmod作为形成修正面(通过点画法示出的面)的值被计算出(参照图6)。
并且,最终通过下式(5)~(6),来计算出N+M个计算距离X_h(h=1~N+M)和N+M个计算横向位置Y_h。即,对象物的N+M个计算位置(X_h,Y_h)被计算出。此外,在本实施方式中,计算距离X_h相当于修正后距离。
【数式5】
X_h(k)=Kmod(k)·Index_x_h(k) ···(5)
【数式6】
Y_h(k)=Index_y_h(k)…(6)
此外,根据上式(1)~(3)进行的4个局部修正值Kmod_ij的计算和根据式(4)进行的修正值Kmod的计算,在正在执行左、右相机4a、4b中的立体视觉的情况下,在适当的对象物横跨重叠区域7c和左非重叠区域7a内而存在的条件下被执行。
另一方面,在上述条件未成立时,例如无法执行立体视觉时(在隧道行驶中、背阴和夜间等由右相机4b无法识别对象物时)、或者适当的对象物未横跨重叠区域7c和左非重叠区域7a内而存在时,4个局部修正值Kmod_ij的计算和修正位置计算部14中的修正值Kmod的计算中止,这些值保持为E2PROM内的存储值。
接着,边参照图7,边对本实施方式的车辆控制装置1进行的自动停止控制处理进行说明。该自动停止控制处理为当本车辆3处于应停止条件下时执行的处理,在以下的说明中,对在进入交叉路口时行进方向的信号灯为红灯时的例子进行说明。
如同图中所示那样,首先,读取存储在E2PROM内的停止线的计算位置(X_h,Y_h)(图7/步骤1)。这些计算位置(X_h,Y_h)在未图示的计算处理中通过上述的式(1)~(6)的计算算法来计算。
接着,以使本车辆3在停止线的计算位置(X_h,Y_h)、尤其是在计算距离X_h处适当停止的方式控制原动机5。由此,原动机5的输出被控制(图7/步骤2)。
而且,以使本车辆3在停止线的计算位置(X_h,Y_h)、尤其是在计算距离X_h处适当停止的方式控制执行机构6。由此,制动力和操舵量被控制(图7/步骤3)。之后,结束本处理。
如上所述,根据本实施方式的车辆控制装置1,基于来自左、右相机4a、4b的图像数据,通过立体匹配方法来计算位于重叠区域7c内的对象物的实测距离Xs_o_n,并基于来自左相机4a的图像数据,通过使用深层神经网络的深层学习法来计算位于重叠区域7c内的对象物的第1推定位置(Xn_o_n,Yn_o_n)和位于左非重叠区域7a内的对象物的第2推定位置(Xn_o_m,Yn_o_m)。
而且,根据上述式(1)~(3),4个局部修正值Kmod_ij作为如下值被计算出,即,针对通过x坐标上的Xn_o_1~Xn_o_N的范围和y坐标上的Yn_o_1~Yn_o_N的范围规定的区域,一边通过4个加权函数值Wx_i,Wy_j对误差信号值E_id_n进行加权一边进行配分得到的值,使用这样的4个局部修正值Kmod_ij,通过上述式(4)计算修正值Kmod。
在这种情况下,4个局部修正值Kmod_ij作为具有如下功能的值被计算出,即,在上述区域中,使第1推定距离Xn_o_n相对于实测距离Xs_o_n的误差的绝对值收敛于值0的功能,因此,修正值Kmod也作为具有同样功能的值被计算出。因此,通过使用这样的修正值Kmod修正N+M个推定距离Index_x_h,来计算N+M个计算距离X_h,因此,能够将这些计算距离X_h作为使位于重叠区域7c内的对象物的第1推定距离Xn_o_n、和位于左非重叠区域7a内的对象物的第2推定距离Xn_o_m的计算精度提高的值被计算出。如此,由于除了重叠区域7c外,还能够提高位于左非重叠区域7a内的对象物的计算距离的计算精度,因此,与专利文献1的方法相比,能够扩大可确保良好的计算精度的区域,从而能够提高实用性。
另外,由于修正值Kmod作为以下函数值被计算出:该函数值在将推定距离Index_x作为一个坐标、并将推定横向位置Index_y作为一个坐标的二维坐标系中,在由N+M个推定距离Index_x_h规定的第1规定区间内连续的同时,在由N+M个推定横向位置Index_y_h规定的第2规定区间内连续,因此,在将修正值Kmod设定为与该二维坐标系正交的坐标轴的情况下,如图6所示,修正值Kmod作为形成修正面(通过点画法示出的面)的值被计算出。其结果,在对象物位于本车辆3的前侧的区域中的情况下,能够一边补偿本车辆3在前后方向和左右方向上的倾斜的影响,一边计算出计算距离X_h。据此,能够进一步提高计算距离X_h的计算精度。
另外,由于使用上述那样计算精度较高的计算距离X_h执行自动停止控制处理,因此,能够使本车辆3以良好的精度停止在停止线的位置,从而能够提高控制精度。
此外,实施方式是使用左、右相机4a、4b计算对象物的N+M个计算位置(X_h,Y_h)的例子,但也可以代替于此,而如图8所示那样,将相机4d和与该左、右相机4a、4b相比能够高精度地检测距离的雷达8组合使用。在这种情况下,相机4d相当于图像信息获取机构,雷达8相当于距离信息获取机构。
该相机4d为RGB相机或RCB相机类型的相机,配置为其视场区域构成与雷达8的视场区域重叠的重叠区域7e(在图中由网格表示的区域)和不与雷达8的视场区域重叠的左、右非重叠区域7d、7d。在这种情况下,重叠区域7e相当于第1规定区域,重叠区域7e和左、右非重叠区域7d、7d组合而成的区域相当于第2规定区域。
在上述那样构成的情况下,在上述的实测距离计算部11中,雷达8进行的对象物的距离的测定数据作为实测距离Xs_o_n被计算出,据此,能够得到与实施方式的车辆控制装置1同样的作用效果。此外,在上述的实测距离计算部11中,也可以构成为,通过使用雷达8和相机4d的传感器融合技术,来计算实测距离Xs_o_n。另外,在图8的结构中,也可以代替雷达8,而使用激光雷达(LIDAR)。
另外,实施方式是在推定位置计算部12中,基于来自左相机4a的图像数据,通过使用深层神经网络的深层学习法,计算N个第1推定位置(Xn_o_n,Yn_o_n)和M个第2推定位置(Xn_o_m,Yn_o_m),但也可代替于此而构成为,使用来自左、右相机4a、4b的图像数据,通过使用深层神经网络的深层学习法,来计算N个第1推定位置(Xn_o_n,Yn_o_n)和M个第2推定位置(Xn_o_m,Yn_o_m)。
而且,在推定位置计算部12中,根据来自左相机4a的图像数据,计算N个第1推定位置(Xn_o_n,Yn_o_n)和M个第2推定位置(Xn_o_m,Yn_o_m)的推定算法不限定于实施方式的使用深层神经网络的深层学习法,也可以使用特征量提取法、模式匹配法、光流法、使用图像的高度和对象物的高度的相关性的方法(例如,日本发明专利公开公报特开2007-188417号)等。
另一方面,实施方式是使用RGB相机类型的相机作为第1相机的例子,但本发明的第1相机不限定于此,只要是能够输出图像数据的相机即可。例如,作为第1相机也可以使用RCB相机,在这种情况下,通过从无色的像素信息中减去红色和蓝色的像素信息的处理,提取出黄色像素信息即可。
另外,实施方式是使用CCC相机作为第2相机的例子,但本发明的第2相机不限定于此,只要是与第1相机相比高灵敏度的相机即可。例如,也可以使用3CMOS相机作为第2相机。
而且,实施方式是将本发明的车辆控制装置和距离计算装置适用在对应于车行道的左侧通行的车辆的例子,但也可以将本发明的车辆控制装置和距离计算装置适用在对应于车行道的右侧通行的车辆。在这种情况下,在交通信号灯配置在右侧的环境下行驶的车辆中,也可以替换实施方式的左、右相机,而使用仅能够拍摄黑白图像的CCC相机构成左相机,使用能够拍摄三原色的图像的RGB相机构成右相机。
另一方面,实施方式是将车辆的前侧的区域作为第1规定区域和第2规定区域的例子,但也可以将车辆的后侧的区域作为第1规定区域和第2规定区域,在这种情况下,也可以将左、右相机朝后配置。
另外,实施方式是将第1规定区间作为由N+M个推定距离Index_x_h规定的区间的例子,但第1规定区间不限定于此,只要是重叠区域7c和左重叠区域7a内中的对象物的距离即可。
而且,实施方式是将第2规定区间作为由N+M个推定横向位置Index_y_h规定的区间的例子,但第2规定区间不限定于此,只要是重叠区域7c和左重叠区域7a内中的对象物的横向位置即可。
另一方面,实施方式是将本发明的车辆控制装置1和距离计算装置1适用于四轮车辆的例子,但本发明的车辆控制装置和距离计算装置不限定于此,也能够适用于两轮车辆、三轮车辆和五轮以上的车辆。
Claims (5)
1.一种距离计算装置,其搭载于车辆,计算该车辆和对象物之间的距离,其特征在于,具有:
距离信息获取机构,其获取距离信息;
实测距离获取机构,其使用该距离信息,获取与第1规定区域内的任意的点之间的距离的实测值、即实测距离;
图像信息获取机构,其获取图像信息;
推定距离计算机构,其使用该图像信息和规定的推定算法,计算与第2规定区域内的任意的点之间的距离的推定值、即推定距离,其中,所述第2规定区域是包含整个所述第1规定区域的、比该第1规定区域大的区域;
修正值计算机构,其计算修正值,该修正值用于修正所述对象物的所述推定距离,以减小在所述对象物的至少局部位于所述第1规定区域内时通过所述实测距离获取机构获得的所述对象物的所述实测距离和在该对象物的至少局部位于所述第1规定区域内时通过所述推定距离计算机构计算出的所述对象物的所述推定距离之间的差分的绝对值;和
修正后距离计算机构,其使用所述修正值修正在所述对象物位于包含所述第1规定区域的所述第2规定区域内时通过所述推定距离计算机构计算出的所述对象物的所述推定距离,据此计算所述对象物的修正后距离。
2.根据权利要求1所述的距离计算装置,其特征在于,
所述距离信息获取机构使用第1相机和比该第1相机灵敏度高的第2相机,通过立体匹配方法来获得所述距离信息,
所述图像信息获取机构使用所述第1相机来获得所述图像信息。
3.根据权利要求1所述的距离计算装置,其特征在于,
所述距离信息获取机构使用雷达和激光雷达中的一方来获得所述距离信息,
所述图像信息获取机构使用相机来获得所述图像信息。
4.根据权利要求1~3中任一项所述的距离计算装置,其特征在于,
所述修正值作为以下函数值被计算出:该函数值在将相对于所述车辆的基准点的横向作为一个坐标,将相对于该基准点的纵向作为一个坐标的二维坐标系中,在该横向的坐标上于第1规定区间内连续,同时在该纵向的坐标上于第2规定区间内连续。
5.一种车辆控制装置,其特征在于,
具有权利要求1至4中任意一项所述的距离计算装置,
所述第1规定区域和所述第2规定区域为所述车辆的前侧和后侧中的一方的区域,
使用所述对象物的所述修正后距离,控制所述车辆的驱动力、制动力和操舵量中的至少一个。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-007605 | 2018-01-19 | ||
JP2018007605A JP6620175B2 (ja) | 2018-01-19 | 2018-01-19 | 距離算出装置及び車両制御装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110053625A true CN110053625A (zh) | 2019-07-26 |
CN110053625B CN110053625B (zh) | 2022-03-11 |
Family
ID=67315037
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811445254.9A Active CN110053625B (zh) | 2018-01-19 | 2018-11-29 | 距离计算装置和车辆控制装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6620175B2 (zh) |
CN (1) | CN110053625B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112513571A (zh) * | 2018-07-27 | 2021-03-16 | 日立汽车系统株式会社 | 距离计算装置 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112022003998T5 (de) * | 2021-10-21 | 2024-06-27 | Hitachi Astemo, Ltd. | Fahrzeugmontierte steuervorrichtung und verfahren zur erfassung dreidimensionaler informationen |
CN116279792B (zh) * | 2023-05-22 | 2023-07-18 | 深圳市聚力得电子股份有限公司 | 一种车载智能转向控制系统 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007263669A (ja) * | 2006-03-28 | 2007-10-11 | Denso It Laboratory Inc | 3次元座標取得装置 |
JP2007263657A (ja) * | 2006-03-28 | 2007-10-11 | Denso It Laboratory Inc | 3次元座標取得装置 |
JP2009085651A (ja) * | 2007-09-28 | 2009-04-23 | Hitachi Ltd | 画像処理システム |
WO2012032809A1 (ja) * | 2010-09-06 | 2012-03-15 | アイシン精機株式会社 | 運転支援装置 |
CN102597693A (zh) * | 2009-11-13 | 2012-07-18 | 富士胶片株式会社 | 测距装置、测距方法、测距程序及测距系统以及拍摄装置 |
JP2012189324A (ja) * | 2011-03-08 | 2012-10-04 | Ricoh Co Ltd | ステレオカメラ |
CN103270543A (zh) * | 2010-12-24 | 2013-08-28 | 株式会社日立制作所 | 驾驶辅助装置 |
JP2013186042A (ja) * | 2012-03-09 | 2013-09-19 | Hitachi Automotive Systems Ltd | 距離算出装置及び距離算出方法 |
JP2014202661A (ja) * | 2013-04-08 | 2014-10-27 | 株式会社リコー | 測距装置 |
CN104590258A (zh) * | 2013-10-31 | 2015-05-06 | 富士重工业株式会社 | 车辆控制系统 |
JP2015172934A (ja) * | 2014-02-24 | 2015-10-01 | 株式会社リコー | 物体認識装置、物体認識方法 |
JP2015219212A (ja) * | 2014-05-21 | 2015-12-07 | 京セラ株式会社 | ステレオカメラ装置及び距離算出方法 |
CN106347351A (zh) * | 2016-09-28 | 2017-01-25 | 奇瑞汽车股份有限公司 | 一种带有自动紧急制动的自适应巡航方法及系统 |
CN106662441A (zh) * | 2014-09-11 | 2017-05-10 | 日立汽车系统株式会社 | 图像处理装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6915008B2 (en) * | 2001-03-08 | 2005-07-05 | Point Grey Research Inc. | Method and apparatus for multi-nodal, three-dimensional imaging |
JP2013185905A (ja) * | 2012-03-07 | 2013-09-19 | Sony Corp | 情報処理装置及び方法、並びにプログラム |
-
2018
- 2018-01-19 JP JP2018007605A patent/JP6620175B2/ja not_active Expired - Fee Related
- 2018-11-29 CN CN201811445254.9A patent/CN110053625B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007263669A (ja) * | 2006-03-28 | 2007-10-11 | Denso It Laboratory Inc | 3次元座標取得装置 |
JP2007263657A (ja) * | 2006-03-28 | 2007-10-11 | Denso It Laboratory Inc | 3次元座標取得装置 |
JP2009085651A (ja) * | 2007-09-28 | 2009-04-23 | Hitachi Ltd | 画像処理システム |
CN102597693A (zh) * | 2009-11-13 | 2012-07-18 | 富士胶片株式会社 | 测距装置、测距方法、测距程序及测距系统以及拍摄装置 |
WO2012032809A1 (ja) * | 2010-09-06 | 2012-03-15 | アイシン精機株式会社 | 運転支援装置 |
CN103270543A (zh) * | 2010-12-24 | 2013-08-28 | 株式会社日立制作所 | 驾驶辅助装置 |
JP2012189324A (ja) * | 2011-03-08 | 2012-10-04 | Ricoh Co Ltd | ステレオカメラ |
JP2013186042A (ja) * | 2012-03-09 | 2013-09-19 | Hitachi Automotive Systems Ltd | 距離算出装置及び距離算出方法 |
JP2014202661A (ja) * | 2013-04-08 | 2014-10-27 | 株式会社リコー | 測距装置 |
CN104590258A (zh) * | 2013-10-31 | 2015-05-06 | 富士重工业株式会社 | 车辆控制系统 |
JP2015172934A (ja) * | 2014-02-24 | 2015-10-01 | 株式会社リコー | 物体認識装置、物体認識方法 |
JP2015219212A (ja) * | 2014-05-21 | 2015-12-07 | 京セラ株式会社 | ステレオカメラ装置及び距離算出方法 |
CN106662441A (zh) * | 2014-09-11 | 2017-05-10 | 日立汽车系统株式会社 | 图像处理装置 |
CN106347351A (zh) * | 2016-09-28 | 2017-01-25 | 奇瑞汽车股份有限公司 | 一种带有自动紧急制动的自适应巡航方法及系统 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112513571A (zh) * | 2018-07-27 | 2021-03-16 | 日立汽车系统株式会社 | 距离计算装置 |
CN112513571B (zh) * | 2018-07-27 | 2023-08-25 | 日立安斯泰莫株式会社 | 距离计算装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110053625B (zh) | 2022-03-11 |
JP2019128153A (ja) | 2019-08-01 |
JP6620175B2 (ja) | 2019-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102483649B1 (ko) | 차량 위치 결정 방법 및 차량 위치 결정 장치 | |
US10650253B2 (en) | Method for estimating traffic lanes | |
CN107792069B (zh) | 车辆的行驶控制装置 | |
CN105015547B (zh) | 驾驶辅助装置 | |
EP3306429B1 (en) | Position estimation device and position estimation method | |
CN102222236B (zh) | 图像处理系统及位置测量系统 | |
US7421095B2 (en) | Traffic lane marking line recognition system for vehicle | |
US11460851B2 (en) | Eccentricity image fusion | |
EP2372304B1 (en) | Vehicle position recognition system | |
US7421094B2 (en) | Traffic lane marking line recognition system for vehicle | |
US10964217B2 (en) | Travel control method and travel control apparatus | |
US7415134B2 (en) | Traffic lane marking line recognition system for vehicle | |
US7415133B2 (en) | Traffic lane marking line recognition system for vehicle | |
WO2011013586A1 (ja) | 道路形状認識装置 | |
CN107235044A (zh) | 一种基于多传感数据实现对道路交通场景和司机驾驶行为的还原方法 | |
CN107241916A (zh) | 车辆的行驶控制装置以及行驶控制方法 | |
JP2014160322A (ja) | 車線境界線逸脱抑制装置 | |
CN110053625A (zh) | 距离计算装置和车辆控制装置 | |
CN106476807A (zh) | 车辆的行驶控制装置 | |
CN103383728B (zh) | 使用环视系统的全速车道感测 | |
JP6115429B2 (ja) | 自車位置認識装置 | |
WO2020160927A1 (en) | Vehicle control system and method | |
JP7056379B2 (ja) | 車両用走行制御装置 | |
JP7065585B2 (ja) | 車両の走行制御装置 | |
US20200242372A1 (en) | Arithmetic apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |