CN109017775B - 车外环境识别装置及车外环境识别方法 - Google Patents
车外环境识别装置及车外环境识别方法 Download PDFInfo
- Publication number
- CN109017775B CN109017775B CN201810460140.5A CN201810460140A CN109017775B CN 109017775 B CN109017775 B CN 109017775B CN 201810460140 A CN201810460140 A CN 201810460140A CN 109017775 B CN109017775 B CN 109017775B
- Authority
- CN
- China
- Prior art keywords
- wall surface
- vehicle
- host vehicle
- left end
- right end
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000003384 imaging method Methods 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供车外环境识别装置及车外环境识别方法,能够不依赖于前行车辆等对象物的姿态,而适当地设定用于避免与该对象物碰撞的避免碰撞判断的信息。壁面设定部确定本车辆的前方左端、本车辆的前方右端、对象物的左端、对象物的右端及对象物的最近端在XZ平面内的坐标。壁面设定部算出连结前方左端和右端的辅助线、以及连结前方右端和左端的辅助线。壁面设定部算出包含最近端且垂直于本车辆的行进方向的平面。壁面设定部确定辅助线与平面之间的交点、以及辅助线与平面之间的交点的坐标。壁面设定部设定交点为右端且交点为左端的壁面。
Description
技术领域
本发明涉及一种根据车外环境进行车辆的避免碰撞控制的车外环境识别装置及车外环境识别方法。
背景技术
已知有以下技术(例如,专利文献1):检测位于本车辆的前方的前行车辆等对象物,并且以避免与对象物碰撞的方式对本车辆进行控制(避免碰撞控制)。
现有技术文献
专利文献
专利文献1:日本专利第5113656号公报
发明内容
技术问题
作为避免碰撞控制的一个例子,列举在作为对象物的前行车辆的背面(例如,左右的尾灯之间)设定壁面,进行能否避免与设定的壁面的碰撞的判断(避免碰撞判断),并且根据不能避免碰撞的意思的避免碰撞判断结果来进行紧急制动而避免与对象物的碰撞。对于该方式而言,在前行车辆朝向与本车辆相同的行进方向而存在的情况下,能够适当地避免与前行车辆的碰撞。
但是,在前行车辆的行进方向相对于本车辆的行进方向朝向斜前方倾斜的情况下,从本车辆不仅要目视确认前行车辆的背面,还要目视确认前行车辆的侧面。在该情况下,即使判断为能够避免与设定的壁面的碰撞,实际上,本车辆还是有可能与前行车辆碰撞,例如,在本车辆通过设定的壁面的横侧而与前行车辆的侧面碰撞这样的情况。
作为防止这样的事态的一个例子,考虑在从本车辆目视确认到的前行车辆的整个范围(从本车辆观察时的前行车辆的左右两端之间)设定壁面。对于该方式而言,能够避免本车辆与相对于本车辆倾斜地存在的前行车辆的侧面碰撞。但是,在该方式中,在本车辆想要通过前行车辆的侧面的旁边的情况下,有可能判断为不能避免与设定的壁面的碰撞,而实施紧急制动。即,在该方式中,实际上,尽管本车辆与前行车辆碰撞的可能性非常低,也过度实施紧急制动。
这样,根据前行车辆等对象物的姿态以及用于与该对象物的避免碰撞判断的信息,即壁面的设定方法的不同,在避免碰撞判断结果与实际上有无碰撞之间产生背离。
因此,本发明的目的在于,提供一种能够不依赖于前行车辆等对象物的姿态,而适当地设定用于避免与该对象物碰撞的避免碰撞判断的信息的车外环境识别装置及车外环境识别方法。
技术方案
为了解决上述课题,本发明的车外环境识别装置的计算机作为对象物确定部和壁面设定部而起作用,所述对象物确定部确定在本车辆的前方的检测区域中的对象物,所述壁面设定部设定壁面,所述壁面是位于对象物中的相对于本车辆在本车辆的行进方向上的相对距离最短的最近端,并且本车辆无法利用行驶方式避开的面。
另外,壁面可以是包含最近端且垂直于本车辆的行进方向的面,并且是将与连结本车辆的前方左端和对象物的右端的第一辅助线之间的交点作为右端,将与连结本车辆的前方右端和对象物的左端的第二辅助线之间的交点作为左端的面。
另外,壁面设定部可以利用亮度图像和距离图像来确定对象物的右端、对象物的左端及最近端的坐标,所述亮度图像是通过拍摄车外环境的拍摄装置而生成的图像,所述距离图像是从亮度图像生成并且与视差信息关联的图像。
另外,本发明的车外环境识别方法具有:对象物确定工序,确定在本车辆的前方的检测区域中的对象物;以及壁面设定工序,设定壁面,所述壁面是位于对象物中的相对于本车辆在本车辆的行进方向上的相对距离最短的最近端,并且本车辆无法利用行驶方式避开的面。
另外,壁面可以是包含最近端且垂直于本车辆的行进方向的面,并且是将与连结本车辆的前方左端和对象物的右端的第一辅助线之间的交点作为右端,将与连结本车辆的前方右端和对象物的左端的第二辅助线之间的交点作为左端的面。
另外,壁面设定工序可以具有:第一辅助线计算工序,算出连结本车辆的前方左端和对象物的右端的第一辅助线;第二辅助线计算工序,算出连结本车辆的前方右端和对象物的左端的第二辅助线;平面计算工序,算出包含最近端且垂直于本车辆的行进方向的平面;交点计算工序,算出第一辅助线和平面之间的第一交点、以及第二辅助线和平面之间的第二交点;以及壁面确定工序,将以第一交点为右端且以第二交点为左端的面确定为壁面。
另外,壁面设定工序可以具有利用亮度图像和距离图像来确定对象物的右端、对象物的左端及最近端的坐标的坐标确定工序,所述亮度图像是通过拍摄车外环境的拍摄装置而生成的图像,所述距离图像是从亮度图像生成并且与视差信息关联的图像。
发明效果
根据本发明,能够不依赖于前行车辆等对象物的姿态,而适当地设定用于避免与对象物碰撞的避免碰撞判断的信息。
附图说明
图1是表示车外环境识别系统的连接关系的框图。
图2是用于说明亮度图像和距离图像的说明图。
图3是表示车外环境识别装置的概要性的功能的功能框图。
图4是表示车外环境识别处理的流程的流程图。
图5是表示壁面设定处理的流程的流程图。
图6是用于说明壁面设定处理的本车辆及对象物的俯视图。
图7是对象物发生了变化的情况的概要图。
图8是对象物发生了变化的情况的概要图。
图9是对象物发生了变化的情况的概要图。
图10是对象物发生了变化的情况的概要图。
图11是用于说明车外环境识别装置的效果的说明图。
符号说明
1 本车辆
2 对象物
A 前方左端
B 前方右端
C 左端
D 右端
E 最近端
LAD、LBC 辅助线
SE 平面
PR、PL 交点
W 壁面
WR 右端
WL 左端
具体实施方式
以下,参照附图,对本发明的优选实施方式进行详细说明。该实施方式所示的尺寸、材料、其他具体数值等仅是为了容易理解发明的示例而已,除了特别说明的情况以外,不限定本发明。应予说明,在本说明书及附图中,对实质上具有同一功能、结构的要素标注同一符号,从而省略重复说明,另外,省略与本发明没有直接关系的要素的图示。
(车外环境识别系统100)
图1是表示车外环境识别系统100的连接关系的框图。车外环境识别系统100构成为包括:拍摄装置110、车外环境识别装置120、和车辆控制装置(ECU:Engine ControlUnit,发动机控制单元)130。
拍摄装置110构成为包括CCD(Charge-Coupled Device:电荷耦合器件)、CMOS(Complementary Metal-Oxide Semiconductor:互补金属氧化物半导体)等拍摄元件,能够拍摄本车辆1的前方的车外环境,并且生成至少包含亮度信息的亮度图像(彩色图像、单色图像)。另外,拍摄装置110在本车辆1的行进方向侧以两个拍摄装置110各自的光轴大致平行的方式沿大致水平方向分隔而配置。拍摄装置110以例如1/60秒每帧(60fps)连续地生成对存在于本车辆1的前方的检测区域的对象物进行拍摄而得的亮度图像。在此,由拍摄装置110识别的对象物不仅包括自行车、行人、车辆、信号灯、道路(行进路径)、道路标识、护栏、建筑物这样的独立存在的物体,还包括自行车的车轮等能够作为其一部分而确定的物体。
另外,车外环境识别装置120从两个拍摄装置110分别获取亮度图像,使用所谓的图案匹配而导出包含视差、以及表示任意的区块在画面内的位置的画面位置的视差信息,所谓的图案匹配是从一个亮度图像中检索与从另一个亮度图像任意提取的区块(例如,水平4个像素×垂直4个像素的阵列)对应的区块。在此,水平表示拍摄到的图像的画面横向,垂直表示拍摄到的图像的画面纵向。作为该图案匹配,考虑在一对图像之间,以任意的区块单位来比较亮度(Y)。例如,有获得亮度的差值的SAD(Sum of Absolute Difference:绝对差值求和)、使用差值的平方的SSD(Sum of Squared intensity Difference:差值平方的和)、获得从各像素的亮度中减去平均值而得的分散值的相似度的NCC(Normalized CrossCorrelation:归一化交叉相关)等方法。车外环境识别装置120针对映出在检测区域(例如,600个像素×200个像素)的所有的区块进行这样的区块单位的视差导出处理。在此,将区块设为4个像素×4个像素,但是区块内的像素数能够任意地设定。
其中,在车外环境识别装置120中,虽然能针对作为检测分辨率单位的每个区块导出视差,但是不能识别出该区块是什么样的对象物的一部分。因此,视差信息不是以对象物单位,而是以检测区域中的检测分辨率单位(例如,区块单位)而被独立地导出。在此,将与如此导出的视差信息关联的图像称为区别于上述亮度图像的距离图像。
图2是用于说明亮度图像126和距离图像128的说明图。例如,通过两个拍摄装置110,针对检测区域124生成图2的(a)那样的亮度图像126。但是,在此,为了容易理解,仅示意地表示两个亮度图像126中的一方。车外环境识别装置120根据这样的亮度图像126求出每个区块的视差,形成图2的(b)那样的距离图像128。距离图像128中的各区块与该区块的视差关联。在此,为了便于说明,以黑点表示导出了视差的区块。
另外,车外环境识别装置120利用基于亮度图像126的亮度值(颜色值)、以及实际空间中的三维位置信息,将颜色值相等且三维位置信息接近的区块分别作为对象物而进行分组,从而确定本车辆1前方的检测区域中的对象物是否与某种对象物(例如,前行车辆)对应,所述三维位置信息是基于距离图像128而算出,并包含与本车辆1之间的相对距离。应予说明,上述相对距离是通过利用所谓的立体法将距离图像128中的每个区块的视差信息转换为三维位置信息而求出的。在此,立体法是通过使用三角测量法,从而从对象物的视差导出该对象物相对于拍摄装置110的相对距离的方法。
另外,车外环境识别装置120在已确定的对象物的预定位置设定预定宽度的壁面,进行避免与设定的壁面碰撞的避免碰撞判断,根据不能够避免碰撞的意思的避免碰撞判断结果来进行用于避免与壁面碰撞的控制(具体而言,为制动控制),避免与对象物的碰撞。在此,设定的壁面是本车辆1无法利用行驶方式避开的面。行驶方式包括除了通过制动(brake)而使本车辆1停止的方式以外的所有的行驶的状态(例如,直线行驶、转弯)。即,避免与壁面碰撞的避免碰撞判断是能否不进行制动而避开该壁面的判断。
车辆控制装置130通过图1所示的方向盘132、油门踏板134、制动踏板136接受驾驶员的操作输入,并通过将其传递至转向机构142、驱动机构144、制动机构146,从而控制本车辆1。另外,为了避免与设定的壁面的碰撞,车辆控制装置130在车外环境识别装置120的指示下,控制制动机构146而实施紧急制动(AEB(Automatic Emergency Braking:自动紧急制动))。
(车外环境识别装置120)
图3是表示车外环境识别装置120的概要性的功能的功能框图。如图3所示,车外环境识别装置120构成为包含I/F部150、数据保持部152、中央控制部154。
I/F部150是用于进行与拍摄装置110和车辆控制装置130的双向信息交换的接口。数据保持部152由RAM、闪存、HDD等构成,并保持在以下所示的各功能部的处理中所需要的各种信息。
中央控制部154由包括中央处理装置(CPU)、存储有程序等的ROM、作为工作区的RAM等的半导体集成电路构成,并通过系统总线156,控制I/F部150、数据保持部152等。另外,在本实施方式中,中央控制部154作为对象物确定部160、壁面设定部162、碰撞判定部164、AEB控制部166而起作用。以下,针对本实施方式中作为特征的用于避免碰撞的车外环境识别处理,还基于该中央控制部154的各功能部的动作而进行详细说明。
(车外环境识别处理)
图4是表示车外环境识别处理的流程的流程图。在车外环境识别处理中,对象物确定部160进行确定检测区域中的对象物的对象物确定处理(对象物确定工序)(S200),壁面设定部162进行在对象物的预定位置设定预定宽度的壁面的壁面设定处理(壁面设定工序)(S202),碰撞判定部164进行碰撞判定处理(S204),所述碰撞判定处理判定本车辆1能否不进行制动而避开壁面。如果判定为本车辆1能够不进行制动而避开壁面(S204中的是),则该车外环境识别处理结束,如果判定为本车辆1如果不进行制动就不能避开壁面(S204中的否),则AEB控制部166进行使车辆控制装置130实施紧急制动的AEB处理(S206)。
(对象物确定处理S200)
对象物确定部如上所述地获得亮度图像126及距离图像128,利用亮度图像126及距离图像128来确定检测区域中的对象物(例如,有与本车辆1碰撞的可能性的前行车辆、人、自行车、房屋等建筑物等)。
(壁面设定处理S202)
图5是表示壁面设定处理S202的流程的流程图。图6是用于说明壁面设定处理S202的本车辆1及对象物2的俯视图。在图6中,对象物2是前行车辆,前行车辆以相对于本车辆1朝向右斜前方的姿态而存在。在此,存在前行车辆包括前行车辆停止的情况以及前行车辆正在行驶的情况。应予说明,以本车辆1为基准而将水平方向(车宽方向)设为X方向,将垂直方向设为Y方向,将进深方向(行进方向)设为Z方向。
壁面设定部162首先确定本车辆1的前方左端A、本车辆1的前方右端B、对象物2的左端C、对象物2的右端D及对象物2的最近端E在XZ平面中的坐标(坐标确定工序)(S300)。本车辆1的前方左端A及前方右端B的坐标是根据预先存储的本车辆1的车宽而确定的。
对象物2的左端C及右端D是从本车辆1目视确认到的对象物2的左端及右端(亮度图像126及距离图像128中的左端及右端),不是对象物2的绝对的端部,而是从本车辆1观察到的相对的端部。对于对象物2的左端C而言,从亮度图像126确定该左端C的位置,并根据距离图像128中的与该左端C对应的区块的视差信息确定该左端C相对于本车辆1在Z方向上的相对距离。另外,根据距离图像128中的与该左端C对应的区块的水平位置确定该左端C相对于本车辆1在X方向上的相对距离。由此,确定该左端C在实际空间中的坐标。同样地,对于对象物2的右端D而言,从亮度图像126确定该右端D的位置,并根据距离图像128中的与该右端D对应的区块的视差信息确定该右端D相对于本车辆1在Z方向上的相对距离。另外,根据距离图像128中的与该右端D对应的区块的水平位置确定该右端D相对于本车辆1在X方向上的相对距离。由此,确定该右端D在实际空间中的坐标。
对象物2的最近端E是对象物2中的、相对于本车辆1在Z方向上的相对距离最短的部分。在距离图像128中的本车辆1的车宽范围内的区域中,将对象物2的区块中的、根据视差信息算出的相对于本车辆1在Z方向上的相对距离最短的区块确定为对象物2的最近端E。根据已确定的区块的视差信息确定该最近端E相对于本车辆1在Z方向上的相对距离。根据已确定的区块的水平位置确定该最近端E相对于本车辆1在X方向上的相对距离。由此,确定该最近端E在实际空间中的坐标。
接着,壁面设定部162根据本车辆1的前方左端A的坐标、对象物2的右端D的坐标,算出连结本车辆1的前方左端A与对象物2的右端D而得的辅助线LAD(第一辅助线)(第一辅助线计算工序)(S302)。该辅助线LAD表示本车辆1为了避开对象物2而要使本车辆1向右移动多远(向右转弯?)。
接着,壁面设定部162根据本车辆1的前方右端B的坐标、对象物2的左端C的坐标,算出连结本车辆1的前方右端B与对象物2的左端C而得的辅助线LBC(第二辅助线)(第二辅助线计算工序)(S304)。该辅助线LBC表示本车辆1为了避开对象物2而要使本车辆1向左移动多远(向左转弯?)。
接着,壁面设定部162根据最近端E的坐标,算出包含最近端E且垂直于本车辆1的行进方向(Z方向)的平面SE(平面计算工序)(S306)。
接着,壁面设定部162根据辅助线LAD和平面SE,确定辅助线LAD与平面SE相交的交点PR(第一交点)的坐标,并且根据辅助线LBC和平面SE,确定辅助线LBC与平面SE相交的交点PL(第二交点)的坐标(交点计算工序)(S308)。
接着,壁面设定部162在交点PR与交点PL之间设定壁面W(壁面确定工序)(S310)。具体而言,壁面设定部162设定壁面W,所述壁面W以垂直于行进方向的姿态配置在最近端E的位置,并且将交点PR与交点PL之间的距离DRL作为壁宽。也就是说,交点PR为壁面W的右端WR,交点PL为壁面W的左端WL。应予说明,为了容易理解壁面W,在图6中以交叉阴影区域来表示壁面W,因此看起来壁面W具有Z方向的厚度。但是,实际上,壁面W是平面,作为没有Z方向的厚度进行处理。
接着,壁面设定部162判断是否针对所有的对象物2完成了壁面W的设定(S312)。其结果,如果针对所有的对象物2完成壁面W的设定(S312中的是),则壁面设定部162结束壁面设定处理S202。另一方面,如果没有针对所有的对象物2完成壁面W的设定(S312中的否),则壁面设定部162将尚未进行壁面W的设定的对象物2作为对象而重复壁面设定处理S202(S300)。
这样,壁面设定部162针对检测区域124内的所有的对象物2,设定预定位置(具体而言,为最近端E的位置)及宽度(具体而言,为距离DRL)的壁面W。
(碰撞判定处理S204)
碰撞判定部164针对在壁面设定处理S202中设定的所有的壁面W,判定本车辆1能否不进行制动而避开这些壁面W。具体而言,首先,碰撞判定部164判定本车辆1能否不进行制动而不与壁面W接触地通过比壁面W的右端WR更靠右侧的位置。接着,碰撞判定部164判定本车辆1能否不进行制动而不与壁面W接触地通过比壁面W的左端WL更靠左侧的位置。也就是说,判定本车辆1能否在之后向右或左转弯而避开壁面W。并且,在判定为不能通过比右端WR更靠右侧的位置,且判定为不能通过比左端WL更靠左侧的位置的情况下,碰撞判定部164判定为如果不进行制动就不能避开壁面W。对于判定能否通过比右端WR更靠右侧的位置以及判定能否通过比左端WL更靠左侧的位置的具体的计算而言,能够使用现有的碰撞判定技术。
(AEB处理S206)
如果做出若不进行制动就不能避开壁面W的意思的判定,则AEB控制部166将表示指示AEB工作的信号发送到车辆控制装置130。如果车辆控制装置130接收到表示指示AEB工作的信号,则控制制动机构146来实施紧急制动。由此,本车辆1在与壁面W碰撞之前停止,避免与壁面W(即,对象物2)的碰撞。
(对象物的变化)
图7~图10是对象物2发生了变化的情况的概要图。图7表示对象物2是行人的情况。图8表示对象物2是自行车的情况。图9表示与图6相比,对象物2相对于本车辆1位于远方的情况。图10表示对象物2是从右近前侧向左斜前方延伸的建筑物(例如,房屋的墙壁等)的情况。即使如图7~图10那样地对象物2发生了变化,壁面设定部162也利用与图6的对象物2为前行车辆的情况相同的设定方法来设定壁面W。
例如,在图10的情况下,壁面设定部162在对象物2的相对于本车辆1在Z方向上的相对距离最近的最近端E的位置设定相对于本车辆1向右侧移动了的壁面W。在该情况下,与本车辆1通过比壁面W的右端WR更靠右侧的位置而避开壁面W相比,本车辆1容易通过比壁面W的左端WL更靠左侧的位置而避开壁面W。因此,在能够通过比壁面W的左端WL更靠左侧的位置而避开壁面W时,不实施紧急制动。
另外,车外环境识别装置120时时刻刻重复进行车外环境识别处理。由此,设定于对象物2的壁面W的位置及宽度时时刻刻发生变化,并且每次都进行碰撞判定,确定是否实施紧急制动。例如,在从图10的状态使本车辆1向左转弯的情况下,对象物2的延伸方向相对于本车辆1的行进方向的倾斜角变小,壁面W相对于本车辆1进一步向右侧移动。并且,在本车辆1继续向左转弯,避开与对象物2的碰撞的情况下,在此期间不实施紧急制动。
(效果)
图11是用于说明车外环境识别装置120的效果的说明图。图11的(a)~图11的(c)表示相对于本实施方式的比较例,图11的(d)表示本实施方式。在图11中,对象物2是前行车辆,前行车辆以相对于本车辆1朝向右斜前方的姿态而存在。
在图11的(a)的例子中,在最近端E的位置设定壁面Wα,所述壁面Wα将对象物2的左端C与对象物2的右端D之间的距离DCD作为壁宽。在本车辆1想要在作为对象物2的前行车辆的右侧通过的情况下,因为在该右侧部分有壁面Wα,所以如果本车辆1靠近该右侧部分,则判定为不能避开壁面Wα,而实施紧急制动。因此,在该例子中,尽管本车辆1能够在对象物2的旁边安全地通过,也会导致过度地实施紧急制动。
在图11的(b)的例子中,在最近端E的位置设定有壁面Wβ,所述壁面Wβ将最近端E的区块的宽度作为壁宽。因为作为对象物2的前行车辆以向右斜前方倾斜的姿态而存在,所以最近端E是前行车辆的背面的一部分,壁面Wβ的宽度比本实施方式的壁面W窄。由此,本车辆1不能避开壁面Wβ的意思的判定在本车辆1不特别靠近壁面Wβ的情况下无法做出。因此,在该例子中,不易实施紧急制动,而有可能使避免与对象物2的碰撞变迟,或者不能避免碰撞。
在图11的(c)的例子中,在对象物2的左端C的位置设定有壁面Wγ,所述壁面Wγ将以垂直于行进方向的面切断对象物2时的切断面的宽度作为壁宽。因为作为对象物2的前行车辆以向右斜前方倾斜的姿态而存在,所以壁面Wγ位于比最近端E更靠前方的位置(即,位于比最近端E更远离本车辆1的位置)。因此,在该例子中,有可能本车辆1在避开壁面Wγ之前就与最近端E接触,或者本车辆1在利用紧急制动而停止之前就与最近端E接触。
相对于这些比较例(图11的(a)~图11的(c)),在本实施方式(图11的(d))中,设定壁面W,所述壁面W配置在最近端E的位置,并且将交点PR作为右端WR,将交点PL作为左端WL。因为右端WR位于辅助线LAD上,所以本车辆1如果能够在比壁面W的右端WR更靠右侧的位置通过,则能够不与对象物2的右端D接触而在对象物2的右侧通过。同样地,因为左端WL位于辅助线LBC上,所以本车辆1如果能够在比壁面W的左端WL更靠左侧的位置通过,则能够不与对象物2的左端C接触而在对象物2的左侧通过。
另外,在本实施方式中,在碰撞判定处理S204中,如果判定为不进行制动就不能避开壁面W,则利用AEB处理S206实施紧急制动。因为壁面W位于对象物2的最近端E的位置,所以本车辆1通过在到达壁面W之前利用紧急制动停止,从而能够在与对象物2接触之前停止。
另外,在本实施方式中,因为壁面W的右端WR在辅助线LAD上,所以本车辆1在能够在比壁面W的右端WR更靠右侧的位置通过的情况下,能够在对象物2的右侧通过,并且在不能在比壁面W的右端WR更靠右侧的位置通过情况下,不能在对象物2的右侧通过。同样地,因为壁面W的左端WL在辅助线LBC上,所以本车辆1在能够在比壁面W的左端WL更靠左侧的位置通过的情况下,能够在对象物2的左侧通过,并且在不能在比壁面W的左端WL更靠左侧的位置通过的情况下,不能在对象物2的左侧通过。因此,在本实施方式中,不会产生如下情况,即,尽管是本车辆1能够安全地通过对象物2的横侧的状态(碰撞的可能性非常低的状态)也过度地实施紧急制动。
因此,本实施方式的车外环境识别装置120能够不依赖于前行车辆等对象物的姿态,而适当地设定用于避免与该对象物碰撞的避免碰撞判断的信息(即,壁面W)。其结果是,能够减少碰撞判断结果与实际有无碰撞之间产生背离的情况,能够适当地实施紧急制动。
以上,参照附图对本发明的优选实施方式进行了说明,但是本发明不限于该实施方式。对于本领域技术人员而言,可知在专利权利要求的范围所记载的范畴内,能够想到各种变形例或修改例,当然可以知道这些都包含在本发明的技术范围内。
在上述实施方式中,壁面设定部162利用距离图像128确定对象物2的左端C、右端D及最近端E的坐标。但是,确定对象物2的左端C、右端D及最近端E的坐标的具体方式不限于此。例如,壁面设定部162也可以利用雷达来确定对象物2的左端C、右端D及最近端E的坐标。
在上述实施方式中,壁面设定部162依次求出辅助线LAD、辅助线LBC及平面SE,再求出交点PR及交点PL。但是,只要算出交点PR及交点PL即可,因此辅助线LAD、辅助线LBC及平面SE的计算顺序不限于此。
另外,还提供了使计算机作为车外环境识别装置120而起作用的程序、存储有该程序且能够被计算机读取的软盘、磁光盘、ROM、CD、DVD、BD等存储介质。在此,程序是指以任意的语言和/或描述方法来描述得到的数据处理手段。
应予说明,本说明书的车外环境识别处理的各工序不必须按照作为流程图记载的顺序以时间顺序来进行处理,也可以包含并列的处理或以子程序的方式进行的处理。
【工业上的利用可能性】
本发明能够用于根据车外环境来进行车辆的避免碰撞控制的车外环境识别装置及车外环境识别方法。
Claims (5)
1.一种车外环境识别装置,其特征在于,具备:
对象物确定部,其确定在本车辆的前方的检测区域中的对象物;以及
壁面设定部,其设定壁面,所述壁面是位于所述对象物中的相对于所述本车辆在所述本车辆的行进方向上的相对距离最短的最近端,并且所述本车辆无法利用行驶方式避开的面,
所述行驶方式包括除了通过制动而使本车辆停止的方式以外的所有的行驶的状态,
所述壁面是包含所述最近端且垂直于所述本车辆的行进方向的面,并且是将与连结所述本车辆的前方左端和所述对象物的右端的第一辅助线之间的交点作为右端,将与连结所述本车辆的前方右端和所述对象物的左端的第二辅助线之间的交点作为左端的面。
2.如权利要求1所述的车外环境识别装置,其特征在于,
所述壁面设定部利用亮度图像和距离图像来确定所述对象物的右端、所述对象物的左端及所述最近端的坐标,所述亮度图像是通过拍摄车外环境的拍摄装置而生成的图像,所述距离图像是从所述亮度图像生成并且与视差信息关联的图像。
3.一种车外环境识别方法,其特征在于,具有:
对象物确定工序,确定在本车辆的前方的检测区域中的对象物;以及
壁面设定工序,设定壁面,所述壁面是位于所述对象物中的相对于所述本车辆在所述本车辆的行进方向上的相对距离最短的最近端,并且所述本车辆无法利用行驶方式避开的面,
所述行驶方式包括除了通过制动而使本车辆停止的方式以外的所有的行驶的状态,
所述壁面是包含所述最近端且垂直于所述本车辆的行进方向的面,并且是将与连结所述本车辆的前方左端和所述对象物的右端的第一辅助线之间的交点作为右端,将与连结所述本车辆的前方右端和所述对象物的左端的第二辅助线之间的交点作为左端的面。
4.如权利要求3所述的车外环境识别方法,其特征在于,
所述壁面设定工序具有:
第一辅助线计算工序,算出连结所述本车辆的前方左端和所述对象物的右端的第一辅助线;
第二辅助线计算工序,算出连结所述本车辆的前方右端和所述对象物的左端的第二辅助线;
平面计算工序,算出包含所述最近端且垂直于所述本车辆的行进方向的平面;
交点计算工序,算出所述第一辅助线和所述平面之间的第一交点、以及所述第二辅助线和所述平面之间的第二交点;以及
壁面确定工序,将所述第一交点作为右端且所述第二交点作为左端的面确定为壁面。
5.如权利要求3或4所述的车外环境识别方法,其特征在于,
所述壁面设定工序具有利用亮度图像和距离图像来确定所述对象物的右端、所述对象物的左端及所述最近端的坐标的坐标确定工序,所述亮度图像是通过拍摄车外环境的拍摄装置而生成的图像,所述距离图像是从所述亮度图像生成并且与视差信息关联的图像。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017-114441 | 2017-06-09 | ||
JP2017114441A JP6564423B2 (ja) | 2017-06-09 | 2017-06-09 | 車外環境認識装置および車外環境認識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109017775A CN109017775A (zh) | 2018-12-18 |
CN109017775B true CN109017775B (zh) | 2022-10-18 |
Family
ID=64562406
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810460140.5A Active CN109017775B (zh) | 2017-06-09 | 2018-05-15 | 车外环境识别装置及车外环境识别方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10922835B2 (zh) |
JP (1) | JP6564423B2 (zh) |
CN (1) | CN109017775B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102018115334B3 (de) * | 2018-06-26 | 2019-05-09 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Verfahren zum Kalibrieren einer elektromagnetische Strahlung abstrahlenden Vorrichtung mittels einer Sensoreinheit |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007265451A (ja) * | 2007-07-17 | 2007-10-11 | Matsushita Electric Works Ltd | 車両用障害物検知装置 |
CN101622160A (zh) * | 2007-02-28 | 2010-01-06 | 丰田自动车株式会社 | 碰撞预测装置 |
KR20110094986A (ko) * | 2010-02-18 | 2011-08-24 | 김지현 | 차량에서의 벽 투과 레이더를 이용한 충돌 방지 시스템 및 방법 |
CN102789698A (zh) * | 2011-05-19 | 2012-11-21 | 富士重工业株式会社 | 环境识别装置以及环境识别方法 |
CN105683015A (zh) * | 2013-09-05 | 2016-06-15 | 罗伯特·博世有限公司 | 基于来自后雷达传感器的数据的增强车道偏离警告 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8381982B2 (en) * | 2005-12-03 | 2013-02-26 | Sky-Trax, Inc. | Method and apparatus for managing and controlling manned and automated utility vehicles |
US8050863B2 (en) * | 2006-03-16 | 2011-11-01 | Gray & Company, Inc. | Navigation and control system for autonomous vehicles |
JP4706711B2 (ja) * | 2008-03-25 | 2011-06-22 | パナソニック電工株式会社 | 駐車空間監視装置 |
JP5113656B2 (ja) | 2008-07-18 | 2013-01-09 | 本田技研工業株式会社 | 車両の走行安全装置 |
JP5798011B2 (ja) * | 2011-11-18 | 2015-10-21 | 富士重工業株式会社 | 車外環境認識装置 |
US10007998B2 (en) * | 2015-03-20 | 2018-06-26 | Ricoh Company, Ltd. | Image processor, apparatus, and control system for correction of stereo images |
JP6396838B2 (ja) * | 2015-03-31 | 2018-09-26 | 株式会社デンソー | 車両制御装置、及び車両制御方法 |
JP6535537B2 (ja) * | 2015-07-30 | 2019-06-26 | 株式会社Subaru | 車両の運転支援装置 |
KR102286174B1 (ko) * | 2015-09-01 | 2021-08-06 | 주식회사 만도 | 운전 지원 장치 및 운전 지원 방법 |
JP6747176B2 (ja) * | 2016-08-25 | 2020-08-26 | 株式会社リコー | 画像処理装置、撮影装置、プログラム、機器制御システム及び機器 |
-
2017
- 2017-06-09 JP JP2017114441A patent/JP6564423B2/ja active Active
-
2018
- 2018-04-30 US US15/967,085 patent/US10922835B2/en active Active
- 2018-05-15 CN CN201810460140.5A patent/CN109017775B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101622160A (zh) * | 2007-02-28 | 2010-01-06 | 丰田自动车株式会社 | 碰撞预测装置 |
JP2007265451A (ja) * | 2007-07-17 | 2007-10-11 | Matsushita Electric Works Ltd | 車両用障害物検知装置 |
KR20110094986A (ko) * | 2010-02-18 | 2011-08-24 | 김지현 | 차량에서의 벽 투과 레이더를 이용한 충돌 방지 시스템 및 방법 |
CN102789698A (zh) * | 2011-05-19 | 2012-11-21 | 富士重工业株式会社 | 环境识别装置以及环境识别方法 |
CN105683015A (zh) * | 2013-09-05 | 2016-06-15 | 罗伯特·博世有限公司 | 基于来自后雷达传感器的数据的增强车道偏离警告 |
Also Published As
Publication number | Publication date |
---|---|
US10922835B2 (en) | 2021-02-16 |
JP2018206305A (ja) | 2018-12-27 |
JP6564423B2 (ja) | 2019-08-21 |
CN109017775A (zh) | 2018-12-18 |
US20180357782A1 (en) | 2018-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3751455A2 (en) | Image fusion for autonomous vehicle operation | |
US8941738B2 (en) | Vehicle exterior monitoring device and vehicle exterior monitoring method | |
JP5890803B2 (ja) | 車両の運転支援制御装置 | |
JP6564424B2 (ja) | 車両制御装置 | |
WO2017171082A1 (ja) | 車両制御装置、車両制御方法 | |
JP2017037473A (ja) | 操舵支援装置 | |
JP6741646B2 (ja) | 車外環境認識装置 | |
JP6174644B2 (ja) | 画像処理装置 | |
JP2015069379A (ja) | 車外環境認識装置 | |
CN109017775B (zh) | 车外环境识别装置及车外环境识别方法 | |
JP7356319B2 (ja) | 車外環境認識装置 | |
JP2016191988A (ja) | 車外環境認識装置 | |
CN109308442B (zh) | 车外环境识别装置 | |
JP2019001298A (ja) | 衝突判定装置 | |
JP6660367B2 (ja) | 車外環境認識装置 | |
CN112606839A (zh) | 车外环境识别装置 | |
JP6378594B2 (ja) | 車外環境認識装置 | |
JP6254866B2 (ja) | 車両制御装置 | |
JP2018206314A (ja) | 車両制御装置 | |
CN110550028B (zh) | 车辆控制装置、车辆控制方法和存储介质 | |
KR20220111764A (ko) | 운전자 보조 시스템 및 그 제어 방법 | |
JP2004110346A (ja) | 車両用運転操作補助装置、車両用運転操作補助方法、およびその方法を適用した車両 | |
JP3120648B2 (ja) | 車両用環境認識装置 | |
JP2021086520A (ja) | 対象物検出装置、プログラムおよび運転支援システム | |
JP6970540B2 (ja) | 車外環境認識装置および車外環境認識方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |