CN102713988B - 车辆周围监测装置 - Google Patents
车辆周围监测装置 Download PDFInfo
- Publication number
- CN102713988B CN102713988B CN201080061317.6A CN201080061317A CN102713988B CN 102713988 B CN102713988 B CN 102713988B CN 201080061317 A CN201080061317 A CN 201080061317A CN 102713988 B CN102713988 B CN 102713988B
- Authority
- CN
- China
- Prior art keywords
- mentioned
- image
- image section
- vehicle
- magnification region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012806 monitoring device Methods 0.000 title claims abstract description 27
- 238000000605 extraction Methods 0.000 claims abstract description 25
- 239000000284 extract Substances 0.000 claims abstract description 5
- 238000001514 detection method Methods 0.000 claims description 27
- 230000003321 amplification Effects 0.000 claims description 22
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 22
- 230000003595 spectral effect Effects 0.000 claims description 8
- 230000002093 peripheral effect Effects 0.000 claims description 4
- 238000000034 method Methods 0.000 description 24
- 230000002146 bilateral effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 4
- 238000002203 pretreatment Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/103—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
- B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Abstract
本发明提供一种车辆周围监测装置，具有：对称图像部分抽出部（21），由其从利用摄像头拍到的拍摄图像中抽出位于在水平方向呈轴对称位置上的第1图像部分（A1）和第2图像部分（A2）；放大区域设定部（22），由其将包含有第1图像部分（A1）的区域设定为第1放大区域（B1）；放大搜索范围设定部（23），由其将比第1放大区域（B1）还大且包含有第2图像部分（A2）的范围设定为放大搜索范围（C）；被监测对象种类判定部（24），由其在放大搜索范围（C）内搜索与第1放大区域（B1）的镜像反射图像（B1m）的相关度在规定数值以上的第2放大区域（B2），搜索到第2放大区域（B2）时，将包含有第1图像部分（A1）和第2图像部分（A2）的图像判定为是对方车辆的图像。
Description
技术领域
本发明涉及一种车辆周围监测装置，所述车辆周围监测装置利用安装在该车辆上的摄像头拍到的拍摄图像监测车辆周围的被监测对象。
背景技术
在现有技术中，有人提出如下一种车辆周围监测装置，：其利用摄像头拍到的己方车辆周围的图像，监测有碰撞己方车辆的可能性的行人等被监视对象并告知驾驶员（参照专利文献1）。
对于专利文献1中记载的车辆周围监测装置，为了识别并抽出由红外线摄像头拍到的行人的图像部分和对方车辆的图像部分，与己方车辆距离相同的红外线量在规定数值以下且包含有位于对称位置的一对图像部分的图像区域，将该图像区域判定为对方车辆的图像区域。
专利文献1：日本发明专利公报特开第3839329号
采用上述专利文献1中记载的车辆周围监测装置时，为求出己方车辆和被监测对象之间的距离，需要具有由立体摄像头构成的结构或由雷达等构成的测距装置。另外，若出己方车辆和被监测对象之间的距离的检测误差较大，则存在对对方车辆的判定精度降低的问题。
发明内容
对此，本发明的目的在于提供如下一种车辆周围监测装置，即，其不利用己方车辆和被监测对象之间的距离信息，也能精准地监测出对方车辆的图像。
本发明的目的是能实现上述目的，本发明要提供的一种车辆周围监测装置利用车载摄像头拍到的拍摄图像来监测出己方车辆周围的被监测对象。
为了实现上述目的，本发明技术方案1所述的车辆周围监测装置具有：车灯图像部分抽出部，由其从上述拍摄图像中抽出包含有车辆车灯的特征量的第1图像部分；放大区域设定部，由其将包含有上述第1图像部分，并具有规定大小的区域设定为第1放大区域；被监测对象种类判定部，由其对上述第1放大区域是否在水平方向具有左右对称性进行判定，若具有该对称性，将包含有上述第1图像部分的图像判定为车辆。其中，所述左右对称性是指在水平方向以上述第1图像部分为中点，相对于该中点的对称。
一般情况下，车辆的车灯（前照灯、尾灯）的左右附近被设计成呈对称状态。因此，对于第1放大区域，由被监测对象种类监测部对该第1放大区域是否在水平方向具有左右对称性进行判定，这样能够精准地监测出被监测对象是否是车辆。其中，所述左右对称性是指在水平方向以上述第1图像部分为中点，相对于该中点的对称，上述第1放大区域包含有上述第1图像部分，该第1图像部分由上述车灯图像部分抽出部抽出且包含有车灯的特征量。
另外，本发明技术方案2所述的车辆周围监测装置具有：对称图像部分抽出部，由其从上述拍摄图像中抽出位于在水平方向呈轴对称位置上的第1图像部分和第2图像部分；放大区域设定部，由其将包含有上述第1图像部分，并具有规定大小的区域设定为第1放大区域；放大搜索范围设定部，由其将比上述第1放大区域还大且包含有上述第2图像部分的范围设定为放大搜索范围；被监测对象种类判定部，由其在上述放大搜索范围内搜索上述第1放大区域或与该第1放大区域的镜像反射图像的相关度在规定数值以上的第2放大区域，搜索到该第2放大区域时，将包含有上述第1图像部分和上述第2图像部分的图像判定为车辆。
采用本发明时，由被监测对象种类判定部对上述第1放大区域或与该第1放大区域的镜像反射图像的相关度在规定数值以上的第2放大区域进行搜索，看它们是否存在于上述放大搜索范围内，这样能将包含有上述第1图像部分和上述第2图像部分的图像判定为是否是对方车辆。这时，既能判断上述第1图像部分和上述第2图像部分的对称性，还能判断上述第1图像部分和上述第2图像部分的周围图像的状态（形状、大小、明暗度等）的相关度，若第1图像部分和上述第2图像部分为同一车辆的图像部分，则该相关度变大。因此，无需利用己方车辆和被监测对象之间的距离信息，也能够精准地监测出被监测对象是否是对方车辆。
另外，在上述技术方案2中，由上述放大区域设定部将上述第1放大区域设定在上述第1图像部分一侧的范围内，该范围以连接第1图像部分和上述第2图像部分的线和在该线的中点垂直相交的直线为界限，由上述放大搜索范围设定部将上述放大搜索范围在水平方向上的范围，设定成包含有从上述中点到上述第2图像部分的范围。
这里，对于一般车辆，从后方或前方观察它时，对于连接前照灯、后视镜、尾灯等一对部件之间的线和在该线的中点垂直相交的直线，大致呈轴对称状态。因此，由上述放大区域设定部将上述第1放大区域设定在上述第1图像部分一侧的范围内，该范围以连接上述第1图像部分和上述第2图像部分的线和在该线的中点垂直相交的直线为界限，而且由上述放大搜索范围设定部将上述放大搜索范围在水平方向上的范围，设定成包含有从上述中点到上述第2图像部分的范围。这样能高效地搜索上述第2放大区域。
另外，在上述技术方案2中，由上述放大区域设定部设定上述第1放大区域的条件是，对应的实际空间中的位置的从路面算起的高度在规定高度以上。
采用本发明时，能防止对方车辆的下部所具有的单个部件（消音器等）的图像只包含在上述第1周围区域或上述第2周围区域内，以防止上述相关度降低。
另外，在上述技术方案2中还具有特征部分搜索部，由其在上述第1图像部分和上述第2图像部分的周围区域内搜索具有车辆的规定 特征部分的第3图像部分，由上述被监测对象种类判定部判定为上述第1放大区域与上述第2放大区域的相关度在规定数值以上，且由上述特征部分搜索部搜索到上述第3图像部分时，将包含有上述第1图像部分和上述第2图像部分的图像判定为是对方车辆的图像。
采用本发明时，以存在上述第3图像部分作为条件，能由上述被监测对象种类判定部提高对对方车辆的判定精度。
另外，在上述技术方案1和上述技术方案2中上述车载摄像头为单个摄像头，并且所述车辆周围监测装置还具有距离求出部，该距离求出部根据不同时刻由上述单个摄像头拍到的拍摄图像之间的该被监测对象的图像的大小变化率，求出从己方车辆到被监测对象的距离。
采用本发明时，由上述距离求出部从利用单个摄像头拍到的拍摄图像中求出从己方车辆到被监测对象的距离，所以在该距离的精度可能会降低时，也能不利用该距离信息而由上述被监测对象种类判定部监测出对方车辆。
另外，在上述技术方案2中上述车载摄像头为单个摄像头，并且所述车辆周围监测装置还具有距离求出部，该距离求出部根据由上述单个摄像头拍到的拍摄图像中的上述第1图像部分和第2图像部分在水平方向上的间隔，求出从己方车辆到被监测对象的距离。
采用本发明时，上述第1图像部分和第2图像部分的间隔（车辆的左右前照灯或尾灯之间的间隔）对应于车辆的宽度（大约150cm～200cm）。而且离己方车辆的距离越远，上述第1图像部分和第2图像部分的间隔越短。因此，通过预先准备例如将车辆的宽度假定为170cm时的、拍摄图像中的车辆的图像在水平方向上的宽度和实际空间中的距离的对应关系数据，能由上述第1图像部分和第2图像部分的间隔求出到该车辆的距离。
另外，上述距离求出部根据不同时刻由上述单个摄像头拍到的拍摄图像之间的该被监测对象的图像的大小变化率，求出从己方车辆到被监测对象的距离，对于同一被监测对象的由上述距离求出部求出的、根据上述第1图像部分和第2图像部分在水平方向上的间隔而得的距离和根据该被监测对象的图像的大小变化率而得的距离之差在规定数值以上时，上述被监测对象种类判定部将该被监测对象判定为移动物体。
在本发明中，由于根据上述被监测对象的图像的大小变化率求出距离时，其前提为被监测对象处于静止状态，所以当被监测对象为像车辆般的移动物体时距离的求出误差变大。因此，对于同一被监测对象的由上述距离求出部求出的、根据上述第1图像部分和第2图像部分在水平方向上的间隔而得的距离和根据该被监测对象的图像的大小变化率而得的距离之差在规定数值以上时，能够由上述被监测对象种类判定部将该被监测对象判定为移动物体。
因此，像这样被监测对象被判定为是移动物体时，通过禁止根据该被监测对象的图像的大小变化率来求出距离，这样能避免使用误差较大的距离。另外，被监测对象是移动物体时，由于能确定为不是被视为静止物体的行人，所以例如能将该被监测对象排除在行人用碰撞判定对象以外。
附图说明
图1是表示本发明中车辆周围监测装置的结构图。
图2是说明将图1所示的车辆周围监测装置安装在车辆上的状态的图。
图3是表示由图1所示的图像处理单元进行的一系列处理的流程图。
图4是表示对称图像部分抽出处理的流程图。
图5是表示说明对称图像部分抽出处理的图。
图6是表示对称可靠性判定处理的流程图。
图7是说明对称可靠性判定处理的图。
图8是表示说明形状可靠性判定处理的图。
具体实施方式
下面参照图1～图8说明本发明的实施方式。如图1所示，本发明所述的车辆周围监测装置具有：红外线摄像头2，其能探测到远红外线；横向角速度传感器3，其用于检测出车辆的横向角速度；车速传感器4，其用于检测出车辆的行驶速度；制动传感器5，其用于检测出驾驶员对制动器的操作量；图像处理单元1，由其从红外线摄像头2拍到的图像中监测出车辆前方的被监测对象（行人等），当该被监测对象碰撞车辆的可能性较大时能发出警报；扬声器6，其通过声音发出警报；平视显示屏7(下面称为HUD7)，其既用于显示由红外线摄像头2拍到的图像，还用于显示产生碰撞的可能性较大的被监测对象以使驾驶员察觉到。
如图2所示，红外线摄像头2设置在车辆10的前部，其具有如下特性：被拍摄物体的温度越高，其输出的图像信号的强度越强（灰度越大）。另外，HUD7设置在车辆10的前挡风玻璃的驾驶员一侧的前方位置，能显示画面7a。
另外，图像处理单元1具有以下功能：由红外线摄像头2输出的模拟影像信号被其变换为数字数据而存储在图像存储器（未图示）中，其能对存储在该图像存储器中的车辆前方的图像进行各种运算处理。如图1所示，图像处理单元1具有：被监测对象抽出部20，由其从存储在图像存储器中的车辆前方的图像中抽出被监测对象的候选图像部分；对称图像部分抽出部21，由其从候选图像中抽出在水平方向上具有对称性的第1和第2图像部分；放大区域设定部22，由其设定包含有第1图像部分的第1放大区域。
还有，图像处理单元1还具有：放大搜索范围设定部23，由其设定包含有第2图像部分的放大搜索范围；被监测对象种类判定部24，由其在放大搜索范围内搜索与第1放大区域的镜像反射图像的相关度在规定数值以上的第2放大区域，以判断有无对称可靠性，并将具有对称可靠性的图像判定为是对方车辆；实际空间中位置求出部25，由其求出对应于图像的实际空间中的位置；碰撞判定部26，由其判定被 监测对象与车辆10（己方车辆）产生碰撞的可能性。
另外，图像处理单元1是由未图示的CPU或存储器等构成的电子单元，通过该CPU来运行车辆周围监测用程序，能使图像处理单元1发挥被监测对象抽出部20、对称图像部分抽出部21、放大区域设定部22、放大搜索范围设定部23、被监测对象种类判定部24、实际空间中位置求出部25、碰撞判定部26的功能。
下面参照图3所示的流程图来说明由图像处理单元1进行的被监测对象是对方车辆的判定处理。图像处理单元1进行以下工序来监测对方车辆，即，“前处理”（步骤STEP100～）→“对称图像部分抽出”（步骤STEP200～）→“对称可靠性判定”→“形状可靠性判定”。
“前处理”由被监测对象抽出部20来进行。被监测对象抽出部20输入来自红外线摄像头2的红外线影像信号（模拟信号），将其变换为数字式的谐调（灰度）数据的灰度图像后存储在图像存储器中。之后由图像处理单元1对灰度图像的各像素进行二值图像处理而获得二值图像，即，对于灰度在规定阈值以上的像素将其灰度处理为“1”（白），对于灰度小于该阈值的像素将其灰度处理为“0”（黑）。
接下来由图像处理单元1从二值图像中抽出被监测对象的特定的部位（例如行人的头部）的候选图像部分。具体地讲，求出二值图像中白的各区域的游程编码数据，将在水平方向上具有重叠部分的区域进行汇集并进行标注标签的贴标签处理，在贴有标签的区域中将具有预先设定的特征量（圆形等）的区域作为被监测对象的特定部位的候选图像部分而抽出。
这里，图5中（a）表示的是包含有对方车辆的图像30的二值图像Im，其中作为被监测对象的候选图像部分，抽出了对方车辆的前照灯部的图像部分31、32。下面将从图5中（a）的图像Im中监测对方车辆的情况作为例子进行说明。
根据图4所示的流程图，由对称图像部分抽出部21进行“对称图像部分抽出”工序。如图5中（b）所示，在图4的步骤STEP101中，由对称图像部分抽出部21将被监测对象的候选图像部分31设定 为具有水平方向dxP和垂直方向dyP的第1图像部分A1。
在接下来的步骤STEP102中，由对称图像部分抽出部21生成第1图像部分A1的镜像反射图像（相对于通过第1图像部分A1的中心的垂直线，左右翻转第1图像部分A1得的图像）A1m。在接下来的步骤STEP103中，由对称图像部分抽出部21在第1图像部分A1的右侧设定具有水平方向宽度dxA和垂直方向宽度dyA的右侧搜索范围ER，还在第1图像部分A1的左侧设定具有水平方向宽度dxA和垂直方向宽度dyA的左侧搜索范围EL。
之后在接下来的步骤STEP104中，由对称图像部分抽出部21在右侧搜索范围ER和左侧搜索范围EL内，搜索与镜像反射图像A1m的相关度在规定数值以上的（与A1m的相关度较大）第2图像部分。在图5中（a）的例子中，搜索到包含有对方车辆的左前照灯的图像部分32的第2图像部分A2。
像这样，搜索到第2图像部分A2时，由接下来的步骤STEP105进入步骤STEP106。由对称图像部分抽出部21判断为具有对称图像部分（第1图像部分A1和第2图像部分A2）并进入步骤STEP107。此时进行图3的“对称可靠性判定”。
另一方面，若未能搜索到第2图像部分A2，由步骤STEP105岔开到步骤STEP110，由对称图像部分抽出部21判断为没有对称图像部分并进入步骤STEP107。此时不进行图3的“对称可靠性判定”以后的处理。另外，若在步骤STEP100中抽出了其他被监测对象的候选图像部分，则再次对该候选图像部分进行步骤STEP200以后的处理。
根据图6所示的流程图，由放大区域设定部22、放大搜索范围设定部23、被监测对象种类判定部24进行“对称可靠性判定”工序。
在图6的步骤STEP301～STEP304中，由放大区域设定部22进行处理。如图5中（a）所示，在步骤STEP301中，由放大区域设定部22求出对方车辆的图像30的宽度car_w（由第1图像部分A1和第2图像部分A2之间的距离进行推定）和中心car_c。
在接下来的步骤STEP302中，由放大区域设定部22判断图像30 的宽度car_w和第1图像部分A1的水平方向宽度dxP之差或之比，是否在对普通车辆的车宽和前照灯宽度之差或之比进行估算而设定的规定范围内。若car_w和dxP之差或之比在规定范围外则岔开到步骤STEP320。
在步骤STEP320中，由被监测对象种类判定部24进行处理，被监测对象种类判定部24不对第1图像部分A1和第2图像部分A2之间的对称可靠性进行判断，而是将图像30判断为不是对方车辆的图像。此时不进行图3的步骤STEP400“形状可靠性判定”以后的处理。另外，若在步骤STEP100“前处理”中抽出了其他被监测对象的候选图像部分，则再次对该候选图像部分进行步骤STEP200以后的处理。
另一方面，在步骤STEP302中，若判断为图像30的宽度car_w和第1图像部分A1的水平方向宽度dxP之差或之比在规定范围内进入步骤STEP303。在步骤STEP303～步骤STEP304中，由放大区域设定部22进行处理。
如图7中（a）所示，在步骤STEP303中，由放大区域设定部22设定包含有第1图像部分A1的第1放大区域B1。例如由放大区域设定部22将第1放大区域B1设定成如下大小：以从第1图像部分A1的中心位置（xs，ys）偏离规定数值（xmg，ymg）的点（xp，yp）（=（xs-xmg，ys-ymg））为基准，水平方向宽度dxQ为car_w的1/2左右，垂直方向宽度dyQ为第1图像部分A1的高度dyP+2×ymg左右。另外，在步骤STEP304中，由放大区域设定部22设定第1放大区域B1的镜像反射图像B1m。
此时，如图7中（b）所示，第1放大区域B1设定在第1图像部分A1一侧，其范围以连接第1图像部分A1和第2图像部分A2的线50和在该线的中点Pc垂直相交的直线51为界限。
在接下来的步骤STEP305中，由放大搜索范围设定部23进行处理。如图7中（b）所示，由放大搜索范围设定部23设定基准点P2（xq，yq）（=(car_cx-car_w/4,yp-mgp），该基准点P2这样设定：在水平方向，其从连接第1图像部分A1和第2图像部分A2的线50 的中点Pc（car_cx，car_cy）偏离规定数值（car_w/4），在垂直方向，其从P1（xp，yp）偏离规定数值（mgp）。
接下来由放大搜索范围设定部23设定放大搜索范围C。放大搜索范围C设定成如下大小：水平方向宽度dxB为car_w左右，垂直方向宽度dyB为dyP+2×mgp左右。此时，放大搜索范围C在水平方向上的范围被设定成包含有从中点Pc到第2图像部分A2的范围。
在接下来的步骤STEP306～STEP308中，由被监测对象种类判定部24进行处理。在步骤STEP306中，由被监测对象种类判定部24在放大搜索范围C内搜索与第1放大区域B1的镜像反射图像B1m的相关度在规定数值以上的第2放大区域。之后如图7中（b）所示，当搜索到与镜像反射图像B1m的相关度在规定数值以上的第2放大区域B2时由接下来的步骤STEP307进入步骤STEP308。
此时，在直线51的左右两侧，由于确认到了在较大范围内具有对称性的第1放大区域B1和第2放大区域B2，由被监测对象种类判定部24判断为图像30具有对称可靠性并进入步骤STEP309，从而结束“对象可靠性判定”工序。之后进行图3的步骤STEP400“形状可靠性判定”处理。
另一方面，若未能在放大搜索范围C内搜索到第1放大区域B1的镜像反射图像B1m，由步骤STEP307岔开到步骤STEP320，由被监测对象种类判定部24判断为图像30没有对称可靠性、图像30不是对方车辆的图像。此时不进行图3的“形状可靠性判定”处理。另外，若在步骤STEP100中抽出了其他被监测对象的候选图像部分，则再次对该候选图像部分进行步骤STEP200以后的处理。
由被监测对象种类判定部24来处理图3的步骤STEP400的“形状可靠性判定”工序。如图8所示，由被监测对象种类判定部24来判断具有对称性的部分（左右前照灯的图像部分之间的范围）的上部或下部是否具有车辆特有的特征。
这里，作为车辆特有的特征，可以对以下内容进行判断其有无：立柱的倾斜边缘（图中F1）、车顶的水平边缘（图中F2）、排气管 的横宽形状（图中F3）、车胎具有同样大小的两个形状（图中F4、F5）。当判断为具有车辆特有的特征的部分时，由被监测对象种类判定部24判定为图像30是对方车辆的图像。
像这样，当判定为图像30是对方车辆的图像时，碰撞判定部26不进行与己方车辆产生碰撞的可能性。
另外，在本实施方式中，如图3所示，对于被监测对象的图像，在步骤STEP200、300中判断左右（水平方向）对称性，还在步骤STEP400中进行“形状可靠性判定”以提高对对方车辆的判定可靠性。但是即使不进行“形状可靠性判定”，也能获得本发明的效果。
还有，在本实施方式中，例示了从单个摄像头6拍到的拍摄图像中求出己方车辆和被监测对象之间的距离的距离求出部25，但也可以具有2台摄像头（立体摄像头），通过2台摄像头的视差来求出己方车辆和被监测对象之间的距离，也可以利用雷达等测距传感器来探测己方车辆和被监测对象之间的距离。
另外，在本实施方式中，例示了使用红外线摄像头2，但可见光摄像头也能适用于本发明。
还有，在本实施方式中，对与第1放大区域B1的镜像反射图像B1m的相关度在规定数值以上的第2放大区域B2进行了搜索，但也可根据对方车辆的形状和第1放大区域B1的设定状态，搜索与第1放大区域B1的相关度在规定数值以上的第2放大区域B2而不是镜像反射图像B1m。
另外，在本实施方式中，由对称图像部分抽出部21来抽出对称图像部分（第1图像部分和第2图像部分），但是也可以这样：设置用于抽出具有车灯的特征（圆形等）的第1图像部分A1的车灯图像部分抽出部，由放大区域设定部22来设定包含有第1图像部分A1的第1放大区域，由被监测对象种类判定部24来判定该第1放大区域是否在水平方向具有左右对称性。其中，所述左右对称性是指在水平方向以上述第1图像部分为中点，相对于该中点的对称。
此时，一般情况下，在作为第1图像部分而被抽出的车辆的前照 灯或尾灯的左右附近被设计成呈对称状态。因此，当所具有的车辆的第1放大区域相对于水平方向具有左右对称性时，能够精准地判定包含有第1图像部分的图像是车辆的图像。其中，该水平方向以上述第1图像部分为中点。
还有，也可以根据由红外线摄像头2拍到的拍摄图像中的第1图像部分A1和第2图像部分A2在水平方向上的间隔，由实际空间中位置求出部25来求出己方车辆和被监测对象之间的距离。此时，例如可预先在存储器中存储假设车辆的宽度为170cm并进行设定的、拍摄图像中车辆的图像的宽度（像素数）和从己方车辆10到该车辆的距离的对应地址数据，将第1图像部分和第2图像部分之间的间隔应用于该对应地址数据，以求出己方车辆和被监测对象之间的距离。
另外，也可以这样，由被监测对象种类判定部24进行如下判断：上述根据第1图像部分和第2图像部分之间的间隔所求出的己方车辆10和对方车辆的距离，和根据上述图像的大小变化率所求出的己方车辆10和对方车辆的距离之差是否在规定数值以上，若判断为在规定数值以上时将对方车辆判定为是移动物体。
【工业实用性】
如上所述，采用本发明所述的车辆周围监测装置时，由于其不利用己方车辆和被监测对象之间的距离信息，也能狗精准地监测出对方车辆的图像，因此该车辆周围监测装置能有效地应用于监测己方车辆的周围情况。
【附图标记说明】
1…图像处理单元，20…被监测对象抽出部，21…对称图像部分抽出部，22…放大区域设定部，23…放大搜索范围设定部，24…被监测对象种类判定部，A1…第1图像部分，A1m…第1图像部分的镜像反射图像，A2…第2图像部分，B1…第1放大区域，B2…第2放大区域，C…放大搜索范围
Claims (4)
1.一种车辆周围监测装置，其利用车载摄像头拍到的拍摄图像来监测己方车辆周围的被监测对象，其特征在于，所述车辆周围监测装置具有：
对称图像部分抽出部，由其从上述拍摄图像中，抽出位于在水平方向上呈轴对称位置上的第1图像部分和第2图像部分；
放大区域设定部，在对应的实际空间中的位置的从路面算起的高度在规定高度以上时，由该放大区域设定部将包含有上述第1图像部分并具有规定大小的区域设定为第1放大区域；
放大搜索范围设定部，由其将包含有上述第2图像部分且比上述第1放大区域还大的范围设定为放大搜索范围；
被监测对象种类判定部，由其在上述放大搜索范围内搜索与上述第1放大区域或该第1放大区域的镜像反射图像的相关度在规定数值以上的第2放大区域，搜索到该第2放大区域时，将包含有上述第1图像部分和上述第2图像部分的图像判定为车辆，
由上述放大区域设定部将上述第1放大区域设定在上述第1图像部分一侧的范围内，该范围以连接第1图像部分和上述第2图像部分的线和在该线的中点垂直相交的直线为界限，
由上述放大搜索范围设定部将上述放大搜索范围在水平方向上的范围，设定成包含有从上述中点到上述第2图像部分的范围。
2.根据权利要求1所述的车辆周围监测装置，其特征在于，
还具有特征部分搜索部，由其在上述第1图像部分和上述第2图像部分的周围区域内搜索具有车辆的规定特征部分的第3图像部分，
由上述被监测对象种类判定部判定为上述第1放大区域与上述第2放大区域的相关度在规定数值以上，且由上述特征部分搜索部搜索到上述第3图像部分时，将包含有上述第1图像部分和上述第2图像部分的图像判定是对方车辆的图像。
3.根据权利要求1所述的车辆周围监测装置，其特征在于，
上述车载摄像头为单个摄像头，并且所述车辆周围监测装置还具有距离求出部，该距离求出部根据不同时刻由上述单个摄像头拍到的拍摄图像之间的该被监测对象的图像的大小变化率，求出从己方车辆到被监测对象的距离。
4.一种车辆周围监测装置，其利用车载摄像头拍到的拍摄图像来监测己方车辆周围的被监测对象，其特征在于，所述车辆周围监测装置具有：
对称图像部分抽出部，由其从上述拍摄图像中，抽出位于在水平方向上呈轴对称位置上的第1图像部分和第2图像部分；
放大区域设定部，在对应的实际空间中的位置的从路面算起的高度在规定高度以上时，由该放大区域设定部将包含有上述第1图像部分并具有规定大小的区域设定为第1放大区域；
放大搜索范围设定部，由其将包含有上述第2图像部分且比上述第1放大区域还大的范围设定为放大搜索范围；
被监测对象种类判定部，由其在上述放大搜索范围内搜索与上述第1放大区域或该第1放大区域的镜像反射图像的相关度在规定数值以上的第2放大区域，搜索到该第2放大区域时，将包含有上述第1图像部分和上述第2图像部分的图像判定为车辆，
上述车载摄像头为单个摄像头，并且所述车辆周围监测装置还具有距离求出部，该距离求出部根据由上述单个摄像头拍到的拍摄图像中的上述第1图像部分和第2图像部分在水平方向上的间隔，求出从己方车辆到被监测对象的距离，
上述距离求出部根据不同时刻由上述单个摄像头拍到的拍摄图像之间的该被监测对象的图像的大小变化率，求出从己方车辆到被监测对象的距离，
对于同一被监测对象的由上述距离求出部求出的、根据上述第1图像部分和第2图像部分在水平方向上的间隔而得的距离和根据该被监测对象的图像的大小变化率而得的距离之差在规定数值以上时，上述被监测对象种类判定部将该被监测对象判定为移动物体。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010005905 | 2010-01-14 | ||
| JP2010-005905 | 2010-01-14 | ||
| PCT/JP2010/072647 WO2011086807A1 (ja) | 2010-01-14 | 2010-12-16 | 車両周辺監視装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102713988A CN102713988A (zh) | 2012-10-03 |
| CN102713988B true CN102713988B (zh) | 2015-02-25 |
Family
ID=44304098
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201080061317.6A Active CN102713988B (zh) | 2010-01-14 | 2010-12-16 | 车辆周围监测装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US8994824B2 (zh) |
| EP (1) | EP2482268A4 (zh) |
| JP (1) | JP5480917B2 (zh) |
| CN (1) | CN102713988B (zh) |
| WO (1) | WO2011086807A1 (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2711912A4 (en) * | 2011-09-28 | 2015-04-22 | Honda Motor Co Ltd | BIOMETRIC DEVICE |
| CN103310213B (zh) * | 2012-03-07 | 2016-05-25 | 株式会社理光 | 车辆检测方法和装置 |
| JP5774770B2 (ja) * | 2012-03-12 | 2015-09-09 | 本田技研工業株式会社 | 車両周辺監視装置 |
| KR102021152B1 (ko) * | 2013-05-07 | 2019-09-11 | 현대모비스 주식회사 | 원적외선 카메라 기반 야간 보행자 인식 방법 |
| JP5895955B2 (ja) * | 2014-02-07 | 2016-03-30 | トヨタ自動車株式会社 | 車線境界線検出装置 |
| JP6398675B2 (ja) * | 2014-12-09 | 2018-10-03 | 株式会社デンソー | 画像生成装置 |
| US11064226B2 (en) * | 2017-03-16 | 2021-07-13 | Echo-Sense, Inc. | System and method for concurrent data streams from a singular sensor with remotely selectable parameters |
| US10803299B2 (en) | 2017-03-16 | 2020-10-13 | Echo-Sense, Inc. | System to overcome the two-dimensional nature of the captured images when attempting to generate three-dimensional measurement data |
| CN107933461B (zh) * | 2017-11-17 | 2020-07-10 | 重庆长安汽车股份有限公司 | 基于单摄像头的车内识别融合装置及方法 |
| CN111886858B (zh) * | 2018-03-15 | 2022-06-21 | 株式会社小糸制作所 | 车辆用影像系统 |
| JP7073991B2 (ja) * | 2018-09-05 | 2022-05-24 | トヨタ自動車株式会社 | 車両用周辺表示装置 |
| EP3937066A1 (en) * | 2020-07-07 | 2022-01-12 | KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH | Peer vehicle center line determination system and method |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0778258A (ja) * | 1993-09-08 | 1995-03-20 | Sumitomo Electric Ind Ltd | 物体認識装置 |
| JP2002358595A (ja) * | 2001-06-01 | 2002-12-13 | Mitsubishi Electric Corp | 道路交通流計測装置および道路交通流計測方法 |
| JP2005092857A (ja) * | 2003-08-11 | 2005-04-07 | Hitachi Ltd | 画像処理システム及び車両制御システム |
| US7483549B2 (en) * | 2004-11-30 | 2009-01-27 | Honda Motor Co., Ltd. | Vehicle surroundings monitoring apparatus |
| CN101450647A (zh) * | 2008-12-29 | 2009-06-10 | 广东铁将军防盗设备有限公司 | 车辆避障告警方法 |
| JP2009230530A (ja) * | 2008-03-24 | 2009-10-08 | Honda Motor Co Ltd | 車両認識装置、車両、及び車両認識用プログラム |
| JP2009265882A (ja) * | 2008-04-24 | 2009-11-12 | Honda Motor Co Ltd | 車両周辺監視装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3081727B2 (ja) * | 1993-02-08 | 2000-08-28 | ダイハツ工業株式会社 | 距離検出方法 |
| JP2551324B2 (ja) * | 1993-05-27 | 1996-11-06 | 日本電気株式会社 | 移動車の環境認識方法および装置 |
| US5638116A (en) | 1993-09-08 | 1997-06-10 | Sumitomo Electric Industries, Ltd. | Object recognition apparatus and method |
| JP3839329B2 (ja) | 2002-02-04 | 2006-11-01 | 本田技研工業株式会社 | ナイトビジョンシステム |
| JP4094604B2 (ja) * | 2004-11-30 | 2008-06-04 | 本田技研工業株式会社 | 車両周辺監視装置 |
| JP2006285549A (ja) * | 2005-03-31 | 2006-10-19 | Matsushita Electric Ind Co Ltd | 画像処理式車両検出装置及び画像処理式車両検出方法 |
-
2010
- 2010-12-16 JP JP2011549886A patent/JP5480917B2/ja not_active Expired - Fee Related
- 2010-12-16 WO PCT/JP2010/072647 patent/WO2011086807A1/ja active Application Filing
- 2010-12-16 CN CN201080061317.6A patent/CN102713988B/zh active Active
- 2010-12-16 EP EP10843162.8A patent/EP2482268A4/en not_active Ceased
- 2010-12-16 US US13/515,618 patent/US8994824B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0778258A (ja) * | 1993-09-08 | 1995-03-20 | Sumitomo Electric Ind Ltd | 物体認識装置 |
| JP2002358595A (ja) * | 2001-06-01 | 2002-12-13 | Mitsubishi Electric Corp | 道路交通流計測装置および道路交通流計測方法 |
| JP2005092857A (ja) * | 2003-08-11 | 2005-04-07 | Hitachi Ltd | 画像処理システム及び車両制御システム |
| US7483549B2 (en) * | 2004-11-30 | 2009-01-27 | Honda Motor Co., Ltd. | Vehicle surroundings monitoring apparatus |
| JP2009230530A (ja) * | 2008-03-24 | 2009-10-08 | Honda Motor Co Ltd | 車両認識装置、車両、及び車両認識用プログラム |
| JP2009265882A (ja) * | 2008-04-24 | 2009-11-12 | Honda Motor Co Ltd | 車両周辺監視装置 |
| JP4486997B2 (ja) * | 2008-04-24 | 2010-06-23 | 本田技研工業株式会社 | 車両周辺監視装置 |
| CN101450647A (zh) * | 2008-12-29 | 2009-06-10 | 广东铁将军防盗设备有限公司 | 车辆避障告警方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20120300076A1 (en) | 2012-11-29 |
| EP2482268A1 (en) | 2012-08-01 |
| WO2011086807A1 (ja) | 2011-07-21 |
| JP5480917B2 (ja) | 2014-04-23 |
| CN102713988A (zh) | 2012-10-03 |
| JPWO2011086807A1 (ja) | 2013-05-16 |
| US8994824B2 (en) | 2015-03-31 |
| EP2482268A4 (en) | 2013-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102713988B (zh) | 车辆周围监测装置 | |
| US8988276B2 (en) | Vehicle surroundings monitoring device | |
| US8766816B2 (en) | System for monitoring the area around a vehicle | |
| JP5867273B2 (ja) | 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム | |
| US7436982B2 (en) | Vehicle surroundings monitoring apparatus | |
| US11648877B2 (en) | Method for detecting an object via a vehicular vision system | |
| US7366325B2 (en) | Moving object detection using low illumination depth capable computer vision | |
| US20070211919A1 (en) | Vehicle surroundings monitoring apparatus | |
| CN107953828B (zh) | 车辆的行人识别方法及车辆的行人识别系统 | |
| US20030137593A1 (en) | Infrared image-processing apparatus | |
| US20130235202A1 (en) | Vehicle periphery monitoring apparatus and method of determining type of object for use in vehicle periphery monitoring apparatus | |
| US20050276447A1 (en) | Vehicle surroundings monitoring apparatus | |
| US9965690B2 (en) | On-vehicle control device | |
| US10204279B2 (en) | Vehicle vision system with object detection | |
| US10380765B2 (en) | Vehicle vision system with camera calibration | |
| JP2007334511A (ja) | 対象物検出装置、車両、対象物検出方法、並びに対象物検出用プログラム | |
| JP4864953B2 (ja) | 車両周辺監視装置 | |
| JP4887537B2 (ja) | 車両周辺監視装置 | |
| JP3916930B2 (ja) | 進入警報装置 | |
| JP6429101B2 (ja) | 画像判定装置、画像処理装置、画像判定プログラム、画像判定方法、移動体 | |
| EP2851840B1 (en) | Vision system and vision method for a motor vehicle | |
| CN104192065A (zh) | 一种可辨监控对象的汽车四周监控装置 | |
| JP4871941B2 (ja) | 車両周辺監視装置 | |
| JP3939580B2 (ja) | 障害物警報装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210513 Address after: Sweden Wajiada Patentee after: Vennell Sweden Address before: Tokyo, Japan Patentee before: HONDA MOTOR Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220901 Address after: Linkping Patentee after: Anzher software Co. Address before: Sweden Wajiada Patentee before: Vennell Sweden |