CN109844762A - 车载用图像处理装置 - Google Patents

车载用图像处理装置 Download PDF

Info

Publication number
CN109844762A
CN109844762A CN201780064386.4A CN201780064386A CN109844762A CN 109844762 A CN109844762 A CN 109844762A CN 201780064386 A CN201780064386 A CN 201780064386A CN 109844762 A CN109844762 A CN 109844762A
Authority
CN
China
Prior art keywords
vehicle
characteristic quantity
dimension object
processing apparatus
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780064386.4A
Other languages
English (en)
Other versions
CN109844762B (zh
Inventor
绪方健人
清原将裕
福田大辅
内田吉孝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Publication of CN109844762A publication Critical patent/CN109844762A/zh
Application granted granted Critical
Publication of CN109844762B publication Critical patent/CN109844762B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/06—Automatic manoeuvring for parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

一种车载用图像处理装置(1000)，其获取自车(10)周围的图像，从图像中检测出存在于路面上的对象物的特征量及其相对于自车(10)的相对位置坐标，并且获取自车(10)周围的三维物体信息和该相对位置坐标，使用特征量与三维物体的位置关系信息对特征量是路面上的特征量还是三维物体上的特征量进行判别，使用路面上的特征来识别对象物。由此，能够提供一种车载用图像处理装置，其在使用摄像机图像对停车框等存在于路面上的对象物进行检测时，能够避免将三维物体的一部分误识别成对象物。

Description

车载用图像处理装置
技术领域
本发明涉及一种适合在实施辅助驾驶员的驾驶操作的车辆控制等时使用的车载用图像处理装置。
背景技术
为了能够高精度地对成为停车框的线的左右两端的候补的直线进行检测，并能够防止将无关的直线误检测成停车框的线的两端，高精度地对停车框进行检测，专利文献1中记载了一种停车框检测装置，其包括：拍摄单元，其对车辆后方进行拍摄；边缘提取单元，其从所拍摄的后方图像中提取边缘；图像转换单元，其将提取了边缘的图像转换为俯瞰图像；区域分割单元，其将转换后的俯瞰图像分割为左右区域；直线检测单元，其从分割后的左右区域通过霍夫转换按每个区域分别检测直线；第一判断单元，其判断所检测的直线是否为具有宽度的线的端；第二判断单元，其从判断为具有宽度的线的端的多个直线中按左右的每个区域制作两条直线的组合，判断该组合是否为具有宽度的线的两端。
现有技术文献
专利文献
专利文献1：日本特开2012-80497号公报。
发明内容
发明要解决的技术问题
近年来，正在进行一种使用摄像机对停车框进行检测且支持驾驶员的停车操作的系统的开发。例如，对自车周围的停车框进行检测且自动实施驾驶员的停车操作的一部分或全部的自主停车系统等正在被实用化。
在使用摄像机对停车框进行检测的情况下，使用因白线和路面的亮度差产生的边缘信息进行检测。此时，在停车框的白线附近有阴影的情况下，有时会将阴影导致的边缘误识别成停车框。作为这种误识别的对策，例如，上述的专利文献1中记载了一种技术，即，利用产生了两个亮度变化方向不同的边缘这一点，通过对存在于上升边缘附近的下降边缘进行检查，使白线的边缘不受阴影导致的边缘的影响。
但是，根据摄像机图像不能得到三维物体信息。因此，例如停车框附近的停车车辆的保险杠、侧梁或涂装等在图像上看起来与停车框的白线相同，进而，就边缘而言上升和下降的对也成立，有时将侧梁的边缘和白线配对而误识别成停车框。即，存在将三维物体的一部分误识别成停车框的问题。
本发明是鉴于上述问题而完成的，其目的在于提供一种在使用摄像机图像对停车框等存在于路面上的对象物进行检测时，能够避免将三维物体的一部分误识别成对象物的车载用图像处理装置。
用于解决问题的技术方案
为了解决上述问题，采用例根据权利要求书所记载的结构。
本发明包含多个解决上述问题的技术手段，举其一例，则如下：一种车载用图像处理装置，其对自车周围的对象物进行识别，其特征在于，包括：图像获取部，其获取由拍摄部拍摄的所述自车周围的图像；特征量提取部，其从由所述图像获取部获取的所述自车周围的图像中，提取对象物的特征量和假定所述特征量位于路面上的情况下的所述特征量相对于自车的坐标信息；三维物体信息存储部，其获取并存储所述自车周围的三维物体相对于自车的坐标信息；特征量判别部，其使用由所述特征量提取部检测出的所述特征量相对于自车的坐标信息与存储于所述三维物体信息存储部的所述三维物体相对于自车的坐标信息的位置关系，判别所述特征量是路面上的特征量还是三维物体上的特征量；和对象物识别部，其使用所述特征量判别部中被判别为路面上的特征量，来识别所述对象物。
发明效果
根据本发明，在使用摄像机图像对停车框等存在于路面上的对象物进行检测时，能够避免将三维物体的一部分误识别成对象物。通过如下实施方式的说明，上述以外的问题、结构及效果将会变得明了。
附图说明
图1是本发明的第一实施方式的车载用图像处理装置的框图。
图2是表示第一实施方式的图像获取部的处理的一例的图。
图3是表示第一实施方式的白线特征检测部的处理的流程图。
图4是表示第一实施方式的三维物体检测部的处理的流程图。
图5A是第一实施方式的三维物体检测部的处理的说明图。
图5B是第一实施方式的三维物体检测部的处理的说明图。
图6是表示第一实施方式的三维物体信息存储部的处理的流程图。
图7A是第一实施方式的三维物体信息存储部的处理的说明图。
图7B是第一实施方式的三维物体信息存储部的处理的说明图。
图7C是第一实施方式的三维物体信息存储部的处理的说明图。
图7D是第一实施方式的三维物体信息存储部的处理的说明图。
图8是表示第一实施方式的白线特征判别部的处理的流程图。
图9A是第一实施方式的白线特征判别部的处理的说明图。
图9B是第一实施方式的白线特征判别部的处理的说明图。
图9C是第一实施方式的白线特征判别部的处理的说明图。
图9D是第一实施方式的白线特征判别部的处理的说明图。
图9E是第一实施方式的白线特征判别部的处理的说明图。
图9F是第一实施方式的白线特征判别部的处理的说明图。
图10是表示第一实施方式的停车框识别部的处理的流程图。
图11A是第一实施方式的停车框识别部的处理的说明图。
图11B是第一实施方式的停车框识别部的处理的说明图。
图12是第一实施方式的第一变形例的框图。
图13是第一实施方式的第二变形例的框图。
图14是第一实施方式的第三变形例的框图。
图15是本发明的第二实施方式的车载用图像处理装置的框图。
图16是表示第二实施方式的白线特征判别部的处理的流程图。
图17A是第二实施方式的白线特征判别部的处理的说明图。
图17B是第二实施方式的白线特征判别部的处理的说明图。
图17C是第二实施方式的白线特征判别部的处理的说明图。
图17D是第二实施方式的白线特征判别部的处理的说明图。
图17E是第二实施方式的白线特征判别部的处理的说明图。
图18是本发明的第三实施方式的车载用图像处理装置的框图。
图19是表示第三实施方式的端点特征检测部的处理的流程图。
图20A是第三实施方式的端点特征检测部的处理的说明图。
图20B是第三实施方式的端点特征检测部的处理的说明图。
图21A是第三实施方式的端点特征判别部的处理的说明图。
图21B是第三实施方式的端点特征判别部的处理的说明图。
图21C是第三实施方式的端点特征判别部的处理的说明图。
图21D是第三实施方式的端点特征判别部的处理的说明图。
图22是表示第三实施方式的停车框识别部的处理的流程图。
图23是表示第三实施方式的停车框识别部的其它处理的一例的流程图。
图24是本发明的第四实施方式的车载用图像处理装置的框图。
图25是表示第四实施方式的路面涂料识别部的处理的流程图。
图26是本发明的第五实施方式的车载用图像处理装置的框图。
图27是表示第五实施方式的路缘石识别部的处理的流程图。
具体实施方式
下面，使用附图对基于来自摄像机等图像传感器的信息对停车框、路面涂料或路缘石等没有高度的对象物进行检测，且根据检测结果在实施辅助驾驶员的停车操作的车辆控制时优选使用的本发明的车载用图像处理装置的实施方式进行说明。
<第一实施方式>
下面，使用图1～图14对本发明的车载用图像处理装置的第一实施方式进行说明。图1是第一实施方式的车载用图像处理装置1000的框图。
车载用图像处理装置1000为安装在汽车所搭载的摄像装置内或集成控制器内等，用于从由摄像装置的摄像机1001～1004拍摄的图像内检测物体的装置。本实施方式的车载用图像处理装置1000以作为对象物检测自车10周围的停车框的方式构成。
车载用图像处理装置1000由具有CPU或存储器、I/O等的计算机构成。将规定的处理编程，以预先确定的周期T反复执行处理。
如图1所示，车载用图像处理装置1000包括图像获取部1011、白线特征检测部(特征量提取部)1021、三维物体检测部1031、三维物体信息获取部1041、车辆动作信息获取部1050、三维物体信息存储部1051、白线特征判别部(特征量判别部)1061、停车框识别部(对象物识别部)1071。
如图2所示，图像获取部1011通过安装于可拍摄自车10的周围的位置的摄像机(拍摄部)1001、1002、1003、1004，获取拍摄自车10的周围而得到的图像1011A、1012A、1013A、1014A。之后，通过对所获取的图像1011A、1012A、1013A、1014A进行几何转换及合成，生成从上空的假想视点俯视的俯瞰图像1015，并将其存储于RAM上。几何转换及合成的参数可根据车辆出厂时进行的校准来预先设定。此外，俯瞰图像1015为二维数组，以IMGSRC[x][y]表示。x、y分别表示图像的坐标。
白线特征检测部1021根据由图像获取部1011获取的俯瞰图像1015，对白线特征LC[n]进行检测。白线特征LC[n]具有以自车10的后轮的车轴的中心为原点的坐标(世界坐标)系中的白线特征相对于自车10的相对位置的坐标信息，且为以表为要素的一维数组。n表示检测出多个的情况下的ID。后述处理的详情。
三维物体检测部1031使用分别由摄像机1001、1002、1003、1004获取的图像1011A、1012A、1013A、1014A，对距自车10周围的三维物体的距离点组IPT[b]进行检测。距离点组IPT[b]为以具有距三维物体的距离坐标等信息的表为要素的一维数组，b表示检测出多个的情况下的ID。后述处理的详情。
三维物体信息获取部1041获取由设置于自车10的前方或后方、侧面的声纳1005检测出的存在于自车10的周围的三维物体信息作为距离点组SPT[c]。距离点组SPT[c]为以具有距三维物体的距离坐标的坐标等信息的表为要素的一维数组，c表示检测出多个的情况下的ID。
车辆动作信息获取部1050经由车内网络CAN等获取在搭载于自车10的EC或车载用图像处理装置1000内使用自车10的轮胎的脉冲等算出的车辆动作DRC。车辆动作DRC包含相对于世界坐标系的速度(VX、VY)及偏航率(YR)信息。
三维物体信息存储部1051使用由三维物体检测部1031检测出的距离点组IPT[b]、或由三维物体信息获取部1041获取的距离点组SPT[c]、由车辆动作信息获取部1050获取的车辆动作DRC，也包含之前的检测结果而作为三维物体点组OPT[d]进行统合、存储。后述处理的详情。
白线特征判别部1061使用由白线特征检测部1021得到的白线特征LC[n]、由三维物体信息存储部1051进行统合、存储的三维物体点组OPT[d]、世界坐标系中的摄像机的坐标位置信息即摄像机几何信息CLB，根据白线特征LC[n]对路面上的白线LN[m]进行判别。后述处理的详情。
停车框识别部1071使用白线特征判别部1061中被判别为路面上的白线LN[m]，来识别停车框。后述处理的详情。
对车载用图像处理装置1000外的自车10内的其它的控制单元等输出由停车框识别部1071识别的停车框信息，且在执行其它的控制单元的自动驾驶控制或自动停车控制、停车辅助控制等各控制时进行利用。
[白线特征检测部1021]
接下来，使用图3，对白线特征检测部1021的处理的内容进行说明。图3是表示白线特征检测部1021的处理的流程的流程图。
白线特征检测部1021可以针对俯瞰图像1015整体实施，也可以限定处理区域。在本实施方式中，基于变速位置点，在自车停车、前进的情况下，将俯瞰图像1015的上半部设定为处理区域，在自车后退的情况下，将下半部设定为处理区域。
首先，通过步骤S301，使俯瞰图像1015旋转90度。
接着，通过步骤S302，一边对处理区域内的各线从图像的左向右进行扫描，一边应用横向(原始图像中的纵向)的边缘过滤器。下面，对每条线实施步骤S303、步骤S304。
接着，通过步骤S303，对边缘过滤器的输出值为峰值的边缘点进行检测。就峰值而言，分别提取上升边缘(亮度从暗向明的变化点)Eu[nu]及下降边缘(亮度从明向暗的变化点)Ed[nd]。
路面上的白线的亮度值比路面高，因此，在白线的左侧存在上升边缘，在右侧存在下降边缘。为了捕获该特征，通过步骤S304，在步骤S303中检测出的上升边缘点Eu[nu]及下降边缘点Ed[nd]中从上升边缘到图像右侧的规定范围(预先定义的、检测的白线的最大粗度)内仅保留存在下降边缘的边缘对Ep[np]，将除此以外的单独边缘作为奇点进行删除。
对处理区域内的各线执行上述步骤S302～S304的处理。
接着，通过步骤S305，通过对步骤S304中提取的边缘对Ep[np]中呈直线状排列的边缘对进行分组，生成直线候补组Lg[ng]。通过该处理，去除非直线状的边缘对。通过使用公知的霍夫转换可以进行直线上排列的白线的分组。
接着，通过步骤S306，进行去除直线候补组Lg[ng]的线中规定长度以下的线的过滤处理。
而且，通过步骤S307，将其余的组的上升、下降边缘的上端、下端(分别设为起点、终点)的图像坐标、及根据俯瞰图像1015算出的世界坐标系中的相对于自车的相对位置的坐标信息作为白线候补LC[n]的要素进行存储。
此外，在此对通过步骤S301使图像旋转，且根据旋转后的图像实施步骤S302～S307的处理的情况进行了说明，但也能够实施使用不使俯瞰图像1015旋转而沿上下方向进行扫描，且对横向的边缘进行检测的滤器的处理。
[三维物体检测部1031]
接着，使用图4～图5B对三维物体检测部1031的处理的内容进行说明。图4是表示三维物体检测部1031的处理的流程的流程图。另外，图5A及图5B是三维物体检测部1031的处理的说明图。
三维物体检测部1031针对图像1011A、1012A、1013A、1014A中的任意一个以上的图像进行实施。即，可以仅针对一个图像进行实施，也可以针对全部图像进行实施。在本实施方式中，设为根据自车的变速位置点，针对行进方向的图像进行实施。
首先，通过步骤S401，根据处理对象的当前图像IMG＿C提取特征点FPT[f]。特征点FPT[f]的提取使用Harris角点等公知的方法。
接着，通过步骤S402，获取从拍摄提取了特征点FPT[f]的图像的摄像机获取的规定时刻前的之前图像IMG＿P。
接着，通过步骤S403，通过光流法算出当前图像IMG＿C上的各特征点FPT[f]的之前图像IMG＿P上的对应位置，获取各特征点的移动向量FPT＿VX[f]、FPT＿VY[f]。光流使用Lucas－Kanade法等公知的方法。
而且，通过步骤S404，使用特征点FPT[f]及移动向量FPT＿VX[f]、FPT＿VY[f]，算出各特征点FPT[f]的自车10周围的三维位置。算出方法使用公知的单元。
最后，通过步骤S405，将各特征点的三维位置转换为以车辆的后轮车轴中心为原点的坐标系(世界坐标系)，且作为距离点组IPT[b]进行存储。
如图5A及图5B所示，计算原理如下：利用因之前的自车位置和当前的自车位置发生变化而产生视差这一点，通过测量距离而进行。测量图像的特征点各自的距离，因此，如图5B所示，例如对停车车辆测量的结果作为具有世界坐标的多个点组而得到。
[三维物体信息存储部1051]
接下来，使用图6及图7A～图7D，对三维物体信息存储部1051的处理的内容进行说明。图6是表示三维物体信息存储部1051的处理的流程的流程图。另外，图7A～图7D是三维物体信息存储部1051的处理的说明图。
三维物体信息存储部1051将由三维物体检测部1031算出的距离点组IPT[b]、及由三维物体信息获取部1041获取的声纳的距离点组SPT[c]包含之前的值而进行存储。
在本实施方式中，三维物体信息存储部1051设为使用以某一位置为原点且不具有高度信息的二维地图EMP来对全部障碍物信息进行管理。三维物体信息存储部1051通过使用由车辆动作信息获取部1050获取的车辆动作DRC将逐次计算的距离点组IPT[b]及声纳距离点组SPT[c]的信息逐一粘贴于空白的二维地图而创建二维地图EMP[x][y]。在此，EMP为二维数组，x、y为根据某一分辨率划分的数组的坐标。
首先，通过步骤S601，获取上次处理后的二维地图EMP。
接着，通过步骤S602，从车辆动作信息获取部1050获取车辆动作DRC。
接着，通过步骤S603，获取由三维物体检测部1031算出的距离点组IPT[b]。
另外，通过步骤S604，获取由三维物体信息获取部1041获取的声纳的距离点组SPT[c]。
所获取的距离点组IPT[b]或距离点组SPT[c]具有相对于自车10的相对坐标信息，因此，通过步骤S605，使用车辆动作DRC，将摄像机得到的距离点组IPT[b]、声纳得到的距离点组SPT[c]分别映射到空白的地图上而创建二维地图EMP。
而且，通过步骤S606，去除映射到二维地图EMP上的全部三维物体点组OPT[d]中之前获取的点组信息，将地图上其余的点组设为三维物体点组OPT[d]。
在此，对二维地图的各网格设定确信度，通过判断为仅确信度为规定的阈值以上的网格存在障碍物，能够去除传感结果的噪声。
例如，在三维物体信息存储部1051中，能够通过步骤S605，在相同的网格中同时检测出之前的信息或多个传感结果的情况下使该确信提高，通过步骤S606，将全确信度减少规定值。由此，传感结果重复的网格的确信度上升，未反复得到传感结果的网格的确信度逐渐下降，去除旧的信息。
图7A～图7D表示处理的一例。如果设为t时刻得到的距离点组IPT[b]及SPT[c]为图7A、t－1时刻得到的距离点组IPT[b]及SPT[c]为图7B、t－2时刻得到的距离点组IPT[b]及SPT[c]为图7C，则在此分别使用t时刻、t－1时刻、t－2时刻的车辆动作DRC进行统合的结果即三维物体点组OPT[d]的例子为图7D所示的结果。
[白线特征判别部1061]
接下来，使用图8及图9A～图9F，对白线特征判别部1061的处理的内容进行说明。图8是表示白线特征判别部1061的处理的流程的流程图。另外，图9A～图9F是白线特征判别部1061的处理的说明图。
白线特征判别部1061使用由白线特征检测部1021得到的白线特征LC[n]、由三维物体信息存储部1051得到的三维物体信息OPT[d]及摄像机设置位置信息CLB，对白线特征LC[n]是路面上的白线LN[m]还是三维物体上的物体即相邻停车车辆的保险杠、侧梁或涂装等进行判别。
首先，通过步骤S801，获取三维物体信息OPT[d]。
接着，通过步骤S802，获取摄像机设置位置信息CLB。
接着，通过步骤S803，获取白线特征LC[n]。
而且，通过步骤S804，关于n＝1至N的全白线特征LC[n]，对n＝1至N进行一下步骤S805至步骤S807的处理。
首先，通过步骤S805，根据白线特征LC[n]的起点坐标、终点坐标、摄像机设置位置坐标这三点算出不考虑高度的二维坐标中的三角区域D。
接着，通过步骤S806，对三角区域D内是否存在三维物体信息OPT[d]进行判断。在判断为不存在的情况下使处理进入步骤S807，注册白线特征LC[n]作为白线LN[m]。与此相对，在判断为存在时以白线特征LC[n]不为白线LN[m]进入对下一白线特征LC[n]的判断处理。
使用图9A～图9F对步骤S805－步骤S807的处理的例子进行说明。在此，对三个白线特征LC[n]进行说明。图9A是根据俯瞰图像1015对白线特征LC[n]进行检测的结果。图9B是三维物体信息OPT[d]，图9C是将三维物体信息OPT[d]和白线特征LC[n]进行重叠图示的结果。图9D、图9E、图9F是将确认各三角区域D和白线特征LC[n]的重复的情形进行图示的图。
使用图9A所示的检测白线特征LC[n]及白线特征LC[n]的摄像机的设置位置CLB、和图9B所示的三维物体信息OPT[d]的检测结果，如图9C所示，将三维物体信息OPT[d]和白线特征LC[n]进行重叠。在该图9C中生成图9D、图9E、图9F所示的三个三角区域D，对各三角区域D的内侧是否存在三维物体信息OPT[d]进行判断。
在该例中，在图9F中生成的三角区域D内包含有三维物体信息，因此，去除图9F所示的白线特征LC[n]，注册图9D及图9E所示的其余两个白线特征LC[n]作为白线LN[m]。
[停车框识别部1071]
接下来，使用图10对停车框识别部1071的处理的内容进行说明。图10是表示停车框识别部1071的处理的流程的流程图。
在停车框识别部1071中，将注册的白线LN[m]进行组合，并对自车10可停放的停车框进行探索、识别。
首先，通过步骤S1001，从白线LN[m]中选择两条线LN[mL]、LN[mR]。
接着，在步骤S1002中，对步骤S1001中选择的两条白线LN[mL]、LN[mR]的延伸方向的角度差θ是否在规定值(Thθmax)以下进行判断。即，在步骤S1002中，对两条白线是否大致平行进行判断。在判断为在规定值以下时使处理进入步骤S1003，在判断为大于规定值时作为不是所选择的两条白线LN[mL]、LN[mR]构成停车框的白线的组合，使处理进入步骤S1006。
如果步骤S1002判断为肯定，则进入步骤S1003，对两条白线LN[mL]、LN[mR]的间隔W是否在规定的范围内(ThWmin以上且ThWmax以下)进行判断。即，在步骤S1003中，对两条白线是否按照作为构成停车框的两条白线而考虑的间隔排列进行判断。在判断为在规定范围内时使处理进入步骤S1004，在判断为在规定范围外时使处理进入步骤S1006。
如果步骤S1003判断为肯定，则进入步骤S1004，对两条白线的下端的偏移ΔB是否在规定的范围内(ThBmin以上且ThBmax以下)进行判断。在此，参照图11A及图11B对本步骤S1004中判断的两条白线的下端的偏移进行说明。
如图11A所示，设置停车框23以与停车场的用地的自车10的移动方向(图11A中的上下方向及左右方向)平行或成直角地停放自车10，在以与该停车框23对应的方式描绘停车框线23L的情况下，在下端侧无偏移。
但是，如图11B所示，根据停车场设置停车框23以与自车10的移动方向(图11B中的上下方向及左右方向)不平行或不成直角而倾斜地停放自车10，有时以与该停车框23对应的方式描绘停车框线23L。在该情况下，如距离B所示，构成停车框23的停车框线23L的下端位置偏移。其原因在于，为了使图11B右侧的停车框线23L不达到自车10行驶的区域，错开停车框线23L的下端位置。
例如，在高速公路的服务区或停车区，可以确定从图11B的左侧的停车框线23L的下端开始在停车框线23L的延伸方向上垂直的线段、和连结停车框线23L的下端彼此的线段的交叉角度ρ为0度、30度、45度中的任一者。另外，关于停车框23的宽度W也确定可取的值的范围。因此，在本实施方式中，在上述交叉角度θ为0度、30度、45度中的任一值时可取的距离B的值被预先存储于存储器(省略图示)等。
在步骤S1004中，使用根据所选择的LN[mL]、LN[mR]算出的距离B进行比较，通过对其差是否在上述的规定的范围内(ThBmin以上且ThBmax以下)进行判断，对两条白线是否为构成一个停车框23的白线(停车框线23L)进行判断。在判断为在规定范围内时使处理进入步骤S1005，在判断为在规定范围外时使处理进入步骤S1006。
如果步骤S1004判断为肯定，则进入步骤S1005，注册由两条白线LN[mL]、LN[mR]构成的矩形的停车框23的四角的坐标作为关于一个停车框23的位置信息PS[k]。
如果执行步骤S1005，则进入步骤S1006，关于基于从白线特征判别部1061输出的信息的全部白线(停车框线)，对是否进行了关于任意两条白线的上述的处理进行确认。如果步骤S1006判断为肯定，则输出通过上述的处理得到的结果，并结束停车框识别部1071的处理。如果步骤S1006判断为否定，则返回步骤S1001的处理，将全部白线LN[m]进行组合而执行上述的处理。
接下来，对本实施方式的效果进行说明。
如以上说明的那样，在使用摄像机图像对白线进行检测时，如果根据摄像机图像，则其特征存在于三维物体上还是存在于路面上并没有区别。因此，如果假定为全部特征存在于路面上而对世界坐标进行测量，则测量到存在于三维物体上的特征比实际远。因此，在上述的本发明的第一实施方式的车载用图像处理装置1000中，对停车框的白线特征进行检测，对由根据白线特征得到的起点、终点和摄像机设置位置构成的三角形进行将获取的三维物体的信息进行重叠的处理，判断对象物的特征量为三维物体上的特征量还是路面上的特征量，使用路面上的特征量来识别对象物。
通过该处理，在为存在于三维物体上的白线特征的情况下，三维物体的信息进入该三角形的内侧。与之相反，如果为路面上的特征，则三维物体不会进入三角形的内侧。通过使用该特征，能够仅对白线特征中存在于路面上的白线特征进行判别，能够对停车框进行识别。由此，在辅助停车操作的系统中，能够避免将三维物体的一部分误识别成停车框的不良问题，能够防止因目标停车位置被误识别成三维物体的一部分使得在停车入位时朝向三维物体行驶从而发生碰撞等的问题。
[第一实施方式的三维物体获取部的变形例]
下面，对第一实施方式的三维物体信息的获取的多个变形例进行说明。
首先，图12是本实施方式的第一变形例的车载用图像处理装置1100的框图。图12所示的车载用图像处理装置1100为相对于图1所示的车载用图像处理装置1000没有三维物体检测部1031的例子。在该情况下，三维物体信息存储部1051仅根据从三维物体信息获取部1041取得的结果进行处理。即，没有实施图6的步骤S603。其它的结构、处理与第一实施方式内的各部的结构、处理同样。
接着，图13是本实施方式的第二变形例的车载用图像处理装置1200的框图。图13所示的车载用图像处理装置1200为相对于图1所示的车载用图像处理装置1000没有三维物体信息获取部1041的例子。在该情况下，三维物体信息存储部1051仅根据从三维物体检测部1031得到的结果进行处理。即，没有实施图6的步骤S604。其它的结构、处理与第一实施方式内的各部的结构、处理同样。
而且，图14是本实施方式的第三变形例的车载用图像处理装置1300的框图。图14所示的车载用图像处理装置1300为相对于图1所示的车载用图像处理装置1000安装有LiDAR(Light Detection andRanging或Laser Imaging Detection and Ranging，激光扫描测距或激光成像探测)1006且三维物体信息获取部1041获取LiDAR1006信息的例子。LiDAR是指，对于呈脉冲状发光的激光照射测定散射光，分析距远距离的对象的距离或该对象的性质的装置。只要为LiDAR1006就能够对三维物体进行检测，因此，无需三维物体检测部1031。其它的结构、处理与图12所示的第一实施方式的变形例1的结构、处理同样。
<第二实施方式>
使用图15～图17E对本发明的第二实施方式的车载用图像处理装置进行说明。图15是表示第二实施方式的车载用图像处理装置2000的结构的框图。
此外，在以下说明中，仅详述与上述第一实施方式的车载用图像处理装置1000不同的部位，对同样的部位标注相同的标号而省略其详细说明。以下的实施方式也同样。
如图15所示，与第一实施方式的车载用图像处理装置1000相比，本实施方式的车载用图像处理装置2000的特征在于，包括白线特征判别部(特征量判别部)2061而代替白线特征判别部1061。
车载用图像处理装置2000为安装在汽车所搭载的摄像装置内或集成控制器内等，用于从由摄像机1001～1004拍摄的图像内检测物体的装置。本实施方式的车载用图像处理装置2000以作为对象物检测停车框的方式构成。
车载用图像处理装置2000由具有CPU或存储器、I/O等的计算机构成。规定的处理被编程，以预先确定的周期反复执行处理。
[白线特征判别部2061]
使用图16及图17A～图17E，对白线特征判别部2061的处理的内容进行说明。图16是表示白线特征判别部2061的处理的流程的流程图。另外，图17A～图17E是白线特征判别部2061的处理的说明图。
白线特征判别部2061不使用摄像机设置位置信息CLB而使用由白线特征检测部1021得到的白线特征LC[n]、由三维物体信息存储部1051得到的三维物体信息OPT[d]，对白线特征LC[n]是否为路面上的白线LN[m]进行判别。
首先，通过步骤S1601，获取三维物体信息OPT[d]。
接着，通过步骤S1602，对三维物体信息OPT[d]的点组进行规定大小的矩形拟合，将拟合率为规定值以上的矩形作为近似矩形RCT[f]进行存储。对点组的矩形近似的方法存在公知的技术，因此，在此省略详细的说明。规定的大小例如使用自车的尺寸。
接着，通过步骤S1603，获取白线特征LC[n]。
而且，通过步骤S1604，关于n＝1至N的全白线特征LC[n]，对n＝1至N进行以下步骤S1605及步骤S1606的处理。
首先，通过步骤S1605，判断白线特征LC[n]的一部分是否包含在任一矩形RCT[f]的内侧。在不存在于内侧且不重复的情况下使处理进入步骤S1606，注册白线特征LC[n]作为白线LN[m]。与此相对，在判断为即使一部分存在于矩形RCT[f]的内侧且重复时以白线特征LC[n]不为白线LN[m]，进入对下一白线特征LC[n]的处理。
使用图17A～图17F对本步骤S1605－步骤S1606的处理的例子进行说明。在此，对三个白线特征LC[n]进行说明。图17A是根据俯瞰图像对白线特征LC[n]进行检测的结果。图17B是将三维物体信息OPT[d]及近似矩形RCT[f]进行图示的结果。图17C、图17D、图17E是表示确认各近似矩形RCT[f]和白线特征LC[n]的重复的情形的图。
针对图17A所示的白线特征LC[n]将图17B所示的近似矩形RCT[f]进行重叠，判断白线特征LC[n]的一部分是否也包含在近似矩形RCT[f]的内侧。
在该例中，因为图17E的白线特征LC[n]包含在矩形内而将其去除，注册图17C及图17D所示的其余两个白线特征LC[n]作为白线LN[m]。
其它的结构、动作为与上述的第一实施方式的车载用图像处理装置1000大致相同的结构、动作，省略详情。
如以上说明的那样，在停车场内的停车框识别中，其周围的障碍物为停车车辆的可能性高。因此，在第二实施方式的车载用图像处理装置2000中，使三维物体信息与相当于车辆的尺寸的矩形例如自车尺寸的矩形拟合。通过该处理，能够预测传感范围外的障碍物的位置，使用该近似矩形，能够判断白线特征是三维物体上的特征还是路面上的特征，因此，可得到与上述的第一实施方式的车载用图像处理装置1000大致同样的效果。
<第三实施方式>
使用图18～图23对本发明的第三实施方式的车载用图像处理装置进行说明。图18是表示第三实施方式的车载用图像处理装置3000的结构的框图。
如图18所示，本实施方式的车载用图像处理装置3000具有端点特征检测部(特征量提取部)3021、端点特征判别部(特征量判别部)3061、停车框识别部(对象物识别部)3071而代替第一实施方式的车载用图像处理装置1000的白线特征检测的结构。
车载用图像处理装置3000为安装在汽车所搭载的摄像装置内或集成控制器内等，用于从由摄像机1001～1004拍摄的图像内检测对物体的装置，本实施方式的车载用图像处理装置3000以作为对象物检测停车框的方式构成。
车载用图像处理装置3000由具有CPU或存储器、I/O等的计算机构成。规定的处理被编程，以预先确定的周期反复执行处理。
[端点特征检测部3021]
使用图19～图20B对端点特征检测部3021的处理的内容进行说明。图19是表示端点特征检测部3021的处理的流程的流程图。另外，图20A及图20B是端点特征检测部3021的处理的说明图。
端点特征检测部3021从由图像获取部1011获取的当前图像IMG＿C中对端点进行检测，进行使用其组合对端点特征PC[n]进行检测的处理。
首先，通过步骤S1901，获取由图像获取部1011获取的俯瞰图像1015。
接着，通过步骤S1902，对特征点LPT[g]进行检测。在本实施例中，设为对Harris特征点进行检测。图20A的(1)或图20B的(1)表示对特征点LPT[g]进行检测的例子。
接着，通过步骤S1903，获取特征点LPT[g]的周围图案。在端点特征检测部3021中，针对每个特征点，根据以特征点为中心的宽度及高度为规定像素的图像获取局部图案LPTN[g]。所获取的图案可以为图像本身，也可以为二值化后的信息、或还存储有边缘的上升角度、下降角度的图案。将所获取的周围图案的例子示于图20A的(2)。
接着，通过步骤S1904及步骤S1095，关于检测出的特征点LPT[g]，以g1＝1……G、g2＝g1+1……G反复进行运算，关于LPT[g1]和LPT[g2]的全部组合，进行以下步骤S1906至步骤S1908的处理。
首先，通过步骤S1906，对局部图案LPTN[g1]和LPTN[g2]是否为特定的图案形状进行判断。特定图案为规定了想检测的停车框的角的图案，例如为像图20A的(3)或图20B的(2)那样的图案形状。
将根据图20A的(1)或图20B的(1)分别进行判断而仅保留特定图案的LPT[g]的结果分别示于图20A的(4)或图20B的(3)。在此，在局部图案LPTN[g1]和LPTN[g2]符合条件的情况下进入步骤S1907，在不符合的情况下不进行以后的处理而对g1、g2加1继续循环处理。
接着，通过步骤S1907，对局部图案LPTN[g1]和LPTN[g2]的对称性进行比较。比较例如以将所选择的两点与连结线段正交的垂线为对称轴，生成使局部图案LPTN[g2]反转后的图案LPTN'[g2]，通过算出LPTN[g1]和LPTN'[g2]的一致度而进行。图20A的(5)或图20B的(4)中示出了算出的例子。而且，对局部图案LPTN[g1]和LPTN[g2]的一致度是否为规定的阈值以上进行判断，在为阈值以上的情况下进入步骤S1908，在不符合的情况下不进行以后的处理而对g1、g2加1继续循环处理。
接着，通过步骤S1908，注册由LPT[g1]和LPT[g2]构成的线段作为端点特征PC[n]。图20A的(6)或图20B的(5)为上述处理的结果即注册的线段PC[n]的例子。
[端点特征判别部3061]
接着，使用图21A～图21D对端点特征判别部3061的处理的内容进行说明。图21A～图21D是端点特征判别部3061的处理的说明图。
端点特征判别部3061使用由端点特征检测部3021得到的端点特征PC[n]、由三维物体信息存储部1051得到的三维物体信息OPT[d]及摄像机设置位置信息CLB，判别端点特征PC[n]是否为路面上的端点线段PN[m]。
除在图8所说明的白线特征判别部1061的处理中输入从白线特征LC[n]变为端点特征PC[n]，输出从白线LN[m]变为端点线段PN[m]之外，该端点特征判别部3061的处理的流程相同，因此，省略说明。
使用图21A～图21D对端点特征判别部3061的处理的例子进行说明。首先，图21A为对端点特征PC[n]进行检测的例子，检测出两个端点特征PC[n]。图21B为将该端点特征PC[n]和三维物体信息OPT[d]进行重叠的例子。图21C、图21D是对确认各端点特征PC[n]和三维物体信息OPT[d]的重复的情形进行图示的图。
在端点特征判别部3061的处理中，如图21C、图21D所示，针对两个端点特征PC[n]，使用摄像机设置位置信息CLB分别生成三角形，对其内侧是否存在三维物体OPT[d]进行确认。在此，图21C所示的端点特征PC[n]未进入三角形，图21D所示的端点特征PC[n]进入三角形，因此，注册图21C的端点特征PC[n]作为路面上的端点线段PN[m]。
[停车框识别部3071]
接着，使用图22及图23对停车框识别部3071的处理的内容进行说明。图22是表示停车框识别部3071的处理的流程的流程图。
在停车框识别部3071中，对注册的端点线段PN[m]进行组合，并对自车10可停放的停车框进行探测、识别。
首先，通过步骤S2201，选择一个端点线段PN[m]。
接着，在步骤S2202中，获取基准方位角θB。在此，基准方位角θB可使用各种方位角。例如，可以使用自车的方位角，也可以使用自车在规定时间行驶的轨迹的方位。而且，可以使用之前的停车框的检测结果的短边的平均方位，也可以使用与第二实施方式的白线特征判别部2061的内部的处理中遇到的障碍物OPT[d]拟合的矩形的短边的平均值。
接着，通过步骤S2203，判断步骤S2201中选择的端点线段PN[m]的角度和基准方位角θB的角度差θ是否为规定值(Thθmax)以下。即，在步骤S2203中，判断端点线段和基准方位角是否平行。在判断为在规定值以下时使处理进入步骤S2204，在判断为大于规定值时使处理进入步骤S2206。
如果步骤S2203判断为肯定，则进入步骤S2204，判断端点线段PN[m]的长度L是否在规定的范围内(ThLmin以上且ThLmax以下)。即，在步骤S2204中，判断构成停车框的短边的端点线段的间隔是否为相当于停车框的宽度。在判断为在规定范围内时使处理进入步骤S2205，在判断为在规定范围外时使处理进入步骤S2206。
如果步骤S2204判断为肯定，则进入步骤S2205，注册以端点线段PN[m]为短边的矩形的停车框的四角的坐标作为位置信息PS[k]。在此，根据端点线段求得的坐标为停车框跟前的两点，因为没有检测出停车框里面的端点位置，所以根据自车的长度等进行插补。
如果执行步骤S2205，则进入步骤S2206，关于基于从端点特征判别部3061输出的信息的全部端点特征(停车框的入口线)，确认是否进行了上述的处理。如果步骤S2206判断为肯定，则输出通过上述的处理得到的结果，并结束停车框识别部3071的处理。如果步骤S2206判断为否定，则返回步骤S2201。
另外，使用图23对通过与上述的停车框识别部3071不同的处理对停车框进行识别的处理内容进行说明。图23是表示停车框识别部3071的其它处理的流程的流程图。
首先，通过步骤S2301，选择两个端点线段PN[m]。下面，设为端点线段PN[m1]、PN[m2]。
接着，通过步骤S2302，判断步骤S2301中选择的两个端点线段PN[m1]、PN[m2]的长度差ΔL是否在规定的范围内(ThΔLmin以上且ThΔLmax以下)。即，在步骤S2302中，确认是否存在其它与构成停车框的短边的端点线段的长度类似的线段。在判断为在规定范围内时使处理进入步骤S2303，在判断为在规定范围外时使处理进入步骤S2305。
如果步骤S2302判断为肯定，则进入步骤S2303，判断步骤S2301中选择的端点线段PN[m1]、PN[m2]的角度差Δθ是否为规定值(Thθmax)以下。即，在步骤S2303中，判断两个端点线段是否平行。在判断为在规定值以下时使处理进入步骤S2304，在判断为大于规定值时使处理进入步骤S2305。
如果步骤S2303判断为肯定，则进入步骤S2304，注册以用作基准的端点线段PN[m1]为短边的矩形的停车框的四角的坐标作为位置信息PS[k]。在此，根据端点线段求得的坐标为停车框跟前的两点，因为没有检测出停车框里面的端点位置，所以根据自车的长度等进行插补。
如果执行步骤S2304，则进入步骤S2305，关于基于从端点特征判别部3061输出的信息的全部端点特征(停车框的入口线)，确认是否进行了上述的处理。如果步骤S2305判断为肯定，则输出通过上述的处理得到的结果，并结束停车框识别部3071的处理。如果步骤S2305判断为否定，则返回步骤S2301。
在检测出两个以上的停车框的情况下，图23的处理能够比像图22的处理那样单独进行判断的情况消减误识别。
其它的结构、动作为与上述的第一实施方式的车载用图像处理装置1000大致相同的结构、动作，省略详情。
如以上说明的那样，在对仅图20A(1)或图20B(1)所示的停车框的四角不存在涂料的停车框进行检测时，如图21D所示，发生将停车框左右的停车车辆的牌照等图案误识别成停车框的一部分。与此相对，根据第三实施方式的车载用图像处理装置3000，能够去除这些误识别，可得到与上述的第一实施方式的车载用图像处理装置1000大致同样的效果。
<第四实施方式>
使用图24及图25对本发明的第四实施方式的车载用图像处理装置进行说明。图24是表示第四实施方式的车载用图像处理装置4000的结构的框图。
如图24所示，本实施方式的车载用图像处理装置4000具有路面涂料识别部(对象物识别部)4071而代替第一实施方式的车载用图像处理装置1000的停车框识别部1071。
车载用图像处理装置4000为安装在汽车所搭载的摄像装置内或集成控制器内等，用于从由摄像机1001～1004拍摄的图像内检测物体的装置，本实施方式的车载用图像处理装置4000以作为对象物对路面涂料进行探测的方式构成。
车载用图像处理装置4000由具有CPU或存储器、I/O等的计算机构成。规定的处理被编程，以预先确定的周期反复执行处理。
[路面涂料识别部4071]
使用图25对路面涂料识别部4071的处理的内容进行说明。图25是表示路面涂料识别部4071的处理的流程图。
路面涂料识别部4071使用由白线特征判别部1061得到的LN[m]，对路面上的涂料的图案进行识别。在本实施方式中，对识别人行横道的处理进行说明。
首先，通过步骤S2501，选择一个用作基准的白线LN[m1]。
接着，在步骤S2502中，选择参照的白线LN[m2]，对m1以外的全部白线实施步骤S2503至S2505的处理。
首先，通过步骤S2503，判断步骤S2501中选择的成为基准的线段LN[m1]和参照的白线LN[m2]的角度差θ是否为规定值(Thθmax)以下。即，在步骤S2503中，判断两个白线是否平行。在判断为在规定值以下时使处理进入步骤S2504，在判断为大于规定值时继续循环处理。
如果步骤S2503判断为肯定，则进入步骤S2504，判断两条白线LN[m1]、LN[m2]的间隔W是否在规定的范围内(ThWmin以上且ThWmax以下)。即，在步骤S2504中，判断两个白线是否具有相当于人行横道的间隔而排列。在判断为在规定范围内时使处理进入步骤S2505，在判断为在规定范围外时继续循环处理。
在此，就间隔W的判断而言，对W/2、W/3、W/4、……也进行是否为规定范围内的判断。这样，在从人行横道选择任意的白线时，只要为相邻的白线间隔就在规定范围内，但在选择一个附近的白线的情况下为两倍的间隔，在选择两个附近的白线的情况下为三倍的间隔，因此，即使在符合上述任一条件的情况下，也判断为在规定范围内。
如果步骤S2504判断为肯定，则进入步骤S2505，对人行横道得分PCR[m1]加1。
在处理完全部参照的白线LN[m2]后进入步骤S2506，对人行横道得分PCR[m1]是否为规定阈值以上进行判断。如果为阈值以上则进入步骤S2507，注册坐标值或检测结果的标志等作为检测结果，如果判断为小于阈值则选择下一基准白线，继续循环处理，根据全部白线对人行横道得分PCR[m]进行判断。
对车载用图像处理装置4000外的自车10内的其它的控制单元输出判断的人行横道信息，且在执行其它的控制单元的自动驾驶控制的各种控制时进行利用。
其它的结构、动作为与上述的第一实施方式的车载用图像处理装置1000大致相同的结构、动作，省略详情。
如以上说明的那样，在对路面涂料进行检测时，也能够通过第四实施方式的车载用图像处理装置4000去除与存在于障碍物的内侧的路面涂料类似的特征，能够正确识别路面涂料。
此外，在第四实施方式中，作为路面涂料的特征，使用第一实施方式中使用的由白线特征检测部1021检测的白线特征LC[n]、由白线特征判别部1061判别的白线LN[m]，但像第三实施方式中说明的那样，也能使用由端点特征检测部3021检测出的端点特征PC[n]、由端点特征判别部3061判别的端点线段PN[m]。
另外，在本实施方式中将人行横道视为示例，但关于其它的路面涂料(箭头、速度显示、停止等)，也可以通过变更路面涂料识别部4071的条件进行识别。
<第五实施方式>
使用图26及图27对本发明的第五实施方式的车载用图像处理装置进行说明。图26是表示第五实施方式的车载用图像处理装置5000的结构的框图。
如图26所示，与第一实施方式的车载用图像处理装置1000相比，本实施方式的车载用图像处理装置5000的特征在于，具有路缘石特征检测部(特征量提取部)5021、路缘石特征判别部(特征量判别部)5061、路缘石识别部(对象物识别部)5071，还具有停车空间获取部5081。
车载用图像处理装置5000为安装在汽车所搭载的摄像装置内或集成控制器内等，用于从由摄像机1001～1004拍摄的图像内检测物体的装置，本实施方式的车载用图像处理装置5000以作为对象物对路缘石进行探测的方式构成。此外，本实施方式中用作对象物的路缘石例如为存在于多个停车框排列的区域附近且平行地横跨框线的物体，且为与设置于道路的纵列停车用白线平行地设置的物体。
车载用图像处理装置5000由具有CPU或存储器、I/O等的计算机构成。规定的处理被编程，以预先确定的周期反复执行处理。
路缘石特征检测部5021为根据由图像获取部1011获取的图像IMG＿C，对成为路缘石的特征的线段进行检测的处理。路缘石特征检测部5021使用路缘石和路面的亮度的差异，根据图像对边缘进行检测，使用其上升和下降的间隔来检测线段。该处理也可以为与第一实施方式中使用的白线特征检测部1021相同的处理，因此，省略详细的说明。
路缘石特征判别部5061也同样可以为与第一实施方式的白线特征判别部1061相同的处理，因此，省略详细的说明。
[停车空间获取部5081]
停车空间获取部5081对自车10周围的停车空间进行识别，获取该矩形信息PS[p]。矩形信息PS[p]的获取例如可以为上述的第一实施方式中执行的停车框识别的下一结果，也可以将三维物体信息存储部1051至三维物体点组OPT[d]之间生成的空间视为停车框，能够通过公知的单元获取。本处理可以通过公知的单元执行，因此，省略说明。
[路缘石识别部5071]
使用图27对路缘石识别部5071的处理的内容进行说明。图27是表示路缘石识别部5071的处理的流程图。
路缘石识别部5071使用由路缘石特征判别部5061得到的线段LN[m]和停车空间PS[p]，对路缘石进行识别。
首先，通过步骤S2701，选择线段LN[m]。
接着，在步骤S2702中，选择停车空间PS[p]，关于全部停车空间PS[p]，实施步骤S2703至步骤S2705的处理。
首先，通过步骤S2703，判断步骤S2701中选择的线段LN[m]和停车空间PS[p]的角度差θ是否为规定值(Thθmax)以下。即，在步骤S2703中，判断线段和停车空间是否平行。在判断为在规定值以下时使处理进入步骤S2704，在判断为大于规定值时继续循环处理。
如果步骤S2703判断为肯定，则进入步骤S2704，判断线段LN[m]和停车空间PS[p]中与距自车远的长边的间隔W是否为规定值(ThWmax)以下。即，在步骤S2704中，判断在停车空间里面是否存在线段。在判断为在规定值以下时使处理进入步骤S2705，在判断为大于规定值时继续循环处理。
如果步骤S2704判断为肯定，则进入步骤S2705，参照三维物体信息OPT[d]，确认在线段LN[m]上是否存在高度为规定值以下的低的物体的点组。在判断为存在时使处理进入步骤S2706，在判断为不存在时继续循环处理。
如果步骤S2705判断为肯定，则进入步骤S2706，注册线段作为路缘石。注册信息为路缘石的起点和终点即线段信息。
此外，对检测出的对象物为路缘石的情况进行了说明，但也能够以停车框内的车轮止滑器为检测的对象物。在该情况下，步骤S2703判断停车框的方位和车轮止滑器的角度是否正交，步骤S2704判断停车空间PS[p]中与距自车远的短边的间隔。
其它的结构、动作为与上述的第一实施方式的车载用图像处理装置1000大致相同的结构、动作，省略详情。
如以上说明的那样，即使在根据图像的边缘特征对路缘石或车轮止滑器这种高度低的物体进行检测的情况下，根据第五实施方式的车载用图像处理装置5000，也能够以高的精度进行检测而不出现误探测，可得到与上述的第一实施方式的车载用图像处理装置1000大致同样的效果。
<其它>
此外，本发明不限于上述实施方式，也包含各种变形例。上述实施方式是为让本发明更加明显易懂而进行的详细说明，不一定具备说明的全部结构。另外，也可以将某一实施方式的结构的一部分置换为其它的实施方式的结构，另外，也可以在某一实施方式的结构中追加其它的实施方式的结构。另外，也可以对各实施方式的结构的一部分进行其它的结构的追加、删除、置换。
附图标记的说明
10……自车
23……停车框
23L……停车框线
1000、1100、1200、1300、2000、3000、4000、5000……车载用图像处理装置
1001、1002、1003、1004……摄像机(拍摄部)
1005……声纳
1006……LiDAR
1011……图像获取部
1011A、1012A、1013A、1014A……图像
1015……俯瞰图像
1021……白线特征检测部(特征量提取部)
1031……三维物体检测部
1041……三维物体信息获取部
1050……车辆动作信息获取部
1051……三维物体信息存储部
1061……白线特征判别部(特征量判别部)
1071……停车框识别部(对象物识别部)
2061……白线特征判别部(特征量判别部)
3021……端点特征检测部(特征量提取部)
3061……端点特征判别部(特征量判别部)
3071……停车框识别部(对象物识别部)
4071……路面涂料识别部(对象物识别部)
5021……路缘石特征检测部(特征量提取部)
5061……路缘石特征判别部(特征量判别部)
5071……路缘石识别部(对象物识别部)
5081……停车空间获取部。

Claims (11)

1.一种车载用图像处理装置，其对自车周围的对象物进行识别，其特征在于，包括：
图像获取部，其获取由拍摄部拍摄的所述自车周围的图像；
特征量提取部，其从由所述图像获取部获取的所述自车周围的图像中，提取对象物的特征量和假定所述特征量位于路面上的情况下的所述特征量相对于自车的坐标信息；
三维物体信息存储部，其获取并存储所述自车周围的三维物体相对于自车的坐标信息；
特征量判别部，其使用由所述特征量提取部检测出的所述特征量相对于自车的坐标信息与存储于所述三维物体信息存储部的所述三维物体相对于自车的坐标信息的位置关系，判别所述特征量是路面上的特征量还是三维物体上的特征量；和
对象物识别部，其使用所述特征量判别部中被判别为路面上的特征量，来识别所述对象物。
2.根据权利要求1所述的车载用图像处理装置，其特征在于：
所述特征量提取部以线段为特征量进行检测，计算所述线段的起点和终点相对于自车的坐标信息作为所述特征量相对于自车的坐标信息，
所述特征量判别部使用所述线段的起点和终点相对于自车的坐标信息与所述三维物体相对于自车的坐标信息的位置关系，判别所述特征量是路面上的特征量还是三维物体上的特征量。
3.根据权利要求2所述的车载用图像处理装置，其特征在于：
所述特征量提取部从所述图像中检测出边缘，且将连结呈直线状排列的边缘的起点和终点的线段作为所述线段进行检测。
4.根据权利要求2所述的车载用图像处理装置，其特征在于：
所述特征量判别部计算由提取了所述特征量的所述拍摄部的设置位置、所述线段的起点、所述线段的终点这三点构成的三角形，判断所述三角形中是否存在所述三维物体相对于自车的坐标信息，在判断为不存在的情况下判断所述特征量是路面上的特征量，在判断为存在的情况下判断所述特征量是三维物体上的特征量。
5.根据权利要求2所述的车载用图像处理装置，其特征在于，还包括：
三维物体信息获取部，其获取所述三维物体相对于自车的坐标信息；
车辆动作信息获取部，其获取所述自车的动作信息，
所述三维物体信息存储部使用由所述三维物体信息获取部获取的所述三维物体相对于自车的坐标信息和由所述车辆动作信息获取部获取的所述自车的动作信息，将之前获取的三维物体信息转换为距当前的自车位置的相对坐标，将蓄积的信息作为所述自车周围的三维物体相对于自车的坐标信息进行存储。
6.根据权利要求2所述的车载用图像处理装置，其特征在于：
所述对象物为停车框，
所述对象物识别部选择两个被判断为路面上的作为所述特征量的线段，使用包含这两个线段间的宽度、角度之差的条件，来识别所述停车框。
7.根据权利要求2所述的车载用图像处理装置，其特征在于：
所述特征量判别部对存储于所述三维物体信息存储部的三维物体相对于自车的坐标信息进行矩形近似，判断所述线段的一部分是否也包含在矩形近似后的所述三维物体相对于自车的坐标信息的内侧，在判断为不包含的情况下判断所述特征量是路面上的特征量，在判断为包含的情况下判断所述特征量是三维物体上的特征量。
8.根据权利要求2所述的车载用图像处理装置，其特征在于：
所述特征量提取部从图像中检测出角点，且将以角点的两个组合中角点的周围的图像图案的对称性为规定的基准值以上的角点的组合为起点和终点的线段作为所述线段进行检测。
9.根据权利要求8所述的车载用图像处理装置，其特征在于：
所述对象物为停车框，
所述对象物识别部选择一个被判断为路面上的作为所述特征量的线段，使用包含所选择的线段的长度的条件，来识别所述停车框。
10.根据权利要求2所述的车载用图像处理装置，其特征在于：
所述对象物为路面涂料，
所述对象物识别部选择多个被判断为路面上的作为所述特征量的线段，使用所选择的多个线段间的位置关系，来识别所述路面涂料。
11.根据权利要求3所述的车载用图像处理装置，其特征在于：
所述对象物为路缘石或车轮止滑器，
所述车载用图像处理装置还包括获取所述自车周围的停车空间的停车空间获取部，
所述对象物识别部使用被判断为所述路面上的所述特征量与由所述停车空间获取部获取的所述停车空间的方位关系，和被判断为所述路面上的所述特征量与所述停车空间的位置关系，来识别所述对象物。
CN201780064386.4A 2016-12-07 2017-08-31 车载用图像处理装置 Active CN109844762B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-237258 2016-12-07
JP2016237258A JP6773540B2 (ja) 2016-12-07 2016-12-07 車載用画像処理装置
PCT/JP2017/031424 WO2018105179A1 (ja) 2016-12-07 2017-08-31 車載用画像処理装置

Publications (2)

Publication Number Publication Date
CN109844762A true CN109844762A (zh) 2019-06-04
CN109844762B CN109844762B (zh) 2023-04-28

Family

ID=62490915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780064386.4A Active CN109844762B (zh) 2016-12-07 2017-08-31 车载用图像处理装置

Country Status (5)

Country Link
US (1) US10977504B2 (zh)
EP (1) EP3553744B1 (zh)
JP (1) JP6773540B2 (zh)
CN (1) CN109844762B (zh)
WO (1) WO2018105179A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112298166A (zh) * 2019-07-29 2021-02-02 歌乐株式会社 驻车支援装置以及驻车支援装置的控制方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102327344B1 (ko) * 2017-05-23 2021-11-17 주식회사 만도모빌리티솔루션즈 스마트 주차 보조 시스템 및 그 제어 방법
JP7246167B2 (ja) * 2018-11-14 2023-03-27 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
JP7203587B2 (ja) 2018-12-14 2023-01-13 株式会社デンソーテン 画像処理装置および画像処理方法
JP2020095624A (ja) 2018-12-14 2020-06-18 株式会社デンソーテン 画像処理装置、および画像処理方法
JP2020095623A (ja) 2018-12-14 2020-06-18 株式会社デンソーテン 画像処理装置および画像処理方法
JP2020095620A (ja) 2018-12-14 2020-06-18 株式会社デンソーテン 画像処理装置および画像処理方法
JP7359541B2 (ja) 2018-12-14 2023-10-11 株式会社デンソーテン 画像処理装置および画像処理方法
JP7141940B2 (ja) * 2018-12-14 2022-09-26 株式会社デンソーテン 画像処理装置および画像処理方法
JP7226986B2 (ja) 2018-12-14 2023-02-21 株式会社デンソーテン 画像処理装置および画像処理方法
JP7195131B2 (ja) 2018-12-14 2022-12-23 株式会社デンソーテン 画像処理装置および画像処理方法
JP7236857B2 (ja) 2018-12-14 2023-03-10 株式会社デンソーテン 画像処理装置および画像処理方法
JP7252750B2 (ja) 2018-12-14 2023-04-05 株式会社デンソーテン 画像処理装置および画像処理方法
CN109919002B (zh) * 2019-01-23 2024-02-27 平安科技（深圳）有限公司 黄色禁停线识别方法、装置、计算机设备及存储介质
US10628688B1 (en) * 2019-01-30 2020-04-21 Stadvision, Inc. Learning method and learning device, and testing method and testing device for detecting parking spaces by using point regression results and relationship between points to thereby provide an auto-parking system
JP2020152347A (ja) * 2019-03-22 2020-09-24 株式会社Ｊｖｃケンウッド 駐車支援制御装置、駐車支援装置、駐車支援方法およびプログラム
JP7296768B2 (ja) * 2019-04-22 2023-06-23 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
JP7341730B2 (ja) * 2019-05-30 2023-09-11 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
JP7160014B2 (ja) * 2019-10-11 2022-10-25 トヨタ自動車株式会社 駐車支援装置
JP7238722B2 (ja) * 2019-10-11 2023-03-14 トヨタ自動車株式会社 車両駐車支援装置
US11176682B2 (en) * 2019-11-27 2021-11-16 Nvidia Corporation Enhanced optical flow estimation using a varied scan order
KR20210112672A (ko) 2020-03-05 2021-09-15 삼성전자주식회사 객체를 검출하기 위한 프로세서 및 객체 검출 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014117989A (ja) * 2012-12-14 2014-06-30 Nippon Soken Inc 駐車支援装置
JP2015096411A (ja) * 2013-10-11 2015-05-21 本田技研工業株式会社 駐車支援システム
CN104798368A (zh) * 2012-11-27 2015-07-22 歌乐株式会社 车载图像处理装置
WO2015141247A1 (ja) * 2014-03-20 2015-09-24 クラリオン株式会社 車載用画像処理装置およびそれを用いた車両システム
US20160110619A1 (en) * 2014-10-17 2016-04-21 Hyundai Motor Company Smart parking assist apparatus and method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5686281B2 (ja) * 2009-12-25 2015-03-18 株式会社リコー 立体物識別装置、並びに、これを備えた移動体制御装置及び情報提供装置
BR112012017199A2 (pt) 2009-12-25 2018-07-31 Ricoh Co Ltd aparelho para identificação de objetos, aparelho para controle de corpos em movimento e aparelho para fornecer informações
JP5574235B2 (ja) 2010-10-06 2014-08-20 スズキ株式会社 駐車枠検出装置及び駐車枠検出方法
JP5820774B2 (ja) * 2012-06-21 2015-11-24 株式会社豊田中央研究所 路面境界推定装置及びプログラム
KR101372171B1 (ko) 2012-10-11 2014-03-07 현대자동차주식회사 주차가능영역 판단 장치 및 방법
JP6225889B2 (ja) * 2014-11-19 2017-11-08 株式会社豊田中央研究所 車両位置推定装置及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104798368A (zh) * 2012-11-27 2015-07-22 歌乐株式会社 车载图像处理装置
JP2014117989A (ja) * 2012-12-14 2014-06-30 Nippon Soken Inc 駐車支援装置
JP2015096411A (ja) * 2013-10-11 2015-05-21 本田技研工業株式会社 駐車支援システム
WO2015141247A1 (ja) * 2014-03-20 2015-09-24 クラリオン株式会社 車載用画像処理装置およびそれを用いた車両システム
US20160110619A1 (en) * 2014-10-17 2016-04-21 Hyundai Motor Company Smart parking assist apparatus and method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112298166A (zh) * 2019-07-29 2021-02-02 歌乐株式会社 驻车支援装置以及驻车支援装置的控制方法
CN112298166B (zh) * 2019-07-29 2024-03-08 歌乐株式会社 驻车支援装置以及驻车支援装置的控制方法

Also Published As

Publication number Publication date
EP3553744B1 (en) 2022-11-16
WO2018105179A1 (ja) 2018-06-14
EP3553744A1 (en) 2019-10-16
EP3553744A4 (en) 2020-08-12
CN109844762B (zh) 2023-04-28
JP6773540B2 (ja) 2020-10-21
US20200074192A1 (en) 2020-03-05
US10977504B2 (en) 2021-04-13
JP2018092501A (ja) 2018-06-14

Similar Documents

Publication Publication Date Title
CN109844762A (zh) 车载用图像处理装置
CN103714363B (zh) 一种机动车尾气烟度视频识别系统
CN103325255B (zh) 基于摄影测量技术进行区域交通状况检测的方法
CN103797529B (zh) 三维物体检测装置
CN101075376B (zh) 基于多视点的智能视频交通监控系统及方法
KR100201739B1 (ko) 물체 관측 방법 및 그 방법을 이용한 물체 관측장치와,이 장치를 이용한 교통흐름 계측장치 및 주차장 관측장치
CN109359409A (zh) 一种基于视觉与激光雷达传感器的车辆可通过性检测系统
RU2698610C2 (ru) Способ и блок обработки для управления системой наблюдения за дорожным движением
CN104115188B (zh) 立体物检测装置
KR20140109990A (ko) 3d 카메라를 사용한 차량 주변의 높이 윤곽 확인
CN102208013A (zh) 风景匹配参考数据生成系统和位置测量系统
CN102467821A (zh) 基于视频图像的路面距离检测方法及装置
CN103487034A (zh) 一种基于立式标靶的车载单目摄像头测距测高方法
CN107796373B (zh) 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法
CN103499337A (zh) 一种基于立式标靶的车载单目摄像头测距测高装置
CN103164958B (zh) 车辆监控方法及系统
CN108830159A (zh) 一种前方车辆单目视觉测距系统及方法
CN109635737A (zh) 基于道路标记线视觉识别辅助车辆导航定位方法
CN106530825B (zh) 基于st-mrf模型的电动自行车与汽车交通冲突检测方法
CN114419874A (zh) 基于路侧感知设备数据融合的目标行车安全风险预警方法
CN104115203A (zh) 立体物检测装置
Wu et al. Adjacent lane detection and lateral vehicle distance measurement using vision-based neuro-fuzzy approaches
CN102141372A (zh) 基于测量光栅的运输车违规装载检测装置及方法
CN109241855A (zh) 基于立体视觉的智能车辆可行驶区域探测方法
CN112034449A (zh) 基于物理空间属性实现对车辆行驶轨迹修正的系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant