CN104822566B - 车载图像处理装置 - Google Patents

车载图像处理装置 Download PDF

Info

Publication number
CN104822566B
CN104822566B CN201380061342.8A CN201380061342A CN104822566B CN 104822566 B CN104822566 B CN 104822566B CN 201380061342 A CN201380061342 A CN 201380061342A CN 104822566 B CN104822566 B CN 104822566B
Authority
CN
China
Prior art keywords
white line
parking frame
candidate region
image
line candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380061342.8A
Other languages
English (en)
Other versions
CN104822566A (zh
Inventor
村松彰二
绪方健人
清原将裕
铃木智史
深田修
早川泰久
森本明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd, Nissan Motor Co Ltd filed Critical Clarion Co Ltd
Publication of CN104822566A publication Critical patent/CN104822566A/zh
Application granted granted Critical
Publication of CN104822566B publication Critical patent/CN104822566B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Abstract

一种车载图像处理装置，可靠地检测路面上绘制的停车框。设置在车辆(1)上的摄像单元(10)拍摄车辆(1)周围的至少包含路面的图像(I)，白线候选区域检测单元(30)从所拍摄的图像(I)中检测有可能构成停车框的白线候选区域，停车框相似度计算单元(40)计算所检测到的白线候选区域和路面的边界点周围的亮度分布，在该亮度分布满足规定的条件时，判断为白线候选区域成为停车框的程度即停车框相似度低，在从图像(I)中，停车框检测单元(60)所检测到的构成停车框的白线候选区域的停车框相似度低时，将所检测到的停车框的可靠性(U)设定得低。

Description

车载图像处理装置
技术领域
本发明涉及通过车载摄像机检测在路面上绘制的停车框的位置的车载图像处理装置。
背景技术
近年，研究开发了将摄像机安装在车辆上，通过该摄像机观测车辆的周边，从观测到的图像中，检测通过刷涂在路面上的白线和黄线划分的停车框的位置，并且根据这样检测到的停车框的位置计算车辆的位置和车道的位置之间的关系而辅助停车动作的装置。
在这样的系统中，例如使用与路面的亮度差较大的停车框的特征，检测与路面的亮度差大的像素，并且通过对检测到的像素的列填入直线而检测停车框的位置。(例如，专利文献1)。
现有技术文献
专利文献
专利文献1:日本特开2011－126433号公报
发明内容
发明要解决的课题
在专利文献1中记载的停车辅助装置中，使用从图像中检测构成直线的成分的霍夫变换(HoughTransform)，对构成停车框的白线进行检测。
但是，如果按照专利文献1公开的发明，因为设想为在路面上绘制的白线的对比度高的状态而对其进行检测，如实际的路面那样，存在各种干扰(noise)，例如，在停车框旁边存在立体物时，存在车体壁面、树丛时，在路面上有道牙、断坡时，存在路面反射时，在路面上投下影子时等，由于这些干扰，检测到具有与构成停车框的白线很相似的亮度分布的区域而原本应被检测的白线的对比度降低等状况，从而存在难以仅对构成停车框的白线进行正确检测的问题。
本发明是鉴于上述课题而完成的，目的是提供可以不受立体物、路面状态、天气、影子等干扰的影响，稳定地检测路面上绘制的停车框的位置的车载图像处理装置。
用于解决课题的手段
本发明的车载图像处理装置包括：摄像单元，被设置在车辆上，观测所述车辆的周围，并拍摄至少包含路面的图像；白线候选区域检测单元，在规定的方向上扫描了由所述摄像单元所拍摄的图像时，检测在亮度值亮的方向上变化大于规定值的第1像素的位置、以及在距所述第1像素规定距离以内且在亮度值暗的方向上变化大于规定值的第2像素的位置，并且将形成直线的由多个所述第1像素构成的线素的两端点和由多个所述第2像素构成的线素的两端点所包围的区域，作为构成停车框的白线候选区域来检测；停车框相似度计算单元，根据构成所述白线候选区域的多个所述第1像素周围的亮度分布和多个所述第2像素周围的亮度分布，计算设想为各个所述白线候选区域构成停车框时的停车框相似度；以及停车框检测单元，根据所述白线候选区域的位置、所述停车框相似度、以及预想为能够在所述图像中观测到的停车框的大小，检测停车框，在构成所述白线候选区域的多个第1像素周围的亮度分布和多个第2像素周围的亮度分布满足规定的条件时，所述停车框相似度计算单元降低所述白线候选区域的停车框相似度。
按照这样构成的本发明的车载图像处理装置，设置在车辆上的摄像单元拍摄车辆的周围的至少包含路面的图像，白线候选区域检测单元在拍摄的图像中检测有可能构成停车框的白线候选区域，停车框相似度计算单元计算这样检测到的白线候选区域和路面的边界点的周围的亮度分布，在该亮度分布越满足规定的条件时，判断为作为白线候选区域形成停车框的程度的停车框相似度越低，停车框检测单元根据预想为能够在图像中观测到的停车框的大小检测出停车框后，在构成停车框的白线候选区域的停车框相似度低时，将检测到的停车框的可靠性设定得低，所以可以防止路面上的干扰导致的停车框的误检测，由此，可以稳定地检测路面上绘制的停车框的位置。
发明效果
本发明的车载图像处理装置可以稳定地检测路面上绘制的停车框的位置。
附图说明
图1是说明安装了本发明的一个实施方式的车载图像处理装置的实施例1的车辆的图。
图2是表示本发明的一个实施方式的实施例1的整体结构的方框图。
图3是表示本发明的一个实施方式的实施例1中的停车框相似度计算单元的详细的结构的方框图。
图4A是表示本发明的一个实施方式的实施例1中拍摄合成的图像的一个例子的图。
图4B是表示图4A的图像中的点A和点B之间的亮度分布的图。
图4C是表示图4A的图像中的点C和点D之间的亮度分布的图。
图5A是表示本发明的一个实施方式的实施例1中检测到的被认为构成停车框的白线候选的一个例子的图。
图5B是表示在图5A所示的白线候选上，设定了计算亮度分布的区域的例子的图。
图5C是表示在图5B中所设定的区域内部的亮度分布的例子的图。
图6A是表示本发明的一个实施方式的实施例1中检测到的被认为构成停车框的白线候选的一个例子的图。
图6B是表示在图6A所示的白线候选上，设定了计算白线候选的左右的亮度差的像素的例子的图。
图6C是表示将图6B中所设定的像素的位置变换为与白线候选的方向正交的例子的图。
图6D是说明一边将图6C中所设定的像素的位置错开，一边计算白线候选的左右的亮度差的方法的图。
图7是说明表示停车框相似度的信息的存储方法的图。
图8A是说明计算停车框的可靠性的方法的一个例子的图，是表示检测出白线候选区域的结果的图。
图8B是表示根据停车框相似度，校正所检测到的白线候选区域的中心线的长度的状况的图。
图8C是表示计算所检测到的停车框的可靠性的状况的图。
图9是说明通过适用本发明得到效果的场景的图。
图10是表示本发明的一个实施方式的实施例1的处理的流程的流程图。
图11是说明安装了本发明的一个实施方式的车载图像处理装置的实施例2的车辆的图。
图12是表示本发明的一个实施方式的实施例2的整体结构的方框图。
图13是表示本发明的一个实施方式的实施例2中的停车框相似度计算单元的详细的结构的方框图。
图14是表示本发明的一个实施方式的实施例2的处理的流程的流程图。
具体实施方式
以下，参照附图说明本发明的一个实施方式的车载图像处理装置。而且，在以下的说明中，将图像中存储的浓淡值称为亮度值。
实施例1
关于本发明的一个实施方式的实施例1，将本发明的车载图像处理装置适用于防止驾驶员在路面上绘制有停车框的停车场进行停车动作时，由于在应踩下刹车踏板的时机(timing)，误踩下油门踏板而车辆在未期望的时机突然前进的、所谓的误踩踏板而急加速的系统的例子。
首先，使用图1至图3，说明实施例1的结构。实施例1所示的车载图像处理装置被安装在车辆1上，如图1所示，包括：拍摄车辆1的前方的前方摄像机10A；安装在车辆1的左车门后视镜上，并拍摄车辆的左方向的左方摄像机10B；安装在车辆1的右车门后视镜上，并拍摄车辆的右方向的右方摄像机10C；以及拍摄车辆1的后方的后方摄像机10D。然后，通过由这4台摄像机所构成的摄像单元10，可以观测车辆1的周围的路面。而且，各个摄像机由具有镜头等聚光功能的光学系统和C－MOS等光电变换元件构成。
图2是表示车载图像处理装置5的整体结构的方框图。本车载图像处理装置5被安装在车辆1(参照图1)上，包括：拍摄包含车辆1的周围的路面的区域的摄像单元10；将构成摄像单元10的前方摄像机10A、左方摄像机10B、右方摄像机10C、后方摄像机10D所拍摄的图像分别变换为从正上方俯视车辆1的俯瞰图像，并合成为1张图像的图像变换合成单元20；从图像变换合成单元20所合成的图像中，检测被认为构成停车框的白线候选区域的白线候选区域检测单元30；对由白线候选区域检测单元30所检测出的各个区域，计算停车框相似度的停车框相似度计算单元40；根据停车框相似度计算单元40所算出的停车框相似度，从图像中检测停车框的停车框检测单元60；检测车辆1的油门开度的油门开度检测单元70；停车框检测单元60检测到停车框时，当检测到规定值以上的油门开度时，抑制车辆1的发动机输出而防止车辆1的急加速的车辆运行情况控制单元80；以及对车辆1的驾驶员显示停车框已被检测到的情况、进行抑制发动机输出的控制的情况的、由显示装置、声音输出装置所构成的信息输出单元90。
进而，白线候选区域检测单元30由检测沿规定的方向(如后所述)邻接的+边缘和－边缘的对(pair)的边缘对检测单元32、以及从各白线候选区域中检测将连接边缘对之间的线段的中点之间进行连结而构成的中心线的中心线检测单元34构成。
进而，停车框相似度计算单元40具有图3所示的结构。即，包括：评价白线候选区域和其周边区域的亮度分布的对称性的对称性评价单元43；评价构成白线候选区域的像素和构成白线候选区域以外的像素的亮度差的大小的亮度差评价单元44；评价构成白线候选区域的中心线的像素和构成对于该中心线位于左右对称的位置的白线候选区域以外的像素之间的亮度差的左右差评价单元45；存储并管理由对称性评价单元43、亮度差评价单元44、左右差评价单元45所算出的各个评价值的停车框相似度管理单元47。
以下，按照顺序说明本实施例的动作概要。
＜白线候选区域检测方法的说明＞
首先，使用图4A～图4C，说明在白线候选区域检测单元30中进行的白线候选区域的检测方法。
图4A表示车辆1一边前进并一边接近由白线F1～F4构成的停车框时，在图像变换合成单元20中将由前方摄像机10A所拍摄的图像I1、由左方摄像机10B所拍摄的图像I2、由右方摄像机10C所拍摄的图像I3、由后方摄像机10D所拍摄的图像I4变换为从正上方俯视车辆1的俯瞰图像，进而合成为1张图像I的状况。
如图4A所示，图像I是通过在模拟了车辆1的位置的区域V的周围，将变换为俯瞰图像的图像I1、图像I2、图像I3和图像I4合成而构成。由于该图像I是从正上方俯视车辆1即路面的图像，所以在停车框内停车的车辆的左右绘制的、向车辆的前后方向延伸的直线状的白线F1、F2、F3在图像I中相互平行地映出。而且，向车辆的宽度方向延伸的直线状白线F4与白线F1、F2、F3正交地映出。
而且，将摄像单元10所拍摄的图像变换为俯瞰图像，进而合成为1张图像的处理是近来作为车辆周围的监视系统而实用化的公知的技术，所以省略详细的处理方法的说明。
将这样生成的图像I的左右方向设为x，将上下方向设为y，将图像I的左上设为原点(0，0)。以后，假设将图像I的像素(x，y)的亮度值用I(x，y)表示，而且，在将特定的像素仅表示为像素X的情况下，用I(X)表示像素X的亮度值。
然后，在白线候选区域检测单元30(参照图2)中，对图像I中，在左右方向上从左向右(规定的方向)，一边扫描图像I中存储的亮度值I(x，y)，一边计算相邻的两个像素的亮度值的差分值。即，针对图像I的全部像素，对所扫描的像素(x，y)依次计算亮度差I(x－1，y)－I(x，y)和亮度差I(x，y)－I(x+1，y)。
然后，将从左向右亮度值比规定值明显亮地变化的像素、即对于预先设定的亮度差阈值Ith，满足I(x，y)－I(x－1，y)＞Ith的像素作为第1像素来检测。将这种像素称为+边缘。
进而，将从左向右亮度值比规定值明显暗地变化的像素、即I(x，y)－I(x+1，y)＞Ith的像素作为第2像素来检测。将这种像素称为－边缘。
如果是构成停车框的白线时，则构成+边缘的像素(白线和路面的边界点)和构成－边缘的像素(白线和路面的边界点)分别被检测为直线状，这些像素的间隔与构成停车框的白线的宽度大致相等，所以从图像I中检测到的构成+边缘的像素和与该+边缘相邻而检测到的构成－边缘的像素之间的间隔w沿着规定的方向(对图像内从左向右的方向)为规定距离以内时，判断为夹在构成该+边缘的像素和构成－边缘的像素之间的区域为构成停车框的白线的可能性高，并检测这些像素。
例如，在从图4A的点A向点B扫描了图像I中存储的亮度值时，如图4B所示，像素S1作为+边缘而被检测，像素S2作为－边缘而被检测。
将这样检测出的构成+边缘的像素S1和构成－边缘的像素S2的对，称为边缘对。
也对图像I的上下方向(与规定的方向正交的方向)进行这样具有大的亮度值之差的像素的搜索的为佳。然后，在从图4A的点C向点D扫描了图像I中存储的亮度值时，如图4C所示，像素S3作为+边缘而被检测，像素S4作为－边缘而被检测。然后，像素S3和像素S4也形成边缘对。
将这样检测到的像素S1，S2，S3，S4，…当作构成停车框的白线的可能性高的边缘构成点。
而且，这样，在左右方向(规定的方向)和上下方向(与规定的方向正交的方向)上2次扫描图像I的像素的亮度值是因为构成停车框的白线的延伸方向不明了，因此为了不遗漏地检测在任何方向上延伸的白线的候选。
将由夹在这样检测到的边缘对之间的像素所构成的区域、换言之，形成直线的由多个第1像素构成的线素的两端点和由多个第2像素构成的线素的两端点所包围的区域称为白线候选区域。然后，对从图像I中检测到的多个白线候选区域进行贴标签(labeling)处理，对各个白线候选区域附加连续编号(serialnumber)。
＜停车框相似度计算方法的说明＞
接着，对检测到的白线候选区域，计算设想为各个白线候选区域构成停车框时的停车框相似度。停车框相似度是根据白线候选区域和与该白线候选区域相邻的区域的亮度分布进行计算。
在本实施例中，停车框相似度是通过“对称性”、“亮度差”、“左右差”三个评价指标进行判断。以下，按顺序对各个评价指标进行说明。
＜对称性的评价指标的说明＞
首先，说明对称性的评价指标。构成停车框的白线与路面之间存在亮度差，而且，相对于白线的中心线在白线的两侧设定了对称的区域时，该对称的区域的亮度分布应该大致相等。因此，评价该亮度分布的对称性。
由于在对称性比规定值低时，存在该白线候选区域不是构成停车框的白线的可能性，所以对白线候选区域设立对称性标志(flag)。而且，在白线候选区域中所设立的对称性标志，在之后的停车框的检测处理中加以利用。
接着，使用图5A～图5C说明对称性的具体的评价方法。首先，在边缘对检测单元32(参照图2)中，从左向右搜索图像I而提取各个白线候选区域中的边缘对。然后，如图5A所示，确定由+边缘构成的白线候选区域边界线L1和由－边缘构成的白线候选区域边界线L2。
然后，在中心线检测单元34(参照图2)中，检测白线候选区域边界线L1和白线候选区域边界线L2的中心线M。中心线M可以作为连结了各个+边缘和－边缘的中点之间的线来检测。
接着，如图5B所示，以中心线M为中心，在+边缘侧和－边缘侧分别设定具有宽度W1(第2规定距离)的区域。宽度W1设为对构成停车框的白线宽度的一半的值加上规定的值所得的值。将在+边缘侧设定的区域设为区域R1，将在－边缘侧设定的区域称为区域R2。即，如果将白线候选区域的长度、即中心线的长度设为T，则区域R1和区域R2分别包含W1T个像素。
然后，如图5C所示，制作区域R1的内部的亮度直方图H(R1)和区域R2的内部的亮度直方图H(R2)。进而，为了将这样制作的亮度直方图H(R1)和亮度直方图H(R2)的类似性进行数值化，计算两个直方图的互相关。然后，在互相关值不足规定值时，判断为亮度直方图H(R1)和亮度直方图H(R2)的相似性低。而且，直方图之间的类似度的评价也可以采用互相关以外的方法，例如，采用使用Bhattacharyya距离(巴氏距离)来计算两个直方图的类似度的方法等。
然后，在类似性低时，对进行了评价的白线候选区域设立对称性标志。然后，对全部的白线候选区域实施相同的评价。
＜亮度差的评价指标的说明＞
接着，说明亮度差的评价指标。构成停车框的白线应该与路面之间具有较大的亮度差。因此，评价该亮度差。
由于在亮度差比规定值小时，存在该白线候选区域不是构成停车框的白线的可能性，所以对白线候选区域设立亮度差标志。并且，在白线候选区域中所设立的亮度差标志，在之后的停车框的检测处理中加以利用。
接着，使用检测到图6A所示的白线候选区域边界线L1、L2的情况，说明亮度差的具体的评价方法。首先，如图6B所示，对先前说明的对称性的评价中检测到的中心线M，设定从中心线M上的像素m1向+边缘侧和－边缘侧分别离开了距离W2(第1规定距离)的像素。距离W2设为对构成停车框的白线宽度的值加上规定的值所得的值。将在+边缘侧设定的像素(第3像素)称为P11，将在－边缘侧设定的像素(第4像素)称为P21。
白线候选区域的延伸方向并不限定于图像内的上下方向或者左右方向，而是如图6A所示，向任意的方向延伸。因此，如图6C所示，将先前设定的像素P11和像素P21变换为与中心线M正交方向的像素P11’和像素P21’。
接着，求出像素m1的亮度值I(m1)、像素P11’的亮度值I(P11’)以及像素P21’的亮度值I(P21’)，并在亮度差I(m1)－I(P11’)和亮度差I(m1)－I(P21’)中求出较小一方的亮度差。
当这样求得的较小一方的亮度差比预先确定的规定值小时，增加(increment)表示当前所关注的白线候选区域和路面的亮度差的投票值。
然后，如图6D所示，一边将像素m1的位置移动至中心线M的另一个端点即像素mn的位置，一边同样地进行亮度差的评价。
在对一个白线候选区域结束了所述评价时，以白线候选区域的长度、即中心线的长度T(图5B参照)对投票值进行归一化，在该归一化后的值比规定值高时、即，在构成白线候选区域的中心线的像素的规定比例以上的像素中，白线候选区域和与其连接的路面区域的亮度差比规定值小时，对进行了评价的白线候选区域设立亮度差标志。然后，对全部白线候选区域实施同样的评价。
＜左右差的评价指标的说明＞
最后，说明左右差的评价指标。构成停车框的白线与路面之间具有亮度差，该亮度差应该在白线的左右大致相等。因此，评价该亮度的左右差。
因为在亮度的左右差比规定值大时，存在该白线候选区域不是构成停车框的白线的可能性，因此对白线候选区域设立左右差标志。然后，在白线候选区域中所设立左右差标志，在之后的停车框的检测处理中加以利用。
接着，使用图6A～图6D说明左右差的具体的评价方法。首先，对从先前进行的亮度差的评价时所设定的中心线M上的像素m1向+边缘侧离开距离W2的像素P11’和向－边缘侧离开距离W2的像素P21’，求出像素P11’的亮度值I(P11’)和像素P21’的亮度值I(P21’)，并求出亮度差I(P11’)－I(P21’)。
当这样求得的亮度差大于预先确定的规定值时，对当前所关注的白线候选区域，增加用于评价左右的亮度差的投票值。
然后，如图6D所示，一边将像素m1的位置移动至中心线M的另一个端点即像素mn的位置，一边同样地进行左右的亮度差的评价。
在对一个白线候选区域结束了所述评价时，以白线候选区域的长度、即中心线的长度T对投票值进行归一化，在该归一化得到的值比规定值高时、即，在白线候选区域的+边缘侧和－边缘侧的亮度差比规定值大时，对进行了评价的白线候选区域设立左右差标志。然后，对全部白线候选区域实施同样的评价。
这样，对各个白线候选区域赋予的对称性标志、亮度差标志、左右差标志被存储在停车框相似度管理单元47中，并如后所述，在进行停车框的检测时加以利用。图7是说明对称性标志、亮度差标志、左右差标志的存储、管理方法的图。
如图7所示，对从图像I中所检测到的全部白线候选区域的每一个，存储白线候选区域的位置(例如，中心线M两端的像素m1、mn的位置)、以及对称性标志、亮度差标志、左右差标志的赋予状态，并使用此列表进行以后的处理。而且，如图7所示，还有对一个白线候选区域赋予多个标志的情况。
＜停车框的检测方法的说明＞
接着，说明停车框的检测方法。在检测停车框的方法中考虑各种方法，也可以适用任意一种方法。这里，说明利用了停车框的形状特征的检测方法。
所谓停车框的形状特征，例如是以下的(1)～(3)那样的特征。
(1)停车框是由具有规定的间隔和规定的长度的平行的白线形成的2根线段所夹住的区域。
(2)如图4A所示，有用平行的白线形成的2根线段中的1根被相邻的两个停车框共用的情况，也有在相邻的停车框之间划2根白线的情况。
(3)如图4A所示，有在平行的白线的端点之间，通过白线连结的情况，也有仅连结停车框的里侧的情况。而且，也有不连结平行的白线的端点之间的情况。
在本实施例中，首先，存储在图像I中所要观测的停车框的大小。所谓的停车框的大小是，将车辆停车在停车框时，由向车辆的前后方向延伸的平行的白线形成的2根线段的长度(也可以考虑上述的中心线M的长度)、以及这2根线段的间隔。
由于图像I是从正上方俯视车辆1的俯瞰图，所以可以使用将拍摄的图像变换为俯瞰图的参数来容易地估计图像I所观测的范围。因此，可以估计所设想的大小的停车框在图像I中以怎样等级的大小所被观测。在这里，估计为向车辆的前后方向延伸的平行的白线所形成的2根线段的长度以第1规定的像素数O1被观测，2根线段的间隔以第2规定的像素数O2被观测。
然后，首先从由图像I中所被检测到的白线候选区域中，检测其方向大致相等的多个白线候选区域的对。白线候选区域的方向也可以认为是先前所检测的中心线M的方向(连接两个端点的像素m1、mn的线段的方向)。由于所检测到的白线候选区域的信息以图7所示的列表形式存储，所以使用该列表中所存储的信息进行平行的白线候选区域的检测。
当这样检测到的平行的白线候选区域的间隔接近第2规定的像素数O2时，判断为发现了构成停车框的平行的白线候选区域的对。然后，接着求出这样检测到的白线候选区域的长度。白线候选区域的长度是作为该白线候选区域的中心线M的长度来计算出。当所计算出的中心线M的长度为接近先前所设想的停车框的长度、即第1规定的像素数O1的值时，判断为该白线候选区域为构成停车框的区域。
＜停车框相似度的利用方法的说明＞
在进行了停车框的检测之后，利用在图7中所说明的对各个白线候选区域赋予的对称性标志、亮度差标志、左右差标志的赋予状态来计算出所检测到的停车框的可靠性U。
即，在对构成停车框的白线候选区域赋予有对称性标志、亮度差标志、左右差标志中的任意标志时，即使假设该白线候选区域构成停车框，也作为其可靠性低下的区域来处理。而且，在赋予有多个标志时，与仅赋予有任意一个标志的情况相比，作为该白线候选区域构成停车框的可靠性更加低下的区域来处理。通过这样处理，反映出具有该白线候选区域为干扰的可能性的情况。
具体地说，如下那样计算出可靠性U。即，首先，在检测了停车框之后，确认对该停车框中包含的白线候选区域的标志的赋予状态，根据标志的赋予状态，将该白线候选区域的中心线M的长度ML以规定的比例缩短地校正而将中心线M的长度设为ML’。
例如，对赋予有一个标志的每个中心线M的长度ML以10％比例缩短地校正即可。这样，对全部白线候选区域的中心线M进行了与标志的赋予状态相应的校正后，求出相对于在停车框的周长中显示在图像I中的部分的长度的、构成该停车框的全部的白线候选区域的校正后的中心线M的长度ML’的总和的比例E，根据这样算出的比例E，比例E越高就对该停车框赋予越大的可靠性U。在图8A～图8C中表示该可靠性U的计算例子。
在图8A～图8C所示的例子中，所检测到的构成停车框PR1的白线候选区域检测出三个。如图8A所示，各个白线候选区域的中心线的长度为T1、T2、T4，根据对各个白线候选区域赋予的标志的状态，如图8B所示，各个中心线的长度校正为长度T1’、T2’、T4’。
进而，如图8C所示，求出相对于所检测到的停车框PR1的周长Q1中显示在图像I中的部分的长度Q1’的、T1’+T2’+T4’的比例E(PR1)，根据这样算出的比例E(PR1)，计算停车框PR1的可靠性U。对于停车框PR2也同样计算可靠性U。
而且，当在相同的白线候选区域中同时设立有多个标志时，将上述的规定的比例设为更高的值，进一步缩短地校正白线候选区域的中心线的长度，反映出该白线候选区域为干扰的可能性更高的情况。
然后，根据该白线候选区域的大小，可靠性U例如被分组为从最不可靠的可靠性U1至最可靠的可靠性U4为止的4个等级，并在之后的车辆控制中加以利用。
＜停车框的可靠性的计算效果的说明＞
使用图9说明通过计算上述的停车框的可靠性Ui而能够期待的效果的具体情况。
图9是用于说明上述的“对称性”、“亮度差”、“左右差”所发挥的效果的具体的情况的图。而且，最右列的被写为“声纳的利用”的栏，在实施例2中进行说明。
首先，说明对称性具有的效果的情况。通过对称性的评价，可以识别在白线的左右亮度分布有较大不同的情况。因此，例如，在从路面垂直地竖立的立体物中，存在其它车辆的车轮或树丛时，有亮度分布的对称性被破坏的顾虑，所以存在对称性的评价值成为较低值的可能性。
而且，在存在作为非垂直的立体物的、其它车辆的车体的花纹或车体壁面时，有亮度分布的对称性被破坏的顾虑，所以存在对称性的评价值成为较低值的可能性。
进而，在路面上有路牙或断坡时，或者有雨水路面时，有亮度分布的对称性被破坏的顾虑，所以存在对称性的评价值成为较低值的可能性。
而且，在路面上有车辆的影子时，或者有电线的影子时，有亮度分布的对称性被破坏的顾虑，所以存在对称性的评价值成为较低值的可能性。
然后，由于这样在对称性的评价值成为较低的值时，存在误检测停车框的可能性，所以即使假设在检测到白线候选区域的情况下，其可靠性被设定为较低。
接着，说明亮度差具有效果的情况。通过亮度差的评价，可以识别在白线的左侧或者右侧亮度差小、即，有对比度低的区域的情况。因此，例如，在从路面垂直地竖立的立体物中存在其它车辆的车轮或树丛时，有亮度差变小的顾虑，所以存在亮度差的评价值成为较低的值的可能性。
而且，在存在作为非垂直的立体物的、其它车辆的车体的花纹或车体壁面时，有亮度差变小的顾虑，所以存在亮度差的评价值成为较低的值的可能性。
进而，在路面上有路牙或断坡时，或者有雨水路面时，根据情况，有亮度差变小的顾虑，所以存在亮度差的评价值成为较低的值的可能性。
而且，在恶劣天气时，例如，在镜头上附着雨滴，由于该雨滴的存在，有亮度差变小的顾虑，所以存在亮度差的评价值成为较低的值的可能性。
而且，在路面上有车辆的影子时，或者有电线的影子时，有亮度差变小的顾虑，所以存在亮度差的评价值成为较低的值的可能性。
然后，由于这样在亮度差的评价值成为较低的值时，存在误检测停车框的可能性，所以即使假设在检测到白线候选区域的情况下，也较低地设定其可靠性。
接着，说明亮度的左右差具有效果的情况。通过亮度的左右差的评价，可以识别在白线的左侧和右侧亮度差大、即，存在亮度有较大不同的区域的情况。因此，例如，在从路面垂直地竖立的立体物中，存在其它车辆的车轮或树丛时，根据情况，有亮度的左右差变大的顾虑，所以存在左右差的评价值成为较高的值的可能性。
而且，在存在作为非垂直的立体物的、其它车辆的车体的花纹或车体壁面时，根据情况，有亮度的左右差变大的顾虑，所以存在左右差的评价值成为较高的值的可能性。
进而，在路面上有路牙或断坡时，或者有雨水路面时，有亮度的左右差变大的顾虑，所以存在左右差的评价值成为较高的值的可能性。
而且，在恶劣天气时，例如，由于发生路面反射或雨滴附着在镜头上，有亮度的左右差变大的顾虑，所以存在左右差的评价值成为较高的值的可能性。
然后，由于这样在亮度的左右差的评价值成为较高的值时，有误检测停车框的顾虑，所以即使在假设检测到白线候选区域的情况下，也较低地设定其可靠性。
＜停车框的检测结果的利用方法的说明＞
根据这样检测到的停车框的检测结果，决定车辆1的周围有停车框的情况以及表示相信何种程度为好的该停车框的可靠性U。然后，根据检测到的停车框的可靠性U，车辆运行情况控制单元80(图2)进行以下说明的车辆控制。
在图像I中检测到停车框时，当油门开度检测单元70(参照图2)中检测到规定值以上的油门开度时，判断为在应踩下刹车的时机误踩下了油门，通过车辆运行情况控制单元80(参照图2)的作用，进行缩小发动机输出的控制，以便不输出与实际踩下的油门开度相对应的发动机输出。然后，通过信息输出单元90(参照图2)显示因为检测到停车框而缩小发动机输出的情况，从而通知驾驶员。
通过这样进行车辆控制，可以防止在停车场中由于误踩踏板而车辆失控的现象。
而且，这时可以根据检测到的停车框的可靠性U，变更所执行的车辆控制的内容。
通过先前说明的检测停车框的处理，从图像I中，检测多个停车框。然后，对检测到的停车框赋予可靠性Ui(i＝1～4)。而且，设为U1＜U2＜U3＜U4，且i越大可靠性越高。
这时，在图像中存在的停车框中，将赋予在可靠性最低的停车框的可靠性Ui设为该图像I中的停车框的可靠性。
然后，当图像I中的停车框的可靠性被判断为U1时，判断为未检测到停车框而不进行任何的控制和显示。而且，当图像I中的停车框的可靠性被判断为U2时，从信息输出单元90通过画面显示或者声音引导输出旨在提起注意以便在停车场中不搞错油门操作和刹车操作的信息而引起驾驶员的注意。进而，当图像I中的停车框的可靠性被判断为U3时，虽然进行上述的发动机输出的降低控制，但是此时的控制量(发动机的输出抑制量)设定得小。然后，当图像I中的停车框的可靠性被判断为U4时，虽然进行上述的发动机输出的降低控制，但是此时的控制量(发动机的输出抑制量)设定得大。
这样，可以根据检测到的停车框的可靠性Ui，执行适当的车辆控制，若存在误检测出停车框的可能性时，通过抑制车辆控制的执行，可以进行与停车框的检测状态对应的适当的车辆控制。
＜实施例1的作用的说明＞
接着，使用图10的流程图说明实施例1的车载图像处理装置5的一连串动作的流程。
(步骤S10)根据在图2中未图示的车速传感器的输出，检测车辆1的车速。然后，判断所检测到的车速是否不为0且为在预先设定的规定的车速以下。在判断为所检测到的车速不为0且在预先设定的规定的车速以下时进至步骤S20，除此之外结束图10的处理。
(步骤S20)通过摄像单元10拍摄车辆1的周围。
(步骤S30)在图像变换合成单元20中，将摄像单元10所拍摄的图像变换为俯瞰图，进而合成为图4A所示的1张图像I。
(步骤S40)在边缘对检测单元32中，从图像I中检测构成+边缘和－边缘的边缘构成点。
(步骤S50)进而，在中心线检测单元34中，检测由+边缘和－边缘的中点构成的中心线M。
(步骤S60)在对称性评价单元43中，计算基于检测到的白线候选区域的亮度分布的对称性的停车框相似度。详细的处理内容已在前面叙述，所以省略。
(步骤S70)在亮度差评价单元44中，计算基于检测到的白线候选区域的亮度差的停车框相似度。详细的处理说明已在前面叙述，所以省略。
(步骤S80)在左右差评价单元45中，计算基于检测到的白线候选区域的亮度的左右差的停车框相似度。详细的处理说明已在前面叙述，所以省略。
(步骤S90)在停车框检测单元60中，从图像I中检测停车框。详细的处理内容已在前面叙述，所以省略。
(步骤S95)进行了步骤S90的结果，判断是否发现了停车框。在发现了停车框时进至步骤S100，在未发现停车框时，返回步骤S10。
(步骤S100)在停车框检测单元60中，从由图像I中检测到的全部停车框的可靠性中，将最低的可靠性设为图像I中的停车框的可靠性Ui。
(步骤S110)判断所计算出的可靠性Ui与U4相等，还是Ui与U3相等。在Ui与U4或U3的任意一个相等时，进至步骤S120，除此之外进至步骤S150。
(步骤S120)在信息输出单元90的作用下，通过画面显示或者声音引导输出旨在提起注意以便在停车场中不搞错油门操作和刹车操作的信息而引起驾驶员的注意。
(步骤S130)在油门开度检测单元70中，判断油门开度是否为规定值以上。在油门开度为规定值以上时进至步骤S140，在油门开度不满规定值时，返回步骤S10。
(步骤S140)在车辆运行情况控制单元80中，进行与可靠性U4或者U3相应的发动机输出的抑制控制。该控制的内容如前所述。之后，返回步骤S10。
(步骤S150)判断所计算出的可靠性Ui是否与U2相等。在Ui与U2相等时，进至步骤S160，除此之外返回步骤S10。
(步骤S160)从信息输出单元90通过画面显示或者声音引导输出旨在提起注意以便在停车场中不搞错油门操作和刹车操作的信息而引起驾驶员的注意。之后，返回步骤S10。
如以上说明的那样，按照这样构成的本发明的一个实施方式的车载图像处理装置5，设置在车辆1上的摄像单元10拍摄车辆1的周围的至少包含路面的图像I，白线候选区域检测单元30在从左向右(规定的方向)扫描了摄像的图像I时，检测在图像I的亮度值亮的方向上变化大于亮度差阈值Ith(规定值)的第1像素的位置、以及位于离所述第1像素的间隔w为规定距离以内，且图像I的亮度值暗的方向上变化大于亮度差阈值Ith(规定值)的第2像素的位置，并且形成直线的由多个第1像素构成的线素的两端点和由多个第2像素构成的线素的两端点所包围的区域作为构成停车框的白线候选区域来检测，停车框相似度计算单元40计算这样检测到的白线候选区域和路面的边界点的周围的亮度分布，在该亮度分布越满足规定的条件时，判断为作为白线候选区域形成停车框的程度的停车框相似度越低，停车框检测单元60根据预想为能够在图像I中观测到的停车框的大小检测出停车框后，在构成停车框的白线候选区域的停车框相似度较低时，将检测到的停车框的可靠性U设定得低，所以可以防止路面上的干扰所导致的停车框的误检测，由此可以稳定地检测路面上绘制的停车框的位置。
而且，按照本发明的一个实施方式的车载图像处理装置5，在白线候选区域中，对连结了构成+边缘的第1像素和构成－边缘的第2像素的多个中点之间的中心线M，将中点沿着该中心线M移动时，亮度差评价单元44计算中点的亮度与从中点向第1像素的方向上离开距离W2(第1规定距离)的第3像素P11的亮度之差、以及中点的亮度与从中点向第2像素的方向上离开距离W2(第1规定距离)的第4像素P21的亮度之差，并评价其中至少一方比规定值小的中点是否相对于构成白线候选区域的中点的总数比规定的比例多。(亮度差评价指标)
而且，在中点沿着中心线M移动时，左右差评价单元45计算第3像素P11的亮度和第4像素P21的亮度之差，并评价该亮度之差为规定值以上不同的第3像素P11和第4像素P21的对是否相对于构成白线候选区域的中点的总数比规定的比例多。(亮度的左右差评价指标)
而且，对称性评价单元43设定从中点的位置向第1像素的方向离开了宽度W1(第2规定距离)的第5像素、以及从中点的位置向第2像素的方向离开了宽度W1(第2规定距离)的第6像素，并评价在中点沿着中心线M移动时连结中点和第5像素的线段所描绘的区域R1的内部的亮度分布与中点沿着中心线M移动时连结中点和第6像素的线段所描绘的区域R2的内部的亮度分布之差是否大于规定值。(对称性评价指标)
然后，在上述的三个评价指标中至少一个成立时，由于降低白线候选区域的停车框相似度，所以在由于路面上存在的干扰的影响而停车框的亮度分布产生了变化时，可以计算与该变化相应的停车框相似度，由此，可以判断检测到的停车框的可靠性。
而且，按照本发明的一个实施方式的车载图像处理装置5，停车框相似度计算单元40根据白线候选区域的周围的亮度分布，对白线候选区域检测单元30所检测到的白线候选区域分别评价对称性、亮度差、左右差，在对称性、亮度差、左右差中同时满足多个条件的情况下，与对称性、亮度差、左右差中仅满足其中一个条件的情况相比，进一步低地设定白线候选区域的停车框相似度来赋予可靠性Ui，所以可以更可靠地判定所检测到的白线候选区域的停车框相似度。
进而，按照本发明的一个实施方式的车载图像处理装置5，包括将摄像单元10所拍摄的图像变换为从正上方俯视车辆1的俯瞰图像(图像I)的图像变换合成单元20(图像变换单元)，白线候选区域检测单元30对图像变换单元20所变换的图像进行白线候选区域的检测，所以通过将路面上绘制的停车框变换为矩形区域，据此可以使用停车框的形状特征，容易地检测出图像I中的停车框。
实施例2
接着，说明作为第2实施例的实施例2。实施例2在实施例1的结构的基础上进一步附加用于检测车辆周围的立体物的立体物检测单元，当车辆的周围检测到立体物时，使用立体物的检测结果，计算白线候选区域的停车框相似度。
首先，使用图11至图13，说明实施例2的结构。实施例2所示的车载图像处理装置6被安装在车辆1上，如图11所示，除了为了从车辆1拍摄不同的4个方向的图像而设置的前方摄像机10A、左方摄像机10B、右方摄像机10C、后方摄像机10D以外，还包括在车辆1的4个角设置的、用于判断规定的测距范围内部有无立体物的测距传感器100A、100B、100C、100D。
测距传感器100A被安装在车辆1的右前部，并观测测距范围DA的内部。而且，测距传感器100B被安装在车辆1的左前部，并观测测距范围DB的内部。测距传感器100C被安装在车辆1的左后部，并观测测距范围DC的内部。并且，测距传感器100D被安装在车辆1的右后部，并观测测距范围DD的内部。
图12是表示车载图像处理装置6的整体结构的方框图。本车载图像处理装置6除了实施例1的结构以外，还包括测量至未图示的车辆1的周围的立体物的距离的上述的立体物检测单元100、以及汇总立体物检测单元100所检测到的立体物信息的立体物信息获取单元110。
而且，由于内部的结构变化，实施例1的白线候选区域检测单元30在实施例2中成为白线候选区域检测单元36，由于内部的结构变化，停车框相似度计算单元40在实施例2中成为停车框相似度计算单元50。
立体物检测单元100由超声波传感器和毫米波雷达等的测距传感器构成，用于检测先前说明的从测距范围DA至DD的内部的立体物的有无。
进而，白线候选区域检测单元36由用于检测预先设定的规定的方向上相邻的+边缘和－边缘的对的边缘对检测单元37、以及用于从各个白线候选区域中检测连结边缘对之间的线段的中点所构成的中心线的中心线检测单元34构成。
进而，停车框相似度计算单元50具有图13所示的结构。即，除了图3中说明的构成停车框相似度计算单元40的对称性评价单元43、亮度差评价单元44、左右差评价单元45以外，还包括用于评价立体物检测单元100所测量的立体物的存在相关的信息的立体物信息评价单元51、以及用于存储并管理各个评价值的停车框相似度管理单元52。
以下，关于实施例2的作用，以与实施例1存在差异的点为中心进行说明。而且，对于与实施例1的作用重复的部分，省略说明。
＜立体物信息的利用方法的说明＞
在评价了白线候选区域的附近的亮度分布的对称性、亮度差的大小、亮度的左右差之后，根据由立体物检测单元100所获取的车辆1的周边的立体物信息，进行停车框相似度的校正。
在摄像单元10的摄像范围内存在立体物时，在应拍摄不存在该立体物时的路面的亮度分布的位置中，被拍摄到立体物的亮度分布。因此，在图像I中所取得的亮度分布是表示与白线候选区域的亮度分布、路面的亮度分布不同的分布。
例如，在车辆1的近旁存在其它车辆时，在原本拍摄停车框的位置被拍摄到其它的车辆或其它的车辆的影子。因此，由于原本应成为白线候选区域的位置照进白线以外物体，或者，在白线上增加了其它车辆的影子，从而路面和白线的亮度差变小。
在这样的情况下，在实施例1中根据“对称性”、“亮度差”、“左右差”这三个评价指标计算停车框相似度，并根据该停车框相似度，设定所检测到的停车框的可靠性。
因此，在车辆1的近旁存在立体物时，停车框相似度变低，其结果，所检测到的停车框的可靠性成为较低的值。或者，不能检测停车框本身。
在本实施例中，这样在车辆1的近旁存在立体物时，通过与实施例1不同的方法实施白线候选区域的检测方法、停车框相似度的评价方法。
即，在车辆1的近旁存在立体物时，例如，存在将从路面竖立的杆子的影子误识别为白线的可能性。因此，在已知立体物存在时，设定用于检测白线候选区域的阈值，使得检测白线候选区域变得困难。这里，检测白线候选区域的阈值是检测+边缘和－边缘的亮度差阈值Ith和+边缘和－边缘的间隔w。
进而，在车辆1的近旁存在立体物时，也可以使检测停车框变得困难。在该情况下，只要设定作为停车框的形状特征的宽度和长度以及平行度，使得检测白线候选区域变得困难即可。
另一方面，即使在车辆1的近旁存在立体物，也有正确检测停车框的情况。但是，设想存在原本应被可靠地检测的停车框在如下状态下被检测的可能性，即，例如由于立体物的影子而对比度下降，并在停车框相似度低的状态下被检测的可能性。
因此，在检测到立体物时，即使设立基于上述的“对称性”、“亮度差”、“左右差”的标志，但将该标志忽视掉为好。在该情况下，即使设立标志，也不降低停车框相似度。
＜停车框的可靠性的计算效果的说明＞
使用图9说明通过计算上述的停车框的可靠性Ui而能够期待效果的具体情况。
这里，说明被写为图9的最右列“声纳的利用”的栏。
首先，通过检测立体物的存在而探测得知从路面竖立的物体存在的情况，所以可以设定用于检测白线候选区域的阈值，使得检测白线候选区域变得困难。据此，可以防止例如在从路面垂直地竖立的立体物中将杆子或其它车辆的车轮、还根据情况将树丛误识别为停车框的现象。
而且，对于为非垂直立体物的车体花纹或车体壁面，通过设定用于检测白线候选区域的阈值，使得检测白线候选区域变得困难，也可以防止将它们误识别为白线候选区域的现象。
进而，虽然有由于作为立体物的其它车辆的影子而白线候选区域检测变得困难的情况，但是通过即使在从白线候选区域计算的停车框相似度低的情况下，也特意不降低停车框相似度，从而即使是被影子覆盖的停车框，也可以进行检测。
＜实施例2的作用的说明＞
接着，使用图14的流程图说明实施例2的车载图像处理装置6的一系列动作的流程。
(步骤S200)根据在图12中未图示的车速传感器的输出，检测出车辆1的车速。然后，判断所检测到的车速是否不为0且为预先设定的规定的车速以下。在判断为所检测到的车速不为0且为预先设定的规定的车速以下时进至步骤S210，除此之外结束图14的处理。
(步骤S210)通过摄像单元10拍摄车辆1的周围。
(步骤S220)在图像变换合成单元20中，将摄像单元10所拍摄的图像变换为俯瞰图，进而合成为图4A所示那样的1张图像I。
(步骤S222)判断构成立体物检测单元100的测距传感器100A、100B、100C、100D的任意一个中是否检测到立体物。在任意一个测距传感器中检测到立体物时进至步骤S230，在未检测到立体物时进至步骤S232。
(步骤S230)在边缘对检测单元37中，从图像I中检测构成+边缘和－边缘的边缘构成点。而且，这时，在图像I1，I2，I3，I4中，在与检测到立体物的方向对应的图像中设定用于检测+边缘和－边缘的亮度差阈值Ith以及+边缘和－边缘的间隔w，使得检测白线候选区域变得困难。
(步骤S232)在边缘对检测单元37中，从图像I中检测构成+边缘和－边缘的边缘构成点。而且，这时，用于检测+边缘和－边缘的亮度差阈值Ith以及+边缘和－边缘的间隔w设定为规定的值，不进行使检测白线候选区域变得困难的设定。
(步骤S240)在中心线检测单元34中，检测由+边缘和－边缘的中点所构成的中心线M。
(步骤S250)在对称性评价单元43中，计算基于检测到的白线候选区域的亮度分布的对称性的停车框相似度。详细的处理内容已在前面叙述，所以省略。
(步骤S260)在亮度差评价单元44中，计算基于检测到的白线候选区域的亮度差的停车框相似度。详细的处理内容已在前面叙述，所以省略。
(步骤S270)在左右差评价单元45中，计算基于检测到的白线候选区域的亮度的左右差的停车框相似度。详细的处理内容已在前面叙述，所以省略。
(步骤S290)在停车框检测单元60中，从图像I中检测停车框。详细的处理内容已在前面叙述，所以省略。
(步骤S300)判断构成立体物检测单元100的测距传感器100A、100B、100C、100D的任意一个中是否检测到立体物。在任意一个测距传感器中检测到立体物时进至步骤S310，在未检测到立体物时进至步骤S320。
(步骤S310)在停车框检测单元60中，从图像I中检测到的全部停车框的可靠性中，将最低的可靠性设为图像I中的停车框的可靠性Ui。而且，这时即使设立基于“对称性”、“亮度差”、“左右差”的标志，在图像I1，I2，I3，I4中，在与检测到立体物的方向对应的图像中忽略该标志而使白线候选区域的停车框相似度不降低。
(步骤S320)在停车框检测单元60中，从图像I中检测到的全部停车框的可靠性中，将最低的可靠性设为图像I中的停车框的可靠性Ui。而且，这时，如果设立了基于“对称性”、“亮度差”、“左右差”的标志，则根据该标志，使白线候选区域的停车框相似度降低。
(步骤S330)判断所计算出的可靠性Ui与U4相等，还是Ui与U3相等。在Ui与U4或U3的其中一个相等时，进至步骤S340，除此之外进至步骤S350。
(步骤S340)从信息输出单元90通过画面显示或者声音引导输出旨在提起注意以便在停车场中不搞错油门操作和刹车操作的信息而引起驾驶员的注意。
(步骤S370)在油门开度检测单元70中，判断油门开度是否为规定值以上。在油门开度为规定值以上时进至步骤S380，在油门开度不足规定值时，返回步骤S200。
(步骤S380)在车辆运行情况控制单元80中，进行与可靠性U4或者U3相应的发动机输出的抑制控制。该控制的内容如前所述。之后，返回步骤S200。
(步骤S350)判断所计算出的可靠性Ui是否与U2相等。在Ui与U2相等时，进至步骤S360，除此之外返回步骤S200。
(步骤S360)从信息输出单元90通过画面显示或者声音引导输出旨在提起注意以便在停车场中不搞错油门操作和刹车操作的信息而引起驾驶员的注意。之后，返回步骤S200。
如以上说明的那样，根据这样构成的本发明的一个实施方式的车载图像处理装置6，具有设置在车辆1上且用于检测摄像单元10的摄像范围内有无立体物的立体物检测单元100，在立体物检测单元100中检测到立体物时，在与立体物检测范围相当的图像I的区域内，设定亮度差阈值Ith和间隔w，使得白线候选区域检测单元36检测白线候选区域变得困难，并且即使白线候选区域满足规定的条件，也不变更白线候选区域的停车框相似度，所以即使在车辆1的近旁存在立体物的情况下，也能够可靠地检测到路面上绘制的停车框的位置。
以上，通过附图详细叙述了本发明的实施例，但是实施例只不过是本发明的示例，所以本发明不是仅限定于实施例的结构，即使是不超出本发明的宗旨的范围的设计的变更等，当然也包含在本发明中。
与关联申请的相互参照
本申请要求基于2012年11月27日向日本专利局提出申请的特愿2012－258697号的优先权，其全部的公开内容通过参照完全并入本说明书中。
标号的说明
5车载图像处理装置
10摄像单元
10A前方摄像机
10B左方摄像机
10C右方摄像机
10D后方摄像机
20图像变换合成单元(图像变换单元)
30白线候选区域检测单元
32边缘对检测单元
34中心线检测单元
40停车框相似度计算单元
60停车框检测单元
70油门开度检测单元
80车辆运行情况控制单元
90信息输出单元

Claims (7)

1.一种车载图像处理装置，其特征在于，包括：
摄像单元，被设置在车辆上，观测所述车辆的周围，并拍摄至少包含路面的图像；
白线候选区域检测单元，在规定的方向上扫描了由所述摄像单元所拍摄的图像时，检测在亮度值亮的方向上变化大于规定值的第1像素的位置、以及在距所述第1像素规定距离以内且在亮度值暗的方向上变化大于规定值的第2像素的位置，并且将形成直线的由多个所述第1像素构成的线素的两端点和由多个所述第2像素构成的线素的两端点所包围的区域，作为构成停车框的白线候选区域来检测；
停车框相似度计算单元，根据构成所述白线候选区域的多个所述第1像素周围的亮度分布和多个所述第2像素周围的亮度分布，计算设想为各个所述白线候选区域构成停车框时的停车框相似度；以及
停车框检测单元，根据所述白线候选区域的位置、所述停车框相似度、以及预想为能够在所述图像中观测到的停车框的大小，检测停车框，
在构成所述白线候选区域的多个第1像素周围的亮度分布和多个第2像素周围的亮度分布满足规定的条件时，所述停车框相似度计算单元降低所述白线候选区域的停车框相似度。
2.如权利要求1所述的车载图像处理装置，其特征在于，
所述车载图像处理装置包括：设置在所述车辆上的立体物检测单元，用于检测所述摄像单元的摄像范围内的立体物的有无，
在所述立体物检测单元中检测到立体物时，在与立体物检测范围相当的所述图像的区域内，设定所述规定值和所述规定距离，使得所述白线候选区域检测单元检测白线候选区域变得困难，即使所述白线候选区域满足所述规定的条件，也不变更所述白线候选区域的停车框相似度。
3.如权利要求1或2所述的车载图像处理装置，其特征在于，
所述规定的条件是以下情况中的至少其中一个：
对在白线候选区域中连结了多个所述第1像素和多个所述第2像素的中点之间的中心线，
在所述中点沿着所述中心线移动时，所述中点的亮度与从所述中点向所述第1像素的方向离开了第1规定距离的第3像素的亮度之差、以及所述中点的亮度与从所述中点向所述第2像素的方向离开了第1规定距离的第4像素的亮度之差中的至少一方小于规定值的中点，相对于构成所述白线候选区域的中点的总数比规定的比例多时；
在所述中点沿着所述中心线移动时，所述第3像素的亮度和所述第4像素的亮度之差为规定值以上不同的第3像素和第4像素的对，相对于构成所述白线候选区域的中点的总数比规定的比例多时；以及
设定从所述中点的位置向所述第1像素的方向离开了第2规定距离的第5像素、和从所述中点的位置向所述第2像素的方向离开了第2规定距离的第6像素，在所述中点沿着所述中心线移动时连结所述中点和所述第5像素的线段所描绘的区域内部的亮度分布与使所述中点沿着所述中心线移动时连结所述中点和所述第6像素的线段所描绘的区域内部的亮度分布之差大于规定值时。
4.如权利要求3所述的车载图像处理装置，其特征在于，
在满足所述规定的条件中的多个条件的情况下，所述停车框相似度计算单元将所述白线候选区域的停车框相似度比仅满足一个所述规定的条件的情况设定得低。
5.如权利要求1或2所述的车载图像处理装置，其特征在于，
所述车载图像处理装置具有将所述摄像单元所拍摄的图像变换为从正上方俯视所述车辆的俯瞰图像的图像变换单元，所述白线候选区域检测单元对由所述图像变换单元所变换的图像进行白线候选区域的检测。
6.如权利要求3所述的车载图像处理装置，其特征在于，
所述车载图像处理装置具有将所述摄像单元所拍摄的图像变换为从正上方俯视所述车辆的俯瞰图像的图像变换单元，所述白线候选区域检测单元对由所述图像变换单元所变换的图像进行白线候选区域的检测。
7.如权利要求4所述的车载图像处理装置，其特征在于，
所述车载图像处理装置具有将所述摄像单元所拍摄的图像变换为从正上方俯视所述车辆的俯瞰图像的图像变换单元，所述白线候选区域检测单元对由所述图像变换单元所变换的图像进行白线候选区域的检测。
CN201380061342.8A 2012-11-27 2013-11-21 车载图像处理装置 Active CN104822566B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012258697 2012-11-27
JP2012-258697 2012-11-27
PCT/JP2013/081403 WO2014084118A1 (ja) 2012-11-27 2013-11-21 車載画像処理装置

Publications (2)

Publication Number Publication Date
CN104822566A CN104822566A (zh) 2015-08-05
CN104822566B true CN104822566B (zh) 2016-07-06

Family

ID=50827756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380061342.8A Active CN104822566B (zh) 2012-11-27 2013-11-21 车载图像处理装置

Country Status (5)

Country Link
US (1) US9378425B2 (zh)
EP (1) EP2927060B1 (zh)
JP (1) JP6023216B2 (zh)
CN (1) CN104822566B (zh)
WO (1) WO2014084118A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6307895B2 (ja) * 2014-01-23 2018-04-11 トヨタ自動車株式会社 車両用周辺監視装置
JP2015200976A (ja) * 2014-04-04 2015-11-12 富士通株式会社 移動量推定装置、移動量推定方法、およびプログラム
JP6362442B2 (ja) 2014-06-13 2018-07-25 富士通株式会社 車線境界線抽出装置、車線境界線抽出方法、及びプログラム
KR102176775B1 (ko) * 2014-07-02 2020-11-09 현대모비스 주식회사 어라운드 뷰 시스템 및 그 동작방법
JP6318999B2 (ja) * 2014-09-04 2018-05-09 株式会社Ｓｏｋｅｎ 駐車スペース認識装置、駐車スペース認識システム
DE102015209147A1 (de) * 2015-05-19 2016-11-24 Hella Kgaa Hueck & Co. Verfahren zur Parkflächenerkennung
US9679485B2 (en) * 2015-09-11 2017-06-13 International Business Machines Corporation Determining a parking position based on visual and non-visual factors
BR112018008270B1 (pt) * 2015-10-22 2023-03-21 Nissan Motor Co., Ltd Dispositivo e método de detecção de linha de vaga de estacionamento
US10169994B2 (en) 2017-02-02 2019-01-01 International Business Machines Corporation Vehicular collaboration for vehicular parking area availability detection
US10871380B2 (en) * 2017-03-23 2020-12-22 Hitachi Automotive Systems, Ltd. Vehicle control device
US10140530B1 (en) 2017-08-09 2018-11-27 Wipro Limited Method and device for identifying path boundary for vehicle navigation
JP6924269B2 (ja) * 2017-09-29 2021-08-25 日立Astemo株式会社 駐車支援装置
JP7072641B2 (ja) * 2018-04-16 2022-05-20 三菱電機株式会社 路面検出装置、路面検出装置を利用した画像表示装置、路面検出装置を利用した障害物検知装置、路面検出方法、路面検出方法を利用した画像表示方法、および路面検出方法を利用した障害物検知方法
JP7131131B2 (ja) * 2018-06-29 2022-09-06 マツダ株式会社 車両用ライン検出装置および該方法
JP7246167B2 (ja) * 2018-11-14 2023-03-27 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
JP7236857B2 (ja) 2018-12-14 2023-03-10 株式会社デンソーテン 画像処理装置および画像処理方法
JP2020095624A (ja) 2018-12-14 2020-06-18 株式会社デンソーテン 画像処理装置、および画像処理方法
JP7141940B2 (ja) * 2018-12-14 2022-09-26 株式会社デンソーテン 画像処理装置および画像処理方法
JP7359541B2 (ja) 2018-12-14 2023-10-11 株式会社デンソーテン 画像処理装置および画像処理方法
JP7203587B2 (ja) 2018-12-14 2023-01-13 株式会社デンソーテン 画像処理装置および画像処理方法
JP7195131B2 (ja) 2018-12-14 2022-12-23 株式会社デンソーテン 画像処理装置および画像処理方法
JP2020095623A (ja) 2018-12-14 2020-06-18 株式会社デンソーテン 画像処理装置および画像処理方法
JP7203586B2 (ja) 2018-12-14 2023-01-13 株式会社デンソーテン 画像処理装置および画像処理方法
JP2020095620A (ja) 2018-12-14 2020-06-18 株式会社デンソーテン 画像処理装置および画像処理方法
JP7252750B2 (ja) 2018-12-14 2023-04-05 株式会社デンソーテン 画像処理装置および画像処理方法
JP7226986B2 (ja) 2018-12-14 2023-02-21 株式会社デンソーテン 画像処理装置および画像処理方法
JP2020095631A (ja) 2018-12-14 2020-06-18 株式会社デンソーテン 画像処理装置および画像処理方法
WO2020132332A1 (en) * 2018-12-19 2020-06-25 Joby Aero, Inc. Vehicle navigation system
JP7296768B2 (ja) * 2019-04-22 2023-06-23 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
JP7341730B2 (ja) * 2019-05-30 2023-09-11 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
JP7446830B2 (ja) 2020-01-30 2024-03-11 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
JP2021136687A (ja) * 2020-02-27 2021-09-13 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
CN111739043B (zh) * 2020-04-13 2023-08-08 北京京东叁佰陆拾度电子商务有限公司 一种停车位绘制方法、装置、设备和存储介质
JP2022010577A (ja) * 2020-06-29 2022-01-17 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
JP2023148817A (ja) * 2022-03-30 2023-10-13 パナソニックＩｐマネジメント株式会社 駐車支援システムおよび駐車支援方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1883242A1 (en) * 2005-05-20 2008-01-30 Toyota Jidosha Kabushiki Kaisha Image processor for vehicles
JP2010183234A (ja) * 2009-02-04 2010-08-19 Panasonic Corp 描画装置
CN101844545A (zh) * 2009-03-25 2010-09-29 株式会社电装 车辆周边显示装置和用于车辆周边图像的方法
JP2011154480A (ja) * 2010-01-26 2011-08-11 Fujitsu Ltd 車線検出プログラム及び車線検出装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0656619B2 (ja) 1986-12-05 1994-07-27 日産自動車株式会社 白線検出装置
JP2002170103A (ja) * 2000-12-01 2002-06-14 Nissan Motor Co Ltd 駐車スペース地図作成装置および駐車スペース地図表示装置
JP3692082B2 (ja) * 2002-01-23 2005-09-07 トヨタ自動車株式会社 駐車支援装置
US7085634B2 (en) * 2003-04-11 2006-08-01 Toyota Jidosha Kabushiki Kaisha Parking assist apparatus and parking assist method for vehicle
JP4235026B2 (ja) * 2003-04-28 2009-03-04 トヨタ自動車株式会社 駐車支援装置
JP4380655B2 (ja) * 2006-04-25 2009-12-09 トヨタ自動車株式会社 駐車支援装置及び駐車支援方法
JP2008143430A (ja) * 2006-12-12 2008-06-26 Toyota Motor Corp 駐車支援装置
JP4428390B2 (ja) * 2007-02-15 2010-03-10 トヨタ自動車株式会社 駐車支援装置及び駐車支援方法
JP4900232B2 (ja) * 2007-12-26 2012-03-21 日産自動車株式会社 車両用駐車支援装置および映像表示方法
KR20090088210A (ko) * 2008-02-14 2009-08-19 주식회사 만도 두 개의 기준점을 이용한 목표주차위치 검출 방법과 장치및 그를 이용한 주차 보조 시스템
JP4970516B2 (ja) * 2009-09-30 2012-07-11 日立オートモティブシステムズ株式会社 周囲確認支援装置
JP5527587B2 (ja) 2009-12-18 2014-06-18 スズキ株式会社 駐車支援装置
JP5491235B2 (ja) * 2010-03-02 2014-05-14 東芝アルパイン・オートモティブテクノロジー株式会社 カメラキャリブレーション装置
US8773285B2 (en) * 2010-12-28 2014-07-08 Automotive Research & Test Center Parking pilot method and device
JP2012176641A (ja) * 2011-02-25 2012-09-13 Suzuki Motor Corp 駐車枠検出装置
JP5798392B2 (ja) * 2011-06-27 2015-10-21 クラリオン株式会社 駐車支援装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1883242A1 (en) * 2005-05-20 2008-01-30 Toyota Jidosha Kabushiki Kaisha Image processor for vehicles
JP2010183234A (ja) * 2009-02-04 2010-08-19 Panasonic Corp 描画装置
CN101844545A (zh) * 2009-03-25 2010-09-29 株式会社电装 车辆周边显示装置和用于车辆周边图像的方法
JP2011154480A (ja) * 2010-01-26 2011-08-11 Fujitsu Ltd 車線検出プログラム及び車線検出装置

Also Published As

Publication number Publication date
JPWO2014084118A1 (ja) 2017-01-05
EP2927060B1 (en) 2019-05-08
JP6023216B2 (ja) 2016-11-09
EP2927060A1 (en) 2015-10-07
EP2927060A4 (en) 2016-03-30
CN104822566A (zh) 2015-08-05
WO2014084118A1 (ja) 2014-06-05
US20150317526A1 (en) 2015-11-05
US9378425B2 (en) 2016-06-28

Similar Documents

Publication Publication Date Title
CN104822566B (zh) 车载图像处理装置
CN104781829B (zh) 用于识别车辆在车道上的位置的方法和设备
CN107392103B (zh) 路面车道线的检测方法及装置、电子设备
JP5761601B2 (ja) 物体識別装置
CN104246821B (zh) 三维物体检测装置和三维物体检测方法
US10438081B2 (en) Automatic feature point detection for calibration of multi-camera systems
CN103770704A (zh) 用于识别车辆的停车位标志线的系统和方法
CN105006175B (zh) 主动识别交通参与者的动作的方法和系统及相应的机动车
JP2004112144A (ja) 前方車両追跡システムおよび前方車両追跡方法
JP5071198B2 (ja) 信号機認識装置，信号機認識方法および信号機認識プログラム
DE102007000420A1 (de) Fahrzeuginterne Einrichtung zum Erfassen von Fahrzeugen und Vorrichtung zum Steuern von Scheinwerfern durch Verwenden der Einrichtung
JP2011118509A (ja) 道路認識装置
JP6907513B2 (ja) 情報処理装置、撮像装置、機器制御システム、情報処理方法およびプログラム
JP4032843B2 (ja) 監視システムおよび監視方法、当該監視システムにおける距離補正装置および距離補正方法
JP2019139420A (ja) 立体物認識装置、撮像装置および車両
JP2006318059A (ja) 画像処理装置、画像処理方法、および画像処理用プログラム
US20150379372A1 (en) Object recognition apparatus
JP4936045B2 (ja) 車体色判別装置、方法及びプログラム
JP5189556B2 (ja) 車線検出装置
CN102713511A (zh) 车辆用距离计算装置
JP5434277B2 (ja) 走行支援装置および走行支援方法
JP6844223B2 (ja) 情報処理装置、撮像装置、機器制御システム、情報処理方法およびプログラム
JP5903901B2 (ja) 車両位置算出装置
CN109923586A (zh) 停车框识别装置
JP2018092603A (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Saitama Prefecture, Japan

Patentee after: Faurecia Gele Electronics Co.,Ltd.

Patentee after: NISSAN MOTOR Co.,Ltd.

Address before: Saitama Prefecture, Japan

Patentee before: Clarion Co.,Ltd.

Patentee before: NISSAN MOTOR Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231031

Address after: Kanagawa

Patentee after: NISSAN MOTOR Co.,Ltd.

Address before: Saitama Prefecture, Japan

Patentee before: Faurecia Gele Electronics Co.,Ltd.

Patentee before: NISSAN MOTOR Co.,Ltd.