CN101978392A - 车辆用图像处理装置和图像处理程序 - Google Patents

车辆用图像处理装置和图像处理程序 Download PDF

Info

Publication number
CN101978392A
CN101978392A CN2009801099079A CN200980109907A CN101978392A CN 101978392 A CN101978392 A CN 101978392A CN 2009801099079 A CN2009801099079 A CN 2009801099079A CN 200980109907 A CN200980109907 A CN 200980109907A CN 101978392 A CN101978392 A CN 101978392A
Authority
CN
China
Prior art keywords
image
pixel
pixel value
value
nuclear
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801099079A
Other languages
English (en)
Other versions
CN101978392B (zh
Inventor
坂本洋介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2008081332A external-priority patent/JP4876277B2/ja
Priority claimed from JP2008080728A external-priority patent/JP4956841B2/ja
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN101978392A publication Critical patent/CN101978392A/zh
Application granted granted Critical
Publication of CN101978392B publication Critical patent/CN101978392B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种车辆用图像处理装置和图像处理程序。通过对车辆周边拍摄图像进行处理，降低路面上辉度和颜色变动的影响，从而根据该图像精度良好地检测出车辆行驶道路上的车道标志。由此，车辆用图像处理装置(10)具有：核设定机构(12)，其对摄像机构(2)所获取的图像设定多个宽度假定在车道标志宽度和道路宽度之间的平滑用核；图像平滑机构(13)，其通过过滤处理平滑获取的图像，该过滤处理采用所述设定的图像平滑用核；变化量计算机构(14)，其计算获取的图像和平滑后的图像之间各像素的像素值的变化量；像素值置换机构(15)，其将获取的图像中变化量为规定值以下的像素的像素值置换为特定的值。

Description

车辆用图像处理装置和图像处理程序
技术领域
本发明涉及一种对摄像机构所拍摄的车辆周围的图像进行处理的装置以及用于通过计算机执行该装置的处理的程序。
背景技术
现有技术中，公知有如下一种技术，即，通过对摄像机构所拍摄的车辆周围的图像进行处理，以识别车辆行驶道路上的白线等车道标志以及车辆周围的行人、其他车辆等对象物(例如，参照日本发明专利公开公报特开平7-200997号)。采用该技术，可根据车道标志以及对象物的识别结果，给驾驶员以信息提示以及控制车辆的行驶状况。
在公知技术的车辆用环境识别装置中，每个处理周期都会输入搭载在车辆上的摄像机所拍摄的车辆前方的图像，并在该图像内设定处理对象的窗口，以窗口下端部分的颜色作为相当于路面区域(道路内除白线以外的区域)的基准色，将与该基准色颜色接近(颜色的类似度比规定值大)的区域作为路面区域，从而将路面区域与非路面区域(白线和道路之外的区域)分开。此外，所述装置以从分开的路面区域的左右分界获得的直线作为白线的边缘部分，由此检测白线。此时，采用基于上一个处理周期中检测出的两根白线的位置、或者道路宽度和行驶车道宽度等规定的道路信息的固定值，在图像内设定一个窗口。
然而，路面上可能存例如有路面维修痕迹、局部的阴影的情况。而且，维修痕迹往往与周围路面存在局部颜色不同。此外，局部的阴影部分也仅被散射光照而带了颜色，从而导致与周围路面的颜色出现偏差。
因此，上述公知技术的车辆用环境识别装置中，在窗口内，由于与局部的维修痕迹和阴影相应的部分与基准色相背离，从而会作为非路面区域而与路面区域分开，并根据分界检测白线，因此，可能会出现误检测。就这一点而言，不仅是颜色出现上述偏差的情况下如此，在辉度出现这样的偏差时也一样。
此外，也存在如下情况：例如，随着时间的变化等，路面颜色在路面区域内出现不同的分布；以及由于地区的不同，路面颜色最初就未统一规定，在路面区域内具有不同的分布。因此，可以设想在路面区域内存在有与周围的颜色不同且范围较大的局部区域。若存在这样的局部区域，则难以像上述公知技术的装置那样，以窗口下端部分的颜色作为路面的基准色，将路面区域和非路面区域分开。
即，在路面区域内的颜色未统一规定的情况下，难以适当地设定基准色以及与基准色颜色相近的条件，若设定得太宽，则会连车道标志都包含在路面区域内，相反，若设定得太窄，则会将上述部分区域作为非路面区域而与路面区域分开。若像这样错误地获得路面区域和非路面区域的分界，则会根据该错误地获得的分界检测白线和前方车辆等，因此可能会出现误检测。就这一点而言，不仅对颜色未统一规定的情形如此，对辉度未统一规定的情形也一样。
发明内容
本发明是鉴于上述技术背景而作出的，目的在于对拍摄到的车辆周围的图像进行处理，以降低路面上辉度和颜色变动所产生的影响，从而可根据该图像以良好的精度检测车辆行驶道路上的车道标志。
本发明提供一种车辆用图像处理装置，其对搭载在车辆上的摄像机构所获取的图像进行处理，检测该车辆行驶道路上的车道标志，该车辆用图像处理装置具有：核设定机构，其对所述摄像机构所获取的图像设定核的尺寸，使规定方向的宽度比车道标志的图像部分的该规定方向的宽度大且在规定范围内；图像平滑机构，其通过过滤处理分别平滑所述获取的图像，该过滤处理采用了尺寸为所述核设定机构所设定尺寸的图像平滑用核；变化量计算机构，其计算所述获取的图像相对于所述图像平滑机构平滑后的图像而言各像素的像素值的变化量；像素值置换机构，其将所述获取的图像中所述变化量为规定值以下的像素的像素值置换为特定的值；车道标志检测机构，其根据由所述像素值置换机构置换像素值后的图像检测所述车道标志。
采用第1发明的车辆用图像处理装置，通过核设定机构设定核的尺寸，通过图像平滑机构以过滤处理对获取的图像进行平滑，该过滤处理采用了该设定的尺寸的图像平滑用核。在图像平滑机构进行平滑时，针对图像内的各像素进行如下处理，即，以该像素为中心像素设置图像平滑用核，并将图像平滑用核的范围内所有像素的像素平均值作为中心像素的像素值。由此，图像内的像素值的变化幅度变窄，获得对比度较低的图像。
此时，采用核来对道路的图像进行平滑，该核的尺寸是通过核设定机构以如下方式设定的，即，使规定方向的宽度为比车道标志的图像部分的该规定方向的宽度大的规定范围内。由此，在以车道标志、局部的维修痕迹或阴影等图像部分的像素为中心像素设置核时，核的范围内较多包含周围路面的图像部分。因此，平滑后的图像中，构成路面上局部维修痕迹、阴影的图像部分和车道标志的图像部分的像素的像素值，为与构成周围路面的图像部分的像素的像素值接近的像素值。
此外，对于路面的图像部分，也包括在路面区域内具有与周围像素值不同且范围较大的部分区域的情况，由此，可以设想路面的图像部分以及部分区域的尺寸比车道标志的图像部分大。因此，在以路面的图像部分以及部分区域的像素作为中心像素而设置核时，核的范围内较多包含路面的图像部分以及部分区域。从而，路面的图像部分以及部分区域受平滑处理的影响较小，平滑后的图像保持了平滑前的图像的像素值。
因此，通过变化量计算机构计算获取的图像相对于图像平滑机构平滑后的图像而言各像素的像素值的变化量时，在像素值比路面的图像部分大的车道标志的图像部分，变化量为正的较大的值，在像素值比路面的图像部分小的局部维修痕迹或阴影的图像部分，变化量为较小的值(包括负值)。另一方面，路面的图像部分中，也有像素值与周围不同且范围较大的部分区域，平滑前后像素值的变化较小，变化量为较小的值(包括负值)。
因此，通过像素值置换机构，将获取的图像中变化量为规定值以下的像素的像素值置换为特定的值。此处，特定的值是指，预先确定的固定值(例如，比车道标志的图像部分的像素值的可取值足够小的值，例如0)，或者，所述平滑后的图像中所述变化量为规定值以下的像素所对应的像素的像素值。
由此，含有像素值与周围不同的部分区域的路面的图像部分、局部维修痕迹或阴影的图像部分中像素的像素值置换为特定的值，车道标志的图像部分的像素的像素值保持原值。从而，通过像素值置换机构置换像素值后的图像中，只剩下车道标志的图像部分，因此，车道标志检测机构利用该置换后的图像来检测车道标志。由此，可精度良好地检测出车道标志。
本发明的车辆用图像处理装置中，优选的是，所述核设定机构如下这样设定该核的尺寸，即，所述道路的规定区域离所述车辆的距离越远，对所述图像上的该规定区域的图像部分设定的所述核的尺寸就越小。    
采用该优选实施方式，实际空间内道路的规定区域离车辆的距离越远，图像上该规定区域的图像部分的尺寸就越小。从而，如下这样设定该核的尺寸：道路的规定区域离车辆的距离越远，对图像上该规定区域的图像部分设定的核的尺寸就越小。由此，当在图像上的各位置以车道标志、局部维修痕迹和阴影等图像部分的像素为中心像素配置核时，核的范围内较多包含周围路面的图像部分。
本发明的车辆用图像处理装置中，优选的是，所述核设定机构将所述核的形状设定为长方形或梯形。
采用该优选实施方式，车辆行驶道路上的白线和黄线等车道标志的形状为线状。从而，通过将图像平滑用核设定为长方形或梯形，可将图像平滑用核配置得与车道标志的图像部分的形状一致。
此外，优选的是，所述核设定机构如下这样设定该核的朝向，即，使长方形或梯形的所述核的长边的中心线相对于图像上与所述车辆的行进方向相对应的方向的倾斜度为规定角度。
可以设想拍摄是按如下方式进行的：车辆行驶道路上的车道标志朝向图像上与车辆行进方向相对应方向上的消失点。从而，采用该优选实施方式，通过使所述核的长边的中心线相对于图像上与车辆行进方向相对应的方向的倾斜度为规定角度这样来设定核的朝向，可将图像平滑用核设定得与车道标志的图像部分的朝向一致。
本发明的车辆用图像处理装置中，优选的是，所述变化量计算机构用从所述获取的图像中减去所述平滑后的图像而获得的各像素的像素值的差作为变化量，或者用该获取的图像除以该平滑后的图像而获得的各像素的像素值之比作为变化量。
采用该优选实施方式，从获取的图像中减去平滑后的图像所获得的各像素的像素值的差、或者用获取的图像除以平滑后的图像所获得的各像素的像素值之比，为表示像素值的变化量的值，因此，可采用他们的差或比值通过像素值置换机构适当置换图像的像素值。
本发明的车辆用图像处理装置中，优选的是，通过所述图像平滑机构所平滑的所述图像为以辉度作为像素值的图像。
采用该优选实施方式，可以想见明亮的白色、黄色的车道标志的图像部分和较暗的灰色、棕色的路面的图像部分以及较暗的局部维修痕迹、阴影的图像部分中的辉度不同，因此，对以辉度作为像素值的图像置换像素值，通过将局部维修痕迹和阴影的图像部分去除，只剩下车道标志的图像部分，由此，可根据该置换后的图像精度良好地检测出车道标志的图像部分。
或者优选的是，通过所述图像平滑机构所平滑的所述图像为以根据彩色图像的彩色成分所计算出的辉度或彩度作为像素值的图像。
采用该优选实施方式，可以想见明亮的白色、黄色的车道标志的图像部分和较暗的灰色、棕色的路面的图像部分以及较暗的局部维修痕迹、阴影的图像部分中的辉度不同，因此，对以辉度或彩度作为像素值的图像置换像素值，通过将局部维修痕迹和阴影的图像部分取出，只剩下车道标志的图像部分，由此，可根据该置换后的图像精度良好地检测出车道标志的图像部分。
本发明的车辆用图像处理装置中，优选的是，具有车道标志检测机构，在所述特定值为预先确定的固定值的情况下，其将由所述像素值置换机构置换后的图像中、由像素值为非所述固定值的像素构成的区域作为所述车辆行驶道路上的车道标志的图像部分来进行检测。
采用该优选实施方式，置换后的图像中，车道标志以外的图像部分的像素值置换为固定值，因此，可通过车道标志检测机构将该置换后的图像中由像素值为非固定值的像素构成的区域作为车道标志的图像部分来进行检测。从而，通过车道标志检测机构，不需要进行边缘抽出处理等，就能容易地检测出车辆行驶道路上的车道标志。  此外，本发明提供一种车辆，其具有摄像机构，且具有对该摄像机构所获取的图像进行处理，以检测行驶道路上的车道标志的功能。
该车辆具有：核设定机构，其对所述摄像机构所获取的图像设定核的尺寸，使规定方向的宽度比车道标志的图像部分的该规定方向的宽度大且在规定范围内；图像平滑机构，其通过过滤处理平滑所述获取的图像，该过滤处理采用了尺寸为所述核设定机构所设定尺寸的图像平滑用核；变化量计算机构，其计算所述获取的图像相对于所述图像平滑机构平滑后的图像而言各像素的像素值的变化量；像素值置换机构，其将所述获取的图像中所述变化量为规定值以下的像素的像素值置换为特定的值；车道标志检测机构，其根据由所述像素值置换机构置换像素值后的图像检测所述车道标志。
此处，特定的值是指，预先确定的固定值(例如，比车道标志的图像部分的像素值的可取值足够小的值，例如0)，或者，所述平滑后的图像中所述变化量为规定值以下的像素所对应的像素的像素值。
采用本发明的车辆，如就本发明的车辆用图像处理装置所说明的那样，通过核设定机构设定核的尺寸，使规定方向的宽度为比车道标志的图像部分的该规定方向的宽度大的规定范围内，并通过过滤处理对获取的图像进行平滑，该过滤处理采用了该设定的尺寸的图像平滑用核。由此，相对于平滑前的图像，平滑后的图像中，路面上的局部维修痕迹和阴影的图像部分以及车道标志的图像部分的像素值为与其周围路面的图像部分的像素值接近的值。此外，对于路面的图像部分，也包括像素值与路面的图像部分内的周围不同且范围较大的部分区域在内，平滑后的图像保持了平滑前的图像的像素值。
因此，在像素值置换机构置换像素值后的图像中，含有像素值与周围不同的部分区域的路面的图像部分、局部维修痕迹或阴影的图像部分中像素的像素值置换为特定的值，车道标志的图像部分的像素的像素值保持原值，由此，利用该置换后的图像来检测车道标志，可精度良好地检测出车道标志。
此外，本发明提供一种车辆用图像处理程序，其通过计算机执行如下处理，即，对搭载在车辆上的摄像机构所获取的图像进行处理，检测该车辆行驶道路上的车道标志。
该车辆用图像处理程序包括：核设定处理，其对所述摄像机构所获取的图像设定核的尺寸，使规定方向的宽度比车道标志的图像部分的该规定方向的宽度大且在规定范围内；图像平滑处理，其通过过滤处理分别平滑所述获取的图像，该过滤处理采用了尺寸为所述核设定处理所设定尺寸的图像平滑用核；变化量计算处理，其计算所述获取的图像相对于所述图像平滑处理平滑后的图像而言各像素的像素值的变化量；像素值置换处理，其将所述获取的图像中所述变化量为规定值以下的像素的像素值置换为特定的值；车道标志检测处理，其根据由所述像素值置换处理置换像素值后的图像检测所述车道标志。
此处，特定的值是指，预先确定的固定值(例如，比车道标志的图像部分的像素值的可取值足够小的值；例如0)，或者，所述平滑后的图像中、所述变化量为规定值以下的像素所对应的像素的像素值。
采用本发明的车辆用图像处理程序，可在计算机种执行可获得关于本发明的车辆用图像处理装置所说明的效果的处理。
附图说明
图1是表示本发明车辆用图像处理装置安装在车辆上的状态的示意图。
图2是本发明车辆用图像处理装置的构成图。
图3是表示第1实施方式的车辆用图像处理装置所进行的图像处理的流程图。
图4是表示图3的图像处理的处理图像例子的图。
图5是表示图3的图像处理的处理图像例子的图。
图6是关于图3的图像处理中的图像平滑用核的设定的示意图。
图7是关于图6的图像平滑用核的尺寸的示意图。
图8是设定图6中的图像平滑用核的朝向的示意图。
图9是表示第2实施方式的车辆用图像处理装置所进行的图像处理的流程图。
图10是表示图9的图像处理的处理图像例子的图。
图11是关于图9的图像处理中的图像平滑用核的设定的示意图。
图12是设定图11中的图像平滑用核的朝向的示意图。
具体实施方式
[第1实施方式]
下面，参照图1～图7对本发明的第1实施方式进行说明。
如图1所示，本实施方式的车辆用图像处理装置10搭载在相当于本发明中的车辆的本车辆1上使用，它根据对本车辆1前方进行拍摄的摄像机2所拍摄的图像，检测出本车辆1行驶道路上的车道标志。此外，相当于本发明的摄像机构的摄像机2由CCD摄像机或其他摄像元件构成，安装在本车辆1的前面部分上。
上述车辆用图像处理装置10所检测出的车道标志的位置数据输出给本车辆1的ECU(Electronic Control Unit)20。ECU20根据车道标志的位置数据对本车辆1行驶道路上的行车道进行识别，并进行如下处理：对本车辆1从行车道偏离的可能性进行判断的偏离行车道判断处理；在本车辆1存在从行车道偏离的可能性时生成提醒输出(例如，从未图示的扬声器输出的声音输出等)的提醒输出处理；以及，为避免本车辆1从行车道偏离而对本车辆1的刹车和转向装置进行辅助驱动的避免偏离行车道控制处理。
接下来参照图2，车辆用图像处理装置10为了实现其功能，其具有：图像获取机构11；核设定机构12；图像平滑机构13；变化量计算机构14；像素值置换机构15；车道标志检测机构16。
图像获取机构11输入摄像机2所输出的图像信号，并根据该输入的的图像信号获取由像素数据构成的彩色图像。此时，像素数据是通过由R值、G值、B值所构成的彩色成分构成。此外，图像获取机构11根据获取的彩色图像的像素的彩色成分(R、G、B)计算出像素的辉度Y，并。与此同时，图像获取机构11还根据获取的彩色图像的像素的彩色成分(R、G、B)计算出像素的彩度(色饱和度)S，并获取以该彩度S作为像素值的彩度图像。
核设定机构12对摄像机2所获取的图像设定核的尺寸，使其规定方向的宽度比车道标志的图像部分的该规定方向的宽度大且在规定范围内。后面将会对图像平滑用核的设定进行详细说明。
图像平滑机构13通过过滤处理分别平滑摄像机2所获取的辉度图像和彩度图像，该过滤处理采用了尺寸为核设定机构12所设定尺寸的图像平滑用核。图像平滑机构13在进行平滑时，针对图像内的各像素进行如下处理，即，以该像素为中心像素配置图像平滑用核，并将核范围内所有像素的像素平均值作为中心像素的像素值。
变化量计算机构14利用辉度图像计算摄像机2所获取的辉度图像相对于图像平滑机构13平滑后的辉度图像而言各像素的像素值的变化量。与此同时，变化量计算机构14还利用彩度图像计算摄像机2所获取的彩度图像相对于图像平滑机构13平滑后的彩度图像而言各像素的像素值的变化量。具体而言，变化量计算机构14用从获取的辉度图像(彩度图像)中减去平滑后的辉度图像(彩度图像)所获得的各像素的像素值的差作为变化量。
像素值置换机构15将摄像机2所获取的辉度图像中、变化量计算机构14利用辉度图像所计算出的变化量为规定值以下的像素的像素值置换为预先规定的固定值。与此同时，像素值置换机构15还将摄像机2所获取的彩度图像中、变化量计算机构14利用彩度图像计算出的变化量为规定值以下的像素的像素值置换为如特定值的一个例子的“预先规定的固定值”(例如0)。
车道标志检测机构16根据由像素值置换机构15置换后的辉度图像以及彩度图像，检测本车辆1行驶道路上的车道标志。具体而言，车道标志检测机构16将置换后的辉度图像以及彩度图像中、由像素值为非固定值的像素所构成的区域作为本车辆1行驶道路上的车道标志的图像部分来进行检测。此时，车道标志检测机构16通过霍夫变换等，从置换后的辉度图像中、由像素值为非固定值的像素所构成的点列数据中选出直线成分，以此作为候选车道标志。与此同时，车道标志检测机构16还通过霍夫变换等，从置换后的彩度图像中、由像素值为非固定值的像素所构成的点列数据中选出直线成分，以此作为候选车道标志。此外，车道标志检测机构16从这些选出的候选车道标志中根据其在图像上的位置等，检测对本车辆1行驶道路的行车道进行规定的车道标志。
车辆用图像处理装置10是由计算机(由CPU、存储器、输入输出电路等构成的运算处理电路，或者汇集有这些功能的微处理器)等构成的电子单元，该计算机具有：将输入的模拟信号转换成数字信号的A/D转换电路；对数字化后的图像信号进行存储的图像存储器；以及用于访问存储在该图像存储器中的数据(读出以及写入)的接口电路，计算机对存储在该图像存储器中的图像进行各种运算处理。
该车辆用图像处理装置10使本发明的车辆识别用程序在该计算机中执行，从而，使该计算机起到上述图像获取机构11、核设定机构12、图像平滑机构13、变化量计算机构14、像素值置换机构15以及车道标志检测机构16的作用。
接下来，按照图3所示的流程图对车辆用图像处理装置10的动作(车辆用图像处理)进行说明。图3的流程图所进行的处理在车辆用图像处理装置10的各控制周期反复执行。
图3的STEP1中，图像获取机构11通过摄像机2获取彩色图像。获取的彩色图像经A/D转换后存储在图像存储器中。
图4表示的是某一控制周期的某一时刻摄像机2所获取的彩色图像I1的例子。彩色图像I1为如图4中所例示那样的、由m×n个像素所构成的图像。若将彩色图像I1的各像素作为P1，则像素P1作为彩色成分具有R值、G值、B值，并通过P1(i，j)＝(Rij，Gij，Bij)来表示。其中，i、j为各像素的坐标，为0≤i＜m，0≤j＜n的整数。
图4的例子所表示的情况为：本车辆1沿箭头方向行驶，对本车辆1行驶道路的行车道的左侧进行规定的车道标志为黄色的实线A1，对其右侧进行规定的车道标志为白色的虚线A2。此时，在本车辆1行驶道路的行车道的路面上，具有比周围暗的线状维修痕迹(黑线)B1和因局部凹凸或污物而形成的黑点群B2。此外，路面区域内还具有与周围像素值不同且范围较大的部分区域C1。
接下来，在图3的STEP2中，图像获取机构11根据在STEP1中获取的彩色图像I1的像素的彩色成分(R，G，B)计算辉度并而获取辉度图像I2，同时还计算彩度而获取彩度图像I5。
具体而言，图像获取机构11根据彩色图像I1的各像素P1(i，j)的彩色成分(Rij，Gij，Bij)通过Yij＝α×Rij+β×Gij+γ×Bij计算辉度Yij。其中，α，β，γ为α+β+γ＝1这样的规定系数。
由此，可获得图5中(a)所例示那样的由以辉度Yij作为各像素P2(i，j)的数据、并由m×n个像素所构成的辉度图像I2。该辉度图像I2中，白线A2的图像部分的辉度大，黄线A1的图像部分比白线A2辉度小。此外，路面的图像部分的辉度更小，为平均的路面辉度，部分区域C1的辉度比平均的路面辉度稍大。维修痕迹B1、黑点群B2比路面平均辉度小。
此外，图像获取机构11也可用(Rij，Gij，Bij)中的最大值MAXij、最小值MINij，通过Yij＝(MAXij+MINij)/2来计算辉度Yij。或者，图像获取机构11还可用Gij值作为辉度Yij。
与此同时，图像获取机构11根据彩色图像I1的各像素P1(i，j)的R值、G值、B值(Rij，Gij，Bij)，通过Sij＝(MAXij-MINij)/MAXij计算彩度Sij。
由此，可获得图5中(d)所例示那样的由以彩度Sij作为各像素P5(i，j)的数据，并有m×n个像素所构成的彩度图像I5。该彩度图像I5中，黄线A1的图像部分的彩度大，白线A2的图像部分比黄线A1彩度小。此外，路面的图像部分的彩度更小，为路面的平均彩度，部分区域C1的彩度比路面的平均彩度稍大。维修痕迹B1、黑点群B2比路面的彩平均度小。
接下来，图3的STEP3中，核设定机构12针对STEP2中获取的辉度图像I2和彩度图像I5设定多个尺寸的图像平滑用核。
接下来，参照图6对图像平滑用核的设定进行说明。图6中，作为例子，表示了对辉度图像I2设定的5个图像平滑用核K1～K5。图像平滑用核K1～K5分别以辉度图像I2的区域R1～R5内所包含的像素作为中心像素而用于平滑图像。此外，与辉度图像I2一样，也对彩度图像I5设定了图像平滑用核K1～K5。
图像平滑用核K1～K5的纵向尺寸Yf[像素]均为多个像素(例如，1～3[像素])。区域R1～R5随着远离本车辆1其纵向宽度呈台阶型变窄。此外，尺寸Yf也可以采用随着离本车辆1的距离越远而越小这样的值。
此外，图像平滑用核K1～K5的横向尺寸Xf[像素]为与实际空间中的规定宽度ΔX相应的值。作为规定宽度ΔX，采用的是比设定车道标志宽度的值(例如，0.1～0.75[m])大的值(例如，车道标志宽度的数倍，具体而言0.5～1[m])。此外，规定宽度ΔX是比设定道路宽度的值小的值。图像平滑用核K1～K5的横向尺寸Xf例如分别为10，20，50，100，150[像素]。
尺寸Xf是根据图7所示那样的本车辆1的实际空间坐标系和图像坐标系之间的关系而设定的。如图7中(c)所示，图像坐标系是以左上方为原点，从而作为坐标(x，y)。此外，以一个像素的物理间距为(δx，δy)。
此时，如图7中(a)所示，路面上的对象物相对于本车辆1的距离Z、摄像机2的焦距f、实际空间内的摄像机2距路面的高度h、图像上拍摄的对象物的物理高度Yc之间存在如下表达式(1)所表示的关系。
Yc＝f×h/Z            ...(1)
此外，图像上拍摄的对象物的物理高度Yc、图像坐标y、一个像素的相应物理间距δy之间存在如下表达式(2)所表示的关系。
Yc＝y×δy            ...(2)
此外，如图7中(b)所示，路面上的对象物相对于本车辆1的距离Z、摄像机2的焦距f、实际空间内的对象物的宽度ΔX、图像上拍摄的对象物的物理宽度Xc之间存在如下表达式(3)所表示的关系。
Xc＝f×ΔX/Z          ...(3)
此外，图像上拍摄的对象物的物理宽度Xc、图像坐标x、一个像素的相应物理间距δx之间存在如下表达式(4)所表示的关系。
Xc＝x×δx            ...(4)
根据以上表达式(1)～(4)，用如下表达式(5)表示尺寸Xf。
Xf＝(ΔX/h)×y        ...(5)
由于实际空间内的对象物的宽度ΔX与实际空间内的摄像机2距路面的高度h为固定值，因此，图像坐标y越小，尺寸Xf就越小。
此外，根据表达式(1)以及(2)可知，距离Z越大，图像坐标y就越小，从而，尺寸Xf也越小。即，尺寸Xf设定为，离本车辆1的距离越远则越小这样的值。
返回图3，在接下来的STEP4中，图像平滑机构13采用在上述STEP3中设定的图像平滑用核K1～K5，对图5中(a)所例示那样的辉度图像I2进行平滑。
图5中(b)表示平滑后的辉度图像I3。由此，平滑前的辉度图像I2内的像素值的变化幅度变窄，图像的对比度低。平滑后的辉度图像I3中，维修痕迹B1、黑点群B2的图像部分的像素值为辉度接近路面的平均辉度的像素值，不能与周围路面的图像部分区分开。此外，平滑后的辉度图像I3中，黄线A1、白线A2的图像部分的像素值也为辉度接近路面的平均辉度的像素值。对于路面以及部分区域C1的图像部分，由于路面以及部分区域C1的图像部分的尺寸比核的尺寸大，因此受平滑的影响较小，在平滑后的辉度图像I3中，保持着平滑前的辉度图像I2的路面以及部分区域C1的像素值。
接下来，对辉度图像2的所有像素(i＝1～m，j＝1～n)执行图3的STEP5～7的处理。
首先，在STEP5中，变化量计算机构14从上述STEP2中获得的辉度图像I2的像素值P2(i，j)中减去STEP4的平滑后的辉度图像I3的像素值P3(i，j)，计算像素(i，j)的像素值的变化量ΔIY(i，j)＝P2(i，j)-P3(i，j)。
接下来，在STEP6中，像素值置换机构15判断像素值的变化量ΔIY(i，j)是否为规定值IYth以下。规定值IYth是根据车道标志(白线)的图像部分的辉度变化量的可取值范围而确定的值(例如，0以下的值)。
若STEP6的判断结果为“YES”，则设定像素(i，j)是像素值的变化量ΔIth(i，j)较小的图像部分，即，设定为它是辉度比白线A2小且接近路面的平均辉度的黄线A1的图像部分、平滑前后辉度的变化较小的路面(包括部分区域C1)的图像部分、或者辉度比路面小的维修痕迹B1、黑点群B2的图像部分。从而进入STEP7，像素值置换机构15将辉度图像I2的像素值P2(i，j)置换为固定值，然后进入下一个处理。
若STEP6的判断结果为“NO”，则设定像素(i，j)是辉度较大的白线A2的图像部分。从而，像素值置换机构15不置换像素(i，j)的像素值就进入下一个处理。
图5中(c)表示对辉度图像I2的所有像素执行上述STEP5～7的处理而获得的置换后的辉度图像I4。如图5中(c)所示，置换后的辉度图像I4中，黄线A1、维修痕迹B1、黑点群B2、路面(包括部分区域C1)的图像部分置换为固定值，仅白线A2的图像部分保持辉度图像I2的像素值。从而，在置换后的辉度图像I4中仅剩下白线A2的图像部分。
此外，图像平滑机构13在进行上述STEP4～7的处理的同时或之后，利用STEP3中设定的图像平滑用核K1～K5，在STEP8中对图5中(d)所例示那样的彩度图像I5进行平滑。
图5中(e)表示平滑后的彩度图像I6。由此，平滑前的彩度图像I5内的像素值的变化幅度变窄，图像的对比度低。平滑后的彩度图像I6中，维修痕迹B1、黑点群B2的图像部分的像素值为彩度接近路面的平均彩度的像素值，不能与周围路面的图像部分区分开。此外，平滑后的彩度图像I6中，黄线A1、白线A2的图像部分的像素值也为彩度接近路面的平均彩度的像素值。对于路面以及部分区域C1的图像部分，由于路面以及部分区域C1的图像部分的尺寸比核的尺寸大，因此受平滑的影响较小，在平滑后的彩度图像I6中，保持平滑前的彩度图像I5的路面以及部分区域C1的像素值。
接下来，对彩度图像I5的所有像素(i＝1～m，j＝1～n)，执行图3的STEP9～11的处理。
首先，在STEP9中，变化量计算机构14从上述STEP2中获得的彩度图像I5的像素值P5(i，j)中减去STEP8的平滑后的辉度图像I6的像素值P6(i，j)，计算像素(i，j)的像素值的变化量ΔIS(i，j)＝P5(i，j)-P6(i，j)。
接下来，在STEP10中，像素值置换机构15判断像素值的变化量ΔIS(i，j)是否为规定值ISth以下。规定值ISth是根据车道标志(黄线)的图像部分的彩度变化量的可取值范围而确定的值(例如，0以下的值)。
若STEP10的判断结果为“YES”，则设定像素(i，j)是像素值的变化量ΔIS(i，j)较小的图像部分，即，设定为它是彩度比黄线A1小且接近平均路面的彩度的白线A2的图像部分、平滑前后彩度的变化较小的路面(包括部分区域C1)的图像部分、或者彩度比路面小的维修痕迹B1、黑点群B2的图像部分。从而进入STEP11，像素值置换机构15将彩度图像I5的像素值P5(i，j)置换为固定值，然后进入下一个处理。
若STEP10的判断结果为“NO”，则设定像素(i，j)是彩度较大的黄线A1的图像部分。从而，像素值置换机构15不置换像素(i，j)的像素值就进入下一个处理。
图5中(f)表示对彩度图像I5的所有像素执行上述STEP9～11的处理而获得的置换后的彩度图像I7。如图5中(f)所示，置换后的彩度图像I7中，白线A2、维修痕迹B1、黑点群B2、路面(包括部分区域C1)的图像部分置换为固定值，仅黄线A1的图像部分保持彩度图像I5的像素值。从而，在置换后的彩度图像I7中仅剩下黄线A1的图像部分。
接下来，进入STEP12，车道标志检测机构16根据在STEP7中获得的置换后的辉度图像I4和在STEP11中获得的置换后的彩度图像I7检测车道标志。在置换后的辉度图像I4以及置换后的彩度图像I7中，仅剩下黄线A1以及白线A2的图像部分，因此，车道标志检测机构16不进行边缘抽出处理等就能容易地检测出本车辆1行驶道路上的车道标志。
此时，置换后的辉度图像I4中，仅剩下白线A2的图像部分，因此，通过车道标志检测机构16用该置换后的辉度图像I4检测车道标志，可精度良好地检测出白线A2。此外，在置换后的彩度图像I7中，仅剩下黄线A1的图像部分，因此，通过车道标志检测机构16用该置换后的彩度图像I7检测车道标志，可精度良好地检测出黄线A1。
以上为本发明第1实施方式的车辆用图像处理装置10的车辆用图像处理。采用本实施方式，对本车辆1周边拍摄的图像进行处理，以减小该图像内的辉度或颜色变动的影响，从而可根据该图像精度良好地检测出本车辆1行驶道路上的车道标志A1、A2。
本实施方式中，变化量计算机构14是用像素值的差作为变化量，但也可以用获取的图像的各像素的像素值除以平滑后的图像的各像素的像素值所获得的各像素的像素值之比作为变化量，(ΔIY(i，j)＝P2(i，j)/P3(i，j)，ΔIS(i，j)＝P5(i，j)/P6(i，j))。此时，规定值IYth、ISth是根据车道标志的图像部分的像素值变化量的可取值范围而确定的值(例如，1以下的值)。
此外，本实施方式中，如图8所示，可如下这样来设定图像平滑用核的朝向：使核长边的中心线L相对于图像上与本车辆1的行进方向相对应的方向Lc的倾斜度为规定角度(例如45°)。
此外，本实施方式中，图像平滑用核的形状为长方形，在其他实施方式中，也可使图像平滑用核的形状为梯形。
本实施方式中，图像获取机构11获取其像素数据是由R值、G值、B值组成的彩色成分所构成的彩色图像，在其他实施方式中，也可获取其像素数据是由CMY输出等组成的彩色成分所构成的彩色图像。
本实施方式中，是分别对辉度图像和彩度图像进行图像平滑处理和像素值置换处理，再根据置换后的辉度图像和彩度图像计算车道标志，也可对辉度图像和彩度图像中任意一者进行图像平滑处理和像素值置换处理，再根据置换后的图像检测车道标志。
此外，本实施方式中通过摄像机2获取的是彩色图像，但其他实施方式中，也可获取由辉度构成像素数据的灰度图像(辉度图像)。此时，对获取的辉度图像进行图像平滑处理和像素值置换处理，再根据置换后的图像检测车道标志。
此外，本实施方式中，通过摄像机2拍摄本车辆1的前方，再根据本车辆1前方道路的图像检测车道标志，在其他事实方式中，也可通过摄像机拍摄本车辆1的后方，再根据本车辆1后方道路的图像检测车道标志。
[第2实施方式]
第2实施方式与图1以及图2中所表示的第1实施方式的车辆用图像处理装置10的结构和功能基本相同，不同点仅在于图9中所示的图像处理的内容，下面参照图9～图12对其进行说明。
图9的STEP1中，图像获取机构11通过摄像机2获取灰度图像(辉度图像)。获取的辉度图像经A/D转换后存储在图像存储器中。
图10中(a)表示某一控制周期的某一时刻经由摄像机2获取的辉度图像I1的例子。辉度图像I1为图10中(a)所例示那样的、由m×n个像素所构成的图像。辉度图像I1的各像素P1具有辉度值Y，并通过P1(i，j)＝Yij来表示。其中，i，j为各像素的坐标，为0≤i＜m，0≤j＜n的整数。
图10中(a)的例子所表示的情况为：本车辆1沿箭头方向行驶，对本车辆1行驶道路的行车道的左侧进行规定的车道标志为白色的虚线A1，对其右侧进行规定的车道标志为白色的虚线A2。此时，在白色虚线A1、A2的边缘部分具有凹凸，该部分具有线状的阴影(黑线)B1、B2。此外，本车辆1行驶道路的行车道的路面上，具有比周围暗的线状维修痕迹(黑线)B3和因局部的凹凸或污物而形成的黑点群B4。
接下来，在图9的STEP2中，核设定机构12对STEP1中所获取的辉度图像I1设定多个尺寸的图像平滑用核。
此时，参照图11对图像平滑用核的设定进行说明。图11中，作为例子，表示了对辉度图像I1设定的5个图像平滑用核K1～K5。图像平滑用核K1～K5分别以辉度图像I1的区域R1～R5内所包含的像素为中心像素而用于平滑图像。
图像平滑用核K1～K5的纵向尺寸Yf[像素]均为多个像素(例如，1～3[像素])。区域R1～R5随着远离本车辆1其纵向宽度呈台阶型变窄。此外，尺寸Yf也可以采用随着离本车辆1的距离越远而越小这样的值。
此外，图像平滑用核K1～K5的横向尺寸Xf[像素]为与实际空间中的规定宽度ΔX相应的值。作为规定宽度ΔX，采用的是比设定车道标志宽度的值(例如，0.1～0.75[m])大的值(例如，车道标志宽度的数倍，具体而言0.5～1[m])。此外，规定宽度ΔX是比设定道路宽度的值小的值。图像平滑用核K1～K5的横向尺寸Xf例如分别为10，20，50，100，150[像素]。
尺寸Xf是根据前述图7所示那样的本车辆1的实际空间坐标系和图像坐标系之间的关系而设定的。如图7中(c)所示，图像坐标系是以左上方为原点，从而作为坐标(x，y)。此外，以一个像素的物理间距为(δx，δy)。此外，由于前面对基于图7中(a)、(b)所示的坐标系的表达式(1)～(5)进行了说明，因而此处将其省略。
返回图9，在接下来的STEP3中，图像平滑机构13采用在STEP2中设定的图像平滑用核K1～K5，对图10中(a)所例示那样的辉度图像I1进行平滑。
图10中(b)表示平滑后的辉度图像I2。由此，平滑前的辉度图像I1内的像素值的变化幅度变窄，图像的对比度变低。平滑后的辉度图像I2中，阴影B1、B2和维修痕迹B3以及黑点群B4的图像部分的像素值为辉度接近路面的平均辉度的像素值，不能与周围路面的图像部分区分开。此外，白线A1、A2的图像部分的像素值也为辉度接近路面的平均辉度的像素值。
接下来，对图像的所有像素(i＝1～m，j＝1～n)执行图9的STEP4～6的处理。
首先，在STEP4中，变化量计算机构14从STEP1中获得的辉度图像I1的像素值P1(i，j)中减去STEP3的平滑后的辉度图像I2的像素值P2(i，j)，计算像素(i，j)的像素值的变化量ΔIY(i，j)＝P1(i，j)-P2(i，j)。
接下来，在STEP5中，像素值置换机构15判断各像素的像素值的变化量ΔIY(i，j)是否为规定值IYth以下。规定值IYth是根据车道标志的图像部分的像素值变化量的可取值范围而确定的值(例如，0以下的值)。
若STEP5的判断结果为“YES”，则设定像素(i，j)为路面的图像部分或比路面暗的阴影B1、B2，或黑点群B4的图像部分。从而进入STEP6，像素值置换机构15将获取图像的像素值P1(i，j)置换为如特定值的一个例子的平滑图像的像素值P2(i，j)，然后进入下一个处理。
若STEP5的判断结果为“NO”，则设定像素(i，j)是明亮的白线A1、A2的图像部分。从而，像素值置换机构15不置换像素(i，j)的像素值就进入下一个处理。
图10中(c)表示对图像的所有像素执行STEP4～6的处理而获得的置换后的图像I3。如图10中(c)所示，置换后的图像I3中，阴影B1、B2和维修痕迹B3以及黑点群B4的图像部分置换为平滑后的图像I2的像素值，而白线A1、A2的图像部分保持辉度图像I1的像素值。从而，在置换后的图像I3中仅剩下白线A1、A2的图像部分，阴影B1、B2和维修痕迹B3以及黑点群B4的图像部分被去除。
接下来，进入STEP7，车道标志检测机构16根据置换后的图像I3检测车道标志。此时，在置换后的辉度图像I3中，阴影B1、B2和维修痕迹B3以及黑点群B4的图像部分被去除，因此，通过边缘抽出处理仅抽出相当于白线A1、A2的图像部分的边缘点，根据该边缘点，可精度良好地检测出白线A1、A2。
以上为本发明第2实施方式的车辆用图像处理装置10的车辆用图像处理。采用本实施方式，对本车辆1周边拍摄的图像进行处理，以减小该图像内的辉度或颜色变动的影响，从而可根据该图像精度良好地检测出本车辆1行驶道路上的白线A1、A2。
此外，本实施方式中，变化量计算机构14也是用像素值的差作为变化量，但也可以用获取的图像的各像素的像素值除以平滑后的图像的各像素的像素值所获得的各像素的像素值之比作为变化量，(ΔIY(i，j)＝P1(i，j)/P2(i，j))。此时，规定值IYth是根据车道标志的图像部分的像素值变化量的可取值范围而确定的值(例如，1以下的值)。
此外，本实施方式中，如图1 2所示，可如下这样来设定图像平滑用核K1～K5的朝向：使核长边的中心线L相对于图像上与本车辆1的行进方向相对应的方向Lc的倾斜度为规定角度(例如45°)。
此外，本实施方式中，图像平滑用核的形状为长方形，在其他实施方式中，也可使图像平滑用核的形状为梯形。
本实施方式中，图像获取机构11通过摄像机2获取的是灰度图像，在其他实施方式中，也可获取其像素数据是由R值、G值、B值(或者CMY输出等)组成的彩色成分所构成的彩色图像。此时，例如，图像获取机构11根据获取的彩色图像的像素的彩色成分(R，G，B)，通过Y＝α×R+β×G+γ×B来计算像素的辉度值Y，作成辉度图像。其中，α，β，γ为α+β+γ＝1这样的规定系数。
此外，图像获取机构11也可用R值、G值、B值中的最大值MAX、最小值MIN，通过Y＝(MAX+MIN)/2来计算辉度Y。或者，图像获取机构11也可用G值作为辉度Y。
此外，本实施方式中，图像获取机构11通过摄像机2获取辉度图像，图像平滑机构13对辉度图像进行平滑，像素值置换机构14用平滑后的图像的像素值置换辉度图像的像素值，在其他实施方式中，例如，在图像获取机构11通过摄像机2获取彩色图像的情况下，也可根据彩色图像的像素的彩色成分计算像素的彩度，再作成以该彩度作为像素值的彩度图像，在该彩度图像上进行图像平滑处理和像素值置换处理。
此外，本实施方式中，通过摄像机2拍摄本车辆1前方，车辆用图像处理装置10根据本车辆1前方道路的图像检测车道标志，在其他实施方式中，也可通过摄像机拍摄本车辆1后方，车辆用图像处理装置10根据本车辆1后方道路的图像检测车道标志。

Claims (16)

1.一种车辆用图像处理装置，其对搭载在车辆上的摄像机构所获取的图像进行处理，检测该车辆行驶道路上的车道标志，其特征在于，
该车辆用图像处理装置具有：
核设定机构，其对所述摄像机构所获取的图像设定核的尺寸，使规定方向的宽度比车道标志的图像部分的该规定方向的宽度大且在规定范围内；
图像平滑机构，其通过过滤处理平滑所述获取的图像，该过滤处理采用了尺寸为所述核设定机构所设定尺寸的图像平滑用核；
变化量计算机构，其计算所述获取的图像相对于所述图像平滑机构平滑后的图像而言各像素的像素值的变化量；
像素值置换机构，其将所述获取的图像中所述变化量为规定值以下的像素的像素值置换为特定的值；
车道标志检测机构，其从由所述像素值置换机构置换像素值后的图像中检测出所述车道标志。
2.根据权利要求1所述的车辆用图像处理装置，其特征在于，
所述特定的值是预先确定的固定值。
3.根据权利要求1所记载的车辆用图像处理装置，其特征在于，
所述特定的值是所述平滑后的图像的该像素相对应的像素的像素值。
4.根据权利要求1～3中任意一项所述的车辆用图像处理装置，其特征在于，
所述核设定机构按如下方式设定该核的尺寸，即，所述道路的规定区域离所述车辆的距离越远，对所述图像上的该规定区域的图像部分设定的所述核的尺寸就越小。
5.根据权利要求1～4中任意一项所述的车辆用图像处理装置，其特征在于，
所述核设定机构将所述核的形状设定为长方形或梯形。
6.根据权利要求5所述的车辆用图像处理装置，其特征在于，
所述核设定机构按如下方式设定该核的朝向，即，使所述核长边的中心线相对于图像上与所述车辆的行进方向相对应的方向的倾斜度为规定角度。
7.根据权利要求1～6中任意一项所述的车辆用图像处理装置，其特征在于，
所述变化量计算机构用从所述获取的图像中减去所述平滑后的图像而获得的各像素的像素值的差作为变化量，或者用该获取的图像的各像素的像素值除以该平滑后的图像的各像素的像素值而获得的各像素的像素值之比作为变化量。
8.根据权利要求1～7中任意一项所述的车辆用图像处理装置，其特征在于，
通过所述图像平滑机构所平滑的所述图像为以辉度作为像素值的图像。
9.根据权利要求1～7中任意一项所述的车辆用图像处理装置，其特征在于，
通过所述图像平滑机构所平滑的所述图像为以从彩色图像的彩色成分所计算出的辉度或彩度作为像素值的图像。
10.根据权利要求2所述的车辆用图像处理装置，其特征在于，
具有这样的车道标志检测机构，其将由所述像素值置换机构置换后的图像中、由像素值为非所述固定值的像素所构成的区域作为所述车辆行驶道路上的车道标志的图像部分来进行检测。
11.一种车辆，具有摄像机构，且具有对该摄像机构所获取的图像进行处理，以检测行驶道路上的车道标志的功能，其特征在于，
该车辆具有：
核设定机构，其对所述摄像机构所获取的图像设定核的尺寸，使规定方向的宽度比车道标志的图像部分的该规定方向的宽度大且在规定范围内；
图像平滑机构，其通过过滤处理平滑所述获取的图像，该过滤处理采用了尺寸为所述核设定机构所设定尺寸的图像平滑用核；
变化量计算机构，其计算所述获取的图像相对于所述图像平滑机构平滑后的图像而言各像素的像素值的变化量；
像素值置换机构，其将所述获取的图像中所述变化量为规定值以下的像素的像素值置换为特定的值；
车道标志检测机构，其从由所述像素值置换机构置换像素值后的图像中检测出所述车道标志。
12.根据权利要求11所述的车辆，其特征在于，
所述特定的值为预先确定的固定值。
13.根据权利要求11所述的车辆，其特征在于，
所述特定的值是所述平滑后的图像的该像素相对应的像素的像素值。
14.一种车辆用图像处理程序，其通过计算机执行如下处理，即，对搭载在车辆上的摄像机构所获取的图像进行处理，检测该车辆行驶道路上的车道标志，其特征在于，
该车辆用图像处理程序包括：
核设定处理，其对所述摄像机构所获取的图像设定核的尺寸，使规定方向的宽度比车道标志的图像部分的该规定方向的宽度大且在规定范围内；
图像平滑处理，其通过过滤处理平滑所述获取的图像，该过滤处理采用了尺寸为所述核设定处理所设定尺寸的图像平滑用核；
变化量计算处理，其计算所述获取的图像相对于所述图像平滑处理平滑后的图像而言各像素的像素值的变化量；
像素值置换处理，其将所述获取的图像中所述变化量为规定值以下的像素的像素值置换为特定的值；
车道标志检测处理，其根据由所述像素值置换处理置换像素值后的图像检测所述车道标志。
15.根据权利要求14所述的车辆用图像处理程序，其特征在于，
所述特定的值是预先确定的固定值。
16.根据权利要求14所述的车辆用图像处理程序，其特征在于，
所述特定的值是所述平滑后的图像的该像素相对应的像素的像素值。
CN2009801099079A 2008-03-26 2009-03-24 车辆用图像处理装置 Active CN101978392B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2008081332A JP4876277B2 (ja) 2008-03-26 2008-03-26 車両用画像処理装置、車両、及び車両用画像処理プログラム
JP2008080728A JP4956841B2 (ja) 2008-03-26 2008-03-26 車両用画像処理装置、車両、及び車両用画像処理プログラム
JP2008-080728 2008-03-26
JP2008-081332 2008-03-26
PCT/JP2009/001294 WO2009119070A1 (ja) 2008-03-26 2009-03-24 車両用画像処理装置及び画像処理プログラム

Publications (2)

Publication Number Publication Date
CN101978392A true CN101978392A (zh) 2011-02-16
CN101978392B CN101978392B (zh) 2013-01-16

Family

ID=41113281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801099079A Active CN101978392B (zh) 2008-03-26 2009-03-24 车辆用图像处理装置

Country Status (4)

Country Link
US (1) US8681221B2 (zh)
EP (1) EP2256691B1 (zh)
CN (1) CN101978392B (zh)
WO (1) WO2009119070A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110832568A (zh) * 2017-07-05 2020-02-21 歌乐株式会社 车辆用外界识别装置
CN113212352A (zh) * 2020-02-06 2021-08-06 佛吉亚歌乐电子有限公司 图像处理装置以及图像处理方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101443361B1 (ko) * 2013-04-08 2014-11-03 현대엠엔소프트 주식회사 네비게이션 장치의 사진지도 표시방법 및 네비게이션 장치
JP5908946B2 (ja) 2014-06-18 2016-04-26 富士重工業株式会社 画像処理装置
CN110809767B (zh) * 2017-07-06 2022-09-09 华为技术有限公司 高级辅助驾驶系统和方法
WO2019171565A1 (ja) * 2018-03-09 2019-09-12 パイオニア株式会社 線検出装置、線検出方法、プログラム、及び記憶媒体

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2971694B2 (ja) * 1993-03-05 1999-11-08 三菱電機株式会社 車線区分ライン認識装置
JP3120648B2 (ja) 1993-12-29 2000-12-25 日産自動車株式会社 車両用環境認識装置
JP3455454B2 (ja) 1998-12-16 2003-10-14 小糸工業株式会社 車両ナンバープレート認識装置
US6819779B1 (en) * 2000-11-22 2004-11-16 Cognex Corporation Lane detection system and apparatus
KR100391442B1 (ko) * 2000-12-27 2003-07-12 현대자동차주식회사 차선 이탈 방지용 영상 처리방법
JP2003271930A (ja) 2002-03-13 2003-09-26 Denso Corp レーンマーク認識装置
AU2003225228A1 (en) * 2002-05-03 2003-11-17 Donnelly Corporation Object detection system for vehicle
CN1379359A (zh) * 2002-05-14 2002-11-13 汤晓明 视频方式获取交通参数的方法
JP4056971B2 (ja) * 2003-12-25 2008-03-05 株式会社エヌ・ティ・ティ・ドコモ 相互接続契約判定システム、相互接続契約判定装置、及び、相互接続契約判定方法
US7526103B2 (en) * 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
JP4348270B2 (ja) * 2004-10-05 2009-10-21 パナソニック株式会社 Ｓｉｐサーバ
JP4364275B2 (ja) * 2005-02-23 2009-11-11 富士通株式会社 画像処理方法、画像処理装置及びコンピュータプログラム
JP4603421B2 (ja) 2005-05-27 2010-12-22 本田技研工業株式会社 車両、画像処理システム、画像処理方法、及び画像処理プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110832568A (zh) * 2017-07-05 2020-02-21 歌乐株式会社 车辆用外界识别装置
CN110832568B (zh) * 2017-07-05 2022-03-25 歌乐株式会社 车辆用外界识别装置
CN113212352A (zh) * 2020-02-06 2021-08-06 佛吉亚歌乐电子有限公司 图像处理装置以及图像处理方法
US11610317B2 (en) 2020-02-06 2023-03-21 Faurecia Clarion Electronics Co., Ltd. Image processor and image processing method

Also Published As

Publication number Publication date
US20110019000A1 (en) 2011-01-27
WO2009119070A1 (ja) 2009-10-01
US8681221B2 (en) 2014-03-25
EP2256691A4 (en) 2012-07-04
EP2256691A1 (en) 2010-12-01
CN101978392B (zh) 2013-01-16
EP2256691B1 (en) 2012-12-05

Similar Documents

Publication Publication Date Title
US8391555B2 (en) Lane recognition apparatus for vehicle, vehicle thereof, and lane recognition program for vehicle
US8208021B2 (en) Vehicle and lane mark detection device
JP5693994B2 (ja) 車両検出装置
JP4937030B2 (ja) 車両用画像処理装置
US9946940B2 (en) Vehicle vision system with adaptive lane marker detection
JP4930046B2 (ja) 路面判別方法および路面判別装置
US10552706B2 (en) Attachable matter detection apparatus and attachable matter detection method
CN101978392B (zh) 车辆用图像处理装置
US9965690B2 (en) On-vehicle control device
US20160180182A1 (en) Vehicle vision system with 3d registration for distance estimation
CN103477623B (zh) 图像处理装置
WO2007111220A1 (ja) 道路区画線検出装置
JP5260696B2 (ja) エッジ点抽出装置、車線検出装置、およびプログラム
WO2014002692A1 (ja) ステレオカメラ
JP2023016890A (ja) リフトアップ判定装置、及びリフトアップ判定方法
JP2010224930A (ja) 道路認識装置
JP5073700B2 (ja) 物体検出装置
WO2014065159A1 (ja) 距離測定装置及びそれを用いた車両
CN102713511A (zh) 车辆用距离计算装置
JP5091897B2 (ja) 停止線検出装置
JP2020095619A (ja) 画像処理装置および画像処理方法
WO2017017140A1 (en) Method for capturing an object on a road in the environment of a motor vehicle, camera system and motor vehicle using the same
JP4956841B2 (ja) 車両用画像処理装置、車両、及び車両用画像処理プログラム
JP2014096185A (ja) 車両検出装置
JP5666726B2 (ja) 車両検出装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant