CN105282498A - 图像处理装置 - Google Patents

Abstract

本发明的图像处理装置对本车辆的行进方向进行摄像，作为以对所得的摄像图像而设定的行车线搜索范围为对象的行车线检测处理，可执行对行车线搜索范围内的半数以上的行基于亮度图像进行行车线部分的检测并针对其余行基于色差图像进行行车线部分的检测的根据第一模式的行车线检测处理；和在比上述第一模式时多的行基于色差图像进行行车线部分的检测的根据第二模式的行车线检测处理。在此基础上，根据在基于色差图像进行行车线部分的检测的行中检测的行车线部分在预定宽度以上的行的数量，来执行第一模式和第二模式之间的转换判断，并基于判断结果进行模式转换控制的模式转换控制处理。

Description

图像处理装置

技术领域

本发明涉及基于对本车辆的行进方向进行摄像所得到的摄像图像来检测作为拍摄对象而拍摄到的行车线的图像处理装置的技术领域。

现有技术文献

专利文献

专利文献1：日本专利第4365350号公报

背景技术

例如，在识别车外环境的车辆系统中，具有基于通过一对摄像机对本车辆的行进方向进行立体摄像所得的摄像图像，对拍摄对象进行识别的技术。并且，像这样的对在本车辆的行进方向上存在的拍摄对象进行识别的系统中，具有生成拍摄对象的三维位置信息(在实际空间上的位置信息)的系统，该三维位置信息也包括到拍摄对象为止的距离信息。具体来说，是通过上述的立体摄像而得到视点不同的摄像图像，并基于这些摄像图像计算拍摄对象的视差，再基于该视差生成拍摄对象的三维位置信息的系统。

并且，作为对车外环境的识别，具有检测形成于路面的白线等的行车线，并基于行车线的三维模型来进行在行进方向上存在的转弯的检测和/或路面的坡度的检测等的系统。

行车线的检测通常利用路面与白线的亮度差较大的事实，基于亮度图像而进行。

应予说明，此处的“行车线”是指相对于路面通过涂饰等而形成的表示行驶车道的边界的线。

发明内容

技术问题

然而，作为行车线，还存在白色的行车线以外的例如橙色行车线(黄色行车线)等的彩色的行车线。由于彩色的行车线相对于白色的行车线亮度低，例如，当在亮度比较高的混凝土地面的道路上行驶时等，根据行驶状况，可能会出现无法充分地得到路面和行车线的亮度差，或者行车线的亮度比路面亮度低，无法检测到行车线的情况。

为了稳定地检测彩色行车线，基于色差图像进行检测的方法是有效的。例如，针对橙色行车线，基于V图像(R-G)或U图像(B-G)进行检测是有效的。

但是，基于色差图像的检测虽然能够提高针对彩色行车线的检测精度，但由于对于白色行车线的检测精度比基于亮度图像进行检测的情况降低了，因此为了恰当地检测白色行车线和彩色行车线这两种行车线，考虑针对共用的图像部分执行基于亮度图像的检测和基于色差图像的检测这两种检测。

但是，对共用的图像部分进行两种行车线检测会导致处理负担的增大，所以不优选。

并且，一般而言，彩色行车线的出现概率相对于白色行车线要低，因此经常在进行基于亮度图像的行车线检测的同时进行基于色差图像的行车线检测也同样会增大处理负担，所以不优选。

因此，本发明克服上述问题点，其目的在于降低处理负担，并能够恰当地检测白色行车线和彩色行车线这两种行车线。

技术方案

第一，本发明的图像处理装置具备：摄像部，对本车辆的行进方向进行摄像而得到作为彩色图像的摄像图像；和行车线检测部，基于由上述摄像部得到的摄像图像来检测作为拍摄对象而拍摄到的行车线，其中，上述行车线检测部作为以针对上述摄像图像而设定的行车线搜索范围为对象的行车线检测处理，能够执行对行车线搜索范围内的半数以上的行基于亮度图像进行行车线部分的检测，并且对其余的行基于色差图像进行行车线部分的检测的根据第一模式的行车线检测处理；和在比上述第一模式时多的行基于上述色差图像进行行车线部分的检测的根据第二模式的行车线检测处理，并且根据在基于上述色差图像进行了行车线部分的检测的行中检测出的行车线部分在预定宽度以上的行的数量，来执行第一模式和第二模式之间的模式转换判断，并且基于判断结果的模式进行转换控制的模式转换控制处理。

在第一模式中，主要通过基于亮度图像进行检测，从而能够检测白色行车线的行车线部分，并且通过同时基于色差图像进行检测，从而能够确定彩色行车线的行车线部分的有无。当出现彩色行车线时，通过根据模式转换控制处理从第一模式向第二模式进行模式转换而使基于色差图像进行检测的行增多，从而能够恰当地检测彩色行车线。

由此，当能够恰当地检测白色行车线和彩色行车线这两种行车线时，针对同一行则不必同时进行基于亮度图像的检测和基于色差图像的检测这两种检测。

第二，在上述本发明的图像处理装置中，优选为上述行车线搜索范围在上述摄像图像内左右分开设定为两处，上述行车线检测部按照每个上述行车线搜索范围执行上述模式转换控制处理。

由此，能够应对彩色行车线在行进方向的右侧存在的情况以及在左侧存在的情况这两种情况。

第三，在上述本发明的图像处理装置中，优选为在上述第一模式时基于上述色差图像进行行车线部分的检测的行的间隔设定为相当于实际空间上的固定距离间隔的间隔。

由此，例如与设定为在图像空间上的固定间隔的情况相比，彩色行车线的采样间隔更恰当。

第四，在本发明的图像处理装置中，优选为在上述第二模式时，基于上述亮度图像进行行车线部分的检测的行和基于上述色差图像进行行车线部分的检测的行每隔一行相互交替配置。

由此，在同一行车线搜索范围内存在白色行车线和彩色行车线这两种行车线时，能够恰当地检测这两种行车线。

第五，在上述本发明的图像处理装置中，优选为上述摄像部对本车辆的行进方向进行立体摄像而得到一对摄像图像，上述图像处理装置还具备视差计算部，基于由上述摄像部得到的上述一对摄像图像来计算拍摄对象的视差，上述行车线检测部根据基于上述色差图像进行行车线部分的检测的行中检测出行车线部分在预定宽度以上并且检测出的行车线部分的视差的值在预定范围内的行的数量，来进行上述模式转换控制处理中的上述模式转换判断。

检测到的行车线部分的视差的值在预定范围内是指，推测该行车线部分也被拍摄到进行立体摄像而拍摄的其他的摄像图像(未用于行车线部分的检测的一侧的图像)中。因此，如果如上所述那样的，将视差的值在预定范围内的条件作为模式转换判断的条件来施行，则能够实现防止例如由于仅在一侧的摄像机上附着有灰尘等而反应为对行车线部分的误检测，进而导致由模式转换判断得到肯定结果。

第六，在上述本发明的图像处理装置中，优选为上述行车线检测部作为上述模式转移控制处理，按每帧进行上述模式转换判断，从上述第一模式向上述第二模式的转换控制是根据在由上述模式转换判断而得到了确定转换的判断结果而进行的，从上述第二模式向上述第一模式的转换控制是根据当由上述模式转换判断得到的确定转换的判断结果的次数达到了预定次数而进行的。

由此，在转换至第二模式后，不会立即返回至第一模式。

第七，在上述本发明的图像处理装置中，优选为上述行车线检测部根据基于上述色差图像进行行车线部分的检测的行中检测出的行车线部分在预定宽度以上，并且检测出的行车线部分中预定的颜色成分的含有率在预定的比率以上的行的数量，来进行上述模式转换控制处理中的上述模式转换判断。

由此，能够实现与彩色行车线的颜色特征相结合的模式转换判断。

发明效果

根据本发明，能够降低处理负担，并能够恰当地检测白色行车线和彩色行车线这两种行车线。

附图说明

图1为表示实施方式的车辆控制系统的构成的图。

图2为用于针对在实施方式中执行的图像处理进行说明的图。

图3为关于行车线搜索范围的说明图。

图4为例示出当在路面上的左侧形成有白色行车线、在右侧形成有彩色行车线时的摄像图像的图。

图5为亮度重视模式、色差和亮度模式的说明图。

图6为白色行车线和彩色行车线相邻配置而成的双线的说明图。

图7为亮度重视模式对应处理的流程图。

图8为色差和亮度模式对应处理的流程图。

符号说明

1车辆控制系统

2摄像部

3图像处理部

3A三维位置信息生成处理部

3B行车线检测处理部

30搜索范围设定处理部

31亮度重视模式处理部

32色差和亮度模式处理部

33模式转换控制处理部

具体实施方式

(1、系统整体构成)

图1表示作为本发明的实施方式的具备图像处理装置的车辆控制系统1的构成。应予说明，在图1中，仅提取车辆控制系统1的构成中主要与本发明相关的主要部分的构成来进行表示。

车辆控制系统1构成为具备设置于本车辆的摄像部2、图像处理部3、存储器4、驾驶辅助控制部5、显示控制部6、发动机控制部7、变速器控制部8、制动器控制部9、传感器及操作单元类10、显示部11、发动机相关执行器12、变速器相关执行器13、制动器相关执行器14以及总线15。

图像处理部3是基于摄像部2对本车辆的行进方向(在本例中为前方)进行摄像而得到的摄像图像数据来执行与车外环境识别相关的预定的图像处理。根据图像处理部3的图像处理是使用例如非易失存储器等的存储器4而进行的。其中，对摄像部2的内部构成和图像处理部3执行的具体的处理的详细内容将在以下进行说明。

驾驶辅助控制部5由具备例如CPU(CentralProcessingUnit，中央处理器)、ROM(ReadOnlyMemory，只读存储器)、RAM(RandomAccessMemory，随机存取存储器)等的微型计算机构成，基于根据图像处理部3的图像处理的结果、由传感器及操作单元类10得到的检测信息和/或操作输入信息等，执行用于驾驶辅助的各种控制处理(以下表示为“驾驶辅助控制处理”)。

驾驶辅助控制部5与同样由微型计算机构成的显示控制部6、发动机控制部7、变速器控制部8、制动器控制部9的各控制部借由总线15连接，能够与这些控制部之间相互地进行数据通讯。驾驶辅助控制部5针对上述的各个控制部中所需的控制部进行指示而执行与驾驶辅助相关的动作。

传感器及操作单元类10概括地表示了设置于本车辆的各种传感器和/或操作单元。作为传感器及操作单元类10所具有的传感器，具有检测本车辆的速度的车速传感器10A、根据制动踏板的操作或不操作而进行开或关(ON/OFF)的制动开关10B、基于加速踏板的踩踏程度而检测加速器开度的加速器开度传感器10C、检测转向角的转向角传感器10D、检测横摆率(YawRate)的横摆率传感器10E以及检测加速度的G传感器10F。并且，虽然省略了图示，但作为其他的传感器，还具有例如发动机转数传感器、检测吸入空气量的吸入空气量传感器、插入并安装于吸气通路并检测对向发动机的各气筒提供的吸入空气量进行调整的节流阀的开度的节流阀开度传感器，检测表示发动机温度的冷却水温的水温传感器，检测车外气温的外部气温传感器等。

并且，作为操作单元，具有用于指示发动机的启动/停止的点火开关、用于在AT(AutomaticTransmission：自动变速)车对自动变速模式/手动变速模式的选择和/或在手动变速模式时进行升档/降档指示的变速杆、和/或用于在设置于后述的显示部11的MFD(MultiFunctionDisplay，多功能显示器)中进行显示信息切换的表示切换开关等。

显示部11概括地表示了设置在驾驶员的前方的仪表板内的车速里程表和/或转速表等的各种仪表和/或MFD、以及其他的用于向驾驶员进行信息提示的显示设备。在MFD中，能够对本车辆的总行驶距离、外部气温和/或瞬时耗油量等的各种的信息同时地或者切换地进行表示。

表示控制部6基于来自传感器及操作单元类10中的预定的传感器的检测信号和/或根据操作单元的操作输入信息等，控制由显示部11进行的显示动作。例如，作为驾驶辅助一部分，能够基于驾驶辅助控制部5的指示，在显示部11(例如MFD的指定区域)显示预定的提醒注意的信息。

发动机控制部7基于来自传感器及操作单元类10中的预定的传感器的检测信号和/或根据操作单元的操作输入信息等，对作为发动机相关执行器12而设置的各种执行器进行控制。作为发动机相关执行器12，例如设置有驱动节流阀的节流阀执行器和/或进行燃料喷射的喷射器等与发动机驱动有关的各种执行器。

例如，发动机控制部7根据上述的点火开关的操作来进行发动机的启动/停止控制。并且，发动机控制部7还基于来自发动机转数传感器和/或加速器开度传感器10C等预定的传感器的检测信号来进行燃料喷射时刻、燃料喷射脉冲宽度、节流阀开度等的控制。

变速器控制部8基于来自传感器及操作单元类10中的预定的传感器的检测信号和/或根据操作单元的操作输入信息等，对作为变速机相关执行器13而设置的各种执行器进行控制。作为变速器相关执行器13，例如设置有进行自动变速机的变速控制的控制阀、和/或使锁止离合器进行锁止动作的锁止执行器等与变速相关的各种执行器。

例如，变速器控制部8在通过上述的变速杆选择为自动变速模式时，按照预定的变速类型向控制阀输出变速信号而进行变速控制。

并且，变速器控制部8在设定为手动变速模式时，按照变速杆的升档/降档指示向控制阀输出变速信号而进行变速控制。

制动器控制部9基于来自传感器及操作单元类10中的预定的传感器的检测信号和/或根据操作单元的操作输入信息等，对作为制动器相关执行器14而设置的各种执行器进行控制。作为制动器相关执行器14，例如设置有用于控制从制动助力器向主缸输出的液压和/或制动液配管内的液压的液压控制执行器等与制动器相关的各种执行器。例如，在驾驶辅助控制部5进行了开启(ON)制动的指示时，制动器控制部9控制上述的液压控制执行器而使本车辆制动。并且，制动器控制部9从预定的传感器(例如车轴的旋转速度传感器和/或车速传感器10A)的检测信息计算车轮的滑移率，根据滑移率并通过上述的液压控制执行器使液压增压或减压，从而实现所谓的ABS(AntilockBrakeSystem，防抱死制动系统)控制。

(2、在本实施方式中执行的图像处理)

根据图2，针对在本实施方式中执行的图像处理进行说明。

其中，在图2针对图像处理进行说明，因此还将图1所示的摄像部2的内部构成以及存储器4一并与图像处理部3的构成共同示出。首先，针对在图像处理中使用的用于得到摄像图像数据的摄像部2进行简单的说明。

在摄像部2设置有第一摄像机部20-1、第二摄像机部20-2、A/D变换器21-1、A/D变换器21-2以及图像校正部22。

第一摄像机部20-1、第二摄像机部20-2分别具备摄像机光学系统和CCD(ChargeCoupledDevice，电荷耦合元件)和/或CMOS(ComplementaryMetalOxideSemiconductor，互补金属氧化物半导体)等的摄像元件而构成，通过上述的摄像机光学系统，在上述摄像元件的摄像面上成像有拍摄对象的像，由该摄像元件根据接收光的光量以像素单位获得电信号。

第一摄像机部20-1、第二摄像机部20-2被设置为能够通过所谓的立体摄像法进行测距。即，配置为能够得到视点不同的多个摄像图像。本例中的第一摄像机部20-1、第二摄像机部20-2在本车辆的前挡风玻璃上部附近，在车宽方向以隔开预定的间隔而设置。使第一摄像机部20-1、第二摄像机部20-2的光轴平行，焦点距离分别为相同值。并且，帧周期同步，帧频也一致。

A/D变换器21-1接收由第一摄像机部20-1的摄像元件得到的电信号，A/D变换器21-2接收由第二摄像机部20-2的摄像元件得到的电信号，并分别进行A/D变换。由此，以像素单位得到由预定灰度来表示亮度值的数字图像信号(图像数据)。在本实施方式中，第一摄像机部20-1以及第二摄像机部20-2能够得到根据R(红)、G(绿)、B(蓝)的彩色摄像图像，能够得到分别对应R、G、B的值作为上述亮度值。并且，在该示例的情况下，具有第一摄像机部20-1、第二摄像机部20-2的摄像元件的有效像素数为例如水平方向1280像素左右×垂直方向960像素左右。

在图像校正部22中输入有通过A/D变换器21-1得到的基于来自第一摄像机部20-1的摄像图像的图像数据(以下，表示为“第一摄像图像数据”)，和通过A/D变换器21-2得到的基于来自第二摄像机部20-2的摄像图像的图像数据(以下，表示为“第二摄像图像数据”)。图像校正部22分别针对第一摄像图像数据、第二摄像图像数据，例如使用仿射变换等，进行由于第一摄像机部20-1、第二摄像机部20-2的安装位置的错离而引起的偏差的校正。并且，图像校正部22还分别针对第一摄像图像数据、第二摄像图像数据进行包括去除噪声等的亮度值的校正。

由摄像部2得到的第一摄像图像数据、第二摄像图像数据通过图像处理部3记录并保存在存储器4。

图像处理部3例如由微型计算机构成，按照启动的程序，执行基于第一摄像图像数据、第二摄像图像数据的各种的图像处理。

在图2中，按照功能对图像处理部3执行的各种的图像处理进行划分并进行模块化来表示。如图所示，图像处理部3按照功能大致划分为，具有三维位置信息生成处理部3A、行车线检测处理部3B、行车线模型形成处理部3C、以及前行车辆检测处理部3D。

三维位置信息生成处理部3A执行的三维位置信息生成处理是基于存储器4中保存的第一摄像图像数据、第二摄像图像数据而生成三维位置信息的处理。具体来说，三维位置信息生成处理是，通过图案匹配来检测第一摄像图像数据和第二摄像图像数据(即立体摄像得到的一对的图像数据)之间的对应点，将检测到的对应点之间的坐标的偏差作为视差dp进行计算，使用视差dp并根据三角测量的原理来生成实际空间上的对应点的位置信息作为三维位置信息的处理。

如上所述，在计算作为视差dp的坐标的偏差时，预先将第一摄像图像数据、第二摄像图像数据中的一个设为“基准图像”，另一个设为“比较图像”。为了能够计算与位于基准图像上的水平方向端部的物体相关的视差dp，比较图像生成为与基准图像相比水平方向像素数多的图像。

在此，三维位置信息为当将一对摄像机(第一摄像机部20-1和第二摄像机部20-2)的中央正下方的点设为原点，将连接一对摄像机的方向设为X轴、将上下方向设为Y轴、将前后方向设为Z轴时表示为空间上的点(X、Y、Z)的信息。

作为三维位置信息的X、Y、Z的各值，当将在基准图像中与水平方向平行的轴设为i轴、与垂直方向平行的轴设为j轴时的像素的坐标以(i，j)表示，当将一对摄像机的间隔设为CD、每个像素的视角设为PW、一对摄像机的安装高度设为CH、摄像机正面的无限远点的在基准图像上的i坐标、j坐标分别设为IV、JV时，通过以下[式1]～[式3]所表示的坐标变换进行求解。

X＝CD/2+Z×PW×(i-IV)…[式1]

Y＝CH+Z×PW×(j-JV)…[式2]

Z＝CD/{PW×(dp-DP)}…[式3]

上述[式3]中的“DP”也称为消失点视差或无限远对应点等，也就是说，是使基准图像和比较图像之间的对应点间的视差dp和到对应点为止的实际空间上的距离Z满足上述[式3]而确定的值。以下，将该“DP”表示为“视差补偿值DP”。

行车线检测处理部3B执行的行车线检测处理，是基于基准图像(即第一摄像图像数据或第二摄像图像数据中预先进行了设定的一个图像数据)和在上述的三维位置信息生成处理中生成的三维位置信息(包括作为对应点的每个像素的距离Z)，而检测在本车辆行驶的路面上形成的行车线(作为拍摄对象而拍摄到的行车线)的处理。

其中，针对本实施方式的行车线检测处理的详细内容，将在以下另外进行说明。

行车线模型形成处理部3C执行的行车线模型形成处理，是基于在上述的行车线检测处理中检测到的行车线的信息(行车线候补点)，在由X、Y、Z的各个轴定义的三维空间上形成行车线模型的处理。具体来说，如后述那样，在行车线检测处理中，对在按照每行(每条水平线)进行检测的的行车线的开始位置ds和终止位置de(分别以由(X、Y、Z)表示的三维位置信息而检出)中的至少开始位置ds以例如最小二乘法等，将其近似为直线，在三维空间上形成行车线模型。根据如此形成的行车线模型，还能够得到本车辆所行驶的路面的高度信息。

前行车辆检测处理部3D执行的前行车辆检测处理，是基于基准图像和三维位置信息来检测在本车辆的前方存在的前行车辆的处理。在该前行车辆检测处理中，首先，基于三维位置信息进行物体检测处理，对图像内存在的物体并包括到该物体为止的距离Z的信息进行检测。例如，在该物体检测处理中，将在上述的视差dp的计算过程中检测到的各对应点与其距离Z的值进行一一对应而生成在图像上表示的距离图像，将该距离图像在纵向上分割成区分开的多个纵区，并按照每个纵区制作表示图像纵向(j方向)的距离分布的距离柱状图，将频数最大的位置(对应点)的距离Z作为在纵区内存在的物体的代表距离。并且，对于得到代表距离的频数最大的各对应点，根据到相邻的各对应点的距离Z和/或方向等的关联性，对认为是同一物体的像素范围进行群组化，并确定存在于图像内的各个物体的范围。由此，对图像内存在的物体包括到该物体为止的距离Z的信息进行检测。

在此，上述的距离图像是按照每帧依次得到的。在前行车辆检测处理中，通过连续多帧对检测物体的距离Z的信息进行监测，对在本车辆的行驶路上所存在的物体且在与本车辆大致相同的方向上以预定的速度移动的物体作为前行车辆进行提取。这时，为了控制对车辆以外的物体的误检测，还同时利用基准图像进行图案匹配(例如根据制动灯部分等车辆的特征点进行图案匹配)。

当检测到前行车辆时，计算并保存前行车距离(＝与本车辆的车间距)、前行车速度(＝车间距的变化比例+本车车速)、前行车加速度(前行车速的微分值)作为前行车辆检测信息。

其中，上述的前行车辆检测处理的方法，与日本特开2012-66759号公报公开的方法相同，具体内容可参考该文献。

并且，前行车辆检测处理部3D能够检测前行车辆的替换。前行车辆的替换是指，在检测过程中前行车辆从本车辆的前方脱离，并且与之相伴地，其前方的车辆作为新的前行车辆被检测的情况，和/或在检测过程中在前行车辆和本车辆之间插入其他车辆而该其他车辆重新作为前行车辆被检测等，在检测过程中的前行车辆改变而其他车辆重新作为前行车辆被检测的情况。

(3、实施方式的行车线检测处理)

针对行车线检测处理部3B执行的行车线检测处理进行详细说明。

如图2所示，行车线检测处理部3B按照功能进行大致划分，能够表示为具有搜素范围设定处理部30、亮度重视模式处理部31、色差和亮度模式处理部32以及模式转换控制处理部33。

搜索范围设定处理部30执行的搜索范围设定处理是在基准图像内设定作为进行行车线搜索的范围的行车线搜索范围sa的处理。在本示例的情况下，作为行车线搜索范围sa，设定在图像内的配置于右侧的右侧行车线搜索范围saR和配置于左侧的左侧行车线搜索范围saL这两个。

在搜素范围设定处理中，当未检测到行车线时，设定如图3A所示的右侧行车线搜索范围saR以及左侧行车线搜索范围saL。在未检测到行车线的情况下，作为右侧行车线搜索范围saR、左侧行车线搜索范围saL，在基准图像内分别以包含预测拍摄到右侧的行车线的范围、预测拍摄到左侧的行车线的范围的方式设定为比较宽的范围。具体来说，作为右侧行车线搜索范围saR，设定为从搜索开始位置isR到搜索结束位置ieR为止的比较宽的宽度，作为左侧行车线搜索范围saL，设定为从搜索开始位置isL到搜索结束位置ieL为止的比较宽的宽度。

其中，针对右侧行车线搜索范围saR将左边侧作为搜索开始位置isR、将右边侧作为搜索结束位置ieR，是由于在右侧行车线搜索范围saR是从左侧开始向右侧进行行车线的搜索(后述的峰值的搜索)。另一方面，针对左侧行车线搜索范围saL将右边侧作为搜索开始位置isL、将左边侧作为搜索结束位置ieL，是由于在左侧行车线搜索范围saL相反地从右侧开始向左侧进行行车线的搜索。其中，从该点也可以理解，各个行车线搜索范围sa的搜索方向都是从本车辆的中心侧开始向外侧的方向。

并且，在搜索范围设定处理中，当检测到行车线时，设定以行车线的开始位置ds和结束位置de为基准的行车线搜索范围sa。

图3B表示了根据检测到右侧和左侧两条行车线的情况而设定的右侧行车线搜索范围saR、左侧行车线搜索范围saL的示例。

该情况下的右侧行车线搜索范围saR设定为，以从在右侧检测到的行车线的开始位置dsR向左侧平移预定的像素数的位置作为搜索开始位置isR，以从该右侧检测到的行车线的结束位置deR向右侧平移预定的像素数的位置作为搜索结束位置ieR的范围。并且，该情况下的左侧行车线搜索范围saL设定为，以从在左侧检测到的行车线的开始位置dsL向右侧平移预定的像素数的位置作为搜索开始位置isL，以从该左侧检测到的行车线的结束位置deL向左侧平移预定的像素数的位置作为搜索结束位置ieL的范围。

其中，由于行车线搜索范围sa的宽度在实际空间上的宽度大致固定，如上所述，针对行车线的开始位置ds和/或结束位置de而施加的平移可根据距离Z而变化(越远越窄)。即，具有j的值越大的行(水平线)平移越小的倾向。

返回图2，亮度重视模式处理部31执行的亮度重视模式处理是，对于行车线搜索范围sa内半数以上的行，基于亮度图像进行行车线部分的检测，并且对于其他行，基于色差图像进行行车线部分的检测的处理。

在此，如前述，作为行车线不仅存在白色行车线，还存在例如橙色行车线(黄色行车线)等的彩色行车线。图4A以及图4B都是示例路面上的左侧形成白色行车线、右侧形成例如橙色行车线的彩色行车线的情况下的摄像图像，在例如图4A所示的示例中，白色行车线的亮度比路面亮度大，而彩色行车线的亮度与路面亮度为相同程度。并且，在图4B的示例中，同样地，白色行车线的亮度比路面亮度大，而彩色行车线的亮度比路面亮度小。

如此，对于彩色行车线，存在其亮度被摄像为相对于路面亮度为相同程度或比路面亮度小的情况。这些图4A和图4B的情况，例如行驶在混凝土地的道路等路面亮度比较高的情况，和彩色行车线的色彩比较重(例如刚涂饰完不久)、彩色行车线的亮度比较低的情况等，都是在实际行驶环境中很有可能发生的情况。

在例如图4A或图4B这样的彩色行车线的亮度相对于路面亮度为相同或比路面亮度低的行驶环境中，基于亮度图像进行行车线检测的情况下，能够检测到白色行车线，但对于彩色行车线的检测无法恰当地进行。

如前所述，对于彩色行车线，基于色差图像进行检测是有效的，但为了恰当地检测白色行车线和彩色行车线这两种车线，对于共用的图像部分执行基于亮度图像的检测和基于色差图像的检测这两种检测，会导致处理负担的增大，所以不优选。

并且，通常，由于彩色行车线的出现概率相对于白色行车线小，因此在基于亮度图像的行车线检测的同时经常进行基于色差图像的行车线检测同样会增大处理负担，所以不优选。

在此，在本实施方式中，作为行车线检测处理的初期模式，根据上述的亮度重视模式来进行行车线检测处理。

图5A为亮度重视模式的说明图。

首先，在亮度重视模式下，分别在右侧行车线搜索范围saR、左侧行车线搜索范围saL中，将基于亮度图像进行行车线部分检测的行设定为作为亮度重视时的亮度行Lbvb(图中以粗实线表示)，并且将基于色差图像进行行车线部分检测的行设定为作为亮度重视时的色差行Lbvc(图中以粗虚线表示)。

在本示例的情况下，亮度重视时的色差行Lbvc配置为其间隔相当于实际空间上的固定距离间隔(例如2m间隔)的间隔。即，亮度重视时的色差行Lbvc的间隔具有越在图像内的上方越窄的倾向。

另一方面，亮度重视时的亮度行Lbvb作为设定为亮度重视时的色差行Lbvc以外的行而设定。该情况下，亮度重视时的色差行Lbvc的间隔以至少使亮度重视时的亮度行Lbvb的数量比亮度重视时的色差行Lbvc的数量多的方式进行设定。

在此，在本示例的情况下，在针对亮度重视时的亮度行Lbvb进行的基于亮度图像的行车线部分的检测中，使用R图像、G图像、或者B图像的任意一个边缘图像。具体来说，在本示例中使用G图像的边缘图像。

在基于亮度图像的行车线部分的检测中，针对在G图像的边缘图像内的对象行，进行从搜索开始位置is开始到搜素结束位置ie为止的边缘值的峰检测。即，在以右侧行车线搜索范围saR为对象的情况下，在对象行从搜索开始位置isR到搜索结束位置ieR，在以左侧行车线搜索范围saL为对象的情况下，在对象行从搜索开始位置isL到搜索结束位置ieL，分别进行边缘值的峰位置的检测。

这时，如果在对象行的从搜索开始位置is到搜索结束位置ie的范围内拍摄到白色行车线的一部分(行车线部分)，则通过该峰位置的检测来检测行车线部分的开始位置ds和结束位置de。在基于亮度图像的行车线部分的检测中，将这些开始位置ds和结束位置de的信息作为三维位置信息进行计算。

在上述的行车线模型形成处理部3C中，使用这样算出的开始位置ds和结束位置de之中的至少开始位置ds的信息来形成行车线模型。

在基于色差图像的行车线部分的检测中，使用U(B-G)、V(R-G)的色差图像中的任何一种的边缘图像。本示例中，使用了U图像(B-G)的边缘图像。

基于色差图像的行车线部分的检测方法与上述说明的基于亮度图像的行车线部分的检测方法相比较，除了进行边缘值的峰位置的检测的对象是在色差图像中的亮度重视时的色差行Lbvc以外，都是相同的，所以此处省略以避免重复说明。

根据这样的亮度重视模式，通过主要基于亮度图像进行检测，从而能够检测白色行车线的行车线部分。并且，与此同时，通过对行车线搜索范围内的一部分同时基于色差图像进行检测，当出现彩色行车线时，能够确认该行车线部分的有无。

其中，在亮度重视模式中，在进行亮度重视时的色差行Lbvc的检测时求得的行车线的开始位置ds、结束位置de的信息用于后述的根据模式转换控制处理部33进行的模式转换判断。

针对色差和亮度模式处理部32进行的色差和亮度模式处理进行说明。

色差和亮度模式处理是，在比亮度重视模式时多的行基于色差图像的行车线部分进行检测的处理。

图5B是关于色差和亮度模式的说明图，示出在右侧行车线搜索范围saR侧根据色差和亮度模式进行行车线检测处理时的情况。

在色差和亮度模式下，在右侧行车线搜索范围saR中，基于亮度图像进行行车线部分检测的行被设定为作为色差和亮度时的亮度行Lcbb(图中以粗实线表示)，并且基于色差图像进行行车线部分检测的行被设定为作为色差和亮度时的色差行Lcbc(图中以粗虚线表示)。

在本示例的色差和亮度模式中，如图所示，通过使色差和亮度时的亮度行Lcbb和色差和亮度时的色差行Lcbc每隔一行相互交替配置，从而使得进行基于色差图像的行车线部分的检测的行比亮度重视模式时增加。

在色差和亮度模式中，由于基于亮度图像的行车线部分的检测方法、基于色差图像的行车线部分的检测方法分别与说明有关亮度重视模式的方法相同，因此此处省略以避免重复说明。

根据上述那样的色差和亮度模式，通过增加基于色差图像进行行车线部分检测的行，从而能够恰当地检测彩色行车线。

在本示例中，如上述那样，通过每隔一行相互交替配置色差和亮度时的亮度行Lcbb与色差和亮度时的色差行Lcbc，也能够与彩色行车线的检测一同进行白色行车线的检测。这是为了例如如图6所示那样白色行车线和彩色行车线相邻配置而出现双线时，能够检测出两种行车线(能够形成两种行车线模型)。

在此，上述说明的亮度重视模式处理、色差和亮度模式处理分别为以上述的基准图像为对象，按照每帧重复执行的处理。

接下来，针对模式转换控制处理部33进行的模式转换控制处理进行说明。

模式转换控制处理是基于在根据色差图像进行行车线部分的检测的行中检测到的行车线部分在预定宽度以上的行的数量，而进行亮度重视模式与色差和亮度模式之间的模式转换判断，以及基于判断结果进行模式转换控制的处理。

具体来说，在模式转换控制处理中，当当前的模式为亮度重视模式时，作为模式转换判断，基于亮度重视时的色差行Lbvc中检测到的行车线部分在预定宽度以上的行的数量，来进行是否向色差和亮度模式进行转换的判断。

在本示例的情况下，在亮度重视模式时的模式转换判断中，判断在亮度重视时的色差行Lbvc中，满足

(1)从检测的开始位置ds到结束位置de的在实际空间上的宽度在预定宽度以上；

(2)视差dp的值在预定范围内，

这两个条件的行的数量，是否在作为对象的行车线搜索范围sa内的亮度重视时的色差行Lbvc的总数的α％以上(例如80％以上)。其中，作为条件(1)中的“预定宽度”设定为在实际空间上行车线的宽度所对应的值。在本示例中，作为条件(1)，不仅设定宽度的下限值，还设定上限值，使之为“从检测的开始位置ds到结束位置de的在实际空间上的宽度在预定范围内”的条件。

在模式转换控制处理中，对应根据上述那样的判断而得到的肯定结果进行控制，以将行车线检测处理的模式从亮度重视模式切换为色差和亮度模式。

在本示例中，模式转换判断按照每帧进行，在如上述那样得到肯定结果时，从下一帧开始切换为根据色差和亮度模式进行行车线检测处理。

并且，在模式转换控制处理中，作为在当前的模式为色差和亮度模式的情况下的模式转换判断，基于亮度和视差时的色差行Lcbc中检测到的行车线部分在预定宽度以上的行的数量来进行是否进行向亮度重视模式转换的判断。具体来说，在本示例中，将亮度和视差时的色差行Lcbc作为对象，对满足上述条件(1)以及(2)这两个条件的行的数量是否小于亮度和视差时的色差行Lcbc的总数的α％(例如小于80％)进行判断。

作为这样的色差和亮度模式时的模式转换判断，也按照基准图像的每帧反复执行。

在此，在本示例中，为防止模式转换的波动，关于从色差和亮度模式向亮度重视模式的转换，即使在模式转换判断得到了执行转换的肯定判断结果，也要在数帧进行模式转换的抑制。具体来说，在通过上述的色差和亮度模式时的模式转换判断而得到的肯定结果的次数达到了预定次数之后，相应地进行向亮度重视模式的转换控制。

(4、处理步骤)

参考图7以及图8的流程图，对为了实现根据上述的亮度重视模式处理、亮度和色差模式处理、以及模式转换控制处理的功能，图像处理部3应执行的具体的处理的步骤进行说明。图7示出了对应亮度重视模式时应执行的亮度重视模式的对应处理，图8示出了对应色差和亮度模式时应执行的色差和亮度模式的对应处理。

其中，图7所示的处理是在亮度重视模式时按照基准图像的每帧重复执行的处理，图8所示的处理是在色差和亮度模式时按照基准图像的每个帧重复执行的处理。并且，图7、图8所示的处理是分别针对右侧行车线搜索范围saR、左侧行车线搜索范围saL而执行的。

首先，在图7中，图像处理部3在步骤S101对亮度重视时的亮度行Lbvb基于亮度图像进行行车线部分的检测。即，以G图像的边缘图像为对象，针对右侧行车线搜索范围saR、左侧行车线搜索范围saL中作为对象的一侧的行车线搜索范围sa内的亮度重视时的各亮度行Lbvb，分别检测在从搜索开始位置is到搜索结束位置ie范围内的边缘值的峰位置。当如前所述存在白色行车线的行车线部分时，边缘值的峰位置被检测为行车线的开始位置ds、结束位置de。

接下来，在步骤S102，图像处理部3针对亮度重视时的色差行Lbvc基于色差图像进行行车线部分的检测。即，以U图像的边缘图像为对象，针对作为对象的一侧的行车线搜索范围sa内的亮度重视时的各色差行Lbvc，分别检测在从搜索开始位置is到搜索结束位置ie范围内的边缘值的峰位置。当存在彩色行车线的行车线部分时，边缘值的峰位置被检测为行车线的开始位置ds、结束位置de。

应予说明，步骤S101和S102的处理的执行顺序也可以相反。

并且，接下来在步骤S103，图像处理部3针对亮度重视时的色差行Lbvc，对满足从行车线的开始位置ds到结束位置de的宽度(实际空间上的宽度)在预定范围内(相当于上述(1)的条件)、视差dp在预定范围内(相当于上述(2)的条件)这两个条件的行的数量是否在亮度重视时的色差行Lbvc的总数的α％(例如80％)以上进行判断。

在步骤S103，当满足上述两个条件的行的数量在亮度重视时的色差行Lbvc的总数的α％以上时，图像处理部3进入步骤S104，作为色差和亮度模式转换处理而进行以从下一帧开始执行色差和亮度模式的方式进行设定的处理。

接下来在步骤S105，图像处理部3设定“N”作为返回模式计数值，结束该图所示的处理。其中，返回模式计数值为用于防止上述的波动的计数值，作为“N”值，设定为2以上的自然数。

并且，在步骤103中，当满足上述两个条件的行的数量不在亮度重视时的色差行Lbvc的总数的α％以上时，图像处理部3跳过步骤S104以及S105结束该图所示的处理。即，该情况下继续亮度重视模式。

接下来，针对图8的色差和亮度模式的对应处理进行说明。

在图8中，首先，图像处理部3在步骤S201对色差和亮度时的亮度行Lcbb基于亮度图像进行行车线部分的检测，接下来，在步骤S202对色差和亮度时的色差行Lcbc基于色差图像进行行车线部分的检测。

其中，步骤S201的处理，除了对象是色差和亮度时的亮度行Lcbb之外，与之前的步骤S101的处理相同，并且步骤S202的处理除了对象是色差和亮度时的色差行Lcbc之外，与之前的步骤S102的处理相同。因此，此处省略以避免重复说明。

对于这些步骤S201和S202的处理，执行顺序也可以相反。

接下来，图像处理部3在步骤S203针对色差和亮度时的色差行Lcbc，对满足从行车线的开始位置ds到结束位置de的宽度(实际空间上的宽度)在预定范围内(相当于上述(1)的条件)、视差dp在预定范围内(相当于上述(2)的条件)这两个条件的行的数量是否在色差和亮度时的色差行Lcbc的总数的α％(例如80％)以上进行判断。

在步骤S203，当满足上述两个条件的行的数量在色差和亮度时的色差行Lcbc的总数的α％以上时，图像处理部3结束该图所示的处理。即，在该情况下，继续色差和亮度模式。

另一方面，在步骤S203，当满足上述两个条件的行的数量不在色差和亮度时的色差行Lcbc的总数的α％以上时，图像处理部3进入步骤S204，将返回模式计数值减1，然后在步骤S205判断返回模式计数值是否为0。

当返回模式计数值不为0时，图像处理部3结束该图所示的处理。另一方面，当返回模式计数值为0时，图像处理部3进入步骤S206，作为亮度重视模式转换处理，进行以从下一帧开始执行亮度重视模式处理的方式进行设定的处理。

也就是说，在根据步骤S203的模式转换判断而得到N次(本示例中为N帧)的进行模式转换的肯定判断结果之前，不进行向亮度重视模式的转换，而抑制了模式转换。

其中，为实现防止模式转换的波动，也能够在通过步骤S203的模式转换判断而连续得到预定次数的确定进行模式转换的判断结果之前，抑制模式转换。

(5、实施方式的总结)

如上所述，本实施方式的图像处理装置(图像处理部3)具备，摄像部(摄像部2)，对本车辆的行进方向进行摄像而得到作为彩色图像的摄像图像；和行车线检测部(行车线检测处理部3B)，基于由摄像部得到的摄像图像，来检测作为拍摄对象而拍摄到的行车线。

并且，行车线检测部作为以针对摄像图像而设定的行车线搜索范围(sa)为对象的行车线检测处理，能够执行对行车线搜索范围内的半数以上的行基于亮度图像进行行车线部分的检测，并且对其余的行基于色差图像进行行车线部分的检测的根据第一模式(亮度重视模式)的行车线检测处理，；和在比第一模式时多的行基于色差图像进行行车线部分的检测的根据第二模式(色差和亮度模式)的行车线检测处理，并且，执行根据在基于色差图像进行了行车线部分的检测的行中检测出的行车线部分在预定宽度以上的行的数量，来执行第一模式和第二模式之间的模式转换判断，并且基于判断结果进行模式转换控制的模式转换控制处理。

在第一模式中，主要通过基于亮度图像进行检测，从而能够检测白色行车线的行车线部分，并且通过同时基于色差图像进行检测，从而能够确定彩色行车线的行车线部分的有无。当出现彩色行车线时，通过根据模式转换控制处理从第一模式向第二模式进行模式转换，而使基于色差图像进行检测的行增多，从而能够恰当地检测彩色行车线。

由此，当能够恰当地检测白色行车线和彩色行车线这两种行车线时，针对同一行则不必既进行基于亮度图像的检测又进行基于色差图像的检测这两种检测。

因此，实现减轻处理负担，并能够恰当地检测白色行车线和彩色行车线这两种行车线。

并且，在本实施方式的图像处理装置中，行车线搜索范围在摄像图像内左右分开设定为两处，行车线检测部按照每个行车线搜索范围执行模式转换控制处理。

由此，即能够应对彩色行车线在行进方向的右侧存在的情况又能够应对在左侧存在的情况这两种情况。

并且，在本实施方式的图像处理装置中，在第一模式时基于色差图像进行行车线部分的检测的行(Lbvc)的间隔设定为相当于实际空间上的固定距离间隔的间隔。

由此，例如与在图像空间上的固定间隔的情况相比，彩色行车线的采样间隔更恰当。

因此，基于恰当的采样结果能够进行恰当的模式转换。

并且，在本实施方式的图像处理装置中，在第二模式时，基于亮度图像进行行车线部分的检测的行(Lcbb)和基于色差图像进行行车线部分的检测的行(Lcbc)每隔一行相互交替配置。

由此，在同一行车线搜索范围内存在白色行车线和彩色行车线这两种行车线时，能够恰当地检测这两种行车线。

因此，当出现例如图6所示那样的双线时，能够恰当地检测白色行车线和彩色行车线这两种行车线。

而且，在本实施方式的图像处理装置中，摄像部对本车辆的行进方向进行立体摄像而得到一对摄像图像，图像处理装置还具备视差计算部(三维位置信息生成处理部3A)，基于由摄像部得到的一对摄像图像来计算拍摄对象的视差，行车线检测部根据基于色差图像进行行车线部分的检测的行中检测出行车线部分在预定宽度以上并且检测出的行车线部分的视差dp的值在预定范围内的行的数量，来进行模式转换控制处理中的模式转换判断。

检测到的行车线部分的视差dp的值在预定范围内是指，推测该行车线部分也被拍摄到进行立体摄像而拍摄的另一个摄像图像(非基准图像的摄像图像)中。因此，如果如上述那样，将视差dp的值在预定范围内的条件作为模式转换判断的条件来施行，则能够实现防止例如由于仅在一侧(基准图像侧)的摄像机上附着有灰尘等而反应为行车线部分的误检测，进而导致在模式转换判断得到肯定结果。

也就是说，能够防止伴随行车线部分的误检测而导致进行不恰当的模式转换。

并且，在本实施方式的图像处理装置中，行车线检测部作为模式转移控制处理，按每帧进行模式转换判断，从第一模式向第二模式的转换控制是根据在由模式转换判断而得到了确定转换的判断结果而进行的，从第二模式向第一模式的转换控制是根据当由模式转换判断得到的确定转换的判断结果的次数达到了预定次数而进行的。

由此，在转换至第二模式后，不会立即返回至第一模式。

因此，能够防止模式转换的波动。

(6、变形例)

以上，对本发明的实施方式进行了说明，但本发明并不限于上述说明的具体示例，还认为存在多种变形例。

例如，在上述内容中，例举了在第二模式时(色差和亮度模式时)基于亮度图像进行行车线部分的检测的行(Lcbb)和基于色差图像进行行车线部分的检测的行(Lcbc)每隔一行相互交替配置的示例，但例如上述的图6那样的针对双线只检测彩色行车线侧即可等的情况，也可以将基于色差图像进行行车线部分的检测的行配置为行车线搜索范围sa内的所有行。作为在第二模式时基于色差图像进行行车线部分的检测的行可以配置为，使其行数等于或大于基于亮度图像进行行车线部分的检测的行的数量，并且能够进行彩色行车线的检测(能够形成行车线模型)。

并且，在模式转换判断中，在上述示例的以行车线部分的宽度和/或视差dp为基准以外，也可以考虑例如以行车线部分的颜色成分为基准。具体来说，作为模式转换判断能够根据在基于色差图像进行行车线部分的检测的行中检测出的行车线部分在预定宽度以上，并且检测出的行车线部分中预定的颜色成分的含有率在预定的比率以上的的数量来进行。这时，作为“预定的颜色成分的含有率”可以为例如当是橙色行车线时为R成分的含有率等，作为对象的彩色行车线中代表特征的颜色成分的含有率。其中，作为是否为“行车线部分的预定的颜色成分的含有率在预定的比率以上”的判断可以为例如判断构成行车线部分的像素中的R值、G值或者B值中的任意一个值的像素的数量是否在预定值以上。

如上所述，在模式转换判断中，通过施加使行车线部分的预定的颜色成分的含有率在预定的比率以上的条件，实现了与彩色行车线的颜色特征相结合的模式转换判断。

因此，能够进一步提高模式转换判断的精度。

Claims (7)

1.一种图像处理装置，其特征在于，具备：

摄像部，其对本车辆的行进方向进行摄像而得到作为彩色图像的摄像图像；和

行车线检测部，其基于由所述摄像部得到的摄像图像来检测作为拍摄对象而拍摄到的行车线，

其中，所述行车线检测部作为以针对所述摄像图像而设定的行车线搜索范围为对象的行车线检测处理，能够执行对所述行车线搜索范围内的半数以上的行基于亮度图像进行行车线部分的检测，并且对其余的行基于色差图像进行行车线部分的检测的根据第一模式的行车线检测处理；和在比所述第一模式时多的行基于所述色差图像进行行车线部分的检测的根据第二模式的行车线检测处理，

并且根据在基于所述色差图像进行了行车线部分的检测的行中检测出的行车线部分在预定宽度以上的行的数量，来执行第一模式和第二模式之间的模式转换判断，并且基于判断结果进行模式转换控制的模式转换控制处理。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述行车线搜索范围在所述摄像图像内左右分开设定为两处，

所述行车线检测部按照每个所述行车线搜索范围执行所述模式转换控制处理。

3.根据权利要求1或2所述的图像处理装置，其特征在于，

在所述第一模式时基于所述色差图像进行行车线部分的检测的行的间隔设定为相当于实际空间上的固定距离间隔的间隔。

4.根据权利要求1或2所述的图像处理装置，其特征在于，

在所述第二模式时，基于所述亮度图像进行行车线部分的检测的行和基于所述色差图像进行行车线部分的检测的行每隔一行相互交替配置。

5.根据权利要求1或2所述的图像处理装置，其特征在于，

所述摄像部对本车辆的行进方向进行立体摄像而得到一对摄像图像，

所述的图像处理装置还具备视差计算部，其基于由所述摄像部得到的所述一对摄像图像来计算拍摄对象的视差，

所述行车线检测部根据基于所述色差图像进行了行车线部分的检测的行中检测出行车线部分在预定宽度以上并且检测出的行车线部分的视差的值在预定范围内的行的数量，来进行所述模式转换控制处理中的所述模式转换判断。

6.根据权利要求1或2所述的图像处理装置，其特征在于，

所述行车线检测部作为所述模式转移控制处理，按每帧进行所述模式转换判断，

从所述第一模式向所述第二模式的转换控制是根据在由所述模式转换判断而得到了确定转换的判断结果而进行的，

从所述第二模式向所述第一模式的转换控制是根据当由所述模式转换判断得到的确定转换的判断结果的次数达到了预定次数而进行的。

7.根据权利要求1或2所述的图像处理装置，其特征在于，

所述行车线检测部根据基于所述色差图像进行行车线部分的检测的行中检测出的行车线部分在预定宽度以上，并且检测出的行车线部分中预定的颜色成分的含有率在预定的比率以上的行的数量，来进行所述模式转换控制处理中的所述模式转换判断。