CN102481931A - 车辆控制装置 - Google Patents

Abstract

本发明提供一种抑制误控制并同时扩大行车线脱离防止的适用范围的车辆控制装置。车辆控制装置具有：拍摄本车前方的图像的车载相机(600)；从多个车辆控制方法中决定一个车辆控制方法，利用决定的车辆控制方法来控制致动器的ECU(610)，其中，车载相机具有按区域可靠度计算部(400)，该按区域可靠度计算部(400)基于拍摄而取得的图像和识别的行车道而分割成多个区域，按分割的区域来计算可靠度，并输出按区域可靠度信息，ECU基于按区域可靠度信息来决定车辆控制方法。

Description

车辆控制装置

技术领域

本发明涉及对车辆的行车线脱离进行控制的车辆控制装置。

背景技术

存在一种在车辆上安装相机或雷达来识别行车道标记，并推定本车与行车线的相对的位置关系、倾斜、以及表示道路的弯曲状况的曲率的行车道标记识别装置。存在一种根据该曲率、横摆角、横向位置来进行行车线脱离报警或行车线脱离防止的控制，以防止行车线脱离等事故的车辆控制装置。在现有的方法中，存在一种对于行车道标记识别结果整体，计算可靠度，根据该可靠度的结果，来切换行车线脱离控制方法的行车线脱离防止控制装置(参照专利文献1)。

【专利文献1】日本特开2006-178675号公报

道路钉(道路鋲)(道钉(Botts dots))或在白色的路面(混凝土)上的画出的白线等从远方有时难以看清。而且根据太阳的方向的不同，存在从左右单侧难以看清的情况，仅单侧画出行车道标记的情况或道钉的情况。

在上述现有技术中，对于行车道识别结果整体来计算可靠度，因此若存在局部难以看清的区域则可靠度整体下降，存在脱离防止控制的动作率下降这样的课题。

发明内容

本发明的目的是提供一种抑制误控制并同时扩大行车线脱离防止的适用范围的行车线脱离防止控制装置。

为了解决上述课题，本发明涉及一种车辆控制装置，其具有：拍摄本车前方的图像的车载相机；从多个车辆控制方法中决定一个车辆控制方法，利用决定的车辆控制方法来控制致动器的处理单元，其中，车载相机进行拍摄，且具有按区域可靠度计算部，该按区域可靠度计算部基于取得的图像和识别的行车道而分割成多个区域，按分割的区域来计算可靠度，并输出按区域可靠度信息，处理单元具有车辆控制部，该车辆控制部基于按区域可靠度信息来决定车辆控制方法。

而且，具有：检测车速信息的车速传感器；检测转向角信息的转向角传感器；检测横摆率信息的横摆率传感器，其中，车载相机具有：取得本车前方的图像的图像取得部；从取得的图像中识别行车道的行车道识别部；推定表示道路的弯曲状况的道路曲率、表示本车与行驶车道的相对姿势的横摆角、表示相对位置的横向位置的控制用参数推定部；基于取得的所述图像和识别的所述行车道，分割成多个区域，按分割的区域计算可靠度，并输出按区域可靠度信息的按区域可靠度计算部，处理单元的车辆控制部基于道路曲率、横摆角、横向位置中的至少一个和按区域可靠度信息来决定车辆控制方法。

【发明效果】

能够提供一种抑制误控制并同时扩大行车线脱离防止的适用范围的车辆控制装置。本说明书包括本申请的优先权的基础即日本国专利申请2009-225887号的说明书及/或附图所记载的内容。

附图说明

图1是表示本发明的车辆控制装置的一结构例的图。

图2是表示图1的车辆控制装置的按区域可靠度计算部的一结构例的图。

图3是表示图1的车辆控制装置的判定车辆的控制模式的流程图的图。

图4是说明本发明中的按左右远近来区分区域的情况的图。

图5是说明本发明中的按行车道来区分区域的情况的图。

图6是说明本发明中的按相机、按行车道来区分区域的情况的图。

图7是表示本发明中的各区域的车辆控制模式的对应表的图。

图8是说明本发明中的车辆控制模式的切换用阈值的图。

图9是说明进行利用了曲率的控制时的按区域可靠度的条件和控制的概要的图。

图10是说明进行利用了直线的控制时的按区域可靠度的条件和控制的概要的图。

图11是说明进行行车线脱离的报警或警告时的按区域可靠度的条件的图。

图12是表示本发明的二轮模型的推定路径的图。

图13是说明曲线控制模式时的目标路径计算的图。

图14是说明曲线控制模式时的与目标路径的差量计算的图。

图15是说明直线控制模式时的目标路径计算的图。

图16是说明直线控制模式时的与目标路径的差量计算的图。

图17是表示本发明的行车线脱离防止控制装置的另一结构例的图。

图18是表示图17的行车线脱离防止控制装置的车辆控制流程图的图。

图19是表示搭载有本发明的行车线脱离防止控制装置的车辆的一结构例的图。

图20是表示本发明的车辆控制模式的显示例的图。

图21是表示本发明的与车辆控制模式对应的显示形式的一例的图。

图22是说明根据可靠度而动态性地使区域远方的距离发生变化的方法的图。

图23是表示本发明的与按区域可靠度对应的车辆控制方法的流程图的图。

图24是说明本发明的与按区域可靠度对应的车辆控制部的图。

【符号说明】

100 图像取得部

200 行车道识别部

300 控制用参数推定部

400、420 按区域可靠度计算部

410 区域判定部

430 按区域可靠度修正部

450 外部信息部

451 车辆行为部

452 雷达部

453 导航信息部

454 另一相机部

500 车辆控制部

510 按行车道控制判定

520 曲率利用判定

530 警告判定

540 曲线控制模式

550 直线控制模式

560 警告模式

570 停止模式

600 车载相机

601 转向角传感器

603 致动器

606 车速传感器

607 横摆率(ヨ一レ一ト)传感器

609 显示装置

610 ECU

1010 左远方

1020 左附近

1050 右远方

1060 右附近

具体实施方式

本发明能够提供一种车辆控制装置，具有：拍摄本车前方的图像的车载相机600；根据多个车辆控制方法来决定一个车辆控制方法，并利用决定的车辆控制方法来控制致动器的处理单元即ECU610，其中，车载相机600具有按区域可靠度计算部400，该按区域可靠度计算部400基于拍摄、取得的图像和识别出的行车道来分割成多个区域，按分割的区域来计算可靠度，并输出按区域可靠度信息，ECU610具有基于该按区域可靠度信息来决定车辆控制方法的车辆控制部500，由此，能抑制误控制，并同时扩大行车线脱离防止的适用范围。

以下，使用各附图来说明本发明的实施方式。

<行车线脱离防止控制装置的结构说明>

使用图19，说明搭载有车辆控制装置的车辆的结构。

如图19所示，搭载朝向车辆前方的车载相机600，车载相机600与担任车辆控制的ECU(Engine Control Unit)610通过CAN(Controller AreaNetwork)连接。车辆上搭载有具备ECU610、各传感器(车速传感器606、转向角传感器601、横摆率传感器607)及致动器603的车辆控制装置。ECU610利用CAN通信而从车辆内的各传感器取得车速、转向角、横摆率等信息。ECU610利用CAN通信，基于上述各传感器及通过相机计计算的按区域可靠度信息，来决定车辆控制方法。ECU610根据决定的车辆控制方法，利用致动器603，控制车辆。而且，具备显示该按区域可靠度或当前的车辆控制模式的结果的显示装置609。

如图1所示，车载相机600具备图像取得部100、行车道(レ一ン)识别部200、控制用参数推定部300、按区域可靠度计算部400。车辆控制由ECU610来实施，因此具备与按区域可靠度对应的车辆控制部500。而且，行车道识别部200、控制用参数推定部300、按区域可靠度计算部400可以是ECU610的功能。

图1表示按区域具备行车道识别结果的可靠度的行车线脱离防止控制装置的结构图。使用该图1，说明车载相机600的各结构要素。

车辆控制装置具备：取得来自车载相机600的图像的图像取得部100；利用取得的图像进行行车道的识别的行车道识别部200；表示道路的弯曲状况的道路曲率；推定表示本车与行驶车道的相对的姿势关系的横摆角、表示相对的位置关系的横向位置这样的利用在车辆控制中的参数的控制用参数推定部300；按区域计算行车道识别结果的可靠度的按区域可靠度计算部400；以及基于按区域可靠度和控制用参数推定结果来进行行车线脱离防止控制的与按区域可靠度对应的车辆控制部500。

在此，可靠度是指行车道识别结果不会出现误检测，而能正确地识别行驶车道，且表示是否值得进行车辆控制或警告的指标，根据图像中排列在线上的白线特征量的多少或抽出的线的平行性等，数值性地表示。

可靠度越高表示识别结果越正确，越低表示越容易出现误检测或识别精度越低，表示不适于车辆控制或警告。

在本实施例中，记载了车载相机600假定为朝向本车行驶方向的车载单眼相机的实施例，但相机既可以为立体相机，也可以为拍摄车辆周围的多个相机。而且，识别行车道的传感器部分也可以是激光雷达或毫米波雷达等相机以外的传感器。

接下来，使用图2，说明按区域可靠度计算部400的结构。

按区域可靠度计算部400具备根据行车道识别的结果来分割区域的区域判定部410。在本实施例中，将区域分割成本车行驶车道的左右的行车道，而且按距离分割成远方、附近这两部分，分割成左远方1010、左附近1020、右远方1050、右附近1060这总计四个区域。

另外，具备按区域可靠度计算部420，该按区域可靠度计算部420对于由区域判定部410分割的各区域，基于拍摄到的图像信息来计算可靠度。而且，具备按区域可靠度修正部430，该按区域可靠度修正部430对于通过按区域可靠度计算部420利用图像信息得到的按区域可靠度，利用外部信息部450来进行可靠度的修正。上述外部信息部450具备：根据解析本车的行为用的车速传感器、加速度传感器、转向角传感器、横摆率传感器等，处理本车的行驶信息的车辆行为部451；能够检测障碍物、前车等的由毫米波雷达或激光雷达或立体相机构成的雷达部452。

另外，具备导航信息部453，该导航信息部453根据车辆导航系统的地图信息或搭载于导航的GPS、角速度传感器(陀螺传感器)、加速度传感器、方位传感器产生的车辆位置而能够进行行驶解析。而且，在外部信息部450上，除了计算按区域可靠度的相机以外，还具备用于利用来自另一相机的信息的另一相机部454。

使用图24，说明与按区域可靠度对应的车辆控制部500的处理的车辆控制部。通过与按区域可靠度对应的车辆控制部500，来实施与按区域可靠度对应的车辆控制。与按区域可靠度对应的车辆控制部500的详细的功能块如图24所示。

通过与按区域可靠度对应的控制模式判定部501，利用按区域可靠度的结果来实施车辆控制的模式切换。在本车路径预测部502中，利用车速信息、转向角信息，直接进行行车线脱离回避控制或没有驾驶员介入地进行本车前进时的路径推定。比较该推定出的本车推定路径的结果与利用控制用参数推定部300推定出的行车道识别的结果，利用控制判定部503进行本车是否有行车线脱离的可能性的判定。

在没有行车线脱离的可能性时，在控制量决定部504中选择控制量0，在车辆控制实施部505中不实施控制，而监控脱离的可能性，成为等待脱离回避用的控制的状况。

当存在行车线脱离的可能性时，通过控制量决定部504，基于本车前方L[m]的推定路径与识别出的行车线的横向位置差量，决定对转向角施加的控制量。通过车辆控制实施部505，利用上述决定的控制量，实施行车线脱离回避用的车辆控制。

在与按区域可靠度对应的车辆控制部500中，根据按区域可靠度来切换控制模式，由此实施车辆控制。以下，使用各附图，说明与按区域可靠度对应的控制模式判定部501的基于按区域可靠度进行的控制模式的切换。

在本实施例中，如图4所示，将可靠度计算的区域分成左远方1010、左附近1020、右远方1050、右附近1060这总计四个区域。在图3中，示出利用了左远方1010和左附近1020的与按区域可靠度对应的对于左行车线的车辆控制方法。在本实施例中，对于左右的行车道，分别进行独立的控制，因此右远方1050和右附近1060的与按区域可靠度对应的车辆控制与对于左行车线的车辆控制相同，因此省略详细说明。

在按行车道控制判定510中，对于本车的左右最近的行车道，判定可否按左右进行控制。在本说明中，与相对于左行车道的可靠度相比，进行对于本车行驶车道的左行车线的控制实施的判定。通过判定可否按左右进行独立的控制，只要在左右一方能够高可靠度地检测，就能够进行高可靠度的对于行车道的车辆控制，从而能够扩大车辆控制适用范围。而且，对于画出而未清楚地看见的行车线，能够按左右来判定是否可以进行控制，因此能够避免误检测引起的误控制，能够得到更安全地作出了考虑的系统构筑。

在按行车道控制判定510中，判定左附近1020的按区域可靠度是否为附近第一规定值以上，该附近第一规定值是判定可否进行控制的阈值。

在是的情况下，判定为能够进行控制，接下来，利用曲率利用判定520，来判定左远方1010的按区域可靠度是否为远方第一规定值以上，该远方第一规定值是判定可否进行曲率利用的控制的阈值。在此，判定远方的可靠度是否为远方第一规定值以上。若不观察远方则道路的弯曲状况不明，因此，通过左远方的行车道在图像上是否能够抽出较多的白线特征量，或大致在画面上该特征量是否集中于线上而能够计算远方的可靠度。若左远方的白线特征量存在较多且呈直线状排列，则认为表示了高可靠度推定的曲率正确的道路形状，而能够进行考虑了道路的弯曲状况的车辆控制。

如图9所示，当确认到不仅附近而且远方的可靠度也为各自的第一规定值以上时，在曲率利用判定520中，选择曲线控制模式540(是)。反之，如图10所示，当远方的可靠度低于远方第一规定值时，在曲率利用判定520中，选择直线控制模式550(否)。

与附近的可靠度是否高无关地，当远方的可靠度低时，在车辆控制中避免曲率的利用。在计算曲率时，不仅是附近，而且若不能得到直至远方的行车道识别结果，则难以高精度地计算曲率。而且，在可靠度低时，也会担心误检测引起的曲率精度的误差。因此在远方的可靠度低时，为了避免使用存在误差的曲率引起的误控制，而选择直线控制模式550。

而且，图11表示对于右侧行车道的警告模式的情况。

在按行车道控制判定510中，当小于附近第一规定值时，为否，在警告判定530中，当左附近的可靠度为附近第二规定值以上时，越进行车辆控制越无法相信行车道的识别结果的精度，选择实施显示警告或进行报警的警告模式560。

误控制对车辆的安全性造成坏影响的可能性高，因此仅在可靠度高时进行行车线脱离防止的控制。在可靠度低时，误检测行车道的可能性升高，因此为了避免误控制，在误检测中，仅限于即使行车线脱离防止装置进行动作也不会对驾驶员造成不快感的误警告，从而形成为不会对车辆的安全性造成影响的高安全性的系统结构。

在按行车道控制判定510中，当小于附近第一规定值时，为否，在警告判定530中，当左附近的可靠度小于附近第二规定值时，可靠度过低而连警告也无法作出。

另外，控制模式的详细记载如下方的<车辆控制方法的切换>所示。

在本系统的设计中，通过利用按区域的可靠度，来选择曲线控制模式540、基于远方的可靠性下降的直线控制模式550、基于可靠性下降的警告模式560、以及基于可靠性下降的停止模式570中的任一模式的动作。540～570中的编号越小的控制模式越成为高级的车辆控制，对于驾驶员而言成为舒适的驾驶的支援。

曲线控制模式540与直线控制模式550的控制的区别是对道路的曲线形状是否作出考虑的区别，在未考虑曲线形状的直线控制模式550下，曲线行驶时的脱离控制发生延迟而能够延缓脱离时间，但根据车速或曲率的不同而无法完全防止脱离。对于驾驶员而言，更舒适的控制需要更高的行车道识别的可靠度。反过来说，在远方的可靠度低的恶劣条件的道路上虽然无法进行高度的控制，但仅利用识别比较容易的附近的结果，就能够实施安全重视、误控制抑制的功能抑制的控制。

另外，在图3的按行车道控制判定510中选择不能控制的否时，不进行车辆控制，但在警告判定530中若本车附近的可靠度高于附近第二规定值，则判定为是，选择警告模式560。在警告判定530中若低于附近第二规定值，则选择停止模式570。从安全和驾驶员的便利性的观点出发，考虑到与误警告相比应该避免误控制的事态的基础上，进行控制、警告、停止的选择。与附近第一规定值相比将附近第二规定值设定得较低，若为附近第一规定值以上的可靠度，则为控制模式(曲线或直线)，若小于附近第一规定值且为附近第二规定值以上，则为警告模式560，若小于附近第二规定值，则为停止模式570。

图7、图8将按区域可靠度与控制的关系汇总成表。

对于左右行车线的车辆控制是左右对称独立，因此在下述说明中，说明考虑了上下的可靠度的关系的同时的车辆控制切换。

确定远方第一规定值，作为根据远方可靠度的结果来判定在车辆控制中是否使用曲率的阈值。确定附近第一规定值作为根据附近可靠度的结果来切换车辆控制与警告的阈值，确定附近第二规定值作为切换警告与停止的阈值。

在远方的可靠度高于远方第一规定值且附近的可靠度也高于附近第一规定值时，实施考虑了曲线的高级的曲线控制模式540。

另外，在远方的可靠度低于远方第一规定值且附近的可靠度高于附近第一规定值时，不考虑曲线而实施假定为直线道路的直线控制模式550。这是担心远方的误检测、或因未检测引起的曲率精度的下降，而实施虽然在曲线中的控制会发生延迟但是重视了对误控制进行控制的安全性的控制方法。

另外，在远方的可靠度低于远方第一规定值且附近的可靠度高于比附近第一规定值低的附近第二规定值时，形成与担心车辆误控制相比更重视安全性的设计而实施警告模式560。

另外，在远方的可靠度低于远方第一规定值且附近的可靠度也低于附近第二规定值时，判断为识别状态未处于能够实施控制、警告的状况，而实施停止控制、警告的动作的停止模式570。

另外，在远方的可靠度高于远方第一规定值且附近的可靠度低于附近第一规定值时，作为不存在的可靠度计算方法，因此没有对应的控制方法。

在可靠度计算方法部分中叙述详细情况。虽然附近的行车线不存在但仅能看见远方的行车线的状况下，发生误检测的可能性高，因此对于可靠度，进行观察来自附近的行车线信息的连续性的计算。所以附近的可靠度会影响远方的可靠度，因此仅远方的可靠度高的情况不存在。

在本实施例中，切换实施曲线控制模式540和直线控制模式550。其中，为了使该切换始终具有中间值，可以是根据可靠度的高低来设定曲线与直线的中间的目标路径的方法。

利用图14、图16进行说明，也可以是远方的可靠度越高越成为接近图14的曲线的强转向控制，随着远方的可靠度接近远方第一规定值，而成为图16的直线时的弱转向控制，如此，根据可靠度而使转向控制的强弱发生变化。

另外，也可以是，具有即使模式自身发生变化而控制量也不会一下子变化那样的时间常数，而对控制逐渐施加影响。

<区域分割方法>

在本实施例中，如图4所示，将相机的区域分割成左远方1010、左附近1020、右远方1050、右附近1060这总计四个区域。

在基于相机的行车道识别中，越以远方为识别对象而在图像上就越拍摄小的行车道，通常难以识别。而且，越为远方而路面以外的对象被拍摄到相机中的可能性越高，路肩、前车、障碍物等成为行车道识别的障碍，识别变困难的倾向增强。

以往以来在对行车道整体计算可靠度时，在远方为误检测或未检测状态的情况下，行车道整体的可靠度下降，虽然附近在画面上能够清晰识别，但为了误控制避免等而实施使车辆控制自身停止等的处置。设想为仅远方发生误检测而能够识别附近的行车道时，要进行仅利用了附近的识别结果的控制。而且，在道钉或画出的白线等的情况下，假定仅远方未检测而能够识别附近的行车道时，也要进行仅利用了附近的识别结果的控制。

在本实施例中，通过使用按区域可靠度而按远近左右来判断行车道的识别状况，选择最佳的控制模式。由此，在仅远方为行车道识别困难的道路上，虽然成为未能考虑直至远方的道路的曲线状况的限定的控制，但排除了误检测或未检测对控制的坏影响并同时成功地扩大了限定的直线控制模式的控制适用范围。

在本实施例中，将距离方向分割成两个，但即使根据识别对象的远方的距离而分割数不同，也能期望同样的效果。其中，考虑虚线等时，区域的距离方向优选20m左右以上(若为20m，即使为虚线，实线和间隔这双方也收纳在区域内，因此白线不会从区域中消失)。在过短时，例如为10m左右时，存在白线全部瞬间地从画面消失的瞬间，难以判定是否利用于控制。而且，区域也可以根据识别状态而沿距离方向动态地变化。

另外，如图22所示，也可以取代沿距离方向分割区域的情况，而采用使区域远方的距离根据可靠度动态地变化的方法。如图22所示，使相对于左右的行车道来确定行车道识别的处理区域时的最远方的距离，对应于可靠度而发生变化。在可靠度下降时，将容易成为误检测主要原因或未检测主要原因的区域远方的距离缩短。反之在可靠度上升时，判断为识别了正确的行车道位置，在下一帧中，为了进一步提高行车道的识别精度、尤其是曲率的推定精度，而将处理区域延伸至远方，从而成为容易推定道路的弯曲一类的处理区域的设定。

在图22左行车道所示那样为距离第二规定值以上(比距离第二规定值靠远方)时，且到该距离为止的按区域可靠度为距离变化第一规定值以上时，认为从处理区域中的远方到附近的可靠度高，而且为了对表示从远方到附近的距离长的道路的弯曲状况的曲率进行推定而保持了充分的距离，利用曲线控制模式540进行车辆控制。

在图22右行车道所示那样处理区域最远方的距离不足距离第一规定值且为距离第二规定值以上，并且可靠度为距离变化第一规定值以上时，利用直线控制模式550进行车辆控制。

而且在处理区域最远方的距离小于距离第一规定值且可靠度为距离变化第一规定值以上时，形成为警告模式560。

在处理区域最远方的距离小于距离第二规定值或可靠度小于距离变化第一规定值时，形成为停止模式570。

基本上与分割成四部分同样地，根据可靠度为规定值以上的区域的距离方向的长度和可靠度来进行控制的模式选择，由此产生的作用、效果也同样。

在本实施例中，在画面上进行了上下(距离方向)分割并进行了左右分割。例如，仅画出左右单侧的行车道、或与路面的对比度低的行车道、或道钉那样的、左右的行车道上的易识别度有时会产生较大的差异。此种道路状况的持续倾向比较强。因此在现有方法中，从看不见单侧行车道开始，行车道整体的可靠度下降，有时无法持续适用车辆控制。

在像本实施例那样左右分开设置可靠度时，在仅单侧行车线的可靠度高时就能够进行控制，能够扩大控制适用范围。

另外，在保持现有方法而要扩大车辆控制适用范围时，即使可靠度稍下降也进行车辆控制。因此，结果是对于未充分看见一侧的行车线也实施车辆控制、报警，从行车线脱离防止控制装置的误动作的观点出发可以说是不优选的状况。

在本实施例中，按本车行驶车道的左右的行车道进行区域分割，但也可以像图5那样按行车道来设置区域。在利用视野宽阔的相机时，不仅本车行驶的左右行车道1071、1072，有时连相邻行车线的行车道1070、1073也作为识别对象。

通过将相邻行车线的行车道1070、1073也作为识别对象，例如在图5的右侧行车线刚变更之后，对于利用了本车行驶车道1072、1073的车辆控制也能紧急应对。在相机的视野角、控制方法等系统构想决定的阶段，决定了对于四个行车道来设置区域的情况，在区域判定部410中对照识别结果，例如判定为对于本车最近的左行车道是该图像处理区域的识别结果。利用图像处理区域、识别结果、中途结果等信息，计算按区域可靠度。

另外，在可靠度明显低时，怀疑行车线变更目的地的行车线是否存在，在(障碍物的存在、道路外)行车线变更之前可以作出警告。

另外，通过具有按区域的可靠度，在之后的对控制用参数的横摆角、曲率进行推定时，能够减小或消除从可靠度低的区域的行车线对横摆角、曲率施加的影响。根据全部的行车线平行且曲率相同的假定，能够进行利用了可靠度为规定值以上的区域的白线的控制用参数的推定。

另外，从与上述同样的考虑出发，仅利用可靠度高的区域的行车线信息，进行相机的消失点的自动更新，由此，能够进行更高精度的相机俯角的自动更新，高精度的参数推定、之后的识别的稳定性也能提高。

另外，也可以按相机来进行区域分割。图6表示将区域分割成按相机的视野的例子。即使分为按相机的区域，也能够期待与左右、上下同样的效果。而且，通过分成按相机的区域，能够形成为将可靠度低的区域的识别结果的影响抑制或除去的控制用参数推定，能够实现高精度化及高可靠化。

在相机的视野角、控制方法等系统构想决定的阶段，决定区域分割方法。

行车道识别部200中，前方的相机相同而仅在看不见远方的曲率的部分上不同。后方相机相对于本车仅是前后反转而识别方法同样。关于侧方相机，抽出画面内的白线特征量，将呈直线状排列的白线特征量多的直线识别作为行车道。其中，利用前方、右侧方、后方相机对本车右侧的直线进行图像处理，控制用参数推定部300实施从利用各个相机抽出的直线结果的偏离值除去、及时间性、空间性的平滑化并计算最终的控制用参数，进行本车与行车道的相对的横向位置、横摆角的推定。

成为按相机的区域的左右的侧方相机在区域判定部410中，仅进行相机与按区域可靠度的对应。在前方相机、侧方相机中，分别对于本车来识别左、右的行车道，因此根据本车位置与行车道的对应关系来计算对于本车左的行车道的可靠度。

在图6中，设有前方、后方、左侧方、右侧方这四个相机时，可以分割成本车行驶行车线的左前方、左侧方、左后方、右前方、右侧方、右后方这六个区域。

<按区域可靠度计算部400>

对于在图2所记载的区域判定部410中分割的各区域，在按区域可靠度计算部420中，根据拍摄到的图像信息来计算按区域可靠度。在根据图像信息的按区域可靠度计算中，利用以下表示详细情况的白线特征量、三维信息、时序信息这三种信息。通过基于这些信息将按区域可靠度作为100～0的数值而计算，而能够适当地表现行车道识别的识别状态。

按区域可靠度将白线特征量的分数(スコア)、三维信息的分数、时序信息的分数这各个分数(1～0)的积乘以100得到的数值作为按区域可靠度。

各分数以最高1～最低0的数值来表现，数值越高而可靠度越高。以下，具体说明在按区域可靠度的计算中使用的白线特征量、三维信息、时序信息。

·白线特征量

在图像上的行车道标记的抽出中，利用与路面的亮度差信息、亮度变化图案、行车道标记的路面的宽窄信息、形状信息等。根据利用此种信息得到的白线特征量的多少、以及该白线特征量向线上是集中还是分散的集约度来算处白线可靠度。白线特征量的多少将道路上的行车道那样的信息以何种程度较多地存在，反映在可靠度中，向线状的集约度将该特征量在画面上是否为分散那样的干扰反映在可靠度中。尽管白线那样的特征量少或特征量未向线上集约但也利用于控制，从安全的观点出发认为是不合适的，从而进行可靠度的计算。

在利用车载相机600拍摄到的图像上的行车道中，根据利用区域判定部410判定的处理区域内存在的白线特征量在图像上排列于线上的多少来计算可靠度。在区域中存在有理想的直线实白线时，将存在的白线特征量的多少设定为1，在特征量完全不存在时或无法判定为排列在线上时，判断为0。若利用数学式表示，则如以下所示。而且，因某种主要原因而超过1时，通过结束处理而不会成为1以上的白线特征量分数，也不会成为负数。

【数学式1】

·利用了相机几何的三维信息

通过判定抽出的白线特征量是否为与三维道路结构相应的值，来计算可靠度。

根据左右行车道的平行性、作为曲线的平滑度、从附近到远方的特征量的存在的连续性来计算可靠度。这种情况下，与按区域进行评价相比，形成对每个区域的关系进行了考虑的可靠度的评价对象。例如，关于平行性，使左右的平行性低的整体的可靠度下降。在作为曲线的平滑度时，使判定为不平滑的区域的远方的可靠度下降。这基本上是由于附近的误检测少而远方的误检测多的缘故。

在判定为画面上部与下部的连续性不平滑时，从同样的考虑出发而使远方的可靠度下降。如此，与三维的道路结构相比，在作为道路结构不适当时进行使可靠度下降的计算，由此使适用于车辆控制的相称与否反映在可靠度的数值中。

首先，在近能够识别附近区域时，不利用道路曲率，因此分数仅通过平行性进行判断。根据区域的不同而使为三维信息打分数方法发生变化。附近区域的左右的行车道的识别结果在判断为理想上的两侧白线完全平行时，使三维信息分数为0，至此，将考虑能够作为误差而允许的两白线的角度误差6度用作阈值。在平行性误差为6度的阈值时，使三维信息分数为0.5，在误差12度以上时，使三维信息分数为0，而进行基于平行性的误差的大小的三维信息附加分数。以下，记载附近区域左右的三维信息分数的计算方法。在附近区域的情况下，根据左右两侧的平行性来进行分数判断，因此左右区域成为完全相同的分数。

附近区域(左或右的三维信息分数计算数学式)

【数学式2】

其中，在角度误差12度以上时，不利用上式，而使三维信息分数为0。

·时序信息

在画面上的白线位置、画面上的白线特征量急变时，整体性地使可靠度下降。急剧的变化认为根据检测到的行车线可能会发生对路肩、车辆等的误检测。其中，也考虑虚线等的行车道标记，还考虑周期性的画面上特征量的变化等，来计算可靠度。

二根虚线成为虚线与空白的1组为20m的1周期量。因此，考虑车速且每前进20m时周期性地变化的特征量的量等也成为识别虚线的证据，因此与实线相比，虽然特征量少，但提高时序信息的可靠度以提高可靠度。如理想的实白线那样，将白线特征量的量、亮度差、粗细始终恒定时设定为时序信息分数1。而且，每20m左右的长度且车辆每行驶固定长度时周期性地变化的白线特征量也较高地设定可靠度。与过去行驶多少m量的数据相比，根据是否能推测周期一致的过去行驶多少m量的长度来决定分数的高低。在完全推测不到周期性时，分数为0。与过去400[m]量的数据相比，在最近的20m行驶量的数据的周期性被承认时，将可靠度设定为1，在过去100[m]时设定为0.25。

<按区域可靠度修正部430(外部信息)>

接下来，叙述关于利用了来自外部信息部450的信息的按区域可靠度修正部430的处理。

在此，对于利用按区域可靠度计算部420计算的100～0的可靠度，根据外部信息来判定是否存在误检测主要原因，根据其判定结果，进行使可靠度下降的修正处理。

首先，进行利用了外部信息的可靠度修正处理。以下，说明使用了各外部信息的修正处理。

车辆行为部351是车辆的传感器等车辆状态检测机构，通过使用由该检测机构计测到的车速传感器、转向角传感器、横摆率传感器等，而能够预测本车的行驶路径。通过比较该行驶路径与车辆控制用参数(推定曲率、横摆角、横向位置)，来进行可靠度的修正。例如，在横向位置较大变化时，使横向位置急变的行车线侧的区域的可靠度在远近这双方下降。相反地，不管横向位置是否稳定，在横摆角或曲率的值急变时，仅远方发生误检测的可能性高，因此使远方区域的可靠度下降。

不进行行车线变更等急转向操作，而在稳定的转向时，无论由相机识别的车辆控制用参数的横向位置、横摆角是否稳定，在根据车辆行为部351推定的行驶路径的曲率与相机识别结果的曲率存在规定值以上的差时，怀疑远方的误检测而使可靠度减半。

当相机识别结果为曲率大致0的直线道路时，在与转向操作对应的相机识别结果的横摆角、横向位置不变化的情况下，怀疑误检测，而使远方和附近的可靠度减半。

另外，雷达部452是毫米波雷达或激光雷达、立体相机。在从本车拍摄路面的白线时发现成为障碍的他车或立体物等的情况下，该障碍物使写入的图像上的区域的可靠度下降。因障碍物而看不见白线，因此即使原本可靠度低的未检测状态或发生误检测，也可能会成为可靠度高的状况。因此，使可靠度下降与障碍物占据区域的比例同样量。在障碍物占据区域的70％时，将利用按区域可靠度计算部400计算的可靠度的70％切去。通过如此按区域区分，能够防止误检测主要原因的传播、或进行将存在误检测主要原因的部位的结果除去后的车辆控制。

另外，导航信息部453是导航装置，比较从导航装置取得的地图信息的曲率与车辆控制用参数的推定曲率，比较的结果为规定值以上的差量时，认为在远方发生误检测的可能性高，而使远方的可靠度下降。由此能够使远方的误检测反映在可靠度中。

另外，另一相机部454与另一相机的识别结果进行横向位置、横摆角、曲率的比较，在未取得匹配性时使可靠度减半。

如此，通过利用车辆行为部451、雷达部452、导航信息部453、另一相机部454的信息，能够进行利用了来自相机以外的信息的行车道识别可靠度计算，从而能够更可靠地计算可靠度。由此，能够进行更可靠的车辆控制模式的选择。虽然取入外部信息的情况更可靠，但未必非得进行取入。

另外，在可靠度明显低的区域与可靠度高的区域混杂时，除去可靠度比规定值低的区域的影响，再次重新推定控制用参数。由此能够防止误检测引起的控制参数的精度下降、误检测。

<与按区域可靠度对应的车辆控制方法的切换>

图23表示利用与按区域可靠度对应的车辆控制部500实施的与按区域可靠度对应的车辆控制方法的流程图。

首先，利用与按区域可靠度对应的控制模式判定部501来进行控制模式的判定(S1)。

然后，根据本车的车速信息和转向角信息，通过本车路径预测部502，利用图12所示的数学式来预测本车的行驶路径(S2)。

如图13所示，根据由控制用参数推定部推定出的对于本车的行车道的相对横向位置、横摆角、道路曲率，来推定本车行驶车道。比较由控制判定部503推定的本车行驶车道与由本车路径预测部502预测的本车预测行驶路径，判定控制的必要性的有无(S3)。如图14所示，在距本车为L[m]远方，判定行车线脱离的可能性，并首先判定车辆控制的有无。

在未实施控制的否的情况下，使S1的处理待机至再次更新行车道识别的结果为止，每当更新识别结果时实施控制模式的判定。

在实施控制的是的情况下，向用于决定目标路径的S4移动。

通过控制量决定部504，根据本车预测行驶路径和推定本车行驶车道来决定图14所示的曲线控制模式时的目标路径(S4)。决定图14所示的行车线内的目标路径。

比较上述设定的目标路径和本车预测行驶路径，根据L[m]远方的该差量的大小，利用控制量决定部504来决定控制量(S5)。

以如上所述决定的控制量为基础，利用车辆控制实施部505来实施车辆控制，将实施的结果向下一帧的本车路径预测S2反馈(S6)。

·本车预测行驶路径

以下说明是共通利用的控制方法的说明。以距本车为前方L[m]的距离处的本车的推定路径接近目标路径的方式进行反馈控制。推定路径如图12所示，利用仅为前后轮的二轮模型来近似四轮机动车的行为的式(3)，输入本车的转向角、车速信息来预测本车行驶路径。

【数学式3】

$\mathrm{\&rho;}=(1-\frac{m}{{2l}^2}\frac{l_f{C}_f-l_r{C}_r}{C_f{C}_r}{V}^2)\frac{l}{{\mathrm{\&delta;}}_0}$ …式(3)

[变量说明]

ρ：圆上一次的半径

m：车辆质量

l_f、l_r：重心～前(后)轮距离

l＝l_f+l_r：前～后轮距离

C_f(C_r)：前(后)轮的轮胎转弯动力

V：车速

δ₀：前轮转向角

·目标路径决定和控制量决定

接下来，利用基于相机的行车道识别结果，在似乎要发生行车线脱离时，计算用于为了避免脱离而控制车辆的目标路径。本车辆控制方法基于相机产生的行车道识别结果和其按区域可靠度，而切换利用了道路的曲线形状的曲线控制模式540与未利用曲线形状的直线控制模式550这两个目标路径计算方法。

由相机识别的控制用参数是表示本车与行车道的相对的横向位置和相对的倾斜的横摆角、道路的弯曲状况的曲率。利用这些参数，来推定本车行驶车道。接下来，以该本车行驶车道为基础来计算目标路径。控制方法是要从行车线脱离时压回行车线内的控制。这种情况下，对于左右的识别的行车道成为独立的控制。以下，按控制模式记述两种目标路径计算方法。

·目标路径计算[曲线控制模式540]

在曲线控制模式540时，利用车辆控制用参数的推定结果的曲率来推定本车行驶车道。如图13所示，将沿着该推定本车行驶车道的曲线的行车线的内侧WL[m]设为目标路径。如图14所示，计算本车前方L[m]的本车预测行驶路径与目标路径的差量ε，施加使该差量ε成为0[m]那样的反馈控制。与右侧同样地，施加成为推定的右侧行车道的内侧WR[m]的行驶路径那样的反馈控制。

·目标路径计算[直线控制模式550]

在直线控制模式550时，不利用车辆控制用参数的推定结果的曲率而假定为直线，来推定本车行驶车道。在图15中实际的道路为曲线时，以直线假定的推定本车行驶车道的内侧WL[m]为目标路径。如图16所示，计算本车前方L[m]的本车预测行驶路径与目标路径的差量ε，施加使该差量ε成为0[m]那样的反馈控制。与右侧同样地，施加成为推定的右侧行车道的内侧WR[m]的行驶路径那样的反馈控制。在直线行驶时与曲线控制模式540相比未出现大差量ε，但越为急曲线，差量ε越大。

如图16所示，进行假定直线且成为行车线内侧WL[m](或WR[m])那样的反馈控制。从图15、图16可知，在直线控制时，对于在曲线中未完全转弯而要发生行车线脱离的车辆，向行车线内侧返回的控制量存在不足的倾向。在急曲线时无法完全应对而只能延迟行车线脱离的时间的可能性变高。

在利用误检测的曲率进行控制时，存在向行车线脱离的方向进行误控制的可能性，相对于此，在以直线来进行近似的车辆控制时，即使控制量存在不足也向脱离曲线的方向施以控制的可能性低，可以说是更重视了安全的车辆控制。

在远方车辆挡住本车行驶车道的一部分时、或受到道钉、画出的白线、逆光等的影响而难以从本车检测远方的白线时，远方的行车道识别可靠度下降。在未能识别远方的白线时，成为仅从圆的极少的一部分、更狭窄的范围推定曲率的情况，能够预想到推定精度的下降。

另外，也考虑了远方部分的误检测引起的精度下降。在虽然远方区域的可靠度低但附近区域的可靠度高时，虽然曲率精度下降，但横摆角、横向位置的精度能够充分确保能耐受控制的精度。因此，在本方法中，进行能够与平缓的曲线、或直线路上的行车线脱离防止的控制相对应的、将道路形状判断为直线而利用了(横摆角、横向位置)的车辆控制。

·车辆控制实施

本实施例中的车辆控制的模式为下述A、B、C、D这四个图案。

A)曲线控制模式540  (曲率、横摆角、横向位置)

B)直线控制模式550  (横摆角、横向位置)

C)警告模式560  (横向位置)

D)停止模式570  (无)

基于可靠度来实施这A、B、C、D的模式切换。实际上，控制车辆的模式是计算上述的推定路径的A、B这两种，关于C，显示在显示器上或显示基于灯的脱离警告。或者也可以是表示报警或警告的振动等，将行车线脱离的情况以视觉、听觉或触觉的方式向驾驶员传递的方法。停止模式是按区域可靠度低，因此完全不能进行控制或警告的状态。

如现有方法那样利用针对画面整体的行车道识别结果的可靠度的情况下，当仅远方难以看见而附近能看见时，从防止误控制或误报警的观点出发，停止整体的车辆控制。

处于本实施例中的A与D的简单切换的状态。而且，为了扩大车辆控制适用范围，即便可靠度低也尝试车辆控制，则成为引起误控制的主要原因。

在现有方法中，无法确定当前误检测或未检测的区域，因此无法从曲率、横摆角、横向位置等中将可靠的检测结果分类，为了安全起见，不利用全部的信息而只能使动作停止。

与此相比，在新方法中，通过利用按区域的可靠度，例如从远方按区域可靠度的下降来判断曲率精度的下降，从通常的曲线控制模式向重视误控制防止的观点且利用了可利用的横摆角、横向位置的直线控制模式进行切换。通过采用按区域可靠度，即使在以往动作停止的道路状况上，通过准备仅利用了可靠的参数的阶段性的控制模式，就能在确保高安全性的状态下实现车辆控制适用范围的扩大。

<关于显示系统>

根据按区域可靠度的结果，将行车道识别结果的状况显示在显示装置609上向驾驶员传递。若可靠度高则亮度高，若可靠度低则亮度低，将由行车道识别得出的行车线脱离防止控制是否处于能够进行动作的状况，向使用者传递。

通过按区域进行，能够将行车道的识别状况按左右、进而按远近来把握，而且能够了解行车线脱离防止控制的工作状况。

另外，上述功能以亮度来表示可靠度的变化，但也可以利用颜色或形状来表示可靠度的变化。

另外，上述的显示装置也可以是用于将根据按区域可靠度来切换的控制模式向使用者传递的显示装置。例如，如图20的按控制模式的显示装置所示，按左右独立地进行控制模式的显示。如图21的按控制模式的显示形式所示那样的、根据按左右的控制模式而显示发生变化，由此，使用者能够把握基于相机的行车道的识别状况，并且能够把握当前的控制模式。

因此，在难以看见白线而无法利用行车线脱离防止功能的状况下，为了避免过于相信带有行车道脱离控制功能的情况，而期待对于驾驶员的抑制效果。

<与按控制参数的可靠度相对应的车辆控制>

另外，也可以不是按区域可靠度，而根据控制参数(曲率、横摆角、横向位置)来计算可靠度。如图17所示，按参数的可靠度计算部虽然不同，但为了使可靠度的计算方法与按区域可靠度的计算相同，而利用图像处理结果的白线特征量、基于相机几何的三维信息、以及它们的时序信息，进行计算。与该按控制参数的可靠度对应的车辆控制方法和图18所示的控制模式的切换方法不同。根据该按控制参数的可靠度来切换控制模式的方法如图18所示。首先，根据横向位置的可靠度，在横向位置利用判定581中，判定可否利用横向位置。在横向位置利用判定为否时无法利用横向位置，因此曲线控制、直线控制当然判定为也不作出警告而选择停止模式570。在横向位置利用判定为是时，向横摆角利用判定582前进。

在横摆角利用判定582中，基于横摆角的可靠度来判定可否利用横摆角。在横摆角利用判定582为否时，判断为仅能够利用横向位置，选择利用了横向位置的警告模式560。在横摆角利用判定582为是时，向曲率利用判定583前进。

在曲率利用判定583中，基于曲率的可靠度来判定可否利用曲率。在曲率利用判定583为否时，判断为能够利用横摆角、横向位置，选择利用了横摆角、横向位置的直线控制模式550。在曲率利用判定为是时，判断为能够进行利用了曲率、横摆角、横向位置的控制，而选择曲线控制模式540。

另外，在按区域可靠度修正部430中，利用来自车辆行为部451、雷达部452、导航信息部453、另一相机部454的信息进行修正。在远方为误检测或未检测时，无法信赖远方的行车道识别结果，因此通过使曲率的可靠度下降，而在车辆控制时的利用可否的判定中利用。同样地，根据横摆角、横向位置的可靠度，如图18的流程所示来进行是控制还是警告的判定。

Claims (8)

1.一种车辆控制装置，其特征在于，

具有：

拍摄本车前方的图像的车载相机；

从多个车辆控制方法中决定一个车辆控制方法，利用决定的车辆控制方法来控制致动器的处理单元，

所述车载相机具有按区域可靠度计算部，该按区域可靠度计算部基于拍摄而取得的图像和识别的行车道而分割成多个区域，并按分割的每个区域来计算可靠度，且输出按区域可靠度信息，

所述处理单元具有车辆控制部，该车辆控制部基于所述按区域可靠度信息来决定车辆控制方法。

2.根据权利要求1所述的车辆控制装置，其特征在于，

具有：

检测车速信息的车速传感器；

检测转向角信息的转向角传感器；以及

检测横摆率信息的横摆率传感器，

所述车载相机具有：取得本车前方的图像的图像取得部；从取得的图像中识别行车道的行车道识别部；对表示道路的弯曲状况的道路曲率、表示本车与行驶车道的相对姿势的横摆角、和表示相对位置的横向位置进行推定的控制用参数推定部；以及基于取得的所述图像和识别的所述行车道，分割成多个区域，按分割的每个区域计算可靠度，并输出按区域可靠度信息的按区域可靠度计算部，

所述处理单元的车辆控制部基于所述道路曲率、所述横摆角、所述横向位置中的至少一个和所述按区域可靠度信息来决定车辆控制方法。

3.根据权利要求2所述的车辆控制装置，其特征在于，

所述按区域可靠度计算部具有：

区域判定部，其基于由所述行车道识别部识别出的所述行车道而分割成多个区域；

区域可靠度计算部，其对于由所述区域判定部分割的各区域，基于取得的图像来计算可靠度，将计算的可靠度作为按区域可靠度信息进行输出；以及

区域可靠度修正部，其基于输入的外部信息来修正所述按区域可靠度信息。

4.根据权利要求2所述的车辆控制装置，其特征在于，

在所述区域可靠度修正部中使用的所述外部信息是检测到的车速信息、加速度信息、转向角信息、横摆率信息、障碍物信息、地图信息、本车位置信息中的至少一个。

5.根据权利要求2所述的车辆控制装置，其特征在于，

在利用所述区域判定部分割为本车行驶车道的左附近、左远方、右附近、右远方这四个区域的情况下，在所述左附近或所述右附近的附近区域中，所述附近区域的所述按区域可靠度信息为预定的附近阈值以上，且在所述左远方或右远方的远方区域中，所述远方区域的所述按区域可靠度信息为预定的远方阈值以上时，所述处理单元的所述车辆控制部决定曲线控制模式的车辆控制方法，该曲线控制模式是使用识别的行车道的推定曲率来进行目标路径计算，并进行沿着计算的目标路径的车辆控制的模式。

6.根据权利要求2所述的车辆控制装置，其特征在于，

利用所述区域判定部分割为本车行驶车道的左附近、左远方、右附近、右远方这四个区域的情况下，在所述左附近或所述右附近的附近区域中，所述附近区域的所述按区域可靠度信息为预定的附近阈值以上，且在所述左远方或右远方的远方区域中，所述远方区域的所述按区域可靠度信息小于预定的远方阈值时，所述处理单元的所述车辆控制部决定直线控制模式的车辆控制方法，该直线控制模式是进行假定直线后的行车线内目标路径计算，并进行沿着计算的行车线内目标路径的车辆控制的模式。

7.根据权利要求2所述的车辆控制装置，其特征在于，

利用所述区域判定部分割为本车行驶车道的左附近、左远方、右附近、右远方这四个区域的情况下，在所述左附近或所述右附近的附近区域中，所述附近区域的所述按区域可靠度信息小于预定的第一附近阈值且为第二附近阈值以上，并且在所述左远方或右远方的远方区域中，所述远方区域的所述按区域可靠度信息小于预定的远方阈值时，所述处理单元的所述车辆控制部决定警告模式的车辆控制方法，该警告模式是对脱离警告进行显示的模式。

8.根据权利要求2所述的车辆控制装置，其特征在于，

利用所述区域判定部分割为本车行驶车道的左附近、左远方、右附近、右远方这四个区域的情况下，在所述左附近或所述右附近的附近区域中，所述附近区域的所述按区域可靠度信息小于预定的第一附近阈值且小于第二附近阈值，并且在所述左远方或右远方的远方区域中，所述远方区域的所述按区域可靠度信息小于预定的远方阈值时，所述处理单元的所述车辆控制部决定停止模式的车辆控制方法，该停止模式是输出使利用了行车道识别结果的车辆控制或警告停止的信号的模式。

Images