CN104036279A

CN104036279A - 一种智能车行进控制方法及系统

Info

Publication number: CN104036279A
Application number: CN201410259590.XA
Authority: CN
Inventors: 刘佳; 刘宏哲; 袁家政; 钮文良; 郑永荣
Original assignee: Beijing Union University
Current assignee: Beijing Union University
Priority date: 2014-06-12
Filing date: 2014-06-12
Publication date: 2014-09-10
Anticipated expiration: 2034-06-12
Also published as: CN104036279B

Abstract

本发明公开了一种智能车行进控制方法及系统，涉及自动控制技术领域。从设置在车辆上不同位置处的摄像头实时获取多幅不同角度的车辆前方道路图像，得到有效的车辆正前方道路图像，提取车道线信息，将其经坐标转换后标定在路权信息融合坐标系中对应位置处；获取预置行进范围内的路权信息，根据路权信息判断当前路权状态，按照路权状况结合车道线信息控制车辆行进。能避免繁杂的公式算法，不但提高了效率，且可根据实际图像进行缺失信息的获取，进一步提高了准确性，综合考虑了各种路权信息，可以根据具体情况更加精确和更加高效的判断出下一步行进控制的方式，可以省去大量无效计算的过程，车辆行进效率和准确度得到了大幅提升。

Description

一种智能车行进控制方法及系统

技术领域

本发明涉及自动控制技术领域，特别涉及一种智能车行进控制方法及系统。

背景技术

智能驾驶技术涉及认知工程、车辆工程、电子电气工程、控制科学与工程、人工智能等诸多学科，智能车辆是衡量一个国家科研实力和工业水平的重要标志。无人驾驶车的出现，从根本上改变了传统的“人-车-路”闭环系统中的车辆驾驶方式，将驾驶员从疲劳驾驶中解放出来，利用先进的传感器以及信息技术控制车辆行驶，让驾驶活动中常规、持久、低级、重复的操作自动完成，能够极大地提高交通系统的效率和安全，提高人类移动生活的品质，具有广泛的社会应用价值。同时，智能驾驶技术的研究将极大地增强我国在汽车主动安全等方面的核心竞争力，对提升我国汽车电子产品和汽车产业自主创新能力具有重大的战略意义。

由于实际道路运行环境相当复杂，在对车辆行进进行智能控制的过程中，常常会出现对车道线遮挡等影响车道线识别的情况，如果道路上车辆较少，道路较为规范，且车速较低等比较理想的情况下，现有解决方案能够在一定程度上应对实际道路中出现的一些实际问题，比如上述道路中由于某些情况造成的道路遮挡、阴影等问题，实现理想状态下车辆的自动控制。

比如，目前一种常用的解决方案，使用回旋曲线作为简化的道路模型，避免了道路几何复杂的重构问题，提高了系统对阴影的鲁棒性，其核心思想是通过算法对图像中由于遮挡等造成的隐形进行修复，但需要复杂的公式算法匹配，计算复杂且效率低下，而且当道路不符合模型假设时会失效。另外，该解决方案中由车载摄像机获取的道路图像具有强烈的透视效果，主要表现为车道标志线在图像底部较直，在灭点附近成为比较复杂的曲线，这样的车道标志线模型与世界坐标系下具有平行结构的车道标志线模型相比，显然要复杂很多，进一步导致方案的复杂性以及修复的效果，可见，当道路中车辆较多、并线等事件较多、道路不规范、且车速较快等非理想状态下，该方案由于计算速度以及算法本身的限制，将不再适用。

另一种常用的解决方案，为了能够使用简单的车道标志线模型展开研究，通过逆透视变换的方法对道路图像进行处理，消除了图像的透视效果。该系统在假设道路宽度固定或变化缓慢的前提下，检测具有一定宽度的平行车道线，能够对阴影和遮挡具备一定的鲁棒性，但是该假设并不适于宽度变换频繁的道路。可见，该方案由于受到使用的计算模型的限制，在道路中车辆较多、并线等事件较多、道路不规范、且车速较快等非理想状态下，将不能很好适用。

可见，对于道路中车辆较多、并线等多发事件、道路不规范、车速较快等非理想状态下，现有的几种解决方案都不能很好的应对车道线遮挡等影响车道线识别的情况，在实际应用中都存在对智能车行进控制不够准确，甚至无法实现控制的问题。

即，对于智能驾驶这一新兴技术领域而言，现有的多种针对智能车行进控制的解决方案，都存在诸多问题，不能很好的适应智能驾驶技术的进一步发展和实际应用需求。因此，迫切需要提供一种方案简单高效、控制准确且对多种场景适应性更强的解决方案，以适用和促进智能驾驶技术的快速发展。

发明内容

鉴于上述问题，本发明实施例提供一种智能车行进控制方法和系统，能够提供一种针对智能驾驶技术的方案简单高效、控制准确且对多种场景适应性更强的解决方案，以更好的实现对车辆行进的自动控制。

本发明实施例采用了如下技术方案：

本发明一个实施例提供了一种智能车行进控制方法，所述方法包括：

从设置在车辆上不同位置处的摄像头实时获取多幅不同角度的车辆前方道路图像；

对多幅所述车辆前方道路图像进行图像有效性处理，得到有效的车辆正前方道路图像；所述有效的车辆正前方道路图像为包含有车辆前方有效车道线信息的图像；

从所述有效的车辆正前方道路图像中提取出车道线信息；

将所述车道线信息经坐标转换后标定在路权信息融合坐标系中对应位置处；

在路权信息融合坐标系中获取预置行进范围内的路权信息，根据获取到的所述路权信息判断当前智能车所处的路权状态，按照路权状况结合所述车道线信息控制车辆行进。

所述方法还包括对设置在车辆不同位置处的摄像头进行分组管理，具体包括：

依据图像覆盖范围对摄像头进行分组：若一摄像头的位置所拍摄图像角度中能覆盖车辆前方有效车道线信息，则将该摄像头作为一组；若设置在车辆相对位置的多个摄像头所拍摄图像角度中能完全覆盖车辆前方有效车道线信息，则将该设置在车辆相对位置的多个摄像头作为一组；

所述对多幅所述车辆前方道路图像进行图像有效性处理，得到有效的车辆正前方道路图像包括：

按照分组中包含的摄像头数量由少至多的顺序逐组对摄像头获取的图像进行判断，确定包含完整车辆前方有效车道线信息的一组图像；

若上述确定的包含完整车辆前方有效车道线信息的一组图像为来自一部摄像头拍摄的车辆前方道路图像，则将该车辆前方道路图像作为有效的车辆正前方道路图像；若上述确定的包含完整车辆前方有效车道线信息的一组图像为来自多部摄像头拍摄的车辆前方道路图像，则将该多部摄像头拍摄的车辆前方道路图像进行组合，得到有效的车辆正前方道路图像。

车辆不同位置处设置有三个摄像头，其中：

第一摄像头，设置于车辆后视镜处，镜头面向车辆正前方，用于实时获取车辆正前方道路图像；

第二摄像头，垂直设置于车辆左倒车镜下方，镜头面向车辆左前方，用于实时获取车辆左前方道路图像；

第三摄像头，垂直设置于车辆右倒车镜下方，镜头面向车辆右前方，用于实时获取车辆右前方道路图像；

所述从设置在车辆上不同位置处的摄像头实时获取多幅不同角度的车辆前方道路图像包括：

从第一摄像头获取车辆正前方道路图像、从第二摄像头获取车辆左前方道路图像、及从第三摄像头获取车辆右前方道路图像；

判断从第一摄像头获取的所述车辆正前方道路图像是否为有效的车辆正前方道路图像，即判断从第一摄像头获取的所述车辆正前方道路图像中是否包含完整的车辆前方有效车道线信息；

若为有效的车辆正前方道路图像，则将所述车辆正前方道路图像作为有效的车辆正前方道路图像；若为无效的车辆正前方道路图像，则将从第二摄像头获取的所述车辆左前方道路图像及从第三摄像头获取的车辆右前方道路图像进行拼接，得到有效的车辆正前方道路图像；

所述将从第二摄像头获取的所述车辆左前方道路图像及从第三摄像头获取的车辆右前方道路图像进行拼接，得到有效的车辆正前方道路图像包括：

对第二摄像头获取的车辆左前方道路图像及从第三摄像头获取的车辆右前方道路图像进行几何畸变校正和噪声点抑制处理；

对经上述处理后的车辆左前方道路图像和车辆右前方道路图像进行图像配准；

对配准后的车辆左前方道路图像和车辆右前方道路图像中的重叠区域进行融合处理，实现图像拼接，得到有效的车辆正前方道路图像。

判断图像中是否包含完整的车辆前方有效车道线信息的方法包括：

识别图像中的车道线左边界和车道线右边界；

从识别到的每组车道线左边界和车道线右边界中，判断有效的车道线边界组；

若有效的车道线边界组数量大于预置值，则确认所述图像中包含完整的车辆前方有效车道线信息；

所述从所述有效的车辆正前方道路图像中提取出车道线信息包括：

对所述有效的车辆正前方道路图像进行逆透视变换处理，消除所述有效的车辆正前方道路图像中的透视效果；

对逆透视变换处理后的图像进行车道线自适应阈值二值化处理，得到二值化的车道线边缘图像；

从二值化的车道线边缘图像中提取出多组车道线左边界点和右边界点；

所述将所述车道线信息经坐标转换后标定在路权信息融合坐标系中对应位置处包括：

针对多组车道线左边界点和右边界点，根据二值化的车道线边缘图像中各点与车辆间位置及路权信息融合坐标系中各点与车辆间位置的比例关系，经坐标转换后，将多组车道线左边界点和右边界点标定在路权信息融合坐标系中对应位置处。

所述路权信息融合坐标系采用圆形或扇形变粒度雷达图方式。

所述在路权信息融合坐标系中获取预置行进范围内的路权信息，根据获取到的所述路权信息判断当前智能车所处的路权状态，按照路权状况结合所述车道线信息控制车辆行进包括：

在路权信息融合坐标系中获取预置行进范围内的路权信息；

根据预置行进范围内路权信息判断当前智能车所处的路权状态；所述路权状态包括跟驰状态、车道更换状态和路口通行状态；

根据所述路权状态结合所述车道线信息控制车辆行进。

另外，本发明实施例还提供了一种智能车行进控制系统，所述系统包括设置在车辆上不同位置处的摄像头、及智能车行进控制设备：

所述智能车行进控制设备包括：

图像获取模块，用于从设置在车辆上不同位置处的摄像头实时获取多幅不同角度的车辆前方道路图像；

有效性处理模块，用于对多幅所述车辆前方道路图像进行图像有效性处理，得到有效的车辆正前方道路图像；所述有效的车辆正前方道路图像为包含有车辆前方有效车道线信息的图像；

车道线信息提取模块，用于从所述有效的车辆正前方道路图像中提取出车道线信息；

坐标转换标识模块，用于将所述车道线信息经坐标转换后标定在路权信息融合坐标系中对应位置处；

行进控制模块，用于在路权信息融合坐标系中获取预置行进范围内的路权信息，根据获取到的所述路权信息判断当前智能车所处的路权状态，按照路权状况结合所述车道线信息控制车辆行进。

所述智能车行进控制设备还包括摄像头管理模块，

所述摄像头管理模块，用于依据图像覆盖范围对摄像头进行分组：若一摄像头的位置所拍摄图像角度中能覆盖车辆前方有效车道线信息，则将该摄像头作为一组；若设置在车辆相对位置的多个摄像头所拍摄图像角度中能完全覆盖车辆前方有效车道线信息，则将该设置在车辆相对位置的多个摄像头作为一组；

所述有效性处理模块包括：

顺序判断单元，用于按照分组中包含的摄像头数量由少至多的顺序逐组对摄像头获取的图像进行判断，确定包含完整车辆前方有效车道线信息的一组图像；

有效性确认单元，用于当所述顺序判断单元确定的包含完整车辆前方有效车道线信息的一组图像为来自一部摄像头拍摄的车辆前方道路图像，则将该车辆前方道路图像作为有效的车辆正前方道路图像；当所述顺序判断单元确定的包含完整车辆前方有效车道线信息的一组图像为来自多部摄像头拍摄的车辆前方道路图像，则将该多部摄像头拍摄的车辆前方道路图像进行组合，得到有效的车辆正前方道路图像。

车辆不同位置处设置有三个摄像头，其中：

所述图像获取模块，具体用于从第一摄像头获取车辆正前方道路图像、从第二摄像头获取车辆左前方道路图像、及从第三摄像头获取车辆右前方道路图像；

所述顺序判断单元，具体用于判断从第一摄像头获取的所述车辆正前方道路图像是否为有效的车辆正前方道路图像，即判断从第一摄像头获取的所述车辆正前方道路图像中是否包含完整的车辆前方有效车道线信息；

所述有效性确认单元，具体用于当所述顺序判断单元的判断结果为从第一摄像头获取的所述车辆正前方道路图像中包含完整的车辆前方有效车道线信息，则将所述车辆正前方道路图像作为有效的车辆正前方道路图像；当所述顺序判断单元的判断结果为从第一摄像头获取的所述车辆正前方道路图像为无效的车辆正前方道路图像，则将从第二摄像头获取的所述车辆左前方道路图像及从第三摄像头获取的车辆右前方道路图像进行拼接，得到有效的车辆正前方道路图像；

所述车道线提取模块包括：

逆透视变换单元，用于对所述有效的车辆正前方道路图像进行逆透视变换处理，消除所述有效的车辆正前方道路图像中的透视效果；

二值化处理单元，用于对逆透视变换处理后的图像进行车道线自适应阈值二值化处理，得到二值化的车道线边缘图像；

提取单元，用于从二值化的车道线边缘图像中提取出多组车道线左边界点和右边界；

所述坐标转换标识模块具体用于：

所述路权信息融合坐标系采用圆形或扇形变粒度雷达图方式；

所述行进控制模块包括：

路权信息获取单元，用于在路权信息融合坐标系中获取预置行进范围内的路权信息；

路权状态判断单元，用于根据预置行进范围内路权信息判断当前智能车所处的路权状态；所述路权状态包括跟驰状态、车道更换状态和路口通行状态；

行进控制单元，用于根据所述路权状态结合所述车道线信息控制车辆行进。

可见，本发明实施例提供的智能车行进控制方法和系统，从设置在车辆上不同位置处的摄像头实时获取多幅不同角度的车辆前方道路图像，对多幅上述车辆前方道路图像进行图像有效性处理，得到有效的车辆正前方道路图像，从有效的车辆正前方道路图像中识别出车道线信息，根据识别出的车道线信息计算出当前车辆行进方向偏离应行进车道线的偏离角度和偏离距离，进而根据所述偏离角度和偏离距离控制车辆行进。这样，由于在车辆的不同位置处分别设置多部摄像头，便可以从不同角度拍摄到车辆前方图像，当由于复杂的路况导致某个角度中，用于智能车行进控制的某些重要信息被遮挡等原因导致缺失时，便可以直接从其它角度中拍摄的图像中获取。因此，本发明实施例避免了繁杂的公式算法，不但提高了效率，而且可以根据实际图像进行缺失信息的获取，进一步提高了准确性，从而使得方案简单高效、控制准确，而且，不受到应用场景的限制，无论道路中车辆较多、并线等多发事件、道路不规范、车速较快等复杂情况下，本发明实施例都能很方便的获取到多个角度的图像，能够对多种场景适应性更强，以更好的实现对车辆行进的自动控制。

进一步的，本发明实施例还包括对设置在车辆不同位置处的多组摄像头拍摄的多组图像按照优先顺序进行图像进行有效性处理，即在车辆不同位置处设置的多个摄像头，其中，若一摄像头的位置所拍摄图像角度中能覆盖车辆前方有效车道线信息，则将该摄像头作为一组；若设置在车辆相对位置的多个摄像头所拍摄图像角度中能完全覆盖车辆前方有效车道线信息，则将该设置在车辆相对位置的多个摄像头作为一组。车辆上设置的每组摄像头设置的角度所拍摄的图像能够完全覆盖车辆前方有效车道线信息。在对图像进行有效性处理时，优先针对包括摄像头数量少的分组，可以在满足车道线识别条件的基础上，对较少数量的图像进行车道线识别处理，从而进一步提高智能车行进控制的效率。

进一步的，本发明实施例在对车辆进行行进控制的过程中，创造性的采用了路权信息融合坐标系采用圆形或扇形变粒度雷达图方式实现，路权雷达图能够实时有效完成车辆上多种类别、不同安装位置传感器的感知信息的融合，判断车辆可拥有的路权空间及其变化趋势；构造近处细粒度、远处粗粒度的变粒度栅格，能够在满足智能车环境感知需求的同时，大大减少所利用的存储空间与计算资源。

进一步的，本发明实施例在对智能车进行行进控制的过程中，综合考虑了各种路权信息，可以根据具体情况更加精确和更加高效的判断出下一步行进控制的方式，可以省去大量无效计算的过程，车辆行进效率和准确度得到了大幅提升。

进一步的，本发明实施例在车道线提取的过程中，在逆透视变换的基础上，进一步引入高速公路的结构约束条件，并且引入了视频图像的帧间关系，进一步提高了车道线检测的准确度。

进一步的，本发明实施例在计算当前车辆行进方向偏离应行进车道线的偏离角度和偏离距离的过程中，也加入对车道线分布的多种限制条件，以进一步减少搜索范围，大大提高算法效率和准确性。

附图说明

图1为本发明实施例提供的一种智能车行进控制方法流程图；

图2为本发明实施例中一种优选路权信息融合坐标系信息融合示意图；

图3为本发明实施例中当前车辆行进方向偏离应行进车道线的偏离角度和偏离距离示意图；

图4为本发明实施例提供的一种智能车行进控制方法流程图；

图5为本发明实施例中摄像头在车辆上设置位置示意图；

图6为本发明实施例提供的一种智能车行进控制系统结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

参见图1，本发明实施例提供一种智能车行进控制方法，具体包括如下步骤：

S101：从设置在车辆上不同位置处的摄像头实时获取多幅不同角度的车辆前方道路图像。

本发明实施例实现的一种智能车行进控制方法，需要在所控制车辆上设置摄像头，以获取车辆前方的道路图像，进而从中识别出车道线信息，控制车辆正常行驶。

需要说明的是，若仅仅在车辆上设置一部摄像头，或为了摄像头故障时替换而仅仅在相近或类似位置处设置的多个摄像头，拍摄到的车辆前方图像中如果缺失了部分重要信息的话，则只能通过现有的一些算法对图像进行修改，不但算法复杂，效率较低，图像恢复效果不佳，而且还很有可能无法完整恢复，导致智能车行进控制不够准确甚至无法实现控制的问题。

优选的，本发明实施例中，在车辆的不同位置处分别设置多部摄像头，这样，便可以从不同角度拍摄到车辆前方图像，当由于复杂的路况导致某个角度中，用于智能车行进控制的某些重要信息被遮挡等原因导致缺失时，便可以直接从其它角度中拍摄的图像中获取。可见，本发明实施例避免了繁杂的公式算法，不但提高了效率，而且可以根据实际图像进行缺失信息的获取，进一步提高了准确性，从而使得方案简单高效、控制准确，而且，不受到应用场景的限制，无论道路中车辆较多、并线等多发事件、道路不规范、车速较快等复杂情况下，本发明实施例都能很方便的获取到多个角度的图像，能够对多种场景适应性更强，以更好的实现对车辆行进的自动控制。

作为进一步方案，本发明实施例中，在车辆不同位置处设置的摄像头，若其中某一摄像头设置的角度所拍摄的车辆前方图像中，不能包含完整的车辆前方有效车道线信息，则需要在该摄像头相对的位置处再设置一或多个摄像头，使其配合使用，形成一组摄像头，车辆上设置的每组摄像头设置的角度所拍摄的图像能够完全覆盖车辆前方有效车道线信息。

也就是说，本发明实施例提供的智能车行进控制方法还包括对设置在车辆不同位置处的摄像头进行分组管理，具体包括：

依据图像覆盖范围对摄像头进行分组：若一摄像头的位置所拍摄图像角度中能覆盖车辆前方有效车道线信息，则将该摄像头作为一组；若设置在车辆相对位置的多个摄像头所拍摄图像角度中能完全覆盖车辆前方有效车道线信息，则将该设置在车辆相对位置的多个摄像头作为一组。

相应的，后续对图像进行处理识别车道线的过程中，可以根据分组中包括摄像头数量由少至多的顺序尝试，这样可以在满足车道线识别条件的基础上，对较少数量的图像进行车道线识别处理，从而进一步提高控制效率。

实际应用中，在车辆上设置几个摄像头、在哪些位置设置，可以根据实际应用场景、控制精度及成本等多方因素综合考虑自行设计。需要说明的是，在车辆上至少设置2组摄像头，以实现本发明目的。

S102：对多幅上述车辆前方道路图像进行图像有效性处理，得到有效的车辆正前方道路图像。

其中，所述有效的车辆正前方道路图像为在没有遮挡的情况下能够包含有车辆前方有效车道线信息的图像。

所谓有效车道线信息，具体是指对车辆进行行进控制所需的车道线信息。若图像中包含的车道线信息缺失超过允许范围，就会导致后续无法从图像中识别出车道线或者识别出的车道线信息不足以计算出当前车辆行进方向偏离应行进车道线的偏离角度和偏离距离，因此，有效车道线信息也可以理解为能够保证识别出车辆前方车道线信息且能满足计算出当前车辆行进方向偏离应行进车道线的偏离角度和偏离距离的最少量的车道线信息。

作为优选方案，对多幅所述车辆前方道路图像进行图像有效性处理，得到有效的车辆正前方道路图像具体可以是：

也就是说，先针对包含一部摄像头的分组进行判断，即判断从该部摄像头获取的车辆前方道路图像中是否包含完整的车辆前方有效车道线信息，若是，则将该车辆前方车辆图像作为有效的车辆正前方道路图像，用于后续车道线信息的提取，就不用再对其它组摄像头获取的图片进行分析判断了。若从该部摄像头获取的车辆前方道路图像中未包含完整的车辆前方有效车道线信息，则再依次针对包含两部、三部。。。摄像头的分组进行判断，依次进行，直至确定来自某组多部摄像头的图像中包含有完整的车辆前方有效车道线信息，后续仅需要对从该组摄像头获取的图像进行组合，作为有效的车辆正前方道路图像，用于后续提取车道线信息。可见，可以在满足车道线识别条件的基础上，对较少数量的图像进行车道线识别处理，进一步提高控制效率。

具体的，判断图像中是否包含完整的车辆前方有效车道线信息的方法可以包括以下几个子步骤：

识别图像中的车道线左边界和车道线右边界；

若有效的车道线边界组数量大于预置值，则确认所述图像中包含完整的车辆前方有效车道线信息。

具体实现中，识别车道线左右边界的方法有很多种，判断有效车道线边界组的方法也有很多种，比如，判断图像中是否包含完整的车辆前方有效车道线信息的一种具体实施方式可以是：

第一，在图像有效区域内找寻车道线的左边界，每5行找一点(以像素为单位)，该点必须满足三个条件：首先该白色像素点出现前至少出现了若干个黑色像素点，如果满足，那么以该白色像素点为左上顶点选取的20×20(以像素为单位)区域内必须都为白色像素点，并且从这一点往右，这一行还必须出现黑色像素点。

第二，记录检测到的边界点的坐标，如果5行内没有满足条件的点，那么该五行内边界点坐标值为初始值(横坐标为0)。

第三，对识别到的每组点(每5行内找到的左右边界点为一组)进行判断，主要以横坐标作为依据判断，如果左点或右点横坐标有一个为0，或者左点横坐标值大于右点横坐标值则认为该组点无效，将两点的纵坐标值设为0(为下面排序做准备)，同时记录无效点个数。

第四，按纵坐标值大小对有效组点排序，从纵坐标值最大的点开始取，计算有效点个数，若达到要求个数，则认为前方车道线信息为有效车道线信息。

S103：从有效的车辆正前方道路图像中提取出车道线信息。

需要说明的是，这里车道线信息具体可以是多组车道线左边界点和右边界点，后续能够根据该多组左边界点和右边界点分析并构建出具体的车道线情况。

具体的，一种从有效的车辆正前方道路图像中提取出车道线信息的方法可以是：

从二值化的车道线边缘图像中提取出多组车道线左边界点和右边界点。

其中，透视效果是指由于物体与观察者的距离增加而导致物体显得更小的一种视觉效果。对有效的车辆正前方道路图像进行逆透视变换处理，能够消除所述有效的车辆正前方道路图像中的透视效果。

一幅图像包括目标物体、背景还有噪声，要想从多值的数字图像中直接提取出目标物体，最常用的方法就是设定一个阈值T，用T将图像的数据分成两部分：大于T的像素群和小于T的像素群。针对灰度变换的上述方法，称为图像的二值化(BINARIZATION)。这里，对逆透视变换处理后的图像进行车道线自适应阈值二值化处理，能够得到二值化的车道线边缘图像。

优选的，一种从二值化的车道线边缘图像中提取出多组车道线左边界点和右边界点的方法可以是：

以二值化图像为来源，以及预设的最后的栅格图的尺寸(在实际操作中，最后的栅格图的尺寸可以是根据经验值预估得到，也可以是根据某些参数以及实际场景自行设置得到)。以最后的栅格图的尺寸为根据开辟一个整型数组(point_flag)。定义4种类型，0为“未标记”，1为“标记为空点”，2为“实线点”，3为“虚线点”。

从左往右，从上到下对二值化图像的每个点进行检测。

1.若此点已被标记(point_flag为1)，则跳过该点的检测，否则继续检测该点类型并标记。

2.在中间行检测白点，若没有检测到白点则结束当前行的检测，否则继续检测白点。

3.以检测到的白点为起点，检测并获取宽度(即白点在这一行的个数)。

4.以白点为起点，得到这片白色区域的最高点和最低点，并由此大概计算长度和宽度。

5.根据宽度和长度，判断这片区域为何种标记(实线或虚线)，对相关栅格点进行标记。

6.最后得到一个记录了所有点的标记的数组，即得到多组车道线左边界点和右边界点。

优选的，在逆透视变换的基础上，进一步引入道路的结构约束条件(比如可以是高速公路的结构约束条件)，并结合视频图像的帧间关系，进一步提高了车道线识别的准确度。具体的：

1、车道线都是处于平行的关系，若检测到的线段不平行则可忽略；

2、车道线的宽度是固定的，车道线之间的间隔也是固定的，可根据此条件过滤掉偏离较远的点；

3、后一帧图像的数据可在前一帧图像得到的车道线附近进行搜索，可大大缩短检测时间；

等等。

可见，该算法在逆透视变换的基础上，进一步引入高速公路的结构约束条件，并且引入了视频图像的帧间关系，实现了车道标志线的准确检测。

S104：将所述车道线信息经坐标转换后标定在路权信息融合坐标系中对应位置处。

需要说明的是，路权信息融合坐标系具体是指在一个平面坐标系中，以智能车所在位置为核心，覆盖周边一定区域范围，并以栅格为单位，融合记录有多种路权信息，构成路权信息融合坐标系。所述路权信息具体可以包括车辆上多种类别、不同安装位置的传感器所感知信息的融合，如摄像头、雷达等不同类型传感器通过声、光、电等物理信号所能感知到的周围环境信息，能够用于判断车辆可拥有的路权空间及其变化趋势。

需要说明的是，所述路权信息，如摄像头、雷达等不同类型传感器通过声、光、电等物理信号感知周围环境，其工作机理不同，安装在车辆上的位置也不同。即使是同一类传感器，其精度、有效范围、参数设置(如摄像头的焦距、白平衡等参数；激光雷达的识别距离、角度分辨率等参数)也不相同。通过参数配准及位置标定，将不同传感器感知并处理得到的信息，映射到路权信息融合坐标系(如路权雷达图)的统一坐标系中，并对相应栅格进行赋值。赋值的内容比如可以包括障碍物的高度、置信度等。

一种路权信息融合坐标系的实现方式可以是，利用雷达图的形式实现。优选的，利用不同大小的栅格构成变粒度雷达图形式，其中可充分融合摄像头、雷达等各类传感器的环境感知信息，显示车辆可拥有的路权空间及其变化趋势，实现辅助驾驶和无人驾驶自动控制。

这样，能够实时有效完成车辆上多种类别、不同安装位置传感器的感知信息的融合，判断车辆可拥有的路权空间及其变化趋势，为智能决策、路径规划、人机交互、无人驾驶等提供统一的基础框架。

以下针对实际应用场景，给出一种优选的路权信息融合坐标系的具体实现方式，路权信息融合坐标系优选的具体采用路权雷达图实现。

A.路权雷达图优选的以车辆的几何中心为中心，覆盖半径为100m-200m的周边范围。

路权雷达图应当覆盖智能车辆行驶中的安全距离。在智能车安全距离的计算中，需要综合考虑车速、可能出现的湿滑路面及驾驶员的反应时间。我国道路交通安全法实施条例第70条规定：高速公路应当标明车道的行驶速度，最高车速不得超过120km/h。

设湿滑路面附着系数μ＝0.32，一般驾驶员反应时间T_f在0.35s与0.65s之间，为安全起见，取T_f＝0.65s，车辆限速V_m＝120km/h。

在反应时间内，车辆做匀速运动，前进距离S₁＝V_mT_f＝22m。

之后刹车，车辆做匀减速运动，前进距离

安全距离为S＝S₁+S₂＝195m。

因此，在本发明实施例中，路权雷达图的覆盖半径优选的不小于195米，即200m。

B.离智能车辆越近，路权雷达图栅格的尺寸越小、精度越高，离智能车辆越远，路权雷达图栅格的尺寸越大、精度越低，如栅格径向最小5cm，最大400cm；路权雷达图中的角度分辨率可根据驾驶关注区域改变，也可固定，如，由此构成的变粒度栅格，可用数组结构与之对应。

无论从驾驶员的驾驶经验，还是从车辆控制的实际要求出发，对不同距离处感知精度的要求都是不相同的。离智能车辆越近，路权雷达图栅格的尺寸越小、精度越高，离智能车辆越远，路权雷达图栅格的尺寸越大、精度越低。

对于距离D，对应一个保证车辆安全行驶的最大速度V_D。距离D处的扇形栅格径向长度为采集-感知-控制周期T内，车辆走过的距离，即V_DT。根据实际情况，T＝100ms。路权雷达图由多圈栅格构成，位于同一圈的栅格，其径向长度相同。设从雷达图中心向外侧数，第n圈栅格外侧与雷达图中心的距离为D_n，其对应的最大安全速度是V_n

由

V_{n} T_{f} + \frac{V_{n}^{2}}{2 μg} = D_{n}

得：

V_{n} = \sqrt{{(μg T_{f})}^{2} + 2 μg D_{n}} - μg T_{f}

栅格精度S_n＝D_n-D_n-1，n≥1

受限于传感器精度，栅格精度最细为5cm

D_n序列由下面递推公式确定：

\{\begin{matrix} D_{n} = D_{n - 1} + \max ((\sqrt{{(μg T_{f})}^{2} + 2 μg D_{n - 1}} - μg T_{f}) T, 0.05), & n &GreaterEqual; 1 \\ D_{n} = 0 m, & n = 0 \end{matrix}

据此计算得出，本例中路权雷达图半径为197.7m，共有140圈栅格；栅格纵向长度最小为5cm，最大约为336cm；中间栅格的径向长度可根据递推公式计算得出。

下面对角度分辨率进行分析：设高速公路车道宽L＝3.5m，路权雷达图依据角度划分为N份。如果要求在路权雷达图覆盖范围最远处能够分辨不同车道，则应满足：计算得到

N &GreaterEqual; \frac{2 πR}{L} = 358.8

因此，不妨设定雷达的角度分辨率为

依照本较佳实施例对于路权雷达图范围及精度的论证，路权雷达图共包括140×360＝50400个栅格。在计算机中建立140×360大小的数组，供信息融合使用。

C.摄像头、雷达等不同类型传感器通过声、光、电等物理信号感知周围环境，其工作机理不同，安装在车辆上的位置也不同。即使是同一类传感器，其精度、有效范围、参数设置(如摄像头的焦距、白平衡等参数；激光雷达的识别距离、角度分辨率等参数)也不相同。通过参数配准及位置标定，将不同传感器感知并处理得到的信息，映射到路权雷达图的统一坐标系中，并对相应栅格进行赋值。赋值的内容可以包括障碍物的高度、置信度等。

一个优选的路权雷达图信息融合的方法示例如下：

智能车上安装有各类摄像头、雷达等传感器用于环境感知。各类传感器覆盖范围互有重叠，但经过位置标定后，覆盖范围均为圆形或扇形，可利用路权雷达图进行信息融合。

进行信息融合最简单的方法是，只要任何一个传感器，检测到某个扇形栅格被占据，那么就将这个栅格置为障碍物高度值(单位：厘米)；没有被任何传感器检测到被占据的扇形栅格，则将其置为0。这样可以保证信息融合的结果无遗漏的反映了车辆周围障碍物对路权的占用情况。在图2中，显示了路权雷达图采用这种方法，对城际高速公路上智能车周边障碍物融合感知的一个实例。图中包含障碍物的栅格幅值为该障碍物的高度，例如，包含最右侧护栏的栅格赋值为护栏高度90厘米。除此以外，也可以对每个栅格引入置信概率，将其置为0和1之间的一个实数，为之后的智能决策、路径规划等，提供更精确的支持。

D.路权雷达图始终寄生在运行中的车辆上，与车速相关，并随时间动态变化，其更新周期由传感器采样频率、本车行驶状态等因素决定。

路权雷达图的更新周期由传感器采样频率等因素决定。在一个实施例中，若摄像头传感器的采样周期是25-40ms(随光照等环境条件会有改变)，单线、四线、八线激光雷达、毫米波雷达的采样周期均是80ms。为准确、实时地反映各传感器的感知信息，路权雷达图的更新周期应小于或等于各传感器的最小周期。因此，在该实施例中优选的设置路权雷达图更新周期为20ms。

优选的，将所述车道线信息经坐标转换后标定在路权信息融合坐标系中对应位置处。即将从有效的车辆正前方道路图像中提取出的车道线信息，经过坐标转换、参数配准等处理后，将各车道线参数(即车道线信息)在路权信息融合坐标系中进行位置标定，将其映射到路权雷达图的统一坐标系中，并记录在相应栅格内。

本步骤中，需要说明的是，由于智能车上安装的各类摄像头、雷达等用于环境感知的传感器，其覆盖范围互有重叠，所以，优选的路权信息融合坐标系采用圆形或扇形变粒度雷达图实现，具体可以针对重复的覆盖范围进行位置标定，去除重复。由于路权信息融合坐标系优选采用圆形或扇形实现，因此，对于正常的路面坐标系中获取到的车道线信息需要经坐标转换，才能正确的映射到路权信息融合坐标系中。

具体的，上述将车道线信息经坐标转换后标定在路权信息融合坐标系中对应位置处具体包括：

当然，实际应用中，路权信息融合坐标系可以采用多种方式实现，比如，一种较实用的实现方式可以是，采用以车辆为中心的矩形区间形成的坐标系来实现，其中，为了计算方便，各栅格也同样采用矩形实现，优选的，利用不同大小的矩形栅格构成变粒度形式，也就是说，离智能车辆越近，栅格的尺寸越小、精度越高，离智能车辆越远，栅格的尺寸越大、精度越低。

相应的，将车道线信息经坐标转换后标定在路权信息融合坐标系中对应位置处具体方法可以是：

第一，将摄像头获取的图像进行图像缩小变换，缩小变换后满足使每个小栅格中只有一个点的信息。

需要说明的是，由于摄像头获取的图像尺寸较大，而路权信息融合坐标系相对而言尺寸较小，比如，摄像头获取的图像中，每个栅格的尺寸可以达到20cm*20cm，每个点的尺寸有2cm左右，这样，在摄像头获取的图像中，有可能一个栅格中会有多个点，为了后续计算方便，我们将一个栅格中的几个点进行合并，并做图像缩小处理，使得在路权信息融合坐标系中，一个栅格中只有一个点的信息。实际算法有多种，此处不再赘述。

第二，考虑到图像缩小变换中，栅格中多点合并的问题，获取实际道路图像上合并后的点与车辆的位置，对应到路权信息融合坐标系中该点与车辆的位置偏差(包括横坐标偏移量和纵坐标偏移量)。

第三，在路权信息融合坐标系中各点的横坐标加上横坐标偏移量，纵坐标加上纵坐标偏移量，得到标定后的栅格中各点的坐标信息。

S105：在路权信息融合坐标系中获取预置行进范围内的路权信息，根据获取到的所述路权信息判断当前智能车所处的路权状态，按照路权状况结合所述车道线信息控制车辆行进。

优选的，在路权信息融合坐标系中获取预置行进范围内的路权信息，根据获取到的所述路权信息判断当前智能车所处的路权状态，按照路权状况结合所述车道线信息控制车辆行进具体包括：

在路权信息融合坐标系中获取预置行进范围内的路权信息；

根据所述路权状态结合所述车道线信息控制车辆行进。

实际应用中，在融合多类传感器检测结果后，会得到本车拥有的周围路权状况及变化趋势，形成对智能驾驶中将发生的车道内的跟驰状态、相邻车道的换道状态、或路口的通行状态(包括左转弯、右转弯、直行、U字掉头)等行进行为的控制策略，以作为进行局部路径的动态规划、协同导航等的依据。

具体实践中，可以从路权信息中获取到与前车距离等信息，确定跟驰状态，进而确定是否需要减速、加速等操作控制。

也可以从路权信息中获取到障碍物距离、高度、位置等信息，确定相邻车道的换道状态，进而确定需要变更的车道，以及换道路径等，进而根据提取的车道线信息计算出当前车辆行进方向偏离换道路路径的车道线的偏离角度和偏离距离，进而精准的控制车辆行进。

还可以从路权信息中获取到交通信号信息，比如信号灯、信号标识、道路指示等，进而确定下一步行进操作是停车、直行、转弯或掉头，进而控制车辆停止或直行、转弯或掉头等操作。其中，直行、转弯或掉头操作时，需根据提取的车道线信息计算出当前车辆行进方向偏离行进路径(直行、转弯或掉头)的车道线的偏离角度和偏离距离，进而精准的控制车辆行进。

等等。

具体的，根据提取出的车道线信息计算出当前车辆行进方向偏离应行进车道线的偏离角度和偏离距离。其中，应行进车道线包括换道路路径的车道线、直行/转弯/掉头行进路径的车道线等。

需要说明的是，参见图3，具体示出当前车辆行进方向偏离应行进车道线的偏离角度r和偏离距离d。当前车辆行进方向偏离应行进车道线的偏离距离d为车辆的车体中心线与车道线之间的相对位置偏差。

具体的，根据提取出的车道线信息计算出当前车辆行进方向偏离应行进车道线的偏离角度和偏离距离的一种实现方式可以是：

对所述二值化的车道线边缘图像进行Hough变换，检测出车道线的左边界点和右边界点，利用左边界点和右边界点计算得到车道线虚拟中心线上的至少两点，根据得到的车道线虚拟中心线上的至少两点计算当前车辆行进方向偏离应行进车道线的偏离角度和偏离距离。(需要说明的是，这里车道线信息具体可以是多组车道线左边界点和右边界点，后续能够根据该多组左边界点和右边界点分析并构建出具体的车道线情况)。

简单的说，Hough变换利用图像空间和Hough参数空间的点-线对偶性，把图像空间中的检测问题转换到参数空间。通过在参数空间里进行简单的累加统计，然后在Hough参数空间寻找累加器峰值的方法检测直线。例如，图像空间中的九条线段对应于Hough参数空间中的九个累加器峰值。Hough参数空间的横纵坐标分别为直线极坐标方程：ρ＝x×cos(θ)+y×sin(θ)的两个参数ρ和θ。九个峰值的ρ和θ值唯一的确定其对应线段所在直线的两个参数。并且线段的长度决定坐标(ρ，θ)处的累加值的大小。

对所述二值化的车道线边缘图像进行Hough变换，检测出车道线的左边界点和右边界点，利用左边界点和右边界点计算得到车道线虚拟中心线上的至少两点，根据得到的车道线虚拟中心线上的至少两点计算当前车辆行进方向偏离应行进车道线的偏离角度和偏离距离的方法具体为：

将前面跟踪检测得到的车道线(车道标志线)左边界点(左边线信息点)(x_L0，y_L0)，(x_L1，y_L1)，…，(x_Ln，y_Ln)和右边界点(右边线信息点)(x_R0，y_R0)，(x_R1，y_R1)，…，(x_Rn，y_Rn)进行处理。利用左边界点和右边界点的信息，求出道路虚拟中心线上的点(x_i，y_i)，具体计算方法为

x_{i} = \frac{x_{Li} + x_{Ri}}{2}, (i = 0,1 . . . n), y_{i} = \frac{y_{Li} + y_{Ri}}{2}, (i = 0,1 . . . n) .

从虚拟中心线上半部分中选取一点(x_up，y_up)，再从虚拟中心线下半部分中选取一点(x_down，y_down)，则可获得车辆偏移角度为：

偏移距离为：d＝-(w/2-x_i)*3.4+5，其中w为图像宽度。

优选的，在Hough变换过程中，可以加入以下几点约束：

(1)考虑到车辆紧挨一边车道线行驶的极端情况，检测到的车道线底部距离图像底部中心(约为车辆中心点)距离不超过1个车道宽度；

(2)左、右车道线的大部分信息分别分布在图像的左半和右半区域；

(3)逆透视图中，车道线与竖直方向的夹角不会太大；

(4)检测到的左右车道线应当保持平行的关系。等等。

通过约束条件，可减少搜索范围，提高算法效率和准确性。

可见，本发明实施例提供的智能车行进控制方法，从设置在车辆上不同位置处的摄像头实时获取多幅不同角度的车辆前方道路图像，对多幅上述车辆前方道路图像进行图像有效性处理，得到有效的车辆正前方道路图像，从有效的车辆正前方道路图像中识别出车道线信息，根据识别出的车道线信息计算出当前车辆行进方向偏离应行进车道线的偏离角度和偏离距离，进而根据所述偏离角度和偏离距离控制车辆行进。这样，由于在车辆的不同位置处分别设置多部摄像头，便可以从不同角度拍摄到车辆前方图像，当由于复杂的路况导致某个角度中，用于智能车行进控制的某些重要信息被遮挡等原因导致缺失时，便可以直接从其它角度中拍摄的图像中获取。因此，本发明实施例避免了繁杂的公式算法，不但提高了效率，而且可以根据实际图像进行缺失信息的获取，进一步提高了准确性，从而使得方案简单高效、控制准确，而且，不受到应用场景的限制，无论道路中车辆较多、并线等多发事件、道路不规范、车速较快等复杂情况下，本发明实施例都能很方便的获取到多个角度的图像，能够对多种场景适应性更强，以更好的实现对车辆行进的自动控制。

参见图4，本发明实施例提出一种智能车行进控制方法。

优选的，参见图5，在车辆不同位置处设置有三个摄像头，其中：

第一摄像头501，设置于车辆后视镜处，镜头面向车辆正前方，用于实时获取车辆正前方道路图像；

第二摄像头502，垂直设置于车辆左倒车镜下方，镜头面向车辆左前方，用于实时获取车辆左前方道路图像；

第三摄像头503，垂直设置于车辆右倒车镜下方，镜头面向车辆右前方，用于实时获取车辆右前方道路图像。

可以理解，本发明实施例中一共包括两个摄像头分组，第一摄像头为一个分组，第二摄像头和第三摄像头构成一个分组。

需要说明的是，上述摄像头的设置方法仅为一种优选方案，本发明实施例还可以包括其它多种摄像头优选设置方案，比如第一摄像头设置于车辆后视镜处，镜头面向车辆正前方，用于实时获取车辆正前方道路图像；第四摄像头设置于前保险扛处，镜头面向车辆正前方，用于实时获取车辆正前方道路图像；等等。此时，第一摄像头和第四摄像头获取的图像在没有遮挡的情况下，都能全面覆盖车辆前方有效车道线信息，因此，各自分别形成一个分组，在此种情况下，后续进行图像有效性处理时，可以根据两个摄像头拍摄效果预定优先顺序，比如可以约定优先判断第一摄像头获取的图像是否包含完整车辆前方有效车道线信息，若没有再判断第四摄像头获取的图像是否包含完整车辆前方有效车道线信息。

本发明实施例提出一种智能车行进控制方法，具体包括如下步骤：

S401：从第一摄像头获取车辆正前方道路图像、从第二摄像头获取车辆左前方道路图像、及从第三摄像头获取车辆右前方道路图像。

S402：判断从第一摄像头获取的所述车辆正前方道路图像是否为有效的车辆正前方道路图像，即判断从第一摄像头获取的所述车辆正前方道路图像中是否包含完整的车辆前方有效车道线信息。

S403：若为有效的车辆正前方道路图像(即包含完整的车辆前方有效车道线信息)，则将所述车辆正前方道路图像作为有效的车辆正前方道路图像；若为无效的车辆正前方道路图像(即包含的车辆前方有效车道线信息不够完整，有信息缺失)，则将从第二摄像头获取的所述车辆左前方道路图像及从第三摄像头获取的车辆右前方道路图像进行拼接，得到有效的车辆正前方道路图像。

也就是说，根据分组中包括摄像头数量由多至少的顺序，优先判断从第一摄像头获取的图像是否有效，若有效，则直接从其中识别出车道线信息即可，若无效，再考虑将从第二摄像头获取的图像和从第三摄像头获取的图像进行组合拼接，得到有效的车辆正前方道路图像，再从中识别出车道线信息。这样可以在满足车道线识别条件的基础上，对较少数量的图像进行车道线识别处理，从而进一步提高控制效率。

其中，将从第二摄像头获取的所述车辆左前方道路图像及从第三摄像头获取的车辆右前方道路图像进行拼接，得到有效的车辆正前方道路图像的方式包括：

具体的，一种具体实现方式可以是：

提取左右倒车镜上摄像头(第二摄像头和第三摄像头)的一帧图像，进行图像预处理，主要包括对图像进行几何畸变校正和噪声点的抑制等，让参考图像和待拼接图像不存在明显的几何畸变。

进行首帧图像配准，首先利用提取局部特征SIFT算法，提取关键点位置、尺度、旋转不变量等特征。然后，采用关键点特征向量的欧式距离来作为两幅图像中关键点的相似性判定度量，从而完成关键点的粗匹配；最后利用RANSAC算法消除误匹配、建立透视变换矩阵H。

分别从摄像头读取帧图像，基于矩阵H进行透视变换，采用渐入渐出算法对重叠区域进行融合处理，得到拼接后的帧图像。

S404：从上述有效的车辆正前方道路图像中提取出出车道线信息。

该步骤具体实现方式可以是：

从所述有效的车辆正前方道路图像中识别出车道线信息包括：

优选的，该算法在逆透视变换的基础上，进一步引入高速公路的结构约束条件，并且引入了视频图像的帧间关系，进一步实现了车道标志线的检测准确度。

S405：将所述车道线信息经坐标转换后标定在路权信息融合坐标系中对应位置处。

作为优选方案，所述将所述车道线信息经坐标转换后标定在路权信息融合坐标系中对应位置处包括：

实际应用中，路权信息融合坐标系可以采用多种方式实现，比如，一种较实用的实现方式可以是，采用以车辆为中心的矩形区间形成的坐标系来实现，其中，为了计算方便，各栅格也同样采用矩形实现，优选的，利用不同大小的矩形栅格构成变粒度形式，也就是说，离智能车辆越近，栅格的尺寸越小、精度越高，离智能车辆越远，栅格的尺寸越大、精度越低。优选的，路权信息融合坐标系采用圆形或扇形变粒度雷达图方式实现。

S406：在路权信息融合坐标系中获取预置行进范围内的路权信息，根据获取到的所述路权信息判断当前智能车所处的路权状态，按照路权状况结合所述车道线信息控制车辆行进。

具体的，在路权信息融合坐标系中获取预置行进范围内的路权信息；

根据所述路权状态结合所述车道线信息控制车辆行进。

可见，本发明实施例中，通过多摄像头数据融合，可解决车辆较多等情况导致对车道线遮挡的情况下，对车辆实现准确高效的智能控制。

参见图6，为本发明实施例提供的一种智能车行进控制系统，所述系统包括设置在车辆上不同位置处的摄像头601、及智能车行进控制设备602。

所述智能车行进控制设备602包括：

图像获取模块6021，用于从设置在车辆上不同位置处的摄像头501实时获取多幅不同角度的车辆前方道路图像。

有效性处理模块6022，用于对多幅所述车辆前方道路图像进行图像有效性处理，得到有效的车辆正前方道路图像。

其中，所述有效的车辆正前方道路图像为包含有车辆前方有效车道线信息的图像。

车道线信息提取模块6023，用于从所述有效的车辆正前方道路图像中提取出车道线信息。

坐标转换标识模块6024，用于将所述车道线信息经坐标转换后标定在路权信息融合坐标系中对应位置处。

以及，行进控制模块6025，用于在路权信息融合坐标系中获取预置行进范围内的路权信息，根据获取到的所述路权信息判断当前智能车所处的路权状态，按照路权状况结合所述车道线信息控制车辆行进。

进一步的，所述智能车行进控制设备还包括摄像头管理模块，用于对设置在车辆不同位置处的摄像头进行分组管理。

具体的，所述摄像头管理模块，用于依据图像覆盖范围对摄像头进行分组：若一摄像头的位置所拍摄图像角度中能覆盖车辆前方有效车道线信息，则将该摄像头作为一组；若设置在车辆相对位置的多个摄像头所拍摄图像角度中能完全覆盖车辆前方有效车道线信息，则将该设置在车辆相对位置的多个摄像头作为一组。

相应的，所述有效性处理模块包括：

顺序判断单元，用于按照分组中包含的摄像头数量由少至多的顺序逐组对摄像头获取的图像进行判断，确定包含完整车辆前方有效车道线信息的一组图像。

以及，有效性确认单元，用于当所述顺序判断单元确定的包含完整车辆前方有效车道线信息的一组图像为来自一部摄像头拍摄的车辆前方道路图像，则将该车辆前方道路图像作为有效的车辆正前方道路图像；当所述顺序判断单元确定的包含完整车辆前方有效车道线信息的一组图像为来自多部摄像头拍摄的车辆前方道路图像，则将该多部摄像头拍摄的车辆前方道路图像进行组合，得到有效的车辆正前方道路图像。

作为一个具体实施例，优选的，车辆不同位置处可以设置有三个摄像头，其中：

第一摄像头，设置于车辆后视镜处，镜头面向车辆正前方，用于实时获取车辆正前方道路图像。

第二摄像头，垂直设置于车辆左倒车镜下方，镜头面向车辆左前方，用于实时获取车辆左前方道路图像。

第三摄像头，垂直设置于车辆右倒车镜下方，镜头面向车辆右前方，用于实时获取车辆右前方道路图像。

相应的，所述图像获取模块，具体用于从第一摄像头获取车辆正前方道路图像、从第二摄像头获取车辆左前方道路图像、及从第三摄像头获取车辆右前方道路图像。

所述顺序判断单元，具体用于判断从第一摄像头获取的所述车辆正前方道路图像是否为有效的车辆正前方道路图像，即判断从第一摄像头获取的所述车辆正前方道路图像中是否包含完整的车辆前方有效车道线信息。

所述有效性确认单元，具体用于当所述顺序判断单元的判断结果为从第一摄像头获取的所述车辆正前方道路图像中包含完整的车辆前方有效车道线信息，则将所述车辆正前方道路图像作为有效的车辆正前方道路图像；当所述顺序判断单元的判断结果为从第一摄像头获取的所述车辆正前方道路图像为无效的车辆正前方道路图像，则将从第二摄像头获取的所述车辆左前方道路图像及从第三摄像头获取的车辆右前方道路图像进行拼接，得到有效的车辆正前方道路图像。

其中，有效性确认单元中，将从第二摄像头获取的所述车辆左前方道路图像及从第三摄像头获取的车辆右前方道路图像进行拼接，得到有效的车辆正前方道路图像的具体实施方式可以包括：

优选的，所述车道线提取模块包括：

逆透视变换单元，用于对所述有效的车辆正前方道路图像进行逆透视变换处理，消除所述有效的车辆正前方道路图像中的透视效果。

二值化处理单元，用于对逆透视变换处理后的图像进行车道线自适应阈值二值化处理，得到二值化的车道线边缘图像。

以及，提取单元，用于从二值化的车道线边缘图像中提取出多组车道线左边界点和右边界。

本发明实施例中，有效性处理模块中，对多幅所述车辆前方道路图像进行图像有效性处理，得到有效的车辆正前方道路图像。其中，判断图像中是否包含完整的车辆前方有效车道线信息的具体实施方式可以包括：

识别图像中的车道线左边界和车道线右边界；

优选的，所述路权信息融合坐标系采用圆形或扇形变粒度雷达图方式。

相应的，所述坐标转换标识模块具体用于：

具体的，行进控制模块包括：

路权信息获取单元，用于在路权信息融合坐标系中获取预置行进范围内的路权信息。

路权状态判断单元，用于根据预置行进范围内路权信息判断当前智能车所处的路权状态；所述路权状态包括跟驰状态、车道更换状态和路口通行状态。

以及，行进控制单元，用于根据所述路权状态结合所述车道线信息控制车辆行进。

需要说明的是，本发明系统实施例中的各个模块或者子模块的工作原理和处理过程可以参见上述图1-图5所示方法实施例中的相关描述，此处不再赘述。

可见，本发明实施例提供的智能车行进控制系统，从设置在车辆上不同位置处的摄像头实时获取多幅不同角度的车辆前方道路图像，对多幅上述车辆前方道路图像进行图像有效性处理，得到有效的车辆正前方道路图像，从有效的车辆正前方道路图像中识别出车道线信息，根据识别出的车道线信息计算出当前车辆行进方向偏离应行进车道线的偏离角度和偏离距离，进而根据所述偏离角度和偏离距离控制车辆行进。这样，由于在车辆的不同位置处分别设置多部摄像头，便可以从不同角度拍摄到车辆前方图像，当由于复杂的路况导致某个角度中，用于智能车行进控制的某些重要信息被遮挡等原因导致缺失时，便可以直接从其它角度中拍摄的图像中获取。因此，本发明实施例避免了繁杂的公式算法，不但提高了效率，而且可以根据实际图像进行缺失信息的获取，进一步提高了准确性，从而使得方案简单高效、控制准确，而且，不受到应用场景的限制，无论道路中车辆较多、并线等多发事件、道路不规范、车速较快等复杂情况下，本发明实施例都能很方便的获取到多个角度的图像，能够对多种场景适应性更强，以更好的实现对车辆行进的自动控制。

为了便于清楚描述本发明实施例的技术方案，在发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定。

本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括如下步骤：(方法的步骤)，所述的存储介质，如：ROM/RAM、磁碟、光盘等。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims

1.一种智能车行进控制方法，其特征在于，所述方法包括：

从所述有效的车辆正前方道路图像中提取出车道线信息；

2.根据权利要求1所述的智能车行进控制方法，其特征在于，所述方法还包括对设置在车辆不同位置处的摄像头进行分组管理，具体包括：

3.根据权利要求2所述的智能车行进控制方法，其特征在于，车辆不同位置处设置有三个摄像头，其中：

4.根据权利要求1所述的智能车行进控制方法，其特征在于，判断图像中是否包含完整的车辆前方有效车道线信息的方法包括：

识别图像中的车道线左边界和车道线右边界；

5.根据权利要求1所述的智能车行进控制方法，其特征在于，所述路权信息融合坐标系采用圆形或扇形变粒度雷达图方式。

6.根据权利要求1所述的智能车行进控制方法，其特征在于，所述在路权信息融合坐标系中获取预置行进范围内的路权信息，根据获取到的所述路权信息判断当前智能车所处的路权状态，按照路权状况结合所述车道线信息控制车辆行进包括：

在路权信息融合坐标系中获取预置行进范围内的路权信息；

根据所述路权状态结合所述车道线信息控制车辆行进。

7.一种智能车行进控制系统，其特征在于，所述系统包括设置在车辆上不同位置处的摄像头、及智能车行进控制设备：

所述智能车行进控制设备包括：

8.根据权利要求7所述的智能车行进控制系统，其特征在于，所述智能车行进控制设备还包括摄像头管理模块，

所述有效性处理模块包括：

9.根据权利要求8所述的智能车行进控制系统，其特征在于，车辆不同位置处设置有三个摄像头，其中：

所述车道线提取模块包括：

所述坐标转换标识模块具体用于：

针对多组车道线左边界点和右边界点，根据二值化的车道线边缘图像中各点与车辆间位置及路权信息融合坐标系中各点与车辆问位置的比例关系，经坐标转换后，将多组车道线左边界点和右边界点标定在路权信息融合坐标系中对应位置处。

10.根据权利要求7所述的智能车行进控制系统，其特征在于，所述路权信息融合坐标系采用圆形或扇形变粒度雷达图方式；

所述行进控制模块包括：