CN113942503A - 一种车道保持方法和装置 - Google Patents
一种车道保持方法和装置 Download PDFInfo
- Publication number
- CN113942503A CN113942503A CN202111462236.3A CN202111462236A CN113942503A CN 113942503 A CN113942503 A CN 113942503A CN 202111462236 A CN202111462236 A CN 202111462236A CN 113942503 A CN113942503 A CN 113942503A
- Authority
- CN
- China
- Prior art keywords
- lane
- target
- environment information
- video acquisition
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000001914 filtration Methods 0.000 claims description 33
- 238000012805 post-processing Methods 0.000 claims description 25
- 238000012937 correction Methods 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 10
- 238000007499 fusion processing Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 230000006399 behavior Effects 0.000 description 19
- 230000001133 acceleration Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 3
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- UDHXJZHVNHGCEC-UHFFFAOYSA-N Chlorophacinone Chemical compound C1=CC(Cl)=CC=C1C(C=1C=CC=CC=1)C(=O)C1C(=O)C2=CC=CC=C2C1=O UDHXJZHVNHGCEC-UHFFFAOYSA-N 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/10—Path keeping
- B60W30/12—Lane keeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开一种车道保持方法和装置，获取多个视频采集设备采集的目标车辆周身的路面数据和目标车辆的行驶位姿信息。根据每个视频采集设备采集的路面数据进行识别，生成多个视频采集设备分别对应的车道环境信息。若多个视频采集设备中前视视频采集设备对应的车道环境信息不满足车道保持条件，则按照后视视频采集设备和侧视视频采集设备的优先级，对前视视频采集设备、后视视频采集设备和侧视视频采集设备分别对应的车道环境信息进行融合处理，得到目标车道环境信息。若根据行驶位姿信息和目标车道环境信息，确定目标车辆发生车道偏离，计算目标车辆保持车道中线行驶的转向角度，进而根据转向角度，控制目标车辆执行偏离回正，保持车道中线行驶。
Description
技术领域
本申请涉及智能驾驶领域，特别是涉及一种车道保持方法和装置。
背景技术
智能驾驶是未来智慧交通发展的趋势。车道偏离预警系统(Lane DepartureWarning System,LDWS)在驾驶员疲劳、困倦或疏忽等因素引起的车道非自主偏离中，对驾驶员进行及时提醒，防止了交通事故的发生。车道偏离预警系统只是预警，需要驾驶员控制打方向盘或打转向灯操作，这是一种被动的车辆横向控制系统；车道保持系统((Lanekeeping assistance System,LKAS)则是一种主动的车辆横向控制功能，能够在驾驶员偏离车道中线时，控制打方向盘或打转向灯主动将车辆纠正到车道内，从而避免车辆偏出车道，保证行驶的安全性。
然而，当前车道保持方法中要求前视摄像头必须识别到本车道两侧的车道线，一旦出现车道线模糊、车辆遮挡、隔断等情况引起的车道线缺失，将会使得系统处于待命状态，可能导致汽车脱离行驶车道，造成重大的安全隐患。
发明内容
为了解决上述技术问题，本申请提供了一种车道保持方法和装置，解决了只通过一个前视视频采集设备识别前方的车道环境信息引起的车道线缺失情况，提高车道识别精度，进而提升车道保持的效果，提高了驾驶的安全性。
本申请实施例公开了如下技术方案：
第一方面，本申请实施例提供了一种车道保持方法，目标车辆上安装多个视频采集设备，所述多个视频采集设备包括前视视频采集设备、后视视频采集设备和侧视视频采集设备，所述多个视频采集设备以所述目标车辆的车体坐标系为目标坐标系进行统一标定，所述方法包括：
获取所述多个视频采集设备采集的所述目标车辆周身的路面数据，以及获取所述目标车辆的行驶位姿信息；
分别根据所述多个视频采集设备中每个视频采集设备采集的路面数据进行识别，生成所述多个视频采集设备分别对应的车道环境信息；
若所述多个视频采集设备中所述前视视频采集设备对应的车道环境信息不满足车道保持条件，按照所述后视视频采集设备和所述侧视视频采集设备的优先级，对所述前视视频采集设备对应的车道环境信息、所述后视视频采集设备对应的车道环境信息和所述侧视视频采集设备对应的车道环境信息进行融合处理，得到目标车道环境信息；
若根据所述行驶位姿信息和所述目标车道环境信息，确定所述目标车辆发生车道偏离，计算所述目标车辆保持车道中线行驶的转向角度；
根据所述转向角度，控制所述目标车辆执行偏离回正，以使所述目标车辆保持车道中线行驶。
可选的，所述后视视频采集设备的优先级高于所述侧视视频采集设备的优先级，所述按照所述后视视频采集设备和所述侧视视频采集设备的优先级，对所述前视视频采集设备对应的车道环境信息、所述后视视频采集设备对应的车道环境信息和所述侧视视频采集设备对应的车道环境信息进行融合处理，得到目标车道环境信息，包括：
将所述前视视频采集设备对应的车道环境信息与所述后视视频采集设备对应的车道环境信息进行融合，得到第一车道环境信息；
若所述第一车道环境信息不满足所述车道保持条件，将所述前视视频采集设备对应的车道环境信息与所述侧视视频采集设备对应的车道环境信息进行融合，得到第二车道环境信息，所述第二车道环境信息作为所述目标车道环境信息；
若所述第一车道环境信息满足所述车道保持条件，将所述第一车道环境信息作为所述目标车道环境信息。
可选的，所述分别根据所述多个视频采集设备中每个视频采集设备采集的路面数据进行识别，生成所述多个视频采集设备分别对应的车道环境信息，包括：
分别根据所述多个视频采集设备中每个视频采集设备采集的路面数据进行车道线识别和路沿识别；
根据车道线识别结果和路沿识别结果，得到所述每个视频采集设备采集的路面数据中包括的目标车道线信息和目标路沿信息；
对所述每个视频采集设备采集的路面数据中包括的目标车道线信息和目标路沿信息进行融合，生成所述多个视频采集设备分别对应的车道环境信息。
可选的，将所述每个视频采集设备分别作为目标视频采集设备，对所述目标视频采集设备采集的路面数据中包括的目标车道线信息和目标路沿信息进行融合，生成所述目标视频采集设备对应的车道环境信息，包括：
根据所述目标视频采集设备采集的路面数据中包括的目标车道线信息和目标路沿信息，将车道线的位置与路沿的位置进行对比，得到位置偏移量；
根据所述位置偏移量与偏离阈值之间的大小关系，在目标位置保留目标车道线信息或目标路沿信息；
根据保留的目标车道线信息或目标路沿信息，得到所述目标视频采集设备对应的车道环境信息。
可选的，所述根据车道线识别结果和路沿识别结果，得到所述每个视频采集设备采集的路面数据中包括的车道线信息和路沿信息，包括：
对所述车道线识别结果进行车道线后处理，得到满足车道线条件的车道线信息；
对所述路沿识别结果进行路沿后处理，得到满足路沿条件的路沿信息；
将每个视频采集设备采集的路面数据中满足车道线条件的车道线信息作为所述目标车道线信息，将每个视频采集设备采集的路面数据中满足路沿条件的路沿信息作为所述目标路沿信息。
可选的，所述车道线后处理包括过滤噪点、曲线拟合、匹配跟踪和道路规则过滤，所述对所述车道线识别结果进行车道线后处理，得到满足车道线条件的车道线信息，包括：
根据所述车道线识别结果得到每条车道线的待定分割点；
对所述待定分割点进行过滤噪点，得到拟合点；
根据拟合点进行曲线拟合，并对拟合后的曲线进行验证，滤除不在可信车道范围内的车道线；
对保留下的车道线进行匹配跟踪，保留匹配成功的车道线；
对匹配成功的车道线进行道路规则过滤，剔除误检车道线，得到所述满足车道线条件的车道线信息。
可选的，所述方法还包括：
获取所述目标车辆的驾驶员的驾驶行为信息；
所述根据所述转向角度，控制所述目标车辆执行偏离回正，包括：
根据所述转向角度和所述驾驶行为信息，控制所述目标车辆执行偏离回正。
可选的，所述根据所述转向角度和所述驾驶行为信息，控制所述目标车辆执行偏离回正，包括：
根据所述驾驶行为信息确定调和转向参数；
根据所述调和转向参数生成辅助控制指令；根据所述转向角度和所述辅助控制指令，控制所述目标车辆执行偏离回正。
可选的，所述分别根据所述多个视频采集设备中每个视频采集设备采集的路面数据进行识别，生成所述多个视频采集设备分别对应的车道环境信息，包括：
通过第一识别模型，根据所述前视视频采集设备采集的路面数据进行识别，生成所述前视视频采集设备对应的车道环境信息；
通过所述第一识别模型，根据所述后视视频采集设备采集的路面数据进行识别，生成所述后视视频采集设备对应的车道环境信息；
通过第二识别模型，根据所述侧视视频采集设备采集的路面数据进行识别，生成所述侧视视频采集设备对应的车道环境信息。
第二方面，本申请实施例提供了一种车道保持装置，目标车辆上安装多个视频采集设备，所述多个视频采集设备包括前视视频采集设备、后视视频采集设备和侧视视频采集设备，所述多个视频采集设备以所述目标车辆的车体坐标系为目标坐标系进行统一标定，所述装置包括：
获取单元，用于获取所述多个视频采集设备采集的所述目标车辆周身的路面数据，以及获取所述目标车辆的行驶位姿信息；
生成单元，用于分别根据所述多个视频采集设备中每个视频采集设备采集的路面数据进行识别，生成所述多个视频采集设备分别对应的车道环境信息；
确定单元，用于若所述多个视频采集设备中所述前视视频采集设备对应的车道环境信息不满足车道保持条件，按照所述后视视频采集设备和所述侧视视频采集设备的优先级，对所述前视视频采集设备对应的车道环境信息、所述后视视频采集设备对应的车道环境信息和所述侧视视频采集设备对应的车道环境信息进行融合处理，得到目标车道环境信息；
所述确定单元，还用于若根据所述行驶位姿信息和所述目标车道环境信息，确定所述目标车辆发生车道偏离，计算所述目标车辆保持车道中线行驶的转向角度；
控制单元，用于根据所述转向角度，控制所述目标车辆执行偏离回正，以使所述目标车辆保持车道中线行驶。
可选的，所述后视视频采集设备的优先级高于所述侧视视频采集设备的优先级，所述确定单元，具体用于：
将所述前视视频采集设备对应的车道环境信息与所述后视视频采集设备对应的车道环境信息进行融合，得到第一车道环境信息；
若所述第一车道环境信息不满足所述车道保持条件，将所述前视视频采集设备对应的车道环境信息与所述侧视视频采集设备对应的车道环境信息进行融合，得到第二车道环境信息，所述第二车道环境信息作为所述目标车道环境信息；
若所述第一车道环境信息满足所述车道保持条件，将所述第一车道环境信息作为所述目标车道环境信息。
可选的，所述生成单元，用于：
分别根据所述多个视频采集设备中每个视频采集设备采集的路面数据进行车道线识别和路沿识别；
根据车道线识别结果和路沿识别结果，得到所述每个视频采集设备采集的路面数据中包括的目标车道线信息和目标路沿信息；
对所述每个视频采集设备采集的路面数据中包括的目标车道线信息和目标路沿信息进行融合，生成所述多个视频采集设备分别对应的车道环境信息。
可选的，将所述每个视频采集设备分别作为目标视频采集设备，所述生成单元，具体用于：
根据所述目标视频采集设备采集的路面数据中包括的目标车道线信息和目标路沿信息，将车道线的位置与路沿的位置进行对比，得到位置偏移量；
根据所述位置偏移量与偏离阈值之间的大小关系，在目标位置保留目标车道线信息或目标路沿信息；
根据保留的目标车道线信息或目标路沿信息，得到所述目标视频采集设备对应的车道环境信息。
可选的，所述生成单元，具体用于：
对所述车道线识别结果进行车道线后处理，得到满足车道线条件的车道线信息；
对所述路沿识别结果进行路沿后处理，得到满足路沿条件的路沿信息；
将每个视频采集设备采集的路面数据中满足车道线条件的车道线信息作为所述目标车道线信息，将每个视频采集设备采集的路面数据中满足路沿条件的路沿信息作为所述目标路沿信息。
可选的，所述车道线后处理包括过滤噪点、曲线拟合、匹配跟踪和道路规则过滤，所述生成单元，具体用于：
根据所述车道线识别结果得到每条车道线的待定分割点；
对所述待定分割点进行过滤噪点，得到拟合点；
根据拟合点进行曲线拟合，并对拟合后的曲线进行验证，滤除不在可信车道范围内的车道线；
对保留下的车道线进行匹配跟踪，保留匹配成功的车道线；
对匹配成功的车道线进行道路规则过滤，剔除误检车道线，得到所述满足车道线条件的车道线信息。
可选的，所述获取单元，还用于：
获取所述目标车辆的驾驶员的驾驶行为信息；
所述控制单元，具体用于：
根据所述转向角度和所述驾驶行为信息，控制所述目标车辆执行偏离回正。
可选的，所述控制单元，具体用于：
根据所述驾驶行为信息确定调和转向参数；
根据所述调和转向参数生成辅助控制指令；根据所述转向角度和所述辅助控制指令，控制所述目标车辆执行偏离回正。
可选的，所述生成单元，具体用于：
通过第一识别模型，根据所述前视视频采集设备采集的路面数据进行识别，生成所述前视视频采集设备对应的车道环境信息；
通过所述第一识别模型，根据所述后视视频采集设备采集的路面数据进行识别，生成所述后视视频采集设备对应的车道环境信息；
通过第二识别模型，根据所述侧视视频采集设备采集的路面数据进行识别，生成所述侧视视频采集设备对应的车道环境信息。
由上述技术方案可以看出，本申请在目标车辆上安装多个视频采集设备，多个视频采集设备包括前视视频采集设备、后视视频采集设备和侧视视频采集设备，以覆盖目标车辆的周身道路环境。多个视频采集设备以目标车辆的车体坐标系为目标坐标系进行统一标定。这样便可以实时获取多个视频采集设备采集的目标车辆周身的路面数据，以及获取目标车辆的行驶位姿信息。分别根据多个视频采集设备中每个视频采集设备采集的路面数据进行识别，生成多个视频采集设备分别对应的车道环境信息。若多个视频采集设备中前视视频采集设备对应的车道环境信息不满足车道保持条件，即前视视频采集设备难以识别到本车道两侧的车道线，则可以按照后视视频采集设备和侧视视频采集设备的优先级，对前视视频采集设备对应的车道环境信息、后视视频采集设备对应的车道环境信息和侧视视频采集设备对应的车道环境信息进行融合处理，得到目标车道环境信息，从而弥补因车道线模糊、车辆遮挡、隔断等情况导致的前视视频采集设备对应的车道环境信息的不全面。若根据行驶位姿信息和目标车道环境信息，确定目标车辆发生车道偏离，计算目标车辆保持车道中线行驶的转向角度，进而根据转向角度，控制目标车辆执行偏离回正，以使目标车辆保持车道中线行驶。该方案可以通过周视多目视频采集设备识别和融合得到目标车道环境信息，解决了只通过一个前视视频采集设备识别前方的车道环境信息引起的车道线缺失情况，提高车道识别精度，进而提升车道保持的效果，提高了驾驶的安全性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种车道保持方法的流程图；
图2为本申请实施例提供的一种视频采集设备的安装位置示例图；
图3为本申请实施例提供的一种识别模型的结构图；
图4为本申请实施例提供的一种目标车道环境信息的确定方法的流程图；
图5为本申请实施例提供的一种对目标车道线信息和目标路沿信息的融合方式的整体流程示例图；
图6为本申请实施例提供的一种目标车道环境信息的确定方法的流程图；
图7为本申请实施例提供的一种车道保持装置的结构图。
具体实施方式
下面结合附图，对本申请的实施例进行描述。
当前车道保持方法中要求前视摄像头必须识别到本车道两侧的车道线，一旦出现车道线模糊、车辆遮挡、隔断等情况引起的车道线缺失，将会使得系统处于待命状态，可能导致汽车脱离行驶车道，造成重大的安全隐患。
为此，本申请提供了一种车道保持方法，该方法在目标车辆上安装多个视频采集设备，多个视频采集设备包括前视视频采集设备、后视视频采集设备和侧视视频采集设备，以覆盖目标车辆的周身道路环境。通过周视多目视频采集设备识别和融合得到目标车道环境信息，解决了只通过一个前视视频采集设备识别前方的车道环境信息引起的车道线缺失情况，提高车道识别精度，进而提升车道保持的效果，提高了驾驶的安全性。
接下来，将结合附图对本申请实施例提供的车道保持方法进行介绍。参见图1，所述方法包括：
S101、获取所述多个视频采集设备采集的所述目标车辆周身的路面数据，以及获取所述目标车辆的行驶位姿信息。
在本申请实施例中，首先在目标车辆上安装多个视频采集设备，多个视频采集设备包括前视视频采集设备、后视视频采集设备和侧视视频采集设备，视野覆盖目标车辆四周。多个视频采集设备以目标车辆的车体坐标系为目标坐标系进行统一标定。
其中，视频采集设备可以是摄像机。前视视频采集设备是指安装在目标车辆的前方(例如目标车辆正前方)的视频采集设备，后视视频采集设备是指安装在目标车辆的后方(例如目标车辆的后方中心)的视频采集设备，侧视视频采集设备是指安装在目标车辆两侧(例如左侧后视镜下方、右侧后视镜下方)的视频采集设备。本申请实施例对前视视频采集设备的数量、后视视频采集设备的数量和侧视视频采集设备的数量不做限定，本申请实施例主要以包括一个前视视频采集设备、一个后视视频采集设备和两个侧视视频采集设备(包括目标车辆左侧的视频采集设备和右侧的视频采集设备)为例进行介绍。
参见图2所示，图2示出了一种视频采集设备的安装位置示例图。目标车辆周身安装4个摄像机(视频采集设备)，包括支架，设置点分别位于目标车辆的正前方G1点、左侧后视镜下方G2点、右侧后视镜下方G3点以及车辆后方中心G4点。G1点安装为前视70度视场角摄像机，探测距离大于10米；G2点和G3点安装为前视180度视场角鱼眼摄像机，探测距离大于7米；G4点安装为120度视场角摄像机，探测距离大于30米。需要说明的是，上述各个设置点安装的摄像机类型和探测距离仅是一种示例，本申请实施例对此不做限定，主要以覆盖更为全面的目标车辆周身道路环境为目的对摄像机进行选择。
然后对多个视频采集设备以目标车辆的车体坐标系为目标坐标系进行统一标定，车体坐标系的原点为目标车辆的前轴中心点，目标车辆的前进方向为规定的纵向的正方向，目标车辆的左侧为规定的横向的正方向。
在完成多个视频采集设备的安装和统一标定后，可以开启视频采集设备，进行路面数据采集，从而获取多个视频采集设备采集的所述目标车辆周身的路面数据，本实施例中采集的路面数据的分辨率为宽1280像素和高720像素。
目标车辆在行驶过程中，可以通过车辆状态监测单元获取目标车辆的行驶位姿信息，行驶位姿信息可以包括目标车辆的速度、转向系统状态、转向灯状态、车辆胎压以及通过其他传感器获取的车辆航向角信息等。需要说明的是，本申请实施例对获取目标车辆的行驶位姿信息的执行顺序不做限定，只要保证获取目标车辆的行驶位姿信息在S104之前执行即可，例如获取目标车辆的行驶位姿信息可以在S103之后且在S104之前执行。
S102、分别根据所述多个视频采集设备中每个视频采集设备采集的路面数据进行识别，生成所述多个视频采集设备分别对应的车道环境信息。
在本申请实施例总，可以通过预先训练好的识别模型，根据多个视频采集设备中每个视频采集设备采集的路面数据进行识别，生成多个视频采集设备分别对应的车道环境信息。该识别模型可以是深度学习模型，采用深度学习方法进行训练得到。
该识别模型的训练过程将分为数据采集、数据清洗和预处理、数据标注、模型构建和训练、模型测试以及平台的模型推理转换。
数据采集：是根据安装的多个视频采集设备采集的历史路面数据，需要采集的环境包括高速路、普通城市道路、匝道、以及雨天、阴影、逆光等，整体要求每段环境可以处理的数据比较均衡。
数据清洗：是对采集的路面数据根据需求任务进行缺失处理、异常处理和一致性处理，最终将路面数据转换成需要标注的图片进行管理。
数据标注：是将图片按模型处理的要求标注对应的内容(例如标签)，本申请实施例中需要标注的内容有车道线和路沿。
模型构建、训练和模型测试：构建的识别模型可以选用U-Net基础网络，使用开源的MMCV库，参见图3所示，该识别模型可以包括主干网络(Backbone)、特征处理层(可以用Neck表示)和预测层(可以用Head表示)，其中主干网络使用的是XceptionV4网络，Neck使用的是XceptionV4Neck网络，预测层包括车道线预测和路沿预测，输出为车道线实例图和路沿实例图。基于搭建好的识别模型，导入训练样本，对识别模型的参数进行修正，最终得到识别模型。训练好的识别模型进行耗时和精度测试，其中精度测试需要统计出像素值分类准确率ACC、每个类别的准确率平均值MPA以及整体的准确率AP。
运行平台模型转换：对于生成的识别模型，需要根据平台运行的图形处理器(Graphics Processing Unit，GPU)不同，转换成对应的模型类型。若在RTX3090的GPU下，使用PyTorch训练，需要运行的平台是英伟达TX2，此时需要转换成TensorRt版本运行。
在一种可能的实现方式中，由于安装的视频采集设备的类型不同，获取的路面数据也会有很大的不同，进而导致在进行识别时所依据的路面数据对应的图像会有很大不同。在这种情况下，为了提高生成的车道环境信息的准确性，可以针对不同类型的视频采集设备采集的路面数据，使用不同的识别模型进行识别。通常情况下，前视视频采集设备的类型和后视视频采集设备的类型相同，侧视视频采集设备的类型可能与前视视频采集设备的类型不同，故可以通过第一识别模型，根据前视视频采集设备采集的路面数据进行识别，生成前视视频采集设备对应的车道环境信息；通过第一识别模型，根据后视视频采集设备采集的路面数据进行识别，生成后视视频采集设备对应的车道环境信息；通过第二识别模型，根据侧视视频采集设备采集的路面数据进行识别，生成侧视视频采集设备对应的车道环境信息。
例如图2中G1点安装的前视FC60摄像机和G4点安装的RC120摄像机所采集的路面数据所对应的图像比较一致，适合前后视FRC模型(第一识别模型)；G2点安装的F180鱼眼摄像机和G3点安装的R180鱼眼摄像机所采集的路面数据所对应的图像比较一致，适合侧视BSD模型(第二识别模型)。
S103、若所述多个视频采集设备中所述前视视频采集设备对应的车道环境信息不满足车道保持条件，按照所述后视视频采集设备和所述侧视视频采集设备的优先级，对所述前视视频采集设备对应的车道环境信息、所述后视视频采集设备对应的车道环境信息和所述侧视视频采集设备对应的车道环境信息进行融合处理，得到目标车道环境信息。
S103的具体实现方式可以参见图4所示，在得到每个视频采集设备对应的车道环境信息(参见图4中S401所示)后，可以根据前视视频采集设备对应的车道环境信息判断是否需要进行融合处理(即前视视频采集设备对应的车道环境信息是否满足车道保持条件，参见图4中S402所示)。一般情况下，根据车道保持的车道信息需求，变道过程中最多需要3根车道线信息(即车道保持条件)，如果前视视频采集设备对应的车道环境信息已经满足车道保持条件，则无需进行后续的融合处理。如果前视视频采集设备对应的车道环境信息不满足车道保持条件，则可以按照后视视频采集设备和侧视视频采集设备的优先级，对前视视频采集设备对应的车道环境信息、后视视频采集设备对应的车道环境信息和侧视视频采集设备对应的车道环境信息进行融合处理，得到目标车道环境信息。
若后视视频采集设备的优先级高于侧视视频采集设备的优先级，则可以将前视视频采集设备对应的车道环境信息与后视视频采集设备对应的车道环境信息进行融合，得到第一车道环境信息(参见图4中S403所示)；判断第一车道环境信息是否满足车道保持条件(参见图4中S404所示)，若第一车道环境信息不满足车道保持条件，将前视视频采集设备对应的车道环境信息与侧视视频采集设备对应的车道环境信息进行融合，得到第二车道环境信息(参见图4中S405所示)，第二车道环境信息作为所述目标车道环境信息(参见图4中S406所示)。若第一车道环境信息满足车道保持条件，将第一车道环境信息作为目标车道环境信息(参见图4中S406所示)。其中，由于侧视视频采集设备对应的车道环境信息一般包括左侧的视频采集设备和右侧的视频采集设备分别对应的车道环境信息，故可以先对侧视视频采集设备对应的车道环境信息进行融合处理。
由于本申请实施例是以前视视频采集设备对应的车道环境信息，后视视频采集设备对应的车道环境信息和侧视视频采集设备对应的车道环境信息作为辅助，故在得到目标车道环境信息后，可以将目标车道环境信息更新到前视视频采集设备对应的存储位置中，作为更新后的前视视频采集设备对应的车道环境信息。
通过对多个视频采集设备的车道环境信息进行融合处理，即使在某些前视视频采集设备观察不到任何车道环境信息的情况下，也可以从其他视频采集设备可以获取到准确车道环境信息，从而提高车道环境信息的识别精度。
需要说明的是，在本申请实施例中可以通过感知系统计算单元设备执行S101-S103，以多个视频采集设备包括一个前视视频采集设备、一个后视视频采集设备和两个侧视视频采集设备(包括目标车辆左侧的视频采集设备和右侧的视频采集设备)为了，感知系统计算单元设备同时获取4路视频采集设备的实时路面数据，使用深度学习方法生成多个视频采集设备分别对应的车道环境信息，并进行融合处理后输出稳定的目标车道环境信息。
其中感知系统计算单元设备提供计算设备为英伟达TX2系列平台，支持GPU处理，支持控制器局域网络(Controller Area Network，CAN)输入，支持6路视频采集设备接入。
S104、若根据所述行驶位姿信息和所述目标车道环境信息，确定所述目标车辆发生车道偏离，计算所述目标车辆保持车道中线行驶的转向角度。
其中，S104可以通过车道偏离计算单元执行。车道偏离计算单元连接感知系统计算单元设备、车辆状态监测单元，接收目标车道环境信息和行驶位姿信息，并根据行驶位姿信息和目标车道环境信息判断目标车辆是否发生车道偏离，并计算目标车辆保持车道中线行驶的转向角度。需要注意的是，本申请实施例中，限制车道的曲率半径大于60米。
S105、根据所述转向角度，控制所述目标车辆执行偏离回正，以使所述目标车辆保持车道中线行驶。
其中，S105可以通过车道保持控制单元执行。车道保持控制单元连接车道偏离计算单元和车辆转向执行单元(Electric Power Steering，EPS)，接收转向角度，根据转向角度控制目标车辆执行偏离回正，以使车辆转向执行单元根据转向角度对目标车辆进行横向偏离回正及纵向安全距离保持。
在一种可能的实现方式中，不同的驾驶员可能有不同的驾驶风格，有的驾驶员的驾驶风格可能是缓慢型，有的驾驶员的驾驶风格可能是平稳型，有的驾驶员的驾驶风格可能是激进型等，故可以根据不同驾驶风格控制目标车辆执行偏离回正。在这种情况下，可以获取目标车辆的驾驶员的驾驶行为信息，进而根据转向角度和驾驶行为信息，控制目标车辆执行偏离回正。
其中，驾驶行为信息可以是由驾驶行为记录单元进行记录，驾驶行为信息可以包括平均车速、怠速、加速度、急加速、急减速、急转弯、变速频率、超速(>120公里/小时)等，并通过驾驶行为信息得到驾驶员的驾驶风格，如缓慢型、平稳型、激进型等。
安装在目标车辆的驾驶行为记录单元可以使用一台独立的主机设备，或使用感知系统计算单元设备，需要支持CAN的输入输出。
在一种可能的实现方式中，根据转向角度和驾驶行为信息，控制目标车辆执行偏离回正的方式可以是根据驾驶行为信息确定调和转向参数β，根据调和转向参数生成辅助控制指令，根据转向角度和辅助控制指令，控制目标车辆执行偏离回正。
需要说明的是，辅助控制指令充分考虑到驾驶员的舒适性，在无安全风险条件下，通过辅助控制指令得到适配驾驶员驾驶风格的加速度，控制目标车辆转动对应的转向角度，从而将目标车辆拉回车道中线。
根据转向角度和辅助控制指令，控制目标车辆执行偏离回正可以体现在加速度的变化上，设当前加速度为a,调和加速度为α,则当前速度v＝v0+(a+α)*t(vmin≤v≤vmax)，其中v0，vmin，vmax分别为初始车辆速度、道路允许的最大速度和最小速度；通过调和加速度进行调整，得到适配驾驶员驾驶风格的加速度。其中，若驾驶风格为激进型，调和加速度一般为正，驾驶风格为缓慢型，调和加速度一般为负，具体数值还需要根据安全风险情况进行评估。
车辆转向执行单元连接所述车道保持控制单元，用于根据转向角度和辅助控制指令对目标车辆进行横向偏离回正及纵向安全距离保持。需要说明的是，车辆转向执行单元属于目标车辆的核心单元，不同厂家的执行方式有所不同，需要进行适配。
本申请实施例结合驾驶员的驾驶风格对目标车辆进行控制实现车道保持，提高了在车道偏离进行调整时驾驶员的舒适性。
由上述技术方案可以看出，本申请在目标车辆上安装多个视频采集设备，多个视频采集设备包括前视视频采集设备、后视视频采集设备和侧视视频采集设备，以覆盖目标车辆的周身道路环境。多个视频采集设备以目标车辆的车体坐标系为目标坐标系进行统一标定。这样便可以实时获取多个视频采集设备采集的目标车辆周身的路面数据，以及获取目标车辆的行驶位姿信息。分别根据多个视频采集设备中每个视频采集设备采集的路面数据进行识别，生成多个视频采集设备分别对应的车道环境信息。若多个视频采集设备中前视视频采集设备对应的车道环境信息不满足车道保持条件，即前视视频采集设备难以识别到本车道两侧的车道线，则可以按照后视视频采集设备和侧视视频采集设备的优先级，对前视视频采集设备对应的车道环境信息、后视视频采集设备对应的车道环境信息和侧视视频采集设备对应的车道环境信息进行融合处理，得到目标车道环境信息，从而弥补因车道线模糊、车辆遮挡、隔断等情况导致的前视视频采集设备对应的车道环境信息的不全面。若根据行驶位姿信息和目标车道环境信息，确定目标车辆发生车道偏离，计算目标车辆保持车道中线行驶的转向角度，进而根据转向角度，控制目标车辆执行偏离回正，以使目标车辆保持车道中线行驶。该方案可以通过周视多目视频采集设备识别和融合得到目标车道环境信息，解决了只通过一个前视视频采集设备识别前方的车道环境信息引起的车道线缺失情况，提高车道识别精度，进而提升车道保持的效果，提高了驾驶的安全性。
下面对S102的具体实现方式进行详细介绍。在一些情况下，车道可能由车道线和路沿标识，或者用于标识一条车道的车道线可能会出现由于车道线模糊、车辆遮挡、隔断等情况引起的车道线缺失，而该车道线可能通过路沿来代替。在这种情况下，S102的实现方式可以是分别根据多个视频采集设备中每个视频采集设备采集的路面数据进行车道线识别和路沿识别；根据车道线识别结果和路沿识别结果，得到每个视频采集设备采集的路面数据中包括的目标车道线信息和目标路沿信息；对每个视频采集设备采集的路面数据中包括的目标车道线信息和目标路沿信息进行融合，生成多个视频采集设备分别对应的车道环境信息。其中，车道线识别结果可以是车道线实例图，路沿识别结果可以是路沿实例图。
在本申请实施例中，对每个视频采集设备采集的路面数据中包括的目标车道线信息和目标路沿信息进行融合的方式类似，此处将每个视频采集设备分别作为目标视频采集设备，以对目标视频采集设备采集的路面数据中包括的目标车道线信息和目标路沿信息进行融合，生成目标视频采集设备对应的车道环境信息为例，对目标车道线信息和目标路沿信息的融合方式进行介绍。
具体的，可以根据目标视频采集设备采集的路面数据中包括的目标车道线信息和目标路沿信息，将车道线的位置与路沿的位置进行对比，得到位置偏移量；根据位置偏移量与偏离阈值之间的大小关系，在目标位置保留目标车道线信息或目标路沿信息；根据保留的目标车道线信息或目标路沿信息，得到目标视频采集设备对应的车道环境信息。
将每条车道线的位置和路沿的位置进行对比，如果相隔很近，则匹配成功，进入线选择；如果相隔很远，则匹配失败，进入规则约束。本申请实施例中位置的对比方法同样采用线上关键点的方式进行计算，以偏离阈值是1.5米为例。
线选择是匹配成功后选择一个车道线或路沿的过程。通常情况下车道线和路沿都不在一个位置，原则上不将二者进行合并。判断选择的依据主要是评测生成的参数的可信度，包括线的质量、线的长度和跟踪的ID。本申请实施例中同等情况下选择车道线的概率比路沿的要大。
如果没有匹配成功，则该位置留下的不管是目标车道线信息或姆博阿路沿信息，都将进行同样的规则约束。包括线长度限制、偏离车体坐标系原点限制以及曲线的曲率半径等。本申请实施例中线长度限制大于1.2米，偏离车体坐标系原点限制在5米内、曲线的曲率半径不小于60米。
对输出的参数进行更新，针对目标视频采集设备只输出一组车道环境信息。具体步骤为如果保留的是目标车道线信息，则保留下来；如果保留的是目标路沿信息，则需要将目标路沿信息更新到该位置的车道位置，并更新车道信息。更新后的所有车道信息都将进行一次宽度合理性判断，如果不满足宽度要求，则融合失败，返回该位置原有信息。
在一种可能的实现方式中，根据车道线识别结果和路沿识别结果，得到每个视频采集设备采集的路面数据中包括的车道线信息和路沿信息的方式可以是对车道线识别结果进行车道线后处理，得到满足车道线条件的车道线信息；对路沿识别结果进行路沿后处理，得到满足路沿条件的路沿信息；将每个视频采集设备采集的路面数据中满足车道线条件的车道线信息作为目标车道线信息，将每个视频采集设备采集的路面数据中满足路沿条件的路沿信息作为目标路沿信息。进而将目标车道线信息和目标路沿信息进行融合，生成目标视频采集设备对应的车道环境信息。
上述介绍的对目标车道线信息和目标路沿信息的融合方式的整体流程可以参见图5所示。其中，前视视频采集设备(例如图5中的视频采集设备1)采集的路面数据和后视视频采集设备(例如图5中的视频采集设备4)采集的路面数据可以通过第一识别模型识别；侧视视频采集设备(例如图5中的视频采集设备2和3)采集的路面数据可以通过第二识别模型识别。每个视频采集设备采集的路面数据经过对应的识别模型后输出车道线识别结果和路沿识别结果，对车道线识别结果和路沿识别结果进行后处理(例如图5中S501所示)，该后处理包括车道线后处理和路沿后处理，进而得到每个视频采集设备对应的目标车道线信息和目标路沿信息。然后进行融合处理(例如图5中S502所示)，该融合处理包括：针对每个视频采集设备对应的目标车道线信息和目标路沿信息进行融合，得到视频采集设备对应的车道环境信息，并将多个视频采集设备分别对应的车道环境信息进行融合，得到目标车道环境信息。
其中，车道线后处理包括过滤噪点、曲线拟合、匹配跟踪和道路规则过滤，对车道线识别结果进行车道线后处理，得到满足车道线条件的车道线信息的方式可以是根据车道线识别结果得到每条车道线的待定分割点；对待定分割点进行过滤噪点，得到拟合点；根据拟合点进行曲线拟合，并对拟合后的曲线进行验证，滤除不在可信车道范围内的车道线；对保留下的车道线进行匹配跟踪，保留匹配成功的车道线；对匹配成功的车道线进行道路规则过滤，剔除误检车道线，得到满足车道线条件的车道线信息。
经过识别模型的预测后，得到车道线实例图，同时获取目标视频采集设备的标定参数，再经过滤噪点、曲线拟合、匹配跟踪、道路规则过滤后输出满足车道线条件的车道线信息，参见图6所示。
对车道线实例图进行标签提取，得到每条车道线的待定分割点，通过行列采样稀疏分割点，然后通过距离网格图，进行滑动窗口操作过滤噪点，得到拟合点。其中行列采样值分别为行3，列3，即在3*3网格中只取一个分割点，从而在不影响拟合效果情况下，节省后续的处理耗时；距离网格图，是按标定参数将分割点变换到车体坐标系后，按0.1米*0.1米划分网格。
对拟合点进行曲线拟合例如进行三次曲线方程拟合，其方法采用带Ransac的最小二乘法。对拟合后的曲线进行验证，若不在可信车道范围内，则滤除此车道线。其中，本申请实施例中的可信车道范围为-20米到20米。
对保留下的车道线进行匹配跟踪。具体操作为取拟合后的曲线的关键点，对比当前帧与历史帧中关键点的偏移量，如果满足阈值且偏移量最小，则匹配成功，反之没有满足的阈值则匹配失败；不管是否匹配成功，都需要进行状态跟踪和预测，拟合后的曲线的参数预测使用扩展卡尔曼滤波。其中，本申请实施例中提取的关键点按纵向0米到60米间隔取5米一个关键点，60米到100米间隔取10米一个关键点；偏离满足的阈值为一个车道的0.5倍左右，即1.5米；需要更新的状态包括线的生命周期、丢失帧数和连续检测帧数。
对跟踪保留的车道线(即匹配成功的车道线)进行道路规则过滤，剔除误检车道线。其中主要道路规则有车道线角度限制、车道宽度限制、车道线长度限制以及车道线平行关系等。其中，本申请实施例中车道线角度以目标车辆与车道线平行为90度，则车道线角度限制在60度到120度；车道宽度限制在2米到5.5米；车道线长度限制为大于1.2米。
将经过道路规则过滤的车道线进行提取，只保留当前车道线以及压线的车道线，进行输出，得到最终满足车道线条件的车道线信息。
需要说明的是，路沿后处理也包括过滤噪点、曲线拟合、匹配跟踪和道路规则过滤(参见图6所示)，对路沿识别结果进行路沿后处理，得到满足路沿条件的路沿信息的方式与对车道线识别结果进行车道线后处理，得到满足车道线条件的车道线信息的方式类似，此处不再详细赘述。
基于前述实施例提供的车道保持方法，本申请实施例还提供了一种车道保持装置。目标车辆上安装多个视频采集设备，所述多个视频采集设备包括前视视频采集设备、后视视频采集设备和侧视视频采集设备，所述多个视频采集设备以所述目标车辆的车体坐标系为目标坐标系进行统一标定，参见图7所示，所述装置包括：
获取单元701，用于获取所述多个视频采集设备采集的所述目标车辆周身的路面数据，以及获取所述目标车辆的行驶位姿信息；
生成单元702，用于分别根据所述多个视频采集设备中每个视频采集设备采集的路面数据进行识别，生成所述多个视频采集设备分别对应的车道环境信息；
确定单元703，用于若所述多个视频采集设备中所述前视视频采集设备对应的车道环境信息不满足车道保持条件，按照所述后视视频采集设备和所述侧视视频采集设备的优先级，对所述前视视频采集设备对应的车道环境信息、所述后视视频采集设备对应的车道环境信息和所述侧视视频采集设备对应的车道环境信息进行融合处理，得到目标车道环境信息；
所述确定单元703，还用于若根据所述行驶位姿信息和所述目标车道环境信息，确定所述目标车辆发生车道偏离，计算所述目标车辆保持车道中线行驶的转向角度；
控制单元704，用于根据所述转向角度，控制所述目标车辆执行偏离回正，以使所述目标车辆保持车道中线行驶。
可选的，所述后视视频采集设备的优先级高于所述侧视视频采集设备的优先级，所述确定单元，具体用于：
将所述前视视频采集设备对应的车道环境信息与所述后视视频采集设备对应的车道环境信息进行融合，得到第一车道环境信息；
若所述第一车道环境信息不满足所述车道保持条件，将所述前视视频采集设备对应的车道环境信息与所述侧视视频采集设备对应的车道环境信息进行融合，得到第二车道环境信息，所述第二车道环境信息作为所述目标车道环境信息；
若所述第一车道环境信息满足所述车道保持条件，将所述第一车道环境信息作为所述目标车道环境信息。
可选的，所述生成单元，用于：
分别根据所述多个视频采集设备中每个视频采集设备采集的路面数据进行车道线识别和路沿识别；
根据车道线识别结果和路沿识别结果，得到所述每个视频采集设备采集的路面数据中包括的目标车道线信息和目标路沿信息；
对所述每个视频采集设备采集的路面数据中包括的目标车道线信息和目标路沿信息进行融合，生成所述多个视频采集设备分别对应的车道环境信息。
可选的，将所述每个视频采集设备分别作为目标视频采集设备，所述生成单元，具体用于：
根据所述目标视频采集设备采集的路面数据中包括的目标车道线信息和目标路沿信息，将车道线的位置与路沿的位置进行对比，得到位置偏移量；
根据所述位置偏移量与偏离阈值之间的大小关系，在目标位置保留目标车道线信息或目标路沿信息；
根据保留的目标车道线信息或目标路沿信息，得到所述目标视频采集设备对应的车道环境信息。
可选的，所述生成单元，具体用于：
对所述车道线识别结果进行车道线后处理，得到满足车道线条件的车道线信息；
对所述路沿识别结果进行路沿后处理，得到满足路沿条件的路沿信息；
将每个视频采集设备采集的路面数据中满足车道线条件的车道线信息作为所述目标车道线信息，将每个视频采集设备采集的路面数据中满足路沿条件的路沿信息作为所述目标路沿信息。
可选的，所述车道线后处理包括过滤噪点、曲线拟合、匹配跟踪和道路规则过滤，所述生成单元，具体用于：
根据所述车道线识别结果得到每条车道线的待定分割点；
对所述待定分割点进行过滤噪点，得到拟合点；
根据拟合点进行曲线拟合，并对拟合后的曲线进行验证，滤除不在可信车道范围内的车道线；
对保留下的车道线进行匹配跟踪，保留匹配成功的车道线；
对匹配成功的车道线进行道路规则过滤，剔除误检车道线，得到所述满足车道线条件的车道线信息。
可选的，所述获取单元，还用于：
获取所述目标车辆的驾驶员的驾驶行为信息；
所述控制单元，具体用于：
根据所述转向角度和所述驾驶行为信息，控制所述目标车辆执行偏离回正。
可选的，所述控制单元，具体用于：
根据所述驾驶行为信息确定调和转向参数；
根据所述调和转向参数生成辅助控制指令；根据所述转向角度和所述辅助控制指令，控制所述目标车辆执行偏离回正。
可选的，所述生成单元，具体用于：
通过第一识别模型，根据所述前视视频采集设备采集的路面数据进行识别，生成所述前视视频采集设备对应的车道环境信息；
通过所述第一识别模型，根据所述后视视频采集设备采集的路面数据进行识别，生成所述后视视频采集设备对应的车道环境信息；
通过第二识别模型，根据所述侧视视频采集设备采集的路面数据进行识别，生成所述侧视视频采集设备对应的车道环境信息。
由上述技术方案可以看出，本申请在目标车辆上安装多个视频采集设备，多个视频采集设备包括前视视频采集设备、后视视频采集设备和侧视视频采集设备，以覆盖目标车辆的周身道路环境。多个视频采集设备以目标车辆的车体坐标系为目标坐标系进行统一标定。这样便可以实时获取多个视频采集设备采集的目标车辆周身的路面数据，以及获取目标车辆的行驶位姿信息。分别根据多个视频采集设备中每个视频采集设备采集的路面数据进行识别，生成多个视频采集设备分别对应的车道环境信息。若多个视频采集设备中前视视频采集设备对应的车道环境信息不满足车道保持条件，即前视视频采集设备难以识别到本车道两侧的车道线，则可以按照后视视频采集设备和侧视视频采集设备的优先级，对前视视频采集设备对应的车道环境信息、后视视频采集设备对应的车道环境信息和侧视视频采集设备对应的车道环境信息进行融合处理，得到目标车道环境信息，从而弥补因车道线模糊、车辆遮挡、隔断等情况导致的前视视频采集设备对应的车道环境信息的不全面。若根据行驶位姿信息和目标车道环境信息，确定目标车辆发生车道偏离，计算目标车辆保持车道中线行驶的转向角度，进而根据转向角度，控制目标车辆执行偏离回正，以使目标车辆保持车道中线行驶。该方案可以通过周视多目视频采集设备识别和融合得到目标车道环境信息，解决了只通过一个前视视频采集设备识别前方的车道环境信息引起的车道线缺失情况，提高车道识别精度，进而提升车道保持的效果，提高了驾驶的安全性。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质可以是下述介质中的至少一种：只读存储器(英文：read-only memory，缩写：ROM)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。
Claims (10)
1.一种车道保持方法，其特征在于，目标车辆上安装多个视频采集设备，所述多个视频采集设备包括前视视频采集设备、后视视频采集设备和侧视视频采集设备，所述多个视频采集设备以所述目标车辆的车体坐标系为目标坐标系进行统一标定，所述方法包括：
获取所述多个视频采集设备采集的所述目标车辆周身的路面数据，以及获取所述目标车辆的行驶位姿信息；
分别根据所述多个视频采集设备中每个视频采集设备采集的路面数据进行识别，生成所述多个视频采集设备分别对应的车道环境信息；
若所述多个视频采集设备中所述前视视频采集设备对应的车道环境信息不满足车道保持条件，按照所述后视视频采集设备和所述侧视视频采集设备的优先级，对所述前视视频采集设备对应的车道环境信息、所述后视视频采集设备对应的车道环境信息和所述侧视视频采集设备对应的车道环境信息进行融合处理，得到目标车道环境信息；
若根据所述行驶位姿信息和所述目标车道环境信息，确定所述目标车辆发生车道偏离，计算所述目标车辆保持车道中线行驶的转向角度；
根据所述转向角度，控制所述目标车辆执行偏离回正，以使所述目标车辆保持车道中线行驶。
2.根据权利要求1所述的方法，其特征在于，所述后视视频采集设备的优先级高于所述侧视视频采集设备的优先级，所述按照所述后视视频采集设备和所述侧视视频采集设备的优先级，对所述前视视频采集设备对应的车道环境信息、所述后视视频采集设备对应的车道环境信息和所述侧视视频采集设备对应的车道环境信息进行融合处理，得到目标车道环境信息，包括：
将所述前视视频采集设备对应的车道环境信息与所述后视视频采集设备对应的车道环境信息进行融合，得到第一车道环境信息；
若所述第一车道环境信息不满足所述车道保持条件，将所述前视视频采集设备对应的车道环境信息与所述侧视视频采集设备对应的车道环境信息进行融合，得到第二车道环境信息，所述第二车道环境信息作为所述目标车道环境信息；
若所述第一车道环境信息满足所述车道保持条件，将所述第一车道环境信息作为所述目标车道环境信息。
3.根据权利要求1所述的方法，其特征在于，所述分别根据所述多个视频采集设备中每个视频采集设备采集的路面数据进行识别，生成所述多个视频采集设备分别对应的车道环境信息，包括：
分别根据所述多个视频采集设备中每个视频采集设备采集的路面数据进行车道线识别和路沿识别；
根据车道线识别结果和路沿识别结果，得到所述每个视频采集设备采集的路面数据中包括的目标车道线信息和目标路沿信息；
对所述每个视频采集设备采集的路面数据中包括的目标车道线信息和目标路沿信息进行融合，生成所述多个视频采集设备分别对应的车道环境信息。
4.根据权利要求3所述的方法，其特征在于，将所述每个视频采集设备分别作为目标视频采集设备，对所述目标视频采集设备采集的路面数据中包括的目标车道线信息和目标路沿信息进行融合，生成所述目标视频采集设备对应的车道环境信息，包括：
根据所述目标视频采集设备采集的路面数据中包括的目标车道线信息和目标路沿信息，将车道线的位置与路沿的位置进行对比，得到位置偏移量；
根据所述位置偏移量与偏离阈值之间的大小关系，在目标位置保留目标车道线信息或目标路沿信息；
根据保留的目标车道线信息或目标路沿信息，得到所述目标视频采集设备对应的车道环境信息。
5.根据权利要求3所述的方法，其特征在于，所述根据车道线识别结果和路沿识别结果，得到所述每个视频采集设备采集的路面数据中包括的车道线信息和路沿信息，包括：
对所述车道线识别结果进行车道线后处理，得到满足车道线条件的车道线信息；
对所述路沿识别结果进行路沿后处理，得到满足路沿条件的路沿信息；
将每个视频采集设备采集的路面数据中满足车道线条件的车道线信息作为所述目标车道线信息，将每个视频采集设备采集的路面数据中满足路沿条件的路沿信息作为所述目标路沿信息。
6.根据权利要求4所述的方法，其特征在于，所述车道线后处理包括过滤噪点、曲线拟合、匹配跟踪和道路规则过滤，所述对所述车道线识别结果进行车道线后处理，得到满足车道线条件的车道线信息，包括：
根据所述车道线识别结果得到每条车道线的待定分割点；
对所述待定分割点进行过滤噪点，得到拟合点；
根据拟合点进行曲线拟合，并对拟合后的曲线进行验证，滤除不在可信车道范围内的车道线；
对保留下的车道线进行匹配跟踪，保留匹配成功的车道线；
对匹配成功的车道线进行道路规则过滤，剔除误检车道线，得到所述满足车道线条件的车道线信息。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述目标车辆的驾驶员的驾驶行为信息；
所述根据所述转向角度，控制所述目标车辆执行偏离回正，包括：
根据所述转向角度和所述驾驶行为信息，控制所述目标车辆执行偏离回正。
8.根据权利要求7所述的方法，其特征在于，所述根据所述转向角度和所述驾驶行为信息，控制所述目标车辆执行偏离回正，包括：
根据所述驾驶行为信息确定调和转向参数；
根据所述调和转向参数生成辅助控制指令；根据所述转向角度和所述辅助控制指令，控制所述目标车辆执行偏离回正。
9.根据权利要求1-8任一项所述的方法，其特征在于，所述分别根据所述多个视频采集设备中每个视频采集设备采集的路面数据进行识别，生成所述多个视频采集设备分别对应的车道环境信息，包括：
通过第一识别模型，根据所述前视视频采集设备采集的路面数据进行识别，生成所述前视视频采集设备对应的车道环境信息；
通过所述第一识别模型，根据所述后视视频采集设备采集的路面数据进行识别，生成所述后视视频采集设备对应的车道环境信息；
通过第二识别模型，根据所述侧视视频采集设备采集的路面数据进行识别，生成所述侧视视频采集设备对应的车道环境信息。
10.一种车道保持装置，其特征在于，目标车辆上安装多个视频采集设备，所述多个视频采集设备包括前视视频采集设备、后视视频采集设备和侧视视频采集设备，所述多个视频采集设备以所述目标车辆的车体坐标系为目标坐标系进行统一标定，所述装置包括：
获取单元，用于获取所述多个视频采集设备采集的所述目标车辆周身的路面数据，以及获取所述目标车辆的行驶位姿信息；
生成单元，用于分别根据所述多个视频采集设备中每个视频采集设备采集的路面数据进行识别，生成所述多个视频采集设备分别对应的车道环境信息；
确定单元，用于若所述多个视频采集设备中所述前视视频采集设备对应的车道环境信息不满足车道保持条件，按照所述后视视频采集设备和所述侧视视频采集设备的优先级，对所述前视视频采集设备对应的车道环境信息、所述后视视频采集设备对应的车道环境信息和所述侧视视频采集设备对应的车道环境信息进行融合处理，得到目标车道环境信息；
所述确定单元，还用于若根据所述行驶位姿信息和所述目标车道环境信息，确定所述目标车辆发生车道偏离，计算所述目标车辆保持车道中线行驶的转向角度；
控制单元，用于根据所述转向角度，控制所述目标车辆执行偏离回正，以使所述目标车辆保持车道中线行驶。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111462236.3A CN113942503B (zh) | 2021-12-02 | 2021-12-02 | 一种车道保持方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111462236.3A CN113942503B (zh) | 2021-12-02 | 2021-12-02 | 一种车道保持方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113942503A true CN113942503A (zh) | 2022-01-18 |
| CN113942503B CN113942503B (zh) | 2023-06-27 |
Family
ID=79339086
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111462236.3A Active CN113942503B (zh) | 2021-12-02 | 2021-12-02 | 一种车道保持方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113942503B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114510055A (zh) * | 2022-02-18 | 2022-05-17 | 科大国创合肥智能汽车科技有限公司 | 一种构建后方车道线的方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102398598A (zh) * | 2010-07-20 | 2012-04-04 | 通用汽车环球科技运作有限责任公司 | 使用前视和后视摄像机的车道融合系统 |
| CN102785661A (zh) * | 2012-08-20 | 2012-11-21 | 深圳先进技术研究院 | 车道偏离控制系统及方法 |
| JP2014109945A (ja) * | 2012-12-03 | 2014-06-12 | Fuji Heavy Ind Ltd | 車両の運転支援制御装置 |
| CN103991449A (zh) * | 2014-06-12 | 2014-08-20 | 北京联合大学 | 一种车辆行进控制方法及系统 |
| CN104085396A (zh) * | 2014-07-03 | 2014-10-08 | 上海纵目科技有限公司 | 一种全景车道偏离预警方法及系统 |
| CN112319469A (zh) * | 2020-11-16 | 2021-02-05 | 深圳市康士柏实业有限公司 | 一种基于机器视觉的车道保持辅助系统及方法 |
| CN112885074A (zh) * | 2019-11-30 | 2021-06-01 | 华为技术有限公司 | 道路信息检测方法以及装置 |
-
2021
- 2021-12-02 CN CN202111462236.3A patent/CN113942503B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102398598A (zh) * | 2010-07-20 | 2012-04-04 | 通用汽车环球科技运作有限责任公司 | 使用前视和后视摄像机的车道融合系统 |
| CN102785661A (zh) * | 2012-08-20 | 2012-11-21 | 深圳先进技术研究院 | 车道偏离控制系统及方法 |
| JP2014109945A (ja) * | 2012-12-03 | 2014-06-12 | Fuji Heavy Ind Ltd | 車両の運転支援制御装置 |
| CN103991449A (zh) * | 2014-06-12 | 2014-08-20 | 北京联合大学 | 一种车辆行进控制方法及系统 |
| CN104085396A (zh) * | 2014-07-03 | 2014-10-08 | 上海纵目科技有限公司 | 一种全景车道偏离预警方法及系统 |
| CN112885074A (zh) * | 2019-11-30 | 2021-06-01 | 华为技术有限公司 | 道路信息检测方法以及装置 |
| CN112319469A (zh) * | 2020-11-16 | 2021-02-05 | 深圳市康士柏实业有限公司 | 一种基于机器视觉的车道保持辅助系统及方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114510055A (zh) * | 2022-02-18 | 2022-05-17 | 科大国创合肥智能汽车科技有限公司 | 一种构建后方车道线的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113942503B (zh) | 2023-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11318928B2 (en) | Vehicular automated parking system | |
| US11402848B2 (en) | Collision-avoidance system for autonomous-capable vehicles | |
| CN109435942B (zh) | 一种基于信息融合的车位线车位识别方法及装置 | |
| US8699754B2 (en) | Clear path detection through road modeling | |
| EP3007099B1 (en) | Image recognition system for a vehicle and corresponding method | |
| US8452053B2 (en) | Pixel-based texture-rich clear path detection | |
| US8634593B2 (en) | Pixel-based texture-less clear path detection | |
| CN109334563B (zh) | 一种基于道路前方行人和骑行者的防碰撞预警方法 | |
| US8332134B2 (en) | Three-dimensional LIDAR-based clear path detection | |
| US8890951B2 (en) | Clear path detection with patch smoothing approach | |
| US8487991B2 (en) | Clear path detection using a vanishing point | |
| CN112349144B (zh) | 一种基于单目视觉的车辆碰撞预警方法及系统 | |
| CN110689761A (zh) | 一种自动泊车方法 | |
| CN111797657A (zh) | 车辆周边障碍检测方法、装置、存储介质及电子设备 | |
| CN110738081B (zh) | 异常路况检测方法及装置 | |
| CN111028534B (zh) | 一种泊车位检测方法及装置 | |
| CN114902070A (zh) | 传感器退化检测和修复 | |
| CN110991264A (zh) | 前方车辆检测方法和装置 | |
| CN115880658A (zh) | 一种夜间场景下汽车车道偏离预警方法及系统 | |
| CN113942503A (zh) | 一种车道保持方法和装置 | |
| US20240153106A1 (en) | Object tracking device | |
| CN112990117B (zh) | 基于智能驾驶系统的安装数据处理方法及装置 | |
| CN116057578A (zh) | 利用相机进行车辆环境建模 | |
| CN113327456A (zh) | 一种车道结构检测方法及装置 | |
| JP7348874B2 (ja) | 傾斜角検出装置及び制御装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |