CN113386773A - 视觉识别可靠度的判断方法及设备 - Google Patents
视觉识别可靠度的判断方法及设备 Download PDFInfo
- Publication number
- CN113386773A CN113386773A CN202110872000.0A CN202110872000A CN113386773A CN 113386773 A CN113386773 A CN 113386773A CN 202110872000 A CN202110872000 A CN 202110872000A CN 113386773 A CN113386773 A CN 113386773A
- Authority
- CN
- China
- Prior art keywords
- lane line
- historical
- contraction
- degree
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000008602 contraction Effects 0.000 claims description 81
- 238000009825 accumulation Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 2
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 230000004297 night vision Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000003673 groundwater Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/53—Road markings, e.g. lane marker or crosswalk
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Quality & Reliability (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种视觉识别可靠度的判断方法，所述方法包括：接收视觉识别的车道线参数；通过将历史车道线参数与所接收的车道线参数进行比较，计算车道线的历史收缩程度；以及基于所述历史收缩程度确定视觉识别是否存在误差。本发明还涉及一种视觉识别可靠度的判断设备、计算机存储介质、自主驾驶系统和车辆。
Description
技术领域
本发明涉及自主/辅助驾驶控制领域，更具体地，涉及一种视觉识别可靠度的判断方法及设备、计算机存储介质、自主驾驶系统和车辆。
背景技术
环境中很多因素会影响车辆视觉检测的正确性，其中主要涉及：突发强光照射；地面积水潮湿；地面存在未完全擦除的车道线等。这些因素会影响视觉检测到的车道线的质量，会导致本车在车道保持行驶中可能存在偏航，方向盘乱打等危险行为，引发安全问题。
发明内容
根据本发明的一方面，提供了一种视觉识别可靠度的判断方法，所述方法包括：接收视觉识别的车道线参数；通过将历史车道线参数与所接收的车道线参数进行比较，计算车道线的历史收缩程度；以及基于所述历史收缩程度确定视觉识别是否存在误差。
作为上述方案的补充或替换，在上述方法中，接收视觉识别的车道线参数包括：接收本帧视觉识别的左车道线以及右车道线。
作为上述方案的补充或替换，在上述方法中，通过将历史车道线参数与所接收的车道线参数进行比较，计算车道线的历史收缩程度包括：计算前后两帧车道线向内收缩值；判断所述向内收缩值是否达到第一阈值；以及在所述向内收缩值大于或等于所述第一阈值时，将所述向内收缩值累计到所述车道线的历史收缩程度。
作为上述方案的补充或替换，在上述方法中，通过将历史车道线参数与所接收的车道线参数进行比较，计算车道线的历史收缩程度还包括：在所述向内收缩值小于所述第一阈值时，将所述车道线的历史收缩程度清零。
作为上述方案的补充或替换，在上述方法中，所述第一阈值根据本帧左右车道线的起始端和末尾的横向距离差值来确定。
作为上述方案的补充或替换，在上述方法中，计算前后两帧车道线向内收缩值包括：将记录的上一帧车道线参数根据本车运动参数进行更新；将更新后的上一帧车道线与本帧所对应的车道线进行比较；以及计算车道线末端相对偏转趋势和幅度。
作为上述方案的补充或替换，在上述方法中，所述车道线末端相对偏转趋势和幅度为上一帧车道线与本帧所对应的车道线相比向内旋转的角度。
作为上述方案的补充或替换，在上述方法中，基于所述历史收缩程度确定视觉识别是否存在误差包括：将所述历史收缩程度与第二阈值进行比较；以及在所述历史收缩程度大于或等于所述第二阈值时，确定视觉识别存在误差。
作为上述方案的补充或替换，在上述方法中，基于所述历史收缩程度确定视觉识别是否存在误差还包括：在所述历史收缩程度小于所述第二阈值时，确定不存在视觉识别误差，并且记录所述历史收缩程度。
作为上述方案的补充或替换，上述方法还包括：在确定视觉识别存在误差时，输出标志位以提醒其他模块。
根据本发明的另一个方面，提供了一种视觉识别可靠度的判断设备，所述设备包括：接收装置，用于接收视觉识别的车道线参数；计算装置，用于通过将历史车道线参数与所接收的车道线参数进行比较，计算车道线的历史收缩程度；以及确定装置，用于基于所述历史收缩程度确定视觉识别是否存在误差。
作为上述方案的补充或替换，在上述设备中，所述接收装置配置成接收本帧视觉识别的左车道线以及右车道线。
作为上述方案的补充或替换，在上述设备中，所述计算装置包括：计算单元，用于计算前后两帧车道线向内收缩值；判断单元，用于判断所述向内收缩值是否达到第一阈值；以及累计单元，用于在所述向内收缩值大于或等于所述第一阈值时，将所述向内收缩值累计到所述车道线的历史收缩程度。
作为上述方案的补充或替换，在上述设备中，所述计算装置还包括：清零装置，用于在所述向内收缩值小于所述第一阈值时，将所述车道线的历史收缩程度清零。
作为上述方案的补充或替换，在上述设备中，所述第一阈值根据本帧左右车道线的起始端和末尾的横向距离差值来确定。
作为上述方案的补充或替换，在上述设备中，所述计算单元配置成：将记录的上一帧车道线参数根据本车运动参数进行更新；将更新后的上一帧车道线与本帧所对应的车道线进行比较；以及计算车道线末端相对偏转趋势和幅度。
作为上述方案的补充或替换，在上述设备中，所述车道线末端相对偏转趋势和幅度为上一帧车道线与本帧所对应的车道线相比向内旋转的角度。
作为上述方案的补充或替换，在上述设备中，所述确定装置配置成将所述历史收缩程度与第二阈值进行比较；以及在所述历史收缩程度大于或等于所述第二阈值时，确定视觉识别存在误差。
作为上述方案的补充或替换，在上述设备中，所述确定装置还配置成在所述历史收缩程度小于所述第二阈值时，确定不存在视觉识别误差，并且记录所述历史收缩程度。
作为上述方案的补充或替换，上述设备还包括：输出装置，用于在确定视觉识别存在误差时，输出标志位以提醒其他模块。
根据本发明的又一个方面，提供了一种计算机存储介质，所述介质包括指令，所述指令在运行时执行如前所述的方法。
根据本发明的又一个方面，提供了一种自主驾驶系统，所述系统包括如前所述的设备。
根据本发明的又一个方面，提供了一种车辆，所述车辆包括如前所述的自主驾驶系统。
本发明的实施例的视觉识别可靠度的判断方案通过将历史车道线参数与所接收的车道线参数进行比较（例如，对车道线前后多帧的变化状态作追踪）并计算车道线的历史收缩程度，从而对视觉识别车道线的可靠度作判断，以此来解决由于外在环境影响导致的视觉识别错误问题。
附图说明
从结合附图的以下详细说明中，将会使本发明的上述和其他目的及优点更加完整清楚，其中，相同或相似的要素采用相同的标号表示。
图1示出了根据本发明的一个实施例的视觉识别可靠度的判断方法的流程示意图；
图2示出了根据本发明的一个实施例的视觉识别可靠度的判断设备的结构示意图；以及
图3示出了根据本发明的一个实施例的车道线质量追踪流程图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。
另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
虽然将示例性实施例描述为使用多个单元来执行示例性过程，但是应理解，这些示例性过程也可由一个或多个模块来执行。
而且，本发明的控制逻辑可作为可执行程序指令而包含在计算机可读介质上，该可执行程序指令由处理器等实施。计算机可读介质的实例包括，但不限于，ROM、RAM、光盘、磁带、软盘、闪盘驱动器、智能卡和光学数据存储装置。计算机可读记录介质也可分布在连接有网络的计算机系统中，使得例如通过车载远程通信服务或者控制器局域网（CAN）以分布式方式储存并实施计算机可读介质。
除非具体地提到或者从上下文中显而易见，否则如这里使用的，将术语“大约”理解为在本领域中的正常公差的范围内，例如在平均值的2个标准差内。
应理解，这里所使用的术语“车辆”或者其他类似的术语包括一般的机动车辆，例如乘用车（包括运动型多用途车、公共汽车、卡车等）、各种商用车等等，并包括混合动力汽车、电动车等。混合动力汽车是一种具有两个或更多个功率源的车辆，例如汽油动力和电动车辆。
在下文中，将参考附图详细地描述根据本发明的各示例性实施例的视觉识别可靠度的判断方案。
图1示出了根据本发明的一个实施例的视觉识别可靠度的判断方法1000的流程示意图。如图1所示，视觉识别可靠度的判断方法1000包括如下步骤：
在步骤S110中，接收视觉识别的车道线参数；
在步骤S120中，通过将历史车道线参数与所接收的车道线参数进行比较，计算车道线的历史收缩程度；以及
在步骤S130中，基于所述历史收缩程度确定视觉识别是否存在误差。
在本发明的上下文中，“视觉识别的车道线参数”是指通过各种视觉传感器（例如摄像头、超声波雷达等）所识别的车道线信息。视觉识别，作为提供车道线信息的重要来源，常被用来构建道路模型。
术语“历史车道线参数”在一个实施例中指上一帧接收到的车道线参数。由于视觉识别的车道线是实时每帧更新的，因此通过比较上一帧接收到的车道线参数与本帧车道线参数之间的区别，可进而计算车道线的历史收缩程度。
“历史收缩程度”在本发明的上下文中是指本车在一段时间下通过视觉传感器识别到的车道线存在向内收缩的趋势或程度。在一个实施例中，该历史收缩程度等于多帧内向内收缩值（满足一定条件下）的累加。向内收缩值表示前后两帧间车道线相对（向内）偏转幅度。在一个或多个实施例中，向内收缩值通过前后两帧间车道线末端向内偏转的角度来表征。
环境因素对视觉识别的影响较大，且可能导致本车运动存在较大的风险。本申请的发明人通过大数据分析和场景总结，发现突发强光照射、地面积水潮湿、地面存在未完全擦除的车道线等场景下左右车道线均存在向内收缩趋势，因此可以通过追踪判断多帧内车道线是否存在向内收缩的特征（即历史收缩程度）来反映视觉识别受到外在环境的影响。若历史收缩程度达到一定阈值，则指示本帧视觉识别结果的置信度较低（视觉识别存在误差），则可在后续目标选择和引导中，设计较强的滤波处理来减少此帧不准确的车道线参数可能会造成的不利影响。
在一个实施例中，步骤S110包括：接收本帧视觉识别的左车道线以及右车道线。在一个实施例中，视觉识别的车道线是实时每帧更新的。由于视觉距离限制和实际场景比较复杂，如果通过滤波等方案对前后多帧识别到的车道线参数作滤波的话，会丢失大量实时的车道线变化信息，滤波得到的车道线参数已与实时检测到的车道线存在较大差异，因此会带来更大的风险。因此，需要每帧根据视觉识别车道线的参数作更新。考虑到直接采取最新参数信息而丢失历史信息会不利于处理视觉识别错误的场景，因而通过对车道线前后多帧的变化状态作追踪。
需要说明的是，尽管在本发明的上下文中，基于本帧视觉识别的左右车道线（即两条车道线）来作为追踪车道线的基础并进而衡量视觉识别的置信度。在一个实施例中，除了本帧视觉识别的左右车道线之外，还可以接收本帧相邻车道的车道线作为追踪车道线的基础，这样通过多条车道线之间的位置关系可进一步避免误报。
在一个实施例中，步骤S120包括：计算前后两帧车道线向内收缩值；判断所述向内收缩值是否达到第一阈值；以及在所述向内收缩值大于或等于所述第一阈值时，将所述向内收缩值累计到所述车道线的历史收缩程度。而在所述向内收缩值小于所述第一阈值时，将所述车道线的历史收缩程度清零。
在上述实施例中，第一阈值根据本帧左右车道线的起始端和末尾的横向距离差值来确定。例如，在本帧内，左右车道线的起始端的横向距离差值为d1，左右车道线的末尾的横向距离差值为d2，起始端到末尾的距离为s，则在一个实施例中，该阈值可以为
。当然，以上只是给出第一阈值的一个示例，本领域技术人员可以根据需要对该阈值进行调整。
在一个实施例中，计算前后两帧车道线向内收缩值包括：将记录的上一帧车道线参数根据本车运动参数进行更新；将更新后的上一帧车道线与本帧所对应的车道线进行比较；以及计算车道线末端相对偏转趋势和幅度。具体来说，上一帧的车道线可根据VPE（Vehicle Position Estimate，本车位置估计）来进行更新。例如，上一帧的车道线根据车辆在横/纵向上的转角偏差来进行适应性地更新。在对上一帧的车道线根据本车位移作更新后，可以将其与本帧对应的车道线进行比较，以便计算车道线末端相对偏转趋势和幅度。在一个实施例中，所述车道线末端相对偏转趋势和幅度为上一帧车道线与本帧所对应的车道线相比向内旋转的角度。
在一个实施例中，步骤S130包括：将所述历史收缩程度与第二阈值进行比较；以及在所述历史收缩程度大于或等于所述第二阈值时，确定视觉识别存在误差。在所述历史收缩程度小于所述第二阈值时，确定不存在视觉识别误差，并且记录所述历史收缩程度。
在该实施例中，第二阈值可根据统计判断来进行确定。在一个实施例中，第二阈值的设计和选择需要平衡正确率（true positive）和误报率（false positive）的比例。
尽管图1中未示出，在一个实施例中，上述方法1000还包括：在确定视觉识别存在误差时，输出标志位以提醒其他模块。
本发明的一个或多个实施例的视觉识别可靠度的判断方法通过对车道线前后多帧的变化状态作追踪，并且结合此帧本车道左右车道线的相对位置关系，对视觉识别车道线的可靠度作判断，以此来解决由于外在环境影响导致的视觉识别错误问题，避免误报。
另外，本领域技术人员容易理解，本发明的上述一个或多个实施例提供的视觉识别可靠度的判断方法可通过计算机程序来实现。例如，当存有该计算机程序的计算机存储介质（例如U盘）与计算机相连时，运行该计算机程序即可执行本发明的一个或多个实施例的视觉识别可靠度的判断方法。
参考图2，图2示出了根据本发明的一个实施例的视觉识别可靠度的判断设备2000的结构示意图。如图2所示，视觉识别可靠度的判断设备2000包括接收装置210、计算装置220以及确定装置230。其中，接收装置210用于接收视觉识别的车道线参数；计算装置220用于通过将历史车道线参数与所接收的车道线参数进行比较，计算车道线的历史收缩程度；以及确定装置230用于基于所述历史收缩程度确定视觉识别是否存在误差。
在本发明的上下文中，“视觉识别的车道线参数”是指通过各种视觉传感器（例如摄像头、超声波雷达等）所识别的车道线信息。视觉识别，作为提供车道线信息的重要来源，常被用来构建道路模型。
术语“历史车道线参数”在一个实施例中指上一帧接收到的车道线参数。由于视觉识别的车道线是实时每帧更新的，因此通过比较上一帧接收到的车道线参数与本帧车道线参数之间的区别，可进而计算车道线的历史收缩程度。
“历史收缩程度”在本发明的上下文中是指本车在一段时间下通过视觉传感器识别到的车道线存在向内收缩的趋势或程度。在一个实施例中，该历史收缩程度等于多帧内向内收缩值（满足一定条件下）的累加。向内收缩值表示前后两帧间车道线相对（向内）偏转幅度。在一个或多个实施例中，向内收缩值通过前后两帧间车道线末端向内偏转的角度来表征。
在一个实施例中，接收装置210配置成接收本帧视觉识别的左车道线以及右车道线。需要说明的是，尽管在本发明的上下文中，基于本帧视觉识别的左右车道线（即两条车道线）来作为追踪车道线的基础并进而衡量视觉识别的置信度。在一个实施例中，除了本帧视觉识别的左右车道线之外，接收装置210还配置成接收本帧相邻车道的车道线作为追踪车道线的基础，这样通过多条车道线之间的位置关系可进一步避免误报。
在一个实施例中，计算装置220包括：计算单元，用于计算前后两帧车道线向内收缩值；判断单元，用于判断所述向内收缩值是否达到第一阈值；以及累计单元，用于在所述向内收缩值大于或等于所述第一阈值时，将所述向内收缩值累计到所述车道线的历史收缩程度。在一个实施例中，计算装置220还包括：清零装置，用于在所述向内收缩值小于所述第一阈值时，将所述车道线的历史收缩程度清零。
在上述实施例中，第一阈值根据本帧左右车道线的起始端和末尾的横向距离差值来确定。例如，在本帧内，左右车道线的起始端的横向距离差值为d1，左右车道线的末尾的横向距离差值为d2，起始端到末尾的距离为s，则在一个实施例中，该阈值可以为
。当然，以上只是给出第一阈值的一个示例，本领域技术人员可以根据需要对该阈值进行调整。
在一个实施例中，计算单元配置成：将记录的上一帧车道线参数根据本车运动参数进行更新；将更新后的上一帧车道线与本帧所对应的车道线进行比较；以及计算车道线末端相对偏转趋势和幅度。具体来说，计算单元可配置成：将上一帧的车道线根据VPE（Vehicle Position Estimate，本车位置估计）来进行更新。例如，上一帧的车道线根据车辆在横/纵向上的转角偏差来进行适应性地更新。在对上一帧的车道线根据本车位移作更新后，计算单元可以将其与本帧对应的车道线进行比较，以便计算车道线末端相对偏转趋势和幅度。在一个实施例中，所述车道线末端相对偏转趋势和幅度为上一帧车道线与本帧所对应的车道线相比向内旋转的角度。
在一个实施例中，确定装置230配置成将所述历史收缩程度与第二阈值进行比较；以及在所述历史收缩程度大于或等于所述第二阈值时，确定视觉识别存在误差。在一个实施例中，确定装置230还配置成在所述历史收缩程度小于所述第二阈值时，确定不存在视觉识别误差，并且记录所述历史收缩程度。在该实施例中，第二阈值可根据统计判断来进行确定。在一个实施例中，第二阈值的设计和选择需要平衡正确率（true positive）和误报率（false positive）的比例。
尽管图2中未示出，在一个实施例中，上述设备2000还可包括：输出装置，用于在确定视觉识别存在误差时，输出标志位以提醒其他模块。
在一个或多个实施例中，上述视觉识别可靠度的判断设备2000可集成在自主驾驶系统或辅助驾驶系统，如ADAS系统中。所谓ADAS系统，也称为高级驾驶辅助系统或先进驾驶辅助系统。它利用安装在车上的各式各样传感器（例如，毫米波雷达、激光雷达、单\双目摄像头以及卫星导航），在汽车行驶过程中随时来感应周围的环境，收集数据，进行静态、动态物体的辨识、侦测与追踪，并结合导航地图数据，进行系统的运算与分析，从而预先让驾驶者察觉到可能发生的危险，有效增加汽车驾驶的舒适性和安全性。在一个实施例中，高级驾驶辅助系统包括导航与实时交通系统TMC、电子警察系统ISA （Intelligent speedadaptation或intelligent speed advice）、车联网（Vehicular communicationsystems）、自适应巡航ACC（Adaptive cruise control）、车道偏移报警系统LDWS（ Lanedeparture warning system）、车道保持系统（Lane keep assistance）、碰撞避免或预碰撞系统（Collision avoidance system或Precrash system）、夜视系统（Night Visionsystem）、自适应灯光控制（Adaptive light control）、行人保护系统（Pedestrianprotection system）、自动泊车系统（Automatic parking）、交通标志识别（Traffic signrecognition）、盲点探测（ Blind spot detection） ，驾驶员疲劳探测（Driverdrowsiness detection）、下坡控制系统（Hill descent control）和电动汽车报警（Electric vehicle warning sounds）系统。
进一步参考图3，图3示出了根据本发明的一个实施例的车道线质量追踪流程图3000。如图3所示，在步骤310中，通过视觉传感器识别，获得本帧左右车道线。在获得视觉识别的原始信号后，需要首先将记录的上一帧车道线参数根据本车运动参数作更新，然后与本帧对应车道线相比，计算车道线末端相对偏转趋势和幅度，作为此车道线的历史收缩程度的增量。在步骤320中，计算前后两帧车道线向内收缩值。接着，在步骤330中，判断左右车道线相对收缩是否达到阈值，该阈值可通过比较左右车道线的起始端和末尾的横向距离差值来获得。基于步骤330的判断，若未到达该阈值，则在步骤340中，车道线内收缩值清零。而若达到该阈值，则在步骤350中，累计车道线收缩程度。在步骤360中，进一步判断前后多帧收缩是否达到另一阈值。若历史收缩程度达到指定阈值后，则在步骤370中确定视觉识别存在误差。而若历史收缩程度未达到该指定阈值，则在步骤380中，将该收缩值累计到下一帧，并回到步骤310开始新一轮的视觉识别。另外，在确定视觉识别存在误差之后，在步骤390，输出标志位，标志视觉识别的车道线的置信度比较低。这样，在后续目标选择和引导中，提示设计较强的滤波处理来减少此帧不准确的车道线参数可能会造成的影响。
上述实施例追踪车道线前后多帧表现来判断车道线是否有置信度较低的情况，并且与实际车道线存在变化的场景有区分，可避免误报。
综上，本发明的实施例的视觉识别可靠度的判断方案通过将历史车道线参数与所接收的车道线参数进行比较（例如，对车道线前后多帧的变化状态作追踪）并计算车道线的历史收缩程度，从而对视觉识别车道线的可靠度作判断，以此来解决由于外在环境影响导致的视觉识别错误问题。
尽管以上说明书只对其中一些本发明的实施方式进行了描述，但是本领域普通技术人员应当了解，本发明可以在不偏离其主旨与范围内以许多其他的形式实施。因此，所展示的例子与实施方式被视为示意性的而非限制性的，在不脱离如所附各权利要求所定义的本发明精神及范围的情况下，本发明可能涵盖各种的修改与替换。
Claims (23)
1.一种视觉识别可靠度的判断方法，其特征在于，所述方法包括：
接收视觉识别的车道线参数；
通过将历史车道线参数与所接收的车道线参数进行比较，计算车道线的历史收缩程度；以及
基于所述历史收缩程度确定视觉识别是否存在误差。
2.如权利要求1所述的方法，其中，接收视觉识别的车道线参数包括：
接收本帧视觉识别的左车道线以及右车道线。
3.如权利要求1所述的方法，其中，通过将历史车道线参数与所接收的车道线参数进行比较，计算车道线的历史收缩程度包括：
计算前后两帧车道线向内收缩值；
判断所述向内收缩值是否达到第一阈值；以及
在所述向内收缩值大于或等于所述第一阈值时，将所述向内收缩值累计到所述车道线的历史收缩程度。
4.如权利要求3所述的方法，其中，通过将历史车道线参数与所接收的车道线参数进行比较，计算车道线的历史收缩程度还包括：
在所述向内收缩值小于所述第一阈值时，将所述车道线的历史收缩程度清零。
5.如权利要求3或4所述的方法，其中，所述第一阈值根据本帧左右车道线的起始端和末尾的横向距离差值来确定。
6.如权利要求3所述的方法，其中，计算前后两帧车道线向内收缩值包括：
将记录的上一帧车道线参数根据本车运动参数进行更新；
将更新后的上一帧车道线与本帧所对应的车道线进行比较；以及
计算车道线末端相对偏转趋势和幅度。
7.如权利要求6所述的方法，其中，所述车道线末端相对偏转趋势和幅度为上一帧车道线与本帧所对应的车道线相比向内旋转的角度。
8. 如权利要求1所述的方法，其中，基于所述历史收缩程度确定视觉识别是否存在误差包括：
将所述历史收缩程度与第二阈值进行比较；以及
在所述历史收缩程度大于或等于所述第二阈值时，确定视觉识别存在误差。
9.如权利要求8所述的方法，其中，基于所述历史收缩程度确定视觉识别是否存在误差还包括：
在所述历史收缩程度小于所述第二阈值时，确定不存在视觉识别误差，并且记录所述历史收缩程度。
10.如权利要求1所述的方法，还包括：
在确定视觉识别存在误差时，输出标志位以提醒其他模块。
11.一种视觉识别可靠度的判断设备，其特征在于，所述设备包括：
接收装置，用于接收视觉识别的车道线参数；
计算装置，用于通过将历史车道线参数与所接收的车道线参数进行比较，计算车道线的历史收缩程度；以及
确定装置，用于基于所述历史收缩程度确定视觉识别是否存在误差。
12.如权利要求11所述的设备，其中，所述接收装置配置成接收本帧视觉识别的左车道线以及右车道线。
13.如权利要求11所述的设备，其中，所述计算装置包括：
计算单元，用于计算前后两帧车道线向内收缩值；
判断单元，用于判断所述向内收缩值是否达到第一阈值；以及
累计单元，用于在所述向内收缩值大于或等于所述第一阈值时，将所述向内收缩值累计到所述车道线的历史收缩程度。
14.如权利要求13所述的设备，其中，所述计算装置还包括：
清零装置，用于在所述向内收缩值小于所述第一阈值时，将所述车道线的历史收缩程度清零。
15.如权利要求13或14所述的设备，其中，所述第一阈值根据本帧左右车道线的起始端和末尾的横向距离差值来确定。
16.如权利要求13所述的设备，其中，所述计算单元配置成：将记录的上一帧车道线参数根据本车运动参数进行更新；将更新后的上一帧车道线与本帧所对应的车道线进行比较；以及计算车道线末端相对偏转趋势和幅度。
17.如权利要求16所述的设备，其中，所述车道线末端相对偏转趋势和幅度为上一帧车道线与本帧所对应的车道线相比向内旋转的角度。
18.如权利要求11所述的设备，其中，所述确定装置配置成将所述历史收缩程度与第二阈值进行比较；以及在所述历史收缩程度大于或等于所述第二阈值时，确定视觉识别存在误差。
19.如权利要求18所述的设备，其中，所述确定装置还配置成在所述历史收缩程度小于所述第二阈值时，确定不存在视觉识别误差，并且记录所述历史收缩程度。
20.如权利要求11所述的设备，还包括：
输出装置，用于在确定视觉识别存在误差时，输出标志位以提醒其他模块。
21.一种计算机存储介质，其特征在于，所述介质包括指令，所述指令在运行时执行如权利要求1至10中任一项所述的方法。
22.一种自主驾驶系统，其特征在于，所述系统包括如权利要求11至20中任一项所述的设备。
23.一种车辆，其特征在于，所述车辆包括如权利要求22所述的自主驾驶系统。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110872000.0A CN113386773A (zh) | 2021-07-30 | 2021-07-30 | 视觉识别可靠度的判断方法及设备 |
| EP22165277.9A EP4125051A1 (en) | 2021-07-30 | 2022-03-29 | Method and device for determining reliability of visual detection |
| US17/868,310 US20230034979A1 (en) | 2021-07-30 | 2022-07-19 | Method and device for determining reliability of visual detection |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110872000.0A CN113386773A (zh) | 2021-07-30 | 2021-07-30 | 视觉识别可靠度的判断方法及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113386773A true CN113386773A (zh) | 2021-09-14 |
Family
ID=77622386
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110872000.0A Pending CN113386773A (zh) | 2021-07-30 | 2021-07-30 | 视觉识别可靠度的判断方法及设备 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230034979A1 (zh) |
| EP (1) | EP4125051A1 (zh) |
| CN (1) | CN113386773A (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117575920A (zh) * | 2023-12-01 | 2024-02-20 | 昆易电子科技(上海)有限公司 | 车道线优化方法、装置及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101882249B1 (ko) * | 2012-06-04 | 2018-08-24 | 현대모비스 주식회사 | 차등가중치 적용 차선 인식 방법 및 장치와 이를 이용한 차선유지보조시스템 제어 방법 및 장치 |
| US10296795B2 (en) * | 2017-06-26 | 2019-05-21 | Here Global B.V. | Method, apparatus, and system for estimating a quality of lane features of a roadway |
| CN111516673B (zh) * | 2020-04-30 | 2022-08-09 | 重庆长安汽车股份有限公司 | 基于智能摄像头和高精地图定位的车道线融合系统及方法 |
-
2021
- 2021-07-30 CN CN202110872000.0A patent/CN113386773A/zh active Pending
-
2022
- 2022-03-29 EP EP22165277.9A patent/EP4125051A1/en active Pending
- 2022-07-19 US US17/868,310 patent/US20230034979A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP4125051A1 (en) | 2023-02-01 |
| US20230034979A1 (en) | 2023-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109254289B (zh) | 道路护栏的检测方法和检测设备 | |
| CN108027422B (zh) | 借助于汽车传感器自动检测危险偏离车辆 | |
| US9070293B2 (en) | Device and method for traffic sign recognition | |
| US8447484B2 (en) | Branch-lane entry judging system | |
| JP4420011B2 (ja) | 物体検知装置 | |
| US9360332B2 (en) | Method for determining a course of a traffic lane for a vehicle | |
| CN110949402B (zh) | 一种告警区域确定方法、装置、存储介质及车辆 | |
| US20210163009A1 (en) | Method and device for assisting a driver in a vehicle | |
| US20210316734A1 (en) | Vehicle travel assistance apparatus | |
| CN112193246A (zh) | 车辆及用于执行车辆间距离控制的方法 | |
| JP2020071122A (ja) | 自車位置推定装置 | |
| CN113453969A (zh) | 用于保护车辆的方法 | |
| CN112977453A (zh) | 用于车辆自动换道设备和方法 | |
| US20220375349A1 (en) | Method and device for lane-changing prediction of target vehicle | |
| CN111038511B (zh) | 用于adas的车辆过弯时选取目标的方法、系统和车 | |
| CN113386773A (zh) | 视觉识别可靠度的判断方法及设备 | |
| US20230032741A1 (en) | Road model generation method and device | |
| CN116682091A (zh) | 用于自动驾驶车辆的障碍物感知方法、装置 | |
| JP3930309B2 (ja) | 車両用運転支援装置 | |
| US11718293B2 (en) | Driver assistance apparatus | |
| US11816903B2 (en) | Method for determining a type of parking space | |
| CN114684054A (zh) | 用于车辆的路障检测方法和设备 | |
| EP3683718A1 (en) | Driver assistance system and method for a motor vehicle | |
| US20240025398A1 (en) | Vehicle control method, vehicle controller, and non-transitory computer-readable storage medium storing vehicle control program | |
| CN116588112B (zh) | 交叉路口的车辆控制方法、装置及车辆 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |