CN114913494B - 自动驾驶视觉感知冗余系统危险度评估的自诊断校准方法 - Google Patents
自动驾驶视觉感知冗余系统危险度评估的自诊断校准方法 Download PDFInfo
- Publication number
- CN114913494B CN114913494B CN202210470684.6A CN202210470684A CN114913494B CN 114913494 B CN114913494 B CN 114913494B CN 202210470684 A CN202210470684 A CN 202210470684A CN 114913494 B CN114913494 B CN 114913494B
- Authority
- CN
- China
- Prior art keywords
- camera
- estimated
- visual
- parameters
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 140
- 230000016776 visual perception Effects 0.000 title claims abstract description 23
- 238000004092 self-diagnosis Methods 0.000 title claims abstract description 17
- 238000012502 risk assessment Methods 0.000 title claims abstract description 16
- 239000013598 vector Substances 0.000 claims abstract description 65
- 230000006870 function Effects 0.000 claims abstract description 51
- 230000000007 visual effect Effects 0.000 claims abstract description 51
- 238000004364 calculation method Methods 0.000 claims abstract description 38
- 230000008447 perception Effects 0.000 claims abstract description 10
- 230000004438 eyesight Effects 0.000 claims abstract description 6
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 238000001514 detection method Methods 0.000 claims description 39
- 230000011218 segmentation Effects 0.000 claims description 22
- 230000007774 longterm Effects 0.000 claims description 21
- 238000003062 neural network model Methods 0.000 claims description 21
- 238000003745 diagnosis Methods 0.000 claims description 19
- 238000012423 maintenance Methods 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 9
- 230000005284 excitation Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 5
- 230000005484 gravity Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000000586 desensitisation Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 abstract description 5
- 238000005259 measurement Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
Abstract
本发明公开了一种自动驾驶视觉感知冗余系统危险度评估的自诊断校准方法，包括以下步骤：S1、从高精地图接收车辆位置、路段预设位置和接收车辆状态信息，当车辆通过路段预设位置时执行步骤S2；S2、接收视觉感知主功能子系统动态估计的摄像机参数信息，以及接收摄像机视频数据和IMU数据；S3、对视觉冗余感知系统摄像机输入图像预处理；S4、视觉冗余感知系统通过n种不同方法估计主功能摄像机参数，与主功能摄像机动态参数估计结果做误差计算，得到第i(i＝1，……n)种方法估计的参数误差向量并求取估计参数的置信度。本发明解决了现有视觉感知系统因摄像机参数变化引起识别不准或测距不准的问题，提高自动驾驶车辆的安全性。
Description
技术领域
本发明涉及车辆控制技术领域，具体涉及一种自动驾驶视觉感知冗余系统危险度评估的自诊断校准方法。
背景技术
自动驾驶系统安全性依赖于各感知传感器的正确输出，而视觉感知系统的单目摄像机作为检测车道线和车道标识的传感器(雷达/激光雷达主要检测目标、护栏和路沿)，其准确度和精度决定于摄像机外参，外参容易受到安装位置的影响，而车辆在行驶过程中由于振动使得底盘橡胶件老化，日照、高热和高寒等因素使得非金属外饰支架老化发生形变，固定件发生松动，从而使得摄像机系统发生位姿角改变，而影响传感器外参，而外参的改变会对摄像机测距产生影响；摄像机自身的老化又会使得内参发生变化。而高速情况下，自动驾驶的紧急刹车和紧急避障的安全性严重依赖于摄像机的测距能力。而如果内外参不准确，又因为光照，恶劣天气等因素影响，基于光学测距的视觉系统会更不准确，影响感知系统正常工作，并最终影响紧急刹车和紧急避障的控制效果，如导致避障路径规划不准确，反而容易引起30％碰撞等事故造成更大的伤害，因此发明一种自动驾驶视觉感知冗余系统及其外参数的自诊断/自校准方法对于自动驾驶是十分必要的。
如公开号为CN102789642A的发明专利公开了一种消失方向确定方法和装置、摄像机自标定方法和装置。其中提出了一种消失方向确定方法和装置及摄像机。基于视频图像确定消失方向的方法包括：在由摄像机拍摄的视频图像中检测运动物体所在的运动目标区域，提取特征点，以获得运动估计，及消失方向，进而准确的获得摄像机姿态参数，但是单单用提取特征点获取消失点来估计摄像机姿态参数，容易因为特征点提取不准确以及错配导致运动轨迹获取问题，导致姿态参数不准确问题，用于自动驾驶系统自诊断时，容易误报或者漏报。
发明内容
针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种自动驾驶视觉感知冗余系统危险度评估的自诊断校准方法，解决现有视觉感知系统因摄像机参数变化引起识别不准或测距不准的问题，而产生严重的安全事故。
为了解决上述技术问题，本发明采用了如下的技术方案：
自动驾驶视觉感知冗余系统危险度评估的自诊断校准方法，包括以下步骤：
S1、从高精地图接收车辆位置、路段预设位置和接收车辆状态信息，当车辆通过路段预设位置时执行步骤S2；
S2、接收视觉感知主功能子系统的摄像机的动态估计参数，以及接收摄像机视频数据和IMU(惯性测量单元，含加速度计)数据；
S3、对视觉冗余感知系统摄像机输入图像预处理；
S4、视觉冗余感知系统通过n种不同方法估计主功能摄像机参数，与主功能摄像机动态参数估计结果做误差计算，得到第i(i＝1，2，3……n)种方法估计的参数误差向量并求取估计参数的置信度；
S5、对步骤S4中所有参数误差向量归一化后，通过置信度的加权特征融合，得到当前帧j的危险度Rj；
S6、当采集到的帧数大于阈值时执行步骤S7,否则执行步骤S2采集下一帧数据；
S7、对计算出的多帧的危险度求均值RAVG，并基于激励和遗忘机制计算长期危险度RLT；
S8、当长期危险度RLT大于危险度上限阈值时执行步骤S10，否则执行步骤S9；
S9、当长期危险度RLT小于危险度安全下限阈值时执行步骤S11，否则执行步骤S12；
S10、进入危险等级高状态，发出维护保养提醒，将故障数据脱敏上传云端，并禁用自动驾驶系统；
S11、进入无危险状态，关闭维护保养提醒，解除自动驾驶系统禁用；
S12、进入危险等级低状态，发出保养维护提醒，并将故障数据自动脱敏后上传云端，以便人工确认故障。
进一步地，在步骤S4中，得到第i(i＝1，2，3……n)种方法估计的参数误差向量包括：
通过车道线神经网络检测模型检测平行车道线，来估计摄像机外参数，与主功能摄像机动态参数估计结果做误差计算，得到第1种方法估计的参数误差向量
通过语义分割神经网络模型分割出车道线以及车道线附近的特殊建筑物(由水平于路面且垂直于车道方向的平行直线组、垂直于路面的平行直线组构成)上的平行直线组和平行车道线构成三组正交的直线，利用这三组正交直线，来估计摄像机的外参数，与主功能摄像机动态参数估计结果做误差计算，得到第2种方法估计的参数误差向量
通过语义分割神经网络模型和视觉特征点方法，来估计摄像机外参数，与主功能摄像机动态参数估计结果做误差计算，得到第3种方法估计的参数误差向量
通过视觉车道线检测方法(非深度学习的方法)检测平行车道线，来估计摄像机外参数，与主功能摄像机动态参数估计结果做误差计算，得到第4种方法估计的参数误差向量
进一步地，得到第1种方法估计的参数误差向量的步骤包括：
S411、将摄像机原始图片进行缩放，运行车道线检测神经网络模型。
S412、获取车道线检测神经网络模型输出的车道线点集特征，求取本车近处的平行车道线直线段方程。
S413、对平行车道线的近端平直段平行直线两两组合求取消失点，对消失点求取平均值，并通过消失点估计摄像机外参数；并根据车道线置信度，消失点个数进行第i(i＝1)种方法、第j帧的估计参数的置信度λij计算。
S414、对视觉冗余感知与故障诊断子系统参数估计结果与视觉感知主功能子系统摄像机动态参数估计结果做误差计算，以得到第1种方法估计的参数误差向量
进一步地，得到第2种方法估计的参数误差向量的步骤包括：
S421、将摄像机原始图片进行缩放，运行语义分割神经网络模型，由语义分割获得特殊建筑物(如交通标识牌龙门架)和车道线分割特征图。
S422、对语义分割结果运行直线检测网络求取特殊建筑物(由水平于路面且垂直于车道方向的平行直线组、垂直于路面的平行直线组构成)的平行直线组，以及求取平直车道的车道线/路沿的平行直线方程，得到三组正交的平行直线方程，并通过IMU(惯性测量单元，含加速度计)获得的重力方向，利用重力方向剔除掉垂直于路面的直线组中的异常直线。
S423、求取三组正交平行直线的三个消失点方向：即对每组平行直线两两组合求取消失点方向，并分别对每组平行直线的消失点方向求取平均值得到三个正交的消失方向即得到三轴正交的坐标系，并用三个正交的消失点方向(即三轴坐标系)估计摄像机外参数，并根据直线检测网络输出的直线置信度，直线的邻近区域内的语义分割神经网络模型输出特征图稀疏采样得到的采样点集的平均置信度，和消失点方向个数,进行第i(i＝2)种方法、第j帧的置信度λij计算。
S424、对视觉冗余感知与故障诊断子系统参数估计结果与视觉感知主功能子系统摄像机动态参数估计结果做误差计算，以得到第2种方法估计的参数误差向量
进一步地，得到第3种估计的参数误差向量的步骤包括：
S431、根据语义分割经网络模型输出的可行驶区域路面特征图片，进行裁剪获得路面图片，并对路面图片进行灰度处理；
S432、通过视觉特征点方法求取路面特征点，匹配特征点进行摄像机运动估计；
S433、通过摄像机运动估计，来进行摄像机参数估计和第i(i＝3)种方法、第j帧的估计参数的置信度λij计算。；
S434、对视觉冗余感知与故障诊断子系统参数估计结果与视觉感知主功能子系统摄像机动态参数估计结果做误差计算，以得到第3种方法估计的参数误差向量
进一步地，得到第4种估计的参数误差向量的步骤包括：
S441、将摄像机原始图片转换为灰度图并进行增强和滤波处理，裁剪图像获取图片下半部分路面图像，将路面图像转换为2值图像。
S442、通过非深度学习直线检测方法，得到平行车道线近端平直段。
S443、对平行车道线所属直线lineCV(m)(m＝1,...,c)两两组合求取消失点，得到消失点的点集，对消失点坐标求取平均值，并利用消失点平均值估计摄像机外参数；根据消失点个数进行第i(i＝4)种方法、第j帧的估计参数的置信度λij计算。
S444、对视觉冗余感知与故障诊断子系统参数估计结果与视觉感知主功能子系统摄像机动态参数估计结果做误差计算，以得到第4种方法估计的参数误差向量
进一步地，在步骤S5中，得到当前帧j的危险度Rj的公式为：
式中，μij为第i种估计方法，第j帧的信度(Reliability)估计值；λij为第i种估计方法，第j帧的的置信度(Confidence Coefficient)；θijmax为第i种估计方法的最大容许误差；为第i种估计方法估计参数的误差向量的p范数。
进一步地，在步骤S7中，危险度均值RAVG为：
式中，g为视觉冗余感知与故障诊断子系统触发自诊断后的计算单帧危险度的帧数之和。
进一步地，长期危险度RLT为：
式中，为单次触发自诊断得到的危险度均值，作为计算长期危险度的激励初始值；tk为第k次触发后至当前时刻的时间间隔；/>为遗忘因子；h为设定的长期危险度RLT影响时间上限内的诊断触发次数的总和。
与现有技术相比，本发明的有益效果在于：
1、通过在摄像机参数发生变化时，在路段预设位置通过多种方法估计视觉冗余感知系统摄像机参数，与主功能摄像机动态参数估计结果做误差计算，得到多个参数误差向量，对所误差向量归一化后，通过置信度的加权特征融合，得到当前帧的危险度，从而能够稳定准确的检测出摄像机参数与实际参数是否超过容限，避免了误报或漏报。对多帧数据的危险度求均值，并基于激励和遗忘机制计算长期危险度，通过两者比对提供不同等级提醒和禁用策略，以分级报警或禁用自动驾驶，从而提醒驾驶员维护和校准自动驾驶视觉感知系统，达到保护驾驶员和自动驾驶车辆的目的，提高自动驾驶车辆的安全性。
附图说明
为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：
图1为本发明的架构图；
图2为本发明的流程图；
图3为本图2中S4步骤的详细流程图；
图4为本发明中平行车道线消失点的检测示意图；
图5为本发明中三组正交平行直线及其消失方向的检测示意图。
具体实施方式
下面结合附图对本发明作进一步的详细说明。
如图1所示，本实施例中提供一种自动驾驶视觉感知冗余系统危险度评估的自诊断校准方法，本发明中的自动驾驶视觉感知冗余系统，在现有自动驾驶视觉感知系统的视觉感知主功能子系统的基础上增加了视觉冗余感知与故障诊断子系统，用于与主功能摄像机动态参数估计结果做误差计算，得到多个参数误差向量，对所误差向量归一化后，通过置信度的加权特征融合，得到当前帧的危险度，从而能够稳定准确的检测出摄像机参数与实际参数是否超过容限，并采用仿生学的激励和遗忘机制获得长期危险度，避免了误报或漏报。
视觉冗余感知与故障诊断子系统包括高精地图及定位系统、视觉冗余感知系统、误差加权融合模块、IMU(惯性测量单元)、判断和报警模块和人机交互系统与报警系统。其中高精地图及定位系统(高精地图)，用于获取车辆位置、路段预设位置以及车辆状态信息；
视觉冗余感知系统，用于对摄像机输入图像进行预处理；
摄像机参数估计模块，用于通过多种方法对摄像机参数估计；
误差加权融合模块，用于将主功能摄像机动态参数估计结果与摄像机参数冗余动态估计结果进行比对，并将比对结果输入判断和报警模块，由判断和报警模块将对应信息(包括禁用请求、保养提醒和报警信息)发送到人机交互系统与报警系统，由人机交互系统与报警系统执行保养提醒和报警信息提醒。
参见图2所示，在视觉冗余感知与故障诊断子系统启动并初始化后，通过执行以下步骤，尽可能提醒驾驶员维护和校准自动驾视觉感知系统，达到保护驾驶员和自动驾驶车辆的目的，以提高自动驾驶车辆的安全性，具体步骤如下：
S1、从高精地图接收车辆位置、路段预设位置和接收车辆状态信息，当车辆通过路段预设位置时执行步骤S2(判断车辆是否通过车道线平直，包含特殊建筑物或标识牌(比如含多组平行直线)，便于摄像机参数估计的路段预设位置。)；
S2、接收视觉感知主功能子系统动态估计的摄像机参数信息，以及接收摄像机视频数据和IMU(惯性测量单元，含加速度计)数据；
S3、对视觉冗余感知系统(视觉冗余感知与故障诊断子系统)摄像机输入图像预处理；
S4、视觉冗余感知系统通过n种不同方法估计主功能摄像机参数，与主功能摄像机动态参数估计结果做误差计算，得到第i(i＝1，2，3……n)种方法估计的参数误差向量并求取估计参数的置信度；
S5、对步骤S4中所有参数误差向量归一化后，通过置信度的加权特征融合，得到当前帧j的危险度Rj；
S6、当采集到的帧数大于阈值时执行步骤S7,否则执行步骤S2采集下一帧数据；
S7、对计算出的多帧的危险度求均值RAVG，并基于激励和遗忘机制计算长期危险度RLT；
S8、当长期危险度RLT大于危险度上限阈值时执行步骤S10，否则执行步骤S9；
S9、当长期危险度RLT小于危险度安全下限阈值时执行步骤S11，否则执行步骤S12；
S10、进入危险等级高状态，发出维护保养提醒，将故障数据脱敏上传云端，并禁用自动驾驶系统；
S11、进入无危险状态，关闭维护保养提醒，解除自动驾驶系统禁用；
S12、进入危险等级低状态，发出保养维护提醒，并将故障数据自动脱敏后上传云端，以便人工确认故障。
本发明，通过在摄像机参数发生变化时，在路段预设位置通过多种方法估计视觉冗余感知系统摄像机参数，与主功能摄像机动态参数估计结果做误差计算，得到多个参数误差向量，对所误差向量归一化后，通过置信度的加权特征融合，得到当前帧的危险度，从而能够稳定准确的检测出摄像机参数与实际参数是否超过容限。对多帧数据的危险度求均值，并基于激励和遗忘机制计算长期危险度，通过两者比对提供不同等级提醒和禁用策略，以分级报警或禁用自动驾驶，从而提醒驾驶员维护和校准自动驾视觉感知系统，达到保护驾驶员和自动驾驶车辆的目的，提高自动驾驶车辆的安全性。本方法仅适用于城市中交通流量大的特定道路场景，在非设定场景和非城区的复杂路况场景下，本方法所属功能处于关闭状态。
参见图3，具体实施时，在步骤S4中，得到第i(i＝1，2，3……n)种方法估计的参数误差向量包括：
通过车道线神经网络检测模型检测平行车道线，来估计摄像机外参数，与主功能摄像机动态参数估计结果做误差计算，得到第1种方法估计的参数误差向量
通过语义分割神经网络模型分割出车道线以及车道线附近的特殊建筑物(由水平于路面且垂直于车道方向的平行直线组、垂直于路面的平行直线组构成)上的平行直线组和平行车道线构成三组正交的直线，利用这三组正交直线，来估计摄像机的外参数，与主功能摄像机动态参数估计结果做误差计算，得到第2种方法估计的参数误差向量
通过语义分割神经网络模型和视觉特征点方法，来估计摄像机外参数，与主功能摄像机动态参数估计结果做误差计算，得到第3种方法估计的参数误差向量
通过视觉车道线检测方法(非深度学习的方法)检测平行车道线，来估计摄像机外参数，与主功能摄像机动态参数估计结果做误差计算，得到第4种方法估计的参数误差向量
这样，通过多种方法估计的参数误差向量，能够稳定准确的检测出摄像机参数和实际参数是否超过容限。
参见图3和图4，具体实施时，得到第1种方法估计的参数误差向量的步骤包括：
S411、将摄像机原始图片进行缩放，运行车道线检测神经网络模型。
S412、获取车道线检测神经网络模型输出的车道线点集特征，求取本车近处的平行车道线直线段方程。
示例性的，由高精地图得到当前道路的近端存在平直段情况下，当检测神经网络模型检测到l根线时，输出的车道线点集linePEX(m)(m＝1,...,l)，去除不稳定、置信度低和距离远的点得到优选点集linePEX(m)，用最小二乘法对每段近端平直车道线上的优选点集linePEX(m)进行拟合，得到第m条(m＝1,...,l)直线方程：
μ＝A0m+A1mv
式中u，v为图像坐标系横向和纵向坐标，A0m和A1m为直线方程系数，A0m表示直线的位置，A1m表示直线的方向。
S413、对平行车道线的近端平直段平行直线两两组合求取消失点，对消失点求取平均值，并通过消失点估计摄像机外参数；并根据车道线置信度，消失点个数进行第i(i＝1)种方法、第j帧的估计参数的置信度λij计算。
示例性的，估计外参数的置信度计算方法如下，λij为第i种估计方法，第j帧的置信度(Confidence Coefficient)(i＝1)：
上式中，为车道线检测网络模型输出两条平行直线(用于求取消失点)的置信度的乘积的平均值，N为遍历平行直线对(pair)求出的消失点的个数之和。
S414、对视觉冗余感知与故障诊断子系统参数估计结果与视觉感知主功能子系统摄像机动态参数估计结果做误差计算，以得到第1种方法估计的参数误差向量
为主功能估计的外参数向量，/>为冗余功能估计的外参数向量。
参见图3和图5，具体实施时，得到第2种方法估计的参数误差向量主要利用语义分割神经网络模型分割出车道线、路沿和一些路面上有大量正交平行直线组的特殊的人工造物(比如交通标识牌龙门架，或大量水平横梁(垂直于车道方向)和立柱的建筑)，可行驶区域及路面区域，来估计摄像机参数,并与主功能估计结果做误差计算。具体的步骤包括：
S421、将摄像机原始图片进行缩放，运行语义分割神经网络模型，由语义分割获得特殊建筑物(如交通标识牌龙门架)和车道线分割特征图。
S422、对语义分割结果运行直线检测网络(即两阶段方法)求取特殊建筑物(由水平于路面且垂直于车道方向的平行直线组、垂直于路面的平行直线组构成)的平行直线组，以及求取平直车道的车道线/路沿的平行直线方程，得到三组正交的平行直线方程：
示例性的，直线检测网络输出的特殊建筑物上的水平于路面且垂直于车道方向的平行直线组共l1条，其的起止点坐标为(Ustart-rm,Vstart-rm)，(Uend-rm,Vend-rm)(m＝1,...,l1)，直线检测网络输出的特殊建筑物上垂直于路面的平行直线组共l2条，其的起止点坐标为(Ustart-sm,Vstart-sm)，(Uend-sm,Vend-sm)(m＝1,...,l2)，直线检测网络输出的平直车道的车道线、路沿直线构成的平行直线组共l3条，其的起止点坐标为(Ustart-tm,Vstart-tm)，(Uend-tm,Vend-tm)(m＝1,...,l3)；
三组正交直线方程由两点式表示：
(μ-Ustart-rm)(Vend-rm-Vstart-rm)＝(v-Vstart-rm)(Uend-rm-Ustart-rm)(m＝1,...,l1)
(μ-Ustart-sm)(Vend-sm-Vstart-sm)＝(v-Vstart-sm)(Uend-sm-Ustart-sm)(m＝1,...,l2)
(μ-Ustart-tm)(Vend-tm-Vstart-tm)＝(v-Vstart-tm)(Uend-tm-Ustart-tm)(m＝1,...,l3)
通过IMU(惯性测量单元，含加速度计，与摄像机刚性连接且位置接近)获得的重力方向，利用重力方向剔除掉第一组l1条垂直于地面的直线组中的异常直线。
S423、求取三组正交平行直线的三个消失点方向：即对每组平行直线两两组合求取消失点方向，并分别对每组平行直线的消失点方向求取平均值得到三个正交方向即得到三轴正交的坐标系，并用三个正交的消失点方向(即三轴坐标系)估计摄像机参数，并根据直线检测网络输出的直线置信度，直线的邻近区域内的语义分割神经网络模型输出特征图稀疏采样得到的采样点集的平均置信度，和消失点方向个数,进行第i种(i＝2)方法、第j帧的置信度λij计算。
示例性的，估计参数的置信度计算方法如下，λij为第i种估计方法，第j帧的置信度(Confidence Coefficient)(i＝2)：
上式中，为直线检测网络输出两条平行直线(用于求取消失点方向)的置信度的乘积的平均值；N为遍历每组平行直线中的平行直线对(pair)求出的消失点方向的个数之和；/>为直线检测网络检测出的直线的邻近区域内的语义分割神经网络模型输出特征图稀疏采样得到点集的置信度均值；M为稀疏采样点集中点的个数。
S424、对视觉冗余感知与故障诊断子系统参数估计结果与视觉感知主功能子系统摄像机动态参数估计结果做误差计算，以得到第2种方法估计的参数误差向量
为主功能估计的参数向量，/>为冗余功能估计的参数向量。
参见图3，具体实施时，得到第3种估计的参数误差向量的步骤包括：
S431、根据语义分割经网络模型输出的可行驶区域路面特征图片，进行裁剪获得路面图片，并对路面图片进行灰度处理；
S432、通过视觉特征点方法求取路面特征点，匹配特征点进行摄像机运动估计。
S433、通过摄像机运动估计，来进行摄像机参数估计和第i种(i＝3)方法、第j帧的估计参数的置信度λij计算。
λij为第i种估计方法，第j帧的置信度(Confidence Coefficient)(i＝3)：
上式中ε为特征点求取方法的置信度，M为匹配的特征点对数。
S434、对视觉冗余感知与故障诊断子系统参数估计结果与视觉感知主功能子系统摄像机动态参数估计结果做误差计算，以得到第3种方法估计的参数误差向量
为主功能估计的外参数向量，/>为冗余功能估计的外参数向量。
参见图3和图4，具体实施时，得到第4种估计的参数误差向量的步骤包括：
S441、将摄像机原始图片转换为灰度图并进行增强和滤波处理，裁剪图像获取图片下半部分路面图像，将路面图像转换为二值图像。
S442、通过非深度学习直线检测方法，得到平行车道线近端平直段。
示例性的，可以对路面二值图像使用霍夫(Hough)变换直线检测方法，并用非极大值抑制(NMS)方法去掉重合直线，获得a条车道线直线方程lineHough(m)(m＝1,...,a)，
μ＝A0m-Hough+A1m-Houghv
其中u，v为图像坐标系横向和纵向坐标，A0m-Hough和A1m-Hough为霍夫变换直线检测方法得到的直线方程系数，A0m-Hough表示直线的位置，A1m-Hough表示直线的方向。
对增强后的路面灰度图使用LSD(Line Segment Detection)直线检测方法，并用非极大值抑制方法(NMS)去掉重合直线，获得b条车道线直线方程lineLSD(m)(m＝1,...,b)，
μ＝A0m-LSD+A1m-LSDν
其中u，v为图像坐标系横向和纵向坐标，A0m-LSD和A1m-LSD为LSD直线检测方法得到的直线方程系数，A0m-Hough表示直线的位置，A1m-Hough表示直线的方向。
示例性的，对霍夫变换和LSD得到的直线系数向量之差求取p范数(一般取p＝2)，当其p范数小于阈值Thr：
((A0m-Hough-A0m-LSD),(A1m-Hough-A1m-LSD))||p＜Thr
则将其确定为平行车道线所属直线，并进行参数融合得到平行车道线的直线方程lineCV(m)(m＝1,...,c)：
μ＝A0m-CV+A1m-CVν
其中，A0m-CV和A1m-CV为两种方法所求参数得到的加权均值，即A0m-CV＝αA0m-Hough+(1-α)A0m-LSD(α∈[0,1])，A1m-CV＝βA1m-Hough+(1-β)A1m-LSD,(β∈[0,1])。
平行车道线所属直线lineCV(m)(m＝1,...,c)的置信度λijCVLinem为霍夫(Hough)变换置信度和LSD(Line Segment Detection)直线检测方法置信度的加权平均：
S443、对上述车道线所属直线lineCV(m)(m＝1,...,c)两两组合求取消失点，得到消失点的点集，对消失点坐标求取平均值，并利用消失点平均值估计摄像机外参数；根据消失点个数进行第i种(i＝4)方法、第j帧的估计参数的置信度λij计算。
示例性的，估计外参数的置信度计算方法如下，λij为第i种估计方法，第j帧的置信度(Confidence Coefficient)(i＝4)：
式中，为车道线检测方法输出两条平行直线(用于求取消失点)的置信度的乘积的平均值，N为遍历平行直线对(pair)求出的消失点的个数之和。
S444、对视觉冗余感知与故障诊断子系统参数估计结果与视觉感知主功能子系统摄像机动态参数估计结果做误差计算，以得到第4种方法估计的参数误差向量
为主功能估计的外参数向量，/>为冗余功能估计的外参数向量。
具体实施时，在步骤S5中，得到当前帧j的危险度Rj的公式为：
式中，μij为第i种估计方法，第j帧的信度(Reliability)估计值(该方法为专家或统计评估算法，利用上传数据对该路段预设位置的第i种估计方法下，长时间统计结果的信度估计值，反映了摄像机参数估计方法结果的一致性)；λij为第i种估计方法，第j帧的置信度(Confidence Coefficient)；θijmax为第i种估计方法的最大容许误差限，用于归一化处理；为i种估计方法所估计参数的误差向量的p范数。
具体实施时，在步骤S7中，危险度均值RAVG为：
式中，g为视觉冗余感知与故障诊断子系统触发自诊断后的计算单帧危险度的帧数之和。
具体实施时，长期危险度RLT计算方式为：
式中，为单次触发自诊断得到的危险度均值，作为计算长期危险度的激励初始值；tk为第k次触发后至当前时刻的时间间隔；/>为遗忘因子，h为设定的长期危险度RLT影响时间上限内的诊断触发次数的总和。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过参照本发明的优选实施例已经对本发明进行了描述，但本领域的普通技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变。凡是属于本发明的技术方案所引申出的显而易见的改变仍处于本发明的保护范围之列。
Claims (9)
1.自动驾驶视觉感知冗余系统危险度评估的自诊断校准方法，其特征在于，包括以下步骤：
S1、从高精地图接收车辆位置、路段预设位置和接收车辆状态信息，当车辆通过路段预设位置时执行步骤S2；
S2、接收视觉感知主功能子系统动态估计的摄像机参数，以及接收摄像机视频数据和IMU数据；
S3、对视觉冗余感知系统摄像机输入图像预处理；
S4、视觉冗余感知系统通过n种不同方法估计主功能摄像机参数，与主功能摄像机动态参数估计结果做误差计算，得到第i(i＝1，2，3……n)种方法估计的参数误差向量并求取估计参数的置信度；
S5、对步骤S4中所有参数误差向量归一化后，通过置信度的加权特征融合，得到当前帧j的危险度Rj；
S6、当采集到的帧数大于阈值时执行步骤S7,否则执行步骤S2采集下一帧数据；
S7、对计算出的多帧的危险度求均值RAVG，并基于激励和遗忘机制计算长期危险度RLT；
S8、当长期危险度RLT大于危险度上限阈值时执行步骤S10，否则执行步骤S9；
S9、当长期危险度RLT小于危险度安全下限阈值时执行步骤S11，否则执行步骤S12；
S10、进入危险等级高状态，发出维护保养提醒，将故障数据脱敏上传云端，并禁用自动驾驶系统；
S11、进入无危险状态，关闭维护保养提醒，解除自动驾驶系统禁用；
S12、进入危险等级低状态，发出保养维护提醒，并将故障数据自动脱敏后上传云端，以便人工确认故障。
2.根据权利要求1所述的自动驾驶视觉感知冗余系统危险度评估的自诊断校准方法，其特征在于，在步骤S4中，得到第i(i＝1，2，3……n)种方法估计的参数误差向量包括：
通过车道线神经网络检测模型检测平行车道线，来估计摄像机外参数，与主功能摄像机动态参数估计结果做误差计算，得到第1种方法估计的参数误差向量
通过语义分割神经网络模型分割出车道线以及车道线附近的特殊建筑物上的平行直线组和平行车道线构成三组正交的直线，利用这三组正交直线，来估计摄像机的外参数，与主功能摄像机动态参数估计结果做误差计算，得到第2种方法估计的参数误差向量
通过语义分割神经网络模型和视觉特征点方法，来估计摄像机外参数，与主功能摄像机动态参数估计结果做误差计算，得到第3种方法估计的参数误差向量
通过视觉车道线检测方法检测平行车道线，来估计摄像机外参数，与主功能摄像机动态参数估计结果做误差计算，得到第4种方法估计的参数误差向量
3.根据权利要求2所述的自动驾驶视觉感知冗余系统危险度评估的自诊断校准方法，其特征在于，得到第1种方法估计的参数误差向量的步骤包括：
S411、将摄像机原始图片进行缩放，运行车道线检测神经网络模型；
S412、获取车道线检测神经网络模型输出的车道线点集特征，求取本车近处的平行车道线直线段方程；
S413、对平行车道线的近端平直段平行直线两两组合求取消失点，对消失点求取平均值，并通过消失点估计摄像机外参数；并根据车道线置信度，消失点个数，进行第1种方法、第j帧的估计参数的置信度λij计算；
S414、对视觉冗余感知与故障诊断子系统参数估计结果与视觉感知主功能子系统摄像机动态参数估计结果做误差计算，以得到第1种方法估计的参数误差向量
4.根据权利要求2所述的自动驾驶视觉感知冗余系统危险度评估的自诊断校准方法，其特征在于，得到第2种方法估计的参数误差向量的步骤包括：
S421、将摄像机原始图片进行缩放，运行语义分割神经网络模型，由语义分割获得特殊建筑物和车道线分割特征图；
S422、对语义分割结果运行直线检测网络求取特殊建筑物的平行直线组，以及求取平直车道的车道线、路沿的平行直线方程，得到三组正交的平行直线方程，并通过IMU获得的重力方向，利用重力方向剔除掉垂直于路面的直线组中的异常直线；
S423、求取三组正交平行直线的三个消失点方向：即对每组平行直线两两组合求取消失点方向，并分别对每组平行直线的消失点方向求取平均值得到三个正交的消失点方向，并用三个正交的消失点方向估计摄像机外参数，并根据直线检测网络输出的直线置信度，直线的邻近区域内的语义分割神经网络模型输出特征图稀疏采样得到的采样点集的平均置信度，和消失点方向个数,进行第2种方法、第j帧的置信度λij计算；
S424、对视觉冗余感知与故障诊断子系统参数估计结果与视觉感知主功能子系统摄像机动态参数估计结果做误差计算，以得到第2种方法估计的参数误差向量
5.根据权利要求2所述的自动驾驶视觉感知冗余系统危险度评估的自诊断校准方法，其特征在于，得到第3种估计的参数误差向量的步骤包括：
S431、根据语义分割经网络模型输出的可行驶区域路面特征图片，进行裁剪获得路面图片，并对路面图片进行灰度处理；
S432、通过视觉特征点方法求取路面特征点，匹配特征点进行摄像机运动估计；
S433、通过摄像机运动估计，来进行摄像机参数估计和第3种方法、第j帧的估计参数的置信度λij计算；
S434、对视觉冗余感知与故障诊断子系统参数估计结果与视觉感知主功能子系统摄像机动态参数估计结果做误差计算，以得到第3种方法估计的参数误差向量
6.根据权利要求2所述的自动驾驶视觉感知冗余系统危险度评估的自诊断校准方法，其特征在于，得到第4种估计的参数误差向量的步骤包括：
S441、将摄像机原始图片转换为灰度图并进行增强和滤波处理，裁剪图像获取图片下半部分路面图像，将路面图像转换为2值图像；
S442、通过非深度学习直线检测方法，得到平行车道线近端平直段；
S443、对平行车道线所属直线lineCV(m)(m＝1,...,c)两两组合求取消失点，得到消失点的点集，对消失点坐标求取平均值，并利用消失点平均值估计摄像机外参数；根据消失点个数进行第4种方法、第j帧的估计参数的置信度λij计算；
S444、对视觉冗余感知与故障诊断子系统参数估计结果与视觉感知主功能子系统摄像机动态参数估计结果做误差计算，以得到第4种方法估计的参数误差向量
7.根据权利要求1所述的自动驾驶视觉感知冗余系统危险度评估的自诊断校准方法，其特征在于，在步骤S5中，得到当前帧j的危险度Rj的公式为：
式中，μij为第i种估计方法，第j帧的信度估计值；λij为第i种估计方法，第j帧的置信度；θijmax为第i种估计方法的最大容许误差；为第i种估计方法估计参数的误差向量的p范数。
8.根据权利要求1所述的自动驾驶视觉感知冗余系统危险度评估的自诊断校准方法，其特征在于，在步骤S7中，危险度均值RAVG为：
式中，g为视觉冗余感知与故障诊断子系统触发自诊断后的计算单帧危险度的帧数之和。
9.根据权利要求1所述的自动驾驶视觉感知冗余系统危险度评估的自诊断校准方法，其特征在于，长期危险度RLT为：
式中，为单次触发自诊断得到的危险度均值，作为计算长期危险度的激励初始值；tk为第k次触发后至当前时刻的时间间隔；/>为遗忘因子；h为设定的长期危险度RLT影响时间上限内的诊断触发次数的总和。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210470684.6A CN114913494B (zh) | 2022-04-28 | 2022-04-28 | 自动驾驶视觉感知冗余系统危险度评估的自诊断校准方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210470684.6A CN114913494B (zh) | 2022-04-28 | 2022-04-28 | 自动驾驶视觉感知冗余系统危险度评估的自诊断校准方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114913494A CN114913494A (zh) | 2022-08-16 |
| CN114913494B true CN114913494B (zh) | 2024-06-18 |
Family
ID=82764451
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210470684.6A Active CN114913494B (zh) | 2022-04-28 | 2022-04-28 | 自动驾驶视觉感知冗余系统危险度评估的自诊断校准方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114913494B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115493612A (zh) * | 2022-10-12 | 2022-12-20 | 中国第一汽车股份有限公司 | 一种基于视觉slam的车辆定位方法及装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111524194A (zh) * | 2020-04-24 | 2020-08-11 | 江苏盛海智能科技有限公司 | 一种激光雷达和双目视觉相互融合的定位方法及终端 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11067693B2 (en) * | 2018-07-12 | 2021-07-20 | Toyota Research Institute, Inc. | System and method for calibrating a LIDAR and a camera together using semantic segmentation |
| CN111752825B (zh) * | 2020-05-26 | 2024-03-19 | 江苏大学 | 一种面向智能电动汽车的即插即用软件平台及其检测方法 |
| CN111985782B (zh) * | 2020-07-22 | 2023-08-15 | 西安理工大学 | 基于环境感知的自动驾驶有轨电车运行风险评估方法 |
-
2022
- 2022-04-28 CN CN202210470684.6A patent/CN114913494B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111524194A (zh) * | 2020-04-24 | 2020-08-11 | 江苏盛海智能科技有限公司 | 一种激光雷达和双目视觉相互融合的定位方法及终端 |
Non-Patent Citations (1)
| Title |
|---|
| 基于机器视觉的自动驾驶安全预警系统设计与实现;李明珠;《中国优秀硕士学位论文全文数据库_工程科技Ⅱ辑》;20220115;C035-378 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114913494A (zh) | 2022-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108960183B (zh) | 一种基于多传感器融合的弯道目标识别系统及方法 | |
| CN106919915B (zh) | 基于adas系统的地图道路标记及道路质量采集装置及方法 | |
| EP3879455A1 (en) | Multi-sensor data fusion method and device | |
| US8411900B2 (en) | Device for detecting/judging road boundary | |
| EP3745158A1 (en) | Methods and systems for computer-based determining of presence of dynamic objects | |
| KR20220155559A (ko) | 이미지 세그멘테이션을 이용한 자율 운항 방법 | |
| US9292750B2 (en) | Method and apparatus for detecting traffic monitoring video | |
| CN105711597A (zh) | 前方局部行驶环境感知系统及方法 | |
| CN108596058A (zh) | 基于计算机视觉的行车障碍物测距方法 | |
| JP6019646B2 (ja) | 位置ずれ検出装置、車両及び位置ずれ検出方法 | |
| CN103630122B (zh) | 一种单目视觉车道线检测方法及其测距方法 | |
| CN112154455B (zh) | 数据处理方法、设备和可移动平台 | |
| US20030002713A1 (en) | Vision-based highway overhead structure detection system | |
| US11538241B2 (en) | Position estimating device | |
| CN110738081B (zh) | 异常路况检测方法及装置 | |
| JP2002175535A (ja) | 道路白線認識装置 | |
| CN111461048B (zh) | 基于视觉的停车场可行驶区域检测与局部地图构建方法 | |
| CN112674646B (zh) | 基于多算法融合的自适应贴边作业方法及机器人 | |
| KR102466804B1 (ko) | 이미지 세그멘테이션을 이용한 자율 운항 방법 | |
| US20230222671A1 (en) | System for predicting near future location of object | |
| CN114913494B (zh) | 自动驾驶视觉感知冗余系统危险度评估的自诊断校准方法 | |
| CN110909705A (zh) | 一种基于车载摄像头的路侧停车位感知方法及系统 | |
| CN110580043A (zh) | 一种基于图像目标识别的水面目标规避方法 | |
| CN107031661A (zh) | 一种基于盲区相机输入的变道预警方法及系统 | |
| CN113298053A (zh) | 多目标无人机追踪识别方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |