CN113682323A - 一种基于双目视觉的低速无人驾驶车辆安全冗余架构与方法 - Google Patents
一种基于双目视觉的低速无人驾驶车辆安全冗余架构与方法 Download PDFInfo
- Publication number
- CN113682323A CN113682323A CN202111074136.3A CN202111074136A CN113682323A CN 113682323 A CN113682323 A CN 113682323A CN 202111074136 A CN202111074136 A CN 202111074136A CN 113682323 A CN113682323 A CN 113682323A
- Authority
- CN
- China
- Prior art keywords
- module
- automatic driving
- vehicle
- driving controller
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 15
- 238000003745 diagnosis Methods 0.000 claims abstract description 67
- 238000012795 verification Methods 0.000 claims abstract description 65
- 230000007246 mechanism Effects 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims description 26
- 230000007613 environmental effect Effects 0.000 claims description 9
- 230000002093 peripheral effect Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 4
- 238000011217 control strategy Methods 0.000 claims description 3
- 238000009472 formulation Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 230000008447 perception Effects 0.000 abstract description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
- B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
- B60W10/182—Conjoint control of vehicle sub-units of different type or different function including control of braking systems including control of parking brakes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
- B60W50/0205—Diagnosing or detecting failures; Failure detection models
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
- B60W50/029—Adapting to failures or work around with other constraints, e.g. circumvention by avoiding use of failed parts
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
- B60W50/029—Adapting to failures or work around with other constraints, e.g. circumvention by avoiding use of failed parts
- B60W2050/0292—Fail-safe or redundant systems, e.g. limp-home or backup systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2710/00—Output or target parameters relating to a particular sub-units
- B60W2710/18—Braking system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2710/00—Output or target parameters relating to a particular sub-units
- B60W2710/18—Braking system
- B60W2710/186—Status of parking brakes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2710/00—Output or target parameters relating to a particular sub-units
- B60W2710/20—Steering systems
Landscapes
- Engineering & Computer Science (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
一种基于双目视觉的低速无人驾驶车辆安全冗余架构，包括摄像头模组、图像验证诊断模块、自动驾驶控制器和执行机构，摄像头模组与图像验证诊断模块、自动驾驶控制器相连接，自动驾驶控制器还与图像验证诊断模块、执行机构连接，图像验证诊断模块将故障相关信息与车辆周边环境信息发送至自动驾驶控制器，采用八个双目摄像头采集车辆周围环境信息，降低了无人驾驶汽车对激光雷达的依赖，同时降低了多传感器感知融合对自动驾驶控制器配置的高性能要求。
Description
技术领域
本发明属于无人驾驶安全领域，特别涉及一种基于双目视觉的低速无人驾驶车辆安全冗余架构。
背景技术
在汽车行业与人工智能行业的飞速发展下，无人驾驶汽车已逐渐可以实现。低速无人驾驶作为无人驾驶的一个细分领域，其产品一般用于园区、景区等半封闭式道路，与公开道路上行驶的乘用车相比具有成本低、易控制、安全风险低等特点。感知系统作为无人驾驶车辆的场景识别系统，如何能够更有效地判断当前车辆的周边环境，一直是自动驾驶相关企业在不断研究的方向之一。
现在大部分的无人驾驶车辆感知系统都以激光雷达为主，结合其他如毫米波雷达、超声波雷达和摄像头等传感器做感知融合，以更好的识别车辆周边的环境。双目视觉作为机器视觉的一种重要形式，所生成的立体地图在测距能力上，某种程度上来讲并不弱于激光雷达，甚至可以与激光雷达生成的点云图互相转换，所以开发一种能保证安全的、基于双目视觉的低速无人驾驶车辆，可以有效减少低速无人驾驶车辆对激光雷达的依赖。
微控制单元(Microcontroller Unit；MCU) ，又称单片微型计算机(Single ChipMicrocomputer)或者单片机，是把中央处理器(Central Process Unit；CPU)的频率与规格做适当缩减，并将内存(memory)、计数器(Timer)、USB、A/D转换、UART、PLC、DMA等周边接口，甚至LCD驱动电路都整合在单一芯片上，形成芯片级的计算机，为不同的应用场合做不同组合控制。
发明内容
为实现上述目的，本发明提供如下技术方案：一种基于双目视觉的低速无人驾驶车辆安全冗余架构，包括摄像头模组、图像验证诊断模块、自动驾驶控制器和执行机构，摄像头模组与图像验证诊断模块、自动驾驶控制器相连接，自动驾驶控制器还与图像验证诊断模块、执行机构连接。
其中摄像头模组包含八个双目摄像头、MCU，分别布置在车辆四周，用以检测车辆周边环境，并将采集的信息形成图像信息发送至图像验证诊断模块与自动驾驶控制器；
其中自动驾驶控制器用于根据图像信息控制车辆；
摄像头模组中集成的MCU能诊断自身故障，并将故障信息发送至图像验证诊断模块与自动驾驶控制器，自动驾驶控制器根据故障信息对车辆进行安全控制。
图像验证诊断模块包含故障诊断模块与图像识别模块，用于对摄像头模组进行二次诊断，以保证摄像头模组故障的准确性和覆盖率，同时对摄像头数据进行处理，通过两种算法识别相同数据提升环境识别正确率；
作为优选，两种算法为SGBM算法和GC算法，其中SGBM算法视差效果好且速度快，用于自动驾驶控制器处理图像控制车辆；GC算法效果更好，用于处理图像验证诊断模块里的图像，两种算法结果做对比验证。
故障诊断模块用于诊断摄像头模组检测的故障，还用于进行摄像头模组故障与摄像头模组诊断出的故障之间的互相验证；
图像识别模块用于根据摄像头模组的双目摄像头采集的图像识别车辆周边环境信息，图像验证诊断模块会将故障相关信息与车辆周边环境信息发送至自动驾驶控制器。
自动驾驶控制器包含图像处理模块、图像验证模块、规划决策模块和控制模块，图像处理模块采用一种与图像识别模块不同的算法，从摄像头模组的双目摄像头采集的图像识别车辆周边环境信息；
图像验证模块用于接收图像处理模块与图像识别模块处理的车辆周边信息并进行对比，以保证环境识别的正确性；
规划决策模块用于规划车辆的行驶轨迹并决定车辆的控制参数，以完成自动驾驶策略的制定；
控制模块接收规划决策模块的控制策略，并发出控制指令给各个执行控制器。
执行机构包含动力系统、制动系统、转向系统和驻车系统，接收自动驾驶控制器发出的控制指令，并控制车辆按预期进行加速、减速、转向、停车等行为。
本发明还提供一种基于双目视觉的低速无人驾驶车辆安全冗余方法，其中，图像处理控制流程为：
步骤一、摄像头模组将采集到的图像信息同时发送给图像验证诊断模块与自动驾驶控制器；
步骤二、自动驾驶控制器中的图像处理模块采用SGBM算法识别图像，并将结果发送至图像验证模块，图像验证诊断模块中的图像识别模块采用GC算法识别图像，并将结果发送至自动驾驶控制器中的图像验证模块；
步骤三、自动驾驶控制器中的图像验证模块对比两种算法识别出的结果是否一致，如环境信息结果基本一致，则自动驾驶控制器基于图像信息规划车辆行驶轨迹及控制参数，控制模块发出相应控制指令，执行机构完成控制指令实现自动驾驶；若环境信息结果不一致，则取两种环境信息中的全部障碍物以及到障碍物的最小距离作为当前环境，自动驾驶控制器规划车辆在合适位置尽快停车，行驶车速限制在正常车速一半以下，控制模块发出相关控制指令，执行机构完成控制指令实现停车。
在自动驾驶过程中，所述基于双目视觉的低速无人驾驶车辆安全冗余方法中，故障诊断逻辑为：
1.若摄像头模组未检测到故障，但图像验证诊断模块中的故障诊断模块诊断出摄像头模组故障，则图像验证诊断模块不再对图像进行处理，直接将故障信息发送至自动驾驶控制器，自动驾驶控制器规划快速停车路径，由控制模块发出指令，执行机构完成制动；
2.若摄像头模组检测出自身故障，则摄像头模组将故障信息同时发送至图像验证诊断模块和自动驾驶控制器，图像验证诊断模块中的故障诊断模块也对摄像头故障进行诊断，若两种故障信息不一致，自动驾驶控制器规划快速停车路径，由控制模块发出指令，执行机构完成制动；
若两种故障信息一致，且故障对自动驾驶控制车辆有明显危害，自动驾驶控制器规划快速停车路径，由控制模块发出指令，执行机构完成制动；
若两种故障信息一致，且故障对自动驾驶控制车辆无明显危害，则自动驾驶控制器按原规划继续完成本次自动驾驶任务，并在完成后靠边停车，报出故障，控制模块发出相应指令，执行机构按指令完成自动驾驶操控。
其中，故障信息分类原则如下：
一级故障：即存在严重故障，导致车辆安全行驶完全不可靠，可能会造成严重车辆损失。此时自动驾驶控制器必须执行紧急制动停车、停车后拉起EPB、完成制动；
二级故障：即存在重要故障，导致车辆安全行驶不可靠，可能导致自动驾驶失败。此时自动驾驶控制器必须执行快速规划停车路径，换道、制动停车、后拉起EPB；
三级故障：即存在一般故障，导致车辆安全行驶不太可靠，可能引起轻度车辆损失。此时自动驾驶控制器执行点亮双闪、靠边停车、后拉起EPB；
四级故障：即整车存在故障，但对车辆安全行驶影响轻微。此时自动驾驶可以全功能使用，则自动驾驶控制器按原规划继续完成本次自动驾驶任务，并在完成后靠边停车，报出故障，控制模块发出相应指令，执行机构按指令完成自动驾驶操控。
与现有技术相比，本发明的有益效果是：
1.本发明采用八个双目摄像头采集车辆周围环境信息，降低了无人驾驶汽车对激光雷达的依赖，同时降低了多传感器感知融合对自动驾驶控制器配置的高性能要求；
2.本发明架构设计过程中，通过增加图像验证诊断模块作为安全冗余结构，通过两种不同的摄像头信息处理算法识别车辆周围环境，提高了摄像头模组识别环境的能力，通过两种故障诊断结构对摄像头自身故障进行识别，降低了由摄像头模组故障而带来的安全风险，使用一种传感器完成自动驾驶任务，实现一种低风险、低成本的低速无人驾驶汽车控制方法，同时可以避免架构设计时由功能层面带来的不可靠功能逻辑限制。
附图说明
图1为本发明提供的系统结构示意图；
图2为本发明的图像处理控制流程图；
图3为本发明的故障诊断逻辑流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例中，一种基于双目视觉的低速无人驾驶车辆安全冗余架构，包括摄像头模组1、图像验证诊断模块2、自动驾驶控制器3和执行机构4，摄像头模组1与图像验证诊断2模块、自动驾驶控制器3相连接，自动驾驶控制器3还与图像验证诊2断模块、执行机构4连接。
其中摄像头模组1包含八个双目摄像头11、MCU12，分别布置在车辆四周，用以检测车辆周边环境，并将采集的信息形成图像信息发送至图像验证诊断模块2与自动驾驶控制器3；
其中自动驾驶控制器3用于根据图像信息控制车辆；
摄像头模组中1集成的MCU12能诊断自身故障，并将故障信息发送至图像验证诊断模块2与自动驾驶控制器3，自动驾驶控制器3根据故障信息对车辆进行安全控制。
图像验证诊断模块2包含故障诊断模块21与图像识别模块22，用于对摄像头模组1进行二次诊断，以保证摄像头模组1故障的准确性和覆盖率，同时对摄像头数据进行处理，通过两种算法识别相同数据提升环境识别正确率；
作为优选，两种算法为SGBM算法和GC算法，其中SGBM算法视差效果好且速度快，用于自动驾驶控制器3处理图像控制车辆；GC算法效果更好，用于处理图像验证诊断模块2里的图像，两种算法结果做对比验证。
故障诊断模块21用于诊断摄像头模组1检测的故障，还用于进行摄像头模组1故障与摄像头模组1诊断出的故障之间的互相验证；
图像识别模块22用于根据摄像头模组1的双目摄像头11采集的图像识别车辆周边环境信息，图像验证诊断模块2会将故障相关信息与车辆周边环境信息发送至自动驾驶控制器3。
自动驾驶控制器3包含图像处理模块31、图像验证模块32、规划决策模块33和控制模块34，图像处理模块31采用一种与图像识别模块22不同的算法，从摄像头模组1的双目摄像头11采集的图像识别车辆周边环境信息；
图像验证模块32用于接收图像处理模块31与图像识别模块22处理的车辆周边信息并进行对比，以保证环境识别的正确性；
规划决策模块33用于规划车辆的行驶轨迹并决定车辆的控制参数，以完成自动驾驶策略的制定；
控制模块34接收规划决策模块33的控制策略，并发出控制指令给各个执行控制器。
执行机构4包含动力系统、制动系统、转向系统和驻车系统，接收自动驾驶控制器3发出的控制指令，并控制车辆按预期进行加速、减速、转向、停车等行为。
如图2所示，本发明还提供一种基于双目视觉的低速无人驾驶车辆安全冗余方法，其中，图像处理控制流程为：
S1、摄像头模组1将采集到的图像信息同时发送给图像验证诊断模块2与自动驾驶控制器3；
S2、自动驾驶控制器3中的图像处理模块31采用SGBM算法识别图像，并将结果发送至图像验证模块32，图像验证诊断模块2中的图像识别模块22采用GC算法识别图像，并将结果发送至自动驾驶控制器3中的图像验证模块32；
S3、自动驾驶控制器3中的图像验证模块32对比两种算法识别出的结果是否一致，如环境信息结果基本一致，则自动驾驶控制器3基于图像信息规划车辆行驶轨迹及控制参数，控制模块34发出相应控制指令，执行机构4完成控制指令实现自动驾驶；若环境信息结果不一致，则取两种环境信息中的全部障碍物以及到障碍物的最小距离作为当前环境，自动驾驶控制器3规划车辆在合适位置尽快停车，行驶车速限制在正常车速一半以下，控制模块34发出相关控制指令，执行机构4完成控制指令实现停车。
如图3所示，在自动驾驶过程中，所述基于双目视觉的低速无人驾驶车辆安全冗余方法中，故障诊断逻辑为：
1.若摄像头模组1未检测到故障，但图像验证诊断模块2中的故障诊断模块21诊断出摄像头模组1故障，则图像验证诊断模块2不再对图像进行处理，直接将故障信息发送至自动驾驶控制器3，自动驾驶控制器3规划快速停车路径，由控制模块34发出指令，执行机构4完成制动；
2.若摄像头模组1检测出自身故障，则摄像头模组1将故障信息同时发送至图像验证诊断模块2和自动驾驶控制器3，图像验证诊断模块2中的故障诊断模块21也对摄像头故障进行诊断，若两种故障信息不一致，自动驾驶控制器3规划快速停车路径，由控制模块34发出指令，执行机构4完成制动；
若两种故障信息一致，且故障对自动驾驶控制车辆有明显危害，自动驾驶控制器3规划快速停车路径，由控制模块34发出指令，执行机构4完成制动；
若两种故障信息一致，且故障对自动驾驶控制车辆无明显危害，则自动驾驶控制器3按原规划继续完成本次自动驾驶任务，并在完成后靠边停车，报出故障，控制模块34发出相应指令，执行机构4按指令完成自动驾驶操控。
其中，故障信息分类原则如下：
一级故障：即存在严重故障，导致车辆安全行驶完全不可靠，可能会造成严重车辆损失。此时自动驾驶控制器3必须执行紧急制动停车、停车后拉起EPB、完成制动；
二级故障：即存在重要故障，导致车辆安全行驶不可靠，可能导致自动驾驶失败。此时自动驾驶控制器3必须执行快速规划停车路径，换道、制动停车、后拉起EPB；
三级故障：即存在一般故障，导致车辆安全行驶不太可靠，可能引起轻度车辆损失。此时自动驾驶控制器3执行点亮双闪、靠边停车、后拉起EPB；
四级故障：即整车存在故障，但对车辆安全行驶影响轻微。此时自动驾驶可以全功能使用，则自动驾驶控制器3按原规划继续完成本次自动驾驶任务，并在完成后靠边停车，报出故障，控制模块34发出相应指令，执行机构4按指令完成自动驾驶操控。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (10)
1.一种基于双目视觉的低速无人驾驶车辆安全冗余架构，包括摄像头模组、图像验证诊断模块、自动驾驶控制器和执行机构，摄像头模组与图像验证诊断模块、自动驾驶控制器相连接，自动驾驶控制器还与图像验证诊断模块、执行机构连接，图像验证诊断模块将故障相关信息与车辆周边环境信息发送至自动驾驶控制器。
2.如权利要求1中一种基于双目视觉的低速无人驾驶车辆安全冗余架构，其特征在于，其中摄像头模组包含多个双目摄像头、MCU，分别布置在车辆前后左右侧，用以检测车辆周边环境，并将采集的信息形成图像信息发送至图像验证诊断模块与自动驾驶控制器；
其中自动驾驶控制器用于根据图像信息控制车辆；
摄像头模组中集成的MCU能诊断自身故障，并将故障信息发送至图像验证诊断模块与自动驾驶控制器，自动驾驶控制器根据故障信息对车辆进行安全控制；
图像验证诊断模块包含故障诊断模块与图像识别模块，用于对摄像头模组进行二次诊断，以保证摄像头模组故障的准确性和覆盖率，同时对摄像头数据进行处理，通过两种算法识别相同数据提升环境识别正确率。
3.如权利要求2中一种基于双目视觉的低速无人驾驶车辆安全冗余架构，其特征在于，故障诊断模块用于诊断摄像头模组检测的故障，还用于进行摄像头模组故障与摄像头模组诊断出的故障之间的互相验证；图像识别模块用于根据摄像头模组的双目摄像头采集的图像识别车辆周边环境信息。
4.如权利要求2中一种基于双目视觉的低速无人驾驶车辆安全冗余架构，其特征在于，自动驾驶控制器包含图像处理模块、图像验证模块、规划决策模块和控制模块，图像处理模块采用一种与图像识别模块不同的算法，从摄像头模组的双目摄像头采集的图像识别车辆周边环境信息；
图像验证模块用于接收图像处理模块与图像识别模块处理的车辆周边信息并进行对比，以保证环境识别的正确性；
规划决策模块用于规划车辆的行驶轨迹并决定车辆的控制参数，以完成自动驾驶策略的制定；
控制模块接收规划决策模块的控制策略，并发出控制指令给各个执行控制器。
5.如权利要求1中一种基于双目视觉的低速无人驾驶车辆安全冗余架构，其特征在于，执行机构包含动力系统、制动系统、转向系统和驻车系统，接收自动驾驶控制器发出的控制指令，并控制车辆按预期进行加速、减速、转向、停车等行为。
6.如权利要求2中一种基于双目视觉的低速无人驾驶车辆安全冗余架构，其特征在于，两种算法为SGBM算法和GC算法，SGBM算法用于自动驾驶控制器处理图像控制车辆；GC算法用于处理图像验证诊断模块里的图像。
7.一种基于双目视觉的低速无人驾驶车辆安全冗余方法，应用于权利要求1-6所述的基于双目视觉的低速无人驾驶车辆安全冗余架构，其特征是包括以下图像处理控制步骤：
步骤一、摄像头模组将采集到的图像信息同时发送给图像验证诊断模块中的图像识别模块与自动驾驶控制器；
步骤二、自动驾驶控制器中的图像处理模块采用SGBM算法识别图像，并将结果发送至图像验证模块，图像验证诊断模块中的图像识别模块采用GC算法识别图像，并将结果发送至自动驾驶控制器中的图像验证模块；
步骤三、自动驾驶控制器中的图像验证模块对比两种算法识别出的结果是否一致，如环境信息结果基本一致，则自动驾驶控制器基于图像信息规划车辆行驶轨迹及控制参数，控制模块发出相应控制指令，执行机构完成控制指令实现自动驾驶；若环境信息结果不一致，则取两种环境信息中的全部障碍物以及到障碍物的最小距离作为当前环境，自动驾驶控制器规划车辆在合适位置尽快停车，行驶车速限制在正常车速一半以下，控制模块发出相关控制指令，执行机构完成控制指令实现停车。
8.一种基于双目视觉的低速无人驾驶车辆安全冗余方法，应用于权利要求1-6所述的基于双目视觉的低速无人驾驶车辆安全冗余架构，其特征是摄像头模组未检测到故障，但图像验证诊断模块中的故障诊断模块诊断出摄像头模组故障，则图像验证诊断模块不再对图像进行处理，直接将故障信息发送至自动驾驶控制器，自动驾驶控制器规划快速停车路径，由控制模块发出指令，执行机构完成制动。
9.一种基于双目视觉的低速无人驾驶车辆安全冗余方法，应用于权利要求1-6所述的基于双目视觉的低速无人驾驶车辆安全冗余架构，其特征是摄像头模组检测出自身故障，则摄像头模组将故障信息同时发送至图像验证诊断模块和自动驾驶控制器，图像验证诊断模块中的故障诊断模块也对摄像头故障进行诊断，诊断步骤为：a.若两种故障信息不一致，自动驾驶控制器规划快速停车路径，由控制模块发出指令，执行机构完成制动；b.若两种故障信息一致，且故障对自动驾驶控制车辆有明显危害，自动驾驶控制器规划快速停车路径，由控制模块发出指令，执行机构完成制动；c.若两种故障信息一致，且故障对自动驾驶控制车辆无明显危害，则自动驾驶控制器按原规划继续完成本次自动驾驶任务，并在完成后靠边停车，报出故障，控制模块发出相应指令，执行机构按指令完成自动驾驶操控。
10.如权利要求9中一种基于视觉控制的低速无人驾驶车辆冗余方法，其特征是b步骤中，若即存在严重故障，导致车辆安全行驶完全不可靠，可能会造成严重车辆损失；此时自动驾驶控制器必须执行紧急制动停车、停车后拉起EPB、完成制动；若存在重要故障，导致车辆安全行驶不可靠，可能导致自动驾驶失败，此时自动驾驶控制器必须执行快速规划停车路径，换道、制动停车、后拉起EPB；若存在一般故障，导致车辆安全行驶不太可靠，可能引起轻度车辆损失，此时自动驾驶控制器执行点亮双闪、靠边停车、后拉起EPB。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111074136.3A CN113682323A (zh) | 2021-09-14 | 2021-09-14 | 一种基于双目视觉的低速无人驾驶车辆安全冗余架构与方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111074136.3A CN113682323A (zh) | 2021-09-14 | 2021-09-14 | 一种基于双目视觉的低速无人驾驶车辆安全冗余架构与方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113682323A true CN113682323A (zh) | 2021-11-23 |
Family
ID=78586259
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111074136.3A Pending CN113682323A (zh) | 2021-09-14 | 2021-09-14 | 一种基于双目视觉的低速无人驾驶车辆安全冗余架构与方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113682323A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114013430A (zh) * | 2021-12-23 | 2022-02-08 | 东风悦享科技有限公司 | 一种行车和泊车统一的自动驾驶车辆控制方法 |
| CN114348020A (zh) * | 2021-12-22 | 2022-04-15 | 东风悦享科技有限公司 | 一种5g远程与自动驾驶安全冗余系统及控制方法 |
| CN117274027A (zh) * | 2023-08-22 | 2023-12-22 | 北京辉羲智能科技有限公司 | 一种硬件安全冗余的图像处理芯片 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160301923A1 (en) * | 2014-01-10 | 2016-10-13 | Hitachi Automotive Systems, Ltd. | In-Vehicle-Camera Image Processing Device |
| CN110182206A (zh) * | 2019-05-06 | 2019-08-30 | 深圳市华芯技研科技有限公司 | 一种基于双摄像头的无人驾驶汽车视觉识别系统 |
| CN111874001A (zh) * | 2020-06-09 | 2020-11-03 | 北京百度网讯科技有限公司 | 自动驾驶汽车的安全控制方法、电子设备及存储介质 |
| CN112572465A (zh) * | 2019-09-12 | 2021-03-30 | 中车时代电动汽车股份有限公司 | 一种智能驾驶汽车感知系统故障处理方法 |
| KR20210089274A (ko) * | 2020-01-07 | 2021-07-16 | 현대자동차주식회사 | 자율 주행 차량의 고장 시 안전 제어 시스템 |
-
2021
- 2021-09-14 CN CN202111074136.3A patent/CN113682323A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160301923A1 (en) * | 2014-01-10 | 2016-10-13 | Hitachi Automotive Systems, Ltd. | In-Vehicle-Camera Image Processing Device |
| CN110182206A (zh) * | 2019-05-06 | 2019-08-30 | 深圳市华芯技研科技有限公司 | 一种基于双摄像头的无人驾驶汽车视觉识别系统 |
| CN112572465A (zh) * | 2019-09-12 | 2021-03-30 | 中车时代电动汽车股份有限公司 | 一种智能驾驶汽车感知系统故障处理方法 |
| KR20210089274A (ko) * | 2020-01-07 | 2021-07-16 | 현대자동차주식회사 | 자율 주행 차량의 고장 시 안전 제어 시스템 |
| CN111874001A (zh) * | 2020-06-09 | 2020-11-03 | 北京百度网讯科技有限公司 | 自动驾驶汽车的安全控制方法、电子设备及存储介质 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114348020A (zh) * | 2021-12-22 | 2022-04-15 | 东风悦享科技有限公司 | 一种5g远程与自动驾驶安全冗余系统及控制方法 |
| CN114348020B (zh) * | 2021-12-22 | 2023-09-19 | 东风悦享科技有限公司 | 一种5g远程与自动驾驶安全冗余系统及控制方法 |
| CN114013430A (zh) * | 2021-12-23 | 2022-02-08 | 东风悦享科技有限公司 | 一种行车和泊车统一的自动驾驶车辆控制方法 |
| CN114013430B (zh) * | 2021-12-23 | 2023-09-19 | 东风悦享科技有限公司 | 一种行车和泊车统一的自动驾驶车辆控制方法 |
| CN117274027A (zh) * | 2023-08-22 | 2023-12-22 | 北京辉羲智能科技有限公司 | 一种硬件安全冗余的图像处理芯片 |
| CN117274027B (zh) * | 2023-08-22 | 2024-05-24 | 北京辉羲智能科技有限公司 | 一种硬件安全冗余的图像处理芯片 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113682323A (zh) | 一种基于双目视觉的低速无人驾驶车辆安全冗余架构与方法 | |
| WO2020184297A1 (ja) | 自動車用演算システム | |
| WO2019094843A4 (en) | Systems and methods for safe and reliable autonomous vehicles | |
| CN109739230B (zh) | 驾驶轨迹生成方法、装置及存储介质 | |
| US20210179123A1 (en) | In-Vehicle Electronic Control System | |
| CN110568852A (zh) | 一种自动驾驶系统及其控制方法 | |
| CN107618506B (zh) | 一种自动驾驶装置用避障系统及其避障方法 | |
| WO2020184290A1 (ja) | 自動車用演算システム | |
| US20200055522A1 (en) | Vehicle control device | |
| CN113895450A (zh) | 一种无人驾驶车辆感知系统安全冗余系统及控制方法 | |
| CN110867132A (zh) | 环境感知的方法、装置、电子设备和计算机可读存储介质 | |
| CN110053630A (zh) | 车辆控制方法及装置 | |
| CN110398953B (zh) | 智能驾驶系统、方法及计算机可读存储介质 | |
| WO2020038446A1 (zh) | 车辆控制器、车辆控制方法及车辆 | |
| CN114954503A (zh) | 自动驾驶转向故障预测及冗余控制方法、系统及电子设备 | |
| CN114460919A (zh) | 基于域控制器的模块化无人驾驶故障诊断系统 | |
| CN117227714A (zh) | 一种自动驾驶车辆转弯避让控制方法及系统 | |
| JP2019164812A (ja) | 車両制御システム及び方法、並びに走行支援サーバ | |
| CN112373488B (zh) | 一种基于人工智能的无人驾驶系统及方法 | |
| CN111157996B (zh) | 一种停车机器人行驶安全检测方法 | |
| CN114152272A (zh) | 故障检测方法、装置、车辆、可读存储介质和程序产品 | |
| CN114248766A (zh) | 用于确保本车辆的行驶轨迹的设备和方法 | |
| CN217778599U (zh) | 一种辅助驾驶系统及车辆 | |
| US20240029480A1 (en) | Vehicle fault processing method and apparatus, server, device, and medium | |
| US20230406295A1 (en) | Vehicle for Performing Minimal Risk Maneuver and Method for Operating the Vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |