CN113232663A - 一种应用于高级辅助驾驶的控制系统 - Google Patents

一种应用于高级辅助驾驶的控制系统 Download PDF

Info

Publication number
CN113232663A
CN113232663A CN202110731075.7A CN202110731075A CN113232663A CN 113232663 A CN113232663 A CN 113232663A CN 202110731075 A CN202110731075 A CN 202110731075A CN 113232663 A CN113232663 A CN 113232663A
Authority
CN
China
Prior art keywords
module
layer
control system
camera
lane line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110731075.7A
Other languages
English (en)
Other versions
CN113232663B (zh
Inventor
蒋立伟
吴勇
檀生辉
王东
姜敏
陶振
伍旭东
吴二导
孙鸿健
胡珍珠
何志维
齐红青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhu Research Institute of Xidian University
Original Assignee
Wuhu Research Institute of Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhu Research Institute of Xidian University filed Critical Wuhu Research Institute of Xidian University
Priority to CN202110731075.7A priority Critical patent/CN113232663B/zh
Publication of CN113232663A publication Critical patent/CN113232663A/zh
Application granted granted Critical
Publication of CN113232663B publication Critical patent/CN113232663B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0018—Method for the design of a control system

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种应用于高级辅助驾驶的控制系统，包括控制模块和相机模块，所述相机模块用于采集图像数据，所述控制模块用于对图像数据进行并行处理，基于深度学习算法获取车道线的标记点坐标集，再通过三项式直线拟合实现对车道线的检测，并根据测定的车道线和控制模块中集成的多个类型的ADAS应用功能发出相应的控制命令。本发明将不同类型的ADAS应用功能集成在一个控制系统中，不仅能够降低控制系统的成本，而且增强了控制性能。采用的车道线检测方法，降低光照的影响，同时可以处理车道中间的箭头以及人行道的过滤操作。

Description

一种应用于高级辅助驾驶的控制系统
技术领域
本发明涉及一种应用于高级辅助驾驶的控制系统。
背景技术
当前ADAS(高级辅助驾驶系统)在自动驾驶领域的应用越来越广泛，包括主动控制类，如自适应巡航，自动紧急刹车，车道保持系统，预警类系统如前车防撞预警，车道偏离预警，行人碰撞预警，传统的ADAS控制系统具有以下缺陷：(1)仅实现其中一个或一部分功能，难以将全部的应用功能集成在一个控制系统中，不仅增加了成本，而且开发难度也难以简化。(2)采用了不同类型的感知部件，主要包括摄像头，激光雷达，毫米波雷达，热成像机等，多传感器带来高额成本和系统复杂度。(3)ADAS控制系统比较独立，不同厂家都采用不同的方法实现，不同的应用操作接口，从而ADAS应用软件难以在不同的平台间相互移植，甚至移植后的无法满足性能要求。最终致使ADAS系统比较难量产及批量应用。(4)在车道偏离预警(LDW)、车道保持(LKA)等横向辅助驾驶系统中，车道线是其共同并且最重要的输入信息，传统系统中车道线检测会受到光照和周围车辆的影响，需要针对不同的道路进行大量的参数标定，当车道线图像中出现箭头或者人行道或者车道线破损或者车道线变化较复杂时，出现车道线误检测，导致系统失效，带来安全事故。
发明内容
本发明的目的在于提供一种应用于高级辅助驾驶的控制系统，以解决现有技术中系统难以移植、功能集成度低、开发难度难以简化、具有高额成本和高系统复杂度的技术问题。
所述的一种应用于高级辅助驾驶的控制系统，包括控制模块和相机模块，所述相机模块用于采集图像数据，所述控制模块用于对图像数据进行并行处理，基于深度学习算法获取车道线的标记点坐标集，基于深度学习算法获取车道线的标记点坐标集，再通过直线拟合计算出直线方程系数并绘制出车道线，所述控制模块中集成有多个类型的ADAS应用功能根据测定的车道线发出相应的控制命令，所述相机模块采用集成式摄像头模块，所述集成式摄像头模块包括集成式摄像头本体、安装在所述集成式摄像头本体上的单摄像头、设于所述集成式摄像头本体前面的镜片移动机构和通过所述镜片移动机构移动的偏光镜，所述单摄像头至少有两个，两个单摄像头的朝向具有一定夹角，所述偏光镜受所述镜片移动机构移动至少覆盖在一个单摄像头的镜头前。
优选的，所述单摄像头分为摄像头一和摄像头二，其中一个单摄像头的镜头覆盖有偏光镜，二者采集的图像同时经深度学习算法处理获得对应的标记点集合一和标记点集合二，设定拟合计算所需标记点数量的最低阈值，将上述标记点集合一和标记点集合二二者的标记点数量分别与最低阈值比较，在二者均未达到最低阈值的情况下，检查采集图像时偏光镜是否被移动过，若结果为没有，则发出信号让镜片移动机构移动偏光镜，改变偏光镜覆盖的单摄像头，重复单摄像头采集图像到实现直线拟合绘制车道线的过程；若结果为有，则发出报警或打开照明装置；若标记点集合一和标记点集合二中至少有一个标记点数量达到最低阈值，则选择标记点数量较多的标记点集合进行直线拟合，进而绘制出车道线。
优选的，所述的深度学习为逆卷积操作，检测结果为前10帧检测结果的平均值求得，并向应用层的软件提供终点坐标值和直线方程系数。
优选的，所述控制系统的软件系统架构包括中间层和应用层，其中应用层包括车道线检测模块，中间层包括驱动集合层，驱动选择配置层，驱动模块配置层，模块服务层，全局应用接口层；
其中，所述驱动集合层包括所支持的芯片底层操作接口的集合；
所述驱动选择配置层包括对实际硬件平台配置相应的驱动接口；
所述模块服务层提供高级辅助驾驶系统常用的外设模块功能接口；
所述全局应用接口层提供了ADAS应用软件调用外设模块的操作接口集合。
优选的，所述驱动集合层用于添加底层驱动，底层驱动通过双向链表进行存储维护，当需要新增硬件底层驱动时，在双向链表尾部添加节点和填充操作函数。
优选的，所述驱动选择配置层使得上层能够调用相应的驱动接口，当需要匹配硬件底层驱动时，通过修改驱动选择模块中配置文件参数完成自动匹配。
优选的，所述外设模块包括CAN模块，PWM模块，ADC模块，定时器模块，通用IO模块以及以太网通讯模块；所述软件调用的操作接口集合包括模块初始化接口，CAN模块操作接口，PWM输出操作接口，ADC采集操作接口，通用IO操作接口和以太网操作接口。
优选的，所述CAN模块的功能包括CAN模块初始化和收发帧报文，所述PWM模块的功能包括PWM初始化和占空比输出，所述ADC模块的功能包括ADC初始化和读取ADC电压，所述定时器模块的功能包括定时器初始化和生成不同的事件循环，所述通用IO模块的功能包括IO输入输出配置，拉高或者拉低对应的pin脚和读取输入pin脚的电平。
优选的，操作接口集合采用双向链表和独立的可配置的驱动选择模块组合实现，通过参数配置可对相应的驱动做匹配操作。
优选的，所述控制系统的硬件系统中，所述控制模块由MCU和FPGA组成，MCU的实现数据图像采集，通讯功能，数字信号和模拟信号的采集和处理；FPGA连接到MCU，实现视觉图像的并行采集处理，FPGA基于改进的深度学习算法获取车道线标记点集，通过直线拟合计算出直线系数并绘制完整的左右车道线。
本发明的技术效果：本发明通过高性能MCU和高算力FPGA组合使用，可将不同类型的ADAS应用功能集成在一个控制系统中，其中包括自适应巡航，自动紧急刹车，车道保持功能，前车防撞预警，车道偏离预警，行人碰撞预警。不仅能够降低控制系统的成本，而且增强了控制性能。
本发明仅通过摄像头即可满足ADAS应用的横向控制需求，提供横向应用系统所需的车道线检测，无需采集雷达等其他类型的传感器的数据，从而降低ADAS控制系统成本，实现量产。集成式摄像头模块中至少有两个单摄像头，相互之间有一定夹角，减少同一方向的强光同时对两个单摄像头的影响，同时利用偏光镜降低一个摄像头上的光强，从而让该集成式摄像头模块能对强光和较弱光照环境下至少能采集到一副效果较好的图像，利用本系统中深度学习后对采集到标记点数量的阈值选择，从而能利用两幅图像之一绘制出较可靠的车道线图像。
此外本发明能够改变偏光镜覆盖的单摄像头，因此在采集图像后如果两幅图像都不符合要求，能改变偏光镜位置重新采集，这样针对特定角度光照仅仅影响一个单摄像头，而环境光照又不满足另一摄像头采集图像光照要求的情况，通过该方式能够解决这一特殊光照环境对车道线检测的影响，而对于光照过暗或摄像头本身故障导致的采集结果难以检测车道线，本方案也能将其与上述光照环境的影响区分开来并及时发出报警或打开照明。
本发明使用改进的深度学习算法实现对车道线检测，降低光照的影响，同时可以处理车道中间的箭头以及人行道的过滤操作。其中深度学习采用逆卷积操作，在原像素处理过程中可同时进行学习，而常用的卷积操作无法进行学习过程，提高了效率，此外，每帧检测结果都是前10帧检测结果的平均值，提高了准确性。
本发明的的底层驱动使用双向链表和独立的可配置的驱动选择模块组合方式，更方便扩展新的驱动，通过配置文件参数修改即可对相应驱动进行匹配，避免了直接对源码修改，提高可维护性和可扩展性。
附图说明
图1为本发明一种应用于高级辅助驾驶的控制系统的系统框架图。
图2为本发明一种应用于高级辅助驾驶的控制系统的硬件系统结构图。
图3为为本发明一种应用于高级辅助驾驶的控制系统基于深度学习实现车道线检测的流程图。
图4为为本发明一种应用于高级辅助驾驶的控制系统的软件系统架构图。
图5为本发明一种应用于高级辅助驾驶的控制系统根据图像数据对车道线进行直线拟合的具体方法的流程图。
图6、图7为本发明一种应用于高级辅助驾驶的控制系统采用的集成式摄像头的结构示意图。
附图中的标记为：1、集成式摄像头本体，2、偏光镜，3、镜片移动机构，4、单摄像头。
具体实施方式
下面对照附图，通过对实施例的描述，对本发明具体实施方式作进一步详细的说明，以帮助本领域的技术人员对本发明的发明构思、技术方案有更完整、准确和深入的理解。
如图1-4所示，本发明提供了一种应用于高级辅助驾驶的控制系统，包括控制模块和相机模块，所述相机模块用于采集图像数据，所述控制模块用于对图像数据进行并行处理，基于深度学习算法获取车道线的标记点坐标集，再通过直线拟合计算出直线方程系数并绘制出车道线，所述控制模块中集成有多个类型的ADAS应用功能根据测定的车道线发出相应的控制命令。该系统的具体工作过程和特点如下。
本系统包括硬件系统和软件系统，其中高性能MCU和高算力FPGA组成控制模块，控制模块与集成式摄像头模块组成所述硬件系统，软件系统由中间层和应用层组成。
中间层依据系统框架包括有硬件驱动层、接口服务层和应用程序统一接口层。
1.硬件驱动层包括所支持的硬件底层驱动，包括CAN底层驱动，PWM底层驱动，定时器底层驱动，IO底层驱动和ADC底层驱动。硬件驱动层连接高级辅助驾驶硬件平台，直接对寄存器的操作。该硬件驱动通过双向链表进行存储维护，当需要新增驱动时，只需在双向链表尾部添加节点和填充操作函数即可，当需要匹配驱动时，通过修改驱动选择模块中配置文件参数即可完成自动匹配。
2.接口服务层包括外设模块的功能实现，包括CAN模块功能，PWM模块功能，定时器模块功能，IO模块功能，ADC模块功能。CAN模块功能实现CAN通讯功能，包括CAN模块初始化，CAN发送报文，CAN接受报文。PWM模块功能输出占空比的PWM波形，包括PWM模块初始化，PWM模块输出占空比波形。定时器模块主要实现任务循环调度功能，在主任务循环调度中分了4个子任务任务循环调度，每个子任务循环调度时间包括1ms，10ms，100ms和1s。IO模块功能主要实现pin脚的通用输入输出功能，包括配置pin脚的输入输出，设置pin脚的输出电平，读取pin脚的输入功能。ADC模块功能实现ADC电压采集功能，包括ADC模块初始化，读取ADC通道电压值。
3.应用程序统一接口层包括统一的应用接口操作集合，应用层软件交互的全局变量定义，应用接口输入输出参数。应用层软件可以在不修改接口的情况下，可直接移植到相应的平台。
对应上述系统框架，本系统的软件系统架构采用分层设计，包括中间层和应用层，其中中间层包括驱动集合层，驱动选择配置层，驱动模块配置层，模块服务层，全局应用接口层。应用层则包括车道线检测模块。
其中，车道线检测模块基于改进的深度学习算法获取车道线标记点坐标集，通过直线拟合计算出直线方程系数并绘制完整的左右车道线。其中改进的深度学习为逆卷积操作，在处理原像素过程中进行学习，提高了效率；同时对前10帧检测结果求平均值得到当前检测结果，提高识别准确性。
所述驱动集合层包括所支持的芯片底层操作接口的集合，可根据实际硬件平台添加相应的底层驱动。
所述驱动选择配置层包括对实际硬件平台配置相应的驱动接口，使得上层能够调用这些接口。
所述模块服务层提供高级辅助驾驶系统常用的外设模块功能接口，包括CAN模块，PWM模块，ADC模块，定时器模块，通用IO模块以及以太网通讯模块。外设模块层使用模块化设计，每个外设模块是高内聚低耦合类型结构，便于扩展和维护。
所述全局应用接口层提供了ADAS应用软件调用操作接口集合，该类操作接口集合包括模块初始化接口，CAN模块操作接口，PWM输出操作接口，ADC采集操作接口，通用IO操作接口和以太网操作接口。对应用系统提供统一的操作接口，采用规范的格式命名，可简化应用系统功能的移植和复用。
所述的控制系统的操作接口集合采用双向链表和独立的可配置的驱动选择模块组合实现，通过参数配置可对相应的驱动做匹配操作。省去了直接对源码修改的步骤。
下面对接口服务接口参数做详细描述。
1.CAN模块操作接口。
CAN模块初始化输入参数包括baudrate和frame_mode,其中baudrate表示CAN通讯波特率，frame_mode表示是以标准帧收发还是扩展帧收发。CAN发送接口输入参数包括can节点，canID号和发送的数据。CAN接受接口的输入参数包括can_node表示接受数据的can节点，id表示接受报文的id号，recv_data表示接受的数据。
2.PWM模块操作接口
PWM模块初始化输入参数包括freq表示频率，duty表示占空比。PWM模块设置占空比输入参数包括channel表示指定的输出PWM通道，frq表示该通道以freq频率输出，duty表示该通道输出多少占空比。
3.定时器操作接口
定时器模块初始化中配置了定时器的超时时间1ms，以及采用中断方式实现事件循环，该定时器模块分为了4个子定时器，分别为1ms定时器，10ms定时器，100ms定时器和1s定时器，各子定时器相互独立运行。
4.IO模块操作接口
IO模块引脚配置输入参数包括port表示芯片端口，index表示该端口的引脚号。IO模块配置输出电平输入参数包括port表示芯片端口，index表示该端口的引脚号。IO模块读取输入引脚的输入参数包括port表示芯片端口，index表示该端口的引脚号，输出参数为读取的电平值。
5.ADC模块操作接口
ADC模块初始化输入参数包括adc_groupid表示初始化指定的adc组。ADC读取采样值的输入参数包括adc_group表示adc所在的组，channel表示adc通道，输出参数为读取的采样结果。
在硬件系统上，控制模块由高性能的MCU和FPGA组成。
(1)集成相机模块负责实时采集车辆周围环境图像，作为车道线检测的原始图像数据。
(2)MCU的功能包括视觉图像采集处理，CAN通讯数据收发和解析，ADC电压采集，定时子任务调度。目前采用的高性能MCU为3内核，每个内核最大达到300MHz运行频率并且支持常用的外设接口。
(3)FPGA处理单元连接到MCU，主要采用深度学习算法对图像的车道线进行检测，并向应用层软件提供终点坐标值和方程系数值。目前采用的高算力FPGA处理单元为双核最大时钟频率达667MHz，峰值计算性能为2.6GOPS和3335DMIPS。
本系统基于深度学习绘制车道线的方法包括：第一步，MCU通过集成的摄像头模块采集图像，再将图像发送到FPGA处理单元，FPGA收集图像帧作为原始图像。
第二步，FPGA采用深度学习并行处理生成车道线标记点坐标集，其中深度学习采用逆卷积网络操作，在处理原像素过程中进行学习，同时将最近10帧的检测结果求平均值获得当前检测结果。
第三步，根据检测点进行直线拟合，通过将检测点坐标集带入直线方程求得直线方程系数，可对车道线进行直线拟合。
第四步，原图上绘制出车道线，同时保存直线方程系数和终点的坐标值。
本系统采用的集成式摄像头模块包括集成式摄像头本体1、安装在所述集成式摄像头本体1上的单摄像头4、设于所述集成式摄像头本体1前面的镜片移动机构3和通过所述镜片移动机构3移动的偏光镜2，所述单摄像头4至少有两个，两个单摄像头4的朝向具有一定夹角，所述偏光镜2受所述镜片移动机构(3)移动至少覆盖在一个单摄像头4的镜头前。
所述单摄像头4分为摄像头一和摄像头二，其中一个单摄像头4的镜头覆盖有偏光镜2，如图6-7所示，集成式摄像头本体1具有采集端的前端面为弧形，镜片移动机构3包括设于弧形的前端面上的弧形导轨和设于集成式摄像头本体1内的驱动电机，弧形导轨对称设置，偏光镜的镜框与弧形导轨内侧的弧形槽滑动配合，驱动电机通过齿轮齿条一类的传动机构驱动偏光镜沿弧形导轨上下滑动，实现了对不同单摄像头4镜头覆盖状态的转化。
如图5所示，两个单摄像头4采集的图像同时经深度学习算法处理获得对应的标记点集合一和标记点集合二，设定拟合计算所需标记点数量的最低阈值，将上述标记点集合一和标记点集合二二者的标记点数量分别与最低阈值比较，在二者均未达到最低阈值的情况下，检查采集图像时偏光镜2是否被移动过，若结果为没有，则发出信号让镜片移动机构3移动偏光镜2，改变偏光镜2覆盖的单摄像头4，重复单摄像头4采集图像到实现直线拟合绘制车道线的过程；若结果为有，则发出报警或打开照明装置；若标记点集合一和标记点集合二中至少有一个标记点数量达到最低阈值，则选择标记点数量较多的标记点集合进行直线拟合，进而绘制出车道线。
本系统有下列优点，(1)采用改进的深度学习对获取车道线标记点，针对不同道路场景和车辆周围环境，无需大量参数标定，同时降低ADAS系统对车道线的误检测，提高系统检测的鲁棒性和精确度。(2)底层驱动集合采用双向链表和独立的驱动选择配置项模块组合方式，通过参数配置匹配相应的驱动，具有更强的扩展性。此外，统一应用操作接口满足应用软件在不同的平台上灵活移植。
上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的发明构思和技术方案进行的各种非实质性的改进，或未经改进将本发明构思和技术方案直接应用于其它场合的，均在本发明保护范围之内。

Claims (10)

1.一种应用于高级辅助驾驶的控制系统，包括控制模块和相机模块，所述相机模块用于采集图像数据，其特征在于：所述控制模块用于对图像数据进行并行处理，基于深度学习算法获取车道线的标记点坐标集，基于深度学习算法获取车道线的标记点坐标集，再通过直线拟合计算出直线方程系数并绘制出车道线，所述控制模块中集成有多个类型的ADAS应用功能根据测定的车道线发出相应的控制命令，所述相机模块采用集成式摄像头模块，所述集成式摄像头模块包括集成式摄像头本体(1)、安装在所述集成式摄像头本体(1)上的单摄像头(4)、设于所述集成式摄像头本体(1)前面的镜片移动机构(3)和通过所述镜片移动机构(3)移动的偏光镜(2)，所述单摄像头(4)至少有两个，两个单摄像头(4)的朝向具有一定夹角，所述偏光镜(2)受所述镜片移动机构(3)移动至少覆盖在一个单摄像头(4)的镜头前。
2.根据权利要求1所述的一种应用于高级辅助驾驶的控制系统，其特征在于：所述单摄像头(4)分为摄像头一和摄像头二，其中一个单摄像头(4)的镜头覆盖有偏光镜(2)，二者采集的图像同时经深度学习算法处理获得对应的标记点集合一和标记点集合二，设定拟合计算所需标记点数量的最低阈值，将上述标记点集合一和标记点集合二二者的标记点数量分别与最低阈值比较，在二者均未达到最低阈值的情况下，检查采集图像时偏光镜(2)是否被移动过，若结果为没有，则发出信号让镜片移动机构(3)移动偏光镜(2)，改变偏光镜(2)覆盖的单摄像头(4)，重复单摄像头(4)采集图像到实现直线拟合绘制车道线的过程；若结果为有，则发出报警或打开照明装置；若标记点集合一和标记点集合二中至少有一个标记点数量达到最低阈值，则选择标记点数量较多的标记点集合进行直线拟合，进而绘制出车道线。
3.根据权利要求1或2所述的一种应用于高级辅助驾驶的控制系统，其特征在于：所述的深度学习为逆卷积操作，检测结果为前10帧检测结果的平均值求得，并向应用层的软件提供终点坐标值和直线方程系数。
4.根据权利要求1或2所述的一种应用于高级辅助驾驶的控制系统，其特征在于：所述控制系统的软件系统架构包括中间层和应用层，其中应用层包括车道线检测模块，中间层包括驱动集合层，驱动选择配置层，驱动模块配置层，模块服务层，全局应用接口层；
其中，所述驱动集合层包括所支持的芯片底层操作接口的集合；
所述驱动选择配置层包括对实际硬件平台配置相应的驱动接口；
所述模块服务层提供高级辅助驾驶系统常用的外设模块功能接口；
所述全局应用接口层提供了ADAS应用软件调用外设模块的操作接口集合。
5.根据权利要求4所述的一种应用于高级辅助驾驶的控制系统，其特征在于：所述驱动集合层用于添加底层驱动，底层驱动通过双向链表进行存储维护，当需要新增硬件底层驱动时，在双向链表尾部添加节点和填充操作函数。
6.根据权利要求5所述的一种应用于高级辅助驾驶的控制系统，其特征在于：所述驱动选择配置层使得上层能够调用相应的驱动接口，当需要匹配硬件底层驱动时，通过修改驱动选择模块中配置文件参数完成自动匹配。
7.根据权利要求4所述的一种应用于高级辅助驾驶的控制系统，其特征在于：所述外设模块包括CAN模块，PWM模块，ADC模块，定时器模块，通用IO模块以及以太网通讯模块；所述软件调用的操作接口集合包括模块初始化接口，CAN模块操作接口，PWM输出操作接口，ADC采集操作接口，通用IO操作接口和以太网操作接口。
8.根据权利要求7所述的一种应用于高级辅助驾驶的控制系统，其特征在于：所述CAN模块的功能包括CAN模块初始化和收发帧报文，所述PWM模块的功能包括PWM初始化和占空比输出，所述ADC模块的功能包括ADC初始化和读取ADC电压，所述定时器模块的功能包括定时器初始化和生成不同的事件循环，所述通用IO模块的功能包括IO输入输出配置，拉高或者拉低对应的pin脚和读取输入pin脚的电平。
9.根据权利要求4所述的一种应用于高级辅助驾驶的控制系统，其特征在于：操作接口集合采用双向链表和独立的可配置的驱动选择模块组合实现，通过参数配置可对相应的驱动做匹配操作。
10.根据权利要求4所述的一种应用于高级辅助驾驶的控制系统，其特征在于：所述控制系统的硬件系统中，所述控制模块由MCU和FPGA组成，MCU的实现数据图像采集，通讯功能，数字信号和模拟信号的采集和处理；FPGA连接到MCU，实现视觉图像的并行采集处理，FPGA基于改进的深度学习算法获取车道线标记点集，通过直线拟合计算出直线系数并绘制完整的左右车道线。
CN202110731075.7A 2021-06-29 2021-06-29 一种应用于高级辅助驾驶的控制系统 Active CN113232663B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110731075.7A CN113232663B (zh) 2021-06-29 2021-06-29 一种应用于高级辅助驾驶的控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110731075.7A CN113232663B (zh) 2021-06-29 2021-06-29 一种应用于高级辅助驾驶的控制系统

Publications (2)

Publication Number Publication Date
CN113232663A true CN113232663A (zh) 2021-08-10
CN113232663B CN113232663B (zh) 2022-10-04

Family

ID=77141223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110731075.7A Active CN113232663B (zh) 2021-06-29 2021-06-29 一种应用于高级辅助驾驶的控制系统

Country Status (1)

Country Link
CN (1) CN113232663B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113635845A (zh) * 2021-08-30 2021-11-12 三一专用汽车有限责任公司 集成辅助驾驶系统及作业机械

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10187930A (ja) * 1996-12-19 1998-07-21 Hitachi Ltd 走行環境認識装置
CN105329238A (zh) * 2015-12-04 2016-02-17 北京航空航天大学 一种基于单目视觉的自动驾驶汽车换道控制方法
CN105564436A (zh) * 2016-02-24 2016-05-11 深圳市中天安驰有限责任公司 一种高级驾驶辅助系统
WO2016188523A1 (de) * 2015-05-22 2016-12-01 Continental Teves Ag & Co. Ohg Verfahren zur schätzung von fahrstreifen
CN108830159A (zh) * 2018-05-17 2018-11-16 武汉理工大学 一种前方车辆单目视觉测距系统及方法
CN109993074A (zh) * 2019-03-14 2019-07-09 杭州飞步科技有限公司 辅助驾驶的处理方法、装置、设备及存储介质
EP3566925A1 (de) * 2018-05-08 2019-11-13 MAN Truck & Bus SE (teil-) autonomes kraftfahrzeug und verfahren zum betreiben desselben
CN110567469A (zh) * 2018-06-05 2019-12-13 北京市商汤科技开发有限公司 视觉定位方法、装置、电子设备及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10187930A (ja) * 1996-12-19 1998-07-21 Hitachi Ltd 走行環境認識装置
WO2016188523A1 (de) * 2015-05-22 2016-12-01 Continental Teves Ag & Co. Ohg Verfahren zur schätzung von fahrstreifen
CN105329238A (zh) * 2015-12-04 2016-02-17 北京航空航天大学 一种基于单目视觉的自动驾驶汽车换道控制方法
CN105564436A (zh) * 2016-02-24 2016-05-11 深圳市中天安驰有限责任公司 一种高级驾驶辅助系统
EP3566925A1 (de) * 2018-05-08 2019-11-13 MAN Truck & Bus SE (teil-) autonomes kraftfahrzeug und verfahren zum betreiben desselben
CN108830159A (zh) * 2018-05-17 2018-11-16 武汉理工大学 一种前方车辆单目视觉测距系统及方法
CN110567469A (zh) * 2018-06-05 2019-12-13 北京市商汤科技开发有限公司 视觉定位方法、装置、电子设备及系统
CN109993074A (zh) * 2019-03-14 2019-07-09 杭州飞步科技有限公司 辅助驾驶的处理方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113635845A (zh) * 2021-08-30 2021-11-12 三一专用汽车有限责任公司 集成辅助驾驶系统及作业机械

Also Published As

Publication number Publication date
CN113232663B (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
CN109949594B (zh) 实时的交通灯识别方法
CN106154834B (zh) 用于控制无人驾驶车辆的方法和装置
CN109508580B (zh) 交通信号灯识别方法和装置
EP3885993A1 (en) Robust object detection and classification using rgb + events
CN110097620A (zh) 基于图像和三维激光的高精度地图创建系统
CN109934108B (zh) 一种多目标多种类的车辆检测和测距系统及实现方法
CN110796007A (zh) 场景识别的方法与计算设备
CN113232663B (zh) 一种应用于高级辅助驾驶的控制系统
CN112164155B (zh) 一种车辆数据的采集方法和装置
CN111382670A (zh) 使用驾驶员注意力信息的语义分割
CN114995189A (zh) 一种基于摄像头驾驶辅助系统的测试装置及测试方法
CN109559536A (zh) 交通灯、交通灯识别方法、装置、设备及存储介质
CN110399898A (zh) 一种无人车辆多传感器信息融合体系架构
CN115393684A (zh) 一种基于自动驾驶场景多模态融合的抗干扰目标检测方法
CN114881241A (zh) 基于深度学习的车道线检测方法、装置及自动驾驶方法
CN112572471B (zh) 自动驾驶方法、装置、电子设备及计算机存储介质
CN116304992A (zh) 传感器时差确定方法、装置、计算机设备和存储介质
CN204956372U (zh) 一种基于车辆can总线和adas系统的行车记录装置
CN214450744U (zh) 一种集成式辅助驾驶装置
WO2019081415A1 (en) USE OF DATA FROM A RADAR SENSOR IN PERCEPTION BASED ON AUTOMATIC LEARNING
US20210142216A1 (en) Method of training a machine learning system for an object recognition device
WO2022046831A9 (en) Determining traffic light labels and classification quality from infrastructure signals
CN113449557A (zh) 一种数据处理系统及方法
TWI797526B (zh) 多感測器自動駕駛系統
CN115147786A (zh) 行车智能系统学习的开发装置及其开发方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 241000 building 7, science and Technology Industrial Park, high tech Industrial Development Zone, Yijiang District, Wuhu City, Anhui Province

Applicant after: Wuhu Research Institute of Xidian University

Address before: No. 8, Wen Jin Xi Road, Yijiang District, Wuhu, Anhui Province

Applicant before: Wuhu Research Institute of Xidian University

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant