CN108177651A - 一种多传感器融合快速无人车探测避障系统 - Google Patents

一种多传感器融合快速无人车探测避障系统 Download PDF

Info

Publication number
CN108177651A
CN108177651A CN201711230456.7A CN201711230456A CN108177651A CN 108177651 A CN108177651 A CN 108177651A CN 201711230456 A CN201711230456 A CN 201711230456A CN 108177651 A CN108177651 A CN 108177651A
Authority
CN
China
Prior art keywords
unmanned vehicle
laser radar
obstacle avoidance
group
avoidance system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711230456.7A
Other languages
English (en)
Inventor
张好明
李华京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201711230456.7A priority Critical patent/CN108177651A/zh
Publication of CN108177651A publication Critical patent/CN108177651A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60LPROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L58/00Methods or circuit arrangements for monitoring or controlling batteries or fuel cells, specially adapted for electric vehicles
    • B60L58/10Methods or circuit arrangements for monitoring or controlling batteries or fuel cells, specially adapted for electric vehicles for monitoring or controlling batteries
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60LPROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L2240/00Control parameters of input or output; Target parameters
    • B60L2240/40Drive Train control parameters
    • B60L2240/54Drive Train control parameters related to batteries
    • B60L2240/547Voltage
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/60Other road transportation technologies with climate change mitigation effect
    • Y02T10/70Energy storage systems for electromobility, e.g. batteries
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02T90/10Technologies relating to charging of electric vehicles
    • Y02T90/16Information or communication technologies improving the operation of electric vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Sustainable Development (AREA)
  • Sustainable Energy (AREA)
  • Power Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明属于无人驾驶技术领域,公开了一种多传感器融合快速无人车探测避障系统。本发明包括控制系统和车顶激光雷达、车载单目视觉摄像头以及前方激光雷达组和后方激光雷达组,车顶激光雷达用于探测到无人车前方道路的起伏以及与前方激光雷达组一并探测无人车前方运动路径中的障碍物情况;前方激光雷达组还用于探测无人车左前方和右前方运动路径中的障碍物情况;后方激光雷达组用于探测无人车后方的障碍物情况;车载单目视觉摄像头用于识别无人车前方的标示和与车顶激光雷达及前方激光雷达组配合探测障碍物情况;控制系统包括上位机和下位机。本发明价格低廉、性价比相对较高,具有很强的实用性。

Description

一种多传感器融合快速无人车探测避障系统
技术领域
本发明属于无人驾驶技术领域,具体涉及一种多传感器融合快速无人车探测避障系统。
背景技术
伴随着经济的快速发展,汽车已经成为了人们生活中越来越重要的组成部分。驾驶员们的疏忽大意都会导致许多事故,每年在全世界交通事故中死亡的人数大约有100万人,我国每年大概有近10万人死于交通事故。既然驾驶员失误百出,汽车制造商们当然要集中精力设计能确保汽车安全的系统,安全是拉动无人驾驶车需求增长的主要因素之一;其次,我国大城市里严重的交通阻塞让开车并非那么美好,让人工智能的无人车代替有人驾驶可以完全解决交通阻塞等问题;另外,糟糕的空气状况也是推广无人驾驶汽车的“催化剂”。
无人驾驶汽车是通过车载传感系统感知道路环境,自动规划行车路线并控制车辆到达预定目标的智能汽车。它是利用车载传感器来感知车辆周围环境,并根据感知所获得的道路、车辆位置和障碍物信息,控制车辆的转向和速度,从而使车辆能够安全、可靠地在道路上行驶。无人驾驶汽车集自动控制、体系结构、人工智能、视觉计算等众多技术于一体,是计算机科学、模式识别和智能控制技术高度发展的产物,也是衡量一个国家科研实力和工业水平的一个重要标志,在国防和国民经济领域具有广阔的应用前景 。
目前,无人车发展还处于起步阶段,各国都相继开始了智能无人驾驶汽车的研究。无论是何种程度的智能驾驶,第一步都是感知,也就是感知车辆周边复杂的路况环境,在这个基础上才能做出相应的路径规划和驾驶行为决策,感知传感器的选择是无人车成功避障的前提。常用的测距感知传感器有:超声波测距传感器、红外测距传感器、CCD视觉系统、毫米波雷达、微波雷达和激光雷达等等。
激光雷达实际上是一种工作在光学波段(特殊波段)的雷达,激光雷达属于主动探测,不依赖于外界光照条件或目标本身的辐射特性,它只需发射自己的激光束,通过探测发射激光束的回波信号来获取目标信息。激光波长短,可发射发散角非常小的激光束,多路径效应小,可探测低空/超低空目标。单线激光雷达是激光雷达中的一种,由于只有一路发射和一路接收,结构相对简单,使用也比较方便;单线激光雷达扫描周期较短,对前进方向环境的扫描速度快,角度分辨率较高,雷达本身体积较小,重量相对较轻,功耗也比较低,可靠性较高,成本相对低廉;单线激光雷达探测范围相对较广,能提供大量环境扫描点距离信息,可以为控制决策提供较大的方便,以上优点使得单线激光雷达成为了无人车感知未知环境的一个优先选择。
一般普通的简易无人驾驶车结构如图1,探测和避障系统原理如图2。无人驾驶车由(单线或多线)激光雷达传感器探测系统探测环境并输送给PC机(上位机),然后PC机经过编码处理,发送控制指令给基于单片机的下位机,单片机控制模块经过通讯解码后发送控制指令给直流无刷电机控制器,控制器驱动多个直流无刷电机运动;单片机控制系统根据外围环境的变化来调节电机的速度,进而控制无人车在实际环境中的位置,实现无人车在实际工况当中的行走和避障,现有的简易无人车控制系统均是由单个单片机控制单个单线激光雷达传感器或多线激光雷达传感器来实现上述功能的。
但是,上述技术方案长时间运行会发现存在着诸多问题,主要有:
(1)由于无人车受周围环境不稳定因素干扰,基于单片机的控制器抗干扰能力较差,经常会出现异常,引起无人车失控。
(2)现有的无人驾驶车均采用低级的DSP、ARM系列芯片,工作频率最大才100兆赫兹左右,无法满足无人车复杂数据的快速运算。
(3)受无人车PC机性能影响,无人车的传感器采集数据无法快速计算和储存。
(4)单线激光雷达获取的数据为2D数据,无法区别目标的高度等信息,一些小型物体会被忽略,最终成为障碍物,单一单线激光雷达传感器导航成为车载领域的瓶颈。
(5)单一的单线激光雷达无法获取路面信息,需要配合其它传感器对地面信息进行读取和判别。
(6)多线激光雷达虽然可以实现2.5D或3D数据,可以判断障碍物的高度,处理地面的信息等,但是价格相对比较昂贵,一台64束的激光雷达售价高达70万人民币,无法大面积推广使用。
(7)单一的单线激光雷达无法探测到弯角、路崖等信息,需要配合其它传感器使用才可以读取到周围障碍物信号或定位传感器标志。
(8)现在的无人车基本上只考虑前向探测和避障,均未考虑后方的障碍物信息,有的时候后方出现的障碍物会伤害到无人车本体,而无人车无法实现加速躲避。
(9)基于单一的单线激光雷达无人车在刚启动瞬间存在着一个探测盲区,一旦有障碍物处于盲区,易于产生交通事故。
(10)基于单一的单线激光雷达无人车在实际行驶过程中也会出现探测盲区,一旦在运动过程中有障碍物进入运动盲区也会产生交通事故。
(11)基于单线激光雷达的无人车对前方道路图像采集速度较慢,影响了无人车快速行进。
(12)在长距离行驶中,基于单线激光雷达的无人车对周围环境辨认较差,无法实现精确定位。
(13)在规则交通中,无人车行驶路径的地面上具有各种交通标志,但是单线激光雷达无法辨认,失去了无人车快速行进时的辅助导航。
(14)在规则交通中,无人车行驶路径的空中具有红绿灯等标志,但是单线激光雷达无法辨认,削弱了无人车快速行进时的安全性。
(15)受激光雷达价格和性能的影响,一般性价比比较高的激光雷达探测范围不足100米,这个距离不利于无人车快速行进障碍物的判断。
视觉传感器的原理和结构与人类的感官组织类似,并且视觉传感器具有体积小、成本低、安装方便、隐蔽性好,具有探测范围广和包含的信息量大等优点。在无人车环境探测系统中加入摄像装置可以实时感应周围的环境,收集数据,进行静态、动态物体的辨识、侦测与追踪,并结合导航仪地图数据,进行系统的运算与分析,可以预先让控制器察觉到可能发生的危险,有效增加汽车驾驶的舒适性和安全性。
因此,需要对现有的基于DSP或ARM控制的单线激光雷达或多线激光雷达的无人驾驶探测系统进行重新设计,引入探测范围较广、且性价比较高的视频采集型传感器,使得无人车可以较远的发现障碍物并实现快速避障。
发明内容
本发明目的是:为了克服现有技术中存在的不足,本发明提供一种多传感器融合快速无人车探测避障系统。
具体地说,本发明是采用以下技术方案实现的,包括控制系统和车顶激光雷达,还包括车载单目视觉摄像头、配置在无人车车体下部的前方激光雷达组和后方激光雷达组,其中所述车顶激光雷达用于探测到无人车前方道路的起伏以及与前方激光雷达组一并探测无人车前方运动路径中的障碍物情况;所述前方激光雷达组还用于探测无人车左前方和右前方运动路径中的障碍物情况;所述后方激光雷达组用于探测无人车后方的障碍物情况;所述车载单目视觉摄像头用于识别无人车前方的标示和与车顶激光雷达及前方激光雷达组配合探测障碍物情况;所述控制系统包括上位机和下位机,上位机实时接收各激光雷达反馈信号并解码,然后与下位机通讯并传输输入控制信号给下位机;下位机实时计算车载单目视觉摄像头的图像采集数据,并结合解码的输入控制信号控制无人车行驶。
进一步而言,所述车顶激光雷达为1颗单线激光雷达,位于略高于车顶且与水平面近似成斜向下5~15度的车顶前部中心位置。
进一步而言,所述车顶激光雷达为LMS151单线激光雷达。
进一步而言,所述前方激光雷达组由3颗单线激光雷达组成,其中有两颗分别位于车头的左前部和右前部,两者中心方向均远离无人车前进方向有一个近似30度的夹角,剩余一颗位于两者的中心位置,其中心方向与无人车前进方向一致。
进一步而言,所述前方激光雷达组的设置高度约离地40cm。
进一步而言,所述前方激光雷达组均为LMS151单线激光雷达。
进一步而言,所述后方激光雷达组由两颗与水平面平行的单线激光雷达组成,分别位于车尾的两侧。
进一步而言,所述后方激光雷达组设置高度约离地40cm~60cm。
进一步而言,所述后方激光雷达组均为LMS122单线激光雷达。
进一步而言,还包括设置在无人车底部的前方超声波传感器组和后方超声波传感器组,所述前方超声波传感器组用于无人车前方盲区探测避障,所述后方超声波传感器组用于无人车后方盲区探测避障,所述下位机与前方超声波传感器组和后方超声波传感器组通讯。
进一步而言,所述前方超声波传感器组由5颗超声波传感器组成。
进一步而言,所述后方超声波传感器组由5颗超声波传感器组成。
进一步而言,所述上位机为英特尔的NUC 微型电脑。
进一步而言,所述下位机为STM32F7 MCU。
进一步而言,所述控制系统通过无线装置与无人车总站通讯,当无人车与总站失去通讯时,下位机实施自动停车控制。
进一步而言,所述下位机还通过车载单目视觉摄像头读取地面上的站点标识。
进一步而言,无人车为电动车,所述控制系统根据电动车蓄电池的内阻及温度参数对蓄电池的端电压进行检测。
进一步而言,所述车载单目视觉摄像头为CCD黑白摄像头。
本发明的有益效果如下:
1、在运动过程中,充分考虑了电池在这个系统中的作用,基于ARM+NUC控制器时刻都在对无人车的运行状态进行监测和运算,避免了大电流的产生,所以从根本上解决了大电流对电池的冲击,避免了由于大电流放电而引起的蓄电池过度老化现象的发生。
2、在快速放电过程中,对端电压检测过程中,引入了蓄电池的内阻、温度等参数,使得端电压更接近于实际参数,有利用电池的低压保护。
3:由NUC处理无人车的多单线激光雷达的数据融合,使得控制比较简单,大大提高了运算速度,解决了单ARM软件运行较慢的瓶颈,缩短了开发周期短,并且程序可移植能力强。
4:本发明节省了控制板占用空间,而且还实现了无人车多个独立区域的有效探测和避障,有利于提高无人车系统的稳定性和动态性能。
5:由于本发明的控制器采用NUC处理大量单线激光雷达传感器的数据与算法,并充分考虑了周围的干扰源,把ARM从繁重的工作量中解脱出来,有效地防止了运动控制主程序的“跑飞”,无人车抗干扰能力大大增强。
6:CCD摄像机图像数据采集比实用型单线激光雷达探测的距离远,使得无人车的障碍物探测范围更广,有利于无人车的加速和减速,提高了无人车的动态性能。
7:ARM控制器利用储存的样本特征库匹配CCD摄像机的采集图像数据,可有效判断出障碍物是人或是何种物体,从而可有效估算出离这些障碍物的距离,提前实现避障预警。
8:基于黑白CCD摄像机单目视觉系统可有效探测出无人车运行方向周围凸出地面的障碍物,不仅可以提高避障的准确性,而且这些障碍物还可以为无人车导航提供精确定位。
9:基于黑白CCD摄像机单目视觉系统可有效分辨出规则交通中的车道检测线、直行和转弯等道路标志,无人车可以依靠这些标志修正自己的位置和姿态,提高了无人车自由行驶时的自主导航的稳定性和精确性。
10:基于黑白CCD摄像机单目视觉系统可有效分辨出规则交通中的绿灯、黄灯和红灯等交通提示,无人车可以根据这些信息调整自身的速度满足行驶、停车等需要,提高了无人车自由行驶时的安全性。
11:由于无人车顶层的单线激光雷达与地面具有一定的角度,这个角度可以帮助顶层单线激光雷达提前精确定位CCD摄像机发现的运动路面的起伏,防止路面破损所引起的深坑影响到无人车正常的行驶。
12:由于无人车顶层的单线激光雷达与地面具有一定的角度,这个角度可以帮助顶层单线激光雷达精确定位CCD摄像机发现运动路面临时遗落的小型障碍物,提前通知无人车控制系统实现避让,保障了无人车正常的行驶。
13:前方多单线激光雷达传感器融合系统,可以精确定位CCD摄像机发现的障碍物所在位置,提前通知无人车控制系统实现避让,有利于提高无人车行驶的快速性和安全性。
14:前方多单线激光雷达传感器融合系统,由于单线激光雷达传感器的方向有交叉,可精确探测到CCD摄像机发现的两侧柱状物体,可为无人车前进定位提供一定的帮助。
15:前方多单线激光雷达传感器融合系统,由于单线激光雷达传感器的方向有交叉,可精确探测到CCD摄像机发现的两侧空闲区域,可为无人车前进转弯和避障提供一定的帮助。
16:后方多单线激光雷达传感器融合系统,可有效探测到无人车与后方移动障碍物的距离,当遇到紧急情况时,无人车可以在控制器帮助下加速逃离危险区域,起到保护无人车本体的作用。
17:由多超声波传感器组成的前盲区检测系统可有效消除无人车刚启动向前加速时出现的近距离盲区,提高了无人车向前启动加速时的安全性和可靠性。
18:由多超声波传感器组成的后盲区检测系统可有效消除无人车刚启动倒车时出现的近距离盲区,提高了无人车倒车时的安全性和可靠性。
19:由多超声波传感器组成的前盲区检测系统可有效消除无人车正常行驶时实时出现的近距离盲区,进一步提高了无人车安全性和可靠性。
20:由多超声波传感器组成的后盲区检测系统可有效消除无人车倒车时实时出现的近距离盲区,进一步提高了无人车安全性和可靠性。
21:对于本结构的无人车来说,为了满足大范围多站点运行,加入了具有一定冗余度的站点传感器,不仅利于无人车的定位,而且也有利于总站对无人车的追踪。
附图说明
图1为普通简易无人驾驶车二维结构图。
图2为普通无人车探测和避障系统原理图。
图3为多传感器融合无人驾驶车二维结构图。
图4为前方单线激光雷达组与CCD摄像机排列二维结构图。
图5为前方盲区超声波传感器组排列二维结构图。
图6为后方单线激光雷达组和超声波组排列二维结构图。
图7为多传感器融合无人车探测和避障系统原理图。
图8为为多传感器融合无人车运行示意图。
具体实施方式
下面结合实施例并参照附图对本发明作进一步详细描述。
实施例1:
本发明的一个实施例,其具体方案如下所述。
本实施例的无人车传感器结构排列如图3、图4、图5、图6所示。具体而言,SICK公司的激光雷达采用成熟的激光--时间飞行原理及多重回波技术,非接触式检测,可以根据现场需要,设置各种图形的保护区域,且可以根据现场的需要,随时简单的修改图形,通过内部滤波及多重回波技术使得传感器具有可靠的抗干扰性能。LMS151和LMS122是SICK公司新推出的高性能分别针对近距离探测的激光雷达,LMS151系列针对10%反射率的物体,距离可以达到50米,LMS122检测距离最远可到达20米。鉴于以上特点,本实施例采用基于LMS1XXX系列的激光雷达组来组成无人车近距离前方和后方障碍物探测和保护系统:本实施例采用一颗位置略高于车顶、与水平面近似成5~15度、斜向下、位于车顶前部中心位置的LMS151-10100单线激光雷达L1配合一组离地大概40cm与水平面平行的LMS151-10100单线激光雷达(一般为3颗,分别为L2、L3、L4)组成精确的前方近距离探测和避障系统,其中水平雷达组中L2、L4分别位于车头的左前部和右前部,他们中心方向均远离运动方向有一个近似30度的夹角,可分别有效探测无人车左侧和右侧的障碍物,L3位于L2和L4的中心位置,其中心方向与运动方向一致;本实施例采用一组离地大概40cm~60cm与水平面平行 LMS122-10100激光雷达组(一般为2颗,分别为L5、L6)来组成无人车后方探测和保护系统。
摄像头在选择时需要具备下面几个特点:看得足够远,看的越远就能有更加充裕的时间做出判断和反应,从而避免或者降低事故发生造成的损失。但是看的越远,带来的问题是视角越窄,所以需要综合考虑。动态性能好,高动态范围的黑白相机不仅可以有效抑制光晕现象,有利于提高成像质量,对后续的图像处理十分有利,而且在光线不足地区及夜间无法安装照明设备的区域,仅监视景物的位置或移动时,黑白摄像机明显优越于彩色摄像机;单目视觉相对于双目视觉具有计算量小,实时性较好的优点,本实施例采用CCD黑白相机的单目视觉来配合激光雷达来进行远距离环境探测和避障。
由于传感器组合的原因,无人车在启动向前行驶时一般在前方运动区域存在一个盲区,为了防止启动时发生碰撞,本实施例在无人车的底部加入一组由超声波传感器US1、US2、US3、US4、US5组成的前盲区探测和避障系统。在无人车启动向前行驶瞬间,前盲区探测系统工作,如果在无人车启动加速向前行驶时不存在障碍在安全区域,无人车会转入多单线激光雷达组和CCD单目视觉融合传感导航状态;由于传感器组合的原因,无人车在启动向后倒车时一般在后方运动区域存在一个盲区,为了防止启动时发生碰撞,本实施例在无人车的底部加入一组由超声波传感器US7、US8、US9、US10、US11组成的后盲区探测和避障系统。在无人车启动向后倒车瞬间,后盲区探测系统工作,如果在无人车启动加速向后倒车时不存在障碍在安全区域,无人车会转入多单线激光雷达组和CCD单目视觉融合传感导航状态。
STM公司所生产的全新STM32F7 MCU系列产品,是全球第一个量产且拥有32位元ARM Cortex-M7处理器的微控制器,产品都配备拥有浮点运算单位及DSP扩充功能的Cortex-M7核心,运算速度最高 216MHz;具有面向内核、外设和存储器互连的AXI和多AHB总线矩阵,采用6级超标量流水线和浮点单元(Floating Point Unit ,FPU);两个通用DMA控制器和一个专用于图形加速器的DMA;外设速度独立于CPU速度(双时钟支持),使得系统时钟变化不影响外设工作;相比之前的STM32系列,拥有更丰富的外设;上述出色的能效归功于意法半导体的市场领先的90纳米制造工艺、独有的减少闪存访存时间、先进的主频和功耗优化技术,在所有寄存器和SRAM内容都能继续保持的停止模式下,具有100μA的典型电流消耗,同时STM32F7具有优良的指令与管脚兼容性:Cortex-M7向下兼容Cortex-M4指令集,STM32F7系列与STM32F4系列引脚兼容;STM32F7 MCU系列产品将ARM Cortex-M7效能超越早期核心(譬如Cortex-M4)的优势运用到极致,效能达到将近DSP 两倍,上述特点使得STM32F7非常适合替代STM32F4系列芯片做无人车多传感器融合的数据处理。
因此,为克服现有无人车稳定性差、快速性差和性价比较差的缺点,本实施例舍弃了现有无人车所采用的单一单线激光雷达或多线激光雷达工作模式,使用了基于英特尔第七代NUC 微型电脑+ARM(最新嵌入式STM32F767)的全新双核控制模式。为了减少无人车的整体硬件成本和提高无人车探测的距离,采用多单线激光雷达+CCD摄像机+超声波传感器融合技术来实现障碍物的探测和避障。控制板以STM32F767为处理核心,实时接收基于英特尔第七代NUC 微型电脑组成的上位机多传感器数字融合信号,并实现CCD摄像机的图像采集信号处理和各种响应中断,实现与总站的实时数据通信和存储。
为了提高运算速度,保证无人车控制系统的稳定性和可靠性,本实施例在基于STM32F767的ARM控制器中引入英特尔的第七代NUC 微型电脑,形成基于ARM+NUC的双核控制器,此控制器把多单线激光雷达探测和避障系统控制器系统集中设计,并充分考虑电池在这个系统的作用,实现无人车在各个区域的探测和避障。把无人车控制系统中工作量最大的多单线激光雷达信号处理交给NUC 微型电脑处理,充分发挥NUC 微型电脑数据处理速度较快的特点,而盲区探测和避障、CCD黑白相机的单目视觉、人机界面、在线输出等功能交给STM32F767完成,这样就实现了ARM与NUC 微型电脑的分工,同时二者之间实时进行通讯进行数据交换和调用。
对于本实施例的基于ARM+NUC双核控制器,在电源打开状态下,ARM控制器和NUC控制器首先完成初始化,然后车载电脑NUC通过无人车控制总站调取无人车行驶路径和地图信息,随后盲区传感器和基于CCD的单目视觉开始工作,并与ARM控制器通讯,ARM控制器确定无障碍物进入工作区域后开启无人车行走模式并实时计算CCD摄像机的图像采集数据,同时与NUC控制器相互通讯,NUC实时接收激光雷达反馈信号并解码,然后与ARM控制器通讯并传输输入控制信号给ARM控制器,ARM控制器通过解码输入控制信号精确控制直流无刷伺服电机,直流无刷伺服电机经机械装置变换动力后驱动无人车行驶,并实时反馈位移、速度和加速度等信号给ARM控制器。
参照图7,本实施例的具体实施步骤是:
把无人车控制系统分为两部分:基于车载电脑NUC的上位机系统和基于STM32F767的ARM下位机系统。其中基于车载电脑NUC上位机系统完成路径和地图输入、多单线激光雷达传感器的数据融合和在线输出等功能;基于STM32F767的ARM下位机控制系统完成无人车系统的伺服控制、CCD的单目视觉数据处理、I/O控制等功能,其中工作量最大的多轴直流无刷伺服系统控制和基于CCD的单目视觉数据处理交给STM32F767处理,充分发挥STM32F767数据处理较快的优点,这样就实现了NUC与ARM的分工,同时二者之间又可以进行通讯,实时进行数据交换和调用。
参照图3、图4、图5、图6、图7和图8,其具体的功能实现如下:
1)在无人车未接到运动命令之前,它一般会在等待区域等待控制总站发出的出发命令,如果电压较低的话,无人车会自动与充电装置对接进行充电。
2)无人车在等待期间一旦接到出发任务后,无人车车载电脑NUC通过总站调取无人车行驶路径和导航地图信息,随后ARM控制器开启盲区传感器US1~US5对盲区进行扫描,如果有障碍物进入运动盲区,ARM控制器会发出警报,并等待障碍物的清除;如果无障碍物进入运动盲区,无人车开始自动加速。
3)无人车开始启动后,ARM控制器便开启CCD黑白摄像机和各单线激光雷达传感器L1~L6并借助它们开始导航,沿着规定路线开始行走。
4) 无人车进入运动路线后,CCD摄像机开始远距离探测,CCD黑白摄像机的第一个任务就是结合已有的道路地图信息寻找道路的标志点,这个标志点可能是道路的尽头,也有可能是转弯的地点,也可能是某些停靠站点,CCD发现此这些采集点后会与STM32F767通讯,STM32F767对CCD黑白摄像机的图像进行解码,然后转化为直流无刷伺服电机的PWM控制信号,控制器驱动无人车进行正常行驶前的定位和姿态调整;无人车结合 CCD摄像机图像采集完成定位和姿态调整后,无人车将根据车载地图信息正常行驶,在行驶过程中CCD摄像机将实时图像传输给ARM控制器,ARM控制器将把实时图像解码后与目标特征库进行图像匹配,进而识别出前方障碍物是何种车型、物体、行人或各种路径标志,然后STM32F767根据目标在图像中的大小估算无人车与障碍物的大致距离,然后ARM控制器开始微调直流无刷伺服电机的控制信号,使无人车开始实施远距离避障,并与车载电脑NUC实时通讯,NUC接收单线激光雷达的实时近距离探测信号,一旦疑似目标进入单线激光雷达探测范围,单线激光雷达将结合CCD黑白摄像机图像数据对疑似目标进行确认和精确定位。
与地面成近似5~15度角的斜前方激光传感器L1与地面平行的前方探测单线激光雷达组(L2、L3、L4)时刻检测前方的疑似环境:与地面成近似5~15度角的斜前方激光传感器L1可单独工作,由于具有一定的倾斜角度,L1可以很好探测到前方道路的起伏,再配合CCD的图像可以很容易发现起伏的深度和宽度以及与无人车的精确距离;L1配合L3再结合CCD摄像机的图像处理结果可以精确探测正前方障碍物的存在与否;L3配合L2再结合CCD摄像机的图像处理结果可以精确探测左前方障碍物的存在与否与实际距离;L3配合L4再结合CCD摄像机的图像处理结果可以精确检测右前方障碍物的存在与否与实际距离。
如果L1和CCD摄像机精确探测到前方运动路径中存在一定高度的起伏小坑,如果高度和宽度超过了无人车越过的要求,将向STM32F767发出中断请求同时把起伏小坑数据传输给NUC进行处理和保存,STM32F767会对中断优先处理并进入前方躲避保护子程序;如果起伏小坑的高度和宽度在无人车容忍范围,无人车将按照设定的正常速度进行行驶越过障碍小坑。
如果L1、L3和CCD摄像机精确探测到前方运动路径中存在障碍物,将向STM32F767发出中断请求同时把障碍物数据传输给NUC进行处理,STM32F767会对中断优先处理并进入前方避障保护子程序: STM32F767根据NUC通讯的数据进入向左或向右的避障让行;如果没有障碍物进入运行范围,无人车将按照设定的正常速度进行行驶。
如果L2、L3和CCD摄像机精确探测到左前方运动路径中存在障碍物,将向STM32F767发出中断请求同时把障碍物数据传输给NUC进行处理,STM32F767会对中断优先处理并进入左前避障保护子程序:如果ARM控制器经过远距离的CCD图像反馈已经使无人车运动方向安全范围内没有障碍物,无人车将按照设定的正常速度进行行驶。如果ARM控制器经过远距离的CCD图像反馈调节后依然有障碍物在无人车的安全运动范围内,STM32F767根据NUC通讯的数据进入向右的避障让行。
如果L4、L3和CCD摄像机精确探测到右前方运动路径中存在障碍物,将向STM32F767发出中断请求同时把障碍物数据传输给NUC进行处理,STM32F767会对中断优先处理并进入右前避障保护子程序:如果ARM控制器经过远距离的CCD图像反馈已经使无人车运动方向安全范围内没有障碍物,无人车将按照设定的正常速度进行行驶。如果ARM控制器经过远距离的CCD图像反馈调节后依然有障碍物在无人车的安全运动范围内,STM32F767根据NUC通讯的数据进入向左的避障让行。
5)无人车进入运动路线后,与地面平行的后方探测单线激光雷达组(L5、L6)时刻检测后方的环境,如果L5或L6判断后方存在障碍物向无人车靠近时,将向STM32F767发出中断请求同时把障碍物数据传输给NUC进行处理,STM32F767会对中断优先处理,然后进入后方避障保护子程序并发出警报;如果后方没有障碍物进入保护范围,无人车将按照设定的正常速度进行行驶。
6)无人车进入运动路线后,与地面平行的盲区传感器US1~US5和US6~US10时刻检测盲区的环境,如果US1~US5和US6~US10判断有临时的障碍物向无人车盲区靠近时,将向STM32F767发出中断请求同时把障碍物数据传输给NUC进行处理,STM32F767会对中断优先处理,然后进入盲区避障保护子程序并发出警报;如果盲区没有障碍物进入保护范围,无人车将按照设定的正常速度进行行驶。
7)在无人车进入轨道正常运行速度达到要求的条件下,其导航的传感器L1~L6、US1~US10和CCD摄像机将工作,并把回馈信号输送给NUC和ARM控制器,先有NUC进行激光雷达数据融合处理、STM32F767进行图像数据处理和响应各种中断保护,然后NUC与ARM通讯,由ARM控制器根据传感器解码信号生成控制信号给直流无刷伺服电机,通过调节伺服电机的运动来实现无人车的运动速度和运动方向改变,使得无人车可以轻松的跟随车载输入路径。
8)在无人车进入轨道正常运行时,CCD摄像机实时对一些重点标志区域的地面各种导航标志进行读取,然后ARM控制器将对这些标志与标准库进行匹配,匹配成功后无人车将依靠这些标志进行前进导航标志之一,并进行二次姿态调整。
9)在无人车进入轨道正常运行时,CCD摄像机实时对一些重点标志区域的空中各种导航标志进行读取,然后ARM控制器将对这些标志与标准库进行匹配,匹配成功后无人车将依靠这些标志进行停车、启动和转弯等任务。
10)由于无人车在多数情况下,不是一站式服务模式,到达的地方较多,为了能够实现无人车的站点功能,本实施例在站点位置加入了地面标志,当无人车将要到达站点时,ARM控制器会通过CCD黑白摄像机对站点标志进行读取,当站点读取后将自动累加,为了实现无人车的自动行走循环功能,无人车达到最后一个站点后会自动清零并重新从站点1计数。
11)当无人车进入停靠站点后,ARM控制器存储生成进站信息记录表,然后通过无线装置发送给总站,有利于总站对无人车位置的追踪和无人车的调度。
12)为了能够满足无人车在风景区等特殊情况下的实际功能需要,本实施例加入了停靠站选择功能:在无人车运行初期总站可以自由设置无人车需要去的停靠站,然后无人车依靠自身的传感器可以独立完成这个设定,如果在运行过程中遇到紧急情况总站需要更改运行路径或停靠站点,主站通过无线装置与无人车NUC和ARM进行通讯,并通过ARM更改行走信息,NUC会根据ARM的通讯结果自动更新路径和停靠站点信息,按照新的要求完成任务。
13)当无人车按固定路径行驶走时,系统上的多种声光报警系统将工作,很容易提醒周围行人无人车的存在,当无人车与主站失去通讯时,ARM控制器会发出自动停车信号,直接原地锁死无人车的运动伺服电机,这样就不易与其他无人车发生碰撞,此时主站由于无法收集到无人车的传输信息,将根据上一个停靠点信息进行快速追踪,并解决故障问题。
虽然本发明已以较佳实施例公开如上,但实施例并不是用来限定本发明的。在不脱离本发明之精神和范围内,所做的任何等效变化或润饰,同样属于本发明之保护范围。因此本发明的保护范围应当以本申请的权利要求所界定的内容为标准。

Claims (18)

1.一种多传感器融合快速无人车探测避障系统,包括控制系统和车顶激光雷达,其特征在于,还包括车载单目视觉摄像头、配置在无人车车体下部的前方激光雷达组和后方激光雷达组,其中:
所述车顶激光雷达用于探测到无人车前方道路的起伏以及与前方激光雷达组一并探测无人车前方运动路径中的障碍物情况;所述前方激光雷达组还用于探测无人车左前方和右前方运动路径中的障碍物情况;所述后方激光雷达组用于探测无人车后方的障碍物情况;所述车载单目视觉摄像头用于识别无人车前方的标示和与车顶激光雷达及前方激光雷达组配合探测障碍物情况;
所述控制系统包括上位机和下位机,上位机实时接收各激光雷达反馈信号并解码,然后与下位机通讯并传输输入控制信号给下位机;下位机实时计算车载单目视觉摄像头的图像采集数据,并结合解码的输入控制信号控制无人车行驶。
2.根据权利要求1所述的多传感器融合快速无人车探测避障系统,其特征在于,所述车顶激光雷达为1颗单线激光雷达,位于略高于车顶且与水平面近似成斜向下5~15度的车顶前部中心位置。
3.根据权利要求2所述的多传感器融合快速无人车探测避障系统,其特征在于,所述车顶激光雷达为LMS151单线激光雷达。
4.根据权利要求1所述的多传感器融合快速无人车探测避障系统,其特征在于,所述前方激光雷达组由3颗单线激光雷达组成,其中有两颗分别位于车头的左前部和右前部,两者中心方向均远离无人车前进方向有一个近似30度的夹角,剩余一颗位于两者的中心位置,其中心方向与无人车前进方向一致。
5.根据权利要求4所述的多传感器融合快速无人车探测避障系统,其特征在于,所述前方激光雷达组的设置高度约离地40cm。
6.根据权利要求4所述的多传感器融合快速无人车探测避障系统,其特征在于,所述前方激光雷达组均为LMS151单线激光雷达。
7.根据权利要求1所述的多传感器融合快速无人车探测避障系统,其特征在于,所述后方激光雷达组由两颗与水平面平行的单线激光雷达组成,分别位于车尾的两侧。
8.根据权利要求7所述的多传感器融合快速无人车探测避障系统,其特征在于,所述后方激光雷达组设置高度约离地40cm~60cm。
9.根据权利要求7所述的多传感器融合快速无人车探测避障系统,其特征在于,所述后方激光雷达组均为LMS122单线激光雷达。
10.根据权利要求1所述的多传感器融合快速无人车探测避障系统,其特征在于,还包括设置在无人车底部的前方超声波传感器组和后方超声波传感器组,所述前方超声波传感器组用于无人车前方盲区探测避障,所述后方超声波传感器组用于无人车后方盲区探测避障,所述下位机与前方超声波传感器组和后方超声波传感器组通讯。
11.根据权利要求10所述的多传感器融合快速无人车探测避障系统,其特征在于,所述前方超声波传感器组由5颗超声波传感器组成。
12.根据权利要求10所述的多传感器融合快速无人车探测避障系统,其特征在于,所述后方超声波传感器组由5颗超声波传感器组成。
13.根据权利要求1所述的多传感器融合快速无人车探测避障系统,其特征在于,所述上位机为英特尔的NUC 微型电脑。
14.根据权利要求1所述的多传感器融合快速无人车探测避障系统,其特征在于,所述下位机为STM32F7 MCU。
15.根据权利要求1所述的多传感器融合快速无人车探测避障系统,其特征在于,所述控制系统通过无线装置与无人车总站通讯,当无人车与总站失去通讯时,下位机实施自动停车控制。
16.根据权利要求1所述的多传感器融合快速无人车探测避障系统,其特征在于,所述下位机还通过车载单目视觉摄像头读取地面上的站点标志。
17.根据权利要求1所述的多传感器融合快速无人车探测避障系统,其特征在于,无人车为电动车,所述控制系统根据电动车蓄电池的内阻及温度参数对蓄电池的端电压进行检测。
18.根据权利要求1所述的多传感器融合快速无人车探测避障系统,其特征在于,所述车载单目视觉摄像头为CCD黑白摄像头。
CN201711230456.7A 2017-11-29 2017-11-29 一种多传感器融合快速无人车探测避障系统 Pending CN108177651A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711230456.7A CN108177651A (zh) 2017-11-29 2017-11-29 一种多传感器融合快速无人车探测避障系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711230456.7A CN108177651A (zh) 2017-11-29 2017-11-29 一种多传感器融合快速无人车探测避障系统

Publications (1)

Publication Number Publication Date
CN108177651A true CN108177651A (zh) 2018-06-19

Family

ID=62545285

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711230456.7A Pending CN108177651A (zh) 2017-11-29 2017-11-29 一种多传感器融合快速无人车探测避障系统

Country Status (1)

Country Link
CN (1) CN108177651A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109901194A (zh) * 2019-03-18 2019-06-18 爱驰汽车有限公司 防碰撞的车载系统、方法、设备及存储介质
CN111461606A (zh) * 2020-03-31 2020-07-28 新石器慧通(北京)科技有限公司 一种基于无人车的寄送方法及装置
CN111796299A (zh) * 2020-06-10 2020-10-20 东风汽车集团有限公司 一种障碍物的感知方法、感知装置和无人驾驶清扫车
CN113324543A (zh) * 2021-01-28 2021-08-31 山东硅步机器人技术有限公司 一种巡线机器人视觉导航巡检和避障方法
CN113325826A (zh) * 2021-06-08 2021-08-31 矿冶科技集团有限公司 一种井下车辆控制方法、装置、电子设备及存储介质
CN113341824A (zh) * 2021-06-17 2021-09-03 鄂尔多斯市普渡科技有限公司 一种开放式自动驾驶避障控制系统及控制方法
CN113552590A (zh) * 2020-04-24 2021-10-26 北醒(北京)光子科技有限公司 一种基于激光雷达的车后方预警系统
CN114179826A (zh) * 2021-12-17 2022-03-15 中汽创智科技有限公司 自动驾驶车辆的起步控制方法、装置、设备及存储介质
CN114355352A (zh) * 2021-12-15 2022-04-15 重庆长安汽车股份有限公司 自动代客泊车的传感器感知系统
CN116101278A (zh) * 2022-12-21 2023-05-12 北京百度网讯科技有限公司 驾培车辆控制方法、装置、电子设备及存储介质
CN117539268A (zh) * 2024-01-09 2024-02-09 吉林省吉邦自动化科技有限公司 基于机器视觉与激光雷达融合的vga自主避障系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109901194A (zh) * 2019-03-18 2019-06-18 爱驰汽车有限公司 防碰撞的车载系统、方法、设备及存储介质
CN111461606A (zh) * 2020-03-31 2020-07-28 新石器慧通(北京)科技有限公司 一种基于无人车的寄送方法及装置
CN113552590A (zh) * 2020-04-24 2021-10-26 北醒(北京)光子科技有限公司 一种基于激光雷达的车后方预警系统
CN111796299A (zh) * 2020-06-10 2020-10-20 东风汽车集团有限公司 一种障碍物的感知方法、感知装置和无人驾驶清扫车
CN113324543A (zh) * 2021-01-28 2021-08-31 山东硅步机器人技术有限公司 一种巡线机器人视觉导航巡检和避障方法
CN113325826A (zh) * 2021-06-08 2021-08-31 矿冶科技集团有限公司 一种井下车辆控制方法、装置、电子设备及存储介质
CN113341824A (zh) * 2021-06-17 2021-09-03 鄂尔多斯市普渡科技有限公司 一种开放式自动驾驶避障控制系统及控制方法
CN114355352A (zh) * 2021-12-15 2022-04-15 重庆长安汽车股份有限公司 自动代客泊车的传感器感知系统
CN114179826A (zh) * 2021-12-17 2022-03-15 中汽创智科技有限公司 自动驾驶车辆的起步控制方法、装置、设备及存储介质
CN116101278A (zh) * 2022-12-21 2023-05-12 北京百度网讯科技有限公司 驾培车辆控制方法、装置、电子设备及存储介质
CN117539268A (zh) * 2024-01-09 2024-02-09 吉林省吉邦自动化科技有限公司 基于机器视觉与激光雷达融合的vga自主避障系统

Similar Documents

Publication Publication Date Title
CN108177651A (zh) 一种多传感器融合快速无人车探测避障系统
CN107957583A (zh) 一种多传感器融合全天候快速无人车探测避障系统
CN108021133A (zh) 一种多传感器融合高速无人车探测避障系统
WO2022082843A1 (zh) 一种多传感器融合的无人车探测避障系统及避障方法
CN110248861B (zh) 在车辆操纵过程中使用机器学习模型来引导车辆
CN112825136B (zh) 自主机器应用中使用radar传感器检测障碍物的深度神经网络
CN108037756A (zh) 一种多传感器融合中速无人车探测避障系统
JP2022526825A (ja) 自律マシン・アプリケーションのためのマップ情報で拡張されたグラウンド・トゥルース・データを使用するニューラル・ネットワーク・トレーニング
CN113056749A (zh) 用于自主机器应用的未来对象轨迹预测
CN113968215A (zh) 用于人行横道风险评估和方向警告的系统和方法
CN112825134A (zh) 自主机器应用中使用radar传感器检测障碍物的深度神经网络
US11872929B2 (en) Collaborative vehicle headlight directing
CN107977004A (zh) 一种多传感器融合全天候高速无人车探测避障系统
US11325524B2 (en) Collaborative vehicle headlight directing
CN112068574A (zh) 一种无人车在动态复杂环境中的控制方法及系统
CN113085896B (zh) 一种现代有轨清洁车辅助自动驾驶系统及方法
CN112904370A (zh) 用于激光雷达感知的多视图深度神经网络
CN110103962A (zh) 车辆控制装置、车辆控制方法及存储介质
CN108189834A (zh) 一种多传感器融合低速无人车探测避障系统
US20210213869A1 (en) Collaborative Vehicle Headlight Directing
CN108061903A (zh) 一种多传感器融合全天候低速无人车探测避障系统
CN110371123A (zh) 车辆控制装置、车辆控制方法及存储介质
Mei et al. Development of ‘Intelligent Pioneer’unmanned vehicle
JP2022543355A (ja) 視覚追跡および画像再投影による自律運転のための物体位置特定
CN115218888A (zh) 用于更新高清地图的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180619

WD01 Invention patent application deemed withdrawn after publication