CN110598637B - 一种基于视觉及深度学习的无人驾驶系统及方法 - Google Patents

一种基于视觉及深度学习的无人驾驶系统及方法 Download PDF

Info

Publication number
CN110598637B
CN110598637B CN201910866144.8A CN201910866144A CN110598637B CN 110598637 B CN110598637 B CN 110598637B CN 201910866144 A CN201910866144 A CN 201910866144A CN 110598637 B CN110598637 B CN 110598637B
Authority
CN
China
Prior art keywords
vehicle
information processing
processing module
deep learning
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910866144.8A
Other languages
English (en)
Other versions
CN110598637A (zh
Inventor
冯超
李研强
王红红
翟文哲
孔德越
王文渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Original Assignee
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology filed Critical Qilu University of Technology
Priority to CN201910866144.8A priority Critical patent/CN110598637B/zh
Publication of CN110598637A publication Critical patent/CN110598637A/zh
Application granted granted Critical
Publication of CN110598637B publication Critical patent/CN110598637B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00—Systems involving the use of models or simulators of said systems
    • G05B17/02—Systems involving the use of models or simulators of said systems electric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提出了一种基于视觉及深度学习的无人驾驶系统及方法，包括：感知模块，远程信息处理模块，车载信息处理模块，车辆运动执行模块；其中，感知模块用于获取实时环境图像，以供模块识别，以及获取行车环境中所涉及交通要素的距离信息；所述车载信息处理模块接收远程信息处理模块下发的深度学习模型，接收感知模块所获取的实时图像，并利用该模型进行图像识别；所述车辆运动执行模块用于接收车载信息处理模块发送的运行控制指令，完成对车体的运动控制。本公开的技术方案设计了双信息处理模块的架构，即远程信息处理模块和车载信息处理模块。解决了已有方法仅能通过对深度学习模型先进行离线训练，随后下载至车载信息处理模块进行应用的不足。

Description

一种基于视觉及深度学习的无人驾驶系统及方法
技术领域
本公开涉及人工智能及云计算技术领域，特别是涉及一种基于视觉及深度学习的无人驾驶系统及方法。
背景技术
自动驾驶汽车是一种涉及汽车工程、通信、海量数据计算、人工智能决策等多个技术领域的综合性汽车驾驶平台，旨在替代自然人完成驾驶任务。在传统汽车驾驶平台中，自然人受限于生理、心理、驾驶技能等不稳定因素，导致驾驶任务在执行过程中面临诸多危险，带来了交通事故等严重后果。自动驾驶汽车可有效替代自然人完成驾驶任务，将自然人解放，同时能减少交通拥堵和事故、节省能源，是汽车行业的未来发展方向。
自动驾驶系统的开发遵从建模、算法仿真、虚拟仿真、模拟仿真、实车测试的设计流程。通过对实车车辆的同比例缩小，简化动力系统，模拟实车动力学、运动学特性搭建模拟测试车，以尽可能实现近似条件下的算法验证。系统在通过虚拟仿真后，会移植到模拟车辆中进行模拟仿真。模拟仿真作为一种低成本、多迭代、可复现的测试方法，可对系统所用算法的正确性与性能进行测试，为自动驾驶系统进行实车测试奠定基础。
公告号CN 208795508 U中公开了一种无人驾驶测试模拟平台，该专利提供的平台适用于无人驾驶测试中的模拟交通参与者。但是该方案仅提供了平台外型方案和组件方案，是平台硬件设计的一种思路，没有涉及系统的软件框架设计。
在文献“https://zhengludwig.wordpress.com/projects/self-driving-rc-car/”中，该无人驾驶平台分为三部分。在感知部分，由测试车搭载单目摄像头获取实时图像，利用超声波传感器实现对障碍物的测距；在决策部分，基于已经训练完成的深度学习模型进行图像识别，结合超声测距数据进行决策；在执行部分，由车辆的控制单元完成车辆的方向、速度控制。受限于测试平台的成本、承重和体积等因素，车载主控单元为单个Raspberry Pi芯片，深度学习模型的训练需要在其他平台训练完成，随后通过局域网下载至车载芯片执行。该方法可以利用深度学习模型的分类能力，但深度学习模型只能离线训练，并预先下载至车载平台才能够实现对目标对象的识别。该方法无法实现深度学习模型的实时训练及应用。另外该方法所采用的模型训练平台计算资源有限，无法支持多目标深度学习模型的实时训练，训练好的深度学习模型仅能支持特定目标对象的识别，导致该无人驾驶平台的测试能力有限，无法满足对实际行车环境中复杂交通因素进行测试的需求。
发明内容
本说明书实施方式的目的是提供一种基于视觉及深度学习的无人驾驶系统，结合云计算的思路实现对深度学习模型的实时训练，通过高速互联网络进行数据实时传输，解决已有方法的不足，扩展无人驾驶平台的模拟测试能力。
本说明书实施方式提供一种基于视觉及深度学习的无人驾驶系统，通过以下技术方案实现：
包括：
感知模块，远程信息处理模块，车载信息处理模块，车辆运动执行模块；
其中，所述感知模块用于获取实时环境图像，以供模块识别，以及获取行车环境中所涉及交通要素的距离信息；
所述车载信息处理模块接收远程信息处理模块下发的深度学习模型，接收感知模块所获取的实时图像，并利用该模型进行图像识别；
所述远程信息处理模块实时接收车载信息处理模块获取的基于物体的轮廓信息确定物体的类别，依据物体不同的分类进行对应分类的模型训练；将已经训练好的深度学习模型下发至车载信息处理模块，并对下一帧及后续帧的图像中所出现的同类别物体进行物体识别，实现深度学习模型的实时训练；
所述车辆运动执行模块用于接收车载信息处理模块发送的运行控制指令，完成对车体的运动控制。
进一步的技术方案，所述感知模块包括车载单目摄像头及超声波传感器，单目摄像头用于获取实时环境图像，超声波传感器用于获取行车环境中所涉及交通要素的距离信息。
进一步的技术方案，所述车载信息处理模块选取单片Raspberry Pi平台做为车载信息处理模块，所述感知模块采集的图像数据经Raspberry Pi平台传至远程信息处理模块，所述车载信息处理模块搭载云端发送的深度学习模型进行物体细分类识别。
进一步的技术方案，所述RaspberryPi平台利用Open cv的sobel算子进行图像边缘检测，提取轮廓特征，进行粗分类识别，传输至远程信息处理模块进行分类深度学习模型的训练，并通过4G模块接收训练好的深度学习模型。
进一步的技术方案，所述车辆运动执行模块为基于RC小车的移动平台，Raspberry Pi平台连接舵机和油门控制板，发送指令控制小车运动。
进一步的技术方案，所述单目摄像头通过支架固定在车体上，该支架为鱼竿式伸缩结构支架，通过控制伸缩结构支架，根据需要控制摄像头的高低，通过该方式满足对视角范围内信息的采集，避免存在视角盲区。
进一步的技术方案，所述车辆运动执行模块采用双电源供电，锂电池供电于小车，移动电源输出电源为Raspberry Pi平台供电。
本说明书实施方式提供一种基于视觉及深度学习的无人驾驶方法，通过以下技术方案实现：
包括：
获取车体前方环境当前帧的图像及车体前方标志物距离信息，进行图像处理；
获取环境当前帧的图像数据后，在图像候选区域上利用扫描窗口进行扫描；
对扫描后的图像进行预处理：包括彩色图像灰度化、图像几何变换、图像增强及特征提取，框选出图中物体轮廓候选区域；
实时接收获取的基于物体的轮廓信息确定物体的类别，依据物体不同的分类进行对应分类的模型训练；利用已经训练好的深度学习模型对下一帧及后续帧的图像中所出现的同类别物体进行物体识别；
对车体实现自身位置的定位；
基于物体识别结果及车辆自身位置利用路径规划算法进行车辆的自主导航。
进一步的技术方案，采用sobel算子对图中物体进行边缘检测提取轮廓，通过计算所获得的图中物体梯度与所设阈值进行比较，当大于这一阈值时，则认为该点为边缘点，实现物体的粗分类识别。
进一步的技术方案，深度学习模型的网络结构采用Yolo_v3网络架构，通过卷积神经网络对输入图像提取特征，将目标检测作为回归问题，空间上分离边界框和相关的类概率。
与现有技术相比，本公开的有益效果是：
1、本公开的技术方案设计了双信息处理模块的架构，即远程信息处理模块和车载信息处理模块。远程信息处理模块为云端服务器或其他集群平台，具有海量计算资源，远程信息处理模块实现对深度学习模型的实时训练，解决了已有方法仅能通过对深度学习模型先进行离线训练，随后下载至车载信息处理模块进行应用的不足。这一问题的解决直接效益是，模型可应用到的物体类别多样，无需限定识别对象，扩展了无人驾驶平台的测试能力。
2、本公开的技术方案设提出了物体的多粒度分类识别思想，即粗分类识别和细分类识别。车载信息处理模块仅需要完成物体的轮廓识别，并将该粗分类识别结果上传至远程信息处理模块。依据粗分类识别结果，远程信息处理模块进行相应分类识别模型的训练，并下发至车载信息处理模块。远程信息处理模块具有海量计算资源，可完成深度学习模型的在线训练，车载信息处理模块仅需要完成物体的粗分类识别任务，接收已训练好的深度学习模型，执行物体的细分类识别任务。
3、本公开的技术架构的选择借鉴了分时复用的思想。假设以1s为一个时间周期，每个时间周期内可获取20-35帧的图像。首先以车载单目摄像头获取第一帧图像，并采用图像处理库Opencv进行轮廓识别，完成粗分类识别任务；随后将粗分类结果传输至远程信息处理模块进行对应分类的模型训练，训练好的模型在下载至车载信息处理模块后可用于识别0.5s-1s内出现的物体。具体的时间周期由模拟仿真实验结果确定。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1为本公开的系统架构设计图；
图2为本公开实施例子设备组装功能图；
图3为本公开实施例子程序流程图；
图4为本公开实施例子神经网络结构图；
其中，1.数据输入单元，2.车载平台控制板，3.锂电池，4.舵机控制板，5. 电调舵机。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例子一
该实施例公开了一种基于视觉及深度学习的无人驾驶系统，系统架构参见附图1所示，所述系统包括：感知模块，远程信息处理模块，车载信息处理模块，车辆运动执行模块。
其中，按照实际环境同比例缩小来布置模拟仿真环境，作为仿真车辆行驶环境，为感知模块提供环境图片信息，如道路、障碍物、红绿灯等，需要说明的是，本模拟仿真环境仅支持静态交通要素。
感知模块：包含单目摄像头和超声波传感器。摄像头采集环境图像信息，为小车的导航、避障及模型训练提供数据，超声波传感器测量前方障碍物距离。摄像头所获取的图像数据和超声波传感器数据通过本地数据线直接传输至车载信息处理模块。
远程信息处理模块：远程信息处理模块为具有海量计算资源的云端服务器或其他集群平台，用于训练深度学习模型。云端服务器中存储大量按轮廓进行分类的数据集，该数据集用于训练深度学习模型。远程信息处理模块接收车载信息处理模块传输的物体轮廓信息，选取对应的数据集进行深度学习模型的训练。训练完成的深度学习模型下发至车载信息处理模块，用于物体分类识别。
车载信息处理模块：选取单片RaspberryPi平台做为车载信息处理模块，感知模块采集的图像数据经RaspberryPi平台传至云端服务器，并搭载云端发送的深度学习模型进行物体细分类识别。由于Raspberry Pi平台存储空间有限，需定时对已有模型进行清除，释放存储空间。同时Raspberry Pi平台利用Open cv的 sobel算子进行图像边缘检测，提取轮廓特征，进行粗分类识别，指导云端服务器进行分类深度学习模型的训练，并通过4G模块接收训练好的深度学习模型。
车辆运动执行模块：自主搭建基于RC小车的移动平台，Raspberry Pi平台连接舵机和油门控制板，发送指令控制小车运动。
在一种优选的实施例子中，该单目摄像头通过支架固定在车体上，该支架为鱼竿式伸缩结构支架，通过控制伸缩结构支架，可根据需要控制摄像头的高低，通过该方式满足对视角范围内信息的采集，避免存在视角盲区。
模拟仿真小车机械结构，自主搭建基于RC小车的移动平台，参见附图2。包括数据输入单元1，车载平台控制板2，锂电池3，舵机控制板4，电调舵机5。
数据输入单元为感知模块，车载平台控制板为单片RaspberryPi平台。
在具体例子中，小车采用双电源供电。7.4V锂电池供电于小车，移动电源输出5V电源为控制模块供电，以保证小车正常运动及控制模块正常运作。
实施例子二
本说明书实施方式提供一种基于视觉及深度学习的无人驾驶方法，通过以下技术方案实现：
包括：
获取车体前方环境当前帧的图像及车体前方标志物距离信息，进行图像处理；
获取环境当前帧的图像数据后，在图像候选区域上利用扫描窗口进行扫描；
对扫描后的图像进行预处理：包括彩色图像灰度化、图像几何变换、图像增强及特征提取，框选出图中物体轮廓候选区域；
实时接收获取的基于物体的轮廓信息确定物体的类别，依据物体不同的分类进行对应分类的模型训练；利用已经训练好的深度学习模型对下一帧及后续帧的图像中所出现的同类别物体进行物体识别；
对车体实现自身位置的定位；
基于物体识别结果及车辆自身位置利用路径规划算法进行车辆的自主导航。
单目摄像头获取当前帧的图像，车载Raspberry Pi芯片进行图像处理；超声波传感器获取距离信息。
远程信息处理模块实时接收车载模块获取的，基于物体的轮廓信息确定物体的类别，依据物体不同的分类指导远程信息处理模块进行对应分类的模型训练；将已经训练好的深度学习模型下发至车载信息处理模块，并对下一帧及后续帧的图像中所出现的同类别物体进行物体识别；
通过高速互联网络在各模块间进行信息的实时传输；
通过车载里程计和激光雷达实现自身位置的定位；
基于物体识别结果及车辆自身位置利用路径规划算法进行车辆的自主导航。
在该实施例子中，公开了基于视觉及深度学习的无人驾驶仿真系统如何利用单目摄像头所获取的图像数据实现对物体的粗分类识别。图像处理在open cv上实现，采用sobel算子对图中物体进行边缘检测提取轮廓，实现物体的粗分类识别。以下为常用图像处理流程和sobel算子的原理性说明。
一：图像进行灰度化、几何变换(用于改正图像采集系统的系统误差和仪器位置的随机误差)、图像增强(要改善图像的视觉效果，针对给定图像的应用场合，有目的地强调图像的整体或局部特性)；
二：利用sobel算法进行边缘检测，进行通过计算所获得的梯度与所设阈值进行比较，当大于这一阈值时，则认为该点(x,y)为边缘点。
本公开实施例子公开了基于视觉及深度学习的无人驾驶仿真系统利用深度学习模型进行物体的检测，在该实施例子中，使用神经网络的优点是一旦网络训练完成，只需在之后加载训练的参数，利用较少的图片就能完成训练和识别目的。深度学习模型的网络结构参见附图4所示。考虑到深度学习模型训练的实时性要求，本技术方案采用Yolo_v3网络架构，可参见附图4所示。通过卷积神经网络对输入图像提取特征，将目标检测作为回归问题，空间上分离边界框和相关的类概率。单个深度学习网络在一次评估中可直接从一张完整图像中预测边界框和类概率。整个检测流水线过程是单个网络，因此可以直接在检测上进行端到端优化。受益于车载粗分类识别的结果，可直接定位感兴趣区域，缩小模型训练数据，加快深度学习模型的训练过程。
以下是对Yolo_v3算法的简要使用说明。模型将输入图像分成s×s网格。如果感兴趣对象的中心落入网格单元格中，则该网格单元格负责检测该对象。每个网格单元预测B个边界框和置信分数，这些置信分数反映了模型是如何预测格子里面是否包含一个物体，以及它对格子预测的准确程度，也就是预测框和真实框之间的IOU(IntersectionoverUnion)。
每个预测框框由5个预测组成：x，y，w，h，confidence(置信度)。坐标(x,y)表示相对于网格单元边界的预测框的中心，坐标(w,h)表示相对于整个图像预测的框宽度和高度，置信度代表预测框和任何地面实际框之间的IOU。
每个网格单元还需要依据对象预测出分类概率Pr(Classi|Object)，如果网格单元包含该对象的中心点，即可完成该分类概率的计算。
Yolo_v3网路使用了darknet-53的前面的52层(无全连接层)，所以可将 yolo_v3网络看作是一个全卷积网络，并使用了大量具有残差的跳层连接。假设当输入为416*416时，则输出的特征层为13*13大小的特征层，输出的feature map大小为19*19，cell有19*19＝361个。feature map中的每一个cell都会预测3个边界框，每个边界框都会预测三类值：(1)每个框的位置(4个值，中心坐标tx和ty，框的高度bh和宽度bw)，(2)一个客观预测，(3)N个类别，coco 数据集80类，voc20类。因此对于coco数据集，在网络输入为416*416时，网络的输出大小为43095。
实验例：
本实验例提供了无人驾驶平台对停车标志和路面交通信号灯的识别实验过程。无人驾驶平台的识别能力主要由深度学习模型实现，模型的训练和识别遵循相同的过程。程序流程可参见附图3所示。
以下描述本实验例的具体实施过程。使用Raspberry Pi所直连的摄像头获取正样本(包含目标对象)，并且裁剪仅可见期望的对象。另一方面，随机收集负样本(没有目标对象)。特别是，红绿灯正样本包含相同数量的红色交通灯和绿色交通灯。停车标志和交通灯训练使用相同的负样本数据集。
距离测量：Raspberry Pi只能支持一个pi摄像头模块。使用两个USB网络摄像头会给RC车带来额外的重量，本技术方案选择单眼视觉方法实现对物体的测距。
超声波传感器仅用于确定到RC车前方障碍物的距离，并在考虑适当的感应角度和表面状况时提供准确的结果。
依据实验结果分析，微缩车可以在轨道上成功导航，能够避免前方碰撞，并相应地响应停车标志和交通信号灯。
以第一次实验为例来介绍各部分主要功能。小车组件的选择方案可参见附图2所示。
首先环境模拟模块的搭建，布置仿真道路、交通信号灯、行人等环境因素，组装好硬件仿真小车，先一辆自动驾驶小车A其次对可能发生的状况进行演示。
根据实际小车识别状况对算法中的一些特征提取参数方法进行调整。算法详情见图3。
第一次，对红绿灯进行识别，将小车放置在道路上将红绿灯设置为红灯，小车A在行驶过程中其上搭载的摄像头会对路况信息进行实时的采集，当捕捉到红绿灯的信息时便会自动与所存储的路况信息数据进行对比，当确定该信息为红灯时便会做出遇到红灯时所对应的指令那便是停车，当路灯信息由红灯变为绿灯时摄像头捕捉到信息后便会再次与数控库中的信息做出对比并做出相应的指令---启动小车。以上是本作品实现自动驾驶的简单过程，其余实验过程均类似。
第二次，在道路中放置一个停止的小车B，当小车A行驶到快要接近小车 B时小车A自动捕捉小车B，当小车A接近B时将会自动停车，只有当小车 B走后小车A才会再次启动继续行驶。
摄像头得到前方小车的图片，经识别判定为小车，超声波测距辅助当小车距离前方停止车辆B到达人为设计的阈值时小车A将停车。待前方小车驶离后测得两车距离大于阈值后小车再次启动。
第三次，在斑马线上放置一个stop标志的模型，小车A行驶到路口捕捉到标志信息时会自动停车。摄像头检测到标志为红绿灯状态STOP标志。
综上所述，此仿真平台运用计算机视觉能够对以上情况做出正确的指令，这为后期进行更复杂的实验提供了一个良好的基础。
可以理解的是，在本说明书的描述中，参考术语“一实施例”、“另一实施例”、“其他实施例”、或“第一实施例～第N实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料的特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (4)

1.一种基于视觉及深度学习的无人驾驶系统，其特征是，包括：
感知模块，远程信息处理模块，车载信息处理模块，车辆运动执行模块；
其中，所述感知模块用于获取实时环境图像，以供模块识别，以及获取行车环境中所涉及交通要素的距离信息；所述感知模块包括车载单目摄像头及超声波传感器，单目摄像头用于获取实时环境图像，超声波传感器用于获取行车环境中所涉及交通要素的距离信息；所述单目摄像头通过支架固定在车体上，该支架为鱼竿式伸缩结构支架，通过控制伸缩结构支架，根据需要控制摄像头的高低，通过该方式满足对视角范围内信息的采集，避免存在视角盲区；
所述车载信息处理模块接收远程信息处理模块下发的深度学习模型，接收感知模块所获取的实时图像，并利用该模型进行图像识别；
所述远程信息处理模块实时接收车载信息处理模块获取的基于物体的轮廓信息确定物体的类别，依据物体不同的分类进行对应分类的模型训练；云端服务器中存储大量按轮廓进行分类的数据集，用于训练深度学习模型；远程信息处理模块接收车载信息处理模块传输的物体轮廓信息，选取对应的数据集进行深度学习模型的训练；将已经训练好的深度学习模型下发至车载信息处理模块，并对下一帧及后续帧的图像中所出现的同类别物体进行物体识别，实现深度学习模型的实时训练；
所述车辆运动执行模块用于接收车载信息处理模块发送的运行控制指令，完成对车体的运动控制；所述车辆运动执行模块为基于RC小车的移动平台；Raspberry Pi平台连接舵机和油门控制板，发送指令控制小车运动；
所述车载信息处理模块选取单片Raspberry Pi平台做为车载信息处理模块，所述感知模块采集的图像数据经Raspberry Pi平台传至远程信息处理模块，所述车载信息处理模块搭载云端发送的深度学习模型进行物体细分类识别；所述Raspberry Pi平台利用Open cv的sobel算子进行图像边缘检测，提取轮廓特征，进行粗分类识别，传输至远程信息处理模块进行分类深度学习模型的训练，并通过4G模块接收训练好的深度学习模型。
2.如权利要求1所述的一种基于视觉及深度学习的无人驾驶系统，其特征是，所述车辆运动执行模块采用双电源供电，锂电池供电于小车，移动电源输出电源为Raspberry Pi平台供电。
3.一种基于视觉及深度学习的无人驾驶方法，基于权利要求1-2任一所述的一种基于视觉及深度学习的无人驾驶系统，其特征是，包括：
获取车体前方环境当前帧的图像及车体前方标志物距离信息，进行图像处理；
获取环境当前帧的图像数据后，在图像候选区域上利用扫描窗口进行扫描；
对扫描后的图像进行预处理：包括彩色图像灰度化、图像几何变换、图像增强及特征提取，框选出图中物体轮廓候选区域；
实时接收获取的基于物体的轮廓信息确定物体的类别，依据物体不同的分类进行对应分类的模型训练；利用已经训练好的深度学习模型对下一帧及后续帧的图像中所出现的同类别物体进行物体识别；
对车体实现自身位置的定位；
基于物体识别结果及车辆自身位置利用路径规划算法进行车辆的自主导航；采用sobel算子对图中物体进行边缘检测提取轮廓，通过计算所获得的图中物体梯度与所设阈值进行比较，当大于这一阈值时，则认为该点为边缘点，实现物体的粗分类识别。
4.如权利要求3所述的一种基于视觉及深度学习的无人驾驶方法，其特征是，深度学习模型的网络结构采用Yolo_v3网络架构，通过卷积神经网络对输入图像提取特征，将目标检测作为回归问题，空间上分离边界框和相关的类概率。
CN201910866144.8A 2019-09-12 2019-09-12 一种基于视觉及深度学习的无人驾驶系统及方法 Active CN110598637B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910866144.8A CN110598637B (zh) 2019-09-12 2019-09-12 一种基于视觉及深度学习的无人驾驶系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910866144.8A CN110598637B (zh) 2019-09-12 2019-09-12 一种基于视觉及深度学习的无人驾驶系统及方法

Publications (2)

Publication Number Publication Date
CN110598637A CN110598637A (zh) 2019-12-20
CN110598637B true CN110598637B (zh) 2023-02-24

Family

ID=68859347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910866144.8A Active CN110598637B (zh) 2019-09-12 2019-09-12 一种基于视觉及深度学习的无人驾驶系统及方法

Country Status (1)

Country Link
CN (1) CN110598637B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392677A (zh) * 2020-03-12 2021-09-14 阿里巴巴集团控股有限公司 目标对象的检测方法及装置、存储介质、终端
CN111339999A (zh) * 2020-03-23 2020-06-26 东莞理工学院 一种用于视觉导航机器人图像处理系统及处理方法
CN111506067A (zh) * 2020-04-20 2020-08-07 上海电子信息职业技术学院 智能模型车
CN112329768A (zh) * 2020-10-23 2021-02-05 上善智城(苏州)信息科技有限公司 一种基于改进的yolo的加油站卸油停车牌标志的识别方法
CN113173502B (zh) * 2021-01-15 2023-06-06 福建电子口岸股份有限公司 一种基于激光视觉融合和深度学习的防撞方法、系统
CN113537003B (zh) * 2021-07-02 2022-10-21 安阳工学院 一种用于辅助驾驶的车外环境视觉检测方法及装置
CN114793599A (zh) * 2022-04-14 2022-07-29 宁波市华代科技有限公司 一种智能割草机用智能作业系统
CN115018846B (zh) * 2022-08-09 2022-12-27 东声(苏州)智能科技有限公司 基于ai智能相机的多目标裂纹缺陷检测方法和装置
CN116894616A (zh) * 2023-08-04 2023-10-17 湖南大学 基于机器视觉识别系统智能控制新能源物流车组装方法
CN118212781B (zh) * 2024-05-17 2024-08-20 北京国电光宇机电设备有限公司 一种带有自动识别车辆数据的远程监测遥控系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104159071A (zh) * 2014-07-11 2014-11-19 深圳瞭望通达科技有限公司 一种基于云服务的智能目标识别装置、系统及方法
CN108196535A (zh) * 2017-12-12 2018-06-22 清华大学苏州汽车研究院（吴江） 基于增强学习和多传感器融合的自动驾驶系统
CN109357630A (zh) * 2018-10-30 2019-02-19 南京工业大学 一种多类型工件批量视觉测量系统及方法
CN109558892A (zh) * 2018-10-30 2019-04-02 银河水滴科技（北京）有限公司 一种基于神经网络的目标识别方法及系统
CN109747659A (zh) * 2018-11-26 2019-05-14 北京汽车集团有限公司 车辆驾驶的控制方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104159071A (zh) * 2014-07-11 2014-11-19 深圳瞭望通达科技有限公司 一种基于云服务的智能目标识别装置、系统及方法
CN108196535A (zh) * 2017-12-12 2018-06-22 清华大学苏州汽车研究院（吴江） 基于增强学习和多传感器融合的自动驾驶系统
CN109357630A (zh) * 2018-10-30 2019-02-19 南京工业大学 一种多类型工件批量视觉测量系统及方法
CN109558892A (zh) * 2018-10-30 2019-04-02 银河水滴科技（北京）有限公司 一种基于神经网络的目标识别方法及系统
CN109747659A (zh) * 2018-11-26 2019-05-14 北京汽车集团有限公司 车辆驾驶的控制方法和装置

Also Published As

Publication number Publication date
CN110598637A (zh) 2019-12-20

Similar Documents

Publication Publication Date Title
CN110598637B (zh) 一种基于视觉及深度学习的无人驾驶系统及方法
US11885910B2 (en) Hybrid-view LIDAR-based object detection
Ali et al. Real-time multiple damage mapping using autonomous UAV and deep faster region-based neural networks for GPS-denied structures
CN109884916B (zh) 一种自动驾驶仿真评估方法及装置
CN111874006B (zh) 路线规划处理方法和装置
US11410315B2 (en) High quality instance segmentation
US20180349746A1 (en) Top-View Lidar-Based Object Detection
CN108764187A (zh) 提取车道线的方法、装置、设备、存储介质以及采集实体
EP3850456B1 (en) Control and navigation systems, pose optimisation, mapping, and localisation techniques
US11961272B2 (en) Long range localization with surfel maps
CN113537046A (zh) 基于检测车辆轨迹大数据的地图车道线标注方法及系统
CN116457800A (zh) 用于自动驾驶车辆中的地图变化检测的架构
CN116776151A (zh) 可与车外人员进行自主交互的自动驾驶模型和训练方法
GB2581403A (en) Pose optimisation, mapping, and localisation techniques
CN117148853A (zh) 一种基于5g技术和深度学习的无人机环境自适应避障方法及系统
CN116243725A (zh) 基于视觉导航的变电站无人机巡检方法及系统
US20220406014A1 (en) Granularity-flexible existence-based object detection
CN116337101A (zh) 基于数字孪生技术的无人驾驶环境感知与导航系统
CN113298044B (zh) 基于定位补偿的障碍物检测方法、系统、设备及存储介质
Feng et al. Autonomous RC-car for education purpose in iSTEM projects
CN115116029A (zh) 一种自动驾驶决策方法和装置
Grigioni et al. Safe road-crossing by autonomous wheelchairs: a novel dataset and its experimental evaluation
Naso et al. Autonomous flight insurance method of unmanned aerial vehicles Parot Mambo using semantic segmentation data
CN114103994A (zh) 基于车辆自动清扫路面的控制方法、装置、设备及车辆
Zhang et al. Behavioral cloning for driverless cars using transfer learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant