CN110097109B - 一种基于深度学习的道路环境障碍物检测系统及方法 - Google Patents

一种基于深度学习的道路环境障碍物检测系统及方法 Download PDF

Info

Publication number
CN110097109B
CN110097109B CN201910337110.XA CN201910337110A CN110097109B CN 110097109 B CN110097109 B CN 110097109B CN 201910337110 A CN201910337110 A CN 201910337110A CN 110097109 B CN110097109 B CN 110097109B
Authority
CN
China
Prior art keywords
processing unit
intelligent processing
camera
image
intelligent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910337110.XA
Other languages
English (en)
Other versions
CN110097109A (zh
Inventor
王正家
何涛
柯楠
解家月
钱峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Technology
Original Assignee
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology filed Critical Hubei University of Technology
Priority to CN201910337110.XA priority Critical patent/CN110097109B/zh
Publication of CN110097109A publication Critical patent/CN110097109A/zh
Application granted granted Critical
Publication of CN110097109B publication Critical patent/CN110097109B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G06V20/39—Urban scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Abstract

本发明提出了一种基于深度学习的道路环境障碍物检测系统及方法。本发明系统包括：车前摄像头、车尾摄像头、左后视镜摄像头、右后视镜摄像头、第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元、交换机、主控单页、显示屏、蜂鸣器以及电源模块。本发明方法通过摄像头实时采集车辆四周视频序列，将获取序列中的图像传输给对应的智能处理单元；智能处理单元获取接收图像中的感兴趣区域；创建道路障碍物数据集离线训练YOLO神经网络，智能处理单元将分类为非路面簇的图片作为验证集，输入到训练完成的YOLO网络模型中，输出障碍物的回归框和类别。本发明减少复杂的图像预处理过程，能够快速区分图像背景及前景中的检测目标。

Description

一种基于深度学习的道路环境障碍物检测系统及方法
技术领域
本发明属于计算机视觉技术领域和智能驾驶辅助领域，具体涉及一种基于深度学习的道路环境障碍物检测系统及方法。
背景技术
随着我国经济的迅速发展，汽车保有量急速增加，在给人们生活带来便利的同时，也产生了一系列安全问题，其中道路交通事故发生比例的逐年增加是最为严重的问题。据统计，中国汽车保有量占世界汽车总量的8％，道路交通事故占比却高达20％，每年因交通事故造成的经济损失约占国民经济生产总值的2％-3％。其中，交通事故的主要原因是驾驶员的违章行驶行为，但事故起因也不乏车辆自身因素对驾驶员判断的影响，如由于车身结构、道路因素、行驶状态等特点造成的视觉盲区，虽然车辆上安装有后视镜及一些补盲视镜，使得驾驶员可以通过这些视镜观察盲区内的路况，但由于视镜受其安装位置等限制，在一些行驶状态时，仍然存在视觉盲区，另一方面由于驾驶员的驾驶经验或侥幸心理等因素，使得其忽略部分视镜所呈现的信息，从而导致交通事故的发生。因此，有必要采用更加科学的技术手段来辅助驾驶员做出更安全的判断，要实现车辆对道路环境的实时感知，良好的目标检测是解决问题的技术手段之一。
基于机器学习的目标检测方法主要涉及特征提取与分类器选择两个方面。特征提取用于描述检测目标的外观信息，使用恰当的特征可以得到目标区别于其他类型物体的特有外观信息。目前常用的特征多为人工设计，主要有HOG特征、LBP特征、SIFT特征、Gabor特征、Haar-like特征等。而分类器的作用是判断目标区域与背景区域，并进行分类，同时也可以实现检测目标的类型判断。为得到准确的分类输出结果，在保证训练样本的特征集最具代表性的前提下，还应当输入充足的样本进行训练。分类器的训练过程通常分为离线训练和在线训练两类。目前常用的分类器主要有SVM分类器、Adaboost分类器、KNN分类器、Softmax分类器等。HediHarazllah等人首先介绍了一种利用滑动窗口依次遍历待检测图像，提取HOG和SIFT特征，利用SVM分类器完成候选验证及车辆检测的方法，但滑动窗口遍历图像的计算量较大，会降低检测的时效性。申请号201710278795.6的专利《一种基于机器视觉和机器学习的运动车辆检测算法》中选用Haar-like边缘特征作为分类器的特征向量，采用监督型机器学习算法Adaboost离线训练分类器，该方法需要提取大量的Haar-like特征来进行离线训练，以满足分类器的准确判断，计算量大。申请公布号为CN103544487A的专利《基于单目视觉的前车识别方法》中公布了一种通过Canny边缘提取方法提取前方车辆感兴趣区域，根据车底阴影的几何形状判断出车辆区域，最后将车辆特征降维送入支持向量机(SVM)中进行分类，判断是否为车辆区域的方法，该方法基于车辆的先验知识，如车底阴影、车尾灯、车体水平(竖边缘、车体角点信息)及车体对称性等简单的车辆图像特征对车辆感兴趣区域进行确定，但该方法对图像光照情况要求较高，没有很好的鲁棒性，在光照微弱时，车辆灰度与道路灰度接近时则无法适用。申请号201510054968.7的专利《一种基于目标一致性的车载相机快速行人车辆检测方法》通过双目相机获取当前帧图像，建立道路场景柱状模型，利用Hough变换提取感兴趣区域，再提取颜色特征与SIFT特征结合的特征向量进行离线训练，训练结果再对左右两幅图像中的行人和车辆进行检测，根据双目一致性特征优化最终的检测结果，该方法虽然对环境适应性好，检测精度较高，但对硬件要求高，成本较高，且人工标记特征的方法耗时费力，占用内存较高，不适用于嵌入式环境。
基于机器学习的目标检测方法往往存在着计算量较大，不能满足道路场景下实时检测要求的问题。近年来，伴随着新的智能算法——深度学习理论基础的突破，传统的人工定义的特征也被深度神经网络取代。深度学习在目标检测算法上的应用方式大多通过基于图像底层信息的区域生成加上基于卷积神经网络的类别判断来实现。卷积神经网络即CNN，是深度学习算法的一种，蔡英凤等人基于CNN算法，在生成候选区域阶段采用了基于视觉显著性的方法，并将候选区域输入CNN进行特征提取和候选验证完成车辆检测。CNN在训练模型时不需要人为参与特征的选取过程，可以自动地学习大量数据集中的目标特征。具有良好的容错能力，对几何变换、形变、光照具有一定程度的不变性。这些优点使得CNN在处理环境多变，先验知识不明确等情况下的问题时具有较大优势，但是单纯采用CNN方案无法摆脱运算量大、耗时长的特点。
因此，设计一种基于深度学习的障碍物检测方法，在保证目标检测准确率的前提下，能够提高检测的实时性和环境适应性。
发明内容
本发明的目的是提供一种基于深度学习的道路环境障碍物检测系统及方法，在保证目标检测准确率的前提下，提高检测的实时性和环境适应性。同时，基于嵌入式的障碍物检测方法及系统，能够降低算法对硬件的要求，从而减少系统搭建的成本。
本发明系统的技术方案为一种基于深度学习的道路环境障碍物检测系统，系统包括：车前摄像头、车尾摄像头、左后视镜摄像头、右后视镜摄像头、第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元、交换机、主控单页、显示屏、蜂鸣器以及电源模块；
所述车前摄像头与所述第一智能处理单元通过导线连接；所述车尾摄像头与所述第二智能处理单元通过导线连接；所述左后视镜摄像头与所述第三智能处理单元通过导线连接；所述右后视镜摄像头与所述第四智能处理单元通过导线连接；所述第一智能处理单元与所述交换机通过网线连接；所述第二智能处理单元与所述交换机通过网线连接；所述第三智能处理单元与所述交换机通过网线连接；所述第四智能处理单元与所述交换机通过网线连接；所述交换机与所述主控单页通过导线连接；所述主控单页与所述显示屏通过导线连接；所述主控单页与所述蜂鸣器通过导线连接；所述电源模块分别与所述的车前摄像头、车尾摄像头、左后视镜摄像头、右后视镜摄像头、第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元、交换机、主控单页、显示屏、蜂鸣器通过导线依次连接。
作为优选，所述车前摄像头安装在卡车车头标志处，采集车前5*10m2矩形范围内的图像，并将图像传输给所述第一智能处理单元；
作为优选，所述车尾摄像头安装在拖车尾部中心处，采集车后4*8m2矩形范围内的图像，并将图像传输给所述第二智能处理单元；
作为优选，所述左后视镜摄像头安装在卡车左后视镜下方，采集车身左侧3.75*17.3m2矩形范围内的图像，并将图像传输给所述第三智能处理单元；
作为优选，所述右后视镜摄像头安装在卡车右后视镜下方，采集车身右侧3.75*17.3m2矩形范围内的图像，并将图像传输给所述第四智能处理单元。
作为优选，所述的第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元对图像进行处理，并完成图像中的障碍物检测，将处理后的图像传递给所述交换机；
作为优选，所述交换机将处理后的图像数据高速传递给所述主控单页；
作为优选，所述主控单页对传输来的图像进行解码、拼接，同时根据所述的第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元中障碍物检测的输出结果，将上述信息整合传输给所述显示屏；
作为优选，所述显示屏均匀分屏为四块区域，分别实时显示所述的车前摄像头、车尾摄像头、左后视镜摄像头、右后视镜摄像头采集的图像；若所述的第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元检测到障碍物存在，则所述显示屏显示带框的检测目标且所述主控单页控制所述蜂鸣器报警；
作为优选，所述电源模块用于给所述的车前摄像头、车尾摄像头、左后视镜摄像头、右后视镜摄像头、第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元、交换机、主控单页、显示屏、蜂鸣器供电。
本发明方法的技术方案为一种基于深度学习的道路环境障碍物检测方法，该方法包括下述步骤：
步骤1：通过车前摄像头、车尾摄像头、左后视镜摄像头、右后视镜摄像头实时采集车辆四周视频序列，获取车辆四周视频序列中的图像，并将图像传输给对应的智能处理单元；
步骤2：从车辆四周视频序列中的图像中获取感兴趣区域图像；
步骤3：对感兴趣区域图像网格化分块为L个图像，并采用无监督学习算法K-Means聚类对网格化图像训练集分类为路面簇和非路面簇；
步骤4：创建道路障碍物数据集，离线训练YOLO神经网络，并将训练完成的YOLO网络模型在所述的第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元中用于分类；
步骤5：所述的第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元将分类为非路面簇的图像作为验证集，输入到训练完成的YOLO网络模型中，采用训练阶段得到的权重进行障碍物检测，输出障碍物的回归框和障碍物类别；
作为优选，步骤1中所述车辆四周视频序列中的图像为：
Pi,j(m,n)(i∈[1,M],j∈[1,4],m∈[1,N],n∈[1,N])
其中，所述车辆四周图像P为N行N列的彩色图像，M为采集图像的数量，Pi,j(m,n)为编号为j的摄像头采集第i幅图像中第m行第n列的像素，i为采集图像的编号，j为采集图像的摄像头编号，j＝1代表采集图像的摄像头为车前摄像头，j＝2代表采集图像的摄像头为车尾摄像头，j＝3代表采集图像的摄像头为左后视镜摄像头，j＝4代表采集图像的摄像头为右后视镜摄像头；
作为优选，步骤2中所述感兴趣区域图像为：
Pi,j′(a,n)(a∈[1,k*N],k∈(0,1),n∈[1,N])
其中，感兴趣区域图像Pi,j′(a,n)为k*N行N列的彩色图像，所述k为图像的行裁剪系数，k∈(0,1)；
作为优选，步骤3中所述网格化分块为L个图像：
Pi,j″(c,d)(c∈[1,k1*N],d∈[1,k1*N])
其中，所述L个分块图像Pi,j″(c,d)为k1*N行k1*N列的彩色图像，所述k1为图像的分块系数；
相应的，所述的第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元分别创建L个线程，每个线程处理一个图像块Pi,j″(c,d)，将这些图像块作为训练集In；
步骤3中所述采用无监督学习算法K-Means聚类对网格化图像训练集分类为路面簇和非路面簇为：
首先采用无监督学习算法K-Means聚类对训练集In进行训练，聚类后再通过人工标记，标记出路面簇C0和非路面簇C1，得到路面—非路面模型，这样就将复杂的道路场景划分为两类简单的场景；
进一步的，采用无监督学习算法K-Means聚类对训练集In进行训练具体为以下步骤：
步骤3.1，输入待聚类的训练集In＝{x1,x2,...,xl}和欲聚类的簇数K，其中，所述xl(1≤l≤L)为L个图像块Pi,j″(c,d)各个像素点的像素值集合，从In中随机选择K个像素值集合{μ1,μ2,...,μk}作为初始簇中心，令
Figure BDA0002039504570000061
Ck为训练集的簇划分集合；
步骤3.2，计算样本xl与各个初始簇中心μk(1≤k≤K)的距离：
dlk＝||xl-μk||2
根据距离最近的均值向量确定xl的簇标记：
λl＝arg mink∈{1,2,...K}dlk
将训练样本xl划入相应的簇：
Figure BDA0002039504570000064
即计算每个点到初始簇中心的距离，将每个点聚类到离簇中心最近的簇中去；
步骤3.3，计算每个簇中所有点的均值：
Figure BDA0002039504570000062
如果μk′≠μk，则将当前均值μk更新为μk′；
步骤3.4，重复执行步骤3.2、3.3，直到最后一次迭代产生的结果与前一次迭代相同，则得到最终的簇划分：
C＝{C1,C2,...,CK}
步骤3.5，对聚类输出的簇C进行人工标记，得到路面簇C0和非路面簇C1；
作为优选，步骤4中所述离线训练YOLO神经网络为：
YOLO检测网络包括24个卷积层和2个全连接层；
步骤4.1，创建道路障碍物数据集：
从ImageNet数据库上随机筛选出Q张包含道路障碍物的图像，所述道路障碍物为道路场景下的行人或车辆，将上述图像作为训练集Itr，将训练集Itr图片中出现的各个障碍物目标的中心点坐标
Figure BDA0002039504570000063
(e代表图片中目标的类别)及长、宽
Figure BDA0002039504570000071
进行人工标记；
步骤4.2，网络模型预训练：
通过步骤4.1所述训练集Itr对分类网络进行预训练，采用小批量梯度下降法和冲量更新权重参数，减小损失函数值直至收敛，更新规则如下：
Figure BDA0002039504570000072
ω(l)(t)＝ω(l)(t)-Mω(l)
式中，Mω(l)(t)表示在第t次迭代时，第l层的参数ω(l)的冲量；μ表示冲量系数；α表示学习率；λ表示权重衰减系数；前一次迭代的冲量被用于计算当前迭代的冲量，通过该方法能够避免陷入局部最小值且加速收敛；
结合训练集训练φ轮后，得到预训练参数：冲量系数μ、权重衰减系数λ、迭代次数t、学习率α；
作为优选，步骤5中所述输入到步骤4中训练完成的YOLO网络模型中，采用训练阶段得到的权重进行障碍物检测，输出障碍物的回归框和障碍物类别具体为以下步骤：
步骤5.1，候选图像预处理：
将步骤3中分类为非路面簇C1的图片作为候选图像输入YOLO网络中，YOLO网络会将输入图片分割成SxS的网格，即得到β个网格图像序列：
Cβ(mβ,nβ){mβ∈[1,S],nβ∈[1,S]}
其中，Cβ表示第β个S行S列网格图像，(mβ,nβ)表示第β个图像中第m行第n列的像素；
分割方法的目的是增强对小目标的检测能力，将网格图片Cβ输入到YOLO神经网络的卷积层进行预测，每个网格预测是否有检测目标的中心落入其内部。若某个网格预测为真，则该网格就负责这个目标的信息预测，该网格再预测出B个检测边界框(bounding box)以及B个检测边界框的置信度(confidence)；
步骤5.2，如步骤5.1所述，每个边界框信息包含5个预测量，分别是x,y,w,h和confidence(置信度)，(x,y)为边界框中心点相对于对应网格的偏移量比例，它们的取值范围为(0，1)；(w,h)为边界框的宽度和高度相对于分割前整张图片尺寸的比例，它们的取值范围为(0，1)；置信度反映预测的边界框是否包含目标以及边界框的准确性，置信度的计算公式为
Figure BDA0002039504570000081
confidence＝Pr(Object)×IOU
式中，area()表示面积，BBgt为训练的参考标准框，BBdt为检测边界框，Pr(Object)为边界框包含物体的概率。若边界框包含物体，则Pr(Object)＝1；否则Pr(Object)＝0；IOU为预测边界框与物体真实区域的面积交并比，最大IOU值对应的物体即为当前检测边界框负责预测的物体；
每个网格还会预测C个条件类别概率，定义为：Pr(Classi|Object)，表示网格在包含一个检测目标的前提下，该目标类别的概率分布。YOLO为每个网格预测一组类别概率，而不考虑框B的数量，则输出层输出S*S*(5*B+C)维张量；
步骤5.3，整合输出层的输出数据，由于每个网格都预测出B个边界框，但是其对应的类别只有一个，因此设置阈值过滤掉置信度得分低的边界框，最后对保留的边界框进行非极大值抑制处理，去掉重复框，选取目标类别出现概率最高的边界框，并输出其具体坐标(x,y,w,h)及目标类别Class。
与现有技术相比，本发明的有益效果是：
提供一种基于嵌入式深度学习技术的道路环境障碍物检测方法及系统，充分考虑了车辆行驶过程中场景的多样性，以及道路环境障碍物种类的多样性，通过构建路面-非路面识别模型，减少复杂的图像预处理过程，能够快速区分图像背景及前景中的检测目标；采用YOLO网络框架进行障碍物的检测，通过损失函数提高检测的鲁棒性，YOLO网络将整张图片分割成若干网格，然后对每个单独的网格直接预测障碍物所在位置的边界框和物体的概率。因此，YOLO网络具有较快的识别速率和对多目标较高的识别率。同时，基于嵌入式的障碍物检测方法及系统，能够降低算法对硬件的要求，从而减少系统搭建的成本。
附图说明
图1：为本发明的系统框图；
图2：为本发明的方法的流程图；
图3：为YOLO检测网络结构图；
图4：为YOLO检测示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，为本发明的系统框图，一种基于深度学习的道路环境障碍物检测系统，系统包括车前摄像头、车尾摄像头、左后视镜摄像头、右后视镜摄像头、第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元、交换机、主控单页、显示屏、蜂鸣器以及电源模块；
所述车前摄像头与所述第一智能处理单元通过导线连接；所述车尾摄像头与所述第二智能处理单元通过导线连接；所述左后视镜摄像头与所述第三智能处理单元通过导线连接；所述右后视镜摄像头与所述第四智能处理单元通过导线连接；所述第一智能处理单元与所述交换机通过网线连接；所述第二智能处理单元与所述交换机通过网线连接；所述第三智能处理单元与所述交换机通过网线连接；所述第四智能处理单元与所述交换机通过网线连接；所述交换机与所述主控单页通过导线连接；所述主控单页与所述显示屏通过导线连接；所述主控单页与所述蜂鸣器通过导线连接；所述电源模块分别与所述的车前摄像头、车尾摄像头、左后视镜摄像头、右后视镜摄像头、第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元、交换机、主控单页、显示屏、蜂鸣器通过导线依次连接。
所述车前摄像头安装在卡车车头标志处，采集车前5*10m2矩形范围内的图像，并将图像传输给所述第一智能处理单元；
所述车尾摄像头安装在拖车尾部中心处，采集车后4*8m2矩形范围内的图像，并将图像传输给所述第二智能处理单元；
所述左后视镜摄像头安装在卡车左后视镜下方，采集车身左侧3.75*17.3m2矩形范围内的图像，并将图像传输给所述第三智能处理单元；
所述右后视镜摄像头安装在卡车右后视镜下方，采集车身右侧3.75*17.3m2矩形范围内的图像，并将图像传输给所述第四智能处理单元。
所述的第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元对图像进行处理，并完成图像中的障碍物检测，将处理后的图像传递给所述交换机；
所述交换机将处理后的图像数据高速传递给所述主控单页；
所述主控单页对传输来的图像进行解码、拼接，同时根据所述的第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元中障碍物检测的输出结果，将上述信息整合传输给所述显示屏；
所述显示屏均匀分屏为四块区域，分别实时显示所述的车前摄像头、车尾摄像头、左后视镜摄像头、右后视镜摄像头采集的图像；若所述的第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元检测到障碍物存在，则所述显示屏显示带框的检测目标且所述主控单页控制所述蜂鸣器报警；
所述电源模块用于给所述的车前摄像头、车尾摄像头、左后视镜摄像头、右后视镜摄像头、第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元、交换机、主控单页、显示屏、蜂鸣器供电。
所述的车前摄像头、车尾摄像头、左后视镜摄像头、右后视镜摄像头选型一致，型号为WaveShare鱼眼摄像头，其主要参数为80万像素，170°视场角，外形尺寸为32mm*32mm，接口类型为CSI接口，该款摄像头具有视场大、传输速度快等特点，能够较大程度实时覆盖卡车视野盲区；
所述的第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元、主控单页选型一致，型号为树莓派3B+嵌入式开发板，其主要参数为1.4GHz64位4核ARM Cortex-A53CPU，1GB内存，支持SD卡扩存，支持CSI接口相机，支持千兆以太网，电源输入为5V，功耗0.5～1W，总体尺寸为85mm*56mm*17mm；
所述交换机选型为TP-LINK SG1005+，具备5个RJ45端口，每个端口支持10/100/1000Mbps速率自适应、双工模式自协商，外形尺寸为150mm*100mm*28mm；
所述显示屏选型为YOELBEAR 7寸液晶屏，分辨率为1024*800，工作电压12V，电源功率为5W，接口选择为AV/HDMI，外形尺寸173mm*113mm*28mm；
所述蜂鸣器选型为Risym S8050，工作电压3.3V-5V，I/O口输入高电平时，蜂鸣器鸣响；
所述电源模块选型为RYDBATT的12V锂电池和TELESKY电压转换模组，12V锂电池容量为7800mAh，TELESKY电压转换模组可将6V-12V输入电压转换为3.3V,5V,12V输出电压。
下面结合图1至图4介绍本发明的具体实施方式为一种基于深度学习技术的道路环境障碍物检测方法，具体包括下述步骤：
步骤1：通过车前摄像头、车尾摄像头、左后视镜摄像头、右后视镜摄像头实时采集车辆四周视频序列，获取车辆四周视频序列中的图像，并将图像传输给对应的智能处理单元；
步骤1中所述车辆四周视频序列中的图像为：
Pi,j(m,n)(i∈[1,M],j∈[1,4],m∈[1,N],n∈[1,N])
其中，所述车辆四周图像P为N行N列的彩色图像，M为采集图像的数量，Pi,j(m,n)为编号为j的摄像头采集第i幅图像中第m行第n列的像素，i为采集图像的编号，j为采集图像的摄像头编号，j＝1代表采集图像的摄像头为车前摄像头，j＝2代表采集图像的摄像头为车尾摄像头，j＝3代表采集图像的摄像头为左后视镜摄像头，j＝4代表采集图像的摄像头为右后视镜摄像头；
步骤2：从车辆四周视频序列中的图像中获取感兴趣区域图像；
步骤2中所述感兴趣区域图像为：
Pi,j′(a,n)(a∈[1,k*N],k∈(0,1),n∈[1,N])
其中，感兴趣区域图像Pi,j′(a,n)为k*N行N列的彩色图像，所述k为图像的行裁剪系数，k∈(0,1)；
步骤3：对感兴趣区域图像网格化分块为L个图像，并采用无监督学习算法K-Means聚类对网格化图像训练集分类为路面簇和非路面簇；
步骤3中所述网格化分块为L个图像：
Pi,j″(c,d)(c∈[1,k1*N],d∈[1,k1*N])
其中，所述L个分块图像Pi,j″(c,d)为k1*N行k1*N列的彩色图像，所述k1为图像的分块系数；
相应的，所述的第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元分别创建L个线程，每个线程处理一个图像块Pi,j″(c,d)，将这些图像块作为训练集In；
步骤3中所述采用无监督学习算法K-Means聚类对网格化图像训练集分类为路面簇和非路面簇为：
首先采用无监督学习算法K-Means聚类对训练集In进行训练，聚类后再通过人工标记，标记出路面簇C0和非路面簇C1，得到路面—非路面模型，这样就将复杂的道路场景划分为两类简单的场景；
进一步的，采用无监督学习算法K-Means聚类对训练集In进行训练具体为以下步骤：
步骤3.1，输入待聚类的训练集In＝{x1,x2,...,xl}和欲聚类的簇数K，其中，所述xl(1≤l≤L)为L个图像块Pi,j″(c,d)各个像素点的像素值集合，从In中随机选择K个像素值集合{μ1,μ2,...,μk}作为初始簇中心，令
Figure BDA0002039504570000121
Ck为训练集的簇划分集合；
步骤3.2，计算样本xl与各个初始簇中心μk(1≤k≤K)的距离：
dlk＝||xl-μk||2
根据距离最近的均值向量确定xl的簇标记：
λl＝arg mink∈{1,2,...K}dlk
将训练样本xl划入相应的簇：
Figure BDA0002039504570000122
即计算每个点到初始簇中心的距离，将每个点聚类到离簇中心最近的簇中去；
步骤3.3，计算每个簇中所有点的均值：
Figure BDA0002039504570000131
如果μk′≠μk，则将当前均值μk更新为μk′；
步骤3.4，重复执行步骤3.2、3.3，直到最后一次迭代产生的结果与前一次迭代相同，则得到最终的簇划分：
C＝{C1,C2,...,CK}
步骤3.5，对聚类输出的簇C进行人工标记，得到路面簇C0和非路面簇C1；
步骤4：创建道路障碍物数据集，离线训练YOLO神经网络，并将训练完成的YOLO网络模型在所述的第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元中用于分类；
步骤4中所述离线训练YOLO神经网络为：
YOLO检测网络包括24个卷积层和2个全连接层，如图3所示；
步骤4.1，创建道路障碍物数据集：
从ImageNet数据库上随机筛选出Q张包含道路障碍物的图像，所述道路障碍物为道路场景下的行人或车辆，将上述图像作为训练集Itr，将训练集Itr图片中出现的各个障碍物目标的中心点坐标
Figure BDA0002039504570000132
(e代表图片中目标的类别)及长、宽
Figure BDA0002039504570000133
进行人工标记；
步骤4.2，网络模型预训练：
通过步骤4.1所述训练集Itr对分类网络进行预训练，采用小批量梯度下降法和冲量更新权重参数，减小损失函数值直至收敛，更新规则如下：
Figure BDA0002039504570000134
ω(l)(t)＝ω(l)(t)-Mω(l)
式中，Mω(l)(t)表示在第t次迭代时，第l层的参数ω(l)的冲量；μ＝0.9表示冲量系数；α＝0.001表示学习率；λ＝0.0005表示权重衰减系数；前一次迭代的冲量被用于计算当前迭代的冲量，通过该方法能够避免陷入局部最小值且加速收敛；
结合训练集训练φ轮后，得到预训练参数：冲量系数μ、权重衰减系数λ、迭代次数t、学习率α；
步骤5：所述的第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元将分类为非路面簇的图像作为验证集，输入到训练完成的YOLO网络模型中，采用训练阶段得到的权重进行障碍物检测，输出障碍物的回归框和障碍物类别；
步骤5中所述输入到步骤4中训练完成的YOLO网络模型中，采用训练阶段得到的权重进行障碍物检测，输出障碍物的回归框和障碍物类别具体为以下步骤：
步骤5.1，候选图像预处理：
将步骤3中分类为非路面簇C1的图片作为候选图像输入YOLO网络中，YOLO网络会将输入图片分割成SxS的网格，即得到β个网格图像序列：
Cβ(mβ,nβ){mβ∈[1,S],nβ∈[1,S]}
其中，Cβ表示第β个S行S列网格图像，(mβ,nβ)表示第β个图像中第m行第n列的像素，如图4所示。
分割方法的目的是增强对小目标的检测能力，将网格图片Cβ输入到YOLO神经网络的卷积层进行预测，每个网格预测是否有检测目标的中心落入其内部。若某个网格预测为真，则该网格就负责这个目标的信息预测，该网格再预测出B个检测边界框(bounding box)以及B个检测边界框的置信度(confidence)；
步骤5.2，如步骤5.1所述，每个边界框信息包含5个预测量，分别是x,y,w,h和confidence(置信度)，(x,y)为边界框中心点相对于对应网格的偏移量比例，它们的取值范围为(0，1)；(w,h)为边界框的宽度和高度相对于分割前整张图片尺寸的比例，它们的取值范围为(0，1)；置信度反映预测的边界框是否包含目标以及边界框的准确性，置信度的计算公式为
Figure BDA0002039504570000141
confidence＝Pr(Object)×IOU
式中，area()表示面积，BBgt为训练的参考标准框，BBdt为检测边界框，Pr(Object)为边界框包含物体的概率。若边界框包含物体，则Pr(Object)＝1；否则Pr(Object)＝0；IOU为预测边界框与物体真实区域的面积交并比，最大IOU值对应的物体即为当前检测边界框负责预测的物体；
每个网格还会预测C个条件类别概率，定义为：Pr(Classi|Object)，表示网格在包含一个检测目标的前提下，该目标类别的概率分布。YOLO为每个网格预测一组类别概率，而不考虑框B的数量，则输出层输出S*S*(5*B+C)维张量；
步骤5.3，整合输出层的输出数据，由于每个网格都预测出B个边界框，但是其对应的类别只有一个，因此设置阈值过滤掉置信度得分低的边界框，最后对保留的边界框进行非极大值抑制处理，去掉重复框，选取目标类别出现概率最高的边界框，并输出其具体坐标(x,y,w,h)及目标类别Class。
尽管本文较多地使用了车前摄像头、车尾摄像头、左后视镜摄像头、右后视镜摄像头、第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元、交换机、主控单页、显示屏、蜂鸣器以及电源模块等术语，但并不排除使用其他术语的可能性。使用这些术语仅仅是为了更方便的描述本发明的本质，把它们解释成任何一种附加的限制都是与本发明精神相违背的。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (8)

1.一种基于深度学习的道路环境障碍物检测系统，其特征在于，包括第一摄像头、第二摄像头、第三摄像头、第四摄像头、第五摄像头、第六摄像头、第一摄像处理智能单元、第二摄像处理智能单元、第三摄像处理智能单元、第四摄像处理智能单元、第五摄像处理智能单元、第六摄像处理智能单元、交换机、主控处理模块、预警模块、显示屏、车辆接口模块、电源模块；
车前摄像头、车尾摄像头、左后视镜摄像头、右后视镜摄像头、第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元、交换机、主控单页、显示屏、蜂鸣器以及电源模块；
所述车前摄像头与所述第一智能处理单元通过导线连接；所述车尾摄像头与所述第二智能处理单元通过导线连接；所述左后视镜摄像头与所述第三智能处理单元通过导线连接；所述右后视镜摄像头与所述第四智能处理单元通过导线连接；所述第一智能处理单元与所述交换机通过网线连接；所述第二智能处理单元与所述交换机通过网线连接；所述第三智能处理单元与所述交换机通过网线连接；所述第四智能处理单元与所述交换机通过网线连接；所述交换机与所述主控单页通过导线连接；所述主控单页与所述显示屏通过导线连接；所述主控单页与所述蜂鸣器通过导线连接；所述电源模块分别与所述的车前摄像头、车尾摄像头、左后视镜摄像头、右后视镜摄像头、第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元、交换机、主控单页、显示屏、蜂鸣器通过导线依次连接。
2.根据权利要求1所述的基于深度学习的道路环境障碍物检测系统，其特征在于：所述车前摄像头安装在卡车车头标志处，采集车前5*10m2矩形范围内的图像，并将图像传输给所述第一智能处理单元；
所述车尾摄像头安装在拖车尾部中心处，采集车后4*8m2矩形范围内的图像，并将图像传输给所述第二智能处理单元；
所述左后视镜摄像头安装在卡车左后视镜下方，采集车身左侧3.75*17.3m2矩形范围内的图像，并将图像传输给所述第三智能处理单元；
所述右后视镜摄像头安装在卡车右后视镜下方，采集车身右侧3.75*17.3m2矩形范围内的图像，并将图像传输给所述第四智能处理单元；
所述的第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元对图像进行处理，并完成图像中的障碍物检测，将处理后的图像传递给所述交换机；
所述交换机将处理后的图像数据高速传递给所述主控单页；
所述主控单页对传输来的图像进行解码、拼接，同时根据所述的第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元中障碍物检测的输出结果，将上述信息整合传输给所述显示屏；
所述显示屏均匀分屏为四块区域，分别实时显示所述的车前摄像头、车尾摄像头、左后视镜摄像头、右后视镜摄像头采集的图像；若所述的第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元检测到障碍物存在，则所述显示屏显示带框的检测目标且所述主控单页控制所述蜂鸣器报警；
所述电源模块用于给所述的车前摄像头、车尾摄像头、左后视镜摄像头、右后视镜摄像头、第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元、交换机、主控单页、显示屏、蜂鸣器供电。
3.一种利用权利要求1所述的基于深度学习的道路环境障碍物检测系统进行基于深度学习的道路环境障碍物检测方法，其特征在于，包括以下步骤：
步骤1：通过车前摄像头、车尾摄像头、左后视镜摄像头、右后视镜摄像头实时采集车辆四周视频序列，获取车辆四周视频序列中的图像，并将图像传输给对应的智能处理单元；
步骤2：从车辆四周视频序列中的图像中获取感兴趣区域图像；
步骤3：对感兴趣区域图像网格化分块为L个图像，并采用无监督学习算法K-Means聚类对网格化图像训练集分类为路面簇和非路面簇；
步骤4：创建道路障碍物数据集，离线训练YOLO神经网络，并将训练完成的YOLO网络模型在所述的第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元中用于分类；
步骤5：所述的第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元将分类为非路面簇的图像作为验证集，输入到训练完成的YOLO网络模型中，采用训练阶段得到的权重进行障碍物检测，输出障碍物的回归框和障碍物类别。
4.根据权利要求3所述的基于深度学习的道路环境障碍物检测方法，其特征在于，步骤1中所述车辆四周视频序列中的图像为：
Pi,j(m,n)(i∈[1,M],j∈[1,4],m∈[1,N],n∈[1,N])
其中，所述车辆四周图像P为N行N列的彩色图像，M为采集图像的数量，Pi,j(m,n)为编号为j的摄像头采集第i幅图像中第m行第n列的像素，i为采集图像的编号，j为采集图像的摄像头编号，j＝1代表采集图像的摄像头为车前摄像头，j＝2代表采集图像的摄像头为车尾摄像头，j＝3代表采集图像的摄像头为左后视镜摄像头，j＝4代表采集图像的摄像头为右后视镜摄像头。
5.根据权利要求3所述的基于深度学习的道路环境障碍物检测方法，其特征在于，步骤2中所述感兴趣区域图像为：
Pi,j′(a,n)(a∈[1,k*N],k∈(0,1),n∈[1,N])
其中，感兴趣区域图像Pi,j′(a,n)为k*N行N列的彩色图像，所述k为图像的行裁剪系数，k∈(0,1)。
6.根据权利要求3所述的基于深度学习的道路环境障碍物检测方法，其特征在于，步骤3中所述网格化分块为L个图像：
Pi,j″(c,d)(c∈[1,k1*N],d∈[1,k1*N])
其中，所述L个分块图像Pi,j″(c,d)为k1*N行k1*N列的彩色图像，所述k1为图像的分块系数；
相应的，所述的第一智能处理单元、第二智能处理单元、第三智能处理单元、第四智能处理单元分别创建L个线程，每个线程处理一个图像块Pi,j″(c,d)，将这些图像块作为训练集In；
步骤3中所述采用无监督学习算法K-Means聚类对网格化图像训练集分类为路面簇和非路面簇为：
首先采用无监督学习算法K-Means聚类对训练集In进行训练，聚类后再通过人工标记，标记出路面簇C0和非路面簇C1，得到路面—非路面模型，这样就将复杂的道路场景划分为两类简单的场景；
进一步的，采用无监督学习算法K-Means聚类对训练集In进行训练具体为以下步骤：
步骤3.1，输入待聚类的训练集In＝{x1,x2,...,xl}和欲聚类的簇数K，其中，所述xl(1≤l≤L)为L个图像块Pi,j″(c,d)各个像素点的像素值集合，从In中随机选择K个像素值集合{μ1,μ2,...,μk}作为初始簇中心，令
Figure FDA0003931696060000043
Ck为训练集的簇划分集合；
步骤3.2，计算样本xl与各个初始簇中心μk(1≤k≤K)的距离：
dlk＝||xl-μk||2
根据距离最近的均值向量确定xl的簇标记：
λl＝argmink∈{1,2,...K}dlk
将训练样本xl划入相应的簇：
Figure FDA0003931696060000041
即计算每个点到初始簇中心的距离，将每个点聚类到离簇中心最近的簇中去；
步骤3.3，计算每个簇中所有点的均值：
Figure FDA0003931696060000042
如果μk′≠μk，则将当前均值μk更新为μk′；
步骤3.4，重复执行步骤3.2、3.3，直到最后一次迭代产生的结果与前一次迭代相同，则得到最终的簇划分：
C＝{C1,C2,...,CK}
步骤3.5，对聚类输出的簇C进行人工标记，得到路面簇C0和非路面簇C1。
7.根据权利要求3所述的基于深度学习的道路环境障碍物检测方法，其特征在于，步骤4中所述离线训练YOLO神经网络为：
YOLO检测网络包括24个卷积层和2个全连接层；
步骤4.1，创建道路障碍物数据集：
从ImageNet数据库上随机筛选出Q张包含道路障碍物的图像，所述道路障碍物为道路场景下的行人或车辆，将上述图像作为训练集Itr，将训练集Itr图片中出现的各个障碍物目标的中心点坐标
Figure FDA0003931696060000051
(及长、宽
Figure FDA0003931696060000052
进行人工标记，e代表图片中目标的类别；
步骤4.2，网络模型预训练：
通过步骤4.1所述训练集Itr对分类网络进行预训练，采用小批量梯度下降法和冲量更新权重参数，减小损失函数值直至收敛，更新规则如下：
Figure FDA0003931696060000053
ω(l)(t)＝ω(l)(t)-Mω(l)
式中，Mω(l)(t)表示在第t次迭代时，第l层的参数ω(l)的冲量；μ表示冲量系数；α表示学习率；λ表示权重衰减系数；前一次迭代的冲量被用于计算当前迭代的冲量，通过该方法能够避免陷入局部最小值且加速收敛；
结合训练集训练φ轮后，得到预训练参数：冲量系数μ、权重衰减系数λ、迭代次数t、学习率α。
8.根据权利要求3所述的基于深度学习的道路环境障碍物检测方法，其特征在于，步骤5中所述输入到步骤4中训练完成的YOLO网络模型中，采用训练阶段得到的权重进行障碍物检测，输出障碍物的回归框和障碍物类别具体为以下步骤：
步骤5.1，候选图像预处理：
将步骤3中分类为非路面簇C1的图片作为候选图像输入YOLO网络中，YOLO网络会将输入图片分割成SxS的网格，即得到β个网格图像序列：
Cβ(mβ,nβ){mβ∈[1,S],nβ∈[1,S]}
其中，Cβ表示第β个S行S列网格图像，(mβ,nβ)表示第β个图像中第m行第n列的像素；
分割方法的目的是增强对小目标的检测能力，将网格图片Cβ输入到YOLO神经网络的卷积层进行预测，每个网格预测是否有检测目标的中心落入其内部；若某个网格预测为真，则该网格就负责这个目标的信息预测，该网格再预测出B个检测边界框(bounding box)以及B个检测边界框的置信度(confidence)；
步骤5.2，如步骤5.1所述，每个边界框信息包含5个预测量，分别是x,y,w,h和confidence(置信度)，(x,y)为边界框中心点相对于对应网格的偏移量比例，它们的取值范围为(0，1)；(w,h)为边界框的宽度和高度相对于分割前整张图片尺寸的比例，它们的取值范围为(0，1)；置信度反映预测的边界框是否包含目标以及边界框的准确性，置信度的计算公式为
Figure FDA0003931696060000061
confidence＝Pr(Object)×IOU
式中，area()表示面积，BBgt为训练的参考标准框，BBdt为检测边界框，Pr(Object)为边界框包含物体的概率，若边界框包含物体，则Pr(Object)＝1；否则Pr(Object)＝0；IOU为预测边界框与物体真实区域的面积交并比，最大IOU值对应的物体即为当前检测边界框负责预测的物体；
每个网格还会预测C个条件类别概率，定义为：Pr(Classi|Object)，表示网格在包含一个检测目标的前提下，该目标类别的概率分布，YOLO为每个网格预测一组类别概率，而不考虑框B的数量，则输出层输出S*S*(5*B+C)维张量；
步骤5.3，整合输出层的输出数据，由于每个网格都预测出B个边界框，但是其对应的类别只有一个，因此设置阈值过滤掉置信度得分低的边界框，最后对保留的边界框进行非极大值抑制处理，去掉重复框，选取目标类别出现概率最高的边界框，并输出其具体坐标(x,y,w,h)及目标类别Class。
CN201910337110.XA 2019-04-25 2019-04-25 一种基于深度学习的道路环境障碍物检测系统及方法 Active CN110097109B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910337110.XA CN110097109B (zh) 2019-04-25 2019-04-25 一种基于深度学习的道路环境障碍物检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910337110.XA CN110097109B (zh) 2019-04-25 2019-04-25 一种基于深度学习的道路环境障碍物检测系统及方法

Publications (2)

Publication Number Publication Date
CN110097109A CN110097109A (zh) 2019-08-06
CN110097109B true CN110097109B (zh) 2022-12-16

Family

ID=67445713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910337110.XA Active CN110097109B (zh) 2019-04-25 2019-04-25 一种基于深度学习的道路环境障碍物检测系统及方法

Country Status (1)

Country Link
CN (1) CN110097109B (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110648331B (zh) * 2019-09-02 2023-01-17 众安信息技术服务有限公司 用于医学图像分割的检测方法、医学图像分割方法及装置
CN110497925B (zh) * 2019-09-06 2020-08-25 合肥德泰科通测控技术有限公司 一种用于轨道无人驾驶的障碍物识别方法
CN112622923B (zh) * 2019-09-24 2022-07-05 北京百度网讯科技有限公司 用于控制车辆的方法和装置
CN110865421B (zh) * 2019-11-18 2022-04-15 北京百度网讯科技有限公司 自动驾驶业务模型训练方法、检测方法、装置和电子设备
CN111105432B (zh) * 2019-12-24 2023-04-07 中国科学技术大学 基于深度学习的无监督端到端的驾驶环境感知方法
CN111186379B (zh) * 2020-01-21 2021-12-03 武汉大学 一种基于深度学习的汽车盲区危险物报警方法
JPWO2021181861A1 (zh) * 2020-03-10 2021-09-16
CN111652134A (zh) * 2020-06-02 2020-09-11 电子科技大学中山学院 一种基于微处理器的车载行人检测系统及检测方法
CN111746543B (zh) * 2020-06-30 2021-09-10 三一专用汽车有限责任公司 车辆变道的控制方法、控制装置、车辆和可读存储介质
CN112180913A (zh) * 2020-09-01 2021-01-05 芜湖酷哇机器人产业技术研究院有限公司 特种车辆识别方法
WO2022077264A1 (zh) * 2020-10-14 2022-04-21 深圳市锐明技术股份有限公司 一种物体识别方法、物体识别装置及电子设备
CN112347899B (zh) * 2020-11-03 2023-09-19 广州杰赛科技股份有限公司 一种运动目标图像提取方法、装置、设备及存储介质
CN112616230A (zh) * 2020-12-21 2021-04-06 江苏恒通照明集团有限公司 一种智慧路灯远程运维控制系统
CN112633176B (zh) * 2020-12-24 2023-03-14 广西大学 一种基于深度学习的轨道交通障碍物检测方法
CN113173502B (zh) * 2021-01-15 2023-06-06 福建电子口岸股份有限公司 一种基于激光视觉融合和深度学习的防撞方法、系统
CN112818806A (zh) * 2021-01-27 2021-05-18 国网四川省电力公司电力科学研究院 一种基于深度学习的变电站巡检机器人辅助导航方法
CN112464921B (zh) * 2021-02-02 2021-07-27 禾多科技（北京）有限公司 障碍物检测信息生成方法、装置、设备和计算机可读介质
CN113111773A (zh) * 2021-04-10 2021-07-13 山东沂蒙交通发展集团有限公司 一种基于深度学习的路面障碍物智能识别设备
CN113255439B (zh) * 2021-04-13 2024-01-12 深圳市锐明技术股份有限公司 一种障碍物识别方法、装置、系统、终端及云端
CN113538357B (zh) * 2021-07-09 2022-10-25 同济大学 一种抗阴影干扰的路面状态在线检测方法
CN113420720B (zh) * 2021-07-21 2024-01-09 中通服咨询设计研究院有限公司 一种高精度低延时大型室内场馆人群分布计算方法
CN117690108A (zh) * 2022-08-29 2024-03-12 中车株洲电力机车研究所有限公司 基于深度神经网络的智轨障碍物检测系统、方法
CN115116038B (zh) * 2022-08-30 2023-03-24 北京中科慧眼科技有限公司 基于双目视觉的障碍物识别方法和系统
CN116844057B (zh) * 2023-08-28 2023-12-08 福建智涵信息科技有限公司 一种路面病害图像处理方法及车载检测装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9760806B1 (en) * 2016-05-11 2017-09-12 TCL Research America Inc. Method and system for vision-centric deep-learning-based road situation analysis
CN108259861A (zh) * 2018-04-20 2018-07-06 佛山聚晨知识产权运营有限公司 一种基于互联网的智能监控系统
CN109447033A (zh) * 2018-11-14 2019-03-08 北京信息科技大学 基于yolo的车辆前方障碍物检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9760806B1 (en) * 2016-05-11 2017-09-12 TCL Research America Inc. Method and system for vision-centric deep-learning-based road situation analysis
CN108259861A (zh) * 2018-04-20 2018-07-06 佛山聚晨知识产权运营有限公司 一种基于互联网的智能监控系统
CN109447033A (zh) * 2018-11-14 2019-03-08 北京信息科技大学 基于yolo的车辆前方障碍物检测方法

Also Published As

Publication number Publication date
CN110097109A (zh) 2019-08-06

Similar Documents

Publication Publication Date Title
CN110097109B (zh) 一种基于深度学习的道路环境障碍物检测系统及方法
CN110175576B (zh) 一种结合激光点云数据的行驶车辆视觉检测方法
WO2019169816A1 (zh) 一种用于精细化识别车辆属性的深度神经网络及训练方法
CN112101221B (zh) 一种用于交通信号灯实时检测与识别的方法
CN111860274B (zh) 基于头部朝向与上半身骨架特征的交警指挥手势识别方法
Alefs et al. Road sign detection from edge orientation histograms
US10445602B2 (en) Apparatus and method for recognizing traffic signs
CN106686280A (zh) 影像修补系统及其方法
CN111695514B (zh) 一种基于深度学习的雾天下车辆检测方法
CN112339773B (zh) 一种基于单目视觉的非主动车道偏离预警方法及系统
CN110728241A (zh) 一种基于深度学习多特征融合的驾驶员疲劳检测方法
CN112131981B (zh) 一种基于骨架数据行为识别的司机疲劳检测方法
CN110807352B (zh) 一种用于危险驾驶行为预警的车内外场景视觉分析方法
CN109886086B (zh) 基于hog特征和线性svm级联分类器的行人检测方法
CN116188999B (zh) 一种基于可见光和红外图像数据融合的小目标检测方法
JP2019106193A (ja) 情報処理装置、情報処理プログラム、及び、情報処理方法
CN111008994A (zh) 基于MPSoC的运动目标实时检测跟踪系统及方法
KR20210064123A (ko) 안전 벨트의 착용 상태 인식 방법, 장치, 전자 기기 및 저장 매체
CN111915583A (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
Sayeed et al. Bangladeshi Traffic Sign Recognition and Classification using CNN with Different Kinds of Transfer Learning through a new (BTSRB) Dataset
JP6472504B1 (ja) 情報処理装置、情報処理プログラム、及び、情報処理方法
Arthi et al. Object detection of autonomous vehicles under adverse weather conditions
CN114120150A (zh) 一种基于无人机成像技术的道路目标检测方法
CN106650814B (zh) 一种基于车载单目视觉室外道路自适应分类器生成方法
CN117292346A (zh) 面向驾驶人和车辆状态一体感知的车辆行驶风险预警方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant