CN113111773A - 一种基于深度学习的路面障碍物智能识别设备 - Google Patents
一种基于深度学习的路面障碍物智能识别设备 Download PDFInfo
- Publication number
- CN113111773A CN113111773A CN202110387417.8A CN202110387417A CN113111773A CN 113111773 A CN113111773 A CN 113111773A CN 202110387417 A CN202110387417 A CN 202110387417A CN 113111773 A CN113111773 A CN 113111773A
- Authority
- CN
- China
- Prior art keywords
- deep learning
- obstacle
- obstacles
- component
- dynamic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013135 deep learning Methods 0.000 claims abstract description 62
- 238000000034 method Methods 0.000 claims abstract description 48
- 230000003068 static effect Effects 0.000 claims abstract description 32
- 239000012535 impurity Substances 0.000 claims abstract description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 24
- 238000013528 artificial neural network Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 18
- 230000015572 biosynthetic process Effects 0.000 claims description 13
- 238000003786 synthesis reaction Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 12
- 239000000463 material Substances 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 210000004027 cell Anatomy 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 239000011521 glass Substances 0.000 claims description 6
- 239000002184 metal Substances 0.000 claims description 6
- 229910052751 metal Inorganic materials 0.000 claims description 6
- 239000004033 plastic Substances 0.000 claims description 6
- 229920003023 plastic Polymers 0.000 claims description 6
- 239000005060 rubber Substances 0.000 claims description 6
- 239000004575 stone Substances 0.000 claims description 6
- 239000002023 wood Substances 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 claims description 4
- 240000007651 Rubus glaucus Species 0.000 claims description 3
- 235000011034 Rubus glaucus Nutrition 0.000 claims description 3
- 235000009122 Rubus idaeus Nutrition 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 230000004888 barrier function Effects 0.000 abstract description 12
- 238000002513 implantation Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000011384 asphalt concrete Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 239000004567 concrete Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的路面障碍物智能识别设备，其特征在于包括图像获取部件、图像输送增强去杂部件、基于深度学习的障碍物分级部件、基于深度学习方法的障碍物动静态判定部件、基于深度学习方法的障碍物预警部件，智能识别是基于深度学习理论的模型对预处理后的视频图像信息进行障碍物的识别判定，最终实现障碍物的分级和动静态判定；本发明具有费用低、实时性强、有科技含量、成为了智慧公路的重要组成部分等优点，提高了道路障碍物识别和管理的智能化水平，并显著提高道路安全性能和服务水平以及应急处置能力。
Description
技术领域
本发明属于智能交通设备技术领域，特别涉及一种基于深度学习的路面障碍物智能识别设备。
背景技术
在现有的路面(包括沥青混凝土路面、水泥混凝土路面、砖石路面等不同材质路面)中常会出现不同的障碍物(例如：塑料类、金属类、木质类、玻璃类、橡胶类、石质类等)，若驾驶员在驾驶车辆行驶过程中，不能完全集中注意力，极易与这些障碍物发生碰撞，若利用人工智能技术对障碍物进行有效识别，进行辅助驾驶，则可极大避免碰撞的发生；
经检索专利申请公布号：CN107493488A，基于Faster R-CNN模型的视频内容物智能植入方法，包括：解帧得到视频声音文件、视频帧图像和植入内容物帧图像；检测识别每个视频帧包含的内容物，并对视频帧文件进行镜头切分；对每个镜头选择内容物体作为内容物植入区域；精确定位内容物植入区域的顶点并追踪其移动，确定单个镜头中每一帧图像中内容物植入区域的位置；对镜头中内容物植入区域进行遮挡检测，若存在遮挡，则对运动前景自动精确分割；将植入内容物插入视频帧中内容物植入区域的位置，若上一步骤中得到了运动前景，将运动前景也补回视频帧；将上一步骤中得到的视频帧与前述得到的视频声音文件合成，得到植入内容物素材后的视频；
经检索专利CN112163667A，新型Faster R-CNN网络模型及其训练方法，网络模型包括：VGG16深度卷积神经网络层和RPN网络层，其分别用于对传入的图像进行多从卷积操作并生成特征提取图像和用于获取特征提取图像且判别特征提取图像中的背景和物体，并回归物体所在的位置信息；
在智慧公路使用中，存在以下不足：在系统中对于车辆的识别不够清晰准确，进而使得在信息获取的过程中会发生延迟甚至是误判，以至于在后期的信息处理过程中不能及时做出有效的判断；在不同环境中使用，得到的数据存在误差，存在不能识别的情况发生，使得可靠性被大大降低，严重时会危机车辆行驶安全。
发明内容
本发明的目的是克服现有技术中不足，提供一种基于深度学习的路面障碍物智能识别设备，。
为了实现上述目的，本发明采用的技术方案是：
一种基于深度学习的路面障碍物智能识别设备，包括图像获取部件、图像输送增强去杂部件、基于深度学习的障碍物分级部件、基于深度学习方法的障碍物动静态判定部件、基于深度学习方法的障碍物预警部件，智能识别是基于深度学习理论的模型对预处理后的视频图像信息进行障碍物的识别判定，最终实现障碍物的分级和动静态判定；
深度学习包括以下方法：
(1)基于卷积运算的神经网络系统，即卷积神经网络；
(2)基于多层神经元的自编码神经网络；
(3)以多层自编码神经网络的方式进行预训练，进而结合鉴别信息进一步优化神经网络权值的深度置信网络。
优选的，所述基于深度学习理论的模型为Faster R-CNN模型，是一个七层及以下的神经网络，卷积神经网络前向传播的步骤为：取图片数据集样本(X,Yp)，将X输入网络，计算相应的实际输出Op；
后向传播步骤：计算结果输出OP与理论输出YP之差，依据极小化误差法对原有网络进行权矩阵调整，依次定义单元数目输入层为N、中间层为L和输出层为M、X＝(x0，x1，…，xn)为加到网络的输入向量，H＝(h0,h1,…,hl,)为中间层输出向量，Y＝(yo，y1…ym)为网络实际输出向量，D＝(do,d1…,dm)是目标输出向量，Vij权值表示单元i与隐单元j之间的关系，Wjk表示权值隐单元j与输出单元k之间的关系，θk表示输出单元阈值，
表示隐含单元阈值；
卷积神经网络训练过程如下：
(1)由样本图片集中随机选取特定数目的异物图像为训练集；
(2)初始化精度控制参数ε和学习率α，并将Vij和Wjk设置为接近0的随机值；
(3)从训练集取X输入到网络，并得到它的输出向量D，其为获取的目标；
(4)计算其中间层向量H和网络实际输出向量Y，公式如下：
(5)输出向量与目标向量的元素yk和dk数值比较，测算输出误差项M个：
δk＝(dk-yk)*yk*(1-yk)
中间层隐式单元中计算出L个误差项式：
(6)顺次算出各个权值调整量，公式如下：
ΔWjk(n)＝(α/(1+L))*(ΔWjk(n-1)+1)*δk*hj
ΔVjk(n)＝(α/(1+N))*(ΔVjk(n-1)+1)*δk*hj
(7)微调权值公式：
Wjk(n+1)＝Wjk(n)+ΔWjk(n)
Vij(n+1)＝Vij(n)+ΔVij(n)
(8)k每经过1到M后，判定指标精度是否满足:E<ε，若不满足，则退到步骤(3)，反之，进入下一步，其中E为总误差函数：
在对卷积神经网络进行训练时，采用的数据集通过下载与实拍数据集组合的方式，人工进行筛选、分类和标记，自行制作一套可以用来直接进行训练并适用于道路交通环境的道路路面障碍物图像数据集，数据集图片数量不少于3万张。根据检测图像目标的不同，数据集包括并不限于塑料类、金属类、木质类、玻璃类、橡胶类、石质类。除各类路面固体洒落物外，路面分正常状态还包括路面积水积雪，路面积水积雪也要涵盖在数据中。数据集涵盖晴天、多云、阴天、雨天、雪天和雾天6个天气场景；城市道路、普通公路、高速公路、隧道4种场景；白天、夜晚、黎明和黄昏4个不同时间段，覆盖到实际车辆行驶的大部分道路环境。
优选的，所述图像获取部件为摄像头及立柱，获取图像信息包括视频和抓拍图片，在保证算法准确率以及识别精确的前提下，控制摄像头最远识别距离在200米及以下，摄像头识别边缘以平行于车行方向，架设摄像头的立柱进行防震颤设计，从基础、材料、截面和结构四个方面提升刚度，改变结构的质量和阻尼的空间分布段。
优选的，所述图像输送增强去杂部件对获取的视频图像信息进行预处理，所述预处理包括灰度化、空间滤波和图像增强处理，灰度化处理采用RGB和YUV颜色空间的变化关系方法，空间滤波采用高斯滤波法，图像增强采用对比度增强后的直方图均衡方法。
优选的，所述基于深度学习的障碍物分级部件采用基于深度学习理论的FasterR-CNN模型根据障碍物材质、尺寸进行障碍物的分级，步骤如下：摄像头获取的道路视频图像信息进行灰度化、空间滤波和图像增强的处理之后，用基于深度学习理论的Faster R-CNN模型对预处理后的数据与数据集进行比较，数据集中异物包括并不限于塑料类、金属类、木质类、玻璃类、橡胶类、石质类等类别，从而根据障碍物的材质实现障碍物的分类，通过像素转换公式将所拍摄路面障碍物像素值转化为实际面积尺寸。
优选的，所述基于深度学习方法的障碍物动静态判定部件根据基于深度学习理论的Faster R-CNN模型采用帧间差分法来实现障碍物的动静态判定，步骤如下：图像获取部件采集的视频图像信息分解成一帧一帧的图片，对第k-1帧视频画面，第k帧视频画面，第k+1帧视频画面经过图像输送增强去杂部件处理后，根据第k-1，k帧视频画面差分得到差分视频画面1，根据第k，k+1帧视频画面差分得到差分视频画面2，通过阈值分割得到二值视频画面1和二值视频画面2，最终得到二值视频画面。若障碍物是运动的，则障碍物在画面上该区域有灰度值的变化，从而完成障碍物动静态的判定。
优选的，所述基于深度学习方法的障碍物预警部件根据障碍物的分级及动静态判定部件来发出预警信息，所述预警信息包括图像和声音两部分，基于深度学习的障碍物分级部件和基于深度学习的障碍物动静态判定部件完成障碍物的分级和动静态判定之后，将障碍物分级和动静态信息传送给预警部件，在电脑终端显示障碍物的分级和动静态信息，从而完成障碍物的图像信息预警，将结果写入文本文件中，再使用语音合成技术将文本信息转换成语音，采用语音合成芯片，通过串行通信端口与树莓派连接，使用C语言编写代码实现语音播报功能。语音合成主要分为文本分析、语音合成两部分。系统首先根据词汇库和特征词库对获取的待合成文本进行切分、标注音速等预处理,然后由解码音变规则对切分的符号流进行处理，得到音节流后通过语音合成得到输出，从而发出声音预警信息。
本发明与现有技术相比较有益效果表现在：
1)本发明涉及的Faster R-CNN模型，是一个七层及以下的神经网络，即由样本图片集中随机选取特定数目的异物图像为训练集、初始化精度控制参数ε和学习率α，并将Vij和Wjk设置为接近0的随机值、从训练集取X输入到网络，并得到它的输出向量D，其为获取的目标、计算其中间层向量H和网络实际输出向量Y、输出向量与目标向量的元素yk和dk数值比较，测算输出误差项、微调权值计算、k每经过1到M后，判定指标精度是否满足:E<ε；
在对卷积神经网络进行训练时，采用的数据集通过下载与实拍数据集组合的方式，人工进行筛选、分类和标记，自行制作一套可以用来直接进行训练并适用于道路交通环境的道路路面障碍物图像数据集，根据检测图像目标的不同，以真实测得在不同系统中的应用数据，防止在不同环境中系统出现延迟或者不能识别的情况发生，进而大大提高了系统的可靠性，同时也大大提高了车辆在行驶过程中的安全性。
2)本发明具有费用低、实时性强、有科技含量、成为了智慧公路的重要组成部分等优点，提高了道路障碍物识别和管理的智能化水平，并显著提高道路安全性能和服务水平以及应急处置能力。
附图说明
附图1是本发明一种基于深度学习的路面障碍物智能识别设备的拓扑结构图；
附图2是本发明一种基于深度学习的路面障碍物智能识别设备视频监控有效平面区域图；
图中：1、图像获取部件；2、图像输送增强去杂部件；3、基于深度学习的障碍物分级部件；4、基于深度学习方法的障碍物动静态判定部件；5、基于深度学习方法的障碍物预警部件。
具体实施方式
为方便本技术领域人员的理解，下面对本发明的技术方案进一步具体说明。
一种基于深度学习的路面障碍物智能识别设备，包括图像获取部件1、图像输送增强去杂部件2、基于深度学习的障碍物分级部件3、基于深度学习方法的障碍物动静态判定部件4、基于深度学习方法的障碍物预警部件5，智能识别是基于深度学习理论的模型对预处理后的视频图像信息进行障碍物的识别判定，最终实现障碍物的分级和动静态判定；
深度学习包括以下方法：
(1)基于卷积运算的神经网络系统，即卷积神经网络；
(2)基于多层神经元的自编码神经网络；
(3)以多层自编码神经网络的方式进行预训练，进而结合鉴别信息进一步优化神经网络权值的深度置信网络；
所述基于深度学习理论的模型为Faster R-CNN模型，是一个七层及以下的神经网络，卷积神经网络前向传播的步骤为：取图片数据集样本(X,Yp)，将X输入网络，计算相应的实际输出Op；
后向传播步骤：计算结果输出OP与理论输出YP之差，依据极小化误差法对原有网络进行权矩阵调整，依次定义单元数目输入层为N、中间层为L和输出层为M、X＝(x0，x1，…，xn)为加到网络的输入向量，H＝(h0,h1,…,hl,)为中间层输出向量，Y＝(yo，y1…ym)为网络实际输出向量，D＝(do,d1…,dm)是目标输出向量，Vij权值表示单元i与隐单元j之间的关系，Wjk表示权值隐单元j与输出单元k之间的关系，θk表示输出单元阈值，
表示隐含单元阈值；
卷积神经网络训练过程如下：
(1)由样本图片集中随机选取特定数目的异物图像为训练集；
(2)初始化精度控制参数ε和学习率α，并将Vij和Wjk设置为接近0的随机值；
(3)从训练集取X输入到网络，并得到它的输出向量D，其为获取的目标；
(4)计算其中间层向量H和网络实际输出向量Y，公式如下：
(5)输出向量与目标向量的元素yk和dk数值比较，测算输出误差项M个：
δk＝(dk-yk)*yk*(1-yk)
中间层隐式单元中计算出L个误差项式：
(6)顺次算出各个权值调整量，公式如下：
ΔWjk(n)＝(α/(1+L))*(ΔWjk(n-1)+1)*δk*hj
ΔVjk(n)＝(α/(1+N))*(ΔVjk(n-1)+1)*δk*hj
(7)微调权值公式：
Wjk(n+1)＝Wjk(n)+ΔWjk(n)
Vij(n+1)＝Vij(n)+ΔVij(n)
(8)k每经过1到M后，判定指标精度是否满足:E<ε。若不满足，则退到步骤(3)，反之，进入下一步。其中E为总误差函数：
在对卷积神经网络进行训练时，采用的数据集通过下载与实拍数据集组合的方式，人工进行筛选、分类和标记，自行制作一套可以用来直接进行训练并适用于道路交通环境的道路路面障碍物图像数据集，数据集图片数量不少于3万张。根据检测图像目标的不同，数据集包括并不限于塑料类、金属类、木质类、玻璃类、橡胶类、石质类。除各类路面固体洒落物外，路面分正常状态还包括路面积水积雪，路面积水积雪也要涵盖在数据中。数据集涵盖晴天、多云、阴天、雨天、雪天和雾天6个天气场景；城市道路、普通公路、高速公路、隧道4种场景；白天、夜晚、黎明和黄昏4个不同时间段，覆盖到实际车辆行驶的大部分道路环境。
所述图像获取部件1为摄像头及立柱，获取图像信息包括视频和抓拍图片，在保证算法准确率以及识别精确的前提下，控制摄像头最远识别距离在200米及以下，摄像头识别边缘以平行于车行方向，架设摄像头的立柱进行防震颤设计，从基础、材料、截面和结构四个方面提升刚度，改变结构的质量和阻尼的空间分布段。
所述图像输送增强去杂部件2对获取的视频图像信息进行预处理，所述预处理包括灰度化、空间滤波和图像增强处理，灰度化处理采用RGB和YUV颜色空间的变化关系方法，空间滤波采用高斯滤波法，图像增强采用对比度增强后的直方图均衡方法。
所述基于深度学习的障碍物分级部件3采用基于深度学习理论的Faster R-CNN模型根据障碍物材质、尺寸进行障碍物的分级，步骤如下：摄像头获取的道路视频图像信息进行灰度化、空间滤波和图像增强的处理之后，用基于深度学习理论的Faster R-CNN模型对预处理后的数据与数据集进行比较，数据集中异物包括并不限于塑料类、金属类、木质类、玻璃类、橡胶类、石质类等类别，从而根据障碍物的材质实现障碍物的分类，通过像素转换公式将所拍摄路面障碍物像素值转化为实际面积尺寸，如图1所示：摄像头与地面保持一定高度，以固定倍数焦距拍摄图像，建立像素转化模块。视频监控有效平面区域如附图1所示，O点为摄像机架设点；AA'为摄像机有效监控平面区域最远边；BB'为有效监控平面区域最近边。图片大小为1920x1080像素，图幅大小为m米*n米，可得精度约m*n/2073600平方米/像素。最终根据障碍物材质和尺寸将障碍物等级分为严重、中等、一般三种级别。所述基于深度学习方法的障碍物动静态判定部件4根据基于深度学习理论的Faster R-CNN模型采用帧间差分法来实现障碍物的动静态判定，步骤如下：图像获取部件1采集的视频图像信息分解成一帧一帧的图片，对第k-1帧视频画面，第k帧视频画面，第k+1帧视频画面经过图像输送增强去杂部件2处理后，根据第k-1，k帧视频画面差分得到差分视频画面1，根据第k，k+1帧视频画面差分得到差分视频画面2，通过阈值分割得到二值视频画面1和二值视频画面2，最终得到二值视频画面。若障碍物是运动的，则障碍物在画面上该区域有灰度值的变化，从而完成障碍物动静态的判定。
所述基于深度学习方法的障碍物预警部件5根据障碍物的分级及动静态判定部件来发出预警信息，所述预警信息包括图像和声音两部分，基于深度学习的障碍物分级部件3和基于深度学习的障碍物动静态判定部件完成障碍物的分级和动静态判定之后，将障碍物分级和动静态信息传送给预警部件，在电脑终端显示障碍物的分级和动静态信息，从而完成障碍物的图像信息预警，将结果写入文本文件中，再使用语音合成技术将文本信息转换成语音，采用语音合成芯片，通过串行通信端口与树莓派连接，使用C语言编写代码实现语音播报功能。语音合成主要分为文本分析、语音合成两部分。系统首先根据词汇库和特征词库对获取的待合成文本进行切分、标注音速等预处理,然后由解码音变规则对切分的符号流进行处理，得到音节流后通过语音合成得到输出，从而发出声音预警信息。
以上内容仅仅是对本发明的结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。
Claims (7)
1.一种基于深度学习的路面障碍物智能识别设备，其特征在于包括图像获取部件、图像输送增强去杂部件、基于深度学习的障碍物分级部件、基于深度学习方法的障碍物动静态判定部件、基于深度学习方法的障碍物预警部件，智能识别是基于深度学习理论的模型对预处理后的视频图像信息进行障碍物的识别判定，最终实现障碍物的分级和动静态判定；
深度学习包括以下方法：
(1)基于卷积运算的神经网络系统，即卷积神经网络；
(2)基于多层神经元的自编码神经网络；
(3)以多层自编码神经网络的方式进行预训练，进而结合鉴别信息进一步优化神经网络权值的深度置信网络。
2.根据权利要求1所述的一种基于深度学习的路面障碍物智能识别设备，其特征在于基于深度学习理论的模型为Faster R-CNN模型，是一个七层及以下的神经网络，卷积神经网络前向传播的步骤为：取图片数据集样本(X,Yp)，将X输入网络，计算相应的实际输出Op；
后向传播步骤：计算结果输出OP与理论输出YP之差，依据极小化误差法对原有网络进行权矩阵调整，依次定义单元数目输入层为N、中间层为L和输出层为M、X＝(x0，x1，…，xn)为加到网络的输入向量，H＝(h0,h1,…,hl,)为中间层输出向量，Y＝(yo，y1…ym)为网络实际输出向量，D＝(do,d1…,dm)是目标输出向量，Vij权值表示单元i与隐单元j之间的关系，Wjk表示权值隐单元j与输出单元k之间的关系，θk表示输出单元阈值，
表示隐含单元阈值；
卷积神经网络训练过程如下：
(1)由样本图片集中随机选取特定数目的异物图像为训练集；
(2)初始化精度控制参数ε和学习率α，并将Vij和Wjk设置为接近0的随机值；
(3)从训练集取X输入到网络，并得到它的输出向量D，其为获取的目标；
(4)计算其中间层向量H和网络实际输出向量Y，公式如下：
(5)输出向量与目标向量的元素yk和dk数值比较，测算输出误差项M个：
δk＝(dk-yk)*yk*(1-yk)
中间层隐式单元中计算出L个误差项式：
(6)顺次算出各个权值调整量，公式如下：
ΔWjk(n)＝(α/(1+L))*(ΔWjk(n-1)+1)*δk*hj
ΔVjk(n)＝(α/(1+N))*(ΔVjk(n-1)+1)*δk*hj
(7)微调权值公式：
Wjk(n+1)＝Wjk(n)+ΔWjk(n)
Vij(n+1)＝Vij(n)+ΔVij(n)
(8)k每经过1到M后，判定指标精度是否满足:E<ε；若不满足，则退到步骤(3)，反之，进入下一步，其中E为总误差函数：
3.根据权利要求1所述的一种基于深度学习的路面障碍物智能识别设备，其特征在于所述图像获取部件为摄像头及立柱，获取图像信息包括视频和抓拍图片，在保证算法准确率以及识别精确的前提下，控制摄像头最远识别距离在200米及以下，摄像头识别边缘以平行于车行方向。
4.根据权利要求1所述的一种基于深度学习的路面障碍物智能识别设备，其特征在于所述图像输送增强去杂部件对获取的视频图像信息进行预处理，所述预处理包括灰度化、空间滤波和图像增强处理，灰度化处理采用RGB和YUV颜色空间的变化关系方法，空间滤波采用高斯滤波法，图像增强采用对比度增强后的直方图均衡方法。
5.根据权利要求1或2所述的一种基于深度学习的路面障碍物智能识别设备，其特征在于所述基于深度学习的障碍物分级部件采用基于深度学习理论的Faster R-CNN模型根据障碍物材质、尺寸进行障碍物的分级，步骤如下：摄像头获取的道路视频图像信息进行灰度化、空间滤波和图像增强的处理之后，用基于深度学习理论的Faster R-CNN模型对预处理后的数据与数据集进行比较，数据集中异物包括并不限于塑料类、金属类、木质类、玻璃类、橡胶类、石质类等类别，从而根据障碍物的材质实现障碍物的分类，通过像素转换公式将所拍摄路面障碍物像素值转化为实际面积尺寸。
6.根据权利要求1或2所述的一种基于深度学习的路面障碍物智能识别设备，其特征在于所述基于深度学习方法的障碍物动静态判定部件根据基于深度学习理论的Faster R-CNN模型采用帧间差分法来实现障碍物的动静态判定，步骤如下：图像获取部件采集的视频图像信息分解成一帧一帧的图片，对第k-1帧视频画面，第k帧视频画面，第k+1帧视频画面经过图像输送增强去杂部件处理后，根据第k-1，k帧视频画面差分得到差分视频画面1，根据第k，k+1帧视频画面差分得到差分视频画面2，通过阈值分割得到二值视频画面1和二值视频画面2，最终得到二值视频画面，若障碍物是运动的，则障碍物在画面上该区域有灰度值的变化，从而完成障碍物动静态的判定。
7.根据权利要求1所述的一种基于深度学习的路面障碍物智能识别设备，其特征在于所述基于深度学习方法的障碍物预警部件根据障碍物的分级及动静态判定部件来发出预警信息，所述预警信息包括图像和声音两部分，基于深度学习的障碍物分级部件和基于深度学习的障碍物动静态判定部件完成障碍物的分级和动静态判定之后，将障碍物分级和动静态信息传送给预警部件，在电脑终端显示障碍物的分级和动静态信息，从而完成障碍物的图像信息预警，将结果写入文本文件中，再使用语音合成技术将文本信息转换成语音，采用语音合成芯片，通过串行通信端口与树莓派连接，使用C语言编写代码实现语音播报功能，语音合成主要分为文本分析、语音合成两部分，系统首先根据词汇库和特征词库对获取的待合成文本进行切分、标注音速等预处理,然后由解码音变规则对切分的符号流进行处理，得到音节流后通过语音合成得到输出，从而发出声音预警信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110387417.8A CN113111773A (zh) | 2021-04-10 | 2021-04-10 | 一种基于深度学习的路面障碍物智能识别设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110387417.8A CN113111773A (zh) | 2021-04-10 | 2021-04-10 | 一种基于深度学习的路面障碍物智能识别设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113111773A true CN113111773A (zh) | 2021-07-13 |
Family
ID=76716067
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110387417.8A Pending CN113111773A (zh) | 2021-04-10 | 2021-04-10 | 一种基于深度学习的路面障碍物智能识别设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113111773A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114140702A (zh) * | 2021-11-17 | 2022-03-04 | 安徽荃银高科种业股份有限公司 | 一种杂交水稻制种田去除杂株提高制种纯度的方法 |
| CN114973664A (zh) * | 2022-05-17 | 2022-08-30 | 保银信科信息技术(湖北)有限公司 | 一种基于机器视觉的城市交通在线智能监测预警管理系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104808209A (zh) * | 2015-05-13 | 2015-07-29 | 集怡嘉数码科技（深圳）有限公司 | 一种障碍物检测方法及装置 |
| WO2017110159A1 (ja) * | 2015-12-25 | 2017-06-29 | 日立建機株式会社 | オフロードダンプトラック及び障害物判別装置 |
| CN106908783A (zh) * | 2017-02-23 | 2017-06-30 | 苏州大学 | 基于多传感器信息融合的障碍物检测方法 |
| CN108197569A (zh) * | 2017-12-29 | 2018-06-22 | 驭势科技（北京）有限公司 | 障碍物识别方法、装置、计算机存储介质和电子设备 |
| CN108921119A (zh) * | 2018-07-12 | 2018-11-30 | 电子科技大学 | 一种障碍物实时检测和分类方法 |
| CN110097109A (zh) * | 2019-04-25 | 2019-08-06 | 湖北工业大学 | 一种基于深度学习的道路环境障碍物检测系统及方法 |
| CN111598010A (zh) * | 2020-05-15 | 2020-08-28 | 安徽江淮汽车集团股份有限公司 | 动态障碍物检测方法、装置、电子设备及存储介质 |
| CN112633176A (zh) * | 2020-12-24 | 2021-04-09 | 广西大学 | 一种基于深度学习的轨道交通障碍物检测方法 |
-
2021
- 2021-04-10 CN CN202110387417.8A patent/CN113111773A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104808209A (zh) * | 2015-05-13 | 2015-07-29 | 集怡嘉数码科技（深圳）有限公司 | 一种障碍物检测方法及装置 |
| WO2017110159A1 (ja) * | 2015-12-25 | 2017-06-29 | 日立建機株式会社 | オフロードダンプトラック及び障害物判別装置 |
| CN106908783A (zh) * | 2017-02-23 | 2017-06-30 | 苏州大学 | 基于多传感器信息融合的障碍物检测方法 |
| CN108197569A (zh) * | 2017-12-29 | 2018-06-22 | 驭势科技（北京）有限公司 | 障碍物识别方法、装置、计算机存储介质和电子设备 |
| CN108921119A (zh) * | 2018-07-12 | 2018-11-30 | 电子科技大学 | 一种障碍物实时检测和分类方法 |
| CN110097109A (zh) * | 2019-04-25 | 2019-08-06 | 湖北工业大学 | 一种基于深度学习的道路环境障碍物检测系统及方法 |
| CN111598010A (zh) * | 2020-05-15 | 2020-08-28 | 安徽江淮汽车集团股份有限公司 | 动态障碍物检测方法、装置、电子设备及存储介质 |
| CN112633176A (zh) * | 2020-12-24 | 2021-04-09 | 广西大学 | 一种基于深度学习的轨道交通障碍物检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 晁安娜、刘坤: ""基于卷积神经网络的遥感图像飞机目标识别"", 《微型机与应用》 * |
| 郭文俊: ""基于三帧间差分的障碍物检测算法"", 《工业控制计算机》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114140702A (zh) * | 2021-11-17 | 2022-03-04 | 安徽荃银高科种业股份有限公司 | 一种杂交水稻制种田去除杂株提高制种纯度的方法 |
| CN114973664A (zh) * | 2022-05-17 | 2022-08-30 | 保银信科信息技术(湖北)有限公司 | 一种基于机器视觉的城市交通在线智能监测预警管理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109977812B (zh) | 一种基于深度学习的车载视频目标检测方法 | |
| CN111368687B (zh) | 一种基于目标检测和语义分割的人行道车辆违停检测方法 | |
| CN111626217B (zh) | 一种基于二维图片和三维点云融合的目标检测和追踪方法 | |
| CN111814621B (zh) | 一种基于注意力机制的多尺度车辆行人检测方法及装置 | |
| CN110263706B (zh) | 一种雾霾天气车载视频动态目标检测和识别的方法 | |
| CN111814623A (zh) | 一种基于深度神经网络的车辆车道偏离视觉检测方法 | |
| CN111274976A (zh) | 基于视觉与激光雷达多层次融合的车道检测方法及系统 | |
| CN110796168A (zh) | 一种基于改进YOLOv3的车辆检测方法 | |
| CN110717387B (zh) | 一种基于无人机平台的实时车辆检测方法 | |
| CN101996410A (zh) | 动态背景下的运动目标检测方法及系统 | |
| CN104134068B (zh) | 基于稀疏编码的监控车辆特征表示及分类方法 | |
| CN111461048B (zh) | 基于视觉的停车场可行驶区域检测与局部地图构建方法 | |
| CN113111773A (zh) | 一种基于深度学习的路面障碍物智能识别设备 | |
| CN114973207B (zh) | 一种基于目标检测的路标识别方法 | |
| CN110717886A (zh) | 复杂环境下基于机器视觉的路面坑塘检测方法 | |
| CN114170580A (zh) | 一种面向高速公路的异常事件检测方法 | |
| CN112861700A (zh) | 基于DeepLabv3+的车道线网络识别模型建立及车辆速度检测方法 | |
| CN112329682A (zh) | 一种基于穿越动作和交通场景上下文因素的行人穿越马路意图识别方法 | |
| CN116434159A (zh) | 一种基于改进YOLO V7和Deep-Sort的交通流量统计方法 | |
| CN104778699A (zh) | 一种自适应对象特征的跟踪方法 | |
| CN112613392A (zh) | 基于语义分割的车道线检测方法、装置、系统及存储介质 | |
| Li et al. | Vanishing point detection and rail segmentation based on deep multi-task learning | |
| CN114694078A (zh) | 一种基于多目标跟踪的交通行为判定方法 | |
| CN110674676B (zh) | 一种基于语义分割的道路置信估计模糊帧方法 | |
| CN113129336A (zh) | 一种端到端多车辆跟踪方法、系统及计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210713 |