CN112183226A - 一种基于深度学习的大型运输车辆辅助定位方法 - Google Patents
一种基于深度学习的大型运输车辆辅助定位方法 Download PDFInfo
- Publication number
- CN112183226A CN112183226A CN202010932290.9A CN202010932290A CN112183226A CN 112183226 A CN112183226 A CN 112183226A CN 202010932290 A CN202010932290 A CN 202010932290A CN 112183226 A CN112183226 A CN 112183226A
- Authority
- CN
- China
- Prior art keywords
- image
- deep learning
- data
- model
- transport vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000013135 deep learning Methods 0.000 title claims abstract description 15
- 238000004891 communication Methods 0.000 claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000013136 deep learning model Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 2
- 238000012360 testing method Methods 0.000 abstract description 9
- 238000012549 training Methods 0.000 abstract description 9
- 240000007651 Rubus glaucus Species 0.000 abstract description 4
- 235000011034 Rubus glaucus Nutrition 0.000 abstract description 4
- 235000009122 Rubus idaeus Nutrition 0.000 abstract description 4
- 238000010801 machine learning Methods 0.000 abstract description 2
- 238000006243 chemical reaction Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/60—Rotation of a whole image or part thereof
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Abstract
本发明涉及一种基于深度学习的大型运输车辆辅助定位方法，属于计算机技术领域。本发明通过特定设备捕获的视频流使用机器学习的方法进行训练模型，在模型测试通过后进行实施部署，然后进行图像预处理，模型进行识别检测工作，通过测距传感器计算相机高度距离，并采用串口通信方式发送给树莓派，最后利用物体与成像的比例换算，计算出偏移距离，把偏移情况实时显示在驾驶室。本发明解决了大型运输车辆定位时间长、作业流程繁琐、误差精度高以及需要人工辅助等现象，简化了作业流程，减少辅助人员的数量，降低了运输成本和时间成本。
Description
技术领域
本发明涉及一种基于深度学习的大型运输车辆辅助定位方法，属于计算机技术领域。
背景技术
近年来随着深度学习技术的不断发展，自动驾驶技术自然而然得到了国内外学术界和工业界的热捧。应用无人驾驶技术可以提升出行效率的同时解决交通问题，而且无人驾驶汽车一般采用的为新能源汽车为主，因而还可以在一定程度上解决污染问题。其实目前国外的deepdrive公司在出租车应用无人驾驶技术方面已经相对成熟了，解决了国外司机不足的问题。国内的百度公司在货车方面也运用了无人驾驶技术，这很好地解决了货车司机夜晚开车不安全的问题。
虽然基于深度学习方面的无人驾驶技术已经得到了相当快的发展，但是在其在运输车辅助定位方面的应用研究还是偏少的。在这方面的运用还是以传统的方法为主，然而传统方法在检测识别车道线或者黄色辅助线时易受因时间(白天夜晚)变化引起的光照影响，因而对摄像头要求比较高。故而本发明从深度学习技术的角度，解决上述问题的同时满足大型运输车在装载平台需要居中停放的需求，从而实现大型运输车辆快速精准定位。同时简化作业流程，减少需要的辅助人员数量，降低大型运输车辆的运营成本。
发明内容
本发明要解决的技术问题是提供一种基于深度学习的大型运输车辆辅助定位方法，解决了大型运输车辆定位时间长、作业流程繁琐、误差精度高以及需要人工辅助等现象。在运输车辆定位过程中结合深度学习与距离计算的技术，简化了流程，实现精度为1mm。这使得运输车辆人工辅助定位成本大大降低，同时加快了定位的速度，减少了定位损耗时间。
本发明的技术方案是：一种基于深度学习的大型运输车辆辅助定位方法，通过特定设备捕获的视频流使用机器学习的方法进行训练模型，在模型测试通过后进行实施部署，然后进行图像预处理，模型进行识别检测工作，通过测距传感器计算相机高度距离，并采用串口通信方式发送给树莓派，最后利用物体与成像的比例换算，计算出偏移距离，把偏移情况实时显示在驾驶室。
具体步骤为：
Step1：开启摄像头，判断摄像头是否正常开启，若是没有开启成功，则重新开启摄像头，若是已经成功开启，则从视频流中截取待检测的图像。
Step2：对获取到的图像进行预处理，所述预处理包括高斯滤波，图像翻转，改变图像对比度和饱和度，然后获取图像中的感兴趣区域；
Step3：判断深度学习模型是否已经成功部署，若深度学习模型没有部署成功，则先选择进行模型部署工作，若已经成功部署了模型，则直接加载部署好的深度学习模型对处理后的图像进行直线检测；
Step4：判断是否已经接收到测距数据，若没有获取到高度距离数据，则通过串口通信重新获取测距数据，若正确获取到了数据，则开始计算偏移距离；
Step5：判断通信是否开启，若没有通信开启，则重新开启通信工作，若通信工作已经正常开启，则通过http通信协议把偏移距离数据和识别视频数据传输到前端。
Step6：最后通过前端接收数据，在前端上对前轮、后轮偏移情况进行展示，同时也显示视频的实时识别情况。
本发明的有益效果是：解决了大型运输车辆定位时间长、作业流程繁琐、误差精度高以及需要人工辅助等现象。在运输车辆定位过程中结合深度学习与距离计算的技术，简化了流程，实现精度为1mm。这使得运输车辆人工辅助定位成本大大降低，同时加快了定位的速度，减少了定位损耗时间。
附图说明
图1是本发明的框架图；
图2是本发明的流程图；
图3是本发明测距工作流程图；
图4是本发明通信工作流程图。
具体实施方式
下面结合附图和具体实施方式，对本发明作进一步说明。
如图1-4所示，附图1是本发明整体框架图。附图2包含了本发明的所有工作步骤，附图3是其中的测距详细工作流程图，附图4为后端识别程序与前端展示程序的通信工作流程图。
一种基于深度学习的大型运输车辆辅助定位方法，具体步骤为：
第一步是采集视频或者收集图像数据。主要通过摄像头实时捕获视频流，从视频中截取图像作为训练模型的数据。同时也可采用网上爬虫的手段爬取相应的图像数据。
完成前面步骤的数据准备工作之后，第二步是进行深度学习方面的工作步骤。首先是对这些图像数据进行标注，然后分成训练集和测试集。在训练集上进行模型学习，在测试集对训练得到的模型进行测试。
模型达到性能要求才进行模型部署，模型部署完毕后的第三步是直线识别检测工作。先是针对摄像头捕获到的图像进行预处理，然后获取其中的ROI，紧接着通过模型进行直线检测。
第四步则是通过测距传感器实时测出摄像头高度距离，随后通过串口通信发送到树莓派上，最后结合直线检测识别结果进行偏移距离计算。
第五步是在建立的局域网内部进行http协议通信工作，主要负责把检测识别视频和偏移距离发送到前端。
最后一步是前端负责把接收到的数据进行实时展示。前端可以展示视频实时检测情况以及前轮、后轮偏移情况。
深度学习工作步骤包含了数据标注、模型学习、模型测试、模型部署。其特征在于：所采集到的视频图像接着被用于进行数据标注，其中数据标注的工作则是通过图像标注工具将图像中的车道线或者黄色辅助直线作为类别lane标注出来。因为通过把车道线或者黄色辅助线标记出来，后续模型训练时可以使得模型很好地学习到图像中是否有这个类别，以及获取到这些类别在图像中坐标。然后把标注完成的数据分成训练集和测试集。模型学习是设置好深度模型的样本集类别数、训练迭代次数、学习率、损失函数以及激活函数等参数之后，在服务器上使用训练集数据对模型进行训练。而模型测试是在上述步骤分好的测试集中测试训练好的模型性能指标，例如recall，map等等。只有当性能指标recall达到85％或者map达到90％以上时，才把模型部署到树莓派硬件上。
所述偏移距离计算工作先是根据测距传感器测出来的实时高度距离计算出摄像头在一定分辨率的成像范围与实际容纳物体大小比例关系。下一步通过深度学习模型获取到的坐标信息，再通过斜率判断筛选坐标并取其平均值。接着通过判断均值坐标与图像中线比较大小，则可得出偏左还是偏右了。然后减去图像中线得到的差值乘于成像比例则可以得到实际偏移距离数值。接着将偏移距离数据通过http通信协议发送到前端，并对这些数据以视频流的形式实时展示。除此之外，通过车模型图结合字符串数据的形式显示大型运输车前轮、后轮偏移距离情况。其中要是偏左了，车模型左轮胎变成红色，偏移数值在左边进行显示。要是属于偏右的情况，则车模型右边轮胎变成红色，偏移数值也在页面右边展示。最后若是偏移情况超过了5cm，则还会进行声音报警提醒驾驶员。
以上结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (1)
1.一种基于深度学习的大型运输车辆辅助定位方法，其特征在于：
Step1：开启摄像头，判断摄像头是否正常开启，若是没有开启成功，则重新开启摄像头，若是已经成功开启，则从视频流中截取待检测的图像；
Step2：对获取到的图像进行预处理，所述预处理包括高斯滤波，图像翻转，改变图像对比度和饱和度，然后获取图像中的感兴趣区域；
Step3：判断深度学习模型是否已经成功部署，若深度学习模型没有部署成功，则先选择进行模型部署工作，若已经成功部署了模型，则直接加载部署好的深度学习模型对处理后的图像进行直线检测；
Step4：判断是否已经接收到测距数据，若没有获取到高度距离数据，则通过串口通信重新获取测距数据，若正确获取到了数据，则开始计算偏移距离；
Step5：判断通信是否开启，若没有通信开启，则重新开启通信工作，若通信工作已经正常开启，则通过http通信协议把偏移距离数据和识别视频数据传输到前端；
Step6：最后通过前端接收数据，在前端上对前轮、后轮偏移情况进行展示，同时也显示视频的实时识别情况。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010932290.9A CN112183226A (zh) | 2020-09-08 | 2020-09-08 | 一种基于深度学习的大型运输车辆辅助定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010932290.9A CN112183226A (zh) | 2020-09-08 | 2020-09-08 | 一种基于深度学习的大型运输车辆辅助定位方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112183226A true CN112183226A (zh) | 2021-01-05 |
Family
ID=73925662
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010932290.9A Pending CN112183226A (zh) | 2020-09-08 | 2020-09-08 | 一种基于深度学习的大型运输车辆辅助定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112183226A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101894271A (zh) * | 2010-07-28 | 2010-11-24 | 重庆大学 | 汽车偏离车道线角度和距离的视觉计算及预警方法 |
| CN103985131A (zh) * | 2014-05-28 | 2014-08-13 | 大连理工大学 | 一种用于高速公路车道偏离预警系统的相机快速标定方法 |
| CN106910217A (zh) * | 2017-03-17 | 2017-06-30 | 驭势科技（北京）有限公司 | 视觉地图建立方法、计算装置、计算机存储介质和智能车辆 |
| CN108537197A (zh) * | 2018-04-18 | 2018-09-14 | 吉林大学 | 一种基于深度学习的车道线检测预警装置及预警方法 |
| CN110415298A (zh) * | 2019-07-22 | 2019-11-05 | 昆山伟宇慧创智能科技有限公司 | 一种用于车道偏离的计算方法 |
| CN110516633A (zh) * | 2019-08-30 | 2019-11-29 | 的卢技术有限公司 | 一种基于深度学习的车道线检测方法及系统 |
-
2020
- 2020-09-08 CN CN202010932290.9A patent/CN112183226A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101894271A (zh) * | 2010-07-28 | 2010-11-24 | 重庆大学 | 汽车偏离车道线角度和距离的视觉计算及预警方法 |
| CN103985131A (zh) * | 2014-05-28 | 2014-08-13 | 大连理工大学 | 一种用于高速公路车道偏离预警系统的相机快速标定方法 |
| CN106910217A (zh) * | 2017-03-17 | 2017-06-30 | 驭势科技（北京）有限公司 | 视觉地图建立方法、计算装置、计算机存储介质和智能车辆 |
| CN108537197A (zh) * | 2018-04-18 | 2018-09-14 | 吉林大学 | 一种基于深度学习的车道线检测预警装置及预警方法 |
| CN110415298A (zh) * | 2019-07-22 | 2019-11-05 | 昆山伟宇慧创智能科技有限公司 | 一种用于车道偏离的计算方法 |
| CN110516633A (zh) * | 2019-08-30 | 2019-11-29 | 的卢技术有限公司 | 一种基于深度学习的车道线检测方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 刘金清等: "基于DSP的车道偏离检测与车辆前向车距检测", 《计算机系统应用》, vol. 29, no. 03, 31 March 2020 (2020-03-31), pages 269 - 277 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109949594B (zh) | 实时的交通灯识别方法 | |
| CN110501018B (zh) | 一种服务于高精度地图生产的交通标志牌信息采集方法 | |
| CN106097755A (zh) | 用于识别泊车场地和/或空出场地的方法 | |
| CN109782364B (zh) | 基于机器视觉的交通标志牌缺失检测方法 | |
| CN105654732A (zh) | 一种基于深度图像的道路监控系统及方法 | |
| CN107392103A (zh) | 路面车道线的检测方法及装置、电子设备 | |
| CN104008377A (zh) | 基于时空关联的地面交通标志实时检测识别方法 | |
| CN105825696A (zh) | 基于信号灯信息提示的驾驶辅助系统 | |
| CN107650906B (zh) | 智能泊车系统及其控制方法 | |
| WO2021238748A1 (zh) | 适于施工区域的工程车辆自主泊车系统和自主泊车方法 | |
| CN103577809B (zh) | 一种基于智能驾驶的地面交通标志实时检测的方法 | |
| CN112150857A (zh) | 基于视频图像处理的泊车入位指示系统及指示方法 | |
| CN114359181B (zh) | 一种基于图像和点云的智慧交通目标融合检测方法及系统 | |
| CN111967360A (zh) | 基于车轮的目标车辆姿态检测方法 | |
| CN110610153A (zh) | 一种用于自动驾驶的车道识别方法及系统 | |
| CN111986513B (zh) | 基于云计算和物联网的汽车驾驶辅助预警系统 | |
| CN111458721A (zh) | 一种暴露垃圾的识别定位方法、装置及系统 | |
| TW201339031A (zh) | 行車油耗計算方法及行車油耗計算系統 | |
| CN111796287A (zh) | 一种自动驾驶汽车道路数据采集分析装置 | |
| CN109987098A (zh) | 基于路面分析进行安全驾驶控制的方法及装置 | |
| CN110599025A (zh) | 自动驾驶汽车驾驶行为可靠性指标评估方法 | |
| CN204825605U (zh) | 一种基于图像的道路环境识别与检测装置 | |
| CN115127652A (zh) | 一种基于智能算法的高精度窄条式车辆动态称重系统及其称重方法 | |
| CN103761870A (zh) | 一种公交车负载计量系统 | |
| CN207216868U (zh) | 一种交叉口进口车道车辆引导式信号控制装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210105 |
|
| RJ01 | Rejection of invention patent application after publication |