CN110334646A - 一种基于ssd的单类别障碍物识别的检测方法 - Google Patents
一种基于ssd的单类别障碍物识别的检测方法 Download PDFInfo
- Publication number
- CN110334646A CN110334646A CN201910591757.5A CN201910591757A CN110334646A CN 110334646 A CN110334646 A CN 110334646A CN 201910591757 A CN201910591757 A CN 201910591757A CN 110334646 A CN110334646 A CN 110334646A
- Authority
- CN
- China
- Prior art keywords
- ssd
- neural network
- present
- barrier
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title abstract description 23
- 230000004888 barrier function Effects 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 12
- 238000013528 artificial neural network Methods 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 9
- 238000009432 framing Methods 0.000 claims description 6
- 208000010877 cognitive disease Diseases 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 2
- 230000001537 neural effect Effects 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012372 quality testing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
Abstract
本发明提供一种基于计算机视觉卷积神经分类网络MobileNetv2作为基础网络结构的Single Shot Multibox Detector(SSD)的单类别障碍物识别的检测方法，该发明将所有物体归类为需要识别的障碍物，使之成为所有目标物体的父类别，从而使得较少的训练数据便可以实现较好的识别结果。利用了SSD对目标的尺度的不敏感的泛化能力以及其相对较快的计算速度，从而达到在计算能力有限的嵌入式计算机系统上拥有良好障碍物检测效果。
Description
技术领域
本发明属于计算机视觉以及人工智能领域，涉及一种障碍物检测方法，具体涉及一种基于SSD的障碍物检测方法。
背景技术
目前的障碍物检测，主要是使用超声波雷达、激光雷达、双目摄像头等设备，去感知周围的3D空间，从而检测到障碍物。这些方法需要复杂且昂贵的器材去实现障碍物识别的目的。已有的通过卷积神经网络去识别障碍物的方法，针对每一类别的障碍物都需要大量的数据，并且，这些神经网络往往存在潜在的问题：基于R-CNN的传统目标检测方法，在分析图像的时候非常缓慢；基于YOLO的方法在不同尺度的物体上泛化能力不够完善，以及较小的目标容易被忽略(由于其每个格子只能有一定数量的预测)。
SSD很好的解决了R-CNN与YOLO的短板，其在拥有比R-CNN更快的速度以及比YOLO更好的泛化能力的同时，保证了较小的目标不被忽略。基于SSD的障碍物检测同时能够更精准地检测目标物体。相比起YOLO，SSD在识别的精准度方面，有绝对的优势。此外，使用SSD可以将硬件的要求降低至一个摄像头以及一个处理模块，舍去了专业器材，使得大众用户能够得益于障碍物检测。由于此障碍物检测只使用一个标签，训练后的神经网络能够在数据量不多的情况下获得足够精准的检测。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于SSD的障碍物检测方法，用以合理准确地检测障碍物。本发明所指的障碍物检测方法可用于自动驾驶和老年人、病人无人看护时的行动保护设备。
为实现上述目的及其他相关目的，本发明提供一种基于SSD的障碍物检测方法。
一种基于SSD的障碍物检测方法，所述基于SSD的障碍物检测方法包括：
步骤一，收集的用于训练神经网络的数据，其特征为无固定大小的RGB图像，该应用的图像是有内容(或称为障碍物的物体)的。
步骤二，人工将图像中的障碍物进行标记，其特征在于标记框的长方形且无旋转，且只有一个类别(障碍物类别)。
步骤三，将收集的图像数据作为神经网络的输入，其输出与标记框进行比对并产生一个差离值，通过一个给定的函数进行运算，其特征在于在SSD给定的函数运算基础上，添加自行采集的数据，建立机器学习模式，培育神经网络的感知能力。
步骤四，本发明具备结果输出能力，其特征在于：使用已在COCO数据集上训练成熟的神经网络，叠加本发明前面步骤所采集的训练数据，使神经网络具备识别障碍物的能力并将结果输出。
步骤五，本发明可通过多种设备输出结果，其特征在于，本发明是一个应用软件，可根据不同显示设备的接口，定制显示方式，将训练结束的神经网络使用到设备上。
如上所述，本发明所述的基于SSD的障碍物检测方法，具有以下有益效果：
SSD拥有比R-CNN类的识别方法更快的速度以及比YOLO更好的泛化能力，也保证了较小的目标不被忽略。基于SSD的障碍物检测同时能够更精准的检测目标物体。相比起YOLO，SSD 在识别的精准度有绝对的优势。使用此方法进行障碍物检测无需使用高昂的激光雷达或者此外，使用SSD可以将硬件的要求降低至一个摄像头以及一个处理模块，舍去了专业器材，使得大众用户能够得益于障碍物检测。由于此障碍物检测只使用一个标签，训练后的神经网络能够在数据量不多的情况下获得足够精准的检测。
附图说明
图1为基于SSD的障碍物检测方法的流程图
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
实施例一：为盲人提供步行时障碍物检测和提示
本实施例提供一种基于SSD的障碍物检测方法，该方法尽可能的检测到所有的障碍物及其精确的定位这些障碍物，包括以下步骤：
步骤一，收集的用于训练神经网络的数据，其特征为无固定大小的RGB图像，该应用的图像是有内容(或称为障碍物的物体)的。
步骤二，人工将图像中的障碍物进行标记，其特征在于标记框的长方形且无旋转，且只有一个类别(障碍物类别)。
步骤三，将收集的图像数据作为神经网络的输入，其输出与标记框进行比对并产生一个差离值，通过一个给定的函数进行运算，其特征在于在SSD给定的函数运算基础上，添加自行采集的数据，建立机器学习模式，培育神经网络的感知能力。
步骤四，本发明具备结果输出能力，其特征在于：使用已在COCO数据集上训练成熟的神经网络，叠加本发明前面步骤所采集的训练数据，使神经网络具备识别障碍物的能力并将结果输出。
步骤五，将训练结束的神经网络导出至手机。
步骤六，制作辅助盲人行走的APP以获取手机摄像头的RGB图像信息。
步骤七，将获得的RGB图像信息作为神经网络的输入，获取神经网络的输出。
步骤八，将神经网络的输出转化为图像中的坐标并判断是否需要提醒用户。
因此，本实例将本发明用于辅助盲人行走并协助盲人感知前行道路中的障碍物。
所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (1)
1.一种基于SSD的障碍物识别方法，其特征在于：
步骤一，收集的用于训练神经网络的数据，其特征为无固定大小的RGB图像，该应用的图像是有内容(或称为障碍物的物体)的；
步骤二，人工将图像中的障碍物进行标记，其特征在于标记框的长方形且无旋转，且只有一个类别(障碍物类别)；
步骤三，将收集的图像数据作为神经网络的输入，其输出与标记框进行比对并产生一个差离值，通过一个给定的函数进行运算，其特征在于在SSD给定的函数运算基础上，添加自行采集的数据，建立机器学习模式，培育神经网络的感知能力；
步骤四，本发明具备结果输出能力，其特征在于：使用已在COCO数据集上训练成熟的神经网络，叠加本发明前面步骤所采集的训练数据，使神经网络具备识别障碍物的能力并将结果输出；
步骤五，本发明可通过多种设备输出结果，其特征在于，本发明是一个应用软件，可根据不同显示设备的接口，定制显示方式，将训练结束的神经网络使用到设备上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910591757.5A CN110334646A (zh) | 2019-07-02 | 2019-07-02 | 一种基于ssd的单类别障碍物识别的检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910591757.5A CN110334646A (zh) | 2019-07-02 | 2019-07-02 | 一种基于ssd的单类别障碍物识别的检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110334646A true CN110334646A (zh) | 2019-10-15 |
Family
ID=68144056
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910591757.5A Pending CN110334646A (zh) | 2019-07-02 | 2019-07-02 | 一种基于ssd的单类别障碍物识别的检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110334646A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110633702A (zh) * | 2019-11-20 | 2019-12-31 | 江西博微新技术有限公司 | 基于无人机的线路检修费计算方法、服务器及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108596058A (zh) * | 2018-04-11 | 2018-09-28 | 西安电子科技大学 | 基于计算机视觉的行车障碍物测距方法 |
| CN108648161A (zh) * | 2018-05-16 | 2018-10-12 | 江苏科技大学 | 非对称核卷积神经网络的双目视觉障碍物检测系统及方法 |
| CN108909624A (zh) * | 2018-05-13 | 2018-11-30 | 西北工业大学 | 一种基于单目视觉的实时障碍物检测和定位方法 |
| US20180365503A1 (en) * | 2017-06-16 | 2018-12-20 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and Apparatus of Obtaining Obstacle Information, Device and Computer Storage Medium |
| CN109460709A (zh) * | 2018-10-12 | 2019-03-12 | 南京大学 | 基于rgb和d信息融合的rtg视觉障碍物检测的方法 |
| US20190146511A1 (en) * | 2017-11-13 | 2019-05-16 | Smart Ag, Inc. | Safety system for autonomous operation of off-road and agricultural vehicles using machine learning for detection and identification of obstacles |
| CN109766769A (zh) * | 2018-12-18 | 2019-05-17 | 四川大学 | 一种基于单目视觉与深度学习的道路目标检测识别方法 |
| CN109800874A (zh) * | 2018-12-29 | 2019-05-24 | 复旦大学 | 一种机器视觉神经网络的训练方法、设备及存储介质 |
| US20190167203A1 (en) * | 2017-12-04 | 2019-06-06 | Siemens Healthcare Gmbh | Method and apparatus for characterizing an obstacle within an examination object using a medical image data set |
| CN109931946A (zh) * | 2019-04-10 | 2019-06-25 | 福州大学 | 基于Android智能手机的盲人视觉测距导航方法 |
-
2019
- 2019-07-02 CN CN201910591757.5A patent/CN110334646A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180365503A1 (en) * | 2017-06-16 | 2018-12-20 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and Apparatus of Obtaining Obstacle Information, Device and Computer Storage Medium |
| US20190146511A1 (en) * | 2017-11-13 | 2019-05-16 | Smart Ag, Inc. | Safety system for autonomous operation of off-road and agricultural vehicles using machine learning for detection and identification of obstacles |
| US20190167203A1 (en) * | 2017-12-04 | 2019-06-06 | Siemens Healthcare Gmbh | Method and apparatus for characterizing an obstacle within an examination object using a medical image data set |
| CN108596058A (zh) * | 2018-04-11 | 2018-09-28 | 西安电子科技大学 | 基于计算机视觉的行车障碍物测距方法 |
| CN108909624A (zh) * | 2018-05-13 | 2018-11-30 | 西北工业大学 | 一种基于单目视觉的实时障碍物检测和定位方法 |
| CN108648161A (zh) * | 2018-05-16 | 2018-10-12 | 江苏科技大学 | 非对称核卷积神经网络的双目视觉障碍物检测系统及方法 |
| CN109460709A (zh) * | 2018-10-12 | 2019-03-12 | 南京大学 | 基于rgb和d信息融合的rtg视觉障碍物检测的方法 |
| CN109766769A (zh) * | 2018-12-18 | 2019-05-17 | 四川大学 | 一种基于单目视觉与深度学习的道路目标检测识别方法 |
| CN109800874A (zh) * | 2018-12-29 | 2019-05-24 | 复旦大学 | 一种机器视觉神经网络的训练方法、设备及存储介质 |
| CN109931946A (zh) * | 2019-04-10 | 2019-06-25 | 福州大学 | 基于Android智能手机的盲人视觉测距导航方法 |
Non-Patent Citations (2)
| Title |
|---|
| 吴晓烽;吴丽君;吴振辉;陈志聪;林培杰;文吉成;: "用于盲人视觉辅助的多目标快速识别并同步测距方法" * |
| 陆峰;徐友春;李永乐;王德宇;谢德胜;: "基于信息融合的智能车障碍物检测方法" * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110633702A (zh) * | 2019-11-20 | 2019-12-31 | 江西博微新技术有限公司 | 基于无人机的线路检修费计算方法、服务器及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110781765B (zh) | 一种人体姿态识别方法、装置、设备及存储介质 | |
| Filipe et al. | Blind navigation support system based on Microsoft Kinect | |
| CN105550678B (zh) | 基于全局显著边缘区域的人体动作特征提取方法 | |
| CN110425005B (zh) | 矿井下皮带运输人员人机交互行为安全监控与预警方法 | |
| CN106778614B (zh) | 一种人体识别方法和装置 | |
| Min et al. | Support vector machine approach to fall recognition based on simplified expression of human skeleton action and fast detection of start key frame using torso angle | |
| CN106469302A (zh) | 一种基于人工神经网络的人脸肤质检测方法 | |
| Sáez et al. | Aerial obstacle detection with 3-D mobile devices | |
| CN106096561A (zh) | 基于图像块深度学习特征的红外行人检测方法 | |
| CN104287946A (zh) | 盲人避障提示装置及方法 | |
| CN103971103A (zh) | 一种人数统计系统 | |
| CN102629320A (zh) | 基于特征层定序测量统计描述的人脸识别方法 | |
| CN104616002A (zh) | 用于年龄段判断的面部识别设备 | |
| CN109766796A (zh) | 一种面向密集人群的深度行人检测方法 | |
| Jabnoun et al. | Object recognition for blind people based on features extraction | |
| Jabnoun et al. | Visual substitution system for blind people based on SIFT description | |
| CN113435236A (zh) | 居家老人姿态检测方法、系统、存储介质、设备及应用 | |
| CN112037252A (zh) | 基于鹰眼视觉的目标跟踪方法及系统 | |
| Zhi-chao et al. | Key pose recognition toward sports scene using deeply-learned model | |
| Kaur et al. | A scene perception system for visually impaired based on object detection and classification using multi-modal DCNN | |
| CN108960287A (zh) | 一种实现地形和目标检测的盲人辅助眼镜 | |
| Bala et al. | Design, development and performance analysis of cognitive assisting aid with multi sensor fused navigation for visually impaired people | |
| CN104898971A (zh) | 一种基于视线跟踪技术的鼠标指针控制方法及系统 | |
| Kumar et al. | A Deep Learning Based Model to Assist Blind People in Their Navigation. | |
| CN109634407A (zh) | 一种基于多模人机传感信息同步采集与融合的控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20191015 |