CN106940562B - 一种移动机器人无线集群系统及神经网络视觉导航方法 - Google Patents
一种移动机器人无线集群系统及神经网络视觉导航方法 Download PDFInfo
- Publication number
- CN106940562B CN106940562B CN201710136372.0A CN201710136372A CN106940562B CN 106940562 B CN106940562 B CN 106940562B CN 201710136372 A CN201710136372 A CN 201710136372A CN 106940562 B CN106940562 B CN 106940562B
- Authority
- CN
- China
- Prior art keywords
- image
- wireless
- identifier
- layer
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000000007 visual effect Effects 0.000 title claims abstract description 17
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 14
- 230000003993 interaction Effects 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims description 36
- 238000013527 convolutional neural network Methods 0.000 claims description 20
- 238000010586 diagram Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 2
- 230000008901 benefit Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 241000233805 Phoenix Species 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 241001522296 Erithacus rubecula Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000003245 working effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种移动机器人无线集群系统及神经网络视觉导航方法，包括中央管理计算机、无线AP服务器和多个移动机器人，每个移动机器人均包括车体和控制模块，控制模块设置在车体上，控制模块包括无线EPA客户端、微处理器和相机；中央管理计算机与移动机器人的微处理器之间数据交互通过无线AP服务器与无线EPA客户端实现无线通讯，各移动机器人之间可以经由无线AP服务器进行无线通讯，避免冲突，共同完成任务，提高工作效率，突破传统上移动机器人单向接收中央管理计算机控制的局限性。实时采集移动机器人所在环境下的道路图像，识别图像中的标识符并跟踪图像中的道路线边缘，可以显著地简化移动机器人的控制和跟踪方法，提高系统的鲁棒性。
Description
技术领域
本发明涉及移动机器人调度技术领域以及视觉导航领域，尤其涉及一种移动机器人无线集群系统及神经网络视觉导航方法。
背景技术
移动机器人能有效的节约生产时间，大幅度提高生产效率，降低人工劳动成本，在汽车、食品、印刷、物料运输等多个行业有着广泛的应用需求。
移动机器人一项关键技术是导航技术，移动机器人导航已经有多种方式，例如惯性导航、磁带导航、激光导航和机器视觉导航。不同导航方式的移动机器人具有各自的特点，并决定了所构成物流系统的柔性程度及成本费用。机器视觉导航技术与惯性导航相比，具有控制性能好、算法简单等优点；与磁带导航相比，具有路径维护和改造更加方便灵活、不受电磁场干扰等优点；与激光导航方式相比，具有成本较低、系统构建更加容易等优点。所以机器视觉导航移动机器人具有较高的实用价值和广阔的应用前景。
现有的基于二维码及导航带的视觉导航方法虽然简单、快速，但是由于移动机器人实际应用场景中二维码容易被灰尘或污渍影响从而导致二维码读取成功率下降。现有的基于RFID及导航带的视觉导航方法成本较高，从而限制了该导航方法的推广应用。
随着“工业4.0”概念下提出的“智慧工厂”的日益发展，企业对生产现场的设备进行远程监控有迫切需求。移动机器人因工作性质需作位置变换，作为管理端的计算机若要对多个移动机器人进行监控，采用无线通讯是较好选择。
发明内容
本发明的目的在于克服上述现有技术的缺点和不足，提供一种结构简单、操作便捷的移动机器人无线集群系统及神经网络视觉导航方法。
本发明通过下述技术方案实现：
一种移动机器人无线集群系统，包括中央管理计算机1、无线AP服务器2和多个移动机器人3，所述中央管理计算机与无线AP服务器通过网线连接实现数据交互，无线AP服务器与移动机器人通过无线传输实现数据交互；
每个移动机器人均包括车体和控制模块。控制模块设置在车体上，所述控制模块包括无线EPA客户端4、微处理器5和相机6；无线EPA客户端4与无线AP服务器2通过无线连接实现数据交互，无线EPA客户端4与微处理器5通过网线连接实现数据交互，相机6与微处理器5通过有线连接实现数据交互。
工作原理：中央管理计算机与移动机器人的微处理器之间数据交互是通过无线AP服务器与无线EPA客户端实现无线通讯的，中央管理计算机向移动机器人发出查询及调度指令，移动机器人在收到指令后返回当前状态数据并执行相应工作指令。各个移动机器人之间也可以经由无线AP服务器进行相互通讯。
优选的，所述无线AP服务器与无线EPA客户端采用TCP/IP网络通讯协议。
优选的，所述中央管理计算机向移动机器人发出的数据和指令采用Modbus TCP协议进行编译。
优选的，所述微处理器选用ARM Cortex-a8、ARM Cortex-a9、ARM Cortex-a12、ARMCortex-a15。
优选的，所述相机采用USB相机、CCD相机。
一种神经网络视觉导航方法，其包括如下步骤：
步骤一：实时采集移动机器人所在预设环境下的道路图像，并转换为灰度图像，预设环境下的道路中预铺有车道线，车道线的预定位置上设置有多个标识符，标识符均有一个与标识符背景对比度较高的圆环轮廓；
步骤二：将步骤一所得灰度图像作透视变换，将灰度图像转换为相机与地面呈正投影的图像；
步骤三：将步骤二所得相机与地面呈正投影的图像作图像分割，得到仅含标识符感兴趣区域的图像和仅含车道线感兴趣区域的图像；
步骤四：将步骤三所得仅含标识符感兴趣区域的图像，通过识别图像中的标识符得到转向和定位信息；
步骤五：将步骤三所得仅含车道线感兴趣区域的图像通过提取图像中的车道线边缘，得到仅含车道线边缘的图像并对车道线进行跟踪。
步骤一中还包括以下子步骤：
步骤a：根据实际环境调整相机摆放位置及相机配套光源的强度；
步骤b：根据当前调整的光源强度调整相机参数使其能采集到清晰的道路图像；
步骤c：实时采集连续清晰的道路图像传入微处理器内存中进行图像处理。
所述步骤二具体步骤如下：设定完成光源及相机之后，用相机对路面上预设的标定纸进行拍摄，标定纸中画有与标定纸背景对比度较高的正方形线框，通过将所拍图像中矩形的四个顶点坐标变换为正方形的四个顶点坐标得到相关变换参数，即完成透视变换，将灰度图像转换为相机与路面呈正投影的图像。
所述步骤三具体步骤如下：将步骤二所得相机与地面呈正投影的图像分别作圆检测与直线检测进行图像分割，若图像中包含有标识符的圆环轮廓，可分割得到仅含标识符感兴趣区域的图像，直线检测可检测到图像中的车道线边缘，可分割得到仅含车道线感兴趣区域的图像。
所述步骤四具体步骤如下：
运用深度学习方法(YOLO)识别步骤三所得仅含标识符感兴趣区域的图像中的标识符，与微处理器中数据库信息进行比对得到转向和定位信息，数据库信息可由中央管理计算机进行增加、删除和更新。
深度学习方法流程包含以下步骤：
步骤S1：首先载入CIFAR-10数据，CIFAR-10由60000张32*32的RGB彩色图片构成，共10个分类；50000张用于训练，10000张用于测试(交叉验证)；
步骤S2：创建一个卷积神经网络(以下简称CNN)，所述卷积神经网络主要包括以下几层：图像输入层，中间层，分类输出层。图像输入层定义了CNN可以处理的数据的类型和大小；中间层由多层构成，按先后次序排序表示是由重复层及非重复层构成；重复层是构成CNN的核心构成模块，由重复三次的卷积层、校正线性层(ReLU)及最大值池化层构成；非重复层由全连接层、ReLU、全连接层、及Softmax层构成；最后一层为分类输出层；
步骤S3：使用CIFAR-10训练CNN，设置网络训练参数后，将训练算法运行X个迭代周期，X为大于1的整数，训练完成后验证网络；优选的，所述的迭代周期次数X为30至70的整数。
步骤S4：载入标识符训练图数据，载入X张标识符图进行训练，X为大于100的整数；优选的，标识符图张数X为标识符种类的10倍，即一种标识符对应10张同种标识符训练图。
步骤S5：完成YOLO检测器，用步骤d载入的标识符训练图数据来训练CNN，设置好训练参数，训练后即完成YOLO检测器。
步骤四中运用机器学习方法识别标识符得到转向和定位信息。
步骤五中提取图像中的车道线边缘，是运用全卷积网络方法提取图像中的车道线边缘，再运用循环伴随目标跟踪方法对车道线边缘进行跟踪。
全卷积网络方法(FCN)将传统神经网络CNN的全连接层转化成一个个的卷积层，支持不同大小的图像输入，支持全图端到端(end to end)得到每个像素的预测结果，在边缘检测领域处于最新水平。
循环伴随目标跟踪算法(以下简称RTT)首先对每一帧的候选区域进行网状分块，对每个分块提取HOG特征，最终相连得到基于块的特征。RTT利用前5帧训练多方向循环神经网络(RNN)来学习分块之间大范围的空间关联。通过在4个方向上的向前推进,RNN计算出每个分块的置信度，最终每个块的预测值组成整个候选区域的置信图。受益于RNN的玄幻结构，每个分块的输出值都受到其他关联分块的影响，相比于仅仅考虑当前块的准确度更高，增加可靠目标部分在整体置信图中的影响。RTT还需训练相关滤波器来获得最终的跟踪结果。
本发明相对于现有技术，具有如下的优点及效果：
1、各移动机器人之间可以经由无线AP服务器进行无线通讯，避免冲突，共同完成任务，提高工作效率，突破传统上移动机器人单向接收中央管理计算机控制的局限性。
2、采用深度学习方法对标识符识别准确率高，能够保证标识符在受到一定程度下灰尘、污渍等干扰的情况下的识别率仍然维持在较高水平，提高了视觉导航方法的鲁棒性。
3、采用全卷积网络方法对车道线进行边缘检测，可取得较完整的车道线边缘图像，在此基础上再采用循环伴随目标跟踪方法对每一帧图像进行车道线跟踪，跟踪效果好。
附图说明
图1是移动机器人无线集群系统示意图
图2是视觉导航方法流程示意图
图3是相机透视变换的标定示意图
图4是道路线及标识符示意图
图5是分割后得到仅含道路线感兴趣区域的图像示意图
图6是分割后得到仅含标识符感兴趣区域的图像示意图
图7是YOLO方法流程图示意图
图8是边缘检测得到仅含车道线边缘的图像示意图
具体实施方式
下面结合具体实施例对本发明作进一步具体详细描述。
实施例
本发明公开了一种移动机器人无线集群系统，如图1所示，它包括中央管理计算机1、无线AP服务器2和多个移动机器人3，所述中央管理计算机与无线AP服务器通过网线连接实现数据交互，无线AP服务器与移动机器人通过无线传输实现数据交互；
每个移动机器人3均包括控制模块和车体7，控制模块设置在车体上7，所述控制模块包括无线EPA客户端4、微处理器5和相机6。无线AP服务器2与无线EPA客户端4通过无线连接实现数据交互，无线EPA客户端4与微处理器5通过网线连接实现数据交互，微处理器5与相机6通过有线连接实现数据交互。
本实施例中无线AP服务器2型号为Phoenix ContactWLN 5100，无线EPA客户端4型号为Phoenix Contact FL WLAN EPA RSMA,微处理器5型号为ARM Cortex-a9,相机6为USB摄像头。
工作原理：中央管理计算机与移动机器人的微处理器之间数据交互是通过无线AP服务器与无线EPA客户端实现无线通讯的，中央管理计算机向移动机器人发出查询及调度指令，移动机器人在收到指令后反馈当前状态数据并执行相应工作指令。多个移动机器人之间也可以经由无线AP服务器进行相互通讯，避免冲突，共同完成任务。
本实施例中无线AP服务器2与无线EPA客户端4采用TCP/IP网络通讯协议，中央管理计算机向移动机器人发出的指令及来自移动机器人反馈的数据、移动机器人相互通讯的数据均以Modbus TCP通讯协议进行编译。
本发明神经网络视觉导航方法，如图2所示，可通过以下步骤实现：
步骤S100实时采集所述移动机器人所在预设环境下的道路图像，并转换为灰度图像，所述预设环境下的道路中预铺有车道线，所述车道线的预定位置上设置有多个标识符，所述标识符均有一个与标识符背景对比度较高的圆环轮廓。
本实施例中预铺在道路上的车道线宽度为10cm,标识符圆环轮廓外圆半径为10cm.
关于步骤S100，还包括以下子步骤：
步骤S101根据实际环境调整相机摆放位置及相机配套光源的强度。
本实施例中相机采用USB相机，摆放高度为离地面垂直距离为50cm,拍摄角度为同路面水平方向呈45°角。
步骤S102根据当前调整的光源强度调整相机参数使其能采集到清晰的道路图像。
步骤S103实时采集连续清晰的道路图像传入微处理器内存中进行图像处理。
本实施例中微处理器型号为ARM Cortex-a9。
步骤S200相机透视变换标定。如图3所示，用相机对路面上预设的标定纸进行拍摄，所述标定纸中画有与标定纸背景对比度较高的正方形线框，通过将所拍图像中矩形的四个顶点坐标变换为正方形的四个顶点坐标得到相关变换参数，即完成透视变换，将灰度图像转换为相机与路面呈正投影的图像，如图4所示。
步骤S300将步骤S200所得相机与地面呈正投影的图像作图像分割得到仅含标识符感兴趣区域的图像和仅含车道线感兴趣区域的图像，如图5及图6所示。
关于步骤S300,还包括以下子步骤：
步骤S301，对步骤S200所得相机与地面呈正投影的图像作圆检测，若检测到图像中包含有标识符的圆环轮廓，可分割得到仅含标识符感兴趣区域的图像。
步骤S302,对步骤S200所得相机与地面呈正投影的图像作直线检测，可检测到图像中的车道线边缘，分割得到仅含车道线感兴趣区域的图像。
步骤S400识别步骤S300所得仅含标识符感兴趣区域的图像中的标识符，与微处理器中数据库信息进行比对得到转向和定位信息，所述数据库信息可由中央管理计算机进行增加、删除和更新。
关于步骤S400，是采用深度学习算法“YOLO”进行标识符识别，包含以下子步骤：
步骤S401首先载入CIFAR-10数据，CIFAR-10由60000张32*32的RGB彩色图片构成，共10个分类。50000张用于训练，10000张用于测试(交叉验证)。
步骤S402创建一个卷积神经网络(CNN)，所述卷积神经网络主要包括以下几层：图像输入层，中间层，分类输出层。图像输入层定义了CNN可以处理的数据的类型和大小。中间层由多层构成，按先后次序排序表示是由重复层及非重复层构成。重复层是构成CNN的核心构成模块，由重复三次的卷积层、校正线性层(ReLU)及最大值池化层构成。非重复层由全连接层、ReLU、全连接层、及Softmax层构成。最后一层为分类输出层。
步骤S403使用CIFAR-10训练CNN，设置网络训练参数后，将训练算法运行X个迭代周期，X为大于1的整数，训练完成后验证网络。
本实施例中选取步骤S403的迭代周期个数为50个。
步骤S404载入标识符训练图数据，载入X张标识符图进行训练，X为大于100的整数。
优选的，标识符图张数X为标识符种类的10倍，即一种标识符对应10张同种标识符训练图。
本实施例中S404训练用的标识符图张数为360张。
步骤S405完成YOLO检测器，用步骤S404载入的标识符训练图数据来训练CNN，设置好训练参数，训练后即完成YOLO检测器。
步骤S500运用全卷积网络算法(FCN)将步骤300所得仅含车道线感兴趣区域的图像提取图像中的车道线边缘，再运用循环伴随目标跟踪算法(RTT)对车道线进行跟踪。
本实施例中的标识符识别率高，车道线跟踪效果好。
如上所述，便可较好地实现本发明。
本发明的实施方式并不受上述实施例的限制，其他任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (5)
1.一种神经网络视觉导航方法，其特征在于，基于移动机器人无线集群系统实现；
所述基于移动机器人无线集群系统，包括：中央管理计算机（1）、无线AP服务器（2）和多个移动机器人（3），所述中央管理计算机与无线AP服务器通过网线连接实现数据交互，无线AP服务器与移动机器人通过无线传输实现数据交互；
每个移动机器人均包括车体和控制模块；
控制模块设置在车体上，所述控制模块包括无线EPA客户端（4）、微处理器（5）和相机（6）；无线EPA客户端（4）与无线AP服务器（2）通过无线连接实现数据交互，无线EPA客户端（4）与微处理器（5）通过网线连接实现数据交互，相机（6）与微处理器（5）通过有线连接实现数据交互；
神经网络视觉导航方法包括如下步骤：
步骤一：实时采集移动机器人所在预设环境下的道路图像，并转换为灰度图像，预设环境下的道路中预铺有车道线，车道线的预定位置上设置有多个标识符，标识符均有一个与标识符背景对比度较高的圆环轮廓；
步骤二：将步骤一所得灰度图像作透视变换，将灰度图像转换为相机与地面呈正投影的图像；具体步骤如下：设定完成光源及相机之后，用相机对路面上预设的标定纸进行拍摄，标定纸中画有与标定纸背景对比度较高的正方形线框，通过将所拍图像中矩形的四个顶点坐标变换为正方形的四个顶点坐标得到相关变换参数，即完成透视变换，将灰度图像转换为相机与路面呈正投影的图像；
步骤三：将步骤二所得相机与地面呈正投影的图像作图像分割，得到仅含标识符感兴趣区域的图像和仅含车道线感兴趣区域的图像；
步骤四：将步骤三所得仅含标识符感兴趣区域的图像，通过识别图像中的标识符得到转向和定位信息；具体步骤如下：
运用深度学习方法识别步骤三所得仅含标识符感兴趣区域的图像中的标识符，与微处理器中数据库信息进行比对得到转向和定位信息，数据库信息可由中央管理计算机进行增加、删除和更新；
深度学习方法流程包含以下步骤：
步骤S1：首先载入CIFAR-10数据，CIFAR-10由60000张32*32的RGB彩色图片构成，共10个分类；50000张用于训练，10000张用于测试；
步骤S2：创建一个卷积神经网络，即CNN；所述卷积神经网络主要包括以下几层：图像输入层，中间层，分类输出层；
图像输入层定义了CNN可以处理的数据的类型和大小；中间层由多层构成，按先后次序排序表示是由重复层及非重复层构成；重复层是构成CNN的核心构成模块，由重复三次的卷积层、校正线性层及最大值池化层构成；非重复层由全连接层、ReLU、全连接层、及Softmax层构成；最后一层为分类输出层；
步骤S3：使用CIFAR-10训练CNN，设置网络训练参数后，将训练算法运行X个迭代周期，X为大于1的整数，训练完成后验证网络；
步骤S4：载入标识符训练图数据，载入X张标识符图进行训练，X为大于100的整数；
步骤S5：完成YOLO检测器，用步骤d载入的标识符训练图数据来训练CNN，设置好训练参数，训练后即完成YOLO检测器；
步骤五：将步骤三所得仅含车道线感兴趣区域的图像通过提取图像中的车道线边缘，得到仅含车道线边缘的图像并对车道线进行跟踪。
2.根据权利要求1所述神经网络视觉导航方法，其特征在于，步骤一中还包括以下子步骤：
步骤a：根据实际环境调整相机摆放位置及相机配套光源的强度；
步骤b：根据当前调整的光源强度调整相机参数使其能采集到清晰的道路图像；
步骤c：实时采集连续清晰的道路图像传入微处理器内存中进行图像处理。
3.根据权利要求1所述神经网络视觉导航方法，其特征在于，步骤三具体步骤如下：将步骤二所得相机与地面呈正投影的图像分别作圆检测与直线检测进行图像分割，若图像中包含有标识符的圆环轮廓，可分割得到仅含标识符感兴趣区域的图像，直线检测可检测到图像中的车道线边缘，可分割得到仅含车道线感兴趣区域的图像。
4.根据权利要求1所述神经网络视觉导航方法，其特征在于，步骤四中运用机器学习方法识别标识符得到转向和定位信息。
5.根据权利要求1所述神经网络视觉导航方法，其特征在于，步骤五中提取图像中的车道线边缘，是运用全卷积网络方法提取图像中的车道线边缘，再运用循环伴随目标跟踪方法对车道线边缘进行跟踪。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710136372.0A CN106940562B (zh) | 2017-03-09 | 2017-03-09 | 一种移动机器人无线集群系统及神经网络视觉导航方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710136372.0A CN106940562B (zh) | 2017-03-09 | 2017-03-09 | 一种移动机器人无线集群系统及神经网络视觉导航方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106940562A CN106940562A (zh) | 2017-07-11 |
| CN106940562B true CN106940562B (zh) | 2023-04-28 |
Family
ID=59469938
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710136372.0A Active CN106940562B (zh) | 2017-03-09 | 2017-03-09 | 一种移动机器人无线集群系统及神经网络视觉导航方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106940562B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7294768B2 (ja) | 2017-08-04 | 2023-06-20 | オムロン株式会社 | 画像処理システム |
| CN107608345A (zh) * | 2017-08-26 | 2018-01-19 | 深圳力子机器人有限公司 | 一种机器人及其跟随方法和系统 |
| CN109543498B (zh) * | 2017-10-16 | 2022-02-18 | 浙江工商大学 | 一种基于多任务网络的车道线检测方法 |
| CN108009524B (zh) * | 2017-12-25 | 2021-07-09 | 西北工业大学 | 一种基于全卷积网络的车道线检测方法 |
| CN108334076B (zh) * | 2018-01-09 | 2020-12-29 | 佛山科学技术学院 | 一种超个体协助运动系统及其运动方法 |
| CN108268037B (zh) * | 2018-01-19 | 2021-05-07 | 广东美的智能机器人有限公司 | 多移动机器人的冲突管理方法及系统 |
| EP3783534A4 (en) * | 2018-04-19 | 2022-01-05 | Positec Power Tools (Suzhou) Co., Ltd | SELF-MOVING DEVICE, SERVER AND AUTOMATIC WORKING SYSTEM FOR IT |
| CN108681447B (zh) * | 2018-05-16 | 2021-09-17 | 首都师范大学 | 一种机器人避障的自动参数选择方法 |
| CN109116863B (zh) * | 2018-08-24 | 2021-12-03 | 北京京东乾石科技有限公司 | 无人机调度方法、装置、系统、电子设备及可读介质 |
| CN110908384B (zh) * | 2019-12-05 | 2022-09-23 | 中山大学 | 一种分布式多机器人协同过未知随机迷宫的编队导航方法 |
| CN111339999A (zh) * | 2020-03-23 | 2020-06-26 | 东莞理工学院 | 一种用于视觉导航机器人图像处理系统及处理方法 |
| CN112809696B (zh) * | 2020-12-31 | 2022-03-15 | 山东大学 | 面向高传染性隔离病区的全方位智能护理系统及方法 |
| CN113392904B (zh) * | 2021-06-16 | 2022-07-26 | 华南理工大学 | 基于ltc-dnn的视觉惯导组合导航系统与自学习方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103389733A (zh) * | 2013-08-02 | 2013-11-13 | 重庆市科学技术研究院 | 一种基于机器视觉的车辆巡线方法及系统 |
| CN105224908A (zh) * | 2014-07-01 | 2016-01-06 | 北京四维图新科技股份有限公司 | 一种基于正射投影的道路标线采集方法及装置 |
| CN105651286A (zh) * | 2016-02-26 | 2016-06-08 | 中国科学院宁波材料技术与工程研究所 | 一种移动机器人视觉导航方法与系统、以及仓库系统 |
| CN105718870A (zh) * | 2016-01-15 | 2016-06-29 | 武汉光庭科技有限公司 | 自动驾驶中基于前向摄像头的道路标线提取方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9589210B1 (en) * | 2015-08-26 | 2017-03-07 | Digitalglobe, Inc. | Broad area geospatial object detection using autogenerated deep learning models |
-
2017
- 2017-03-09 CN CN201710136372.0A patent/CN106940562B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103389733A (zh) * | 2013-08-02 | 2013-11-13 | 重庆市科学技术研究院 | 一种基于机器视觉的车辆巡线方法及系统 |
| CN105224908A (zh) * | 2014-07-01 | 2016-01-06 | 北京四维图新科技股份有限公司 | 一种基于正射投影的道路标线采集方法及装置 |
| CN105718870A (zh) * | 2016-01-15 | 2016-06-29 | 武汉光庭科技有限公司 | 自动驾驶中基于前向摄像头的道路标线提取方法 |
| CN105651286A (zh) * | 2016-02-26 | 2016-06-08 | 中国科学院宁波材料技术与工程研究所 | 一种移动机器人视觉导航方法与系统、以及仓库系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106940562A (zh) | 2017-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106940562B (zh) | 一种移动机器人无线集群系统及神经网络视觉导航方法 | |
| US11238615B2 (en) | Sensor calibration | |
| Furgale et al. | Toward automated driving in cities using close-to-market sensors: An overview of the v-charge project | |
| CN110363816B (zh) | 一种基于深度学习的移动机器人环境语义建图方法 | |
| CN109725327B (zh) | 一种多机构建地图的方法及系统 | |
| CN112270306B (zh) | 一种基于拓扑路网的无人车轨迹预测与导航方法 | |
| CN110084243B (zh) | 一种基于二维码和单目相机的档案识别与定位方法 | |
| CN111316284A (zh) | 车道线检测方法、装置、系统与车辆、存储介质 | |
| CN111316286A (zh) | 轨迹预测方法及装置、存储介质、驾驶系统与车辆 | |
| AU2022325172A1 (en) | Method for drivable area detection and autonomous obstacle avoidance of unmanned haulage equipment in deep confined spaces | |
| CN110281231A (zh) | 无人化fdm增材制造的移动机器人三维视觉抓取方法 | |
| CN102646343A (zh) | 车辆检测装置 | |
| CN110262507A (zh) | 一种基于5g通信的相机阵列机器人定位方法及装置 | |
| CN104635735A (zh) | 一种新型agv视觉导航控制方法 | |
| CN115049700A (zh) | 一种目标检测方法及装置 | |
| JP2021512297A (ja) | 可変シーンでの複数の設備による視覚ナビゲーション方法及びシステム | |
| CN111596674A (zh) | 无人机的降落定位方法、装置及无人机巢 | |
| CN113392584B (zh) | 基于深度强化学习和方向估计的视觉导航方法 | |
| WO2020006378A1 (en) | Sensor calibration | |
| CN111582123A (zh) | 一种基于信标识别与视觉slam的agv定位方法 | |
| WO2022228391A1 (zh) | 一种终端设备定位方法及其相关设备 | |
| CN111693046A (zh) | 机器人系统和机器人导航地图建图系统及方法 | |
| CN112541449A (zh) | 一种基于无人机航拍视角的行人轨迹预测方法 | |
| CN105014675A (zh) | 一种狭窄空间智能移动机器人视觉导航系统及方法 | |
| CN113313176A (zh) | 一种基于动态图卷积神经网络的点云分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |