CN111339999A - 一种用于视觉导航机器人图像处理系统及处理方法 - Google Patents
一种用于视觉导航机器人图像处理系统及处理方法 Download PDFInfo
- Publication number
- CN111339999A CN111339999A CN202010207544.0A CN202010207544A CN111339999A CN 111339999 A CN111339999 A CN 111339999A CN 202010207544 A CN202010207544 A CN 202010207544A CN 111339999 A CN111339999 A CN 111339999A
- Authority
- CN
- China
- Prior art keywords
- module
- picture
- robot
- pictures
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 42
- 230000000007 visual effect Effects 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 title claims abstract description 10
- 238000004891 communication Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000013528 artificial neural network Methods 0.000 claims abstract description 13
- 238000013145 classification model Methods 0.000 claims abstract description 11
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 7
- 230000000875 corresponding effect Effects 0.000 claims description 6
- 238000003672 processing method Methods 0.000 claims description 6
- 230000007613 environmental effect Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Remote Sensing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Radar, Positioning & Navigation (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种用于视觉导航机器人图像处理系统，包括机器人和计算机终端，所述机器人包括卷积神经网络模块、分类模块、存储模块及第一无线通讯模块，所述计算机终端包括无线摄像头模块、图片处理模块、分类模型模块及第二无线通讯模块。本发明仅取图片最上层像素点作为训练样本搭配更为简单快速的全连接神经网络，将大幅降低模型的训练时长；而且图片经过裁剪出最上一层的操作后，不同分类的图片的特征值明确且差别大，模型训练和模型判断时都会有更高的准确性和抗干扰性；与此同时，视觉导航驾驶时把图片送去网络判断分类模型将会更为快速，提高了机器人的实时性。
Description
技术领域
本发明属于机器人技术领域，具体涉及一种用于视觉导航机器人图像处理系统及处理方法。
背景技术
在智能机器人的研究中，机器人的导航是一个十分重要的问题，导航是智能机器人的核心技术，也是实现真正地智能化和完全自主移动的关键技术。机器人导航的方式有很多一种，例如惯性导航、视觉导航、GPS定位导航、利用传感器的数据导航等等。视觉方法时近年发展起来的一种先进的导航方案，视觉传感器为机器人提供了十分丰富的外界信息，并且在不需要传感器的运动以及物体无任何接触的情况下，就可以达到对环境和目标的识别，这是其他传感器难以做到的，此外视觉传感器所提供的信息往往比其他传感器丰富得多，更有利于机器人对当前坏境的识别和导航。
现有方案中将整张图片作为训练样本训练神经网络，由于图片的信息量本较大，在训练样本庞大时，这会导致神经网络的训练过程异常耗时，对电脑配置也有不少的要求；由于一张图片的特征多，会导致训练出来的模型抗干扰性较差，不利于提升系统的鲁棒性；此外，在机器人视觉导航驾驶过程中，将实时采集的图片送入神经网络判断，也需要消耗一部分时间，降低机器人的实时性。
发明内容
本发明的目的在于提供一种用于视觉导航机器人图像处理系统，以解决上述背景技术中提出现有技术中图片量大神经网络的训练过程异常耗时的问题。
为实现上述目的，本发明采用了如下技术方案：
一种用于视觉导航机器人图像处理系统，包括机器人和计算机终端，所述机器人包括卷积神经网络模块、分类模块、存储模块及第一无线通讯模块，所述计算机终端包括无线摄像头模块、图片处理模块、分类模型模块及第二无线通讯模块，所述机器人和计算机终端通过第一无线通讯模块和第二无线通讯模块信号连接。
优选的，所述无线摄像头模块采用多广角CMOS摄像头。
优选的，所述图片处理模块包括图片抓取模块和图片识别模块，所述图片抓取模块用于图片处理模块中抓取图片，所述图片识别模块用于识别图片抓取模块抓取来的图片并将识别结果输出给计算机终端。
优选的，所述分类模块包括特征识别模块，用于识别所提取的图片的特征，将所识别的特征与所设置的图片的基本特征进行比对。
本发明还提供一种用于视觉导航机器人图像处理方法，包括以下步骤：
S1、使用无线摄像头模块进行拍摄赛道阶段图片并传输给计算机终端，所述计算机终端中的图片处理模块对图片进行压缩、滤波、剪切，裁取图片的最上端并保存；
S2、利用计算机终端通过第二无线通讯模块将处理后的图片传输给机器人，所述机器人中的卷积神经网络模块对图片进行分类判断，得到分类结果，从而指导机器人做出相应的动作完成道路的驾驶并通过存储模块进行保存；
S3、图片处理模块中仅取图片最上层一行的像素点作为训练样本训练一个全连接神经网络，得到分类模型；
S4、机器人视觉导航时实时采集的图片进过处理后也是取最上层一行的像素点递送给网络做判断，机器人由此作出相应的反应；
S5、利用图片处理模块中由人工去除掉一些模糊或者不能分辨方向的图片后，首先将图片进行适当压缩以及裁剪，降低图片的信息量，进过压缩以及裁剪后的图片。
优选的，所述S2中，为了神经网络更容易对各种路况进行比较准确的分类，同时为了尽可能减轻因光线和环境问题而引发的各种问题，将裁剪后的图像经过滤波和二值化处理。
优选的，所述S3中分类模型模块对裁取后的图片进行分类处理，并对照整个赛道的路径进行对比。
优选的，所述S2中图片的处理为缩放处理，采集到的图片像素值为640*480，经过缩放后像素值为320*240。
本发明的技术效果和优点：本发明提出的一种用于视觉导航机器人图像处理系统，与现有技术相比，具有以下优点：
本发明仅取图片最上层像素点作为训练样本搭配更为简单快速的全连接神经网络，将大幅降低模型的训练时长；而且图片经过裁剪出最上一层的操作后，不同分类的图片的特征值明确且差别大，模型训练和模型判断时都会有更高的准确性和抗干扰性；与此同时，视觉导航驾驶时把图片送去网络判断分类模型将会更为快速，提高了机器人的实时性。
附图说明
图1为本发明一种用于视觉导航机器人图像处理系统的结构示意图；
图2为本发明的操作流程示意图；
图3为本发明实施例1中压缩和裁剪后的图片示意图；
图4为本发明实施例1中滤波和二值化后的图片示意图；
图5为本发明实施例1中训练样本示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了如图1-4所示的一种用于视觉导航机器人图像处理系统，包括机器人和计算机终端，所述机器人包括卷积神经网络模块、分类模块、存储模块及第一无线通讯模块，所述计算机终端包括无线摄像头模块、图片处理模块、分类模型模块及第二无线通讯模块，所述机器人和计算机终端通过第一无线通讯模块和第二无线通讯模块信号连接。所述无线摄像头模块采用多广角CMOS摄像头。所述图片处理模块包括图片抓取模块和图片识别模块，所述图片抓取模块用于图片处理模块中抓取图片，所述图片识别模块用于识别图片抓取模块抓取来的图片并将识别结果输出给计算机终端。所述分类模块包括特征识别模块，用于识别所提取的图片的特征，将所识别的特征与所设置的图片的基本特征进行比对。
实施例1
本发明还提出一种用于视觉导航机器人图像处理方法，包括以下步骤：
S1、使用无线摄像头模块进行拍摄赛道阶段图片并传输给计算机终端，所述计算机终端中的图片处理模块对图片进行压缩、滤波、剪切，裁取图片的最上端并保存；
S2、利用计算机终端通过第二无线通讯模块将处理后的图片传输给机器人，所述机器人中的卷积神经网络模块对图片进行分类判断，得到分类结果，图片的处理为缩放处理，采集到的图片像素值为640*480，经过缩放后像素值为320*240，从而指导机器人做出相应的动作完成道路的驾驶并通过存储模块进行保存，为了神经网络更容易对各种路况进行比较准确的分类，同时为了尽可能减轻因光线和环境问题而引发的各种问题，将裁剪后的图像经过滤波和二值化处理；
S3、图片处理模块中仅取图片最上层一行的像素点作为训练样本训练一个全连接神经网络，得到分类模型，分类模型模块对裁取后的图片进行分类处理，并对照整个赛道的路径进行对比；
S4、机器人视觉导航时实时采集的图片进过处理后也是取最上层一行的像素点递送给网络做判断，机器人由此作出相应的反应；
S5、利用图片处理模块中由人工去除掉一些模糊或者不能分辨方向的图片后，首先将图片进行适当压缩以及裁剪，降低图片的信息量，进过压缩以及裁剪后的图片。
卷积神经网络模块代码为：
tf.reset_default_graph()#清除默认图形堆栈并重置全局默认图形.
#输入层
tf_X＝tf.placeholder(tf.float32,[None,width],name＝'input')#图像尺寸n180 480 1
tf_Y＝tf.placeholder(tf.float32,[None,4])#n 4
#全连接层
fc_w1＝tf.Variable(tf.random_normal([480,100]))#50个神经元
fc_b1＝tf.Variable(tf.random_normal([100]))
fc_out1＝tf.nn.relu(tf.matmul(tf_X,fc_w1)+fc_b1)#使用relu激活函数
#dropout层占位
dropout_keep_prob＝tf.placeholder(tf.float32,name＝'keep')
fc1_drop＝tf.nn.dropout(fc_out1,dropout_keep_prob)
#输出层
out_w1＝tf.Variable(tf.random_normal([100,4]))#100个神经元，输出结果为4分类
out_b1＝tf.Variable(tf.random_normal([4]))
pred＝tf.nn.softmax(tf.matmul(fc1_drop,out_w1)+out_b1,name＝'pred')
#把N*1的向量归一化为0-1的值，分类一般用这个激励函数
#定义损耗函数和训练过程
loss＝-tf.reduce_mean(tf_Y*tf.log(tf.clip_by_value(pred,1e-11,1.0)))
train_step＝tf.train.AdamOptimizer(1e-3,name＝'train_step').minimize(loss)。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种用于视觉导航机器人图像处理系统，包括机器人和计算机终端，其特征在于：所述机器人包括卷积神经网络模块、分类模块、存储模块及第一无线通讯模块，所述计算机终端包括无线摄像头模块、图片处理模块、分类模型模块及第二无线通讯模块，所述机器人和计算机终端通过第一无线通讯模块和第二无线通讯模块信号连接。
2.根据权利要求1所述的一种用于视觉导航机器人图像处理系统，其特征在于：所述无线摄像头模块采用多广角CMOS摄像头。
3.根据权利要求1所述的一种用于视觉导航机器人图像处理系统，其特征在于：所述图片处理模块包括图片抓取模块和图片识别模块，所述图片抓取模块用于图片处理模块中抓取图片，所述图片识别模块用于识别图片抓取模块抓取来的图片并将识别结果输出给计算机终端。
4.根据权利要求1所述的一种用于视觉导航机器人图像处理系统，其特征在于：所述分类模块包括特征识别模块，用于识别所提取的图片的特征，将所识别的特征与所设置的图片的基本特征进行比对。
5.一种权利要求1所述的用于视觉导航机器人图像处理方法，其特征在于：包括以下步骤：
S1、使用无线摄像头模块进行拍摄赛道阶段图片并传输给计算机终端，所述计算机终端中的图片处理模块对图片进行压缩、滤波、剪切，裁取图片的最上端并保存；
S2、利用计算机终端通过第二无线通讯模块将处理后的图片传输给机器人，所述机器人中的卷积神经网络模块对图片进行分类判断，得到分类结果，从而指导机器人做出相应的动作完成道路的驾驶并通过存储模块进行保存；
S3、图片处理模块中仅取图片最上层一行的像素点作为训练样本训练一个全连接神经网络，得到分类模型；
S4、机器人视觉导航时实时采集的图片进过处理后也是取最上层一行的像素点递送给网络做判断，机器人由此作出相应的反应；
S5、利用图片处理模块中由人工去除掉一些模糊或者不能分辨方向的图片后，首先将图片进行适当压缩以及裁剪，降低图片的信息量，进过压缩以及裁剪后的图片。
6.根据权利要求2所述的一种用于视觉导航机器人图像处理方法，其特征在于：所述S2中，为了神经网络更容易对各种路况进行比较准确的分类，同时为了尽可能减轻因光线和环境问题而引发的各种问题，将裁剪后的图像经过滤波和二值化处理。
7.根据权利要求2所述的一种用于视觉导航机器人图像处理方法，其特征在于：所述S3中分类模型模块对裁取后的图片进行分类处理，并对照整个赛道的路径进行对比。
8.根据权利要求2所述的一种用于视觉导航机器人图像处理方法，其特征在于：所述S2中图片的处理为缩放处理，采集到的图片像素值为640*480，经过缩放后像素值为320*240。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010207544.0A CN111339999A (zh) | 2020-03-23 | 2020-03-23 | 一种用于视觉导航机器人图像处理系统及处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010207544.0A CN111339999A (zh) | 2020-03-23 | 2020-03-23 | 一种用于视觉导航机器人图像处理系统及处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111339999A true CN111339999A (zh) | 2020-06-26 |
Family
ID=71182551
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010207544.0A Pending CN111339999A (zh) | 2020-03-23 | 2020-03-23 | 一种用于视觉导航机器人图像处理系统及处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111339999A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101537618A (zh) * | 2008-12-19 | 2009-09-23 | 北京理工大学 | 体育场捡球机器人视觉系统 |
| CN203387597U (zh) * | 2013-07-11 | 2014-01-08 | 深圳中科智酷机器人科技有限公司 | 一种光斑导航机器人 |
| CN103984950A (zh) * | 2014-04-22 | 2014-08-13 | 北京联合大学 | 一种适应白天检测的运动车辆刹车灯状态识别方法 |
| CN106940562A (zh) * | 2017-03-09 | 2017-07-11 | 华南理工大学 | 一种移动机器人无线集群系统及神经网络视觉导航方法 |
| US20180329424A1 (en) * | 2017-05-11 | 2018-11-15 | Bot3, Inc. | Portable mobile robot and operation thereof |
| US10452071B1 (en) * | 2016-02-29 | 2019-10-22 | AI Incorporated | Obstacle recognition method for autonomous robots |
| CN110458127A (zh) * | 2019-03-01 | 2019-11-15 | 腾讯医疗健康(深圳)有限公司 | 图像处理方法、装置、设备以及系统 |
| CN110598637A (zh) * | 2019-09-12 | 2019-12-20 | 齐鲁工业大学 | 一种基于视觉及深度学习的无人驾驶系统及方法 |
| CN211956492U (zh) * | 2020-03-23 | 2020-11-17 | 东莞理工学院 | 一种用于视觉导航机器人图像处理系统 |
-
2020
- 2020-03-23 CN CN202010207544.0A patent/CN111339999A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101537618A (zh) * | 2008-12-19 | 2009-09-23 | 北京理工大学 | 体育场捡球机器人视觉系统 |
| CN203387597U (zh) * | 2013-07-11 | 2014-01-08 | 深圳中科智酷机器人科技有限公司 | 一种光斑导航机器人 |
| CN103984950A (zh) * | 2014-04-22 | 2014-08-13 | 北京联合大学 | 一种适应白天检测的运动车辆刹车灯状态识别方法 |
| US10452071B1 (en) * | 2016-02-29 | 2019-10-22 | AI Incorporated | Obstacle recognition method for autonomous robots |
| CN106940562A (zh) * | 2017-03-09 | 2017-07-11 | 华南理工大学 | 一种移动机器人无线集群系统及神经网络视觉导航方法 |
| US20180329424A1 (en) * | 2017-05-11 | 2018-11-15 | Bot3, Inc. | Portable mobile robot and operation thereof |
| CN110458127A (zh) * | 2019-03-01 | 2019-11-15 | 腾讯医疗健康(深圳)有限公司 | 图像处理方法、装置、设备以及系统 |
| CN110598637A (zh) * | 2019-09-12 | 2019-12-20 | 齐鲁工业大学 | 一种基于视觉及深度学习的无人驾驶系统及方法 |
| CN211956492U (zh) * | 2020-03-23 | 2020-11-17 | 东莞理工学院 | 一种用于视觉导航机器人图像处理系统 |
Non-Patent Citations (1)
| Title |
|---|
| 李军锋、李逃昌、彭继慎: "《农业机器人视觉导航路径识别方法研究》", 《计算机工程》, vol. 44, no. 9, 30 September 2018 (2018-09-30), pages 38 - 44 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110688925B (zh) | 基于深度学习的级联目标识别方法及系统 | |
| CN111899227A (zh) | 基于无人机作业的铁路扣件缺陷自动采集辨识方法 | |
| CN101198987B (zh) | 对象检测装置及其学习装置 | |
| CN110796009A (zh) | 基于多尺度卷积神经网络模型的海上船只检测方法及系统 | |
| CN113052029A (zh) | 基于动作识别的异常行为监管方法、装置及存储介质 | |
| CN111340151B (zh) | 一种用于辅助车辆自动驾驶的天气现象识别系统和方法 | |
| CN108830254B (zh) | 一种基于数据均衡策略和密集注意网络的细粒度车型检测与识别方法 | |
| CN108133235B (zh) | 一种基于神经网络多尺度特征图的行人检测方法 | |
| CN112836683B (zh) | 用于便携式摄像设备的车牌识别方法、装置、设备和介质 | |
| CN114721403B (zh) | 基于OpenCV的自动驾驶控制方法、装置及存储介质 | |
| CN211956492U (zh) | 一种用于视觉导航机器人图像处理系统 | |
| CN116092119A (zh) | 基于多维度特征融合的人体行为识别系统及其工作方法 | |
| CN115409992A (zh) | 一种远程驾驶巡逻车系统 | |
| CN113052071B (zh) | 危化品运输车驾驶员分心行为快速检测方法及系统 | |
| CN106339684A (zh) | 一种行人检测的方法、装置及车辆 | |
| Prakash et al. | Automatic feature extraction and traffic management using machine learning and open CV model | |
| CN110334703B (zh) | 一种昼夜图像中的船舶检测和识别方法 | |
| CN111339999A (zh) | 一种用于视觉导航机器人图像处理系统及处理方法 | |
| CN115588217A (zh) | 一种基于深度自注意网络的人脸属性检测方法 | |
| CN114429578A (zh) | 古建筑脊兽装饰件巡检方法 | |
| Steinmann et al. | Fast and lightweight person detector for unmanned aerial vehicles | |
| CN115908886A (zh) | 图像分类方法、图像处理设备及存储装置 | |
| Pagire et al. | Underwater fish detection and classification using deep learning | |
| CN113239931A (zh) | 一种物流站车牌识别的方法 | |
| CN112861667A (zh) | 一种基于多类别目标分割的机器人抓取检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |