CN113012149A - 一种智能清洗机器人路径规划方法及系统 - Google Patents
一种智能清洗机器人路径规划方法及系统 Download PDFInfo
- Publication number
- CN113012149A CN113012149A CN202110400046.2A CN202110400046A CN113012149A CN 113012149 A CN113012149 A CN 113012149A CN 202110400046 A CN202110400046 A CN 202110400046A CN 113012149 A CN113012149 A CN 113012149A
- Authority
- CN
- China
- Prior art keywords
- cleaning
- cleaned
- path
- robot
- force
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004140 cleaning Methods 0.000 title claims abstract description 208
- 238000000034 method Methods 0.000 title claims abstract description 52
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 47
- 238000007667 floating Methods 0.000 claims abstract description 38
- 230000008569 process Effects 0.000 claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 12
- 238000001914 filtration Methods 0.000 claims description 23
- 230000007246 mechanism Effects 0.000 claims description 16
- 238000005406 washing Methods 0.000 claims description 9
- 239000007921 spray Substances 0.000 claims description 8
- 230000001131 transforming effect Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 15
- 238000011176 pooling Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000008447 perception Effects 0.000 description 5
- 238000009434 installation Methods 0.000 description 4
- 238000005507 spraying Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 244000126211 Hericium coralloides Species 0.000 description 1
- 239000004677 Nylon Substances 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000011086 high cleaning Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000002070 nanowire Substances 0.000 description 1
- 229920001778 nylon Polymers 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000011012 sanitization Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002351 wastewater Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/04—Viewing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Automation & Control Theory (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Quality & Reliability (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Fuzzy Systems (AREA)
- Image Analysis (AREA)
- Cleaning In General (AREA)
Abstract
本发明涉及机器人技术领域，公开一种智能清洗机器人路径规划方法及系统。所述智能清洗机器人路径规划方法包括：深度相机采集待清洗物体特征部位和污迹区域的图像数据，并进行图像预处理；采用卷积神经网络对待清洗物体的污迹区域的图像数据进行识别与分割；结合待清洗物体的形状和尺寸的先验信息，对清洗机器人进行清洗路径规划。本发明能够利用图像信息有针对性地对重点部位和污迹区域进行清洗，节约水资源，提高清洗质量，可以更有效地清除污渍，灵活配备高压水枪或力控浮动刷头，实现多种场景下的机器人不同清洗方式，对不同类型的待清洗设备或零部件设计了多种清洗路径，将每种清洗路径单独封装为清洗路径工艺包，提高了系统的可操作性。
Description
技术领域
本发明涉及机器人技术领域，尤其涉及一种智能清洗机器人路径规划方法及系统。
背景技术
目前，在汽车零部件清洗领域、工业产品零部件清洗领域以及高铁动车转向架及其组件清洗领域，主要采用人工手动清洗的方法，清洗环境较为恶劣，而且工作量也大，造成清洗效率低，人力成本高。
若采用自动化的清洗设备，非接触式的高压水枪清洗方式不仅严重浪费水资源，还存在无法清洗干净的局部区域，无法对重点清洗区域进行清洗作业，造成清洗质量不合格。
发明内容
基于以上问题，本发明的目的在于提供一种智能清洗机器人路径规划方法及系统，清洗效率高，清洗质量好，节省人力成本和水资源。
为达上述目的，本发明采用以下技术方案：
一种智能清洗机器人路径规划方法，包括以下步骤：
S1、深度相机采集待清洗物体特征部位和污迹区域的图像数据，并进行图像预处理，图像预处理包括通过中值滤波和高斯滤波对图像数据进行降噪处理，图像预处理还包括采用直方图均衡化消除图像数据的亮度差异；
S2、采用卷积神经网络对待清洗物体的污迹区域的图像数据进行识别与分割；
S3、结合待清洗物体的形状和尺寸的先验信息，对清洗机器人进行清洗路径规划。
作为本发明的智能清洗机器人路径规划方法的优选方案，生成多个目标候选区域，采用卷积神经网络提取图像中目标候选区域的卷积特征，对目标图像数据进行分类，对调整后的样本候选框采用非极大值抑制，得到样本目标候选框。
作为本发明的智能清洗机器人路径规划方法的优选方案，清洗机器人通过拖拽示教或程序指令示教的方式，记录对不同类型待清洗物体的清洗路径，将每种清洗路径单独封装为清洗路径工艺包智能清洗机器人路径规划方法，清洗路径工艺包包括直线型清洗路径、Z字型清洗路径、同心圆清洗路径和螺旋型清洗路径，清洗路径规划采用其中的一种或多种组合。
一种智能清洗机器人系统，采用如上所述的智能清洗机器人路径规划方法，包括：
深度相机，设置于待清洗物体的上方，用于采集所述待清洗物体的污迹信息；
机械臂，具有多个自由度；
清洗模块，设置于所述机械臂的末端，用于清洗所述待清洗物体；
控制模块，用于根据所述深度相机采集的污迹信息，控制所述机械臂按清洗路径运动，以使所述清洗模块对所述待清洗物体进行清洗作业；
变位机平台，用于保持、一次变换或多次变换所述待清洗物体至预设清洗姿态。
作为本发明的智能清洗机器人系统的优选方案，所述清洗模块为高压水枪与所述机械臂连接，根据不同种类的所述待清洗物体的清洗路径相应设定所述高压水枪的喷水压力和流量，清洗路径上的不同路径段选择不同的喷水压力和流量。
作为本发明的智能清洗机器人系统的优选方案，所述清洗模块为力控浮动刷头，所述力控浮动刷头包括6维力/力矩传感器、力控制器、浮动机构和刷头，所述刷头通过所述浮动机构和6维力/力矩传感器与所述机械臂连接，根据6维力/力矩传感器获得的数据，力控制器控制浮动机构，保持刷头与零部件物体表面的接触力恒定，进行零部件表面的接触式轻柔清洗。
作为本发明的智能清洗机器人系统的优选方案，所述机械臂根据零部件物体的实际形态选择立式安装、倒挂式安装或是壁式安装，使机械臂末端的高压水枪或者力控浮动刷头与零部件物体表面有最大的清洗覆盖面积。
作为本发明的智能清洗机器人系统的优选方案，所述机械臂的基座固定在滑动导轨上，进行上下或左右移动，扩大机械臂的清洗范围。
本发明的有益效果为：
本发明提供的智能清洗机器人路径规划方法及系统，首先，深度相机采集待清洗物体特征部位和污迹区域的图像数据，并进行图像预处理；其次，采用卷积神经网络对待清洗物体的污迹区域的图像数据进行识别与分割；然后，结合待清洗物体的形状和尺寸的先验信息，对清洗机器人进行清洗路径规划。本发明提供的智能清洗机器人路径规划方法及系统，一方面使得人工无需工作于恶劣的清洗环境，另一方面解决了水资源大量浪费的问题，提高了清洗效率和智能化程度；采用基于3D视觉引导的清洗机器人，能够利用图像信息，有针对性地对重点部位和污迹区域进行清洗，不仅节约水资源，提高清洗质量，而且可以更有效地清除污渍；本发明可以根据不同的清洗工艺要求，灵活配备高压水枪或力控浮动刷头，高压水枪实现非接触式清洗，力控浮动刷头实现接触式清洗，实现多种场景下的机器人不同清洗方式，能够灵活改变高压水枪喷射方向，对不同类型的待清洗设备或零部件设计了多种清洗路径，并且通过拖拽示教或程序指令示教的方式，记录机械臂针对不同零部件物体的清洗路径，将每种清洗路径单独封装为清洗路径工艺包，提高了系统的可操作性；本发明基于力反馈的方式对清洗力的大小进行控制，保证刷头与被清洗物体表面的触清洗压力维持恒定，既可以达到高质量的清洗效果，又能够避免对被清洗物体表面造成的损坏；本发明根据待清洗设备或零部件的大小和结构，选择合理的机械臂安装方式，配合滑动导轨，机械臂能够在大范围空间内进行运动，扩大清洗范围，更适用于大型物体的清洗；另一方面，变位机使被清洗物体可以保持或变换到最佳的清洗姿态，并在清洗过程中，不断调整被清洗物体姿态，扩大被清洗物体的清洗范围，提高清洗效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据本发明实施例的内容和这些附图获得其他的附图。
图1是本发明具体实施方式提供的智能清洗机器人路径规划方法的流程示意图；
图2是本发明实施例提供的配备高压水枪的智能清洗机器人系统组成示意图；
图3是本发明实施例提供的配备力控浮动刷头的智能清洗机器人系统组成示意图。
具体实施方式
为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面将结合附图对本发明实施例的技术方案作进一步的详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、仅用于描述目的，而不能理解为指示或暗示相对重要性。其中，术语“第一位置”和“第二位置”为两个不同的位置。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
如图1所示，本实施例提供一种智能清洗机器人路径规划方法，用于解决针对汽车零部件、工业产品零部件、高铁动车转向架及其组件清洗环境恶劣、工作量大、效率低、清洗质量和智能化程度不高的问题，包括以下步骤：
S1、深度相机采集待清洗物体特征部位和污迹区域的图像数据，并进行图像预处理；
S2、采用卷积神经网络对待清洗物体的污迹区域的图像数据进行识别与分割；
S3、结合待清洗物体的形状和尺寸的先验信息，对清洗机器人进行清洗路径规划。
利用3D视觉对待清洗物体表面的污迹以及重点清洗区域进行识别和定位，3D视觉相比单目视觉，可以获取物体3D图像，有更强的感知能力，可以对待清洗物体表面的污迹以及重点清洗区域进行精确的识别和定位，然后结合视觉识别的被清洗物体，根据其形状和尺寸的先验信息，选择对应的清洗路径进行清洗，从而实现精准、高质量的清洗作业。
对深度相机所获得的待识别零部件图像进行预处理，并使用深度卷积神经网络得到特征图，并得到目标样本候选框，经过感兴趣区域池化层和训练好的全连接分类网络，进行目标识别，得到待识别目标图像的零件类型。
污迹区域识别流程：首先利用深度相机采集3D视觉图像，采用中值滤波和高斯滤波对图像进行降噪，然后使用直方图均衡化消除亮度差异，得到预处理之后的图像；为了提高目标识别与分割的精度，采用基于卷积神经网络的方法进行目标识别与分割。
对深度相机所获得的污迹区域图像进行预处理，并使用深度卷积神经网络得到特征图，并得到目标样本候选框，经过感兴趣区域池化层和训练好的全连接分类网络，进行目标检测，得到零部件物体的污迹区域位置信息。
对目标图像进行中值滤波，中值滤波法是一种非线性平滑技术，它将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值。中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术，中值滤波的基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近的真实值，从而消除孤立的噪声点。
具体方法是用某种结构的二维滑动模板，将板内像素按照像素值的大小进行排序，生成单调上升(或下降)的为二维数据序列。二维中值滤波输出为g(x,y)＝med{f(x-k,y-l),(k,l∈W)}，其中，f(x，y)，g(x，y)分别为原始图像和处理后图像。W为二维模板，通常为3*3，5*5区域，也可以是不同的形状，如线状、圆形、十字形、圆环形等。中值滤波对脉冲噪声有良好的滤除作用，特别是在滤除噪声的同时，能够保护信号的边缘，使之不被模糊。中值滤波法对消除椒盐噪声非常有效。
高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程。通俗的讲，高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。高斯滤波的具体操作是：用一个模板(或称卷积、掩模)扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。图像大多数噪声均属于高斯噪声，因此高斯滤波器应用也较广泛。高斯滤波是一种线性平滑滤波，适用于消除高斯噪声。高斯滤波的具体操作是：用一个用户指定的模板(或称卷积、掩膜)去扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。
一维高斯分布：
二维高斯分布：
直方图均衡化又称直方图平坦化，实质上是对图像进行非线性拉伸，重新分配图像像素值，使一定灰度范围内像素值的数量大致相等。这样，原来直方图中间的峰顶部分对比度得到增强，而两侧的谷底部分对比度降低，输出图像的直方图是一个较平的分段直方图：如果输出数据分段值较小的话，会产生粗略分类的视觉效果。直方图是表示数字图像中每一灰度出现频率的统计关系。直方图能给出图像灰度范围、每个灰度的频度和灰度的分布、整幅图像的平均明暗和对比度等概貌性描述。
由于基于卷积神经网络的训练依赖于高质量的图像，而由于清洗场景环境复杂多变，相机直接获得的图像质量差，因此需要进行图像预处理，之后再输入到神经网络进行训练，以此得到较好的识别效果。图像预处理包括：采用中值滤波和高斯滤波对图像进行降噪，然后使用直方图均衡化消除亮度差异，即可得到预处理之后的图像。
基于卷积神经网络的方法对目标进行识别的过程主要包括：首先生成一系列的目标候选区域，接着使用卷积神经网络提取目标图像中的卷积特征，最后对目标图像数据进行分类，对调整后的样本候选框使用非极大值抑制，去除掉重合程度过大的样本候选框，得到样本目标候选框。
卷积神经网络具有局部感知、共享权值和多核卷积等特性，卷积神经网络基本结构由输入层、隐藏层、全连接层和目标函数几部分构成，其中隐藏层包括有若干个卷积层、激活函数层和池化层。
在计算机视觉方面，输入层是为网络提供原始图像数据的。隐藏层中的卷积层是通过对提供的原始图像数据进行卷积操作，提取图像中的特征信息。其中，卷积核矩阵中元素的权值是在网络训练后再确定的。
隐藏层中的激活函数层是将卷积操作后的结果作为输入，目的是引入非线性因素，使网络表示能力更强，常见的激活函数有sigmoid函数、Tanh函数和Relu函数。池化层也被称为下采样层，用来降低特征图的维度，减少网络计算参数的数量，同时使网络提取到更为重要的特征。在池化层中，常使用的池化操作方法有最大池化和平均池化。
全连接层是将隐藏层所提取到了局部特征信息进行融合，并将最后的结果输给分类器。目标函数也为损失函数，用来计算网络输出的预测值与所提供的真实值之间的误差。在回归任务和分类任务中，最常用的目标函数分别为二次损失函数和交叉熵损失函数。其中，式(1)表示二次损失函数，式(2)表示交叉熵损失函数。
其中，W表示网络的权重向量，b为网络的偏置向量，M表示输入样本数据的数量，x表示输入样本数据，y为样本数据的真实值，L为网络最大层数，aL表示网络的预测值。
其中，
表征网络输出的预测值，y(i)表示第i组对应的样本类别标签0或者1。
首先卷积神经网络层对原图进行卷积特征提取，然后将特征图输入到RPN网络进行候选框提取，最后对候选框进行分类与边框回归，从而实现目标检测。
清洗机器人通过拖拽示教或程序指令示教的方式，记录对不同类型待清洗物体的清洗路径，将每种清洗路径单独封装为清洗路径工艺包。
清洗路径工艺包包括直线型清洗路径、Z字型清洗路径、同心圆清洗路径和螺旋型清洗路径，清洗路径规划可以采用其中的一种路径或多种路径组合，通过多类型的清洗路径可以保证不同种类的零部件都可以达到高质量的清洗效果。
本实施例提供的智能清洗机器人路径规划方法，一方面使得人工无需工作于恶劣的清洗环境，另一方面解决了水资源大量浪费的问题，提高了清洗效率和智能化程度，采用基于3D视觉引导的清洗机器人，能够利用图像信息，有针对性地对重点部位和污迹区域进行清洗，不仅节约水资源，提高清洗质量，而且可以更有效地清除污渍，可以根据不同的清洗工艺要求，灵活配备高压水枪或力控浮动刷头，高压水枪实现非接触式清洗，力控浮动刷头实现接触式清洗，实现多种场景下的机器人不同清洗方式，能够灵活改变高压水枪喷射方向，对不同类型的待清洗设备或零部件设计了多种清洗路径，并且通过拖拽示教或程序指令示教的方式，记录机械臂针对不同零部件物体的清洗路径，将每种清洗路径单独封装为清洗路径工艺包，提高了系统的可操作性。
如图2所示，配备高压水枪的智能清洗机器人系统组成示意图，高压水枪的喷水压力和流量与不同种类物体的清洗路径进行匹配，清洗路径上的不同路径段选择不同的喷水压力和流量，进行物体表面清洗。
如图3所示，配备力控浮动刷头的智能清洗机器人系统组成示意图，根据6维力/力矩传感器获得的数据，力控制器控制浮动机构，保持刷头与零部件物体表面的接触力恒定，进行零部件表面的接触式轻柔清洗。
本实施例还提供一种智能清洗机器人系统，用于解决针对汽车零部件、工业产品零部件、高铁动车转向架及其组件清洗环境恶劣、工作量大、效率低、清洗质量和智能化程度不高的问题，采用上述的智能清洗机器人路径规划方法，该智能清洗机器人系统包括深度相机、机械臂、清洗模块和控制模块。其中，深度相机设置于待清洗物体的上方，用于采集待清洗物体的污迹信息；机械臂具有多个自由度；清洗模块设置于机械臂的末端，用于清洗待清洗物体；控制模块用于根据深度相机采集的污迹信息，控制机械臂按清洗路径运动，以使清洗模块对待清洗物体进行清洗作业。
该智能清洗机器人系统还包括变位机平台，变位机平台用于保持、一次变换或多次变换待清洗物体至预设清洗姿态。由于被清洗物体形状和大小千差万别，当被清洗物体形状规整，体积较小时，采用有托盘的变位机；当被清洗物体形状不规整，体积较大时，采用无托盘的变位机。通过变位机，可以方便地变换被清洗物体的清洗姿态，提高清洗效率。
清洗模块为与所述机械臂连接的高压水枪，根据不同种类的待清洗物体的清洗路径相应设定高压水枪的喷水压力和流量，清洗路径上的不同路径段选择不同的喷水压力和流量。
清洗模块为力控浮动刷头，力控浮动刷头包括6维力/力矩传感器、力控制器、浮动机构和刷头，刷头通过浮动机构和6维力/力矩传感器与机械臂连接，根据6维力/力矩传感器获得的数据，力控制器控制浮动机构，保持刷头与零部件物体表面的接触力恒定，进行零部件表面的接触式轻柔清洗。该智能清洗机器人系统还包括传感器单元，传感器单元包括力传感器、位移传感器和倾角传感器，力传感器用于实时感知刷头的清洗力度，位移传感器用于实时感知浮动机构的位置伸缩，倾角传感器用于实时感知刷头的姿态。力控浮动刷头还包括控制器和伺服控制单元，控制器通过伺服控制单元实时调整浮动机构在Z方向上的行程，以使刷头与被清洗物体之间维持恒定的接触清洗压力，避免清洗过程中对被清洗物体表面涂层的损坏，实现接触式柔性清洗，获得一致的清洗效果。控制器集成了恒力控制和浮动机构行程调整功能，采用了力闭环的控制方法，根据力传感器获取刷头与被清洗物体表面接触力的大小。
力控浮动刷头还包括气动马达和气动阀控制单元，气动马达的一端与浮动机构连接，另一端与刷头连接，控制器通过气动阀控制单元控制气动马达，以使刷头在被清洗物体的表面以预设速度旋转，进行接触式清洗。采用双清洗力阈值，当刷头清洗力度大于阈值上限时，可自动调整浮动机构Z方向上行程，使刷头清洗力逐渐减小，当刷头清洗力度小于阈值下限时，可自动调整浮动机构Z方向上行程，使刷头清洗力逐渐增大。力控浮动刷头还包括水管和水管控制单元，水管与刷头连通，在刷头清洗时，控制器通过水管控制单元按照设定水流速度进行水管的喷水控制。可以根据不同被清洗物体表面形状，刷头的形状为圆型、方型或梳齿型，根据不同被清洗物体表面材料，刷头的材料为纳米丝、尼龙、硬毛、软毛或海绵以使刷头能够最大面积的接触零部件物体表面，提高清洗节拍和清洗效率。
机械臂末端根据不同的清洗工艺要求，灵活配备高压水枪或力控浮动刷头，高压水枪实现非接触式清洗，力控浮动刷头实现接触式清洗。机械臂的安装方式根据零部件物体的实际形态选择立式安装、倒挂式安装或是壁式安装，使机械臂末端的高压水枪或者力控浮动刷头与零部件物体表面有最大的清洗覆盖面积。机械臂的基座固定在滑动导轨上，进行上下或左右移动，扩大机械臂的清洗范围。
本实施例提供的智能清洗机器人系统，一方面使得人工无需工作于恶劣的清洗环境，另一方面解决了水资源大量浪费的问题，提高了清洗效率和智能化程度，采用基于3D视觉引导的清洗机器人，能够利用图像信息，有针对性地对重点部位和污迹区域进行清洗，不仅节约水资源，提高清洗质量，而且可以更有效地清除污渍，可以根据不同的清洗工艺要求，灵活配备高压水枪或力控浮动刷头，高压水枪实现非接触式清洗，力控浮动刷头实现接触式清洗，实现多种场景下的机器人不同清洗方式，能够灵活改变高压水枪喷射方向，对不同类型的待清洗设备或零部件设计了多种清洗路径，并且通过拖拽示教或程序指令示教的方式，记录机械臂针对不同零部件物体的清洗路径，将每种清洗路径单独封装为清洗路径工艺包，提高了系统的可操作性。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (8)
1.一种智能清洗机器人路径规划方法，其特征在于，包括以下步骤：
S1、深度相机采集待清洗物体特征部位和污迹区域的图像数据，并进行图像预处理，图像预处理包括通过中值滤波和高斯滤波对图像数据进行降噪处理，图像预处理还包括采用直方图均衡化消除图像数据的亮度差异；
S2、采用卷积神经网络对待清洗物体的污迹区域的图像数据进行识别与分割；
S3、结合待清洗物体的形状和尺寸的先验信息，对清洗机器人进行清洗路径规划。
2.根据权利要求1所述的智能清洗机器人路径规划方法，其特征在于，生成多个目标候选区域，采用卷积神经网络提取图像中目标候选区域的卷积特征，对目标图像数据进行分类，对调整后的样本候选框采用非极大值抑制，得到样本目标候选框。
3.根据权利要求1所述的智能清洗机器人路径规划方法，其特征在于，清洗机器人通过拖拽示教或程序指令示教的方式，记录对不同类型待清洗物体的清洗路径，将每种清洗路径单独封装为清洗路径工艺包智能清洗机器人路径规划方法，清洗路径工艺包包括直线型清洗路径、Z字型清洗路径、同心圆清洗路径和螺旋型清洗路径，清洗路径规划采用其中的一种或多种组合。
4.一种智能清洗机器人系统，其特征在于，采用如权利要求1-3任一项所述的智能清洗机器人路径规划方法，包括：
深度相机，设置于待清洗物体的上方，用于采集所述待清洗物体的污迹信息；
机械臂，具有多个自由度；
清洗模块，设置于所述机械臂的末端，用于清洗所述待清洗物体；
控制模块，用于根据所述深度相机采集的污迹信息，控制所述机械臂按清洗路径运动，以使所述清洗模块对所述待清洗物体进行清洗作业；
变位机平台，用于保持、一次变换或多次变换所述待清洗物体至预设清洗姿态。
5.根据权利要求4所述的智能清洗机器人系统，其特征在于，所述清洗模块为与所述机械臂连接的高压水枪，根据不同种类的所述待清洗物体的清洗路径相应设定所述高压水枪的喷水压力和流量，清洗路径上的不同路径段选择不同的喷水压力和流量。
6.根据权利要求4所述的智能清洗机器人系统，其特征在于，所述清洗模块为力控浮动刷头，所述力控浮动刷头包括6维力/力矩传感器、力控制器、浮动机构和刷头，所述刷头通过所述浮动机构和6维力/力矩传感器与所述机械臂连接，根据6维力/力矩传感器获得的数据，力控制器控制浮动机构，保持刷头与零部件物体表面的接触力恒定，进行零部件表面的接触式轻柔清洗。
7.根据权利要求4所述的智能清洗机器人系统，其特征在于，所述机械臂根据零部件物体的实际形态选择立式安装、倒挂式安装或是壁式安装，使机械臂末端的高压水枪或者力控浮动刷头与零部件物体表面有最大的清洗覆盖面积。
8.根据权利要求4所述的智能清洗机器人系统，其特征在于，所述机械臂的基座固定在滑动导轨上，以进行上下或左右移动。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110400046.2A CN113012149B (zh) | 2021-04-14 | 2021-04-14 | 一种智能清洗机器人路径规划方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110400046.2A CN113012149B (zh) | 2021-04-14 | 2021-04-14 | 一种智能清洗机器人路径规划方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113012149A true CN113012149A (zh) | 2021-06-22 |
| CN113012149B CN113012149B (zh) | 2024-03-15 |
Family
ID=76388920
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110400046.2A Active CN113012149B (zh) | 2021-04-14 | 2021-04-14 | 一种智能清洗机器人路径规划方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113012149B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113633202A (zh) * | 2021-08-23 | 2021-11-12 | 珠海格力电器股份有限公司 | 淋浴间清洁方法、智能花洒、存储介质及电子设备 |
| CN113796787A (zh) * | 2021-09-26 | 2021-12-17 | 复旦大学 | 一种擦拭清洁机器人及其控制方法 |
| CN116571489A (zh) * | 2023-05-25 | 2023-08-11 | 北京金轮坤天特种机械有限公司 | 热障涂层表面环境沉积物高压水射流清洗方法 |
| CN117381803A (zh) * | 2023-12-13 | 2024-01-12 | 深圳市辉熙智能科技有限公司 | 清洗机器人的自动清洗方法及清洗机器人 |
| CN117464694A (zh) * | 2023-12-28 | 2024-01-30 | 汉狮光动科技(广东)有限公司 | 中空玻璃自动清洗装置路径规划方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107931251A (zh) * | 2016-10-12 | 2018-04-20 | 中国科学院沈阳自动化研究所 | 一种大型腔体内壁污物自动化在线激光清洗装置及其方法 |
| CN107931865A (zh) * | 2016-10-12 | 2018-04-20 | 中国科学院沈阳自动化研究所 | 大型腔体内壁污物自动化在线激光清洗装置和方法 |
| US20190035096A1 (en) * | 2017-07-25 | 2019-01-31 | Shenzhen University | Method and apparatus of scene reconstruction |
| CN109571480A (zh) * | 2018-12-28 | 2019-04-05 | 芜湖哈特机器人产业技术研究院有限公司 | 一种汽车清洗机器人轨迹规划系统和方法 |
| CN110216690A (zh) * | 2019-05-31 | 2019-09-10 | 广州大学 | 一种洗车机器人 |
| CN110825088A (zh) * | 2019-11-29 | 2020-02-21 | 燕山大学 | 一种多目视觉导引船体清洁机器人系统及清洁方法 |
| CN111275112A (zh) * | 2020-01-20 | 2020-06-12 | 上海高仙自动化科技发展有限公司 | 机器人控制方法、机器人和可读存储介质 |
| CN111451206A (zh) * | 2020-05-18 | 2020-07-28 | 北京铁道工程机电技术研究所股份有限公司 | 一种动车转向架构架清洗设备 |
| CN111568314A (zh) * | 2020-05-26 | 2020-08-25 | 深圳市杉川机器人有限公司 | 基于场景识别的清洁方法、装置、清洁机器人和存储介质 |
| CN111657779A (zh) * | 2020-06-30 | 2020-09-15 | 元准智能科技(苏州)有限公司 | 一种基于机器视觉的智能擦窗机器人及其清洁方法 |
-
2021
- 2021-04-14 CN CN202110400046.2A patent/CN113012149B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107931251A (zh) * | 2016-10-12 | 2018-04-20 | 中国科学院沈阳自动化研究所 | 一种大型腔体内壁污物自动化在线激光清洗装置及其方法 |
| CN107931865A (zh) * | 2016-10-12 | 2018-04-20 | 中国科学院沈阳自动化研究所 | 大型腔体内壁污物自动化在线激光清洗装置和方法 |
| US20190035096A1 (en) * | 2017-07-25 | 2019-01-31 | Shenzhen University | Method and apparatus of scene reconstruction |
| CN109571480A (zh) * | 2018-12-28 | 2019-04-05 | 芜湖哈特机器人产业技术研究院有限公司 | 一种汽车清洗机器人轨迹规划系统和方法 |
| CN110216690A (zh) * | 2019-05-31 | 2019-09-10 | 广州大学 | 一种洗车机器人 |
| CN110825088A (zh) * | 2019-11-29 | 2020-02-21 | 燕山大学 | 一种多目视觉导引船体清洁机器人系统及清洁方法 |
| CN111275112A (zh) * | 2020-01-20 | 2020-06-12 | 上海高仙自动化科技发展有限公司 | 机器人控制方法、机器人和可读存储介质 |
| CN111451206A (zh) * | 2020-05-18 | 2020-07-28 | 北京铁道工程机电技术研究所股份有限公司 | 一种动车转向架构架清洗设备 |
| CN111568314A (zh) * | 2020-05-26 | 2020-08-25 | 深圳市杉川机器人有限公司 | 基于场景识别的清洁方法、装置、清洁机器人和存储介质 |
| CN111657779A (zh) * | 2020-06-30 | 2020-09-15 | 元准智能科技(苏州)有限公司 | 一种基于机器视觉的智能擦窗机器人及其清洁方法 |
Non-Patent Citations (1)
| Title |
|---|
| 刘振宇;李中生;冯柏润;郭名坤;赵雪;: "机器视觉在工业生产线上的应用实现", 微型机与应用, no. 17, 10 September 2013 (2013-09-10), pages 31 - 34 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113633202A (zh) * | 2021-08-23 | 2021-11-12 | 珠海格力电器股份有限公司 | 淋浴间清洁方法、智能花洒、存储介质及电子设备 |
| CN113796787A (zh) * | 2021-09-26 | 2021-12-17 | 复旦大学 | 一种擦拭清洁机器人及其控制方法 |
| CN116571489A (zh) * | 2023-05-25 | 2023-08-11 | 北京金轮坤天特种机械有限公司 | 热障涂层表面环境沉积物高压水射流清洗方法 |
| CN117381803A (zh) * | 2023-12-13 | 2024-01-12 | 深圳市辉熙智能科技有限公司 | 清洗机器人的自动清洗方法及清洗机器人 |
| CN117381803B (zh) * | 2023-12-13 | 2024-02-13 | 深圳市辉熙智能科技有限公司 | 清洗机器人的自动清洗方法及清洗机器人 |
| CN117464694A (zh) * | 2023-12-28 | 2024-01-30 | 汉狮光动科技(广东)有限公司 | 中空玻璃自动清洗装置路径规划方法 |
| CN117464694B (zh) * | 2023-12-28 | 2024-03-05 | 汉狮光动科技(广东)有限公司 | 中空玻璃自动清洗装置路径规划方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113012149B (zh) | 2024-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113012149B (zh) | 一种智能清洗机器人路径规划方法及系统 | |
| CN109800824B (zh) | 一种基于计算机视觉与机器学习的管道缺陷识别方法 | |
| CN110315525A (zh) | 一种基于视觉引导的机器人工件抓取方法 | |
| CN110866903B (zh) | 基于霍夫圆变换技术的乒乓球识别方法 | |
| CN110400285B (zh) | 引线键合焊点缺陷定位与分类方法 | |
| CN112712512A (zh) | 一种基于人工智能的热轧带钢结疤缺陷检测方法及系统 | |
| CN107909081B (zh) | 一种深度学习中图像数据集的快速获取和快速标定方法 | |
| CN106919902B (zh) | 一种基于cnn的车辆识别和轨迹追踪方法 | |
| CN110321937B (zh) | 一种Faster-RCNN结合卡尔曼滤波的运动人体跟踪方法 | |
| CN105205821A (zh) | 一种焊接图像分割方法 | |
| CN113449606B (zh) | 一种目标对象识别方法、装置、计算机设备及存储介质 | |
| CN110910339B (zh) | Logo缺陷检测方法及装置 | |
| CN109377450A (zh) | 一种边缘保护的去噪方法 | |
| CN113706566B (zh) | 一种基于边缘检测的加香喷雾性能检测方法 | |
| CN113393426A (zh) | 一种轧钢板表面缺陷检测方法 | |
| CN117094999A (zh) | 一种跨尺度缺陷检测方法 | |
| CN214724232U (zh) | 一种3d视觉引导的智能清洗机器人系统 | |
| CN111553217A (zh) | 一种驾驶员打电话监测方法与系统 | |
| CN111914749A (zh) | 基于神经网络的车道线识别方法及其系统 | |
| CN115661110B (zh) | 一种透明工件识别与定位的方法 | |
| CN110047041A (zh) | 一种空—频域联合的交通监控视频去雨方法 | |
| CN112991326B (zh) | 一种清洗质量评价方法 | |
| AU2021368390B2 (en) | Multi-target recognition system and method for follow-up robot based on coded thermal infrared mark | |
| CN112967267B (zh) | 一种全卷积神经网络的激光定向能量沉积溅射计数方法 | |
| CN114862786A (zh) | 基于Retinex图像增强和Ostu阈值分割的隔离带检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |