CN112634362A - 一种基于线激光辅助的室内墙面抹灰机器人视觉精确定位方法 - Google Patents
一种基于线激光辅助的室内墙面抹灰机器人视觉精确定位方法 Download PDFInfo
- Publication number
- CN112634362A CN112634362A CN202011447337.9A CN202011447337A CN112634362A CN 112634362 A CN112634362 A CN 112634362A CN 202011447337 A CN202011447337 A CN 202011447337A CN 112634362 A CN112634362 A CN 112634362A
- Authority
- CN
- China
- Prior art keywords
- line
- wall surface
- plastering
- laser
- wall
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000000007 visual effect Effects 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 20
- 238000001914 filtration Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 7
- 238000003708 edge detection Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000008713 feedback mechanism Effects 0.000 claims description 3
- 235000002566 Capsicum Nutrition 0.000 claims description 2
- 239000006002 Pepper Substances 0.000 claims description 2
- 235000016761 Piper aduncum Nutrition 0.000 claims description 2
- 235000017804 Piper guineense Nutrition 0.000 claims description 2
- 244000203593 Piper nigrum Species 0.000 claims description 2
- 235000008184 Piper nigrum Nutrition 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000000877 morphologic effect Effects 0.000 claims description 2
- 150000003839 salts Chemical class 0.000 claims description 2
- 230000002040 relaxant effect Effects 0.000 claims 1
- 238000005070 sampling Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 10
- 230000007547 defect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 239000004570 mortar (masonry) Substances 0.000 description 5
- 230000004913 activation Effects 0.000 description 2
- 238000009435 building construction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000008187 granular material Substances 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000011083 cement mortar Substances 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000011431 lime mortar Substances 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002002 slurry Substances 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- E—FIXED CONSTRUCTIONS
- E04—BUILDING
- E04F—FINISHING WORK ON BUILDINGS, e.g. STAIRS, FLOORS
- E04F21/00—Implements for finishing work on buildings
- E04F21/02—Implements for finishing work on buildings for applying plasticised masses to surfaces, e.g. plastering walls
- E04F21/06—Implements for applying plaster, insulating material, or the like
- E04F21/08—Mechanical implements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Architecture (AREA)
- Civil Engineering (AREA)
- Structural Engineering (AREA)
- Optics & Photonics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
Abstract
本发明提供一种基于线激光辅助的室内墙面抹灰机器人视觉精确定位方法,针对现有两种SLAM方法的不足即耗时长、精度低等问题,并提供一种基于视觉的抹灰机室内定位方法,该方法把外部的线激光信息作为定位时的参考,经过一系列图像处理后获得需要向底部小车发送的移动指令,并将其移到先前校准的位置上。解决了现有定位技术中的成本高,效率慢和精度低的问题。
Description
技术领域
本发明涉及机器人视觉定位技术,具体涉及一种使用线激光辅助,基于视觉的室内墙面抹灰机器人的高精度定位技术。
背景技术
随着大数据、云计算、人工智能等领域的快速发展,机器人技术迅速革新,机器人定位导航技术也愈发成熟。常用的机器人定位与导航技术基本上是SLAM(同步定位与地图构建)方法,一般分为基于激光雷达的SLAM技术或基于计算机视觉的VSLAM技术。这两种技术已实现在扫地机器人、商场导购机器人和送餐机器人等诸多功能性机器人身上。
机器人以尽可能取代重复人工工作的目标进入到了建筑领域。对于刚修建完成的房屋,往往需要人工对墙面进行抹灰操作。抹灰是指在墙面上抹水泥砂浆、混合砂浆、白灰砂浆,以使得整个房间的墙面平坦工整,为后期的精装修提供便利。人工抹灰效率低,而且培养一名熟练工人的成本较高,故对于墙面抹灰机器人(以下简称抹灰机)的研究十分重要。在抹灰机定位问题上,两种SLAM方法主要的问题是它们在时间和精度上都不能满足墙面抹灰机器人实际工作中的需求。SLAM的基本技术方法为:先使机器人在室内旋转扫描一圈或多圈,采集图像后进行特征点匹配,从而估计自己的运动轨迹,并选取关键帧,最终实现闭环检测和地图生成,依据地图实现自己的定位。也就是“先制图,后定位”的策略,这同时也在一方面说明了时间大部分耗费在了地图的生成上,精度也会损耗在每一次的关键帧选择步骤,并且最终的算法误差将体现在闭环检测阶段。
墙面抹灰是精度要求比较高的一项工程,抹灰墙面的平整度误差要求在±0.5mm,因此我们需要根据实际工程的要求提出一种新的成本低廉、效率高、精度好的室内定位方法。
发明内容
本发明所要解决的技术问题是,针对以上两种SLAM方法的不足即耗时长、精度低等问题,提供一种基于视觉的抹灰机室内定位方法。
本发明为解决上述技术问题所采用的技术方案是,一种基于线激光辅助的室内墙面抹灰机器人视觉精确定位方法,包括以下步骤:
S1 出厂校准步骤:
1-1 搭建一个包含线激光发射器和室内墙面抹灰机器人环境;打出代表主墙面的垂直投影线的线激光,再垂直于主墙面打出代表左、右墙面垂直投影线的线激光;所述室内墙面抹灰机器人包括机身、机械杆、抹头、移动小车、两个RGB高清摄像头和接光板;机身放置在移动小车上;抹头通过机械杆与机身相连;接光板设置在机身后背底部,与机身一体且与地面平行;两个RGB高清摄像头分别设置在机身背部左右两侧接光板之上,用于拍摄接光板上的图像;
1-2 将室内抹灰机器人放置在与其抹头平行且紧贴于代表主墙面的垂直投影线的线激光的位置上;在接光板之上两个摄像头的视野内打出平行于主墙面的一条线激光作为全面墙线,记录两条平行的线激光之间的距离L以及全面墙线在摄像头视野中的位置作为左、右侧摄像头得到校准值Y1和Y2;再分别将室内抹灰机器人放置平行于代表主墙面的垂直投影线的线激光且靠近左墙面或右墙面垂直投影线的线激光的位置,再在接光板之上左侧或右侧摄像头的视野内打出平行于左墙面或右墙面一条线激光作为左阴角线或右阴角线,分别记录左墙面与左阴角线两条平行的线激光之间的距离Ll、右墙面与右阴角线两条平行的线激光之间的距离Lr以及左、右阴角线在左、右侧摄像头视野中与上下边界的交点位置作为校准值X1和X2;
S2 施工步骤:
2-1 在平行且距离当前作业墙面L+M处打上与该墙面平行的线激光作为全面墙线;若当前作业墙面左侧竖直方向有墙体且两面墙形成阴角,则在平行且距离左墙面Ll处打上左阴角线;若当前作业墙面右侧竖直方向有墙体且两面墙形成阴角,则在平行且距离右墙面Lr处打上右阴角线;M为抹灰层的厚度;
2-2 先移动小车进行粗定位,使得横向线激光出现在两个摄像头的视野中,或还有竖向线激光出现在左侧或右侧摄像头视野内;
2-3 对两个摄像头得到的图像进行图像处理;
2-4 通过图像处理后的两个摄像头得到的图像中的横向线激光分别在视野左右两侧的交点坐标Y1′和Y′2,对于还有竖向线激光出现在左侧或右侧摄像头视野内的情况,再得到左侧或者右侧摄像头拍摄的图像中竖向线激光分别在视野上、下边的交点坐标X′1、X′2;
2-5 计算移动小车当前需要在Y方向上移动的距离Yd以及抹灰机的旋转角度θ以完成精定位;当还得到交点X′1、X′2时,则还需要计算X方向上移动的距离Xd:
2-6 室内墙面抹灰机器人完成当前精定位并完成一次抹灰后且未完成当前整个墙面的抹灰,则按照设定横向移动设定距离并返回步骤2-2进行以一次的精定位与抹灰操作。
本发明把外部的线激光信息作为定位时的参考,经过一系列图像处理后获得需要向底部小车发送的移动指令,并将其移到先前校准的位置上。解决了现有定位技术中的成本高,效率慢和精度低的问题。
本发明的有益效果是:
1、本发明使用的不是传统的SLAM框架(也即前端扫描匹配、后端优化、闭环检测、地图构建),而是使用激光线作为一种先验知识辅助定位,提高了精度且节约了时间。且可根据实际情况实时放大或者缩小误差范围,使抹灰时间变的可控。
2、本发明只使用两个单目摄像头,无需复杂且价格高昂的3D摄像头或者激光雷达。搭建环境简便且使用方便,节约成本。
3、本发明定位过程中使用了专用于识别激光线的滤波器,针对于特定场景下的干扰进行有效过滤,并得到良好的减噪效果。
4、本发明在鲁棒性上做出了许多努力,使用双摄像头代替单个的摄像头、在图像处理算法中加入反馈机制来对抗环境光的干扰、将定位过程中的各种错误如:未检测到直线、左/右摄像头干扰过大、小车移动故障等诸多可能的错误进行了检测并报警提示工作人员前来检查等等。
附图说明
图1是本发明所提到的室内墙面抹灰机器人的模型侧视示意图;
图2是本发明所提到的室内墙面抹灰机器人施工时与墙面位置关系示意图;
图3是本发明基于线激光辅助的室内抹灰机视觉精确定位方法的总体架构图;
图4是本发明基于线激光辅助的室内抹灰机视觉精确定位方法的软件总流程图;
图5是本发明基于线激光辅助的室内抹灰机视觉精确定位方法前期校准示意图;
图6是本发明基于线激光辅助的室内抹灰机视觉精确定位方法激光摆放示意图。
具体实施方式
室内抹灰机器人的结构如图1所示,包括机身、机械杆、抹头、包含轮子的移动小车、两个RGB高清摄像头和接光板。抹头面朝墙体的一侧为光滑平面,通过机械杆与机身相连且宽度大于等于机身等宽。机械杆为升降杆,能将机身内的砂浆输送至抹头处。机身为箱型,相比一般的机器人庞大,机身内部的处理器中包括移动控制平台、建筑施工控制平台;移动控制平台控制底部的移动小车使得抹灰机器人移动到设定位置再进行精确定位,再由建筑施工控制平台进行泥浆输送以及抹灰操作。在进行施工作业时,机器人会经过导航和定位靠近墙面,通过控制与机械杆相连的抹头一直平行于墙面且间距设置的抹灰厚度值上下移动。抹头到达墙最底部时,机身通过机械杆输送砂浆至抹头,抹头从墙最底部向上平移至墙顶这个过程中就将膏体涂在了墙体上。到达墙顶时,不再向抹头输送砂浆,抹头从墙顶向下平移至墙最底部这个过程中就完成了墙体上膏体的刮平,从而完成一次抹灰。这抹灰的过程中,由所需抹灰层厚度M来决定抹头朝墙体的平面需要与墙体的一直保持的间距。实施例中抹灰厚度值为1.2cm,在抹灰过程中,因此需要进行抹头微调,使得抹头朝墙体的平面与墙体之间的间距保持在1.2cm。
接光板设置在机身后背底部,与机身一体且与地面平行。两个RGB高清摄像头分别设置在机身背部左右两侧接光板之上,用于拍摄接光板上的图像。设置接光板的目的是为消除激光直接打在地面而因地面凹凸不平所带来的误差。设置两个摄像头的目的在于克服单个摄像头的视野局限性,提高定位的精度和鲁棒性。
在室内抹灰机器人在出厂前,先使用专用校准平台进行出厂校准,校准的方法如下:
S1 搭建一个包含线激光发射器和抹灰机器人的简单环境。打出代表主墙面的垂直投影线的线激光,再垂直于主墙面打出代表左、右墙面垂直投影线的线激光。
S2 对单目相机进行内外参数的标定,确定图像坐标系和世界坐标系的映射关系并消除畸变。
S3 将室内抹灰机器人放置在其抹头平行且紧贴于代表主墙面的垂直投影线的线激光的位置上;在接光板之上两个摄像头的视野内打出平行于主墙面的一条线激光作为全面墙线,记录两条平行的线激光之间的距离L以及全面墙线在摄像头视野中的位置。L的值主要与抹灰机器人上抹头到接光板的厚度相关。接光板上的线激光在摄像头视野中的位置由机身内部处理器的操作系统加载的校准软件来确定,校准软件内置算法与移动控制平台实际抹灰时的精确定位方法相同,先计算得出视野内线激光中心虚拟直线与视野左右边界交点的像素点坐标。以锐尔威视高清1080P无畸变摄像头为例,其拍摄的图像的分辨率为1920*1080,即在左右两个摄像头拍摄的图像的左、右边界交点的像素点坐标分为(0,yl1)、(1080,yl2)以及(0,yr1)、(1080,yr2)。其中,(0,yl1)与(0,yr1)分别作为左、右侧摄像头得到校准值Y1,(1080,yl2)与(1080,yr2)分别作为左、右侧摄像头得到校准值Y2。再将室内抹灰机器人放置平行于代表主墙面的垂直投影线的线激光且靠近左墙面垂直投影线的线激光的位置,再在接光板之上左摄像头的视野内打出平行于左墙面一条线激光作为左阴角线,记录左墙面与左阴角线两条平行的线激光之间的距离Ll以及左阴角线在左侧摄像头视野中的位置X1和X2分别为(xl1,0)、(xl2,1920)。再将室内抹灰机器人放置在平行于代表主墙面的垂直投影线的线激光且靠近右墙面垂直投影线的线激光的位置,再在接光板之上右摄像头的视野内打出平行于右墙面一条线激光作为右阴角线,记录右墙面与右阴角线两条平行的线激光之间的距离Lr以及左阴角线在左侧摄像头视野中的位置分别为(xr1,0)、(xr2,1920)。Ll与Lr的大小与室内抹灰机器人的宽度相关。为保证数据精确,校准软件将在100次上述操作得到各位置点的100次数据后取中位数作为该位置的最终位置数据。为了保证2条线激光平行,可以使用在同一根机械连杆上打出2个线激光的方式。其中,(xl1,0)、(xl2,1920)作为左阴角线校准值X1和X2,(xr1,0)、(xr2,1920)作为右阴角线校准值X1和X2。
如图5所示,实施例精确定位校准平台的示意图。在本系统中,L为139.8cm,Ll=Lr=83.3cm,这是全面墙线、左阴角线和右阴角线的激光线大约出现在了拍摄图片的中央位置,也就是yl1、yl2、yr1和yr2大约为1920/2=960像素,xl1、xr2、xl1、xl2大约为1080/2=540像素。
为了保证抹灰机在实际环境中能准确定位,在精确定位之前使用激光雷达进行导航或者人工使用遥控器操纵至大致位置,目的就是使激光线完整的出现在两个摄像头的视野中。
施工环境如图2所示,实验环境为一个长约9米,宽约3.5米,高约2.85米的毛坯房。进行了出厂校准的室内抹灰机器人针对该环境完成导航,定位及抹灰作业,步骤如下:
S4 进行完出厂校准后,进入到实际的工作环境中。先根据实际场景内的尺寸结构,在平行且距离当前作业墙面L+M处打上与该墙面平行的线激光作为全面墙线。若当前作业墙面左侧竖直方向有墙体且两面墙形成阴角,则再在平行且距离左墙面Ll处打上左阴角线。若当前作业墙面右侧竖直方向有墙体且两面墙形成阴角,则再在平行且距离右墙面Lr处打上右阴角线。
S5 在通过进行移动控制平台进行室内导航粗定位或者人工干预操控后,有横向激光线出现在两个摄像头视野内,或还有竖向线激光出现在左侧或右侧摄像头视野内,则进入到精确定位的图像处理步骤,具体包括:
S5.1 对于出现在接光板上的激光线,由单目高清摄像头扫描获取图像;
S5.2 由于摄像头越清晰图片包含的噪声也就越多,主要为高斯噪声。我们使用高斯滤波来过滤掉图像中的高频噪声。又因为抹灰机定位过程中主要识别横向直线,为了最大限度保留图片中横向激光细节,所以在X方向使用尺寸较小的高斯核和在Y方向使用大尺寸高斯核。同时使用中值滤波消除椒盐噪声。
S5.3 抹灰机工作时接光板上的落灰颗粒也包含大量特征,为了将其过滤,实例提出了基于激光线颜色特征的滤波器,能有效过滤落灰大小颗粒的干扰和大量非激光线特征:判断每一个像素点的B,G,R值,超过阈值的认为是较明亮的激光点,否则是非激光点。具体流程为:
(1)创建一张单通道图像Id并将其各点初始值部置为0即黑色像素点;
(2)对于S5.2处理过后的三通道图像IS的每一点像素值若有:
S5.4 过滤后使用Y方向上的Sobel算子对滤波后的图像卷积后得到激光线的横向边缘信息,此刻应该有两条明显的横向边缘线,这是激光线的上下边缘线。
S5.5 使用滤波器之前,图像中含有许多聚集性噪点,过滤后,大部分的噪点得到了消除,边缘检测后进行二值化处理和形态学开运算,开运算即对二值图像先腐蚀后膨胀,达到消除小物体和在纤细处分离物体、平滑较大物体的边界的同时不明显改变其面积的目的,再进行直线检测处理。实施例使用霍夫变换进行直线检测,该变换将图像坐标转换为极坐标形式,通过投票原则选出满足阈值数量点的许多短的直线段信息,它们用起点和终点表示。同时加入反馈机制:此时检测端点数量,若小于阈值,则报告外部光线条件过差错误,提前结束本次图像处理,并且动态调节下一次霍夫变换的参数,使霍夫变换算法本身的阈值条件放宽,以适应外部光线环境;相反,若是大于一个阈值,则表明外部光线条件良好,动态调节下一次霍夫变换的参数,使霍夫变换算法本身的阈值条件更加严格,以提高精度;若是完全检测不到直线,则报告未检测到直线错误。
S5.5 使用RANSAC算法过滤外点,再使用最小二乘法进行拟合,大量处于上边缘的点和大量下边缘的点会拟合出一条处于激光线正中心的直线。这种方法很好地解决了激光线过粗造成的精度下降问题。
S6 精确定位的图像处理方法得到了一条反应抹灰机实际位置的直线,用其与左右视野两端的交点Y1′和Y′2表示。接下来使用Y1′与校准值Y1,Y′2与校准值Y2的差值进行移动模块指令的计算。左侧摄像头拍摄的图像中横向激光线的左、右边界交点Y1′、Y′2的像素点坐标分为(0,yl1′)、(1080,yl2′)以及右侧摄像头拍摄的图像中横向激光线的左、右边界交点Y1′、Y′2的像素点坐标分为(0,yr1′)、(1080,yr2′)。
所述S6方法,更进一步的描述为:
S6.1 计算可得抹灰机器人需要在Y方向上移动的距离为:
其中α为移动变换单位量,单位为像素/mm,对应一毫米在实际中代表像素量。
S6.2 计算可得抹头的旋转角度θ为:
以上为全面墙线的计算过程。在定位过程中,全面墙线的计算和左右阴角线的计算分开计算,直到对于所有的线全都定位完成。当左阴角线出现在左侧摄像头视野内,或者当右阴角线出现在右侧摄像头视野内,则还需要在X方向上进行精确定位,以使得主墙面墙角处也能被抹头无遗漏地处理。这时出现在左侧或者右侧摄像头内的线线激光在图像中上下边界的交点用X′1和X′2表示。接下来使用X′1与对应的校准值X1,X′2与对应的校准值X2的差值进行移动模块指令的计算。左侧摄像头拍摄的图像中竖向线激光的上、下边界交点X′1、X′2的像素点坐标分为(xl1′,0)、(xl2′,1920)以及右侧摄像头拍摄的图像中竖向线激光的上、下边界交点X′1、X′2的像素点坐标分为(xr1′,0)、(xr2′,1920)。
计算可得抹灰机需要在X方向上移动的距离为:
其中α为移动变换单位量,单位为像素/mm,对应一毫米在实际中代表像素量。
S7 工控机将算出的移动距离和旋转角度指令通过协议发送给底部的移动小车,由小车完成最终的移动过程。若小车移动故障,则报小车移动故障错误。每次移动完成后,图像算法将再次检测,目前位置与事先校准的位置的误差是否在我们可接受的精度范围内(此精度范围可实时调整)。若否,则检测是否为底部移动小车故障并继续新一轮的定位;若是,则完成精确定位。
如图3所示,为实施例精确定位方法的总体架构图,包含三个主要模块,分别为前期校准模块、图像处理模块和移动指令计算模块,其中前期校准中的校准软件包含图像处理模块的图像算法,作为实际工作前的校准流程。
如图4所示,为实施例精确定位方法的软件流程图。整体系统基于ubuntu18.04平台开发,计算机硬件为(Intel i7 7500U),主要分为图像处理模块和移动计算模块。在与抹灰机移动平台通信方面,使用RS232串口实现通信控制。在主程序界面点击开始即可让抹灰机开始执行抹灰作业,在激光线出现在视野后,接下来使用精确定位图像处理模块进行识别,再使用移动计算模块计算激动指令后发送给移动平台。移动完成后检测目前位置是否达到校准值且精度达标,若是则退出进行接下来的抹灰工作,若不是则继续从头开始实施算法。运行过程中主控界面可以随时观察机器人的位置情况,直线识别结果也可以实时在界面中显示。
如图6所示,为实施例的精确定位方法中激光线的摆放位置示意图,全面墙线在距离墙面L=139.8cm位置,当对第一面墙进行抹灰也就是需要紧贴左墙时,距离左墙Ll=83.3cm处摆放激光线,使左阴角线出现在右摄像头的拍摄图片中,这样抹灰机的定位可以紧贴左墙且平行于全面墙;同理,当按照从左到右的次序依次工作到需要紧贴右墙时,打上距离右墙Lr=83.3cm处的右阴角线,完成定位工作。
Claims (4)
1.一种基于线激光辅助的室内墙面抹灰机器人视觉精确定位方法,其特征在于,其特征在于,包括以下步骤:
S1出厂校准步骤:
1-1搭建一个包含线激光发射器和室内墙面抹灰机器人环境;打出代表主墙面的垂直投影线的线激光,再垂直于主墙面打出代表左、右墙面垂直投影线的线激光;所述室内墙面抹灰机器人包括机身、机械杆、抹头、移动小车、两个RGB高清摄像头和接光板;机身放置在移动小车上;抹头通过机械杆与机身相连;接光板设置在机身后背底部,与机身一体且与地面平行;两个RGB高清摄像头分别设置在机身背部左右两侧接光板之上,用于拍摄接光板上的图像;
1-2将室内抹灰机器人放置在与其抹头平行且紧贴于代表主墙面的垂直投影线的线激光的位置上;在接光板之上两个摄像头的视野内打出平行于主墙面的一条线激光作为全面墙线,记录两条平行的线激光之间的距离L以及全面墙线在摄像头视野中的位置作为左、右侧摄像头得到校准值Y1和Y2;再分别将室内抹灰机器人放置平行于代表主墙面的垂直投影线的线激光且靠近左墙面或右墙面垂直投影线的线激光的位置,再在接光板之上左侧或右侧摄像头的视野内打出平行于左墙面或右墙面一条线激光作为左阴角线或右阴角线,分别记录左墙面与左阴角线两条平行的线激光之间的距离Ll、右墙面与右阴角线两条平行的线激光之间的距离Lr以及左、右阴角线在左、右侧摄像头视野中与上下边界的交点位置作为校准值X1和X2;
S2施工步骤:
2-1在平行且距离当前作业墙面L+M处打上与该墙面平行的线激光作为全面墙线;若当前作业墙面左侧竖直方向有墙体且两面墙形成阴角,则在平行且距离左墙面Ll处打上左阴角线;若当前作业墙面右侧竖直方向有墙体且两面墙形成阴角,则在平行且距离右墙面Lr处打上右阴角线;M为抹灰层的厚度;
2-2先移动小车进行粗定位,使得横向线激光出现在两个摄像头的视野中,或还有竖向线激光出现在左侧或右侧摄像头视野内;
2-3对两个摄像头得到的图像进行图像处理;
2-4通过图像处理后的两个摄像头得到的图像中的横向线激光分别在视野左右两侧的交点坐标Y1'和Y′2,对于还有竖向线激光出现在左侧或右侧摄像头视野内的情况,再得到左侧或者右侧摄像头拍摄的图像中竖向线激光分别在视野上、下边的交点坐标X′1、X'2;
2-5计算移动小车当前需要在Y方向上移动的距离Yd以及抹灰机的旋转角度θ以完成精定位;当还得到交点X′1、X'2时,则还需要计算X方向上移动的距离Xd:
2-6室内墙面抹灰机器人完成当前精定位并完成一次抹灰后且未完成当前整个墙面的抹灰,则按照设定横向移动设定距离并返回步骤2-2进行以一次的精定位与抹灰操作。
2.如权利要求1所述方法,其特征在于,其特征在于,步骤2-3中的图像处理为:
1)滤波步骤:使用高斯滤波对图像进行高频噪声过滤处理,在X方向使用尺寸较小的高斯核和在Y方向使用大尺寸高斯核;同时使用中值滤波消除椒盐噪声。
2)边缘检测步骤:使用Y方向上的Sobel算子对滤波后的图像卷积后得到线激光的横向的上下边缘线;
3)直线检测步骤:先边缘检测后的图像进行二值化处理和形态学开运算,再进行直线检测处理;
4)拟合步骤:使用随机抽样一致性RANSAC算法过滤外点,再使用最小二乘法拟合出一条处于线激光正中心的直线。
3.如权利要求2所述方法,其特征在于,步骤2-3中的图像处理中的滤波步骤之后,边缘检测步骤之前还进行基于线激光颜色特征的滤波步骤;
基于线激光颜色特征的滤波步骤具体为判断滤波步骤之后的图像中每一个像素点的BGR值,将BGR值小于等于预设颜色阈值的作为非激光线成分并将像素值置零,将BGR值大于预设阈值的作为激光线成分且保留。
4.如权利要求2所述方法,其特征在于,步骤3)中使用霍夫变换进行直线检测,选出满足条件的直线段信息,用直线段的起点和终点表示该直线段;加入反馈机制:检测起点和终点的数量,若小于预设端点下限阈值,则报告外部光线条件过差错误,提前结束本次图像处理,并且动态调节下一次霍夫变换的参数,放宽霍夫变换的直线检测条件;若是大于预设端点上限阈值,动态调节下一次霍夫变换的参数,严格霍夫变换的直线检测条件;若是完全检测不到直线,则报告未检测到直线错误。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011447337.9A CN112634362B (zh) | 2020-12-09 | 2020-12-09 | 一种基于线激光辅助的室内墙面抹灰机器人视觉精确定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011447337.9A CN112634362B (zh) | 2020-12-09 | 2020-12-09 | 一种基于线激光辅助的室内墙面抹灰机器人视觉精确定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112634362A true CN112634362A (zh) | 2021-04-09 |
CN112634362B CN112634362B (zh) | 2022-06-03 |
Family
ID=75310284
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011447337.9A Active CN112634362B (zh) | 2020-12-09 | 2020-12-09 | 一种基于线激光辅助的室内墙面抹灰机器人视觉精确定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112634362B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112012450A (zh) * | 2020-09-18 | 2020-12-01 | 上海蔚建科技有限公司 | 一种自动抹灰机 |
WO2023035810A1 (zh) * | 2021-09-07 | 2023-03-16 | 深圳大方智能科技有限公司 | 一种竖直墙面施工方法及施工机器人 |
CN115874780A (zh) * | 2021-09-26 | 2023-03-31 | 广东博智林机器人有限公司 | 喷涂方法、喷涂装置、电子设备以及介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005072917A1 (en) * | 2004-01-30 | 2005-08-11 | Wisematic Oy | Machine vision controlled robot tool system |
CN105606092A (zh) * | 2016-02-04 | 2016-05-25 | 中国科学院电子学研究所 | 一种室内机器人定位方法及系统 |
CN105908955A (zh) * | 2016-06-13 | 2016-08-31 | 电子科技大学 | 室内自主移动智能抹灰机 |
CN106052676A (zh) * | 2016-05-26 | 2016-10-26 | 深圳市神州云海智能科技有限公司 | 一种机器人导航定位方法、装置及机器人 |
CN106940186A (zh) * | 2017-02-16 | 2017-07-11 | 华中科技大学 | 一种机器人自主定位与导航方法及系统 |
CN108412160A (zh) * | 2018-02-13 | 2018-08-17 | 蚌埠学院 | 一种可实现建筑墙面抹灰的机器人 |
CN109410234A (zh) * | 2018-10-12 | 2019-03-01 | 南京理工大学 | 一种基于双目视觉避障的控制方法及控制系统 |
CN109857113A (zh) * | 2019-02-22 | 2019-06-07 | 中国计量大学 | 一种基于视觉slam方法的自主导航小车 |
CN109916393A (zh) * | 2019-03-29 | 2019-06-21 | 电子科技大学 | 一种基于机器人位姿的多重栅格值导航方法及其应用 |
CN110849367A (zh) * | 2019-10-08 | 2020-02-28 | 杭州电子科技大学 | 基于融合uwb的视觉slam的室内定位与导航的方法 |
CN111693050A (zh) * | 2020-05-25 | 2020-09-22 | 电子科技大学 | 基于建筑信息模型的室内中大型机器人导航方法 |
-
2020
- 2020-12-09 CN CN202011447337.9A patent/CN112634362B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005072917A1 (en) * | 2004-01-30 | 2005-08-11 | Wisematic Oy | Machine vision controlled robot tool system |
CN105606092A (zh) * | 2016-02-04 | 2016-05-25 | 中国科学院电子学研究所 | 一种室内机器人定位方法及系统 |
CN106052676A (zh) * | 2016-05-26 | 2016-10-26 | 深圳市神州云海智能科技有限公司 | 一种机器人导航定位方法、装置及机器人 |
CN105908955A (zh) * | 2016-06-13 | 2016-08-31 | 电子科技大学 | 室内自主移动智能抹灰机 |
CN106940186A (zh) * | 2017-02-16 | 2017-07-11 | 华中科技大学 | 一种机器人自主定位与导航方法及系统 |
CN108412160A (zh) * | 2018-02-13 | 2018-08-17 | 蚌埠学院 | 一种可实现建筑墙面抹灰的机器人 |
CN109410234A (zh) * | 2018-10-12 | 2019-03-01 | 南京理工大学 | 一种基于双目视觉避障的控制方法及控制系统 |
CN109857113A (zh) * | 2019-02-22 | 2019-06-07 | 中国计量大学 | 一种基于视觉slam方法的自主导航小车 |
CN109916393A (zh) * | 2019-03-29 | 2019-06-21 | 电子科技大学 | 一种基于机器人位姿的多重栅格值导航方法及其应用 |
CN110849367A (zh) * | 2019-10-08 | 2020-02-28 | 杭州电子科技大学 | 基于融合uwb的视觉slam的室内定位与导航的方法 |
CN111693050A (zh) * | 2020-05-25 | 2020-09-22 | 电子科技大学 | 基于建筑信息模型的室内中大型机器人导航方法 |
Non-Patent Citations (5)
Title |
---|
DUROVIC P 等: ""Low cost robot arm with visual guided positioning"", 《2017 40TH INTERNATIONAL CONVENTION ON INFORMATION AND COMMUNICATION TECHNOLOGY, ELECTRONICS AND MICROELECTRONICS (MIPRO)》 * |
周乐天: ""建筑机器人移动定位技术研究"", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
李想: ""基于SLAM的室内移动机器人导航技术研究"", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
王正东 等: ""基于无人机的校园全景地图制作"", 《矿山测量》 * |
马争光 等: ""激光和视觉融合SLAM方法研究综述"", 《大连海事大学报》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112012450A (zh) * | 2020-09-18 | 2020-12-01 | 上海蔚建科技有限公司 | 一种自动抹灰机 |
WO2023035810A1 (zh) * | 2021-09-07 | 2023-03-16 | 深圳大方智能科技有限公司 | 一种竖直墙面施工方法及施工机器人 |
CN115874780A (zh) * | 2021-09-26 | 2023-03-31 | 广东博智林机器人有限公司 | 喷涂方法、喷涂装置、电子设备以及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112634362B (zh) | 2022-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112634362B (zh) | 一种基于线激光辅助的室内墙面抹灰机器人视觉精确定位方法 | |
WO2022142759A1 (zh) | 一种激光雷达与相机联合标定方法 | |
WO2021228181A1 (zh) | 一种3d打印方法和装置 | |
CN108766894B (zh) | 一种机器人视觉引导的芯片贴装方法及系统 | |
CN107767423B (zh) | 一种基于双目视觉的机械臂目标定位抓取方法 | |
WO2021226891A1 (zh) | 基于多轴联动控制和机器视觉反馈测量的3d打印装置及方法 | |
CN107844750A (zh) | 一种水面全景图像目标检测识别方法 | |
CN106197422A (zh) | 一种基于二维标签的无人机定位及目标跟踪方法 | |
CN111815710B (zh) | 鱼眼相机自动标定方法 | |
CN110322462B (zh) | 基于5g网络的无人机视觉着陆方法及系统 | |
CN111784655B (zh) | 一种水下机器人回收定位方法 | |
CN111721259A (zh) | 基于双目视觉的水下机器人回收定位方法 | |
CN110641721B (zh) | 一种登机桥停靠方法 | |
CN107038718B (zh) | 雾霾环境下的深度计算方法 | |
CN106780589A (zh) | 一种获取目标深度图像的方法 | |
CN111562791A (zh) | 一种无人机合作目标识别视觉辅助着陆的系统及方法 | |
CN109671059B (zh) | 一种基于OpenCV的电池盒图像处理方法及系统 | |
CN112304954A (zh) | 一种基于线激光扫描及机器视觉的零件表面缺陷检测方法 | |
CN112947526B (zh) | 一种无人机自主降落方法和系统 | |
CN112634435A (zh) | 一种基于“Eye in Hand”模型的陶瓷制品三维点云重建方法 | |
CN113525631A (zh) | 一种基于光视觉引导的水下终端对接系统及方法 | |
CN208254424U (zh) | 一种激光盲孔深度检测系统 | |
CN111693969A (zh) | 一种激光雷达与相机的联合标定装置及方法 | |
CN115384052A (zh) | 一种智能化的覆膜机自动控制系统 | |
CN114140534A (zh) | 一种用于激光雷达与相机的联合标定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |