CN110670860B - 铺设方法,铺设机器人及存储介质 - Google Patents

铺设方法,铺设机器人及存储介质 Download PDF

Info

Publication number
CN110670860B
CN110670860B CN201910981798.5A CN201910981798A CN110670860B CN 110670860 B CN110670860 B CN 110670860B CN 201910981798 A CN201910981798 A CN 201910981798A CN 110670860 B CN110670860 B CN 110670860B
Authority
CN
China
Prior art keywords
laying
laid
distance
reference line
paving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910981798.5A
Other languages
English (en)
Other versions
CN110670860A (zh
Inventor
白羽鹏
汪亚伦
袁新辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Bozhilin Robot Co Ltd
Original Assignee
Guangdong Bozhilin Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Bozhilin Robot Co Ltd filed Critical Guangdong Bozhilin Robot Co Ltd
Priority to CN201910981798.5A priority Critical patent/CN110670860B/zh
Publication of CN110670860A publication Critical patent/CN110670860A/zh
Priority to PCT/CN2020/120223 priority patent/WO2021073458A1/zh
Application granted granted Critical
Publication of CN110670860B publication Critical patent/CN110670860B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E04BUILDING
    • E04FFINISHING WORK ON BUILDINGS, e.g. STAIRS, FLOORS
    • E04F21/00Implements for finishing work on buildings
    • E04F21/18Implements for finishing work on buildings for setting wall or ceiling slabs or plates
    • E04F21/1838Implements for finishing work on buildings for setting wall or ceiling slabs or plates for setting a plurality of similar elements
    • EFIXED CONSTRUCTIONS
    • E04BUILDING
    • E04FFINISHING WORK ON BUILDINGS, e.g. STAIRS, FLOORS
    • E04F21/00Implements for finishing work on buildings
    • E04F21/20Implements for finishing work on buildings for laying flooring
    • E04F21/22Implements for finishing work on buildings for laying flooring of single elements, e.g. flooring cramps ; flexible webs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0014Image feed-back for automatic industrial control, e.g. robot with camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30132Masonry; Concrete

Abstract

本申请提供一种铺设方法及铺设机器人,该方法应用于铺设机器人的控制器,包括:发送第一拍摄指令,以获取包含相互平行的待铺设件的对位边及待铺设位置的铺设基准线的第一图像;基于第一图像计算对位边与铺设基准线之间因拍摄视觉偏差产生的距离偏移量,并根据距离偏移量生成并发送对对位边与铺设基准线之间的距离进行修正的对位指令,以使铺设机器人实现对位边与铺设基准线之间的对位。本申请通过对因待铺设件与待铺设位置所在表面的高度差导致铺设机器人在采集对位边与铺设基准线的图像时,两者之间因拍摄视觉偏差产生的距离偏移进行修正,能够提升对位精度,避免铺设完成后相邻铺设件之间的间距较大,致使铺设精度不高的问题。

Description

铺设方法,铺设机器人及存储介质
技术领域
本申请涉及机器人领域,具体而言,涉及一种铺设方法,铺设机器人及存储介质。
背景技术
目前,对于诸如墙砖,地砖等待铺设件的铺设工作大多依靠人工实现,然而,工人的铺设效率有限,且需支付工人的劳动报酬,致使铺设成本相对较高。为提升铺设效率同时降低铺设成本,业界已经出现通过视觉引导机器人实现对待铺设件进行铺设的技术。然而,现有的通过视觉引导机器人实现对待铺设件进行铺设的技术,待铺设件在完成铺设后,相邻的铺设件之间的间距较大,铺设精度不高。
发明内容
本申请实施例的目的在于提供一种铺设方法及铺设机器人,用以解决现有技术中铺设对位精度不高,待铺设件完成铺设后,相邻铺设件之间的间距较大的问题。
一种铺设方法,应用于铺设机器人的控制器,所述方法包括:发送第一拍摄指令,以获取包含相互平行的待铺设件的对位边以及待铺设位置的铺设基准线的第一图像;及基于所述第一图像,计算所述对位边与所述铺设基准线之间因拍摄视觉偏差所导致的距离偏移量,并根据所述距离偏移量对所述对位边与所述铺设基准线之间的距离进行修正,以实现所述对位边与所述铺设基准线之间的对位。
本申请所提供的铺设方法,通过获取包含相互平行的待铺设件的对位边以及待铺设位置的铺设基准线的第一图像;并基于所述第一图像,计算所述对位边与所述铺设基准线之间因拍摄视觉偏差所导致的距离偏移量,并根据所述距离偏移量对所述对位边与所述铺设基准线之间的距离进行修正,以实现所述对位边与所述铺设基准线之间的对位,能够避免由于待铺设件底部布设有粘结材料,铺设机器人在移动待铺设件时,待铺设件需与待铺设位置所在平面具有一定高度差,致使在铺设完成后相邻铺设件之间的间距较大,铺设精度不高的问题。
可选地,所述基于所述第一图像,计算所述对位边与所述铺设基准线之间因拍摄视觉偏差所导致的距离偏移量,包括:获取所述待铺设件到所述待铺设位置所在平面的第一垂直距离及所述第一图像的拍摄位置到所述待铺设位置所在平面的第二垂直距离;根据所述第一图像计算所述对位边与所述拍摄位置在所述待铺设位置所在平面的投影之间的拍摄视觉垂直距离;及基于相似三角形原理,计算所述对位边与所述铺设基准线之间因拍摄视觉偏差所导致的距离偏移量。
可选地,所述根据所述距离偏移量对所述对位边与所述铺设基准线之间的距离进行修正包括:在确定所述距离偏移量大于阈值时,根据所述距离偏移量对所述对位边与所述铺设基准线之间的距离进行修正。
可选地,在所述根据所述距离偏移量对所述对位边与所述铺设基准线之间的距离进行修正之后,所述铺设方法还包括:基于修正后的所述距离生成铺设指令,以使所述待铺设件被铺设至所述待铺设位置。
本申请中,基于修正后的所述距离生成铺设指令,能够使得铺设机器人将所述待铺设件铺设至所述待铺设位置,提升铺设精度。
可选地,所述发送拍摄指令,以获取包含相互平行的待铺设件的对位边以及待铺设位置的铺设基准线的图像,包括:发送第一拍摄指令,以获取包含所述对位边与所述铺设基准线的第二图像;基于所述第二图像,计算所述对位边与所述铺设基准线之间的夹角;在确定所述夹角大于0°且小于180°时,基于所述夹角生成位置调整指令并发送所述位置调整指令,以对所述待铺设件的位置进行调整,使得所述对位边与所述铺设基准线平行;及在确定调整完成后,发送第二拍摄指令,以获取包含相互平行的待铺设件的对位边以及待铺设位置的铺设基准线的图像。
本申请中通过发送第一拍摄指令,以获取包含所述对位边与所述铺设基准线的第二图像;基于所述第二图像,计算所述对位边与所述铺设基准线之间的夹角;在确定所述夹角大于0°且小于180°时,基于所述夹角生成位置调整指令并发送所述位置调整指令,以对所述待铺设件的位置进行调整,使得所述对位边与所述铺设基准线平行;及在确定调整完成后,发送第二拍摄指令,可以获取包含相互平行的待铺设件的对位边以及待铺设位置的铺设基准线的图像,避免因对位边与铺设基准线不平行降低修正值计算的准确性。可选地,在所述发送第一拍摄指令,以获取包含所述对位边以及所述铺设基准线的第二图像之前,所述方法还包括:发送拾取指令,以使所述铺设机器人拾取所述待铺设件,并将所述待铺设件移动至预定位置。
本申请中通过发送拾取指令,以使所述铺设机器人拾取待铺设件并将待铺设件移动至预定位置,有助于获取到包含相互平行的对位边及铺设基准线的图像。
可选地,所述对位边包括正交的第一侧边及第二侧边,所述铺设基准线包括正交的第一基准线及第二基准线,在所述第一侧边与所述第一基准线平行,所述第二侧边与所述第二基准线平行时,所述基于所述第一图像,计算所述对位边与所述铺设基准线之间因拍摄视觉偏差所导致的距离偏移量,包括:基于所述第一图像,计算所述第一侧边与所述第一基准线之间的距离偏移量Δx以及所述第二侧边与所述第二基准线之间的距离偏移量Δy。
可选地,所述铺设基准线为所述待铺设位置所在平面的铺设标记线,或者已铺设件临近所述待铺设位置的侧边。
一种铺设机器人,包括控制器,所述控制器用于执行上述铺设方法。
可选地,所述铺设机器人还包括与所述控制器信号连接的摄像头,所述摄像头用于基于所述控制器发送的拍摄指令进行相应拍摄,并将拍摄图像反馈给所述控制器。
可选地,所述铺设机器人还包括与所述控制器信号连接的机械手,所述机械手用于基于所述控制器发送的拾取指令对所述待铺设件进行拾取;基于所述控制器发送的位置调整指令对所述待铺设件的位置进行调整;以及基于所述铺设指令将所述待铺设件铺设至所述待铺设位置。
可选地,所述铺设机器人还包括设置在所述机械手处的第一距离传感器及设置在所述摄像头处的第二距离传感器,所述第一距离传感器用于测量所述待铺设件到所述待铺设位置的第一垂直距离,所述第二距离传感器用于测量所述摄像头的拍摄位置到所述待铺设位置的第二垂直距离。
本申请的一个或多个实施例的细节在下面的附图和描述中提出。本申请的其它特征、目的和优点将从说明书、附图以及权利要求书变得明显。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请一实施例提供的铺设机器人的结构示意图。
图2为本申请一实施例中铺设完成后呈阵列设置的铺设件的结构示意图。
图3为本申请一实施例中铺设位置为首行和首列的交汇位置的铺设件在铺设时,对位边与对位基准线的对位示意图。
图4为本申请一实施例中铺设位置为首行非首列位置的铺设件在铺设时,对位边与对位基准线之间的对位示意图。
图5为本申请一实施例中铺设位置为首列非首行位置的铺设件在铺设时,对位边与对位基准线之间的对位示意图。
图6为本申请一实施例中铺设位置为非首行非首列位置的铺设件在铺设时,对位边与对位基准线之间的对位示意图。
图7为本申请一实施例提供的铺设方法的流程图。
图8为本申请一实施例中实际水平间距与摄像头所采集图像的视觉水平间距的对比图。
图标:铺设机器人10;控制器11;机械手12;摄像头13;距离传感器14。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请的发明人经过研究发现,目前,对于诸如墙砖,地砖等待铺设件的铺设工作大多依靠人工实现,然而,工人的铺设效率有限,且需支付工人的劳动报酬,致使铺设成本相对较高。为提升铺设效率同时降低铺设成本,业界已经出现基于视觉算法引导机器人对待铺设件进行铺设的技术。传统的基于视觉算法引导机器人实现对待铺设件进行铺设的技术,由于未考虑摄像头基于小孔成像原理采集图像时,忽略了待铺设件与待铺设位置所在表面之间存在高度差的问题,致使基于所采集到的图像对铺设进行引导时,相邻铺设件之间的间距较大,铺设精度不高。
有鉴于此,本申请提供一种能够减小铺设完成后相邻铺设件之间的间距,进而提升铺设精度的铺设方法及铺设机器人。
请参阅图1,本申请一实施例提供一种铺设机器人10,包括控制器11,及与控制器11信号连接的机械手12,摄像头13及距离传感器14。
控制器11可为中央处理单元(CPU)、微处理器或单片机等。控制器11用于控制机械手12,摄像头13及距离传感器14的正常运作,以及基于摄像头13及距离传感器14反馈的数据进行运算处理,以调整对机械手12的控制。可以理解,控制器11基于摄像头13及距离传感器14反馈的数据进行运算处理以调整对机械手的控制的操作可以贯穿整个利用铺设机器人10进行铺设的过程。
机械手12能够在控制器10的控制下拾取、移动、调整对位及铺设待铺设件。本实施例中,待铺设件可为墙砖,地砖等。待铺设件的数量可为多个,机械手12能够在控制器10的控制下单次拾取、移动、调整对位及铺设一片待铺设件。多个待铺设件均完成铺设后,完成铺设的多个铺设件呈阵列排布,且每个铺设件分别对应一个铺设位置。相应地,每个待铺设件在铺设时对应一个待铺设位置。每个待铺设位置包括对应的铺设基准线。待铺设位置所在的表面为待铺设表面。铺设基准线与待铺设表面平行设置。待铺设件包括在铺设时用于与待铺设位置的铺设基准线进行对位的对位边。该对位边可为待铺设件铺设后外露面的任意两条相交的侧边,例如,方形砖体的装饰面的长边和短边,三角形砖体的装饰面的任意两条相交的侧边,或者正六边形砖体的装饰面的任意两条相交的侧边。本实施例中,待铺设件为方形砖体,对位边包括正交的第一侧边及第二侧边。根据铺设完成后铺设件所在位置的不同,相应的待铺设件在铺设时其对位边对应的待铺设位置的铺设基准线也各不相同。本实施例中,以待铺设件为正方形的墙砖进行说明。待铺设件对应的待铺设位置的铺设基准线包括正交的第一基准线及第二基准线。本实施例中,待铺设件的第一侧边与待铺设位置的第一基准线平行,待铺设件的第二侧边与待铺设位置的第二基准线平行。请分别参阅图2至图6,当待铺设件在完成铺设后位于阵列排布的多个铺设件的首行和首列交汇的铺设位置时,该待铺设件在铺设时,其对应的待铺设位置的铺设基准线可为两条相交的激光线(铺设标记线)。该两条相交的激光线可自为实现利用铺设机器人进行铺设而特意设置激光器射出。本实施例中,该两条激光线可为呈正交设置的横向激光线及纵向激光线。可以理解,当待铺设件为墙砖时,墙体表面可设置有支撑梁,此时横向激光线贴近支撑梁且平行于支撑梁设置。当待铺设件在完成铺设后位于阵列排布的多个铺设件的首行非首列的铺设位置时,该待铺设件在铺设时,其对应的待铺设位置的铺设基准线可为首行前一列铺设件的纵向自由边与横向激光线。当待铺设件在完成铺设后位于阵列排布的多个铺设件的首列非首行的铺设位置时,该待铺设件在铺设时,其对应的待铺设位置的铺设基准线可为首列前一行铺设件的横向自由边与纵向激光线。当待铺设件在完成铺设后位于阵列排布的多个铺设件的非首行非首列的铺设位置时,该待铺设件在铺设时,其对应的待铺设位置的铺设基准线可为同列前一行的铺设件的横向自由边与同行前一列的铺设件的纵向自由边。
其他实施例中,针对首行首列的铺设件在铺设时,其对应的铺设基准线可为横向激光线,针对首行非首列的铺设件在铺设时,其对应的铺设基准线可为首行前一列的铺设件的纵向自由边(即,已铺设件靠近待铺设位置的自由边),针对首列非首行的铺设件在铺设时,其对应的铺设基准线可为首列前一行的铺设件的横向自由边(即,已铺设件靠近待铺设位置的自由边),而针对非首行非首列的铺设件在铺设时,其对应的铺设基准线可为同行前一列铺设件的纵向自由边和/或同列前一行铺设件的横向自由边。
可以理解,以上仅为铺设基准线的举例说明,本申请铺设基准线的具体设置并不限于此。
摄像头13安装在机械手12上,能够随机械手12一并移动,并且能够在机械手12将待铺设件移动至预设位置后由控制器11控制采集包含待铺设件的对位边及待铺设位置的铺设基准线的图像,以及将图像反馈给控制器11。本申请对摄像头13的型号,成像像素及焦距均不作限定。一实施例中,摄像头13的成像像素为500万像素,焦距为8毫米。本实施例中,预设位置为距待铺设位置所在平面的垂直距离为常数(例如,该距离为10厘米,或20厘米等),且使得摄像头13随机械手12停止移动后能够采集到包含待铺设件的对位边与待铺设位置的铺设基准线的图像的位置。由于对于不同的待铺设件,预定位置不同,因此,本申请仅对预定位置的共性进行限定,而对预定位置的具体内容不作限定,只要其是能够使得摄像头13随机械手停止移动后能够采集到包含待铺设件的对位边与待铺设位置的铺设基准线的图像位置,且该位置距离待铺设位置所在平面的垂直距离固定即可。
距离传感器14包括设置在机械手12处的第一距离传感器141及设置在摄像头13处的第二距离传感器142。具体地,第一距离传感器141设置在机械手12用于拾取待铺设件的端部,用于在机械手12将待铺设件移动至预定位置后,由控制器11控制测量待铺设件与待铺设位置所在表面的第一垂直距离并将距离数据反馈给控制器11。第二距离传感器142用于在控制器11控制摄像头13采集包含相互平行的对位边及铺设基准线的第一图像时,测量摄像头13的拍摄位置到待铺设位置所在表面的第二垂直距离。一实施例中,距离传感器14可为激光测距传感器。
请参阅图7,本申请一实施例还提供一种应用于前述铺设机器人100的控制器的铺设方法,该方法能够提升利用铺设机器人进行铺设时的铺设精度。该方法包括以下步骤。
步骤S101:发送拾取指令,以使所述铺设机器人拾取待铺设件,并将待铺设件移动至预定位置。
本实施例中,通过控制器11发送拾取指令,以控制铺设机器人的机械手12拾取待铺设件,并将待铺设件移动至预定位置。待铺设件可以例如为地砖。待铺设件包括用于与待铺设位置的铺设基准线进行对位的对位边。预设位置为距待铺设位置所在平面的垂直距离为常数,且使得摄像头13随机械手12停止移动后能够采集到包含待铺设件的对位边与待铺设位置的铺设基准线的图像的位置。本实施例中,对于铺设完成后位于首行首列的交汇位置的待铺设件,其预定位置可通过机械手12示教得到。示例性地,机械手12在拾取用于铺设在首行首列交汇位置处的待铺设件之前,通过控制器11控制移动,直至摄像头13在控制器11的控制下采集的图像包含机械手12用于拾取待铺设件的端部及待铺设位置的铺设基准线,控制器11将此时机械手12所在位置设定为针对铺设在首行首列交汇位置处的待铺设件的预定位置。以方形待铺设件为例,对于铺设完成后位于首行非首列位置的待铺设件,控制器11将机械手12位于相同高度但与首行首列的铺设件的预定位置横向间隔预定距离(例如方形待铺设件的宽度)的整数倍的位置作为拾取铺设完成后位于首行非首列位置的待铺设件的机械手需要到达的预定位置,例如,对于铺设完成后位于首行第二列位置的待铺设件,机械手12拾取该待铺设件需到达的预设位置为与铺设完成后位于首行首列交汇位置处的待铺设件的预定位置横向间隔待铺设件的宽度且与铺设完成后位于首行首列的待铺设件的预定位置位于相同高度的位置。相应地,对于铺设完成后位于首列非首行位置的待铺设件,控制器11将机械手12位于相同高度但与首行首列的铺设件的预定位置纵向间隔预定距离(例如方形待铺设件的长度)的整数倍的位置作为拾取铺设完成后位于首列非首行位置的待铺设件的机械手需要到达的预定位置,例如,对于铺设完成后位于首列第二行位置的待铺设件,机械手12拾取该待铺设件需到达的预设位置为与铺设完成后位于首行首列交汇位置处的待铺设件的预定位置纵向间隔待铺设件的长度且与铺设完成后位于首行首列的待铺设件的预定位置位于相同高度的位置。铺设完成后位于其他位置的情况,以此类推。
步骤S102:发送拍摄指令,以获取包含相互平行待铺设件的对位边及待铺设位置的铺设基准线的第一图像。
控制器11在控制机械手12拾取并移动待铺设件到达预定位置后,发送拍摄指令,以控制摄像头13采集包含待铺设件的对位边及待铺设位置的铺设基准线的图像。
一实施例中,控制器11在控制机械手12拾取并移动待铺设件到达预定位置后,待铺设件的对位边恰与待铺设位置的铺设基准线平行,此时,控制器11发送拍摄指令控制摄像头13采集到的包含待铺设件的对位边及待铺设位置的铺设基准线的图像即为包含相互平行的待铺设件的对位边及待铺设位置的铺设基准线的第一图像。
一实施例中,控制器11在控制机械手12拾取并移动待铺设件到达预定位置后,待铺设件的对位边与待铺设位置的铺设基准线之间的夹角大于0°且小于180°。此时,控制器11发送拍摄指令控制摄像头13采集到的包含待铺设件的对位边及待铺设位置的铺设基准线的图像并非包含相互平行的待铺设件的对位边及待铺设位置的铺设基准线的第一图像。
由于控制器11在控制机械手12拾取并移动待铺设件到达预定位置后,并不知晓待铺设件的对位边是否与待铺设位置的铺设基准线平行,本实施例中,控制器11在控制机械手12拾取并移动待铺设件到达预定位置后,发送第一拍摄指令,以获取包含待铺设件的对位边与待铺设位置的铺设基准线的第二图像。摄像头13基于控制器11所发送的第一拍摄指令采集包含对位边与铺设基准线的第二图像,并将第二图像反馈给控制器11。控制器11基于第二图像计算对位边与铺设基准线之间的夹角;在确定夹角等于0°或180°时,控制器11执行步骤S103,而在确定夹角大于0°且小于180°时,基于夹角生成位置调整指令并发送该位置调整指令,以使机械手12基于位置调整指令对待铺设件的位置进行调整,进而使得对位边与铺设基准线平行;以及在确定机械手12完成调整后,发送第二拍摄指令,以控制摄像头13采集包含相互平行的待铺设件的对位边及待铺设位置的铺设基准线的图像。本实施例中,机械手12在完成调整后,可反馈调整完成的信号给到控制器11。
上述实施例中,当铺设基准线为激光线时,对于铺设完成后位于首行首列交汇位置的待铺设件,控制器11在控制摄像头13获取包含相互平行的待铺设件的对位边及待铺设位置的铺设基准线之前,降低激光光源的亮度并减小摄像头13的曝光时间,以便能够采集到清晰的铺设基准线。
步骤S103:基于第一图像,计算对位边与铺设基准线之间因拍摄视觉偏差所导致的距离偏移量,并根据距离偏移量生成对对位边与铺设基准线之间的距离进行修正的对位修正指令,以使铺设机器人完成对位边与铺设基准线之间的对位。
本实施例中,控制器11基于第一图像,计算对位边与铺设基准线之间因拍摄视觉偏差所导致的距离偏移量,包括:获取待铺设件到待铺设位置所在平面的第一垂直距离及第一图像的拍摄位置(即,控制器11发射拍摄指令,以控制摄像头13采集包含相互平行的对位边及铺设基准线的图像时,摄像头13所在的位置)到待铺设位置所在平面的第二垂直距离;根据第一图像,计算对位边与第一图像的拍摄位置在待铺设位置所在平面的投影之间的拍摄视觉垂直距离;以及基于相似三角形原理,计算对位边与铺设基准线之间因拍摄视觉偏差所导致的距离偏移量。
其中,获取待铺设件到待铺设位置所在平面的第一垂直距离及第一图像的拍摄位置(即,控制器11发射拍摄指令,以控制摄像头13采集包含相互平行的对位边及铺设基准线的图像时,摄像头13所在的位置)到待铺设位置所在平面的第二垂直距离,可通过发送测量指令,以控制第一距离传感器141对待铺设件到待铺设位置所在平面的第一垂直距离进行测量,并接收第一距离传感器141反馈的测量数据,以及控制第二距离传感器142对第一图像的拍摄位置到待铺设位置所在平面的第二垂直距离进行测量,并接收第二距离传感器142反馈的测量数据。
本实施例中,控制器11在控制摄像头13采集包含相互平行的对位边及铺设基准线的第一图像时,摄像头13的光轴与待铺设位置所在平面垂直,因此,第一图像的拍摄位置在待铺设位置所在平面的投影通常位于第一图像的正中间。上述根据第一图像,计算对位边与第一图像的拍摄位置在待铺设位置所在平面的投影之间的拍摄视觉垂直距离包括:基于第一图像,通过待铺设件的对位边(例如,待铺设件为方形砖体时正交的第一侧边及第二侧边)的交点(即,待铺设件的一角点)定位对位边,并通过图像处理算法获得对位边的交点的坐标信息以及第一图像的拍摄位置在待铺设位置所在平面的投影点的坐标信息,然后根据对位边的交点的坐标信息及第一图像的拍摄位置在待铺设位置所在平面的投影点的坐标信息计算对位边与第一图像的拍摄位置在待铺设位置所在平面的投影点之间的拍摄视觉垂直距离(包括第一侧边与第一图像的拍摄位置在待铺设位置所在平面的投影点之间的拍摄视觉垂直距离及第二侧边与第一图像的拍摄位置在待铺设位置所在平面的投影点之间的拍摄视觉垂直距离)。需要说明的是,由于摄像头13在拍摄图像时忽略了待铺设件与待铺设位置所在平面之间存在高度差,因此,基于第一图像计算获得第一图像拍摄位置在待铺设位置所在平面的投影到所述对位边的拍摄视觉垂直距离包含高度差所导致对位边与铺设基准线之间的距离偏移量(即,高度差所导致的第一侧边与第一基准线之间的距离偏移量Δx,以及高度差所导致的第二侧边与第二基准线之间的距离偏移量Δy)。
可选地,控制器11在控制摄像头13采集包含相互平行的对位边及铺设基准线的第一图像时,摄像头13所处位置在待铺设位置所在平面的投影位于铺设基准线上。进一步地,控制器11在控制摄像头13采集包含相互平行的对位边及铺设基准线的第一图像时,摄像头13所处位置在待铺设位置所在平面的投影位于第一基准线与第二基准线的交点位置。基于相似三角形原理,计算对位边与铺设基准线之间因拍摄视觉偏差所导致的距离偏移量的具体内容如下。请参阅图8,根据相似三角形理论可知,对位边与第一图像的拍摄位置在待铺设位置所在平面的投影点之间的拍摄视觉垂直距离,距离偏移量,摄像头的拍摄位置到待铺设位置所在平面的距离,及待铺设件到待铺设位置所在平面的距离(即,预定位置到待铺设位置所在平面的距离,为常数,可通过距离传感器14测得)存在如下关系:
D/H=ΔL/L (1)
其中,D表示待铺设件到待铺设位置所在平面的距离(第一垂直距离),H表示摄像头到待铺设位置所在平面的距离(第二垂直距离),ΔL表示距离偏移量,L表示基于第一图像所确定的包含距离偏移量的距离(即,第一图像的拍摄位置在待铺设位置所在平面的投影与对位边之间的拍摄视觉垂直距离)。
由式(1)可得:ΔL=L*D/H (2)
由式(2)可得:S=L-ΔL=L(1-D/H) (3)
其中,S表示对位边与铺设基准线之间的实际距离。
本实施例中,可以基于上述等式(3)对对位边与铺设基准线之间的视觉距离进行修正,得到对位边与铺设基准线之间的实际距离。对于第一侧边与第一基准线之间的视觉距离,及第二侧边与第二基准线之间的视觉距离均可通过上述等式(3)进行修正。
可选地,在对对位边与铺设基准线之间的视觉距离进行修正之前,控制器11会先判断对位边与铺设基准线之间的距离偏移量是否超出阈值,在确定距离偏移量大于阈值时,才对对位边与铺设基准线之间的视觉距离进行修正。对于距离偏移量小于阈值的情况,控制器11可以不对对位边与铺设基准线之间的视觉距离进行修正。
一实施例中,所述铺设方法还包括步骤S104:基于修正后的所述距离生成铺设指令,以使所述待铺设件被铺设至所述待铺设位置。
控制器11在对对位边与铺设基准线之间的视觉距离进行修正后,可以基于修正后的距离(即,实际距离)生成铺设指令,以控制机械手12将待铺设件铺设至待铺设位置。
或者,控制器11可以在确定距离偏移量小于阈值时,控制机械手12直接将待铺设件铺设至待铺设位置。
可以理解,其他实施例中,步骤S101可省略,铺设方法可开始于步骤S102。
本申请实施例所提供的铺设方法及应用该铺设方法的铺设机器人,通过获取包含相互平行的待铺设件的对位边以及待铺设位置的铺设基准线的第一图像;并基于所述第一图像,计算所述对位边与所述铺设基准线之间的距离偏移量,并根据所述距离偏移量对所述对位边与所述铺设基准线之间的距离进行修正;以及基于修正后的距离,将所述待铺设件铺设至所述待铺设位置,能够避免由于待铺设件底部布设有粘结材料,机器人在移动待铺设件时,待铺设件需与待铺设位置所在平面具有一定高度差,致使在铺设完成后相邻铺设件之间的间距较大,铺设精度不高的问题。
基于同一发明构思,本申请实施例提供的一种计算机可读存储介质,其上存储有计算机可读指令,该程序被处理器执行时实现上述的铺设方法中的步骤。在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (12)

1.一种铺设方法,其特征在于,应用于铺设机器人的控制器,所述方法包括:
发送拍摄指令,以获取包含相互平行的待铺设件的对位边以及待铺设位置的铺设基准线的第一图像;及
基于所述第一图像,计算所述对位边与所述铺设基准线之间因拍摄视觉偏差所导致的距离偏移量,并根据所述距离偏移量生成对所述对位边与所述铺设基准线之间的距离进行修正的对位修正指令,以使所述铺设机器人完成所述对位边与所述铺设基准线之间的对位;
其中,所述基于所述第一图像,计算所述对位边与所述铺设基准线之间因拍摄视觉偏差所导致的距离偏移量,包括:
获取所述待铺设件到所述待铺设位置所在平面的第一垂直距离及所述第一图像的拍摄位置到所述待铺设位置所在平面的第二垂直距离;
根据所述第一图像计算所述对位边与所述拍摄位置在所述待铺设位置所在平面的投影之间的拍摄视觉垂直距离;及
基于相似三角形原理,计算所述对位边与所述铺设基准线之间因拍摄视觉偏差所导致的距离偏移量。
2.根据权利要求1所述的铺设方法,其特征在于,所述根据所述距离偏移量对所述对位边与所述铺设基准线之间的距离进行修正包括:
在确定所述距离偏移量大于阈值时,根据所述距离偏移量对所述对位边与所述铺设基准线之间的距离进行修正。
3.根据权利要求1所述的铺设方法,其特征在于,在所述根据所述距离偏移量对所述对位边与所述铺设基准线之间的距离进行修正之后,所述铺设方法还包括:
基于修正后的所述距离生成铺设指令,以使所述待铺设件被铺设至所述待铺设位置。
4.根据权利要求1所述的铺设方法,其特征在于,所述发送拍摄指令,以获取包含相互平行的待铺设件的对位边以及待铺设位置的铺设基准线的图像,包括:
发送第一拍摄指令,以获取包含所述对位边与所述铺设基准线的第二图像;
基于所述第二图像,计算所述对位边与所述铺设基准线之间的夹角;
在确定所述夹角大于0°且小于180°时,基于所述夹角生成位置调整指令并发送所述位置调整指令,以对所述待铺设件的位置进行调整,使得所述对位边与所述铺设基准线平行;及
在确定调整完成后,发送第二拍摄指令,以获取包含相互平行的待铺设件的对位边以及待铺设位置的铺设基准线的图像。
5.根据权利要求4所述的铺设方法,其特征在于,在所述发送第一拍摄指令,以获取包含所述对位边以及所述铺设基准线的第二图像之前,所述方法还包括:
发送拾取指令,以使所述铺设机器人拾取所述待铺设件,并将所述待铺设件移动至预定位置。
6.根据权利要求1所述的铺设方法,其特征在于,所述对位边包括正交的第一侧边及第二侧边,所述铺设基准线包括正交的第一基准线及第二基准线,在所述第一侧边与所述第一基准线平行,所述第二侧边与所述第二基准线平行时,所述基于所述第一图像,计算所述对位边与所述铺设基准线之间因拍摄视觉偏差所导致的距离偏移量,包括:
基于所述第一图像,计算所述第一侧边与所述第一基准线之间的距离偏移量Δx以及所述第二侧边与所述第二基准线之间的距离偏移量Δy。
7.根据权利要求1所述的铺设方法,其特征在于,所述铺设基准线为所述待铺设位置所在平面的铺设标记线,或者已铺设件邻近所述待铺设位置的自由边。
8.一种铺设机器人,包括控制器,所述控制器用于执行权利要求1-7中任一项所述铺设方法。
9.根据权利要求8所述的铺设机器人,其特征在于,还包括与所述控制器信号连接的摄像头,所述摄像头用于基于所述控制器发送的拍摄指令进行相应拍摄,并将拍摄图像反馈给所述控制器。
10.根据权利要求9所述的铺设机器人,其特征在于,还包括与所述控制器信号连接的机械手,所述机械手用于基于所述控制器发送的拾取指令对所述待铺设件进行拾取;基于所述控制器发送的位置调整指令对所述待铺设件的位置进行调整;以及基于所述控制器的铺设指令将所述待铺设件铺设至所述待铺设位置。
11.根据权利要求10所述的铺设机器人,其特征在于,所述铺设机器人还包括设置在所述机械手处的第一距离传感器及设置在所述摄像头处的第二距离传感器,所述第一距离传感器用于测量所述待铺设件到所述待铺设位置的第一垂直距离,所述第二距离传感器用于测量所述摄像头的拍摄位置到所述待铺设位置的第二垂直距离。
12.一种存储有计算机可读指令的非易失性可读存储介质,所述计算机可读指令被处理器执行时,使得所述处理器执行如权利要求1-7任一项所述的铺设方法。
CN201910981798.5A 2019-10-15 2019-10-15 铺设方法,铺设机器人及存储介质 Active CN110670860B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910981798.5A CN110670860B (zh) 2019-10-15 2019-10-15 铺设方法,铺设机器人及存储介质
PCT/CN2020/120223 WO2021073458A1 (zh) 2019-10-15 2020-10-10 铺设方法及铺设机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910981798.5A CN110670860B (zh) 2019-10-15 2019-10-15 铺设方法,铺设机器人及存储介质

Publications (2)

Publication Number Publication Date
CN110670860A CN110670860A (zh) 2020-01-10
CN110670860B true CN110670860B (zh) 2021-03-09

Family

ID=69082549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910981798.5A Active CN110670860B (zh) 2019-10-15 2019-10-15 铺设方法,铺设机器人及存储介质

Country Status (2)

Country Link
CN (1) CN110670860B (zh)
WO (1) WO2021073458A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110670860B (zh) * 2019-10-15 2021-03-09 广东博智林机器人有限公司 铺设方法,铺设机器人及存储介质
CN111456394A (zh) * 2020-04-16 2020-07-28 广东博智林机器人有限公司 一种找平机器人
CN113482301B (zh) * 2021-07-02 2022-07-01 北京建筑大学 瓷砖铺贴方法和瓷砖自动铺贴控制系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000118288A (ja) * 1998-10-09 2000-04-25 Hitachi Constr Mach Co Ltd 内装用施工機械
CN103115613B (zh) * 2013-02-04 2015-04-08 安徽大学 一种空间三维定位方法
CN105323455B (zh) * 2014-07-31 2019-08-06 宁波舜宇光电信息有限公司 一种基于机器视觉的定位补偿方法
CN108222450A (zh) * 2018-01-15 2018-06-29 广州炬隆卫浴制品有限公司 一种瓷砖铺贴方法
CN109064705A (zh) * 2018-07-10 2018-12-21 上海小蚁科技有限公司 物品点检的预警方法及装置、存储介质、计算设备
CN110259067B (zh) * 2019-06-11 2020-07-10 清华大学 机器人的瓷砖铺设位置识别方法和系统
CN110670860B (zh) * 2019-10-15 2021-03-09 广东博智林机器人有限公司 铺设方法,铺设机器人及存储介质

Also Published As

Publication number Publication date
WO2021073458A1 (zh) 2021-04-22
CN110670860A (zh) 2020-01-10

Similar Documents

Publication Publication Date Title
CN110670860B (zh) 铺设方法,铺设机器人及存储介质
US11087457B1 (en) Digital projection system and associated method
EP2490438A2 (en) Vision measuring device and auto-focusing control method
CN104827480A (zh) 机器人系统的自动标定方法
EP3988254A1 (en) Robot hand-eye calibration method and apparatus, computing device, medium and product
JP7189988B2 (ja) ビジョンシステムの3次元校正のためのシステム及び方法
CN105444699B (zh) 一种显微操作系统坐标与位移误差检测和补偿的方法
JP7191309B2 (ja) カメラを用いるレーザープロジェクションマーキングの自動ガイド・位置決め及びリアルタイム補正方法
CN110695520B (zh) 基于视觉的全自动振镜视场校准系统及其校准方法
CN105080787A (zh) 点胶装置及点胶方法
CN111192301A (zh) 地板安装方法和装置、机器人及存储介质
CN102990671A (zh) 机器人系统
CN107328358B (zh) 铝电解槽位姿的测量系统及测量方法
JP5740649B2 (ja) 画像測定装置、オートフォーカス制御方法及びオートフォーカス制御プログラム
US20220244037A1 (en) Measuring apparatus
CN207198665U (zh) 地面定位调控装置
KR101259448B1 (ko) 갠트리 이동 거리 보정 방법 및 시스템
JP6225719B2 (ja) 真直度測定装置、真直度測定方法、およびプログラム
KR102598858B1 (ko) 모발이식 영역의 좌표 데이터 생성 방법 및 장치
KR101284859B1 (ko) 판넬 정도 관리 시스템 및 그 방법
CN112747687B (zh) 线结构光视觉测量标定方法及系统
CN106990571A (zh) 取纸系统
CN117644294B (zh) 一种基于视觉预览引导的激光加工方法及控制装置
RU149699U1 (ru) Комплекс для совместной юстировки сканирующего лазерного дальномера и телевизионной камеры с применением трехмерной юстировочной мишени
CN112627567A (zh) 注浆设备、注浆设备的控制方法和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant