CN113223030A - 玻璃涂胶方法及装置、电子设备和储存介质 - Google Patents

玻璃涂胶方法及装置、电子设备和储存介质 Download PDF

Info

Publication number
CN113223030A
CN113223030A CN202110422260.8A CN202110422260A CN113223030A CN 113223030 A CN113223030 A CN 113223030A CN 202110422260 A CN202110422260 A CN 202110422260A CN 113223030 A CN113223030 A CN 113223030A
Authority
CN
China
Prior art keywords
glass
gluing
contour
outline
coated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110422260.8A
Other languages
English (en)
Inventor
李辉
魏海永
拱忠奇
张震
王帅
魏春生
丁有爽
邵天兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mech Mind Robotics Technologies Co Ltd
Original Assignee
Mech Mind Robotics Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mech Mind Robotics Technologies Co Ltd filed Critical Mech Mind Robotics Technologies Co Ltd
Priority to CN202110422260.8A priority Critical patent/CN113223030A/zh
Publication of CN113223030A publication Critical patent/CN113223030A/zh
Priority to PCT/CN2022/087776 priority patent/WO2022222934A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images

Abstract

本申请公开了一种玻璃涂胶方法。玻璃涂胶方法包括:获取矩形的待涂胶玻璃边缘的轮廓点云;将轮廓点云映射到二维平面以得到轮廓点;基于多个轮廓点获得待涂胶玻璃的轮廓四边形的角落处;根据角落处生成待涂胶玻璃的轮廓四边形;基于轮廓四边形生成待涂胶玻璃的涂胶路径;根据预设机器人固有属性以及机器人初始位姿,在涂胶路径上生成涂胶轨迹点信息;将涂胶轨迹点信息发送至机器人以对待涂胶玻璃进行涂胶。本申请可对矩形待涂胶玻璃的位置及形态进行精准识别,生成任意型号大小的矩形的玻璃涂胶轨迹点,无需提前示教轨迹点,也不用提前采集配准模板,使得未知型号的矩形玻璃也能够快速生成其涂胶轨迹进行涂胶,提高了玻璃涂胶的灵活性和通用性。

Description

玻璃涂胶方法及装置、电子设备和储存介质
技术领域
本申请涉及玻璃涂胶技术领域,尤其涉及一种玻璃涂胶方法及装置、电子设备和储存介质。
背景技术
由于玻璃材质与光照环境多变的原因,深度相机采集的玻璃点云往往会存在较为严重的点云缺失情况。在点云缺失情况下,一般可使用其对应型号的完整点云模板进行匹配,再基于匹配后的模板进行涂胶轨迹的求取。但实际中矩形物体尺寸众多,每次需要提前通信告知型号信息,不够灵活多变,并且有时当前的型号信息是未知的。
发明内容
本申请提供一种玻璃涂胶方法及装置、电子设备和储存介质。
本申请实施方式提出一种玻璃涂胶方法,包括:
获取矩形的待涂胶玻璃边缘的轮廓点云;
将所述轮廓点云映射到二维平面以得到多个轮廓点;
基于所述多个轮廓点获得所述待涂胶玻璃的轮廓四边形的角落处;
根据所述角落处生成所述待涂胶玻璃的轮廓四边形;
基于所述待涂胶玻璃的轮廓四边形,生成所述待涂胶玻璃的涂胶路径;
根据预设机器人固有属性以及所述机器人初始位姿,在所述涂胶路径上生成涂胶轨迹点信息;
将所述涂胶轨迹点信息发送至所述机器人以对所述待涂胶玻璃进行涂胶。
本申请实施方式的玻璃涂胶方法中,可以对矩形待涂胶玻璃的位置及形态进行精准识别,生成任意型号大小的矩形的玻璃涂胶轨迹点,无需提前示教轨迹点,也不用提前采集配准模板,使得未知型号的矩形玻璃也能够快速生成其涂胶轨迹进行涂胶,提高了玻璃涂胶的灵活性和通用性。
在某些实施方式中,所述基于所述多个轮廓点获得所述待涂胶玻璃的轮廓四边形的角落处,包括:
将所述多个轮廓点所形成图案的四个角落分别作为所述待涂胶玻璃的轮廓四边形的角落处;
所述根据所述角落处生成所述待涂胶玻璃的轮廓四边形,包括
基于至少三个所述角落中的所述轮廓点,形成至少三个所述角落中的所述轮廓点的最小外接矩形并作为所述轮廓四边形。
在某些实施方式中,所述基于所述多个轮廓点获得所述待涂胶玻璃的轮廓四边形的角落处,包括:
对所述多个轮廓点描述的四条边进行直线拟合;
根据直线拟合后的各边对应的直线的相交点得到四个角点,所述轮廓四边形的角落处包括所述角点;
所述根据所述角落处生成所述待涂胶玻璃的轮廓四边形,包括:
将采用直线依次连接所述四个角点所形成的图形作为所述轮廓四边形。
在某些实施方式中,所述基于所述待涂胶玻璃的轮廓四边形,生成所述待涂胶玻璃的涂胶路径,包括:
根据目标涂胶位置,对所述轮廓四边形的各边分别进行平移,生成所述待涂胶玻璃的涂胶路径。
在某些实施方式中,所述获取矩形的待涂胶玻璃边缘的轮廓点云,包括:
获取视觉传感器采集到的待涂胶玻璃的点云数据;
对所述点云数据进行点云滤波和离群点剔除,以获取所述待涂胶玻璃的点云模型;
根据所述点云模型,获取所述待涂胶玻璃边缘的轮廓点云。
在某些实施方式中,所述将所述轮廓点云映射到二维平面以得到多个轮廓点,包括:
对所述轮廓点云进行正交投影,以将所述轮廓点云映射到二维平面上,得到所述待涂胶玻璃边缘的轮廓点。
在某些实施方式中,所述根据预设机器人固有属性以及所述机器人初始位姿,在所述涂胶路径上生成涂胶轨迹点信息,包括:
确定所述涂胶路径中的拐角处和直线处;
根据所述机器人的出胶速率、运动速度在所述拐弯处以及所述直线处以相应密度设置涂胶轨迹点;
根据所述机器人初始位姿确定所述涂胶轨迹点的走位顺序,以得到所述涂胶轨迹点信息。
本申请实施方式还提出一种玻璃涂胶装置,所述玻璃涂胶装置包括轮廓点云获取模块、轮廓点获取模块、角落处获取模块、轮廓四边形获取模块、涂胶路径生产模块、涂胶轨迹点生成模块和发送模块。所述轮廓点云获取模块用于获取矩形的待涂胶玻璃边缘的轮廓点云;所述轮廓点获取模块用于将所述轮廓点云映射到二维平面以得到多个轮廓点;所述角落处获取模块用于基于所述多个轮廓点获得所述待涂胶玻璃的轮廓四边形的角落处;所述轮廓四边形获取模块用于根据所述角落处生成所述待涂胶玻璃的轮廓四边形;所述涂胶路径生产模块用于基于所述轮廓四边形,生成所述待涂胶玻璃的涂胶路径;所述涂胶轨迹点生成模块用于根据预设机器人固有属性以及所述机器人初始位姿,在所述涂胶路径上生成涂胶轨迹点信息;所述发送模块用于将所述涂胶轨迹点信息发送至所述机器人以对所述待涂胶玻璃进行涂胶。
本申请实施方式还提出一种电子设备,所述电子设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述实施方式中任一项所述的玻璃涂胶方法。
本申请实施方式还提出一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现上述实施方式中任一项所述的玻璃涂胶方法。
本申请的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:
图1是本申请实施方式的玻璃涂胶方法的流程示意图;
图2是本申请实施方式的玻璃涂胶装置的模块示意图;
图3是本申请实施方式的电子设备的模块示意图;
图4是本申请实施方式的玻璃涂胶的最小外接矩形的二维示意图;
图5是本申请实施方式的玻璃涂胶的直线拟合的二维示意图;
图6是本申请实施方式的玻璃涂胶方法的涂胶路径的示意图;
图7是本申请实施方式的玻璃涂胶方法的流程示意图;
图8是本申请实施方式的玻璃涂胶方法的流程示意图;
图9是本申请实施方式的玻璃涂胶方法的流程示意图;
图10是本申请实施方式的玻璃涂胶方法的流程示意图;
图11是本申请实施方式的玻璃涂胶方法的流程示意图;
图12是本申请实施方式的玻璃涂胶方法的流程示意图。
具体实施方式
下面详细描述本申请的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本申请,而不能理解为对本申请的限制。
在本申请的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本申请的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接或可以相互通讯;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。
在本申请中,除非另有明确的规定和限定,第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触,也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且,第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方,或仅仅表示第一特征水平高度小于第二特征。
下文的公开提供了许多不同的实施方式或例子用来实现本申请的不同结构。为了简化本申请的公开,下文中对特定例子的部件和设置进行描述。当然,它们仅仅为示例,并且目的不在于限制本申请。此外,本申请可以在不同例子中重复参考数字和/或参考字母,这种重复是为了简化和清楚的目的,其本身不指示所讨论各种实施方式和/或设置之间的关系。此外,本申请提供了的各种特定的工艺和材料的例子,但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
请参阅图1,本申请实施方式提出一种玻璃涂胶方法,玻璃涂胶方法包括:
步骤S10:获取矩形的待涂胶玻璃边缘的轮廓点云;
步骤S20:将轮廓点云映射到二维平面以得到多个轮廓点;
步骤S30:基于多个轮廓点获得待涂胶玻璃的轮廓四边形的角落处;
步骤S40:根据角落处生成待涂胶玻璃的轮廓四边形;
步骤S50:基于待涂胶玻璃的轮廓四边形,生成待涂胶玻璃的涂胶路径;
步骤S60:根据预设机器人固有属性以及机器人初始位姿,在涂胶路径上生成涂胶轨迹点信息;
步骤S70:将涂胶轨迹点信息发送至机器人以对待涂胶玻璃进行涂胶。
请参阅图2,本申请实施方式还提出一种玻璃涂胶装置100,上述玻璃涂胶方法可以由玻璃涂胶装置100实现。玻璃涂胶装置100包括轮廓点云获取模块110、轮廓点获取模块120、角落处获取模块130、轮廓四边形获取模块140、涂胶路径生产模块150、涂胶轨迹点生成模块160和发送模块170。步骤S10可以由轮廓点云获取模块110实现,步骤S20可以由轮廓点获取模块120实现,步骤S30可以由角落处获取模块130实现,步骤S40可以由轮廓四边形获取模块140实现,步骤S50可以由涂胶路径生产模块150实现,步骤S60可以由涂胶轨迹点生成模块160实现,步骤S70可以由发送模块170实现。
或者说,轮廓点云获取模块110用于获取矩形的待涂胶玻璃边缘的轮廓点云;轮廓点获取模块120用于将轮廓点云映射到二维平面以得到多个轮廓点;角落处获取模块130用于基于多个轮廓点获得待涂胶玻璃的轮廓四边形的角落处;轮廓四边形获取模块140用于根据角落处生成待涂胶玻璃的轮廓四边形;涂胶路径生产模块150用于基于待涂胶玻璃的轮廓四边形,生成待涂胶玻璃的涂胶路径;涂胶轨迹点生成模块160用于根据预设机器人固有属性以及机器人初始位姿,在涂胶路径上生成涂胶轨迹点信息;发送模块170用于将涂胶轨迹点信息发送至机器人以对待涂胶玻璃进行涂胶。
请参阅图3,本申请实施方式还提出了一种电子设备200,电子设备包括存储器210、处理器220及存储在存储器210上并可在处理器220上运行的计算机程序,处理器执行计算机程序时实现上述实施方式中任一项的玻璃涂胶方法。
本申请实施方式的玻璃涂胶方法中,可以对矩形待涂胶玻璃的位置及形态进行精准识别,生成任意型号大小的矩形的玻璃涂胶轨迹点,无需提前示教轨迹点,也不用提前采集配准模板,使得未知型号的矩形玻璃也能够快速生成其涂胶轨迹进行涂胶,提高了玻璃涂胶的灵活性和通用性。
具体地,本申请实施方式中,待涂胶玻璃为矩形玻璃,矩形玻璃的型号大小不作具体限制。待涂胶玻璃表面可以为平面,还可以为类平面,具体可以为较为平缓的凹面、凸面,例如平弧面、平凹面,或者还可以为同时具备凹凸起伏的类平面,本申请不作具体限制。当然,在其他实施方式中,待涂胶玻璃也可以为其他形状,本申请以矩形玻璃为例。
在步骤S10中,轮廓点云获取模块110可以通过视觉传感器实现对待涂胶玻璃边缘的轮廓点云进行获取。视觉传感器可以为3D工业相机,3D工业相机一般装配有两个镜头,分别从不同的角度捕捉物体,经过处理后能够实现物体的三维图像的展示。将待涂胶玻璃置于视觉传感器的下方,两个镜头同时拍摄,根据所得到的两个图像的相对姿态参数,使用通用的双目立体视觉算法计算出待涂胶玻璃的各点的X、Y、Z坐标值及各点的坐标朝向,进而转变为待涂胶玻璃的点云数据。将获取到的待涂胶玻璃的点云数据中处于边缘的部分进行截取,得到待涂胶玻璃边缘的轮廓点云。
在步骤S20中,由于获得的待涂胶玻璃边缘的轮廓点云是三维点云数据,而三维点云数据会由于各种外界或内在因素而影响玻璃边缘轮廓的确定。为此,为了能够更加精准的明确玻璃边缘的轮廓,可对待涂胶玻璃边缘的轮廓点云进行投影,将上述轮廓点云映射到二维平面上,得到待涂胶玻璃边缘的轮廓点。由于此时待涂胶玻璃边缘的轮廓点是二维数据,基于该二维数据可以更加清楚地明确该待涂胶玻璃边缘的轮廓点。此外,对数据进行降维度处理,滤除对轮廓影响较小的维度对应的数据,这有助于减小数据处理量进而加速数据处理速度,提高效率。
在步骤S30中,三维轮廓点云经过上述步骤S20的降维处理,变成了在二维平面上的二维轮廓点,此时所描述的多个轮廓点处于同一平面上紧密排布,从所得到的待涂胶玻璃的二维图案中可以获取到待涂胶玻璃的四个角落处的轮廓点。
在步骤S40中,根据上述待涂胶玻璃四个角落处的轮廓点,得到待涂胶玻璃的最小外接矩形,将该最小外接矩形看作待涂胶玻璃的轮廓四边形。
或者将四个角落处的轮廓点按照从左到右、从上到下的顺序顺时针依次连接,形成待涂胶玻璃的边缘线,将边缘线围成的四边形看作待涂胶玻璃的轮廓四边形。
在步骤S50中,上述待涂胶玻璃的轮廓四边形的位置即可看作为待涂胶玻璃的目标涂胶位置,可以将轮廓四边形边缘线进行适当的内缩或外伸,进而得到待涂胶玻璃的涂胶路径。
在步骤S60中,在得到上述待涂胶玻璃的涂胶路径之后,可对预设机器人的固有属性以及其初始位姿进行确定。同时,根据上述待涂胶玻璃的涂胶路径求取涂胶轨迹点的信息。
可以理解的是,机器人固有属性无法更改,机器人固有属性可以体现为实际移动过程中的运动速度、出胶速率等;机器人初始位姿的参考用于避免机器人在实际移动过程中走多余的轨迹,有利于机器人移动的合理顺畅。同时,可根据实际现场机器人固有属性的情况生成涂胶轨迹点信息,以达到更好的涂胶效果。涂胶轨迹点信息可包括但不限于涂胶轨迹点的坐标、涂胶轨迹点的初始轨迹点坐标、涂胶轨迹点的走位顺序以及涂胶轨迹点对应的运动速度参数等。
在步骤S70中,在得到待涂胶玻璃的涂胶轨迹点信息之后,可采用通信方式将上述涂胶轨迹点信息发送至机器人。机器人在接收到涂胶轨迹点信息后,可基于涂胶轨迹点信息,控制自身的出胶口对待涂胶玻璃进行涂胶。
请参阅图7,在某些实施方式中,基于多个轮廓点获得待涂胶玻璃的轮廓四边形的角落处(步骤S30)包括:
步骤S31:将多个轮廓点所形成图案的四个角落分别作为待涂胶玻璃的轮廓四边形的角落处;
根据角落处生成待涂胶玻璃的轮廓四边形(步骤S40)包括
步骤S41:基于至少三个角落中的轮廓点,形成至少三个角落中的轮廓点的最小外接矩形并作为轮廓四边形。
在某些实施方式中,步骤S31可以通过角落处获取模块实现,步骤S41可以通过轮廓四边形获取模块实现。角落处获取模块用于将多个轮廓点所形成图案的四个角落分别作为待涂胶玻璃的轮廓四边形的角落处;轮廓四边形获取模块用于基于至少三个角落中的轮廓点,形成至少三个角落中的轮廓点的最小外接矩形并作为轮廓四边形。
具体地,在步骤S31中,如图4所示,三维轮廓点云经过降维处理,变成了在二维平面上的多个轮廓点,多个轮廓点在平面上紧密排布。由于多个轮廓点所描述的图案为矩形待涂胶玻璃的边缘轮廓,因此可以得到四个角落处。
在步骤S41中,如图4所示,每个角落处内都含有多个轮廓点,在每个角落处中选取一个轮廓点作为基准点,该基准点可以为所处的角落处中最角落的一个轮廓点。进一步地,矩形玻璃的左上角角落处的基准点为第一基准点01,右上角角落处的基准点为第二基准点02,右下角角落处的基准点为第三基准点03,左下角角落处的基准点为第四基准点04。每个基准点都可以沿X向和Y向延伸,根据其中至少三个基准点能够确定一个最小外接矩形,该最小外接矩形内包括有全部的基准点。例如,首先确定第一基准点01和第二基准点02,将第一基准点01与第二基准点02连线形成第一条边,由第二基准点02向垂直第一条边方向连线至右下角角落处,确定第三基准点03的位置,如此根据上述三个基准点能够确定该矩形玻璃轮廓点的最小外接矩形。当然,也可以根据四个基准点进行最小外接矩形的求取。可以将该最小外接矩形作为待涂胶玻璃的轮廓四边形。
请参阅图8,在某些实施方式中,基于多个轮廓点获得待涂胶玻璃的轮廓四边形的角落处(步骤S30)还包括:
步骤S33:对多个轮廓点描述的四条边进行直线拟合;
步骤S34:根据直线拟合后的各边对应的直线的相交点得到四个角点,轮廓四边形的角落处包括角点;
根据角落处生成待涂胶玻璃的轮廓四边形(步骤S40)包括:
步骤S43:将采用直线依次连接四个角点所形成的图形作为轮廓四边形。
在某些实施方式中,步骤S33-步骤S34可以由角落处获取模块实现,步骤S43可以由轮廓四边形获取模块实现。角落处获取模块用于对多个轮廓点描述的四条边进行直线拟合,根据直线拟合后的各边对应的直线的相交点得到四个角点,轮廓四边形的角落处包括角点;轮廓四边形获取模块用于将采用直线依次连接四个角点所形成的图形作为轮廓四边形。
具体地,在步骤S33中,如图5所示,在获得待涂胶玻璃边缘的轮廓点之后,对轮廓点所描述的待涂胶玻璃的每条边进行噪点去除和平滑处理,根据各边的轮廓点拟合成各边对应的边缘线P,边缘线P可以为包含轮廓点最多的那条直线。进一步地,当待涂胶玻璃为非标准平面的玻璃时,还需要求取各边的中部的轮廓点来确定各边所在的位置。此时矩形待涂胶玻璃的两侧微微翘起、中部贴合放置的平面侧视呈弧线状,同时相机从玻璃的非正上方角度拍摄,如此由于角度问题,所拍摄的图像边缘整体存在畸变,而在边中部贴合放置面处不存在畸变。
在步骤S34中,如图5所示,根据拟合出的四条边缘线P,四条边缘线P能够相交,由此可以形成四个交点O。
在步骤S43中,如图5所示,将上述四个交点依次用直线连接,能够得到一个四边形,可以将该四边形看作为待涂胶玻璃的轮廓四边形。
请参阅图9,在某些实施方式中,基于待涂胶玻璃的轮廓四边形,生成待涂胶玻璃的涂胶路径(步骤S50)包括:
步骤S51:根据目标涂胶位置,对轮廓四边形的各边分别进行平移,生成待涂胶玻璃的涂胶路径(如图X的涂胶线N所示)。
在某些实施方式中,步骤S51可以由涂胶路径生成模块实现。涂胶路径生成模块用于根据目标涂胶位置,对轮廓四边形的各边分别进行平移,生成待涂胶玻璃的涂胶路径。
具体地,如图6所示(图中边线W为虚线,涂胶线N为实线),在步骤S51中,待涂胶玻璃的轮廓四边形的位置即可看作为待涂胶玻璃的目标涂胶位置。待涂胶玻璃的轮廓四边形皆含有边线W,将轮廓四边形各个边线W进行适当的内缩或外伸形成涂胶线N,由此涂胶线N能够构成一个较大或较小的四边形,进而可以将该四边形个涂胶线N的位置作为待涂胶玻璃的涂胶路径。进一步地,涂胶路径可根据实际需求中用户所要求的涂胶位置确定,即内缩或外伸的距离也需要有所限定,具体限定可根据实际情况确定,不能涂到待涂胶玻璃外,以及不能影响待涂胶玻璃的使用需求的部分。
请参阅图10,在某些实施方式中,获取矩形的待涂胶玻璃边缘的轮廓点云(步骤S10)包括:
步骤S11:获取视觉传感器采集到的待涂胶玻璃的点云数据;
步骤S12:对点云数据进行点云滤波和离群点剔除,以获取待涂胶玻璃的点云模型;
步骤S13:根据点云模型,获取待涂胶玻璃边缘的轮廓点云。
在某些实施方式中,步骤S11-步骤S13可以由轮廓点云获取模块110实现。轮廓点云获取模块110用于获取视觉传感器采集到的待涂胶玻璃的点云数据,对点云数据进行点云滤波和离群点剔除,以获取待涂胶玻璃的点云模型,根据点云模型,获取待涂胶玻璃边缘的轮廓点云。
具体地,在步骤S11中,视觉传感器对待涂胶玻璃进行图像采集,得到待涂胶玻璃的三维点云数据,对该三维点云数据进行处理,截取到待涂胶玻璃边缘的三维点云数据。
在步骤S12中,根据所截取到的三维点云数据对各点的信息进行点云滤波和离群点剔除的处理。点云滤波是将点云数据中所不需要的数据滤除的操作,离群点剔除,是抑制和防止干扰的一项重要措施。根据剩余所需的各点信息拟合成待涂胶玻璃的三维点云模型。
在步骤S13中,对上述三维点云模型进行轮廓分析,轮廓分析可以通过边缘检测技术、深度学习算法等技术实现,进而获取到待涂胶玻璃的轮廓点云。
需要说明的是,三维点云模型的建立、轮廓分析等可通过一些特殊算法实现,本申请中不作具体描述。
请参阅图11,在某些实施方式中,将轮廓点云映射到二维平面以得到多个轮廓点(步骤S20)包括:
步骤S21:对轮廓点云进行正交投影,以将轮廓点云映射到二维平面上,得到待涂胶玻璃边缘的轮廓点。
在某些实施方式中,步骤S21可以由轮廓点获取模块120实现。轮廓点获取模块120用于对轮廓点云进行正交投影,以将轮廓点云映射到二维平面上,得到待涂胶玻璃边缘的轮廓点。
具体地,在步骤S21中,待涂胶玻璃可能为非标准平面的玻璃,例如,玻璃某一角或者玻璃两端稍微翘起(下沉)使某些边形成弧线,即对应部分在空间中高度上呈弧线。由于成像原理原因,通过视觉传感器在非垂直角度上拍出的上述弧线对应的点,其所描述的边是非标准直线。因此,可以将上述待涂胶玻璃边缘的轮廓点云中的各点沿Z向进行正交投影操作,进而对轮廓点云进行降维度处理,从而将各轮廓点云映射到二维平面上,进而可以得到上述待涂胶玻璃边缘的二维轮廓点。
请参阅图12,在某些实施方式中,根据预设机器人固有属性以及机器人初始位姿,在涂胶路径上生成涂胶轨迹点信息(步骤S60)包括:
步骤S61:确定涂胶路径中的拐角处和直线处;
步骤S62:根据机器人的出胶速率、运动速度在拐弯处以及直线处以相应密度设置涂胶轨迹点;
步骤S63:根据机器人初始位姿确定涂胶轨迹点的走位顺序,以得到涂胶轨迹点信息。
在某些实施方式中,步骤S61-步骤S63可以由涂胶轨迹生成模块实现。涂胶轨迹生成模块用于确定涂胶路径中的拐角处和直线处,根据机器人的出胶速率、运动速度在拐弯处以及直线处以相应密度设置涂胶轨迹点及根据机器人初始位姿确定涂胶轨迹点的走位顺序,以得到涂胶轨迹点信息。
具体地,在步骤S61中,由于待涂胶玻璃的形状原因,使得涂胶路径上可能存在拐弯处和直线处。而为了能够保证拐弯处的涂胶效果与直线处的涂胶效果尽可能保持一致,防止拐弯处造成堆胶情况,可以根据涂胶路径上各个轮廓点的坐标值之间的关系,来确定涂胶路径上的拐角处和直线处以达到更好的涂胶效果。例如,拐角处相邻轮廓点的X坐标和Y坐标均会不一样,而直线处相邻轮廓点的X坐标会一样或Y坐标会一样。
在步骤S62中,待涂胶位置上的各个轮廓点处的涂胶密度最好保持一致,如此能够使得待涂胶玻璃能够更牢固的粘贴在对应的位置上。涂胶密度可以通过机器人的出胶速率、运动速度等多方面因素同时控制,而机器人的出胶速率、运动速度作为机器人的固有属性,可通过涂胶过程中直线处和拐弯处分别对应设置。机器人在拐弯处的运动速率小于直线处的运动速率,则出胶口在拐弯处的出胶速率也应小于直线处的出胶速率。根据上述机器人的固有属性进行涂胶轨迹点的确定。
在步骤S63中,为了使得机器人走更少的多余轨迹,可设置涂胶轨迹点的初始点为靠近机器人初始位姿的点,例如可以为待涂胶玻璃的靠近机器人那条边的中间部位对应的轨迹点。也就是说,在确定上述机器人的初始位姿之后,可将距离该机器人的初始位姿最近的那条边的涂胶路径上的中间点对应的轨迹点(或者距离该点最近的轨迹点)作为涂胶轨迹点的初始轨迹点,之后,可以顺时针走位其他轨迹点,也可以逆时针走位其他轨迹点。
进一步地,对玻璃涂胶一圈需要考虑避免机器人手臂末轴回转问题(机器人手臂末轴与出胶头固定连接),该问题受涂胶轨迹点顺、逆时针走向影响。如果机器人从初始涂胶轨迹点运动到结束涂胶轨迹点走向为顺时针,若上述机器人末关节角度增加360度,上述机器人可不回转的到达,则涂胶轨迹点走向确定为顺时针即可,否则需调整轨迹点走向为逆时针。
综上所述,本申请实施方式中的玻璃涂胶方法,具体可以为将待涂胶玻璃被放置在传送带上,被通过该传送带将上述待涂胶玻璃传送到用于对该玻璃进行涂胶的机器人的下方,以便通过该机器人对该玻璃进行涂胶。在通过该机器人对该玻璃进行涂胶之前,可实时通过视觉传感器对上述待涂胶玻璃进行图像采集,以得到上述待涂胶玻璃的点云数据,并通过电子设备对视觉传感器采集到的点云数据进行点云过滤、去除离群点等精细操作,以形成较为精确的点云模型,进而提取该待涂胶玻璃的点云模型中的边缘轮廓点,以得到该待涂胶玻璃边缘的轮廓点云。然后,将上述轮廓点云进行正交投影操作,以将上述轮廓点云映射到二维平面上,以得到上述待涂胶玻璃的二维轮廓点。之后,对二维轮廓点所描述的轮廓边进行噪点去除、平滑操作,然后再进行直线拟合,以拟合得到针对上述待涂胶玻璃的涂胶路径,然后,根据机器人的固有属性以及初始位姿,在上述涂胶路径上设置涂胶轨迹点,进而将涂胶轨迹点信息发送给上述机器人,以便上述机器人基于上述涂胶轨迹点信息控制自身出胶口对上述待涂胶玻璃进行涂胶。
本申请实施方式还提出一种计算机可读存储介质,其上存储有计算机程序,其特征在于,计算机程序被处理器执行时实现上述实施方式中任一项的玻璃涂胶方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,程序可存储于一非易失性计算机可读存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读存储介质中。其中,存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等。
根据本申请实施方式的电子设备及储存介质的其他构成以及操作对于本领域普通技术人员而言都是已知的,这里不再详细描述。
在本说明书的描述中,参考术语“一个实施方式”、“某些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施方式,本领域的普通技术人员可以理解:在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型,本申请的范围由权利要求及其等同物限定。

Claims (10)

1.一种玻璃涂胶方法,其特征在于,包括:
获取矩形的待涂胶玻璃边缘的轮廓点云;
将所述轮廓点云映射到二维平面以得到多个轮廓点;
基于所述多个轮廓点获得所述待涂胶玻璃的轮廓四边形的角落处;
根据所述角落处生成所述待涂胶玻璃的轮廓四边形;
基于所述待涂胶玻璃的轮廓四边形,生成所述待涂胶玻璃的涂胶路径;
根据预设机器人固有属性以及所述机器人初始位姿,在所述涂胶路径上生成涂胶轨迹点信息;
将所述涂胶轨迹点信息发送至所述机器人以对所述待涂胶玻璃进行涂胶。
2.根据权利要求1所述的玻璃涂胶方法,其特征在于,所述基于所述多个轮廓点获得所述待涂胶玻璃的轮廓四边形的角落处,包括:
将所述多个轮廓点所形成图案的四个角落分别作为所述待涂胶玻璃的轮廓四边形的角落处;
所述根据所述角落处生成所述待涂胶玻璃的轮廓四边形,包括
基于至少三个所述角落中的所述轮廓点,形成至少三个所述角落中的所述轮廓点的最小外接矩形并作为所述轮廓四边形。
3.根据权利要求1所述的玻璃涂胶方法,其特征在于,所述基于所述多个轮廓点获得所述待涂胶玻璃的轮廓四边形的角落处,包括:
对所述多个轮廓点描述的四条边进行直线拟合;
根据直线拟合后的各边对应的直线的相交点得到四个角点,所述轮廓四边形的角落处包括所述角点;
所述根据所述角落处生成所述待涂胶玻璃的轮廓四边形,包括:
将采用直线依次连接所述四个角点所形成的图形作为所述轮廓四边形。
4.根据权利要求1所述的玻璃涂胶方法,其特征在于,所述基于所述待涂胶玻璃的轮廓四边形,生成所述待涂胶玻璃的涂胶路径,包括:
根据目标涂胶位置,对所述轮廓四边形的各边分别进行平移,生成所述待涂胶玻璃的涂胶路径。
5.根据权利要求1所述的玻璃涂胶方法,其特征在于,所述获取矩形的待涂胶玻璃边缘的轮廓点云,包括:
获取视觉传感器采集到的待涂胶玻璃的点云数据;
对所述点云数据进行点云滤波和离群点剔除,以获取所述待涂胶玻璃的点云模型;
根据所述点云模型,获取所述待涂胶玻璃边缘的轮廓点云。
6.根据权利要求1所述的玻璃涂胶方法,其特征在于,所述将所述轮廓点云映射到二维平面以得到多个轮廓点,包括:
对所述轮廓点云进行正交投影,以将所述轮廓点云映射到二维平面上,得到所述待涂胶玻璃边缘的轮廓点。
7.根据权利要求1-6任一项所述的玻璃涂胶方法,其特征在于,所述根据预设机器人固有属性以及所述机器人初始位姿,在所述涂胶路径上生成涂胶轨迹点信息,包括:
确定所述涂胶路径中的拐角处和直线处;
根据所述机器人的出胶速率、运动速度在所述拐弯处以及所述直线处以相应密度设置涂胶轨迹点;
根据所述机器人初始位姿确定所述涂胶轨迹点的走位顺序,以得到所述涂胶轨迹点信息。
8.一种玻璃涂胶装置,其特征在于,包括:
轮廓点云获取模块,用于获取矩形的待涂胶玻璃边缘的轮廓点云;
轮廓点获取模块,用于将所述轮廓点云映射到二维平面以得到多个轮廓点;
角落处获取模块,用于基于所述多个轮廓点获得所述待涂胶玻璃的轮廓四边形的角落处;
轮廓四边形获取模块,用于根据所述角落处生成所述待涂胶玻璃的轮廓四边形;
涂胶路径生产模块,用于基于所述待涂胶玻璃的轮廓四边形,生成所述待涂胶玻璃的涂胶路径;
涂胶轨迹点生成模块,用于根据预设机器人固有属性以及所述机器人初始位姿,在所述涂胶路径上生成涂胶轨迹点信息;
发送模块,用于将所述涂胶轨迹点信息发送至所述机器人以对所述待涂胶玻璃进行涂胶。
9.一种电子设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的玻璃涂胶方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的玻璃涂胶方法。
CN202110422260.8A 2021-04-20 2021-04-20 玻璃涂胶方法及装置、电子设备和储存介质 Pending CN113223030A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110422260.8A CN113223030A (zh) 2021-04-20 2021-04-20 玻璃涂胶方法及装置、电子设备和储存介质
PCT/CN2022/087776 WO2022222934A1 (zh) 2021-04-20 2022-04-19 玻璃涂胶方法、玻璃涂胶装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110422260.8A CN113223030A (zh) 2021-04-20 2021-04-20 玻璃涂胶方法及装置、电子设备和储存介质

Publications (1)

Publication Number Publication Date
CN113223030A true CN113223030A (zh) 2021-08-06

Family

ID=77087974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110422260.8A Pending CN113223030A (zh) 2021-04-20 2021-04-20 玻璃涂胶方法及装置、电子设备和储存介质

Country Status (1)

Country Link
CN (1) CN113223030A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022222934A1 (zh) * 2021-04-20 2022-10-27 梅卡曼德(北京)机器人科技有限公司 玻璃涂胶方法、玻璃涂胶装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107808415A (zh) * 2017-11-17 2018-03-16 中国科学院合肥物质科学研究院 基于机器视觉的鞋底边缘轨迹及涂胶位姿提取方法
CN111369593A (zh) * 2020-03-16 2020-07-03 梅卡曼德(北京)机器人科技有限公司 玻璃涂胶方法、装置、电子设备和存储介质
WO2020181970A1 (zh) * 2019-03-11 2020-09-17 广汽本田汽车有限公司 一种汽车挡风玻璃涂胶系统
CN112465767A (zh) * 2020-11-25 2021-03-09 南京熊猫电子股份有限公司 一种工业机器人鞋底涂胶轨迹提取方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107808415A (zh) * 2017-11-17 2018-03-16 中国科学院合肥物质科学研究院 基于机器视觉的鞋底边缘轨迹及涂胶位姿提取方法
WO2020181970A1 (zh) * 2019-03-11 2020-09-17 广汽本田汽车有限公司 一种汽车挡风玻璃涂胶系统
CN111369593A (zh) * 2020-03-16 2020-07-03 梅卡曼德(北京)机器人科技有限公司 玻璃涂胶方法、装置、电子设备和存储介质
CN112465767A (zh) * 2020-11-25 2021-03-09 南京熊猫电子股份有限公司 一种工业机器人鞋底涂胶轨迹提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘国华: "HALCON数字图像处理", 西安电子科技大学出版社, pages: 87 - 89 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022222934A1 (zh) * 2021-04-20 2022-10-27 梅卡曼德(北京)机器人科技有限公司 玻璃涂胶方法、玻璃涂胶装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN111369593B (zh) 玻璃涂胶方法、装置、电子设备和存储介质
US8249334B2 (en) Modeling of humanoid forms from depth maps
US9159134B2 (en) Method and apparatus for estimating a pose
JP5854815B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP5567908B2 (ja) 3次元計測装置、その計測方法及びプログラム
US9047507B2 (en) Upper-body skeleton extraction from depth maps
CN113199479B (zh) 轨迹生成方法、装置、电子设备、存储介质和3d相机
CN113199480B (zh) 轨迹生成方法、装置、电子设备、存储介质和3d相机
WO2022222515A1 (zh) 基于机器人视觉的物品表面涂胶方法、装置、设备和介质
JP2009536731A5 (zh)
US20140111507A1 (en) 3-dimensional shape reconstruction device using depth image and color image and the method
JP2016099257A (ja) 情報処理装置及び情報処理方法
JP2014063475A (ja) 情報処理装置、情報処理方法、及びコンピュータプログラム
CN113344769A (zh) 基于机器视觉的物品3d图像信息获取方法、装置、介质
US9569850B2 (en) System and method for automatically determining pose of a shape
CN113706621B (zh) 基于带标记图像的标志点定位及姿态获取方法和系统
JP6984633B2 (ja) 対象物の位置姿勢を検出する装置、方法およびプログラム
US20150348269A1 (en) Object orientation estimation
Chaudhury et al. Using collocated vision and tactile sensors for visual servoing and localization
CN113189934A (zh) 轨迹生成方法、装置、电子设备、存储介质和3d相机
CN113223030A (zh) 玻璃涂胶方法及装置、电子设备和储存介质
CN115816471A (zh) 多视角3d视觉引导机器人的无序抓取方法、设备及介质
WO2016112019A1 (en) Method and system for providing depth mapping using patterned light
Azad et al. Accurate shape-based 6-dof pose estimation of single-colored objects
CN113223029A (zh) 玻璃涂胶方法、玻璃涂胶装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination