CN110976212B - 打胶机器人的视觉引导方法、装置和系统 - Google Patents
打胶机器人的视觉引导方法、装置和系统 Download PDFInfo
- Publication number
- CN110976212B CN110976212B CN201911319510.4A CN201911319510A CN110976212B CN 110976212 B CN110976212 B CN 110976212B CN 201911319510 A CN201911319510 A CN 201911319510A CN 110976212 B CN110976212 B CN 110976212B
- Authority
- CN
- China
- Prior art keywords
- gluing
- point cloud
- sub
- dimensional point
- track
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
- B05C—APPARATUS FOR APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
- B05C5/00—Apparatus in which liquid or other fluent material is projected, poured or allowed to flow on to the surface of the work
- B05C5/02—Apparatus in which liquid or other fluent material is projected, poured or allowed to flow on to the surface of the work the liquid or other fluent material being discharged through an outlet orifice by pressure, e.g. from an outlet device in contact or almost in contact, with the work
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
- B05C—APPARATUS FOR APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
- B05C11/00—Component parts, details or accessories not specifically provided for in groups B05C1/00 - B05C9/00
- B05C11/10—Storage, supply or control of liquid or other fluent material; Recovery of excess liquid or other fluent material
- B05C11/1002—Means for controlling supply, i.e. flow or pressure, of liquid or other fluent material to the applying apparatus, e.g. valves
- B05C11/1015—Means for controlling supply, i.e. flow or pressure, of liquid or other fluent material to the applying apparatus, e.g. valves responsive to a conditions of ambient medium or target, e.g. humidity, temperature ; responsive to position or movement of the coating head relative to the target
- B05C11/1021—Means for controlling supply, i.e. flow or pressure, of liquid or other fluent material to the applying apparatus, e.g. valves responsive to a conditions of ambient medium or target, e.g. humidity, temperature ; responsive to position or movement of the coating head relative to the target responsive to presence or shape of target
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/087—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices for sensing other physical parameters, e.g. electrical or chemical properties
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
Abstract
本申请实施例提供了打胶机器人的视觉引导方法、装置和系统，涉及打胶设备技术领域，该视觉引导方法通过获取三维点云传感器发送的打胶区域的三维点云数据集合，将三维点云数据集合与预先标注有参考打胶轨迹的三维地图模型进行点云匹配，生成打胶区域基于相机坐标系的中间打胶轨迹；基于相机坐标系和机器人坐标系之间的相对位置关系，将相机坐标系的中间打胶轨迹转换为机器人坐标系下的最终打胶轨迹；根据最终打胶轨迹引导机械臂对打胶区域进行打胶。本申请能够精准识别出打胶区域的打胶点对应的打胶轨迹，实现机器人打胶时的打胶轨迹的精准规划，有利于提高打胶质量。
Description
技术领域
本申请涉及打胶设备技术领域，具体而言，本申请涉及一种打胶机器人的视觉引导方法、装置和系统，还涉及一种存储介质。
背景技术
随着人工智能技术的发展，机器人已在多个行业中得到广泛应用。例如，结构件与结构件之间的打胶粘结可以通过建筑配构件收口打胶机器人(下面称“打胶机器人”)来进行。打胶机器人的工作方式可以为：首先由BIM(Building Information Model，建筑信息模型系统)提供地图，打胶机器人携带的激光雷达提供定位服务，打胶机器人自动导航到预定工位。打胶机器人到达预定工位后，请求视觉服务器开启视觉精确定位导引服务，引导机械臂末端执行器精确完成打胶作业。
当前打胶机器人的六关节机械臂的定位方式主要通过2D相机和3D线激光轮廓传感器来实现。然而，2D相机虽然具有硬件成本低，算法成熟等优点，但只适用于固定平面的定位，无法满足建筑配构件收口打胶机器人三维空间定位的场景需求；3D线激光轮廓传感器具有定位精度高、可昼夜工作、算法成熟、鲁棒性强等优点，但3D线激光轮廓传感器每次拍摄只有一条激光线的图像信息，信息量小，难以及时准确地识别打胶点，从而影响打胶质量。
发明内容
本申请的目的旨在至少解决上述技术缺陷之一，特别是打胶点识别准确率低，影响打胶质量的问题。
第一方面，本申请实施例提供一种打胶机器人的视觉引导方法，包括以下步骤：
S1、获取三维点云传感器发送的打胶区域的三维点云数据集合，将所述三维点云数据集合与预先标注有参考打胶轨迹的三维地图模型进行点云匹配，生成所述打胶区域基于相机坐标系的中间打胶轨迹；
S2、基于相机坐标系和机器人坐标系之间的相对位置关系，将所述相机坐标系的中间打胶轨迹转换为机器人坐标系下的最终打胶轨迹；
S3、根据所述最终打胶轨迹引导机械臂对打胶区域进行打胶。
在一实施例中，所述步骤S1之前还包括：
比较所述三维地图模型中参考打胶轨迹的尺寸和所述三维点云传感器的视野范围；
当所述参考打胶轨迹的尺寸大于所述三维点云传感器视野范围下的情况下，基于所述三维点云传感器的视野范围将所述参考打胶轨迹划所在打胶区域划分为若干个子打胶区域；
所述步骤S1包括：
至少获取三维点云传感器发送的起始子打胶区域和终止子打胶区域的子三维点云数据集合，将所述子三维点云数据集合分别与三维地图模型进行点云匹配得到子中间打胶轨迹，将所述子中间打胶轨迹拼接为中间打胶轨迹。
在一实施例中，所述比较所述三维地图模型中参考打胶轨迹的尺寸范围和点云传感器的视野范围步骤之后，还包括：
获取所述三维地图模型中预先标注的参考打胶轨迹的线型信息；
当所述参考打胶轨迹为曲线型时，至少获取三维点云传感器发送的起始子打胶区域和终止子打胶区域的子三维点云数据集合包括：获取三维点云传感器发送的每个子打胶区域的子三维点云数据；
当所述参考打胶轨迹为直线型时，至少获取三维点云传感器发送的起始子打胶区域和终止子打胶区域的子三维点云数据集合包括：获取起始子打胶区域的子点云数据集合和终止子打胶区域的子点云数据集合。
在一实施例中，当所述参考打胶轨迹为弯折直线型时，至少获取三维点云传感器发送的起始子打胶区域和终止子打胶区域的子三维点云数据集合包括：分别获取起始子打胶区域、弯折子打胶区域和终止子打胶区域的子点云数据集合。
在一实施例中，所述获取所述三维地图模型中预先标注的参考打胶轨迹线型信息的步骤包括：
获取打胶机器人在所述三维地图模型中的位置信息；
根据所述打胶机器人在所述三维地图模型中的位置信息判断打胶轨迹是曲线型还是直线型打胶轨迹。
在一实施例中，所述至少获取三维点云传感器发送的起始子打胶区域和终止子打胶区域的子三维点云数据集合的步骤包括：
判断是否接收到三维点云传感器发送的起始子打胶区域和终止子打胶区域的子三维点云数据；
当没有接收到起始子打胶区域的子三维点云数据时，移动三维点云传感器到下一个子打胶区域获取子三维点云数据；
当没有接收到终止子打胶区域的子三维点云数据时，移动三维点云传感器到上一个子打胶区域获取子三维点云数据。
在一实施例中，所述将所述子三维点云数据集合分别与三维地图模型进行点云匹配得到子中间打胶轨迹的步骤包括：
判断子点云数据是否匹配到三维地图模型中参考打胶轨迹的终点；
如果匹配成功，终止获取下一个子打胶区域的子三维点云数据；
如果没有匹配成功，继续获取下一个子打胶区域的子三维点云数据。
在一实施例中，所述比较所述三维地图模型中参考打胶轨迹的尺寸范围和点云传感器的视野范围步骤之前，还包括：
获取打胶机器人在所述三维地图模型中的位置信息；
根据所述打胶机器人在所述三维地图模型中的位置信息获取所述三维地图模型中参考打胶轨迹的尺寸范围。
在一实施例中，所述步骤S1之前，还包括：
当打胶机器人靠近所述打胶区域，控制机械臂控制器发出高电平脉冲电信号，以触发所述三维点云传感器采集所述打胶区域的点云数据集合。
在一实施例中，所述步骤S3包括：
在控制所述机械臂控制器触发所述三维点云传感器采集所述打胶区域的点云数据集合的同时，获取机械臂末端执行器的当前位姿；
基于所述当前位姿，向机械臂控制器输出控制指令以控制移动所述机械臂末端执行器沿着所述最终打胶轨迹，以对所述打胶区域进行打胶。
在一实施例中，在步骤S2之前，还包括：
获取固定靶标的基于相机坐标系的点云信息；
调整机械臂的姿态，在不同机械臂的姿态下拍摄所述固定靶标，获得在不同姿态下的机器人末端执行器位姿；
根据所述点云信息和所述机器人末端执行器位姿进行手眼标定，确定所述相机坐标系和所述机器人坐标系之间的相对位置关系。
第二方面，本申请实施例还提供一种打胶机器人的视觉引导装置，包括：
中间打胶轨迹生成模块，用于获取三维点云传感器发送的打胶区域的三维点云数据集合，将所述三维点云数据集合与预先标注有参考打胶轨迹的三维地图模型进行点云匹配，生成所述打胶区域基于相机坐标系的中间打胶轨迹；
最终打胶轨迹转换模块，用于基于相机坐标系和机器人坐标系之间的相对位置关系，将所述相机坐标系的中间打胶轨迹转换为机器人坐标系下的最终打胶轨迹；
打胶引导模块，用于根据所述最终打胶轨迹引导机械臂对打胶区域进行打胶。
第三方面，本申请实施例还提供一种打胶机器人的视觉引导系统，包括：三维点云传感器以及后台服务器；
所述三维点云传感器，用于采集打胶区域的基于相机坐标系的点云数据集合并发送至所述后台服务器；
所述后台服务器，用于执行如第一方面任一实施例所述的打胶机器人的视觉引导方法的步骤。
第四方面，本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面任一实施例所述的打胶机器人的视觉引导方法的步骤。
上述实施例提供的打胶机器人的视觉引导方法、装置、系统及存储介质，通过获取三维点云传感器发送的打胶区域的三维点云数据集合，将三维点云数据集合与预先标注有参考打胶轨迹的三维地图模型进行点云匹配，生成打胶区域基于相机坐标系的中间打胶轨迹；基于相机坐标系和机器人坐标系之间的相对位置关系，将相机坐标系的中间打胶轨迹转换为机器人坐标系下的最终打胶轨迹；根据最终打胶轨迹引导机械臂对打胶区域进行打胶，从而能够精准识别出打胶区域的打胶点对应的打胶轨迹，实现机器人打胶轨迹的精准规划，有利于提高打胶质量。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是一实施例提供的打胶机器人的视觉引导方法的第一流程图；
图2是一实施例提供的打胶机器人的视觉引导方法的第二流程图；
图3是一实施例提供的打胶机器人的视觉引导方法的第三流程图；
图4是一实施例提供的运行轨迹地图示意图；
图5是一实施例提供的手眼标定的方法流程图；
图6是一实施例提供的打胶机器人的视觉引导装置的结构示意图；
图7是一实施例提供的打胶机器人的视觉引导系统的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
图1是一实施例提供的打胶机器人的视觉引导方法的第一流程图，该打胶机器人的视觉引导方法可以由打胶机器人的视觉引导系统来执行。如图1所示，该打胶机器人的视觉引导方法可以包括以下步骤：
S1、获取三维点云传感器发送的打胶区域的三维点云数据集合，将所述三维点云数据集合与预先标注有参考打胶轨迹的三维地图模型进行点云匹配，生成所述打胶区域基于相机坐标系的中间打胶轨迹。
其中，三维点云数据集合是基于相机坐标系下的三维坐标点数据的集合。对于相机坐标系，是指三维点云传感器所对应的工作坐标系。在实施例中，通过使用三维点云传感器对打胶区域进行拍照，对拍照得到的图像进行分析处理后得到打胶点在相机坐标系上的相机坐标(即点云数据，下同)集合。相机坐标系可以为三维坐标系。
在实施例中，通过建筑信息模型系统(Building Information Modeling，BIM系统)获取打胶区域的三维地图模型，三维地图模型预先标注有参考打胶轨迹。其中，BIM系统是以建筑工程项目的各项相关信息数据作为模型的基础，进行建筑模型的建立，通过数字信息仿真模拟建筑物所具有的真实信息。在实施例中，BIM系统存储有仿真模拟建筑物的标准数据，通过BIM系统可以对打胶区域的打胶作业进行导航。在本实施例中，三维地图模型可以由一系列的点组成。
进一步的，将三维点云数据集合与三维地图模型中的点一一进行匹配识别。由于在三维地图模型中打胶区域的打胶点的位置是已知且确定的，当完成匹配识别后，则可以确定打胶区域的打胶点基于相机坐标系下的具体位置，将这些基于相机坐标系下的打胶点进行组合生成中间打胶轨迹。
S2、基于相机坐标系和机器人坐标系之间的相对位置关系，将所述相机坐标系的中间打胶轨迹转换为机器人坐标系下的最终打胶轨迹。
其中，机器人坐标系是指打胶机器人的工作坐标系。在本实施例中，相机坐标系和机器人坐标系的各坐标存在一一对应关系，也即是，相机坐标系上的各个坐标可以转换为机器人坐标系的机器人坐标。
由于打胶机器人进行打胶作业是基于机器人坐标系进行定位，通过三维点云传感器获得的打胶区域基于相机坐标系下的中间打胶轨迹并不能满足打胶的定位需求，利用预先计算得到的相机坐标系与机器人基坐标系之间的相对位置关系，将基于相机坐标系下的中间打胶轨迹转换为基于机器人坐标系最终打胶轨迹，其中，最终打胶轨迹包括一些列基于机器人基坐标系下的机器人坐标的集合。
S3、根据所述最终打胶轨迹引导机械臂对打胶区域进行打胶。
在本实施例中，在打胶机器人对打胶区域进行打胶定位时，获取最终打胶轨迹的每一打胶点的机器人坐标，控制打胶机器人移动到相对应的位置，并控制打胶机器人的胶枪的胶嘴对准打胶点进行打胶。在打胶过程中，根据最终打胶轨迹控制移动打胶机器人的机械臂，以使得胶枪的胶嘴能够对准打胶区域进行打胶。
本实施例提供的打胶机器人的视觉引导方法，通过获取三维点云传感器发送的打胶区域的三维点云数据集合，将三维点云数据集合与预先标注有参考打胶轨迹的三维地图模型进行点云匹配，生成打胶区域基于相机坐标系的中间打胶轨迹；基于相机坐标系和机器人坐标系之间的相对位置关系，将相机坐标系的中间打胶轨迹转换为机器人坐标系下的最终打胶轨迹；根据最终打胶轨迹引导机械臂对打胶区域进行打胶，从而能够精准识别出打胶区域的打胶点对应的打胶轨迹，实现机器人打胶时的打胶轨迹的精准规划，有利于提高打胶质量。
图2是一实施例提供的打胶机器人的视觉引导方法的第二流程图，如图2所示，该打胶机器人的视觉引导方法可以包括以下步骤：
S01、比较所述三维地图模型中参考打胶轨迹的尺寸和所述三维点云传感器的视野范围。
由于三维点云传感器进行拍照采集三维点云数据的视野范围有限，使用三维点云传感器进行单次拍照可能不能覆盖到三维地图模型中的参考打胶轨迹的全部区域。在本实施例中，获取三维地图模型中参考打胶轨迹的尺寸以及三维点云传感器的视野范围，判断三维点云传感器单次拍照的视野范围是否可以覆盖三维地图模型中参考打胶轨迹所在区域。
S02、当所述参考打胶轨迹的尺寸大于所述三维点云传感器视野范围下的情况下，基于所述三维点云传感器的视野范围将所述参考打胶轨迹划所在打胶区域划分为若干个子打胶区域；
在确定参考打胶轨迹的尺寸大于三维点云传感器的单次拍照的视野范围时，说明三维点云传感器单次拍照的视野范围不能覆盖三维地图模型中参考打胶轨迹所在区域，此时基于该三维点云传感器的视野范围的大小，将参考打胶轨迹所在打胶区域划分为若干个子打胶区域，以使得三维点云传感器进行单次拍摄的视野范围能够覆盖每一子打胶区域。例如，参考打胶轨迹的尺寸为1米，三维点云传感器单次拍照的视野范围最大为0.4米，则基于该三维点云传感器的视野范围，可以将参考打胶轨迹所在打胶区域划分为至少三个子打胶区域，通过三维点云传感器对这三个子打胶区域分别进行拍照，以覆盖该参考打胶轨迹所在的打胶区域。
基于此，所述步骤S1包括以下步骤：
S11、至少获取三维点云传感器发送的起始子打胶区域和终止子打胶区域的子三维点云数据集合，将所述子三维点云数据集合分别与三维地图模型进行点云匹配得到子中间打胶轨迹，将所述子中间打胶轨迹拼接为中间打胶轨迹。
进一步的，将参考打胶轨迹所在打胶区域划分的子打胶区域至少包括起始子打胶区域和终止子打胶区域。其中，起始子打胶区域可以为参考打胶轨迹起始段的若干个打胶点所在的区域，终止子打胶区域可以为参考打胶轨迹终止段的若干个打胶点所在区域。
通过三维点云传感器采集起始子打胶区域的子三维点云数据集合以及终止子打胶区域的子三维点云数据集合，将起始子打胶区域的子三维点云数据集合与三维地图模型进行点云匹配得到起始子中间打胶轨迹，将终止子打胶区域的子三维点云数据集合与三维地图模型进行点云匹配得到终止子中间打胶轨迹。进一步的，将起始子中间打胶轨迹与终止子中间打胶轨迹进行拼接得到中间打胶轨迹，在一些实施例中，可以是仅通过起始子中间打胶轨迹与终止子中间打胶轨迹进行拼接得到中间打胶轨迹，在另一些实施例中，还可以通过将起始子中间打胶轨迹和终止子中间打胶轨迹分别拼接到其他打胶轨迹的两端得到中间打胶轨迹。
图3是一实施例提供的打胶机器人的视觉引导方法的第三流程图，如图3所示，在一实施例中，在步骤S01比较所述三维地图模型中参考打胶轨迹的尺寸范围和点云传感器的视野范围之后，还可以包括：
S011、获取所述三维地图模型中预先标注的参考打胶轨迹的线型信息。
在本实施例中，可以通过获取三维地图模型中的预先标注的参考打胶轨迹的线性信息，判断参考打胶轨迹是曲线型打胶轨迹，还是直线型打胶轨迹。
可选的，该步骤可以包括：获取打胶机器人在所述三维地图模型中的位置信息；根据所述打胶机器人在所述三维地图模型中的位置信息判断打胶轨迹是曲线型还是直线型打胶轨迹。
具体的，获取打胶机器人在三维地图模型中的位置信息，确定打胶机器人即将进行打胶的参考打胶轨迹，通常而言，将离打胶机器人最近的打胶轨迹作为即将进行打胶的参考打胶轨迹。进一步的，获取该参考打胶轨迹的曲率信息，根据该曲率信息判断打胶轨迹是曲线型打胶轨迹，还是直线型打胶轨迹。
S012、当所述参考打胶轨迹为曲线型时，至少获取三维点云传感器发送的起始子打胶区域和终止子打胶区域的子三维点云数据集合包括：获取三维点云传感器发送的每个子打胶区域的子三维点云数据。
当参考打胶轨迹为曲线型打胶轨迹时，确定该参考打胶轨迹划分的若干个子打胶区域后，通过三维点云传感器获取每个子打胶区域的子三维点云数据，以通过将每个子打胶区域的子三维点云数据与三维地图模型进行点云匹配得到每个子打胶区域对应的子中间打胶轨迹，将这些子中间打胶轨迹依次进行拼接，得到中间打胶轨迹。
S013、当所述参考打胶轨迹为直线型时，至少获取三维点云传感器发送的起始子打胶区域和终止子打胶区域的子三维点云数据集合包括：获取起始子打胶区域的子点云数据集合和终止子打胶区域的子点云数据集合。
当参考打胶轨迹为直线型打胶轨迹时，确定该参考打胶轨迹的起始子打胶区域和终止子打胶区域。将起始子打胶区域的子三维点云数据集合与三维地图模型进行点云匹配得到起始子中间打胶轨迹，将终止子打胶区域的子三维点云数据集合与三维地图模型进行点云匹配得到终止子中间打胶轨迹。进一步的，将起始子中间打胶轨迹与终止子中间打胶轨迹进行延伸和连接得到中间打胶轨迹。
进一步的，在一实施例中，S014、当所述参考打胶轨迹为弯折直线型时，至少获取三维点云传感器发送的起始子打胶区域和终止子打胶区域的子三维点云数据集合包括：分别获取起始子打胶区域、弯折子打胶区域和终止子打胶区域的子点云数据集合。
当参考打胶轨迹为弯折直线型打胶轨迹，确定该参考打胶轨迹的起始子打胶区域、弯折子打胶区域和终止子打胶区域。将起始子打胶区域的子三维点云数据集合与三维地图模型进行点云匹配得到起始子中间打胶轨迹，将弯折子打胶区域的子三维点云数据集合与三维地图模型进行点云匹配得到弯折子中间打胶轨迹，将终止子打胶区域的子三维点云数据集合与三维地图模型进行点云匹配得到终止子中间打胶轨迹。进一步的，分别将起始子中间打胶轨迹与弯折子中间打胶轨迹以及弯折子中间打胶轨迹与终止子中间打胶轨迹进行延伸和连接，得到中间打胶轨迹。
在一实施例中，步骤S11中的至少获取三维点云传感器发送的起始子打胶区域和终止子打胶区域的子三维点云数据集合可以包括以下子步骤：
S111、判断是否接收到三维点云传感器发送的起始子打胶区域和终止子打胶区域的子三维点云数据。
若三维点云传感器所拍摄的打胶区域为起始子打胶区域，则接收到三维点云传感器发送的起始子打胶区域的子三维点云数据，反之，则没有接收到起始子打胶区域的子三维点云数据。同理，若三维点云传感器所拍摄的打胶区域为终止子打胶区域，则接收到三维点云传感器发送的终止子打胶区域的子三维点云数据，反之，则没有接收到终止子打胶区域的子三维点云数据。
S112、当没有接收到起始子打胶区域的子三维点云数据时，移动三维点云传感器到下一个子打胶区域获取子三维点云数据。
通过三维点云传感器采集第一个子打胶区域的子三维点云数据，判断其是否起始子打胶区域的子三维点云数据，若不是，则移动三维点云传感器到下一个子打胶区域获取该子打胶区域的子三维点云数据，直至接收到起始子打胶区域的子三维点云数据为止。
S113、当没有接收到终止子打胶区域的子三维点云数据时，移动三维点云传感器到上一个子打胶区域获取子三维点云数据。
通过三维点云传感器采集最后一个子打胶区域的子三维点云数据，判断其是否终止子打胶区域的子三维点云数据，若不是，则移动三维点云传感器到上一个子打胶区域获取该子打胶区域的子三维点云数据，直至接收到终止子打胶区域的子三维点云数据为止。
在一实施例中，步骤S11中的将子三维点云数据集合分别与三维地图模型进行点云匹配得到子中间打胶轨迹的过程可以包括以下子步骤：
判断所述子点云数据是否匹配到三维地图中参考打胶轨迹的终点；如果匹配成功，终止获取下一个子打胶区域的子三维点云数据；如果没有匹配成功，继续获取下一个子打胶区域的子三维点云数据。
在对子打胶区域的子三维点云数据与三维地图模型中参考打胶轨迹进行匹配时，判断该子点云数据是否为参考打胶轨迹的终点对应的子点云数据，若匹配成功，说明匹配得到参考打胶轨迹的终点，无需获取下一子打胶区域的子三维点云数据，反之，说明还没有匹配得到参考打胶轨迹的终点，则继续获取下一个子打胶轨迹的子三维点云数据，判断其是否为参考打胶轨迹的终点对应的子点云数据，直至匹配到参考打胶轨迹的终点为止。
在一实施例中，在步骤S01的比较所述三维地图模型中参考打胶轨迹的尺寸范围和点云传感器的视野范围之前，还包括：
S00、获取打胶机器人在所述三维地图模型中的位置信息；根据所述打胶机器人在所述三维地图模型中的位置信息获取所述三维地图模型中参考打胶轨迹的尺寸范围。
具体的，获取打胶机器人在三维地图模型中的位置信息，确定打胶机器人即将进行打胶的参考打胶轨迹，通常而言，将离打胶机器人最近的打胶轨迹作为即将进行打胶的参考打胶轨迹。进一步的，确定参考打胶轨迹后，获取该参考打胶轨迹的尺寸范围。
在一实施例中，所述步骤S1之前，还包括以下步骤：
S010、当打胶机器人靠近所述打胶区域，控制机械臂控制器发出高电平脉冲电信号，以触发所述三维点云传感器采集所述打胶区域的点云数据集合。
在一些实施例中，为保证同一时刻获取打胶区域的三维点云数据集合以及三维点云传感器拍摄到打胶区域时机械臂位姿，保证视觉引导的精度，采用硬触发的方式，即机械臂控制器发出高电平脉冲电信号触发三维点云传感器采集打胶区域的三维点云数据时，向视觉引导系统的后台服务器发送当前机械臂的位姿。相对于通过算法代码实现的软触发，本实施例采用硬触发的方式，脉冲电信号的传输比算法执行更快，从而更加精准地保证获取打胶区域的三维点云数据集合以及拍摄该打胶区域时机械臂的位姿的同时性，保证视觉引导的精度。
在一实施例中，所述步骤S3包括以下步骤：
S31、在控制所述机械臂控制器触发所述三维点云传感器采集所述打胶区域的点云数据集合的同时，获取机械臂末端执行器的当前位姿。
在实施例中，可以通过软触发或硬触发的方式，控制机械臂控制器触发所述三维点云传感器采集打胶区域的三维点云数据集合的同时，获取机械臂的当前位姿，以保证同一时刻获取打胶区域的坐标位置以及三维点云传感器拍摄到打胶区域时机械臂的位姿，保证视觉引导的精度。其中，软触发是指通过软件主动查询信号或仪器当前状态，符合条件则控制系统采集信号，硬触发是指数据采集卡被动等待由某个仪器在一定状态下发出触发信号，接收到信号后才进行数据采集。
S32、基于所述当前位姿，向机械臂控制器输出控制指令以控制移动所述机械臂沿着所述最终打胶轨迹，以对所述打胶区域进行打胶。
在实施例中，沿着最终打胶轨迹对打胶区域进行打胶定位时，首先需要先定位至打胶区域的起始打胶点(即，第一个打胶点)。在获得机械臂的当前位姿后，将起始打胶点坐标与当前位姿做比较，确定机械臂向起始打胶点移动的方向和距离。向机械臂控制器输出控制指令，控制机械臂向起始打胶点移动，并在机械臂达到起始打胶点后，继续沿着最终打胶轨迹对打胶区域各打胶点进行打胶定位。
基于上述实施例的技术方案，当打胶区域为弯折部位，如拐点部位时，还可以实现对打胶区域墙角拐点的预警。图4是一实施例提供的运行轨迹地图示意图，如图4所示，在运行轨迹地图中标注出打胶轨迹的各个墙角拐点，生成轨迹点序列，如{(起始点，0，0，1000)；(拐点1，0，1200，1000)；(拐点2，-500，1200，1000)；(拐点3，-500，1500，1000)；(拐点4，-1500，1500，1000)；(终止点，-1500，1000，1000)}，带有轨迹点属性的序列即可实现对打胶机器人打胶过程中墙角拐点的预警。
为了对基于相机坐标系的中间打胶轨迹转换为基于机器人坐标系的最终打胶轨迹，需要预先对打胶机器人进行手眼标定。本实施例将结合下面步骤对手眼标定的过程进行解释说明。
图5是一实施例提供的手眼标定的方法流程图，如图5所示，该手眼标定的方法可以包括以下步骤：
S510、获取固定靶标的基于相机坐标系的点云信息。
在手眼标定过程中，固定靶标的位置是固定不变的。首先，将三维点云传感器固定在机械臂末端，可选的，将三维点云传感器固定在机械臂末端执行器的一侧。通过三维点云传感器拍摄固定靶标所获得的固定靶标的基于相机坐标系的点云信息也是不变的。
S520、调整机械臂的姿态，在不同机械臂的姿态下拍摄所述固定靶标，获得在不同姿态下的机械臂位姿。
调整机器人关节角以调整机械臂姿态拍摄同一固定靶标。在一实施例中，可以调整机械臂姿态14次，并在三维点云传感器拍摄时分别获取固定靶标在三维点云传感器所得到基于相机坐标系下的不同点云信息及对应的机械臂位姿。
S530、根据所述点云信息和所述机械臂位姿进行手眼标定，确定所述相机坐标系和所述机器人坐标系之间的相对位置关系。
将机械臂位姿和固定靶标在三维点云传感器的相机坐标系下的点云信息组成14组输入数据，将该14组输入数据输入到预设模型中，如在一实施例中，采用Halconcalibrate_hand_eye算子作为预设模型，将14组输入数据输入到该预设模型中快速求得手眼变换矩阵。
在一实施例中，通过固定某一特征物，并调整机械臂姿态中所得到的位姿1和位姿2进行说明，手眼标定的预设模型可以描述为：
机械臂在位姿1时有：P物-基＝T工-基1×T相-工×P物-相1
机械臂在位姿2时有：P物-基＝T工-基2×T相-工×P物-相2
其中，P表示特征物某个坐标系下的位姿，T表示某个坐标系下的位姿转换到另一个坐标系的转换矩阵，则P物-基表示特征物在机器人坐标系下的位姿，T工-基表示工具坐标系下的位姿转换为机器人坐标系的转换矩阵；T相-工表示相机坐标系下的位姿转换为工具坐标系的转换矩阵；P物-相表示特征物在相机坐标系下的位姿。其中，机器人坐标系是指打胶机器人对应的坐标系，工具坐标系是指机械臂对应的坐标系，相机坐标系是指三维点云传感器对应的坐标系。
机器人在不同的位姿拍摄固定靶标时，固定靶标保持原来的位置，因此P物-基恒定，三维点云传感器固定在机械臂上，T相-工也恒定。
由此可得：T工-基1×T相-工×P物-相1＝T工-基2×T相-工×P物-相2
上式经过转换可得：
令
则可得：A×X＝X×B。
因此手眼标定的求解可以转换成求解线性方程组A×X＝X×B求解该线性方程组，即可得手眼标定的手眼变换矩阵。
根据所述手眼变换矩阵，得到所述相机坐标系和所述机器人坐标系之间坐标的相对位置关系。基于该相对位置关系，可以将任一基于相机坐标系上的坐标转换为基于机器人坐标系上的坐标。
下面对打胶机器人的视觉引导装置的相关实施例进行详细阐述。
图6是一实施例提供的打胶机器人的视觉引导装置的结构示意图，如图6所示，该视觉引导装置100可以包括中间打胶轨迹生成模块110、最终打胶轨迹转换模块120以及打胶引导模块130。
其中，中间打胶轨迹生成模块110，用于获取三维点云传感器发送的打胶区域的三维点云数据集合，将所述三维点云数据集合与预先标注有参考打胶轨迹的三维地图模型进行点云匹配，生成所述打胶区域基于相机坐标系的中间打胶轨迹；最终打胶轨迹转换模块120，用于基于相机坐标系和机器人坐标系之间的相对位置关系，将所述相机坐标系的中间打胶轨迹转换为机器人坐标系下的最终打胶轨迹；打胶引导模块130，用于根据所述最终打胶轨迹引导机械臂对打胶区域进行打胶。
本实施例提供的视觉引导装置通过中间打胶轨迹生成模块110获取三维点云传感器发送的打胶区域的三维点云数据集合，将三维点云数据集合与预先标注有参考打胶轨迹的三维地图模型进行点云匹配，生成打胶区域基于相机坐标系的中间打胶轨迹；最终打胶轨迹转换模块120基于相机坐标系和机器人坐标系之间的相对位置关系，将相机坐标系的中间打胶轨迹转换为机器人坐标系下的最终打胶轨迹；打胶引导模块130根据最终打胶轨迹引导机械臂对打胶区域进行打胶。本申请能够精准识别出打胶区域的打胶点对应的打胶轨迹，实现机器人打胶时的打胶轨迹的精准规划，有利于提高打胶质量。
在一实施例中，该视觉引导装置100还包括：比较模块和划分模块，其中，比较模块，用于比较所述三维地图模型中参考打胶轨迹的尺寸和所述三维点云传感器的视野范围；划分模块，用于当所述参考打胶轨迹的尺寸大于所述三维点云传感器视野范围下的情况下，基于所述三维点云传感器的视野范围将所述参考打胶轨迹划所在打胶区域划分为若干个子打胶区域。
中间打胶轨迹生成模块110包括：子打胶区域获取单元和轨迹拼接单元；其中，子打胶区域获取单元，用于至少获取三维点云传感器发送的起始子打胶区域和终止子打胶区域的子三维点云数据集合；轨迹拼接单元，用于将所述子三维点云数据集合分别与三维地图模型进行点云匹配得到子中间打胶轨迹，将所述子中间打胶轨迹拼接为中间打胶轨迹。
在一实施例中，该视觉引导装置100还包括：线性信息获取模块，用于获取所述三维地图模型中预先标注的参考打胶轨迹的线型信息；
其中，当所述参考打胶轨迹为曲线型时，至少获取三维点云传感器发送的起始子打胶区域和终止子打胶区域的子三维点云数据集合包括：获取三维点云传感器发送的每个子打胶区域的子三维点云数据；当所述参考打胶轨迹为直线型时，至少获取三维点云传感器发送的起始子打胶区域和终止子打胶区域的子三维点云数据集合包括：获取起始子打胶区域的子点云数据集合和终止子打胶区域的子点云数据集合。
在一实施例中，当所述参考打胶轨迹为弯折直线型时，至少获取三维点云传感器发送的起始子打胶区域和终止子打胶区域的子三维点云数据集合包括：分别获取起始子打胶区域、弯折子打胶区域和终止子打胶区域的子点云数据集合。
在一实施例中，线性信息获取模块包括：位置信息获取单元和线型判断单元；其中，位置信息获取单元，用于获取打胶机器人在所述三维地图模型中的位置信息；线型判断单元，用于根据所述打胶机器人在所述三维地图模型中的位置信息判断打胶轨迹是曲线型还是直线型打胶轨迹。
在一实施例中，子打胶区域获取单元，用于判断是否接收到三维点云传感器发送的起始子打胶区域和终止子打胶区域的子三维点云数据；当没有接收到起始子打胶区域的子三维点云数据时，移动三维点云传感器到下一个子打胶区域获取子三维点云数据；当没有接收到终止子打胶区域的子三维点云数据时，移动三维点云传感器到上一个子打胶区域获取子三维点云数据。
在一实施例中，轨迹拼接单元用于判断子点云数据是否匹配到三维地图模型中参考打胶轨迹的终点；如果匹配成功，终止获取下一个子打胶区域的子三维点云数据；如果没有匹配成功，继续获取下一个子打胶区域的子三维点云数据。
在一实施例中，该视觉引导装置100还包括：尺寸范围获取模块，其中，尺寸范围获取模块，用于获取打胶机器人在所述三维地图模型中的位置信息；根据所述打胶机器人在所述三维地图模型中的位置信息获取所述三维地图模型中参考打胶轨迹的尺寸范围。
在一实施例中，该视觉引导装置100还包括：控制触发模块，其中，该控制触发模块，用于当打胶机器人靠近所述打胶区域，控制机械臂控制器发出高电平脉冲电信号，以触发所述三维点云传感器采集所述打胶区域的点云数据集合。
在一实施例中，打胶引导模块130包括：位姿获取单元和打胶控制单元；其中，位姿获取单元，用于在控制所述机械臂控制器触发所述三维点云传感器采集所述打胶区域的点云数据集合的同时，获取机械臂末端执行器的当前位姿；打胶控制单元，用于基于所述当前位姿，向机械臂控制器输出控制指令以控制移动所述机械臂末端执行器沿着所述最终打胶轨迹，以对所述打胶区域进行打胶。
在一实施例中，打胶机器人的视觉引导装置100还包括：点云信息获取模块、位姿调整模块以及相对位置确定模块；其中，点云信息获取模块，用于获取固定靶标的基于相机坐标系的点云信息；位姿调整模块，用于调整机械臂的姿态，在不同机械臂的姿态下拍摄所述固定靶标，获得在不同姿态下的机器人末端执行器位姿；相对位置确定模块，用于根据所述点云信息和所述机器人末端执行器位姿进行手眼标定，确定所述相机坐标系和所述机器人基坐标系之间坐标的相对位置关系。
上述提供的打胶机器人的视觉引导装置可用于执行上述任意实施例提供的打胶机器人的视觉引导方法，具备相应的功能和有益效果。
图7是一实施例提供的打胶机器人的视觉引导系统的结构示意图，如图7所示，该打胶机器人的视觉引导系统20包括：三维点云传感器201以及后台服务器202；
所述三维点云传感器201，用于采集打胶区域的基于相机坐标系的点云数据集合并发送至所述后台服务器202；所述后台服务器202，用于执行上述任一实施例提及的打胶机器人的视觉引导方法的步骤。
本实施例提供的打胶机器人的视觉引导系统，通过三维点云传感器201采集打胶区域的三维点云数据集合并发送至所述后台服务器；后台服务器202获取三维点云传感器201发送的打胶区域的三维点云数据集合，将所述三维点云数据集合与预先标注有参考打胶轨迹的三维地图模型进行点云匹配，生成所述打胶区域基于相机坐标系的中间打胶轨迹，基于相机坐标系和机器人坐标系之间的相对位置关系，将所述相机坐标系的中间打胶轨迹转换为机器人坐标系下的最终打胶轨迹，根据所述最终打胶轨迹引导机械臂对打胶区域进行打胶，从而能够精准识别出打胶区域的打胶轨迹，实现机器人打胶时的运行轨迹地图的精准规划，有利于提高打胶质量。
在一实施例中，打胶机器人的视觉引导系统还包括机器臂控制器；所述机器臂控制器，用于依据所述最终打胶轨迹控制移动所述机械臂以对所述打胶部位进行打胶定位。
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种打胶机器人的视觉引导方法，包括：
获取三维点云传感器发送的打胶区域的三维点云数据集合，将所述三维点云数据集合与预先标注有参考打胶轨迹的三维地图模型进行点云匹配，生成所述打胶区域基于相机坐标系的中间打胶轨迹；
基于相机坐标系和机器人坐标系之间的相对位置关系，将所述相机坐标系的中间打胶轨迹转换为机器人坐标系下的最终打胶轨迹；
根据所述最终打胶轨迹引导机械臂对打胶区域进行打胶。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的打胶机器人的视觉引导方法操作，还可以执行本申请任意实施例所提供的打胶机器人的视觉引导方法中的相关操作，且具备相应的功能和有益效果。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本申请可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请任意实施例所述的打胶机器人的视觉引导方法。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。还需要说明的是，步骤如S1和S2等仅用于区分，并不强调其执行顺序。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (13)
1.一种打胶机器人的视觉引导方法，其特征在于，包括：
S0、比较三维地图模型中参考打胶轨迹的尺寸和三维点云传感器的视野范围；
当所述参考打胶轨迹的尺寸大于所述三维点云传感器视野范围下的情况下，基于所述三维点云传感器的视野范围将所述参考打胶轨迹划所在打胶区域划分为若干个子打胶区域；
S1、至少获取所述三维点云传感器发送的起始子打胶区域和终止子打胶区域的子三维点云数据集合，将所述子三维点云数据集合分别与所述三维地图模型进行点云匹配得到子中间打胶轨迹，将所述子中间打胶轨迹拼接为中间打胶轨迹；
S2、基于相机坐标系和机器人坐标系之间的相对位置关系，将所述相机坐标系的中间打胶轨迹转换为机器人坐标系下的最终打胶轨迹；
S3、根据所述最终打胶轨迹引导机械臂对打胶区域进行打胶。
2.根据权利要求1所述方法，其特征在于，所述比较所述三维地图模型中参考打胶轨迹的尺寸和三维点云传感器的视野范围步骤之后，还包括：
获取所述三维地图模型中预先标注的参考打胶轨迹的线型信息；
当所述参考打胶轨迹为曲线型时，至少获取三维点云传感器发送的起始子打胶区域和终止子打胶区域的子三维点云数据集合包括：获取三维点云传感器发送的每个子打胶区域的子三维点云数据；
当所述参考打胶轨迹为直线型时，至少获取三维点云传感器发送的起始子打胶区域和终止子打胶区域的子三维点云数据集合包括：获取起始子打胶区域的子三维点云数据集合和终止子打胶区域的子三维点云数据集合。
3.根据权利要求2所述方法，其特征在于，当所述参考打胶轨迹为弯折直线型时，至少获取三维点云传感器发送的起始子打胶区域和终止子打胶区域的子三维点云数据集合包括：分别获取起始子打胶区域、弯折子打胶区域和终止子打胶区域的子三维点云数据集合。
4.据权利要求2所述的打胶机器人的视觉引导方法，其特征在于，所述获取所述三维地图模型中预先标注的参考打胶轨迹线型信息的步骤包括：
获取打胶机器人在所述三维地图模型中的位置信息；
根据所述打胶机器人在所述三维地图模型中的位置信息判断打胶轨迹是曲线型还是直线型打胶轨迹。
5.据权利要求1所述的打胶机器人的视觉引导方法，其特征在于，所述至少获取三维点云传感器发送的起始子打胶区域和终止子打胶区域的子三维点云数据集合的步骤包括：
判断是否接收到三维点云传感器发送的起始子打胶区域和终止子打胶区域的子三维点云数据；
当没有接收到起始子打胶区域的子三维点云数据时，移动三维点云传感器到下一个子打胶区域获取子三维点云数据；
当没有接收到终止子打胶区域的子三维点云数据时，移动三维点云传感器到上一个子打胶区域获取子三维点云数据。
6.据权利要求1所述的打胶机器人的视觉引导方法，其特征在于，所述将所述子三维点云数据集合分别与三维地图模型进行点云匹配得到子中间打胶轨迹的步骤包括：
判断子点云数据是否匹配到三维地图模型中参考打胶轨迹的终点；
如果匹配成功，终止获取下一个子打胶区域的子三维点云数据；
如果没有匹配成功，继续获取下一个子打胶区域的子三维点云数据。
7.据权利要求1所述的打胶机器人的视觉引导方法，其特征在于，所述比较所述三维地图模型中参考打胶轨迹的尺寸和三维点云传感器的视野范围步骤之前，还包括：
获取打胶机器人在所述三维地图模型中的位置信息；
根据所述打胶机器人在所述三维地图模型中的位置信息获取所述三维地图模型中参考打胶轨迹的尺寸范围。
8.根据权利要求1所述方法，其特征在于，所述步骤S1之前，还包括：
当打胶机器人靠近所述打胶区域，控制机械臂控制器发出高电平脉冲电信号，以触发所述三维点云传感器采集所述打胶区域的点云数据集合。
9.根据权利要求8所述方法，其特征在于，所述步骤S3包括：
在控制所述机械臂控制器触发所述三维点云传感器采集所述打胶区域的点云数据集合的同时，获取机械臂的当前位姿；
基于所述当前位姿，向机械臂控制器输出控制指令以控制移动所述机械臂沿着所述最终打胶轨迹，以对所述打胶区域进行打胶。
10.根据权利要求1所述方法，其特征在于，在步骤S2之前，还包括：
获取固定靶标的基于相机坐标系的点云信息；
调整机械臂的姿态，在不同机械臂的姿态下拍摄所述固定靶标，获得在不同姿态下的机械臂位姿；
根据所述点云信息和所述机械臂位姿进行手眼标定，确定所述相机坐标系和所述机器人坐标系之间的相对位置关系。
11.一种打胶机器人的视觉引导装置，其特征在于，包括：
比较模块，所述比较模块用于比较三维地图模型中参考打胶轨迹的尺寸和所述三维点云传感器的视野范围；
划分模块，用于当所述参考打胶轨迹的尺寸大于所述三维点云传感器视野范围下的情况下，基于所述三维点云传感器的视野范围将所述参考打胶轨迹划所在打胶区域划分为若干个子打胶区域；
中间打胶轨迹生成模块，所述中间打胶轨迹生成模块包括：
子打胶区域获取单元，用于至少获取三维点云传感器发送的起始子打胶区域和终止子打胶区域的子三维点云数据集合；
轨迹拼接单元，用于将所述子三维点云数据集合分别与所述三维地图模型进行点云匹配得到子中间打胶轨迹，将所述子中间打胶轨迹拼接为中间打胶轨迹；
最终打胶轨迹转换模块，用于基于相机坐标系和机器人坐标系之间的相对位置关系，将所述相机坐标系的中间打胶轨迹转换为机器人坐标系下的最终打胶轨迹；
打胶引导模块，用于根据所述最终打胶轨迹引导机械臂对打胶区域进行打胶。
12.一种打胶机器人的视觉引导系统，其特征在于，包括：三维点云传感器以及后台服务器；
所述三维点云传感器，用于采集打胶区域的基于相机坐标系的三维点云数据集合并发送至所述后台服务器；
所述后台服务器，用于执行如权利要求1至10任一项所述的打胶机器人的视觉引导方法的步骤。
13.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1至10任一项所述的打胶机器人的视觉引导方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911319510.4A CN110976212B (zh) | 2019-12-19 | 2019-12-19 | 打胶机器人的视觉引导方法、装置和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911319510.4A CN110976212B (zh) | 2019-12-19 | 2019-12-19 | 打胶机器人的视觉引导方法、装置和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110976212A CN110976212A (zh) | 2020-04-10 |
| CN110976212B true CN110976212B (zh) | 2021-10-22 |
Family
ID=70065764
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911319510.4A Active CN110976212B (zh) | 2019-12-19 | 2019-12-19 | 打胶机器人的视觉引导方法、装置和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110976212B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111476786B (zh) * | 2020-04-22 | 2022-02-01 | 南京航空航天大学 | 一种基于实测数据的长桁自动化涂胶及质量检测方法 |
| CN112871587B (zh) * | 2021-01-08 | 2021-12-10 | 昂纳工业技术(深圳)有限公司 | 一种基于3d视觉引导的涂胶路径规划方法和涂胶系统 |
| CN112894807A (zh) * | 2021-01-13 | 2021-06-04 | 深圳市玄羽科技有限公司 | 工业自动化控制装置及方法 |
| CN113198691B (zh) * | 2021-05-19 | 2022-06-17 | 飓蜂科技(苏州)有限公司 | 一种基于3d线激光和ccd的高精度大视野点胶方法及装置 |
| CN114248086B (zh) * | 2021-12-30 | 2022-08-05 | 广东工业大学 | 一种柔性化三维视觉引导的机器人对位系统及方法 |
| CN114967687A (zh) * | 2022-05-23 | 2022-08-30 | 纯米科技(上海)股份有限公司 | 障碍物检测方法、系统、电子装置及计算机可读存储介质 |
| CN116689246B (zh) * | 2023-08-01 | 2023-10-03 | 深圳平显科技有限公司 | 显示屏生产的多通道注胶控制方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104722926A (zh) * | 2015-03-18 | 2015-06-24 | 江苏长江重工科技有限公司 | 一种机器人三维激光自动切割系统及其切割方法 |
| CN106423656A (zh) * | 2016-08-11 | 2017-02-22 | 重庆大学 | 基于点云与图像匹配的自动喷涂系统及方法 |
| CN108469821A (zh) * | 2018-03-23 | 2018-08-31 | 广东工业大学 | 喷涂机器人轨迹修正方法、装置、设备及可读存储介质 |
| CN109927036A (zh) * | 2019-04-08 | 2019-06-25 | 青岛小优智能科技有限公司 | 一种三维视觉引导机械手抓取的方法及系统 |
| WO2019129989A1 (fr) * | 2017-12-29 | 2019-07-04 | Safran Nacelles | Dispositif pour la dépose d'un cordon d'une substance plastique et son procédé de mise en oeuvre |
| CN110434671A (zh) * | 2019-07-25 | 2019-11-12 | 王东 | 一种基于特征测量的铸造件表面机加工轨迹校准方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110554699A (zh) * | 2019-08-26 | 2019-12-10 | 广东博智林机器人有限公司 | 机器人的控制系统及控制方法 |
-
2019
- 2019-12-19 CN CN201911319510.4A patent/CN110976212B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104722926A (zh) * | 2015-03-18 | 2015-06-24 | 江苏长江重工科技有限公司 | 一种机器人三维激光自动切割系统及其切割方法 |
| CN106423656A (zh) * | 2016-08-11 | 2017-02-22 | 重庆大学 | 基于点云与图像匹配的自动喷涂系统及方法 |
| WO2019129989A1 (fr) * | 2017-12-29 | 2019-07-04 | Safran Nacelles | Dispositif pour la dépose d'un cordon d'une substance plastique et son procédé de mise en oeuvre |
| CN108469821A (zh) * | 2018-03-23 | 2018-08-31 | 广东工业大学 | 喷涂机器人轨迹修正方法、装置、设备及可读存储介质 |
| CN109927036A (zh) * | 2019-04-08 | 2019-06-25 | 青岛小优智能科技有限公司 | 一种三维视觉引导机械手抓取的方法及系统 |
| CN110434671A (zh) * | 2019-07-25 | 2019-11-12 | 王东 | 一种基于特征测量的铸造件表面机加工轨迹校准方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110976212A (zh) | 2020-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110976212B (zh) | 打胶机器人的视觉引导方法、装置和系统 | |
| US11117262B2 (en) | Intelligent robots | |
| CN111775146A (zh) | 一种工业机械臂多工位作业下的视觉对准方法 | |
| CN104408408A (zh) | 基于曲线三维重建的机器人喷涂轨迹提取方法及提取装置 | |
| US9914222B2 (en) | Information processing apparatus, control method thereof, and computer readable storage medium that calculate an accuracy of correspondence between a model feature and a measurement data feature and collate, based on the accuracy, a geometric model and an object in an image | |
| CN105328304A (zh) | 基于统计学的焊缝起始点自动寻位方法 | |
| JP6626338B2 (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
| CN111880522A (zh) | 一种新型的自主装配机器人路径规划自主导航系统及方法 | |
| CN106959051B (zh) | 基于空间感知定位技术的武器瞄准系统的自动化校准方法 | |
| Garcia et al. | Guidance of robot arms using depth data from RGB-D camera | |
| CN113902721A (zh) | 一种工件位置的调整方法、控制处理装置及调整系统 | |
| US20230123629A1 (en) | 3d computer-vision system with variable spatial resolution | |
| CN105740913A (zh) | 基于异源光学景象匹配目标模板的性能评估系统及方法 | |
| CN114434123B (zh) | 一种空中线夹的机械臂定位拆卸方法、装置及存储介质 | |
| CN117330050A (zh) | 基于闭环路径的室内场景雷视融合数据采集方法及系统 | |
| CN109596126A (zh) | 一种机器人空间坐标系转换关系的确定方法和装置 | |
| CN103264007A (zh) | 点胶机的控制方法和控制系统 | |
| CN111179359A (zh) | 一种拍照系统的外参数的确定方法及装置 | |
| Grigorescu et al. | Controlling Depth Estimation for Robust Robotic Perception | |
| CN110288650B (zh) | 用于vslam的数据处理方法及扫描终端 | |
| JPH07244519A (ja) | 画像による可動物体の運動制御方法 | |
| Cheng et al. | Autonomous robot teaching using a smart robot in production line | |
| CN112329530B (zh) | 支架的安装状态检测方法、设备及系统 | |
| CN109702739B9 (zh) | 一种基于非向量空间控制策略的导线追踪方法及装置 | |
| CN117237414A (zh) | 移动机器人平台下基于双目图像的抓取引导方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |