CN111369593B - 玻璃涂胶方法、装置、电子设备和存储介质 - Google Patents
玻璃涂胶方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN111369593B CN111369593B CN202010181999.XA CN202010181999A CN111369593B CN 111369593 B CN111369593 B CN 111369593B CN 202010181999 A CN202010181999 A CN 202010181999A CN 111369593 B CN111369593 B CN 111369593B
- Authority
- CN
- China
- Prior art keywords
- glass
- gluing
- contour
- glued
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000011521 glass Substances 0.000 title claims abstract description 226
- 238000004026 adhesive bonding Methods 0.000 title claims abstract description 163
- 238000000034 method Methods 0.000 title claims abstract description 41
- 239000003292 glue Substances 0.000 claims abstract description 166
- 238000013507 mapping Methods 0.000 claims abstract description 8
- 238000000576 coating method Methods 0.000 claims description 34
- 238000009499 grossing Methods 0.000 claims description 21
- 230000033001 locomotion Effects 0.000 claims description 19
- 239000011248 coating agent Substances 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 7
- 230000007480 spreading Effects 0.000 description 52
- 238000012545 processing Methods 0.000 description 20
- 238000004891 communication Methods 0.000 description 18
- 230000000694 effects Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
- B05C—APPARATUS FOR APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
- B05C5/00—Apparatus in which liquid or other fluent material is projected, poured or allowed to flow on to the surface of the work
- B05C5/02—Apparatus in which liquid or other fluent material is projected, poured or allowed to flow on to the surface of the work the liquid or other fluent material being discharged through an outlet orifice by pressure, e.g. from an outlet device in contact or almost in contact, with the work
- B05C5/0208—Apparatus in which liquid or other fluent material is projected, poured or allowed to flow on to the surface of the work the liquid or other fluent material being discharged through an outlet orifice by pressure, e.g. from an outlet device in contact or almost in contact, with the work for applying liquid or other fluent material to separate articles
- B05C5/0212—Apparatus in which liquid or other fluent material is projected, poured or allowed to flow on to the surface of the work the liquid or other fluent material being discharged through an outlet orifice by pressure, e.g. from an outlet device in contact or almost in contact, with the work for applying liquid or other fluent material to separate articles only at particular parts of the articles
- B05C5/0216—Apparatus in which liquid or other fluent material is projected, poured or allowed to flow on to the surface of the work the liquid or other fluent material being discharged through an outlet orifice by pressure, e.g. from an outlet device in contact or almost in contact, with the work for applying liquid or other fluent material to separate articles only at particular parts of the articles by relative movement of article and outlet according to a predetermined path
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
- B05D—PROCESSES FOR APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
- B05D1/00—Processes for applying liquids or other fluent materials
- B05D1/26—Processes for applying liquids or other fluent materials performed by applying the liquid or other fluent material from an outlet device in contact with, or almost in contact with, the surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Manipulator (AREA)
Abstract
本申请公开了一种玻璃涂胶方法、装置、电子设备和存储介质。其中方法包括：获取待涂胶玻璃边缘的轮廓点云；将轮廓点云映射到二维平面以得到轮廓点；基于轮廓点，拟合针对待涂胶玻璃的涂胶路径；根据预设机器人固有属性以及机器人初始位姿，在涂胶路径上生成涂胶轨迹点信息，并将涂胶轨迹点信息发送至机器人以对待涂胶玻璃进行涂胶。本申请实施例对待涂胶玻璃形态、位置精准识别，可以自动生成任意型号大小的玻璃涂胶胶轨迹点，进而可以实现任意规格大小的玻璃轮廓高精度涂胶，大大提高了玻璃涂胶的易用性、灵活性与通用性。
Description
技术领域
本申请涉及图像处理领域，尤其涉及一种玻璃涂胶方法、装置、电子设备以及一种计算机可读存储介质。
背景技术
玻璃涂胶对于精度要求较高，如果精度不够可能出现胶向内侧或外侧溢胶的情况。相关技术中，一般的涂胶方法需要对不同型号玻璃分别提前示教出涂胶轨迹点，要求每种型号的来料玻璃位置及旋转固定或者提前采集每种型号玻璃的配准模板，根据型号类型与提前示教的轨迹点进行涂胶。
但是，目前存在的问题是：上述涂胶方法需要对不同型号玻璃分别提前示教出轨迹点，来料玻璃位置及旋转需固定或需对不同型号提前采集配准模板等要求，这会大大降低了玻璃涂胶的易用性、灵活性与通用性。
发明内容
本申请的目的旨在至少在一定程度上解决上述的技术问题之一。
为此，本申请的第一个目的在于提出一种具有易用性、灵活性与通用性的玻璃涂胶方法。
本申请的第二个目的在于提出一种玻璃涂胶装置。
本申请的第三个目的在于提出一种电子设备。
本申请的第四个目的在于提出一种计算机可读存储介质。
为达到上述目的，本申请第一方面实施例提出的玻璃涂胶方法，包括：获取待涂胶玻璃边缘的轮廓点云；将上述轮廓点云映射到二维平面以得到轮廓点；基于上述轮廓点，拟合针对上述待涂胶玻璃的涂胶路径；根据预设机器人固有属性以及上述机器人初始位姿，在上述涂胶路径上生成涂胶轨迹点信息，并将上述涂胶轨迹点信息发送至上述机器人以对上述待涂胶玻璃进行涂胶。
根据本申请的一个实施例，上述获取待涂胶玻璃边缘的轮廓点云，包括：获取视觉传感器采集到的待涂胶玻璃的点云数据；对上述点云数据进行点云滤波和离群点剔除，以获取上述待涂胶玻璃的点云模型；根据上述点云模型，获取上述待涂胶玻璃边缘的轮廓点云。
根据本申请的一个实施例，将上述轮廓点云映射到二维平面以得到轮廓点，包括：对上述轮廓点云进行正交投影，以将上述轮廓点云映射到二维平面上，得到上述待涂胶玻璃边缘的轮廓点。
根据本申请的一个实施例，基于上述轮廓点，拟合针对上述待涂胶玻璃的涂胶路径，包括：基于上述轮廓点，亚像素级别的对每条边进行噪点去除和平滑处理；对噪点去除和平滑处理后的结果所描述轮廓的各边进行直线拟合；根据目标涂胶位置，对直线拟合后的各边对应的直线分别进行平移，生成针对上述待涂胶玻璃的涂胶路径。
根据本申请的一个实施例，上述对噪点去除和平滑处理后的结果所描述轮廓的各边进行直线拟合，包括：确定上述结果所对应的轮廓点云；基于上述结果所对应的轮廓点云的Z向坐标，确定出对应轮廓点云的Z向坐标不为零的目标轮廓点；对上述目标轮廓点所描述轮廓的各边进行直线拟合。
根据本申请的一个实施例，上述根据预设机器人固有属性以及上述机器人初始位姿，在上述涂胶路径上生成涂胶轨迹点信息，包括：确定上述涂胶路径中的拐角处和直线处；根据上述机器人的出胶速率、运动速度在上述拐弯处以及上述直线处以相应密度设置涂胶轨迹点；根据上述机器人初始位姿确定上述涂胶轨迹点的走位顺序，以得到上述涂胶轨迹点信息。
根据本申请的一个实施例，上述涂胶轨迹点信息还包括：上述轮廓点对应的法向信息。
本申请实施例的玻璃涂胶方法，可获取待涂胶玻璃边缘的轮廓点云，并将轮廓点云映射到二维平面以得到轮廓点，之后可基于该轮廓点，拟合针对待涂胶玻璃的涂胶路径，并根据预设机器人固有属性以及机器人初始位姿，在涂胶路径上生成涂胶轨迹点信息，并将涂胶轨迹点信息发送至机器人以对待涂胶玻璃进行涂胶。即可对待涂胶玻璃形态、位置精准识别，可以自动生成任意型号大小的玻璃涂胶胶轨迹点，进而可以实现任意规格大小的玻璃轮廓高精度涂胶，大大提高了玻璃涂胶的易用性、灵活性与通用性。
为达到上述目的，本申请第二方面实施例提出的玻璃涂胶装置，包括：轮廓点云获取模块，用于获取待涂胶玻璃边缘的轮廓点云；轮廓点获取模块，用于将上述轮廓点云映射到二维平面以得到轮廓点；拟合模块，用于基于上述轮廓点，拟合针对上述待涂胶玻璃的涂胶路径；涂胶轨迹点生成模块，用于根据预设机器人固有属性以及上述机器人初始位姿，在上述涂胶路径上生成涂胶轨迹点信息；发送模块，用于将上述涂胶轨迹点信息发送至上述机器人以对上述待涂胶玻璃进行涂胶。
根据本申请的一个实施例，上述轮廓点云获取模块包括：
玻璃点云数据获取子模块，具体用于获取视觉传感器采集到的待涂胶玻璃的点云数据；
玻璃点云模型获取子模块，具体用于对上述点云数据进行点云滤波和离群点剔除，以获取上述待涂胶玻璃的点云模型；
轮廓点云获取子模块，具体用于根据上述点云模型，获取上述待涂胶玻璃边缘的轮廓点云。
根据本申请的一个实施例，上述轮廓点获取模块具体用于：对上述轮廓点云进行正交投影，以将上述轮廓点云映射到二维平面上，得到上述待涂胶玻璃边缘的轮廓点。
根据本申请的一个实施例，上述拟合模块包括：
处理子模块，具体用于基于上述轮廓点，亚像素级别的对每条边进行噪点去除和平滑处理；
直线拟合子模块，具体用于对噪点去除和平滑处理后的结果所描述轮廓的各边进行直线拟合；
涂胶路径生成子模块，具体用于根据目标涂胶位置，对直线拟合后的各边对应的直线分别进行平移，生成针对上述待涂胶玻璃的涂胶路径。
根据本申请的一个实施例中，上述直线拟合子模块包括：
轮廓点云确定单元，具体用于确定上述结果所对应的轮廓点云；
目标轮廓点确定单元，具体用于基于上述结果所对应的轮廓点云的Z向坐标，确定出对应轮廓点云的Z向坐标不为零的目标轮廓点；
直线拟合单元，用于对上述目标轮廓点所描述轮廓的各边进行直线拟合。
根据本申请的一个实施例中，上述涂胶轨迹点生成模块包括：
第一确定子模块，具体用于确定上述涂胶路径中的拐角处和直线处；
涂胶轨迹点设置子模块，具体用于根据上述机器人的出胶速率、运动速度在上述拐弯处以及上述直线处以相应密度设置涂胶轨迹点；
涂胶轨迹点信息获取子模块，具体用于根据上述机器人初始位姿确定上述涂胶轨迹点的走位顺序，以得到上述涂胶轨迹点信息。
根据本申请的一个实施例中，上述涂胶轨迹点信息还包括：上述轮廓点对应的法向信息。
本申请实施例的玻璃涂胶装置，可获取待涂胶玻璃边缘的轮廓点云，并将轮廓点云映射到二维平面以得到轮廓点，之后可基于该轮廓点，拟合针对待涂胶玻璃的涂胶路径，并根据预设机器人固有属性以及机器人初始位姿，在涂胶路径上生成涂胶轨迹点信息，并将涂胶轨迹点信息发送至机器人以对待涂胶玻璃进行涂胶。即可对待涂胶玻璃形态、位置精准识别，可以自动生成任意型号大小的玻璃涂胶胶轨迹点，进而可以实现任意规格大小的玻璃轮廓高精度涂胶，大大提高了玻璃涂胶的易用性、灵活性与通用性。
为达到上述目的，本申请第三方面实施例提出的电子设备，包括：存储器、处理器及存储在上述存储器上并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现本申请第一方面实施例上述的玻璃涂胶方法。
为达到上述目的，本申请第四方面实施例提出的计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时实现本申请第一方面实施例上述的玻璃涂胶方法。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本申请一个实施例的玻璃涂胶方法的流程图；
图2是根据本申请另一个实施例的玻璃涂胶方法的流程图；
图3是根据本申请又一个实施例的玻璃涂胶方法的流程图；
图4是根据本申请一个实施例的玻璃涂胶装置的结构示意图；
图5是根据本申请一个具体实施例的玻璃涂胶装置的结构示意图；
图6是根据本申请另一个具体实施例的玻璃涂胶装置的结构示意图；
图7是根据本申请又一个具体实施例的玻璃涂胶装置的结构示意图；
图8是根据本申请再一个具体实施例的玻璃涂胶装置的结构示意图；
图9是根据本申请一个实施例的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的玻璃涂胶方法、装置、电子设备和存储介质。
图1是根据本申请一个实施例的玻璃涂胶方法的流程图。需要说明的是，本申请实施例的玻璃涂胶方法可应用于本申请实施例的玻璃涂胶装置。该玻璃涂胶装置可被配置于电子设备。该电子设备用于与工业机器人进行通信进而使工业机器人带动出胶头，以实现涂胶。
如图1所示，该玻璃涂胶方法可以包括：
步骤101，获取待涂胶玻璃边缘的轮廓点云。
在一较佳申请实施例中，获取待涂胶玻璃边缘的轮廓点云的一种可能实现方式可以为：获取视觉传感器采集到的待涂胶玻璃的点云数据，并对该待涂胶玻璃的点云数据进行点云滤波和离群点剔除，以获取该待涂胶玻璃的点云模型，并根据该点云模型，获取该待涂胶玻璃边缘的轮廓点云。可选地，视觉传感器可以为工业3D视觉相机。
作为一种示例，上述视觉传感器可以为3D工业相机，视觉传感器对待涂胶玻璃进行图像采集，以得到该待涂胶玻璃的点云数据，点云数据可选地包括各点在空间的XYZ三轴的坐标值，较佳地包括各点云自身的XYZ三轴朝向，并通过对点云数据进行点云过滤、去除离群点等精细操作，以形成较为精确的点云模型，该点云模型即为该待涂胶玻璃的点云模型，进而提取该待涂胶玻璃的轮廓点云。可以理解的是，本申请实施例中的对点云数据内容的指定，只因部分实施例使用到所指定内容，该指定并不具有任何限定意义，也就是说，本申请中的点云数据具有本领域技术用语所通用的意义。同理地，此处可以理解到的内容并不只适用于“点云数据”这一个概念，其适用范围应延伸到本申请中所引用的所有技术用语。
需要说明的是，可对待涂胶玻璃的点云模型进行边缘轮廓分析，以得到该待涂胶玻璃边缘的轮廓点云。其中，边缘轮廓分析可以得到该涂胶玻璃的边缘轮廓。其具体实现过程可通过现有传统边缘检测技术、深度学习算法等技术实现，本实施例不再赘述。
其中，可以理解的是，待涂胶玻璃的轮廓可以为任意形状，例如为多边形，例如三角形、矩形、五边形等。待涂胶玻璃表面可以为平面，还可以为类平面，具体可以是较为平缓的凹面、凸面，例如平弧面、平凹面，或者还可以为同时具备凹凸起伏的类平面。待涂胶玻璃的形状可以为任意规格。可选地，在本申请的一个可选实施例中，上述待涂胶玻璃的形状可为矩形，上述待涂胶玻璃的大小可为任意规格大小，本申请对玻璃的大小以及型号不作具体限定。
步骤102，将轮廓点云映射到二维平面以得到轮廓点。
由于获得的待涂胶玻璃边缘的轮廓点云是三维点云数据，而三维点云数据会由于各种外界或内在因素而影响玻璃边缘轮廓的确定。为此，为了能够更加精准的明确玻璃边缘的轮廓，在本申请的实施例中，可对待涂胶玻璃边缘的轮廓点云进行正交投影，以将上述轮廓点云映射到二维平面上，得到上述待涂胶玻璃边缘的轮廓点。由于此时待涂胶玻璃边缘的轮廓点是二维数据，基于该二维数据可以更加清楚地明确该待涂胶玻璃边缘的轮廓。此外，对数据进行降维度处理，滤除对轮廓影响较小的维度对应的数据，这有助于减小数据处理量进而加速数据处理速度，提高效率。
可选地，在本申请的一个实施例中，上述待涂胶玻璃可为非标准平面的玻璃，比如，玻璃的某一部分，例如玻璃某一角、或者玻璃两端稍微翘起(下沉)使某些边形成弧线，即对应部分在空间中高度上呈弧线。由于成像原理原因，通过视觉传感器在非垂直角度上拍出的上述弧线对应的点，其所描述的边是非标准直线。因此，较佳地，本实施例对上述待涂胶玻璃边缘的轮廓点云进行正交投影操作，进而对轮廓点云进行降维度处理，从而将各轮廓点云映射到二维平面上，进而可以得到上述待涂胶玻璃边缘的二维轮廓点，此时描述轮廓的点便趋近于一条直线。可选地，本实施例中滤除点云的空间高度信息。
步骤103，基于轮廓点，拟合针对待涂胶玻璃的涂胶路径。
获得上述轮廓点后，对轮廓点所描述的形态进行直线拟合获得涂胶路径。
可选地，基于上述得到的待涂胶玻璃边缘的二维轮廓点，对轮廓点所描述的轮廓边进行噪点去除、平滑操作，然后再进行直线拟合，以拟合得到针对上述待涂胶玻璃的涂胶路径。具体实现过程可参见后续实施例的描述。
较佳地，上述噪点去除、平滑操作、直线拟合可以为亚像素级别操作，以获取更为精细效果。
步骤104，根据预设机器人固有属性以及机器人初始位姿，在涂胶路径上生成涂胶轨迹点信息，并将涂胶轨迹点信息发送至机器人以对待涂胶玻璃进行涂胶。
可以理解的是，上述机器人初始位姿的参考用于避免机器人在实际移动过程中走多余的轨迹，有利于机器人移动的合理顺畅。可选地，可将涂胶轨迹点的初始点设定为涂胶路径上距离机器人初始位姿最近的位置，以使得机器人走更少的多余轨迹。具体可调整涂胶轨迹点的初始点为靠近上述机器人那条边的中间，也就是说，在确定上述机器人的初始位姿之后，可将涂胶路径上距离该机器人的初始位姿最近的那条边上的中间点作为涂胶轨迹点的初始点，之后，可根据上述机器人的固有属性在上述涂胶路径上设置其他涂胶轨迹点，进而可以得到该待涂胶玻璃的涂胶轨迹点信息。
需要说明的是，机器人固有属性无法更改，机器人固有属性可以体现为实际移动过程中的运动速度、出胶速率等，因此在本申请实施例中，根据实际现场机器人固有属性的情况生成涂胶轨迹点信息，以达到更好的涂胶效果。
可选地，在本申请的实施例中，涂胶轨迹点信息可包括但不限于涂胶轨迹点的坐标、涂胶轨迹点的初始轨迹点以及上述涂胶轨迹点的走向、以及涂胶轨迹点对应的运动速度参数等。在得到上述涂胶玻璃的涂胶轨迹点信息之后，可采用通信方式将上述涂胶轨迹点信息发送至上述机器人。上述机器人在接收到上述涂胶轨迹点信息时，可基于上述涂胶轨迹点信息，控制自身的出胶头对上述待涂胶玻璃进行涂胶。
在本申请的实施例中，在得到上述待涂胶玻璃的涂胶路径之后，可确定预设机器人的固有属性以及上述机器人的初始位姿，之后，可根据上述机器人的固有属性以及上述机器人的初始位姿，在上述涂胶路径上生成涂胶轨迹点信息，并将上述涂胶轨迹点信息发送至上述机器人以对上述待涂胶玻璃进行涂胶。需要说明的是，上述机器人可为用于玻璃涂胶的工业机器人，可选地可以为工业机器人手臂。需要说明的是，在本申请的实施例中，假设本申请实施例的玻璃涂胶方法的执行主体为电子设备。该电子设备中还可包括通信模块，电子设备通过该通信模块与上述机器人建立通信连接，进而电子设备在获得上述涂胶轨迹点信息之后，可通过所建立的通信连接将上述涂胶轨迹点信息发送给机器人，以使机器人基于上述涂胶轨迹点信息对上述待涂胶玻璃进行涂胶。其中，上述通信连接所采用的协议可为TCP(Transmission Control Protocol，传输控制协议)协议、HTTP(HyperTextTransfer Protocol，超文本传输协议)协议、GRPC协议(Google Remote Procedure CallProtocol，谷歌远程过程调用协议)。也就是说，可基于TCP协议、HTTP协议、GRPC协议与上述机器人进行通信，进而发送上述涂胶轨迹点信息。
在本申请的实施例中，上述机器人的出胶头形状可以为任意形状，例如，可以为矩形，或者圆形等。
以下列举本申请实施例的玻璃涂胶方法的一可选应用场景。其中，待涂胶玻璃被放置在传送带上，被通过该传送带将上述待涂胶玻璃传送到用于对该玻璃进行涂胶的机器人的下方，以便通过该机器人对该玻璃进行涂胶。在通过该机器人对该玻璃进行涂胶之前，可实时通过视觉传感器对上述待涂胶玻璃进行图像采集，以得到上述待涂胶玻璃的点云数据，并通过电子设备对视觉传感器采集到的点云数据进行点云过滤、去除离群点等精细操作，以形成较为精确的点云模型，进而提取该待涂胶玻璃的点云模型中的边缘轮廓点，以得到该待涂胶玻璃边缘的轮廓点云。然后，将上述轮廓点云进行正交投影操作，以将上述轮廓点云映射到二维平面上，以得到上述待涂胶玻璃的二维轮廓点。之后，对二维轮廓点所描述的轮廓边进行噪点去除、平滑操作，然后再进行直线拟合，以拟合得到针对上述待涂胶玻璃的涂胶路径，然后，根据机器人的固有属性以及初始位姿，在上述涂胶路径上设置涂胶轨迹点，进而将涂胶轨迹点信息发送给上述机器人，以便上述机器人基于上述涂胶轨迹点信息控制自身出胶头对上述待涂胶玻璃进行涂胶。本实施例中的视觉传感器可以为工业3D视觉相机。
需要说明的是，在本申请的一个实施例中，用于玻璃涂胶的机器人可具有图像采集以及数据处理功能，即本申请实施例的玻璃涂胶方法可应用于上述具有图像采集以及数据处理功能的机器人上，也就是说，本申请实施例的玻璃涂胶方法执行主体可为机器人。例如，本实施例的机器人上具有视觉系统，视觉系统包括视觉传感器以及本申请中的玻璃涂胶方法对应的玻璃涂胶装置，基于该机器人上的视觉系统获取待涂胶玻璃边缘的轮廓点云，进而对该待涂胶玻璃边缘的轮廓点云进行正交投影，以将其映射到二维平面以得到轮廓点，然后，基于该轮廓点，拟合针对待涂胶玻璃的涂胶路径，之后，根据该机器人的固有属性以及机器人初始位姿，在该涂胶路径上生成涂胶轨迹点信息，进而基于该涂胶轨迹点信息控制出胶头对该待涂胶玻璃进行涂胶。由此可见，本实施例中，通过在用于玻璃涂胶的机器人上设置视觉系统以及具有数据处理功能的控制器，即可实现对待涂胶玻璃的涂胶，省去与外部电子设备的通信环节，从而可以避免由于通信环节出错或通信不稳定而导致机器人不能及时接收到电子设备发送的涂胶轨迹点信息的情况，进而可以提高玻璃涂胶的效率。
本申请实施例的玻璃涂胶方法，可获取待涂胶玻璃边缘的轮廓点云，并将轮廓点云映射到二维平面以得到轮廓点，之后可基于该轮廓点，拟合针对待涂胶玻璃的涂胶路径，并根据预设机器人固有属性以及机器人初始位姿，在涂胶路径上生成涂胶轨迹点信息，并将涂胶轨迹点信息发送至机器人以对待涂胶玻璃进行涂胶。即可对待涂胶玻璃形态、位置精准识别，可以自动生成任意型号大小的玻璃涂胶胶轨迹点，进而可以实现任意规格大小的玻璃轮廓高精度涂胶，大大提高了玻璃涂胶的易用性、灵活性与通用性。
为了能够获得更加精准的涂胶路径，进而可以获得更加精准的涂胶轨迹点，使得机器人能够精准的对待涂胶玻璃进行涂胶，在本申请的一个实施例中，如图2所示，该玻璃涂胶方法可以包括：
步骤201，获取待涂胶玻璃边缘的轮廓点云。
步骤202，将轮廓点云映射到二维平面以得到轮廓点。
需要说明的是，在本申请的实施例中，上述步骤201和步骤202的实现过程可参见上述图1中所示的步骤101和步骤102的具体实现过程的描述，在此不再赘述。
步骤203，基于轮廓点，亚像素级别的对每条边进行噪点去除和平滑处理。
可选地，在获得待涂胶玻璃边缘的二维轮廓点之后，可基于该二维轮廓点，亚像素级别地对二维轮廓点所描述的待涂胶玻璃的每条边进行噪点去除和平滑处理。需要说明的是，上述亚像素级别为现有概念，意指从微观角度看两个像素点之间的点，亚像素级别的计算可使图像处理更为精确。
步骤204，对噪点去除和平滑处理后的结果所描述轮廓的各边进行直线拟合。
也就是说，在基于轮廓点，亚像素级别地对轮廓点所描述的每条边进行噪点去除和平滑处理之后，可对经过噪点去除和平滑处理的轮廓点所描述轮廓的各边进行直线拟合。较佳的，在本申请的实施例中，上述直线拟合可为基于各边的点寻找各边对应的直线，每一边的直线覆盖该边较优部分对应的点数量最多。
若待涂胶玻璃为非标准平面的玻璃，比如玻璃某一边、或某一对边、或某一相邻边上翘或下沉，即上述边在空间中Z向高度上(下)呈弧线时，为了能够获得更加精准的待涂胶玻璃的轮廓边缘，可基于轮廓点所对应的轮廓点云的Z向坐标，从这些轮廓点中寻找出较优部分，进而确定各轮廓边缘所在边对应的直线。具体地，在本申请的实施例中，可确定上述轮廓点所对应的轮廓点云，并基于上述轮廓点云的Z向坐标，从上述轮廓点中确定出对应轮廓点云的Z向坐标不为零的目标轮廓点，并对上述目标轮廓点所描述轮廓的各边进行直线拟合。
也就是说，在采集待涂胶玻璃的点云过程中，针对非标准平面的待涂胶玻璃，其贴合传送带的部分容易受到传送带干扰，进而出现干扰点，而翘起部分的边缘不会受干扰，因此在基于二维轮廓点进行直线拟合过程中，对于与传送带有接触的边，可以根据此边的不与传送带接触处的点确定该边对应的直线。可选地，可通过此边上轮廓点所对应的轮廓点云的Z向坐标，来确定该边上哪些轮廓点是与传送带有接触，哪些轮廓点是不与传送带接触的，即轮廓点所对应的轮廓点云的Z向坐标为零，则说明该轮廓点与传送带有接触，在轮廓点所对应的轮廓点云的Z向坐标不为零，则说明该轮廓点不与传送带接触，此时可基于不与传送带有接触的轮廓点进行直线拟合，以得到待涂胶玻璃较为精准的轮廓边缘。需要说明的是，本实施例中待涂胶玻璃所对应坐标系贴合传送带建立，也就是说上述坐标系的原点位于传送带所在平面。
当然可以理解的是，上述坐标系还可以以其他形式建立，此时可以基于预先根据待涂胶的非标准平面玻璃的形状设定某一点云筛选规则，选取上述较优部分对应的点，即选取待涂胶的非标准平面玻璃未与传送带接触部分对应的点。
需要说明的是，本实施例中直线拟合操作的对象较佳地为噪点去除、平滑处理后的结果，当然，也可以为未进行噪点去除、平滑处理的轮廓点。
步骤205，根据目标涂胶位置，对直线拟合后的各边对应的直线分别进行平移，生成针对待涂胶玻璃的涂胶路径。
在本申请的实施例中，可根据上述目标涂胶位置，对直线拟合后的各边对应的直线分别进行内缩或外伸平移，以得到针对上述待涂胶玻璃的涂胶路径。需要说明的是，上述目标涂胶位置可根据实际需求中用户所要求的涂胶位置确定。可选地，在上述基础上还可根据玻璃轮廓的宽度对平移距离进行限定，防止各边被移动至玻璃轮廓之外。
步骤206，根据预设机器人固有属性以及机器人初始位姿，在涂胶路径上生成涂胶轨迹点信息，并将涂胶轨迹点信息发送至机器人以对待涂胶玻璃进行涂胶。
在本申请的实施例中，在得到上述待涂胶玻璃的涂胶路径之后，可确定预设机器人的固有属性以及上述机器人的初始位姿，之后，可根据上述机器人的固有属性以及上述机器人的初始位姿，在上述涂胶路径上生成涂胶轨迹点信息，并将上述涂胶轨迹点信息发送至上述机器人以对上述待涂胶玻璃进行涂胶。需要说明的是，上述机器人可为用于玻璃涂胶的工业机器人手臂。
可选地，为了使得机器人走更少的多余轨迹，可将涂胶轨迹点的初始点设置在涂胶路径上与机器人初始位姿最为相近的位置，例如将初始点设置在靠近上述机器人那条边的中间。也就是说，在确定上述机器人的初始位姿之后，可将距离该机器人的初始位姿最近的那条边的涂胶路径上的中间点作为涂胶轨迹点的初始点，之后，可根据上述机器人的固有属性在上述涂胶路径上设置其他涂胶轨迹点，进而可以得到该涂胶玻璃的涂胶轨迹点信息。其中，在本申请的实施例中，该涂胶轨迹点信息可包括但不限于涂胶轨迹点的坐标、涂胶轨迹点的初始轨迹点以及上述涂胶轨迹点的走向(即涂胶轨迹点走位顺序)等。在得到上述涂胶玻璃的涂胶轨迹点信息之后，可采用通信方式将上述涂胶轨迹点信息发送至上述机器人。上述机器人在接收到上述涂胶轨迹点信息时，可基于上述涂胶轨迹点信息，控制自身的喷胶喷头对上述待涂胶玻璃进行涂胶。
根据本申请实施例的玻璃涂胶方法，可获取待涂胶玻璃边缘的轮廓点云，并将轮廓点云映射到二维平面以得到轮廓点，之后，基于轮廓点，亚像素级别的对每条边进行噪点去除和平滑处理，并对轮廓点所描述轮廓的各边进行直线拟合，然后，根据目标涂胶位置，对直线拟合后的各边对应的直线分别进行平移，生成针对待涂胶玻璃的涂胶路径，从而能够获得更加精准的涂胶路径，进而可以获得更加精准的涂胶轨迹点，使得机器人能够精准的对待涂胶玻璃进行涂胶。
由于待涂胶玻璃的形状原因，使得涂胶路径上可能存在拐弯处和直线处，而为了能够保证拐弯处的涂胶效果与直线处的涂胶效果尽可能保持一致，防止拐弯处造成堆胶情况，在本申请的一个实施例中，如图3所示，以上实施例中生成涂胶轨迹信息的具体实现过程可以为：
步骤301，确定涂胶路径中的拐角处和直线处。
可选地，基于涂胶路径上各点的坐标值间的关系，来确定涂胶路径中的拐角处和直线处。较佳地，上述拐角处相邻点的X坐标和Y坐标均会不一样，而上述直线处相邻点，可能其X坐标会一样或Y坐标会一样。例如，假设待涂胶玻璃的形状为矩形，则该待涂胶玻璃的涂胶路径中，四个角的拐角处相邻点的X坐标和Y坐标均会不一样，而上边直线处相邻点的Y坐标会一样而X坐标会不一样，下边直线处相邻点的Y坐标会一样而X坐标会不一样且Y坐标相对于上边直线处数值小，左边直线处相邻点的X坐标会一样而Y坐标会不一样，右边直线处相邻点的X坐标会一样而Y坐标会不一样且X坐标相对于左边直线处数值小。
步骤302，根据机器人的出胶速率、运动速度在拐弯处以及直线处以相应密度设置涂胶轨迹点。
可以理解，机器人在对玻璃进行涂胶时，会基于一定的出胶速率控制出胶头进行涂胶。出胶速率作为机器人的固有属性，影响本实施例中涂胶效果。为了能够方便参考机器人的出胶速率在涂胶路径上设置涂胶轨迹点，以避免堆胶情况，可确定该机器人的出胶速率。其中，在本申请的实施例中，上述出胶速率可为机器人的固定值，该固定值存储在机器人的存储模块中，这样，可基于与机器人通信从而可获得该机器人的出胶速率。作为另一种示例，本实施例预先存储有该机器人的出胶速率，实际使用时读取到该机器人的出胶速率。
本实施例中，机器人运动的固有属性还体现为，若机器人在拐角处和直线处设置同样的运动速度参数，其在拐角处和直线处的运动速度会不同，具体拐角处运动速度慢于直线处运动速度。而实际情况下机器人另一固有属性出胶速率是不变的，因此对于合适直线的出胶速率与运动速度参数，在拐弯处就会造成堆胶情况。故在本申请一较佳实施例中，在保证机器人沿着所确定的涂胶路径移动的前提下，在涂胶路径上的拐角处设置的涂胶轨迹点的间距可以比直线处设置的涂胶轨迹点间距大些，以达到直线处运动速度与拐角处运动速度的平衡，进而解决拐角可能造成的堆胶现象。较佳的可在直线处设置一最小间距用于限定直线处涂胶轨迹点的间距，防止直线处由于机器人由于轨迹点数量过多而出现卡顿堆胶的情况。可选地，还可在直线处和拐角处设置数值不同的运动速度参数以达到直线处运动速度与拐角处运动速度的平衡，解决由于上述固有属性导致的堆胶问题。
步骤303，根据机器人初始位姿确定涂胶轨迹点的走位顺序，以得到所述涂胶轨迹点信息。
可以理解，为了使得机器人走更少的多余轨迹，可选地设置轨迹点的初始点为靠近机器人初始位姿的点，例如可以为待涂胶玻璃的靠近机器人那条边的中间部位对应的轨迹点。也就是说，在确定上述机器人的初始位姿之后，可将距离该机器人的初始位姿最近的那条边的涂胶路径上的中间点对应的轨迹点(或者距离该点最近的轨迹点)作为涂胶轨迹点的初始轨迹点，之后，可以顺时针走位其他轨迹点，也可以逆时针走位其他轨迹点。
可选地，本实施例中，涂胶轨迹点信息具体可以包括涂胶轨迹点坐标，初始轨迹点坐标、涂胶轨迹点的走位顺序、涂胶轨迹点的运动速度参数等。
可选地，以上相应实施例中提及的各形式的坐标可以为二维坐标也可以为三维坐标，二维坐标即为轮廓点云映射到二维平面对应轮廓点所对应的相应坐标维度，三维坐标即为轮廓点云对应的相应坐标维度。
示例性地，对于二维坐标，其相应维度坐标数值可参考相关轮廓点坐标值；三维坐标的相应维度坐标数值可参考相关轮廓点云坐标值。或者，本领域技术人员可通过现有技术获取相应维度坐标值，对此，本申请实施例不做赘述。
可选地，若出胶头为矩形，对玻璃涂胶一圈需要考虑避免机器人手臂末轴回转问题(机器人手臂末轴与出胶头固定连接)，该问题受涂胶轨迹点顺、逆时针走向影响。因此在一较佳实施例中，如果机器人从初始涂胶轨迹点运动到结束涂胶轨迹点走向为顺时针，若上述机器人末关节角度增加360度，上述机器人可不回转的到达，则涂胶轨迹点走向确定为顺时针即可，否则需调整轨迹点走向为逆时针。为此，在本申请的实施例中，在获得涂胶轨迹信息时，还需考虑机器人末轴回转问题以确定涂胶轨迹点的走向。
综上所述，可通过确定涂胶路径中的拐角处和直线处，并确定机器人的出胶速率，之后，根据机器人运动速度、机器人初始位姿、机器人的出胶速率、涂胶路径中的拐角处和直线处，在涂胶路径上设置涂胶轨迹点，以得到涂胶轨迹点信息，从而可以能够保证拐弯处的涂胶效果与直线处的涂胶效果尽可能保持一致，防止拐弯处造成堆胶情况。可对待涂胶玻璃形态、位置精准识别，涂胶精度可控制在2mm之内。
较佳地，在本申请的实施例中，在获得待涂胶玻璃边缘的轮廓点云之后，可根据各轮廓点云的法向信息确定上述机器人的出胶头在经过其所对应的涂胶轨迹点时所对应的角度，上述法相信息包括在涂胶轨迹点信息内。具体地，可根据涂胶轨迹点的Z向使用局部点云主法向，来确定上述机器人的出胶头在经过其所对应的涂胶轨迹点时所对应的角度，以保证涂胶效果更佳。可选地，上述法向信息使机器人出胶头在各涂胶轨迹点时均垂直于上述待涂胶玻璃表面。
可选地，上述法向信息可以为各轮廓点云对应的法向量相对于一固定量的角度值，还可以为各轮廓点云中相应走位顺序在后的点云相对于其前一点云的偏离角度值。
可选地，若出胶头为非360度对称的矩形，还可参考各轨迹点在涂胶路径上的切向信息等调整出胶头相对于待喷胶玻璃的方向，该切向信息可以包括在涂胶轨迹点信息内。
与上述几种实施例提供的玻璃涂胶方法相对应，本发明的一种实施例还提供一种玻璃涂胶装置，由于本发明实施例提供的玻璃涂胶装置与上述几种实施例提供的玻璃涂胶方法相对应，因此在前述玻璃涂胶方法的实施方式也适用于本实施例提供的玻璃涂胶装置，在本实施例中不再详细描述。图4是根据本申请一个实施例的玻璃涂胶装置的结构示意图。如图4所示，该玻璃涂胶装置400可以包括：轮廓点云获取模块410、轮廓点获取模块420、拟合模块430、涂胶轨迹点生成模块440和发送模块450。
具体地，轮廓点云获取模块410用于获取待涂胶玻璃边缘的轮廓点云。
轮廓点获取模块420用于将轮廓点云映射到二维平面以得到轮廓点。作为一种示例，轮廓点获取模块420具体用于：对上述轮廓点云进行正交投影，以将上述轮廓点云映射到二维平面上，得到上述待涂胶玻璃边缘的轮廓点。
拟合模块430用于基于轮廓点，拟合针对待涂胶玻璃的涂胶路径。
涂胶轨迹点生成模块440用于根据预设机器人固有属性以及机器人初始位姿，在涂胶路径上生成涂胶轨迹点信息。
发送模块450用于将涂胶轨迹点信息发送至机器人以对待涂胶玻璃进行涂胶。
在本申请的一个实施例中，如图5所示，轮廓点云获取模块410包括：玻璃点云数据获取子模块411、玻璃点云模型获取子模块412、和轮廓点云获取子模块413。其中，玻璃点云数据获取子模块411具体用于获取视觉传感器采集到的待涂胶玻璃的点云数据；玻璃点云模型获取子模块412具体用于对上述待涂胶玻璃的点云数据进行点云滤波和离群点剔除，以获取上述待涂胶玻璃的点云模型；轮廓点云获取子模块413具体用于根据上述点云模型，获取上述待涂胶玻璃边缘的轮廓点云。
在本申请的一个实施例中，如图6所示，拟合模块430包括：
处理子模块431，具体用于基于上述轮廓点，亚像素级别的对每条边进行噪点去除和平滑处理；
直线拟合子模块432，具体用于对噪点去除和平滑处理后的结果所描述轮廓的各边进行直线拟合；
涂胶路径生成子模块433，具体用于根据目标涂胶位置和玻璃轮廓距离，对直线拟合后的各边对应的直线分别进行平移，生成针对上述待涂胶玻璃的涂胶路径。作为一种示例，涂胶路径生成子模块433具体用于：根据目标涂胶位置，对直线拟合后的各边对应的直线分别进行亚像素级别的内缩或外伸平移，生成针对上述待涂胶玻璃的涂胶路径。
在本申请的一个实施例中，如图7所示，直线拟合子模块432包括：
轮廓点云确定单元4321，具体用于确定上述结果所对应的轮廓点云；
目标轮廓点确定单元4322，具体用于基于上述结果所对应的轮廓点云的Z向坐标，确定出对应轮廓点云的Z向坐标不为零的目标轮廓点；
直线拟合单元4323，用于对上述目标轮廓点所描述轮廓的各边进行直线拟合。
在本申请的一个实施例中，如图8所示，涂胶轨迹点生成模块440包括：
第一确定子模块441，具体用于确定上述涂胶路径中的拐角处和直线处；
涂胶轨迹点设置子模块442，具体用于根据上述机器人的出胶速率、运动速度在上述拐弯处以及上述直线处以相应密度设置涂胶轨迹点；
涂胶轨迹点信息获取子模块443，具体用于根据上述机器人初始位姿确定上述涂胶轨迹点的走位顺序，以得到上述涂胶轨迹点信息。
在本申请的一个实施例中，上述涂胶轨迹点信息还包括：上述轮廓点对应的法向信息。
本申请实施例的玻璃涂胶装置，可获取待涂胶玻璃边缘的轮廓点云，并将轮廓点云映射到二维平面以得到轮廓点，之后可基于该轮廓点，拟合针对待涂胶玻璃的涂胶路径，并根据预设机器人固有属性以及机器人初始位姿，在涂胶路径上生成涂胶轨迹点信息，并将涂胶轨迹点信息发送至机器人以对待涂胶玻璃进行涂胶。即可对待涂胶玻璃形态、位置精准识别，可以自动生成任意型号大小的玻璃涂胶胶轨迹点，进而可以实现任意规格大小的玻璃轮廓高精度涂胶，大大提高了玻璃涂胶的易用性、灵活性与通用性。
为了实现上述实施例，本申请还提出了一种电子设备。
图9是根据本申请一个实施例的电子设备的结构示意图。如图9所示，该电子设备900可以包括：
存储器901、处理器902及存储在存储器901上并可在处理器902上运行的计算机程序。
处理器902执行上述计算机程序时实现上述实施例中提供的玻璃涂胶方法。
进一步地，电子设备900还包括：
通信接口903，用于存储器901和处理器902之间的通信。
存储器901，用于存放可在处理器902上运行的计算机程序。
存储器901可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
处理器902，用于执行计算机程序时实现上述实施例的玻璃涂胶方法。
如果存储器901、处理器902和通信接口903独立实现，则通信接口903、存储器901和处理器902可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器901、处理器902及通信接口903，集成在一块芯片上实现，则存储器901、处理器902及通信接口903可以通过内部接口完成相互间的通信。
处理器902可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本申请上述任一个实施例所述的玻璃涂胶方法。
在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (6)
1.一种玻璃涂胶方法，其特征在于，包括：
获取视觉传感器采集到的待涂胶玻璃的点云数据；
对所述点云数据进行点云滤波和离群点剔除，以获取所述待涂胶玻璃的点云模型；
根据所述点云模型，获取所述待涂胶玻璃边缘的轮廓点云；
对所述轮廓点云进行正交投影，以将所述轮廓点云映射到二维平面上，得到所述待涂胶玻璃边缘的轮廓点；
基于所述轮廓点，亚像素级别的对每条边进行噪点去除和平滑处理；
对噪点去除和平滑处理后的结果所描述轮廓的各边进行直线拟合；
根据目标涂胶位置，对直线拟合后的各边对应的直线分别进行平移，生成针对所述待涂胶玻璃的涂胶路径；
确定所述涂胶路径中的拐角处和直线处；
根据预设机器人的出胶速率、运动速度在所述拐角处以及所述直线处以相应密度设置涂胶轨迹点；
根据所述机器人初始位姿确定所述涂胶轨迹点的走位顺序，以得到涂胶轨迹点信息；
根据预设机器人固有属性以及所述机器人初始位姿，在所述涂胶路径上生成涂胶轨迹点信息，并将所述涂胶轨迹点信息发送至所述机器人以对所述待涂胶玻璃进行涂胶。
2.根据权利要求1所述的方法，其特征在于，所述对噪点去除和平滑处理后的结果所描述轮廓的各边进行直线拟合，包括：
确定所述结果所对应的轮廓点云；
基于所述结果所对应的轮廓点云的Z向坐标，确定出对应轮廓点云的Z向坐标不为零的目标轮廓点；
对所述目标轮廓点所描述轮廓的各边进行直线拟合。
3.根据权利要求1所述的方法，其特征在于，所述涂胶轨迹点信息还包括：所述轮廓点对应的法向信息。
4.一种玻璃涂胶装置，其特征在于，所述玻璃涂胶装置用于实现如权利要求1至3中任一项所述的玻璃涂胶方法，所述玻璃涂胶装置包括：
轮廓点云获取模块，用于获取待涂胶玻璃边缘的轮廓点云；
轮廓点获取模块，用于将所述轮廓点云映射到二维平面以得到轮廓点；
拟合模块，用于基于所述轮廓点，拟合针对所述待涂胶玻璃的涂胶路径；
涂胶轨迹点生成模块，用于根据预设机器人固有属性以及所述机器人初始位姿，在所述涂胶路径上生成涂胶轨迹点信息；
发送模块，用于将所述涂胶轨迹点信息发送至所述机器人以对所述待涂胶玻璃进行涂胶。
5.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至3中任一项所述的玻璃涂胶方法。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3中任一项所述的玻璃涂胶方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010181999.XA CN111369593B (zh) | 2020-03-16 | 2020-03-16 | 玻璃涂胶方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010181999.XA CN111369593B (zh) | 2020-03-16 | 2020-03-16 | 玻璃涂胶方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111369593A CN111369593A (zh) | 2020-07-03 |
| CN111369593B true CN111369593B (zh) | 2024-01-09 |
Family
ID=71210605
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010181999.XA Active CN111369593B (zh) | 2020-03-16 | 2020-03-16 | 玻璃涂胶方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111369593B (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112238032A (zh) * | 2020-09-04 | 2021-01-19 | 上海尧崇智能科技有限公司 | 一种涂胶路径生成方法、生成装置、生成系统及计算机可读存储介质 |
| CN112344879B (zh) * | 2020-09-29 | 2022-03-25 | 联想(北京)有限公司 | 一种胶路的检测方法、装置及设备 |
| CN112317241B (zh) * | 2020-10-15 | 2022-04-29 | 软智电子有限公司 | 一种点胶方法、系统、设备及存储介质 |
| CN112517324A (zh) * | 2020-11-17 | 2021-03-19 | 中国第一汽车股份有限公司 | 一种机器人涂胶路径自动生成装置及其生成方法 |
| CN112465767A (zh) * | 2020-11-25 | 2021-03-09 | 南京熊猫电子股份有限公司 | 一种工业机器人鞋底涂胶轨迹提取方法 |
| CN112862704B (zh) * | 2021-01-22 | 2023-08-11 | 北京科技大学 | 一种基于3d视觉的喷胶及喷胶质量检测系统 |
| CN113223030B (zh) * | 2021-04-20 | 2024-08-13 | 梅卡曼德（北京）机器人科技有限公司 | 玻璃涂胶方法及装置、电子设备和存储介质 |
| CN113052863B (zh) * | 2021-04-20 | 2024-09-13 | 梅卡曼德（北京）机器人科技有限公司 | 基于机器人的物体表面浅凹槽轮廓提取方法、装置、电子设备和存储介质 |
| CN113333226B (zh) * | 2021-04-20 | 2022-11-22 | 梅卡曼德（北京）机器人科技有限公司 | 基于玻璃贴条的玻璃涂胶方法、系统、设备和介质 |
| WO2022222934A1 (zh) * | 2021-04-20 | 2022-10-27 | 梅卡曼德（北京）机器人科技有限公司 | 玻璃涂胶方法、玻璃涂胶装置、电子设备和存储介质 |
| CN113327260A (zh) * | 2021-04-20 | 2021-08-31 | 梅卡曼德（北京）机器人科技有限公司 | 基于凹槽轮廓识别的凹槽填充方法、装置、介质 |
| CN113223029B (zh) * | 2021-04-20 | 2024-08-23 | 梅卡曼德（北京）机器人科技有限公司 | 玻璃涂胶方法、玻璃涂胶装置、电子设备和存储介质 |
| WO2022237544A1 (zh) * | 2021-05-11 | 2022-11-17 | 梅卡曼德（北京）机器人科技有限公司 | 轨迹生成方法、装置、电子设备及存储介质 |
| CN113189934A (zh) * | 2021-05-11 | 2021-07-30 | 梅卡曼德（北京）机器人科技有限公司 | 轨迹生成方法、装置、电子设备、存储介质和3d相机 |
| CN113199480B (zh) * | 2021-05-11 | 2023-02-10 | 梅卡曼德（北京）机器人科技有限公司 | 轨迹生成方法、装置、电子设备、存储介质和3d相机 |
| CN113199479B (zh) * | 2021-05-11 | 2023-02-10 | 梅卡曼德（北京）机器人科技有限公司 | 轨迹生成方法、装置、电子设备、存储介质和3d相机 |
| CN114347017B (zh) * | 2021-12-08 | 2024-02-02 | 华中科技大学 | 基于平面投影的吸附式移动加工机器人曲面运动控制方法 |
| CN116159713B (zh) * | 2022-12-29 | 2023-09-15 | 江苏弘扬石英制品有限公司 | 一种特种石英玻璃用涂胶装置及其方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3663351A (en) * | 1970-07-24 | 1972-05-16 | Goodrich Co B F | Vapor permeable polyurethane adhesive and finish layers in artificial leather |
| JP2005055454A (ja) * | 2003-08-01 | 2005-03-03 | Hitachi Industries Co Ltd | 液晶パネルの製造方法と液晶表示装置、及びペースト塗布装置 |
| CN104908001A (zh) * | 2015-05-15 | 2015-09-16 | 天津智通机器人有限公司 | 一种高铁机车的车前窗的装配系统及方法 |
| AU2016206236A1 (en) * | 2006-02-06 | 2016-08-04 | Conformis, Inc. | Patient selectable joint arthroplasty devices and surgical tools |
| CN206568190U (zh) * | 2017-03-03 | 2017-10-20 | 梅卡曼德（北京）机器人科技有限公司 | 一种用于工业机器人抓取领域的深度相机标定装置 |
| CN109454642A (zh) * | 2018-12-27 | 2019-03-12 | 南京埃克里得视觉技术有限公司 | 基于三维视觉的机器人涂胶轨迹自动生产方法 |
-
2020
- 2020-03-16 CN CN202010181999.XA patent/CN111369593B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3663351A (en) * | 1970-07-24 | 1972-05-16 | Goodrich Co B F | Vapor permeable polyurethane adhesive and finish layers in artificial leather |
| JP2005055454A (ja) * | 2003-08-01 | 2005-03-03 | Hitachi Industries Co Ltd | 液晶パネルの製造方法と液晶表示装置、及びペースト塗布装置 |
| AU2016206236A1 (en) * | 2006-02-06 | 2016-08-04 | Conformis, Inc. | Patient selectable joint arthroplasty devices and surgical tools |
| CN104908001A (zh) * | 2015-05-15 | 2015-09-16 | 天津智通机器人有限公司 | 一种高铁机车的车前窗的装配系统及方法 |
| CN206568190U (zh) * | 2017-03-03 | 2017-10-20 | 梅卡曼德（北京）机器人科技有限公司 | 一种用于工业机器人抓取领域的深度相机标定装置 |
| CN109454642A (zh) * | 2018-12-27 | 2019-03-12 | 南京埃克里得视觉技术有限公司 | 基于三维视觉的机器人涂胶轨迹自动生产方法 |
Non-Patent Citations (9)
| Title |
|---|
| B.Alsadik等.Visibility analysis of point cloud in close range photogrammetry.《ISPRS Annals of the Photogrammetry, Remote sensing and Spatial Information Sciences》.2014,23-25. * |
| Point Cloud Glue: Constraining Simulations Using the Procrustes Transform;Christopher D. Twigg等;《 Proceedings of the 2010 Eurographics/ACM SIGGRAPH Symposium on Computer Animation》;1-9 * |
| 任玉峰 ; 林巨广 ; 王淑旺 ; .挡风玻璃机器人涂胶系统智能化技术研究.机床与液压.2009,(第10期),第5节. * |
| 全燕鸣等.基于双目视觉的工件尺寸在机三维测量.《光学精密工程》.2013,1054-1061. * |
| 基于双目视觉的工件尺寸在机三维测量;全燕鸣;黎淑梅;麦青群;;光学精密工程(第04期);232-239 * |
| 席文明,文巨峰,颜景平.摄像机控制下的双机器人协调跟踪复杂边缘的运动规划.机械设计.2000,(第06期),37-39. * |
| 杨瑞鹏.基于线结构光的机器人三维涂胶检测技术研究.《中国优秀硕士学位论文全文数据库 信息科技辑》.2018,I140-600. * |
| 涂胶机器人控制系统研制及其视觉定位系统研究;栗海兵;《中国优秀硕士学位论文全文数据库 信息科技辑》;I140-323 * |
| 魏京利 ; 齐立哲 ; 孙笃玲 ; .基于3D视觉的动车组车窗机器人玻璃安装与涂胶系统.山东理工大学学报(自然科学版).2012,(第06期),45-47+52. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111369593A (zh) | 2020-07-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111369593B (zh) | 玻璃涂胶方法、装置、电子设备和存储介质 | |
| Taylor et al. | Robust vision-based pose control | |
| CN112967368A (zh) | 基于机器人视觉的物品表面涂胶方法、装置、电子设备和存储介质 | |
| EP3392002A1 (en) | Information processing apparatus, measuring apparatus, system, interference determination method, and article manufacturing method | |
| CN113199479B (zh) | 轨迹生成方法、装置、电子设备、存储介质和3d相机 | |
| CN113344769B (zh) | 基于机器视觉的物品3d图像信息获取方法、装置、介质 | |
| CN113199480B (zh) | 轨迹生成方法、装置、电子设备、存储介质和3d相机 | |
| WO2020217878A1 (ja) | 対象物の位置姿勢を検出する装置、方法およびプログラム | |
| EP1975046A1 (en) | Legged locomotion robot | |
| KR900002509B1 (ko) | 화상 처리 장치 | |
| Gratal et al. | Visual servoing on unknown objects | |
| JP7331527B2 (ja) | ロボットの動作を決定する装置、方法およびプログラム | |
| CN113189934A (zh) | 轨迹生成方法、装置、电子设备、存储介质和3d相机 | |
| CN113706621A (zh) | 基于带标记图像的标志点定位及姿态获取方法和系统 | |
| US10591289B2 (en) | Method for measuring an artefact | |
| Grest et al. | Single view motion tracking by depth and silhouette information | |
| CN115816471A (zh) | 多视角3d视觉引导机器人的无序抓取方法、设备及介质 | |
| WO2022222934A1 (zh) | 玻璃涂胶方法、玻璃涂胶装置、电子设备和存储介质 | |
| Gratal et al. | Virtual visual servoing for real-time robot pose estimation | |
| CN113223029B (zh) | 玻璃涂胶方法、玻璃涂胶装置、电子设备和存储介质 | |
| KR20170104506A (ko) | 패턴화 광을 사용하는 깊이 맵핑을 제공하기 위한 방법 및 시스템 | |
| CN113223030B (zh) | 玻璃涂胶方法及装置、电子设备和存储介质 | |
| CN109048911B (zh) | 一种基于矩形特征的机器人视觉控制方法 | |
| CN113333226B (zh) | 基于玻璃贴条的玻璃涂胶方法、系统、设备和介质 | |
| JP4073995B2 (ja) | 電子部品位置検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Room 1100, 1st Floor, No. 6 Chuangye Road, Shangdi Information Industry Base, Haidian District, Beijing 100085 Applicant after: MECH-MIND (BEIJING) ROBOTICS TECHNOLOGIES CO.,LTD. Address before: 100085 1001, floor 1, building 3, No.8 Chuangye Road, Haidian District, Beijing Applicant before: MECH-MIND (BEIJING) ROBOTICS TECHNOLOGIES CO.,LTD. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |