CN114581379A - 一种密封胶的检测方法及装置 - Google Patents
一种密封胶的检测方法及装置 Download PDFInfo
- Publication number
- CN114581379A CN114581379A CN202210132897.8A CN202210132897A CN114581379A CN 114581379 A CN114581379 A CN 114581379A CN 202210132897 A CN202210132897 A CN 202210132897A CN 114581379 A CN114581379 A CN 114581379A
- Authority
- CN
- China
- Prior art keywords
- cloud data
- point cloud
- point
- sealant
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000000565 sealant Substances 0.000 title claims abstract description 222
- 238000001514 detection method Methods 0.000 title description 18
- 238000000034 method Methods 0.000 claims abstract description 68
- 238000012545 processing Methods 0.000 claims description 39
- 239000013598 vector Substances 0.000 claims description 25
- 230000035772 mutation Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 239000003292 glue Substances 0.000 description 20
- 238000010586 diagram Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 239000007787 solid Substances 0.000 description 5
- 238000013519 translation Methods 0.000 description 4
- 238000004026 adhesive bonding Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007789 sealing Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Application Of Or Painting With Fluid Materials (AREA)
- Coating Apparatus (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请公开了一种密封胶的检测方法及装置，用以解决提升检测密封胶的效率和成功率。该方法包括：获取至少两帧点云数据；其中的第一帧点云数据包括涂密封胶后的工件的第一位置的图片中每一个像素点的坐标，第二帧点云数据包括涂密封胶后的工件的第二位置的图片中每一个像素点的坐标；第一位置和第二位置不重叠；根据第一帧点云数据确定第一位置的密封胶的两个端点的坐标，并根据两个端点的坐标计算第一位置的密封胶的宽；根据第一帧点云数据中包括的第一位置的密封胶的点云数据与设定基准线的点云数据，计算第一位置的密封胶的高；根据第一帧点云数据和第二帧点云数据，以及第一位置和第二位置，计算第一位置和第二位置之间的密封胶的体积。
Description
技术领域
本申请涉及自动控制技术领域，尤其涉及一种密封胶的检测方法及装置。
背景技术
相关技术中，为了保证涂胶工件的可用性，需要对工件上所涂的固体胶进行检测。例如检测是否存在缺胶、溢胶或者断胶等情况，或者检测固体胶的宽度和高度等数据是否达标。目前常用的检测方法包括人工检测和线阵相机检测两种方法。
其中，线阵相机检测方法是通过搭载机械臂来控制相机拍摄工件图片的方式进行的。这种方式只能判断工件上是否有漏胶等问题，无法确定固体胶的宽度等信息。人工检测方法需要操作人员采用卡尺等工具测量设定位置的固体胶的宽度或者高度。这种方法不仅误差大且检测效率较低，并且无法确定固体胶的体积，所以该种方法实用性较差。
发明内容
本申请示例性的实施方式中提供一种密封胶的检测方法及装置，用以解决提升检测密封胶的效率和成功率。
第一方面，本申请实施例提供了一种密封胶的检测方法，包括：
获取至少两帧点云数据，所述至少两帧点云数据包括第一帧点云数据和第二帧点云数据；所述第一帧点云数据包括涂密封胶后的工件的第一位置的图片中每一个像素点的坐标，所述第二帧点云数据包括所述涂密封胶后的工件的第二位置的图片中每一个像素点的坐标；所述第一位置和所述第二位置不重叠；
根据所述第一帧点云数据确定所述第一位置的密封胶的两个端点的坐标，并根据所述两个端点的坐标计算所述第一位置的所述密封胶的宽；所述两个端点中第一端点是所述第一位置的所述密封胶的起始点，所述两个端点中第二端点是所述第一位置的所述密封胶的终止点；
根据所述第一帧点云数据中包括的所述第一位置的所述密封胶的点云数据与设定基准线的点云数据，计算所述第一位置的所述密封胶的高；
根据所述第一帧点云数据和所述第二帧点云数据，以及所述第一位置和所述第二位置，计算所述第一位置和所述第二位置之间的所述密封胶的体积。
基于上述方案，本申请实施例提出了结合涂密封胶的工件的点云数据，来计算工件上每一个位置所涂的密封胶的高和宽。相比于现有技术中人工检测密封胶的高和宽的方式，本申请的方案效率更高，并且全部采用机器算法来实现，能够有效避免误差。另外，本申请的方案还可以得到密封胶的体积，体积也可以作为衡量密封胶的胶量是否达标的指标，相较于现有技术，可以更为全面的检测工件上的密封胶。
在一些实施例中，所述至少两帧点云数据是通过机械臂控制激光相机获取的，所述至少两帧点云数据是以所述激光相机为原点的相机坐标系下的点云数据；获取至少两帧点云数据之后，所述方法还包括：
根据预先设定的以所述机械臂为原点的机械臂坐标系和所述相机坐标系之间的转换关系，将所述至少两帧点云数据转换为所述机械臂坐标系下的点云数据；
获取所述机器处于设定坐标系下的坐标；
基于所述机械臂处于所述设定坐标系下的坐标，将机械臂坐标系下的至少两帧点云数据转换为所述设定坐标系下的点云数据。
基于上述方案，本申请实施例提出了，在根据点云数据计算密封胶的宽和高等数据之前，可以先将点云数据转换为设定坐标系下的数据。避免由于坐标系不统一导致计算出错的问题。
在一些实施例中，所述根据所述第一帧点云数据和所述第二帧点云数据，以及所述第一位置和所述第二位置，计算所述第一位置和所述第二位置之间的所述密封胶的体积，包括：
根据所述第一帧点云数据确定所述第一位置的密封胶的形状曲线；
基于所述基准线，对所述形状曲线进行定积分计算，得到所述第一位置的密封胶的截面积；
根据所述截面积、所述第一位置和所述第二位置，计算所述第一位置与所述第二位置之间的密封胶的体积。
在一些实施例中，所述根据所述第一帧点云数据确定所述第一位置的密封胶的两个端点的坐标，包括：
计算所述第一帧点云数据中每一个点的邻域法向量；
根据各点的邻域法向量，将所述第一帧点云数据中第一点的坐标作为所述第一端点的坐标；所述第一点为所述第一帧点云数据中第一个邻域法向量突变的点，邻域法向量突变表示所述第一点与所述第一点的前一个点的邻域法向量的差值大于设定阈值。
在一些实施例中，所述方法还包括：
获取第三帧点云数据；所述第三帧点云数据包括未涂密封胶的所述工件的所述第一位置的图片中每一个像素点的坐标；
在得到所述第一位置的密封胶的截面积之后，所述方法还包括：
确定所述第一位置的所述密封胶的宽、高和截面积是否符合预先设定的标准范围；
若所述第一位置的所述密封胶的宽、高或者截面积不符合所述预先设定的标准范围，则采用第一帧点云数据与所述第三帧点云数据的差值确定所述第一位置的密封胶的宽、高和截面积。
基于上述方案，本申请实施例提出了检测异常的防护机制，可以结合未涂胶的工件的点云数据和涂胶后的点云数据共同确定密封胶的各项数据，还可以在检测异常的情况下，采用前一位置的密封胶的各项数据作为当前位置的密封胶的各项数据。
在一些实施例中，采用第一帧点云数据与所述第三帧点云数据的差值确定所述第一位置的密封胶的宽、高和截面积之后，所述方法还包括：
确定采用所述差值确定的所述第一位置的密封胶的宽、高和截面积是否符合所述预设范围；
若采用所述差值确定的所述第一位置的密封胶的宽、高和截面积不符合预设范围，则将根据所述第一帧点云数据的前一帧点云数据计算出的密封胶的宽、高和截面积，作为所述第一位置的密封胶的宽、高和截面积。
基于上述方案，本申请实施例提出了检测异常的防护机制，可以结合未涂胶的工件的点云数据和涂胶后的点云数据共同确定密封胶的各项数据，还可以在检测异常的情况下，采用前一位置的密封胶的各项数据作为当前位置的密封胶的各项数据。
在一些实施例中，所述方法还包括：
按照横坐标从小到大的规则检测所述第一帧点云数据，得到唯一的外边界点和唯一的内边界点时，采用最小二乘法将检测到的外边界点和内边界点之间的点云数据进行拟合，得到所述第一位置的基准线；
按照横坐标从小到大的规则检测所述第一帧点云数据，得到至少两个外边界点和至少两个内边界点时，采用最小二乘法将检测到的所述至少两个外边界点中的第一个外边界点，和所述至少两个内边界点中的最后一个内边界点之间的点云数据进行拟合，得到所述第一位置的基准线；
其中，所述外边界点垂直于所述工件方向的坐标数值大于所述外边界点的前一个点垂直于所述工件方向的坐标数值，且所述外边界点垂直于所述工件方向的坐标数值与所述外边界点的前一个点垂直于所述工件方向的坐标数值的差值大于设定值；所述内边界点垂直于所述工件方向的坐标数值大于所述内边界点的后一个点垂直于所述工件方向的坐标数值，且所述内边界点垂直于所述工件方向的坐标数值与所述内边界点的前一个点垂直于所述工件方向的坐标数值的差值大于所述设定值。
在一些实施例中，所述方法还包括：
当所述第一位置的基准线上的任一点垂直于所述工件方向的坐标数值，小于所述第一位置的前一位置的基准线上的任一点垂直于所述工件方向的坐标值时，将所述第一位置的前一位置的基准线作为所述第一位置的基准线。
第二方面，本申请实施例提供了一种密封胶的检测装置，包括：
获取单元，用于获取至少两帧点云数据，所述至少两帧点云数据包括第一帧点云数据和第二帧点云数据；所述第一帧点云数据包括涂密封胶后的工件的第一位置的图片中每一个像素点的坐标，所述第二帧点云数据包括所述涂密封胶后的工件的第二位置的图片中每一个像素点的坐标；所述第一位置和所述第二位置不重叠；
处理单元，用于根据所述第一帧点云数据确定所述第一位置的密封胶的两个端点的坐标，并根据所述两个端点的坐标计算所述第一位置的所述密封胶的宽；所述两个端点中第一端点是所述第一位置的所述密封胶的起始点，所述两个端点中第二端点是所述第一位置的所述密封胶的终止点；
所述处理单元，还用于根据所述第一帧点云数据中包括的所述第一位置的所述密封胶的点云数据与设定基准线的点云数据，计算所述第一位置的所述密封胶的高；
所述处理单元，还用于根据所述第一帧点云数据和所述第二帧点云数据，以及所述第一位置和所述第二位置，计算所述第一位置和所述第二位置之间的所述密封胶的体积。
在一些实施例中，所述至少两帧点云数据是通过机械臂控制激光相机获取的，所述至少两帧点云数据是以所述激光相机为原点的相机坐标系下的点云数据；
所述处理单元，还用于根据预先设定的以所述机械臂为原点的机械臂坐标系和所述相机坐标系之间的转换关系，将所述至少两帧点云数据转换为所述机械臂坐标系下的点云数据；
所述获取单元，还用于获取所述机器处于设定坐标系下的坐标；
所述处理单元，还用于基于所述机械臂处于所述设定坐标系下的坐标，将机械臂坐标系下的至少两帧点云数据转换为所述设定坐标系下的点云数据。
在一些实施例中，所述处理单元，具体用于：
根据所述第一帧点云数据确定所述第一位置的密封胶的形状曲线；
基于所述基准线，对所述形状曲线进行定积分计算，得到所述第一位置的密封胶的截面积；
根据所述截面积、所述第一位置和所述第二位置，计算所述第一位置与所述第二位置之间的密封胶的体积。
在一些实施例中，所述处理单元，具体用于：
计算所述第一帧点云数据中每一个点的邻域法向量；
根据各点的邻域法向量，将所述第一帧点云数据中第一点的坐标作为所述第一端点的坐标；所述第一点为所述第一帧点云数据中第一个邻域法向量突变的点，邻域法向量突变表示所述第一点与所述第一点的前一个点的邻域法向量的差值大于设定阈值。
在一些实施例中，所述获取单元，还用于获取第三帧点云数据；所述第三帧点云数据包括未涂密封胶的所述工件的所述第一位置的图片中每一个像素点的坐标；
在得到所述第一位置的密封胶的截面积之后，所述处理单元，还用于：
确定所述第一位置的所述密封胶的宽、高和截面积是否符合预先设定的标准范围；
若所述第一位置的所述密封胶的宽、高或者截面积不符合所述预先设定的标准范围，则采用第一帧点云数据与所述第三帧点云数据的差值确定所述第一位置的密封胶的宽、高和截面积。
在一些实施例中，所述处理单元，还用于：
确定采用所述差值确定的所述第一位置的密封胶的宽、高和截面积是否符合所述预设范围；
若采用所述差值确定的所述第一位置的密封胶的宽、高和截面积不符合预设范围，则将根据所述第一帧点云数据的前一帧点云数据计算出的密封胶的宽、高和截面积，作为所述第一位置的密封胶的宽、高和截面积。
在一些实施例中，所述处理单元，还用于：
按照横坐标从小到大的规则检测所述第一帧点云数据，得到唯一的外边界点和唯一的内边界点时，采用最小二乘法将检测到的外边界点和内边界点之间的点云数据进行拟合，得到所述第一位置的基准线；
按照横坐标从小到大的规则检测所述第一帧点云数据，得到至少两个外边界点和至少两个内边界点时，采用最小二乘法将检测到的所述至少两个外边界点中的第一个外边界点，和所述至少两个内边界点中的最后一个内边界点之间的点云数据进行拟合，得到所述第一位置的基准线；
其中，所述外边界点垂直于所述工件方向的坐标数值大于所述外边界点的前一个点垂直于所述工件方向的坐标数值，且所述外边界点垂直于所述工件方向的坐标数值与所述外边界点的前一个点垂直于所述工件方向的坐标数值的差值大于设定值；所述内边界点垂直于所述工件方向的坐标数值大于所述内边界点的后一个点垂直于所述工件方向的坐标数值，且所述内边界点垂直于所述工件方向的坐标数值与所述内边界点的前一个点垂直于所述工件方向的坐标数值的差值大于所述设定值。
在一些实施例中，所述处理单元，还用于：
当所述第一位置的基准线上的任一点垂直于所述工件方向的坐标数值，小于所述第一位置的前一位置的基准线上的任一点垂直于所述工件方向的坐标值时，将所述第一位置的前一位置的基准线作为所述第一位置的基准线。
第三方面，本申请实施例提供了一种电子设备，所述电子设备包括控制器和存储器。存储器用于存储计算机执行指令，控制器执行存储器中的计算机执行指令以利用控制器中的硬件资源执行第一方面任一种可能实现的方法的操作步骤。
第四方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面的方法。
另外，第二方面至第四方面的有益效果可以参见如第一方面所述的有益效果，此处不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例。
图1为本申请实施例提供的一种密封胶检测系统的架构示意图；
图2为本申请实施例提供的一种密封胶的检测方法流程图；
图3A为本申请实施例提供的一种涂胶后的工件的截面示意图；
图3B为本申请实施例提供的一种部分涂密封胶后的工件的结构示意图；
图3C为本申请实施例提供的另一种涂胶后的工件的截面示意图；
图4为本申请实施例提供的另一种密封胶检测系统的架构示意图；
图5A为本申请实施例提供的另一种涂胶后的工件的截面示意图；
图5B为本申请实施例提供的另一种涂胶后的工件的截面示意图；
图6为本申请实施例提供的一种密封胶的检测装置的结构示意图；
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请技术方案保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”和“第二”是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的保护。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请中的“多个”可以表示至少两个，例如可以是两个、三个或者更多个，本申请实施例不做限制。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，在不做特别说明的情况下，一般表示前后关联对象是一种“或”的关系。
为了便于理解本申请实施例提出的方案，首先对本申请涉及的技术用语进行简单介绍：
(1)3D线激光相机：由一个单线激光器和一个相机组成。在使用时，激光器与相机同步移动，扫描被测物体，得到点云数据。后续为了便于描述，将3D线激光相机简称为激光相机。激光相机的原理是激光三角测距法，具体为：通过一行激光以一定入射角度照射被测目标，激光在目标表现发生反射和折射，在另一角度利用透镜对反射激光会聚成像，光斑成像在感光耦合组件(Charge-couple Device，CCD)位置传感器上。当被测物体沿激光方向发生移动时，位置传感器上的光斑产生移动，其位移大小对应被测物体的移动距离，以此计算出被测物体的移动距离。
(2)手眼系统：由相机与机械臂组成的系统。有两种安装方式，一种是将相机安装在机械臂上，称为眼在手上(eye in hand)，另一种是通过夹具将相机固定在机械臂之外的安装加上，称为眼在手外(eye to hand)。在本申请实施例中，可以采用眼在手上的安装方式，相机可以为激光相机，机械臂可以为六轴机械臂，由机械臂带动激光相机移动，扫描被测物体。
(3)手眼标定：将激光相机获取的图像中各个像素点处于相机坐标系下的坐标，转换到以机械臂为原点的机械臂坐标系中。以实现通过像素点的坐标以及到被测物体的距离可以准确的求解被测物体中任一点在机械臂坐标系中的三维坐标。具体的手眼标定实现方式可以为：首先根据激光相机和机械臂的位置确定一个旋转矩阵和一个平移矩阵，然后采用这两个矩阵激光相机坐标系下的坐标转换为机械臂坐标系下的坐标。
在现有技术中，对涂胶工件上胶水的检测方法包括人工检测和线阵相机检测两种。人工检测的效率低且误差大，现有的采用线阵相机的检测方法，只能通过拍摄工件图片的方式来检测是否存在漏胶或者断胶等问题，无法确定涂胶的具体宽度和高度等信息。有鉴于此，本申请实施例提供了一种密封胶的检测方法，获取涂胶工件的点云数据，根据点云数据获取所涂的密封胶的宽、高和体积等数据，相较于现有技术不仅能够提升密封胶检测的效率和准确率，还能够得到密封胶的体积。
为了便于理解本申请提出的方案，首先对本申请涉及的系统进行介绍，参见图1，为本申请实施例提供的一种密封胶检测系统的架构示意图，包括：终端设备、激光相机、多轴机械臂以及工件。
图1示出的终端设备又称之为移动台(Mobile Station，MS)、移动终端(MobileTerminal，MT)等，是一种向用户提供语音和/或数据连通性的设备，例如，具有无线连接功能的手持式设备、车载设备等。目前，一些终端的举例为：个人计算机(Personal Computer，PC)、手机(mobile phone)、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(MobileInternet Device，MID)、可穿戴设备，工业控制(Industrial Control)中的无线终端、无人驾驶(self driving)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端等。
图1中示出的激光相机和多轴机械臂构成手眼系统。需要说明的是，图1中示出的手眼系统是采用眼在手上的安装方式，当然，还可以采用眼在手外的安装方式，本申请对于手眼系统的具体安装方式不作限定。可选地，多轴机械臂可以带动激光相机移动，以使激光相机扫描工件得到工件的点云数据，并将获取的点云数据传输至终端设备，可选地，采用有线或者无限的方式进行传输点云数据。可选地，在移动过程中多轴机械臂也可以将自身的位置实时上报到终端设备，例如，可以激光相机每扫描一次得到一帧点云数据，多轴机械臂上报一次自身的位置。也就是说，激光相机的每一帧点云数据都对应一个多轴机械臂的位置。终端设备可以根据接收到的多轴机械臂的位置和点云数据，来计算密封胶的宽、高和体积。需要说明的是，图1中仅以多轴机械臂为例进行介绍，实际应用中也可以采用单轴机械臂。本申请对于机械臂的类型不作具体限定。
下面，结合实施例对本申请的方案进行介绍。参见图2，为本申请实施例提供的一种密封胶的检测方法流程图，可选地，该密封胶检测方法流程可以由图1中介绍的终端设备来执行，该方法流程具体包括：
201，获取至少两帧点云数据。
其中，至少两帧点云数据包括第一帧点云数据和第二帧点云数据。第一帧点云数据包括涂密封胶后的工件的第一位置的图片中每一个像素点的坐标。第二帧点云数据包括涂密封胶后的工件的第二位置的图片中每一个像素点的坐标。其中第一位置和第二位置不重叠，第一位置和第二位置可以是工件上相邻的位置，也可以不相邻。可选地，第一帧点云数据可以是激光相机扫描所述涂密封胶后的工件的第一位置得到的点云数据，第二帧点云数据可以是激光相机扫描到第二位置时得到的点云数据。
202，根据第一帧点云数据确定第一位置的密封胶的两个端点的坐标，并根据两个端点的坐标计算第一位置的密封胶的宽。
其中，两个端点中第一端点是第一位置的密封胶的起始点，两个端点中的第二端点时第一位置的密封胶的终止点。
可选地，终端设备可以根据两个端点的坐标计算第一位置的密封胶的宽。例如，终端设备可以根据两个端点的坐标计算两个端点之间的距离，即为第一位置密封胶的宽。为了便于理解，可以参见图3A，为本申请实施例提供的一种密封胶后的工件在第一位置的截面图。如图3A所示，黑色部分为第一位置所涂的密封胶的截面，其中，第一端点可以为图3A所示的点A，第二端点可以为图3A所示的点B。那么，点A和点B之间的距离即为第一位置密封胶的宽。例如，点A的坐标为(-1，7，0)，点B的坐标为(1，7，0)时，可以计算的出密封胶的宽为2。
203，根据第一帧点云数据中包括的第一位置的密封胶的点云数据和设定基准线的点云数据，计算第一位置的密封胶的高。
可选地，当工件为壳体，且密封胶涂在壳体形状的工件的外檐内部时，可以将基准线设为工件的外檐上表面中与扫描方向垂直的线。例如，可以参见图3B，为本申请实施例提供的部分涂密封胶后的工件的示意图，可以将四边形ABCD作为基准面，进一步地，可以将基准面上与扫描方向垂直的线作为基准线。例如，当激光相机扫描到AB这条线所处的位置时，则可以将AB这条线作为该位置的基准线。当激光相机扫描到CD这条线所处的位置时，则可以将CD这条线作为该位置的基准线。
作为一种可能实现的方式，终端设备在获取第一帧点云数据中包括的第一位置的密封胶的点云数据之后，可以确定第一位置的密封胶的最高点的坐标，并可以将第一位置的密封胶的最高点与第一位置的基准线的垂直距离作为密封胶的高。例如，可以参见图3C，为本申请实施例提供的一种涂密封胶后的工件在第一位置的截面图，如图3C所示，第一位置的密封胶的最高点为点C，则可以将点C到基准面的垂直距离作为第一位置的密封胶的高，例如，图3C中所示的h即为第一位置的密封胶的高。
204，根据第一帧点云数据和第二帧点云数据，以及第一位置和第二位置，计算第一位置和第二位置之间的密封胶的体积。
可选地，可以根据第一帧点云数据确定第一位置的密封胶的形状曲线。例如，形状曲线可以参加图3C所示的截面图中的密封胶的外轮廓曲线。进一步地，可以根据第一位置的基准线确定涂胶面，或者也可以直接根据获取的第一帧点云数据确定涂胶面。再进一步地，可以基于涂胶面，对第一位置的密封胶的形状曲线进行定积分计算，得到第一位置的密封胶的截面积。最后，可以用计算得到的截面积与第一位置和第二位置之间距离的乘积，作为第一位置和第二位置之间的密封胶的体积。
基于上述方案，本申请实施例提出了结合涂密封胶的工件的点云数据，来计算工件上每一个位置所涂的密封胶的高和宽。相比于现有技术中人工检测密封胶的高和宽的方式，本申请的方案效率更高，并且全部采用机器算法来实现，能够有效避免误差。另外，本申请的方案还可以得到密封胶的体积，体积也可以作为衡量密封胶的胶量是否达标的指标，相较于现有技术，可以更为全面的检测工件上的密封胶。
在一种可能实现的方式中，点云数据可以是机械臂控制激光相机获取的，即通过激光相机扫描涂密封胶的工件，获取至少两帧点云数据。可选地，激光相机扫描得到的点云数据可以是以激光相机为原点的相机坐标系下的点云数据。终端设备在接收到激光相机发送的点云数据之后，可以将接收到的点云数据转换为以机械臂为原点的机械臂坐标系下的点云数据。可选地，可以预先设定机械臂坐标系与相机坐标系的转换关系，例如，以第一帧点云数据为例，可以设置一个旋转矩阵和一个平移矩阵，将接收到的第一帧点云数据乘以该设定的旋转矩阵，并将乘积与该设定的平移矩阵相加，得到的和即为机械臂坐标系下的点云数据。作为一种举例，可以采用下方公式(1)进行坐标转换：
(x1,y1,z1)＝(x2,y2,z2)*R+T； 公式(1)
其中，(x1,y1,z1)为第一帧点云数据中任意一个点在机械臂坐标系下的坐标，(x2,y2,z2)为所述任意一个点在相机坐标系下的坐标，R为预先设定的旋转矩阵，T为预先设定的平移矩阵。
作为一种可选的方式，终端设备在获取第一帧点云数据时，还可以获取此时机械臂的位置。机械臂的位置可以为机械臂位于设定坐标系下的坐标，例如，设定坐标系可以是以机械臂固定于桌面的点作为原点的坐标系。终端设备在将接收到的相机坐标系下的点云数据转换为机械臂坐标系下的点云数据之后，还可以根据机械臂的位置坐标将转换后的点云数据再次转换为设定坐标系下的坐标。在一些实施例中，机械臂可以直接与终端设备进行通信，并将自身的位置坐标实时上报到终端设备。在另一些实施例中，机械臂可以与可编程逻辑控制器(Programmable Logic Controller，PLC)通信，将自身的位置发送给PLC，由PLC转发给终端设备。由于不同的机械臂对应的不同的通信协议，所以如果机械臂直接与终端设备通信的情况下，如果更换了机械臂，需要重新配置终端设备的通信协议。基于此，采用PLC与机械臂通信，在更换机械臂的情况下，就不需要修改终端设备侧的通信协议了，并且PLC在工业上的抗干扰能力更强。所以在系统中加入PLC会使得传输数据的效率更高。为了方便理解，参见图4，为本申请实施例提供的另一种系统的架构图。图4所示的系统中包括PLC，多轴机械臂可以通过PLC将自身的位置坐标发送到终端设备。需要说明的是，在图4中是以多轴机械臂为例进行展示的，实际应用中也可以为单轴机械臂，本申请对于机械臂的类型不作限定。
在一些实施例中，终端设备在根据机械臂的位置坐标，将接收到的点云数据转换为设定坐标系下的点云数据之后，就可以采用转换后的点云数据计算密封胶的宽、高和体积了。为了方便理解，下面以第一位置和第二位置为例，结合具体的场景分别介绍计算密封胶的宽、高和体积。
场景一：确定第一位置的密封胶的宽。
在一些实施例中，终端设备在获取到第一帧点云数据之后，可以根据第一帧点云数据确定第一位置的密封胶的两个端点，并根据确定的两个端点计算第一位置的密封胶的宽。作为一种可选的方式，终端设备可以采用计算邻域法向量的方法确定第一位置的密封胶的两个端点。例如，终端设备可以计算第一帧点云数据中每一个点的邻域法向量，并可以在计算出第一个邻域法向量突变的点(后续简称为第一点)时，将第一点作为第一位置的密封胶的第一端点，并可以将第二个邻域突变的点作为第一位置的密封胶的第二端点。其中邻域法向量突变标识第一点(或者第二点)与第一点(或者第二点)的前一个点的邻域法向量的差值大于设定阈值。在确定第一位置的密封胶的两个端点之后，终端设备可以将两个端点之间的距离作为第一位置的密封胶的宽。
可选地，终端设备在确定第一位置的密封胶的宽之后，可以确定密封胶的宽是否处于设定的宽度标准范围内。若处于，则可以确定第一位置的密封胶的宽合格。若不处于，则终端设备可以获取第三帧点云数据，第三帧点云数据包括未涂密封胶的工件的第一位置的图片中每一个像素点的坐标。可选地，第三帧点云数据可以是激光相机在未涂胶之前扫描工件获得的。终端设备在确定第一位置的密封胶的宽未处于宽度标准范围之后，可以采用第一帧点云数据和第三帧点云数据的差值，来确定第一位置的密封胶的宽。
在一些实施例中，若采用第一帧点云数据和第三帧点云数据的差值确定的第一位置的密封胶的宽仍然未处于宽度标准范围，则终端设备可以采用第一帧的前一帧点云数据计算出的密封胶的宽作为第一位置的密封胶的宽，即，采用第一位置的前一位置的密封胶的宽作为第一位置的密封胶的宽。
场景二：确定第一位置的密封胶的高。
作为一种可选的方式，终端设备可以首先确定第一位置的基准线，进一步地，可以确定第一帧点云数据包括的密封胶的点云数据中的最高点。最后，可以将最高点到第一位置的基准线的垂直距离作为第一位置的密封胶的高。为了便于理解确定密封胶的高的过程，下面首先对确定第一位置的基准线的过程进行介绍。
在一些实施例中，终端设备可以按照横坐标从小到大的规则检测第一帧点云数据，得到唯一的外边界点和内边界点时，采用最小二乘法将检测到的外边界点和内边界点之间的点云数据进行拟合，得到第一位置的基准线。其中，外边界点垂直于工件方向的坐标数值大于该外边界点的前一个点垂直于工件方向的坐标数值，且外边界点垂直于工件方向的坐标数值与该外边界点的前一个点垂直于工件方向的坐标数值的差值大于设定值。内边界点垂直于工件方向的坐标数值大于该内边界点的后一个点垂直于工件方向的坐标数值，且内边界点垂直于工件方向的坐标数值与该内边界点的后一个点垂直于工件方向的坐标数值的差值大于设定值。也就是说，终端设备可以通过第一帧点云数据中具有阶梯状特征的点云数据，来确定基准线的内边界点和外边界点。
在另一些实施例中，终端设备在按照横坐标从小到大的规则检测第一帧点云数据时，得到至少两个外边界点和内边界点，例如，壳体形状的工件的外檐上存在孔洞等特征时，其基准线可以参见图5A所示的截面图中的基准线。可以看出，图5A所示的基准线并不是连续的。终端设备在进行检测时，会将点D和点F均识别为外边界点，将点E和点G均识别为内边界点。基于这种情况，本申请实施例提出了采用检测出的多个外边界点中的第一个外边界点，和检测出的多个内边界点中的最后一个内边界点之间的点云数据进行拟合，得到第一位置的基准线。
在另一些实施例中，终端设备得到的第一位置的基准线上的任一点垂直于工件方向的坐标数值，小于第一位置的前一位置的基准线上的任一点垂直于工件方向的坐标数值。例如，壳体形状的工件的外檐上存在凹槽等特征时，其基准线可以参见图5B所示的截面图。终端设备在根据内边界点和外边界点中间的点云数据拟合基准线时，会拟合出一条相比于正常基准线偏低的基准线。基于此，作为一种可能的实现方法，本申请实施例提出了采用第一位置的前一位置的基准线作为第一位置的基准线。作为另一种可能的实现方法，本申请实施例还提出了在检测到连续设定数量的位置的基准线均低于正常的基准线时，将基准线变低之前的N个位置的基准线的高度的平均值作为所述设定数量的位置的基准线，其中N≥1。
在确定了第一位置的基准线之后，终端设备就可以将第一帧点云数据包括的密封胶的点云数据中最高点到基准线的垂直距离，作为第一位置的密封胶的高。可选地，终端设备在确定第一位置的密封胶的高之后，可以判断高是否处于预先设定的高度标准范围内。若处于，则可以确定第一位置的密封胶的高合格。若不处于，则终端设备可以采用第一帧点云数据和第三帧点云数据的差值，来计算第一位置的密封胶的高。具体过程可以参见上述场景一中的相关描述，在此不再进行赘述。可选地，如果采用第一帧点云数据和第三帧点云数据的差值计算出的密封胶的高仍然不处于高度标准范围，还可以将第一位置的前一位置的密封胶的高作为第一位置的密封胶的高。
场景三：确定第一位置和第二位置之间的密封胶的体积。
可选地，终端设备可以根据获取的第一帧点云数据确定第一位置的密封胶的形状曲线。进一步地，可以确定第一位置的基准线。可选地，确定基准线的过程可以参见上述场景二中的相关介绍，在此不再进行赘述。终端设备可以根据基准线确定涂胶面，并根据涂胶面对形状曲线进行定积分计算，得到第一位置的密封胶的截面积。再进一步地，终端设备可以采用计算出的截面积与第一位置和第二位置之间的距离的乘积，作为第一位置和第二位置之间的密封胶的体积。
在一些实施例中，在计算出的第一位置的密封胶的截面积之后，终端设备还可以判断第一位置的密封胶的截面积是否处于设定的截面积标准范围内。若处于，则可以确定第一位置的密封胶的截面积合格，可以用于计算密封胶的体积。若不处于，则终端设备可以采用第一帧点云数据和第三帧点云数据的差值，计算第一位置的密封胶的截面积。具体过程可以参见上述场景一中的相关介绍，在此不再进行赘述。可选地，若采用第一帧点云数据和第三帧点云数据的差值确定的第一位置的密封胶的截面积仍然不处于截面积标准范围内时，还可以采用第一位置的前一位置的密封胶的截面积作为第一位置的密封胶的截面积。
基于与上述方法的同一构思，参见图6，为本申请实施例提供的一种密封胶的检测装置600。装置600用于执行上述方法中的各个步骤，为了避免重复，此处不再进行赘述。装置600包括：获取单元601和处理单元602。
获取单元601，用于获取至少两帧点云数据，所述至少两帧点云数据包括第一帧点云数据和第二帧点云数据；所述第一帧点云数据包括涂密封胶后的工件的第一位置的图片中每一个像素点的坐标，所述第二帧点云数据包括所述涂密封胶后的工件的第二位置的图片中每一个像素点的坐标；所述第一位置和所述第二位置不重叠；
处理单元602，用于根据所述第一帧点云数据确定所述第一位置的密封胶的两个端点的坐标，并根据所述两个端点的坐标计算所述第一位置的所述密封胶的宽；所述两个端点中第一端点是所述第一位置的所述密封胶的起始点，所述两个端点中第二端点是所述第一位置的所述密封胶的终止点；
所述处理单元602，还用于根据所述第一帧点云数据中包括的所述第一位置的所述密封胶的点云数据与设定基准线的点云数据，计算所述第一位置的所述密封胶的高；
所述处理单元602，还用于根据所述第一帧点云数据和所述第二帧点云数据，以及所述第一位置和所述第二位置，计算所述第一位置和所述第二位置之间的所述密封胶的体积。
在一些实施例中，所述至少两帧点云数据是通过机械臂控制激光相机获取的，所述至少两帧点云数据是以所述激光相机为原点的相机坐标系下的点云数据；
所述处理单元602，还用于根据预先设定的以所述机械臂为原点的机械臂坐标系和所述相机坐标系之间的转换关系，将所述至少两帧点云数据转换为所述机械臂坐标系下的点云数据；
所述获取单元601，还用于获取所述机器处于设定坐标系下的坐标；
所述处理单元602，还用于基于所述机械臂处于所述设定坐标系下的坐标，将机械臂坐标系下的至少两帧点云数据转换为所述设定坐标系下的点云数据。
在一些实施例中，所述处理单元602，具体用于：
根据所述第一帧点云数据确定所述第一位置的密封胶的形状曲线；
基于所述基准线，对所述形状曲线进行定积分计算，得到所述第一位置的密封胶的截面积；
根据所述截面积、所述第一位置和所述第二位置，计算所述第一位置与所述第二位置之间的密封胶的体积。
在一些实施例中，所述处理单元602，具体用于：
计算所述第一帧点云数据中每一个点的邻域法向量；
根据各点的邻域法向量，将所述第一帧点云数据中第一点的坐标作为所述第一端点的坐标；所述第一点为所述第一帧点云数据中第一个邻域法向量突变的点，邻域法向量突变表示所述第一点与所述第一点的前一个点的邻域法向量的差值大于设定阈值。
在一些实施例中，所述获取单元601，还用于获取第三帧点云数据；所述第三帧点云数据包括未涂密封胶的所述工件的所述第一位置的图片中每一个像素点的坐标；
在得到所述第一位置的密封胶的截面积之后，所述处理单元602，还用于：
确定所述第一位置的所述密封胶的宽、高和截面积是否符合预先设定的标准范围；
若所述第一位置的所述密封胶的宽、高或者截面积不符合所述预先设定的标准范围，则采用第一帧点云数据与所述第三帧点云数据的差值确定所述第一位置的密封胶的宽、高和截面积。
在一些实施例中，所述处理单元602，还用于：
确定采用所述差值确定的所述第一位置的密封胶的宽、高和截面积是否符合所述预设范围；
若采用所述差值确定的所述第一位置的密封胶的宽、高和截面积不符合预设范围，则将根据所述第一帧点云数据的前一帧点云数据计算出的密封胶的宽、高和截面积，作为所述第一位置的密封胶的宽、高和截面积。
在一些实施例中，所述处理单元602，还用于：
按照横坐标从小到大的规则检测所述第一帧点云数据，得到唯一的外边界点和唯一的内边界点时，采用最小二乘法将检测到的外边界点和内边界点之间的点云数据进行拟合，得到所述第一位置的基准线；
按照横坐标从小到大的规则检测所述第一帧点云数据，得到至少两个外边界点和至少两个内边界点时，采用最小二乘法将检测到的所述至少两个外边界点中的第一个外边界点，和所述至少两个内边界点中的最后一个内边界点之间的点云数据进行拟合，得到所述第一位置的基准线；
其中，所述外边界点垂直于所述工件方向的坐标数值大于所述外边界点的前一个点垂直于所述工件方向的坐标数值，且所述外边界点垂直于所述工件方向的坐标数值与所述外边界点的前一个点垂直于所述工件方向的坐标数值的差值大于设定值；所述内边界点垂直于所述工件方向的坐标数值大于所述内边界点的后一个点垂直于所述工件方向的坐标数值，且所述内边界点垂直于所述工件方向的坐标数值与所述内边界点的前一个点垂直于所述工件方向的坐标数值的差值大于所述设定值。
在一些实施例中，所述处理单元602，还用于：
当所述第一位置的基准线上的任一点垂直于所述工件方向的坐标数值，小于所述第一位置的前一位置的基准线上的任一点垂直于所述工件方向的坐标值时，将所述第一位置的前一位置的基准线作为所述第一位置的基准线。
图7示出了本申请实施例提供的电子设备700结构示意图。本申请实施例中的电子设备700还可以包括通信接口703，该通信接口703例如是网口，电子设备可以通过该通信接口703传输数据，例如通信接口703可以实现上述图6中的获取单元601的功能。
在本申请实施例中，存储器702存储有可被至少一个控制器701执行的指令，至少一个控制器701通过执行存储器702存储的指令，可以用于执行上述方法中的各个步骤，例如，控制器701可以实现上述图6中的处理单元602的功能。
其中，控制器701是电子设备的控制中心，可以利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器702内的指令以及调用存储在存储器702内的数据。可选的，控制器701可包括一个或多个处理单元，控制器701可集成应用控制器和调制解调控制器，其中，应用控制器主要处理操作系统和应用程序等，调制解调控制器主要处理无线通信。可以理解的是，上述调制解调控制器也可以不集成到控制器701中。在一些实施例中，控制器701和存储器702可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
控制器701可以是通用控制器，例如中央控制器(CPU)、数字信号控制器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用控制器可以是微控制器或者任何常规的控制器等。结合本申请实施例所公开的数据统计平台所执行的步骤可以直接由硬件控制器执行完成，或者用控制器中的硬件及软件模块组合执行完成。
存储器702作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器702可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等。存储器702是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器702还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
通过对控制器701进行设计编程，例如，可以将前述实施例中介绍的神经网络模型的训练方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行前述的神经网络模型训练方法的步骤，如何对控制器701进行设计编程为本领域技术人员所公知的技术，这里不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的控制器以产生一个机器，使得通过计算机或其它可编程数据处理设备的控制器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种密封胶的检测方法，其特征在于，包括：
获取至少两帧点云数据，所述至少两帧点云数据包括第一帧点云数据和第二帧点云数据；所述第一帧点云数据包括涂密封胶后的工件的第一位置的图片中每一个像素点的坐标，所述第二帧点云数据包括所述涂密封胶后的工件的第二位置的图片中每一个像素点的坐标；所述第一位置和所述第二位置不重叠；
根据所述第一帧点云数据确定所述第一位置的密封胶的两个端点的坐标，并根据所述两个端点的坐标计算所述第一位置的所述密封胶的宽；所述两个端点中第一端点是所述第一位置的所述密封胶的起始点，所述两个端点中第二端点是所述第一位置的所述密封胶的终止点；
根据所述第一帧点云数据中包括的所述第一位置的所述密封胶的点云数据与设定基准线的点云数据，计算所述第一位置的所述密封胶的高；
根据所述第一帧点云数据和所述第二帧点云数据，以及所述第一位置和所述第二位置，计算所述第一位置和所述第二位置之间的所述密封胶的体积。
2.如权利要求1所述的方法，其特征在于，所述至少两帧点云数据是通过机械臂控制激光相机获取的，所述至少两帧点云数据是以所述激光相机为原点的相机坐标系下的点云数据；获取至少两帧点云数据之后，所述方法还包括：
根据预先设定的以所述机械臂为原点的机械臂坐标系和所述相机坐标系之间的转换关系，将所述至少两帧点云数据转换为所述机械臂坐标系下的点云数据；
获取所述机器处于设定坐标系下的坐标；
基于所述机械臂处于所述设定坐标系下的坐标，将机械臂坐标系下的至少两帧点云数据转换为所述设定坐标系下的点云数据。
3.如权利要求1或2所述的方法，其特征在于，所述根据所述第一帧点云数据和所述第二帧点云数据，以及所述第一位置和所述第二位置，计算所述第一位置和所述第二位置之间的所述密封胶的体积，包括：
根据所述第一帧点云数据确定所述第一位置的密封胶的形状曲线；
基于所述基准线，对所述形状曲线进行定积分计算，得到所述第一位置的密封胶的截面积；
根据所述截面积、所述第一位置和所述第二位置，计算所述第一位置与所述第二位置之间的密封胶的体积。
4.如权利要求1或2所述的方法，其特征在于，所述根据所述第一帧点云数据确定所述第一位置的密封胶的两个端点的坐标，包括：
计算所述第一帧点云数据中每一个点的邻域法向量；
根据各点的邻域法向量，将所述第一帧点云数据中第一点的坐标作为所述第一端点的坐标；所述第一点为所述第一帧点云数据中第一个邻域法向量突变的点，邻域法向量突变表示所述第一点与所述第一点的前一个点的邻域法向量的差值大于设定阈值。
5.如权利要求3所述的方法，其特征在于，所述方法还包括：
获取第三帧点云数据；所述第三帧点云数据包括未涂密封胶的所述工件的所述第一位置的图片中每一个像素点的坐标；
在得到所述第一位置的密封胶的截面积之后，所述方法还包括：
确定所述第一位置的所述密封胶的宽、高和截面积是否符合预先设定的标准范围；
若所述第一位置的所述密封胶的宽、高或者截面积不符合所述预先设定的标准范围，则采用第一帧点云数据与所述第三帧点云数据的差值确定所述第一位置的密封胶的宽、高和截面积。
6.如权利要求5所述的方法，其特征在于，采用第一帧点云数据与所述第三帧点云数据的差值确定所述第一位置的密封胶的宽、高和截面积之后，所述方法还包括：
确定采用所述差值确定的所述第一位置的密封胶的宽、高和截面积是否符合所述预设范围；
若采用所述差值确定的所述第一位置的密封胶的宽、高和截面积不符合预设范围，则将根据所述第一帧点云数据的前一帧点云数据计算出的密封胶的宽、高和截面积，作为所述第一位置的密封胶的宽、高和截面积。
7.如权利要求1或2所述的方法，其特征在于，所述方法还包括：
按照横坐标从小到大的规则检测所述第一帧点云数据，得到唯一的外边界点和唯一的内边界点时，采用最小二乘法将检测到的外边界点和内边界点之间的点云数据进行拟合，得到所述第一位置的基准线；
按照横坐标从小到大的规则检测所述第一帧点云数据，得到至少两个外边界点和至少两个内边界点时，采用最小二乘法将检测到的所述至少两个外边界点中的第一个外边界点，和所述至少两个内边界点中的最后一个内边界点之间的点云数据进行拟合，得到所述第一位置的基准线；
其中，所述外边界点垂直于所述工件方向的坐标数值大于所述外边界点的前一个点垂直于所述工件方向的坐标数值，且所述外边界点垂直于所述工件方向的坐标数值与所述外边界点的前一个点垂直于所述工件方向的坐标数值的差值大于设定值；所述内边界点垂直于所述工件方向的坐标数值大于所述内边界点的后一个点垂直于所述工件方向的坐标数值，且所述内边界点垂直于所述工件方向的坐标数值与所述内边界点的前一个点垂直于所述工件方向的坐标数值的差值大于所述设定值。
8.如权利要求7所述的方法，其特征在于，所述方法还包括：
当所述第一位置的基准线上的任一点垂直于所述工件方向的坐标数值，小于所述第一位置的前一位置的基准线上的任一点垂直于所述工件方向的坐标值时，将所述第一位置的前一位置的基准线作为所述第一位置的基准线。
9.一种密封胶的检测装置，其特征在于，包括：
获取单元，用于获取至少两帧点云数据，所述至少两帧点云数据包括第一帧点云数据和第二帧点云数据；所述第一帧点云数据包括涂密封胶后的工件的第一位置的图片中每一个像素点的坐标，所述第二帧点云数据包括所述涂密封胶后的工件的第二位置的图片中每一个像素点的坐标；所述第一位置和所述第二位置不重叠；
处理单元，用于根据所述第一帧点云数据确定所述第一位置的密封胶的两个端点的坐标，并根据所述两个端点的坐标计算所述第一位置的所述密封胶的宽；所述两个端点中第一端点是所述第一位置的所述密封胶的起始点，所述两个端点中第二端点是所述第一位置的所述密封胶的终止点；
所述处理单元，还用于根据所述第一帧点云数据中包括的所述第一位置的所述密封胶的点云数据与设定基准线的点云数据，计算所述第一位置的所述密封胶的高；
所述处理单元，还用于根据所述第一帧点云数据和所述第二帧点云数据，以及所述第一位置和所述第二位置，计算所述第一位置和所述第二位置之间的所述密封胶的体积。
10.如权利要求9所述的装置，其特征在于，所述至少两帧点云数据是通过机械臂控制激光相机获取的，所述至少两帧点云数据是以所述激光相机为原点的相机坐标系下的点云数据；
所述处理单元，还用于根据预先设定的以所述机械臂为原点的机械臂坐标系和所述相机坐标系之间的转换关系，将所述至少两帧点云数据转换为所述机械臂坐标系下的点云数据；
所述获取单元，还用于获取所述机器处于设定坐标系下的坐标；
所述处理单元，还用于基于所述机械臂处于所述设定坐标系下的坐标，将机械臂坐标系下的至少两帧点云数据转换为所述设定坐标系下的点云数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210132897.8A CN114581379B (zh) | 2022-02-14 | 2022-02-14 | 一种密封胶的检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210132897.8A CN114581379B (zh) | 2022-02-14 | 2022-02-14 | 一种密封胶的检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114581379A true CN114581379A (zh) | 2022-06-03 |
| CN114581379B CN114581379B (zh) | 2024-03-22 |
Family
ID=81773036
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210132897.8A Active CN114581379B (zh) | 2022-02-14 | 2022-02-14 | 一种密封胶的检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114581379B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117291909A (zh) * | 2023-11-23 | 2023-12-26 | 深圳市胜天光电技术有限公司 | 一种发光二极管生产设备的智能控制方法及系统 |
| CN117974639A (zh) * | 2024-03-28 | 2024-05-03 | 山东正为新材料科技有限公司 | 基于图像数据的密封胶异常状态检测方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100220339A1 (en) * | 2009-02-28 | 2010-09-02 | Vistec Semiconductor Systems Gmbh | Method for Determining Positions of Structures on a Mask |
| DE102014202977A1 (de) * | 2014-02-18 | 2015-08-20 | Carl Zeiss Industrielle Messtechnik Gmbh | Bestimmung von Koordinaten eines Werkstücks unter Verwendung eines Koordinatenmessgeräts |
| WO2019037484A1 (zh) * | 2017-08-23 | 2019-02-28 | 腾讯科技（深圳）有限公司 | 激光扫描设备标定的方法、装置、设备及存储介质 |
| CN111047640A (zh) * | 2019-11-18 | 2020-04-21 | 中国科学院深圳先进技术研究院 | 容量瓶容积的校准方法、装置、终端设备及存储介质 |
| CN111402328A (zh) * | 2020-03-17 | 2020-07-10 | 北京图森智途科技有限公司 | 一种基于激光里程计的位姿计算方法及装置 |
| CN113313710A (zh) * | 2021-07-28 | 2021-08-27 | 浙江华睿科技股份有限公司 | 质量检测方法及系统、电子设备、存储介质 |
-
2022
- 2022-02-14 CN CN202210132897.8A patent/CN114581379B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100220339A1 (en) * | 2009-02-28 | 2010-09-02 | Vistec Semiconductor Systems Gmbh | Method for Determining Positions of Structures on a Mask |
| DE102014202977A1 (de) * | 2014-02-18 | 2015-08-20 | Carl Zeiss Industrielle Messtechnik Gmbh | Bestimmung von Koordinaten eines Werkstücks unter Verwendung eines Koordinatenmessgeräts |
| WO2019037484A1 (zh) * | 2017-08-23 | 2019-02-28 | 腾讯科技（深圳）有限公司 | 激光扫描设备标定的方法、装置、设备及存储介质 |
| CN111047640A (zh) * | 2019-11-18 | 2020-04-21 | 中国科学院深圳先进技术研究院 | 容量瓶容积的校准方法、装置、终端设备及存储介质 |
| CN111402328A (zh) * | 2020-03-17 | 2020-07-10 | 北京图森智途科技有限公司 | 一种基于激光里程计的位姿计算方法及装置 |
| CN113313710A (zh) * | 2021-07-28 | 2021-08-27 | 浙江华睿科技股份有限公司 | 质量检测方法及系统、电子设备、存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 何文杰;贺赛先;: "双目线结构光测量系统三维数据融合研究", 激光杂志, no. 06, 25 June 2020 (2020-06-25), pages 16 - 22 * |
| 刘双喜;孙林林;付千悦;王震;张春庆;王金星;: "单粒谷物体积排液法精确测量研究", 农业机械学报, no. 03, 25 March 2018 (2018-03-25), pages 43 - 49 * |
| 陈?欣;汪涛;: "基于视觉的涂胶质量检测方法", 组合机床与自动化加工技术, no. 07, 20 July 2020 (2020-07-20), pages 143 - 146 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117291909A (zh) * | 2023-11-23 | 2023-12-26 | 深圳市胜天光电技术有限公司 | 一种发光二极管生产设备的智能控制方法及系统 |
| CN117291909B (zh) * | 2023-11-23 | 2024-02-23 | 深圳市胜天光电技术有限公司 | 一种发光二极管生产设备的智能控制方法及系统 |
| CN117974639A (zh) * | 2024-03-28 | 2024-05-03 | 山东正为新材料科技有限公司 | 基于图像数据的密封胶异常状态检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114581379B (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111844019B (zh) | 一种机器抓取位置确定方法、设备、电子设备和存储介质 | |
| CN114581379B (zh) | 一种密封胶的检测方法及装置 | |
| CN110443853B (zh) | 基于双目摄像头的标定方法、装置、终端设备及存储介质 | |
| US20180141213A1 (en) | Anti-collision system and anti-collision method | |
| CN107527368B (zh) | 基于二维码的三维空间姿态定位方法与装置 | |
| CN112907683B (zh) | 一种点胶平台的相机标定方法、装置及相关设备 | |
| CN114176290B (zh) | 无模板全自动鞋底喷胶方法、装置及存储介质 | |
| JP2016078195A (ja) | ロボットシステム、ロボット、制御装置及びロボットの制御方法 | |
| CN114714355A (zh) | 自主移动焊接机器人嵌入式视觉跟踪控制系统 | |
| CN112686950A (zh) | 位姿估计方法、装置、终端设备及计算机可读存储介质 | |
| CN116958146B (zh) | 3d点云的采集方法及装置、电子装置 | |
| CN109636849B (zh) | 一种工件定位方法、装置、计算机及计算机可读存储介质 | |
| US10386930B2 (en) | Depth determining method and depth determining device of operating body | |
| CN115376000A (zh) | 一种水下测量方法、设备及计算机可读存储介质 | |
| CN111670076B (zh) | 涂胶机器人及涂胶方法 | |
| So et al. | Calibration of a dual-laser triangulation system for assembly line completeness inspection | |
| KR101735325B1 (ko) | 점군 정합 장치 | |
| CN113601510A (zh) | 基于双目视觉的机器人移动控制方法、装置、系统及设备 | |
| Gao et al. | An automatic assembling system for sealing rings based on machine vision | |
| KR20100081881A (ko) | 데이터 매칭 장치, 데이터 매칭 방법, 및 이를 이용한 이동로봇 | |
| TWI550425B (zh) | 三維點雲融合二維影像的方法、裝置與儲存媒體 | |
| CN115847429A (zh) | 参数标定方法、装置、移动装置及存储介质 | |
| CN115194770A (zh) | 转换参数的获取方法、装置、机械臂及存储介质 | |
| US11717970B2 (en) | Controller, control method using controller, and control system | |
| JP7509535B2 (ja) | 画像処理装置、ロボットシステム、及び画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |