CN115578376A - 基于3d视觉的机器人鞋面喷胶轨迹提取方法及装置 - Google Patents

基于3d视觉的机器人鞋面喷胶轨迹提取方法及装置 Download PDF

Info

Publication number
CN115578376A
CN115578376A CN202211411671.8A CN202211411671A CN115578376A CN 115578376 A CN115578376 A CN 115578376A CN 202211411671 A CN202211411671 A CN 202211411671A CN 115578376 A CN115578376 A CN 115578376A
Authority
CN
China
Prior art keywords
coordinate system
vamp
track
glue spraying
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211411671.8A
Other languages
English (en)
Other versions
CN115578376B (zh
Inventor
钟治魁
苏德全
王平江
黄剑峰
陈文奇
柯榕彬
黄达森
罗文贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quanzhou-Hust Intelligent Manufacturing Future
Original Assignee
Quanzhou-Hust Intelligent Manufacturing Future
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quanzhou-Hust Intelligent Manufacturing Future filed Critical Quanzhou-Hust Intelligent Manufacturing Future
Priority to CN202211411671.8A priority Critical patent/CN115578376B/zh
Publication of CN115578376A publication Critical patent/CN115578376A/zh
Application granted granted Critical
Publication of CN115578376B publication Critical patent/CN115578376B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于3D视觉的机器人鞋面喷胶轨迹提取方法及装置，涉及喷胶轨迹提取领域，通过获取套设在鞋楦上的鞋面的点云数据和平面图像，根据点云数据得到鞋面轮廓数据，根据鞋面轮廓数据和平面图像得到几何信息点云，并进行预处理，提取得到第一轨迹，对第一轨迹进行拟合、光顺和离散，得到第二轨迹；对第二轨迹中每个点的姿态进行修正，得到第三轨迹；根据喷胶枪坐标系与机器人坐标系的变换关系、鞋楦坐标系与喷胶枪坐标系的变换关系、鞋楦坐标系与相机坐标系的变换关系以及配准关系对第三轨迹进行处理，得到鞋面喷胶轨迹，解决喷胶工艺人力成本高，精度低、误差大问题，可根据不同鞋款、鞋码快速提取鞋面喷胶轨迹，具有良好的工业实用性。

Description

基于3D视觉的机器人鞋面喷胶轨迹提取方法及装置
技术领域
本发明涉及喷胶轨迹提取领域，具体涉及一种基于3D视觉的机器人鞋面喷胶轨迹提取方法及装置。
背景技术
制鞋是劳动密集型制造，随着国内劳动力成本的上升，中国传统手工制鞋业逐渐失去了优势。但随着中国制鞋行业众多要素特别是人力成本的不断上升，国际贸易环境日趋复杂多变，制鞋产业开始向东南亚等地快速转移，我国鞋业面临的国际竞争不断加剧，产量占世界的份额已经连续数年呈下降趋势。因此，提升制鞋成型自动化来突破传统劳动密集型制鞋的现状显得尤为重要。
由于制鞋工艺的复杂性，目前多数工艺采用人工完成，其中打磨和喷胶工艺是制鞋成型工艺中影响制鞋质量最重要的因素之一，占用人工最多，花费工时最长，且胶水中的化学物质对人体健康有一定的影响。因此，制鞋成型迫切需要引入机器视觉等先进技术解决传统人工涂胶、打磨等工艺。
随着机器视觉技术飞跃发展，尤其在3D视觉成像技术方面，通过3D传感器获得物体的三维信息，利用点云处理技术提取鞋材的关键信息，结合工业机器人实现制鞋成型过程中的喷胶和打磨等工艺，解决现有人工打磨、喷胶存在的问题，不断实现机器代替人工的过程。如何设计合理的3D视觉制鞋成像测量系统，提取鞋材的关键信息，以及基于3D视觉工艺技术的研究，是制鞋自动成型的关键。
为了解决上述问题，申请号为CN202110480593.6的专利提出了一种鞋面自动成型生产方法，该方法工作时，先将鞋面套在鞋楦上，并利用高对比度材料在鞋面上粘贴出与鞋面所匹配的鞋底形状对应的临时鞋底，然后鞋面随双层链条线进入扫描站，扫描站的扫描机器人按照预定的轨迹环绕扫描鞋面以得到鞋面点云，但该方式仍然存在缺陷：扫描过程中，需要多次粘贴高对比度的材料影响效率。
发明内容
针对上述提到的技术问题。本申请的实施例的目的在于提出了一种基于3D视觉的机器人鞋面喷胶轨迹提取方法及装置，来解决以上背景技术部分提到的技术问题，能够使用不同款式鞋面，减少了人力成本，且视觉引导喷胶轨迹精度不受鞋面变形、套楦等影响，适用范围广。
第一方面，本发明提供了一种基于3D视觉的机器人鞋面喷胶轨迹提取方法，包括以下步骤：
S1，获取套设在鞋楦上的鞋面的点云数据和平面图像，根据点云数据得到鞋面轮廓数据，根据鞋面轮廓数据和平面图像得到几何信息点云；
S2，对几何信息点云进行预处理，预处理包括降噪、去噪，并提取得到第一轨迹，对第一轨迹进行拟合、光顺和离散，得到第二轨迹；
S3，对第二轨迹中每个点的姿态进行修正，得到第三轨迹；
S4，获取喷胶枪坐标系与机器人坐标系的变换关系、鞋楦坐标系与喷胶枪坐标系的变换关系、鞋楦坐标系与相机坐标系的变换关系和实时鞋面点云，确定点云数据与实时鞋面点云之间的配准关系，根据喷胶枪坐标系与机器人坐标系的变换关系、鞋楦坐标系与喷胶枪坐标系的变换关系、鞋楦坐标系与相机坐标系的变换关系和配准关系对第三轨迹进行处理，得到鞋面喷胶轨迹。
作为优选，步骤S1具体包括：
在双目线激光相机运动过程中采集每帧线激光照射鞋面的光条图像和每帧鞋面的平面图像，鞋面设有沿鞋底轮廓形成的轮廓标记；
根据光条图像得到点云数据，从点云数据中提取鞋面轮廓数据；
将所有的每帧鞋面的平面图像进行拼接成完整图像，根据轮廓标记从完整图像中截取对应的特征图像信息；
通过相机标定关系，将特征图像信息映射到鞋面轮廓数据中，提取几何信息点云。
作为优选，几何信息点云包括鞋面几何特征信息或鞋面上沿鞋底轮廓划线轨迹。
作为优选，步骤S3具体包括：
通过法向量估计算法或PCA算法计算几何信息点云中的每个点在点云数据中的法向矢量；
根据法向矢量将第二轨迹映射到点云数据中，得到第三轨迹。
作为优选，步骤S4具体包括：
分别标定喷胶枪坐标系与机器人坐标系的变换关系、鞋楦坐标系与喷胶枪坐标系的变换关系以及鞋楦坐标系与相机坐标系的变换关系；
根据喷胶枪坐标系与机器人坐标系的变换关系和鞋楦坐标系与喷胶枪坐标系的变换关系计算鞋楦坐标系与机器人坐标系的变换关系；
根据鞋楦坐标系与机器人坐标系的变换关系和鞋楦坐标系与相机坐标系的变换关系计算机器人坐标系与相机坐标系的变换关系；
通过实时扫描鞋面轮廓，获取实时鞋面点云，将点云数据与实时鞋面点云进行配准，得到配准矩阵，根据机器人坐标系与相机坐标系的变换关系和配准矩阵修正第三轨迹，得到鞋面喷胶轨迹。
作为优选，还包括：
检测鞋面喷胶轨迹中的异常点，对异常点进行剔除，并根据喷胶工艺参数，生成机器人鞋面喷胶指令，根据机器人鞋面喷胶指令控制机器人和喷胶腔对鞋面进行喷胶。
第二方面，本发明提供了一种基于3D视觉的机器人鞋面喷胶轨迹提取装置，包括：
点云处理模块，被配置为获取套设在鞋楦上的鞋面的点云数据和平面图像，鞋面上设有轮廓标记，根据点云数据得到鞋面轮廓数据，根据鞋面轮廓数据和平面图像得到几何信息点云；
轨迹提取模块，被配置为对几何信息点云进行预处理，预处理包括降噪、去噪，并提取得到第一轨迹，对第一轨迹进行拟合、光顺和离散，得到第二轨迹；
轨迹修正模块，被配置为对第二轨迹中每个点的姿态进行修正，得到第三轨迹；
喷胶轨迹生成模块，被配置为获取喷胶枪坐标系与机器人坐标系的变换关系、鞋楦坐标系与喷胶枪坐标系的变换关系、鞋楦坐标系与相机坐标系的变换关系和实时鞋面点云，确定点云数据与实时鞋面点云之间的配准关系，根据喷胶枪坐标系与机器人坐标系的变换关系、鞋楦坐标系与喷胶枪坐标系的变换关系、鞋楦坐标系与相机坐标系的变换关系和配准关系对第三轨迹进行处理，得到鞋面喷胶轨迹。
第三方面，本发明提供了一种电子设备，包括一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
相比于现有技术，本发明具有以下有益效果：
（1）本发明提出的基于3D视觉的机器人鞋面喷胶轨迹提取方法能够根据不同鞋款、鞋码快速提取鞋面喷胶轨迹，不受鞋的款式或鞋码限制，无需多次粘贴高对比度的材料，能够有效提高效率和精度。
（2）本发明提出的基于3D视觉的机器人鞋面喷胶轨迹提取方法能够与机器人结合，能够检测出异常点，并结合具体的喷胶工艺参数，使喷胶效果更加好。
（3）本发明提出的基于3D视觉的机器人鞋面喷胶轨迹提取方法能够快速生成鞋面喷胶轨迹，减少人力成本，且鞋面喷胶轨迹的计算精度不受鞋面变形、鞋楦定位误差的影响，适用范围广。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请的一个实施例可以应用于其中的示例性装置架构图；
图2为本申请的实施例的基于3D视觉的机器人鞋面喷胶轨迹提取方法的流程示意图；
图3为本申请的实施例的基于3D视觉的机器人鞋面喷胶轨迹提取方法的相机实际采集的每帧鞋面的具有物理空间色彩的平面图像拼接成一张完整图像部分展示图；
图4为本申请的实施例的基于3D视觉的机器人鞋面喷胶轨迹提取方法的激光平面坐标系与相机坐标系的映射信息提取流程图；
图5为本申请的实施例的基于3D视觉的机器人鞋面喷胶轨迹提取装置的示意图；
图6是适于用来实现本申请实施例的电子设备的计算机装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1示出了可以应用本申请实施例的基于3D视觉的机器人鞋面喷胶轨迹提取方法或基于3D视觉的机器人鞋面喷胶轨迹提取装置的示例性装置架构100。
如图1所示，装置架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种应用，例如数据处理类应用、文件处理类应用等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块（例如用来提供分布式服务的软件或软件模块），也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上传的文件或数据进行处理的后台数据处理服务器。后台数据处理服务器可以对获取的文件或数据进行处理，生成处理结果。
需要说明的是，本申请实施例所提供的基于3D视觉的机器人鞋面喷胶轨迹提取方法可以由服务器105执行，也可以由终端设备101、102、103执行，相应地，基于3D视觉的机器人鞋面喷胶轨迹提取装置可以设置于服务器105中，也可以设置于终端设备101、102、103中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。在所处理的数据不需要从远程获取的情况下，上述装置架构可以不包括网络，而只需服务器或终端设备。
图2示出了本申请的实施例提供的一种基于3D视觉的机器人鞋面喷胶轨迹提取方法，包括以下步骤：
S1，获取套设在鞋楦上的鞋面的点云数据和平面图像，根据点云数据得到鞋面轮廓数据，根据鞋面轮廓数据和平面图像得到几何信息点云。
在具体的实施例中，步骤S1具体包括：
在双目线激光相机运动过程中采集每帧线激光照射鞋面的光条图像和每帧鞋面的平面图像，鞋面设有沿鞋底轮廓形成的轮廓标记；
根据光条图像得到点云数据，从点云数据中提取鞋面轮廓数据；
将所有的每帧鞋面的平面图像进行拼接成完整图像，根据轮廓标记从完整图像中截取对应的特征图像信息；
通过相机标定关系，将特征图像信息映射到鞋面轮廓数据中，提取几何信息点云。
具体的，鞋面套入鞋楦，不同鞋码的鞋面套入对应码数的鞋楦上，然后将鞋底安装在带有鞋面的鞋楦上，采用带有颜色的笔在鞋面上沿着鞋底轮廓划线，带有颜色的笔具体包括签字笔、彩笔、荧光笔等能够区分划线与鞋面颜色的记号笔。通过基于双目线激光相机的扫描系统扫描鞋楦上的鞋面轮廓，获取点云数据，进而得到鞋面轮廓数据，根据鞋面轮廓数据提取鞋面几何特征信息或鞋面上沿鞋底轮廓划线轨迹，即几何信息点云P。几何信息点云包括鞋面几何特征信息或鞋面上沿鞋底轮廓划线轨迹。轮廓标记可以是鞋面自身特有属性或者人工增加的辅助标签，例如在鞋面上沿鞋底轮廓划线所形成的轮廓标记。
具体的，搭建基于双目线激光相机的扫描系统，该扫描系统由双目线激光相机、多自由度机械手、工控机和工装夹具等组成；双目线激光相机包括2个彩色相机模块、1个线激光模块、处理器模块、电源模块和机械结构部件。多自由度机械手具体包括：4-5轴数控系统控制机械手、6关节机器人等。通过标定板和标定块进行手眼标定，标定多自由度机械手和双目线激光相机的坐标关系。通过双目线激光相机采集每帧线激光照射鞋面的光条图像，通过相机运动扫描得到点云数据Q，点云数据Q包括鞋面轮廓信息和纹理色彩信息，根据点云数据Q提取鞋面轮廓数据Q1；在相机运动过程中，双目线激光相机同时采集每帧鞋面的具有物理空间色彩的平面图像Mi (i=0,1,…,n)；通过实际采集的每帧鞋面的具有物理空间色彩的平面图像Mi拼接成一张完整图像M，参考图3，根据鞋面划线颜色信息或者鞋面几何特征信息从完整图像M截取对应的图像信息M’；参考图4，通过相机标定关系，将图像信息M’映射到鞋面轮廓数据Q1中，从而提取几何信息点云P，具体步骤如下：
标定相机1的像素坐标系和激光平面坐标系的转换关系；
相机2的内外参标定，确定相机2的世界坐标系到相机2的像素坐标系的转换关系；
根据相机2的世界坐标系到相机2的像素坐标系的转换关系标定得到相机1的像素坐标系到相机2的世界坐标系的转换关系；
根据相机1的像素坐标系和激光平面坐标系的转换关系和相机1的像素坐标系到相机2的世界坐标系的转换关系确定得到激光平面坐标系和相机2的世界坐标系的转换关系；
根据激光平面坐标系和相机2的世界坐标系的转换关系将图像信息M’映射到鞋面轮廓数据Q1中，从而提取几何信息点云P。
S2，对几何信息点云进行预处理，预处理包括降噪、去噪，并提取得到第一轨迹，对第一轨迹进行拟合、光顺和离散，得到第二轨迹。
具体的，对提取的几何信息点云P进行降噪、去噪等预处理，提取第一轨迹L1。对第一轨迹L1进行拟合、光顺，离散第一轨迹L1，得到第二轨迹L2。几何信息点云P的预处理包括体素滤波、均匀采样滤波器和半径滤波。
S3，对第二轨迹中每个点的姿态进行修正，得到第三轨迹。
在具体的实施例中，步骤S3具体包括：
通过法向量估计算法或PCA算法计算几何信息点云中的每个点在点云数据中的法向矢量；
根据法向矢量将第二轨迹映射到点云数据中，得到第三轨迹。
具体的，通过法向量估计算法或PCA算法计算几何信息点云P每个点在鞋面的点云数据Q中的法向矢量N。根据法向矢量N将第二轨迹L2映射到点云数据Q中，修正第二轨迹L2中每个点的姿态，计算得到第三轨迹：L3=N*L2。
S4，获取喷胶枪坐标系与机器人坐标系的变换关系、鞋楦坐标系与喷胶枪坐标系的变换关系、鞋楦坐标系与相机坐标系的变换关系和实时鞋面点云，确定点云数据与实时鞋面点云之间的配准关系，根据喷胶枪坐标系与机器人坐标系的变换关系、鞋楦坐标系与喷胶枪坐标系的变换关系、鞋楦坐标系与相机坐标系的变换关系和配准关系对第三轨迹进行处理，得到鞋面喷胶轨迹。
在具体的实施例中，步骤S4具体包括：
分别标定喷胶枪坐标系与机器人坐标系的变换关系、鞋楦坐标系与喷胶枪坐标系的变换关系以及鞋楦坐标系与相机坐标系的变换关系；
根据喷胶枪坐标系与机器人坐标系的变换关系和鞋楦坐标系与喷胶枪坐标系的变换关系计算鞋楦坐标系与机器人坐标系的变换关系；
根据鞋楦坐标系与机器人坐标系的变换关系和鞋楦坐标系与相机坐标系的变换关系计算机器人坐标系与相机坐标系的变换关系；
通过实时扫描鞋面轮廓，获取实时鞋面点云，将点云数据与实时鞋面点云进行配准，得到配准矩阵，根据机器人坐标系与相机坐标系的变换关系和配准矩阵修正第三轨迹，得到鞋面喷胶轨迹。
具体的，步骤S4具体包括以下步骤：
S41，建立机器人坐标系OR，喷胶枪坐标系OT，鞋楦坐标系OW，相机坐标系OC；
S42，计算喷胶枪坐标系与机器人坐标系的变换关系
Figure DEST_PATH_IMAGE001
，鞋楦坐标系与喷胶枪坐 标系的变换关系
Figure DEST_PATH_IMAGE002
，鞋楦坐标系与相机坐标系的变换关系
Figure DEST_PATH_IMAGE003
；
S43，计算鞋楦坐标系与机器人坐标系的变换关系：
Figure DEST_PATH_IMAGE004
；
S44，计算机器人坐标系与相机坐标系的变换关系：
Figure DEST_PATH_IMAGE005
；
S45，将鞋面的点云数据与实时鞋面点云进行配准，计算配准矩阵
Figure DEST_PATH_IMAGE006
，其 中R，T计算方式如下：
点云配准是一个不断迭代，直到收敛的过程。第k次迭代过程，寻找点云数据Q与几 何信息点云P距离最近的点云，设其坐标为
Figure DEST_PATH_IMAGE007
和
Figure DEST_PATH_IMAGE008
，
Figure DEST_PATH_IMAGE009
为 点云Q的个数，
Figure DEST_PATH_IMAGE010
为点云P的个数，由对应点计算
Figure DEST_PATH_IMAGE011
与
Figure DEST_PATH_IMAGE012
之间的变换矩阵
Figure DEST_PATH_IMAGE013
、
Figure DEST_PATH_IMAGE014
，并对点 云
Figure DEST_PATH_IMAGE015
应用新变换，直到几何信息点云P和点云数据Q之间的平均距离d小于给定值τ，即满足 迭代收敛要求。具体迭代步骤如下：
几何信息点云P中取点云
Figure DEST_PATH_IMAGE016
；
点云数据Q中搜索与
Figure DEST_PATH_IMAGE017
对应的点云
Figure DEST_PATH_IMAGE018
，使得
Figure DEST_PATH_IMAGE019
最小，否则
Figure DEST_PATH_IMAGE020
；
计算旋转矩阵
Figure DEST_PATH_IMAGE021
与平移向量
Figure DEST_PATH_IMAGE022
；
计算
Figure DEST_PATH_IMAGE023
，见下式；
Figure DEST_PATH_IMAGE024
；
计算
Figure DEST_PATH_IMAGE025
：
Figure DEST_PATH_IMAGE026
；
若
Figure DEST_PATH_IMAGE027
，返回步骤S42，直至
Figure DEST_PATH_IMAGE028
或者达到设置的迭代次数为止（
Figure DEST_PATH_IMAGE029
），从而得到配准数据R和T。
S46，喷胶轨迹L计算：通过机器人坐标系与相机坐标系的变换关系
Figure DEST_PATH_IMAGE030
和点云配 准矩阵M，修正第三轨迹，得到最终鞋面喷胶轨迹：
Figure DEST_PATH_IMAGE031
。
具体的，将步骤S1中获取的点云数据作为模板，将实时鞋面点云O与点云数据Q进行配准，获得配准矩阵，用于补偿修正第三轨迹，使其更加符合实际需求。
在具体的实施例中，还包括：
检测鞋面喷胶轨迹中的异常点，对异常点进行剔除，并根据喷胶工艺参数，生成机器人鞋面喷胶指令，根据机器人鞋面喷胶指令控制机器人和喷胶腔对鞋面进行喷胶。
通过检测系统对鞋面喷胶轨迹L中的异常点进行检测，该异常点包括轴超限位、位置超出范围、位置奇异点和速度加速度超限点。鞋面的喷胶工艺参数具体包括雾化压力、喷胶压力、喷枪姿态等参数。在实际应用过程中，将鞋面喷胶轨迹用于机器人上，需考虑到机器人异常点，并结合具体的喷胶工艺参数生成机器人鞋面喷胶指令，进而通过该机器人鞋面喷胶指令控制机器人带动喷胶腔对鞋面进行喷胶。
本申请的实施例提出的基于3D视觉的机器人鞋面喷胶轨迹提取方法能够根据不同鞋款、鞋码快速提取鞋面喷胶轨迹模板，缩短现有技术提取鞋面模板的时间，减少了人力成本，且提取的喷胶轨迹的精度不受鞋底变形、鞋楦定位误差的影响，适用范围广，具有良好的工业实用性。
进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种基于3D视觉的机器人鞋面喷胶轨迹提取装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
本申请实施例提供了一种基于3D视觉的机器人鞋面喷胶轨迹提取装置，包括：
点云处理模块1，被配置为获取套设在鞋楦上的鞋面的点云数据和平面图像，根据点云数据得到鞋面轮廓数据，根据鞋面轮廓数据和平面图像得到几何信息点云；
轨迹提取模块2，被配置为对几何信息点云进行预处理，预处理包括降噪、去噪，并提取得到第一轨迹，对第一轨迹进行拟合、光顺和离散，得到第二轨迹；
轨迹修正模块3，被配置为对第二轨迹中每个点的姿态进行修正，得到第三轨迹；
喷胶轨迹生成模块4，被配置为获取喷胶枪坐标系与机器人坐标系的变换关系、鞋楦坐标系与喷胶枪坐标系的变换关系、鞋楦坐标系与相机坐标系的变换关系和实时鞋面点云，确定点云数据与实时鞋面点云之间的配准关系，根据喷胶枪坐标系与机器人坐标系的变换关系、鞋楦坐标系与喷胶枪坐标系的变换关系、鞋楦坐标系与相机坐标系的变换关系和配准关系对第三轨迹进行处理，得到鞋面喷胶轨迹。
下面参考图6，其示出了适于用来实现本申请实施例的电子设备（例如图1所示的服务器或终端设备）的计算机装置600的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，计算机装置600包括中央处理单元（CPU）601和图形处理器（GPU）602，其可以根据存储在只读存储器（ROM）603中的程序或者从存储部分609加载到随机访问存储器（RAM）604中的程序而执行各种适当的动作和处理。在RAM 604中，还存储有装置600操作所需的各种程序和数据。CPU 601、GPU602、ROM 603以及RAM 604通过总线605彼此相连。输入/输出（I/O）接口606也连接至总线605。
以下部件连接至I/O接口606：包括键盘、鼠标等的输入部分607；包括诸如、液晶显示器（LCD）等以及扬声器等的输出部分608；包括硬盘等的存储部分609；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分610。通信部分610经由诸如因特网的网络执行通信处理。驱动器611也可以根据需要连接至I/O接口606。可拆卸介质612，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器611上，以便于从其上读出的计算机程序根据需要被安装入存储部分609。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分610从网络上被下载和安装，和/或从可拆卸介质612被安装。在该计算机程序被中央处理单元（CPU）601和图形处理器（GPU）602执行时，执行本申请的方法中限定的上述功能。
需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线或半导体的装置、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行装置、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，也可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
附图中的流程图和框图，图示了按照本申请各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，该模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取套设在鞋楦上的鞋面的点云数据和平面图像，根据点云数据得到鞋面轮廓数据，根据鞋面轮廓数据和平面图像得到几何信息点云；对几何信息点云进行预处理，预处理包括降噪、去噪，并提取得到第一轨迹，对第一轨迹进行拟合、光顺和离散，得到第二轨迹；对第二轨迹中每个点的姿态进行修正，得到第三轨迹；获取喷胶枪坐标系与机器人坐标系的变换关系、鞋楦坐标系与喷胶枪坐标系的变换关系、鞋楦坐标系与相机坐标系的变换关系和实时鞋面点云，确定点云数据与实时鞋面点云之间的配准关系，根据喷胶枪坐标系与机器人坐标系的变换关系、鞋楦坐标系与喷胶枪坐标系的变换关系、鞋楦坐标系与相机坐标系的变换关系和配准关系对第三轨迹进行处理，得到鞋面喷胶轨迹。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (9)

1.一种基于3D视觉的机器人鞋面喷胶轨迹提取方法，其特征在于，包括以下步骤：
S1，获取套设在鞋楦上的鞋面的点云数据和平面图像，根据所述点云数据得到鞋面轮廓数据，根据所述鞋面轮廓数据和平面图像得到几何信息点云；
S2，对所述几何信息点云进行预处理，所述预处理包括降噪、去噪，并提取得到第一轨迹，对所述第一轨迹进行拟合、光顺和离散，得到第二轨迹；
S3，对所述第二轨迹中每个点的姿态进行修正，得到第三轨迹；
S4，获取喷胶枪坐标系与机器人坐标系的变换关系、鞋楦坐标系与喷胶枪坐标系的变换关系、鞋楦坐标系与相机坐标系的变换关系和实时鞋面点云，确定所述点云数据与所述实时鞋面点云之间的配准关系，根据喷胶枪坐标系与机器人坐标系的变换关系、鞋楦坐标系与喷胶枪坐标系的变换关系、鞋楦坐标系与相机坐标系的变换关系和配准关系对所述第三轨迹进行处理，得到鞋面喷胶轨迹。
2.根据权利要求1所述的基于3D视觉的机器人鞋面喷胶轨迹提取方法，其特征在于，所述步骤S1具体包括：
在双目线激光相机运动过程中采集每帧线激光照射鞋面的光条图像和每帧鞋面的平面图像，鞋面设有沿鞋底轮廓形成的轮廓标记；
根据所述光条图像得到点云数据，从所述点云数据中提取所述鞋面轮廓数据；
将所有的每帧鞋面的平面图像进行拼接成完整图像，根据所述轮廓标记从所述完整图像中截取对应的特征图像信息；
通过相机标定关系，将所述特征图像信息映射到所述鞋面轮廓数据中，提取所述几何信息点云。
3.根据权利要求1所述的基于3D视觉的机器人鞋面喷胶轨迹提取方法，其特征在于，所述几何信息点云包括鞋面几何特征信息或鞋面上沿鞋底轮廓划线轨迹。
4.根据权利要求1所述的基于3D视觉的机器人鞋面喷胶轨迹提取方法，其特征在于，所述步骤S3具体包括：
通过法向量估计算法或PCA算法计算所述几何信息点云中的每个点在所述点云数据中的法向矢量；
根据所述法向矢量将第二轨迹映射到所述点云数据中，得到所述第三轨迹。
5.根据权利要求1所述的基于3D视觉的机器人鞋面喷胶轨迹提取方法，其特征在于，所述步骤S4具体包括：
分别标定喷胶枪坐标系与机器人坐标系的变换关系、鞋楦坐标系与喷胶枪坐标系的变换关系以及鞋楦坐标系与相机坐标系的变换关系；
根据所述喷胶枪坐标系与机器人坐标系的变换关系和所述鞋楦坐标系与喷胶枪坐标系的变换关系计算鞋楦坐标系与机器人坐标系的变换关系；
根据所述鞋楦坐标系与机器人坐标系的变换关系和所述鞋楦坐标系与所相机坐标系的变换关系计算机器人坐标系与相机坐标系的变换关系；
通过实时扫描鞋面轮廓，获取所述实时鞋面点云，将所述点云数据与所述实时鞋面点云进行配准，得到配准矩阵，根据所述机器人坐标系与相机坐标系的变换关系和所述配准矩阵修正第三轨迹，得到鞋面喷胶轨迹。
6.根据权利要求1所述的基于3D视觉的机器人鞋面喷胶轨迹提取方法，其特征在于，还包括：
检测所述鞋面喷胶轨迹中的异常点，对所述异常点进行剔除，并根据喷胶工艺参数，生成机器人鞋面喷胶指令，根据所述机器人鞋面喷胶指令控制机器人和喷胶腔对鞋面进行喷胶。
7.一种基于3D视觉的机器人鞋面喷胶轨迹提取装置，其特征在于，包括：
点云处理模块，被配置为获取套设在鞋楦上的鞋面的点云数据和平面图像，根据所述点云数据得到鞋面轮廓数据，根据所述鞋面轮廓数据和平面图像得到几何信息点云；
轨迹提取模块，被配置为对所述几何信息点云进行预处理，所述预处理包括降噪、去噪，并提取得到第一轨迹，对所述第一轨迹进行拟合、光顺和离散，得到第二轨迹；
轨迹修正模块，被配置为对所述第二轨迹中每个点的姿态进行修正，得到第三轨迹；
喷胶轨迹生成模块，被配置为获取喷胶枪坐标系与机器人坐标系的变换关系、鞋楦坐标系与喷胶枪坐标系的变换关系、鞋楦坐标系与相机坐标系的变换关系和实时鞋面点云，确定所述点云数据与所述实时鞋面点云之间的配准关系，根据喷胶枪坐标系与机器人坐标系的变换关系、鞋楦坐标系与喷胶枪坐标系的变换关系、鞋楦坐标系与相机坐标系的变换关系和配准关系对所述第三轨迹进行处理，得到鞋面喷胶轨迹。
8.一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的方法。
CN202211411671.8A 2022-11-11 2022-11-11 基于3d视觉的机器人鞋面喷胶轨迹提取方法及装置 Active CN115578376B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211411671.8A CN115578376B (zh) 2022-11-11 2022-11-11 基于3d视觉的机器人鞋面喷胶轨迹提取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211411671.8A CN115578376B (zh) 2022-11-11 2022-11-11 基于3d视觉的机器人鞋面喷胶轨迹提取方法及装置

Publications (2)

Publication Number Publication Date
CN115578376A true CN115578376A (zh) 2023-01-06
CN115578376B CN115578376B (zh) 2023-05-09

Family

ID=84588588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211411671.8A Active CN115578376B (zh) 2022-11-11 2022-11-11 基于3d视觉的机器人鞋面喷胶轨迹提取方法及装置

Country Status (1)

Country Link
CN (1) CN115578376B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115969144A (zh) * 2023-01-09 2023-04-18 东莞市智睿智能科技有限公司 一种鞋底喷胶轨迹生成方法、系统、设备及存储介质
CN116076835A (zh) * 2023-02-10 2023-05-09 易麦斯智能科技(无锡)有限公司 一种基于3d视觉技术的传统鞋楦替代定制鞋楦的方法
CN116883584A (zh) * 2023-05-29 2023-10-13 东莞市捷圣智能科技有限公司 基于数模的轨迹生成方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104766325A (zh) * 2015-04-09 2015-07-08 泉州装备制造研究所 一种鞋面喷胶轨迹线的计算方法
CN105595536A (zh) * 2014-07-31 2016-05-25 黑金刚（福建）自动化科技股份公司 一种基于点云识别技术的鞋类自动化制作方法
CN110881748A (zh) * 2019-12-16 2020-03-17 埃视森智能科技(上海)有限公司 一种基于3d扫描的机器人鞋底自动涂胶系统及方法
CN113197395A (zh) * 2021-04-30 2021-08-03 泉州华中科技大学智能制造研究院 一种鞋面自动成型生产方法及生产线
WO2021238300A1 (zh) * 2020-05-25 2021-12-02 泉州华中科技大学智能制造研究院 一种用于测量鞋子刷胶边缘胶线的装置及其测量方法
CN114683282A (zh) * 2022-03-22 2022-07-01 东莞市智睿机械科技有限公司 一种制鞋机器人的喷胶轨迹生成方法、装置和设备
CN114794669A (zh) * 2022-03-31 2022-07-29 深圳市如本科技有限公司 鞋面涂胶轨迹生成方法、系统、计算机设备以及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105595536A (zh) * 2014-07-31 2016-05-25 黑金刚（福建）自动化科技股份公司 一种基于点云识别技术的鞋类自动化制作方法
CN104766325A (zh) * 2015-04-09 2015-07-08 泉州装备制造研究所 一种鞋面喷胶轨迹线的计算方法
CN110881748A (zh) * 2019-12-16 2020-03-17 埃视森智能科技(上海)有限公司 一种基于3d扫描的机器人鞋底自动涂胶系统及方法
WO2021238300A1 (zh) * 2020-05-25 2021-12-02 泉州华中科技大学智能制造研究院 一种用于测量鞋子刷胶边缘胶线的装置及其测量方法
CN113197395A (zh) * 2021-04-30 2021-08-03 泉州华中科技大学智能制造研究院 一种鞋面自动成型生产方法及生产线
CN114683282A (zh) * 2022-03-22 2022-07-01 东莞市智睿机械科技有限公司 一种制鞋机器人的喷胶轨迹生成方法、装置和设备
CN114794669A (zh) * 2022-03-31 2022-07-29 深圳市如本科技有限公司 鞋面涂胶轨迹生成方法、系统、计算机设备以及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
武传宇等: "基于CAD模型的鞋底喷胶轨迹生成方法", 《计算机辅助设计与图形学学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115969144A (zh) * 2023-01-09 2023-04-18 东莞市智睿智能科技有限公司 一种鞋底喷胶轨迹生成方法、系统、设备及存储介质
CN116076835A (zh) * 2023-02-10 2023-05-09 易麦斯智能科技(无锡)有限公司 一种基于3d视觉技术的传统鞋楦替代定制鞋楦的方法
CN116076835B (zh) * 2023-02-10 2023-11-24 宁波点云智慧科技有限公司 一种基于3d视觉技术的传统鞋楦替代定制鞋楦的方法
CN116883584A (zh) * 2023-05-29 2023-10-13 东莞市捷圣智能科技有限公司 基于数模的轨迹生成方法、装置、电子设备及存储介质
CN116883584B (zh) * 2023-05-29 2024-03-26 东莞市捷圣智能科技有限公司 基于数模的轨迹生成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN115578376B (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
CN115578376A (zh) 基于3d视觉的机器人鞋面喷胶轨迹提取方法及装置
CN109454642B (zh) 基于三维视觉的机器人涂胶轨迹自动生产方法
Tjaden et al. A region-based gauss-newton approach to real-time monocular multiple object tracking
US10013803B2 (en) System and method of 3D modeling and virtual fitting of 3D objects
Pujades et al. The virtual caliper: rapid creation of metrically accurate avatars from 3D measurements
CN105354531B (zh) 一种面部关键点的标注方法
CN106797458B (zh) 真实对象的虚拟改变
EP3028253A1 (en) Locating and augmenting object features in images
CN108229301B (zh) 眼睑线检测方法、装置和电子设备
CN111702772B (zh) 一种帮面自动引导涂胶方法及系统
CN110717984A (zh) 基于三维重构的鞋底自动涂胶方法、系统及存储介质
CN107895377B (zh) 一种前景目标提取方法、装置、设备及存储介质
CN111462120A (zh) 一种基于语义分割模型缺陷检测方法、装置、介质及设备
CN111192293A (zh) 一种运动目标位姿跟踪方法及装置
US11508098B2 (en) Cross-device supervisory computer vision system
CN113129451B (zh) 基于双目视觉定位的全息三维影像空间定量投影方法
CN114332136B (zh) 人脸属性数据标注方法、计算机设备及存储介质
CN111445523A (zh) 果实位姿计算方法、装置、计算机设备及存储介质
CN111754431B (zh) 一种图像区域替换方法、装置、设备及存储介质
Li et al. Real-time occlusion handling for augmented reality assistance assembly systems with monocular images
CN108573192B (zh) 匹配人脸的眼镜试戴方法和装置
Li et al. Integrated registration and occlusion handling based on deep learning for augmented-reality-assisted assembly instruction
US20200126314A1 (en) Method and system of automated facial morphing for eyebrow hair and face color detection
CN114359445A (zh) 人体骨骼关节点提取模型的训练数据生成方法及装置
CN111833392A (zh) 标记点多角度扫描方法、系统及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20230106

Assignee: Quanzhou Yifang Intelligent Technology Co.,Ltd.

Assignor: QUANZHOU-HUST INTELLIGENT MANUFACTURING FUTURE

Contract record no.: X2023350000391

Denomination of invention: Method and device for extracting the trajectory of robot shoe upper adhesive spraying based on 3D vision

Granted publication date: 20230509

License type: Common License

Record date: 20231023

EE01 Entry into force of recordation of patent licensing contract