CN115035201B - 一种基于3d视觉的自动穿鞋带方法及系统 - Google Patents

一种基于3d视觉的自动穿鞋带方法及系统 Download PDF

Info

Publication number
CN115035201B
CN115035201B CN202210634350.8A CN202210634350A CN115035201B CN 115035201 B CN115035201 B CN 115035201B CN 202210634350 A CN202210634350 A CN 202210634350A CN 115035201 B CN115035201 B CN 115035201B
Authority
CN
China
Prior art keywords
shoe
camera
point cloud
holes
shoelace
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210634350.8A
Other languages
English (en)
Other versions
CN115035201A (zh
Inventor
邹洪洲
汪小星
魏从文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yimaisi Intelligent Technology Wuxi Co ltd
Original Assignee
Yimaisi Intelligent Technology Wuxi Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yimaisi Intelligent Technology Wuxi Co ltd filed Critical Yimaisi Intelligent Technology Wuxi Co ltd
Priority to CN202210634350.8A priority Critical patent/CN115035201B/zh
Publication of CN115035201A publication Critical patent/CN115035201A/zh
Application granted granted Critical
Publication of CN115035201B publication Critical patent/CN115035201B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种基于3D视觉的自动穿鞋带方法及系统,属于智能制造技术领域,方法利用3D相机采集和构建待穿鞋孔目标工件3D点云,进行点云映射以及机械手眼坐标映射,并提出了一种精确的鞋孔3D位置提取方法,根据提取得到的鞋孔位置,规划穿孔路径规划,将路径发送给机器人;机器机械手按照上述得到的穿孔路径执行穿鞋带动作,将机械手臂携带的鞋带穿设于一鞋子的多个鞋孔中。实现了智能化的鞋带穿孔,大幅度提高穿设鞋带的效率。

Description

一种基于3D视觉的自动穿鞋带方法及系统
技术领域
本发明属于智能制造技术领域,具体涉及一种基于3D视觉的自动穿鞋带方法及系统。
背景技术
鞋子在制造完成且欲包装出厂之前,必须先将一鞋带穿设于鞋子的鞋孔中。此工序在以往都是以人工来执行,然而人工执行的缺点在于效率低以致于影响产能表现。为了解决人工穿鞋带存在的问题,目前已有一种自动穿鞋带的方法,该方法是借由一接触式三维扫描装置触碰一鞋子的多个鞋孔,以量测所述鞋孔的坐标位置,并将所述坐标位置传输至一主机以供该主机根据所述坐标位置控制一机械手臂将鞋带穿设于所述鞋孔中。虽然上述自动穿设鞋带方法的效率以及产能相较于以往以人工穿设鞋带的方式大幅提高,但是有些鞋子的表面通常是以较柔软的材质所制成,在量测鞋孔的坐标位置时,鞋子的表面会因扫描装置的探测针头的触碰而造成形变。而待测物的形变会导致扫描装置所量测到的坐标位置产生误差,需反复扫描鞋子以确定鞋孔位置,导致作业时间增加。因此,需要进一步提升检测鞋孔坐标位置准确性,以提高自动穿设鞋带的效率是此技术领域的相关技术人员所待克服的难题。
发明内容
本发明的目的在于解决上述现有技术中存在的难题,提供一种基于3D视觉的自动穿鞋带方法及系统。本发明是通过以下技术方案实现的:
一种基于3D视觉的自动穿鞋带方法,具体包含如下步骤:
步骤1,将待穿鞋孔的鞋上料到工位;
步骤2,对双目3D相机进行标定后对上述工位上目标进行图像采集,并对采集得到的图像执行畸变矫正预处理;定义双目3D相机其中一个相机为1号相机,另一个相机为2号相机;
步骤3,对两个3D相机的3D重建得到鞋目标工件的3D点云;具体包含:
步骤3.1目标工件有效区域提取,为减小计算量,在结构光解码与后续点云构建过程只考虑工件有效区域。对图像中的鞋子目标工件所在区域进行提取,剔除背景;
步骤3.2基于绝对相位的立体匹配,鞋子目标工件图像有效区域的像素经过解码后,依据图像像素的编码值,左相机图像的每个像素点找到右相机中与其相对应的点,作为视差计算与视差细化的输入;
视差计算:根据双目相机图像的对应点对坐标,计算初始视差值;根据初始视差值与其邻域信息,拟合二次曲线,计算亚像素视差;
步骤3.3像素与点云映射:将视差信息映射到深度信息,根据深度信息计算得到像素对应的空间坐标,多个三维空间点构成目标工件的3D点云集合。
步骤4,将3D点云对齐映射到1号相机;
得到的双目3D点云由于均是当前拍摄相机坐标系下得到的,因而3D点云数据是分散的,不是一个整体;将2号相机的数据变换映射至1号相机的坐标下,在一个坐标系下形成连续完整的3D点云数据;
步骤5:对采用的1号相机和机器手臂进行手眼标定;根据使用的1号相机与机械臂是相对分离的状态,通过设置标定板,利用机械手坐标系、相机坐标系、标定物坐标系确定相机得到的像素坐标系和空间机械手坐标系的坐标转化关系;该手眼标定为现有技术,本申请不做赘述。
步骤6:根据相机1拍摄得到的点云图像进行鞋孔3D位置提取;
步骤6.1利用1号相机得到得到的二维图像进行圆孔定位,对二维图像进行二值化处理得到鞋面二值图,之后经过Canny算子进行轮廓提取;
步骤6.2对提取得到的多个轮廓计算轮廓包含的面积S1,按照面积S1计算理论周长L1,计算轮廓的实际周长为L2,如果该轮廓为圆形,则L1与L2的偏差小于等于一定阈值M,若该轮廓为非圆形,则L1与L2的偏差大于一定阈值M。
在判断得到鞋孔圆形轮廓后,将属于同一区域且鞋孔连分别处于两排的多个圆形作为最终得到的鞋孔,其他区域的圆形作为误检测鞋孔进行剔除;将二维上的圆孔区域映射到对应的3D点云区域上,则提取出了鞋孔的3D位置;
进一步,判断如果利用二维图像无法得到有效的鞋孔位置时,如出现鞋孔位置偏差很大,分散在多个区域的情况下,可以直接在3D点云上做处理。首先预估鞋孔在3D点云中的位置,然后单独取出此部分点云。将此部分点云拟合成一个平面,再将点云映射到平面上成二维点云,再将映射后的二维点云网格化成二维图像,二维图像上有数据的位置为黑色(像素值为0),没数据的位置为白色(像素值为255)。寻找二维图像中的白色封闭区域,因为鞋孔的中心数据是空的(即二维图像上体现为白色),而其余位置都有数据(为黑色)。将属于同一区域且鞋孔连分别处于两排的多个圆形作为最终得到的鞋孔,其他区域的圆形作为误检测鞋孔进行剔除,得到提取出了鞋孔的3D位置。
步骤7:机器人机械手执行和完成穿鞋带,根据提取得到的鞋孔位置,规划穿孔路径规划,并将路径发送给机器人;机器机械手按照上述得到的穿孔路径执行穿鞋带动作,将机械手臂携带的鞋带穿设于一鞋子的多个鞋孔中。
与现有技术相比,本发明的有益效果是:本申请创新性提出基于人工智能的自动穿鞋带方法,方法利用3D相机采集和构建待穿鞋孔目标工件3D点云,进行点云映射以及机械手眼坐标映射,并提出了一种精确的鞋孔3D位置提取方法,根据提取得到的鞋孔位置,规划穿孔路径规划,将路径发送给机器人;机器机械手按照上述得到的穿孔路径执行穿鞋带动作,将机械手臂携带的鞋带穿设于一鞋子的多个鞋孔中。实现了智能化的鞋带穿孔,大幅度提高穿设鞋带的效率。
附图说明
图1本申请基于3D视觉的自动穿鞋带系统结构图;
图2本申请基于3D视觉的自动穿鞋带方法流程图;
具体实施方式
下面结合附图对本发明作进一步详细描述:
图1中自动穿鞋带系统中至少包含如下部件:穿鞋带工装(1)、机器手臂(2)、包含1号相机的3D视觉系统(3)以及包含2号相机的3D视觉系(4),该系统用于执行以下方法:
步骤1,待穿鞋孔的鞋上料到工位;具体可通过
步骤2,利用双目3D相机进行标定,对上述工位上目标进行图像采集,并对采集得到的图像执行畸变矫正预处理;定义双目其中一个相机为1号相机,另一个相机为2号相机;
步骤3,对两个3D相机的3D重建得到鞋目标工件的3D点云;具体包含,
步骤3.1目标工件有效区域提取,为减小计算量,在结构光解码与后续点云构建过程只考虑工件有效区域。对图像中的鞋子目标工件所在区域进行提取,剔除背景;
步骤3.2基于绝对相位的立体匹配,鞋子目标工件图像有效区域的像素经过解码后,依据图像像素的编码值,左相机图像的每个像素点找到右相机中与其相对应的点,作为视差计算与视差细化的输入;
视差计算:根据双目相机图像的对应点对坐标,计算初始视差值;根据初始视差值与其邻域信息,拟合二次曲线,计算亚像素视差;
步骤3.3像素与点云映射:将视差信息映射到深度信息,根据深度信息计算得到像素对应的空间坐标,多个三维空间点构成目标工件的3D点云集合。
步骤4,将3D点云对齐映射到1号相机;
得到的双目3D点云由于均是当前拍摄相机坐标系下得到的,因而3D点云数据是分散的,不是一个整体;将2号相机的数据变换映射至1号相机的坐标下,在一个坐标系下形成连续完整的3D点云数据;
步骤5:对采用的1号相机和机器手臂进行手眼标定;根据使用的1号相机与机械臂是相对分离的状态,通过设置标定板,利用机械手坐标系、相机坐标系、标定物坐标系确定相机得到的像素坐标系和空间机械手坐标系的坐标转化关系;该手眼标定为现有技术,本申请不做赘述。
步骤6:根据相机1拍摄得到的点云图像进行鞋孔3D位置提取;
步骤6.1利用1号相机得到得到的二维图像进行圆孔定位,对二维图像进行二值化处理得到鞋面二值图,之后经过Canny算子进行轮廓提取;
步骤6.2对提取得到的多个轮廓计算轮廓包含的面积S1,按照面积S1计算理论周长L1,计算轮廓的实际周长为L2,如果该轮廓为圆形,则L1与L2的偏差小于等于一定阈值M,若该轮廓为非圆形,则L1与L2的偏差大于一定阈值M。
在判断得到鞋孔圆形轮廓后,将属于同一区域且鞋孔连分别处于两排的多个圆形作为最终得到的鞋孔,其他区域的圆形作为误检测鞋孔进行剔除;将二维上的圆孔区域映射到对应的3D点云区域上,则提取出了鞋孔的3D位置;
进一步,判断如果利用二维图像无法得到有效的鞋孔位置时,如出现鞋孔位置偏差很大,分散在多个区域的情况下,可以直接在3D点云上做处理。首先预估鞋孔在3D点云中的位置,然后单独取出此部分点云。将此部分点云拟合成一个平面,再将点云映射到平面上成二维点云,再将映射后的二维点云网格化成二维图像,二维图像上有数据的位置为黑色(像素值为0),没数据的位置为白色(像素值为255)。寻找二维图像中的白色封闭区域,因为鞋孔的中心数据是空的(即二维图像上体现为白色),而其余位置都有数据(为黑色)。将属于同一区域且鞋孔连分别处于两排的多个圆形作为最终得到的鞋孔,其他区域的圆形作为误检测鞋孔进行剔除,得到提取出了鞋孔的3D位置。
步骤7:机器人机械手执行和完成穿鞋带,根据提取得到的鞋孔位置,规划穿孔路径规划,并将路径发送给机器人;机器机械手按照上述得到的穿孔路径执行穿鞋带动作,将机械手臂携带的鞋带穿设于一鞋子的多个鞋孔中。
除此之外,本申请还提供了一种基于3D视觉的自动穿鞋带方法对应的计算设备以及计算机可读存储介质,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的计算机可执行指令,所述处理器执行所述计算机可执行指令以实现上述自动穿鞋带方法。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中,除非另有说明,术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
最后应说明的是,上述技术方案只是本发明的一种实施方式,对于本领域内的技术人员而言,在本发明公开了应用方法和原理的基础上,很容易做出各种类型的改进或变形,而不仅限于本发明上述具体实施方式所描述的方法,因此前面描述的方式只是优选的,而并不具有限制性的意义。

Claims (4)

1.一种基于3D视觉的自动穿鞋带方法,其特征在于包括如下步骤:
步骤1,将待穿鞋孔的鞋上料到工位;
步骤2,对双目3D相机进行标定后对上述工位上的目标进行图像采集,并对采集得到的图像执行畸变矫正预处理;双目3D相机其中一个相机为1号相机,另一个相机为2号相机;
步骤3,对两个3D相机采集数据重建得到鞋目标工件的3D点云;
步骤4,将3D点云对齐映射到1号相机;
步骤5:采用的1号相机对机器手臂进行手眼标定;
步骤6:根据相机1拍摄得到的点云图像进行鞋孔3D位置提取;
具体包含:步骤6.1利用1号相机得到的二维图像进行圆孔定位,对二维图像进行二值化处理得到鞋面二值图,之后经过Canny算子进行轮廓提取;
步骤6.2对提取得到的多个轮廓计算轮廓包含的面积S1,按照面积S1计算理论周长L1,计算轮廓的实际周长为L2,如果该轮廓为圆形,则L1与L2的偏差小于等于一定阈值M,若该轮廓为非圆形,则L1与L2的偏差大于一定阈值M;
在判断得到鞋孔圆形轮廓后,将属于同一区域且鞋孔连分别处于两排的多个圆形作为最终得到的鞋孔,其他区域的圆形作为误检测鞋孔进行剔除;将二维上的圆孔区域映射到对应的3D点云区域上,则提取出了鞋孔的3D位置;
进一步,判断如果利用二维图像无法得到有效的鞋孔位置时,如出现鞋孔位置偏差很大,分散在多个区域的情况下,可以直接在3D点云上做处理;首先预估鞋孔在3D点云中的位置,然后单独取出此部分点云;将此部分点云拟合成一个平面,再将点云映射到平面上成二维点云,再将映射后的二维点云网格化成二维图像,二维图像上有数据的位置为黑色像素,没数据的位置为白色像素;
寻找二维图像中的白色封闭区域;将属于同一区域且鞋孔连分别处于两排的多个圆形作为最终得到的鞋孔,其他区域的圆形作为误检测鞋孔进行剔除,得到提取出了鞋孔的3D位置;
步骤7:机器人机械手执行和完成穿鞋带,根据提取得到的鞋孔位置,规划穿孔路径规划,并将路径发送给机器人;机器机械手按照上述得到的穿孔路径执行穿鞋带动作,将机械手臂携带的鞋带穿设于一鞋子的多个鞋孔中。
2.一种基于3D视觉的自动穿鞋带系统,系统中至少包含如下部件:穿鞋带工装(1)、机器手臂(2)、包含1号相机的3D视觉系统(3)以及包含2号相机的3D视觉系(4),该系统用于执行上述权利要求1所述的方法。
3.一种计算机设备,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的计算机可执行指令,所述处理器执行所述计算机可执行指令以实现权利要求1所述的方法。
4.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令在被处理器调用和执行时,计算机可执行指令促使处理器实现权利要求1所述的方法。
CN202210634350.8A 2022-06-06 2022-06-06 一种基于3d视觉的自动穿鞋带方法及系统 Active CN115035201B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210634350.8A CN115035201B (zh) 2022-06-06 2022-06-06 一种基于3d视觉的自动穿鞋带方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210634350.8A CN115035201B (zh) 2022-06-06 2022-06-06 一种基于3d视觉的自动穿鞋带方法及系统

Publications (2)

Publication Number Publication Date
CN115035201A CN115035201A (zh) 2022-09-09
CN115035201B true CN115035201B (zh) 2023-09-29

Family

ID=83122976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210634350.8A Active CN115035201B (zh) 2022-06-06 2022-06-06 一种基于3d视觉的自动穿鞋带方法及系统

Country Status (1)

Country Link
CN (1) CN115035201B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107581713A (zh) * 2016-07-07 2018-01-16 宝成工业股份有限公司 自动化穿鞋带系统
CN107869954A (zh) * 2017-10-23 2018-04-03 广东工业大学 一种双目视觉体积重量测量系统及其实现方法
CN112692551A (zh) * 2020-12-23 2021-04-23 西北工业大学 一种基于视觉定位的智能工件穿线装置与穿线方法
CN114111776A (zh) * 2021-12-22 2022-03-01 广州极飞科技股份有限公司 定位方法及相关装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI687649B (zh) * 2018-11-14 2020-03-11 誠鋒興業股份有限公司 鞋面檢測裝置,及其鞋面檢測方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107581713A (zh) * 2016-07-07 2018-01-16 宝成工业股份有限公司 自动化穿鞋带系统
CN107581712A (zh) * 2016-07-07 2018-01-16 宝成工业股份有限公司 具计算机视觉辅助的自动化穿鞋带机及其计算机视觉辅助方法
CN107869954A (zh) * 2017-10-23 2018-04-03 广东工业大学 一种双目视觉体积重量测量系统及其实现方法
CN112692551A (zh) * 2020-12-23 2021-04-23 西北工业大学 一种基于视觉定位的智能工件穿线装置与穿线方法
CN114111776A (zh) * 2021-12-22 2022-03-01 广州极飞科技股份有限公司 定位方法及相关装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FITTINTM - Online 3D Shoe Try-on;Andrey REVKOV等;《11th Int. Conference and Exhibition on 3D Body Scanning and Processing Technologies》;第1-13页 *
白车身孔槽类特征三维坐标在线测量方法研究;胡彦强;马钺;许敏;;计算机工程(第10期);全文 *

Also Published As

Publication number Publication date
CN115035201A (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
CN110426051B (zh) 一种车道线绘制方法、装置及存储介质
CN107263468B (zh) 一种利用数字图像处理技术的scara机器人装配方法
EP2838069A2 (en) Apparatus and method for analyzing image including event information
CN108322724B (zh) 图像立体匹配方法以及双目视觉设备
CN111079545A (zh) 一种基于图像修复的三维目标检测方法和系统
CN205068153U (zh) 一种基于行走机器人的分布式视觉定位系统
US20230041378A1 (en) Systems and methods for object detection
CN113907645A (zh) 移动机器人的定位方法及装置、存储介质及电子装置
CN105307116A (zh) 一种基于移动机器人的分布式视觉定位系统及方法
CN110851978B (zh) 一种基于可见性的摄像机位置优化方法
CN113610741A (zh) 基于激光线扫的点云处理方法及装置
Yang et al. Tracking and recognition algorithm for a robot harvesting oscillating apples
CN115035201B (zh) 一种基于3d视觉的自动穿鞋带方法及系统
CN114155557B (zh) 定位方法、装置、机器人及计算机可读存储介质
CN109313708B (zh) 图像匹配方法和视觉系统
CN113269729B (zh) 一种基于深度图像对比的装配体多视角检测方法和系统
CN117021059B (zh) 采摘机器人及其果实定位方法、装置、电子设备及介质
CN114431005A (zh) 智能化农业果实采摘识别与定位方法、系统及装置
EP4229588A1 (en) System and method for extracting and measuring shapes of objects having curved surfaces with a vision system
CN111198563B (zh) 一种用于足式机器人动态运动的地形识别方法及系统
Fan et al. An automatic robot unstacking system based on binocular stereo vision
CN114331919B (zh) 深度恢复方法、电子设备及存储介质
CN115810049A (zh) 基于标志物的位姿确定方法、装置、设备、介质及产品
CN114359403A (zh) 一种基于非完整性蘑菇图像的三维空间视觉定位方法、系统及装置
CN115272465A (zh) 物体定位方法、装置、自主移动设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant