CN114004883B - 一种冰壶球的视觉感知方法、装置、计算机设备和存储介质 - Google Patents

一种冰壶球的视觉感知方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN114004883B
CN114004883B CN202111162254.XA CN202111162254A CN114004883B CN 114004883 B CN114004883 B CN 114004883B CN 202111162254 A CN202111162254 A CN 202111162254A CN 114004883 B CN114004883 B CN 114004883B
Authority
CN
China
Prior art keywords
curling ball
curling
pose
ball
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111162254.XA
Other languages
English (en)
Other versions
CN114004883A (zh
Inventor
姜宇
金晶
李丹丹
赵悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202111162254.XA priority Critical patent/CN114004883B/zh
Publication of CN114004883A publication Critical patent/CN114004883A/zh
Application granted granted Critical
Publication of CN114004883B publication Critical patent/CN114004883B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G06T2207/30224—Ball; Puck
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明是一种冰壶球的视觉感知方法、装置、计算机设备和存储介质。本发明涉及冰壶球的视觉感知技术领域，本发明基于仿真环境生成的位姿估计训练数据，搭建并训练位姿估计网络，对冰壶球在相机坐标系下的位姿进行预测；搭建冰壶球位姿估计网络结构，对输入的冰壶球彩色图像对应的分割图像进行重建，对三维位置和姿态信息进行回归；通过深度相机获取深度图像，提取冰壶球的点云数据，以位姿估计网络的输出结果作为初值，将测量得到的冰壶球点云数据和冰壶球模型点云进行配准，对相机外参数的标定，对定位结果进行坐标转换，获得冰壶球在世界坐标系下的三维位姿。

Description

一种冰壶球的视觉感知方法、装置、计算机设备和存储介质
技术领域
本发明涉及冰壶球的视觉感知技术领域，是一种冰壶球的视觉感知方法、装置、计算机设备和存储介质。
背景技术
通常机器人对冰壶球的检测是获得冰壶球在图像坐标系下的二维边界框。在实际任务中，机器人更为经常用到的是冰壶球三维位置和三维姿态信息。与之相比，冰壶球的边界框仅包含二维图像坐标，缺少冰壶球的深度和姿态信息，而且二维边界框的中心和冰壶球实际中心通常并不重合。特别是在冰壶机器人比赛中，投掷机器人常常需要知道冰壶球与自身的相对位置和姿态来进行取壶过程，而精确测量大本营处冰壶球落点位置对策略生成也至关重要。
发明内容
本发明基于仿真环境生成的冰壶球位姿估计训练数据，搭建并训练位姿估计网络，实现对冰壶球在相机坐标系下的位姿的预测。基于单目图像结合深度信息，使用迭代最近点算法(ICP)对估计结果进行修正，实现高精度的冰壶球三维位置和姿态估计。
本发明提供了一种冰壶球的视觉感知方法、装置、计算机设备和存储介质，本发明提供了以下技术方案：
一种冰壶球的视觉感知方法，包括以下步骤：
步骤1：基于仿真环境生成的位姿估计训练数据，搭建并训练位姿估计网络，对冰壶球在相机坐标系下的位姿进行预测；
步骤2：搭建冰壶球位姿估计网络结构，对输入的冰壶球彩色图像对应的分割图像进行重建，对三维位置和姿态信息进行回归；
步骤3：通过深度相机获取深度图像，提取冰壶球的点云数据，以位姿估计网络的输出结果作为初值，将测量得到的冰壶球点云数据和冰壶球模型点云进行配准，对相机外参数的标定，对定位结果进行坐标转换，获得冰壶球在世界坐标系下的三维位姿。
优选的，述步骤1具体为：
步骤1.1：搭建冰壶运动仿真环境，并在大本营区域以0.5m为间隔，等间距地放置了五行五列的冰壶球，结合域随机化机制对冰壶位置、相机位姿、光照方向和强度、障碍物、目标材质进行随机调整，获得自动标注后的冰壶球位姿估计仿真训练数据；
步骤1.2：获取冰壶球在彩色图像中的边界框信息；设冰壶球信息为[xb yb wb hb]T，原始边界框信息为[x1 y1 x2 y2]T，其中，(x1,y1)和(x2,y2)分别为边界框左上和右下的图像坐标，W、H分别为图像的宽和高，通过下式确定归一化后的冰壶球信息：
其中，xb、yb分别代表冰壶球中心的图像坐标，wb和hb代表冰壶球的宽、高
步骤1.3：定义冰壶球相对于相机的三维位置和姿态，设冰壶球三维位置为[xc yczc]T，设冰壶球相对于相机的实际位置为[X Y Z]T，则从[xc yc zc]T恢复实际位置通过下式表示：
其中，xc和yc是冰壶球中心图像坐标归一化后的结果；
Z＝zc (7)
其中，zc是冰壶球中心距离相机的实际深度；
采用四元数来表示冰壶球旋转，通过下式表示：
q＝w+xi+yj+zk (8)
通过四元数[w,x,y,z]的四维向量表示冰壶球的姿态信息。
优选的，所述步骤2具体为：
步骤2.1:建立编码器模块，输入为形状为(3,128,128)的彩色图像，采用步长为2、核尺寸为5的卷积层对该图像进行下采样，用于对输入进行特征提取，压缩为维度是128的特征向量；
步骤2.2：建立边界框特征嵌入模块，输入为对应目标的边界框信息，包括归一化后的[xb yb wb hb]T，分别对应目标边界框中心的水平、垂直坐标和边界框的宽、高；
经过全连接层输出维度为128的特征向量，特征向量与编码器输出的128维的特征向量进行拼接，最终得到一个256维的特征向量，包含了目标的位姿信息；
步骤2.3：建立解码器模块，采用反卷积，对256维的特征向量进行上采样，最终输出一个大小为(1，,128,128)的张量，对应输入图像的分割图像，用于迫使网络学习到目标的形状信息；
步骤2.4：建立回归模块，包括姿态回归和位置回归，分别用于输出目标的姿态和位置信息，其中目标的姿态信息通过四元数进行表示；
步骤2.5：建立损失函数，对于位置损失，当T＝[X Y Z]T为目标在相机坐标系下的坐标，分别对目标中心在图像坐标系下的坐标c＝[xc yc]和目标距相机的深度Z进行预测。
优选的，当网络估计出c和深度Z，根据式(5)和(6)进一步恢复出X和Y；位置损失的计算通过下式表示：
对于姿态损失，计算真实四元数q和预测四元数之间的反余弦距离，即两个四元数之间的夹角作为损失，通过下式计算夹角：
根据结合位置损失和姿态损失，通过下式表示损失函数：
优选的，所述步骤3具体为：
步骤3.1：将目标检测器输出的边界框和原始彩色图像送入位姿估计网络，得到代表冰壶球姿态的四元数q和代表冰壶球位置的三维向量t，同时输出冰壶球的分割图像；通过分割图像，从深度图像中提取并恢复出仅包含冰壶球的三维点云；
步骤3.2：将从深度图中提取出的三维点云作为源点云，冰壶球的三维模型点云作为目标点云，以旋转矩阵R(q)和t为初始值，使用ICP算法将两个点云进行匹配，得到了修正后的两个点云之间的位姿关系Rrefined，trefined；
步骤3.3：在冰壶运动真实场地的大本营中心和最外侧半径为1.83m的圆上放置五枚冰壶球作为测量目标。
优选的，以大本营中心为原点，建立世界坐标系，得到冰壶球的实际位置坐标。
优选的，使用AprilTag完成相机外参的标定，得到深度相机与大本营世界坐标系之间的旋转矩阵R和平移向量t；将深度相机输出的彩色图像和深度图像作为位姿估计网络和ICP算法的输入，获得冰壶球在世界坐标系下的三维位姿。
一种冰壶球的视觉感知装置，所述装置包括：
位姿预测模块，所述位姿预测模块用于基于仿真环境生成的位姿估计训练数据，搭建并训练位姿估计网络，对冰壶球在相机坐标系下的位姿进行预测；
分割图像重建模块，所述分割图像重建模块用于搭建冰壶球位姿估计网络结构，对输入的冰壶球彩色图像对应的分割图像进行重建，对三维位置和姿态信息进行回归；
三维位姿确定模块，所述三维位姿确定模块通过深度相机获取深度图像，提取冰壶球的点云数据，以位姿估计网络的输出结果作为初值，将测量得到的冰壶球点云数据和冰壶球模型点云进行配准，对相机外参数的标定，对定位结果进行坐标转换，获得冰壶球在世界坐标系下的三维位姿。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现步骤1至3中任一项所述方法的步骤。
一种计算机可读存储介质，所述介质上存储有计算机程序，所述计算机程序被处理器执行时实现步骤1至3中任一项所述的方法的步骤。
本发明具有以下有益效果：
本发明的目的是给出一种冰壶球三维位置和姿态的视觉感知方法，该方法适用性强，能够实现多个冰壶球情况的高精度位姿估计。本发明的目的是通过以下技术方案实现的：首先训练位姿估计网络，使用单目图像估计冰壶球相对于相机的三维位置和姿态信息；然后结合深度信息，使用ICP算法对位姿估计的结果进行精调，提升位姿估计精度。使用视觉定位标志符(AprilTag)完成相机外参数的标定，对位姿估计结果进行坐标转换，获得冰壶球在世界坐标系下的坐标。
本发明利用机器人视觉感知系统得到冰壶球在比赛场地中的高精度三维位置和姿态，为机器人抓取冰壶球、运动避障、制定比赛策略提供依据。
附图说明
图1为一种冰壶球的视觉感知方法流程图；
图2为冰壶球仿真训练数据生成流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
以下结合具体实施例，对本发明进行了详细说明。
具体实施例一：
根据图1-图2所示，本发明提供一种冰壶球的视觉感知方法，包括以下步骤：
步骤1：基于仿真环境生成的位姿估计训练数据，搭建并训练位姿估计网络，对冰壶球在相机坐标系下的位姿进行预测；
步骤2：搭建冰壶球位姿估计网络结构，对输入的冰壶球彩色图像对应的分割图像进行重建，该分割图像仅包含冰壶球和背景两种类别，无论输入冰壶球图像有任何遮挡、噪声、背景和光照条件，该结构都使网络能够学习到冰壶球的形状，自动过滤掉干扰信息，在此基础上，添加的回归层以编码-解码器中间的特征向量为输入，对三维位置和姿态信息进行回归；
步骤3：通过深度相机获取深度图像，提取冰壶球的点云数据，以位姿估计网络的输出结果作为初值，通过迭代最近点(ICP)算法，将测量得到的冰壶球点云数据和冰壶球模型点云进行配准，使用视觉定位标志符(AprilTag)完成相机外参数的标定，对定位结果进行坐标转换，获得冰壶球在世界坐标系下的三维位姿。
具体实施例二：
本申请实施例二与实施例一的区别仅在于：
所述步骤1具体为：
步骤1.1：搭建冰壶运动仿真环境，并在大本营区域以0.5m为间隔，等间距地放置了五行五列的冰壶球，结合域随机化机制对冰壶位置、相机位姿、光照方向和强度、障碍物、目标材质进行随机调整，获得自动标注后的冰壶球位姿估计仿真训练数据；
步骤1.2：获取冰壶球在彩色图像中的边界框信息；设冰壶球信息为[xb yb wb hb]T，原始边界框信息为[x1 y1 x2 y2]T，其中，(x1,y1)和(x2,y2)分别为边界框左上和右下的图像坐标，W、H分别为图像的宽和高，通过下式确定归一化后的冰壶球信息：
其中，xb、yb分别代表冰壶球中心的图像坐标，wb和hb代表冰壶球的宽、高
步骤1.3：定义冰壶球相对于相机的三维位置和姿态，设冰壶球三维位置为[xc yczc]T，设冰壶球相对于相机的实际位置为[X Y Z]T，则从[xc yc zc]T恢复实际位置通过下式表示：
其中，xc和yc是冰壶球中心图像坐标归一化后的结果；
Z＝zc (7)
其中，zc是冰壶球中心距离相机的实际深度；
采用四元数来表示冰壶球旋转，通过下式表示：
q＝w+xi+yj+zk (8)
通过四元数[w,x,y,z]的四维向量表示冰壶球的姿态信息。
具体实施例三：
本申请实施例三与实施例二的区别仅在于：
所述步骤2具体为：
步骤2.1:建立编码器模块，输入为形状为(3,128,128)的彩色图像，采用步长为2、核尺寸为5的卷积层对该图像进行下采样，用于对输入进行特征提取，压缩为维度是128的特征向量；
步骤2.2：建立边界框特征嵌入模块，输入为对应目标的边界框信息，包括归一化后的[xb yb wb hb]T，分别对应目标边界框中心的水平、垂直坐标和边界框的宽、高；
经过全连接层输出维度为128的特征向量，特征向量与编码器输出的128维的特征向量进行拼接，最终得到一个256维的特征向量，包含了目标的位姿信息；
步骤2.3：建立解码器模块，采用反卷积，对256维的特征向量进行上采样，最终输出一个大小为(1，,128,128)的张量，对应输入图像的分割图像，用于迫使网络学习到目标的形状信息；
步骤2.4：建立回归模块，包括姿态回归和位置回归，分别用于输出目标的姿态和位置信息，其中目标的姿态信息通过四元数进行表示；
步骤2.5：建立损失函数，对于位置损失，当T＝[X Y Z]T为目标在相机坐标系下的坐标，分别对目标中心在图像坐标系下的坐标c＝[xc yc]和目标距相机的深度Z进行预测。
具体实施例四：
本申请实施例四与实施例三的区别仅在于：
当网络估计出c和深度Z，根据式(5)和(6)进一步恢复出X和Y；位置损失的计算通过下式表示：
对于姿态损失，计算真实四元数q和预测四元数之间的反余弦距离，即两个四元数之间的夹角作为损失，通过下式计算夹角：
根据结合位置损失和姿态损失，通过下式表示损失函数：
具体实施例五：
本申请实施例五与实施例四的区别仅在于：
所述步骤3具体为：
步骤3.1：将目标检测器输出的边界框和原始彩色图像送入位姿估计网络，得到代表冰壶球姿态的四元数q和代表冰壶球位置的三维向量t，同时输出冰壶球的分割图像；通过分割图像，从深度图像中提取并恢复出仅包含冰壶球的三维点云；
步骤3.2：将从深度图中提取出的三维点云作为源点云，冰壶球的三维模型点云作为目标点云，以旋转矩阵R(q)和t为初始值，使用ICP算法将两个点云进行匹配，得到了修正后的两个点云之间的位姿关系Rrefined，trefined；
步骤3.3：在冰壶运动真实场地的大本营中心和最外侧半径为1.83m的圆上放置五枚冰壶球作为测量目标。
具体实施例六：
本申请实施例六与实施例五的区别仅在于：
以大本营中心为原点，建立世界坐标系，得到冰壶球的实际位置坐标。
具体实施例七：
本申请实施例七与实施例六的区别仅在于：
使用AprilTag完成相机外参的标定，得到深度相机与大本营世界坐标系之间的旋转矩阵R和平移向量t；将深度相机输出的彩色图像和深度图像作为位姿估计网络和ICP算法的输入，获得冰壶球在世界坐标系下的三维位姿。
具体实施例八：
本申请实施例八与实施例七的区别仅在于：
本发明提供一种冰壶球的视觉感知装置，所述装置包括：
位姿预测模块，所述位姿预测模块用于基于仿真环境生成的位姿估计训练数据，搭建并训练位姿估计网络，对冰壶球在相机坐标系下的位姿进行预测；
分割图像重建模块，所述分割图像重建模块用于搭建冰壶球位姿估计网络结构，对输入的冰壶球彩色图像对应的分割图像进行重建，对三维位置和姿态信息进行回归；
三维位姿确定模块，所述三维位姿确定模块通过深度相机获取深度图像，提取冰壶球的点云数据，以位姿估计网络的输出结果作为初值，将测量得到的冰壶球点云数据和冰壶球模型点云进行配准，对相机外参数的标定，对定位结果进行坐标转换，获得冰壶球在世界坐标系下的三维位姿。
具体实施例九：
本申请实施例九与实施例八的区别仅在于：
本发明提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现本申请中实例一至实施例七中任意实施例的方法步骤。
具体实施例十：
本申请实施例十与实施例九的区别仅在于：
本发明提供一种计算机可读存储介质，所述介质上存储有计算机程序，所述计算机程序被处理器执行时实现实现本申请中实例一至实施例七中任意实施例的方法步骤。
以上所述仅是一种冰壶球的视觉感知方法、装置、计算机设备和存储介质的优选实施方式，一种冰壶球的视觉感知方法、装置、计算机设备和存储介质的保护范围并不仅局限于上述实施例，凡属于该思路下的技术方案均属于本发明的保护范围。应当指出，对于本领域的技术人员来说，在不脱离本发明原理前提下的若干改进和变化，这些改进和变化也应视为本发明的保护范围。

Claims (9)

1.一种冰壶球的视觉感知方法，其特征是：包括以下步骤：
步骤1：基于仿真环境生成的位姿估计训练数据，搭建并训练位姿估计网络，对冰壶球在相机坐标系下的位姿进行预测；
所述步骤1具体为：
步骤1.1：搭建冰壶运动仿真环境，并在大本营区域以0.5m为间隔，等间距地放置了五行五列的冰壶球，结合域随机化机制对冰壶位置、相机位姿、光照方向和强度、障碍物、目标材质进行随机调整，获得自动标注后的冰壶球位姿估计仿真训练数据；
步骤1.2：获取冰壶球在彩色图像中的边界框信息；设冰壶球信息为[xb yb wb hb]T，原始边界框信息为[x1 y1 x2 y2]T，其中，(x1,y1)和(x2,y2)分别为边界框左上和右下的图像坐标，W、H分别为图像的宽和高，通过下式确定归一化后的冰壶球信息：
其中，xb、yb分别代表冰壶球中心的图像坐标，wb和hb代表冰壶球的宽、高
步骤1.3：定义冰壶球相对于相机的三维位置和姿态，设冰壶球三维位置为[xc yc zc]T，设冰壶球相对于相机的实际位置为[X Y Z]T，则从[xc yc zc]T恢复实际位置通过下式表示：
其中，xc和yc是冰壶球中心图像坐标归一化后的结果；
Z＝zc (7)
其中，zc是冰壶球中心距离相机的实际深度；
采用四元数来表示冰壶球旋转，通过下式表示：
q＝w+xi+yj+zk (8)
通过四元数[w,x,y,z]的四维向量表示冰壶球的姿态信息；
步骤2：搭建冰壶球位姿估计网络结构，对输入的冰壶球彩色图像对应的分割图像进行重建，对三维位置和姿态信息进行回归；
步骤3：通过深度相机获取深度图像，提取冰壶球的点云数据，以位姿估计网络的输出结果作为初值，将测量得到的冰壶球点云数据和冰壶球模型点云进行配准，对相机外参数的标定，对定位结果进行坐标转换，获得冰壶球在世界坐标系下的三维位姿。
2.根据权利要求1所述的一种冰壶球的视觉感知方法，其特征是：所述步骤2具体为：
步骤2.1:建立编码器模块，输入为形状为(3,128,128)的彩色图像，采用步长为2、核尺寸为5的卷积层对该图像进行下采样，用于对输入进行特征提取，压缩为维度是128的特征向量；
步骤2.2：建立边界框特征嵌入模块，输入为对应目标的边界框信息，包括归一化后的[xb yb wb hb]T，分别对应目标边界框中心的水平、垂直坐标和边界框的宽、高；
经过全连接层输出维度为128的特征向量，特征向量与编码器输出的128维的特征向量进行拼接，最终得到一个256维的特征向量，包含了目标的位姿信息；
步骤2.3：建立解码器模块，采用反卷积，对256维的特征向量进行上采样，最终输出一个大小为(1,128,128)的张量，对应输入图像的分割图像，用于迫使网络学习到目标的形状信息；
步骤2.4：建立回归模块，包括姿态回归和位置回归，分别用于输出目标的姿态和位置信息，其中目标的姿态信息通过四元数进行表示；
步骤2.5：建立损失函数，对于位置损失，当T＝[X Y Z]T为目标在相机坐标系下的坐标，分别对目标中心在图像坐标系下的坐标c＝[xc yc]和目标距相机的深度Z进行预测。
3.根据权利要求2所述的一种冰壶球的视觉感知方法，其特征是：当网络估计出c和深度Z，根据式(5)和(6)进一步恢复出X和Y；位置损失的计算通过下式表示：
对于姿态损失，计算真实四元数q和预测四元数之间的反余弦距离，即两个四元数之间的夹角作为损失，通过下式计算夹角：
根据结合位置损失和姿态损失，通过下式表示损失函数：
4.根据权利要求3所述的一种冰壶球的视觉感知方法，其特征是：所述步骤3具体为：
步骤3.1：将目标检测器输出的边界框和原始彩色图像送入位姿估计网络，得到代表冰壶球姿态的四元数q和代表冰壶球位置的三维向量t，同时输出冰壶球的分割图像；通过分割图像，从深度图像中提取并恢复出仅包含冰壶球的三维点云；
步骤3.2：将从深度图中提取出的三维点云作为源点云，冰壶球的三维模型点云作为目标点云，以旋转矩阵R(q)和t为初始值，使用ICP算法将两个点云进行匹配，得到了修正后的两个点云之间的位姿关系Rrefined，trefined；
步骤3.3：在冰壶运动真实场地的大本营中心和最外侧半径为1.83m的圆上放置五枚冰壶球作为测量目标。
5.根据权利要求4所述的一种冰壶球的视觉感知方法，其特征是：以大本营中心为原点，建立世界坐标系，得到冰壶球的实际位置坐标。
6.根据权利要求5所述的一种冰壶球的视觉感知方法，其特征是：使用AprilTag完成相机外参的标定，得到深度相机与大本营世界坐标系之间的旋转矩阵R和平移向量t；将深度相机输出的彩色图像和深度图像作为位姿估计网络和ICP算法的输入，获得冰壶球在世界坐标系下的三维位姿。
7.一种冰壶球的视觉感知装置，所述装置是基于如权利要求1的一种冰壶球的视觉感知方法实现的，其特征是：所述装置包括：
位姿预测模块，所述位姿预测模块用于基于仿真环境生成的位姿估计训练数据，搭建并训练位姿估计网络，对冰壶球在相机坐标系下的位姿进行预测；
分割图像重建模块，所述分割图像重建模块用于搭建冰壶球位姿估计网络结构，对输入的冰壶球彩色图像对应的分割图像进行重建，对三维位置和姿态信息进行回归；
三维位姿确定模块，所述三维位姿确定模块通过深度相机获取深度图像，提取冰壶球的点云数据，以位姿估计网络的输出结果作为初值，将测量得到的冰壶球点云数据和冰壶球模型点云进行配准，对相机外参数的标定，对定位结果进行坐标转换，获得冰壶球在世界坐标系下的三维位姿。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征是：所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
9.一种计算机可读存储介质，所述介质上存储有计算机程序，其特征是：所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202111162254.XA 2021-09-30 2021-09-30 一种冰壶球的视觉感知方法、装置、计算机设备和存储介质 Active CN114004883B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111162254.XA CN114004883B (zh) 2021-09-30 2021-09-30 一种冰壶球的视觉感知方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111162254.XA CN114004883B (zh) 2021-09-30 2021-09-30 一种冰壶球的视觉感知方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN114004883A CN114004883A (zh) 2022-02-01
CN114004883B true CN114004883B (zh) 2024-05-03

Family

ID=79922208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111162254.XA Active CN114004883B (zh) 2021-09-30 2021-09-30 一种冰壶球的视觉感知方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN114004883B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114897999B (zh) * 2022-04-29 2023-12-08 美的集团(上海)有限公司 物体位姿识别方法、电子设备、存储介质和程序产品
CN115115700B (zh) * 2022-05-17 2023-04-11 清华大学 物体的姿态估计方法、装置、电子设备及存储介质
CN115115701B (zh) * 2022-05-17 2024-07-16 清华大学 物体的姿态估计方法、装置、电子设备及存储介质
CN116797625B (zh) * 2023-07-20 2024-04-19 无锡埃姆维工业控制设备有限公司 一种单目三维工件位姿估计方法
CN117152231B (zh) * 2023-10-31 2024-01-26 中国农业大学 预设类别目标的三维形状估计方法、装置及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709301A (zh) * 2020-05-21 2020-09-25 哈尔滨工业大学 一种冰壶球运动状态估计方法
CN112508998A (zh) * 2020-11-11 2021-03-16 北京工业大学 基于全局运动的视觉目标对齐方法
CN112733608A (zh) * 2020-12-11 2021-04-30 哈尔滨工业大学 冰壶运动员姿态检测与动作分析系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709301A (zh) * 2020-05-21 2020-09-25 哈尔滨工业大学 一种冰壶球运动状态估计方法
CN112508998A (zh) * 2020-11-11 2021-03-16 北京工业大学 基于全局运动的视觉目标对齐方法
CN112733608A (zh) * 2020-12-11 2021-04-30 哈尔滨工业大学 冰壶运动员姿态检测与动作分析系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于冰壶机器人的人工智能实验教学设计与实践;金晶;姜宇;李丹丹;沈毅;;实验技术与管理(第04期);全文 *

Also Published As

Publication number Publication date
CN114004883A (zh) 2022-02-01

Similar Documents

Publication Publication Date Title
CN114004883B (zh) 一种冰壶球的视觉感知方法、装置、计算机设备和存储介质
CN111968235B (zh) 一种物体姿态估计方法、装置、系统和计算机设备
CN109344882B (zh) 基于卷积神经网络的机器人控制目标位姿识别方法
CN106940704B (zh) 一种基于栅格地图的定位方法及装置
JP6560480B2 (ja) 画像処理システム、画像処理方法、及びプログラム
CN111862201B (zh) 一种基于深度学习的空间非合作目标相对位姿估计方法
CN107292965A (zh) 一种基于深度图像数据流的虚实遮挡处理方法
CN113052109A (zh) 一种3d目标检测系统及其3d目标检测方法
GB2580691A (en) Depth estimation
CN111932678B (zh) 多视点实时人体运动、手势、表情、纹理重建系统
CN108805987B (zh) 基于深度学习的混合跟踪方法及装置
CN113034652A (zh) 虚拟形象驱动方法、装置、设备及存储介质
CN111445523A (zh) 果实位姿计算方法、装置、计算机设备及存储介质
CN113689578A (zh) 一种人体数据集生成方法及装置
CN110648362B (zh) 一种双目立体视觉的羽毛球定位识别与姿态计算方法
CN113643366B (zh) 一种多视角三维对象姿态估计方法及装置
CN113052907A (zh) 一种动态环境移动机器人的定位方法
CN115830135A (zh) 一种图像处理方法、装置及电子设备
CN109215128B (zh) 物体运动姿态图像的合成方法及系统
EP3825804A1 (en) Map construction method, apparatus, storage medium and electronic device
CN114029952A (zh) 机器人操作控制方法、装置和系统
CN111198563B (zh) 一种用于足式机器人动态运动的地形识别方法及系统
CN116844124A (zh) 三维目标检测框标注方法、装置、电子设备和存储介质
CN117115252A (zh) 一种基于视觉的仿生扑翼无人机空间位姿估计方法
CN116079727A (zh) 基于3d人体姿态估计的人形机器人动作模仿方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant