CN112541936B - 执行机构操作空间视觉信息确定方法及系统 - Google Patents

执行机构操作空间视觉信息确定方法及系统 Download PDF

Info

Publication number
CN112541936B
CN112541936B CN202011448839.3A CN202011448839A CN112541936B CN 112541936 B CN112541936 B CN 112541936B CN 202011448839 A CN202011448839 A CN 202011448839A CN 112541936 B CN112541936 B CN 112541936B
Authority
CN
China
Prior art keywords
image
determining
target object
visual information
operating space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011448839.3A
Other languages
English (en)
Other versions
CN112541936A (zh
Inventor
杨明浩
孙杨昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202011448839.3A priority Critical patent/CN112541936B/zh
Publication of CN112541936A publication Critical patent/CN112541936A/zh
Application granted granted Critical
Publication of CN112541936B publication Critical patent/CN112541936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence

Abstract

本发明涉及一种执行机构操作空间视觉信息确定方法及系统，所述视觉信息确定方法包括：获取关于执行机构操作空间的多个样本；其中，每一样本均包括光学图像、深度图像及三维坐标；根据各样本，建立视觉信息映射模型；具体包括：针对每一样本，根据目标物的光学图像、深度图像，确定目标像素位置信息；根据目标像素位置信息，确定二值掩码图像；基于各目标物的光学图像、深度图像、二值掩码图像及三维坐标，确定视觉信息映射模型；获取待测目标物的待测光学图像、待测深度图像；基于视觉信息映射模型，根据所述待测光学图像、待测深度图像，可快速确定所述待测目标物的三维坐标信息。

Description

执行机构操作空间视觉信息确定方法及系统
技术领域
本发明涉及图像处理技术领域，特别涉及一种执行机构操作空间视觉信息确定方法及系统。
背景技术
用尽量少的视觉信息对执行机构所处操纵空间进行重建，例如机械臂，是使得机械臂具有对机械臂环境感知能力的重要环节。为了通过相机实现机器人的位置反馈和目标检测，需要建立相机坐标系和机器人坐标系的坐标映射关系，即视觉信息重建。
目前，视觉信息重建一般有两种形式：相机与机器人末端固连和相机独立固定。传统的相机独立固定的系统重建难度较大，一般采用棋盘格模板，通过机器人末端变换不同位姿时棋盘格在相机坐标系的姿态和机器人运动参数构建方程组，求解得到标定变换矩阵。这种情况下，标定和求解方程的过程十分复杂，而且相机位置发生变化后需要重新进行标定，标定速度慢，效率低，对于实时性要求高的操作学习而言，这种重建方法难以满足实时性要求。
发明内容
为了解决现有技术中的上述问题，即为了快速确定目标物的视觉信息，本发明的目的在于提供一种执行机构操作空间视觉信息确定方法及系统。
为解决上述技术问题，本发明提供了如下方案：
一种执行机构操作空间视觉信息确定方法，所述视觉信息确定方法包括：
获取关于执行机构操作空间的多个样本；其中，执行机构末端抓持有目标物，每一样本均包括通过RGBD相机获取对应目标物的光学图像、深度图像及所述目标物在操作空间内的三维坐标；
根据各样本，建立视觉信息映射模型；具体包括：
针对每一样本，根据所述目标物的光学图像、深度图像，确定目标像素位置信息；
根据所述目标像素位置信息，确定二值掩码图像；
基于各目标物的光学图像、深度图像、二值掩码图像及所述目标物在操作空间内的三维坐标，确定视觉信息映射模型；
获取所述执行机构末端抓持的待测目标物的待测光学图像、待测深度图像；
基于所述视觉信息映射模型，根据所述待测光学图像、待测深度图像，确定所述待测目标物的三维坐标信息。
可选地，所述根据所述目标物的光学图像、深度图像，确定目标像素位置信息，具体包括：
将所述光学图像、深度图像对齐，采用目标检测算法，确定所述光学图像中的目标位置；
根据所述光学图像中的目标位置，确定所述目标物在所述光学图像、深度图像中的目标像素位置信息。
可选地，所述根据所述目标像素位置信息，确定二值掩码图像，具体包括：
根据所述目标像素位置信息，确定目标位置处的掩码范围；
将掩码范围内的像素值设置为255，将掩码范围外的像素值设置为0，得到二值掩码图像。
可选地，所述基于各目标物的光学图像、深度图像、二值掩码图像及所述目标物在操作空间内的三维坐标，确定视觉信息映射模型，具体包括：
分别提取所述光学图像、深度图像、二值掩码图像的特征，得到对应的光学特征向量lc、深度特征向量ld、二值掩码特征向量lm；
基于光学特征向量lc、深度特征向量ld、二值掩码特征向量lm及目标像素位置信息Wp，采用全连接神经网络迭代方法确定映射矩阵K的近似矩阵
Figure BDA0002825933220000031
根据所述近似矩阵
Figure BDA0002825933220000032
确定映射矩阵K；
根据所述映射矩阵K，确定视觉信息映射模型：
LK＝W；
其中，W表示操作空间内的点P对应的三维坐标，L表示位于操作空间内的点的目标物的图像特征向量。
可选地，根据以下公式确定所述近似矩阵
Figure BDA0002825933220000033
Figure BDA0002825933220000034
其中，argmin(*)为使(*)达到最小值时的变量函数；Lp＝(lc，ld，lm)，Wp＝(xp，yp，zp)。
可选地，各样本中的三维坐标通过设置执行机构上的传感装置获得。
可选地，所述三维坐标信息为以执行机构基座为原点的位置矢量。
为解决上述技术问题，本发明还提供了如下方案：
一种执行机构操作空间视觉信息确定系统，所述视觉信息确定系统包括：
第一获取单元，用于获取关于执行机构操作空间的多个样本；其中，执行机构末端抓持有目标物，每一样本均包括通过RGBD相机获取对应目标物的光学图像、深度图像及所述目标物在操作空间内的三维坐标；
建模单元，用于根据各样本，建立视觉信息映射模型；所述建模单元包括：
位置确定模块，用于针对每一样本，根据所述目标物的光学图像、深度图像，确定目标像素位置信息；
图像确定模块，用于根据所述目标像素位置信息，确定二值掩码图像；
建模模块，用于基于各目标物的光学图像、深度图像、二值掩码图像及所述目标物在操作空间内的三维坐标，确定视觉信息映射模型；
第二获取单元，用于获取所述执行机构末端抓持的待测目标物的待测光学图像、待测深度图像；
确定单元，用于基于所述视觉信息映射模型，根据所述待测光学图像、待测深度图像，确定所述待测目标物的三维坐标信息。
为解决上述技术问题，本发明还提供了如下方案：
一种执行机构操作空间视觉信息确定系统，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：
获取关于执行机构操作空间的多个样本；其中，执行机构末端抓持有目标物，每一样本均包括通过RGBD相机获取对应目标物的光学图像、深度图像及所述目标物在操作空间内的三维坐标；
根据各样本，建立视觉信息映射模型；具体包括：
针对每一样本，根据所述目标物的光学图像、深度图像，确定目标像素位置信息；
根据所述目标像素位置信息，确定二值掩码图像；
基于各目标物的光学图像、深度图像、二值掩码图像及所述目标物在操作空间内的三维坐标，确定视觉信息映射模型；
获取所述执行机构末端抓持的待测目标物的待测光学图像、待测深度图像；
基于所述视觉信息映射模型，根据所述待测光学图像、待测深度图像，确定所述待测目标物的三维坐标信息。
为解决上述技术问题，本发明还提供了如下方案：
一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
获取关于执行机构操作空间的多个样本；其中，执行机构末端抓持有目标物，每一样本均包括通过RGBD相机获取对应目标物的光学图像、深度图像及所述目标物在操作空间内的三维坐标；
根据各样本，建立视觉信息映射模型；具体包括：
针对每一样本，根据所述目标物的光学图像、深度图像，确定目标像素位置信息；
根据所述目标像素位置信息，确定二值掩码图像；
基于各目标物的光学图像、深度图像、二值掩码图像及所述目标物在操作空间内的三维坐标，确定视觉信息映射模型；
获取所述执行机构末端抓持的待测目标物的待测光学图像、待测深度图像；
基于所述视觉信息映射模型，根据所述待测光学图像、待测深度图像，确定所述待测目标物的三维坐标信息。
根据本发明的实施例，本发明公开了以下技术效果：
本发明采用相机独立固定方式，通过多个包含由RGBD相机获取对应目标物的光学图像、深度图像及所述目标物在操作空间内的三维坐标的样本信息构建视觉信息映射模型，可自动完成图像信息和三维空间坐标信息的映射，映射速度快，映射过程简单；进而可快速确定待测目标物的视觉信息。
附图说明
图1是本发明执行机构操作空间视觉信息确定方法的流程图；
图2是视觉信息映射模型的建模流程图；
图3是机械臂操作空间与单一RGBD相机布局图；
图4是本发明执行机构操作空间视觉信息确定系统的模块结构示意图。
符号说明：
第一获取单元—1，建模单元—2，位置确定模块—21，图像确定模块—22，建模模块—23，第二获取单元—3，确定单元—4，RGBD相机—5，机械臂—6，目标物—7。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
本发明的目的是提供一种执行机构操作空间视觉信息确定方法，通过多个包含由RGBD相机获取对应目标物的光学图像、深度图像及所述目标物在操作空间内的三维坐标的样本信息构建视觉信息映射模型，可自动完成图像信息和三维空间坐标信息的映射，映射速度快，映射过程简单；进而可快速确定待测目标物的视觉信息。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明执行机构操作空间视觉信息确定方法包括：
步骤100：获取关于执行机构操作空间的多个样本。
其中，执行机构末端抓持有目标物，每一样本均包括通过RGBD相机获取对应目标物的光学图像、深度图像及所述目标物在操作空间内的三维坐标。进一步地，各样本中的三维坐标通过设置执行机构上的传感装置获得。所述三维坐标信息为以执行机构基座为原点的位置矢量。
在本实施例中，所述执行机构为机械臂。具体地，如图3所示，把RGBD相机5固定在机械臂6操作空间某一位置，机械臂6末端抓持有目标物7。
步骤200：根据各样本，建立视觉信息映射模型。
具体包括：
步骤210：针对每一样本，根据所述目标物的光学图像、深度图像，确定目标像素位置信息；
步骤220：根据所述目标像素位置信息，确定二值掩码图像；
步骤230：基于各目标物的光学图像、深度图像、二值掩码图像及所述目标物在操作空间内的三维坐标，确定视觉信息映射模型。
步骤300：获取所述执行机构末端抓持的待测目标物的待测光学图像、待测深度图像。
步骤400：基于所述视觉信息映射模型，根据所述待测光学图像、待测深度图像，确定所述待测目标物的三维坐标信息。
其中，在步骤210中，所述根据所述目标物的光学图像、深度图像，确定目标像素位置信息，具体包括：
步骤211：将所述光学图像、深度图像对齐，采用目标检测算法，确定所述光学图像中的目标位置。
利用目标的形状和/或颜色特征物，采用采用目标检测算法，确定光学图像中目标位置。其中，光学图像和深度图像的宽高一样，宽为w，高为h。
步骤212：根据所述光学图像中的目标位置，确定所述目标物在所述光学图像、深度图像中的目标像素位置信息。
具体地，把RGBD相机5固定在机械臂6操作空间内，同时记录深度图像D和光学图像C，对深度图像和光学图像对齐，检测光学图像中的机械臂操作末端抓持的目标物，标注目标物在关光学图像和深度图像中的像素位置Ip(up,vp)。
进一步地，在步骤220中，所述根据所述目标像素位置信息，确定二值掩码图像，具体包括：
步骤221：根据所述目标像素位置信息，确定目标位置处的掩码范围。
步骤221：将掩码范围内的像素值设置为255，将掩码范围外的像素值设置为0，得到二值掩码图像。
具体地，二值掩码图像M在目标位置处的R×R的范围内的像素值为255，其余位置的像素值为0。
优选地，如图2所示，在步骤230中，所述基于各目标物的光学图像、深度图像、二值掩码图像及所述目标物在操作空间内的三维坐标，确定视觉信息映射模型，具体包括：
步骤231：分别提取所述光学图像、深度图像、二值掩码图像的特征，得到对应的光学特征向量lc、深度特征向量ld、二值掩码特征向量lm。
在本实施例中，通过VGG-16卷积神经网络提取图像特征。具体地，VGG-16卷积神经网络分别提取光学图像C、深度图像D、二值掩码图像M的特征，将大小为w×h、长度为l的向量lc，ld，lm分别表示对应的图像特征。
步骤232：基于光学特征向量lc、深度特征向量ld、二值掩码特征向量lm及目标像素位置信息Wp，采用全连接神经网络迭代方法确定映射矩阵K的近似矩阵
Figure BDA0002825933220000091
其中，全连接网络为串联的长度为3l特征向量(lc+ld+lm)到长度为3的向量Wp(xp,yp,zp)的映射。
具体地，根据以下公式确定所述近似矩阵
Figure BDA0002825933220000092
Figure BDA0002825933220000093
其中，argmin(*)为使(*)达到最小值时的变量函数；Lp＝(lc，ld，lm)，Wp＝(xp，yp，zp)。
步骤233：根据所述近似矩阵
Figure BDA0002825933220000094
确定映射矩阵K。
其中，K是维度为3l×1的映射矩阵。
步骤234：根据所述映射矩阵K，确定视觉信息映射模型：
LK＝W；
其中，W表示操作空间内的点P对应的三维坐标，L表示位于操作空间内的点的目标物的图像特征向量。
本发明基于操作空间建立视觉映射模型具有以下有益效果：
1)本发明能够自动完成图像信息和三维空间坐标信息的映射，映射速度快，映射过程简单。
2)本发明能够基于映射模型通过图像信息完成操作空间的视觉信息重建，便于执行机构根据实际环境做出进一步响应。
此外，本发明还提供一种执行机构操作空间视觉信息确定系统，可快速确定目标物的视觉信息。
具体地，如图4所示，本发明执行机构操作空间视觉信息确定系统包括第一获取单元1、建模单元2、第二获取单元3及确定单元4。
其中，所述第一获取单元1用于获取关于执行机构操作空间的多个样本。
其中，执行机构末端抓持有目标物，每一样本均包括通过RGBD相机获取对应目标物的光学图像、深度图像及所述目标物在操作空间内的三维坐标。
所述建模单元2用于根据各样本，建立视觉信息映射模型。
所述第二获取单元3用于获取所述执行机构末端抓持的待测目标物的待测光学图像、待测深度图像。
所述确定单元4用于基于所述视觉信息映射模型，根据所述待测光学图像、待测深度图像，确定所述待测目标物的三维坐标信息。
优选地，所述建模单元2包括位置确定模块21、图像确定模块22及建模模块23。
具体地，所述位置确定模块21用于针对每一样本，根据所述目标物的光学图像、深度图像，确定目标像素位置信息；
所述图像确定模块22用于根据所述目标像素位置信息，确定二值掩码图像；
所述建模模块23用于基于各目标物的光学图像、深度图像、二值掩码图像及所述目标物在操作空间内的三维坐标，确定视觉信息映射模型。
此外，本发明还提供一种执行机构操作空间视觉信息确定系统，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：
获取关于执行机构操作空间的多个样本；其中，执行机构末端抓持有目标物，每一样本均包括通过RGBD相机获取对应目标物的光学图像、深度图像及所述目标物在操作空间内的三维坐标；
根据各样本，建立视觉信息映射模型；具体包括：
针对每一样本，根据所述目标物的光学图像、深度图像，确定目标像素位置信息；
根据所述目标像素位置信息，确定二值掩码图像；
基于各目标物的光学图像、深度图像、二值掩码图像及所述目标物在操作空间内的三维坐标，确定视觉信息映射模型；
获取所述执行机构末端抓持的待测目标物的待测光学图像、待测深度图像；
基于所述视觉信息映射模型，根据所述待测光学图像、待测深度图像，确定所述待测目标物的三维坐标信息。
此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
获取关于执行机构操作空间的多个样本；其中，执行机构末端抓持有目标物，每一样本均包括通过RGBD相机获取对应目标物的光学图像、深度图像及所述目标物在操作空间内的三维坐标；
根据各样本，建立视觉信息映射模型；具体包括：
针对每一样本，根据所述目标物的光学图像、深度图像，确定目标像素位置信息；
根据所述目标像素位置信息，确定二值掩码图像；
基于各目标物的光学图像、深度图像、二值掩码图像及所述目标物在操作空间内的三维坐标，确定视觉信息映射模型；
获取所述执行机构末端抓持的待测目标物的待测光学图像、待测深度图像；
基于所述视觉信息映射模型，根据所述待测光学图像、待测深度图像，确定所述待测目标物的三维坐标信息。
相对于现有技术，本发明执行机构操作空间视觉信息确定系统、计算机可读存储介质与上述执行机构操作空间视觉信息确定方法的有益效果相同，在此不再赘述。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (9)

1.一种执行机构操作空间视觉信息确定方法，其特征在于，所述视觉信息确定方法包括：
获取关于执行机构操作空间的多个样本；其中，执行机构末端抓持有目标物，每一样本均包括通过RGBD相机获取对应目标物的光学图像、深度图像及所述目标物在操作空间内的三维坐标；
根据各样本，建立视觉信息映射模型；具体包括：
针对每一样本，根据所述目标物的光学图像、深度图像，确定目标像素位置信息；
根据所述目标像素位置信息，确定二值掩码图像；
分别提取所述光学图像、深度图像、二值掩码图像的特征，得到对应的光学特征向量lc、深度特征向量ld、二值掩码特征向量lm；
基于光学特征向量lc、深度特征向量ld、二值掩码特征向量lm及目标像素位置信息Wp，采用全连接神经网络迭代方法确定映射矩阵K的近似矩阵
Figure FDA0003826629770000011
根据所述近似矩阵
Figure FDA0003826629770000012
确定映射矩阵K；
根据所述映射矩阵K，确定视觉信息映射模型：
LK＝W；
其中，W表示操作空间内的点P对应的三维坐标，L表示位于操作空间内的点的目标物的图像特征向量；
获取所述执行机构末端抓持的待测目标物的待测光学图像、待测深度图像；
基于所述视觉信息映射模型，根据所述待测光学图像、待测深度图像，确定所述待测目标物的三维坐标信息。
2.根据权利要求1所述的执行机构操作空间视觉信息确定方法，其特征在于，所述根据所述目标物的光学图像、深度图像，确定目标像素位置信息，具体包括：
将所述光学图像、深度图像对齐，采用目标检测算法，确定所述光学图像中的目标位置；
根据所述光学图像中的目标位置，确定所述目标物在所述光学图像、深度图像中的目标像素位置信息。
3.根据权利要求1所述的执行机构操作空间视觉信息确定方法，其特征在于，所述根据所述目标像素位置信息，确定二值掩码图像，具体包括：
根据所述目标像素位置信息，确定目标位置处的掩码范围；
将掩码范围内的像素值设置为255，将掩码范围外的像素值设置为0，得到二值掩码图像。
4.根据权利要求1所述的执行机构操作空间视觉信息确定方法，其特征在于，根据以下公式确定所述近似矩阵
Figure FDA0003826629770000021
Figure FDA0003826629770000022
其中，argmin(*)为使(*)达到最小值时的变量函数；Lp＝(lc，ld，lm)，Wp＝(xp，yp，zp)。
5.根据权利要求1所述的执行机构操作空间视觉信息确定方法，其特征在于，各样本中的三维坐标通过设置执行机构上的传感装置获得。
6.根据权利要求1所述的执行机构操作空间视觉信息确定方法，其特征在于，所述三维坐标信息为以执行机构基座为原点的位置矢量。
7.一种执行机构操作空间视觉信息确定系统，其特征在于，所述视觉信息确定系统包括：
第一获取单元，用于获取关于执行机构操作空间的多个样本；其中，执行机构末端抓持有目标物，每一样本均包括通过RGBD相机获取对应目标物的光学图像、深度图像及所述目标物在操作空间内的三维坐标；
建模单元，用于根据各样本，建立视觉信息映射模型；所述建模单元包括：
位置确定模块，用于针对每一样本，根据所述目标物的光学图像、深度图像，确定目标像素位置信息；
图像确定模块，用于根据所述目标像素位置信息，确定二值掩码图像；
建模模块，用于分别提取所述光学图像、深度图像、二值掩码图像的特征，得到对应的光学特征向量lc、深度特征向量ld、二值掩码特征向量lm，基于光学特征向量lc、深度特征向量ld、二值掩码特征向量lm及目标像素位置信息Wp，采用全连接神经网络迭代方法确定映射矩阵K的近似矩阵
Figure FDA0003826629770000031
根据所述近似矩阵
Figure FDA0003826629770000032
确定映射矩阵K，根据所述映射矩阵K，确定视觉信息映射模型：LK＝W；其中，W表示操作空间内的点P对应的三维坐标，L表示位于操作空间内的点的目标物的图像特征向量；
第二获取单元，用于获取所述执行机构末端抓持的待测目标物的待测光学图像、待测深度图像；
确定单元，用于基于所述视觉信息映射模型，根据所述待测光学图像、待测深度图像，确定所述待测目标物的三维坐标信息。
8.一种执行机构操作空间视觉信息确定系统，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：
获取关于执行机构操作空间的多个样本；其中，执行机构末端抓持有目标物，每一样本均包括通过RGBD相机获取对应目标物的光学图像、深度图像及所述目标物在操作空间内的三维坐标；
根据各样本，建立视觉信息映射模型；具体包括：
针对每一样本，根据所述目标物的光学图像、深度图像，确定目标像素位置信息；
根据所述目标像素位置信息，确定二值掩码图像；
分别提取所述光学图像、深度图像、二值掩码图像的特征，得到对应的光学特征向量lc、深度特征向量ld、二值掩码特征向量lm；
基于光学特征向量lc、深度特征向量ld、二值掩码特征向量lm及目标像素位置信息Wp，采用全连接神经网络迭代方法确定映射矩阵K的近似矩阵
Figure FDA0003826629770000041
根据所述近似矩阵
Figure FDA0003826629770000042
确定映射矩阵K；
根据所述映射矩阵K，确定视觉信息映射模型：
LK＝W；
其中，W表示操作空间内的点P对应的三维坐标，L表示位于操作空间内的点的目标物的图像特征向量；
获取所述执行机构末端抓持的待测目标物的待测光学图像、待测深度图像；
基于所述视觉信息映射模型，根据所述待测光学图像、待测深度图像，确定所述待测目标物的三维坐标信息。
9.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
获取关于执行机构操作空间的多个样本；其中，执行机构末端抓持有目标物，每一样本均包括通过RGBD相机获取对应目标物的光学图像、深度图像及所述目标物在操作空间内的三维坐标；
根据各样本，建立视觉信息映射模型；具体包括：
针对每一样本，根据所述目标物的光学图像、深度图像，确定目标像素位置信息；
根据所述目标像素位置信息，确定二值掩码图像；
分别提取所述光学图像、深度图像、二值掩码图像的特征，得到对应的光学特征向量lc、深度特征向量ld、二值掩码特征向量lm；
基于光学特征向量lc、深度特征向量ld、二值掩码特征向量lm及目标像素位置信息Wp，采用全连接神经网络迭代方法确定映射矩阵K的近似矩阵
Figure FDA0003826629770000051
根据所述近似矩阵
Figure FDA0003826629770000052
确定映射矩阵K；
根据所述映射矩阵K，确定视觉信息映射模型：
LK＝W；
其中，W表示操作空间内的点P对应的三维坐标，L表示位于操作空间内的点的目标物的图像特征向量；
获取所述执行机构末端抓持的待测目标物的待测光学图像、待测深度图像；
基于所述视觉信息映射模型，根据所述待测光学图像、待测深度图像，确定所述待测目标物的三维坐标信息。
CN202011448839.3A 2020-12-09 2020-12-09 执行机构操作空间视觉信息确定方法及系统 Active CN112541936B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011448839.3A CN112541936B (zh) 2020-12-09 2020-12-09 执行机构操作空间视觉信息确定方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011448839.3A CN112541936B (zh) 2020-12-09 2020-12-09 执行机构操作空间视觉信息确定方法及系统

Publications (2)

Publication Number Publication Date
CN112541936A CN112541936A (zh) 2021-03-23
CN112541936B true CN112541936B (zh) 2022-11-08

Family

ID=75020029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011448839.3A Active CN112541936B (zh) 2020-12-09 2020-12-09 执行机构操作空间视觉信息确定方法及系统

Country Status (1)

Country Link
CN (1) CN112541936B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298049B (zh) * 2021-07-12 2021-11-02 浙江大华技术股份有限公司 图像特征降维方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
CN108447060A (zh) * 2018-01-29 2018-08-24 上海数迹智能科技有限公司 基于rgb-d图像的前后景分离方法及其前后景分离装置
CN108908334A (zh) * 2018-07-20 2018-11-30 汕头大学 一种基于深度学习的智能抓取系统及方法
CN110599489A (zh) * 2019-08-26 2019-12-20 华中科技大学 一种目标空间定位方法
WO2020114035A1 (zh) * 2018-12-04 2020-06-11 中国科学院自动化研究所 基于机器视觉的三维特征提取方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140081459A1 (en) * 2012-09-20 2014-03-20 Marc Dubois Depth mapping vision system with 2d optical pattern for robotic applications

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
CN108447060A (zh) * 2018-01-29 2018-08-24 上海数迹智能科技有限公司 基于rgb-d图像的前后景分离方法及其前后景分离装置
CN108908334A (zh) * 2018-07-20 2018-11-30 汕头大学 一种基于深度学习的智能抓取系统及方法
WO2020114035A1 (zh) * 2018-12-04 2020-06-11 中国科学院自动化研究所 基于机器视觉的三维特征提取方法及装置
CN110599489A (zh) * 2019-08-26 2019-12-20 华中科技大学 一种目标空间定位方法

Also Published As

Publication number Publication date
CN112541936A (zh) 2021-03-23

Similar Documents

Publication Publication Date Title
JP6546618B2 (ja) 学習装置、学習方法、学習モデル、検出装置及び把持システム
CN111738261B (zh) 基于位姿估计和校正的单图像机器人无序目标抓取方法
US9616569B2 (en) Method for calibrating an articulated end effector employing a remote digital camera
CN110580725A (zh) 一种基于rgb-d相机的箱体分拣方法及系统
CN107953329B (zh) 物体识别和姿态估计方法、装置及机械臂抓取系统
CN109702738B (zh) 一种基于三维物体识别的机械臂手眼标定方法及装置
CN110480637B (zh) 一种基于Kinect传感器的机械臂零件图像识别抓取方法
CN108748149B (zh) 一种复杂环境下基于深度学习的无标定机械臂抓取方法
CN109493389B (zh) 一种基于深度学习的相机标定方法及系统
CN110463376B (zh) 一种插机方法及插机设备
CN111709980A (zh) 基于深度学习的多尺度图像配准方法和装置
CN115816460B (zh) 一种基于深度学习目标检测与图像分割的机械手抓取方法
CN114310901B (zh) 用于机器人的坐标系标定方法、装置、系统以及介质
CN110009689B (zh) 一种用于协作机器人位姿估计的图像数据集快速构建方法
CN112541936B (zh) 执行机构操作空间视觉信息确定方法及系统
CN111152223A (zh) 一种全自动机器人手眼标定方法
CN114714365B (zh) 一种基于云平台的无序工件抓取方法及其系统
CN115187612A (zh) 一种基于机器视觉的平面面积测量方法、装置及系统
KR20220159895A (ko) 카메라 가이드된 기구의 핸드-아이 캘리브레이션 방법
JP2018001333A (ja) 校正ボード、ロボット、及び検出方法
Zhang et al. Learning-based framework for camera calibration with distortion correction and high precision feature detection
JP7051751B2 (ja) 学習装置、学習方法、学習モデル、検出装置及び把持システム
CN116276938B (zh) 基于多零位视觉引导的机械臂定位误差补偿方法及装置
CN113240751B (zh) 一种机器人末端相机的标定方法
CN115625709A (zh) 一种手眼标定方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant