CN112258567B - 物体抓取点的视觉定位方法、装置、存储介质及电子设备 - Google Patents

物体抓取点的视觉定位方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN112258567B
CN112258567B CN202011080613.2A CN202011080613A CN112258567B CN 112258567 B CN112258567 B CN 112258567B CN 202011080613 A CN202011080613 A CN 202011080613A CN 112258567 B CN112258567 B CN 112258567B
Authority
CN
China
Prior art keywords
point
image
dimensional
camera
projection point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011080613.2A
Other languages
English (en)
Other versions
CN112258567A (zh
Inventor
刘亦芃
杜国光
赵开勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Shanghai Robotics Co Ltd
Original Assignee
Cloudminds Shanghai Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Shanghai Robotics Co Ltd filed Critical Cloudminds Shanghai Robotics Co Ltd
Priority to CN202011080613.2A priority Critical patent/CN112258567B/zh
Publication of CN112258567A publication Critical patent/CN112258567A/zh
Priority to PCT/CN2021/120249 priority patent/WO2022073427A1/zh
Application granted granted Critical
Publication of CN112258567B publication Critical patent/CN112258567B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Abstract

本公开涉及一种物体抓取点的视觉定位方法、装置、存储介质及电子设备，所述方法包括：通过双目相机拍摄目标物体，得到第一图像以及第二图像；将所述第一图像以及所述第二图像输入抓取点定位模型，得到所述抓取点定位模型输出的第一抓取点信息，第二抓取点信息，所述第一抓取点信息包括所述目标物体在所述第一图像上的第一投影点，所述第二抓取点信息包括所述目标物体在所述第二图像上的第二投影点；根据所述双目相机的参数，将所述第一投影点以及所述第二投影点映射到同一三维坐标系，得到对应所述第一投影点的第一射线以及对应所述第二投影点的第二射线；将所述第一射线与所述第二射线的交点的三维坐标作为所述目标物体的抓取点的三维坐标。

Description

物体抓取点的视觉定位方法、装置、存储介质及电子设备
技术领域
本公开涉及机器人领域，具体地，涉及一种物体抓取点的视觉定位方法、装置、存储介质及电子设备。
背景技术
对于机器人相关的应用，我们需要对三维空间进行感知，要知道物体在三维空间中的定位，这样才能适应一些如抓取、避障等任务。以抓取任务为例，计算机视觉提供一个空间中的点，机器人手臂通过路径规划算法朝着这个点去抓，这样即可完成一般的抓取任务。
随着深度学习算法的广泛应用，目标检测技术在工业和学术上都有广泛的应用。相关技术中，对于三维数据，有多种表达格式，如点云、网格、体素、深度图等，它们的拓扑结构相对较差，不易获取邻域信息，所以目标检测任务在三维数据上的应用不够成熟且对三维图像处理的算法本身局限性高于对二维图像的处理算法，然而二维图像不包含深度信息，如不考虑算法的影响，使用二维图像做目标检测来估计抓取点的准确率是低于使用三维数据做目标检测的。
发明内容
本公开的目的是提供一种物体抓取点的视觉定位方法、装置、存储介质及电子设备，该方法用于解决对三维图像处理的算法局限性较高、使用二维图像做目标检测准确率较低的问题。
为了实现上述目的，本公开第一方面提供一种物体抓取点的视觉定位方法，所述方法包括：
通过双目相机拍摄目标物体，得到第一图像以及第二图像，所述第一图像是所述双目相机的第一子相机拍摄得到的二维图像，所述第二图像是所述双目相机的第二子相机拍摄得到的二维图像；
将所述第一图像以及所述第二图像输入抓取点定位模型，得到所述抓取点定位模型输出的对应所述第一图像的第一抓取点信息，以及对应所述第二图像的第二抓取点信息，所述第一抓取点信息包括所述目标物体在所述第一图像上的第一投影点，所述第二抓取点信息包括所述目标物体在所述第二图像上的第二投影点；
根据所述双目相机的参数，将所述第一投影点以及所述第二投影点映射到同一三维坐标系，得到对应所述第一投影点的第一射线以及对应所述第二投影点的第二射线；
将所述第一射线与所述第二射线的交点的三维坐标作为所述目标物体的抓取点的三维坐标。
可选地，所述抓取点定位模型的样本集是通过如下方式获得的：
获取样本物体的三原色图像以及对应所述三原色图像的深度图像；
根据所述深度图像以及拍摄所述深度图像的相机的内参得到三维点云，并将所述三维点云与模型库中的标准模型配准得到抓取点；
通过投影变换将所述抓取点投影到所述三原色图像上，得到带有投影点标注的所述三原色图像，其中，所述抓取点定位模型样本集包括带有投影点标注的所述三原色图像。
可选地，所述双目相机的参数包括所述第一子相机的第一内部参数、所述第二子相机的第二内部参数以及所述第一子相机与所述第二子相机之间的外部参数，所述根据所述双目相机的参数，将所述第一投影点以及所述第二投影点映射到同一三维坐标系，包括：
根据所述第一内部参数，将第一投影点映射回第一三维坐标系，所述第一三维坐标系原点为第一子相机；
根据所述第二内部参数，将第二投影点映射回第二三维坐标系，所述第二三维坐标系原点为第二子相机；
根据所述外部参数，将所述第二三维坐标系中的所述第二投影点映射到所述第一三维坐标系中，使得所述第一投影点与所述第二投影点均处于所述第一三维坐标系。
可选地，在所述根据所述双目相机的参数，将所述第一投影点以及所述第二投影点映射到同一三维坐标系之前，还包括：
根据所述双目相机的参数，将所述第二投影点映射到所述第一子相机的坐标系下，得到所述第二投影点在所述第一图像上的目标坐标；
在所述目标坐标与所述第一投影点在所述第一子相机的坐标系下的坐标之间距离在的预设阈值内的情况下，确定所述第一投影点与第二投影点为配对投影点。
可选地，在所述将所述第一射线与所述第二射线的交点的三维坐标作为所述目标物体的抓取点的三维坐标之前，包括：
确定所述第一射线与所述第二射线之间存在交点；
所述方法还包括：
在所述第一射线与所述第二射线没有交点的情况下，将所述第一射线与第二射线的最小二乘解作为所述目标物体的抓取点三维坐标。
可选地，所述第一抓取点信息和所述第二抓取点信息还包括所述目标物体的物品类别和/或二维包围框。
本公开第二方面提供一种物体抓取点的视觉定位装置，所述装置包括：
拍摄模块，用于通过双目相机拍摄目标物体，得到第一图像以及第二图像，所述第一图像是所述双目相机的第一子相机拍摄得到的二维图像，所述第二图像是所述双目相机的第二子相机拍摄得到的二维图像；
处理模块，用于将所述第一图像以及所述第二图像输入抓取点定位模型，得到所述抓取点定位模型输出的对应所述第一图像的第一抓取点信息，以及对应所述第二图像的第二抓取点信息，所述第一抓取点信息包括所述目标物体在所述第一图像上的第一投影点，所述第二抓取点信息包括所述目标物体在所述第二图像上的第二投影点；
映射模块，用于根据所述双目相机的参数，将所述第一投影点以及所述第二投影点映射到同一三维坐标系，得到对应所述第一投影点的第一射线以及对应所述第二投影点的第二射线；
确定模块，用于将所述第一射线与所述第二射线的交点的三维坐标作为所述目标物体的抓取点的三维坐标。
可选地，所述映射模块包括：
第一子映射模块，用于根据所述第一内部参数，将第一投影点映射回第一三维坐标系，所述第一三维坐标系原点为第一子相机；
第二子映射模块，用于根据所述第二内部参数，将第二投影点映射回第二三维坐标系，所述第二三维坐标系原点为第二子相机；
变换模块，用于根据外部参数，将第二三维坐标系变换至第一三维坐标系。
本公开第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面提供的方法的步骤。
本公开第四方面提供一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现上述第一方面提供的方法的步骤。
通过上述技术方案，使用双目相机拍摄目标物体的两个不同角度的二维图像，并输入预先训练好的抓取点定位模型，得到对应双目相机两个子相机的两个投影点，然后利用双目相机的参数将两个投影点通过几何变换原理映射回同一三维坐标系，得到两条射线，两条射线就是该目标物体的抓取点的三维坐标。实现了利用成熟的二维目标检测算法和几何变换原理对三维物体的抓取点的定位，绕过了复杂的三维目标检测算法，保证抓取点定位的准确率的同时，降低了算法的复杂程度。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据一实例性实施例示出的一种物体抓取点的视觉定位方法的流程图。
图2是根据一实例性实施例示出的一种物体抓取点的视觉定位装置的框图。
图3是根据一实例性实施例示出的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
如背景技术所述，相关技术中，对于三维数据有多种表达格式，如点云、网格、体素、深度图等，它们的拓扑结构相对较差，不易获取邻域信息，所以目标检测任务在三维数据上的应用不够成熟且对三维图像处理的算法本身局限性高于对二维图像的处理算法，然而二维图像不包含深度信息，使用二维图像做目标检测准确率是低于使用三维数据做目标检测的。
另外，现有二维目标检测算法只标注二维三原色图像并预测中心点，与物体实际中心取点有偏差，我们希望能够预测出物体三维抓取点在二维图像上的投影位置，只依靠二维三原色图像进行标注是难以实现的。
有鉴于此，本公开实施例提供一种物体抓取点的视觉定位方法，以解决相关技术对三维图像处理的算法局限性较高、使用二维图像做目标检测准确率较低的问题。
图1是根据一实例性实施例示出的一种物体抓取点的视觉定位方法的流程图。如图所示，该方法包括以下步骤：
S101、通过双目相机拍摄目标物体，得到第一图像以及第二图像，所述第一图像是所述双目相机的第一子相机拍摄得到的二维图像，所述第二图像是所述双目相机的第二子相机拍摄得到的二维图像。
值得说明的是，该双目相机为有两个固定于不同位置的子相机，该第一子相机为该双目相机两个子相机的任一子相机。
S102、将所述第一图像以及所述第二图像输入抓取点定位模型，得到所述抓取点定位模型输出的对应所述第一图像的第一抓取点信息，以及对应所述第二图像的第二抓取点信息，所述第一抓取点信息包括所述目标物体在所述第一图像上的第一投影点，所述第二抓取点信息包括所述目标物体在所述第二图像上的第二投影点。
其中，该第一投影点为目标物体的抓取点在该第一图像上的投影点，该第二投影点为目标物体的抓取点在该第一图像上的投影点，在一种可能的实施方式中，一个目标物体可以包括一个抓取点。
在本公开实施例的一种可能的实现方式中，该抓取点定位模型的样本集可以是通过如下方式获得的：获取样本物体的三原色图像以及对应所述三原色图像的深度图像；根据所述深度图像以及拍摄所述深度图像的相机的内参得到三维点云，并将所述三维点云与模型库中的标准模型配准得到抓取点。通过投影变换将所述抓取点投影到所述三原色图像上，得到带有投影点标注的所述三原色图像，其中，所述抓取点定位模型样本集包括带有投影点标注的所述三原色图像。值得说明的是，该三维的深度图像以及二维的三原色图像可以是通过深度相机对样本物体进行拍摄，并对每一帧三原色图像和深度图像做对齐处理后得到的。采用上述方案，可以利用三维的深度图像与模型库中的标准模型配准得到抓取点，通过投影变换对该二维三原色图像进行标注，实现了可以进行简单的配准即可得到抓取点，即可以避开使用较为复杂三维算法对深度图像进行处理而得到准确的标注信息，进一步的使得通过该训练后的模型输出的投影点更加的快速且准确。此外，由于相机成像原理是透视投影，这种投影不是保形映射，例如当抓取点位于物体中心时，不能保证将物体的三维中心点映射到图像中物体的二维中心点上，利用深度图像进行标注可以让不同角度拍出的三原色图像都能对应三维空间中同一个抓取点。
可选地，该抓取点定位模型样本集还可以包括带有根据该三原色图像得到的二维包围框以及物体类别。进一步地，在本公开实施例的一种可能的实现方式中，该第一抓取点信息和第二抓取点信息还包括该目标物体的物品类别和/或二维包围框。此时，可以获取到更多的目标物体的信息，例如可以根据该目标物体的类别来调整抓取时使用的力量或者通过二维包围框更方便的在视觉上展示该三原色图像中的目标物体的位置。
此外，训练该抓取点定位模型的目标检测网络的网络在本公开实施例中不加以限制，选择自由度高，例如可以是SSD、YOLO、Faster-RCNN等神经网络，回归任务的最后一层增加两个参数u、v，用于预测目标物体的抓取投影点在图像上的位置，通过带有投影点标注的二维图像作为样本集进行训练，该模型可以实现根据一张二维三原色图像预测一个实例级别的目标物体的抓取投影点在图像上的位置。
S103、根据所述双目相机的参数，将所述第一投影点以及所述第二投影点映射到同一三维坐标系，得到对应所述第一投影点的第一射线以及对应所述第二投影点的第二射线。
在一些可能的实施方式中，在根据该双目相机的参数，将该第一投影点以及该第二投影点映射到同一三维坐标系之前，还包括：根据该双目相机的参数，将该第二投影点映射到所述第一子相机的坐标系下，得到该第二投影点在该第一图像上的目标坐标；在该目标坐标与该第一投影点在该第一子相机的坐标系下的坐标之间距离在的预设阈值内的情况下，确定所述第一投影点与第二投影点为配对投影点。具体地，可以根据该双目相机的外部参数，将该第二投影点变换至二维的第一图像上，并计算第一投影点与第二投影点之间的距离，在预设阈值内的情况下则两个投影点为配对投影点，即为同一物体的投影点。采用上述方案，可以在获取的图像中存在多个目标物体的情况下，在计算两条射线的参数之前进行匹配，在记录下配对成功的投影点后，进行下一步的三维投影点估计，保证每一对投影点都来自同一个实例物体。
在一另些可能的实施方式中，所述双目相机的参数包括所述第一子相机的第一内部参数、所述第二子相机的第二内部参数以及所述第一子相机与所述第二子相机之间的外部参数，根据所述双目相机的参数，将所述第一投影点以及所述第二投影点映射到同一三维坐标系，包括：根据该第一内部参数，将第一投影点映射回第一三维坐标系，该第一三维坐标系原点为第一子相机；根据该第二内部参数，将第二投影点映射回第二三维坐标系，所述第二三维坐标系原点为第二子相机；根据该外部参数，将该第二三维坐标系中的该第二投影点映射到该第一三维坐标系中，使得该第一投影点与该第二投影点均处于所述第一三维坐标系。
此时，根据双目相机的子相机的内部参数，分别得到第一投影点在以第一子相机为基准的第一三维坐标系中的坐标，第二投影点在以第二子相机为基准的第二三维坐标系中的坐标，再根据外部参数与第二投影点在第二三维坐标系中的坐标，得到第二投影点在第一三维坐标系中的坐标。
进一步地，可以根据外部参数将第二子相机在第二三维坐标系的坐标变换至第一三维坐标系，得到第二子相机在第一三维坐标系的坐标。此时，两条射线分别为第一三维坐标系中第一子相机射向第一投影点，第二子相机射向第二投影点所得到的射线。
通过上述方案，就可以根据双目相机的参数，通过较为简单几何变换将二维的信息转换成三维的信息，得到在同一三维空间中的两条射线进行下一步的抓取点的定位。
S104、将所述第一射线与所述第二射线的交点的三维坐标作为所述目标物体的抓取点的三维坐标。
在一些可能的实施方式中，在所述将所述第一射线与所述第二射线的交点的三维坐标作为所述目标物体的抓取点的三维坐标之前，包括：确定所述第一射线与所述第二射线之间存在交点；该方法还包括：在所述第一射线与所述第二射线没有交点的情况下，将所述第一射线与第二射线的最小二乘解作为所述目标物体的抓取点三维坐标。在这一步中，由于设备误差、感知误差、标注误差、计算精度等多方面因素存在，两条射线可能不存在交点，因此，可以采用最小二乘解作为交点的预测值。采用上述方案，就可以在两条射线不存在交点的情况下得到物体在基准相机系下的抓取点的定位。
在本公开实施例中，可以使用双目相机拍摄目标物体的两个不同角度的二维图像，并将输入预先训练好的抓取点定位模型，得到对应两个二维图像的两个投影点，然后利用双目相机的参数将两个投影点通过几何变换原理映射回同一三维坐标系，得到由两个子相机分别射向两个投影点的两条射线，两条射线的交点就是该目标物体的抓取点的三维坐标。实现了利用成熟的二维目标检测算法和几何变换原理对三维物体的抓取点的定位，绕过了复杂的三维目标检测算法，在保证抓取点定位的准确率的同时，降低了算法的复杂程度。此外，本领域技术人员应悉知，在该方法执行过程中，应确保该双目相机的两个子相机的位姿是固定的，即该双目相机的参数是固定的。
为了使本领域技术人员更理解本公开实施例提供的技术方案，下面对本公开实施例提供的将所述第一投影点以及所述第二投影点映射到同一三维坐标系，得到对应所述第一投影点的第一射线以及对应所述第二投影点的第二射线，并计算第一射线与所述第二射线的最小二乘解的一种方法。
设双目相机的第一子相机与第二子相机分别为C0与C1，C1到C0的变换为J，即双目相机的外部参数为J，相机内部参数分别为K0和K1；C0在第一子相机为基准的坐标系下的位置为[0,0,0]T，设C1在第一子相机为基准的第一三维坐标系下的位置为Cp，则：
[Cp,1]T＝[xp,yp,zp,1]T＝J[0,0,0,1]T
若第一投影点与第二投影点的坐标分别为[u0,v0]，[u1,v1]。则第一投影点p0在第一子相机C0为基准的坐标系下的坐标为：
Figure BDA0002718505770000115
进一步地，得到C0到p0的第一射线l0为：
Figure BDA0002718505770000111
同理，第一投影点p1在第一三维坐标系下的坐标为：
Figure BDA0002718505770000112
进一步地，第二射线l1为：
Figure BDA0002718505770000113
将l0与l1联立可得：
Figure BDA0002718505770000114
记此超定方程为AX＝b，得到最小二乘解为：
X＝(ATA)-1ATb
得到的X即为在第一子相机C0为基准的三维坐标系下的抓取点坐标。
图2是本根据一示例性实施例示出的一种物体抓取点的视觉定位装置20，如图所示，该装置包括：
拍摄模块21，用于通过双目相机拍摄目标物体，得到第一图像以及第二图像，所述第一图像是所述双目相机的第一子相机拍摄得到的二维图像，所述第二图像是所述双目相机的第二子相机拍摄得到的二维图像；
处理模块22，用于将所述第一图像以及所述第二图像输入抓取点定位模型，得到所述抓取点定位模型输出的对应所述第一图像的第一抓取点信息，以及对应所述第二图像的第二抓取点信息，所述第一抓取点信息包括所述目标物体在所述第一图像上的第一投影点，所述第二抓取点信息包括所述目标物体在所述第二图像上的第二投影点；
映射模块23，用于根据所述双目相机的参数，将所述第一投影点以及所述第二投影点映射到同一三维坐标系，得到对应所述第一投影点的第一射线以及对应所述第二投影点的第二射线；
确定模块24，用于将所述第一射线与所述第二射线的交点的三维坐标作为所述目标物体的抓取点的三维坐标。
在本公开实施例中，可以使用双目相机拍摄目标物体的两个不同角度的二维图像，并将输入预先训练好的抓取点定位模型，得到对应两个二维图像的两个投影点，然后利用双目相机的参数将两个投影点通过几何变换原理映射回同一三维坐标系，得到由两个子相机分别射向两个投影点的两条射线，两条射线的交点就是该目标物体的抓取点的三维坐标。实现了利用成熟的二维目标检测算法和几何变换原理对三维物体的抓取点的定位，绕过了复杂的三维目标检测算法，在保证抓取点定位的准确率的同时，降低了算法的复杂程度。
可选地，处理模块22中该抓取点定位模型的样本集可以是通过如下方式获得的：获取样本物体的三原色图像以及对应所述三原色图像的深度图像；根据所述深度图像以及拍摄所述深度图像的相机的内参得到三维点云，并将所述三维点云与模型库中的标准模型配准得到抓取点；通过投影变换将所述抓取点投影到所述三原色图像上，得到带有投影点标注的所述三原色图像，其中，所述抓取点定位模型样本集包括带有投影点标注的所述三原色图像。采用上述方案，可以利用三维的深度图像与模型库中的标准模型配准得到抓取点，通过投影变换对该二维三原色图像进行标注，可以进行简单的配准得到抓取点，避开较为复杂三维算法，得到准确的标注信息，进一步的使得通过该训练后的模型输出的投影点更加的快速且准确。此外，由于相机成像原理是透视投影，这种投影不是保形映射，例如当抓取点位于物体中心时，不能保证将物体的三维中心点映射到图像中物体的二维中心点上，利用深度图进行标注可以让不同角度拍出的二维三原色图像都能对应三维空间中同一个抓取点。
可选地，映射模块23包括：第一子映射模块，用于根据所述第一内部参数，将第一投影点映射回第一三维坐标系，所述第一三维坐标系原点为第一子相机；第二子映射模块，用于根据所述第二内部参数，将第二投影点映射回第二三维坐标系，所述第二三维坐标系原点为第二子相机；变换模块，用于根据所述外部参数，将所述第二三维坐标系中的所述第二投影点映射到所述第一三维坐标系中，使得所述第一投影点与所述第二投影点均处于所述第一三维坐标系。通过上述方案，就可以根据双目相机的参数，通过较为简单几何变换将二维的信息转换成三维的信息，得到在同一三维空间中的两条射线进行下一步的抓取点的定位。
可选地，物体抓取点的视觉定位装置20还可以包括：第二映射模块，用于根据所述双目相机的参数，将所述第二投影点映射到所述第一子相机的坐标系下，得到所述第二投影点在所述第一图像上的目标坐标；配对模块，用于在所述目标坐标与所述第一投影点在所述第一子相机的坐标系下的坐标之间距离在的预设阈值内的情况下，确定所述第一投影点与第二投影点为配对投影点。采用上述方案，可以在获取的图像中存在多个目标物体的情况下，在计算两条射线的参数之前进行匹配，在记录下配对成功的投影点后，进行下一步的三维投影点估计，保证每一对投影点点都来自同一个实例物体。
可选地，物体抓取点的视觉定位装置20还可以包括：第一子确定模块，用于在所述将所述第一射线与所述第二射线的交点的三维坐标作为所述目标物体的抓取点的三维坐标之前，确定所述第一射线与所述第二射线之间存在交点；确定模块24还用于在所述第一射线与所述第二射线没有交点的情况下，将所述第一射线与第二射线的最小二乘解作为所述目标物体的抓取点三维坐标。由于设备误差、感知误差、标注误差、计算精度等多方面因素存在，两条射线可能不存在交点，因此，可以采用最小二乘解作为交点的预测值。采用上述方案，就可以在两条射线不存在交点的情况下得到物体在基准相机系下的抓取点的定位。
可选地，处理模块22中所述第一抓取点信息和所述第二抓取点信息还包括所述目标物体的物品类别和/或二维包围框。此时，该抓取点定位模型样本集还可以包括带有根据该三原色图像得到的二维包围框以及物体类别，采用此方案可以获取到更多的目标物体的信息，例如可以根据该目标物体的类别来调整抓取时使用的力量。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图3是根据一示例性实施例示出的一种电子设备30的框图。如图3所示，该电子设备30可以包括：处理器31，存储器32。该电子设备30还可以包括多媒体组件33，输入/输出(I/O)接口34，以及通信组件35中的一者或多者。
其中，处理器31用于控制该电子设备30的整体操作，以完成上述的物体抓取点的视觉定位方法中的全部或部分步骤。存储器32用于存储各种类型的数据以支持在该电子设备30的操作，这些数据例如可以包括用于在该电子设备30上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如三原色图像、深度图像、模型样本集等等。该存储器32可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件33可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器32或通过通信组件35发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口34为处理器31和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件35用于该电子设备30与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件35可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。
在一示例性实施例中，电子设备30可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的物体抓取点的视觉定位方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的物体抓取点的视觉定位方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器32，上述程序指令可由电子设备30的处理器31执行以完成上述的物体抓取点的视觉定位方法。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (9)

1.一种物体抓取点的视觉定位方法，其特征在于，所述方法包括：
通过双目相机拍摄目标物体，得到第一图像以及第二图像，所述第一图像是所述双目相机的第一子相机拍摄得到的二维图像，所述第二图像是所述双目相机的第二子相机拍摄得到的二维图像；
将所述第一图像以及所述第二图像输入抓取点定位模型，得到所述抓取点定位模型输出的对应所述第一图像的第一抓取点信息，以及对应所述第二图像的第二抓取点信息，所述第一抓取点信息包括所述目标物体在所述第一图像上的第一投影点，所述第二抓取点信息包括所述目标物体在所述第二图像上的第二投影点；
根据所述双目相机的参数，将所述第二投影点映射到所述第一子相机的坐标系下，得到所述第二投影点在所述第一图像上的目标坐标；
在所述目标坐标与所述第一投影点在所述第一子相机的坐标系下的坐标之间距离在的预设阈值内的情况下，确定所述第一投影点与第二投影点为配对投影点；
根据所述双目相机的参数，将所述第一投影点以及所述第二投影点映射到同一三维坐标系，得到对应所述第一投影点的第一射线以及对应所述第二投影点的第二射线；
将所述第一射线与所述第二射线的交点的三维坐标作为所述目标物体的抓取点的三维坐标。
2.根据权利要求1所述的方法，其特征在于，所述抓取点定位模型的样本集是通过如下方式获得的：
获取样本物体的三原色图像以及对应所述三原色图像的深度图像；
根据所述深度图像以及拍摄所述深度图像的相机的内参得到三维点云，并将所述三维点云与模型库中的标准模型配准得到抓取点；
通过投影变换将所述抓取点投影到所述三原色图像上，得到带有投影点标注的所述三原色图像，其中，所述抓取点定位模型样本集包括带有投影点标注的所述三原色图像。
3.根据权利要求1所述的方法，其特征在于，所述双目相机的参数包括所述第一子相机的第一内部参数、所述第二子相机的第二内部参数以及所述第一子相机与所述第二子相机之间的外部参数，所述根据所述双目相机的参数，将所述第一投影点以及所述第二投影点映射到同一三维坐标系，包括：
根据所述第一内部参数，将第一投影点映射回第一三维坐标系，所述第一三维坐标系原点为第一子相机；
根据所述第二内部参数，将第二投影点映射回第二三维坐标系，所述第二三维坐标系原点为第二子相机；
根据所述外部参数，将所述第二三维坐标系中的所述第二投影点映射到所述第一三维坐标系中，使得所述第一投影点与所述第二投影点均处于所述第一三维坐标系。
4.根据权利要求1-3任一项所述的方法，其特征在于，在所述将所述第一射线与所述第二射线的交点的三维坐标作为所述目标物体的抓取点的三维坐标之前，包括：
确定所述第一射线与所述第二射线之间存在交点；
所述方法还包括：
在所述第一射线与所述第二射线没有交点的情况下，将所述第一射线与第二射线的最小二乘解作为所述目标物体的抓取点的三维坐标。
5.根据权利要求1-3任一项所述的方法，其特征在于，所述第一抓取点信息和所述第二抓取点信息还包括所述目标物体的物品类别和/或二维包围框。
6.一种物体抓取点的视觉定位装置，其特征在于，所述装置包括：
拍摄模块，用于通过双目相机拍摄目标物体，得到第一图像以及第二图像，所述第一图像是所述双目相机的第一子相机拍摄得到的二维图像，所述第二图像是所述双目相机的第二子相机拍摄得到的二维图像；
处理模块，用于将所述第一图像以及所述第二图像输入抓取点定位模型，得到所述抓取点定位模型输出的对应所述第一图像的第一抓取点信息，以及对应所述第二图像的第二抓取点信息，所述第一抓取点信息包括所述目标物体在所述第一图像上的第一投影点，所述第二抓取点信息包括所述目标物体在所述第二图像上的第二投影点；
第二映射模块，用于根据所述双目相机的参数，将所述第二投影点映射到所述第一子相机的坐标系下，得到所述第二投影点在所述第一图像上的目标坐标；
配对模块，用于在所述目标坐标与所述第一投影点在所述第一子相机的坐标系下的坐标之间距离在的预设阈值内的情况下，确定所述第一投影点与第二投影点为配对投影点；
映射模块，用于根据所述双目相机的参数，将所述第一投影点以及所述第二投影点映射到同一三维坐标系，得到对应所述第一投影点的第一射线以及对应所述第二投影点的第二射线；
确定模块，用于将所述第一射线与所述第二射线的交点的三维坐标作为所述目标物体的抓取点的三维坐标。
7.根据权利要求6所述的装置，其特征在于，所述映射模块包括：
第一子映射模块，用于根据第一内部参数，将第一投影点映射回第一三维坐标系，所述第一三维坐标系原点为第一子相机；
第二子映射模块，用于根据第二内部参数，将第二投影点映射回第二三维坐标系，所述第二三维坐标系原点为第二子相机；
变换模块，用于根据外部参数，将第二三维坐标系变换至第一三维坐标系。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-5中任一项所述方法的步骤。
9.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-5中任一项所述方法的步骤。
CN202011080613.2A 2020-10-10 2020-10-10 物体抓取点的视觉定位方法、装置、存储介质及电子设备 Active CN112258567B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011080613.2A CN112258567B (zh) 2020-10-10 2020-10-10 物体抓取点的视觉定位方法、装置、存储介质及电子设备
PCT/CN2021/120249 WO2022073427A1 (zh) 2020-10-10 2021-09-24 物体抓取点的视觉定位方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011080613.2A CN112258567B (zh) 2020-10-10 2020-10-10 物体抓取点的视觉定位方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN112258567A CN112258567A (zh) 2021-01-22
CN112258567B true CN112258567B (zh) 2022-10-11

Family

ID=74242770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011080613.2A Active CN112258567B (zh) 2020-10-10 2020-10-10 物体抓取点的视觉定位方法、装置、存储介质及电子设备

Country Status (2)

Country Link
CN (1) CN112258567B (zh)
WO (1) WO2022073427A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112258567B (zh) * 2020-10-10 2022-10-11 达闼机器人股份有限公司 物体抓取点的视觉定位方法、装置、存储介质及电子设备
CN113376953B (zh) * 2021-05-20 2022-09-27 达闼机器人股份有限公司 物体投影重建系统
CN114627535A (zh) * 2022-03-15 2022-06-14 平安科技（深圳）有限公司 基于双目摄像头的坐标匹配方法、装置、设备及介质
CN114820794A (zh) * 2022-05-07 2022-07-29 上海节卡机器人科技有限公司 定位方法、装置、电子设备及可读存储介质
CN114677429B (zh) * 2022-05-27 2022-08-30 深圳广成创新技术有限公司 一种机械手的定位方法、装置、计算机设备和存储介质
CN115797332B (zh) * 2023-01-29 2023-05-30 高视科技(苏州)股份有限公司 基于实例分割的目标物抓取方法和设备
CN116243795A (zh) * 2023-02-20 2023-06-09 南方科技大学 基于混合现实的物品抓取方法及混合现实设备
CN116258838B (zh) * 2023-05-15 2023-09-19 青岛环球重工科技有限公司 一种用于管片模具合模系统的智能视觉引导方法
CN116558504B (zh) * 2023-07-11 2023-09-29 之江实验室 一种单目视觉的定位方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363815A (zh) * 2019-05-05 2019-10-22 东南大学 一种单视角点云下基于实例分割的机器人抓取检测方法
CN110751691A (zh) * 2019-09-24 2020-02-04 同济大学 一种基于双目视觉的管件自动抓取方法
CN111292414A (zh) * 2020-02-24 2020-06-16 当家移动绿色互联网技术集团有限公司 生成物体三维图像的方法、装置、存储介质及电子设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005013225A1 (de) * 2005-03-18 2006-09-28 Fluyds Gmbh Objektverfolgungs- und Situationsanalysesystem
CN107767423B (zh) * 2017-10-10 2019-12-06 大连理工大学 一种基于双目视觉的机械臂目标定位抓取方法
CN110298877A (zh) * 2018-03-21 2019-10-01 北京猎户星空科技有限公司 一种物体三维位姿的确定方法、装置及电子设备
CN108932475B (zh) * 2018-05-31 2021-11-16 中国科学院西安光学精密机械研究所 一种基于激光雷达和单目视觉的三维目标识别系统及方法
CN109910010A (zh) * 2019-03-23 2019-06-21 广东石油化工学院 一种高效控制机器人的系统及方法
CN110363811B (zh) * 2019-06-21 2022-02-08 达闼机器人有限公司 用于抓取设备的控制方法、装置、存储介质及电子设备
CN110599546A (zh) * 2019-08-28 2019-12-20 贝壳技术有限公司 一种获取三维空间数据的方法、系统、装置和存储介质
CN112258567B (zh) * 2020-10-10 2022-10-11 达闼机器人股份有限公司 物体抓取点的视觉定位方法、装置、存储介质及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363815A (zh) * 2019-05-05 2019-10-22 东南大学 一种单视角点云下基于实例分割的机器人抓取检测方法
CN110751691A (zh) * 2019-09-24 2020-02-04 同济大学 一种基于双目视觉的管件自动抓取方法
CN111292414A (zh) * 2020-02-24 2020-06-16 当家移动绿色互联网技术集团有限公司 生成物体三维图像的方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
WO2022073427A1 (zh) 2022-04-14
CN112258567A (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
CN112258567B (zh) 物体抓取点的视觉定位方法、装置、存储介质及电子设备
US11049280B2 (en) System and method for tying together machine vision coordinate spaces in a guided assembly environment
US9460517B2 (en) Photogrammetric methods and devices related thereto
US10086955B2 (en) Pattern-based camera pose estimation system
JP3735344B2 (ja) キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム
CN109472828B (zh) 一种定位方法、装置、电子设备及计算机可读存储介质
US20170337701A1 (en) Method and system for 3d capture based on structure from motion with simplified pose detection
US10451403B2 (en) Structure-based camera pose estimation system
US11238653B2 (en) Information processing device, information processing system, and non-transitory computer-readable storage medium for storing program
CN104781849A (zh) 单眼视觉同时定位与建图(slam)的快速初始化
US9858669B2 (en) Optimized camera pose estimation system
CN110648363A (zh) 相机姿态确定方法、装置、存储介质及电子设备
TW202238449A (zh) 室內定位系統及室內定位方法
CN112560769B (zh) 用于检测障碍物的方法、电子设备、路侧设备和云控平台
JP5976089B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
US11758100B2 (en) Portable projection mapping device and projection mapping system
JP2023503750A (ja) ロボットの位置決め方法及び装置、機器、記憶媒体
US20210042576A1 (en) Image processing system
WO2023103883A1 (zh) 对象自动标注方法、装置、电子设备及存储介质
CN115862124A (zh) 视线估计方法、装置、可读存储介质及电子设备
WO2018134866A1 (ja) カメラ校正装置
CN108564626A (zh) 用于确定安装于采集实体的相机之间的相对姿态角的方法和装置
CN114608521A (zh) 单目测距方法及装置、电子设备和存储介质
KR101964227B1 (ko) 군사 작전 통제 장치 및 방법
CN111210471B (zh) 一种定位方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 201111 Building 8, No. 207, Zhongqing Road, Minhang District, Shanghai

Applicant after: Dayu robot Co.,Ltd.

Address before: 200245 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Applicant before: Dalu Robot Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant