CN112070835A - 机械臂位姿预测方法、装置、存储介质及电子设备 - Google Patents

机械臂位姿预测方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN112070835A
CN112070835A CN202010851380.5A CN202010851380A CN112070835A CN 112070835 A CN112070835 A CN 112070835A CN 202010851380 A CN202010851380 A CN 202010851380A CN 112070835 A CN112070835 A CN 112070835A
Authority
CN
China
Prior art keywords
dimensional
point
joint
mechanical arm
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010851380.5A
Other languages
English (en)
Other versions
CN112070835B (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Robotics Co Ltd
Original Assignee
Cloudminds Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Robotics Co Ltd filed Critical Cloudminds Robotics Co Ltd
Priority to CN202010851380.5A priority Critical patent/CN112070835B/zh
Publication of CN112070835A publication Critical patent/CN112070835A/zh
Application granted granted Critical
Publication of CN112070835B publication Critical patent/CN112070835B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

本公开涉及机械臂位姿预测方法、装置、存储介质及电子设备，所述方法包括：获取机械臂的三基色图像和三维点云；提取三基色图像中每个像素点的高维特征，以及三维点云中每个三维点的高维特征；将每个像素点的高维特征和与该像素点对应的三维点的高维特征进行融合，得到融合特征；将融合特征输入训练好的位姿预测模型，得到每个关节点相对于每个三维点的偏移量；根据偏移量得到与每个关节点分别对应的三维坐标；根据关节点的三维坐标和与该关节点相连的下一关节点的三维坐标，以及与该关节点对应的自由度，得到与该关节点对应的旋转角度。在三维空间回归机械臂每个关节点的三维坐标，提高了机械臂位姿预测的精确度。

Description

机械臂位姿预测方法、装置、存储介质及电子设备
技术领域
本公开涉及机器人技术领域，具体地，涉及一种机械臂位姿预测方法、装置、存储介质及电子设备。
背景技术
机器人抓取在工业场景以及在家庭场景，都有着十分巨大的应用价值。在工业场景中，抓取机器人可以分拣商品，解放人力；家庭机器人可以为行动障碍人员或老年人端茶倒水等。
目前，预测机械臂位姿的方法基于二维图像，使用卷积神经网络等预测机械臂上大量三维特征点在二维图像上的位置，再基于重投影误差，使用最小二乘法估计机械臂的各个关节点的位置和角度。然而，这些方法受二维图像纹理影响大，且基于二维图像预测三维点的投影点的误差也较大，因此，导致机械臂位姿的预测精度低。
发明内容
本公开的目的是提供一种机械臂位姿预测方法、装置、存储介质及电子设备，解决了机械臂位姿预测精度低的问题。
为了实现上述目的，第一方面，本公开提供一种机械臂位姿预测方法，所述位姿包括机械臂的每个关节点的三维坐标和与每个所述关节点对应的旋转角度，所述方法包括：
获取所述机械臂的三基色图像和所述机械臂对应的三维点云；
提取所述三基色图像中每个像素点的高维特征，以及所述三维点云中每个三维点的高维特征；
将每个所述像素点的高维特征和与该像素点对应的三维点的高维特征进行融合，得到与每个所述三维点分别对应的融合特征；
将每个所述三维点的融合特征输入训练好的位姿预测模型，得到所述位姿预测模型输出的所述机械臂的每个关节点相对于每个所述三维点的偏移量；
根据每个所述关节点相对于每个所述三维点的偏移量，得到与每个所述关节点分别对应的三维坐标；
针对每个所述关节点，根据该关节点的三维坐标和与该关节点相连的下一关节点的三维坐标，以及与该关节点对应的自由度，得到与该关节点对应的旋转角度。
可选地，根据每个所述关节点相对于每个所述三维点的偏移量，得到与每个所述关节点分别对应的三维坐标包括：
根据每个所述关节点相对于每个所述三维点的偏移量，得到K簇预测三维点云，其中，K表征所述机械臂的关节个数；
对每簇所述预测三维点云进行聚合处理，得到与每簇所述预测三维点云对应的关节点的三维坐标。
可选地，对每簇所述预测三维点云进行聚合处理，得到与每簇所述预测三维点云对应的关节点的三维坐标包括：
针对每簇所述预测三维点云，将该簇预测三维点云包括的所有三维点的平均值作为与该簇预测三维点云对应的关节点的三维坐标。
可选地，获取机械臂的三基色图像包括：
获取第一图像采集装置采集得到的机器人的原始三基色图像；
对所述原始三基色图像进行分割，得到机械臂所处区域的三基色图像。
可选地，获取所述机械臂对应的三维点云包括：
获取第二图像采集装置采集得到的机器人的原始深度图像；
根据所述三基色图像在所述原始三基色图像的位置，在所述原始深度图像中提取深度图像；
根据所述第二图像采集装置的内参、所述三基色图像以及所述深度图像，得到所述机械臂对应的三维点云。
可选地，根据所述第二图像采集装置的内参、所述三基色图像以及所述深度图像，得到所述机械臂对应的三维点云包括：
根据所述第二图像采集装置的内参、所述三基色图像以及所述深度图像，得到所述机械臂对应的初始三维点云；
计算所述初始三维点云中重心点的坐标；
根据所述初始三维点云中每个所述三维点的原始坐标和所述重心点的坐标，对所述初始三维点云中每个所述三维点的坐标进行更新；
将更新后的每个所述三维点进行组合，以得到所述机械臂对应的三维点云。
可选地，所述位姿预测模型的训练过程包括：
获取多个图像样本数据，其中，每个所述图像样本数据包括所述机械臂的样本三基色图像和样本深度图像，且每个所述图像样本数据中携带有与该图像样本数据对应的样本三维点云中每个样本三维点相对于机械臂的每个关节点的偏移量；
基于多个图像样本数据对神经网络模型进行训练，直至满足预设的训练条件，停止训练并输出所述位姿预测网络。
第二方面，本公开还提供一种机械臂位姿预测装置，所述装置包括：
获取模块，用于获取所述机械臂的三基色图像和所述机械臂对应的三维点云；
特征提取模块，用于提取所述三基色图像中每个像素点的高维特征，以及所述三维点云中每个三维点的高维特征；
特征融合模块，用于将每个所述像素点的高维特征和与该像素点对应的三维点的高维特征进行融合，得到与每个所述三维点分别对应的融合特征；
预测模块，用于根据每个所述三维点的融合特征，采用训练好的位姿预测网络，得到所述机械臂的每个关节点相对于每个所述三维点的偏移量；
三维坐标计算模块，用于根据所述机械臂的每个关节点相对于每个所述三维点的偏移量，得到与每个所述关节点分别对应的三维坐标；
旋转角度计算模块，用于针对每个所述关节点，根据该关节点的三维坐标和与该关节点相连的下一关节点的三维坐标，以及与该关节点对应的自由度，得到与该关节点对应的旋转角度。
第三方面，本公开还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中所述方法的步骤。
第四方面，本公开还提供了一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面中所述方法的步骤。
通过上述技术方案，获取所述机械臂的三基色图像和所述机械臂对应的三维点云；提取所述三基色图像中每个像素点的高维特征，以及所述三维点云中每个三维点的高维特征；将每个所述像素点的高维特征和与该像素点对应的三维点的高维特征进行融合，得到与每个所述三维点分别对应的融合特征；将每个所述三维点的融合特征输入训练好的位姿预测模型，得到所述位姿预测模型输出的所述机械臂的每个关节点相对于每个所述三维点的偏移量；根据每个所述关节点相对于每个所述三维点的偏移量，得到与每个所述关节点分别对应的三维坐标；针对每个所述关节点，根据该关节点的三维坐标和与该关节点相连的下一关节点的三维坐标，以及与该关节点对应的自由度，得到与该关节点对应的旋转角度。在三维空间回归机械臂每个关节点的三维坐标，并根据各个关节点的自由度和回归得到的每个关节点的三维坐标确定每个关节点的旋转角度，提高了机械臂位姿预测的精确度，同时不依赖二维图像进行关节点三维坐标的回归，降低了对二维图像的依赖。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是为实施例提供的一种机械臂位姿预测方法的流程示意图。
图2是为实施例中步骤S15的一种流程示意图。
图3是为实施例中步骤S11的一种流程示意图。
图4是为实施例中步骤S115的一种流程示意图。
图5是为实施例提供的一种位姿预测网络的训练过程的流程示意图。
图6是为实施例中步骤S52的一种流程示意图。
图7是为实施例提供的一种机械臂位姿预测装置的结构示意图。
图8是为实施例提供的一种电子设备的结构示意图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
本公开一示例性实施例提供了一种机械臂位姿预测方法，所述位姿包括机械臂的每个关节点的三维坐标和与每个所述关节点对应的旋转角度。其中，机械臂位姿预测方法的执行主体可以是电子设备。请参阅图1，所述机械臂位姿预测方法包括步骤S11至步骤S16。具体的：
步骤S11：获取所述机械臂的三基色图像和所述机械臂对应的三维点云。
其中，三基色图像是一种二维图像，二维图像为不包含深度信息的平面图像。
三维点云中包括了多个点，三维点云是一种三维数据表达方式之一，与二维图像相比，其多了一种维度信息(即深度信息)，每个点使用空间中对应三个坐标轴的坐标值(x,y,z)表示。
步骤S12：提取所述三基色图像中每个像素点的高维特征，以及所述三维点云中每个三维点的高维特征。
在步骤S12中，使用卷积神经网络提取每个像素点的高维特征；使用三维深度学习框架提取三维点云中每个三维点的高维特征。其中，三维深度学习框架例如可以是PointNet++。
步骤S13：将每个所述像素点的高维特征和与该像素点对应的三维点的高维特征进行融合，得到与每个所述三维点分别对应的融合特征。
在步骤S13中，由于每个像素点是与每个三维点一一对应的。因此，可以将对应的两种高维特征进行融合，以得到每个三维点分别对应的融合特征。
需要说明的是，由于单个数据源包含的特征有限，因此，采用多个数据源进行融合的方式，得到融合特征，再对融合特征进行特征学习，能够更好地预测机械臂在三维空间中每个关节点的位置，进而到达提高预测的精确度的目的。
步骤S14：将每个所述三维点的融合特征输入训练好的位姿预测模型，得到所述位姿预测模型输出的所述机械臂的每个关节点相对于每个所述三维点的偏移量。
步骤S15：根据每个所述关节点相对于每个所述三维点的偏移量，得到与每个所述关节点分别对应的三维坐标。
步骤S16：针对每个所述关节点，根据该关节点的三维坐标和与该关节点相连的下一关节点的三维坐标，以及与该下一关节点对应的自由度，得到与该下一关节点对应的旋转角度。
在步骤S16中，先确定机械臂的基底关节，从机械臂的基底关节开始，逐个推算出其他关节的坐标位置和旋转角度。基底关节例如可以是机械臂的根关节点。
示例性地，以机械臂包括4个关节点为例，包括第一关节点、第二关节点、第三关节点和第四关节点，且第一关节点、第二关节点、第三关节点和第四关节点依次相连。初始状态下，各个关节点的旋转角度为0度。若第一关节点为根节点，则选取该第一关节点作为基底关节，根据第一关节点的三维坐标(x1,y1,z1)，变换所有关节点使根节点坐标为(0,0,0)，也即将第二关节点、第三关节点、第四关节点的坐标减去(x1,y1,z1)；归一化后令第二关节点的三维坐标为(x2,y2,z2)，令第二关节点在不发生旋转时的坐标值为
Figure BDA0002644836610000071
若基底关节点只有一个绕z轴的自由度，则
Figure BDA0002644836610000072
其中，θZ即为基底关节点的旋转角度。若基底关节点有三个自由度，则沿三个轴方向的旋转角度分别为：
Figure BDA0002644836610000073
Figure BDA0002644836610000074
第二关节点和第三关节点的旋转角度依次类推，根据后一关节点的当前坐标和不发生旋转时的坐标计算。
需要说明的是，自由度表示关节点的旋转方向的范围。例如，某个关节点若只有一个绕z轴的自由度，表示该关节点只能在XOY平面内旋转。
采用上述技术方案，通过在三维空间回归得到机械臂的每个关节点的三维坐标，并根据每个关节点的三维坐标推算出各个关节点的旋转角度，解决了基于二维图像预测机械臂关节点三维坐标造成的精度低的问题，提高了机械臂位姿预测的精确度，同时不依赖二维图像进行关节点三维坐标的回归，降低了对二维图像的依赖。
为了使本领域技术人员能够更加清楚的理解本公开实施例提供的技术方案，下面对本公开实施例提供的机械臂位姿预测方法进行详细的说明。
在一种可能的实现方式中，上述步骤S15具体可以包括如图2所示的流程步骤，请参阅图2，上述步骤S15例如可以包括：
步骤S151：根据每个所述关节点相对于每个所述三维点的偏移量，得到K簇预测三维点云。
在步骤S151中，根据每个三维点的坐标和每个三维点对应的预测得到的偏移量，即可得到预测三维点。由于每个关节点相对于每个三维点的偏移量的值不同，即可得到不同的预测三维点，进而，多个预测三维点即可形成预测三维点云。可以理解的是，机械臂有多少个关节点，则会形成多少簇预测点云，即K表征所述机械臂的关节个数。
步骤S152：对每簇所述预测三维点云进行聚合处理，得到与每簇所述预测三维点云对应的关节点的三维坐标。
在步骤S152中，以聚合处理为求取平均值为例，上述步骤S152可以包括：针对每簇所述预测三维点云，将该簇预测三维点云包括的所有三维点的平均值作为与该簇预测三维点云对应的关节点的三维坐标。
示例性的，在机械臂包括3个关节点且机械臂的三维点云中包括n个三维点时，相应地，有n个融合特征，进一步地，每个融合特征输入至位姿预测模型中就能得到该融合特征对应的三维点相对于3个关节点中每个关节点的偏移量。基于上述内容，即有
Figure BDA0002644836610000081
其中，pj为第j簇对应的关节点的三维坐标，qi为第i个三维点相对于第j簇对应的关节点所对应的预测三维点的三维坐标，n为机械臂的三维点云中三维点的个数，j≤K，且j为正整数。
需要说明的是，本实施例还可以采取其他聚合方式，本实施例对此不做任何限定。
采用上述技术方案，对每个关节点相对于每个三维点的偏移量形成的多簇预测三维点云进行聚合处理，推算出每个关节点的三维坐标，以实现在三维空间对每个关节点的三维坐标的回归，提高了机械臂位姿的预测精度。
在一种可能的实现方式中，步骤S11具体可以包括如图3所示的流程步骤。请参阅图3，可以包括：
步骤S111：获取第一图像采集装置采集得到的机器人的原始三基色图像。
在步骤S111中，第一图像采集装置例如可以为照相机。
步骤S112：对所述原始三基色图像进行分割，得到机械臂所处区域的三基色图像。
在步骤S112中，采用目标实例分割算法对原始三基色图像进行分割，目标是得到机械臂在原始三基色图像中的蒙版区域，进而得到机械臂对应的三基色图像。
需要说明的是，目标实例分割算法例如可以是Mask R-CNN、YOLACT或CenterMask等。
步骤S113：获取第二图像采集装置采集得到的机器人的原始深度图像。
在步骤S113中，第一图像采集装置为拍摄深度图像的相机。
步骤S114：根据所述三基色图像在所述原始三基色图像的位置，在所述原始深度图像中提取深度图像。
在步骤S114中，原始三基色图像和原始深度图像需要是同尺寸，且机械臂在两张图像中的位置需要一致。由此，则可根据所述三基色图像在所述原始三基色图像的位置，在原始深度图像中提取深度图像。
步骤S115：根据所述第二图像采集装置的内参、所述三基色图像以及所述深度图像，得到所述机械臂对应的三维点云。
在步骤S115中，根据第二图像采集装置的内参、三基色图像和深度图像计算三维点云具体可参照现有三维点云的计算方法，本实施例对此不做赘述。
采用上述示例中，仅仅在对机械臂进行分割时利用了二维图像，并不依赖二维图像进行机械臂的关节点的三维坐标的回归，降低了对二维图像的依赖。
在一种可能的实现方式中，步骤S115具体可以包括如图4所示的流程步骤。请参阅图4，可以包括：
步骤S1151：根据所述第二图像采集装置的内参、所述三基色图像以及所述深度图像，得到所述机械臂对应的初始三维点云。
步骤S1151与图3中步骤S115的类似，此处不再赘述。
步骤S1152：计算所述初始三维点云中重心点的坐标。
在步骤S1152中，点云的重心是一个点坐标。点云中所有点的平均值即可作为该点云的重心点。
步骤S1153：根据所述初始三维点云中每个所述三维点的原始坐标和所述重心点的坐标，对所述初始三维点云中每个所述三维点的坐标进行更新。
在步骤S1153中，将每个三维点的原始坐标与重心点的坐标相减，即可得到更新后的三维点的坐标。
步骤S1154：将更新后的每个所述三维点进行组合，以得到所述机械臂对应的三维点云。
在步骤S1154中，按照每个所述三维点的原位置，重新将更新后的三维点进行组合，得到机械臂的三维点云。
采用上述示例中，对计算得到的初始三维点云进行预处理，采用上述步骤将所有初始三维点云归一化至机械臂的坐标系下，减小了具体坐标值对后续步骤的影响，提高了机械臂位姿预测的精确性。
在一种可能的实现方式中，所述位姿预测网络的训练过程包括如图5所示的流程步骤。请参阅图5，具体的：
步骤S51：获取多个图像样本数据。
步骤S52：基于多个图像样本数据对神经网络模型进行训练，直至满足预设的训练条件，停止训练并输出所述位姿预测网络。
在步骤S51中，每个图像样本数据包括机械臂的样本三基色图像和样本深度图像，且每个图像样本数据中携带有与该图像样本数据对应的样本三维点云中每个样本三维点相对于机械臂的每个关节点的样本偏移量。
在步骤S51中，获取样本三基色图像和样本深度图像具体可以包括：
首先，获取第一图像采集装置采集得到的原始样本三基色图像，以及第二图像采集装置采集得到的原始样本深度图像。
然后，对所述原始样本三基色图像进行分割，得到机械臂所处区域的样本三基色图像；根据样本三基色图像在原始样本三基色图像的位置，在原始样本深度图像中提取样本深度图像。
需要说明的是，采用目标实例分割算法对原始样本三基色图像进行分割。
请参阅图6，步骤S52例如可以包括如图6所示的流程步骤，具体的：
步骤S521：根据采集每个所述图像样本数据中样本深度图像的图像采集装置的内参、该图像样本数据中的样本三基色图像和样本深度图像，得到与每个所述图像样本数据对应的样本三维点云。
步骤S521与步骤S115类似，在此不再赘述。
步骤S522：提取每个所述图像样本数据中样本三基色图像的每个像素点的样本高维特征，以及与每个所述图像样本数据对应的样本三维点云中每个样本三维点的样本高维特征。
步骤S522与步骤S12类似，在此不再赘述。
步骤S523：对每个所述图像样本数据中样本三基色图像的每个像素点的样本高维特征和与该像素点对应的样本三维点的高维特征进行融合，得到与每个所述图像样本数据对应的样本三维点云中每个样本三维点对应的样本融合特征。
步骤S523与步骤S13类似，在此不再赘述。
步骤S524：将所述图像样本数据对应的样本三维点云中每个样本三维点相对于机械臂的每个关节点的样本偏移量，与该所述图像样本数据对应的样本三维点云中每个样本三维点对应的样本融合特征，输入至神经网络模型中，得到每个关节点相对于每个所述样本三维点的预测偏移量。
步骤S525：判断是否满足预设条件。
在满足预设条件的情况下，执行步骤S526：停止训练并输出所述位姿预测网络。
在不满足预设条件的情况下，返回执行步骤S524。
其中，所述预设条件例如可以是预设迭代次数，对应的，判断是否满足预设条件为：判断当前迭代次数是否大于预设迭代次数，且在当前迭代次数大于预设迭代次数时，确定满足预设条件。
所述预设条件例如可以是预设阈值，对应的，判断是否满足预设条件为：针对每个关节点，判断每个关节点相对于每个样本三维点的预测偏移量和该样本三维点对应的样本偏移量的差值是否小于预设阈值，并在所有关节点的所有样本三维点的预测偏移量和对应的样本三维点样本偏移量的差值均小于预设阈值时，确定满足预设条件。
其中，所述神经网络模型例如可以是MLP(Multi-layer-perceptron，多层感知机)。
请参阅图7，本公开一示例性实施例还提供一种机械臂位姿预测装置700，所述装置包括：
获取模块701，用于获取所述机械臂的三基色图像和所述机械臂对应的三维点云。
特征提取模块702，用于提取所述三基色图像中每个像素点的高维特征，以及所述三维点云中每个三维点的高维特征。
特征融合模块703，用于将每个所述像素点的高维特征和与该像素点对应的三维点的高维特征进行融合，得到与每个所述三维点分别对应的融合特征。
预测模块704，用于根据每个所述三维点的融合特征，采用训练好的位姿预测网络，得到所述机械臂的每个关节点相对于每个所述三维点的偏移量。
三维坐标计算模块705，用于根据所述机械臂的每个关节点相对于每个所述三维点的偏移量，得到与每个所述关节点分别对应的三维坐标。
旋转角度计算模块706，用于针对每个所述关节点，根据该关节点的三维坐标和与该关节点相连的下一关节点的三维坐标，以及与该关节点对应的自由度，得到与该关节点对应的旋转角度。
可选的，所述预测模块704包括：
点云预测子模块，用于根据每个所述关节点相对于每个所述三维点的偏移量，得到K簇预测三维点云。
聚合子模块，用于对每簇所述预测三维点云进行聚合处理，得到与每簇所述预测三维点云对应的关节点的三维坐标。
可选的，所述获取模块701包括：
第一图像获取子模块，用于获取第一图像采集装置采集得到的机器人的原始三基色图像
分割子模块，用于对所述原始三基色图像进行分割，得到机械臂所处区域的三基色图像。
第二图像获取子模块，用于获取第二图像采集装置采集得到的机器人的原始深度图像。
深度图像提取子模块，用于根据所述三基色图像在所述原始三基色图像的位置，在所述原始深度图像中提取深度图像。
三维点云计算子模块，用于根据所述第二图像采集装置的内参、所述三基色图像以及所述深度图像，得到所述机械臂对应的三维点云。
可选的，所述三维点云计算子模块包括：
初始三维点云计算子单元，用于根据所述第二图像采集装置的内参、所述三基色图像以及所述深度图像，得到所述机械臂对应的初始三维点云。
中心点计算子单元，用于计算所述初始三维点云中重心点的坐标。
更新子单元，用于根据所述初始三维点云中每个所述三维点的原始坐标和所述重心点的坐标，对所述初始三维点云中每个所述三维点的坐标进行更新。
组合子单元，用于将更新后的每个所述三维点进行组合，以得到所述机械臂对应的三维点云。
可选的，所述装置还包括：
样本数据获取模块，用于，获取多个图像样本数据。
训练模块，用于基于多个图像样本数据对神经网络模型进行训练，直至满足预设的训练条件，停止训练并输出所述位姿预测网络。
可选的，所述训练模块包括：
样本三维点云计算子模块，用于根据采集每个所述图像样本数据中样本深度图像的图像采集装置的内参、该图像样本数据中的样本三基色图像和样本深度图像，得到与每个所述图像样本数据对应的样本三维点云。
样本特征提取子模块，提取每个所述图像样本数据中样本三基色图像的每个像素点的样本高维特征，以及与每个所述图像样本数据对应的样本三维点云中每个样本三维点的样本高维特征。
样本特征融合子模块，对每个所述图像样本数据中样本三基色图像的每个像素点的样本高维特征和与该像素点对应的样本三维点的高维特征进行融合，得到与每个所述图像样本数据对应的样本三维点云中每个样本三维点对应的样本融合特征。
预测子模块，用于将所述图像样本数据对应的样本三维点云中每个样本三维点相对于机械臂的每个关节点的样本偏移量，与该所述图像样本数据对应的样本三维点云中每个样本三维点对应的样本融合特征，输入至神经网络模型中，得到每个关节点相对于每个所述样本三维点的预测偏移量。
判断子模块，用于判断是否满足预设条件。
模型输出子模块，用于在满足预设条件的情况下，停止训练并输出所述位姿预测网络。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开一示例性实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法实施例中机械臂位姿预测方法的全部或部分步骤。
本公开一示例性实施例还提供一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现上述方法实施例中机械臂位姿预测方法的全部或部分步骤。
请参阅图8，图8是根据一示例性实施例示出的一种电子设备800的结构示意图。如图8所示，该电子设备800可以包括：处理器801，存储器802。该电子设备800还可以包括多媒体组件803，输入/输出(I/O)接口804，以及通信组件805中的一者或多者。
其中，处理器801用于控制该电子设备800的整体操作，以完成上述的机械臂位姿预测方法中的全部或部分步骤。
存储器802用于存储各种类型的数据以支持在该电子设备800的操作，这些数据例如可以包括用于在该电子设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如预设迭代次数、预设阈值等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random AccessMemory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable ProgrammableRead-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable ProgrammableRead-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
多媒体组件803可以包括屏幕。其中屏幕例如可以是触摸屏。
输入/输出(I/O)接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。
通信组件805用于该电子设备800与其他设备之间进行有线或无线通信。所述其他设备例如可以是第一图像采集装置和第二图像采集装置。无线通信，例如Wi-Fi，蓝牙，近场通信(Near Field Communication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件805可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (10)

1.一种机械臂位姿预测方法，其特征在于，所述位姿包括机械臂的每个关节点的三维坐标和与每个所述关节点对应的旋转角度，所述方法包括：
获取所述机械臂的三基色图像和所述机械臂对应的三维点云；
提取所述三基色图像中每个像素点的高维特征，以及所述三维点云中每个三维点的高维特征；
将每个所述像素点的高维特征和与该像素点对应的三维点的高维特征进行融合，得到与每个所述三维点分别对应的融合特征；
将每个所述三维点的融合特征输入训练好的位姿预测模型，得到所述位姿预测模型输出的所述机械臂的每个关节点相对于每个所述三维点的偏移量；
根据每个所述关节点相对于每个所述三维点的偏移量，得到与每个所述关节点分别对应的三维坐标；
针对每个所述关节点，根据该关节点的三维坐标和与该关节点相连的下一关节点的三维坐标，以及与该关节点对应的自由度，得到与该关节点对应的旋转角度。
2.根据权利要求1所述的方法，其特征在于，根据每个所述关节点相对于每个所述三维点的偏移量，得到与每个所述关节点分别对应的三维坐标包括：
根据每个所述关节点相对于每个所述三维点的偏移量，得到K簇预测三维点云，其中，K表征所述机械臂的关节个数；
对每簇所述预测三维点云进行聚合处理，得到与每簇所述预测三维点云对应的关节点的三维坐标。
3.根据权利要求2所述的方法，其特征在于，对每簇所述预测三维点云进行聚合处理，得到与每簇所述预测三维点云对应的关节点的三维坐标包括：
针对每簇所述预测三维点云，将该簇预测三维点云包括的所有三维点的平均值作为与该簇预测三维点云对应的关节点的三维坐标。
4.根据权利要求1所述的方法，其特征在于，获取机械臂的三基色图像包括：
获取第一图像采集装置采集得到的机器人的原始三基色图像；
对所述原始三基色图像进行分割，得到机械臂所处区域的三基色图像。
5.根据权利要求4所述的方法，其特征在于，获取所述机械臂对应的三维点云包括：
获取第二图像采集装置采集得到的机器人的原始深度图像；
根据所述三基色图像在所述原始三基色图像的位置，在所述原始深度图像中提取深度图像；
根据所述第二图像采集装置的内参、所述三基色图像以及所述深度图像，得到所述机械臂对应的三维点云。
6.根据权利要求5所述的方法，其特征在于，根据所述第二图像采集装置的内参、所述三基色图像以及所述深度图像，得到所述机械臂对应的三维点云包括：
根据所述第二图像采集装置的内参、所述三基色图像以及所述深度图像，得到所述机械臂对应的初始三维点云；
计算所述初始三维点云中重心点的坐标；
根据所述初始三维点云中每个所述三维点的原始坐标和所述重心点的坐标，对所述初始三维点云中每个所述三维点的坐标进行更新；
将更新后的每个所述三维点进行组合，以得到所述机械臂对应的三维点云。
7.根据权利要求1所述的方法，其特征在于，所述位姿预测模型的训练过程包括：
获取多个图像样本数据，其中，每个所述图像样本数据包括所述机械臂的样本三基色图像和样本深度图像，且每个所述图像样本数据中携带有与该图像样本数据对应的样本三维点云中每个样本三维点相对于机械臂的每个关节点的样本偏移量；
基于多个图像样本数据对神经网络模型进行训练，直至满足预设的训练条件，停止训练并输出所述位姿预测网络。
8.一种机械臂位姿预测装置，其特征在于，所述装置包括：
获取模块，用于获取所述机械臂的三基色图像和所述机械臂对应的三维点云；
特征提取模块，用于提取所述三基色图像中每个像素点的高维特征，以及所述三维点云中每个三维点的高维特征；
特征融合模块，用于将每个所述像素点的高维特征和与该像素点对应的三维点的高维特征进行融合，得到与每个所述三维点分别对应的融合特征；
预测模块，用于根据每个所述三维点的融合特征，采用训练好的位姿预测网络，得到所述机械臂的每个关节点相对于每个所述三维点的偏移量；
三维坐标计算模块，用于根据所述机械臂的每个关节点相对于每个所述三维点的偏移量，得到与每个所述关节点分别对应的三维坐标；
旋转角度计算模块，用于针对每个所述关节点，根据该关节点的三维坐标和与该关节点相连的下一关节点的三维坐标，以及与该关节点对应的自由度，得到与该关节点对应的旋转角度。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。
10.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-7中任一项所述方法的步骤。
CN202010851380.5A 2020-08-21 2020-08-21 机械臂位姿预测方法、装置、存储介质及电子设备 Active CN112070835B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010851380.5A CN112070835B (zh) 2020-08-21 2020-08-21 机械臂位姿预测方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010851380.5A CN112070835B (zh) 2020-08-21 2020-08-21 机械臂位姿预测方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN112070835A true CN112070835A (zh) 2020-12-11
CN112070835B CN112070835B (zh) 2024-06-25

Family

ID=73659872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010851380.5A Active CN112070835B (zh) 2020-08-21 2020-08-21 机械臂位姿预测方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN112070835B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114952873A (zh) * 2022-08-02 2022-08-30 季华实验室 一种机械臂三维重建方法、装置、电子设备和存储介质
WO2023116667A1 (zh) * 2021-12-20 2023-06-29 华为技术有限公司 一种充电设备以及控制机械臂充电的方法

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105291135A (zh) * 2015-12-04 2016-02-03 哈尔滨云控机器人科技有限公司 一种超冗余机械臂
CN105945946A (zh) * 2016-05-23 2016-09-21 东莞理工学院 一种基于g代码编程的六轴机械手运动控制方法
CN108154104A (zh) * 2017-12-21 2018-06-12 北京工业大学 一种基于深度图像超像素联合特征的人体姿态估计方法
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
CN108346165A (zh) * 2018-01-30 2018-07-31 深圳市易尚展示股份有限公司 机器人与三维传感组件联合标定方法与装置
CN108406769A (zh) * 2018-03-09 2018-08-17 首都师范大学 串联机器人的关节旋转角度确定方法及装置
CN108436893A (zh) * 2018-04-28 2018-08-24 山东鲁能智能技术有限公司 伸缩机械臂式信息存储实体件管理机器人及方法
CN109176512A (zh) * 2018-08-31 2019-01-11 南昌与德通讯技术有限公司 一种体感控制机器人的方法、机器人及控制装置
CN109443351A (zh) * 2019-01-02 2019-03-08 亿嘉和科技股份有限公司 一种稀疏环境下的机器人三维激光定位方法
CN110076771A (zh) * 2019-04-01 2019-08-02 安徽师范大学 一种机器人虚拟现实仿真方法及结构体系平台
CN110222580A (zh) * 2019-05-09 2019-09-10 中国科学院软件研究所 一种基于三维点云的人手三维姿态估计方法和装置
CN110344621A (zh) * 2019-06-13 2019-10-18 武汉大学 一种面向智能车库的车轮点云检测方法
CN110555412A (zh) * 2019-09-05 2019-12-10 深圳龙岗智能视听研究院 基于rgb和点云相结合的端到端人体姿态识别方法
US20200081119A1 (en) * 2018-09-07 2020-03-12 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for determining relative pose, device and medium
WO2020054442A1 (ja) * 2018-09-10 2020-03-19 国立大学法人東京大学 関節位置の取得方法及び装置、動作の取得方法及び装置
CN111152220A (zh) * 2019-12-31 2020-05-15 浙江大学 一种基于人机融合的机械臂控制方法
CN111161349A (zh) * 2019-12-12 2020-05-15 中国科学院深圳先进技术研究院 物体姿态估计方法、装置与设备
CN111274909A (zh) * 2020-01-16 2020-06-12 重庆邮电大学 一种基于深度学习的人体点云骨架提取方法
CN111508008A (zh) * 2020-04-08 2020-08-07 达闼机器人有限公司 一种点云配准的方法、电子设备和存储介质

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105291135A (zh) * 2015-12-04 2016-02-03 哈尔滨云控机器人科技有限公司 一种超冗余机械臂
CN105945946A (zh) * 2016-05-23 2016-09-21 东莞理工学院 一种基于g代码编程的六轴机械手运动控制方法
CN108154104A (zh) * 2017-12-21 2018-06-12 北京工业大学 一种基于深度图像超像素联合特征的人体姿态估计方法
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
CN108346165A (zh) * 2018-01-30 2018-07-31 深圳市易尚展示股份有限公司 机器人与三维传感组件联合标定方法与装置
CN108406769A (zh) * 2018-03-09 2018-08-17 首都师范大学 串联机器人的关节旋转角度确定方法及装置
CN108436893A (zh) * 2018-04-28 2018-08-24 山东鲁能智能技术有限公司 伸缩机械臂式信息存储实体件管理机器人及方法
CN109176512A (zh) * 2018-08-31 2019-01-11 南昌与德通讯技术有限公司 一种体感控制机器人的方法、机器人及控制装置
US20200081119A1 (en) * 2018-09-07 2020-03-12 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for determining relative pose, device and medium
WO2020054442A1 (ja) * 2018-09-10 2020-03-19 国立大学法人東京大学 関節位置の取得方法及び装置、動作の取得方法及び装置
CN109443351A (zh) * 2019-01-02 2019-03-08 亿嘉和科技股份有限公司 一种稀疏环境下的机器人三维激光定位方法
CN110076771A (zh) * 2019-04-01 2019-08-02 安徽师范大学 一种机器人虚拟现实仿真方法及结构体系平台
CN110222580A (zh) * 2019-05-09 2019-09-10 中国科学院软件研究所 一种基于三维点云的人手三维姿态估计方法和装置
CN110344621A (zh) * 2019-06-13 2019-10-18 武汉大学 一种面向智能车库的车轮点云检测方法
CN110555412A (zh) * 2019-09-05 2019-12-10 深圳龙岗智能视听研究院 基于rgb和点云相结合的端到端人体姿态识别方法
CN111161349A (zh) * 2019-12-12 2020-05-15 中国科学院深圳先进技术研究院 物体姿态估计方法、装置与设备
CN111152220A (zh) * 2019-12-31 2020-05-15 浙江大学 一种基于人机融合的机械臂控制方法
CN111274909A (zh) * 2020-01-16 2020-06-12 重庆邮电大学 一种基于深度学习的人体点云骨架提取方法
CN111508008A (zh) * 2020-04-08 2020-08-07 达闼机器人有限公司 一种点云配准的方法、电子设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
QING CHANG 等: "Design and Motion Planning of a Biped Climbing Robot with Redundant Manipulator", 《APPLIED SCIENCES》, vol. 9, no. 15, 26 July 2019 (2019-07-26) *
SHICHAO GU 等: "Efficient pole detection and grasping for autonomous biped climbing robots", 《2017 ROBIO》, 26 March 2018 (2018-03-26) *
宋宁策 等: "一种新型空间位置全平衡机械吊及其综合性能分析", 《机械传动》, vol. 42, no. 5, 15 May 2018 (2018-05-15) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023116667A1 (zh) * 2021-12-20 2023-06-29 华为技术有限公司 一种充电设备以及控制机械臂充电的方法
CN114952873A (zh) * 2022-08-02 2022-08-30 季华实验室 一种机械臂三维重建方法、装置、电子设备和存储介质
CN114952873B (zh) * 2022-08-02 2022-10-18 季华实验室 一种机械臂三维重建方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN112070835B (zh) 2024-06-25

Similar Documents

Publication Publication Date Title
Cao et al. Many-objective deployment optimization for a drone-assisted camera network
US11878433B2 (en) Method for detecting grasping position of robot in grasping object
CN108986161B (zh) 一种三维空间坐标估计方法、装置、终端和存储介质
CN108656107B (zh) 一种基于图像处理的机械臂抓取系统及方法
CN110363816B (zh) 一种基于深度学习的移动机器人环境语义建图方法
CN110176032B (zh) 一种三维重建方法及装置
CN107170011B (zh) 一种机器人视觉跟踪方法及系统
CN112070835B (zh) 机械臂位姿预测方法、装置、存储介质及电子设备
CN111753739B (zh) 物体检测方法、装置、设备以及存储介质
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
WO2021004416A1 (zh) 一种基于视觉信标建立信标地图的方法、装置
CN112528974B (zh) 测距方法、装置、电子设备及可读存储介质
CN110232418B (zh) 一种语义识别方法、终端及计算机可读存储介质
CN114460965B (zh) 一种基于改进人工势场法的无人机三维避障方法
CN109948624A (zh) 特征提取的方法、装置、电子设备和计算机存储介质
CN117029817A (zh) 一种二维栅格地图融合方法及系统
Liu et al. Sim-and-real reinforcement learning for manipulation: A consensus-based approach
CN112085842B (zh) 深度值确定方法及装置、电子设备和存储介质
Chang et al. YOLOv4‐tiny‐based robust RGB‐D SLAM approach with point and surface feature fusion in complex indoor environments
CN112308917A (zh) 一种基于视觉的移动机器人定位方法
CN112307799A (zh) 姿态识别方法、装置、系统、存储介质及设备
CN111833374A (zh) 基于视频融合的路径规划方法、系统、存储介质、及终端
CN112561995B (zh) 一种实时高效的6d姿态估计网络、构建方法及估计方法
Zhang et al. Object detection and grabbing based on machine vision for service robot
CN117893933B (zh) 一种用于输变电设备的无人巡检故障检测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 201111 Building 8, No. 207, Zhongqing Road, Minhang District, Shanghai

Applicant after: Dayu robot Co.,Ltd.

Address before: 200245 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Applicant before: Dalu Robot Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant