CN110956663A - 一种六维姿态估计的神经网络系统及神经网络方法 - Google Patents

一种六维姿态估计的神经网络系统及神经网络方法 Download PDF

Info

Publication number
CN110956663A
CN110956663A CN201911270652.6A CN201911270652A CN110956663A CN 110956663 A CN110956663 A CN 110956663A CN 201911270652 A CN201911270652 A CN 201911270652A CN 110956663 A CN110956663 A CN 110956663A
Authority
CN
China
Prior art keywords
neural network
dimensional
features
appearance
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911270652.6A
Other languages
English (en)
Other versions
CN110956663B (zh
Inventor
张耕慎
宁立
张涌
林进挚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201911270652.6A priority Critical patent/CN110956663B/zh
Publication of CN110956663A publication Critical patent/CN110956663A/zh
Application granted granted Critical
Publication of CN110956663B publication Critical patent/CN110956663B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供的六维姿态估计的神经网络系统及神经网络方法，通过深度学习特征维度的比例，结合分别从二维RGB彩色图像和由深度图转换得到的三维点云中提取出的一定维度的两种特征再通过特征选择机制来选出两种特征的维度并按一定的比例进行融合，提高了神经网络的适应能力以及准确性，并可使工业机器人在工厂中进行抓取等任务时，能更好的适用于各种各样的工件，并提高抓取的精确度。

Description

一种六维姿态估计的神经网络系统及神经网络方法
技术领域
本发明涉及三维计算机视觉，特别涉及一种六维姿态估计的神经网络系统及神经网络方法。
背景技术
在日常生活中，我们无时无刻不进行着人和物体之间的交互。为了得到更好的交互效果，我们需要知道物体的六维姿态。举个例子，当我们需要伸手去拿桌子上的一支笔时，必须要知道这只笔在我们的什么方位，距离是多少以及笔是什么样的摆放。同理，机器也是这样的，它利用各种摄像头来获取所看见的物体的各种信息，来进行六维姿态的估计，然后做出后续的一些操作，比如机械臂的抓取，无人驾驶和增强现实等。
在三维计算机视觉里，六维姿态包括了三维的平移和三维的旋转。三维的平移是我们从摄像机坐标系原点开始沿着X、Y、Z轴移动到所观察物体的坐标系原点之间的距离。三维的平移可以表示为一个三维的向量
Figure BDA0002314071890000011
而三维的旋转可以看作，从摄像机坐标系到所观察物体的坐标系分别绕着X、Y、Z轴所旋转的角度，可以用一个3×3的矩阵来表示，即R∈SO(3)。最后，六维姿态可以用[R|t]来表示。
目前据我们所知，现有的方法是对所有物体按1比1的固定比例将二维RGB彩色图像和三维点云进行融合判断六维姿态。比如，DenseFusion分别处理二维RGB彩色图像输入信息和三维点云输入信息，并将这两种特征在每个像素上以1比1的维度比例融合在一起，用于后面的六维姿态估计。但是，二维RGB彩色图像和三维点云是两种完全不同的数据格式，它们所包含的信息是不同的。具体来说，二维RGB彩色图像提供了外观特征信息，比如颜色，纹理等，而三维点云具有几何特征信息，比如三维形状等。对于不用的物体来说，这两种特征信息的强度不一定是一样的，也就是说，可能有的物体的外观特征更加明显，有的物体的几何特征更加明显，而有的物体的两种特征差不多。因此，要找到每个物体的最佳特征比例，使更多有用的特征信息被使用。
发明内容
有鉴如此，有必要针对现有技术存在的缺陷，提供一种能够充分利用更有用的信息，有助于得到更好的结果的六维姿态估计的神经网络系统。
为实现上述目的，本发明采用下述技术方案：
本发明提供了一种六维姿态估计的神经网络系统，包括：
外观特征信息提取单元，用于提取出二维RGB彩色图像的外观特征信息；
几何特征信息提取单元，用于提取三维点云的几何特征信息；
特征选择机制单元，用于根据所述外观特征信息和几何特征信息，自动选取两种特征的维度并将两种特征融合；
六维姿态估计单元，用于根据融合后的特征进行六维姿态的估计。
在一些较佳的实施例中，所述外观特征信息提取单元通过带有Resnet-18的PSPNet提取出二维RGB彩色图像的外观特征信息。
在一些较佳的实施例中，所述几何特征信息提取单元通过PointNet提取三维点云的几何特征信息。
在一些较佳的实施例中，所述特征选择机制单元根据所述外观特征信息和几何特征信息，手动选取两种特征的维度并将两种特征融合，具体为：
利用卷积层的输出神经元数来对所述外观特征信息和几何特征信息的维度进行设置，调整其中一种特征的维度，使二者比例为1：2或2：1，再将调整后的所述外观特征信息和几何特征信息合并。
在一些较佳的实施例中，所述特征选择机制单元根据所述外观特征信息和几何特征信息，基于自动编码器自动选取两种特征的维度并将两种特征融合，具体为：
将所述外观特征信息和几何特征信息作为该特征选择机制单元的输入神经元，再经过一层或几层的全连接层的特征维度的选择后，输出总特征维度固定但两种特征的维度比例不固定的融合信息。
在一些较佳的实施例中，所述特征选择机制单元根据所述外观特征信息和几何特征信息，基于自动化机器学习自动选取两种特征的维度并将两种特征融合，具体为：
根据所述外观特征信息和几何特征信息设计特征选择机制单元中多种不同的神经网络子结构，每一种神经网络子结构会选出不同的总特征维度以及特征维度比例，并给每种神经网络子结构一个权重值；
通过对上述的神经网络子结构分别进行测试学习，得到不同的效果来影响着该神经网络结构对应的权重值；
选出权重值最大的神经网络结构作为该特征选择机制单元的网络结构；
所述该特征选择机制单元的网络结构根据所述外观特征信息和几何特征信息，自动选取两种特征的维度并将两种特征融合。
在一些较佳的实施例中，所述六维姿态估计单元，用于将融合后的特征通过DenseFusion进行六维姿态的估计。
另外，本发明还提供了一种六维姿态估计的神经网络方法，包括下述步骤：
提取出二维RGB彩色图像的外观特征信息；
提取三维点云的几何特征信息；
根据所述外观特征信息和几何特征信息，自动选取两种特征的维度并将两种特征融合；
根据融合后的特征进行六维姿态的估计。
在一些较佳的实施例中，提取出二维RGB彩色图像的外观特征信息，具体为：
通过带有Resnet-18的PSPNet提取出二维RGB彩色图像的外观特征信息。
在一些较佳的实施例中，提取三维点云的几何特征信息，具体为：
通过PointNet提取三维点云的几何特征信息。
在一些较佳的实施例中，根据所述外观特征信息和几何特征信息，手动选取两种特征的维度并将两种特征融合，具体为：
利用卷积层的输出神经元数来对所述外观特征信息和几何特征信息的维度进行设置，调整其中一种特征的维度，使二者比例为1：2或2：1，再将调整后的所述外观特征信息和几何特征信息合并。
在一些较佳的实施例中，根据所述外观特征信息和几何特征信息，基于自动编码器自动选取两种特征的维度并将两种特征融合，具体为：
将所述外观特征信息和几何特征信息作为特征选择机制单元的输入神经元，再经过一层或几层的全连接层的特征维度的选择后，输出总特征维度固定但两种特征的维度比例不固定的融合信息。
在一些较佳的实施例中，根据所述外观特征信息和几何特征信息，基于自动化机器学习自动选取两种特征的维度并将两种特征融合，具体为：
根据所述外观特征信息和几何特征信息设计特征选择机制单元中多种不同的神经网络子结构，每一种神经网络子结构会选出不同的总特征维度以及特征维度比例，并给每种神经网络子结构一个权重值；
通过对上述的神经网络子结构分别进行测试学习，得到不同的效果来影响着该神经网络结构对应的权重值；
选出权重值最大的神经网络结构作为特征选择机制单元的网络结构；
所述特征选择机制单元的网络结构根据所述外观特征信息和几何特征信息，自动选取两种特征的维度并将两种特征融合。
在一些较佳的实施例中，根据融合后的特征进行六维姿态的估计，具体为：
将融合后的特征通过DenseFusion进行六维姿态的估计。
本发明采用上述技术方案的优点是：
本发明提供的六维姿态估计的神经网络系统及神经网络方法，通过深度学习特征维度的比例，结合分别从二维RGB彩色图像和由深度图转换得到的三维点云中提取出的一定维度的两种特征再通过特征选择机制来选出两种特征的维度并按一定的比例进行融合，提高了神经网络的适应能力以及准确性，并可使工业机器人在工厂中进行抓取等任务时，能更好的适用于各种各样的工件，并提高抓取的精确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例一提供的六维姿态估计的神经网络系统的结构示意图。
图2为本发明实施例提供的通过人工选择的方式选取两种特征的维度并将两种特征融合的原理示意图。
图3为本发明实施例提供的通过基于自动编码器的选择自动选取两种特征的维度并将两种特征融合的原理示意图。
图4为本发明实施例提供的通过基于自动化机器学习的选择自动选取两种特征的维度并将两种特征融合的原理示意图。
图5为本发明实施例提供的六维姿态估计的神经网络系统原理示意图。
图6为本发明实施例二提供的一种六维姿态估计的神经网络方法的步骤流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例一
请参阅图1，为本发明提供了一种六维姿态估计的神经网络系统结构示意图，包括：外观特征信息提取单元110、几何特征信息提取单元120、特征选择机制单元130及六维姿态估计单元140。
所述外观特征信息提取单元110用于提取出二维RGB彩色图像的外观特征信息。
具体地，所述外观特征信息提取单元110通过带有Resnet-18的PSPNet提取出二维RGB彩色图像的外观特征信息。
所述几何特征信息提取单元120用于提取三维点云的几何特征信息。
具体地，所述几何特征信息提取单元120通过PointNet提取三维点云的几何特征信息。
所述特征选择机制单元130用于根据所述外观特征信息和几何特征信息，自动选取两种特征的维度并将两种特征融合。
在一些实施例中，通过人工选择的方式选取两种特征的维度并将两种特征融合。
请参阅图2，为通过人工选择的方式选取两种特征的维度并将两种特征融合的原理示意图。
在本实施例中，利用卷积层的输出神经元数来对所述外观特征信息和几何特征信息的维度进行设置，调整其中一种特征的维度，使二者比例为1：2或2：1，再将调整后的所述外观特征信息和几何特征信息合并。
在一些实施例中，通过基于自动编码器的选择自动选取两种特征的维度并将两种特征融合。
请参阅图3，为通过基于自动编码器的选择自动选取两种特征的维度并将两种特征融合的原理示意图。
具体地，对前面特征提取得到的外观特征信息和几何特征信息作为该特征选择机制单元的输入神经元，然后经过一层或几层的全连接层的特征维度的选择后，再通过固定的输出神经元数，输出总特征维度固定但两种特征的维度比例不固定的融合信息。
可以理解，与一般的自动编码器不同的是，在这里使用的是对自动编码器的改进，一般的自动编码器的输入与输出维度是一样的大小，而本实施例不一定采用一样大小的输入输出，在此时的特征选择机制中会自动选择每个像素上的特征的维度比例，这意味着每个像素中都有最适合两种特征的组合方法。
在一些实施例中，通过基于自动化机器学习的选择自动选取两种特征的维度并将两种特征融合。
请参阅图4，为通过基于自动化机器学习的选择自动选取两种特征的维度并将两种特征融合的原理示意图。
具体地，根据所述外观特征信息和几何特征信息设计该特征选择机制单元中多种不同的神经网络子结构，每一种神经网络子结构会选出不同的总特征维度以及特征维度比例，并给每种神经网络子结构一个权重值；通过对上述的神经网络子结构分别进行测试学习，得到不同的效果来影响着该神经网络结构对应的权重值；选出权重值最大的神经网络结构作为该特征选择机制单元的网络结构；所述该特征选择机制单元的网络结构根据所述外观特征信息和几何特征信息，自动选取两种特征的维度并将两种特征融合。
可以理解，与上述实施例的基于自动编码器的选择不同的是，基于自动化机器学习的网络结构是不固定的，即每一层的种类，隐藏层的数量，每层隐藏层的神经元数量，输出神经元的数量都不固定。根据网络的自主学习，自动选择最适合的总特征维度以及在每个像素上的外观特征和几何特征的特征维度的比例，具有最高的网络灵活性。
所述六维姿态估计单元140用于将融合后的特征通过DenseFusion进行六维姿态的估计。
请参阅图5，为本发明实施例提供的六维姿态估计的神经网络系统原理示意图。
可以理解，从二维RGB彩色图像中选取出了n个像素点，即(x1,y1),(x2,y2),…,(xn,yn)，将它们原始的RGB三维信息通过CNN模块提取出一定维度的外观特征。与此同时，从二维深度图像中找到这n个像素点，利用相机的内参对这n个像素点的深度值进行计算，将其转化成三维点云中的n个点。将这些点通过PointNet模块提取出一定维度的几何特征。然后将外观特征和几何特征送入我们的特征选择机制，选出一定比例的特征后，通过DenseFusion来预测六维姿态。
本发明提供的六维姿态估计的神经网络系统，通过深度学习特征维度的比例，结合分别从二维RGB彩色图像和由深度图转换得到的三维点云中提取出的一定维度的两种特征再通过特征选择机制来选出两种特征的维度并按一定的比例进行融合，提高了神经网络的适应能力以及准确性，并可使工业机器人在工厂中进行抓取等任务时，能更好的适用于各种各样的工件，并提高抓取的精确度。
实施例二
请参阅图6，为本发明提供了一种六维姿态估计的神经网络方法的步骤流程图，包括：
步骤S110：提取出二维RGB彩色图像的外观特征信息。
具体地，通过带有Resnet-18的PSPNet提取出二维RGB彩色图像的外观特征信息。
步骤S120：提取三维点云的几何特征信息。
具体地，通过PointNet提取三维点云的几何特征信息。
步骤S130：根据所述外观特征信息和几何特征信息，自动选取两种特征的维度并将两种特征融合。
在一些实施例中，通过人工选择的方式选取两种特征的维度并将两种特征融合。
请再参阅图2，为通过人工选择的方式选取两种特征的维度并将两种特征融合的原理示意图。
在本实施例中，利用卷积层的输出神经元数来对所述外观特征信息和几何特征信息的维度进行设置，调整其中一种特征的维度，使二者比例为1：2或2：1，再将调整后的所述外观特征信息和几何特征信息合并。
在一些实施例中，通过基于自动编码器的选择自动选取两种特征的维度并将两种特征融合。
请再参阅图3，为通过基于自动编码器的选择自动选取两种特征的维度并将两种特征融合的原理示意图。
具体地，对前面特征提取得到的外观特征信息和几何特征信息作为特征选择机制单元的输入神经元，然后经过一层或几层的全连接层的特征维度的选择后，再通过固定的输出神经元数，输出总特征维度固定但两种特征的维度比例不固定的融合信息。
可以理解，在这里使用的是对自动编码器的改进，自动编码器的输入与输出维度是一样的大小，而本实施例不一定采用一样大小的输入输出，在此时的特征选择机制中会自动选择每个像素上的特征的维度比例，这意味着每个像素中都有最适合两种特征的组合方法。
在一些实施例中，通过基于自动化机器学习的选择自动选取两种特征的维度并将两种特征融合。
请再参阅图4，为通过基于自动化机器学习的选择自动选取两种特征的维度并将两种特征融合的原理示意图。
具体地，根据所述外观特征信息和几何特征信息设计特征选择机制单元中多种不同的神经网络子结构，每一种神经网络子结构会选出不同的总特征维度以及特征维度比例，并给每种神经网络子结构一个权重值；通过对上述的神经网络子结构分别进行测试学习，得到不同的效果来影响着该神经网络结构对应的权重值；选出权重值最大的神经网络结构作为特征选择机制单元的网络结构；所述特征选择机制单元的网络结构根据所述外观特征信息和几何特征信息，自动选取两种特征的维度并将两种特征融合。
可以理解，与上述实施例的基于自动编码器的选择不同的是，基于自动化机器学习的网络结构是不固定的，即每一层的种类，隐藏层的数量，每层隐藏层的神经元数量，输出神经元的数量都不固定。根据网络的自主学习，自动选择最适合的总特征维度以及在每个像素上的外观特征和几何特征的特征维度的比例，具有最高的网络灵活性。
步骤S140：根据融合后的特征进行六维姿态的估计。
具体地，将融合后的特征通过DenseFusion进行六维姿态的估计。
请再参阅图5，为本发明实施例提供的六维姿态估计的神经网络系统原理示意图。
可以理解，从二维RGB彩色图像中选取出了n个像素点，即(x1,y1),(x2,y2),…,(xn,yn)，将它们原始的RGB三维信息通过CNN模块提取出一定维度的外观特征。与此同时，从二维深度图像中找到这n个像素点，利用相机的内参对这n个像素点的深度值进行计算，将其转化成三维点云中的n个点。将这些点通过PointNet模块提取出一定维度的几何特征。然后将外观特征和几何特征送入我们的特征选择机制，选出一定比例的特征后，通过DenseFusion来预测六维姿态。
本发明提供的六维姿态估计的神经网络方法，通过深度学习特征维度的比例，结合分别从二维RGB彩色图像和由深度图转换得到的三维点云中提取出的一定维度的两种特征再通过特征选择机制来选出两种特征的维度并按一定的比例进行融合，提高了神经网络的适应能力以及准确性，并可使工业机器人在工厂中进行抓取等任务时，能更好的适用于各种各样的工件，并提高抓取的精确度。
实施例
我们对本发明中的部分方案进行了对比实验，实验分成如下4个部分，具体地：
提取出二维RGB彩色图像的外观特征信息，提取三维点云的几何特征信息，根据所述外观特征信息和几何特征信息，自动选取两种特征的维度并将两种特征融合，根据融合后的特征进行六维姿态的估计。
DenseFusion：直接使用1比1的外观特征和几何特征融合。
人工选择：在DenseFusion之前，使用特征选择机制手动调整外观特征与几何特征的比例为1：2和2：1。
基于自动编码器的选择：在DenseFusion之前，在特征选择机制中插入一层神经网络，以便从外观特征和几何特征中自动选择更有价值的信息。
基于自动编码器的选择。在DenseFusion之前，在特征选择机制中插入几层神经网络自动来获取有用的信息。
表1准确率(单位％)
Figure BDA0002314071890000121
实验结果如表1所示，可以看出我们提出的方案的准确率在大多数物体上都超过了DenseFusion，且总的效果比DenseFusion好。
以上所述实施例的各技术特征可以进行任意的选择，为使描述简洁，未对上述实施例中的各个技术特征所有可能的选择都进行描述，然而，只要这些技术特征的选择不存在矛盾，都应当认为是本说明书记载的范围。
当然本发明的六维姿态估计的神经网络系统正极材料还可具有多种变换及改型，并不局限于上述实施方式的具体结构。总之，本发明的保护范围应包括那些对于本领域普通技术人员来说显而易见的变换或替代以及改型。

Claims (14)

1.一种六维姿态估计的神经网络系统，其特征在于，包括：
外观特征信息提取单元，用于提取出二维RGB彩色图像的外观特征信息；
几何特征信息提取单元，用于提取三维点云的几何特征信息；
特征选择机制单元，用于根据所述外观特征信息和几何特征信息，自动选取两种特征的维度并将两种特征融合；
六维姿态估计单元，用于根据融合后的特征进行六维姿态的估计。
2.如权利要求1所述的六维姿态估计的神经网络系统，其特征在于，所述外观特征信息提取单元通过带有Resnet-18的PSPNet提取出二维RGB彩色图像的外观特征信息。
3.如权利要求1所述的六维姿态估计的神经网络系统，其特征在于，所述几何特征信息提取单元通过PointNet提取三维点云的几何特征信息。
4.如权利要求1所述的六维姿态估计的神经网络系统，其特征在于，所述特征选择机制单元根据所述外观特征信息和几何特征信息，手动选取两种特征的维度并将两种特征融合，具体为：
利用卷积层的输出神经元数来对所述外观特征信息和几何特征信息的维度进行设置，调整其中一种特征的维度，使二者比例为1：2或2：1，再将调整后的所述外观特征信息和几何特征信息合并。
5.如权利要求1所述的六维姿态估计的神经网络系统，其特征在于，所述特征选择机制单元根据所述外观特征信息和几何特征信息，基于自动编码器自动选取两种特征的维度并将两种特征融合，具体为：
将所述外观特征信息和几何特征信息作为该特征选择机制单元的输入神经元，再经过一层或几层的全连接层的特征维度的选择后，输出总特征维度固定但两种特征的维度比例不固定的融合信息。
6.如权利要求1所述的六维姿态估计的神经网络系统，其特征在于，所述特征选择机制单元根据所述外观特征信息和几何特征信息，基于自动化机器学习自动选取两种特征的维度并将两种特征融合，具体为：
根据所述外观特征信息和几何特征信息设计特征选择机制单元中多种不同的神经网络子结构，每一种神经网络子结构会选出不同的总特征维度以及特征维度比例，并给每种神经网络子结构一个权重值；
通过对上述的神经网络子结构分别进行测试学习，得到不同的效果来影响着该神经网络结构对应的权重值；
选出权重值最大的神经网络结构作为该特征选择机制单元的网络结构；
所述该特征选择机制单元的网络结构根据所述外观特征信息和几何特征信息，自动选取两种特征的维度并将两种特征融合。
7.如权利要求1所述的六维姿态估计的神经网络系统，其特征在于，所述六维姿态估计单元，用于将融合后的特征通过DenseFusion进行六维姿态的估计。
8.一种六维姿态估计的神经网络方法，其特征在于，包括下述步骤：
提取出二维RGB彩色图像的外观特征信息；
提取三维点云的几何特征信息；
根据所述外观特征信息和几何特征信息，自动选取两种特征的维度并将两种特征融合；
根据融合后的特征进行六维姿态的估计。
9.如权利要求8所述的六维姿态估计的神经网络方法，其特征在于，提取出二维RGB彩色图像的外观特征信息，具体为：
通过带有Resnet-18的PSPNet提取出二维RGB彩色图像的外观特征信息。
10.如权利要求8所述的六维姿态估计的神经网络方法，其特征在于，提取三维点云的几何特征信息，具体为：
通过PointNet提取三维点云的几何特征信息。
11.如权利要求8所述的六维姿态估计的神经网络方法，其特征在于，根据所述外观特征信息和几何特征信息，手动选取两种特征的维度并将两种特征融合，具体为：
利用卷积层的输出神经元数来对所述外观特征信息和几何特征信息的维度进行设置，调整其中一种特征的维度，使二者比例为1：2或2：1，再将调整后的所述外观特征信息和几何特征信息合并。
12.如权利要求8所述的六维姿态估计的神经网络方法，其特征在于，根据所述外观特征信息和几何特征信息，基于自动编码器自动选取两种特征的维度并将两种特征融合，具体为：
将所述外观特征信息和几何特征信息作为特征选择机制单元的输入神经元，再经过一层或几层的全连接层的特征维度的选择后，输出总特征维度固定但两种特征的维度比例不固定的融合信息。
13.如权利要求8所述的六维姿态估计的神经网络方法，其特征在于，根据所述外观特征信息和几何特征信息，基于自动化机器学习自动选取两种特征的维度并将两种特征融合，具体为：
根据所述外观特征信息和几何特征信息设计特征选择机制单元中多种不同的神经网络子结构，每一种神经网络子结构会选出不同的总特征维度以及特征维度比例，并给每种神经网络子结构一个权重值；
通过对上述的神经网络子结构分别进行测试学习，得到不同的效果来影响着该神经网络结构对应的权重值；
选出权重值最大的神经网络结构作为特征选择机制单元的网络结构；
所述特征选择机制单元的网络结构根据所述外观特征信息和几何特征信息，自动选取两种特征的维度并将两种特征融合。
14.如权利要求8所述的六维姿态估计的神经网络方法，其特征在于，根据融合后的特征进行六维姿态的估计，具体为：
将融合后的特征通过DenseFusion进行六维姿态的估计。
CN201911270652.6A 2019-12-12 2019-12-12 一种六维姿态估计的神经网络系统及神经网络方法 Active CN110956663B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911270652.6A CN110956663B (zh) 2019-12-12 2019-12-12 一种六维姿态估计的神经网络系统及神经网络方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911270652.6A CN110956663B (zh) 2019-12-12 2019-12-12 一种六维姿态估计的神经网络系统及神经网络方法

Publications (2)

Publication Number Publication Date
CN110956663A true CN110956663A (zh) 2020-04-03
CN110956663B CN110956663B (zh) 2023-04-18

Family

ID=69981137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911270652.6A Active CN110956663B (zh) 2019-12-12 2019-12-12 一种六维姿态估计的神经网络系统及神经网络方法

Country Status (1)

Country Link
CN (1) CN110956663B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819890A (zh) * 2021-01-07 2021-05-18 北京百度网讯科技有限公司 三维物体检测方法、装置、设备及存储介质
CN113393522A (zh) * 2021-05-27 2021-09-14 湖南大学 一种基于单目rgb相机回归深度信息的6d位姿估计方法
CN115222810A (zh) * 2021-06-30 2022-10-21 达闼科技（北京）有限公司 目标位姿估计方法、装置、计算设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109801337A (zh) * 2019-01-21 2019-05-24 同济大学 一种基于实例分割网络和迭代优化的6d位姿估计方法
CN110533721A (zh) * 2019-08-27 2019-12-03 杭州师范大学 一种基于增强自编码器的室内目标物体6d姿态估计方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109801337A (zh) * 2019-01-21 2019-05-24 同济大学 一种基于实例分割网络和迭代优化的6d位姿估计方法
CN110533721A (zh) * 2019-08-27 2019-12-03 杭州师范大学 一种基于增强自编码器的室内目标物体6d姿态估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHEN WANG ET AL: "DenseFusion: 6D Object Pose Estimation by Iterative Dense Fusion" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819890A (zh) * 2021-01-07 2021-05-18 北京百度网讯科技有限公司 三维物体检测方法、装置、设备及存储介质
CN113393522A (zh) * 2021-05-27 2021-09-14 湖南大学 一种基于单目rgb相机回归深度信息的6d位姿估计方法
CN115222810A (zh) * 2021-06-30 2022-10-21 达闼科技（北京）有限公司 目标位姿估计方法、装置、计算设备及存储介质

Also Published As

Publication number Publication date
CN110956663B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN110956663B (zh) 一种六维姿态估计的神经网络系统及神经网络方法
CN109255813B (zh) 一种面向人机协作的手持物体位姿实时检测方法
CN110458805B (zh) 一种平面检测方法、计算设备以及电路系统
CN107808131B (zh) 基于双通路深度卷积神经网络的动态手势识别方法
CN111151463B (zh) 一种基于3d视觉的机械臂分拣抓取系统及方法
CN108898063B (zh) 一种基于全卷积神经网络的人体姿态识别装置及方法
CN114912287B (zh) 基于目标6d位姿估计的机器人自主抓取仿真系统及方法
CN109126121B (zh) Ar终端互联方法、系统、装置及计算机可读存储介质
CN111753739B (zh) 物体检测方法、装置、设备以及存储介质
CN111127522B (zh) 基于单目相机的深度光流预测方法、装置、设备及介质
CN104599317A (zh) 一种实现3d扫描建模功能的移动终端及方法
CN116092178A (zh) 一种面向移动端的手势识别和跟踪方法及系统
CN113370217A (zh) 基于深度学习的物体姿态识别和抓取的智能机器人的方法
CN115008454A (zh) 一种基于多帧伪标签数据增强的机器人在线手眼标定方法
CN115147488A (zh) 一种基于密集预测的工件位姿估计方法与抓取系统
CN113298177B (zh) 夜间图像着色方法、装置、介质和设备
CN113284184A (zh) 面向机器人rgbd视觉感知的6d位姿估计方法及系统
JP6016242B2 (ja) 視点推定装置及びその分類器学習方法
CN114616586A (zh) 图像标注方法、装置、电子设备及计算机可读存储介质
CN111611869A (zh) 一种基于串行深度神经网络的端到端单目视觉避障方法
CN114820899A (zh) 一种基于多视角渲染的姿态估计方法和装置
JP2007280032A (ja) 画像処理装置および方法、プログラム
Hong et al. Research of robotic arm control system based on deep learning and 3D point cloud target detection algorithm
CN110738111A (zh) 基于多目的匹配、姿态识别方法、装置及系统
Zhang et al. A kinect-based 3d sensing and human action recognition solution for urban search and rescue environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant