CN111179324A - 基于颜色和深度信息融合的物体六自由度位姿估计方法 - Google Patents

基于颜色和深度信息融合的物体六自由度位姿估计方法 Download PDF

Info

Publication number
CN111179324A
CN111179324A CN201911399009.3A CN201911399009A CN111179324A CN 111179324 A CN111179324 A CN 111179324A CN 201911399009 A CN201911399009 A CN 201911399009A CN 111179324 A CN111179324 A CN 111179324A
Authority
CN
China
Prior art keywords
color
point cloud
target object
degree
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911399009.3A
Other languages
English (en)
Other versions
CN111179324B (zh
Inventor
陈启军
周光亮
王德明
汪晏
刘成菊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN201911399009.3A priority Critical patent/CN111179324B/zh
Publication of CN111179324A publication Critical patent/CN111179324A/zh
Application granted granted Critical
Publication of CN111179324B publication Critical patent/CN111179324B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于颜色和深度信息融合的物体六自由度位姿估计方法，包括以下步骤：获取目标物体的彩色图像和深度图像，对彩色图像进行实例分割；从彩色图像中裁剪出包含目标物体的彩色图像块，同时从深度图像中得到目标物体点云；从彩色图像块中提取彩色特征，在像素层面结合到目标物体点云上；对目标物体点云进行点云处理，得到若干个融合彩色信息和深度信息的点云局部区域特征和一个全局特征，并将全局特征结合到点云局部区域特征中；每个局部特征预测一个目标物体的位姿和置信度，以置信度最高对应的位姿作为最终估计结果。与现有技术相比，本发明结合彩色信息和深度信息，并且通过结合局部特征和全局特征的方式预测物体位姿，具有鲁棒性强、准确度高等优点。

Description

基于颜色和深度信息融合的物体六自由度位姿估计方法
技术领域
本发明涉及机器人视觉领域，尤其是涉及一种基于颜色和深度信息融合的物体六自由度位姿估计方法。
背景技术
基于计算机视觉的物体六自由度位姿(物体相对于相机坐标系的三维平移和旋转变换参数共计六个自由度)估计技术使机器人能够从三维层面感知周围的环境，是实现机器人抓取和灵巧操作的关键技术，对于推动服务机器人、工业机器人的应用有着重要意义。此外，该技术在自动驾驶、增强现实、虚拟现实技术等领域，也有广阔的应用前景。
现有物体位姿估计技术主要有以下几种：
一是基于模板匹配的方法：该方法将在线采集的图像和离线制作好的模板进行特征匹配，根据匹配的模板确定物体的位姿；现有的此类方法存在以下问题：该方法在背景杂乱、物体混杂堆叠的情况下很难准确地把目标物体匹配到，鲁棒性不高；模板匹配的时间会随着模板数量的增加而急剧上升，很难满足实时性的要求。
二是基于关键点对应的方法：该方法首先在彩色图像中预测二维特征点，然后利用二维特征点和模型上的点的对应关系，利用PnP算法求解物体的六自由度位姿；现有的此类方法主要存在以下问题：传统的关键点检测方法难以检测出无纹理或者弱纹理物体上的二维特征点；基于深度学习的方法对于关键点的检测也易受到物体相互遮挡的影响，导致在此种情况下鲁棒性不高。
三是直接回归的方法：该方法将彩色图像作为深度网络的输入，直接回归物体的六自由度位姿；现有的此类方法主要存在以下问题：当被估测位姿的物体所处的背景杂乱且有互相堆叠时，用于估计位姿的信息除了物体本身外，不可避免的会包含背景和其他堆叠物体的信息，这对特征提取带来了极大的影响，进而降低了物体位姿估计的精度，因此该类方法最后对初步预估结果进行位姿精修以修正预测的位姿，但位姿精修过程耗时较长，降低了算法的效率。
发明内容
本发明的目的在于克服上述现有技术存在的缺陷而提供一种基于颜色和深度信息融合的物体六自由度位姿估计方法，消除了杂乱背景和物体相互遮挡对于物体位姿估计的不利影响。
本发明的目的可以通过以下技术方案来实现：
一种基于颜色和深度信息融合的物体六自由度位姿估计方法，包括以下步骤：
S1、获取目标物体的彩色图像和深度图像，对所述彩色图像进行实例分割，得到实例分割结果；
S2、根据所述实例分割结果从彩色图像中裁剪出包含目标物体的彩色图像块，同时从深度图像中得到目标物体点云；
S3、从所述彩色图像块中提取彩色特征，并根据像素间的对应关系，将提取到的彩色特征在像素层面结合到所述目标物体点云上；
S4、对结合颜色特征的所述目标物体点云进行点云处理，得到若干个融合了彩色信息和深度信息的点云局部区域特征和一个全局特征，并将全局特征结合到各点云局部区域特征中；
S5、基于步骤S4获得的点云局部区域特征预测目标物体的位姿和置信度，以置信度最高对应的位姿作为最终估计结果。
进一步地，步骤S1中，通过Mask RCNN实例分割网络对彩色图像进行实例分割。
进一步地，步骤S2中，根据实例分割结果，使用分割掩膜的边界框从原始的彩色图像中裁剪出包含目标物体的彩色图像块。
进一步地，步骤S2中，根据相机内参，基于实例分割结果对深度图像上的分割区域进行转换，获得目标物体点云。
进一步地，步骤S3中，利用基于自编码器结构的深度网络从彩色图像块中提取彩色特征。
进一步地，所述自编码器结构包括依次连接的Resnet18、PSPNet和Upsample模块。
进一步地，所述点云处理具体为：
从所述目标物体点云中选择多个彼此距离最远的点，以这些点为中心，选择距离其最近的固定数量的点形成若干个局部区域，对每个局部区域提取点云局部区域特征，同时对各局部区域进行融合，提取一个全局特征。
进一步地，所述点云处理还包括：
将若干个局部区域汇合为若干个局部大区域，对每个局部大区域提取点云局部区域特征。
进一步地，步骤S4中，采用PointNet++网络对目标物体点云进行点云处理。
PointNet++网络包括若干个集合抽象模块，各集合抽象模块包括依次设置的采样层、分组层和PointNet网络。
进一步地，所述位姿包括三维旋转参数和三维平移参数。
与现有技术相比，本发明的位姿估计能够消除杂乱背景和物体堆叠的影响，实现精确的位姿估计，具有如下有益效果：
(1)本发明在像素级别定位出待估测位姿的物体，然后提取出目标物体点云和目标二维图像，再将使用编码解码结构的深度网络提取的彩色特征结合到目标物体点云上，之后对目标物体点云进行点云处理，获得特征。这一过程有效地结合了物体的颜色特征和几何特征，且几乎不受背景的干扰，能够有效提升位姿估计的精度。
(2)本发明提取了多个点云局部区域特征，每个局部区域特征都结合了全局特征，这种方式使得特征具有良好的表达能力。在预测位姿的时候，每个局部区域特征都会预测一个位姿和相应的置信度，选择置信度最高的位姿作为最终的结果。这种局部加全局的预测方式，能够有效提升位姿估计的鲁棒性。
附图说明
图1是本发明方法的流程图；
图2是彩色特征提取网络的示意图；
图3是点云处理网络中集合抽象模块的原理图；
图4是部分位姿估计结果图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
本实施例提供了一种基于颜色和深度信息融合的物体六自由度位姿估计方法，该方法的框架示意图如图1所示，具体包括以下步骤：
S1、获取目标物体的彩色图像和深度图像，将彩色图像输入到训练好的实例分割网络，得到实例分割结果；
S2、根据实例分割结果从彩色图像中裁剪出包含目标物体的彩色图像块，从深度图像中得到目标物体点云；
S3、利用一个基于自编码器结构的深度网络对彩色图像块进行处理，提取彩色特征，并根据像素间的对应关系，将提取到的彩色特征在像素层面结合到目标物体点云上；
S4、利用点云处理网络处理结合颜色特征的目标物体点云，得到若干个融合了彩色信息和深度信息的点云局部区域特征和一个全局特征，并将全局特征结合到局部特征中；
S5、位姿估计网络会使用局部特征预测目标物体的位姿和置信度，选择置信度最高的区域预测出的位姿作为最终的结果。
在步骤S1实施过程中，实例分割网络采用Mask RCNN。
在步骤S2实施过程中，根据实例分割结果，使用分割掩膜的边界框从原始的彩色图像中裁剪出包含目标物体的图像块；根据相机内参，基于实例分割结果对深度图像上的分割区域进行转换，获得目标物体点云。
在步骤S3实施过程中，自编码器结构通过使用Resnet18、PSPNet和一个Upsample模块实现，如图2所示，该结构具有较好的特征提取能力，且能保证输出的彩色特征图的大小和原始输入图像相同。
在得到彩色特征图之后，对目标物体点云上进行采样，然后根据深度图像和彩色图像的像素对应关系，将采样点云的点对应的特征图上的点结合到采样点云上，得到带有彩色信息的点云。点云可以是原始点云，也可以是经网络初步提取特征的点云。此处对点云提取的特征为几何特征。在某些情况下，初步提取几何特征后再和颜色特征一起处理，效果比起原始点云直接和颜色特征一起处理效果要好。
在步骤S4实施过程中，点云处理网络首先在输入点云中选择多个彼此距离最远的点，然后以这些点为中心，选择距离其最近的固定数量的点形成局部区域，最后网络会对每个局部区域进行特征提取。点云处理网络可以把局部小区域进一步汇合，形成若干个大的区域，并提取每个大区域的特征，以及能够提取整个点云的全局特征。
点云处理网络采用PointNet++网络，该网络包含若干个集合抽象模块，用以实现点云局部特征提取的功能。集合抽象模块如图3所示，该模块包括采样层、分组层和PointNet网络三部分。对于一个集合抽象模块，其输入是N×(3+d)的点云，首先采样层使用最远点采样算法选择其中N′个点，然后分组层使用球查询的方法，以采样层选择的N′个点为球心，以R为半径，选择在球内的离球心最近的K个点(不足K个则需要重复选择已有的点)，输出N′×K×(3+d)的点集；PointNet网络将分组层的结果作为输入，输出N′×d′的点集。下一个集合抽象模块的输入为N′×(3+d′)的点集，其中3表示上一集合抽象模块采样点的空间三维坐标。通过这样的处理方式，相当于不断将点云的小区域进行聚集，最终会在倒数第二个集合抽象模块，输出Npatch个维度为d的区域块特征向量，也即把原始点云划分成了Npatch个点云区域块。最后一个集合抽象模块，会对Npatch个点云区域块进一步处理，得到1个dglobal维的全局特征。我们把全局特征分别结合到这Npatch个d维区域块特征向量中，最终得到Npatch个(d+dglobal)维的特征向量，这样每个局部特征向量也都具有全局的特征信息，具有更好的表征能力。
在步骤S5实施过程中，位姿估计网络包含三个分支，分别对每个局部区域特征预测三维旋转、平移参数和置信度。最终选择置信度最高的区域预测出的位姿作为最终的位姿。部分位姿估计的结果如图4所示。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由本发明所确定的保护范围内。

Claims (10)

1.一种基于颜色和深度信息融合的物体六自由度位姿估计方法，其特征在于，包括以下步骤：
S1、获取目标物体的彩色图像和深度图像，对所述彩色图像进行实例分割，得到实例分割结果；
S2、根据所述实例分割结果从彩色图像中裁剪出包含目标物体的彩色图像块，同时从深度图像中得到目标物体点云；
S3、从所述彩色图像块中提取彩色特征，并根据像素间的对应关系，将提取到的彩色特征在像素层面结合到所述目标物体点云上；
S4、对结合颜色特征的所述目标物体点云进行点云处理，得到若干个融合了彩色信息和深度信息的点云局部区域特征和一个全局特征，并将全局特征结合到各点云局部区域特征中；
S5、基于步骤S4获得的点云局部区域特征预测目标物体的位姿和置信度，以置信度最高对应的位姿作为最终估计结果。
2.根据权利要求1所述的基于颜色和深度信息融合的物体六自由度位姿估计方法，其特征在于，步骤S1中，通过Mask RCNN实例分割网络对彩色图像进行实例分割。
3.根据权利要求1所述的基于颜色和深度信息融合的物体六自由度位姿估计方法，其特征在于，步骤S2中，根据实例分割结果，使用分割掩膜的边界框从原始的彩色图像中裁剪出包含目标物体的彩色图像块。
4.根据权利要求1所述的基于颜色和深度信息融合的物体六自由度位姿估计方法，其特征在于，步骤S2中，根据相机内参，基于实例分割结果对深度图像上的分割区域进行转换，获得目标物体点云。
5.根据权利要求1所述的基于颜色和深度信息融合的物体六自由度位姿估计方法，其特征在于，步骤S3中，利用基于自编码器结构的深度网络从彩色图像块中提取彩色特征。
6.根据权利要求5所述的基于颜色和深度信息融合的物体六自由度位姿估计方法，其特征在于，所述自编码器结构包括依次连接的Resnet18、PSPNet和Upsample模块。
7.根据权利要求1所述的基于颜色和深度信息融合的物体六自由度位姿估计方法，其特征在于，所述点云处理具体为：
从所述目标物体点云中选择多个彼此距离最远的点，以这些点为中心，选择距离其最近的固定数量的点形成若干个局部区域，对每个局部区域提取点云局部区域特征，同时对各局部区域进行融合，提取一个全局特征。
8.根据权利要求7所述的基于颜色和深度信息融合的物体六自由度位姿估计方法，其特征在于，所述点云处理还包括：
将若干个局部区域汇合为若干个局部大区域，对每个局部大区域提取点云局部区域特征。
9.根据权利要求1所述的基于颜色和深度信息融合的物体六自由度位姿估计方法，其特征在于，步骤S4中，采用PointNet++网络对目标物体点云进行点云处理。
10.根据权利要求9所述的基于颜色和深度信息融合的物体六自由度位姿估计方法，其特征在于，所述PointNet++网络包括若干个集合抽象模块，各集合抽象模块包括依次设置的采样层、分组层和PointNet网络。
CN201911399009.3A 2019-12-30 2019-12-30 基于颜色和深度信息融合的物体六自由度位姿估计方法 Active CN111179324B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911399009.3A CN111179324B (zh) 2019-12-30 2019-12-30 基于颜色和深度信息融合的物体六自由度位姿估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911399009.3A CN111179324B (zh) 2019-12-30 2019-12-30 基于颜色和深度信息融合的物体六自由度位姿估计方法

Publications (2)

Publication Number Publication Date
CN111179324A true CN111179324A (zh) 2020-05-19
CN111179324B CN111179324B (zh) 2023-05-05

Family

ID=70655908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911399009.3A Active CN111179324B (zh) 2019-12-30 2019-12-30 基于颜色和深度信息融合的物体六自由度位姿估计方法

Country Status (1)

Country Link
CN (1) CN111179324B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667535A (zh) * 2020-06-04 2020-09-15 电子科技大学 一种针对遮挡场景下的六自由度位姿估计方法
CN111899301A (zh) * 2020-06-02 2020-11-06 广州中国科学院先进技术研究所 一种基于深度学习的工件6d位姿估计方法
CN112233181A (zh) * 2020-10-29 2021-01-15 深圳市广宁股份有限公司 6d位姿识别的方法、装置及计算机存储介质
CN112396655A (zh) * 2020-11-18 2021-02-23 哈尔滨工程大学 一种基于点云数据的船舶目标6d位姿估计方法
CN112465908A (zh) * 2020-11-30 2021-03-09 深圳市优必选科技股份有限公司 一种物体定位方法、装置、终端设备及存储介质
CN112562001A (zh) * 2020-12-28 2021-03-26 中山大学 一种物体6d位姿估计方法、装置、设备及介质
CN112598735A (zh) * 2020-12-21 2021-04-02 西北工业大学 一种融合三维模型信息的单张图像物体位姿估计方法
CN112819890A (zh) * 2021-01-07 2021-05-18 北京百度网讯科技有限公司 三维物体检测方法、装置、设备及存储介质
CN112836734A (zh) * 2021-01-27 2021-05-25 深圳市华汉伟业科技有限公司 一种异源数据融合方法及装置、存储介质
CN113012122A (zh) * 2021-03-11 2021-06-22 复旦大学 一种类别级6d位姿与尺寸估计方法及装置
CN113221647A (zh) * 2021-04-08 2021-08-06 湖南大学 一种融合点云局部特征的6d位姿估计方法
CN113223181A (zh) * 2021-06-02 2021-08-06 广东工业大学 一种弱纹理物体位姿估计方法
CN113393522A (zh) * 2021-05-27 2021-09-14 湖南大学 一种基于单目rgb相机回归深度信息的6d位姿估计方法
CN113436240A (zh) * 2021-06-22 2021-09-24 同济大学 一种基于域适应的复杂环境下的单目图像深度估计方法
CN113450408A (zh) * 2021-06-23 2021-09-28 中国人民解放军63653部队 一种基于深度相机的非规则物体位姿估计方法及装置
CN114119753A (zh) * 2021-12-08 2022-03-01 北湾科技(武汉)有限公司 面向机械臂抓取的透明物体6d姿态估计方法
CN114821125A (zh) * 2022-04-08 2022-07-29 华南理工大学 一种物体六自由度姿态估计方法、系统、装置及介质
WO2022178952A1 (zh) * 2021-02-25 2022-09-01 湖南大学 一种基于注意力机制和霍夫投票的目标位姿估计方法及系统
CN115147491A (zh) * 2022-09-02 2022-10-04 山东西曼克技术有限公司 用于agv小车的搬运目标位姿信息估计方法
CN115222810A (zh) * 2021-06-30 2022-10-21 达闼科技（北京）有限公司 目标位姿估计方法、装置、计算设备及存储介质
CN117593618A (zh) * 2024-01-18 2024-02-23 苏州立创致恒电子科技有限公司 基于神经辐射场和深度图的点云生成方法
WO2024065343A1 (zh) * 2022-09-29 2024-04-04 中国科学院深圳先进技术研究院 术前术中肝脏点云数据配准系统、方法、终端以及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015005577A1 (ko) * 2013-07-09 2015-01-15 삼성전자 주식회사 카메라 포즈 추정 장치 및 방법
CN109801337A (zh) * 2019-01-21 2019-05-24 同济大学 一种基于实例分割网络和迭代优化的6d位姿估计方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015005577A1 (ko) * 2013-07-09 2015-01-15 삼성전자 주식회사 카메라 포즈 추정 장치 및 방법
CN109801337A (zh) * 2019-01-21 2019-05-24 同济大学 一种基于实例分割网络和迭代优化的6d位姿估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张凯霖;张良: "复杂场景下基于C-SHOT特征的3D物体识别与位姿估计" *

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111899301A (zh) * 2020-06-02 2020-11-06 广州中国科学院先进技术研究所 一种基于深度学习的工件6d位姿估计方法
CN111667535A (zh) * 2020-06-04 2020-09-15 电子科技大学 一种针对遮挡场景下的六自由度位姿估计方法
CN112233181A (zh) * 2020-10-29 2021-01-15 深圳市广宁股份有限公司 6d位姿识别的方法、装置及计算机存储介质
CN112396655A (zh) * 2020-11-18 2021-02-23 哈尔滨工程大学 一种基于点云数据的船舶目标6d位姿估计方法
CN112465908A (zh) * 2020-11-30 2021-03-09 深圳市优必选科技股份有限公司 一种物体定位方法、装置、终端设备及存储介质
CN112465908B (zh) * 2020-11-30 2023-09-22 深圳市优必选科技股份有限公司 一种物体定位方法、装置、终端设备及存储介质
CN112598735A (zh) * 2020-12-21 2021-04-02 西北工业大学 一种融合三维模型信息的单张图像物体位姿估计方法
CN112598735B (zh) * 2020-12-21 2024-02-27 西北工业大学 一种融合三维模型信息的单张图像物体位姿估计方法
CN112562001A (zh) * 2020-12-28 2021-03-26 中山大学 一种物体6d位姿估计方法、装置、设备及介质
CN112562001B (zh) * 2020-12-28 2023-07-21 中山大学 一种物体6d位姿估计方法、装置、设备及介质
CN112819890A (zh) * 2021-01-07 2021-05-18 北京百度网讯科技有限公司 三维物体检测方法、装置、设备及存储介质
CN112836734A (zh) * 2021-01-27 2021-05-25 深圳市华汉伟业科技有限公司 一种异源数据融合方法及装置、存储介质
WO2022178952A1 (zh) * 2021-02-25 2022-09-01 湖南大学 一种基于注意力机制和霍夫投票的目标位姿估计方法及系统
CN113012122A (zh) * 2021-03-11 2021-06-22 复旦大学 一种类别级6d位姿与尺寸估计方法及装置
CN113012122B (zh) * 2021-03-11 2022-07-29 复旦大学 一种类别级6d位姿与尺寸估计方法及装置
CN113221647A (zh) * 2021-04-08 2021-08-06 湖南大学 一种融合点云局部特征的6d位姿估计方法
CN113221647B (zh) * 2021-04-08 2022-05-17 湖南大学 一种融合点云局部特征的6d位姿估计方法
CN113393522A (zh) * 2021-05-27 2021-09-14 湖南大学 一种基于单目rgb相机回归深度信息的6d位姿估计方法
CN113223181A (zh) * 2021-06-02 2021-08-06 广东工业大学 一种弱纹理物体位姿估计方法
CN113436240A (zh) * 2021-06-22 2021-09-24 同济大学 一种基于域适应的复杂环境下的单目图像深度估计方法
CN113450408A (zh) * 2021-06-23 2021-09-28 中国人民解放军63653部队 一种基于深度相机的非规则物体位姿估计方法及装置
CN113450408B (zh) * 2021-06-23 2022-10-25 中国人民解放军63653部队 一种基于深度相机的非规则物体位姿估计方法及装置
CN115222810A (zh) * 2021-06-30 2022-10-21 达闼科技（北京）有限公司 目标位姿估计方法、装置、计算设备及存储介质
WO2023273271A1 (zh) * 2021-06-30 2023-01-05 达闼科技（北京）有限公司 目标位姿估计方法、装置、计算设备、存储介质及计算机程序
CN114119753A (zh) * 2021-12-08 2022-03-01 北湾科技(武汉)有限公司 面向机械臂抓取的透明物体6d姿态估计方法
CN114821125A (zh) * 2022-04-08 2022-07-29 华南理工大学 一种物体六自由度姿态估计方法、系统、装置及介质
CN114821125B (zh) * 2022-04-08 2024-05-14 跨维(深圳)智能数字科技有限公司 一种物体六自由度姿态估计方法、系统、装置及介质
CN115147491A (zh) * 2022-09-02 2022-10-04 山东西曼克技术有限公司 用于agv小车的搬运目标位姿信息估计方法
WO2024065343A1 (zh) * 2022-09-29 2024-04-04 中国科学院深圳先进技术研究院 术前术中肝脏点云数据配准系统、方法、终端以及存储介质
CN117593618A (zh) * 2024-01-18 2024-02-23 苏州立创致恒电子科技有限公司 基于神经辐射场和深度图的点云生成方法
CN117593618B (zh) * 2024-01-18 2024-04-05 苏州立创致恒电子科技有限公司 基于神经辐射场和深度图的点云生成方法

Also Published As

Publication number Publication date
CN111179324B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN111179324B (zh) 基于颜色和深度信息融合的物体六自由度位姿估计方法
CN113450408B (zh) 一种基于深度相机的非规则物体位姿估计方法及装置
CN111080693A (zh) 一种基于YOLOv3的机器人自主分类抓取方法
CN110852182B (zh) 一种基于三维空间时序建模的深度视频人体行为识别方法
CN113065546B (zh) 一种基于注意力机制和霍夫投票的目标位姿估计方法及系统
CN113012122B (zh) 一种类别级6d位姿与尺寸估计方法及装置
WO2017099097A1 (en) Method and system for detecting and localizing object and slam method
CN110910451B (zh) 一种基于变形卷积网络的物体位姿估计方法及系统
CN111507222A (zh) 一种基于多源数据知识迁移的三维物体检测框架
CN115588190A (zh) 一种成熟果实识别和采摘点定位方法及装置
Luo et al. Grasp detection based on faster region cnn
CN113129370B (zh) 结合生成数据和无标注数据的半监督物体位姿估计方法
CN116152334A (zh) 图像处理方法及相关设备
CN113724329A (zh) 融合平面与立体信息的目标姿态估计方法、系统和介质
KR20090086660A (ko) 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터구조 및그를 이용한 처리방법
CN117351078A (zh) 基于形状先验的目标尺寸与6d姿态估计方法
CN117011380A (zh) 一种目标物体的6d位姿估计方法
CN116843754A (zh) 一种基于多特征融合的视觉定位方法及系统
Zhang et al. Depth Monocular Estimation with Attention-based Encoder-Decoder Network from Single Image
CN115272450A (zh) 一种基于全景分割的目标定位方法
Li et al. Ctmu-net: an improved u-net for semantic segmentation of remote-sensing images based on the combined attention mechanism
Fan et al. Faster 3D Reconstruction by Fusing 2D Object Detection and Self-Supervised Monocular Depth Estimation
Du et al. Pose Measurement Method of Non-cooperative Targets Based on Semantic Segmentation
CN117576489B (zh) 智能机器人鲁棒实时目标感知方法、装置、设备及介质
CN116596996B (zh) 一种用于苹果果实空间位姿信息的获取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Chen Qijun

Inventor after: Zhou Guangliang

Inventor after: Wang Deming

Inventor after: Liu Chengju

Inventor before: Chen Qijun

Inventor before: Zhou Guangliang

Inventor before: Wang Deming

Inventor before: Wang Yan

Inventor before: Liu Chengju

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant