CN113297988B - 一种基于域迁移和深度补全的物体姿态估计方法 - Google Patents
一种基于域迁移和深度补全的物体姿态估计方法 Download PDFInfo
- Publication number
- CN113297988B CN113297988B CN202110592716.5A CN202110592716A CN113297988B CN 113297988 B CN113297988 B CN 113297988B CN 202110592716 A CN202110592716 A CN 202110592716A CN 113297988 B CN113297988 B CN 113297988B
- Authority
- CN
- China
- Prior art keywords
- depth
- domain
- migration
- rgb
- posture estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013508 migration Methods 0.000 title claims abstract description 39
- 230000005012 migration Effects 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000004088 simulation Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 13
- 230000004927 fusion Effects 0.000 claims abstract description 11
- 238000005516 engineering process Methods 0.000 claims abstract description 9
- 230000008447 perception Effects 0.000 claims abstract description 6
- 238000013507 mapping Methods 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000002474 experimental method Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000002146 bilateral effect Effects 0.000 claims description 3
- 238000007670 refining Methods 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 2
- 230000000295 complement effect Effects 0.000 abstract description 5
- 238000002372 labelling Methods 0.000 abstract description 3
- 238000004519 manufacturing process Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 11
- 238000005070 sampling Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000002453 shampoo Substances 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于域迁移和深度补全的物体姿态估计方法，包括以下步骤：1）针对实验场景采集物体姿态估计真实数据集，利用仿真生成器生成物体姿态估计仿真数据集；2）基于领域自适应技术实现仿真数据到真实数据的迁移；3）利用迁移后的物体姿态估计数据集，训练基于感知融合的物体姿态估计网络；4）通过深度相机获取场景的颜色和深度信息，并补全深度信息；5）给定场景中的颜色图和补全后深度图，利用物体姿态估计训练结果，进行目标物体的姿态估计。本发明针对实物域制作数据集困难、深度相机获取深度信息失真等问题，通过域迁移来缓解数据采集与标注成本，使用深度补全来改善深度信息的质量，该方法具有对未知、复杂场景的泛化性能。
Description
技术领域
本发明属于机器人操作技能学习中的抓取检测领域，具体涉及一种基于域迁移和深度补全的物体姿态估计方法。
背景技术
在社会生产力日益发达的今天，随着物流运输、服务等行业的迅猛发展带来的大量需求，以处理视觉信息为代表的目标识别、实例分割以及抓取技术更加受到各行业的重视。因此，开发研制更加智能、精度更好以及更加稳定的机器人抓取系统变得尤为重要。而实现机器人的抓取，需要先进行物体的姿态估计，近些年来以深度学习为代表的物体姿态估计方法层出不穷，取得了不错的效果。但是，也存在着一些问题，其一是使用深度学习的方法往往需要大量的包括颜色信息和深度信息的数据集，而实物域有些场景难以采集且数据量有限，不容易大规模构建并进行标注，而仿真环境中产生的大规模数据集没有得到充分的利用；其二是虚-实域间存在偏差，如果在仿真域上训练后，不加迁移地直接用在实物域，会出现较大误差；其三是由于现有传感器的物理条件限制，在获取的深度数据中往往会出现一些无效或者失真的噪点使得物体姿态估计算法泛化困难。
发明内容
为解决上述问题，本发明公开了一种基于域迁移和深度补全的物体姿态估计方法，通过域迁移来缓解数据采集与标注的成本，同时使用深度补全来改善深度信息的质量，提高物体姿态估计模型对新物体、新场景的泛化性能。
为达到上述目的，本发明的技术方案如下：
一种基于域迁移和深度补全的物体姿态估计方法，包括如下步骤：
(1)通过RGB-D相机针对训练实验场景进行真实数据的采集，包括场景的颜色信息和深度信息，同时利用Blender生成的虚拟且高质量的带标签的物体姿态估计仿真数据集，采集的场景为桌面场景，目标物体为家庭常见物品，包括喷壶、洗发露等；
(2)构建基于生成对抗网络的领域自适应姿态估计RGB-D样本迁移网络模型，包括像素级领域自适应模块、循环一致性模块、内容一致性模块以及映射一致性模块，并且在给定的非配对仿真域样本及其标注和真实域样本上进行训练；
(3)构建基于感知融合的物体姿态估计主网络和迭代优化网络模型，并在迁移得到的物体姿态估计数据集上进行训练；
(4)通过RGB-D相机获取测试实验场景中的颜色信息和深度信息，利用基于ClearGrasp 的深度补全技术来对原始深度图进行补全，从而改善深度信息的质量；
(5)根据在迁移得到的数据集上训练的物体姿态估计网络模型，使用给定的测试场景中的颜色图和进行深度补全后的深度图，来进行场景中的目标物体的姿态估计。
步骤(2)所述的基于生成对抗网络的领域自适应姿态估计RGB-D样本迁移网络模型主要包括像素级领域自适应模块、循环一致性模块、内容一致性模块以及映射一致性模块，具体内容如下：
(1)像素级领域自适应模型：生成器GS→T将源域中的一张图片和一个噪声向量映射到一张假图片，判别器DT输出所输入给定图片属于源域的可能性，其域对抗损失函数为：
其中，表示从源域中采样Ns个带标签的样本组成的数据集，表示从目标域中采样Nt个无标签的样本组成的数据集。
(2)循环一致性模块：源域样本会经历从源域映射到目标域，再从目标域映射回源域的过程，从而得到假的原始样本，通过尽可能使假的目标样本靠近目标域样本，假的原始样本靠近原始样本，即GT→S(GS→T(xs))≈xs，GS→T(GT→S(xt))≈xt，其损失定义为：
其中，表示从源域中采样Ns个带标签的样本组成的数据集，表示从目标域中采样Nt个无标签的样本组成的数据集。
(3)内容一致性模块：通过计算成对均方误差来衡量迁移前后样本的像素对之间的差异，而不是输入和输出的绝对差异，其损失定义为：
其中，k为输入样本XS中像素的个数，是L2范数的平方，/>是Hadamard乘积。
(4)映射一致性模块：将源域样本作为从目标域到源域迁移的输入，最小化生成的伪源域样本和原源域样本的损失，同时，在循环结构中，对于从源域到目标域的迁移中，将目标域样本作为从源域到目标域迁移的输入，最小化生成的伪目标域样本和原目标域样本的损失，其损失定义为：
其中，G(y)是伪源域样本，y是原源域样本，F(x)是伪目标域样本，x是原目标域样本。
步骤(3)所述的基于感知融合的物体姿态估计网络模型，包括用来预测物体初始姿态的主网络和对初始姿态进行优化的迭代优化网络，具体步骤如下：
(1)对于输入的RGB图像进行语义分割，提取当前要进行姿态估计的物体目标掩码Mrgb, 利用物体掩码确定物体在深度图中的位置Pdepth。为保留目标物体的空间特征，此处需要把目标物体深度图中的掩码根据相机内参转化为点云；
(2)通过全卷积神经网络，将Mrgb中的每一个像素信息映射为Frgb。使用PointNet将点云映射为带有几何信息Fcloud。把Frgb和Fcloud进行像素级的融合，然后对每一个融合的特征进行姿态的估算，同时添加一个置信度评分ci的预测，采用自监督的方式，在所有的预测结果中，寻找最好的结果集合，将集合内各结果的加权平均值作为姿态预测的最后结果，并将得到的姿态预测结果采用迭代优化网络进行提炼优化。其中，针对非对称物体，每一个融合像素的损失定义为：
针对对称物体，损失函数定义如下：
对于以上两式中，xj为从物体的3D模型上随机采样的M个3D点中的第j个点,xk为物体 3D模型上选取的第k个点,[R|t]为物体真实旋转和平移的位姿，是从第i个融合像素中预测得到的物体旋转和平移的位姿预测值。
对所有的像素级的姿态预测值进行优化，并为每个像素级姿态估计的损失与其置信度ci进行加权，得到最终的损失函数如下：
其中，N是从分割的P个元素中随机采样的稠密像素特征的个数，w是超参数。
为了缓解对单一的最高置信度的依赖，选取在一定范围内的置信度集合，并赋予集合内的每个置信度所对应的姿态估计相应的权值，之后进行求和。表达式如下：
其中，l是选取的一定范围内的置信度集合内元素的个数，即l＝COUNT(ci＞ciH-X)， ciH为最高置信度，X为设定的范围。Rf是最终的预测旋转矩阵，Rpl是选取置信度集合内第 l个预测的旋转矩阵，tf是最终的预测平移矩阵，tpl是选取得置信度集合内第l个预测的平移矩阵。同时，设置权值
步骤(4)所述的基于ClearGrasp的深度补全技术具体流程如下：
(1)对获取的原始颜色信息和深度信息进行规范化处理；
(2)根据实例分割结果，修饰对应的目标物体的深度信息；
(3)根据颜色信息进行表面法向量估计和边缘识别；
(4)应用depth2depth算法进行全局优化，双边滤波后得到补全后的深度图。
本发明的有益效果是：
1.针对实物域样本难以采集的问题，本发明采用迁移学习中的域自适应技术，在仿真域和实物域数据集上同时训练模型且实物域无需标注，借助生成对抗网络进行对抗学习提取域自适应特征，实现对实物域数据的姿态估计稳定性预测。可以有效利用海量的仿真数据集信息，并且实物域无需标签，取代了繁杂的扫描重建任务，提高了泛化能力且经济实用。
2.本发明针对原有的DenseFusion物体姿态估计方法，选取在一定范围内的置信度集合，并赋予集合内的每个置信度所对应的姿态估计相应的权值，之后进行求和，以此来缓解原方法对单一的最高置信度的依赖性，提高了物体姿态估计的稳定性和效果。
3.针对深度相机因物理条件限制以及物体遮挡使得获取的深度信息失真的问题，本发明采用基于ClearGrasp的深度补全技术，改善原始深度信息的质量，提高物体姿态估计模型对新物体、新场景的适应性。
附图说明
图1为本发明的整体流程图；
图2为Blender仿真数据生成器生成的仿真图像；
图3为领域自适应姿态估计RGB-D样本迁移网络模型架构图；
图4为进行域迁移之后的结果示意图；
图5为DenseFusion模型架构图；
图6为深度补全效果示意图；
图7为物体姿态估计结果示意图。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
图1为本发明的整体流程图，本发明公开了一种基于域迁移和深度补全的物体姿态估计方法，包括五个步骤：
步骤1，针对训练实验场景采集真实数据集，同时利用仿真数据生成器生成带有标注的仿真数据集；
步骤2，基于领域自适应技术，实现带有标注的仿真数据集到真实场景数据的迁移；
步骤3，利用迁移得到的物体姿态估计数据集，训练改进的基于感知融合的物体姿态估计网络；
步骤4，通过RGB-D相机获取机器人抓取测试场景的颜色信息和深度信息，并对采集到的深度信息进行深度补全处理；
步骤5，给定场景中的颜色图以及深度补全后的深度图，利用物体姿态估计网络训练结果，进行场景中目标物体的姿态估计。
本发明的实施，需要用到RGB-D深度传感器和GPU，具体实施过程中采用的是带有Geforce 2080Ti GPU的台式机一个、RealSense深度相机一个。
本发明所公开的方法，具体包括以下几个步骤：
步骤1，采集真实数据集，同时利用仿真数据生成器生成仿真数据集；
利用RGB-D深度相机采集实验场景的颜色和深度信息，利用Blender仿真数据生成器来生成高质量的带有标注的仿真数据，如图2所示，左侧为生成的颜色图，右侧为生成的深度图。
步骤2，基于领域自适应技术，实现带有标注的仿真数据集到真实场景数据的迁移；
如图3所示，为领域自适应姿态估计RGB-D样本迁移网络模型架构图，图4为迁移之后的效果图。
步骤2具体包括以下4个子步骤，具体实施方法如下：
(211)像素级领域自适应模型：生成器GS→T将源域中的一张图片和一个噪声向量映射到一张假图片，判别器DT输出所输入给定图片属于源域的可能性，其域对抗损失函数为：
其中，表示从源域中采样Ns个带标签的样本组成的数据集，表示从目标域中采样Nt个无标签的样本组成的数据集。
(212)循环一致性模块：源域样本会经历从源域映射到目标域，再从目标域映射回源域的过程，从而得到假的原始样本，通过尽可能使假的目标样本靠近目标域样本，假的原始样本靠近原始样本，即GT→S(GS→T(xs))≈xs，GS→T(GT→S(xt))≈xt，其损失定义为：
其中，表示从源域中采样Ns个带标签的样本组成的数据集，表示从目标域中采样Nt个无标签的样本组成的数据集。
(213)内容一致性模块：通过计算成对均方误差来衡量迁移前后样本的像素对之间的差异，而不是输入和输出的绝对差异，其损失定义为：
其中，k为输入样本XS中像素的个数，是L2范数的平方，/>是Hadamard乘积。
(214)映射一致性模块：将源域样本作为从目标域到源域迁移的输入，最小化生成的伪源域样本和原源域样本的损失，同时，在循环结构中，对于从源域到目标域的迁移中，将目标域样本作为从源域到目标域迁移的输入，最小化生成的伪目标域样本和原目标域样本的损失，其损失定义为：
其中，G(y)是伪源域样本，y是原源域样本，F(x)是伪目标域样本，x是原目标域样本。
步骤3，利用迁移得到的物体姿态估计数据集，训练改进的基于感知融合的物体姿态估计网络；
DenseFusion网络结构示意图如图5所示，上侧为主网络结构图，下侧为迭代优化网络结构图。
步骤3具体包括以下2个子步骤，具体实施方法如下：
(311)对于输入的RGB图像进行语义分割，提取当前要进行姿态估计的物体目标掩码 Mrgb,利用物体掩码确定物体在深度图中的位置Pdepth。为保留目标物体的空间特征，此处需要把目标物体深度图中的掩码根据相机内参转化为点云；
(312)通过全卷积神经网络，将Mrgb中的每一个像素信息映射为Frgb。使用PointNet将点云映射为带有几何信息Fcloud。把Frgb和Fcloud进行像素级的融合，然后对每一个融合的特征进行姿态的估算，同时添加一个置信度评分ci的预测，采用自监督的方式，在所有的预测结果中，寻找最好的结果集合，将集合内各结果的加权平均值作为姿态预测的最后结果，并将得到的姿态预测结果采用迭代优化网络进行提炼优化。
步骤4，通过RGB-D相机获取机器人抓取测试场景的颜色信息和深度信息，并对采集到的深度信息进行深度补全处理；
如图6所示，为深度补全之后的效果示意图,左侧为原始深度图，右侧为补全后的深度图。
步骤4具体包括以下4个子步骤，具体实施方法如下：
(411)原始数据处理：首先，将输入的颜色图和深度图尺寸大小调整到设定值。之后，将深度信息中的无效点、噪点等设为零。同时根据设置的最大深度值和最小深度值将深度图中不在此范围的点限制在此范围。需要注意的是，限制深度值的做法会导致输入深度的失真，从而可能会影响深度补全的结果。对原始数据的处理是为了方便之后对颜色信息和深度信息的使用。
(412)修饰深度信息：对输入的颜色信息上的目标物体进行分割，然后根据得到的结果将深度信息上的构成对应目标物体的点设为空值。由此得到了具有一些空洞(目标物体所处位置)的深度图，并进行一定程度上的滤波处理(去除比较靠近相机的像素点)。
(413)表面法向量估计和边缘识别：在经过上述的处理步骤后，接下来利用从对齐的颜色图中提取的信息来补全深度图，即根据颜色信息得到表面法向量的估计和遮挡的边界。其中，表面法向量表示了相邻像素之间的深度关系，而遮挡边界表示了深度不连续的区域。
(414)应用depth2depth算法：在得到上述的两个信息(表面法向量和遮挡边界)之后，将其与深度信息相结合，使用depth2depth算法，进行全局优化，然后进行双边滤波，得到补全后的深度图。
步骤5，给定场景中的颜色图以及深度补全后的深度图，利用物体姿态估计网络训练结果，进行场景中目标物体的姿态估计；
如图7所示，为对目标物体的姿态估计结果示意图。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。
Claims (4)
1.一种基于域迁移和深度补全的物体姿态估计方法，其特征在于，包括如下步骤：
步骤1，通过RGB-D相机针对训练实验场景进行可用于物体姿态估计的真实数据的采集，同时利用仿真数据生成器来生成可用于物体姿态估计的仿真数据集；
步骤2，使用深度学习框架构建基于生成对抗网络的领域自适应姿态估计RGB-D样本迁移网络模型，并且在给定的非配对仿真域样本及其标注和真实域样本上进行训练；
其中基于生成对抗网络的领域自适应姿态估计RGB-D样本迁移网络模型，包括像素级领域自适应模块、循环一致性模块、内容一致性模块以及映射一致性模块，具体内容如下：
(1)像素级领域自适应模型包括将源域中的一张图片和一个噪声向量映射到一张假图片的生成器GS→T和输出所输入给定图片属于源域的可能性的判别器DT；
(2)循环一致性模块是为了保证生成样本和源域样本的一致性，即RGB-D姿态估计数据集迁移过程中物体的类别形状、姿态和整体风格保持不变；
(3)内容一致性模块是通过计算成对均方误差来衡量迁移前后样本的像素对之间的差异，而不是输入和输出的绝对差异；
(4)映射一致性模块是为了保证生成样本和目标域样本的风格相似；
步骤3，使用深度学习框架构建基于感知融合的物体姿态估计主网络和迭代优化网络模型，并在迁移得到的物体姿态估计数据集上进行训练；
步骤4，通过RGB-D相机获取测试实验场景中的颜色信息和深度信息，利用基于ClearGrasp的深度补全技术来对原始深度图进行补全，从而改善深度信息的质量；
步骤5，根据在迁移得到的数据集上训练的物体姿态估计网络模型，使用给定的测试场景中的颜色图和进行深度补全后的深度图，来进行场景中的目标物体的姿态估计。
2.根据权利要求1所述的一种基于域迁移和深度补全的物体姿态估计方法，其特征在于，步骤1中的真实数据为RGB-D相机针对真实实验场景获取的颜色信息和深度信息组成的数据集，仿真数据为利用Blender生成的虚拟且高质量的带标签的物体姿态估计虚拟数据集。
3.根据权利要求1所述的一种基于域迁移和深度补全的物体姿态估计方法，其特征在于，步骤3所述的基于感知融合的物体姿态估计方法，具体步骤如下：
(1)对于输入的RGB图像进行语义分割，提取当前要进行姿态估计的物体目标掩码Mrgb，利用物体掩码确定物体在深度图中的位置Pdepth；为保留目标物体的空间特征，此处需要把目标物体深度图中的掩码根据相机内参转化为点云；
(2)通过全卷积神经网络，将Mrgb中的每一个像素信息映射为Frgb，使用PointNet将点云映射为带有几何信息Fcloud，把Frgb和Fcloud进行像素级的融合，然后对每一个融合的特征进行姿态的估算，同时添加一个置信度评分ci的预测，采用自监督的方式，在所有的预测结果中，寻找最好的结果集合，将集合内各结果的加权平均值作为姿态预测的最后结果；
(3)对步骤(2)中得到的姿态预测结果采用迭代优化网络进行提炼优化。
4.根据权利要求1所述的一种基于域迁移和深度补全的物体姿态估计方法，其特征在于，步骤4所述的深度补全过程如下：首先，对获取的原始颜色信息和深度信息进行规范化处理；之后，根据实例分割结果，修饰对应的目标物体的深度信息；然后，根据颜色信息进行表面法向量估计和边缘识别；最后，应用depth2depth算法进行全局优化，双边滤波后得到补全后的深度图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110592716.5A CN113297988B (zh) | 2021-05-28 | 2021-05-28 | 一种基于域迁移和深度补全的物体姿态估计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110592716.5A CN113297988B (zh) | 2021-05-28 | 2021-05-28 | 一种基于域迁移和深度补全的物体姿态估计方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113297988A CN113297988A (zh) | 2021-08-24 |
| CN113297988B true CN113297988B (zh) | 2024-03-22 |
Family
ID=77325945
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110592716.5A Active CN113297988B (zh) | 2021-05-28 | 2021-05-28 | 一种基于域迁移和深度补全的物体姿态估计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113297988B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115222871B (zh) * | 2021-08-31 | 2023-04-18 | 达闼科技（北京）有限公司 | 模型评估方法、装置、存储介质及电子设备 |
| CN114882168B (zh) * | 2022-04-08 | 2023-04-18 | 清华大学 | 一种基于视觉的触觉传感器的数字孪生方法及装置 |
| CN114997047B (zh) * | 2022-05-26 | 2024-05-14 | 电子科技大学 | 一种基于循环生成对抗网络的电磁频谱信息补全方法 |
| CN116704097B (zh) * | 2023-06-07 | 2024-03-26 | 好易购家庭购物有限公司 | 基于人体姿态一致性和纹理映射的数字化人形象设计方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018185104A1 (fr) * | 2017-04-06 | 2018-10-11 | B<>Com | Procede d'estimation de pose, dispositif, systeme et programme d'ordinateur associes |
| CN111739115A (zh) * | 2020-06-23 | 2020-10-02 | 中国科学院自动化研究所 | 基于循环一致性的无监督人体姿态迁移方法、系统及装置 |
| CN112489117A (zh) * | 2020-12-07 | 2021-03-12 | 东南大学 | 一种单视角点云下基于域迁移的机器人抓取位姿检测方法 |
-
2021
- 2021-05-28 CN CN202110592716.5A patent/CN113297988B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018185104A1 (fr) * | 2017-04-06 | 2018-10-11 | B<>Com | Procede d'estimation de pose, dispositif, systeme et programme d'ordinateur associes |
| CN111739115A (zh) * | 2020-06-23 | 2020-10-02 | 中国科学院自动化研究所 | 基于循环一致性的无监督人体姿态迁移方法、系统及装置 |
| CN112489117A (zh) * | 2020-12-07 | 2021-03-12 | 东南大学 | 一种单视角点云下基于域迁移的机器人抓取位姿检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113297988A (zh) | 2021-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113297988B (zh) | 一种基于域迁移和深度补全的物体姿态估计方法 | |
| CN106547880B (zh) | 一种融合地理区域知识的多维度地理场景识别方法 | |
| CN110348330B (zh) | 基于vae-acgan的人脸姿态虚拟视图生成方法 | |
| CN112102472B (zh) | 稀疏三维点云稠密化方法 | |
| CN114255238A (zh) | 一种融合图像特征的三维点云场景分割方法及系统 | |
| CN111325750B (zh) | 一种基于多尺度融合u型链神经网络的医学图像分割方法 | |
| CN109299303B (zh) | 基于可变形卷积与深度网络的手绘草图检索方法 | |
| CN113705371B (zh) | 一种水上视觉场景分割方法及装置 | |
| CN113065546A (zh) | 一种基于注意力机制和霍夫投票的目标位姿估计方法及系统 | |
| CN108280488A (zh) | 基于共享神经网络的可抓取物体识别方法 | |
| CN110853070A (zh) | 基于显著性与Grabcut的水下海参图像分割方法 | |
| CN113516126A (zh) | 一种基于注意力特征融合的自适应阈值场景文本检测方法 | |
| CN111368733B (zh) | 一种基于标签分布学习的三维手部姿态估计方法、存储介质及终端 | |
| CN115410081A (zh) | 一种多尺度聚合的云和云阴影辨识方法、系统、设备及存储介质 | |
| CN115565203A (zh) | 一种跨模态弱监督的三维人体姿态估计方法及系统 | |
| CN115880720A (zh) | 一种基于置信度分享的无标注场景自适应人体姿态和外形估计方法 | |
| CN116958420A (zh) | 一种数字人教师三维人脸的高精度建模方法 | |
| Deepa et al. | FHGSO: Flower Henry gas solubility optimization integrated deep convolutional neural network for image classification | |
| CN116704316A (zh) | 基于阴影图像重构的变电站渗漏油检测方法、系统及介质 | |
| CN117078956A (zh) | 一种基于点云多尺度并行特征提取和注意力机制的点云分类分割网络 | |
| CN116486408A (zh) | 遥感图像跨域语义分割方法及装置 | |
| Wang et al. | Self-supervised learning for high-resolution remote sensing images change detection with variational information bottleneck | |
| CN108765384B (zh) | 一种联合流形排序和改进凸包的显著性检测方法 | |
| He et al. | Building extraction based on U-net and conditional random fields | |
| Zhang | [Retracted] An Intelligent and Fast Dance Action Recognition Model Using Two‐Dimensional Convolution Network Method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |