CN112614184A - 基于2d检测的物体6d姿态估计方法、装置及计算机设备 - Google Patents
基于2d检测的物体6d姿态估计方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN112614184A CN112614184A CN202011581497.2A CN202011581497A CN112614184A CN 112614184 A CN112614184 A CN 112614184A CN 202011581497 A CN202011581497 A CN 202011581497A CN 112614184 A CN112614184 A CN 112614184A
- Authority
- CN
- China
- Prior art keywords
- target object
- key point
- detection
- rgb image
- posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000004044 response Effects 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请提出一种基于2D检测的物体6D姿态估计方法、装置、计算机设备和存储介质。其中，方法包括：响应于针对单张RGB图像的物体6D姿态估计请求，从单张RGB图像中裁剪出目标物体所在的图像区域；获取图像区域之中目标物体的2D关键点坐标；以及根据目标物体的2D关键点坐标和已知目标物体三维模型上对应关键点的三维点坐标进行匹配，以计算出目标物体的6D姿态。本申请可以减少背景信息的干扰，提升6D姿态估计的准确率。
Description
技术领域
本申请涉及图像处理领域，尤其涉及一种基于2D检测的物体6D姿态估计方法、装置、计算机设备和存储介质。
背景技术
物体的6D(6维)姿态估计的目的是检测物体并估计其相对于标准帧的方向和平移。其中，6D姿态包括三个维度的旋转和三个维度的平移。在增强现实，自动驾驶和机器人操作中，6D姿态估计都起到非常重要的作用。但是，从单张RGB(一种包含红、绿、蓝三色的色彩模式)图像预测物体的6D姿态困难之处在于物体之间的相互遮挡以及背景信息的干扰。因此，如何避免背景信息的干扰以提升6D姿态估计的准确率，已经成为亟待解决的问题。
发明内容
本申请的目的旨在至少在一定程度上解决上述的技术问题之一。
为此，本申请的第一个目的在于提出一种基于2D检测的物体6D姿态估计方法，可以减少背景信息的干扰，提升6D姿态估计的准确率。
本申请的第二个目的在于提出一种基于2D检测的物体6D姿态估计装置。
本申请的第三个目的在于提出一种计算机设备。
本申请的第四个目的在于提出一种非临时性计算机可读存储介质。
本申请的第五个目的在于提出一种计算机程序产品。
为达上述目的，本申请第一方面实施例提出了一种基于2D检测的物体6D姿态估计方法，包括：
响应于针对单张RGB图像的物体6D姿态估计请求，从所述单张RGB图像中裁剪出目标物体所在的图像区域；
获取所述图像区域之中所述目标物体的2D关键点坐标；以及
根据所述目标物体的2D关键点坐标和已知目标物体三维模型上对应关键点的三维点坐标进行匹配，以计算出所述目标物体的6D姿态。
本申请第二方面实施例提出了一种基于2D检测的物体6D姿态估计装置，包括：
第一获取模块，用于响应于针对单张RGB图像的物体6D姿态估计请求，从所述单张RGB图像中裁剪出目标物体所在的图像区域；
第二获取模块，用于获取所述图像区域之中所述目标物体的2D关键点坐标；以及
估计模块，用于根据所述目标物体的2D关键点坐标和已知目标物体三维模型上对应关键点的三维点坐标进行匹配，以计算出所述目标物体的6D姿态。
本申请第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现本申请第一方面实施例所述的基于2D检测的物体6D姿态估计方法。
本申请第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请第一方面实施例所述的基于2D检测的物体6D姿态估计方法。
本申请第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，执行本申请第一方面实施例所述的基于2D检测的物体6D姿态估计方法。
根据本申请实施例的技术方案，通过从单张完整的RGB图像中裁剪出目标物体所在的图像区域，并利用该目标物体所在的图像区域进行2D关键点的预测，并利用预测的2D关键点和已知的3D关键点进行匹配最终计算出物体的6D姿态。由此，本申请通过从单张完整的RGB图像中裁剪出目标物体所在的图像区域，可以排除掉背景信息干扰，可以更加有效应对遮挡问题，利用该图像区域进行2D关键点的预测，可以提高关键点估计的准确性，从而可以提高6D姿态估计的准确性。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例所提供的一种基于2D检测的物体6D姿态估计方法的流程示意图；
图2是根据本申请实施例的关键点检测网络的训练流程图；
图3是根据本申请一个实施例的基于2D检测的物体6D姿态估计装置的结构框图；
图4是根据本申请一个实施例的计算机设备的结构框图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的基于2D检测的物体6D姿态估计方法、装置、计算机设备和存储介质。
图1为本申请实施例所提供的一种基于2D检测的物体6D姿态估计方法的流程示意图。需要说明的是，本申请实施例的基于2D检测的物体6D姿态估计方法可应用于本申请实施例的基于2D检测的物体6D姿态估计装置，该物体6D姿态估计装置被配置于计算机设备上。如图1所示，该基于2D检测的物体6D姿态估计方法可以包括如下步骤。
在步骤101中，响应于针对单张RGB图像的物体6D姿态估计请求，从单张RGB图像中裁剪出目标物体所在的图像区域。
也就是说，在接收到针对单张RGB图像的物体6D姿态估计请求时，可从该单张RGB图像中裁剪出目标物体所在的图像区域，以排除掉其他背景信息的干扰。
在一些实施例中，可将单张RGB图像输入至预先训练的目标物体检测器，获得目标物体在单张RGB图像之中的位置、以及针对目标物体的边界预测框，并根据目标物体在单张RGB图像之中的位置、以及目标物体的边界预测框，从单张RGB图像之中裁剪出目标物体所在的图像区域。
也就是说，可利用预先训练好的目标物体检测器定位出目标物体在该单张RGB图像之中的位置以及针对目标物体的边界预测框，这样，可基于目标物体在单张RGB图像之中的位置、以及目标物体的边界预测框，从单张RGB图像之中裁剪出目标物体所在的图像区域。
需要说明的是，在本申请实施例中，可利用目标检测网络来训练该目标物体检测器。例如，可利用数据集中提供的bounding box(物体的边界框)标注训练检测器，这样，通过检测器不仅可以定位目标物体在图像中的位置，还可以根据预测的bounding box裁剪出目标物体所在的图像区域，进而排除了其他背景信息的干扰。其中，训练该目标物体检测器时所选用的目标检测算法可为Faster RCNN网络。
在步骤102中，获取图像区域之中目标物体的2D关键点坐标。
在一些实施例中，可将该图像区域输入至预设的关键点检测网络中，预测目标物体的2D关键点坐标。其中，该关键点检测网络是使用已知训练集中的2D关键点坐标和3D关键点坐标标注训练的。需要说明的是，该已知训练集可以是已经公开的数据集。
还需要说明的是，在将该图像区域输入至预设的关键点检测网络之前，可对该图像区域进行一些处理，比如尺寸调整等，之后，可将经过处理后的图像区域输入至预设的关键点检测网络。由此，通过对该图像区域进行处理，可以使其满足关键点检测网络的输入要求，还可以提高检测结果的准确性。
在步骤103中，根据目标物体的2D关键点坐标和已知目标物体三维模型上对应关键点的三维点坐标进行匹配，以计算出目标物体的6D姿态。
在一些实施例中，根据目标物体的2D关键点坐标和已知目标物体三维模型上对应关键点的三维点坐标，使用PnP算法计算目标物体的6D姿态。需要说明的是，已知目标物体三维模型上的三维关键点可以是已知训练集中的三维关键点。
也就是说，根据目标物体的2D关键点坐标和已知目标物体三维模型上对应关键点的三维点坐标，根据2D关键点和3D关键点的对应关系，使用PnP算法计算目标物体的6D姿态。
需要说明的是，上述关键点检测网络可以是使用像素级投票神经网络PVNet预先训练而得到的。可选地，在本申请一些实施例中，如图2所示，关键点检测网络可以通过以下步骤预先训练获得：
步骤201，将单张RGB图像样本输入至像素级投票神经网络PVNet回归得到语义分割结果和像素级预测单位方向向量。
其中，在本实施例中，具体单位方向向量的定义为：
对于一个像素p，网络输出与其相关联的对象标签和代表从像素p到物体2D关键点
的单位方向向量；Vk(p)定义为:
步骤202，根据语义分割结果找到目标对象的像素，并随机选择两个像素，将选择的两个像素点对应的预测单位方向向量Vk(p)的交点作为关键点
的假设hk,i，重复N次以生成N个关键点的假设{hk,i|i＝1,2,3...,N}。
步骤203，对N个关键点的假设进行投票，以选出分数最高的假设作为对应关键点的2D坐标预测值。
其中，在本申请实施例中，对于假设hk,i投票的分数wk,i定义为：
其中，θ是一个阈值，p∈O表示像素点p属于物体O，选择分数最高的假设作为该关键点2D坐标预测值
步骤204，根据关键点的2D坐标预测值和已知训练集中对应2D关键点的坐标真实值，生成损失值。
可选地，利用交叉熵损失函数，计算该关键点的2D坐标预测值和已知训练集中对应2D关键点的坐标真实值之间的损失值。
步骤205，根据损失值训练像素级投票神经网络PVNet，获取网络参数，并基于网络参数形成关键点检测网络。
可选地，判断该损失值是否满足目标条件，若否，则调整像素级投票神经网络PVNet，以便对像素级投票神经网络PVNet继续训练；若该损失值满足目标条件，比如，该损失值小于目标损失值，或者，模型迭代次数达到预设次数，则认为像素级投票神经网络PVNet已经完成训练，讲该已经完成训练的像素级投票神经网络PVNet作为关键点检测网络。
为了进一步提高关键点检测网络的检测结果，从而可以提高6D姿态估计的准确率。可选地，在一些实施例中，可根据计算得到的目标物体的6D姿态与目标物体的真实6D姿态，生成针对6D姿态估计的损失值，并根据针对6D姿态估计的损失值，对关键点检测网络进行继续训练。也就是说，可通过将计算得到的目标物体的6D姿态与目标物体的真实6D姿态进行对比，计算两者的损失值，利用该损失值继续训练关键点检测网络，从而通过不断优化关键点检测网络，可以提高关键点检测网络的检测结果，进而可以提高6D姿态估计的准确率。
根据本申请实施例的基于2D检测的物体6D姿态估计方法，通过从单张完整的RGB图像中裁剪出目标物体所在的图像区域，并利用该目标物体所在的图像区域进行2D关键点的预测，并利用预测的2D关键点和已知的3D关键点进行匹配最终计算出物体的6D姿态。由此，本申请通过从单张完整的RGB图像中裁剪出目标物体所在的图像区域，可以排除掉背景信息干扰，可以更加有效应对遮挡问题，利用该图像区域进行2D关键点的预测，可以提高关键点估计的准确性，从而可以提高6D姿态估计的准确性。
为了实现上述实施例，本申请还提出了一种基于2D检测的物体6D姿态估计装置。
图3是根据本申请一个实施例的基于2D检测的物体6D姿态估计装置的结构框图。如图3所示，该基于2D检测的物体6D姿态估计装置300可以包括：第一获取模块310、第二获取模块320和估计模块330。
具体地，第一获取模块310用于响应于针对单张RGB图像的物体6D姿态估计请求，从单张RGB图像中裁剪出目标物体所在的图像区域。
在一些实施例中，第一获取模块310可将单张RGB图像输入至预先训练的目标物体检测器，获得目标物体在单张RGB图像之中的位置、以及针对目标物体的边界预测框；根据目标物体在单张RGB图像之中的位置、以及目标物体的边界预测框，从单张RGB图像之中裁剪出目标物体所在的图像区域。
第二获取模块320用于获取图像区域之中目标物体的2D关键点坐标。在一些实施例中，第二获取模块320将图像区域输入至预设的关键点检测网络中，预测目标物体的2D关键点坐标；其中，关键点检测网络是使用已知训练集中的2D关键点坐标和3D关键点坐标标注训练的。
在本申请一些实施例中，该关键点检测网络通过以下方式预先训练获得：将单张RGB图像样本输入至像素级投票神经网络PVNet回归得到语义分割结果和像素级预测单位方向向量；根据语义分割结果找到目标对象的像素，并随机选择两个像素，将选择的两个像素点对应的预测单位方向向量的交点作为关键点的假设，重复N次以生成N个关键点的假设；对N个关键点的假设进行投票，以选出分数最高的假设作为对应关键点的2D坐标预测值；根据关键点的2D坐标预测值和已知训练集中对应2D关键点的坐标真实值，生成损失值；根据损失值训练像素级投票神经网络PVNet，获取网络参数，并基于网络参数形成关键点检测网络。
估计模块330用于根据目标物体的2D关键点坐标和已知目标物体三维模型上对应关键点的三维点坐标进行匹配，以计算出目标物体的6D姿态。可选地，估计模块330根据目标物体的2D关键点坐标和已知目标物体三维模型上对应关键点的三维点坐标，使用PnP算法计算目标物体的6D姿态。
在一些实施例中，基于2D检测的物体6D姿态估计装置还可包括训练模块。训练模块用于根据计算得到的目标物体的6D姿态与目标物体的真实6D姿态，生成针对6D姿态估计的损失值；根据针对6D姿态估计的损失值，对关键点检测网络进行继续训练。
根据本申请实施例的基于2D检测的物体6D姿态估计装置，通过从单张完整的RGB图像中裁剪出目标物体所在的图像区域，并利用该目标物体所在的图像区域进行2D关键点的预测，并利用预测的2D关键点和已知的3D关键点进行匹配最终计算出物体的6D姿态。由此，本申请通过从单张完整的RGB图像中裁剪出目标物体所在的图像区域，可以排除掉背景信息干扰，可以更加有效应对遮挡问题，利用该图像区域进行2D关键点的预测，可以提高关键点估计的准确性，从而可以提高6D姿态估计的准确性。
为了实现上述实施例，本申请还提出了一种计算机设备。
图4是根据本申请一个实施例的计算机设备的结构框图。如图4所示，该计算机设备400包括存储器401、处理器402及存储在存储器401上并可在处理器402上运行的计算机程序403，处理器402执行程序403时，实现前述任一实施例所述的基于2D检测的物体6D姿态估计方法。
为了实现上述实施例，本申请还提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一实施例所述的基于2D检测的物体6D姿态估计方法。
为了实现上述实施例，本申请还提出了一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，执行前述任一实施例所述的基于2D检测的物体6D姿态估计方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于2D检测的物体6D姿态估计方法，其特征在于，包括：
响应于针对单张RGB图像的物体6D姿态估计请求，从所述单张RGB图像中裁剪出目标物体所在的图像区域；
获取所述图像区域之中所述目标物体的2D关键点坐标；以及
根据所述目标物体的2D关键点坐标和已知目标物体三维模型上对应关键点的三维点坐标进行匹配，以计算出所述目标物体的6D姿态。
2.根据权利要求1所述的方法，其特征在于，所述从所述单张RGB图像中裁剪出目标物体所在的图像区域，包括：
将所述单张RGB图像输入至预先训练的目标物体检测器，获得所述目标物体在所述单张RGB图像之中的位置、以及针对所述目标物体的边界预测框；
根据所述目标物体在所述单张RGB图像之中的位置、以及所述目标物体的边界预测框，从所述单张RGB图像之中裁剪出所述目标物体所在的图像区域。
3.根据权利要求1所述的方法，其特征在于，所述获取所述图像区域之中所述目标物体的2D关键点坐标，包括：
将所述图像区域输入至预设的关键点检测网络中，预测所述目标物体的2D关键点坐标；其中，所述关键点检测网络是使用已知训练集中的2D关键点坐标和3D关键点坐标标注训练的。
4.根据权利要求3所述的方法，其特征在于，所述关键点检测网络通过以下方式预先训练获得：
将单张RGB图像样本输入至像素级投票神经网络PVNet回归得到语义分割结果和像素级预测单位方向向量；
根据所述语义分割结果找到目标对象的像素，并随机选择两个像素，将所述选择的两个像素点对应的预测单位方向向量的交点作为关键点的假设，重复N次以生成N个关键点的假设；
对所述N个关键点的假设进行投票，以选出分数最高的假设作为对应关键点的2D坐标预测值；
根据所述关键点的2D坐标预测值和所述已知训练集中对应2D关键点的坐标真实值，生成损失值；
根据所述损失值训练所述像素级投票神经网络PVNet，获取网络参数，并基于所述网络参数形成所述关键点检测网络。
5.根据权利要求3或4所述的方法，其特征在于，还包括：
根据计算得到的所述目标物体的6D姿态与所述目标物体的真实6D姿态，生成针对6D姿态估计的损失值；
根据所述针对6D姿态估计的损失值，对所述关键点检测网络进行继续训练。
6.根据权利要求1所述的方法，其特征在于，所述根据所述目标物体的2D关键点坐标和已知目标物体三维模型上对应关键点的三维点坐标进行匹配，以计算出所述目标物体的6D姿态，包括：
根据所述目标物体的2D关键点坐标和已知目标物体三维模型上对应关键点的三维点坐标，使用PnP算法计算所述目标物体的6D姿态。
7.一种基于2D检测的物体6D姿态估计装置，其特征在于，包括：
第一获取模块，用于响应于针对单张RGB图像的物体6D姿态估计请求，从所述单张RGB图像中裁剪出目标物体所在的图像区域；
第二获取模块，用于获取所述图像区域之中所述目标物体的2D关键点坐标；以及
估计模块，用于根据所述目标物体的2D关键点坐标和已知目标物体三维模型上对应关键点的三维点坐标进行匹配，以计算出所述目标物体的6D姿态。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现如权利要求1-6中任一所述的基于2D检测的物体6D姿态估计方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的基于2D检测的物体6D姿态估计方法。
10.一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，执行如权利要求1-6中任一所述的基于2D检测的物体6D姿态估计方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011581497.2A CN112614184A (zh) | 2020-12-28 | 2020-12-28 | 基于2d检测的物体6d姿态估计方法、装置及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011581497.2A CN112614184A (zh) | 2020-12-28 | 2020-12-28 | 基于2d检测的物体6d姿态估计方法、装置及计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112614184A true CN112614184A (zh) | 2021-04-06 |
Family
ID=75248329
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011581497.2A Pending CN112614184A (zh) | 2020-12-28 | 2020-12-28 | 基于2d检测的物体6d姿态估计方法、装置及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112614184A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113627379A (zh) * | 2021-08-19 | 2021-11-09 | 北京市商汤科技开发有限公司 | 一种图像处理方法、装置、设备以及存储介质 |
| WO2022237688A1 (zh) * | 2021-05-12 | 2022-11-17 | 影石创新科技股份有限公司 | 姿态估计方法、装置、计算机设备和存储介质 |
| CN117455983A (zh) * | 2023-12-26 | 2024-01-26 | 深圳市亿境虚拟现实技术有限公司 | Vr手柄空间定位方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180137644A1 (en) * | 2016-11-11 | 2018-05-17 | Qualcomm Incorporated | Methods and systems of performing object pose estimation |
| CN110533721A (zh) * | 2019-08-27 | 2019-12-03 | 杭州师范大学 | 一种基于增强自编码器的室内目标物体6d姿态估计方法 |
| CN111667535A (zh) * | 2020-06-04 | 2020-09-15 | 电子科技大学 | 一种针对遮挡场景下的六自由度位姿估计方法 |
| CN111968235A (zh) * | 2020-07-08 | 2020-11-20 | 杭州易现先进科技有限公司 | 一种物体姿态估计方法、装置、系统和计算机设备 |
-
2020
- 2020-12-28 CN CN202011581497.2A patent/CN112614184A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180137644A1 (en) * | 2016-11-11 | 2018-05-17 | Qualcomm Incorporated | Methods and systems of performing object pose estimation |
| CN110533721A (zh) * | 2019-08-27 | 2019-12-03 | 杭州师范大学 | 一种基于增强自编码器的室内目标物体6d姿态估计方法 |
| CN111667535A (zh) * | 2020-06-04 | 2020-09-15 | 电子科技大学 | 一种针对遮挡场景下的六自由度位姿估计方法 |
| CN111968235A (zh) * | 2020-07-08 | 2020-11-20 | 杭州易现先进科技有限公司 | 一种物体姿态估计方法、装置、系统和计算机设备 |
Non-Patent Citations (2)
| Title |
|---|
| SIDA PENG ETC.: "PVNet: Pixel-wise Voting Network for 6DoF Pose Estimation", 《ARXIV:1812.11788V1》 * |
| 徐云飞等: "一种卷积神经网络非合作目标姿态测量方法", 《宇航学报》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022237688A1 (zh) * | 2021-05-12 | 2022-11-17 | 影石创新科技股份有限公司 | 姿态估计方法、装置、计算机设备和存储介质 |
| CN113627379A (zh) * | 2021-08-19 | 2021-11-09 | 北京市商汤科技开发有限公司 | 一种图像处理方法、装置、设备以及存储介质 |
| CN117455983A (zh) * | 2023-12-26 | 2024-01-26 | 深圳市亿境虚拟现实技术有限公司 | Vr手柄空间定位方法、装置、电子设备及存储介质 |
| CN117455983B (zh) * | 2023-12-26 | 2024-04-12 | 深圳市亿境虚拟现实技术有限公司 | Vr手柄空间定位方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109740469B (zh) | 车道线检测方法、装置、计算机设备和存储介质 | |
| CN112614184A (zh) | 基于2d检测的物体6d姿态估计方法、装置及计算机设备 | |
| CN108256479B (zh) | 人脸跟踪方法和装置 | |
| US9330472B2 (en) | System and method for distorted camera image correction | |
| KR20180087994A (ko) | 스테레오 매칭 방법 및 영상 처리 장치 | |
| JP5517504B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| US20160176345A1 (en) | Vehicle system for detecting object and operation method thereof | |
| KR20150006958A (ko) | 카메라 포즈 추정 장치 및 방법 | |
| CN112020725A (zh) | 用于根据输入图像来确定深度信息图像的方法和设备 | |
| CN110866475A (zh) | 手部脱离方向盘及图像分割模型训练方法、装置、终端、介质 | |
| Minematsu et al. | Adaptive background model registration for moving cameras | |
| Yu et al. | Anchor distance for 3d multi-object distance estimation from 2d single shot | |
| KR20210018114A (ko) | 교차 도메인 메트릭 학습 시스템 및 방법 | |
| JP2014197342A (ja) | 物体位置検出装置、物体位置検出方法、及びプログラム | |
| CN110717910A (zh) | Ct图像目标检测方法及ct扫描仪 | |
| JPH08335268A (ja) | 領域抽出方法 | |
| CN116052120A (zh) | 基于图像增强和多传感器融合的挖掘机夜间物体检测方法 | |
| CN115018787A (zh) | 一种基于梯度增强的异常检测方法和系统 | |
| US11657506B2 (en) | Systems and methods for autonomous robot navigation | |
| KR20230049969A (ko) | 글로벌 측위 장치 및 방법 | |
| CN112712062A (zh) | 基于解耦截断物体的单目三维物体检测方法和装置 | |
| KR20180082739A (ko) | 단일 카메라를 이용한 영상에서 움직이는 객체 검출 방법 및 시스템 | |
| KR101779476B1 (ko) | 사용자 동적 기관 제스처 인식 방법 및 인터페이스와, 이를 사용하는 전기 사용 장치 | |
| US11989889B2 (en) | Method for determining a relative movement using a digital image sequence | |
| EP4198895A1 (en) | Planar object tracking method and system, computer program, computer-readable storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210406 |
|
| RJ01 | Rejection of invention patent application after publication |