CN112767489A - 一种三维位姿确定方法、装置、电子设备及存储介质 - Google Patents
一种三维位姿确定方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112767489A CN112767489A CN202110125682.9A CN202110125682A CN112767489A CN 112767489 A CN112767489 A CN 112767489A CN 202110125682 A CN202110125682 A CN 202110125682A CN 112767489 A CN112767489 A CN 112767489A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- dimensional coordinate
- corner point
- coordinate system
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000003860 storage Methods 0.000 title claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 135
- 238000010586 diagram Methods 0.000 claims description 52
- 230000006870 function Effects 0.000 claims description 34
- 238000012545 processing Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 12
- 230000002265 prevention Effects 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013213 extrapolation Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
Abstract
本公开公开了一种三维位姿确定方法、装置、电子设备及存储介质，该方法为：获取包括目标建筑物的图像；将图像输入关键点检测模型，获得各个角点的二维坐标；根据各个角点在世界三维坐标系下的初始三维坐标以及各个角点的二维坐标，确定初始姿态参数；根据初始姿态参数和各个角点在世界坐标系下的第一三维坐标，确定第一三维坐标对应的相机三维坐标系下的第二三维坐标，并根据第二三维坐标和图像二维坐标系与相机三维坐标系的投影对应关系，确定各个角点的预测二维坐标；根据各个角点的预测二维坐标与各个角点的二维坐标的比对结果，确定优化姿态参数，并根据优化姿态参数确定目标建筑物的三维位姿。本公开提高了三维位姿检测的效率和精度。
Description
技术领域
本公开涉及计算机技术领域，尤其涉及一种三维位姿确定方法、装置、电子设备及存储介质。
背景技术
随着科技的不断发展和互联网的普及，在一些虚拟现实场景任务中，需获取建筑的三维位姿，而拍摄所用的单目相机无法获取深度信息，即无法通过该相机检测出拍摄空间的景深距离，导致仅根据单目相机拍摄的图片无法获得建筑的三维位姿。
可见，如何构建单目相机所拍摄的建筑的三维位姿，成为亟待解决的问题。
发明内容
本公开提供一种三维位姿确定方法、装置、电子设备及存储介质，可以仅基于单目相机确定所拍摄的建筑物的三维位姿，提高了确定三维位姿的便捷性。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种三维位姿确定方法，所述方法包括：
获取包括目标建筑物的图像；
将所述图像输入到关键点检测模型中，获得所述目标建筑物中各个角点的二维坐标，其中，所述角点为所述目标建筑物中组成平面的边与边的交点位置；
根据图像二维坐标系与世界三维坐标系的对应关系、所述目标建筑物中各个角点在所述世界三维坐标系下的初始三维坐标以及所述各个角点的二维坐标，确定初始姿态参数；
根据所述初始姿态参数和所述目标建筑物中各个角点在所述世界坐标系下的第一三维坐标，确定所述第一三维坐标对应的相机三维坐标系下的第二三维坐标，并根据所述第二三维坐标和所述图像二维坐标系与所述相机三维坐标系的投影对应关系，确定所述各个角点的预测二维坐标；所述第一三维坐标是对所述初始三维坐标的三个维度方向中两个预设维度方向的坐标进行预设比例的缩放处理所确定的；
根据所述各个角点的预测二维坐标与所述各个角点的二维坐标的比对结果，确定优化姿态参数，并根据所述优化姿态参数确定所述目标建筑物的三维位姿。
在一种可能的实施方式中，根据所述各个角点的预测二维坐标与所述各个角点的二维坐标的比对结果，确定优化姿态参数，包括：
将所述各个角点的预测二维坐标和所述各个角点的二维坐标进行比较，确定对应的误差值；
根据所述误差值对所述初始姿态参数进行优化处理，确定优化姿态参数。
在一种可能的实施方式中，根据所述误差值对所述初始姿态参数进行优化处理，确定优化姿态参数，包括：
当所述误差值小于预设阈值时，将求取所述误差值时所对应的姿态参数作为优化姿态参数。
在一种可能的实施方式中，所述关键点检测模型通过以下方式训练，包括：
确定待训练的数据集，所述待训练的数据集包括多个包含标注二维坐标的建筑物的图像；
将所述待训练的数据集中的第一图像输入预设关键点检测模型，获得所述第一图像中目标建筑物的检测框；
将所述检测框输入所述预设关键点检测模型中的热力图检测子单元，获得预测热力图；所述预测热力图包括所述目标建筑物对应的各个角点出现的区域以及与所述区域对应的角点的出现概率信息；以及，
将所述检测框和所述预测热力图输入所述预设关键点检测模型中的回归检测子单元，且所述回归检测子单元基于所述预测热力图对所述回归检测子单元输出的初始结果进行约束处理，获得所述第一图像中目标建筑物所对应的检测二维坐标；
确定所述检测二维坐标和所述标注二维坐标之间的差值，并根据所述差值对所述预设关键点检测模型进行调整，获得所述关键点检测模型。
在一种可能的实施方式中，所述方法还包括：
基于预设损失函数，对所述预设关键点检测模型进行防角点跳变处理；所述防角点跳变处理用于维持所述预设关键点检测模型所检测的角点对应的顺序标识不变；
当确定训练后的预设关键点检测模型已收敛时，则获得所述关键点检测模型。
在一种可能的实施方式中，所述预设损失函数表示为：
其中，M用于表征角点的集合，R用于表征角点经过旋转后的四元数；x1与x1分别表征集合中两个二维坐标不同的角点，m用于表征所述预设损失函数在所述预设关键点检测模型对应的整体损失函数中所对应的权值，q表征基于所述预设关键点检测模型所预测的二维坐标所确定的三维位姿，q～用于表征基于所述关键点检测模型所检测的二维坐标所确定的三维位姿。
根据本公开实施例的第二方面，提供一种三维位姿确定装置，所述装置包括：
获取单元，被配置为执行获取包括目标建筑物的图像；
获得单元，被配置为执行将所述图像输入到关键点检测模型中，获得所述目标建筑物中各个角点的二维坐标，其中，所述角点为所述目标建筑物中组成平面的边与边的交点位置；
第一确定单元，被配置为执行根据图像二维坐标系与世界三维坐标系的对应关系、所述目标建筑物中各个角点在所述世界三维坐标系下的初始三维坐标以及所述各个角点的二维坐标，确定初始姿态参数；
第二确定单元，被配置为执行根据所述初始姿态参数和所述目标建筑物中各个角点在所述世界坐标系下的第一三维坐标，确定所述第一三维坐标对应的相机三维坐标系下的第二三维坐标，并根据所述第二三维坐标和所述图像二维坐标系与所述相机三维坐标系的投影对应关系，确定所述各个角点的预测二维坐标；所述第一三维坐标是对所述初始三维坐标的三个维度方向中两个预设维度方向的坐标进行预设比例的缩放处理所确定的；
第三确定单元，被配置为执行根据所述各个角点的预测二维坐标与所述各个角点的二维坐标的比对结果，确定优化姿态参数，并根据所述优化姿态参数确定所述目标建筑物的三维位姿。
在一种可能的实施方式中，所述第三确定单元被配置为执行：
将所述各个角点的预测二维坐标和所述各个角点的二维坐标进行比较，确定对应的误差值；
根据所述误差值对所述初始姿态参数进行优化处理，确定优化姿态参数。
在一种可能的实施方式中，所述第三确定单元被配置为执行：
当所述误差值小于预设阈值时，将求取所述误差值时所对应的姿态参数作为优化姿态参数。
在一种可能的实施方式中，所述装置还包括训练单元，被配置为执行：
确定待训练的数据集，所述待训练的数据集包括多个包含标注二维坐标的建筑物的图像；
将所述待训练的数据集中的第一图像输入预设关键点检测模型，获得所述第一图像中目标建筑物的检测框；
将所述检测框输入所述预设关键点检测模型中的热力图检测子单元，获得预测热力图；所述预测热力图包括所述目标建筑物对应的各个角点出现的区域以及与所述区域对应的角点的出现概率信息；以及，
将所述检测框和所述预测热力图输入所述预设关键点检测模型中的回归检测子单元，且所述回归检测子单元基于所述预测热力图对所述回归检测子单元输出的初始结果进行约束处理，获得所述第一图像中目标建筑物所对应的检测二维坐标；
确定所述检测二维坐标和所述标注二维坐标之间的差值，并根据所述差值对所述预设关键点检测模型进行调整，获得所述关键点检测模型。
在一种可能的实施方式中，所述训练单元被配置为执行：
基于预设损失函数，对所述预设关键点检测模型进行防角点跳变处理；所述防角点跳变处理用于维持所述预设关键点检测模型所检测的角点对应的顺序标识不变；
当确定训练后的预设关键点检测模型已收敛时，则获得所述关键点检测模型。
在一种可能的实施方式中，所述预设损失函数表示为：
其中，M用于表征角点的集合，R用于表征角点经过旋转后的四元数；x1与x1分别表征集合中两个二维坐标不同的角点，m用于表征所述预设损失函数在所述预设关键点检测模型对应的整体损失函数中所对应的权值，q表征基于所述预设关键点检测模型所预测的二维坐标所确定的三维位姿，
用于表征基于所述关键点检测模型所检测的二维坐标所确定的三维位姿。
根据本公开实施例的第三方面，提供一种电子设备，所述电子设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，处理器被配置为执行指令，以实现本公开实施例上述第一方面以及第一方面涉及的任一可能涉及的方法。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本公开实施例上述第一方面以及第一方面涉及的任一可能涉及的方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，当所述计算机程序被处理器执行实现本公开实施例上述第一方面以及第一方面任一可能涉及的方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
在本公开实施例中，可以获取包括目标建筑物的图像，然后将图像输入到关键点检测模型中，获得目标建筑物中各个角点的二维坐标，其中，角点为目标建筑物中组成平面的边与边的交点位置。可见，本公开实施例中是基于预先训练后的关键点检测模型确定目标建筑物中各个角点的二维坐标，这样的方式，可以更简单高效且准确的确定各个角点的二维坐标。
进一步地，可以根据图像二维坐标系与世界三维坐标系的对应关系、目标建筑物中各个角点在世界三维坐标系下的初始三维坐标以及各个角点的二维坐标，确定初始姿态参数，然后可以根据初始姿态参数和目标建筑物中各个角点在世界坐标系下的第一三维坐标，确定第一三维坐标对应的相机三维坐标系下的第二三维坐标，并根据第二三维坐标和图像二维坐标系与相机三维坐标系的投影对应关系，确定各个角点的预测二维坐标。也就是说，本公开实施例中，可以基于初始姿态参数和第二三维坐标以及图像二维坐标系与相机三维坐标系的投影对应关系，反推确定各个角点在图像坐标系下的预测二维坐标。
然后可以根据各个角点的预测二维坐标与各个角点的二维坐标的比对结果，确定优化姿态参数，并根据优化姿态参数确定目标建筑物的三维位姿。即本公开实施例中，是基于相机三维坐标系下的第二三维坐标反推确定的预测二维坐标与关键点检测模型确定的二维坐标的比对结果，对初始姿态参数进行优化，从而确定优化姿态参数，进而确定目标建筑物的三维位姿。这样的方式，仅基于单目相机确定所拍摄的建筑物的三维位姿，提高了确定三维位姿的便捷性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种应用场景的示意图；
图2是根据一示例性实施例示出的一种三维位姿确定方法的流程示意图；
图3是根据一示例性实施例示出的包括目标建筑物的图像的示意图；
图4是根据一示例性实施例示出的标注角点顺序标识的图像示意图；
图5是根据一示例性实施例示出的一种三维位姿确定装置的结构框图；
图6是根据一示例性实施例示出的电子设备的结构示意图；
图7是根据一示例性实施例示出的电子设备的另一结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的图像在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
下面对本公开实施例的设计思想进行简要介绍：
目前，在手机端虚拟现实的应用场景中，例如在手机端立体显示学校或者园区的建筑的场景中，一般需要获取建筑的三维位姿。然而，普通的单目相机无法获取深度信息，而较为专业的深度相机价格又过于昂贵，可见，在相关技术中，针对建筑位姿的估计场景中，如何构建单目相机所拍摄的建筑的三维位姿，成为亟待解决的问题。
鉴于此，本公开提供一种三维位姿确定方法，通过该方法可以基于未获取深度信息的二维图像，确定二维图像中建筑的三维位姿。
介绍完本公开实施例的设计思想之后，下面对本公开实施例中的三维位姿确定技术方案适用的应用场景做一些简单介绍，需要说明的是，本公开实施例描述的应用场景是为了更加清楚的说明本公开实施例的技术方案，并不构成对于本公开实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本公开实施例提供的技术方案对于类似的技术问题，同样适用。
在本公开实施例中，请参见图1所示的一种应用场景示意图，应用场景图中包括一个摄像装置101和一个电子设备102，通过摄像装置101可以拍摄并发送包括建筑的图像。需要说明的是，图1中仅以一个摄像装置101和一个电子设备102进行交互为例进行示出，在具体实施过程中，可以是多个摄像装置101与一个电子设备102之间进行交互，也可以是多个摄像装置101和多个电子设备102之间进行交互，本公开实施例中不做限制。
在具体的实施过程中，摄像装置101和电子设备102之间可以通过一个或者多个通信网络103进行通信连接。该通信网络103可以是有线网络，也可以是无线网络，例如无线网络可以是移动蜂窝网络，或者可以是无线保真(WIreless-Fidelity，WIFI)网络，当然还可以是其他可能的网络，本公开实施例对此不做限定。
在本公开实施例中，用户可以通过摄像装置101拍摄包括建筑的图像，电子设备102可以获取摄像装置拍摄的包括建筑的图像，然后电子设备102可以对获取的图像进行处理，获得图像中建筑的三维位姿。需要说明的是，本公开实施例中，摄像装置101可以是任一可采集二维图像的摄像机，例如单目相机。
下面结合说明书附图介绍本公开实施例提供的技术方案。
图2是本公开实施例提供的一示例性三维位姿确定方法的流程图，如图2所示，该方法可以应用于前述的电子设备。图2所示的流程图描述如下。
步骤201：获取包括目标建筑物的图像。
本公开实施例中对包括目标建筑物的图像的获取方式不进行限定。在一些实施例中，可以是直接将摄像装置发送的包括建筑物的图像确定为包括目标建筑物的图像。在一些实施例中，可以基于预设的筛选规则，从摄像装置发送的多个图像中筛选出目标图像确定为包括目标建筑物的图像。例如，将包括单一建筑的图像确定为包括目标建筑物的图像。在一些实施例中，还可以是根据接收到用户的触发指令，从摄像装置发送的图像中确定包括目标建筑物的图像，其中，触发指令可以是用户通过对应的操作单元发出的用户选择指令。
需要说明的是，在本公开实施例中，摄像装置发送的图像所包括的对象至少包括建筑物，即图像中的目标建筑物。例如，请参见图3所示的包括目标建筑物的图像。
步骤202：将图像输入到关键点检测模型中，获得目标建筑物中各个角点的二维坐标，其中，角点为目标建筑物中组成平面的边与边的交点位置。
在本公开实施例中，可以对包括目标建筑物的图像进行关键角点定位处理，获得目标建筑物各个角点的二维坐标。在具体的实施过程中，可以将图像输入到预先训练好的关键点检测模型中，从而可以获得目标建筑物中各个角点的二维坐标。
为了更好的理解本公开所提供的技术方案，下面先介绍训练关键点检测模型的过程，其中，在本公开实施例中具体实现关键点检测模型训练的大致方案可以是：确定待训练的数据集，再使用这些待训练的数据集对预设关键点检测模型进行训练，从而可以获得关键点检测模型。
在本公开实施例中，可以确定待训练的数据集，待训练的数据集包括多个包括标注二维坐标的建筑物的图像。在具体的实施过程中，图像中包括的建筑物的形状可以是长方体、正方体等规则形状，也可以是奇特造型的不规则的形状，本公开实施例中不做限制。具体的，若是不规则形状，可以预先确定固定的二维与三维对应的对应关系，以进行后续处理。为了更好的对技术方案进行说明，后文中以图像中包括的建筑物的形状为长方体形状为例进行说明，即待训练数据集中包括的是包含标注二维坐标的长方形建筑物的图像。
在本公开实施例中，可以将待训练的数据集中的第一图像输入预设关键点检测模型，获得第一图像中建筑物的检测框。然后可以将检测框分别输入预设关键点检测模型中的热力图检测子单元和回归检测子单元，可以获得热力图检测子单元输出的预测热力图，其中，预测热力图包括目标建筑物对应的各个角点出现的区域以及与该确定对应的概率信息。进一步地，可以将预测热力图信息反馈给回归检测子单元，从而回归检测子单元可以基于预测热力图对基于检测框确定的初始结果进行约束处理，获得第一图像中目标建筑物对应的检测二维坐标。需要说明的是，前述的第一图像可以是待训练数据集中的任一图像，本公开实施例中不做限制。
进一步地，可以确定检测二维坐标与标准二维坐标之间的差值，从而可以根据差值对预设关键点检测模型进行调整，获得关键点检测模型。
可见，在本公开实施例中，在对预设关键点检测模型中的热力图检测子单元和回归检测子单元进行训练时，可以同时训练热力图检测单元与回归检测单元，并使用热力图检测单元输出的预测热力图约束回归检测单元学习的过程，并在测试的过程中输出回归检测子单元输出的结果，使用这种训练方法方式，能够将更多的空间信息用于约束回归检测任务中，从而可以得到更准确的角点坐标。
需要说明的是，在本公开实施例中，若建筑物为长方体形状，则建筑物的所有角点可以对应理解为长方体的八个顶点。具体的，八个顶点具有旋转不变形与对称性，如果在关键点检测模型的训练过程中没有语义约束，则网络很难学习到每个角点的固定位置，因此，可以先定义关键点即角点的语义顺序。
在具体的实施过程中，可以以建筑左上且从拍摄的图像的角度看位于里面的角点作为起始点，顺时针获取八个点的位置，如图4所示，即分别标注角点为角点0、角点1、角点2、角点3、角点4、角点5、角点6以及角点7；也可以是以建筑右上且从拍摄的图像的角度看位于外侧的焦点作为起始点，逆时针获取八个点的位置，当然，还可以是其它确定起始点和各个角点顺序的方式，本公开实施例中不做限制。具体的，前述标注角点的标识(即0,1,2,3,4,5,6,7,)可以理解为角点顺序标识，需要说明的是，在具体的实施过程中，还可以采用但不限于字母、字符或者汉字等其它方式标注角点的顺序标识，本公开实施例中不做限制。
在本公开实施例中，为维持预设关键点检测模型所检测的角点的顺序标识不变，即更好的学习每个角点的固定的位置，可以基于预设损失函数，对预设关键点检测模型进行防角点跳变处理，从而可以学习到每个角点处于固定的位置。
在本公开实施例中，预设损失函数可以表示为：
其中，M用于表征角点的集合，R用于表征角点经过旋转后的四元数；x1与x1分别表征集合中两个二维坐标不同的角点，m用于表征预设损失函数在预设关键点检测模型对应的整体损失函数中所对应的权值，q表征基于预设关键点检测模型所预测的二维坐标所确定的三维位姿，
用于表征基于关键点检测模型所检测的二维坐标所确定的三维位姿。
在本公开实施例中，使用预设损失函数即角点顺序标识不变的方式，可以衡量预设关键点定位模型输出的角点的二维坐标与待训练数据集中图像对应的角点的二维坐标之间的偏移，且本公开实施例中损失函数的计算方式使得建筑物的旋转对称性不会影响预设关键点检测模型训练的过程，即关键点检测模型可以不要求在突变的时候即建筑物旋转移动时，点与点之间必须一一对应，仅保证点形成的模型能够匹配上即可，这样的方式可以大大提高预设关键点检测模型训练过程的稳定性，加速收敛。
需要说明的是，在本公开实施例中，回归检测子单元和热力图检测子单元均对应有损失函数，当确定回归检测子单元和热力图检测子单元对应的损失函数以及预设损失函数已收敛时，即确定训练后的预设关键点检测模型已收敛时，可以获得关键点检测模型。
在本公开实施例中，通过关键点检测模型对目标建筑物的角点的初始坐标使用预测热力图进行约束处理，可以在空间上产生一个很强的约束，使关键点回归的更加准确的基础上，且避免由于建筑的对称性所导致的热力图回归的关键点极易出现混淆的情况出现。
步骤203：根据图像二维坐标系与世界三维坐标系的对应关系、目标建筑物中各个角点在世界三维坐标系下的初始三维坐标以及各个角点的二维坐标，确定初始姿态参数。
在本公开实施例中，当获得包括目标建筑物的图像的各个角点的二维坐标之后，可以确定目标建筑物在世界三维坐标系下对应的初始三维坐标，其中，初始三维坐标为长宽高均为单位长度对应的目标建筑物的所有角点的坐标，例如，初始三维坐标可以表示为：[0，1，0]、[0，0，0]、[1，1，0]、[1，0，0]、[1，1，1]、[1，0，1]、[0，1，1]以及[0，0，1]。
进一步地，可以基于图像二维坐标系与世界三维坐标系的对应关系、各个角点的二维坐标以及初始三维坐标，确定初始姿态参数。具体的，可以通过solevepnp函数和图像二维坐标系与世界三维坐标系的对应关系、各个角点的二维坐标以及初始三维坐标，求解初始姿态参数。
步骤204：根据初始姿态参数和目标建筑物中各个角点在世界坐标系下的第一三维坐标，确定第一三维坐标对应的相机三维坐标系下的第二三维坐标，并根据第二三维坐标和图像二维坐标系与相机三维坐标系的投影对应关系，确定各个角点的预测二维坐标；第一三维坐标是对初始三维坐标的三个维度方向中两个预设维度方向的坐标进行预设比例的缩放处理所确定的。
在本公开实施例中，可以根据初始姿态参数和目标建筑物中各个角点在世界坐标系下的第一三维坐标，确定第一三维坐标对应的相机三维坐标下的三维坐标。
在具体的实施过程中，可以设立目标建筑物在世界坐标系下的长、宽、高的参数，例如以目标建筑物的宽为一个单位，长、高与其之比为w：h：1，即对初始三维坐标的长和高进行分别1：w和1：h的缩放处理，可得到每个角点的第一三维坐标，即按照顺序分别为[0，0，h]、[0，0，0]、[0，w，h]、[0，w，0]、[1，w，h]、[1，w，0]、[1，0，h]以及[1，0，0]。然后可以根据初始姿态参数和第一三维坐标，得到每个角点在相机坐标系下的第二三维坐标。
在本公开实施例中，可以根据第二三维坐标和图像二维坐标系与相机三维坐标系的投影对应关系，确定各个角点的预测二维坐标。
在具体的实施过程中，图像二维坐标系与相机三维坐标系对应的投影对应关系，可以通过以下方式确定，即若假设P(x，y)为图像中一个点，P(xc、yc、zc)为P(x，y)投影到相机所对应的点，则可以基于相似三角形，求解出
以及
其中，f为相机内参。需要说明的是，在实施过程中可以假设相机的内参为固定的60度，在实际实施过程中，可以根据摄像装置例如手机或者是单目相机直接读取到对应的相机内参。
可见，在本公开实施例中，可以根据各个角点在相机三维坐标系下的第二三维坐标和图像二维坐标系与相机三维坐标系的投影对应关系以及相机坐标系对应的相机的内参值，反推确定各个角点在图像二维坐标系下的二维坐标。
步骤205：根据各个角点的预测二维坐标与各个角点的二维坐标的比对结果，确定优化姿态参数，并根据优化姿态参数确定目标建筑物的三维位姿。
在本公开实施例中，可以将各个角点的预测二维坐标和各个角点的二维坐标进行比较，确定对应的误差值，然后根据误差值对初始姿态参数进行优化处理，确定优化姿态参数。
在本公开实施例中，可以确定误差值是否小于预设阈值，当误差值不小于预设阈值时，则可以基于误差值对初始姿态参数进行优化，当误差值小于预设阈值时，则可以将求取该误差值时所对应的姿态参数作为优化姿态参数。进一步地，可以根据优化姿态参数确定目标建筑物的三维位姿。
可见，在本公开实施例中，依据第二三维坐标在投影回图像二维坐标系时所对应的预测二维坐标与二维坐标误差较小这一约束条件来实现对初始姿态参数的优化，使得最终确定的优化姿态参数较为准确，进而确定的目标建筑物的三维位姿也较为准确。
基于同一发明构思，本公开实施例提供了一种三维位姿确定装置，该三维位姿确定装置能够实现前述的三维位姿确定方法对应的功能。该三维位姿确定装置可以是硬件结构、软件模块、或硬件结构加软件模块。该三维位姿确定装置可以由芯片系统实现，芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。请参见图5所示，该三维位姿确定装置包括获取单元501、获得单元502、第一确定单元503、第二确定单元504以及第三确定单元505。其中：
获取单元501，被配置为执行获取包括目标建筑物的图像；
获得单元502，被配置为执行将所述图像输入到关键点检测模型中，获得所述目标建筑物中各个角点的二维坐标，其中，所述角点为所述目标建筑物中组成平面的边与边的交点位置；
第一确定单元503，被配置为执行根据图像二维坐标系与世界三维坐标系的对应关系、所述目标建筑物中各个角点在所述世界三维坐标系下的初始三维坐标以及所述各个角点的二维坐标，确定初始姿态参数；
第二确定单元504，被配置为执行根据所述初始姿态参数和所述目标建筑物中各个角点在所述世界坐标系下的第一三维坐标，确定所述第一三维坐标对应的相机三维坐标系下的第二三维坐标，并根据所述第二三维坐标和所述图像二维坐标系与所述相机三维坐标系的投影对应关系，确定所述各个角点的预测二维坐标；所述第一三维坐标是对所述初始三维坐标的三个维度方向中两个预设维度方向的坐标进行预设比例的缩放处理所确定的；
第三确定单元505，被配置为执行根据所述各个角点的预测二维坐标与所述各个角点的二维坐标的比对结果，确定优化姿态参数，并根据所述优化姿态参数确定所述目标建筑物的三维位姿。
在一种可能的实施方式中，所述第三确定单元505被配置为执行：
将所述各个角点的预测二维坐标和所述各个角点的二维坐标进行比较，确定对应的误差值；
根据所述误差值对所述初始姿态参数进行优化处理，确定优化姿态参数。
在一种可能的实施方式中，所述第三确定单元505被配置为执行：
当所述误差值小于预设阈值时，将求取所述误差值时所对应的姿态参数作为优化姿态参数。
在一种可能的实施方式中，所述装置还包括训练单元，被配置为执行：
确定待训练的数据集，所述待训练的数据集包括多个包含标注二维坐标的建筑物的图像；
将所述待训练的数据集中的第一图像输入预设关键点检测模型，获得所述第一图像中目标建筑物的检测框；
将所述检测框输入所述预设关键点检测模型中的热力图检测子单元，获得预测热力图；所述预测热力图包括所述目标建筑物对应的各个角点出现的区域以及与所述区域对应的角点的出现概率信息；以及，
将所述检测框和所述预测热力图输入所述预设关键点检测模型中的回归检测子单元，且所述回归检测子单元基于所述预测热力图对所述回归检测子单元输出的初始结果进行约束处理，获得所述第一图像中目标建筑物所对应的检测二维坐标；
确定所述检测二维坐标和所述标注二维坐标之间的差值，并根据所述差值对所述预设关键点检测模型进行调整，获得所述关键点检测模型。
在一种可能的实施方式中，所述训练单元被配置为执行：
基于预设损失函数，对所述预设关键点检测模型进行防角点跳变处理；所述防角点跳变处理用于维持所述预设关键点检测模型所检测的角点对应的顺序标识不变；
当确定训练后的预设关键点检测模型已收敛时，则获得所述关键点检测模型。
在一种可能的实施方式中，所述预设损失函数表示为：
其中，M用于表征角点的集合，R用于表征角点经过旋转后的四元数；x1与x1分别表征集合中两个二维坐标不同的角点，m用于表征所述预设损失函数在所述预设关键点检测模型对应的整体损失函数中所对应的权值，q表征基于所述预设关键点检测模型所预测的二维坐标所确定的三维位姿，
用于表征基于所述关键点检测模型所检测的二维坐标所确定的三维位姿。
前述如图2的三维位姿确定方法的实施例涉及的各步骤的所有相关内容均可以援引到本公开实施例中的三维位姿确定装置所对应的功能单元的功能描述，在此不再赘述。
本公开实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本公开各个实施例中的各功能单元可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
基于同一发明构思，本公开实施例还提供一种电子设备，如图6所示，本公开实施例中的电子设备包括至少一个处理器601，以及与至少一个处理器601连接的存储器602和通信接口603，本公开实施例中不限定处理器601与存储器602之间的具体连接介质，图6中是以处理器601和存储器602之间通过总线600连接为例，总线600在图6中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线600可以分为地址总线、图像总线、控制总线等，为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
在本公开实施例中，存储器602存储有可被至少一个处理器601执行的指令，至少一个处理器601通过执行存储器602存储的指令，可以执行前述的三维位姿确定方法中所包括的步骤。
其中，处理器601是电子设备的控制中心，可以利用各种接口和线路连接整个故障检测设备的各个部分，通过运行或执行存储在存储器602内的指令以及调用存储在存储器602内的图像，计算设备的各种功能和处理图像，从而对计算设备进行整体监控。可选的，处理器601可包括一个或多个处理单元，处理器601可集成应用处理器和调制解调处理器，其中，处理器601主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器601中。在一些实施例中，处理器601和存储器602可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
处理器601可以是通用处理器，例如中央处理器即CPU、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本公开实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本公开实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器602作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器602可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器602是能够用于携带或存储具有指令或图像结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本公开实施例中的存储器602还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或图像。
通信接口603是能够用于进行通信的传输接口，可以通过通信接口603接收图像或者发送图像。
参见图7所示的电子设备的进一步地的结构示意图，该电子设备还包括帮助电子设备内的各个器件之间传输信息的基本输入/输出系统即I/O系统701、用于存储操作系统702、应用程序703和其他程序模块704的大容量存储设备705。
基本输入/输出系统701包括有用于显示信息的显示器706和用于用户输入信息的诸如鼠标、键盘之类的输入设备707。其中显示器706和输入设备707都通过连接到系统总线600的基本输入/输出系统701连接到处理器601。所述基本输入/输出系统701还可以包括输入输出控制器以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备705通过连接到系统总线600的大容量存储控制器(未示出)连接到处理器601。所述大容量存储设备705及其相关联的计算机可读介质为该服务器包提供非易失性存储。也就是说，大容量存储设备705可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
根据本公开的各种实施例，该计算设备包还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即该计算设备可以通过连接在所述系统总线600上的通信接口603连接到网络708，或者说，也可以使用通信接口603来连接到其他类型的网络或远程计算机系统(未示出)。
在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器602，上述指令可由装置的处理器601执行以完成上述方法。可选的，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光图像存储设备等。
在示例性实施例中，还提供一种计算机程序产品，其包括程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使该电子设备执行本说明书上述描述的根据本公开各种示例性实施方式的三维位姿确定方法中的步骤。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质，且计算机可用存储介质包括但不限于磁盘存储器和光学存储器等上述实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、电子设备、计算机可读存储介质和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程图像处理设备的处理器以产生一个机器，使得通过计算机或其他可编程图像处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程图像处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程图像处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样，倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。
Claims (10)
1.一种三维位姿确定方法，其特征在于，所述方法包括：
获取包括目标建筑物的图像；
将所述图像输入到关键点检测模型中，获得所述目标建筑物中各个角点的二维坐标，其中，所述角点为所述目标建筑物中组成平面的边与边的交点位置；
根据图像二维坐标系与世界三维坐标系的对应关系、所述目标建筑物中各个角点在所述世界三维坐标系下的初始三维坐标以及所述各个角点的二维坐标，确定初始姿态参数；
根据所述初始姿态参数和所述目标建筑物中各个角点在所述世界坐标系下的第一三维坐标，确定所述第一三维坐标对应的相机三维坐标系下的第二三维坐标，并根据所述第二三维坐标和所述图像二维坐标系与所述相机三维坐标系的投影对应关系，确定所述各个角点的预测二维坐标；所述第一三维坐标是对所述初始三维坐标的三个维度方向中两个预设维度方向的坐标进行预设比例的缩放处理所确定的；
根据所述各个角点的预测二维坐标与所述各个角点的二维坐标的比对结果，确定优化姿态参数，并根据所述优化姿态参数确定所述目标建筑物的三维位姿。
2.如权利要求1所述的方法，其特征在于，根据所述各个角点的预测二维坐标与所述各个角点的二维坐标的比对结果，确定优化姿态参数，包括：
将所述各个角点的预测二维坐标和所述各个角点的二维坐标进行比较，确定对应的误差值；
根据所述误差值对所述初始姿态参数进行优化处理，确定优化姿态参数。
3.如权利要求2所述的方法，其特征在于，根据所述误差值对所述初始姿态参数进行优化处理，确定优化姿态参数，包括：
当所述误差值小于预设阈值时，将求取所述误差值时所对应的姿态参数作为优化姿态参数。
4.如权利要求1所述的方法，其特征在于，所述关键点检测模型通过以下方式训练，包括：
确定待训练的数据集，所述待训练的数据集包括多个包含标注二维坐标的建筑物的图像；
将所述待训练的数据集中的第一图像输入预设关键点检测模型，获得所述第一图像中目标建筑物的检测框；
将所述检测框输入所述预设关键点检测模型中的热力图检测子单元，获得预测热力图；所述预测热力图包括所述目标建筑物对应的各个角点出现的区域以及与所述区域对应的角点的出现概率信息；以及，
将所述检测框和所述预测热力图输入所述预设关键点检测模型中的回归检测子单元，且所述回归检测子单元基于所述预测热力图对所述回归检测子单元输出的初始结果进行约束处理，获得所述第一图像中目标建筑物所对应的检测二维坐标；
确定所述检测二维坐标和所述标注二维坐标之间的差值，并根据所述差值对所述预设关键点检测模型进行调整，获得所述关键点检测模型。
5.如权利要求4所述的方法，其特征在于，所述方法还包括：
基于预设损失函数，对所述预设关键点检测模型进行防角点跳变处理；所述防角点跳变处理用于维持所述预设关键点检测模型所检测的角点对应的顺序标识不变；
当确定训练后的预设关键点检测模型已收敛时，则获得所述关键点检测模型。
6.如权利要求5所述的方法，其特征在于，所述预设损失函数表示为：
其中，M用于表征角点的集合，R用于表征角点经过旋转后的四元数；x1与x1分别表征集合中两个二维坐标不同的角点，m用于表征所述预设损失函数在所述预设关键点检测模型对应的整体损失函数中所对应的权值，q表征基于所述预设关键点检测模型所预测的二维坐标所确定的三维位姿，
用于表征基于所述关键点检测模型所检测的二维坐标所确定的三维位姿。
7.一种三维位姿确定装置，其特征在于，所述装置包括：
获取单元，被配置为执行获取包括目标建筑物的图像；
获得单元，被配置为执行将所述图像输入到关键点检测模型中，获得所述目标建筑物中各个角点的二维坐标，其中，所述角点为所述目标建筑物中组成平面的边与边的交点位置；
第一确定单元，被配置为执行根据图像二维坐标系与世界三维坐标系的对应关系、所述目标建筑物中各个角点在所述世界三维坐标系下的初始三维坐标以及所述各个角点的二维坐标，确定初始姿态参数；
第二确定单元，被配置为执行根据所述初始姿态参数和所述目标建筑物中各个角点在所述世界坐标系下的第一三维坐标，确定所述第一三维坐标对应的相机三维坐标系下的第二三维坐标，并根据所述第二三维坐标和所述图像二维坐标系与所述相机三维坐标系的投影对应关系，确定所述各个角点的预测二维坐标；所述第一三维坐标是对所述初始三维坐标的三个维度方向中两个预设维度方向的坐标进行预设比例的缩放处理所确定的；
第三确定单元，被配置为执行根据所述各个角点的预测二维坐标与所述各个角点的二维坐标的比对结果，确定优化姿态参数，并根据所述优化姿态参数确定所述目标建筑物的三维位姿。
8.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现根据权利要求1-6中任一项所述的三维位姿确定方法。
9.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1-6中任一项所述的三维位姿确定方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行实现如权利要求1-6中任一项所述的三维位姿确定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110125682.9A CN112767489B (zh) | 2021-01-29 | 一种三维位姿确定方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110125682.9A CN112767489B (zh) | 2021-01-29 | 一种三维位姿确定方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112767489A true CN112767489A (zh) | 2021-05-07 |
| CN112767489B CN112767489B (zh) | 2024-05-14 |
Family
ID=
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113342914A (zh) * | 2021-06-17 | 2021-09-03 | 重庆大学 | 一种用于地球仪区域检测的数据集获取及自动标注的方法 |
| CN113409384A (zh) * | 2021-08-17 | 2021-09-17 | 深圳市华汉伟业科技有限公司 | 一种目标物体的位姿估计方法和系统、机器人 |
| CN113409390A (zh) * | 2021-06-08 | 2021-09-17 | 煤炭科学研究总院 | 自移机尾姿态检测方法、装置以及存储介质 |
| CN113421182A (zh) * | 2021-05-20 | 2021-09-21 | 北京达佳互联信息技术有限公司 | 三维重建方法、装置、电子设备及存储介质 |
| CN113610966A (zh) * | 2021-08-13 | 2021-11-05 | 北京市商汤科技开发有限公司 | 三维姿态调整的方法、装置、电子设备及存储介质 |
| CN113627379A (zh) * | 2021-08-19 | 2021-11-09 | 北京市商汤科技开发有限公司 | 一种图像处理方法、装置、设备以及存储介质 |
| CN113706543A (zh) * | 2021-08-18 | 2021-11-26 | 北京达佳互联信息技术有限公司 | 一种三维位姿的构建方法、设备及存储介质 |
| CN113795867A (zh) * | 2021-08-09 | 2021-12-14 | 百果园技术(新加坡)有限公司 | 物体姿态的检测方法、装置、计算机设备和存储介质 |
| CN113793413A (zh) * | 2021-08-13 | 2021-12-14 | 北京迈格威科技有限公司 | 三维重建方法、装置、电子设备及存储介质 |
| CN114066986A (zh) * | 2022-01-11 | 2022-02-18 | 南昌虚拟现实研究院股份有限公司 | 三维坐标的确定方法、装置、电子设备及存储介质 |
| CN114494334A (zh) * | 2022-01-28 | 2022-05-13 | 北京百度网讯科技有限公司 | 调整三维姿态的方法、装置、电子设备及存储介质 |
| CN115063789A (zh) * | 2022-05-24 | 2022-09-16 | 中国科学院自动化研究所 | 基于关键点匹配的3d目标检测方法及装置 |
| CN115908117A (zh) * | 2022-12-05 | 2023-04-04 | 娄底职业技术学院 | 一种二维建筑模型图像生成方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106780610A (zh) * | 2016-12-06 | 2017-05-31 | 浙江大华技术股份有限公司 | 一种位置定位方法及装置 |
| CN108648203A (zh) * | 2018-04-24 | 2018-10-12 | 上海工程技术大学 | 一种基于单目摄像头的人体三维姿态估计的方法 |
| CN110689008A (zh) * | 2019-09-17 | 2020-01-14 | 大连理工大学 | 一种面向单目图像的基于三维重建的三维物体检测方法 |
| CN110910431A (zh) * | 2019-10-15 | 2020-03-24 | 西安理工大学 | 一种基于单目相机多视点三维点集恢复方法 |
| CN111145238A (zh) * | 2019-12-12 | 2020-05-12 | 中国科学院深圳先进技术研究院 | 单目内窥镜图像的三维重建方法、装置及终端设备 |
| CN111383263A (zh) * | 2018-12-28 | 2020-07-07 | 阿里巴巴集团控股有限公司 | 机器人抓取物体系统、方法及装置 |
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106780610A (zh) * | 2016-12-06 | 2017-05-31 | 浙江大华技术股份有限公司 | 一种位置定位方法及装置 |
| CN108648203A (zh) * | 2018-04-24 | 2018-10-12 | 上海工程技术大学 | 一种基于单目摄像头的人体三维姿态估计的方法 |
| CN111383263A (zh) * | 2018-12-28 | 2020-07-07 | 阿里巴巴集团控股有限公司 | 机器人抓取物体系统、方法及装置 |
| CN110689008A (zh) * | 2019-09-17 | 2020-01-14 | 大连理工大学 | 一种面向单目图像的基于三维重建的三维物体检测方法 |
| CN110910431A (zh) * | 2019-10-15 | 2020-03-24 | 西安理工大学 | 一种基于单目相机多视点三维点集恢复方法 |
| CN111145238A (zh) * | 2019-12-12 | 2020-05-12 | 中国科学院深圳先进技术研究院 | 单目内窥镜图像的三维重建方法、装置及终端设备 |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113421182A (zh) * | 2021-05-20 | 2021-09-21 | 北京达佳互联信息技术有限公司 | 三维重建方法、装置、电子设备及存储介质 |
| CN113421182B (zh) * | 2021-05-20 | 2023-11-28 | 北京达佳互联信息技术有限公司 | 三维重建方法、装置、电子设备及存储介质 |
| CN113409390B (zh) * | 2021-06-08 | 2024-02-09 | 煤炭科学研究总院有限公司 | 自移机尾姿态检测方法、装置以及存储介质 |
| CN113409390A (zh) * | 2021-06-08 | 2021-09-17 | 煤炭科学研究总院 | 自移机尾姿态检测方法、装置以及存储介质 |
| CN113342914A (zh) * | 2021-06-17 | 2021-09-03 | 重庆大学 | 一种用于地球仪区域检测的数据集获取及自动标注的方法 |
| WO2023015409A1 (zh) * | 2021-08-09 | 2023-02-16 | 百果园技术(新加坡)有限公司 | 物体姿态的检测方法、装置、计算机设备和存储介质 |
| CN113795867A (zh) * | 2021-08-09 | 2021-12-14 | 百果园技术(新加坡)有限公司 | 物体姿态的检测方法、装置、计算机设备和存储介质 |
| CN113610966A (zh) * | 2021-08-13 | 2021-11-05 | 北京市商汤科技开发有限公司 | 三维姿态调整的方法、装置、电子设备及存储介质 |
| WO2023015903A1 (zh) * | 2021-08-13 | 2023-02-16 | 上海商汤智能科技有限公司 | 三维姿态调整的方法、装置、电子设备及存储介质 |
| CN113793413A (zh) * | 2021-08-13 | 2021-12-14 | 北京迈格威科技有限公司 | 三维重建方法、装置、电子设备及存储介质 |
| CN113409384A (zh) * | 2021-08-17 | 2021-09-17 | 深圳市华汉伟业科技有限公司 | 一种目标物体的位姿估计方法和系统、机器人 |
| CN113706543A (zh) * | 2021-08-18 | 2021-11-26 | 北京达佳互联信息技术有限公司 | 一种三维位姿的构建方法、设备及存储介质 |
| CN113627379A (zh) * | 2021-08-19 | 2021-11-09 | 北京市商汤科技开发有限公司 | 一种图像处理方法、装置、设备以及存储介质 |
| CN114066986A (zh) * | 2022-01-11 | 2022-02-18 | 南昌虚拟现实研究院股份有限公司 | 三维坐标的确定方法、装置、电子设备及存储介质 |
| CN114494334A (zh) * | 2022-01-28 | 2022-05-13 | 北京百度网讯科技有限公司 | 调整三维姿态的方法、装置、电子设备及存储介质 |
| CN114494334B (zh) * | 2022-01-28 | 2023-02-03 | 北京百度网讯科技有限公司 | 调整三维姿态的方法、装置、电子设备及存储介质 |
| CN115063789B (zh) * | 2022-05-24 | 2023-08-04 | 中国科学院自动化研究所 | 基于关键点匹配的3d目标检测方法及装置 |
| CN115063789A (zh) * | 2022-05-24 | 2022-09-16 | 中国科学院自动化研究所 | 基于关键点匹配的3d目标检测方法及装置 |
| CN115908117A (zh) * | 2022-12-05 | 2023-04-04 | 娄底职业技术学院 | 一种二维建筑模型图像生成方法及系统 |
| CN115908117B (zh) * | 2022-12-05 | 2024-04-02 | 娄底职业技术学院 | 一种二维建筑模型图像生成方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7453470B2 (ja) | ３次元再構成及び関連インタラクション、測定方法及び関連装置、機器 | |
| US20220165031A1 (en) | Method for constructing three-dimensional model of target object and related apparatus | |
| CN109242961A (zh) | 一种脸部建模方法、装置、电子设备和计算机可读介质 | |
| CN110648397B (zh) | 场景地图生成方法、装置、存储介质及电子设备 | |
| CN110163087B (zh) | 一种人脸姿态识别方法及系统 | |
| CN111429518B (zh) | 一种标注方法、装置、计算设备及存储介质 | |
| CN106537908A (zh) | 相机标定 | |
| CN113112542A (zh) | 一种视觉定位方法、装置、电子设备及存储介质 | |
| CN113160231A (zh) | 一种样本生成方法、样本生成装置及电子设备 | |
| WO2022247126A1 (zh) | 视觉定位方法、装置、设备、介质及程序 | |
| CN112529006B (zh) | 全景图片的检测方法、装置、终端及存储介质 | |
| CN112767489B (zh) | 一种三维位姿确定方法、装置、电子设备及存储介质 | |
| CN110490065A (zh) | 人脸识别方法及装置、存储介质、计算机设备 | |
| CN112767489A (zh) | 一种三维位姿确定方法、装置、电子设备及存储介质 | |
| CN113628284B (zh) | 位姿标定数据集生成方法、装置、系统、电子设备及介质 | |
| CN110097061A (zh) | 一种图像显示方法及装置 | |
| CN115497094A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN110910478B (zh) | Gif图生成方法、装置、电子设备及存储介质 | |
| CN114241046A (zh) | 数据标注方法、装置、计算机设备及存储介质 | |
| CN108389112A (zh) | 3d房型模型显示方法 | |
| CN114360047A (zh) | 举手手势识别方法、装置、电子设备及存储介质 | |
| JP6967150B2 (ja) | 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム | |
| CN110245643A (zh) | 目标跟踪拍摄方法、装置、电子设备 | |
| CN114373055B (zh) | 基于bim的三维图像生成方法、装置、电子设备及介质 | |
| US10895953B2 (en) | Interaction with a three-dimensional internet content displayed on a user interface |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |