CN116452742A - 一种航天操作场景的空间布局解析方法及系统 - Google Patents
一种航天操作场景的空间布局解析方法及系统 Download PDFInfo
- Publication number
- CN116452742A CN116452742A CN202310431542.3A CN202310431542A CN116452742A CN 116452742 A CN116452742 A CN 116452742A CN 202310431542 A CN202310431542 A CN 202310431542A CN 116452742 A CN116452742 A CN 116452742A
- Authority
- CN
- China
- Prior art keywords
- aerospace
- point cloud
- target
- scene
- pose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title abstract description 26
- 238000000034 method Methods 0.000 claims description 41
- 230000011218 segmentation Effects 0.000 claims description 31
- 238000004422 calculation algorithm Methods 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 11
- 238000013135 deep learning Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明属于航天技术领域，具体涉及一种航天操作场景的空间布局解析方法及系统，包括：基于预先建立的语义三维重建模型，获取初始航天操作场景中各航天操作结构之间的相对位置；利用混合现实设备采集实时航天操作场景的图像对，并确定图像对中的目标航天操作结构；根据实时航天操作场景的图像对，获取初始航天操作场景中的目标航天操作结构相对于实时航天操作场景中的目标航天操作结构的相对位姿；利用相对位置和相对位姿，获取实时航天操作场景中各航天操作结构的位姿，并将实时航天操作场景中各航天操作结构的位姿在混合现实设备中展示。本发明实现了对航天操作场景中所有航天操作结构的绝对定位，完成空间布局解析。
Description
技术领域
本发明属于航天技术领域，具体涉及一种航天操作场景的空间布局解析方法及系统。
背景技术
航天员在轨任务需要地面专家的远程辅助支持，传统的做法是通过天地通话、视频等形式。但天地信息不对等，有时航天员难以理解地面专家的支持信息。因此，需要对航天操作场景进行空间解析。
空间解析即判断所处空间是什么样子、目标物体都在什么位置、不同结构的相对位姿是什么。对于人来说这种能力很简单，进入陌生的场所，人可以快速扫描整个场景，并判断场景里的各种物体类别、大致位置、相对关系。但是对于设备来说，如何通过计算机视觉的方法使其也具备这样的能力并精确计算各种物体间的相对位姿就十分困难。如果增强现实设备具备了这种能力，就可以辅助航天员理解所处的环境，地面专家也可以将各种虚拟信息灵活地渲染在目标位置，用虚拟动画引导航天员在轨操作。但混合现实设备只能对预定目标进行定位和显示，并且需要提前设定位置信息，无法智能识别目标结构，更不能对整个空间中的所有结构的位置和类别进行解析。
目前没有真正意义上的空间解析方法，语义三维重建是最接近的一种技术。语义三维重建的结果是将完整的空间点云赋予各种语义标签，通过不同的语义标签，可以将各种结构相互独立出来。但这种空间理解方式只是初级的理解，无法为航天员混合现实操作提供进一步帮助。
发明内容
为至少在一定程度上克服相关技术中存在的问题，本申请提供一种航天操作场景的空间布局解析方法及系统。
根据本申请实施例的第一方面，提供一种航天操作场景的空间布局解析方法，所述方法包括：
基于预先建立的语义三维重建模型，获取初始航天操作场景中各航天操作结构之间的相对位置；
利用混合现实设备采集实时航天操作场景的图像对，并确定所述图像对中的目标航天操作结构，所述实时航天操作场景的图像对包括：目标RGB图像和目标深度图像；
根据所述实时航天操作场景的图像对，获取所述初始航天操作场景中的目标航天操作结构相对于所述实时航天操作场景中的目标航天操作结构的相对位姿；
利用所述初始航天操作场景中各航天操作结构之间的相对位置和所述初始航天操作场景中的目标航天操作结构相对于所述实时航天操作场景中的目标航天操作结构的相对位姿，获取所述实时航天操作场景中各航天操作结构的位姿，并将所述实时航天操作场景中各航天操作结构的位姿在所述混合现实设备中展示。
优选的，所述预先建立的语义三维重建模型的建立过程，包括：
利用混合现实设备采集初始航天操作场景的若干个第一图像对，所述第一图像对包括：第一RGB图像和第一深度图像；
以各第一RGB图像为预先建立的全景分割网络的输入，输出各第一RGB图像中各航天操作结构的语义掩码图；当所述语义掩码图中包含不同的实例时，为每个实例分配与其对应的实例编号；
基于各第一RGB图像、各第一RGB图像中各航天操作结构的语义掩码图和各第一深度图像，利用voxblox++算法获取所述初始航天操作场景中各航天操作结构的语义三维点云，所述初始航天操作场景中所有的航天操作结构的语义三维点云构成所述语义三维重建模型。
优选的，所述基于预先建立的语义三维重建模型，获取初始航天操作场景中各航天操作结构之间的相对位置，包括：
根据所述语义三维重建模型中各航天操作结构的语义三维点云，计算所述初始航天操作场景中各航天操作结构之间的相对位置。
优选的，所述根据所述语义三维重建模型中各航天操作结构的语义三维点云，计算所述初始航天操作场景中各航天操作结构之间的相对位置，包括：
令所述语义三维重建模型中任意两个不同的航天操作结构分别为p和q，则按下式计算航天操作结构p和航天操作结构q的相对位置S：
S＝pcenter-qcenter
上式中，pcenter为航天操作结构p的语义三维点云的几何中心坐标，qcenter为航天操作结构q的语义三维点云的几何中心坐标；
其中，按下式计算航天操作结构p的语义三维点云的几何中心坐标pcenter：
按下式计算航天操作结构q的语义三维点云的几何中心坐标qcenter：
上式中，i∈[1,n]，n为航天操作结构p的语义三维点云中的点数量；j∈[1,m]，m为航天操作结构q的语义三维点云中的点数量；pix、piy和piz分别为航天操作结构p的语义三维点云中的第i个点在x坐标轴、y坐标轴和z坐标轴上坐标值，qjx、qjy和qjz分别为航天操作结构q的语义三维点云中的第j个点在x坐标轴、y坐标轴和z坐标轴上坐标值。
优选的，所述预先建立的全景分割网络的建立过程，包括：
利用混合现实设备采集初始航天操作场景的若干个第二RGB图像；
利用Labelme工具对各第二RGB图像进行标注，得到各第二RGB图像中各航天操作结构的语义掩码图；当所述语义掩码图中包含不同的实例时，为每个实例分配与其对应的实例编号；
利用所有的第二RGB图像和所有的第二RGB图像中各航天操作结构的语义掩码图构建数据集；
利用所述数据集对基于深度学习的全景分割网络进行训练，得到所述预先建立的全景分割网络。
优选的，所述根据所述实时航天操作场景的图像对，获取所述初始航天操作场景中的目标航天操作结构相对于所述实时航天操作场景中的目标航天操作结构的相对位姿，包括：
根据所述目标RGB图像和所述目标深度图像，获取所述目标RGB图像中的各航天操作结构的点云；
分别从所述语义三维重建模型和所述目标RGB图像中提取属于同一航天操作结构的点云，得到若干点云对；
令所述点云对中属于语义三维重建模型的点云为第一点云，所述点云对中属于所述目标RGB图像的点云为第二点云；
根据各点云对中的第一点云和第二点云，计算所述点云对的3自由度平均位姿；
以所述点云对的3自由度平均位姿为初始值，基于各点云对中的第一点云和第二点云，利用ICP算法获取各点云对中第一点云相对于第二点云的6自由度相对位姿；
根据各点云对中的第一点云相对于第二点云的6自由度相对位姿，计算所述点云对的6自由度平均位姿，所述点云对的6自由度平均位姿即为所述初始航天操作场景中的目标航天操作结构相对于所述实时航天操作场景中的目标航天操作结构的相对位姿。
优选的，所述根据各点云对中的第一点云和第二点云，计算所述点云对的3自由度平均位姿，包括：
分别计算各点云对中的第一点云和第二点云的几何中心坐标；
根据各点云对中的第一点云和第二点云的几何中心坐标，计算各点云对中的第一点云相对于第二点云的3自由度相对位姿；
根据各点云对中的第一点云相对于第二点云的3自由度相对位姿，计算所述点云对的3自由度平均位姿。
优选的，所述利用所述初始航天操作场景中各航天操作结构之间的相对位置和所述初始航天操作场景中的目标航天操作结构相对于所述实时航天操作场景中的目标航天操作结构的相对位姿，包括：
获取所述实时航天操作场景中的目标航天操作结构相对于混合现实设备的位姿；
根据所述初始航天操作场景中各航天操作结构之间的相对位置，获取除目标航天操作结构外的其他航天操作结构相对于所述目标航天操作结构的位姿；
利用所述实时航天操作场景中的目标航天操作结构相对于混合现实设备的位姿、除目标航天操作结构外的其他航天操作结构相对于所述目标航天操作结构的位姿以及所述初始航天操作场景中的目标航天操作结构相对于所述实时航天操作场景中的目标航天操作结构的相对位姿，计算所述实时航天操作场景中各航天操作结构的位姿。
优选的，所述利用所述实时航天操作场景中的目标航天操作结构相对于混合现实设备的位姿、除目标航天操作结构外的其他航天操作结构相对于所述目标航天操作结构的位姿以及所述初始航天操作场景中的目标航天操作结构相对于所述实时航天操作场景中的目标航天操作结构的相对位姿，计算所述实时航天操作场景中各航天操作结构的位姿，包括：
按下式计算所述实时航天操作场景中各航天操作结构的位姿：
TO,G＝TO,H·TH,D·TD,Y·TY,G
上式中，G∈[1,g]，g为实时航天操作场景中航天操作结构的总数量；TO,G为实时航天操作场景中第G个航天操作结构相对于混合现实设备的坐标系原点O的位姿；TO,H为混合现实设备的坐标系H相对于混合现实设备的坐标系原点O的位姿；TH,D为所述实时航天操作场景中的目标航天操作结构D相对于混合现实设备的坐标系H的位姿；TD,Y为所述初始航天操作场景中的目标航天操作结构Y相对于所述实时航天操作场景中的目标航天操作结构D的相对位姿；TY,G为第G个航天操作结构相对于所述初始航天操作场景中的目标航天操作结构Y的位姿；当第G个航天操作结构为所述目标航天操作结构时，TY,G＝1。
优选的，所述获取所述实时航天操作场景中的目标航天操作结构相对于混合现实设备的位姿，包括：
获取模板点云；
利用体渲染方法将所述模板点云投影到若干个角度，得到所述模板点云对应的若干个RGB图像，令所述模板点云对应的RGB图像为模板图像；
提取所述模板图像中的模板特征点云；
根据所述模板特征点云，获取所述目标航天操作结构相对于所述模板特征点云的位姿，得到第一位姿；
获取所述目标航天操作结构的点云；
利用体素滤波算法对所述目标航天操作结构的点云进行滤波，去除所述目标航天操作结构的点云中的噪点；
以所述第一位姿为初始值，基于所述模板点云和去除外点后的所述目标航天操作结构的点云，利用ICP算法获取去除外点后的所述目标航天操作结构的点云相对于所述模板点云的位姿，所述去除外点后的所述目标航天操作结构的点云相对于所述模板点云的位姿即为所述实时航天操作场景中的目标航天操作结构相对于混合现实设备的位姿。
优选的，所述获取模板点云，包括：
利用3D Max生成初始航天操作场景中各航天操作结构的三维模型；
利用meshlab对各航天操作结构的三维模型进行下采样，得到所述三维模型的点云，令所述三维模型的点云为模板点云。
优选的，所述提取所述模板图像中的模板特征点云，包括：
分别提取所述模板图像和所述目标RGB图像中目标航天操作结构的SIFT特征点，得到所述模板图像的SIFT特征点集合和所述目标RGB图像中目标航天操作结构的SIFT特征点集合，并令所述模板图像的SIFT特征点集合为第一集合，所述目标RGB图像中目标航天操作结构的SIFT特征点集合为第二集合；
利用快速最近邻算法对所述第一集合和所述第二集合中的SIFT特征点进行匹配，得到相互匹配的SIFT特征点对，令相互匹配的SIFT特征点对中属于第一集合的SIFT特征点为第一SIFT特征点，相互匹配的SIFT特征点对中属于第二集合的SIFT特征点为第二SIFT特征点；
从所述模板点云中提取与所述第一SIFT特征点相对应的点云，得到模板特征点云。
优选的，根据所述模板特征点云，获取所述目标航天操作结构相对于所述模板特征点云的位姿，包括：
基于所述模板特征点云和所述第二SIFT特征点，利用PnP算法获取所述目标航天操作结构相对于所述模板特征点云的位姿。
优选的，所述获取所述目标航天操作结构的点云，包括：
利用预先建立的全景分割网络对所述目标RGB图像进行全景分割，获取所述目标航天操作结构的语义掩码图；
利用所述目标深度图像获取所述目标航天操作结构的点云。
根据本申请实施例的第二方面，提供一种航天操作场景的空间布局解析系统，所述系统包括：
第一获取模块，用于基于预先建立的语义三维重建模型，获取初始航天操作场景中各航天操作结构之间的相对位置；
采集模块，用于利用混合现实设备采集实时航天操作场景的图像对，并确定所述图像对中的目标航天操作结构，所述实时航天操作场景的图像对包括：目标RGB图像和目标深度图像；
第二获取模块，用于根据所述实时航天操作场景的图像对，获取所述初始航天操作场景中的目标航天操作结构相对于所述实时航天操作场景中的目标航天操作结构的相对位姿；
第三获取模块，用于利用所述初始航天操作场景中各航天操作结构之间的相对位置和所述初始航天操作场景中的目标航天操作结构相对于所述实时航天操作场景中的目标航天操作结构的相对位姿，获取所述实时航天操作场景中各航天操作结构的位姿，并将所述实时航天操作场景中各航天操作结构的位姿在所述混合现实设备中展示。
根据本申请实施例的第三方面，提供一种计算机设备，包括：一个或多个处理器；
所述处理器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，实现上述的航天操作场景的空间布局解析方法。
根据本申请实施例的第四方面，提供一种计算机可读存储介质，其上存有计算机程序，所述计算机程序被执行时，实现上述的航天操作场景的空间布局解析方法。
本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：
通过基于预先建立的语义三维重建模型，获取初始航天操作场景中各航天操作结构之间的相对位置，利用混合现实设备采集实时航天操作场景的图像对，并确定图像对中的目标航天操作结构，根据实时航天操作场景的图像对，获取初始航天操作场景中的目标航天操作结构相对于实时航天操作场景中的目标航天操作结构的相对位姿，利用初始航天操作场景中各航天操作结构之间的相对位置和初始航天操作场景中的目标航天操作结构相对于实时航天操作场景中的目标航天操作结构的相对位姿，获取实时航天操作场景中各航天操作结构的位姿，并将实时航天操作场景中各航天操作结构的位姿在混合现实设备中展示，不仅实现了对航天操作场景中所有航天操作结构的绝对定位，完成空间布局解析，而且通过借助所有航天操作结构的定位信息，可以在混合现实设备中灵活添加航天操作场景相应位姿的虚拟辅助信息，弥补了天地信息不对等造成的交流障碍，满足了航天员在轨混合现实任务的需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种航天操作场景的空间布局解析方法的流程图；
图2是本发明实施例提供的各航天操作结构的语义三维点云之间的相对位置的示意图；
图3是本发明实施例提供的获取初始航天操作场景中的目标航天操作结构相对于实时航天操作场景中的目标航天操作结构的相对位姿的流程图；
图4是本发明实施例提供的获取实时航天操作场景中各航天操作结构的位姿的流程图；
图5是本发明实施例提供的获取实时航天操作场景中的目标航天操作结构相对于混合现实设备的位姿的流程图；
图6是本发明实施例提供的计算实时航天操作场景中各航天操作结构的位姿的示意图；
图7是本发明实施例提供的一种航天操作场景的空间布局解析系统的主要结构框图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的详细说明。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如背景技术中所公开的，航天员在轨任务需要地面专家的远程辅助支持，传统的做法是通过天地通话、视频等形式。但天地信息不对等，有时航天员难以理解地面专家的支持信息。因此，需要对航天操作场景进行空间解析。
空间解析即判断所处空间是什么样子、目标物体都在什么位置、不同结构的相对位姿是什么。对于人来说这种能力很简单，进入陌生的场所，人可以快速扫描整个场景，并判断场景里的各种物体类别、大致位置、相对关系。但是对于设备来说，如何通过计算机视觉的方法使其也具备这样的能力并精确计算各种物体间的相对位姿就十分困难。如果增强现实设备具备了这种能力，就可以辅助航天员理解所处的环境，地面专家也可以将各种虚拟信息灵活地渲染在目标位置，用虚拟动画引导航天员在轨操作。但混合现实设备只能对预定目标进行定位和显示，并且需要提前设定位置信息，无法智能识别目标结构，更不能对整个空间中的所有结构的位置和类别进行解析。
目前没有真正意义上的空间解析方法，语义三维重建是最接近的一种技术。语义三维重建的结果是将完整的空间点云赋予各种语义标签，通过不同的语义标签，可以将各种结构相互独立出来。但这种空间理解方式只是初级的理解，无法为航天员混合现实操作提供进一步帮助。
为了改善上述问题，实现了对航天操作场景中所有航天操作结构的绝对定位，完成空间布局解析。
下面对上述方案进行详细阐述。
实施例一
混合现实技术可以为航天员操作提供虚拟辅助信息，但信息放置的位置是预设的，当进入陌生的环境设备无法定位目标。目前混合现实设备更多的是作为显示端，不具备智能解析空间布局的功能。计算机视觉相关的算法(如语义三维重建)可以区分出整体空间中的不同结构，但只是初级的场景解析，无法为航天员提供智能的辅助支持。因此，本发明针对航天操作场景，利用混合现实设备作为数据采集和终端显示工具，结合计算机视觉的相关技术，提出一种航天操作场景的空间布局解析方法，如图1所示，该方法包括：
步骤101：基于预先建立的语义三维重建模型，获取初始航天操作场景中各航天操作结构之间的相对位置；
步骤102：利用混合现实设备采集实时航天操作场景的图像对，并确定图像对中的目标航天操作结构，实时航天操作场景的图像对包括：目标RGB图像和目标深度图像；
步骤103：根据实时航天操作场景的图像对，获取初始航天操作场景中的目标航天操作结构相对于实时航天操作场景中的目标航天操作结构的相对位姿；
步骤104：利用初始航天操作场景中各航天操作结构之间的相对位置和初始航天操作场景中的目标航天操作结构相对于实时航天操作场景中的目标航天操作结构的相对位姿，获取实时航天操作场景中各航天操作结构的位姿，并将实时航天操作场景中各航天操作结构的位姿在混合现实设备中展示。
具体的，混合现实设备可以但不限于为Hololens2。
一些实施例中，航天操作结构可以但不限于包括：手柄、操作台、机柜和工具包等。
进一步的，预先建立的语义三维重建模型的建立过程，包括：
利用混合现实设备采集初始航天操作场景的若干个第一图像对，第一图像对包括：第一RGB图像和第一深度图像；
以各第一RGB图像为预先建立的全景分割网络的输入，输出各第一RGB图像中各航天操作结构的语义掩码图；当语义掩码图中包含不同的实例时，为每个实例分配与其对应的实例编号；
基于各第一RGB图像、各第一RGB图像中各航天操作结构的语义掩码图和各第一深度图像，利用voxblox++算法获取初始航天操作场景中各航天操作结构的语义三维点云，初始航天操作场景中所有的航天操作结构的语义三维点云构成语义三维重建模型。
需要说明的是，建立语义三维重建模型的目的是，可以使用语义三维重建模型的离线图像数据(即语义三维点云)对航天操作场景快速建模，分割出不同的结构和背景，为后续利用目标航天操作结构确定除目标航天操作结构外的其他航天操作结构的位姿，奠定了基础。
具体的，以各第一RGB图像、各第一RGB图像中各航天操作结构的语义掩码图和各第一深度图像为voxblox++算法的输入，输出初始航天操作场景中各航天操作结构的语义三维点云。
可以理解的是，语义掩码图为语义类别对应的掩码图，在本发明中，语义类别即所有种类的航天操作结构。由于一种语义类别中可能包含多种实例时，需要为每个实例分配与其对应的实例编号。例如，语义类别为椅子，椅子的掩码为2，但是椅子又分为红色的椅子和白色的椅子，所以需要为实例红色的椅子分配实例编号a，实例白色的椅子分配实例编号b，则最终该语义掩码图中的掩码包括2-a和2-b。
需要说明的是，本发明实施例中涉及的“voxblox++算法”，是本领域技术人员所熟知的，因此，其具体实现方式不做过多描述。
进一步的，步骤101，包括：
根据语义三维重建模型中各航天操作结构的语义三维点云，计算初始航天操作场景中各航天操作结构之间的相对位置。
具体的，根据语义三维重建模型中各航天操作结构的语义三维点云，计算初始航天操作场景中各航天操作结构之间的相对位置，包括：
令语义三维重建模型中任意两个不同的航天操作结构分别为p和q，则按下式计算航天操作结构p和航天操作结构q的相对位置S：
S＝pcenter-qcenter
上式中，pcenter为航天操作结构p的语义三维点云的几何中心坐标，qcenter为航天操作结构q的语义三维点云的几何中心坐标；
其中，按下式计算航天操作结构p的语义三维点云的几何中心坐标pcenter：
按下式计算航天操作结构q的语义三维点云的几何中心坐标qcenter：
上式中，i∈[1,n]，n为航天操作结构p的语义三维点云中的点数量；j∈[1,m]，m为航天操作结构q的语义三维点云中的点数量；pix、piy和piz分别为航天操作结构p的语义三维点云中的第i个点在x坐标轴、y坐标轴和z坐标轴上坐标值，qjx、qjy和qjz分别为航天操作结构q的语义三维点云中的第j个点在x坐标轴、y坐标轴和z坐标轴上坐标值。
例如，如图2所示，假设语义三维重建模型中包含三个航天操作结构的语义三维点云，即图中的结构1的语义三维点云、结构2的语义三维点云和结构3的语义三维点云，则通过上述公式，可以计算出结构1的语义三维点云与结构2的语义三维点云的相对位置、结构1的语义三维点云与结构3的语义三维点云的相对位置、结构2的语义三维点云与结构3的语义三维点云的相对位置。
进一步的，预先建立的全景分割网络的建立过程，包括：
利用混合现实设备采集初始航天操作场景的若干个第二RGB图像；
利用Labelme工具对各第二RGB图像进行标注，得到各第二RGB图像中各航天操作结构的语义掩码图；当语义掩码图中包含不同的实例时，为每个实例分配与其对应的实例编号；
利用所有的第二RGB图像和所有的第二RGB图像中各航天操作结构的语义掩码图构建数据集；
利用数据集对基于深度学习的全景分割网络进行训练，得到预先建立的全景分割网络。
具体的，利用数据集对基于深度学习的全景分割网络进行训练，得到预先建立的全景分割网络，包括：
将数据集分为训练集和测试集；
以训练集中的第二RGB图像为基于深度学习的全景分割网络的输入层训练样本，以训练集中的第二RGB图像中各航天操作结构的语义掩码图为基于深度学习的全景分割网络的输出层训练样本对基于深度学习的全景分割网络进行训练，得到语义三维重建模型；
利用测试集对语义三维重建模型进行验证，若语义三维重建模型的输出结果的正确率小于预设阈值，则重新采集数据构建数据集以训练基于深度学习的全景分割网络，直至语义三维重建模型的输出结果的正确率大于等于预设阈值，语义三维重建模型验证通过，输出该语义三维重建模型。
其中，基于深度学习的全景分割网络可以但不限于为神经网络PanopticFCN。
进一步的，如图3所示，步骤103可以但不限于包括以下步骤，包括：
步骤1031：根据目标RGB图像和目标深度图像，获取目标RGB图像中的各航天操作结构的点云；
步骤1032：分别从语义三维重建模型和目标RGB图像中提取属于同一航天操作结构的点云，得到若干点云对；
步骤1033：令点云对中属于语义三维重建模型的点云为第一点云，点云对中属于目标RGB图像的点云为第二点云；
步骤1034：根据各点云对中的第一点云和第二点云，计算点云对的3自由度平均位姿；
步骤1035：以点云对的3自由度平均位姿为初始值，基于各点云对中的第一点云和第二点云，利用ICP算法获取各点云对中第一点云相对于第二点云的6自由度相对位姿；
步骤1036：根据各点云对中的第一点云相对于第二点云的6自由度相对位姿，计算点云对的6自由度平均位姿，点云对的6自由度平均位姿即为初始航天操作场景中的目标航天操作结构相对于实时航天操作场景中的目标航天操作结构的相对位姿；
具体的，按下式计算点云对的6自由度平均位姿
上式中，a∈[1,A]，A为点云对的总数量；为第a个点云对中第一点云相对于第二点云的6自由度相对位姿。
进一步的，步骤1034，包括：
步骤1034a：分别计算各点云对中的第一点云和第二点云的几何中心坐标；
具体的，按下式计算第a个点云对中的第一点云b的几何中心坐标
按下式计算第a个点云对中的第二点云c的几何中心坐标
上式中，a∈[1,A]，A为点云对的总数量；e∈[1,E]，E为第a个点云对中的第一点云b中的点数量；f∈[1,F]为第a个点云对中的第二点云c中的点数量；bx、by和bz分别为第a个点云对中的第一点云b在x坐标轴、y坐标轴和z坐标轴上坐标值，cx、cy和cz分别为第a个点云对中的第二点云c在x坐标轴、y坐标轴和z坐标轴上坐标值；
步骤1034b：根据各点云对中的第一点云和第二点云的几何中心坐标，计算各点云对中的第一点云相对于第二点云的3自由度相对位姿；
具体的，按下式计算第a个点云对中第一点云相对于第二点云的3自由度相对位姿
上式中，a∈[1,A]，A为点云对的总数量；为第a个点云对中的第一点云b的几何中心坐标，/>为第a个点云对中的第二点云c的几何中心坐标；
步骤1034c：根据各点云对中的第一点云相对于第二点云的3自由度相对位姿，计算点云对的3自由度平均位姿；
具体的，按下式计算点云对的3自由度平均位姿
上式中，a∈[1,A]，A为点云对的总数量；为第a个点云对中第一点云相对于第二点云的3自由度相对位姿。
进一步的，如图4所示，步骤104可以但不限于通过以下过程实现，包括：
步骤1041：获取实时航天操作场景中的目标航天操作结构相对于混合现实设备的位姿；
步骤1042：根据初始航天操作场景中各航天操作结构之间的相对位置，获取除目标航天操作结构外的其他航天操作结构相对于目标航天操作结构的位姿；
可以理解的是，由于已经获取初始航天操作场景中各航天操作结构之间的相对位置，则可以根据初始航天操作场景中各航天操作结构之间的相对位置，确定除目标航天操作结构外的其他航天操作结构相对于目标航天操作结构的位姿；
步骤1043：利用实时航天操作场景中的目标航天操作结构相对于混合现实设备的位姿、除目标航天操作结构外的其他航天操作结构相对于目标航天操作结构的位姿以及初始航天操作场景中的目标航天操作结构相对于实时航天操作场景中的目标航天操作结构的相对位姿，计算实时航天操作场景中各航天操作结构的位姿。
进一步的，如图5所示，步骤1041可以但不限于包括以下步骤，包括：
步骤1041a：获取模板点云；
步骤1041b：利用体渲染方法将模板点云投影到若干个角度，得到模板点云对应的若干个RGB图像，令模板点云对应的RGB图像为模板图像；
可以理解的是，围绕模板点云的若干个角度，角度的数量越多，得到的模板图像越丰富；
步骤1041c：提取模板图像中的模板特征点云；
步骤1041d：根据模板特征点云，获取目标航天操作结构相对于模板特征点云的位姿，得到第一位姿；
步骤1041e：获取目标航天操作结构的点云；
步骤1041f：利用体素滤波算法对目标航天操作结构的点云进行滤波，去除目标航天操作结构的点云中的噪点；
步骤1041g：以第一位姿为初始值，基于模板点云和去除外点后的目标航天操作结构的点云，利用ICP算法获取去除外点后的目标航天操作结构的点云相对于模板点云的位姿，去除外点后的目标航天操作结构的点云相对于模板点云的位姿即为实时航天操作场景中的目标航天操作结构相对于混合现实设备的位姿。
需要说明的是，本发明实施例中涉及的“ICP算法”，是本领域技术人员所熟知的，因此，其具体实现方式不做过多描述。
进一步的，步骤1041a，包括：
利用3D Max生成初始航天操作场景中各航天操作结构的三维模型；
利用meshlab对各航天操作结构的三维模型进行下采样，得到三维模型的点云，令三维模型的点云为模板点云。
需要说明的是，本发明实施例中涉及的“利用3D Max生成初始航天操作场景中各航天操作结构的三维模型”方式，是本领域技术人员所熟知的，因此，其具体实现方式不做过多描述。
进一步的，步骤1041c，包括：
分别提取模板图像和目标RGB图像中目标航天操作结构的SIFT特征点，得到模板图像的SIFT特征点集合和目标RGB图像中目标航天操作结构的SIFT特征点集合，并令模板图像的SIFT特征点集合为第一集合，目标RGB图像中目标航天操作结构的SIFT特征点集合为第二集合；
利用快速最近邻算法对第一集合和第二集合中的SIFT特征点进行匹配，得到相互匹配的SIFT特征点对，令相互匹配的SIFT特征点对中属于第一集合的SIFT特征点为第一SIFT特征点，相互匹配的SIFT特征点对中属于第二集合的SIFT特征点为第二SIFT特征点；
从模板点云中提取与第一SIFT特征点相对应的点云，得到模板特征点云。
需要说明的是，本发明实施例中涉及的“快速最近邻算法”，是本领域技术人员所熟知的，因此，其具体实现方式不做过多描述。
进一步的，步骤1041d，包括：
基于模板特征点云和第二SIFT特征点，利用PnP算法获取目标航天操作结构相对于模板特征点云的位姿。
需要说明的是，本发明实施例中涉及的“PnP算法”，是本领域技术人员所熟知的，因此，其具体实现方式不做过多描述。
进一步的，步骤1041e，包括：
利用预先建立的全景分割网络对目标RGB图像进行全景分割，获取目标航天操作结构的语义掩码图；
利用目标深度图像获取目标航天操作结构的点云。
一些实施例中，可以但不限于利用相机内参反投影计算深度图像的点云，公式如下所示：
上式中，P为三维点的空间坐标，(u,v,1)T为深度图上二维像素点的齐次坐标，Z为像素点对应的深度值，K为相机内参，像素点(u,v)T的与三维点(X,Y,Z)的颜色、语义类别、实例编号都相同。
可以理解的是，RGB图像中航天操作结构的语义掩码图和实例编号，与对应的航天操作结构的点云中的三维点的相同。
进一步的，如图6所示，步骤1043，包括：
按下式计算所述实时航天操作场景中各航天操作结构的位姿：
TO,G＝TO,H·TH,D·TD,Y·TY,G
上式中，G∈[1,g]，g为实时航天操作场景中航天操作结构的总数量；TO,G为实时航天操作场景中第G个航天操作结构相对于混合现实设备的坐标系原点O的位姿；TO,H为混合现实设备的坐标系H相对于混合现实设备的坐标系原点O的位姿；TH,D为实时航天操作场景中的目标航天操作结构D相对于混合现实设备的坐标系H的位姿；TD,Y为初始航天操作场景中的目标航天操作结构Y相对于实时航天操作场景中的目标航天操作结构D的相对位姿；TY,G为第G个航天操作结构相对于初始航天操作场景中的目标航天操作结构Y的位姿；当第G个航天操作结构为目标航天操作结构时，TY,G＝1。
可以理解的是，第G个航天操作结构相对于初始航天操作场景中的目标航天操作结构的位姿TY,G，即上述步骤1042中获取的除目标航天操作结构外的其他航天操作结构相对于目标航天操作结构的位姿，因此，当第G个航天操作结构为目标航天操作结构时，TW,G＝1。
本发明提供的一种航天操作场景的空间布局解析方法，通过基于预先建立的语义三维重建模型，获取初始航天操作场景中各航天操作结构之间的相对位置，通过利用混合现实设备采集实时航天操作场景的图像对，并确定图像对中的目标航天操作结构，通过根据实时航天操作场景的图像对，获取初始航天操作场景中的目标航天操作结构相对于实时航天操作场景中的目标航天操作结构的相对位姿，通过利用初始航天操作场景中各航天操作结构之间的相对位置和初始航天操作场景中的目标航天操作结构相对于实时航天操作场景中的目标航天操作结构的相对位姿，获取实时航天操作场景中各航天操作结构的位姿，并将实时航天操作场景中各航天操作结构的位姿在混合现实设备中展示，不仅实现了对航天操作场景中所有航天操作结构的绝对定位，完成空间布局解析，而且通过借助所有航天操作结构的定位信息，可以在混合现实设备中灵活添加航天操作场景相应位姿的虚拟辅助信息，弥补了天地信息不对等造成的交流障碍，满足了航天员在轨混合现实任务的需求。
实施例二
本发明还提供一种航天操作场景的空间布局解析系统，如图7所示，该系统包括：
第一获取模块，用于基于预先建立的语义三维重建模型，获取初始航天操作场景中各航天操作结构之间的相对位置；
采集模块，用于利用混合现实设备采集实时航天操作场景的图像对，并确定图像对中的目标航天操作结构，实时航天操作场景的图像对包括：目标RGB图像和目标深度图像；
第二获取模块，用于根据实时航天操作场景的图像对，获取初始航天操作场景中的目标航天操作结构相对于实时航天操作场景中的目标航天操作结构的相对位姿；
第三获取模块，用于利用初始航天操作场景中各航天操作结构之间的相对位置和初始航天操作场景中的目标航天操作结构相对于实时航天操作场景中的目标航天操作结构的相对位姿，获取实时航天操作场景中各航天操作结构的位姿，并将实时航天操作场景中各航天操作结构的位姿在混合现实设备中展示。
进一步的，预先建立的语义三维重建模型的建立过程，包括：
利用混合现实设备采集初始航天操作场景的若干个第一图像对，第一图像对包括：第一RGB图像和第一深度图像；
以各第一RGB图像为预先建立的全景分割网络的输入，输出各第一RGB图像中各航天操作结构的语义掩码图；当语义掩码图中包含不同的实例时，为每个实例分配与其对应的实例编号；
基于各第一RGB图像、各第一RGB图像中各航天操作结构的语义掩码图和各第一深度图像，利用voxblox++算法获取初始航天操作场景中各航天操作结构的语义三维点云，初始航天操作场景中所有的航天操作结构的语义三维点云构成语义三维重建模型。
进一步的，第一获取模块，包括：
第一计算单元，用于根据语义三维重建模型中各航天操作结构的语义三维点云，计算初始航天操作场景中各航天操作结构之间的相对位置。
具体的，第一计算单元，具体用于：
令语义三维重建模型中任意两个不同的航天操作结构分别为p和q，则按下式计算航天操作结构p和航天操作结构q的相对位置S：
S＝pcenter-qcenter
上式中，pcenter为航天操作结构p的语义三维点云的几何中心坐标，qcenter为航天操作结构q的语义三维点云的几何中心坐标；
其中，按下式计算航天操作结构p的语义三维点云的几何中心坐标pcenter：
按下式计算航天操作结构q的语义三维点云的几何中心坐标qcenter：
上式中，i∈[1,n]，n为航天操作结构p的语义三维点云中的点数量；j∈[1,m]，m为航天操作结构q的语义三维点云中的点数量；pix、piy和piz分别为航天操作结构p的语义三维点云中的第i个点在x坐标轴、y坐标轴和z坐标轴上坐标值，qjx、qjy和qjz分别为航天操作结构q的语义三维点云中的第j个点在x坐标轴、y坐标轴和z坐标轴上坐标值。
进一步的，预先建立的全景分割网络的建立过程，包括：
利用混合现实设备采集初始航天操作场景的若干个第二RGB图像；
利用Labelme工具对各第二RGB图像进行标注，得到各第二RGB图像中各航天操作结构的语义掩码图；当语义掩码图中包含不同的实例时，为每个实例分配与其对应的实例编号；
利用所有的第二RGB图像和所有的第二RGB图像中各航天操作结构的语义掩码图构建数据集；
利用数据集对基于深度学习的全景分割网络进行训练，得到预先建立的全景分割网络。
进一步的，第二获取模块，包括：
第一获取单元，用于根据目标RGB图像和目标深度图像，获取目标RGB图像中的各航天操作结构的点云；
第二获取单元，用于分别从语义三维重建模型和目标RGB图像中提取属于同一航天操作结构的点云，得到若干点云对；
第一确定单元，用于令点云对中属于语义三维重建模型的点云为第一点云，点云对中属于目标RGB图像的点云为第二点云；
第二计算单元，用于根据各点云对中的第一点云和第二点云，计算点云对的3自由度平均位姿；
第三获取单元，用于以点云对的3自由度平均位姿为初始值，基于各点云对中的第一点云和第二点云，利用ICP算法获取各点云对中第一点云相对于第二点云的6自由度相对位姿；
第三计算单元，用于根据各点云对中的第一点云相对于第二点云的6自由度相对位姿，计算点云对的6自由度平均位姿，点云对的6自由度平均位姿即为初始航天操作场景中的目标航天操作结构相对于实时航天操作场景中的目标航天操作结构的相对位姿。
进一步的，第二计算单元，具体用于：
分别计算各点云对中的第一点云和第二点云的几何中心坐标；
根据各点云对中的第一点云和第二点云的几何中心坐标，计算各点云对中的第一点云相对于第二点云的3自由度相对位姿；
根据各点云对中的第一点云相对于第二点云的3自由度相对位姿，计算点云对的3自由度平均位姿。
进一步的，第三获取模块，包括：
第四获取单元，用于获取实时航天操作场景中的目标航天操作结构相对于混合现实设备的位姿；
第五获取单元，用于根据初始航天操作场景中各航天操作结构之间的相对位置，获取除目标航天操作结构外的其他航天操作结构相对于目标航天操作结构的位姿；
第四计算单元，用于利用实时航天操作场景中的目标航天操作结构相对于混合现实设备的位姿、除目标航天操作结构外的其他航天操作结构相对于目标航天操作结构的位姿以及初始航天操作场景中的目标航天操作结构相对于实时航天操作场景中的目标航天操作结构的相对位姿，计算实时航天操作场景中各航天操作结构的位姿。
第四计算单元，具体用于：
按下式计算实时航天操作场景中各航天操作结构的位姿：
TO,G＝TO,H·TH,D·TD,Y·TY,G
上式中，G∈[1,g]，g为实时航天操作场景中航天操作结构的总数量；TO,G为实时航天操作场景中第G个航天操作结构相对于混合现实设备的坐标系原点O的位姿；TO,H为混合现实设备的坐标系H相对于混合现实设备的坐标系原点O的位姿；TH,D为实时航天操作场景中的目标航天操作结构D相对于混合现实设备的坐标系H的位姿；TD,Y为初始航天操作场景中的目标航天操作结构Y相对于实时航天操作场景中的目标航天操作结构D的相对位姿；TY,G为第G个航天操作结构相对于初始航天操作场景中的目标航天操作结构Y的位姿；当第G个航天操作结构为目标航天操作结构时，TY,G＝1。
进一步的，第四获取单元，包括：
第一获取子模块，用于获取模板点云；
第二获取子模块，用于利用体渲染方法将模板点云投影到若干个角度，得到模板点云对应的若干个RGB图像，令模板点云对应的RGB图像为模板图像；
提取子模块，用于提取模板图像中的模板特征点云；
第三获取子模块，用于根据模板特征点云，获取目标航天操作结构相对于模板特征点云的位姿，得到第一位姿；
第四获取子模块，用于获取目标航天操作结构的点云；
去噪子模块，用于利用体素滤波算法对目标航天操作结构的点云进行滤波，去除目标航天操作结构的点云中的噪点；
第五获取子模块，用于以第一位姿为初始值，基于模板点云和去除外点后的目标航天操作结构的点云，利用ICP算法获取去除外点后的目标航天操作结构的点云相对于模板点云的位姿，去除外点后的目标航天操作结构的点云相对于模板点云的位姿即为实时航天操作场景中的目标航天操作结构相对于混合现实设备的位姿。
具体的，第一获取子模块，具体用于：
利用3D Max生成初始航天操作场景中各航天操作结构的三维模型；
利用meshlab对各航天操作结构的三维模型进行下采样，得到三维模型的点云，令三维模型的点云为模板点云。
具体的，提取子模块，具体用于：
分别提取模板图像和目标RGB图像中目标航天操作结构的SIFT特征点，得到模板图像的SIFT特征点集合和目标RGB图像中目标航天操作结构的SIFT特征点集合，并令模板图像的SIFT特征点集合为第一集合，目标RGB图像中目标航天操作结构的SIFT特征点集合为第二集合；
利用快速最近邻算法对第一集合和第二集合中的SIFT特征点进行匹配，得到相互匹配的SIFT特征点对，令相互匹配的SIFT特征点对中属于第一集合的SIFT特征点为第一SIFT特征点，相互匹配的SIFT特征点对中属于第二集合的SIFT特征点为第二SIFT特征点；
从模板点云中提取与第一SIFT特征点相对应的点云，得到模板特征点云。
具体的，第三获取子模块，具体用于：
基于模板特征点云和第二SIFT特征点，利用PnP算法获取目标航天操作结构相对于模板特征点云的位姿。
具体的，第四获取子模块，具体用于：
利用预先建立的全景分割网络对目标RGB图像进行全景分割，获取目标航天操作结构的语义掩码图；
利用目标深度图像获取目标航天操作结构的点云。
本发明提供的一种航天操作场景的空间布局解析系统，通过第一获取模块基于预先建立的语义三维重建模型，获取初始航天操作场景中各航天操作结构之间的相对位置，通过采集模块利用混合现实设备采集实时航天操作场景的图像对，并确定图像对中的目标航天操作结构，通过第二获取模块根据实时航天操作场景的图像对，获取初始航天操作场景中的目标航天操作结构相对于实时航天操作场景中的目标航天操作结构的相对位姿，通过第三获取模块利用初始航天操作场景中各航天操作结构之间的相对位置和初始航天操作场景中的目标航天操作结构相对于实时航天操作场景中的目标航天操作结构的相对位姿，获取实时航天操作场景中各航天操作结构的位姿，并将实时航天操作场景中各航天操作结构的位姿在混合现实设备中展示，不仅实现了对航天操作场景中所有航天操作结构的绝对定位，完成空间布局解析，而且通过借助所有航天操作结构的定位信息，可以在混合现实设备中灵活添加航天操作场景相应位姿的虚拟辅助信息，弥补了天地信息不对等造成的交流障碍，满足了航天员在轨混合现实任务的需求。
可以理解的是，上述提供的系统实施例与上述的方法实施例对应，相应的具体内容可以相互参考，在此不再赘述。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
实施例三
基于同一种发明构思，本发明还提供了一种计算机设备，该计算机设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor、DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行计算机存储介质内一条或一条以上指令从而实现相应方法流程或相应功能，以实现上述实施例中一种航天操作场景的空间布局解析方法的步骤。
实施例四
基于同一种发明构思，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中一种航天操作场景的空间布局解析方法的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (17)
1.一种航天操作场景的空间布局解析方法，其特征在于，所述方法包括：
基于预先建立的语义三维重建模型，获取初始航天操作场景中各航天操作结构之间的相对位置；
利用混合现实设备采集实时航天操作场景的图像对，并确定所述图像对中的目标航天操作结构，所述实时航天操作场景的图像对包括：目标RGB图像和目标深度图像；
根据所述实时航天操作场景的图像对，获取所述初始航天操作场景中的目标航天操作结构相对于所述实时航天操作场景中的目标航天操作结构的相对位姿；
利用所述初始航天操作场景中各航天操作结构之间的相对位置和所述初始航天操作场景中的目标航天操作结构相对于所述实时航天操作场景中的目标航天操作结构的相对位姿，获取所述实时航天操作场景中各航天操作结构的位姿，并将所述实时航天操作场景中各航天操作结构的位姿在所述混合现实设备中展示。
2.根据权利要求1所述的方法，其特征在于，所述预先建立的语义三维重建模型的建立过程，包括：
利用混合现实设备采集初始航天操作场景的若干个第一图像对，所述第一图像对包括：第一RGB图像和第一深度图像；
以各第一RGB图像为预先建立的全景分割网络的输入，输出各第一RGB图像中各航天操作结构的语义掩码图；当所述语义掩码图中包含不同的实例时，为每个实例分配与其对应的实例编号；
基于各第一RGB图像、各第一RGB图像中各航天操作结构的语义掩码图和各第一深度图像，利用voxblox++算法获取所述初始航天操作场景中各航天操作结构的语义三维点云，所述初始航天操作场景中所有的航天操作结构的语义三维点云构成所述语义三维重建模型。
3.根据权利要求2所述的方法，其特征在于，所述基于预先建立的语义三维重建模型，获取初始航天操作场景中各航天操作结构之间的相对位置，包括：
根据所述语义三维重建模型中各航天操作结构的语义三维点云，计算所述初始航天操作场景中各航天操作结构之间的相对位置。
4.根据权利要求3所述的方法，其特征在于，所述根据所述语义三维重建模型中各航天操作结构的语义三维点云，计算所述初始航天操作场景中各航天操作结构之间的相对位置，包括：
令所述语义三维重建模型中任意两个不同的航天操作结构分别为p和q，则按下式计算航天操作结构p和航天操作结构q的相对位置S：
S＝pcenter-qcenter
上式中，pcenter为航天操作结构p的语义三维点云的几何中心坐标，qcenter为航天操作结构q的语义三维点云的几何中心坐标；
其中，按下式计算航天操作结构p的语义三维点云的几何中心坐标pcenter：
按下式计算航天操作结构q的语义三维点云的几何中心坐标qcenter：
上式中，i∈[1,n]，n为航天操作结构p的语义三维点云中的点数量；j∈[1,m]，m为航天操作结构q的语义三维点云中的点数量；pix、piy和piz分别为航天操作结构p的语义三维点云中的第i个点在x坐标轴、y坐标轴和z坐标轴上坐标值，qjx、qjy和qjz分别为航天操作结构q的语义三维点云中的第j个点在x坐标轴、y坐标轴和z坐标轴上坐标值。
5.根据权利要求2所述的方法，其特征在于，所述预先建立的全景分割网络的建立过程，包括：
利用混合现实设备采集初始航天操作场景的若干个第二RGB图像；
利用Labelme工具对各第二RGB图像进行标注，得到各第二RGB图像中各航天操作结构的语义掩码图；当所述语义掩码图中包含不同的实例时，为每个实例分配与其对应的实例编号；
利用所有的第二RGB图像和所有的第二RGB图像中各航天操作结构的语义掩码图构建数据集；
利用所述数据集对基于深度学习的全景分割网络进行训练，得到所述预先建立的全景分割网络。
6.根据权利要求2所述的方法，其特征在于，所述根据所述实时航天操作场景的图像对，获取所述初始航天操作场景中的目标航天操作结构相对于所述实时航天操作场景中的目标航天操作结构的相对位姿，包括：
根据所述目标RGB图像和所述目标深度图像，获取所述目标RGB图像中的各航天操作结构的点云；
分别从所述语义三维重建模型和所述目标RGB图像中提取属于同一航天操作结构的点云，得到若干点云对；
令所述点云对中属于语义三维重建模型的点云为第一点云，所述点云对中属于所述目标RGB图像的点云为第二点云；
根据各点云对中的第一点云和第二点云，计算所述点云对的3自由度平均位姿；
以所述点云对的3自由度平均位姿为初始值，基于各点云对中的第一点云和第二点云，利用ICP算法获取各点云对中第一点云相对于第二点云的6自由度相对位姿；
根据各点云对中的第一点云相对于第二点云的6自由度相对位姿，计算所述点云对的6自由度平均位姿，所述点云对的6自由度平均位姿即为所述初始航天操作场景中的目标航天操作结构相对于所述实时航天操作场景中的目标航天操作结构的相对位姿。
7.根据权利要求6所述的方法，其特征在于，所述根据各点云对中的第一点云和第二点云，计算所述点云对的3自由度平均位姿，包括：
分别计算各点云对中的第一点云和第二点云的几何中心坐标；
根据各点云对中的第一点云和第二点云的几何中心坐标，计算各点云对中的第一点云相对于第二点云的3自由度相对位姿；
根据各点云对中的第一点云相对于第二点云的3自由度相对位姿，计算所述点云对的3自由度平均位姿。
8.根据权利要求6所述的方法，其特征在于，所述利用所述初始航天操作场景中各航天操作结构之间的相对位置和所述初始航天操作场景中的目标航天操作结构相对于所述实时航天操作场景中的目标航天操作结构的相对位姿，获取所述实时航天操作场景中各航天操作结构的位姿，包括：
获取所述实时航天操作场景中的目标航天操作结构相对于混合现实设备的位姿；
根据所述初始航天操作场景中各航天操作结构之间的相对位置，获取除目标航天操作结构外的其他航天操作结构相对于所述目标航天操作结构的位姿；
利用所述实时航天操作场景中的目标航天操作结构相对于混合现实设备的位姿、除目标航天操作结构外的其他航天操作结构相对于所述目标航天操作结构的位姿以及所述初始航天操作场景中的目标航天操作结构相对于所述实时航天操作场景中的目标航天操作结构的相对位姿，计算所述实时航天操作场景中各航天操作结构的位姿。
9.根据权利要求8所述的方法，其特征在于，所述利用所述实时航天操作场景中的目标航天操作结构相对于混合现实设备的位姿、除目标航天操作结构外的其他航天操作结构相对于所述目标航天操作结构的位姿以及所述初始航天操作场景中的目标航天操作结构相对于所述实时航天操作场景中的目标航天操作结构的相对位姿，计算所述实时航天操作场景中各航天操作结构的位姿，包括：
按下式计算所述实时航天操作场景中各航天操作结构的位姿：
TO,G＝TO,H·TH,D·TD,Y·TY,G
上式中，G∈[1,g]，g为实时航天操作场景中航天操作结构的总数量；TO,G为实时航天操作场景中第G个航天操作结构相对于混合现实设备的坐标系原点O的位姿；TO,H为混合现实设备的坐标系H相对于混合现实设备的坐标系原点O的位姿；TH,D为所述实时航天操作场景中的目标航天操作结构D相对于混合现实设备的坐标系H的位姿；TD,Y为所述初始航天操作场景中的目标航天操作结构Y相对于所述实时航天操作场景中的目标航天操作结构D的相对位姿；TY,G为第G个航天操作结构相对于所述初始航天操作场景中的目标航天操作结构Y的位姿；当第G个航天操作结构为所述目标航天操作结构时，TY,G＝1。
10.根据权利要求8所述的方法，其特征在于，所述获取所述实时航天操作场景中的目标航天操作结构相对于混合现实设备的位姿，包括：
获取模板点云；
利用体渲染方法将所述模板点云投影到若干个角度，得到所述模板点云对应的若干个RGB图像，令所述模板点云对应的RGB图像为模板图像；
提取所述模板图像中的模板特征点云；
根据所述模板特征点云，获取所述目标航天操作结构相对于所述模板特征点云的位姿，得到第一位姿；
获取所述目标航天操作结构的点云；
利用体素滤波算法对所述目标航天操作结构的点云进行滤波，去除所述目标航天操作结构的点云中的噪点；
以所述第一位姿为初始值，基于所述模板点云和去除外点后的所述目标航天操作结构的点云，利用ICP算法获取去除外点后的所述目标航天操作结构的点云相对于所述模板点云的位姿，所述去除外点后的所述目标航天操作结构的点云相对于所述模板点云的位姿即为所述实时航天操作场景中的目标航天操作结构相对于混合现实设备的位姿。
11.根据权利要求10所述的方法，其特征在于，所述获取模板点云，包括：
利用3D Max生成初始航天操作场景中各航天操作结构的三维模型；
利用meshlab对各航天操作结构的三维模型进行下采样，得到所述三维模型的点云，令所述三维模型的点云为模板点云。
12.根据权利要求10所述的方法，其特征在于，所述提取所述模板图像中的模板特征点云，包括：
分别提取所述模板图像和所述目标RGB图像中目标航天操作结构的SIFT特征点，得到所述模板图像的SIFT特征点集合和所述目标RGB图像中目标航天操作结构的SIFT特征点集合，并令所述模板图像的SIFT特征点集合为第一集合，所述目标RGB图像中目标航天操作结构的SIFT特征点集合为第二集合；
利用快速最近邻算法对所述第一集合和所述第二集合中的SIFT特征点进行匹配，得到相互匹配的SIFT特征点对，令相互匹配的SIFT特征点对中属于第一集合的SIFT特征点为第一SIFT特征点，相互匹配的SIFT特征点对中属于第二集合的SIFT特征点为第二SIFT特征点；
从所述模板点云中提取与所述第一SIFT特征点相对应的点云，得到模板特征点云。
13.根据权利要求12所述的方法，其特征在于，根据所述模板特征点云，获取所述目标航天操作结构相对于所述模板特征点云的位姿，包括：
基于所述模板特征点云和所述第二SIFT特征点，利用PnP算法获取所述目标航天操作结构相对于所述模板特征点云的位姿。
14.根据权利要求10所述的方法，其特征在于，所述获取所述目标航天操作结构的点云，包括：
利用预先建立的全景分割网络对所述目标RGB图像进行全景分割，获取所述目标航天操作结构的语义掩码图；
利用所述目标深度图像获取所述目标航天操作结构的点云。
15.一种航天操作场景的空间布局解析系统，其特征在于，所述系统包括：
第一获取模块，用于基于预先建立的语义三维重建模型，获取初始航天操作场景中各航天操作结构之间的相对位置；
采集模块，用于利用混合现实设备采集实时航天操作场景的图像对，并确定所述图像对中的目标航天操作结构，所述实时航天操作场景的图像对包括：目标RGB图像和目标深度图像；
第二获取模块，用于根据所述实时航天操作场景的图像对，获取所述初始航天操作场景中的目标航天操作结构相对于所述实时航天操作场景中的目标航天操作结构的相对位姿；
第三获取模块，用于利用所述初始航天操作场景中各航天操作结构之间的相对位置和所述初始航天操作场景中的目标航天操作结构相对于所述实时航天操作场景中的目标航天操作结构的相对位姿，获取所述实时航天操作场景中各航天操作结构的位姿，并将所述实时航天操作场景中各航天操作结构的位姿在所述混合现实设备中展示。
16.一种计算机设备，其特征在于，包括：一个或多个处理器；
所述处理器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，实现如权利要求1至14中任意一项所述的航天操作场景的空间布局解析方法。
17.一种计算机可读存储介质，其特征在于，其上存有计算机程序，所述计算机程序被执行时，实现如权利要求1至14中任意一项所述的航天操作场景的空间布局解析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310431542.3A CN116452742B (zh) | 2023-04-21 | 2023-04-21 | 一种航天操作场景的空间布局解析方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310431542.3A CN116452742B (zh) | 2023-04-21 | 2023-04-21 | 一种航天操作场景的空间布局解析方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116452742A true CN116452742A (zh) | 2023-07-18 |
| CN116452742B CN116452742B (zh) | 2023-11-03 |
Family
ID=87135411
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310431542.3A Active CN116452742B (zh) | 2023-04-21 | 2023-04-21 | 一种航天操作场景的空间布局解析方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116452742B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112902953A (zh) * | 2021-01-26 | 2021-06-04 | 中国科学院国家空间科学中心 | 一种基于slam技术的自主位姿测量方法 |
| WO2022040970A1 (zh) * | 2020-08-26 | 2022-03-03 | 南京翱翔信息物理融合创新研究院有限公司 | 一种同步实现三维重建和ar虚实注册的方法、系统及装置 |
| CN114332394A (zh) * | 2021-12-29 | 2022-04-12 | 北京航空航天大学 | 一种基于语义信息辅助的动态场景三维重建方法 |
| CN114429527A (zh) * | 2022-01-18 | 2022-05-03 | 中国人民解放军63919部队 | 基于slam的远程操作场景三维重建方法 |
| CN114494594A (zh) * | 2022-01-18 | 2022-05-13 | 中国人民解放军63919部队 | 基于深度学习的航天员操作设备状态识别方法 |
-
2023
- 2023-04-21 CN CN202310431542.3A patent/CN116452742B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022040970A1 (zh) * | 2020-08-26 | 2022-03-03 | 南京翱翔信息物理融合创新研究院有限公司 | 一种同步实现三维重建和ar虚实注册的方法、系统及装置 |
| CN112902953A (zh) * | 2021-01-26 | 2021-06-04 | 中国科学院国家空间科学中心 | 一种基于slam技术的自主位姿测量方法 |
| CN114332394A (zh) * | 2021-12-29 | 2022-04-12 | 北京航空航天大学 | 一种基于语义信息辅助的动态场景三维重建方法 |
| CN114429527A (zh) * | 2022-01-18 | 2022-05-03 | 中国人民解放军63919部队 | 基于slam的远程操作场景三维重建方法 |
| CN114494594A (zh) * | 2022-01-18 | 2022-05-13 | 中国人民解放军63919部队 | 基于深度学习的航天员操作设备状态识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116452742B (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110458939B (zh) | 基于视角生成的室内场景建模方法 | |
| WO2021057027A1 (zh) | 人体检测方法、装置、计算机设备及存储介质 | |
| CN109003325B (zh) | 一种三维重建的方法、介质、装置和计算设备 | |
| CN108898676B (zh) | 一种虚实物体之间碰撞及遮挡检测方法及系统 | |
| JP5952001B2 (ja) | 深さ情報を用いたカメラモーションの推定方法および装置、拡張現実システム | |
| JP3486461B2 (ja) | 画像処理装置及び方法 | |
| CN111739005B (zh) | 图像检测方法、装置、电子设备及存储介质 | |
| CN103810685A (zh) | 一种深度图的超分辨率处理方法 | |
| WO2016030305A1 (en) | Method and device for registering an image to a model | |
| CN112651881B (zh) | 图像合成方法、装置、设备、存储介质以及程序产品 | |
| WO2017163384A1 (ja) | データ処理装置、データ処理方法及びデータ処理プログラム | |
| CN114863037A (zh) | 基于单手机的人体三维建模数据采集与重建方法及系统 | |
| Gang et al. | A mask R-CNN based method for inspecting cable brackets in aircraft | |
| IL299465A (en) | An object recognition neural network for predicting a missing visual information center | |
| Shen et al. | Distortion-tolerant monocular depth estimation on omnidirectional images using dual-cubemap | |
| CN117197388A (zh) | 一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法及系统 | |
| CN117237431A (zh) | 深度估计模型的训练方法、装置、电子设备及存储介质 | |
| CN114494435A (zh) | 视觉与高精地图匹配定位的快速优化方法、系统及介质 | |
| CN113313824B (zh) | 一种三维语义地图构建方法 | |
| CN116452742B (zh) | 一种航天操作场景的空间布局解析方法及系统 | |
| CN115619986B (zh) | 场景漫游方法、装置、设备和介质 | |
| CN113610969B (zh) | 一种三维人体模型生成方法、装置、电子设备及存储介质 | |
| CN112435345B (zh) | 一种基于深度学习的人体三维测量方法及系统 | |
| CN115375816A (zh) | 可微渲染方法、装置、电子设备及存储介质 | |
| Huo et al. | Semantic segmentation and scene reconstruction for traffic simulation using CNN |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |