CN116524111B - 一种航天员在轨支持按需轻量场景重建方法及系统 - Google Patents

一种航天员在轨支持按需轻量场景重建方法及系统 Download PDF

Info

Publication number
CN116524111B
CN116524111B CN202310160908.8A CN202310160908A CN116524111B CN 116524111 B CN116524111 B CN 116524111B CN 202310160908 A CN202310160908 A CN 202310160908A CN 116524111 B CN116524111 B CN 116524111B
Authority
CN
China
Prior art keywords
target scene
rgb image
scene
target
rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310160908.8A
Other languages
English (en)
Other versions
CN116524111A (zh
Inventor
孙庆伟
晁建刚
陈炜
林万洪
何宁
许振瑛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peoples Liberation Army Strategic Support Force Aerospace Engineering University
China Astronaut Research and Training Center
Original Assignee
Peoples Liberation Army Strategic Support Force Aerospace Engineering University
China Astronaut Research and Training Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peoples Liberation Army Strategic Support Force Aerospace Engineering University, China Astronaut Research and Training Center filed Critical Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Priority to CN202310160908.8A priority Critical patent/CN116524111B/zh
Publication of CN116524111A publication Critical patent/CN116524111A/zh
Application granted granted Critical
Publication of CN116524111B publication Critical patent/CN116524111B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种航天员在轨支持按需轻量场景重建方法及系统，包括：采集目标场景的RGB图像和深度图像；利用目标场景的RGB图像和深度图像，获取目标场景的RGB图像的位姿和目标场景的RGB图像中ORB特征点的三维坐标；以目标场景的RGB图像为预先建立的目标检测网络的输入，输出检测结果，并利用检测结果和目标场景的RGB图像的位姿，生成稠密mesh；检测结果为目标部件在目标场景的RGB图像中的像素位置bounding box；利用目标场景的RGB图像中ORB特征点的三维坐标，生成稀疏mesh；根据稠密mesh和稀疏mesh进行按需轻量三维场景重建。本发明提供的技术方案，通过将稠密mesh和稀疏mesh结合进行三维场景重建，降低了对设备计算性能的要求，减少了数据的存储，有利于天地快速数据传输。

Description

一种航天员在轨支持按需轻量场景重建方法及系统
技术领域
本发明属于航天技术领域，具体涉及一种航天员在轨支持按需轻量场景重建方法及系统。
背景技术
航天员在轨远程支持任务中需要实现作业场景的天地协同，三维重建技术可以将场景以立体方式展现，使地面专家与航天员处于同一视角下。现有三维重建技术对整个场景的所有目标进行重建，包括一些不具有信息价值的背景结构，导致重建结构冗余、算法实时性不好。
三维重建即根据二维图像恢复空间的三维结构，其技术一般包括相机位姿计算和空间场景表示两个部分。现有的三维重建算法在重建整个空间，无法区分场景中目标结构的主次，前景、背景、重点目标和非重点目标对于算法都是相同的，这类算法需要较大的算力支持，重建了很多冗余结构，对天地数据传输造成较大负担。现有的三维重建中的位姿多采用并行计算，其计算过程和建图步骤高度耦合，这种方式理论相对简单，却需要先进的GPU来实施，在小型电脑上很难满足。现有的三维重建中无法以任务为牵引、以增强人的作业能力为目的进行按需重建，部分算法只能在重建结果的基础上采用语义分割或目标识别对重建模型进行标注，无法提前将这种注意力应用在重建过程中。
发明内容
为至少在一定程度上克服相关技术中存在的问题，本申请提供一种航天员在轨支持按需轻量场景重建方法及系统。
根据本申请实施例的第一方面，提供一种航天员在轨支持按需轻量场景重建方法，所述方法包括：
采集目标场景的RGB图像和深度图像；
利用所述目标场景的RGB图像和深度图像，获取所述目标场景的RGB图像的位姿和所述目标场景的RGB图像中ORB特征点的三维坐标；
以所述目标场景的RGB图像为预先建立的目标检测网络的输入，输出检测结果，并利用所述检测结果和所述目标场景的RGB图像的位姿，生成稠密mesh；所述检测结果为目标部件在所述目标场景的RGB图像中的像素位置bounding box；
利用所述目标场景的RGB图像中ORB特征点的三维坐标，生成稀疏mesh；
根据所述稠密mesh和所述稀疏mesh进行按需轻量三维场景重建。
优选的，所述采集目标场景的RGB图像和深度图像，包括：
利用视觉传感器采集目标场景的RGB图像和深度图像。
优选的，所述预先建立的目标检测网络的建立过程，包括：
采集所有航天员在轨支持场景的RGB图像；
对所有航天员在轨支持场景的RGB图像中的部件进行标注，得到所述部件在RGB图像中的像素位置bounding box(x,y,w,h)，其中，x和y分别为所述bounding box的中心点在x轴和y轴的坐标值，w和h分别为所述bounding box的宽和高；
利用所有航天员在轨支持场景的RGB图像和所有航天员在轨支持场景的RGB图像中各部件在RGB图像中的像素位置bounding box，构建数据集；
利用所述数据集对YOLO v5网络进行训练，得到所述预先建立的目标检测网络。
优选的，所述利用所述数据集对YOLO v5网络进行训练，得到所述预先建立的目标检测网络，包括：
将所述数据集分为训练集和验证集；
以所述训练集中所有航天员在轨支持场景的RGB图像为所述YOLO v5网络的输入层训练样本，以所述训练集中所有航天员在轨支持场景的RGB图像中各部件在RGB图像中的像素位置bounding box为所述YOLO v5网络的输出层训练样本进行训练，得到训练后的YOLO v5网络；
利用所述验证集对所述训练后的YOLO v5网络进行验证，若验证结果的准确率达到准确率阈值，则所述训练后的YOLO v5网络为所述预先建立的目标检测网络；若验证结果的准确率未达到准确率阈值，则调整YOLO v5网络的参数，重新训练YOLO v5网络，直至验证结果的准确率达到准确率阈值。
优选的，所述利用所述目标场景的RGB图像和深度图像，获取所述目标场景的RGB图像的位姿和所述目标场景的RGB图像中ORB特征点的三维坐标，包括：
提取所述目标场景的RGB图像的ORB特征点，并获取所述ORB特征点在所述目标场景的深度图像中的深度值；
基于所述目标场景的RGB图像的ORB特征点和所述ORB特征点在所述目标场景的深度图像中的深度值，利用orb-slam2算法获取所述目标场景的RGB图像的位姿和所述目标场景的RGB图像中ORB特征点的三维坐标。
优选的，所述利用所述检测结果和所述目标场景的RGB图像的位姿，生成稠密mesh，包括：
基于所述目标部件在所述目标场景的RGB图像中的像素位置bounding box中各像素点对应的深度值和所述目标场景的RGB图像的位姿，利用marching cube算法生成稠密mesh。
优选的，所述基于所述目标部件在所述目标场景的RGB图像中的像素位置bounding box中各像素点对应的深度值和所述目标场景的RGB图像的位姿，利用marchingcube算法生成稠密mesh，包括：
根据所述目标场景的RGB图像的位姿和目标部件在所述目标场景的RGB图像中的像素位置bounding box中各像素点对应的深度值，利用加权平均算法获取所述boundingbox中各像素点对应的TSDF值；
利用marching cube算法，提取所述bounding box中像素点对应的TSDF值为0的等值面，并利用所述bounding box中像素点对应的TSDF值为0的等值面生成稠密mesh。
优选的，所述利用所述目标场景的RGB图像中ORB特征点的三维坐标，生成稀疏mesh，包括：
将所述目标场景的RGB图像中ORB特征点的三维坐标进行连接，生成稀疏mesh。
根据本申请实施例的第二方面，提供一种航天员在轨支持按需轻量场景重建系统，所述系统包括：
采集模块，用于采集目标场景的RGB图像和深度图像；
获取模块，用于利用所述目标场景的RGB图像和深度图像，获取所述目标场景的RGB图像的位姿和所述目标场景的RGB图像中ORB特征点的三维坐标；
第一生成模块，用于以所述目标场景的RGB图像为预先建立的目标检测网络的输入，输出检测结果，并利用所述检测结果和所述目标场景的RGB图像的位姿，生成稠密mesh；所述检测结果为目标部件在所述目标场景的RGB图像中的像素位置bounding box；
第二生成模块，用于利用所述目标场景的RGB图像中ORB特征点的三维坐标，生成稀疏mesh；
三维重建模块，用于根据所述稠密mesh和所述稀疏mesh进行按需轻量三维场景重建。
根据本申请实施例的第三方面，提供一种计算机设备，包括：一个或多个处理器；
所述处理器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，实现上述的航天员在轨支持按需轻量场景重建方法。
根据本申请实施例的第四方面，提供一种计算机可读存储介质，其上存有计算机程序，所述计算机程序被执行时，实现上述的航天员在轨支持按需轻量场景重建方法。
本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：
本发明提供的一种航天员在轨支持按需轻量场景重建方法及系统，包括：采集目标场景的RGB图像和深度图像；利用目标场景的RGB图像和深度图像，获取目标场景的RGB图像的位姿和目标场景的RGB图像中ORB特征点的三维坐标；以目标场景的RGB图像为预先建立的目标检测网络的输入，输出检测结果，并利用检测结果和目标场景的RGB图像的位姿，生成稠密mesh；检测结果为目标部件在目标场景的RGB图像中的像素位置bounding box；利用目标场景的RGB图像中ORB特征点的三维坐标，生成稀疏mesh；根据稠密mesh和稀疏mesh进行按需轻量三维场景重建。本发明通过将稠密mesh和稀疏mesh结合进行三维场景重建，按需对目标部件进行稠密mesh重建，其余部分利用稀疏mesh重建，降低了对设备计算性能的要求，减少了数据的存储，有利于天地快速数据传输，为航天员和地面专家搭建轻量化的信息交流平台。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种航天员在轨支持按需轻量场景重建方法的流程图；
图2是根据一示例性实施例示出的bounding box的四个角的坐标值的示意图；
图3是根据一示例性实施例示出的计算ORB特征点的空间位置的示意图；
图4是根据一示例性实施例示出的计算单一体素TSDF的数值的示意图；
图5是根据一示例性实施例示出的一种航天员在轨支持按需轻量场景重建系统的主要结构框图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的详细说明。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如背景技术中所公开的，航天员在轨远程支持任务中需要实现作业场景的天地协同，三维重建技术可以将场景以立体方式展现，使地面专家与航天员处于同一视角下。现有三维重建技术对整个场景的所有目标进行重建，包括一些不具有信息价值的背景结构，导致重建结构冗余、算法实时性不好。
三维重建即根据二维图像恢复空间的三维结构，其技术一般包括相机位姿计算和空间场景表示两个部分。现有的三维重建算法在重建整个空间，无法区分场景中目标结构的主次，无论是前景、背景、重点目标或非重点目标，所采用的算法都是相同的，这类算法需要较大的算力支持，重建了很多冗余结构，对天地数据传输造成较大负担。现有的三维重建中的位姿多采用并行计算，其计算过程和建图步骤高度耦合，这种方式理论相对简单，却需要先进的GPU来实施，在小型电脑上很难满足。现有的三维重建中无法以任务为牵引、以增强人的作业能力为目的进行按需重建，部分算法只能在重建结果的基础上采用语义分割或目标识别对重建模型进行标注，无法提前将这种注意力应用在重建过程中。
为了改善上述问题，降低对设备计算性能的要求，减少数据的存储，为航天员和地面专家搭建轻量化的信息交流平台。
下面对上述方案进行详细阐述。
实施例一
本发明提供一种航天员在轨支持按需轻量场景重建方法，如图1所示，该方法可以但不限于用于终端中，包括以下步骤：
步骤101：采集目标场景的RGB图像和深度图像；
步骤102：利用目标场景的RGB图像和深度图像，获取目标场景的RGB图像的位姿和目标场景的RGB图像中ORB特征点的三维坐标；
步骤103：以目标场景的RGB图像为预先建立的目标检测网络的输入，输出检测结果，并利用检测结果和目标场景的RGB图像的位姿，生成稠密mesh；检测结果为目标部件在目标场景的RGB图像中的像素位置bounding box；
步骤104：利用目标场景的RGB图像中ORB特征点的三维坐标，生成稀疏mesh；
步骤105：根据稠密mesh和稀疏mesh进行按需轻量三维场景重建。
具体的，目标场景为航天员在轨支持场景。
需要说明的是，本发明针对航天员在轨人机交互作业场景，采用基于目标检测和三维重建结合的方法实现空间的按需轻量重建，即通过将稠密mesh和稀疏mesh结合进行三维场景重建，按需对目标部件进行稠密mesh重建，其余部分利用稀疏mesh重建，突出重点目标，减少冗余计算，降低了对设备计算性能的要求，减少了数据的存储，仅使用普通CPU即可实时运行，有利于天地快速数据传输，为天地协同任务提供技术保障，为航天员和地面专家搭建轻量化的信息交流平台。
进一步的，采集目标场景的RGB图像和深度图像，包括：
利用视觉传感器采集目标场景的RGB图像和深度图像，其中，RGB图像和深度图像的坐标对齐。
一些实施例中，可以但不限于采用realsense d455采集目标场景的RGB图像和深度图像。由realsense d455采集的RGB图像和深度图像为进行坐标对齐后的RGB图像和深度图像。
进一步的，该方法还包括：步骤100：建立预先建立的目标检测网络；
具体的，步骤100可以通过但不限于以下过程实现：
步骤1001：采集所有航天员在轨支持场景的RGB图像；
步骤1002：对所有航天员在轨支持场景的RGB图像中的部件进行标注，得到部件在RGB图像中的像素位置bounding box(x,y,w,h)，其中，x和y分别为bounding box的中心点在x轴和y轴的坐标值，w和h分别为bounding box的宽和高；
一些实施例中，如图2所示，可以但不限于将部件在RGB图像中的像素位置bounding box(x,y,w,h)转化为图中所示的bounding box的四个角的坐标值(x1,x2,x3,x4)；
步骤1003：利用所有航天员在轨支持场景的RGB图像和所有航天员在轨支持场景的RGB图像中各部件在RGB图像中的像素位置bounding box，构建数据集；
步骤1004：利用数据集对YOLO v5网络进行训练，得到预先建立的目标检测网络。
一些实施例中，航天员在轨支持场景的RGB图像中的部件可以但不限于包括：阀门、开关和控制面板等。
需要说明的是，本发明实施例中涉及的“YOLO v5网络”方式，是本领域技术人员所熟知的，因此，其具体实现方式不做过多描述。
例如，针对在轨空间中频繁操作的结构，制作目标检测数据集，使用realsensed455采集所有航天员在轨支持场景的RGB图像，并对所有航天员在轨支持场景的RGB图像中的部件进行标注，得到部件在RGB图像中的像素位置bounding box(x,y,w,h)。以0-n进行部件种类编号，每种部件可以但不限于选用200张RGB图像。因目标场景相对固定，对网络的泛化能力要求不高，只需在特定背景下识别并定位重点目标即可，因此不需要制作大型数据集。然后，利用每种部件对应的200张RGB图像和该部件在RGB图像中的像素位置boundingbox，构建数据集。最后，利用数据集对YOLO v5网络进行训练，得到预先建立的目标检测网络。
进一步的，步骤1004，包括：
步骤1004a：将数据集分为训练集和验证集；
步骤1004b：以训练集中所有航天员在轨支持场景的RGB图像为YOLO v5网络的输入层训练样本，以训练集中所有航天员在轨支持场景的RGB图像中各部件在RGB图像中的像素位置bounding box为YOLO v5网络的输出层训练样本进行训练，得到训练后的YOLO v5网络；
步骤1004c：利用验证集对训练后的YOLO v5网络进行验证，若验证结果的准确率达到准确率阈值，则训练后的YOLO v5网络为预先建立的目标检测网络；若验证结果的准确率未达到准确率阈值，则调整YOLO v5网络的参数，重新训练YOLO v5网络，直至验证结果的准确率达到准确率阈值。
一些实施例中，可以但不限于选用ubuntu系统下的pytorch框架作为训练平台。因采集的数据集数量有限，为提高网络的检测能力，在ImageNet预训练权重的基础上进行微调。
进一步的，步骤102，包括：
步骤1021：提取目标场景的RGB图像的ORB特征点，并获取ORB特征点在目标场景的深度图像中的深度值；
步骤1022：基于目标场景的RGB图像的ORB特征点和ORB特征点在目标场景的深度图像中的深度值，利用orb-slam2算法获取目标场景的RGB图像的位姿和目标场景的RGB图像中ORB特征点的三维坐标。
如图3所示，在orb-slam2算法中，每一个ORB特征点的空间位置可以根据相机内参计算，根据ORB特征点对应的相匹配的前一帧图像I1的三维空间点和后一帧图像I2的二维像素点，利用PnP算法计算ORB特征点的空间位置T。
需要说明的是，本发明实施例中涉及的“提取RGB图像的ORB特征点”和“orb-slam2算法”，是本领域技术人员所熟知的，因此，其具体实现方式不做过多描述。
进一步的，步骤103中利用检测结果和目标场景的RGB图像的位姿，生成稠密mesh，包括：
步骤1031：基于目标部件在目标场景的RGB图像中的像素位置bounding box中各像素点对应的深度值和目标场景的RGB图像的位姿，利用marching cube算法生成稠密mesh。
具体的，步骤1031，包括：
根据目标场景的RGB图像的位姿和目标部件在目标场景的RGB图像中的像素位置bounding box中各像素点对应的深度值，利用加权平均算法获取bounding box中各像素点对应的TSDF值；
利用marching cube算法，提取bounding box中像素点对应的TSDF值为0的等值面，并利用bounding box中像素点对应的TSDF值为0的等值面生成稠密mesh。
一些实施例中，对单一体素TSDF，其数值计算如图4所示。曲线为物体表面，p为物体表面某点，x为视线中任意体素，则在垂直相机平面的轴上，p点与x点的深度值之差为：
SDF(x)＝dp-dx
上式中，SDF称作体素x的距离符号函数(Signed Distance Function)；dp和dx分别为体素x和点p的深度值。
理论上SDF可以取到任意值，但只有0附近的值对重建物体表面有用，因此将此距离符号函数在[-1,1]之间截断，即：
在不同的相机视角下体素x会得到不同的TSDF值，因此需要将多个值融合更新，其更新方式为：
wk＝wk-1+w′k
上式中，k∈[1,n]，n为RGB图像总帧数；v'k为第k帧RGB图像在当前相机坐标系下的TSDF值，vk为融合更新后的TSDF值，wk为到第k帧RGB图像为止融合后的权重，wk-1为到第k-1帧RGB图像为止融合后的权重，w'k为1。通过加权平均，将不同相机位姿下的TSDF融合到一起，综合多角度观测结果，使重建结果更加平滑。
进一步的，步骤104，包括：
将目标场景的RGB图像中ORB特征点的三维坐标进行连接，生成稀疏mesh。
经试验证明，本发明提供的技术方案，仅在CPU上即可实时运行。
本发明提供的一种航天员在轨支持按需轻量场景重建方法，通过采集目标场景的RGB图像和深度图像，通过利用目标场景的RGB图像和深度图像，获取目标场景的RGB图像的位姿和目标场景的RGB图像中ORB特征点的三维坐标，通过以目标场景的RGB图像为预先建立的目标检测网络的输入，输出检测结果，并利用检测结果和目标场景的RGB图像的位姿，生成稠密mesh，通过利用目标场景的RGB图像中ORB特征点的三维坐标，生成稀疏mesh，通过根据稠密mesh和稀疏mesh进行按需轻量三维场景重建，实现了将稠密mesh和稀疏mesh结合进行三维场景重建，按需对目标部件进行稠密mesh重建，其余部分利用稀疏mesh重建，降低了对设备计算性能的要求，减少了数据的存储，有利于天地快速数据传输，为航天员和地面专家搭建轻量化的信息交流平台。
实施例二
本发明还提供一种航天员在轨支持按需轻量场景重建系统，如图5所示，该系统包括：
采集模块，用于采集目标场景的RGB图像和深度图像；
获取模块，用于利用目标场景的RGB图像和深度图像，获取目标场景的RGB图像的位姿和目标场景的RGB图像中ORB特征点的三维坐标；
第一生成模块，用于以目标场景的RGB图像为预先建立的目标检测网络的输入，输出检测结果，并利用检测结果和目标场景的RGB图像的位姿，生成稠密mesh；检测结果为目标部件在目标场景的RGB图像中的像素位置bounding box；
第二生成模块，用于利用目标场景的RGB图像中ORB特征点的三维坐标，生成稀疏mesh；
三维重建模块，用于根据稠密mesh和稀疏mesh进行按需轻量三维场景重建。
进一步的，采集模块，具体用于：
利用视觉传感器采集目标场景的RGB图像和深度图像。
进一步的，该系统还包括：建立模块，用于建立预先建立的目标检测网络；
具体的，建立模块，包括：
第一获取单元，用于对所有航天员在轨支持场景的RGB图像中的部件进行标注，得到部件在RGB图像中的像素位置bounding box(x,y,w,h)，其中，x和y分别为bounding box的中心点在x轴和y轴的坐标值，w和h分别为bounding box的宽和高；
构建单元，用于利用所有航天员在轨支持场景的RGB图像和所有航天员在轨支持场景的RGB图像中各部件在RGB图像中的像素位置bounding box，构建数据集；
第二获取单元，用于利用数据集对YOLO v5网络进行训练，得到预先建立的目标检测网络。
进一步的，第二获取单元，具体用于：
将数据集分为训练集和验证集；
以训练集中所有航天员在轨支持场景的RGB图像为YOLO v5网络的输入层训练样本，以训练集中所有航天员在轨支持场景的RGB图像中各部件在RGB图像中的像素位置bounding box为YOLO v5网络的输出层训练样本进行训练，得到训练后的YOLO v5网络；
利用验证集对训练后的YOLO v5网络进行验证，若验证结果的准确率达到准确率阈值，则训练后的YOLO v5网络为预先建立的目标检测网络；若验证结果的准确率未达到准确率阈值，则调整YOLO v5网络的参数，重新训练YOLO v5网络，直至验证结果的准确率达到准确率阈值。
进一步的，获取模块，具体用于：
提取目标场景的RGB图像的ORB特征点，并获取ORB特征点在目标场景的深度图像中的深度值；
基于目标场景的RGB图像的ORB特征点和ORB特征点在目标场景的深度图像中的深度值，利用orb-slam2算法获取目标场景的RGB图像的位姿和目标场景的RGB图像中ORB特征点的三维坐标。
进一步的，第一生成模块，包括：
生成单元，用于基于目标部件在目标场景的RGB图像中的像素位置bounding box中各像素点对应的深度值和目标场景的RGB图像的位姿，利用marching cube算法生成稠密mesh。
进一步的，生成单元，具体用于：
根据目标场景的RGB图像的位姿和目标部件在目标场景的RGB图像中的像素位置bounding box中各像素点对应的深度值，利用加权平均算法获取bounding box中各像素点对应的TSDF值；
利用marching cube算法，提取bounding box中像素点对应的TSDF值为0的等值面，并利用bounding box中像素点对应的TSDF值为0的等值面生成稠密mesh。
进一步的，第二生成模块，具体用于：
将目标场景的RGB图像中ORB特征点的三维坐标进行连接，生成稀疏mesh。
本发明提供的一种航天员在轨支持按需轻量场景重建系统，通过采集模块采集目标场景的RGB图像和深度图像，通过获取模块利用目标场景的RGB图像和深度图像，获取目标场景的RGB图像的位姿和目标场景的RGB图像中ORB特征点的三维坐标，通过第一生成模块以目标场景的RGB图像为预先建立的目标检测网络的输入，输出检测结果，并利用检测结果和目标场景的RGB图像的位姿，生成稠密mesh，检测结果为目标部件在目标场景的RGB图像中的像素位置bounding box，通过第二生成模块利用目标场景的RGB图像中ORB特征点的三维坐标，生成稀疏mesh，通过三维重建模块根据稠密mesh和稀疏mesh进行按需轻量三维场景重建。实现了将稠密mesh和稀疏mesh结合进行三维场景重建，按需对目标部件进行稠密mesh重建，其余部分利用稀疏mesh重建，降低了对设备计算性能的要求，减少了数据的存储，有利于天地快速数据传输，为航天员和地面专家搭建轻量化的信息交流平台。
可以理解的是，上述提供的系统实施例与上述的方法实施例对应，相应的具体内容可以相互参考，在此不再赘述。
实施例三
基于同一种发明构思，本发明还提供了一种计算机设备，该计算机设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor、DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行计算机存储介质内一条或一条以上指令从而实现相应方法流程或相应功能，以实现上述实施例中一种航天员在轨支持按需轻量场景重建方法的步骤。
实施例四
基于同一种发明构思，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中一种航天员在轨支持按需轻量场景重建方法的步骤。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种航天员在轨支持按需轻量场景重建方法，其特征在于，所述方法包括：
采集目标场景的RGB图像和深度图像；
利用所述目标场景的RGB图像和深度图像，获取所述目标场景的RGB图像的位姿和所述目标场景的RGB图像中ORB特征点的三维坐标；
以所述目标场景的RGB图像为预先建立的目标检测网络的输入，输出检测结果，并利用所述检测结果和所述目标场景的RGB图像的位姿，生成稠密mesh；所述检测结果为目标部件在所述目标场景的RGB图像中的像素位置bounding box；
利用所述目标场景的RGB图像中ORB特征点的三维坐标，生成稀疏mesh；
根据所述稠密mesh和所述稀疏mesh进行按需轻量三维场景重建；
所述预先建立的目标检测网络的建立过程，包括：
采集所有航天员在轨支持场景的RGB图像；
对所有航天员在轨支持场景的RGB图像中的部件进行标注，得到所述部件在RGB图像中的像素位置bounding box(x,y,w,h)，其中，x和y分别为所述bounding box的中心点在x轴和y轴的坐标值，w和h分别为所述bounding box的宽和高；
利用所有航天员在轨支持场景的RGB图像和所有航天员在轨支持场景的RGB图像中各部件在RGB图像中的像素位置bounding box，构建数据集；
利用所述数据集对YOLO v5网络进行训练，得到所述预先建立的目标检测网络。
2.根据权利要求1所述的方法，其特征在于，所述采集目标场景的RGB图像和深度图像，包括：
利用视觉传感器采集目标场景的RGB图像和深度图像。
3.根据权利要求1所述的方法，其特征在于，所述利用所述数据集对YOLO v5网络进行训练，得到所述预先建立的目标检测网络，包括：
将所述数据集分为训练集和验证集；
以所述训练集中所有航天员在轨支持场景的RGB图像为所述YOLO v5网络的输入层训练样本，以所述训练集中所有航天员在轨支持场景的RGB图像中各部件在RGB图像中的像素位置bounding box为所述YOLO v5网络的输出层训练样本进行训练，得到训练后的YOLO v5网络；
利用所述验证集对所述训练后的YOLO v5网络进行验证，若验证结果的准确率达到准确率阈值，则所述训练后的YOLO v5网络为所述预先建立的目标检测网络；若验证结果的准确率未达到准确率阈值，则调整YOLO v5网络的参数，重新训练YOLO v5网络，直至验证结果的准确率达到准确率阈值。
4.根据权利要求1所述的方法，其特征在于，所述利用所述目标场景的RGB图像和深度图像，获取所述目标场景的RGB图像的位姿和所述目标场景的RGB图像中ORB特征点的三维坐标，包括：
提取所述目标场景的RGB图像的ORB特征点，并获取所述ORB特征点在所述目标场景的深度图像中的深度值；
基于所述目标场景的RGB图像的ORB特征点和所述ORB特征点在所述目标场景的深度图像中的深度值，利用orb-slam2算法获取所述目标场景的RGB图像的位姿和所述目标场景的RGB图像中ORB特征点的三维坐标。
5.根据权利要求1所述的方法，其特征在于，所述利用所述检测结果和所述目标场景的RGB图像的位姿，生成稠密mesh，包括：
基于所述目标部件在所述目标场景的RGB图像中的像素位置bounding box中各像素点对应的深度值和所述目标场景的RGB图像的位姿，利用marching cube算法生成稠密mesh。
6.根据权利要求5所述的方法，其特征在于，所述基于所述目标部件在所述目标场景的RGB图像中的像素位置bounding box中各像素点对应的深度值和所述目标场景的RGB图像的位姿，利用marching cube算法生成稠密mesh，包括：
根据所述目标场景的RGB图像的位姿和目标部件在所述目标场景的RGB图像中的像素位置bounding box中各像素点对应的深度值，利用加权平均算法获取所述bounding box中各像素点对应的TSDF值；
利用marching cube算法，提取所述bounding box中像素点对应的TSDF值为0的等值面，并利用所述bounding box中像素点对应的TSDF值为0的等值面生成稠密mesh。
7.根据权利要求1所述的方法，其特征在于，所述利用所述目标场景的RGB图像中ORB特征点的三维坐标，生成稀疏mesh，包括：
将所述目标场景的RGB图像中ORB特征点的三维坐标进行连接，生成稀疏mesh。
8.一种航天员在轨支持按需轻量场景重建系统，其特征在于，所述系统包括：
采集模块，用于采集目标场景的RGB图像和深度图像；
获取模块，用于利用所述目标场景的RGB图像和深度图像，获取所述目标场景的RGB图像的位姿和所述目标场景的RGB图像中ORB特征点的三维坐标；
第一生成模块，用于以所述目标场景的RGB图像为预先建立的目标检测网络的输入，输出检测结果，并利用所述检测结果和所述目标场景的RGB图像的位姿，生成稠密mesh；所述检测结果为目标部件在所述目标场景的RGB图像中的像素位置bounding box；
第二生成模块，用于利用所述目标场景的RGB图像中ORB特征点的三维坐标，生成稀疏mesh；
三维重建模块，用于根据所述稠密mesh和所述稀疏mesh进行按需轻量三维场景重建；
所述系统还包括：建立模块，用于建立预先建立的目标检测网络；
所述建立模块，包括：
第一获取单元，用于对所有航天员在轨支持场景的RGB图像中的部件进行标注，得到部件在RGB图像中的像素位置bounding box(x,y,w,h)，其中，x和y分别为bounding box的中心点在x轴和y轴的坐标值，w和h分别为bounding box的宽和高；
构建单元，用于利用所有航天员在轨支持场景的RGB图像和所有航天员在轨支持场景的RGB图像中各部件在RGB图像中的像素位置bounding box，构建数据集；
第二获取单元，用于利用数据集对YOLO v5网络进行训练，得到预先建立的目标检测网络。
9.一种计算机设备，其特征在于，包括：一个或多个处理器；
所述处理器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，实现如权利要求1至7中任一项所述的航天员在轨支持按需轻量场景重建方法。
10.一种计算机可读存储介质，其特征在于，其上存有计算机程序，所述计算机程序被执行时，实现如权利要求1至7中任一项所述的航天员在轨支持按需轻量场景重建方法。
CN202310160908.8A 2023-02-21 2023-02-21 一种航天员在轨支持按需轻量场景重建方法及系统 Active CN116524111B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310160908.8A CN116524111B (zh) 2023-02-21 2023-02-21 一种航天员在轨支持按需轻量场景重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310160908.8A CN116524111B (zh) 2023-02-21 2023-02-21 一种航天员在轨支持按需轻量场景重建方法及系统

Publications (2)

Publication Number Publication Date
CN116524111A CN116524111A (zh) 2023-08-01
CN116524111B true CN116524111B (zh) 2023-11-07

Family

ID=87392841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310160908.8A Active CN116524111B (zh) 2023-02-21 2023-02-21 一种航天员在轨支持按需轻量场景重建方法及系统

Country Status (1)

Country Link
CN (1) CN116524111B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530353A (zh) * 2016-10-19 2017-03-22 绍兴文理学院 针对双目视觉系统稀疏三维重建的三维运动点检测方法
CN109949399A (zh) * 2019-03-15 2019-06-28 西安因诺航空科技有限公司 一种基于无人机航拍图像的场景三维重建方法
CN110176032A (zh) * 2019-04-28 2019-08-27 暗物智能科技(广州)有限公司 一种三维重建方法及装置
CN110379022A (zh) * 2019-07-22 2019-10-25 西安因诺航空科技有限公司 一种航拍地形三维重建系统中的点云及网格分块方法
CN115147535A (zh) * 2021-03-29 2022-10-04 华为技术有限公司 场景的三维重建方法、装置、计算设备和存储介质
CN115205489A (zh) * 2022-06-06 2022-10-18 广州中思人工智能科技有限公司 一种大场景下的三维重建方法、系统及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10931929B2 (en) * 2018-12-07 2021-02-23 Xyken, LLC Method and system of discriminative recovery of three-dimensional digital data of a target of interest in a cluttered or controlled environment

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530353A (zh) * 2016-10-19 2017-03-22 绍兴文理学院 针对双目视觉系统稀疏三维重建的三维运动点检测方法
CN109949399A (zh) * 2019-03-15 2019-06-28 西安因诺航空科技有限公司 一种基于无人机航拍图像的场景三维重建方法
CN110176032A (zh) * 2019-04-28 2019-08-27 暗物智能科技(广州)有限公司 一种三维重建方法及装置
CN110379022A (zh) * 2019-07-22 2019-10-25 西安因诺航空科技有限公司 一种航拍地形三维重建系统中的点云及网格分块方法
CN115147535A (zh) * 2021-03-29 2022-10-04 华为技术有限公司 场景的三维重建方法、装置、计算设备和存储介质
CN115205489A (zh) * 2022-06-06 2022-10-18 广州中思人工智能科技有限公司 一种大场景下的三维重建方法、系统及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
航天员混合现实操作语义三维重建技术研究;孙庆伟;工程科技辑(第02期);C031-1508 *
航天器舱内结构语义三维重建;《载人航天》;第27卷(第1期);72-80 *

Also Published As

Publication number Publication date
CN116524111A (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN111160164B (zh) 基于人体骨架和图像融合的动作识别方法
CN110458939B (zh) 基于视角生成的室内场景建模方法
CN110443842B (zh) 基于视角融合的深度图预测方法
CN114332415B (zh) 基于多视角技术的输电线路廊道的三维重建方法及装置
CN117456136A (zh) 一种基于多模态视觉识别的数字孪生场景智能生成方法
WO2022052782A1 (zh) 图像的处理方法及相关设备
CN114764856A (zh) 图像语义分割方法和图像语义分割装置
CN111028335A (zh) 一种基于深度学习的点云数据的分块面片重建方法
CN114926734B (zh) 基于特征聚合和注意融合的固体废弃物检测装置及方法
Chen et al. Laplacian pyramid neural network for dense continuous-value regression for complex scenes
CN116258757A (zh) 一种基于多尺度交叉注意力的单目图像深度估计方法
CN114677479A (zh) 一种基于深度学习的自然景观多视图三维重建方法
CN104463962B (zh) 基于gps信息视频的三维场景重建方法
Yang et al. [Retracted] A Method of Image Semantic Segmentation Based on PSPNet
CN113284249B (zh) 一种基于图神经网络的多视角三维人体重建方法及系统
CN112017159B (zh) 一种遥感场景下的地面目标真实感仿真方法
Li et al. Monocular 3-D Object Detection Based on Depth-Guided Local Convolution for Smart Payment in D2D Systems
CN116524111B (zh) 一种航天员在轨支持按需轻量场景重建方法及系统
CN114332186A (zh) 一种无监督单视图船舶深度估计方法
Castilla-Arquillo et al. Hardware-accelerated mars sample localization via deep transfer learning from photorealistic simulations
Chen et al. Improvement of AnyNet-based end-to-end phased binocular stereo matching network
CN116452742B (zh) 一种航天操作场景的空间布局解析方法及系统
Zhu et al. Rgb-d saliency detection based on cross-modal and multi-scale feature fusion
Li et al. Instance segmentation of traffic scene based on YOLACT
Fang et al. Embedded image recognition system for lightweight convolutional Neural Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant