CN114494594B - 基于深度学习的航天员操作设备状态识别方法 - Google Patents

基于深度学习的航天员操作设备状态识别方法 Download PDF

Info

Publication number
CN114494594B
CN114494594B CN202210055653.4A CN202210055653A CN114494594B CN 114494594 B CN114494594 B CN 114494594B CN 202210055653 A CN202210055653 A CN 202210055653A CN 114494594 B CN114494594 B CN 114494594B
Authority
CN
China
Prior art keywords
space
astronaut
scene
equipment
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210055653.4A
Other languages
English (en)
Other versions
CN114494594A (zh
Inventor
何宁
许振瑛
晁建刚
张炎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
63919 Troops of PLA
Original Assignee
63919 Troops of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 63919 Troops of PLA filed Critical 63919 Troops of PLA
Priority to CN202210055653.4A priority Critical patent/CN114494594B/zh
Publication of CN114494594A publication Critical patent/CN114494594A/zh
Application granted granted Critical
Publication of CN114494594B publication Critical patent/CN114494594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的航天员操作设备状态识别方法，其具体包括：对航天员空间操作场景进行重建与匹配；采用空间感知方法，对航天员所操作设备进行特征提取与筛选；采用深度学习方法，对航天员所操作设备进行状态识别。对在空间操作场景中的航天员进行定位，并获取其观察视角，确定航天员所操作设备，采用基于SLAM的三维重构方法等比例构建空间操作场景三维模型，采用基于点云几何特征的场景匹配方法，完成航天员真实操作三维空间场景的匹配。采用卷积神经网络，构建深度学习分类器，实现航天员操作设备状态检测。本发明基于深度学习的航天员空间操作设备状态识别算法，以提高航天员增强现实操作辅助系统智能性和可用性。

Description

基于深度学习的航天员操作设备状态识别方法
技术领域
本发明涉及载人航天领域，具体涉及到一种基于深度学习的航天员操作设备状态识别方法。
背景技术
航天员在轨空间操作及地面训练时,航天员要获得设备的操作结果主要有两种途径,一是需地面任务指挥人员或远程教员通过语音通报获得；二是航天员转移到仪表机柜位置通过调取仪表信息页面,根据参数值人工判断操作结果是否正确。目前采取的两种方法均需中断航天员空间操作流程，其中语音通报获取方式航天员需中断操作训练，等待远程支持人员判读语音通报，导致航天员空间操作对地面支持系统的依赖性强，同时由于天地传输延迟导致航天员空间操作及训练持续时间长，效率低。而采用仪表判读方法，航天员需要在空间操作位置与仪表位置之间频繁来回切换，加重航天员的负担，易受环境影响，出错率高，而且过于依赖航天员的个人技能和经验。同时，目前基于增强现实/混合现实的新型航天员操作辅助系统都是“以计算机为中心”的程序化引导系统，普适能力差，仅实现了虚拟信息和真实场景的增强现实叠加，尚未作到对操作过程的实时状态自主判断与实时诱导反馈，其深层次原因，是由于三维物体的智能识别技术瓶颈制约智能诱导技术发展。
目前针对可操作对象状态识别问题的常用解决方案主要采用在操作对象上添加额外的标志点或基于物联网的无线数据传输等方法,但面对在航天员在轨操作辅助支持的需求，受限于工程约束，现有常用的解决方案难以适用于在轨特因环境。因此急需研究能够同步在航天员空间操作过程中提供操作对象状态的自动识别技术，以提高航天员增强现实操作辅助系统智能性和可用性。
发明内容
针对空间站任务阶段航天员在轨操作及地面训练中操作实物对象的状态识别需求，本发明公开了一种基于深度学习的航天员操作设备状态识别方法，其具体包括：
对航天员空间操作场景进行重建与匹配；采用空间感知方法，对航天员所操作设备进行特征提取与筛选；采用深度学习方法，对航天员所操作设备进行状态识别。
所述的对航天员空间操作场景进行重建与匹配，其具体包括：
对在空间操作场景中的航天员进行定位，并获取其观察视角，确定航天员所操作设备，采用基于SLAM的三维重构方法等比例构建空间操作场景三维模型，采用基于点云几何特征的场景匹配方法，完成航天员真实操作三维空间场景和空间操作场景三维模型的匹配，为航天员操作设备状态的识别提供先验信息。
进一步的，为确定航天员所操作设备，将航天员真实操作三维空间场景和空间操作场景三维模型匹配，建立两个场景的共享坐标系，通过计算重构的空间操作场景三维模型空间中操作设备空间坐标，进行重构空间向真实空间的映射，查询空间操作场景三维模型中相应坐标的设备，从而确定航天员所操作设备；
进一步的，所述的获取航天员观察视角，获取航天员所佩戴的视线传感器的数据，进而获得其视点到操作设备的空间向量，进而得到以视线向量为轴、设备位置坐标为顶点的圆锥空间域，在筛选特征样本时，只需选择已确定的圆锥空间域内的样本。
进一步的，所述的对航天员空间操作场景进行重建与匹配，通过获取真实场景的图像信息及深度，构建操作场景mesh地图，通过计算航天员相对舱内特征点的距离，实时定位航天员相对空间舱的位姿；航天员操作设备时，其视线关注操作设备，通过视线交互，计算视线方向与操作场景mesh地图中设备模型的交点坐标，即为所操作设备相对舱内场景的相对坐标，从而得到视点方向向量；将构建的场景mesh地图与航天员真实操作三维空间场景进行匹配，建立共享坐标系，从而实现操作场景mesh地图到已有虚拟场景的空间映射；操作设备空间坐标转换，将航天员头部位姿与视线向量进行坐标转换，计算出操作设备相对操作场景的位置坐标，将操作设备舱内位置坐标发送到已匹配操作场景mesh地图，从而在已有虚拟场景内通过坐标确认目前操作设备。已有虚拟场景为针对航天员真实操作三维空间场景所构建的虚拟场景。
利用深度相机对航天员所操作装备进行三维模型构建,得到虚拟场景；利用深度相机所拍摄的每一帧的RGBD数据，估计深度相机在世界坐标系中的位置，把拍摄第一帧时的相机所处位置作为世界坐标系的原点，利用迭代最近点方法，估计深度相机在此后每一帧相对于第一帧的位置的转移矩阵，从而实现对拍摄每一帧的时刻下深度相机位置的估计。
所述的采用空间感知方法，对航天员所操作设备进行特征提取与筛选，其具体包括：基于构建的空间操作场景三维模型，进一步进行实物物体特征的提取与筛选。提取得到物体特征后，为满足识别和分类算法输入的需求，在得到的物体特征中进行筛选，选取在识别和分类应用中区分度大于一定值的特征作为最终确定的物体特征。优选地，提取包括直线特性、平面特征和轮廓特征等几何特征的物体特征，从而增强提取的特征对表面纹理分布、光照和噪声等的鲁棒性。
优选地，采用数据挖掘方法，利用设备识别、视域范围及主成分分析三种方法中一种或几种结合，进行训练样本的筛选。
进一步的，物体特征包括2D几何特征、3D几何特征和统计性描述特征；其中，2D几何特征包括直线、半径、点密度、面积等；3D几何特征包括平面特征、轮廓检测、半径、高程差、高程标准差、点密度、散乱特征等；统计性描述特征包括总方差、各向异性、特征熵、特征值、曲率、点特征直方图、快速点特征直方图FPFH、视点特征直方图VFH、高维超空间直方图等。
进一步的，统计性描述特征的提取，首先建立局部特征描述子和全局特征描述子，从组成点云的层面对空间操作场景三维模型的特征进行描述，其中局部特征描述子用于描述点云局部几何形状的特征，全局特征描述子用于描述点云全局的拓扑结构。点特征直方图通过参数化查询点与邻域点之问的空间差异，构成一个多维直方图来描绘点的K邻域几何特征。高维超空间直方图为特征描述提供了一个可度量的信息空间，在不同的噪音等级和不同的采样密度下，高维超空间直方图具有鲁棒性，并且能够保证空间操作场景三维模型中的点云所在曲面的姿态保持不变。视点特征直方图通过统计点云中每个点的表面法线与视点方向之间的夹角，来获取视点相关的特征分量，用于直方图统计。通过视点特征直方图，对三维模型的视点空间进行划分，得到视点空间的投影图。
进一步的，采用主成分分析方法，从提取出的原始特征中进行数据挖掘，得到训练样本。
所述的采用深度学习方法，对航天员所操作设备进行状态识别，其具体包括：
采用卷积神经网络，构建深度学习分类器，以物体特征为输入，实现航天员操作设备状态检测。利用深度学习算法实现航天员操作设备状态检测，该过程包括分类器训练和应用两个过程，利用训练样本进行深度学习分类器训练，将训练后得到的参数进行固化并应用于深度学习分类器上，利用训练完成的深度学习分类器，进行航天员操作设备状态检测。
进一步的，卷积神经网络包括卷积层、Pooling层、全连接层，上述三层依次连接。
三维特征的提取与筛选是本发明的一项关键问题，它既涉及到三维场景的匹配环节(特征提取是实现匹配的前提)，也涉及到三维物体的特征提取环节(用于后续深度学习网络的输入)。这两个环节上特征提取的应用场景尺度不同，可能存在的特征点类型也不完全一致，应在综合考虑两类应用场景异同的基础上，设计相应的特征提取算法。
本发明拟分别结合三维空间场景和三维物体的不同特点，分别设计特征提取和筛选的方法，建立起能够快速完成场景匹配的三维空间场景几何特征，以及具有高辨识度的三维物体纹理和几何特征。为降低神经网络运算量提高识别准确率，基于设备识别、视域范围及主成分分析三种方法进行训练样本的筛选；其中，为确定操作设备，将虚拟精确场景模型与重建场景匹配，建立两个场景的共享坐标系，通过计算重构空间中操作设备空间坐标，进行空间映射，查询虚拟精确场景模型中相应坐标的设备，从而完成确定操作设备；关于视域范围的确定获取视线传感器数据，进而获得视点到操作设备的空间向量，进而得到以视线向量为轴，设备位置坐标为顶点的圆锥空间域，在筛选特征样本时，只需选择以确定的圆锥空间区域样本即可。
本发明采用深度学习算法，研究舱内条件下的物体状态识别算法。现代深度学习为监督学习提供了一个强大的框架。通过添加更多层以及向层内添加更多单元，深度网络可以表示复杂性不断增加的函数。因此，设计合理的深度学习模型并提供足够大的舱内样本数据集，便可以通过深度学习判断舱内设备的状态。本发明需解决分类器训练参数的确定方法。深度学习神经网络分类器的参数分训练参数和超参数，其中超参数决定了深度神经网络的结构，按照经验公式可以获得不错的效果，而训练参数需要依据给定的特征值样本集进行训练。本发明拟采用反向传播算法(Back Propagation，BP)，通过将误差最小化确定分类器的训练参数。
本发明的有益效果为：
本发明针对空间站任务阶段航天员增强现实空间在轨操作及地面训练中操作实物对象的状态自动识别需求，研究航天员空间操作场景重建与匹配技术，基于空间感知航天员操作设备特征提取与筛选技术，并基于深度学习的航天员空间操作设备状态识别算法，从而为能够同步在航天员空间操作过程中提供操作对象状态的自动识别技术，以提高航天员增强现实操作辅助系统智能性和可用性，操作对象状态的自动识别技术是实现操作智能化诱导的先决条件。本发明具有以下优点：
1)以航天员视觉关注焦点为中心，多模态融合交互；
2)系统能够自动识别设备状态，并根据状态驱动操作信息同步诱导，以主动方式为航天员提供实时信息支持；
3)操作训练不需中断，操作过程连续减少，减少场景切换，减少误操作；
4)航天员可独立进行操作训练，减少航天员空间操作或训练过程对地面支持系统或教员的依赖性。
附图说明
图1为本发明方法的基本流程图；
图2为本发明的技术路线示意图；
图3为本发明的基于深度学习的航天员操作设备状态识别结构框图；
图4为本发明的视点方向与法线之间分量计算示意图；
图5为本发明的卷积神经网络的示意图。
具体实施方式
为了更好的了解本发明内容，这里给出两个实施例。
图1为本发明方法的基本流程图；图2为本发明的技术路线示意图；图3为本发明的基于深度学习的航天员操作设备状态识别结构框图；图4为本发明的视点方向与法线之间分量计算示意图；图5为本发明的卷积神经网络的示意图。图1中，步骤101为场景重建与匹配，步骤102为特征提取与筛选，步骤103为设备状态识别。
实施例一：
针对空间站任务阶段航天员在轨操作及地面训练中操作实物对象的状态识别需求，本发明公开了一种基于深度学习的航天员操作设备状态识别方法，其具体包括：
对航天员空间操作场景进行重建与匹配；采用空间感知方法，对航天员所操作设备进行特征提取与筛选；采用深度学习方法，对航天员所操作设备进行状态识别。
所述的对航天员空间操作场景进行重建与匹配，其具体包括：
对在空间操作场景中的航天员进行定位，并获取其观察视角，确定航天员所操作设备，采用基于SLAM的三维重构方法等比例构建空间操作场景三维模型，采用基于点云几何特征的场景匹配方法，完成航天员真实操作三维空间场景和空间操作场景三维模型的匹配，为航天员操作设备状态的识别提供先验信息，先验信息包括航天员观察视角等。航天员真实操作三维空间场景的重建与匹配，是获取航天员在操作场景中定位和观察视角的基础。
进一步的，为确定航天员所操作设备，将航天员真实操作三维空间场景和空间操作场景三维模型匹配，建立两个场景的共享坐标系，通过计算重构的空间操作场景三维模型空间中操作设备空间坐标，进行重构空间向真实空间的映射，查询空间操作场景三维模型中相应坐标的设备，从而确定航天员所操作设备；
进一步的，所述的获取航天员观察视角，获取航天员所佩戴的视线传感器的数据，进而获得其视点到操作设备的空间向量，进而得到以视线向量为轴、设备位置坐标为顶点的圆锥空间域，在筛选特征样本时，只需选择已确定的圆锥空间域内的样本。
进一步的，所述的对航天员空间操作场景进行重建与匹配，通过获取真实场景的图像信息及深度，构建操作场景mesh地图，通过计算航天员相对舱内特征点的距离，实时定位航天员相对空间舱的位姿；航天员操作设备时，其视线关注操作设备，通过视线交互，计算视线方向与操作场景mesh地图中设备模型的交点坐标，即为所操作设备相对舱内场景的相对坐标，从而得到视点方向向量；将构建的场景mesh地图与航天员真实操作三维空间场景进行匹配，建立共享坐标系，从而实现操作场景mesh地图到已有虚拟场景的空间映射；操作设备空间坐标转换，将航天员头部位姿与视线向量进行坐标转换，计算出操作设备相对操作场景的位置坐标，将操作设备舱内位置坐标发送到已匹配操作场景mesh地图，从而在已有虚拟场景内通过坐标确认目前操作设备。已有虚拟场景为针对航天员真实操作三维空间场景所构建的虚拟场景。
利用深度相机对航天员所操作装备进行三维模型构建,得到虚拟场景；利用深度相机所拍摄的每一帧的RGBD数据，估计深度相机在世界坐标系中的位置，把拍摄第一帧时的相机所处位置作为世界坐标系的原点，利用迭代最近点方法，估计深度相机在此后每一帧相对于第一帧的位置的转移矩阵(transformation matrix)，从而实现对拍摄每一帧的时刻下深度相机位置的估计。
所述的采用空间感知方法，对航天员所操作设备进行特征提取与筛选，其具体包括：基于构建的空间操作场景三维模型，进一步进行实物物体特征的提取与筛选。提取得到物体特征后，为满足识别和分类算法输入的需求，在得到的物体特征中进行筛选，选取在识别和分类应用中区分度大于一定值的特征作为最终确定的物体特征。优选地，提取包括直线特性、平面特征和轮廓特征等几何特征的物体特征，从而增强提取的特征对表面纹理分布、光照和噪声等的鲁棒性。为降低神经网络运算量提高识别准确率，优选地，采用数据挖掘方法，利用设备识别、视域范围及主成分分析三种方法中一种或几种结合，进行训练样本的筛选。
进一步的，物体特征包括2D几何特征、3D几何特征和统计性描述特征；其中，2D几何特征包括直线、半径、点密度、面积等；3D几何特征包括平面特征、轮廓检测、半径、高程差、高程标准差、点密度、散乱特征等；统计性描述特征包括总方差、各向异性、特征熵、特征值、曲率、点特征直方图(Point Feature Histogram,PFH)、快速点特征直方图FPFH(FastPoint Feature Histogram,FPFH)、视点特征直方图VFH(Viewpoint Feature Histogram)、高维超空间直方图等。
进一步的，统计性描述特征的提取，首先建立局部特征描述子和全局特征描述子，从组成点云的层面对空间操作场景三维模型的特征进行描述，其中局部特征描述子用于描述点云局部几何形状的特征，全局特征描述子用于描述点云全局的拓扑结构。点特征直方图通过参数化查询点与邻域点之问的空间差异，构成一个多维直方图来描绘点的K邻域几何特征。高维超空间直方图为特征描述提供了一个可度量的信息空间，在不同的噪音等级和不同的采样密度下，高维超空间直方图具有鲁棒性，并且能够保证空间操作场景三维模型中的点云所在曲面的姿态保持不变。视点特征直方图通过统计点云中每个点的表面法线与视点方向之间的夹角，来获取视点相关的特征分量，用于直方图统计。通过视点特征直方图，对三维模型的视点空间进行划分，得到视点空间的投影图。
进一步的，采用主成分分析方法，从提取出的原始特征中进行数据挖掘，得到训练样本。
所述的采用深度学习方法，对航天员所操作设备进行状态识别，其具体包括：
针对航天员进行空间操作时佩戴的增强现实系统无法主动获取舱内三维物体状态的问题，采用卷积神经网络，构建深度学习分类器，以三维物体特征为输入，实现航天员操作设备状态检测。三维物体特征为多维向量，利用深度学习算法学习其内在规律，使航天员进行空间操作时佩戴的增强现实系统能够自动判断舱内三维物体的状态。利用深度学习算法实现航天员操作设备状态检测，该过程包括分类器训练和应用两个过程，利用训练样本进行深度学习分类器训练，将训练后得到的参数进行固化并应用于深度学习分类器上，利用训练完成的深度学习分类器，进行航天员操作设备状态检测。
进一步的，卷积神经网络包括卷积层、Pooling层、全连接层，上述三层依次连接。
三维特征的提取与筛选是本发明的一项关键问题，它既涉及到三维场景的匹配环节(特征提取是实现匹配的前提)，也涉及到三维物体的特征提取环节(用于后续深度学习网络的输入)。这两个环节上特征提取的应用场景尺度不同，可能存在的特征点类型也不完全一致，应在综合考虑两类应用场景异同的基础上，设计相应的特征提取算法。
本发明拟分别结合三维空间场景和三维物体的不同特点，分别设计特征提取和筛选的方法，建立起能够快速完成场景匹配的三维空间场景几何特征，以及具有高辨识度的三维物体纹理和几何特征。为降低神经网络运算量提高识别准确率，基于设备识别、视域范围及主成分分析三种方法进行训练样本的筛选；其中，为确定操作设备，将虚拟精确场景模型与重建场景匹配，建立两个场景的共享坐标系，通过计算重构空间中操作设备空间坐标，进行空间映射，查询虚拟精确场景模型中相应坐标的设备，从而完成确定操作设备；关于视域范围的确定获取视线传感器数据，进而获得视点到操作设备的空间向量，进而得到以视线向量为轴，设备位置坐标为顶点的圆锥空间域，在筛选特征样本时，只需选择以确定的圆锥空间区域样本即可。
本发明采用深度学习算法，研究舱内条件下的物体状态识别算法。现代深度学习为监督学习提供了一个强大的框架。通过添加更多层以及向层内添加更多单元，深度网络可以表示复杂性不断增加的函数。因此，设计合理的深度学习模型并提供足够大的舱内样本数据集，便可以通过深度学习判断舱内设备的状态。本发明需解决分类器训练参数的确定方法。深度学习神经网络分类器的参数分训练参数和超参数，其中超参数决定了深度神经网络的结构，按照经验公式可以获得不错的效果，而训练参数需要依据给定的特征值样本集进行训练。本发明拟采用反向传播算法(Back Propagation，BP)，通过将误差最小化确定分类器的训练参数。
本发明的技术思路如图2所示，采用自上而下的分析方法，以识别空间操作设备状态为最终研究目标，采用深度学习技术通过卷积神经网络实现设备状态分类决策；为降低神经网络运算量提高识别准确率，基于设备识别、视域范围及主成分分析三种方法进行训练样本的筛选；其中为确定操作设备，将虚拟精确场景模型与重建场景匹配，建立两个场景的共享坐标系，通过计算重构空间中操作设备空间坐标，进行空间映射，查询虚拟精确场景模型中相应坐标的设备，从而完成确定操作设备；关于视域范围的确定获取视线传感器数据，进而获得视点到操作设备的空间向量，进而得到以视线向量为轴，设备位置坐标为顶点的圆锥空间域，在筛选特征样本时，只需选择以确定的圆锥空间区域样本即可。
实施例二：
一种基于深度学习的航天员操作设备状态识别方法，其具体包括：
对航天员空间操作场景进行重建与匹配；采用空间感知方法，对航天员所操作设备进行特征提取与筛选；采用深度学习方法，对航天员所操作设备进行状态识别。
所述的对航天员空间操作场景进行重建与匹配，其具体包括：
对在空间操作场景中的航天员进行定位，并获取其观察视角，采用基于SLAM的三维重构方法等比例构建空间操作场景三维模型，采用基于点云几何特征的场景匹配方法，完成航天员真实操作三维空间场景和空间操作场景三维模型的匹配，为航天员操作设备状态的识别提供先验信息，先验信息包括航天员观察视角等。航天员真实操作三维空间场景的重建与匹配，是获取航天员在操作场景中定位和观察视角的基础。
所述的采用空间感知方法，对航天员所操作设备进行特征提取与筛选，其具体包括：基于构建的空间操作场景三维模型，进一步进行实物三维物体特征的提取与筛选。提取得到三维物体特征后，为满足识别和分类算法输入的需求，在得到的三维物体特征中进行筛选，选取在识别和分类应用中区分度大于一定值的特征作为最终确定的三维物体特征。优选地，提取包括直线特性、平面特征和轮廓特征等几何特征的特征，从而增强提取的特征对表面纹理分布、光照和噪声等的鲁棒性。为降低神经网络运算量提高识别准确率，优选地，采用数据挖掘方法，利用设备识别、视域范围及主成分分析三种方法中一种或结合，进行训练样本的筛选。
所述的采用深度学习方法，对航天员所操作设备进行状态识别，其具体包括：
针对航天员进行空间操作时佩戴的增强现实系统无法主动获取舱内三维物体状态的问题，采用卷积神经网络，构建深度学习分类器，以三维物体特征为输入，实现航天员操作设备状态检测。三维物体特征为多维向量，利用深度学习算法学习其内在规律，使航天员进行空间操作时佩戴的增强现实系统能够自动判断舱内三维物体的状态。利用深度学习算法实现航天员操作设备状态检测，该过程包括分类器训练和应用两个过程，利用训练样本进行深度学习分类器训练，将训练后得到的参数进行固化并应用于深度学习分类器上，利用训练完成的深度学习分类器，进行航天员操作设备状态检测。
航天员空间操作场景重建及匹配模块包括操作场景空间重构及同步定位(SLAM)、视线定位、场景空间映射匹配及操作设备空间坐标转换四个部分组成；舱内三维物体特征提取及筛选模块在系统内主要完成空间舱及舱内操作设备的三维模型及真实场景图像的特征提取与筛选；基于深度学习的设备状态识别模块包括训练器分类及分类决策识别。
为了实现基于深度学习的航天员操作设备，需要首先从三维场景的重建与匹配入手，建立起和真实三维空间场景对应的三维虚拟场景，利用这一虚拟场景为后续的三维物体识别提供观察视角的先验信息。之后对航天员操作场景中的三维物体进行多种视点下的特征提取和筛选，建立深度学习算法所需的模型库。进而利用深度学习算法，采用由匹配后的虚拟场景提供的视角信息和筛选后的不同视角下的三维物体特征训练而成的分类器，利用实时捕获的图像中的特征信息作为输入，输出分类结果。
所述的航天员操作三维空间场景重建与匹配，其具体包括：
(1)场景空间重构及同步定位(SLAM)：通过获取真实场景的图像信息及深度，构建操作场景mesh地图，通过计算航天员相对舱内特征点的距离，实时定位航天员相对空间舱的位姿；
(2)视线定位：航天员操作设备时，视线关注操作设备，通过视线交互计算视线方向与场景空间重构生成的mesh模型的交点坐标，为操作物体相对舱内场景的相对坐标，从而得到视点方向向量；
(3)场景空间映射匹配：将重建的mesh场景模型与已有精确三维场景模型进行匹配，建立共享坐标系，从而做到重建mesh场景到已有虚拟场景的空间映射；
(4)操作设备空间坐标转换：将航天员头部位姿与视线向量进行坐标转换，计算出操作设备相对操作场景的位置坐标，将操作设备舱内位置坐标发送到已匹配虚拟场景模型，即可在虚拟场景模型内通过坐标确认目前操作设备。
航天员操作实物对象的三维模型构建，可以基于一般的三维重建(3DReconstruction)技术进行。早期的三维重建技术通常以二维图像作为输入，重建出场景中的三维模型。通过对物体的不同角度拍摄的RGB图像，使用计算机图形学和视觉技术，可以重建出该物体的三维模型。但利用这一途径的三维重建技术常常使得得到的模型不够完整，精度和真实感较低，且技术的适用范围有限。航天员操作实物对象的建模，是为了能够准确提取出对操作实物对象进行识别和分类的特征，因此需要三维模型具有较高的精度，尽量贴近实物对象，这一需求使得这种三维重建方式不适用于本发明中的三维物体重建。
而随着深度相机(Depth Camera)的出现，基于深度相机的三维扫描和重建技术得到了飞速发展，为三维重建技术提供了深度图像(Depth Image)数据，降低了重建的复杂性，并提升了重建的精度。以微软的Kinect、英特尔的RealSense等为代表的深度相机造价低廉，体积适当，操作方便，易于开发。
在基于深度相机的三维重建中，深度相机对于现实场景中的每一个点扫描得到的每一帧数据不仅包括了其彩色RGB图像，还包括每个点到深度相机所在的垂直平面的距离值，这个距离值即为深度值(depth)，这些深度值共同组成了这一帧的深度图像。这样，深度相机的每一帧的深度图像不仅包含了彩色RGB信息，还包括了场景中点的深度信息，因此每一帧深度图像就相当于一个在相机的局部三维坐标系中的点云模型。
在基于深度相机的三维重建过程中，为了得到正确的重建结果，最核心的问题在于相机位置的估计。这是由于每一帧深度图像对应的场景中点的深度值是在相机的局部三维坐标系中。因此，不同的相机位置(即不同帧)便对应着不同的局部三维坐标系(localspace/coordinate frame)。然而，重建后的模型需要坐落在一个坐标系，即世界坐标系或全局坐标系(world/global space/coordinate frame)中。因此需要找到每一帧的相机局部坐标系同世界坐标系的位置关系，也就是确定每一帧中相机在世界坐标系中的位置。
这一问题可以具体化为，对给定每一帧输入的RGBD数据，估计相机在世界坐标系中的位置。通常把第一帧的相机位置当做是世界坐标系的原点，于是，需要估计的便是相机在此后每一帧相对于第一帧的位置的转移矩阵(transformation matrix)。使用数学语言描述是：在给定了第k-1帧重建的模型以及转移矩阵Tw,k-1，还有第k帧的输入RGBD数据，估计出第k帧的转移矩阵Tw,k。这里的w下标指代世界坐标系world，k是帧的编号，k>1。
迭代最近点(Iterative closest point，简称ICP)方法是用来解决以上问题的有效途径。给定输入的原始数据(source)和目标数据(target)，以及两者的数据点之间的对应关系(correspondence)，ICP计算得到原始数据和目标数据之间的转移矩阵，该矩阵使得所有的目标数据点到其对应的原始数据点所在的切平面的距离之和最小。使用数学公式这个目标函数是：
这里的si和di是原始数据点和对应的目标数据点，ni是si所在的切平面的法向量。
为了给ICP算法找到合适的对应点，通常采用的方法是将目标数据点(第k帧的数据点)，通过转移矩阵Tw,k-1投影到原始数据点(第k-1帧的点)，然后将两者作为对应相互对应的点。依照这种对应关系的ICP算法能够实现快速计算，并在扫描帧率较大、相邻两帧差别很小的情况下的精度很高。在估计了第k帧的转移矩阵后，将其作用到第k帧的在相机的局部坐标系的数据中，便可得到在全局坐标系中的数据。
所述的基于空间感知航天员操作设备特征提取与筛选，在建立了操作实物对象的三维模型后，基于构建的三维模型，可以进一步进行实物三维物体特征的提取与筛选，建立三维物体特征数据库，用于后续识别和分类阶段的实时特征识别。在三维特征的提取上，为了增强提取的特征对表面纹理分布、光照和噪声等的鲁棒性，重点关注以直线特征、平面特征和轮廓特征等几何特征为主的特征。这些特征可以包括：
a.2D几何特征：包括直线检测、半径、点密度、面积等；
b.3D几何特征：包括平面特征、轮廓检测、半径、高程差、高程标准差、点密度、散乱特征等；
c.统计性描述特征：包括总方差、各向异性、特征熵、特征值、曲率、点特征直方图(Point Feature Histogram,PFH)、快速点特征直方图FPFH(Fast Point FeatureHistogram,FPFH)、视点特征直方图VFH(Viewpoint Feature Histogram)等。
本发明拟从以上特征入手，对建立的三维模型进行特征提取。针对2D几何特征，可以采用如Canny边缘检测，SIFT、SURF及BRIEF特征检测算子等算法获取，需结合具体的三维模型设置算法的不同参数。针对3D几何特征，可以采用如DLT(Direct Linear Transforma)算法进行平面的检测、基于SD(Solid-Dashed)图的目标闭合轮廓自动提取算法进行轮廓特征检测、基于三维的SIFT、SURF特征检测算子进行三维半径和高程差等的检测。针对统计性描述特征，可以建立局部特征描述子和全局特征描述子，从组成点云的层面对三维重构模型的特征进行描述，其中局部特征描述子着重描述点云局部几何形状的特征，全局特征描述子着重描述点云全局的拓扑结构。这些特征描述子应该具有平移旋转不变、抗密度干扰等特性，总方差、各向异性、特征熵、点特征直方图、视点特征直方图等都是较为理想的特征描述子。在局部特征描述子中，以点特征直方图PFH为例，该特征描述子通过参数化查询点与邻域点之问的空间差异，构成一个多维直方图来描绘点的K邻域几何特征。高维超空间的直方图给特征描述提供了一个可度量的信息空间，在不同的噪音等级和不同的采样密度下，特征直方图具有鲁棒性，并且能够保证点云所在曲面的六维姿态保持不变。点特征直方图用来描述点与其邻域点法线之间的关系，即通过评价点与其K邻域所有点之间估计法线的关系，来获取最真实的样本表面变化情况，进而描绘其几何特征。在得到局部特征描述子之后，为了区分目标的不同位姿，在提取特征时还需要引入以视点特征直方图(VFH)为代表的全局特征描述子。视点特征直方图通常应用于三维点云模型六自由度位姿的估计，它通过统计点云中每个点的表面法线与视点方向之间的夹角来获取视点相关的特征分量用于直方图统计。可以将视点方向定义为视点与中心点的连线方向，每个点的表面法线与视点方向之间的夹角是视点方向经过平移后与每条表面法线之间的夹角，如图4所示。通过视点特征直方图，可以对三维模型的视点空间进行划分，得到视点空间的投影图。
通过上述特征提取方法，得到了三维物体的直线、平面、轮廓等特征参数后，这些特征之间可能存在信息互补的现象，同时也可能会存在大量冗余信息，这会导致计算复杂度增加，造成三维特征识别效率和准确度的下降，因此有必要从提取出的原始特征中进行数据挖掘，降低特征的维度，筛选出可以用于深度学习网络输入的特征。主成分析(Principal Component Analysis，PCA)方法是一种常用的降低特征维数，筛选特征的方法，它能够选择最具有代表性的特征，有效地消除特征维间的冗余信息，加快学习速度。因此本发明拟采用PCA方法对三维物体特征进行冗余信息消除，降低后续深度学习算法中输入特征向量的维数。
PCA方法是完全从数据的统计性质出发实现的变换，在降维和数据筛选中有重要的应用。设特征向量输入x是一个n×1的随机向量。特征向量x的均值mx可以用k个这样的样本向量进行估计：
它的协方差矩阵可由下面公式给出估算：
Sx＝E[(x-mx)(x-mx)T]
从上述公式可知，协方差矩阵是一个n×n的实对称矩阵，它的对角线元素为各个随机变量的方差，而它的非对角线元素则为各随机变量的协方差。矩阵变换K-L变换用矩阵A来定义一个线性变换，这个变换可以将任意向量x通过下面线性变换得到一个向量y:
Y＝AT(x-mx)
考虑到K-L变换所得的向量y具有零均值特性，这样就能得Sy的协方差矩阵与Sx的协方差矩阵的关系为：
Sy＝ATSxA＝diag(λ1,λ2，...，λn)
在上述公式中，矩阵A的各列为Sx的特征向量，且各列均正交归一，即A-1＝AT。λ是Sx特征值。矩阵Sx的特征向量按照这样的规则构成：先将Sx的特征值λ进行按升序排列，同样相应的特征向量也进行重新排列。由上式可知，y的各个元素之间互不相关，这样就说明线性变换A消除了变量之间的相关性。
对应K-L逆变换为
x＝Ay+mx
该式为对原向量进行重构的过程。
选取较大的特征值对应的特征向量，同时舍弃在所有特征值中所占比重较小的特征值所对应的特征向量，则既可以降低变换后向量y的维数，同时又可以近似重建向量X，实现特征筛选与降维。
所述的基于深度学习的航天员操作设备状态识别，本发明利用机器学习算法实现实时检测舱内设备的状态。利用机器学习进行舱内设备状态检测实质上包括分类器训练和应用两个过程，即前期进行分类器训练，将训练好的参数应用于舱内增强现实程序，实现深度学习分类器的应用。由于应用部分仅使用了训练结果，主体工作为训练过程，因此本发明仅展开分类器训练部分的论述。
目前常用的机器学习算法有决策树、神经网络、支持向量机、贝叶斯分类器等多种算法。然而在机器学习中，算法往往并不是关键，真正的关键之处在于选取特征，选取特征需要研究者对问题深刻理解、经验丰富、以及思考缜密。神经网络算法的优势在于它能够自动学习应该提取什么特征，从而使算法不再那么依赖人类经验，有利于缩短研究周期，为舱内多样化的设备状态识别提供更加鲁棒的方案。
深度学习就是使用深层架构的机器学习方法，目前普遍使用的是深度神经网络，即隐层较多(大于2)的神经网络。深层网络较浅层网络表达力更强，且更节约资源。舱内增强现实系统往往计算能力有限，因此在舱内复杂的环境下深度学习具有更大的优势。
现代深度学习为监督学习提供了一个强大的框架。通过添加更多层以及向层内添加更多单元，深度网络可以表示复杂性不断增加的函数。因此，在本发明中，设计合理的深度学习模型并提供足够大的舱内样本数据集，便可以通过深度学习判断舱内设备的状态。
本发明通过识别三维物体特征点的方式判断舱内物体的状态，由于三维场景下特征点数量极大，而关键信息所占比例并不突出，同时由于基本结构的神经网络的梯度很难传递超过3层，不可能训练得到一个很深的全连接神经网络，限制了神经网络的能力，因此，基本结构的神经网络并不适合本发明任务。对于舱内设备状态识别任务来说，卷积神经网络通过尽可能保留重要的参数，去掉大量不重要的参数，来达到更好的学习效果。
卷积神经网络的示意图如图5所示。卷积神经网络由若干卷积层、Pooling层、全连接层组成。常用架构模式为：
输入层→[[卷积层]×n→Pooling层]×m→[全连接层]×k
即n个卷积层叠加，然后叠加一个Pooling层，重复这个结构m次，最后叠加k个全连接层。
对于图5展示的神经网络，我们看到输入层的宽度和高度对应于舱内增强现实系统采集到图像特征值矩阵的行数和列数。接着，第一个卷积层对该矩阵进行了卷积操作，卷积层包含三个过滤器(Filter)，即三套参数，每个Filter把原始输入特征矩阵卷积得到一个Feature Map，三个Filter便得到三个Feature Map。Feature Map是通过卷积变换提取到的特征矩阵的主要信息，三个Filter对最初提供的特征再次提取出三组不同的特征，也就是得到了三个Feature Map。
在第一个卷积层之后，Pooling层对三个Feature Map做下采样，得到了三个更小的Feature Map。接着，是第二个卷积层，它有5个Filter。每个Fitler都把前面下采样之后的3个Feature Map卷积在一起，得到一个新的Feature Map。这样，5个Filter就得到了5个Feature Map。接着，是第二个Pooling，继续对5个Feature Map进行下采样，得到了5个更小的Feature Map。
图5所示网络的最后两层是全连接层。第一个全连接层的每个神经元，和上一层5个Feature Map中的每个神经元相连，第二个全连接层为输出层，和第一个全连接层的每个神经元相连，这样得到了整个网络的输出。对于卷积神经网络输出值的计算，对于卷积层输出值的计算，为进行舱内图像特征矩阵的卷积计算，首先对特征矩阵中每个特征值进行编号，用xi,j表示特征值矩阵的第i行第j列元素；对filter的每个权重进行编号，用wm,n表示第m行第n列权重，用wb表示filter的偏置项；对Feature Map的每个元素进行编号，用ai,j表示Feature Map的第i行第j列元素；用f表示激活函数，激活函数为Relu函数：
f＝max(0,x)
使用下列公式计算卷积：
通过以上步骤即可计算卷积层的输出。
对于Pooling层输出值的计算，Pooling层主要的作用是下采样，通过去掉FeatureMap中不重要的样本，进一步减少参数数量。Pooling的方法有很多种，本发明采用的是MaxPooling，Max Pooling实际上就是在n×n的样本中取最大值，作为采样后的样本值。
对于全连接层输出值的计算，全连接层的激活函数为sigmoid函数：
第一个全连接层的输出如式下：
a4＝sigmoid(w·x)
＝sigmoid(w0x0+w1x1+...+wnxn)
输出层的输出值计算如下：
y1＝sigmoid(w·a)
＝sigmoid(w0a0+w1a1+...+wmam)
神经网络的输出向量即y＝[y1,y2,...yk]。
对于卷积神经网络的训练，卷积神经网络的训练过程采用反向传播算法(BackPropagation，BP)，即通过链式求导计算损失函数对每个权重的偏导数(梯度)，然后根据梯度下降公式更新权重。下面介绍各层的训练算法。
对于卷积层的训练，对于卷积层，问题在于如何将误差项传递到上一层以及如何计算filter每个权值的梯度。
设捕获的包含舱内设备状态的特征矩阵大小为n×n，filter大小为k×k，按步长为1卷积，我们将得到(n-k+1)×(n-k+1)的Feature map。
用表示第l-1层第i行第j列的误差项；用wm,n表示filter第m行第n列权重，用wb表示filter的偏置项；用/>表示第l-1层第i行第j列神经元的输出；用/>表示第l-1层神经元的加权输入；用/>表示第层第i行第j列的误差项；用fl-1表示第l-1层的激活函数。它们之间的关系如下：
netl＝conv(Wl,al-1)+wb
上式中，netl、Wl、al-1都是数组，Wl是由wm,n组成的数组，conv表示卷积操作。
此处假设第l层中的每个δl值都已经计算得出，需计算第l-1层每个神经元的误差项δl-1。
根据链式求导法则：
因为卷积相当于将filter旋转180度后的互相关计算，因此上式的可以用卷积公式表达为：
上式中Wl表示第l层的filter的权重数组。把上式的卷积展开，写成求和形式为：
又因为：
所以该项仅求激活函数f的导数即可。
将第一项和第二项组合起来，的计算公式为：
对于Pooling层的训练，在卷积神经网络的训练中，Pooling层需要做的仅是将误差项传递到上一层，而没有梯度的计算，因此Max Pooling没有需要学习的参数，但需要考虑Max Pooling对误差项的传递过程。
用表示第l-1层的加权输入；用/>表示第l层的加权输入。对于maxpooling，若filter为k×k，则：
即只有区块中最大的才会对/>的值产生影响。因此上式相当于：
不难求得下面几个偏导数：
因此：
/>
对于Max Pooling，下一层的误差项的值会原封不动的传递到上一层对应区块中的最大值所对应的神经元，而其他神经元的误差项的值都是0。
对于全连接层的训练，全连接层的训练算法为BP算法。BP算法主要由两个环节(激励传播、权重更新)反复循环迭代，直到网络对输入的响应达到预定的目标范围为止。
假设每个训练样本为其中向量/>是训练样本的特征，而/>是样本的目标值。首先，用样本的特征/>计算出神经网络中每个隐藏层节点的输出ai，以及输出层每个节点的输出yi。然后，按照下面的方法计算出每个节点的误差项：
a)对于输出层节点：
δi＝yi(1-yi)(ti-yi)
其中，是δi节点的误差项，是yi节点的输出值，是ti样本对应于节点的目标值。
b)对于隐藏层节点：
其中，ai是节点i的输出值，wki是节点i到它的下一层节点k的连接权重，δk是节点i的下一层节点k的误差项。
最后，更新每个连接上的权值：
wji←wji+ηδjxji
其中，wji是节点i到节点j的权重，η是学习速率常数，δj是节点j的误差项，xji是节点i传递给节点j的输入。
最后一个隐层和输出层每个节点误差项的计算和权重按上述方法更新。当所有节点的误差项计算完毕后，根据式6更新所有的权重，直至训练完成。
通过上述方法，可以实现基于深度学习的舱内设备状态识别分类器的训练，应用于舱内增强现实系统，为实时判断航天员操作正确与否提供依据。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (6)

1.一种基于深度学习的航天员操作设备状态识别方法，其特征在于，其具体包括：
对航天员空间操作场景进行重建与匹配；采用空间感知方法，对航天员所操作设备进行特征提取与筛选；采用深度学习方法，对航天员所操作设备进行状态识别；
所述的对航天员空间操作场景进行重建与匹配，其具体包括：对在空间操作场景中的航天员进行定位，并获取其观察视角，确定航天员所操作设备，采用基于SLAM的三维重构方法等比例构建空间操作场景三维模型，采用基于点云几何特征的场景匹配方法，完成航天员真实操作三维空间场景和空间操作场景三维模型的匹配，为航天员操作设备状态的识别提供先验信息；
所述的获取航天员观察视角，获取航天员所佩戴的视线传感器的数据，进而获得其视点到操作设备的空间向量，进而得到以视线向量为轴、设备位置坐标为顶点的圆锥空间域，在筛选特征样本时，只需选择已确定的圆锥空间域内的样本；
通过获取真实场景的图像信息及深度，构建操作场景mesh地图，通过计算航天员相对舱内特征点的距离，实时定位航天员相对空间舱的位姿；航天员操作设备时，其视线关注操作设备，通过视线交互，计算视线方向与操作场景mesh地图中设备模型的交点坐标，即为所操作设备相对舱内场景的相对坐标，从而得到视点方向向量；将构建的场景mesh地图与空间操作场景三维模型进行匹配，建立共享坐标系，从而实现操作场景mesh地图到已有虚拟场景的空间映射；操作设备空间坐标转换，将航天员头部位姿与视点方向向量进行坐标转换，计算出操作设备相对操作场景的位置坐标，将操作设备舱内位置坐标发送到已匹配操作场景mesh地图，从而在已有虚拟场景内通过坐标确认目前操作设备；已有虚拟场景为基于SLAM的三维重构方法等比例对航天员真实操作三维空间场景所构建的虚拟场景。
2.如权利要求1所述的基于深度学习的航天员操作设备状态识别方法，其特征在于，
为确定航天员所操作设备，将航天员真实操作三维空间场景和空间操作场景三维模型匹配，建立两个场景的共享坐标系，通过计算重构的空间操作场景三维模型空间中操作设备空间坐标，进行重构空间向真实空间的映射，查询空间操作场景三维模型中相应坐标的设备，从而确定航天员所操作设备。
3.如权利要求1所述的基于深度学习的航天员操作设备状态识别方法，其特征在于，
利用深度相机对航天员所操作装备进行三维模型构建，得到虚拟场景；利用深度相机所拍摄的每一帧的RGBD数据，估计深度相机在世界坐标系中的位置，把拍摄第一帧时的相机所处位置作为世界坐标系的原点，利用迭代最近点方法，估计深度相机在此后每一帧相对于第一帧的位置的转移矩阵，从而实现对拍摄每一帧的时刻下深度相机位置的估计。
4.如权利要求1所述的基于深度学习的航天员操作设备状态识别方法，其特征在于，
所述的采用空间感知方法，对航天员所操作设备进行特征提取与筛选，其具体包括：基于构建的空间操作场景三维模型，进一步进行实物物体特征的提取与筛选；提取得到物体特征后，为满足识别和分类算法输入的需求，在得到的物体特征中进行筛选，选取在识别和分类应用中区分度大于一定值的特征作为最终确定的物体特征。
5.如权利要求4所述的基于深度学习的航天员操作设备状态识别方法，其特征在于，
采用数据挖掘方法，利用设备识别、视域范围及主成分分析三种方法中一种或几种结合，进行训练样本的筛选。
6.如权利要求1所述的基于深度学习的航天员操作设备状态识别方法，其特征在于，
所述的采用深度学习方法，对航天员所操作设备进行状态识别，其具体包括：采用卷积神经网络，构建深度学习分类器，以物体特征为输入，实现航天员操作设备状态检测；利用深度学习算法实现航天员操作设备状态检测，具体包括分类器训练和应用两个过程，利用训练样本进行深度学习分类器训练，将训练后得到的参数进行固化并应用于深度学习分类器上，利用训练完成的深度学习分类器，进行航天员操作设备状态检测。
CN202210055653.4A 2022-01-18 2022-01-18 基于深度学习的航天员操作设备状态识别方法 Active CN114494594B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210055653.4A CN114494594B (zh) 2022-01-18 2022-01-18 基于深度学习的航天员操作设备状态识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210055653.4A CN114494594B (zh) 2022-01-18 2022-01-18 基于深度学习的航天员操作设备状态识别方法

Publications (2)

Publication Number Publication Date
CN114494594A CN114494594A (zh) 2022-05-13
CN114494594B true CN114494594B (zh) 2023-11-28

Family

ID=81511197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210055653.4A Active CN114494594B (zh) 2022-01-18 2022-01-18 基于深度学习的航天员操作设备状态识别方法

Country Status (1)

Country Link
CN (1) CN114494594B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI817540B (zh) * 2022-06-07 2023-10-01 鴻海精密工業股份有限公司 深度圖像獲取方法、電子設備及計算機可讀存儲媒體
CN116452742B (zh) * 2023-04-21 2023-11-03 中国航天员科研训练中心 一种航天操作场景的空间布局解析方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10334275A (ja) * 1997-05-29 1998-12-18 Canon Inc 仮想現実方法及び装置並びに記憶媒体
CN101067716A (zh) * 2007-05-29 2007-11-07 南京航空航天大学 具有视线跟踪功能的增强现实自然交互式头盔
CN106845515A (zh) * 2016-12-06 2017-06-13 上海交通大学 基于虚拟样本深度学习的机器人目标识别和位姿重构方法
CN107771342A (zh) * 2016-06-20 2018-03-06 华为技术有限公司 一种增强现实显示方法及头戴式显示设备
WO2018119889A1 (zh) * 2016-12-29 2018-07-05 深圳前海达闼云端智能科技有限公司 三维场景定位方法和装置
CN109461180A (zh) * 2018-09-25 2019-03-12 北京理工大学 一种基于深度学习的三维场景重建方法
CN109543697A (zh) * 2018-11-16 2019-03-29 西北工业大学 一种基于深度学习的rgbd图像目标识别方法
CN109741382A (zh) * 2018-12-21 2019-05-10 西安科技大学 一种基于Kinect V2的实时三维重建方法与系统
CN111968228A (zh) * 2020-06-28 2020-11-20 成都飞机工业（集团）有限责任公司 一种基于航空装配的增强现实自定位方法
CN112902953A (zh) * 2021-01-26 2021-06-04 中国科学院国家空间科学中心 一种基于slam技术的自主位姿测量方法
WO2021197189A1 (zh) * 2020-03-31 2021-10-07 深圳光峰科技股份有限公司 基于增强现实的信息显示方法、系统、装置及投影设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032278B (zh) * 2019-03-29 2020-07-14 华中科技大学 一种人眼感兴趣物体的位姿识别方法、装置及系统
CN111462329B (zh) * 2020-03-24 2023-09-29 南京航空航天大学 一种基于深度学习的无人机航拍影像的三维重建方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10334275A (ja) * 1997-05-29 1998-12-18 Canon Inc 仮想現実方法及び装置並びに記憶媒体
CN101067716A (zh) * 2007-05-29 2007-11-07 南京航空航天大学 具有视线跟踪功能的增强现实自然交互式头盔
CN107771342A (zh) * 2016-06-20 2018-03-06 华为技术有限公司 一种增强现实显示方法及头戴式显示设备
CN106845515A (zh) * 2016-12-06 2017-06-13 上海交通大学 基于虚拟样本深度学习的机器人目标识别和位姿重构方法
WO2018119889A1 (zh) * 2016-12-29 2018-07-05 深圳前海达闼云端智能科技有限公司 三维场景定位方法和装置
CN109461180A (zh) * 2018-09-25 2019-03-12 北京理工大学 一种基于深度学习的三维场景重建方法
CN109543697A (zh) * 2018-11-16 2019-03-29 西北工业大学 一种基于深度学习的rgbd图像目标识别方法
CN109741382A (zh) * 2018-12-21 2019-05-10 西安科技大学 一种基于Kinect V2的实时三维重建方法与系统
WO2021197189A1 (zh) * 2020-03-31 2021-10-07 深圳光峰科技股份有限公司 基于增强现实的信息显示方法、系统、装置及投影设备
CN111968228A (zh) * 2020-06-28 2020-11-20 成都飞机工业（集团）有限责任公司 一种基于航空装配的增强现实自定位方法
CN112902953A (zh) * 2021-01-26 2021-06-04 中国科学院国家空间科学中心 一种基于slam技术的自主位姿测量方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
"三维点云目标提取总结（续）";teddysnow;《https://blog.csdn.net/a2008301610258/article/details/48785455》;20150928;第1-4页 *
"三维目标特征提取及识别研究";张跃强;《中国优秀硕士学位论文全文数据库 信息科技辑》;20120715(第07期);摘要第i页 *
"航天飞行训练模拟器体系建设及关键技术研究";晁建刚等;《航天医学与医学工程》;20180430;第31卷(第2期);第198-203页 *
增强现实航天飞行训练系统空间定位;何宁;晁建刚;许振瑛;陈炜;;航天医学与医学工程(02);全文 *
晁建刚等."航天飞行训练模拟器体系建设及关键技术研究".《航天医学与医学工程》.2018,第31卷(第2期), *
朱德海.点云特征描述与提取.《点云库PCL学习教程》.2012, *
面向航天员训练的混合现实场景理解方法研究;李畅;晁建刚;何宁;陈炜;许振瑛;;载人航天(01);全文 *

Also Published As

Publication number Publication date
CN114494594A (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
CN108171748B (zh) 一种面向机器人智能抓取应用的视觉识别与定位方法
EP3405845B1 (en) Object-focused active three-dimensional reconstruction
Chun et al. Markerless kinematic model and motion capture from volume sequences
US8731719B2 (en) Robot with vision-based 3D shape recognition
CN113065546B (zh) 一种基于注意力机制和霍夫投票的目标位姿估计方法及系统
CN114494594B (zh) 基于深度学习的航天员操作设备状态识别方法
US20040190775A1 (en) Viewpoint-invariant detection and identification of a three-dimensional object from two-dimensional imagery
JP6912215B2 (ja) 対象物の姿勢等を検出する検出方法、検出プログラム
CN112750198B (zh) 一种基于非刚性点云的稠密对应预测方法
CN113221647B (zh) 一种融合点云局部特征的6d位姿估计方法
CN112651944B (zh) 基于cad模型的3c部件高精度六维位姿估计方法及系统
JP2021163503A (ja) ２次元カメラによる３次元の姿勢推定
CN113516693B (zh) 一种快速通用的图像配准方法
CN117058646B (zh) 基于多模态融合鸟瞰图的复杂道路目标检测方法
Shi et al. Fuzzy dynamic obstacle avoidance algorithm for basketball robot based on multi-sensor data fusion technology
JP2021163502A (ja) 複数の２次元カメラによる３次元の姿勢推定
Ocegueda-Hernandez et al. A lightweight convolutional neural network for pose estimation of a planar model
CN115620016A (zh) 一种骨架检测模型的构建方法、图像数据识别方法
Tran 3D hand pose estimation in point cloud using 3D convolutional neural network on egocentric datasets
CN111739168B (zh) 一种样本相似度抑制的大尺度三维人脸合成方法
Kallasi et al. Object detection and pose estimation algorithms for underwater manipulation
Wu et al. Object detection and localization using stereo cameras
Li et al. Deep neural network based shape reconstruction for application in robotics
Oh et al. Vision-based 3D reconstruction using a compound eye camera
CN117576213A (zh) 基于全局特征向量场投票网络的非合作目标位姿估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant