CN110287616B - 一种沉浸式空间微重力流体遥科学实验平行系统及方法 - Google Patents
一种沉浸式空间微重力流体遥科学实验平行系统及方法 Download PDFInfo
- Publication number
- CN110287616B CN110287616B CN201910574380.2A CN201910574380A CN110287616B CN 110287616 B CN110287616 B CN 110287616B CN 201910574380 A CN201910574380 A CN 201910574380A CN 110287616 B CN110287616 B CN 110287616B
- Authority
- CN
- China
- Prior art keywords
- experimental
- experiment
- remote
- space
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002474 experimental method Methods 0.000 title claims abstract description 143
- 238000000034 method Methods 0.000 title claims abstract description 52
- 239000012530 fluid Substances 0.000 title claims abstract description 18
- 230000005486 microgravity Effects 0.000 title claims abstract description 16
- 238000007654 immersion Methods 0.000 title claims abstract description 12
- 238000004458 analytical method Methods 0.000 claims abstract description 63
- 238000005259 measurement Methods 0.000 claims abstract description 5
- 230000003993 interaction Effects 0.000 claims description 34
- 230000004927 fusion Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 21
- 238000005516 engineering process Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 15
- 238000004088 simulation Methods 0.000 claims description 13
- 230000000007 visual effect Effects 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 10
- 230000003238 somatosensory effect Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 8
- 230000002452 interceptive effect Effects 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 239000012634 fragment Substances 0.000 claims description 4
- 239000011521 glass Substances 0.000 claims description 4
- 230000007787 long-term memory Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 230000006403 short-term memory Effects 0.000 claims description 4
- 238000013461 design Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000012937 correction Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 238000000926 separation method Methods 0.000 claims description 2
- 238000003786 synthesis reaction Methods 0.000 claims description 2
- 230000015654 memory Effects 0.000 claims 2
- 230000001174 ascending effect Effects 0.000 claims 1
- 238000011160 research Methods 0.000 abstract description 3
- 239000007788 liquid Substances 0.000 description 52
- 239000002245 particle Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 210000003984 auditory pathway Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000003179 granulation Effects 0.000 description 1
- 238000005469 granulation Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/06—Power analysis or power optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/61—Scene description
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Human Computer Interaction (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种沉浸式空间微重力流体遥科学实验平行系统及方法，包括空间实验系统；所述平行系统还包括地面实验系统，所述地面实验系统包括，遥分析单元、遥现场单元、遥操作单元、遥预测单元；所述空间实验系统与地面实验系统的各单元之间协调作用，提供给地面操作人员一个身临其境的虚拟环境。优点是：实现对远程空间科学实验的连续多角度观察和精确三维控制，为空间研究提供灵活、方便和高效的环境；并通过该方法，控制空间实验系统中实验的高效进行，同时使空间实验系统中的实验在测控区外也可与地面实验系统的预测实验同步运行，极大地提高了空间实验系统的实验效率。
Description
技术领域
本发明涉及航空航天技术领域，尤其涉及一种沉浸式空间微重力流体遥科学实验平行系统及方法。
背景技术
目前开展空间遥科学实验大多采用自主运行或遥控遥测模式，而传统测点技术和二维图像无法体现实验细节，同时，软件界面与鼠键操作为主的二维交互方式无法满足多维应用系统交互需求；信号延迟和通信中断期导致低效率碎片化的实验观察与控制。
发明内容
本发明的目的在于提供一种沉浸式空间微重力流体遥科学实验平行系统及方法，从而解决现有技术中存在的前述问题。
为了实现上述目的，本发明采用的技术方案如下：
一种沉浸式空间微重力流体遥科学实验平行系统，包括空间实验系统；所述平行系统还包括地面实验系统，所述地面实验系统包括，
遥分析单元；用于接收所述空间实验系统和/或遥预测单元产生的实验数据包，并对所述实验数据包进行遥分析；
遥现场单元；与所述遥分析单元相连，用于根据遥分析单元的分析结果对空间实验系统的三维实验场景和实验对象进行实时绘制和沉浸式显示，并反馈给操作人员；
遥操作单元；利用实时交互操作的多模态融合综合应用技术，借助视觉-听觉-体感等多种通道，将操作人员决策转化为操作指令，实现对空间实验系统的人机交互控制；
遥预测单元；与所述遥操作单元相连，采用融合机理与数据的遥预测技术构建实验仿真预测系统，模拟操作指令下空间科学实验对象变化过程与结果。
优选的，所述地面实验系统还包括数据处理单元，所述数据处理单元与所述空间实验系统、所述遥分析单元和所述遥预测单元相连，所述数据处理单元接收所述空间实验系统产生的实验数据包，并对其进行处理，还原成原始实验数据，下传到遥分析单元；所述数据处理单元还用于接收遥预测单元产生的预测数据，并将预测数据处理后传递给遥分析单元。
优选的，所述种多通道包括视觉通道、听觉通道和体感通道。
优选的，所述视觉通道用于呈现空间实验系统的三维实验场景,并对所述空间实验系统的三维实验场景进行多通道投影视景的拼接和融合。
优选的，所述听觉通道将语音每个人的从空间实验系统的三维实验场景的多人混合语音中分离出来，并对语音内容中的指令片段进行深度识别，之后反馈给操作人员。
优选的，所述体感通道提出了面向手势交互的任务-命令多层级交互架构，通过点击手势将当前任务级锁定，然后进入命令级，设计与三维空间匹配的操作手势。
本发明的目的还在于提供一种沉浸式空间微重力流体遥科学实验方法，所述方法用于上述任一所述的平行系统；包括如下步骤，
S1、所述数据处理单元接收所述空间实验系统产生的实验数据包，并对其进行数据处理，产生原始实验数据；
S2、所述遥分析单元接收原始实验数据，并对原始实验数据进行遥分析，产生第一分析结果，并将第一分析结果传递给所述遥现场单元；
S3、所述遥现场单元根据第一分析结果，对空间实验系统的三维实验场景进行实时绘制和沉浸式显示，以动态呈现空间实验系统的当前三维实验场景，并将呈现的当前三维实验场景反馈给操作人员；
S4、操作人员根据观察到的当前三维实验场景，向所述遥操作单元发送第一决策；
S5、所述遥操作单元根据接收到的第一决策，利用实时交互操作的视觉-听觉-体感多模态融合的综合应用技术，借助多种通道，实现对空间实验系统的人机交互控制；
S6、所述遥预测单元采用融合机理与数据的遥预测技术构建实验仿真预测系统，该预测系统采用采用粗细粒度相融合的方法对当前三维实验场景的相关变量进行预测；并将预测的相关变量反馈给遥分析单元；
S7、所述遥分析单元接收相关变量；对相关变量进行遥分析，产生第二分析结果，并将所述第二分析结果发送给所述遥现场单元；
S8、所述遥现场单元所述第二分析结果，动态呈现空间实验系统的预测三维实验场景，并将预测三维实验场景反馈给操作人员；
S9、操作人员根据预测三维实验场景，向所述遥操作单元发送第二决策；
S10、所述遥操作单元根据接收到的第二决策，远程控制所述空间实验系统中的实验。
本发明的有益效果是：本发明通过提供给地面操作人员一个身临其境的虚拟环境，实现对远程空间科学实验的连续多角度观察和精确三维控制，为空间研究提供灵活、方便和高效的环境。
附图说明
图1是本发明实施例中平行系统的工作原理示意图；
图2是本发明实施例中平行系统的工作流程示意图；
图3是本发明实施例中视觉-听觉-手势多模态自然人机交互框架示意图；
图4是本发明实施例中空间流体实验遥预测原理示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明提供了一种沉浸式空间微重力流体遥科学实验平行系统，包括空间实验系统；所述平行系统还包括地面实验系统，所述地面实验系统包括，
遥分析单元；用于接收所述空间实验系统和/或遥预测单元产生的实验数据包，并对所述实验数据包进行遥分析；
遥现场单元；与所述遥分析单元相连，用于根据遥分析单元的分析结果对空间实验系统的三维实验场景和实验对象进行实时绘制和沉浸式显示，并反馈给操作人员；
遥操作单元；利用实时交互操作的多模态融合综合应用技术，借助视觉-听觉-体感等多种通道，将操作人员决策转化为操作指令，实现对空间实验系统的人机交互控制；
遥预测单元；与所述遥操作单元相连，采用融合机理与数据的遥预测技术构建实验仿真预测系统，模拟操作指令下空间科学实验对象变化过程与结果。
本实施例中，所述地面实验系统还包括数据处理单元，所述数据处理单元与所述空间实验系统、所述遥分析单元和所述遥预测单元相连，所述数据处理单元接收所述空间实验系统产生的实验数据包，并对其进行处理，还原成原始实验数据，下传到遥分析单元；所述数据处理单元还用于接收遥预测单元产生的预测数据，并将预测数据处理后传递给遥分析单元。
本实施例中，所述种多通道包括视觉通道、听觉通道和体感通道。
本实施例中，所述视觉通道用于呈现空间实验系统的三维实验场景,并对所述空间实验系统的三维实验场景进行多通道投影视景的拼接和融合。
本实施例中，所述听觉通道将每个人的语音从空间实验系统的三维实验场景的多人混合语音中分离出来，并对语音内容中的指令片段进行深度识别，之后反馈给操作人员。
本实施例中，所述体感通道提出了面向手势交互的任务-命令多层级交互架构，通过点击手势将当前任务级锁定，然后进入命令级，设计与三维空间匹配的操作手势。
实施例二
如图2所示，本发明还提供了一种沉浸式空间微重力流体遥科学实验方法，所述方法用于平行系统；包括如下步骤，
S1、所述数据处理单元接收所述空间实验系统产生的实验数据包，并对其进行数据处理，产生原始实验数据；
S2、所述遥分析单元接收原始实验数据，并对原始实验数据进行遥分析，产生第一分析结果，并将第一分析结果传递给所述遥现场单元；
S3、所述遥现场单元根据第一分析结果，对空间实验系统的三维实验场景进行实时绘制和沉浸式显示，以动态呈现空间实验系统的当前三维实验场景，并将呈现的当前三维实验场景反馈给操作人员；
S4、操作人员根据观察到的当前三维实验场景，向所述遥操作单元发送第一决策；
S5、所述遥操作单元根据接收到的第一决策，利用实时交互操作的视觉-听觉-体感多模态融合的综合应用技术，借助多种通道，实现对空间实验系统的人机交互控制；
S6、所述遥预测单元采用融合机理与数据的遥预测技术构建实验仿真预测系统，该预测系统采用采用粗细粒度相融合的方法对当前三维实验场景的相关变量进行预测；并将预测的相关变量反馈给遥分析单元；
S7、所述遥分析单元接收相关变量；对相关变量进行遥分析，产生第二分析结果，并将所述第二分析结果发送给所述遥现场单元；
S8、所述遥现场单元所述第二分析结果，动态呈现空间实验系统的预测三维实验场景，并将预测三维实验场景反馈给操作人员；
S9、操作人员根据预测三维实验场景，向所述遥操作单元发送第二决策；
S10、所述遥操作单元根据接收到的第二决策，远程控制所述空间实验系统中的实验。
实施例三
如图1至图3所示，本实施例中，以空间液桥热毛细对流实验为例，基于空间液桥实验任务同时与液桥对象行为特点和专家经验密切相关，构建了地面实验系统，与空间实验系统平行执行，集合了遥分析、遥现场、遥操作、任务规划、遥预测等内容，实现了对液桥实验的图像数据分析、虚拟动态仿真、临场感人机交互(科学家与地面支持系统的交互)、方案统一规划、方案推演评估及状态预测。地面实验系统深度融合了液桥对象行为预测与基于临场感人机交互的任务控制，形成对空间液桥实验的快速决策；空间实验系统响应地面实验系统的操作，更新液桥对象的状态，形成天地闭环回路。
本实施例中，针对空间液桥热毛细对流实验，遥分析包括如下内容：
在空间液桥热毛细对流实验数据(原始实验数据)下行到地面后，首先基于深度学习进行遥分析，自动从图像中识别出液桥的外形，并结合温度点数据映射出液桥的速度场、温度场。首先将所有可能的工况参数(包括液桥高度，体积，上下桥温差、五个温度点)进行排列组合，将每一组工况数据作为输入通过Fluent软件仿真得到该工况条件下的液桥内部速度场和温度场的理论模型。然后以液桥的可见光图像作为输入，通过多层的卷积、下采样、上采样操作，提取深层图像特征，识别出准确的液桥的形状及边缘轮廓，并同时识别液桥中是否出现气泡，若出现气泡则当前组实验需要重新执行；其次，基于上述识别出的液桥边缘轮廓数据，利用数值及积分运算计算出液桥的当前真实的高度和体积；最后，结合当前液桥的高度、体积、上下桥温差和五个温度点数据(液桥的下桥面安装了五个温度传感器)，映射出多种液桥的候选速度场和温度场，对上述多个候选速度场和温度场进行差值运算，计算出最终的速度场和温度场，驱动遥现场单元虚拟场景中的流体外部形态和内部流场的更新。
本实施例中，利用全卷积神经网络从可见光图像中识别出液桥的边缘轮廓，由于全卷积神经网络的深层网络结构，其能够提取深层的图像特征，相比传统的基于浅层模型的边缘检测方法(如canny等)，极大降低了背景干扰、减少了误检，实现了准确的液桥边缘检测。
本实施例中，遥现场单元执行如下内容；
遥现场将空间液桥热毛细对流三维实验场景(当前三维实验场景)进行实时绘制和沉浸式显示，快速、精确地再现实验环境几何细节、材质与光照特性，基于Oculus、CAVE(Cave Automatic Virtual Environment)、3D显示器、全息显示器等多种虚拟现实设备构建了沉浸式三维虚拟空间三维实验场景，具有可变尺度的态势显示能力。通过对液桥工程数据、科学应用数据的遥分析，在天地下行速率120Mbps的情况下实现了对数据无累积时延的实时解析，驱动虚拟场景更新，在地面动态重现了空间实验系统的三维实验场景(当前三维实验场景)。
本实施例中，为提高科学家对信息的捕获效率，针对液桥内部的温度场采用色彩映射法，直接将标量的值映射到色彩空间进行绘制；针对液桥内部粒子的速度矢量场采用积分曲线法，将时变矢量场中粒子的轨迹进行绘制，呈现矢量场的时变特性。针对液桥的物理特性，研究了流体建模及物理过程模拟方法。采用基于光滑粒子流体动力学方法(Smoothed Particle Hydrodynamics SPH)的液桥动力学模型，每个粒子既携带质量、密度和速度等物理属性。粒子化可支持并行运算，模拟速度快，边界条件容易设置，易于可视化。
本实施例中，遥操作单元执行如下内容：
围绕微重力流体热毛细对流实验的需求，突破了支持实时交互操作的视觉-听觉-体感多模态融合综合应用技术，如图3所示，借助不同通道的互补性、并发性和专用化以及通道任务的适应性提高了交互效率，灵活自然，行为互补，实现了对液桥实验准确的人机交互控制。所述通道包括视觉通道、听觉通道和体感通道。
本实施例中，视觉通道借助CAVE多投影系统、立体眼镜、Oculus以及全息系统等虚拟现实设备呈现多尺度多角度沉浸式场景,通过几何校正实现多通道投影视景的拼接和融合，并连续调整全局坐标系下的视点位置实现场景漫游。基于立体眼镜偏振立体成像原理，采用双缓存刷新方法实现场景的立体显示，极大增强场景的沉浸感。通过沉浸式场景显示，实现了具有全角度多尺度三维实验场景和状态的呈现，可实时掌握实验过程和实验细节，有效改善实验质量。
听觉通道提出基于非负矩阵分解和深度聚类方法研究单通道混合语音分离，将多个说话人的语音从源混合语音中逐个分离出来，不仅可以满足语音频域局部的最佳，也能保证时域整体的连续；然后利用巴科斯范式(BNF)建立遥科学命令词集合，借助科大讯飞离线语音识别库提取分离语音的特征并进行信息匹配，并识别出语音内容；其次建立实验指令规则库，将语音内容中指令片段进行深度识别，进行校验后生成遥操作指令并上行，最后将指令响应和实验状态等下行信息通过语音合成输出反馈给实验者，实现闭环的语音交互控制。
体感通道根据液桥实验的主要操作，本项目提出了面向手势交互的任务-命令多层级交互架构，通过点击手势将当前任务级锁定，然后进入命令级。设计了与三维空间匹配的操作手势：上下挥手为拉桥或降桥，左右挥手为注液或吸液，和画圆手势为升温或降温等操作设置目标参数，最后通过双手攥拳表示设置完成并进行指令发送。为了兼顾参数设置精度和操作便捷，还开发了表示步长设置手势，支持便捷地手势参数设定。再次点击手势可切换至命令级任务。将攥拳、双手开合、不同手指根数等手势识别算法融合到Leap Motion自带的手势库中，共同构成了遥科学虚拟交互手势库，方便未来其他实验操作调用。
本实施例中，所述实时交互操作的视觉-听觉-体感多模态融合综合应用技术，根据人的感知阈值，三维实验场景的视觉通道、听觉(语音)通道和手势通道分别工作于不同的异步线程内。在异步线程计算模型中建立了中间模型与指令数据库，主要表达模型和指令间信息交换和共享所需的数据结构，确保几何模型、物理模型和实验指令一致性的异步线程间信息融合方法在缓冲线程中实现，缓冲线程建立于异步线程间，负责模型参数映射与更新；然后，采用基于信号量方法，通过触发/未触发信号量实现对中间模型和资源最大访问线程数目限制，解决了多通道信息一致性显示问题，有效提升了交互操作的效率和准确性。
本实施例中，遥操作单元执行如下内容：
为使地面实验系统中的虚拟实验不因在测控区外，导致的数据链路中断而停止，保证与真实空间应用实验同步运行，平行系统采用融合机理与数据的遥预测技术构建实验仿真预测系统，补偿中断对虚拟实验的影响，如图4所示。
针对天宫二号微重力流体遥科学实验,预测系统主要预测各种实验相关控制变量，包括液桥高度、液桥体积和上下桥温差，以及液桥几何形态随时间的演变过程。
对于实验控制变量，采用粗细粒度相融合的预测方法。其中，粗粒度预测采用实验指令预测模型。例如实验指令中液桥高度和体积线性增加，采用线性模型预测液桥高度和体积；实验指令中上下桥温差分段线性变化，可采用分段线性模型预测上下桥温差。由于真实实验过程与指令之间可能存在一定偏差，因此，实验指令模型只能提供粗粒度的预测结果。
细粒度预测采用深度学习方法；具体地，采用长短期记忆网络模型，将指令模型数据序列作为网络各节点输入，同时将实验控制变量，如目标液桥高度、液桥高度变化率、目标液桥体积、液桥体积变化率、上下桥温差变化率等作为网络各节点的共享输入，将下行真实实验数据序列作为网络输出，以此构建长短期记忆网络模型。给定模型，基于历史实验数据和指令仿真预测数据，通过优化算法获取模型参数。长短期记忆网络可从历史实验数据自动学习实验指令预测模型与真实实验数据之间的复杂关系，因此，该模型可获取细粒度预测结果。本系统结合粗粒度实验指令预测模型和细粒度深度学习预测模型，准确预测实验控制变量变化过程。
对于表征实验状态的液桥几何形态预测，本系统采用基于机理模型的方法。具体地，在空间液桥实验中，受微重力条件下液体表面张力影响，液桥具有特定几何形状，其表面一般为旋转双曲面。旋转双曲面包含两个模型参数，可由曲面高度和体积通过模型反演得到。在液桥几何形态预测中，在任意时刻，首先利用模型预测液桥高度和体积，然后利用预测得到的液桥高度和体积，通过旋转双曲面解析模型获取模型参数，从而得到液桥几何形态。利用此预测方法，可对空间液桥各种实验条件下的几何物理形态演变过程进行预测，从而使液桥实验在测控区外也可与地面实验系统的预测实验(预测三维实验场景)同步运行，极大地提高了空间实验系统的实验效率。
通过采用本发明公开的上述技术方案，得到了如下有益的效果：
本发明提供一种沉浸式空间微重力流体遥科学实验平行系统及方法，通过在地面设置与空间实验系统相连的地面实验系统，空间实验系统产生的实验数据经过的地面实验系统中的遥分析单元、遥现场单元、遥操作单元以及遥预测单元之间的协调作用，提供给地面操作人员一个身临其境的虚拟环境，实现对远程空间科学实验的连续多角度观察和精确三维控制，为空间研究提供灵活、方便和高效的环境。并通过该方法，控制空间实验系统中实验的高效进行，同时使空间实验系统中的实验在测控区外也可与地面实验系统的预测实验(预测三维实验场景)同步运行，极大地提高了空间实验系统的实验效率。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。
Claims (3)
1.一种沉浸式空间微重力流体遥科学实验平行系统，包括空间实验系统；其特征在于：所述平行系统还包括地面实验系统，所述地面实验系统包括，
遥分析单元；用于接收所述空间实验系统和/或遥预测单元产生的实验数据包，并对所述实验数据包进行遥分析；
遥现场单元；与所述遥分析单元相连，用于根据遥分析单元的分析结果对空间实验系统的三维实验场景和实验对象进行实时绘制和沉浸式显示，并反馈给操作人员；
遥操作单元；利用实时交互操作的多模态融合综合应用技术，借助视觉-听觉-体感多种通道，将操作人员决策转化为操作指令，实现对空间实验系统的人机交互控制；
遥预测单元；与所述遥操作单元相连，采用融合机理与数据的遥预测技术构建实验仿真预测系统，模拟操作指令下空间科学实验对象变化过程与结果；遥预测单元对于实验控制变量，采用粗细粒度相融合的预测方法，即结合粗粒度实验指令预测模型和细粒度深度学习预测模型，准确预测实验控制变量变化过程；
粗粒度预测采用实验指令预测模型；
细粒度预测采用深度学习方法：
采用长短期记忆网络模型，将指令模型数据序列作为网络各节点输入，同时将实验控制变量作为网络各节点的共享输入，将下行真实实验数据序列作为网络输出，以此构建长短期记忆网络模型；给定模型，基于历史实验数据和指令仿真预测数据，通过优化算法获取模型参数；长短期记忆网络能够从历史实验数据自动学习实验指令预测模型与真实实验数据之间的复杂关系，能够获取细粒度预测结果；
对于表征实验状态的几何形态预测，采用基于机理模型的方法：
在任意时刻，首先利用机理模型预测工况参数，再利用预测到的工况参数，通过旋转双曲面解析模型获取模型参数，从而获取几何形态；利用此方式，能够对空间各种实验条件下的几何物理形态演变过程进行预测，从而使实验在测控区外也能够与地面实验系统的预测实验同步运行；
所述多种通道包括视觉通道、听觉通道和体感通道；
所述视觉通道用于呈现空间实验系统的三维实验场景,并对所述空间实验系统的三维实验场景进行多通道投影视景的拼接和融合；视觉通道借助CAVE多投影系统、立体眼镜、Oculus以及全息系统虚拟现实设备呈现多尺度多角度沉浸式场景,通过几何校正实现多通道投影视景的拼接和融合，并连续调整全局坐标系下的视点位置实现场景漫游；基于立体眼镜偏振立体成像原理，采用双缓存刷新方法实现场景的立体显示，极大增强场景的沉浸感；通过沉浸式场景显示，实现具有全角度多尺度三维实验场景和状态的呈现，能够实时掌握实验过程和实验细节，有效改善实验质量；
所述听觉通道将每个人的语音从空间实验系统的三维实验场景的多人混合语音中分离出来，并对语音内容中的指令片段进行深度识别，之后反馈给操作人员；听觉通道提出基于非负矩阵分解和深度聚类方法研究单通道混合语音分离，将多个说话人的语音从源混合语音中逐个分离出来，不仅能够满足语音频域局部的最佳，也能保证时域整体的连续；然后利用巴科斯范式建立遥科学命令词集合，借助科大讯飞离线语音识别库提取分离语音的特征并进行信息匹配，并识别出语音内容；其次建立实验指令规则库，将语音内容中指令片段进行深度识别，进行校验后生成遥操作指令并上行，最后将指令响应和实验状态下行信息通过语音合成输出反馈给实验者，实现闭环的语音交互控制；
所述体感通道提出了面向手势交互的任务-命令多层级交互架构，通过点击手势将当前任务级锁定，然后进入命令级，设计与三维空间匹配的操作手势；体感通道提出了面向手势交互的任务-命令多层级交互架构，通过点击手势将当前任务级锁定，然后进入命令级；设计与三维空间匹配的操作手势包括上下挥手、左右挥手和画圆手势；最后通过双手攥拳表示设置完成并进行指令发送；为了兼顾参数设置精度和操作便捷，还开发了表示步长设置手势，支持便捷地手势参数设定；再次点击手势可切换至命令级任务；将攥拳、双手开合、不同手指根数手势识别算法融合到Leap Motion自带的手势库中，共同构成了遥科学虚拟交互手势库，方便未来其他实验操作调用；
三维实验场景的视觉通道、听觉通道和体感通道分别工作于不同的异步线程内，在异步线程计算模型中建立了中间模型与指令数据库，表达模型和指令间信息交换和共享所需的数据结构，确保几何模型、物理模型和实验指令一致性的异步线程间信息融合方法在缓冲线程中实现，缓冲线程建立于异步线程间，负责模型参数映射与更新；然后，采用基于信号量方法，通过触发/未触发信号量实现对中间模型和资源最大访问线程数目限制，解决了多通道信息一致性显示问题，有效提升了交互操作的效率和准确性。
2.根据权利要求1所述的沉浸式空间微重力流体遥科学实验平行系统，其特征在于：所述地面实验系统还包括数据处理单元，所述数据处理单元与所述空间实验系统、所述遥分析单元和所述遥预测单元相连，所述数据处理单元接收所述空间实验系统产生的实验数据包，并对其进行处理，还原成原始实验数据，下传到遥分析单元；所述数据处理单元还用于接收遥预测单元产生的预测数据，并将预测数据处理后传递给遥分析单元。
3.一种沉浸式空间微重力流体遥科学实验方法，所述方法用于上述权利要求1或2所述的平行系统；其特征在于：包括如下步骤，
S1、数据处理单元接收所述空间实验系统产生的实验数据包，并对其进行数据处理，产生原始实验数据；
S2、所述遥分析单元接收原始实验数据，并对原始实验数据进行遥分析，产生第一分析结果，并将第一分析结果传递给所述遥现场单元；
S3、所述遥现场单元根据第一分析结果，对空间实验系统的三维实验场景进行实时绘制和沉浸式显示，以动态呈现空间实验系统的当前三维实验场景，并将呈现的当前三维实验场景反馈给操作人员；
S4、操作人员根据观察到的当前三维实验场景，向所述遥操作单元发送第一决策；
S5、所述遥操作单元根据接收到的第一决策，利用实时交互操作的视觉-听觉-体感多模态融合的综合应用技术，借助多种通道，实现对空间实验系统的人机交互控制；
S6、所述遥预测单元采用融合机理与数据的遥预测技术构建实验仿真预测系统，该预测系统采用采用粗细粒度相融合的方法对当前三维实验场景的相关变量进行预测；并将预测的相关变量反馈给遥分析单元；
S7、所述遥分析单元接收相关变量；对相关变量进行遥分析，产生第二分析结果，并将所述第二分析结果发送给所述遥现场单元；
S8、所述遥现场单元所述第二分析结果，动态呈现空间实验系统的预测三维实验场景，并将预测三维实验场景反馈给操作人员；
S9、操作人员根据预测三维实验场景，向所述遥操作单元发送第二决策；
S10、所述遥操作单元根据接收到的第二决策，远程控制所述空间实验系统中的实验。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910574380.2A CN110287616B (zh) | 2019-06-28 | 2019-06-28 | 一种沉浸式空间微重力流体遥科学实验平行系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910574380.2A CN110287616B (zh) | 2019-06-28 | 2019-06-28 | 一种沉浸式空间微重力流体遥科学实验平行系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110287616A CN110287616A (zh) | 2019-09-27 |
| CN110287616B true CN110287616B (zh) | 2023-11-17 |
Family
ID=68020009
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910574380.2A Active CN110287616B (zh) | 2019-06-28 | 2019-06-28 | 一种沉浸式空间微重力流体遥科学实验平行系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110287616B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112506348A (zh) * | 2020-12-15 | 2021-03-16 | 中国空气动力研究与发展中心计算空气动力研究所 | 一种沉浸式流场可视化参数的配置方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101794349A (zh) * | 2010-02-09 | 2010-08-04 | 北京邮电大学 | 机器人遥操作增强现实实验系统及方法 |
| CN103009387A (zh) * | 2012-12-20 | 2013-04-03 | 华南理工大学 | 一种液滴微操作机械手及控制方法 |
| CN107894836A (zh) * | 2017-11-22 | 2018-04-10 | 河南大学 | 基于手势和语音识别的遥感图像处理与展示的人机交互方法 |
| CN109933097A (zh) * | 2016-11-21 | 2019-06-25 | 清华大学深圳研究生院 | 一种基于三维手势的空间机器人遥操作系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070165019A1 (en) * | 2005-07-12 | 2007-07-19 | Hale Kelly S | Design Of systems For Improved Human Interaction |
-
2019
- 2019-06-28 CN CN201910574380.2A patent/CN110287616B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101794349A (zh) * | 2010-02-09 | 2010-08-04 | 北京邮电大学 | 机器人遥操作增强现实实验系统及方法 |
| CN103009387A (zh) * | 2012-12-20 | 2013-04-03 | 华南理工大学 | 一种液滴微操作机械手及控制方法 |
| CN109933097A (zh) * | 2016-11-21 | 2019-06-25 | 清华大学深圳研究生院 | 一种基于三维手势的空间机器人遥操作系统 |
| CN107894836A (zh) * | 2017-11-22 | 2018-04-10 | 河南大学 | 基于手势和语音识别的遥感图像处理与展示的人机交互方法 |
Non-Patent Citations (1)
| Title |
|---|
| 不上天也能在太空做实验？有遥科学平台就行;科学大院;《微信公众号》;20180425;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110287616A (zh) | 2019-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Song et al. | Review and analysis of augmented reality (AR) literature for digital fabrication in architecture | |
| WO2022116716A1 (zh) | 云端机器人系统、云服务器、机器人控制模块和机器人 | |
| CN105637564B (zh) | 产生未知对象的扩增现实内容 | |
| CN103247004B (zh) | 一种基于机电集成bim模型的信息管理方法与系统 | |
| CN110554774A (zh) | 一种面向ar的导航式交互范式系统 | |
| Berger et al. | CFD post-processing in Unity3D | |
| CN106289262A (zh) | 用于混合虚拟和实体楼层地图的技术 | |
| Yusoff et al. | Interactive hand and arm gesture control for 2d medical image and 3d volumetric medical visualization | |
| CN116243802B (zh) | 一种虚拟世界物理化系统 | |
| WO2018156087A1 (en) | Finite-element analysis augmented reality system and method | |
| Barnett et al. | Coordinated crowd simulation with topological scene analysis | |
| CN110287616B (zh) | 一种沉浸式空间微重力流体遥科学实验平行系统及方法 | |
| CN115100563A (zh) | 一种基于视频分析的生产过程交互与监测智能场景 | |
| Wu et al. | 3D modeling and design effect optimization of ceramics using virtual reality | |
| CN113408443A (zh) | 基于多视角图像的手势姿态预测方法及系统 | |
| CN108228285A (zh) | 一种端到端的多模态人机交互指令识别方法 | |
| CN111190690A (zh) | 基于容器编排工具的智能训练装置 | |
| Ahn et al. | Visually grounding language instruction for history-dependent manipulation | |
| Han et al. | Natural language informs the interpretation of iconic gestures: A computational approach | |
| Wang et al. | Research on the Structure and Key Algorithms of Smart Gloves Oriented to Middle School Experimental Scene Perception | |
| Jin et al. | [Retracted] Machinery Changes and Challenges of Architecture and Landscape Design in the Virtual Reality Perspective | |
| Hristov et al. | Multi-view RGB-D System for Person Specific Activity Recognition in the context of holographic communication | |
| Gong et al. | An interactive task modeling method for the development of augmented reality maintenance guiding system | |
| CN116030168B (zh) | 中间帧的生成方法、装置、设备及存储介质 | |
| Kayalvizhi et al. | A Comprehensive Study on Supermarket Indoor Navigation for Visually Impaired using Computer Vision Techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |