CN114201042A - 分布式综合集成研讨厅装置、系统、构建方法及交互方法 - Google Patents

分布式综合集成研讨厅装置、系统、构建方法及交互方法 Download PDF

Info

Publication number
CN114201042A
CN114201042A CN202111323598.4A CN202111323598A CN114201042A CN 114201042 A CN114201042 A CN 114201042A CN 202111323598 A CN202111323598 A CN 202111323598A CN 114201042 A CN114201042 A CN 114201042A
Authority
CN
China
Prior art keywords
virtual reality
environment
information
user
reality environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111323598.4A
Other languages
English (en)
Other versions
CN114201042B (zh
Inventor
常予
田钰
蔡明春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Electronic System Engineering
Original Assignee
Beijing Institute of Electronic System Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Electronic System Engineering filed Critical Beijing Institute of Electronic System Engineering
Priority to CN202111323598.4A priority Critical patent/CN114201042B/zh
Publication of CN114201042A publication Critical patent/CN114201042A/zh
Application granted granted Critical
Publication of CN114201042B publication Critical patent/CN114201042B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种分布式综合集成研讨厅装置、系统、构建方法及交互方法。该装置包括：场景信息获取模块获取现实场景中的场景数据，建立虚拟的环境数据库；虚拟环境模拟模块基于场景数据得到初始行动态势信息，并得到虚拟现实环境；机器学习模块模拟推演得到预测行动态势信息，以更新虚拟现实环境；虚拟现实交互模块显示虚拟现实环境，并获取每一用户处于当前虚拟现实环境时根据预测行动态势信息输出的行动决策信息；识别模块获取行动决策信息、虚拟现实环境、以及获取预测行动态势信息以输出识别信息，以使得虚拟环境模拟模块根据识别信息更新虚拟现实环境；虚拟现实交互模块还配置为同步显示虚拟环境模拟模块更新的虚拟显示环境至其他用户。

Description

分布式综合集成研讨厅装置、系统、构建方法及交互方法
技术领域
本发明涉及人机交互领域，特别是涉及一种分布式综合集成研讨厅装置、系统、构建方法及交互方法。
背景技术
人机融合智能理论着重描述一种由人、机、环境系统相互作用而产生的新型智能形式，它既不同于人脑智力也不同于人工智能，它是一种物理性与生物性相结合的新一代智能科学体系。在智能输入端，人机智能交互的思想不简单依赖硬件传感器采集的客观数据或五官感知得到的主观信息，而是把两者有效融合，并且联系人的先验知识，形成一种新的输入方式；在信息处理阶段，也是智能产生的重要阶段，将人的认知方式与计算机优势的计算能力融合起来，构建一种新的理解途径；在智能输出端，将人在决策中体现的价值效应加入计算机逐渐迭代的算法中相互匹配，形成有机化与概率化相互协调的优化判断。
综合集成研讨厅是综合集成了以计算机技术为核心的高新技术成果，与专家群体一起构成高度智能化的人机结合系统。所谓的“厅”并非建筑意义上简单得建筑形式，而是由计算机支撑的网络体系，是逻辑意义上虚拟的“厅”。随着人-机融合技术的发展，综合集成研讨厅的建设形式不断演进。
发明内容
为了解决上述问题至少之一，本发明第一个实施例提供一种分布式综合集成研讨厅装置，包括：
场景信息获取模块，配置为实时获取现实场景中的若干场景数据，并建立虚拟的环境数据库；
虚拟环境模拟模块，配置为基于所述环境数据库中的场景数据得到初始行动态势信息，并基于所述场景数据以及初始行动态势信息进行模拟得到虚拟现实环境；
机器学习模块，基于所述场景数据和预存储的学习数据进行模拟推演得到预测行动态势信息，以使得所述虚拟环境模拟模块根据所述预测行动态势信息更新所述虚拟现实环境；
虚拟现实交互模块，配置为显示虚拟现实环境，并获取每一用户处于当前虚拟现实环境时根据预测行动态势信息输出的行动决策信息；
识别模块，配置为获取所述行动决策信息，获取该行动决策信息对应的用户所处的虚拟现实环境，以及获取对应的用户获得的预测行动态势信息以输出识别信息，以使得机器学习模块根据所述识别信息进行模拟推演实时更新所述预测行动态势信息并输出；
所述虚拟环境模拟模块还配置为基于所述更新后的所述预测行动态势信息进行模拟实时输出虚拟现实环境；
虚拟现实交互模块还配置为同步输出所述虚拟环境模拟模块更新的虚拟显示环境至其他用户。
进一步的，虚拟环境模拟模块，进一步配置为根据所述场景数据进行动态环境建模和生成3D图像以得到初始行动态势信息，并利用虚拟现实技术、增强现实技术以及全息现实技术，对所述场景数据以及初始行动态势信息进行融合，生成模拟现实场景的虚拟现实环境。
进一步的，机器学习模块进一步配置为利用多智能体博弈对抗模型与孪生仿真平行推演模型得到预测行动态势信息，基于所述初始行动态势信息并融合所述场景数据、预存储的学习数据实时更新所述虚拟现实环境；
虚拟现实交互模块进一步配置为获取用户处于当前虚拟现实环境时根据预测行动态势信息输出的行动决策信息。
进一步的，虚拟现实交互模块通过获取处于当前虚拟现实环境中的用户的手势指令、动作信息、面部特征以及语音信息以得到该用户的行动决策信息。
进一步的，机器学习模块进一步配置为融合所述场景数据和所述行动决策信息以更新所述预测行动态势信息并输出，以使得所述虚拟环境模拟模块更新所述虚拟现实环境；
识别模块进一步配置为识别所述行动决策信息，并将该用户的所述行动决策信息输出至其他用户以进行不同用户间的行动决策信息交互。
进一步的，所述虚拟现实交互模块还配置为响应于当前用户的视角指令切换当前输出的虚拟现实环境；
和/或
所述学习数据包括：预设人工智能模型、预设机器学习模型以及预设历史事件集；
和/或
场景数据为从图像、语音、方位角度、位置坐标等维度实时从现实场景中获取的。
本发明第二个实施例提供一种构建如上述分布式综合集成研讨厅装置的方法，包括：
实时获取现实场景中的若干场景数据，并建立虚拟的环境数据库；
基于所述环境数据库中的场景数据得到初始行动态势信息，并基于所述场景数据以及初始行动态势信息进行模拟得到虚拟现实环境；
基于所述场景数据和预存储的学习数据进行模拟推演得到预测行动态势信息，以使得所述虚拟环境模拟模块根据所述预测行动态势信息进行更新；
获取用户处于当前虚拟现实环境时根据预测行动态势信息输出的行动决策信息；
获取该行动决策信息对应的用户所处的虚拟现实环境，以及获取对应的用户获得的预测行动态势信息以输出识别信息，并根据所述识别信息进行模拟推演实时更新所述预测行动态势信息并输出；
基于所述更新后的所述预测行动态势信息进行模拟实时输出虚拟现实环境；
同步显示更新的虚拟显示环境至其他用户。
本发明第三个实施例提供一种分布式综合集成研讨厅交互系统，包括：
如上述的综合集成研讨厅装置，配置为根据场景数据模拟生成虚拟现实环境并输出；
交互输入设备，配置为获取每一用户处于虚拟现实环境中的行动决策信息；并将所述行动决策信息输出至综合集成研讨厅装置的虚拟现实交互模块，以使得虚拟环境模拟模块更新对应于该用户的虚拟现实环境；
交互输出设备，配置为输出更新的虚拟现实环境至对应用户，以及接收用户的视角指令使得综合集成研讨厅装置切换对应于不同用户的虚拟现实环境，并通过该交互输出设备输出。
进一步的，所述交互系统还包括指挥控制模块，所述指挥控制模块配置为对用户进行级别划分，按照级别顺序将用户输出的指挥指令输出至所述虚拟现实交互模块以使得处于当前虚拟现实环境中的其他用户接收所述指挥指令。
本发明第四个实施例提供一种利用上述交互系统进行交互的方法，包括：
获取每一用户处于虚拟现实环境中的行动决策信息并输出；
根据所述行动决策信息更新对应于该用户虚拟现实环境；
输出更新的虚拟现实环境至对应用户；
接收用户的视角指令，基于所述视角指令切换对应于不同用户的虚拟现实环境并输出。
本发明的有益效果如下：
本发明针对目前现有的问题，制定一种分布式综合集成研讨厅装置，通过场景信息获取模块和虚拟环境模拟模块生成虚拟现货环境，通过机器学习模块进行模拟推演以及利用识别模块根据用户的决策进行识别以不断更新虚拟现实环境，实现虚拟现实环境的真实模拟，通过虚拟显示交互模块使用户处于与真实环境高度融合的沉浸式的虚拟现实环境中，增强了用户的感官体验，实现不同用户之间所处的虚拟现实环境的同步，更好地实现人、机和虚拟现实环境的深度交互，具有广泛的应用前景。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本发明的一个实施例分布式综合集成研讨厅装置的结构框架示意图；
图2示出本发明的一个实施例分布式综合集成研讨厅的构建方法的流程图；
图3示出本发明的一个实施例分布式综合集成研讨厅交互的结构框架示意图；
图4示出本发明的一个实施例分布式综合集成研讨厅交互系统的具体示例示意图；
图5示出本发明另一个实施例利用上述分布式综合集成研讨厅交互系统进行交互的方法流程图。
具体实施方式
为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。
需要说明的是，本文中所述的“在……上”、“在……上形成”和“设置在……上”可以表示一层直接形成或设置在另一层上，也可以表示一层间接形成或设置在另一层上，即两层之间还存在其它的层。并且，本文诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。如图1，本发明一个实施例提供一种分布式综合集成研讨厅装置，包括：
场景信息获取模块，配置为实时获取现实场景中的若干场景数据，并建立虚拟的环境数据库；
虚拟环境模拟模块，配置为基于所述环境数据库中的场景数据得到初始行动态势信息，并基于所述场景数据以及初始行动态势信息进行模拟得到虚拟现实环境；
机器学习模块，基于所述场景数据和预存储的学习数据进行模拟推演得到预测行动态势信息，以使得所述虚拟环境模拟模块根据所述预测行动态势信息更新所述虚拟现实环境；
虚拟现实交互模块，配置为显示虚拟现实环境，并获取每一用户处于当前虚拟现实环境时根据预测行动态势信息输出的行动决策信息；
识别模块，配置为获取所述行动决策信息，获取该行动决策信息对应的用户所处的虚拟现实环境，以及获取对应的用户获得的预测行动态势信息以输出识别信息，以使得机器学习模块根据所述识别信息进行模拟推演实时更新所述预测行动态势信息并输出；
所述虚拟环境模拟模块还配置为基于所述更新后的所述预测行动态势信息进行模拟实时输出虚拟现实环境；
虚拟现实交互模块还配置为同步输出所述虚拟环境模拟模块更新的虚拟显示环境至其他用户。
本实施例通过场景信息获取模块和虚拟环境模拟模块生成虚拟现货环境，通过机器学习模块进行模拟推演以及利用识别模块根据用户的决策进行识别以不断更新虚拟现实环境，实现虚拟现实环境的真实模拟，通过虚拟显示交互模块使用户处于与真实环境高度融合的沉浸式的虚拟现实环境中，增强了用户的感官体验，实现不同用户之间所处的虚拟现实环境的同步，更好地实现人、机和虚拟现实环境的深度交互。
在一个可选的实施例中，场景数据为从图像、语音、方位角度、位置坐标等维度实时从现实场景中获取的。在一个具体示例中，显示场景的多种场景数据由无人机集群携带的多维式传感器进行环境感知而获得。
基于获得的场景数据，在一个可选的实施例中，虚拟环境模拟模块进一步配置为根据所述场景数据进行动态环境建模和生成3D图像以得到初始行动态势信息；并利用虚拟现实技术、增强现实技术以及全息现实技术，对所述场景数据以及初始行动态势信息进行融合，生成模拟现实场景的虚拟现实环境，从而实时生成打造虚拟现实环境。
在一个具体示例中，虚拟环境模拟模块基于虚拟现实、增强现实、全息现实以及扩展现实技术，对获得的场景数据进行图像、语音、视频和3D模型的融合。
在一个具体示例中，虚拟现实，即Virtual Reality(VR)，是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成模拟环境，使用户渲染到该环境中。虚拟现实技术利用现实生活中的数据，通过计算机技术产生的电子信号，将其与各种输出设备结合，使其转化为能够让人们感受到的现象，这些现象可以是现实中真真切切的物体，也可以是肉眼所看不到的、能够通过三维模型表现出来的物质。其模拟环境的仿真性与现实世界相似，让人有身临其境的感觉。同时，虚拟现实也具有视觉、听觉、嗅觉、味觉、触觉、力学、运动等感知系统。并具有能够真正实现人机交互的仿真系统，使人在操作过程中，可以随意操作并得到环境的反馈。
增强现实，即Augmented Reality(AR)，通过计算机技术将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到同一个画面或空间。增强现实不仅展现真实世界的信息，同时显示虚拟的信息，两种信息相互补充、叠加，可以把真实世界与虚拟环境多重合成在一起。
混合现实，即Mixed Reality(MR)，既包括增强现实和增强虚拟，指的是合并现实和虚拟世界而产生的新的可视化环境。在新的可视化环境里物理和数字对象共存并实时互动。
扩展现实，即Extended Reality(XR)是虚拟现实、增强现实、混合现实的总和。
本示例通过多种虚拟现实结合的技术，在初始行动态势信息的基础上，并实时计算3D模型中同一场景随时间变化下的位置、角度等信息的变化，打造实时变化的场景虚拟环境平台，从而提高用户的处于虚拟现实环境中的真实感。
在一个可选的实施例中，机器学习模块进一步配置为利用多智能体博弈对抗模型与孪生仿真平行推演模型得到预测行动态势信息，融合所述场景数据、预存储的学习数据实时更新虚拟现实环境。
本发明实施例中，利用多智能体博弈对抗模型与孪生仿真平行推演模型能够得到不同的行动方案，并且在基于学习数据的基础上，机器学习模块利用推演得到的不同行动方案并融合场景数据以及初始行动态势信息，从而对当前虚拟现实环境进行实时态势预测，生成预测预测行动态势信息以生成基于逻辑变化的虚拟现实环境。
在一个可选的实施例中，所述学习数据包括：预设人工智能模型、预设机器学习模型以及预设历史事件集。在一个具体示例中，预设人工智能模型可通过卷积神经网络进行训练，预设机器学习模型可通过机器学习得到，历史事件集包括指挥员的经验以及历史上的各种经验结论，通过多维度从而得到符合逻辑的预测行动态势信息，以实现虚拟现实环境的全场景模拟和用户行动决策的平行推演。
在另一具体示例中，当多个用户处于当前的虚拟现实环境中时，机器学习模块能够获得每一用户的行动决策信息，并根据每一行动决策信息进行推演和博弈以得到不同的预测行动态势信息，为用户提供不同方案的分析与参考，实现人机信息融合。
在一个可选的实施例中，虚拟现实交互模块配置为获取用户处于当前虚拟现实环境时根据预测行动态势信息输出的行动决策信息。当机器学习模块将推演得到的预测行动态势信息输出后，一方面，虚拟环境模拟模块根据该预测行动态势信息进行模拟更新虚拟现实环境，另一方面，用户获取该预测行动态势，以及时对当前更新的虚拟现实环境做出应对和决策，用户输出的行动决策信息通过虚拟现实交互模块实现人机交互。
在一个可选的实施例中，虚拟现实交互模块通过获取处于当前虚拟现实环境中的用户的手势指令、动作信息、面部特征以及语音信息以得到该用户的行动决策信息。本发明实施例通过获取用户的手势指令、动作信息、面部特征以及语音信息，全方面识别以得到准确的行动决策信息。
在一个可选的实施例中，机器学习模块进一步配置为融合所述场景数据和所述行动决策信息以得到新的预测行动态势信息以及新的场景虚拟环境。
识别模块，进一步配置为识别所述行动决策信息，并将该用户的所述行动决策信息输出至其他用户以进行不同用户间的行动决策信息交互。
在本实施例中，该综合集成研讨厅装置不仅实现人机间的自然交互和深度融合，还能够实现不同用户间的交流决策。在一个具体示例中，以用户A为主用户，虚拟现实环境随着用户A输出的行动决策信息改变，此时用户B的所处的虚拟现实环境随着用户A做出的决策同步显示和更新，从而实现不同用户的场景同步变更。在另一个具体示例中，机器学习模块分别根据用户A和用户B的行动决策信息进行对应的推演，从而得到对应于不同用户的预测行动态势信息，并以主用户A的预测行动态势信息作为虚拟现实环境的更新条件。
在另一个具体示例中，用户A和用户B之间通过识别模块进行语音、图像上的直接交流，提高综合集成研讨厅的交流互动性。继续以上述用户A和用户B之间的虚拟现实环境为示例进行说明，虚拟现实环境以用户A的预测行动态势信息进行更新，同时，用户A和用户B可通过识别模块进行交流，增加用户之间的互动性。
在一个可选的实施例中，虚拟现实交互模块还配置为，响应于当前用户的视角指令切换当前显示的虚拟现实环境。
本实施例通过虚拟现实交互模块获取用户对于本实施例的研讨厅装置的用户指令，在一个具体示例中，当用户C为用户A和用户B的上级指挥时，用户C能够通过视角指令切换不同用户之间的虚拟现实环境，生成上级指挥用户C对当前虚拟现实环境下向用户A和用户B生成的指挥指令，有效提高后端指挥人员以及前端实战人员之间的信息交流。
在另一个具体示例中，虚拟现实交互模块还能够切换不同视角下的虚拟现实环境，识别模块识别该切换指令，虚拟环境模拟模块生成该指令对应的视角下的虚拟现实环境，利用虚拟现实交互模块显示给用户。
本实施例通过场景信息获取模块和虚拟环境模拟模块生成虚拟现货环境，通过机器学习模块进行模拟推演以及利用识别模块根据用户的决策进行识别以不断更新虚拟现实环境，实现虚拟现实环境的真实模拟，通过虚拟显示交互模块使用户处于与真实环境高度融合的沉浸式的虚拟现实环境中，增强了用户的感官体验，实现不同用户之间所处的虚拟现实环境的同步，更好地实现人、机和虚拟现实环境的深度交互。
与上述综合集成研讨厅装置对应的，本发明的另一实施例还提供一种构建上述分布式综合集成研讨厅装置的方法，如图2所示，该方法包括以下步骤：
S201、实时获取现实场景中的若干场景数据，并建立虚拟的环境数据库；
S202、基于所述环境数据库中的场景数据得到初始行动态势信息，并基于所述场景数据以及初始行动态势信息进行模拟得到虚拟现实环境；
S203、基于所述场景数据和预存储的学习数据进行模拟推演得到预测行动态势信息，以使得所述虚拟环境模拟模块根据所述预测行动态势信息进行更新；
S204、获取用户处于当前虚拟现实环境时根据预测行动态势信息输出的行动决策信息；
S205、获取该行动决策信息对应的用户所处的虚拟现实环境，以及获取对应的用户获得的预测行动态势信息以输出识别信息，并根据所述识别信息进行模拟推演实时更新所述预测行动态势信息并输出；
S206、基于所述更新后的所述预测行动态势信息进行模拟实时输出虚拟现实环境；
S207、同步显示更新的虚拟显示环境至其他用户。
本发明实施例的综合集成研讨厅装置构建方法，基于现实环境中的场景数据得到真实的虚拟现实环境，并通过模拟推演生成的预测行动态势信息不断更新用户所处的虚拟现实环境，进一步通过处于当前虚拟现实环境中的用户的行动决策信息更新虚拟现实环境，实现虚拟现实环境的真实模拟和多维度更新，使用户处于与真实环境高度融合的沉浸式的虚拟现实环境中，增强了用户的感官体验，实现不同用户之间所处的虚拟现实环境的同步，更好地实现人、机和虚拟现实环境的深度交互。
在一个具体示例中，以构建上述分布式综合集成研讨厅装置为例，该方法具体包括：
S201、实时获取现实场景中的若干场景数据，并建立虚拟的环境数据库。
在该步骤中，场景数据为从图像、语音、方位角度、位置坐标等维度实时从现实场景中获取的。在一个具体示例中，显示场景的多种场景数据由无人机集群携带的多维式传感器进行环境感知而获得。
基于获取的场景数据构建场景数据库，在场景数据库中，选择对应的场景进行模拟以生成虚拟现实环境。在一个具体示例中，利用虚拟现实技术、增强现实技术以及全息现实技术，对所述场景数据以及初始行动态势信息进行图像、语音、视频和3D模型的融合，生成模拟现实场景的虚拟现实环境，从而实时生成打造虚拟现实环境，并实时计算3D模型中同一场景随时间变化下的位置、角度等信息的变化，打造实时变化的场景虚拟环境平台，从而提高用户的处于虚拟现实环境中的真实感。
S202、基于所述环境数据库中的场景数据得到初始行动态势信息，并基于所述场景数据以及初始行动态势信息进行模拟得到虚拟现实环境。
在该步骤中，根据所述场景数据进行动态环境建模和生成3D图像以得到初始行动态势信息，即初始行动态势信息为应用环境数据库中的场景数据直接得到的。在一个具体示例中，利用虚拟现实技术、增强现实技术以及全息现实技术，对所述场景数据以及初始行动态势信息进行融合，从而得到虚拟现实环境。
S203、基于所述场景数据和预存储的学习数据进行模拟推演得到预测行动态势信息，以使得所述虚拟环境模拟模块根据所述预测行动态势信息进行更新；
在该步骤中，利用多智能体博弈对抗模型与孪生仿真平行推演模型得到预测行动态势信息，并基于前述的初始行动态势信息进一步融合所述场景数据、预存储的学习数据更新实时变化的场景虚拟环境。
在一个具体示例中，基于虚拟现实、增强现实以及全息现实技术，对获得的场景数据进行图像、语音、视频和3D模型的融合，在初始行动态势信息的基础上，并实时计算3D模型中同一场景随时间变化下的位置、角度等信息的变化，打造实时变化的场景虚拟环境平台，从而提高用户的处于虚拟现实环境中的真实感。
在一个具体示例中，利用多智能体博弈对抗模型与孪生仿真平行推演模型以及学习数据的基础上能够得到不同的行动方案，从而实现对当前虚拟现实环境进行实时态势预测，基于预测预测行动态势信息以生成基于逻辑变化的虚拟现实环境，提高用户的真实感官体验。
在一个具体示例中，预设人工智能模型可通过卷积神经网络进行训练，预设机器学习模型可通过机器学习得到，历史事件集包括指挥员的经验以及历史上的各种经验结论，通过多维度从而得到符合逻辑的预测行动态势信息，以实现虚拟现实环境的全场景模拟和用户行动决策的平行推演。
在另一具体示例中，当多个用户处于当前的虚拟现实环境中时，通过获得每一用户的行动决策信息，并根据每一行动决策信息进行推演和博弈以得到不同的预测行动态势信息，为用户提供不同方案的分析与参考，实现人机信息融合。
S204、获取用户处于当前虚拟现实环境时根据预测行动态势信息输出的行动决策信息。
在一个具体示例中，可通过获取处于当前虚拟现实环境中的用户的手势指令、动作信息、面部特征以及语音信息以得到该用户的行动决策信息。
S205、获取该行动决策信息对应的用户所处的虚拟现实环境，以及获取对应的用户获得的预测行动态势信息以输出识别信息，以使得虚拟环境模拟模块根据所属识别信息更新所述虚拟现实环境。
在一个可选的实施例中，虚拟现实交互模块配置为获取用户处于当前虚拟现实环境时根据预测行动态势信息输出的行动决策信息。当机器学习模块将推演得到的预测行动态势信息输出后，一方面，虚拟环境模拟模块根据该预测行动态势信息进行模拟更新虚拟现实环境，另一方面，用户获取该预测行动态势信息，以及时对当前更新的虚拟现实环境做出应对和决策，用户输出的行动决策信息通过虚拟现实交互模块实现人机交互，保障虚拟现实交互模块的交互稳定性。
本发明示例采用增强虚拟现实、人工智能及机器学习相结合的更新虚拟现实环境的方式，能增强分布式综合集成装置对虚拟现实环境的感知和预测能力，提升场景信息潜在关系的分析能力，帮助指挥人员完成场景评估与行动决策制定。
S206、基于所述更新后的所述预测行动态势信息进行模拟实时输出虚拟现实环境。
该步骤中，通过获取用户实时的行动决策信息而产生的预测行动态势信息，并利用该行动态势信息不断的实时更新虚拟现实环境，从而实现用户所处的虚拟现实环境的实时更新，且该实时更新的虚拟现实环境能够提高用户的沉浸体验。
S207、同步显示更新的虚拟显示环境至其他用户。
在该步骤中，当不仅一个用户处于当前的虚拟现实环境中时，一个用户所处的虚拟现实环境发生变化时，其他用户所处的虚拟现实环境也可同步变化。在一个具体示例中，以用户A为主用户，虚拟现实环境随着用户A输出的行动决策信息改变，此时用户B的所处的虚拟现实环境随着用户A做出的决策同步显示和更新，从而实现不同用户的场景同步变更。
在另一个具体示例中，虚拟现实交互模块还能够切换不同视角下的虚拟现实环境，识别模块识别该切换指令，虚拟环境模拟模块生成该指令对应的视角下的虚拟现实环境，利用虚拟现实交互模块显示给用户。
由于本申请实施例提供的分布式综合集成研讨厅的构建方法与上述几种实施例提供的分布式综合集成研讨厅装置相对应，因此在前实施方式也适用于本实施例提供的分布式综合集成研讨厅的构建方法，在本实施例中不再详细描述。
如图3所示，本发明另一实施例提供一种分布式综合集成研讨厅交互系统，包括：
上述的综合集成研讨厅装置，配置为根据场景数据模拟生成虚拟现实环境以及预测态势信息并输出；
交互输入设备，配置为获取每一用户处于虚拟现实环境中的行动决策信息；并将所述行动决策信息输出至综合集成研讨厅装置的虚拟现实交互模块，以使得虚拟环境模拟模块更新对应于该用户的虚拟现实环境；以及接收每一用户的视角指令使得综合集成研讨厅装置切换对应于不同用户的虚拟现实环境；
交互输出设备，配置为输出更新或切换的虚拟现实环境至对应用户。
本发明实施例通过交互输入设备、交互输出设备与综合集成研讨厅装置进行交互，通过交互输入设备获取每一用户的行动决策信息，并基于该行动决策信息通过综合集成研讨厅装置实现虚拟现实环境的更新，交互输出设备显示对应不同需求的用户的虚拟现实环境，实现虚拟现实环境的真实模拟，使得用户具有良好的感官体验，实现不同用户之间所处的虚拟现实环境的同步，更好地实现人、机和虚拟现实环境的深度交互。
如图4所示，在一个具体示例中，交互输入设备可为体感交互输入设备、语音交互输入设备、视觉穿戴设备。例如，手柄、摇杆、3D数据手套、眼动仪、位置追踪器、动作捕捉器、麦克风等能够获取用户行动决策信息的设备和装置。
通过上述交互输入设备，一方面能够将用户制定的方案布局、人员调配和协同指挥命令等行动决策信息输入到虚拟现实交互模块中，通过识别模块识别用户的语音、图像以及动作，另一方面，利用机器学习模块进行多智能体的方案博弈及平行推演，帮助用户在当前的虚拟现实环境中预测态势变化，并不断地基于逻辑更新虚拟现实环境，实现有效稳定的人机交互。
如图4所示，在一个具体示例中，交互输出设备可为头戴显示器、3D立体显示器、3D立体眼镜、洞穴式立体显示系统、立体声音处理器等能够实现人机交互的装置和设备。通过上述交互输出设备，使得用户能够接受当前虚拟环境交互模块中所展示出的虚拟现实环境以及接收预测态势信息，实现综合集成研讨厅装置与用户之间的实时交互，为用户打造沉浸式体验，增强其观感体验。
在另一个具体示例中，交互输出设备还能够切换不同视角下的虚拟现实环境，用户通过交互输入设备输入切换指令，综合集成研讨厅根据该切换指令生成该指令对应的视角下的虚拟现实环境，利用虚拟现实交互模块于交互输出设备显示给用户。
在一个可选的实施例中，所述交互系统还包括指挥控制模块，配置为对用户进行级别划分，按照级别顺序将用户输出的指挥指令输出至所述虚拟现实交互模块以使得处于当前虚拟现实环境中的其他用户接收所述指挥指令。
在一个具体示例中，当多个用户共同应用该交互系统进行交互时，指挥控制模块对用户进行级别划分，以确定多用户行动时预测行动态势信息和行动决策信息的优先级顺序，较高级的用户能够根据其所处的虚拟现实环境输出指挥指令，使得其他的用户根据该指挥指令进行行动。在一个具体示例中，用户可处于不同的虚拟现实环境下，例如较高级的用户处于虚拟现实环境中战场的后端指挥处，其他用户处于虚拟现实环境中战场的前端作战处，因此，通过指挥控制模块能够快速实现前后端的通信、执行以及指挥。本发明实施例的交互系统能够充分发挥虚拟现实环境的同步共享优势，直观沉浸的交互方式有效缩短不同用户之间的沟通协调周期，可大大提高指挥控制与决策的效率。
由于本申请实施例提供的分布式综合集成研讨厅交互系统的具体应用与上述几种实施例提供的分布式综合集成研讨厅装置相对应，因此在前实施方式也适用于本实施例提供的分布式综合集成研讨厅交互系统，在本实施例中不再详细描述。
如图5所示，本发明另一实施例提供一种利用上述分布式综合集成研讨厅交互系统进行交互的方法，包括：
S501、显示虚拟现实环境以及输出预测态势信息；
S502、获取每一用户处于虚拟现实环境中的行动决策信息并输出；
S503、根据所述行动决策信息更新对应于该用户虚拟现实环境；
S504、输出更新的虚拟现实环境至对应用户；
S505、接收用户的视角指令；
S506、基于所述视角指令切换对应于不同用户的虚拟现实环境；
S507、显示切换后的虚拟现实环境。
在一个具体示例中，该方法的具体步骤为：
S501、综合集成研讨厅装置显示虚拟现实环境以及输出预测态势信息。
示例性的，通过虚拟环境模拟模块根据获取的场景数据以及初始行动态势信息进行模拟，从而生成虚拟现实环境。通过机器学习模块根据场景数据以及预存的学习数据推演得到预测行动态势信息，这样虚拟环境模块能够更新以及模拟得到最真实的虚拟现实环境。该虚拟现实环境以及预测态势信息可通过虚拟现实交互模块显示以及输出到不同的用户。
S502、交互输入设备获取每一用户处于虚拟现实环境中的行动决策信息并输出。
示例性的，交互输入设备可为前述的手柄、摇杆、3D数据手套、眼动仪、位置追踪器、动作捕捉器、麦克风等能够获取用户行动决策信息的设备和装置。行动决策信息可包括方案布局、人员调配以及协同指挥命令等。
S503、综合集成研讨厅装置根据所述行动决策信息更新对应于该用户虚拟现实环境。
在一个具体示例中，综合集成研讨厅装置的各个模块根据交互输入设备输出的行动决策信息进行识别、推演、预测以及模拟，例如，通过识别模块以及机器学习模块进行不断推演，从而生成不断更新的虚拟现实环境，提高用户的体验感，进一步的，更新后的虚拟现实环境输入至交互输出设备。
S504、交互输出设备输出更新的虚拟现实环境至对应用户。
交互输出设备可为头戴显示器、3D立体显示器、3D立体眼镜、洞穴式立体显示系统、立体声音处理器等能够实现人机交互的装置和设备。
S505、交互输入设备接收用户的视角指令。
在用户处于虚拟现实环境的状态下，交互输入设备实施接收用户的视角指令，保证虚拟现实环境的真实性。
S506、综合集成研讨厅装置基于所述视角指令切换对应于不同用户的虚拟现实环境。
示例性的，用户的视角指令通过交互输入设备输入至综合集成研讨厅装置，实现人机间的交互，进一步的，综合集成研讨厅装置生成切换后虚拟现实环境并输出。
S507、交互输出设备输出切换后的虚拟现实环境，从而实现用户处于切换的虚拟现实环境中。
由于本申请实施例提供的分布式综合集成研讨厅交互系统的交互方法与上述几种实施例提供的分布式综合集成研讨厅交互系统相对应，因此在前实施方式也适用于本实施例提供的分布式综合集成研讨厅交互系统的交互方法，在本实施例中不再详细描述。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (10)

1.一种分布式综合集成研讨厅装置，其特征在于，包括：
场景信息获取模块，配置为实时获取现实场景中的场景数据，并建立虚拟的环境数据库；
虚拟环境模拟模块，配置为基于所述环境数据库中的场景数据获取初始行动态势信息，并基于所述场景数据以及初始行动态势信息进行模拟生成虚拟现实环境；
机器学习模块，基于所述场景数据和预存储的学习数据进行模拟推演得到预测行动态势信息，以使得所述虚拟环境模拟模块根据所述预测行动态势信息更新所述虚拟现实环境；
虚拟现实交互模块，配置为显示虚拟现实环境，并获取每一用户处于当前虚拟现实环境时根据预测行动态势信息输出的行动决策信息；
识别模块，配置为获取所述行动决策信息，获取该行动决策信息对应的用户所处的虚拟现实环境，以及获取对应的用户获得的预测行动态势信息以输出识别信息，以使得机器学习模块根据所述识别信息进行模拟推演实时更新所述预测行动态势信息并输出；
所述虚拟环境模拟模块还配置为基于所述更新后的所述预测行动态势信息进行模拟实时输出虚拟现实环境；
虚拟现实交互模块还配置为同步输出所述虚拟环境模拟模块更新的虚拟显示环境至其他用户。
2.根据权利要求1所述的综合集成研讨厅装置，其特征在于，
虚拟环境模拟模块，进一步配置为根据所述场景数据进行动态环境建模和生成3D图像以得到初始行动态势信息，并利用虚拟现实技术、增强现实技术以及全息现实技术，对所述场景数据以及初始行动态势信息进行融合，生成模拟现实场景的虚拟现实环境。
3.根据权利要求1所述的综合集成研讨厅装置，其特征在于，
机器学习模块进一步配置为利用多智能体博弈对抗模型与孪生仿真平行推演模型得到预测行动态势信息，基于所述初始行动态势信息并融合所述场景数据、预存储的学习数据实时更新所述虚拟现实环境；
虚拟现实交互模块进一步配置为获取用户处于当前虚拟现实环境时根据预测行动态势信息输出的行动决策信息。
4.根据权利要求1或3所述的综合集成研讨厅装置，其特征在于，
虚拟现实交互模块通过获取处于当前虚拟现实环境中的用户的手势指令、动作信息、面部特征以及语音信息以得到该用户的行动决策信息。
5.根据权利要求3所述的综合集成研讨厅装置，其特征在于，
机器学习模块进一步配置为融合所述场景数据和所述行动决策信息以更新所述预测行动态势信息并输出，以使得所述虚拟环境模拟模块更新所述虚拟现实环境；
识别模块进一步配置为识别所述行动决策信息，并将该用户的所述行动决策信息输出至其他用户以进行不同用户间的行动决策信息交互。
6.根据权利要求1所述的综合集成研讨厅装置，其特征在于，
所述虚拟现实交互模块还配置为响应于当前用户的视角指令切换当前输出的虚拟现实环境；
和/或
所述学习数据包括：预设人工智能模型、预设机器学习模型以及预设历史事件集；
和/或
场景数据为从图像、语音、方位角度、位置坐标等维度实时从现实场景中获取的。
7.一种构建如权利要求1～6中任一项所述分布式综合集成研讨厅装置的方法，其特征在于，
实时获取现实场景中的若干场景数据，并建立虚拟的环境数据库；
基于所述环境数据库中的场景数据得到初始行动态势信息，并基于所述场景数据以及初始行动态势信息进行模拟得到虚拟现实环境；
基于所述场景数据和预存储的学习数据进行模拟推演得到预测行动态势信息，以使得所述虚拟环境模拟模块根据所述预测行动态势信息进行更新；
获取用户处于当前虚拟现实环境时根据预测行动态势信息输出的行动决策信息；
获取该行动决策信息对应的用户所处的虚拟现实环境，以及获取对应的用户获得的预测行动态势信息以输出识别信息，并根据所述识别信息进行模拟推演实时更新所述预测行动态势信息并输出；
基于所述更新后的所述预测行动态势信息进行模拟实时输出虚拟现实环境；
同步显示更新的虚拟显示环境至其他用户。
8.一种分布式综合集成研讨厅交互系统，其特征在于，包括：
如权利要求1～6中任一项所述的综合集成研讨厅装置，配置为根据场景数据模拟生成虚拟现实环境以及预测态势信息并输出；
交互输入设备，配置为获取每一用户处于虚拟现实环境中的行动决策信息；并将所述行动决策信息输出至综合集成研讨厅装置的虚拟现实交互模块，以使得虚拟环境模拟模块更新对应于该用户的虚拟现实环境；以及接收每一用户的视角指令使得综合集成研讨厅装置切换对应于不同用户的虚拟现实环境；
交互输出设备，配置为输出更新或切换的虚拟现实环境至对应用户。
9.根据权利要求8所述厅交互系统，其特征在于，所述交互系统还包括指挥控制模块，所述指挥控制模块配置为对用户进行级别划分，按照级别顺序将用户输出的指挥指令输出至所述虚拟现实交互模块以使得处于当前虚拟现实环境中的其他用户接收所述指挥指令。
10.一种利用如权利要求8或9所述的交互系统进行交互的方法，其特征在于：
显示虚拟现实环境以及输出预测态势信息；
获取每一用户处于虚拟现实环境中的行动决策信息并输出；
根据所述行动决策信息更新对应于该用户虚拟现实环境；
输出更新的虚拟现实环境至对应用户；
接收用户的视角指令；
基于所述视角指令切换对应于不同用户的虚拟现实环境；
显示切换后的虚拟现实环境。
CN202111323598.4A 2021-11-09 2021-11-09 分布式综合集成研讨厅装置、系统、构建方法及交互方法 Active CN114201042B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111323598.4A CN114201042B (zh) 2021-11-09 2021-11-09 分布式综合集成研讨厅装置、系统、构建方法及交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111323598.4A CN114201042B (zh) 2021-11-09 2021-11-09 分布式综合集成研讨厅装置、系统、构建方法及交互方法

Publications (2)

Publication Number Publication Date
CN114201042A true CN114201042A (zh) 2022-03-18
CN114201042B CN114201042B (zh) 2023-09-15

Family

ID=80647079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111323598.4A Active CN114201042B (zh) 2021-11-09 2021-11-09 分布式综合集成研讨厅装置、系统、构建方法及交互方法

Country Status (1)

Country Link
CN (1) CN114201042B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919251A (zh) * 2017-01-09 2017-07-04 重庆邮电大学 一种基于多模态情感识别的虚拟学习环境自然交互方法
US20180165977A1 (en) * 2016-12-13 2018-06-14 Bank Of America Corporation Real World Gamification Using Augmented Reality User Devices
CN108279768A (zh) * 2017-11-16 2018-07-13 深圳市诺诺易购网络科技有限公司 一种多人交互式三维虚拟环境的生成方法和系统
WO2020247590A1 (en) * 2019-06-06 2020-12-10 Artie, Inc. Multi-modal model for dynamically responsive virtual characters
CN112766595A (zh) * 2021-01-29 2021-05-07 北京电子工程总体研究所 一种指挥控制装置、方法、系统、计算机设备及介质
US20210213620A1 (en) * 2020-01-14 2021-07-15 International Business Machines Corporation Virtual reality enabled activity allocation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180165977A1 (en) * 2016-12-13 2018-06-14 Bank Of America Corporation Real World Gamification Using Augmented Reality User Devices
CN106919251A (zh) * 2017-01-09 2017-07-04 重庆邮电大学 一种基于多模态情感识别的虚拟学习环境自然交互方法
CN108279768A (zh) * 2017-11-16 2018-07-13 深圳市诺诺易购网络科技有限公司 一种多人交互式三维虚拟环境的生成方法和系统
WO2020247590A1 (en) * 2019-06-06 2020-12-10 Artie, Inc. Multi-modal model for dynamically responsive virtual characters
US20210213620A1 (en) * 2020-01-14 2021-07-15 International Business Machines Corporation Virtual reality enabled activity allocation
CN112766595A (zh) * 2021-01-29 2021-05-07 北京电子工程总体研究所 一种指挥控制装置、方法、系统、计算机设备及介质

Also Published As

Publication number Publication date
CN114201042B (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
Dai Virtual reality for industrial applications
CN107850948A (zh) 混合现实社交
KR20130028878A (ko) 조합형 입체 카메라 및 입체 디스플레이 상호 작용
CN116909407B (zh) 基于虚拟现实的触控显示屏全景交互方法及控制系统
CN111156855A (zh) 一种电子战装备虚拟训练人机交互系统
CN115337634A (zh) 一种应用于餐食游戏类的vr系统及方法
Xu et al. Exploring visual techniques for boundary awareness during interaction in augmented reality head-mounted displays
CN114201042A (zh) 分布式综合集成研讨厅装置、系统、构建方法及交互方法
Ferrise et al. Product design review application based on a vision-sound-haptic interface
Kusunoki et al. MultiBrush: 3D Brush Painting Using Multiple Viewpoints in Virtual Reality
Nesamalar et al. An introduction to virtual reality techniques and its applications
Varma et al. Gestural interaction with three-dimensional interfaces; current research and recommendations
Xu Immersive display design based on deep learning intelligent VR technology
CN111882672A (zh) 一种vr游戏中可绘制3d图形识别3d虚拟物件的方法
Eloy et al. The robotic dance: a fictional narrative of a construction built by drones
Ernst et al. Creating virtual worlds with a graspable user interface
Hopf et al. Novel autostereoscopic single-user displays with user interaction
CN111158466B (zh) 适用于智能棋具的ai眼镜传感交互方法、系统、介质及设备
Buriol et al. A virtual reality training platform for live line maintenance of power distribution networks
Wang et al. Research on virtual reality technology in landscape design
Pang Display and Interaction Design of VR Technology in Environmental Design
Hachaj et al. Evaluation of Gesture Description Language in the role of touchless interface for virtual reality environment
Piumsomboon Natural hand interaction for augmented reality.
Park et al. 3D Gesture-based view manipulator for large scale entity model review
Cai Research on virtual maintenance environment layout planning method based on computer ant colony algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant