CN110531865A - 基于5g及mr技术的虚实场景操作平台及使用方法 - Google Patents
基于5g及mr技术的虚实场景操作平台及使用方法 Download PDFInfo
- Publication number
- CN110531865A CN110531865A CN201910893111.2A CN201910893111A CN110531865A CN 110531865 A CN110531865 A CN 110531865A CN 201910893111 A CN201910893111 A CN 201910893111A CN 110531865 A CN110531865 A CN 110531865A
- Authority
- CN
- China
- Prior art keywords
- scene
- module
- user
- actual situation
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000003993 interaction Effects 0.000 claims abstract description 30
- 230000002452 interceptive effect Effects 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims abstract description 9
- 230000008447 perception Effects 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims description 29
- 239000000463 material Substances 0.000 claims description 24
- 230000004927 fusion Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 239000011800 void material Substances 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 3
- 238000009877 rendering Methods 0.000 claims description 3
- 102220171488 rs760746448 Human genes 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 6
- 230000005540 biological transmission Effects 0.000 abstract description 4
- 230000004438 eyesight Effects 0.000 abstract description 4
- 238000002474 experimental method Methods 0.000 description 18
- 230000000007 visual effect Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 239000002253 acid Substances 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005194 fractionation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
- G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
Abstract
本发明适用于混合现实技术领域，提供了一种基于5G及MR技术的虚实场景操作平台的使用方法，包括以下步骤：所述虚实场景操作平台通过MR技术生成操作场景；操作平台系统与所述人机交互模块通过5G技术通讯，将生成的虚实结合的场景输出至所述人机交互模块，用户通过所述人机交互模块进入操作平台系统；用户通过所述人机交互模块选择功能模式；用户通过操作获取数据，得出结论。通过利用MR技术使得现实的场景可以直接显示在用户的设备上，用户可以体验虚实相结合的操作场景，并且为用户提供自然的交互方式，形成视觉及触觉的感知，使用户更好地进行实验操作，在5G网络的基础下，使得数据的传输更快更稳定，延迟小，失真率低，增强用户体验效果。
Description
技术领域
本发明属于混合现实技术领域，尤其涉及一种基于5G及MR技术的虚实场景操作平台及使用方法。
背景技术
随着科学技术的蓬勃发展，虚拟现实技术（VR）和增强现实技术（AR）现如今已经应用于多个领域，包括教育、医疗及娱乐领域，都得到了广泛的应用且带来了许多的便捷。尤其是在教育领域，传统的教室教学学生只能从书本、老师的讲解和PPT上的文字图像说明去理解一些抽象的概念，例如粒子间的碰撞、火上喷发的场景、强酸强碱间的反应等，这些只有通过亲自观察才能透彻了解的实验或者现象，在实际教学中无法让学生亲自感受，因为这些实验或者现象大多数都具有危险，或者难以观察。现如今有了虚拟现实技术和增强现实技术，学生们可以通过佩戴相应的设备，观察这些实验或者在虚拟空间中操作这些实验，获得更加直观的感受，对知识点更加理解，也增强了学生的学习兴趣。同样的在其他领域也能使得使用者亲身体验那些在现实中不易实现的操作，获得更好的体验。
现如今的VR技术通常是将现实场景先转化为虚拟场景，再传输到用户的体验设备上，VR技术是通过计算机建模而成的，因此VR技术在真实性体验上难以满足实验者的要求；AR技术通过虚拟物体叠加的方法进行可视化处理，但虚拟景象和现实景象建依然存在较大的视觉差异，对体验效果有一定的影响且视觉范围较狭窄，无法实现深度交互；同时，目前在利用VR/AR技术进行信息处理时，涉及到高复杂度的密集型计算，现有技术中系统与设备通常是通过3G或者4G模块进行通讯，受限于移动通信的传输宽带以及信道质量不稳定等问题，会导致用户接收到的画面质量不稳定、不流畅，体验效果差。
发明内容
本发明的目的在于提供一种基于5G及MR技术的虚实场景操作平台及使用方法，旨在解决现有技术中设备接收的画面不稳定，用户体验效果差的问题。
本发明是这样实现的，一种基于5G及MR技术的虚实场景操作平台，包括实景采集模块、虚景模块、人机交互模块及数据库模块；
所述实景采集模块用于对现实中的场景及实物进行扫描采集并生成图像数据；
所述虚景模块用于处理所述实景采集模块采集数据并拟合成虚拟景象；
所述人机交互模块用于实现用户与操作平台的操作互动；
所述数据库模块用于储存所述实景采集模块及虚景模块传入的数据，还储存了用户操作过程所需要的相关数据信息。
本发明的进一步技术方案是：所述实景采集模块包括摄像头、实景处理模块及采集卡;
所述摄像头用于实时定位和跟踪用户的视点位置及对实景的拍摄；
所述采集卡用于储存所述摄像头拍摄的实景视频，并将实景视频备份至所述数据库模块；
所述实景处理模块设于所述采集卡上，用于对所述摄像头拍摄的数据进行清晰化处理。
本发明的进一步技术方案是：所述虚景模块包括虚拟场景生成模块及虚实场景融合模块；
所述虚拟场景生成模块用于将所述实景采集模块采集的实景生成对应的虚拟景象，将所述实景采集模块采集的实物生成对应的虚拟景象，并对虚拟景象进行渲染处理，且将生成的虚拟景象存入所述数据库模块；
所述虚实场景融合模块用于将所述虚拟场景生成模块中实景生成的对应虚拟景象与实物生成的对应虚拟景象进行融合。
本发明的进一步技术方案是：所述人机交互模块包括头戴式显示设备、力反馈手套及语音交互设备；
所述头戴式显示设备佩戴在用户头部，用于输出经由所述虚实场景融合模块融合后的图像；
所述力反馈手套佩戴在用户手上，用于产生触觉和力度的感知；
所述语音交互设备用于实现用户与操作平台的语音交互。
本发明的另一目的在于提供一种基于5G及MR技术的虚实场景操作平台的使用方法，包括以下步骤：
S1：所述虚实场景操作平台通过MR技术生成操作场景；
S2：操作平台系统与所述人机交互模块通过5G技术通讯，将生成的虚实结合的场景输出至所述人机交互模块，用户通过所述人机交互模块进入操作平台系统；
S3：用户通过所述人机交互模块选择功能模式；
S4：用户通过操作获取数据，得出结论。
本发明的进一步技术方案是：所述步骤S1包括：
S11: 通过所述摄像头对实际场景及实物进行拍摄，传入所述采集卡；
S12：所述采集卡将视频数据传入所述实景处理模块，所述实景处理模块对视频进行清晰化处理，并传入所述虚景模块；
S13：所述虚拟场景生成模块将从所述实景采集模块传输过来的信息分为实景信息及实物信息，将实景信息生成对应的实景图像，将实物信息生成所述数据库模块中匹配的对应虚拟图像；
S14：所述虚实场景融合模块将所述虚拟场景生成模块所生成的实物虚像与实景图像进行融合并将图像输出至所述人机交互模块。
本发明的进一步技术方案是：所述步骤S13包括以下步骤：
S13A：如果所述实景采集模块收集的为实景信息，则所述虚拟场景生成模块直接在头戴式显示设备中显示实景图像；如果所述实景采集模块收集的为实物信息，则进入下一步；
S13B：如果所述实物信息为三维图像，则所述虚拟生成模块从所述数据库模块中进行匹配识别，提取并显示其对应的信息；如果所述实物信息为二维图像，则利用所述数据库模块中存储的器材模板和采集到的二维实物图像进行匹配，识别出二维器材，生成对应的三维虚拟图像并且显示出该对象的相关信息，并将生成的对应三维虚拟图像存储至所述数据库模块。
本发明的进一步技术方案是：所述步骤S3中所述的功能模式包括数据处理模式、帮助模式、演示模式及操作模式，所述帮助模式、演示模式及操作模式可以同时进行。
本发明的进一步技术方案是：所述操作模式包括单人模式及多人模式，所述单人模式包括自主探究模式及既定模式，所述多人模式包括第一人称模式及第三人称模式。
本发明的进一步技术方案是：所述步骤S4包括以下步骤：
S41：用户选择数据处理模式，所述操作平台根据用户需求收集所述操作模式得出的数据，进行整合处理生成对应的数据表格，并将数据表格储存至所述数据库模块；
S42：用户可以根据数据表格自己得出结论，并通过所述语音交互设备输入，也可以选择让所述操作平台自身总结得出结论；
S43：所述操作平台将数据表格及结论输出至所述操作平台系统，用户可以下载及打印。
本发明的有益效果是：通过利用MR技术使得现实的场景可以直接显示在用户的设备上，用户可以体验虚实相结合的操作场景，在该场景中，虚拟和现实对象并存，并且为用户提供自然的交互方式，形成视觉及触觉的感知，使用户更好地进行实验操作，在5G网络的基础下，使得数据的传输更快更稳定，延迟小，失真率低，增强用户体验效果。
附图说明
图1是本发明提供的总流程图。
图2是本发明提供的使用方法中步骤S1的流程图。
图3是本发明提供的使用方法中步骤S13的流程图。
图4是本发明提供的使用方法中步骤S4的流程图。
图5是本发明提供的各个模块间的连接关系图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。
本发明提供了一种基于5G及MR技术的虚实场景操作平台，包括实景采集模块、虚景模块、人机交互模块及数据库模块；
所述实景采集模块用于对现实中的场景及实物进行扫描采集并生成图像数据；
所述虚景模块用于处理所述实景采集模块采集数据并拟合成虚拟景象；
所述人机交互模块用于实现用户与操作平台的操作互动；
所述数据库模块用于储存所述实景采集模块及虚景模块传入的数据，还储存了用户操作过程所需要的相关数据信息。
优先地，所述实景采集模块包括摄像头、实景处理模块及采集卡;
所述摄像头用于实时定位和跟踪用户的视点位置及对实景的拍摄；
所述采集卡用于储存所述摄像头拍摄的实景视频，并将实景视频备份至所述数据库模块；
所述实景处理模块设于所述采集卡上，用于对所述摄像头拍摄的数据进行清晰化处理。
优先地，所述虚景模块包括虚拟场景生成模块及虚实场景融合模块；
所述虚拟场景生成模块用于将所述实景采集模块采集的实景生成对应的虚拟景象，将所述实景采集模块采集的实物生成对应的虚拟景象，并对虚拟景象进行渲染处理，且将生成的虚拟景象存入所述数据库模块；
所述虚实场景融合模块用于将所述虚拟场景生成模块中实景生成的对应虚拟景象与实物生成的对应虚拟景象进行融合。
优先地，所述人机交互模块包括头戴式显示设备、力反馈手套及语音交互设备；
所述头戴式显示设备佩戴在用户头部，用于输出经由所述虚实场景融合模块融合后的图像；
所述力反馈手套佩戴在用户手上，用于产生触觉和力度的感知；
所述语音交互设备用于实现用户与操作平台的语音交互。
本发明提供了一种基于5G及MR技术的虚实场景操作平台的使用方法，包括以下步骤：
S1：所述虚实场景操作平台通过MR技术生成操作场景；
S2：操作平台系统与所述人机交互模块通过5G技术通讯，将生成的虚实结合操作场景输出至所述人机交互模块，用户通过所述人机交互模块进入操作平台系统；
S3：用户通过所述人机交互模块选择功能模式；
S4：用户通过操作获取数据，得出结论。
优先地，所述步骤S1包括：
S11: 通过所述摄像头对实际场景及实物进行拍摄，传入所述采集卡；
S12：所述采集卡将视频数据传入所述实景处理模块，所述实景处理模块对视频进行清晰化处理，并传入所述虚景模块；
S13：所述虚拟场景生成模块将从所述实景采集模块传输过来的信息分为实景信息及实物信息，将实景信息生成对应的实景图像，将实物信息生成所述数据库模块中匹配的对应虚拟图像；
S14：所述虚实场景融合模块将所述虚拟场景生成模块所生成的实物虚像与实景图像进行融合并将图像输出至所述人机交互模块。
优先地，所述步骤S13包括以下步骤：
S13A：如果所述实景采集模块收集的为实景信息，则所述虚拟场景生成模块直接在头戴式显示设备中显示实景图像；如果所述实景采集模块收集的为实物信息，则进入下一步；
S13B：如果所述实物信息为三维图像，则所述虚拟生成模块从所述数据库模块中进行匹配识别，提取并显示其对应的信息；如果所述实物信息为二维图像，则利用所述数据库模块中存储的器材模板和采集到的二维实物图像进行匹配，识别出二维器材，生成对应的三维虚拟图像并且显示出该对象的相关信息，并将生成的对应三维虚拟图像存储至所述数据库模块。
优先地，所述步骤S3中所述的功能模式包括数据处理模式、帮助模式、演示模式及操作模式，所述帮助模式、演示模式及操作模式可以同时进行。
优先地，所述操作模式包括单人模式及多人模式，所述单人模式包括自主探究模式及既定模式，所述多人模式包括第一人称模式及第三人称模式。
优先地，所述步骤S4包括以下步骤：
S41：用户选择数据处理模式，所述操作平台根据用户需求收集所述操作模式得出的数据，进行整合处理生成对应的数据表格，并将数据表格储存至所述数据库模块；
S42：用户可以根据数据表格自己得出结论，并通过所述语音交互设备输入，也可以选择让所述操作平台自身总结得出结论；
S43：所述操作平台将数据表格及结论输出至所述操作平台系统，用户可以下载及打印。
如图1和图5所示，本发明通过MR技术构建了一个虚实结合的操作平台，MR技术是混合现实技术的简称，它将虚拟现实技术(VR)和增强现实技术(AR)进行结合，借助先进的计算机技术、图像处理技术和人机交互技术生成具有虚实融合特征的可视化环境，是真实世界加虚拟世界和数字化信息，考虑到该技术具有海量信息、密集计算的特点，其对移动网络提出了大宽带、低时延的服务需求，相比4G技术，5G技术在数据传输速率、传输时延、网络容量等方面实现飞跃性突破，峰值速率将达到10 Gbit/s;支持超低时延高可靠的服务，时延小于5 ms，所以基于5G网络下的系统可以满足MR密集计算的需求，提升整体的性能和效率。基于这两种技术所搭建的虚实场景操作平台，不仅能给用户提供良好的虚拟空间，而且利用5G技术的快传输性，使得用户在操作过程中不会出现延迟，操作滞后，图像重影模糊的现象，真正带给用户一种真实操作的感觉，提升了用户体验。
如图1所示，使用本发明时，用户需先启动所述操作平台系统，并建立所述操作平台系统与所述人机交互模块的联系，使得两者可以在5G技术下进行通讯，用户可以利用所述实景采集模块的摄像头对操作实景进行拍摄，所述摄像头安装在所述头戴式显示设备上，所拍摄的视频会传输至所述采集卡，再通过实景处理模块对所采集的视频进行清晰化处理，使得后续步骤可以分辨出视频中的具体物件；随后用户可以使用所述摄像头对操作实验中需要用到的物品进行拍摄，因为所述摄像头具有视点追踪功能，它可以捕捉到用户眼睛的视点，对用户视点所聚焦的物品进行拍摄，传输至所述采集卡上处理。其中所述实景采集模块采集到的视频信息及图像信息会存储到所述数据库模块，当下一次采用相同或相似的操作场景或操作物品时，操作系统可以直接进行索引调取。
如图2和图3所示，所述实景采集模块将收集到的信息传输至所述虚景模块，此时所述虚拟场景生成模块会对信息进行分类，如果是操作实景，则通过AR技术将实景直接反映到所述头戴式显示设备，保留了实景的景深及立体感，如果是操作的实物，则通过VR技术进行虚拟生成。如果从用户的视角拍摄到的实物为三维图像，则可以到所述数据库模块中进行匹配识别，在所述数据库模块中事先存储有一些常用的实验器材或操作工具，将匹配到的三维图像在所述头戴式显示设备上显示；如果从用户的视角拍摄到的实物为二维图像，利用所述数据库模块中存储的器材模板和采集到的的图像进行匹配，识别出二维器材，生成对应的三维虚拟实验器材并且显示出该对象的相关信息。最后再通过所述虚实场景融合模块将实景与虚拟图像进行融合，达到虚实结合，在所述头戴式显示设备上呈现。
当图像传输完毕，用户可以通过所述语音交互设备进入系统，此时用户可以带上所述力反馈数据手套，开始在生成的虚实场景中进行操作。此时，用户可以通过语音进行操作选择，通过所述力反馈数据手套实现与场景里的物品交互，实现不同的功能，所述功能模式包括以下几种：
1、帮助模式：由于使用者不一定对操作十分了解，所以用户在操作前可以通过所述帮助模式对整个操作进行一个大致的了解，例如：在进行强酸与金属的反应实验时，可以先了解实验的过程、操作流程及注意事项，需不需要对金属作特殊处理，在反应中是否要添加催化剂等问题，都可以在该模式中找到答案。
2、演示模式：该模式可以调取所述数据库模块中与本次操作相关的视频资料，利用所述头戴式显示设备进行播放，用户根据自己的学习情况，发现操作过程遇到瓶颈时，可随时选择所述演示模式，观看正确的操作现象，反思自己的操作过程，找到正确的方法，顺利完成操作。
3、操作模式：所述操作模式包括所述单人模式及多人模式，当用户选择所述单人模式后，用户可以选择自主探究模式或者既定模式，所述自主探究模式既用户按照自己的方法和步骤进行操作，根据系统提供的正确流程以验证自己的操作是否正确，所述既定模式为用户可以按照系统推荐的流程进行操作。除了可以完成现实中可以完成的基本操作外，在MR实验环境中的学习者可以将任意的操作对象进行放大缩小、组合、拆分、翻转等等操作；在不同的场景中，可以查看操作对象不同的特性功能，例如在物理实验中，可以查看水的密度，不同状态下水的存在形式等；在化学实验中，可以查看到水的化学式、元素组成、与其他物质发生的化学反应等，实现在现实世界中难以实现的功能；
当用户选择所述多人模式后，用户可以选择第一人称模式及第三人称模式，本发明可以提供多个终端设备在同一个操作场景中进行交互操作，所以用户可以选择所述第一人称模式进行实验操作，也可以选择所述第三人称模式从不同视角观察正在进行的实验操作或在自己的视角进行操作，例如在进行解剖实验时，多个实验者可以选择不同的实验视角、实验操作，实验者1选择进行解剖，实验者2选择在实验者1的视角下进行观察，在自己的视角中进行实验操作，其余实验者同样可以选择不同的视角观看或者操作实验等等，不同的实验者可在同一场景中进行交互，所述多人模式可以很好的应用与课室教学，使得多个学生同时进行一个实验。
4、数据处理模式：如图4所示，用户在操作完成后，可以通过语音交互设备将操作过程中的某些数据进行提取，并由操作系统对数据进行整理，生成数据表格，呈现在所述头戴式显示设备上，用户可以根据数据进行分析，得出实验操作结论，并通过所述语音交互设备输入，又或者可以选择由系统根据数据得出相应结论，并将数据表格及操作结论输出至操作系统，用户在推出所述操作模式后，可以自行在系统中下载及打印，同时数据表格及结论也会储存至所述数据库模块，在下次进行相似操作时可以索引调出，进行使用，例如生物实验中的对照组实验，用户在完成对照组1实验后，再进行对照组2的实验，在对照组2实验结束后，可以调出对照组1的数据结论进行对比，可以更快更便捷的得出实验成果。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于5G及MR技术的虚实场景操作平台，其特征在于，包括实景采集模块、虚景模块、人机交互模块及数据库模块；
所述实景采集模块用于对现实中的场景及实物进行扫描采集并生成图像数据；
所述虚景模块用于处理所述实景采集模块采集数据并拟合成虚拟景象；
所述人机交互模块用于实现用户与操作平台的操作互动；
所述数据库模块用于储存所述实景采集模块及虚景模块传入的数据，还储存了用户操作过程所需要的相关数据信息。
2.根据权利要求1所述的基于5G及MR技术的虚实场景操作平台，其特征在于，所述实景采集模块包括摄像头、实景处理模块及采集卡;
所述摄像头用于实时定位和跟踪用户的视点位置及对实景的拍摄；
所述采集卡用于储存所述摄像头拍摄的实景视频，并将实景视频备份至所述数据库模块；
所述实景处理模块设于所述采集卡上，用于对所述摄像头拍摄的数据进行清晰化处理。
3.根据权利要求2所述的基于5G及MR技术的虚实场景操作平台，其特征在于，所述虚景模块包括虚拟场景生成模块及虚实场景融合模块；
所述虚拟场景生成模块用于将所述实景采集模块采集的实景生成对应的虚拟景象，将所述实景采集模块采集的实物生成对应的虚拟景象，并对虚拟景象进行渲染处理，且将生成的虚拟景象存入所述数据库模块；
所述虚实场景融合模块用于将所述虚拟场景生成模块中实景生成的对应虚拟景象与实物生成的对应虚拟景象进行融合。
4.根据权利要求3所述的基于5G及MR技术的虚实场景操作平台，其特征在于，所述人机交互模块包括头戴式显示设备、力反馈手套及语音交互设备；
所述头戴式显示设备佩戴在用户头部，用于输出经由所述虚实场景融合模块融合后的图像；
所述力反馈手套佩戴在用户手上，用于产生触觉和力度的感知；
所述语音交互设备用于实现用户与操作平台的语音交互。
5.一种权利要求1-4所述的基于5G及MR技术的虚实场景操作平台的使用方法，其特征在于，包括以下步骤：
S1：所述虚实场景操作平台通过MR技术生成操作场景；
S2：操作平台系统与所述人机交互模块通过5G技术通讯，将生成的虚实结合的场景输出至所述人机交互模块，用户通过所述人机交互模块进入操作平台系统；
S3：用户通过所述人机交互模块选择功能模式；
S4：用户通过操作获取数据，得出结论。
6.根据权利要求5所述的基于5G及MR技术的虚实场景操作平台的使用方法，其特征在于，所述步骤S1包括：
S11: 通过所述摄像头对实际场景及实物进行拍摄，传入所述采集卡；
S12：所述采集卡将视频数据传入所述实景处理模块，所述实景处理模块对视频进行清晰化处理，并传入所述虚景模块；
S13：所述虚拟场景生成模块将从所述实景采集模块传输过来的信息分为实景信息及实物信息，将实景信息生成对应的实景图像，将实物信息生成所述数据库模块中匹配的对应虚拟图像；
S14：所述虚实场景融合模块将所述虚拟场景生成模块所生成的实物虚像与实景图像进行融合并将图像输出至所述人机交互模块。
7.根据权利要求6所述的基于5G及MR技术的虚实场景操作平台的使用方法，其特征在于，所述步骤S13包括以下步骤：
S13A：如果所述实景采集模块收集的为实景信息，则所述虚拟场景生成模块直接在头戴式显示设备中显示实景图像；如果所述实景采集模块收集的为实物信息，则进入下一步；
S13B：如果所述实物信息为三维图像，则所述虚拟生成模块从所述数据库模块中进行匹配识别，提取并显示其对应的信息；如果所述实物信息为二维图像，则利用所述数据库模块中存储的器材模板和采集到的二维实物图像进行匹配，识别出二维器材，生成对应的三维虚拟图像并且显示出该对象的相关信息，并将生成的对应三维虚拟图像存储至所述数据库模块。
8.根据权利要求7所述的基于5G及MR技术的虚实场景操作平台的使用方法，其特征在于，所述步骤S3中所述的功能模式包括数据处理模式、帮助模式、演示模式及操作模式，所述帮助模式、演示模式及操作模式可以同时进行。
9.根据权利要求8所述的基于5G及MR技术的虚实场景操作平台的使用方法，其特征在于，所述操作模式包括单人模式及多人模式，所述单人模式包括自主探究模式及既定模式，所述多人模式包括第一人称模式及第三人称模式。
10.根据权利要求9所述的基于5G及MR技术的虚实场景操作平台的使用方法，其特征在于，所述步骤S4包括以下步骤：
S41：用户选择数据处理模式，所述操作平台根据用户需求收集所述操作模式得出的数据，进行整合处理生成对应的数据表格，并将数据表格储存至所述数据库模块；
S42：用户可以根据数据表格自己得出结论，并通过所述语音交互设备输入，也可以选择让所述操作平台自身总结得出结论；
S43：所述操作平台将数据表格及结论输出至所述操作平台系统，用户可以下载及打印。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910893111.2A CN110531865A (zh) | 2019-09-20 | 2019-09-20 | 基于5g及mr技术的虚实场景操作平台及使用方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910893111.2A CN110531865A (zh) | 2019-09-20 | 2019-09-20 | 基于5g及mr技术的虚实场景操作平台及使用方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110531865A true CN110531865A (zh) | 2019-12-03 |
Family
ID=68669453
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910893111.2A Pending CN110531865A (zh) | 2019-09-20 | 2019-09-20 | 基于5g及mr技术的虚实场景操作平台及使用方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110531865A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113691779A (zh) * | 2021-08-25 | 2021-11-23 | 济南大学 | 一种ar系统中增强呈现方式的方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105844714A (zh) * | 2016-04-12 | 2016-08-10 | 广州凡拓数字创意科技股份有限公司 | 基于增强现实的场景显示方法及系统 |
| CN106527678A (zh) * | 2016-04-15 | 2017-03-22 | 深圳市原点创新设计有限公司 | 一种混合现实的社交交互设备、系统及头戴式显示设备 |
| US20170301137A1 (en) * | 2016-04-15 | 2017-10-19 | Superd Co., Ltd. | Method, apparatus, and smart wearable device for fusing augmented reality and virtual reality |
| WO2018058601A1 (zh) * | 2016-09-30 | 2018-04-05 | 深圳达闼科技控股有限公司 | 虚拟与现实融合方法、系统和虚拟现实设备 |
| CN210804322U (zh) * | 2019-09-20 | 2020-06-19 | 深圳市凯达尔科技实业有限公司 | 基于5g及mr技术的虚实场景操作平台 |
-
2019
- 2019-09-20 CN CN201910893111.2A patent/CN110531865A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105844714A (zh) * | 2016-04-12 | 2016-08-10 | 广州凡拓数字创意科技股份有限公司 | 基于增强现实的场景显示方法及系统 |
| CN106527678A (zh) * | 2016-04-15 | 2017-03-22 | 深圳市原点创新设计有限公司 | 一种混合现实的社交交互设备、系统及头戴式显示设备 |
| US20170301137A1 (en) * | 2016-04-15 | 2017-10-19 | Superd Co., Ltd. | Method, apparatus, and smart wearable device for fusing augmented reality and virtual reality |
| WO2018058601A1 (zh) * | 2016-09-30 | 2018-04-05 | 深圳达闼科技控股有限公司 | 虚拟与现实融合方法、系统和虚拟现实设备 |
| CN210804322U (zh) * | 2019-09-20 | 2020-06-19 | 深圳市凯达尔科技实业有限公司 | 基于5g及mr技术的虚实场景操作平台 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113691779A (zh) * | 2021-08-25 | 2021-11-23 | 济南大学 | 一种ar系统中增强呈现方式的方法 |
| CN113691779B (zh) * | 2021-08-25 | 2024-04-05 | 济南大学 | 一种ar系统中增强呈现方式的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107066082B (zh) | 显示方法和装置 | |
| CN108389249B (zh) | 一种多兼容性的vr/ar空间教室及其构建方法 | |
| EP1814101A1 (en) | Personal device with image-acquisition functions for the application of augmented reality resources and corresponding method | |
| CN108805766B (zh) | 一种ar体感沉浸式教学系统和方法 | |
| WO2021106803A1 (ja) | 授業システム、視聴端末、情報処理方法及びプログラム | |
| CN104731338B (zh) | 一种基于封闭式的增强虚拟现实系统及方法 | |
| Broy et al. | Framebox and mirrorbox: Tools and guidelines to support designers in prototyping interfaces for 3d displays | |
| CN106227327B (zh) | 一种显示转换方法、装置及终端设备 | |
| CN112071130A (zh) | 基于vr技术的知识教育系统及教育方法 | |
| Mukai et al. | Effects of stereoscopic 3D contents on the process of learning to build a handmade PC | |
| CN108492633A (zh) | 一种利用ar实现儿童辅助教育的方法 | |
| CN110531865A (zh) | 基于5g及mr技术的虚实场景操作平台及使用方法 | |
| CN210804322U (zh) | 基于5g及mr技术的虚实场景操作平台 | |
| CN112272328A (zh) | 弹幕推荐方法及相关装置 | |
| CN111881807A (zh) | 基于人脸建模及表情追踪的vr会议控制系统及方法 | |
| CN117011497A (zh) | 一种ar场景下基于ai通用助手的远程多方视频交互方法 | |
| CN114419293B (zh) | 一种增强现实的数据处理方法、装置及设备 | |
| Nakasugi et al. | Past viewer: Development of wearable learning system for history education | |
| CN213210972U (zh) | 一种虚拟现实交互操作系统 | |
| CN210072615U (zh) | 一种沉浸式教练系统及可穿戴设备 | |
| CN113570920A (zh) | 一种交互式远程教学系统及方法 | |
| CN112087619A (zh) | 一种交互式vr影像的处理方法 | |
| CN112423035A (zh) | 一种在vr头显中观看全景视频自动提取用户视觉关注点的方法 | |
| JP2021086606A (ja) | 授業システム、視聴端末、情報処理方法及びプログラム | |
| Petkov | Educational virtual reality through a multiview autostereoscopic 3D display |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |