CN108037822B - 一种基于虚拟现实的3d培训系统 - Google Patents

一种基于虚拟现实的3d培训系统 Download PDF

Info

Publication number
CN108037822B
CN108037822B CN201711178279.2A CN201711178279A CN108037822B CN 108037822 B CN108037822 B CN 108037822B CN 201711178279 A CN201711178279 A CN 201711178279A CN 108037822 B CN108037822 B CN 108037822B
Authority
CN
China
Prior art keywords
scene
frame buffer
database
server
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711178279.2A
Other languages
English (en)
Other versions
CN108037822A (zh
Inventor
李�荣
安兆勇
申海福
王雪婷
白万建
柏峻峰
李冬
常英贤
李婷
张营
张新宇
周佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Shandong Electric Power Company Zoucheng Power Supply Co
State Grid Corp of China SGCC
State Grid Shandong Electric Power Co Ltd
TaiAn Power Supply Co of State Grid Shandong Electric Power Co Ltd
Original Assignee
State Grid Shandong Electric Power Company Zoucheng Power Supply Co
State Grid Corp of China SGCC
State Grid Shandong Electric Power Co Ltd
TaiAn Power Supply Co of State Grid Shandong Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Shandong Electric Power Company Zoucheng Power Supply Co, State Grid Corp of China SGCC, State Grid Shandong Electric Power Co Ltd, TaiAn Power Supply Co of State Grid Shandong Electric Power Co Ltd filed Critical State Grid Shandong Electric Power Company Zoucheng Power Supply Co
Priority to CN201711178279.2A priority Critical patent/CN108037822B/zh
Publication of CN108037822A publication Critical patent/CN108037822A/zh
Application granted granted Critical
Publication of CN108037822B publication Critical patent/CN108037822B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/3332Query translation
    • G06F16/3334Selection or weighting of terms from queries, including natural language queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/338Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/131Protocols for games, networked simulations or virtual reality
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种基于虚拟现实的3D培训系统,包括:服务器,以及与服务器通信连接的场景数据库、人机虚拟交互终端;所述场景数据库用于存储可交互的包括多个操作区域的3D场景,每个操作区域对应预设操作和交互触发ID;所述人机虚拟交互终端用于载入所述3D场景并和用户交互,当用户在3D场景操作区域中进行的操作与该操作区域中预设操作不同时,所述交互终端将交互触发ID发送给服务器;所述服务器进一步包括:第一数据库、第二数据库、关联数据库。

Description

一种基于虚拟现实的3D培训系统
技术领域
本发明涉及计算机领域,特别涉及基于虚拟现实的培训系统。
背景技术
培训是人力资源的重要工作,对于某些需要动手操作的专业技能培训,传统的方式只能采取假设条件的试题来测试人员的理论理解能力,无法确认测试人员的真实操作水平。
近年来,虚拟现实(VR)技术得到了快速发展,某些虚拟现实设备不仅能够提供3D环境的显示,而且能够提供3D环境中的人机交互。这为在培训过程中测试的人员能力情况提供了技术基础。本发明希望使用虚拟现实技术解决当前培训过程中存在的缺陷,从而提供一种基于虚拟现实的3D培训系统。
发明内容
本发明的目的在于提供一种基于虚拟现实的3D培训系统,包括:服务器,以及与服务器通信连接的场景数据库、人机虚拟交互终端;
所述场景数据库用于存储可交互的包括多个操作区域的3D场景,每个操作区域对应预设操作和交互触发ID;
所述人机虚拟交互终端用于载入所述3D场景并和用户交互,当用户在3D场景操作区域中进行的操作与该操作区域中预设操作不同时,所述交互终端将交互触发ID发送给服务器;
所述服务器进一步包括:第一数据库、第二数据库、关联数据库;
所述第一数据库存储有交互触发ID和对应的索引词向量IW={IW1,IW2,……,IWx};
所述第二数据库存储有多段文本和对应的关键词向量KW={KW1,KW2,……KWy},以及KW在该段文本中出现的频率向量B={B1,B2,……,By};
所述关联数据库存储第一词语、第二词语、以及第一、二词语的关联系数;
所述服务器接收到交互终端发送的交互触发ID后,在第一数据库中检索获得对应的索引词向量IW={IW1,IW2,……,IWx},并计算IW和第二数据库中存储的多段文本中每段文本的相关度
Figure BDA0001478639310000011
如果R>D,那么将该段文本作为服务器从第二数据库中获得的检索结果;
其中,n为IW和该段文本对应的KW中相同的和具有关联关系的词的数量;当IWi与KWi相同时,Ni的取值为1,当IWi与KWi为关联数据库中的第一、二词语时,Ni的取值为第一、二词语的关联系数;D为预设阈值。
在完成本发明的过程中,本发明所要解决的其他技术问题以及取得的其他技术效果将通过具体实施方式中的技术方案的细节予以展现。
附图说明
图1是本发明的第一实施例的系统框图;
图2是本发明的第一实施例的组合缓存的示意图;
图3是本发明的第二实施例的系统框图;
图4是本发明的第二实施例的显示终端上显示组合视频的示意图;
图5是本发明的第二实施例的从显示终端上显示组合视频的一个示意图;
图6是本发明的第二实施例的从显示终端上显示组合视频的另一个示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,将结合附图对本发明作进一步地详细描述。这种描述是通过示例而非限制的方式介绍了与本发明的原理相一致的具体实施方式,这些实施方式的描述是足够详细的,以使得本领域技术人员能够实践本发明,在不脱离本发明的范围和精神的情况下可以使用其他实施方式并且可以改变和/或替换各要素的结构。因此,不应当从限制性意义上来理解以下的详细描述。
如图1所示,本发明的第一实施例提供了一种基于虚拟现实的3D培训系统,包括:服务器,以及与服务器通信连接的场景数据库、人机虚拟交互终端和全景摄像机。
根据本发明,场景数据库用于存储可交互的包括多个操作区域的3D场景,每个操作区域对应预设操作和交互触发ID。人机虚拟交互终端用于载入3D场景并和用户交互,当用户在3D场景操作区域中进行的操作与该操作区域中预设操作不同(例如操作不符合规范)时,交互终端将交互触发ID发送给服务器。
根据本发明,全景摄像机用于拍摄全景影像。例如,用户装备有交互终端的虚拟现实设备,并且实际操作交互终端的全景影像。
根据本发明,交互终端包括能够进行人机交互的虚拟现实设备,使得用户能够操作交互终端从而完成3D场景中的人机交互,特定情况下向服务器发送交互触发ID,并且获得虚拟现实设备中呈现的3D场景帧。虚拟现实设备可以为眼镜式,也可以为头盔式,本发明没有试图对虚拟现实设备的形状、制式、规格等方面进行限定。虚拟现实设备能够允许获得呈现的3D场景,最简单的,通过3D场景录屏而获取的呈现的3D场景帧,当然也可以根据其他现有技术的方式获得呈现的3D场景帧,本发明并不对虚拟场景帧的获取方式进行范围限制。
根据本发明,服务器进一步包括:第一数据库、第二数据库、关联数据库。第一数据库存储有交互触发ID和对应的索引词向量IW={IW1,IW2,……,IWx}。第二数据库存储有多段文本(例如每段文本为对应一道文本试题或者记载相关知识点的文本)和对应的关键词向量KW={KW1,KW2,……KWy},以及KW在该段文本中出现的频率向量B={B1,B2,……,By}。例如第二数据库中可能存储有某段文本“电气设备发生火灾时,可带电使用的灭火器是干粉灭火器、二氧化碳灭火器、四氯化碳灭火器”,其中提取的关键词向量KW:{电气设备,火灾,带电,灭火器},对应的频率向量B:{1,1,1,4},其表示关键词“电气设备”、“火灾”、“带电”出现的次数均为1次,“灭火器”出现的次数为4次。
关联数据库存储第一词语、第二词语、以及第一、二词语的关联系数。例如关联数据库中可能存储有某条记录:第一词语“电线”、第二词语“强电”、关联系数“0.8”,意味着“电线”和“强电”是具有密切关系的词,且具体的关联系数为0.8。显然,关联系数的取值范围小于1。
根据本发明的一个实施例,服务器接收到交互终端发送的交互触发ID后,在第一数据库中检索获得对应的索引词向量IW={IW1,IW2,……,IWx},并计算IW和第二数据库中存储的多段文本中每段文本的相关度
Figure BDA0001478639310000031
其中,n为IW和该段文本对应的KW中相同的和具有关联关系的词的数量;当IWi与KWi相同时,Ni的取值为1,当IWi与KWi为关联数据库中的第一、二词语时,Ni为第一、二词语的关联系数;D为预设阈值。如果R>D,那么将该段文本作为服务器从第二数据库中获得的检索结果,否则不作为检索结果。
根据本发明的另一实施例,相关度
Figure BDA0001478639310000032
其中,n、Ni和Bi的含义与前述实施例的定义一致,Ai为索引词IWi在第二数据库中出现的次数的倒数。
根据本发明,检索结果被传送给用户,例如通过E-Mail的方式发送到用户的电子邮箱,以供用户对不规范的操作进行知识点的补充学习。
进一步的,服务器还在检索结果中,随机选择Z=F(K+1)段文本(即Z道试题或Z个知识点)并发送给用户;其中,F是斐波那契数列,K为用户在3D场景操作区域中进行的操作与该操作区域中预设操作不同的次数。即,用户在同一操作区域不符合操作规范的次数越多,那么向用户发送的试题数量或知识点数量就惩罚性的越多。
根据本发明,服务器用于根据交互终端获得的3D场景帧和全景摄像机拍摄的全景影像形成组合视频,以方便用户完成操作后回看。组合视频可以为两个独立的视频,其一为通过3D录屏方式获取的交互终端的3D场景视频,其二为全景影像。但是,这种组合视频存在缺陷,需要显示终端同时播放两个视频,在显示终端不支持同时播放的情况下,无法快速同时获取两个视频中的内容。及时显示终端支持两个视频的同时播放,也会由于播放顺序的些许差别,导致两个视频的内容不同步。
为克服上述问题,本发明的服务器进一步包括处理器,处理器用于创建组合帧缓存,组合帧缓存包括第一帧缓存和第二帧缓存;第一帧缓存的分辨率与3D场景帧的分辨率相同,用于接收3D场景帧;第二帧缓存用于接收全景图像。其中,帧缓存为服务器在内存或显存(优选显存)中开辟的一块缓存,用户逐帧缓存3D场景帧和全景图像,从而形成3D场景和全景图像的组合帧,每个组合帧叠加起来即能够得到组合视频。显然,组合视频为单一的视频,能够被显示终端所播放,且不需要担心两个独立视频之间的内容不同步。
根据本发明,第一帧缓存的分辨率为X1*Y1,第二帧缓存的分辨率为X2*Y1,3D场景帧的分辨率为X1*Y1,全景影像的分辨率为Xi*Yi。用户一般站立或者坐着操作虚拟现实设备,因此,全景图像的分辨率中通常情况下Xi<Yi,基于这种考虑,优选的将第二帧缓存的分辨率设置为X2<Y1。
根据本发明,服务器(或者服务器中的处理器)执行计算机程序以实现以下步骤:
步骤S100,将3D场景帧直接写入第一帧缓存;
步骤S200,如果Xi≤X2且Yi≤Y2,那么将全景图像写入第二帧缓存;否则,继续执行步骤S300和步骤S400;
步骤S300,如果
Figure BDA0001478639310000041
那么将全景图像缩小后写入第二帧缓存;
步骤S400,如果
Figure BDA0001478639310000042
那么将全景图像缩小并裁剪后写入第二帧缓存。
通过步骤S100-S400,保证了组合视频良好的呈现效果。
本发明的第二实施例以第一实施例为基础,与第一实施例中相同的内容不再赘述,只是进一步补充第二实施例的特点。
根据本发明,如图3所示,培训系统还包括显示终端,用于向另一用户(例如评定者)显示组合视频,以使得本发明的培训系统能够对用户的操作能力进行实时考核。显示终端可以位于服务器本地,也可以通过互联网连接到服务器。
实施例1
在较为简单的一种实现方式中,3D培训系统所包括的交互终端、全景摄像机和显示终端都是定制的,以使得各设备的分辨率互相适应。
具体的,交互终端的分辨率设置为X1*Y1,其通过例如录屏等方式获得的3D场景帧的分辨率即为X1*Y1,存储3D场景帧的第一帧缓存的分辨率也相应的设置为X1*Y1即可;全景摄像机的分辨率设置为X2*Y2,其拍摄的全景图像的分辨率即为X2*Y2,存储全景图像的第二帧缓存的分辨率也相应的设置为X2*Y2即可。
进一步的,如图4所示,可以将3D场景帧显示在显示终端的左边、全景图像显示在显示终端的右边。在定制交互终端和全景摄像机的情况下,使得Y1=Y2=Y,即交互终端和全景摄像机在Y方向的分辨率设置为相同的分辨率。
这样,包括第一、二帧缓存的组合帧缓存的分辨率为(X1+X2)*Y,组合视频的分辨率即为(X1+X2)*Y,定制的显示终端的分辨率也为(X1+X2)*Y,从而使得组合视频在显示终端上的呈现如图4的显示效果。
作为优选的一种方式,显示终端(组合帧缓存)X、Y方向的分辨率比值为64:27,即采用超宽屏的显示终端;交互终端(第一帧缓存)X、Y方向的分辨率比值为16:9,相当于一般宽屏显示的分辨率;全景摄像机(第二帧缓存)X、Y方向的分辨率比值为5:9,相当于一般竖屏显示的分辨率。
实施例2
实施例1中,固定分辨率的设置确实简单便捷,但是需要对硬件设备进行定制,也产生了诸多不便。例如,显示终端的性能要求并不高,本可以由普通的PC甚至手机实现,而且许多单位已经拥有冗余的PC,且多数人都有手机,但是由于分辨率的限制,却只能另行购置定制的显示终端,造成已有资源的浪费。为了克服上述缺陷,在实施例2中提出以下方案:
显示终端至少包括一个主显示终端和至少一个(一般是多个)从显示终端,第二帧缓存至少包括一个主第二帧缓存和至少一个(一般是多个)从第二帧缓存,组合视频(即需要被存储到视频数据库中的组合视频)根据第一帧缓存和主第二帧缓存中存储的帧确定,从组合视频(不需要存储到视频数据库中的组合视频)根据第一帧缓存和从第二帧缓存确定,并在对应的从显示终端上显示。
这样,除了固定的一台主显示终端外,其他的显示终端均不需要定制,大幅度提高了使用的灵活性。
根据本发明,主第二帧缓存的分辨率与全景影像的分辨率相同;第一帧缓存和主第二帧缓存的分辨率和显示终端的分辨率之间存在以下关系:
Xp=n*(X1+X2)
Yp=n*Y1=n*Y2
其中Xp*Yp为主显示终端的分辨率,X1*Y1为第一帧缓存的分辨率,X2*Y2为主第二帧缓存的分辨率;n为缩放系数;n取值可以大于1,也可以小于1,优选等于1。组合帧缓存的分辨率为(X1+X2)*Y1。
根据本发明,根据交互终端获得的3D场景帧和全景摄像机拍摄的全景影像形成组合视频具体包括:将虚拟现实设备中呈现的3D场景帧映射到第一帧缓存,将全景影像映射到第二帧缓存。“映射”意味着可以缩放,以兼容全景摄像机和交互终端的不同分辨率。
优选的,交互终端、全景摄像机在X、Y方向的分辨率被设置成满足实施例1所示的分辨率关系,从而可以将虚拟现实设备中呈现的3D场景帧1:1映射到第一帧缓存,将全景影像1:1映射到第二帧缓存。
根据本发明,至少一个显示终端还包括至少一个从显示终端,第二帧缓存还包括至少一个从第二帧缓存,处理器根据第一帧缓存和从第二帧缓存在对应的从显示终端上显示视频;从第二帧缓存的分辨率根据第一帧缓存的分辨率、对应的从显示终端的分辨率和全景影像的分辨率获得。
为了在从显示终端上同时兼容可能出现具有非定制分辨率的全景摄像机、交互终端和从显示终端,以在从显示终端上获得理想的显示效果。
根据本发明,第一帧缓存的分辨率仍然等同于3D场景帧的分辨率,以保障第一用户的操作被无损失的呈现到显示终端中。在此基础上,服务器还包括存储介质,存储介质中存储有可执行程序,对于任何一个从第二帧缓存,处理器执行可执行程序以实现以下步骤,从而获得从第二帧缓存的分辨率:
步骤S10,如果
Figure BDA0001478639310000061
那么设置
Y2=Y1
Figure BDA0001478639310000062
步骤S20,如果
Figure BDA0001478639310000063
那么设置
X2=X1
Figure BDA0001478639310000071
步骤S30,如果
Figure BDA0001478639310000075
那么设置
Y2=Y1
Figure BDA0001478639310000073
步骤S40,如果
Figure BDA0001478639310000074
那么
Y2=Y1
X2=(D1-1)*X1
步骤S50,设置X2=Xq,Y2=Yq。
其中,X1*Y1为第一帧缓存的分辨率、X2*Y2分别为从第二帧缓存的分辨率,Xq*Yq为全景影像的分辨率,Xp*Yp为对应的从显示终端的分辨率;D1、D2为系数,且D2<D1。
优选的,其中D1取值为1.3,D2的取值为1。
其中,步骤S10和步骤S20中,由于判断显示终端能够“容纳”下缩放后3D场景帧和全景图像,因此将从第二帧缓存进行缩放,使之在X或Y方向与第一帧缓存匹配,从而能够完整的与第一帧缓存拼接。
步骤S30中,判断显示终端不能够“容纳”下缩放后的3D场景帧和全景图像,但是显示终端在X方向上的分辨率较大,因此对从全景图像(的分辨率)进行剪裁形成从第二帧缓存,即牺牲从第二帧缓存的部分分辨率,但不浪费显示终端的显示空间,使得显示终端能够“容纳”下组合帧缓存。其效果示意图如图5所示,即全景相机拍摄的图像在X方向如虚线框所示,但是从第二帧缓存的分辨率设置为虚线框内部的实线框所示,虚实线之间的部分为被剪裁的部分。
步骤S40中,判断显示终端不能够“容纳”下缩放后的3D场景帧和全景图像,但是显示终端在X方向上的分辨率不够大,因此对从全景图像(的分辨率)进行剪裁形成从第二帧缓存,即牺牲从第二帧缓存的部分分辨率,也牺牲显示终端的部分显示空间。其效果示意图如图6所示,即全景相机拍摄的图像在X方向如虚线框所示,但是从第二帧缓存的分辨率设置为虚线框内部的实线框所示,虚实线之间的部分为被剪裁的部分。同时,与图4所示的显示终端相比,图6所示的显示终端牺牲了上下两端的部分显示空间。
根据本发明的一个方面,对于Xp<Yp的情况,也可参照步骤S30和步骤S40进行处理,从而达到在显示终端使用竖屏也能起到相应显示效果的情况。但是,根据实际的操作习惯,横屏的使用频率远远超过竖屏,因此优选的,不对竖屏进行进一步的处理,以简化处理方式。手机和PAD等移动终端虽然可以使用竖屏,但是根据本发明,当服务器检测到连接到服务器的显示终端为手机或移动终端时,如果不满足步骤S20的条件,仍然按照横屏的情况进行显示。
在步骤S50,在不满足步骤S10-S40的判断条件时,进行兜底处理,将全景图像的分辨率作为从第二帧缓存的分辨率。
根据本发明,显示的视频具体包括:将虚拟现实设备中呈现的3D场景帧1:1映射到第一帧缓存,将全景影像1:1映射或采样映射到从第二帧缓存,其采样率根据步骤S10-步骤S40确定,并根据第一帧缓存和从第二帧缓存中存储的帧形成对应的从显示终端上显示的培训视频。
根据本发明,如果符合步骤S30的判断条件,在将全景影响采样映射到第二帧缓存之前,还对全景影像进行剪裁,剪裁后,全景影像各帧的各像素的横坐标均满足以下条件以达到图3所示的显示效果:
Figure BDA0001478639310000081
如果符合步骤S40的判断条件,在将全景影响采样映射到第二帧缓存之前,还对全景影像进行剪裁,剪裁后,全景影像各帧的各像素的横坐标均满足以下条件以达到图4所示的显示效果:
Figure BDA0001478639310000082
尽管本发明主要描述了具体实施例和应用,但本领域技术人员应理解本发明并不局限于此。根据本发明公开的方法和系统,对于本领域技术人员明显的各种修改、变化以及改变均不背离本发明的精神和范围。

Claims (8)

1.一种基于虚拟现实的3D培训系统,其特征在于包括:服务器,以及与服务器通信连接的场景数据库、人机虚拟交互终端;
所述场景数据库用于存储可交互的包括多个操作区域的3D场景,每个操作区域对应预设操作和交互触发ID;
所述人机虚拟交互终端用于载入所述3D场景并和用户交互,当用户在3D场景操作区域中进行的操作与该操作区域中预设操作不同时,所述交互终端将交互触发ID发送给服务器;
所述服务器进一步包括:第一数据库、第二数据库、关联数据库;
所述第一数据库存储有交互触发ID和对应的索引词向量IW={IW1,IW2,……,IWx};
所述第二数据库存储有多段文本和对应的关键词向量KW={KW1,KW2,……KWy},以及KW在该段文本中出现的频率向量B={B1,B2,……,By};
所述关联数据库存储第一词语、第二词语、以及第一、二词语的关联系数;
所述服务器接收到交互终端发送的交互触发ID后,在第一数据库中检索获得对应的索引词向量IW={IW1,IW2,……,IWx},并计算IW和第二数据库中存储的多段文本中每段文本的相关度
Figure FDA0003953488440000011
如果R>D,那么将该段文本作为服务器从第二数据库中获得的检索结果发送给用户;
其中,n为IW和该段文本对应的KW中相同的和具有关联关系的词的数量;当IWi与KWi相同时,Ni的取值为1,当IWi与KWi为关联数据库中的第一、二词语时,Ni为第一、二词语的关联系数;D为预设阈值。
2.根据权利要求1所述的系统,其特征在于,所述第二数据库中的每段文本对应一道试题。
3.根据权利要求2所述的系统,其特征在于,所述服务器还在所述检索结果中,随机选择Z=F(K+1)段文本,并发送给用户;其中,F是斐波那契数列,K为用户在3D场景操作区域中进行的操作与该操作区域中预设操作不同的次数。
4.根据权利要求3所述的系统,其特征在于,所述系统还包括用于拍摄全景影像的全景摄像机;所述交互终端还用于获得3D场景的场景帧;所述服务器还用于根据3D场景帧和全景影像形成组合视频。
5.根据权利要求4所述的系统,其特征在于,所述服务器还创建组合帧缓存,所述组合帧缓存包括接收3D场景帧的第一帧缓存和接收全景图像的第二帧缓存;所述第一帧缓存的分辨率为X1*Y1,所述第二帧缓存的分辨率为X2*Y1,所述3D场景帧的分辨率为X1*Y1,所述全景影像的分辨率为Xi*Yi。
6.根据权利要求5所述的系统,其特征在于,X2<Y1。
7.根据权利要求6所述的系统,其特征在于,所述服务器执行计算机程序以实现以下步骤:
步骤S100,将3D场景帧直接写入第一帧缓存;
步骤S200,如果Xi≤X2且Yi≤Y2,那么将全景图像写入第二帧缓存;否则,继续执行步骤S300和步骤S400;
步骤S300,如果
Figure FDA0003953488440000021
那么将全景图像缩小后写入第二帧缓存;
步骤S400,如果
Figure FDA0003953488440000022
那么将全景图像缩小并裁剪后写入第二帧缓存。
8.根据权利要求7所述的系统,其特征在于,所述组合帧缓存中的内容构成所述组合视频。
CN201711178279.2A 2017-11-23 2017-11-23 一种基于虚拟现实的3d培训系统 Active CN108037822B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711178279.2A CN108037822B (zh) 2017-11-23 2017-11-23 一种基于虚拟现实的3d培训系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711178279.2A CN108037822B (zh) 2017-11-23 2017-11-23 一种基于虚拟现实的3d培训系统

Publications (2)

Publication Number Publication Date
CN108037822A CN108037822A (zh) 2018-05-15
CN108037822B true CN108037822B (zh) 2023-05-26

Family

ID=62093844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711178279.2A Active CN108037822B (zh) 2017-11-23 2017-11-23 一种基于虚拟现实的3d培训系统

Country Status (1)

Country Link
CN (1) CN108037822B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110148331A (zh) * 2019-05-17 2019-08-20 杭州登岸网络科技发展有限公司 一种基于虚拟现实的教学培训平台
CN110675482B (zh) * 2019-08-28 2023-05-19 长春理工大学 虚拟三维场景的球面斐波那契像素点阵全景画面渲染与显示方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101174332A (zh) * 2007-10-29 2008-05-07 张建中 一种将真实世界实时场景与虚拟现实场景结合交互的方法和装置以及系统
CN102157011A (zh) * 2010-12-10 2011-08-17 北京大学 利用移动拍摄设备进行动态纹理采集及虚实融合的方法
CN104111861A (zh) * 2014-07-07 2014-10-22 中国人民解放军军械工程学院 一种无人机模拟训练系统及其控制方法
CN105405335A (zh) * 2015-12-28 2016-03-16 西安科技大学 一种煤矿综采工作面远程控制虚拟培训系统
CN106095105A (zh) * 2016-06-21 2016-11-09 西南交通大学 一种牵引变电所值班人员虚拟沉浸式培训仿真系统和方法
CN106157359A (zh) * 2015-04-23 2016-11-23 中国科学院宁波材料技术与工程研究所 一种虚拟场景体验系统的设计方法
CN106648048A (zh) * 2016-09-18 2017-05-10 三峡大学 一种基于虚拟现实的外语学习方法与系统
CN107300970A (zh) * 2017-06-05 2017-10-27 百度在线网络技术(北京)有限公司 虚拟现实交互方法和装置
CN107331220A (zh) * 2017-09-01 2017-11-07 国网辽宁省电力有限公司锦州供电公司 基于增强现实的变电设备运维仿真培训系统和方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101174332A (zh) * 2007-10-29 2008-05-07 张建中 一种将真实世界实时场景与虚拟现实场景结合交互的方法和装置以及系统
CN102157011A (zh) * 2010-12-10 2011-08-17 北京大学 利用移动拍摄设备进行动态纹理采集及虚实融合的方法
CN104111861A (zh) * 2014-07-07 2014-10-22 中国人民解放军军械工程学院 一种无人机模拟训练系统及其控制方法
CN106157359A (zh) * 2015-04-23 2016-11-23 中国科学院宁波材料技术与工程研究所 一种虚拟场景体验系统的设计方法
CN105405335A (zh) * 2015-12-28 2016-03-16 西安科技大学 一种煤矿综采工作面远程控制虚拟培训系统
CN106095105A (zh) * 2016-06-21 2016-11-09 西南交通大学 一种牵引变电所值班人员虚拟沉浸式培训仿真系统和方法
CN106648048A (zh) * 2016-09-18 2017-05-10 三峡大学 一种基于虚拟现实的外语学习方法与系统
CN107300970A (zh) * 2017-06-05 2017-10-27 百度在线网络技术(北京)有限公司 虚拟现实交互方法和装置
CN107331220A (zh) * 2017-09-01 2017-11-07 国网辽宁省电力有限公司锦州供电公司 基于增强现实的变电设备运维仿真培训系统和方法

Also Published As

Publication number Publication date
CN108037822A (zh) 2018-05-15

Similar Documents

Publication Publication Date Title
WO2017193576A1 (zh) 一种视频分辨率的适应方法、装置及虚拟现实终端
CN107040794A (zh) 视频播放方法、服务器、虚拟现实设备以及全景虚拟现实播放系统
CN112954450A (zh) 视频处理方法、装置、电子设备和存储介质
CN107371062B (zh) 视频画面自动缩放的方法
WO2020029178A1 (zh) 全景视频中虚拟对象的光影渲染方法、装置及电子设备
CN103959220B (zh) 一种实现增强现实的方法及用户设备
US11921971B2 (en) Live broadcasting recording equipment, live broadcasting recording system, and live broadcasting recording method
CN107491934B (zh) 一种基于虚拟现实的3d面试系统
CN108037822B (zh) 一种基于虚拟现实的3d培训系统
WO2025139965A1 (zh) 交互方法、装置、设备和存储介质
CN111182338A (zh) 一种视频处理方法、装置、存储介质及电子设备
CN104301657A (zh) 一种会议电视终端及其辅流数据接入方法
CN114245228A (zh) 页面链接投放方法、装置及电子设备
CN110662001A (zh) 一种视频投影显示方法、装置及存储介质
CN111640191A (zh) 基于vr一体机的投录屏画面采集处理方法
CN114449303A (zh) 直播画面生成方法和装置、存储介质及电子装置
CN110913118A (zh) 视频处理方法、装置及存储介质
CN108920598B (zh) 全景图浏览方法、装置、终端设备、服务器及存储介质
CN114820660B (zh) 图像处理方法、装置、电子设备、存储介质及程序产品
CN113938713A (zh) 一种多路超高清视频多视角漫游播放方法
US10440266B2 (en) Display apparatus and method for generating capture image
CN112612435A (zh) 信息处理方法、装置、设备及存储介质
CN118138819B (zh) 一体机处理方法及装置、一体机及存储介质
CN112306222B (zh) 一种增强现实方法、装置、设备及存储介质
WO2023207516A1 (zh) 直播视频处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant