CN209357430U - 博物馆移动展教交互系统 - Google Patents

Abstract

本实用新型公开了一种博物馆移动展教交互系统，属于博物馆展教领域，其技术方案要点是包括VR显示模块、场景生成模块、真实世界信息采集模块和视频合成模块，VR显示模块包括VR头显和固定连接于VR头显上的头部追踪器，头部追踪器检测当前穿戴者的头部位置信息并输出，场景生成模块根据头部位置信息输出虚拟场景图像信息，真实世界信息采集模块输出真实世界信息，视频合成模块根据上述信息输出虚拟三维图像，VR头显将虚拟三维图像显示给参观人员，解决了参观人员四处移动时VR头显的区域画面形成困难的问题，达到了对参观人员进行定位来向VR头显输入虚拟三维图像的效果。

Description

博物馆移动展教交互系统

技术领域

本实用新型涉及博物馆展教领域，特别涉及一种博物馆移动展教交互系统。

背景技术

现在越来越多的人愿意去博物馆参观学习，并且博物馆的展示方式也越来越多样，人们除了知道文物的尺寸、年代等基本信息后，其实最关心的是它在历史长河中流传下来的经典故事，以及它的流传、保护历程等。现在不少博物馆采用三维投影技术或VR实景技术来为参观人员提供更加真实、更加立体的参观体验，使参观人员能够有更多的兴趣去了解一些晦涩难懂的自然科学知识。

现有技术可参考申请公告号为CN108401183A的中国发明专利，其公开了一种VR全景视频显示的实现方法，方法：VR显示模块在接收到VR全景视频显示指令后，确定用户眼睛的观看方向信息；并上报给VR服务器；VR服务器根据观看方向信息计算相应的矩形画面与观看方向信息对应的区域；获取所述区域的画面，将所述画面传输至VR显示模块；VR显示模块根据观看方向信息将画面渲染成相应方位的弧状画面，计算弧状画面中用户所能观看到的第一区域；获取弧状画面中第一区域的第一画面，对第一画面进行显示。该发明还公开了VR全景视频显示的实现系统和VR服务器。

如果使用上述VR实景技术为参观人员展示展品，由于参观人员在展厅内会四处走动，VR服务器难以对VR显示模块进行定位，使得区域画面的形成会比较困难，现实感不强。

实用新型内容

本实用新型的目的是提供一种博物馆移动展教交互系统，对参观人员进行定位来向VR头显输入虚拟三维图像。

本实用新型的上述技术目的是通过以下技术方案得以实现的：

一种博物馆移动展教交互系统，包括：

VR显示模块，所述VR显示模块包括能够穿戴于参观人员身上的VR头显和固定连接于VR头显上的头部跟踪器，VR头显内设有能够为穿戴者显示弧形立体图像的显示器，头部跟踪器能够检测当前穿戴者的头部位置信息并将头部位置信息输出；

场景生成模块，所述场景生成模块连接VR显示模块并且接收VR显示模块输出的头部位置信息，场景生成模块根据头部位置信息输出虚拟场景图像信息；

真实世界信息采集模块，所述真实世界信息采集模块采集真实世界信息并输出；

视频合成模块，所述视频合成模块连接VR显示模块、场景生成模块和真实世界信息采集模块，视频合成模块接收场景生成模块输出的虚拟场景图像信息和真实世界信息采集模块输出的真实世界信息，视频合成模块根据接收到的虚拟场景图像信息和真实世界信息输出虚拟三维数据，VR显示模块接收虚拟三维数据并且将虚拟三维数据转化为虚拟三维图像显示给穿戴者。

通过采用上述方案，当参观人员在博物馆内穿戴VR头显以后，头部跟踪器能够实时追踪参观人员的头部位置信息，场景生成模块根据头部位置信息从提前输入的虚拟三维图像信息中找出虚拟场景图像信息，最终视屏合成模块将虚拟图像与真实世界图像合成后显示给参观人员，使参观人员获得身临其境的感觉，使现实场景与虚拟图像同步显示，不会出现虚拟图像成像困难的问题。

较佳的，VR头显包括用于安装显示器的头显镜框和固定连接于头显镜框上用于使用者穿戴的连接带，在头显镜框两端均固定连接有风扇，在头显镜框对应每个风扇位置处均开设有风道，风道一端与风扇连接，风道另一端冲向穿戴者面部。

通过采用上述方案，风扇能够将风沿风道吹到穿戴者的面部，在穿戴者在博物馆内遇到恐龙吼叫、场景飞驰等会出现气流的时候，VR头显能够模拟气流吹过穿戴者面部，增强穿戴者的现实感。

较佳的，真实世界信息采集模块包括固定连接于VR头显上的摄像机，摄像机采集佩穿戴者面部冲向方向上的图像信息并传输给视频合成模块。

通过采用上述方案，真实世界信息采集模块采用摄像机拍摄穿戴者面部冲向的图像信息，确保虚拟三维图像成像准确。

较佳的，真实世界信息采集模块包括固定连接于VR头显下方的光学合成器，光学合成器将真实世界的图像信息与显示器显示的图像信息结合并传输给视频合成模块，视频合成模块将合成后的虚拟三维图像传输给光学合成器并显示给穿戴者。

通过采用上述方案，真实世界信息采集模块用光学合成器将采集穿戴者面部冲向的图像信息，通过光学合成生成虚拟三维图像，确保虚拟三维图像成像准确。

较佳的，在博物馆内放置多个标定物，头部跟踪器连接计算机视觉注册模块，所述计算机视觉注册模块连接场景生成模块，计算机视觉注册模块用头部跟踪器采集真实世界图像信息，然后从真实世界图像信息中选出标定物的图像信息，分析标定物的图像信息确定生成的虚拟三维图像，并将虚拟三维图像传输给场景生成模块。

通过采用上述方案，计算机视觉注册模块通过预先安装在博物馆内的标定物确定虚拟三维图像信息，获得的信息稳定、可靠，准确度高。

较佳的，计算机视觉注册模块包括：

标定物采集单元，所述标定物采集单元连接头部跟踪器并且接收头部跟踪器拍摄的真实世界图像信息，标定物采集单元每隔一段时间就将当前真实世界图像信息输出；

标定物存储单元，所述标定物存储单元存储所有标定物的图像信息；

标定物提取单元，所述标定物提取单元连接标定物采集单元和标定物提取单元，标定物提取单元接收标定物采集单元输出的真实世界图像信息和标定物存储单元输出的标定物图像信息，标定物提取单元根据标定物图像信息从真实世界图像信息提取出真实世界图像信息中的标定物图像信息，标定物提取单元将提取出的标定物图像信息输出；

标定物分析单元，所述标定物分析单元连接标定物提取单元和场景生成模块，标定物分析单元接收标定物提取单元输出的标定物图像信息，标定物分析单元根据标定物图像信息确定虚拟三维图像并将确定后的虚拟三维图像发送给场景生成模块。

通过采用上述方案，计算机视觉注册模块将标定物信息进行采集和处理，过程比较简单，通过图像比较等技术即可实现。

较佳的，头部跟踪器连接有立体显示注册模块，立体显示注册模块连接场景生成模块，立体显示注册模块将根据头部跟踪器获取观察者坐标系和投影图像坐标系，立体显示注册模块根据观察者坐标系和投影图像坐标系确定虚拟物体坐标系和投影面，立体显示注册模块根据虚拟物体坐标系和投影面测得虚拟三维图像并将虚拟三维图像传输给场景生成模块。

通过采用上述方案，立体显示注册模块通过仿射变换原理生成虚拟三维图像，只要在建立虚拟立体模型时确定好坐标系即可保证最终成像的稳定性和准确度。

较佳的，立体显示注册模块包括：

观察者坐标输出单元，所述观察者坐标输出单元连接头部跟踪器，观察者坐标输出单元生成观察者坐标系，通过头部跟踪器确定当前的观察者坐标系的三维数值并输出；

投影图像坐标输出单元，所述投影图像坐标输出单元连接头部跟踪器，投影图像坐标输出单元生成投影图像坐标系，通过头部跟踪器确定佩戴者的实现方向从而确定投影图像坐标系的二维数值，投影图像坐标输出单元将投影图像坐标系的二维数值输出；

虚拟物体坐标输出单元，所述虚拟物体坐标输出单元连接观察者坐标输出单元和投影图像坐标输出单元并且接收观察者坐标系的三维数值和投影图像坐标系的二维数值，虚拟物体坐标输出单元内存有真实空间坐标系和虚拟物体坐标系，虚拟物体坐标输出单元根据上述数据计算得到虚拟三维图像并传输给场景生成模块。

通过采用上述方案，工作人员事先输入真实空间坐标系和虚拟物体坐标系，立体显示注册模块只需要根据观察者坐标系的三维数值确定虚拟三维图像在虚拟物体坐标系中的位置，然后通过投影图像坐标系的二维数值确定穿戴者的视野范围，即可确定最终输出的虚拟三维图像。

较佳的，数据更新模块，所述数据更新模块连接场景生成模块，数据更新模块存储有多媒体数字互动内容数据，数据更新模块能够从互联网上不断更新多媒体数字互动内容数据并传输给场景生成模块。

通过采用上述方案，场景生成模块内的数据能够不断更新，保证参观人员能够获得最新的信息，为博物馆提供源源不断的数字文化展示资源。

综上所述，本实用新型具有以下有益效果：

1.当参观人员在博物馆内穿戴VR头显以后，头部跟踪器能够实时追踪参观人员的头部位置信息，场景生成模块根据头部位置信息从提前输入的虚拟三维图像信息中找出虚拟场景图像信息，最终视屏合成模块将虚拟图像与真实世界图像合成后显示给参观人员，使参观人员获得身临其境的感觉，使现实场景与虚拟图像同步显示，不会出现虚拟图像成像困难的问题；

2.风扇能够将风沿风道吹到穿戴者的面部，在穿戴者在博物馆内遇到恐龙吼叫、场景飞驰等会出现气流的时候，VR头显能够模拟气流吹过穿戴者面部，增强穿戴者的现实感；

3.场景生成模块内的数据能够不断更新，保证参观人员能够获得最新的信息，为博物馆提供源源不断的数字文化展示资源。

附图说明

图1是实施例一的整体模块框图；

图2是实施例一中突出VR头显的示意图；

图3是实施例一中突出风道的剖视图；

图4是实施例一中突出计算机视觉注册模块的模块框图；

图5是实施例二中突出光学合成器的示意图；

图6是实施例三的整体模块框图；

图7是实施例三中突出立体显示注册模块的模块框图。

图中，1、VR显示模块；11、VR头显；111、头显镜框；1111、风扇；1112、风道；112、连接带；113、显示器；12、头部跟踪器；13、摄像机；14、光学合成器；2、场景生成模块；3、真实世界信息采集模块；4、视频合成模块；5、数据更新模块；6、计算机视觉注册模块；61、标定物存储单元；62、标定物采集单元；63、标定物提取单元；64、标定物分析单元；7、立体显示注册模块；71、观察者坐标输出单元；72、投影图像坐标输出单元；73、虚拟物体坐标输出单元。

具体实施方式

以下结合附图对本实用新型作进一步详细说明。其中相同的零部件用相同的附图标记表示。需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向，词语“底面”和“顶面”、“内”和“外”分别指的是朝向或远离特定部件几何中心的方向。

实施例一：一种博物馆移动展教交互系统，如图1和图2所示，包括VR显示模块1、场景生成模块2、真实世界信息采集模块3、视频合成模块4、数据更新模块5和计算机视觉注册模块6。VR显示模块1包括能够穿戴于参观人员身上的VR头显11，VR头显11包括头显镜框111和固定连接于头显镜框111上用于使用者穿戴的连接带112，头显镜框111内设有能够为穿戴者显示弧形立体图像的显示器113。当参观人员在博物馆内穿戴VR头显11以后，显示器113能够为参观人员显示展品的虚拟三维图像，使参观人员获得身临其境的感觉。

如图2和图3所示，在头显镜框111两端均固定连接有风扇1111，在头显镜框111对应每个风扇1111位置处均开设有风道1112。风道1112一端与风扇1111连接，风道1112另一端冲向穿戴者面部。风扇1111能够将风沿风道1112吹到穿戴者的面部，能够模拟恐龙吼叫、场景飞驰等出现气流的场景，增强穿戴者的现实感。在连接带112的顶部固定连接有头部跟踪器12，头部跟踪器12能够检测当前穿戴者的头部位置信息。在头显镜框111顶部固定连接有摄像机13，摄像机13能够采集穿戴者正前方的图像信息。

如图1和图2所示，真实世界信息采集模块3使用摄像机13采集穿戴者正前方的图像信息并传输给视频合成模块4。

如图1和图4所示，计算机视觉注册模块6连接场景生成模块2和头部追踪器。在博物馆内放置多个标定物，标定位分布于博物馆内部空间。计算机视觉注册模块6包括标定物采集单元62、标定物存储单元61、标定物提取单元63和标定物分析单元64。标定物采集单元62连接头部跟踪器12并且接收头部跟踪器12输出的头部位置信息，通过头部位置信息从摄像机13中调用真实世界图像信息，标定物采集单元62每隔一段时间就将当前真实世界图像信息输出。标定物存储单元61存储所有标定物的图像信息并将存储的标定物图像信息传输给标定物提取单元63。标定物提取单元63连接标定物采集单元62和标定物提取单元63，标定物提取单元63接收标定物采集单元62输出的真实世界图像信息，标定物提取单元63根据标定物图像信息从真实世界图像信息提取出真实世界图像信息中的标定物图像信息，标定物提取单元63将提取出的标定物图像信息输出。标定物分析单元64连接标定物提取单元63和场景生成模块2，标定物分析单元64接收标定物提取单元63输出的标定物图像信息，标定物分析单元64根据标定物图像信息确定虚拟三维图像并将确定后的虚拟三维图像发送给场景生成模块2。

如图1所示，数据更新模块5连接场景生成模块2，数据更新模块5存储有多媒体数字互动内容数据，数据更新模块5能够从互联网上不断更新多媒体数字互动内容数据并传输给场景生成模块2。数据更新模块5采用云空间技术进行数据存储，并且能够将所得到的数据整合成大数据库，场景生成模块2能够不断从数据更新模块5接收最新的博物馆相关数据，保证参观人员能够获得最新的信息。

如图1所示，场景生成模块2连接视频合成模块4，场景生成模块2将虚拟三维图像传输给视频合成模块4。视频合成模块4根据接收到的虚拟场景图像信息和真实世界信息输出完整的虚拟三维数据，VR显示模块1中的显示器113接收虚拟三维数据并且将虚拟三维数据转化为最终的虚拟三维图像显示给穿戴者。使现实场景与虚拟图像同步显示，不会出现虚拟图像成像困难的问题。

实施例二：一种博物馆移动展教交互系统，如图5所示，与实施例一不同之处在于，在头显镜框111底部固定连接有光学合成器14，光学合成器14将真实世界的图像信息与显示器113显示的图像信息结合并传输给视频合成模块4，视频合成模块4将合成后的虚拟三维图像传输给光学合成器14并显示给穿戴者。光学合成器14采集穿戴者面部冲向的图像信息并且生成虚拟三维图像，确保虚拟三维图像成像准确。

实施例三：一种博物馆移动展教交互系统，如图6和图7所示，头部跟踪器12连接有立体显示注册模块7，立体显示注册模块7连接场景生成模块2。立体显示注册模块7包括观察者坐标输出单元71、投影图像坐标输出单元72和虚拟物体坐标输出单元73。观察者坐标输出单元71连接头部跟踪器12，观察者坐标输出单元71生成观察者坐标系，通过头部跟踪器12确定当前的观察者坐标系的三维数值并输出。投影图像坐标输出单元72连接头部跟踪器12，投影图像坐标输出单元72生成投影图像坐标系，通过头部追踪器确定佩戴者的实现方向从而确定投影图像坐标系的二维数值，投影图像坐标输出单元72将投影图像坐标系的二维数值输出。虚拟物体坐标输出单元73连接观察者坐标输出单元71和投影图像坐标输出单元72并且接收观察者坐标系的三维数值和投影图像坐标系的二维数值，虚拟物体坐标输出单元73内存有真实空间坐标系和虚拟物体坐标系，虚拟物体坐标输出单元73根据上述数据计算得到虚拟三维图像并传输给场景生成模块2。工作人员输入真实空间坐标系和虚拟物体坐标系，立体显示注册模块7只需要根据观察者坐标系的三维数值确定虚拟三维图像在虚拟物体坐标系中的位置，然后通过投影图像坐标系的二维数值确定穿戴者的视野范围，即可确定最终输出的虚拟三维图像。

以上所述仅是本实用新型的优选实施方式，本实用新型的保护范围并不仅局限于上述实施例，凡属于本实用新型思路下的技术方案均属于本实用新型的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本实用新型原理前提下的若干改进和润饰，这些改进和润饰也应视为本实用新型的保护范围。

Claims (9)

1.一种博物馆移动展教交互系统，其特征在于，包括：

VR显示模块(1)，所述VR显示模块(1)包括能够穿戴于参观人员身上的VR头显(11)和固定连接于VR头显(11)上的头部跟踪器(12)，VR头显(11)内设有能够为穿戴者显示弧形立体图像的显示器(113)，头部跟踪器(12)能够检测当前穿戴者的头部位置信息并将头部位置信息输出；

场景生成模块(2)，所述场景生成模块(2)连接VR显示模块(1)并且接收VR显示模块(1)输出的头部位置信息，场景生成模块(2)根据头部位置信息输出虚拟场景图像信息；

真实世界信息采集模块(3)，所述真实世界信息采集模块(3)采集真实世界信息并输出；

视频合成模块(4)，所述视频合成模块(4)连接VR显示模块(1)、场景生成模块(2)和真实世界信息采集模块(3)，视频合成模块(4)接收场景生成模块(2)输出的虚拟场景图像信息和真实世界信息采集模块(3)输出的真实世界信息，视频合成模块(4)根据接收到的虚拟场景图像信息和真实世界信息输出虚拟三维数据，VR显示模块(1)接收虚拟三维数据并且将虚拟三维数据转化为虚拟三维图像显示给穿戴者。

2.根据权利要求1所述的博物馆移动展教交互系统，其特征在于：VR头显(11)包括用于安装显示器(113)的头显镜框(111)和固定连接于头显镜框(111)上用于使用者穿戴的连接带(112)，在头显镜框(111)两端均固定连接有风扇(1111)，在头显镜框(111)对应每个风扇(1111)位置处均开设有风道(1112)，风道(1112)一端与风扇(1111)连接，风道(1112)另一端冲向穿戴者面部。

3.根据权利要求1所述的博物馆移动展教交互系统，其特征在于：真实世界信息采集模块(3)包括固定连接于VR头显(11)上的摄像机(13)，摄像机(13)采集佩穿戴者面部冲向方向上的图像信息并传输给视频合成模块(4)。

4.根据权利要求1所述的博物馆移动展教交互系统，其特征在于：真实世界信息采集模块(3)包括固定连接于VR头显(11)下方的光学合成器(14)，光学合成器(14)将真实世界的图像信息与显示器(113)显示的图像信息结合并传输给视频合成模块(4)，视频合成模块(4)将合成后的虚拟三维图像传输给光学合成器(14)并显示给穿戴者。

5.根据权利要求1所述的博物馆移动展教交互系统，其特征在于：在博物馆内放置多个标定物，头部跟踪器(12)连接计算机视觉注册模块(6)，所述计算机视觉注册模块(6)连接场景生成模块(2)，计算机视觉注册模块(6)用头部跟踪器(12)采集真实世界图像信息，然后从真实世界图像信息中选出标定物的图像信息，分析标定物的图像信息确定生成的虚拟三维图像，并将虚拟三维图像传输给场景生成模块(2)。

6.根据权利要求5所述的博物馆移动展教交互系统，其特征在于，计算机视觉注册模块(6)包括：

标定物采集单元(62)，所述标定物采集单元(62)连接头部追踪器并且接收头部追踪器拍摄的真实世界图像信息，标定物采集单元(62)每隔一段时间就将当前真实世界图像信息输出；

标定物存储单元(61)，所述标定物存储单元(61)存储所有标定物的图像信息；

标定物提取单元(63)，所述标定物提取单元(63)连接标定物采集单元(62)和标定物提取单元(63)，标定物提取单元(63)接收标定物采集单元(62)输出的真实世界图像信息和标定物存储单元(61)输出的标定物图像信息，标定物提取单元(63)根据标定物图像信息从真实世界图像信息提取出真实世界图像信息中的标定物图像信息，标定物提取单元(63)将提取出的标定物图像信息输出；

标定物分析单元(64)，所述标定物分析单元(64)连接标定物提取单元(63)和场景生成模块(2)，标定物分析单元(64)接收标定物提取单元(63)输出的标定物图像信息，标定物分析单元(64)根据标定物图像信息确定虚拟三维图像并将确定后的虚拟三维图像发送给场景生成模块(2)。

7.根据权利要求1所述的博物馆移动展教交互系统，其特征在于：头部跟踪器(12)连接有立体显示注册模块(7)，立体显示注册模块(7)连接场景生成模块(2)，立体显示模块将根据头部跟踪器(12)获取观察者坐标系和投影图像坐标系，立体显示注册模块(7)根据观察者坐标系和投影图像坐标系确定虚拟物体坐标系和投影面，立体显示注册模块(7)根据虚拟物体坐标系和投影面测得虚拟三维图像并将虚拟三维图像传输给场景生成模块(2)。

8.根据权利要求7所述的博物馆移动展教交互系统，其特征在于，立体显示注册模块(7)包括：

观察者坐标输出单元(71)，所述观察者坐标输出单元(71)连接头部跟踪器(12)，观察者坐标输出单元(71)生成观察者坐标系，通过头部跟踪器(12)确定当前的观察者坐标系的三维数值并输出；

投影图像坐标输出单元(72)，所述投影图像坐标输出单元(72)连接头部跟踪器(12)，投影图像坐标输出单元(72)生成投影图像坐标系，通过头部跟踪器(12)确定佩戴者的实现方向从而确定投影图像坐标系的二维数值，投影图像坐标输出单元(72)将投影图像坐标系的二维数值输出；

虚拟物体坐标输出单元(73)，所述虚拟物体坐标输出单元(73)连接观察者坐标输出单元(71)和投影图像坐标输出单元(72)并且接收观察者坐标系的三维数值和投影图像坐标系的二维数值，虚拟物体坐标输出单元(73)内存有真实空间坐标系和虚拟物体坐标系，虚拟物体坐标输出单元(73)根据上述数据计算得到虚拟三维图像并传输给场景生成模块(2)。

9.根据权利要求1所述的博物馆移动展教交互系统，其特征在于，还包括：数据更新模块(5)，所述数据更新模块(5)连接场景生成模块(2)，数据更新模块(5)存储有多媒体数字互动内容数据，数据更新模块(5)能够从互联网上不断更新多媒体数字互动内容数据并传输给场景生成模块(2)。