CN109427095B - 一种显示混合现实场景的方法及系统 - Google Patents

一种显示混合现实场景的方法及系统 Download PDF

Info

Publication number
CN109427095B
CN109427095B CN201710748651.2A CN201710748651A CN109427095B CN 109427095 B CN109427095 B CN 109427095B CN 201710748651 A CN201710748651 A CN 201710748651A CN 109427095 B CN109427095 B CN 109427095B
Authority
CN
China
Prior art keywords
equipment
positioning
scene
player
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710748651.2A
Other languages
English (en)
Other versions
CN109427095A (zh
Inventor
刘德建
苏文瑛
潘海珲
江卓鸿
李学科
吕鹏飞
王熠中
陈宏展
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian TQ Digital Co Ltd
Original Assignee
Fujian TQ Digital Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian TQ Digital Co Ltd filed Critical Fujian TQ Digital Co Ltd
Priority to CN201710748651.2A priority Critical patent/CN109427095B/zh
Publication of CN109427095A publication Critical patent/CN109427095A/zh
Application granted granted Critical
Publication of CN109427095B publication Critical patent/CN109427095B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video

Abstract

本发明涉及混合现实领域，尤其涉及一种显示混合现实场景的方法及系统。本发明通过为三个以上MR设备配置权限；所述权限包括玩家权限、场内观察者权限和场外观察者权限；具有玩家权限的玩家MR设备修改与自身对应的虚拟场景中一虚拟物体的属性值；具有场内观察者权限的旁观MR设备和服务器根据所述属性值分别更新与自身对应的虚拟场景；实体摄像机获取真实场景；具有场外观察者权限的定位MR设备与实体摄像机物理固定；服务器根据所述定位MR设备的实时位置信息叠加所述真实场景和与服务器对应的虚拟场景，得到混合现实场景；显示设备显示所述混合现实场景。实现以第三人称视角显示佩戴MR设备的玩家观看到的混合现实场景。

Description

一种显示混合现实场景的方法及系统
技术领域
本发明涉及混合现实领域，尤其涉及一种显示混合现实场景的方法及系统。
背景技术
目前公知的VR(虚拟现实)技术通过计算机生成实时动态的三维立体图像来模拟环境，并使用传感设备来实现交互。VR技术是创建了一个新的虚拟世界，无法和现实世界产生联系。
近年来由Microsoft公司提出MR(Mix Reality混合现实)技术，旨在将虚拟和现实融合在一起。大致过程如下：
1)支持MR的设备通过不断扫描体验者周围的现实环境并实时建模。
2)使用空间理解(Spatial Understanding)技术计算出设备在现实空间中的物理坐标。
3)使用空间映射(Spatial Mapping)技术，以MR设备为坐标原点，将现实世界映射到虚拟坐标系中。
4)将计算生成的虚拟环境叠加到现实世界上，并通过手势来实现和虚拟事物的交互，相比于VR设备有更自然的用户体验。
目前Windows Store上的MR游戏，可分为单机版本和联网版本。其中联网版本是先指定一台PC为服务器，再通过局域网将多个MR设备连接到一起，服务器负责场景数据的管理和转发，从而实现不同的终端上看到的是一致的虚拟场景。
但现有的联网版MR游戏只有真正参与其中的玩家才能看到虚实结合的画面，其他人无法通过旁观获得与玩家相同的体验。
发明内容
本发明所要解决的技术问题是：如何以第三人称视角显示佩戴MR设备的玩家观看到的混合现实场景。
为了解决上述技术问题，本发明采用的技术方案为：
本发明提供一种显示混合现实场景的方法，包括：
S1、为三个以上MR设备配置权限；所述权限包括玩家权限、场内观察者权限和场外观察者权限；
S2、具有玩家权限的玩家MR设备修改与自身对应的虚拟场景中一虚拟物体的属性值；
S3、具有场内观察者权限的旁观MR设备和服务器根据所述属性值分别更新与自身对应的虚拟场景；
S4、实体摄像机获取真实场景；具有场外观察者权限的定位MR设备与实体摄像机物理固定；
S5、服务器根据所述定位MR设备的实时位置信息叠加所述真实场景和与服务器对应的虚拟场景，得到混合现实场景；
S6、显示设备显示所述混合现实场景。
本发明还提供一种显示混合现实场景的系统，包括三个以上MR设备、实体摄像机、显示设备和服务器；
所述服务器包括一个或多个处理器及存储器，所述存储器存储有程序，并且被配置成由所述一个或多个处理器执行以下步骤：
S1、为三个以上MR设备配置权限；所述权限包括玩家权限、场内观察者权限和场外观察者权限；
S2、当具有玩家权限的玩家MR设备修改与自身对应的虚拟场景中一虚拟物体的属性值时，获取所述属性值；
S3、根据所述属性值更新与服务器对应的虚拟场景；触发具有场内观察者权限的旁观MR设备根据所述属性值更新与旁观MR设备对应的虚拟场景；
S4、获取来自实体摄像机的真实场景；具有场外观察者权限的定位MR设备与实体摄像机物理固定；
S5、根据定位MR设备的实时位置信息叠加所述真实场景和与服务器对应的虚拟场景，得到混合现实场景；
S6、触发显示设备显示所述混合现实场景。
本发明的有益效果在于：本发明将实体摄像机与一MR设备物理固定，使得服务器可根据所述一MR设备的位置信息间接获知实体摄像机的位置信息，从而实现实体摄像机在任一位置获取真实场景时，都能够获取与所述真实场景匹配的虚拟场景，叠加所述真实场景和所述虚拟场景就可以，以实体摄像机当前位置的视角显示佩戴MR设备的玩家可观看到的混合现实场景；未佩戴MR设备的观众也能够通过现场的显示设备体验玩家所观看到的混合现实场景。同时，玩家的用户操作数据会同步更新至具有场内观察者权限的MR设备，评委还可通过具有场内观察者权限的MR设备更好的体验玩家所观看到的混合现实场景。
附图说明
图1为本发明提供的一种显示混合现实场景的方法的具体实施方式的流程框图；
图2为本发明提供的一种显示混合现实场景的终端的具体实施方式的结构框图；
图3为实施例二的硬件部署图；
标号说明：
1、MR设备；2、实体摄像机；3、显示设备；4、服务器；41、处理器；42、存储器。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
名词解释：
Figure BDA0001390612700000031
请参照图1至图3，
如图1所示，本发明提供一种显示混合现实场景的方法，包括：
S1、为三个以上MR设备配置权限；所述权限包括玩家权限、场内观察者权限和场外观察者权限；
S2、具有玩家权限的玩家MR设备修改与自身对应的虚拟场景中一虚拟物体的属性值；
S3、具有场内观察者权限的旁观MR设备和服务器根据所述属性值分别更新与自身对应的虚拟场景；
S4、实体摄像机获取真实场景；具有场外观察者权限的定位MR设备与实体摄像机物理固定；
S5、服务器根据所述定位MR设备的实时位置信息叠加所述真实场景和与服务器对应的虚拟场景，得到混合现实场景；
S6、显示设备显示所述混合现实场景。
进一步地，还包括：
获取与玩家MR设备对应的第一空间模型；
获取与旁观MR设备对应的第二空间模型；
获取与定位MR设备对应的第三空间模型；
预设一位置恒定的虚拟物体；
以所述位置恒定的虚拟物体为参照物映射所述第一空间模型、所述第二空间模型和所述第三空间模型至同一坐标系。
由上述描述可知，通过在现实空间中一位置预设固定的虚拟物体，并以该虚拟物体为参照物将与实体摄像机物理固定的定位MR设备对应的第三空间模型、玩家佩戴的玩家MR设备对应的第一空间模型和场内评委佩戴的旁观MR设备对应的第二空间模型映射至同一坐标系，实现同步不同MR设备对应的空间模型，使得当玩家MR设备数据更新时，其它MR设备能够准确地更新与其自身对应的虚拟场景。
进一步地，所述S5具体为：
实时获取定位MR设备在所述坐标系中的坐标，得到定位坐标；
获取实体摄像机的视场角；
根据所述视场角、所述定位坐标和定位MR设备的当前旋转偏移量转换与服务器对应的虚拟场景，得到当前虚拟场景；渲染所述当前虚拟场景至所述真实场景。
进一步地，还包括：
水平放置实体摄像机；
修改定位MR设备的初始水平旋转偏移量为零；
根据所述真实场景和与定位MR设备对应的虚拟场景计算定位MR设备相对于实体摄像机的垂直旋转偏移量，得到相对垂直旋转偏移量；
根据所述相对垂直旋转偏移量修改定位MR设备的初始垂直旋转偏移量。
由上述描述可知，由于实体摄像机与定位MR设备物理固定难以保证定位MR设备与实体摄像机平行，因此定位MR设备的实时旋转偏移量难以准确反映实体摄像机的实时旋转偏移量。但是，旋转偏移量对最终效果的影响甚大，例如，被拍摄对象距离摄像机10m，1°的旋转偏差将造成至少17cm的平移错位。本发明通过先借助水平仪将实体摄像机水平放置，依据MR设备在建立自身坐标系时XOZ平面和现实的水平面是一致的原理，无论定位MR设备的当前水平旋转偏移量是多少，都将定位MR设备的初始水平旋转偏移量修改为零，再对初始垂直旋转偏移量进行修改，即将定位MR设备对应的虚拟摄像机的初始朝向修改成与实体摄像机初始朝向一致，从而实现定位MR设备的实时旋转偏移量与实体摄像机的实时旋转偏移量一致。
进一步地，所述S3具体为：
当服务器接收到来自一MR设备的属性值时，验证所述一MR设备的权限，得到验证结果；所述验证结果包括玩家权限、场内观察者权限和场外观察者权限；
若所述验证结果为玩家权限，则：
服务器根据所述属性值更新与服务器对应的虚拟场景；
服务器发送所述属性值至旁观MR设备；
旁观MR设备根据属性值更新与旁观MR设备对应的虚拟场景。
由上述描述可知，当服务器接收到与虚拟场景对应的更新数据时，先验证更新数据来源的MR设备的权限，避免除玩家MR设备外的其它MR设备误操作而导致游戏进程紊乱。
如图2所示，本发明还提供一种显示混合现实场景的系统，包括三个以上MR设备1、实体摄像机2、显示设备3和服务器4；
所述服务器4包括一个或多个处理器41及存储器42，所述存储器42存储有程序，并且被配置成由所述一个或多个处理器41执行以下步骤：
S1、为三个以上MR设备配置权限；所述权限包括玩家权限、场内观察者权限和场外观察者权限；
S2、当具有玩家权限的玩家MR设备修改与自身对应的虚拟场景中一虚拟物体的属性值时，获取所述属性值；
S3、根据所述属性值更新与服务器对应的虚拟场景；触发具有场内观察者权限的旁观MR设备根据所述属性值更新与旁观MR设备对应的虚拟场景；
S4、获取来自实体摄像机的真实场景；具有场外观察者权限的定位MR设备与实体摄像机物理固定；
S5、根据定位MR设备的实时位置信息叠加所述真实场景和与服务器对应的虚拟场景，得到混合现实场景；
S6、触发显示设备显示所述混合现实场景。
进一步地，还包括：
获取与玩家MR设备对应的第一空间模型；
获取与旁观MR设备对应的第二空间模型；
获取与定位MR设备对应的第三空间模型；
预设一位置恒定的虚拟物体；
以所述位置恒定的虚拟物体为参照物映射所述第一空间模型、所述第二空间模型和所述第三空间模型至同一坐标系。
进一步地，所述S5具体为：
实时获取定位MR设备在所述坐标系中的坐标，得到定位坐标；
获取实体摄像机的视场角；
根据所述视场角、所述定位坐标和定位MR设备的当前旋转偏移量转换与服务器对应的虚拟场景，得到当前虚拟场景；渲染所述当前虚拟场景至所述真实场景。
进一步地，还包括：
水平放置实体摄像机；
修改定位MR设备的初始水平旋转偏移量为零；
根据所述真实场景和与定位MR设备对应的虚拟场景计算定位MR设备相对于实体摄像机的垂直旋转偏移量，得到相对垂直旋转偏移量；
根据所述相对垂直旋转偏移量修改定位MR设备的初始垂直旋转偏移量。
进一步地，所述S3具体为：
当接收到来自一MR设备的属性值时，验证所述一MR设备的权限，得到验证结果；所述验证结果包括玩家权限、场内观察者权限和场外观察者权限；
若所述验证结果为玩家权限，则：
根据所述属性值更新与服务器对应的虚拟场景；
发送所述属性值至旁观MR设备；
触发旁观MR设备根据属性值更新与旁观MR设备对应的虚拟场景。
本发明的实施例一为：
本实施例提供一种显示混合现实场景的方法，包括：
S1、为三个以上MR设备配置权限；所述权限包括玩家权限、场内观察者权限和场外观察者权限；
S2、获取与玩家MR设备对应的第一空间模型；获取与旁观MR设备对应的第二空间模型；获取与定位MR设备对应的第三空间模型；
其中，玩家MR设备为配置有玩家权限的MR设备，直接参与到游戏互动中，能够控制游戏中的部分游戏元素；旁观MR设备为配置有场内观察者权限的MR设备，能够自由选择观看虚实结合场景的角度，身临其境观看玩家的游戏过程，但无法操作游戏元素；定位MR设备为配置有场外观察者权限的MR设备，实时将定位MR设备的位置信息发送至服务器，使服务器可根据定位MR设备的位置信息间接获悉与定位MR设备物理固定的实体摄像机的位置信息。
S3、预设一位置恒定的虚拟物体；以所述位置恒定的虚拟物体为参照物映射所述第一空间模型、所述第二空间模型和所述第三空间模型至同一坐标系；
可选地，MR设备，如Microsoft公司开发的Hololens，在运行应用时会以它自身位置为坐标原点、以它正前方在水平面的投影为Z轴正方向、竖直朝上方向为Y轴正方向建立左手坐标系；玩家MR设备、旁观MR设备和定位MR设备先后扫描同一个空间，分别在各自的坐标系里对同一空间进行建模，分别得到第一空间模型、第二空间模型和第三空间模型；通过预先放置在空间中的世界锚点(即在现实空间中某个位置固定不变的虚拟物体)来建立共同的世界坐标系，计算出不同MR设备坐标系到世界坐标系的转换矩阵，进而实现重合不同MR设备所构建的虚拟场景；
S4、水平放置实体摄像机；修改定位MR设备的初始水平旋转偏移量为零；根据所述真实场景和与定位MR设备对应的虚拟场景计算定位MR设备相对于实体摄像机的垂直旋转偏移量，得到相对垂直旋转偏移量；根据所述相对垂直旋转偏移量修改定位MR设备的初始垂直旋转偏移量；
可选地，根据所述真实场景和与定位MR设备对应的虚拟场景计算定位MR设备相对于实体摄像机的垂直旋转偏移量，得到相对垂直旋转偏移量，具体为：
在与定位MR设备对应的虚拟场景中放置一个虚拟的竖向细长模型，位于定位MR设备的虚拟摄像机的视野正中央；在真实场景中距离实体摄像机较远位置放置一根竖杆，位于实体摄像机视野的正中间；
叠加与定位MR设备对应的虚拟场景和真实场景，若虚拟的竖向细长模型和竖杆没有重合，则：
保持定位MR设备的虚拟摄像机位置不动，沿水平方向调整定位MR设备的虚拟摄像机的旋转量(即绕竖直的Y轴转动)，此时，虚拟的竖向细长模型在虚拟图像中的运动方向和定位MR设备的虚拟摄像机的旋转方向相反；
旋转定位MR设备的虚拟摄像机直至虚拟的竖向细长模型和竖杆重合，此时定位MR设备的虚拟摄像机绕Y轴的旋转量再取负值即为垂直旋转偏移量。
S5、具有玩家权限的玩家MR设备修改与自身对应的虚拟场景中一虚拟物体的属性值；
可选地，一虚拟物体的属性包括坐标、旋转角度、缩放比例；玩家对一虚拟物体进行操作时，该虚拟物体的属性值会发生相应的变化。
S6、具有场内观察者权限的旁观MR设备和服务器根据所述属性值分别更新与自身对应的虚拟场景；具体为：
当服务器接收到来自一MR设备的属性值时，验证所述一MR设备的权限，得到验证结果；所述验证结果包括玩家权限、场内观察者权限和场外观察者权限；
若所述验证结果为玩家权限，则：
服务器根据所述属性值更新与服务器对应的虚拟场景；
服务器发送所述属性值至旁观MR设备；
旁观MR设备根据属性值更新与旁观MR设备对应的虚拟场景。
可选地，若存在一个以上具有玩家权限的玩家MR设备，还可将所述属性值发送至其它玩家MR设备，其它玩家MR设备根据所述属性值更新与自身对应的虚拟场景。
S7、实体摄像机获取真实场景；具有场外观察者权限的定位MR设备与实体摄像机物理固定；
S8、服务器根据所述定位MR设备的实时位置信息叠加所述真实场景和与服务器对应的虚拟场景，得到混合现实场景；具体为：
实时获取定位MR设备在所述坐标系中的坐标，得到定位坐标；
获取实体摄像机的视场角；
根据所述视场角、所述定位坐标和定位MR设备的当前旋转偏移量转换与服务器对应的虚拟场景，得到当前虚拟场景；渲染所述当前虚拟场景至所述真实场景；
可选地，服务器包括渲染器，用于将与服务器对应的虚拟场景渲染至实体摄像机获取的真实场景上，从而得到混合现实场景。
根据所述视场角、所述定位坐标和定位MR设备的当前旋转偏移量转换与服务器对应的虚拟场景，得到当前虚拟场景，具体为：
设置渲染器对应的虚拟摄像机的视场角参数、坐标和旋转偏移量参数与实体摄像机的视场角、定位坐标和旋转偏移量相同；使得虚拟摄像机和实体摄像机的参数完全一致，从而模拟从实体摄像机的角度拍摄虚拟场景。
S9、显示设备显示所述混合现实场景；
可选地，现实设备为与服务器连接的大屏幕，未佩戴MR设备的观众可通过大屏幕看到玩家通过玩家MR设备所观看到的混合现实场景。
本发明的实施例二为：
本实施例提供一种显示混合现实场景的系统，包括三个以上MR设备、实体摄像机、显示设备和服务器；
可选地，硬件部署示意图如图3所示，其中，智能手机的图标表示Hololens设备。虚线连接指通过无线网络连接，实线连接指通过有线网络连接，用户和设备之间的连接为物理佩戴或持有；
所述服务器包括一个或多个处理器及存储器，所述存储器存储有程序，并且被配置成由所述一个或多个处理器执行以下步骤：
S1、为三个以上MR设备配置权限；所述权限包括玩家权限、场内观察者权限和场外观察者权限。
S2、获取与玩家MR设备对应的第一空间模型；获取与旁观MR设备对应的第二空间模型；获取与定位MR设备对应的第三空间模型。
S3、预设一位置恒定的虚拟物体；以所述位置恒定的虚拟物体为参照物映射所述第一空间模型、所述第二空间模型和所述第三空间模型至同一坐标系。
S4、水平放置实体摄像机；修改定位MR设备的初始水平旋转偏移量为零；根据所述真实场景和与定位MR设备对应的虚拟场景计算定位MR设备相对于实体摄像机的垂直旋转偏移量，得到相对垂直旋转偏移量；根据所述相对垂直旋转偏移量修改定位MR设备的初始垂直旋转偏移量。
S5、当具有玩家权限的玩家MR设备修改与自身对应的虚拟场景中一虚拟物体的属性值时，获取所述属性值。
S6、根据所述属性值更新与服务器对应的虚拟场景；触发具有场内观察者权限的旁观MR设备根据所述属性值更新与旁观MR设备对应的虚拟场景；具体为：
当接收到来自一MR设备的属性值时，验证所述一MR设备的权限，得到验证结果；所述验证结果包括玩家权限、场内观察者权限和场外观察者权限；
若所述验证结果为玩家权限，则：
根据所述属性值更新与服务器对应的虚拟场景；
发送所述属性值至旁观MR设备；
触发旁观MR设备根据属性值更新与旁观MR设备对应的虚拟场景。
S7、获取来自实体摄像机的真实场景；具有场外观察者权限的定位MR设备与实体摄像机物理固定。
S8、根据定位MR设备的实时位置信息叠加所述真实场景和与服务器对应的虚拟场景，得到混合现实场景；具体为：
实时获取定位MR设备在所述坐标系中的坐标，得到定位坐标；
获取实体摄像机的视场角；
根据所述视场角、所述定位坐标和定位MR设备1的当前旋转偏移量转换与服务器对应的虚拟场景，得到当前虚拟场景；渲染所述当前虚拟场景至所述真实场景。
S9、触发显示设备显示所述混合现实场景。
本发明的实施例三为：
本实施例为应用本发明提供的显示混合现实场景的系统进行仓颉造字MR互动游戏。
本实施例所需的硬件如表1所示：
表1
Figure BDA0001390612700000121
后台导演在服务器上点击“出题”，所有MR设备及与节目录制系统连接的大屏幕上出现被打乱的汉字碎片虚拟场景；
选手1操作其中一个碎片，该碎片的数据被上传至服务器，然后由服务器通过无线路由广播给所有嘉宾佩戴的MR设备上及所有Mac Pro上运行的MR游戏。在本实施例中，由于本实施例涉及的仓颉造字游戏为竞技比赛，因此，选手1和选手2之间不能互相查看对方进度，数据不共享。但是，选手1和选手2操作碎片的数据会广播至嘉宾佩戴的MR设备及服务器上；
服务器的虚景渲染器上的虚拟场景和摄像机拍摄的实景混合之后输出虚实结合的画面，该画面通过节目录制系统呈现在各场外观从面前。
综上所述，本发明提供的一种显示混合现实场景的方法及系统，本发明将实体摄像机与一MR设备物理固定，使得服务器可根据所述一MR设备的位置信息间接获知实体摄像机的位置信息，从而实现实体摄像机在任一位置获取真实场景时，都能够获取与所述真实场景匹配的虚拟场景，叠加所述真实场景和所述虚拟场景就可以，以实体摄像机当前位置的视角显示佩戴MR设备的玩家可观看到的混合现实场景；未佩戴MR设备的观众也能够通过现场的显示设备体验玩家所观看到的混合现实场景。同时，玩家的用户操作数据会同步更新至具有场内观察者权限的MR设备，评委还可通过具有场内观察者权限的MR设备更好的体验玩家所观看到的混合现实场景。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (4)

1.一种显示混合现实场景的方法，其特征在于，包括：
S1、为三个以上MR设备配置权限；所述权限包括玩家权限、场内观察者权限和场外观察者权限；
S2、具有玩家权限的玩家MR设备修改与自身对应的虚拟场景中一虚拟物体的属性值；
S3、具有场内观察者权限的旁观MR设备和服务器根据所述属性值分别更新与自身对应的虚拟场景；
所述S3具体为：
当服务器接收到来自一MR设备的属性值时，验证所述一MR设备的权限，得到验证结果；所述验证结果包括玩家权限、场内观察者权限和场外观察者权限；
若所述验证结果为玩家权限，则：
服务器根据所述属性值更新与服务器对应的虚拟场景；
服务器发送所述属性值至旁观MR设备；
旁观MR设备根据属性值更新与旁观MR设备对应的虚拟场景；
S4、实体摄像机获取真实场景；具有场外观察者权限的定位MR设备与实体摄像机物理固定；
S5、服务器根据所述定位MR设备的实时位置信息叠加所述真实场景和与服务器对应的虚拟场景，得到混合现实场景；
所述S5具体为：
实时获取定位MR设备在坐标系中的坐标，得到定位坐标；
获取实体摄像机的视场角；
根据所述视场角、所述定位坐标和定位MR设备的当前旋转偏移量转换与服务器对应的虚拟场景，得到当前虚拟场景；渲染所述当前虚拟场景至所述真实场景；
S6、显示设备显示所述混合现实场景；
还包括：
获取与玩家MR设备对应的第一空间模型；
获取与旁观MR设备对应的第二空间模型；
获取与定位MR设备对应的第三空间模型；
预设一位置恒定的虚拟物体；
以所述位置恒定的虚拟物体为参照物映射所述第一空间模型、所述第二空间模型和所述第三空间模型至同一坐标系。
2.根据权利要求1所述的显示混合现实场景的方法，其特征在于，还包括：
水平放置实体摄像机；
修改定位MR设备的初始水平旋转偏移量为零；
根据所述真实场景和与定位MR设备对应的虚拟场景计算定位MR设备相对于实体摄像机的垂直旋转偏移量，得到相对垂直旋转偏移量；
根据所述相对垂直旋转偏移量修改定位MR设备的初始垂直旋转偏移量。
3.一种显示混合现实场景的系统，其特征在于，包括三个以上MR设备、实体摄像机、显示设备和服务器；
所述服务器包括一个或多个处理器及存储器，所述存储器存储有程序，并且被配置成由所述一个或多个处理器执行以下步骤：
S1、为三个以上MR设备配置权限；所述权限包括玩家权限、场内观察者权限和场外观察者权限；
S2、当具有玩家权限的玩家MR设备修改与自身对应的虚拟场景中一虚拟物体的属性值时，获取所述属性值；
S3、根据所述属性值更新与服务器对应的虚拟场景；触发具有场内观察者权限的旁观MR设备根据所述属性值更新与旁观MR设备对应的虚拟场景；
所述S3具体为：
当服务器接收到来自一MR设备的属性值时，验证所述一MR设备的权限，得到验证结果；所述验证结果包括玩家权限、场内观察者权限和场外观察者权限；
若所述验证结果为玩家权限，则：
服务器根据所述属性值更新与服务器对应的虚拟场景；
服务器发送所述属性值至旁观MR设备；
旁观MR设备根据属性值更新与旁观MR设备对应的虚拟场景；
S4、获取来自实体摄像机的真实场景；具有场外观察者权限的定位MR设备与实体摄像机物理固定；
S5、根据定位MR设备的实时位置信息叠加所述真实场景和与服务器对应的虚拟场景，得到混合现实场景；
所述S5具体为：
实时获取定位MR设备在坐标系中的坐标，得到定位坐标；
获取实体摄像机的视场角；
根据所述视场角、所述定位坐标和定位MR设备的当前旋转偏移量转换与服务器对应的虚拟场景，得到当前虚拟场景；渲染所述当前虚拟场景至所述真实场景；
S6、触发显示设备显示所述混合现实场景；
还包括：
获取与玩家MR设备对应的第一空间模型；
获取与旁观MR设备对应的第二空间模型；
获取与定位MR设备对应的第三空间模型；
预设一位置恒定的虚拟物体；
以所述位置恒定的虚拟物体为参照物映射所述第一空间模型、所述第二空间模型和所述第三空间模型至同一坐标系。
4.根据权利要求3所述的显示混合现实场景的系统，其特征在于，还包括：
水平放置实体摄像机；
修改定位MR设备的初始水平旋转偏移量为零；
根据所述真实场景和与定位MR设备对应的虚拟场景计算定位MR设备相对于实体摄像机的垂直旋转偏移量，得到相对垂直旋转偏移量；
根据所述相对垂直旋转偏移量修改定位MR设备的初始垂直旋转偏移量。
CN201710748651.2A 2017-08-28 2017-08-28 一种显示混合现实场景的方法及系统 Active CN109427095B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710748651.2A CN109427095B (zh) 2017-08-28 2017-08-28 一种显示混合现实场景的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710748651.2A CN109427095B (zh) 2017-08-28 2017-08-28 一种显示混合现实场景的方法及系统

Publications (2)

Publication Number Publication Date
CN109427095A CN109427095A (zh) 2019-03-05
CN109427095B true CN109427095B (zh) 2022-10-21

Family

ID=65502431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710748651.2A Active CN109427095B (zh) 2017-08-28 2017-08-28 一种显示混合现实场景的方法及系统

Country Status (1)

Country Link
CN (1) CN109427095B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112148122A (zh) * 2020-08-25 2020-12-29 中国电子科技集团公司第三十八研究所 面向穿戴式增强/混合现实设备的第三方视角实现方法
CN114489342A (zh) * 2022-01-29 2022-05-13 联想(北京)有限公司 图像处理方法、装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104715479A (zh) * 2015-03-06 2015-06-17 上海交通大学 基于增强虚拟的场景复现检测方法
CN106898049A (zh) * 2017-01-18 2017-06-27 北京商询科技有限公司 一种用于混合现实设备的空间匹配方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160267720A1 (en) * 2004-01-30 2016-09-15 Electronic Scripting Products, Inc. Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104715479A (zh) * 2015-03-06 2015-06-17 上海交通大学 基于增强虚拟的场景复现检测方法
CN106898049A (zh) * 2017-01-18 2017-06-27 北京商询科技有限公司 一种用于混合现实设备的空间匹配方法及系统

Also Published As

Publication number Publication date
CN109427095A (zh) 2019-03-05

Similar Documents

Publication Publication Date Title
CN110382066B (zh) 混合现实观察器系统和方法
CN107976811B (zh) 一种基于虚拟现实混合的仿真实验室及其仿真方法
US10692288B1 (en) Compositing images for augmented reality
CN108648257B (zh) 全景画面的获取方法、装置、存储介质及电子装置
CN105137705B (zh) 一种虚拟球幕的创建方法和装置
US20050219695A1 (en) Horizontal perspective display
WO2018000609A1 (zh) 一种虚拟现实系统中分享3d影像的方法和电子设备
US20210038975A1 (en) Calibration to be used in an augmented reality method and system
JPWO2017094543A1 (ja) 情報処理装置、情報処理システム、情報処理装置の制御方法、及び、パラメーターの設定方法
CN106210856A (zh) 在网络视频直播平台上观看3d全景视频的方法及系统
CN109246404A (zh) 包括方向可变的观众坐位的多投影系统和方法
CN109427095B (zh) 一种显示混合现实场景的方法及系统
CN104317546A (zh) 情景互动体验仿真系统
CN106530408A (zh) 博物馆临时展览规划设计的系统
WO2017062730A1 (en) Presentation of a virtual reality scene from a series of images
Constantine et al. Project esky: Enabling high fidelity augmented reality on an open source platform
Marner et al. Exploring interactivity and augmented reality in theater: A case study of Half Real
EP3542877A1 (en) Optimized content sharing interaction using a mixed reality environment
CN103871094A (zh) 一种基于体扫描三维显示系统数据源生成方法
CN109427094B (zh) 一种获取混合现实场景的方法及系统
IJsselsteijn et al. A room with a cue: The efficacy of movement parallax, occlusion, and blur in creating a virtual window
CN115423916A (zh) 基于xr技术的沉浸式互动直播构建方法、系统及介质
CN114708407A (zh) 虚拟三维空间信息展示方法、装置及程序产品
CN110197524A (zh) 立体显示方法、设备、装置和计算机可读存储介质
KR102492985B1 (ko) 디지털 트윈 기반의 메타버스를 제공하는 디지털 테마파크 구현 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant