CN106598229B - 一种虚拟现实场景的生成方法、设备及虚拟现实系统 - Google Patents

一种虚拟现实场景的生成方法、设备及虚拟现实系统 Download PDF

Info

Publication number
CN106598229B
CN106598229B CN201611040313.5A CN201611040313A CN106598229B CN 106598229 B CN106598229 B CN 106598229B CN 201611040313 A CN201611040313 A CN 201611040313A CN 106598229 B CN106598229 B CN 106598229B
Authority
CN
China
Prior art keywords
scene
target
information
real
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611040313.5A
Other languages
English (en)
Other versions
CN106598229A (zh
Inventor
高进宝
姜滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN201611040313.5A priority Critical patent/CN106598229B/zh
Priority to PCT/CN2016/113087 priority patent/WO2018086224A1/zh
Publication of CN106598229A publication Critical patent/CN106598229A/zh
Application granted granted Critical
Publication of CN106598229B publication Critical patent/CN106598229B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种虚拟现实场景的生成方法、设备以及虚拟现实系统。该虚拟现实场景的生成方法包括:响应于用户对目标远程现实场景的请求,根据用户的现实场景信息获取目标场景信息;根据目标场景信息,生成对应的目标虚拟现实场景以用于向用户展现。根据本发明,可以向用户提供如同实时置身于远程现实场景的全新虚拟现实体验。

Description

一种虚拟现实场景的生成方法、设备及虚拟现实系统
技术领域
本发明涉及虚拟显示技术,更具体地,涉及一种虚拟现实场景的生成方法、设备及虚拟现实系统。
背景技术
虚拟现实技术(VR,Virtual Reality)是仿真技术的一个重要方向,是仿真技术与计算机图形学、人机接口技术、多媒体技术、传感技术、网络技术等多种技术的集合,主要包括模拟环境、感知、自然技能和传感设备等方面。模拟环境是由计算机生成的、实时动态的三维立体逼真图像。除计算机图形技术所生成的视觉感知外,还有听觉、触觉、力觉、运动等感知,甚至还包括嗅觉和味觉等,也称为多感知。自然技能是指人的头部转动,眼睛、手势、或其他人体行为动作,由计算机来处理与参与者的动作相适应的数据,并对用户的输入作出实时响应,并分别反馈到用户的五官。通过虚拟现实技术,可以利用计算机生成一种模拟环境,通过多源信息融合的交互式的三维动态视景和实体行为的系统仿真,使用户沉浸到该环境中,得到虚拟现实的体验。
目前业界已经有许多公司推出虚拟现实产品,例如虚拟现实眼镜、虚拟现实头盔等。然而,目前的虚拟现实设备,多数应用于游戏或者影像视听,所虚拟的场景都是游戏中预置的场景或者是预置的影片、视频中涉及的场景,并不是真的虚拟真实存在的现实场景。无法为用户提供一种置身于实时的现实场景的虚拟现实体验。
因此,发明人认为,有必要对上述现有技术中存在的技术问题进行改进。
发明内容
本发明的一个目的是提供一种用于生成虚拟现实场景的新技术方案。
根据本发明的第一方面,提供了一种虚拟现实场景的生成方法没包括:
响应于用户对目标远程现实场景的请求,根据用户的现实场景信息获取目标场景信息,其中,所述现实场景信息至少包括用户在本地现实场景的位置信息和身体姿态信息,所述目标场景信息至少包括所述目标远程现实场景中的实时画面信息;
根据所述目标场景信息,生成对应的目标虚拟现实场景以用于向用户展现。
可选地,所述获取目标场景信息的步骤包括:
根据用户的现实场景信息设置用户在场景坐标系下的目标场景坐标;
根据所述目标场景坐标,定位目标远程现实场景;
根据通过全景摄像机所获取的所述目标远程现实场景的实时全景视频,生成目标场景信息。
可选地,所述虚拟现实场景的生成方法还包括:
当所述现实场景信息发生变化时,根据变化后的所述现实场景信息,重新获取目标场景信息以生成变化后的目标虚拟现实场景。
可选地,所述虚拟现实场景的生成方法还包括:
通过定位传感器获取所述现实场景信息。
可选地,所述目标场景信息还包括所述目标远程现实场景中的实时声音信息、实时温度信息、实时湿度信息、实时气味信息中的至少一种。
根据本发明的第二方面,提供一种虚拟现实场景的生成设备,包括:
场景信息获取单元,用于响应于用户对目标远程现实场景的请求,根据用户的现实场景信息获取目标场景信息,其中,所述现实场景信息至少包括用户在本地现实场景的位置信息和身体姿态信息,所述目标场景信息至少包括所述目标远程现实场景中的实时画面信息;
目标场景生成单元,用于根据所述目标场景信息,生成对应的目标虚拟现实场景以用于向用户展现。
可选地,所述场景信息获取单元,包括:
坐标设置单元,用于根据用户的现实场景信息设置用户在场景坐标系下的目标场景坐标;
场景定位单元,用于根据所述目标场景坐标,定位目标远程现实场景;
信息生成单元,用于根据通过全景摄像机所获取的所述目标远程现实场景的实时全景视频,生成目标场景信息。
可选地,所述虚拟现实场景的生成设备,还包括:
变化控制单元,用于当所述现实场景信息发生变化时,根据变化后的所述现实场景信息,重新获取目标场景信息以生成变化后的目标虚拟现实场景。
可选地,所述虚拟现实场景的生成设备,还包括:
现实信息获取单元,用于通过定位传感器获取所述现实场景信息。
根据本发明的第三方面,提供一种虚拟现实系统,包括本发明第二方面提供个任意一项虚拟现实场景的生成设备。
本发明的发明人发现,在现有技术中,尚未存在一种可以根据远程现实场景生成虚拟现实场景以向用户提供如同实时置身远程现实场景的全新虚拟现实体验的虚拟现实场景的生成方法、设备及虚拟现实系统。因此,本发明所要实现的技术任务或者所要解决的技术问题是本领域技术人员从未想到的或者没有预期到的,故本发明是一种新的技术方案。
通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例,并且连同其说明一起用于解释本发明的原理。
图1是显示可用于实现本发明的实施例的计算系统的硬件配置的例子的框图;
图2示出了本发明的实施例的虚拟现实场景的生成方法的流程图;
图3示出了本发明的实施例的获取目标场景信息步骤的流程图;
图4示出了本发明的实施例的虚拟现实场景的生成设备的示意框图;
图5示出了本发明的实施例的虚拟现实系统的示意图;
图6示出了本发明的实施例的虚拟现实场景的生成方法的示例流程。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
<硬件配置>
图1是示出可以实现本发明的实施例的计算机系统1000的硬件配置的框图。
如图1所示,计算机系统1000包括计算机1110。计算机1110包括经由系统总线1121连接的处理单元1120、系统存储器1130、固定非易失性存储器接口1140、移动非易失性存储器接口1150、用户输入接口1160、网络接口1170、视频接口1190和输出外围接口1195。
系统存储器1130包括ROM(只读存储器)和RAM(随机存取存储器)。BIOS(基本输入输出系统)驻留在ROM内。操作系统、应用程序、其它程序模块和某些程序数据驻留在RAM内。
诸如硬盘的固定非易失性存储器连接到固定非易失性存储器接口1140。固定非易失性存储器例如可以存储操作系统、应用程序、其它程序模块和某些程序数据。
诸如软盘驱动器和CD-ROM驱动器的移动非易失性存储器连接到移动非易失性存储器接口1150。例如,软盘可以被插入到软盘驱动器中,以及CD(光盘)可以被插入到CD-ROM驱动器内。
诸如鼠标和键盘的输入设备被连接到用户输入接口1160。
计算机1110可以通过网络接口1170连接到远程计算机1180。例如,网络接口1170可以通过局域网连接到远程计算机。或者,网络接口1170可以连接到调制解调器(调制器-解调器),以及调制解调器经由广域网连接到远程计算机1180。
远程计算机1180可以包括诸如硬盘的存储器,其可以存储远程应用程序。
视频接口1190连接到监视器。
输出外围接口1195连接到打印机和扬声器。
图1所示的计算机系统仅仅是说明性的并且决不意味着对本发明、其应用或使用的任何限制。应用于本发明实施例中,所述系统存储器1130用于存储指令,所述指令用于控制处理单元1120进行操作以执行本发明实施例提供的任意一项虚拟现实场景生成方法。本领域技术人员应当理解,尽管在图1中对计算机1100示出了多个装置,但是,本发明可以仅涉及其中的部分装置,例如,计算机1100只涉及处理单元1120和系统存储器1130等。技术人员可以根据本发明所公开方案设计指令。指令如何控制处理器进行操作,这是本领域公知,故在此不再详细描述。
<实施例>
本发明的总体构思,是一种可以根据用户请求的远程现实场景产生虚拟现实场景的新的技术方案,使得用户可以获取实时置身于远程现实场景中的全新的虚拟现实体验。
本实施例中首先提供一种虚拟现实场景生成方法,如图2所示,包括:
步骤S2100,响应于用户对目标远程现实场景的请求,根据用户的现实场景信息获取目标场景信息,其中,所述现实场景信息至少包括用户在本地现实场景的位置信息和身体姿态信息,所述目标场景信息至少包括所述目标远程现实场景中的实时画面信息。
在本实施例中,所述目标远程现实场景是现实中真实存在的远程场景,不同于现有技术中虚拟现实场频所使用的游戏中预置的场景或者是预置的影片、视频中涉及的场景,例如,用户身在中国,请求置身的目标远程场景是当前的埃及金字塔。
用户可以对实施本实施例的虚拟现实场景的生成方法的设备(例如虚拟现实设备或者与虚拟现实产品连接的主发送设备)请求其想置身的任何目标远程现实场景。响应于用户对目标远程现实场景的请求,实施本实施例的虚拟现实场景的生成方法的设备,根据用户的现实场景信息获取目标场景信息。
其中,所述现实场景信息是从用户所实际置身的现实场景中获取的,用于生成目标虚拟现实场景的信息,至少包括用户在本地现实场景的位置信息和身体姿态信息。所述现实场景信息可以通过定位传感器获取,该定位传感器可以是例如九轴运动传感器(包括三轴加速度计、三轴陀螺仪、三轴磁强计)、或者使用实施本实施例的虚拟现实产品中已有的传感器在加上外设的辅助体感传感器。因此,在一个例子中,本实施例中所提供的虚拟现实场景的生成方法,还包括:通过定位传感器获取所述现实场景信息。
而所述目标场景信息,是从目标远程现实场景中获取的,用于生成目标虚拟现实场景的信息,至少包括所述目标远程现实场景中的实时画面信息。通过目标远程现实场景的实时画面信息,可以生成目标虚拟现实场景向用户展现,使得用户如同实时置身于目标远程现实场景中得到全新的虚拟现实体验。
具体地,所述获取目标场景信息的步骤S2100包括:
S2101,根据用户的现实场景信息设置用户在场景坐标系下的目标场景坐标。
其中,场景坐标系是目标远程现实场景、用户所处的现实场景以及生成的虚拟现实场景中所共用的坐标系,使得用户在现实场景中发生移动或者视角变化时,能结合现实场景信息以及从目标远程现实场景中获取的目标场景信息,以模拟用户真实体验的方式生成目标现实虚拟场景。
具体地,场景坐标系的坐标原点可以根据用户的需求进行设置,例如,提供界面供用户输入或选择,以配置将所有场景中哪一点作为坐标原点;或者,可以默认以所有场景中央作为场景坐标系的坐标原点可。在某个例子中,当包含目标远程现实场景的现实场景中设置有可移动的全景摄像机时(例如被无人机或机器人搭载的全景摄像机),可以将该可移动的全景摄像机在现实场景中的位置作为坐标原点。此外,场景坐标系的坐标轴方向可以是在选定坐标原点后按现有的三维地图坐标轴方向。
根据用户的现实场景信息设置用户在场景坐标系下的目标场景坐标。具体地,在响应于用户的远程现实场景的请求的初始,可以提供界面供用户输入或选择,以配置在场景坐标系下哪一点作为其初始的目标场景坐标,也可以默认将用户的场景坐标设置为场景中央所对应的坐标,或者默认用户的初始的目标场景坐标为坐标原点(0,0,0);而当用户在现实场景中发生移动或者身体姿态变化导致用户的现实场景信息变化时,根据用户的现实场景信息设置用户在场景坐标系下的目标场景坐标,例如,用户初始位于场景坐标系的坐标原点(0,0,0),当在本地现实场景中平移了10米后,对应的在本地现实场景的位置信息发生变化,那么根据变化后的现实场景信息,将用户的设置用户在场景坐标系下的目标场景坐标为(10,0,0)。
在步骤S2102设置目标场景坐标之后,进入S2102,根据所述目标场景坐标,定位目标远程现实场景。
根据目标场景坐标定位目标远程现实场景可以有多种方式。
例如,包含目标远程现实场景的现实场景中设置有多个全景摄像机,通过计算每个全景摄像机控制的坐标范围,判断用户的目标场景坐标落在哪个全景摄像机控制的场景坐标范围内,将该全景摄像机控制的场景坐标范围内的,与目标场景坐标对应的场景定位为目标远程现实场景,此外,当由于用户在本地现实场景中的移动变化超过之前全景摄像头控制的场景坐标范围后,还可以根据用户的变化后的目标场景坐标,重新定位目标远程现实场景,假设用户平移10米,对应地,由初始位置坐标原点(0,0,0)变化得到变化后的目标场景坐标为(10,0,0),判断用户的目标场景坐标已经超过之前的全景摄像机所控制的场景坐标范围,相应地,切换到场景坐标控制范围内包含变化后的目标场景坐标的全景摄像机,将该全景摄像机控制的场景坐标范围内的,与目标场景坐标对应的场景定位为目标远程现实场景,例如用户初始的目标远程现实场景为客厅,平移10米,定位得到的目标远程现实场景为主卧。
又例如,包含目标远程现实场景的现实场景设置有可移动的全景摄像机,例如被无人机或机器人搭载的全景摄像机,当判断目标场景坐标不在该可移动的全景摄像机控制的场景坐标范围内时,驱动该全景摄像机移动(例如驱动无人机飞行)以保证该全景摄像机控制的场景坐标范围内包含目标场景坐标,将与目标场景坐标对应的场景定位为目标远程现实场景。
此外,在响应于用户对目标远程现实场景的请求的初始,可以将目标远程现实场景定位于与目标远程现实场景相关的第一场景空间的场景。该第一场景空间可以是用户选择设置的,也可以是默认设置的。例如,用户请求的目标远程现实场景是埃及,可以由用户设置第一场景空间为埃及机场,也可以默认设置第一场景空间为埃及机场,又例如,用户请求的目标远程现实场景是自己家,可以由用户设置第一场景空间为客厅,也可以默认设置第一场景空间是客厅。
在步骤S2202中定位目标远程现实场景后,进入步骤S2203,根据通过全景摄像机所获取的所述目标远程现实场景的实时全景视频,生成目标场景信息。
所述全景摄像机,是可以独立实现大范围无死角监控的摄像机,可无盲点监测覆盖所处场景。在本实施例中,所述全景摄像机可以是具有360度视角的全景摄像机。所述全景摄像机,可以是初始设置于目标远程现实场景中或者与目标远程现实场景相关的现实场景中的可移动的全景摄像机,例如,被无人机或者机器人搭载的全景摄像机;也可以是固定设置于与用户请求的目标远程现实场景中,并且,与目标远程现实场景相关的现实场景中还可以分布设置有多个这样固定设置的全景摄像机。
在步骤S2202之后,定位的目标远程现实场景是对应于目标场景坐标并落入某个全景摄像机的场景坐标控制范围之内的场景,因此,可以通过该全景摄像机获取目标远程现实场景的实时全景视频,而根据该实时全景视频生成的目标场景信息,可以是从该实时全景视频中抽取至少实时画面信息,也可以是该实时全景视频对应的实时全景视频信息。在一个例子中,实施本虚拟现实场景生成方法的设备与所述展现目标虚拟现实场景的虚拟显示设备(例如虚拟现实眼镜)通过无线或者有线网络连接,在某些传输带宽较小的应用场景,可以将该实时全景视频简化处理并压缩后生成所述目标场景信息,以利于传输。而在某些传输带宽充足的应用场景,可以将该实时全景视频不做压缩处理而进行传输。
此外,所述目标场景信息还可以包括所述目标场景信息还包括所述目标远程现实场景中的实时声音信息、实时温度信息、实时湿度信息以及实时气味信息等,例如,可以通过设置于目标远程现实场景中的温度传感器获取目标远程现实场景的实时温度信息,根据实时温度信息在生成的目标虚拟现实场景时设置对应的实时温度,通过可调温度的空间体验仓,令用户得到实时的温度体验;也可以通过设置于目标远程现实场景中的湿度传感器获取目标远程现实场景的实时湿度信息,根据实时湿度信息在生成的目标虚拟现实场景时设置对应的实时湿度,通过可调湿度的空间体验仓,令用户得到实时的湿度体验;还可以通过设置于目标远程现实场景中的气味传感器获取目标远程现实场景的实时气味信息,根据实时气味信息在生成的目标虚拟现实场景时设置通过气味生成器产生对应的气味,令用户得到实时的湿度体验。如此,可以丰富用户在虚拟现实场景中得到的虚拟现实体验。
通过上述描述的例子完成步骤S2100之后,进入步骤S2200,根据所述目标场景信息,生成目标虚拟现实场景以用于向用户呈现。
在本实施例中,所述目标场景信息至少包括所述目标远程现实场景中的实时画面信息,对应的,生成的目标虚拟现实场景,是可以向通过例如虚拟显示眼镜展现的目标远程现实场景中的实时画面,令用户得到如同实时置身于目标远程现实场景中的全新虚拟现实体验。
进一步地,所述目标场景信息还可以包括所述目标场景信息还包括所述目标远程现实场景中的实时声音信息、实时温度信息、实时湿度信息以及实时气味信息等,对应地,生成的目标虚拟现实场景中,不仅包含了可以向通过例如虚拟显示眼镜展现的目标远程现实场景中的实时画面,还包含了可以通过耳机或者音响听到与目标远程现实场景同步的声音、通过设置有可调温度、可调湿度的虚拟空间体验仓提供的与目标远程现时场景同步的温度、湿度体验,以及通过气味生成器产生的与目标远程现时场景同步的气味,令用户得到更丰富的如同置身于目标远程现实场景中的全新虚拟现实体验。
通过上述实施例,以如图2或图3所示的虚拟现实场景生成方法,可以令用户得到如同置身于目标远程现实场景中的全新虚拟现实体验。而当用户的现实场景信息发生变化时,例如用户移动或者做动作,使得其在本地现实场景的位置信息或者身体姿态信息发生变化时,可以根据变化后的所述现实场景信息,重新获取目标场景信息以生成变化后的目标虚拟现实场景。具体地,可以如前述图2或图3所示的虚拟现实场景生成方法中获取目标场景信息的步骤,在此不再赘述。如此,将用户的现实场景信息变化融合于目标虚拟现实场景中,可以令用户获取逼真的虚拟显示体验,因此,本实施例中的虚拟现实场景生成方法还包括:当所述现实场景信息发生变化时,根据变化后的所述现实场景信息,重新获取目标场景信息以生成变化后的目标虚拟现实场景。
在本实施例中,还提供一种如图4所示的虚拟现实场景的生成设备4000,包括场景信息获取单元4100、目标场景生成单元4200,可选地,还包括坐标设置单元4300、场景定位单元4400、信息生成单元4500、变化控制单元4600以及现实信息获取单元4700,用于实施本实施例中提供的任意一种虚拟现实场景生成方法,在此不再赘述。
虚拟现实场景的生成设备4000,包括:
场景信息获取单元4100,用于响应于用户对目标远程现实场景的请求,根据用户的现实场景信息获取目标场景信息,其中,所述现实场景信息至少包括用户在本地现实场景的位置信息和身体姿态信息,所述目标场景信息至少包括所述目标远程现实场景中的实时画面信息;
目标场景生成单元4200,用于根据所述目标场景信息,生成对应的目标虚拟现实场景以用于向用户展现。
可选地,场景信息获取单元4100,包括:
坐标设置单元4300,用于根据用户的现实场景信息设置用户在场景坐标系下的目标场景坐标;
场景定位单元4400,用于根据所述目标场景坐标,定位目标远程现实场景;
信息生成单元4500,用于根据通过全景摄像机所获取的所述目标远程现实场景的实时全景视频,生成目标场景信息。
可选地,虚拟现实场景的生成设备4000,还包括:
变化控制单元4600,用于当所述现实场景信息发生变化时,根据变化后的所述现实场景信息,重新获取目标场景信息以生成变化后的目标虚拟现实场景。
可选地,虚拟现实场景的生成设备4000,还包括:
现实信息获取单元4700,用于通过定位传感器获取所述现实场景信息。
在本实施例中,还提供一种虚拟现实系统5000,包括本实施例中提供任意一项虚拟现实场景生成设备4000。
例如,如图5所示,虚拟现实系统5000中包括虚拟现实设备5100、虚拟现实场景的生成设备4000、若干个设置于远程现实场景的全景摄像机5200以及网络5301、5302,其中:
虚拟现实设备5100,用于向用户展现通过虚拟现实场景的生成设备4000生成的目标虚拟现实场景,例如,虚拟现实设备5100可以虚拟现实眼镜、虚拟现实头盔等;
虚拟现实场景的生成设备4000,用于实施本实施例中提供任何一项的虚拟现实场景的生成方法,在此不再赘述;
网络5301,用于连接虚拟现实场景的生成设备4000与虚拟现实设备5100,根据应用场景,可以是无线网络也可以是有线网络,可以是广域网也可以是局域网;
网络5302,用于连接虚拟现实场景的生成设备4000与全景摄像机5200,根据应用场景,可以是无线网络也可以是有线网络,可以是广域网也可以是局域网;
全景摄像机5200,用于获取远程现实场景的实时视频以生成目标场景信息,该全景摄像机5200可以是固定设置于远程现实场景中,也可以是可移动地,位于目标远程现实场景中,例如被位于远程现实场景的无人机或者机器人承载。
此外,在本实施例中,并不限制虚拟现实场景的生成设备4000的具体实施形式,虚拟现实场景的生成设备4000可以是独立于虚拟现实设备5100之外的实体设备,例如,如图1所示的计算机1100,虚拟现实场景的生成设备4000也可以是部分功能单元包含在虚拟现实设备5100之中,部分功能单元包含在独立于虚拟现实设备5100的实体设备中。只要实现虚拟现实场景的生成设备4000的功能的设备,无论是以独立实体设备形式,还是以分离的多个实体设备形式实施,均未能避开本实施例的保护范围。
<例子>
以下将结合图6进一步说明本实施例中提供的虚拟现实场景生成方法。在本例中,是以如图5所示的虚拟现实系统实施虚拟现实场景的生成方法,具体地,本例中,虚拟现实设备5100为虚拟现实眼镜,用户的本地现实场景是在家中,请求的目标远程现实场景是植物园,以虚拟现实场景的生成方法包括:
步骤S601,响应于用户对植物园的实时场景的请求,将用户的初始坐标设置为所有场景中央,与场景坐标系的原点一致,进入步骤S602,
步骤S602,默认第一场景空间为植物园入口,通过设置在植物园入口的全景摄像机获取植物园入口的实时视频,通过网络5302传输至虚拟现实场景的生成设备4000,在简化处理并压缩后通过网络5301传输至用户佩戴的虚拟现实眼镜,展现给用户植物园入口这一初始虚拟现实场景,之后进入步骤S603;
步骤S603,根据定位传感器实时获取的用户的现实场景信息,包括用户在本地现实场景的位置信息和身体姿态信息,根据实时获取的现实场景信息设置用户在场景坐标系下的目标场景坐标,例如,用户在本地现实场景中沿场景坐标系的X轴方向走了10米,用户的场景坐标为(10,0,0),之后进入步骤S604;
步骤S604,根据用户的目标场景坐标,定位目标远程现实场景,例如用户的目标场景坐标为(10,0,0),较初始场景坐标发生变化,如果未超出当前获取目标远程实时场景的全景摄像机的场景坐标控制范围,则定位目标远程现实场景未发生变化,否则,若目标场景坐标已经超出当前获取目标远程实时场景的全景摄像机的场景坐标控制范围,若该全景摄像机是固定设置的,则切换全景摄像机,使得目标场景坐标落在该全景摄像机的场景坐标控制范围;若该全景摄像机是可移动的,例如被无人机或者机器人承载,则控制驱动无人机或者机器人做相应的移动,使得目标场景坐标落在该全景摄像机的场景坐标控制范围。重新定位的目标远程现实场景是与目标场景坐标对应的远程现实场景。例如,目标场景坐标为(10,0,0),则对应是从植物园入口沿X轴方向前进10米看到的植物园的中心广场的场景,之后进入步骤S605;
步骤S605,根据通过全景摄像机所获取的所述目标远程现实场景的实时全景视频,生成目标场景信息,例如,通过设置在植物园的中心广场的全景摄像机获取植物园的中心广场的实时视频,通过网络5302传输至虚拟现实场景的生成设备4000,简化处理并压缩得到实时视频信息通过网络5301传输至用户佩戴的虚拟现实眼镜,进入步骤S606;
步骤S606,根据接收的实时视频信息生成对应的目标虚拟现实场景,例如,生成植物园的中心广场的场景,通过虚拟现实眼镜向用户展现,进入步骤S607;
步骤S607,响应于用户终止获取虚拟现实场景的请求,结束虚拟现实场景的生成,否则,在向用户展现当前与目标远程现实场景对应的目标虚拟现实场景后,转回步骤S603,对通过定位传感器实时获取的现实场景信息,继续执行步骤S603至步骤S604,使得现实场景信息发生变化时,例如用户的移动或者动作导致用户在本地现实场景中的位置信息或者身体姿态信息发送变化时,对应地,根据变化后的所述现实场景信息,重新获取目标场景信息以生成变化后的目标虚拟现实场景。
以上已经结合附图描述了本发明的实施例,根据本实施例,可以响应于用户对目标远程现实场景的请求,根据用户的现实场景信息获取目标场景信息,并根据目标场景信息生成与目标远程现实场景对应的虚拟现实场景,使得用户获得实时置身于远程现实场景中的全新的虚拟现实体验。
本领域技术人员应当明白,可以通过各种方式来实现虚拟现实场景的生成设备4000。例如,可以通过指令配置处理器来实现虚拟现实场景的生成设备4000。例如,可以将指令存储在ROM中,并且当启动设备时,将指令从ROM读取到可编程器件中来实现虚拟现实场景的生成设备4000。例如,可以将虚拟现实场景的生成设备4000固化到专用器件(例如ASIC)中。可以将虚拟现实场景的生成设备4000分成相互独立的单元,或者可以将它们合并在一起实现。虚拟现实场景的生成设备4000可以通过上述各种实现方式中的一种来实现,或者可以通过上述各种实现方式中的两种或更多种方式的组合来实现。
本领域技术人员公知的是,随着诸如大规模集成电路技术的电子信息技术的发展和软件硬件化的趋势,要明确划分计算机系统软、硬件界限已经显得比较困难了。因为,任何操作可以软件来实现,也可以由硬件来实现。任何指令的执行可以由硬件完成,同样也可以由软件来完成。对于某一机器功能采用硬件实现方案还是软件实现方案,取决于价格、速度、可靠性、存储容量、变更周期等非技术性因素。因此,对于电子信息技术领域的普通技术人员来说,更为直接和清楚地描述一个技术方案的方式是描述该方案中的各个操作。在知道所要执行的操作的情况下,本领域技术人员可以基于对所述非技术性因素的考虑直接设计出期望的产品。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是,通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (6)

1.一种虚拟现实场景的生成方法,其特征在于,包括:
响应于用户对目标远程现实场景的请求,根据用户的现实场景信息获取目标场景信息,其中,所述现实场景信息至少包括用户在本地现实场景的位置信息和身体姿态信息,所述目标场景信息至少包括目标现实场景中的实时画面信息;所述目标远程现实场景是现实中真实存在的远程场景;
根据所述目标场景信息,生成对应的目标虚拟现实场景以用于向用户展现;
以及,
当所述现实场景信息发生变化时,根据变化后的所述现实场景信息,重新获取目标场景信息以生成变化后的目标虚拟现实场景;
其中,所述获取目标场景信息的步骤包括:
根据用户的现实场景信息设置用户在场景坐标系下的目标场景坐标;
根据所述目标场景坐标,定位目标远程现实场景;
根据通过全景摄像机所获取的所述目标远程现实场景的实时全景视频,生成目标场景信息。
2.根据权利要求1所述的生成方法,其特征在于,还包括:
通过定位传感器获取所述现实场景信息。
3.根据权利要求1所述的生成方法,其特征在于,
所述目标场景信息还包括所述目标远程现实场景中的实时声音信息、实时温度信息、实时湿度信息、实时气味信息中的至少一种。
4.一种虚拟现实场景的生成设备,其特征在于,包括:
场景信息获取单元,用于响应于用户对目标远程现实场景的请求,根据用户的现实场景信息获取目标场景信息,其中,所述现实场景信息至少包括用户在本地现实场景的位置信息和身体姿态信息,所述目标场景信息至少包括目标现实场景中的实时画面信息;所述目标远程现实场景是现实中真实存在的远程场景;
目标场景生成单元,用于根据所述目标场景信息,生成对应的目标虚拟现实场景以用于向用户展现;
变化控制单元,用于当所述现实场景信息发生变化时,根据变化后的所述现实场景信息,重新获取目标场景信息以生成变化后的目标虚拟现实场景;
所述场景信息获取单元,包括:
坐标设置单元,用于根据用户的现实场景信息设置用户在场景坐标系下的目标场景坐标;
场景定位单元,用于根据所述目标场景坐标,定位目标远程现实场景;
信息生成单元,用于根据通过全景摄像机所获取的所述目标远程现实场景的实时全景视频,生成目标场景信息。
5.根据权利要求4所述的生成设备,其特征在于,还包括:
现实信息获取单元,用于通过定位传感器获取所述现实场景信息。
6.一种虚拟现实系统,其特征在于,包括根据权利要求4或5所述的虚拟现实场景的生成设备。
CN201611040313.5A 2016-11-11 2016-11-11 一种虚拟现实场景的生成方法、设备及虚拟现实系统 Active CN106598229B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201611040313.5A CN106598229B (zh) 2016-11-11 2016-11-11 一种虚拟现实场景的生成方法、设备及虚拟现实系统
PCT/CN2016/113087 WO2018086224A1 (zh) 2016-11-11 2016-12-29 一种虚拟现实场景的生成方法、设备及虚拟现实系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611040313.5A CN106598229B (zh) 2016-11-11 2016-11-11 一种虚拟现实场景的生成方法、设备及虚拟现实系统

Publications (2)

Publication Number Publication Date
CN106598229A CN106598229A (zh) 2017-04-26
CN106598229B true CN106598229B (zh) 2020-02-18

Family

ID=58592831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611040313.5A Active CN106598229B (zh) 2016-11-11 2016-11-11 一种虚拟现实场景的生成方法、设备及虚拟现实系统

Country Status (2)

Country Link
CN (1) CN106598229B (zh)
WO (1) WO2018086224A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107315481B (zh) * 2017-07-17 2020-04-14 西交利物浦大学 一种虚拟环境下交互行为的控制方法及控制系统
CN107797836B (zh) * 2017-08-25 2020-03-27 深圳壹账通智能科技有限公司 虚拟现实页面的生成方法、装置、服务器和存储介质
CN114527872B (zh) * 2017-08-25 2024-03-08 深圳市瑞立视多媒体科技有限公司 虚拟现实交互系统、方法及计算机存储介质
CN107632705A (zh) * 2017-09-07 2018-01-26 歌尔科技有限公司 沉浸式交互方法、设备、系统及虚拟现实设备
CN107566510B (zh) * 2017-09-20 2020-12-01 歌尔光学科技有限公司 远程医疗诊断服务系统
CN109752951B (zh) 2017-11-03 2022-02-08 腾讯科技(深圳)有限公司 控制系统的处理方法、装置、存储介质和电子装置
CN109995838B (zh) * 2018-01-02 2021-08-06 中国移动通信有限公司研究院 虚拟内容调度方法、装置、设备及计算机可读存储介质
CN108805985B (zh) * 2018-03-23 2022-02-15 福建数博讯信息科技有限公司 虚拟空间方法和装置
CN108573531A (zh) * 2018-04-23 2018-09-25 新华网股份有限公司 终端设备以及虚拟现实显示的方法
CN111383344A (zh) * 2018-12-29 2020-07-07 深圳市优必选科技有限公司 一种虚拟场景的生成方法及装置、计算机设备、存储介质
CN111414072A (zh) * 2019-01-07 2020-07-14 光宝电子(广州)有限公司 混合现实系统、气味提供方法以及用户设备
CN111479087A (zh) * 2019-01-23 2020-07-31 北京奇虎科技有限公司 3d监控场景控制方法、装置、计算机设备及存储介质
CN112073299B (zh) * 2020-08-27 2022-06-03 腾讯科技(深圳)有限公司 一种剧情聊天方法
CN113608613B (zh) * 2021-07-30 2023-06-23 建信金融科技有限责任公司 虚拟现实互动方法、装置、电子设备及计算机可读介质
CN117440175A (zh) * 2022-07-14 2024-01-23 抖音视界有限公司 用于视频传输的方法、装置、系统、设备和介质
CN115546453B (zh) * 2022-12-01 2023-03-14 启迪数字科技(深圳)有限公司 基于线下展馆实现的虚拟展馆信息同步方法、装置和系统
CN116594511B (zh) * 2023-07-17 2023-11-07 天安星控(北京)科技有限责任公司 基于虚拟现实的场景体验方法、装置、计算机设备和介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103516808A (zh) * 2013-10-21 2014-01-15 上海佳世展览有限公司 智慧展馆移动终端虚实交互平台
CN105608746A (zh) * 2016-03-16 2016-05-25 成都电锯互动科技有限公司 一种将现实进行虚拟实现的方法
CN105786178A (zh) * 2016-02-23 2016-07-20 广州视睿电子科技有限公司 场景对象信息呈现方法和系统
CN105807931A (zh) * 2016-03-16 2016-07-27 成都电锯互动科技有限公司 一种虚拟现实的实现方法
CN105872575A (zh) * 2016-04-12 2016-08-17 乐视控股(北京)有限公司 基于虚拟现实的直播方法及装置
CN105975077A (zh) * 2016-05-09 2016-09-28 句容美宅网络科技有限公司 一种vr看房系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104748746B (zh) * 2013-12-29 2017-11-03 刘进 智能机姿态测定及虚拟现实漫游方法
CN103810353A (zh) * 2014-03-09 2014-05-21 杨智 一种虚拟现实中的现实场景映射系统和方法
US9744449B2 (en) * 2014-12-22 2017-08-29 Sony Interactive Entertainment Inc. Peripheral devices having dynamic weight distribution to convey sense of weight in HMD environments

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103516808A (zh) * 2013-10-21 2014-01-15 上海佳世展览有限公司 智慧展馆移动终端虚实交互平台
CN105786178A (zh) * 2016-02-23 2016-07-20 广州视睿电子科技有限公司 场景对象信息呈现方法和系统
CN105608746A (zh) * 2016-03-16 2016-05-25 成都电锯互动科技有限公司 一种将现实进行虚拟实现的方法
CN105807931A (zh) * 2016-03-16 2016-07-27 成都电锯互动科技有限公司 一种虚拟现实的实现方法
CN105872575A (zh) * 2016-04-12 2016-08-17 乐视控股(北京)有限公司 基于虚拟现实的直播方法及装置
CN105975077A (zh) * 2016-05-09 2016-09-28 句容美宅网络科技有限公司 一种vr看房系统

Also Published As

Publication number Publication date
WO2018086224A1 (zh) 2018-05-17
CN106598229A (zh) 2017-04-26

Similar Documents

Publication Publication Date Title
CN106598229B (zh) 一种虚拟现实场景的生成方法、设备及虚拟现实系统
US20190180509A1 (en) Apparatus and associated methods for presentation of first and second virtual-or-augmented reality content
US20180356893A1 (en) Systems and methods for virtual training with haptic feedback
EP3631602B1 (en) Methods and systems for customizing virtual reality data
WO2018000609A1 (zh) 一种虚拟现实系统中分享3d影像的方法和电子设备
CN110502097B (zh) 虚拟现实中的运动控制门户
US10437055B2 (en) Master device, slave device, and control method therefor
EP3503101A1 (en) Object based user interface
US11262588B2 (en) Spectator view of virtual and physical objects
US20230405475A1 (en) Shooting method, apparatus, device and medium based on virtual reality space
CN117115399A (zh) 用于与所识别的对象相关联地呈现合成现实内容的方法和设备
CN103324488A (zh) 一种特效信息获取方法及装置
EP3418860B1 (en) Provision of virtual reality content
US10582190B2 (en) Virtual training system
EP3542877A1 (en) Optimized content sharing interaction using a mixed reality environment
CN111602391A (zh) 用于根据物理环境定制合成现实体验的方法和设备
CN115150555B (zh) 视频录制方法、装置、设备及介质
US20180160133A1 (en) Realtime recording of gestures and/or voice to modify animations
KR20230017745A (ko) 화상 처리장치, 화상 처리방법, 및 기억매체
Kuchelmeister et al. The Amnesia Atlas. An immersive SenseCam interface as memory-prosthesis
CN106648757B (zh) 一种虚拟现实终端的数据处理方法和虚拟现实终端
KR101893038B1 (ko) 개별 영상신호 출력을 이용한 매핑 유사홀로그램 제공 장치 및 방법
CN112286355B (zh) 一种用于沉浸式内容的交互方法和系统
WO2024193568A1 (zh) 交互方法、装置、设备、介质和程序
CN117478931A (zh) 信息显示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Gao Jinbao

Inventor after: Jiang Bin

Inventor before: Gao Jinbao

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20201013

Address after: 261031 north of Yuqing street, east of Dongming Road, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronic office building)

Patentee after: GoerTek Optical Technology Co.,Ltd.

Address before: 266104 Laoshan Qingdao District North House Street investment service center room, Room 308, Shandong

Patentee before: GOERTEK TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221216

Address after: 266104 No. 500, Songling Road, Laoshan District, Qingdao, Shandong

Patentee after: GOERTEK TECHNOLOGY Co.,Ltd.

Address before: 261031 north of Yuqing street, east of Dongming Road, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronics office building)

Patentee before: GoerTek Optical Technology Co.,Ltd.