CN107111364B - 用于虚拟现实内容控制的方法及装置 - Google Patents

用于虚拟现实内容控制的方法及装置 Download PDF

Info

Publication number
CN107111364B
CN107111364B CN201580069682.4A CN201580069682A CN107111364B CN 107111364 B CN107111364 B CN 107111364B CN 201580069682 A CN201580069682 A CN 201580069682A CN 107111364 B CN107111364 B CN 107111364B
Authority
CN
China
Prior art keywords
virtual reality
reality content
viewer
visual virtual
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580069682.4A
Other languages
English (en)
Other versions
CN107111364A (zh
Inventor
J·莱佩宁
A·埃罗南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN107111364A publication Critical patent/CN107111364A/zh
Application granted granted Critical
Publication of CN107111364B publication Critical patent/CN107111364B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

提供装置、方法和计算机程序。一种方法包括：确定可视虚拟现实内容中的至少一个感兴趣区域；监控观看者的视野的至少定义部分是否与所确定的可视虚拟现实内容中的至少一个感兴趣区域一致；以及基于观看者的视野的至少定义部分是否与所确定的可视虚拟现实内容中的至少一个感兴趣区域一致，控制可视虚拟现实内容的进展。

Description

用于虚拟现实内容控制的方法及装置
技术领域
本发明的实施例涉及控制虚拟现实内容的进展。这种虚拟现实内容例如可使用头戴式可视设备观看。
背景技术
虚拟现实提供计算机仿真环境，其模拟观看者在该环境中的存在。例如，观看者可使用包括立体显示器的头戴式可视设备体验虚拟现实环境。
发明内容
根据本发明的各种但并非全部的实施例，提供一种方法，包括：确定可视虚拟现实内容中的至少一个感兴趣区域；监控观看者的视野的至少定义部分是否与所确定的可视虚拟现实内容中的至少一个感兴趣区域一致；以及基于观看者的视野的至少定义部分是否与所确定的可视虚拟现实内容中的至少一个感兴趣区域一致，控制可视虚拟现实内容的进展。
根据本发明的各种但并非全部的实施例，提供一种计算机程序代码，其在由至少一个处理器执行时使得执行至少以下步骤：确定可视虚拟现实内容中的至少一个感兴趣区域；监控观看者的视野的至少定义部分是否与所确定的可视虚拟现实内容中的至少一个感兴趣区域一致；以及基于观看者的视野的至少定义部分是否与所确定的可视虚拟现实内容中的至少一个感兴趣区域一致，控制可视虚拟现实内容的进展。
计算机程序代码可由计算机程序提供。计算机程序可存储在非暂时性计算机可读介质上。
根据本发明的各种但并非全部的实施例，提供一种装置，包括：用于确定可视虚拟现实内容中的至少一个感兴趣区域的装置；用于监控观看者的视野的至少定义部分是否与所确定的可视虚拟现实内容中的至少一个感兴趣区域一致的装置；以及用于基于观看者的视野的至少定义部分是否与所确定的可视虚拟现实内容中的至少一个感兴趣区域一致，控制可视虚拟现实内容的进展的装置。
根据本发明的各种但并非全部的实施例，提供一种装置，包括：至少一个处理器；以及存储计算机程序代码的至少一个存储器，计算机程序代码被配置以当与至少一个处理器一起工作时，使得装置至少以执行：确定可视虚拟现实内容中的至少一个感兴趣区域；监控观看者的视野的至少定义部分是否与所确定的可视虚拟现实内容中的至少一个感兴趣区域一致；以及基于观看者的视野的至少定义部分是否与所确定的可视虚拟现实内容中的至少一个感兴趣区域一致，控制可视虚拟现实内容的进展。
根据本发明的各种但并非全部的实施例，提供一种方法，包括：存储标识可视虚拟现实内容中的至少一个感兴趣区域的至少一个标识符，其中，至少一个标识符用于基于观看者的视野的定义部分是否与由至少一个标识符标识的至少一个感兴趣区域一致，控制可视虚拟现实内容的进展。
根据本发明的各种但并非全部的实施例，提供一种计算机程序代码，其在由至少一个处理器执行时使得执行至少以下步骤：存储标识可视虚拟现实内容中的至少一个感兴趣区域的至少一个标识符，其中，至少一个标识符用于基于观看者的视野的定义部分是否与由至少一个标识符标识的至少一个感兴趣区域一致，控制可视虚拟现实内容的进展。
根据本发明的各种但并非全部的实施例，提供一种装置，包括：用于存储标识可视虚拟现实内容中的至少一个感兴趣区域的至少一个标识符的装置，其中，至少一个标识符用于基于观看者的视野的定义部分是否与由至少一个标识符标识的至少一个感兴趣区域一致，控制可视虚拟现实内容的进展。
根据本发明的各种但并非全部的实施例，提供一种装置，包括：至少一个处理器；以及存储计算机程序代码的至少一个存储器，计算机程序代码被配置以当与至少一个处理器一起工作时，使得装置至少以执行：存储标识可视虚拟现实内容中的至少一个感兴趣区域的至少一个标识符，其中，至少一个标识符用于基于观看者的视野的定义部分是否与由至少一个标识符标识的至少一个感兴趣区域一致，控制可视虚拟现实内容的进展。
根据本发明的各种但并非全部的实施例，提供如在所附权利要求中要求的示例。
附图说明
为了更好地理解在详细的描述中所描述的各种示例，现在将仅以示例的方式参照附图，其中：
图1示出采用芯片或芯片组的形式的第一装置；
图2示出采用包括图1中所示的第一装置的电子设备的形式的第二装置；
图3示出采用芯片/芯片组的形式的第三装置；
图4示出采用包括图3中所示的装置的电子设备的形式的第四装置；
图5示出由第一装置和/或第二装置执行的第一方法的流程图；
图6示出由第三装置和/或第四装置执行的第二方法的流程图；
图7和图8示出其中虚拟现实内容被创建的示意图；
图9示出可视虚拟现实内容中的在第一时间的感兴趣区域；
图10示出可视虚拟现实内容中的在第二时间的多个感兴趣区域；
图11示出可视虚拟现实内容中的在第三时间的感兴趣区域；
图12A和图12B示出观看者的视野的定义部分的两个不同的示例；
图13示出观看者观看如图9中示意性示出的可视虚拟现实内容中的在第一时间的可视虚拟现实内容的示意图；
图14示出观看者观看如图11中示意性示出的可视虚拟现实内容中的在第三时间的可视虚拟现实内容；
图15示意性示出用户已经相对于图14移动他的视场时观看者观看如图11中示意性示出的可视虚拟现实内容中的在第三时间的可视虚拟现实内容。
具体实施方式
本发明的实施例涉及基于用户的视野至少定义部分是否与可视虚拟现实内容中的至少一个预定义的感兴趣区域一致，控制可视虚拟现实内容的进展。
图1示出可以是芯片或芯片组的装置10。装置10可形成诸如图2中所示的计算设备的一部分。
装置10包括至少一个处理器12和至少一个存储器14。单个处理器12和单个存储器14在图1中示出并在下面讨论，仅用于说明的目的。
处理器12被配置以从存储器14读取和向存储器14写入。处理器12可包括由处理器12经由其输出数据和/或命令的输出接口和经由其向处理器12输入数据和/或命令的输入接口。
存储器14作为存储包括计算机程序指令/代码18的计算机程序17示出，当计算机程序指令/代码18被装载到处理器12时，控制装置10的操作。处理器12通过读取存储器14能够装载并执行计算机程序代码18。计算机程序代码18提供使装置10能够执行图5中所示并在下面描述的方法的逻辑和例程。就此而言，处理器12、存储器14和计算机程序代码18提供用于执行图5中所示并在下面描述的方法的装置。
尽管存储器14在图1中作为单个组件示出，其可以被实现为一个或多个单独的组件，其中一些或所有组件可以是集成/可移除的和/或可提供永久/半永久/动态/缓存存储。
计算机程序代码18可通过任何合适的传送机制30到达装置10。传送机制30例如可以是诸如光盘或存储卡的非暂时性计算机可读存储介质。传送机制30可以是被配置以可靠传输计算机程序代码18的信号。装置10可使得计算机程序代码18作为计算机数据信号来传播或传输。
图2示出采用包括第一装置10的计算设备的形式的第二装置20。第二装置20例如可是个人计算机。
在图2所示的示例中，处理器12和存储器14共处于壳体/主体27中。第二装置20例如可进一步包括显示器和一个或多个用户输入设备(诸如计算机鼠标)。
元件12和14可操作耦合并且任何数量的中间元件或中间元件的组合可在它们之间存在(包括没有中间元件)。
在图2中，存储器14作为存储虚拟现实内容数据21示出。虚拟现实内容数据21例如可包括采用视频(例如，电影)或视频游戏的形式的视听内容。虚拟现实内容数据21提供例如可由观看者使用头戴式可视设备体验的虚拟现实内容。虚拟现实内容数据21包括可视虚拟现实内容数据22、多个标识符24和多个音频轨道26。
可视虚拟现实内容数据22提供可视虚拟现实内容。可视虚拟现实内容可以是当被观看时延伸到观看者的视野之外的立体内容和/或全景内容。在一些示例中，可视虚拟现实内容是其中观看者可360°体验计算机模拟的虚拟环境的360°可视虚拟现实内容。在一些其它示例中，可视虚拟现实内容可覆盖观看者周围小于全360°，例如，270°或其它数量。在一些实现中，可视虚拟现实内容是使用头戴式可视设备可观看的，观看者可例如通过移动他的头部(当他正佩戴头戴式可视设备时)来体验计算机模拟的虚拟环境。在其它实现中，可视虚拟现实内容是可观看的而无需使用头戴式可视设备。
在一些实现中，可视虚拟现实内容数据22可包括形成可视虚拟现实内容数据22的不同的部分。数据22的不同的部分可已经分别被编码并涉及不同类型的内容。不同类型的内容可分别被渲染。例如，数据22的一个或多个部分可已被编码以提供可视背景/风景内容，而数据22的一个或多个其它部分可已被编码以提供前景/移动物体内容。背景/风景内容可与前景/移动物体内容分别被渲染。
标识符24标识可视虚拟现实内容数据的预定义的感兴趣区域。标识符24用于控制可视虚拟现实内容的进展。这将随后进一步详细地描述。
多个音频轨道26提供伴随可视虚拟现实内容的音频。不同的音频轨道可提供用于可视虚拟现实内容中模拟的(360°)环境的不同的虚拟区域的音频。此外，一些音频轨道例如可提供背景/周围环境音频，而其它音频轨道可提供例如可包括对话的前景音频。
图3示出可以是芯片或芯片组的第三装置110。第三装置110可形成诸如图4中所示的计算设备的一部分。
装置110包括至少一个处理器112和至少一个存储器114。单个处理器112和单个存储器114在图3中示出并在下面讨论，仅用于说明的目的。
处理器112被配置以从存储器114读取和向存储器114写入。处理器112可包括由处理器112经由其输出数据和/或命令的输出接口和经由其向处理器112输入数据和/或命令的输入接口。
存储器114作为存储包括计算机程序指令/代码118的计算机程序117示出，当计算机程序指令/代码118被装载到处理器112时，控制装置110的操作。处理器112通过读取存储器114能够装载并执行计算机程序代码118。计算机程序代码118提供使装置110能够执行图6中所示并在下面描述的方法的逻辑和例程。就此而言，处理器112、存储器114和计算机程序代码118提供用于执行图6中所示并在下面描述的方法的装置。
尽管存储器114在图3中作为单个组件示出，其可以被实现为一个或多个单独的组件，其中一些或所有组件可以是集成/可移除的和/或可提供永久/半永久/动态/缓存存储。
计算机程序代码118可经由任何合适的传送机制130到达装置110。传送机制130例如可以是诸如光盘或存储卡的非暂时性计算机可读存储介质。传送机制130可以是被配置以可靠传输计算机程序代码118的信号。装置110可使得计算机程序代码118作为计算机数据信号来传播或传输。
图4示出采用包括第三装置110的计算设备的形式的第四装置120。在一些实现中，装置120被配置以连接到头戴式可视设备。在这些实现中，装置120例如可以是游戏控制台或个人计算机。在其它实现中，装置120可以是头戴式可视设备或游戏控制台/个人计算机和头戴式可视设备的结合。
在图4所示的示例中，存储器114作为存储以上说明的虚拟现实内容数据21示出。处理器112和存储器114共处于壳体/主体127中。
元件112和114可操作耦合并且任何数量的中间元件或中间元件的组合可在它们之间存在(包括没有中间元件)。
头戴式可视设备可包括立体显示器和一个或多个运动传感器。立体显示器包括光学器件和一个或多个显示面板，并被配置以使观看者能够观看存储为可视虚拟现实内容数据22的可视虚拟现实内容。一个或多个运动传感器可被配置以感应头戴式显示设备在三个维度上的定向并感应头戴式显示设备在三个维度上的运动。一个或多个运动传感器例如可包括一个或多个加速计、一个或多个磁力仪和/或一个或多个陀螺仪。
头戴式可视设备还可包括用于向用户/观看者传送音频轨道26中的音频的头戴式耳机或耳机。可替代地，音频轨道26中的音频可由单独的扬声器向用户/观看者传送。
现在将针对图5描述根据本发明实施例的第一方法的第一示例。
在第一方法的第一实例中，在图5中的框501，虚拟现实内容被创建并被存储为虚拟现实内容数据21。可视方面被存储为可视虚拟现实内容数据22，可听方面被存储为多个音频轨道26。
在图5中的框502，用户在第二装置20处提供用户输入，标识第二装置20的存储器14中的可视虚拟现实内容数据22的各种感兴趣区域。用户输入使得第二装置20的处理器12以在虚拟现实内容数据21中存储标识可视虚拟现实内容数据22的那些感兴趣区域的标识符24。
所存储的标识符24标识可视虚拟现实内容中在不同时间的可视虚拟现实内容中的不同的感兴趣区域。可视虚拟现实内容中的感兴趣区域的标识使可视虚拟现实内容的进展在可视虚拟现实内容被消费时能够被控制。这在下面针对图6描述。
现在将针对图6描述根据本发明实施例的第二方法的第一示例。
在第二方法的该第一示例中，在第二装置20的存储器14中存储的虚拟现实内容数据21被提供到图4中示出的第四装置120。在本发明的一些实现中，虚拟现实内容数据21可存储在服务器上并下载或流传输到第四装置120。在其它实现中，虚拟现实内容数据21可例如通过光盘或存储卡向第四装置120提供。
在图6中的框601，观看者正消费由虚拟现实内容数据21提供的虚拟现实内容。例如，他可正经由头戴式可视设备消费虚拟现实内容。第四装置120的处理器112促使并使观看者能够消费虚拟现实内容。如以上所解释的，第四装置120可以是头戴式可视设备或连接到头戴式可视设备的计算设备，诸如游戏控制台或个人计算机，或者其可以是两者的结合。
在图6中的框601，装置120的处理器112分析可视虚拟现实内容数据22并确定存在可视虚拟现实内容(由可视虚拟现实内容数据22提供)的至少一个感兴趣区域，其形成正由用户消费的虚拟现实内容的一部分。至少一个感兴趣区域已经(采用以上针对图5描述的方式)被预定义并由形成虚拟现实内容数据21的一部分的至少一个标识符24标识。
在图6中的框602，第四装置120的处理器112监控观看者的视野的至少定义部分是否与所确定的可视虚拟现实内容中的至少一个感兴趣区域一致。在一些实现中，处理器112在感兴趣区域已确定之前开始监控观看者的视野的定义部分的位置和定向。在其它实现中，该监控仅在感兴趣区域已由处理器112标识之后开始。
当观看者在观看可视虚拟现实内容时的总视野可取决于正用于观看可视虚拟现实内容的头戴式可视设备，尤其是可视虚拟现实内容的光学器件。
在一些实现中，观看者的视野的“定义部分”可以是观看者在观看可视虚拟现实内容时的总视野。
例如，如果观看者在观看可视虚拟现实内容时的总视野在横向平面上是100°，则在这种实现中，观看者的视野的定义部分覆盖整个100°。
在其它实现中，观看者的视野的定义部分可小于观看者在观看可视虚拟现实内容时的总视野。例如，定义部分可以比观看者的总视野小很多，诸如当观看者的总视野在横向平面上是100°时，定义部分是观看者的视野在横向平面上的中心20°。可替代地，定义部分现在可以是观看者的视野内的单观测线，诸如位于观看者的视野的中心的线。
在图6中的框603，第四装置120的处理器112基于观看者的视野的至少定义部分是否与所确定的可视虚拟现实内容中的至少一个感兴趣区域一致来控制可视虚拟现实内容的进展。在一些实现中，如果处理器112确定观看者的视野的定义部分与可视虚拟现实内容中的至少一个感兴趣区域一致，其使能可视虚拟现实内容的进展。例如，如果可视虚拟现实内容是视频(诸如电影)，其使视频的播放能够继续。如果可视虚拟现实内容是视频游戏，其使视频游戏能够进展。
可替代地，如果观看者的视野的定义部分与所确定的可视虚拟现实内容中的至少一个感兴趣区域不一致，处理器112可停止可视虚拟现实内容的至少一部分的进展。例如，如果可视虚拟现实内容是视频(诸如电影)，处理器112可暂停可视虚拟现实内容的全部或区域(诸如包含所确定的至少一个感兴趣区域的区域)，直到观看者的视野的定义部分与所确定的至少一个感兴趣区域开始一致。类似地，如果可视虚拟现实内容是视频游戏，处理器112可停止视频游戏的至少一部分(诸如包含所确定的至少一个感兴趣区域的区域)的进展，直到观看者的视野的定义部分开始与所确定的至少一个感兴趣区域一致。
在其中不同的部分(诸如前景/移动物体和背景/风景)被单独渲染的实现中，被停止的部分可以是前景/移动物体，背景/风景可继续移动/活动。例如，叶子可移动，水可涟漪。移动/活动可循环。
除了以上之外，处理器112可基于观看者的视野的定义部分是否与所确定的至少一个感兴趣区域一致来控制音频的进展。例如，其可暂停一个或多个音频轨道，如果观看者的视野的定义部分与所确定的至少一个感兴趣区域不一致。其可重新开始该/那些音频轨道的播放，如果并当观看者的视野的定义部分开始与所确定的至少一个感兴趣区域一致时。暂停的/重新开始的音频轨道可包括旨在与其中进展已停止的可视虚拟现实内容的部分中的事件同步的音频。暂停的/重新开始的音频轨道可以是根据所确定的至少一个感兴趣区域的定向音频。暂停的/重新开始的音频轨道例如可包括在所确定的感兴趣区域中来自一个或多个演员的对话或音乐或音效。
在一些实现中，处理器112可使一个或多个音频轨道的播放能够继续或重新开始，在一个或多个其它的音频轨道已被暂停时。例如，音频轨道可包括环境音乐或环境的声音。其它的音频轨道在一些实现中可循环。
基于观看者的视野的定义部分是否与一个或多个预定义的感兴趣区域一致，控制可视虚拟现实内容的进展是有利的，因为其提供用于防止观看者错过可视虚拟现实内容的重要部分的机制。例如，其可通过暂停可视虚拟现实内容的至少一部分直到观看者的视野在合适的位置，来防止观看者错过可视虚拟现实内容中的重要情节点。因此，观看者能够充分探索虚拟环境而无需担心其可能错过重要情节点。
现在将针对图5、图7和图8描述根据本发明的实施例的第一方法的第二示例。
图7示出其中(可视和可听)虚拟现实内容由一个或多个虚拟现实内容记录设备703记录的示意图。虚拟现实内容可以是专业记录的内容或由业余爱好者记录的内容。虚拟现实内容记录设备703记录可视内容和可听内容两者。在正进行记录的场景中，第一演员701和第二演员702位于沙滩704上。第一演员701向第二演员702扔球705。
图7示出其中第一演员701还没有将球705扔向第二演员702的在第一时间的场景。图8示出其中球705已被第二演员702接住的在某一时间点的场景。由参考标号706指出的虚线表示球705的运动。
图9示出由在拍摄图7和图8中的场景时虚拟现实内容创建设备703所创建的可视虚拟现实内容数据22提供的可视虚拟现实内容。电影导演选择将第一演员701和球705标识为感兴趣区域901。他向第二装置120提供合适的用户输入，作为响应，第二装置20的处理器12创建并存储标识在图9中描述的可视虚拟现实内容的播放中在第一时间的虚拟现实内容数据21中的感兴趣区域901的标识符。
图10示出在第一时间之后的可视虚拟现实内容中的第二时间。在第二时间，第一演员701已经将球705扔向第二演员702，但是球705还没有到达第二演员702。电影导演决定将第一演员701标识为第一感兴趣区域1001，将球705标识为第二感兴趣区域1002，并将第二演员702标识为第三感兴趣区域1003，以用于可视虚拟现实内容中的第二时间。导演向第二装置120提供合适的用户输入，作为响应，处理器112创建并在存储器14中存储标识在可视虚拟现实内容的播放中在第二时间的可视虚拟现实内容数据22中的感兴趣区域1001、1002和1003的标识符。
图11示出在第一时间和第二时间之后在第三时间的可视虚拟现实内容。在第三时间，第二演员702已经抓住球705。电影导演决定他希望将第二演员702和球705标识为感兴趣区域1101，并向第二装置120提供合适的用户输入。作为响应，第二装置120的处理器112创建并存储标识在可视虚拟现实内容的播放中在第三时间的可视虚拟现实内容中的感兴趣区域1101的标识符。
在一些实现中，感兴趣区域可以不通过用户手动提供用户输入来标识。可替代地，感兴趣区域可以通过由处理器12执行的图像分析自动标识，相应的标识符可被自动创建并存储。
现在将针对图6和图12A至图15描述根据本发明实施例的第二方法的第二示例。
图12A示出观看者的视野在横向平面上的定义部分的第一示例。在图12A中所示的示例中，观看者的观看位置由用参考标号1203标记的点指出。第一虚线1201示出观看者的视野在横向平面上的第一极限，第二虚线1202指出观看者的视野在横向平面上的第二极限。用参考标号1204标记的弯曲的箭头指出观看者的视野在横向平面上的第三极限。当(例如，经由头戴式可视设备)观看可视虚拟现实内容时，由线1201、1302和1204限定的区域表示观看者在横向平面上可观看的区域。
在第一示例中，图12A中的剖面线指示在(例如，经由头戴式可视设备)观看可视虚拟现实内容时，观看者的整个视野被认为是该视野的“定义部分”。
人的真实视野可以是在横向平面上几乎180°。当观看可视虚拟现实内容时，观看者的总视野可与人的真实的视野相同或小于人的真实视野。
图12B示出观看者的视野的定义部分的第二示例。在这个示例中，用参考标号1201标记的第一虚线、用参考标号1202标记的虚线和用参考标号1204标记的弯曲的箭头之间的区域表示在观看可视虚拟现实内容时观看者在横向平面上可观看的区域，如上所述。然而，图12B中示出的示例与图12A中示出的示例不同，在于观看者的视野的“定义部分”小于观看者在观看可视虚拟现实内容时的总视野。在该示例中，观看者的视野定义部分是用参考标号1205和1206标记的第三和第四虚线之间并由剖面线指示的角区域。其包括观看者的视野的中心部分。在该示例中，视野的定义部分可以是小于观看者在观看可视虚拟现实内容时的总视野的任何数量。
应理解，图12A和图12B提供观看者的视野在横向平面上的定义部分的示例，以用于说明的目的。实际上，处理器112还可监控观看者的视野在垂直平面上的定义部分是否与感兴趣区域一致。处理器112例如可确定立体角以确定观看者的视野的定义部分是否与可视虚拟现实内容中的感兴趣区域一致。
在监控观看者的视野的定义部分是否与可视虚拟现实内容中的感兴趣区域一致中，处理器112可被配置以(例如，通过跟踪观看者的头部)确定观看者的观察点，并被配置以确定源自观看者的观察点的(理论上的)线、面积或体积是否与感兴趣区域交叉。
在一些实现中，处理器112可被配置以通过使用一个或多个摄像机以跟踪观看者的注视，监控观看者的视野的定义部分是否与可视虚拟现实内容中的感兴趣区域一致。这可以是其中可视虚拟现实内容使用头戴式可视设备观看的实现中的情况，以及其中不是如此的实现中的情况。如果没有使用头戴式可视设备，可视虚拟现实内容例如可被显示在观看者周围的一个或多个显示器上。
在其中观看者的注视被跟踪的实现中，如果可视虚拟现实内容是立体的，处理器112可被配置以确定感兴趣区域的深度并确定观看者的注视的深度。处理器112可进一步被配置以通过将观看者的注视的深度与感兴趣区域的深度相比较，监控观看者的视野的至少定义部分是否与所确定的感兴趣区域一致。
图13至图15示出了观看者观看可视虚拟现实内容的示意图，该可视虚拟现实内容在图7和图8中被示为正被记录并包括如图9至图11中所示并如上所述地创建并存储的标识符。
在第二方法的该第二示例中，处理器112可连续地循环图6中示出的方法。这在下面详细描述。
如图9中所示，可视虚拟现实内容的播放开始并到达可视虚拟现实内容的播放中的第一时间。图13示意性示出观看者1301观看可视虚拟现实内容的播放中的在第一时间的可视虚拟现实内容。当观看者到达可视虚拟现实内容的播放中的第一时间时，在连续地循环图6中示出的方法的处理器112确定存在存储在虚拟现实内容数据21中的标识符，其标识可视虚拟现实内容的播放中的在第一时间(如图9中所示)的感兴趣区域901。在图6中的框602，处理器112确定观看者的视野的定义部分与在可视虚拟现实内容的播放中的在第一时间的感兴趣区域901一致。因此，在图6中的框603，处理器112通过使可视虚拟现实内容和与在感兴趣区域901中的事件同步的任何音频的播放能够继续，控制可视虚拟现实内容的进展。
可视虚拟现实内容的进展/播放继续，在该示例中，观看者的视野仍然指向第一演员701。图14示出观看者观看可视虚拟现实内容的播放中的在第三时间(如图11中所示)的可视虚拟现实内容，其中球705已经从第一演员701扔到第二演员702。
当球705在空中时，第一演员701被指示为感兴趣区域，如图10中虚线框1001所示。因此，第四装置120的处理器112继续允许可视虚拟现实内容进展，当其在循环图6中的方法时。然而，在第三时间(如图11中所示)，第一演员701不再是感兴趣区域，可视虚拟现实内容的唯一感兴趣区域是第二演员702握住球705，如图11中虚线框1101所示。处理器112确定(新的)感兴趣区域1101是可视虚拟现实内容的播放中的在第三时间(如图11中所示)的唯一感兴趣区域，并监控观看者的视野的至少定义部分是否与所确定的(新的)感兴趣区域1101一致。然而，如图14中所示，观看者的视野的定义部分不再与在可视虚拟现实内容的播放中的在第三时间的任何感兴趣区域一致。因此，在该示例中，在图6中的框603，处理器112通过使可视虚拟现实内容的至少一部分的进展/播放停止，控制可视虚拟现实内容的进展。例如，整个可视虚拟现实内容可被暂停或仅包括至少一个感兴趣区域的部分可被暂停。
在一些实现中，当确定观看者的视野的定义部分与感兴趣区域不一致时，处理器112可不即刻停止可视虚拟现实内容的进展。在其这样做之前例如可存在短的延迟，如果观看者的视野的定义部分在延迟期间开始与感兴趣区域一致，可视虚拟现实内容的进展不停止。这可有助于防止频繁的暂停和内容的重新开始。
在一些实现中，处理器112可不停止可视虚拟现实内容的进展/播放。反而，它可延缓整个可视虚拟现实内容或其部分(诸如包括至少一个感兴趣区域的部分)的进展/播放。
然后，观看者移动其视野使得其视野的定义部分与在可视虚拟现实内容的播放中的在第三时间的感兴趣区域1101一致，如图15中所示。处理器112确定观看者的视野的定义部分现在与在可视虚拟现实内容的播放中的在第三时间的感兴趣区域1101一致并通过重新使能可视虚拟现实内容的进展/播放来控制可视虚拟现实内容的进展。
在一些实现中，观看者的视野的定义部分不必与所确定的感兴趣区域一致，以用于处理器112重新使能可视虚拟现实内容的进展。例如，处理器112可被配置以监控观看者的视野的定义部分的运动轨道并基于观看者的视野的定义部分是否被期望与所确定的感兴趣区域一致，控制可视虚拟现实内容的进展。这例如可通过插入观看者的视野的定义部分的运动轨道并确定所插入的轨道是否与所确定的感兴趣区域一致来执行。
提到“计算机可读存储介质”、“计算机”、“处理器”等，应当被理解为不仅包括具有诸如单个/多个处理器架构和串行(冯诺依曼)/并行架构的不同架构的计算机，而且还包括诸如现场可编程门阵列(FPGA)、专用集成电路(ASIC)、信号处理设备和其它处理电路的专用电路。提到计算机程序、指令、代码等，应被理解为包括用于可编程处理器的软件、或者可包括用于处理器的指令的例如硬件设备的可编程内容的固件、或者用于固定功能器件、门阵列或可编程逻辑器件等的配置设置。
如在本申请中使用的，术语“电路”是指以下的全部：
(a)仅硬件电路实现(诸如仅模拟和/或数字电路的实现)；
(b)电路和软件(和/或固件)的组合，诸如(如果适用)：(i)处理器的组合或(ii)处理器/软件的部分(包括数字信号处理器、软件和存储器，其一起工作以使诸如移动电话或服务器的装置执行各种功能)；
(c)电路，诸如微处理器或微处理器的一部分，其需要软件或固件来操作，即使软件或固件并不是物理存在的。
“电路”的这一定义应用于在本申请中的该术语的全部使用，包括在任何权利要求中的使用。作为另一个示例，如在本申请中使用的，术语“电路”还覆盖仅处理器(或多个处理器)或处理器的部分及其伴随的软件和/或固件的实现。术语“电路”还覆盖(例如且如果适用于具体要求的元件)用于移动电话或服务器中的类似集成电路、蜂窝网络设备或其它网络设备的基带集成电路或应用处理器集成电路。
图5和图6中示出的框可表示方法中的步骤和/或计算机程序17和18中的代码段。对框的特定顺序的说明并不意味着对于框存在所要求或优选的顺序，并且框的顺序和布置可变化。此外，可以省略一些框。
尽管本发明的实施例已经在之前的段落中参考各种示例进行了描述，但应当理解，可在不背离本发明要求保护的范围的情况下对给出的示例进行修改。例如，在一些实现中，处理器112可被配置以显示向观看者指示可视虚拟现实内容中的在特定时间的感兴趣区域的位置的一个或多个指示(诸如一个或多个箭头)。处理器112可使标识符例如在可视虚拟现实内容的进展已停止/暂停时或者在可视虚拟现实内容的进展已停止/暂停超过阈值时间段时出现。
可视虚拟现实内容的形式可与如上所述的不同。例如，它可包括动态更新信息内容，诸如一个或多个动态更新网页提要。
在之前的描述中描述的特征可用于除了明确描述的组合以外的组合中。
尽管已经参考某些特征描述功能，这些功能可由其它特征来执行，无论是否描述。
尽管已经参考某些实施例描述特征，这些特征也可存在于其它实施例中，无论是否描述。
在之前的描述中试图指出被认为是特别重要的本发明的特征时，应当理解，申请人要求保护关于在本文中之前参考附图和/或在附图中示出的任何可授予专利的特征或特征组合的内容，无论是否已经强调。

Claims (15)

1.一种用于虚拟现实内容控制的方法，包括：
确定在第一时间的可视虚拟现实内容中的至少第一感兴趣区域，所述可视虚拟现实内容被配置为当观看所述可视虚拟现实内容时延伸到观看者的视野之外；
当观看者观看所述可视虚拟现实内容时，监控所述观看者的视野的定义部分是否与所述可视虚拟现实内容中的所述第一感兴趣区域一致；
基于所述观看者的视野的所述定义部分是否与所述可视虚拟现实内容中的所述第一感兴趣区域一致，控制所述可视虚拟现实内容的进展；
确定在第二时间的所述可视虚拟现实内容中的新的第二感兴趣区域，所述新的第二感兴趣区域位于当所述观看者观看所述可视虚拟现实内容时所述观看者的视野以外；
当所述观看者观看所述可视虚拟现实内容时，确定所述观看者的视野的所述定义部分与所述可视虚拟现实内容中的所述新的第二感兴趣区域不一致；以及
基于确定所述观看者的视野的所述定义部分与所述可视虚拟现实内容中的所述新的第二感兴趣区域不一致，停止包括所述新的第二感兴趣区域的所述可视虚拟现实内容的至少一部分的进展。
2.根据权利要求1所述的方法，其中，控制所述可视虚拟现实内容的进展包括：响应于确定所述观看者的视野的所述定义部分与所述可视虚拟现实内容中的所述第一或第二感兴趣区域一致，使能所述可视虚拟现实内容的进展。
3.根据权利要求1或2所述的方法，其中，控制所述可视虚拟现实内容的进展包括：响应于确定所述观看者的视野的所述定义部分与所述可视虚拟现实内容中的所述第一或第二感兴趣区域不一致，停止所述可视虚拟现实内容的至少一部分的进展。
4.根据权利要求3所述的方法，其中，包括所述第一或第二感兴趣区域的所述可视虚拟现实内容的至少一部分的进展被停止。
5.根据权利要求1所述的方法，进一步包括：
响应于确定所述观看者的视野的所述定义部分与所述可视虚拟现实内容中的所述第一感兴趣区域不一致，使得至少一个音频轨道的播放暂停。
6.根据权利要求5所述的方法，进一步包括：
当所述至少一个音频轨道的播放已暂停时，使能与所述至少一个音频轨道不同的至少一个其它音频轨道的播放。
7.根据权利要求1所述的方法，其中，所述可视虚拟现实内容是虚拟现实视频内容，控制所述可视虚拟现实内容的进展包括控制所述虚拟现实视频内容的播放。
8.根据权利要求1所述的方法，进一步包括：
确定所述第一感兴趣区域不再是感兴趣区域。
9.根据权利要求1所述的方法，其中，所述可视虚拟现实内容由在存储器中存储的虚拟现实内容数据提供，并且所述虚拟现实内容数据包括多个标识符，所述多个标识符标识所述可视虚拟现实内容中的感兴趣区域。
10.根据权利要求1所述的方法，其中，监控观看者的视野的定义部分是否与所述可视虚拟现实内容中的所述第一或第二感兴趣区域一致包括：跟踪观看者的头部运动和/或观看者的注视。
11.根据权利要求1所述的方法，其中，所述观看者的视野的所述定义部分是当观看所述可视虚拟现实内容时所述观看者的总视野或小于所述观看者的总视野。
12.根据权利要求11所述的方法，其中，所述可视虚拟现实内容是360°可视虚拟现实内容。
13.一种非暂时性计算机可读介质，其上存储有计算机程序代码，所述计算机程序代码在由至少一个处理器执行时使得根据前述任一项权利要求所述的方法被执行。
14.一种用于虚拟现实内容控制的装置，包括：
用于确定在第一时间的可视虚拟现实内容中的至少第一感兴趣区域的装置，所述可视虚拟现实内容被配置为当观看所述可视虚拟现实内容时延伸到观看者的视野之外；
用于当观看者观看所述可视虚拟现实内容时，监控所述观看者的视野的定义部分是否与所述可视虚拟现实内容中的所述第一感兴趣区域一致的装置；
用于基于所述观看者的视野的所述定义部分是否与所述可视虚拟现实内容中的所述第一感兴趣区域一致，控制所述可视虚拟现实内容的进展的装置；
用于确定在第二时间的所述可视虚拟现实内容中的新的第二感兴趣区域的装置，所述新的第二感兴趣区域位于当所述观看者观看所述可视虚拟现实内容时所述观看者的视野以外；
用于当所述观看者观看所述可视虚拟现实内容时，确定所述观看者的视野的所述定义部分与所述可视虚拟现实内容中的所述新的第二感兴趣区域不一致的装置；以及
用于基于确定所述观看者的视野的所述定义部分与所述可视虚拟现实内容中的所述新的第二感兴趣区域不一致，停止包括所述新的第二感兴趣区域的所述可视虚拟现实内容的至少一部分的进展的装置。
15.根据权利要求14所述的装置，进一步包括用于执行权利要求2至12中任一项所述的方法的装置。
CN201580069682.4A 2014-12-23 2015-12-18 用于虚拟现实内容控制的方法及装置 Active CN107111364B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14200212.0A EP3037915B1 (en) 2014-12-23 2014-12-23 Virtual reality content control
EP14200212.0 2014-12-23
PCT/FI2015/050908 WO2016102763A1 (en) 2014-12-23 2015-12-18 Virtual reality content control

Publications (2)

Publication Number Publication Date
CN107111364A CN107111364A (zh) 2017-08-29
CN107111364B true CN107111364B (zh) 2020-05-15

Family

ID=52292688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580069682.4A Active CN107111364B (zh) 2014-12-23 2015-12-18 用于虚拟现实内容控制的方法及装置

Country Status (8)

Country Link
US (1) US20170371518A1 (zh)
EP (1) EP3037915B1 (zh)
JP (1) JP6670838B2 (zh)
CN (1) CN107111364B (zh)
ES (1) ES2642263T3 (zh)
MX (1) MX2017008496A (zh)
WO (1) WO2016102763A1 (zh)
ZA (1) ZA201704823B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9690374B2 (en) * 2015-04-27 2017-06-27 Google Inc. Virtual/augmented reality transition system and method
US11032471B2 (en) * 2016-06-30 2021-06-08 Nokia Technologies Oy Method and apparatus for providing a visual indication of a point of interest outside of a user's view
EP3470976A1 (en) 2017-10-12 2019-04-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and apparatus for efficient delivery and usage of audio messages for high quality of experience
GB2558284B (en) 2016-12-23 2021-12-08 Sony Interactive Entertainment Inc Virtual reality
EP3367383B1 (en) 2017-02-23 2023-12-20 Nokia Technologies Oy Virtual reality
US11451689B2 (en) * 2017-04-09 2022-09-20 Insoundz Ltd. System and method for matching audio content to virtual reality visual content
US10477105B2 (en) * 2017-06-08 2019-11-12 Futurewei Technologies, Inc. Method and system for transmitting virtual reality (VR) content
US20180373325A1 (en) * 2017-06-22 2018-12-27 Immersion Corporation Haptic dimensions in a variable gaze orientation virtual environment
EP3422146A1 (en) 2017-06-28 2019-01-02 Nokia Technologies Oy An apparatus and associated methods for presenting sensory scenes
EP3646581A1 (en) 2017-06-30 2020-05-06 PCMS Holdings, Inc. Method and apparatus for generating and displaying 360-degree video based on eye tracking and physiological measurements
US11303814B2 (en) 2017-11-09 2022-04-12 Qualcomm Incorporated Systems and methods for controlling a field of view
US11153482B2 (en) * 2018-04-27 2021-10-19 Cubic Corporation Optimizing the content of a digital omnidirectional image
US10721510B2 (en) 2018-05-17 2020-07-21 At&T Intellectual Property I, L.P. Directing user focus in 360 video consumption
US10482653B1 (en) 2018-05-22 2019-11-19 At&T Intellectual Property I, L.P. System for active-focus prediction in 360 video
US10827225B2 (en) 2018-06-01 2020-11-03 AT&T Intellectual Propety I, L.P. Navigation for 360-degree video streaming
EP3857904A4 (en) * 2018-09-28 2022-06-22 Nokia Technologies Oy METHOD AND APPARATUS FOR ENABLING MULTIPLE TIMELINE SUPPORT FOR OMNIDIRECTIONAL CONTENT PLAYBACK
CN115690374B (zh) * 2023-01-03 2023-04-07 江西格如灵科技有限公司 一种基于模型边缘射线检测的交互方法、装置及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999160A (zh) * 2011-10-14 2013-03-27 微软公司 混合现实显示器中用户控制的现实对象的消失
CN103593051A (zh) * 2013-11-11 2014-02-19 百度在线网络技术（北京）有限公司 头戴式显示设备
CN103765346A (zh) * 2011-09-08 2014-04-30 英特尔公司 基于眼睛凝视的用于音频视觉回放的位置选择

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003115058A (ja) * 2001-08-02 2003-04-18 Matsushita Electric Ind Co Ltd 表示装置および表示方法
JP2004312401A (ja) * 2003-04-08 2004-11-04 Sony Corp 再生装置および再生方法
JP2007036846A (ja) * 2005-07-28 2007-02-08 Nippon Telegr & Teleph Corp <Ntt> 動画再生装置およびその制御方法
US20060256133A1 (en) * 2005-11-05 2006-11-16 Outland Research Gaze-responsive video advertisment display
US20100079508A1 (en) * 2008-09-30 2010-04-01 Andrew Hodge Electronic devices with gaze detection capabilities
JP5367833B2 (ja) * 2009-09-29 2013-12-11 株式会社東芝 関心領域抽出装置及びプログラム
US8330793B2 (en) * 2009-10-09 2012-12-11 Hewlett-Packard Development Company, L.P. Video conference
JP5054215B2 (ja) * 2010-05-13 2012-10-24 キヤノン株式会社 映像再生装置およびその制御方法およびプログラム
JP2012094990A (ja) * 2010-10-25 2012-05-17 Duse Technologies Co Ltd 視点連動画像表示システム
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
JP5698574B2 (ja) * 2011-03-15 2015-04-08 オリンパスイメージング株式会社 音声・映像情報報知システム及びその制御方法
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
JP2013057918A (ja) * 2011-09-09 2013-03-28 Shigeto Umeda 可変長の広告を表示また、入札するシステム
US20150215674A1 (en) * 2011-12-21 2015-07-30 Hewlett-Parkard Dev. Company, L.P. Interactive streaming video
JP5344073B2 (ja) * 2012-09-14 2013-11-20 日本電気株式会社 病理組織画像撮影システム、病理組織画像撮影方法、および病理組織画像撮影プログラム
JP5826730B2 (ja) * 2012-09-20 2015-12-02 株式会社ソニー・コンピュータエンタテインメント 動画圧縮装置、画像処理装置、動画圧縮方法、画像処理方法、および動画圧縮ファイルのデータ構造
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
US20140267005A1 (en) * 2013-03-14 2014-09-18 Julian M. Urbach Eye piece for augmented and virtual reality
US9392212B1 (en) * 2014-04-17 2016-07-12 Visionary Vr, Inc. System and method for presenting virtual reality content to a user

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103765346A (zh) * 2011-09-08 2014-04-30 英特尔公司 基于眼睛凝视的用于音频视觉回放的位置选择
CN102999160A (zh) * 2011-10-14 2013-03-27 微软公司 混合现实显示器中用户控制的现实对象的消失
CN103593051A (zh) * 2013-11-11 2014-02-19 百度在线网络技术（北京）有限公司 头戴式显示设备

Also Published As

Publication number Publication date
WO2016102763A1 (en) 2016-06-30
ES2642263T3 (es) 2017-11-16
JP2018506205A (ja) 2018-03-01
US20170371518A1 (en) 2017-12-28
CN107111364A (zh) 2017-08-29
MX2017008496A (es) 2017-10-11
EP3037915A1 (en) 2016-06-29
EP3037915B1 (en) 2017-08-16
JP6670838B2 (ja) 2020-03-25
ZA201704823B (en) 2019-01-30

Similar Documents

Publication Publication Date Title
CN107111364B (zh) 用于虚拟现实内容控制的方法及装置
JP7132280B2 (ja) Ｖｒ観戦のための拡大された視野再レンダリング
JP6708689B2 (ja) 三次元ゲームプレイの共有
US20180018944A1 (en) Automated object selection and placement for augmented reality
JP7090410B2 (ja) 拡張現実のシーンを再生する際の自動ズームのための方法、装置及びシステム
US9779538B2 (en) Real-time content immersion system
US9299184B2 (en) Simulating performance of virtual camera
IL299278A (en) Methods and system for creating and displaying 3D video in a virtual, augmented or mixed reality environment
AU2019216671A1 (en) Method and apparatus for playing video content from any location and any time
JP2014525049A (ja) 立体ビデオ表現
CN109154862B (zh) 用于处理虚拟现实内容的装置、方法和计算机可读介质
US20180247676A1 (en) Content identification and playback
CN106412424A (zh) 全景视频的视野调整方法及装置
EP3338106A1 (en) Generating objects in real time panoramic video
US11463673B2 (en) Method and device for transmitting immersive media
US20230353717A1 (en) Image processing system, image processing method, and storage medium
US20200215410A1 (en) Aligning sensor data with video
US20200285056A1 (en) Apparatus, systems, and methods for wearable head-mounted displays
US20120101878A1 (en) Advertisement display system and method
Ono et al. MIB: A Bubble Maker Type Media Recorder
TW201643677A (zh) 電子裝置以及使用者介面操作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant