CN109416562A - 装置和相关联的方法 - Google Patents

装置和相关联的方法 Download PDF

Info

Publication number
CN109416562A
CN109416562A CN201780039943.7A CN201780039943A CN109416562A CN 109416562 A CN109416562 A CN 109416562A CN 201780039943 A CN201780039943 A CN 201780039943A CN 109416562 A CN109416562 A CN 109416562A
Authority
CN
China
Prior art keywords
event
virtual reality
content
audio
missed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780039943.7A
Other languages
English (en)
Other versions
CN109416562B (zh
Inventor
A·埃罗南
A·勒蒂涅米
J·莱帕南
V-M·科尔默南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN109416562A publication Critical patent/CN109416562A/zh
Application granted granted Critical
Publication of CN109416562B publication Critical patent/CN109416562B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438—Window management, e.g. event handling following interaction with the user interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/49—Saving the game status; Pausing or ending the game
    • A63F13/497—Partially or entirely replaying previous game actions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A63F13/5375—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for graphically or textually suggesting an action, e.g. by displaying an arrow indicating a turn in a driving game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Acoustics & Sound (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种装置，被配置为：关于包括视频影像和空间音频的虚拟现实内容，其中到与视频影像中的视觉事件相关的音频事件的感知方向对应于如虚拟现实空间中呈现的上述视觉事件的视觉位置；基于由用户对虚拟现实视图的查看方向从第一查看方向到第二查看方向的改变，并且其中上述第二查看方向在方向阈值内对应于特定音频事件的方向；提供错过的事件内容的显示，从而允许用户看到他们听到相关联的音频事件并通过改变查看方向来对其做出反应的错过的视觉事件。

Description

装置和相关联的方法
技术领域
本公开涉及虚拟现实领域，并且具体涉及来自虚拟现实内容的错过的事件内容的显示。特别地，它涉及从虚拟现实内容显示错过的事件内容，其时间开始点基于音频事件。还公开了相关联的方法、计算机程序和装置。某些公开的方面/示例涉及便携式电子设备。
背景技术
虚拟现实可以使用围绕用户以向用户提供沉浸式虚拟体验的诸如眼镜或护目镜的头戴式视图器(headset)或者一个或多个显示器。虚拟现实装置可以向用户呈现表示虚拟现实空间的多媒体虚拟现实内容，以模拟用户存在于虚拟现实空间内。虚拟现实空间可以由全景视频提供，诸如由具有宽视场或360°视场的视频(其可以包括水平定向视场的上方和/或下方)提供。包括看起来起源于特定位置的声音的空间音频还可以被提供作为虚拟现实消费的一部分。形成虚拟现实空间的视频影像大于用户在任何一次能够查看的视频影像，其结果是用户可能听到事件但是没有看到它。
在本说明书中对先前出版的文档或任何背景的列举或讨论并不一定被视为承认文档或背景是现有技术的一部分或为公知常识。本公开的一个或多个方面/示例可以或可以不解决背景问题中的一个或多个背景问题。
发明内容
在第一示例方面，提供了一种装置，包括：
至少一个处理器；以及
至少一个存储器，其包括计算机程序代码，
至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使得装置至少执行以下操作：
关于包括视频影像的虚拟现实内容，该视频影像被配置为提供用于在虚拟现实中查看的虚拟现实空间，其中呈现给用户的虚拟现实视图提供对虚拟现实内容的查看，虚拟现实视图包括形成虚拟现实空间的视频影像的空间部分，并且在空间范围上小于虚拟现实空间的视频影像的空间范围，虚拟现实内容包括空间音频，其中到与视频影像中的视觉事件相关的音频事件的感知方向对应于如虚拟现实空间中呈现的上述视觉事件的视觉位置；
基于由用户对虚拟现实视图的查看方向从第一查看方向到第二查看方向的改变，并且其中上述第二查看方向在方向阈值内对应于特定音频事件的方向，特定音频事件的开始在查看方向的改变之前发生；
提供错过的事件内容的显示，错过的事件内容至少包括从虚拟现实内容的视频影像中提取的、示出与特定音频事件相对应的视觉事件的视觉影像，错过的事件内容的时间开始点在当查看方向的改变发生时的虚拟现实内容中的时间点之前，并且基于特定音频事件。
错过的事件内容从而可以允许用户看到他们听到相关联的音频事件并且可以通过改变查看方向来对其做出反应的错过的视觉事件。空间音频(还被称为三维音频)向虚拟现实的用户(消费者)呈现音频，使得用户将构成整个音频环境的音频事件感知为来自特定方向，并且因此用户可以听到对应的视觉事件在其当前虚拟现实视图之外的音频事件。例如，如果用户通过移动他们的头部来做出反应以查看与他们刚刚听到的音频事件相关联的视觉事件，并且从而移动虚拟现实视图，那么到他们观看音频事件的感知方向之时，他们可能已经错过了与音频事件相关联的对应的视频影像(视觉事件)中的一些或所有。因此，装置可以“倒回”虚拟现实内容，使得他们可以查看错过的事件内容，并且从而查看与他们听到的音频事件相关联的视觉事件内容。例如，如果用户正在向前(即，在第一查看方向上)观看特定的一组足球运动员，然后听到被感知为起源于他们身后(即，在他们当前的视图之外并且在第二个查看方向上)的声音(音频事件)，诸如运动员叫喊“传给我”，那么他们可能希望看到运动员为什么叫喊。因此，他们转过头来以将查看方向从第一查看方向改变到第二查看方向。应当理解，自从用户决定在第二查看方向上观看，时间已经流逝，并且他们已经错过了与运动员叫喊“传给我”相关联的视觉内容。然而，错过的事件内容可以允许用户看到他们没有看到的与他们听到的音频事件相关联的视觉事件。因此，装置至少提供从虚拟现实内容中基于音频事件的时间点的视觉影像的显示和可选的随附音频，使得用户可以看到他们错过的视觉事件。
在一个或多个实施例中，与特定音频事件相关的视觉事件在当指向第一查看方向时的虚拟现实视图中不可见。在一个或多个实施例中，在当指向第一查看方向时的虚拟现实视图中，用户的注视在对应的特定音频事件发生时没有落在上述视觉事件上。
在一个或多个实施例中，错过的事件内容的时间开始点基于特定音频事件被认为已经开始的时间，特定音频事件被认为已经开始是基于以下中的一个或多个：
特定音频事件相对于所呈现的任何其他音频的分析；
特定音频事件的分析；以及
预定音频事件数据，其至少限定虚拟现实内容中的音频事件的定时。
在一个或多个其他示例中，可以通过任何适当的方法来确定特定音频事件被认为已经开始的时间。
在一个或多个实施例中，错过的事件内容的提供进一步基于查看方向在第一查看方向和第二查看方向之间的改变的速率超过方向改变阈值。这可以是有利的，因为方向改变阈值可以用于区分环视虚拟现实空间偶然地看到其中呈现的视频影像的用户和已经对他们听到的声音(即音频事件)做出反应的用户。方向改变阈值大于0.05、0.06、0.07、0.08、0.09或更多度/毫秒。
在一个或多个实施例中，错过的事件内容的提供进一步基于特定音频事件相对于音频阈值(其可以是绝对音频阈值或相对于呈现给用户的任何其他音频的相对阈值)的音量或频率内容中的一项或多项。这可以是有利的，因为音量或频率内容可以用于标识用户可能已经对其做出反应的音频事件并且相应地提供合适的错过的事件内容。VR视图方向的改变可以使用音频事件阈值来标识一个或多个可能的音频事件，特定音频事件从一个或多个可能的音频事件基于在方向阈值内对应于特定音频事件的方向的第二查看方向被标识。
在一个或多个实施例中，特定音频事件的确定基于以下中的一个或多个：
a)预定音频事件数据，包括到在虚拟现实内容中发生的一个或多个音频事件的方向、以及在方向阈值内的第二查看方向与一个或多个音频事件中的一个音频事件的方向之间的相关性；
b)响应于查看方向的改变而对空间音频的音频分析，用以标识用户对其做出反应的特定音频事件。
在一个或多个示例中，音频分析基于空间音频相对于音频阈值的音量和频率内容中的一项或多项。
在一个或多个实施例中，预定音频事件数据基于以下中的一个或多个：
音频分析，其可以包括基于音量、基于频率和/或基于语音识别的分析；
手动提供的音频事件数据；
传感器数据，上述传感器数据是从与VR内容中捕获的对象相关联的传感器获得的；
视频分析，其可以包括寻找高于阈值的快速改变的局部视频影像的唇读取分析和/或动作标识算法。
因此，在一个或多个示例中，装置可以具有音频事件的预定知识，并且可以被配置为将VR视图的第二查看方向与已知音频事件中的一个已知音频事件进行匹配，以便提供错过的事件内容。在一个或多个示例中，装置可以不具有音频事件的知识，并且可以针对可能已经提示用户改变查看方向的大声部分(更一般地，音量特性)或包含特定频率的部分(更一般地，频率特性)来分析空间音频。空间音频的分析可以在方向阈值内被约束到第二查看方向的方向。响应于音频事件通过分析而被标识，可以提供错过的事件内容以示出链接到所标识的音频事件的视觉事件。错过的事件内容的时间开始点可以基于音频分析或音频事件数据。例如，开始点可以基于何时发生空间音频的大声部分或者包含特定音频的部分。应当理解，时间开始点可以在音频事件开始之前的预定时间段开始，这可以帮助用户理解音频事件的原因。
因此，在一个或多个示例中，可以实时确定或者可以预先确定一个或多个音频事件(以及与虚拟现实内容一起提供的音频事件数据)，并且装置可以被配置为基于与可能的音频事件中的一个可能的音频事件相对应的第二VR查看方向来确定用户对特定音频事件的兴趣。备选地或附加地，装置可以被配置以使得由用户对查看方向的改变提供用于标识他们可能已经对其做出反应的特定音频事件的标识过程。因此，响应于查看方向的改变，装置可以提供在第二方向的方向阈值内的空间音频的分析，以将音频事件标识为用户可能已经对其做出反应的特定音频事件。然后可以提供合适的错过的事件内容。
在一个或多个实施例中，错过的事件内容的显示的提供包括提供虚拟现实内容的临时暂停和错过的事件内容在虚拟现实视图中的显示。
在一个或多个实施例中，响应于查看方向朝向特定音频事件的方向的改变，相对于时间相反地提供虚拟现实内容的显示，使得虚拟现实内容对用户显现为倒回到错过的事件内容开始的时间点。
在一个或多个实施例中，在用户已经停留在第二查看方向后，虚拟现实内容相对于时间相反的显示就可以开始。在一个或多个实施例中，虚拟现实内容相对于时间相反的显示可以基于对他们可能停留在其上的第二查看方向的预测来在用户发起查看方向的改变时开始。例如，音频事件数据可以指示在用户改变VR视图的一般方向上的音频事件，并且因此用户正在转向上述音频事件的预测是可能的。
在一个或多个实施例中，错过的事件内容包括以下中的一个或多个：
i)从虚拟现实内容的视频影像中提取的错过事件视频影像；
ii)从虚拟现实内容的视频影像中提取的错过事件静止影像；
iii)从虚拟现实内容的视频影像中提取的错过事件虚拟现实内容，其中至少错过事件虚拟现实内容的初始查看方向与特定音频事件的方向对准；
iv)从虚拟现实内容的视频影像中提取的错过事件虚拟现实内容，其中错过事件虚拟现实内容具有比虚拟现实内容的空间范围小的空间范围，并且被聚焦在特定音频事件的方向上。
在一个或多个实施例中，错过的事件内容被提供用于作为虚拟现实视图中的画中画与虚拟现实内容一起显示。在该示例中，虚拟现实内容可以在时间上不间断，从而继续显示虚拟现实内容，同时示出时间上在先的错过的视觉事件。
在一个或多个实施例中，在完成错过的事件内容的显示时，虚拟现实内容的显示从与查看方向从第一查看方向到第二查看方向的改变的时间相对应的时间点重新开始。虚拟现实内容的显示的恢复可以与虚拟现实视图的当前查看方向一致，当前查看方向可以基本上是第二查看方向。
在一个或多个实施例中，在完成错过的事件内容的显示时，虚拟现实内容被提供以至少临时地以大于实时的回放速度来显示。这可以提供虚拟现实内容的回放以赶上未被提供用于显示的错过的事件内容的位置。如果虚拟现实内容包括实时虚拟现实内容而不是预先记录的虚拟现实内容，则这可以特别有用。
在一个或多个实施例中，方向阈值保持可以小于90°、小于70°、小于45°或小于30°。在一个或多个实施例中，方向阈值可以是有利的，因为用户可能无法精确地看向他们可能仅仅短暂地听到的声音的来源，并且因此方向阈值提供了用于标识特定音频事件的容差。
在第二方面，提供了一种方法，方法包括：
关于包括视频影像的虚拟现实内容，视频影像被配置为提供用于在虚拟现实中查看的虚拟现实空间，其中呈现给用户的虚拟现实视图提供对虚拟现实内容的查看，虚拟现实视图包括形成虚拟现实空间的视频影像的空间部分，并且在空间范围上小于虚拟现实空间的视频影像的空间范围，虚拟现实内容包括空间音频，其中到与视频影像中的视觉事件相关的音频事件的感知方向对应于如虚拟现实空间中呈现的上述视觉事件的视觉位置；
基于由用户对虚拟现实视图的查看方向从第一查看方向到第二查看方向的改变，并且其中上述第二查看方向在方向阈值内对应于特定音频事件的方向，特定音频事件的开始在查看方向的改变之前发生；
提供错过的事件内容的显示，错过的事件内容至少包括从虚拟现实内容的视频影像中提取的、示出与特定音频事件相对应的视觉事件的视觉影像，错过的事件内容的时间开始点在当查看方向的改变发生时的虚拟现实内容中的时间点之前，并且基于特定音频事件。
在第三方面，提供了一种计算机可读介质，包括存储在其上的计算机程序代码，计算机可读介质和计算机程序代码被配置为当在至少一个处理器上运行时，执行方法：
关于包括视频影像的虚拟现实内容，视频影像被配置为提供用于在虚拟现实中查看的虚拟现实空间，其中呈现给用户的虚拟现实视图提供对虚拟现实内容的查看，虚拟现实视图包括形成虚拟现实空间的视频影像的空间部分，并且在空间范围上小于虚拟现实空间的视频影像的空间范围，虚拟现实内容包括空间音频，其中到与视频影像中的视觉事件相关的音频事件的感知方向对应于如虚拟现实空间中呈现的上述视觉事件的视觉位置；
基于由用户对虚拟现实视图的查看方向从第一查看方向到第二查看方向的改变，并且其中上述第二查看方向在方向阈值内对应于特定音频事件的方向，特定音频事件的开始在查看方向的改变之前发生；
提供错过的事件内容的显示，错过的事件内容至少包括从虚拟现实内容的视频影像中提取的、示出与特定音频事件相对应的视觉事件的视觉影像，错过的事件内容的时间开始点在当查看方向的改变发生时的虚拟现实内容中的时间点之前，并且基于特定音频事件。
在另一方面，提供了一种装置，装置包括被配置为进行以下操作的部件：关于包括视频影像的虚拟现实内容，视频影像被配置为提供用于在虚拟现实中查看的虚拟现实空间，其中呈现给用户的虚拟现实视图提供对虚拟现实内容的查看，虚拟现实视图包括形成虚拟现实空间的视频影像的空间部分，并且在空间范围上小于虚拟现实空间的视频影像的空间范围，虚拟现实内容包括空间音频，其中到与视频影像中的视觉事件相关的音频事件的感知方向对应于如虚拟现实空间中呈现的上述视觉事件的视觉位置；
基于由用户对虚拟现实视图的查看方向从第一查看方向到第二查看方向的改变，并且其中上述第二查看方向在方向阈值内对应于特定音频事件的方向，特定音频事件的开始在查看方向的改变之前发生；
提供错过的事件内容的显示，错过的事件内容至少包括从虚拟现实内容的视频影像中提取的、示出与特定音频事件相对应的视觉事件的视觉影像，错过的事件内容的时间开始点在当查看方向的改变发生时的虚拟现实内容中的时间点之前，并且基于特定音频事件。
本公开包括单独或以各种组合的一个或多个对应方面、示例或特征，无论是否以该组合或孤立地具体陈述(包括要求保护的)。用于执行所讨论的功能中的一个或多个功能的对应装置和对应功能单元(例如，功能启动器、视频影像提取器、视频影像编译器、查看方向测量器、查看方向修改器、视频播放器、方向传感器)也在本公开内。
用于实现所公开的方法中的一个或多个的对应计算机程序也在本公开内，并且由所描述的示例中的一个或多个示例涵盖。
以上发明内容旨在仅是示例性而非限制性的。
附图说明
现在仅通过示例的方式参考附图给出描述，其中：
图1图示了装置的示例实施例连同虚拟现实装置；
图2图示了示出用户在虚拟现实空间中的第一查看方向上观看以及发生音频事件的位置的示例平面图；
图3图示了示出用户在虚拟现实空间中的第二查看方向上观看的示例平面图，用户已经对音频事件做出反应但是错过了相关联的视觉事件；
图4图示了示例的错过的事件内容；
图5图示了在显示错过的事件内容之后虚拟现实内容的继续；
图6图示了示例音频事件数据；
图7图示了音频分析的一个示例；
图8示出了图示示例方法的流程图；以及
图9示出了计算机可读介质。
具体实施方式
虚拟现实(VR)可以使用围绕用户以向用户提供沉浸式虚拟体验的诸如眼镜或护目镜的头戴式视图器或者一个或多个显示器。虚拟现实装置可以向用户呈现表示虚拟现实空间的多媒体虚拟现实内容，以模拟用户存在于虚拟现实空间内。虚拟现实空间可以复制真实世界环境以模拟用户物理地存在于真实世界位置，或者虚拟现实空间可以是计算机生成的多媒体内容，或者是计算机生成的和现实世界多媒体内容的组合。虚拟现实空间可以由全景视频提供，诸如具有宽视场或360°视场的视频(其可以包括水平定向视场的上方和/或下方)。因此，虚拟现实空间提供虚拟的三维环境，其中提供VR内容的视频影像以用于显示。可以向用户提供虚拟现实空间的空间子集作为其VR视图，即用于查看VR空间的视频影像的视口。虚拟现实装置可以提供与所显示的虚拟现实空间的用户交互。提供给用户的虚拟现实内容可以包括由虚拟现实内容捕获设备(诸如例如，全景视频捕获设备或虚拟现实内容捕获设备)捕获的现实世界的实况或记录图像。虚拟现实内容捕获设备的一个示例是诺基亚OZO相机。虚拟现实空间可以提供360°或更大的视场，并且可以基于VR用户的头部或眼睛的移动来提供围绕上述视场的平移/旋转。虚拟现实空间的虚拟现实视图可以经由头戴式视图器中的显示器由虚拟现实装置提供给上述用户。虚拟现实空间对VR装置的用户可以看起来为从虚拟现实内容的图像创建的三维空间。因此，VR内容可以包括在多个查看方向上拍摄的图像，该图像可以被显示和布置在一起以形成(不间断的、连续的)环绕视场。
虚拟现实内容本质上可以是沉浸式的，并且因此可以包括大量数据。虚拟现实内容可以包括具有大空间范围(诸如以围绕用户)的视频影像(即，移动的图像)。向用户提供的虚拟现实视图可以仅覆盖视频影像的小于总面积的区域，并且用户可能需要四处移动虚拟现实视图以欣赏视频影像所覆盖的虚拟现实空间的整个空间范围。应当理解，随着VR视频影像随时间推移，用户不可能一直看到视频影像的所有空间部分，因此事件本身就被错过。
可以用空间音频(还被称为三维音频或方向性音频)呈现VR内容，空间音频向虚拟现实的用户(消费者)呈现音频，使得用户将音频的元素感知为源自特定方向。因此，呈现给消费VR内容的用户的音频可以包括被感知为不是来自特定方向的周围环境或非方向性音频(诸如背景音乐)以及被用户感知为源自特定方向的方向音频。应当理解的是，虚拟现实内容中的事件生成随附的音频，诸如人物讲话、汽车加速、冰球被击中。因此，在视觉上出现在用户的虚拟现实视图的左侧的人物讲话的语音可以被呈现为源自该左手侧的方向性音频。本文中，音频事件可以包括至少关于时间与在虚拟现实内容中发生的视觉事件链接的方向性音频的一部分。因此，口头独白的音频事件可以被链接到在VR内容的视觉影像中说出独白的人物的视觉事件。“重击”声音的音频事件可以被链接到冰球运动员击打冰球的视觉事件，因为冰球的撞击生成了该声音。应当理解，呈现给用户的空间音频可以包括许多方向性声音，即被感知为源自各种方向的音频事件。
如上所述，虚拟现实视图仅包括VR内容的视频影像的总空间范围的一部分，但是类似于现实生活，呈现给用户的音频可以包括被感知为源自虚拟现实视图的空间范围之外的方向的方向性音频。因此，用户可以听到方向性音频，但是他们没有看到链接的视觉事件，因为当音频事件发生时他们正在观看错误的方向。
虽然用户可以快速地对听到音频事件做出反应并且改变VR视图的方向以在音频事件的感知方向上观看，但是他们可能已经错过了视频影像中的链接的视觉事件。这可能使用户感到困惑，并且可能使VR内容对于他们更难以理解，或者可能要求他们通过不同的查看方向多次观察它以完全理解所发生的事件。
图1示出了被配置为提供错过的事件内容的显示的装置100，该错过的事件内容至少包括从虚拟现实内容的视频影像中提取的视觉影像，该视觉影像示出了与他们听到的特定音频事件相对应的视觉事件。因此，用户可以能够看到他们听到相关联的音频事件的视觉事件。
装置100可以是被配置为向用户呈现虚拟现实内容的虚拟现实设备101的一部分。虚拟现实设备101可以经由VR显示器102向用户呈现VR空间的VR视图，VR显示器102可以包括头戴式视图器。在VR显示器102上提供给用户的VR视图可以基于VR显示器的定向，使得用户可以通过移动他们的头来环视VR空间。应当理解，可以提供其他类型的显示器和其他手段来“环视”虚拟现实空间。在一些示例中，装置100在功能上由计算机、虚拟现实设备101或计算机服务器提供，计算机、虚拟现实设备101或计算机服务器中的每一个可以包括存储器101a和至少一个处理器101b，但是在其他的一些示例中，装置可以是电子设备，诸如计算机、移动电话或下文中列出的与VR设备101通信的其他装置。在该示例中，虚拟现实设备101被配置为从其中存储虚拟现实内容(其可以包括暂时或临时存储)的虚拟现实内容存储库103接收虚拟现实内容。因此，虚拟现实内容可以是实况内容，并且存储库103可以是显示器或向前传输路径的存储器或缓冲器。装置100可以接收用户正在虚拟现实空间中观看的位置以及音频事件的位置、音频本身和针对呈现给用户的音频的音频分析信息中的一个或多个的指示。音频事件数据可以是预定的，或者可以由装置100或不同的装置105生成。
VR内容可以由虚拟现实内容捕获设备104提供。不同的装置105可以被配置为创建音频事件数据，并且音频事件数据可以与VR内容一起存储在VR内容存储库103中。在一个或多个其他示例中，不提供不同的装置105，并且音频事件的发生和方向可以由装置100或与其相关联的装置确定。
在一个或多个示例中，可以基于捕获期间或后期制作期间的虚拟现实内容的人工分析来手动提供音频事件数据，并且因此不同的装置105可以表示音频事件数据的数据条目。在一个或多个示例中，可以基于对空间音频的基于计算机的音频分析来自动生成音频事件数据，对空间音频的基于计算机的音频分析可以在VR内容的制作期间或在制作之后提供。在一个或多个示例中，音频事件数据作为准备用于向用户显示的虚拟现实内容的一部分(诸如由装置100和/或VR设备101)或者在向用户显示虚拟现实内容期间实时生成。应当理解，虽然内容捕获设备104和不同的装置105被示出连接到VR内容存储库，但这仅用于整个系统的理解，并且装置100可以在有或没有不同装置105的情况下利用记录的VR内容操作。
在该实施例中，上面提到的装置100(或其他电子设备)可以仅具有一个处理器101b和一个存储器101a，但是应当理解，其他的一些实施例可以使用多于一个处理器和/或多于一个存储器(例如，相同或不同的处理器/存储器类型)。此外，装置100可以是专用集成电路(ASIC)。
处理器可以是通用处理器，其专用于执行/处理从其他组件接收的信息，诸如根据以存储器中的计算机程序代码的形式存储的指令从内容存储库103和VR设备101接收的信息。由处理器的这种操作生成的输出信令被向前提供给另外的组件，诸如用于显示错过的事件内容的VR装置101。
存储器(不一定是单个存储器单元)是计算机可读介质(在该示例中为固态存储器，但可以是诸如硬盘驱动器、ROM、RAM、闪存等的其他类型的存储器)。该计算机程序代码存储当程序代码在处理器上运行时可由处理器执行的指令。在一个或多个示例实施例中，存储器和处理器之间的内部连接可以被理解为在处理器和存储器之间提供有源耦合，以允许处理器访问存储在存储器上的计算机程序代码。
在该示例中，处理器和存储器都在内部彼此电连接以允许相应组件之间的电通信。在该示例中，组件全部彼此邻近地定位，以便一起形成为ASIC，换句话说，以便被集成在一起作为可以安装到电子设备中的单个芯片/电路。在一些示例中，组件中的一个或多个或所有组件可以彼此分开地定位。
图2示出了示出穿戴VR显示器102的用户200的示例平面图，在该示例中，VR显示器102包括头戴式视图器。用户200正在观察VR内容202，其示意性地示出为围绕用户的环，类似于如何在多个查看方向上显示VR内容的视频影像以在虚拟现实空间中环绕用户。在图2中，用户200在虚拟现实空间中的第一查看方向203上观看由视场线204、205限定的VR内容的视频影像的一部分。
图2还示出了音频事件206的发生，音频事件206包括空间音频并因此被用户200感知为源自特定方向。音频事件206与视觉事件207相关联的。应当理解，用户200没有看到视觉事件207，因为他们正在第一方向上观看并且视觉事件207在第二方向上发生并且在图2中示出以便理解。音频事件包括冰球棒208撞击冰球210的声音。因此，与音频事件206相关联的视觉事件207包括声音源的视觉影像，其包括音频事件206。在该示例中，音频事件206的声音源是运动员211用他的冰球棒208击打冰球210。
图3示出了用户200可能已经对音频事件206做出反应并且转过头来在音频事件206的感知方向、即第二方向300上观看。因此，虚拟现实视图的查看方向已经从第一方向203改变到第二方向300。虽然在该示例中，VR视图的查看方向的这种改变是通过用户200的头部的转动来实现的，但是在其他的一些示例中，VR视图的控制可以以其他方式实现。
如图3所示，到用户200对音频事件206做出反应并且改变VR视图时，他们已经错过了与音频事件206相关联的视觉事件207的至少一部分。在该示例中，由于音频事件206相对较短，因此呈现给用户200的VR视图301此时在时间上晚于视觉事件207，并且当发生时，是运动员211在击打冰球210之后看起来对自己感到高兴。因此，用户200已经错过了与他们听到的音频事件206相关联的视觉事件207。
在该示例中，装置100被配置为基于由用户200对虚拟现实视图的查看方向从第一查看方向203到第二查看方向300的改变、并且其中上述第二查看方向300在方向阈值内对应于用户听到的特定音频事件206的方向300，来提供错过的事件内容的显示，如将结合图4描述的。因此，取决于音频事件206的时间长度以及用户200对其做出反应的速度，第二方向300可以是正在进行的音频事件206的方向或在最近或不久之前发生的音频事件206。在确定用户200对其做出反应的音频事件206时，可以使用以最近时间阈值从当前时间延伸到过去中的时间窗口。最近时间阈值可以被设置为包括在当确定用户200已转向的特定音频事件时最后的1、2、3、4、5、6、7、8、9、10或更多秒内发生的任何音频事件。此外，应当理解，用户可能不会精确地在用户听到的音频事件206的方向上观看。因此，第二方向300可能不完全与音频事件206的方向对准。方向阈值可用于提供第二方向300与音频事件206的方向之间的容差。方向阈值可以配置为小于5°、小于10°、小于15°、小于20°、小于30°、小于40°或更大。方向阈值可以在水平和竖直平面中具有不同的值，例如类似于人类听觉方向感知精度。
用户将查看方向从第一查看方向203改变到第二查看方向300的动作可以提示装置100提供错过的事件内容的显示。第二查看方向与最近的音频事件对准可以提示装置100将该最近的音频事件标识为用户所看向的特定音频事件并且提供错过的事件内容400的显示。查看方向的改变可以提示装置标识用户对其做出反应的特定音频事件，并随后提供错过的事件内容的显示。装置可以响应于在装置向用户提供错过的事件内容可用的提示之后他们希望查看上述错过的事件内容的用户确认来提供错过的事件内容的显示。因此，装置100可以被配置为标识用户通过改变查看方向来对其做出反应的特定音频事件，然后可以向用户提供用于查看错过的事件内容400的提示或选项的呈现。第二查看方向与最近音频事件的方向的对准可能频繁发生，并且因此错过的事件内容的显示或对错过的事件内容的显示的提示可能是麻烦的。因此，装置100可以被配置为：当确定是否提供错过的事件内容的显示或者对错过的事件内容的显示的提示时，将该决策基于第一查看方向203和第二查看方向300之间的查看方向的改变的速率超过方向改变阈值。这可以使得装置能够区分随意环视虚拟现实空间中呈现的视频影像的用户200与已经对特定音频事件206做出反应的用户200。方向改变阈值(例如，朝向音频事件206的方向的方向改变)可以大于0.05、0.06、0.07、0.08、0.09或更多度/毫秒。改变速率信息可以由VR装置101和/或VR显示器102提供。如果改变的速率相对较快，则可以推断出用户200对音频事件做出反应并因此提供错过的事件内容400的显示或对错过的事件内容400的显示的提示。如果改变的速率相对较慢，则可以推断出用户没有对音频事件做出反应并且不提供错过的事件内容以用于显示。备选地或附加地，可以不提供询问用户是否希望查看错过的事件内容的提示以显示。
图4示出了示例错过的事件内容400的三个屏幕截图。应当理解，图4中所示的三个示例性帧401、402、403表示包括错过的事件内容的连续视频。在该示例中，错过的事件内容400包括视频，该视频包括与用户200听到的音频事件相关联的视觉事件207的视觉影像。在其他的一些示例中，错过的事件内容可以是一系列静止图像、平面视频(即，无法环视视频的不同部分处的虚拟现实空间)或虚拟现实内容。在该示例中，错过的事件内容至少包括从虚拟现实内容的视频影像中提取的示出对应于特定音频事件206的视觉事件207的视觉影像。在显示错过的事件内容400之前或作为错过的事件内容400的一部分，装置100可以提供虚拟现实内容的倒回。因此，装置可以向用户提供反向播放的虚拟现实内容的显示，以演示他们正要见证的内容在过去发生。因此，对于用户，虚拟现实内容可以显现为“倒回”到错过的事件内容开始的时间点。
因此，错过的事件内容400的时间开始点在当查看方向203、300的改变发生时的虚拟现实内容中的时间点之前。此外，错过的事件内容开始的时间点基于特定音频事件206。在一个或多个示例中，错过的事件内容的时间开始点可以是音频事件206的开始发生的时间点。因此，时间开始点可以短暂地在发出音频事件206的声音之前。在一个或多个示例中，错过的事件内容相对于虚拟现实内容的时间开始点是在音频事件206开始之前的预定时间段，这可以帮助用户理解音频事件的原因。因此，不是在音频事件206发生时开始的错过的事件内容，而是可以在音频事件206之前几秒开始。预定时间段可以达到1、2、3、4、5、6、7、8、9、10、15、20、30、60秒，使得错过的事件内容的时间开始点在音频事件206开始之前的预定时间段开始。
在图4的示例中，错过的事件内容视频的第一帧401(即，视觉影像和随附音频)在音频事件206发生之前几秒开始。第一帧401示出了准备击打冰球210的运动员211。第二帧402示出了运动员211击打冰球210并且冰球被推向右侧。第三帧403示出了错过的事件内容400的结束，并且包括用户在第二方向300上观看的大致时间的视觉影像，其在图3中标记为301。
因此，错过的事件内容至少包括包含视觉事件207的视觉影像。错过的事件内容400还可以至少包括在音频事件206发生之前的预定时间的视觉影像。错过的事件内容400可以至少包括在音频事件206之后的视觉影像，并且至少达到用户在第二方向300上观看的时间点。
因此，已经从第二方向300听到音频事件206的方向性音频的用户可以被自动提供错过的事件内容，其至少包括与音频事件相关联的VR内容的视觉影像(其可以是在第二方向上发生的视觉影像，取决于用户能够多精确地找出音频事件的方向)。错过的事件内容从而允许用户看到他们听到相关联的音频事件206并通过改变查看方向203、300来对其做出反应的错过的视觉事件207。
可以响应于以下中的一个或多个来提供错过的事件内容的显示：
i)自动跟随查看方向的改变和音频事件的标识；
ii)用户请求他们希望查看错过的事件内容；
iii)响应于提供给用户的基于他们的查看方向的改变而错过的事件内容是可用的提示的用户确认，即，他们希望查看错过的事件内容。
提示可以是被提供以用于在由VR显示器102提供的VR视图中显示的视觉图形。提示可以是听觉提示或触觉提示。用户请求或用户确认可以是经由诸如与装置通信的移动电话或其他电子设备的用户接口的视线命令、语音命令和命令中的一个或多个。
图5示出了两个示例性帧，以图示在提供了错过的事件内容400来用于显示后，就继续虚拟现实内容。在一些示例中，诸如对于预先录制的内容或实况内容，可以提供错过的事件内容来用于显示，然后虚拟现实内容可以从其被中断以显示错过的事件内容的时间点继续。然而，对于特别是实况内容，这可能意味着用户不再观看实况内容而是延迟(可以由装置100或VR装置101缓冲)了错过的事件内容的长度的内容。因此，图5示出了装置100可以如何相对于VR内容的正常回放速度以增加的回放速度提供虚拟现实内容从a)虚拟现实内容被中断以显示错过的事件内容的时间点到b)VR内容被实时显示给用户的时间点的显示。
因此，图5示出了错过的事件内容400的最终帧403以及在虚拟现实中以增加的回放速度显示的VR内容的继续。帧500示出了运动员211以增加的回放速度滑行。然后虚拟现实内容被提供以例如在显示给用户的VR内容与由VR装置101接收的实时VR内容“赶上”后来以正常(例如实时)回放速度向用户显示。
为了将适当的视觉内容显示为错过的事件内容的一部分，装置可以标识用户200对其做出反应的特定音频事件206。这可以通过多种方式实现。
例如，装置100可以具有对预定音频事件数据的访问，该预定音频事件数据标识VR内容中发生的音频事件的方向和定时。因此，响应于查看方向的改变，装置100可以基于音频事件数据、第二查看方向和相对于VR内容的时间来标识用户对其做出反应的特定音频事件。可以包括音频事件的开始和结束时间及其方向的音频事件数据可以用于从VR内容中提取适当的视觉影像以创建错过的事件内容。
音频事件数据诸如在VR内容的后期制作中手动被创建。可以从空间音频的音频分析或VR内容的视觉影像的视觉分析来自动创建音频事件数据。
在一个或多个示例中，可以从传感器数据创建音频事件数据，上述传感器数据从与在VR内容中被捕获的对象相关联的传感器(未示出)获得。因此，例如，在冰球比赛的VR内容捕获期间，诸如加速度传感器或声音传感器的传感器可以被放置在冰球中。因此，可以由传感器来检测冰球的加速，并且可以推断用户可能已经对其做出反应的音频事件可能何时发生。可以使用这种VR中内容捕获场景传感器来创建音频事件数据。加速的持续时间(或其他感测量)可以用于确定音频事件的开始和结束点。传感器相对于内容捕获设备104的方向可以用于指定音频事件方向。
在一个或多个示例中，装置可以分析VR内容的空间音频以标识音频事件。可以执行这种分析以创建音频事件数据。本文中描述的分析可以实时执行。因此，响应于查看方向的改变，装置可以提供空间音频的音频分析以标识音频事件，该空间音频在阈值方向内具有第二方向的方向，并且至少在当前时间并且可选地在当前时间的最近时间阈值内。可以通过绝对或相对于阈值的相对音量的音频分析来标识音频事件。因此，方向性音频的特定部分更大声的事实可以将其标识为特定音频事件，音频事件变得更大声的时间至少部分地限定错过的事件内容的开始点。可以通过相对于阈值的频率的音频分析来标识音频事件。因此，在方向性音频的特定频带(例如，人物的低沉语音)中的声音的出现可以将其标识为特定音频事件。音频在频带中出现的时间可以至少部分地限定错过的事件内容的开始点。可以使用语音识别来标识出现在VR内容中的特定人物(即，男演员/女演员)的语音通过音频分析来标识音频事件。因此，特定语音是方向性音频在大致第二方向上的一部分的事实可以将其标识为特定音频事件，听到语音的时间至少部分地限定错过的事件内容的开始点。
在一个或多个示例中，装置可以提供对VR内容的视频影像的视频分析以标识视频中可能发生潜在音频事件的动作。
图6示出了示例音频事件数据600。应当理解，音频事件数据600的表格形式仅用于举例说明，并且可以以任何数目的方式存储。作为一个示例，音频事件数据600包括两个音频事件601和602。这些音频事件601、602可以通过诸如VR中内容捕获场景传感器的传感器数据、或通过音频分析、或通过本文描述的任何方法来确定。
对于每个音频事件601、602，音频事件数据600可以包括音频事件的如将被呈现给用户200的感知方向603、音频事件的开始时间604和结束时间605。因此，可以看出“音频事件1”601在135°方向上发生并且相对于VR内容在30秒的时间开始直到35秒。
因此，如果用户200在VR内容的回放中在约32秒处将VR视图的查看方向改变为140°，则装置可以使用音频事件数据600来将“音频事件1”601的标识提供为特定音频事件。因此，140°可以被认为是在方向阈值内，并且因此足够接近135°。此外，可以确定32秒在“音频事件1”601的发生期间。因此，装置可以使用音频事件数据600来确定错过的事件内容应该使用VR内容的来自大约135°查看方向的视觉影像，并且错过的事件内容的时间开始点可以基于“音频事件1”601的开始时间604。因此，如果用于确定时间上在音频事件601之前多远来开始错过的事件内容的预定时间段是5秒，则错过的事件内容的开始点可以是到VR内容的运行时间中的25秒。
图7示出了特定查看方向(诸如查看方向300)或查看方向范围上的音频音量的曲线图700的示例图。图7的曲线图提供了空间音频的音频分析的说明。应当理解，音频分析的图形形式仅用于举例说明，并且可以以任何数目的方式执行。在该示例中，视图方向由用户向第二方向300的改变在时间treact发生。在提供本文描述的音频分析中，装置100可以使用阈值701来标识在时间t1和时间t2之间发生高于阈值的声音。因此，上述声音可以被标识为特定音频事件206。因此，时间点t1可以用于确定错过的事件内容的开始时间。在一个或多个示例中，时间treact可以在时间t2之后发生。装置可以被配置为将时间t1和t2之间的音频事件标识为在足够最近的过去发生的音频事件，以作为用户对其做出反应的音频事件。
在其他的一些示例中，曲线图700可以表示特定频率，并且不是在音量方面进行区分，音频的特定部分的频率范围可以提供其作为特定音频事件的标识。
上述实施例可以有利地使用音频事件来确定错过的事件内容的开始时间。如上所述，音频事件的标识和定时可以通过以下中的一个或多个来确定：
预定音频事件数据，其又可以基于音频分析、视频分析、传感器数据；
音频分析，其可以包括基于音量、基于频率和/或基于语音识别的分析；或者
视频分析，其可以包括寻找高于阈值的快速改变的局部视频影像的唇读取分析和/或动作标识算法。
图8示出了图示以下步骤的流程图：基于800由用户对虚拟现实视图的查看方向从第一查看方向到第二查看方向的改变，并且其中上述第二查看方向在方向阈值内对应于特定音频事件的方向；提供801错过的事件内容的显示，错过的事件内容至少包括从虚拟现实内容的视频影像中提取的示出与特定音频事件相对应的视觉事件的视觉影像，错过的事件内容的时间开始点在当在查看方向的改变发生时的虚拟现实内容中的时间点之前并且错过的事件内容的时间开始点基于特定的音频事件，从而允许用户看到他们听到相关联的音频事件并通过改变查看方向来对其做出反应的错过的视觉事件。
图9示意性地图示了根据一个示例提供程序的计算机/处理器可读介质900。在该示例中，计算机/处理器可读介质是诸如数字多功能碟(DVD)或压缩碟(CD)之类的碟。在一些示例中，计算机可读介质可以是已经以执行发明功能的方式被编程的任何介质。计算机程序代码可以分布在相同类型的多个存储器之间，或者分布在不同类型的多个存储器之间，诸如ROM、RAM、闪存、硬盘、固态存储装置等。
用户输入可以是包括轻击、轻扫、滑动、按压、保持、旋转手势、靠近设备的用户接口的静态悬停手势、靠近设备的移动悬停手势、弯曲设备的至少一部分、挤压设备的至少一部分、多指手势、倾斜设备或翻转控制设备中的一个或多个的手势。此外，手势可以是使用用户身体(诸如他们的手臂)、或者触笔或适合于执行自由空间用户手势的其他元件的任何自由空间用户手势。
上述示例中所示的装置可以是便携式电子设备、膝上型计算机、移动电话、智能电话、平板计算机、个人数字助理、数码相机、智能手表、智能眼镜、笔式计算机、非便携式电子设备、台式计算机、监视器、家用电器、智能TV、服务器、可穿戴装置、虚拟现实装置或用于其中的一个或多个的模块/电路。
任何提及的装置和/或特定提及的装置的其他特征可以由被布置以使得它们被配置成仅在启用(例如，接通等)时执行期望的操作的装置提供。在这种情况下，它们可以不必在非启用(例如，关断状态)下将适当软件加载到活跃的存储器中，而仅在启用(例如，开启状态)下加载适当软件。装置可以包括硬件电路和/或固件。装置可以包括加载到存储器上的软件。这样的软件/计算机程序可以记录在相同的存储器/处理器/功能单元上和/或一个或多个存储器/处理器/功能单元上。
在一些示例中，特定提及的装置可以用适当的软件预编程以执行期望的操作，并且其中可以启用适当的软件以供用户下载“密钥”使用，例如，以解锁/启用软件及其相关联的功能。与这种示例相关联的优点可以包括当设备需要进一步的功能时减少的下载数据的要求，并且这在其中设备被感知为具有足够容量来存储这样的预编程软件以用于可能不被用户启用的功能的示例中是有用的。
除了所提及的功能之外，任何提及的装置/电路/元件/处理器可以具有其他功能，并且这些功能可以由相同的装置/电路/元件/处理器执行。一个或多个公开的方面可以包括相关联的计算机程序的电子分发和记录在适当的载体(例如，存储器、信号)上的计算机程序(其可以是源/传输编码)。
本文描述的任何“计算机”可以包括一个或多个单独的处理器/处理元件的集合，这些处理器/处理元件可以或可以不位于同一电路板上、或者电路板的相同区域/位置或甚至相同的设备上。在一些示例中，任何提及的处理器中的一个或多个可以分布在多个设备上。相同或不同的处理器/处理元件可以执行本文描述的一个或多个功能。
术语“信令”可以指代作为一系列发射和/或接收的电/光信号而传输的一个或多个信号。一系列信号可以包括一个、两个、三个、四个或甚至更多个个体信号分量或不同信号以构成上述信令。这些个体信号中的一些或全部可以通过无线或有线通信同时、依次和/或使得它们在时间上彼此重叠地被发射/接收。
参考任何提及的计算机和/或处理器和存储器(例如包括ROM、CD-ROM等)的任何讨论，这些可以包括计算机处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、和/或以便于执行本发明功能的方式而编程的其他硬件组件。
申请人在此单独地公开了本文所描述的每个个体特征以及两个或更多个这样的特征的任何组合，只要这样的特征或组合能够根据本领域技术人员的一般知识基于本说明书作为整体被执行，而不管这样的特征或特征的组合是否解决了本文公开的任何问题，并且不限制权利要求的范围。申请人指出所公开的方面/示例可以由任何这样的个体特征或特征组合组成。鉴于前面的描述，对于本领域技术人员显而易见的是，可以在本公开的范围内进行各种修改。
尽管已经示出并描述并指出了应用于其示例的基本新颖特征，但是应当理解，在不脱离本公开的范围的情况下，本领域技术人员可以对所描述的设备和方法的形式和细节进行各种省略和替换以及改变。例如，明确意图的是，以基本相同的方式执行基本相同的功能以实现相同结果的那些元件和/或方法步骤的所有组合都在本公开的范围内。此外，应该认识到，结合任何公开的形式或示例示出和/或描述的结构和/或元件和/或方法步骤可以作为设计选择的一般事项并入任何其他公开的或描述的或建议的形式或示例中。此外，在权利要求中，装置加功能的条款旨在覆盖本文描述的执行所记载功能的结构、以及结构等价物和等价结构。因此，尽管钉子和螺钉可以不是结构等价物，因为钉子采用圆柱形表面将木质部件固定在一起，而螺钉采用螺旋表面，但是在紧固木质部件的环境中，钉子和螺钉可以是等价结构。

Claims (15)

1.一种装置，包括：
至少一个处理器；以及
至少一个存储器，包括计算机程序代码，
所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使得所述装置至少执行以下：
关于包括视频影像的虚拟现实内容，所述视频影像被配置为提供用于在虚拟现实中查看的虚拟现实空间，其中呈现给用户的虚拟现实视图提供对所述虚拟现实内容的查看，所述虚拟现实视图包括形成所述虚拟现实空间的所述视频影像的空间部分，并且在空间范围上小于所述虚拟现实空间的所述视频影像的空间范围，所述虚拟现实内容包括空间音频，其中到与所述视频影像中的视觉事件相关的音频事件的感知方向对应于如所述虚拟现实空间中呈现的所述视觉事件的视觉位置；
基于由所述用户对所述虚拟现实视图的所述查看方向从第一查看方向到第二查看方向的改变，并且其中所述第二查看方向在方向阈值内对应于特定音频事件的方向，所述特定音频事件的开始在所述查看方向的所述改变之前发生；
提供错过的事件内容的显示，所述错过的事件内容至少包括从所述虚拟现实内容的所述视频影像中提取的、示出与所述特定音频事件相对应的所述视觉事件的视觉影像，所述错过的事件内容的时间开始点在当所述查看方向的所述改变发生时的所述虚拟现实内容中的时间点之前，并且基于所述特定音频事件。
2.根据权利要求1所述的装置，其中与所述特定音频事件相关的所述视觉事件在当指向所述第一查看方向时的所述虚拟现实视图中不可见，或者在当指向所述第一查看方向时的所述虚拟现实视图中，所述用户的注视在对应的所述特定音频事件发生时没有落在所述视觉事件上。
3.根据权利要求1或2所述的装置，其中所述错过的事件内容的所述时间开始点基于所述特定音频事件被认为已经开始的时间，所述特定音频事件被认为已经开始是基于以下中的一项或多项：所述特定音频事件相对于所呈现的任何其它音频的分析，以及至少限定所述虚拟现实内容中的音频事件的定时的预定音频事件数据。
4.根据前述权利要求中的任一项所述的装置，其中所述错过的事件内容的所述提供进一步基于查看方向在所述第一查看方向和所述第二查看方向之间的改变的速率超过方向改变阈值。
5.根据前述权利要求中的任一项所述的装置，其中所述错过的事件内容的所述提供进一步基于所述特定音频事件相对于音频阈值的音量或频率内容中的一项或多项。
6.根据前述权利要求中的任一项所述的装置，其中所述特定音频事件的确定基于以下中的一项或多项：
a)预定音频事件数据，所述预定音频事件数据包括到在所述虚拟现实内容中发生的一个或多个音频事件的方向、以及在所述方向阈值内的所述第二查看方向与所述一个或多个音频事件中的一个音频事件的方向之间的相关性；
b)响应于查看方向的所述改变而对所述空间音频的音频分析，用以标识所述用户对其做出反应的所述特定音频事件。
7.根据前述权利要求中的任一项所述的装置，其中所述错过的事件内容的显示的所述提供包括提供所述虚拟现实内容的临时暂停和所述虚拟现实视图中的所述错过的事件内容的显示。
8.根据前述权利要求中的任一项所述的装置，其中响应于查看方向朝向所述特定音频事件的方向的所述改变，相对于时间相反地来提供所述虚拟现实内容的显示，使得所述虚拟现实内容对于所述用户显现为倒回到所述错过的事件内容开始的时间点。
9.根据前述权利要求中的任一项所述的装置，其中所述错过的事件内容包括以下中的一项或多项：
i)从所述虚拟现实内容的所述视频影像中提取的错过事件视频影像；
ii)从所述虚拟现实内容的所述视频影像中提取的错过事件静止影像；
iii)从所述虚拟现实内容的所述视频影像中提取的错过事件虚拟现实内容，其中至少所述错过事件虚拟现实内容的初始查看方向与所述特定音频事件的方向对准；
iv)从所述虚拟现实内容的所述视频影像中提取的错过事件虚拟现实内容，其中所述错过事件虚拟现实内容具有比所述虚拟现实内容的所述空间范围小的空间范围，并且被聚焦在所述特定音频事件的方向上。
10.根据前述权利要求中的任一项所述的装置，其中所述错过的事件内容被提供用于作为所述虚拟现实视图中的画中画来与所述虚拟现实内容一起显示。
11.根据权利要求1至9中的任一项所述的装置，其中在完成所述错过的事件内容的显示时，所述虚拟现实内容的显示从与查看方向从所述第一查看方向到所述第二查看方向的所述改变的时间相对应的时间点重新开始。
12.根据前述权利要求中的任一项所述的装置，其中在完成所述错过的事件内容的显示时，所述虚拟现实内容被提供以用于至少暂时地以大于实时的回放速度来显示。
13.根据前述权利要求中的任一项所述的装置，其中所述方向阈值保持可以小于90°、小于70°、小于45°或小于30°。
14.一种方法，所述方法包括：
关于包括视频影像的虚拟现实内容，所述视频影像被配置为提供用于在虚拟现实中查看的虚拟现实空间，其中呈现给用户的虚拟现实视图提供对所述虚拟现实内容的查看，所述虚拟现实视图包括形成所述虚拟现实空间的所述视频影像的空间部分，并且在空间范围上小于所述虚拟现实空间的所述视频影像的空间范围，所述虚拟现实内容包括空间音频，其中到与所述视频影像中的视觉事件相关的音频事件的感知方向对应于如所述虚拟现实空间中呈现的所述视觉事件的视觉位置；
基于由所述用户对所述虚拟现实视图的所述查看方向从第一查看方向到第二查看方向的改变，并且其中所述第二查看方向在方向阈值内对应于特定音频事件的方向，所述特定音频事件的开始在所述查看方向的所述改变之前发生；
提供错过的事件内容的显示，所述错过的事件内容至少包括从所述虚拟现实内容的所述视频影像中提取的、示出与所述特定音频事件相对应的所述视觉事件的视觉影像，所述错过的事件内容的时间开始点在当所述查看方向的所述改变发生时的所述虚拟现实内容中的时间点之前，并且基于所述特定音频事件。
15.一种计算机可读介质，包括在其上存储的计算机程序代码，所述计算机可读介质和所述计算机程序代码被配置为当在至少一个处理器上运行时执行以下方法：
关于包括视频影像的虚拟现实内容，所述视频影像被配置为提供用于在虚拟现实中查看的虚拟现实空间，其中呈现给用户的虚拟现实视图提供对所述虚拟现实内容的查看，所述虚拟现实视图包括形成所述虚拟现实空间的所述视频影像的空间部分，并且在空间范围上小于所述虚拟现实空间的所述视频影像的空间范围，所述虚拟现实内容包括空间音频，其中到与所述视频影像中的视觉事件相关的音频事件的感知方向对应于如所述虚拟现实空间中呈现的所述视觉事件的视觉位置；
基于由所述用户对所述虚拟现实视图中的所述查看方向从第一查看方向到第二查看方向的改变，并且其中所述第二查看方向在方向阈值内对应于特定音频事件的方向，所述特定音频事件的开始在所述查看方向的所述改变之前发生；
提供错过的事件内容的显示，所述错过的事件内容至少包括从所述虚拟现实内容的所述视频影像中提取的、示出与所述特定音频事件相对应的所述视觉事件的视觉影像，所述错过的事件内容的时间开始点在当所述查看方向的所述改变发生时的所述虚拟现实内容中的时间点之前，并且基于所述特定音频事件。
CN201780039943.7A 2016-06-27 2017-06-12 用于虚拟现实的装置、方法和计算机可读介质 Active CN109416562B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16176504.5A EP3264222B1 (en) 2016-06-27 2016-06-27 An apparatus and associated methods
EP16176504.5 2016-06-27
PCT/FI2017/050432 WO2018002418A1 (en) 2016-06-27 2017-06-12 An apparatus and associated methods

Publications (2)

Publication Number Publication Date
CN109416562A true CN109416562A (zh) 2019-03-01
CN109416562B CN109416562B (zh) 2022-03-01

Family

ID=56321757

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780039943.7A Active CN109416562B (zh) 2016-06-27 2017-06-12 用于虚拟现实的装置、方法和计算机可读介质

Country Status (6)

Country Link
US (1) US10560752B2 (zh)
EP (1) EP3264222B1 (zh)
JP (1) JP6703627B2 (zh)
CN (1) CN109416562B (zh)
MX (1) MX2018016336A (zh)
WO (1) WO2018002418A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107888987B (zh) * 2016-09-29 2019-12-06 华为技术有限公司 一种全景视频播放方法及装置
EP3367383B1 (en) 2017-02-23 2023-12-20 Nokia Technologies Oy Virtual reality
EP3503102A1 (en) * 2017-12-22 2019-06-26 Nokia Technologies Oy An apparatus and associated methods for presentation of captured spatial audio content
WO2019150675A1 (ja) * 2018-02-02 2019-08-08 株式会社Ｎｔｔドコモ 情報処理装置
US10812828B2 (en) * 2018-04-10 2020-10-20 At&T Intellectual Property I, L.P. System and method for segmenting immersive video
EP3821619A4 (en) * 2018-07-13 2022-03-30 Nokia Technologies Oy MULTI-VIEWER MULTI-USER AUDIO USER EXPERIENCE
KR102022604B1 (ko) * 2018-09-05 2019-11-04 넷마블 주식회사 주변 오디오를 시각적 표현하는 인터페이스에 기초하여 게임 서비스를 제공하는 게임 서비스 제공 서버 및 방법
EP3664417A1 (en) 2018-12-06 2020-06-10 Nokia Technologies Oy An apparatus and associated methods for presentation of audio content
JP7350510B2 (ja) * 2019-05-14 2023-09-26 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130194164A1 (en) * 2012-01-27 2013-08-01 Ben Sugden Executable virtual objects associated with real objects
CN103869968A (zh) * 2012-12-07 2014-06-18 索尼公司 功能控制设备和程序
US20150036999A1 (en) * 2013-07-30 2015-02-05 Texas Instruments Incorporated Viewer Attention Controlled Video Playback
CN105094417A (zh) * 2014-05-19 2015-11-25 意美森公司 沉浸式环境中的非同一位置触觉提示
CN105556506A (zh) * 2013-10-25 2016-05-04 英特尔公司 用于捕获和生成用户体验的装置和方法
CN105611481A (zh) * 2015-12-30 2016-05-25 北京时代拓灵科技有限公司 一种基于空间声的人机交互方法和系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8730322B2 (en) * 2004-07-30 2014-05-20 Eyesee360, Inc. Telepresence using panoramic imaging and directional sound and motion
JP2008219286A (ja) * 2007-03-01 2008-09-18 Sharp Corp スライドショー装置
JP5115150B2 (ja) * 2007-11-02 2013-01-09 ソニー株式会社 情報提示装置及び情報提示方法
US9432629B2 (en) * 2008-08-18 2016-08-30 Brigham Young University Interactive viewing of sports video
US9497501B2 (en) 2011-12-06 2016-11-15 Microsoft Technology Licensing, Llc Augmented reality virtual monitor
JP5992210B2 (ja) * 2012-06-01 2016-09-14 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
US9129430B2 (en) 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images
US9462230B1 (en) * 2014-03-31 2016-10-04 Amazon Technologies Catch-up video buffering
US9852774B2 (en) * 2014-04-30 2017-12-26 Rovi Guides, Inc. Methods and systems for performing playback operations based on the length of time a user is outside a viewing area
EP3157432B1 (en) * 2014-06-17 2019-01-02 Koninklijke Philips N.V. Evaluating clinician attention
US20180124374A1 (en) * 2014-07-31 2018-05-03 Ashcorp Technologies System and Method for Reducing System Requirements for a Virtual Reality 360 Display
KR20160104493A (ko) * 2015-02-26 2016-09-05 삼성전자주식회사 방송 수신 장치 및 그 제어 방법
EP3112985A1 (en) * 2015-06-30 2017-01-04 Nokia Technologies Oy An apparatus for video output and associated methods
US10129579B2 (en) * 2015-10-15 2018-11-13 At&T Mobility Ii Llc Dynamic video image synthesis using multiple cameras and remote control
EP3236336B1 (en) 2016-04-21 2019-03-27 Nokia Technologies Oy Virtual reality causal summary content
US20170316806A1 (en) * 2016-05-02 2017-11-02 Facebook, Inc. Systems and methods for presenting content
US10218760B2 (en) * 2016-06-22 2019-02-26 JBF Interlude 2009 LTD Dynamic summary generation for real-time switchable videos
US10701333B2 (en) * 2017-04-16 2020-06-30 Visbit Inc. System, algorithms, and designs of view-optimized zoom for 360 degree video

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130194164A1 (en) * 2012-01-27 2013-08-01 Ben Sugden Executable virtual objects associated with real objects
CN103869968A (zh) * 2012-12-07 2014-06-18 索尼公司 功能控制设备和程序
US20150036999A1 (en) * 2013-07-30 2015-02-05 Texas Instruments Incorporated Viewer Attention Controlled Video Playback
CN105556506A (zh) * 2013-10-25 2016-05-04 英特尔公司 用于捕获和生成用户体验的装置和方法
CN105094417A (zh) * 2014-05-19 2015-11-25 意美森公司 沉浸式环境中的非同一位置触觉提示
CN105611481A (zh) * 2015-12-30 2016-05-25 北京时代拓灵科技有限公司 一种基于空间声的人机交互方法和系统

Also Published As

Publication number Publication date
US20190149886A1 (en) 2019-05-16
CN109416562B (zh) 2022-03-01
MX2018016336A (es) 2019-09-04
JP2019521440A (ja) 2019-07-25
WO2018002418A1 (en) 2018-01-04
EP3264222B1 (en) 2019-04-10
JP6703627B2 (ja) 2020-06-03
EP3264222A1 (en) 2018-01-03
US10560752B2 (en) 2020-02-11

Similar Documents

Publication Publication Date Title
CN109416562A (zh) 装置和相关联的方法
JP6770061B2 (ja) いつでもどこからでもビデオコンテンツを再生するための方法および装置
CN109154862B (zh) 用于处理虚拟现实内容的装置、方法和计算机可读介质
CN111405299A (zh) 基于视频流的直播交互方法及其相应的装置
WO2022202126A1 (ja) プログラム、方法、および情報処理装置
CN104823234A (zh) 利用深度成像扩充语音识别
CN111970456B (zh) 拍摄控制方法、装置、设备及存储介质
JP2021002288A (ja) 画像処理装置、コンテンツ処理システム、および画像処理方法
CN106911962B (zh) 基于场景的移动视频智能播放交互控制方法
CN109997098A (zh) 装置、相关联的方法和相关联的计算机可读介质
CN110036416A (zh) 用于空间音频的装置和相关方法
CN108495032A (zh) 图像处理方法、装置、存储介质及电子设备
CN107024990B (zh) 一种吸引儿童自拍的方法及移动终端
JP6470374B1 (ja) 仮想現実を提供するためにコンピュータで実行されるプログラムおよび情報処理装置
CN108521589A (zh) 视频处理方法和装置
KR20130056529A (ko) 휴대용 단말기에서 증강현실 서비스를 제공하기 위한 장치 및 방법
GB2524402A (en) Augmented Reality Apparatus and Method
JP2021053181A (ja) プログラム、方法、および視聴端末
CN112261481A (zh) 互动视频的创建方法、装置、设备及可读存储介质
CN109830248A (zh) 一种音频录制方法及终端设备
CN111063024A (zh) 三维虚拟人驱动方法、装置、电子设备及存储介质
EP1944700A1 (en) Method and system for real time interactive video
CN114025854A (zh) 程序、方法以及终端装置
JP6222148B2 (ja) 撮像装置、画像再生方法及びプログラム
CN108597001A (zh) 气氛数据处理方法、装置、存储介质及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant