CN109219825A - 装置和相关联方法 - Google Patents

装置和相关联方法 Download PDF

Info

Publication number
CN109219825A
CN109219825A CN201780033855.6A CN201780033855A CN109219825A CN 109219825 A CN109219825 A CN 109219825A CN 201780033855 A CN201780033855 A CN 201780033855A CN 109219825 A CN109219825 A CN 109219825A
Authority
CN
China
Prior art keywords
comment
event
user
video image
location information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780033855.6A
Other languages
English (en)
Inventor
A·莱赫蒂涅米
A·埃罗宁
J·莱佩宁
J·阿拉斯沃里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN109219825A publication Critical patent/CN109219825A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/954Navigation, e.g. using categorised browsing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01Social networking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program

Abstract

一种装置,被致使:关于一个或多个评论用户在场并且已提交评论的事件的视频影像,在所述视频影像中可见的所述一个或多个评论用户或每个评论用户的位置;基于向用户显示的所述视频影像的当前视图以及所述一个或多个评论用户的至少一个评论,所述至少一个评论具有与其相关联的位置信息,所述位置信息指示以下中的一个或多个:(i)在事件上提交了评论的评论用户在发表评论时的位置,以及(ii)由在事件上提交了评论的评论用户指定的在所述事件上的位置;显示覆盖在所述视频影像的所述当前视图上的评论,在所述视频影像的所述当前视图中显示的所述评论在对应于所述位置信息的位置处。

Description

装置和相关联方法
技术领域
本公开涉及用户与事件的视频影像交互的领域、相关联方法、计算机程序和装置。某些公开的方面/示例涉及虚拟现实。
背景技术
在观看直播事件时,观众成员或参加事件的其他人可能希望对该事件进行评论。可能希望将这些评论呈现给观看事件的直播或录制的视频影像的用户。
对本说明书中的在先公开文件或任何背景的列举或讨论不应被视为承认该文件或背景是现有技术的一部分或是公知常识。本公开的一个或多个方面/示例可以解决或可以不解决一个或多个背景问题。
发明内容
在第一示例方面,提供了一种装置,包括:
至少一个处理器;以及
包括计算机程序代码的至少一个存储器,
所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使得所述装置至少执行以下操作:
关于一个或多个评论用户在场并且已提交评论的事件的视频影像,在所述视频影像中可见的所述一个或多个评论用户或每个评论用户的位置;
基于向用户显示的所述视频影像的当前视图以及所述一个或多个评论用户的至少一个评论,所述至少一个评论具有与其相关联的位置信息,所述位置信息指示以下中的一个或多个:(i)在事件上提交了评论的评论用户在发表所述评论时的位置,以及(ii)由在事件上提交了评论的评论用户指定的在所述事件上的位置;
显示覆盖在所述视频影像的所述当前视图上的评论,在所述视频影像的所述当前视图中显示的所述评论在对应于所述位置信息的位置处。
在一个或多个实施例中,所述视频影像包括虚拟或增强现实内容,所述虚拟或增强现实内容被配置为提供用于在虚拟或增强现实中观看的虚拟或增强现实空间,以及其中所述视频影像的当前视图包括呈现给用户用于观看在所述虚拟或增强现实空间中显示的所述视频影像的虚拟或增强现实视图。
在一个或多个实施例中,所述评论具有与其相关联的时间信息,所述时间信息指示以下中的一个或多个:(i)在事件期间评论用户在事件上提交评论的时间;(ii)由在事件上提交了评论的评论用户指定的在事件的时域持续时间内发生的时间;(iii)通过分析评论措辞的上下文确定的在事件期间的时间;(iv)在事件期间所述评论用户创建所述评论的时间;以及(iv)在评论包括音频或视频媒体的情况下,从记录音频或视频媒体的时间确定的在事件期间的时间;以及该装置被致使在小于视频影像的总持续时间并且对应于所述时间信息的时间段内显示评论。
在一个或多个实施例中,所述时间信息包括评论用户指定的持续时间信息,该持续时间信息包括应该显示评论的持续时间。
在一个或多个示例中,该装置显示评论的持续时间小于所述事件的持续时间。
在一个或多个示例中,该装置根据评论已经被显示的持续时间来重新定位向用户显示的评论。在一个或多个示例中,可以重新定位评论使其随时间淡去。
在一个或多个示例中,上下文分析可以包括标识评论中的关键字,以将其与事件上发生的事相关联。例如,对于包含摇滚音乐会的事件,评论内容“Amazingpyrotechnics!#fire”(令人惊叹的烟火!#燃烧)可以被分配对应于音乐会期间烟火表演的发生的时间信息。在一个或多个示例中,可以提供事件期间的带时间戳的发生的事的列表,以及评论中的关键字与列表中的发生的事相匹配用于确定时间信息。如果评论是音频评论,则可以使用语音到文本转换来提取关键字。如果评论是音频评论或视频评论,则上下文分析可以包括分析评论的背景音频以与在事件中发生的已知音频进行比较以在时域上将所述评论放置在事件期间。在一个或多个示例中,在没有评论用户指定的时间的情况下,时间信息可以基于上下文分析或提交评论的时间中的一个或多个。
在一个或多个示例中,位置信息包括评论的元数据。
在一个或多个示例中,在发表评论时,在事件上提交了评论的评论用户的位置是从以下中的一个或多个中导出的:(i)基于卫星的定位系统,(ii)基于陆地的定位系统,(iii)室内定位系统,(iv)事件上的座位号,(v)举办事件的空间的指定区域。
在一个或多个实施例中,由评论用户指定的位置信息包括出现在视频影像中的(可选地移动的)对象;以及该装置被致使在该对象在视频影像中的位置随时间变化时在与(可选地移动的)对象的位置相对应的位置处显示评论。
在一个或多个示例中,移动对象包括人、车辆、表演者、动物或其他对象中的一个或多个。因此,对于包括足球比赛的事件,评论用户可以评论“神奇的步法”并将该位置(即评论的焦点)指定为“蓝队运动员13”。然后,当在视频影像或虚拟现实视图中可见时,该装置可以显示覆盖在运动员13附近的评论,该评论跟随运动员13在足球场周围移动。因此,出现在视频影像或虚拟现实内容中的一个或多个对象可以被跟踪位置并且可以在构成评论时由评论用户选择,或者与移动对象有关的位置信息可以稍后基于对评论的分析来分配。
在一个或多个实施例中,评论具有与其相关联的焦点信息,焦点包括评论所针对的事件时的对象或发生的事;以及该装置被致使用以下一个或多个来显示评论:(i)焦点指示符,其至少示出与焦点信息对应的视觉影像中的方向,以及(ii)视觉影像中基于焦点信息的位置。
在一个或多个示例中,评论具有与其相关联的焦点方向信息,焦点方向包括在该事件上评论所针对的方向;以及该装置被致使利用聚焦方向指示符显示评论,其中聚焦方向指示符示出了与焦点方向信息相对应的在视频影像中的方向。因此,焦点信息可以包括焦点方向信息。
在一个或多个实施例中,焦点方向信息可以是:(i)在事件上提交评论的评论用户指定的,以及(ii)从提交评论的评论用户使用的电子设备在评论被提交的时间的方位确定的。
在一个或多个实施例中,一个或多个评论包括以下中的一个或多个:
(i)文字评论;
(ii)照片评论;
(iii)图片评论;
(iv)音频评论;
(v)视频评论;
(vi)表达对事件的反应,例如“喜欢”、“爱”、“不喜欢”、“讨厌”;以及
(vii)表达与事件有关的投票。
在一个或多个实施例中,评论包括由评论用户记录的音频评论和视频评论中的一个或多个,以及其中装置被致使通过可激活图标来显示评论,所述可激活图标被配置为由用户致动来提供音频或视频评论的回放。在一个或多个示例中,评论包括对反应的表达和对与事件相关的投票的表达中的一个或多个,以及其中装置被致使通过表示反应或投票的图标来显示表达。
在一个或多个实施例中,评论包括音频内容,以及装置被致使以空间音频效果回放所述音频内容,使得音频内容的源相对于视频影像的感知方向对应于位置信息。
在一个或多个示例中,当视频影像包括虚拟现实内容时,可以使用空间音频。在一个或多个示例中,当基于虚拟现实视图的方向或增强现实观看方向提供空间音频时,该装置被致使取决于在提供给用户的视图中具有音频内容的评论的数量,回放具有音频宽度的评论的音频内容,包括这样的VR或AR视图的方向,在该VR或AR视图的方向上听到的音频内容高于阈值。因此,当存在大量评论时,该装置可能要求用户更直接地看评论的位置以更高音量听取音频内容。应当理解,回放多个音频评论会造成音频空间混乱,因此以观看方向控制音频内容的音量使得用户需要更仔细地看评论的位置以清晰听到其音频内容可以简化音频空间。
在一个或多个实施例中,该装置被致使在显示评论之前显示可激活评论图标,该可激活评论图标指示可用于呈现给用户的评论,该装置被配置为在用户致动可激活评论图标时呈现评论。
在一个或多个实施例中,评论包括至少:第一评论部分,其具有与其相关联的第一方向,以及第二评论部分,其具有与其相关联的第二方向;该装置被致使当视频影像的视图定向为与第一方向基本对应的方向时显示第一评论部分,以及当视频影像的视图定向为与第二方向基本对应的方向时显示第二评论部分。
在一个或多个实施例中,该装置被致使连同一个或多个评论一起显示用户可激活链接,该链接包括对事件的时域部分的引用,并且在激活链接时,重播事件的时域部分。
在一个或多个示例中,以立体效果向用户显示一个或多个评论。因此,显示给用户的评论的位置可以更容易与位置信息(即评论的预期位置)相关联。
在一个或多个示例中,在视频影像的视点改变到第二视点或观看方向时,显示一个或多个评论的位置以对应于视频影像中从第二视点或观看方向可见的位置。
在一个或多个示例中,一个或多个评论的显示取决于用户选择,使得用户可以显示或隐藏评论。
在一个或多个示例中,视频影像是直播内容或预先录制的内容。
在一个或多个示例中,所述一个或多个评论从社交媒体平台获得。
在另一方面,提供了一种装置,包括:
至少一个处理器;以及
包括计算机程序代码的至少一个存储器,
所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使得所述装置至少执行以下操作:
关于一个或多个评论用户在场的事件的视频影像,在所述视频影像中可见的所述一个或多个评论用户或每个评论用户的位置;
基于所述一个或多个评论用户的至少一个评论;
将所述评论与所述具有位置信息的视频影像相关联,所述位置信息指示以下中的一个或多个:(i)在事件上提交了评论的评论用户在发表评论时的位置,以及(ii)由在事件上提交了评论的评论用户指定的在该事件上的位置,从而能够显示覆盖在视频影像上的评论,使得它在视频影像中显示在对应于位置信息的位置处。
在另一方面,提供了一种方法,该方法包括:
关于一个或多个评论用户在场并且已提交评论的事件的视频影像,在视频影像中可见的一个或多个评论用户或每个评论用户的位置;
基于显示给用户的视频影像的当前视图以及一个或多个评论用户的至少一个评论,该至少一个评论具有与其相关联的位置信息,该位置信息指示以下中的一个或多个:(i)在事件上提交了评论的评论用户在发表评论时的位置,以及(ii)由在事件上提交了评论的评论用户指定的在该事件上的位置;
显示覆盖在视频影像的当前视图上的评论,在视频影像的当前视图中显示的评论在与位置信息对应的位置处。
在另一方面,提供了一种方法,该方法包括:
关于一个或多个评论用户在场的事件的视频影像,在该事件的视频影像中可见的所述一个或多个评论用户或每个评论用户的位置;
基于所述一个或多个评论用户的至少一个评论;
将所述评论与所述具有位置信息的视频影像相关联,所述位置信息指示以下中的一个或多个:(i)在事件上提交了评论的评论用户在发表评论时的位置,以及(ii)由在事件上提交了评论的评论用户指定的在该事件上的位置,从而能够显示覆盖在视频影像上的评论,使得它在视频影像中显示在对应于位置信息的位置处。
在另一方面,提供了一种计算机可读介质,包括存储在其上的计算机程序代码,该计算机可读介质和计算机程序代码被配置为当在至少一个处理器上运行时,执行至少以下操作:
关于一个或多个评论用户在场并且已提交评论的事件的视频影像,在视频影像中可见的一个或多个评论用户或每个评论用户的位置;
基于显示给用户的视频影像的当前视图以及一个或多个评论用户的至少一个评论,该至少一个评论具有与其相关联的位置信息,该位置信息指示以下中的一个或多个:(i)在事件上提交了评论的评论用户在发表评论时的位置,以及(ii)由在事件上提交了评论的评论用户指定的在该事件上的位置;
显示覆盖在视频影像的当前视图上的评论,在视频影像的当前视图中显示的评论在与位置信息对应的位置处。
在另一方面,提供了一种计算机可读介质,包括存储在其上的计算机程序代码,该计算机可读介质和计算机程序代码被配置为当在至少一个处理器上运行时,执行至少以下操作:
关于一个或多个评论用户在场的事件的视频影像,在该事件的视频影像中可见的所述一个或多个评论用户或每个评论用户的位置;
基于所述一个或多个评论用户的至少一个评论;
将所述评论与所述具有位置信息的视频影像相关联,所述位置信息指示以下中的一个或多个:(i)在事件上提交了评论的评论用户在发表评论时的位置,以及(ii)由在事件上提交了评论的评论用户指定的在该事件上的位置,从而能够显示覆盖在视频影像上的评论,使得它在视频影像中显示在对应于位置信息的位置处。
在另一方面,提供了一种装置,该装置包括用于以下的模块:
关于一个或多个评论用户在场并且已提交评论的事件的视频影像,在视频影像中可见的一个或多个评论用户或每个评论用户的位置;
基于显示给用户的视频影像的当前视图以及一个或多个评论用户的至少一个评论,该至少一个评论具有与其相关联的位置信息,该位置信息指示以下中的一个或多个:(i)在事件上提交了评论的评论用户在发表评论时的位置,以及(ii)由在事件上提交了评论的评论用户指定的在该事件上的位置;
显示覆盖在视频影像的当前视图上的评论,在视频影像的当前视图中显示的评论在与位置信息对应的位置处。
在另一方面,提供了一种装置,该装置包括用于以下的模块:
关于一个或多个评论用户在场的事件的视频影像,在该事件的视频影像中可见的所述一个或多个评论用户或每个评论用户的位置;
基于所述一个或多个评论用户的至少一个评论;
将所述评论与所述具有位置信息的视频影像相关联,所述位置信息指示以下中的一个或多个:(i)在事件上提交了评论的评论用户在发表评论时的位置,以及(ii)由在事件上提交了评论的评论用户指定的在该事件上位置,从而能够显示覆盖在视频影像上的评论,使得它在视频影像中显示在对应于位置信息的位置处。
本公开包括单独或以各种组合的一个或多个对应方面、示例或特征,无论是否以该组合或单独地具体陈述(包括要求保护)。用于执行一个或多个所讨论的功能的对应模块和对应的功能单元(例如单个到达方向定位器)也在本公开内。
用于实现所公开的一种或多种方法的对应计算机程序也在本公开内,并且被一个或多个所述示例所涵盖。
以上概述旨在仅是示例性而非限制性的。
附图说明
现在仅通过示例的方式参考附图给出描述,其中:
图1示出了示例装置、消费内容的用户和使用电子设备提交评论的评论用户;
图2示出了视频影像的视图,其示出了在视频影像中与位置信息相对应的位置处放置的评论;
图3从不同的角度示出了图2中所示的场景;
图4示出了视频影像的视图,其示出了作为可激活图标呈现的基于视频和音频的评论;
图5示出了app的示例屏幕截图,其示出了提交包括多个部分并且每个部分具有不同焦点方向的评论;
图6示出了根据本公开的方法的流程图;以及
图7示意性地示出了提供程序的计算机可读介质。
具体实施方式
在观看直播事件时,观众成员或参加事件的其他人可能希望对该事件进行评论。该事件可以是音乐会、体育赛事或戏剧制作或观众成员在场的任何其他事件。该事件可以由相机捕获,用于呈现直播或录制并稍后呈现给其他用户。可以捕获事件以在虚拟现实或增强现实中显示,因此消费虚拟/增强现实内容的用户可以能够环顾例如事件和观众成员。可能需要有效地制作和显示对事件的评论,特别是在虚拟现实内容中。
图1示出了在诸如音乐会之类的事件上的评论用户101。该事件由一个或多个相机捕获,这些相机被配置为捕获事件的视频影像。相机可以包括用于捕获事件的虚拟现实内容的虚拟现实(VR)内容捕获设备。因此,VR内容捕获设备可以具有360°视野。视频影像,当呈现为虚拟现实内容时,可以在虚拟现实空间中显示给用户102以便在虚拟现实中观看。在该示例中,VR内容的视频影像由虚拟现实设备(VR设备)103经由包含显示器的头戴式耳机104显示给用户102。如虚拟现实领域的技术人员所熟悉的,可以检测用户头部的移动以使其能够在其中呈现的视频影像处环视虚拟现实空间(也可以进行其他视图方向控制)。评论用户的位置在视频影像的至少一部分中可见。
视频影像可以被存储(其可以包括被临时或暂时存储)在存储库105上。在该示例中,VR装置103被配置为从存储库105接收视频影像,例如虚拟现实内容。虚拟现实内容可以是直播内容,存储库105可以表示显示器或转交路径的存储器或缓冲器。
评论用户101可以经由电子设备106提交关于事件的评论。电子设备106可以与评论一起提供位置信息,或者位置信息可以由如下所述的另一装置确定。位置信息指示以下中的一个或多个:(i)在事件上提交了评论的评论用户101在做出评论时的位置;以及(ii)由在事件上提交了评论的用户101指定的在事件上的位置。
评论可以由包括评论接收装置107的装置接收,评论接收装置107用于与捕获的事件的视频影像相关联。可以将评论和位置信息与视频影像一起存储在存储库105中或者作为其元数据。还可以将评论发布到社交媒体平台108。评论接收装置107可以包括与评论用户的电子设备上的“app”合作的服务器。评论接收装置107可以在具有所授予的相关隐私许可的情况下从社交媒体平台获得评论。
装置110,在该示例中被示为VR装置103的一部分(但是可以与其独立并且与用于向用户102显示视频影像的任何装置通信),被配置为显示视频影像和至少评论用户101的评论。相应地,基于由VR设备103显示给用户102的视频影像的当前视图和评论用户101的评论,所述至少一个评论具有与其相关联的位置信息,装置110被配置为提供覆盖在视频影像的当前视图上的评论的显示,在视频影像的当前视图中显示的该评论处于对应于位置信息的位置处。因此,评论可以显示在这样的位置处,以将该位置与位置信息中指定的位置在视频影像中可见的位置相关联。因此,如果位置信息指示评论恰好是在包括在事件上的概念性的“座位区A”或甚至座位“AW31”处的位置作出的,则基于座位区或座位在视频影像中可见的位置,评论与该座位区或座位相关联地被显示。
可以将装置110和VR装置103配置为彼此通信,使得装置103能够确定当前正在向用户102提供视频影像的哪个视图。装置110可以以与来自存储库105的视频影像或VR内容相关联的元数据的形式接收由用户101做出的一个或多个评论。因此,装置110可以向VR装置103提供指令以在耳机104的显示器上在提供给用户102的视图中的适当位置处显示评论,从而将评论与位置信息相关联。
在非限制性示例中,评论接收装置107可以包括服务器,并且评论用户的电子设备106可以包括智能电话。
现在描述装置110的一般结构的示例,应当理解,该结构同样可以应用于评论接收装置107和电子设备106。装置110可以包括处理器111、存储器112、输入113和输出114。在该实施例中,仅示出了一个处理器和一个存储器,但应当理解,其他实施例可以使用多于一个处理器和/或多于一个存储器(例如相同或不同的处理器/存储器类型)。
在该实施例中,装置110是用于可选地具有触敏显示器的便携式电子设备的专用集成电路(ASIC)。处理器111和存储器112可以提供VR装置103的功能。在其他实施例中,装置110可以是用于这种设备的模块,或者可以是设备本身,其中处理器111是该设备的通用CPU,存储器112是该设备所包括的通用存储器。
输入113允许从诸如VR装置103和商店105的其他组件以及便携式电子设备的组件(如触敏或悬停敏感显示器)等接收到装置110的信令。输出114允许从装置110内向前提供信令到诸如VR装置103、显示屏、扬声器或振动模块之类的其他组件。在该实施例中,输入113和输出114是连接总线的一部分,其允许将装置110连接到其他组件。
处理器111是专用于根据在存储器112上以计算机程序代码的形式存储的指令执行/处理经由输入113接收的信息的通用处理器。由来自处理器111的这种操作产生的输出信令经由输出114向前提供到其他组件。
存储器112(不一定是单个存储器单元)是存储计算机程序代码的计算机可读介质(在该示例中为固态存储器,但可以是诸如硬盘驱动器、ROM、RAM、闪存等的其他类型的存储器)。当程序代码在处理器111上运行时,该计算机程序代码存储可由处理器111执行的指令。存储器112和处理器111之间的内部连接可以被理解为在一个或多个示例实施例中提供处理器111和存储器112之间的有源耦合,以允许处理器111访问存储在存储器112上的计算机程序代码。
在该示例中,输入113、输出114、处理器111和存储器112都在内部彼此电连接,以允许在相应组件之间进行电通信。在该示例中,组件全部彼此邻近地定位,以便一起形成为ASIC,换句话说,以便集成在一起作为可以安装到电子设备中的单个芯片/电路。在其他示例中,一个或多个或所有组件可以彼此分开地定位。
电子设备106的输入(未示出)可以被配置为从电子设备106的用户界面接收评论。电子设备106可以被配置为从电子设备106的位置确定模块(例如卫星定位模块(例如GPS)、高精度室内定位系统(HAIP)、基于蓝牙(RTM)LE的定位系统)接收位置数据,或者从评论用户输入接收他们的位置或在事件上的指定位置。电子设备107的输出(未示出)可以向服务器107提供评论和位置信息。服务器107的输入可以经由电子设备106从评论用户101接收评论。服务器107可以被配置为基于评论的上下文提供对位置信息的确定。服务器107的输出可以将一个或多个评论与VR内容关联,例如通过在存储库105中记录具有VR内容的评论数据(诸如元数据)以用于通过VR装置103向前分发和随后显示。
图2示出了用于向用户102显示的视频影像的当前视图200(在该示例中为虚拟现实视图)。当前视图是音乐事件中的观众的视图。当前视图200包括叠加在其上的三个评论,包括第一评论201、第二评论202和第三评论203。评论201、202和203被定位成使得它们出现在当前视图中对应于其相关联位置信息的位置处。
在该示例中,第一评论201具有位置信息,该位置信息指示评论是由例如座位“D1”中的第一评论用户204做出的。在一个示例中,座位号可以由用户提供或者从注册过程确定,该注册过程可以将评论用户204链接到在事件上分配给他的座位。第二评论202具有位置信息,该位置信息指示评论是从由评论用户205的智能电话106的定位模块确定的地理位置做出的。地理位置可以是全球位置或相对于其他例子中的室内定位系统的室内位置。第三评论用户206的第三评论203具有从评论本身确定的位置信息。第三评论用户将其社交媒体名称包括在消息中“@mike87”。第三评论用户206的电子设备(未示出)和/或服务器107可以(具有所授予的适当的隐私许可)将第三评论用户206来自其社交媒体名称的身份与在该事件上票证持有者的名称相关联,以及因此与分配给该人的座位号相关联,位置信息包括座位号。应当理解,有许多方式可以获得与评论相关联的位置信息,例如从以下中的一个或多个获得:i)评论用户条目、ii)用于提交评论用户的评论的电子设备做出的确定、iii)与评论用户的电子设备相关联的定位系统或被配置为接收评论的服务器做出的确定、以及iv)评论本身的措辞或内容。
在一个或多个示例中,由评论用户101指定的位置信息包括对象,诸如舞台上的人。对象可以是能够四处移动的对象(例如音乐会上的表演者)或静止的对象(例如足球比赛中的球门柱)。因此,位置信息不需要指定固定位置,而是可以引用对象。然后可以使装置110提供在与视频影像中的对象的位置相对应的位置处的评论显示。
因此,服务器107和/或装置110可以视觉分析视频影像以识别在评论的位置信息中引用的对象,使得装置110可以向用户102提供对适当定位的评论的显示。因此,评论可以指“穿鲨鱼装备的背景舞蹈演员”,从评论的上下文中,可以在视频影像中识别适当的背景舞蹈演员,所提供的评论的位置信息使得能够与背景舞蹈演员相关联地显示所述评论。因此,位置信息可以标识对象,使得装置107能够确定所述对象的位置,或者位置信息可以包括由另一装置(例如服务器107)执行的对象识别和位置确定过程确定的对象的位置。
在一个或多个示例中,跟踪事件上的一个或多个对象的位置,事件对象位置信息被提供用于与评论用户101提供的评论中引用的对象相关联。例如,运动队的运动员可以提供有位置可跟踪标记,所述标记使得能够确定对象的位置和视频影像中的对应位置。
评论用户用来做出评论的装置(例如结合服务器107的智能手机106)可以基于事件对象位置信息提供对象列表,用户可以从中选择用于生成他们的指定对象或其位置的评论的位置信息。
因此,位置信息可以参考随时间变化的单个位置或多个位置。
装置110可以使用位置映射信息,该位置映射信息将视频影像中可见的位置映射到事件上的位置(地理位置、座位号、区号、对象等),以根据位置信息适当地定位评论。位置映射信息可以是预定的。应当理解,在评论中指定位置的形式影响了需要“翻译”的内容(例如由位置映射信息提供),使得位置信息的位置可以与视频影像中表征该位置的特定位置相关。如果位置信息由事件上的定位系统确定,则可能不需要“翻译”,因为可以相对于被捕获事件的视频影像的视点提供位置信息,因此可以在显示视频影像时使用。此外,当VR视图200移动时,例如当捕获VR内容时的相机移动或者由于用户102环顾四周时,评论201、202、203或其部分的位置被更新以持续地将评论与VR视图200中的位置信息相关联。
第二评论202包括用户可激活链接207。评论用户205可能已经提供了与其评论相关的媒体或基于互联网的链接,其可以由用户102通过激活链接来激活。该链接可以参考以下中的一个或多个:i)事件的视频、ii)评论用户捕获的媒体、iii)网站。
应当理解,视图200是事件的临时快照。评论201、202、203可以具有与其相关联的时间信息,该时间信息指示以下中的一个或多个:(i)在事件期间评论用户在事件上创建或提交评论的时间、(ii)在事件的时域持续时间内发生的由在事件上提交了评论的评论用户指定的时间、(iii)通过分析评论措辞的上下文确定的在事件期间的时间、以及(iv)在评论包括音频或视频媒体的情况下从记录音频或视频媒体的时间确定的在事件期间的时间。可以使装置110在小于虚拟现实内容的总持续时间并且对应于时间信息的时间段内显示评论。因此,可以直到时间信息指示时才可以显示评论。
评论201、202、203可以很好地涉及事件期间的发生的事,诸如音乐表演期间的特定歌曲,或体育赛事期间的特定进球得分或犯规。因此,评论可以包括时间信息,使得装置110可以在适当的时间显示评论。因此,在回放预先录制的视频影像期间,可以在适当的时间点将评论显示在事件中。时间信息可以包括用户提交或创建评论的时间。因此,评论用户204、205、206的电子设备或服务器107可以在收到评论时对其打时间戳。然后,当向用户102显示评论时,可以相对于事件期间经过的时间使用该时间。评论用户204、205、206可以用他们的评论来指定时间,所指定的时间可以包括用于显示评论的时间信息。例如,评论用户可以在特定歌曲结束之后写出“我最喜欢的歌曲!!”的评论。然后,用户可以指定他们的评论与例如3分钟之前的发生的事(即他们喜欢的歌曲的表演)有关。相应地,时间信息可以因此指示与创建或提交评论的时间不同的时间。因此当装置110显示这样的评论时,可以在评论用户喜欢的歌曲期间而不是在其之后借助于从用户指定的时间导出的时间信息来显示这样的评论。下面阐述相对于事件在不同于事件期间作出评论的时间的时间处显示评论的其他示例。
第二评论202是“令人惊叹的半场灯光秀!#史诗级”。第二评论用户205的电子设备或服务器107或其他装置可以被配置为分析评论的措辞的上下文以确定时间信息。在该示例中,服务器107可以在事件期间识别出关于发生的事的词汇“半场”或“灯光秀”。因此,包括对事件期间的发生的事的描述的事件-发生的事信息可以被(自动地或手动地)提供,并且评论措辞和事件-发生的事信息之间的匹配可以被使用以在时域上将评论放置在事件期间。应当理解,用于评论措辞上下文分析的任何技术可以用于提供与评论202相关联的时间信息。因此,在该示例中,即使评论是在事件期间稍后作出的,时间信息也可以在将评论半置于半场灯光秀期间。
对于音频或视频评论,可以从指定音频或视频媒体的记录时间的音频或视频文件的元数据确定事件期间的时间,这通常可以在电子设备(例如智能手机)上记录音频或视频时附加。否则,可以分析音频或视频评论,例如通过音频分析背景声音以将音频或视频在时域上置于事件期间的时间上。因此,当正在为VR视频影像捕获事件时,记录事件的声音并且可以将其与在评论用户的音频/视频评论中可听见的声音进行比较。预期鉴于评论用户在事件现场,音频或视频评论将包含可与已知事件期间的音频进行比较的音频。因此,这可能在事件期间在时域上放置视频或音频。然后,该时间可以包括评论的时间信息。
评论所适用的持续时间也可以是评论用户指定的或从上下文确定的。时间信息可以包括持续时间信息,该持续时间信息指示评论相关的事件期间的时间量。装置107可以基于时间信息的持续时间信息,在适当的时间和适当的持续时间显示评论。对于诸如赛车运动之类的快节奏运动,评论用户可以在短时间内给出评论“大超车”,因为执行了许多超车操作并且他们希望他们的评论被理解为指代特定的操作。可以通过评论的措辞或内容的上下文分析来确定持续时间。例如,在体育赛事中,评论“来自运动员2的进攻性一击”可以被分配持续时间信息为“运动员2”在对手的一半比赛场地中时间段,这是根据特定体育赛事的统计运动数据确定的。
应当理解,对于许多评论用户正在提交评论的事件,在当前视图中显示评论可能造成凌乱或混乱。因此,装置107可以基于预定的或用户102指定的标准来过滤评论。例如,用户可能仅希望看到关于体育赛事中的特定运动员或音乐事件中的特定乐队成员的评论。此外,由于评论老化,可以例如在持续时间信息指定的时间段内不同地显示评论。例如,可以以一种效果显示评论,使得用户102看起来淡出和/或浮动远离其原始位置。在浮动远离时,评论可以包括将其连接到其位置信息中指定的位置的引导线或其他指示符。在一个或多个示例中,评论可以在预定的初始时段被定位为真实的位置信息,随后可以随着它老化而移开。这可以为近期的评论腾出空间以显示给用户102。
当执行上下文分析以确定要添加的位置作为位置信息或要添加的时间作为时间信息时,可能存在多个候选结果。例如,词汇“半场(half time)”可以指在事件的音乐演奏期间的半场间隔,或者它可以指在事件中演奏的一个歌曲的歌词。装置107或电子设备106中的一个或多个可以基于上下文分析显示一个或多个候选时间/位置以供用户选择,评论的时间/位置信息基于评论用户的选择。因此,评论用户101的电子设备106上的app可以将候选结果呈现为用于选择的选项。然后可以将评论用户选择报告给服务器107。
位置信息、时间信息和/或持续时间信息可以作为元数据与评论一起存储或作为评论的属性存储。
评论201、202、203被提供为图2中的评论云208。云可以包括半透明效果。评论201、202、203可以提供或不提供有额外的云图形或半透明效果。评论可以被呈现为评论层,评论层可以由用户102在视图中显示或隐藏。相应地,该装置可以基于用户请求显示评论,以将评论层覆盖在视频影像上。应当理解,在视频影像中可见的位置与评论层中显示评论的位置之间可以存在链接。
图3从不同的角度示出了在与图2所示的视图相同或相似的时间的另一当前视图300。在该示例中,当前视图300的视点朝向事件的后台,看向两个乐队成员302、303正在该处演奏的舞台301。第一个乐队成员302正在弹奏吉他304。
在该另一当前视图300中可以看到由第一评论201的位置信息指示的位置。在该示例中,第一评论201被覆盖显示以将其与第一评论用户204在当前视图300中出现的位置相关联。在该示例中,当VR视图从视图200改变到视图300时,覆盖在视频影像上的评论的位置被更新,在该示例中,更新到座位“D1”的位置。
图3还示出了焦点指示符305,为清楚起见,图2中省略了焦点指示符305。焦点指示符305显示评论针对谁或针对什么,即评论的焦点。在这种情况下,包括“吉他跑调?!”的第一评论201针对正在弹吉他304的第一个乐队成员302。焦点指示符可以基于评论的焦点信息,焦点信息指示评论所针对的事件中的事物、对象或发生的事。
特定评论的焦点可以由评论用户204指定。焦点可以包括从评论用户204在提交评论时要用来提交评论的电子设备106的方向确定的方向。因此,评论用户204可以用其智能手机(或其他电子设备)作出评论,并且来自智能手机的罗盘或者通过智能手机的相机捕获的影像的分析的数据可被用来确定评论的焦点方向,其可以附加到评论以便发送到服务器107。焦点可以特定于例如对象或人,或者可以一般化地朝向舞台或远离舞台。因此,可以将由电子设备的相机捕获的影像与举办事件的空间的已知特征进行比较,以确定相机被指向的方向。如果评论是针对舞台上的表演者,则焦点方向可能指向舞台。如果评论是关于观众的,那么焦点方向可以指向观众。
在一个或多个示例中,可以从选项列表中选择焦点,选项包括用于评论的预定焦点。例如,利用关于足球比赛的运动员或节日的表演者的知识,可以生成预定焦点的列表,并且至少其子集被提供用于由评论用户选择。可以从评论内容的上下文分析来确定焦点和/或选项列表。
焦点指示符305和对应地焦点信息可以提供以下中的一个或多个:i)朝向作为评论焦点的对象或发生的事的方向、ii)在事件上的作为评论焦点的位置、以及iii)在事件上的作为评论焦点的对象或发生的事(例如戏剧表演中的场景)。
如果焦点信息包括方向或位置,则在给定视频影像中的视图的方向的情况下,装置110可以在适当方向上显示焦点指示符。如果焦点信息包括对象,则装置110可以参考事件对象位置信息来识别对象的位置,和/或视觉识别视觉影像中焦点信息的对象或发生的事。
在该示例中,焦点指示符305包括指向评论201的焦点302的箭头。然而,应当理解,焦点指示符可以采用一个或多个其他形式,例如指向焦点的大致方向的箭头,将评论的焦点与评论相匹配的颜色或图案编码“钉(pin)”,显示评论和焦点之间的连接的动画,为用户102提供对评论所针对的内容或对象的指示的颜色编码、图案编码以及任何其他图标、声音或动画。在一个或多个示例中,焦点指示符包括评论相对于视频影像的方向。评论可以显示为平面图形元素,其中评论的文本呈现在平面图形元素上,如图2和3所示。在图2的示例中,评论全部显示为使得每个评论的平面图形元素所在的平面的法线指向观看者102。相应地,所有评论201、202、203都表现为“面向”用户102。然而,评论的焦点可以呈现为使得平面图形元素所在的平面的法线指向焦点。因此,即使从不同的视点示出,也可以在空间中如图3所示的那样定向评论201。因此,利用相对于视图300中所示的视频影像的定向,可以观看评论并且评论的焦点302出现在其后面,使得平面的法线(通常)指向乐队成员302。
图4示出了具有在根据评论的位置信息的位置处显示的三个评论的视频影像的视图400,三个评论包括第四评论404、第五评论405和第六评论406。
评论404、405、406可以包括如先前附图中所示的文本,或者它们可以包括多媒体,例如视频或音频。因此,评论用户101可以用其电子设备106记录音频或视频,并将该音频或视频作为评论提交。评论还可以包括对事件的反应的表达,例如“喜欢”、“爱”、“不喜欢”、“讨厌”。相应地,“表达”评论可以被编码为文本串或以任何其他方式编码,使得装置110可以适当地显示该表达。例如,装置110可以显示预定图标以表示对反应的表达。例如,对于表达评论用户喜欢事件的评论,可以显示“竖起大拇指”图标作为评论,其根据该“表达”评论的位置信息来定位。类似于显示对反应的表达,评论可以包括对与事件相关的投票的表达。例如,在基于才艺表演的事件中,可以邀请观众投票以保持或拒绝特定行为。观众的评论用户可以以其投票作为评论,投票然后可以由装置110显示。
基于音频和/或视频的评论可以在视图中自动播放给用户102。
在图4的示例中,第四评论404包括视频评论,第五评论405包括音频评论,第六评论406包括基于文本的评论。每个评论显示为可激活评论图标。因此,可能要求用户102选择一个或多个可激活评论图标以观看评论。使用可激活评论图标对于基于音频或视频的评论可能是方便的。当评论用户正做出许多评论并且视图400可能变得混乱时,对基于文本的评论使用可激活评论图标可能是有用的。因此,可以使图标的尺寸小于评论全文的显示。图标可以包括对将在激活时提供的评论内容的预览,诸如视频的帧或来自基于文本的评论或音频评论(从语音到文本转换获得的)的关键词。该图标可以指示评论的类型,如图4所示,其中图标包括用于基于视频的评论的视频相机、用于基于音频的评论的扬声器和用于基于文本的评论的页面。
在用户激活评论404、405的评论图标时,使装置110通过回放音频或视频评论来显示评论。对于基于文本的第六评论406,可以使评论的全文可供观看。
对于基于视频的评论,评论可被显示为视图400的视频影像的图片视图中的图片和显示基于视频的评论的较小窗口(未示出)。在一个或多个示例中,可以中断视频影像并且替换视图400,使得可以显示基于视频的评论。在完成基于视频的评论和/或在用户102请求时,可以恢复视图400的视频影像。
对于基于音频的评论(包括基于视频的评论的音频),视图400的视频影像的音频可以被静音或减小音量或者评论的音频可以相对于其他音频以可听音量播放。在一个或多个其他示例中,当视频影像包括VR内容时,VR内容可以包括空间音频,其被呈现为使得音频的元素被感知为源自特定方向。音频场的宽度包括用户必须看向的观看方向的范围,以能够听到高于阈值的空间音频。因此,如果音频评论被呈现为具有宽的音频场宽度,则用户102可能需要看向音频评论的大致方向以听取它,而对于被呈现为具有窄的音频场宽度的音频,用户102可能需要更直接地朝向音频发起的方向定向视图400。可以基于特定视图400中基于音频的评论的密度来主动地控制音频场宽度。因此,当存在许多音频评论时可以使用更窄的音频场宽度,并且当存在更少音频评论时可以使用更宽的音频场宽度。在音频场宽度之外,评论可以是听不见的或以低于阈值的水平播放(可能仅在视图400中可见)。当用户注视评论并且在音频场宽度内时,评论可以以高于阈值的音量播放。这可以确保音频空间不会太混乱。
在一个或多个示例中,评论可以被显示为具有多个侧面,每个侧面或评论部分可以从不同的视点和/或观看方向可见(特别地但不排他地,当视频影像包括虚拟现实内容,该虚拟现实内容使用户能够控制虚拟现实空间中VR内容的虚拟现实视图)。在一个或多个示例中,当视图朝向具有第一评论部分的舞台时,可以显示以第一侧面可见的评论,当视图在观众外来自例如从乐队成员的角度看可见的舞台时,可以显示其上第二评论部分可见的第二侧面。
如上所述,关于显示具有相对于视频影像的特定方向的评论以显示其焦点,图5示出了创建具有多个侧面的评论。对于以相对于视频影像的特定方向显示以显示评论的焦点的评论,评论可以包括取决于用户102观看评论的角度的不同文本、音频或视频。在图3的示例中,当朝向舞台301观看时,评论201指出“吉他跑调?”。如果评论201有多个侧面,则从舞台角度可看的侧面可以是“请调整您的吉他!”,因为乐队成员302将(可能)看到。因此,评论可以有评论部分,每个评论部分具有与其相关联的焦点(或观看方向),使得基于用户102观看评论的角度显示评论部分。该装置可以被配置为使用在视图300(其可以由VR装置提供)中提供的观看方向和与评论相关联的评论部分信息,以基于视角显示多个评论部分中的一个。
评论部分信息可以由评论用户101提供或者根据上文关于评论焦点的确定所描述的上下文分析来确定。图5示出了经由电子设备106提供给评论用户的用户界面500。用户界面500提供用于创建双侧面的评论,其中“侧面(Side)1”在左侧窗格501中指定,“侧面2”在右侧窗格502中指定。每个窗格501、502中提供来自电子设备的相机的视图503、504以及箭头505、506,以示出当向用户102显示时每个评论部分将可见的方向。为每个评论侧面提供文本输入框507、508,但是可以在一个或多个其他示例中提供基于视频和基于音频的评论部分。
图5还示出了用于例如向服务器107提交评论的“发布”按钮510。提供“发帖帐户(posting account)”按钮511,用于选择社交媒体帐户以进一步经由社交媒体共享评论。提供“+添加侧面”按钮512用于向评论添加另外的评论部分,其中每个评论部分可从不同的观看方向观看。
装置110可以接收对来自用户102的评论的至少一个回复。装置110可以将回复发送给做出评论的评论用户。相应地,评论用户的日志和允许他们被联系的细节以及他们的评论可以用于将评论回复链接给和/或转发给评论用户101。
服务器107和在评论用户101的电子设备106上执行的应用可以一起动作以提供评论接收装置,用于提交具有与其相关联的位置信息的评论,以便在评论用户在场的事件的所捕获视频影像中的对应位置处显示。由装置107接收的评论,包括位置信息和与其相关联的评论,可以包括用于控制向用户102显示评论的其他信息(例如焦点信息、焦点方向信息、时间信息、持续时间信息、评论部分信息)的任何组合。
评论接收装置106、107可以被配置为将评论和至少其位置信息与视频影像相关联,使得评论将被覆盖显示在视频影像中与评论用户例如可见的位置相对应的位置处(或更一般地,位置信息指示的位置)。该关联可以包括用视频影像记录评论和位置信息或者提供对其的引用。在一个或多个示例中,关联可以包括提供评论和视频影像之间的链接。应当理解,提供评论的数据的形式和提供视频影像的数据的形式可以采用许多不同的形式,并且“评论接收”装置106、107需要提供两个数据集之间的链接,使得可以根据位置信息显示评论。
评论接收装置106、107可以被配置为提供对位置信息和视频影像的解释,以确定在视频影像中由位置信息引用的位置可见的位置,如上所述。捕获视频影像的相机的视点和观看方向,以及可能具有相机的影像的深度信息和/或举办事件的空间模型,可用于将位置信息(其可以参考全局坐标系统)映射到视频影像内的位置,以便随后显示评论。同样地,焦点信息、焦点方向信息和评论部分信息中的一个或多个可以被解释为适当地与相对于视频影像的位置或方向相关。评论接收装置106、107可以被致使提供对时间信息的解释,以将时间信息与事件的视频影像期间经过的时间相关,并且与持续时间信息类似。
位置信息可以从以下的一个或多个中导出:评论用户输入,事件上的定位系统(包括室内定位系统),用于提交评论的电子设备106的传感器,接收评论的服务器107,对评论用户身份与其他数据库(诸如事件座位分配数据库)的交叉引用,评论用户扫描或输入在他们的事件票证上打印的他们的代码,他们的座位或他们的位置,以及如果评论是照片、视频或音频评论,对照片、视频或音频评论的视觉和/或音频分析。因此,评论用户的电子设备106放置在照片、视频或音频中的地理标记元数据可以提供位置信息。此外,可以将照片或视频中可见的特征与举办事件的空间的模型或影像进行比较,以确定从何处捕获照片或视频并因此提供位置信息。对于音频评论,可以将背景声音的相对音量与在事件周围的已知位置处的麦克风捕获的声音进行比较,以确定在使用音频分析技术捕获音频的事件时的位置。如果位置信息表示评论的焦点而不是评论用户的位置,则还可以从识别对象或事件的评论用户来确定位置信息。应当理解,可以使用许多不同的技术来确定位置信息。
焦点信息可以从以下的一个或多个中导出:评论用户输入、用于提交评论的电子设备106的传感器、接收评论的服务器107、用户从提供给评论用户101的预定列表中选择对象或事件、对来自电子设备106的相机的影像的视觉分析以识别其中的对象或事件、对基于音频的评论的音频分析、对基于文本的评论的文本分析以及用于识别焦点的任何其他技术。
时间信息可以从以下的一个或多个中导出:提交评论的时间、指示事件期间的时间或者提及发生的事的评论的文本(可以使用事件-发生的事信息暂时放置)、基于照片、音频或视频的评论的元数据、对基于照片或视频的评论的视觉分析以将其与事件的视觉数据进行比较以暂时放置基于照片或视频的评论、对基于照片或视频的评论的音频分析以将其与其中音频相对于事件的定时是已知的事件的音频数据进行比较。
持续时间信息可以从以下的一个或多个中确定:评论用户提供的信息、对评论的上下文分析或基于每单位时间和可选的每视频影像区域接收的评论的数量,即具体时间窗口中的视频影像的具体区域内的评论密度。
图6示出了流程图,其示出了关于一个或多个评论用户在场并且已提交评论的事件的视频影像的步骤,视频影像中可见一个或多个评论用户或每个评论用户的位置。
基于601向用户显示的视频影像的当前视图以及所述一个或多个评论用户的至少一个评论,所述至少一个评论具有与其相关联的位置信息,所述位置信息指示以下中的一个或多个:(i)在事件上提交了评论的评论用户在发表评论时的位置,(ii)由在事件上提交了评论的评论用户指定的事件上的位置;
显示602覆盖在视频影像的当前视图上的评论,视频影像的当前视图中显示的评论在对应于位置信息的位置处。
图7示意性地示出了根据示例提供程序的计算机/处理器可读介质700。在该示例中,计算机/处理器可读介质是诸如数字通用盘(DVD)或光盘(CD)之类的盘。在其他示例中,计算机可读介质可以是已经以执行发明功能的方式编程的任何介质。计算机程序代码可以分布在相同类型的多个存储器之间,或者分布在不同类型的多个存储器之间,例如ROM、RAM、闪存、硬盘、固态等。
上述示例中所示的装置可以是便携式电子设备、膝上型计算机、移动电话、智能手机、平板电脑、个人数字助理、数码相机、智能手表、智能眼镜、笔式计算机、非便携式电子设备、台式计算机、监视器、家用电器、智能电视、服务器、可穿戴设备或用于其中的一个或多个的模块/电路。
任何提到的装置/设备/服务器和/或特定提到的装置/设备/服务器的其他特征可以由装置提供,使得它们被配置成仅在启用(例如打开等)时执行期望的操作。在这种情况下,它们可能不一定具有在非启用(例如关闭状态)下加载到事件存储器中的适当软件,并且仅在启用(例如开启状态)下加载适当的软件。该装置可以包括硬件电路和/或固件。该装置可以包括加载到存储器上的软件。这样的软件/计算机程序可以记录在相同的存储器/处理器/功能单元上和/或一个或多个存储器/处理器/功能单元上。
在一些示例中,特定提及的装置/设备/服务器可以用适当的软件预编程以执行期望的操作,并且其中可以启用适当的软件以供用户下载“密钥”使用,例如以解锁/启用软件及其相关联功能。与这样的示例相关联的优点可以包括当设备需要进一步的功能时减少下载数据的要求,并且这在设备被感知具有足够容量来存储这样的预编程软件以用于可能不由用户启用的功能的示例中是有用的。
除了所提到的功能之外,任何提到的装置/电路/元件/处理器可以具有其他功能,并且这些功能可以由相同的装置/电路/元件/处理器执行。一个或多个公开的方面可以包括相关联计算机程序和记录在适当的载体(例如存储器、信号)上的计算机程序(可以是源/传输编码的)的电子分发。
本文描述的任何“计算机”可以包括一个或多个单独的处理器/处理元件的集合,这些处理器/处理元件可以或可以不位于同一电路板或者电路板的相同区域/位置或甚至相同的设备上。在一些示例中,任何提到的处理器中的一个或多个可以分布在多个设备上。相同或不同的处理器/处理元件可以执行本文描述的一个或多个功能。
术语“信令”可以指作为一系列发送和/或接收的电/光信号发送的一个或多个信号。该系列信号可以包括一个、两个、三个、四个或甚至更多单独的信号分量或不同信号以构成所述信令。这些单独信号中的一些或全部可以通过无线或有线通信同时、依次和/或使得它们在时间上彼此重叠地发送/接收。
参考任何提到的计算机和/或处理器和存储器(例如包括ROM、CD-ROM等)的任何讨论,这些可以包括计算机处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)和/或以这种方式编程以执行本发明功能的其他硬件组件。
申请人在此单独公开了本文所述的每个单独的特征以及两个或更多个这样的特征的任何组合,只要这些特征或组合能够鉴于本领域技术人员的一般知识基于本说明书作为整体执行,不管这些特征或特征的组合是否解决了本文公开的任何问题,并且不限制权利要求的范围。申请人指出所公开的方面/示例可以由任何这样的单独特征或特征组合组成。鉴于前面的描述,对于本领域技术人员显而易见的是,可以在本公开的范围内进行各种修改。
尽管已经示出、描述并指出了应用于其示例的基本新颖特征,但是应当理解,本领域技术人员在不脱离本公开的范围的情况下可以对所描述的装置和方法的形式和细节进行各种省略和替换以及改变。例如,明确地意图的是,以基本相同的方式执行基本相同的功能以实现相同结果的那些元件和/或方法步骤的所有组合都在本公开的范围内。此外,应该认识到,结合任何公开的形式或示例示出和/或描述的结构和/或元件和/或方法步骤可以作为设计选择的一般事项并入任何其他公开的或描述的或建议的形式或示例中。此外,在权利要求中,装置加功能的条款旨在覆盖本文描述的执行所述功能的结构,不仅包括结构等同物,还包括等同结构。因此,尽管钉子和螺钉可能不是结构等同物,因为钉子采用圆柱形表面将木质部件固定在一起,而螺钉采用螺旋表面,但在紧固木质部件的环境中,钉子和螺钉可以是等同结构。

Claims (15)

1.一种装置,包括:
至少一个处理器;以及
包括计算机程序代码的至少一个存储器,
所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使得所述装置至少执行以下操作:
关于一个或多个评论用户在场并且已提交评论的事件的视频影像,在所述视频影像中可见的所述一个或多个评论用户或每个评论用户的位置;
基于向用户显示的所述视频影像的当前视图以及所述一个或多个评论用户的至少一个评论,所述至少一个评论具有与其相关联的位置信息,所述位置信息指示以下中的一个或多个:(i)在所述事件上提交了评论的评论用户在发表所述评论时的位置,以及(ii)由在所述事件上提交了评论的评论用户指定的在所述事件上的位置;
显示覆盖在所述视频影像的所述当前视图上的评论,在所述视频影像的所述当前视图中显示的所述评论在对应于所述位置信息的位置处。
2.根据权利要求1所述的装置,其中所述评论具有与其相关联的时间信息,所述时间信息指示以下中的一个或多个:
(i)在所述事件期间的所述评论用户在事件上提交评论的时间;
(ii)由在事件上提交了评论的评论用户指定的在所述事件的时域持续时间内发生的时间;
(iii)通过分析评论措辞的上下文确定的在所述事件期间的时间;
(iv)在所述事件期间所述评论用户创建所述评论的时间;以及
(iv)在所述评论包括音频或视频媒体的情况下,从记录所述音频或视频媒体的时间确定的在所述事件期间的时间;以及所述装置被致使在小于所述视频影像的总持续时间并且对应于所述时间信息的时间段内显示所述评论。
3.根据权利要求2所述的装置,其中所述时间信息包括持续时间信息,所述持续时间信息包括应该显示所述评论的持续时间。
4.根据任一前述权利要求所述的装置,由所述评论用户指定的所述位置信息包括出现在所述视频影像中的对象;以及所述装置被致使当所述对象在所述视频影像中的位置随时间变化时,在对应于所述对象的位置的位置处显示所述评论。
5.根据任一前述权利要求所述的装置,其中所述评论具有与其相关联的焦点信息,所述焦点包括所述评论所针对的在所述事件上的对象或发生的事;以及所述装置被致使用以下一个或多个来显示所述评论:(i)焦点指示符,其至少示出与所述焦点信息对应的在所述视觉影像中的方向,以及(ii)所述视觉影像中基于所述焦点信息的位置。
6.根据权利要求5所述的装置,其中所述焦点方向信息可以是:(i)由在所述事件上提交评论的所述评论用户指定的,以及(ii)从提交评论的所述评论用户使用的电子设备在所述评论被提交的时间的方位确定的。
7.根据任一前述权利要求所述的装置,其中所述一个或多个评论包括以下中的一个或多个:
(i)文字评论;
(ii)照片评论;
(iii)图片评论;
(iv)音频评论;
(v)视频评论;
(vi)表达对所述事件的反应,例如“喜欢”、“爱”、“不喜欢”、“讨厌”;以及
(vii)表达与所述事件有关的投票。
8.根据任一前述权利要求所述的装置,其中所述评论包括由所述评论用户记录的音频评论和视频评论中的一个或多个,以及其中所述装置被致使通过可激活图标来提供所述评论的显示,所述可激活图标被配置为由用户致动来回放所述音频或视频评论。
9.根据任一前述权利要求所述的装置,其中所述评论包括音频内容,以及所述装置被致使以空间音频效果回放所述音频内容,使得所述音频内容的源相对于所述视频影像的感知方向对应于所述位置信息。
10.根据任一前述权利要求所述的装置,其中所述装置被致使在显示所述评论之前显示可激活评论图标,所述可激活评论图标指示可用于呈现给所述用户的评论,所述装置被配置为在用户致动所述可激活评论图标时呈现所述评论。
11.根据任一前述权利要求所述的装置,其中所述评论包括至少:第一评论部分,其具有与其相关联的第一方向,以及第二评论部分,其具有与其相关联的第二方向;所述装置被致使当所述视频影像定向为与所述第一方向基本对应的方向时显示所述第一评论部分,以及当所述视频影像定向为与所述第二方向基本对应的方向时显示所述第二评论部分。
12.根据任一前述权利要求所述的装置,其中所述装置被致使连同所述一个或多个评论一起显示用户可激活链接,所述链接包括对所述事件的时域部分的引用,并且在激活所述链接时,重播所述事件的所述时域部分。
13.一种装置,包括:
至少一个处理器;以及
包括计算机程序代码的至少一个存储器,
所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使得所述装置至少执行以下操作:
关于一个或多个评论用户在场的事件的视频影像,定位在所述事件的所述视频影像中可见的所述一个或多个评论用户或每个评论用户;
基于所述一个或多个评论用户的至少一个评论;
将所述评论与所述具有位置信息的视频影像相关联,所述位置信息指示以下中的一个或多个:(i)在所述事件上提交了所述评论的评论用户在发表所述评论时的位置,以及(ii)由在所述事件上提交了评论的评论用户指定的在所述事件上的位置,从而能够显示覆盖在所述视频影像上的所述评论,使得它在所述视频影像中显示在对应于所述位置信息的位置处。
14.一种方法,包括:
关于一个或多个评论用户在场并且已提交评论的事件的视频影像,在所述视频影像中可见的所述一个或多个评论用户或每个评论用户的位置;
基于向用户显示的所述视频影像的当前视图以及所述一个或多个评论用户的至少一个评论,所述至少一个评论具有与其相关联的位置信息,所述位置信息指示以下中的一个或多个:(i)在所述事件上提交了评论的评论用户在发表所述评论时的位置,以及(ii)由在所述事件上提交了评论的评论用户指定的在所述事件上位置;
显示覆盖在所述视频影像的所述当前视图上的评论,在所述视频影像的所述当前视图中显示的所述评论在对应于所述位置信息的位置处。
15.一种计算机可读介质,包括存储在其上的计算机程序代码,所述计算机可读介质和计算机程序代码被配置为当在至少一个处理器上运行时,执行至少以下操作:
关于一个或多个评论用户在场并且已提交评论的事件的视频影像,在所述视频影像中可见的所述一个或多个评论用户或每个评论用户的位置;
基于向用户显示的所述视频影像的当前视图以及所述一个或多个评论用户的至少一个评论,所述至少一个评论具有与其相关联的位置信息,所述位置信息指示以下中的一个或多个:(i)在所述事件上提交了评论的评论用户在发表所述评论时的位置,以及(ii)由在所述事件上提交了所述评论的评论用户指定的在所述事件上的位置;
显示覆盖在所述视频影像的所述当前视图上的评论,在所述视频影像的所述当前视图中显示的所述评论在对应于所述位置信息的位置处。
CN201780033855.6A 2016-06-02 2017-05-24 装置和相关联方法 Pending CN109219825A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16172627.8A EP3252690A1 (en) 2016-06-02 2016-06-02 Apparatus and associated methods
EP16172627.8 2016-06-02
PCT/FI2017/050393 WO2017207868A1 (en) 2016-06-02 2017-05-24 An apparatus and associated methods

Publications (1)

Publication Number Publication Date
CN109219825A true CN109219825A (zh) 2019-01-15

Family

ID=56116260

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780033855.6A Pending CN109219825A (zh) 2016-06-02 2017-05-24 装置和相关联方法

Country Status (6)

Country Link
US (1) US10972800B2 (zh)
EP (1) EP3252690A1 (zh)
CN (1) CN109219825A (zh)
MX (1) MX2018014832A (zh)
PH (1) PH12018502547A1 (zh)
WO (1) WO2017207868A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112182288A (zh) * 2020-09-30 2021-01-05 北京达佳互联信息技术有限公司 数据存储方法和装置、电子设备和存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10320728B2 (en) 2016-12-13 2019-06-11 Google Llc Methods, systems, and media for generating a notification in connection with a video content item
JP6304847B1 (ja) * 2017-04-28 2018-04-04 株式会社コナミデジタルエンタテインメント サーバ装置、及びそれに用いられるコンピュータプログラム
CN110366002B (zh) * 2019-06-14 2022-03-11 北京字节跳动网络技术有限公司 视频文件合成方法、系统、介质和电子设备
JP7467074B2 (ja) * 2019-11-05 2024-04-15 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
EP4147452A4 (en) * 2020-05-06 2023-12-20 ARRIS Enterprises LLC INTERACTIVE COMMENTARY IN VIDEO ON DEMAND
US20220377403A1 (en) * 2021-05-20 2022-11-24 International Business Machines Corporation Dynamically enhancing a video by automatically generating and adding an overlay window

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120299962A1 (en) * 2011-05-27 2012-11-29 Nokia Corporation Method and apparatus for collaborative augmented reality displays
CN103136326A (zh) * 2011-12-05 2013-06-05 索尼公司 与媒体一起呈现评论的系统和方法
CN104603807A (zh) * 2012-08-28 2015-05-06 微软公司 具有数字注释的移动视频会议

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8180396B2 (en) 2007-10-18 2012-05-15 Yahoo! Inc. User augmented reality for camera-enabled mobile devices
US9189818B2 (en) * 2010-12-10 2015-11-17 Quib, Inc. Association of comments with screen locations during media content playback
CN103797812B (zh) * 2012-07-20 2018-10-12 松下知识产权经营株式会社 带评论运动图像生成装置及带评论运动图像生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120299962A1 (en) * 2011-05-27 2012-11-29 Nokia Corporation Method and apparatus for collaborative augmented reality displays
CN103136326A (zh) * 2011-12-05 2013-06-05 索尼公司 与媒体一起呈现评论的系统和方法
CN104603807A (zh) * 2012-08-28 2015-05-06 微软公司 具有数字注释的移动视频会议

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112182288A (zh) * 2020-09-30 2021-01-05 北京达佳互联信息技术有限公司 数据存储方法和装置、电子设备和存储介质
CN112182288B (zh) * 2020-09-30 2023-10-03 北京达佳互联信息技术有限公司 数据存储方法和装置、电子设备和存储介质

Also Published As

Publication number Publication date
PH12018502547A1 (en) 2019-09-30
EP3252690A1 (en) 2017-12-06
US20200322688A1 (en) 2020-10-08
MX2018014832A (es) 2019-06-06
US10972800B2 (en) 2021-04-06
WO2017207868A1 (en) 2017-12-07

Similar Documents

Publication Publication Date Title
CN109219825A (zh) 装置和相关联方法
US10963439B1 (en) Event-related media management system
US9026596B2 (en) Sharing of event media streams
CN104620522B (zh) 通过所检测到的身体标记来确定用户兴趣
US10277861B2 (en) Storage and editing of video of activities using sensor and tag data of participants and spectators
CN105723325B (zh) 使用因用户而异的语法的媒体项选择的方法与设备
CN101257582B (zh) 媒体生成系统
JP2017513164A (ja) メディアクリップ作成及び配信システム、装置、及び方法
US20150199995A1 (en) Modular content generation, modification, and delivery system
CA3142707A1 (en) Systems and methods for operating an output device
CN109729372A (zh) 直播间切换方法、装置、终端、服务器及存储介质
Engström et al. Temporal hybridity: Mixing live video footage with instant replay in real time
CN110248219A (zh) 视频播放方法、装置及设备
CN109873905A (zh) 音频播放方法、音频合成方法、装置及存储介质
CN108431795A (zh) 用于信息捕获和呈现的方法和设备
CN106462637A (zh) 显示与设备上播放的内容有关的信息
Milanowitsch Mapping the Presence of the Korean Wave in North Korea
Saini et al. Automated Video Mashups: Research and Challenges
CN116170651A (zh) 从视频和文本输入生成高光时刻视频的方法、系统和存储介质
CN109391849A (zh) 处理方法及系统、多媒体输出装置及存储器
Cinpoes “By Looking Liking”: Baz Luhrmann's William Shakespeare's Romeo+ Juliet
Bradshaw Online video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination