CN109643413A - 装置及相关联的方法 - Google Patents

装置及相关联的方法 Download PDF

Info

Publication number
CN109643413A
CN109643413A CN201780050832.6A CN201780050832A CN109643413A CN 109643413 A CN109643413 A CN 109643413A CN 201780050832 A CN201780050832 A CN 201780050832A CN 109643413 A CN109643413 A CN 109643413A
Authority
CN
China
Prior art keywords
comment
virtual reality
interest
point
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780050832.6A
Other languages
English (en)
Other versions
CN109643413B (zh
Inventor
王廷槐
范力欣
由宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN109643413A publication Critical patent/CN109643413A/zh
Application granted granted Critical
Publication of CN109643413B publication Critical patent/CN109643413B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/12Use of codes for handling textual entities
    • G06F40/137Hierarchical processing, e.g. outlines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/169Annotation, e.g. comment data or footnotes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295Named entity recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183On-screen display [OSD] information, e.g. subtitles or menus

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种装置,被配置为:关于包括视频影像的虚拟现实内容,该视频影像被配置为提供虚拟现实空间,其中呈现给用户的虚拟现实视图提供对VR空间的观看;基于由评论用户做出的评论以及评论用户在评论被做出时在虚拟现实空间中的虚拟位置;提供对虚拟现实空间中的兴趣点的确定,兴趣点至少基于以下被标识:评论用户在评论被做出时的虚拟位置以及用以标识该评论所涉及的在虚拟位置周围的兴趣点的对评论的语义分析,兴趣点与评论相关联,从而使得评论能够覆盖在视频影像的虚拟现实视图上。

Description

装置及相关联的方法
技术领域
本公开涉及虚拟现实领域,更具体地,涉及对与感兴趣的对象有关的评论的显示。还公开了相关联的方法、计算机程序以及装置。某些公开的方面/示例涉及便携式电子设备。
背景技术
在观看虚拟现实内容时,用户可能想要评论他们看到的东西。可能期望将那些评论呈现给观看相同虚拟现实内容的用户。
在本说明书中对先前公布的文档或者任何背景的列举或讨论不应被视为承认该文档或背景是现有技术的一部分或是公知常识。本公开的一个或多个方面/示例可以解决或可以不解决一个或多个背景问题。
发明内容
在第一示例方面,提供了一种装置,包括:
至少一个处理器;以及
至少一个存储器,包括计算机程序代码,
该至少一个存储器和计算机程序代码被配置为利用该至少一个处理器,使得该装置至少执行以下:
关于包括视频影像的虚拟现实内容,视频影像被配置为提供用于以虚拟现实方式观看的虚拟现实空间,其中呈现给用户的虚拟现实视图提供对虚拟现实空间的观看,虚拟现实视图包括视频影像的空间部分,视频影像的空间部分形成虚拟现实空间并且在空间范围上小于虚拟现实空间的视频影像的空间范围;
基于由一个或多个评论用户做出的多个评论,每个评论与虚拟现实空间中的兴趣点相关联,兴趣点基于以下被标识:一个或多个评论用户中的评论用户在评论被做出时在虚拟现实空间中的虚拟位置以及用以标识评论所涉及的在虚拟位置周围的兴趣点的对评论的语义分析;
提供对多个评论的至少一个子集的显示,该多个评论的至少一个子集覆盖在视频影像的虚拟现实视图上,所述子集至少基于多个评论中的如下评论,该评论具有在被提供给用户的虚拟现实视图中可见的兴趣点。
在一个或多个示例中,评论用户可以对他们看到的从虚拟现实内容创建的虚拟现实视图中表征的兴趣点做出评论。对评论的语义分析可以提供对作为该评论的主语的虚拟位置的标识(即,评论中涉及的“兴趣点”),其可以是在评论用户在评论被做出时所处的虚拟位置周围的点。当用户在做出评论之后观看虚拟现实内容时,可以将评论提供为与用户的虚拟现实视图中的兴趣点相关联地显示。用户可以是同时或在稍后的时间观看相同的虚拟现实内容的不同用户。评论可以包括以下项中的一项或多项:关于兴趣点的信息、评论用户的观点、到关于兴趣点的另外的信息的链接、到包括兴趣点的另外的虚拟现实内容的链接。
在一个或多个实施例中,覆盖在视频影像的虚拟现实视图上的多个评论的所述子集中的每个评论在虚拟现实视图中被定位为使得其在出现在视频影像中时与其所涉及的兴趣点相关联。
在一个或多个示例中,评论的子集中的每个评论可以被提供以显示为使得它们是以下项中的一项或多项:
i)定位在在视频影像中可以看见兴趣点的位置的预定距离内;
ii)定位为看起来好像悬浮在在视频影像中可以看见兴趣点的位置之上;
iii)提供为与连线图形一起显示,该连线图形至少指向在视频影像中可以看见兴趣点的位置。
在一个或多个实施例中,每个评论还与观看方向相关联,该观看方向包括评论用户在评论被做出时在虚拟现实空间中的观看方向,并且其中
所述子集基于多个评论中的一个或多个评论,该一个或多个评论具有在被提供给用户的虚拟现实视图中可见的兴趣点,并且其中被提供给用户的虚拟现实视图的观看方向在与评论相关联的观看方向的观看方向阈值内。
在一个或多个实施例中,所述子集还基于虚拟现实空间中被提供给用户的虚拟现实视图的视点与多个评论中的每个评论的兴趣点之间的虚拟距离。
在一个或多个示例中,虚拟距离可以用于限制被提供用于显示的评论的数量,尽管多个评论中的评论具有在被提供给用户的虚拟现实视图中可见的兴趣点。在一个或多个示例中,基于以下项中的一项或多项对评论进行分类:评论的主题的一般性、评论在其他用户中的受欢迎度、评论的情绪,并且该装置被配置为基于虚拟距离来在子集中包括不同类别的评论。
在一个或多个实施例中,所述子集还基于:
虚拟现实空间中的被提供给用户的虚拟现实视图的视点与多个评论中的每个评论的兴趣点之间的虚拟距离,以及
虚拟现实空间中的兴趣点的大小。
在一个或多个实施例中,兴趣点的大小可以基于预定地图数据和兴趣点的图像识别中的一个或多个来确定。
在一个或多个实施例中,多个评论中涉及相同兴趣点的评论每个都基于对评论的语义分析与至少两个类别中的一个类别相关联,至少两个类别中的第一类别与一般地涉及兴趣点的评论相关联,并且至少两个类别中的第二类别与涉及以下项中的一项或多项的评论相关联:(i)兴趣点所占据的区域的子区域,和(ii)兴趣点的一部分的特性,并且其中:
评论的子集还基于类别。
在一个或多个实施例中,所述子集还基于虚拟现实空间中的被提供给用户的虚拟现实视图的视点与多个评论中的每个评论的兴趣点之间的虚拟距离,其中
当虚拟距离高于阈值量时,至少两个类别中的第一类别而不是第二类别的评论被包括在子集中,并且
当虚拟距离低于阈值量时,至少两个类别中的第二类别的评论被包括在子集中。
在一个或多个示例中,当虚拟距离低于阈值量时,可以从子集中排除第一类别的评论。因此,在一个或多个示例中,随着用户的虚拟现实视图的视点与兴趣点之间的虚拟距离减少,可以提供通过类别的方式确定的更具体的评论用于显示。在一个或多个示例中,随着用户的虚拟现实视图的视点与兴趣点之间的虚拟距离减小,可以从显示中移除通过类别的方式确定的较不具体的评论。将认识到,在一个或多个实施例中,随着虚拟距离增大,可以从显示中移除较为具体的评论和/或可以提供较不具体的评论作为子集的一部分以用于显示。
在一个或多个实施例中,每个评论与评论空间范围相关联,评论空间范围限定虚拟现实空间中与兴趣点相关联的虚拟空间区域,并且其中评论空间范围的大小和形状中的一个或多个是基于对评论的语义分析的,并且
其中多个评论中的每个评论在子集中的包括是基于以下两者之间的相关性的:提供给用户的虚拟现实视图的视点的位置与评论空间范围。
在一个或多个实施例中,评论空间范围限定虚拟现实空间中的如下区域,在评论中提到的兴趣点的特征从该区域是可见的并且与该区域在特定阈值距离内。
在一个或多个实施例中,兴趣点基于以下项中的一项或多项而被标识:
i)对预定的兴趣点数据的参考,预定的兴趣点数据包括兴趣点的名称及其相关联的位置的数据库,相关联的位置指示兴趣点在视频影像中出现的位置,以使得通过语义分析确定的评论中的一个或多个词语与预定的兴趣点数据中的名称相关;以及
ii)评论的语义分析,以标识如下位置处的兴趣点,该位置相对于评论用户的虚拟位置被表示。
在一个或多个示例中,兴趣点可以包括以下项中的一项或多项:对象、人或位置,并且可以通过对评论的语义分析来而被标识。预定的兴趣点数据可以包括以下项中的一项或多项:出现在虚拟现实内容中可见的场景或地理区域中的兴趣点的列表、对象的列表、以及人的列表。因此,预定的兴趣点数据可以包括每个兴趣点的位置,以使得在适当的情况下评论可以被包括/不被包括在被提供以用于显示的子集中。在预定的兴趣点数据中指定的位置可以是固定的或时变的。例如,如果兴趣点是在舞台上移动的著名歌手,则兴趣点的位置将随着时间改变。因此,即使在虚拟现实视图的静止视点的情况下,兴趣点也可以在呈现给用户的虚拟现实视图之内或之外移动,并且因而,可以将涉及兴趣点的评论包括在子集中或从中排除。
在第二方面,提供了一种装置,包括:
至少一个处理器;以及
至少一个存储器,包括计算机程序代码,
该至少一个存储器和计算机程序代码被配置为利用该至少一个处理器,使得该装置至少执行以下:
关于包括视频影像的虚拟现实内容,视频影像被配置为提供用于以虚拟现实方式观看的虚拟现实空间,其中呈现给用户的虚拟现实视图提供对虚拟现实空间的观看,虚拟现实视图包括视频影像的空间部分,视频影像的空间部分形成虚拟现实空间并且在空间范围上小于虚拟现实空间的视频影像的空间范围;
基于由评论用户做出的评论和评论用户在评论被做出时在虚拟现实空间中的虚拟位置;
提供对虚拟现实空间中的兴趣点的确定,兴趣点至少基于以下被标识:评论用户在评论被做出时的虚拟位置以及用以标识评论所涉及的在虚拟位置周围的兴趣点的对评论的语义分析,兴趣点与评论相关联,从而使得评论能够基于与评论相关联的兴趣点在被提供给用户的虚拟现实视图中可见而覆盖在视频影像的虚拟现实视图上。
在一个或多个实施例中,兴趣点的确定还基于评论用户在评论被做出时的观看方向。
在第三方面中,提供了一种方法,该方法包括,
关于包括视频影像的虚拟现实内容,视频影像被配置为提供用于以虚拟现实方式观看的虚拟现实空间,其中呈现给用户的虚拟现实视图提供对虚拟现实空间的观看,虚拟现实视图包括视频影像的空间部分,视频影像的空间部分形成虚拟现实空间并且在空间范围上小于虚拟现实空间的视频影像的空间范围;
基于由一个或多个评论用户做出的多个评论,每个评论与虚拟现实空间中的兴趣点相关联,兴趣点基于以下被标识:一个或多个评论用户中的评论用户在评论被做出时在虚拟现实空间中的虚拟位置,以及用以标识评论所涉及的在虚拟位置周围的兴趣点的对评论的语义分析;
提供对多个评论的至少一个子集的显示,该多个评论的至少一个子集覆盖在视频影像的虚拟现实视图上,所述子集至少基于多个评论中的如下评论,该评论具有在被提供给用户的虚拟现实视图中可见的兴趣点。
在第四方面中,提供了一种方法,该方法包括,
关于包括视频影像的虚拟现实内容,视频影像被配置为提供用于以虚拟现实方式观看的虚拟现实空间,其中呈现给用户的虚拟现实视图提供对虚拟现实空间的观看,虚拟现实视图包括视频影像的空间部分,视频影像的空间部分形成虚拟现实空间并且在空间范围上小于虚拟现实空间的视频影像的空间范围;
基于由评论用户做出的评论和评论用户在评论被做出时在虚拟现实空间中的虚拟位置;
提供对虚拟现实空间中的兴趣点的确定,兴趣点至少基于以下被标识:评论用户在评论被做出时的虚拟位置以及用以标识评论所涉及的在虚拟位置周围的兴趣点的对评论的语义分析,兴趣点与评论相关联,从而使得评论能够基于与评论相关联的兴趣点在被提供给用户的虚拟现实视图中可见而覆盖在视频影像的虚拟现实视图上。
在另一方面中,提供了一种计算机可读介质,包括存储于其上的计算机程序代码,该计算机可读介质和计算机程序代码被配置为,当在至少一个处理器上被运行时,执行以下方法:
关于包括视频影像的虚拟现实内容,视频影像被配置为提供用于以虚拟现实方式观看的虚拟现实空间,其中呈现给用户的虚拟现实视图提供对虚拟现实空间的观看,虚拟现实视图包括视频影像的空间部分,视频影像的空间部分形成虚拟现实空间并且在空间范围上小于虚拟现实空间的视频影像的空间范围;
基于由一个或多个评论用户做出的多个评论,每个评论与虚拟现实空间中的兴趣点相关联,兴趣点基于以下被标识:一个或多个评论用户中的评论用户在评论被做出时在虚拟现实空间中的虚拟位置以及用以标识评论所涉及的在虚拟位置周围的兴趣点的对评论的语义分析;
提供对多个评论的至少一个子集的显示,该多个评论的至少一个子集覆盖在视频影像的虚拟现实视图上,所述子集至少基于多个评论中的如下评论,该评论具有在被提供给用户的虚拟现实视图中可见的兴趣点。
在另一方面中,提供了一种计算机可读介质,包括存储于其上的计算机程序代码,该计算机可读介质和计算机程序代码被配置为,当在至少一个处理器上被运行时,执行以下方法:
关于包括视频影像的虚拟现实内容,视频影像被配置为提供用于以虚拟现实方式观看的虚拟现实空间,其中呈现给用户的虚拟现实视图提供对虚拟现实空间的观看,虚拟现实视图包括视频影像的空间部分,视频影像的空间部分形成虚拟现实空间并且在空间范围上小于虚拟现实空间的视频影像的空间范围;
基于由评论用户做出的评论和评论用户在评论被做出时在虚拟现实空间中的虚拟位置;
提供对虚拟现实空间中的兴趣点的确定,兴趣点至少基于以下被标识:评论用户在评论被做出时在虚拟现实空间中的虚拟位置以及用以标识评论所涉及的在虚拟位置周围的兴趣点的对评论的语义分析,兴趣点与评论相关联,从而使得评论能够基于与评论相关联的兴趣点在被提供给用户的虚拟现实视图中可见而覆盖在视频影像的虚拟现实视图上。
在另一方面中,提供了一种设备,该设备包括被配置为进行以下项的装置:
关于包括视频影像的虚拟现实内容,视频影像被配置为提供用于以虚拟现实方式观看的虚拟现实空间,其中呈现给用户的虚拟现实视图提供对虚拟现实空间的观看,虚拟现实视图包括视频影像的空间部分,视频影像的空间部分形成虚拟现实空间并且在空间范围上小于虚拟现实空间的视频影像的空间范围;
基于由一个或多个评论用户做出的多个评论,每个评论与虚拟现实空间中的兴趣点相关联,兴趣点基于以下被标识:一个或多个评论用户中的评论用户在评论被做出时在虚拟现实空间中的虚拟位置,以及用以标识评论所涉及的在虚拟位置周围的兴趣点的对评论的语义分析;
提供对多个评论的至少一个子集的显示,该多个评论的至少一个子集覆盖在视频影像的虚拟现实视图上,所述子集至少基于多个评论中的如下评论,所述评论具有在被提供给用户的虚拟现实视图中可见的兴趣点。
在另一方面中,提供了一种设备,该设备包括被配置为进行以下项的装置:
关于包括视频影像的虚拟现实内容,视频影像被配置为提供用于以虚拟现实方式观看的虚拟现实空间,其中呈现给用户的虚拟现实视图提供对虚拟现实空间的观看,虚拟现实视图包括视频影像的空间部分,视频影像的空间部分形成虚拟现实空间并且在空间范围上小于虚拟现实空间的视频影像的空间范围;
基于由评论用户做出的评论和评论用户在评论被做出时在虚拟现实空间中的虚拟位置;
提供对虚拟现实空间中的兴趣点的确定,兴趣点至少基于以下被标识:评论用户在评论被做出时在虚拟现实空间中的虚拟位置以及用以标识评论所涉及的在虚拟位置周围的兴趣点的对评论的语义分析,兴趣点与评论相关联,从而使得评论能够基于与评论相关联的兴趣点在被提供给用户的虚拟现实视图中可见而覆盖在视频影像的虚拟现实视图上。
本公开单独形式或以各种组合形式包括一个或多个相应的方面、示例或特征,无论是否以该组合或单独的形式进行具体陈述(包括要求保护)。用于执行所讨论的功能中的一个或多个功能的相应的装置和相应的功能单元(例如,功能使能器、视点确定器、显示设备、观看方向确定器、语义分析器、评论过滤器)也在本公开内。
用于实现所公开的一种或多种方法的相应计算机程序也在本公开内,并且被一个或多个所描述的示例涵盖。
以上发明内容旨在仅是示例性的而非限制性的。
附图说明
现在参考附图仅通过示例的方式给出描述,其中:
图1示出了用于以虚拟现实的方式提供评论的显示的装置;
图2示出了兴趣点以及由一个或多个评论用户留下的关于该兴趣点的多个评论;
图3示出了表格,该表格显示表示图2中显示的评论的数据;
图4示出了评论的分类以及评论空间区域的分配;
图5示出了说明示例方法的流程图;以及
图6示出了计算机可读介质。
具体实施方式
虚拟现实(VR)可以使用诸如眼镜或护目镜之类的头戴式设备或围绕用户的一个或多个显示器来向用户提供沉浸式虚拟体验。虚拟现实装置可以向用户呈现表示虚拟现实空间的多媒体虚拟现实内容,以模拟该用户正出现在该虚拟现实空间内。虚拟现实空间可以复制真实世界环境以模拟用户正物理地出现于真实世界位置处,或者虚拟现实空间可以是计算机生成的或者是计算机生成的和真实世界多媒体内容的组合。虚拟现实空间可以由全景视频(例如,具有宽视场或360°视场的视频(其可以包括水平定向视场的上方和/或下方))提供。因此,虚拟现实空间可以提供虚拟3维环境,其中提供VR内容的视频影像以供显示。可以向用户提供虚拟现实空间的空间子集作为其VR视图,即用于观看VR空间的视频影像的视图端口。虚拟现实装置可以为用户提供与所显示的虚拟现实空间的交互。例如,提供给用户的虚拟现实内容可以包括由虚拟现实内容捕获设备(比如,全景视频捕获设备或其他虚拟现实内容捕获设备)捕获的现实世界的实况或记录图像。虚拟现实内容捕获设备的一个示例是Nokia OZO相机。虚拟现实空间可以提供360°或更大的视野,并且可以基于VR用户的头部或眼睛的移动来提供围绕所述视野的平移/旋转。虚拟现实空间的虚拟现实视图可以由虚拟现实装置经由头戴式设备中的显示器提供给所述用户。虚拟现实空间可以对VR装置的用户呈现为从虚拟现实内容的图像(例如,视频)创建的三维空间。因此,VR内容可以包括在多个观看方向上拍摄的图像,这些图像可以被显示和排列在一起以形成(例如,不间断的、连续的)环绕视野。
在观看虚拟现实内容时,用户(称为评论用户)可能希望对他们在虚拟现实内容中看到的对象、人或人群、或事件做出评论。对象、人群或事件可以统称为虚拟现实内容中的兴趣点。在一些示例中,一个或多个评论用户可以各自对他们在VR内容中看到的事物做出一个或多个评论。
当用户观看相同的VR内容时,可能希望提供对(一个或多个)评论用户的评论的显示。然而,假设用户可以从许多不同的视点和/或视角观看兴趣点,则评论的有效显示可能是有益的。
参考图1,在一个或多个实施例中,装置100被配置为提供关于虚拟现实内容中的兴趣点的评论的子集的显示,该子集是基于用户在他们的虚拟现实视图中当前可见的兴趣点来选择的,并且其中兴趣点是从评论的语义分析和至少做出评论的评论用户的虚拟位置来标识的。在一个或多个实施例中,公开了装置106,其被配置为确定评论中涉及的兴趣点,该兴趣点是从评论的语义分析和至少做出评论的评论用户的虚拟位置来标识的。然后,可以例如使用表示评论的数据将装置106所标识的兴趣点提供给装置100,以使得装置100可以根据需要显示评论。
在该实施例中,上面提到的装置100和/或装置106可以仅具有一个处理器101、107和一个存储器102、108,但是将理解的是,其他实施例可以使用不止一个处理器和/或不止一个存储器(例如,相同或不同的处理器/存储器类型)。此外,装置100、106可以是专用集成电路(ASIC)。将理解的是,在硬件配置方面,装置100和106是彼此独立的。
在该实施例中,装置100和/或装置106包括用于接收信令的输入104、109和用于提供输出信令的输出105、110。
处理器可以是通用处理器,专用于根据以计算机程序代码的形式存储于存储器中的指令来执行/处理从其他组件(例如,从内容存储库103及相应的装置100、106)接收的信息。内容存储库103可以表示装置100或装置106的本地存储装置,或者可以表示经由网络(例如,互联网)连接的存储装置。内容存储库103可以将VR内容提供给装置100和/或装置106。
输入104可以是用于接收指示由VR装置111提供给用户的VR内容的VR视图的信令以及接收与VR内容相关联的评论。输入109可以是用于接收指示评论用户的评论和评论用户的虚拟位置的信令。由处理器的这种操作生成的输出信令被向前提供给其他组件。例如,装置100可以通过输出105向VR装置111提供信令,以向用户显示评论的子集。例如,装置106可以通过输出110向内容存储库103提供信令,以指定从评论用户做出的评论中标识的兴趣点。
存储器102、108(不一定是单个存储器单元)是存储计算机程序代码的计算机可读介质(在该示例中为固态存储器,但是可以是诸如硬盘驱动器、ROM、RAM、闪存之类的其他类型的存储器)。当计算机程序代码存储指令,当程序代码在处理器上运行时,该指令可由处理器执行。在一个或多个示例实施例中,存储器和处理器之间的内部连接可以被理解为在处理器和存储器之间提供活动耦合,以允许处理器访问存储在存储器上的计算机程序代码。
在该示例中,各个处理器和存储器彼此在内部电连接以实现相应组件之间的电通信。在该示例中,组件都被定位为靠近彼此,以便一起形成为ASIC,换句话说,以便集成在一起作为可以安装到电子设备中的单个芯片/电路。在一些示例中,组件中的一个或多个组件或所有组件可以被定位为彼此分离。
虽然图1示出了经由内容存储库103连接在一起的装置100和装置106,但这可以仅用于理解。装置106可以被配置为根据从一个或多个评论用户接收的评论来确定兴趣点,并且将该信息与VR内容相关联。装置100(可以包括用户或评论用户的装置100)可以访问相同的VR内容(或其副本)并且提供用于包括在VR内容中的评论和/或接收用于显示的评论,连同兴趣点的信息一起作为VR内容的显示的一部分。
图2示出了包括视频影像的虚拟现实内容的视图。提供视频影像来进行显示,以使得它“环绕”用户以创建用户可以使用VR装置111来环顾四周的虚拟现实空间。虚拟现实空间因此可以表示在其中显示虚拟现实内容的视频影像的虚拟三维环境。在一些示例中,视点(即,用户从该处观看VR内容的虚拟现实空间中的虚拟位置)是固定的,并且用户可以仅改变他们的观看方向,以使得他们被呈现在观看方向上具有对应的改变的虚拟现实视图。在一个或多个示例中,可以从多个视点捕获VR内容,这可以使得用户能够改变虚拟现实空间中的视点以及观看方向。
在图2中,虚拟现实内容碰巧以英国伦敦的威斯敏斯特宫(也被称为议会大厦200)为重点。在观看VR内容时,用户可能希望评论他们所看到的内容。在一个或多个示例中,VR内容制作者可能希望用额外的信息来补充VR内容,该额外的信息可以采用评论的形式。术语评论可以包括文本或多媒体。图2示出了多个评论201-205。评论在图2中被示出的方式可能不代表如何向用户示出评论,而可能是为了说明由一个或多个评论用户做出的评论的属性。每个评论201-205可以包括元数据,该元数据指定评论用户在评论被做出时在虚拟现实空间中所处的虚拟位置。因此,如图2所示的评论的位置可以表示该虚拟位置。将理解的是,除元数据外,可以使用用于将虚拟位置与评论相关联的其他方式。每个评论还可以与以下各项中的一项或多项相关联:(i)观看方向,包括评论用户在评论被做出时在虚拟现实空间中具有的观看方向;以及(ii)观看时间,包括评论用户做出评论的相对于VR内容的观看时间。在一个或多个示例中,虚拟位置和观看方向和/或观看时间可以用于确定在何种条件下向另外的用户显示评论。图2通过箭头206-210示出了观看方向。
第一评论201“时钟和钟面是由奥古斯塔斯·普金(Augustus Pugin)设计的”的主语是位于伊丽莎白塔(也称为“大本钟”)的顶部的时钟和钟面。第二评论202“大本钟比我想象的高”的主语更一般地是针对伊丽莎白塔。第三评论203“大本钟建于1859年”的主语也更一般地指伊丽莎白塔,但是从不同于第二评论202的观点和观看方向208。第四评论204“议会大厦在泰晤士河畔”的主语是针对整个议会大厦或者是针对泰晤士河上的建筑物。第五评论205“议会大厦真的很华丽”的主语是针对整个议会大厦。可以使用已知的语义分析技术通过对评论的语义分析来确定评论的主语。
图3示出了表300,其示出了表示评论201-205的数据。每个评论201-205包括列301中的评论文本和列302、303、304中的表示评论用户在评论被做出时在虚拟现实空间中所处的虚拟位置。虽然在该示例中使用x、y、z坐标来表示虚拟位置,但是可以使用其他空间参考方案。每个评论还可以与列305中所示的唯一标识符相关联。评论用户在做出评论时的观看方向也可以与列306、307、308中被示为xd、yd、zd的评论相关联。同样,虽然在该示例中使用x、y、z坐标来表示观看方向,但是可以使用其他空间参考方案。
在一个或多个示例中,评论201-205和相关联的位置/观看方向信息可以包括对装置100或装置106的输入。在一个或多个实施例中,可以由装置100在预处理时或者在将VR内容提供用于向后续用户显示时即时地执行兴趣点的确定,以便于可以在针对用户的稍后描述的条件下向用户显示(一个或多个)评论。在一个或多个实施例中,可以由装置106执行兴趣点的确定,并且由装置100接收的表示评论的信息可以至少包括表示由装置106标识的兴趣点的数据。
因此,装置100可以被配置为使得基于由一个或多个评论用户做出的多个评论201-205(其中每个评论201-205与虚拟现实空间中的兴趣点相关联),基于虚拟现实空间中的一个或多个评论用户中的评论用户在做出评论时的虚拟位置所标识的兴趣点以及对评论的语义分析来标识评论所提及的虚拟位置周围的兴趣点;提供对覆盖在视频影像的虚拟现实视图上的多个评论201-205的至少一个子集的显示,所述子集基于多个评论中具有在提供给用户的虚拟现实视图中可见的兴趣点的评论。
因此,装置100可以使用标识与每个评论相关联的兴趣点的数据,并且确定在呈现给用户的当前虚拟现实视图中兴趣点是否可见。因而,如果当前提供的虚拟现实视图仅示出伊丽莎白塔,那么只有使得其兴趣点为伊丽莎白塔的评论可以被包括在子集中。因此,在该示例中,可以从语义分析确定第一、第二和第三评论201、202、203应该被包括在子集中,而第四和第五评论204、205应该被排除。
每个评论的文本的语义分析可以标识评论内的关键字。在一个或多个示例中,可以将评论的部分或全部或那些关键字与兴趣点的预定数据进行比较,兴趣点的预定数据包括兴趣点的名称及其相关联的位置(其指示兴趣点在视频影像中出现的位置)的数据库,以使得通过语义分析确定的评论中的一个或多个词语与兴趣点的预定数据中的名称相关。因此,列出可能被评论用户提及的可能的预定的兴趣点数据允许使用关键字来标识兴趣点。例如,可以通过语义分析和所标识的相关的兴趣点的位置来标识第二和第三评论202、203中的词语“大本钟”。将理解的是,预定的兴趣点数据可以包括兴趣点的绰号以及官方名称和/或给予同一建筑物或特征的子部分的名称。虚拟位置可以用于标识预定的兴趣点数据中的兴趣点。例如,虚拟位置可以用于标识在虚拟位置的阈值距离内的候选兴趣点,或者将相关处理限制到虚拟位置周围的兴趣点。在这方面,观看方向306、307、308可以进一步用于结合语义分析来标识所涉及的兴趣点。因此,可以标识从虚拟位置以观看方向可见的候选兴趣点的列表,然后语义分析可以将评论匹配到那些候选兴趣点中的一个或多个。例如,第一评论提及“时钟”,其可以通过语义分析来提取。结合虚拟位置并可选地结合观看方向,可以确定对时钟的提及是对“大本钟”这个时钟的提及,并且相关的兴趣点可以与该评论相关联。
在一个或多个示例中,语义分析可以产生指示对相对位置(即,相对于评论用户的视点的位置)的提及的信息。例如,包括“那里的令人惊奇的建筑”的评论可以使得可被表述为位置的兴趣点能够被标识为评论用户前面的位置。因此,可以直接基于评论的相对位置信息以及评论用户的虚拟位置和观看方向来确定兴趣点。替代地,例如,包括“在河的另一侧上的令人惊奇的建筑”的评论可以使得可被表述为位置的兴趣点能够参考河可以被标识于其中的地图数据而标识为河的另一侧上的点。
因此,语义分析可以通过以下项中的一项或多项产生兴趣点:通过确定相对位置、标识与预定的兴趣点数据结合使用的关键词、以及标识与地图数据结合使用的关键词。
在一个或多个示例中,在确定兴趣点是否在虚拟现实视图中可见时,装置100可以使用与VR内容相关联的空间数据来标识虚拟现实视图内的位置。在一个或多个示例中,可以执行对虚拟现实视图中的对象的图像识别,并且将其与兴趣点的已知图像匹配。在一个或多个示例中,可以参考虚拟现实空间来限定兴趣点,并且因此装置100可以被配置为标识虚拟现实空间的可见区域以确定哪些评论具有位于所标识的区域内的兴趣点。如将理解的,装置100可以如何确定兴趣点是否在呈现给用户的虚拟现实视图内取决于与兴趣点相关的信息的形式。如果通过名称来提及兴趣点,则可以使用兴趣点名称及其在虚拟现实内容中出现的位置的数据库、可选地参考特定虚拟位置和观看方向来标识在任一时间处可见的那些兴趣点。如果兴趣点是按照虚拟现实空间中的坐标定义的,则装置100可以被配置为利用由VR装置111提供的虚拟现实视图的细节来确定兴趣点是否在由提供给用户的虚拟现实视图限定的区域内。
在提供所述子集的每个评论的显示时,多个评论可以覆盖在视频影像的虚拟现实视图上。此外,每个评论可以在虚拟现实视图中被定位为使得其在出现在视频影像中时,与其所涉及的兴趣点相关联。因此,在上面的示例中,涉及时钟本身的第一评论201可以被显示在时钟附近或者时钟上方或者在时钟附近悬停显示,而涉及塔的第二评论202通常可以类似地相对于塔来显示。
在一个或多个示例中,可以提供评论的子集中的每个评论用于如下显示:使得它们在VR视图中被定位在兴趣点在视频影像中可见的位置的预定距离内。它们可以被定位为不会使兴趣点模糊不清,但与之相关联地出现。在一个或多个示例中,评论可以被定位为看起来好像漂浮在兴趣点在视频影像中可见的位置之上。因而,可能地利用适当的透视效果或三维效果,评论可以出现在视频影像中的适当深度处以将其与兴趣点相关联。在一个或多个示例中,评论可以被提供用来与连接线图形一起显示,该连接线图形至少指向兴趣点在视频影像中可见的位置。因此,评论可以包括终止于兴趣点或指向它的引导线,以将该评论与兴趣点相关联。在一个或多个示例中,评论可以显示在虚拟现实视图中的任何位置,而不管兴趣点的图像在虚拟现实视图中出现的位置。在一个或多个示例中,评论可以被提供以跨虚拟现实视图滚动的方式显示。这可能是有利的,因为评论可以被配置为在预定时间之后滚出视图或以其他方式从显示中移除。评论可被显示为弹幕或子弹评论。
对于受欢迎的兴趣点,可能有很多评论201-205。对于试图查看兴趣点的用户来说,显示所有的评论可能是麻烦的。因而,装置100可以被配置为不止基于虚拟现实视图中的兴趣点的可见性来提供对评论的子集的确定。例如,可以考虑其他因素来从子集滤除评论或者控制何时向用户显示评论。
在一个或多个示例中,所述子集可以基于多个评论中的一个或多个评论,该一个或多个评论具有在被提供给用户的虚拟现实视图中可见的兴趣点,并且其中提供给用户的虚拟现实视图的观看方向在与该评论相关联的观看方向的观看方向阈值内。因而,为了在被提供用于显示的评论的子集内,要求兴趣点至少部分地出现在虚拟现实视图内,并且用户必须以与评论用户的观看方向类似的观看方向观看兴趣点。可以从VR装置111获取虚拟现实视图的观看方向(可以是虚拟现实视图的视野以确定其中可见的内容)。然后,该装置可以被配置为基于评论的观看方向在虚拟现实视图的观看方向的阈值内并且兴趣点是可见的来过滤评论。该阈值可以多达30°、25°、20°、15°、10°或5°。
特别是对于仅可从某些角度可见或者最佳地观看的兴趣点来说,使用观看方向来确定哪些评论被包括在所提供用于显示的评论的子集中可能是有利的。在一个或多个示例中,观看方向可以是在接近兴趣点时要考虑的重要因素,因为观看方向将影响兴趣点的哪部分在视图中。然而,越远离感兴趣的物体,观看方向可能越不重要。因而,在一个或多个示例中,至少当兴趣点与虚拟现实视图的视点之间的虚拟距离在预定范围内时,子集可以基于观看方向。该预定范围可以包括接近或远离兴趣点的虚拟距离。
在一个或多个示例中,所述子集还可以基于虚拟现实空间中的被提供给用户的虚拟现实视图的视点与多个评论中的每个评论的兴趣点之间的虚拟距离,而与上面提到的观看方向无关。因而,基于虚拟距离,可以移除基于本文公开的一个或多个其他条件将形成子集的一部分的预定部分的评论。在一个或多个其他示例中,虚拟距离可以用于确定哪些评论是子集中的评论并且被显示。因此,对于与在VR视图中可见的兴趣点相关联的评论的子集,当虚拟距离高于阈值距离时,可以从该子集中移除一个或多个评论。同样地,当虚拟距离低于阈值距离时,可以从子集中移除不同的一个或多个评论。因此,当远离兴趣点时可以显示评论的第一部分,并且当接近兴趣点时显示剩余部分。基于虚拟距离在子集中包括哪些评论可以基于随机选择或者由语义分析确定的评论的特异性。例如,一般可以认为涉及时钟的第一评论201比涉及议会大厦的第五评论205更具体。因而,在高于阈值的虚拟距离处,第五评论205可以形成要显示的子集的一部分。此外,当在低于阈值的虚拟距离处时,第一评论201可以形成要显示的子集的一部分。
因此,在一个或多个示例中,虚拟距离可以用于限制提供用于显示的评论的数量,而不管多个评论中具有在提供给用户的虚拟现实视图中可见的兴趣点的评论。在一个或多个示例中,可以基于以下项中的一项或多项来对评论进行分类:评论的主题的一般性,评论在其他用户中的受欢迎度以及评论的情绪(比如,积极、消极或中立中的一个或多个),并且装置100被配置为基于虚拟距离来将不同类别的评论包括在子集中。
将理解的是,在该实施例中,如果基于虚拟距离来选择形成子集的评论,则哪些评论被选择以及根据什么条件可以是不同的。此外,在提供给用户的虚拟现实视图包括若干兴趣点的情况下,与距离视点较远的兴趣点相比,距离视点较近的那些可以与更多评论相关联,这对于用户可以更具信息性,而不会使得有限的显示区域混乱。
在一个或多个示例中,VR装置111的分辨率可以确定包括在子集中的评论的数量,以使得它们可以被清楚地显示。VR装置111可以提供用于由装置100确定子集的分辨率的细节。
在一个或多个示例中,当基于虚拟距离确定子集时,兴趣点的大小对于确定要显示哪些评论可能是重要的。因此,如果兴趣点是大的城市公园,则当虚拟距离高于阈值距离时,评论可以被包括在评论的子集中,因为从该距离可以容易地注意到公园。然而,如果兴趣点是同一公园内的雕像,则(例如,只有)当虚拟距离低于第二阈值或同一阈值时,评论可以被包括在评论的子集中,因为雕像很可能在虚拟现实视图中是可见的,但是可能不容易从超过(第二)阈值距离被注意到。因此,兴趣点的大小可以与虚拟距离结合使用以“过滤”评论,并且决定哪些评论是子集的一部分并因此被提供用于显示。
因而,在一个或多个示例中,所述子集还基于虚拟现实空间中提供给用户的虚拟现实视图的视点与多个评论中的每个评论的兴趣点之间的虚拟距离以及虚拟现实空间中的兴趣点的大小。可以从限定兴趣点的数据来确定兴趣点的大小。例如,兴趣点不仅可以由单个点限定,而且可以由多个点限定,该多个点限定了兴趣点所占据的或者(在阈值内)围绕兴趣点的区域、周界或体积。在一个或多个示例中,可以基于兴趣点的图像识别和预定地图数据中的一个或多个来确定兴趣点的大小。因而,可以通过点或名称并且参考地图数据或其他预定信息来确定兴趣点,兴趣点的大小可以是可推导的。在一个或多个实施例中,可以按照VR内容的视频影像来限定兴趣点,并且可以使用图像识别来确定兴趣点的大小。
在一个或多个示例中,所述子集还基于在VR内容期间做出评论的时间,以使得在当前时间的时间阈值内做出的评论(例如,相对于从VR内容的开始起的经过时间)被包括在子集中,并且排除该时间阈值之外的那些评论。
如上所述,在一个或多个示例中,可以基于以下项中的一项或多项对多个评论201-205进行分类:i)语义分析和ii)评论用户在评论被做出时的虚拟位置和iii)评论用户在做出评论时的虚拟位置和观看方向iv)VR内容期间的时间。
在一个或多个示例中,语义分析的使用对于基于关于评论所提及的兴趣点的内容来对评论进行分类可能是有利的。此外,一个兴趣点可以是较大兴趣点的子部分,并且语义分析可以用于确定正在提及的是兴趣点还是子部分。
因此,在一个或多个示例中,第一分组或分类可以基于虚拟位置和观看方向。这样的分组可以将第一、第二和第三评论201、202、203分为涉及大本钟(称为大本钟组),并且将第四和第五评论204、205分为涉及议会大厦(称为议会组)。
大本钟组评论可以受到基于语义分析的进一步子分类。因此,一般来说,每个第一分组的第二分组可以基于语义分析。例如,第一评论可以被放置在第一、第二级分组中,因为它涉及时钟。第二和第三评论202、203可以被放置在第二、第二级分组中,因为它们总体涉及塔。
一旦进行分类,可以将每个类别分配给围绕兴趣点或与兴趣点相关联的空间区域,以使得当虚拟现实视图的视点在该区域内时,评论形成子集的一部分。
因此,在一个或多个示例中,关于涉及同一兴趣点的多个评论中的评论,装置100可以基于对评论的语义分析来提供评论与至少两个类别之一的关联。属于每个类别的标准可以基于评论本身或其他预定标准而变化。然而,在一个或多个示例中,至少两个类别中的第一类别被配置为包括一般地涉及兴趣点的评论,并且至少两个类别中的第二类别与涉及以下项中的一项或多项的评论相关联:(i)兴趣点所占据的区域的子区域以及(ii)兴趣点的一部分的特性。语义分析可以用于为每个评论分配类别。
语义分析可以用于按照所感知的一般性对评论进行排列,其中某一比例的连续排列的评论被分配给一个类别并且其余评论被分配给一个或多个其他类别。
然后,装置100可以被配置为基于评论的类别来确定子集。例如,第一类别的评论可以在时间上在第二类别的评论之前被包括在子集中,同时它们都涉及的兴趣点是可见的。在一个或多个示例中,上面提到的虚拟距离可以与类别组合使用以确定子集的评论。
因此,装置100可以被配置为使得当虚拟距离高于阈值量时,将至少两个类别中的第一(并且可选地不是第二)类别的评论包括在子集中,并且当虚拟距离低于阈值量时,将至少两个类别中的第二(并且可选地不是第一)类别的评论包括在子集中,反之亦然。
这可能是有利的,当VR视图中的兴趣点的视图较远时可以提供更一般的评论来进行显示,并且随着VR视图移动得更接近兴趣点时显示更具体的评论。
图4示出了评论的类别以及对每个评论或评论的类别的评论空间范围的分配。
在该示例中,至少基于评论的语义分析来将评论201-205分配到层级结构。
在该示例中,第五评论205被认为是最一般的并且被分配到处于树400的顶部的类别。第四评论204被认为是更具体的并且被分配到树400中的第二级。第一到第三评论全部涉及大本钟,但是第二评论202被确定为观点,而第一和第三评论被确定为事实。因而,第二评论202被放置在第一分支401中,并且第一和第三评论被放置在第二分支402中。最后,在第二分支402中,第一评论201被认为比第三评论203更具体,并且分别被放置在第三级和第四级中。因此,在该示例中,基于一般性和类型(事实或观点)对评论进行分类。在一个或多个其他示例中,分类的标准可以是不同的。
在该示例中,为每个评论分配评论空间范围,该评论空间范围包括与兴趣点相关联的虚拟现实空间中的虚拟空间区域。因而,在子集中包括评论可以基于提供给用户的虚拟现实视图的视点的位置与评论空间范围之间的相关性。VR装置111可以报告视点位置,并且装置100(或与装置100通信的一些其他装置)可以确定评论是否应当形成子集的一部分。
第一评论201的评论空间范围如虚线411所示。第二评论202的评论空间范围如虚线412所示。第三评论203的评论空间范围如虚线413。第四评论204的评论空间范围如虚线414所示。第五评论205的评论空间范围如虚线415所示。
评论空间范围的大小和/或形状可以基于层级400中的一个或多个层级位置;基于语义分析的评论的一般性;评论用户在做出评论时的虚拟位置和/或观看方向或者其他因素。
在一个或多个示例中,这可能是有利的,兴趣点可以由地理区域(或表示虚拟现实空间中的地理区域的虚拟地理区域)而不是特定的点来限定,兴趣点在该地理区域上延伸或在其中是可见的(在特定阈值距离内)。此外,当评论是关于兴趣点的特定部分时,可以使得评论空间范围的大小小于兴趣点的区域。此外,在评论中提到的兴趣点的特征可以仅从兴趣点的一侧或者从特定的视点可见,因而,可以相应地形成评论空间范围大小和形状。
在以上示例中,公开了用于在子集中包括评论以用于显示的各种标准。将理解的是,当评论不满足或不再满足标准时和/或在预定时间之后,可以从子集中排除或不排除该评论。
在一个或多个示例中,可以使得装置100在语义上概括子集中的一个或多个评论,并且提供经概括的评论以供显示。这对于小的显示屏尺寸或存在许多评论的情况可能是有利的。
VR内容可以是实况内容或录制内容。
图5示出了说明如下步骤的流程图,基于501由一个或多个评论用户做出的多个评论,每个评论与虚拟现实空间中的兴趣点相关联,兴趣点基于以下被标识:一个或多个评论用户中的评论用户在评论被做出时在虚拟现实空间中的虚拟位置以及用以标识评论所涉及的在虚拟位置周围的兴趣点的对该评论的语义分析;提供对多个评论的至少一个子集的显示502,该至少一个子集覆盖在视频影像的虚拟现实视图上,所述子集至少基于多个评论中的如下评论,该评论具有在被提供给用户的虚拟现实视图中可见的兴趣点。
图6示意性地示出了根据示例的计算机/处理器可读介质600,该计算机/处理器可读介质600提供程序。在该示例中,计算机/处理器可读介质是诸如数字通用盘(DVD)或光盘(CD)之类的盘。在一些示例中,计算机可读介质可以是已经以实现发明的功能的方式编程的任何介质。计算机程序代码可以分布在相同类型的多个存储器或者不同类型的多个存储器(比如,ROM、RAM、闪存、硬盘、固态等)之间。
用户输入可以是包括以下项中的一项或多项的手势:点击、划动、滑动、按压、保持、旋转手势、靠近设备的用户界面的静态悬停手势、靠近设备的移动悬停手势、弯曲设备的至少一部分、挤压设备的至少一部分、多指手势、倾斜设备、或翻转控制设备。此外,手势可以是使用用户的身体(例如,他们的手臂)或者适合于执行自由空间用户手势的触笔或者其他元件的任何自由空间用户手势。
上面的示例中所示的装置可以是便携式电子设备、膝上型计算机、移动电话、智能电话、平板电脑、个人数字助理、数码相机、智能手表、智能眼镜、基于笔的计算机、非便携式电子设备、台式计算机、监视器、家用电器、智能TV、服务器、可穿戴装置、虚拟现实装置、或用于其中的一个或多个的模块/电路。
任何提到的装置和/或特定提到的装置的其他特征可以由这样的装置提供,该装置被安排为使其变得被配置为只有在被启用时(例如,被接通等)才执行所期望的操作。在这种情况下,它们可能不一定使得适当的软件在非启用时(例如,关断状态下)被加载到活动存储器中,并且仅在被启用时(例如,开启状态下)加载适当的软件。该装置可以包括硬件电路和/或固件。该装置可以包括加载到存储器上的软件。这样的软件/计算机程序可以被记录在相同的存储器/处理器/功能单元上和/或一个或多个存储器/处理器/功能单元上。
在一些示例中,可以用适当的软件对特定提及的装置进行预编程以执行所期望的操作,并且其中可以启用适当的软件以供用户下载“密钥”使用,例如,以解锁/启用软件及其相关联的功能。与这样的示例相关联的优点可以包括当设备需要其他功能时降低对所下载的数据的要求,并且这在如下示例中可以是有用的,其中设备被感知具有足够的容量来存储用于可能无法由用户启用的功能的这样的预编程软件。
除了所提到的功能之外,任何提到的装置/电路/元件/处理器可以具有其他功能,并且这些功能可以由相同的装置/电路/元件/处理器执行。一个或多个所公开的方面可以涵盖记录在适当的载体(例如,存储器、信号)上的计算机程序(可以是经源/传输编码的)和相关联的计算机程序的电子分发。
本文中所描述的任何“计算机”可以包括一个或多个单独的处理器/处理元件的集合,它们可以位于或者可以不位于相同电路板上或电路板的相同区域/位置或甚至是相同设备上。在一些示例中,任何提到的处理器中的一个或多个可以分布在多个设备上。相同或不同的处理器/处理元件可以执行本文中所描述的一个或多个功能。
术语“信令”可以指作为一系列所发送的和/或所接收的电/光信号传输的一个或多个信号。这一系列信号可以包括一个、两个、三个、四个或甚至更多个单独的信号分量或不同的信号以构成所述信令。这些单独的信号中的一些或全部可以通过无线或有线通信同时地、按顺序地和/或使得它们在时间上彼此重叠地被发送/接收。
参考任何提到的计算机和/或处理器以及存储器(例如,包括ROM、CD-ROM等)的任何讨论,这些可以包括计算机处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、和/或已经以实现发明功能的方式被编程的其他硬件组件。
申请人在此将本文中所述的每个单独的特征以及两个或更多个这样的特征的任何组合独立地公开到基于本说明书整体、根据本领域技术人员的公知常识能够实现这样的特征或组合的程度,而不管这样的特征或特征的组合是否解决了本文所公开的任何问题,并且不限制权利要求的范围。申请人指出所公开的方面/示例可以包括任何这样的单独特征或特征的组合。鉴于前面的描述,对于本领域技术人员将显而易见的是,可以在本公开的范围内进行各种修改。
尽管已经示出并描述且指出了应用于示例中的基本的新颖特征,但是将理解的是,在不背离本公开的范围的情况下,本领域技术人员可以对所描述的设备和方法的形式和细节进行各种省略和替换以及改变。例如,明确地意图以基本相同的方式执行基本相同的功能以实现相同结果的那些元件和/或方法步骤的所有组合都在本公开的范围内。此外,应该认识到,结合任何公开的形式或示例示出和/或描述的结构和/或元件和/或方法步骤可以作为设计选择的一般事项并入任何其他公开的或描述的或建议的形式或示例中。此外,在权利要求中,装置加功能条款旨在覆盖本文中被描述为执行所记载的功能的结构,并且不仅包括结构等同物,还包括等同结构。因此,尽管钉子和螺钉可能不是结构等同物,因为钉子采用圆柱形表面将木制部件缚牢在一起,而螺钉采用螺旋表面,但是在紧固木制部件的环境中,钉子和螺钉可以是等同结构。

Claims (13)

1.一种装置,包括:
至少一个处理器;以及
至少一个存储器,包括计算机程序代码,
所述至少一个存储器和所述计算机程序代码被配置为利用所述至少一个处理器,使得所述装置至少执行以下:
关于包括视频影像的虚拟现实内容,所述视频影像被配置为提供用于以虚拟现实方式观看的虚拟现实空间,其中呈现给用户的虚拟现实视图提供对所述虚拟现实空间的观看,所述虚拟现实视图包括所述视频影像的空间部分,所述视频影像的所述空间部分形成所述虚拟现实空间并且在空间范围上小于所述虚拟现实空间的所述视频影像的空间范围;
基于由一个或多个评论用户做出的多个评论,每个评论与所述虚拟现实空间中的兴趣点相关联,所述兴趣点基于以下被标识:所述一个或多个评论用户中的评论用户在所述评论被做出时在所虚拟现实空间中的虚拟位置,以及用以标识所述评论所涉及的在所述虚拟位置周围的所述兴趣点的对所述评论的语义分析;
基于由一个或多个评论用户做出的所述多个评论,每个评论还与观看方向相关联,所述观看方向包括所述评论用户在其做出所述评论时在所述虚拟现实空间中的观看方向;
提供对所述多个评论的至少一个子集的显示,所述多个评论的所述至少一个子集覆盖在所述视频影像的所述虚拟现实视图上,所述子集至少基于所述多个评论中的如下评论,所述评论具有在被提供给所述用户的所述虚拟现实视图中可见的兴趣点,并且提供给所述用户的所述虚拟现实视图的观看方向在与所述评论相关联的所述观看方向的观看方向阈值内。
2.根据权利要求1所述的装置,其中覆盖在所述视频影像的所述虚拟现实视图上的所述多个评论的所述子集中的每个所述评论在所述虚拟现实视图中被定位为使得其在出现在所述视频影像中时与其所涉及的兴趣点相关联。
3.根据任意前述权利要求所述的装置,其中所述子集还基于所述虚拟现实空间中的被提供给所述用户的所述虚拟现实视图的视点与所述多个评论中的每个评论的所述兴趣点之间的虚拟距离。
4.根据任意前述权利要求所述的装置,其中所述子集还基于:
所述虚拟现实空间中的被提供给所述用户的所述虚拟现实视图的视点与所述多个评论中的每个评论的所述兴趣点之间的虚拟距离;以及
所述虚拟现实空间中的所述兴趣点的大小。
5.根据任意前述权利要求所述的装置,其中所述多个评论中涉及相同兴趣点的评论每个都基于对所述评论的语义分析与至少两个类别中的一个类别相关联,所述至少两个类别中的第一类别与一般地涉及所述兴趣点的评论相关联,并且所述至少两个类别中的第二类别与涉及以下项中的一项或多项的评论相关联:(i)所述兴趣点所占据的区域的子区域,和(ii)所述兴趣点的一部分的特性,并且其中:
评论的所述子集还基于所述类别。
6.根据权利要求5所述的装置,其中所述子集还基于所述虚拟现实空间中的被提供给所述用户的所述虚拟现实视图的视点和所述多个评论中的每个评论的所述兴趣点之间的虚拟距离,其中
当所述虚拟距离高于阈值量时,所述至少两个类别中的所述第一类别而不是所述第二类别的评论被包括在所述子集中,并且
当所述虚拟距离低于所述阈值量时,所述至少两个类别中的所述第二类别的评论被包括在所述子集中。
7.根据任意前述权利要求所述的装置,其中每个评论与评论空间范围相关联,所述评论空间范围限定所述虚拟现实空间中与所述兴趣点相关联的虚拟空间区域,并且其中所述评论空间范围的大小和形状中的一个或多个是基于对所述评论的语义分析的,并且
其中所述多个评论中的每个评论在所述子集中的包括是基于以下两者之间的相关性的:提供给所述用户的所述虚拟现实视图的所述视点的位置和所述评论空间范围。
8.根据权利要求7所述的装置,其中所述评论空间范围限定所述虚拟现实空间中的如下区域,在所述评论中提到的所述兴趣点的特征从所述区域是可见的并且与所述区域在特定阈值距离内。
9.根据任意前述权利要求所述的装置,其中所述兴趣点基于以下项中的一项或多项而被标识:
i)对预定的兴趣点数据的参考,所述预定的兴趣点数据包括兴趣点的名称及其相关联的位置的数据库,所述相关联的位置指示兴趣点在所述视频影像中出现的位置,以使得通过语义分析确定的所述评论中的一个或多个词语与所述预定的兴趣点数据中的所述名称相关;以及
ii)所述评论的语义分析,以标识如下位置处的兴趣点,所述位置相对于所述评论用户的所述虚拟位置被表示。
10.一种装置,包括:
至少一个处理器;以及
至少一个存储器,包括计算机程序代码,
所述至少一个存储器和所述计算机程序代码被配置为利用所述至少一个处理器,使得所述装置至少执行以下:
关于包括视频影像的虚拟现实内容,所述视频影像被配置为提供用于以虚拟现实方式观看的虚拟现实空间,其中呈现给用户的虚拟现实视图提供对所述虚拟现实空间的观看,所述虚拟现实视图包括所述视频影像的空间部分,所述视频影像的所述空间部分形成所述虚拟现实空间并且在空间范围上小于所述虚拟现实空间的所述视频影像的空间范围;
基于由评论用户做出的评论,所述评论用户在所述评论被做出时在所述虚拟现实空间中的虚拟位置,以及所述评论用户在所述评论被做出时的观看方向;
提供对所述虚拟现实空间中的兴趣点的确定,所述兴趣点至少基于以下被标识:所述评论用户在所述评论被做出时的所述虚拟位置以及用以标识所述评论所涉及的在所述虚拟位置周围的所述兴趣点的对所述评论的语义分析,所述兴趣点与所述评论相关联,从而使得所述评论能够基于与所述评论相关联的所述兴趣点在被提供给所述用户的所述虚拟现实视图中可见而覆盖在所述视频影像的所述虚拟现实视图上。
11.一种方法,所述方法包括,
关于包括视频影像的虚拟现实内容,所述视频影像被配置为提供用于以虚拟现实方式观看的虚拟现实空间,其中呈现给用户的虚拟现实视图提供对所述虚拟现实空间的观看,所述虚拟现实视图包括所述视频影像的空间部分,所述视频影像的所述空间部分形成所述虚拟现实空间并且在空间范围上小于所述虚拟现实空间的所述视频影像的空间范围;
基于由一个或多个评论用户做出的多个评论,每个评论与所述虚拟现实空间中的兴趣点相关联,所述兴趣点基于以下被标识:所述一个或多个评论用户中的评论用户在所述评论被做出时在所述虚拟现实空间中的虚拟位置,以及用以标识所述评论所涉及的在所述虚拟位置周围的所述兴趣点的对所述评论的语义分析;
基于由一个或多个评论用户做出的所述多个评论,每个评论还与观看方向相关联,所述观看方向包括所述评论用户在其做出所述评论时在所述虚拟现实空间中的观看方向;
提供对所述多个评论的至少一个子集的显示,所述多个评论的所述至少一个子集覆盖在所述视频影像的所述虚拟现实视图上,所述子集至少基于所述多个评论中的如下评论,所述评论具有在被提供给所述用户的所述虚拟现实视图中可见的兴趣点,并且提供给所述用户的所述虚拟现实视图的观看方向在与所述评论相关联的所述观看方向的观看方向阈值内。
12.一种方法,所述方法包括,
关于包括视频影像的虚拟现实内容,所述视频影像被配置为提供用于以虚拟现实方式观看的虚拟现实空间,其中呈现给用户的虚拟现实视图提供对所述虚拟现实空间的观看,所述虚拟现实视图包括所述视频影像的空间部分,所述视频影像的所述空间部分形成所述虚拟现实空间并且在空间范围上小于所述虚拟现实空间的所述视频影像的空间范围;
基于由评论用户做出的评论,所述评论用户在所述评论被做出时在所述虚拟现实空间中的虚拟位置,以及所述评论用户在所述评论被做出时的观看方向;
提供对所述虚拟现实空间中的兴趣点的确定,所述兴趣点至少基于以下被标识:所述评论用户在所述评论被做出时的所述虚拟位置以及用以标识所述评论所涉及的在所述虚拟位置周围的所述兴趣点的对所述评论的语义分析,所述兴趣点与所述评论相关联,从而使得所述评论能够基于与所述评论相关联的所述兴趣点在被提供给所述用户的所述虚拟现实视图中可见而覆盖在所述视频影像的所述虚拟现实视图上。
13.一种计算机可读介质,包括存储于其上的计算机程序代码,所述计算机可读介质和计算机程序代码被配置为,当在至少一个处理器上被运行时,执行根据权利要求11或权利要求12所述的方法。
CN201780050832.6A 2016-08-19 2017-08-15 装置及相关联的方法 Active CN109643413B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16184827.0 2016-08-19
EP16184827.0A EP3285216A1 (en) 2016-08-19 2016-08-19 Association of comments to points of interest in virtual reality
PCT/FI2017/050574 WO2018033662A1 (en) 2016-08-19 2017-08-15 An apparatus and associated methods

Publications (2)

Publication Number Publication Date
CN109643413A true CN109643413A (zh) 2019-04-16
CN109643413B CN109643413B (zh) 2023-08-15

Family

ID=56787303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780050832.6A Active CN109643413B (zh) 2016-08-19 2017-08-15 装置及相关联的方法

Country Status (4)

Country Link
US (1) US11321886B2 (zh)
EP (1) EP3285216A1 (zh)
CN (1) CN109643413B (zh)
WO (1) WO2018033662A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116506680A (zh) * 2023-06-26 2023-07-28 北京万物镜像数据服务有限公司 一种虚拟空间的评论数据处理方法、装置及电子设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3337154A1 (en) * 2016-12-14 2018-06-20 Thomson Licensing Method and device for determining points of interest in an immersive content
CN111694434B (zh) * 2020-06-15 2023-06-30 掌阅科技股份有限公司 电子书评论信息的交互展示方法、电子设备及存储介质
US20230260219A1 (en) * 2022-02-17 2023-08-17 Rovi Guides, Inc. Systems and methods for displaying and adjusting virtual objects based on interactive and dynamic content
US11914765B2 (en) 2022-02-17 2024-02-27 Rovi Guides, Inc. Systems and methods for displaying and adjusting virtual objects based on interactive and dynamic content

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103620600A (zh) * 2011-05-13 2014-03-05 谷歌公司 用于实现虚拟标记的方法及设备
US8732591B1 (en) * 2007-11-08 2014-05-20 Google Inc. Annotations of objects in multi-dimensional virtual environments
US20140304122A1 (en) * 2013-04-05 2014-10-09 Digimarc Corporation Imagery and annotations
WO2014195433A1 (fr) * 2013-06-07 2014-12-11 Zaugg Poulie Stéfania Procede de selection de recommandations touristiques restituees sur un dispositif portable
US9367950B1 (en) * 2014-06-26 2016-06-14 IrisVR, Inc. Providing virtual reality experiences based on three-dimensional designs produced using three-dimensional design software

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6784901B1 (en) 2000-05-09 2004-08-31 There Method, system and computer program product for the delivery of a chat message in a 3D multi-user environment
AU2003247452A1 (en) * 2002-05-31 2004-07-14 University Of Utah Research Foundation System and method for visual annotation and knowledge representation
US20080228393A1 (en) * 2007-01-10 2008-09-18 Pieter Geelen Navigation device and method
US9863779B2 (en) * 2007-04-02 2018-01-09 Navigation Solutions, Llc Popular and common chain points of interest
US8898316B2 (en) 2007-05-30 2014-11-25 International Business Machines Corporation Enhanced online collaboration system for viewers of video presentations
US8072448B2 (en) * 2008-01-15 2011-12-06 Google Inc. Three-dimensional annotations for street view data
US9384512B2 (en) * 2010-12-10 2016-07-05 Quib, Inc. Media content clip identification and combination architecture
EP2656245B1 (en) * 2010-12-21 2020-02-19 Qualcomm Incorporated Computerized method and device for annotating at least one feature of an image of a view
US20130178257A1 (en) 2012-01-06 2013-07-11 Augaroo, Inc. System and method for interacting with virtual objects in augmented realities
US20140181630A1 (en) * 2012-12-21 2014-06-26 Vidinoti Sa Method and apparatus for adding annotations to an image
US9214043B2 (en) * 2013-03-04 2015-12-15 Here Global B.V. Gesture based map annotation
US20150262428A1 (en) 2014-03-17 2015-09-17 Qualcomm Incorporated Hierarchical clustering for view management augmented reality
CN104596523B (zh) * 2014-06-05 2019-05-07 腾讯科技(深圳)有限公司 一种街景目的地引导方法和设备
WO2016004859A1 (zh) 2014-07-07 2016-01-14 乐视网信息技术(北京)股份有限公司 视频的弹幕显示方法及装置
CN104504063B (zh) 2014-12-22 2018-05-11 北京橘子文化传媒有限公司 一种图片弹幕方法
WO2016179248A1 (en) * 2015-05-05 2016-11-10 Ptc Inc. Augmented reality system
US20170199855A1 (en) * 2016-01-11 2017-07-13 BuilderFish, LLC System and method for providing a time-based presentation of a user-navigable project model
US10452671B2 (en) * 2016-04-26 2019-10-22 Facebook, Inc. Recommendations from comments on online social networks
EP3264783B1 (en) 2016-06-29 2021-01-06 Nokia Technologies Oy Rendering of user-defined messages having 3d motion information
US10068380B2 (en) * 2016-11-17 2018-09-04 Adobe Systems Incorporated Methods and systems for generating virtual reality environments from electronic documents
KR20180074180A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 가상현실 영상에 대한 정보를 제공하는 장치 및 방법
EP3422148B1 (en) * 2017-06-29 2021-03-10 Nokia Technologies Oy An apparatus and associated methods for display of virtual reality content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8732591B1 (en) * 2007-11-08 2014-05-20 Google Inc. Annotations of objects in multi-dimensional virtual environments
CN103620600A (zh) * 2011-05-13 2014-03-05 谷歌公司 用于实现虚拟标记的方法及设备
US20140304122A1 (en) * 2013-04-05 2014-10-09 Digimarc Corporation Imagery and annotations
WO2014195433A1 (fr) * 2013-06-07 2014-12-11 Zaugg Poulie Stéfania Procede de selection de recommandations touristiques restituees sur un dispositif portable
US9367950B1 (en) * 2014-06-26 2016-06-14 IrisVR, Inc. Providing virtual reality experiences based on three-dimensional designs produced using three-dimensional design software

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116506680A (zh) * 2023-06-26 2023-07-28 北京万物镜像数据服务有限公司 一种虚拟空间的评论数据处理方法、装置及电子设备
CN116506680B (zh) * 2023-06-26 2023-09-19 北京万物镜像数据服务有限公司 一种虚拟空间的评论数据处理方法、装置及电子设备

Also Published As

Publication number Publication date
US20190213769A1 (en) 2019-07-11
EP3285216A1 (en) 2018-02-21
CN109643413B (zh) 2023-08-15
WO2018033662A1 (en) 2018-02-22
US11321886B2 (en) 2022-05-03

Similar Documents

Publication Publication Date Title
US11422671B2 (en) Defining, displaying and interacting with tags in a three-dimensional model
CN109643413A (zh) 装置及相关联的方法
JP6706647B2 (ja) 画像に表されたオブジェクトの認識及び照合のための方法及び装置
US11073916B2 (en) Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities
Bevan et al. Behind the curtain of the" ultimate empathy machine" on the composition of virtual reality nonfiction experiences
US10769438B2 (en) Augmented reality
CN109729426B (zh) 一种视频封面图像的生成方法及装置
CN103426003B (zh) 增强现实交互的实现方法和系统
CN107590771A (zh) 具有用于在建模3d空间中投影观看的选项的2d视频
CN106203286B (zh) 一种增强现实的内容获取方法、装置及移动终端
CN101836210A (zh) 虚拟世界中的数字多媒体共享
Tiwari et al. A survey of recent work on video summarization: approaches and techniques
CN111314759B (zh) 视频处理方法、装置、电子设备及存储介质
KR20150084567A (ko) 요약 영상 브라우징 시스템 및 방법
US11210518B2 (en) Apparatus and associated methods for display of virtual reality content
CN103608748B (zh) 视觉搜索以及推荐用户界面和装置
CN109154862A (zh) 虚拟现实因果概要内容
CN108449631A (zh) 使用人脸检测来连接视频序列的系统和方法
Meinecke et al. Towards enhancing virtual museums by contextualizing art through interactive visualizations
Aristidou et al. Safeguarding our dance cultural heritage
CN111918114A (zh) 图像显示方法、装置、显示设备及计算机可读存储介质
Jorge et al. Exploring movies through interactive visualizations
Serra et al. Multimodal Access to Georeferenced Mobile Video through Shape, Speed and Time
Tholsgård 3D rendering and interaction in an augmented reality mobile system
Chu et al. Sora Detector: A Unified Hallucination Detection for Large Text-to-Video Models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant