CN105741314A - 针对在全景内容中的方向性视图的方法和装置 - Google Patents
针对在全景内容中的方向性视图的方法和装置 Download PDFInfo
- Publication number
- CN105741314A CN105741314A CN201511004884.9A CN201511004884A CN105741314A CN 105741314 A CN105741314 A CN 105741314A CN 201511004884 A CN201511004884 A CN 201511004884A CN 105741314 A CN105741314 A CN 105741314A
- Authority
- CN
- China
- Prior art keywords
- advance
- instantaneous
- panoramic video
- video content
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000004590 computer program Methods 0.000 claims abstract description 45
- 230000001052 transient effect Effects 0.000 claims description 60
- 239000012634 fragment Substances 0.000 claims description 44
- 230000033001 locomotion Effects 0.000 claims description 20
- 230000000007 visual effect Effects 0.000 claims description 15
- 238000005520 cutting process Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 8
- 238000003860 storage Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000010415 tropism Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G06T3/02—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
Abstract
提供了方法、装置和计算机程序产品以便提供在全景视频内容中的方向性观看。在方法的上下文中,该方法包含使用处理器,确定针对在全景视频内容中的片段的基线瞬时支配前进方向。该方法还包含确定观看偏好指示,以及使得基于所确定的观看偏好指示和所述基线瞬时支配前进方向来提供所述全景视频内容的视图以用于显示。还提供了对应的装置和计算机程序产品。
Description
技术领域
本发明的示例实施例一般涉及全景视频内容,以及更具体地,涉及提供全景视频内容的改进观看。
背景技术
在本申请中识别了与全景视频内容相关联的许多缺陷和问题。通过所应用的努力、独创性和创新性,由本发明具体化了针对这些识别的问题中的许多问题的示例性解决方案,以下对本发明进行详细描述。
全景内容捕获设备在市场上变得越来越常见。在全景内容捕获设备形状因素中的改进使得提供诸如移动设备以及可穿戴设备的捕获设备是可行的。
360度全景内容一般覆盖来自捕获点的所有视图(至少在水平面中),以及具有在室外移动、导航、旅游以及诸如此类中的各种应用。在可移动平台上(例如,在移动员的头部上、在跳伞者头部上,使用头部安装的或可穿戴眼镜安装的设备在旅游位置周围走动,等)的360度全景视频内容捕获设备的组合引入了关于为观察者提供愉快的内容消费体验的新的挑战,因为基线视图能够频繁地改变。
针对全景视频内容的记录,如果所渲染的视图总是严格地遵循记录用户的定向/方向,即,当记录用户的瞬时观看方向用于定义在360度全景内容中的基本(cardinal)视图方向时,则观察者能够丢失定向。
发明内容
因此,提供了根据本发明的示例实施例的方法、装置和计算机程序产品以提供在全景视频内容中的方向性观看以提供改进的观看体验。
在一个实施例中,提供了一种方法,所述方法至少包括:使用处理器,确定针对在全景视频内容中的片段的基线瞬时支配前进方向(heading);确定观看偏好指示;以及使得基于所确定的观看偏好指示和所述基线瞬时支配前进方向来提供所述全景视频内容的视图以用于显示。
在一些实施例中,所述方法还可以包括:其中针对在全景视频内容中的片段的基线瞬时支配前进方向等于针对所述片段的瞬时移动前进方向。
在一些实施例中,所述方法还可以包括:使用所述处理器,确定针对在全景视频内容中的片段的瞬时移动前进方向和瞬时记录器前进方向中的一个或多个;以及使得基于所确定的观看偏好指示和基线瞬时支配前进方向、瞬时移动前进方向和瞬时记录器前进方向中的一个或多个来提供全景视频内容的视图以用于显示。
在一些实施例中,所述方法还可以包括:接收全景视频内容;接收与所述全景视频内容的记录相关联的记录器上下文数据;对所述全景视频内容和相关联的记录器上下文数据进行组合;以及使用所述处理器,分析所组合的全景视频内容和相关联的记录器上下文数据以确定针对所述全景视频内容的片段的基线瞬时支配前进方向、瞬时移动前进方向、以及瞬时记录器前进方向中的一个或多个。
在一些实施例中,所述方法还可以包括:其中与所述全景视频内容的记录相关联的记录介质上下文数据包括运动传感器数据或位置传感器数据中的一个或多个。所述运动传感器数据可以包括陀螺仪数据、加速计数据、高度计数据或磁罗盘数据中的一个或多个。所述位置传感器数据可以包括地理定位系统数据或相机姿态估计踪迹数据中的一个或多个。
在一些实施例中,所述方法还可以包括:至少部分地基于所述全景视频内容的记录上下文结合所述基线瞬时支配前进方向、瞬时移动前进方向以及瞬时记录器前进方向中的一个或多个,来确定微调的瞬时支配前进方向;以及使得提供对应于所述微调的瞬时支配前进方向的全景视频内容的视图以用于显示。
在一些实施例中,所述方法还可以包括:将所述基线瞬时支配前进方向、瞬时移动前进方向以及瞬时记录器前进方向中的一个或多个存储为嵌入在所述全景视频内容的视频文件中的元数据;以及使得基于所述元数据提供全景视频文件的视图以用于显示。
在一些实施例中,所述方法还可以包括:基于所述基线瞬时支配前进方向、瞬时移动前进方向以及瞬时记录器前进方向中的一个或多个,从所述全景视频内容裁剪视野;以及提供对应于所裁剪的视野的视频视图。
在一些实施例中,所述方法还可以包括:使用另外的数据来确定所述基线瞬时支配前进方向,其中所述另外的数据包括记录用户的简档。
在一些实施例中,所述方法还可以包括:使所述全景视频内容与全局注册的数据库匹配,所述全局注册的数据库包括具有六自由度的全局相机姿态数据的媒体数据;使用所述处理器,使用所记录的全景视频和所匹配的全局注册的数据库数据来生成全局相机姿态估计踪迹;使所述全局相机姿态估计踪迹与感兴趣点的踪迹匹配,其中感兴趣点的踪迹包括定义的感兴趣的路线或点;以及使用所述处理器,确定基线瞬时支配前进方向,其中所述基线瞬时支配前进方向包括与在感兴趣点的踪迹中所定义的感兴趣的路线或点相一致的全局相机姿态估计踪迹片段。
在另一个实施例中,提供了一种装置,所述装置包含至少一个处理器;以及包含计算机程序指令的至少一个存储器;所述至少一个存储器和所述计算机程序指令被配置为使用所述至少一个处理器使得所述装置至少确定针对在全景视频内容中的片段的基线瞬时支配前进方向;确定观看偏好指示;以及使得基于所确定的观看偏好指示和所述基线瞬时支配前进方向来提供全景视频内容的视图以用于显示。
在一些实施例中,所述装置还可以包括:其中针对在全景视频内容中的片段的基线瞬时支配前进方向等于针对所述片段的瞬时移动前进方向。
在一些实施例中,所述装置还可以包括所述至少一个存储器和所述计算机程序指令被配置为使用所述至少一个处理器还使得所述装置至少确定针对在全景视频内容中的片段的瞬时移动前进方向和瞬时记录器前进方向中的一个或多个;以及使得基于所确定的观看偏好指示和基线瞬时支配前进方向、瞬时移动前进方向和瞬时记录器前进方向中的一个或多个来提供全景视频内容的视图以用于显示。
在一些实施例中,所述装置还可以包括所述至少一个存储器和所述计算机程序指令被配置为使用所述至少一个处理器还使得所述装置接收全景视频内容;接收与所述全景视频内容的记录相关联的记录器上下文数据;对所述全景视频内容和相关联的记录器上下文数据进行组合;以及分析所组合的全景视频内容和相关联的记录器上下文数据以确定针对所述全景视频内容的片段的基线瞬时支配前进方向、瞬时移动前进方向、以及瞬时记录器前进方向中的一个或多个。
在一些实施例中,所述装置还可以包括:其中与所述全景视频内容的记录相关联的记录器上下文数据包括运动传感器数据或位置传感器数据中的一个或多个。所述运动传感器数据可以包括陀螺仪数据、加速计数据、高度计数据或磁罗盘数据中的一个或多个。所述位置传感器数据可以包括地理定位系统数据或相机姿态估计踪迹数据中的一个或多个。
在一些实施例中,所述装置还可以包括所述至少一个存储器和所述计算机程序指令被配置为使用所述至少一个处理器还使得所述装置至少至少部分地基于所述全景视频内容的记录上下文结合所述基线瞬时支配前进方向、瞬时移动前进方向以及瞬时记录器前进方向中的一个或多个,来确定微调的瞬时支配前进方向;以及使得所述装置使得提供对应于所述微调的瞬时支配前进方向的全景视频内容的视图以用于显示。
在一些实施例中,所述装置还可以包括所述至少一个存储器和所述计算机程序指令被配置为使用所述至少一个处理器还使得所述装置至少将所述基线瞬时支配前进方向、瞬时移动前进方向以及瞬时记录器前进方向中的一个或多个存储为嵌入在所述全景视频内容的视频文件中的元数据;以及使得基于所述元数据提供全景视频文件的视图以用于显示。
在一些实施例中,所述装置还可以包括所述至少一个存储器和所述计算机程序指令被配置为使用所述至少一个处理器还使得所述装置至少基于所述基线瞬时支配前进方向、瞬时移动前进方向以及瞬时记录器前进方向中的一个或多个,从所述全景视频内容裁剪视野;以及提供对应于所裁剪的视野的视频视图。
在一些实施例中,所述装置还可以包括所述至少一个存储器和所述计算机程序指令被配置为使用所述至少一个处理器还使得所述装置至少使用另外的数据来确定所述基线瞬时支配前进方向,其中所述另外的数据包括记录用户的简档。
在一些实施例中,所述装置还可以包括所述至少一个存储器和所述计算机程序指令被配置为使用所述至少一个处理器还使得所述装置至少使所述全景视频内容与全局注册的数据库匹配,所述全局注册的数据库包括具有六自由度的全局相机姿态数据的媒体数据;使用所记录的全景视频和所匹配的全局注册的数据库数据来生成全局相机姿态估计踪迹;使所述全局相机姿态估计踪迹与感兴趣点的踪迹匹配,其中感兴趣点的踪迹包括定义的感兴趣的路线或点;以及确定基线瞬时支配前进方向,其中所述基线瞬时支配前进方向包括与在感兴趣点的踪迹中所定义的感兴趣的路线或点相一致的全局相机姿态估计踪迹片段。
在又一个实施例中,提供了计算机程序产品,所述计算机程序产品包括至少一个非短暂性的计算机可读存储介质,其载有存储在其中的与计算机结合使用的计算机程序指令,其中所述计算机程序指令包含程序指令,所述程序指令被配置为使得所述计算机确定针对在全景视频内容中的片段的基线瞬时支配前进方向;确定观看偏好指示;以及使得提供基于所确定的观看偏好指示和基线瞬时支配前进方向所提供的全景视频内容的视图以用于显示。
在一些实施例中,所述计算机程序产品还包括包含程序指令的计算机程序指令,所述程序指令被配置为使得所述计算机确定针对在全景视频内容中的片段的瞬时移动前进方向和瞬时记录器前进方向中的一个或多个;以及使得基于所确定的观看偏好指示和基线瞬时支配前进方向、瞬时移动前进方向和瞬时记录器前进方向中的一个或多个来提供全景视频内容的视图以用于显示。
在另一个实施例中,提供了一种装置,所述装置包括至少:用于确定针对在全景视频内容中的片段的基线瞬时支配前进方向的构件;用于确定观看偏好指示的构件;以及用于使得基于所确定的观看偏好指示和基线瞬时支配前进方向来提供全景视频内容的视图以用于显示的构件。
在一些实施例中,所述装置还可以包括:其中针对在全景视频内容中的片段的基线瞬时支配前进方向等于针对所述片段的瞬时移动前进方向。
在一些实施例中,所述装置还可以包括:用于确定针对在全景视频内容中的片段的瞬时移动前进方向和瞬时记录器前进方向中的一个或多个的构件;以及用于使得基于所确定的观看偏好指示和基线瞬时支配前进方向、瞬时移动前进方向和瞬时记录器前进方向中的一个或多个来提供全景视频内容的视图以用于显示的构件。
在一些实施例中,所述装置还可以包括:用于接收全景视频内容的构件;用于接收与所述全景视频内容的记录相关联的记录器上下文数据的构件;用于对所述全景视频内容和相关联的记录器上下文数据进行组合的构件;以及用于分析所组合的全景视频内容和相关联的记录器上下文数据以确定针对所述全景视频内容的片段的基线瞬时支配前进方向、瞬时移动前进方向、以及瞬时记录器前进方向中的一个或多个的构件。
在一些实施例中,所述装置还可以包括:其中与所述全景视频内容的记录相关联的记录介质上下文数据包括运动传感器数据或位置传感器数据中的一个或多个。所述运动传感器数据可以包括陀螺仪数据、加速计数据、高度计数据或磁罗盘数据中的一个或多个。所述位置传感器数据可以包括地理定位系统数据或相机姿态估计踪迹数据中的一个或多个。
在一些实施例中,所述装置还可以包括:用于至少部分地基于所述全景视频内容的记录上下文结合所述基线瞬时支配前进方向、瞬时移动前进方向以及瞬时记录器前进方向中的一个或多个,来确定微调的瞬时支配前进方向的构件;以及用于使得提供对应于所述微调的瞬时支配前进方向的全景视频内容的视图以用于显示的构件。
在一些实施例中,所述装置还可以包括:用于将所述基线瞬时支配前进方向、瞬时移动前进方向以及瞬时记录器前进方向中的一个或多个存储为嵌入在所述全景视频内容的视频文件中的元数据的构件;以及用于使得基于所述元数据提供全景视频文件的视图以用于显示的构件。
在一些实施例中,所述装置还可以包括:用于基于所述基线瞬时支配前进方向、瞬时移动前进方向以及瞬时记录器前进方向中的一个或多个,从所述全景视频内容裁剪视野的构件;以及用于提供对应于所裁剪的视野的视频视图的构件。
在一些实施例中,所述装置还可以包括:用于使用另外的数据来确定所述基线瞬时支配前进方向的构件,其中所述另外的数据包括记录用户的简档。
在一些实施例中,所述装置还可以包括:用于使所述全景视频内容与全局注册的数据库匹配的构件,所述全局注册的数据库包括具有六自由度的全局相机姿态数据的媒体数据;用于使用所记录的全景视频和所匹配的全局注册的数据库数据来生成全局相机姿态估计踪迹的构件;用于使所述全局相机姿态估计踪迹与感兴趣点的踪迹匹配的构件,其中感兴趣点的踪迹包括定义的感兴趣的路线或点;以及用于确定基线瞬时支配前进方向的构件,其中所述基线瞬时支配前进方向包括与在感兴趣点的踪迹中所定义的感兴趣的路线或点相一致的全局相机姿态估计踪迹片段。
附图说明
因此已经概括地描述本发明的某些实施例,现在将参照附图,附图未必按比例绘制,以及在附图中:
图1说明了可以根据本发明的示例实施例被特别配置的装置的框图;
图2说明了以记录用户的瞬时凝视定向为中心的全景视频视图的示例;
图3说明了根据本发明的示例实施例的以支配的前进方向为中心的全景视频视图的示例;
图4说明了根据本发明的示例实施例的方向性全景视频内容系统的示例性概观;
图5说明了根据本发明的示例实施例的关于瞬时移动前进方向和瞬时记录器前进方向与瞬时支配前进方向的对齐的情况;
图6说明了根据本发明的示例实施例的由装置执行的用于提供方向性全景内容观看的操作的流程图;以及
图7说明了根据本发明的示例实施例的由装置执行的用于提供方向性全景内容观看的操作的流程图。
具体实施方式
现在,在下文将参照附图,更充分地描述本发明的一些实施例,在附图中示出了本发明的一些实施例而不是全部的实施例。实际上,本发明可以以许多不同形式来具体化,并且不应当被认为限制于本文所阐述的实施例;相反,提供这些实施例,以便本公开将满足可适用的法律要求。在全文中,相似的标记指相似的元素。如本文所使用的,术语“数据”、“内容”、“信息”以及类似的术语可交替地使用,以指依照本发明的实施例能够被传送、接收、和/或存储的数据。因此,任何此类术语的使用不应当被认为是限制本发明的实施例的精神和范围。
另外,如本文所使用的,术语“电路”指:(a)仅硬件电路实现方式(例如,在模拟电路和/或数字电路中的实现方式);(b)电路和计算机程序产品(多个)的组合,该计算机程序产品(多个)包括:存储在一个或多个计算机可读存储器上的软件和/或固件指令,所述组合一起工作以使得装置执行本文描述的一个或多个功能;以及(c)要求用于操作的软件或固件的电路(诸如例如,微处理器(多个)或微处理器(多个)的一部分),即使软件或固件不是物理呈现的。‘电路’的这种定义应用于本文中(包括在任何权利要求书中)的这个术语的所有使用。作为又一个示例,如本文所使用的,术语‘电路’还包含:包括一个或多个处理器和/或其部分(多个)并且伴随有软件和/或固件的实现方式。作为另一示例,如本文所使用的术语‘电路’还包含:例如,用于移动电话的基带集成电路或应用处理器集成电路,或在服务器、蜂窝网络设备、其它网络设备和/或其它计算设备中的类似集成电路。
如本文所限定的,“计算机可读存储介质”,其指非短暂性的、物理存储介质(例如,易失性或非易失性存储设备),可以与“计算机可读传输介质”(其指电磁信号)进行区分。
提供了根据本发明的示例实施例的方法、装置和计算机程序产品以考虑到改进的观看体验来提供在全景视频内容中的方向性观看。
参照图1,用于根据本发明的示例实施例来提供全景视频内容的装置100可以包含至少一个处理器102、至少一个存储器104、至少一个通信接口106、至少一个输入/输出接口108以及内容视图生成模块110中的一个或多个,或以其他方式与它们中的一个或多个通信。
应当注意的是,尽管图1说明了用于提供全景视频内容的方向性观看的装置100的配置的一个示例,但是许多其它配置也可以用于实现本发明的其它实施例。照此,在一些实施例中,尽管设备或单元被示出为彼此通信,但是在下文中,此类设备或单元应当被认为能够被具体化在相同的设备或单元内,以及因此可替代地,被示出为通信的设备或单元应当被理解为相同设备或单元的各部分。
在一些实施例中,处理器(和/或协处理器或协助或以其它方式与处理器相关联的任何其它处理电路)可以经由用于在装置的组件之间传送信息的总线,与存储器104通信。存储器104可以包含:例如,非暂时性存储器,诸如一个或多个易失性和/或非易失性存储器。也就是说,例如,存储器104可以是包括门的电存储设备(例如,计算机可读存储介质),其被配置为存储可由机器(例如,如处理器的计算设备)检索的数据(例如,比特)。存储器104可以被配置为存储信息、数据、内容、应用、指令等,以用于使得装置能够依照本发明的示例实施例执行各种功能。例如,存储器104可以被配置为缓冲用于由处理器102处理的输入数据。另外地或可替代地,存储器可被配置为存储用于由处理器执行的指令。
在一些实施例中,装置100可以具体化为芯片或芯片组。也就是说,装置可以包括:一个或多个物理套件(package)(例如,芯片),其包括材料、组件和/或结构组装件(例如,基板)上的线。结构组装件可以提供物理强度、尺寸节省、和/或针对被包括在其上的组件电路的电气交互的限制。因此,在一些情况下,装置可被配置为在单个芯片上实现本发明的实施例,或将本发明的实施例实现成单个“片上系统”。照此,在一些情况下,芯片或芯片组可以构成用于执行用于提供本文所描述的功能的一个或多个操作的构件。
可以以许多不同的方式来具体化处理器102。例如,处理器可以具体化成各种硬件处理构件中的一个或多个硬件处理构件,诸如协处理器、微处理器、控制器、数字信号处理器(DSP)、具有或不具有伴随的DSP的处理元件、或各种其它包含集成电路(诸如例如,ASIC(专用集成电路)、FPGA(现场可编程门阵列)、微控制器单元(MCU)、硬件加速器、专用计算机芯片、等)的处理电路。照此,在一些实施例中,处理器可以包含:被配置为独立执行的一个或多个处理核心。多核处理器可以使得能够在单个物理套件内进行多处理。另外或可替代地,处理器可以包含:被配置为经由总线串联的一个或多个处理器,以使得能够指令、流水线和/或多线程的独立运行。
在示例实施例中,处理器102可以被配置为运行存储在存储器104中的指令,或以其它方式对处理器而言可以访问的指令。可替代地或另外地,处理器可以被配置为执行硬编码的功能。照此,无论由硬件或软件方法、或由其组合进行配置,当相应地配置时,处理器可以代表能够根据本发明的实施例执行操作的实体(例如,物理地具体化成电路)。因此,例如,当处理器被具体化为ASIC、FPGA等时,处理器可以是用于执行本文所描述的操作的特定配置的硬件。可替代地,作为另一示例,当处理器被具体化为软件指令的执行器时,当执行指令时,所述指令可以特定地配置处理器,以执行本文所描述的算法和/或操作。然而,在一些情况下,处理器可以是特定设备的处理器,其被配置为通过用于执行本文所描述的算法和/或操作的指令对处理器102的进一步配置,来使用本发明的实施例。处理器可以包含:除了其它之外,时钟、算术逻辑单元(ALU)和被配置为支持处理器的操作的逻辑门。
通信接口106可以是任何构件,诸如具体化成硬件或硬件和软件的组合的设备或电路,其被配置为接收和/或传送来自/去往网络和/或与装置100通信的任何其它设备或模块的数据。在这点上,通信接口106可包含:例如,天线(或多个天线)以及支持硬件和/或软件,以用于使得能够与无线通信网络通信。另外或可替代地,通信接口106可以包含:用于与天线(多个)交互的电路,以使得经由天线(多个)的信号传输,或以处理经由天线(多个)所接收的信号的接收。在一些环境中,通信接口可以可替代地或也支持有线通信。照此,例如,通信接口106可以包含:通信调制解调器,和/或其它硬件/软件,以用于支持经由线缆、数字用户线(DSL)、通用串行总线(USB)、以太网、高清晰度多媒体接口(HDMI)或其它机构进行通信。此外,通信接口106可以包含用于支持通信机制,诸如红外线、UWB、WiFi、和/或诸如此类,的硬件和/或软件。
装置100可以包含:输入/输出接口108,其进而可以与处理器102通信,以接收来自用户输入的指示,和向用户提供输出。例如,输入/输出接口可以包含显示器,以及在一些实施例中,还可以包含:键盘、鼠标、控制杆、触摸屏、触摸区域、软键、麦克风、扬声器、或其它输入/输出机构。处理器可以包括:用户接口电路,其被配置为控制一个或多个输入/输出接口元件(诸如,显示器,以及在一些实施例中,扬声器、振铃器、麦克风、和/或诸如此类)的至少某些功能。处理器和/或包括处理器的用户接口电路可以被配置为:通过存储在处理器可以访问的存储器(例如,存储器104和/或诸如此类)上的计算机程序指令(例如,软件和/或固件),来控制一个或多个输入/输出接口元件的一个或多个功能。
装置100可以包含内容视图生成电路110,其可以被配置为接收记录的全景视频内容,连同记录介质上下文数据,以及非必需地,记录上下文数据,被配置为分析记录的全景视频内容,记录介质上下文数据,以及非必需的记录上下文数据,以及被配置为使用各种参数,来生成所记录的全景视频内容中的一个或多个视图,和/或存储与所记录的全景视频内容中的一个或多个视图相关联的元数据。可以使用由用于实现这些特征的硬件或软件配置的装置100的硬件组件来实现内容视图生成电路110。例如,内容视图生成电路110可以使用处理电路,诸如处理器102和存储器104,以执行此类操作。
全景内容捕获设备在市场上变得越来越常见。在全景内容捕获设备形状因素中的改进使得提供诸如移动设备以及可穿戴设备的捕获设备是可行的。360度全景内容一般覆盖来自捕获点的所有视图(至少在水平面中),以及具有在室外移动、导航、旅游以及诸如此类中的各种应用。在可移动平台上(例如,在移动员的头部上、在跳伞者头部上,使用头部安装的或可穿戴眼镜安装的设备在旅游位置周围走动,等)的360度全景视频内容捕获设备的组合引入了关于为观察者提供愉快的内容消费体验的新的挑战,因为基线视图能够频繁地改变。
针对全景视频内容的记录,如果所渲染的视图总是严格地遵循记录用户的定向/方向,即,当记录用户的瞬时观看方向用于定义在360度全景内容中的基本视图方向时,则观察者能够丢失定向。
图2提供了这个问题的示例图示说明。如果被呈现给观看用户的全景视频内容的默认视图是跟踪记录用户的瞬时观看方向的准确视图,则非常可能的是,所呈现的视图将具有多个快速凝视转移(取决于准确的记录场景)。这些呈现的视图可以由在水平定向以及垂直定向中的高数量的快速改变组成。这可以导致此类默认视图的观察者不能辨别方向或可能向观察者提供差的观看体验。
如在图2中说明的,当记录用户在方位E和F时,瞬时观看方向跟随记录用户的凝视转移到右面和左面,以及在全景视频内容中,提供给观看用户的视图跳转到这些方位。
本发明的实施例针对对使用安装在可移动平台上(例如,可穿戴设备、移动设备、头部安装的相机等)的360度全景内容捕获设备所捕获的视频内容的观看进行改进的方法、装置和计算机程序产品,诸如使得对观看者而言观看此类内容是令人愉快的和有意义的。在示例实施例中,方法和装置提供了语义上一致的默认视图,提供针对全景视频内容的愉快的观看体验,以及可以防止观看者在观看360度全景视频记录时迷失方向。一些实施例还可以提供适合于在更小的显示器上观看更高分辨率的360度内容的视频内容,该更小的显示器仅能够示出全部全景的一部分。
在示例实施例中,提供在全景视频内容中的方向性观看包括:确定全景内容记录的瞬时支配前进方向(IDH)。瞬时支配前进方向是针对内容的特定时间实例或片段所确定的可移动平台的移动的支配前进方向。可以基于与内容捕获设备和/或记录用户相关联的记录器上下文数据,诸如运动数据、传感器数据、GPS数据或诸如此类,来确定瞬时支配前进方向。例如,相关联的数据可以提供关于记录用户的定向和/或移动的信息,该信息然后可以用于确定基线瞬时支配前进方向。在一些实施例中,运动传感器和/或位置传感器可以与内容捕获设备和/或记录用户(或可移动平台)相关联,以及可以提供针对所捕获的全景视频内容的相关联的记录器上下文数据,例如运动和/或位置数据。在一些实施例中,另外的数据也可以用于确定基线瞬时支配前进方向,诸如记录用户的简档偏好。在一些实施例中,向观看用户提供作为默认视图的对应于瞬时支配前进方向的全景视频内容的视图。
在一些实施例中,当记录用户的瞬时观看方向相对于瞬时支配前进方向改变时,例如,当穿戴头部安装的相机的记录用户使他的凝视的方向转向时,可以向观看用户通知:内容的新的或可替代的视图是可以使用的,但是正在被渲染的当前视图不会立即改变。在此类实施例中,观看用户可以选择以观看新的/可替代的视图,以及可以向观看用户呈现包括主前进方向视野的视图(原始视图或基线瞬时支配前进方向)连同记录用户的视野的叠加(例如,瞬时记录器前进方向),如在图3中说明的。
在一些实施例中,如果关于记录上下文的另外的信息(例如,记录的目的)是已知的,则基线瞬时支配前进方向可以被进一步微调。例如,如果在乘坐观光的火车时内容被捕获,则可能更有用的是提供侧视图作为默认视图。在另一个示例中,如果由骑自行车的记录用户来捕获内容,则更感兴趣的是观看前面的自行车道而不是骑自行车的人可能出于一般情况感知所做出的随机的偶然的凝视改变。在各种实施例中,记录上下文可以被自动地确定或与记录用户交互地被确定。在一些实施例中,微调的默认视图可以相对于实际的瞬时支配前进方向有偏移。
在一些实施例中,也可以针对全景视频内容的片段来确定瞬时移动前进方向和/或瞬时记录器前进方向。瞬时移动前进方向指示针对内容的特定实例或片段的记录用户的运动的方向,即记录用户的交通工具的方向。在一些实施例中,瞬时移动前进方向可以指示在任何实例的内容捕获系统的瞬时轨迹。例如,如果由骑自行车的记录用户来捕获内容,则瞬时移动前进方向包括自行车在特定实例的移动方向。瞬时记录器前进方向指示内容捕获设备参考点的定向。例如,在内容捕获设备是头部安装的相机的情况下,瞬时记录器前进方向将对应于记录用户的头部在特定实例所面向的方向,例如,记录用户已经转向观看的方向。在另一个示例中,针对具有“前面方向”参考点的手持式捕获设备,瞬时记录器前进方向将对应于针对特定实例或片段,“前面方向”参考点指向的方向(例如,在270度全景视频中,“前面方向”参考点可以是在捕获帧的0度和270度之间的中心点)。
在一些情况下,瞬时支配前进方向可以等于或匹配瞬时移动前进方向,在此类实施例中,瞬时移动前进方向可以替代瞬时支配前进方向。
在一些实施例中,可以使用针对全景视频内容的片段的瞬时移动前进方向和瞬时记录器前进方向的参数的某一组合来确定瞬时支配前进方向。在一些实施例中,除了瞬时移动前进方向和瞬时记录器前进方向中的一个或多个之外,瞬时支配前进方向的确定也可以包括:另外信息的使用,诸如记录器上下文数据,记录上下文、记录用户简档数据、和/或诸如此类。
在另一个示例实施例中,所记录的视频内容可以与全局注册的数据库匹配,诸如室外街景数据、带有地理标签的图像数据、或具有六自由度(6DOF)相机姿态信息的类似的媒体数据,以生成全局相机姿态估计(CPE)踪迹。随后,使全局CPE踪迹与感兴趣点(POI)位置踪迹(其可以包含但不限于重要的街道、自行车路线等)匹配。CPE踪迹片段(其与已知的街道、行径等一致)可以用作基线瞬时支配前进方向。在一些实施例中,如果需要,诸如基于针对服务的用户的偏好简档,基线瞬时支配前进方向可以被进一步微调以包含重要POIs。
图4说明了根据一些示例实施例的方向性全景视频内容系统的系统概观。在示例实施例中,方向性全景视频内容系统首先接收全景视频内容和相关联的记录器上下文数据。记录器上下文数据可以包括与内容捕获设备和/或记录用户相关联的以下中的一个或多个:运动传感器信息,例如来自陀螺仪、加速计、高度计、磁罗盘等中的一个或多个的数据,或位置传感器信息,例如GPS位置信息、相机姿态估计(CPE)踪迹信息或诸如此类。
所记录的全景视频内容和相关联的记录器上下文数据被组合,如果需要则被对齐,以及然后被分析。所组合的记录的全景视频内容和相关联的记录器上下文数据的分析,通过考虑内容捕获系统的整体轨迹以及内容捕获系统的瞬时轨迹,来确定基线瞬时支配前进方向(IDH)、瞬时移动前进方向(IMH)、以及瞬时记录器前进方向(IRH)。在一些实施例中,可以针对在全景视频内容中定义的时间段来确定或可以使用在确定之间的短时间间隔(例如毫秒、秒等)周期性地确定,基线瞬时支配前进方向、瞬时移动前进方向、以及瞬时记录器前进方向。
整体轨迹受在瞬时轨迹中的变化以及持久性影响。例如,如果基于在过去中的移动的整体轨迹相对于北而言是30度,则在瞬时轨迹中的变化将导致整体轨迹的慢转移。如果瞬时轨迹继续更长时间,则整体轨迹将最终与瞬时轨迹会聚。这个方法考虑了在观看内容时的平滑过渡,以及避免能够导致不愉快的观看体验的剧烈的相机角度移动。在一些实施例中,基线瞬时支配前进方向考虑了记录器上下文数据(例如,移动/位置)以确定整体轨迹。
在一些实施例中,瞬时移动前进方向指示在任何实例的内容捕获系统的瞬时轨迹。例如,如果由骑自行车的记录用户来捕获内容,则瞬时移动前进方向包括自行车在特定实例中的移动方向。瞬时记录器前进方向指示内容捕获设备参考点的定向。例如,在内容捕获设备是头部安装的相机的情况下,瞬时记录器前进方向将对应于记录用户的头部在特定实例所面向的方向。在另一个示例中,针对具有“前面方向”参考点的手持式捕获设备,瞬时记录器前进方向将对应于针对特定实例,“前面方向”参考点指向的方向(例如,在270度全景视频中,“前面方向”参考点可以是在捕获帧的0度和270度之间的中心点)。在一些实施例中,可以使用针对全景视频内容的片段的瞬时移动前进方向和瞬时记录器前进方向、以及另外信息的参数的某一组合来确定瞬时支配前进方向。
基线瞬时支配前进方向、瞬时移动前进方向、以及瞬时记录器前进方向与记录上下文信息(即,记录的目的,例如,自行车车道记录、作为旅游者的人行道散步)结合使用以确定微调的瞬时支配前进方向。微调的瞬时支配前进方向可以相对于基线瞬时支配前进方向、瞬时移动前进方向、以及瞬时记录器前进方向具有偏移。在一些实施例中,也可以使用各种地理位置注册内容,例如地理注册的图像数据库,来访问感兴趣点(POI)信息,以及在确定微调的瞬时支配前进方向中,可以使用POI信息。
图5说明了关于瞬时移动前进方向和瞬时记录器前进方向与瞬时支配前进方向的对齐的不同情况。在示例A中,瞬时记录器前进方向、瞬时移动前进方向、以及瞬时支配前进方向是对齐的(即,整体轨迹和瞬时轨迹是对齐的,以及记录器面向轨迹的方向)。示例B说明了一种情况,其中瞬时支配前进方向和瞬时移动前进方向是对齐的,但是瞬时记录器前进方向可以在不同的方向中(即,整体轨迹和瞬时轨迹是对齐的,以及记录器,例如,捕获设备/记录用户,面向不同的方向)。示例C是最一般的情况,其中瞬时支配前进方向、瞬时移动前进方向、以及瞬时记录器前进方向在给定实例处可以处于不同的角度(即,整体轨迹和瞬时轨迹在不同的方向中,以及捕获设备/记录用户面向/指向与任何一个轨迹不同的方向)。
在一些实施例中,基线瞬时支配前进方向、瞬时移动前进方向、以及瞬时记录器前进方向可以被存储为在全景视频内容文件中的元数据,例如作为嵌入的方向性观看元数据,以用于在提供全景内容观看中使用。在一些实施例中,可以从原始全景视频内容来裁剪期望的分辨率或期望的视野的一个或多个视图。然后,内容观看系统可以向观看用户提供这个裁剪的视图。例如,内容观看系统可以提供对应于跟随记录器已经行进的路径的瞬时移动前进方向的视图,或以平滑的和令人愉快的方式的考虑了头部移动的对应于瞬时支配前进方向的视图,或诸如此类。
现在结合在图6中说明的操作来描述方法、装置和计算机程序产品。在这点上,在图6的框602处,装置100可以包含用于接收所记录的全景视频内容和相关联的记录器上下文数据的构件,诸如处理器102、存储器104、通信接口106、内容视图生成电路110或诸如此类。相关联的记录器上下文数据可以包括:在全景视频内容的记录期间,与内容捕获设备相关联的运动传感器数据和/或位置传感器数据。
如在图6的框604中示出的,装置100还可以包含:用于组合所接收的记录的全景视频内容和相关联的记录器上下文数据的构件,诸如处理器102、存储器104、内容视图生成电路110或诸如此类。非必须地,如在图6的框606中示出的,装置100还可以包含:如果需要的话,用于使所记录的全景视频内容和相关联的记录器上下文数据对齐的构件,诸如处理器102、存储器104、内容视图生成电路110或诸如此类。
如在图6的框608中示出的,装置100还可以包含:用于分析所组合的全景视频内容和相关联的记录器上下文数据的构件,诸如处理器102、存储器104、内容视图生成电路110或诸如此类。如在图6的框610中示出的,装置100还可以包含:用于确定作为在框608处的分析的结果的针对全景视频内容的片段的基线瞬时支配前进方向、瞬时移动前进方向、以及瞬时记录器前进方向中的一个或多个的构件,诸如处理器102、存储器104、内容视图生成电路110或诸如此类。在一些实施例中,该装置可以确定针对全景视频内容的片段的基线瞬时支配前进方向、瞬时移动前进方向、以及瞬时记录器前进方向中的每一个,以及在确定可以提供给观看用户的视图中使用三个参数的某一组合,以及非必需地,其它信息。
如在图6的框612中示出的,装置100还可以包含:用于非必须地接收或确定针对全景视频内容的记录上下文的构件,诸如处理器102、存储器104、内容视图生成电路110、输入/输出接口108或诸如此类。如在图6的框614中示出的,装置100还可以包含:用于基于记录上下文、基线瞬时支配前进方向、瞬时移动前进方向、以及瞬时记录器前进方向来微调瞬时支配前进方向的构件,诸如处理器102、存储器104、内容视图生成电路110或诸如此类。
如在图6的框616中示出的,装置100还可以包含:用于存储瞬时支配前进方向、瞬时移动前进方向、以及瞬时记录器前进方向作为嵌入在全景视频内容文件中的元数据的构件,诸如处理器102、存储器104、内容视图生成电路110或诸如此类。如在图6的框618中示出的,装置100还可以包含:用于基于在全景视频内容文件中的所嵌入的元数据使得向观察者提供全景视频内容的方向性视图的构件,诸如处理器102、存储器104、内容视图生成电路110、输入/输出接口108、通信接口106或诸如此类。
可替代地或另外,如在图6的框620中示出的,装置100还可以包含:用于基于瞬时支配前进方向、瞬时移动前进方向、和/或瞬时记录器前进方向从全景视频内容裁剪期望的分辨率或期望的视野的视图的构件,诸如处理器102、存储器104、内容视图生成电路110或诸如此类。如在图6的框622中示出的,装置100还可以包含:用于使得将全景视频内容的裁剪的视图提供给观察者的构件,诸如处理器102、存储器104、内容视图生成电路110、输入/输出接口108、通信接口106、或诸如此类。
图7说明了根据另一个示例实施例的操作。在图7的框702处,装置100可以包含用于接收所记录的全景视频内容和相关联的记录器上下文数据的构件,诸如处理器102、存储器104、通信接口106、内容视图生成电路110或诸如此类。相关联的记录器上下文数据可以包括:在全景视频内容的记录期间,与内容捕获设备相关联的运动传感器数据和/或位置传感器数据。
如在图7的框704中示出的,装置100还可以包含:用于组合所接收的记录的全景视频内容和相关联的记录器上下文数据的构件,诸如处理器102、存储器104、内容视图生成电路110或诸如此类。非必须地,如在框706中示出的,装置100还可以包含:如果需要的话,用于使所记录的全景视频内容和相关联的记录器上下文数据对齐的构件,诸如处理器102、存储器104、内容视图生成电路110或诸如此类。
如框708中示出的,装置100还可以包含:用于分析所组合的全景视频内容和相关联的记录器上下文数据的构件,诸如处理器102、存储器104、内容视图生成电路110或诸如此类。如在框710中示出的,装置100还可以包含:用于确定作为在框708处的分析的结果的针对全景视频内容的片段的基线瞬时支配前进方向的构件,诸如处理器102、存储器104、内容视图生成电路110或诸如此类。
如在框712中示出的,装置100还可以包含:用于存储瞬时支配前进方向作为嵌入在全景视频内容文件中的元数据的构件,诸如处理器102、存储器104、内容视图生成电路110或诸如此类。如在框714中示出的,装置100还可以包含:用于基于在全景视频内容文件中的所嵌入的元数据使得向观察者提供全景视频内容的方向性视图的构件,诸如处理器102、存储器104、内容视图生成电路110、输入/输出接口108、通信接口106或诸如此类。
可替代地或另外,如在框716中示出的,装置100还可以包含:用于基于瞬时支配前进方向从全景视频内容裁剪期望的分辨率或期望的视野的视图的构件,诸如处理器102、存储器104、内容视图生成电路110或诸如此类。如在框718中示出的,装置100还可以包含:用于使得将全景视频内容的裁剪的视图提供给观察者的构件,诸如处理器102、存储器104、内容视图生成电路110、输入/输出接口108、通信接口106、或诸如此类。
如上所述,图4、6和图7说明了根据本发明的示例实施例的装置、方法和计算机程序产品。将理解的是,流程图中的每个框、以及流程图中的框的组合可以由各种构件来实现,诸如硬件、固件、处理器、电路和/或与包含一个或多个计算机程序指令的软件的运行相关联的其它设备。例如,在以上描述的过程中的一个或多个过程可以由计算机程序指令来具体化。在这点上,具体化以上描述的过程的计算机程序指令可以由具体化本发明的实施例的装置的存储器104来存储以及由该装置的处理器102来运行。如将了解的是,可以将任何此类计算机程序指令加载到计算机或其它可编程装置(例如,硬件)上以产生机器,使得所产生的计算机或其它可编程装置实现在流程图的框中指定的功能。还可以将这些计算机程序指令存储在可以指导计算机或其它可编程装置以特定方式执行功能的非短暂性的计算机可读存储器中,使得存储在计算机可读存储器中的指令产生制造品,它的运行实现流程图的框(多个)中指定的功能。还可以将计算机程序指令加载到计算机或其他可编程装置上以导致在该计算机或其他可编程装置上执行的一系列操作,以产生计算机实现的过程,使得在该计算机或其他可编程装置上执行的指令提供针对实现在流程图的框中指定的功能的操作。
因此,流程图的框支持用于执行指定功能的构件的组合以及用于执行指定功能的操作的组合。还将理解的是,流程图中的一个或多个框,以及流程图中的框的组合,能够由执行指定功能的专用的基于硬件的计算机系统、或专用硬件和计算机指令的组合来实现。
在一些实施例中,以上操作的某些操作可以被修改或进一步被扩充。此外,在一些实施例中,可以包含另外的非必需的操作,诸如由使用虚线轮廓的框所示出的。可以以任何顺序以及以任何组合来执行针对以上操作的修改、添加或扩充。
本文所阐述的本发明的许多修改和其它实施例将进入到本发明相关领域的受益于在上述说明和相关联的附图中所呈现的教示的技术人员的脑海中。因此,应当理解的是,本发明的实施例不限制于所公开的特定实施例,并且该修改和其它实施例旨在被包含在所附权利要求书的范围内。此外,虽然在元素和/或功能的某些示例组合的上下文中,上述描述和相关联的附图描述了示例实施例,但是应当了解的是,在不背离所附权利要求书的范围的情况下,可以由可替代的实施例来提供元件和/或功能的不同组合。在这点上,例如除了上述所明确描述的外,元件和/或功能的不同组合也被预期为可以由所附权利要求书来阐述。虽然,本文中使用了特定词语,但是它们仅是用于通用和描述性意义,并且不是出于限制的目的。
Claims (20)
1.一种方法,包括:
使用处理器,确定针对在全景视频内容中的片段的基线瞬时支配前进方向;以及
确定观看偏好指示;以及
使得基于所确定的观看偏好指示和所述基线瞬时支配前进方向来提供所述全景视频内容的视图以用于显示。
2.权利要求1所述的方法,还包括:
使用所述处理器,确定针对在所述全景视频内容中的片段的瞬时移动前进方向和瞬时记录器前进方向中的一个或多个;以及
使得基于所确定的观看偏好指示和所述基线瞬时支配前进方向、所述瞬时移动前进方向、以及所述瞬时记录器前进方向中的一个或多个来提供所述全景视频内容的视图以用于显示。
3.权利要求2所述的方法,还包括:
接收所述全景视频内容;
接收与所述全景视频内容的记录相关联的记录器上下文数据;
对所述全景视频内容和相关联的记录器上下文数据进行组合;以及
使用所述处理器,分析所组合的全景视频内容和相关联的记录器上下文数据以确定针对所述全景视频内容的片段的所述基线瞬时支配前进方向、所述瞬时移动前进方向、以及所述瞬时记录器前进方向中的一个或多个。
4.权利要求3所述的方法,其中与所述全景视频内容的记录相关联的记录介质上下文数据包括运动传感器数据或位置传感器数据中的一个或多个;其中所述运动传感器数据包括陀螺仪数据、加速计数据、高度计数据或磁罗盘数据中的一个或多个,以及其中所述位置传感器数据包括地理定位系统数据或相机姿态估计踪迹数据中的一个或多个。
5.权利要求2所述的方法,还包括:至少部分地基于所述全景视频内容的记录上下文结合所述基线瞬时支配前进方向、瞬时移动前进方向以及瞬时记录器前进方向中的一个或多个,来确定微调的瞬时支配前进方向;以及使得提供对应于所述微调的瞬时支配前进方向的全景视频内容的视图以用于显示。
6.权利要求2所述的方法,还包括:将所述基线瞬时支配前进方向、所述瞬时移动前进方向以及所述瞬时记录器前进方向中的一个或多个存储为嵌入在所述全景视频内容的视频文件中的元数据;以及使得基于所述元数据提供全景视频文件的视图以用于显示。
7.权利要求2所述的方法,还包括:
基于所述基线瞬时支配前进方向、瞬时移动前进方向以及瞬时记录器前进方向中的一个或多个,从所述全景视频内容裁剪视野;以及
提供对应于所裁剪的视野的视频视图。
8.权利要求1所述的方法,其中针对在所述全景视频内容中的片段的所述基线瞬时支配前进方向等于针对所述片段的瞬时移动前进方向。
9.权利要求1所述的方法,还包括:
使所述全景视频内容与全局注册的数据库匹配,所述全局注册的数据库包括具有六自由度的全局相机姿态数据的媒体数据;
使用所述处理器,使用所记录的全景视频和所匹配的全局注册的数据库数据来生成全局相机姿态估计踪迹;
使所述全局相机姿态估计踪迹与感兴趣点的踪迹匹配,其中所述感兴趣点的踪迹包括定义的感兴趣的路线或点;以及
使用所述处理器,确定基线瞬时支配前进方向,其中所述基线瞬时支配前进方向包括与在所述感兴趣点的踪迹中所定义的感兴趣的路线或点相一致的全局相机姿态估计踪迹片段。
10.一种装置,所述装置包括至少一个处理器以及包含计算机程序指令的至少一个存储器,所述至少一个存储器和所述计算机程序指令被配置为使用所述至少一个处理器使得所述装置至少:
确定针对在全景视频内容中的片段的基线瞬时支配前进方向;
确定观看偏好指示;以及
使得基于所确定的观看偏好指示和所述基线瞬时支配前进方向来提供所述全景视频内容的视图以用于显示。
11.权利要求10所述的装置,还包括所述至少一个存储器和所述计算机程序指令被配置为使用所述至少一个处理器还使得所述装置至少:
确定针对在所述全景视频内容中的片段的瞬时移动前进方向和瞬时记录器前进方向中的一个或多个;以及
使得基于所确定的观看偏好指示和所述基线瞬时支配前进方向、所述瞬时移动前进方向、以及所述瞬时记录器前进方向中的一个或多个来提供所述全景视频内容的视图以用于显示。
12.权利要求11所述的装置,还包括所述至少一个存储器和所述计算机程序指令被配置为使用所述至少一个处理器还使得所述装置至少:
接收所述全景视频内容;
接收与所述全景视频内容的记录相关联的记录器上下文数据;
对所述全景视频内容和相关联的记录器上下文数据进行组合;以及
分析所组合的全景视频内容和所述相关联的记录器上下文数据以确定针对所述全景视频内容的片段的所述基线瞬时支配前进方向、所述瞬时移动前进方向、以及所述瞬时记录器前进方向中的一个或多个。
13.权利要求12所述的装置,其中与所述全景视频内容的记录相关联的记录器上下文数据包括运动传感器数据或位置传感器数据中的一个或多个;其中所述运动传感器数据包括陀螺仪数据、加速计数据、高度计数据或磁罗盘数据中的一个或多个,以及其中所述位置传感器数据包括地理定位系统数据或相机姿态估计踪迹数据中的一个或多个。
14.权利要求11所述的装置,还包括所述至少一个存储器和所述计算机程序指令被配置为使用所述至少一个处理器还使得所述装置至少部分地基于所述全景视频内容的记录上下文结合所述基线瞬时支配前进方向、所述瞬时移动前进方向以及所述瞬时记录器前进方向中的一个或多个,来确定微调的瞬时支配前进方向;以及使得所述装置使得提供对应于所述微调的瞬时支配前进方向的全景视频内容的视图以用于显示。
15.权利要求11所述的装置,还包括所述至少一个存储器和所述计算机程序指令被配置为使用所述至少一个处理器还使得所述装置将所述基线瞬时支配前进方向、所述瞬时移动前进方向以及所述瞬时记录器前进方向中的一个或多个存储为嵌入在所述全景视频内容的视频文件中的元数据;以及使得基于所述元数据提供全景视频文件的视图以用于显示。
16.权利要求11所述的装置,还包括所述至少一个存储器和所述计算机程序指令被配置为使用所述至少一个处理器还使得所述装置:
基于所述基线瞬时支配前进方向、所述瞬时移动前进方向以及所述瞬时记录器前进方向中的一个或多个,从所述全景视频内容裁剪视野;以及
提供对应于所裁剪的视野的视频视图。
17.权利要求10所述的装置,其中针对在所述全景视频内容中的片段的所述基线瞬时支配前进方向等于针对所述片段的瞬时移动前进方向。
18.权利要求10所述的装置,还包括所述至少一个存储器和所述计算机程序指令被配置为使用所述至少一个处理器还使得所述装置:
使所述全景视频内容与全局注册的数据库匹配,所述全局注册的数据库包括具有六自由度的全局相机姿态数据的媒体数据;
使用所记录的全景视频和所匹配的全局注册的数据库数据来生成全局相机姿态估计踪迹;
使所述全局相机姿态估计踪迹与感兴趣点的踪迹匹配,其中所述感兴趣点的踪迹包括定义的感兴趣的路线或点;以及
确定基线瞬时支配前进方向,其中所述基线瞬时支配前进方向包括与在所述感兴趣点的踪迹中所定义的感兴趣的路线或点相一致的全局相机姿态估计踪迹片段。
19.一种计算机程序产品,所述计算机程序产品包括至少一个非短暂性的计算机可读存储介质,其载有存储在其中的与计算机结合使用的计算机程序指令,所述计算机程序指令包括程序指令,所述程序指令被配置为使得所述计算机:
确定针对在全景视频内容中的片段的基线瞬时支配前进方向;
确定观看偏好指示;以及
使得提供基于所确定的观看偏好指示和所述基线瞬时支配前进方向所提供的所述全景视频内容的视图以用于显示。
20.权利要求19所述的计算机程序产品,所述计算机程序产品还包括程序指令,所述程序指令被配置为使得所述计算机:
确定针对在所述全景视频内容中的片段的瞬时移动前进方向和瞬时记录器前进方向中的一个或多个;以及
使得基于所确定的观看偏好指示和所述基线瞬时支配前进方向、所述瞬时移动前进方向和所述瞬时记录器前进方向中的一个或多个来提供全景视频内容的视图以用于显示。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/586,286 US20160191796A1 (en) | 2014-12-30 | 2014-12-30 | Methods And Apparatuses For Directional View In Panoramic Content |
US14/586286 | 2014-12-30 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105741314A true CN105741314A (zh) | 2016-07-06 |
Family
ID=55069749
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201511004884.9A Pending CN105741314A (zh) | 2014-12-30 | 2015-12-29 | 针对在全景内容中的方向性视图的方法和装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20160191796A1 (zh) |
EP (1) | EP3040850A1 (zh) |
CN (1) | CN105741314A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113132665A (zh) * | 2017-02-27 | 2021-07-16 | 斯纳普公司 | 基于装置移动处理媒体内容 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2543749A (en) | 2015-10-21 | 2017-05-03 | Nokia Technologies Oy | 3D scene rendering |
US9742903B1 (en) | 2016-03-28 | 2017-08-22 | Verizon Patent And Licensing Inc. | Detecting notable events and annotating multimedia data based on the notable events |
US10089784B2 (en) * | 2016-12-22 | 2018-10-02 | ReScan, Inc. | Head-mounted mapping methods |
US10579138B2 (en) | 2016-12-22 | 2020-03-03 | ReScan, Inc. | Head-mounted sensor system |
US11269580B2 (en) * | 2017-02-13 | 2022-03-08 | Comcast Cable Communications, Llc | Guided collaborative viewing of navigable image content |
US20180234674A1 (en) | 2017-02-14 | 2018-08-16 | Axon Enterprise, Inc. | Systems and methods for determining a field of view |
US10692187B2 (en) | 2017-04-16 | 2020-06-23 | Facebook, Inc. | Systems and methods for presenting content |
US10362265B2 (en) * | 2017-04-16 | 2019-07-23 | Facebook, Inc. | Systems and methods for presenting content |
CN107315471A (zh) * | 2017-06-11 | 2017-11-03 | 成都吱吖科技有限公司 | 一种基于虚拟现实的交互式全景视频实现方法及装置 |
CN111684795B (zh) | 2017-12-15 | 2022-08-12 | Pcms控股公司 | 用于在360°视频导航中使用查看路径的方法 |
EP3502837B1 (en) * | 2017-12-21 | 2021-08-11 | Nokia Technologies Oy | Apparatus, method and computer program for controlling scrolling of content |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110096144A1 (en) * | 2002-12-30 | 2011-04-28 | Pea Roy D | Method and apparatus for interactive point-of-view authoring of digital video content |
WO2012071445A2 (en) * | 2010-11-24 | 2012-05-31 | Google Inc. | Guided navigation through geo-located panoramas |
CN103314570A (zh) * | 2010-11-12 | 2013-09-18 | 三星电子株式会社 | 用于通过补偿相机的视向的视频稳定方法和设备 |
US20140340427A1 (en) * | 2012-01-18 | 2014-11-20 | Logos Technologies Llc | Method, device, and system for computing a spherical projection image based on two-dimensional images |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8559705B2 (en) * | 2006-12-01 | 2013-10-15 | Lytro, Inc. | Interactive refocusing of electronic images |
US9247133B2 (en) * | 2011-06-01 | 2016-01-26 | Apple Inc. | Image registration using sliding registration windows |
-
2014
- 2014-12-30 US US14/586,286 patent/US20160191796A1/en not_active Abandoned
-
2015
- 2015-12-29 EP EP15202851.0A patent/EP3040850A1/en not_active Withdrawn
- 2015-12-29 CN CN201511004884.9A patent/CN105741314A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110096144A1 (en) * | 2002-12-30 | 2011-04-28 | Pea Roy D | Method and apparatus for interactive point-of-view authoring of digital video content |
CN103314570A (zh) * | 2010-11-12 | 2013-09-18 | 三星电子株式会社 | 用于通过补偿相机的视向的视频稳定方法和设备 |
WO2012071445A2 (en) * | 2010-11-24 | 2012-05-31 | Google Inc. | Guided navigation through geo-located panoramas |
US20140340427A1 (en) * | 2012-01-18 | 2014-11-20 | Logos Technologies Llc | Method, device, and system for computing a spherical projection image based on two-dimensional images |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113132665A (zh) * | 2017-02-27 | 2021-07-16 | 斯纳普公司 | 基于装置移动处理媒体内容 |
Also Published As
Publication number | Publication date |
---|---|
US20160191796A1 (en) | 2016-06-30 |
EP3040850A1 (en) | 2016-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105741314A (zh) | 针对在全景内容中的方向性视图的方法和装置 | |
US10084961B2 (en) | Automatic generation of video from spherical content using audio/visual analysis | |
Nguyen et al. | Ntu viral: A visual-inertial-ranging-lidar dataset, from an aerial vehicle viewpoint | |
KR102525029B1 (ko) | 사용자에게 콘텐트를 제공하기 위한 장치 및 방법 | |
US20190353485A1 (en) | Systems and methods for improved data integration in augmented reality architectures | |
US20170109939A1 (en) | Wearable display system that displays a workout guide | |
US20200351551A1 (en) | User interest-based enhancement of media quality | |
US9558716B2 (en) | Method and apparatus for contextual query based on visual elements and user input in augmented reality at a device | |
US20120113143A1 (en) | Augmented reality system for position identification | |
US9703384B2 (en) | Information display device, information display system and non-transitory computer-readable storage medium for displaying types of information in accordance with order of display priority set in descending order of relevance to determined activity state of user | |
US20140358438A1 (en) | Method, apparatus and computer program product for collaborative presentation of travel route information | |
CN105452811A (zh) | 用于显示地图的用户终端设备及其方法 | |
CN105892472A (zh) | 移动终端及其控制方法 | |
CN111095353A (zh) | 实时跟踪补偿图像效果 | |
US9909878B2 (en) | Method and apparatus for triggering conveyance of guidance information | |
US10073519B2 (en) | Apparatus and method for providing information by recognizing user's intentions | |
KR102309297B1 (ko) | 단말기 및 그 제어 방법 | |
JP6413404B2 (ja) | 電子機器、位置推定方法及びプログラム | |
JP2017158169A (ja) | 画像表示システム、表示装置、プログラム | |
US8612143B2 (en) | Passage determination device and passage determination method | |
US20220067812A1 (en) | Method and system for providing search results for similar products based on deep-learning | |
CN111344776B (zh) | 信息处理装置、信息处理方法和程序 | |
US20150082346A1 (en) | System for Selective and Intelligent Zooming Function in a Crowd Sourcing Generated Media Stream | |
US11895368B2 (en) | Generating, storing, and presenting content based on a memory metric | |
US11936802B2 (en) | Laser projected wayfinding interface |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20160706 |
|
WD01 | Invention patent application deemed withdrawn after publication |