CN106537894B - 用于回放全景视频内容的系统和方法 - Google Patents

用于回放全景视频内容的系统和方法 Download PDF

Info

Publication number
CN106537894B
CN106537894B CN201580038371.1A CN201580038371A CN106537894B CN 106537894 B CN106537894 B CN 106537894B CN 201580038371 A CN201580038371 A CN 201580038371A CN 106537894 B CN106537894 B CN 106537894B
Authority
CN
China
Prior art keywords
frame
subregion
subregions
visual field
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580038371.1A
Other languages
English (en)
Other versions
CN106537894A (zh
Inventor
R.克里施南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Priority to CN201910837325.8A priority Critical patent/CN110459246B/zh
Publication of CN106537894A publication Critical patent/CN106537894A/zh
Application granted granted Critical
Publication of CN106537894B publication Critical patent/CN106537894B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一些实施方案提供回放内容的方法，其包括：访问视频内容，所述视频内容包括如果被完全解码将延伸超出观众视野的一系列帧，且其中每个编码的帧包括多个编码的分区；确定所述观众的视野；识别至少部分在所述视野内的所述第一帧的一个或多个分区；解码所述第一帧的所述一个或多个分区，而不解码不在所述视野内的所述第一帧的所述分区中的一个或多个；和显示所述第一帧的所述一个或多个解码分区，使得显示所述第一帧的所述部分，且其中在回放期间解码少于所述第一帧的所有且显示少于所述第一帧的所有。

Description

用于回放全景视频内容的系统和方法
相关申请案的交叉引用
本申请是2014年7月24日提交的Rathish Krishnan的标题为“SYSTEM AND METHODFOR USE IN PLAYING BACK PANORAMA VIDEO CONTENT”的美国专利申请案14/340,152的延续并主张所述申请案的权益，所述申请案主张2014年7月14日提交的Rathish Krishnan的标题为SYSTEM AND METHOD FOR USE IN PLAYING BACK PANORAMA VIDEO CONTENT的美国临时申请案62/024,354的权益，所述两个申请案的全部内容和公开内容全文以参考的方式由此完全并入本文。
背景
1.发明领域
本发明一般涉及多媒体内容，且更具体来说涉及配置多媒体内容。
2.相关技术论述
用户可获得大量视觉多媒体内容。此内容中的一些旨在通过虚拟的环境来查看。类似地，一些内容包括如果被完全显示则会延伸超出用户当前视野的图像和/或帧。用户通常必须更改其视野位置和/或定向，以查看延伸超出用户视野的帧的其他区域。
发明概要
一些实施方案提供回放多媒体内容的方法，包括：访问视频内容，所述视频内容包括被配置以按顺序回放的视觉内容的一系列帧，其中所述一系列帧中的每个帧如果被完全解码将延伸超出观众视野，且其中每个编码的帧包括多个编码的分区；在显示第一帧的部分之前，确定观看所述视频内容的所述观众的视野；根据所述视野来识别至少部分在所述视野内的所述第一帧的一个或多个分区，且其中在显示所述第一帧的所述部分时，所述观众可见所述一个或多个分区的至少一部分；解码至少部分在所述视野内的所述第一帧的所述一个或多个分区，而不解码不在所述视野内的所述第一帧的所述分区中的一个或多个；和根据所述视频内容的回放定时并对应于将显示所述第一帧的时间，显示所述第一帧的所述一个或多个解码分区，使得显示所述第一帧的所述部分，且其中在回放期间解码少于所述第一帧的所有且显示少于所述第一帧的所有。
另外，一些实施方案提供编码视频内容的方法，包括：访问视频内容，所述视频内容包括视觉内容的多个帧，其中所述多个帧中的每个如果被完全显示将延伸超出观众视野；当所述帧是呈等矩(equirectangular)格式时，将直线投影应用到所述多个帧中的每个帧；将所述帧中的每个分成多个相邻分区，使得帧的所述多个相邻分区在所述直线帧的整个区域上延伸；和对于所述多个帧中的每个帧，编码所述多个分区中的每个，使得帧的每个分区可独立于所述帧的所述其他分区解码。
附图简述
本发明的若干实施方案的上述和其他方面、特征和优势将自结合以下图式展现的本发明的以下更具体描述而变得更加明显。
图1A示出根据一些实施方案的相对于虚拟区定位的用户或观众的简化透视图，全景内容可在所述虚拟区显示和/或对观众而言似乎被显示。
图1B示出根据一些实施方案的相对于图1A的虚拟区定位的观众的简化顶上平面图。
图2示出以等矩格式表示的球面全景内容的示范性图像。
图3示出根据一些实施方案的被分成多个分区的全景帧的简化示范性表示。
图4示出根据一些实施方案的编码全景内容的示范性过程的简化流程图。
图5示出根据一些实施方案的解码并回放内容的示范性过程的简化流程图。
图6示出根据一些实施方案的识别对应于观众预测视野的帧的分区的示范性过程的简化流程图。
图7描绘根据一些实施方案的解码多媒体内容的一序列帧的分区的过程的简化流程图。
图8示出根据一些实施方案的用于实施方法、技术、设备、装置、系统、服务器、来源等以编码和/或解码多媒体内容的示范性电路系统和/或系统。
对应参考字符在图式的若干视图中指示对应的组件。技术人员将理解，图式中的元件是为了简单和清晰的目的而示出并且不必按比例绘制。例如，图式中的一些元件的尺寸可相对于其他元件夸示，以有助于增强对本发明的各种实施方案的理解。此外，往往未描述在商业上可行的实施方案中使用或必需的常见但容易理解的元件，以促进本发明的这些各种实施方案的较少阻碍的视图。
详细描述
以下描述并不以限制性意义采用，而是仅出于描述示范性实施方案的一般原理的目的。本发明的范围应参照权利要求书来确定。
贯穿本说明书对“一个实施方案”、“实施方案”、“一些实施方案”、“一些实现”或类似语言的提及意味着结合实施方案描述的特定的特征、结构或特性被包括在本发明的至少一个实施方案中。因此，贯穿本说明书短语“在一个实施方案中”、“在实施方案中”、“在一些实施方案中”和类似语言的出现可能但不一定都代表相同的实施方案。
另外，本发明的所述特征、结构或特性可用任何合适的方式在一个或多个实施方案中组合。在以下描述中，提供许多具体细节，诸如编程、软件模块、用户选择、网络交易、数据库查询、数据库结构、硬件模块、硬件电路、硬件芯片等的实例，以提供对本发明的实施方案的透彻理解。然而，相关领域技术人员将认识到，可在不具有具体细节中的一个或多个的情况下实践本发明，或使用其他方法、组件、材料等来实践本发明。在其他实例中，未详细示出或描述已知结构、材料或操作，以免模糊本发明的方面。
许多系统显示延伸超出观众当前视野(FOV)的内容。例如，许多系统显示全景内容。此外，在至少一些实例中，全景内容可旨在在观众周围虚拟延伸360度，使得当观众转动时，观众可查看内容的其他部分。作为一个非限制性实例，全景内容可通过头戴式显示器(HMD)显示给观众。在任何时间点，观众通常仅可基于观众视野查看全景内容的一部分。当观众移动(或发出改变视野的指令)时，观众视野内变得可见的全景内容的部分根据观众的移动(或指令)而发生变化。
图1A示出根据一些实施方案的相对于虚拟区114定位的用户或观众112的简化透视图，全景内容可在所述虚拟区114显示且/或对观众而言似乎被显示。图1B示出根据一些实施方案的相对于图1A的虚拟区114定位的观众112的简化顶上平面图。参考图1A-1B，在这个表示中，全景内容旨在围绕观众横向延伸360度。在一些实例中，全景内容可向观众进一步延伸或虚拟延伸，诸如对观众而言似乎垂直延伸大约180度(从视角延伸+90到-90度)和/或围绕观众延伸360度。
观众112具有有限的视野(FOV)116。在具有全景内容的许多实例中，观众视野116仅延伸横跨一定百分比的全景内容，且往往通常少于50％的全景内容。在具有许多显示系统的情况下，观众可移动她/他的头部和/或身体(或者使内容滚动)来改变她/他视野的位置，从而当显示全景内容时看到全景内容的其他部分。
具有360度水平视野和180度垂直视野的全景内容(诸如，全景视频内容)向观众提供完整的环境视图和改变她/他的视野116以从任何方向查看全景内容的部分的自由。创建这种全景内容通常采用从相同位置指向不同方向的多个摄像机的使用。然后可使用图像处理算法将每个摄像机捕获的图像缝合在一起，以使图像对齐并消除重叠。
可取决于预期的使用情况来用不同格式创建全景内容。例如，在某一全景内容一个方向上具有较大视野而在其他方向上具有有限视野的情况下，平面全景或柱面全景可能是合适的，且由显示的平面或柱面全景内容覆盖的整个区域可通过在一个方向上移动或滚动来查看。但对于整个360x180度全景内容，上述全景格式通常不如球面全景格式合适。当用于静止图像或视频帧时，球面全景通常以等矩格式表示，其代表水平轴上360度且垂直轴上180度。
图2示出以等矩格式表示的球面全景内容210的示范性图像。全景内容的水平轴212表示相对于观众位置水平轴上360度。此外，全景内容的垂直轴214表示相对于观众位置垂直轴上180度。通常，在等矩格式图像、帧等中，可见水平曲线且图像210的顶部和底部看上去极其扭曲。当基于观众视野查看全景内容的部分(例如，使用计算机屏幕、头戴式显示器(HMD)等)时，在回放或显示全景内容之前，执行直线投影，以将水平曲线转换成直线。
如上文所介绍，在用于创建视频全景文件的一些技术中，来自多个摄像机的视频帧被缝合在一起，以创建当被显示时延伸超出观众视野的等矩视频帧。类似地，用于创建压缩视频全景文件的许多技术包括：在使用视频压缩格式(诸如H.264/MPEG-4先进视频编码(AVC)、高效率视频编码(HEVC)或其他此类压缩)压缩等矩视频帧之前，缝合来自多个摄像机的视频帧以创建等矩视频帧。为了显示允许观众在观众FOV内(例如，通过HMD)查看全景内容的部分的内容，通常解压整个等矩视频帧，且使用例如直线投影来重新排列每个帧的部分，以补偿等矩格式图像或帧的失真。因此，回放全景视频内容的系统通常必须执行大量的视频处理以解码整个等矩视频帧。
然而，一些实施方案通过指定分区和/或将全景帧分成分区来减少准备回放全景内容时的计算和/或至少解码处理开销。然后可编码这些分区以允许编码的分区之后独立于全景帧的其他片段来解码。
图3示出根据一些实施方案的被分成多个分区312-317的全景帧310的简化示范性表示。在一些实现中，应用直线投影以在编码视频全景之前创建视频全景的帧的多个分区312-317。这样可提供改善的编码效率和更好的图片质量，因为有很少失真或没有失真来影响编码过程，诸如运动估计。在一些实现中，分区是视频帧的非重叠分区。此外，分区允许快速解码，因为个别分区可通常独立于帧的其他分区来解码，且在一些实例中甚至可绕过解码过程。
全景帧310示出图2的等矩图像，但重新创建为六个非重叠分区312-317。例如，基于某一视野，这些分区可通常代表左分区312、前分区313、右分区314、后分区315、顶上或顶分区316和下或底分区317。又，图3中的表示被提供为示出六个分区的非限制性实例。其他实施方案可将帧和/或图像指定或限定为更多或更少的分区。例如，在一些实现中，全景帧可被分为4个分区、12个分区、24个分区、60个分区或其他数目的分区。所使用的分区的数目可取决于许多因素，诸如但不限于，回放设备的处理能力、所需延时、全景内容的视野(水平和垂直)、显示器的视野(水平和垂直)、与分区相关的开销、可用存储空间、可用存储器、可用带宽和/或预测为可用的带宽和其他此类因素或这些因素的组合。例如，分区的数目可被限制，因为标头信息和/或通常与编码比特流所使用的每个分区相关联的其他信息的量增加，这可降低压缩效率(例如，其中内容通过分布式网络流传输)。在一些实现中，当内容的帧呈等矩格式时，分区可根据直线投影(例如，可使用六个直线投影来生成六个分区)来限定。在其它实施方案中，直线投影限定的帧的部分可进一步被限定为额外的片段。类似地，当未使用直线投影时，帧被分为多个相邻分区。又，在一些实施方案中，帧的多个相邻分区在帧的整个区域上延伸。
一些实施方案进一步被配置以限定帧的不同分区以具有不同形状和/或大小，或以其他方式在全景帧的不同量区域上延伸。例如，在一些实施方案中，沿着从观众横向延伸的帧的一个或多个部分限定的分区可被分成多个矩形分区，所述矩形分区被定向成使得长边沿Y方向延伸(对于用户视野而言为虚拟的)；而沿着从观众水平延伸的帧的一个或多个部分限定的分区被分成多个矩形分区，所述矩形分区被定向成使得长边沿X方向延伸。此外，分区可被编码为单独的比特流，其中相同比特流内具有不同的分区大小。在一些实现中，应用的类型和全景内容可影响确定分区的数目和/或大小且通常可为确定分区的数目和/或大小的重要因素。在许多实例中，用户沿X方向查看要比沿Y方向查看多。因此，一些实现将沿X方向的分区的尺寸限定为比沿Y方向的尺寸小，这样可以提供更高的效率。此外，用于创建比特流的编码标准也可影响分区的定向。
图4示出根据一些实施方案的编码全景内容的示范性过程410的简化流程图。在步骤412，访问全景内容，诸如全景视频内容。通常，视频内容包括被配置以供显示的视觉内容的多个帧，且所述多个帧如果被完全显示将延伸超出观众视野。
一些实施方案包括可选步骤414，其中当帧呈等矩格式时，直线投影被应用到多个帧中的每个帧。又，直线投影可至少部分改善编码效率和图片质量，因为可减少和/或消除可影响编码过程的失真，诸如运动估计。此外，在许多实现中，多次对每个等矩格式的帧应用直线投影，以生成帧的分区或帧分区的部分。例如，可向全景帧六次应用直线投影，以生成分区312-317(如图3示出)，而在其它实现中，可应用直线投影多于或少于六次。更进一步，在一些实现中，来自直线投影的每个投影可进一步被分成帧的额外分区。
在步骤416，限定每个帧的分区，和/或每个帧被分成在每个帧上延伸的多个相邻分区，且通常多个分区被限定并且在每个帧的整个区域上延伸。在一些实施方案中，如上文所述，可至少部分使用直线投影以生成分区。在其它实施方案中，直线投影生成的帧的部分可被分成进一步的分区。分区的数量可取决于如上文和下文进一步所述的一个或多个因素。例如，分区的数量可取决于回放设备的预测解码和/或其他图形处理能力、存储器能力、预期带宽、延时问题等。在一些实现中，全景内容是新创建的和/或接收自多个摄像机。来自每个摄像机的时间同步帧可被进一步处理以消除重叠，且然后被分成分区。如上文所述，在一些实施方案中，分区可为直线分区。
在步骤418，编码多个帧中每个帧的多个分区中的每个。在一些实施方案中，实现编码，使得对于给定帧，每个分区被配置以独立于帧的其他分区而解码。应注意，给定帧的一个或多个分区可取决于和/或参考一个或多个其它帧的一个或多个分区。例如，一个或多个帧可被编码为P-帧(预测图像)、B-帧(Bi-预测图像)和/或其他此类帧，且同样地解码时，所述一个或多个分区可参考一个或多个其它帧的一个或多个分区。在一些实现中，每个分区被编码为直线视频帧的单独压缩比特流。类似地，在一些实施方案中，分区可用不同的分辨率来编码，其中每个不同分辨率分区被配置为单独的比特流。在其它实施方案中，分区可用多个分辨率来编码，其中分区的多个分辨率包含在单个比特流中。例如，此类内容流可根据可伸缩视频编码(SVC)标准或其他此类编码来编码。
在一些实施方案中，分区中的一些或全部被布置在单个比特流中并被编码，同时允许每个分区之后独立于同一帧的至少其他分区而解码。例如，在一些实现中，分区被限定为一个或多个切片，例如H.264和HEVC中使用的切片。另外或替代，当应用HEVC编码时，一些实施方案基于一个或多个分块(tile)来限定分区。类似地，在一些实施方案中，分区被布置为垂直条，其中每个分区根据H.264编码被编码成一个或多个切片。在编码过程中，一些实施方案限定使用多少切片和/或分块以及切片和/或分块的结构。一旦每个分区被编码成切片或分块，那么在许多实例中，每个切片就被配置为独立于其他切片或分块来解码。
另外在解码时，在许多实施方案中，当帧由另一帧参考时，整个被参考的帧并不需要被解码。相反，类似于感兴趣的帧的解码，只有正在被参考的参考帧的那些部分才需要被解码。一些实施方案进一步将第一帧的分区的参考限于被参考的第二帧的对应分区。例如，一些实施方案修改编码器来将运动估计搜索范围限于分区边界附近，以试图限制或防止帧的运动向量来参考所参考帧的另一分区中的一个或多个像素。另外或替代，一些实施方案利用切片，这通常限制或防止运动向量穿过切片之间的边界。类似地，在一些实现中，对于I-图像的预测被限定为不穿过切片边界。其它实施方案被配置以生成分区中一些或全部的单独的比特流，这可限制或避免第一帧的分区参考参考帧的不同分区。
一些实施方案进一步通过增加在执行解码时独立于其他帧和/或以其他方式不参考其他帧的帧的数量来改善编码。例如，在一些实现中，编码包括比起通常被编码的并入和/或增加I-帧(帧内编码图像帧)的数量。所增加数量的I-帧至少部分允许这些I-帧的分区被独立地解码而不需要参考一个或多个其他帧。此外，在一些实现中，增加数量的独立或非参考帧改善了质量。所述增加可使得独立或非参考帧每10-20帧被编码一次，且在一些实例中每2-4帧被编码一次。或者，一些实施方案将每个帧编码为I-帧或其他类似编码，使得在解码帧的一个或多个分区时，每个帧并不参考或取决于另一帧。增加数量的I-帧可导致数据和/或数据处理量增加。然而，因为解码是在分区上执行且并不需要解码帧的所有分区，所以解码增加数量的I-帧的处理并不会对解码过程造成不利影响，且通过减少被解码的帧的量来至少得到补偿。
类似地，在一些实施方案中，在具有比典型分辨率高的分辨率的帧上实现编码。由于解码整个全景帧所需的处理开销，故以前的系统通常具有有限的能力来处理更高的分辨率。然而，如上文所述，一些本发明的实施方案将解码限于帧的一个或多个分区，使得解码少于整个帧。因此，因为执行较少的解码，所以可编码较高分辨率帧，而通常不会对解码、回放速度和/或回放设备的性能造成不利影响。类似地，一些实施方案以针对一个或多个帧(或每个帧)分辨率高于预测为可由预期回放设备解码的分辨率访问视频内容，并编码一个或多个帧的分区，其中期望解码少于帧的所有分区。
一些实施方案可用不同分辨率来进一步编码一个或多个帧的一个或多个分区。例如，在一些实例中，可预期活动分区(例如，基于以前的观众、基于预期的聚焦点等)，且可用较高分辨率来编码活动分区和邻近分区，而可用较低分辨率来编码那些预期为没有这么感兴趣和/或频繁查看的分区。在其它实现中，帧的一个或多个分区可用最大分辨率来编码，且也可用一个或多个较低分辨率来编码。例如，用第一分辨率(例如2560x2560)来编码的分区(或整个帧)可用一个或多个较低分辨率来编码，例如用1280x1280、640x640、160x160或其他这样的降低的分辨率来编码。在回放期间，当分区不在视野内时(或在视野的周边，或以其他方式被认为是不如一个或多个其他分区重要)，可选择较低分辨率分区中的一个来解码而不是高分辨率分区，从而减少处理和/或存储器开销。因此，可用较高分辨率来解码帧的一个或多个分区，同时在较低分区来解码帧的一个或多个分区。此外，可跳过且不解码帧的一个或多个分区。
在一些实现中，识别被确定为在视野内(或在视野的阈值内)的帧的一个或多个分区，且解码内容(例如，比特流)的那些分区的较高或最高分辨率版本以生成将要显示的像素，同时选择一个或多个其他分区来使用分区的较低分辨率版本解码。例如，分区的较低分辨率版本可用于解码远离视野(例如，固定距离、阈值距离、取决于预期移动的距离等)的帧的区域。一些实施方案使用I-帧和/或将I-帧编码成分区和/或帧的较低分辨率和较高分辨率版本之间的过渡点。较低分辨率分区继续降低显示内容的处理和/或存储器需求。
仍参考图4，在步骤420，生成一个或多个分区映射，其在一些实施方案中限定了帧的每个分区和同一帧的一个或多个其他分区之间的相对位置关系。在一些实施方案中，对于每个帧单独地生成映射。在其它实施方案中，一个或多个映射覆盖多个帧，且在一些实例中对于内容生成单个映射，其中映射向每个帧中的分区提供映射信息。一些实施方案被配置以明确地限定映射，而其他实施方案可被配置以另外或替代性地例如通过解码器来推断映射。在推断映射时，一些实施方案利用分区定位的知识，例如，其中每个分区被配置为单独的流。解码系统可确定或可具有哪个流对应于对应位置(例如，顶、右、左等)的知识。解码系统然后可自己计算邻近映射和分区映射。这在视野和全景类型是固定的封闭系统中可特别相关。
此外，在一些实施方案中，坐标信息在映射每个帧时被限定，且通常在整个帧上延伸。坐标和/或边界从帧的分区中每一个的坐标信息来识别。例如，可在从直线投影限定的分区上限定第一和第二轴，并识别限定每个分区的边界的坐标。另外，在一些实现中，坐标信息在帧之间是一致的，而在其它实现中，坐标信息可取决于帧(例如，帧的预定义角被指定为指定坐标信息的来源)。在一些实施方案中，映射识别分区位置信息，其可包括坐标信息、分区之间的位置关系，所述映射识别邻近分区和/或其他此类位置信息。例如，对于帧的每个分区，映射可被配置以识别邻近分区和使帧的每个分区与每个邻近分区关联的限定位置关系。
在一些实施方案中，对于多个帧中的每一个，映射限定每个帧的多个分区，使得多个分区在整个帧上延伸。又，在一些实现中，对于帧的每个分区，识别邻近分区，且映射使帧的每个分区与每个邻近分区关联。例如，再次参考图3的六个分区312-317的简单实例，当全景帧旨在围绕用户延伸360度并垂直于用户至少180度(+90到-90度)时，每个分区具有四个邻区。一些实施方案将活动分区识别为占据大部分显示器的分区。更进一步，在一些实施方案中，当分区参考一个或多个先前或后续帧的一个或多个分区(例如，P-帧或B-帧的分区)时，映射限定在一个或多个先前或后续帧中的一个或多个分区。
另外，在许多实现中，全景内容被配置以从用户横向360度、垂直于观众180度和/或围绕观众球状360度地查看。如上文所介绍，在一些实现中，从直线投影限定帧的分区(例如，见图2)。因此，在一些实施方案中，映射进一步限定帧的两个或更多个分区的包覆和/或邻近分区，使得当显示相关分区时，随着观众改变她/他的视野，相关分区对于观众而言似乎为连续内容。例如，一些实施方案识别帧的边界(例如，帧的直线投影的边界)。识别对应于帧的边界的帧的多个分区的两个或更多个边界分区。
在一些实施方案中，映射可进一步被配置以将分区的边界限定为相邻，从而限定有效360度帧。作为进一步的实例，可识别多个分区的两个边界分区，其中两个边界分区的第一分区具有对应于帧的第一边界的边界而两个边界分区的第二分区具有对应于帧的第二边界的边界。基于限定边界分区，映射可限定第一边界与第二边界相邻，从而限定有效360度帧，使得第一边界帧被限定为与第二边界帧相邻。例如，回头参考图3，第一分区312的第一边界320可被限定为与第二分区315的第二边界322相邻，使得第一分区312被限定为与第二分区315相邻。此外，一些实施方案获得分区的像素数据，所述像素数据用以确定和/或生成纹理，所述纹理也可被映射到多边形或3D模型上。在一些实例中，纹理被映射到立方图上，且针对将要被显示的那些分区，每帧纹理更新。
在一些实施方案中，限定映射以对应于用户移动和/或显示移动指令。可使用移动信息来确定和/或限定视野。例如，一些映射使用以下信息来限定视野：
·摇摄(有时称为偏航)，其通常与用户(或摄像机)的视野围绕用户(或摄像机，诸如安装摄像机的三脚架轴)的旋转有关地限定。可限定参考帧，诸如将0度限定为向前、将+90度限定为向右、将-90度限定为向左，且将180(或-180)限定为向后。此外，可将摇摄＝0度限定为全景内容的中心。
·倾斜(有时称为俯仰)，其通常与用户(或摄像机)的垂直旋转有关地限定。当用户(或摄像机)水平时倾斜可被限定为等于0度、当视角完全向上移(例如，面向用户头顶或面对天空)时倾斜可被限定为等于+90度，且当视角完全向下移(例如，面向用户的脚)时倾斜可被限定为等于-90度。
·滚转，其通常与围绕穿过视野中心的轴的旋转(或围绕摄像机的镜头轴的旋转)有关地限定。可限定滚转旋转，使得当滚转是正向时图像顺时针旋转；且当滚转旋转是负向时图像逆时针旋转。
一些实施方案在解码内容和/或内容的流之前限定摇摄、倾斜和滚转映射。此外，一些实施方案在限定摇摄、倾斜和滚转映射时考虑到用于帧内的子分区的数量和/或显示系统的光学器件(例如，HMD的光学器件)，这可在解码流之前建立。基于确定的摇摄、倾斜和/或滚转，摇摄、倾斜和滚转值的范围可被映射到将在视野内的一个或多个特定分区。一些实施方案进一步限定或确定每个分区的摇摄、倾斜和滚转的角极限值。使用这种知识，映射可被限定为包括从例如来自HMD的传感器数据(或来自键盘、游戏控制器等的移动命令)查看摇摄、倾斜和滚转值，且通过将它与这些极限值作比较，可设置指示哪些分区将被解码或不解码的一个或多个旗标。一些实施方案另外限定多个帧和/或整个序列的映射，且不需要在逐帧的基础上进行。在一些实现中，映射可进一步使用摇摄、倾斜和滚转信息来限定邻近分区。另外或替代，映射指定邻近分区和/或邻近规则，其在一些实例中可能减少计算。
又，因为视野仅在全景帧的部分上延伸，所以通常解码少于所有分区。可使用映射来选择将要解码帧的哪些分区而不解码其他分区。在一些实施方案中，不解码的那些分区的确定可基于相对于确定视野的阈值关系。例如，一些实施方案解码被预测为至少部分在视野内的那些分区。其它实施方案可使用阈值且不解码相对于当前视野超过阈值距离、角度等的那些分区。例如，在六个分区的简单情况(诸如图3示出)中，当检测到大于+45度的倾斜时，底分区317可未被解码。类似地，当倾斜为-45度或以下时，顶分区316可不解码。
通常，以高分辨率和高显示帧速率中的一者或两者来提供全景内容(例如，使用HMD、高清显示器等查看的内容)，以向观众提供优质体验。在许多显示大型格式内容的以前的系统中，需要在可显示视频帧之前解码整个帧的一个或多个压缩比特流。视频比特流可被解码的速率取决于若干因素，包括但不限于解码器亮度采样率。解码器亮度采样率对应于视频解码器每秒钟将要处理的亮度像素样本的数量。通常，在其他因素保持相同的情况下，解码速度随着解码器亮度采样率的增加而降低。一些实施方案在降低每个子分区中亮度像素的数量的同时增加了帧的分区的数量。这样可至少有助于允许跳过对全景帧的较大区域的解码过程。这样可进一步允许系统降低解码器亮度采样率，从而实现更高的帧速率、更高的分辨率全景或这两者。
如上文所介绍，完全解码等矩视频帧使得只有将要被显示的解码帧的一部分效率低下。即使使用切片或分块来编码等矩帧，亮度采样率也将取决于正被查看的全景帧的区域而改变。此外，当试图查看全景帧的顶部和底部时，通常需要解码更高数量的样本，这可导致解码器的减速。
又，然而，一些实施方案基于帧的分区来编码内容，且被解码的每帧分区的数量基于观众视野和/或预期视野而受到限制。并不需要解码帧的所有分区来显示全景帧的一部分。此外，在一些实现中，每个分区(例如，直线分区)可独立于同一帧的其他分区来解码。这样允许以一种可预测的方式来识别应在回放期间的任何时刻被解码的分区的最小数量。观众不可见的帧的分区可经常被跳过且不解码。因此，解码器亮度采样率经常保持相对一致而不管正查看的全景的分区如何。
图5示出根据一些实施方案的解码并回放内容的示范性过程510的简化流程图。在步骤512，访问编码的视频内容。视频内容包括被配置以按顺序回放的视觉内容的一系列帧，其中所述一系列帧中每个帧如果被完全解码将被配置以延伸超出观众视野。例如，内容可为全景视频内容，所述全景视频内容被配置以当显示时对于观众而言似乎围绕观众横向延伸360度和/或垂直于观众延伸180度或更多。此外，每个编码的帧包括帧的多个编码的分区。
在步骤514，确定查看视频内容的观众的视野。通常相对于所显示内容的定向来确定视野是否在计算机显示器、电视、显示器、虚拟地通过HMD、三维显示屏幕上等。在某一实现中，在显示每个帧的一部分之前，确定每个帧的视野。此外，一些实施方案另外可例如基于观众的移动(例如，来自一个或多个传感器)、观众控制命令和/或可至少相对于内容改变观众视野的其他此类信息来确定观众的预测视野。
在步骤516，识别对应于和/或至少部分在所确定和/或预测的视野内且在显示帧的部分时观众可见的一个或多个帧的一个或多个分区。在许多实施方案中，在视频内容的回放期间相对于每个帧识别视野，且根据识别的对应视野来识别每个帧的分区。通常，解码少于帧的所有分区。一些实施方案进一步访问分区映射，所述分区映射限定分区定向和/或帧的多个编码的分区中每一个的位置信息和多个编码的分区上的坐标信息。分区映射可相对于视野来评估，以识别将要解码和/或在当前或预测视野内的编码的分区。在一些实施方案中，可识别对应于视野的坐标信息的坐标，且可识别至少部分在对应于视野的所识别坐标内的帧的一个或多个编码的分区。
当确定分区是否在视野或预测视野内时，可考虑一个或多个阈值。在许多实例中，只有分区的一小部分可能实际上在视野内。因此，一些实施方案相对于一个或多个阈值(例如，宽度阈值、面积阈值等)来评估在确定视野内的分区的量(例如，宽度、高度、面积等)，并且确定视野内的分区的量是否与面积阈值具有预定义关系。例如，当帧的一个或多个编码的分区在视野内和/或对应于视野的识别坐标内具有至少阈值量的分区时，识别将要被解码的分区。在预测到少于阈值区域的分区在视野内的那些实例中，一些实施方案并不解码分区。例如，当显示帧的一部分时，一些实施方案包括稍大的边界，或者可稍微移动正被显示的分区以补偿未显示非解码分区的相对较小区域的事实。例如，其他实施方案比起之前的帧简单地显示了帧的稍微减少大小的部分。阈值可取决于一个或多个因素，诸如帧的显示部分的分辨率、视野的大小、帧的分区的区域或大小、相对于阈值考虑的分区的区域或大小和其他此类因素。一些实施方案通过使用来自解码部分的一个或多个的数据补偿否则将在视野内的未解码分区的部分，例如，以填充视野内帧的剩余部分。另外或替代，由于所述填充的部分将极有可能呈周边视觉形式，故可使用诸如重复来自当前帧或之前帧的像素的技术、诸如帧扭曲的技术，或者可使用其他此类技术或此类技术的组合来补偿否则将在视野内的未解码分区的部分。
在步骤518，解码至少对应于识别视野的帧的一个或多个识别的编码分区，且在显示观众可见的第一帧的部分时，观众将可见所述分区。又，解码少于帧的所有分区，使得解码少于帧的所有。此外，被解码的分区对应于观众的当前和/或预测视野，使得其至少部分在视野内。在一些实施方案中，解码包括解码足以生成视野内的第一帧的那些分区的像素数组的像素数据且使用对应的一个或多个像素数组生成纹理数据的数据。一些实施方案确定在之前帧中解码的一个或多个分区不再在视野内，并且可防止解码视野内的分区时解码一个或多个分区。一些实施方案并入高级语法解码过程(诸如切片标头)。在此类实施方案中，对于不在视野内的分区，只可执行高级语法解码，而不执行计算密集型过程，诸如解码宏块数据、残留数据和/或其他这种密集型解码过程。
如上文和下文进一步所述，在一些实例中，可解码多于仅直接对应于当前视野和/或至少部分在当前视野内的那些分区和/或那些帧。例如，在一些实施方案中，观众的移动可允许观众视野的位置将很快改变以包括当前并不直接对应于当前视野的一个或多个其他分区的预测。因此，也可解码这些一个或多个其他分区，以预期这些分区相对于当前或后续帧显示。
此外，在一些实现中，并非旨在相对于当前帧直接显示的当前帧的一个或多个分区也可被解码，例如，因为一个或多个帧参考当前帧的分区(例如，作为B-帧或P-帧的分区)。因此，分区的解码可进一步考虑到将要显示的后续帧的预测分区和这些分区是否参考了当前帧的一个或多个分区。另外或替代，分区的解码也可包括识别当前帧的分区参考一个或多个先前或后续帧的一个或多个分区，和促使解码一个或多个先前或后续帧的一个或多个分区。然而，在步骤518，通常解码少于当前帧的所有，使得并不解码在向观众显示当前帧时不可见的当前帧的一个或多个编码的分区。更进一步，在解码帧的一个或多个分区时，可确定在先前帧中解码的帧的第一分区不再在当前视野内，且可防止当解码将被显示的其他编码的分区时解码第一分区。
在步骤520，显示观众可见和/或对应于视野的当前帧的一个或多个解码分区。在许多实例中，根据视频内容的回放定时且对应于基于所述定时将要显示相关帧的时间来显示帧的分区。又，解码并显示对应于观众视野的帧的那些分区导致仅解码并显示当前帧的一部分，且在回放期间解码并显示少于当前帧的所有。在许多实例中解码少于25％的帧，且在一些实例中，在一些帧中，解码少于84％的帧。例如，某一解码可导致在大约90度水平和垂直视野下解码有限数量的分区。作为进一步实例，在一些实现中，可仅解码并显示在帧上限定的总共12个分区中的3个分区，而其他实现可解码在帧上限定的总共6个分区中的5个分区。这样允许增强对全景内容的解码和显示。此外，可减少延时且/或可提高显示质量。
图6示出根据一些实施方案的识别对应于观众预测视野的帧的分区的示范性过程610的简化流程图。在步骤612，接收对应于观众视野的视野定向信息。可从一个或多个传感器、图像检测系统、声系统、其他此类系统或此类系统的组合接收定向信息。定向信息对应于观众视野的当前位置、用户的移动和/或观众相对于帧的相对定向、指示视野中移位的命令和/或造成观众视野的位置和/或定向的改变的其他此类信息。定向信息可包括例如坐标位置、定向、沿任意轴的加速度和/或速度、倾斜、俯仰、偏航、滚转等。一些实施方案包括和/或接收来自一个或多个传感器或提供用以确定相对位置和/或移动的信息的其他设备的信息。例如，一些实施方案包括和/或接收来自一个或多个加速计、陀螺仪、倾斜传感器、光传感器、图像捕获电路系统或系统(例如，摄像机、视频摄像机等)、麦克风阵列、声雷达、其他此类设备的信息或来自此类设备的组合的信息。更进一步，信息可通过用以控制帧的什么部分在观众视野内的方向指令和/或命令(例如，来自鼠标、触摸屏、按键、按钮、远程控件、其他此类设备或此类设备的组合)来接收。为简单起见，这个信息通常被称为定向信息，且本领域熟练技术人员应理解，此类信息可包括位置、定向、加速度、速度、倾斜、俯仰、偏航、滚转、方向指令和/或其他此类相关信息。
定向信息用来检测和/或确定当前视野、影响观众视野的移动和/或缺乏移动。又，移动可为观众移动她的头部(例如，当使用头戴式显示器(HMD)时，观众位于靠近显示器等)，接收指示相对于全景帧的视野位置的移动或其它此类移动或此类移动的组合的命令(例如，来自键盘、远程控件、触摸屏等)。例如，将要解码的全景帧的分区和那些可跳过的分区可基于来自HMD的定向信息来识别。HMD可包括运动传感器以在3D空间中识别HMD的位置和方向。这个定向信息可用以识别观众目前关注于全景帧的哪些分区和/或预测HMD在不久的将来的位置和/或定向(例如，基于头部移动的测量的速度和/或加速度和将位置数据外推成时间位置)。
在步骤614，在将要显示帧的一部分时基于定向信息来确定和/或预测观众视野的定向和/或位置。当未检测到移动时，通常预测视野在一个或多个帧上保持不变。在检测到移动的那些实例中，可评估定向信息以基于将要显示一个或多个帧时的定时来确定将要显示帧时视野的位置。这个评估可考虑加速度、速度、移动方向(可为二维或三维)等。此外，基于将要显示帧时的定时来预期视野的相对位置和/或定向。一些实施方案使用定向信息来外推视野的预测位置和/或定向，所述定向信息通常包括当前位置和一个或多个先前位置。又，定向信息可从一个或多个命令(键盘输入、远程控制信号、游戏控制器控制信号、鼠标信号等)和/或从传感器获得，且基于定向信息，可预测视野位置(例如，基于头部移动的测量的速度和加速度和外推定向信息和/或数据来预测HMD在不久的将来的位置)。
在一些实施方案中，视野位置和/或预测位置可基于摇摄、倾斜、x-y-z坐标和/或其它此类信息来限定。例如，根据一些实现在具有HMD的情况下，摇摄和倾斜是HMD相对于X和Y轴形成的角度。使用至少这两个参数，可识别对应于视野的当前和/或预测位置的分区。可解码这些识别分区以显示该特定查看方向的像素。作为参考图3的进一步实例，在一些实现中，当倾斜大于45°时，然后可跳过底分区317的解码，且当倾斜小于-45°时，可跳过顶分区316的解码。类似地，摇摄角度的值可用以选择性地忽略左分区312、前分区313、右分区314和后分区315中一个或多个的解码过程。
在步骤616，相对于观众视野的预测位置和/或定向来评估将要显示的帧，和/或预测当将要显示帧以识别要显示的帧的一个或多个分区时观众视野的位置改变。通常，视野在帧的两个或更多个分区的至少部分上延伸。因此，可启动对当显示对应于视野的帧的相关部分时识别的一个或多个分区的解码。例如，一些实施方案确定预测到观众视野改变以包括尚未显示的后续帧的一个或多个其它编码的分区的至少一部分。在一些实例中，后续帧的一个或多个其他分区在位置上对应于未相对于显示第一帧的分区解码的先前第一帧的一个或多个分区。
此外，一些实施方案考虑分区的阈值量或区域是否被预测为在视野内。视野的预测位置和/或位置改变允许选择少于帧的所有分区且解码少于帧的所有，这样可降低处理需要，提供减少的延时，潜在地降低存储器需求，允许一个或多个帧具有更大的分辨率，允许增大的帧速率，允许增大数量的独立帧，其它此类优势或此类优势的组合。预测视野的位置允许解码电路系统和/或解码系统确定预测观众视野移位以包括尚未显示的一个或多个帧的一个或多个编码的分区的至少一部分。当视野位置移位时，所选分区通常包括对应于当前帧中不被显示的当前帧的一个或多个分区的一个或多个分区。
当预测观众视野的位置和/或定向时，一些实施方案进一步并入误差余量。例如，一些实施方案可被配置以和/或提供被激活而操作的选项，使得正确性比延时具有更高的优先级。所应用的误差余量的量或度可取决于许多因素，诸如但不限于可用于执行解码的空闲周期、预测延时、存储器空间和/或其它此类因素。另外或替代，当时间和/或资源可用时，一些实施方案应用误差余量。例如，一些系统(例如，低延时系统)可指定完成解码的时间限制。此类系统可被配置以确定在完成最小指定解码之后是否有时间和/或至少阈值量的时间，且当有时间时可启动一个或多个另外的分区的解码以提供误差余量。或者，当没有更多的时间或足够的空闲周期时，在视野的预测位置和/或定向不准确的情况下，可通过填充、隐蔽、较少地显示帧的部分等来补偿误差。
一些实施方案另外或替代地向视野的预测位置和/或定向应用范围(例如，摇摄、倾斜、滚转等的范围)。类似地，一些实施方案评估速度和/或加速度并应用以识别速度为中心的速度范围和/或以识别加速度为中心的加速度范围来执行计算以预测视野位置。这可导致识别事实上比观众实际视野大的估计视野。
如上文所述，预期为在视野内的第一帧的预测分区中的一个或多个可参考先前或后续帧的一个或多个分区(例如，当第一帧为P-帧或B-帧时)。因此，一些实施方案进一步识别第一帧的一个或多个分区参考的先前和/或后续帧的一个或多个另外的参考分区。在许多实例中，先前和/或后续帧的这些一个或多个另外的分区在位置上对应于第一帧的一个或多个预测分区。这些另外的分区中的一个或多个可能并不对应于针对先前和/或后续帧识别或预测的视野，但因为预测分区参考了另外的分区而可被解码。然后先前和/或后续帧的一个或多个另外的分区可被解码，且在一些实例中与当将要显示那些帧时在视野内或预测为在视野内的那些帧的其他分区一同被解码。这样允许当解码第一帧的一个或多个预测分区时解码器参考一个或多个先前和/或后续帧的一个或多个另外的分区。
此外，一些实施方案预测观众视野的相对位置将在对应于将要显示后续帧的时间(通常在回放定时之后)时改变并确定观众视野相对于后续帧的预测位置。基于观众视野的预测位置，识别预期将至少部分在观众视野的预测位置内的后续帧的一个或多个预测分区。在解码后续帧的分区时，响应于预测观众视野的相对位置的改变而解码后续帧的至少一个或多个预测分区。
此外，一些实施方案考虑比特率、分辨率和/或在确定定时时的其它此类因素。例如，在具有预定或限定比特率和分辨率的情况下，I-帧的解码时间通常并不跨比特流改变太多。类似地，P-帧花费类似的时间量来解码。因此，已知解码器的性能和/或定时，且可根据比特率和分区的特性(例如，I/P/B、分区中宏块的数量、分区中I/P/B宏块的数量比等)来估计解码分区的时间。此外，在已知解码器性能的情况下，一些实施方案被配置以预测开始解码后续帧的分区所花的时间。使用来自传感器的位置和运动数据，可预测在当前或未来时间点的FOV的位置和/或定向。此外，一些实现考虑参考当前被解码的帧的后续帧。例如，当下一个或其他后续帧是参考当前帧的P-帧时，当预测视野的预测定向参考后续帧中对应另外分区时可解码一个或多个另外的分区。另外或替代，一些实施方案使用邻近映射来解码基于另外分区的定向信息或者甚至并不使用定向和/或传感器信息。在一些实例中，当后续帧是I-帧时，不实现对未来帧的预测。
虽然在一些实施方案中可使用未来视野预测来预测后续帧解码可能开始的时间，但是一些实施方案还可应用细化来预测解码可能何时完成和帧将何时准备显示。在一些实施方案中，诸如用于封闭系统中的一些实施方案，显示和/或解码系统的延时、用以呈现帧的分区的硬件和/或库也是已知的。这个延时可并入视野定向确定和/或预测，其可使像素在密切匹配移动命令(例如，HMD运动)的显示器上呈现。在一些实施方案中，这个视野细化可用于当前帧以及未来帧。
图7描绘根据一些实施方案的解码多媒体内容(例如，视频内容)的一序列帧的分区的过程710的简化流程图。在步骤712，启动帧的解码。在步骤714，获得视野定向信息。如上文所述，定向信息可从一个或多个传感器、图像检测系统、移动命令(例如，箭头键激活、鼠标移动等)等接收，且可包括坐标、摇摄、倾斜、滚转、运动(例如，速度、加速度等)、俯仰、偏航、滚转和/或其它此类信息。例如，HMD的传感器可提供可用以确定和/或预测用户视野定向的定向信息。
在步骤716，使用定向信息来确定将要解码的帧的哪些分区在视野内。在步骤718，确定是否启用视野细化处理。如上文所述，一些实施方案还应用细化来预测解码可能何时完成和帧将何时准备显示，并确定至少部分在预测和细化视野内的帧的相关分区。当启用细化时，进入步骤720以在正被解码的帧将要显示时预测视野的定向。通常，使用定向信息中一些或全部(包括位置和运动信息)来预测视野的定向。在步骤722，解码那些在步骤716和/或718中识别为在视野内的分区。
在步骤724，确定当前帧是否参考将要用于解码当前帧的一个或多个其他帧。在当前帧不参考另一帧时，过程710进行到步骤734。或者，进入步骤726以确定正被参考的一个或多个帧的相关分区是否被解码并且可访问与可使用，和/或是否正确解码分区。当已解码参考帧的对应分区时，进入步骤730，其中访问解码图像缓冲区且访问相关分区的相关像素数据。或者，进入步骤732以补偿来自未被解码和/或未被正确解码的分区的缺失的像素数据。补偿可包括应用填充、应用隐蔽和/或其它此类补偿，以填充参考所参考帧的缺失的参考像素数据的当前帧的像素。例如，一些实施方案使用来自先前或当前解码分区的像素来填充显示。在一些实施方案中，当分区的可见部分低于阈值时，激活填充。类似地，一些实施方案被配置以当检测到的运动太不可预测和/或一些预测参考像素不可用时使用来自过去或当前解码分区的像素来填充显示。此外，一些实施方案补偿解码时间并且当确定当前和/或未来帧的视野时应用此校正。
在步骤734，使用解码分区的像素数据来生成纹理并执行图形呈现操作以通过显示系统(例如，HMD)显示可见像素。在步骤736，确定尚未解码的一个或多个其他帧是否参考当前帧。当未参考当前帧时，过程710进行到步骤748。或者，进入步骤738，并且使用先前和/或后续获得的定向信息以及在一些实例中坐标信息、邻近信息和/或其它此类映射信息来预测观众视野的定向并识别预测为在预测视野中的当前帧的分区，其中将要解码参考当前帧的后续帧。
在步骤740，确定是否启动视野细化处理。当启动细化时，过程710进行到步骤742，使用运动、位置和/或其它此类定向信息来在将要显示参考帧时预测视野的定向。在步骤744，解码被预测为在视野内且尚未被解码的所参考分区。在步骤746，解码分区的像素数据被存储在一个或多个缓冲区(例如，每个分区有不同的缓冲区)，以供解码一个或多个后续帧时参考。在步骤748，确定是否将要解码另外的帧。当还有另外的帧时，在一些实施方案中，过程710返回到步骤712。或者，解码在步骤750结束。
本文描述的方法、技术、系统、设备、服务、服务器、来源等可在许多不同类型的设备和/或系统上使用、实现和/或执行。参考图8，示出了根据一些实施方案可用于任何此类实现的系统和/或电路系统800。系统800的一个或多个组件可用于实现上文或下文提到的任何系统、装置或设备，或此类系统、装置或设备的部件，诸如像上文或下文提到的解码器、编码器、显示系统、HMD、显示器、电视、计算机、图像处理器或处理系统、摄像机、传感器、检测器、内容源、检测器处理系统、坐标确定系统、图形处理器和/或发电机系统、控制器、定向跟踪系统等中的任意者。然而，系统800或其任意部分的使用当然是非必需的。
举例来说，系统800可包括控制器或处理器模块812、存储器814和一个或多个通信链接、路径、总线等818。一些实施方案包括用户界面816。包括电源或电源供应840，或者电源或电源供应840与系统800耦接。控制器812可通过一个或多个处理器、微处理器、中央处理单元、逻辑、本地数字存储、固件和/或其他控制硬件和/或软件来实现，且可用以执行或辅助执行本文所述的过程、方法和技术的步骤，并且控制各种通信、程序、内容、列表、服务、接口等。此外，在一些实施方案中，控制器812可为控制系统810的一部分且/或通过访问一个或多个存储器814的一个或多个处理器来实现。在一些实施方案中，控制系统另外或替代包括可为处理器812的一部分或与其分开的图形和/或图像处理器826。图形处理器826访问存储器814，以访问多媒体内容和/或存储处理的图形、视频、图像等。用户界面816可允许用户与系统800进行交互并通过系统接收信息。在一些实例中，用户界面816包括一个或多个显示器822(例如，HMD可为每只眼睛提供一个显示器)和/或一个或多个用户输入件824，诸如远程控件、键盘、鼠标、轨迹球、游戏控制器、按钮、触摸屏等，可为系统800的一部分或者与系统800有线或无线耦接。
通常，系统800还包括允许系统800通过通信总线、分布式网络、本地网络、互联网、通信链接818、其他网络或与其他设备的通信通道和/或其它此类通信或其组合来进行通信的一个或多个通信接口、端口、收发器820等。另外，收发器820可被配置用于有线、无线、光学、光纤光缆或其它此类通信配置或此类通信的组合。
系统800包括具有控制器812和/或图形处理器826的基于控制和/或处理器的系统的实例。又，控制器812和/或图形处理器826可通过一个或多个处理器、控制器、中央处理单元、逻辑、软件等来实现。此外，在一些实现中，控制器812和/或图形处理器826可提供多处理器功能。
可由控制器812和图形处理器826访问的存储器814通常包括由至少控制器812访问的一个或多个处理器可读和/或计算机可读介质，且可包括易失性和/或非易失性介质，诸如RAM、ROM、EEPROM、快闪存储器和/或其他存储器技术。此外，存储器814示出为在系统810内部；然而，存储器814可为内部存储器、外部存储器或内部和外部存储器的组合。类似地，存储器814中一些或全部可为控制器812的内部存储器、外部存储器或内部和外部存储器的组合。外部存储器可为实质任何相关存储器，诸如但不限于闪存安全数字(SD)卡、通用串行总线(USB)棒或驱动器、其他存储器卡、硬盘驱动和其它此类存储器或此类存储器的组合中的一个或多个。存储器814可存储视频内容、多媒体内容、图像、代码、软件、可执行文件、脚本、数据、内容、坐标信息、虚拟环境坐标、编程、程序、媒体流、媒体文件、文本内容、标识符、日志或历史数据、用户信息等。
一些实施方案还包括允许系统与一个或多个外部设备耦接的一个或多个输入输出接口834，所述外部设备诸如但不限于多媒体内容源、显示系统、传感器和/或其它此类设备。在一些实施方案中，一个或多个传感器836可另外或替代地被包括在系统800中。如上文所述，系统可接收传感器和/或其他位置信息，以识别当前视野和/或预测视野的位置。定向信息可通过传感器834和/或收发器820来接收，以允许系统确定相关视野并且识别将要解码且显示的帧的对应分区，使得解码少于帧的所有。
上文或下文所述的实施方案、方法、过程、方法和/或技术中的一个或多个可在可由一个或多个基于处理器的系统执行的一个或多个计算机程序中实现。举例来说，此类基于处理器的系统可包括基于处理器的系统800、计算机、机顶盒、电视、启用IP电视、数字媒体播放器、PlayStation TV、蓝光播放器、启用IP蓝光播放器、DVD播放器、娱乐系统、游戏控制台、图形工作站、平板计算机、摄像机、编码器、解码器、HMD、虚拟现实系统等。这样的计算机程序可用于执行上文或下文所述的方法、过程和/或技术的各种步骤和/或特征。即，计算机程序可作修改以使得或配置基于处理器的系统来执行并实现上文或下文所述的功能。例如，这样的计算机程序可用于实现上文或下文所述的步骤、过程或技术的任何实施方案，以显示和/或回放具有如果被完全显示将延伸超出观众视野的帧的视频内容和/或图像，和/或解码并显示与观众视野一致的每个帧的一部分且少于所有。另举一例，这样的计算机程序可用于实现使用上文或下文所述的实施方案、方法、过程、方法和/或技术中任何一个或多个的任何类型的工具或类似的实用程序。在一些实施方案中，计算机程序内的程序代码模块、回路、子程序等可用于执行上文或下文所述的方法、过程和/或技术的各种步骤和/或特征。在一些实施方案中，计算机程序可被存储或实现在一个或多个计算机可读存储或录制介质上，诸如本文所述的一个或多个计算机可读存储或录制介质中的任意者。
因此，一些实施方案提供处理器或计算机程序产品，包括被配置以实现计算机程序来输入到处理器或计算机的介质，和实现在介质中的计算机程序，其被配置以使得处理器或计算机执行或进行包括本文所述的实施方案、方法、过程、方法和/或技术中任何一个或多个所涉及的任何一个或多个步骤的步骤。例如，一些实施方案提供存储与计算机模拟一起使用的一个或多个计算机程序的一个或多个计算机可读存储介质，一个或多个计算机程序被配置以使得基于计算机和/或处理器的系统执行包括以下步骤：访问视频内容，所述视频内容包括被配置以按顺序回放的视觉内容的一系列帧，其中一系列帧中的每个帧当被完全解码时将延伸超出观众视野，且其中每个编码的帧包括帧的多个编码的分区；在显示第一帧的部分之前，确定观看视频内容的观众的视野；在视频内容回放期间并根据视野来识别对应于视野且在显示第一帧的部分时观众将可见的第一帧的一个或多个编码的分区；解码在显示第一帧时观众将可见的第一帧的一个或多个编码的分区，而不解码观众将不可见的第一帧的编码分区中的一个或多个；和根据视频内容的回放定时并对应于将显示第一帧的时间，显示观众将可见的第一帧的一个或多个分区，使得显示第一帧的部分，且其中在回放期间解码少于第一帧的所有且显示少于第一帧的所有。
其它实施方案提供存储被配置以与计算机模拟一起使用的一个或多个计算机程序的一个或多个计算机可读存储介质，一个或多个计算机程序被配置以使得基于计算机和/或处理器的系统执行包括以下步骤：访问视频内容，所述视频内容包括视觉内容的多个帧，其中多个帧中的每个如果被完全显示将延伸超出观众视野；将直线投影应用到多个帧中的每个帧；将直线投影帧中的每个分成多个相邻分区，所述相邻分区在直线投影帧中的每个的整个区域上延伸；和对于多个帧中的每个帧，编码多个分区中的每个，使得帧的每个分区可独立于帧的其他分区解码。
一些实施方案提供头戴式显示器(HMD)和/或允许用户沉浸在虚拟世界的其它此类虚拟现实显示系统，其中用户的头部位置和方向确定查看的内容。除了用于视频游戏以外，HMD也可用于查看视频全景。如上文所述，通常使用从相同位置但指向不同方向捕获素材的多个摄像机来创建许多视频全景。来自每个摄像机的视频的对应图像被缝合在一起。这允许观众自由选择查看全景帧的分区。当例如使用HMD或通过高清显示器或电视查看视频全景时，视频的帧通常以高帧速率显示，从而提供平滑、沉浸的体验。可改善用户体验的另一方面是以高分辨率(例如，1280×720p、1920×1080p或更高)捕获视频，使得显示的帧清晰且细节丰富。视频序列通常被储存为编码或压缩比特流，且在可用于进行显示之前被解码和/或解压缩。然而，如上文所述，以高帧速率解码高分辨率视频是计算密集型任务，且甚至在许多当前处理器上以高帧速率有效解码整个全景帧并显示高分辨率视频可能不可行。
然而，一些本发明实施方案限制解码的帧的量，这可允许高分辨率(例如，HD(例如，1280×720p、1920×1080p)、超HD(例如，3840x2160p、7680x4320p等)或更高)360度视频全景比特流以快速率解码，使得可使用HMD、电视、显示器等来呈现并查看这些视频帧。这比起低分辨率或低帧速率视觉效果通常向用户提供极大改进的体验。在一些实施方案中，视频捕获和全景创建系统将每个帧限定于多个分区中并根据限定分区来编码每个帧。这允许显示设备选择少于全景帧的所有分区并使用最小开销解码所选分区(通常独立解码所选分区)。显示系统和/或回放设备使用定向信息(例如，来自HMD运动传感器的信息)来在评估视频全景比特流时识别用户视野和/或视野的预测位置，所述视频全景比特流创建以识别相关帧的分区并解码相交和/或预测为相交于用户视野的全景视频的那些分区。
通过解码部分视频全景帧而非整个全景帧，可实现更高的帧呈现性能。在一些实施方案中，可使用标准处理器且通常不需要使用高端处理器来实现这个较高帧呈现性能。此外，在至少一些实现中，解码少于帧的所有消除了与慢速呈现相关联的常见问题，诸如视觉效果没有跟上快速头部移动和/或相对视野的快速移动。
一些实施方案提供将来自用于捕获360度全景的查看角度的不同摄像机的个别视频帧转换成当与诸如HMD的全景查看器组合时允许快速解码的压缩视频比特流的系统和/或方法。根据一些实施方案，视频比特流创建的方法允许显示系统(例如，HMD、计算机、电视等)与不具有以相对快速帧速率(诸如，60Hz和更高的速率)解码整个360度视频全景的能力的处理器一起使用。使用位置和/或查看信息来识别视野和/或预测视野的位置，以部分解码并显示对应于视野的相关分区和/或视频数据，并且显著减少不必要的视频解码过程。一些实施方案利用查看邻近映射或其它此类映射来识别可在不久的将来查看且使这个帧数据准备限制和/或避免快速头部移动的问题的帧的分区或区域。
这个编码以限定分区和解码视野内的那些相关分区的过程可进一步应用于三维(3D)视频内容。在一些实施方案中，在全景帧创建和/或编码过程期间，帧的每个分区由立体(两个视图)视频数据组成。这个立体视频可使用诸如多视图视频编码(MVC)的3D视频压缩标准来编码。一些实施方案包括两个图像或帧(例如，左侧和右侧)。映射可指定每个帧内的分区的关系，且在某一实现中，同一映射参考这两个立体帧。分区的选择和分区的解码基本上相同，但对于3D视频的每个立体帧来实现。然后向左侧使用正确的投影(例如，投影到HMD的左侧显示器上)来呈现左侧视图的解码分区，并执行类似程序以获得向右侧正确投影(例如，投影到HMD的右侧显示器上)的数据。
一些实施方案提供回放多媒体内容的方法，包括：访问视频内容，所述视频内容包括被配置以按顺序回放的视觉内容的一系列帧，其中一系列帧中的每个帧如果被完全解码将延伸超出观众视野，且其中每个编码的帧包括帧的多个编码的分区；在显示第一帧的部分之前，确定观看视频内容的观众的视野；在视频内容回放期间并根据视野来识别对应于视野且在显示第一帧的部分时观众将可见的第一帧的一个或多个编码的分区；解码在显示第一帧时观众将可见的第一帧的一个或多个编码的分区，而不解码观众将不可见的第一帧的编码分区中的一个或多个；和根据视频内容的回放定时并对应于将显示第一帧的时间，显示观众将可见的第一帧的一个或多个分区，使得显示第一帧的部分，且其中在回放期间解码少于第一帧的所有且显示少于第一帧的所有。
上文基于一个或多个流程图、时序图和/或代表包括一个或多个步骤、子过程、通信和/或过程、方法等的其它此类代表性划分的动作和/或通信顺序的图来代表性地描述了示范性的过程和/或方法。这些步骤、子过程或其它此类动作可在不脱离过程、方法和装置的精神的情况下以不同的顺序执行。另外或替代，在一些实现中可添加、移除或组合一个或多个步骤、子过程、动作等。
虽然借助于本发明的具体实施方案、实例和应用描述了本文所公开的本发明，但是本领域技术人员在不脱离权利要求书中阐述的本发明的范围的情况下可对其进行许多修改和变形。

Claims (23)

1.一种回放多媒体内容的方法，其包括：
访问视频内容，所述视频内容包括被配置以按顺序回放的视觉内容的一系列帧，其中所述一系列帧中的每个帧如果被完全解码将延伸超出观众视野，且其中每个编码的帧包括多个编码的分区；
在显示第一帧的部分之前，确定观看所述视频内容的所述观众的视野；
根据所述视野来识别至少部分在所述视野内的所述第一帧的一个或多个分区；
解码至少部分在所述视野内的所述第一帧的所述一个或多个分区，而不解码不在所述视野内的所述第一帧的所述分区中的一个或多个；和
显示所述第一帧的所述一个或多个解码分区，使得显示所述第一帧的所述部分，且其中在回放期间解码少于所述第一帧的所有且显示少于所述第一帧的所有；
其中，识别至少部分在所述视野内的所述第一帧的一个或多个分区包括评估限定所述第一帧的至少一些分区之间的相对位置关系的分区映射。
2.如权利要求1所述的方法，其中所述确定所述视野包括：确定预测所述观众视野的位置改变来包括尚未显示的后续帧的一个或多个其他分区的至少一部分，其中所述一个或多个其他分区对应于不被显示的所述第一帧的一个或多个另外的分区；和
响应于所述视野的所述位置的所述预测改变来解码所述后续帧的至少所述一个或多个其他分区。
3.如权利要求2所述的方法，其中所述后续帧的所述至少所述一个或多个其他分区的所述解码包括：启动一个或多个参考帧的一个或多个参考分区的所述解码且此后为所述后续帧参考。
4.如权利要求2所述的方法，其还包括：
在至少解码所述后续帧中所述一个或多个其它分区时，确定在所述后续帧中之前的帧中解码的第一分区不再在所述视野内，和当解码所述后续帧的所述至少所述一个或多个其他分区时，防止所述解码所述第一分区。
5.如权利要求1-4中任一项所述的方法，其还包括：
接收定向信息；
基于所述定向信息且基于将要显示后续帧的部分时的定时，预测所述观众视野的定向；
基于所述观众视野的所述预测定向，识别预期为至少部分在所述观众视野的所述预测定向内的将要显示的所述后续帧的一个或多个分区。
6.如权利要求1-4中任一项所述的方法，其中所述识别对应于所述视野的所述第一帧的所述一个或多个分区还包括：
访问所述分区映射，其中所述分区映射包括所述第一帧的所述多个分区中的每个的分区位置信息和跨所述多个分区的坐标信息；和
评估相对于所述视野的所述分区映射。
7.如权利要求6所述的方法，其中所述评估所述分区映射包括：识别对应于所述视野的所述坐标信息的坐标，和识别至少部分在对应于所述视野的所述识别坐标内的所述第一帧的所述一个或多个分区。
8.如权利要求7所述的方法，其中所述识别至少部分在所述识别坐标内的所述第一帧的所述一个或多个分区包括：识别在所述识别坐标内具有至少阈值量的所述分区的所述第一帧的所述一个或多个分区。
9.如权利要求1-4中任一项所述的方法，其还包括：
对于所述多个帧中的每个，限定每个帧的所述多个分区，使得所述多个分区在所述整个帧上延伸；和
编码所述多个分区中的每个，使得所述多个分区中的每个被配置以独立于所述帧的所述多个分区中所述其他分区中任意来解码。
10.如权利要求9所述的方法，其还包括：
对于所述多个帧中的每个帧，限定在所述整个帧上延伸的坐标信息；和
对于所述帧的所述分区中的每个，从所述坐标信息指定坐标。
11.如权利要求9所述的方法，其还包括：
对于所述帧的每个分区，识别邻近分区，且限定所述分区映射以将所述帧的每个分区与每个邻近分区关联。
12.如权利要求11所述的方法，其中所述限定所述分区映射包括：
识别所述帧的边界；
识别所述多个分区的两个边界分区，其中所述两个边界分区的第一分区具有对应于所述帧的第一边界的边界，且所述两个边界分区的第二分区具有对应于所述帧的第二边界的边界；和
限定所述第一边界与所述第二边界相邻，从而限定360度帧。
13.如权利要求11所述的方法，其还包括：
根据所述视野，识别至少部分不在所述视野内的所述第一帧的一个或多个其他分区；和
以比解码至少部分在所述视野内的所述第一帧的所述一个或多个分区的分辨率低的分辨率来解码所述第一帧的所述一个或多个其他分区。
14.一种编码视频内容的方法，所述方法包括：
访问视频内容，所述视频内容包括视觉内容的多个帧，其中所述多个帧中的每个如果被完全显示将延伸超出观众视野；
当所述帧是呈等矩格式时，将直线投影应用到所述多个帧中的每个帧；
将所述帧中的每个分成多个相邻分区，使得帧的所述多个相邻分区在所述帧的整个区域上延伸；
对于所述多个帧中的每个帧，编码所述多个分区中的每个，使得帧的每个分区可独立于所述帧的所述其他分区解码；以及
对于所述多个帧中的每个帧，生成限定帧的至少一些分区之间的相对位置关系的分区映射。
15.如权利要求14所述的方法，其中所述生成所述分区映射包括：
对于所述多个帧中的每个，限定在所述整个帧上延伸的坐标信息；和
对于所述帧的所述分区中的每个，从所述坐标信息识别坐标。
16.如权利要求15所述的方法，其中所述生成所述分区映射包括：对于所述帧的每个分区，识别邻近分区，且限定将所述帧的每个分区与每个邻近分区关联的所述映射。
17.如权利要求16所述的方法，其中所述生成所述分区映射包括：
识别所述帧的边界；
识别所述多个分区的两个边界分区，其中所述两个边界分区的第一分区具有对应于所述帧的第一边界的边界，且所述两个边界分区的第二分区具有对应于所述帧的第二边界的边界；和
限定所述第一边界与所述第二边界相邻，从而限定有效360度帧。
18.如权利要求14-17中任一项所述的方法，其中所述编码所述多个分区中的每个包括：将单个帧的每个分区编码为单独压缩比特流。
19.如权利要求14-17中任一项所述的方法，其中所述编码所述多个分区中的每个包括：对于每个帧，将所述帧的所述分区布置到单个比特流中，且编码所述单个比特流，使得所述帧的每个分区可独立于所述帧的所述其他分区解码。
20.如权利要求14-17中任一项所述的方法，其中所述编码所述多个分区中的每个包括：编码所述多个帧，从而增加许多帧内编码图像帧(I-帧)。
21.如权利要求20所述的方法，其中所述编码所述多个分区中的每个包括：将所述多个帧中的每个编码为I-帧。
22.如权利要求14-17中任一项所述的方法，其中所述访问所述视频内容包括：以针对每个帧比预测可由预期回放设备解码的分辨率高的分辨率来访问所述视频内容，其中所述编码所述多个分区中的每个包括：编码所述分区，使得将解码少于帧的所有所述分区。
23.如权利要求14-17中任一项所述的方法，其还包括：
识别所述视频内容的所述多个帧的第一帧的一个或多个分区，且对于至少所述第一帧，所述编码包括：根据第一分辨率和比所述第一分辨率低的至少第二分辨率来编码所述第一帧的所述识别一个或多个分区中的每个。
CN201580038371.1A 2014-07-14 2015-06-17 用于回放全景视频内容的系统和方法 Active CN106537894B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910837325.8A CN110459246B (zh) 2014-07-14 2015-06-17 用于回放全景视频内容的系统和方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462024354P 2014-07-14 2014-07-14
US62/024,354 2014-07-14
US14/340,152 2014-07-24
US14/340,152 US10204658B2 (en) 2014-07-14 2014-07-24 System and method for use in playing back panorama video content
PCT/US2015/036224 WO2016010668A1 (en) 2014-07-14 2015-06-17 System and method for use in playing back panorama video content

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910837325.8A Division CN110459246B (zh) 2014-07-14 2015-06-17 用于回放全景视频内容的系统和方法

Publications (2)

Publication Number Publication Date
CN106537894A CN106537894A (zh) 2017-03-22
CN106537894B true CN106537894B (zh) 2019-09-27

Family

ID=55068035

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910837325.8A Active CN110459246B (zh) 2014-07-14 2015-06-17 用于回放全景视频内容的系统和方法
CN201580038371.1A Active CN106537894B (zh) 2014-07-14 2015-06-17 用于回放全景视频内容的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910837325.8A Active CN110459246B (zh) 2014-07-14 2015-06-17 用于回放全景视频内容的系统和方法

Country Status (5)

Country Link
US (2) US10204658B2 (zh)
EP (2) EP4102842A1 (zh)
JP (1) JP6410918B2 (zh)
CN (2) CN110459246B (zh)
WO (1) WO2016010668A1 (zh)

Families Citing this family (180)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9053562B1 (en) 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
US9781356B1 (en) * 2013-12-16 2017-10-03 Amazon Technologies, Inc. Panoramic video viewer
US9406025B2 (en) * 2014-06-04 2016-08-02 International Business Machines Corporation Touch prediction for visual displays
US10204658B2 (en) 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
US9489044B2 (en) * 2014-11-07 2016-11-08 Eye Labs, LLC Visual stabilization system for head-mounted displays
US10104361B2 (en) * 2014-11-14 2018-10-16 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing
US9686520B2 (en) * 2015-01-22 2017-06-20 Microsoft Technology Licensing, Llc Reconstructing viewport upon user viewpoint misprediction
WO2016140082A1 (ja) * 2015-03-05 2016-09-09 ソニー株式会社 画像処理装置および画像処理方法
US10412413B2 (en) * 2015-03-05 2019-09-10 Sony Corporation Image processing device and image processing method
US10911781B2 (en) * 2015-03-05 2021-02-02 Sony Corporation Image processing device and image processing method for encoding/decoding omnidirectional images at different resolutions
GB2536025B (en) * 2015-03-05 2021-03-03 Nokia Technologies Oy Video streaming method
US20170006219A1 (en) 2015-06-30 2017-01-05 Gopro, Inc. Image stitching in a multi-camera array
JP6002286B1 (ja) * 2015-07-14 2016-10-05 株式会社コロプラ ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム
JP6344723B2 (ja) * 2015-07-14 2018-06-20 パナソニックＩｐマネジメント株式会社 映像表示システム、映像表示装置及び映像表示方法
US9858706B2 (en) * 2015-09-22 2018-01-02 Facebook, Inc. Systems and methods for content streaming
US10096130B2 (en) 2015-09-22 2018-10-09 Facebook, Inc. Systems and methods for content streaming
WO2017054185A1 (zh) * 2015-09-30 2017-04-06 华为技术有限公司 一种展示全景视觉内容的方法、装置及终端
US20170092002A1 (en) * 2015-09-30 2017-03-30 Daqri, Llc User interface for augmented reality system
GB2543320B (en) 2015-10-14 2020-05-13 Sony Interactive Entertainment Inc Head-mountable display system
US9888284B2 (en) * 2015-10-26 2018-02-06 Nokia Technologies Oy Method and apparatus for improved streaming of immersive content
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
US9900626B2 (en) * 2015-10-28 2018-02-20 Intel Corporation System and method for distributing multimedia events from a client
US9767363B2 (en) * 2015-10-30 2017-09-19 Google Inc. System and method for automatic detection of spherical video content
US10558353B2 (en) * 2015-11-18 2020-02-11 Samsung Electronics Co., Ltd. System and method for 360-degree video navigation
US9573062B1 (en) * 2015-12-06 2017-02-21 Silver VR Technologies, Inc. Methods and systems for virtual reality streaming and replay of computer video games
US10740969B2 (en) * 2015-12-21 2020-08-11 EVOX Productions, LLC Layered panoramas for virtual reality (VR)
US10311636B1 (en) * 2016-07-29 2019-06-04 EVOX Productions, LLC Layered panoramas for virtual reality (VR)
KR102503442B1 (ko) * 2015-12-24 2023-02-28 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
US9992502B2 (en) 2016-01-29 2018-06-05 Gopro, Inc. Apparatus and methods for video compression using multi-resolution scalable coding
KR20170091323A (ko) * 2016-02-01 2017-08-09 삼성전자주식회사 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체
KR102433227B1 (ko) * 2016-02-09 2022-08-18 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 효율적인 감소성 또는 효율적인 랜덤 액세스를 허용하는 픽처/비디오 데이터 스트림들에 대한 개념
US10291910B2 (en) * 2016-02-12 2019-05-14 Gopro, Inc. Systems and methods for spatially adaptive video encoding
US10147224B2 (en) * 2016-02-16 2018-12-04 Samsung Electronics Co., Ltd. Method and apparatus for generating omni media texture mapping metadata
KR102157655B1 (ko) 2016-02-17 2020-09-18 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
US10334224B2 (en) * 2016-02-19 2019-06-25 Alcacruz Inc. Systems and method for GPU based virtual reality video streaming server
WO2017145721A1 (ja) * 2016-02-26 2017-08-31 ソニー株式会社 情報処理装置、表示装置、情報記録媒体、および情報処理方法、並びにプログラム
US10484621B2 (en) 2016-02-29 2019-11-19 Gopro, Inc. Systems and methods for compressing video content
US10477157B1 (en) * 2016-03-02 2019-11-12 Meta View, Inc. Apparatuses, methods and systems for a sensor array adapted for vision computing
KR102499349B1 (ko) * 2016-03-21 2023-02-14 삼성전자주식회사 전방위 영상을 제공하는 전자 장치 및 방법
US10319071B2 (en) * 2016-03-23 2019-06-11 Qualcomm Incorporated Truncated square pyramid geometry and frame packing structure for representing virtual reality video content
US10270825B2 (en) * 2016-03-31 2019-04-23 Verizon Patent And Licensing Inc. Prediction-based methods and systems for efficient distribution of virtual reality media content
WO2017175888A1 (ko) 2016-04-05 2017-10-12 삼성전자 주식회사 이미지 처리 방법 및 장치
JP6741784B2 (ja) * 2016-04-08 2020-08-19 ヴィズビット インコーポレイテッド ビューを意識した３６０度ビデオストリーミング
US10645362B2 (en) 2016-04-11 2020-05-05 Gopro, Inc. Systems, methods and apparatus for compressing video content
CN109076255B (zh) * 2016-04-26 2021-10-08 Lg电子株式会社 发送、接收360度视频的方法及设备
CN109362234B (zh) * 2016-04-28 2021-11-30 深圳市大疆创新科技有限公司 用于获得球面全景图像的系统和方法
US11228754B2 (en) * 2016-05-06 2022-01-18 Qualcomm Incorporated Hybrid graphics and pixel domain architecture for 360 degree video
SE540058C2 (en) * 2016-05-10 2018-03-06 Bae Systems Haegglunds Ab Method and system for facilitating transportation of an observer in a vehicle
US10602191B2 (en) * 2016-05-13 2020-03-24 Gopro, Inc. Apparatus and methods for video compression
RU2018144014A (ru) 2016-05-13 2020-06-15 ИНТЕРДИДЖИТАЛ ВиСи ХОЛДИНГЗ, ИНК. Способ и устройство для кодирования видео с адаптивным отсечением
CN109076262B (zh) * 2016-05-13 2022-07-12 索尼公司 文件生成装置和文件生成方法以及再现装置和再现方法
CN109155858B (zh) 2016-05-16 2022-09-13 三星电子株式会社 视频编码方法和设备、视频解码方法和设备
US11032588B2 (en) * 2016-05-16 2021-06-08 Google Llc Method and apparatus for spatial enhanced adaptive bitrate live streaming for 360 degree video playback
KR101837283B1 (ko) * 2016-05-16 2018-03-09 한국과학기술원 ３６０도 영상 재생 시 사용자 단말 기울기 정보를 이용하여 재생 영역을 보정하는 방법 및 시스템
US10163029B2 (en) 2016-05-20 2018-12-25 Gopro, Inc. On-camera image processing based on image luminance data
EP3249928A1 (en) * 2016-05-23 2017-11-29 Thomson Licensing Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
JP7022077B2 (ja) * 2016-05-25 2022-02-17 コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ 空間的にタイリングされた全方位ビデオのストリーミング
US20170347084A1 (en) * 2016-05-27 2017-11-30 Intel Corporation Virtual reality panoramic video system using scalable video coding layers
CN115037939B (zh) 2016-05-27 2024-02-13 松下电器（美国）知识产权公司 编码装置及解码装置
US20170353737A1 (en) 2016-06-07 2017-12-07 Mediatek Inc. Method and Apparatus of Boundary Padding for VR Video Processing
US10462466B2 (en) * 2016-06-20 2019-10-29 Gopro, Inc. Systems and methods for spatially selective video coding
WO2018002882A1 (en) * 2016-06-30 2018-01-04 Nokia Technologies Oy Method and apparatus for rotation and switching of video content
US10616583B2 (en) 2016-06-30 2020-04-07 Sony Interactive Entertainment Inc. Encoding/decoding digital frames by down-sampling/up-sampling with enhancement information
US11089280B2 (en) 2016-06-30 2021-08-10 Sony Interactive Entertainment Inc. Apparatus and method for capturing and displaying segmented content
WO2018004933A1 (en) * 2016-06-30 2018-01-04 Sony Interactive Entertainment Inc. Apparatus and method for gaze tracking
JP6983862B2 (ja) * 2016-07-08 2021-12-17 ヴィド スケール インコーポレイテッド ジオメトリ投影を使用する３６０度ビデオ符号化
US10277886B2 (en) * 2016-07-19 2019-04-30 Gopro, Inc. Mapping of spherical image data into rectangular faces for transport and decoding across networks
US10958834B2 (en) * 2016-07-22 2021-03-23 Immervision, Inc. Method to capture, store, distribute, share, stream and display panoramic image or video
IL247101B (en) * 2016-08-03 2018-10-31 Pointgrab Ltd Method and system for determining present in the image
WO2018025660A1 (ja) * 2016-08-05 2018-02-08 ソニー株式会社 画像処理装置および画像処理方法
US10771791B2 (en) * 2016-08-08 2020-09-08 Mediatek Inc. View-independent decoding for omnidirectional video
US11638027B2 (en) 2016-08-08 2023-04-25 Hfi Innovation, Inc. Pattern-based motion vector derivation for video coding
US20180054613A1 (en) * 2016-08-22 2018-02-22 Mediatek Inc. Video encoding method and apparatus with in-loop filtering process not applied to reconstructed blocks located at image content discontinuity edge and associated video decoding method and apparatus
KR20180023723A (ko) 2016-08-26 2018-03-07 삼성전자주식회사 디스플레이장치 및 그 제어방법
CN109644279B (zh) * 2016-09-02 2023-09-22 Vid拓展公司 用于用信号通知360度视频信息的方法和系统
JP6724671B2 (ja) * 2016-09-09 2020-07-15 富士通株式会社 表示デバイス、表示方法及び表示システム
US10410376B1 (en) * 2016-09-26 2019-09-10 Amazon Technologies, Inc. Virtual reality media content decoding of portions of image frames
WO2018057472A1 (en) * 2016-09-26 2018-03-29 Dolby Laboratories Licensing Corporation Content based stream splitting of video data
US11050991B2 (en) * 2016-09-29 2021-06-29 Koninklijke Philips N.V. Image processing using a plurality of images for a three dimension scene, having a different viewing positions and/or directions
WO2018063957A1 (en) * 2016-09-30 2018-04-05 Silver VR Technologies, Inc. Methods and systems for virtual reality streaming and replay of computer video games
US10553029B1 (en) * 2016-09-30 2020-02-04 Amazon Technologies, Inc. Using reference-only decoding of non-viewed sections of a projected video
US10412412B1 (en) * 2016-09-30 2019-09-10 Amazon Technologies, Inc. Using reference-only decoding of non-viewed sections of a projected video
EP3301929A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for encoding and decoding a large field of view video
CN114531592A (zh) * 2016-10-04 2022-05-24 有限公司B1影像技术研究所 图像数据编码/解码方法、介质和发送比特流的方法
GB2554686A (en) * 2016-10-04 2018-04-11 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
EP3306937A1 (en) 2016-10-05 2018-04-11 Thomson Licensing Method and apparatus for encoding and decoding a video
US12022199B2 (en) 2016-10-06 2024-06-25 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
WO2018068213A1 (zh) * 2016-10-10 2018-04-19 华为技术有限公司 一种视频数据的处理方法及装置
US10339627B2 (en) 2016-10-10 2019-07-02 Gopro, Inc. Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image
MX2022004795A (es) 2016-10-12 2022-12-16 Fraunhofer Ges Forschung Transmisión continua espacialmente desigual.
US20180109810A1 (en) * 2016-10-17 2018-04-19 Mediatek Inc. Method and Apparatus for Reference Picture Generation and Management in 3D Video Compression
KR102561860B1 (ko) * 2016-10-25 2023-08-02 삼성전자주식회사 전자장치 및 그 제어방법
CN112702523B (zh) 2016-11-17 2022-05-06 英特尔公司 解码器、视频处理方法、系统和装置
JP7146747B2 (ja) 2016-11-17 2022-10-04 インテル コーポレイション パノラマビデオのための提案されるビューポート指示
GB2557175A (en) * 2016-11-17 2018-06-20 Nokia Technologies Oy Method for multi-camera device
US10244215B2 (en) 2016-11-29 2019-03-26 Microsoft Technology Licensing, Llc Re-projecting flat projections of pictures of panoramic video for rendering by application
US10244200B2 (en) 2016-11-29 2019-03-26 Microsoft Technology Licensing, Llc View-dependent operations during playback of panoramic video
US10595069B2 (en) * 2016-12-05 2020-03-17 Adobe Inc. Prioritizing tile-based virtual reality video streaming using adaptive rate allocation
US10176615B2 (en) * 2016-12-13 2019-01-08 Topcon Corporation Image processing device, image processing method, and image processing program
KR102676837B1 (ko) 2016-12-16 2024-06-21 삼성전자주식회사 디스플레이장치 및 그 제어방법
US10242714B2 (en) 2016-12-19 2019-03-26 Microsoft Technology Licensing, Llc Interface for application-specified playback of panoramic video
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
EP3565244A4 (en) * 2016-12-28 2019-12-11 Sony Corporation GENERATING DEVICE, IDENTIFICATION INFORMATION GENERATING METHOD, REPRODUCING DEVICE, AND IMAGE REPRODUCTION METHOD
KR20180080118A (ko) * 2017-01-02 2018-07-11 주식회사 케이티 비디오 신호 처리 방법 및 장치
US20180192074A1 (en) * 2017-01-03 2018-07-05 Mediatek Inc. Video processing method for processing projection-based frame with 360-degree content represented by projection faces packed in 360-degree virtual reality projection layout
US20180192071A1 (en) * 2017-01-05 2018-07-05 Mediatek Inc. Decoder-side motion vector restoration for video coding
EP3349460A1 (en) * 2017-01-11 2018-07-18 Thomson Licensing Method and apparatus for coding/decoding a picture of an omnidirectional video
US10863159B2 (en) 2017-01-20 2020-12-08 Pcms Holdings, Inc. Field-of-view prediction method based on contextual information for 360-degree VR video
US10609356B1 (en) 2017-01-23 2020-03-31 Amazon Technologies, Inc. Using a temporal enhancement layer to encode and decode stereoscopic video content
US10198862B2 (en) 2017-01-23 2019-02-05 Gopro, Inc. Methods and apparatus for providing rotated spherical viewpoints
CN108428211B (zh) * 2017-02-15 2021-12-14 阿里巴巴集团控股有限公司 图像的处理方法、装置和机器可读介质
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US20180240276A1 (en) * 2017-02-23 2018-08-23 Vid Scale, Inc. Methods and apparatus for personalized virtual reality media interface design
EP3367626A1 (en) * 2017-02-27 2018-08-29 Nokia Solutions and Networks Oy Providing content
US10564425B2 (en) 2017-02-27 2020-02-18 Snap Inc. Processing a media content based on device movement
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
JP6473469B2 (ja) * 2017-02-28 2019-02-20 株式会社ピクセラ 映像配信システム
US10687050B2 (en) * 2017-03-10 2020-06-16 Qualcomm Incorporated Methods and systems of reducing latency in communication of image data between devices
CN106961622B (zh) * 2017-03-30 2020-09-25 联想(北京)有限公司 一种显示处理方法及装置
US10979663B2 (en) 2017-03-30 2021-04-13 Yerba Buena Vr, Inc. Methods and apparatuses for image processing to optimize image resolution and for optimizing video streaming bandwidth for VR videos
US10547704B2 (en) * 2017-04-06 2020-01-28 Sony Interactive Entertainment Inc. Predictive bitrate selection for 360 video streaming
KR20200005539A (ko) * 2017-04-11 2020-01-15 브이아이디 스케일, 인크. 면 연속성을 사용하는 360 도 비디오 코딩
US10659773B2 (en) * 2017-04-13 2020-05-19 Facebook, Inc. Panoramic camera systems
US10939038B2 (en) * 2017-04-24 2021-03-02 Intel Corporation Object pre-encoding for 360-degree view for optimal quality and latency
US10691741B2 (en) * 2017-04-26 2020-06-23 The Nielsen Company (Us), Llc Methods and apparatus to detect unconfined view media
CN110574375B (zh) * 2017-04-28 2023-06-02 苹果公司 视频流水线
CN108810636B (zh) * 2017-04-28 2020-04-14 华为技术有限公司 视频播放方法、虚拟现实设备、服务器、系统及存储介质
FR3066672B1 (fr) * 2017-05-19 2020-05-22 Sagemcom Broadband Sas Procede de communication d'une video immersive
CN108965917B (zh) * 2017-05-27 2021-07-20 华为技术有限公司 视频图像的呈现、封装方法和视频图像的呈现、封装装置
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
CN107277474B (zh) * 2017-06-26 2019-06-25 深圳看到科技有限公司 全景画面生成方法及生成装置
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10523913B2 (en) 2017-06-30 2019-12-31 Apple Inc. Packed image format for multi-directional video
US11164606B2 (en) 2017-06-30 2021-11-02 Qualcomm Incorporated Audio-driven viewport selection
JP6721631B2 (ja) * 2017-07-07 2020-07-15 ノキア テクノロジーズ オーユー ビデオの符号化・復号の方法、装置、およびコンピュータプログラムプロダクト
CN110870303B (zh) * 2017-07-13 2021-10-08 联发科技（新加坡）私人有限公司 呈现超出全方位媒体的vr媒体的方法和装置
EP3429206A1 (en) * 2017-07-13 2019-01-16 Thomson Licensing Method and device for encoding a point cloud
US11212536B2 (en) 2017-07-14 2021-12-28 Sony Interactive Entertainment Inc. Negative region-of-interest video coding
CN109286855B (zh) * 2017-07-19 2020-10-13 北京大学 全景视频的传输方法、传输装置和传输系统
CN107484004B (zh) * 2017-07-24 2020-01-03 北京奇艺世纪科技有限公司 一种视频处理方法及装置
GB2564866B (en) * 2017-07-24 2021-07-28 Advanced Risc Mach Ltd Method of and data processing system for providing an output surface
EP3673665A4 (en) * 2017-08-24 2021-03-10 Nokia Technologies Oy APPARATUS, PROCESS AND COMPUTER PROGRAM FOR OMNIDIRECTIONAL VIDEO
KR20190024766A (ko) * 2017-08-29 2019-03-08 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2019054611A1 (ko) * 2017-09-14 2019-03-21 삼성전자 주식회사 전자 장치 및 그 동작방법
GB2566478B (en) * 2017-09-14 2019-10-30 Samsung Electronics Co Ltd Probability based 360 degree video stabilisation
WO2019060443A1 (en) 2017-09-20 2019-03-28 Vid Scale, Inc. HANDLING FACIAL DISCONTINUITIES IN 360-DEGREE VIDEO CODING
CN107613338A (zh) * 2017-09-25 2018-01-19 中兴通讯股份有限公司 视频传输方法、服务器、vr播放终端及计算机可读存储介质
JP7085816B2 (ja) 2017-09-26 2022-06-17 キヤノン株式会社 情報処理装置、情報提供装置、制御方法、及びプログラム
US10818087B2 (en) 2017-10-02 2020-10-27 At&T Intellectual Property I, L.P. Selective streaming of immersive video based on field-of-view prediction
CN111213175A (zh) * 2017-10-19 2020-05-29 松下电器（美国）知识产权公司 三维数据编码方法、解码方法、三维数据编码装置、解码装置
US10212532B1 (en) 2017-12-13 2019-02-19 At&T Intellectual Property I, L.P. Immersive media with media device
US10554953B2 (en) * 2017-12-17 2020-02-04 Google Llc Distortion of video for seek in 360 degree video
GB2569574B (en) * 2017-12-20 2021-10-06 Sony Interactive Entertainment Inc Head-mountable apparatus and methods
US10798455B2 (en) 2017-12-22 2020-10-06 Comcast Cable Communications, Llc Video delivery
EP3721417A1 (en) * 2017-12-22 2020-10-14 Huawei Technologies Co., Ltd. Vr 360 video for remote end users
US10390063B2 (en) 2017-12-22 2019-08-20 Comcast Cable Communications, Llc Predictive content delivery for video streaming services
EP3518087A1 (en) * 2018-01-29 2019-07-31 Thomson Licensing Method and network equipment for tiling a sphere representing a spherical multimedia content
US10659815B2 (en) 2018-03-08 2020-05-19 At&T Intellectual Property I, L.P. Method of dynamic adaptive streaming for 360-degree videos
CN108492322B (zh) * 2018-04-04 2022-04-22 南京大学 一种基于深度学习预测用户视场的方法
US10721510B2 (en) 2018-05-17 2020-07-21 At&T Intellectual Property I, L.P. Directing user focus in 360 video consumption
US10482653B1 (en) 2018-05-22 2019-11-19 At&T Intellectual Property I, L.P. System for active-focus prediction in 360 video
US10764494B2 (en) 2018-05-25 2020-09-01 Microsoft Technology Licensing, Llc Adaptive panoramic video streaming using composite pictures
US10666863B2 (en) 2018-05-25 2020-05-26 Microsoft Technology Licensing, Llc Adaptive panoramic video streaming using overlapping partitioned sections
US10827225B2 (en) 2018-06-01 2020-11-03 AT&T Intellectual Propety I, L.P. Navigation for 360-degree video streaming
KR102435519B1 (ko) 2018-06-20 2022-08-24 삼성전자주식회사 360도 영상을 처리하는 방법 및 장치
WO2020012436A1 (en) * 2018-07-12 2020-01-16 Università Degli Studi Di Milano - Bicocca Device for displaying a plurality of graphical representations by a user
US10931979B2 (en) 2018-10-18 2021-02-23 At&T Intellectual Property I, L.P. Methods, devices, and systems for decoding portions of video content according to a schedule based on user viewpoint
EP3644619A1 (en) * 2018-10-23 2020-04-29 InterDigital CE Patent Holdings Method and apparatus for receiving a tile-based immersive video
US10638165B1 (en) * 2018-11-08 2020-04-28 At&T Intellectual Property I, L.P. Adaptive field of view prediction
JP7168848B2 (ja) * 2018-11-21 2022-11-10 日本電信電話株式会社 評価装置、評価方法、及びプログラム。
CN109375369B (zh) * 2018-11-23 2021-05-18 国网天津市电力公司 一种vr巨幕影院模式下的畸变预处理方法
US10939139B2 (en) 2018-11-29 2021-03-02 Apple Inc. Adaptive coding and streaming of multi-directional video
US11094130B2 (en) * 2019-02-06 2021-08-17 Nokia Technologies Oy Method, an apparatus and a computer program product for video encoding and video decoding
CN112423108B (zh) * 2019-08-20 2023-06-30 中兴通讯股份有限公司 码流的处理方法、装置、第一终端、第二终端及存储介质
CA3144482A1 (en) * 2019-09-24 2021-04-01 Rovi Guides, Inc. Systems and methods for providing content based on multiple angles
US11956295B2 (en) 2019-09-27 2024-04-09 Apple Inc. Client-end enhanced view prediction for multi-view video streaming exploiting pre-fetched data and side information
US11284141B2 (en) 2019-12-18 2022-03-22 Yerba Buena Vr, Inc. Methods and apparatuses for producing and consuming synchronized, immersive interactive video-centric experiences
GB2609398A (en) * 2021-07-21 2023-02-08 Sony Interactive Entertainment Inc Display system and method
CA3237494A1 (en) * 2021-11-08 2023-05-11 ORB Reality LLC Systems and methods for providing rapid content switching in media assets featuring multiple content streams that are delivered over computer networks

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6337683B1 (en) * 1998-05-13 2002-01-08 Imove Inc. Panoramic movies which simulate movement through multidimensional space

Family Cites Families (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4208811A (en) 1978-11-30 1980-06-24 Enrique Junowicz Display with overlapping picture elements
US6331869B1 (en) 1998-08-07 2001-12-18 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
JPH10271499A (ja) 1997-03-26 1998-10-09 Sanyo Electric Co Ltd 画像領域を用いる画像処理方法、その方法を用いた画像処理装置および画像処理システム
US20030011619A1 (en) 1997-10-08 2003-01-16 Robert S. Jacobs Synchronization and blending of plural images into a seamless combined image
JP3511462B2 (ja) 1998-01-29 2004-03-29 インターナショナル・ビジネス・マシーンズ・コーポレーション 操作画像表示装置およびその方法
JP2001008232A (ja) 1999-06-25 2001-01-12 Matsushita Electric Ind Co Ltd 全方位映像出力方法と装置
US6897858B1 (en) * 2000-02-16 2005-05-24 Enroute, Inc. Partial image decompression of a tiled image
US20020021353A1 (en) 2000-06-09 2002-02-21 Denies Mark Streaming panoramic video
US6559846B1 (en) 2000-07-07 2003-05-06 Microsoft Corporation System and process for viewing panoramic video
US6788333B1 (en) 2000-07-07 2004-09-07 Microsoft Corporation Panoramic video
JP2002183212A (ja) 2000-12-19 2002-06-28 Fuji Xerox Co Ltd 電子文書加工システム、電子文書加工方法、及び、コンピュータ読取り可能な記録媒体
JP3472273B2 (ja) * 2001-03-07 2003-12-02 キヤノン株式会社 画像再生装置及び画像処理装置及び方法
EP1410621A1 (en) * 2001-06-28 2004-04-21 Omnivee Inc. Method and apparatus for control and processing of video images
US7714880B2 (en) 2001-11-16 2010-05-11 Honeywell International Inc. Method and apparatus for displaying images on a display
US7262789B2 (en) * 2002-01-23 2007-08-28 Tenebraex Corporation Method of creating a virtual window
JP2004056335A (ja) 2002-07-18 2004-02-19 Sony Corp 情報処理装置および方法、表示装置および方法、並びにプログラム
EP1602322A1 (en) 2004-06-02 2005-12-07 SensoMotoric Instruments GmbH Method and apparatus for eye tracking latency reduction
US8232962B2 (en) 2004-06-21 2012-07-31 Trading Technologies International, Inc. System and method for display management based on user attention inputs
US7456377B2 (en) 2004-08-31 2008-11-25 Carl Zeiss Microimaging Ais, Inc. System and method for creating magnified images of a microscope slide
JP2006171822A (ja) 2004-12-13 2006-06-29 Nippon Telegr & Teleph Corp <Ntt> コンテンツ配信方法
US20060256133A1 (en) 2005-11-05 2006-11-16 Outland Research Gaze-responsive video advertisment display
US20070153023A1 (en) * 2006-01-04 2007-07-05 Computer Associates Think, Inc. System and method of temporal anti-aliasing
US20070188521A1 (en) 2006-02-15 2007-08-16 Miller Steven D Method and apparatus for three dimensional blending
US9250703B2 (en) 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
IL175835A0 (en) * 2006-05-22 2007-07-04 Rafael Armament Dev Authority Methods and systems for communicating and displaying points-of-interest
US8446509B2 (en) 2006-08-09 2013-05-21 Tenebraex Corporation Methods of creating a virtual window
SE0602545L (en) 2006-11-29 2008-05-30 Tobii Technology Ab Eye tracking illumination
JP4897600B2 (ja) 2007-07-19 2012-03-14 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム
US20090074084A1 (en) 2007-09-18 2009-03-19 David Drezner Method and System for Adaptive Preprocessing for Video Encoder
US20090129693A1 (en) 2007-11-15 2009-05-21 Bloebaum L Scott System and method for generating a photograph with variable image quality
US8760574B2 (en) 2008-04-30 2014-06-24 Broadcom Corporation Image processing methods and systems for frame rate conversion
US20090278921A1 (en) 2008-05-12 2009-11-12 Capso Vision, Inc. Image Stabilization of Video Play Back
US7850306B2 (en) 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
JP4775671B2 (ja) 2008-12-26 2011-09-21 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP5595027B2 (ja) 2009-12-11 2014-09-24 三菱電機株式会社 情報表示処理装置
US8914305B2 (en) 2010-06-30 2014-12-16 Trading Technologies International, Inc. Method and apparatus for motion based target prediction and interaction
US20130125155A1 (en) 2010-07-26 2013-05-16 Thomson Licensing Dynamic adaptation of displayed video quality based on viewers' context
US8487959B1 (en) 2010-08-06 2013-07-16 Google Inc. Generating simulated eye movement traces for visual displays
US9232257B2 (en) 2010-09-22 2016-01-05 Thomson Licensing Method for navigation in a panoramic scene
WO2012039404A1 (ja) 2010-09-24 2012-03-29 株式会社Gnzo 映像ビットストリームの伝送システム
US8493390B2 (en) 2010-12-08 2013-07-23 Sony Computer Entertainment America, Inc. Adaptive displays using gaze tracking
JP2012124784A (ja) 2010-12-09 2012-06-28 Canon Marketing Japan Inc 動画再生システム
EP2472867A1 (en) 2010-12-30 2012-07-04 Advanced Digital Broadcast S.A. Coding and decoding of multiview videos
US9247312B2 (en) 2011-01-05 2016-01-26 Sonic Ip, Inc. Systems and methods for encoding source media in matroska container files for adaptive bitrate streaming using hypertext transfer protocol
JP5678324B2 (ja) 2011-02-10 2015-03-04 パナソニックＩｐマネジメント株式会社 表示装置、コンピュータプログラム、及び表示方法
US8683013B2 (en) 2011-04-18 2014-03-25 Cisco Technology, Inc. System and method for data streaming in a computer network
JP2014517569A (ja) 2011-04-18 2014-07-17 アイシー３６０，インコーポレイテッド 携帯コンピュータデバイスを用いたパノラマビデオ撮像装置及び方法
US20160286119A1 (en) 2011-04-18 2016-09-29 360fly, Inc. Mobile Device-Mountable Panoramic Camera System and Method of Displaying Images Captured Therefrom
CN103493105B (zh) 2011-04-25 2017-04-05 林光雄 全方位图像编辑程序及全方位图像编辑装置
JP5918618B2 (ja) 2011-06-03 2016-05-18 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
US8184069B1 (en) 2011-06-20 2012-05-22 Google Inc. Systems and methods for adaptive transmission of data
US8636361B2 (en) 2011-07-20 2014-01-28 National Taiwan University Learning-based visual attention prediction system and method thereof
US9897805B2 (en) 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
US8990682B1 (en) 2011-10-05 2015-03-24 Google Inc. Methods and devices for rendering interactions between virtual and physical objects on a substantially transparent display
US8611015B2 (en) * 2011-11-22 2013-12-17 Google Inc. User interface
EP2615834A1 (en) 2012-01-16 2013-07-17 Thomson Licensing Dealiasing method and device for 3D view synthesis
US9082011B2 (en) 2012-03-28 2015-07-14 Texas State University—San Marcos Person identification using ocular biometrics with liveness detection
US20130271565A1 (en) 2012-04-16 2013-10-17 Qualcomm Incorporated View synthesis based on asymmetric texture and depth resolutions
EP2870751A4 (en) * 2012-07-04 2016-03-09 Intel Corp PANORAMIC 3D VIDEO CODING
US20150193395A1 (en) 2012-07-30 2015-07-09 Google Inc. Predictive link pre-loading
US20140087877A1 (en) * 2012-09-27 2014-03-27 Sony Computer Entertainment Inc. Compositing interactive video game graphics with pre-recorded background video content
JP2014072608A (ja) 2012-09-28 2014-04-21 Brother Ind Ltd 情報処理システム、情報処理装置、表示装置、及びプログラム
US9176581B2 (en) 2012-09-28 2015-11-03 Intel Corporation System and method for inferring user intent based on eye movement during observation of a display screen
JP5923021B2 (ja) 2012-10-05 2016-05-24 日本電信電話株式会社 映像視聴履歴解析装置、映像視聴履歴解析方法及び映像視聴履歴解析プログラム
US9886177B2 (en) 2012-10-11 2018-02-06 Industry-Academic Cooperation Foundation, Yonsei University Method for increasing GUI response speed of user device through data preloading, and said user device
US20150234457A1 (en) 2012-10-15 2015-08-20 Umoove Services Ltd. System and method for content provision using gaze analysis
US8990843B2 (en) 2012-10-26 2015-03-24 Mobitv, Inc. Eye tracking based defocusing
GB2509953B (en) * 2013-01-18 2015-05-20 Canon Kk Method of displaying a region of interest in a video stream
US9665171B1 (en) 2013-03-04 2017-05-30 Tobii Ab Gaze and saccade based graphical manipulation
US9948970B2 (en) 2013-03-15 2018-04-17 Cox Communications, Inc. Systems, methods, and apparatus for accessing recordings of content items on multiple customer devices
AU2013206560A1 (en) 2013-06-27 2015-01-22 Canon Kabushiki Kaisha Method, system and apparatus for rendering
KR101882594B1 (ko) 2013-09-03 2018-07-26 토비 에이비 휴대용 눈 추적 디바이스
CN104624055A (zh) * 2013-11-12 2015-05-20 艺康美国股份有限公司 膜分离装置的生物粘泥抑制剂和抑制方法
US20150142884A1 (en) 2013-11-21 2015-05-21 Microsoft Corporation Image Sharing for Online Collaborations
JP6407526B2 (ja) 2013-12-17 2018-10-17 キヤノンメディカルシステムズ株式会社 医用情報処理システム、医用情報処理方法及び情報処理システム
EP2894852A1 (en) 2014-01-14 2015-07-15 Alcatel Lucent Process for increasing the quality of experience for users that watch on their terminals a high definition video stream
US9313481B2 (en) 2014-02-19 2016-04-12 Microsoft Technology Licensing, Llc Stereoscopic display responsive to focal-point shift
US10264211B2 (en) 2014-03-14 2019-04-16 Comcast Cable Communications, Llc Adaptive resolution in software applications based on dynamic eye tracking
US9462230B1 (en) 2014-03-31 2016-10-04 Amazon Technologies Catch-up video buffering
CN106416239B (zh) 2014-05-29 2019-04-09 奈克斯特Vr股份有限公司 用于交付内容和/或回放内容的方法和装置
US10204658B2 (en) 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
US9489739B2 (en) 2014-08-13 2016-11-08 Empire Technology Development Llc Scene analysis for improved eye tracking
US9552062B2 (en) 2014-09-05 2017-01-24 Echostar Uk Holdings Limited Gaze-based security
US9876780B2 (en) 2014-11-21 2018-01-23 Sonos, Inc. Sharing access to a media service
JP6501904B2 (ja) 2015-05-27 2019-04-17 グーグル エルエルシー 球面ビデオのストリーミング
US9877016B2 (en) 2015-05-27 2018-01-23 Google Llc Omnistereo capture and render of panoramic virtual reality content
IN2015CH02866A (zh) 2015-06-09 2015-07-17 Wipro Ltd
US9704298B2 (en) 2015-06-23 2017-07-11 Paofit Holdings Pte Ltd. Systems and methods for generating 360 degree mixed reality environments
US9681046B2 (en) 2015-06-30 2017-06-13 Gopro, Inc. Image stitching in a multi-camera array
US9857871B2 (en) 2015-09-04 2018-01-02 Sony Interactive Entertainment Inc. Apparatus and method for dynamic graphics rendering based on saccade detection
US10099122B2 (en) 2016-03-30 2018-10-16 Sony Interactive Entertainment Inc. Head-mounted display tracking
US10462466B2 (en) 2016-06-20 2019-10-29 Gopro, Inc. Systems and methods for spatially selective video coding
US10095937B2 (en) 2016-06-21 2018-10-09 GM Global Technology Operations LLC Apparatus and method for predicting targets of visual attention
US11089280B2 (en) 2016-06-30 2021-08-10 Sony Interactive Entertainment Inc. Apparatus and method for capturing and displaying segmented content
KR102560029B1 (ko) 2016-09-12 2023-07-26 삼성전자주식회사 가상 현실 콘텐트를 송수신하는 방법 및 장치
US10341658B2 (en) 2017-01-30 2019-07-02 Intel Corporation Motion, coding, and application aware temporal and spatial filtering for video pre-processing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6337683B1 (en) * 1998-05-13 2002-01-08 Imove Inc. Panoramic movies which simulate movement through multidimensional space

Also Published As

Publication number Publication date
EP3170305A4 (en) 2018-03-28
CN106537894A (zh) 2017-03-22
EP4102842A1 (en) 2022-12-14
EP3170305A1 (en) 2017-05-24
EP3170305B1 (en) 2022-08-03
JP6410918B2 (ja) 2018-10-24
CN110459246B (zh) 2021-07-30
JP2017528947A (ja) 2017-09-28
CN110459246A (zh) 2019-11-15
US20160012855A1 (en) 2016-01-14
US20190108859A1 (en) 2019-04-11
US11120837B2 (en) 2021-09-14
US10204658B2 (en) 2019-02-12
WO2016010668A1 (en) 2016-01-21

Similar Documents

Publication Publication Date Title
CN106537894B (zh) 用于回放全景视频内容的系统和方法
US11019257B2 (en) 360 degree video capture and playback
JP6501904B2 (ja) 球面ビデオのストリーミング
US20200380765A1 (en) Method, apparatus and stream for encoding/decoding volumetric video
CN107003512B (zh) 用于虚拟现实的头戴式显示器中的扫描显示系统
Chiariotti A survey on 360-degree video: Coding, quality of experience and streaming
BR102017010904A2 (pt) Método, aparelho e fluxo para formato de vídeo imersivo
CN107959844B (zh) 360度视频捕获与回放
US20190251735A1 (en) Method, apparatus and stream for immersive video format
CN111095937B (zh) 图像处理设备和文件生成设备
KR20190054150A (ko) 무지향성 비디오들에 대한 개선된 모션 보상을 위한 방법 및 장치
CN111095938B (zh) 图像处理设备和文件生成设备
JP2018533317A (ja) 仮想現実映像伝送方法、再生方法、及びこれらを用いたプログラム
JP7196089B2 (ja) 仮想現実映像の再生方法及びこれを用いたプログラム
CN114930812A (zh) 用于解码3d视频的方法和装置
JP6557343B2 (ja) 配向化画像符号化、送信、復号および表示
WO2018069215A1 (en) Method, apparatus and stream for coding transparency and shadow information of immersive video format
US11134236B2 (en) Image processing device and system
CN113992996A (zh) 传输数据的方法和装置
KR20220054430A (ko) 볼류메트릭 비디오 콘텐츠를 전달하기 위한 방법 및 장치들
EP3310052A1 (en) Method, apparatus and stream for immersive video format
EP3310053A1 (en) Method and apparatus for coding transparency information of immersive video format
EP3310057A1 (en) Method, apparatus and stream for coding transparency and shadow information of immersive video format
JP2020534726A (ja) 全方位ビデオの符号化のための方法および装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant