CN112753224A - 用于生成并且绘制视频流的装置和方法 - Google Patents

用于生成并且绘制视频流的装置和方法 Download PDF

Info

Publication number
CN112753224A
CN112753224A CN201980063207.4A CN201980063207A CN112753224A CN 112753224 A CN112753224 A CN 112753224A CN 201980063207 A CN201980063207 A CN 201980063207A CN 112753224 A CN112753224 A CN 112753224A
Authority
CN
China
Prior art keywords
video stream
viewpoint
output
frames
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980063207.4A
Other languages
English (en)
Other versions
CN112753224B (zh
Inventor
B·W·D·松内维尔特
C·韦雷坎普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN112753224A publication Critical patent/CN112753224A/zh
Application granted granted Critical
Publication of CN112753224B publication Critical patent/CN112753224B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Color Television Systems (AREA)

Abstract

一种装置包括处理器(301)，所述处理器提供针对场景的多个参考视点的多个参考视频流。接收器(305)接收来自远程客户端的视点请求，其中，所述视点请求指示请求视点。生成器(303)生成输出视频流，所述输出视频流包括具有来自第一参考视频流的帧的第一视频流和具有来自第二参考视频流的帧的第二视频流。所述第二视频流的帧相对于所述第一视频流的帧被差分编码。控制器(307)响应于视点请求而选择针对第一和第二视频流的参考视频流，并且可以被布置为当所述视点请求满足准则时在被非差分编码与被差分编码之间调换参考视频流。

Description

用于生成并且绘制视频流的装置和方法
技术领域
本发明涉及生成并且绘制视频流，并且特别地但非专有地，生成并且绘制用于虚拟现实应用的视频流。
背景技术
各种各样和一系列的图像和视频应用近年来已经基本上随着利用和消耗视频的新服务和方式被连续开发和引入而增加。
例如，日益流行的一个服务是以这样的方式提供图像序列：观察者能够主动地并且动态地与系统交互以改变绘制的参数。许多应用中的非常吸引人的特征是改变观察者的有效查看位置和查看方向的能力，诸如例如允许观察者在呈现的场景中移动和“环视”。
这样的特征可以特别地允许虚拟现实体验被提供给用户。这可以允许用户在虚拟环境中(相对)自由地到处移动并且动态地改变他的位置和他正在看何处。通常，这样的虚拟现实应用基于场景的三维模型，其中，模型动态地评价以提供特定请求视图。该方法从例如用于计算机和控制台的游戏应用(诸如在第一人称射击的类别中)中公知。
还期望的是，特别地针对虚拟现实应用，呈现的图像是三维图像。实际上，为了优化观察者的沉浸，用户将呈现的场景体验为三维场景通常是优选的。实际上，虚拟现实体验应当优选地允许用户选择他/她自己的位置、相机视点、以及相对于虚拟世界的时刻。
通常，虚拟现实应用是固有地受限的，其中，其基于场景的预定模型并且通常基于虚拟世界的人工模型。将期望的是，虚拟现实体验是否可以基于现实世界捕获来提供。然而，在许多情况下，这样的方法非常有限或者倾向于要求现实世界的虚拟模型根据现实世界捕获来建立。虚拟现实体验然后通过评价该模型来生成。
然而，当前方法倾向于是次优的并且倾向于常常具有高计算或通信资源要求和/或提供具有例如减少质量或有限自由的次优用户体验。
作为应用的范例，虚拟现实眼镜已经进入市场。这些眼镜允许观察者体验捕获的360度(全景)或180度视频。这些360度视频常常使用相机绑定预捕获，其中，个体图像一起拼接为单个球面映射。针对180或360视频的常见立体格式是顶/底和左/右。类似于非全景立体视频，左眼和右眼图片被压缩为单个H.264视频流的一部分。在解码单个帧之后，观察者旋转他/她的头部以查看他/她周围的世界。范例是记录，其中，观察者可以体验360度环视效果并且可以分立地在从不同位置记录的视频流之间切换。当切换时，另一视频流被加载，这中断体验。
立体全景视频方法的一个缺点在于，观察者不能改变虚拟世界中的位置。除全景立体视频之外，全景深度图的编码和传输可以允许客户端侧的观察者的小平移运动的补偿，但是这样的补偿将固有地限于小变化和移动并且将不能够提供沉浸和自由的虚拟现实体验。
相关技术是在其中关于深度图的多个视点在单个视频流中被编码并且传输的自由视点视频。然而，这样的方法要求高比特率并且可以在可以生成的图像方面是限制性的。
图1图示了用于自由视点可视化的捕获和回放系统的范例。在捕获侧(服务器侧SRV)，场景101由一或二维相机阵列103捕获。每个相机具有不同参考/锚定位置并且从稍微不同视角观察场景。在远程回放侧(客户端侧CLNT)，观察者104在3D显示器107上或使用虚拟现实眼镜看捕获的内容。观察者的眼睛位置并且因此其查看视角使用例如眼睛跟踪器109测量。对应的相机信号从通过网络111使内容流动的服务器105选择并且检索。内容可以实况发送或者来自服务器的文件系统上。在客户端侧(CLNT)，接收器113包括解码器，其可以解码接收到的内容/图像/视频流以生成解码流。显示控制器115然后生成适当的视图图像并且在显示器107上对其进行绘制。在系统中，取决于观察者的检测视角/姿势，相机流的子集被选择并且用于生成绘制图像。
在其中呈现视图对应于头部运动动态改变的方法被称为“运动视差”。优选地，运动视差与其中每只眼睛接收场景的不同透视图的3D立体观测一致。当相机视图数据伴随有深度(或估计差异)信息时，实际相机视点之间的视点可以合成。这被用于平滑回放。除捕获的视点之外，其还使能有限外推。在图1的系统中，数据通过网络111从服务器105转移到一个或多个客户端。为了高效地这样做，可以使用图像和深度图的(多视图)视频编码。
所描述的应用是交互式系统。相机流响应于观察者的头部运动而被选择。交互式部分上的任何延时使得感知视图落后并且降低视觉体验。通过使用基于深度的视图合成，人们可以补偿小延时。
可以考虑影响交互性(视图切换)的两个主要延时分量：
1、网络传输延时。“选择”信号向上游发送到服务器，并且正确相机视图向下游传输到查看部位。信道或者网络的往返延迟然后确定延时的第一部分。
2、解码延时。高效视频编解码器将多个时序视频帧的集合一起差分编码在“图片组”(GOP)中。一些帧然后需要对较早传输帧的引用。大GOP具有编码效率(带宽)益处。然而，大GOP还增加解码延时。其防止编码流之间的瞬时切换。
差分编码对于视频编码是公知的并且以许多不同方式应用，其中，时间和空间差分编码两者是可能的。例如，不是独立地编码整个图像(帧内)，仅相对于来自其他时间实例的帧的差被编码。例如，高效率视频编码(HEVC)标准和其前驱广泛地使用这一点。来自其他相机视点的帧也可以差分编码。这例如在作为HEVC的多视图扩展的MV-HEVC中描述。
网络传输延时最经常是不能由应用容易地修改的给定参数。其可以根据例如网络负载随时间变化。另一方面，解码延时是设计考虑。选择小GOP大小减少延时但是同时减少编码效率。
期望的是，尽可能减少延时以便提供经改进的用户体验，并且尤其是以便提供更动态的自适应体验。用于解决该延时问题的直截了当的方法将是将所有相机视图一起编码和传输或者作为分离流编码和传输。在查看部位处，其可以然后瞬时决定使用哪个视图。然而，这样的方法将导致非常高数据速率并且要求将在许多应用中高度不期望的网络的高带宽。实际上，尽管该方法可以可能地在一些情形中对于少量的相机是可行的，但是其未很好地缩放到较高数量的流/相机，并且在许多应用中是不实际的。此外，由于解码器延时，因此所有视图应当连续地解码并且这要求客户端处的高计算资源。
因此，经改进的方法将是有利的。特别地，允许经改进的操作、增加的灵活性、降低的数据速率、促进的分布、降低的复杂性、促进的实施方式、降低的计算要求、降低的延时、经改进的用户体验、和/或经改进的性能和/或操作的方法将是有利的。
发明内容
因此，本发明试图优选地单独地或以任何组合减轻、缓解或者消除上文所提到的缺点中的一个或多个。
根据本发明的方面，提供了一种用于生成输出视频流的装置，所述装置包括：处理器，其用于提供针对场景的多个参考视点的多个参考视频流；接收器，其用于接收来自远程客户端的视点请求，所述视点请求指示针对所述输出视频流的所述场景的请求视点；生成器，其用于生成输出视频流，所述输出视频流包括：第一视频流，其包括来自所述多个参考视频流中针对第一视点的第一参考视频流的第一输出帧；以及第二视频流，其包括来自所述多个参考视频流中针对第二参考视点的第二参考视频流的第二输出帧，所述第二输出帧相对于所述第一输出帧被差分编码并且所述第一输出帧未相对于所述第二输出帧被差分编码；以及控制器，其用于响应于所述视点请求而将所述第一视点和所述第二视点确定为所述多个参考视点中的视点；其中，所述控制器被布置为响应于检测到在所述输出视频流的所述生成期间所述视点请求的改变满足准则而从所述第一视点是所述多个参考视点中的第一参考视点并且所述第二视点是所述多个参考视点中的第二参考视点改变为所述第一视点是所述第二参考视点并且所述第二视点是所述第一参考视点；其中，所述装置被布置为将多个额外视频流包括在所述输出视频流中，每个额外视频流包括来自所述多个参考视频流中的额外参考视频流的相对于所述第一输出帧差分编码的输出帧；并且其中，所述控制器被布置为响应于以下各项中的至少一项而确定额外视频流的数目：针对所述视点请求的变化量度，以及针对用于传输所述输出视频流的通信信道的延时量度。
本发明可以提供表示场景的视频流的经改进和/或更有用的生成。其可以基于所述输出视频流来提供可以支持或者促进图像的远程合成的额外或者冗余信息。方法可以允许VR服务的高效支持和/或可以降低总体数据速率，同时维持针对远程图像合成的高灵活度。
所述方法可以例如支持经改进的基于客户端服务器的VR服务，其中，所述图像的最后合成在客户端侧执行。
所述方法可以特别地减少当在不同锚定视点之间切换时的转换伪影。例如，当从一个锚定视点切换到另一个时，这两个锚定视频流可以连续地在所述切换之前、期间和之后提供有仅这些改变的编码。
所述系统可以被布置为动态地执行该操作以提供输出视频流的动态调整。
根据本发明的任选特征，所述第一输出帧被编码而不参考针对除所述第一视点之外的其他参考视点的帧。
在许多实施例中，这可以提供经改进的操作。
根据本发明的任选特征，所述第一输出帧被内编码。
这可以在许多实施例中提供经改进的操作并且由于解码延时可以降低而可以特别地减少延时。内编码帧可以是独立于所有其他帧编码的帧。
根据本发明的任选特征，第一输出帧中的一些相对于第一输出帧的其他帧差分编码。
这可以在许多实施例中提供经改进的性能，并且可以特别地降低针对所述输出视频流的总体数据速率。
根据本发明的任选特征，所述输出生成器被布置为通过相对于所述第一输出帧将来自所述第二参考视频流的帧进行差分编码来生成所述第二输出帧。
这可以提供高效和自适应操作并且可以特别地适合于实时应用，诸如实时多播应用。
根据本发明的任选特征，所述处理器被布置为存储所述多个参考视频流中的至少一些参考视频流的差分编码版本，参考视频流的差分编码版本包括相对于另一参考视频流的帧差分编码的帧；并且所述生成器被布置为响应于检索到所述第二参考视频流的差分编码版本是包括相对于所述第一参考视频流的帧差分编码的帧的所述第二视频流的版本而生成所述第二视频流。
这可以在许多实施例中提供更高效的操作并且可以特别地降低计算复杂性和资源要求。其可以特别地适合于其中所述装置生成针对多个客户端的不同输出视频流的应用。
在一些实施例中，所述处理器可以被布置为存储所述多个锚定视频流，并且所述多个视频流中的至少一个的多个差分编码锚定视频流相对于针对其他视点的视频流差分编码；并且所述生成器可以被布置为基于所述视点请求根据选自所述多个视频流的检索视频流来生成第一比特流，并且根据相对于检索视频流的视点差分编码的检索差分编码视频流来生成第二比特流。
根据本发明的任选特征，所述处理器被布置为存储所述多个参考视频流作为文件并且所述控制器被布置为响应于对所述视点请求的文件检索请求而选择所述第一参考视频流和所述第二参考视频流，所述文件检索请求指示包括参考视频流的存储文件。
这可以在许多实施例中提供高效并且低复杂性实施方式。
根据本发明的任选特征，所述控制器被布置为响应于所述请求视点与所述多个参考视点之间的距离而改变所述第一视点。
这可以在许多实施例中提供高度有利的操作。
根据本发明的任选特征，所述控制器被布置为响应于针对请求视点的变化率而改变所述第一视点。
在许多实施例中，这可以提供高度有利的操作。
根据本发明的任选特征，所述控制器被布置为响应于延时量度而改变所述第一视点。
在许多实施例中，这可以提供高度有利的操作。
延时量度可以指示针对用于传输输出视频流的通信信道的延时量度。延时量度可以指示装置的处理的延时，并且可以是接收视点请求与基于该视点请求来调整输出视频流之间的延迟。
所述装置被布置为将多个额外视频流包括在所述输出视频流中，每个额外视频流包括相对于所述第一输出帧差分编码的多个参考视频流的额外参考视频流；并且其中，所述控制器被布置为响应于针对用于传输所述输出视频流的通信信道的延时量度而确定额外视频流的数目。
这可以在许多实施例中提供经改进的性能并且可以特别地提供数据速率对当前条件的经改进的动态调整。
所述装置被布置为将多个额外视频流包括在所述输出视频流中，每个额外视频流包括相对于所述第一输出帧差分编码的多个参考视频流的额外参考视频流；并且其中，所述控制器被布置为响应于针对所述视点请求的变化量度而确定额外视频流的数目。
这可以在许多实施例中提供经改进的性能并且可以特别地提供数据速率对当前条件的经改进的动态调整。
一种用于绘制视频流的装置可以包括：接收器，其用于接收所述视频流，所述视频流包括：第一视频流，其包括表示针对场景的第一视点的帧的第一帧；以及第二视频流，其包括针对来自第二视点的场景的第二帧，所述第二帧相对于所述第一帧差分编码并且所述第一帧未相对于所述第二帧差分编码；绘制器，其用于响应于所述第一视频帧和所述第二视频帧而绘制针对视点的输出视图图像；检测器，其用于检测从对应于第一参考视点的所述第一视点和对应于第二参考视点的所述第二视点到对应于所述第二参考视点的所述第一视点和对应于所述第一参考视点的所述第二视点的视频流的改变；以及适配器，其用于响应于所述检测而调整所述绘制。
所述绘制器可以被布置为使用应用于所述第一帧和所述第二帧中的至少一个的视点移位合成所述视图图像。
所述适配器可以被布置为调整视点移位以补偿针对所述第一帧和所述第二帧中的至少一个的视点的改变。
根据本发明的方面，提供了一种生成输出视频流的方法，所述方法包括：提供针对场景的多个参考视点的多个参考视频流；接收来自远程客户端的视点请求，所述视点请求指示针对所述输出视频流的所述场景的请求视点；生成输出视频流，所述输出视频流包括：第一视频流，其包括来自所述多个参考视频流中针对第一视点的第一参考视频流的第一输出帧；以及第二视频流，其包括来自所述多个参考视频流中针对第二参考视点的第二参考视频流的第二输出帧，所述第二输出帧相对于所述第一输出帧被差分编码并且所述第一输出帧未相对于所述第二输出帧被差分编码；响应于所述视点请求而将所述第一视点和所述第二视点确定为所述多个参考视点中的视点；并且其中，确定所述第一视点和所述第二视点包括：响应于检测到在所述输出视频流的所述生成期间所述视点请求的改变满足准则而从所述第一视点是所述多个参考视点中的第一参考视点并且所述第二视点是所述多个参考视点中的第二参考视点改变为所述第一视点是所述第二参考视点并且所述第二视点是所述第一参考视点；所述方法还包括将多个额外视频流包括在所述输出视频流中，每个额外视频流包括来自所述多个参考视频流中的额外参考视频流的相对于所述第一输出帧差分编码的输出帧；并且响应于以下各项中的至少一项而确定额外视频流的数目：针对所述视点请求的变化量度，以及针对用于传输所述输出视频流的通信信道的延时量度。
一种绘制视频流的方法可以包括：接收所述视频流，所述视频流包括：第一视频流，其包括表示针对场景的第一视点的帧的第一帧；以及第二视频流，其包括针对来自第二视点的场景的第二帧，所述第二帧相对于所述第一帧差分编码并且所述第一帧未相对于所述第二帧差分编码；响应于所述第一视频帧和所述第二视频帧而绘制针对视点的输出视图图像；检测从对应于第一参考视点的所述第一视点和对应于第二参考视点的所述第二视点到对应于所述第二参考视点的所述第一视点和对应于所述第一参考视点的所述第二视点的视频流的改变；并且响应于所述检测而调整所述绘制。
本发明的这些和其他方面、特征和优点将根据在下文中所描述的(一个或多个)实施例而显而易见并且参考在下文中所描述的(一个或多个)实施例得到阐述。
附图说明
将仅通过范例参考附图描述本发明的实施例，其中：
图1图示了用于自由视点可视化的捕获和回放系统的范例；
图2图示了用于提供虚拟现实体验的客户端服务器布置的范例；
图3图示了根据本发明的一些实施例的服务器装置的元件的范例；
图4图示了根据本发明的一些实施例的客户端装置的元件的范例；
图5图示了根据本发明的一些实施例的用于由服务器装置生成的视频流的编码方法的范例；并且
图6图示了根据本发明的一些实施例的用于由服务器装置生成的视频流的编码方法的范例。
具体实施方式
允许用户在虚拟世界中四处移动的虚拟体验正变得日益流行并且服务被开发以满足这样的需求。然而，高效虚拟现实服务的提供是非常具挑战性的，特别地如果体验是基于现实世界环境的捕获而不是完全虚拟生成的人工世界。
在许多虚拟现实应用中，确定反映虚拟场景中的虚拟观察者的姿势的观察者姿势输入。虚拟现实装置/系统/应用然后生成与对应于观察者姿势的观察者的虚拟场景的视图和视点相对应的一幅或多幅图像。
通常，虚拟现实应用以针对左和右眼的分离的视图图像的形式生成三维输出。这些可以然后通过适合的装置呈现给用户，诸如通常VR耳机的个体左和右眼显示器。在其他实施例中，一幅或多幅视图图像可以例如呈现在自动立体显示器上，或者实际上，在一些实施例中，可以生成仅单幅二维图像(例如使用常规二维显示器)。
观察者姿势输入可以在不同应用中以不同方式确定。在许多实施例中，可以直接地跟踪用户的物理移动。例如，调查用户区域的相机可以检测并且跟踪用户的头部(或甚至眼睛)。在许多实施例中，用户可以穿戴可以由外部和/或内部装置跟踪的VR耳机。例如，耳机可以包括提供关于耳机并且因此头部的移动和旋转的信息的加速度计和陀螺仪。在一些范例中，VR耳机可以传输信号或包括使得外部传感器能够确定VR耳机的位置的(例如视觉)标识符。
在一些系统中，观察者姿势可以由手动装置提供，例如通过用户手动控制操纵杆或类似手动输入部。例如，用户可以通过利用一只手控制第一模拟操纵杆并且通过利用另一只手手动移动第二模拟操纵杆手动控制虚拟观察者看的方向，在虚拟场景中手动四处移动虚拟观察者。
在一些应用中，手动和自动方法的组合可以被用于生成输入观察者姿势。例如，耳机可以跟踪头部的取向，并且场景中的观察者的移动/位置可以由使用操纵杆的用户控制。
图像的生成基于虚拟世界/环境/场景的适合表示。在许多系统中，场景可以由对应于从不同捕获姿势捕获的视图的图像数据表示。例如，针对多个捕获姿势，图像或者视频序列可以捕获或者存储。作为范例，体育事件可以通过从不同位置(或姿势)捕获事件并且生成捕获的视频序列的多个相机捕获用于广播作为虚拟现实体验(或者支持这样的体验)。视频序列的集合可以实时广播或者可以例如存储用于在稍后阶段检索。在其中场景通过针对分立参考视点/位置/姿势存储的视图数据描述/参考的系统中，这些在本领域中还被称为锚定视点/位置/姿势并且在以下中术语参考和锚定将被用作等效/相同的。通常，当现实世界环境已经通过捕获来自不同点/位置/姿势的图像来捕获时，这些捕获点/位置/姿势也是参考/锚定点/位置/姿势。
在领域中，术语放置和姿势被用作用于位置和/或方向/取向的公用术语。例如对象、相机、头部或者视图的位置和方向/取向的组合可以被称为姿势或者放置。术语视点还通常在本领域中被用于指示针对视图的原点。该术语常常被用于指示从其看到视图的位置，但是其还通常包括取向，并且实际可以仅是取向。因此，为视图或图像提供基础的姿势或放置通常被称为针对视图或图像的视点。
因此，针对对象的放置或者姿势指示可以包括六个值/分量/自由度，其中，每个值/分量通常描述对应的对象的位置/定位或取向/方向的个体性质。如果对象是视图的基础，例如其表示相机或观察者(虚拟或真实的)，则对象的视点可以由对象的对应姿势或放置表示。
当然，在许多情况下，放置、姿势或视点可以利用更少的分量考虑或表示，例如如果一个或多个分量被认为是固定或不相关的(例如如果所有对象被认为在相同高度处并且具有水平取向，四个分量可以提供对象的姿势的全部表示)。在以下中，术语姿势和视点被用于是指可以由一到六个值(对应于最大可能自由度)表示的位置和/或取向。
基于为观察者提供最大自由度的系统或实体通常被称为具有6个自由度(6DoF)。许多系统和实体仅提供取向或者位置并且这些通常被称为具有3自由度(3DoF)。
在许多实施方式中，VR应用跨不同实体/设备分布，并且特别地可以使用客户端服务器配置来实施。例如，本地于用户的设备可以检测/接收被处理以生成然后传输到远程设备的观察者姿势的移动/姿势数据。远程设备然后可以基于场景数据生成用于观察者姿势的适合的视图图像，其描述场景数据。例如，其可以选择最接近于观察者姿势的锚定点之一并且将此传输到可以可能直接呈现接收的视频流的本地客户端设备。
服务器可以被认为是管理对网络中的集中式资源或服务的访问权的功能、过程、方法、装置、计算机或计算机程序，诸如在提供对表示场景的视频流的访问权的特定情况下。客户端可以被认为是能够获得来自服务器的信息和应用的功能、过程、方法、装置、计算机、或计算机程序，诸如在获得表示场景的视频流的特定情况下。
图2图示了其中远程VR服务器203与客户端VR设备201(例如经由网络205，诸如因特网)联络的VR系统的这样的范例。远程VR服务器203可以被布置为同时支持潜在地大量的客户端VR设备201。图1的系统可以特别地用于实施图1的方法，并且以下描述将基于这样的系统。
在许多情形中，诸如图2的方法的方法可以提供例如针对不同设备、通信要求等的复杂性和资源需求之间的经改进的折中。例如，观察者的当前视点和对应的场景数据可以利用与本地处理视点和接收到的场景数据以提供实时低延迟体验的本地设备的更大的间隔传输。这可以例如实质上减少要求的通信带宽，同时允许场景数据中心存储、生成和维持。其可以例如适合于其中VR体验被提供给多个远程设备的应用，诸如例如VR广播服务或应用，诸如例如体育事件的广播，作为其中用户可以改变位置的VR服务。
然而，如先前所描述的，这样的系统可以引入延时。例如，如果视点从接近于第一锚定姿势改变到第二锚定姿势，则这将导致服务器从提供针对第一锚定姿势的视频流改变为针对第二锚定姿势的视频流。然而，从客户端视点，从一个视频流到另一视频流的改变随着取决于网络(往返)延迟以及任何解码延迟两者的延时而发生。这样的延迟可以是实质的并且非常可感知的。例如，当移动以使得用户视点从一个锚定姿势移位到另一锚定姿势时，移位可以实际上随着显著并且可感知的延迟而发生。甚至在其中本地视图移位基于当前视点和接收到的视频流(和这的姿势)来执行的方法中，增加的要求的视图移位将引起质量降低。通过传输多个视频流的服务器解决延时问题实质上增加带宽和资源使用。
在以下中，方法将参考图2(和图1)描述，其在许多情形中可以提供降低延时，同时维持低带宽和资源要求。方法可以特别地利用动态自适应编码方法利用冗余视频流以提供延时与带宽/资源要求之间的经改进的折中。
图3图示了服务器201的元件的范例，并且图4图示了这样的实施例的客户端203的元件的范例。
在范例中，服务器201包括用于提供针对给定场景的多个锚定视点的多个锚定视频流的处理器301。因此，针对多个锚定视点中的每个，处理器301可以提供表示来自该视点的场景的视图的锚定视频流。将意识到，在本领域中术语锚定仅是不具有除引用多个视频流之外的任何其他隐含的标签(即，其对应于描述处理器301可以提供针对给定场景的多个视点的多个视频流并且实际上术语锚定可以由另一标签替换，诸如例如术语“第一”)。然而，在许多实施例中，锚定视点和视频流可以是捕获视点和通过捕获来自捕获视点的视频流生成的捕获视频流。术语可以特别地是捕获实时事件的相机的视点。
服务器201还包括输出生成器303，其被布置为生成包括表示场景的视频的输出视频(数据)流。输出视频流可以被传输到客户端203，其可以前进到绘制场景的视频，可能地通过直接绘制接收到的输出视频流(或者可能在首先执行特定操纵之后，诸如例如执行特定视点移位)。
服务器201还包括接收器305，其被布置为接收来自客户端203的视点请求，其中，视点请求指示针对输出视频流的场景的请求视点。因此，客户端203可以动态地确定从其期望查看场景的视点，即，从该视点应当生成绘制的图像。视点请求然后被生成以指示期望视点并且这可以然后被传输到指示期望视点的服务器201。
服务器201被布置为响应于接收到的视点请求而生成输出视频流。特别地，装置包括控制器307，其耦合到接收器305、输出生成器303和处理器301。控制器307特别地被布置为响应于视点请求而从多个锚定视频流选择锚定视频流并且控制输出视频流中的这些的表示。
图2的服务器201被布置为动态地生成输出视频流以包括锚定视频流中的至少两个，其中，锚定视频流之一相对于另一个编码。特别地，输出视频流被生成以包括来自锚定视频流中的第一个的帧和来自锚定视频流中的第二个的帧，其中，来自第二锚定视频流的帧相对于来自第一视频流的帧来编码。然而，来自第一锚定视频流的帧未相对于来自第二锚定视频流的帧来编码(尽管在一些实施例中，其可以相对于来自第一锚定视频流自己的其他帧或者甚至相对于来自另一锚定视频流的帧来编码)。
在许多实施例中，输出视频流特别地生成，使得其包括第一视频(数据/比特)流，其在不相对于任何其他视频(数据/比特)流的情况下编码，即，其相对于包括在输出视频流中的任何其他视频流非差分地编码。该第一视频流将被称为主视频流。另外，输出视频流被生成以至少包括相对于主视频流编码的第二视频流。该视频流将被参考作为差分视频流并且可以特别地是相对于主视频流差分编码的视频流。在一些实施例中，输出视频流可包括额外视频流并且特别地可包括已经相对于主比特流编码的额外差分视频流。
将意识到，在许多实施例中，可以使用用于差分编码差分比特流的不同方法。作为特定低复杂性范例，剩余帧可以通过从要编码的帧逐像素减去主视频流的对应帧针对差分视频流生成。可以然后编码所得的剩余或错误帧。由于剩余值将倾向于显著地小于原始值(由于帧可能当其从常常相对接近视点查看相同场景时彼此紧密类似)，因而编码可以利用显著地降低的数据速率执行。
将意识到，在最实际的差分编码方案中，可以使用更高级的方法，包括例如匹配不同帧中的段并且通过减去匹配段确定剩余值等。这样的方法可以例如被用于反映锚定视频流之间的视差移位以便提供更高效的编码。除了剩余值之外，编码数据可以包括关于不同段(例如，由向量表示的)之间的相对偏移的信息。
控制器307可以被布置为动态地选择锚定视频流中的第一个，从其生成主视频流。通常，控制器307将选择针对最紧密地对应于视点请求的锚定视点的锚定视频流。主视频流被生成以包括所选择的第一锚定视频流的帧并且可以特别地通过直接地将所选择的第一锚定视频流包括到输出视频流中生成，尽管将意识到，在一些实施例中，帧可以修改(例如，动态范围或分辨率的改变)并且在一些实施例中主视频流可以生成为具有比所选择的第一锚定视频流更多或更少的帧(例如，通过内插或子集选择)。
另外，控制器307可以动态地选择锚定视频流中的第二个，从其生成差分视频流(或者在一些实施例中可以选择针对不同差分视频流的多个锚定视频流)。通常，控制器307会将第二锚定视频流选择为第一锚定视频流的近邻(其被选择用于主视频流)。
因此，差分视频流被生成为包括来自第二锚定视频流的帧。关于主视频流，可以引入一些修改(诸如帧速率转换、动态范围改变、或分辨率)，但是在大多数实施例中，差分视频流的帧通常生成为直接地对应于第二锚定视频流的帧。
然而，针对差分视频流的帧相对于来自主视频流的帧来编码。因此，来自第二锚定视频流的帧以相对于来自第一锚定视频流的帧的差分编码方式包括在输出视频流中。第一锚定视频流用于第一锚定视点并且第二锚定视频流用于第二锚定视点，并且因此，输出视频流利用对应于第一锚定视点的主视频流和具有对应于第二锚定视点的差分编码帧的差分视频流生成。
因此，控制器307可以被布置为动态地并且响应于视点请求而选择锚定视频流中的哪一个被编码为主(非差分编码)视频流并且锚定视频流中的哪一个(些)相对于主视频流差分编码。
另外，控制器307被布置为动态地调整选择，使得其将响应于视点请求的改变而改变。特别地，由于第一锚定视点是最接近于视点请求的锚定视点，因而控制器307可以初始地将针对主视频流的捕获视频流选择为第一锚定视频流。另外，第二锚定视频流被选择用于差分视频流，因为第二视点是第一视点的近邻视点，并且通常其可以是最近近邻(或者属于预定数目的近邻的集合，例如针对排成一行布置的锚定视点，两个最近视点可以被选择用于差分视频流的生成)。
然而，如果视点请求现在改变以更接近于第二视点，则控制器307可以在特定点切换，使得主视频流被选择为对应于第二视点，即，第二锚定视频流将被用于主视频流。因此，控制器307会将主视频流从第一锚定视频流切换到第二锚定视频流，从而将其切换到更接近于当前请求视点并且其因此为客户端203处的绘制提供更好的基础的锚定视频流。另外，控制器307将差分视频流切换为基于针对第二视点的锚定视频流以用于第一视点。因此，控制器307可以有效地在捕获视频流中的哪一个被提供为非差分编码视频流与哪一个被编码为相对视频流之间切换。
因此，服务器201可以连续地在改变期间提供针对相同两个锚定视点的视频流，但是将改变这些中的哪一个差分表示。因此，输出视频流在转换期间连续地生成以包括初始锚定视频流和目的地锚定视频流两者，但是利用在主视频流与差分视频流之间的这些切换，即，哪些差分编码和非差分编码之间的切换。在许多实施例中，维持输出视频流中的两者视频流的存在但是在哪一个是主视频流并且哪一个是差分视频流之间切换的方法可以提供经改进的性能。特别地，其可以提供客户端侧的增加的一致性和经改进和/或促进的绘制。实际上，针对绘制，相同视频流连续地存在，并且因此针对视图合成绘制的相同基础是可用的。在其中例如视点从一个视频流的视点缓慢并且逐渐移动到近邻视频流的视点的情况下，非常平滑并且高效的转换可以在通常没有当在视频流之间切换时的可感知的副作用的情况下实现。
图4图示了客户端203的元件的范例。客户端203在可以被布置为动态地绘制从服务器201接收的图像的客户端设备中实施的范例中。
客户端203包括接收器401，其被布置为接收来自服务器201的输出视频流。因此，接收视频流，其至少包括：主视频流，其包括针对一个视点的帧；和差分视频流，其包括针对第二视点的帧，并且其中，帧相对于主视频流的帧来差分编码。
客户端还包括绘制器403，其被布置为基于接收到的视频流来绘制输出视图图像。输出视图图像可以特别地以允许其直接地显示在适合的显示器上的格式提供。例如，输出视图图像可以根据适合的标准生成并且包括在比特流中，诸如例如根据HDMI或DisplayPort标准。
绘制器403被布置为生成对应于绘制视点的输出视图图像。绘制视点将通常不直接地对应于接收到的视频流之一的视点，并且因此在大多数实施例中绘制器403会包括被布置为执行其中针对绘制视点的图像/帧根据主视频流和差分视频流的帧中的至少一个生成的图像合成的功能，即，基于来自主锚定视点或差分锚定视点的图像帧。通常，图像基于来自两个视点的图像/帧(即，基于主视频流和差分视频流两者)来合成。
因此，绘制器403可以被布置为执行视点移位等以合成来自新视点的图像。将意识到，技术人员将知道针对这样的视图移位/合成的许多不同方法和算法并且可以使用任何适合的方法。
绘制器403还包括用于酌情解码接收到的输出视频流和主视频流和差分视频流的装置。因此，特别地，绘制器403被布置为执行差分编码以基于主视频流的帧来生成差分视频流的帧。
在大多数实施例中，绘制视点可以动态地改变，并且客户端203包括视点输入部405，其接收输入并且生成绘制视点。输入可以通常是用户输入，诸如来自用户输入设备的手动输入，例如游戏控制器，其可以由用户使用以手动并且动态地改变并且控制绘制视点。作为另一范例，视点输入部405可以包括眼睛跟踪功能或例如接收来自VR耳机的移动信息并且作为响应其可以生成绘制视点。
因此，绘制视点可以连续地更新和改变以反映针对用户的期望视点的改变，例如通过适应于跟随用户的移动。绘制视点数据被馈送到绘制器403，使得这动态地改变以生成对应于当前绘制视点的输出图像。
用户输入405还耦合到发射器407，其被布置为生成视点请求并且将此传输到服务器201。在许多实施例中，发射器407可以被布置为简单地直接将当前绘制视点传输到服务器201。服务器201可以然后直接地将该绘制视点与锚定视点进行比较以便选择针对分别地主视频流和(一个或多个)差分视频流的锚定视点。
在其他实施例中，客户端203可以例如直接请求锚定视频流之一作为主锚定视频流并且服务器201可以直接地提供所请求的锚定视频流作为主视频流并且酌情利用差分视频流补充其。例如，当服务设立时，服务器201可以将所有锚定视点的数据提供给客户端203，并且客户端可以前进到将当前绘制视点与锚定视点比较并且请求针对最近锚定视点的锚定视频流。
因此，客户端203接收包括主视频流和至少一个差分视频流的输出视频流，并且据此其本地生成针对当前绘制视点的输出图像。然而，如先前所描述的，针对主和差分视频流的锚定视频流的选择不固定但是可以动态地改变。
因此，客户端203包括检测器409，其被布置为检测何时由服务器201针对主视频流选择的锚定视频流和针对差分视频流选择的锚定视频流改变。
通常，接收到的输出视频流将包括指示哪些锚定视频流或者锚定视点分别地选择用于主视频流和差分视频流的数据，并且检测器415可以简单地评价这样的元数据以检测何时改变发生。在其他实施例中，没有这样的数据可以提供并且检测器415可以例如被布置为检测可以对应于视差移位的图像中的突然移位。例如，在其中客户端203直接地请求一个锚定视频流作为主视频流的实施例中，检测器415可以当新锚定视频流被请求时由发射器407通知。其可以然后前进到监测主视频流和/或差分视频流的帧以检测何时图像对象/段看起来在连续帧之间突然移位，因为这可以指示当视点的改变发生时的视差的改变。检测可以特别地考虑主视频流和差分视频流两者以检测其中两个流中的突然移位对应于彼此但是具有相反符号的情况，因为这将反映主视频流中的视差移位是当两个视频流的视点调换时的差分视频流的相反。
在其中视图选择逻辑被实施在客户端203中的实施例中，然后检测器415可以隐含地仅基于本地信息来确定改变。在这种情况下，客户端203知道其相对于锚定位置/姿势的位置/姿势并且可以简单地根据位置/姿势从服务器201检索不同的数据。在这种情况下，切换完全地被实施在客户端中并且可以假定关于服务器数据的仅有事物是区域如何组织(例如，利用冗余侧视图)，使得客户端203能够选择适当的视频流。在这样的情况下，检测器415可以响应于客户端203自己请求新视频流而直接地检测改变，例如利用反映往返延迟的延迟。
检测器409耦合到适配器411，其还耦合到绘制器403。适配器411被布置为响应于检测到改变已经在主视频流和差分视频流的视点中发生而调整绘制。特别地，其被布置为调整合成操作，使得这考虑针对主视频流和差分视频流的视点已经改变。其可以例如通过切换绘制/合成以基于主视频流而不是差分视频流来这样做。
在许多实施例中，这可以特别地对应于从基于差分视频流执行视点移位切换到基于主视频流。例如，如果绘制视点从主视频流的视点(比如说视点2)朝向差分视频流的视点的视点(比如说视点3)逐渐地移动，则绘制器403将在特定点处从合成来自主视频流的帧的图像切换以基于差分视频流的帧对其进行合成，因为这些来自更近视点。因此，除解码主视频流之外，其可以开始解码差分视频流(因为这仍然被要求以便解码差分视频流)。
服务器201还可以检测视点请求现在指示更接近于差分视频流的视点(视点3)而不是主视频流的视点(视点2)的视点。其可以因此切换使得主视频流现在根据视点3的锚定视频流的帧生成。另外，差分视频流将根据针对视点2的锚定视频流的帧生成。
检测器409可以检测何时该改变到达客户端203，并且响应于该检测，适配器411可以控制绘制器403以从基于差分视频流合成输出图像切换为基于主视频流。另外，由于差分视频流现在对应于先前视点(视点2)，因而该锚定视频流仍然借助于差分视频流被提供到客户端203并且因此可以容易地检索(如果期望的绘制视点朝向视点2返回)。
在系统中，控制器307因此被布置为从第一视点是多个参考视点中的第一参考视点并且第二视点是多个参考视点中的第二参考视点改变为第一视点是第二参考视点并且第二视点是第一参考视点。控制器307被布置为响应于检测到在输出视频流的生成期间视点请求的改变满足准则而实现该改变。
将意识到，所描述的方法可以与用于在哪个视频流/视点被用作主视频流/视点并且哪个被用作差分视频流/视点之间切换的任何准则一起使用。
在许多实施例中，准则可以包括参考视点与(当前)视点请求之间的距离的考虑。特别地，在一些实施例中，视点请求可以直接地是识别参考视点之一的请求，并且主视点/视频流与差分视点/视频流之间的改变可以简单地起因于视点请求改变以请求不同视点。
在许多实施例中，视点请求可以是将视点指示为还包括参考视点的坐标系(例如，针对虚拟现实场景的坐标系)中的位置。在这样的实施例中，准则可以包括到参考视点中的每个的距离的考虑，并且控制器307可以被布置为当前根据适合的距离准则选择最近参考视点。因此，如果控制器307连续地选择最近参考视点作为主视点，则用于改变主视点的准则可以简单地是所请求的视点更接近于不同参考视点。
在许多实施例中，控制器307可以执行包括应用用于选择主视点的准则或规则的算法。对视点请求的改变满足准则的检测可以对应于对用于选择主视点的准则已经导致不同视点被选择为主视点的检测。换句话说，用于检测视点请求的改变已经发生并且参考视点的改变应当执行的准则可以是对用于选择参考视点的准则是否已经导致不同视点被选择的评价。特别地，基于考虑视点请求的给定准则或算法连续地选择并且使用当前参考视点还可以固有地是用于检测针对参考视点选择的视点的改变应当何时从第一视点改变为第二视点的准则。
因此，在许多实施例中，主视点和差分视点的选择和改变可以基于或考虑(空间)接近度。例如，可以使用以下简单准则：如果与参考视点B相比观察者的眼睛(如由视点请求所指示的)空间地更接近于参考视点A，那么视点A被选择为第一参考视点并且视点B相对于视点A来编码。
在一些实施例中，考虑更复杂的算法。
例如，可以生成基于视点请求的预测模型，并且针对眼睛移动的合理模型被用于预测用户的视点的改变的方向。切换可以然后基于这样的预测而不是原始观察的位置测量结果。这可以提供更快并且抢先的切换。
在一些实施例中，用于切换的准则可以包括视点请求的变化率的考虑。例如，如果眼睛以高速移动，则这将导致针对视点请求的高变化率。在这种情况下，能够期望预测未来视点请求，并且由于较高速度，可以使切换更早。
在一些实施例中，可以考虑系统/通信延时。延时可以发挥间接作用并且可以在选择/切换准则中考虑。这可以通常与视点请求的当前位置和当前变化率的考虑组合。
延时量度可以指示针对用于传输输出视频流的通信信道的延时量度。延时量度可以指示装置的处理的延时，并且可以是接收视点请求与基于该视点请求来调整输出视频流之间的延迟。
例如，在其中使用其中第二和第三视频流相对于第一视频流不同地编码的三个视频流的情形中，传输延时可以是高以允许足够快的视点切换。以更高带宽为代价，系统可以决定相反发送5、7、9或更多视图。不仅解码硬件需要是足够快的，而且数据已经被接收。在这样的情况下，参考视频流的切换可以是当高通信延时被检测时比当低通信延时被检测时更不频繁的。
方法可以提供一方面数据速率、带宽、资源要求和用于改变绘制视点的可能绘制质量之间的经改进的折中。
系统可以(至少部分地)使用冗余视频流以解决客户端侧的延时问题。其可以提供针对每个主视图的差分编码近邻锚定视图以补偿传输和解码延迟。近邻视图可以以这样的结构相对于彼此差分编码：解码步骤的数目(解码复杂性)当在视图之间切换时是低的。方法可以以服务器侧的多视图编码效率为代价减少客户端侧的延时，同时保持带宽使用在控制下。
可以参考图5描述方法的范例。在该范例中，主视频流被内编码，使得主视频流的每个帧可以在没有对任何其他帧的任何参考的情况下被解码，无论针对相同视点还是来自另一视点。范例基于锚定视点的集合(其特别地可以是当场景被捕获时的相机位置)沿直线布置。
在范例中，视频包通过从锚定视频流选择帧和视频包生成。控制器307选择相机/捕获视点之一作为主视点。特别地，其动态地选择最接近于视点请求的视点。针对该主视点的视频包被包括在输出视频流中作为内编码包/帧(由图5中的I所指示的)，即，作为主视频流。另外，两个近邻视点被选择为差分视点，并且来自两个对应的锚定视频流的视频包/帧也被包括在输出视频流中作为差分视频流。然而，针对这些视点，编码视频包/帧相对于主视点的视频包/帧差分编码(并且由图5中的D指示)。因此，生成图片组(GOP)结构，其是空间(在图5中垂直描绘)而不是时间的。因此，这些视点/视频流由更高效编码的视频流表示。
主视点并且因此差分视点的选择动态地更新以反映接收的视点请求的改变。例如，在图5中，初始情况(在t＝t0处)在于，客户端203请求对应于视点2的视点。因此，其接收针对视点2的内编码帧和针对视点1和3的差分编码帧。视点1和3的差分编码关于视点2是相对的。这仅当需要额外解码步骤以生成针对视图1或3的图像时允许低延时视点切换，因为针对这些的数据被提供为来自服务器201的输出视频流的部分。
在范例中，期望视点可以从视点2切换到视点3(从更接近于视点2到更接近于视点3)。在图4的范例中，从视点2到视点3的改变可以在t1处发生并且因此传输到服务器201的视点请求可以从针对视点2的请求改变为针对视点3的请求。
当服务器201接收该改变的视点请求时，其前进到选择锚定视点3作为主视点。因此，其切换使得主视频流现在对应于针对视点3而不是视点2的锚定视频流，并且因此针对视点3的视频包/帧现在被包括在输出视频流中作为内编码视频包/帧。然而，另外，先前主视点现在被选择为差分视点之一，并且针对视点2的视频包/帧仍然包括在输出视频流中，但是其现在相对于视点3的视频包/帧差分编码。因此，两个流已经在内编码与相对/差分编码之间切换。另外，控制器307切换以选择视点4作为差分视点而不是视点1。跟随改变，主视频流因此对应于视点3，差分视频流对应于视点2和4。
然而，由于往返网络延迟，因此改变未到达客户端203直到稍后时间点t2。然而，这不是关于要求的视频流的主要问题，即，针对视点3的视频流可以通过首先解码针对视点2的帧并且然后通过针对视点3的差分包的差分解码生成针对视点3的帧基于接收到的数据重新创建。当针对视点3的第一内编码帧然后在t2处被接收时，客户端203可以切换以前进到直接解码针对视点3的帧并且不需要两级解码过程。
因此，方法可以允许不同锚定视频流与锚定视点之间的平滑和高效转换。与移位相关联的任何网络延时可以通过执行差分解码减轻。另外，表示的视点可以仔细选择，使得高效和平滑的转换发生而不要求视频数据针对所有锚定点传输。方法提供数据速率与性能之间的高效折中。两个锚定视点之间的转换特别地执行，使得贯穿转换存在一致性。针对两个视点的视频流贯穿整个转换可用于客户端203，并且实际上这两个视频流在转换之前、期间和之后被提供给客户端203。改变不在视频流中的哪些被提供给客户端203中而是在这些如何被编码中。许多实际系统和使用中的典型行为在于，用户常常在不同位置之间来回并且因此其中存在两个特定视点之间的重复改变的情形常常发生。在这样的情形中，由于其连续地将这两个视频流提供到客户端203，所描述的方法可以是特别有利的。
在以上范例中，针对主视频流和视点的帧在不参考针对除第一视点之外的其他视点的帧并且实际上不参考任何其他帧的情况下编码。相反，主视频流的每个帧仅基于该帧内的信息个体地编码(内编码)。
然而，在一些实施例中，主视频流的帧的预测可以被使用并且实际上主视频流的帧中的一些可以差分编码。在一些实施例中，差分编码可以可能相对于输出视频流的其他视频流的帧，但是将不相对于差分视频流的帧差分编码。因此，尽管空间预测和差分编码在一些实施例中还可以被用于主视频流的帧，大多数实施例将不包括基于任何其他视频流的主视频流的帧的任何差分编码，即，通常不包括主视频流的帧的空间差分编码。
在许多实施例中，主视频流的帧中的一些可以相对于主视频流的其他帧差分编码。在这样的范例中，主视频流可以例如利用一些内编码帧和相对于内编码帧差分编码的一些空间编码帧来编码。差分视频流的帧仍然相对于针对相同时刻的主视频流的帧差分编码，即使该帧自己差分编码。特别地，输出生成器303可以首先差分解码主视频流的帧。其可以然后基于编码通过解码所生成的编码数据来生成解码参考帧。该帧(其直接地匹配将在客户端203处生成的帧)然后被用作用于针对相同时间的差分视频流的差分编码的参考帧。
图6示出了这样的方法的范例。在范例中，主视频流的帧中的一些因此还内编码以便减少所得比特率。
为了解码这些帧，较早内编码帧必须可用于解码器。由于要求I帧在这被解码之前针对新主视频流被接收，因此这引入额外延时。该额外延时可以例如通过包括更多近邻视图补偿。在图6的范例中，输出视频流被生成以包括一个主视频流和四个差分视频流。如所图示的，创建包括更多帧并且具有空间和时间延伸两者的GOP。
在许多实施例中，装置可以被布置为动态地解码输出视频流。例如，处理器301可以实时接收锚定视频流，并且这些可以馈送到输出生成器303，其中，一个锚定视频流在控制器307的控制下被选择作为主视频流。所选择的主视频流可以然后编码，例如，其中，所有帧是内编码帧，或者其中，一些帧基于主视频流的其他帧来预测。在一些实施例中，主视频流的该编码可以是转码(如果锚定视频流采取不同编码格式)，或者在一些实施例中，主视频流可以直接地生成为锚定视频流而没有任何重新编码。
控制器307还可以选择第二锚定视频流，其被编码为差分视频流。因此，该锚定视频流的帧相对于主视频流的帧动态并且实时地差分编码。该差分编码可以例如包括首先解码锚定视频流以生成解码视频流，其然后相对于主视频流的帧差分编码。
该方法可以例如高效地实施支持VR体验的实时广播服务器。
在其他实施例中，锚定视频流可以存储并且处理器301可以被布置为检索选择的锚定视频流，并且输出生成器303可以以如针对实时实施方式所描述的类似方式编码(转码)检索的视频流。
在一些实施例中，不同视频流的编码未在操作期间动态执行而是可以提前执行。特别地，处理器301可以存储所有锚定视频流。另外，处理器301可以存储锚定视频流的差分编码版本。
例如，针对每个锚定视频流，处理器301可以存储锚定视频流的非差分编码以及多个差分编码版本，其中，每个版本相对于一个其他锚定视频流差分编码。例如，如果输出视频流被生成为包括一个主视频流和两个差分视频流，则处理器301除了非差分编码版本之外针对每个锚定视频流存储在一个方向上相对于最近近邻锚定视频流差分编码的一个版本，以及在另一方向上相对于最近近邻锚定视频流差分编码的一个版本(例如，其中，锚定视点沿直线)。
在这样的范例中，输出生成器303可以不通过选择性地编码锚定视频流生成输出视频流，而是可以直接地检索适当的存储版本并且将其包括在输出视频流中。特别地，输出生成器303可以检索当前被选择用于主视频流的锚定视频流的非差分编码版本，并且针对差分视频流的集合可以提取相对于针对主视频流选择的锚定视频流差分编码的选择的锚定视频流的版本。这些版本可以然后直接地被包括在输出视频流中。
例如，如果主视频流针对视点2生成，则处理器301可以提取针对视点2的锚定视频流的非差分编码版本和相对于针对视点2的锚定视点差分编码的针对视点1和3的锚定视频流的差分编码版本。
这样的方法在许多实施例中可以提供非常高效的性能并且可以特别地适合于其中服务器201正支持多个客户端的方法，诸如例如用于广播服务。
在其中锚定视频流被存储在文件中(无论是否在不同版本中)的实施例中，从客户端203接收的视点请求可以直接地指示被请求被提供为主视频流的特定文件。
例如，代替于客户端203连续地发送当前绘制视点的指示并且服务器201识别最近锚定视点，客户端203可以直接地确定并且请求文件/锚定视频流。例如，当服务开始时，服务器201可以传输针对其锚定视频流被存储在服务器201处的锚定视点的信息。客户端203可以然后动态地评价绘制视点并且确定当前期望用于本地生成对应于绘制视点的图像的锚定视频流。客户端203可以然后生成直接指示期望文件的视点请求。服务器201可以作为响应检索选择的文件。其还可以检索相对于所请求的锚定视频流差分编码的近邻锚定视频流的文件并且其可以将这些包括在输出视频流中。
在许多实施例中，这样的方法可以提供非常高效的方法。例如，不是要求动态视点请求连续地传输并且更新，而是客户端203可以仅当所选择的锚定视频流的改变被要求时传输新视点/文件请求。
在先前范例中，服务器201被布置为生成包括预定数目的差分视频流的输出视频流，诸如特别地两个或四个最近近邻(在图5和6的范例中)。
然而，在一些实施例中，服务器201可以被布置为动态地调整差分视频流的数目。因此，被选择为包括在如相对于主视频流差分编码的输出视频流中的锚定视频流的数目可以取决于操作条件而变化。
在一些实施例中，差分视频流的数目可以响应于用于传输输出视频流的通信信道的延时量度并且特别地响应于服务器201与客户端203之间的延时而调整。延时可以被确定作为通信延迟并且特别地作为网络延迟。
网络延迟可以例如通过传输到客户端203的数据包被时间戳记来确定，并且客户端203通过将时间戳与接收时间比较来确定延迟。作为另一范例，客户端203可以测量从传输导致所选择的主锚定视点的改变的视点请求直到改变被检测的时间，并且该延迟可以用作延时量度。因此，所确定的延时量度可以然后被传输到服务器201，其可以确定差分视频流的数目。
在许多实施例中，服务器201可以被布置为增加针对增加延时的差分视频流的数目。例如，服务器201可以使用延时与增加用于增加延时的差分视频流的数目之间的预定函数(单调增加函数)。
这样的方法可以允许数据速率对当前条件的灵活调整。针对较大延时，绘制视点改变以要求还来自当前主锚定视点的锚定视频流的概率增加，并且实际上针对较快改变，提供的锚定视频流的改变可能不是足够快速的。例如，如果绘制视点可以以例如往返延迟时间中的两个锚定视点的距离来改变，则要求不仅第一而且下一最近近邻锚定视频流被包括在输出视频流中。
在一些实施例中，服务器201可以被布置为响应于针对视点请求的变化量度而确定额外视频流的数目。
例如，针对具有许多并且大的变化的视点请求，可以期望包括比当存在更少变化时更高数目的差分视频流以便增加在任何给定时间处在客户端203处要求的锚定视频流实际上被提供到此的可能性。
服务器201可以特别地被布置为响应于视点请求的变化/改变的速度而调整差分视频流的数目。特别地，如果视点请求指示快速改变的视点，则服务器201可以增加相对于当视点请求指示缓慢变化时包括的差分视频流的数目。
因此，方法可以允许数据速率对当前条件的可用调整。
将意识到，为了清晰以上描述已经参考不同的功能电路、单元和处理器描述本发明的实施例。然而，将显而易见，在不脱离本发明的情况下，可以使用不同的功能电路、单元或者处理器之间的功能性的任何适合的分布。例如，被图示为由分离的处理器或者控制器执行的功能性可以由相同处理器或者控制器执行。因此，对特定功能单元或者电路的参考仅将被看作对用于提供所描述的功能性而不是指示严格逻辑或者物理结构或者组织的适合的装置的参考。
本发明可以以任何适合的形式实施，包括硬件、软件、固件或者这些的任何组合。本发明可以任选地至少部分地被实施为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。本发明的实施例的元件和部件可以以任何适合的方式物理地、功能地和逻辑地实施。实际上，功能可以被实施在单个单元中、在多个单元中或者作为其他功能单元的部分。这样一来，本发明可以被实施在单个单元中或者可以物理地并且功能地分布在不同的单元、电路和处理器之间。
尽管本发明已经结合一些实施例描述，但是其不旨在限于本文阐述的特定形式。相反，本发明的范围仅由附图限制。此外，尽管特征可能看起来结合特定实施例描述，但是本领域的技术人员将认识到，所描述的实施例的各种特征可以根据本发明组合。在权利要求中，术语包括不排除其他元件或者步骤的存在。
此外，尽管个体地列出，但是多个装置、元件、电路或方法步骤可以通过例如单个电路、单元或者处理器实施。此外，尽管个体特征可以被包括在不同的权利要求中，但是这些可以可能地有利地组合，并且不同的权利要求中的包括不隐含特征的组合不是可行和/或有利的。而且，一个类别的权利要求中的特征的包括不隐含该类别的限制，而是相反指示特征同样地酌情适用于其他权利要求类别。此外，权利要求中的特征的次序不隐含特征必须在其中工作的任何特定次序并且特别地方法权利要求中的个体步骤的次序不隐含步骤必须以该次序执行。相反，步骤可以以任何适合的次序执行。另外，单数参考不排除多个。因此，对“一”、“一个”、“第一”、“第二”等的参考不排除多个。权利要求中的附图标记仅被提供为澄清范例，不应当被解释为以任何方式限制权利要求的范围。
根据本发明的一些实施例，可以提供：
1、一种用于生成输出视频流的装置，所述装置包括：
处理器(301)，其用于提供针对场景的多个参考视点的多个参考视频流；
接收器(305)，其用于接收来自远程客户端的视点请求，所述视点请求指示针对所述输出视频流的所述场景的请求视点；
生成器(303)，其用于生成输出视频流，所述输出视频流包括：第一视频流，其包括来自所述多个参考视频流中针对第一视点的第一参考视频流的第一输出帧；以及第二视频流，其包括来自所述多个参考视频流中针对第二参考视点的第二参考视频流的第二输出帧，所述第二输出帧相对于所述第一输出帧被差分编码并且所述第一输出帧未相对于所述第二输出帧被差分编码；以及
控制器(307)，其用于响应于所述视点请求而将所述第一视点和所述第二视点确定为所述多个参考视点中的视点；其中，
所述控制器(307)被布置为响应于检测到在所述输出视频流的所述生成期间所述视点请求的改变满足准则而从所述第一视点是所述多个参考视点中的第一参考视点并且所述第二视点是所述多个参考视点中的第二参考视点改变为所述第一视点是所述第二参考视点并且所述第二视点是所述第一参考视点。
在一些但并非所有实施例中，所述第一输出帧在不参考针对除所述第一视点之外的其他参考视点的帧的情况下被编码。
在一些但并非所有实施例中，第一输出帧被内编码。
在一些但并非所有实施例中，所述第一输出帧中的一些相对于所述第一输出帧的其他帧差分编码。
在一些但并非所有实施例中，所述输出生成器(303)被布置为通过相对于所述第一输出帧将来自所述第二参考视频流的帧进行差分编码来生成所述第二输出帧。
在一些但并非所有实施例中，所述处理器(301)被布置为存储所述多个参考视频流中的至少一些参考视频流的差分编码版本，参考视频流的差分编码版本包括相对于另一参考视频流的帧差分编码的帧；并且所述生成器(303)被布置为响应于检索到所述第二参考视频流的差分编码版本是包括相对于所述第一参考视频流的帧差分编码的帧的所述第二视频流的版本而生成所述第二视频流。
在一些但并非所有实施例中，所述处理器(301)被布置为存储所述多个参考视频流作为文件并且所述控制器(307)被布置为响应于对所述视点请求的文件检索请求而选择所述第一参考视频流和所述第二参考视频流，所述文件检索请求指示包括参考视频流的存储文件。
在一些但并非所有实施例中，所述装置还被布置为将多个额外视频流包括在所述输出视频流中，每个额外视频流包括来自相对于所述第一输出帧差分编码的多个参考视频流的额外参考视频流的输出帧；并且其中，所述控制器(307)被布置为响应于针对用于传输所述输出视频流的通信信道的延时量度而确定额外视频流的数目。
在一些但并非所有实施例中，所述装置还被布置为将多个额外视频流包括在所述输出视频流中，每个额外视频流包括来自相对于所述第一输出帧差分编码的多个参考视频流的额外参考视频流的输出帧；并且其中，所述控制器(307)被布置为响应于针对所述视点请求的变化量度而确定额外视频流的数目。
一种用于绘制视频流的装置，所述装置包括：
接收器(401)，其用于接收所述视频流，所述视频流包括：第一视频流，其包括表示针对场景的第一视点的帧的第一帧；以及第二视频流，其包括针对来自第二视点的场景的第二帧，所述第二帧相对于所述第一帧差分编码并且所述第一帧未相对于所述第二帧差分编码；
绘制器(403)，其用于响应于所述第一视频帧和所述第二视频帧而绘制针对视点的输出视图图像；
检测器(409)，其用于检测从对应于第一参考视点的所述第一视点和对应于第二参考视点的所述第二视点到对应于所述第二参考视点的所述第一视点和对应于所述第一参考视点的所述第二视点的视频流的改变；以及
适配器(411)，其用于响应于所述检测而调整所述绘制。
在一些但并非所有实施例中，所述绘制器(403)被布置为使用应用于所述第一帧和所述第二帧中的至少一个的视点移位合成所述视图图像。
在一些但并非所有实施例中，所述适配器被布置为调整视点移位以补偿针对所述第一帧和所述第二帧中的至少一个的视点的改变。
一种生成输出视频流的方法，所述方法包括：
提供针对场景的多个参考视点的多个参考视频流；
接收来自远程客户端的视点请求，所述视点请求指示针对所述输出视频流的所述场景的请求视点；
生成输出视频流，所述输出视频流包括：第一视频流，其包括来自所述多个参考视频流中针对第一视点的第一参考视频流的第一输出帧；以及第二视频流，其包括来自所述多个参考视频流中针对第二参考视点的第二参考视频流的第二输出帧，所述第二输出帧相对于所述第一输出帧被差分编码并且所述第一输出帧未相对于所述第二输出帧被差分编码；
响应于所述视点请求而将所述第一视点和所述第二视点确定为所述多个参考视点中的视点；并且
其中，确定所述第一视点和所述第二视点包括：响应于检测到在所述输出视频流的所述生成期间所述视点请求的改变满足准则而从所述第一视点是所述多个参考视点中的第一参考视点并且所述第二视点是所述多个参考视点中的第二参考视点改变为所述第一视点是所述第二参考视点并且所述第二视点是所述第一参考视点。
一种绘制视频流的方法，所述方法包括：
接收所述视频流，所述视频流包括：第一视频流，其包括表示针对场景的第一视点的帧的第一帧；以及第二视频流，其包括针对来自第二视点的场景的第二帧，所述第二帧相对于所述第一帧差分编码并且所述第一帧未相对于所述第二帧差分编码；
响应于所述第一视频帧和所述第二视频帧而绘制针对视点的输出视图图像；
检测从对应于第一参考视点的所述第一视点和对应于第二参考视点的所述第二视点到对应于所述第二参考视点的所述第一视点和对应于所述第一参考视点的所述第二视点的视频流的改变；并且
响应于所述检测而调整所述绘制。

Claims (12)

1.一种用于生成输出视频流的装置，所述装置包括：
处理器(301)，其用于提供针对场景的多个参考视点的多个参考视频流；
接收器(305)，其用于接收来自远程客户端的视点请求，所述视点请求指示针对所述输出视频流的所述场景的请求视点；
生成器(303)，其用于生成输出视频流，所述输出视频流包括：第一视频流，其包括来自所述多个参考视频流中针对第一视点的第一参考视频流的第一输出帧；以及第二视频流，其包括来自所述多个参考视频流中针对第二参考视点的第二参考视频流的第二输出帧，所述第二输出帧相对于所述第一输出帧被差分编码并且所述第一输出帧未相对于所述第二输出帧被差分编码；以及
控制器(307)，其用于响应于所述视点请求而将所述第一视点和所述第二视点确定为所述多个参考视点中的视点；其中，
所述控制器(307)被布置为响应于检测到在所述输出视频流的所述生成期间所述视点请求的改变满足准则而从所述第一视点是所述多个参考视点中的第一参考视点并且所述第二视点是所述多个参考视点中的第二参考视点改变为所述第一视点是所述第二参考视点并且所述第二视点是所述第一参考视点；
其特征在于，所述装置被布置为将多个额外视频流包括在所述输出视频流中，每个额外视频流包括来自所述多个参考视频流中的额外参考视频流的相对于所述第一输出帧差分编码的输出帧；并且其中，所述控制器(307)被布置为响应于以下各项中的至少一项而确定额外视频流的数目：
针对所述视点请求的变化量度，以及
针对用于传输所述输出视频流的通信信道的延时量度。
2.根据权利要求1所述的装置，其中，所述第一输出帧在不参考针对除所述第一视点之外的其他参考视点的帧的情况下被编码。
3.根据权利要求2所述的装置，其中，所述第一输出帧被内编码。
4.根据权利要求2所述的装置，其中，所述第一输出帧中的一些帧相对于所述第一输出帧的其他帧被差分编码。
5.根据任一项前述权利要求所述的装置，其中，所述输出生成器(303)被布置为通过相对于所述第一输出帧将来自所述第二参考视频流的帧进行差分编码来生成所述第二输出帧。
6.根据任一项前述权利要求所述的装置，其中，所述处理器(301)被布置为存储所述多个参考视频流中的至少一些参考视频流的差分编码版本，参考视频流的差分编码版本包括相对于另一参考视频流的帧差分编码的帧；并且所述生成器(303)被布置为响应于检索到所述第二参考视频流的差分编码版本是包括相对于所述第一参考视频流的帧差分编码的帧的所述第二视频流的版本而生成所述第二视频流。
7.根据任一项前述权利要求所述的装置，其中，所述处理器(301)被布置为存储所述多个参考视频流作为文件并且所述控制器(307)被布置为响应于对所述视点请求的文件检索请求而选择所述第一参考视频流和所述第二参考视频流，所述文件检索请求指示包括参考视频流的存储文件。
8.根据任一项前述权利要求所述的装置，其中，所述控制器(307)被布置为响应于所述请求视点与所述多个参考视点之间的距离而改变所述第一视点。
9.根据任一项前述权利要求所述的装置，其中，所述控制器(307)被布置为响应于针对所述请求视点的变化率而改变所述第一视点。
10.根据任一项前述权利要求所述的装置，其中，所述控制器(307)被布置为响应于延时量度而改变所述第一视点。
11.一种生成输出视频流的方法，所述方法包括：
提供针对场景的多个参考视点的多个参考视频流；
接收来自远程客户端的视点请求，所述视点请求指示针对所述输出视频流的所述场景的请求视点；
生成输出视频流，所述输出视频流包括：第一视频流，其包括来自所述多个参考视频流中针对第一视点的第一参考视频流的第一输出帧；以及第二视频流，其包括来自所述多个参考视频流中针对第二参考视点的第二参考视频流的第二输出帧，所述第二输出帧相对于所述第一输出帧被差分编码并且所述第一输出帧未相对于所述第二输出帧被差分编码；
响应于所述视点请求而将所述第一视点和所述第二视点确定为所述多个参考视点中的视点；并且
其中，确定所述第一视点和所述第二视点包括：响应于检测到在所述输出视频流的所述生成期间所述视点请求的改变满足准则而从所述第一视点是所述多个参考视点中的第一参考视点并且所述第二视点是所述多个参考视点中的第二参考视点改变为所述第一视点是所述第二参考视点并且所述第二视点是所述第一参考视点；
所述方法还包括将多个额外视频流包括在所述输出视频流中，每个额外视频流包括来自所述多个参考视频流中的额外参考视频流的相对于所述第一输出帧差分编码的输出帧；并且
响应于以下各项中的至少一项而确定额外视频流的数目：
针对所述视点请求的变化量度，以及
针对用于传输所述输出视频流的通信信道的延时量度。
12.一种包括计算机程序代码模块的计算机程序产品，所述计算机程序代码模块适于当所述程序在计算机上运行时执行根据权利要求11所述的所有步骤。
CN201980063207.4A 2018-09-25 2019-09-16 用于生成并且绘制视频流的装置和方法 Active CN112753224B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18196433.9 2018-09-25
EP18196433.9A EP3629584A1 (en) 2018-09-25 2018-09-25 Apparatus and method for generating and rendering a video stream
PCT/EP2019/074606 WO2020064376A1 (en) 2018-09-25 2019-09-16 Apparatus and method for generating and rendering a video stream

Publications (2)

Publication Number Publication Date
CN112753224A true CN112753224A (zh) 2021-05-04
CN112753224B CN112753224B (zh) 2023-07-11

Family

ID=63787718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980063207.4A Active CN112753224B (zh) 2018-09-25 2019-09-16 用于生成并且绘制视频流的装置和方法

Country Status (8)

Country Link
US (1) US11317124B2 (zh)
EP (2) EP3629584A1 (zh)
JP (1) JP7378465B2 (zh)
KR (1) KR20210065151A (zh)
CN (1) CN112753224B (zh)
BR (1) BR112021005361A2 (zh)
TW (1) TWI824016B (zh)
WO (1) WO2020064376A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111988596A (zh) * 2020-08-23 2020-11-24 咪咕视讯科技有限公司 虚拟视点合成方法、装置、电子设备及可读存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021020200A1 (ja) * 2019-07-26 2021-02-04 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
US20220322306A1 (en) * 2021-03-31 2022-10-06 Tencent America LLC Method and apparatus for defining egest configuration and protocols in 5g uplink streaming
KR102510454B1 (ko) * 2022-09-02 2023-03-16 주식회사 솔디아 전송량을 저감시킨 동영상 전송 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090083814A1 (en) * 2007-09-25 2009-03-26 Kabushiki Kaisha Toshiba Apparatus and method for outputting video Imagrs, and purchasing system
US20090201992A1 (en) * 2005-10-07 2009-08-13 Jeong-Il Seo Method and apparatus for encoding and decoding hopping default view for multiple cameras system
WO2010023504A1 (en) * 2008-08-26 2010-03-04 Csir A method of switching from a first encoded video stream to a second encoded video stream
US20130083011A1 (en) * 2011-09-30 2013-04-04 Kevin A. Geisner Representing a location at a previous time period using an augmented reality display
CN104396251A (zh) * 2012-04-23 2015-03-04 三星电子株式会社 使用用于多视点视频预测的参考列表对多视点视频进行编码的方法及其装置以及使用用于多视点视频预测的参考列表对多视点视频进行解码的方法及其装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100496121C (zh) 2007-04-11 2009-06-03 宁波大学 一种交互式多视点视频系统的图像信号处理方法
CN103493493A (zh) * 2011-04-28 2014-01-01 索尼公司 编码装置和编码方法以及解码装置和解码方法
US20150124877A1 (en) * 2012-04-25 2015-05-07 Samsung Electronics Co., Ltd. Multiview video encoding method using reference picture set for multiview video prediction and device therefor, and multiview video decoding method using reference picture set for multiview video prediction and device therefor
KR102186605B1 (ko) 2012-09-28 2020-12-03 삼성전자주식회사 다시점 영상 부호화/복호화 장치 및 방법
JP6266761B2 (ja) * 2013-05-10 2018-01-24 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． マルチビューレンダリング装置とともに使用するためのビデオデータ信号の符号化方法
US9942474B2 (en) * 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
JP2017135464A (ja) 2016-01-25 2017-08-03 キヤノン株式会社 映像送信装置、映像送信システム、映像送信方法、及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090201992A1 (en) * 2005-10-07 2009-08-13 Jeong-Il Seo Method and apparatus for encoding and decoding hopping default view for multiple cameras system
US20090083814A1 (en) * 2007-09-25 2009-03-26 Kabushiki Kaisha Toshiba Apparatus and method for outputting video Imagrs, and purchasing system
WO2010023504A1 (en) * 2008-08-26 2010-03-04 Csir A method of switching from a first encoded video stream to a second encoded video stream
US20110161517A1 (en) * 2008-08-26 2011-06-30 Csir Method of Switching from a First Encoded Video Stream to a Second Encoded Video Stream
US20130083011A1 (en) * 2011-09-30 2013-04-04 Kevin A. Geisner Representing a location at a previous time period using an augmented reality display
CN104396251A (zh) * 2012-04-23 2015-03-04 三星电子株式会社 使用用于多视点视频预测的参考列表对多视点视频进行编码的方法及其装置以及使用用于多视点视频预测的参考列表对多视点视频进行解码的方法及其装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JEONGEUN LIM等: "A multiview sequence CODEC with view scalability", 《SIGNAL PROCESSING: IMAGE COMMUNICATION》 *
LEI LUO等: "Rate-distortion based reference viewpoints selection for multi-view video plus depth coding", 《IEEE TRANSACTIONS ON CONSUMER ELECTRONICS》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111988596A (zh) * 2020-08-23 2020-11-24 咪咕视讯科技有限公司 虚拟视点合成方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
TW202027510A (zh) 2020-07-16
US11317124B2 (en) 2022-04-26
CN112753224B (zh) 2023-07-11
BR112021005361A2 (pt) 2021-06-15
US20220053222A1 (en) 2022-02-17
EP3857898A1 (en) 2021-08-04
KR20210065151A (ko) 2021-06-03
WO2020064376A1 (en) 2020-04-02
EP3629584A1 (en) 2020-04-01
JP2022514140A (ja) 2022-02-10
JP7378465B2 (ja) 2023-11-13
EP3857898B1 (en) 2022-02-09
TWI824016B (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
CN112753224B (zh) 用于生成并且绘制视频流的装置和方法
TWI818899B (zh) 影像處理設備及用於提供一影像之方法
TWI831796B (zh) 用於產生場景之影像的設備及方法
CN112738495B (zh) 虚拟视点图像生成方法、系统、电子设备及存储介质
JP7320146B2 (ja) ディスオクルージョンアトラスを用いたマルチビュービデオ動作のサポート
JP7138653B2 (ja) ビデオからの画像生成
EP3635958B1 (en) Image processing device and system
CN113519165A (zh) 生成图像信号的装置和方法
EP4013059A1 (en) Changing video tracks in immersive videos
JP7463614B2 (ja) ビューポート変化に基づくデュアルストリーム動的ｇｏｐアクセス

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant