CN103327318A - 代码转换视频流以便于精确显示 - Google Patents

代码转换视频流以便于精确显示 Download PDF

Info

Publication number
CN103327318A
CN103327318A CN2012105934441A CN201210593444A CN103327318A CN 103327318 A CN103327318 A CN 103327318A CN 2012105934441 A CN2012105934441 A CN 2012105934441A CN 201210593444 A CN201210593444 A CN 201210593444A CN 103327318 A CN103327318 A CN 103327318A
Authority
CN
China
Prior art keywords
video
sequence
frames
inverted order
processing equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012105934441A
Other languages
English (en)
Inventor
格奥尔基·贝尔贝塞尔
温伟杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Broadcom Corp
Zyray Wireless Inc
Original Assignee
Zyray Wireless Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zyray Wireless Inc filed Critical Zyray Wireless Inc
Publication of CN103327318A publication Critical patent/CN103327318A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本文公开的是用于将视频流代码转换以便于精确显示的各种实施方式。无压缩视频流包括获得的视频帧序列。在一个实施方式中，编码的倒序视频流从无压缩视频流生成。在另一个实施方式中，无压缩视频流包括多个视图，以及压缩视频流从无压缩视频流生成。压缩视频流不包括一个或多个视图。

Description

代码转换视频流以便于精确显示
技术领域
本发明涉及视频处理领域，更具体地，涉及代码转换视频流以便于精确显示
背景技术
在当今市场，数字视频录像机（DVR）应用正变得更为普遍。这些应用通常涉及将数字地面、有线或卫星比特流记录在诸如硬盘驱动器的本地或网络存储设备中。播放期间，比特流的本地可用性允许用户暂停、快进以及倒带内容，类似于录像机操作。这些视频操作的特殊模式通常称为快进快退模式或快进快退播放模式。实施快进快退模式的常见困难是数字视频比特流中图像之间的解码依存性。
数字视频比特流可以划分成连续图像组（GOP），其中GOP中的每个图像或帧可以是预定义的图像编码类型。在这方面，通常考虑的视频标准是在ISO/IEC JTC1/SC29中定义的MPEG-2标准，1994年11月的国际标准草案，ISO/IEC13818-2，“移动图像以及相关音频的通用编码（Genericcoding of moving pictures and associated audio）”。在MPEG-2应用中，图像编码类型可以包括帧内编码图像、预测图像以及双向预测图像。帧内编码或I-图像可以仅使用图像内的信息来执行视频压缩或编码。这些自包含I-图像提供基值或作为随后图像值估算的定位点。每个GOP通常可开始于作为基准或定位帧的自包含I-图像，从自包含I-图像可以产生组中的其他帧以进行显示。当描述例如图像序列的传输、解码和/或处理顺序时，GOP可以开始于I-图像。
GOP频率以及（相应地）I-图像的频率或周期数可以由特定应用空间驱动。预测图像或P-图像可以使用产生运动矢量的运动估算方案，可以使用运动矢量来从先前编码的图像预测图像元素。压缩或编码预测样本与源值之间的差异比通过传输源图像信息的编码版本产生更好编码效率。在接收器或解码器侧，压缩或编码的不同图像被解码并随后被添加到预测图像以用于显示。
双向预测图像或B-图像可以使用在GOP中的未来位置和GOP中的过去位置发生的多个图像来预测图像样本。如同P-图像一样，运动估算可用于B-图像中的像素预测，并且原始源与预测图像之间的差异可以被压缩。在接收器或解码器端，一个或多个B-图像可以运动补偿并可以添加到被压缩差异信号的解码版本，以用于显示。由于P-图像和B-图像两者可以基于其他图像，他们可以称为帧间编码图像。
另一个视频标准是高级视频编码（AVC）标准，JVT编写者(T.Wiegand，G. Sullivan，A.Luthra)，“Draft ITU-T Recommendation and finaldraft international standard of joint video specification”，2003年5月在日内瓦，ITU-T Rec.H.264|ISO/IEC14496-10AVC，JVT-G050r1，其也称为JVT，H.264，或MPEG-4第10部分。在AVC标准中，取代B-图像、P-图像和I-图像类型，类型定义是进行时间片方式，其中时间片可以涵盖整个图像。然而，通常普遍可接受的做法是将I-图像称为仅包含帧内编码或I-时间片的图像，将P-图像称为包含预测时间片（P-时间片）或I-时间片的图像，以及B-图像称为包含双向或双向预测时间片（B-时间片（slice））、P-时间片或I-时间片的图像。在AVC标准中，B-图像还可以用于预测，进一步复杂化比特流中图像之间的解码依存性。
发明内容
根据本发明的一方面，提供一种系统，包括：包括至少一个电路的视频处理设备，所述视频处理设备被配置为：获得包括视频帧序列的无压缩视频流；以及通过以下步骤从所述无压缩视频流生成编码倒序视频流：将所述视频帧序列的一部分存储在缓冲器中；利用视频编码器逻辑以倒序对所述视频帧序列的所述部分进行编码；以及以所述倒序输出所述视频帧序列中的编码部分。
进一步地，所述视频编码器逻辑被配置为将标记与所述无压缩视频流中所述视频帧序列的一个视频帧关联，其中，所述标记保持与编码倒序视频流中所述视频帧序列中的一个视频帧相关联。
进一步地，所述视频编码器逻辑被配置为对所述视频帧序列的一部分编码，作为对存储在所述缓冲器中的所述视频帧序列的整个部分的响应。
进一步地，所述视频处理设备被进一步配置为通过利用视频解码器逻辑对所述编码倒序视频流进行解码来生成视频信号，并且所述视频编码器逻辑和所述视频解码器逻辑采用相同视频编解码器。
进一步地，所述视频编解码器被配置为以快进快退播放速度对所述编码倒序视频流进行解码。
进一步地，所述视频处理设备被进一步配置为：向第一显示设备输出所述无压缩视频流；以及向第二显示设备输出所述编码倒序视频流；以及其中，所述视频处理设备被配置为并行输出所述无压缩视频流和所述编码倒序视频流。
进一步地，所述无压缩视频流包括多个视图，以及所述编码倒序视频流包括所述多个视图的适当子集。
进一步地，所述视频处理设备被进一步配置为生成同时呈现正序的视频帧序列和倒序的视频帧序列的视频信号。
根据本发明的另一方面，提供一种在视频处理设备中实施的方法，包括：在至少一个电路中，获得包括视频帧序列的无压缩视频流；以及通过以下步骤从所述无压缩视频流生成编码倒序视频流：将所述视频帧序列的一部分存储在缓冲器中；以倒序对所述视频帧序列的所述部分进行编码；以及以所述倒序输出所述视频帧序列的编码部分。
其中，该方法进一步包括对压缩视频流进行解码以获得所述无压缩视频流。
其中，利用第一图像组（GOP）长度压缩所述压缩视频流，以及利用第二GOP长度压缩所述编码倒序视频流。
其中，所述输出进一步包括将所述视频帧序列中以倒序编码的部分与所述视频帧序列中以倒序编码的相邻部分链接。
该方法进一步包括生成同时呈现正序的视频帧序列和倒序的视频帧序列的视频信号。
其中，所述编码进一步包括将所述视频帧序列中编码的视频帧存储在后进先出（LIFO）缓冲器中，以及所述输出进一步包括将所述视频帧序列的编码部分从所述LIFO缓冲器传输。
其中，所述存储进一步包括将所述视频帧序列的一部分以倒序存储在所述缓冲器中。
其中，所述编码采用从下列组成的组中选择的视频编解码器：运动图像专家组(MPEG)-2、MPEG-4、高级视频编码（AVC）、VC-1、高效视频编码（HEVC）以及VP8。
该方法进一步包括：向所述无压缩视频流应用第一变换；向所述编码倒序视频流应用第二变换；以及其中，所述第一变换和所述第二变换均对从帧速率和帧缩放组成的组中选择的至少一个视频参数进行修改。
根据本发明的再一方面，提供一种系统，包括：包括至少一个电路的视频处理设备，所述视频处理设备被配置：获得包括多个视图的无压缩视频流；从所述无压缩视频流生成压缩视频流，其中所述压缩视频流不包括至少一个视图；以及解压缩所述压缩视频流。
其中，所述无压缩视频流包括正序的视频帧序列，以及所述生成包括：在缓冲器中存储所述视频帧序列的一部分；利用视频编码器逻辑以倒序对所述视频帧序列的一部分进行编码；以及以倒序输出所述视频帧序列的编码部分。
其中，所述视频处理设备被进一步配置为从所述无压缩视频流生成另一个压缩视频流，其中，其他压缩视频流不包括所述视图中的至少一个不同视图。
附图说明
参考以下附图可以更好地理解本发明的许多方面。图中的元件不必按比例绘制，相反重在强调清楚地说明本发明的原理，此外，在附图中，贯穿几个示图，相同的参考标号指示相应的部分。
图1示出根据本发明实施方式的压缩视频流中的示例性帧序列。
图2示出根据本发明实施方式的倒序编码视频流中的示例性帧序列。
图3是示出根据本发明实施方式的示例性视频处理设备的一部分的框图。
图4是示出根据本发明另一个实施方式的生成多个倒序编码视频流的示例性视频处理设备的一部分的框图。
图5示出根据本发明另一个实施方式的执行缩放和/或帧速率转换的示例性视频处理设备的一部分的框图。
图6示出根据本发明另一个实施方式的将倒序流和正序流组合的示例性视频处理设备的一部分的框图。
图7示出根据本发明另一个实施方式的处理多视图视频流的示例性视频处理设备的一部分的框图。
图8是根据各个实施方式的提供图3的示例性视频处理设备的一部分的操作的一个示例的流程图。
图9是根据各个实施方式的提供图7的示例性视频处理设备的一部分的操作的一个示例的流程图。
图10示出根据本发明各个实施方式的提供示例性视频处理设备的一个示例说明的示意框图。
具体实施方式
在当今数字视频时代，快进快退模式正变得如此重要，以使得用户能够以各种速度轻易浏览前进和后退内容，以发现感兴趣场景。如果输入视频流以压缩形式呈现，那么快速的快进快退播放通常通过在压缩流中跳跃到作为进入点（例如，I-帧）的帧来实施，其不依赖于该帧时间之前的信息。后退快进快退播放比前进快进快退播放更加困难，这是因为输入视频流被压缩为以前进方向显示。
本发明的各个实施方式能够实现视频流的代码转换以容易进行后退快进快退播放。为此，视频流以无压缩形式获得，并且视频流的一部分存储在缓冲器中。视频流的该部分以倒序编码，以便于后退快进快退播放。可以存储编码倒序视频流。接着，编码的倒序视频流可以以正常速度或如所期望的更快快进快退播放速度（例如，2×，4×等）解码。
此外，随着支持硬件（例如，3D电视等）变得可用时，多视图视频流（例如，带有交错左眼视图和右眼视图的立体视频流）正变得越来越普遍。然而，许多设备不可支持多视图视频流。本发明的各个实施方式能够使多视图视频流的代码转换排除视图和/或支持快进快退播放模式。
图1示出根据本发明实施方式的压缩视频流中的示例性帧序列。图1中的帧序列与第一图像组（GOP）（F0-F7）以及第二GOP的至少一部分（F8-F9）相对应。每个GOP由I-帧（例如，F0和F8）的位置定义，其中I-帧是独立可解码的，这是因为他们仅使用存在于该帧中的信息。P-帧（例如，F1-F7以及F9)使用来自前帧的运动信息以及存在于该帧的信息。另一种类型帧是B-帧，其是使用之前和随后帧中的信息的双向预测帧。虽然为了简化起见，在图1中未示出，但通常使用B-帧，而B-帧会使快进快退模式的产生显著复杂化。
在压缩状态，视频帧表现为以比特流I0，P1，P2，P3，P4，P5，P6，P7，I8，P9表示的比特序列。当未压缩时，比特流F0，F1，F2，F3，F4，F5，F6，F7，F8，F9是可用的，其与正常播放、快进播放相对应。实施倒序播放的帧序列是F9，F8，F7，F6，F5，F4，F3，F2，F1，F0。这可以通过使用大容量存储器来以无压缩格式从序列开始存储所有帧并以倒序提供用于显示的帧来实现。然而，由于高分辨率视频的存储器要求，这可能是不实用的。例如，可以需要373,248,000字节来存储以60Hz渐进的1920*1080高清晰度分辨率的一秒钟视频。
用于生成倒序视频流的一种方法可以涉及解码包括依存性（dependency）的各个帧。每当用户请求快进快退模式时，如果输入是仍然存在于系统存储器中的压缩流，那么流指针被定位到与期望显示的点最接近的I-帧。在图1的示例中，帧F8被解码并存储在存储器中，以及在此之后，F9被解码并存储在存储器中。在他们两者都被存储后，显示帧F9，在此之后显示帧F8。
接下来，指针被定位到压缩比特流中之前的I-帧，其是I0。这允许帧F0的解码，其反过来允许帧P1被解码以及生成帧F1。随后，帧F1和F0被显示。根据解码器的性能，可以解码和显示更多帧。然而，GOP的长度有时候会非常大，高达几十甚至数百帧，并且相应的存储器要求也会是巨大的。因此，这样的途径对于精确后退快进快退模式播放可能是不实用的。
图2示出根据本发明实施方式的编码倒序视频流中的示例性帧序列。作为非限制性示例，利用四个帧的GOP来编码倒序视频流。在这种情况下，可以采用四个无压缩帧的缓冲器。在压缩状态，视频帧呈现为以比特流I9，P8，P7，P6，I5，P4，P3，P2，I1，P0表示的比特序列。当未压缩时，比特流F9，F8，F7，F6，F5，F4，F3，F2，F1，F0是可用的，其与后退播放相对应。
为了便于说明，假设帧F2，F3，F4以及F5在缓冲器中，并且四个图像以首先开始于最后图像F5的倒序编码，其被编码为I-帧，随后为从F5预测以及彼此预测的F4，F3以及F2。以逆时间顺序I5，P4，P3以及P2的四个帧的压缩版本被有效存储在本地存储器中或通过数据通信网络发送。当正时间顺序的下一帧到达用于显示时（F6，F7，F8以及F9），完成上述的相同处理。要编码的第一帧是作为I-帧的F9，随后为从帧F9以及相互预测被编码为P帧的F8，F7以及F6。
逆时间顺序的四个帧压缩版本是I9，P8，P7以及P6。这些帧可以通过非直接映射到已存储在存储器中的压缩流的方式而追加在前或以其他方式链接，从而生成被预处理为用于精确逆播放的链接比特流I9，P8，P7，P6，I5，P4，P3，P2。当用户请求后退播放时，正常解码器以逆时间顺序产生帧序列。在某些情况下，快进快退模式解码器可以将编码的倒序视频流解码，以便于以更快播放速度进行快进快退播放。
图3是示出根据本发明实施方式的示例性视频处理设备300一部分的框图。图3还示出视频处理设备300的各个元件之间的数据流。视频处理设备300可以相当于数字录像机（DVR)、电视、蓝光播放器、数字视频光盘（DVD)播放机、有线电视接收器、卫星电视接收器、计算设备、移动计算设备、智能电话、平板计算机或具有视频处理功能的其他设备。视频处理设备300可以包括一个或多个视频解码器303、缓冲器306、一个或多个视频编码器309、后进先出缓冲器312、一个或多个视频解码器315和/或其他组件。视频处理设备300可以包括或耦接至一个或多个显示设备318。
视频处理设备300可以从例如有线解码器、卫星解码器、广播电视解码器、DVD设备、蓝光设备、数据存储的源和/或另一个源获得压缩视频流321。可以利用例如像运动图像专家组(MPEG)-2、MPEG-4、高级视频编码(AVC)、VC-1、高效视频编码(HEVC)、VP8的视频编解码器和/或其他视频编解码器编码压缩视频流321。视频解码器303解码和解压缩被压缩的视频流321，从而生成无压缩视频流324。虽然在图3中示出压缩视频流321和视频解码器303，当应当理解，在某些实施方式中，无压缩视频流可以直接提供给视频处理设备300。
无压缩视频流324存储在具有N个无压缩视频帧的容量的缓冲器306中，其中N与由视频编码器309使用的GOP长度相对应。注意，由视频编码器309采用的GOP长度可以不同于压缩视频流321中采用的GOP长度。在各种实施方式中，缓冲器306可以相当于固定缓冲器或循环缓冲器。
视频编码器309从缓冲器306读取无压缩视频流327的一部分，并以倒序将无压缩视频流327的一部分编码。视频编码器309可以采用例如像MPEG-2，MPEG-4，AVC，VC-1，HEVC，VP8的视频编解码器和/或其他视频编解码器。注意，视频编码器309和视频解码器303可以采用相同视频编解码器或不同视频编解码器。如果视频编码器309采用与视频编码器303相同的视频编解码器，那么视频编码器309可以利用与对压缩视频流321编码的相同参数或不同参数对无压缩视频流327一部分的视频帧编码。在一个实施方式中，在缓冲器306被填充时，视频编码器309可以是空闲的。
与预编码压缩视频流321相比，视频编码器309可以采用为视频处理设备300和/或显示设备318的特征特别选择的编码配置。作为非限制示例，显示设备318可以相当于智能电话或具有限制显示分辨率功能的其他设备。视频编码器309可以采用显示设备318的限制显示分辨率功能给出的压缩、缩小比例、帧速率下变频等。
在一个实施方式中，可以采用帧计数器330管理对缓冲器306的读取。写指针计算器333可以指示在缓冲器306中写入输入视频帧的地址，以及读指针计算器336可以指示读取输出视频帧的地址。写指针和读指针可以相互配合地进行以实现用于后退播放的时间反转。
在访问缓冲器306的非限制示例中，对于N帧的第一区块（区块0）和每个偶数区块，写指针以0，1，2，...，N-2，N-1连续生成。在N个帧的初始延迟339后，读指针会取值N-1，N-2…2，1，0来选择由视频编码器309编码的帧。对于N个帧的第二区块（区块1）和每个奇数区块，在读指针连续取值0，1，2…N-2，N-1时，写指针会连续取值N-1，N-2…2，1，0。
编码视频帧342由视频编码器309写入LIFO缓冲器312中。在N个帧的整个区块被编码后，LIFO缓冲器312被转储清除，从而产生编码的倒序视频流345。LIFO缓冲器312的内容可以通过非直接映射、链接列表等以正确的倒序加在之前的输出的开始处或以其他的方式链接到之前输出。编码倒序视频流345可以存储在例如像硬盘、固态驱动器、随机存取存储器（RAM）、云数据存储的数据存储和/或任何其他形式的易失性或非易失性存储器中。数据存储器可以相当于视频处理设备300内的本地数据存储器或网络可存取的远程数据存储器。这样的网络可以包括例如互联网、内联网、外联网、广域网（WAN）、局域网（LANs）、有线网络、无线网络或其他合适网络等，或上述这样两个以上网络的组合。
当后退快进快退播放被用户启用时，视频解码器315读取编码的倒序视频流345，解码视频帧的序列以及输出无压缩倒序视频流348。视频解码器315可以以正常速度或用户配置的更快快进快退播放速度（例如，2×，4×等）对编码的倒序视频流345解码。接着，无压缩倒序视频流348被输出到显示设备318。显示设备318可以包括例如诸如阴极射线管（CRT）、液晶显示器（LCD)、基于气体等离子的平板显示器、LCD投影仪或其他类型显示设备等的一个或多个设备。
在各种实施方式中，视频处理设备300可以被配置为将标记与视频流中的特定帧关联。例如，用户可以将标记与无压缩视频流324中的帧关联。这样的标记可以通过编码倒序视频流345而保持为，使得标记保留与视频帧的关联。用户可以采用标记搜寻视频流的特定部分。
图4是示出根据本发明另一个实施方式的用于生成多个编码倒序视频流345的示例性视频处理设备400的一部分的框图。与图3相比，视频处理设备400包括多个视频编码器309a，...，309N，多个视频编码器一起生成多个编码视频帧342a，...，342N，分别作为至相应LIFO缓冲器321a，...，312N的输出。各个LIFO缓冲器312被转储清除，以生成多个编码的倒序视频流345a，…,345N。需要多个编码倒序视频流345，以使得针对多个不同显示设备318（图3）的特性具体地编码流。可选地，多个编码倒序视频流345可以以多个快进快退播放速度（例如，一个以1×的速度编码流，而另一个以2×的速度编码流等）编码。
图5是示出根据本发明另一个实施方式的执行缩放和/或帧速率转换的示例性视频处理设备500一部分的框图。在图5中，无压缩视频流324由定标器和/或帧速率转换器503处理。定标器和/或帧速率转换器503可以缩放分辨率和/或修改无压缩视频流324的帧速率。在其他实施方式中，定标器和/或帧速率转换器503可以应用其他变换。在一个示例中，定标器和/或帧速率转换器503按比例缩减视频，以节约存储器和/或减少用于后退快进快退模式流的处理要求。定标器和/或帧速率转换器503生成提供给缓冲器306的变换无压缩视频流506。
此外，视频解码器315的输出和无压缩倒序视频流348会受到定标和/或帧速率转换器509的变换，定标器和/或帧速率转换器可以缩减分辨率比例；修改帧速率和/或应用另一个变换。在一个示例中，定标器和/或帧速率转换器509可以按比例放大视频以用于显示，其中所述视频已经按比例缩放以节约存储器。定标器和/或帧速率转换器509生成变换的无压缩倒序视频流512。
图6是示出根据本发明另一个实施方式的将倒序流与正序流组合的示例性视频处理设备600的一部分的框图。无压缩倒序视频流348和无压缩视频流324被提供给组合器603，其生成组合的视频流606或输出到显示设备318或存储供未来使用的视频信号。例如，组合的视频流606可以具有一半屏幕显示倒序流和另一半屏幕显示正序流。因此，用户可以在节目进行的同时“倒退”节目并继续观看节目。
图7是示出根据本发明另一个实施方式的处理多视图视频流的示例性视频处理设备700的一部分的框图。视频处理设备700获得无压缩多视图视频流703，其可以与立体、三维或其他多视图流相对应。多视图视频流703由多视图信号分离器706处理，所述多视图信号分离器潜在地生成多个单视图无压缩视频流709a，...，709N。单视图无压缩视频流709可以与左眼视图、右眼视图和/或其他视图相对应。在某些实施方式中，可以利用多视图的原始集合的合适子集产生多视图视频流。
单视图无压缩视频流709a传输到输入缓冲器712，其可以相当于例如缓冲器306（图3）。可以相当于视频编码器309的视频编码器718从输入缓冲器712读取无压缩视频流715的一部分。视频编码器718利用视频编解码器对视频编码，从而生成传输给输出缓冲器724的编码视频帧721。输出缓冲器724可以例如相当于LIFO缓冲器312（图3）。接着，编码的视频流727从输出缓冲器724转储清除，并存储在数据存储器中或提供给用于解码的视频解码器315（图3）。
视频处理设备700可以被配置为输出左眼视图、右眼视图和/或两者，作为分离的编码视频流。接着，缺少对多视图格式支持的显示设备318可以显示分离编码视频流中的任一个的解码输出。根据本发明的原理，分离编码的视频流中的一个或多个可以以前进方向和/或后退方向编码。在生成多个编码视频流的情况下，该流可以不包含视图的不同相应子集。
图8是根据各个实施方式的提供视频处理设备300（图3）的一部分的操作的一个示例的流程图。应当理解，图8的流程图仅提供用于实施本文所述的视频处理设备300的一部分的操作的许多不同类型功能配置的示例。作为可选，根据一个或多个实施方式，图8的流程图可被视为描述在视频处理设备300中实施的方法的步骤示例。
开始于框803，视频处理设备300获得压缩视频流。在框806，视频处理设备300将压缩视频流解码，以生成无压缩视频流。在框809，视频处理设备300可以通过例如缩放、转换帧速率等来变换无压缩视频流。在框812，视频处理设备300可以以倒序将无压缩视频流编码。
在框815，视频处理设备300可以存储编码的倒序视频流。在框818，视频处理设备300将倒序视频流解码。在框821，视频处理设备300可以通过例如缩放、转换帧速率等来变换无压缩倒序视频流。在框824，视频处理设备300输出无压缩倒序视频流以用于显示。此后，视频处理设备300的部分结束处理。
图9是根据各个实施方式的提供视频处理设备700（图7）的一部分的操作的一个示例的流程图。应当理解，图9的流程图仅提供可以用于实施本文所述的视频处理设备700的一部分的操作的许多不同功能配置类型的示例。作为可选，根据一个或多个实施方式，图9的流程图可被视为描述在视频处理设备700中实施的方法的步骤的示例。
开始于框903，视频处理设备700获得无压缩多视图视频流。在框906，视频处理设备700将多视图视频流进行信号分离，以产生具有减少视图数的一个或多个视频流。在框909，视频处理设备700从信号分离的视频流生成压缩视频流，其中所述压缩视频流不包含一个或多个多视图。
在框912，视频处理设备700存储压缩视频流。在框915，视频处理设备700对视频流进行解压缩。在框918，视频处理设备700输出用于显示的视频流。此后，视频处理设备700的该部分结束处理。
参考图10，其示出根据本发明各个实施方式的视频处理设备1000的示意框图。视频处理设备1000包括至少一个处理器电路，例如具有处理器1003和存储器1006，两者耦接至本地接口1009。为此，视频处理设备1000可以包括例如至少一个计算设备或类似设备。本地接口1009可以包括例如带有随附地址/控制总线或应当理解的其他总线结构的数据总线。本地接口1009可以耦接至一个或多个显示设备318。
在存储器1006中存储的数据和多个元件两者可由处理器1003执行。具体地，存储在存储器1006中并可由处理器1003执行的是视频解码器303和315、视频编码器309、组合器603、定标器和/或帧速率转换器503和509以及潜在的其他系统。此外，在存储器1006中存储的可以是数据存储1012、缓冲器306、LIFO缓冲器312以及其他数据。此外，操作系统可以存储在存储器1006中并可由处理器1003执行。
应当理解，存在存储在存储器1006中并可由处理器1003执行的能够理解到的其他系统。在本文描述的任何元件以软件形式实施的情况下，可以采用下列多个编程语言中的任一个：例如C、C++、C#、Objective C、
Figure BDA00002690739700152
Figure BDA00002690739700153
Figure BDA00002690739700154
Figure BDA00002690739700155
Figure BDA00002690739700156
配件（assembly）或其他编程语言。
多个软件组件存储在存储器1006中并可由处理器1003执行。在这方面，术语“可执行的”意思是程序文件处于处理器1003根本上能够运行的形式。可执行程序的示例可以是例如，被解译成具有能够被加载到存储器1006的随机存储器部并由处理器1003运行的格式的机器代码的编译程序，可以由例如能够被加载到存储器1006的随机存储部并由处理器1003执行的目标代码格式表达的源代码，或可以由另一个可执行程序解译，以在存储器1006的随机存储部生成指令，以可由处理器1003执行的源代码等。可执行程序可以存储在存储器1006的任何部分或组件中，包括例如随机存取存储器（RAM)、只读存储器（ROM)、硬盘驱动器、固态驱动器、USB闪存驱动器、存储卡、例如压缩盘（CD）或数字多功能盘（DVD)的光盘，软盘，磁盘，或其他存储器组件。
本文中，将存储器1006定义为包括易失性和非易失性存储器两者以及数据存储组件。易失性组件是在断电情况下不保留数据值的组件。非易失性组件是在断电情况下保留数据的组件。因此，存储器1006可以包括例如，随机存取存储器（RAM)、只读存储器（ROM)、硬盘驱动器、固态驱动器、USB闪存驱动器、经由存储卡读取器存取的存储卡、经由相关软盘驱动器存取的软盘、经由光盘驱动器存取的光盘、经由适当带式驱动器存取的磁带和/或其他存储器组件或这些存储器组件任意两个以上的组合。此外，RAM可以包括例如，静态随机存取存储器（SRAM)、动态随机存取存储器（DRAM)或磁性随机存取存储器（MRAM）以及其他这种设备。ROM可以包括例如，可编程只读存储器（PROM）、可擦除可编程只读存储器（EPROM）、电可擦除可编程只读存储器（EEPROM)或者其他类似存储器设备。
而且，处理器1003可以表示以并行处理电路运行的多个处理器1003，以及存储器1006可以表示以并行处理电路运行的多个存储器1006。在这样的情况下，本地接口1009可以是便于多个处理器1003中的任何两个处理器之间、任一处理器1003与任一存储器1006之间或任意两个存储器1006之间等通信的合适网络。本地接口1009可以包括被设计为配合这种通信（包括例如执行负载均衡）的附加系统。处理器1003可以是电气或一些其他可用结构。在一个实施方式中，处理器1003和存储器1006可以相当于芯片上系统。
尽管本文中所描述的视频解码器303和315、视频编码器309、组合器603、被配置器和/或帧速率转换器503和509以及其他各种系统可以以软件或由以上所讨论的通用硬件执行的代码来实施，可替换地，还可以以专用硬件或软件/通用硬件和专用硬件的组合来实施。如果以专用硬件来实施，每个可以实施为采用多个技术中的任一个或其组合的电路或状态机器。这些技术可以包括但不限于，具有用于对一个或多个数据信号应用实施各种逻辑功能的逻辑门的分立逻辑电路、具有合适逻辑门的应用专用集成电路或其他组件等。这种技术对于本领域的普通技术人员通常是熟知的，因此，本文中并为对其进行详细讨论。
图8和9的流程图示出视频处理设备300和/或700的一部分实施的操作和功能。如果以软件来实现，则每个块可以表示用于执行专用逻辑功能的程序指令的模块、程序段或代码一部分。程序指令可以以源代码或机器代码的形式实现，该源代码包括以编程语言编写的人类可读语句，该机器代码包括可被合适执行系统（例如计算机系统或其他系统中的处理器1003）识别的数值指令。机器代码可以是从源代码等转换的。如果以硬件来实施，每个块可以表示用于执行专用逻辑功能的电路或多个相互连接的电路。
虽然图8和9的流程图示出具体执行顺序，但应当理解，执行顺序可不同于所示出的。例如，可以相对于所示出的顺序，将两个以上块的执行顺序打乱。而且，在图8和9中连续示出的两个以上块可以同时执行或部分同时执行。而且，在某些实施方式中，可以忽略或省略图8和9中示出的一个或多个块。此外，任何数量的计数器、状态变量、报警信号灯或消息可以添加到本文所述逻辑流中，以增强实用性、计费、性能测量或提供故障排除辅助等的目的。应当理解，所有这些变形在本发明的范围内。
而且，本文中描述的含有软件或代码的任何逻辑或应用程序包括有视频解码器303和315、视频编码器309、组合器603以及定标器和/或帧速率转换器503和509，并且该任何逻辑或应用程序可以以非临时性计算机可读介质来实现，该非临时性计算机可读介质为例如以计算机系统或其他系统中的处理器1003为例的指令执行系统所使用或结合该指令执行系统一起使用。从这个意义上讲，逻辑可以包括例如可从计算机可读介质提取的并由指令执行系统执行的包括指令和说明语句的语句。在本发明的上下文中，“计算机可读介质”可以是能够包含、存储或保持本文所述的逻辑或应用程序的任何介质，以为指令执行系统所使用或结合指令执行系统使用。
计算机可读介质可以包括许多物理介质中的任一个，物理介质诸如有磁介质、光介质或半导体介质。合适计算机可读介质的更多具体示例可以包括但不限于，磁带、磁性软盘、磁性硬盘驱动器、存储卡、固体驱动器、USB闪存驱动器或光盘。而且，计算机可读介质可以是包括例如静态随机存取存储器（SRAM)和动态随机存取存储器（DRAM）或磁性随机存取存储器（MRAM）的随机存取存储器（RAM）。此外，计算机可读介质可以是只读存储器（ROM）、可编程只读存储器（PROM）、可擦除可编程只读存储器（EPROM）、电可擦除可编程只读存储器（EEPROM)或其他类型的存储器设备。
应当强调，本发明的上述实施方式仅仅是为了清楚理解本发明原理所阐述的可能示例。在不实质背离本发明精神和原理的前提下，可以对上述实施方式进行许多变化和修改。所有这样的修改和变化旨在包括在本文中的本发明的由所附权利要求保护范围内。

Claims (10)

1.一种系统，包括：
包括至少一个电路的视频处理设备，所述视频处理设备被配置为：
获得包括视频帧序列的无压缩视频流；以及
通过以下步骤从所述无压缩视频流生成编码倒序视频流：
将所述视频帧序列的一部分存储在缓冲器中；
利用视频编码器逻辑以倒序对所述视频帧序列的所述部分进行编码；以及
以所述倒序输出所述视频帧序列中的编码部分。
2.根据权利要求1所述的系统，其中，所述视频编码器逻辑被配置为将标记与所述无压缩视频流中所述视频帧序列的一个视频帧关联，其中，所述标记保持与编码倒序视频流中所述视频帧序列中的一个视频帧相关联。
3.根据权利要求1所述的系统，其中，所述视频编码器逻辑被配置为对所述视频帧序列的一部分编码，作为对存储在所述缓冲器中的所述视频帧序列的整个部分的响应。
4.根据权利要求1所述的系统，其中，所述视频处理设备被进一步配置为通过利用视频解码器逻辑对所述编码倒序视频流进行解码来生成视频信号，并且所述视频编码器逻辑和所述视频解码器逻辑采用相同视频编解码器。
5.根据权利要求1所述的系统，其中，所述视频处理设备被进一步配置为：
向第一显示设备输出所述无压缩视频流；以及
向第二显示设备输出所述编码倒序视频流；以及
其中，所述视频处理设备被配置为并行输出所述无压缩视频流和所述编码倒序视频流。
6.根据权利要求1所述的系统，其中，所述视频处理设备被进一步配置为生成同时呈现正序的视频帧序列和倒序的视频帧序列的视频信号。
7.一种在视频处理设备中实施的方法，包括：
在至少一个电路中，获得包括视频帧序列的无压缩视频流；以及
通过以下步骤从所述无压缩视频流生成编码倒序视频流：
将所述视频帧序列的一部分存储在缓冲器中；
以倒序对所述视频帧序列的所述部分进行编码；以及
以所述倒序输出所述视频帧序列的编码部分。
8.根据权利要求7所述的方法，进一步包括：
向所述无压缩视频流应用第一变换；
向所述编码倒序视频流应用第二变换；以及
其中，所述第一变换和所述第二变换均对从帧速率和帧缩放组成的组中选择的至少一个视频参数进行修改。
9.一种系统，包括：
包括至少一个电路的视频处理设备，所述视频处理设备被配置：
获得包括多个视图的无压缩视频流；
从所述无压缩视频流生成压缩视频流，其中所述压缩视频流不包括至少一个视图；以及
解压缩所述压缩视频流。
10.根据权利要求9所述的系统，其中，所述无压缩视频流包括正序的视频帧序列，以及所述生成包括：
在缓冲器中存储所述视频帧序列的一部分；
利用视频编码器逻辑以倒序对所述视频帧序列的一部分进行编码；以及
以倒序输出所述视频帧序列的编码部分。
CN2012105934441A 2012-03-22 2012-12-31 代码转换视频流以便于精确显示 Pending CN103327318A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/426,814 US9392210B2 (en) 2012-03-22 2012-03-22 Transcoding a video stream to facilitate accurate display
US13/426,814 2012-03-22

Publications (1)

Publication Number Publication Date
CN103327318A true CN103327318A (zh) 2013-09-25

Family

ID=47630049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012105934441A Pending CN103327318A (zh) 2012-03-22 2012-12-31 代码转换视频流以便于精确显示

Country Status (5)

Country Link
US (1) US9392210B2 (zh)
EP (1) EP2642764B1 (zh)
KR (1) KR20130108154A (zh)
CN (1) CN103327318A (zh)
TW (1) TWI524774B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107509110A (zh) * 2017-08-03 2017-12-22 乐蜜有限公司 一种视频文件的循环播放方法及装置
CN107948571A (zh) * 2017-12-27 2018-04-20 努比亚技术有限公司 视频录制的方法、装置及计算机可读存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140067869A1 (en) 2012-08-30 2014-03-06 Atheer, Inc. Method and apparatus for content association and history tracking in virtual and augmented reality
WO2014069920A1 (en) * 2012-11-01 2014-05-08 Samsung Electronics Co., Ltd. Recording medium, reproducing device for providing service based on data of recording medium, and method thereof
US9247179B2 (en) * 2012-11-19 2016-01-26 Nvidia Corporation Reverse video playback in a data processing device
KR102477964B1 (ko) 2015-10-12 2022-12-16 삼성전자주식회사 미디어 전송 시스템에서 비디오 비트스트림의 임의 접근 및 재생을 가능하게 하는 기법
US10205975B2 (en) * 2016-01-20 2019-02-12 Avago Technologies International Sales Pte. Limited Trick mode operation with multiple video streams
US10911513B2 (en) * 2018-07-16 2021-02-02 Netflix, Inc. Techniques for determining an upper bound on visual quality over a completed streaming session

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020126754A1 (en) * 2001-03-06 2002-09-12 Wei-Le Shen MPEG video editing-cut and paste
US20020168175A1 (en) * 2001-05-14 2002-11-14 Green Dustin L. Systems and methods for playing digital video in reverse and fast forward modes
US20030163824A1 (en) * 1998-11-30 2003-08-28 Donald F. Gordon Method and apparatus for producing demand real-time television
US20050012860A1 (en) * 1995-12-07 2005-01-20 Cooper J. Carl A/V timing measurement for MPEG type television
US20060034369A1 (en) * 2004-08-10 2006-02-16 Nader Mohsenian Method and system for parametric video quality equalization in selective re-encoding
CN101815192A (zh) * 2009-02-23 2010-08-25 广达电脑股份有限公司 数字影音撷取装置及其方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6658056B1 (en) * 1999-03-30 2003-12-02 Sony Corporation Digital video decoding, buffering and frame-rate converting method and apparatus
US20020009137A1 (en) * 2000-02-01 2002-01-24 Nelson John E. Three-dimensional video broadcasting system
KR100523052B1 (ko) * 2002-08-30 2005-10-24 한국전자통신연구원 다중 디스플레이 방식을 지원하는 다시점 동영상의 객체 기반 부호화 장치 및 그 방법과 그를 이용한 객체 기반 송수신 시스템 및 그 방법
CN100592749C (zh) * 2004-05-12 2010-02-24 吉峰贵司 会话支持系统与会话支持方法
US7567846B2 (en) * 2004-09-24 2009-07-28 Sztybel Robert S Interactive audio content delivery system and method
US7471875B2 (en) * 2005-07-15 2008-12-30 Streaming Networks (Pvt.) Ltd. Method and system for providing instant reverse play
US20070154185A1 (en) 2006-01-04 2007-07-05 Wade Wan Method and system for transcoding video information to enable digital video recording (DVR) trick modes
JP4405523B2 (ja) 2007-03-20 2010-01-27 株式会社東芝 コンテンツ配信システム、このコンテンツ配信システムで使用されるサーバ装置及び受信装置
US20100121971A1 (en) * 2008-11-10 2010-05-13 Samsung Electronics Co., Ltd. Multipath transmission of three-dimensional video information in wireless communication systems
KR20110095128A (ko) * 2008-11-18 2011-08-24 파나소닉 주식회사 특수재생을 고려한 재생장치, 집적회로, 재생방법
EP2534845B8 (en) 2010-02-11 2019-07-10 DISH Technologies L.L.C. Systems and methods to provide trick play during streaming playback
KR101767045B1 (ko) * 2010-12-17 2017-08-10 삼성전자 주식회사 영상처리장치 및 영상처리방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050012860A1 (en) * 1995-12-07 2005-01-20 Cooper J. Carl A/V timing measurement for MPEG type television
US20030163824A1 (en) * 1998-11-30 2003-08-28 Donald F. Gordon Method and apparatus for producing demand real-time television
US20020126754A1 (en) * 2001-03-06 2002-09-12 Wei-Le Shen MPEG video editing-cut and paste
US20020168175A1 (en) * 2001-05-14 2002-11-14 Green Dustin L. Systems and methods for playing digital video in reverse and fast forward modes
US20060034369A1 (en) * 2004-08-10 2006-02-16 Nader Mohsenian Method and system for parametric video quality equalization in selective re-encoding
CN101815192A (zh) * 2009-02-23 2010-08-25 广达电脑股份有限公司 数字影音撷取装置及其方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107509110A (zh) * 2017-08-03 2017-12-22 乐蜜有限公司 一种视频文件的循环播放方法及装置
WO2019024258A1 (zh) * 2017-08-03 2019-02-07 乐蜜有限公司 一种视频文件的循环播放方法及装置
US11070886B2 (en) 2017-08-03 2021-07-20 Hong Kong Liveme Corporation Limited Method and apparatus for looping a video file
CN107948571A (zh) * 2017-12-27 2018-04-20 努比亚技术有限公司 视频录制的方法、装置及计算机可读存储介质
CN107948571B (zh) * 2017-12-27 2021-11-02 努比亚技术有限公司 视频录制的方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
US20130251333A1 (en) 2013-09-26
KR20130108154A (ko) 2013-10-02
TW201340719A (zh) 2013-10-01
EP2642764A3 (en) 2013-10-02
EP2642764B1 (en) 2016-08-10
US9392210B2 (en) 2016-07-12
TWI524774B (zh) 2016-03-01
EP2642764A2 (en) 2013-09-25

Similar Documents

Publication Publication Date Title
US12010338B2 (en) Representative motion information for temporal motion prediction in video encoding and decoding
CN103327318A (zh) 代码转换视频流以便于精确显示
RU2676408C1 (ru) Устройство кодирования движущегося изображения с предсказанием, способ кодирования движущегося изображения с предсказанием, программа кодирования движущегося изображения с предсказанием, устройство декодирования движущегося изображения с предсказанием, способ декодирования движущегося изображения с предсказанием и программа декодирования движущегося изображения с предсказанием
US11638003B2 (en) Video coding and decoding methods and devices using a library picture bitstream
JP5090158B2 (ja) 映像情報記録装置、映像情報記録方法、映像情報記録プログラム、及び映像情報記録プログラムを記録した記録媒体
US10623735B2 (en) Method and system for layer based view optimization encoding of 360-degree video
TW201415904A (zh) 幀間預測的運動預測方法、運動補償方法、運動預測裝置、運動補償裝置以及電腦可讀記錄媒體
US10999599B2 (en) System and method for non-uniform video coding
CN102918839A (zh) 用于视频编码的功率高效的运动估计技术
US20230421755A1 (en) Bi-directional inter prediction method and apparatus
US9723308B2 (en) Image processing apparatus and image processing method
KR100746005B1 (ko) 다중 목적의 비디오 스트림을 처리하는 장치 및 방법
CN113315975B (zh) 一种双向帧间预测方法及装置
TWI533673B (zh) Motion picture prediction coding apparatus, method and program, and motion picture prediction decoding apparatus, method and program
US9743079B2 (en) Image processing apparatus and image processing method for the collective transfer of prediction parameters between storage units
CN114257818A (zh) 视频的编、解码方法、装置、设备和存储介质
WO2009122925A1 (ja) 動画像変換装置、動画像配信システム、動画像変換方法及びプログラム
KR101336820B1 (ko) 다채널 트릭 모드에 특화된 복호화 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1186326

Country of ref document: HK

AD01 Patent right deemed abandoned

Effective date of abandoning: 20170908

AD01 Patent right deemed abandoned
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1186326

Country of ref document: HK