CN105264892B - 针对高帧率和可变帧率捕获来调整视频压缩 - Google Patents

针对高帧率和可变帧率捕获来调整视频压缩 Download PDF

Info

Publication number
CN105264892B
CN105264892B CN201480032150.9A CN201480032150A CN105264892B CN 105264892 B CN105264892 B CN 105264892B CN 201480032150 A CN201480032150 A CN 201480032150A CN 105264892 B CN105264892 B CN 105264892B
Authority
CN
China
Prior art keywords
frame
frames
decoded
discardable
playback mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480032150.9A
Other languages
English (en)
Other versions
CN105264892A (zh
Inventor
J·S·布谢尔
D·康赛因
D·萨勒希诺
E·特恩奎斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN105264892A publication Critical patent/CN105264892A/zh
Application granted granted Critical
Publication of CN105264892B publication Critical patent/CN105264892B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了可以在具有有限资源(例如，解码器资源和/或显示器资源)的设备上显示具有高帧率的视频数据。这些设备可以将其资源专用于其他任务，或者可能不能以高帧率显示视频数据。该编码方法可以包括对帧进行编码，使得在编码视频数据中包括附加的可丢弃的帧。该解码方法可以包括在对编码视频数据进行解码之前丢弃可丢弃的帧，以减少将要被解码和显示的帧数。可以将这些方法应用于具有可变帧率的视频数据，并可以与处理图像序列相组合以供慢动作回放。

Description

针对高帧率和可变帧率捕获来调整视频压缩
优先权要求
本申请要求如下申请的优先权：2013年8月21日提交的美国专利申请13/972,434、2013年6月7日提交的美国临时申请61/832,447和2013年7月1日提交的美国临时申请61/841,635，通过引用将其全文并入本文。
背景技术
本公开总体上涉及图像和视频处理领域。更具体地，本公开涉及对具有可丢弃的帧的帧进行编码和解码，以及以慢动作来显示具有可丢弃的帧的编码视频的方法。
视频捕获技术的进步允许以高帧率捕获视频数据。包括此类技术的相机通常与功能强大的处理器耦接，该处理器能够对这种数据容易地编码并通过高速通信信道发送编码视频内容。不过，用于显示所捕获的视频数据的设备并非始终能够以相同的高帧率显示视频数据。这些设备可能具有有限的资源来对视频数据进行解码以及以高帧率实时显示数据。于是，在显示设备接收以高帧率的编码视频数据时，由于设备的资源有限，显示设备可能无法实时对视频内容进行解码和显示。
附图说明
为了能够理解本发明的特征，下文描述多个附图。不过，要指出的是，附图仅仅示出了特定实施例，因此不被视为其范围的限制，因为本发明可以涵盖其他同样有效的实施例。
图1示出了根据本发明的实施例的视频编码系统的简化框图。
图2是根据本发明的实施例的视频捕获和显示系统的功能框图。
图3是根据本发明的实施例的视频编码系统的功能框图。
图4是根据本发明的实施例的视频解码系统的功能框图。
图5示出了根据本发明的实施例的对具有可丢弃的帧的视频数据进行编码的方法。
图6示出了根据本发明的实施例的用于对具有可丢弃的帧的视频数据进行解码的方法。
图7示出了用于对具有可丢弃的帧的视频数据进行解码以供慢动作回放的方法。
图8示出了根据本发明的实施例的用于以慢动作处理视频数据的方法。
图9示出了可以根据本发明的实施例处理的视频数据的图像序列。
具体实施方式
本发明的实施例提供了视频编码和解码系统和方法，所述视频编码和解码系统和方法允许要在具有有限资源(例如，解码器和/或显示资源)的设备上显示高帧率的视频数据。这些设备可以将其资源专用于其他任务，或者可能不能以高帧率显示视频数据。该编码方法可以包括对帧进行编码使得在编码视频数据中包括附加的可丢弃的帧。解码方法可以包括在对编码视频数据进行解码之前丢弃可丢弃的帧，以减少将要被解码和显示的帧数。这些方法可应用于具有可变帧率的视频数据，可以与处理图像序列相组合以供慢动作回放。
图1示出了根据本发明的实施例的视频编码系统100的简化框图。系统100可包括经由网络150互连的多个终端110-140。针对数据的单向传输，第一终端110可以在本地位置对视频数据进行编码，以通过网络150传输到其他终端120。第二终端120可从网络150接收另一个终端的编码视频数据，对编码数据进行解码并显示恢复的视频数据。在媒体服务应用等中，单向数据传输是常见的。
图1示出了为支持编码视频的双向传输而提供的第二对终端130、140，例如，在视频会议期间，可能发生这种情况。针对数据的双向传输，每个终端130、140可以对本地位置捕获的视频数据进行编码，以通过网络150传输到其他终端。每个终端120、130、140也可接收另一终端发送的编码视频数据，可对编码数据解码并可以在本地显示设备处显示恢复的视频数据。
终端110-140能够以高帧率(例如120fps、240fps等)捕获视频。终端110-14能够以可变帧率捕获视频。捕获视频所在的帧率可以基于视频中的内容、场景条件和/或用于捕获和处理视频的处理资源的可用性而动态变化。例如，当光线较少时可以减小帧率(如从120fps到20fps)。在视频内容中动作增多时，可以由相机增大帧率(例如，从120fps到240fps)。相机可以基于可用于捕获和处理(例如滤波和编码)所捕获视频的资源来增大捕获帧率。
在图1中，终端110-140被例示为服务器、个人计算机和智能电话，但本发明的原理并不限于此。本发明的实施例可应用于膝上型计算机、平板电脑、媒体播放器和/或专用视频会议设备。终端120-140可以包括有限的资源以对视频进行解码和/或显示。
网络150可代表在终端110-140之间传输编码视频数据的任意数量的网络，包括例如有线通信网络和/或无线通信网络。通信网络150可在电路交换信道和/或分组交换信道中交换数据。代表性网络包括电信网、局域网、广域网和/或互联网。出于本论述的目的，除非下文作出解释，否则网络150的体系结构和拓扑结构对本发明的操作是无关紧要的。
图2是根据本发明的实施例的视频捕获和显示系统200的功能框图。系统200可以包括用于对视频数据进行捕获和编码第一终端210，和用于对编码视频数据进行解码并显示解码视频数据的第二终端230。第一终端210中的发送器216可以通过通信信道220向第二终端230中的接收器232发送编码视频。
第一终端210可以包括视频源212，视频源212以高帧率(例如129fps或240fps)提供视频数据。视频源212提供并向解码器234发送的视频数据的帧率可能超过第二终端230能够对视频数据进行解码和/或显示的默认帧率(例如，24fps、25fps、30fps或60fps)。为了显示视频数据，解码器234可以仅对从编码视频数据选择的若干帧进行解码。解码器234可以丢弃若干可丢弃的帧以减少对编码视频数据进行解码所需的资源。解码器234可以丢弃若干可丢弃的帧以将帧率减小到默认帧率(即，解码器234能够应对的帧率和/或视频显示器236能够显示视频内容所用的帧率)。
第一终端210中的视频编码器214可以对来自视频源212的视频数据进行编码。视频编码器214可以对视频数据教学编码，使得编码帧包括可以被丢弃且不被视频解码器234解码的可丢弃的帧。可丢弃的帧可以包括在预测任何其他帧时不使用的帧。在一个实施例中，尽管可丢弃的帧可以取决于要解码的其他帧中的数据，但可能没有其他帧取决于可丢弃的帧中的数据。因此，在解码器234不对可丢弃的帧进行解码时，无需已解码的可丢弃的帧中的数据，仍然可以对其他帧进行解码。
视频编码器214还可以对视频数据进行编码，使得编码帧包括不可丢弃的帧。不可丢弃的帧可以包括对其他帧进行编码时用作参考帧的帧。
视频编码器214可以对视频数据进行编码，使得编码视频数据包括足够多可丢弃的帧，以将帧率减小到默认帧率(例如，第二终端230能够对视频数据进行解码和/或显示的帧率)。于是，视频编码器可以对视频数据进行编码，使得每秒和/或特定数量的不可丢弃的帧有指定数量的可丢弃的帧。视频编码器214可以标记哪些帧是可丢弃的帧和/或哪些帧是不可丢弃的帧。视频编码器214可以具有预设的默认帧率或可以从第二终端230接收默认帧率，该默认帧率可以基于解码器234和/或显示器236可用的资源而变化。
编码器214可以对视频数据进行编码以针对超过帧率阈值(例如，默认帧率)的任何帧产生可丢弃的帧。例如，在帧率阈值为60fps且视频源212提供的帧率处于240fps时，可以将每四个帧中的至少三个帧编码成可丢弃的帧。在帧率阈值为60fps且视频源212提供的帧率处于120fps时，可以将每两个帧中的至少一个编码成可丢弃的帧。在帧率阈值为60fps且视频源212提供的帧率处于60fps时，任何帧都不需要是可丢弃的。
在另一个实施例中，视频源212能够以动态变化的帧率提供视频数据。帧率可以基于视频中的内容、场景条件和/或用于捕获和处理(例如，编码)视频数据的处理资源的可用性而动态变化。帧率的范围可能会超过第二终端能够对视频数据进行解码和/或显示的默认帧率。在源视频数据的帧率超过默认帧率时，视频编码器214可以改变编码参数以在编码视频数据中提供附加的可丢弃的帧。附加的可丢弃的帧可以允许解码器234丢弃可丢弃的帧并以默认帧率对编码数据解码。
利用可丢弃的帧对视频编码为解码器234提供了时间稳定性，这样允许根据解码器资源、显示器资源、播放速率等对更多或更少帧解码。可以向多个设备发送具有可丢弃的帧的编码视频数据，其中每个设备可以具有可用于对视频数据进行解码和/或显示的不同资源。为编码数据提供可丢弃的帧可以确保所有设备都能够显示视频内容。每个设备可以基于设备上可用的资源，选择要解码的帧的数量以及待丢弃哪些帧。
包括附加的可丢弃的帧可以提高编码视频数据的比特率，因为在使用帧间预测的情况下，帧间预测将基于时间上相距更远的帧。时间上相距更远的帧可以提供精确度更低的预测，这意味着可能在残余数据花费更多比特。不过，因为接收数据的设备可能具有有限资源以对数据进行解码和/或显示，解码器234的时间可缩放性的优点可能在价值上超过对视频数据进行编码和发送所需的更多资源。于是，尽管用于对数据进行编码和发送的第一终端210(例如，服务器或高质量相机)可能需要更多资源来对视频数据进行编码和发送，但第二终端230(例如，智能电话或便携式终端)可能包括有限资源来对视频数据进行解码和显示。
图3是根据本发明的实施例的视频编码系统300的功能框图。
系统300可以包括提供视频数据以供系统300编码的视频源310、预处理器320、视频编码器330、发送器340和控制器350，以管理系统300的操作。
视频源310可以提供待由系统300编码的视频。在媒体服务系统中，视频源310可以是存储先前准备的视频的存储设备。在视频会议系统中，视频源310可以是捕获本地图像信息作为视频序列的相机。视频数据通常是作为多个单个帧提供的，在按照顺序观看时，产生运动。帧自身通常被组织为像素的空间阵列。视频源310能够以高帧率(例如120fps或240fps)和/或动态可变的帧率提供视频。
预处理器320可以对视频数据执行各种分析和信号调节操作。预处理器320可以将输入帧解析成彩色分量(例如，亮度和色度分量)，还可以将帧解析成像素块，即，像素数据的空间阵列，其可以形成进一步编码的依据。预处理器320还可以对帧数据应用各种滤波操作以提高视频编码器330施加的编码操作的效率。
视频编码器330可以对视频序列执行编码操作以减小视频序列的比特率。视频编码器330可包括编码引擎332、本地解码器333、参考图片高速缓存334、预测器335和控制器336。编码引擎332可以利用视频数据中的时间和/或空间冗余性对输入的视频数据进行编码，并可以产生编码视频数据的数据流，与源视频数据的数据流相比，这通常具有减小的比特率。作为其操作的一部分，视频编码器330可以执行动作补偿预测编码，参考来自视频序列被指定为“参考帧”的一个或多个先前编码帧，预测地对输入帧进行编码。通过这种方式，编码引擎332对输入帧的像素块和被选择为输入帧的一个或多个预测参考的一个或多个参考帧的像素块之间的差异进行编码。
本地解码器333可以对指定为参考帧的帧的编码视频数据进行解码。编码引擎332的操作通常是有损过程。在视频编码器(图3中未示出)处对编码视频数据进行解码时，恢复的视频序列通常是源视频序列的带有一些错误的复制品。本地解码器333复制将由视频编码器对参考帧执行的解码过程，并可以导致在参考图片高速缓存334中存储重建的参考帧。通过这种方式，系统300可以在本地存储重建的参考帧的副本，它们与将由远端视频解码器获得的重建的参考帧具有共同的内容(没有传输错误)。在一个实施例中，本地解码器333可以仅对将由显示设备解码和显示的帧进行解码，以复制解码过程。于是，本地解码器333可以不对可丢弃的帧解码。在另一个实施例中，本地解码器333可以对不可丢弃的帧和可丢弃的帧两者解码，以复制解码过程。
预测器335可以为编码引擎332执行预测搜索。即，针对要编码的新帧，预测器335可以搜索参考图片高速缓存334，以发现可以充当新帧的适当预测参考的图像数据。预测器335可以逐个像素块地工作，以找到适当的预测参考。在一些情况下，如预测器335获得的搜索结果所确定的，输入帧可以具有从参考图片高速缓存334中存储的多个帧提取的预测参考。
控制器336可以管理视频编码器330的编码操作，例如，包括选择符合编码视频的目标比特率的编码参数，确定可以丢弃的帧，以及确定提供不可丢弃的帧应当使用的帧率。典型地，视频编码器根据比特率要求、质量要求和/或误差残余策略施加的约束来操作。基于阈值帧率和所提供视频的帧率，控制器336可以改变编码视频数据中包括的可丢弃的帧的数量。控制器336可以为视频序列的帧选择编码参数，以便满足这些约束。例如，控制器336可以向帧和/或帧之内的像素块分配编码模式和/或量化参数。
发送器340可以缓存编码视频数据以使其准备好通过通信信道360向远端终端(未示出)传输。发送器340可以将来自视频编码器330的编码视频数据与要发送到终端的其他数据，例如编码音频数据和/或辅助数据流(未示出源)进行合并。
控制器350可以管理系统300的操作。在编码期间，控制器350可以向每个帧分配特定的帧类型(其自己的意愿或与控制器336合作)，这样可能影响应用于相应帧的编码技术。例如，常常将帧作为以下帧类型中的一者分配：
·帧内(I帧)是不利用序列中的任何其他帧作为预测源而编码和解码的帧。
·预测帧(P帧)是利用序列中的更早帧作为预测源而编码和解码的帧。
·双向预测帧(B帧)是利用序列中的更早帧和将来帧作为预测源而编码和解码的帧。
控制器350和/或控制器336可以分配帧是否可丢弃。在另一个实施例中，控制器350和/或控制器336可以分配帧是否可丢弃以及不可丢弃。
可丢弃的帧可以包括预测任何其他帧时不使用的帧。因此，如果其他帧(例如P帧或B帧)不依赖于它们而被解码，I帧、P帧和B帧可以是可丢弃的。不可丢弃的帧可以包括用于预测其他帧的帧(例如，作为参考帧)。在一个实施例中，参考帧可以始终被指定为不可丢弃的帧。于是，如果其他帧(例如P帧或B帧)依赖于它们而被解码，则I帧、P帧和B帧可以是不可丢弃的。即使不将它们用作参考帧，可以将帧指定为不可丢弃的。例如，可以将不是参考帧的帧指定为不可丢弃，以确保为特定帧率提供指定为不可丢弃的帧或为向解码器或显示设备提供具有指定帧的其他信息。视频编码器330可以基于帧是否是或应当是可丢弃或不可丢弃的指定而对帧进行编码。
通常在空间上将帧解析成多个像素块(例如，均为4×4、8×8或16×16像素的块)并逐个像素块进行编码。可以参考通过向像素块的相应帧应用的编码分配确定的其他编码像素块预测地对像素块编码。例如，可以对I帧的像素块进行非预测编码，或者可以参考同一帧的像素块对它们进行预测编码(空间预测)。可以通过空间预测或通过时间预测，参考一个先前编码的参考帧对P帧的像素块编码。可以通过空间预测或通过时间预测，参考一个或两个先前编码的参考帧对B帧的像素块编码。
视频编码器330可以根据预定协议，例如H.263、H.264、MPEG-2或HEVC执行编码操作。在其操作中，视频编码器330可以执行各种压缩操作，包括利用输入视频序列中的时间和空间冗余性的预测编码操作。因此，编码视频数据可以符合由所用协议指定的句法。
在实施例中，发送器340可以发送带有编码视频的附加数据。附加数据可以包括收集的关于视频帧的统计信息、关于预处理器320执行的操作或哪些帧可丢弃的细节。可以在用于带外数据的支配协议建立的信道中传输附加数据。例如，发送器340可以在补充增强信息(SEI)信道和/或视频可用性信息(VUI)信道中传输附加数据。或者，视频编码器330可以包括这样的数据作为编码视频帧的部分。
图4是根据本发明的实施例的视频解码系统400的功能框图。视频解码系统400可以包括接收编码视频数据的接收器410、视频编码器420、后处理器430、管理系统400的操作的控制器432以及显示解码视频数据的显示器434。
接收器410可以接收要由系统400解码的视频。可以从信道412接收编码视频数据。接收器410可以接收具有其他数据的编码视频数据，其他数据例如是编码的音频数据和/或辅助数据流。接收器410可以将编码视频数据与其他数据分开。
视频编码器420可以对从接收器410接收的视频序列执行解码操作。视频解码器420可以包括解码器422、参考图片高速缓存424和在控制器428控制下操作的预测模式选择426。解码器422可以参考存储在参考图片高速缓存424中的参考图片来对从接收器410接收的编码视频数据进行重建。解码器422可以将重建的视频数据输出至后处理器430，后处理器可对重建的视频数据执行附加操作以对其进行调节以用于显示。参考帧的重建的视频数据还可以存储至参考图片高速缓存424以供在对随后接收的编码视频数据进行解码期间使用。
解码器422可以执行使由视频编码器230所执行的编码操作反转的解码操作(在图2中示出)。解码器422可以执行熵解码、反量化及变换解码以生成复原的像素块数据。量化/反量化操作是有损过程，因此复原的像素块数据可能将是由视频编码器330(图3中所示)所编码的源像素块的复制但可能包括某些错误。对于周期性编码的像素块，变换解码可以产生残余数据；解码器422可以使用与像素块相关联的运动矢量从参考图片高速缓存424检索待与预测残余组合的预测像素块。预测模式选择器426可以识别用于被解码的编码帧的每个像素块的时间预测模式，并请求对要从参考图片高速缓存424读取的解码所需的数据。重建的像素块可重新组装成帧并输出至后处理器430。
如上所述，编码视频数据可以包括可丢弃的帧，该可丢弃的帧是预测任何其他帧时不使用的帧。如果解码器没有资源对可丢弃的帧解码，显示器不能显示与可丢弃的帧一起提供的帧率，或者用户选择更低的回放帧率，解码器可以不对可丢弃的帧解码。编码视频数据可以包括可丢弃的每个帧上的标签，以允许解码器422在需要时丢弃那些帧。在另一个实施例中，编码器还可以通过分析编码视频数据中的帧来判断哪些帧可丢弃。
后处理器430可执行视频处理以调节复原的视频数据以用于呈现(通常在显示器434处)。典型的后处理操作可包括应用解块滤波器、边缘检测滤波器、振铃滤波器等。后处理器430可以输出复原的视频序列以用于在显示器434上呈现，或者任选地存储至存储器(未示出)以供稍后检索和显示。控制器432可以管理系统400的操作。
视频解码器420可以根据预定协议，例如H.263、H.264、MPEG-2或HEVC，即编码器使用的相同协议，执行解码操作。在其操作中，视频解码器420可以执行各种解码操作，包括利用编码视频序列中的时间和空间冗余性的预测解码操作。因此，编码视频数据可以符合由所用协议指定的句法。
在实施例中，接收器410可以接收具有编码视频的附加数据。附加数据可以包括收集的关于视频帧的统计信息、关于预处理器320(图3中所示)执行的操作或哪些帧可丢弃的细节。可以通过用于带外数据的支配协议建立的信道接收附加数据。例如，接收器410可以通过补充增强信息(SEI)信道和/或视频可用性信息(VUI)信道接收附加数据。或者，可以包括附加数据作为编码视频帧的一部分。可以由视频编码器420和/或后处理器430使用附加数据对数据进行适当解码和/或精确重建原始视频数据。
图5示出了根据本发明的实施例，对具有可丢弃的帧的视频数据编码的方法500。该方法可以包括接收输入视频数据(方框510)，判断输入视频数据的帧率是否高于阈值(方框520)，如果输入视频数据的帧率高于阈值，则增加编码中可丢弃的帧的数量(方框530)，并对输入视频数据编码。该方法可由图2所示的编码器214来执行。
可以从视频源(例如，存储器或相机)接收(方框510)输入视频数据。输入视频数据可以具有高帧率(例如120fps或240fps)。输入视频数据的帧率可以比能够在显示设备上显示或由解码器解码的默认帧率(例如，24fps，25fps，30fps或60fps)高。解码器可以是显示设备的一部分。
判断输入视频数据的帧率是否高于阈值(方框520)可以包括确定输入视频数据的帧率。阈值可以是能够在显示设备上显示或由解码器解码的默认帧率(例如，24fps，25fps，30fps或60fps)。阈值可以基于用于显示视频数据的设备上的可用资源而动态变化。这些资源可以包括用于对视频数据解码的资源和/或用于播放视频内容的资源。可以将阈值设置为可以由接收视频数据的所有设备显示的帧率，或者可以将阈值设置为设备显示视频数据的平均帧率。阈值可以基于用户利用设备显示视频数据设置的回放速度。默认帧率可以是显示设备的正常回放模式。
如果输入视频数据的帧率超过阈值(方框520中为“是”)，那么编码器可以增加编码视频数据中可丢弃的帧数。可以通过改变编码器参数来增加可丢弃的帧的数量，以提供在预测任何其他帧中不使用的附加可丢弃的帧。在一个实施例中，可以增加可丢弃的帧的数量以针对超过阈值帧率的任何帧提供可丢弃的帧。例如，在帧率阈值为60fps且输入视频数据的帧率为240fps时，可以将每四个帧中的至少三个帧编码成可丢弃的帧。在帧率阈值为60fps且输入视频数据的帧率为120fps时，可以将每两个帧中的至少一个编码成可丢弃的帧。
如果输入视频数据的帧率处于或低于阈值(方框520中为否)，对输入视频数据进行编码(方框540)可以包括利用默认参数对输入视频数据编码。默认参数可以指定，对于编码视频数据中的不可丢弃的帧和可丢弃的帧的数量没有优选。利用默认参数对输入视频数据进行编码可以包括根据比特率要求、质量要求和/或误差回复策略施加的约束对输入视频数据进行编码，而不考虑每秒可丢弃的帧的数量。
如果输入视频数据的帧率高于阈值(方框520中为是)，对输入视频数据进行编码(方框540)可以包括利用改变的参数对输入的视频数据编码，以提供附加的可丢弃的帧。利用为提供附加可丢弃的帧而改变的参数对输入视频编码可能提高比特率，减小质量和/或提高误差回复力，因为帧不能取决于可丢弃的帧中的数据。对输入视频数据编码可以包括将可丢弃的帧编码为I帧、P帧或B帧。可以使用编码参数和视频内容来确定如何对可丢弃的帧进行编码。利用附加的可丢弃的帧对视频数据编码可以包括提供足够多的可丢弃的帧，以确保每秒提供指定数量的可丢弃的帧。
可以使用不可丢弃的帧以在正常回放模式中显示视频数据。可以使用可丢弃的帧和不可丢弃的帧在增强回放模式中显示视频数据。
一旦对输入的视频数据编码，就可以发送编码视频数据(方框550)。发送编码视频数据可以包括发送编码视频数据中哪些帧是可丢弃的帧。发送编码视频数据可以包括既发送可丢弃的帧又发送不可丢弃的帧(即，具有其他数据所依赖的数据的帧)。
图6示出了根据本发明的实施例的对具有可丢弃的帧的视频数据进行解码的方法600。方法600可以包括接收编码视频数据(方框610)，判断编码视频数据的帧率是否高于阈值(方框620)，如果编码视频数据的帧率高于阈值(方框620中为“是”)，则判断哪些帧可丢弃(方框630)并对编码视频数据解码而不对可丢弃的帧解码(方框640)，如果编码视频数据的帧率不高于阈值(方框620中为“否”)，则对编码视频数据解码(方框650)。
接收编码视频数据(方框610)可以包括通过通信信道接收编码视频数据。编码视频数据可以包括高帧率(例如120fps或240fps)。编码视频数据的帧率可以比能够在显示设备上显示或由显示设备中的解码器解码的默认帧率(例如，24fps，25fps，30fps或60fps)高。编码视频数据可以包括可丢弃的帧，没有任何其他帧取决于可丢弃的帧中的数据。
判断编码视频数据的帧率是否高于阈值(方框620)可以包括确定编码视频数据的帧率。阈值可以是能够在显示设备上显示或由解码器解码的默认帧率(例如，24fps，25fps，30fps或60fps)。阈值可以基于用于显示视频数据的设备上的可用资源而动态变化。这些资源可以包括用于对视频数据解码的资源和/或用于播放视频内容的资源。可以针对用于显示视频内容的设备预设阈值。阈值可以基于用户利用设备显示视频数据设置的回放速度(例如，正常回放模式或增强回放模式)。
如果输入的视频数据的帧率超过阈值(方框620中为“是”)，那么解码器可以判断编码视频数据中哪些帧是可丢弃的(方框630)，并对编码视频数据进行解码(方框640)，而不对可丢弃的帧进行解码。编码视频数据可以包括指出哪些帧是可丢弃的帧的标记。在另一个实施例中，解码器可以判断编码视频数据中哪些帧是可丢弃的。解码器可以仅对需要以对应于帧率阈值的帧率提供解码数据的帧解码。如果帧率阈值是动态的，由于改变解码器和/或显示器的资源，所以解码器可以改变被解码的可丢弃的帧数量，以跟踪帧率阈值。于是，如果提高阈值，则解码器可以增加被解码的可丢弃的帧的数量。如果减小帧率阈值，解码器可以减少被解码的可丢弃的帧的数量。
如果编码视频数据的帧率等于或低于阈值(方框620中为“否”)，则解码器可以对编码视频数据中的所有帧解码(方框650)，其包括可丢弃的帧和不可丢弃的帧。对编码视频数据进行解码(方框650)可以包括对编码视频数据中的所有可丢弃的帧进行解码。
该方法600可以包括在设备的显示器上显示解码视频数据(方框660)。
图7示出了用于对具有可丢弃的帧的视频数据解码以供慢动作回放的方法。方法700可以包括接收编码视频数据(方框710)，对编码视频数据进行解码以便以标准帧率提供解码的视频数据(方框720)，显示具有标准帧率的解码视频数据(方框730)，接收命令以利用慢动作回放来显示视频数据(方框740)，响应于该命令，对编码视频数据解码以便以增大的帧率提供解码视频数据(方框750)，以及利用慢动作回放来显示解码视频数据(方框760)。
接收编码视频数据(方框710)可以包括通过通信信道接收编码视频数据。编码视频数据可以包括高帧率(例如120fps或240fps)。编码视频数据的帧率可以比能够在显示设备上显示或由显示设备中的解码器解码的默认帧率(例如，24fps，25fps，30fps或60fps)高。编码视频数据可以包括可丢弃的帧，没有任何其他帧取决于可丢弃的帧中的数据。
可以对编码视频数据解码(方框720)以提供具有标准帧率的解码视频数据。标准帧率(例如，30fps)可以是在设备的显示器上正常显示的速率或可以由解码器和/或显示器的资源应对的速率。对编码视频数据解码可以包括在对编码视频解码之前丢弃可丢弃的帧。被丢弃的可丢弃的帧的数量可以对应于将解码视频数据的帧率设置到标准帧率所需的帧数。可以在设备的显示器上以标准帧率显示解码视频数据(方框730)。
用户可以发出命令，以利用慢动作回放来显示视频数据(方框740)。用户可以在以标准帧率回放视频数据期间发出命令(方框730)。响应于该命令，可以对编码视频数据解码以便以增大的帧率提供解码视频数据(方框750)。可以使用增大的帧率来在相同帧率(例如，标准帧率)下显示相同视频内容，但利用慢动作回放来显示来自可丢弃的帧的附加视频内容(方框760)。可以改变用于提供慢动作的可丢弃的帧定时以便以标准帧率显示可丢弃的帧。
为了增加要显示的帧数，编码器可以对附加的可丢弃的帧解码。被解码的附加可丢弃的帧的数量可以对应于用户选择的慢动作回放速度。于是，如果减小了选择的回放速度，可以对更多可丢弃的帧解码。在用户选择标准回放速度时，解码器可以再次增加被丢弃的可丢弃的帧数量，以将解码视频数据帧率减小到标准帧率。
图8示出了根据本发明的实施例的用于以慢动作回放处理视频数据的方法。该方法800可以包括接收编码视频数据(方框810)，接收供慢回放的命令(方框820)，处理编码视频数据以供慢回放(方框830)，以及输出编码视频数据(方框840)。可以无需对输入的视频数据转码就执行方法800。可以在软件和/或硬件中执行方法800。
接收编码视频数据(方框810)可以包括通过通信信道或从存储设备接收编码视频数据。编码视频数据可以包括高帧率(例如120fps或240fps)。编码视频数据的帧率可以比用于在显示设备上显示视频内容的默认帧率(例如，24fps，25fps，30fps或60fps)高。默认帧率可以受到显示设备上对视频内容解码和/或显示的可用资源限制。如图8所示，输入的编码视频数据812可以包括可丢弃的帧“d”和不可丢弃的帧“I”和“P”。可丢弃的帧可以包括没有任何其他帧取决于可丢弃的帧中的数据的帧。不可丢弃的帧可以包括对其他帧编码时用作参考帧的帧。如上所述，如果其他帧(例如P帧或B帧)不依赖于它们而被解码，I帧、P帧和B帧可以是可丢弃的。尽管在图8中，输入的视频数据被示为具有一组图片(GOP)，其具有每个I帧和每个P帧之后的三个可丢弃的帧的模式，但在GOP中可以包括其他模式。
接收慢动作回放的命令(方框820)可以包括选择输入的视频数据中应当以慢动作显示的部分。以慢动作显示可以改变所选部分的每个帧中示出的内容的持续时间。在图8的实例中，输入的视频数据822可以包括选择要以0.25x原始帧率的慢动作速率显示的帧8-15。可以不选择帧0-7和帧16-23以慢动作显示。
供慢动作回放的命令(方框820)可以包括起始帧或开始慢动作回放的起始时间。该命令可以包括供慢动作回放的起始帧和结束帧，或者，包括起始帧和结束时间。或者，该命令可以包括起始帧/应当提供慢动作回放的时间和持续时间(例如，以时间或帧数为单位)。该命令可以包括慢动作回放的速度或缩放倍数。在一个实施例中，可以将应用于输入视频数据的一部分的慢动作的回放速度预定于为固定值(例如，原始速率的0.25x、0.5x或0.75x速度)。可以从对具有高帧率的原始视频数据中的视频做出的选择、从对用于显示帧内容的默认帧率(例如30fps)提供的视频数据做出的选择、或从基于原始高帧率内容中的参考帧(例如I帧和/或P帧)做出的选择来接收供慢动作回放的命令。可以在以默认帧率在显示设备上显示视频数据的同时接收供慢动作的命令。
响应于供慢动作回放的命令，可以处理输入的编码视频数据，以调节输入的视频数据的选择的部分的定时(例如，帧的持续时间)。可以增加输入的视频数据的所选择部分中帧的持续时间，以提供选择的慢动作速度(例如，0.25x或0.5x原始速率的回放)。例如，如果输入的视频数据的帧率为120fps，且输入的视频数据的一部分要以原始的视频数据内容的0.25X速度显示，可以调节所选择部分中帧的持续时间，以提供30fps，而未选择的部分中帧的持续时间可以保持在120fps。
在一个实施例中，可以增加输入的视频数据的选择部分中帧的持续时间，以基于将用于显示视频数据内容的固定帧率在选择的慢动作速度下显示视频内容。例如，如果输入视频数据的帧率为120fps，则输出视频数据帧率被设置为30fps，且输入视频数据的所选择部分要以原始速率的0.25X速度显示，可以调节选择部分中帧的持续时间，以提供30fps(不丢弃任何帧)，未选择的部分中的若干帧可以丢弃，并可以调节未选择的部分中其余帧的持续时间以提供30fps。
在另一个实施例中，可以丢弃输入的视频数据的所选择的部分中的一个或多个帧，以便以固定的显示帧率实现期望的慢动作。如果显示帧率和输入的视频数据帧率之间的比例低于要应用于视频数据的该部分的慢动作速度(例如0.25或0.5)，可以丢弃要以慢动作显示的选择部分中的帧。例如，如果输入视频数据的帧率为240fps，显示的视频数据帧率为30fps，且期望的慢动作速度为0.25X，则可以丢弃视频数据选择部分中帧的一半，可以增加选择部分中其余帧的持续时间以便以30fps输出。
在一个实施例中，处理编码视频数据以进行慢速回放(方框830)可以包括对所选择的部分中帧的重新定时(方框832)，丢弃可丢弃的帧(方框834)和/或转换未选择部分中的帧率(方框836)以便以恒定帧率输出编码视频数据。
对帧重新定时(方框832)可以包括改变选择以供慢动作的部分中的帧的持续时间。在图8的实例中，可以改变图像序列833中帧8-15的持续时间以提供原始的帧率的0.25X速度。可以调节所选择的部分中的每个帧以提供输出帧率。可以将未选择以供慢动作的帧(例如，帧0-7和帧16-23)保持为相同持续时间。
丢弃可丢弃的帧(方框834)可以包括丢弃图像序列中未选择供慢动作的部分中的可丢弃的帧。可以丢弃帧以提供视频内容将被显示所处的帧率。例如，如果以120fps提供输入的视频数据，并且要以30fps显示输出的视频数据，可以丢弃第三个帧。如图8所示，可以丢弃图像序列835中的帧1、2、3、5、6、7、17、18、19、21、22和23。如上所述，在一些实施例中，还可以丢弃选择部分中的帧。
在丢弃帧之后，可以调节未选择部分中帧的帧率(方框836)。调节帧率可以包括调节帧的持续时间以在输出视频数据中提供恒定帧率。在图8的实例中，能够以相同帧率(例如，30fps)提供图像序列837中选择部分中和未选择部分中的所有帧。
输出编码视频数据(方框840)可以包括在显示设备上显示处理过的视频数据，在存储器或存储设备中存储处理过的视频，或通过通信信道传输处理过的视频。可以存储处理过的视频数据用于以后显示或由后续过程处理(例如，应用视觉效果或处理视频数据)。后续过程可以包括应用视觉效果以在正常回放和慢动作回放之间转变。
图9示出了可以根据本发明的实施例来处理的视频数据的图像序列。输入的图像序列910可以代表以120fps捕获的帧，以提供大约0.2秒的视频内容。尽管图9中示出的实例被例示为具有特定帧数，但本发明的实施例不限于此。
输入的图像序列910可以包括选择以供慢动作的部分912，未选择部分914以及中间慢动作部分916。输入的图像序列910可以包括帧的GOP，包括参考帧I、可丢弃的帧P和不可丢弃的帧P。帧的GOP可以不限于图像序列910中示出的帧结构。
可以选择输入图像序列910中的帧组以提供为慢动作回放而选择的序列的一部分912。可以进行选择，使得这些部分起始于I帧或不可丢弃的帧P。输入的图像序列910可以包括未选择供慢动作回放的部分914。用户可以为慢动作回放部分912选择缩放倍数。用户可以从预定义的慢动作速度(例如，0.75X,0.5X和0.25X)中选择要应用于慢动作回放部分912的慢动作。
输入序列可以包括用于中间慢动作回放的序列部分916。中间慢动作回放部分916可以用于逐渐调节图像内容的回放速度。中间慢动作回放部分916可以由系统设置或由用户选择。该系统可以基于为慢动作回放部分912做出的选择来设置中间慢动作回放部分916的慢动作回放和/或持续时间。在一个实施例中，系统或用户可以从慢动作回放部分912或从未选择的部分914选择以供中间慢动作回放部分916的帧。
可以对输入图像序列910中的帧重新定时，以在慢动作回放部分912和/或中间慢动作回放部分916中提供选择的回放。例如，可以将慢动作回放部分912中的每个帧的持续时间从1/120秒调节到1/30秒以提供0.25X缩放。可以将中间慢动作回放部分916中的每个帧的持续时间从1/120秒调节到1/60秒以提供0.25X缩放。未选择部分914中帧的持续时间可以保持在1/120秒。图像序列920中示出了定时已调节的输入序列的实例。如图像序列920中所示，由于定时已调节，图像序列可以包括可变帧率。
为了提供恒定帧率，可以从图像序列920丢弃多个帧。图像序列930示出了去除可丢弃的帧之后的图像序列。如图像序列930中所示，可以从未选择部分914去除3/4的帧，可以从中间慢动作回放部分916去除1/2的帧，可以不从慢动作回放部分912去除帧。
在去除可丢弃的帧之后，可以对剩余帧进行重新定时，以提供恒定的帧率。图像序列940示出了帧持续时间已调节的输出序列。图像序列940可以代表处于30fps的14个帧，提供了大约0.47秒的视频。图像序列940中帧的总持续时间可以对应于图像序列920中帧的总持续时间。不过，图像序列920中的帧可以包括可变帧率。输出的序列940可以在显示设备上显示，在存储设备中存储或通过通信信道向另一个设备发送。
尽管图8和9中示出的实施例被示为具有帧率恒定的输入图像序列，但可以将这些实施例扩展到具有可变帧率的输入图像序列。
在一些应用中，上文描述的模块可以被提供为集成软件系统中的元件，其中可以将各块提供为计算机程序的独立元件。例如，可以利用非暂态计算机可读存储介质或可以存储指令或指令集的物品实现一些实施例，如果由处理器执行，指令或指令集可以令处理器根据公开的实施例执行方法。本发明的其他应用可以体现为专用硬件和软件部件的混合系统。
可以在非暂态机器可读存储介质上实现示范性方法和计算机程序指令。此外，服务器或数据库服务器可以包括配置成存储可执行程序指令的机器可读介质。可以在硬件、软件、固件或其组合中实现本发明实施例的特征，并用于系统、子系统、部件或其子部件中。“机器可读存储介质”可以包括能够存储信息的任何介质。机器可读存储介质的实例包括电子电路、半导体存储器件、ROM、闪存存储器、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质或任何电磁或光学存储器件。
应当理解，在任何实际具体实施的开发中(如在任何开发项目中那样)，必须要做出许多决策以实现开发者的特定目标(例如符合与系统和商务相关的约束条件)，并且这些目标将在不同具体实施之间变化。还应当理解，此类开发工作可能是复杂的且费时的，但尽管如此，对于受益于本公开的数字视频捕获、处理和分发领域的那些普通技术人员而言，这仍然是他们的日常工作。
尽管本文例示和所述的过程包括一系列步骤，但将要认识到，本公开的不同实施例不受例示步骤次序的限制，因为一些步骤可以按照不同次序进行，一些可以与本文所示所述之外的其他步骤同时进行。此外，可能不需要所有图示的步骤来实施根据本发明的方法。此外，将要认识到，可以与本文所示所述的设备和系统关联，以及与未示出的其他系统关联实施这些过程。
应当理解，以上描述旨在是示例性的而非限制性的。例如，可彼此结合地使用上述实施例。在回顾以上描述时，很多其他的实施例对于本领域的技术人员而言将是显而易见的。因此应当参考所附权利要求与此权利要求被授权的等价物的完整范围来确定本发明的范围。

Claims (41)

1.一种编码方法，包括：
由编码器根据预测编码技术对图像序列进行编码，其中选择的编码帧充当其他编码帧的预测参考，其中所述编码包括：
区分来自所述图像序列的多个第一帧与同一所述图像序列的和慢动作回放模式相关联的附加的可丢弃帧，其中多个第一帧要根据正常回放模式的显示率在解码器处显示，并且附加的可丢弃帧要以高于正常回放模式的显示率的显示率在解码器处显示，
针对多个第一帧，根据所述预测编码技术对多个第一帧进行编码，其中相应的第一帧是为所述图像序列的其他第一帧充当预测参考的候选者，以及
针对附加的可丢弃帧，使用来自多个第一帧的参考帧作为预测参考根据所述预测编码技术对所述附加的可丢弃帧进行编码，其中防止所述附加的可丢弃帧为所述图像序列的多个第一帧中的任何第一帧充当预测参考，使得至少一个附加的可丢弃帧能够被重新定时并在解码器处以慢动作呈现。
2.根据权利要求l所述的方法，其中所述图像序列包括多个帧，所述多个帧具有的帧率超过所述正常回放模式的显示率。
3.根据权利要求1所述的方法，其中所述图像序列包括多个帧，所述多个帧具有的帧率至少匹配增强回放模式的显示率。
4.根据权利要求l所述的方法，还包括通过通信信道来传输编码图像序列。
5.根据权利要求l所述的方法，其中所述图像序列具有可变帧率。
6.根据权利要求1所述的方法，其中所述正常回放模式的显示率是用于在显示设备上显示所述图像序列的帧率。
7.根据权利要求l所述的方法，其中所述附加的可丢弃帧包括I帧、P帧和B帧。
8.一种解码方法，包括：
根据预测解码技术对编码图像序列进行解码，其中利用其他编码帧作为预测参考来对选择的编码帧进行解码，其中所述解码包括：
区分来自图像序列的多个第一帧与同一所述图像序列的和慢动作回放模式相关联的附加的可丢弃帧，其中多个第一帧要根据正常回放模式的显示率在解码器处显示，并且附加的可丢弃帧要以高于正常回放模式的显示率的显示率在解码器处显示，
针对多个第一帧，根据预测解码技术对多个第一帧进行解码，其中相应的第一帧是为所述图像序列的其他第一帧充当预测参考的候选者，
针对附加的可丢弃帧，根据预测解码技术对所述附加的可丢弃帧进行解码，其中使用来自多个第一帧的参考帧作为预测参考预测地对所述附加的可丢弃帧进行解码，其中防止所述附加的可丢弃帧为所述图像序列的多个第一帧中的任何第一帧充当预测参考，
针对编码图像序列的慢动作部分，根据慢动作回放速率对帧重新定时，
以正常回放模式的显示率呈现来自所述慢动作部分之外的多个解码的第一帧，
以正常回放模式的显示率呈现来自所述慢动作部分的多个重新定时的第一帧和至少一个重新定时的附加的可丢弃帧。
9.根据权利要求8所述的方法，其中所述编码图像序列包括多个帧，所述多个帧具有的帧率超过所述正常回放模式的显示率。
10.根据权利要求8所述的方法，其中所述编码图像序列具有可变帧率。
11.根据权利要求8所述的方法，其中所述附加的可丢弃帧包括I帧、P帧和B帧。
12.根据权利要求8所述的方法，其中增强回放模式的显示率是基于能够用于对所述编码图像序列进行解码的资源来选择的。
13.根据权利要求8所述的方法，其中增强回放模式的显示率是针对要以慢动作显示的所述编码图像序列的一部分来选择的。
14.一种非暂态存储设备，其上存储有可执行指令，所述可执行指令在由处理器执行时，实现根据权利要求1-13中任一项所述的方法的操作。
15.一种用于处理编码图像序列以供在显示器处慢动作回放的方法，所述方法包括：
接收编码图像序列，所述编码图像序列具有的增强回放模式的帧率高于将显示解码图像序列的显示器的正常回放模式的显示率；
接收命令，所述命令选择所述编码图像序列的一部分以供在所述显示器处慢动作回放；
根据预测解码技术对多个第一帧进行解码，其中各第一帧是为同一所述图像序列的其他第一帧充当预测参考的候选者；以及
使用来自第一帧的参考帧作为预测参考根据预测解码技术对所选择的部分之内的附加的可丢弃帧进行解码，其中所述附加的可丢弃帧不为第一帧充当预测参考，并且其中在显示器处显示之前丢弃所述附加的可丢弃帧中的一些；
使所选择的部分中的解码的第一帧和附加的可丢弃帧的持续时间从增强回放模式的较高帧率的持续时间重新定时到正常回放模式的显示率下帧的显示持续时间；
以正常回放模式的显示率呈现来自所选择的部分之外的解码的第一帧；以及
以正常回放模式的显示率呈现来自所选择的部分之内的重新定时的第一帧和至少一个重新定时的附加的可丢弃帧。
16.根据权利要求15所述的方法，还包括：对所选择的部分之外的部分中的帧重新定时。
17.根据权利要求15所述的方法，还包括：将不具有丢弃的帧的解码图像序列存储在存储器中。
18.根据权利要求15所述的方法，还包括：对所述编码图像序列进行解码而不对丢弃的帧进行解码。
19.根据权利要求15所述的方法，还包括：在所述图像序列的与所选择的部分相邻的部分中产生中间慢动作部分，所述中间慢动作部分包括在默认回放速度和所选择的部分的回放速度之间转变的回放速度。
20.一种视频编码器，包括：
参考图片高速缓存，被配置为存储作为参考帧的编码帧；
预测器，被配置为搜索所述参考图片高速缓存并选择编码帧充当其他编码帧的预测参考；及
编码器，被配置为通过以下来根据预测编码技术对图像序列进行编码：
区分来自所述图像序列的多个第一帧与同一所述图像序列的和慢动作回放模式相关联的附加的可丢弃帧，其中多个第一帧要根据正常回放模式的显示率在解码器处显示，并且附加的可丢弃帧要以高于正常回放模式的显示率的显示率在解码器处显示，
针对多个第一帧，根据所述预测编码技术对多个第一帧进行编码，其中相应的第一帧是为所述图像序列的其他第一帧充当预测参考的候选者，以及
针对附加的可丢弃帧，使用来自多个第一帧的参考帧作为预测参考根据所述预测编码技术对所述附加的可丢弃帧进行编码，其中防止所述附加的可丢弃帧为所述图像序列的多个第一帧中的任何第一帧充当预测参考，使得至少一个附加的可丢弃帧能够被重新定时并在解码器处以慢动作呈现。
21.根据权利要求20所述的视频编码器，其中所述图像序列包括多个帧，所述多个帧具有的帧率超过所述正常回放模式的显示率。
22.根据权利要求20所述的视频编码器，其中所述图像序列包括多个帧，所述多个帧具有的帧率至少匹配增强回放模式的显示率。
23.根据权利要求20所述的视频编码器，其中通过通信信道来传输编码图像序列。
24.根据权利要求20所述的视频编码器，其中所述图像序列具有可变帧率。
25.根据权利要求20所述的视频编码器，其中所述正常回放模式的显示率是用于在显示设备上显示所述图像序列的帧率。
26.根据权利要求20所述的视频编码器，其中所述附加的可丢弃帧包括I帧、P帧和B帧。
27.根据权利要求20所述的视频编码器，还包括：
本地解码器，被配置为对指定为参考帧的编码帧进行解码。
28.根据权利要求20所述的视频编码器，还包括：
控制器，被配置为管理视频编码器的编码操作，其中包括选择符合编码视频的目标比特率的编码参数，确定可丢弃的帧，以及确定提供不可丢弃的帧应当使用的帧率。
29.一种视频解码器，包括：
参考图片高速缓存，被配置为存储作为参考帧的编码帧；
预测模式选择器，被配置为从正常回放模式和增强回放模式确定用于解码视频的回放模式；及
解码器，被配置为通过以下来根据预测解码技术对编码图像序列进行解码，其中利用其他编码帧作为预测参考来对选择的编码帧进行解码：
区分来自图像序列的多个第一帧与同一所述图像序列的和慢动作回放模式相关联的附加的可丢弃帧，其中多个第一帧要根据正常回放模式的显示率在解码器处显示，并且附加的可丢弃帧要以高于正常回放模式的显示率的显示率在解码器处显示，
针对多个第一帧，根据预测解码技术对多个第一帧进行解码，其中相应的第一帧是为所述图像序列的其他第一帧充当预测参考的候选者，
针对附加的可丢弃帧，根据预测解码技术对所述附加的可丢弃帧进行解码，其中使用来自多个第一帧的参考帧作为预测参考预测地对所述附加的可丢弃帧进行解码，其中防止所述附加的可丢弃帧为所述图像序列的多个第一帧中的任何第一帧充当预测参考，
针对编码图像序列的慢动作部分，根据慢动作回放速率对帧重新定时，
以正常回放模式的显示率呈现来自所述慢动作部分之外的多个解码的第一帧，以及
以正常回放模式的显示率呈现来自所述慢动作部分的多个重新定时的第一帧和至少一个重新定时的附加的可丢弃帧。
30.根据权利要求29所述的视频解码器，其中所述编码图像序列包括多个帧，所述多个帧具有的帧率超过所述正常回放模式的显示率。
31.根据权利要求29所述的视频解码器，其中所述编码图像序列具有可变帧率。
32.根据权利要求29所述的视频解码器，其中所述附加的可丢弃帧包括I帧、P帧和B帧。
33.根据权利要求29所述的视频解码器，其中所述增强回放模式的显示率是基于能够用于对所述编码图像序列进行解码的资源来选择的。
34.根据权利要求29所述的视频解码器，其中所述增强回放模式的显示率是针对要以慢动作显示的所述编码图像序列的一部分来选择的。
35.一种用于处理编码图像序列以供慢动作回放的设备，包括：
被配置为接收编码图像序列的图像接收装置，所述编码图像序列具有的增强回放模式的帧率高于将显示解码图像序列的显示器的正常回放模式的显示率；
被配置为接收命令的命令接收装置，所述命令选择所述编码图像序列的一部分以供在所述显示器处慢动作回放；
被配置为根据预测解码技术对多个第一帧进行解码的第一解码装置，其中各第一帧是为同一所述图像序列的其他第一帧充当预测参考的候选者；
被配置为使用来自第一帧的参考帧作为预测参考根据预测解码技术对所选择的部分之内的附加的可丢弃帧进行解码的第二解码装置，其中所述附加的可丢弃帧不为第一帧充当预测参考，并且其中在显示器处显示之前丢弃所述附加的可丢弃帧中的一些；
被配置为使所选择的部分中的解码的第一帧和附加的可丢弃帧的持续时间从增强回放模式的较高帧率的持续时间重新定时到正常回放模式的显示率下帧的显示持续时间的重新定时装置；
被配置为以正常回放模式的显示率呈现来自所选择的部分之外的解码的第一帧的第一呈现装置；以及
被配置为以正常回放模式的显示率呈现来自所选择的部分之内的重新定时的第一帧和至少一个重新定时的附加的可丢弃帧的第二呈现装置。
36.根据权利要求35所述的设备，其中所述重新定时装置还被配置为对所选择的部分之外的部分中的帧重新定时。
37.根据权利要求35所述的设备，还包括：被配置为将不具有丢弃的帧的解码图像序列存储在存储器中的存储装置。
38.根据权利要求35所述的设备，还包括：被配置为对所述编码图像序列进行解码而不对丢弃的帧进行解码的第三解码装置。
39.根据权利要求35所述的设备，还包括：被配置为在所述图像序列的与所选择的部分相邻的部分中产生中间慢动作部分的产生装置，所述中间慢动作部分包括在默认回放速度和所选择的部分的回放速度之间转变的回放速度。
40.一种终端设备，包括如权利要求20-28中任一项所述的视频编码器。
41.一种终端设备，包括如权利要求29-34中任一项所述的视频解码器或如权利要求35-39中任一项所述的设备。
CN201480032150.9A 2013-06-07 2014-03-19 针对高帧率和可变帧率捕获来调整视频压缩 Active CN105264892B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361832447P 2013-06-07 2013-06-07
US61/832,447 2013-06-07
US201361841635P 2013-07-01 2013-07-01
US61/841,635 2013-07-01
US13/972,434 US10009628B2 (en) 2013-06-07 2013-08-21 Tuning video compression for high frame rate and variable frame rate capture
US13/972,434 2013-08-21
PCT/US2014/031236 WO2014197106A1 (en) 2013-06-07 2014-03-19 Tuning video compression for high frame rate and variable frame rate capture

Publications (2)

Publication Number Publication Date
CN105264892A CN105264892A (zh) 2016-01-20
CN105264892B true CN105264892B (zh) 2019-10-11

Family

ID=52005460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480032150.9A Active CN105264892B (zh) 2013-06-07 2014-03-19 针对高帧率和可变帧率捕获来调整视频压缩

Country Status (6)

Country Link
US (1) US10009628B2 (zh)
EP (1) EP3005701A1 (zh)
KR (1) KR101859155B1 (zh)
CN (1) CN105264892B (zh)
AU (1) AU2014275405B2 (zh)
WO (1) WO2014197106A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9531959B2 (en) * 2014-08-29 2016-12-27 Semiconductor Components Industries, Llc Imaging systems and methods for capturing image data at high scan rates
WO2017126853A1 (en) 2016-01-21 2017-07-27 Lg Electronics Inc. Display device
KR102646030B1 (ko) * 2016-12-15 2024-03-12 삼성전자주식회사 영상제공장치, 그의 제어 방법 및 영상제공시스템
EP3343561B1 (en) * 2016-12-29 2020-06-24 Axis AB Method and system for playing back recorded video
TWI679884B (zh) * 2017-03-31 2019-12-11 鴻海精密工業股份有限公司 視頻加密和解密的方法及裝置
KR102393736B1 (ko) * 2017-04-04 2022-05-04 한국전자통신연구원 영상 부호화 및 복호화 장치
CN108933952A (zh) * 2017-05-26 2018-12-04 中兴通讯股份有限公司 一种视频播放方法、装置、计算机设备及计算机可读介质
US10979744B2 (en) * 2017-11-03 2021-04-13 Nvidia Corporation Method and system for low latency high frame rate streaming
US10798335B2 (en) * 2018-05-14 2020-10-06 Adobe Inc. Converting variable frame rate video to fixed frame rate video
CN108989849B (zh) * 2018-08-01 2021-01-29 广州长嘉电子有限公司 一种dvb-t2+s2电视信号处理方法及系统
WO2020071828A1 (en) * 2018-10-04 2020-04-09 Samsung Electronics Co., Ltd. Method and system for recording a super slow motion video in a portable electronic device
CN109819262B (zh) * 2019-03-06 2021-06-01 深圳市道通智能航空技术股份有限公司 编码方法、图像编码器及图像传输系统
CN114666596A (zh) * 2019-03-11 2022-06-24 杜比实验室特许公司 帧速率可伸缩视频编码
US10468064B1 (en) 2019-03-19 2019-11-05 Lomotif Inc. Systems and methods for efficient media editing
CN111462868B (zh) * 2020-04-09 2023-05-30 武汉联影医疗科技有限公司 医学影像管理方法、装置和存储介质
CN113691862B (zh) * 2020-05-19 2023-09-01 深圳市环球数码科技有限公司 视频处理方法、用于视频播放的电子设备和视频播放系统
US11551603B2 (en) 2020-07-08 2023-01-10 Samsung Display Co., Ltd. Display apparatus with frequency controller to determine driving frequency based on input image data and play speed setting, and method of driving display panel using the same
US11948533B2 (en) 2021-02-05 2024-04-02 Samsung Electronics Co., Ltd. Display system including plurality of displays and image output method thereof
KR20220113180A (ko) * 2021-02-05 2022-08-12 삼성전자주식회사 복수의 디스플레이를 포함하는 디스플레이 시스템 및 그 영상 출력 방법
KR20220124031A (ko) * 2021-03-02 2022-09-13 삼성전자주식회사 영상 패킷을 송수신하는 전자 장치 및 이의 동작 방법
CN113722058B (zh) * 2021-06-16 2022-10-25 荣耀终端有限公司 一种资源调用方法及电子设备
CN113453054B (zh) * 2021-06-30 2022-11-29 深圳万兴软件有限公司 音视频丢帧方法、装置、计算机设备及存储介质
CN114390314B (zh) * 2021-12-30 2024-06-18 咪咕文化科技有限公司 可变帧率音视频处理方法、设备及存储介质

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040071211A1 (en) * 1997-04-07 2004-04-15 Kinya Washino Video production system with mixed frame removal
US6014694A (en) 1997-06-26 2000-01-11 Citrix Systems, Inc. System for adaptive video/audio transport over a network
US6034731A (en) 1997-08-13 2000-03-07 Sarnoff Corporation MPEG frame processing method and apparatus
US7023913B1 (en) 2000-06-14 2006-04-04 Monroe David A Digital security multimedia sensor
US6954499B2 (en) 2000-03-15 2005-10-11 Victor Company Of Japan, Ltd Moving picture coding, coded-moving picture bitstream conversion and coded-moving picture bitstream multiplexing
US7958532B2 (en) 2001-06-18 2011-06-07 At&T Intellectual Property Ii, L.P. Method of transmitting layered video-coded information
JP4222869B2 (ja) * 2002-12-10 2009-02-12 株式会社ソニー・コンピュータエンタテインメント 画像再生装置
KR100679740B1 (ko) * 2004-06-25 2007-02-07 학교법인연세대학교 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법
US7571246B2 (en) 2004-07-29 2009-08-04 Microsoft Corporation Media transrating over a bandwidth-limited network
US20060150071A1 (en) * 2005-01-05 2006-07-06 Microsoft Corporation Software-based video rendering
US7885338B1 (en) 2005-04-25 2011-02-08 Apple Inc. Decoding interdependent frames of a video for display
US20070058926A1 (en) * 2005-09-09 2007-03-15 Microsoft Corporation Optimizing trick modes for streaming media content
KR101166446B1 (ko) 2006-03-14 2012-07-19 닛본 덴끼 가부시끼가이샤 버퍼 제어 방법, 중계 장치, 통신 시스템
JP2007336275A (ja) 2006-06-15 2007-12-27 Toshiba Corp 動画像再生装置
US8243789B2 (en) 2007-01-25 2012-08-14 Sharp Laboratories Of America, Inc. Methods and systems for rate-adaptive transmission of video
JP2008250654A (ja) * 2007-03-30 2008-10-16 Alpine Electronics Inc ビデオプレイヤ及びビデオ再生制御方法
US8233772B1 (en) * 2007-04-16 2012-07-31 Adobe Systems Incorporated Generating transitions for remapping video playback time
US9020048B2 (en) * 2008-04-30 2015-04-28 Zeevee, Inc. Dynamically modifying video and coding behavior
US20100150230A1 (en) 2008-12-17 2010-06-17 Apple Inc. Video coding system using sub-channels and constrained prediction references to protect against data transmission errors
US20110235709A1 (en) 2010-03-25 2011-09-29 Apple Inc. Frame dropping algorithm for fast adaptation of buffered compressed video to network condition changes
US20110274156A1 (en) * 2010-05-05 2011-11-10 Cavium Networks System and method for transmitting multimedia stream
US20110299604A1 (en) * 2010-06-04 2011-12-08 Apple Inc. Method and apparatus for adaptive video sharpening
US20110310956A1 (en) * 2010-06-22 2011-12-22 Jian-Liang Lin Methods for controlling video decoder to selectively skip one or more video frames and related signal processing apparatuses thereof
JP5752268B2 (ja) * 2011-01-14 2015-07-22 ヴィディオ・インコーポレーテッド 時間スケーラビリティのための高いレイヤのシンタックス
US9270784B2 (en) 2011-02-16 2016-02-23 Masque Publishing, Inc. Peer-to-peer communications
US20130064308A1 (en) 2011-09-14 2013-03-14 General Instrument Corporation Coding and decoding synchronized compressed video bitstreams
KR20140007708A (ko) * 2012-07-10 2014-01-20 삼성전자주식회사 영상 디스플레이 장치, 영상 디스플레이 방법 및 안경장치
US20140269934A1 (en) * 2013-03-15 2014-09-18 Sony Corporation Video coding system with multiple scalability and method of operation thereof

Also Published As

Publication number Publication date
US10009628B2 (en) 2018-06-26
AU2014275405A1 (en) 2015-12-03
KR101859155B1 (ko) 2018-05-18
CN105264892A (zh) 2016-01-20
US20140362918A1 (en) 2014-12-11
AU2014275405B2 (en) 2017-04-13
KR20160007564A (ko) 2016-01-20
WO2014197106A1 (en) 2014-12-11
EP3005701A1 (en) 2016-04-13

Similar Documents

Publication Publication Date Title
CN105264892B (zh) 针对高帧率和可变帧率捕获来调整视频压缩
CA2975904C (en) Method and system for smart adaptive video streaming driven by perceptual quality-of-experience estimations
US20220030244A1 (en) Content adaptation for streaming
US20070103558A1 (en) Multi-view video delivery
US9571827B2 (en) Techniques for adaptive video streaming
JP5606591B2 (ja) ビデオ圧縮方法
CN110049336B (zh) 视频编码方法和视频解码方法
JP2010515400A (ja) 全域差ベクトルを利用した多視点映像の符号化、復号化方法及び装置
KR101087194B1 (ko) 동영상 인코딩 시스템 및 방법
US11277619B2 (en) Rate control for video splicing applications
CN107750456B (zh) 利用依赖于复杂性信息的一个信号的数据速率目标对多个信号进行编码
US20180295368A1 (en) Video Compression Using Down-Sampling Patterns in Two Phases
Falahati et al. Efficient Bitrate Ladder Construction using Transfer Learning and Spatio-Temporal Features
JP5171270B2 (ja) 動画像の多重化方法及び装置，並びにそのプログラムとコンピュータ読み取り可能な記録媒体
US20240244229A1 (en) Systems and methods for predictive coding
Gådin et al. Making Video Streaming More Efficient Using Per-Shot Encoding
Boulgouris et al. Multiple description wavelet coding of layered video

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant