CN105681792A - 用于实时编码的方法和设备 - Google Patents

Abstract

本发明涉及一种用于实时编码的方法和设备。本发明还涉及用于实时编码的编码器和计算机程序产品。该编码器(500)被设置为接收关于相机(504)的运动的运动信息，该编码器(500)被设置为对在相机(504)的运动期间由相机(504)采集的视频流进行实时编码，其中该编码器(500)被设置为基于所述运动信息进行编码。该运动信息可以存储在存储器(502)中。

Description

用于实时编码的方法和设备

技术领域

本发明涉及用于实时编码的方法、编码器、计算机程序产品和系统。

背景技术

数字视频系统通常从像相机这样的源向像显示器这样的目的地传递一系列数字图像。该传递可以是从相机直接向实时显示器，或者该传递可以通过存储视频并稍后显示该视频而在时间上被延迟。数字图像可以被压缩或者以其原本的格式传递。

实时编码的问题在于：由于不具有关于未来的信息，所以难以计划随时间变化的比特率使用。传递中的突发，即数字图像从源到目的地的传输中的高比特率峰值，可能出现且难以预见。因此，需要能够计划比特率使用的用于实时编码视频的方法。

发明内容

鉴于上面，本发明的目的是解决或至少部分地减少上面讨论的缺陷中的一个或多个。通常，上述目的是通过所附的独立权利要求来实现的。

根据第一方面，本发明是通过用于实时编码的方法来实现的，该方法包括：接收关于相机的运动的运动信息，对在所述相机的所述运动期间由所述相机采集的视频流进行实时编码，其中所述编码是基于所述运动信息来实施的。

因此，实时编码是通过使用相机的运动信息来实现的。作为示例，如果运动具有高速度，则可以在视频流中预期多个运动，这增加比特率。如将在下面的实施例中描述的，通过考虑此信息，可以例如通过存储来自所采集的视频流的更少或更多的信息来调整编码。

由于能够计划视频流的比特率且可以避免高比特率的峰值，所以以这种方式实时编码视频流是十分有好处的。此外，当希望这样时，可以实现更好的图像质量。

所述运动可以包括相机的遥摄操作、俯仰操作、缩放操作和聚焦操作的组中的至少一个。

编码步骤可以包括：基于所述运动信息来调整帧间帧与帧内帧的比率。受益于不同的编码，编码可以因此适合于不同情况。通过编码的视频序列的长度以及通过帧速率，确定编码的视频序列中的帧的数量。因此，如果通过增加这些类型帧之一的数量来调整帧间帧与帧内帧的比率，那么另一类型的数量必须减少。

编码步骤可以包括通过至少在所述运动期间减少帧内帧的数量来调整所述比率。这可能是有好处的，例如当在相机运动期间能够采集的信息不那么受关注时。因此，在运动期间具有低图像质量(由于减少的帧内帧的数量)是很好的。随后，在运动期间的比特率更低，还可以避免高比特率的峰值。此实施例还可以例如在移动相对快时适用。如果运动的结束时间和开始时间之间的时间小于预定水平，则可以实施通过至少在运动期间减少帧内帧的数量来调整所述比率的步骤。

调整步骤可以包括至少在运动期间仅使用帧间帧来进行编码。在运动期间仅使用帧间帧可以进一步降低比特率。

编码步骤可以包括通过在运动期间增加帧内帧的数量来调整所述比率。对于相机的运动期间采集的图像可能包括关注信息的实施例，这可能是有好处的。在一个实施例中，该方法可以进一步包括如下步骤：将比特率与开始时间和结束时间之间的时间进行比较。因此，可以得出结论：由于开始时间和结束时间之间的时间相对短，所以因为带宽预算允许，可以容忍在运动期间增加帧内帧的数量时需要的额外比特率。传输能力是通过可用带宽来确定的，因此计划带宽的使用可能是有好处的。计划可以包括：由于计划考虑到将在一段时间内需要较少带宽，所以决定临时使用更多带宽。

运动可以是预定运动。该方法可以进一步包括：获取与所述预定运动有关的预定信息，以及基于所述预定信息来编码所述视频流。在设置具有预定巡更的相机的实施例中，这可能是有好处的。在这样的实施例中，相机可以被预编程为在预定时间点移动至预定位置。

根据第二方面，本发明是通过包括计算机可读存储介质的计算机程序产品来实现的，该计算机可读存储介质具有指令，该指令适合于在由具有处理能力的设备执行时执行根据第一方面的方法。

根据第三方面，本发明是通过用于实时编码的编码器来实现的，所述编码器包括：所述编码器被设置为接收关于相机的运动的运动信息，所述编码器被设置为对在所述相机的所述运动期间由所述相机采集的视频流进行实时编码，其中所述编码器被设置为基于所述运动信息来进行编码。

所述运动信息可以包括所述运动的开始时间和结束时间。

所述运动可以包括所述相机的遥摄操作、俯仰操作、缩放操作以及聚焦操作的组中的至少一个。

所述编码器可以被设置为基于所述运动信息来调整帧间帧与帧内帧的比率。

所述编码器可以被设置为通过至少在所述运动期间减少帧内帧的数量来调整所述比率。

所述编码器可以被设置为通过至少在所述运动期间仅使用帧间帧来进行调整。

所述编码器可以被设置为通过在所述运动期间增加帧内帧的数量来调整所述比率。

所述运动可以是预定运动，所述设备可以进一步包括：所述编码器被设置为获取与所述预定运动有关的预定信息，以及所述编码器被设置为基于所述预定信息来编码所述视频流。

根据第四方面，本发明是通过数字视频相机来实现的，所述数字视频相机包括：第三方面的编码器，其中所述视频流是由所述数字视频相机采集的。

根据第五方面，本发明是通过以下系统来实现的，该包括：相机以及根据第三方面的编码器。所述系统进一步包括：第一数字网络模块，被配置为经由数字网络传输编码的视频流；第二数字网络模块，被配置为经由所述数字网络来接收所述编码的视频流；解码器，被配置为将所述编码的视频流解码成第二视频流；以及客户端，所述客户端包括显示器，所述显示器被配置为显示所述第二视频流。

第一方面的优势同样适用于第二方面、第三方面、第四方面和第五方面。

根据下面的具体实施方式、根据所附权利要求以及根据附图，本发明的其它目的、特征以及优势将显而易见。

除非本文中另有明确限定，否则在权利要求书中使用的所有术语将通常根据其在本技术领域中的普通意义来解释。除非另有明确规定，否则对“一/一种/该(元件、设备、组件、装置、步骤等)”的所有引用将被开放地解释为指所述元件、设备、组件、装置、步骤等的至少一个实例。除非明确说明，否则本文公开的任何方法的步骤不必须以所公开的确切顺序实施。此外，词语“包括”不排除其它元件或步骤。

附图说明

参照附图，本发明的其它特征和优势将从当前优选实施例的以下详细描述中变得清楚，其中：

图1是编码的视频流的示意图；

图2通过示例描述本发明的用于编码的方法的实施例；

图3a是编码的视频流的示意图；

图3b是编码的视频流的示意图；

图4是编码的视频流的示意图；

图5是本发明的编码器的实施例的示意图；

图6是本发明的相机的实施例的示意图；以及

图7是本发明的系统的示意图。

具体实施方式

现在将参照附图在下文更充分地描述本发明，附图中示出本发明的特定实施例。但是，本发明可以以许多不同形式体现，且不应被解释为受限于本文阐述的实施例；相反，这些实施例是通过示例提供的，使得本公开将彻底和完整，且将向本领域技术人员充分地传达本发明的范围。相同的附图标记在全文中指相同的元件。

数字图像由像素表示。每个像素由限定该像素的外观的多个值表示。根据该图像所用的图像处理机制，这些值可以表示该像素的不同特征。在一些机制中，像素由三个颜色值表示，例如RGB、CMY等。在其它机制中，像素由两个颜色值和一个光强值表示，例如YCbCr。YCbCr格式是视频压缩算法中使用的常见格式。

运动视频被形成为一系列图像帧。每个图像帧是使用某种图像传感器采集的，随后以任何已知的方式(例如上面提供的表示法之一)将每个采集到的图像帧中的模拟数据实时转换成数字图像数据。

在当前描述的运动视频编码方法中，每个图像帧可以由全尺寸图像帧F表示。该全尺寸图像帧F随后可以在该方法中使用视频编解码器(例如，基于H.265的编解码器、基于H.264的编解码器、基于H.263的编解码器、基于H.262的编解码器、谷歌On2编解码器、视窗媒体视频等)进行压缩。

此外，与本发明相关的视频编解码器可以是具有时间视频压缩并实现帧内帧(例如，I-帧)和帧间帧(例如，P-帧或B-帧)的视频编解码器。帧内帧可以被描述为仅使用待编码的图像帧中的信息编码的图像帧。此外，帧内帧可以是根据针对待编码的图像帧采集的所有图像数据而计算出的。因此，帧内帧有时可以被称为全帧。帧间帧(也称作预测帧或差分帧)可以基于来自之前编码的图像帧的信息以及当前编码的帧的信息，即帧间帧可以被描述为利用之前的图像帧中的时间冗余信息。实现此类编解码的运动视频可以生成后面跟随预定数量帧间帧的帧内帧，然后生成后面跟随同样数量帧间帧的新帧内帧。后面跟随多个帧间帧的帧内帧的该序列的长度可以被称作图片组长度(GOP-长度)。图1是包括帧内帧120和帧间帧140的编码的视频流的示意图，该视频流具有由100表示的GOP-长度。

帧间帧可以使用比帧内帧更少的数据来表示，因此是与使用较短的GOP编码的运动视频相比使用较长的GOP、不那么密集的数据(即具有更小的比特率)编码的运动视频。但是，帧间帧以估计为基础，因此与具有更短GOP的运动视频相比，对于具有更长GOP的运动视频察觉到的图像质量可能经常差。

由编码产生的视频流可以被称作编码的视频流。编码的视频流可以包括至少一个帧内帧和至少一个帧间帧。包括后面跟随多个帧间帧的帧内帧的序列的长度可以被称作图片组长度(GOP-长度)。

相机可以具有聚焦、遥摄、俯仰和/或缩放功能。因此，相机的运动可以是从该相机的遥摄操作、俯仰操作、缩放操作和/或聚焦操作的组中选择的至少一个运动操作。相机的运动可以包括多个这样的运动操作。作为示例，相机的运动可以包括遥摄操作、缩放操作和聚焦操作。相机的运动还可以仅包括一个运动操作，如遥摄操作、俯仰操作、缩放操作或聚焦操作。相机可以是数字视频相机。

本发明是基于以下理解：当编码在相机运动期间由该相机采集的图像流时使用该相机的聚焦、遥摄、俯仰和/或缩放功能的知识。这样的知识可以包括在运动信息中。运动信息可以包括与运动操作花费多长时间执行有关的信息。更特别地，运动信息可以包括关于运动操作速度、与运动操作关联的限定运动操作持续时间的时间戳的信息。运动信息与特定相机关联，即便不同相机的运动信息可能相似。

运动信息可以存储在非易失性存储器中。非易失性存储器可以例如是便携式存储器。存储器可以设置在本发明的相机中。可替代地，存储器连接至本发明的相机或本发明的编码器。

预定运动还可以与时间戳一起存储在非易失性存储器中。非易失性存储器可以设置在相机中和/或是便携式的。

实时编码可以被解释为在从相机接收采集到的视频序列的图像帧时对采集到的视频序列的图像帧进行编码。

相机的运动可以在运动的开始时间开始，并且在运动的结束时间结束。运动信息可以包括运动的开始时间和结束时间。开始时间和结束时间可以在运动开始前(例如，在像巡更这样的预定运动的情况下)接收。可替代地，可以与开始该运动同时接收该运动的结束时间。此外，可以在运动期间(例如，由于运动期间的计划改变)接收该运动的结束时间。

具有关于运动的开始时间和结束时间的信息使得有可能相应地调整编码。作为示例，编码可以被调整为运动的时间是多久。

图2通过示例描述本发明的用于实时编码的方法200的实施例。该方法中的第一步骤是如下步骤：接收S202关于相机运动的运动信息。下一步骤是如下步骤：对在相机运动期间由相机采集的视频流进行实时编码S204，其中编码是基于所述运动信息来实施的。

根据一些实施例，该方法进一步包括：编码步骤包括基于所述运动信息来调整S206帧间帧与帧内帧的比率。这还可以被描述为(在相机运动期间)临时调整GOP-长度。

更特别地，该方法可以进一步包括：编码步骤包括通过至少在运动期间减少S208帧内帧的数量来调整所述比率。这还可以被描述为(在相机运动期间)临时增加GOP-长度。图3a中例示这样的实施例，图3a是编码的视频流的示意图，该编码的视频流包括位于该编码的视频流的开始处的帧内帧320以及后续的多个帧间帧340。

在运动期间，相机可以在开始时间被加速，随后其以相对恒定的速度移动，此后，相机经历减速，使得减速在结束时间结束。在运动的结束时间之后，可能仍然存在相机的某种运动。为了补偿该运动，可以在运动的结束时间之后还根据运动信息来调整编码。因此，至少在相机运动期间调整所述比率是有好处的。在一些实施例中，在相机运动期间仅调整帧间帧与帧内帧的所述比率。

在一个实施例中，可以通过针对每个运动相同的固定补偿来补偿运动。在一些实施例中，在运动的开始和/或结束应用固定补偿。该补偿可以包括在运动的结束时间之后增加至少一个帧间帧。在一个实施例中，见图4，通过在运动400的开始增加帧内帧420来编码视频流，在帧内帧420后仅增加帧间帧440。此外，在运动400的结束时间之后，仅增加帧间帧440。在运动的结束时间之后增加的帧间帧的数量可以对应于该补偿。

对于在相机运动期间采集的图像包括关注信息的实施例，编码可以不同地进行调整。作为示例，可以增加运动期间的帧内帧的数量。因此，运动期间的GOP长度减小或甚至最小化。因此，该方法可以进一步包括：调整步骤包括至少在运动期间仅使用帧内帧来进行编码S210。图3b是仅使用帧内帧320的编码的视频流的示意图。

在一个实施例中，该方法可以进一步包括如下步骤：基于开始时间和结束时间之间的时间来评估比特率。随后，可以得出结论：由于开始时间和结束时间之间的时间相对短，所以可以容忍在运动期间增加多个帧内帧时需要的额外比特率。

根据一些实施例，该方法进一步包括：编码步骤包括通过在运动期间增加S212帧内帧的数量来调整所述比率。因此，运动期间的GOP长度减小或甚至最小化。

运动可以是预定的运动，并且该方法可以进一步包括如下步骤：获取S214与该预定运动有关的预定信息，以及基于所述预定信息来编码S216视频流。

相机可以被设置为以预定模式运动，例如相机移动至点A、采集多个图像、然后移动至点B、采集多个图像、随后移动至点C并且采集多个图像。随后，相机移动回点A并且采集多个图像等等。这些运动是重复的。由于相机相应地被预先设置，所以在编码由相机采集的视频流时可以使用此运动信息。在一个示例中，当编码相机在预定点或位置之间运动期间采集的视频流时，在编码该视频流时仅使用帧间帧。随后，当相机到达相机正向其移动的位置时，在编码期间使用至少一个帧内帧。作为替代，在运动期间使用帧间帧与帧内帧的高比率，随后当运动已停止时，使用帧间帧与帧内帧的低比率来实施编码。作为又一替代，在运动期间使用帧内帧与帧间帧的高比率，随后当移动已停止时，使用帧内帧与帧间帧的低比率来实施编码。

相机可以包括预定的绝对焦点。聚焦操作可以包括相机依照预定的绝对焦点进行聚焦。关于依照预定的绝对焦点进行聚焦的信息可以包括在运动信息中。在依照绝对焦点进行聚焦之后，相机可以进一步调整焦距。在聚焦操作期间，实时编码可以包括仅使用帧间帧或使用比帧间帧的数量少的多个帧内帧。

图5是本发明的用于实时编码的编码器的实施例的示意图。编码器500可选地连接至相机504，相机504可以是数字视频相机。

编码器500可选地连接至存储器502，存储器502被设置为存储运动信息。存储器502可以被设置在编码器500外部，并且可以从存储器502向编码器500发送运动信息。

编码器500接收关于相机504的运动的运动信息，可选地从存储器502获取该运动信息。编码器500被设置为对在相机504的运动期间由相机504采集的视频流进行实时编码。编码器500被设置为基于所述运动信息来编码。

编码器500可以被实现在软件中且由编码器500中的至少一个处理器执行，例如由编码器500的中央处理单元(CPU)和/或图形处理单元(GPU)执行。为此，编码器可以包括(非暂时性)计算机可读介质，该(非暂时性)计算机可读介质被设置为存储计算机代码指令，该计算机代码指令在由CPU/GPU执行时实现本文描述的编码方法。

用于实时编码的编码器还可以被称为实时编码编码器。

图6是本发明的用于实时编码的相机的实施例的示意图。这里，编码器500被设置在相机600中。

相机600可选地包括存储器602，存储器602被设置为存储运动信息。作为替代，存储器602可以被设置在相机600外，并且可以从存储器602向相机600发送运动信息。

编码器500接收关于相机600的运动的运动信息，可选地从存储器602获取该运动信息。编码器500被设置为对在相机600的运动期间由相机600采集的视频流进行实时编码。编码器200被设置为基于所述运动信息进行编码。

图7是本发明的包括图5描述的用于实时编码的编码器500的系统的示意图。可替代地，编码器500连接至相机504。系统700可以包括相机504。作为替代，如结合图6描述的，编码器被设置在相机中。编码器500实时编码从相机504接收的视频流。这产生编码的视频流。

系统700进一步包括第一数字网络模块702，第一数字网络模块702被配置为经由数字网络传输编码的视频流。数字网络模块702可以是编码器500的一部分，或被实现在分离的设备中。编码的视频流随后被传输至第二数字网络模块704，第二数字网络模块704被配置为经由数字网络710接收编码的视频流。数字网络模块704可以是编码器500的一部分，或被实现在分离的设备中。

系统700包括解码器706，解码器706被配置为将编码的视频流解码成第二视频流。系统700进一步包括客户端705，客户端705包括显示器708，显示器708被配置为显示第二视频流。作为替代，客户端705可以包括数字网络模块704以及解码器706。

相机的运动可以由命令该相机运动的用户控制。用户可以例如将指令输入连接至该相机的用户界面中。关于如何实现这一点的各种实现方式存在且是本领域技术人员已知的。

可替代地，控制单元被设置为控制该相机。控制单元可以随后向相机发送运动指令。

控制单元和/或界面可以是系统的一部分。

应注意到，本申请描述的所有实施例和特征都适用于本发明的所有方面。

虽然已在附图和前述描述中详细地说明和描述了本发明，但是这样的说明和描述应被认为是说明性或示例性的，而不是限制性的；本发明不受限于所公开的实施例。

根据附图、本公开和所附权利要求的研究，本领域技术人员在实施所要求保护的发明时可以理解和实施所公开的实施例的其它变形。在权利要求中，词语“包括”不排斥其它元件或步骤，且“一”或“一种”不排除多个。单个处理器或其它单元可以实现在权利要求中记载的几个项目的功能。在相互不同的从属权利要求中记载的特定测量的事实不表示这些测量的组合不能用于获得优势。权利要求中的任何附图标记不应被解释为限制范围。

Claims (12)

1.一种用于编码在相机的运动期间由所述相机采集的视频流的方法(200)，包括：

接收(S202)关于所述相机的运动的运动信息，

其中所述运动信息包括所述运动的持续时间，

在所述相机的所述运动期间，编码(S204)在所述相机的所述运动期间由所述相机采集的所述视频流，

其中所述编码是基于所述运动信息来实施的且包括基于所述运动的所述持续时间来调整(S206)帧间帧与帧内帧的比率。

2.根据权利要求1所述的方法，

其中所述运动信息包括所述运动的开始时间和结束时间。

3.根据权利要求1所述的方法，其中编码步骤包括：通过至少在所述运动期间减少(S208)帧内帧的数量来调整所述比率。

4.根据权利要求1所述的方法，其中调整步骤包括：至少在所述运动期间仅使用帧间帧来进行编码(S210)。

5.根据权利要求1所述的方法，其中编码步骤包括：通过在所述运动期间增加(S212)帧内帧的数量来调整所述比率。

6.根据权利要求1所述的方法，其中所述运动是预定运动，并且其中所述相机被预编程为在预定时间点移动至预定位置，所述方法进一步包括：

获取(S214)与所述预定运动有关的预定信息，以及

基于所述预定信息来编码(S216)所述视频流。

7.一种用于编码在相机的运动期间由所述相机采集的视频流的编码器(500)，包括：

所述编码器(500)被设置为接收关于相机(504)的运动的运动信息，

其中所述运动信息包括所述运动的持续时间，

所述编码器(500)被设置为在所述相机(504)的所述运动期间编码在所述相机(504)的所述运动期间由所述相机(504)采集的视频流，

其中所述编码器(500)被设置为基于所述运动信息来进行编码，并且

其中所述编码器(500)被设置为基于所述运动的所述持续时间来调整帧间帧与帧内帧的比率。

8.根据权利要求7所述的编码器(500)，进一步包括：所述编码器(500)被设置为通过至少在所述运动期间减少帧内帧的数量来调整所述比率。

9.根据权利要求7所述的编码器(500)，进一步包括：所述编码器(500)被设置为通过至少在所述运动期间仅使用帧间帧来调整所述比率。

10.根据权利要求7所述的编码器(500)，其中所述编码器(500)被设置为通过在所述运动期间增加帧内帧的数量来调整所述比率。

11.一种数字视频相机(600)，包括：

根据权利要求7所述的编码器(500)，

其中所述视频流被设置为由所述数字视频相机(600)采集。

12.一种系统(700)，包括：

相机(504)，

根据权利要求7所述的编码器(500)，

第一数字网络模块(702)，被配置为经由数字网络(710)传输编码的视频流，

第二数字网络模块(704)，被配置为经由所述数字网络(710)接收所述编码的视频流，

解码器(706)，被配置为将所述编码的视频流解码成第二视频流，以及

客户端(705)，包括：

显示器(708)，被配置为显示所述第二视频流。