CN104918123A - 用于运动视频回放的方法和系统 - Google Patents

Abstract

本发明涉及用于运动视频回放的方法和系统。该方法包括：通过通信网络请求特定运动视频序列从运动视频存储设备向运动视频回放设备的流式输送；从存储设备向回放设备流式输送所请求的该序列的运动视频数据；回放设备接收到流式输送的运动视频数据时，连接至回放设备的显示器显示被流式输送的运动视频数据；向存储设备发送回放速度改变请求。响应于存储设备接收到该请求，执行：在存储设备中解码该序列中尚未被流式输送至回放设备的从一时间位置起的运动视频数据；在时间上压缩所解码的运动视频数据；使用与用于编码该序列的编码机制对应的编码机制，编码所压缩的运动视频数据；利用所压缩和所编码的运动视频数据，继续向回放设备流式输送该序列。

Description

用于运动视频回放的方法和系统

技术领域

本发明涉及视频回放系统，其中要回放的运动视频数据被存储在运动视频存储设备中，运动视频存储设备能够通过通信网络向运动视频回放设备发送要回放的运动视频数据。此外，本发明涉及一种用于运动视频回放的方法，其中运动视频回放设备通过通信网络从运动视频存储设备请求运动视频流。然后，所请求的运动视频流从运动视频存储设备被流式输送至运动视频回放设备。

背景技术

如今的大多数视频回放系统及机制实现某种视觉搜索功能，如快进功能或跳过功能，跳过功能被设置用于在视频的预定书签或预定时隙(例如，30秒)之间跳跃。这类功能在大多数视频回放系统中是期望的，但在操作者可能为了找出关注的运动视频序列而浏览数小时视频的监视应用中是特别期望的。

在通过计算机网络从运动视频存储设备向运动视频回放设备传递运动视频数据的系统中，通常仅在客户端中实现这类视觉搜索功能，即用于正常回放的运动视频数据被流式输送或被下载至运动视频回放设备，然后运动视频回放设备按照用户请求的回放速度回放所接收到的运动视频数据。在所请求的回放速度与被流式输送的运动视频的回放速度不同时，客户端改变回放速度。可选地，运动视频存储设备存储用于不同回放速度的多个运动视频流。但是，该后者机制与仅存储一个回放速度的运动视频流的系统相比要求增加的存储空间量。

在US 6 012 091中，描述了一种视频电信服务器，该视频电信服务器被设置用于存储视频消息以及应请求向用户传送视频消息。如US 6 012 091中描述的，在消息收发系统中，正常场景是用户以正常速度播放视频消息且可能希望快退来返回视频中之前的位置，以便以正常速度重放来重看该视频消息中某些错过的动作。为了使这样的倒回功能成为可能，服务器存储一系列正确解码的帧，该系列正确解码的帧包括例如每第n个解码帧(其中n表示加速率，例如n等于4或8)，且最终将包括每第n个帧的该序列编码为快速扫描视频信号，以向用户的视频解码器及显示器传输。仅使用每第n个帧编码快进比特流，因为这些帧是为了表示图像(即完全指定的图像)而不依赖于其它帧的数据的独立帧，并且仅利用每第n个帧以相反的顺序编码反向比特流。

发明内容

本发明的一个目的是使得能够在受限于带宽和/或存储能力的系统中改变记录的运动视频的回放速度。

特别地，根据一个方面，一种用于运动视频回放的方法包括：通过通信网络，请求特定运动视频序列从运动视频存储设备向运动视频回放设备的流式输送；从所述运动视频数据存储设备向所述运动视频回放设备流式输送所请求的运动视频序列的运动视频数据；当该回放设备接收所流式输送的运动视频数据时，在连接至该回放设备的显示器上显示所流式输送的运动视频数据；向所述运动视频数据存储设备发送改变回放速度的请求。响应于所述运动视频数据存储设备接收到所述改变回放速度的请求，执行以下行为：在所述运动视频数据存储设备的解码器中解码所述特定运动视频序列中尚未被流式输送至所述运动视频回放设备的从一时间位置起的运动视频数据；在时间上压缩所解码的运动视频数据；在所述运动视频数据存储设备的编码器中，使用与用于编码所述特定运动视频序列的编码机制对应的编码机制，编码所压缩的运动视频数据；使用所述压缩的和所编码的运动视频数据，继续向所述运动视频回放设备流式输送所述运动视频序列。

使所述运动视频存储设备在时间上压缩所解码的运动视频并随后流式输送所压缩的运动视频的一个优势是：可以实施回放速度的改变(如快进功能)，而传输网络不遭受增加的网络负荷。另一优势是：回放设备可以利用仅以一个帧速率实现回放的简单解码过程，提供与改变回放速度相关的功能。例如，让我们假设连接所述运动视频存储设备和所述运动视频回放设备的网络具有100Mbit/s的最大容量。如果请求运动视频存储设备传送10Mbit/s的运动视频流，则所述网络上剩余许多带宽。但是，如果操作者喜欢以原始回放速度16倍的速度快进，那么所述运动视频存储设备不得不更快地16倍流式输送运动视频。这导致16×10Mbit/s＝160Mbit/s的运动视频流，该运动视频流比所述网络的容量更高。因此，不能以该速度快进，除非你实现本发明并提供表示正常回放速度16倍快进回放的正常数据速率运动视频流。

根据另一实施例，所述在时间上压缩所解码的运动视频数据是在所述运动视频数据在所述运动视频数据存储设备的内部数据总线上被发送之前执行的。在向所述内部总线发送数据之前执行此压缩的优势是：所述内部总线上传送速率的限制将较少地影响生成高回放速度的可能性。在许多应用中，所述内部数据总线会不同地阻碍更高回放速度的生成，或者在最坏的情况下阻碍任意增加的回放速度的生成。

在又一实施例中，所述在时间上压缩所解码的运动视频数据包括：选择所解码的运动视频数据的每第n个帧用于在时间上压缩所述运动视频数据，其中n是与所请求的回放速度相关的值。以这样的方式在时间上压缩的优势是：方法不复杂且可能容易地实现。

在另一实施例中，所述特定运动视频序列的运动视频数据被设置为以预定帧速率回放，且其中当执行改变回放速度时，不改变回放帧速率。因此，在不改变网络上的数据速率的情况下改变所察觉的回放速度，尤其在期望所述运动视频的快进时。传送恒定帧速率使所述网络上的负荷基本恒定，甚至在回放速度增加时，例如在30秒中回放表示真实时间一分钟的运动视频序列。

在又一实施例中，存储在所述存储设备上的所述特定运动视频序列的运动视频数据包括运动视频数据的子集，每个运动视频数据子集表示所述运动视频序列中的图像帧，其中所述运动视频数据子集中的至少一些不包括用于在不依赖于所述运动视频序列中其它运动视频数据子集的运动视频数据的情况下重建其表示的图像帧的足够的运动视频数据，其中所述解码运动视频数据包括：生成各自包括用于在不使用另一子集的运动视频数据的情况下，至少重建在进行压缩时选择的每个图像帧的足够信息的运动视频数据子集。所述方法使得上述优势能够应用于利用预测压缩运动视频数据，即每个图像帧不必须包括重构所述图像帧所需的所有图像数据，而该过程依赖于之前解码的一个或多个图像帧的图像数据。

根据一个实施例，存储在所述存储设备上的所述特定运动视频序列的所述运动视频数据包括运动视频数据的子集，每个运动视频数据子集表示所述运动视频序列中的图像帧且所述图像帧顺序地按时间顺序相关，且其中所述改变回放速度的请求的接收发起被设置为在时间顺序上比目前正在为流式输送而处理的运动视频数据子集更晚的运动视频数据子集的所述解码。这样的实施例的优势是：在按时间顺序来说，能够在呈现的运动视频流中的任何地方改变回放速度，即如果运动视频被回放且操作者随后请求增加回放速度，则从晚于当前正在观看的图像帧的时间点起增加回放速度。

在一个实施例中，被解码的第一个运动视频数据子集是表示一图像帧的运动视频数据子集，该图像帧是按时间顺序与目前正在为流式输送而处理的运动视频数据子集相关的下一帧。

根据另一实施例，n是大于或等于2的值。

在又一实施例中，所述运动视频存储设备是包括图像传感器的能够联网的相机，且所述运动视频序列是由所述图像传感器捕获的运动视频序列。在运动视频存储设备(其是能够联网的相机)中执行改变回放速度的一个优势是：在捕获及编码运动视频数据时使用的联网相机的图像处理设备以及编码器也可以用于回放速度改变过程。

根据一个实施例，所述方法进一步包括：通过图像捕获设备和运动视频存储设备之间的直接连接，从所述图像捕获设备接收将被存储在所述运动视频存储设备上的运动视频。

在另一实施例中，当已显示在所述运动视频回放设备处接收到的图像帧时，从所述运动视频回放设备中丢弃与所述图像帧对应的运动视频数据子集。

根据另一方面，提供一种用于远程回放的运动视频回放系统。所述运动视频回放系统包括运动视频存储设备以及通过计算机网络连接至所述运动视频存储设备的运动视频回放设备，其中所述运动视频回放系统包括用于指示改变回放速度以及向所述运动视频存储设备发送改变回放速度的请求的装置，所述运动视频存储设备包括解码器以及编码器，以将表示第一回放速度且具有第一回放帧速率的运动视频数据转换成表示第二回放速度且具有第二回放帧速率的运动视频数据，所述第二回放速度高于所述第一回放速度，且所述第二回放帧速率小于以所述第二回放速度播放表示所述第一回放速度的运动视频数据所需的回放帧速率，且所述运动视频存储设备进一步包括切换装置，所述切换装置用于从发送第一运动视频流切换到发送第二运动视频流。

在一个实施例中，所述运动视频存储设备的所述解码器与所述编码器一起被设置用于将所述第一运动视频流转换成所述第二运动视频流，其中所述第二运动视频流在时间上与所述第一运动视频流相关地被压缩。

在又一实施例中，所述解码器和所述编码器被设置用于根据所述第一运动视频流中起始于给定位置的所述第一运动视频流的每第n个运动视频帧，形成所述第二运动视频流，且其中n大于或等于2。

在另一实施例中，其中所述第二回放帧速率等于或小于所述第一回放帧速率。

在再一实施例中，所述运动视频存储设备是能够联网的运动视频相机。

根据下面给出的详细描述，本发明的适用性的更广范围将变得显而易见。但是，应理解，尽管该详细描述和特定示例表示本发明优选的实施例，但是仅通过说明给出该详细描述和特定示例，因为从这样的详细描述中，本发明的范围内的各种改变和修改将对本领域技术人员变得显而易见。因此，应理解，本发明不限于所描述的设备的特别组成部分以及所描述的方法的步骤，因为可以改变这样的设备和方法。还应理解，本文所用的术语仅用于描述特定实施例，且不旨在作为限制。必须注意，如说明书及所附权利要求中所用的，除非上下文中另外明确地规定，否则冠词“一”、“一个”、“该”和“所述”旨在表示存在一个或多个元件。因此，例如，对“一个传感器”或“该传感器”的引用可以包括数个传感器等等。此外，词“包括”不排除其它元件或步骤。

附图说明

参照附图，从目前优选实施例的以下详细描述中，本发明的其它特征和优势将变得显而易见，其中：

图1示出根据本发明实施例的关于用于运动视频回放的系统的各种实现的示意框图，

图2示出根据本发明一个实施例的实现运动视频存储设备的运动视频相机的示意框图，

图3示出根据本发明一个实施例的实现运动视频存储设备的视频编码器的示意框图，

图4示出根据本发明一个实施例的运动视频回放设备的示意框图，

图5示出根据本发明一个实施例的表示运动回放设备与运动视频存储设备之间的通信示例的时序图，

图6示出根据本发明一个实施例的运动视频回放设备的运动视频回放过程的流程图，

图7示出根据本发明一个实施例的运动视频存储设备的运动视频回放过程的流程图，

图8示出根据第一示例的描绘内部总线上需要的带宽的示意框图，并且

图9示出根据第二示例的描绘内部总线上需要的带宽的示意框图。

此外在图中，各图中相同的附图标记表示相同或相应的部分。

具体实施方式

在本文的上下文中，回放应理解为使所记录的运动视频能够再次被看到的行为。因此，回放设备是一种可用于回放运动视频的设备。此外，流式输送应理解为以连续的数据流传送数据(例如，运动视频)，以基本立即回放并在已显示运动视频帧时丢弃运动视频帧。在传送期间中断的中断数据流需要被设置为新的流数据传送，以继续数据的流式传送。

实现本发明的系统10可以例如包括图1所示的装置和设备。根据本发明的系统包括运动视频存储设备12、运动视频回放设备14以及至少连接运动视频存储设备12和运动视频回放设备14的网络16。运动视频设备12被设置用于存储运动视频以及执行所请求的运动视频的流式输送。运动视频的请求以及视频的流式输送是通过网络16执行的。流式输送的视频的接收方是被设置用于显示流式输送的内容以及在显示运动视频帧时丢弃运动视频帧的运动回放设备。

运动存储设备12可以是捕获场景的运动视频的运动视频相机12a，或可以是被设置用于将来自模拟运动视频相机20的模拟运动视频编码成数字运动视频的运动视频编码器12b。为了存储运动视频数据，运动视频相机12a以及运动视频编码器包括集成的存储设备18或与可拆卸的存储设备18直接连接的物理接口。集成存储设备18的示例是非易失性存储器，如闪存、内置硬盘、随机存取存储器等等。可拆卸存储设备18的示例是存储卡(例如，快闪记忆卡、记忆棒、安全数字(SD)卡等等)、USB闪存盘、外部硬盘或直接连接到运动视频相机12a的其它存储设备等等。可以利用USB连接器(通用串行总线)、串行连接器、并行连接器、PCI连接器、ePCI连接器、SATA连接器、eSATA连接器、mSATA连接器、火线连接器、雷电连接器等连接与运动视频相机12a直接连接的外部硬盘或其它存储设备。

运动存储设备12还可以是运动视频流式输送服务器12c，运动视频流式输送服务器12c包括存储能力及网络接口。运动视频流式输送服务器是本领域技术人员已知的。存储在运动视频服务器12c上的运动视频可以源于运动视频相机12a或运动视频编码器12b中的任一个。但是，该系统还可以包括没有扩展存储能力的联网运动视频相机22。

运动视频回放设备14可以是能够解码及显示运动视频的任意联网设备，例如，计算机14a(例如，便携式计算机、台式计算机、PC、工作站、专用监视计算机、通用计算机等等)。运动视频回放设备14还可以是更小的且可能不那么强大的计算机，例如移动电话14b、PDA 14b、平板14c、智能TV等等，或可以是监视器、显示器或能够联网的任意其它显示装置。回放设备可以包括用于回放通过网络16获得的运动视频的程序。该程序被设置用于呈现控制界面，以使操作者能够指定从运动视频存储设备12流式输送的运动视频或存储在运动视频存储设备12上的运动视频以及能够以选择的回放速度请求运动视频。向运动视频存储设备12发送所选择的回放速度，且可以在回放期间改变所选择的回放速度。该程序可以是软件程序、软件应用、用于另一软件程序的插件(例如用于网页浏览器的插件)等等。

可选地，可以利用图中未示出的与运动视频存储设备12直接连接而不是与运动视频回放设备14直接连接的单独设备执行回放控制。然后，这样的单独设备可以被设置用于呈现界面，该界面使得能够控制向运动视频回放设备14传送的运动视频。例如，该界面可以包括回放改变控制器，且该单独的设备可以被设置用于直接向运动视频存储设备12发送改变回放速度的请求，而不是通过运动视频回放设备14发送。该单独的设备可以是智能电话、移动电话、专用远程控制器等等。

网络16可以是允许电子设备交换数据的任意类型的网络。该网络可以是有线的、无线的或有线的或无线的任意结合。可以通过允许在该系统的电子设备之间交换数据的任意已知的网络协议(例如，以太网(IEEE 802)，与TCP、UDP、或FTP结合的互联网协议(IP)，同步光网络(SONET)，同步数字体系(SDH)，异步传输模式(ATM)等等)实现该网络。可以利用任意规模的网络(例如局域网(LAN)或广域网(WAN))实现该系统。

还用作运动视频存储设备12的运动视频相机12a，包括具有用于捕获场景的运动视频并通过网络传递所捕获的运动视频的常规联网运动视频相机的装置和设备。现在参照图2，运动视频设备可以例如包括镜头50，镜头50将来自要捕获的场景的光聚焦在图像传感器52上。然后，由信号处理器54处理由图像传感器52根据该场景的光生成的信号。信号处理器54输出数字图像信号，该数字图像信号由图像处理器56处理。图像处理器56的输出是表示运动视频的图像流。然后，由编码器58编码这样的运动视频，并且将该运动视频发送至网络接口60，以便通过网络16向运动视频的接收者(例如，运动视频回放设备14)发送该运动视频。可选地，将经编码的运动视频存储在运动视频相机12a的存储设备18中。

此外，运动视频相机12a包括解码器62，解码器62被设置用于解码来自存储设备18的运动视频，然后将所解码的运动视频传递到图像处理器56上，以改变帧速率和由所产生的运动视频表示的时间流之间的关系。运动视频相机12a包括某种中央处理单元64(CPU)，以便执行运动视频相机中的一般任务。还可以由CPU 64而不是由专用处理器或逻辑电路执行更特定图像处理任务中的一些。此外，运动视频相机12a可以包括用于在运行期间暂时存储数据的易失性存储器66。还可以包括用于存储将执行的程序代码的非易失性存储器68，但存储设备18可以存储这样的数据以及运动视频。运动视频相机还包括内部数据总线69，内部数据总线69被设置用于在内部设备之间传输数据，例如在存储或内存设备18、66、68以及功能设备52、54、56、58、60、62、64之间传输数据。

在一个实施例中，传送所存储的运动视频和转换的运动视频之间的切换由CPU 64控制，在这样的实施例中，CPU 64指导解码器62、图像处理器56、编码器58以及网络接口来转换运动视频以及通过网络发送所转换的视频。

从存储设备18到解码器62以及从解码器62到图像处理器的虚线表示数据流动。然而，数据的真实路径是经过内部数据总线69。

作为运动视频存储设备12操作的运动视频编码器12b包括具有常规运动视频编码器的装置及设备，该装置和设备被设置用于从一个或多个模拟运动视频相机接收模拟运动视频信号以及将这些模拟运动视频信号转换成数字运动视频信号。可通过计算机网络访问数字运动视频。例如，除了镜头和图像传感器外，运动视频编码器可以包括与图2中示出的运动视频相机基本上一样的装置和设备。作为替代，运动视频编码器可以包括模拟运动视频接口70，见图3。图3中的其余附图标记具有与图2中的附图标记对应的附图标记，且已结合图2做了描述。

流式输送服务器12c作为任意已知的流式输送服务器操作，除了这样的流式输送服务器包括用于转换可供流式输送的运动视频的编码器和解码器之外。

运动视频回放设备14可以是被设置用于读取数字运动视频流、解码运动视频流的运动视频帧以及将运动视频帧发送给位于运动视频回放设备14外部或集成在运动视频回放设备14内的显示设备的任意设备。现在参照图4，在一个实施例中，运动视频回放设备14包括网络接口80、中央处理单元82、易失性存储器84、非易失性存储器86、显示器88和/或显示接口90、以及视频回放模块92，网络接口80将运动视频回放设备14连接到网络16，中央处理单元82用于控制运动视频回放设备网络接口14的操作，易失性存储器84用于在操作期间暂时存储数据，非易失性存储器86用于存储数据及程序代码，例如将由中央处理单元82执行的程序代码。

在这样的特定实施例中，运动视频回放模块92是在中央处理单元82中执行的程序模块。下面将更详细地描述运动视频回放设备14的操作。运动视频回放设备的接口至少包括用于请求回放、改变回放速度、选择运动视频的促动位置。促动位置可以是运动视频回放设备14上的物理按钮，或触摸屏或正常屏上的区域，这些区域在运行于该设备上的控制程序中与各自的功能关联。

根据一个实施例，用于请求增加回放速度的装置可以在独立于回放模块本身的模块中实现。这可能是因为以下事实：由于帧速率未因回放速度增加而变化，所以提供给运动视频回放模块的运动视频数据对于计算机来说像是正常速度的运动视频。如果从与回放模块完全不同的另一个模块或设备提供改变回放速度的请求，则应与改变回放速度的请求一起发送运动视频流的标识符。

在图5中，示出根据一个实施例的运动视频回放设备14和运动视频存储设备12之间的可能信令序列的时序图。该信令始于运动视频回放设备14将对运动视频的请求102发送至提供所请求的运动视频的运动视频存储设备12。响应于该请求，运动视频存储设备12开始将所请求的运动视频作为运动视频流104发送至运动视频回放设备14。在图5描述的场景中，运动视频回放设备14随后发送改变回放速度的请求106，例如以特定速率快进。运动视频存储设备12通过将流式输送的运动视频改变为具有所请求的回放速度的流式输送视频108，做出响应。可以在不中断或终止正在进行的流式输送通信，而继续在请求回放视频时建立的正在进行的流式输送通信中传递具有所请求的回放速度的运动视频流的情况下，执行这样的将流式输送的运动视频改变为具有所请求的回放速度的流式输送的运动视频。以这样的方式，由于在初始通信流中传递具有更高回放速度的运动视频数据流且不需要对建立新通信流的新请求，所以运动视频回放设备14不需要以任何方式识别回放速度的改变。

根据一个实施例，为了生成图5中描述的通信以及由本发明的实施例产生的其它通信序列，运动视频回放设备实现图6中描述的过程。运动视频的回放200由操作者选择要观看的运动视频开始，步骤202，即要在运动视频回放设备14上回放的运动视频。响应于该选择，运动视频回放设备14通过网络16向存储所请求的运动视频的运动视频存储设备发送对所选择的运动视频的请求，步骤204。

然后，开始运动视频数据流的接收，步骤206，并且被流式输送的运动视频数据开始到达运动视频回放设备14，在运动视频回放设备14中接收被流式输送的运动视频数据，步骤208。解码所接收到的运动视频数据，步骤210，并且向运动视频显示器88、90发送所接收到的运动视频数据，步骤212。当已向显示器88、90发送运动视频数据时，丢弃该运动视频数据，步骤214。这是流式输送的数据的正常操作，即直接显示被流式输送的数据，然后其过时并因此被丢弃。

在回放所选择的运动视频数据期间，操作者可以选择快进该运动视频或以可选的回放速度观看。可以通过机械界面(包括运动视频回放设备14上的按钮)或通过在集成在运动视频回放设备14中或连接至运动视频回放设备14的显示器88、90上呈现的图形界面输入回放速度改变，来实现回放速度的这种改变。如果没有检测到与改变回放速度相关的输入，步骤216，则该过程返回到步骤208，在步骤208中接收所请求的运动视频的其它被流式输送的运动视频数据。但是，如果检测到与改变回放速度相关的输入，步骤216，那么生成改变回放速度的请求并向对运动视频数据进行流式输送的运动视频存储设备发送改变回放速度的请求，步骤218。该改变回放速度的请求可以包括表示所请求的回放速度的值。当发送速度改变请求时，该过程返回到步骤208，在步骤208中接收所请求的运动视频的其它被流式输送的运动视频数据。

可选地，接收及显示所请求的运动视频数据的过程可以在一个过程中执行，而回放速度请求的检测以及回放速度请求的随后发送可以在单独的过程中执行。

根据一个实施例，运动视频存储设备12可以实现图7中描述的过程，以便向运动视频显示设备传递运动视频。在运动视频存储设备12中，开始回放过程300，此时通过网络16接收对特定运动视频序列的请求，步骤302。然后，运动视频存储设备12启动通过网络向该请求中标识的运动视频回放设备14流式输送所请求的运动视频数据，步骤304。不一定从运动视频回放设备14向运动视频存储设备12发送运动视频请求，但是可以在接收要回放的运动视频时从标识该运动视频回放设备的另一设备发送运动视频请求。最初，关于所请求的运动视频的回放速度的值被设置为所存储的运动视频的回放速度，步骤306。因此，如果在标准化系统中‘1’对应于所请求的运动视频的正常回放速度，则该值被设置为‘1’。

然后，该过程序检查是否已从运动视频回放设备接收到速度改变请求，步骤308。如果还未接收到速度改变请求，则该过程继续并检查所设置的回放速度是否与所存储的运动视频的速度相同，步骤310。如果所设置的回放速度与所存储的运动视频的回放速度相同，那么在不对要发送的运动视频数据的回放速度进行任何改变的情况下流式输送所存储的运动视频，因此该过程继续至步骤312，在步骤312中向运动视频回放设备传送运动视频数据，作为流式输送所请求的运动视频数据的过程的一部分。然后，该过程检查是否到达流的末尾，步骤314，即是否不再有与所请求的运动视频相关的数据或是否已收到表示流式输送将结束的输入。如果不再有所请求的运动视频数据的运动视频数据将被流式输送，则该过程结束，步骤316。但是，如果更多运动视频数据要被流式输送，则该过程返回至步骤308，以检查回放速度请求的变化。

在步骤308中，如果接收到并标识出改变回放速度的请求，那么从该请求中获取该请求中包括的速度值，步骤318，并且将回放速度值设置为所获取的回放速度值，步骤320。

此外，如果在步骤310中，运动视频存储设备中设置的回放速度被设置为与所请求的运动视频的存储版本的回放速度不同的另一值，则运动视频存储设备开始解码要发送给请求运动视频回放设备14的运动视频数据，步骤322。然后，处理所解码的数据，使得根据所设置的回放速度值改变运动视频的时间属性，步骤324。然后，将所处理的运动视频数据编码为与所存储的运动视频基本一样的帧速率，步骤326。所使用的编码机制是产生可利用与用于解码原始运动视频数据的相同的解码器(即使用对应的编码机制)解码的运动视频数据的编码机制。然后，在步骤312中，向运动视频回放设备传送经编码的运动视频数据。编码后的运动视频数据通常少于代表解码前的对应时间长度的运动视频数据。编码后的运动视频数据可以在特定和罕见情况中具有与解码前的运动视频相同的大小或甚至更大的大小。但是，这样的情况是罕见的，因此，我们认为，建议经转换的运动视频数据少于解码前的对应数据是中肯的。

根据一个实施例，表示增加的回放速度且响应于增加的回放速度的请求传递的运动视频数据在与对原始运动视频数据进行流式输送的相同通信流中流式输送，即不需要请求新的通信流且运动视频存储设备简单地在已有的通信流中传送该数据，而不断开和建立新通信流。

处理运动视频数据以生成具有与在运动视频存储设备中存储的运动视频文件不同回放速度的数据流产生以下运动视频数据：在编码该运动视频数据时该运动视频数据的接收者(在此情况下是运动视频回放设备14)以处理所发送的原始运动视频数据同样的方式处理该运动视频数据，而在显示器上的回放仍显示以与最初记录的场景的速度不同的速度播放的运动视频。因此，此系统的一个优势是运动视频回放设备不需要执行与回放速度相关的任何处理，因此可以是在显示器上呈现所解码的运动视频的简单解码器。在增加运动视频回放速度的情况下，运动视频存储设备12中的处理生成当在运动视频回放设备上以正常速率解码时呈现增加的回放速度的运动视频。这可以通过在时间上压缩运动视频数据实现(即在比最初更短的时间长度内回放序列)来实现。在一个实施例中，这可以通过例如在图7中的步骤324中，在编码运动视频数据以向运动视频回放设备14传输之前，从运动视频存储设备中经解码的运动视频数据中移除运动视频数据来实现。

例如，可以通过在再次编码运动视频数据之前移除所解码的运动视频数据的每第二个运动视频帧(即，在图7中的步骤322-326中)且随后以与原始的帧速率一样的帧速率播放新编码的运动视频，来实现回放速度翻倍。可以通过连续地移除两个运动视频帧并且仅对所解码的运动视频数据的每第三个运动视频帧执行编码，来实现三倍的回放速度。这还可以被描述为选择每第n个运动视频帧。因此，n＝2实现双倍回放速度，n＝4实现四倍回放速度，等等。本领域技术人员可以想到实现增加回放速度的其它方式。

在可选的实施例中，即便增加回放速度，所回放的运动视频的帧速率也小于原始运动视频的原始帧速率。这可以通过删除更多图像帧并对回放设备指示新帧速率来实现。

在一个实施例中，可以进一步处理从解码器输出的运动视频数据，以便使要通过网络发送的最终运动视频数据需要较少的带宽。这样的处理的示例是在编码前使图像帧模糊、在编码前对图像帧进行降噪、改变分辨率等等。在模糊及降噪的情况下，如果图像帧包括不怎么变化的图像帧，则通常的编码器将生成较少的运动视频数据。

根据本发明的另一实施例，包括在运动视频存储设备12中并在图2和图3中示出的解码器62不仅被设置用于如图7的步骤322中描述的那样解码运动视频数据，还用于在通过任意内部通信路径(例如，内部数据总线69)传输运动视频数据之前压缩运动视频数据。所执行的压缩可以例如是上面讨论的基于时间的压缩，通过基于时间的压缩，以固定帧速率回放的所产生的运动视频数据将被认为是快进。可以像关于图7中的步骤324描述的那样，通过移除运动视频数据以改变所解码的运动视频数据的时间表现，从而生成在以正常帧速率回放时具有感知到的增加的回放速度的运动视频数据流，来实现该压缩。在通过内部数据总线传输任意被解码的运动视频数据之前在解码器中执行所解码的运动视频数据的该时间压缩的优势是：与在解码器中未执行这样的时间压缩相关地降低内部总线上的业务负荷，由此使得可能提供与内部总线中降低的业务负荷对应程度的增加的回放速度。因此，可以比由内部数据总线69的数据传输速率的限制导致的可能回放速度进一步地增加回放速度。

在一些情况下，为了使得回放速度的任何改变成为可能，在解码器中对所解码的运动视频数据的时间压缩是必要的。这样的情况可以是在内部总线上的最大传输速率基本上与所解码的运动视频的数据速率一样时。在这些情况下，内部数据总线69上的传输速率太低，从而不能以比正常回放速度更高的速度传输未经压缩的运动视频数据。

根据一个实施例，在解码器向编码器传递经解码的数据之前，对所解码的运动视频数据执行运动视频的时间压缩。如果所存储的运动视频数据的编码格式(即，解码运动视频数据之前的运动视频数据的格式)允许，则可以在解码器中在收到要解码的运动视频数据时或在存储设备处执行时间压缩。在进行该解码以前执行时间压缩的情况下，节省了解码器中的处理能力。如果在存储设备中执行该时间压缩，则实现额外的性能节省，因为将更进一步降低内部总线上的数据传输负荷。

下面参照图8和图9提供之前在运动视频数据至新帧速率的转换中介绍的时间压缩的一个示例的更详细解释。图8示出一种系统，在该系统中，从存储设备18向解码器62传送702存储的运动视频，以便开始转换运动视频的回放速度。然后，从解码器62通过内部总线69向图像处理器56和编码器58传送704经解码的运动视频。可以通过内部总线或通过专用通信路径72执行图像处理器56和编码器58之间的数据传送。图8中要传送的视频是原始速度十倍的视频，即快进十倍产生真实生活中10秒的视频序列将在1秒内呈现。然后，存储在存储设备18上的经编码的视频，以为了正常速度观看而编码的视频的数据速率十倍的数据速率，向解码器62传送702该视频。让我们假设为了正常速度观看而编码的视频的数据速率是30Mbit/s。以十倍快进从存储设备18至编码器58的编码运动视频数据的数据速率702是10×30Mbit/s＝300Mbit/s。因此，从存储设备18至解码器62的传送702占用300Mbit/s的内部总线69可用带宽。然后，为了促进运动视频的时间压缩，在解码器62处解码运动视频，并向图像处理器56传送704运动视频。从解码器传送的运动视频的数据速率704大约是经编码的运动视频的数据速率的5倍，且由于该运动视频将表现被快进的运动视频，所以仍然要以十倍更高的速度传送。数据速率的5倍增加是编码器正常将运动视频编码为原始大小的20％的结果，因此在解码时，视频数据将增加5倍。然后，离开解码器62的最终数据速率是5×300Mbit/s＝1.5Gbit/s。在该示例中，数据速率704变得太高而使内部总线69难以处理，在图8中由延伸到数据总线69的宽度外的传送带宽704表示。因此，结合图8描述的系统将不能以所请求的回放速度传送运动视频。

当内部总线69上提供更高回放速度所需的带宽不够时，例如由于内部总线的大小太受限。由于总线实际上太小，或因为其它处理对总线的利用率太高，总线大小可能太受限。在图9中，描绘了根据上述实施例中一个实施例的解决方案。如图8的示例中一样，请求以正常回放速度10倍的速度回放该运动视频。因此，使用同样的数据速率702(即，300Mbit/s)来从存储设备18向解码器62传送。但是，在这样的实施例中，在解码器中执行时间压缩。这意味着：由于时间压缩后的运动视频数据的数据速率对应于正常回放的运动视频的数据速率，结合图8讨论的5×300Mbit/s＝1.5Gbit/s的经解码的运动视频数据的数据速率基本上降低10倍。因此，内部总线上经解码且经时间压缩的运动视频数据的传输706所需的数据速率是1.5/10Gbit/s＝150Mbit/s。这给其它过程留下许多带宽，尤其给之后编码的被请求的运动视频708的传送留下许多带宽。

Claims (14)

1.一种用于运动视频回放的方法，所述方法包括：

通过通信网络(16)请求特定运动视频序列从运动视频存储设备(12)向运动视频回放设备(14)的流式输送，

从所述运动视频数据存储设备(12)向所述运动视频回放设备(14)流式输送所请求的运动视频序列的运动视频数据，

当所述回放设备(14)接收经流式输送的运动视频数据时，在连接至所述回放设备(14)的显示器上显示经流式输送的运动视频数据，

向所述运动视频数据存储设备(12)发送改变回放速度的请求，

响应于所述运动视频数据存储设备(12)接收到所述改变回放速度的请求，执行以下行为：

在所述运动视频数据存储设备(12)的解码器(62)中，解码所述特定运动视频序列中尚未被流式输送至所述运动视频回放设备(14)的从一时间位置起的运动视频数据，

在时间上压缩所解码的运动视频数据，

在所述运动视频数据存储设备(12)的编码器(58)中，使用与用于编码所述特定运动视频序列的编码机制对应的编码机制编码所压缩的运动视频数据，以及

利用所述压缩的和所编码的运动视频数据，继续向所述运动视频回放设备(14)流式输送所述运动视频序列。

2.根据权利要求1所述的方法，其中所述压缩所解码的运动视频数据是在所述运动视频数据在所述运动视频数据存储设备(12)的内部数据总线(69)上被发送之前执行的。

3.根据权利要求1所述的方法，其中在时间上压缩所解码的运动视频数据包括：选择所解码的运动视频数据的每第n个帧用于在时间上压缩所述运动视频数据，其中n是与所请求的回放速度相关的值。

4.根据权利要求1所述的方法，其中所述特定运动视频序列的运动视频数据被设置为以预定帧速率回放，且其中当执行所述改变回放速度时，不改变回放帧速率。

5.根据权利要求3或4所述的方法，其中存储在所述运动视频数据存储设备(12)上的所述特定运动视频序列的所述运动视频数据包括运动视频数据子集，每个运动视频数据子集表示所述运动视频序列中的图像帧，其中所述运动视频数据子集中的至少一些不包括用于在不依赖于所述运动视频序列中其它运动视频数据子集的运动视频数据的情况下重建该运动视频数据子集所表示的图像帧的足够的运动视频数据，其中所述解码运动视频数据包括生成各自包括用于在不使用另一子集的运动视频数据的情况下至少重建在进行压缩时选择的每个图像帧的足够信息的运动视频数据子集。

6.根据权利要求1所述的方法，其中存储在所述运动视频数据存储设备(12)上的所述特定运动视频序列的所述运动视频数据包括运动视频数据子集，每个运动视频数据子集表示所述运动视频序列中的图像帧并且所述图像帧顺序地按时间顺序相关，且其中所述改变回放速度的请求的接收发起被设置为在时间顺序上比目前正在为流式输送而处理的运动视频数据子集更晚的运动视频数据子集的所述解码。

7.根据权利要求6所述的方法，其中被解码的第一动视频数据子集是表示一图像帧的运动视频数据子集，该图像帧是在时间顺序上与目前正在为流式输送而处理的运动视频数据子集相关的下一帧。

8.根据权利要求3所述的方法，其中n是大于或等于2的值。

9.根据权利要求1所述的方法，其中所述运动视频数据存储设备(12)是包括图像传感器的能够联网的相机，且所述运动视频序列是由所述图像传感器捕获的运动视频序列。

10.根据权利要求1所述的方法，进一步包括：通过图像捕获设备(20)和所述运动视频数据存储设备(12)之间的直接连接，从所述图像捕获设备(20)接收需存储在所述运动视频数据存储设备(12)上的运动视频。

11.根据权利要求1所述的方法，其中当已显示由所述运动视频回放设备(14)接收到的图像帧时，从所述运动视频回放设备(14)中丢弃与所述图像帧对应的运动视频数据子集。

12.一种运动视频数据存储设备(12)，所述运动视频数据存储设备(12)被设置用于存储运动视频数据以及用于执行请求的快进运动视频数据通过网络(16)的流式输送，所述运动视频数据存储设备(12)包括：

存储设备(18)，被设置用于存储编码的运动视频数据；

解码器(62)，被设置用于解码在所述存储设备(18)中存储的运动视频数据；

编码器(58)，被设置用于编码运动视频数据；

网络接口(60)，被设置用于通过所述网络(16)发送运动视频数据；

内部数据总线(69)，被设置用于在所述解码器(62)、所述编码器(58)、所述存储设备(18)和/或所述网络接口(60)之间传送运动视频数据；

其中所述解码器(62)进一步被设置用于在通过所述内部数据总线(69)向所述编码器(58)传送所述运动视频数据之前，在时间上压缩所述运动视频数据。

13.根据权利要求12所述的运动视频数据存储设备，其中所述存储设备(18)包括集成的存储设备或与可拆卸的存储设备直接连接的物理接口。

14.根据权利要求12或13所述的运动视频数据存储设备，其中所述解码器(62)被设置用于通过移除运动视频数据，在时间上压缩所述运动视频数据。