CN1526238A - 视频传输系统,视频传输单元和编码/解码视频数据的方法 - Google Patents

Abstract

一种视频传输系统(400)，其包括多个视频发射器(420，430，440)，每个视频发射器发射至少一个各自的视频图像。至少一个视频接收器(410)接收来自视频发射器的视频图像。该至少一个视频接收器包括多个帧存储器(412，414，416)，用于存储来自对应多个视频发射器的视频图像。这样提供了如下优点：在带宽受限的多路复用信道上的监视更加快速，而不牺牲感兴趣对象的空间图像分辨率；恢复的图像具有更好的感觉质量；感兴趣对象的空间分辨率更高；存在快速第一图像显示时间，并且后续视频帧传输快速。因此CCTV系统可以更快轮询多个视频发射器。

Description

视频传输系统，视频传输单元和编码/解码视频数据的方法

技术领域

本发明涉及视频/图像传输系统和视频/图像编码/解码技术。本发明应用于(但不限于)在低带宽通信系统中高效多路复用视频流。

背景技术

在本发明的领域中，经常需要从多个发射器发送图像到单个接收器，例如在一个安全监视应用中，一个操作者对多个摄像机输入负责。

例如，在使用ITU H.263[ITU-T建议，H.263：“用于低码率通信的视频编码(Video Coding for Low Bit Rate Communication)”]视频压缩的系统中，视频序列的第一帧作为帧内编码(intra-coded)信息发射。随该帧内编码信息之后的是较快的相互编码(inter-coded)信息。

很清楚，在多数商业视频系统中，存在一个带宽限制。具体地，在低带宽系统中，带宽是一个关键的和有价值的商品，其中帧内编码帧经常包含相对大量的数据。结果，花费相对较长时间来发射包括帧内编码帧在内的视频传输。

在视频序列中发射的第一幅图像总是帧内编码(I)帧。该I-帧包含关于整个图像的数据。由于在I-帧中需要大量数据，视频系统设计者通常面临图像的空间质量和传输时间之间的折衷。在低带宽系统中尤其如此，例如由欧洲通电信标准协会(ETSI)规定的陆地中继无线系统(TETRA)。

I-帧的后续帧作为预测(P)帧编码。后续帧预测的使用提高了帧速率。P-帧利用在上次传输的帧和当前帧之间的瞬时相似性减少要传输的数据量。

在本发明的上下文中，以及本发明优于已知技术的优点的表示，如在余下的描述中所使用的，术语“视频传输”包含不同视频技术。这些通常包括以不同数据速率传输实时或接近实时图像。在后续说明中，术语“视频”也包含图像传输，图像传输通常被看作一帧视频。此外，涉及到的视频技术可能(例如)还包括流动的，或编码存储从而使视频图像可在之后观看的视频。

首先参考图1，在此显示了现有技术的视频通信系统100，其使用基于块的编解码器，例如公知的H.263编码工具装置。将视频信号110提供给基于块的编解码器120，它处理该视频信号110并提供编码输出信号140。速率控制元件130控制帧速率并基于块的编解码器120的量化，从而确定编码输出信号140的数据带宽。

因此，留给视频图像被压缩的视频通信系统的设计者一个两难的境地：应当传输低压缩的帧内编码帧(I-帧)以提供良好的空间分辨率吗？在做出决定时，设计者需要考虑，这样的方案造成过长的视频传输时间。

可选地，可能传输高压缩程度的I-帧。然而，如果这样，最后得到的图像可能空间分辨率差，图像细节质量太差从而使接收者不能识别，和/或感觉到的图像质量差。这使得难以从图像中提取信息。

对于在解码器接收和显示的第一幅图像，通常采用在图像的空间分辨率和通信延迟之间的折衷。然而这样导致了次最优(sub-optimal)系统性能。例如，第一高压缩图像用低延迟传输，其细节用后续的相互编码帧填充。虽然图像增强到对于用户可接受的空间分辨率，然而这样导致了时间延迟。

在CCTV监视应用中，多个摄像机传输视频到一个或多个显示器。编码数据流通常将多路复用，从而使一个数据流到达解码器单元并使用视频解码器解码，如图2所示。在接收器端使用单个解码器而非多个解码器通常是因为多个解码器会：昂贵；耗尽有价值的设备空间；浪费能源；由于许多处理资源保持未使用而包含冗余。

同样，当从视频传输系统中加入/删除摄像机时，快速调整容量增/减也是困难的，因为那将需要添加/删除额外的解码器。

图2显示一个现有技术多编码器单解码器视频/图像传输系统200。该系统包括视频编码器单元220，230，240，每个都分别具有用于存储其各自当前重建的视频/图像帧的帧存储器225，235，245。三个单元仅为清楚目的显示，而在现实系统中，可能有数以百计的编码单元，并且在极少的情况下，可能有数以千计的编码单元(摄像机)。

对于每个要传输的视频图片，编码器单元生成“重建图片”。该重建图片通过将解码过程应用到一个先前编码的图像上形成。编码器要传输的数据通过将离散余弦变换(DCT)，量化，和霍夫曼(Huffman)编码应用到要传输的当前视频帧间的不同以及重建图片的适当运动补偿延迟版本来形成。因此，视频编码器单元220，230，240发射已编码的各自输入视频图像之间的不同以及运动补偿存储视频/图像帧228，238，248到具有单个视频/图像帧存储器215的单个视频解码器210。

值得注意的是，在这样一个典型的图像传输系统中，编码器无需编码每一个输入帧。为获得预期的比特速率，简单的丢弃某些帧。这就是为什么使用这种现有技术方法的接收图片不平稳的原因。当在第一I帧和下一可用P帧之间有长延迟，即意味着丢弃了很多中间帧时，会造成这种不平稳的图片。

然而，当在多个视频发射器和在接收器端的单个解码器之间存在共享通信信道的情况下，则接收器每次选择一个视频发射器，传输以帧内编码(I)帧开始。这样一种机制是无效率的，如下面参考图3显示的。

图3显示以上现有技术视频/图像传输系统的系统性能表现300。如图所示，在编码器-1的帧存储器225内的要发射的帧和运动补偿重建图片之间的已压缩和编码的不同在第一时间周期内传输到解码器(228)，将其解码以创建存储在解码器帧存储器215中存储的重建输出图片。

值得注意的是，相较于可用的传输时隙时间，帧内编码(I)帧花费较大量时间进行传输和接收。结果，在传输时隙时间内仅能发射和接收有限数目的预测P-帧。视频解码器输出310对应于解码器帧存储器215。

编码器-2的帧存储器235内的要发射的帧和运动补偿重建图片之间的已压缩和编码的不同在第二时间周期内传输到解码器(238)，将其解码以创建存储在解码器帧存储器215中存储的重建输出图片。值得注意的是，相较于可用的传输时隙时间，帧内编码(I)帧再次花费较大量时间进行传输和接收。十分清楚这限制了发送的P-帧的数目。

以相似方式，在返回到发射编码器-1的帧存储器225内要发射的下一帧和先前运动补偿重建图片之间的已压缩和编码的不同之前，编码器-3的帧存储器245使用第三时间周期。

可选地，如果发送了更多的P-帧，例如使用两个或更多传输时隙，该系统将经受一个相对较低的轮询速率(polling rate)。

相较于直接编码器到解码器的视频发射器系统，多路复用视频流系统可能经历较低帧更新速率，这也是已知的。在大数量系统配置中该问题更明显，例如，在使用电路交换或分组交换数据传输模式的TETRA系统上的安全或监视系统。如果该监视系统需要管理较大数量，例如超过100的视频解码器/发射器，问题进一步恶化。这可能包括例如铁路或机场的延伸。

因此，在本发明的领域中需要提供一种视频发射系统，一种视频发射单元，编码/解码视频数据的方法以及一种轮询(polling)摄像机的方法，其中上述缺点得以减轻。US-A-6038364，WO-A-01/13639，US-A-5724475，US-A-4961211是已知的现有技术。

发明内容

本发明提供一种视频传输系统，一种视频编码器，通信单元，视频解码器，一种在视频传输系统中编码的方法，一种在视频传输系统中解码的方法，一种在视频传输系统中轮询摄像机的方法，一种在视频发射器系统中控制多个视频编码器的方法，以及一种存储介质，其存储用于控制处理器的处理器可执行指令。

附图简要说明

图1显示现有技术中的采用基于块的编码/解码机制的视频传输系统。

图2显示现有技术中多路复用视频传输系统。

图3显示图2的现有技术视频传输系统的系统性能的表现。

现在参考附图说明本发明的示范性实施例，其中：

图4显示根据本发明一个优选实施例的多路复用视频传输系统。

图5a和5b显示根据本发明一个优选实施例的图4的视频传输系统的系统性能的表现。

图6显示根据本发明一个优选实施例，详细说明在多路复用视频传输系统中编码器(传送视频单元)的操作的流程图。

图7显示根据本发明一个优选实施例，详细说明在多路复用视频传输系统中解码器(接收视频单元)的操作的流程图。

图8显示根据本发明一个优选实施例，在多路复用视频传输系统中解码器(接收视频单元)的框图。

图9显示根据本发明一个优选实施例，强调摄像机轮询机制的时序图。

图10显示根据本发明一个优选实施例，强调紧急信令机制的时序图。

具体实施方式

如上所述，在常规“一对一”视频传输系统中，编码器和解码器每个都具有单个帧存储器，用以保存前次的重建图像。通过存储前次的重建图像，下一帧可从这幅图像(P-帧)中预测出来，因此避免传输整个下一帧到解码器。这样一种预测技术有助于更高的系统帧速率。对于工作满意度的预测，很明显，编码器和解码器的帧存储器中都必须包含相同的图像。

总之，根据本发明的优选实施例，提供独立于发射视频编码器的数目，允许使用接收器端的单个解码器的机制。然而，当使用多视频发射器，单接收器系统时，在现有技术的系统中的接收器帧存储器仅包含来自当前选定的视频发射器的前次重建图像。这将导致每当多路复用器选择新的视频发射器时都需要发射I-帧。

这一潜在问题在本发明中通过在解码器提供多个帧存储器解决，例如每编码器/视频发射器一个。因此，通过返回到前次的重建帧，解码单元能立即恢复与任何一个编码单元的视频链路。通过返回到前次的重建帧，可以立即发送更快速的P-帧。

有利地，这样避免了每当视频链路重新连接时都要发射新的I-帧。结果，相较于每次必须发射I-帧的视频传输系统，这样一种机制使得视频传输系统工作在更高帧速率和/或更快轮询时间。

此外，本发明提供控制多个视频编码器的优选方法，从而当每个编码器到达分配给它的传输时间的末尾时，或被另一个具有更高优先级的摄像机/编码器中断时，存储最近的重建帧。不进行进一步的处理，直至通知该发射器再次开始发射。这样确保了编码器和解码器帧存储器保持同步，并总包含完全相同的前次重建帧。

为保持最大图片质量，系统必须确保在编码器中的存储帧与对应解码器帧存储器中的存储帧精确匹配。通过确保编码器和解码器返回到先前“重建”帧，也即在视频传输序列的中断之后，获得同步机制。通过各自编码器和单个解码器跟踪获得同步，例如通过帧号和/或用于那个视频链路的特定前次重建帧的绝对时序，或其他方法来获得同步。

例如，假定摄像机N正发射压缩的视频数据给解码器。用于系统的控制机制可能被设定为：每次当其被轮询时，允许每个摄像机发射p秒。因此，当摄像机N接收到来自系统控制的允许它开始发射的信号时，开启一个定时器。当定时器到达p秒，摄像机N停止编码，在其帧存储器中冻结(freeze)前次重建图片。

在解码器，每当发生发射摄像机的改变时启动一个定时器。当p秒过去后，解码器在其帧存储器中冻结前次重建图片，并准备开始来自摄像机N+1的解码。

然而，使用可选的同步机制也在本发明的保护范围之内，例如在一个轮询时隙周期(可用时间)期间允许来自各摄像机的要发射的规定数目的帧使用重建帧号作为参考，或控制可由外部控制机制发射的帧的时间和/或帧号。

在正常的轮询操作中，在本发明的优选实施例，摄像机可在控制信道上接收指令以停止发射。此时，编码器必须冻结源图像的采集，并且处理残留在其缓存器中的数据。传输系统必须允许这最后的数据获得优先权，从而解码器可以更新适当的帧存储器，并且它也保持冻结。

如果发生中断，例如在操作者必须查看一个失序的编码器的紧急情形中，系统需要能够快速确定当从该发射器接收到新信息时，解码器应当访问哪一个帧存储器。在一个可能有例如超过100个摄像机要轮询的高性能系统中，这是关键的。根据本发明的优选实施例的机制避免发射I-帧数据的需要。

现在参考图4，根据本发明的一个优选实施例，显示多路复用视频传输系统400。该系统包括视频编码器单元420，430，440，每个都有各自的帧存储器425，435，445，用于存储与其各自当前视频/图像帧有关的重建图片。仅为清楚起见显示3个单元。

反过来，视频编码器单元420，430，440发射在输入的各自视频图像之间的已编码的不同，以及运动补偿各自存储的视频/图像帧428，438，448到单个视频解码器410。

值得注意的是，根据本发明的优选实施例，单个视频解码器410包括多个视频/图像帧存储器412，414，416。多个视频/图像帧存储器412，414，416中的每一个保持从各自发射单元/编码器发射的压缩和编码的数据中解码的前次重建帧。

在使用多个视频/图像帧存储器412，414，416时，在单个视频解码器410，避免了先前现有技术中在轮询序列内的所有传输以帧内编码帧开始的要求。这样一种机制更加有效，如下面参考图5a显示的。

现在参考图5a，显示了以上视频通信系统的系统性能的表现500。如图所示，编码器-1的帧存储器425内要发射的帧与运动补偿重建图片之间的压缩和编码的差别在第一时间周期被发射给解码器(428)，以解码从而创建存储在解码器帧存储器412中的重建输出图片。

应当注意到，一旦建立了轮询，相较于可用传输时隙和现有技术中参考图3描述的机制，任何时隙的第一帧的传输和接收占用大大减少的时间，因为它是一个P-帧而非I-帧。结果，在传输时隙中，极大提高了发射和接收的预测P-帧的数量。视频解码器输出510对应于各自解码器帧存储器：帧存储器-1 412，帧存储器-2 414，帧存储器-3 416。

如图所示，在编码器-2的帧存储器435内的要发射的帧与运动补偿重建图片之间的压缩和编码的差别在第二时间周期内发射给解码器(438)，从而将其解码以创建存储在解码器帧存储器-2 414内的重建输出图片。

相似地，在编码器-3的帧存储器445内的要发射的帧与运动补偿重建图片之间的压缩和编码的差别在第三时间周期内发射给解码器(448)，从而将其解码以创建存储在解码器帧存储器-3 416内的重建输出图片。如前面的一样，机制然后返回到发射编码器-1的帧存储器425内在下一要发射的帧和先前的运动补偿重建图片之间的已压缩和编码的差别。

应当注意到，编码器和解码器在本发明优选实施例中是同步的。这样，编码器不继续发射不被解码器处理的帧。

在发送帧内编码(I)帧的初始轮询序列之后，每当重新选择视频发射器，将显示来自每个编码器的较大数量的P帧。P帧的数量取决于多个因子，其中之一是时隙长度。因此，当应用本发明的发明概念到现存图像传输系统时，可以选择时隙长度为一个方便的数目，例如2个TETRA多帧(2×1.02秒)。

在下一视频发射器被选定之前，如图5a所示，在序列中的下一编码器然后发射它们用于在解码器处理和显示的各自的P帧。

有利的，当与现有技术中的配置相比较，这些额外数目的发射P帧将给用户在感觉上提供一系列视频片断，而非在一系列的“静止图片”之后有少量的“不平稳”视频。

图5b显示使用本发明的发明概念的另一可选方法。该方法遵循参考图5a描述的初始I-帧传输序列。然而，有益的是，用于后续P-帧传输的每个视频发射器时隙428，438，448的时间减少到小于传输I-帧所需要的时间，在此例子中减小到1.02秒(与一个TETRA多帧时间周期相等)。

在此减少的时间中，每个视频发射器都可以发射多个P帧。此可选实施例的一个好处是相对于没有采用此发明的视频传输系统，可以获得较快的轮询时间。获得较快的轮询时间的同时仍然保持呈现一系列视频片断给用户。此外，由于设定这样的P-帧时间周期有这种灵活性，此可选方法可以添加到或修改使之适合于任何时序结构。

为量化在现实的视频传输系统中采用上述发明概念的好处，让我们设想基于TETRA的系统实例。已知的视频格式包括使用352×288像素的公用中分辨率图像格式(CIF)，以及使用176×144像素的四分之一公用中分辨率图像格式(QCIF)。

例如，基于TETRA的系统可能分配19.2 Kbps的数据速率给压缩的视频数据，一个具有目标帧速率为10帧每秒(fps)和目标Q是12的QCIF图像。仿真工作的结果是，本发明的发明者可以确定，使用“hall monitor”序列(代表本领域中技术人员已知的一种安全应用)，发射一个I-帧的时间是1108毫秒，发射一个平均P-帧的时间是116毫秒。

因此，当移动到序列的下一发射器之前，在基于TETRA的轮询CCTV系统中的多路复用器能允许每视频发射器2.04秒(相当于2个TETRA多帧)。一种未采用本发明的现有技术TETRA系统，在两个TETRA多帧中可以包含一个I-帧和多达8个P-帧。实际上少于8个P-帧，因为直接在I-帧之后的P-帧通常包含更多数据。采用本发明中的概念，在分配的时间内可以传输17个P-帧，由此从各视频发射器给用户更多的综合性数据。

在某些情况中，通过执行一个改变检测参数可以获得更快的多路复用模式。如果在当前观看的帧和存储帧之间确定的变化低于一个预定阈值，解码器就不发射任何新的差别信息。通过编码器发送一个没有任何先前数据的结束标记给解码器，可以获得更快的多路复用模式。在此例子中，该接收结束(receiving end)好像它已经发信号给摄像机停止发射，并随后接收到确认一样处理。该接收结束然后发信号给在轮询列表中的下一摄像机开始编码并发射。

现在参考图6，根据本发明的一个优选实施例，显示了详细说明在多路复用视频通信系统中编码器(发射视频单元)的操作的流程图600。编码器的操作从编码器接收视频/图像帧序列610开始。

在现有技术的系统中(它本质上需要多路复用器)，当被选定时，编码器将立即发射一个帧内编码帧，随后是相互编码帧。然而，根据本发明的优选实施例，编码器在步骤620首先确定该编码器是否被指令发射视频/图像帧序列610到解码器。步骤620和660确保发射和接收帧缓存器包含相同数据。

如果在步骤620，特定的编码器确定它被指令发射视频/图像帧序列到解码器，编码器检测以查看是否早已发射了一个帧内编码帧到解码器，如步骤630所示。如果在步骤630在此通信中没有发射帧内编码帧到解码器，就发射帧内编码帧初始化该发射，如步骤640。

应当注意到，在本发明优选实施例的环境中的通信部意味着连续的、无中断视频序列的传输。“通信”包含编码器不发射视频更新信息的过长的时间周期。因此，在需要时，即在由于上一传输超过了阈值或当前编码器视频帧和存储的上一帧的比较结果需要重新发送一个帧内编码帧的一个时间周期内，可定义一个新的通信。

根据参考图5a或图5b说明的优选方案，后续相互编码帧的传输，即P-帧，然后被发射给解码器，如步骤650所示。基于来自解码器单元或其他控制机制的指令，然后重复此过程以查看是否将继续，如步骤660所示。如果过程继续，则在步骤650进一步发送相互编码帧。如果停止发射，例如由于来自其他视频编码单元的紧急中断请求，过程返回到步骤620。

现在参考图7，显示了一个流程图700，详细说明了根据本发明一个优选实施例，在多路复用视频通信系统中的解码器(视频接收单元)的操作。

从编码器单元(或摄像机)N接收压缩和编码的视频/图像数据，如步骤710所示，其中参考ID是N。然后检测视频/图像数据ID以查看它是否对应于用于对输入数据解码的当前可用重建图片的ID，步骤720。如果不是，则解码过程有一个中间步骤，在此步骤中，存储图片的存储器被切换到对应于接收到的数据的ID的帧存储器，如步骤730所示。

作为一个例子，假定解码器当前正解码与摄像机(或编码器)N+3有关的图像数据。在步骤720，N的接收数据ID被检测，并发现与用于解码的重建图片不相符。因此，在步骤730，使用来自帧存储器ID＝N的重建存储图片，而非来自帧存储器ID＝N+3的重建存储图片。

然后在步骤740检测输入数据，以确定它是否是一个帧内编码帧。如果输入数据是一个帧内编码帧，在步骤750被解码，并存储解码后的图片到图片存储器ID＝N，如步骤760所示。过程然后返回到步骤720。

如果在步骤740确定输入数据不是帧内编码帧，在步骤750，从存储在存储器中的图片和ID＝N的P-帧数据的附加物生成一个预测帧。该预测图片然后用于更新存储在特定ID＝N的存储器中的图片，如步骤780所示。然后过程返回到步骤720。

现在参考图8，显示了根据本发明一个优选实施例，在多路复用视频通信系统中采用的H.263解码器(接收视频单元)实例800的框图。然而，这样一种发明概念可被应用到任何视频或图像传输系统，这也在在本发明的保护范围之内。

多个视频/图像帧被输入到多个编码器(未示出)中。采用了根据本发明优选实施例的编码控制模块来强制每个编码器执行帧内编码或相互编码的编码过程，如图6。

在本发明的此优选实施例中应当特别注意的是引入指示编码控制模块操作的编解码器(编码器)使能功能(未示出)。该编解码器使能功能被引入以确保当解码器不想接收来自特定编码器单元的视频/图像帧时，在编码器和解码器的帧存储器步调一致。

通常，上述修改可以任何适合方式在各通信单元中实现。例如，可以添加新的装置到常规通信单元中，或可选地可以修改常规通信单元的现存部分，例如重编程其中的一个或多个处理器。这样，所需的修改可以用存储在存储介质(例如软盘，硬盘，PROM，RAM或任何这些或其他存储介质的组合)上的处理器可执行指令的形式实施。

在图8中，解码器800包括解码控制模块810，它接收来自编码单元的标志“P”802，表明接收到的帧是帧内编码帧还是相互编码帧。

根据H.263标准，解码器800为了转换接收到的系数“q”812，接收一个量化标志(index)。该量化标志被输入到逆量化器功能模块814，并将量化值输入到逆转换模块816。逆量化功能模块814接收来自解码器控制模块810的控制信号。

来自逆转换模块816的输出被输入到求和节点818。求和节点818也接收来自功能模块830的、用运动补偿可变延迟执行图像生成的输入。更具体地，功能模块830包括一个运动补偿模块834，该模块接收发射自编码器单元的运动向量“V”832。该运动补偿模块834用运动补偿延迟提供图像生成到求和节点818。

根据本发明的优选实施例，修改图片存储器存储以合成单个的图片存储器(PM)模块850，852，854，856，858，用于生成与不同编码器单元相关的各自重建图像。用开关842，844选择相关的PM功能。整个图片存储器选择过程由图片存储器控制(PMC)840控制。

在系统中每个编码器有一个PM。相关的PM在PMC的控制下被切换到电路。根据预定多路复用器策略或控制，PMC知道切换哪个PM。这允许每个编码器，当被重新选择时，发射P-帧，而非必须用一个I-帧开始每个时隙。包含在PM中的旧数据使得上述可以发生。

更一般地，可以在各通信单元上以任何合适的方式实施修改。例如，可以添加新的装置到常规通信单元中，或可选地可以修改常规通信单元的现存部分，例如重编程其中的一个或多个处理器。这样，所需的修改可以用存储在存储介质(例如软盘，硬盘，PROM，RAM或任何这些或其他存储介质的组合)上的计算机可执行指令的形式实施。

现在参考图9，显示了优选方法的解码器控制多个摄像机传输的轮询操作的时序图1000。更具体地，在时间基线(time-basis)1002上，显示了在信令1010、接收器操作1030、视频帧存储器控制1050和视频解码器1070之间的交互的例子。该交互使得视频数据的管理更快速、正确。

本领域技术人员将认识到，几个不同的多路复用器策略能用于使用本发明。因此下面的仅作为例子给出。

让我们假定视频传输系统从摄像机“N-1”轮询到“N+1”。解码器/接收器1030接收来自“N-1”摄像机的更新的信息1032。当解码器(例如由一个规则自动控制或由一个操作者动态选择)决定将显示从摄像机“N-1”改变到“N”时，发信号给摄像机“N-1”停止编码并停止发射1012。一旦编码器结束接收这个停止编码和发射的请求，它发送一个确认1014，特定视频发射的传输结束。

一旦接收器信令系统检测到来自摄像机“N-1”的确认，它就发信号给摄像机“N”开始编码和发射1016。在此期间，摄像机“N-1”刷新它的缓存器，并发送最后更新信息，其中它的视频更新数据的结束用一个结束标记1034表示。在编码器传输系统中包括少量的延迟，以确保摄像机“N”直至摄像机“N-1”发射了它的结束标记才开始发射。

然后以用于开始第N个摄像机1016的信令信道重复该过程，直至编码器单元接收到一个停止编码和发射的消息并发送其相应的结束发射确认1022给解码器。然后用信令信道1024，1026控制第“N+1”个摄像机。

一旦接收器完成它的“N-1”摄像机信息的更新，通过检测用于摄像机“N-1”的结束标记1034，解码器传输它的当前重建图片到“N-1”帧存储器1052。然后解码器完成用于摄像机“N-1”的图片更新1072。在结束标记1034之后接收的信息与用于摄像机“N”的更新信息有关。

解码器从帧存储器“N”1052装入上次重建图片(在图9中描述作“换出“N-1”换入“N””)。解码器然后开始接收来自第“N”个摄像机1036的更新信息1074。

一旦接收器完成了它的第“N”个摄像机信息的更新1038，解码器内帧存储器的更新从“N”切换到“N+1”1054。这样一个切换确保解码器的最近图片移动到第“N”个帧存储器1074，并且第“N+1”个解码器帧存储器被装入。解码器然后完成更新用于摄像机“N”的图片，然后开始接收来自第“N+1”个摄像机1040的更新信息1076。

可选地，已知系统时序点可用作完全改变视频数据流的触发点。当前重建帧在编码器帧存储器(例如摄像机“N-1”)中冻结，该摄像机不执行任何进一步处理，直至当下一次它被轮询时，被发信号让这样做。

在最快的可能时间内解码器可以访问合适的帧存储器是重要的。优选地，使用一个共享可寻址总线，从而每个对应于各摄像机的帧存储器具有唯一的地址。在轮询模式中，当各摄像机依次被轮询时，地址简单地递增。然而，如果发生紧急情况，突然不按顺序分配给一个摄像机优先级，需要一个通知哪个摄像机正发射的信令装置，该装置的例子显示在图10中。

现在参考图10，显示了用于紧急摄像机传输1100的控制机制。更具体地，在时间基线1102上，说明了紧急信令控制机制，强调显示了在信令1110，接收器操作1130，视频帧存储控制1150和视频解码器1170之间的交互操作。该交互操作使得视频信号的管理更快速，正确。

如果，在任何时间，信令系统(假定图9)从摄像机“M”接收到一个紧急请求1112，同时摄像机“N”正更新，该解码器发信号给摄像机N结束它的传输1114(好像摄像机“N”到达它的轮询传输末尾时一样)。发信号给摄像机“N”，让它停止传输，忽略任何自动的(定时的)动作。一旦在解码器接收到确认1116，摄像机“M”被发给信号1118以开始编码和传输。现在操作将如轮询情况中所描述的一样进行下去，即使现在访问帧存储器是不按顺序的。

来自摄像机“N”的图片用接收到的更新信息1132进行更新1172，直至解码器接收到结束标记消息1134。然后接收和处理来自摄像机“M”的更新信息1136。关于解码器访问各自的帧存储器，“换出N换入M”1152确保解码器最近的图片移动到“N”帧存储器，并且解码器使用对应于“M”的帧存储器。用于摄像机“M”的图片然后被更新1174。

优选紧急控制机制可以使用一个将摄像机地址(例如在WebCams情况下的IP地址)和解码器帧存储器编号连接起来的地址查询表。如果从系统中添加或删除摄像机，该查询表可以动态更新，使得它成为一个非常灵活的系统。

在此说明的发明概念对于带宽受限的多路传输视频安全应用(特别是在无线通信信道之上)的视频和图像编码器的发展和设计有重大影响。

此外，在此说明的发明概念可应用于任何使用预测编码的视频压缩系统，例如H.263，H.261，MPEG-4，Motion-JPEG。该实现是遵从标准的，因为并没有改变比特流，而仅仅是智能控制。该方法可应用到有线和无线系统，并且在现有且显而易见的解决方案的基础上有对于用户节约成本并增强性能的优点。本发明也可应用到按照3G标准，4G协议或其他任何使用相互(inter-)和内部(intra-)帧的压缩方法的视频压缩系统中。

总之，提供了具有多个视频发射器的视频传输系统。每个视频发射器发射至少一个各自的视频图像，并且至少一个视频接收器接收来自多个视频发射器的视频图像。该至少一个视频接收器具有多个用于存储来自各个多个视频发射器的视频图像的多个帧存储器。视频接收器从各视频发射器接收压缩和编码的视频图像。

此外，说明了一种视频编码器，它具有接收视频图像的接收器，用于将所述视频图像编码并发射到视频解码器。该视频编码器可操作连接到一个编码控制模块，该模块初始化单个帧内编码视频帧的发送，随后是预测帧的后续传输。这样的后续预测帧是唯一传输的帧，不管在视频传输中是否存在中断。

提供了一种视频解码器，它具有用于接收视频图像的接收器，可操作连接到用于接收和存储多个重建视频图像的多个帧存储器，上述重建图像从来自多个视频发射器的压缩和编码发送图像产生。

同样描述了适于组合上述视频编码器或上述视频解码器，或适于在上述通信系统中操作的一种通信单元。

同样描述了在视频传输系统中编码的方法。该方法包括如下步骤：由编码器确定是否该编码器被指令发射视频/图像帧序列到解码器。如果编码器确定它被指令发射视频序列到解码器，步骤包括由编码器检测是否先前已经发射了帧内编码帧到解码器；和如果没有发送用于该通信的帧内编码帧，则发送帧内编码帧到解码器。否则步骤包括发射相互编码帧到解码器。

此外，描述了一种在视频传输系统中解码的方法。该方法包括如下步骤：从视频编码器接收压缩和编码的视频序列；确定接收的视频序列的摄像机或编码器参考指示(reference indication)；和由解码器检测，以查看所述的确定参考指示是否对应于用于当前解码的存储图片存储器的参考指示。该步骤还包括如果参考指示与所述存储图片存储器不符，解码器切换正用于处理的图片存储器。

同样描述了一种适于执行上述编码方法或上述解码方法的通信单元。

也描述了一种在视频传输系统中轮询摄像机的方法。该视频传输系统包括多个编码视频传输摄像机和至少一个解码视频接收单元。该方法包括如下步骤：接收发射自第一摄像机的图片更新信息(1032)到在解码视频接收单元的多个帧存储器之一；解码视频接收单元发信号给该第一摄像机停止编码视频图像并停止发射视频序列；解码视频接收单元发信号给第二摄像机开始编码和发射；以及接收发射自该第二摄像机的图片更新信息到所述多个帧存储器中的另一个。

描述了一种在视频发射器系统中控制多个视频编码器的方法。该方法包括如下步骤：存储来自各摄像机的最近的重建帧，从而使来自摄像机的后续传输是基于来自那个摄像机的所述存储的最近重建帧的，存储最近的重建帧的步骤响应于：编码器到达其传输时间末尾，或第一摄像机编码器的视频传输被具有较高优先级的第二摄像机中断。

同样描述了一种适于执行轮询摄像机的方法步骤和/或适于执行控制多个视频编码器的任何方法的通信单元。

此外，描述了一种存储介质，存储用于控制处理器执行任何上述方法步骤的处理器可执行指令。

应当理解，上述视频传输系统，视频传输单元以及编码/解码视频数据的方法至少提供以下优点：

(i)在带宽受限的多路复用信道上的监视更加快速，无需牺牲感兴趣对象的空间图像分辨率；

(ii)在解码器端的图像恢复具有更好的感觉质量，因为作为低传输延迟的结果，主观瞬时不平稳大大减少；

(iii)对于CIF图像优于QCIF图像的图像/视频传输系统，在此建议的机制更加快速；

(iv)用户/图像/视频操作者将受益于：

(a)感兴趣对象的高空间分辨率，

(b)由于要发射的数据量的减少，一旦建立轮询，具有快速的第一图像显示时间，以及

(c)相比现有技术的系统中所能允许的，将更快传输后续第一视频帧。这使得在给定数目的摄像机中能更快轮询。可选地，在一个轮询系统中，允许每个摄像机在分配时间中能接收更多后续图像帧。

(v)使摄像机能够无缝切换进/出它们正常的序列，同时仍然保持本发明的上述优点。

因此，本发明提供一种视频传输系统，一种视频传输单元和编码/解码视频数据的方法，以及一种轮询摄像机的方法，其中基本上减轻了现有技术的装置中的上述缺点。

Claims (33)

1.一种在视频传输系统中编码的方法，所述方法包括如下步骤：

编码器确定(620)所述编码器是否被指令发射视频/图像帧序列(610)到解码器；以及

如果所述编码器确定它被指令发射视频序列到所述解码器，

所述编码器检测(630)是否先前已发送了帧内编码帧到所述解码器；

如果没有用于该通信的帧内编码帧被发射，则发送(640)帧内编码帧到所述解码器；以及

否则，发射(650)相互编码帧到所述解码器。

2.根据权利要求1所述的在视频传输系统中编码的方法，所述方法进一步包括如下步骤：编码器等待(660)发射自所述解码器或其他控制机制，命令所述编码器停止对当前视频序列编码的指令。

3.一种适于执行根据权利要求1或2所述的编码方法的通信单元。

4.一种在视频传输系统中解码的方法，所述方法包括如下步骤：

从视频编码器接收(710)压缩和编码的视频序列；

确定接收的视频序列的摄像机或编码器参考指示；

解码器检测(720)以查看所述确定的参考指示是否对应于正用于当前解码的存储图片存储器的参考指示；以及

如果所述参考指示与所述存储图片存储器不符，所述解码器就切换(730)正用于处理的图片存储器。

5.根据权利要求4所述的在视频传输系统中解码的方法，所述方法进一步包括如下步骤：

所述解码器检测(740)接收到的视频帧，以确定它是否是帧内编码帧；和以下二者之一：

如果确定接收到的视频帧序列是帧内编码帧，则在与编码单元相关的帧存储器中存储解码图片；或者

如果确定接收到的视频帧序列不是帧内编码帧，则从存储在存储器中的图片生成(750)预测视频帧，并使用所述预测图片更新(780)存储在存储器中的图片。

6.根据权利要求1或2所述的在视频传输系统中编码的方法，或根据权利要求4或5所述的在视频传输系统中解码的方法，其中所述视频传输系统是多路复用视频传输系统。

7.一种适于执行根据权利要求4或5执行的解码方法的通信单元。

8.一种在视频传输系统中轮询摄像机的方法(1000)，所述视频传输系统具有多个编码视频传输摄像机以及至少一个解码视频接收单元，所述方法包括如下步骤：

接收发射自第一摄像机的图片更新信息(1032)到在所述解码视频接收单元的多个帧存储器之一；

所述解码视频接收单元发信号给所述第一摄像机，使其停止对视频图像编码以及停止发射视频序列；

所述解码视频接收单元发信号给第二摄像机，使其开始编码和发射；以及

接收发射自所述第二摄像机的图片更新信息到所述多个帧存储器的另一个中。

9.根据权利要求8所述的轮询摄像机的方法(1000)，进一步包括所述第一摄像机发送最后更新信息的步骤，所述步骤包括发送结束标记以标识其视频更新数据的结束。

10.根据权利要求9所述的轮询摄像机的方法(1000)，所述方法进一步包括如下步骤：

检测由所述第一摄像机发射的结束标记(1034)；以及

所述解码器将它的当前重建图片传送到与所述第一摄像机相关的帧存储器(1052)中。

11.根据权利要求8到10中任何一项所述的轮询摄像机的方法(1000)，所述方法进一步包括如下步骤：

所述解码器从与所述第二摄像机相关的帧存储器(1052)中装入上次重建图片；以及

从所述第二摄像机接收(1036，1074)更新信息。

12.根据权利要求8到11中任何一项所述的轮询摄像机的方法(1000)，所述方法进一步包括如下步骤：

所述第一摄像机用确认来响应特定视频传输的传输已经结束；以及

在所述解码器接收来自所述第一摄像机的确认。

13.根据权利要求22到26中任何一项所述的轮询摄像机的方法(1000)，所述方法进一步包括如下步骤：

在完成视频序列的传输后，刷新在所述编码单元和所述视频解码单元中的所述第一摄像机存储缓冲器。

14.一种适于执行根据权利要求8到13所述的任一轮询摄像机方法的通信单元。

15.一种在视频发射器系统中控制多个视频编码器的方法(1100)，所述方法包括如下步骤：存储来自各摄像机的最新重建帧，从而使来自摄像机的后续传输基于来自那个摄像机的所述已存储的最新重建帧，存储最新重建帧的步骤响应于：

编码器到达它传输时间的终点；或者

第一摄像机的编码器的视频传输被具有较高优先级的第二摄像机中断。

16.根据权利要求15所述的在视频发射器系统中控制多个视频编码器的方法(1100)，所述方法进一步包括如下步骤：

在来自第一摄像机的视频图像正在更新的同时，从第二摄像机接收紧急请求(1112)；

所述解码器发(1114)信令请求给所述第一摄像机以停止它的视频传输；

发送接收到所述信令请求(1116)的确认给所述解码器；以及

发信令(1118)给所述第二摄像机以开始编码和发射它的视频序列。

17.根据权利要求15或16所述的在视频发射器系统中控制多个视频编码器的方法(1100)，所述方法进一步包括根据权利要求8到13所述的任一轮询方法。

18.一种适于执行根据权利要求15到17中任一项所述的控制多个视频编码器的任一方法(700)的通信单元。

19.一种存储介质，存储有用于控制处理器以执行权利要求1，2，4到6，8到13，15到17中任一项所述的方法的处理器可执行指令。

20.一种视频传输系统(400)，其包括：

多个视频发射器(420，430，440)，每个视频发射器发射至少一个各自的视频图像；

至少一个视频接收器(410)，用于接收来自所述多个视频发射器的视频图像，所述至少一个视频接收器具有多个帧存储器(412，414，416)，用于分别存储来自所述多个视频发射器的视频图像，所述视频接收器接收来自相应的视频发射器的压缩和编码的视频图像。

21.根据权利要求20所述的视频传输系统，其中所述视频接收器(410)中的帧存储器的数量实际等于视频发射器的数量。

22.根据权利要求20或21所述的视频传输系统，所述视频接收器包括处理器，所述处理器用于重建最新的帧，相应的视频发射器使用所述最新的帧生成发射的数据，并将所述最新的重建帧存储到与所述相应视频发射器相关的视频帧存储器中。

23.根据权利要求22所述的视频传输系统，其中当相应的视频发射器到达其传输时间末尾时，或来自相应视频发射器的传输被另一个具有较高优先级的摄像机中断时，存储来自视频发射器的最新的重建帧。

24.根据权利要求22或23所述的视频传输系统，其特征进一步在于，所述处理器延迟发射自所述相应视频发射器的视频图像的重建，直至所述视频接收器发信号给所述相应视频发射器重新开始视频传输。

25.根据权利要求20到24中的任一项所述的视频传输系统，其中所述多个视频发射器发射单个帧内编码视频帧，随后是预测帧的后续传输，而不管在传输中是否有中断。

26.根据权利要求25所述的视频传输系统，其中所述帧内编码帧在预定时隙中发射，后续预测帧在短于分配给所述帧内编码帧的时隙中发射。

27.根据权利要求20到27中的任一项所述的视频传输系统，其中所述多个编码器以及所述至少一个解码器通过在各自上次重建帧的帧编号和/或绝对传输时序之间通信而同步。

28.一种视频编码器，其包括接收器，用于接收视频图像以编码并发射所述视频图像到视频解码器，所述视频编码器可操作连接到编码控制模块，所述编码控制模块初始化单个帧内编码视频帧的传输，随后是预测帧的后续传输，这样的后续预测帧是唯一发射的帧，不管在视频传输中是否有中断。

29.一种适于结合根据权利要求28所述的视频编码器或适于在如权利要求20所述的通信系统中操作的通信单元。

30.一种视频解码器(800)，其包括用于接收视频图像的接收器，可操作连接到用于接收和存储多个重建视频图像的多个帧存储器，所述多个重建视频图像产生自来自多个视频发射器的压缩和编码的发射图像。

31.根据权利要求30所述的视频解码器(800)，其特征进一步在于用于控制整个图片存储器选择过程的图片存储控制器(840)。

32.根据权利要求30或31所述的视频解码器(800)，其中所述视频解码器(800)适于按照H.263标准，MPEG-4标准，3G标准，4G协议，或任何其他使用相互和帧内帧的压缩方法来操作。

33.一种适于结合根据在先权利要求30到32的任一项所述的视频解码器的通信单元。

Images