CN1910926B - 用于处理视频通信差错的方法和装置 - Google Patents

用于处理视频通信差错的方法和装置 Download PDF

Info

Publication number
CN1910926B
CN1910926B CN2005800029066A CN200580002906A CN1910926B CN 1910926 B CN1910926 B CN 1910926B CN 2005800029066 A CN2005800029066 A CN 2005800029066A CN 200580002906 A CN200580002906 A CN 200580002906A CN 1910926 B CN1910926 B CN 1910926B
Authority
CN
China
Prior art keywords
video
frame
data
bit stream
fast update
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2005800029066A
Other languages
English (en)
Other versions
CN1910926A (zh
Inventor
斯蒂芬·F·布朗
马尔万·A·贾布里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dilithium (assignment for the benefit of creditors) Co.
Dilithium network Co.
Dilithium Networks Inc
Original Assignee
Dilithium Networks Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dilithium Networks Inc filed Critical Dilithium Networks Inc
Publication of CN1910926A publication Critical patent/CN1910926A/zh
Application granted granted Critical
Publication of CN1910926B publication Critical patent/CN1910926B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6371—Control signals issued by the client directed to the server or network components directed to network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/66—Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
    • H04N21/6473—Monitoring network processes errors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64746—Control signals issued by the network directed to the server or the client
    • H04N21/64761—Control signals issued by the network directed to the server or the client directed to the server
    • H04N21/64776—Control signals issued by the network directed to the server or the client directed to the server for requesting retransmission, e.g. of data packets lost or corrupted during transmission from server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一种用于处理多媒体网关设备(14)中的视频比特流差错的方法，其中网关设备(14)检测传入视频比特流(16)中的差错，并发送信号到发起设备(13)以便刷新比特流，而无需从最终的终端设备(15)进行差错检测。当终端设备(15)发出刷新视频比特流的信号时，网关(14)在本地生成和传送适当的刷新帧。本发明允许网关为诸如流和消息服务器等没有内建差错处理的设备处理差错。

Description

用于处理视频通信差错的方法和装置
背景技术
本发明总地涉及处理电信信号。存在若干个用于编码通过通信链路的音频和视频信号的标准。这些标准允许终端(手机、桌上型电脑、网关等等)与支持相同的标准集合的其他终端交互。不支持公共标准的终端仅在其间插入有额外设备(即代码转换网关)时才能进行交互。代码转换网关将编码后信号从一种标准转换为另一种。多媒体网关是这样的一种代码转换网关，它除了代码转换之外还可以执行其他功能，例如居中调节不同网络(移动、分组陆上线路等)上的终端之间的呼叫信令，以及在终端所使用的协议之间转换命令和控制信息。在一些应用中，终端之一可以是服务器应用(例如视频信件应答服务)。多媒体网关可以是物理上独立的单元，也可以是服务器系统内的模块。代码转换网关被简称为多媒体网关。
不同网络上的终端也可以使用相同的媒体编解码器(音频、视频)。但是，对在通过通信信道传送的帧中被编码比特的封装可能不同。例如，语音和视频比特流都是通过将它们的比特帧封装到实时协议(RTP)分组中来通过分组网络传送的。RTP分组包括包含诸如时间戳和序列号等信息的头部信息。由压缩比特流的群组构成的媒体(语音、视频、数据)比特形成了这种RTP分组的有效载荷。
另一方面，在采用H.324M/3G-324M标准的3G视频电话网络上，媒体比特块(media bit chunk)被复用到电路交换比特流中。
依赖于所使用的网络和底层通信协议，媒体比特块(有效载荷)可能具有不同的操纵大小和边界的规则，根据这些规则，这些比特群组被编解码器形成并准备好以RTP分组或被复用在电路交换信道上的形式被传送。
因此，多媒体网关不仅必须处理终端使用的不同编码标准之间的代码转换，还必须验证和调节比特群组的大小和边界，以便满足在那些网络上使用的协议的成帧要求。因此，虽然当终端使用相同的编解码器时，本质上可能不涉及代码转换，但是网关仍需要处理音频和视频比特流，以使它们在有效载荷大小和有效载荷边界方面兼容。
感兴趣的一种特定情形是具有移动视频电话终端(例如H.324M/3G-324M终端)的环境。移动终端使用无线电通信，由于干扰或发送/接收条件，比特流中常常会引入差错。用户很容易注意到音频和视频的毁损。过度的音频和视频毁损会显著恶化用户体验。
复习一些视频压缩原理是有帮助的。
视频数据由图像序列构成。每个单个的图像被称为一帧。
混合视频编解码器使用若干种方法来编码(压缩)帧中的信息。与本发明的有关的编码后帧类型有：
·I帧被编码为静态图像，并且可以独立于其他帧而被解码。
·P帧被编码为与前一个或前几个I或P帧之间的差别，以便利用帧中的相似性。
·B帧被编码为与前几个或后几个I或P帧之间的差别，以便利用帧中的相似性。
预测视频编码(被编码为P和B帧的帧)是现代视频压缩中的一种关键技术，其允许编码器通过使用来自前几帧的信息对视频帧进行压缩来去除视频序列中的时间冗余。
要被编码的帧首先被分裂为宏块。宏块包含源帧的方形区域的亮度和色度分量。在H.261、H.263和MPEG视频压缩标准中，源视频帧被分解为包含16×16亮度图片元素(像素)和相关联的色度像素(对于4:2:0格式的源视频来说是8×8像素)的宏块。
然后，宏块被进一步划分为块。亮度和色度像素被存储在独立的块中。块的数量和大小依赖于编解码器。遵从H.261、H.263和MPEG-4的视频编解码器将每个宏块划分为6个8×8像素块，4个用于亮度，两个用于色度。
通过首先使用变换来去除空间冗余然后量化变换系数来对每个块编码。这个阶段将被称为“变换编码”。使用行程(run length)和可变长度编码来对非零的量化后变换系数进一步编码。这第二个阶段将被称为VLC编码。逆向处理将被分别称为VLC解码和变换解码。H.261、H.263和MPEG4视频压缩标准使用离散余弦变换(DCT)来去除块中的空间冗余。
可以3种方法来对宏块编码：
·“帧内编码”的宏块具有直接从被编码的源帧拷贝的像素值。
·“帧间编码”的宏块利用源帧序列中的时间冗余。帧间宏块具有从当前源帧的像素值和参考帧的像素值之间的差别形成的像素值。参考帧是先前被解码的帧。在计算差别时使用的参考帧的区域是由指定当前帧中的宏块和它在参考帧中的最佳匹配之间的位移的一个或多个运动向量来控制的。
·“未编码”宏块是相比于前一帧没有显著改变的宏块，对于这些宏块不传送运动或系数数据。
给定帧中包含的宏块类型依赖于帧类型。对于本算法所感兴趣的帧类型来说，允许的宏块类型如下：
·I帧可仅包含帧内编码宏块。
·P帧可包含帧内、帧间和“未编码”宏块。
在一些视频编解码器中，宏块可被组合成被称为“块群组”或GOB的单元。
诸如H.261、H.263和MPEG-4视频等视频编码标准描述了压缩视频比特流的语法和语义。发送和接收设备之间的通信中的差错通常将导致接收器中的视频解码器在接收到的比特流中检测到语音差错。视频帧的比特流中的毁损不仅影响正被处理的当前图像，还会影响使用预测编码被编码的很多后续视频帧(例如P或B帧)。大多数视频通信协议使用包括基于所谓“视频快速更新”请求的差错恢复方案的命令和控制协议。该请求用信号通知发送视频的一方将下一视频帧编码为I帧(仅使用当前视频帧的内容进行编码)。视频快速更新技术将任何毁损限制在很短的(最好是不被用户觉察的)时间段内，从而允许视频质量很快恢复。
传统的多媒体网关设计规定网关将视频快速更新从发起终端中继到另一终端(手机或例如视频邮件应答服务这样的服务器应用)。图1示出了这一处理。发送终端101向多媒体网关102发送视频数据，多媒体网关102处理比特流并将其发送到接收终端103。当两个终端使用相同的编码标准时，现有技术比特流处理可以包括实际的代码转换或格式化。当接收终端103检测到视频比特流中的差错时，它向多媒体网关102发送视频快速更新请求，多媒体网关102将该请求重传到发起终端101。这种方法在某些情形下(例如视频会议中)工作得很好，在这些情形下两个终端主动地编码/解码视频流，并且能够在它们检测到毁损或它们被请求时发送视频快速更新。
下面描述传统的比特流差错处理可能不能应付的情况。
诸如消息和流服务器等视频终端设备可能不能检测传入视频比特流中的差错(它们可能不解码比特流，而是简单地照已压缩的原样存储比特流)或对视频快速更新请求作出响应，因为它们可能正在发送已被编码(压缩)的比特流，因此不会主动地进行编码从而改变它们的编码模式以编码和发送I帧。例如，诸如视频应答服务(其仅将视频邮件消息以压缩格式保存在邮箱中，并在以后中继压缩视频比特流)这样的消息服务器既不能检测比特流差错，也不能对视频快速更新请求作出响应。在此情形下，多媒体网络处理差错情况是很重要的，否则用户将继续看到视频毁损，直到消息比特流中的下一I帧被发送。这会显著恶化用户体验，因为依赖于压缩比特流中I帧的频率，毁损将持续几秒(有可能是10秒)。在比特流中存储更多的I帧不能缓解这个问题，因为I帧比P帧占用更多的比特率带宽，因此视频的实际帧速率可能受到影响。
在将视频邮件消息存放于视频应答服务处的情形下，在移动终端发送视频比特流时，在无线接口上可能引入差错。如果多媒体网关仅中继比特流而不检查差错，并且视频应答服务记录比特流而不对其进行检查，则毁损的视频将被记录。
需要这样的方法，其允许多媒体网关处理在移动终端所接收或发送的视频比特流中引入差错的情况。
发明内容
根据本发明，提供了用于处理多媒体网关设备中的视频比特流差错的方法，其中网关设备检测传入视频比特流中的差错，而不依赖于最终的终端设备处的差错检测，并且发送信号到发起设备以便刷新比特流。当终端设备发出刷新视频比特流的信号时，网关在本地生成和发送合适的刷新帧。多媒体网关中的视频在任何连接协议上在任意混合视频编解码器对之间被处理，以使得多媒体网关能够高效地处理视频比特流差错。
当传入多媒体网关的视频比特流可能存在比特差错时，该装置包括用于检测毁损并用信号通知发送终端从毁损中恢复的模块。毁损可能在数据被首次接收和在媒体独立层被处理时被检测出来(例如在解复用期间的校验和差错或序列号不匹配)，或者毁损可能被能够检测穿过多媒体网关的视频比特流中的差错的用于输入编解码器的解码模块检测出来。当在媒体独立级别检测到差错，并且传输协议支持重传时，发送终端可被请求重发数据。当重传请求不可用或不被希望时(由于重传过程将引入延迟，并且可能导致音频和视频流失去同步)，并且当差错被检测为视频流语法差错时，网关发送视频快速更新请求到发送终端。
视频邮件服务器需要视频解码器来检查其接收的视频比特流。视频邮件服务器需要耦合到视频解码功能的命令和控制功能来发送视频快速更新来请求发送手机发送I帧。本发明介绍了检查视频比特流以查找差错的功能，还介绍了位于多媒体网关中的视频快速更新的发送器的通知，即使网关的两侧使用相同的视频编码标准。这具有若干优点，因为网关一般比服务器具有大得多的实时处理功率，而且网关是距离发送器最近的网络元件，因此用于处理差错的时间比差错到达和被视频邮件服务器处理的时间相比要短得多。此外，多媒体网关还可进行视频代码转换，因此差错处理可被包含在代码转换器中。
当被网关发送的视频在多媒体网关和接收器之间的信道中有可能引入比特差错时，该装置包括用于输入编解码器的解码模块和用于输出编解码器的编码模块。当多媒体网关接收视频快速更新请求时，编码模块能够将解码模块的输出转换为I帧，不论被解码的帧的帧编码类型如何。
本发明允许网关在本地处理“视频快速更新”请求，以获得最小的视频毁损和更好的用户体验。“视频快速更新”请求的本地处理要求多媒体网关中的视频处理能够响应于视频快速更新请求来发送I帧。该本地处理可以多种方式进行：
a)如果视频处理执行解码和重编码(级联代码转换器)，则网关中的视频处理器的编码器能够很容易地执行视频快速更新请求。
b)一种用于实现视频快速更新请求的本地处理的可替换的视频处理方法是将这种处理嵌入智能视频代码转换模块中。这种代码转换器可以在宏块基础上操作宏块，或在帧基础上操作帧。在以下情况下，该视频代码转换模块能够处理代码转换：
i.两个终端(例如用户端点和消息或内容服务器)使用的编码标准相同。例如，代码转换器可解码输入比特流，但是当不存在差错时，它不变地再次使用输入比特流，仅在需要生成I帧以服务于视频快速更新请求时才引入重编码的成本。
ii.终端所使用的编码标准不同，但是相似性允许智能代码转换。例如，代码转换器可对每帧解码和重编码，但是在编码阶段再次使用诸如运动矢量和宏块编码类型等信息。这一情形的代码转换器可很容易地被扩展到响应于视频快速更新请求而将任意帧重编码为I帧。
视频网关的本地差错检测不仅简化了视频邮件服务器(其一般不适合于3G-324M所规定的实时比特流处理)的功能，而且最小化了视频毁损的持续时间，因为如果视频快速更新请求必须行进到视频邮件服务器并且返回的话，往返时间将会更长。在多媒体网关中在本地检测差错和生成视频快速更新显著减少了邮箱订户面对从视频邮件服务器获取的视频中的毁损的时间。它还使得不需要在视频邮件服务器中包含视频解码器。
结合附图，参考以下详细描述来更详细地描述本发明。
附图说明
图1是示出了处理视频快速更新请求的传统现有技术多媒体网关连接的框图。
图2是根据本发明的多媒体网关中的差错检测处理的流程图，其中接收到的比特流数据可能包含差错。
图3是示出了根据本发明的从第一混合视频编解码器到第二混合视频编解码器的多媒体网关连接的框图，其中在网关接收到的视频数据中可能存在比特差错。
图4是示出了根据本发明的从第一混合视频编解码器到第二混合视频编解码器的多媒体网关连接的框图，其中网关可以接收来自接收器的视频快速更新请求。
具体实施方式
参考具体实施例描述本发明。在用于H.324M/3g-324M(此后称为3G-324M)到H.323协议转换和多媒体代码转换的多媒体网关的特定情形下，H.323终端可以是使用H.323协议来与多媒体网关通信的视频邮件应答服务，或者可以是其他类型的服务器或最终用户终端。3G-324M和H.323协议在这里仅被用于说明目的。这里描述的方法是通用的，并且适用于实质上通过任何连接协议的实质上任何混合视频编解码器对之间的多媒体网关中的视频处理。本领域的技术人员将认识到，在不脱离本发明的精神和范围的情况下可使用其他步骤、配置和布置。
当3G-324M手机通过无线接口发送其视频时，比特差错可能被引入，导致信息有效载荷不可避免地出现毁损。本发明的装置检测到这些差错，并能够立即在不需要远端接收终端(即视频邮件服务器)介入的情况下，通过执行“视频快速更新”来请求发送终端帮助从差错状况恢复。该装置在带外(即通过ITU-T H.245消息)发送所述请求，或者通过可使用带外或带内反向信道的等同装置来发送所述请求。在3G-324M和H.323的上下文中，可使用固有的H.245消息，因为它是3G-324M和H.323的一部分，并且它为这些消息的传送提供了便利。
图2是用于代码转换网关的优选实施例中的差错检测处理的流程图，其中在网关处接收的比特流数据可能包含比特差错。从发送终端接收数据(步骤A)，从接收到的数据提取媒体比特流(步骤B)。存在于数据中的媒体可包括多个视频和/或音频比特流。图中为了简明起见仅示出了单个视频比特流。如果在比特流提取期间检测到差错(步骤C)，并且重传请求是可操作的，而且网关被配置为偏好重传请求胜于视频快速更新(步骤D)，则网关请求该数据被重传(步骤J)。如果重传不被支持或不被偏好，则网关将请求视频快速更新(步骤H)。如果在比特流提取期间未检测到差错，则视频比特流被检测以查找差错(步骤E)。如果在比特流中找到了差错(步骤F)，则网关将请求视频快速更新(步骤H)，否则它将如常对比特流进行代码转换(步骤G)。
图3是用于代码转换网关系统10的特定实施例的框图，其中在网关14处接收的视频比特流可能包含比特差错。附图示出了来自3G-324M终端13的视频比特流在被发送到H.323终端15之前穿过网关14时的情形。
信道16上的传入视频比特流被传输层接口17解码。如果传输层处理在接收到的比特流中检测到差错，并且重传请求是可操作的，则传输层可发送重传请求到发送终端13。
接收到的视频比特流被传递到语法解码模块18。语法解码模块18负责检查比特流的语法正确性。它不必对视频比特流完全解码。
当语法解码模块18检测到比特流差错时，差错被以信号的形式通知给控制模块20。控制模块将生成视频快速更新请求，其使用合适的控制协议被发送回3G-324M终端。当模块18在时间窗内快速连续检测到若干差错时，控制模块可选择仅发送一个视频快速更新请求。检测模块18可以是扫描视频比特流但不重构视频帧的简化视频解码器模块。这可被称为语法解码，因为比特流被扫描以查找差错，并且差错被报告给控制模块20。本领域的技术人员可以实现差错检测模块。
传入视频比特流也被传递到处理模块19。该处理模块19执行一般的代码转换任务，例如将输入比特流转变为不同的视频标准和/或改变比特流的比特率。如果输入和输出视频标准相同，则处理模块19可仅将输入传递到输出，根据需要对分组边界作出任何改变。如果处理需要传入比特流被解码(例如级联代码转换器)，则处理19和语法解码模块18可被组合。当需要代码转换时，处理模块19的最常用设计是级联代码转换器。这种模块由传入视频标准的解码器构成，该解码器的输出以未压缩视频帧的形式被用作到传出视频标准的编码器的输入。视频解码器和编码器的实现是基于相应的标准化团体公布的编码器和解码器标准来进行实现的信号处理工程师所从事的普通任务。例如，H.263是由国际电信联盟(ITU)制定的标准。MPEG4视频编解码器是由国际标准化组织(ISO)制定的标准。编码器、解码器和级联代码转换器可由本领域的技术人员实现。
来自处理模块19的视频数据到达传输层模块21，在此处其与控制和其他媒体比特流组合。然后，数据通过信道22被发送到接收终端15。
当3G-324M终端通过无线接口接收其视频时，可能出现比特差错，导致不可避免的毁损信息有效载荷。该消息获取阶段期间的比特差错必须被管理。在获取期间，被干净存储的压缩视频比特流通过多媒体网关、MSC被视频邮件或内容服务器发送到终端。从MSC的发送(通过无线电接口)可能引入比特差错。视频邮件服务器的消息存储上的视频比特流最可能以压缩格式存储。
未压缩的视频需要大量存储空间，并且在视频邮件服务器上执行近实时压缩的计算量太大。如果终端中的视频解码器检测到由于无线电接口状况而造成的差错，则它将发送“视频快速更新”请求到发送器。因为视频邮件服务器发送预存储的压缩比特流，因此它可能不能处理要求未压缩视频内容的实时编码/响应的“视频快速更新”请求。
网关是处理“视频快速更新”请求的适当阶段。本发明允许网关在本地处理“视频快速更新”请求，以获得最小的视频毁损和更好的用户体验。
图4是代码转换网关的特定实施例的框图，其中网关发送的视频比特流可包含比特差错。该示意图示出了来自H.323终端23的视频比特流在被发送到3G-324M终端25之前穿过网关24的情形。
传入信道26上的数据被传输层接口27解码。数据中存在的媒体可包括多个音频和/或音频比特流。图中为了简明起见仅示出了单个视频比特流。
视频比特流被解码模块28解码。传出比特流由编码模块29生成。当没有视频快速更新被请求时，编码模块29可使用来自解码模块的输出和/或中间结果来生成经代码转换的比特流。如果输入和输出视频标准相同，则编码器29可仅将输入传递到输出，可能将比特流分裂为具有用于传出传输标准的合适的大小和对齐方式的分组。
当网关24的控制模块30接收到来自3G-324M终端的视频快速更新时，它用信号通知编码器29将下一帧编码为I帧。在此情形下，编码器29使用来自解码器28的输出作为输入。
来自视频编码器29的数据到达传输层模块31，在此处其与控制和其他媒体比特流组合。然后，该数据通过信道32被发送到接收终端25。
“视频快速更新”的本地处理要求网关中的视频处理能够响应于视频快速更新请求发送I帧。该本地处理可以用多种方式实现：
a)如果视频处理执行解码和重编码(在级联代码转换器中)，则网关中的视频处理器的编码器能够很容易地执行视频快速更新请求。级联代码转换器中的视频解码器充当解码模块28，编码器充当编码模块29。控制模块30用信号通知视频编码器29将下一帧编码为I帧。执行完整的解码/重编码不是实现本地视频快速更新处理的最优技术，例如因为其需要很大的处理功率。
b)一种可替换的视频处理快速更新过程将视频处理嵌入智能视频代码转换模块中。这种代码转换器可以在宏块基础上操作宏块，或在帧基础上操作帧。在以下情况下，该视频代码转换模块将能够处理代码转换：
i.两个终端(例如用户端点和消息或内容服务器)使用的编码标准相同。例如，代码转换器必须解码输入比特流，但是当不存在差错时，它可不变地再次使用输入比特流，仅在需要生成I帧以服务于视频快速更新请求时引入对解码后视频帧重编码的成本。当需要生成I帧时，代码转换器将解码后的帧数据传递到编码器，以便被记录为I帧中的帧内宏块。
ii.终端所使用的编码标准不同，但是相似性允许智能代码转换。例如，代码转换器可对每帧解码和重编码，但是在编码阶段再次使用诸如运动矢量和宏块编码类型等信息。与前一情形一样，当需要生成I帧时，代码转换器将解码后的帧数据传递到编码器，以便被记录为I帧中的帧内宏块。
参考特定实施例描述了本发明。但是本领域的普通技术人员将很清楚其他实施例。因此，本发明不应受到除所附权利要求之外的限制。

Claims (14)

1.一种用于将从发送所存储的视频比特流数据的服务器接收的并且使用第一混合视频编解码器编码的视频比特流数据转换为使用第二混合视频编解码器编码的第二比特流数据的装置，包括：
视频比特流解码器，所述视频比特流解码器置于数据终端之前的数据路径中，并且对所述所接收的视频比特流数据解码；
耦合到所述视频比特流解码器的用于在接收到视频快速更新请求时将帧重编码为I帧的编码器；以及
耦合到所述编码器并被配置用于接收所述视频快速更新请求并且用信号通知所述编码器以将下一帧编码为I帧的控制模块。
2.如权利要求1所述的装置，其中在接收到所述视频快速更新请求时，使用帧内宏块来对单独的块群组和宏块重编码。
3.如权利要求1所述的装置，其中用于从正进行发送的所述服务器接收的视频比特流数据的标准与所述第二比特流数据匹配。
4.如权利要求1所述的装置，其中所述视频比特流解码器是在对每一帧编码之前对每一帧完全解码的级联代码转换器。
5.如权利要求1所述的装置，其中所述视频比特流解码器仅对选定的宏块重编码。
6.如权利要求1所述的装置，其中所述视频比特流解码器操纵离散余弦变换域中的数据。
7.一种在多媒体网关设备处的用于将从发送所存储的视频比特流数据的服务器接收的并且使用第一混合视频编解码器编码的视频比特流数据转换为使用第二混合视频编解码器编码的第二比特流数据的方法，包括：
在置于数据终端之前的数据路径中的视频比特流解码器中对所述所接收的视频比特流数据解码；
在所述多媒体网关设备处接收来自所述数据终端的视频快速更新请求以便将下一帧编码为I帧；以及
在接收到所述视频快速更新请求时，在所述多媒体网关设备处将帧重编码为I帧。
8.如权利要求7所述的方法，其中在接收到所述视频快速更新请求时，使用帧内宏块来对单独的块群组和宏块重编码。
9.如权利要求7所述的方法，其中用于从正进行发送的所述服务器接收的视频比特流数据的标准与所述第二比特流数据匹配。
10.如权利要求7所述的方法，其中所述视频比特流解码器是在对每一帧编码之前对每一帧完全解码的级联代码转换器。
11.如权利要求7所述的方法，其中所述视频比特流解码器仅对选定的宏块重编码。
12.如权利要求7所述的方法，其中所述视频比特流解码器操纵离散余弦变换域中的数据。
13.如权利要求7所述的方法，其中正进行发送的所述服务器不能处理视频快速更新请求。
14.如权利要求9所述的方法，其中从正进行发送的所述服务器接收的视频比特流数据被分裂成具有适当的大小和对齐方式的分组，并被传递到针对传出传输标准的第二比特流。
CN2005800029066A 2004-01-21 2005-01-20 用于处理视频通信差错的方法和装置 Expired - Fee Related CN1910926B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/762,829 US20040252761A1 (en) 2003-06-16 2004-01-21 Method and apparatus for handling video communication errors
US10/762,829 2004-01-21
PCT/AU2005/000059 WO2005071966A1 (en) 2004-01-21 2005-01-20 Method and apparatus for handling video communication errors

Publications (2)

Publication Number Publication Date
CN1910926A CN1910926A (zh) 2007-02-07
CN1910926B true CN1910926B (zh) 2012-02-08

Family

ID=34807542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800029066A Expired - Fee Related CN1910926B (zh) 2004-01-21 2005-01-20 用于处理视频通信差错的方法和装置

Country Status (6)

Country Link
US (2) US20040252761A1 (zh)
EP (1) EP1714488A1 (zh)
JP (1) JP4808161B2 (zh)
KR (1) KR100844224B1 (zh)
CN (1) CN1910926B (zh)
WO (1) WO2005071966A1 (zh)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7796499B2 (en) * 2003-12-05 2010-09-14 Telefonaktiebolaget L M Ericsson (Publ) Method of and system for video fast update
US7636348B2 (en) * 2004-06-30 2009-12-22 Bettis Sonny R Distributed IP architecture for telecommunications system with video mail
US7826831B2 (en) 2004-06-30 2010-11-02 Bettis Sonny R Video based interfaces for video message systems and services
US20070291776A1 (en) * 2005-07-28 2007-12-20 Dilithium Networks, Inc. Method and apparatus for billing for media during communications in channel-based media telecommunication protocols
US20070291106A1 (en) * 2005-07-28 2007-12-20 Dilithium Networks, Inc. Method and apparatus for providing interactive media during communication in channel-based media telecommunication protocols
CN101278278A (zh) * 2005-07-28 2008-10-01 达丽星网络有限公司 在基于信道的媒体远程通信协议的通信期间提供交互式媒体的方法和装置
US8614732B2 (en) * 2005-08-24 2013-12-24 Cisco Technology, Inc. System and method for performing distributed multipoint video conferencing
US8102878B2 (en) * 2005-09-29 2012-01-24 Qualcomm Incorporated Video packet shaping for video telephony
US8842555B2 (en) * 2005-10-21 2014-09-23 Qualcomm Incorporated Methods and systems for adaptive encoding of real-time information in packet-switched wireless communication systems
US8514711B2 (en) * 2005-10-21 2013-08-20 Qualcomm Incorporated Reverse link lower layer assisted video error control
US8548048B2 (en) * 2005-10-27 2013-10-01 Qualcomm Incorporated Video source rate control for video telephony
US8406309B2 (en) * 2005-10-21 2013-03-26 Qualcomm Incorporated Video rate adaptation to reverse link conditions
US7944862B2 (en) * 2005-11-09 2011-05-17 Onmobile Global Limited Accelerated session establishment in a multimedia gateway
US20070147314A1 (en) * 2005-12-22 2007-06-28 Telefonaktiebolaget Lm Ericsson (Publ) Network processing node and method for manipulating packets
US20070177606A1 (en) * 2006-01-13 2007-08-02 Dilithium Networks Pty Ltd. Multimedia streaming and gaming architecture and services
JP4916726B2 (ja) * 2006-01-24 2012-04-18 株式会社日立国際電気 カメラ装置
US8427956B1 (en) 2006-03-06 2013-04-23 Cisco Technology, Inc. Facilitating packet flow in a communication network implementing load balancing and security operations
US7907594B2 (en) * 2006-06-01 2011-03-15 Cisco Technology, Inc. Marking keyframes for a communication session
KR20120034084A (ko) * 2007-01-10 2012-04-09 콸콤 인코포레이티드 멀티미디어 전화 통신을 위한 컨텐트- 및 링크-의존 코딩 적응 구조
US8767839B2 (en) * 2007-01-22 2014-07-01 Qualcomm Incorporated Error filter to differentiate between reverse link and forward link video data errors
WO2008098249A1 (en) * 2007-02-09 2008-08-14 Dilithium Networks Pty Ltd. Method and apparatus for the adaptation of multimedia content in telecommunications networks
US20080192736A1 (en) * 2007-02-09 2008-08-14 Dilithium Holdings, Inc. Method and apparatus for a multimedia value added service delivery system
KR101487771B1 (ko) * 2007-08-10 2015-01-30 삼성전자주식회사 이동통신 시스템에서 영상 정보를 복구하기 위한 방법 및장치
CN101394568B (zh) * 2007-09-20 2011-06-15 华为技术有限公司 视频数据的更新方法及其装置和系统
CN101836398B (zh) * 2007-10-23 2013-06-19 飞思卡尔半导体公司 调度分组流信道的处理的方法、集成电路和通信单元
US8797850B2 (en) * 2008-01-10 2014-08-05 Qualcomm Incorporated System and method to adapt to network congestion
US8406296B2 (en) * 2008-04-07 2013-03-26 Qualcomm Incorporated Video refresh adaptation algorithms responsive to error feedback
CN102172020B (zh) * 2008-09-09 2014-09-03 爱移通全球有限公司 用于发送视频的方法和设备
US8891539B2 (en) * 2008-09-26 2014-11-18 Nec Corporation Re-searching reference image for motion vector and converting resolution using image generated by applying motion vector to reference image
JP4775432B2 (ja) * 2008-12-11 2011-09-21 ソニー株式会社 送信装置、受信装置、通信システム、通信方法、及びプログラム
US8838824B2 (en) * 2009-03-16 2014-09-16 Onmobile Global Limited Method and apparatus for delivery of adapted media
US8189492B2 (en) * 2009-03-18 2012-05-29 Microsoft Corporation Error recovery in an audio-video multipoint control component
CN101990092B (zh) * 2009-07-29 2015-04-01 中兴通讯股份有限公司 无线视频通讯系统中差错控制的方法、装置及系统
CN101742437B (zh) * 2009-12-11 2013-08-07 中兴通讯股份有限公司 移动视频的通信方法及服务端、服务器
US9025672B2 (en) * 2011-05-04 2015-05-05 Cavium, Inc. On-demand intra-refresh for end-to end coded video transmission systems
EP2533537A1 (en) * 2011-06-10 2012-12-12 Panasonic Corporation Transmission of picture size for image or video coding
US9185152B2 (en) 2011-08-25 2015-11-10 Ustream, Inc. Bidirectional communication on live multimedia broadcasts
CN102938833B (zh) * 2012-07-25 2016-10-12 苏州科达科技股份有限公司 视频会议中的方法及装置、多点控制设备及视频会议系统
US9992088B1 (en) 2014-11-07 2018-06-05 Speedy Packets, Inc. Packet coding based network communication
US9992126B1 (en) 2014-11-07 2018-06-05 Speedy Packets, Inc. Packet coding based network communication
US9979664B2 (en) 2015-07-07 2018-05-22 Speedy Packets, Inc. Multiple protocol network communication
US10320526B1 (en) 2014-11-07 2019-06-11 Strong Force Iot Portfolio 2016, Llc Packet coding based network communication
US9825733B1 (en) 2014-11-07 2017-11-21 Speedy Packets, Inc. Packet coding based network communication
US10999012B2 (en) 2014-11-07 2021-05-04 Strong Force Iot Portfolio 2016, Llc Packet coding based network communication
CN104539593B (zh) * 2014-12-18 2017-06-23 中国人民解放军信息工程大学 H.245消息解析方法
US9232190B1 (en) * 2015-04-01 2016-01-05 Ringcentral, Inc. Systems and methods for managing multimedia conference calls
US11646808B2 (en) 2016-05-09 2023-05-09 Strong Force Iot Portfolio 2016, Llc Methods and systems for adaption of data storage and communication in an internet of things downstream oil and gas environment
CN111818338B (zh) * 2020-07-23 2022-10-11 腾讯音乐娱乐科技（深圳）有限公司 一种异常显示检测方法、装置、设备及介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5541852A (en) * 1994-04-14 1996-07-30 Motorola, Inc. Device, method and system for variable bit-rate packet video communications
KR0176635B1 (ko) * 1995-05-10 1999-05-01 김광호 비트스트림의 병직렬 변환회로
US5768533A (en) * 1995-09-01 1998-06-16 National Semiconductor Corporation Video coding using segmented frames and retransmission to overcome channel errors
KR100262453B1 (ko) * 1996-08-19 2000-08-01 윤종용 비디오데이터처리방법및장치
US5870146A (en) * 1997-01-21 1999-02-09 Multilink, Incorporated Device and method for digital video transcoding
GB2347038A (en) * 1999-02-18 2000-08-23 Nokia Mobile Phones Ltd A video codec using re-transmission
GB2353624A (en) * 1999-08-24 2001-02-28 Kenneth Woods Electronic book with interchangeable cartridges
US6300973B1 (en) * 2000-01-13 2001-10-09 Meir Feder Method and system for multimedia communication control
JP4495821B2 (ja) * 2000-03-06 2010-07-07 株式会社東芝 データ伝送システムとその通信装置
KR100364748B1 (ko) * 2001-01-05 2002-12-16 엘지전자 주식회사 영상 변환 부호화 장치
JP2004222009A (ja) * 2003-01-16 2004-08-05 Nec Corp 異種網接続ゲートウェイおよび異種網間通信課金システム
US7796499B2 (en) * 2003-12-05 2010-09-14 Telefonaktiebolaget L M Ericsson (Publ) Method of and system for video fast update

Also Published As

Publication number Publication date
KR100844224B1 (ko) 2008-07-04
EP1714488A1 (en) 2006-10-25
US20090097563A1 (en) 2009-04-16
JP4808161B2 (ja) 2011-11-02
US20040252761A1 (en) 2004-12-16
KR20070001134A (ko) 2007-01-03
JP2007525885A (ja) 2007-09-06
WO2005071966A1 (en) 2005-08-04
CN1910926A (zh) 2007-02-07

Similar Documents

Publication Publication Date Title
CN1910926B (zh) 用于处理视频通信差错的方法和装置
JP3931595B2 (ja) データ修正装置及びデータ修正方法
US7653251B2 (en) Method, apparatus, system, and program for switching image coded data
RU2291586C2 (ru) Система и способ маскирования ошибок видеосигнала
CN101175213B (zh) 视频源编码的方法和设备以及视频源解码的方法和设备
US6357028B1 (en) Error correction and concealment during data transmission
JP4803343B2 (ja) 動画像データの符号変換伝送システム、符号伝送方法及び符号変換受信装置
CN101427573B (zh) 用于可缩放视频编码比特流的稀疏化的系统和方法
JP6522583B2 (ja) 改善されたｒｔｐペイロードフォーマット設計
JP4820559B2 (ja) 映像データ符号化及び復号化方法及び装置
KR101122143B1 (ko) 수신기 버퍼 아키텍처를 나타내는 버퍼 파라미터의 시그널링
JP2008067395A (ja) 適応可変長符号化
JPWO2008117892A1 (ja) コンテンツ配信システム、変換装置及びそれらに用いるコンテンツ配信方法
JP4662085B2 (ja) 動画像蓄積システム、動画像蓄積方法および動画像蓄積プログラム
CN114827669B (zh) 一种视频数据的传输方法、装置、介质及设备
JP4252017B2 (ja) 符号化ストリーム中継装置、その方法及びプログラム
KR100704116B1 (ko) 멀티미디어 서비스를 위한 다중 실시간 인코딩 방법 및 그서버 장치
Li et al. Real-time streaming and robust streaming h. 264/avc video
KR20020059007A (ko) 복수 채널 동영상 전송 장치 및 인터넷 방송 시스템
KR100713363B1 (ko) 이동통신 시스템에서 엠펙 전송 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: DILITHIUM NETWORK COMPANY

Free format text: FORMER OWNER: DILITHIUM NETWORKS PTY LTD.

Effective date: 20110708

Owner name: DALIXING (FOR THE TRANSFER OF THE INTERESTS OF CRE

Free format text: FORMER OWNER: DILITHIUM NETWORK COMPANY

Effective date: 20110708

Owner name: ONMOBILE GLOBAL LTD.

Free format text: FORMER OWNER: DALIXING (FOR THE TRANSFER OF THE INTERESTS OF CREDITORS) COMPANY

Effective date: 20110708

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: CALIFORNIA STATE, THE USA TO: BANGALORE, INDIA

Free format text: CORRECT: ADDRESS; FROM: NEW SOUTH WALES, AUSTRALIA TO: CALIFORNIA STATE, THE USA

TA01 Transfer of patent application right

Effective date of registration: 20110708

Address after: bangalore

Applicant after: DILITHIUM NETWORKS, Inc.

Address before: California, USA

Applicant before: Dilithium (assignment for the benefit of creditors) Co.

Effective date of registration: 20110708

Address after: California, USA

Applicant after: Dilithium (assignment for the benefit of creditors) Co.

Address before: California, USA

Applicant before: Dilithium network Co.

Effective date of registration: 20110708

Address after: California, USA

Applicant after: Dilithium network Co.

Address before: New South Wales, Australia

Applicant before: DILITHIUM NETWORKS Pty Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120208

Termination date: 20150120

EXPY Termination of patent right or utility model