CN101647290B - 加速中断后的可视电话的视频恢复 - Google Patents

Abstract

本发明涉及可视电话，尤其涉及对近程终端与远程终端之间正在进行的可视电话通信的恢复或再同步。本发明提出实现一种在无线连接协议栈(例如在基于网络层的无线连接的控制下的UMTS协议栈)与可视电话协议栈(负责处理近程终端与远程终端之间正在进行的可视电话通信的音频和视频数据)之间的机制。因此，近程终端的可视电话代理可以意识到所使用的连接到数据网络的无线连接的可用性，例如，对于UMTS承载，RAT间的UMTS切换会引起其不存在，使得在可视电话连接恢复之后，可视电话代理请求远程可视电话代理产生远程代理的当前的视频图像的独立的编码帧，以用于快速再同步。

Description

加速中断后的可视电话的视频恢复

技术领域

本发明涉及一种用于可视电话通信的恢复和再同步的系统和方法、硬件和/或软件中方法的实现以及包括在硬件和/或软件中实现所述方法的相应移动终端。

具体地说，本发明涉及数据网络中切换之后对正在进行的可视电话通信连接或会话的恢复和再同步。

背景技术

在本文中，可视电话(VT)通常涉及两个或更多个终端用户之间的全双工、实时音频-视频通信，其中通信包含音频(例如语音)和视频、或音频、数据和视频的组合。

过去，所谓的可视会议被限制在用于基于数据包的多媒体通信系统的H.323协议，基本上是由国际电信联盟(ITU)电信标准化部(ITU-T)定义的协议集，用于基于数据网络(例如因特网)的有关任何数据包的音频-视频通信会话，其中使用因特网协议(IP)的语音传输也被称为IP语音(或缩写为VoIP)。除了语音应用之外，H.323还结合ITU-T的T.120系列标准提供用于视频通信和数据协作的机制。简言之，H.323规定了如何能够借助基本的三个主要步骤在IP网络上实现实时服务，这三个主要步骤是：代理(agent)请求接入H.323域的符合H.225协议的信号发送；用于呼叫建立的符合H.245协议的包括待使用的媒体流的信号发送；以及最后的使用实时协议(RTP)的数据传送，所述实时协议是一种定义了管理多媒体数据的实时传输的应用方法的因特网协议标准。

符合H.323架构的部件是(多个)终端(T)、(多个)网关(GW)、(多个)网守(GK)以及用于建立多点会议的(多个)多点控制单元(MCU)。终端是指每个通信连接的终端设备，其中可以提供与其他H.323终端、网关或多点控制单元的实时双路通信。网关用于建立H.323网络中的(多个)终端与属于使用不同协议栈的网络(诸如公共交换电话网络(PSTN))的终端之间的连接。网守负责电话号码与IP地址之间的变换、管理带宽并且提供用于终端登记和验证的机制。

通常，在H.323架构中存在五种类型的信息交换，即数字化的音频(例如，语音或话音)、数字化的视频、数据、通信控制、对连接和会话的控制，其中本文主要关注的是可视电话中的音频和视频的结合。

在H.323协议集中所包含的协议中，存在专用于视频处理的协议，例如H.261，其包含对Px64kps的视听服务的视频编解码，以及H.263，其涉及用于低比特率通信的视频编码。现在最常用的视频编解码是H.263及其后续的H.264/MPEG-4 AVC。

在可视电话中，被传送的视频数据由一系列图像组成，其中单个图像被表示为“帧”。为了减小待传送的视频数据量，使用三种主要类型的编码帧。首先，I帧主要是对静止图像进行编码的一种帧，因此其可以单独被解码从而得到完整的静止图像。其次，P帧是对与一个或多个前面的(多个)I帧或(多个)P帧的差值进行编码的帧。第三，另一帧类型是B帧，是对其与前面的I帧或P帧以及与后面的I帧或P帧的差值进行编码的帧。由于P帧和B帧的编码都是基于差值的编码，因此，被称为预测视频编码，其一方面通过消除视频图像序列中的时间冗余度来提供数据压缩。然而，另一方面，在视频数据的传输期间发生干扰的情况下，也成为质量方面的一个弱点。

可视电话所使用的另一种协议是H.324。H.324的稍加修改的版本(也被称为3G-324M并且已经由第三代合作伙伴计划(3GPP)定义)被用于允许视频呼叫的蜂窝电话。现在的典型用途是用于基于分组的通用移动通信系统(UMTS)的数据网络，诸如频分复用(FDD)、时分复用(TDD)和低码片速率时分复用(LCR-TDD)以及其他的UMTS实现)。该标准包括几个子协议，其用于处理语音、视频、用户和控制数据的多路复用和多路分离(参见H.223协议)以及带内呼叫控制(参见H.245协议)。

由于涉及移动可视电话，所以术语“移动”表示存在通过无线链路或无线连接所连接的至少一个移动终端。因此，在视频比特流中可能产生由干扰所引起的误差。如上所述，用户很容易注意到音频和视频中断和/或恶化。因此，当恶化持续几秒钟时，用户所感受的视频质量可能明显下降，这取决于传输I帧的频率。然而，由于I帧比B帧或P帧需要更大的带宽，所以使用更高频率传输的I帧是不被希望的。

例如，UMTS环境中的可视电话依赖于无线链路控制(RLC)层没有中继的64kbps的同步承载，也被称为RLC透明模式(RLC-TM)。UMTS承载支持每20ms发送和接收两倍80字节的信号序列。对于每个信号序列来说，可能存在一个与之前的信号序列无关的语音帧以及视频帧的一部分。语音帧在20ms步长中相互独立，这是因为所述语音编解码是伪固定语音方案的，其对于自适应多速率(AMR)编码来说是20ms步长而对于符合G.723.1协议的语音编码来说是30ms步长。可视电话承载依赖于UMTS协议栈，而可视电话会话依赖于H.245协议的可视电话协议栈，这两个协议是相互独立的。通常H.245栈对于UMTS协议栈来说是透明的。

H.245协议栈通过用于打开和关闭用于音频、视频和数据、性能交换、控制和指示的逻辑信道(用于数据传输的端点之间的多路复用路径)的消息和程序来控制多媒体通信。在通过呼叫信号发送程序建立连接之后，使用H.245呼叫控制协议来解析呼叫媒体类型并且在能够建立呼叫之前建立媒体流。通过H.245协议，还可以在建立呼叫之后来管理呼叫。存在几种H.245协议提供的逻辑信道程序，其用于打开和关闭逻辑信道。而且，H.245另外还提供了“视频快速更新”命令，对应于下文所述“VideoFastUpdate”请求并且在数据丢失的情况下用于请求视频帧的更新。

如上所述，视频帧可能依赖于之前的除I帧之外的视频帧。在RAT(无线接入技术)间的UMTS硬切换期间，可能发生的是承载的中断时间大于100ms。在某些情况下，在无线链路中断和无线链路故障的情况下，承载的中断可能持续几秒钟。而且，只要网络认为承载是接通的，远程(即，远距离的)承载终端就意识不到该中断。而且，通常当承载恢复时，正在进行的可视电话连接中没有一个通信方意识到该中断时间。

即，由于上述承载比特速率限制的原因，不经常产生I帧，通常在承载中断(例如由于切换引起的)的情况下，在完成承载中断之后，可能需要一些时间来恢复正常的视频。

发明内容

因此，本发明的目的在于加速中断后对正在进行的可视电话通信的视频恢复，即再同步。

具体地说，本发明的目的在于提供一种方法、系统和实现该方法的移动终端，当移动终端所使用的无线通信连接发生中断时，其用于提供对正在进行的可视电话通信的更好的再同步。

本发明的另一目的在于，当移动终端所使用的无线通信连接发生中断时，减小正在进行的可视电话通信中的值得注意的中断时间。

本发明的又一目的在于在中断之后提供感觉到的视频质量的更快速的恢复。

此外，为了实现本发明的至少一个目的，本发明提供了一种根据权利要求1所述的实现移动可视电话功能的系统，该系统用于提供可视电话通信。

根据本发明的第一方面，提供了一种用于实现移动可视电话功能的系统，该系统通过数据网络提供可视电话通信，其中该系统包括无线接入装置，用于连接到数据网络的无线连接并且通过数据网络与至少一个远程终端进行通信，并且其中该系统还包括：

连接到解码装置和编码装置的可视电话控制装置，该解码装置用于对从远程终端接收的视频数据进行解码，该编码装置用于对将要发送到远程终端的视频数据进行编码；

连接到无线接入装置的检测装置，其用于检测现行的(例如当前的)无线接入连接的中断，其中将该检测装置配置为向可视电话控制装置通知无线接入连接的中断；并且其中将可视电话控制装置配置为在无线接入连接恢复之后向远程终端发送请求消息，用于通过远程终端来产生独立的编码视频帧，从而在包含该系统的移动终端实现可视电话通信的再同步。

在一个实施例中，将该系统实现为芯片组，该芯片组可以是一个或其间互连的几个芯片。而且，注意，可以采用软件控制专用硬件部件来实现该系统的全部特定功能。而且，注意，术语“芯片组”还可以包括以下实施例，其中在一个单独的芯片中实现全部功能。

根据本发明另一方面，为了实现本发明的至少一个目的，提供了一种根据权利要求11所述的可视电话通信的再同步方法。

因此，提供了一种在通过数据网络进行通信的可视电话代理之间发生中断之后对可视电话通信进行再同步的方法，其中可视电话代理中的一个是近程代理，该代理是具有连接到数据网络的无线接入的移动代理并且与至少一个远程代理进行通信，其中该方法包括：

近程代理对可视电话通信的中断进行检测，并且在可视电话连接恢复之后请求远程代理产生可视电话通信的独立的编码视频帧，以用于在近程代理处对可视电话通信的再同步。

总之，本发明提出了一种在无线连接协议栈(通过数据核心网络对近程代理的无线连接进行控制)与可视电话协议栈(负责对近程代理和远程代理之间正在进行的可视电话通信的音频和视频数据进行处理)之间实现的机制，使得近程可视电话代理意识到中断，或者更一般来说，意识到所使用的连接到数据网络的无线连接的可用性。在本文中，代理对可视电话连接中断的检测包括由近程代理检测所使用的连接到数据网络的无线接入连接的承载(例如，UMTS承载)的存在。

注意，请求产生独立的编码视频帧不应当理解为是系统性的。换言之，这样的请求可以基于用于触发该请求的某个算法，例如，可以考虑解码器误差检测或者中断的持续时间。

由于本发明涉及数据网络方面，所以不用说，这可以应用于电路交换或分组交换网络以及它们的结合。例如，在某个实施例中，使用UMTS网络作为无线接入网络的示例性实施例，其中无线接入协议栈是UMTS协议栈。在此情况下，即，在UMTS网络的示例中，连接到数据网络的无线连接或链接对应于UMTS承载。核心网络可以是基于诸如因特网之类的网络的互连网协议(IP)。

在一个实施例中，可视电话控制装置由可视电话控制器实现。在一个实施例中，无线接入装置是移动终端的无线接入单元。在一个实施例中，解码装置和编码装置分别是解码器和编码器。然而，注意，这些功能可以由单独的专用芯片或者由可编程硬件和软件及其它们的任意组合来实现。在一个实施例中，用于检测现行的无线接入连接的中断的检测装置是检测器，该检测器被配置用于检测现行的(例如当前的)无线接入连接的中断。

在所提出的方案的一个典型应用中，近程代理从连接到数据网络的第一无线接入连接到另一无线接入连接的切换造成了可视电话通信的中断。所提出的方案的另一个或其他的应用是由于不良无线条件或由于无线链路故障造成的中断。

在另一个实施例中，该方法还包括：近程代理响应于检测到的中断，代理停止近程代理处的可视电话通信的当前显示的帧的更新，从而避免由于丢帧造成的当前显示的视频图像的恶化。换言之，这可以通过具有对相同帧进行解码从而保持显示画面不变的解码器来实现。因此，“保持不变的图像”可以被理解成当近程代理显现从远程代理接收到的最后一个正确的视频帧时在显示器上再现静止图像。

在又一个实施例中，该方法还可以包括：近程代理响应于检测到的中断，代理以保持视频编码器装置(诸如在专用硬件芯片实现的或通过近程代理的软件例程实现的视频编码器)。在本文中，“编码器装置的保持”被理解为暂停或停止对相机装置拍摄的图像进行编码，这是因为由于中断，由此所产生的视频帧不能被发送到远程可视电话代理并且只能填充发送机视频缓冲区作为等待的视频帧，这将在连接恢复之后产生另外的延迟。然而，编码器仍然进行编码也是可行的。

在另一个有利的实施例中，该方法还包括，在无线接入连接的承载恢复之后，在近程代理处产生独立的编码视频帧，并且将独立的编码视频帧发送到远程代理，用于对远程代理处的可视电话通信进行再同步。由于近程代理意识到这种情况，通过该措施可以减小远程代理处正在进行的可视电话通信中可感知的中断时间。

在又一个有利的实施例中，该方法还包括，近程代理响应于检测到的中断，清空要从近程代理传送到远程代理的当前等待的可视电话帧。在一个实施例中，可以将等待的帧存储在发送机视频缓冲区中，即将在缓冲区中排队并且等待被发送的等待帧清除或丢弃，这避免了在无线连接恢复之后发送这种帧所需时间所导致的进一步延迟，这是因为这些帧在该时间点处已经是过期的帧。

对于近程代理请求远程代理产生用于再同步的独立的编码帧，这可以通过在可视电话通信恢复之后从近程代理发送消息或命令(诸如“VideoFastUpdate”-H.245)到远程代理来实现。

因此，在帧编码和解码的情况中，大多数视频通信协议提供了包括被称为“VideoFastUpdate”的视频恢复机制的命令和控制协议。这样的“VideoFastUpdate”请求告知远程代理(例如，终端或服务器)传送视频数据，以将下一视频帧编码为I帧，即仅根据当前视频图像的内容来对下一帧进行编码。

对于本发明所提出的系统，在一个优选实施例中，该系统包括与视频相机装置(例如视频相机)进行连接的相机接口，其在一个实施例中包括数字图像传感器和各个光学器件，用于接收视频相机装置(例如，来自用户)所拍摄的在可视电话通信中作为视频数据将要在移动终端发送的连续图像。

因此，在一个实施例中，该系统的可视电话控制装置被配置成在可视电话连接恢复之后将独立的编码视频帧从视频相机装置所拍摄的当前图像发送到远程终端，以用于远程终端处的可视电话通信的再同步。

如结合所述方法的论述，该系统可以包括存储装置或存储器，例如发送机缓冲区的形式，其用于存储将要发送到可视电话通信的远程终端的正在进行的可视电话通信的等待帧，并且其中可视电话控制装置还被配置成在检测到连接到数据网络的无线接入连接的中断时，清空(即清空存储器装置)或者至少避免等待帧的使用。

而且，在优选实施例中，该系统包括与显示器或显示装置(诸如LCD或TFT类型的数字显示器)进行连接的显示器接口，其用于连接到视频解码装置并且用于提供待显示的经过解码的可视电话数据，即在远程终端处获得的可视电话通信的图像。因此，可视电话控制装置还可以配置成在对连接到数据网络的无线接入连接的中断进行检测时通知或通过显示器接口控制显示装置停止对可视电话通信当前显示的视频图像进行刷新，即保持显示静止图像。在特定实施例中，该特征通过不刷新显示器缓冲区来实现。

因此，基本构思是通知可视电话代理例如由切换(例如由不同无线网络控制器所控制的无线连接的两个无线小区之间的RAT间的UMTS切换)所引起的无线连接(例如UMTS承载)的不存在，从而使可视电话代理能保持当前显示的视频图像不变。在可视电话连接恢复之后，即无线连接(例如UMTS承载)重新建立之后，近程可视电话代理可以使其编码器产生当前的视频图像的独立的编码帧，即H.32x协议族的术语中的I帧，这使得远程可视电话代理的快速再同步可行。

而且，近程可视电话代理可以请求远程可视电话代理来产生远程代理的当前视频图像的独立的编码帧(即H.32x协议族的术语中的I帧)，以用于快速再同步。这可以分别通过例如在H.245协议中可用的“VideoFastUpdate”消息或命令来实现。

换言之，一个主要方面在于在通信的代理(即，通信的可视电话代理)之间快速视频更新功能的使用或应用。然而，注意，这可以通过在可视电话控件与物理网络连接的控件(诸如UMTS承载控件)之间交换与所使用的物理通信连接(诸如UMTS承载)的可用性有关的信息来实现，其中可视电话控件和物理连接控件是两个不同的实体。

这种“VideoFastUpdate”请求通知传送视频数据的终端(或服务器)将下一视频帧编码为I帧，即仅根据当前的视频帧的内容来对下一帧进行编码，这使得视频质量的快速恢复可行。因此，借助“VideoFastUpdate”可以将任何中断限制为极短的时间段。恢复正在进行的视频通信所需的时间越短，将引起所涉及用户的注意的就少。

参考下文所述的实施例加以说明，本发明的这些和其他方面将变得明显。

应该理解，该方案基本可以用于任何类型的数据网络，如电路交换网络、分组交换网络或它们的任意组合。因此，本发明可以将兼容的用户设备用作支持基于电路交换(CS)和/分组交换(PS)连接的可视电话的终端或移动电话。

附图说明

下面将参考附图所示的实施例以非限定示例的方式具体描述本发明。

图1示出了用于通过至少一方是移动终端的数据网络进行的可视电话通信的一般网络架构的简图；

图2以示例的方式示意性地示出了符合H.32x协议族的可视电话协议栈，该协议栈建立在终端T1和T2的接线端侧的网络层上的UMTS协议栈之上；

图3示出了根据本发明的优选实施例和典型应用场景的工作示例的示意流程图；以及

图4示出了包括根据本发明的系统的终端的示意框图。

这些附图是示意性地绘制，而没有按真实比例绘制，并且不同附图中的相同标号(如果存在)指示对应的元件。对于本领域技术人员来说明显的是，在不脱离本发明实际发明构思的情况下，本发明的替代而等效的实施例是可行的，并且本发明的范围仅由权利要求所限定。

具体实施方式

图1示出了用于通过至少一方是移动终端的数据网络进行的可视电话通信的一般网络架构的简图。如以上所强调的，在下文中，符合UMTS标准的网络被用作无线接入网络的示例，为至少一个移动终端提供接入核心网络(可以是因特网)的机会。实质上，可以通过电路交换连接(例如通过ISDN(综合业务数字网))或者通过分组交换连接(例如通过因特网)或者通过它们的结合来连接通信终端。

换言之，在此仅为说明的目的描述这些方法以及对相关标准的现有协议的参考。所述的方法是一般性的，并且应用于可视电话通信的多媒体终端中的视频处理。相关领域的技术人员会认识到可以在不脱离由所附权利要求所限定的本发明的情况下使用替代并等效的步骤、配置和布置。

因此，在图1中，存在移动终端T1，其与另一移动终端T2正在进行可视电话通信。两个终端T1和T2在UMTS环境的中是被称为符合ITU-T所公布的H.32x协议族的终端。换言之，这些终端能够支持顶层的各个多媒体应用运行H.32x协议栈。

在本文中，H.32x协议族的主要目的是能够使多媒体终端互通，其可以通过核心网络CN(诸如电路交换网络(SCN)、无线网络、B-ISDN网络的H.310或H.321终端、ISDN网络的H.320终端或局域网的H.322终端)连接到不同的网络类型。

在图1中，移动终端T1通过UMTS接入网的第一无线小区C1连接，无线小区C1由通过接口luB1与第一无线网络控制器RNC1连接的第一基站或节点BN1提供服务。RNC1提供了到核心网络CN的连接。通过核心网络CN的虚线示意性地表示通过通信终端T1和T2之间的网络所选择的视频通信数据的路径。

移动终端T2也通过UMTS接入网络连接到核心网络CN，该UMTS接入网络包括由基站N4提供服务的无线小区C4，其受核心网络CN的控制并且通过无线网络控制器RNC3连接到核心网络CN。

在图1中示出了网关GW，其用于连接两个不同的网络，一般描述为互通网络IWN。例如，H.32x网关GW可以提供H.32x网络与非H.32x网络N2之间的连通性。例如，网关GW连接并提供H.324终端T1与连接到电路交换网络(SCN)N2的H.323可视电话终端T3之间的通信，所述电路交换网络包括所有交换电话网络，诸如公共交换电话网络(PSTN)。简言之，通过转变呼叫建立和释放的协议、变换不同网络之间的媒体格式并且在经由网关GW连接的网络之间传输信息来实现不同网络的连通性。然而，对于在如图1所示的H.32x网络环境下的两个终端T1和T2之间的通信来说，不需要网关GW。

而且在图1中示出了网守GK，其可以是H.32x网络中所有呼叫的联络点。尽管网守GK并非强制性的需要，但是GK可以提供重要的服务，诸如寻址、终端和网关的授权和验证、带宽管理、结算、计费以及收费。而且，网守GK还可以提供呼叫路径选择服务。

而且，在图1中还示出了多点控制单元MCU，其可以提供对三个或更多个H.32x终端的会议的支持，例如终端T1、T2和T3之间的会议通信。参与会议的所有终端建立与MCU的连接，该MCU管理会议资源、在终端之间协调，以确定使用的音频或视频编码器/解码器(CODEC)，并且可以处理媒体流。值得注意的是，网守GK、网关GW和MCU是逻辑上独立的H.32x标准的部件，而原则上可以实现为单个物理装置。

由于在该示例中的终端T1和T2被假定为移动终端，所以在切换事件中可能会中断两个终端T1和T2之间正在进行的可视电话通信。这在图1中通过终端T1沿着箭头移动到属于UMTS接入网的无线小区C3的新位置来示出。在该新位置处，终端T1被表示为T1*。

无线小区C3由节点B N3提供服务，其由核心网络CN控制并且通过无线网络控制器RNC2连接到核心网络CN。因此，根据触发前提实现终端T1从RNC1控制下的节点B N1到RNC2控制下的节点B N3的切换，这又被称为RAT间的UMTS切换。

如上所述，在无线链路控制(RLC)层没有中继的64kbps的同步承载上载有UMTS环境下的可视电话。UMTS承载支持每20ms发送和接收160字节的信号序列。对于每个信号序列来说，存在与之前的信号序列无关的一个语音帧和视频帧的一部分。语音帧在20ms步长中相互独立。同时可视电话承载依赖于UMTS协议栈，可视电话会话依赖于符合H.245协议的可视电话协议栈。然而，这两个协议是彼此独立的。特别地，通常H.245协议栈对于UMTS协议栈是透明的。

如上所述，因为除了I帧之外，可视电话通信中大多数视频帧(即，P帧和B帧)与之前的视频帧有关。在如图1所示移动终端T1的RAT(无线接入技术)间的UMTS硬切换期间，可能发生承载的中断时间在100ms以上。如上所述，在发生无线链路中断或无线链路故障的情况下，这样的中断可能会持续几秒钟。

而且，只要承载认为UMTS网络已建立，远程承载(即，远距离的承载)终端T2甚至不会意识到该中断。同样，当承载恢复时，正在进行的可视电话连接中的通信终端T1和T2均不会意识到该中断时间。因此，由于承载比特速率限制的原因通常不产生I帧，所以有可能需要一些时间恢复到正常的视频，例如直到每个终端T1和T2处显示的视频被再次同步(即，再同步)为止。

根据本发明，在UMTS协议栈与可视电话协议栈之间实现所述机制以使得可视电话代理能意识到UMTS承载的可用性。这意味着在移动终端T1中各个可视电话控制装置与检测装置(诸如检测器)相连，所述检测装置用于检测UMTS承载的存在。可替换地，当无线接入网络向终端的UMTS协议栈通知有关在进程中将要进行的切换时，可以修改终端中的各个软件程序，从而也向可视电话协议栈通知接下来发生的中断。

因此，可以布置终端中的可视电话装置，从而在中断开始时清空未处理的帧并且保持视频编码器以及显示器不变。随后，在RAT间切换之后，当UMTS承载恢复时，通过在中断完成时请求远程终端T2处的编码器产生I帧来快速地恢复可视电话通信。为了在中断完成时请求远程VT代理处的编码器产生I帧，可以通过H.245“VideoFastUpdate”消息来实现。而且，终端T1还可以在切换之后向远程终端T2发送I帧以用于相同的目的，即使得终端T2立即对可视电话通信的视频进行再同步。

图2以示例方式示意性地示出了符合H.32x协议族的可视电话协议栈，该协议栈建立在终端T1和T2的接线端侧的网络层上的UMTS协议栈之上。

首先，在协议栈之上是应用层，其主要包括音频、视频以及终端呼叫管理器应用。

而且，还提供了至少一个音频编解码器，其对来自麦克风的音频信号进行编码以用于在传输H.32x终端上进行传输，并且对在接收H.32x终端上所接收到的发送到扬声器的音频代码进行解码。音频通信是H.32x标准所提供的最小业务。因此，所有H.32x终端必须支持如在ITU-T G.711建议(64kbps的音频编码)中规定的至少一个音频CODEC。终端也可以支持另外的音频CODEC建议，诸如G.722(64kbps、56kbps和48kbps)、G.723.1(5.3kbps和6.3kbps)、G.728(16kbps)以及G.729(8kbsp)。

而且，提供了至少一个视频编解码器，其对来自照相装置的视频进行编码以用于在传输H.32x终端上进行传输，并且对在接收H.32x终端上所接收到的发送到视频显示器的视频代码进行解码。任何提供视频通信(即，可视电话)的H.32x终端必须支持如在ITU-TH.261/H.263建议中规定的视频编码和解码。

用于登记、许可和状态(RAS)的协议(例如H.225协议)是端点终端T1和T2之间的协议。使用RAS协议来实现登记、许可控制、带宽改变、状态和终端T1和T2之间的分离程序。基本上，使用H.225呼叫信号发送通过交换呼叫信令信道上的H.225协议消息来建立两个H.32x端点之间的连接。

而且，使用例如符合H.245协议的控制信令来交换用于控制H.32x端点(即，终端T1或T2)的操作的端到端控制消息。可能的控制消息载有与其中的性能交换、用来携带媒体流的逻辑信道的打开和关闭、流量控制消息、一般命令和指示有关的信息。H.242还提供了视频快速更新命令，可用来在发生数据丢失的情况下请求视频帧的更新。

在网络层上，使用实时传输协议(RTP)，其提供了实时音频和视频的端到端的传输服务，如在可视电话中尤其需要的那样。尽管使用H.32x协议在基于分组的数据网络(IP网络)上传输数据，但是RTP通常通过用户数据报协议(UDP)传输数据。与RTP对应的协议是实时传输控制协议(RTCP)，其提供控制服务。RTCP的主要功能在于提供关于数据分配的质量的反馈。RTCP的其他功能包括携带RTP源的传输层标识符，被称为规范名称，由接收机使用以同步音频和视频。

在图2中，箭头A表示在作为网络层无线连接协议栈的UMTS协议栈与用于对近程终端和远程终端之间正在进行的应用层上的可视电话通信的音频和视频数据进行处理的可视电话协议栈之间的信息交换。

此处参考图3，其示出了根据本发明的优选实施例和典型应用场景的工作示例的示意流程图。

在图3顶部，示出了正在进行的可视电话通信中所涉及的实体。近端终端T1包括人机接口(MMI)、具有可视电话(VT)栈和资源控件的可视电话近程代理、具有全部编码/解码获取和呈现性能(视频)的功能模块、具有音频编解码和音频路径选择功能(音频)的功能模块以及网络层协议栈(通信)，即与网络接触的全部。还存在把网络自身描述为通信终端T1和T2之间的通信链路的方框。最后，存在表示作为近程终端T1的通信配对方的远程(或远端)终端T2的方框。因此，远程终端T2包括相应的实体MMI、VT代理、视频、音频和通信。

结合图3，其示出了可以采用本发明所提出的方案的UMTS环境的特定情况，步骤S100中的情况对应于图1中的情况，其中移动终端T1由UMTS无线接入网络的节点B N1提供服务。也就是说，在步骤S100中，假定终端T1和T2正在进行可视电话通信。然而，应当注意，一旦建立UMTS承载，就可以在任意阶段采用本发明所提出的方案。

如参考图1所述，终端T1从无线小区C1的覆盖范围移动到无线小区C3的覆盖范围，这触发了RAT间的UMTS硬切换。因此，在步骤S101中，网络向近程终端T1的UMTS协议栈发送各切换命令。因此，事先通知UMTS协议栈关于下面的切换，或者更一般的来说，通知其关于无线链路故障或无线链路中断。然而，如上所述，可视电话协议栈和各视频和音频应用不会意识到从终端到UMTS无线接入网络的无线连接发生的中断。

终端T1的通信实体在步骤S102中向可视电话代理(即，终端T1中的可视电话应用程序)发送各中断请求，以响应于来自网络的切换命令。因此，在步骤S103中，可以停止视频编码器的当前编码会话，并且在步骤S104中，也可以停止音频编码器会话。

当由于RAT间的UMTS切换使得UMTS承载被中断时，近端终端既不接收也不发送可视电话通信的任何视频或音频数据。因而，远程终端处的远端画面被保持不变，这是因为解码器一直在对同一帧进行解码。而且，UMTS承载缓冲区将在切换之前所接收的所有未处理的视频和音频数据块(通常为一个块)提供给可视电话终端以用于解码和呈现。因此，如果存在切换之前所接收的未处理的数据块，仍然可以进行预览。

随后，在步骤S105中，根据本发明的第一方面，终端T1处运行的可视电话代理进行更新或避免使用等待的视频帧，即，如果存在等待的视频帧，则清除或清空可视电话终端中未处理的缓冲区以及图像。换言之并且更一般来说，原理在于避免使得任意未处理的H.223帧进入任何缓冲区(例如中间存储器或存储器，这会在连接恢复时产生端到端的视频和/或音频的传输延迟。

在切换期间，如上所述，在通信双方(即，终端T1和T2)之间将不传输可视电话数据。因而，由于任何新的数据将在UMTS承载缓冲区中排队，有利地是，可视电话终端可以确保不发送任何信息以保持端到端的延迟尽可能的小。因此，根据本发明的一个方面的这些缓冲区的清空意在确保清空可能的未处理缓冲区。

在步骤S200中，在UMTS应用栈中，重新建立网络连接，即终端T1已经建立由图1的节点B N3提供服务的无线小区C3的UMTS承载。随后，在步骤S201中，通信实体发送信号通知网络已经完成切换。因此，在步骤S202中，向终端T1的可视电话代理发送例如重启请求，以再次开始音频和视频的解码和编码。

现在，在步骤S203中，根据本发明的主要方面，终端T1的可视电话代理向远程终端发送H.245协议的“VideoFastUpdate”消息。如上所述，远程终端并没有意识到由切换所引起的中断并且因此将不会发送独立的编码图像，然而，在终端T1的显示器上的视频的快速再同步需要该独立的编码图像。

在步骤S204中，终端T1的可视电话代理再次开始视频编码，例如通常从终端T1的用户端通过终端T1的照相装置拍摄或捕获图像。在步骤S205中，根据本发明的第三方面，终端T1中的可视电话代理请求或命令其自身的视频编码器产生独立的编码图像，即I帧。该步骤实质上对应于将“VideoFastUpdate”消息发送到远程终端T2。紧接着切换之后在终端T1处产生的I帧的目的在于使得远程终端T2处的可视电话代理快速地使其显示的视频再同步。

在步骤S206中，响应于步骤S203中的“VideoFastUpdate”消息，终端T1通过第一H.223帧接收请求的I帧，也可能包含音频帧。

在步骤S207中，发生了视频数据到发送机缓冲区的首次写入，即根据步骤S205所产生的I帧的写入。例如，当在步骤S208中开始音频编码和解码时，以IF2(接口格式)的格式写第一个AMR(自适应多速率)帧。然而，注意，音频编码和解码的分别停止(S104)和开始(S204)对于本发明所提出的方案的实现来说不是必不可少的部分。

最后，从步骤S300开始进行两个终端T1和T2之间的可视电话通信会话。

对于根据本发明的方法的实现以及实现该方法的终端的实现来说，应当理解的是，本发明可以完全以由终端的至少一个专用处理器执行的软件的形式来实现。也就是说，可以将根据本发明的方法的相关方法步骤转换成各个软件代码或命令，其可以存储在终端硬件的存储器中，该存储器可由至少一个处理器访问。因此，由处理器读取时的软件命令将使得处理器与终端系统的相关外围设备相连结来执行根据本发明的方法的步骤。

参考图4，其描绘了终端T的示意性框图，该终端T可以包括电路，或者可以被看作是通过硬件和软件相结合的方式对本发明所提出的解决方案的实现。因此，图4的主要目的在于以示例的方式示出本发明所提出的解决方案的可能的实现，不用说本领域技术人员可以想到等效的方法。

而且，移动终端T包括由中央处理单元或处理器P实现的可视电话电路。这样的处理器P可以是用于移动应用的专用处理器，基本上实现了用于应用层的某些操作系统，在该应用层上可以实现如可视电话应用的应用。

而且，所述处理器P具有通过各个接口IV连接到实现所需的视频编解码的专用视频芯片VC的连接。所述视频芯片VC包括连接到终端T的显示器的显示器接口ID，以用于再现终端的已经由视频芯片解码的视频图像。所述视频芯片VC还具有相机接口IC以用于连接到终端T的视频相机，接口IC将捕获的视频图像提供给视频芯片IC，视频芯片根据如ITU-T H.261/H.263或H.264以及MPEG4建议规定的至少一种视频编解码对所述视频图像进行编码。

而且，终端T包括实现所需的音频编解码(如在ITU-T G.711建议(64kbps的音频编码)中所规定的)的专用音频芯片AC，可替换的或附加的音频芯片AC还可以支持符合G.722(64kbps、56kbps和48kbps)、G.723.1(5.3kbps和6.3kbps)、G.728(16kbps)和G.729(8kbps)的音频。音频芯片AC还具有麦克风接口IM以用于连接到终端T的麦克风M，所述接口IM将所记录的来自终端T的用户的诸如语音之类的音频信号提供给音频芯片AC。而且，音频芯片AC具有连接到终端的扬声器的接口IL以使用户听到在终端T处产生的解码的音频数据。

而且，存在用于由终端的用户输入命令或数据的装置，在此作为示例这些装置被表示为键盘或键区K。

一般来说，显示器D、相机C、麦克风M、扬声器L和键区K均可以被概括为人机接口MMI(如图3所示)。

此外，存在终端T的射频部分RF，其至少与一个或多个天线A连接，以用于在接入诸如UMTS无线网络之类的各个无线接入网期间发送和/或接收无线信号。在图4中，射频部分RF通过无线接口IRF与处理器P相连。应当注意，图4仅仅是示意性表示，其目的在于提供根据本发明的移动终端T的主要架构的整体描述。

最后，不用说，与图4中通过例如由处理器P所实现的软件程序实现的方式相比，还可以采用一个或者其他不同数量的部件来实现在专用硬件芯片中实现的上述功能。即，该方案可以通过计算机程序产品来实现，以用于在经由数据网络通信的可视电话代理之间发生中断之后可视电话通信的再同步，其中可视电话代理中之一是近程代理，该近程代理是具有连接到数据网络的移动代理并且与至少一个远程代理通信。因此，所述计算机程序产品包括代码工具，其用于使得处理器执行本文所限定的与本发明所提出的方法相关的步骤。

因此，对于在通信的近程终端与远程终端之间正在进行的可视电话通信的快速恢复或再同步来说，包括处理器和软件的各个系统实现了无线连接协议栈(在该示例中为UMTS协议栈(图2)，其处在基于网络层的无线连接的控制下)与可视电话协议栈(图2，负责处理在近程终端和远程终端之间正在进行的可视电话通信的音频和视频数据)之间的机制。因此，近程终端中的可视电话代理或应用可以意识到所使用的连接到数据网络的无线连接的可用性，例如，对于UMTS承载，不可用的无线连接可能由RAT间的UMTS切换或者所使用的连接到数据网络物理连接的任何其他中断引起。

因此，在可视电话连接恢复之后，可视电话应用将请求远程终端的远程可视电话应用产生远程代理的当前视频图像的独立的编码帧，以用于快速再同步。而且，近程终端的可视电话应用也可以在可视电话连接恢复之后向远程终端发送近程终端的当前视频图像的独立的编码帧，以用于快速再同步。

最后，应当注意，上述实施例示出而非限制本发明，并且本领域技术人员在不脱离所附权利要求所限定的本发明的范围的情况下能够设计许多替代实施例。在权利要求中，括号中的任何标号不应当理解为对权利要求的限制。词语“包括”及其词行变化并不排除作为整体在任何权利要求或说明书中列出的元件或步骤之外的元件或步骤的存在。元件的单个标号并不排除这些元件的多个引用的存在，反之亦然。在列举几个装置的设备权利要求中，这些装置中的几个可以采用同一软件或硬件来实施。在互不相同的从属权利要求中所记载的某些措施并不表示不能将这些措施组合来获得优势。

Claims (19)

1.一种通过数据网络提供可视电话通信的可视电话功能实现的系统，其中所述系统包括无线接入装置，其用于连接到数据网络的无线连接并且通过数据网络与至少一个远程终端进行通信，并且其中所述系统还包括：

可视电话控制装置，其连接到用于对从远程终端接收到的可视电话数据进行解码的解码装置，并且连接到用于对将要发送到远程终端的可视电话数据进行编码的编码装置；

连接到无线接入装置的检测装置，其用于检测当前无线接入连接的中断，其中所述检测装置被配置成将无线接入连接的中断通知可视电话控制装置；

其中，可视电话控制装置被配置成在无线接入连接恢复之后向远程终端发送请求消息，以使远程终端产生独立的编码视频帧，从而对包括所述系统的移动终端的可视电话通信进行再同步。

2.如权利要求1所述的系统，还包括与视频相机装置进行连接的相机接口，其用于在包括所述系统的移动终端处接收由视频相机装置所拍摄的连续图像，其中所拍摄的图像作为视频数据将在正在进行的可视电话通信中被传送到远程终端。

3.如权利要求2所述的系统，其中所述可视电话控制装置还被配置成在无线接入连接恢复之后向远程终端发送由视频相机装置所拍摄的当前图像的独立的编码视频帧，以实现对移动终端中的可视电话通信的再同步。

4.如权利要求1所述的系统，还包括存储装置，其用于存储正在进行的可视电话通信的等待帧；并且其中可视电话控制装置还被配置成在检测到连接到数据网络的无线接入连接的中断时清空存储器装置中的等待帧或者避免对存储器装置中等待帧的使用。

5.如权利要求1所述的系统，还包括与显示装置进行连接的显示接口，其用于与视频解码装置进行连接并且用于提供待显示的经过解码的可视电话数据；并且其中可视电话控制装置还被配置成在检测到连接到数据网络的无线接入连接的中断时通过显示接口通知显示装置停止对可视电话通信的当前显示的视频帧进行刷新。

6.如权利要求1所述的系统，其中所述数据网络是基于电路交换和/或分组交换连接的网络，并且其中通过无线接入网络建立到数据网络的无线接入。

7.如权利要求1所述的系统，其中无线接入连接是无线承载。

8.如权利要求1所述的系统，其中所述系统通过一个单芯片或通过包括几个芯片的芯片组的电路来实现。

9.一种移动终端，其通过数据网络与经由所述数据网络的至少一个远程终端进行可视电话通信，其中所述移动终端包括根据权利要求1所述的系统或者根据权利要求8所述的芯片或芯片组。

10.如权利要求9所述的移动终端，其中所述移动终端被配置成经由提供连接到数据网络的无线接入的无线接入网络进行通信。

11.一种用于在经由数据网络进行通信的可视电话代理之间发生中断之后对可视电话通信进行再同步的方法，其中所述可视电话代理之一是近程代理，该近程代理是具有连接到数据网络的无线接入的移动代理，并且与至少一个远程代理进行通信，其中所述方法包括步骤：

近程代理检测所述可视电话通信的中断，并且在可视电话连接恢复之后请求远程代理产生可视电话通信的独立的编码视频帧，以用于在近程代理处对可视电话通信进行再同步。

12.如权利要求11所述的方法，其中所述方法还包括步骤：

近程代理响应于检测到的中断，保持近程代理处的可视电话通信的当前显示的帧不变。

13.如权利要求11所述的方法，其中所述方法还包括步骤：

近程代理响应于检测到的中断，保持近程代理的视频编码器。

14.如权利要求13所述的方法，其中对可视电话连接的中断的检测包括近程代理对无线接入连接的承载的存在的检测。

15.如权利要求14所述的方法，其中所述方法还包括：

在无线接入连接的承载恢复之后，在近程代理处产生独立的编码视频帧，并且

将独立的编码器视频帧发送到远程代理，以用于对远程代理处的可视电话通信的再同步。

16.如权利要求11所述的方法，其中所述方法还包括：

近程代理响应于检测到的中断，清空将要从近程代理传送到远程代理的等待的可视电话帧。

17.如权利要求11所述的方法，其中所述中断是由近程代理连接到数据网络的第一无线接入连接到另一无线接入连接的切换所引起的。

18.如权利要求11所述的方法，其中通过将用于快速视频更新的消息或命令从近程代理发送到远程代理来实现请求远程代理产生用于再同步的独立的编码帧。

19.如权利要求18所述的方法，其中所述数据网络是提供符合H.324规范的无线接入的网络，并且其中用于快速视频更新的消息或命令是符合H.245协议的“VideoFastUpdate”消息。

Images