CN1255989C - 利用便携终端的视频通话中的图像处理方法 - Google Patents

Abstract

本发明涉及一种利用便携终端的视频通话中的图像处理方法，以往的视频通话服务直接传输通过照相机获得的高容量数据图像，因此，可能会出现无法在时间内传输的帧，不能提供自然的活动影像。当通信量拥塞时，关于单一帧的数据也不能正常传输，发生图像数据的部分丢失，可能会提供乱码的图像。本发明提供了一种利用便携终端的视频通话中的图像处理方法，通过分析视频通话中数据链路层的通信量，根据其程度自动改变要传输的图像分辨率。当通信量大时，根据其程度进行减小分辨率的图像处理，然后以减小了的数据量传输图像。从而具有这样的效果，即，能够根据通信量的状态，提供自然的最佳的活动影像，显著提高相应服务的质量与可信性。

Description

利用便携终端的视频通话中的图像处理方法

技术领域

本发明涉及一种利用便携终端的视频通话中的图像处理方法，它分析视频通话中数据链路层的通信量，自动改变要传输的图像分辨率，因此，即使通信量拥塞时，也能够传输更为自然的图像。

背景技术

随着便携终端的性能发生飞速改进，现在更多的便携终端已经具有了便携式复合设备的性质，能够处理各种多媒体数据，而不仅仅是只能进行语音通话的设备。

在便携终端性能改进中最为抢眼的是数据通信的高速化、显示部的改进以及种种多媒体数据生成能力。为此，便携终端带有高性能的控制部和处理复杂的演算所需的信号处理部及庞大的存储器，甚至还应用了照相机功能。

利用这种安装了照相机的通信设备的最普通方法之一是视频通话(Video Telephony)。

作为面向第3代便携终端最新提供的服务之一的视频通话服务是回路切换服务的一种，是指把集合信道(bearer)设定为一定的比率后，同时传输图像及语音的服务。通过它，可以一面看着对方或对方照射的图像，一面进行通话。

一般而言，利用便携终端中安装的照相机获得的图像，其默认结构为“横向像素数×纵向像素数×颜色构成数”，具有庞大的数据量。

图1是一个利用普通便携终端照相机获得的图像实例。如图所示，该图像具有相当高质量的画质，也就是说，这是由非常多的数据构成的图像。

在以往的视频通话中提供的图像实际上是这种通过照相机获得的图像的连续，因此，其数据容量非常大。按时间区分这种一系列图像的单位是fps(frame per second-每秒帧数)，fps越高，视频通话的活动影像越自然。但实际上，通信网络的环境决定了提高fps存在局限，fps越高，就需要传输更多的数据，所以数据丢失的危险性越大。

即，上述以往的视频通话服务直接传输通过照相机获得的高容量数据图像，因此当传输数据的便携终端与基站间的通信量拥塞时，正常设定的帧无法全部传输，而是传输成断断续续的图像。一个图像本身就具有相当大的数据量，所以传输的单一帧图像也会发生乱码的现象。为了解决这种问题，以往的方法只是减少帧数，所以提供的是不连续的活动影像，服务质量急剧降低。随着利用固定的通信资源，使用高质量高容量服务的终端用户逐渐增加，预计这种问题将会更加严重。

如上所述，以往的视频通话服务直接传输通过照相机获得的高容量数据图像，因此存在这样的问题，即，根据通信量的程度，可能会出现无法在时间内传输的帧，不能提供自然的活动影像。当通信量拥塞时，关于单一帧的数据也不能正常传输，发生图像数据的部分丢失，可能会提供乱码的图像，这成为造成对相应服务的质量严重丧失信任的原因。

发明内容

本发明正是鉴于上述问题而提出的，目的在于提供一种利用便携终端的视频通话中的图像处理方法，它通过分析视频通话中数据链路层的通信量，根据其程度自动改变要传输的图像的分辨率，从而，当通信量大时，能够根据其程度进行减小分辨率的图像处理，提供更加自然的活动影像。

为实现上述目的，本发明的特征是包括如下几个步骤：分析步骤，在利用便携终端进行的视频通话中，分析数据链路层的通信量；变换步骤，根据上述通信量的程度，把从便携终端照相机获得的图像的分辨率调低到已设定的水平；传输步骤，传输上述变换后的低分辨率图像。

上述分析通信量的步骤的特征是包括如下几个步骤：设置步骤，根据通信量，预先把临界值设定为既定的级别；获得步骤，对便携终端第2层的处理缓冲状态与上述已设置的各级别的临界值进行比较，获得当前通信量的程度。

上述把图像变换为低分辨率的步骤的特征是包括以下步骤：根据通信量的程度，在上述图像中应用不同大小的窗口，并把相应窗口看作一个像素，在保持大小的同时降低分辨率。

附图说明

图1是以往视频通话中发送的图像。

图2是本发明一个实施例的发送图像。

图3是本发明另一个实施例的发送图像。

图4是本发明一个实施例的流程图。

具体实施方式

下面参照实施例附图，详细说明如上所述的本发明。

图1是视频通话中通过便携终端的照相机获得的影像图像的一个实例。如图所示，该图像的分辨率高，因此数据量也相当大。当然，对于静止图像而言，减小分辨率会极大地降低相应图像的质量，但对于活动影像而言，与分辨率的减小相比，图像中断是更敏感的问题。特别是对于象便携终端一样具有较慢的显示部和较低亮度的显示装置而言，活动影像中的分辨率减小可以通过图像的连续性得到某种程度的补偿。但是，分辨率虽高，由于帧丢失而导致图像中断或图像部分乱码的现象，是造成活动影像质量下降的致命原因。

从视觉角度而言，人类的眼睛对移动物体的反应十分敏感，在活动影像中，平滑的移动是优先于画质的质量判断因素，这不仅为本行业的从业者所熟知，也是普通人都了解的常识。

因此，在本发明中，为了不理会通信量的程度如何都提供自然的活动影像，根据通信量设定了多种级别的临界值，针对视频通话时的通信量，比较第2层的处理缓冲状态与上述设定的各级别的临界值，在改变分辨率的同时传输图像，从而保持更自然的活动影像，这一点是值得关注的。

为此，分辨率的变换过程是，把窗口应用于原本图像，把与n×n窗口相应的像素重新表现为一个像素，减小分辨率。

图2是把3×3窗口应用于图1的原本图像后降低了分辨率的情形。如图所示，由于分辨率减小，静止图像自身的质量虽然下降了，但其形态依然可以分清。

当应用上述3×3窗口时，可以把120×160的普通原本分辨率降低为40×54的分辨率，从而几乎可以把数据量减小到1/9。即，与直接传输原本相比，能够传输9倍的帧，数量大大增加。

图3是把5×5窗口应用于图1的图像后降低了分辨率的情形。如图所示，由于分辨率减小，静止图像自身的质量虽然进一步下降，但其形态尚可以分清。

当应用上述5×5窗口时，可以把120×160的普通原本分辨率降低为24×32的分辨率，从而几乎可以把数据量减小到1/25。即，与直接传输原本相比，能够传输25倍的帧，数量大大增加。

一般而言，如果是15fps左右的活动影像质量，就可以认为是实时影像。但是，在实际视频通话中，往往达不到15fps。与之相比，在本发明中也可以较小的数据量传输较多的帧，因此，即使在通信量拥塞时，也能够提供中断很少的活动影像。

图4是本发明一个实施例的流程图。如图所示，视频通话开始后，在根据通信量改变图像分辨率的同时进行传输。

首先，为了应用本发明，设置不同通信量的临界值。在本实施例中，列举的是设定了单一临界值的情况，不过，对本行业从来者而言，设定多个级别并不难，只是单纯的操作而已。

当用户开始视频通话时，分析第2层的处理缓冲是否已达到上述设定的临界值，当到达了设定的临界值时，则向上一层发送请求调节图像处理水平的信号。在上一层中，根据上述请求信号，在通过便携终端的照相机获得的图像中应用具有既定大小的窗口，降低分辨率，然后以大大减小的数据传输图像。

为了进行上述分辨率的变换，可以使用多种方法，在实施例中是简单应用n×n窗口。这种利用窗口来变更分辨率的方法是非常简单的算法，所以可实现高速演算。目前使用的控制器的时钟速度已达180MHz，去年终端的速度还不足32MHz，由此看来，处理能力每年提高2倍以上，所以说，上述分辨率的变更及通信量分析将迅速接近实时。

如果通信量未达到临界值，则直接传输原本图像。

上述过程可反复进行，直至视频通话结束时为止。

上述提到的本发明实施例虽然是只设定了一个临界值的情形，但如果设定了多个临界值，则在分析通信量时，可以根据当前处理缓冲的状态所在的定临界值之间的范围，自动调节图像处理水平。其实施十分简单，只是调整窗口的大小而已，以此可以根据通信量的水平，持续变更分辨率，同时根据通信量的状态，提供最佳的活动影像，从而能够提供更好的视频通话服务。

如上所述，本发明利用便携终端的视频通话中的图像处理方法具有如下效果，通过分析视频通话中数据链路层的通信量，根据其程度自动改变要传输的图像的分辨率。当通信量大时，根据其程度进行减小分辨率的图像处理，然后以减小了的数据量传输图像，从而能够根据通信量的状态，提供自然的最佳的活动影像，显著提高相应服务的质量与可信性。

Claims (3)

1.一种利用便携终端的视频通话中的图像处理方法，其特征是包括如下几个步骤：分析步骤，在利用便携终端进行视频通话中，分析数据链路层的通信量；变换步骤，根据上述通信量的程度，把从便携终端照相机获得的图像的分辨率调低到已设定的水平；传输步骤，传输上述变换后的低分辨率图像，

其中在上述变换步骤中，根据通信量的程度，在上述图像中应用不同大小的窗口，并把相应窗口看作一个像素，在保持大小的同时降低分辨率。

2.根据权利要求1所述的利用便携终端的视频通话中的图像处理方法，其特征是还包括以下步骤：传输了上述低分辨率图像后，反复进行上述步骤，直至视频通话结束时为止。

3.根据权利要求1所述的利用便携终端的视频通话中的图像处理方法，其特征是上述分析通信量的步骤包括如下几个步骤：设置步骤，根据通信量，预先把临界值设定为既定的级别；获得步骤，对便携终端第2层的处理缓冲状态与上述已设置的各级别的临界值进行比较，获得当前通信量的程度。

Images