CN101686382A - 视讯处理方法及视讯系统 - Google Patents

Abstract

本发明有关一种视讯处理方法及视讯系统。该视讯处理方法，包括(a)发送装置自一影像序列取得至少一标准解析度的原始影像，并侦测网路每秒传输数据量的一频宽；(b)发送装置判断原始影像的编码位元率未超出频宽时直接输出影像，若影像编码位元率超出频宽时，降低影像内容解析度并配合将其他区域以低数据量填补以输出一编码位元率不超出频宽的中继影像；及(c)发送装置编码输出步骤(b)的影像并通过网路传送给接收装置，且接收装置解码中继影像后将影像内容还原为标准解析度。该视讯系统，包括一与网路连线的发送装置，具有影像取得模组、频宽监测模组、解析度处理模组、视讯编码器及数据传送模组。借由本发明视讯系统无论频宽高低皆能维持高解析度的影像品质输出。

Description

视讯处理方法及视讯系统

技术领域

本发明涉及一种视讯处理方法及视讯系统，特别是涉及一种即使频宽动态地大幅变动，输出影像也能维持可接受的清晰度的视讯处理方法及视讯系统。

背景技术

请参阅图1所示，是一说明现有的视讯会议系统的影像处理方法的系统方块图。视讯会议(video conference)系统是一种目前常见的网路应用技术，其主要是将包括多张的原始影像9011～901n即时的一影像序列(image sequence)，经由视讯编码器(video encoder)91压缩成一视讯信号(信号即讯号，本文均称为信号)后，再借由网路8进行传输，将该视讯信号传送到一视讯解码器(video decoder)92，再由该视讯解码器92逐一解码还原出一连串的输出影像9021～902n。

然而，目前的视讯会议系统实际运作时，原始影像9011～901n从输入视讯编码器91、经由网路8传输及输出到视讯解码器92的整个传输过程只有一个固定的解析度，所以，当网路8实际能使用的频宽改变时，解析度并不能随之改变。因此，若是实际频宽由很大变成很小，为了维持每秒传输一定的画框(frame)个数，视讯编码器91的编码位元率会根据实际频宽而变得很小，导致视讯解码器92解码后的输出影像9021～902n的清晰度变得令人无法接受。

每一张解码后的解码影像9021～902n的清晰度，取决于其相对的原始影像9011～901n被压缩后的画框数据量(即画框资料量，资料即数据，本文中将资料均称为数据)，也就是，网路8的频宽有限，在传输时必须保持每秒能够发送固定的画框个数，就是每秒画框数(frame rate；单位：画框个数/秒)，而每个画框数据量x每秒画框数＝编码位元率(bit rate；单位：编码数据量/秒)必须小于频宽(单位：传输数据量/秒)才能有清晰的画面；若编码位元率高于频宽时，每秒画框数不变的情况下，画框数据量被牺牲，将导致画面断断续续或有不清晰的结果。

因此，若使用者预设的频宽小，则输入影像的解析度会设得较小(如320x240)以得到解码后可接受的影像解析度，而若使用者预设的频宽大，则输入影像解析度可以设得较大(如640x480)。

如Windows Live Messenger的视讯会议软件(软体)通常将输入影像的解析度设为320x240，以避免设成大解析度而频宽变小时输出影像会很不清楚，但是这样也造成在频宽变得很大时使用者无法得到更大解析度、内容更详细的输出影像。

一种视讯会议系统的设计，则是在视讯编解码器91运作之前作一次频宽侦测，之后根据此侦测到的频宽决定系统的解析度，但是在视讯编解码器91运作起来后，则不再调整系统的解析度；另一个做法，是将视讯会议系统停止再重新设定解析度并重新启动系统，但是这样的方法则会造成视讯接收装置的视讯画面产生停顿的现象。

因此，目前现有的视讯会议系统的处理技术存在有下述的缺失：

一、影像解析度不佳：频宽设定太小，影像解析度不佳，且频宽变得很大时使用者无法得到更大解析度、内容更详细的输出影像；但是频宽设定太大，当频宽变得低时，影像解析度也会面临品质不佳的问题。

二、频宽侦测缺乏弹性：只有一次频宽侦测然后根据此频宽决定系统的解析度的处理方式，缺乏弹性。

三、设定解析度时画面会中断：停止再重新设定解析度并重新启动系统的方式，对使用者观看时画面会产生停顿。

由此可见，上述现有的视讯处理方法及视讯系统在处理方法、系统结构及使用上，显然仍存在有不便与缺陷，而亟待加以进一步改进。为了解决上述存在的问题，相关厂商莫不费尽心思来谋求解决之道，但长久以来一直未见适用的设计被发展完成，而一般方法及系统又没有适切的方法及结构能够解决上述问题，此显然是相关业者急欲解决的问题。因此如何能创设一种新的视讯处理方法及视讯系统，实属当前重要研发课题之一，亦成为当前业界极需改进的目标。

有鉴于上述现有的视讯处理方法及视讯系统存在的缺陷，本发明人基于从事此类产品设计制造多年丰富的实务经验及专业知识，并配合学理的运用，积极加以研究创新，以期创设一种新的视讯处理方法及视讯系统，能够改进一般现有的视讯处理方法及视讯系统，使其更具有实用性。经过不断的研究、设计，并经反复试作及改进后，终于创设出确具实用价值的本发明。

发明内容

本发明的一个目的在于，克服现有的视讯处理方法存在的缺陷，而提供一种新的视讯处理方法，所要解决的技术问题是使其提供一种随着频宽变化能修改影像内容可以避免遗失重要资讯的视讯处理方法，非常适于实用。

本发明的另一目的在于，提供一种新的视讯处理方法，所要解决的技术问题是使其提供一种无论频宽高低皆能维持高解析度品质呈现的视讯处理方法，从而更加适于实用。

本发明的还一目的在于，克服现有的视讯系统存在的缺陷，而提供一种新的视讯系统，所要解决的技术问题是使其提供一种具有随着频宽变化能够修改影像内容可避免遗失重要资讯的解析度处理模组的视讯系统，非常适于实用。

本发明的再一目的在于，提供一种新的视讯系统，所要解决的技术问题是使其提供一种具有无论频宽高低皆能维持高解析度品质呈现的解析度还原模组的视讯系统，从而更加适于实用。

本发明的目的及解决其技术问题是采用以下技术方案来实现的。依据本发明提出的一种视讯处理方法，是由一发送装置通过一网路传输数据给一接收装置，所述的视讯处理方法包括以下的步骤：(a).发送装置自一影像序列取得至少一标准解析度的原始影像，并侦测网路每秒传输数据量的一频宽；(b).发送装置判断原始影像的编码位元率未超出频宽时直接输出影像，若影像的编码位元率超出频宽时，将影像内容缩小并配合将其他区域以低数据量填补以输出一编码位元率不超出频宽的中继影像；以及(c).发送装置编码输出步骤(b)的影像并通过网路传送给接收装置，且接收装置解码影像后将中继影像的影像内容还原为标准解析度。

本发明的目的及解决其技术问题还可采用以下技术措施进一步实现。

较佳地，前述的视讯处理方法，其中所述的步骤(b)若影像的编码位元率超出频宽时，还产生一具有影像内容的解析度的还原指令，并通过网路传送给接收装置。

较佳地，前述的视讯处理方法，其中所述的步骤(b)的影像内容缩小方式是将中继影像区分成一第一区域及一第二区域，且第一区域加上第二区域的大小就是原始影像的标准解析度大小，且第一区域的影像是由对影像内容作等比例缩小。

较佳地，前述的视讯处理方法，其中所述的步骤(c)包括下述的子步骤：(c1).接收装置通过网路接收来自发送装置的数据后，随着不同时间动态地将接收到的影像暂存至一储存空间；以及(c2).判断是否收到还原指令，若未收到还原指令，则输出标准解析度的影像，若收到还原指令，则进行将影像内容还原为标准解析度的还原处理程序。

较佳地，前述的视讯处理方法，其中所述的还原处理程序包括下述的子步骤：(d1).自储存空间取得取得维持标准解析度的后一影像及维持标准解析度的前一影像，将维持标准解析度的后一影像及维持标准解析度的前一影像二者计算出一第一峰值讯杂比；(d2).取得维持标准解析度的前一影像，以及将后一影像依据还原指令的解析度切割并放大成标准解析度以输出一还原影像，然后将维持标准解析度的前一影像及还原影像二者计算出一第二峰值讯杂比；(d3).判断第一峰值讯杂比大于第二峰值讯杂比时，输出标准解析度的后一影像并接续步骤(d4)，若第一峰值讯杂比不大于第二峰值讯杂比时，输出还原影像并接续步骤(d4)；以及(d4).播放输出影像。

较佳地，前述的视讯处理方法，其中所述的峰值讯杂比的值定义为：

$\mathrm{PSNR}=10\·{\log }_{10}\left(\frac{{\mathrm{MAX}}^2}{\mathrm{MSE}}\right);$

其中，MAX为一预定值，且MSE定义为：

$\mathrm{MSE}=\frac{1}{N}\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}{\left|\right|I\left(i\right)-K\left(i\right)\left|\right|}^2;$

I及K为要比较差异的两张大小相同的影像；I(i)及K(i)为影像I在像素i的表示值；及N为I的像素总个数亦等于K的像素总个数。

本发明的目的及解决其技术问题还采用以下技术方案来实现。依据本发明提出的一种视讯系统，包括一与一网路连线的发送装置，所述的发送装置具有：一影像取得模组，自一影像序列取得至少一标准解析度的原始影像；一频宽监测模组，侦测网路每秒传输数据量的一频宽；一解析度处理模组，判断原始影像的编码位元率未超出频宽时直接输出影像，若影像的编码位元率超出频宽时，将影像内容缩小并配合将其他区域以低数据量填补以输出一编码位元率不超出频宽的中继影像，并输出一具有影像内容的解析度的还原指令；一视讯编码器，编码解析度处理模组输出的影像为一影像编码信号；以及一数据传送模组，将影像编码信号及还原指令传送至网路。

本发明的目的及解决其技术问题还可采用以下技术措施进一步实现。

较佳地，前述的视讯系统，其中所述的发送装置的解析度处理模组将影像内容缩小的方式是将中继影像区分成一第一区域及一第二区域，且第一区域加上第二区域的大小是原始影像的标准解析度大小，第一区域的影像是由对影像内容作等比例缩小。

较佳地，前述的视讯系统，其中该视讯系统还包括一与网路连线的接收装置，接收装置通过网路与发送装置连线并接收来自发送装置的影像编码信号及还原指令，且解码影像编码信号后利用还原指令将影像内容还原为标准解析度。

较佳地，前述的视讯系统，其中所述的接收装置包括：一数据接收模组，通过网路接收来自发送装置的影像编码信号及还原指令；一视讯解码器，对于影像编码信号加以解码，且随不同时间动态地将前一张解码影像并将其暂存于一储存空间；一解析度还原模组，判断是否收到还原指令，若未收到还原指令，则输出标准解析度的影像，若收到还原指令，则进行将影像内容还原为标准解析度的还原处理程序；以及一影像播放模组，播放解析度还原模组输出的影像。

较佳地，前述的视讯系统，其中所述的解析度还原模组执行的还原处理程序包括下述的子步骤：自储存空间取得取得维持标准解析度的后一影像及维持标准解析度的前一影像，将维持标准解析度的后一影像及维持标准解析度的前一影像二者计算出一第一峰值讯杂比；取得维持标准解析度的前一影像，以及将后一影像依据还原指令的解析度切割并放大成标准解析度以输出一还原影像，然后将维持标准解析度的前一影像及还原影像二者计算出一第二峰值讯杂比；及判断第一峰值讯杂比大于第二峰值讯杂比时，输出标准解析度的后一影像至影像播放模组，若第一峰值讯杂比不大于第二峰值讯杂比时，输出还原影像至影像播放模组。

较佳地，前述的视讯系统，其中所述的峰值讯杂比的值定义为：

$\mathrm{PSNR}=10\·{\log }_{10}\left(\frac{{\mathrm{MAX}}^2}{\mathrm{MSE}}\right);$

其中，MAX为一预定值，且MSE定义为：

$\mathrm{MSE}=\frac{1}{N}\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}{\left|\right|I\left(i\right)-K\left(i\right)\left|\right|}^2;$

I及K为要比较差异的两张大小相同的影像；I(i)及K(i)为影像I在像素i的表示值；及N为I的像素总个数亦等于K的像素总个数。

本发明与现有技术相比具有明显的优点和有益效果。由以上技术方案可知，本发明的主要技术内容如下：

本发明的一目的在提供一种随着频宽变化能修改影像内容以避免遗失重要资讯的视讯处理方法。本发明的另一目的，在于提供一种无论频宽高低皆能维持高解析度品质呈现的视讯处理方法。

为达到上述目的，本发明的视讯处理方法，是由一发送装置通过一网路传输数据给一接收装置，视讯处理方法包括下述步骤：(a).发送装置自一影像序列取得至少一标准解析度的原始影像，并侦测网路每秒传输数据量的一频宽；(b).发送装置判断原始影像的编码位元率未超出频宽时直接输出影像，若影像的编码位元率超出频宽时，将影像内容缩小并配合将其他区域以低数据量填补以输出一编码位元率不超出频宽的中继影像；以及(c).发送装置编码输出步骤(b)的影像并通过网路传送给接收装置，且接收装置解码中继影像后将影像内容还原为标准解析度。

本发明的又一目的在于提供一种具有随着频宽变化能修改影像内容以避免遗失重要资讯的解析度处理模组的视讯系统。本发明的再一目的在于提供一种具有无论频宽高低皆能维持高解析度品质呈现的解析度还原模组的视讯系统。

为达到上述目的，本发明的视讯系统包括一发送装置，且发送装置与一网路连线；发送装置具有一自一影像序列取得至少一标准解析度的原始影像的影像取得模组、一侦测网路每秒传输数据量的一频宽的频宽监测模组、一解析度处理模组、一编码解析度处理模组输出的影像为一影像编码信号的视讯编码器及一数据传送模组。

解析度处理模组判断原始影像的编码位元率未超出频宽时直接输出影像，若影像的编码位元率超出频宽时，将影像内容缩小并配合将其他区域以低数据量填补以输出一编码位元率不超出频宽的中继影像，并输出一具有影像内容的解析度的还原指令；再由数据传送模组通过网路将中继影像编码信号及还原指令传送至网路。

借由上述技术方案，本发明视讯处理方法及视讯系统至少具有下列优点及有益效果：

一、影像解析度佳：将影像内容缩小并配合将其他区域以低数据量填补以输出一编码位元率不超出频宽的中继影像，可以避免遗失重要资讯。

二、频宽侦测具有弹性：随着频宽变化修改影像内容，可以避免一次侦测缺乏弹性的处理。

三、画面不中断：配合由接收装置还原影像，能让视讯系统在持续运作不间断的情形下，即使频宽动态地大幅变动，其输出影像也能维持可接受的清晰度，也就是无论频宽高低皆能维持高解析度品质呈现。

综上所述，本发明提供了一种随着频宽变化能修改影像内容可以避免遗失重要资讯的视讯处理方法；本发明另提供了一种无论频宽高低皆能维持高解析度品质呈现的视讯处理方法，借由本发明的方法，视讯系统无论频宽高低皆能维持高解析度的影像品质输出。本发明还提供了一种具有随着频宽变化能够修改影像内容可避免遗失重要资讯的解析度处理模组的视讯系统；本发明另再提供了一种具有无论频宽高低皆能维持高解析度品质呈现的解析度还原模组的视讯系统，非常适于实用。本发明具有上述诸多优点及实用价值，其不论在处理方法、系统结构或功能上皆有较大改进，在技术上有显著的进步，并产生了好用及实用的效果，且较现有的视讯处理方法及视讯系统具有增进的突出功效，从而更加适于实用，诚为一新颖、进步、实用的新设计。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

图1是一说明现有的视讯会议系统的影像处理方法的系统方块图。

图2是一说明本发明视讯处理方法较佳实施例的运作原理的示意图。

图3是一系统方块图，说明本发明视讯系统的较佳实施例包括发送装置及接收装置，且发送装置是通过网路传输数据给接收装置。

图4是一说明本发明视讯处理方法的发送处理程序的步骤的流程图。

图5是一说明解析度处理模组修改输入影像的内容将其区分成两个区域的示意图。

图6是一示意图，说明(a)是标准解析度的原始输入影像，及(b)所示是将原始输入影像降低解析度而成为缩小影像。

图7是一示意图，说明第二区域的影像产生方式(a)是将像素的向量值都设为0，及(b)是将像素的向量值以0和255交错。

图8是一说明本发明视讯处理方法的接收处理程序的步骤的流程图。

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的视讯处理方法及视讯系统其具体实施方式、方法、步骤、结构、特征及其功效，详细说明如后。

通过具体实施方式的说明，当可对本发明为达成预定目的所采取的技术手段及功效得一更加深入且具体的了解，然而所附图式仅是提供参考与说明之用，并非用来对本发明加以限制。

一、技术原理：

请参阅图2所示，是一说明本发明视讯处理方法较佳实施例的运作原理的示意图。本发明较佳实施例的视讯处理方法，是应用于一发送装置1及一接收装置2，且发送装置1通过一网路3传输数据给接收装置2。

请同时参阅图2及图3所示，上述的发送装置1，可依序取得一张张的原始影像101～10n，其标准解析度为640x480，且对应各原始影像101～10n计算出一编码位元率(Bit_rate)；

然后，发送装置1侦测网路3每秒传输数据量的频宽301；

接着，判断各原始影像101～10n的编码位元率是否超出频宽？以其中一原始影像101为例来说明，若未超出时，直接输出原始影像101；若超出时，将原始影像101的内容的解析度降低(从640x480降低至例如320x240)而产生一影像内容1011，将该影像内容1011配合将其他区域1012以低数据量填补以输出编码位元率不超出频宽的中继影像101’，此外，发送装置1产生一对应于影像内容1011的解析度320x240的还原指令303，并通过网路3发送还原指令303及影像编码信号302发送给接收装置2。

当接收装置2通过网路3接收来自发送装置1的影像编码信号302，就会将影像编码信号302解码出中继影像201’，并在收到还原指令303后判断何者为需要还原的影像，再利用还原指令303将影像内容2011自需要还原的中继影像201’切割出来，并放大还原为标准解析度的影像201，然后依序播放出影像201～20n。

二、硬件架构：

请参阅图3所示，是一系统方块图，说明本发明的视讯系统的较佳实施例包括发送装置及接收装置，且发送装置是通过网路传输数据给接收装置。现将本发明的视讯系统100的硬件架构及处理流程介绍说明如下：

上述的发送装置1，包括一影像取得(Image Sequence Capture)模组11、一频宽监测(Network Bandwidth Monitor)模组12、一解析度处理(Pseudo Resolution Modification)模组13、一视讯编码器(VideoEncoder)14及一数据传送模组(Data Sender)15。

该影像取得模组11，是取得一影像序列取得具有一标准解析度的原始影像101～10n，其方式是每隔一个极短暂的时间会即时产生一张影像，并将影像送至解析度处理模组13；需要注意的是，本发明揭露的方法会将输入影像固定设为大解析度(如640x480)，如此在频宽变大时接收端才能获得更清楚的输出影像。

该频宽监测模组12，侦测每秒传输数据量的一频宽301，其方式是随时监控网路3实际可用的频宽301，并将量测得到的实际频宽301资讯送给解析度处理模组13及视讯编码器14；其中，视讯编码器14收到频宽301资讯后会自动调整其输出的编码位元率，使得编码位元率小于实际频宽301以维持一定的每秒画框数。

该解析度处理模组13，主要有两个动作，一个是产生还原指令303经由数据传送模组15传送给远端的接收装置2，告知接收装置2输入影像内容将被改变；另一个是根据频宽监控模组12侦测到的实际频宽改变输入影像内容，再将内容被修改后的中继影像101’～10n’送给视讯编码器14；解析度处理模组13如何改变输入影像的内容的详细处理流程请参考图4的说明。

解析度处理模组13所输出的中继影像101’～10n’，每一个影像101’～10n’的像素色彩可以用三个色彩表示，如R、G及B(R表示红色、G表示绿色，及B表示蓝色)或是Y、U及V(Y表示明亮度(Luminance、Luma)，“U”表示色度(Chrominance)和“V”是表示浓度(Chroma))，视讯编码器14的演算法通常是以YUV作运算，若输入影像不是用YUV表示，则在解析度处理模组13修改输入影像前会将输入影像的表示法转成YUV。

该数据传送模组15，负责通过网路3发送中继影像101’～10n’的编码信号104给接收装置2。

上述的接收装置2，包含一数据接收模组21、一视讯解码器22、一解析度还原模组23及一影像播放模组24。

该数据接收模组21，是接收自发送装置1传来的还原指令303及影像的编码信号204；

该视讯解码器22，则解码编码信号204为中继影像201’～20n’，并将其暂存于一储存空间(图未示)，且视讯编码器14和视讯解码器22是成对的编解码器，可以采用一般标准的组件，如MPEG4及H264等，除了提供对视讯解析度作初始设定的介面外，也需要提供动态调整视讯编码器输出编码位元率的介面，而本发明揭露的方法并不会去改动视讯编码器14或视讯解码器22的内部演算法。

该解析度还原模组23，则是依据各还原指令303将各中继影像201’～20n’还原为各输出影像201～20n，解析度还原模组23如何还原影像内容的详细处理流程请参考图8的说明；最后，由影像播放模组24将解析度还原模组23传来的影像播放出来。

三、处理流程：

下面配合图3的系统架构，将本发明的视讯处理方法的流程详细说明如下：

(一)发送处理程序

请参阅图4所示，是一说明本发明视讯处理方法的发送处理程序的步骤的流程图。在发送装置1方面，先由影像取得模组11自一影像序列依序取得原始影像101～10n(步骤401)；然后，解析度处理模组13侦测网路3每秒传输数据量的频宽301(步骤402)；接着，解析度处理模组13执行步骤403至407；视讯编码器14则是将解析度处理模组13处理后的影像编码为影像编码信号(步骤408)，然后输出影像编码信号至节点I。

解析度处理模组13处理的过程如下：

首先，对应各原始影像101～10n计算出一编码位元率(Bit_rate)(步骤403)；然后，判断各原始影像101～10n的编码位元率是否超出频宽(步骤404)？以一原始影像101为例，若未超出时，直接输出原始影像101(步骤405)；若超出时，以另一原始影像103为例，将原始影像103的影像内容缩小后配合将其他区域以低数据量填补以输出编码位元率不超出频宽的中继影像103’(步骤406)；在执行步骤406时，也将产生一对应于缩小后的影像内容的解析度的还原指令303(步骤407)至节点II。

步骤406修改影像内容的过程为：

请参阅图5所示，是一说明解析度处理模组修改输入影像的内容将其区分成两个区域的示意图。输入影像的所有像素在三个色彩空间所表示的向量值分别形成三张灰阶影像(以最小向量值为0，最大向量值为255，可表示出灰阶影像)，这三张影像皆会被区分成一第一区域71及一第二区域72。

第一区域71加上第二区域72的大小就是输入影像的大小，第一区域71的影像是由对原始输入影像内容作等比例缩小而来，可由数字信号(即数位讯号)处理的降低取样(downsampling)技术完成，例如输入影像内容的解析度是640x480会被缩小为400x300或是320x240等。

请参阅图6所示，是一示意图，图6(a)所示是说明标准解析度的原始输入影像71’及图6(b)所示是将原始输入影像降低解析度而成为缩小影像71”。原始输入影像71’是标准解析度640x480，将原始输入影像71’降低解析度而成为缩小影像71”。当实际频宽愈小，例如初始的频宽为300kbps(KB per second；千比特的资料传输量/每秒)，则图5的第一区域71的大小等于输入标准解析度640x480，若实际频宽之后降为100kbps，则缩小影像71”的大小会改为320x240；如果之后实际频宽再增回200kbps，则第一区域71的缩小影像71”大小会是480x360；若实际频宽维持不变，则第一区域71的缩小影像71”大小也会维持当下的值而不作改变；实际频宽与第一区域71的缩小影像71”大小的绝对关系式取决于选用的视讯编码器14的特性，可由实验求得。

请参阅图7所示，是一示意图，说明第二区域的影像产生方式(a)是将像素的向量值都设为0，以及影像产生方式(b)是将像素的向量值以0和255交错。图5的第二区域72的影像产生方式有两种，如图7(a)所示，第二区域72’是将像素的向量值都设为0，如图7(b)所示，第二区域72”是将像素的向量值以0和255交错，这两种特殊的图形经由视讯编码器14后会产生极小的数据量。

另外需要说明的是，在解析度处理模组13第一次传送影像给视讯编码器15之前，和每次第一区域71的大小被改变之前，解析度处理模组13会发送一个讯息(以下称为还原指令)给接收装置2，讯息内容包含第一区域71被修改成的大小。

(二)接收处理程序

请参阅图8所示，是一说明本发明视讯处理方法的接收处理程序的步骤的流程图。在接收装置2方面，数据接收模组21取得影像编码信号204及还原指令303后，接续图4的节点I及节点II，视讯解码器22依序解码影像201’～20n’(步骤511)供给解析度还原模组23作处理，且解析度还原模组23可随着不同时间动态地将接收到的影像201’～20n’暂存(步骤512)至一储存空间51。

在说明后续步骤531至538之前，先介绍峰值讯杂比(PSNR；peaksignal-to-noise ratio)的概念：如果利用两张影像的峰值讯杂比的值作比较，可判断两张影像是否相似，峰值讯杂比的值愈大表示两者越近似，相反的，则两者具有差异，峰值讯杂比的值定义为：

$\mathrm{PSNR}=10\·{\log }_{10}\left(\frac{{\mathrm{MAX}}^2}{\mathrm{MSE}}\right)$ 公式1

其中MAX为255，MSE是均方差(mean squared error)，且MSE定义为：

$\mathrm{MSE}=\frac{1}{N}\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}{\left|\right|I\left(i\right)-K\left(i\right)\left|\right|}^2$ 公式2

其中I及K为要比较差异的两张大小相同的影像；I(i)为影像I在像素i的表示值，例如I在YUV其中任何一个色彩空间的向量值)；K(i)类似I(i)，N为I的像素总个数，亦等于K的像素总个数。

另外，需要说明的是，由于收到还原指令后，因为网路延迟或暂存影像201’～20n’后解码时间延迟等因素，并不能立刻确定收到还原指令后的第一张影像就是需要被还原的影像，唯一可以确定的是，需要被还原的影像会比收到还原指令的时间还晚的时间出现，本发明就是利用比对峰值讯杂比的值的方式来找出哪一张影像才是需要被还原的影像，然后再将影像适当地还原出来。

因此，该解析度还原模组23会先判断是否收到还原指令303(步骤521)？若未收到还原指令，表示输出标准解析度的影像Image1(步骤538)至影像播放模组24播放影像(步骤541)，若收到还原指令303，则必须进行步骤531至538的处理程序。

当解析度还原模组23判断收到还原指令303时，解析度还原模组23会自储存空间51取得取得维持标准解析度的后一影像Image1(步骤531)及维持标准解析度的前一影像Image0(步骤532)，将二者计算出一第一峰值讯杂比PSNR1(步骤534)。

另外，取得维持标准解析度的前一影像Image0(步骤532)，以及将后一影像Image1依据还原指令的解析度切割并放大成标准解析度以输出一还原影像Image1’(步骤533)，然后将二者计算出一第二峰值讯杂比PSNR2(步骤535)。

步骤534及535的用意在于借由前一影像Image0作为基准，来与后一原始影像Image1与后一原始影像Image1切割后放大的影像Image1’两两比较后，然后依据相似度决定是否需要还原。

因此，解析度还原模组23接下来会判断第一峰值讯杂比PSNR1＞第二峰值讯杂比PSNR2(步骤536)？由于PSNR值越大者代表越相近，因此，若第一峰值讯杂比PSNR1较第二峰值讯杂比PSNR2大，代表维持标准解析度大小的前一影像Image0及维持标准解析度大小的后一影像Image1是相似度较高的，因此输出标准解析度的影像Image1(步骤538)并予以播放影像(步骤541)。

相反的，若第一峰值讯杂比PSNR1较第二峰值讯杂比PSNR2小，代表维持标准解析度大小的前一影像Image0及后一原始影像切割后放大的还原影像Image1’是相似度较高的，因此输出还原影像Image1’(步骤541)并予以播放影像(步骤541)。

归纳上述，本发明的视讯处理方法在发送影像前，先经过如图4所示的侦测频宽及随着频宽变化修改影像内容等步骤，因此能够避免遗失重要资讯，并且接收影像时能执行如图8所示的还原影像内容的步骤；另外，本发明的视讯系统100的发送装置1提供了随着频宽变化能修改影像内容以避免遗失重要资讯的解析度处理模组13，并且接收装置2具有无论频宽高低皆能维持高解析度品质呈现的解析度还原模组23，所以无论在频宽高低的情况下，本发明的视讯系统100都能够维持高解析度的品质呈现。

由以上说明可知，本发明视讯处理方法及视讯系统，不但未见于以往且还具有下述功效：

一、影像解析度佳：将影像内容缩小并配合将其他区域以低数据量填补以输出一编码位元率不超出频宽的中继影像，以避免遗失重要资讯。

二、频宽侦测具有弹性：随着频宽变化修改影像内容，避免一次侦测缺乏弹性的处理。

三、画面不中断：配合由接收装置还原影像，能让视讯系统在持续运作不间断的情形下，即使频宽动态地大幅变动，其输出影像也能维持可接受的清晰度，也就是无论频宽高低皆能维持高解析度品质呈现。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (12)

1、一种视讯处理方法，是由一发送装置通过一网路传输数据给一接收装置，其特征在于所述的视讯处理方法包括以下步骤：

(a).发送装置自一影像序列取得至少一标准解析度的原始影像，并侦测网路每秒传输数据量的一频宽；

(b).发送装置判断原始影像的编码位元率未超出频宽时直接输出影像，若影像的编码位元率超出频宽时，将影像内容缩小并配合将其他区域以低数据量填补以输出一编码位元率不超出频宽的中继影像；以及

(c).发送装置编码输出步骤(b)的影像并通过网路传送给接收装置，且接收装置解码影像后将中继影像的影像内容还原为标准解析度。

2、如权利要求1所述的视讯处理方法，其特征在于其中所述的步骤(b)若影像的编码位元率超出频宽时，还产生一具有影像内容的解析度的还原指令，并通过网路传送给接收装置。

3、如权利要求1或2所述的视讯处理方法，其特征在于其中所述的步骤(b)的影像内容缩小方式是将中继影像区分成一第一区域及一第二区域，且第一区域加上第二区域的大小就是原始影像的标准解析度大小，且第一区域的影像是由对影像内容作等比例缩小。

4、如权利要求2所述的视讯处理方法，其特征在于其中所述的步骤(c)包括下述的子步骤：

(c1).接收装置通过网路接收来自发送装置的数据后，随着不同时间动态地将接收到的影像暂存至一储存空间；及

(c2).判断是否收到还原指令，若未收到还原指令，则输出标准解析度的影像，若收到还原指令，则进行将影像内容还原为标准解析度的还原处理程序。

5、如权利要求4所述的视讯处理方法，其特征在于其中所述的还原处理程序包括下述的子步骤：

(d1).自储存空间取得取得维持标准解析度的后一影像及维持标准解析度的前一影像，将维持标准解析度的后一影像及维持标准解析度的前一影像二者计算出一第一峰值讯杂比；

(d2).取得维持标准解析度的前一影像，以及将后一影像依据还原指令的解析度切割并放大成标准解析度以输出一还原影像，然后将维持标准解析度的前一影像及还原影像二者计算出一第二峰值讯杂比；

(d3).判断第一峰值讯杂比大于第二峰值讯杂比时，输出标准解析度的后一影像并接续步骤(d4)，若第一峰值讯杂比不大于第二峰值讯杂比时，输出还原影像并接续步骤(d4)；以及

(d4).播放输出影像。

6、如权利要求5所述的视讯处理方法，其特征在于其中所述的峰值讯杂比的值定义为：

$\mathrm{PSNR}=10{\·\log }_{10}\left(\frac{{\mathrm{MAX}}^2}{\mathrm{MSE}}\right);$

其中，MAX为一预定值，且MSE定义为：

$\mathrm{MSE}=\frac{1}{N}\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}{\left|\right|I\left(i\right)-K\left(i\right)\left|\right|}^2;$

I及K为要比较差异的两张大小相同的影像；I(i)及K(i)为影像I在像素i的表示值；及N为I的像素总个数亦等于K的像素总个数。

7、一种视讯系统，包括一与一网路连线的发送装置，其特征在于所述的发送装置具有：

一影像取得模组，自一影像序列取得至少一标准解析度的原始影像；

一频宽监测模组，侦测网路每秒传输数据量的一频宽；

一解析度处理模组，判断原始影像的编码位元率未超出频宽时直接输出影像，若影像的编码位元率超出频宽时，将影像内容缩小并配合将其他区域以低数据量填补以输出一编码位元率不超出频宽的中继影像，并输出一具有影像内容的解析度的还原指令；

一视讯编码器，编码解析度处理模组输出的影像为一影像编码信号；以及

一数据传送模组，将影像编码信号及还原指令传送至网路。

8、如权利要求7所述的视讯系统，其特征在于其中所述的发送装置的解析度处理模组将影像内容缩小的方式是将中继影像区分成一第一区域及一第二区域，且第一区域加上第二区域的大小是原始影像的标准解析度大小，第一区域的影像是由对影像内容作等比例缩小。

9、如权利要求7所述的视讯系统，其特征在于该视讯系统还包括一与网路连线的接收装置，接收装置通过网路与发送装置连线并接收来自发送装置的影像编码信号及还原指令，且解码影像编码信号后利用还原指令将影像内容还原为标准解析度。

10、如权利要求9所述的视讯系统，其特征在于其中所述的接收装置包括：

一数据接收模组，通过网路接收来自发送装置的影像编码信号及还原指令；

一视讯解码器，对于影像编码信号加以解码，且随不同时间动态地将前一张解码影像并将其暂存于一储存空间；

一解析度还原模组，判断是否收到还原指令，若未收到还原指令，则输出标准解析度的影像，若收到还原指令，则进行将影像内容还原为标准解析度的还原处理程序；以及

一影像播放模组，播放解析度还原模组输出的影像。

11、如权利要求10所述的视讯系统，其特征在于其中所述的解析度还原模组执行的还原处理程序包括下述的子步骤：

自储存空间取得维持标准解析度的后一影像及维持标准解析度的前一影像，将维持标准解析度的后一影像及维持标准解析度的前一影像二者计算出一第一峰值讯杂比；

取得维持标准解析度的前一影像，以及将后一影像依据还原指令的解析度切割并放大成标准解析度以输出一还原影像，然后将维持标准解析度的前一影像及还原影像二者计算出一第二峰值讯杂比；及

判断第一峰值讯杂比大于第二峰值讯杂比时，输出标准解析度的后一影像至影像播放模组，若第一峰值讯杂比不大于第二峰值讯杂比时，输出还原影像至影像播放模组。

12、如权利要求11所述的视讯系统，其特征在于其中所述的峰值讯杂比的值定义为：

$\mathrm{PSNR}=10{\·\log }_{10}\left(\frac{{\mathrm{MAX}}^2}{\mathrm{MSE}}\right);$

其中，MAX为一预定值，且MSE定义为：

$\mathrm{MSE}=\frac{1}{N}\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}{\left|\right|I\left(i\right)-K\left(i\right)\left|\right|}^2;$

I及K为要比较差异的两张大小相同的影像；I(i)及K(i)为影像I在像素i的表示值；及N为I的像素总个数亦等于K的像素总个数。

Images