CN101577819B - 传送视频数据的电子装置、方法 - Google Patents

Abstract

一种电子装置，供通过网络传送实时动态视频数据。此电子装置具有图像帧过滤器、编码器、监视器、控制器、与网络配接器。图像帧过滤器以第一帧速率提供图像帧。编码器以第二帧速率从图像帧过滤器接收图像帧以编码产生视频数据。监视器产生监视频号以指示第二帧速率。控制器根据监视频号而发出控制信号至图像帧过滤器，以调整第一帧速率。网络配接器则供传送视频数据至网络。

Description

传送视频数据的电子装置、方法

技术领域

本发明是关于一种通过网络传送实时视频数据的电子装置与方法。特别是，本发明中电子装置与方法可调整视频图像的帧速率以确保视频的质量。 

背景技术

随着网络频宽的增加，利用网络进行视频电话或是视频会议的服务也愈来愈普及，特别是一般使用者不需要另外租用专线与设备，而利用个人计算机或是移动装置，即可享受到此服务。但一般个人计算机或是移动装置所连接的网络，其联机质量并没有专线那般优良，因此当网络质量不稳定的时候，也会影响到使用者所观赏到的视频质量。 

一般来说，在TCP/UDP网络中，数据发送端发送一个数据封包后，接收端在接受到此数据封包，会回送一个确认信号给发送端，而数据发送端才会再继续发送下一个资料封包；若没有收到接收端所发送的确认信号，数据发送端会一直重复地发送此数据封包，直到收到接收端的确认信号。这样的配置，在视频电话或视频会议的应用时，当网络的联机质量不稳定，特别是在无线或是移动网络的环境中，随着联机信号的强弱，或是使用者所在的位置，会使得网络上可用频宽有时高有时低，往往会造成使用者观察到停格或不流畅的视频画面，造成使用上的不便。 

已知的做法为了避免发生视频画面的停格或是中断，大多先对可用的频宽或是网络数据传输率(bit rate)估计出最低值，并根据此最低值来决定对图像的压缩比或是编码器的帧速率(frame rate)，并以固定位传输率(Constant Bit Rate)的方式来传输视频数据，而无法根据实际上可使用的频宽或传输率来调整，因此当网络联机状况有所改善后，使用者的所观赏到的视频画面，也还是只具有最低的质量。 

因此需要一种电子装置，能够根据网络联机的状况，动态地调整视频图像数据的质量，特别是，这种装置不会大幅地增加成本，且又容易实施。 

发明内容

有鉴于先前技术的缺失，本发明提供一种电子装置、方法、与计算机可读取媒体，能够根据网络联机的状况，动态地调整视频数据的质量；特别是，本发明中电子装置与方法可调整视频图像的帧速率以确保视频的质量；更特别的是，本发明可应用于一般的个人计算机或是移动装置，而不须特殊的硬件装备。 

在本发明的实施例中，电子装置供通过网络传送实时动态视频数据。此电子装置具有图像帧过滤器、编码器、监视器、控制器、与网络配接器。图像帧过滤器以第一帧速率提供图像帧。编码器以第二帧速率从图像帧过滤器接收图像帧以编码产生视频数据。监视器产生监视频号以指示第二帧速率。控制器根据监视频号而发出控制信号至图像帧过滤器，以调整第一帧速率。网络配接器则供传送视频数据至网络。 

在另一实施例中，通过网络传送实时视频数据的方法包含的步骤如下：以第一帧速率提供图像帧；以第二帧速率接收图像帧以编码产生视频数据；监视第二帧速率；根据第二帧速率调整第一帧速率；以及传送视频数据至网络。此外，本发明另外提供了具有通过计算机执行的区段码的计算机可读取媒体，用以执行如上述的通过网络传送实时视频数据的方法。 

通过以下的较佳实施例的叙述并配合图式说明，本发明的目的、特征与优点将更为清楚。 

附图说明

图1为本发明电子装置实施例的方块图； 

图2显示本发明实施例中方法流程图； 

图3a为显示本发明另一实施例中方法流程图； 

图3b为显示本发明又一实施例中方法流程图； 

[主要元件标号说明] 

电子装置            10 

摄影机              102 

缓冲存储器          103 

图像帧过滤器        104 

编码器                106 

监视器                108 

控制器                110 

网络                  20 

具体实施方式

图1显示本发明电子装置的一实施例，其中电子装置10与网络20连接，此网络20可为局域网络(LAN)或是因特网(Internet)，较佳地，此网络20中的其它装置乃是根据TCP/UDP的协议来与电子装置10互相连接并传送数据。电子装置10较佳为可携式电子装置，例如笔记本型计算机、个人数字助理(PDA)、移动电话、GPS、掌上型电子游乐器等等。 

为了说明本发明，在以下实施例中，电子装置10为具有Wi-Fi(或是IEEE802.11)联机功能的笔记本型计算机10，其包含网络配接器100，供根据Wi-Fi(或是IEEE 802.11)的协议传送数据至网络20。 

关于电子装置10的部分细节，可参考一般的笔记本型计算机。电子装置10另外含有摄影机102、图像帧过滤器104、编码器106、监视器108、控制器110。在以下的实施例中，摄影机102的实施方式可参考一般笔记本型计算机上所配置的网络摄影机，值得一提的是，关于图像帧过滤器104、编码器106、监视器108、控制器110，除了可以硬件的方式实施外，亦可利用电子装置10中的中央处理器(未图示)以执行储存于存储器(未图标)中的计算机可执行区段码而提供相同的功能。在一实施例中，图像帧过滤器104、编码器106、监视器108即以软件的方式加以实施，并一起包裹在外挂程序(plug-in)中。 

简单来说，摄影机102乃作为电子装置10中的图像撷取器，一般来说，市面上的网络摄影机乃是以15fps(frame per second)的帧速率来对摄影的对象进行图像撷取，并将所撷取的图像帧储存至缓冲存储器103中。 

图像帧过滤器104接着以第一帧速率(例如11fps)从缓冲存储器103中提取图像帧，并传送给后方的编码器106。编码器106则以第二帧速率从图像帧过滤器104接收图像帧以编码产生视频数据，值得一提的是，编码器106与后续的配接器100可视为管线(Pipeline)配置，其特性在于在此管线上的数据流动的速率是一致，因此当网络20的联机质量变糟时，会导致配接器 100与编码器106上数据的流动速度也跟着下降，因此编码器106处理图像帧的第二帧速率有可能低于前述图像帧过滤器104所提供第一帧速率。 

监视器108的功能在于计算每秒通过编码器106或是前述管线的图像帧，而产生监视频号M以指示此第二帧速率(例如只有9fps)。控制器110再根据监视频号M而发出控制信号C至图像帧过滤器104，以调整第一帧速率。此处的细节，将于后续加以说明。 

网络配接器100则如前述，将编码器106所编码产生的视频数据传送至网络20，较佳地是以可变位传输率(Variable Bit Rate)的方式传送视频数据至网络20。 

以下将以一具体的实施例进一步说明本发明。如上所述，摄影机102乃是以15fps的帧速率来对摄影的对象撷取图像，因此图像帧过滤器104所能使用的第一帧速率可能在0至15fps的范围内变化。以下进一步将图像帧过滤器104的第一帧速率划分为五个阶段，换言之，第一帧速率就设定在这五个帧速率上变动： 

阶段1：1fps； 

阶段2：3fps； 

阶段3：7fps； 

阶段4：11fps；以及 

阶段5：15fps。 

一开始，过滤器104的帧速率先设定在阶段5：15fps，尝试以最高的帧速率提供图像帧，而过了预定观察时间(例如5秒)，则监视器108会计算通过编码器106的图像帧数目，并藉此计算出实际上编码器106的帧速率，并利用监视频号M通知控制器110。在一实施例中，若此5秒内实际上编码器106的帧速率为13fps，则代表后端网络20的联机状况不足以支持15fps的图像帧速率，而控制器110则利用控制信号C控制图像帧过滤器104，而将过滤器104的帧速率降低4fps至阶段4：11fps。 

在此之后，可以有两种状况，第一种是又过另一预定观察时间(例如8秒)，监视器108计算出实际上编码器106的帧速率为9fps，则控制器110则利用控制信号C控制图像帧过滤器104，而将过滤器104的帧速率再降低4fps至阶段3：7fps，以此类推，若实际上编码器106的帧速率持续下降，过滤器104的帧速率也会跟着从阶段3：7fps，降至阶段2：3fps，甚至是阶段 1：1fps。 

第二种状况是，在过滤器104的帧速率降低4fps至阶段4：11fps后又过了一预定观察时间(例如10秒)，监视器108计算出实际上编码器106的帧速率皆保持在11fps或是都不低于7fps，则表示后端网络20的联机状况也许足以支持比11fps更高的图像帧速率，因此控制器110则利用控制信号C控制图像帧过滤器104，而将过滤器104的帧速率升高4fps回到至阶段5：15fps。以此类推，若过滤器104的帧速率已经被降低至更低的阶段1-3时，在过了一观察时间内，若实际上编码器106的帧速率皆保持在或是都不低于低限值，则图像帧过滤器104的帧速率可以被升高至更高的阶段。值得一提的是，当图像帧过滤器104的帧速率所处的阶段愈低，则需要愈长的观察时间，来确定编码器106的帧速率皆保持在或是都不低于低限值，举例来说，当从阶段4升高至阶段5时，需要观察10秒，但当从阶段3升高至阶段4时，需要观察20秒。因为当所处的阶段愈低，则表示网络20所提供的联机状况愈差，所以需要更长的时间来确定网络20所提供的联机状况是否已经改善。 

在另一实施例中，一开始，过滤器104的帧速率设定在阶段5：15fps，而过了预设观察时间(例如5秒)，若此5秒内实际上编码器106的帧速率仅有9fps，而控制器110则利用控制信号C控制图像帧过滤器104，而先将过滤器104的帧速率直接降低8fps至阶段3：7fps。但在又一实施例中，而不会直接降至阶段3，而会先降低4fps至阶段4，之后再观察一段时间(例如再5秒)，若5秒内的编码器106的帧速率还是只有9fps，则再降低4fps至阶段3。此种做法的好处在于可避免因为短暂的网络不稳定，而大幅降低视频的质量。 

图2所示为本发明一方法实施例的流程图，可搭配图1所示的电子装置10更加明了本发明，此外，电子装置10中图像帧过滤器104的第一帧速率较佳是，但不限于，划分为5个阶段，举例而言，阶段1：1fps；阶段2：3fps；阶段3：7fps；阶段4：11fps；以及阶段5：15fps。。此方法开始于步骤200，其中图像帧过滤器104例如以阶段3的第一帧速率(7fps)从缓冲存储器103中提取图像帧，并传送给后方的编码器106。编码器106则以第二帧速率从图像帧过滤器104接收图像帧以编码产生视频数据。 

而在步骤202中，在一预定观察时间内，观察编码器106的帧速率，当 第一帧速率设定于阶段3时，此预定观察时间可设定为15秒，但此预定观察时间可跟第一帧速率当下所处的阶段相关，当所处的阶段愈低，则此预定观察时间愈长，举例来说，当第一帧速率位于阶段1时，此预定观察时间可设定为25秒。亦即，预设观察时段的长短与该阶段的帧速率为负相关。 

接着来到步骤204，控制器110判断编码器106的帧速率是否约略相等于过滤器104现阶段(阶段3)的帧速率(7fps)，若否，则进行到步骤206，将于后叙述；若是，则进行到步骤216，进一步判断目前过滤器104的所设定帧速率是否已到最高速的阶段(阶段5)，若是则回到步骤202，继续观察编码器106的帧速率，若否则进行到步骤218，调高过滤器104的帧速率至更高速的阶段(例如从阶段3调高至阶段4)，然后回到步骤202中，继续观察编码器106的帧速率。 

承上述，若在步骤204中，控制器110判断编码器106的帧速率乃低于与过滤器104现阶段(阶段3)的所设定帧速率(7fps)，则进行到步骤206，而在步骤206中，进一步判断目前过滤器104的所设定帧速率是否为最低速的阶段(阶段1)，若是，则步骤228，图像帧过滤器104停止从缓冲存储器103中提取图像帧，若否则进行到步骤208，降低过滤器104的帧速率至更低速的阶段(例如从阶段3降至阶段2)，然后回到步骤202中，继续观察编码器106的帧速率。 

图3a所示为本发明另一方法实施例的流程图，可搭配图1所示的电子装置10更加明了本发明。其中步骤300至302，可参照图2的步骤200至202，在此不再赘述。接着来到步骤304，控制器110判断编码器106的帧速率乃小于过滤器104现阶段(阶段3)的帧速率(7fps)。而在步骤306中，进一步判断目前过滤器104的所设定帧速率是否为最低速的阶段(阶段1)，若是，则步骤328，图像帧过滤器104停止从缓冲存储器103中提取图像帧，若否则进行到步骤3082：判断编码器106的帧速率是否更低于过滤器104下一低速阶段的所设定帧速率(3fps)，若否，则进行至步骤3084降低过滤器104的帧速率至下一低速阶段(例如从阶段3降至阶段2)，然后回到步骤302中，继续观察编码器106的帧速率；若步骤3082为是，则在一实施例中，进行至步骤3086将过滤器104的帧速率直接降低至下下个低速阶段(例如从阶段3降至阶段1)，然后回到步骤302中，继续观察编码器106的帧速率。 

在图3b所示的实施例中，其中步骤300至3084都与图3a相同，在此不 予赘述。但与图3a的差异在于，若步骤3082为是，则进行至步骤3088中，先仅降低过滤器104的帧速率至下一低速阶段(例如从阶段3降至阶段2)，然后回到步骤302中，继续观察编码器106的帧速率，此种做法的好处在于可避免因为短暂的网络不稳定，而大幅降低视频的质量。 

本发明亦提出一种计算机可读取媒体，具有通过计算机执行的区段码，用以执行如图2、3a与3b所示的传送实时视频数据的方法。藉此图2、3a与3b所述的步骤，可通过计算机程序指令而实施。此计算机可读取媒体可为任何适当的计算机可读取媒体，包括存储器、硬盘、光储存装置、磁储存装置等等。 

虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作各种更动与润饰，并可思揣其它不同的实施例，因此本发明的保护范围当视所附权利要求范围所界定者为准。 

Claims (15)

1.一种电子装置，供通过网络传送实时视频数据，该电子装置包含：

图像帧过滤器，以第一帧速率提供图像帧；

编码器，以第二帧速率从该图像帧过滤器接收该图像帧以编码产生视频数据；

监视器，产生监视频号以指示该第二帧速率；

控制器，根据该监视频号而发出控制信号至该图像帧过滤器，以调整该第一帧速率；以及

网络配接器，供传送该视频数据至该网络。

2.根据权利要求1所述的电子装置，还包含图像撷取器，供以预设帧速率产生图像帧，而该图像帧过滤器从该图像撷取器所产生的图像帧中，以该第一帧速率提供图像帧，其中该第一帧速率不大于该预设帧速率。

3.根据权利要求1所述的电子装置，其中若在第一预设观察时段内该第二帧速率低于第一低限值，则该控制器控制该图像帧过滤器以第一默认值降低该第一帧速率。

4.根据权利要求3所述的电子装置，其中在该控制器控制该图像帧过滤器以该第一默认值降低该第一帧速率之后，若在第二预设观察时段内该第二帧速率不低于第二低限值，则该控制器控制该图像帧过滤器调高该第一帧速率。

5.根据权利要求4所述的电子装置，其中该第二预设观察时段的长短与该第二低限值为负相关。

6.根据权利要求1所述的电子装置，其中该网络配接器以可变位传输率传送该视频数据至该网络。

7.根据权利要求1所述的电子装置，其中该网络配接器根据TCP/UDP协议传送该视频数据至该网络。

8.根据权利要求1所述的电子装置，其中该网络配接器根据无线传输协议传送该视频数据至该网络。

9.一种通过网络传送实时视频数据的方法，用于电子装置，该方法包含：

以第一帧速率提供图像帧；

以第二帧速率接收图像帧以编码产生视频数据；

监视该第二帧速率；

根据该第二帧速率调整该第一帧速率；以及

传送该视频数据至该网络。

10.根据权利要求9所述的方法，其中若在第一预设观察时段内该第二帧速率低于第一低限值，则根据该第二帧速率调整该第一帧速率的步骤还包含以第一默认值降低该第一帧速率。

11.根据权利要求10所述的方法，其中在以该第一默认值降低该第一帧速率之后，若在第二预设观察时段内该第二帧速率不低于第二低限值，则根据该第二帧速率调整该第一帧速率的步骤还包含调高该第一帧速率。

12.根据权利要求11所述的方法，其中该第二预设观察时段的长短与该第二低限值负相关。

13.根据权利要求9所述的方法，还包含：以可变位传输率传送该视频数据至该网络。

14.根据权利要求9所述的方法，还包含：根据TCP/UDP协议传送该视频数据至该网络。

15.根据权利要求9所述的方法，还包含：根据无线传输协议传送该视频数据至该网络。

Images