CN101778293A

CN101778293A - 图像撷取装置及图像交流方法

Info

Publication number: CN101778293A
Application number: CN 200910002036
Authority: CN
Inventors: 赵维民; 王俊乔
Original assignee: Quanta Computer Inc
Current assignee: Quanta Computer Inc
Priority date: 2009-01-08
Filing date: 2009-01-08
Publication date: 2010-07-14

Abstract

本发明提供一种适用于视频会议的图像撷取装置及图像交流方法。视频会议通过网络建立于本地终端与远距终端之间。该图像撷取装置包含处理器、视频压缩器、加密元件与数据传输接口。处理器处理原始视频信号产生第一视频信号及第二视频信号。视频压缩器接收并压缩该第一视频信号。加密元件对压缩的第一视频信号加密。数据传输接口将压缩且加密的第一视频信号及第二视频信号传输至本地终端。其中，第一视频信号通过本地终端及网络传输至远距终端并通过远距终端回复，而第二视频信号呈现于本地终端。

Description

图像撷取装置及图像交流方法

技术领域

本发明是关于一种适用于视频会议的图像撷取装置及图像交流方法，且特别是关于一种可提供实时且不增加计算机负载量的图像撷取装置及图像交流方法。

背景技术

现今的科技发展日新月异，视频会议已成为众多企业和民众利用远程在线相互传递消息的工具，因此，高分辨率图像便成了需求。然而，受限于当前硬件架构与网络频宽的限制，使传输过程容易受计算机处理效率以及网络频宽的影响，质量往往也不是很好。一般而言，高分辨率(high definition，HD)图像是指画面达1280*720像素以上的解析程度。但是，当供传统视频会议用的装置撷取高分辨率画面并通过计算机设备显示到屏幕，对计算机而言是项沉重的负担。

请参阅图1所示。图1是绘示已知照相模块1的图像处理的功能方块图。光线由光学镜头(optical lens)100聚光至图像感应器102，随后图像感应器102将光信号转换成电子信号，此时电子信号即是最原始的像素数据(rawpixel data)Sr，之后图像信号处理器(image processor)104将原始像素数据经由一连串图像处理后转换成为YUV色域像素数据SYUV，此YUV像素数据可经由图像压缩器(image compressor)106压缩成为压缩比特流(compression bitstream)Sc，常见的图像压缩标准为JPEG格式。YUV像素数据或压缩比特流经由多工器(MUX)108选取一路数据送给通用序列总线桥接器(USB bridge)120。USB桥接器120将视频数据格式转换成为USB信号并传送至计算机2。此架构广泛应用于个人计算机或笔记本型计算机的Web-Camera的应用当中。

然而，在USB 2.0高速传输的规格下，一个实时传输(isochronous)频宽限制为196.6Mbps(Mega-bits per second)，可容纳每秒30张VGA(640x480)画面的原始数据量。但对于高清分辨率的世代来临，当画面分辨率到达每秒30张1280*720像素的画面时，其数据量高达331.78Mbps，明显已经超过USB版本2.0的最大容许频宽。故已知架构欲传送此等级的视频数据量，需使用压缩技术来使数据量缩小或者降低每秒张数。当使用压缩技术方法必须额外增加解压缩后处理，造成处理器的负担更加沉重。若采用减少传送每秒张数的方法，则会让使用者感受到画面不流畅。

当已知照相模块装置使用JPEG技术进行压缩，在可接受的画面质量下，常见采取JPEG压缩的方式可以提供5～10倍的压缩率，也就是约66.37Mbps至33.18Mbps数据量，可以经由USB传输到计算机。然而，若要进一步通过网络传输时，应用会因为网络频宽的不同而受到限制。在此将网络频宽概分为两类，一类为局域网络(local-area network)，另一类为广域网络(wide-area network)。局域网络可以提供上下行传输速率达50Mbps(100Mbps/1Gbps；有线网络)与18-22Mbps(无线网络)。广域网络可以提供的传输速率约为30-50Kbps(Modem)、300-1Mbps(Asymmetric DigitalSubscriber Line，ADSL；非对称数字用户网络)与2Mbps(Fiber To The Home，FTTH；光纤宽带网络)。故使用JPEG压缩仅能用于局域网络内，大大地被限制其使用的范围。

为了使数据量更小且符合各种频宽限制，更先进的压缩技术必须被采用。H.264已为目前公认最新颖且已达标准化的压缩技术。使用H.264针对每秒达30张的高分辨率影片做视频压缩，数据量可以降到512Kbps～2Mbps之间(达到VHS到DVD质量)。在牺牲部分视频质量或针对较静态的视频会议场景的环境，已可满足广域网络的频宽限制。

另外，请参阅图2所示。图2是绘示使用已知照相模块1的架构下，计算机2中的软件处理方块图。USB驱动接口260将照相模块1传来的USB封包解开为原始数据(在传统架构下为JPEG比特流数据格式)，之后JPEG解码器262将JPEG比特流数据解压缩成为YUV格式的原始视频数据。YUV呈现器266将YUV格式数据显像到计算机2的屏幕上。H.264编码器264压缩YUV原始数据成为视频比特流，网络传送端268将视频比特流传递到网络。网络接收端270接受网络上远距终端传来的视频比特流，H.264解码器272将视频比特流解压缩成为YUV格式的原始视频数据，YUV呈现器274将YUV格式数据显像到计算机2的屏幕上。

在这样的架构下，若要传送每秒30张HD画面的视频会议系统，其计算机软件运算量估计如表一所示。由表一得知，当已知视频会议撷取装置用于配有低阶中央处理器(CPU)，例如Intel Core Due T2200，的笔记本型计算机，其CPU使用的总和负载利用率约达195％。若改采配有高阶CPU，例如Intel Core 2 Due T7200，的笔记本型计算机，CPU的负载利用率仍超过155％。

由表一中可明显得知，采用低阶或高阶的CPU来处理此图像，皆会造成CPU严重超载。因此，已知照相模块所撷取的每秒30张HD画面的视频画面数据，无论通过高阶或低阶CPU都无法顺畅处理。

表一

有鉴于此，本发明的主要范畴在于提供一种适用于视频会议的图像撷取装置及图像交流方法，以解决上述问题。

发明内容

本发明的一范畴在于提供一种适用于视频会议的图像撷取装置。该视频会议通过网络建立于本地终端与远距终端之间。根据本发明的一具体实施例，该图像撷取装置包含处理器、视频压缩器、加密元件以及数据传输接口。该处理器用以处理原始视频信号以产生第一视频信号及第二视频信号。该视频压缩器耦接至该处理器，用以接收并压缩该第一视频信号。该加密元件耦接至该视频压缩器，用以对该压缩的第一视频信号加密。该数据传输接口耦接至该加密元件及该处理器，用以将该压缩且加密的该第一视频信号及该第二视频信号传输至该本地终端。其中该第一视频信号是通过该本地终端开通过该网络传输至该远距终端并通过该远距终端回复(recover)，而该第二视频信号是呈现于该本地终端上。

本发明的另一范畴在于提供一种适用于视频会议的图像交流方法，该视频会议通过网络建立于本地终端与远距终端之间。根据本发明的一具体实施例，图像交流方法包含下列步骤：提供原始视频信号；处理该原始视频信号以产生第一视频信号及第二视频信号；接收并压缩该第一视频信号；接着，对该压缩的第一视频信号加密；然后，将该压缩且加密的第一视频信号及该第二视频信号传输至该本地终端；将该第二视频信号呈现于该本地终端上，以及；通过该本地终端，通过该网络将该第一视频信号传输至该远距终端，其中该第一视频信号通过该远距终端回复。

综合上述，本发明的适用于视频会议的图像撷取装置及图像交流方法可以达成高分辨率图像实时传递的目的。本发明通过将原始信号分成两种路径处理，并于图像撷取装置中预先对视频信号进行压缩及加密的操作。如此一来，计算机设备软件处理负荷减少，高分辨率图像能够在有限的频宽内能顺畅传递。简言之，本发明能够达到实时性、高质量、画面流畅与便利性等优点，进一步达成同步影音分享的功能。

关于本发明的优点与精神可以通过以下的发明详述及所附图式得到进一步的了解。

附图说明

图1是绘示已知照相机模块的图像处理的功能方块图。

图2是绘示使用已知照相模块的架构下计算机中的软件处理方块图。

图3是绘示根据本发明一具体实施例的视频会议系统的示意图。

图4是绘示于一具体实施例中图3所示图像撷取装置的功能方块图。

图5是绘示图3所示本地终端中的软件处理的功能方块图。

图6为使用冗余数据产生器后延迟时间的改进图。

图7A及图7B是绘示根据本发明另一具体实施例的图像交流方法的流程图。

[主要元件标号说明]

1：照像模块 100：光学镜头

102：图像感应器 104：图像信号处理器

106：图像压缩器 108：多工器

120：USB桥接器 2：计算机

260：USB驱动接口 262：JPEG解码器

264：H.264编码器 266、274：YUV呈现器

268：网络传送端 270：网络接收端

272：H.264解码器 3：视频会议系统

4、5：图像撷取装置 6：网络

7：本地终端 8：远距终端

46：数据传输接口

400：处理器 420：视频压缩器

422：加密元件 424：冗余数据产生器

440：第二缩放器 442：第二视频流桥接器

4200：第一缩放器 4202：方块扫描元件

4204：画面缓冲器 4206：多工器

4208：第一视频流桥接器

70：USB驱动接口 72、84：YUV呈现器

74：MPEG-2TS解多工器 76：网络传输端

78：网络接收端 80：解密器

82：H.264解码器

Sr：原始像素数据 S_YUV：YUV色域像素数据

Sc：压缩比特流 S₄₀：原始视频信号

S₄₂：第一视频信号 S₄₄、S₇₄：第二视频信号

S₄₆、S₇₂：视频比特流 S₇₀：USB封包数据

S0～S9：流程步骤 S10～S12：流程步骤

具体实施方式

请参阅图3。图3是绘示根据本发明一具体实施例的视频会议系统3的示意图。该视频会议系统3通过网络6建立于本地终端7与远距终端8之间。在本具体实施例中，本地终端7与远距终端8可以各是笔记本型计算机，且各自耦接图像撷取装置(4、5)。

请参阅图4。图4是绘示于一具体实施例中图3所示图像撷取装置4的功能方块图。需注意的是，图像撷取装置5的功能方块图参照图4即可。本发明的图像撷取装置4包含处理器400、视频压缩器420、加密元件422以及数据传输接口46。处理器400用以处理原始视频信号S40以产生第一视频信号S42及第二视频信号S44。又，第一视频信号S42及第二视频信号S44可为YUV视频数据。其中，该原始视频信号S40即光线通过光学镜头聚光在图像撷取装置4中的图像感应器上成像后，图像感应器转换成的电子信号。该电子信号即是原始视频信号(raw pixel data)S40。

需特别说明的是，本发明的图像撷取装置4在处理第一视频信号S42时，进一步可包含第一缩放器4200、方块扫描元件4202和画面缓冲器4204。第一缩放器4200耦接于该处理器400，用以缩放该第一视频信号S42。方块扫描元件4202耦接于该第一缩放器4200及该视频压缩器420之间。画面缓冲器4204耦接至该视频压缩器420。其中，经过方块扫描元件4202处理的像素数据传送至视频压缩器420后，视频压缩器420可将第一视频信号S42压缩成视频比特流(bitstream)。由于视频压缩器420去除空间与时间的多余性，因此需要画面缓冲器4204以储存重建的画面像素数据。

视频压缩器420用以接收并压缩该第一视频信号S42。于实际应用中，视频压缩器420可采用MPEG-4或H.264格式来压缩。加密元件422耦接至该视频压缩器420，用以对该压缩的第一视频信号S42进行加密。

需注意的是，本发明的图像撷取装置4进一步包含冗余数据产生器(junkdata generator)424以及多工器4206。在本实施例中，多工器4206可以是MPEG-2传输比特流混合器(MPEG-2 multiplexer)，但不以此为限。冗余数据产生器424用以产生冗余数据，且冗余数据产生器424可设定产生固定的冗余数据量。多工器4206耦接于该加密元件422、该冗余数据产生器424及该数据传输接口46之间，用以将该冗余数据及该第一视频信号S42混合后输出MPEG-2视频比特流S46至该数据传输接口46。冗余数据产生器424的功能在于降低视频信号传输到本地终端7后，本地终端7中的缓冲器所造成的延迟时间(delay time)，使得视频会议的进行更为流畅。

此外，本发明的图像撷取装置4可以另包含耦接于该处理器400及数据传输接口46间的第二缩放器440，以调整处理器400传来的第二视频信号S44。要说明的是，当数据传输接口46有频宽限制装置时，可通过第一缩放器4200以及第二缩放器440在空间上对视频信号缩放。

于一具体实施例中，该数据传输接口46可为通用串行总线(USB)接口。如图4所示，USB接口可包含第一视频流桥接器4208及第二视频流桥接器442。该第一视频流桥接器4208耦接至该加密元件422，而该第二视频流桥接器442耦接至该第二缩放器440。第一视频流桥接器4208及第二视频流桥接器442利用数据处理时间上的分工，将多工器4206输出的视频比特流S46和第二缩放器440输出的第二视频信号S44封入USB的封包当中后，传输至该本地终端7。

参阅图5所示。图5是绘示图3所示本地终端7中的软件处理的功能方块图。需注意的是，远距终端8中的软件处理过程参照图5即可。USB驱动接口70将图像撷取装置4传来的USB封包数据S70解开为原始数据，包含该MPEG-2视频比特流S72及符合YUV格式的第二视频信号S74。第二视频信号S74通过YUV呈现器72显像到本地终端7的屏幕，以作为本地终端处画面的预览画面。特别要强调的是，MPEG-2 TS解多工器(demultiplexer)74用以将加密且压缩的第一视频信号由MPEG-2视频比特流S72中截取出来，而MPEG-2视频比特流S72内的冗余数据则会丢弃。之后，截取出来的第一视频信号通过网络传输端76通过网络6传递至远地终端8，以供远地终端8观看本地终端的画面。

网络接收端78接收从远地终端8传来的视频比特流(相当先前所述的第一视频信号)，通过解密器80将视频比特流解密，之后H.264解码器82将视频比特流解压缩成为原始的YUV格式视频数据，再由YUV呈现器84将解码后的画面显示于远距终端8的屏幕。

在本发明架构下，在传送每秒30张HD画面时，低阶CPU T2200及高阶CPU T7200的运算量估计如表二所示。由表二可清楚得知，无论低阶及高阶CPU都可处理每秒传送30张HD画面的视频会议系统。

表二

请参阅图6，图6为使用冗余数据产生器后延迟时间的改进图。延迟时间的测量是指图像光线进入到本地终端内的镜头开始后直到图像于远距终端内的H.264解码器解码完成并显现到远距终端的屏幕上。其中，网络延迟因子视为理想状况(延迟为0ms)。如图6所示，当冗余数据的数据量增加时，原先USB驱动接口内的缓冲器所造成的延迟时间会随之递减，当插入90个冗余数据封包(每个封包188 bytes)时，可以使整体延迟时间减少到165ms。

请参阅图7A、图7B并一并参阅图3。图7A及图7B是绘示根据本发明另一具体实施例的图像交流方法的流程图。本发明的图像交流方法适用于视频会议，该视频会议通过网络建立于本地终端7与远距终端8之间。本发明的图像交流方法包含下列步骤。

执行步骤S0，提供原始视频信号。该原始视频信号可由图3中的图像撷取装置(4、5)提供，在此以图像撷取装置4提供为例说明。

执行步骤S1，于图像撷取装置4中，处理该原始视频信号以产生第一视频信号及第二视频信号。

针对第一视频信号，执行步骤S10及步骤S11，缩放该第一视频信号后对第一视频信号进行方块扫描程序。之后，执行步骤S2及步骤S3，接收并压缩第一视频信号后对该压缩的第一视频信号加密。

需注意的是，本发明的图像交流方法进一步可执行步骤S4，产生冗余数据。接着，执行步骤S5，将该冗余数据及该压缩且加密的第一视频信号混合成视频比特流，例如MPEG-2视频比特流。关于冗余数据的叙述及功能请再参阅先前提及的段落。

于步骤S1之后，针对第二视频信号，执行步骤S12，缩放该第二视频信号。于处理完第一视频信号及第二视频信号后，执行步骤S6，将视频比特流及第二视频信号混合后，例如混合成USB数据封包，传输至本地终端7。

之后，针对第二视频信号，执行步骤S7，将第二视频信号截取出来呈现于本地终端上，以作为本地终端处画面的预览画面。针对第一视频信号，执行步骤S8，将第一视频信号由视频比特流中截取出来并丢弃冗余数据。接着，执行步骤S9，通过该本地终端，通过网络将第一视频信号传输至远距终端并由该远距终端回复，以供远地终端观看本地终端的画面。

于此实施例中，本发明的图像交流方法进一步于该本地终端接收来自该远距终端的压缩的第三视频信号，接着对该第三视频信号解压缩并将解压缩的该第三视频信号呈现于该本地终端上。

实际应用时，该第二视频信号可呈现于该本地终端的显示屏幕的第一区域上，而解压缩的该第三视频信号可呈现于该屏幕的第二区域上，该第二视频信号显现源自本地的图像，而该第三视频信号显现源自远程的图像。因此，本地终端的屏幕上会显像本地拍摄画面以及通过网络传递的远程拍摄画面。同样地，远距终端的屏幕上亦会产生两个信号的视频画面。

相较于先前技术，本发明通过将单一原始视频信号做两路分流的方式，并于图像撷取装置中预先对视频信号进行压缩及加密的操作，解决目前种种频宽限制，以达到传递视频会议画面时，确保达到每秒30张HD(1280*720)分辨率图像的流畅性。如此一来，个人计算机或笔记本型计算机执行实时图片传递时，其负载利用率不致于过载而发生当机现象或画面的不顺畅情况。通过本发明的图像撷取装置及交流方法，可让计算机设备维持在额定的负载利用率内，并有效降低画面延迟时间。

通过以上较佳具体实施例的详述，是希望能更加清楚描述本发明的特征与精神，而并非以上述所揭露的较佳具体实施例来对本发明的范畴加以限制。相反地，其目的是希望能涵盖各种改变及具相等性的安排于本发明所欲申请的权利要求范围的范畴内。

Claims

1.一种适用于视频会议的图像撷取装置，该视频会议通过网络建立于本地终端与远距终端之间，该图像撷取装置包含：

处理器，用以处理原始视频信号以产生第一视频信号及第二视频信号；

视频压缩器，耦接至该处理器，用以接收并压缩该第一视频信号；

加密元件，耦接至该视频压缩器，用以对该压缩的第一视频信号加密；以及

数据传输接口，耦接至该加密元件及该处理器，用以将该压缩且加密的该第一视频信号及该第二视频信号传输至该本地终端；

其中该第一视频信号是通过该本地终端并通过该网络传输至该远距终端并通过该远距终端回复，而该第二视频信号是呈现于该本地终端上。

2.根据权利要求1所述的图像撷取装置，进一步包含：

冗余数据产生器，用以产生冗余数据；以及

多工器，耦接于该加密元件及该数据传输接口之间并耦接该冗余数据产生器，用以将该冗余数据及该第一视频信号混合后输出至该数据传输接口。

3.根据权利要求1所述的图像撷取装置，进一步包含：

第一缩放器，耦接于该处理器及该视频压缩器之间，用以缩放该第一视频信号。

4.根据权利要求3所述的图像撷取装置，进一步包含：

方块扫描元件，耦接于该第一缩放器及该视频压缩器之间。

5.根据权利要求1所述的图像撷取装置，进一步包含：

第二缩放器，耦接于该处理器及该数据传输接口之间，周以缩放该第二视频信号。

6.根据权利要求1所述的图像撷取装置，进一步包含：

画面缓冲器，耦接至该视频压缩器。

7.根据权利要求1所述的图像撷取装置，其中该数据传输接口是通用串行总线接口。

8.根据权利要求7所述的图像撷取装置，其中该通用串行总线接口包含第一视频流桥接器及第二视频流桥接器，该第一视频流桥接器耦接至该加密元件，而该第二视频流桥接器耦接至该处理器。

9.根据权利要求1所述的图像撷取装置，其中该视频压缩器符合MPEG-4或H.264格式。

10.一种适用于视频会议的图像交流方法，该视频会议通过网络建立于本地终端与远距终端之间，该方法包含下列步骤：

提供原始视频信号；

处理该原始视频信号以产生第一视频信号及第二视频信号；

接收并压缩该第一视频信号；

对该压缩的第一视频信号加密；

将该压缩且加密的第一视频信号及该第二视频信号传输至该本地终端；

将该第二视频信号呈现于该本地终端上；以及

通过该本地终端，通过该网络将该第一视频信号传输至该远距终端，其中该第一视频信号通过该远距终端回复。

11.根据权利要求10所述的方法，进一步包含下列步骤：

产生冗余数据；以及

将该冗余数据及该压缩且加密的第一视频信号混合。

12.根据权利要求10所述的方法，其中于压缩该第一视频信号之前，该方法进一步包含下列步骤：

缩放该第一视频信号。

13.根据权利要求12所述的方法，其中于缩放该第一视频信号之后，该方法进一步包含下列步骤：

对该第一视频信号进行方块扫描程序。

14.根据权利要求10所述的方法，其中于将该第二视频信号传输至该本地终端之前，该方法进一步包含下列步骤：

缩放该第二视频信号。

15.根据权利要求10所述的方法，进一步包含下列步骤：

于该本地终端，接收来自该远距终端的压缩的第三视频信号；以及

对该第三视频信号解压缩并将解压缩的该第三视频信号呈现于该本地终端上。

16.根据权利要求15所述的方法，其中该第二视频信号呈现于该本地终端的显示屏幕的第一区域上，而解压缩的该第三视频信号呈现于该屏幕的第二区域上，该第二视频信号显现源自本地的图像，而该第三视频信号显现源自远程的图像。

17.根据权利要求10所述的方法，其中压缩该第一视频信号的步骤采用MPEG-4或H.264格式。