CN100536558C

CN100536558C - 远程视频电路的控制方法和系统

Info

Publication number: CN100536558C
Application number: CNB2004100086189A
Authority: CN
Inventors: 弗朗索瓦·拉多塞; 布里亚克·阿杜安
Original assignee: France Telecom SA
Current assignee: Orange SA
Priority date: 2003-03-13
Filing date: 2004-03-12
Publication date: 2009-09-02
Anticipated expiration: 2024-03-12
Also published as: KR100989660B1; KR20040081370A; CN1531340A; JP2004282762A; US20040212701A1; FR2852473A1; EP1465425A1; US7557840B2

Abstract

用于控制产生发送到终端的视频流的远程视频处理电路的方法，该终端具有作用于发送的视频流的手段，上述方法包括以下步骤：终端发送命令到远程视频处理电路以改变视频数据流，及在视频流被发送到终端之前，视频处理电路对视频流执行命令。可由视频处理电路执行的视频流处理指令包括，确定包含在所发送的视频流中的图象的图象区域的指令，与被应用于图象区域的处理的确定有关。

Description

远程视频电路的控制方法和系统

技术领域

本发明属于远程视频电路的控制方法和设备。

它特别地，但不是专门地，应用于可视电话通信。

背景技术

在传统的方式中，可视电话通信采用视频处理电路，包括捕获模块，编码模块和传输模块。

在可视电话通信中，只有几个参数可以由通信参与者改变以优化所接收的视频信号。这些参数可分为两类。

第一类参数包括所有那些可以通过激活特定的参数远程改变视频流发射器的编码模块的工作方式的命令。例如，用于IP网络中的多媒体通信系统的协议H.323可以发送能够作用于远程编码器的命令以提高发送的视频流中图象的质量，而对流量有影响，或者相反。这类命令太受限制并且只能提供在总体上处理所发送的视频信号的可能性。

第二类参数包括摄像机的远程引导命令，这些命令由制订发送到远地的摄像机的标准化命令的协议来定义，从而通过机械地作用于摄像机的定向和缩放以改变摄像机的视域。在视频通信中采用这些协议意味着要使用兼容的机动化摄像机。

发明内容

本发明的目的是消除这些缺点，通过提供控制产生发送到终端的视频流的远程视频处理电路的方法以实现所述目的，该终端具有作用于视频流的手段，该方法包括以下步骤：终端发送命令到远程视频处理电路以改变视频流，并且在视频流被发送到终端之前，远程视频处理电路对视频流执行命令。

根据本发明，可由远程视频处理电路执行的视频流处理命令包括作用于图象区域的处理命令，该图象区域的处理命令包括确定包含在所发送的视频流中的图象的图象区域，与作用于图象区域的处理操作的确定有关，远程视频处理电路执行作用于图象区域的处理命令包括选择步骤，用于选择由命令确定的视频流中的图象区域；和处理步骤，用于将命令所定义的处理操作应用于所选择的视频流中的图象区域。

根据本发明的一个特定的方面，这种处理还包括激活步骤，用于激活视频处理电路中的一个可选模块以至少执行终端所提供的命令的一部分。

根据本发明的另一个特定的方面，可由视频处理电路执行的视频流处理命令包括与图象区域相关的缩放命令以扩大图象区域，移动命令，用于在缩放命令执行之后移动视频流中所发送的的图象区域，和任选的与图象区域相关的分辨率增加命令，以增加图象区域的分辨率，而有损于视频流中所发送的的图象剩余部分。

有利的是，在从视频流处理命令执行的时间开始的预定时间间隔之后视频处理电路在视频流中恢复默认的图象配置。

更适宜地，可由视频处理电路执行的视频流处理命令包括恢复命令，用于恢复所发送的视频流中的图象的默认图象配置。

根据本发明的另一个特定的方面，所发送视频流的处理命令的传输遵照通信中的H.323协议或SIP(会话初始协议)协议进行，若所传输的消息不适应该协议则被终端忽略。

本发明还涉及一种系统，该系统用于控制产生通过电信网络被发送到第一终端的视频流的第一远程视频处理电路，以作用于所发送的视频流。该系统包括安装在第一终端的传输装置，用于发送作用于发送的视频流的处理命令到第一远程视频处理电路，和安装在第一远程视频处理电路的命令接收和执行装置，用于接收和对由第一处理电路发送的视频流执行视频流处理命令。

根据本发明，可由第一远程视频处理电路执行的视频流处理命令包括作用于图象区域的处理命令，该图象区域的处理命令包括确定包含在所发送的视频流中的图象的图象区域，与作用于图象区域的处理操作有关，安装在第一远程视频处理电路的命令接收和处理装置包括选择装置，用于在视频流中选择由应用于所述的图象区域的处理命令所确定的图象区域，和应用装置，用于将命令所定义的处理操作应用于所选择的视频流中的图象区域。

根据本发明的一个特定的方面，该系统包括插入在第一视频处理电路的可选模块，该模块至少执行定义应用于发送视频流中的图象区域的处理操作的命令的一部分。

更适宜地，可选模块包括再构造模块。

根据本发明的另一个特定的方面，第一视频处理电路被安装在第二终端，包括传输装置，用于传输命令到安装在第一终端的第二视频处理电路以改变由第二视频处理电路发送的视频流，第二视频处理电路包含命令接收和执行装置用于改变其发送的视频流。

附图说明

下面参考附图通过非限定性的实例描述本发明的优选实施例，在附图中：

图1为采用本发明方法的可视电话通信系统的实例示意图；

图2所示为集成于终端的本发明的视频处理和命令处理电路的更详细的框图；

图3所示为安装在终端中的程序的软件组织。

具体实施方式

图1所示为可视电话通信系统，由在其间建立了可视电话通信的两终端2、3构成。每个终端配备了显示屏5，命令部件如键盘4和鼠标6，摄象机7，麦克风8和至少一个扬声器9。

在图1所示的例子中，终端2通过本地网络10和本地服务器11连接到公共电信网络1，而终端3直接与网络1相连。

在可视电话通信期间，终端2、3通过网络1，10和服务器1交换包含摄象机7所摄的图象和麦克风8所捕获的声音的视频流。所交换的视频流符合例如协议H.263+和QCIF图象格式(1/4公共中间格式)，在可视电话和视频会议通信中常用的视频图象格式。显然本发明还可以采用其它的图象格式如SQCIF，CIF，4CIF，16CIF。

为产生所述视频流，每个终端2、3包括如图2所示的视频处理电路。该电路被命令处理电路21引导。视频处理电路20包括视频传输部分，用于发送摄象机所摄取或从另一来源19获得的视频图象到另一终端；和视频接收部分，用于接收其它终端发出的视频流并显示在显示屏5上。命令处理电路包括设计用于发送命令到其它终端的视频处理电路的命令传输部分；和设计用于接收其它终端发出的命令并引导与所收到的命令相关的视频处理电路的传输部分的命令接收部分，。

更准确地说，视频传输部分包括捕获模块22，捕获模块22接收终端摄象机7所摄或从另一来源获得的视频图象；和编码模块24，编码模块24被设计用于对捕获模块22提供的视频流进行编码，特别是压缩该视频流以适应所分配的传输速率；和传输模块26，传输模块26与终端的通信模块相连以发送以数据包的形式传输的编码模块24产生的已编码的视频流。

视频接收部分包括视频接收模块29，设计用于将终端收到的数据包还原成视频流，视频解码模块30，与接收模块相连并对视频流进行解码；和显示模块31，一侧与视频解码模块相连而另一侧与终端显示屏5相连以再现已解码视频流。

根据本发明，可选模块23、25还被插入到视频处理电路20的传输部分编码模块24的上游和/或下游，和/或根据终端2、3的配置集成于后者。

命令处理电路的接收部分包括命令接收模块28，其发送所收到的命令到控制模块27，该模块引导视频处理电路的发送部分，和尤其是捕获模块，可选模块23、25和编码模块24以及适用的视频信号源19。

命令处理电路的传输部分包括命令模块32，与终端的控制部件4、6连接，并根据用户通过终端控制部件4、6给出的指令产生命令；和命令传输模块33，与命令模块32命令相连并发送命令模块32产生的命令。

如图3所示，两处理电路(视频和命令)20、21是以应用软件层的形式实现。命令处理电路21采用软件层41执行如H.323协议或SIP(会话初始协议)协议发送或从远地终端接收命令。若采用H.323协议，命令将以允许传输自身的数据的“简易(Facility)”消息的形式发送。若采用SIP协议，命令将以“INFO”消息发送。这两类消息具有若与之不适应时被收信终端忽略的优点，因此，这样可以保持终端之间的互通性。

视频处理层20采用软件层40执行RTP(实时传输协议)协议或其它类似的协议，以按数据包的形式发送和接收视频流。两层40和41设计用于与执行包括用于互联网的协议的TCP/IP(传输控制协议/因特网协议)协议接合。层42采用传输层43物理接入网络。

例如在终端2和终端3之间的可视电话通信期间，终端2接收到经视频处理电路20的接收部分处理的QCIF形式的视频流H263+。根据本发明用户可通过键盘4和/或鼠标6输入命令到命令处理电路21的传输部分对接收到的视频流发生作用。这些命令通过另一终端3的命令处理电路21的接收部分接收和处理并被用于引导终端3的视频处理电路的传输部分。

这些由命令模块32产生的引导命令按照如下格式，例如：

区域<图象区域的定义>

<应用到该区域的命令>

典型地，图象区域由其形状和尺寸确定，例如“RECTANGLE(矩形)(<左上点的坐标>，<右下点的坐标>)”。

除对图象质量和因之对传输速率产生作用的常规命令之外，这些命令可以是：

■ZOOM(缩放命令)，用于放大命令所指定的区域，

■BETTER_RESOLUTION(改善分辨率命令)，使得命令所指定的区域获得更高的分辨率，

■GO(移动命令)，用于将已放大的区域移到基本图象的另一部分。

如果用户给出缩放命令，例如按照格式“Region(RECTANGLE((80，80)，(176，144))，ZOOM)”以扩大该图象的定义区域，控制模块27可采用各种解决方案执行该命令。

如果用缩放命令使摄象机机动调节，控制模块27发出一作用于摄象机的命令，以最好地构造命令所指定的区域。

如果用摄象机不是机动调节的，或摄象机不能完全执行该命令(例如请求的放大率超出摄象机缩放能力)，控制模块27发送输入图象的格式改变命令到捕获模块22以获得更高的分辨率，例如请求格式CIF(352X288像素)代替原先选择的QCIF(176X144像素)。然后控制模块27激活捕获模块22与编码模块之间的可选的再构造模块23以仅选择所捕获的图象的一部分和更精确地选择包含在收到的命令所指定的区域的图象中的那一部分。若编码模块24允许，控制模块27也可改变其输出格式以使其与指定区域的图象一致，即在上述命令的例子中，96X64像素。

通常地，为增加视频流的分辨率，由于发送到解码模块30的数据量较大，因此须提高传输速率。为解决这些问题本发明提出通过分配所有或部分可用的传输视频流仅给图象的一部分局部增加视频图象的分辨率。然后视频处理电路的传输部分将其资源集中在远程用户要求的区域，从而通过降级或不编码位于所要求的区域外的区域提供可能的最佳质量。

因此，若接收模块28接收改善分辨率的命令，例如：

“Region(RECTANGLE((80，86)，(176，144))，BETTER_RESOLUTION)”，为了在确定的图象区域获得更高的分辨率，控制模块27作用于编码模块24以分配最大的资源(视频流)于编码命令中所指定的区域，而有损于图象的剩余部分。

假如，在接收到的视频图象中，图象的一部分是静止图象，因此用户可以用该命令操作远程视频电路以不再接收该静止的部分并集中视频传输电路的资源在图象的想得到的部分。

为了移动摄像区域，用户可以下面的格式给出命令，例如：Region(RECTANGLE((-176，-20)，(0，124))，GO)。

在该命令中，请求的图象区域的坐标相对于当前图象区域被表示出来。

为处理该命令，根据捕获源能否被移动有几种可能。捕获源可以是机动的摄象机或捕获静止图象中的窗口(如计算机显示窗口)的模块。若所捕获源可被移动，命令模块直接作用于该捕获源以尽力达到接收到的命令所指定的区域。若所捕获源不能被移动，控制模块27激活和命令可选的再构造模块23并将发送的图象区域应用到它。

可以对于那些应用到视频处理电路的传输部分的改变规定具有临时的特性并在预定的时间间隔之后消失，然后传输部分将恢复到默认配置。

或者，这些改变保持到最后直至接收到另一命令。在这种情况下可以规定恢复命令以恢复缺省配置。

显然，在不超出本发明的范围的前提下，可提供除上述这些命令之外的其它命令。例如远地终端可以是一服务器，该服务器产生包括用于视频会议的多个视频流的视频图象。在这种情况下，可提供专门作用于视频流中的一个和作用于图象中的视频流表示的命令。

Claims

1、用于控制安装在发送终端(3)中的第一远程视频处理电路的方法，其中所述发送终端产生要被传输到安装在接收终端(2)中的第二远程视频处理电路的视频流，所述发送终端被布置为作用于将要由第一远程视频处理电路传输的视频流，上述方法包括以下步骤：接收终端传输命令到第一远程视频处理电路以改变要被传输的视频流，及第一远程视频处理电路在将所述视频流传输到接收终端之前，对所述视频流执行命令，

其特征在于，所述方法包括：

第一远程视频处理电路将一视频流传输到第二远程视频处理电路，

第二远程视频处理电路将由第一远程视频处理电路执行的视频流处理命令传输到安装在所述发送终端中的第一命令处理电路，

其中所述视频流处理命令包括应用于图象区域的处理命令，该应用于图象区域的处理命令包含在所传输的视频流中的图象的图象区域确定，所述图象区域确定与应用于图象区域的处理操作确定有关，

第一远程视频处理电路执行应用于图象区域的处理命令，包括选择步骤，选择由命令确定的图象区域，和处理步骤，在视频流中将命令所定义的处理应用于所选择的图象区域。

2、如权利要求1所述的方法，其特征在于，该方法还包括激活在第一远程视频处理电路中的一个可选模块(23，25)的步骤，所述可选模块(23，25)包括用于选择包含在视频流中的图象的一部分的再构造模块。

3、如权利要求1或2所述的方法，其特征在于，由第一远程视频处理电路执行的视频流处理命令包括与图象区域相关的缩放命令，用于扩大图象区域。

4、如权利要求3所述的方法，其特征在于，所述由第一远程视频处理电路执行的视频流处理命令包括移动命令，用于在缩放命令执行之后移动在视频数据流中传输的图象区域。

5、如权利要求1或2所述的方法，其特征在于，所述由第一远程视频处理电路执行的视频流处理命令包括与图象区域相关的分辨率增加命令，通过降级或不编码由视频流所传输的图象剩余部分以增加图象区域的分辨率。

6、如权利要求1或2所述的方法，其特征在于，从视频流处理命令执行的时间开始的预定时间间隔之后，第一远程视频处理电路恢复在视频流中的默认的图象配置。

7、如权利要求1或2所述的方法，其特征在于，由第一远程视频处理电路执行的视频流处理命令包括用于恢复视频流所传输的图象的默认的配置的命令。

8、如权利要求1或2所述的方法，其特征在于，视频流的处理命令的发送遵照通讯中的协议H.323或SIP进行，若所传输的消息不适应该协议则被发送终端(3)忽略。

9、用于控制安装在发送终端(3)中的第一远程视频处理电路的系统，所述发送终端(3)产生通过电信网络被传输到接收终端(2)的视频流，所述发送终端(3)被布置为作用于将要由第一远程视频处理电路传输的视频流，该系统包括传输装置(33)、接收装置(28)和执行装置(27)，所述传输装置(33)用于向包括在所述发送终端中的第一命令处理电路传输应用于要被传输的视频流的处理命令，其中所述传输装置(33)被包括在接收终端中的第二命令处理电路中，所述接收装置(28)和执行装置(27)安装在第一命令处理电路中，用于接收并对由第一远程视频处理电路传输的视频流执行视频流处理命令，

其特征在于，由第一远程视频处理电路执行的视频流处理命令包括应用于图象区域的处理命令，该应用于图象区域的处理命令包括包含在所发送的视频流中的图象的图象区域确定，所述图象区域确定与应用于图象区域的处理确定有关，安装在第一远程视频处理电路的执行装置(27)包括选择装置，用于选择由应用于图象区域的处理命令所确定的视频流中的图象区域，和应用装置，用于将命令所定义的处理操作应用于所选择的视频流中的图象区域。

10、如权利要求9所述的系统，其特征在于，该系统包括插入在第一远程视频处理电路的可选模块(23，25)，所述可选模块(23，25)包括用于选择包含在视频流中的图象的一部分的再构造模块。