CN101267569B - 图像通信显示装置及其图像通信方法 - Google Patents

Abstract

一种图像通信显示装置，包括：成像单元，其拾取和处理对象的图像信号；语音输入单元，其接收对象的语音信号；编码器，其接收和编码图像和语音信号并产生关于该对象的信息；解码器，其解码编码的图像和语音信号以及编码的外部信号；网络收发器，其传送编码的图像和语音信号以及关于该对象的信息；控制器，其控制该编码器、解码器和网络收发器，并输出基于经过网络收发器接收的关于远程一方的信息的语音指引指令信号；显示单元，其显示解码的图像信号；以及语音输出单元，其输出解码的语音信号和输出基于语音指引指令信号的语音指引通知。

Description

图像通信显示装置及其图像通信方法

技术领域

与本发明一致的装置和方法涉及图像通信，且更具体地，涉及在其中通过语音将远程对象的数目以及该远程对象的进/出告知用户对象的图像通信。

背景技术

目前，许多图像通信解决方案显现具有专用因特网线路的增强速度。在实际中，诸如Skype一样的程序已经普及以便使用户实现遍布世界的便宜的图像通信。预计图像通信在诸如电话机一样的通信设备中将变得更流行，尽管其仍然处于试验阶段。同样，在不久的将来此类图像通信系统将在车辆上使用。

然而，执行图像通信的用户可能并不总是处于他/她注视着图像通信系统的显示屏的状况下。

例如，如果图像通信系统被安装在车辆内且司机在开车时执行图像通信，则司机会有必要从图像通信系统的显示屏上移开他的/她的视线以便观察红绿灯、路标、其他车辆等。此外，如果一方(以下称为“用户对象”)使用诸如计算机一样的多任务装置来执行与另一方(以下称为“远程对象”)的图像通信，则用户对象在除了与远程对象通信的工作期间可能不观察远程对象的图像。此外，如果该用户对象是视觉障碍的，则在图像通信中该用户对象无法观察远程对象的图像。

发明内容

本发明提供图像通信显示装置及其图像通信方法，其能够通过语音将远程对象的数目以及该远程对象的进/出告知用户对象，也提供一般的图像通信功能。

根据本发明的一方面，提供的图像通信显示装置包括：成像单元，其拾取对象的图像和处理关于该对象的拾取图像的图像信号；语音输入单元，其接收语音信号；编码器，其接收和编码经处理的图像信号和该对象的语音信号并且产生关于该对象的信息；解码器，其解码由编码器编码的图像和语音信号以及从外部接收的编码信号；网络收发器，其传送和接收由编码器编码的图像和语音信号以及产生的关于该对象的信息；控制器，其控制该编码器、解码器和网络收发器，并输出基于经过网络收发器接收的关于远程一方的信息的语音指引指令信号；显示单元，其显示由解码器解码的图像信号；以及语音输出单元，其输出由解码器解码的语音信号和输出基于来自控制器的语音指引指令信号的语音指引通知。

图像通信显示装置可以进一步包括存储器，其存储各种类型的预设的语音指引通知列表以便输出基于来自控制器的语音指引指令信号的语音指引通知。

图像通信显示装置可以进一步包括缩放器(scaler)，其在解码器和显示单元之间提供，接收由解码器解码的图像信号，缩放接收的图像信号，并输出经缩放的图像信号至显示单元。

成像单元可以包括用于拾取对象的图像的成像设备和用于处理由成像设备拾取的图像的图像信号处理器。

编码器可以使用运动图像压缩算法运动图像专家组(MPEG)-4编码图像信号。

网络收发器可以包括以太网主机。

语音输出单元可以包括放大由解码器解码的语音信号的放大器，和输出通信语音和语音指引通知的扬声器。

关于对象的信息可以包括关于对象的数目和对象的进和出的信息。

根据本发明的另一方面，提供的图像通信方法包括：处理关于对象的拾取图像的图像信号；编码经处理的图像信号和对象的语音信号以及产生关于该对象的信息；传送经编码的图像和语音信号以及关于该对象的信息到远程一方的装置；从远程一方的装置中接收编码的图像和语音信号以及关于该远程一方的信息；解码该接收的编码的图像和语音信号；显示该解码的图像信号和输出该解码的语音信号；以及输出基于接收的关于远程一方的信息的对应的语音指引通知。

该图像通信方法可以进一步包括，在显示该解码的图像信号之前，接收该解码的图像信号并且缩放该接收的图像信号。

编码该图像信号可以包括使用运动图像压缩算法编码该图像信号。

使用运动图像压缩算法编码该图像信号可以包括在成像单元中仅裁切整个图像区域的一部分并且沿着对象的运动移动该裁减部分以在屏幕的中央部分定位该对象。

传送该编码的图像信号可以包括如果确定该对象的图像并不呈现在该对象的成像单元中则停止图像信号的传送。

输出该语音指引通知可以包括当该对象进入和离开该对象的成像单元的视角时输出语音指引通知。

关于该对象的信息可以包括关于该对象的数目和该对象的进和出的信息。

附图说明

本发明的以上和/或其他方面从以下示范实施例的结合附图的描述中将变得显然和更加易于理解，其中：

图1是展示根据本发明的示范实施例的图像通信显示装置的配置的图；

图2是展示根据本发明的示范实施例的图像通信方法的运动图像编解码器的对象算法的应用的示意图；

图3是展示如果在根据本发明的示范实施例的图像通信方法中使用高解析度摄像机时裁切整个摄像机模块的一部分的示例的图；

图4是说明根据本发明的示范实施例的图像通信方法的流程图。

具体实施方式

现在将详细参考在附图中说明的本发明的示范实施例。下面描述该示范实施例从而参考附图解释本发明。

图1是展示根据本发明的示范实施例的图像通信显示装置的配置的图。

参考图1，根据本发明的示范实施例的图像通信显示装置100包括成像单元110、语音输入单元120、编码器130、解码器140、网络收发器150、控制器160、显示单元170和语音输出单元180。

如摄像机的成像单元110拾取用户对象的图像并且处理该拾取图像的图像信号。成像单元110包括用于拾取用户对象的图像的成像设备和用于处理由成像设备拾取的图像的图像信号处理器(ISP)。

如麦克风的语音输入单元120输入语音信号。即，当各对象(各方)执行诸如相互通信(电话通信)的同时观察其它对象的图像一样的图像通信时，各对象向语音输入单元120输入各自的通信语音。麦克风一般被用作语音输入单元120。

编码器130接收由成像单元110处理的图像信号和用户对象的语音信号，编码该接收的图像和语音信号，并且产生关于该拾取的用户对象的信息。在本示范实施例中，编码器130可使用运动图像压缩算法(如MPEG-4)编码图像信号。此外，关于该用户对象的信息可以包括关于该用户对象的数目和对象的进和出的信息。

解码器140解码由编码器130编码的图像和语音信号。解码器140也可以解码从外部接收的编码信号。解码器140可以基本上被设置为解码从外部接收的编码信号。图像通信显示装置100也可以被如此配置以致用户对象的图像和远程对象的图像根据用户对象的选择被同时地显示在显示单元上。

网络收发器150传送/接收由编码器130编码的图像和语音信号。网络收发器150也传送产生的关于该用户对象的信息以及接收关于远程对象的信息。网络收发器150可以包括以太网主机。

控制器160控制编码器130、解码器140和网络收发器150的操作，并输出基于经过网络收发器150接收的关于远程对象的信息的语音指引指令信号。控制器160可以被配置为控制显示单元170和语音输出单元180.

在本示范实施例中，图像通信显示装置100可以进一步包括存储器，其存储各种类型的预设的语音指引通知以便输出基于来自控制器160的语音指引指令信号的语音指引通知。

显示单元170显示由解码器130解码的图像信号。显示单元170可以包括阴极射线管(CRT)、液晶显示器(LCD)、等离子显示面板(PDP)或其它本领域公知的显示器。

如果将LCD用作显示单元170，则图像通信显示装置100可以包括缩放器，其配备在解码器140和显示单元170之间来接收由解码器140解码的图像信号，缩放接收的图像信号，并输出经缩放的图像信号至显示单元170。

语音输出单元180输出由解码器140解码的语音信号。语音输出单元180也输出基于来自控制器160的语音指引指令信号的语音指引通知。语音输出单元180可以包括放大由解码器140解码的语音信号的放大器，和输出语音信号和语音指引通知的扬声器。

下文中，将描述使用根据本发明示范实施例的图像通信显示装置100的图像通信方法。

图4是说明根据本发明的示范实施例的图像通信方法的流程图。在本示范实施例中，用户对象使用图像通信显示装置100(也称为“用户对象装置”)，以及远程对象使用与用户对象的图像通信显示装置100相同的或相似的图像通信设备(也称为“远程对象装置”)。

参考图4，首先，在操作S401中，处理用户对象的拾取图像的图像信号。

接着，在操作S402中，经处理的图像信号和用户对象的语音信号被编码，并且产生关于用户对象的信息。在本示范实施例中，可以使用如MPEG-4的运动图像压缩算法编码该图像信号。

具体地，如果运动图像编解码器的对象算法被应用于由成像单元110拾取的运动图像，则运动图像的每一帧被编码，以及同时地产生关于每帧的屏幕信息。基于此产生的屏幕信息，远程对象识别关于运动的信息，如图2所示的在显示屏幕上用户对象的进或出。在此情况中，如果高解析度被用于成像单元110，则如图3所示仅仅整个成像区域的一部分被裁切，切经裁切的部分可以沿着用户对象的运动移动。即，该裁切部分可以被移动来总是在屏幕的中央处定位该用户对象。在本示范实施例中，关于用户对象的信息包括关于用户对象的数目和用户对象的进和出的信息。

当完成图像和语音信号的编码后，在操作S403中，向远程对象装置传送编码的图像和语音信号以及关于用户对象的信息。在此时，如果确定该用户对象的图像并不呈现在成像单元中，则停止图像信号的传送。即，在传送器传送图像前分析图像，并且如果运动用户对象没有被成像单元110捕获，则确定向远程对象传送图像没有必要，且因此，停止图像传送。这是防止由于没必要的图像传送造成的资源浪费。另一方面，远程对象观察作为冻结帧的用户对象的最后图像，并且当运动用户对象图像出现时再次从用户对象装置接收图像。

如果用户对象的图像没有传送到远程对象装置，则可以同时地显示由远程对象装置的成像单元拾取的远程对象的图像，其中该成像单元与图像通信显示装置100的成像单元相同或相似。在此情况下，当经过编码和解码过程的由远程对象装置的成像单元拾取的远程对象的图像在显示单元(其与图像通信显示装置100的显示单元170相同或相似)上显示时，在拾取图像中的用户对象的运动可以被检测到。

当完成关于用户对象的拾取图像的编码的图像和语音信号的传送后，在操作S404中，从远程对象装置中接收编码的图像和语音信号以及关于远程对象的信息。此后，在操作S405中，解码该接收的编码图像和语音信号。接着，在操作S406中显示解码的图像信号和输出解码的语音信号。在显示解码的图像信号的操作前，可以还包括缩放解码的图像信号的操作。

接着，在操作S407中基于接收的关于远程对象的信息输出对应的语音指引通知。即，通过语音告知远程对象的数目的改变和远程对象诸如进和出的状态的改变。因此，即便在某些情况下当用户对象无法观察远程对象图像时，与远程对象进行通信的用户对象能够识别远程对象的状态的改变。在此时，当远程对象进入和离开该远程对象装置的成像单元的视角时，输出关于这两种情况的语音指引通知。

从以上描述易见，本发明提供一种图像通信显示装置及其图像通信方法，在其中通过语音将远程对象的数目以及该远程对象的进/出告知用户对象，也提供一般的图像通信功能，由此增加图像通信的可用性和为视觉障碍者提供使用图像通信显示装置的机会。

尽管已经示出和描述本发明的一些示范实施例，本领域的技术人员将理解在不背离本发明的原理和精神，以及所附权利要求及其等同物限定的范围的情况下，可以在其中进行各种改变。例如，对本领域的技术人员将是显然的，本发明的图像通信方法能够通过简单的设计改变而被应用于不仅是图像通信系统也可是运营CCTV系统的专用的安全或防范犯罪系统、公寓的建筑类的大型停车场、地下停车场等等。

Claims (17)

1.一种图像通信显示装置，包括：

成像单元，其拾取至少一个用户对象的图像和处理关于该用户对象的拾取图像的图像信号；

语音输入单元，其输入语音信号；

编码器，其接收和编码经处理的图像信号和该用户对象的语音信号并且产生关于该用户对象的信息；

解码器，其解码由该编码器编码的该用户对象的图像和语音信号以及至少一个远程对象的编码图像和语音信号；

网络收发器，其传送由该编码器编码的该用户对象的图像和语音信号和所产生的关于该用户对象的信息，并且接收该远程对象的编码图像和语音信号以及关于该远程对象的信息；

控制器，其控制该编码器、解码器和网络收发器，并输出基于关于该远程对象的信息的语音指引指令信号；

显示单元，其显示由该解码器解码的该用户对象的至少一个图像信号，和由该解码器解码的该远程对象的图像信号；和

语音输出单元，其输出由该解码器解码的该用户对象的至少一个语音信号和由该解码器解码的该远程对象的语音信号，以及输出基于由控制器输出的语音指引指令信号的语音指引通知。

2.如权利要求1所述的图像通信显示装置，还包括存储器，其存储多个指引通知以便输出基于由控制器输出的语音指引指令信号的语音指引通知。

3.如权利要求1所述的图像通信显示装置，还包括缩放器，其缩放由该解码器解码的该用户对象的至少一个图像信号，和由该解码器解码的该远程对象的图像信号，并且输出经缩放的图像信号至该显示单元。

4.如权利要求1所述的图像通信显示装置，其中该成像单元包括拾取该用户对象的图像的成像设备和处理由该成像设备拾取的用户对象的图像的图像信号处理器。

5.如权利要求1所述的图像通信显示装置，其中该编码器使用运动图像压缩算法编码该用户对象的图像信号。

6.如权利要求1所述的图像通信显示装置，其中该网络收发器包括以太网主机。

7.如权利要求1所述的图像通信显示装置，其中该语音输出单元包括放大由该解码器解码的语音信号的放大器，和输出该放大的语音信号和语音指引通知的扬声器。

8.如权利要求1所述的图像通信显示装置，其中关于该用户对象的信息包括关于用户对象的数目，以及关于该成像单元的视角的该用户对象的进和出的信息。

9.一种图像通信显示装置的图像通信方法，包括：

处理关于至少一个用户对象的拾取图像的图像信号；

编码经处理的图像信号和该用户对象的语音信号，以及产生关于该用户对象的信息；

传送该用户对象的编码的图像和语音信号以及关于该用户对象的信息到远程对象的远程对象装置；

从用于图像通信由该远程对象的远程对象装置中接收该远程对象的编码的图像和语音信号以及关于该远程对象的信息；

解码该用户对象的编码的图像和语音信号以及该远程对象的编码的图像和语音信号中的至少一个；

显示该用户对象的解码的图像信号和该远程对象的解码图像中的至少一个，和输出该用户对象的解码的语音信号和该远程对象的解码的语音信号中的至少一个；以及

输出基于关于该远程对象的信息的语音指引通知。

10.如权利要求9所述的图像通信方法，还包括，在显示之前，接收和缩放该用户对象的解码的图像信号和该远程对象的解码图像信号中的至少一个。

11.如权利要求9所述的图像通信方法，其中编码该用户对象的图像信号包括使用运动图像专家组(MPEG)-4的运动图像压缩算法编码该用户对象的图像信号。

12.如权利要求11所述的图像通信方法，其中使用运动图像压缩算法编码该用户对象的图像信号包括仅裁切该图像通信显示装置的成像单元的整个成像区域的一部分，并且沿着该用户对象的运动移动该裁切部分以在该裁切部分的中央区域定位该用户对象。

13.如权利要求9所述的图像通信方法，其中该传送包括如果确定该用户对象的图像并不呈现在该图像通信显示装置的成像单元中，则停止该用户对象的编码图像信号的传送。

14.如权利要求9所述的图像通信方法，其中该传送包括如果用户对象停止移动则传送该用户对象的最后图像作为冻结帧。

15.如权利要求9所述的图像通信方法，其中输出该语音指引通知包括如果该远程对象进入和离开该远程对象装置的成像单元的视角，则输出该语音指引通知。

16.如权利要求9所述的图像通信方法，其中关于该远程对象的信息包括关于远程对象的数目，以及关于该远程对象装置的成像单元的视角的该远程对象的进和出的信息。

17.如权利要求9所述的图像通信方法，其中关于该用户对象的信息包括包括关于用户对象的数目，以及关于该图像通信显示装置的成像单元的视角的该用户对象的进和出的信息。

Images