CN1450808A - 图像数据分发 - Google Patents

Abstract

提供一种图像处理装置、图像分发系统、信息分发装置、信息分发方法以及变换装置。变换装置连接到将拍摄取得的图像信息分发给显示操作终端的摄像机服务器，从摄像机服务器接收图像信息，将接收到的上述图像信息变换为针对便携显示终端的格式，并分发给便携显示终端。

Description

图像数据分发

技术领域

本发明涉及对从连接到网络的摄影装置提供的图像数据施加变更并分发给图像显示装置的技术。

背景技术

在日本专利申请公开特开平10-040185号公报中公开一种提供可经由互联网等网络观看在远处所配置的摄像机的图像的功能的摄像机。下面将具有这种网络功能的摄像机叫做摄像机服务器装置。在此现有例子中，在个人计算机等多个终端装置中不仅可同时观看来自摄像机服务器装置的图像，还可使用多个终端装置从远程控制摄像机的摇镜头、倾斜角度以及缩放倍率。

在这种还许可摄像机控制的摄像机服务器装置系统中，在多个终端装置上许可控制1台摄像机时，物理上需要调停仅控制1台摄像机的权限。关于这一点，通过导入在日本专利申请公开特开平10-042278号公报中公开的所谓控制权限的概念，就可仅在用户具有控制权限期间进行摄像机控制。另一方面，在来自这种摄像机服务器装置的图像上重叠信息的技术在日本专利申请公开特开平11-196404号公报中得以公开。

近年来，随着便携电话、便携终端技术的进步，也可能这样从设备观看或操作摄像机图像。但是，当来自这种摄像机服务器装置的图像不仅分发到个人计算机等终端，还分发到便携电话等终端装置等时，因为个人计算机等终端与便携终端中图像传送方法和图像格式等是不同，所以摄像机服务器装置需要持有双方的接口，就出现摄像机服务器装置成本增大的问题。这对于摄像机控制也同样，在摄像机服务器装置侧需要另外具有便携终端的摄像机控制用的专用接口，就使得摄像机服务器装置复杂化并且成本增加。

另一方面，对于来自不具有在图像上重叠广告等的功能的摄像机服务器装置的图像，以后就不能灵活地重叠广告。另外，在想重叠的信息非常大时，摄像机服务器装置上保持重叠信息是与以往的图像分发这种目的不同的功能，从成本方面看不现实。进而，已有技术中不能做到例如在便携电话中重叠广告信息，而在以往那样的终端中不重叠广告信息。

在经由网络控制远处的摄像机并取得·显示图像的技术中，具有摄像机的摇镜头、倾斜、缩放、逆光校正等与摄像机控制有关的自由度高的特征。一般使用在以图像和语音作为一组、经由网络收发多个地点中的图像和语音的电视会议系统中。经由网络一边下载图像、语音一边进行再现的技术叫作流化技术，利用同时进行图像和语音的编码、网络分发、接收和再现的实况分发技术。

关于图像和语音的对应，在日本专利申请公开特开平11-305318号公报中，有将摄像机参数和语音对应起来输出图像和语音的摄影装置。在日本专利申请公开特开平08-56326号公报中公开了选择并输出图像和语音的装置。日本专利申请公开特开平10-93941号公报公开了连接多个地点、切换使用图像和语音的电视会议系统的例子。

在经由网络控制远处的摄像机所谓网络摄像机中，一般仅可取得图像而没有语音。另一方面，电视会议系统中除摄像机控制外还能够收发图像和语音，但用途上图像和语音采用在同一地点中输入到相同的双向通信装置的方式。一般是图像和语音的连接目标由终端用户特意进行指定的使用方法。

图像流化技术是将一个带语音图像分发到多个接收装置，组合任意的图像和语音通常不进行。在以往公开的图像和语音的选择、组合装置中，不能在网络上进行任意的组合。

通过互联网、内部网等数据传输媒体连续分发图像的图像分发系统已经在全社会得以普及，用于实况图像的发送、室内外的监视、动植物的观察等各种领域。

在这些图像分发系统中，利用用于分发图像的图像分发服务器，该图像分发服务器多数采用JPEG编码方式(由ISO/IEC 10918所规定的世界标准的图像编码方式)作为图像编码方式。

另一方面，从图像分发服务器发送的遵循JPEG编码方式的编码图像数据(JPEG编码数据)由客户终端接收，解码后在画面上显示。因为当前正普及的PC(个人计算机)、PDA(个人数据助理)多数具有作为标准功能的JPEG编码数据的解码功能，所以PC和PDA作为客户终端得以利用。

但是，近年来便携电话迅速普及，作为日本国内使用的便携终端，便携电话的普及率比笔记本型PC和PDA还要高。进而，便携电话的功能迅速提高，最近在日本国内实用化的对应第三代通信方式的便携电话中作为标准功能搭载有遵循MPEG4编码方式(由ISO/IEC14496所规定的世界标准的语音图像编码方式)的编码数据(MPEG4编码数据)的解码功能。但是，由于便携电话中通常不搭载JPEG编码数据的解码功能，故不能直接从上述图像分发服务器向便携电话发送JPEG编码数据。

针对该问题，考虑2个解决方法。第一个解决方法是改善图像分发服务器，可发送MPEG4编码数据的方法。但是，在这种方法中需要将现有的图像分发服务器置换为新的图像分发服务器，与图像分发服务器的设置台数成比例地进行置换用的成本将花费巨大。

第二个解决方法是在图像分发服务器和便携电话的通信通路的途中设置中继服务器，通过该中继服务器进行从JPEG编码数据向MPEG4编码数据的编码数据变换的方法。该方法的优点是通过将多台图像分发服务器连接到1台中继服务器，可大大降低中继服务器的设置台数，由此设置用的成本也可大大得以抑制。

但是，设置中继服务器的方法也有缺点。这是因为相对于以往的图像分发服务器通常处理的图像大小为QVGA(Quarter VGA)大小(横向320像素、纵向240像素)或1/16VGA大小(横向160像素、纵向120像素)，便携电话通常可解码的图像大小为QCIF(QuarterCIF)大小(横向176像素、纵向144像素)，所以必须将QVGA大小或1/16VGA大小的JPEG编码数据变换为QCIF大小的MPEG4编码数据，就担心由此编码数据变换而引起图像质量的劣化。

例如，以往的JPEG编码数据的分辨率变换方式如日本专利申请公开特开平4-229382号所公开那样，构成为通过在JPEG图像解码处理中得到的1块中的正交变换数据中，仅取出低次的系数成分进行反正交变换，将图像大小缩小为横向的m/8倍、纵向的n/8倍(m、n都是大于等于1小于等于7的整数)。但是，因为从QVGA大小向QCIF大小的变换是横向0.55倍(4.4/8)、纵向0.6(4.8/8)倍，从1/16VGA大小向QCIF大小的变换是横向1.1倍(8.8/8)、纵向1.2(9.6/8)倍，所以m、n都没有成为整数，不能进行从QVGA大小或1/16VGA大小向QCIF大小的变换。

进而，作为以往的一般的图像分辨率变换方法，有将图像按一定比率间疏像素(缩小)或反复插入相同像素(扩大)的方法，和计算相邻的多个像素的加权平均值来生成新的像素值的方法等，任一方法都可按任意倍率来变换图像大小。但是，这些已有技术中产生使用从图44到图47在下面进行说明那样的问题点。

图44是表示根据已有技术将QVGA大小的图像变换为QCIF大小时的变换前和变换后的图像范围的对应关系的图。如该图所示，横向320像素、纵向240像素的图像范围缩小为横向176像素、纵向144像素的图像范围。如上所述，这是横向0.55倍(4.4/8)、纵向0.6(4.8/8)倍的变换倍率。

图45是说明通过图44的图像大小变换引起的块边界线移动的图。在同一图中，实线表示横向8像素间隔、纵向8像素间隔的边界线的位置，虚线表示横向4.4(＝8×0.55)像素间隔、纵向4.8(＝8×0.6)像素间隔的边界线的位置。即通过图44的图像大小变换，存在于变换前的图像中的块边界线位置从实线位置向虚线位置移动。然后变换后的图像再次沿着实线位置的块边界线被分割进行MPEG4图像编码，因此在MPEG4图像解码所得到的图像中虚线位置和实线位置双方都存在块边界线。

但是，虚线位置的块边界线是由图像分发服务器中的JPEG编码所生成，因此随着JPEG编码的压缩率提高，在虚线位置中出现块失真。加之，实线位置的块边界线是由中继服务器的MPEG4图像编码所生成，因此随着MPEG4图像编码的压缩率提高，在实线位置中也出现块失真。

当前，图像分发服务器和便携电话之间的通信容量为每秒数十到数百千比特左右，为了传输动作平滑的图像，通信容量不充分，因此通常将图像的压缩率设定得较高。为此，上述图45所示的虚线位置和实线位置双方中会明显出现块失真，便携电话用户看到的图像画质就大大降低。

图46是表示通过已有技术将1/16VGA大小的图像变换为QCIF大小时的变换前和变换后的图像范围的对应关系的图。如该图所示，横向160像素、纵向120像素的图像范围放大为横向176像素、纵向144像素的图像范围。如上所述，这是横向1.1倍(8.8/8)、纵向1.2(9.6/8)倍的变换倍率。

图47是说明由图46的图像大小变换而引起的块边界线移动的图。在同一图中，实线表示横向8像素间隔、纵向8像素间隔的边界线的位置，虚线表示横向8.8(＝8×1.1)像素间隔、纵向9.6(＝8×1.2)像素间隔的边界线的位置。即通过图46的图像大小变换，存在于变换前的图像中的块边界线位置从实线位置向虚线位置移动。然后变换后的图像再次沿着实线位置的块边界线被分割进行MPEG4图像编码，因此在MPEG4图像解码所得到的图像中虚线位置和实线位置双方都存在块边界线。

也就是，在1/16VGA大小的图像的情况下，虚线位置和实线位置双方中也会出现块失真，便携电话用户看到的图像画质就大大降低。

发明内容

本发明就是鉴于上述问题而完成的，目的是不需要另外设置摄像机服务器和便携终端等通信用的接口，可以避免摄像机服务器装置的成本增加。

另外，第二目的是不需要另外设置摄像机服务器控制用的专用接口，可以避免摄像机服务器装置的成本增加。

进而，第三目的是使摄像机服务器装置不具有信息重叠处理等的多余功能，可以避免摄像机服务器装置的成本增加。

为了达到上述目的，本发明提供一种图像处理装置，其特征在于，具有：图像信息接收装置，从可向第一图像显示装置分发图像信息的摄影装置接收通过摄影所取得的图像信息；以及图像信息分发装置，把用上述图像信息接收装置接收的上述图像信息，变换为针对与上述第一图像显示装置不同种类的第二图像显示装置的格式，并分发给上述第二图像显示装置。

另外，第四目的是可在经由网络控制远处的摄像机并取得图像的系统中，将位于网络上各别场所的图像数据和语音数据编码为带语音图像并发送给接收装置。

为达到上述目的，本发明提供一种信息分发装置，其特征在于，具有：图像数据接收装置，从可发送图像数据的多个图像发送装置接收上述图像数据；语音数据接收装置，从可发送语音数据的多个语音发送装置接收上述语音数据；编码装置，有选择地组合用上述图像数据接收装置所接收的上述图像数据和用上述语音数据接收装置所接收的上述语音数据，并作为带语音图像数据进行编码；以及分发装置，将由上述编码装置所生成的上述带语音图像数据分发给接收装置。

另外，第五目的是在中继服务器中将从图像分发服务器发送的编码数据变换为不同数据形式时，将由变换而产生的图像质量恶化、尤其是块失真的明显增大抑制到最小限度。

为达到上述目的，本发明提供一种变换处理方法，将通过按第一块单位进行分割编码的第一编码方式所编码的第一大小的图像数据，变换为通过按第二块单位进行分割编码的第二编码方式所编码的第二大小的图像数据，所述变换处理方法的特征在于：从上述第一大小的图像数据沿着上述第一块的边界切出上述第二大小的图像数据；通过第二编码方式对所切出的上述第二大小的图像数据进行编码。

本发明的其他特征以及优点，通过以附图为参照的下面的说明将会弄明白。此外，在附图中，对相同或相似的结构附加相同的参照标号。

附图说明

附图包含在说明书中，构成其一部分，表示本发明的实施形式，并与说明书的记述一起用于说明本发明的原理。

图1是表示本发明的第一实施例的信息分发系统的物理结构的概要图；

图2是表示本发明的第一实施例的摄像机服务器装置的结构的框图；

图3是表示显示操作终端的用户界面画面的一例的图；

图4是表示便携显示终端的外观的一例的图；

图5是表示着眼于本发明的第一实施例的数据流程的信息分发系统的逻辑结构的图；

图6是表示本发明的第一实施例的变换服务器的图像变换单元的动作的流程图；

图7是表示本发明的第一实施例的广告服务器的数据库结构的图；

图8是表示从本发明的第一实施例的摄像机控制权限取得到发出摄像机控制命令的流程的流程图；

图9是表示本发明的第一实施例的摄像机控制权限请求和摄像机控制命令的数据格式的图；

图10是表示从发出本发明的第一实施例的控制命令语音到接收应答语音的流程的图；

图11A和11B是本发明的第一实施例的键按钮和摄像机控制命令、来自摄像机服务器装置的应答和便携显示终端再现的应答语音的对应表；

图12是表示与本发明的第一实施例的摄像机服务器装置的控制命令相应的应答动作的流程的流程图；

图13是表示本发明的第一实施例的摄像机控制命令的数据格式的图；

图14是表示在本发明的第一实施例的分发服务器装置和变换服务器装置之间进行交换的语音数据的格式的图；

图15是表示在本发明的第一实施例的分发服务器装置和变换服务器装置之间进行交换的语音数据的格式的图；

图16是表示本发明的第一实施例的变换服务器装置的控制权限管理·语音变换单元的控制权限请求时的流程的概况的流程图；

图17是表示本发明的第二实施例的摄像机切换控制的流程的流程图；

图18是本发明的第二实施例的摄像机序号、摄像机名、摄像机地址对应表；

图19是本发明的第三实施例的广告信息表的构成；

图20是表示本发明的第四实施例的信息分发系统的结构的框图；

图21是表示本发明的第五实施例的变换服务器装置的动作的流程图；

图22是表示本发明的第六实施例的信息分发系统的简要结构的框图；

图23是表示本发明的第六实施例的图像服务器和语音服务器的硬件结构的框图；

图24是表示本发明的第六实施例的信息分发系统的软件结构的框图；

图25是表示本发明的第六实施例的信息分发系统的软件模块的动作过程的图；

图26A～26C是表示本发明的第六实施例的中继服务器管理图像信息、语音信息和图像语音对应用的表结构的图；

图27是表示本发明的第六实施例的中继服务器的请求处理过程的处理顺序的流程图；

图28是表示本发明的第六实施例的中继服务器的图像接收过程的处理顺序的流程图；

图29是表示本发明的第六实施例的中继服务器的语音接收过程的处理顺序的流程图；

图30是表示本发明的第六实施例的中继服务器的图像语音合成发送过程的处理顺序的流程图；

图31A和31B是表示本发明的第七实施例的中继服务器管理条件信息和图像语音对应用的表结构的图；

图32是表示本发明的第七实施例的中继服务器的请求处理过程的处理顺序的流程图；

图33是表示本发明的第八实施例的信息分发系统的简要结构的框图；

图34是表示本发明的第十实施例的信息分发系统的构成图；

图35是表示本发明的第十实施例的变换处理的流程图；

图36是用于说明本发明的第十实施例的图像大小变换的图；

图37是表示本发明的第十一实施例的变换处理的流程图；

图38是用于说明本发明的第十一实施例的图像大小变换的图；

图39是表示本发明的第十二实施例的变换处理的流程图；

图40是表示本发明的第十三实施例的变换处理的流程图；

图41是表示本发明的第十四实施例的变换处理的流程图；

图42是表示把本发明的第十四实施例的图像大小在横向纵向的任一方向上缩小到1/2时产生的块失真的增大的状况的图；

图43是表示本发明的第十五实施例的变换处理的流程图；

图44是用于说明以往的图像大小变换的图；

图45是用于说明以往变换图像大小时的块失真的图；

图46是用于说明以往的图像大小变换的图；

图47是用于说明以往变换图像大小时的块失真的图。

具体实施方式

下面参考附图详细说明本发明的优选实施例。

<第一实施例>

本第一实施例是将用可远程控制的摄像机服务器装置所取入的图像，用分发途中的变换服务器装置在图像上重叠广告等的信息，将图像分发给便携显示终端，进而可以进行从便携显示终端的摄像机控制。

图1是该第一实施例的物理图像分发系统的结构的简图。如图1所示，与由摄像机服务器装置111、显示操作终端112和第一网络113组成的摄像机服务器装置系统一起，还有变换服务器装置114、广告服务器装置115、第二网络116、分发服务器装置117、第三网络118、便携显示终端119构成了图像分发系统。

摄像机服务器装置系统中，经由第一网络113从显示操作终端112指定摄像机服务器装置111的地址并进行连接，得到摄像机服务器装置111所摄影的实时图像，同时根据需要取得摄像机控制权限进行摄像机控制。如果显示操作终端112、摄像机服务器装置111在网络上可相互识别，则可存在多个。

图2是表示摄像机服务器装置111的结构的框图，用图像取入压缩单元122将摄影单元121，即摄像机所摄影的图像作为数字数据取入，生成Motion JPEG形式的压缩图像，通过图像通信单元125把图像分发到有连接请求的显示操作终端。如果连接请求来自多个显示操作终端，则同时对多个显示操作终端分发图像。获得控制摄像机的权限(控制权限)的显示操作终端对摄像机控制单元123发出摄像机控制命令，进行摇镜头、倾斜、缩放等的摄像机控制。摄像机控制通信单元126控制这样的摄像机控制命令的生成、解释、应答。控制权限管理单元124管理获得当前控制权限的显示操作终端可以控制摄影单元121的剩余时间、请求控制权限的显示操作终端的列表、优先顺序等的与控制权限相关的信息。通信控制单元127控制与图像通信单元125、摄像机控制通信单元126和外部的通信。

显示操作终端112在该第一实施例中由可进行图形的画面操作的个人计算机这样的装置构成。当从显示操作终端112指定摄像机服务器装置111的地址并连接到摄像机服务器装置时，显示图3那样的用户界面画面。图3中，131是图像显示单元，把摄像机服务器装置111取得的图像解压缩并进行显示。进行摄像机控制时，在按下按钮135获得控制权限后，操作用于摄像机摇镜头的滚动秆132、用于摄像机倾斜的滚动秆133、用于摄像机缩放的滚动秆134来进行摄像机控制。用于摄像机操作的控制权限对每个摄像机服务器装置111同时只能由1个客户机取得。对应这种操作发出摄像机控制命令，这里使用的摄像机控制命令和摄像机服务器装置的应答如图9所示。关于命令在后面详细说明。

变换服务器装置114把从摄像机服务器装置111取得的MotionJPEG形式的压缩图像变换为可在便携显示终端119显示的压缩图像格式(该第一实施例中为MPEG4)，同时根据需要把从广告服务器装置115取得的信息重叠在图像上，通过第二网络116分发到分发服务器装置117。

分发服务器装置117中，把图像分发到连接中的多个便携显示终端119，各便携显示终端119中，对接收到的MPEG4图像进行解码显示。假定便携显示终端119，例如用便携电话或便携信息终端(PDA)可高速接收例如64kbps左右的数字图像并进行显示。图4表示便携显示终端的例子。141是图像·信息显示单元，142是键按钮单元。

该第一实施例中，变换服务器装置114进行从Motion JPEG图像向MPEG4图像的变换。因此，作为系统中所使用的图像格式，假定有从摄像机服务器装置111到变换服务器装置114或显示操作终端112的系统中为Motion JPEG，从变换服务器装置114到便携显示终端119的系统为MPEG4的可视部分的简单轮廓。

但是，该第一实施例中，并不局限于图像的压缩形式，只要是满足在变换服务器装置114中可将从摄像机服务器装置接收的压缩图像格式变换为能够在便携显示终端119显示的压缩图像格式的条件的系统即可。不一定要进行格式变换，只要图像能够正确分发并显示，可以重叠信息即可。如果从处理和网络负担方面考虑，不进行图像压缩也可以的话，也可以是非压缩图像。

关于摄像机控制，从便携显示终端119向摄像机服务器装置111请求·获得控制权限，发出控制命令，经由分发服务器装置117、变换服务器装置114把控制命令传送到摄像机服务器装置111。从便携显示终端119到分发服务器装置117、变换服务器装置114的系统中，在该第一实施例中，说明使用通话用的双向声道分发控制信号和其应答的情况。关于这一点在后面详细说明。

如果从摄像机服务器装置111看，变换服务器装置114就可看作除去一部分外与显示操作终端同等。该第一实施例中所述的各装置中除便携显示终端119外都分发了IP地址(下面叫做地址)，作为在网络上相互可唯一确定的识别地址。但是，网络上的便携显示终端119的识别可以使用便携电话特有的方案，即使用电话号码进行识别。但是，只要能识别相互的装置、终端并可通信，任何识别方案都可使用。

第一网络113只要是用于在位于网络上的多个操作显示终端112、变换服务器装置114、摄像机服务器装置111之间相互传递摄像机控制命令、图像具有足够频带的互联网、企业网等的数字网络即可。该第一实施例中经过第一网络113的图像是被分组化的MotionJPEG，摄像机控制命令和其应答也对每个命令分组化。

第二网络116只要是用于在变换服务器装置114和分发服务器装置117之间传递图像和摄像机控制命令及应答具有足够频带的互联网、企业网等的数字网络即可。该第一实施例中经过第二网络116的图像是被分组化的MPEG4图像，摄像机控制命令和应答是如后所述那样将语音数据数字化并分组化的双向数字语音数据。

第三网络118在第一实施例中假定为用于从分发服务器装置117向便携显示终端119传递图像和摄像机控制命令具有足够频带的，在便携显示终端119一侧是无线的便携电话网，理论上只要能够确保分发服务器装置117和便携显示终端119之间的通信需要的足够的频带，并不拘泥于其物理结构。该第一实施例中经过第三网络118的图像是将MPEG4图像分组化的图像，摄像机控制命令和应答是如后所述那样在第二和第三网络116、118中作为通话用的双向声道的语音进行传递。变换服务器装置114和广告服务器装置115之间只要用具有对传递广告信息足够频带的网络连接即可。

图5表示着眼于数据流程的理论结构。图5中，与图1相同的构成附加相同参考标号。对于摄像机服务器装置111而言操作显示终端112是客户机。摄像机服务器装置111由摄像机操作单元161、显示单元162构成。图3的操作画面中，摄像机操作单元161对应133～135、显示单元162对应131。分别与各个摄像机服务器装置111的摄像机控制通信单元127、图像通信单元125交换数据，在显示单元162显示图像，并使用摄像机操作单元161进行摄像机控制。此外，如上所述那样，多个操作显示终端112可同时连接到1个摄像机服务器装置111。

变换服务器装置114由实施变换图像的压缩格式的流变换和在图像上重叠从广告服务器装置115取得的广告信息的变换的图像变换单元164，和将后述的控制权限管理和特定的数字语音数据变换为摄像机控制命令的控制权限管理·语音变换单元163构成。当启动变换服务器装置114时，分别对分发服务器装置117、广告服务器装置115、摄像机服务器装置111指定地址并进行连接。各个连接目标的地址保存在连接管理单元165中，使用其进行连接。关于连接目标的装置，会有在网络上分别有多台分发服务器装置117、广告服务器装置115、摄像机服务器装置111的情况。此时，从各装置中各自指定1台即可。

分发服务器装置117由语音分发单元166和图像分发单元167构成，与变换服务器装置114一对一连接，但可以同时与多台便携显示终端119连接，进行数据交换。语音分发单元166将来自便携显示终端119的数字语音数据传递到变换服务器装置114的控制权限管理·语音变换单元163，同时将从控制权限管理·语音变换单元163返回的摄像机服务器装置111的应答(数字语音数据)分发到必要的便携显示终端119。图像分发单元167将从变换服务器装置114分发的MPEG4图像流同时分发到连接到分发服务器装置117的多台便携显示终端119。

便携显示终端119分别由操作控制单元171和显示控制单元172构成，操作控制单元171将通过按下图4的键按钮142作为键按下语音产生的音调(tone)信号(输出时为数字语音数据)发送到分发服务器装置117，同时显示控制单元172进行把从分发服务器装置117送来的MPEG流等的图像和文字显示在显示单元14上的控制。

首先着眼于图像的流程对图5的动作稍微详细地进行说明。摄像机服务器装置111对连接到摄像机服务器装置111的所有客户机，即操作显示终端112和变换服务器装置114分发用摄影单元121所取入的被Motion JPEG压缩的图像。尽管操作显示终端112和变换服务器装置114在图5中为1个那样进行记述，但当然也可以分别为多个。

图6中表示变换服务器装置114的图像变换单元164的流程。首先步骤S111中，从摄像机服务器111取得图像，立刻用图像变换单元164对接收到的Motion JPEG压缩图像一帧一帧地解压缩(步骤S112)，在需要广告重叠时(步骤S113为是)，进行向图像广告重叠处理(步骤S114)，再次MPEG4压缩图像(步骤S115)，发送到分发服务器装置117(步骤S116)。此时，在步骤S114中的广告重叠处理中，向广告服务器装置115传递在变换服务器装置114的控制权限管理·语音变换单元163中保持的PTZ值(摇镜头角度、倾斜角度、缩放倍率)，从广告数据库170取得与该PTZ值对应的必要广告信息，使用该广告信息重叠在图像上。分发服务器装置117中，把所接收的MPEG4图像流同时分发到连接到分发服务器装置117的多台便携显示终端(图5中为119)。由于从后面说明的图7得到的广告信息根据时间段和摄像机的PTZ值有没有内容的情况，故在此情况下，就不重叠广告。也就是，步骤S113中广告重叠为否。

广告信息是广告文件和重叠位置的组合。广告服务器装置115内具有数据库，当提供现在时刻和摄像机的PTZ值进行询问时，就得到广告文件和重叠位置。数据库中，从项目序号小的一方检索图7那样的表形式，获得适合对应时刻、PTZ范围的最初所发现的项目的广告文件和重叠位置。^*意味着无范围指定(总是适合)。作为所得到的广告文件，有图片放映机(telop)字符串、静止图像、活动图像剪辑等。

关于静止图像、活动图像剪辑，具有α平面信息，如有必要，可以进行重叠以使作为背景的图像部分透明可见。活动图像的情况下，在各帧中使时间上同步地进行重叠。此外，尽管在该第一实施例中，是广告信息，但并不局限于广告信息，可以是想在中途附加到图像的信息。例如，也可以重叠控制权限等待人数、控制权限等待时间、摇镜头·倾斜·缩放值等从连接目标摄像机服务器装置得到的摄像机服务器装置的控制状态信息。步骤S114的广告重叠处理中，以重叠位置信息为基础决定重叠位置(上下左右中央等)和广告信息显示大小(大·中·小)。

分发服务器装置117作为便携显示终端119侧的网络接口具有电话号码，当便携显示终端119对该电话号码打电话时，连接就建立，从分发服务器装置117传递图像，故将其解压缩并显示在显示控制单元172上。即使在从多个便携显示终端119连接的情况下，也可用相同的电话号码同时进行连接。分发服务器装置117具有对多个便携显示终端119传递图像和后述的双向语音的能力。这里，也可以不用电话号码的连接，而用通过作为NTT DoCoMo公司的服务的i-mode(R)服务这种互联网连接中的IP地址的指定、和WWW的连接目标指定方法中的URL(Uniform Resource Locator)指定。

接着着眼于控制流程详细说明图5的动作。图8中表示从摄像机控制权限取得开始到摄像机控制命令发出的流程。便携显示终端119、变换服务器装置114、显示操作终端112每个都在摄像机控制时对摄像机服务器装置111发出控制权限取得的请求(步骤S121)，取得控制权限以后(步骤S122为是)，直到失去控制权限之前(由于步骤S124中为否)，都反复对于摄像机服务器装置111的操作的控制命令的发送和其应答的收发(步骤S125、S126)。这样与摄像机控制相关的部分的流程基本上相同。但是，在连接中的多个便携显示终端119中，使用双向语音数据信道这一点不同。

图9表示摄像机控制权限请求和摄像机控制命令。图9中表示控制权利请求、摇镜头角度、倾斜角度、缩放变更等的命令和其应答。但是，在多个便携显示终端119的情况下，并非直接发出这些命令，而是使用图4的键按钮单元142的各种键按钮发出与控制命令对应的语音数据，由变换服务器装置114变换为图9的摄像机控制命令，进行摄像机控制。控制权利请求也同样。

图10中表示控制命令的流程。当按下对应便携显示终端的键按钮单元142的控制操作的各种键按钮时，产生音调信号语音(控制命令语音)。由操作控制单元171将其变换为GSM AMR等编码的数据语音数据，传递到分发服务器装置117的语音分发单元166中。语音分发单元166中，将原样的语音数据传送到变换服务器装置114的控制权限管理·语音变换单元163。

在控制权限管理·语音变换单元163中，取得此语音数据，将其变换为对应的摄像机控制命令，发出到摄像机服务器装置111来进行摄像机控制。对摄像机控制的应答为与此相反的流程。图11A中表示键按钮和摄像机控制命令的对应表。通过键按钮的组合操作，生成控制命令语音。摇镜头、倾斜、缩放值用数字键输入。图12是表示与摄像机服务器装置111的控制命令相应的应答动作的流程的图。当摄像机服务器装置111判断为对象装置有控制权限时(步骤S131)，接受控制命令(步骤S132)，发送应答信息(步骤S133)。另一方面，当从没有控制权限的装置接收到控制命令时，发送不接受控制意思的应答(步骤S134)。

图11B中表示来自摄像机服务器装置111的应答和便携显示终端119再现的应答语音的对应表。当可应答时，产生读出对应表中的语句的语音。图11B中θ、φ、z是表示摇镜头、倾斜角度、缩放倍率的数字。

举出摄像机控制的例子。在可获得控制权限的状态下，当连续三次按下键按钮4、2、0，生成变换服务器装置114向左摇镜头20单位如图13所示那样的摄像机控制命令，并传递到摄像机服务器装置111。-20是从当前位置向左摇镜头20单位的含义。如果是+20，则是向右摇镜头20单位的命令。

图9的摄像机控制命令和应答中，作为第一、第二项目的发送源地址、发送目标地址分别表示命令、应答的发送源装置、发送目标装置的地址，第三项目是命令或应答的种类的识别文字串。摇镜头、倾斜角度变更、缩放倍率变更分别用相对值指定变更角度。数值的+表示向右摇镜头、上倾斜、变焦扩大，-则为相反。数值本身设最小控制量为1单位。摄像机控制应答中，用数值返回所控制的结果的摇镜头、倾斜角度、缩放倍率。

应答仅分别返回到发出控制命令语音的便携显示终端，但仅摄像机控制应答返回到连接中的所有便携显示终端以用语音通知摄像机的摇镜头、倾斜角度、缩放状态。分发服务器装置117和变换服务器装置114之间交换的语音的数据形式在图14示出。

尽管实际发送时可以分割为小分组，但上述那样形式的数据是双向进行交换。在从分发服务器装置117将语音数据传递到变换服务器装置114时，由与控制命令语音对应的数字语音数据和控制命令语音发出源的便携显示终端识别符(电话号码)构成，相反在从变换服务器装置114将语音数据传递到分发服务器装置117时，由数字化的读出语音和发送语音的目标的便携显示终端识别符(电话号码)构成。在如摄像机控制应答那样，把语音数据返回连接中的所有便携显示终端119时，作为便携显示终端识别符(电话号码)，如图15所示那样设全部号码为0等，唯一地表示没有传递到特定便携显示终端的语音数据。

接着在图16中表示变换服务器装置114的控制权限管理·语音变换单元163的控制权限请求时的流程的概况。变换服务器装置114具有便携显示终端119的识别符(电话号码)的等待队列，当从便携显示终端119重新有语音的控制权限请求时，变换为对应的摄像机控制命令并发送到摄像机服务器装置111(步骤S171)。然后，在可以立刻取得控制权限时(步骤S172为是)，进入后面说明的步骤S178。另一方面，在不能立刻获得控制权限时(步骤S172为否)，将识别电话号码登录在等待队列的最后(步骤S173)。步骤S174中，当从摄像机服务器装置111通知可向控制权限等待队列追加或不可追加时，步骤S175中把与该通知对应的语音发送向便携显示终端119。之后，当赋予控制权限的应答从摄像机服务器装置111返回时(步骤S176为是)，从等待队列的开头取出识别电话号码(步骤S177)，把对应语音返回到对应的便携显示终端119(步骤S178)。步骤S179中，接受来自获得了控制权限的便携显示终端119的电话号码的控制。

当在步骤S180中从摄像机服务器装置111通知控制权限的有效时间结束等的控制权限结束时，在步骤S181中向具有控制权限的便携显示终端119发送通知控制权限结束的语音。

关于用变换服务器装置114、分发服务器装置117、广告服务器装置115实现的功能，只要可以实现各自的功能，则不拘泥于物理的装置结构，例如全部功能可在相同的装置上实现。

根据该第一实施例，通过分发途中的通路中使用变换服务器装置114，就能够仅对必要终端分发重叠了广告信息那样的附加信息的不同图像，摄像机服务器装置111就不需要保持便携显示终端119用的内容。通过与广告服务器装置115的协同动作，该附加信息可切换重叠因时刻、摄像机控制值(PTZ值)而不同的信息。附加信息中不仅使用静止图像还可以使用活动图像、文本。

进而，第一实施例中，对不直接接受来自便携电话那样的键按钮的控制的摄像机服务器装置111这样的控制装置，通过由变换服务器装置114将键按钮的语音数据变换为控制命令，就可用键按钮进行摄像机控制权限获得和摄像机控制操作。由于将来自摄像机服务器装置111的应答变换为语音，因此可用语音来确认控制内容。摄像机的摇镜头、倾斜、缩放的状态也可用语音进行确认。

<第二实施例>

第一实施例中，分发服务器装置117、变换服务器装置114中连接目标摄像机在启动时决定。第二实施例，从外部切换变换服务器装置114连接的摄像机服务器装置111。这里，说明从便携显示终端119切换的方法。

基本上与上述第一实施例相同，但变换服务器装置114的动作有若干不同，因此仅说明与第一实施例的不同之处。图17表示从便携显示终端119看到的摄像机切换控制的流程。在连接到分发服务器装置117的便携显示终端119中，发出摄像机切换命令。摄像机切换命令由图4所示的键按钮单元142的键按钮的组合来指定。这里，是按下#(步骤S191)。于是，与第一实施例的控制权限请求和摄像机控制命令同样地将数字语音传递到变换服务器装置114的控制权限管理·语音变换单元163。

控制权限管理·语音变换单元163中，当将其解释为摄像机服务器装置切换命令时，进行语音应答，询问口令(步骤S192)。这里用便携显示终端119输入口令，如果口令正确(步骤S193)，则返回语音应答(步骤S194)，输入切换目标的摄像机序号。控制权限管理语音变换单元163具有图18那样的摄像机序号-摄像机名(有语音数据)-摄像机地址对应表，使用该信息得到应答语音和摄像机服务器装置111的地址。

当输入摄像机序号时(步骤S195)，控制权限管理·语音变换单元163中，使用图18变换为对应的摄像机服务器装置111的地址(例如设为100.20.30.102)，一旦结束至今所连接的与摄像机服务器装置111的连接，新连接到具有100.20.30.102的地址的摄像机服务器装置111。由此就可从便携显示终端119切换摄像机服务器装置111。最后在步骤S196中用语音将切换目标的摄像机通知给便携显示终端119。

通过在变换服务器装置113中准备附加的连接口，变更连接摄像机服务器装置的地址，再连接到不同的摄像机服务器装置111，也可实现摄像机服务器装置切换。

<第三实施例>

第三实施例，如第二实施例那样在切换摄像机服务器装置时，依照连接的摄像机服务器装置来切换广告。

除从外部切换变换服务器装置114的连接目标摄像机这一点和广告服务器装置115的广告信息表不同这一点外，基本与第一实施例相同。摄像机切换方法可用第二实施例说明的方法实现。此时，作为广告服务器装置115的数据库，如果替代图7具有图19那样的广告信息表，则作为从变换服务器装置114传递到广告数据库170中的数据，除了当前时刻和摄像机的PTZ值，还传递连接中的摄像机服务器装置的地址，将在图19的表中最初与摄像机服务器装置的地址一致的项目的广告信息，即重叠位置和广告文件拿到变换服务器装置114。由此，就可以依照连接的摄像机服务器装置111来切换显示的广告信息。

<第四实施例>

第四实施例是在第一实施例的结构中考虑从便携信息终端119到摄像机服务器装置111的连接通路时，可多个通路选择分发服务器装置117、变换服务器装置114、广告服务器装置115的组合。

图20中表示第四实施例的结构。各装置、终端都存在于多个网络上，与第一实施例同样可相互唯一地进行识别。由于基本的各装置的动作与第一实施例相同，故关于各结构，对与图1相同的附加相同参考序号，这里仅说明作为系统的不同。

便携显示终端119打电话给分发服务器装置的电话号码进行连接，进行图像显示和摄像机控制，但对存在多个的分发服务器装置117的每一个分发不同的连接电话号码。因此，如果连接到不同的分发服务器装置117，就连接到不同的变换服务器装置114、不同的广告服务器装置115。例如图20中，当连接到分发服务器装置117a时，使用变换服务器装置114a、广告服务器装置115a，当连接到分发服务器装置117b时，使用变换服务器装置114b、广告服务器装置115b。如果变换服务器装置114a和114b连接到相同的摄像机服务器装置111，则看到的图像相同，摄像机控制也同样。

但是，如果广告服务器装置115具有的图7的广告信息表内容不同，则即便连接相同摄像机，重叠的信息也将不同。

由此，例如在希望登载的广告对于摄像机服务器装置过多的情况下，通过采用这种结构，即便是相同的摄像机服务器装置图像，也可以切换广告内容。

<第五实施例>

第五实施例是在第一实施例中，不在图像上重叠信息而是切换图像进行显示。说明与第一实施例的不同。

在变换服务器装置114中，不将图6的步骤S113，S114设为广告重叠，而是暂时中断摄像机图像、将图像切换为从广告数据库检索到的影像、图像、文本或从摄像机服务器装置取得的控制状态信息等即可。作为切换为这样的广告信息的定时，由于摄像机控制中图像滚动难以观看的情况很多，故在摄像机服务器装置111根据控制信息进行控制期间中，切换为广告信息即可。因此，新追加图21所示的流程。也就是，把开始PTZ控制且不停止PTZ动作的状态，即摄像机动作中的状态从摄像机服务器装置111返回到变换服务器装置114(步骤S201)。摄像机动作中状态包含在Motion JPEG图像的各帧首标内。然后，在图21的流程中，检测此摄像机动作中状态(步骤S202)，在摄像机动作中输入广告即可(步骤S203)。

尽管第五实施例中，在摄像机动作中切换为广告信息并进行显示，但此外也可以是

1)在摄像机控制等待期间，切换为广告信息并进行显示。

2)变换服务器装置连接到摄像机服务器装置，图像数据到达变换服务器装置期间切换为广告信息并进行显示。

3)定期切换为广告信息并进行显示。等在图像中插入广告信息并进行显示。

在以上所有的第一到第五实施例中，显示信息未必是广告信息，由于数据量大、最好中途插入等理由，也可以是不应置于摄像机服务器装置中的信息或不能置于其中的信息，只要是应在中途进行重叠的信息，则可以是任何信息。

根据以上实施例，通过在分发途中的通路上使用变换服务器装置，就可以仅对必要的终端重叠广告信息这样的附加信息，或者在特定的定时分发包含了不同的附加信息的图像，摄像机服务器装置111就不需要保持便携显示终端119用的内容。通过广告服务器装置的协同动作，该附加信息可切换重叠·切换显示因时刻、摄像机控制值(PTZ值)而不同的信息。附加信息中不仅使用静止图像还可以使用活动图像、文本等。

<第六实施例>

该第六实施例中，构成一种信息分发系统，在网络上配置控制摄像机并发送图像的图像服务器、发送语音的语音服务器、把图像服务器和语音服务器的数据编码为带语音图像并发送到接收终端的中继服务器，当接收终端对中继服务器请求特定的摄像机图像时，把所希望的摄像机图像和预先在中继服务器内所决定的语音数据编码为带语音图像并返回。

该第六实施例的信息分发系统的整体结构如图22所示。为在网络218上连接中继服务器211和图像服务器212、语音服务器213、客户机219的结构。

图像服务器212上连接摄像机214，客户机219可经由网络218操作摄像机214或取得图像。这就是当对图像服务器212通过HTTP(超文本链接协议)发送例如进行了URL编码的命令时，图像服务器212返回多帧图像的方式。尽管在图像数据中存在运动JPEG和H.261，MPEG等多个编码方式，但不用说本发明并不依赖于编码方式。

语音服务器213上连接麦克风215、和存储语音数据的语音档案216，把语音发送到网络218上。语音档案216的语音数据也可放置于语音服务器213的内部存储装置中。向语音服务器213的命令也以与图像服务器212同样的方式进行，当发送请求时，语音服务器213返回一定时间长度的语音数据。尽管这里语音数据的编码方式有G.711、G.726、G.729、GSM-AMR等多种方式，但不用说本发明并不依赖于编码方式。

客户机219通过拨号或宽带连接而连接到网络218。当客户机219对中继服务器211请求图像发送时，中继服务器211对图像服务器212请求图像。另一方面，参考预先持有的图像和语音的对应表217，向持有与该图像对应的语音的语音服务器请求语音数据。图像服务器212和语音服务器213基于请求将图像数据和语音数据送回中继服务器211。中继服务器211把图像数据和语音数据编码为1个带语音图像数据，送回客户机219。客户机219接收并再现数据。

客户机219除图像外还向中继服务器211请求摄像机控制，但这种情况下中继服务器211将该请求原样送到图像服务器212，委托进行对应的摄像机的控制。

接着使用图23说明服务器的硬件结构。图23中图像服务器212、语音服务器213、中继服务器211连接到网络250。

图像服务器212具有CPU221、RAM222、ROM223、二次存储装置226。具有显示画面用的视频RAM(VRAM)225，并连接监视器231。具有外围设备用的外围设备接口224，连接操作用的键盘232、鼠标等的定位设备233以及带或不带工作台的摄像机214。为和网络250连接，具有网络接口227。外围设备接口224中存在PS/2RS-232C、USB、IEEE1394等规格，但本实施例不依赖于这些规格。

CPU221、RAM222、ROM223、二次存储装置226、VRAM225、外围设备接口224、网络接口227连接到内部总线。以上所说明那样的图像服务器的结构可使用市场销售的个人计算机简单地实现，但也可经由网络从外部操作，因此采用没有VRAM225、监视器231、键盘232、鼠标233的所谓机顶盒形式也没有任何问题。

语音服务器213也是与图像服务器212大致相同的结构，仅连接的输入设备不同。除CPU241、RAM242、ROM243、二次存储装置244、VRAM246、监视器251、外围设备接口247、网络接口245、键盘252、定位设备253外，还由麦克风215和语音监视用的扬声器254构成。语音服务器213也可使用市场销售的个人计算机简单地实现。与图像服务器212同样，采用没有VRAM246、监视器251、键盘252、鼠标253、扬声器254的机顶盒形式也没有任何问题。当语音服务器213在内部存储装置中持有语音档案216，不使用外部声源的情况下，就为不连接麦克风215的结构。

最后中继服务器211是从图像服务器212除去带工作台摄像机214的结构，或者没有带工作台摄像机214、VRAM215、监视器231、键盘232、鼠标233的机顶盒结构，因此省略说明。

接着在图24中表示该第六实施例的软件结构例。图像服务器212中图像服务器过程261动作，语音服务器213中语音服务器过程262动作，中继服务器211中请求处理过程265、图像接收过程263、语音接收过程264、图像语音发送过程266动作，客户机中客户过程267分别进行动作。这里所谓过程意味着多任务操作系统中进行动作的程序单位。

使用图25说明各过程的动作概要。客户过程267在启动时，对中继服务器211的请求处理过程265请求图像列表(S211)。请求处理过程265返回图像列表(S212)。图像列表具有图26A所示那样的信息，关于内容在后面进行说明。接收到列表的客户机显示图像的一览，用户从其中选操作一个。于是客户过程267对请求处理过程265请求图像接连(S213)。在用户直接把图像的接连目标输入到客户机219时，步骤S211和S212就不需要。

接受图像接连请求的中继服务器211的请求处理过程265参照语音和图像的对应表217进行语音服务器213和语音的选择(S214)。然后指定图像服务器212和摄像机214并启动图像接收过程263，另外指定语音服务器213和麦克风215或语音文件名等启动语音接收过程264。启动将接收到图像和语音数据编码为一个带语音图像数据进行发送的图像语音发送过程266。图像接收过程263对图像服务器212请求图像(S215)。语音接收过程264对语音服务器213请求语音(S216)。

接受请求的图像服务器过程261从该摄像机214取得图像(S217)，对中继服务器211的图像接收过程263返回。另外语音接收过程264也同样从麦克风215和语音档案216取得该语音数据并返回语音接收过程264(S218)。所返回的图像和语音数据在图像语音发送过程266中编码为一个带语音图像数据(S219)，返回客户过程267(S220)。客户过程267接收带语音图像数据后进行解码并再现(S221)。

接着使用图26A～26C说明与中继服务器保持的图像和语音有关的信息和与图像和语音的对应有关的信息。信息有图26A所示的图像表271、图26B所示的语音表272和图26C所示的对应表273三种，图像表271中对连接到图像服务器212的每个摄像机214分配图像序号和图像名，并将图像服务器212的IP地址、端口序号、摄像机名作为属性进行管理。客户机219选择图像名并指定所希望的摄像机的图像。语音表272也同样对每个麦克风215或文件分配语音序号和语音名，并将语音服务器213的IP地址、端口序号、麦克风名或文件名作为属性进行管理。

对应表273表示图像序号和语音序号的对应关系，保持与各图像序号对应的多个语音序号。当用户请求指定了图像名的图像时，中继服务器211从图像表271求出图像序号，接着在对应表273中参照该图像序号，从成组的语音序号参照语音表272，来确定语音在网络上的位置。这里，语音可登录多个，在用户长时间连续观看图像时，依次分发这些多个语音。在由于某些原因不可连接语音时，切换为分配给相同图像的其他语音。图中N/A表示没有数据。

以上是该第六实施例的服务器组的动作概要，使用图27～33的流程图详细说明在该第六实施例中发挥中心的作用的中继服务器211的各过程的动作过程。中继服务器211由请求处理过程265、图像接收过程263、语音接收过程264、图像语音发送过程266构成，请求处理过程265以外的3个过程对1个客户机生成1个，各自独立进行动作。

图27是表示中继服务器211的请求处理过程265的处理过程的流程图。开始后，步骤S231中进行初始化，步骤S232中等待事件。当发生事件时，进行事件处理。这里事件仅关于来自客户过程267的事件进行说明，省略依赖OS的事件等的说明。

在事件是图像请求时(步骤S232为是)，步骤S234中判断是否为已经连接的客户机。在已连接的情况下(步骤S234为否)，步骤S235中分别对图像服务器212和语音服务器213发出图像请求事件和语音请求事件，返回步骤S602等待下一事件。在未连接的客户机的情况下(步骤S234为是)，进入步骤S236确认是否等于或小于最大连接数。在超过最大连接数时(步骤S236为否)，步骤S237中对客户机通知连接拒绝，返回步骤S232，等待下一事件。此外，最大连接数是考虑中继服务器211的处理能力预先确定好的。

在等于或者小于最大连接数的情况下(步骤S236为是)，步骤S238中作为客户机219的登录处理，登录客户机的IP地址。另外在客户机219的个人信息同时送来的情况下，也对其进行登录。接着，求出与图像对应的语音，分别在步骤S239中将图像接收过程、步骤S240中将语音接收过程、步骤S241中将图像语音发送过程启动，返回步骤步骤S232，等待下一事件。

在步骤S233中没有连接请求事件的情况下，进入步骤S242，判断是否为连接结束事件。该事件有客户机219发送的情形，或者在图像语音发送过程266中不能向客户机发送的情况下作为例外事件发生的情形。在这样的情况下(步骤S242为是)，进入步骤S243进行连接结束处理。连接结束处理中结束在连接开始时所启动的图像接收过程263、语音接收过程264、图像语音发送过程266。接着进入步骤S244，从连接客户机的一览表删除该客户机，返回步骤S232，等待下一事件。

在不是连接结束事件的情况下(步骤S242为否)，进入步骤S245，判断是否为摄像机控制请求事件。是的情况下，进入步骤S246，把来自客户机的摄像机控制命令传送到图像服务器212，结束后进行步骤S232，等待下一事件。

在不是摄像机控制请求事件的情况下(步骤S245为否)，进入步骤S247，判断是否为图像列表请求事件。是的情况下，步骤S248中把图像列表返回客户机以后，返回步骤S232，等待下一事件。在不是图像列表请求事件的情况下(步骤S246为否)，返回步骤S232，等待下一事件。

接着说明中继服务器211中的图像接收过程263和语音接收过程264的动作过程。图28是图像接收过程的动作过程、图29是语音接收过程的动作过程。

语音接收过程264在处理开始后在步骤S251中进行待机直到从请求处理过程265发生图像请求事件。当发生图像请求事件时(步骤S251为是)，在步骤S252中对图像服务器212指定摄像机名并请求图像，步骤S253中接收至少1帧的图像。这里帧数可以从客户机过程267请求，也可设定为固定了的帧数。

接着在步骤S254中，判断步骤S252和S253中是否没有异常顺利地得到图像。所谓异常是接收途中由于网络切断等原因不能完全接收的情况。在有异常时(步骤S254为否)，进入步骤S257，如果等于或小于最大尝试次数，则返回步骤S252，尝试再度取得图像。如果超过最大尝试次数，则进入步骤S258，发出例外发生事件并结束。

在步骤S254中没有异常时，进入步骤S255，把接收到的图像保存在缓冲器中。接着在步骤S256中确认是否正发出结束命令。这是图27的步骤S243中发生的命令。在正发出该命令的情况下，结束处理。没有发出的情况下，返回步骤S251并继续处理。

语音接收过程264在处理开始后在步骤S260中进行待机直到从请求处理过程265发生的语音请求事件。当发生语音请求事件时(步骤S260为是)，在步骤S261中对语音服务器213指定麦克风215或文件名并请求语音。接着步骤S262中在所请求的语音是语音文件时，确认是否已结束语音。这可通过对于语音请求的返答得知。在语音已结束的情况下，步骤S263中参照对应表217，在对应多个语音的情况下，对语音服务器213请求选择其他的语音。接着在步骤S264中接收一定时间的语音。这里，时间数设定为与图像接收过程263一次接收的帧数对应的时间。

接着在步骤S265中，判断步骤S261和S264中是否没有异常顺利地得到图像。这里所谓异常是接收途中由于网络切断等原因不能完全接收的情况。有异常时，进入步骤S268，在等于或者小于最大尝试次数时，返回步骤S261，再度尝试取得语音。若超过最大尝试次数，则进入步骤S269，发出例外发生事件，并结束。

在没有异常时(步骤S265中为是)，进入步骤S266，把接收到的语音保存在缓冲器中。接着在步骤S267中确认是否发出结束命令。这是图27的步骤S243中发生的命令。在发出该命令的情况下，结束处理。没有发出的情况下，返回步骤S260并继续处理。

接着使用图30说明图像语音发送过程266的动作过程。处理开始后，步骤S271中，判断在图像缓冲器和语音缓冲器中是否有图像语音数据。哪个数据都不存在的情况下，进入步骤S272。当步骤S272中超过最大尝试次数，判断为没有图像语音数据时，进入步骤S278，向客户机219发送错误，步骤S279中发生例外事件并结束。如果等于或小于最大尝试次数，在经过等待时间后，再次执行步骤S271。

步骤S271中有图像语音数据的情况下，进入步骤S273，将各个图像和语音作为带语音图像生成编码数据。尽管这里，编码方式存在MPEG、RealVideo、Windows(R)Media等多种方式，但本发明并不依赖于编码方式。在图像·语音任一存在的情况下，也可进行编码。编码后在步骤S274中对客户机219发送编码数据。

接着在步骤S275中判断在发送时有无异常。有异常时，步骤S277中判断是否超过预先决定的发送的最大尝试次数。超过时，进入步骤S278在进行了错误发送后，在步骤S279中发生例外事件并结束。在等于或小于最大尝试次数时，返回步骤S274并再次进行发送。

步骤S275中判断为发送时没有异常时，步骤S276中判断有无结束命令。这有在图27的步骤S243中发生的情况，或者在图像接收过程263或语音接收过程264中作为例外事件发生的情况。有结束命令时结束处理。没有结束命令时返回步骤S273，进行编码接着发送。

从以上说明可知，根据该第六实施例，能够构筑可用语音附加图像说明和广告的网络摄像机系统和信息分发系统。

<第七实施例>

接着对本发明的第七实施例进行说明。该第七实施例在第六实施例中把中继服务器211具有的对应表217高功能化、可处理更详细的对应关系。所谓详细的对应关系，是在对应图像和语音时，利用摇镜头、倾斜、缩放等的摄像机参数、时间段、用户年龄、性别、住所等个人数据等来限制对应。该第七实施例的硬件结构和软件结构与第六实施例相同，中继服务器211管理的对应表217和请求处理过程265的动作不同。因此下面仅说明与第六实施例不同的部分。

图31表示本实施例中中继服务器保持的对应表和条件表的例子。图31A是条件表281的例子，图31B是对应表282的例子。条件表281将一行作为一个条件分配序号，对每个条件序号将时间段、摇镜头、倾斜、缩放等的摄像机参数、年龄、性别、住所等与用户的个人信息有关的条件作为值和值的范围来保持。

对应表282的例子与第六实施例的对应表282相比较，对各图像序号添加将连接条件作为条件序号进行保持的列。在条件栏为None时，意味着无条件进行对应。然后在用户指定了某图像时，仅在附带的条件全部一致的情况下许可图像和语音的对应。在不一致的情况下，可以不发送语音，也可以预先决定与这种情况对应的语音。

接着图32中表示在该第七实施例的中继服务器211上进行动作的请求处理过程265的动作过程。在图32中对与图27相同的动作附加相同步骤序号，仅对不同的部分进行说明。

对于步骤S233以下的图像请求事件的处理，在条件表281中有与摄像机参数有关的条件的情况下，步骤S280中参照图26A的表271从该图像服务器212取得摄像机状态。这是取得与客户机所希望的图像对应的摄像机的摄像机参数的处理。接着参照条件表281的条件，将与以摄像机参数为首的条件一致的组从条件表281检索出来，从图31B的对应表282选择相应的条件序号的语音。然后，中继服务器211对与在步骤S239中所选择的语音对应的语音服务器213发出该语音数据的取得请求，并接收该语音数据。

在条件表281中有用户个人信息时，客户机219需要发送用户的个人信息。此时，与从客户机219对中继服务器211发送的图像连接请求同时发送个人信息。中继服务器211基于接收到的个人数据把与条件一致的组从条件表281检索出来，从对应表282选择相应的条件序号的语音。然后，中继服务器211，对与在步骤S239中所选择的语音对应的语音服务器213发出该语音数据的取得请求，并接收该语音数据。

在条件表281中有时刻信息时，中继服务器211把包含在从客户机219有图像数据的取得请求时的时刻中的时间段的组从条件表281检索出来，从对应表282选择相应的条件序号的语音。然后，中继服务器211对与在步骤S239中所选择的语音对应的语音服务器213发出该语音数据的取得请求，并接收该语音数据。

在从客户机有摄像机控制请求时(步骤S245为是)，步骤S282中对图像服务器212发出该摄像机的控制命令。接着步骤S283中取得摄像机的参数信息。然后步骤S284中判断关于语音是否需要再次连接。这是为了通过再次参照图31A的条件表281来确认在许可当前的连接时的条件，在摄像机控制后是否继续成立。如果成立，进入步骤S232，等待下一事件。如果不成立，由于需要再次连接，故再次参考图31A的条件表281从图31B的对应表281查看相应的条件序号的语音序号，在步骤S285中进行再次连接处理。这是指定语音服务器212和麦克风215或文件并再次启动语音接收过程的处理。

如上所述那样，根据第七实施例，通过指定时间、摄像机参数、用户的个人信息等的条件等，可更详细决定对应关系，其结果是可以在用语音进行图像说明时用语音明确说明画面中所显示的东西，或者在语音广告等中对图像附加有效果的语音。

<第八实施例>

接着说明本发明的第八实施例。该第八实施例在第六或第七实施例中除PC客户机之外还可利用便携电话等的移动终端。该第八实施例的系统结构如图33所示。

图33在图22中增加了移动通信网和便携电话客户机。在图33中对与图22相同的结构附加相同参考符号省略说明，仅说明不同点。便携终端客户机292经由移动通信网291连接到移动通信载波的分发中心290的网关。然后网关把移动通信网的通信方式变换为网络218上的通信方式，交换信息。便携终端客户机292和网关的通信方式中有利用线路交换方式的方式和利用分组通信方式的方式。

因此，在作为终端使用便携电话时，在分发中心290内的网关中，对由各摄像机214所摄影的每个图像分配电话号码，在有从终端向与图像对应的电话号码的呼叫时，从分发中心290内的网关向中继服务器211请求对应的图像。接着如果把来自中继服务器211的带语音图像在网关中变换为针对移动通信的图像列表，就可由终端接收进行再现。

在利用分组通信方式的连接中，如果使用再现活动图像剪辑的公知的服务，则当对中继服务器211指定摄像机214时，由中继服务器211生成并返回对图像与对应的语音进行了合成的视频剪辑，因此可经由网关用终端对其进行接收并再现。

在线路交换和分组交换可同时连接的情况下，可在便携电话终端上的画面上进行摄像机操作，一边取得静止图像一边接收语音数据。此时，从中继服务器211返回的带语音图像数据在网关中分割为分组通信用的静止图像数据和线路交换用的语音数据并发送到终端。

如上所述那样，根据该第八实施例，可在第六实施例中进行将利用移动通信网的便携终端作为客户机的带语音的网络摄像机操作。

<第九实施例>

接着说明本发明的第九实施例。第九实施例在第六或第七实施例中可变更中继服务器211具有的图像和语音的对应表217(273或282)、条件表281。这通过向中继服务器211发送追加、更新、删除等的请求来实现。

例如，考虑图26C的对应表273的变更。变更命令的种类有追加更新、删除两种。追加和更新的区别是在与所指定的图像序号有关的数据不存在的情况下进行追加，在存在的情况下进行更新。对中继服务器211的请求如第六实施例所述那样，例如采用URL编码的HTTP请求和应答的形式。下面举出请求和应答的例子。

a)向对应表的追加·更新1请求：http：//host-address：port/addctbl？video＝id&amp；sound＝id[&amp；sound＝id...]其中video＝id时id是图像序号、sound＝id时id是语音序号(可指定多个)。应答：HTTP/1.0 200 OKContent-Type text/plain￥r￥nOKvideo_id其中video_id是图像序号。

b)来自对应表的删除请求：http：//host-address：port/delctbl？video＝id[&amp；video＝id...]其中，video＝id时id是图像序号(可指定多个)。应答：HTTP/1.0 200OKContent-Type text/plain￥r￥nOK。

向对应表的追加·更新请求中，指定图像序号和与图像对应的语音序号。语音序号可指定多个。删除请求中指定图像序号并删除对应数据。删除的图像序号可指定多个。在客户机对已删除的图像序号请求连接时，仅中继图像或预先决定对应规定的语音。

接着关于向图31A所示条件表281的追加、更新、删除，可规定下面的请求和应答来进行。

c)向条件表的追加·更新请求：http：//host-address：port/addqtbl？qid＝num&amp；attr＝val1+val2[&amp；attr＝val1+val2...]其中qid＝num的num是条件序号。attr＝val1+val2的attr是属性名，val1和val2是下限值和上限值。attr的例子是pan，tilt，zoom，time，age，sex等。应答：HTTP/1.0 200 OKContent-Typetext/plain￥r￥nOKqid＝qualiy_id，其中qualify_id是条件序号。

d)来自条件表的删除请求：http：//host-address：port/delqtbl？qid＝num[&amp；qid＝num...]其中，qid＝id的id是条件序号(可指定多个)。应答(成功时)：HTTP/1.0200 OKContent-Type text/plain￥r￥nOK。

在条件表281的追加更新时，如果有指定了条件序号的条件，则更新，没有则追加。在没有指定条件序号时，附加新的条件序号并返回。在指定了条件表的删除时，如果有与条件序号相当的条件则删除。

接着当在图31B的对应表282的追加/更新中，进行附带的条件的更新时，如果在上述的追加更新请求的表达式中追加与条件有关的属性，即，如下修正向上述对应表273的追加·更新1。

e)向对应表的追加更新2请求：http：//host-address：port/addctbl？video＝id[&amp；qid＝id][&amp；sound＝id[&amp；sound＝id...]]其中，video＝id的id是图像序号、sound＝id的id是语音序号(可指定多个)。qid＝id的id是条件序号。

用于实现更新的中继服务器211的动作，向图32的中继服务器的动作过程增加对应表和条件表的更新手续即可。即，当在事件处理中，有从上述a)到e)的请求时，进行对应表273或282和/或条件表281的追加·更新、删除等的变更处理，并进行下一事件的等待即可。

如上所述那样，根据该第九实施例，通过在第六和第七实施例中，对由中继服务器使用的图像和语音的对应表、条件表施加追加·更新、删除等的变更处理，就可动态变更对应和对应条件。

如上所述，能够构筑可从图像发送装置和语音发送装置分别接收图像数据、语音数据，并将组合了它们的带语音图像数据分发到接收装置的系统。

<第十实施例>

图34是表示第十实施例中使用作为变换图像数据的编码方式的变换装置的中继服务器的图像分发系统的一例的图。

在图34中，摄像机301实时取得图像，在图像分发服务器302中将图像数据变换为QVGA或1/16VGA大小，进而将图像数据编码成JPEG方式。中继服务器303为了向便携电话线路网306分发图像，通过后述方法把图像数据从QVGA或1/16VGA大小变换为QCIF的图像大小，同时将图像数据的编码方式从JPEG方式变换成MPEG方式。通过上面的系统，就可向携电话304a，304b，304c，....中分发摄像机的图像。

此外，尽管在下面说明的第十实施例中，设编码变换前的图像的编码方式为JPEG编码方式，编码变换后的图像的编码方式为MPEG图像编码方式，但对于包含块分割、正交变换以及熵编码的各处理过程的其他编码方式的组合也是有效的，进而，编码变换前后的图像也可以是相同的编码方式。

图35是表示在本发明的第十实施例中从QVGA的图像显示大小(横向320像素、纵向240像素)变换为比其还小的QCIF的图像显示大小(横向176像素、纵向144像素)的利用中继服务器303的编码数据变换方式的处理过程的流程图。

此外，下面说明的实施例中，只要编码变换后的图像大小比编码变换前的图像大小小，则对其他图像大小的组合也有效。

在图35的步骤S311中，通过将QVGA大小的图像的JPEG编码数据进行JPEG熵解码(霍夫曼解码或算术解码)，生成QVGA大小的图像的正交变换数据(更正确地说是生成对每个在QVGA大小的图像范围中包含的MCU(Minimum Coding Unit)所得到的各块的正交变换数据)。

步骤S312中如使用图36后面所述那样，通过从QVGA大小的图像数据的范围沿着部分MCU边界线(更一般地说是部分块边界线)切出QCIF大小的图像数据的范围，取得QCIF大小的正交变换数据(更正确地说是分别取得对每个包含在QCIF大小的图像范围中的MCU所得到的块的正交变换数据)。

这里使用图36说明从QVGA大小的图像数据切出QCIF大小的图像数据。

图36是表示从QVGA大小的图像范围切出QCIF大小的图像范围时的图像范围的对应关系的图。当设QVGA大小的图像范围的左上角的坐标为(0，0)、右下角的坐标为(319，239)时，在从这里切出的图像范围的左上角坐标为(x1，y1)时，右下角的坐标就是(x1+175，y1+143)。其中，x1和y1必须分别是JPEG编码的最小处理块MCU(Minimum Coding Unit)大小的倍数。例如在MCU对应横向16像素、纵向16像素的图像范围时，x1和y1必须都是16的倍数，此时，x1的候补值为0，16，32，48，64，80，96，112，128，155之一，y1的候补值为0，16，32，48，64，80，96之一。在图36中作为一例，表示切出左上角的坐标为(64，48)，右下角的坐标为(239，191)的图像范围的情况。

返回图35的说明，步骤S313中把步骤S312中所取得的QCIF大小的正交变换图像数据存储在帧存储器中，同时将存储在帧存储器的1帧之前的正交变换图像数据和步骤S312中所取得的当前帧的正交变换数据按MPEG4中的块(包含横向16像素、纵向16像素的图像范围)单位进行比较，计算每个块的正交变换数据的帧间相差量。

步骤S314中比较步骤S313中所计算的帧间相差量和预定的阈值，在帧间相差量比预定的阈值还大时，进入步骤S315，在帧间相差量等于或小于预定阈值时，进入步骤S316。

即，依照帧间相差量按块单位选择步骤S315和步骤S316的处理，进行图像数据的处理。

在步骤S315中，把步骤S312中取得的正交变换数据以INTRA模式(使用当前帧内的图像数据进行编码的模式)进行MPEG4熵编码(MPEG4规定的霍夫曼编码或算术编码)。另一方面，步骤S316中，判断为没有帧间的预测误差，以Inter模式(帧间预测编码方式)基于帧间预测误差信息进行MPEG4熵编码。

步骤S317中通过顺序排列步骤S315或步骤S316中所生成的块单位的MPEG4编码数据，生成不具有首标的QCIF大小的不完全的MPEG4编码数据，通过生成适当的MPEG4编码数据首标并追加到数据的开头，从而生成QCIF大小的MPEG4编码数据。

这样从QVGA大小的JPEG图像数据向QCIF大小的MPEG图像数据的编码变换处理就结束。

此外，从步骤S313到步骤S316的处理未必全部需要。在用INTRA模式处理所有的块时，省略步骤S313，S314和S316仅保留步骤S315即可。但是，与用INTRA模式处理所有的块相比，利用了Inter模式的编码数据的压缩率要高。

<第十一实施例>

下面使用图37和图38说明利用第十一实施例的图像分发服务器的图像的编码数据变换方式的处理。

图37是表示在本发明的第十一实施例中从1/16VGA的图像显示大小(横向160像素、纵向120像素)变换为比其还大的QCIF的图像显示大小(横向176像素、纵向144像素)的服务器的编码数据变换方式的处理过程的流程图。

此外，在下面将要说明的第十一实施例中，只要编码变换后的图像大小比编码变换前的图像大小大，则对其他图像大小的组合也有效。

图37的步骤S321中，通过对1/16VGA大小的图像的JPEG编码数据进行JPEG熵解码(霍夫曼解码或算术解码)，生成1/16VGA大小的图像的正交变换数据(更正确地说是生成对每个在1/16VGA大小的图像范围中包含的MCU(Minimum Coding Unit)所得到的各块的正交变换数据)。

在步骤S322中如图38所述那样，通过将1/16VGA大小的图像范围整体沿着QCIF大小的图像范围的部分MCU边界线(更一般地说的是部分块边界线)进行插入，向剩余部分插入伪数据(持有预先所决定的值的正交变换数据)，来生成QCIF大小的正交变换数据(更正确地说是分别生成对每个包含在QCIF大小的图像范围中的MCU所得到的块的正交变换数据)。

这里使用图38说明从QVGA大小的图像数据生成QCIF大小的图像数据。

图38是表示把1/16VGA大小的整个图像范围插入QCIF大小的图像范围时的图像范围的对应关系的图。当设QCIF大小的图像范围的左上角的坐标为(0，0)、右下角的坐标为(175，143)时，在向这里插入的1/16VGA大小的图像范围的左上角坐标为(x2，y2)时，右下角的坐标就是(x2+159，y2+119)。但是，x2和y2必须分别是JPEG编码的最小处理块MCU(Minimum Coding Unit)大小的倍数。例如在MCU对应宽16像素、高8线的图像范围时，x2必须是16的倍数，y2必须是8的倍数，此时x2的候补值为0或16，y2的候补值为0，8，16，24之一。图38中作为一例，表示出把1/16VGA大小的图像范围插入左上角的坐标为(0，16)，右下角的坐标为(159，135)的位置的情况。在用斜线表示的剩余图像范围中插入伪数据。

返回图35的说明，步骤S323中把步骤S32中所生成的QCIF大小的正交变换图像数据存储在帧存储器中，同时将在帧存储器中所存储的1帧之前的正交变换图像数据和步骤S322中所生成的当前帧的正交变换图像数据按MPEG4中的块(包含宽16像素、高8线的图像范围)单位进行比较，计算每个块的正交变换图像数据的帧间相差量。

步骤S324中比较步骤S323中所计算的帧间相差量和预定的阈值，在帧间相差量比预定的阈值还大时，进入步骤S325，在帧间相差量等于或小于预定的阈值时，进入步骤S326。

步骤S325中和步骤S326中都按块单位进行处理。步骤S325中，把步骤S322中所生成的正交变换数据以INTRA模式(使用当前帧内的图像数据进行编码的模式)进行MPEG4熵编码(MPEG4规定的霍夫曼编码或算术编码)。另一方面，步骤S326中判断为没有帧间的预测误差，以Inter模式(帧间预测编码模式)基于帧间预测误差信息进行MPEG4熵编码。

步骤S327中通过顺序排列在步骤S325或步骤S326中所生成的块单位的MPEG4编码数据，生成QCIF大小的不完全的MPEG4编码数据，通过生成适当的MPEG4编码数据首标并追加到数据的开头，生成QCIF大小的MPEG4编码数据。

这样从1/16VGA大小的JPEG图像数据向QCIF大小的MPEG图像数据的编码变换处理就结束。

此外，可组合上述第十、第十一实施例来构成服务器。例如预先判断编码变换前的图像显示大小比变换后的图像显示大小大还是小，根据该判断来决定是进行第十实施例的处理还是第十一实施例的处理即可。

<第十二实施例>

图39是表示在第十二实施例中利用从QVGA的图像显示大小(横向320像素、纵向240像素)变换为比其还小的QCIF图像显示大小(横向176像素、纵向144像素)的服务器进行的编码数据变换方式的另一处理过程的流程图。

相对于第十实施例中取得在切出的图像范围中包含的正交变换数据，该第十二实施例中取得在切出的图像范围中包含的JPEG编码数据这一点不同。

尽管假定在JPEG编码方式或MPEG4图像编码方式的之一中，作为熵编码方式使用霍夫曼编码方式的情况，但对于包含块分割、正交变换和熵编码的各处理过程的其他编码方式的组合也可实现大致相同的处理过程。

在下面将说明的第十二实施例中，与第十实施例同样，只要编码变换后的图像大小比编码变换前的图像大小小，则对于其他图像大小的组合也是有效的。

图39的步骤S333中，如图36所示，通过从QVGA大小的图像范围沿着任意MCU边界线(更一般地说的是块边界线)切出QCIF大小的图像范围，取得QCIF大小的JPEG编码图像数据(更正确地说是取得包含在QCIF大小的图像范围中的JPEG编码图像数据)。

在步骤S332中从包含在步骤S331中所取得的JPEG编码图像数据中的JPEG用霍夫曼编码(JPEG编码方式中使用的霍夫曼编码)向INTRA模式的MPEG4用霍夫曼编码(MPEG4图像编码方式的INTRA模式编码中使用的霍夫曼编码)进行变换。这里为了实现步骤S332，必须预先识别JPEG用霍夫曼编码表的内容和MPEG4用霍夫曼编码表的内容。

此外，设MPEG4用霍夫曼编码表由于应用该第十二实施例的装置(中继服务器)或软件自身准备故预先被识别。另一方面JPEG用霍夫曼编码表由于在JPEG编码数据的首标部分中被定义，故通过在图39的处理之前分析JPEG编码数据的首标部分而得到。或者在知道发送JPEG编码数据的图像分发服务器通常使用相同内容的JPEG用霍夫曼编码表时，简单存储该JPEG用霍夫曼编码表即可。

当将步骤S332中所得到的MPEG4用霍夫曼代码串汇总成1帧时，就得到QCIF大小的不完全的(没有首标)MPEG4用编码数据。步骤S333中，把步骤S332中得到的MPEG4用霍夫曼代码串依次存储到帧存储器，同时将在帧存储器中所存储的1帧之前的MPEG4用霍夫曼代码串和步骤S332中所得到的当前帧的MPEG4用霍夫曼代码串按MPEG4的块(横向纵向均16像素的范围)单位进行比较，检查每个块的MPEG4用霍夫曼代码串的帧间是否有差别。

步骤S334中依照步骤S333中所检查的帧间差别的有无，有帧间差别时，直接进入步骤S336(无追加处理)，在没有帧间相差时，进入步骤S335(有追加处理)。步骤S335中，把当前处理中的宏块中包含的MPEG4用霍夫曼代码串全部置换为意味着Inter模式的预测误差为0的MPEG4用霍夫曼代码串。

步骤S336中，把步骤S332或步骤S335中所得到的MPEG4用霍夫曼代码串汇总成1帧并生成QCIF大小的MPEG4编码数据，通过生成适当的MPEG4编码数据首标并追加到数据的开头，生成QCIF大小的MPEG4编码数据。

这样从QVGA大小的JPEG图像数据向QCIF大小的MPEG图像数据的编码变换处理就结束。

此外，从步骤S333到步骤S335的处理未必需要。在用INTRA模式处理全部的宏块时，可以省略步骤S333到S335的所有处理。但是，与用INTRA模式处理全部的宏块相比，利用了Inter模式的编码数据的压缩率要高。

<第十三实施例>

图39是表示在本实施例中利用从1/16VGA的图像显示大小(横向160像素、纵向120像素)变换为比其大的QCIF的图像显示大小(横向176像素、纵向144像素)的服务器的编码数据变换方式的处理过程的流程图。

相对于第十一实施例中将正交变换数据插入到QCIF大小的图像范围，在该第十三实施例中，在QCIF大小的图像范围中插入MPEG4用霍夫曼代码串这一点不同。

尽管假定在JPEG编码方式或MPEG4图像编码方式之一中，作为熵编码方式使用霍夫曼编码方式的情况，但对于包含块分割、正交变换和熵编码的各处理过程的其他编码方式的组合也可实现大致相同的处理过程。

在下面将说明的第十三实施例中，与第十一实施例同样，只要编码变换后的图像大小比编码变换前的图像大小大，则对于其他图像显示大小的组合也是有效的。

图40的步骤S341中，从1/16VGA大小的JPEG编图像数据中包含的JPEG用霍夫曼编码(JPEG编码方式中使用的霍夫曼编码)向INTRA模式编码的MPEG4用霍夫曼编码(MPEG4图像编码方式的INTRA模式编码中使用的霍夫曼编码)进行变换。这里，为了实现步骤S341，必须预先知道JPEG用霍夫曼编码表的内容和MPEG4用霍夫曼编码表的内容，这些与第十二实施例同样预先被准备。

步骤S342中如图38所示那样，通过把1/16VGA大小的图像范围整体(中包含的MPEG4用霍夫曼代码串)沿着QCIF大小的图像范围的任意MCU边界线(更一般地说的是部分块边界线)进行插入。然后向剩余的图像范围插入伪数据(持有预先决定的值的MPEG4用霍夫曼代码串)，生成QCIF大小的不完全的(没有首标)MPEG4编码数据(更正确地说是生成在QCIF大小的图像范围中包含的MPEG4用霍夫曼代码串)。

然后图40的步骤S333～S336表示与图39相同的处理，省略该说明。

<第十四实施例>

图41是表示在第十四实施例中，利用把QVGA的图像显示大小(横向320像素、纵向240像素)变换为比其小的QCIF图像显示大小(横向176像素、纵向144像素)的服务器的编码数据变换方式的处理过程的流程图。

该第十四实施例中，预先在编码方式变换前把图像大小设为1/2、插入伪数据，这一点与第十实施例不同。

图41的步骤S361中，通过JPEG图像解码QVGA大小的JPEG编码数据，来生成QVGA大小的图像数据。

步骤S362中进行图像的间疏处理，在纵横方向上都将图像数据缩小为1/2(只要是比QCIF的图像大小还小那样的1/n的倍率都可以)，生成1/16VGA大小的图像数据。

图42是表示在纵横方向上都把图像大小缩小为1/2时产生的块失真的增大的状况的图。在该图中，实线位置(宽8像素间隔、高8线间隔)上存在JPEG编码所引起的块失真。当在纵横方向上都把图像大小缩小为1/2时，JPEG编码所引起的块失真就向实线和虚线的位置(宽4像素间隔、高4线间隔)移动。进而当对该图像进行MPEG4图像编码时，就有再次在实线所示位置上追加MPEG4图像编码所引起的块失真的可能性。也就是，由于图像的缩小就会在虚线位置上产生新的块失真。

返回图41，在步骤S363中，为了使在图42所述的虚线位置上新产生的块失真不明显，对位于图42的虚线位置(各块的纵向横向的各自方向的中心轴)附近的各像素进行平滑化处理。

然后在步骤S364中如图38所示那样，通过把1/16VGA大小的图像范围整体的数据沿着QCIF大小的图像范围的任意MCU边界线(更一般地说是部分块边界线)进行插入，在剩余部分中插入伪数据(持有预先决定的值的图像数据)，生成QCIF大小的图像数据。步骤S365中通过对QCIF大小的图像数据进行MPEG4图像编码，生成QCIF大小的MPEG4编码图像数据。

这条从QVGA大小的JPEG图像数据向QCIF大小的MPEG图像的编码变换处理就结束。

<第十五实施例>

图43是表示在第十五实施例中利用从1/16VGA的图像显示大小(横向160像素、纵向120像素)变换为比其还大的QCIF的图像显示大小(横向176像素、纵向144像素)的服务器的编码数据变换方式的处理过程的流程图。

该第十五实施例中，预先在编码方式变换前把图像大小设为2倍、切出QCIF大小的图像，这一点与第十一实施例不同。

在图43的步骤S351中，通过JPEG图像解码QVGA大小的JPEG编码数据来生成QVGA大小的图像数据。

步骤S352中进行图像的插值处理，在纵横方向上都将图像数据放大为2倍(只要是比QCIF的图像显示大小还大那样的倍率都可以)，生成QVGA大小的图像数据。

在步骤S353中，如图36所示那样，通过从按QVGA大小所生成的图像数据沿着任意MCU边界线(更一般地说是部分块边界线)切出QCIF大小的图像范围，就得到QCIF大小的图像数据。

步骤S354中通过对QCIF大小的图像数据进行MPEG4图像编码，生成QCIF大小的MPEG4编码图像数据。

这样从1/16VGA大小的JPEG图像数据向QCIF大小的MPEG图像的编码变换处理就结束。

如以上所说明那样，根据第十～第十五实施例，在把编码数据变换为不同数据形式时，通过想办法使在变换前后块边界线尽可能不移动，就可以抑制由变换引起的块失真的图像质量的恶化。

<其他实施例>

无需赘言，本发明的目的也是可以这样达到的，通过将记录了实现上述实施形式的功能的软件程序代码的存储介质提供给计算机系统或者装置(例如，个人计算机)，该系统或者装置，使用CPU或者MPU读出并执行保存在存储介质中的程序代码。

这种情况下，就成了从存储介质读出的程序代码自身将实现上述的实施形式的功能，存储该程序代码的存储介质就构成了本发明。

另外，为了提供程序代码，可以使用例如，软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、磁带、非易失性存储卡和ROM等的存储介质，或者LAN(局域网)和WAN(广域网)等的计算机网络。

另外无需赘言，不仅包含通过执行计算机所读出的程序代码，上述的实施形式的功能得以实现的情况，也包含根据该程序代码的指示，在计算机上运行的操作系统(0S)等进行实际处理的部分或者全部，通过该处理前面所说的实施形式的功能得以实现的情况。

进而无需赘言，也包含当从存储介质读出的程序代码，被写入到插入计算机的功能扩展卡和/或连接到计算机的功能扩展单元上所具备的存储器以后，根据该程序代码的指示，该功能扩展卡和/或功能扩展单元上所具备的CPU等进行实际处理的部分或者全部，通过该处理前面所说的实施形式的功能得以实现的情况。

在本发明适用于上述存储介质的情况下，与先前说明了流程图相对应的程序代码就保存在该存储介质中。

本发明并不限于上述实施形式，在不脱离本发明的精神和范围内可以进行各种变更和变形。因此，为了公开本发明的范围，附加以下的权利要求项。

Claims (45)

1.一种图像处理装置，其特征在于，具有：

图像信息接收装置，从可向第一图像显示装置分发图像信息的摄影装置接收通过摄影所取得的图像信息；以及

图像信息分发装置，把用上述图像信息接收装置接收的上述图像信息，变换为针对与上述第一图像显示装置不同种类的第二图像显示装置的格式，并分发给上述第二图像显示装置。

2.根据权利请求1所述的图像处理装置，其特征在于：

上述图像信息分发装置，把上述图像信息以外的其他信息分发给上述第二图像显示装置。

3.根据权利请求2所述的图像处理装置，其特征在于：

具有在上述图像信息上重叠上述其他信息的图像加工装置；

上述图像信息分发装置把由上述图像加工装置重叠了上述其他信息的上述图像信息分发给上述第二图像显示装置。

4.根据权利请求2所述的图像处理装置，其特征在于：

在控制上述摄影装置的动作的期间将上述其他信息分发给上述第二图像显示装置。

5.根据权利请求2所述的图像处理装置，其特征在于：

上述图像信息分发装置，在直到该图像处理装置连接到上述摄影装置之前的期间，将上述其他信息分发给上述第二图像显示装置。

6.根据权利请求1所述的图像处理装置，其特征在于：

还具有把对于上述控制信息的来自上述图像装置的应答信息变换为针对上述第二图像显示装置的语音数据，将该语音数据发送给上述第二图像显示装置的语音数据发送装置。

7.根据权利请求1所述的图像处理装置，其特征在于：

还具有将依照保持各种信息的信息保持装置控制上述摄影装置的摄影动作用的控制信息所检索到的上述其他信息，从上述信息保持装置取得的第一信息取得装置；

上述图像信息分发装置将用上述第一信息取得装置所取得的上述其他信息分发给上述第二图像显示装置。

8.根据权利请求7所述的图像处理装置，其特征在于：

上述控制信息至少包含用于控制上述摄影装置的摄影动作中的摇镜头和/或倾斜角度的信息。

9.根据权利请求7所述的图像处理装置，其特征在于：

上述控制信息至少包含用于控制上述摄影装置的摄影动作中的缩放倍率的信息。

10.根据权利请求7所述的图像处理装置，其特征在于：

上述第一信息取得装置，取得上述信息保持装置依照当前时刻所检索到的上述其他信息。

11.根据权利请求7所述的图像处理装置，其特征在于：

上述第一信息取得装置。取得上述信息保持装置依照上述摄影装置所检索到的上述其他信息。

12.根据权利请求2所述的图像处理装置，其特征在于：

具有将表示与上述摄影装置的摄影动作相关的控制状态的信息作为上述其他信息进行取得的第二信息取得装置；

上述图像信息分发装置，将用上述第二信息取得装置所取得的上述其他信息分发给上述第二图像显示装置。

13.一种图像分发系统，其特征在于，具有：

摄影装置，可将通过摄影所取得的图像信息分发到第一图像显示装置；

与上述第一图像显示装置不同种类的第二图像显示装置，请求由上述摄影装置所摄影的上述图像信息；以及

图像处理装置，通过接受来自上述第二图像显示装置的上述图像信息的请求，从上述摄影装置取得上述图像信息，将上述图像信息分发给上述第二图像显示装置。

14.根据权利请求13所述的图像分发系统，其特征在于：

上述图像处理装置，把其他信息重叠在上述图像信息上向上述第二图像显示装置分发。

15.一种图像分发系统，其特征在于，具有：

摄影装置，可将通过摄影所取得的图像信息分发给第一图像显示装置；

与上述第一图像显示装置不同种类的第二图像显示装置，发送请求由上述摄影装置所摄影的上述图像信息的意思的语音数据；以及

图像处理装置，将来自上述第二图像显示装置的上述语音数据变换为针对上述摄影装置的控制命令，将上述控制命令发送到上述图像装置；

上述图像处理装置，接收依照上述控制命令从上述摄影装置发送的上述图像信息，将上述图像信息分发给上述第二图像显示装置。

16.根据权利请求15所述的图像分发系统，其特征在于：

上述图像处理装置，将来自上述摄影装置的对于上述控制命令的应答信息变换为针对上述第二图像显示装置的语音数据，将该语音数据发送给上述第二图像显示装置。

17.一种图像处理方法，其特征在于：

从可向第一图像显示装置分发通过摄影所取得的图像信息的摄影装置进行接收；

把接收到的图像信息分发给与上述第一图像显示装置不同种类的第二图像显示装置。

18.一种信息处理装置可读取的存储介质，其特征在于：

存储了信息处理装置可执行的程序，该程序的特征是具有用于实现权利请求17所述的图像处理方法的程序代码。

19.一种信息分发装置，其特征在于，具有：

图像数据接收装置，从可发送图像数据的多个图像发送装置接收上述图像数据；

语音数据接收装置，从可发送语音数据的多个语音发送装置接收上述语音数据；

编码装置，有选择地组合用上述图像数据接收装置所接收的上述图像数据和用上述语音数据接收装置所接收的上述语音数据，并作为带语音图像数据进行编码；以及

分发装置，将由上述编码装置所生成的上述带语音图像数据分发给接收装置。

20.根据权利请求19所述的信息分发装置，其特征在于：

还具有信息保持装置，至少将预先决定的一个或多个条件，以及上述条件与各种语音数据的对应作为信息进行保持。

21.根据权利请求20所述的信息分发装置，其特征在于：

上述预先决定的一个或多个条件，包含与上述图像发送装置状态相关的条件、与用户个人信息相关的条件、与时刻相关的条件内的至少一个。

22.根据权利请求20所述的信息分发装置，其特征在于：

具有变更装置，根据来自上述接收装置的请求来变更用上述信息保持装置所保持的信息的内容。

23.根据权利请求19所述的信息分发装置，其特征在于：

上述图像数据接收装置和上述语音数据接收装置是从上述信息分发装置独立出来连接到网络上的装置。

24.一种信息分发系统，具有可发送图像数据的多个图像发送装置，可发送语音数据的多个语音发送装置，分发信息的多个信息分发装置以及接收从上述信息分发装置分发的上述信息的接收装置，所述信息分发系统的特征在于：

上述信息分发装置具有，从上述图像发送装置接收上述图像数据的图像数据接收装置；

从上述语音发送装置接收上述语音数据的语音数据接收装置；

有选择地组合用上述图像数据接收装置所接收的上述图像数据和用上述语音数据接收装置所接收的上述语音数据，并作为带语音图像数据进行编码的编码装置；以及

分发由上述编码装置所生成的上述带语音图像数据的分发装置；

上述接收装置将由上述信息分发装置的上述分发装置所分发的上述带语音图像数据作为上述信息进行接收。

25.一种信息分发方法，其特征在于：

从可发送图像数据的多个图像发送装置接收上述图像数据；

从可发送语音数据的多个语音发送装置接收上述语音数据；

有选择地组合所接收的图像数据和语音数据并作为带语音图像数据进行编码；

将所编码的上述带语音图像数据分发给接收装置。

26.一种信息处理装置可读取的存储介质，其特征在于：

存储了信息处理装置可执行的程序，该程序的特征是具有用于实现权利请求25所述的信息分发方法的程序代码。

27.一种变换处理方法，将通过按第一块单位进行分割编码的第一编码方式所编码的第一大小的图像数据，变换为通过按第二块单位进行分割编码的第二编码方式所编码的第二大小的图像数据，所述变换处理方法的特征在于：

从上述第一大小的图像数据沿着上述第一块的边界切出上述第二大小的图像数据；

通过第二编码方式对所切出的上述第二大小的图像数据进行编码。

28.根据权利请求27所述的变换处理方法，其特征在于：

进而在上述切出之前，通过与上述第一编码方式对应的解码方式对上述第一大小的图像数据进行解码。

29.根据权利请求27所述的变换处理方法，其特征在于：

上述切出时，在通过上述第一编码方式进行编码的状态下切出图像数据，上述编码时，把用上述第一编码方式所编码的图像数据变换为上述第二编码方式编码的图像数据。

30.根据权利请求27所述的变换处理方法，其特征在于：

进而在上述第一大小比上述第二大小小时，通过插值处理把上述第一大小的图像数据扩大n倍，

上述切出时，从上述扩大了n倍的图像数据沿着上述第一块的边界切出上述第二大小的图像数据。

31.根据权利请求27所述的变换处理方法，其特征在于：

通过按每个块单位比较过去帧的图像数据和当前帧的图像数据进行帧间预测；

依照上述帧间预测，选择是使用当前帧内的图像数据进行利用上述第二编码方式的编码，还是使用帧间的预测误差信息进行利用上述第二编码方式的编码。

32.根据权利请求27所述的变换处理方法，其特征在于：

上述第一编码方式是JPEG编码方式，上述第二编码方式是MPEG编码方式。

33.一种变换处理方法，将通过按第一块单位进行分割编码的第一编码方式所编码的第一大小的图像数据，变换为通过按第二块单位进行分割编码的第二编码方式所编码的第二大小的图像数据，所述变换处理方式的特征在于：

在上述第一大小的图像数据周围，按上述第二块单位插入预定的数据使得成为上述第二图像大小，并生成上述第二大小的图像数据；

通过第二编码方式对所生成的上述第二大小的图像数据进行编码。

34.根据权利请求33所述的变换处理方法，其特征在于：

进而在上述插入之前，通过与上述第一编码方式对应的解码方式对上述第一大小的图像数据进行解码。

35.根据权利请求33所述的变换处理方法，其特征在于：

进而在上述第一大小比上述第二大小大时，通过间疏处理把上述第一大小的图像数据缩小1/n倍；

对上述所缩小的图像数据块的边界的像素进行平滑化处理；

在上述图像数据生成时，使用实施了上述平滑化处理的图像数据。

36.根据权利请求33所述的变换处理方法，其特征在于：

上述切出时，在通过上述第一编码方式进行编码的状态下切出图像数据，上述编码时，把用上述第一编码方式所编码的图像数据变换为上述第二编码方式的图像数据。

37.根据权利请求33所述的变换处理方法，其特征在于：

通过按每个块单位比较过去帧的图像数据和当前帧的图像数据进行帧间预测；

依照上述帧间预测，选择是使用当前帧内的图像数据进行利用上述第二编码方式的编码，还是使用帧间的预测误差信息进行利用上述第二编码方式的编码。

38.根据权利请求33所述的变换处理方法，其特征在于：

上述第一编码方式是JPEG编码方式，上述第二编码方式是MPEG编码方式。

39.一种变换处理方法，将通过按第一块单位进行分割编码的第一编码方式所编码的第一大小的图像数据，变换为通过按第二块单位分割编码的第二编码方式所编码的第二大小的图像数据，所述变换处理方法的特征在于：

将上述第一大小的图像数据变换为上述第二编码方式的图像数据；

在所变换的上述第一大小的图像数据的周围，按上述第二块单位插入通过上述第二编码方式所编码的预定的数据使得成为上述第二图像大小。

40.根据权利请求39所述的变换处理方法，其特征在于：

上述第一编码方式是JPEG编码方式，上述第二编码方式是MPEG编码方式。

41.一种变换处理装置，将通过按第一块单位进行分割编码的第一编码方式所编码的第一大小的图像数据，变换为通过按第二块单位进行分割编码的第二编码方式所编码的第二大小的图像数据，所述变换处理装置的特征在于，具有：

从上述第一大小的图像数据沿着上述第一块的边界切出上述第二大小的图像数据的切出装置；以及

通过第二编码方式对所切出的上述第二大小的图像数据进行编码的编码装置。

42.一种变换处理装置，将通过按第一块单位进行分割编码的第一编码方式所编码的第一大小的图像数据，变换为通过按第二块单位进行分割编码的第二编码方式所编码的第二大小的图像数据，所变换处理装置的特征在于，具有：

在上述第一大小的图像数据周围，按上述第二块单位插入预定的数据使得成为上述第二图像大小，并生成上述第二大小的图像数据的生成装置；以及

通过第二编码方式对所生成的上述第二大小的图像数据进行编码的编码装置。

43.一种变换处理装置，将通过按第一块单位进行分割编码的第一编码方式所编码的第一大小的图像数据，变换为通过按第二块单位进行分割编码的第二编码方式所编码的第二大小的图像数据，所述变换处理装置的特征在于，具有：

将上述第一大小的图像数据变换为上述第二编码方式的图像数据的变换装置；以及

在所变换的上述第一大小的图像数据的周围，按上述第二块单位插入通过上述第二编码方式所编码的预定的数据使得成为上述第二图像大小的插入装置。

44.一种信息处理装置可读取的存储介质，其特征在于：

存储了信息处理装置可执行的程序，该程序的特征是具有用于实现权利请求27所述的变换处理方法的程序代码。

45.一种信息处理装置可读取的存储介质，其特征在于：

存储了信息处理装置可执行的程序，该程序的特征是具有用于实现权利请求33所述的变换处理方法的程序代码。

46.一种信息处理装置可读取的存储介质，其特征在于：

存储了信息处理装置可执行的程序，该程序的特征是具有用于实现权利请求39所述的变换处理方法的程序代码。

Images