CN1419377A - 使用图像的通信方法及其装置 - Google Patents

Abstract

一种通信方法，使一张以上的图像构成的图像序列和所述图像序列的图像相关联，并且进行与图像的公开或非公开有关的控制信息的通信。控制信息是使与包含图像内的被摄体的一部分或全部的关注区域和非关注区域的某一个或双方相关联，并且是否公开区域的信息。还与对不确定/确定的用户的公开和非公开相对应。

Description

使用图像的通信方法及其装置

技术领域

本发明涉及电视电话会议或电视会议、视频邮件等进行使用图像的通信的通信方法，或在使用图像的通信装置间控制通信的通信控制方法及其装置。

背景技术

众所周知，作为使用图像进行通信的装置及方法，有电视电话、电视会议系统、视频邮件等各种形态。即使在这些形态的任何一种形态中，使用图像的主要目的在于对被摄体的姿态(例如脸部)进行摄像，并将该图像发送到通信目的地。

但是，在这些装置中，在保密的观点上有欠缺。例如，在被摄体为自己的情况下，对捕获自己的脸部的图像数据不进行任何处理就发送到通信对方并显示在通信对方的显示器上，这对于希望不想让自己的脸部被通信对方看到的用户来说，不能进行保密，给用户带来精神上的痛苦。

在家庭和办公室中使用该装置时，即使不想发送家庭或办公室内的状况的情况下，会与自己的姿态一起都让通信对方知道，有在保密和保护办公室内的机密的方面都很不方便的问题。

因此，为了解决这样的问题，在(日本)特开平5-91407号公报中，披露了以下技术：通过从摄像机摄影的图像中除去背景部分后进行发送，从而保护家庭内的秘密和办公室内的机密。

另外，在特开平6-46414号公报中，披露了以下技术：通过从摄像机的输入图像中检测人物的脸部，并仅对脸部进行加工来发送，使通信对方仅无法识别脸部，从而保护用户的个人秘密。

而且，在特开平2000-175168号公报中，披露了以下技术：通过在相互的画面上显示可任意改变的特征图像等代理图像来代替通话者的实际图像，从而进行保密，并且用图像来传递自己的感情。

目前，通过网络的宽带化的扩展，可以进行使用超过以往的图像的通信。这样一来，当然要保存进行了该通信的数据，以便后面再利用该数据。于是，应该保护与图像中摄像的自身的有关秘密的要求比以往更强烈。

从目前的电子邮件系统和WEB系统的状况来看，可以容易地设想，为了保存并再利用图像数据，用户想简便地进行图像数据的检索和管理的请求会提高。

另一方面，作为多地点的多个用户进行基于图像的通信的通信方法，有使用集中控制装置的电视会议系统。这种情况下，可从一个图像通信终端将发送的图像通过集中控制装置发送到两个以上的图像通信终端。

在这样的多地点的电视会议系统中，在采用保密技术的情况下，例如，在电视会议系统中，如果为了保密而除去背景或对脸部区域进行加工，则对于参加会议的所有成员，一样地发送除去背景或对脸部区域进行了加工的图像。

但是，如上所述，在多地点的多个用户进行基于图像的通信系统中，有以下情况：除了会议这样用在非常特殊化目的的形态以外，通过如WEB中的聊天那样不确定的用户参加的形态(以下称为‘视频聊天’)、从多地点中的多个用户间利用添加了视频邮件和图像的邮件来实现用户间的通信。

这样的情况下，有希望根据通信对方的情况来控制图像的公开信息(即，有无被摄体区域的公开、有无背景区域的公开)这样的要求。例如，存在某个图像通信终端的用户可以让确定的图像通信终端的用户看见自己的脸部，但不希望除此以外的用户看见自己的脸部的情况。

即使在商业用途的多地点间的电视会议系统中，在公司内的用户和公司外的用户混杂的情况下，可考虑使公司内的用户可看见背景，而对公司外的用户则除去背景来进行通信。

但是，在现有的方法情况下，在为了保密而要除去背景或对脸部区域进行加工的情况下，对参加视频聊天及电视会议的所有成员不得不一样地发送除去背景或对脸部区域进行加工的图像。因此，通过用户非常不便于使用。

此外，对包含这些图像的通信数据原状地记录管理，在以后想检索背景或脸部区域中未加工的地方的情况下，需要扫描整个图像序列，效率非常差。

此外，即使在记录的图像序列的自身管理中，单独记录管理与图像序列的数据的公开内容有关的信息，所以这些信息可能丢失，或放置错误，或被除去。

发明内容

因此，本发明的目的在于提供一种通信方法，在进行图像通信的情况下，添加保密的功能，而且即使在添加了保密功能的情况下，也可以由用户对该通信数据的再利用性及多地点间的通信容易并且方便地进行保密控制。

本发明使一张以上的图像构成的图像序列和所述图像序列的至少一张图像相关联，并且进行与图像的公开或非公开有关的控制信息的通信，控制信息使与包含图像内的被摄体的一部分或全部的关注区域和非关注区域的某一个或双方相关联。

本发明通过同时发送接收控制信息和图像，来克服现有技术的问题。

作为本发明的系统形态，有在通信装置间进行1对1的通信情况(第1实施例)，以及由控制三个以上的通信装置间和其通信终端间的通信的通信控制装置来进行多地点通信的情况(第2实施例)。

附图说明

图1是本发明第1实施例的通信装置的方框图。

图2是元数据描述格式的说明图。

图3是表示图像序列和元数据的关联的图。

图4、图5是表示以MPEG-7形式描述元数据的例子的图。

图6是‘media Time Point Type’的格式定义图。

图7是原来的输入数据的例示图。

图8(a)、图8(b)是将非关注区域(背景)作为非公开的例示图。

图9(a)～图9(c)是将关注区域作为非公开的例示图。

图10是在关注区域上实施重叠规定图像的加工的例示图。

图11在关注区域的一部分上实施重叠规定图像的加工的例示图。

图12是输出数据的例示图。

图13是本发明第2实施例的通信控制装置的方框图。

图14是元数据描述格式的说明图。

图15是以MPEG-7形式描述元数据的例示图。

图16是通信控制装置和各通信装置之间的发送接收状态的说明图。

图17是组的设定例的说明图。

图18是通信控制装置和各通信装置之间的发送接收状态的说明图。

具体实施方式

以下，参照附图来说明本发明的实施例。

(第1实施例)

在第1实施例中，说明通过本发明的通信方法及其装置来进行1对1通信的情况。图1是本发明第1实施例的通信装置的方框图。

在该通信装置中，用户1面对输入单元2、显示单元3及图像输入单元4。

输入单元2由键盘(包含数字键等)和鼠标器等构成，用户1用其将有关公开、非公开的控制信息及其他必要的信息输入到该通信装置中。

这里，在将本通信装置用作使用图像输入单元4的监控系统或监视系统的情况下，最好是在输入单元2中追加读取装置。

这样的话，被图像输入单元4摄影的用户1不进行键盘输入等，也可以将有关公开和非公开的控制信息输入到本通信装置中。

例如，用户1携带可与输入单元2进行无线通信的带有IC卡的徽章或内置ID芯片的无线薄片等，将有关公开和非公开的控制信息记录在该IC卡或ID芯片上。这样的话，用户1仅携带徽章或无线薄片，就可以将该控制信息简单地输入到本通信装置中。

后面将详述，公开控制信息包含用户1为被摄体的一部分或全部，是表示是否公开关注区域和非关注区域的其中一个或双方的信息。

显示单元3由LCD等构成，在其画面上显示通信对方发送的图像或操作上所需的信息。

图像输入单元4用于将至少一张以上的图像构成的图像序列输入到该通信装置中，有摄像机、数据输入装置、数据记录媒体等各种形态。通常，就该图像序列而言，主要使用对用户1进行摄影的图像序列。

区域提取单元5从该图像序列的图像中提取包含被摄体的一部分或全部的关注区域。

关注区域是包含被摄体的一部分或全部的区域，而非关注区域是图像中关注区域1以外的区域、背景等。

以往，作为提取被摄体区域的方法，公开了各种技术。

例如，在(日本)特开平5-91407号公报中披露了以下方法：进行活动图像的相邻帧间的图像信号的相对比较，将移动量小的图像部分作为背景部分，将除此以外的部分作为被摄体区域来提取。

此外，在特开平5-161131号公报中披露了以下方法：预先保持仅有背景的图像，对每个像素获得只有背景的图像和活动图像的各帧的差别，将差别小的区域作为背景区域，将差别大的区域作为被摄体区域。

此外，在关注区域是头部或脸部区域的情况下，在谷内等人的‘視點固定型パン·チルト·ズ一ムオメラを用いた適應的見え方モデルに基づく人物頭部の檢出·追迹’(MIRU2000画像の認識·理解シンポジウム講演論文集I pp.9-14)中披露了以下方法：检测图像中的椭圆区域，进行头部检测。

另外，还存在根据颜色信息来检测脸部的方法(例如，检测肤色区域等)、着眼于眼和嘴等的脸部部分的方法、模板匹配等公知的各种方法。

虽然公开了包含以上方法的有关区域提取的各种技术，但在该区域提取单元5中，采用这些各种公知技术的任何一种技术都没有关系。

再有，在本发明中，进行区域提取的目的在于保密，不一定需要正确地提取被摄体的区域，只要被摄体的一部分或全部进行隐藏而使秘密受到保护就足够了。例如，在关注区域是头部或脸部区域的情况下，也可以作为包含关注区域的一部分或全部的椭圆区域来检测。

此外，在本实施例中，区域提取单元5可自动地提取关注区域，但在从图像输入单元4输入的图像的关注区域的场所是已知的情况下，可以省略区域提取单元5。

再有，本发明的目的是实现保密，所以期望最好是将表现人物个性的场所、特别是脸部、头部、或其一部分作为关注区域。

而且，用户1或本通信装置的管理者将关注区域作为固定的区域，可以在摄影之前预先设定，用户1或本通信装置的管理者也可以一边监视通过图像输入单元4摄影的图像，一边用人工作业来设定关注区域。

发送数据处理单元6使从图像输入单元4输入的图像、区域提取单元5提取的关注区域、从输入单元2输入的公开控制信息等形成关联的控制信息，而且与图像合并来形成用于进行通信的数据。

再有，对于发送的对方，根据关注区域、非关注区域来实施加工，以便不能掌握作为非公开的区域的细节，并形成发送数据。后面将详细地说明这方面的内容。

通信单元7通过通信路径与对方的信息处理装置至少进行上述各数据的发送接收。再有，这里的通信模式是任意的，例如可以是电视电话那样的同步式通信，也可以是邮件那样的非同步式通信。

接收数据处理单元8将通过通信单元7接收的对方的数据记录在记录单元9中，同时进行可以显示在显示单元3上的处理。

记录单元9由存储器或硬盘装置等构成，具有至少记录接收数据处理单元8的接收数据的区域。

控制单元10控制图1所示的各单元的数据的流动和处理。

下面，用图2～图5来说明在本实施例的通信方法中，在通信装置间进行通信的图像序列(包含静止图像)和公开控制信息。

如上所述，图像序列是从图像输入单元4输入的数据。图像序列是所谓内容的一种，公开控制信息最好是被描述在元数据中，而元数据描述有关与成为内容的图像序列成对生成的内容。

图2表示本实施例中使用的元数据描述格式。其中，“区域信息”是表示成为对象的区域是关注区域或非关注区域这两者中的哪一个区域的信息。

“公开控制信息”为是否公开成为对象的区域的标记。例如，在内容的某一阶段中，在使关注区域非公开的情况下，使成为关注区域的区域信息的公开控制信息为‘非公开’。

此外，在另一帧中，在进行变更以便可以公开关注区域的情况下，将公开控制信息变更为‘公开’。再有，该设定可以设定在各个关注区域、非关注区域中。该设定由用户1通过输入单元2来进行。

再有，除了公开和非公开的标记以外，也可以设定公开度这样的值。例如，在公开度以0～1来赋给的情况下，在公开度为‘0’时变成非公开，在公开度为‘1’时变成公开。

而且，0～1中间的值，例如在公开度为‘0.8’时，通过图像处理的参数控制等，来进行改变公开的程度的处理。

“区域指定信息”是表示成为对象的区域的图像中的位置的数据(例如轮廓坐标列)。

此外，还有成为对象的区域是整个图像的情况，或在图像中完全不存在成为对象的区域的情况。再有，作为指定成为对象区域的区域，除了设定轮廓坐标列以外，还可考虑设定二进制数据作为屏蔽数据。

而且，在预先知道成为对象区域的形状(矩形、多角形、椭圆等)的情况下，可考虑仅用表示该形状在哪里的充分的信息来表现。再有，本发明不仅适用于一张图像，而且也适用于活动图像。

这种情况下，在指定成为对象区域的信息中，不仅可以使用表示空间位置的信息，而且也可以使用表示时间的区间的信息或时间空间如何移动这样的信息。其中的任何一种情况都包含在本发明中。

再有，在元数据中，通常除了公开控制信息以外，还包含‘内容的编码类型’等这样的有关内容的描述。此外，该内容可以如图表那样来描述，也可以分层地描述。在本例中，如图2所示，对公开控制信息分层地进行描述，使其从属于区域信息，。

不用说，可以独立描述区域信息和公开控制信息，也可以另外描述它们之间的关系。在以上任何一种情况下，只要将公开控制信息和区域信息以某些形态来加以设定，就包含在本发明中。

图3例示图像序列和元数据的关联。在该例中，图像序列由多个静止图像(称为帧)的序列构成。

在该图像序列中，例如可以使用模拟或数字、交织或渐进、编码或非编码的任意的合适的格式。

各帧存在包含被摄体(在本例中为年轻女性的脸部)的四个帧和不包含被摄体的两个帧。

根据需要，元数据中描述的公开控制信息可以与一个帧、连续的帧组(序列帧组)、不连续的帧组(非序列帧组)、如整个图像序列那样的图像序列中的任意个数的帧相关联。

在公开控制信息中设定是否向其他人公开区域信息的标记。例如，在内容的某个阶段中，在使关注区域为非公开的情况下，使标记为‘非公开’。

在其他的帧中，在变更为也可以公开关注区域的情况下，在该时刻设定‘公开’这样的标记。

作为描述这里所说的元数据的形式，存在各种各样的标准化规格和独立规格。这里，说明基于MPEG-7规格的描述例。

MPEG-7是被正式称为Multimedia Content Description Interface(ISO/IEC15938)的MPEG(Moving Picture Experts Group：ISO/IEC JTC1/SC29/WG11)的MPEG-1、-2、-4之后第4次标准化项目。

该标准规定用于描述多媒体信息的内容的框架，是以在来自数字库(digital library)的检索和编辑这样的应用中使用为目的的规格。

MPEG-7规定用于描述以图像-声音为中心的多媒体信息的内容的描述符(Descriptor)的标准集合。通过将该描述(Description)赋予在内容中，可以进行基于多媒体信息的内容的检索。

由此，具有促进内容的流通-利用的意图。因此，该规格的描述对于以保密的通信为目的的本发明来说，是合适的描述形式。

作为实际的描述定义语言，由对于XML(eXtensible Markup Language)Schema语言实施必要的扩展的语言组成。因此，即使进行这种扩展，也保留与XML Schema的语法的互换性。

然后，在MPEG-7中，对于描述内容的特征表现来说，只要将以下的基本要素进行组合就可以。

1.描述符(Descriptor：缩略语为D)

在多媒体内容中，在用于描述某个单一特征的基本工具MPEG-7中，规定描述符的表记方法(Syntax)及意义(Semantics)。

2.描述模式(Description Schema：缩略语为DS)

规定了多个描述工具间的构造、有意义的关系的框架。在MPEG-7中，与描述符同样，规定这些描述模式的表记方法(Syntax)及意义(Semantics)。再有，作为构成描述模式的描述工具，除了描述符以外，还包含其他描述模式本身。

3.描述定义语言(Description Definition Language)

用于规定描述符及描述模式的表记方法的语言。在MPEG-7中，以W3C标准化制定的模式语言XML Schema为基础，通过追加多媒体内容的特征描述时所需的各种数据类型等，来规定描述定义语言。

作为DS的例子，有描述内容的使用者的‘Person DS’、描述图像内的区域的‘Still Region DS’、或描述内容的使用方法的‘Usage Information DS’。

而作为Descriptor的例子，有描述内容的访问权的‘Rights’等。

再有，在MPEG-7中，除了标准定义的DS及Descriptor以外，还规定定义新的Descriptor或DS并用于要扩展的语言(Description DefinitionLanguage)。

因此，在描述本发明的元数据的情况下，如果根据上述规定进行描述，则成为MPEG-7形式的描述。

图4表示根据MPEG-7规格来描述图3所示的描述元数据的例子。在图4中，“<！--”是注释，区域信息用‘Still Region DS’来描述。

然后，对于公开控制信息，由‘Usage Information Ds’的‘Availability DS’中的‘Publication Type’来描述。

在该‘Publication Type’中，可以描述分配该内容的机构。

这里，通过公开控制机构描述唯一提供的公开和非公开信息，来确定分配内容情况下公开控制的结构。

对于区域指定信息来说，使用‘Contour Shape’，作为轮廓坐标序列来描述。

再有，如上所述，在区域信息中，不仅有对于一张图像的区域信息，还有活动的区域的信息‘Moving Region DS’、与声音合并的区域信息‘AudioVisual Region DS’等。

作为包含它们的基本定义，有表示多媒体内容的一部分的‘Segment DS’这样的定义，但只要是以该定义为基础的DS，就可以进行与图4所示的描述相同的描述。

下面详细说明与活动图像的关联。在图5中，表示根据MPEG-7规格来描述图3的元数据的例子。

在图5中，使用‘Video Segment DS’使图4所示的区域信息与成为对象的图像帧相关联。这种情况下，与实际的图像帧的关联在‘Media Time’的‘Media Time Point’中实行。

在‘Media Time’中，以图6所示的形式来描述该Video Segment的对象时刻。例如，在‘T13:20:01:1F15’中，具有‘13时20分01秒的第1帧(其中，在每1秒15帧下，是0帧至14帧)’这样的意义。

由此，可进行仅对活动图像中的某一部分的区间进行公开这样的控制。

再有，以上的描述毕竟是一例，即使是除此以外的描述方法，只要具有同等的意义，就包含在本发明中。

在MPEG-7中，使用XML来表现元数据。而且，目前的XML因其通用性在信息处理领域中十分引人注目，正在开发和提供对XML文件进行编辑、操作的各种工具，但MPEG-7元数据使用XML来表现，所以可以最大限度发挥这些XML通用工具的便利。

而且，与基于XML的其他标准规格、例如HTML(Hyper Text MakupLanguage)和SMIL(Synchronized Multimedia Integration Language)等的亲和性也高。

再有，在本发明中，只要以与内容相关联的形式进行描述就足够了，所以即使用包含上述规格在内的、所有的元数据进行描述也没有关系。

再有，就元数据描述来说，在本发明中，为了容易对附图进行说明，所以根据文本格式中的描述进行说明，但即使是二进制格式也没有关系，包含在本发明中。

例如，在对应于多媒体内容的各种特征作为XML文件表记的情况下，MPEG-7元数据自身的数据规模庞大，有导致存储或传输的低效率的危险。

作为其对策，考虑使用MPEG-7中规定的二进制格式。这样的话，作为XML文件表记的MPEG-7元数据可不损失其信息量地压缩至百分之一以下的规模。在本格式中，依据文本格式的元数据表记和依据二进制格式的元数据表记作为其保有的信息是完全等价的。

因此，在文本格式和二进制格式的变换之间具有双向性，一旦将作为XML文件表记的MPEG-7元数据变为MPEG-7二进制数据后，即使再次变换为XML文本数据，原来的信息也被完全保持。

此外，即使是二进制格式，不仅对数据内部的随机存取是可能的，而且将数据内部的描述删除一部分，或进行改写为其他内容的操作也是可能的。

这里，在本发明中，只要是作为元数据来描述就足够了，无论以上述任何一种格式来描述，都包含在本发明中。

下面用图7～图12来说明发送数据处理单元6进行的处理。

该发送数据处理单元6将从图像输入单元4输入的图像、区域提取单元5提取的关注区域、以及从输入单元2输入的公开控制信息形成相关联的控制信息。

这里，在本例中，发送数据处理单元6根据控制信息来实施加工，使得不能掌握非公开的区域的细节。但是，该加工不仅可由发送数据处理单元6进行，也可以由接收该控制信息的对方的接收数据处理单元8来进行，还可以由其他的通信路径上的信息处理装置来进行。

无论如何，最终用其他用户观看到图像前的路径的某一处的单元进行可满足非公开要求的加工就可以，本发明并不限定于用发送数据处理单元6来进行该加工的情况。

图7表示实施加工前的原来的输入数据，图8～图11表示对图7的图像实施了各种加工的例子。再有，这些例子可以适当组合使用。

这里，设区域提取单元5以脸部作为关注区域来提取。

图8是表示对非关注区域(背景)进行非公开的处理结果。由于对背景进行非公开，所以在图8(a)中使背景模糊不清，而在图8(b)中使背景变暗。

相反，图9～图11表示对关注区域(脸部区域)进行非公开的处理结果的例子。在图9(a)中使关注区域模糊不清，在图9(b)中在关注区域中加入玛塞克，而在图9(c)中在关注区域中加入压纹。

图10表示在关注区域的脸部区域上，重叠与关注区域的图像不同的规定的计算机图像(CG)符号或符号图像的例子。而且，如图11所示，也可考虑在关注区域的脸部区域的眼睛部分上显示墨镜的CG或重叠图像。

再有，除了这些处理以外，还可考虑各种加工方法，但无论哪种方法，只要是进行使作为非公开区域的细节无法掌握的加工就可以。另外，以上例示的加工本身可以由公知技术来实施。

如上所述，在本实施例中，发送数据处理单元6进行使得在图像中不能掌握非公开的区域的细节的加工。图12表示对图3的输入数据进行加工后的输出数据的例子。

于是，根据本发明，接收输出数据的对方的信息处理装置取得将非公开的区域加工后的活动图像、以及包含对于该图像存在的公开控制信息的元数据。

而且，上述加工也可以加密。这种情况下：

(例1)用公开密钥来加密非公开区域，在元数据中加入公开密钥证明书后进行发送，被容许观看非公开区域的接收者可以使用与公开密钥对应的私有密钥对非公开区域进行解密；或者

(例2)用共用密钥来加密非公开区域，同时对共用密钥进行加密并加入到元数据中后进行发送，被容许观看非公开区域的接收者用私有密钥对共用密钥进行解密来获得共用密钥，可以用该共用密钥对非公开区域进行解密。

在(例1)中，具有对每个非公开区域容易进行个别加密的优点，在(例2)中，具有处理负担比(例1)轻的优点。

无论通过(例1)、(例2)的哪一个，具有私有密钥的人可以对非公开区域进行解密来观看，而没有私有密钥的人不能观看非公开区域。即，即使经由相同的网络来发送图像，也只有指定的人才可以观看非公开区域。

再有，本实施例的通信装置和接收信息处理装置中的通信形态可以是电视电话那样的同步式通信，也可以是邮件那样的非同步式通信。

在这些通信形态中，在接收端的信息处理装置中，都存在记录本实施例的通信装置发送的发送数据的情况。

这种情况下，图像序列和与其相关联的描述被同时接收，并且被记录，然后，即使在希望仅重放公开的场所的情况下，也不需要特意用快速发送等来检索整个图像序列，只要仅检索内容描述数据就足够了，操作处理十分容易。

因此，根据本实施例，可以非常简便、高效率并且高速地进行检索。

而且，由于是上述流形式，所以图像本身的管理也容易。例如，作为元数据，除了公开控制信息以外，还可以包含通信的时间日期等。通过与图像一起取得这些元数据，从而不丢失元数据中描述的时间日期和公开控制信息这样的信息，没有放置错误或被除去的危险。

因此，在接收端的信息处理装置中，在由记录单元进行记录的情况下，不用另一个文件来保存有关内容描述的信息，而可以进行基于文件自身的管理。由此，即使在已记录的情况下，用户也不需要预先具有有关内容的描述，就可以取得必要的图像数据。

如上所述，根据本发明第1实施例的通信方法，对于图像序列来说，存在于其关联的元数据，其中包含公开控制信息，所以在记录该数据的情况下容易进行一元管理，而且即使在以后检索内容的情况下，也可以使用元数据的信息仅检索已公开的地方，所以可以进行效率非常高的检索。

再有，在本实施例中，举例说明了通信单元7进行双向通信的情况，但从用户1向对方对图像数据进行单方向通信的视频邮件等中也可以采用本发明。

这种情况下，对方的信息处理装置可以仅具有接收发送的图像数据并进行画面显示的结构。

(第2实施例)

下面，作为第2实施例，公开了在本发明的通信装置的发送对方是2以上的通信装置，进行对一部分对方装置进行公开，对另一部分对方装置不进行公开这样的控制情况下的有效方法。

这种情况下，在发送端的通信装置和接收端的通信装置之间，插入控制这些装置间通信的本发明的通信控制装置。该通信控制装置也包含在本发明的‘通信装置’中。

图13是实现本发明第2实施例的通信方法的通信控制装置的方框图。

这里，如图16所示，假设由图13所示的通信控制装置25来控制通信装置A、通信装置B、通信装置C这三个装置间的通信。

如图13所示，通信控制装置25由通信单元16、接收数据处理单元17、记录单元18、发送数据处理单元19、控制单元20构成。

这里，如图16所示，通信单元16通过通信路径与三个通信装置A、B、C进行数据的发送接收。再有，这里的通信模式是任意的，例如可以是电视电话这样的同步式通信或是邮件这样的非同步式通信。

此外，作为网络的形态，不仅是图16所示的形态，也可以是图18所示的形态。此时，通信装置B、C存在于相同的网络上，仅通信装置A通过通信控制装置25连接到该网络。

于是，通过通信装置A，对用户A进行摄影的未加工的(不保护非公开区域)图像被发送到通信控制装置25，但达到这样的状态，即不会有该未加工的图像不进行任何加工就通过该网络的情况，可以提高非公开区域的秘密性。

因此，作为提供IP摄像机的图像检测服务和活动图像分配服务等的服务供应商内部的网络，这样的网络形态(特别是在通信装置A和通信控制装置25之间)是有用的。

在图13中，接收数据处理单元17接收来自通信装置A、B、C的数据，对接收的元数据进行解析，取得发送数据处理单元19所需的信息。

在该数据中，除了至少有关公开、非公开的控制信息以外，还包含利用各装置A、B、C的用户、识别用户所属的利用组或利用的装置的标记的至少一个识别信息。关于该数据，后面将详细说明。

记录单元18保存利用通信控制装置的用户、用户所属的利用组或利用的装置的全部或部分信息。此外，还有本记录单元18记录接收时的数据的情况。

发送数据处理单元19在需要对接收数据处理单元17接收的数据的图像序列进行加工的情况下，实施不能掌握非公开区域的细节的加工。

下面用图14来说明在本实施例的通信方法中，通信装置间进行通信的数据格式。

在图14中，表示本实施例使用的元数据描述格式。在本实施例中，相对于第1实施例，附加与新的确定者有关的信息(确定者信息)。

‘确定者’是指对于区域的公开和非公开希望设定与不确定者不同的值的用户，这些不同的值包括例如有关用户的信息、利用组信息、所属机关信息、包含电子地址的地址信息、终端识别信息等。

这里，在MPEG-7中，将使用通信数据的对象的总称叫做‘自主体(Agent)’。而且，如图14所示，在区域信息中，除了对不确定者公开控制信息以外，还包含对确定者公开控制信息。

再有，就公开控制信息的内容来说，与第1实施例相同。

于是，通过以图14的格式来修正第1实施例，例如在将数据从通信装置A发送到通信装置B、C的情况下，将通信装置B的用户设定为‘确定者’，对通信装置B的用户进行与不确定者(通信装置A、C的用户)不同的处理，可以控制公开和非公开。

图15表示用MPEG-7形式来描述图14的元数据描述格式的例子。这里，与第1实施例的图4相比，作为确定者信息，追加使用新的‘Person Group DS’。

在该Person Group DS中，作为确定者的信息，例如可以提供表示自己的朋友组的唯一名字。

再有，在本实施例中，说明了组的唯一名字被预先提供的例子，但也可以在该元数据中定义。这种情况下，对于组来说，在Person Group DS中定义可包含什么样的成员。

再有，作为确定者信息，这里论述了Person Group DS，但除此以外，在MPEG-7中，有表示人物的‘Person DS’、表示机关的‘Organization DS’、作为使用通信数据的对象的总称来定义的‘Agent DS’、表示场所的‘PlaceDS’，但无论是哪一个，只要是确定用户的信息，就都具有与Person Group DS的例子同等的效果，包含在本发明中。

下面，说明对于上述元数据描述中的确定者信息，本实施例的通信控制装置25依据通信对方A、B、C来控制图像序列的公开和非公开的流程。

图16是表示通过通信控制装置25由至少三个通信装置A、B、C进行发送接收情况下的模式图。

这里，设从通信装置A向通信装置B、C发送数据。并且，设关注区域为脸部区域。

而且，在从通信装置A发送的元数据中，作为确定者信息，设定用户B的识别信息。

这种情况下，在从通信装置A向通信装置B、C通过通信控制装置25发送数据的情况下，作为发送数据，如数据29那样，关注区域被以公开的形式进行发送。

然后，通信控制装置25的接收数据处理单元17(参照图13)从元数据中取得识别信息和公开控制信息，发送数据处理单元19在发送目的地是用户B的情况下根据确定者的公开控制信息，将关注区域以公开的数据30的形式来发送。而发送数据处理单元19对于不是确定者的用户C，如数据31那样实施使非公开的区域的脸部区域的细节无法知道的加工后进行发送。

在该确定者信息中，还可以设定不是用户的利用组。该利用组是通常的电子邮件系统中的邮件表格，在通信控制装置25的记录单元18中设定该信息。图17表示这样的组的设定例。

这种情况下，如图17所示，组的信息成为每个组的表格构造，但除此以外，对于用户的表格来说，也可以是提供该用户属于哪个组的识别信息的表格形式。

此外，也可以是在与各通信目的地通信时进行与组或所属有关的信息的交换，将其中途结果的信息保存在记录单元18中的形式。

无论如何，在通信控制装置25中，只要是可以识别利用组的识别信息，就包含在本发明中。

如上所述，根据本实施例的通信方法，对于确定者和不确定者，可以按各自的区域的公开状态来发送图像。

因此，在为了保密而希望对确定者进行非公开的情况下，用户可以进行非公开，而在仅希望对确定者公开的情况下，可以进行公开，可进行用户使用非常方便的考虑了保密的通信方法。

如上所述，根据本发明，在各种状况下，可确保保密并同时进行图像的通信。

Claims (22)

1.一种图像的通信方法，使一张以上的图像构成的图像序列和所述图像序列的至少一张图像相关联，并且进行与图像的公开或非公开有关的控制信息的通信，其中：

该控制信息与包含图像内的被摄体的一部分或全部的关注区域和非关注区域的某一个或双方相关联，该控制信息包含是否公开相关联的区域的信息。

2.如权利要求1所述的使用图像的通信方法，其中，对于根据控制信息进行非公开的区域，实施加工，以便不能掌握区域的细节。

3.如权利要求1或2所述的使用图像的通信方法，其中，图像序列是编码的活动图像。

4.如权利要求2所述的使用图像的通信方法，其中，所述加工是使进行非公开的区域的图像质量变为图像质量低的图像处理。

5.如权利要求4所述的使用图像的通信方法，其中，所述加工是将进行非公开的区域的解像度变换成低解像度的处理。

6.如权利要求4所述的使用图像的通信方法，其中，所述加工是除去进行非公开的区域或通过二进制处理的表现变换处理。

7.如权利要求2所述的使用图像的通信方法，其中，所述加工是对进行非公开的区域进行加密的处理。

8.如权利要求4所述的使用图像的通信方法，其中，图像是编码的活动图像，所述加工是在进行编码时控制进行公开及非公开的区域的编码参数的处理。

9.如权利要求1所述的使用图像的通信方法，其中，关注区域是肤色区域。

10.如权利要求1所述的使用图像的通信方法，其中，关注区域是包含脸部和头部的一部分或全部的区域。

11.如权利要求1所述的使用图像的通信方法，其中，进行非公开的区域是包含脸部和头部的一部分或全部的区域，所述加工是重叠目标的处理，以便覆盖进行非公开的区域的一部分或全部区域。

12.一种使用图像的通信方法，使一张以上的图像构成的图像序列和所述图像序列的至少一张图像相关联，并且进行与图像的公开或非公开有关的控制信息的通信，其中：

所述控制信息除了不确定的用户以外，还包含对确定的用户的有关公开和非公开的信息。

13.如权利要求12所述的使用图像的通信方法，其中，对确定的用户的有关公开和非公开的信息至少由在与利用图像序列的用户有关的信息、利用组信息、所述机关信息、包含电子地址的地址信息、终端识别信息、存取图像的自主体信息中的一种或两种以上的组合来构成。

14.如权利要求12所述的使用图像的通信方法，其中，对确定的用户的有关公开和非公开的信息包含对非公开区域加密的密钥本体、对所述密钥本体加密的信息、与对非公开区域加密的密钥有关的证明书信息或对所述证明书加密的信息中的其中一个信息。

15.如权利要求1所述的使用图像的通信方法，其中，在与确定图像的用户进行通信的情况下，根据与该确定的用户有关的公开和非公开的控制信息，来控制相关联的区域的公开。

16.如权利要求1所述的使用图像的通信方法，其中，控制信息是用与图像序列的至少一张图像相关联的元数据形式描述的数据。

17.如权利要求16所述的使用图像的通信方法，其中，将元数据以标准化的格式来描述。

18.如权利要求17所述的使用图像的通信方法，其中，标准化的格式是MPEG-7格式。

19.一种通信装置，包括：

通信单元，通过通信路径，与对方的通信装置进行数据通信；

记录单元，记录由一张以上的图像构成的图像序列；

输入单元，对于构成图像的一部分或全部的确定的区域，输入表示是否向对方公开的公开控制信息；以及

发送数据处理单元，根据公开控制信息，形成实施加工后的发送数据，使得对方不能掌握图像中进行非公开的区域的细节，使用所述通信单元将该发送数据发送到对方的通信装置。

20.如权利要求19所述的通信装置，其中，所述公开控制信息仅由对不确定者的公开控制信息构成。

21.如权利要求20所述的通信装置，其中，所述公开控制信息包含对确定者的公开控制信息。

22.如权利要求19所述的通信装置，其中，所述公开控制信息作为基于MPEG-7格式的元数据来描述。

Images