CN111034153A - 通信系统，分散处理系统，分布式处理方法和记录介质 - Google Patents

Abstract

一种通信系统，包括：图像获取终端，用于获取捕获的图像，该捕获的图像包括至少一个由成像单元拍摄的物体；分散数据处理终端以显示所捕获的图像；集中数据处理服务器，通过网络与分散数据处理终端连接。上述图像获取终端包括：物体检测器，用于检测捕获图像中的物体，以生成一个具有检测到物体的捕获的图像一部分的局部图像；以及第一发送器，将局部图像作为要验证的数据发送到分散数据处理终端。该分散数据处理终端包括：第二发送器，用于将从图像获取终端接收的要验证的数据以及已注册的验证数据分别发送到集中数据处理服务器，该验证数据是一个表示特定物体的图像。上述集中数据处理服务器包括：验证单元，使用从分散数据处理终端接收的验证数据来验证要验证的数据，以生成验证结果；以及第三发送器，将验证结果发送给分散数据处理终端，以使分散数据处理终端根据验证结果和捕获的图像显示信息。

Description

通信系统，分散处理系统，分布式处理方法和记录介质

技术领域

本发明涉及通信系统，分散处理系统，分布式处理方法和记录介质。

背景技术

近期，物联网(IoT)引起了人们的关注。例如，使用云计算技术的大规模通信系统已成为可能。在这种通信系统中，图像获取终端获取图像数据，并且经由因特网将图像数据发送到服务器以请求处理以分析图像数据。例如，专利文献1公开了一种云服务平台，用于在服务器执行识别人脸的处理。具体来说，在图像获取终端(边缘节点)处具有一个照相机。图像获取终端将在相机处捕获的图像数据发送到中央服务器(面部识别应用服务器)，以请求执行对所捕获的图像中的人脸的识别处理。

引文列表

专利文献

【专利文献1】PCT国际申请公开号JP-T-2016-519812的日文译文

发明内容

技术问题

然而，由于网络上的负载增加，专利文献1中描述的系统可能遭受一定响应延迟。例如，如果图像获取终端将图像数据连续地发送到服务器，则大量数据将在短时间内在因特网上流动，从而导致网络负载的增加。此外，要在服务器上执行的验证处理需要从正在接收的图像数据中提取特征值。这可能增加服务器上的负载，从而导致向图像获取终端发送验证结果的延迟。

解决问题的方案

鉴于以上内容，本发明的示例实施例包括一种通信系统，该通信系统包括：图像获取终端，用于获取捕获的图像，该捕获的图像包括至少一个被成像单元捕获的物体；以及分散数据处理终端以显示捕获的图像；集中数据处理服务器，通过网络与分散数据处理终端连接。上述图像获取终端包括：物体检测器，用于检测捕获图像中的物体，以生成一个局部图像，该局部图像是具有检测到物体的所捕获图像的一部分；以及第一发送器，将该局部图像作为要验证的数据发送到分散数据处理终端。上述分散数据处理终端包括：第二发送器，用于将从图像获取终端接收的要验证的数据以及已注验证数据分别发送到集中数据处理服务器，该验证数据是一个代表特定物体的图像。上述集中数据处理服务器包括：验证单元，使用从分散数据处理终端接收的验证数据来验证要验证的数据，以生成验证结果；以及第三发送器，将验证结果发送给分散数据处理终端，以使分散数据处理终端根据验证结果和捕获的图像显示信息。

本发明的示例实施例包括一种分散处理系统，其包括上述图像获取终端和分散数据处理终端。

本发明的示例实施例包括一种由分散处理系统执行的分布式处理方法，以及使一个或多个处理器执行分布式处理方法的控制程序。

本发明的效果

如本公开中所述，根据本发明的一个或多个实施例，提供了一种存储在记录介质中的装置，系统，方法和程序，其可以抑制网络上的负载的增加，从而降低从服务器传输验证结果的延迟。

附图说明

附图旨在描绘本发明的示例实施例，并且不应被解释为限制其范围。除非明确指出，否则附图不应视为按比例绘制。同样，在几个视图中，相同或相似的附图标记表示相同或相似的组件。

图1是示出根据实施例的通信系统的示意图。

图2是示出根据实施例的实时数据处理终端的硬件配置的示意图。

图3A和3B(图3)是各自示出根据实施例的成像单元的硬件配置的示意图。

图4A和图4B是示出分别由图3B的成像单元捕获的半球形图像(前侧)和半球形图像(后侧)的视图，并且图4C是示出从图4A和4B所示的图像生成的等角投影中的图像的视图。

图5是示出根据实施例的终端数据处理设备和分散数据处理终端中的每一个的硬件配置的示意图。

图6是示出根据实施例的集中数据处理服务器的硬件配置的示意图。

图7是示出根据实施例的实时数据处理终端和终端数据处理设备的软件配置的示意图。

图8是示出根据实施例的第一至第四示例的图1的通信系统的功能配置的示意框图。

图9A是示出根据实施例的元件编号管理表的示例的概念图，并且图9B是示出验证数据管理表的示例的概念图。

图10是示出根据实施例的第一示例的，由图1的通信系统执行的处理图像识别开始请求的操作的序列图。

图11是示出根据实施例的第一示例的，由图1的通信系统执行的图像识别的处理的序列图。

图12是示出根据实施例的第一示例的在实时处理中执行的物体检测处理的示例的流程图。

图13是示出根据实施例的第一示例的在实时处理中执行的事件生成处理的示例的流程图。

图14A和图14B(图14)分别是根据实施例的在分散数据处理终端处显示的示例捕获图像的图示。

图15是示出根据实施例的第一示例的验证处理的示例的序列图。

图16A是根据实施例，在分散数据处理终端上显示的用于选择验证数据的示例文件选择屏幕的示图，并且图16B是根据显示的在分散数据处理终端上显示的用于注册验证数据的示例注册屏幕的示图。

图17是根据实施例的在显示在分散数据处理终端处的具有验证结果消息的示例屏幕的图示。

图18是示出根据实施例的第二示例的以上参考图15描述的验证处理的修改示例的序列图。

图19是示出根据实施例的第三示例的其中设置有图像获取终端的特定房间的示例布局的图。

图20是示出根据实施例的第三示例的，在实时处理中执行的以上参考图13描述的事件生成处理的修改示例的流程图。

图21是示出根据实施例的第三示例的以上参考图15描述的验证处理的修改示例的序列图。

图22是示出根据实施例的第四示例的处理以上参考图10描述的图像识别开始请求的修改示例的序列图。

图23是示出根据实施例的第四示例的以上参考图13描述的事件生成处理的修改示例的流程图。

图24是示出根据实施例的第五示例的图1的通信系统的功能配置的图。

图25是示出特征值管理表的示例的概念图。

图26是示出根据实施例的第五示例的以上参考图15描述的验证处理的修改示例的序列图。

图27是示出根据实施例的第五示例的以上参考图15描述的验证处理的修改示例的序列图。

图28是示出根据另一实施例的通信系统的配置的示意图。

图29是示出根据另一实施例的实现为视频会议终端的分散数据处理终端的硬件配置的示意图。

图30是示出根据另一实施例的图28的通信系统中的分散处理系统的功能配置的示意框图。

图31是示出根据另一实施例的图28的通信系统中的分散处理系统的功能配置的示意框图。

图32是示出根据另一实施例的在图28的通信系统中的集中数据处理服务器，通信管理服务器和中继设备的功能配置的示意框图。

图33A是示出根据实施例的终端和设备管理表的示例的概念图。图33B是示出根据实施例的对话管理表的示例的概念图。

图34是示出根据另一实施例的由图28的通信系统执行的处理图像识别开始请求的操作的序列图。

图35是在通信期间显示在分散数据处理终端上的示例视频会议屏幕的图示。

图36是用于在每个站点上提供详细信息的示例详细站点屏幕的图示，该屏幕显示在分散数据处理终端上。

图37是示出根据另一实施例的由图28的通信系统执行的图像识别处理的示例的序列图。

图38是示出根据另一实施例的在实时处理中执行的事件生成处理的示例的流程图。

图39是示出根据另一实施例的验证处理的示例的序列图。

图40是示出根据另一实施例的显示验证结果的处理的序列图。

图41是示例详细站点屏幕的图示，该示例详细站点屏幕用于在显示视频会议中的参与者的姓名之后在分散数据处理终端上显示每个站点的详细信息。

具体实施方式

总览

参考附图，描述了本发明的一个或多个实施例。

本文所使用的术语仅出于描述特定实施例的目的，并不旨在限制本发明。如本文所用，单数形式“一”，“一个”和“该”也意图包括复数形式，除非上下文另外明确指出。

在描述附图中示出的实施例时，为了清楚起见采用特定术语。然而，本说明书的公开内容不旨在限于如此选择的特定术语，并且应当理解，每个特定元件包括具有相似功能，以相似方式操作并且获得相似结果的所有技术等同物。

<<系统配置>>

图1是示出根据实施例的通信系统1的配置的示意图。如在示出的图1，本实施方式的通信系统1包括一个实时数据处理终端3，终端数据处理装置5，分散数据处理终端6，和一个数据集中处理服务器7.实时数据处理终端3，终端数据处理设备5和分散数据处理终端6一起用作分散处理系统100。

实时数据处理终端3是实时捕获图像以获得实时捕获图像数据的终端。实时捕获图像的该处理可以被称为实时处理。实时数据处理终端3可拆卸地连接到设置有图像传感器的成像单元40，该图像传感器捕获目标的图像，例如互补金属氧化物半导体(CMOS)传感器或电荷耦合器件(CCD)传感器。实时数据处理终端3将从成像单元40输入的捕获图像数字化为捕获图像数据，并且实时检测捕获图像中的特定物体(这里是人脸的图像)。(例如，每1/60秒)。实时数据处理终端3将具有检测到的物体的捕获的图像的局部图像的数据(“局部图像数据”)发送到终端数据处理装置5。

靠近实时数据处理终端3的终端数据处理设备5例如通过数据总线、通用串行总线(USB)等，总线以一一对应的方式连接到实时数据处理终端3。终端数据处理装置5将从实时数据处理终端3接收的局部图像数据编码为诸如联合图像专家组(JPEG)之类的通用格式的编码的局部图像数据。终端数据处理设备5还通过因特网200将编码的局部图像数据发送到分散数据处理终端6，作为在面部图像验证的处理中要验证的数据。实时数据处理终端3和终端数据处理设备5彼此连接，以一起用作图像获取终端2。

分散数据处理终端6是接受来自用户的各种操作的计算机，并且相对于集中数据处理服务器7相对于分散数据处理终端6的位置而言，设置在相对于终端数据处理设备5相对较近的位置。分散数据处理终端6预先注册用于面部图像验证的验证数据。分散数据处理终端6经由因特网600发送请求，以请求集中数据处理服务器7使用验证数据来验证要验证的数据。在这种情况下，分散数据处理终端6还将从终端数据处理设备5接收的要验证的数据和预先已注验证数据发送到集中数据处理服务器7。作为响应，分散数据处理终端6从集中数据处理服务器7接收指示验证结果的验证结果信息。此外，分散数据处理终端6通过图形界面显示接收到的验证结果。

集中数据处理服务器7设置在距离终端数据处理设备5相对较远的位置。集中数据处理服务器7经由诸如因特网600的通信网络与分散数据处理终端6进行通信。在验证请求，验证数据和要验证的数据之后，集中数据处理服务器7在验证数据和要验证的数据之间进行比较以确定相似度。集中数据处理服务器7将指示包括所确定的相似性的验证结果的验证结果信息发送到分散数据处理终端6。

<<硬件配置>>

现在参考图2至图6，根据实施例描述通信系统1的硬件配置。

<实时数据处理终端的硬件配置>

图2是示出根据实施例的实时数据处理终端3的硬件配置的示意图。实时数据处理终端3包括CPU301，ROM302，RAM303，EEPROM304，CMOS传感器(CMOS)305，加速度/方位传感器306，介质I/F308和GPS接收器309。

CPU301控制实时数据处理终端3的整个操作。ROM302存储用于操作CPU301的控制程序。RAM303用作CPU301的工作区。EEPROM304读取或写入各种内容。诸如实时数据处理终端的控制程序之类的数据在CPU301的控制下。在CPU301的控制下，CMOS传感器305将目标(主要是成像单元40的盲点)的图像捕获到获取图像数据。加速度和方向传感器306包括各种传感器，例如用于检测地磁的电磁罗盘，陀螺罗盘和加速度传感器。介质I/F308控制相对于诸如闪存之类的记录介质307的数据读取或写入。GPS接收器309从GPS卫星接收GPS信号。

实时数据处理终端3还包括成像单元I/F313，麦克风314，扬声器315，音频输入/输出I/F316，显示器317，外部设备连接I/F318以及触摸面板321。

成像单元I/F313是当外部成像单元40连接到实时数据处理终端3时控制成像单元40的驱动的电路。麦克风314是能够内置音频收集装置的示例。音频I/OI/F316是用于在CPU301的控制下在麦克风314和扬声器315之间输入或输出音频信号的电路。显示器317可以是液体。晶体或有机电致发光(EL)显示器，用于显示目标的图像，操作图标等。外部设备连接I/F318是将实时数据处理终端3连接到各种外部设备的接口电路。触摸面板321是输入设备的示例，该输入设备使用户能够通过触摸显示器317的屏幕将用户指令输入到实时数据处理终端3。

实时数据处理终端3还包括总线310。总线310是地址总线或数据总线，其电连接图2中的元件，例如CPU301。

<成像单元的硬件配置>

图3A和图3B分别是示出根据实施例的成像单元40的硬件配置的示意性框图。具体地，图3A示出作为成像单元40的示例的单眼成像单元40a的硬件配置。图3B示出作为成像单元40的示例的复眼成像单元40b的硬件配置。40是具有不同数量的成像元件的多种类型的成像单元(成像单元40a，40b等)的通用术语。

如在示出的图3A所示，成像单元40a包括诸如CMOS或CCD的成像元件401A，透镜402A，以及用于与实时数据处理终端3的成像单元I/F313电连接的连接I/F408a。当成像单元40a连接到实时数据处理终端3的成像单元I/F313时，成像元件401a根据从成像单元I/F313通过连接I/F408a发送的成像控制信号来捕获图像。因此，图3A所示的成像单元40a获得平面图像。

如在示出的图3B所示，成像单元40b包括可以是CMOS或CCD的成像元件401b1和401b2，透镜402b1和402b2，以及用于与实时数据处理终端3的成像单元I/F313电连接的连接I/F408b。镜头402b1和402b2是例如鱼眼镜头。当成像单元40b连接到实时数据处理终端3的成像单元I/F313时，成像元件401b1和401b2中的每一个根据从成像单元I/F313经由连接I/F408b发送的成像控制信号来捕获图像。并且将捕获的图像发送到成像单元I/F313。因此，多个图像作为捕获的图像数据被发送。因此，图3B所示的成像单元40b获得球面图像(spherical image)，其可以被称为等距柱形投影图像(equirectangular projectionimage)，如下所述。

接下来，参考图4A至图4C，给出从成像单元40b捕获的图像生成等距柱形投影图像EC的操作的概述。图4A是示出由成像单元40b捕获的半球图像(前侧)的视图。图4B是示出由成像单元40b捕获的半球图像(背面)的图。图4C是示出等距柱形投影中的图像的视图，其被称为“等距柱形投影图像”(或等距圆柱投影图像)EC。

如在示出的图4A所示，由成像元件401b1捕获的图像是通过透镜402b1拍摄的弯曲半球形图像(前侧)。类似地，如图4B所示，成像元件401b2捕获的图像是通过镜头402b2拍摄的弯曲半球形图像(背面)。彼此反向180度的半球图像(前侧)和半球图像(后侧)由实时数据处理终端3组合。在图4C中表示所生成的等距柱形投影图像EC。

<终端数据处理设备和分散数据处理终端的硬件配置>

图5是示出根据实施例的终端数据处理设备5和分散数据处理终端6中的每一个的硬件配置的示意图。由于终端数据处理设备5和分散数据处理终端6在硬件配置上基本相同，因此以下描述终端数据处理设备5的示例情况，同时省略对分散数据处理终端6的描述。

如在示出的图5中，终端数据处理装置5包括：CPU501，ROM502，RAM503，EEPROM504，CMOS传感器505，加速度和方位传感器506，介质I/F508和GPS接收器509。

CPU501控制终端数据处理设备5的整个操作。ROM502存储用于控制CPU501的控制程序。RAM503用作CPU501的工作区域。EEPROM504读取或写入诸如作为在CPU501的控制下用于终端数据处理设备的控制程序。CMOS传感器505在CPU501的控制下捕获物体(例如，操作终端数据处理设备5的用户的自身图像)，以便获取捕获的图像数据。加速度和方向传感器506包括各种传感器，例如用于检测地磁的电磁罗盘，陀螺罗盘和加速度传感器。介质I/F508控制相对于诸如闪存的记录介质507的数据的读取或写入。GPS接收器509从GPS卫星接收GPS信号。

终端数据处理设备5还包括远距离通信电路511，用于远距离通信电路511的天线511a，照相机512，成像元件I/F513，麦克风514，扬声器515，音频输入/输出I/F516，显示器517，外部设备连接I/F518，近距离通信电路519，用于近距离通信电路519的天线519a和触摸面板521。

远距离通信电路511是通过因特网200与另一设备通信的电路。相机512是能够在CPU501的控制下捕获目标的内置成像设备的示例。成像元件1/F513是控制照相机512的驱动的电路。麦克风514是能够在CPU501的控制下输入音频的内置音频收集装置的示例。音频输入/输出I/F516是用于输入或输出音频的电路。在CPU501的控制下在麦克风514和扬声器515之间输出音频信号。显示器517可以是显示被摄体图像，操作图标等的液晶或有机电致发光(EL)显示器。外部设备连接I/F518是将终端数据处理设备5连接到各种外部设备的接口电路。近距离通信电路519是根据近场无线通信(NFC)(注册商标)，蓝牙(注册商标)等进行通信的通信电路。触摸面板521是输入设备的示例，其使用户能够通过触摸显示器517的屏幕来输入用于操作终端数据处理设备5的用户指令。

终端数据处理设备5还包括总线510。总线510可以是地址总线或数据总线，其电连接各种元件，例如图5的CPU501。

<集中数据处理服务器的硬件配置>

图6是示出根据实施例的集中数据处理服务器7的硬件配置的示意图。参照图6，由通用计算机实现的集中数据处理服务器7包括CPU701，ROM702，RAM703，硬盘(HD)704，硬盘驱动器(HDD)705，介质I/F707，显示器708，网络I/F709，键盘711，鼠标712，CD-RW驱动器714和总线710。由于集中数据处理服务器7起着作为服务器的功能，因此，可以不设置诸如键盘711和鼠标712之类的输入设备及诸如显示器708之类的输出设备。

CPU701控制集中数据处理服务器7的整个操作。ROM702存储用于控制CPU701的控制程序。RAM703用作CPU701的工作区域。HD704存储各种数据，例如程序。HDD705在CPU701的控制下控制向HD704读取或向HD704写入各种数据。介质I/F707控制相对于诸如闪存之类的记录介质706的数据读取或写入。显示器708显示各种信息，例如光标，菜单，窗口，字符或图像。网络I/F709是控制通过因特网600与外部设备的数据通信的接口。键盘711是具有多个键的输入设备的一个示例，该多个键用于允许用户输入字符，数字或各种键。鼠标712是用于允许用户选择特定指令或执行，选择处理目标或移动所显示的光标的输入设备的一个示例。CD-RW驱动器714控制相对于作为可移动记录介质的一例的可重写光盘(CD-RW)713读取各种数据等。

集中数据处理服务器7进一步包括总线710。总线710是地址总线或数据总线，其电连接图6中的元件(例如CPU701)。

<<软件配置>>

图7是示出根据实施例的实时数据处理终端3和终端数据处理设备5的软件配置的示意图，它们一起用作图像获取终端2。

如在示出的图7中，实时数据处理终端3包括OS300，以及图像识别应用AP1。图像识别应用AP1被部署在诸如实时数据处理终端3的RAM303的工作区域中。OS300是通过提供基本功能来控制实时数据处理终端3的整个操作的基本软件。图像识别应用程序AP1是用于从捕获的图像中识别人，动物等的面部的应用程序。

终端数据处理设备5包括OS500和通信应用AP2。通信应用AP2被部署在诸如终端数据处理设备5的RAM503的工作区域中。OS500是通过提供基本功能来控制终端数据处理设备5的整个操作的基本软件。通信应用程序AP2是用于与诸如分散数据处理终端6的另一终端(设备)进行通信的应用程序。

在图像获取终端2中，在实时数据处理终端3执行图像识别的同时，终端数据处理设备5经由因特网200与分散数据处理终端6通信，以执行分布式处理以将局部图像数据作为数据发送。进行验证，或收到验证结果。

OS300和OS500可以是相同版本或相同类型(即，具有不同版本)的操作系统。备选地，OS300和OS500可以是不同的操作系统或不同版本的操作系统。

可替代地，OS300和OS500可以由一个OS实现，在其上图像识别应用AP1和通信应用AP2在同一OS上执行。

在OS300和OS500由一个OS实现的情况下，在一个示例中，实时数据处理终端3和终端数据处理设备5可以用于一个设备，被称为图像获取终端2，通过共享相同的硬件。

在另一示例中，实时数据处理终端3和终端数据处理设备5之一被提供有OS，以在实时数据处理终端3和终端数据处理设备5之间共享。终端数据处理设备5具有OS，例如，通过终端数据处理设备5与实时数据处理终端3之间的通信，与不具有OS的实时数据处理终端3共享OS。

即使当实时数据处理终端3和终端数据处理设备5用于一个设备或在一个OS下操作时，实时数据处理和数据的传输也使用不同的应用来执行，即如上所述使用图像识别应用程序AP1和通信应用程序AP2。因此，可以同时执行实时数据处理和数据传输，从而提高了处理的整体效率。

此外，即使在实时数据处理终端3和终端数据处理设备5用于一个设备的情况下，也可以提供两个操作系统，在两个操作系统上执行图像识别应用程序AP1和通信应用程序AP2。换句话说，图像获取终端2的配置有多种类型。

此外，实时数据处理终端3和终端数据处理设备5不仅OS，而且也可以安装有在实时数据处理终端3和终端数据处理设备5之间不同的驱动器、软件开发套件(SDK)、或应用程序接口(API)。

第一示例

参照图8至图17，根据实施例的第一示例描述了通信系统1的功能配置以及将由通信系统1执行的操作。

<<功能配置>>

首先，参考图8和图9，根据实施例描述了通信系统1中的终端，装置和服务器的功能配置。图8是示出根据第一示例以及下面描述的第二示例至第四示例的通信系统1的功能配置的示意框图。在图8中，示出了分散数据处理终端6a作为图1中的分散数据处理终端6的示例。此外，在图8中，示出了集中数据处理服务器7a作为图1所示的集中数据处理服务器7的示例。

<实时数据处理终端的功能配置>

参照图8，实时数据处理终端3包括确定器33，图像处理单元34，物体检测器35，事件生成器36，显示控制器37，连接单元38，存储和读取单元39。这些单元是根据从EEPROM304展开到RAM303的控制程序，结合CPU301的指令，通过操作图2所示的任何硬件组件来实现的功能，或通过使这些功能实现的手段。

实时数据处理终端3还包括由图2所示的ROM302，RAM303和/或EEPROM304实现的存储单元3000。存储单元3000在其中存储形状模型数据。存储单元3000还包括成像元件编号管理DB3001。成像元件编号管理DB3001由下面描述的成像元件编号管理表实现。

(成像元件编号管理表)

图9A是示出根据实施例的成像元件编号管理表的概念图。成像元件编号管理表针对每一个或多个成像单元40彼此关联地存储成像单元40的产品编号(诸如序列号)和成像单元40中包括的成像元件的数量。产品编号是一个类型信息的示例，该类型信息指示由成像元件的数量差异确定的成像单元40的类型。

(实时数据处理终端的功能配置)

参考图8，根据实施例描述实时数据处理终端3的功能配置。

由CPU301的指令实现的确定器33执行各种确定。例如，确定器33参考成像元件编号管理DB3001来确定成像单元40的具有从成像单元40发送的产品编号的成像元件的数量。

由CPU301的指令实现的图像处理单元34获得从图像捕获单元40发送的捕获图像作为实时数字图像数据(例如，以/60秒的间隔)。图像处理单元34根据确定器33的确定来执行图像处理。

由CPU301的指令实现的物体检测器35在由图像处理单元34获取的捕获图像数据中检测特征点，作为诸如人脸之类的特定物体的候选。35是表示用于检测捕获的图像中的特定物体的坐标的特定物体(例如人脸)的形状模型的形状模型数据。

由CPU301的指令实现的事件生成器36生成指示检测到特定物体的检测数据(事件数据)，从而由物体检测器35指定特定物体的坐标。

由CPU301的指令实现的显示控制器37控制显示器317显示各种屏幕。

由成像单元I/F313和CPU301的指令实现的连接单元38是用于将成像单元40机械地和电气地连接到实时数据处理终端3的接口。

由CPU301的指令实现的存储和读取单元39将各种数据或信息存储在存储单元3000中，或者从存储单元3000中读出各种数据或信息。

可以通过CPU301和外部设备连接I/F318的指令来实现的通信单元48向终端数据处理设备5的通信单元58发送或从终端数据处理设备5的通信单元58接收各种数据(或信息)。通信单元48和通信单元58之间的一对一通信可以经由有线网络或无线网络来执行。

<终端数据处理装置的功能结构>

如在示出的图8所示，终端数据处理装置5包括一个发射器和接收器51，数据检测器56，显示控制部57，通信单元58，以及存储及读取部59，这些单元是由图5中所示的任何元件根据从EEPROM504扩展到RAM503的控制程序，基于CPU501的指令而实现的功能或手段。

终端数据处理设备5还包括存储单元5000，其由图5所示的ROM502，RAM503和EEPROM504实现。

(终端数据处理设备的功能配置)

参考图8，根据第一示例描述终端数据处理设备5的功能配置。

由远距离通信电路511、天线511a、和CPU501的指令实现的终端数据处理设备5的发送器和接收器51经由通信网络(在此，为因特网200)，与分散数据处理终端6a之间，发送或接收各种数据(或信息)。

由CPU501的指令实现的数据检测器56检测是否发生了触发从实时数据处理终端3接收数据的事件，以及数据接收是否完成。

由CPU501的指令实现的显示控制器57控制显示器517显示各种屏幕。

可以通过CPU501和外部设备连接I/F518的指令来实现的通信单元58，向实时数据处理终端3的通信单元48发送或从实时数据处理终端3的通信单元48接收各种数据(或信息)。通信单元58与通信单元48之间的一对一通信可以经由有线网络或无线网络来执行。

由CPU501的指令实现的存储和读取单元59将各种数据或信息存储在存储单元5000中，或者从存储单元5000中读出各种数据或信息。

<分散数据处理终端的功能配置>

如在示出的图8中，分散数据处理终端6a具有一个发射器和接收器61，接受单元62，确定器63，显示控制67，以及存储及读取部69，这些单元是由图5中所示的任何元件在分散数据处理终端6a中根据从EEPROM504扩展到RAM503的控制程序，基于CPU501的指令而实现的功能或手段。

分散数据处理终端6a还包括存储单元6000，其由图5所示的ROM502，RAM503和EEPROM504实现。存储单元6000存储验证数据。存储单元6000还存储验证数据管理DB6001。验证数据管理DB6001由验证数据管理表实现，这将在下面描述。验证数据可以存储在除分散数据处理终端6a之外的任何数据管理服务器的存储器中。

(验证数据管理表)

图9B是示出根据实施例的验证数据管理表的概念图。验证数据管理表针对多个要验证的人中的每一个存储图像文件(例如面部图像)的文件名作为验证数据和用面部图像识别的人的名称。

(分散数据处理终端的功能配置)

由远程通信电路511、天线511a、和CPU501的指令实现的分散数据处理终端6a的发送器和接收器61经由通信网络(在此，为因特网600)，与集中数据处理服务器7a发送或接收各种数据(或信息)。例如，发送器和接收器61将用于使用验证数据(verification data)来验证要验证的数据(被验证数据，target data to be verified)的验证请求发送到集中数据处理服务器7a，或者对从集中数据处理服务器7a发送的验证结果进行处理。

接受单元62由分散数据处理终端6的触摸面板521实现，该分散数据处理终端6在CPU501的控制下操作，以接收来自用户的各种选择或输入。

由分散数据处理终端6a的CPU501的指令实现的确定器63执行各种确定。

由分散数据处理终端6a的CPU501的指令实现的显示控制器67控制显示器517显示各种屏幕。

由分散数据处理终端6a的CPU501的指令实现的存储和读取单元69将各种数据或信息存储在存储单元6000中，或者从存储单元6000中读出各种数据或信息。存储和读取单元69根据在接受单元62处接收到的注册请求，将验证数据(在这种情况下，面部图像数据)存储在存储单元6000中。

<集中数据处理服务器的功能配置>

如在示出的图8中，数据集中处理服务器7a包括发送器和接收器71，接受单元72，特征值生成器74，验证单元75，显示控制器77，以及存储及读取部79，这些单元是由图6中所示的任何元件根据从HD704扩展到RAM703的控制程序，基于CPU701的指令而实现的功能或手段。

集中数据处理服务器7a还包括由图6所示的ROM702，RAM703和HD704实现的存储单元7000。存储单元7000存储要用于验证的特征值数据，该特征值数据将被存储在存储单元7000中，如下面所描述。

(集中数据处理服务器的功能配置)

由网络I/F709和CPU701的指令实现的集中数据处理服务器7a的发送器和接收器71经由通信网络(在此，为因特网600)，与分散数据处理终端6a发送或接收各种数据(或信息)。例如，发送器和接收器71从分散数据处理终端6a接收用于使用验证数据来验证要验证的数据的验证请求，或者将验证结果发送到分散数据处理终端6a。

接受单元72由在CPU701的控制下操作的键盘711或鼠标712实现，以接收来自用户的各种选择或输入。

由CPU701的指令实现的特征值生成器74从在发送器和接收器71处接收的要验证的数据(局部图像数据)和验证数据中生成特征值的参数。

由CPU701的指令实现的验证单元75使用在特征值生成器74处获得的特征值，将验证数据与要验证的数据之间的特征值进行比较，以计算分数(以分为单位)表示特征值的相似性。由CPU701的指令实现的显示控制器77控制显示器708以显示各种屏幕。

由CPU701的指令实现的存储和读取单元79将各种数据或信息存储在存储单元7000中，或者从存储单元7000中读出各种数据或信息。

《运作》

参照图10至图19，根据实施例的第一示例描述由通信系统1执行的捕获图像并显示图像的操作。图10是示出根据实施例的第一示例的、由通信系统1执行的处理图像识别开始请求的操作的序列图。

如在示出的图10所示，在分散数据处理终端6a中，所述接受单元62接受来自用户的开始图像识别的请求(S1-1)。在该示例中，分散数据处理终端6a使用GUI(图形用户界面)向用户显示屏幕，该GUI允许用户输入指令。换句话说，分散数据处理终端6a为实时数据处理终端3提供用户界面。

响应于用户指令，分散数据处理终端6a的发送器和接收器61向终端数据处理设备5发送开始图像识别的请求(S2-1)。终端数据处理设备5的发送器和接收器51接收图像识别开始请求。

终端数据处理设备5的通信单元58将图像识别开始请求发送到实时数据处理终端3(S3-1)。实时数据处理终端3的通信单元48接收图像识别开始请求。

由于用户界面与实时数据处理终端3是分开的，因此可以从为实时数据处理终端3提供用户界面的分散数据处理终端6a对实时数据处理终端3进行远程控制。

接下来，参考图11，根据实施例的第一示例描述图像识别处理。图11是示出根据实施例的第一示例的、由通信系统1执行的图像识别处理的示例的序列图。实时数据处理终端3执行实时处理(S11)。以下，参照图12和图13描述实时处理。图12是示出在实时处理中执行的物体检测处理的示例的流程图。

首先，确定器33确定连接到实时数据处理终端3的成像单元40中的成像元件的数量是否为一个(S101)。更具体地，存储和读取单元39使用在连接单元38处从成像单元40获取的成像单元40的产品编号作为搜索关键字来搜索成像元件编号管理DB3001，读取与获取的产品编号关联的成像元件的数量。因此，确定器33确定成像单元40的成像元件的数量。

如果成像元件的数量是一个(S101：是)，则图像处理单元34将定义重复实时处理的时间间隔的循环时间设置为1/60秒(S102)。接下来，连接单元38从具有一个成像系统的成像单元40(在此为成像单元40a)获取捕获的图像数据(S103)。捕获的图像数据是数字图像数据，并且是例如4K图像的数据(3840图像像素宽度×2160图像像素高度)。

接下来，物体检测器35在捕获的图像数据中搜索作为特定物体的候选的特征点以检测特定物体(S104)。具体地，物体检测器35从捕获图像的边缘开始一个接一个地拾取矩形截面，以搜索与先前存储在存储单元3000中的物体的形状模型数据匹配的特征点，并且指定与形状模型数据匹配的特征点的位置(坐标)。

可以使用任何期望的已知方法来执行S104的处理，例如，如Hitoshi IMAOKA等人所描述的方法等，“面部识别技术及其应用：支持公共安全的基本技术和解决方案的功能”，生物识别，NEC技术期刊，第63卷，第3号，第26-30页，09/2010。

另一方面，当成像元件的数量不为一个时(S101；否)，图像处理单元34将用于重复实时处理的循环时间设置为1/30秒(S105)。将循环时间设置为1/30秒，该时间比一次输入所需的时间长，因此防止了后述的图像合成处理的延迟。

接下来，连接单元38从具有两个成像系统的成像单元40(成像单元40b)获取两项捕获图像数据(S106)。所捕获的图像数据的两项分别是如图4A和图4B所示的半球图像的数据。

然后，图像处理单元34将两项捕获的图像数据组合以创建如图4C所示的等距柱形投影图像EC(S107)。然后操作进行到S104，并且物体检测器35在等距柱形投影图像EC的数据中检测物体的特征点，以检测物体。

由于实时数据处理终端3在实时操作的操作系统的控制下进行操作，因此,S101、S102～S104～S213的重复处理以及S101、S105～S104～S213的重复处理，例如以1/60秒的循环时间高速进行。

如在示出的图11中，实时数据处理终端3的通信单元48向终端数据处理设备5的通信单元58发送捕获图像数据。终端数据处理设备5的发送器和接收器51将在S12接收的捕获图像数据发送到分散数据处理终端6a的发送器和接收器61(S13)。因此，分散数据处理终端6a的显示控制器67使显示器517实时显示如图14A所示的捕获图像(S14)。

图14A和图14B分别是在分散数据处理终端6处显示的示例捕获图像的图示。捕获图像与指示具有被检测物体(在这种情况下，被检测人脸)的矩形的框一起显示。上述S12至S14是数据流(stream data)的处理。

接下来，参考图13，根据第一示例描述了在实时处理中执行的事件生成的处理。图13是示出在实时处理中执行的事件生成处理的示例的流程图。

当在S104中物体检测器35没有检测到物体(在这种情况下，是人脸)时(S211：否)，对于具有一个成像系统的成像单元40，操作返回到S103，而对于具有二个成像系统的成像单元40，则返回到S106。另一方面，当在S104中物体检测器35检测到物体(在这种情况下，是人脸)时(S211：是)，操作进行到S212。

在S212，物体检测器35确定检测到的物体是一个还是多个。当在S104中物体检测器35检测到多个物体(这里是两个或更多个人脸)时(S212：否)，显示控制器37用消息m1显示具有物体的捕获图像，如图14B所示(S213)。该消息m1可以是任何内容，只要它可以触发用户捕获仅包含一个物体(一张人脸)的图像的动作即可。在S213之后，在具有一个成像系统的成像单元40的情况下，操作返回到S103，在具有两个成像系统的成像单元40的情况下，操作返回到S106。

另一方面，当在S104中物体检测器35仅检测到一个物体(这里是人脸)时(S212：是)，显示控制器37显示捕获的图像而没有图14B的消息m1(S214)。例如，当已经针对先前显示的捕获图像显示了消息m1时，显示控制器37停止显示消息m1。

接下来，物体检测器35以诸如JPEG的通用格式对局部图像数据进行编码，该局部图像数据是包括所检测到的人脸的捕获图像的一部分(S215)。事件产生器36产生事件消息，该事件消息通知局部图像数据被发送到终端数据处理设备5(S216)。具体地，事件生成器36生成诸如“发送”的事件消息m2。

然后，图11所示的S11的实时处理结束，如上所述，进行到S12至S14。

通信单元48将在S216生成的事件消息m2和在S104检测到的局部图像数据发送到终端数据处理装置5的通信单元58(S15)。当在S104中检测到多个物体(在这种情况下为人脸)时，在S15中，与一个事件消息m2一起发送多个局部图像数据。当不需要实时检测物体(人脸)时，例如在将分散处理系统100放置在商店等中的示例情况下，实时数据处理终端3可以累积事件消息。每天开店时，m2和局部图像数据在其本地存储器中。在商店关门之后，例如，在夜间，实时数据处理终端3可以将事件消息m2和局部图像数据发送到终端数据处理设备5。

接下来，终端数据处理设备5的数据检测器56检测在通信单元58处是否接收到事件消息m2“发送”(S16)。当接收到事件消息m2时(S16：

是)，通信单元58接收与事件消息m2一起发送的局部图像数据(S17)。存储和读取单元59将局部图像数据临时存储在存储单元5000中(S18)。

接下来，数据检测器56监视局部图像数据以确定局部图像数据的接收是否完成(S19)。重复S19的处理，直到针对所有接收到的事件消息m2接收到全部局部图像数据为止(S19：否)。当局部图像数据的接收完成时(S19：是)，存储和读取单元59读取局部图像数据，每个局部图像数据已经与事件消息m2一起发送并且被临时存储在存储单元5000中(S20)。

发射器和接收器51所发送的局部图像数据的所有项目在S20通过因特网200(S21)读出到所述发射机和所述分散数据处理终端6a的接收器61。因此，分散数据处理终端6a的发送器和接收器61接收局部图像数据的所有项。稍后将局部图像数据用作要使用验证数据进行验证的数据。

接下来，参照图15至图17，根据第一示例，描述使用已注册验证数据对作为局部图像数据的要验证的数据进行验证处理。图15是示出根据实施例的第一示例的验证待验证数据的处理的序列图。图16A是在分散数据处理终端6a上显示的用于选择验证数据的示例文件选择屏幕的图示。图16B是在分散数据处理终端6a上显示的用于注册验证数据的示例注册屏幕的图示。图17是显示在分散数据处理终端6a上的带有验证结果消息m3的示例屏幕的图示。

为了注册验证数据，用户操作分散数据处理终端6a以使显示控制器67显示如图16A所示的文件选择屏幕，以允许选择要注册的验证数据。

当用户在按下“选择文件”按钮b11之后选择要注册的图像(在这种情况下为面部图像)时，接受单元62接受对要注册的图像文件的选择(S111)。

如在示出的图16B中，显示控制器67控制显示器517显示登记画面用于注册所选择的验证数据。图16B所示的注册屏幕包括选择的图像文件(图像和文件名)a21，名称输入字段a22，“注册”按钮b21和“取消”按钮b22。

在确认所选图像文件a21是所需的图像文件(图像和文件名)后，用户在名称输入字段a22中输入要注册为验证数据的图像文件的名称，然后按“注册”按钮b21。例如，用户可以在图像文件中输入特定物体(即，个体)的名称，作为要为所选图像文件注册的名称。

响应于按下“注册”按钮b21，接受单元62接受验证数据的注册，并且存储和读取单元79将选择的图像文件注册为验证数据(S112)。具体地，存储和读取单元69将文件名a21和在名称输入字段a22中输入的名称彼此关联地存储在验证数据管理DB6001中。

当所选择的图像文件a21不是期望的图像文件时，用户按下“取消”按钮b22以使显示器517显示图16A所示的文件选择画面。

如上所述，验证数据直接注册到分散数据处理终端6a，而不是注册到终端数据处理设备5。这充分地减轻了由于终端数据处理设备5与分散数据处理终端6a之间的通信而引起的通信网络的负载。

可以随时执行上述将图像文件注册为要用于验证的验证数据的S111和S112。此外，如下面参考第五示例的情况所描述的，验证数据管理DB6001可以设置在例如与分散数据处理终端6a独立的任何位置，例如，与分散数据处理终端6a独立，但能访问验证数据管理DB6001。

在S21，分散数据处理终端6a的发送器和接收器61接收到局部图像数据之后，存储和读取单元69搜索验证数据管理DB6001以确定是否存在已注册的验证数据(S113)。当确定存在任何验证数据被登记时，发送器和接收器61经由因特网600向集中数据处理服务器7a发送验证请求信息，即验证请求(S114)。验证请求包括验证数据(要验证的目标数据)和要验证的数据。

集中数据处理服务器7a在发送器和接收器71处接收验证请求。具体地，从顶部列出的验证数据顺序地发送图9B所示的验证数据管理表中的一项或多项验证数据。即，首先读取的验证数据和在S21接收到的要验证的数据与验证请求一起发送。作为下一个验证请求，发送下一个读取的验证数据(要验证的目标数据)和下一次在S21接收的验证数据。

接下来，在集中数据处理服务器7a中，特征值生成器74将两个数据(验证数据和要验证的数据)解码为位图数据，并且针对两个数据中的每一个计算特征值的参数(S115)。这样的特征值参数用于使用可以区分的各种类型的信息来识别个人，例如面部图像中检测到的诸如鼻子或眼睛的面部成分的高度或倾斜度。

验证单元75比较验证数据和要验证的数据之间的特征值参数，并计算这些数据之间的相似度(S116)。可以使用任何所需的方法来计算相似度，例如，基于深层神经网络(DNN：Deep Neural Network)的方法，该方法在Takayuki OKATANI的文章中进行了描述：“深度学习和图像识别：基本和最新趋势(<特殊功能>Neuroscience和数学建模)”，运筹学：管理科学60(4)，198-204，2015年4月1日。验证数据的特征值参数是第一特征值参数的示例，并且要验证的数据的特征值参数是第二特征值参数的示例。

接下来，集中数据处理服务器7a的发送器和接收器71经由因特网600将对在S114处接收到的验证请求的响应发送到分散数据处理终端6a的发送器和接收器61(S117)。该响应包括相似度，该相似度在S116处被计算为验证结果。分散数据处理终端6a的发送器和接收器61接收包括验证结果的响应。

接下来，在分散数据处理终端6a中，存储和读取单元69在存储单元6000中临时相关联地存储在S114发送的验证请求中包括的验证数据的“名称”和在S117接收的“相似性”(S118)。对图9B中的验证数据管理表中接下来列出的验证数据执行从S113开始的上述处理。

另一方面，当在S113中确定没有登记验证数据时(包括绝对没有验证数据的情况)，操作进行到S119。所述存储和读取单元69读取被分配给具有相似性的最大程度的验证数据，从所有临时存储在存储部6000(S119)的验证数据的“名称”。

显示控制器67控制分散数据处理终端6a的显示器517，以在如图14A所示的实时捕获图像上显示如图17所示的验证结果消息(S120)。验证结果消息m3包括分配给具有最大相似度的验证数据的“验证结果”和“名称”。

如上所述，根据本示例，如图7所示，实时数据处理终端3使用图像识别应用AP1从捕获的图像数据中提取作为要验证的数据的局部图像数据。终端数据处理设备5使用通信应用AP2将局部图像数据发送到分散数据处理终端6a。利用这种配置，处理负荷被分配在实时数据处理终端3和终端数据处理设备5之间。因此，实时数据处理终端3能够不断重复捕获的图像的实时处理，循环时间为1/60秒。

特别地，即使当在因特网200上提供多个实时数据处理终端3时，由于终端数据处理设备5与分散数据处理终端6a通信，所以每个实时数据处理终端3也能够恒定地进行通信。以1/60秒的循环时间重复捕获图像的实时处理，而不会被通信中断。

此外，与实时数据处理终端3和分散数据处理终端6a和集中数据处理服务器7a中的每一个之间的物理距离相比，终端数据处理设备5位于物理上靠近实时数据处理终端3的位置，以建立一对一连接。因此，可以高速发送数据，从而减少了获得验证结果的处理时间。

另外，即使当如图3所示由于不同的成像单元40而导致成像元件的数量改变时，图像获取终端2也不受成像单元的数量的影响。

由于实时数据处理终端3输出局部图像数据，而不是全部捕获的图像数据，因此，要经由实时数据处理终端3从图像获取终端2发送到分散数据处理终端6a的数据的大小(或数量)充分减少。这充分抑制了经由因特网200和因特网600传输的数据量。

此外，实时数据处理终端3将局部图像数据编码为压缩格式，使得经由因特网200从终端数据处理装置5发送至分散数据处理终端6a的数据的大小进一步减小。

当多个人类面部被检测到，如在示出的图14B中，一个消息请求显示一个人的图片。利用该消息，实时数据处理终端3一次仅处理一个人的面部图像，从而提高了面部识别的准确性以确保安全性。

第二示例

参照图18，根据上述实施例的第二示例描述了通信系统1的功能配置以及将由通信系统1执行的操作。图18是示出上述参考图15的验证处理的另一示例的序列图。注意，在该第二示例中，除了第一实施例的验证处理之外，其配置、功能、和处理与第一示例中的配置、功能、和处理基本相同。图15被图18所示的验证处理代替，因此，除了图18的操作以外的描述被省略。此外，在第二示例中，如以上针对第一示例所述，通过S111和S112的处理预先执行验证数据的注册。此外，验证数据不需要存储在分散数据处理终端6a的存储单元6000中，而是可以存储在诸如数据管理服务器的任何其他设备中。

参考图18，以与以上参考图15中的S111，S112，S21和S113所描述的基本类似的方式执行S201，S202，S21和S203。

分散数据处理终端6a的发送器和接收器61经由因特网600向集中数据处理服务器7a发送验证请求信息，即验证请求(S204)。验证请求包括指示要被验证的数据被存储的位置的统一资源定位符(URL)和指示被验证的数据被存储的位置的URL。集中数据处理服务器7a在发送器和接收器71处接收验证请求。

当开始验证处理(特征值生成和相似度计算)时，集中数据处理服务器7a的发送器和接收器71通过访问数据的存储位置的URL来发送读取要验证的数据文件的请求。以及通过访问验证数据的存储位置的URL来读取验证数据的文件的请求(S205)。

在此，由于分散数据处理终端6a存储验证数据和要验证的数据的文件，因此集中数据处理服务器7a的发送器和接收器71将读取验证数据和数据的文件的请求发送给分散数据处理终端6a的发送器和接收器61。

当在上述数据管理服务器上管理验证数据和要验证的数据时，集中数据处理服务器7a的发送器和接收器71将读取验证数据和要验证的数据的请求发送给数据管理服务器。

接下来，在分散数据处理终端6a中，存储和读取单元69响应于读取请求来读取验证数据和要验证的数据的文件(S206)。发送器和接收器61向集中数据处理服务器7a的发送器和接收器71发送验证数据和要验证的数据(S207)。由于S207之后的处理与图15所示的第一示例的处理相同，因此省略其描述。

如上所述，根据第二示例，集中数据处理服务器7a并不总是请求验证数据和要验证的数据，而是仅在要开始验证处理时才请求验证数据和要验证的数据。这增加了集中数据处理服务器7a的存储单元7000的存储区域，从而防止了集中数据处理服务器7a的性能降低。

第三示例

参照图19至图21，根据实施例的第三示例描述通信系统1的功能配置以及将由通信系统1执行的操作。

图19是示出其中设置有图像获取终端2的特定房间的示例布局的图。下面，将图像获取终端2的图像捕获区域R1减小一半，从而仅覆盖图像捕获区域R1的左半部分，而不覆盖整个图像捕获区域R1。例如，当将图像获取终端2用作监视摄像机时，右侧的入口D2专用于雇员，使得可疑人员从入口D2进入的可能性很小。另一方面，左侧的入口D1是供客人使用的，使得可疑的人可以从入口D2进入。因此，在该示例中，物体的检测范围限于图像捕获区域R1的左半部分。取决于特定房间的布局，物体的检测范围可以是右半部，上半部，下半部等。此外，图像捕获区域R1不仅可以被例如划分为两个，而且可以被划分为四个，使得划分的数量可以根据图像获取终端2的应用而改变。

图20是示出在实时处理中的事件生成处理的修改示例的流程图，以上参考第一示例的图13进行了描述。图21是示出验证处理的修改示例的流程图，上面针对第一示例参考图15进行了描述。注意，在该第三示例中，配置，功能和处理与第一示例中的配置，功能和处理基本相同，除了分别用图20和图21所示的事件生成处理和验证处理代替之外，从而除了图20和21中的操作之外，将省略其描述。

参照图20，以与以上参照图13中的S211所描述的基本类似的方式执行S221。当物体检测器35在图12的S104处检测到物体(在这种情况下，是人脸)时(S221：是)，之后，操作进行到S222。

在S222，物体检测器35确定检测到的物体是否在检测范围内(S222)。当由物体检测器35检测到的物体的坐标(x，y)不在检测范围内(在这种情况下不在图像捕获区域R1的左半部分内)时(S222：否)，操作返回到步骤S103。在成像单元40具有一个成像系统的情况下，进入到S106；在成像单元401具有两个成像系统的情况下，进入S106。

另一方面，当由物体检测器35检测到的物体的坐标(x，y)在检测范围内(在这种情况下，在图像捕获区域R1的左半部分内)时(S222：是)，操作进行到S223。

在此，相对于整个捕获的图像的左上作为原点，由宽度方向(x)和高度方向(y)表示物体的坐标(x，y)。具体地，假设整个捕获的图像的宽度为W，则当坐标x小于(W/2)时，在S222处的结果为是。当坐标x等于或大于(W/2)时，在S222的结果为否。

参照图20，以与上述参照图13中的S215和S216基本相同的方式执行S223和S224。

接下来，参考图21，在将通信系统1应用于监视摄像机系统的示例情况下，描述将由通信系统1执行的处理。执行上面参考图15中的S111至S119所述的处理，以获得要验证的数据和验证数据之间的相似度。

在S119之后，分散数据处理终端6a的确定器63确定在S119处读出的最大相似度是否等于或大于阈值(例如，在“1”为精确值的情况下，阈值为“0.5”)(S131)。

在这种情况下，当最大相似度小于阈值时，分散数据处理终端6a确定物体(面部)是未知的。

然后，显示控制器67使分散数据处理终端6a的显示器517在图17中显示带有验证结果“未知”的验证结果消息m3(S132)。在这种情况下，验证结果消息m3不显示任何名称，因为没有人被识别。

接下来，当分散数据处理终端6a将物体确定为未知人物时(S133：是)，存储和读取单元69将由存储单元6000管理的未知人物的数量增加一(S134)。

发送器和接收器61对于集中数据处理服务器7a的发送器和接收器71发送在存储部6000管理的未知者的一个计数份，以及表示该未知者在实时数据处理终端3摄像的日期和时间的摄影日期时间信息(S135)。

集中数据处理服务器7a的发送器和接收器71接收一个未知者的计数以及拍摄未知者的图像时的日期和时间。

在该示例中，假设当在图11所示S12和S13处将捕获图像数据从实时数据处理终端3传输到分散数据处理终端6a时，还拍摄捕获图像的日期和时间。

如图11所示，代替拍摄捕获的图像的日期和时间，终端数据处理设备5在S12接收捕获的图像数据的日期和时间，或者终端数据的日期和时间。处理设备5可以在S13发送捕获的图像数据。

可替换地，可以使用当分散数据处理终端6a在图11中的S13接收捕获的图像数据时的日期和时间。

此外，在S12之前，实时数据处理终端3可以经由终端数据处理设备5将指示实时数据处理终端3的位置的位置信息发送到分散数据处理终端6a。

利用该配置，分散数据处理终端6a还可以在S135以一个未知人物计数发送位置信息，使得集中数据处理服务器7a能够管理一个未知人物计数，日期和时间。捕获图像，并将位置信息相互关联以供以后分析。

集中数据处理服务器7a可以互相关联地管理用于识别实时数据处理终端3(或图像获取终端2)的终端ID(标识符)和指示实时数据处理终端3(或图像获取终端2)的位置的位置信息。

然后，在位置S135处，分散数据处理终端6a可以代替位置信息，发送捕获未知人物的实时数据处理终端3的终端ID。因此，集中数据处理服务器7a还可以管理分散数据处理终端6a的安装位置。

如上所述，根据本示例，与上述第一示例相比，集中数据处理服务器7a仅需要物体的检测范围的一半。这进一步降低了将局部图像数据从终端数据处理设备5经由分散数据处理终端6a传输到集中数据处理服务器7a的频率。因此，进一步减少了要在因特网200和因特网600上传输的数据量。

此外，未知人数被存储在集中数据处理服务器7a中，其可从分散数据处理终端6a等访问，以允许授权用户检查未知人数。

第四示例

参照图22和图23，根据实施例的第四示例描述通信系统1的功能配置以及将由通信系统1执行的操作。图22是示出了上面参考图10描述的处理图像识别开始请求的修改示例的序列图。图23是示出了上面参考图13描述的事件生成处理的修改示例的流程图。

本示例示出了其中除非从分散数据处理终端6发送了验证请求才开始验证处理的示例情况。注意，在该示例中，其配置，功能和处理与图1中的基本相同。除了分别在图22和23中图示的图像识别处理和事件产生处理之外，第一示例是示例性的，因此将省略对除了图22和23之外的操作的描述。

在执行了以上参考图10所述的S1-1，S2-1和S3-1之后，如图22所示，分散数据处理终端6a的接受单元62接受来自用户的开始图像验证的请求(S1-2)。在该示例中，分散数据处理终端6a使用GUI(图形用户界面)向用户显示屏幕，该GUI允许用户输入指令。换句话说，分散数据处理终端6a为实时数据处理终端3提供用户界面。

分散数据处理终端6a的发送器和接收器61将开始图像验证的请求发送到终端数据处理设备5(S2-2)。终端数据处理设备5的发送器和接收器51接收图像验证开始请求。终端数据处理设备5的通信单元58将图像验证开始请求发送到实时数据处理终端3(S3-2)。实时数据处理终端3的通信单元48接收图像验证开始请求。

如上所述，由于用户界面与实时数据处理终端3是分开的，因此可以从为实时数据处理终端3提供用户界面的分散数据处理终端6a远程控制实时数据处理终端3。

接下来，实时数据处理终端3执行与图12中的处理基本相似的处理。此后，执行图23中所示的处理。在下文中，参考图23描述事件产生处理。

当在S104中物体检测器35没有检测到物体(在这种情况下，是人脸)时(S231：否)，类似于第一示例中的图13的S211的处理，在以下情况下，操作返回到S103：成像单元40具有一个成像系统，并且在成像单元40具有两个成像系统的情况下进入S106。

另一方面，当在S104中物体检测器35检测到物体(在这种情况下，是人脸)时(S231：是)，操作进行到S232。确定器33确定是否经由终端数据处理装置5从分散数据处理终端6a发送了图像验证开始请求(S232)。

当确定器33确定未发送图像验证开始请求时(S232：否)，类似于S231的处理，在成像单元40具有一个成像系统的情况下，操作返回至S103，而在成像单元40具有二个成像系统的情况下，操作返回至S106。相反，当确定器33确定发送了图像验证开始请求时(S232：是)，实时数据处理终端3执行与图13的S215和S216的处理相似的S233和234的处理。

如上所述，根据本示例，集中数据处理服务器7a仅在用户请求开始图像识别时才执行图像识别，从而可以省略不必要的处理。这进一步降低了将局部图像数据从终端数据处理设备5经由分散数据处理终端6a传输到集中数据处理服务器7a的频率。因此，进一步减少了要在因特网200和因特网600上传输的数据量。

第五示例

参照图24至27，根据实施例的第五示例，描述了通信系统1的功能配置以及将由通信系统1执行的操作。

图24是示出根据实施例的第五示例的通信系统1的功能配置的图。在图24中，示出了分散数据处理终端6b作为图1中的分散数据处理终端6的示例。此外，在图24中，示出了集中数据处理服务器7b作为图1中的集中数据处理服务器7的示例。

除了一些差异之外，图24所示的第一示例的通信系统1与图8所示的第一示例的通信系统1基本相似。区别包括用不具有验证数据管理数据库(DB)6001的分散数据处理终端6b替换分散数据处理终端6a，以及用另外具有特征值的集中数据处理服务器7b替换集中数据处理服务器7a。在存储单元7000中存储有管理DB7001。由特征值管理表实现的特征值管理DB7001被存储在存储单元7000中。在该示例中，与在存储单元7000中描述的构成基本相同的构成。采用与第一示例相同的附图标记，并且省略其描述。集中数据处理服务器7b的存储单元7000还存储用于验证的特征值。

(功能价值管理表)

图25是示出特征值管理表的示例的概念图。图25的特征值管理表针对一个或多个用于管理的人中的每一个，存储用于识别个人和关联的个人姓名的特征值参数。如上所述，可以基于可以区分的各种类型的信息来生成特征值参数，诸如在面部图像中检测到的诸如鼻子或眼睛之类的面部成分的高度或倾斜度。在该示例中，图25的特征值管理表可以存储要用于指定或访问特定特征值参数的信息，从而可以将特征值参数的数据存储在存储单元7000中的任何存储区域中或任何可从中央数据处理服务器7b访问的其他存储区域。

《运作》

参照图26和图27，根据第五示例描述由具有图24的功能配置的通信系统1执行的捕获图像和显示图像的操作。图26和27是示出验证处理的修改示例的序列图，上面针对第一示例参考图15对其进行了描述。

首先，分散数据处理终端6b的接受单元62从用户接收显示如图16A所示的文件选择屏幕和如图16B所示的验证数据注册屏幕的指令(S301)。分散数据处理终端6b的发送器和接收器61将指示对GUI数据的请求的GUI请求信息发送到集中数据处理服务器7b的发送器和接收器71(S302)。集中数据处理服务器7b的发送器和接收器71接收GUI请求信息。

接下来，集中数据处理服务器7b的发送器和接收器71将GUI数据发送到分散数据处理终端6b的发送器和接收器61。GUI数据是由存储和读取单元79从存储单元7000读取的数据。GUI数据被预先存储在存储单元7000中。分散数据处理终端6b的发送器和接收器61接收GUI数据。

分散数据处理终端6b的显示控制器67基于接收到的GUI数据，使显示器517显示如图16A所示的文件选择画面。在S304和S305中，参照S111和S112中所描述的基本类似的方式执行图15的发送器和接收器61发送用于注册验证数据，向集中数据处理服务器7b的发送器和接收器71发送登记请求(S306)。登记请求包括在S304选择的图像文件的验证数据和在S305输入的用于登记的图像文件的名称。

接下来，在集中数据处理服务器7b中，特征值生成器74将在S306处接收到的待验证数据转换为位图数据，以生成用于待验证数据的特征值参数(S307)。这样的特征值参数用于使用可以区分的各种类型的信息来识别个人，例如面部图像中检测到的诸如鼻子或眼睛的面部成分的高度或倾斜度。存储和读取单元79将在S307生成的特征值参数和在S306接收的名称彼此关联地存储在特征值管理DB7001中(S308)。

参照图27，在分散数据处理终端6b中，当发送器和接收器61通过S21的处理接收到局部图像数据作为要验证的数据时，发送器和接收器61将验证请求发送到集中数据处理服务器7b(S311)。验证请求包括要验证的数据。集中数据处理服务器7b在发送器和接收器71处接收验证请求。

接下来，在集中数据处理服务器7b中，特征值生成器74将在S311处接收到的待验证数据转换为位图数据，以生成用于待验证数据的特征值参数(S312)。这样的特征值参数用于使用可以区分的各种类型的信息来识别个人，例如面部图像中检测到的诸如鼻子或眼睛的面部成分的高度或倾斜度。

然后，存储和读取单元79搜索特征值管理DB7001以确定是否存在用于已注册验证数据的任何特征值参数(S313)。如果在S313确定存在已注册验证数据的特征值参数(S313：是)，则验证单元75在验证数据和要验证的数据之间比较特征值参数，并计算在这些数据之间的相似度(S314)。然后，操作返回到S313，以重复S313和S314的处理，直到计算出所有已注册验证数据相对于要验证的数据的特征值参数的相似度为止。另一方面，如果在S313确定不存在已注册验证数据的特征值参数(包括绝对不存在参数的情况)，则操作进入S315。

接下来，存储和读取单元79将在S306处发送的注册请求中包括的验证数据的“名称”和在S314处计算出的“相似度”临时关联地存储在存储单元7000中(S315)。

接下来，存储和读取单元79读出分配给具有最大相似性的验证数据的“名称”，该“名称”是从暂时存储在存储单元7000中的具有计算出的相似性的每个验证数据中选择的(S316)。然后，发送器和接收器71将指示对在S311处接收到的验证请求的响应的响应信息发送到分散数据处理终端6b(S317)。该响应信息包括在S316中读出的验证数据的“名称”。

接下来，在分散数据处理终端6b中，显示控制器67使分散数据处理终端6b的显示器517在图14A所示的实时捕获图像上显示如图17所示的验证结果消息m3(S318)。验证结果消息m3包括分配给具有最大相似度的验证数据的“验证结果”和“名称”。

如上所述，根据本示例，由于在S306和S311以不同的定时发送和接收验证数据和要验证的数据，因此与上述第一示例的示例情况相比，减轻了通信负荷。

变异

参照图28至图41，根据另一实施例描述了通信系统1A的配置以及将由通信系统1A执行的操作。在本公开中，将包括第一至第五示例的上述实施例称为第一实施例，并且将以下实施例称为第二实施例。在第二实施例中，与第一实施例中描述的元件基本相同的元件被分配有相同的附图标记。为了描述的目的，省略其描述。

<<系统配置>>

图28是示出根据第二实施例的通信系统1A的配置的示意图。具体地，该实施例描述了将图1的通信系统应用于视频会议系统的情况。

如在示出的图28中，本实施方式的通信系统1A包括实时数据处理终端3a和3b，终端数据处理装置5a和5b，分散数据处理终端8a和8b，显示器820a和820b，集中数据处理服务器7c，通过因特网600连接的通信管理服务器9和中继设备10。

终端数据处理设备5a和5b通过通用串行总线(USB)电缆831a和831b分别与分散数据处理终端8a和8b电连接。分布式数据处理端子8a和8b分别与显示器820a和820b通过高清晰度多媒体接口(HDMI)(注册商标)电缆832a和832b电连接。USB电缆和HDMI电缆是示例。

此外，实时数据处理终端3a，终端数据处理设备5a，分散数据处理终端8a和显示器820a一起用作分散处理系统100a。在该示例中，分散处理系统100a被布置在地点A。此外，实时数据处理终端3b，终端数据处理设备5b，分散数据处理终端8b和显示器820b一起作为分散处理系统100b。在该示例中，分散处理系统100b被布置在站点B。实时数据处理终端3a和终端数据处理设备5a彼此连接以便一起用作图像获取终端2a。实时数据处理终端3b和终端数据处理设备5b彼此连接，以一起用作图像获取终端2b。

由于实时数据处理终端3a和3b分别具有与在第一实施例中描述的实时数据处理终端3相同的配置，因此省略其描述。此外，由于成像单元40a和40b具有与第一实施例中描述的成像单元40相同的配置，因此省略其描述。类似地，终端数据处理设备5a和5b各自具有与在第一实施例中描述的终端数据处理设备5相同的配置，因此省略其描述。

此外，由于分散数据处理终端8a和8b各自的配置与第一实施例中描述的分散数据处理终端6不同，因此稍后将参考图29对其进行描述。在本公开中，分散数据处理终端8为分散数据处理终端8a和8b的通用术语。

可以由一台或多台计算机实现的通信管理服务器9，集中管理分散数据处理终端8的登录认证，分散数据处理终端8的通信状态，联系人列表以及中继设备10的通信状态。图像数据可以是视频图像或静止图像，或者是视频图像和静止图像两者。

可以由一个或多个计算机实现的中继设备10在多个分散数据处理终端8之间中继内容数据。

<<硬件配置>>

<分散数据处理终端(视频会议终端)的硬件配置>

图29是示出根据实施例的实现为视频会议终端的分散数据处理终端8的硬件配置的示意图。

如在示出的图29中，分散数据处理终端8包括CPU801，ROM802，RAM803，闪速存储器804，SSD805，介质I/F807，操作键808，电源开关809，总线810，网络I/F811，相机812，成像元件1/F813，麦克风814，扬声器815，音频输入/输出I/F816，显示器I/F817，外部设备连接I/F818，近距离通信电路819和用于近距离通信电路819的天线819a。

CPU801控制分散数据处理终端8的整个操作。ROM802存储用于控制CPU101的控制程序，例如IPL。RAM803用作CPU801的工作区域。闪存804存储各种数据，诸如通信控制程序，图像数据和音频数据。SSD805在CPU801的控制下控制相对于闪存804的各种数据的读取或写入。替代SSD，可以使用硬盘驱动器(HDD)。介质I/F807控制相对于诸如闪存的记录介质806的数据读取或写入。用户操作操作键808以输入诸如对分散数据处理终端8的目的地的用户选择之类的用户指令。电源开关809接通或断开分散数据处理终端8的电源。

网络I/F811是控制通过因特网600与外部设备的数据通信的接口。照相机812是能够在CPU801的控制下捕获目标的内置成像设备的示例。1/F813是控制照相机812的驱动的电路。麦克风814是能够在CPU801的控制下输入音频的内置音频收集设备的示例。音频输入/输出I/F816是电路用于在CPU801的控制下在麦克风814和扬声器815之间输入或输出音频信号。显示器I/F817是用于在CPU801的控制下将显示数据发送到外部显示器820的电路。I/F818是将分散数据处理终端8连接到各种外部设备的接口电路。近距离通信电路819是根据近场无线通信(NFC)(注册商标)，蓝牙(注册商标)等进行通信的通信电路。

总线810可以是地址总线或数据总线，其电连接各种元件，例如图29的CPU801。

显示器820可以是液晶或有机电致发光(EL)显示器，其显示物体的图像，操作图标等。显示器820通过电缆832连接到显示器I/F817。电缆832可以是模拟红绿蓝(RGB)(视频图形阵列(VGA))信号电缆，分量视频电缆，高清多媒体接口(HDMI)信号线或数字视频交互(DVI)信号线。在此，假设电缆832是HDMI电缆。

注意，显示器820是稍后将描述的显示器820a和820b的通用术语。HDMI电缆832是稍后将描述的HDMI电缆832a和832b的通用术语。

相机812包括镜头和固态成像元件，该固态成像元件通过光电转换将被摄体的图像(视频)转换成电子数据。作为固态成像元件，例如，使用互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD)。外部设备连接I/F818能够通过USB电缆等连接诸如外部照相机，外部麦克风或外部扬声器之类的外部设备。在连接了外部摄像机的情况下，在CPU801的控制下，优先于内置摄像机812驱动外部摄像机。类似地，在连接了外部麦克风或外部扬声器的情况下，在CPU801的控制下，优先于内置麦克风814或内置扬声器815驱动外部麦克风或外部扬声器。

记录介质806可从分散数据处理终端8移除。可以使用诸如非易失性存储器的任何非易失性存储器，例如电可擦除可编程只读存储器(EEPROM)来代替闪存804，只要该存储器在CPU801的控制下读取或写入数据即可。

由于图28中的通信管理服务器9和中继设备10在硬件配置上基本上类似于图6中的集中数据处理服务器7，因此省略其描述。

<<功能配置>>

现在参考图30至32，根据实施例描述通信系统1A的功能配置。图30是示出根据第二实施例的分散处理系统100a的功能配置的示意框图。图31是示出根据第二实施例的分散处理系统100b的功能配置的示意框图。图32是示出根据第二实施例的集中数据处理服务器7c，通信管理服务器9和中继设备10的功能配置的示意性框图。

<分散处理系统100a的功能配置>

参照图30，图像获取终端2a的实时数据处理终端3a包括确定器33a，图像处理单元34a，物体检测器35a，事件生成器36a，显示控制器37a，连接单元38a，存储和读取单元39a以及通信单元48a。实时数据处理终端3还包括存储单元3000a。除了形状模型数据之外，存储单元3000a还包括成像元件编号管理DB3001a。

由于这些功能单元分别对应于确定器33，图像处理单元34，物体检测器35，事件生成器36，显示控制器37，连接单元38，存储和读取单元39，通信单元48，省略其描述。此外，存储单元3000a在功能上类似于上述存储单元3000。成像元件编号管理DB3001a由成像元件编号管理表实现。由于该成像元件编号管理表与存储在成像元件编号管理DB3001中的表相似，因此省略其描述。

图像获取终端2a的终端数据处理设备5a包括数据检测器56a，显示控制器57a，通信单元58a以及存储和读取单元59a。终端数据处理设备5还包括存储单元5000a。由于这些功能单元分别对应于数据检测器56，显示控制器57，通信单元58以及存储和读取单元59，因此省略其描述。此外，存储单元5000a在功能上类似于上述存储单元5000。在该示例中，通信单元58a能够与实时数据处理终端3a的通信单元48a和分散数据处理终端8a的通信单元88a通信。

分散数据处理终端8a包括发送器和接收器81a，接受单元82a，确定器83a，显示控制器87a，通信单元88a以及存储和读取单元89a。分散数据处理终端8a还包括存储单元8000a。

由网络I/F811和CPU801的指令实现的发送器和接收器81a在功能上类似于发送器和接收器61。

由操作键808，电源开关809和CPU801的指令实现的接受单元82a在功能上类似于接受单元62。

由CPU801的指令实现的确定器83a执行各种确定。

由CPU801的指令实现的显示控制器87a控制显示器820a显示各种屏幕。

由外部设备连接I/F818实现的通信单元88a能够经由USB电缆831a与终端数据处理设备5a的通信单元58a通信。

由CPU801的指令实现的存储和读取单元89a将各种数据或信息存储在存储单元8000a中，或者从存储单元8000a中读出各种数据或信息。由于存储单元8000a在功能上类似于存储单元6000，因此省略其描述。

<分散处理系统100b的功能配置>

如图31所示，分散处理系统100b中的实时数据处理终端3b，终端数据处理设备5b和分散数据处理终端8b在功能上与实时数据处理终端3a，终端数据处理设备5a和分散处理系统100a中的分散数据处理终端8a相同，只是在附图标记上加上字母“b”之外。因此，省略其描述。

图32是示出根据第二实施例的通信系统1A中的集中数据处理服务器7c，通信管理服务器9和中继设备10的功能配置的示意性框图。

<集中数据处理服务器7c的功能配置>

图32所示的集中数据处理服务器7c在功能上与参照图8描述的第一实施例的第一示例的集中数据处理服务器7a相似，因此省略其描述。在根据本实施例的集中数据处理服务器7c中，存储单元7000存储验证数据管理DB7002。由于验证数据管理DB7002存储验证数据管理表(参见图9B)，其类似于第一实施例的验证数据管理DB8001，省略其说明。

<通信管理服务器9的功能配置>

如在示出的图32中，通信管理服务器9包括发送器和接收器91和一个存储和读取单元99。这些单元是由图6中所示的任何元件根据从HD704扩展到RAM703的控制程序，基于CPU701的指令而实现的功能或手段。

通信管理服务器9还包括由图6所示的ROM702，RAM703和HD704实现的存储单元9000。存储单元9000在其中存储终端和设备管理DB9001以及对话管理DB9002。终端和设备管理DB9001由终端和设备管理表实现，如下所述。对话管理DB9002由对话管理表实现，如下所述。

(终端和设备管理表)

图33A是示出根据实施例的终端和设备管理表的概念图。终端和设备管理表针对每个分散数据处理终端8或中继设备10，关联地存储终端ID或设备ID，终端或设备的名称以及终端或设备的IP地址。

(对话管理表)

图33B是示出根据实施例的对话管理表的概念图。对话管理表针对要用于通信的每个对话，存储用于识别对话的对话ID，用于在对话中中继图像数据和音频数据的中继设备10的中继设备ID，终端ID。开始通信的起始终端，以及关联终端的终端ID。例如，起始终端是分散数据处理终端8a，对方终端是分散数据处理终端8b。

(通信管理服务器的功能配置)

接下来，参考图32，详细描述通信管理服务器9的功能配置。

由网络I/F709和CPU701的指令实现的通信管理服务器9的发送器和接收器91通过通信网络(例如因特网600)向其他服务器、装置、终端或设备发送或接收各种数据(或信息)。

由CPU701的指令实现的存储和读取单元99将各种数据或信息存储在存储单元9000中，或者从存储单元9000中读出各种数据或信息。

<中继装置10的功能结构>

如在示出的图32中，中继装置10包括发送器和接收器(转送器)11和存储和读取单元19，这些单元是由图6中所示的任何元件根据从HD704扩展到RAM703的控制程序，基于CPU701的指令而实现的功能或手段。中继设备10还包括存储单元1000，其可以由图6所示的ROM702，RAM703和HD704实现。

(中继设备的功能配置)

参考图32，详细描述中继设备10的功能配置。

由网络I/F709和CPU701的指令实现的中继设备10的发送器和接收器11通过通信网络(例如因特网600)向或从其他服务器、装置、终端或设备发送或接收各种数据(或信息)。

由CPU701的指令实现的存储和读取单元19在存储单元1000中存储各种数据或信息，或者从存储单元1000中读出各种数据或信息。

《运作》

参照图34至图41，根据实施例描述由通信系统1A执行的捕获图像和显示图像的操作。下面描述示例情况，其中在分散数据处理终端8a请求另一个分散数据处理终端8c经由通信管理服务器9开始通信之后，分散数据处理终端8a和8b以及第三分散数据处理终端8c启动经由中继设备10彼此通信。

图34是示出根据第二实施例的，由通信系统1A执行的处理图像识别开始请求的操作的序列图。图35是在通信期间显示在分散数据处理终端8a上的示例视频会议屏幕的图示。图36是示例详细站点屏幕的图示，该示例详细站点屏幕用于在显示视频会议中的参与者的名称之前在分散数据处理终端8a上显示每个站点的详细信息。

在三个地点之间进行电视会议期间，如图35所示，分散数据处理终端8a的显示控制器87a使显示器820a显示电视会议屏幕850(S401)。

视频会议屏幕850包括主显示区域851以及两个子显示区域852和853。主显示区域851在其中显示当前正在讲话的参与者所驻留的站点的图像。子显示区域852显示本地站点的图像(在这种情况下，是操作分散数据处理终端8a的用户的图像)。子显示区域853显示当前未讲话的参与者所居住的站点的图像。

如果在副显示区域853中显示其图像的任何参与者开始讲话，则显示控制器87a在当前在主显示区域851中显示的站点的图像与在副显示区域中显示的站点的图像之间切换853，使得主显示区域851显示当前正在讲话的参与者的图像。

视频会议屏幕850还包括位于左下方的“现场详细信息”按钮858。当用户按下“现场的详细信息”按钮858时，显示器820a切换显示图36所示的详细的现场屏幕860。

接下来，响应于用户按下“现场详细信息”按钮858，接受单元82a接受显示详细现场屏幕的指令(S402)。显示控制器87a控制显示器820a以显示图36所示的详细站点屏幕860。详细站点屏幕860针对当前正在与分散数据处理终端8a参与同一通信对话的所有站点中的每个站点，包括：显示字段861用于显示站点处的终端的终端名称，显示字段862用于显示站点处的终端的终端ID。

详细站点屏幕860在其中央部分包括讲话站点显示区域863，用于以缩小的尺寸显示主显示区域851的显示内容(即，图像)。详细站点屏幕860还包括位于左下方的“检查参与者”按钮868。当用户按下“检查参与者”按钮868时，如图41所示，另外显示参与者信息显示区域865，其中具有参与者的数目和每个参与者的名称。

响应于用户按下“检查参加者”按钮868，接受单元82a接收用于开始处理以识别视频会议中的每个参加者的指令(S404)。

接下来，分散数据处理终端8a的发送器和接收器81a向通信管理服务器9发送识别请求信息，该识别请求信息指示在主显示区域851中显示的用于识别另一个站点的每个参与者的请求(S405)。该识别请求信息(识别请求)包括用于识别正显示在主显示区域851中的另一站点的分散数据处理终端8的终端ID。通信管理服务器9的收发器91接收识别请求信息。

接下来，通信管理服务器9的存储和读取单元99使用在S405接收的终端ID作为搜索关键字来搜索终端和设备管理DB9001，以获得另一站点的分散数据处理终端8的IP地址(S406)。发送器和接收器91对于用读取的IP地址特定的分散数据处理终端8b发送表示开始图像验证请求的图像验证的开始请求信息(S407)。分散数据处理终端8b的发送器和接收器81b接收图像验证开始请求信息。

分散数据处理终端8b的通信单元88b将开始图像验证的请求发送到终端数据处理设备5b(S408)。终端数据处理设备5b的通信单元58b接收图像验证开始请求。终端数据处理设备5b的通信单元58b将图像验证开始请求发送到实时数据处理终端3b(S409)。实时数据处理终端3b的通信单元48b接收图像验证开始请求。图34的S407至S409以与以上参考图22的S1-2至S3-2基本类似的方式执行。

接下来，参考图37，根据第二实施例描述图像识别处理。图37是示出根据第二实施例的、由通信系统1A执行的图像识别处理的示例的序列图。该处理与第一实施例的图像识别处理的不同之处在于，图11中的S12、S13被省略，表示局部图像数据的数的局部图像数据数被送信/收信。

实时数据处理终端3b执行实时处理(S411)。在下文中，参考图38描述实时处理。由于检测物体的处理与图12所示的第一示例的处理相同，省略其说明。图38是示出根据第二实施例的在实时处理中执行的事件生成处理的示例的流程图。图38的处理是图13处理的变形例。

如图38所示，当物体检测器35B没有检测到物体(在此情况下，为一个人的面部)时(S611：否)，操作返回到S103(成像单元40具有一个成像系统)，如果成像单元40具有两个成像系统，则返回S106。另一方面，当在S104中物体检测器35b检测到物体(在这种情况下，为人脸)时(S611：是)，操作进行到S612。物体检测器35b对检测到的物体(在这种情况下为人脸)的数量进行计数(S612)。

接下来，物体检测器35b以诸如JPEG的通用格式对局部图像数据进行编码，该局部图像数据是包括所检测到的人脸的捕获图像的一部分(S615)。事件产生器36b产生事件消息，该事件消息通知局部图像数据被发送到终端数据处理设备5b(S616)。具体而言，事件产生器36b产生事件消息m2，例如“发送”。

然后，图37所示的S411的实时处理结束。通信单元48b对于终端数据处理设备5b的通信部58b，发送在步骤S616中生成的事件消息m2，在步骤S104中检测到的局部图像数据以及关于在步骤S612中计数的局部图像数据数(即，检测到的物体的数目)(S415)。

当在S104中检测到多个物体(在这种情况下为人脸)时，在S415中，与一个事件消息m2一起发送多个局部图像数据和关于局部图像数据数的信息。

终端数据处理设备5b以与以上参照第一实施例的第一示例中的图11的S16至S21所述的基本类似的方式执行S416至S421。在第一示例中的S21处，终端数据处理设备5的发送器和接收器51将局部图像数据作为要验证的数据发送到分散数据处理终端6a的发送器和接收器61。在第二实施例中的S421处，终端数据处理设备5b的通信单元58b将作为要验证的数据的局部图像数据以及关于数量的信息发送到分散数据处理终端8b的通信单元88b。在S415已经接收到关于所发送的局部图像数据的数的信息。

接下来，参照图39至图41，根据第二实施例，描述使用注册的验证数据对要验证的验证数据、即局部图像数据进行验证处理。图39是示出根据第二实施例的验证待验证数据的处理的序列图。图40是示出根据第二实施例的显示验证结果的处理的序列图。图41是示例详细站点屏幕的图示，该示例详细站点屏幕用于在显示视频会议中的参与者的姓名之后在分散数据处理终端8a上显示的每个站点上提供详细信息。

注意，根据第二实施例的图39的验证处理和图40的显示处理是根据第一实施例的第一示例的图15的处理的变形。在第一实施例的第一示例中在分散数据处理终端6处执行的处理基本上由第二实施例中的集中数据处理服务器7执行。即，集中数据处理服务器7在其中存储要用于图像验证的验证数据。

为了注册验证数据，管理员操作集中数据处理服务器7以使显示控制器77显示如图16A所示的文件选择屏幕，以选择要注册的验证数据。当管理员在按下“选择文件”按钮b11之后选择要注册的图像(在这种情况下为面部图像)时，接受单元72接受对要注册的图像文件的选择(S511)。

与图16B所示的示例情况类似，显示控制器77控制显示器517以显示用于注册所选择的验证数据的注册屏幕。在确认选择的图像文件a21是期望的图像之后，管理员在名称输入字段a22中输入要注册为验证数据的图像的名称，然后按下“注册”按钮b21。响应于按下“注册”按钮b21，接受单元72将图像注册为验证数据(S512)。具体地，存储和读取单元79将文件名a21和在名称输入字段a22中输入的名称彼此关联地存储在验证数据管理DB6001中。

当所选择的图像文件a21不是期望的图像文件时，类似于图16A所示的示例情况，管理员按下“取消”按钮b22以使显示器517显示文件选择画面。

接下来，在集中数据处理服务器7c中，特征值生成器74将在S512处将已注册验证数据转换为位图数据，以生成用于验证数据的特征值参数(S513)。这样的特征值参数用于使用可以区分的各种类型的信息来识别个人，例如面部图像中检测到的诸如鼻子或眼睛的面部成分的高度或倾斜度。

如上所述，验证数据被直接注册到集中数据处理服务器7c，而不是注册到终端数据处理设备5b。这充分地减轻了由于终端数据处理设备5b与集中数据处理服务器7之间的通信而引起的通信网络上的负载。

接下来，当在S421处，分散数据处理终端8b的通信单元88b接收局部图像数据作为被验证数据，以及关于局部图像数据的图像数量的信息时，发送器和接收器81b将其发送至通信管理服务器9，指示验证请求的验证请求信息(S514)。验证请求信息包括要验证的数据以及关于要验证的数据的数量的信息。通信管理服务器9的发送器和接收器91接收验证请求信息。

接下来，发送器和接收器91将在S514处接收到的验证请求信息发送(传送)到集中数据处理服务器7c(S515)。集中数据处理服务器7c在发送器和接收器71处接收验证请求信息。

接下来，特征值生成器74将在S515接收的要验证的数据解码为位图数据，并计算要验证的数据的特征值的参数(S516)。这样的特征值参数用于使用可以区分的各种类型的信息来识别个人，例如面部图像中检测到的诸如鼻子或眼睛的面部成分的高度或倾斜度。

然后，存储和读取单元79搜索特征值管理DB7001以确定是否存在任何已注册验证数据(S517)。如果在S517确定存在注册的验证数据(S517：是)，则验证单元75比较验证数据和要验证的数据之间的特征值参数，并计算这些数据之间的相似度(S518)。

接下来，存储和读取单元79将在S512处注册的分配给验证数据的“名称”和在S518处计算出的“相似度”相关联地临时存储在存储单元7000中(S519)。对接下来在图9B的验证数据管理表中列出的验证数据执行从S517开始的上述处理，直到处理了已注册的所有验证数据项为止。

另一方面，当在S517中确定没有注册验证数据时(包括绝对没有验证数据的情况)，操作进行到S520。

存储与读取单元79从暂时存储在存储单元7000的验证数据的各相似度中检索等于或大于阈值者，从该阈值以上的相似度中读取最大相似度的验证数据所具有的“名称”(S520)。阈值设置为例如“80％”。因此，当相似度低时，例如，低于阈值，则不读出这种验证数据的“名称”。

对要验证的数据的数量重复S516至S520的处理。即，如果在一个站点处检测到两个人，则将S516至S520的处理重复两次。

参照图40，集中数据处理服务器7c的发送器和接收器71向通信管理服务器9发送指示验证结果的验证结果信息(S521)。验证结果信息包括在S520读取的验证数据的姓名，以及在S515接收的关于验证数据的项目数的信息。通信管理服务器9的发送器和接收器91接收验证结果信息。

接下来，通信管理服务器9的发送器和接收器91将在S521接收的验证结果信息发送(传送)到分散数据处理终端8b(S522)。分散数据处理终端8b的发送器和接收器81b接收验证结果信息。

接下来，如图41所示，分散数据处理终端8b的显示控制器87b控制显示器820b以在参加者信息显示栏865中显示验证结果。在该示例中，验证结果包括参加者的数量和姓名。基于在S522接收的验证结果信息中包括的验证数据项的数量来表示参与者的数量。另外，基于还包括在验证结果信息中的参与者名称来表达参与者名称。

在图41中，由于上述结果，相对于已注册验证数据，其面部图像(局部图像数据)的相似度等于或大于阈值的参与者将显示姓名(Jim)。如果其面部图像的相似度小于阈值的参与者，则不显示该参与者的名称。在这种情况下，将显示“访客”而不是参与者的名称。

在第二实施例中，以上根据第一实施例描述的验证过程被应用于视频会议系统，使得分散数据处理终端8能够利用参与者的图像在另一地点显示参与者的姓名。因此，正在参加视频会议的参与者可以容易地在远程站点处识别参与者。

在上述实施例中的一个或多个中，图像获取终端2获取捕获的图像数据，但是本发明不限于此。例如，在第二实施例的示例情况下，图像获取终端2可以通过收集音频来获取音频数据，或者甚至可以从温度传感器获取温度数据，或者从湿度传感器获取湿度数据。在这种情况下，图像获取终端2可以简称为“获取终端”。

此外，CPU301、501和701等中的任何一个可以是单个处理器或多个处理器。类似地，图像获取终端2，分散数据处理终端6和集中数据处理服务器7中的任何一个可以由诸如一个或多个计算机的一个或多个装置来实现。分散数据处理终端6还可以用作服务器。

上述实施例是说明性的，并且不限制本发明。因此，根据以上教导，许多附加的修改和变化是可能的。对于例如，不同的说明性实施例的元件和/或特征可以彼此组合和/或本发明的范围内彼此替换。

此外，要检测的物体不仅可以限于面部图像。可以帮助识别个人的人体任何其他部分(例如人眼)都可以检测为要用于验证的物体。

本发明可以以任何方便的形式实现，例如使用专用硬件，或专用硬件和软件的混合。本发明可以实现为由一个或多个联网处理设备实现的计算机软件。处理设备可以为任何适当编程的设备，例如通用计算机，个人数字助理，移动电话(例如WAP或3G兼容电话)等。由于本发明可以实现为软件，因此本发明的每个方面都包含可在可编程设备上实现的计算机软件。可以使用诸如记录介质的任何常规载体介质将计算机软件提供给可编程设备。载体介质可以是瞬态载体介质，例如携带计算机代码的电、光、微波、声学、或射频信号。这种瞬态介质的示例是在IP网络(例如因特网)上承载计算机代码的TCP/IP信号。载体介质还可以包括用于存储处理器可读代码的存储介质，例如软盘、硬盘、CDROM、磁带设备、或固态存储设备。

所描述的实施例的每个功能可以由一个或多个处理电路或电路实现。处理电路包括编程处理器，因为处理器包括电路。处理电路还包括诸如专用集成电路(ASIC)，DSP(数字信号处理器)，FPGA(现场可编程门阵列)之类的设备以及用于执行所述功能的传统电路部件。

本专利申请基于并根据35USC§119(a)要求于2017年7月31日提交的日本专利申请第2017-148437号和于2018年7月19日提交的日本专利申请第2018-136067号的优先权，其全部公开内容通过引用合并于此。

附图标记列表

2图像获取终端(一个采集终端的示例)

3实时数据处理终端

5终端数据处理终端

6分散数据处理终端(distributed data processing termanal)

7集中数据处理服务器(centralized data processing server)

34图像处理器

35物体检测器

38连接单元

51发送器和接收器(第一个发送器的示例)

61发送器和接收器(第二个发送器的示例，接收器的示例)

62接受单元

67显示控制

69储存和读取单元

71发送器和接收器(第三个发送器的示例)

74特征值生成器

75验证单元

200因特网

600因特网

3001元件编号管理数据库

6000存储单元

6001验证数据管理数据库

7001特征值管理数据库

Claims (18)

1.一种通信系统，包括：

用来获取捕获图像的图像获取终端，该捕获的图像包括至少一个被成像单元捕获的物体；

用来显示捕获的图像的分散数据处理终端；和

通过网络与分散数据处理终端连接的集中数据处理服务器，

该图像获取终端包括：

用来检测捕获的图像中物体的物体检测器，用以生成具有所检测到的物体的捕获图像的一部分的局部图像；和

第一发送器，用来将所述局部图像作为待验证数据发送至所述分散数据处理终端，

该分散数据处理终端，包括：

第二发送器，用来将从图像获取终端接收的待验证数据和已注册的验证数据分别发送至集中数据处理服务器，所述的验证数据为表示一个特定物体的图像；

该集中数据处理服务器，包括：

验证单元，用来使用从分散数据处理终端接收的验证数据来验证待验证数据，以产生验证结果；和

第三发送器，用来将验证结果发送给分散数据处理终端，以使分散数据处理终端显示根据捕获的图像的验证结果的信息。

2.权利要求1所述的通信系统，其中，所述图像获取终端包括：

实时数据处理终端，包括第一处理器，该第一处理器执行实时处理以使用成像单元实时地顺序捕获图像，该第一处理器还被用作物体检测器；和

连接到实时数据处理终端的终端数据处理设备，该终端数据处理设备包括被作为第一发送器的第二处理器。

3.权利要求2所述的通信系统，其中，所述实时数据处理终端的所述第一处理器和所述终端数据处理设备的所述第二处理器用于在彼此独立的操作系统下进行操作。

4.权利要求2或3所述的通信系统，

其中，所述第一处理器根据安装在实时数据处理终端上的图像识别应用程序实现物体检测器的功能，并且

其中，所述第二处理器根据终端数据处理设备上安装的通信应用程序实现第一发射机的功能。

5.根据权利要求2至4中任一项所述的通信系统，其中，所述实时数据处理终端还包括：

存储器，用于针对多种类型的成像单元中的每一种，关联地存储指示成像单元的类型的信息以及包括在具有特定类型的成像单元中的成像元件的数量；

连接单元，用来连接到所述多种类型的成像单元中的任何一种，并且当连接到具有特定类型的成像单元时，获得由所述成像单元获取的捕获图像以及关于所述特定类型的信息；以及

图像处理器，用来指定包括在具有特定类型的成像单元中的成像元件的数量，该数量与所获得的指示成像单元的特定类型的信息相关联地被存储在存储器中，并且根据成像单元中指定数量的成像元件，对从成像单元获得的捕获图像进行图像处理。

6.权利要求1所述的通信系统，其中，所述分散数据处理终端包括：

存储器，用来对于多个图像中的每个图像，每个代表一个特定作为验证数据的物体，存储一个包含该特定物体图像的图像文件的名称和一个相关联的代表图像特定物体的名称；

接收器，用来针对所述多个图像中作为验证数据的每个图像，接收来自所述集中数据处理服务器的第三发送器的验证结果，所述验证结果指示所述作为待验证数据的局部图像之间的相似性，以及作为验证数据的特定物体的图像；

存储单元，用来针对所述多个图像中作为验证数据的每个图像，与图像的特定物体的名称相关联地存储指示相似性的验证结果；和

显示控制器，用来控制显示器以显示与验证结果的相似度的最大值相关联的图像中特定物体的名称。

7.权利要求6所述的通信系统，其中，所述分散数据处理终端还包括：

接受单元，用来接受对图像文件的选择，该图像文件包含表示作为验证数据的特定物体的图像，以及输入代表特定物体的姓名。

8.权利要求1至7中任一项所述的通信系统，其特征在于，

其中，分散数据处理终端的第二发送器，还用于将待验证数据的统一资源定位符URL和验证数据的URL传输至集中数据处理服务器，

以响应接收到用于访问待验证数据的URL和验证数据的URL的请求，分散数据处理终端的第二发送器将待验证数据和验证数据发送到集中数据处理服务器。

9.权利要求1至8中任一项所述的通信系统，其特征在于，

其中，图像获取终端对从分散数据处理终端接收到用于开始检测物体的处理的请求进行响应，开始处理以检测捕获图像中的物体。

10.权利要求1所述的通信系统，其中，所述集中数据处理服务器包括：

特征值生成器，用来根据从分散数据处理终端接收的验证数据，生成图像中特定物体的第一特征值参数；和

存储器，用来存储与表示图像的特定物体的名称相关联的第一特征值参数，

其中，响应于从分散数据处理终端接收到作为要验证的数据的局部图像，

特征值生成器用来从局部图像生成一个被检测到物体的第二特征值参数作为要验证的数据，以及

验证单元在第一特征值参数和第二特征值参数之间进行比较，以生成指示局部图像与特定物体的图像之间的相似性的验证结果。

11.权利要求1至10中任一项所述的通信系统，其中，所述分散数据处理终端还包括：

确定器，用于基于指示作为要验证的数据的局部图像与作为验证数据的特定物体的图像之间的相似性的验证结果来确定所检测到的物体是否为未知的；和

显示控制器，用于控制显示器基于验证结果的信息，以显示一个表示在捕获图像中检测到的物体是否为未知的通知。

12.权利要求11所述的通信系统，其中，所述第二发送器还用于将关于确定所检测到的物体是否为未知的多个确定因素的信息发送到所述集中数据处理服务器。

13.权利要求1至12中的任一项所述的通信系统，

其中，图像获取终端和分散数据处理终端共同运作为一个分散处理系统，

多个分散处理系统设置在不同的地点，每处都与中央处理服务器可通信地连接。

14.权利要求13所述的通信系统，其中，所述多个分散处理系统包括相互通信的第一分散处理系统和第二分散处理系统，

其中，第一分散处理系统的分散数据处理终端显示由第二分散处理系统的图像获取终端捕获的捕获图像，以及基于由第二分散处理系统的图像获取终端捕获的捕获图像的验证结果的信息。

15.权利要求1至14中的任一项所述的通信系统，其中，所述检测到的物体包括用于分辨人类个体的人体的一部分。

16.一种分散处理系统，包括：

图像获取终端，用于获取捕获的图像，该捕获的图像包括至少一个被成像单元捕获的物体；和

用网络可通信地连接到集中数据处理服务器的分散数据处理终端，

上述图像获取终端包括：

物体检测器，用于检测捕获的图像中的物体，以生成局部图像，该局部图像是具有检测到物体的捕获的图像的一部分；和

第一发送器，用于将所述局部图像作为待验证数据发送至所述分散数据处理终端，

该分散数据处理终端，包括：

第二发送器，用于将从图像获取终端接收的要验证的数据和已注册的验证数据发送到集中数据处理服务器，该验证数据是一个代表特定物体的图像；

接收器，用于从集中数据处理服务器接收使用验证数据验证要验证数据的验证结果；和

显示控制器，用于一起显示基于验证结果的信息和捕获的图像。

17.一种由协同工作的图像获取终端和分散数据处理终端执行的分布式处理方法，该方法包括：

通过所述图像获取终端，获取一张捕获的图像，所述捕获的图像包括至少一个被成像单元捕获的物体；

通过所述图像获取终端，在捕获图像中检测物体，以生成局部图像，该局部图像是具有检测到的物体的捕获图像的一部分；

通过所述图像获取终端，将局部图像作为要验证的数据发送到分散数据处理终端；

通过所述分散数据处理终端，将从所述图像获取终端接收到的待验证数据和已注册的验证数据传输至集中数据处理服务器，所述验证数据为代表一个特定物体的图像；

通过所述分散数据处理终端，从所述集中数据处理服务器接收使用所述验证数据对所述待验证数据进行验证的验证结果；和

通过所述分散数据处理终端，一起显示基于验证结果的信息和捕获的图像。

18.一种承载计算机可读代码的记录介质，用于控制一个或多个处理器以执行权利要求17的方法。

Images