JP2019186914A - 通信端末、通信システム、通信方法、及びプログラム - Google Patents

Abstract

【課題】必要以上に処理の要求を行うことを抑制することができる通信端末、通信システム、通信方法及びプログラムを提供する。【解決手段】通信端末は、第１の物体及び第２の物体が撮影されることで得られた各撮影画像から各物体を検出する物体検出し、第１の物体及び第２の物体が検出された回数が所定値を超過又は所定値以上になった場合にはＳ２１６ＹＥＳ、第１の物体に基づく第１の画像データ及び第２の物体に基づく第２の画像データを、サーバ等の他の装置へ送信することを通知するイベントメッセージを生成するＳ２１９。【選択図】図２６

Description

本開示内容は、通信端末、通信システム、通信方法、及びプログラムに関する。

近年、Web API(Application Programming Interface)の収益モデルの１つにWeb APIを使うときに料金を徴収する「課金モデル」がある。単価を低く設定する必要はあるが、使用回数が増加すれば一定の収益を期待できるため、主流モデルの一つとして既に知られている。

ユーザが所有する端末装置における動作を規定する各種パラメータを変更することに対して、情報提供サービスの提供者が課金を行う目的で、サービス提供サーバが、制御装置における動作を規定する所定のパラメータの変更指示を該制御装置に対して送信するステップと、制御装置が、サービス提供サーバから、所定のパラメータの変更指示を受信した場合にのみ該当パラメータの変更を行うステップと、サービス提供サーバが、所定のパラメータの変更指示を制御装置に送信した場合に、これに相当する対価を制御装置のユーザに対して課金するステップが開示されている（特許文献１参照））。

しかしながら、今までの通信端末では、物体（たとえば顔や人）が検出された都度、サービスを提供するサーバに対して認識要求を送信していた。そのため、以前に同じ物体が認識されていた場合に再び認識要求することになり、アプリケーションによっては必要以上に処理要求を実行させてしまうという課題が生じていた。

請求項１に係る発明は、物体の所定部分の画像データを他の装置へ送信することで、画像の照合を行わせる通信端末であって、第１の物体及び第２の物体が撮影されることで得られた各撮影画像から各物体を検出する物体検出手段と、前記物体検出手段によって第１の物体及び第２の物体が検出された回数が所定値を超過又は所定値以上になった場合には、前記第１の物体に基づく第１の画像データ及び前記第２の物体に基づく第２の画像データを、他の装置へ送信する送信手段と、を有することを特徴とする通信端末である。

以上説明したように本発明によれば、必要以上に処理の要求を行うことを抑制することができるという効果を奏する。

本実施形態に係る通信システムの概略図である。 実時間データ処理端末のハードウェア構成図である。 撮像ユニットのハードウェア構成図である。 図４（ａ）は撮像ユニット４０ｂで撮影された半球画像（前側）、図４（ｂ）は撮像ユニット４０ｂで撮影された半球画像（後側）、図４（ｃ）は正距円筒図法により表された画像を示した図である。 近端末データ処理装置又は分散データ処理端末のハードウェア構成図である。 集中データ処理サーバのハードウェア構成図である。 画像取得端末における実時間データ処理端末及び近端末データ処理装置のソフトウェア構成図である。 通信システムの機能ブロック図である。 通信システムの機能ブロック図である。 （ａ）は撮像素子情報管理テーブルの概念図、（ｂ）はサイクル値管理テーブルの概念図である。 （ａ）は画像取得プログラム管理テーブルの概念図、（ｂ）は合成処理プログラム管理テーブルの概念図、（ｃ）は歪み補正プログラム管理テーブルの概念図、（ｄ）はサービスプログラム管理テーブルの概念図である。 照合データ管理テーブルの概念図である。 セッション管理テーブルの概念図である。 端末ＩＤの概念図である。 認証サーバ管理テーブルの概念図である。 認証管理テーブルの概念図である。 認証処理を示したシーケンス図である。 認証処理を示したシーケンス図である。 分散データ処理端末の画面例を示す図である。 分散データ処理端末の画面例を示す図である。 画像認識の開始要求の処理を示したシーケンス図である。 実時間データ処理端末の実時間処理の準備処理を示したシーケンス図である。 プログラムの取得処理を示したシーケンス図である。 画像認識の処理を示したシーケンス図である。 実時間処理のうちの物体検出の処理を示したフローチャートである。 実時間処理のうちのイベント生成の処理を示したフローチャートである。 分散データ処理端末における撮像画像の表示例を示した図である。 照合する処理を示したシーケンス図である。 ある部屋に画像取得端末を設置した場合の撮像ユニットによる撮影範囲を示した図である。 第２の実施形態に係り、図２８に示されている照合する処理の他の例を示すシーケンス図である。

●第１の実施形態
〔全体概略〕
以下、図面を用いて、本発明の第１の実施形態の全体の概略について説明する。本実施形態は、エッジコンピューティングを実現する通信システムを開示している。即ち、本実施形態は、サービス提供サーバ８での処理及び画像取得端末２での処理の協同により、画像取得端末２でサービス提供サーバ８から提供されるサービスを実現する発明を開示している。

〔実施形態の全体構成〕
図1は、本実施形態に係る通信システムの概略図である。図1に示されているように、本実施形態の通信システムは、実時間データ処理端末３、近端末データ処理装置５、分散データ処理端末６、集中データ処理サーバ７、サービス提供サーバ８、及び認証サーバ９ａ，９ｂ，９ｃによって構築されている。なお、実時間データ処理端末３、近端末データ処理装置５、及び分散データ処理端末６によって、分散処理システム１００が構築されている。分散処理システム１００は複数存在するが、図１では、図面を簡略化するため、１つだけ記載している。

近端末データ処理装置５は、イントラネット２００を介して分散データ処理端末６と通信可能に接続されている。分散データ処理端末６は、インターネット６００を介して、集中データ処理サーバ７、サービス提供サーバ８、及び認証サーバ９ａ，９ｂ，９ｃと通信可能に接続されている。なお、認証サーバ９は、認証サーバ９ａ，９ｂ，９ｃの総称である。

これらのうち、実時間データ処理端末３は、撮像画像のデータを得るための実時間処理（リアルタイムの処理）を行なう端末である。実時間データ処理端末３には、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの被写体を撮像する画像センサを備えた撮像ユニット４０が着脱自在に接続される。これにより、実時間データ処理端末３は、撮像ユニット４０から入力された撮像画像のデータ（以下、「撮像画像データ」という）をデジタル化し、実時間（たとえば１／６０秒ごと）で物体（ここでは、顔）の画像を検出する。実時間データ処理端末３は、撮像画像のうちの物体部分の領域である部分画像のデータ（以下、「部分画像データ」という）を近端末データ処理装置５に送信する。

近端末データ処理装置５は、実時間データ処理端末３に最も近いところに配置され、例えばハードウェア的にも密接にデータバスやＵＳＢ(Universal Serial Bus)等で1対1に接続されている。近端末データ処理装置５は、実時間データ処理端末３から受信した部分画像データをＪＰＥＧ(Joint Photographic Experts Group)などの汎用的なフォーマットに符号化した後、顔画像の照合が行なわれる場合の被照合データとして、イントラネット２００を介して分散データ処理端末６に送信する。なお、通常、実時間データ処理端末３と近端末データ処理装置５は接続されて一体になっており、ここでは、実時間データ処理端末３と近端末データ処理装置５とで画像取得端末２を構成している。

分散データ処理端末６は、近端末データ処理装置５に比較的近い位置で利用者によって利用され、利用者の各種操作を受け付けることが可能なコンピュータである。分散データ処理端末６は、予め、顔画像の照合が行なわれる場合の照合データを登録して保存している。分散データ処理端末６は、インターネット６００を介して、集中データ処理サーバ７に、照合データと被照合データとの照合を要求することができる。この場合、分散データ処理端末６は、近端末データ処理装置５から受信した被照合データ、及び予め登録している照合データも送信する。更に、分散データ処理端末６は、集中データ処理サーバ７から、類似度を含む応答情報を応答として受信することができる。また、分散データ処理端末６は、グラフィックインターフェースを介して照合結果を表示させることができる。なお、応答情報には、類似度のほかに、類似度から導かれた物体の名称が含まれていても良い。この物体の名称とは、例えば、自動車、飛行機、列車や物品の名称、人物名や型番、識別コードなどである。

集中データ処理サーバ７は、近端末データ処理装置５から比較的遠い位置に設置されており、分散データ処理端末６とはインターネット６００等の通信ネットワークを介して通信することができる。集中データ処理サーバ７は、照合要求を示す照合要求情報並びに照合データ及び被照合データを受信した場合、照合データ及び被照合データの照合を行い、類似度を判断する。そして、集中データ処理サーバ７は、分散データ処理端末６に対して、類似度を含んだ応答情報を送信する。

サービス提供サーバ８は、画像取得端末２に対して、各種サービスを提供するサーバである。

認証サーバ９ａは、画像取得端末２がサービス提供サーバ８からサービスを受けられる正当な権限があるか否かを判断するためにＩＤの認証を行なう。認証サーバ９ｂ，９ｃも同様である。

〔ハードウェア構成〕
次に、図２乃至図６を用いて、本実施形態の通信システムの各ハードウェア構成について説明する。

＜実時間データ処理端末のハードウェア構成＞
図２は、実時間データ処理端末のハードウェア構成図である。実時間データ処理端末３は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ＥＥＰＲＯＭ３０４、ＣＭＯＳセンサ３０５、加速度・方位センサ３０６、メディアＩ／Ｆ３０８、ＧＰＳ受信部３０９を備えている。

これらのうち、ＣＰＵ３０１は、実時間データ処理端末３全体の動作を制御する。ＲＯＭ３０２は、ＣＰＵ３０１の駆動に用いられるプログラムを記憶する。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして使用される。ＥＥＰＲＯＭ３０４は、ＣＰＵ３０１の制御にしたがって、実時間データ処理端末用プログラム等の各種データの読み出し又は書き込みを行う。ＣＭＯＳセンサ３０５は、ＣＰＵ３０１の制御に従って被写体（主に撮像ユニット４０の死角）を撮像して、撮影画像データを得る。加速度・方位センサ３０６は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ３０８は、フラッシュメモリ等の記録メディア３０７に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部３０９は、ＧＰＳ衛星からＧＰＳ信号を受信する。

また、実時間データ処理端末３は、撮像ユニットＩ／Ｆ３１３、マイク３１４、スピーカ３１５、音入出力Ｉ／Ｆ３１６、ディスプレイ３１７、外部機器接続Ｉ／Ｆ３１８、及びタッチパネル３２１を備えている。

これらのうち、撮像ユニットＩ／Ｆ３１３は、外付けの撮像ユニット４０が接続された場合に、撮像ユニット４０の駆動を制御する回路である。マイク３１４は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ３１６は、ＣＰＵ３０１の制御に従ってマイク３１４及びスピーカ３１５との間で音信号の入出力を処理する回路である。ディスプレイ３１７は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬなどの表示手段の一種である。外部機器接続Ｉ／Ｆ３１８は、各種の外部機器を接続するためのインターフェースである。タッチパネル３２１は、利用者がディスプレイ３１７を押下することで、実時間データ処理端末３を操作する入力手段の一種である。

また、実時間データ処理端末３は、バスライン３１０を備えている。バスライン３１０は、図２に示されているＣＰＵ３０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

＜撮像ユニットのハードウェア構成＞
図３は、撮像ユニットのハードウェア構成図である。特に、図３（ａ）は、撮像ユニット４０のうち、単眼の撮像ユニット４０ａのハードウェア構成図である。図３（ｂ）は、撮像ユニット４０のうち、複眼の撮像ユニット４０ｂのハードウェア構成図である。なお、撮像ユニット４０は、撮像素子の数又はレンズの種類が異なる複数種類の撮像ユニット（撮像ユニット４０ａ、４０ｂ等）の総称である。

図３（ａ）に示されているように、撮像ユニット４０ａは、ＣＭＯＳやＣＣＤ等の撮像素子４０１ａ、レンズ４０２ａ、及び実時間データ処理端末３の撮像ユニットＩ／Ｆ３１３に電気的に接続するための接続Ｉ／Ｆ４０８ａを有している。撮像ユニット４０ａが実時間データ処理端末３の撮像ユニットＩ／Ｆ３１３に接続された場合には、撮像素子４０１ａは、撮像ユニットＩ／Ｆ３１３から接続Ｉ／Ｆ４０８ａを介して送られて来た撮像制御信号により撮像を行い、接続Ｉ／Ｆ４０８ａを介して撮像ユニットＩ／Ｆ３１３に撮像画像データを送信する。

また、図３（ｂ）に示されているように、撮像ユニット４０ｂは、ＣＭＯＳやＣＣＤ等の撮像素子４０１ｂ１，４０１ｂ２、レンズ４０２ｂ１，４０２ｂ２、及び実時間データ処理端末３の撮像ユニットＩ／Ｆ３１３に電気的に接続するための接続Ｉ／Ｆ４０８ｂを有している。レンズ４０２ｂ１，４０２ｂ２は、例えば、魚眼レンズである。撮像ユニット４０ａが実時間データ処理端末３の撮像ユニットＩ／Ｆ３１３に接続された場合には、撮像素子４０１ａは、撮像ユニットＩ／Ｆ３１３から接続Ｉ／Ｆ４０８ａを介して送られて来た撮像制御信号により撮像を行い、接続Ｉ／Ｆ４０８ｂを介して撮像ユニットＩ／Ｆ３１３に、複数の撮像画像データを送信する。

図３（ａ）に示されている撮像ユニット４０ａは、一般の平面画像を得るが、図３（ｂ）に示されている撮像ユニット４０ｂは、全天球画像を得ることができる。ここで、図４を用いて、撮像ユニット４０ｂで撮像された画像から正距円筒射影画像ＥＣが作成されるまでの処理の概略を説明する。なお、図４（ａ）は撮像ユニット４０ｂで撮影された半球画像（前側）、図４（ｂ）は撮像ユニット４０ｂで撮影された半球画像（後側）、図４（ｃ）は正距円筒図法により表された画像（以下、「正距円筒射影画像」という）を示した図である。

図４（ａ）に示されているように、撮像素子４０１ｂ１によって得られた画像は、レンズ４０２ｂ１によって湾曲した半球画像（前側）となる。また、図４（ｂ）に示されているように、撮像素子４０３ｂによって得られた画像は、レンズ４０２ｂ２によって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは合成され、図４（ｃ）に示されているように、正距円筒射影画像ＥＣが作成される。

＜近端末データ処理装置、分散データ処理端末のハードウェア構成＞
図５は、近端末データ処理装置又は分散データ処理端末のハードウェア構成図である。ここでは、近端末データ処理装置５と分散データ処理端末６とは、同じハードウェア構成を備えている場合を示しているため、近端末データ処理装置５について説明し、分散データ処理端末６の説明は省略する。

図５に示されているように、近端末データ処理装置５は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＥＥＰＲＯＭ５０４、ＣＭＯＳセンサ５０５、加速度・方位センサ５０６、メディアＩ／Ｆ５０８、ＧＰＳ受信部５０９を備えている。

これらのうち、ＣＰＵ５０１は、近端末データ処理装置５全体の動作を制御する。ＲＯＭ５０２は、ＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＥＥＰＲＯＭ５０４は、ＣＰＵ５０１の制御にしたがって、近端末データ処理装置用プログラム等の各種データの読み出し又は書き込みを行う。ＣＭＯＳセンサ５０５は、ＣＰＵ５０１の制御に従って被写体（主に近端末データ処理装置５を操作するユーザの自画像）を撮像し、撮影画像データを得る。加速度・方位センサ５０６は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ５０８は、フラッシュメモリ等の記録メディア５０７に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部５０９は、ＧＰＳ衛星からＧＰＳ信号を受信する。

また、近端末データ処理装置５は、遠距離通信回路５１１、遠距離通信回路５１１のアンテナ５１１ａ、ＣＭＯＳセンサ５１２、撮像素子Ｉ／Ｆ５１３、マイク５１４、スピーカ５１５、音入出力Ｉ／Ｆ５１６、ディスプレイ５１７、外部機器接続Ｉ／Ｆ５１８、近距離通信回路５１９、近距離通信回路５１９のアンテナ５１９ａ、及びタッチパネル５２１を備えている。

これらのうち、遠距離通信回路５１１は、イントラネット２００を介して、他の機器と通信する回路である。ＣＭＯＳセンサ５１２は、ＣＰＵ５０１の制御に従って被写体を撮像して、撮影画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ５１３は、カメラ５１２の駆動を制御する回路である。マイク５１４は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ５１６は、ＣＰＵ５０１の制御に従ってマイク５１４及びスピーカ５１５との間で音信号の入出力を処理する回路である。ディスプレイ５１７は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬなどの表示手段の一種である。外部機器接続Ｉ／Ｆ５１８は、各種の外部機器を接続するためのインターフェースである。近距離通信回路５１９は、ＮＦＣ(Near Field radio Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。タッチパネル５２１は、利用者がディスプレイ５１７を押下することで、近端末データ処理装置５を操作する入力手段の一種である。

また、近端末データ処理装置５は、バスライン５１０を備えている。バスライン５１０は、図５に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

＜集中データ処理サーバ、サービス提供サーバ、認証サーバのハードウェア構成＞
図６は、集中データ処理サーバ、サービス提供サーバ、又は認証サーバのハードウェア構成図である。ここでは、集中データ処理サーバ７、サービス提供サーバ８、及び認証サーバ９は、同じハードウェア構成を備えている場合を示しているため、集中データ処理サーバ７について説明し、サービス提供サーバ８及び認証サーバ９の説明は省略する。

図６は、集中データ処理サーバのハードウェア構成図である。集中データ処理サーバ７は、コンピュータによって構築されており、図６に示されているように、ＣＰＵ７０１、ＲＯＭ７０２、ＲＡＭ７０３、ＨＤ７０４、ＨＤＤ(Hard Disk Drive)７０５、記録メディア７０６、メディアＩ／Ｆ７０７、ディスプレイ７０８、ネットワークＩ／Ｆ７０９、キーボード７１１、マウス７１２、ＣＤ−ＲＷドライブ７１４、及び、バスライン７１０を備えている。なお、集中データ処理サーバ７は、サーバとして機能するため、キーボード７１１やマウス７１２等の入力装置や、ディスプレイ７０８等の出力装置はなくてもよい。

これらのうち、ＣＰＵ７０１は、集中データ処理サーバ７全体の動作を制御する。ＲＯＭ７０２は、ＣＰＵ７０１の駆動に用いられるプログラムを記憶する。ＲＡＭ７０３は、ＣＰＵ７０１のワークエリアとして使用される。ＨＤ７０４は、プログラム等の各種データを記憶する。ＨＤＤ７０５は、ＣＰＵ７０１の制御にしたがってＨＤ７０４に対する各種データの読み出し又は書き込みを制御する。メディアＩ／Ｆ７０７は、フラッシュメモリ等の記録メディア７０６に対するデータの読み出し又は書き込み（記憶）を制御する。ディスプレイ７０８は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。ネットワークＩ／Ｆ７０９は、インターネット６００を利用してデータ通信をするためのインターフェースである。キーボード７１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。マウス７１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＣＤ−ＲＷドライブ７１４は、着脱可能な記録媒体の一例としてのＣＤ−ＲＷ(Compact Disc-ReWritable)７１３に対する各種データの読み出し等を制御する。

また、集中データ処理サーバ７は、バスライン７１０を備えている。バスライン７１０は、図６に示されているＣＰＵ７０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

〔ソフトウェア構成〕
図７は、画像取得端末における実時間データ処理端末及び近端末データ処理装置のソフトウェア構成図である。

図７に示されているように、実時間データ処理端末３は、ＯＳ３００、及び画像認識アプリケーション（以下、「アプリケーション」は「アプリ」と示す）ＡＰ１を有している。画像認識アプリＡＰ１は、実時間データ処理端末３のＲＡＭ３０３の作業上で動作する。このうち、ＯＳ３００は、基本的な機能を提供し、実時間データ処理端末３全体を管理する基本ソフトウェアである。画像認識アプリＡＰ１は、撮像画像から人物や動物等の顔を認識するためのアプリである。

また、近端末データ処理装置５は、ＯＳ５００、及び通信アプリＡＰ２を有している。通信アプリＡＰ２は、近端末データ処理装置５のＲＡＭ５０３の作業上で動作する。このうち、ＯＳ５００は、基本的な機能を提供し、近端末データ処理装置５全体を管理する基本ソフトウェアである。通信アプリＡＰ２は、分散データ処理端末６等の他の端末（装置）と通信を行うためのアプリである。

このように、画像取得端末２では、実時間データ処理端末３が画像認識を行うのに対して、近端末データ処理装置５がイントラネット２００を介して分散データ処理端末６と通信を行なうことで、分散処理を行なうことができる。

なお、実時間データ処理端末３及び近端末データ処理装置５は、ＯＳだけでなく、ドライバ、ソフトウェア開発キット(SDK)、またはアプリケーションプログラミングインタフェース(API)を搭載しており、それぞれが異なっていてもよい。

続いて、図面を用いて、本発明の一実施形態の機能構成及び処理について説明する。

〔機能構成〕
まず、図８乃至図１６を用いて、本実施形態に係る通信システムを構成する端末、装置、及びサーバの各機能構成について説明する。図８は、実施形態に係る通信システムの機能ブロック図である。図８は、特に画像取得端末２の機能ブロックを示している。

＜実時間データ処理端末の機能構成＞
図８に示されているように、実時間データ処理端末３は、判断部３３、画像処理部３４、物体検出部３５、イベント生成部３６、表示制御部３７、接続部３８、記憶・読出部３９、及び通信部４８を有している。これら各部は、図２に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ３０４からＲＡＭ３０３上に展開されたプログラムに従ったＣＰＵ３０１からの命令によって、動作することで実現される機能又は手段である。

また、実時間データ処理端末３は、図２に示されているＲＯＭ３０２、ＲＡＭ３０３、及びＥＥＰＲＯＭ３０４によって構築される記憶部３０００を有している。記憶部３０００には、後述の形状モデルデータが記憶されている。更に、記憶部３０００には、撮像素子情報管理ＤＢ３００１、サイクル値管理ＤＢ３００２、画像取得プログラム管理ＤＢ３００３、合成処理プログラム管理ＤＢ３００４、歪み補正プログラム管理ＤＢ３００５、及びサービスプログラム管理ＤＢ３００６が構築されている。

撮像素子情報管理ＤＢ３００１は、後述の撮像素子情報管理テーブルによって構成されている。サイクル値管理ＤＢ３００２は、後述のサイクル値管理テーブルによって構成されている。画像取得プログラム管理ＤＢ３００３は、後述の画像取得プログラム管理テーブルによって構成されている。合成処理プログラム管理ＤＢ３００４は、後述の合成処理プログラム管理テーブルによって構成されている。歪み補正プログラム管理ＤＢ３００５は、後述の歪み補正プログラム管理テーブルによって構成されている。サービスプログラム管理ＤＢ３００６は、後述のサービスプログラム管理テーブルによって構成されている。

（撮像素子情報管理テーブル）
図１０（ａ）は、撮像素子情報管理テーブルを示す概念図である。この撮像素子情報管理テーブルでは、撮像ユニット４０の型番、及び撮像ユニット４０が有する撮像素子の数、及びこの撮像素子に使われるレンズの種類が関連付けて管理されている。なお、型番は、撮像素子の数及びこの撮像素子に使われるレンズの種類の違いに応じた撮像ユニットの種類を示す種類情報の一例である。また、撮像素子数や、レンズの種類が特定できるものであれば、型番に限らず、製品番号、バーコードなどの識別情報であってもよい。

（サイクル値管理テーブル）
図１０（ｂ）は、サイクル値管理テーブルを示す概念図である。このサイクル値管理テーブルでは、撮像ユニット４０が有する撮像素子の数、及び後述の物体認識の処理のサイクル値(Frames Per Second)が関連付けて管理されている。

図１１に示されている各テーブルは、各プログラムが、実時間データ処理端末３にインストールされているか否かを管理するためのテーブルである。

（画像取得プログラム管理テーブル）
図１１（ａ）は、画像取得プログラム管理テーブルを示す概念図である。この画像取得プログラム管理テーブルでは、撮像ユニット４０が有する撮像素子の数、及び画像取得プログラム（又はこの名称）が関連付けて管理されている。例えば、撮像素子の数「１」の場合の画像取得プログラムが実時間データ処理端末３にインストールされている場合には、プログラム「ProgC01 (1系統の画像取得)」が関連付けて管理されている。撮像素子の数「２」の場合の画像取得プログラムが実時間データ処理端末３にインストールされている場合には、プログラム「ProgC02 (２系統の画像取得)」が関連付けて管理されている。

（合成処理プログラム管理テーブル）
図１１（ｂ）は、合成処理プログラム管理テーブルを示す概念図である。この合成処理プログラム管理テーブルでは、撮像ユニット４０が有する撮像素子の数、及び合成処理プログラムの名称が関連付けて管理されている。

（歪み補正プログラム管理テーブル）
図１１（ｃ）は、歪み補正プログラム管理テーブルを示す概念図である。この歪み補正プログラム管理テーブルでは、撮像ユニット４０が有するレンズの種類、及び歪み補正プログラム（又はこの名称）が関連付けて管理されている。例えば、レンズの種類「広角」の場合の歪み補正プログラムが実時間データ処理端末３にインストールされている場合には、プログラム「ProgW01（広角歪み補正）」が関連付けて管理されている。レンズの種類「魚眼」の場合の歪み補正プログラムが実時間データ処理端末３にインストールされている場合には、プログラム「ProgW02（魚眼歪み補正）」が関連付けて管理されている。

（サービスプログラム管理テーブル）
図１１（ｄ）は、サービスプログラム管理テーブルを示す概念図である。このサービスプログラム管理テーブルでは、認証サーバを識別するための認証サーバＩＤ、及び画像取得端末２が提供されるサービスを実行するためのサービスプログラムの名称が関連付けて管理されている。例えば、認証サーバＩＤ「ａ０１」の場合のサービスプログラムが実時間データ処理端末３にインストールされている場合には、プログラム「ProgD01 (物体検出)」が関連付けて管理されている。また、認証サーバＩＤ「ａ０２」の場合のサービスプログラムが実時間データ処理端末３にインストールされている場合には、プログラム「ProgD02 (物体計数）」が関連付けて管理されている。

（実時間データ処理端末の各機能構成）
次に、図８を用いて、実時間データ処理端末３の各機能構成について更に詳細に説明する。

実時間データ処理端末３の判断部３３は、ＣＰＵ３０１の処理によって実現され、各種判断を行なう。例えば、判断部３３は、撮像ユニット４０から送られて来る型番に基づき、撮像素子情報管理ＤＢ３００１を参考にして、撮像素子の数を判断する。

画像処理部３４は、ＣＰＵ３０１の処理によって実現され、図１１に示されている各プログラム（画像取得プログラム、画像合成プログラム、歪み補正プログラム、及びサービスプログラム）の実行により、各種画像処理を行なう。具体的には、画像処理部３４は、取得するために認証が不要な第１のプログラム（例えば、画像取得プログラム、画像合成プログラム、及び歪み補正プログラム）を実行することで、画像データに対して第１の画像処理（例えば、画像取得、画像合成、歪み補正）を行なう。また、画像処理部３４は、取得するために認証が必要な第２のプログラム（例えば、サービスプログラム）を実行することで、画像データに対して第２の画像処理（例えば、物体検出処理、物体計数処理）を行なう。

物体検出部３５は、ＣＰＵ３０１の処理によって実現され、画像処理部３４で取得された撮像画像のデータにおいて、画像処理により、顔などの予め決められた特定の物体の候補となる特徴点を検出し、顔などの予め定められた特定の物体の形状モデルを示す形状モデルデータを参照して、撮像画像の中の物体の位置を検出する。

イベント生成部３６は、ＣＰＵ３０１の処理によって実現され、物体検出部３５で物体の位置が検出された旨の検出情報（イベント情報）を生成する。

表示制御部３７は、ＣＰＵ３０１の処理によって実現され、表示手段の一例であるディスプレイ３１７に各種画面を表示させる。

接続部３８は、撮像ユニットＩ／Ｆ３１３、及びＣＰＵ３０１の処理によって実現され、撮像ユニット４０を実時間データ処理端末３に機械的及び電気的に接続するためのインターフェースである。

記憶・読出部３９は、ＣＰＵ３０１の処理によって実現され、記憶部３０００に各種データ（または情報）を記憶したり、記憶部３０００から各種データ（または情報）を読み出したりする。

通信部４８は、外部機器接続Ｉ／Ｆ３１８、及びＣＰＵ３０１の処理によって実現され、1対1の通信を介して近端末データ処理装置５の後述の通信部５８と各種データ（または情報）の送受信を行う。なお、この通信は有線だけでなく無線であってもよい。

＜近端末データ処理装置の機能構成＞
図８に示されているように、近端末データ処理装置５は、送受信部５１、データ検出部５６、表示制御部５７、通信部５８、及び記憶・読出部５９を有している。これら各部は、図５に示されている各構成要素のいずれかが、近端末データ処理装置５において、ＥＥＰＲＯＭ５０４からＲＡＭ５０３上に展開されたプログラムに従ったＣＰＵ５０１からの命令によって、動作することで実現される機能又は手段である。

また、近端末データ処理装置５は、図５に示されているＲＯＭ５０２、ＲＡＭ５０３、及びＥＥＰＲＯＭ５０４によって構築される記憶部５０００を有している。

（近端末データ処理装置の各機能構成）
次に、図８を用いて、近端末データ処理装置５の各機能構成について更に詳細に説明する。

近端末データ処理装置５の送受信部５１は、遠距離通信回路５１１、アンテナ５１１ａ、及びＣＰＵ５０１の処理によって実現され、通信ネットワーク（ここでは、イントラネット２００）を介して、分散データ処理端末６との間で各種データ（または情報）の送受信を行う。

データ検出部５６は、ＣＰＵ５０１の処理によって実現され、実時間データ処理端末３からのデータを受信するべきイベントが発生しているか否か、データの受信が完了したか否かを検出する。

表示制御部５７は、ＣＰＵ５０１の処理によって実現され、表示手段の一例であるディスプレイ５１７に各種画面を表示させる。

通信部５８は、外部機器接続Ｉ／Ｆ５１８、及びＣＰＵ５０１の処理によって実現され、1対1の通信を介して実時間データ処理端末３の通信部４８と各種データ（または情報）の送受信を行う。なお、この通信は有線だけでなく、無線であってもよい。

記憶・読出部５９は、ＣＰＵ５０１の処理によって実現され、記憶部５０００に各種データ（または情報）を記憶したり、記憶部５０００から各種データ（または情報）を読み出したりする。

＜分散データ処理端末の機能構成＞
図９に示されているように、分散データ処理端末６は、送受信部６１、受付部６２、判断部６３、表示制御部６７、及び記憶・読出部６９を有している。これら各部は、図５に示されている各構成要素のいずれかが、分散データ処理端末６において、ＥＥＰＲＯＭ５０４からＲＡＭ５０３上に展開されたプログラムに従ったＣＰＵ５０１からの命令によって、動作することで実現される機能又は手段である。

また、分散データ処理端末６は、図５に示されているＲＯＭ５０２、ＲＡＭ５０３、及びＥＥＰＲＯＭ５０４によって構築される記憶部６０００を有している。この記憶部６０００には、照合データが記憶されている。更に、記憶部６０００には、照合データ管理ＤＢ６００１が構築されている。照合データ管理ＤＢ６００１は、後述の照合データ管理テーブルによって構成されている。なお、照合データは、分散データ処理端末６以外の他のデータ管理サーバ等で記憶してもよい。

（照合データ管理テーブル）
図１２は、照合データ管理テーブルを示す概念図である。この照合データ管理テーブルでは、照合データのファイル名を示す画像ファイル、及び照合画像で示される人物の名前が関連付けて管理されている。なお、照合データ管理テーブルの概念図は、ここに示すほか、照合データのファイル名と、照合結果や、照合対象名の３つの項目が設定されても良い。具体的には、照合データのファイル名として、照合要求を行った２つのデータまたは、他の実施形態で示した１つのデータのファイル名を設定する。照合結果の項目には、集中データ処理サーバから提供される応答情報に基づく、判断結果である「ＯＫ」や「ＮＧ」の照合結果が設定される。さらに、照合対象名は、集中データ処理サーバから提供される、照合結果の物体に対する名称（例えば、車や飛行機、列車の名称、型番、人物名、物品名や識別コード）が設定される。

（分散データ処理端末の各機能構成）
分散データ処理端末６の送受信部６１は、分散データ処理端末６における、遠距離通信回路５１１、アンテナ５１１ａ、及びＣＰＵ５０１の処理によって実現され、通信ネットワーク（ここでは、インターネット６００）を介して、集中データ処理サーバ７と各種データ（または情報）の送受信を行う。例えば、送受信部６１は、照合データと被照合データとの照合要求を集中データ処理サーバ７に対して送信したり、集中データ処理サーバ７から送られて来た照合結果に対する処理を行ったりする。

受付部６２は、分散データ処理端末６における、タッチパネル５２１、及びＣＰＵ５０１の処理によって実現され、利用者の各種操作を受け付ける。

判断部６３は、分散データ処理端末６におけるＣＰＵ５０１の処理によって実現され、各種判断を行なう。

表示制御部６７は、分散データ処理端末６におけるＣＰＵ５０１の処理によって実現され、表示手段の一例であるディスプレイ５１７に各種画面を表示させる。

記憶・読出部６９は、分散データ処理端末６におけるＣＰＵ５０１の処理によって実現され、記憶部６０００に各種データ（または情報）を記憶したり、記憶部６０００から各種データ（または情報）を読み出したりする。例えば、記憶・読出部６９は、受付部６２で受け付けられた登録要求により、照合データ（ここでは、顔画像データ）を記憶部６０００に記憶して登録させる。これ以外にも、記憶・読出部６９は、検出対象となった照合データと被照合データとを記憶部６０００（照合データ管理ＤＢ６００１）に記憶して登録させることでも良い。

＜集中データ処理サーバの機能構成＞
図９に示されているように、集中データ処理サーバ７は、送受信部７１、受付部７２、特徴量生成部７４、照合部７５、及び記憶・読出部７９を有している。これら各部は、図６に示されている各構成要素のいずれかが、分散データ処理端末６において、ＨＤ７０４からＲＡＭ７０３上に展開されたプログラムに従ったＣＰＵ７０１からの命令によって、動作することで実現される機能又は手段である。

また、集中データ処理サーバ７は、図６に示されているＲＯＭ７０２、ＲＡＭ７０３、及びＨＤ７０４によって構築される記憶部７０００を有している。記憶部７０００には、後述の照合側の特徴量データと、当該特徴量を持つ物体名称や識別コードなどが記憶されている。

（集中データ処理サーバの各機能構成）
集中データ処理サーバ７の送受信部７１は、ネットワークＩ／Ｆ７０９、及びＣＰＵ７０１の処理によって実現され、通信ネットワーク（ここでは、インターネット６００）を介して、分散データ処理端末６と各種データ（または情報）の送受信を行う。送受信部７１は、照合データと被照合データとの照合要求を分散データ処理端末６から受信したり、分散データ処理端末６に対して類似度を含む応答情報を送信したりする。

受付部７２は、キーボード７１１、マウス７１２、及びＣＰＵ７０１の処理によって実現され、利用者の各種操作を受け付ける。

特徴量生成部７４は、ＣＰＵ７０１の処理によって実現され、送受信部７１によって受信された被照合データ（部分画像データ）及び照合データから特徴量のパラメータを生成する。

照合部７５は、ＣＰＵ７０１の処理によって実現され、特徴量生成部７４で生成された特徴量を用いて照合データ側の特徴量と被照合データ側の特徴量とを照合し、類似度を示す得点（ポイント）を算出する。

記憶・読出部７９は、ＣＰＵ７０１の処理によって実現され、記憶部７０００に各種データ（または情報）を記憶したり、記憶部７０００から各種データ（または情報）を読み出したりする。

＜サービス提供サーバの機能構成＞
次に、図９、図１３乃至図１５を用いて、サービス提供サーバ８の各機能構成について詳細に説明する。図９に示されているように、サービス提供サーバ８は、送受信部８１、判断部８２、取出部８７、及び記憶・読出部８９を有している。これら各部は、図６に示されている各構成要素のいずれかが、ＨＤ７０４からＲＡＭ７０３上に展開されたサービス提供サーバ８用プログラムに従ったＣＰＵ７０１からの命令によって動作することで実現される機能又は手段である。

また、サービス提供サーバ８は、図６に示されているＲＡＭ７０３、及びＨＤ７０４によって構築される記憶部８０００を有している。この記憶部８０００には、分散データ処理端末６又は認証サーバ９から送られて来る各種データが記憶される。また、記憶部８０００には、図１１で示されている各プログラムが全て記憶されており、サービス提供サーバ８は、実時間データ処理端末３の要求に応じて、要求対象のプログラムを送信することができる。

更に、記憶部８０００には、セッション管理ＤＢ８００１、及び認証サーバ管理ＤＢ８００２が構築されている。このうち、セッション管理ＤＢ８００１は、後述のセッション管理テーブルによって構成されている。認証サーバ管理ＤＢ８００２は、後述の認証サーバ管理テーブルによって構成されている。以下、各テーブルについて詳細に説明する。

（セッション管理テーブル）
図１３は、セッション管理テーブルを示す概念図である。このセッション管理テーブルでは、分散データ処理端末６にサービスを提供するために、分散データ処理端末６と確立する通信セッションを識別するためのセッションＩＤ、分散データ処理端末６を識別するための端末ＩＤ、及び端末ＩＤで示される利用者の分散データ処理端末６のＩＰアドレスが関連付けて記憶されて管理されている。

図１４（ａ）、（ｂ）、（ｃ）は、端末ＩＤ(identification)の一例として、電子メールアドレスを示しており、それぞれ認証対象部分と認証対象外部分によって構成されている。認証対象部分は、認証サーバ９によって認証される際に利用される利用者ＩＤである。認証対象外部分は、認証サーバ９によって認証される際に利用されない部分である。

このうち、図１４（ａ）に示されている第１のパターンでは、認証対象部分は、アカウント名”asai”、ホスト名”myhost”、及びドメイン名の前段部分“ricoo.com”によって構成されている。一方、認証対象外部分は、ドメイン名の後段部分”theta1”によって構成されている。この場合、取出部８７は、”/”によって、認証対象部分と認証対象外部分を区別する。

また、図１４（ｂ）も第１のパターンを示しているが、認証対象外部分が図１４（ａ）と異なる。即ち、認証サーバ９は、図１４（ａ）に示されている端末ＩＤと、図１４（ｂ）に示されている端末ＩＤでは、認証対象部分が同じであるため、同じＩＤとして認証する。

なお、端末ＩＤは、図１４（ｃ）に示されている第２のパターンであってもよい。この第２のパターンでは、認証対象部分は、アカウント名の前段部分”asai”によって構成されている。一方、認証対象外部分は、アカウント名の後段部分”theta2”、ホスト名”myhost”、及びドメイン名“ricoo.com”によって構成されている。この場合、取出部８７は、”+”によって、認証対象部分と認証対象外部分を区別する。

（認証サーバ管理テーブル）
図１５は、認証サーバ管理テーブルを示す概念図である。この認証サーバ管理テーブルでは、各認証サーバ９を識別するための認証サーバＩＤ毎に、各認証サーバ９にアクセスするためのＵＲＬ(Uniform Resource Locator)が関連付けて記憶されて管理されている。

（サービス提供サーバの各機能構成）
次に、図９を用いて、サービス提供サーバ８の各機能構成について詳細に説明する。

サービス提供サーバ８の送受信部８１は、主に、図６に示されているＣＰＵ７０１からの命令、及びネットワークＩ／Ｆ７０９によって実現され、通信ネットワーク６００を介して分散データ処理端末６、又は認証サーバ９と各種データ（または情報）の送受信を行う。

判断部８２は、主に、図６に示されているＣＰＵ７０１からの命令によって実現され、例えば、分散データ処理端末６にサービスを提供するための通信セッションが既に確立されているか否かを判断する。

取出部８７は、主に、図６に示されているＣＰＵ７０１からの命令によって実現され、端末ＩＤから、図１４に示されているような利用者ＩＤ（認証対象部分）を取り出す処理を行う。

記憶・読出部８９は、主に、図６に示されているＣＰＵ７０１からの命令、及びＨＤＤ７０５によって実現され、記憶部８０００に各種データを記憶したり、記憶部８０００から各種データを読み出したりする。

＜認証サーバの機能構成＞
次に、図９及び図１１を用いて、認証サーバ９の機能構成について詳細に説明する。認証サーバ９は、送受信部９１、認証部９２、及び、記憶・読出部９９を有している。これら各部は、図６に示されている各構成要素のいずれかが、ＨＤ７０４からＲＡＭ７０３上に展開された認証サーバ９用プログラムに従ったＣＰＵ７０１からの命令によって動作することで実現される機能又は手段である。

また、認証サーバ９は、図６に示されているＲＡＭ７０３、及びＨＤ７０４によって構築される記憶部９０００を有している。この記憶部９０００には、分散データ処理端末６又はサービス提供サーバ８から送られて来る各種データが記憶される。

更に、記憶部９０００には、認証管理ＤＢ９００１が構築されている。認証管理ＤＢ９００１は、後述の認証管理テーブルによって構成されている。以下、このテーブルについて詳細に説明する。

（認証管理テーブル）
図１６（ａ）は認証サーバ９ａが有する認証管理テーブルを示す概念図、図１６（ｂ）は認証サーバ９ｂが有する認証管理テーブルを示す概念図、図１６（ｃ）は認証サーバ９ｃが有する認証管理テーブルを示す概念図である。

各認証管理テーブルでは、端末ＩＤのうちの利用者ＩＤ（認証対象部分）とパスワードとが関連付けて記憶されて管理されている。

（認証サーバの各機能構成）
次に、図９を用いて、認証サーバ９の各機能構成について詳細に説明する。

認証サーバ９の送受信部９１は、主に、図６に示されているＣＰＵ７０１からの命令、及びネットワークＩ／Ｆ７０９によって実現され、インターネット６００を介して分散データ処理端末６及びサービス提供サーバ８と各種データ（または情報）の送受信を行う。

認証部９２は、主に、図６に示されているＣＰＵ７０１からの命令によって実現され、認証要求を送信した画像取得端末２に、サービスを受けられる正当な権限があるか否かを判断することで、分散データ処理端末６のＩＤの認証を行なう。このような認証を実施するのは、分散データ処理端末６が、画像取得端末２を管理していることに由来する。

記憶・読出部９９は、主に、図６に示されているＣＰＵ７０１からの命令、及びＨＤＤ７０５によって実現され、記憶部９０００に各種データ（または情報）を記憶したり、記憶部９０００から各種データ（または情報）を読み出したりする。

〔本実施形態の処理又は動作〕
続いて、図１７乃至図２９を用いて、本実施形態の処理又は動作について説明する。

＜認証処理＞
まずは、図１７乃至図２０を用いて、認証処理について説明する。図１７及び図１８は、認証処理を示したシーケンス図である。図１９及び図２０は、分散データ処理端末の画面例を示す図である。

図１７に示されているように、分散データ処理端末６の送受信部６１からサービス提供サーバ８に対して、認証先選択画面の要求を送信する（ステップＳ２１）。この要求には、分散データ処理端末６の端末ＩＤが含まれている。また、この際、送受信部６１は、自端末のＩＰアドレスを送信する。これにより、サービス提供サーバ８の送受信部８１は、認証先選択画面の要求、及び分散データ処理端末６のＩＰアドレスを受信する。

次に、サービス提供サーバ８の判断部８２は、セッション管理テーブル（図１３参照）に、ステップＳ２１で受信された端末ＩＤが所定のセッションＩＤと関連づけて管理されているか否かを判断する（ステップＳ２２）。以降、端末ＩＤが管理されていなかった場合について説明する。

サービス提供サーバ８の送受信部８１は分散データ処理端末６に対して、認証先選択画面のデータを送信する（ステップＳ２３）。これにより、分散データ処理端末６の送受信部６１は、認証先選択画面のデータを受信する。

次に、分散データ処理端末６の表示制御部６３はディスプレイ５１７に対して、図１９に示されているような認証先選択画面ｓ１を表示させる（ステップＳ２４）。図１９では、分散データ処理端末６としての画面例が示されている。この認証先選択画面ｓ１には、端末ＩＤの入力欄ｂ１、パスワードの入力欄ｂ２、及びログイン要求（認証要求）するためのログインボタンｂ３が表示されている。更に、認証先選択画面ｓ１には、認証サーバ９ａ，９ｂ，９ｃをそれぞれ選択するための認証サーバ選択ボタンａ１，ａ２，ａ３が表示されている。例えば、認証サーバ選択ボタンａ１は、利用者が物体検出処理のサービスを受ける場合のボタンである。認証サーバ選択ボタンａ２は、利用者が物体計数処理のサービスを受ける場合のボタンである。

ここで、利用者が、入力欄ｂ１に自己の端末ＩＤ、入力欄ｂ２に自己のパスワードを入力し、認証サーバ選択ボタンａ１，ａ２，ａ３のうち所望のボタンを押下し、ログインボタンｂ３を押下すると、受付部６２が各入力及び選択を受け付ける（ステップＳ２５）。ここでは、認証サーバ選択ボタンａ１が選択されることで、画像認識処理のうち、物体検出処理プログラムProgD01により物体検出処理が実行される場合について説明する。

送受信部６１はサービス提供サーバ８に対して、ＩＤ（ここでは、端末ＩＤ又は利用者ＩＤ）の認証要求を送信する（ステップＳ２６）。この認証要求には、ステップＳ２５で受け付けられた端末ＩＤ及びパスワード、並びに認証サーバ９の選択結果及び分散データ処理端末６のＵＲＬが含まれている。この選択結果は、認証サーバ９を識別するための認証サーバＩＤを示している。これにより、サービス提供サーバ８の送受信部８１は、ＩＤの認証要求を受信する。

次に、サービス提供サーバ８の記憶・読出部８９は、ステップＳ２６で受信された選択結果としての認証サーバＩＤを検索キーとして、認証サーバ管理テーブル（図１５参照）を検索することにより、対応する認証サーバのＵＲＬを読み出す（ステップＳ２７）。

次に、取出部８７は、ステップＳ２６で受信された端末ＩＤのうち、利用者ＩＤ（認証対象部分）のみを取り出す（ステップＳ２８）。そして、送受信部８１は、ステップＳ２７で読み出されたＵＲＬで示される認証サーバ９に対して、ＩＤの認証要求を送信する（ステップＳ２９）。このＩＤの認証要求には、ステップＳ２８で取り出された利用者ＩＤ（認証対象部分）、ステップＳ２６で受信されたパスワード、及びステップ２６で受信された分散データ処理端末６のＵＲＬが含まれている。これにより、認証サーバ９の送受信部７１は、利用者の認証要求を受信する。

次に、認証サーバ９の記憶・読出部９９は、ステップＳ２９によって受信された利用者ＩＤ（認証対象部分）及びパスワードの組を検索キーとし、認証管理テーブル（図１６参照）において同じ組の認証対象部分及びパスワードを検索した結果を用いて、認証部９２が認証を行なう（ステップＳ３０）。認証部９２は、同じ組が管理されている場合には、分散データ処理端末６はサービス提供サーバ８からサービスを受けるための正当な端末であると判断し、同じ組が管理されていない場合には、分散データ処理端末６はサービス提供サーバ８からサービスを受けるための正当な端末でないと判断する。

なお、ステップＳ２８では、取出部８７が端末ＩＤから認証対象部分を取り出したが、これに限るものではない。例えば、分散データ処理端末６が、ステップＳ２６の処理の前に端末ＩＤから認証対象部分を取り出してもよい。この場合、ステップＳ２６では、端末ＩＤではなく、利用者ＩＤ（認証対象部分）が送信される。また、認証サーバ９が、ステップＳ２９の処理の後に端末ＩＤから認証対象部分を取り出してもよい。この場合、ステップＳ２９では、利用者ＩＤ（認証対象部分）ではなく、端末ＩＤが送信される。

続いて、図１８に示されているように、認証サーバ９の認証部９２は、トークン（送信権）の暗号化を行なう（ステップＳ４１）。そして、送受信部９１は、ステップＳ２９によって受信された分散データ処理端末６のＵＲＬに基づいて、この分散データ処理端末６に認証結果を送信する（ステップＳ４２）。この認証結果は、分散データ処理端末６が正当であるか否かを示すとともに、ステップＳ４１によって暗号化されたトークンが含まれている。これにより、分散データ処理端末６の送受信部６１は、利用者の認証結果を受信する。以降、利用者が正当な権限を有する場合について説明する。

分散データ処理端末６の送受信部６１は、サービス提供サーバ８に対して、セッション確立要求を送信する（ステップＳ４３）。このセッション確立要求には、端末ＩＤ、及びステップＳ４２で受信された暗号化されているトークンが含まれている。これにより、サービス提供サーバ８の送受信部８１は、セッション確立要求を受信する。

次に、サービス提供サーバ８は、セッション確立要求を送信した分散データ処理端末６が、ステップＳ３０で正当であると判断されたことを確認するため、送受信部８１は認証サーバ９に対してトークンの認証要求を送信する（ステップＳ４４）。このトークンの認証要求には、ステップＳ４３で受信された暗号化されているトークンが含まれている。これにより、認証サーバ９の送受信部９１は、トークンの認証要求を受信する。

次に、認証部９２は、ステップＳ４４によって受信された、暗号化されているトークンを復号化する（ステップＳ４５）。そして、認証部９２は、ステップＳ４１で暗号化する前のトークンと、ステップＳ４５で復号化した後のトークンを比較することで、トークンの認証を行なう（ステップＳ４６）。そして、認証サーバ９の送受信部９１は、サービス提供サーバ８に対して、ステップＳ４６の認証結果を送信する（ステップＳ４７）。これにより、サービス提供サーバ８の送受信部８１は、認証結果を受信する。以降、ステップＳ４６において、トークンが正当であると判断された場合について説明する。

次に、サービス提供サーバ８の記憶・読出部８９は、セッション管理テーブル（図１３参照）において、新たにセッションＩＤを割り当てるとともに、このセッションＩＤに対して、ステップＳ２６で受信された端末ＩＤ及びＩＰアドレスを関連付けて管理する（ステップＳ４８）。そして、送受信部８１は、分散データ処理端末６に対してサービス提供画面のデータを送信する（ステップＳ４９）。これにより、分散データ処理端末６の送受信部６１は、サービス提供画面のデータを受信する。

次に、分散データ処理端末６の表示制御部６３は、ディスプレイ５１７上に、図２０に示されているようなサービス提供画面ｓ２を表示させる（ステップＳ５０）。図２０では、分散データ処理端末６の画面例が示されている。ここでは、サービス提供例として、分散データ処理端末６から画像取得端末２に対する遠隔操作を実現させるための遠隔操作サービスについて説明する。図２０に示されているサービス提供画面ｓ２には、遠隔操作対象を特定するためのＩＰアドレスの入力欄ｃ１、及び「遠隔操作開始」ボタンｃ２が表示されている。

＜画像認識の準備処理＞
続いて、図２１乃至図２３を用いて、画像認識の準備処理について説明する。図２１は、画像認識の開始要求の処理を示したシーケンス図である。

図２１に示されているように、分散データ処理端末６では、受付部６２が利用者から画像認識の開始要求を受け付ける（ステップＳ６１）。この場合、分散データ処理端末６のＧＵＩ(Graphical User Interface)が利用される。これにより、分散データ処理端末６の送受信部６１は、近端末データ処理装置５に対して、画像認識の開始要求を示す画像認識の開始要求情報を送信する（ステップＳ６２）。この開始要求情報には、上述の認証処理（図１７及び図１８参照）で認証を行なった認証サーバ９を識別するための認証サーバＩＤと、図１８で設定されたセッションＩＤが含まれている。これにより、近端末データ処理装置５の送受信部５１は、画像認識の開始要求情報を受信する。そして、通信部５８は、実時間データ処理端末３に対して、画像認識の開始要求情報を送信する（ステップＳ６３）。これにより、実時間データ処理端末３の通信部４８は、画像認識の開始要求情報を受信する。このように、ユーザーインタフェースを実時間データ処理端末３から分離することで、分散データ処理端末６から遠隔（リモート）操作が可能となる。

図２２は、実時間データ処理端末の実時間処理の準備処理を示したシーケンス図である。例えば、図２１で示される開始要求情報を受信した画像取得端末２における実時間データ処理端末は、図２２のシーケンスを実行することになる。

図２２に示されているように、実時間データ処理端末３の接続部３８は、撮像ユニット４０から、この撮像ユニット４０の型番を取得する（ステップＳ７１）。この場合、接続部３８から撮像ユニット４０に型番を要求し、撮像ユニット４０がこの要求に応じて自ユニットの型番を送信する。

次に、記憶・読出部３９は、ステップＳ７１によって取得された型番を検索キーとして、撮像素子情報管理ＤＢ３００１（図１０（ａ）参照）を検索することにより、対応する撮像素子の数、及びレンズの種類を読み出す（ステップＳ７２）。更に、記憶・読出部３９は、ステップＳ７２によって読み出された撮像素子の数を検索キーとして、サイクル値管理ＤＢ３００２（図１０（ｂ）参照）を検索することにより、対応するサイクル値を読み出す（ステップＳ７３）。

次に、記憶・読出部３９は、ステップＳ７２によって読み出された撮像素子の数を検索キーとして、画像取得プログラム管理ＤＢ３００３（図１１（ａ）参照）で管理されている画像取得プログラムを検索する（ステップＳ７４）。次に、記憶・読出部３９は、ステップＳ７２によって読み出された撮像素子の数を検索キーとして、合成処理プログラム管理ＤＢ３００４（図１１（ｂ）参照）で管理されている合成処理プログラムを検索する（ステップＳ７５）。次に、記憶・読出部３９は、ステップＳ７２によって読み出されたレンズの種類を検索キーとして、歪み補正プログラム管理ＤＢ３００５（図１１（ｃ）参照）で管理されている歪み補正プログラムを検索する（ステップＳ７６）。次に、記憶・読出部３９は、ステップＳ７２によって読み出されたレンズの種類を検索キーとして、サービスプログラム管理ＤＢ３００６（図１１（ｄ）参照）で管理されているサービスプログラムを検索する（ステップＳ７７）。

次に、判断部３３は、上記ステップＳ７４〜Ｓ７７の検索結果に基づき、実行するプログラムが管理されているか否かにより、実行するプログラムが全てインストール済みか否かを判断する（ステップＳ７８）。例えば、ステップＳ７４で、記憶・読出部３９が画像処理プログラムを検索した結果、画像処理プログラムが管理されている場合には、判断部３３は、インストール済みと判断し、管理されていない場合には、判断部３３は、インストール済みではないと判断する。

そして、判断部３３によって、４つ全てのプログラムが管理されていると判断された場合には（ステップＳ７８；ＹＥＳ）、図２２に示されている処理は終了する。一方、判断部３３によって、４つのプログラムのうち、少なくとも１つのプログラムがインストールされていないと判断された場合には（ステップＳ７８；ＮＯ）、後述のステップＳ９１へ進む。

図２３は、プログラムの取得処理を示したシーケンス図である。ここでは、実時間データ処理端末３が、図２２に示されている処理によってインストールされていないと判明したプログラムを、サービス提供サーバ８から取得する処理を示している。

まず、図２３に示されているように、実時間データ処理端末３の通信部４８が、近端末データ処理装置５の通信部５８に対して、インストールされていないプログラムの要求を示す要求情報を送信する（ステップＳ９１）。この要求情報には、要求するプログラム名、認証サーバＩＤ、及びセッションＩＤが含まれている。

次に、近端末データ処理装置５の送受信部５１は、通信部５８によって受信された要求情報を、分散データ処理端末６の送受信部６１に送信する（ステップＳ９２）。そして、分散データ処理端末６の送受信部６１は、サービス提供サーバ８の送受信部８１に要求情報を送信する（ステップＳ９３）。

次に、サービス提供サーバ８では、記憶・読出部８９が、認証サーバＩＤ及びセッションＩＤに基づいて、要求の正当性を確認し、要求情報に含まれているプログラム名で示されるプログラムを読み出す（ステップＳ９４）。そして、送受信部８１が、読み出されたプログラムを分散データ処理端末６の送受信部６１に送信する（ステップＳ９５）。この際、プログラム名も送信される。

次に、分散データ処理端末６の送受信部６１は、近端末データ処理装置５の送受信部５１に、プログラム名を含めたプログラムを送信する（ステップＳ９６）。そして、近端末データ処理装置５の通信部５８は、実時間データ処理端末３の通信部４８に対して、プログラム名を含めたプログラムを送信する（ステップＳ９７）。

次に、実時間データ処理端末３の記憶・読出部３９は、通信部４８によって取得されたプログラムをインストールするとともに、図１１に示されている各テーブルのうち、インストールするプログラム名、及び認証サーバＩＤ関連付けて管理する（ステップＳ９８）。

次に、記憶・読出部３９は、画像認識処理に必要な全てのプログラムを起動させる（ステップＳ９９）。これにより、実時間データ処理端末３が、起動されたプログラムを実行することで、以下に示されている実時間処理を開始する。

＜画像認識処理＞
ここでは、図１９に示される「物体検出処理サービスへのログイン」ボタンａ１が押下されて、サービス提供サーバ８が、画像認識処理のサービスのうち、物体検出処理のサービスを実行する場合について説明する。図２４は、画像認識処理を示したシーケンス図である。

まず、実時間データ処理端末３は、実時間処理を行なう（ステップＳ１１１）。ここで、図２５及び図２６を用いて、実時間処理について説明する。図２５は、実時間処理のうちの物体検出の処理を示したフローチャートである。

図２５に示されているように、判断部３３は、接続されている撮像ユニット４０における撮像素子の数が１つであるか否かを判断する（ステップＳ２０１）。この場合、判断部３３は、上述のステップＳ７２の処理によって読み出された撮像素子の数に基づいて判断する。そして、撮像素子の数が１つの場合には（ステップＳ２０１；ＹＥＳ）、画像処理部３４が、処理を繰り返すサイクル値を１／６０秒に設定する（ステップＳ２０２）。この場合、画像処理部３４は、上述のステップＳ７３の処理によって読み出されたサイクル値に設定する。

次に、接続部３８は、撮像ユニット４０から１系統である撮像画像データを取得する（ステップＳ２０３）。この撮像画像データは、デジタル画像データであり、たとえば４Ｋ画像（幅3840画像×高さ2160画素）のデータである。この場合、接続部３８は、図１１（ａ）に示されている画像取得プログラム（ProgC01 (1系統)）により処理を実行する。

次に、物体検出部３５が、撮像画像データにおいて、物体の候補となる特徴点を検出することで、物体を検出する（ステップＳ２０４）。この場合、物体検出部３５は、開始要求情報に含まれる認証サーバＩＤを用いて、適切な認証サーバＩＤを持っているか否かを、サービスプログラム管理テーブル（図１１（ｄ）参照）より判断し、当該ＤＢに示されているサービスプログラム（ProgD01 (物体検出処理)）の実行の可否を判断してから、処理を実行する。物体検出部３５は、予め記憶部３０００に記憶されている物体の形状モデルデータと比較しながら撮像画像の端から矩形を探索し、もっともらしい物体の特徴点の位置を選択する。なお、ステップＳ２０４の処理については、例えば、「顔認識技術とその応用：パブリックセーフティを支える要素技術・ソリューション特集 ; バイオメトリクス認証, NEC技報, Vol.63, no.3, pp.26−30, 2010-09」で開示されているような、既知技術を用いることができる。

次に、画像処理部３４が、検出された物体の画像の歪みを補正する（ステップＳ２０５）。
この場合、画像処理部３４は、図１１（ｃ）に示されている画像処理プログラム（ProgW01（広角歪み補正））により処理を実行する。この処理の実行にあたって、実時間データ処理端末３は開始要求情報に含まれる認証サーバＩＤを用いて、図１１（ｄ）を参照して広角歪み補正プログラムの実行の可否を判断する必要は無い。

一方、上記ステップＳ２０１において、撮像素子の数が１つではない場合には（ステップＳ２０１；ＮＯ）、画像処理部３４は、実時間処理を繰り返すサイクル値を１／３０秒に設定する（ステップＳ２０６）。この場合、画像処理部３４は、上述のステップＳ７３の処理によって読み出されたサイクル値に設定する。サイクル値を１／３０秒とすることで、１入力と比較して、サイクル値を大きく取ることにより、後述の画像合成処理が間に合わなくなることを防ぐことが出来る。

次に、接続部３８は、撮像ユニット４０から２系統である２つの撮像画像データを取得する（ステップＳ２０７）。２つの撮像画像データは、それぞれ図４（ａ）、（ｂ）に示されているような半球画像のデータである。この場合、接続部３８は、図１１（ａ）に示されている画像取得プログラム（ProgC02 (2系統)）により処理を実行する。この処理の実行にあたって、先に示したように、実行の可否を判断する必要は無い。

そして、画像処理部３４は、２つの撮像画像データを合成して、図４（ｃ）に示されているような正距円筒射影画像ＥＣを作成する（ステップＳ２０８）。この場合、画像処理部３４は、図１１（ｂ）に示されている合成処理プログラム（ProgS02 (合成処理)）により処理を実行する。そして、ステップＳ２０４に進み、物体検出部３５は、正距円筒射影画像ＥＣのデータにおいて、物体の候補となる特徴点を検出することで、物体を検出する。この場合、上述したように、物体検出部３５は、開始要求情報に含まれる認証サーバＩＤを用いて、図１１（ｄ）に示されているサービスプログラム（ProgD01 (物体検出処理)）の実行の可否を判断してから、処理を実行する。

次に、ステップＳ２０５によって、画像処理部３４が、検出された物体の画像の歪みを補正する。この場合、画像処理部３４は、図１１（ｃ）に示されている画像処理プログラム（ProgW02(魚眼歪み補正））により処理を実行する。この処理の実行にあたって、実時間データ処理端末３は開始要求情報に含まれる認証サーバＩＤを用いて、サービスプログラム管理テーブル（図１１（ｄ）参照）を参照して魚眼歪み補正プログラムの実行の可否を判断する必要は無い。

以上により、図２４に示されているように、実時間データ処理端末３の通信部４８は、近端末データ処理装置５の通信部５８へ撮像画像データを送信する（ステップＳ１１２）。そして、近端末データ処理装置５の送受信部５１は、ステップＳ１１２で受信された撮像画像データを、分散データ処理端末６の送受信部６１へ送信する（ステップＳ１１３）。これにより、分散データ処理端末６の表示制御部６７は、ディスプレイ５１７に、図２７（ａ）に示されているような撮像画像をリアルタイムで表示させる（ステップＳ１１４）。図２７（ａ）、（ｂ）は、分散データ処理端末における撮像画像の表示例を示した図である。ステップＳ１１２〜Ｓ１１４は、ストリーミングの処理である。

＜通信・通信抑制＞
続いて、図２６乃至図２９を用いて、通信及び通信抑制について説明する。図２６は、実時間処理のうちのイベント生成の処理を示したフローチャートである。図２８は、照合する処理を示したシーケンス図である。図２９は、ある部屋に画像取得端末を設置した場合の撮像ユニットによる撮影範囲を示した図である。

まず、物体検出部３５が顔の検出回数（カウント）を0にセットした後（ステップＳ２１１）、上述のステップＳ２０４の処理によって、物体検出部３５が、２つの物体（ここでは、顔）を検出しなかった場合には（ステップＳ２１２；ＮＯ）、所定時間（設定されているサイクル値）待機後に（ステップＳ２１３）、再びステップＳ２１１の処理に戻る。例えば、検出は1秒間に３０回行われる。

これに対し、上述のステップＳ２０４の処理によって、物体検出部３５が、２つの物体（ここでは、顔）を検出した場合には（ステップＳ２１２；ＹＥＳ）、ステップＳ２１４の処理へ進む。そして、検出された位置が２つのうちのどちらかでも照合可能範囲Ｑにない場合には（ステップＳ２１４；ＮＯ）、ステップＳ２１３の処理に進む。

ここで、図２９を使って照合可能範囲Ｑを説明する。図２９は、ある部屋に画像取得端末２を設置した場合の撮像ユニットによる撮影範囲を示した図である。検出可能範囲Ｐは、撮像ユニット４０の撮影範囲が物体（ここでは、顔）を検出することができる範囲である。この検出可能範囲Ｐ内に、物体（ここでは、顔）の画像を照合可能な照合可能範囲Ｑと、この照合可能範囲Ｑ外であって照合不可能な照合不可能範囲Ｒが含まれる。図２９において、マージンａ、マージンｂは、検出可能範囲Ｐにおいて、それぞれｘ方向の左右端、ｙ方向の上下端に設けられた所定の値である。これらの値は、実時間データ処理端末３が、図２３に示されているステップＳ９７で取得したサービスプログラム内に記憶されている。

上述のステップＳ２０４の処理による顔検出は、撮影範囲である検出可能範囲Ｐの全体にわたって行われる。物体が、マージンａ，ｂできまる矩形の範囲外にある場合は、物体は照合可能範囲Ｑ内にない（つまり照合不可能範囲Ｒ内にある）。ここで、（ｘ１，ｙ１）は、物体が検出された部分画像データの左上隅の座標を示す。

図２６に戻り、判断部３３によって、検出位置が２つとも照合可能範囲Ｑにあると判断された場合には（ステップＳ２１４；ＹＥＳ）、物体検出部３５は検出回数を１つ増やした後に（ステップＳ２１５）、ステップＳ２１６の処理へ進む。例えば、物体が図２９の座標（ｘ２、ｙ２）で示される位置にあれば照合可能範囲Ｑにあると判断される。そして、２つの物体の検出位置が照合可能範囲Ｑにあった場合には（ステップＳ２１６；ＹＥＳ)、ステップＳ２１８の処理に進む。そして、検出回数が所定値（たとえば１０回）を超過していない場合は（ステップＳ２１６；ＮＯ）、所定時間待機後に（ステップＳ２１７）、ステップＳ２１２の処理に戻る。

ステップＳ２１６で、検出回数が所定値を超過した場合のみ次のステップＳ２１８の処理に進むのは、利用者が、図２７（ａ）に示されているように、画像取得端末２の撮像ユニット４０で自分の顔とカード（自分の顔の写真が印刷されたカード）を読み取らせる場合、顔認証したくないような利用者がほんの一瞬だけカードを読み取らせようとしたり、カードを持った利用者が画像取得端末２の前を通りすがったりするような場合には、近端末データ処理装置５から分散データ処理端末６に部分画像データを送信させないようにして、過度な回数の処理要求（若しくは通信回数又は通信量）を抑制するためである（第１の抑制）。

一方、判断部３３によって、検出回数が所定値を超過していないと判断された場合は（ステップＳ２１６；ＹＥＳ）、画像処理部３４は、検出位置での物体を含んだ２つの部分画像データをJPEGなどの汎用形式で符号化する（ステップＳ２１８）。そして、イベント生成部３６は、近端末データ処理装置５に対して部分画像データを送信することを通知するイベントメッセージを生成する（ステップＳ２１９）。具体的には、イベント生成部３６は、”Send”といったイベントメッセージを生成し、検出回数を０に設定（リセット）した後（ステップＳ２２０）、ステップＳ２２１の処理に進む。これにより、図２８に示されているステップＳ１２１の処理が実行され、近端末データ処理装置５から分散データ処理端末６に、利用者の顔とカードに印刷された顔の各部分画像データが送信される。

続いて、図２５のステップＳ２０４の処理によって、画像処理部３４が、２つの物体（ここでは、顔）を検出していた場合には（ステップＳ２２１；ＹＥＳ）、所定時間（設定されているサイクル値）待機後に（ステップＳ２２２）、再びステップＳ２２０の処理に戻り、件数回数が０にリセットされる。この場合、利用者は画像取得端末２でカードの写真を長い間読み取らせていると考えられるため、ステップＳ１２１によって、再度同じ利用者の顔とカードに印刷された顔の各部分画像データが送信されることを防止して、過度な回数の処理要求（若しくは通信回数又は通信量）を抑制する（第２の抑制）。

これに対し、上述のステップＳ２０４の処理によって、画像処理部３４が２つの物体（ここでは、顔）を検出していない場合には（ステップＳ２１２；ＮＯ）、検出回数を1つ増やした後に（ステップＳ２２３）、ステップＳ２２４の処理へ進む。そして検出回数が所定値（たとえば１０回）を超過していない場合は（ステップＳ２２４；ＮＯ）、所定時間（設定されているサイクル値）待機後に（ステップＳ２２５）、ステップＳ２２１の処理に戻る。この場合、利用者は画像取得端末２でカードの写真を短時間だけ自分の方に裏返したりして、まだ同一人物が照合可能範囲Ｑ内にいると考えられるため、ステップＳ２２１によって、再度同じ利用者の顔とカードに印刷された顔の各部分画像データが送信されることを防止して、過度な回数の処理要求、通信回数や通信量を抑制する（第３の抑制）。

一方、検出回数が所定値（たとえば１０回）を超過した場合は（ステップＳ２２４；ＹＥＳ）、ステップＳ２１３の処理に戻る。

以上により、図２４に示されているステップＳ１１１の処理が終了する。これにより、通信部４８は、近端末データ処理装置５の通信部５８に対して、ステップＳ２１９で生成されたイベントメッセージ、及びステップＳ２０５で歪み補正された部分画像データを送信する（ステップＳ１１５）。なお、ステップＳ２０４の処理において、複数の物体（ここでは、顔）が検出された場合には、１つのイベントメッセージと共に、複数の部分画像データが送信される。また、通信システムが、店舗等で利用される場合、実時間データ処理端末３は、イベントメッセージ及び部分画像データを保存しておき、店舗が閉店した後（例えば、夜）に、まとめて近端末データ処理装置５に送信してもよい。

次に、近端末データ処理装置５では、データ検出部５６が、通信部５８によって”Send”のイベントメッセージの受信の有無を検出する（ステップＳ１１６）。そして、イベントメッセージの受信が検出された場合には（ステップＳ１１６；ＹＥＳ）、通信部５８は、イベントメッセージと共に送信された部分画像データを受信する（ステップＳ１１７）。そして、記憶・読出部５９が、記憶部５０００に部分画像データを一時的に記憶する（ステップＳ１１８）。

次に、データ検出部５６は、部分画像データの受信が完了したか否かを監視する（ステップＳ１１９）。このステップＳ１１９の処理は、１つのイベントメッセージにつき、全ての部分画像データが受信されるまで繰り返される（ステップＳ１１９；ＮＯ）。そして、部分画像データの受信が完了した場合には（ステップＳ１１９；ＹＥＳ）、記憶・読出部５９は、記憶部５０００から１つのイベントメッセージと共に送られ、記憶部５０００に一時的に記憶されている全ての部分画像データを読み出す（ステップＳ１２０）。その後、送受信部５１は、イントラネット２００を介して、分散データ処理端末６の送受信部６１に対して、ステップＳ１２０で読み出された全ての（ここでは、２つの）部分画像データを送信する（ステップＳ１２１）。これにより、分散データ処理端末６の送受信部６１は、２つの部分画像データを受信する。２つの部分画像データは、後ほど互いの類似度を比較する対象として利用される。

＜照合処理＞
続いて、図２８を用いて、２つの部分画像データの照合処理について説明する。図２８は、照合する処理を示したシーケンス図である。

まず、上述のステップＳ１２１の処理により、分散データ処理端末６の送受信部６１が、２つの部分画像データを受信すると、インターネット６００を介し、集中データ処理サーバ７に対して、照合要求を示す照合要求情報を送信する（ステップＳ３１４）。この照合要求情報には、２つの部分画像データが含まれている。これにより、集中データ処理サーバ７の送受信部７１は、照合要求情報を受信する。

次に、集中データ処理サーバ７では、特徴量生成部７４が、両データ（２つの部分画像データ）をビットマップデータに復号化する変換を行ない、両データに係る顔画像の目鼻の凹凸や傾き等の個人を識別するための特徴量のパラメータを生成する（ステップＳ３１５）。そして、照合部７５は、両データに係る特徴量のパラメータを比較して類似度を算出する（ステップＳ３１６）。この類似度の算出方法には、例えば、「ディープラーニングと画像認識 : 基礎と最近の動向（＜特集＞ニューロサイエンスと数理モデリング) オペレーションズ・リサーチ : 経営の科学 60(4), 198-204, 2015-04-01」に開示されているような、深層神経回路網(DNN: Deep Neural Network)が利用される。なお、利用者の部分画像データの特徴量のパラメータは、第１の特徴量のパラメータの一例であり、カードの利用者の写真の部分画像データの特徴量のパラメータは、第２の特徴量のパラメータの一例である。

次に、集中データ処理サーバ７の送受信部７１は、インターネット６００を介して、分散データ処理端末６の送受信部６１に対し、ステップＳ３１４の照合要求に対応する応答を示す応答情報を送信する（ステップＳ３１７）。この応答情報には、ステップＳ３１６の計算結果である類似度（例えば、０．９）)が含まれている。これにより、分散データ処理端末６の送受信部６１は、応答情報を受信する。なお、集中データ処理サーバ７は、先に示した類似度が予め定めている閾値より大きい場合には、当該特徴量に対応する当該特徴量を持つ物体名称や識別コードなどを、記憶部７０００から読み出し、この応答情報に含めて、ステップＳ３１７で分散データ処理端末６に送信しても良い。

次に、分散データ処理端末６の判断部６３は、所定の閾値（例えば、０．８）と類似度とを比較し、類似度が閾値より大きければ「ＯＫ」と判断し、そうでなければ「ＮＧ」と判断する（ステップＳ３１８）。そして、表示制御部６７は、分散データ処理端末６のディスプレイ５１７上に、図２７（ａ）に示されているリアルタイムの撮像画像上において、図２７（ｂ）に示されているような照合結果メッセージを表示させる（ステップＳ３１９）。この照合結果メッセージｍ１には、照合結果「ＯＫ」または「ＮＧ」が表示される。

〔本実施形態の主な効果〕
以上説明したように本実施形態によれば、ステップＳ２１６で、検出回数が所定値を超過した場合のみ、イベントメッセージの生成の処理（ステップＳ２１９）に進ようにした。即ち、物体検出部３５によって第１の物体及び第２の物体が検出された回数が所定値を超過した場合には、送受信部５１は、第１の物体に基づく第１の画像データ及び前記第２の物体に基づく第２の画像データを、分散データ処理端末６等の他の装置へ送信する（Ｓ１２１参照）。これにより、利用者が、図２７（ａ）に示されているように、画像取得端末２の撮像ユニット４０で自分の顔とカード（自分の顔の写真が印刷されたカード）を読み取らせる場合、顔認証したくないような利用者がほんの一瞬だけカードを読み取らせようとしたり、カードを持った利用者が画像取得端末２の前を通りすがったりするような場合には、近端末データ処理装置５から分散データ処理端末６に部分画像データを送信させないようにして、過度な回数の処理要求（若しくは通信回数又は通信量）を抑制することができるという効果を奏する（第１の抑制）。

また、画像処理部３４が、２つの物体（ここでは、顔）を検出していた場合には（ステップＳ２２１；ＹＥＳ）、所定時間（設定されているサイクル値）待機後に（ステップＳ２２２）、再びステップＳ２２０の処理に戻り、件数回数を０にリセットする。即ち、送受信部５１によって第１の画像データ及び第２の画像データが送信された後に、物体検出部３５によって、第１の物体及び第２の物体を検出しない状態が生じないまま、再び第１の物体及び第２の物体が検出された場合には、送受信部５１は、第１の画像データ及び第２の画像データを送信しない。この場合、利用者は画像取得端末２でカードの写真を長い間読み取らせていると考えられるため、ステップＳ１２１によって、再度同じ利用者の顔とカードに印刷された顔の各部分画像データが送信されることを防止して、過度な回数の処理要求（若しくは通信回数又は通信量）を抑制することができるという効果を奏する（第２の抑制）。

更に、上述のステップＳ２０４の処理によって、画像処理部３４が２つの物体（ここでは、顔）を検出していない場合には（ステップＳ２１２；ＮＯ）、検出回数を1つ増やした後に（ステップＳ２２３）、ステップＳ２２４の処理へ進む。そして検出回数が所定値（たとえば１０回）を超過していない場合は（ステップＳ２２４；ＮＯ）、所定時間（設定されているサイクル値）待機後に（ステップＳ２２５）、ステップＳ２２１の処理に戻る。即ち、送受信部５１によって第１の画像データ及び第２の画像データが送信され、物体検出部３５によって、第１の物体及び第２の物体を検出されない状態が生じた後に、再び第１の物体及び第２の物体のいずれか一方が検出された場合には、送受信部５１、第１の画像データ及び第２の画像データを送信しない。この場合、利用者は画像取得端末２でカードの写真を短時間だけ自分の方に裏返したりして、まだ同一人物が照合可能範囲Ｑ内にいると考えられるため、ステップＳ１２１によって、再度同じ利用者の顔とカードに印刷された顔の各部分画像データが送信されることを防止して、過度な回数の処理要求（若しくは通信回数又は通信量）を抑制することができるという効果を奏する（第３の抑制）。

●第２の実施形態
続いて、図２４、図２６及び図３０を用いて、第２の実施形態について説明する。なお、これまでの実施形態との相違点を説明しながら、第２の実施形態について説明する。

（第２の実施形態の課題）
これまでの実施形態では、分散データ処理端末６から集中データ処理サーバ７へ２つの部分画像データ（照合データと被照合データ）との照合を要求する場合について説明してきた。しかしながら、集中データ処理サーバ７が予め照合データの特徴量パラメータを記憶部７０００に備えておき、分散データ処理端末６から集中データ処理サーバ７へ１つの部分画像データ（被照合データ）を送信することで、さらに、簡便に照合するための変形例を示す。

〔通信システムの構成〕
これまでの実施形態で示した通信システムの構成と相違する点のみを記載し、一致点については、これまでの実施形態を援用する。

＜集中データ処理サーバ＞
集中データ処理サーバの記憶部７０００には、例えば、図１２に示したような照合データ管理テーブルが設けられている。具体的には、この照合データ管理テーブルは、予め照合対象となる画像ファイルの項目、当該画像ファイルの特徴量を示す特徴量パラメータと、当該画像の名称などの項目で設定されており、それぞれ画像ファイル、特徴量パラメータと、当該画像ファイルの内容を示す名称が記憶されている。

〔本実施形態の処理又は動作〕
図２６は、実時間処理のうちイベント生成の処理を示したフローチャートである。図３０は、図２８に示されている照合する処理の他の例を示すシーケンス図である。ここで、第２の実施形態における図２６の相違点について説明する。なお、図２６に大きな変更点はないため、図２６からの変更点を含むフローチャートの図示を省略する。

まず、第２の実施形態では、求められる部分画像データ（被照合データ）は１つで良いため、図２６のステップＳ２１２はＳ２１２Ａとして、ステップＳ２２１はＳ２２１Ａとして「物体（顔）は１つ？」という判断ステップに変更される。同様に、ステップＳ２１４はステップＳ２１４Ａとして「物体（顔）は照合可能範囲にあるのか？」という判断ステップに変更される。

次に変更された図２６の処理について、次のように示す。

まず、物体検出部３５が顔の検出回数（カウント）を0にセットした後（ステップＳ２１１Ａ）、上述のステップＳ２０４の処理によって、物体検出部３５が、１つの物体（ここでは、顔）を検出しなかった場合には（ステップＳ２１２Ａ；ＮＯ）、所定時間（設定されているサイクル値）待機後に（ステップＳ２１３）、再びステップＳ２１１の処理に戻る。例えば、検出は1秒間に３０回行われる。

これに対し、上述のステップＳ２０４の処理によって、物体検出部３５が、１つの物体（ここでは、顔）を検出した場合には（ステップＳ２１２Ａ；ＹＥＳ）、ステップＳ２１４Ａの処理へ進む。そして、検出された位置が照合可能範囲Ｑにない場合には（ステップＳ２１４Ａ；ＮＯ）、ステップＳ２１３の処理に進む。

ここで、照合可能範囲Ｑについては、既に図２９を用いて説明したので割愛する。判断部３３によって、検出位置が照合可能範囲Ｑにあると判断された場合には（ステップＳ２１４Ａ；ＹＥＳ）、物体検出部３５は検出回数を１つ増やした後に（ステップＳ２１５）、ステップＳ２１６の処理へ進む。例えば、物体が図２９の座標（ｘ２、ｙ２）で示される位置にあれば照合可能範囲Ｑにあると判断される。そして、物体の検出位置が照合可能範囲Ｑにあった場合には（ステップＳ２１６；ＹＥＳ)、ステップＳ２１８の処理に進む。そして、検出回数が所定値（たとえば１０回）を超過していない場合は（ステップＳ２１６；ＮＯ）、所定時間待機後に（ステップＳ２１７）、ステップＳ２１２Ａの処理に戻る。

ステップＳ２１６で、検出回数が所定値を超過した場合のみ次のステップＳ２１８の処理に進むのは、利用者が、自分の顔を撮影させる場合、顔認証したくないような利用者がほんの一瞬だけ画像取得端末２に向いたり、利用者が画像取得端末２の前を通りすがったりするような場合には、近端末データ処理装置５から分散データ処理端末６に部分画像データを送信させないようにして、過度な回数の処理要求、通信回数や通信量を抑制するためである（第１の抑制）。

一方、判断部３３によって、検出回数が所定値を超過していないと判断された場合は（ステップＳ２１６；ＹＥＳ）、画像処理部３４は、検出位置での物体を含んだ部分画像データをJPEGなどの汎用形式で符号化する（ステップＳ２１８）。そして、イベント生成部３６は、近端末データ処理装置５に対して部分画像データを送信することを通知するイベントメッセージを生成する（ステップＳ２１９）。具体的には、イベント生成部３６は、”Send”といったイベントメッセージを生成し、検出回数を０に設定（リセット）した後（ステップＳ２２０）、ステップＳ２２１Ａの処理に進む。これにより、図３０に示されているステップＳ４２１の処理が実行され、近端末データ処理装置５から分散データ処理端末６に、利用者の顔の部分画像データが送信される。

続いて、図２５のステップＳ２０４の処理によって、画像処理部３４が、物体（ここでは、顔）を検出していた場合には（ステップＳ２２１Ａ；ＹＥＳ）、所定時間（設定されているサイクル値）待機後に（ステップＳ２２２）、再びステップＳ２２０の処理に戻り、件数回数が０にリセットされる。この場合、利用者は顔を長い間読み取らせていると考えられるため、ステップＳ１２１Ａによって、再度同じ利用者の顔の部分画像データが送信されることを防止して、過度な回数の処理要求、通信回数や通信量を抑制する（第２の抑制）。

これに対し、上述のステップＳ２０４の処理によって、画像処理部３４が物体（ここでは、顔）を検出していない場合には（ステップＳ２１２Ａ；ＮＯ）、検出回数を1つ増やした後に（ステップＳ２２３）、ステップＳ２２４の処理へ進む。そして検出回数が所定値（たとえば１０回）を超過していない場合は（ステップＳ２２４；ＮＯ）、所定時間（設定されているサイクル値）待機後に（ステップＳ２２５）、ステップＳ２２１Ａの処理に戻る。この場合、利用者は画像取得端末２で顔を短時間だけ振り向いたり、横を向いたりして、まだ同一人物が照合可能範囲Ｑ内にいると考えられるため、ステップＳ２２１Ａによって、再度同じ利用者の顔の部分画像データが送信されることを防止して、過度な回数の処理要求、通信回数や通信量を抑制する（第３の抑制）。

一方、検出回数が所定値（たとえば１０回）を超過した場合は（ステップＳ２２４；ＹＥＳ）、ステップＳ２１３の処理に戻る。

以上により、これまでの実施形態と同様に図２４に示されているステップＳ１１１の処理が終了する。これにより、通信部４８は、近端末データ処理装置５の通信部５８に対して、ステップＳ２１９で生成されたイベントメッセージ、及びステップＳ２０５で歪み補正された部分画像データを送信する（ステップＳ１１５）。なお、ステップＳ２０４の処理において、複数の物体（ここでは、顔）が検出された場合には、１つのイベントメッセージと共に、複数の部分画像データが送信される。また、通信システムが、店舗等で利用される場合、実時間データ処理端末３は、イベントメッセージ及び部分画像データを保存しておき、店舗が閉店した後（例えば、夜）に、まとめて近端末データ処理装置５に送信してもよい。

＜照合処理＞
続いて、図３０を用いて、部分画像データの照合処理について説明する。図３０は、図２８に示されている、照合する処理の他の例を示すシーケンス図である。

分散データ処理端末６では、上述のステップＳ４２１の処理により、送受信部６１が被照合データとしての部分画像データを受信した場合には、送受信部６１は、集中データ処理サーバ７に対して、照合要求を示す照合要求情報を送信する（Ｓ５１１）。この照合要求情報には、被照合データが含まれている。これにより、集中データ処理サーバ７の送受信部７１は、照合要求情報を受信する。

次に、集中データ処理サーバ７では、特徴量生成部７４が、上述のステップＳ５１１で受信された被照合データをビットマップデータに変換し、被照合データに係る顔画像の目鼻の凹凸や傾き等の個人を識別するための特徴量のパラメータを生成する（Ｓ５１２）。そして、記憶・読出部７９は、記憶部７０００を検索することで、登録されている照合データの特徴量パラメータが残っているか否かを判断する（Ｓ５１３）。このステップＳ５１３によって特徴量パラメータが残っていると判断された場合には（Ｓ５１３；ＹＥＳ）、照合部７５は、両データ（照合データ及び被照合データ）に係る特徴量のパラメータを比較して類似度を算出する（Ｓ５１４）。その後、ステップＳ５１３の処理に戻ることで、登録されている照合データの特徴量のパラメータに関して全て類似度が算出されるまで、ステップＳ５１３，Ｓ５１４の処理が繰り返される。一方、ステップＳ５１３の処理において、照合データの特徴量のパラメータが残っていない（全くない場合も含む）と判断された場合には、ステップＳ５１５の処理に進む。

次に、記憶・読出部７９が、記憶部７０００から読み出した特徴量パラメータに対応する「名称」をさらに読み出し、ステップＳ５１４の処理で計算された「類似度」とを組にして一時的に記憶部７０００に記憶する（Ｓ５１５）。

次に、記憶・読出部７９は、記憶部７０００に一時的に記憶していた類似度の中から最大類似度の照合データに付けられた類似度を読み出す（Ｓ５１６）。そして、送受信部７１は、分散データ処理端末６に対して、上述のステップＳ５１１の照合要求の応答を示す応答情報を送信する（Ｓ５１７）。この応答情報には、ステップＳ５１６で読み出された類似度が含まれている。ここで、先に示したステップＳ５１５で記憶部７０００で記憶している「名称」を応答情報に含めても良い。

次に、分散データ処理端末６の判断部６３は、所定の閾値（例えば、０．８）と類似度とを比較し、類似度が閾値より大きければ「ＯＫ」と判断し、そうでなければ「ＮＧ」と判断する（ステップＳ５１８）。そして、表示制御部６７は、分散データ処理端末６のディスプレイ５１７上に、リアルタイムの撮像画像上において、照合結果メッセージを表示させる（ステップＳ５１９）。この照合結果メッセージには、照合結果「ＯＫ」または「ＮＧ」が表示される。

〔本実施形態の主な効果〕
以上説明したように本実施形態によれば、被照合データを送受信するため、第１の実施形態の効果に加えて、通信負荷をさらに軽減することができる。

〔補足〕
上記の実施形態では、実時間データ処理端末３が、検出回数が所定値を超過するか否かを判断する場合について説明したが（ステップＳ２１６，Ｓ２２４）、閾値以上になるか否かを判断してもよい。

また、上記実施形態では、物体検出部３５が、画像処理により撮像画像の中の物体の位置を検出したが、これに限るものではない。例えば、物体検出部３５が、画像処理にLiDAR(Light Detection and Ranging)を組み合わせることで、対象物にレーザ光を照射し、その反射光を検出器で測定することで距離を測定してもよい。これにより、例えば、撮像ユニットにより２人の人物が手前と奥に重なって撮像された場合であっても、1人と認識せずに２人と認識することができるため、誤認識を防ぐことができる。

また、上記実施形態では、撮像画像データについて説明したが、これに限らず、撮影されずに利用者によって作成された作成画像データであってもよい。この場合、撮影画像データ及び作成画像データは、「画像データ」の一例である。また。画像取得端末２は、通信端末の一例であり、画像データを外部から取得せず、自端末で作成してもよい。更に、通信端末は、集音により音データを取得してもよいし、温度センサにより温度データを取得してもよいし、湿度センサにより湿度データを取得してもよい。

また、各ＣＰＵ３０１，５０１，７０１等の各構成要素は、単一であってもよく複数であってもよい。また、画像取得端末２、分散データ処理端末６、及び集中データ処理サーバ７は、それぞれ複数あってもよい。更に、分散データ処理端末６はサーバであってもよい。

また、上述の実施形態における各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本実施形態における「処理回路」は、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上述した各機能を実行するよう設計されたASIC(Application Specific Integrated
Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）、SOC(System on a chip)、GPU、及び従来の回路モジュール等のデバイスを含む。

２ 画像取得端末（通信端末の一例）
３ 実時間データ処理端末
５ 近端末データ処理装置
６ 分散データ処理端末
７ 集中データ処理サーバ
３４ 画像処理部（画像処理手段の一例）
３５ 物体検出部（物体検出手段の一例）
３８ 接続部（取得手段の一例）
５１ 送受信部（送信手段の一例）
６１ 送受信部
６２ 受付部
６７ 表示制御部
６９ 記憶・読出部
７１ 送受信部
７４ 特徴量生成部
７５ 照合部
２００ イントラネット
６００ インターネット
３００１ 撮像素子情報管理ＤＢ（撮像素子情報管理手段の一例）
３００２ サイクル値管理ＤＢ
３００３ 画像取得プログラムＤＢ
３００４ 合成処理プログラム管理ＤＢ
３００５ 歪み補正プログラム管理ＤＢ
３００６ サービスプログラム管理ＤＢ（プログラム管理手段の一例）
６０００ 記憶部
６００１ 照合データ管理ＤＢ
８０００ 記憶部
８００１ セッション管理ＤＢ
８００２ 認証サーバ管理ＤＢ
９０００ 記憶部
９００１ 認証管理ＤＢ

特表２０１６−５１９８１２号公報

Claims (6)

1. 物体の所定部分の画像データを他の装置へ送信することで、画像の照合を行わせる通信端末であって、
   第１の物体及び第２の物体が撮影されることで得られた各撮影画像から各物体を検出する物体検出手段と、
   前記物体検出手段によって第１の物体及び第２の物体が検出された回数が所定値を超過又は所定値以上になった場合には、前記第１の物体に基づく第１の画像データ及び前記第２の物体に基づく第２の画像データを、他の装置へ送信する送信手段と、
   を有することを特徴とする通信端末。
2. 前記送信手段によって前記第１の画像データ及び前記第２の画像データが送信された後に、前記物体検出手段によって、前記第１の物体及び前記第２の物体を検出しない状態が生じないまま、再び前記第１の物体及び前記第２の物体が検出された場合には、前記送信手段は、前記第１の画像データ及び前記第２の画像データを送信しないことを特徴とする請求項１に記載の通信端末。
3. 前記送信手段によって前記第１の画像データ及び前記第２の画像データが送信され、前記物体検出手段によって、前記第１の物体及び前記第２の物体を検出されない状態が生じた後に、再び前記第１の物体及び前記第２の物体のいずれか一方が検出された場合には、前記送信手段は、前記第１の画像データ及び前記第２の画像データを送信しないことを特徴とする請求項１に記載の通信端末。
4. 請求項１乃至３のいずれか一項に記載の通信端末と、
   前記他の装置と、
   を有する通信システム。
5. 物体の所定部分の画像データを他の装置へ送信することで、画像の照合を行わせる通信端末が実行する通信方法であって、
   前記通信端末は、
   第１の物体及び第２の物体が撮影されることで得られた各撮影画像から各物体を検出する物体検出ステップと、
   前記物体検出ステップによって第１の物体及び第２の物体が検出された回数が所定値を超過又は所定値以上になった場合には、前記第１の物体に基づく第１の画像データ及び前記第２の物体に基づく第２の画像データを、他の装置へ送信する送信ステップと、
   を実行することを特徴とする通信方法。
6. コンピュータに、請求項５に記載の方法を実行させるプログラム。