JP2016122300A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】撮像画像から特定人物の存在を高精度に検出する画像処理装置、画像処理方法、およびプログラムを提供する。【解決手段】画像処理装置は、ユーザの携帯端末から送信される情報に基づいて、撮像装置と所定位置関係に存在するユーザの画像特徴情報を取得する第１特徴取得部と、特定人物の画像特徴情報を取得する第２特徴取得部と、撮像装置により撮像された画像を取得する画像取得部と、第１特徴取得部により取得されたユーザの画像特徴情報を用いて、画像取得部により取得された画像内における、その画像特徴情報に対応するユーザ以外の未確認人物の存在を検出する第１検出部と、画像取得部により取得された画像内における、第１検出部により検出された未確認人物の画像特徴情報と、第２特徴取得部により取得された特定人物の画像特徴情報とを照合して、特定人物の存在を検出する第２検出部を備える。【選択図】図２

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、撮像画像を処理する画像処理装置、画像処理方法、およびプログラムに関する。

近年、カメラで撮像された画像から、特定人物を見つける技術は格段に向上し、防犯システムや顔認証による入退管理システム等、様々な分野やシチュエーションで利用されている。

監視対象以外の人物のプライバシーを保護できる監視システムの一例が特許文献１に記載されている。特許文献１に記載の監視システムは、通学路に設置されたカメラで撮影された画像をネットワークを経由して伝送し、保護者が端末で画像表示して閲覧する遠隔監視システムとして構成されている。監視対象の児童の顔特徴量が予め顔特徴量データベースに登録されている。無線ＩＣタグを所持している監視対象の児童がＩＣタグ信号受信装置に近づくと、ＩＣタグ信号受信装置が無線ＩＣタグ信号を受信し、カメラに撮影開始信号を送信する。カメラが所定の撮影範囲を撮影して画像データを生成する。この撮影画像には撮影対象の児童以外の他に、多数の人物が撮影されている。そこで、領域識別部によって識別された児童の顔領域以外の顔領域をマスキングし、監視対象外の人物が特定できないようなマスク画像を生成する。このマスク画像と識別情報を対応付けて保持し、外部から閲覧できるように公開する。

特開２００８−１７０９３号公報

上記文献記載の監視システムでは、撮像画像内に写っている全ての人物を候補にして、その候補の中から監視対象の一人の児童を見付け出さなければならない。よって、撮像画像内に写る人物の数が増加する程、検出精度が低下することになる。

本発明は上記事情に鑑みてなされたものであり、その目的とするところは、撮像画像から特定人物の存在を高精度に検出する画像処理装置、画像処理方法、およびプログラムを提供することにある。

本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。

第一の側面は、画像処理装置に関する。第一の側面に係る画像処理装置は、ユーザの携帯端末から送信される情報に基づいて、撮像装置と所定位置関係に存在するユーザの画像特徴情報を取得する第１特徴取得手段と、
特定人物の画像特徴情報を取得する第２特徴取得手段と、
前記撮像装置により撮像された画像を取得する画像取得手段と、
前記第１特徴取得手段により取得された前記ユーザの画像特徴情報を用いて、前記画像取得手段により取得された画像内における、その画像特徴情報に対応するユーザ以外の未確認人物の存在を検出する第１検出手段と、
前記画像取得手段により取得された画像内における、前記第１検出手段により検出された未確認人物の画像特徴情報と、前記第２特徴取得手段により取得された前記特定人物の画像特徴情報とを照合して、前記特定人物の存在を検出する第２検出手段と、を有する。

第二の側面は、少なくとも１つのコンピュータにより実行される画像処理方法に関する。第二の側面に係る画像処理方法は、画像処理装置が、ユーザの携帯端末から送信される情報に基づいて、撮像装置と所定位置関係に存在するユーザの画像特徴情報を取得し、
特定人物の画像特徴情報を取得し、
前記撮像装置により撮像された画像を取得し、
取得された前記ユーザの画像特徴情報を用いて、取得された前記画像内における、その画像特徴情報に対応するユーザ以外の未確認人物の存在を検出し、
取得された前記画像内における、検出された未確認人物の画像特徴情報と、取得された前記特定人物の画像特徴情報とを照合して、前記特定人物の存在を検出する、ことを含む。

なお、本発明の他の側面としては、上記第二の側面の方法を少なくとも１つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。
このコンピュータプログラムは、コンピュータにより実行されたとき、コンピュータに、画像処理装置上で、その画像処理方法を実施させるコンピュータプログラムコードを含む。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。

また、本発明の方法およびコンピュータプログラムには複数の手順を順番に記載してあるが、その記載の順番は複数の手順を実行する順番を限定するものではない。このため、本発明の方法およびコンピュータプログラムを実施するときには、その複数の手順の順番は内容的に支障のない範囲で変更することができる。

さらに、本発明の方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生すること、ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複していること、等でもよい。

上記各側面によれば、撮像画像から特定人物の存在を高精度に検出する画像処理装置、画像処理方法、およびプログラムを提供することができる。

本発明の実施の形態に係る画像処理システムの構成の一例を示すブロック図である。 本発明の実施の形態に係る画像処理装置の論理的な構成を示す機能ブロック図である。 本実施形態の画像処理装置を実現するコンピュータのハードウェア構成を示すブロック図である。 本実施形態の画像処理装置の照合に使用する画像特徴情報を格納するデータベースの構造の一例を示す図である。 本実施形態の画像処理装置の画像認識処理を説明するための図である。 本実施形態の画像処理装置の動作の一例を示すフローチャートである。 本発明の実施の形態に係る画像処理装置の動作を説明するための図である。 本実施形態の画像処理システムの構成例を示す図である。 本実施形態の画像処理システムのビーコン装置と、ビーコン装置から発信されるビーコン信号に応答する携帯端末の論理的な構成を示す機能ブロック図である。 本実施形態の画像処理システムにおける携帯端末の検知方法を説明するための図である。 本実施形態の画像処理装置の論理的な構成を示す機能ブロック図である。 本実施形態の画像処理システムの動作の一例を示すフローチャートである。 本実施形態の画像処理装置の論理的な構成を示す機能ブロック図である。 本実施形態の画像処理システムの動作を説明するための図である。 本実施形態の画像処理システムの動作を説明するための図である。 本実施形態の画像処理装置を含む画像処理システムの動作の一例を示すフローチャートである。 本実施例の画像処理システムをユーザが利用するために、ユーザの画像特徴情報を登録する手順の一例を示すフローチャートである。 本実施例の携帯端末として使用される、スマートフォンのハードウェア構成を示すブロック図である。 本実施例の画像処理システムにおいて、ユーザ認識時の処理の手順の一例を示すフローチャートである。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

（第１の実施の形態）
本発明の第１の実施の形態に係る画像処理装置、画像処理方法、およびプログラムについて、以下説明する。
図１は、本発明の実施の形態に係る画像処理システム１の構成の一例を示すブロック図である。
本発明において、画像処理システム１は、画像処理装置１００と、撮像装置５と、を備える。
なお、以下の各図において、本発明の本質に関わらない部分の構成については省略してあり、図示されていない。

本実施形態では、撮像装置５は、たとえば、店舗等に設置される防犯カメラ等であるが、これに限定されない。撮像装置５は、その画角内に存在している人物Ｕ１、Ｕ２、・・・、Ｕｎ（ｎは自然数）（人物が一人もいない場合もある）を撮像する。撮像装置５は画像処理装置１００に接続され、撮像装置５で撮像された画像が逐次画像処理装置１００に送信される。なお、撮像装置５と画像処理装置１００間の接続は、有線、無線、およびこれらの組み合わせのいずれでもよく、また、ネットワークを介して接続されてもよく、特に限定されない。画像処理装置１００に接続される撮像装置５は、１台とは限らず、複数台であってもよい。また、撮像装置５と画像処理装置１００との間に、撮像装置５で撮像された画像を一旦格納する記録媒体（不図示）が介在してもよく、記録媒体から画像処理装置１００が画像を取得する構成でもよい。

本実施形態において、ユーザの携帯端末３は、画像処理装置１００と通信することができる。通信手段および通信経路は特に限定されないが、例として、インターネット等のネットワークを介して有線、無線、およびこれらの組み合わせのいずれかで接続可能である。あるいは、所謂Ｗｉ−Ｆｉ（登録商標）のアクセスポイントを経由してＬＡＮ等のネットワークを介して接続されてもよい。

本発明では、撮像装置５により撮像される画像内に存在する複数の人物のうち、身元が確認されている人物を対象から外し、それ以外の人物を未確認人物としてサーチ対象とする。たとえば、万引き常習犯等の特定人物を、絞り込まれたサーチ対象の中から探すので、画像内に存在する全ての人物をサーチ対象とする場合と比較して、検出精度を向上できる。

図２は、本発明の実施の形態に係る画像処理装置１００の論理的な構成を示す機能ブロック図である。
画像処理装置１００は、ユーザの携帯端末３から送信される情報に基づいて、撮像装置５と所定位置関係に存在するユーザの画像特徴情報を取得する第１特徴取得部１０２と、特定人物の画像特徴情報を取得する第２特徴取得部１０４と、撮像装置５により撮像された画像を取得する画像取得部１０６と、第１特徴取得部１０２により取得されたユーザの画像特徴情報を用いて、画像取得部１０６により取得された画像内における、その画像特徴情報に対応するユーザ以外の未確認人物の存在を検出する第１検出部１０８と、画像取得部１０６により取得された画像内における、第１検出部１０８により検出された未確認人物の画像特徴情報と、第２特徴取得部１０４により取得された特定人物の画像特徴情報とを照合して、特定人物の存在を検出する第２検出部１１０を備える。

本発明の画像処理装置１００は、たとえば、サーバコンピュータ、パーソナルコンピュータ、または、ワークステーション等のコンピュータであるが、これに限定されない。また、複数台のコンピュータで処理を分担して画像処理装置１００を実現してもよい。

図３は、本実施形態の画像処理装置１００を実現するコンピュータ６０のハードウェア構成を示すブロック図である。
コンピュータ６０は、ＣＰＵ（Central Processing Unit）６２、メモリ６４、メモリ６４にロードされた図２の構成要素を実現するプログラム８０、そのプログラム８０を格納するハードディスクなどのストレージ６６、ネットワーク接続用インタフェース（通信Ｉ／Ｆ７０）を備える。メモリ６４、ストレージ６６、Ｉ／Ｏ６８、および通信Ｉ／Ｆ７０は、バス６９を介して互いに接続され、ＣＰＵ６２により各要素とともにコンピュータ６０全体が制御される。コンピュータ６０は、たとえば、キーボードやマウス等の入力装置７２やディスプレイなどの表示装置７４やプリンタ等の出力装置（不図示）と接続されてもよい。

図２の本実施形態の画像処理装置１００の各構成要素は、図３のコンピュータ６０のハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。以下説明する各実施形態の画像処理装置を示す機能ブロック図は、ハードウェア単位の構成ではなく、論理的な機能単位のブロックを示している。

図３のコンピュータ６０のＣＰＵ６２が、ストレージ６６に記憶されるプログラム８０をメモリ６４に読み出して実行することにより、画像処理装置１００の図２の各ユニットの各機能を実現することができる。

本実施形態のコンピュータプログラム８０は、画像処理装置１００を実現させるためのコンピュータ６０に、ユーザの携帯端末３から送信される情報に基づいて、撮像装置５と所定位置関係に存在するユーザの画像特徴情報を取得する手順、特定人物の画像特徴情報を取得する手順、撮像装置５により撮像された画像を取得する手順、取得されたユーザの画像特徴情報を用いて、取得された画像内における、その画像特徴情報に対応するユーザ以外の未確認人物の存在を検出する手順、取得された画像内における、検出された未確認人物の画像特徴情報と、取得された特定人物の画像特徴情報とを照合して、特定人物の存在を検出する手順、を実行させるように記述されている。

本実施形態のコンピュータプログラム８０は、コンピュータ６０で読み取り可能な記録媒体に記録されてもよい。記録媒体は特に限定されず、様々な形態のものが考えられる。また、プログラム８０は、記録媒体からコンピュータ６０のメモリ６４にロードされてもよいし、ネットワーク７６を通じてコンピュータ６０にダウンロードされ、メモリ６４にロードされてもよい。

コンピュータプログラム８０を記録する記録媒体は、非一時的な有形のコンピュータ６０が使用可能な媒体を含み、その媒体に、コンピュータ６０が読み取り可能なプログラムコードが埋め込まれる。コンピュータプログラム８０が、コンピュータ６０上で実行されたとき、コンピュータ６０に、画像処理装置１００を実現する以下の画像処理方法を実行させる。

本実施形態において、ユーザの携帯端末３は、たとえば、スマートフォン、タブレット端末、携帯電話機、ＰＨＳ（Personal Handyphone System）、ＰＤＡ（Personal Digital Assistants）、ゲーム機などを含み、ユーザが携帯して持ち歩くことができ、ユーザの情報を送信する機能を有する端末であれば、特に限定されない。ユーザの情報を送信する機能については、後述する。

本実施形態において、携帯端末３のユーザとは、身元が確認されている人物であって、画像内の人物の中でサーチ対象から除外される人物である。以後、本明細書では、携帯端末３のユーザを「対象ユーザ」とも呼ぶ。たとえば、対象ユーザは、本システムを利用する、予め会員登録されたユーザである。対象ユーザはその身元が確認されているため、対象ユーザの携帯端末３から送信される情報に基づいて、その対象ユーザの画像特徴情報を取得することができる。また、特定人物とは、本システムで予め登録された検出対象人物であり、たとえば、万引き常習犯等のような犯罪者、所謂、ブラックリストに記載される人物である。

本実施形態において、ユーザ（人物Ｕ１等）の携帯端末３から送信される情報とは、第１特徴取得部１０２による対象ユーザの画像特徴情報の取得を可能とする情報であれば、どのような情報であってもよい。その情報は、たとえば、ユーザの携帯端末３の識別情報、ユーザに付与された識別情報、または、ユーザの顔画像、指紋、声紋、虹彩等の生体データに基づくユーザ認証に使用される情報、あるいは、これらの組み合わせであってもよい。また、その情報自体が、対象ユーザの画像特徴情報であってもよい。これらの情報は、ユーザの携帯端末３において、たとえば、スマートフォン１０の内部ストレージ、メモリ、または外部ストレージ等に、予め格納されていているものとする。外部ストレージとは、携帯端末３に取り付けられている記録メディア、あるいは、クラウドサーバ等、ネットワークを介して携帯端末３がアクセス可能な外部記憶装置であってもよい。ただし、外部記憶装置の場合には、ユーザの個人情報に関わる情報については、外部または他者から閲覧できない形態で格納されているものとする。

撮像装置５との所定位置関係に存在するユーザとは、撮像装置５の画角内に存在するまたは存在することになる可能性の高いユーザである。ただし、処理速度等を考慮すると、当該ユーザは、撮像装置５の画角内に存在し、撮像画像に写っている人物であることが望ましい。さらに、画角内に存在するユーザのうち、撮像装置５と所定距離範囲内に存在するユーザであってもよい。

ユーザの画像特徴情報とは、画像内の人物の中からユーザを認識することができる画像の特徴情報である。本実施形態では、ユーザの画像特徴情報は、ユーザの顔画像から抽出された特徴情報であり、顔画像そのものに比較して情報量が小さい。顔画像の特徴情報の抽出方法および画像特徴情報を用いたユーザ認証方法は、公知の技術を用いることができ、詳細な説明は省略する。

また、第１特徴取得部１０２が、ユーザの画像特徴情報を取得する方法は、ユーザの携帯端末３から送信される情報（識別情報）に基づいて、ユーザの画像特徴情報が予め登録されている第１特徴情報データベース１１２から取得する方法が考えられる。また、第１特徴取得部１０２は、ユーザの携帯端末３から送信される画像特徴情報を受信してもよい。この方法については後述する。

図４は、本実施形態の画像処理装置１００の照合に使用する画像特徴情報を格納するデータベースの構造の一例を示す図である。
図４（ａ）の第１特徴情報データベース１１２には、ユーザ毎に、少なくともユーザＩＤと画像特徴情報が対応付けて格納される。図４（ｂ）の第２特徴情報データベース１１４には、特定人物毎に、少なくとも特定ユーザＩＤと画像特徴情報が対応付けて格納される。
第１特徴情報データベース１１２および第２特徴情報データベース１１４は、画像処理装置１００に含まれる記憶装置であってもよいし、外部の記憶装置であってもよく、ネットワークを介して画像処理装置１００に接続される記憶装置であってもよい。

図２の各構成要素について以下に詳細を説明する。
第１特徴取得部１０２は、携帯端末３から送信される携帯端末３またはユーザの識別情報に基づいて、第１特徴情報データベース１１２（図４）から対応する画像特徴情報を取得する。

第２特徴取得部１０４は、特定人物の画像特徴情報を予め格納する第２特徴情報データベース１１４（図４）から特定人物の画像特徴情報を取得する。
画像取得部１０６は、撮像装置５により撮像された画像を取得する。撮像装置５により撮像される画像は、複数フレームからなる映像であり、画像取得部１０６が取得する画像とは、個々のフレーム画像を指す。画像取得部１０６は、撮像装置５により撮像された画像から得られる静止画像を取得してもよい。

第１検出部１０８は、まず、画像取得部１０６により取得された各画像Ｐｎ（ｎは自然数）（フレーム画像）内において、人の形象を認識する。図５（ａ）に示すように、画像Ｐ１では、４人の人物（ｆ１、ｆ２、ｆ３、ｆ４）が認識されたとする。
画像内の人の形象の認識手法については、公知の技術を用いることができ、詳細な説明は省略する。

第１検出部１０８における、その後の手順については、以下の２通りの方法が例示されるが、これらに限定されない。
（ａ１）第１検出部１０８が、認識された全ての形象の各々から特徴情報を抽出し、抽出された各特徴情報と対象ユーザの画像特徴情報とをそれぞれ照合する。そして、第１検出部１０８は、照合結果により対象ユーザではないと判断された形象があった場合、対象ユーザ以外の未確認人物の存在を検出する。たとえば、図５（ｂ）に示すように、複数の対象ユーザの画像特徴情報が取得されており、画像Ｐ１内の人物ｆ２と人物ｆ３については各々対象ユーザの形象と判断された場合、それ以外の人物ｆ１と人物ｆ４が未確認人物として検出される。
（ａ２）認識された形象の中で、対象ユーザの形象が検出されるまで、第１検出部１０８は、各形象から特徴情報をそれぞれ抽出する。第１検出部１０８は、そのようにして得られた各特徴情報と対象ユーザの画像特徴情報とをそれぞれ照合する。この例では、第１検出部１０８は、全ての形象から特徴情報を抽出するわけではなく、各形象について都度、または順に抽出および照合を実行し、照合すべき対象ユーザの特徴情報と合致する形象（類似度が所定値以上等）がすべて見つかった段階で、残りの形象についての照合は行わない。
なお、照合判定に類似度の閾値判定を用いない方法も考えられ、照合対象の形象の中から類似度が最も高いものを選択する等の方法も考えられる。

第１検出部１０８により、未確認人物の存在が確認された場合、その結果を記録し、時刻情報とともに記録してもよい。記録される結果情報は、未確認人物の存在の有無、未確認人物の画像特徴情報、未確認人物の画像領域の情報、および画像データの少なくともいずれか１つを含む。

第２検出部１１０は、画像取得部１０６により取得された画像Ｐ１（図５（ａ））内における、第１検出部１０８により検出された未確認人物の画像特徴情報（図５（ａ）の領域ｆ１および領域ｆ４）と、第２特徴取得部１０４により取得された特定人物の画像特徴情報とを照合して、特定人物の存在を検出する。このように、第２検出部１１０は、第１検出部１０８により未確認人物の存在が検出された場合に、絞り込まれた画像エリアまたは画像特徴情報に対して、第２特徴取得部１０４により取得された画像特徴情報と照合することにより、特定人物の存在を検出する。

第１検出部１０８との照合方法で異なる点は、照合対象となる領域が、第１検出部１０８により認識された対象ユーザの領域を除いた、限定された領域が対象となる点であり、それ以外は同じである。第１検出部１０８と同様、画像内の人の形象の認識手法については、公知の技術を用いることができ、詳細な説明は省略する。

第２検出部１１０は、たとえば、第１検出部１０８が各画像で認識された人の形象のうち（たとえば、図５（ａ）の人物ｆ１、ｆ２、ｆ３、ｆ４）、第１特徴取得部１０２により取得された画像特徴情報を用いて特定された対象ユーザを除外して、絞り込まれた形象の領域（たとえば、図５（ｂ）のｆ１とｆ４の領域）、または、その領域の画像特徴情報に対して、第２特徴取得部１０４により取得された特定人物の画像特徴情報と照合を行う。

第１検出部１０８および第２検出部１１０の各検出で類度閾値を用いる場合には、異なる類似度閾値が用いられてもよい。たとえば、第１検出部１０８における対象ユーザ検出で用いられる類似度閾値よりも、第２検出部１１０における特定ユーザ検出で用いられる類似度閾値の方が低く設定されてもよい。その理由は、最終的に検出したいのは特定ユーザであるからであり、特定ユーザが誤って対象ユーザと認識されることを防ぐことができるからである。

このように構成された本実施形態の画像処理装置１００の画像処理方法について、以下説明する。
図６は、本実施形態の画像処理装置１００の動作の一例を示すフローチャートである。
本発明の実施の形態に係る画像処理方法は、画像処理装置１００の画像処理方法であり、画像処理装置１００を実現するコンピュータ６０により実行される画像処理方法である。
本実施形態の画像処理方法は、画像処理装置１００が、ユーザの携帯端末３から送信される情報に基づいて、撮像装置５と所定位置関係に存在するユーザの画像特徴情報を取得し（ステップＳ１０１）、特定人物の画像特徴情報を取得し（ステップＳ１０９）、撮像装置５により撮像された画像を取得し（ステップＳ１０３）、取得されたユーザの画像特徴情報を用いて、取得された画像内における、その画像特徴情報に対応するユーザ以外の未確認人物の存在を検出し（ステップＳ１０５）、取得された画像内における、検出された未確認人物の画像特徴情報と、取得された特定人物の画像特徴情報とを照合して（ステップＳ１１１）、特定人物の存在を検出する（ステップＳ１１３）、ことを含む。

上記ステップＳ１０１、ステップＳ１０３、およびステップＳ１０９は、他のステップとは非同期に実行することができ、図６に示すフローチャートの順序でなくてもよい。ステップＳ１０３の撮像装置５により撮像された画像の取得は、所定期間（所定時間）、常時実行されているものとする。また、ステップＳ１０３で撮像装置５により撮像された画像（映像）を時刻情報とともに記憶装置に保存し、さらに、ステップＳ１０１で取得された対象ユーザの画像特徴情報も時刻情報とともに記録し、別の機会に、時刻情報に基づいて、ステップＳ１０５の照合処理行うこともできる。

より詳細には、まず、第１特徴取得部１０２が、ユーザの携帯端末３から送信される情報に基づいて、撮像装置５と所定位置関係に存在するユーザの画像特徴情報を取得する（ステップＳ１０１）。そして、画像取得部１０６が、撮像装置５により撮像された画像を取得する（ステップＳ１０３）。たとえば、図５（ａ）に示すような画像Ｐ１を取得したとする。次いで、第１検出部１０８が、取得されたユーザの画像特徴情報を用いて、取得された画像Ｐ１内における、その画像特徴情報に対応するユーザ以外の未確認人物の存在を検出する（ステップＳ１０５）。ここでは、画像Ｐ１において、人物ｆ１〜ｆ４が認識され、そのうち、第１検出部１０８により未確認人物として、人物ｆ１とｆ４が検出されたとする。言い換えれば、人物ｆ２とｆ３は、対象ユーザとして特定されたものとする。

そして、画像Ｐ１内に未確認人物が存在している場合（ステップＳ１０７のＹＥＳ）、第２特徴取得部１０４が、特定人物の画像特徴情報を取得する（ステップＳ１０９）。そして、第２検出部１１０が、取得された画像内における、検出された未確認人物の画像特徴情報と、取得された特定人物の画像特徴情報とを照合して（ステップＳ１１１）、特定人物の存在を検出する（ステップＳ１１３）。

ステップＳ１０９で第２特徴情報データベース１１４の特定人物の画像特徴情報を取得する毎に、各画像内の限定された照合対象範囲内の全ての人物の領域または画像特徴情報について、ステップＳ１１１で照合を行う。ステップＳ１０９〜ステップＳ１１３は、すべての特定人物の画像特徴情報について、画像内のすべての未確認人物の領域の画像特徴情報との照合が終わるまで、繰り返し実行される。

ステップＳ１１１において、図５（ｂ）の画像Ｐ２の破線で示した、対象ユーザｆ２とｆ３の画像領域に相当する領域Ｒｆ２とＲｆ３を除いた画像領域、または、対象ユーザとして特定された人物ｆ２とｆ３の領域以外の、未確認人物ｆ１とｆ４の領域、または当該各領域の画像特徴情報を照合対象とする。このように、本実施形態では、第２検出部１１０による特定ユーザの検出時には、画像内の人物を絞り込んだ、限定された画像エリアまたは画像特徴情報を元に照合を行うため、検出候補の数を可能な限り制限することができ、ひいては、特定人物の検出精度を向上させることができる。

また、ステップＳ１１３で、特定人物が検出された場合には、画像処理装置１００の通知部（不図示）が、アラーム出力を行い、警備員等に通報することができる。また、検出情報は、時刻情報および撮像画像情報とともに、記録部（不図示）に記録されてもよい。

図７は、本発明の実施の形態に係る画像処理装置１００の動作を説明するための図である。
以下、図６および図７を用いて、画像処理装置１００の動作について説明する。
ステップＳ１０３で、画像取得部１０６により画像の各フレーム（００１〜００９）が順次取得される。一方、ステップＳ１０１で、第１特徴取得部１０２により、対象ユーザの画像特徴情報が取得される。たとえば、フレーム００１が撮像された時に、対象ユーザ（Ｕ１）の画像特徴情報が取得されたとする。

ステップＳ１０５で、第１検出部１０８により、まず、フレーム００１内の人物の形象（たとえば、顔）が検出される。ここでは、２人の顔が検出されたとする。検出された人物（Ｆ１、Ｆ２）の形象の各々について、ステップＳ１０１で取得された対象ユーザ（Ｕ１）の画像特徴情報との照合が行われる。ここでは、検出された２人の人物（Ｆ１、Ｆ２）のうち、人物（Ｆ１）の画像特徴情報が対象ユーザ（Ｕ１）の画像特徴情報と一致したものとする。そして、第１検出部１０８により、対象ユーザ（Ｕ１）以外で、顔検出された人物（Ｆ２）を、未確認人物として検出する。

ここで、画像特徴情報が取得された対象ユーザが、撮像されたフレーム内に存在していることが望ましい。撮像された画像内から対象ユーザを確実に検出することで、特定人物の検出候補となる未確認人物の数を制限することができ、特定人物の検出精度を上げることができるからである。

画像の撮像のタイミングと、対象ユーザが画像内に存在している時刻を合わせるために、第１検出部１０８は、以下に例示される処理を行ってもよい。
（ｂ１）撮像装置５との所定位置関係に相当する範囲（以後、対象エリアとも呼ぶ）に対象ユーザが入ってきたこと、または存在することを検知する、または、検知された時刻を記録する。
（ｂ２）検知された時、または、記録された時刻に撮像装置５で撮像された画像フレームを対象ユーザの画像特徴情報との照合対象フレームとする。または、検知された時点、または記録された時刻を含む所定期間、撮像装置５で撮像された複数の画像フレームを対象ユーザの画像特徴情報との照合対象フレームとする。所定期間は、基準時刻の前後にまたがってもよいし、基準時刻を期間の開始または終了時刻としてもよい。
このように、撮像された画像内から対象ユーザを確実に検出することができるように、対象エリアと、対象ユーザの検出可能位置の関係、検出情報の検出手段等を考慮して、タイミングの合わせ方を決めればよい。

さらに、フレーム００２が撮像された時には、取得されたユーザの画像特徴情報がないので、第１検出部１０８は、ステップＳ１０５で顔検出された人物（Ｆ３）を、未確認人物として検出する。
また、フレーム００５が撮像された時には、取得されたユーザ画像特徴情報はなく、かつ、第１特徴取得部１０２により取得された対象ユーザの画像特徴情報もないので、ステップＳ１０５の照合処理はバイパスされる。

また、フレーム００７が撮像された時に、ステップＳ１０１で対象ユーザ（Ｕ３）の画像特徴情報は取得されたが、第１検出部１０８によるフレーム００７内の顔検出で、人物の形象が検出されなかった場合、照合処理はバイパスされる。このときステップＳ１０１で取得された対象ユーザ（Ｕ３）の画像特徴情報については、時刻情報とともに記録しておいてもよい。あるいは、フレーム００７の前後フレーム（複数フレームでもよい）内で、顔検出された人物（Ｆ４、Ｆ５）の特徴情報と照合してもよい。

このようにして、第１検出部１０８により検出された未確認人物（たとえば、Ｆ２、Ｆ３、Ｆ５等）を、第２検出部１１０がブラックリストに含まれる特定人物と照合し、特定人物を探すことができる。

なお、図７において、フレーム番号は、説明のために付してあるものであり、映像を構成する画像フレームの全てを示しているものではない。たとえば、フレーム００１とフレーム００２の間には、さらに複数のフレームが存在しているが、図示していない。実際には、フレーム１で検出された人物Ｆ１とＦ２は、撮像装置５の画角内に存在している間、撮像された画像内に写っている。なお、本実施形態において、一度、認識された人物の形象は、人物が所定時間以上、顔を後ろや上下に向けて写らない状態にならない限り、人物が移動していても、追跡して認識を継続できるものとする。すなわち、一度認識された人物（対象ユーザ）の形象は、継続するフレーム内で認識処理を行わずに追跡できるので、画像内の特定人物の検出候補から、認識処理を行わずに、排除できる。なお、この人物の形象の認識処理は、既存の画像認識技術のオブジェクトトラッキング技術を用いて行うことができ、詳細な説明は省略する。

以上説明したように、本発明の実施の形態の画像処理装置１００において、第１特徴取得部１０２により、対象ユーザの携帯端末３から送信される情報に基づいて、撮像装置５と所定位置関係に存在する対象ユーザの画像特徴情報が取得され、第２特徴取得部１０４により、特定人物の画像特徴情報が取得される。そして、取得された対象ユーザの画像特徴情報を用いて、撮像装置５により撮像された画像内における、その画像特徴情報に対応する対象ユーザ以外の未確認人物の存在が、第１検出部１０８により、検出される。そして、第２検出部１１０により、当該画像内における、検出された未確認人物の画像特徴情報と、特定人物の画像特徴情報とを照合して、特定人物の存在が検出される。
このように、本実施形態の画像処理装置１００によれば、対象ユーザの画像特徴情報に基づいて画像内の人物を未確認人物に絞り込み、未確認人物を照合対象として特定人物を探すので、撮像画像から高精度に検出することができる。

（第１実施形態の具体例１）
上記第１実施形態の具体例１として、ビーコンを利用したユーザ情報の取得方法について説明する。
なお、本実施形態の構成は、他の実施形態、および他の実施形態の各例の構成の少なくともいずれか１つと組み合わせることもできる。
図８は、本実施形態の画像処理システムの構成例を示す図である。
本実施形態の画像処理システムは、図１の画像処理システム１の構成に加え、さらに、ビーコン装置７を備える。ビーコン装置７は、画像処理装置１２０に有線または無線、あるいは、これらの組み合わせにより接続される。あるいは、ビーコン装置７は、ネットワーク（不図示）を介して画像処理装置１２０に接続されてもよい。

ビーコン装置７の設置位置は、送出する検知信号を受信した携帯端末３を画像処理システムが検知することができるその携帯端末３の位置と撮像装置５の撮像範囲との位置関係により決められる。たとえば、図８に示されるように、ビーコン装置７は、撮像装置５の近傍に設置される。ただし、ビーコン装置７の設置場所は、撮像装置５の近傍である必要はない。撮像装置５から所定距離離れた位置にビーコン装置７が設置されていてもよい。たとえば、ビーコン装置７から送出された検知信号が携帯端末３で受信されてからその携帯端末３が撮像装置５の撮像範囲に移動するまでの時間が当該所定距離で推測できればよい。

図９は、本実施形態の画像処理システムのビーコン装置７と、ビーコン装置７から発信されるビーコン信号に応答する携帯端末３の論理的な構成を示す機能ブロック図である。
携帯端末３は、検知信号受信部４２と、情報送信部４４と、を含む。
ビーコン装置７は、検知信号送信部１３２を含む。

図９の携帯端末３およびビーコン装置７は、ＣＰＵ、メモリ、メモリにロードされた図９の携帯端末３およびビーコン装置７の構成要素を実現するプログラム、そのプログラムを格納する内部ストレージなどの記憶ユニット、および通信用インタフェースを備えるコンピュータ（不図示）またはコンピュータに組み込まれるユニット（不図示）であってもよい。図９のビーコン装置７の各構成要素は、コンピュータのハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

ビーコン装置７において、検知信号送信部１３２は、定期的にまたは間欠的に、自装置からの距離が所定の距離以内に位置する携帯端末３に、無線通信で検知信号を送信する。検知信号には、ビーコン装置７の識別情報と、検知信号が届く送信距離の距離情報が含まれてもよい。

たとえば、検知信号送信部１３２は、通信距離が所定の距離以内である所定の無線通信規格を用いて、自装置から所定の距離以内の通信エリア内に、定期的に、または間欠的に検知信号を送信する。そして、当該通信エリア内に位置する携帯端末３は、当該検知信号を受信することとなる。無線通信規格は、ブルートゥース規格や無線ＬＡＮ（Local Area Network）規格等が挙げられるがこれらに限定されない。ビーコン装置７は、たとえば、いわゆるビーコン端末や無線ＬＡＮアクセスポイントであってもよいが、これらに限定されない。検知信号としては、ブルートゥース規格や無線ＬＡＮ規格のビーコンを利用することができる。

検知信号送信部１３２は、検知信号の送信距離を、第１のレベルから第ｎ（ｎは２以上の整数、かつ、ｎが大きいほど距離が大きい）のレベルの間で制御可能である。たとえば、検知信号送信部１３２は、第１から第３の３つのレベルの間で送信距離を制御可能であってもよい。図１０に示すように、３つの通信エリアは、破線Ａ１、Ａ２、Ａ３で各境界が示されている。通信エリアの境界Ａ１より内側（以後、通信エリアＡ１とも呼ぶ）が第１のレベルの送信距離に対応し、通信エリアの境界Ａ２より内側（以後、通信エリアＡ２とも呼ぶ）が第２のレベルの送信距離に対応し、通信エリアの境界Ａ３より内側（以後、通信エリアＡ３とも呼ぶ）が第３のレベルの送信距離に対応する。

そして、検知信号送信部１３２は、送信する検知信号に、送信距離を示す距離情報を含めて送信する。すなわち、ビーコン装置７は、第ｐのレベル（ｐは１以上ｎ以下の整数）の送信距離で検知信号を送信する場合、当該検知信号の中に、第ｐのレベルの送信距離で検知信号を送信したことを示す距離情報を含めて送信する。

なお、検知信号送信部１３２による送信距離の制御は、同じ無線通信規格で送信距離を調整することで実現してもよいし、または、ビーコン装置７が、通信距離が互いに異なる複数の無線通信規格で検知信号を送信可能であり、各規格で検知信号を送信することで実現してもよい。

一方、携帯端末３の検知信号受信部４２および情報送信部４４は、ビーコン装置７と同じ規格で無線通信が可能であるものとする。そして、検知信号受信部４２は、距離情報が含まれている検知信号をビーコン装置７から受信する。

情報送信部４４は、検知信号受信部４２による検知信号の受信に呼応して、ユーザの識別情報（ユーザＩＤ）を含む応答情報を画像処理装置１２０に送信する。応答情報には、検知信号に距離情報を含んで送信してもよい。また、後述するように、複数のビーコン装置７から検知信号を受信する場合には、検出信号に含まれる発信元ＩＤも応答情報に含めてもよい。
たとえば、検知信号受信部４２が検知信号を受信すると、情報送信部４４は、検知信号内の所定の位置に、ユーザの識別情報（ユーザＩＤ）を書き込み、それを応答情報として画像処理装置１２０に送信してもよい。さらに、応答情報に、ユーザの画像特徴情報を含めて返信してもよい。この構成については後述する。

画像処理装置１２０は、携帯端末３の情報送信部４４と同じ規格で無線通信が可能であるものとする。あるいは、携帯端末３が携帯通信網経由でインターネット等のネットワークに接続し、ネットワーク経由で画像処理装置１２０に応答情報を送信してもよい。

なお、通信エリア（図１０に示す境界Ａ３よりビーコン装置７側のエリア）内に携帯端末３がいる間、検知信号受信部４２は、ビーコン装置７から定期的にまたは間欠的に送信される検知信号を受信し続けることとなる。情報送信部４４は、検知信号受信部４２が検知信号を受信すると、その都度、応答情報を画像処理装置１２０に送信してもよい。または、検知信号受信部４２は、ビーコン装置７から所定の時間よりも短い時間間隔で連続的に同じ送信距離を示す距離情報を含む検知信号を受信した場合、２回目以降の受信時には応答情報を送信しないように構成してもよい。この場合、携帯端末３は、ビーコン装置７からの検知信号の受信が所定時間以上途絶えると、その旨を示す情報（ユーザの識別情報を含む）を画像処理装置１２０に送信してもよい。これは、携帯端末３が通信エリア外に出て行ったことを意味する。

図１１は、本実施形態の画像処理装置１２０の論理的な構成を示す機能ブロック図である。
画像処理装置１２０は、図２の上記実施形態の画像処理装置１００と同様な第１特徴取得部１０２、第２特徴取得部１０４、画像取得部１０６、および第２検出部１１０を備えるとともに、さらに、応答情報受信部１２２を備える。また、本実施形態の画像処理装置１２０において、上記実施形態の画像処理装置１００の第１検出部１０８に替えて、第１検出部１２４を備えてもよい。

本実施形態の画像処理装置１２０において、応答情報受信部１２２は、発信元からの距離情報を含む第１検知信号を受信した携帯端末３から送信された情報を受信する。

応答情報受信部１２２が取得する情報は、たとえば、ユーザの識別情報（ユーザＩＤ）が含まれる。
応答情報受信部１２２により受信されたユーザの識別情報に基づいて、第１特徴取得部１０２は、第１特徴情報データベース１１２を参照し、当該ユーザの画像特徴情報を取得することができる。

さらに、本実施形態の画像処理装置１２０において、第１検知信号には、第１無線通信装置（ビーコン装置７）からの距離情報が含まれる。
応答情報受信部１２２は、携帯端末３から、識別情報とともに距離情報を受信する。
第１検出部１２４は、応答情報受信部１２２により受信された距離情報に基づいて、画像取得部１０６により取得された画像の中で、第１特徴取得部１０２により取得されたユーザの画像特徴情報と照合させる画像を特定する。
第１検知信号には、さらに、第１無線通信装置（ビーコン装置７）の発信元ＩＤを含んでもよい。

詳細には、応答情報受信部１２２が受信する情報は、携帯端末３が受信した検知信号に含まれる距離情報と、携帯端末３のユーザを識別するユーザＩＤを含む。
画像処理装置１２０は、ユーザＩＤを元に、当該ユーザの画像特徴情報を取得するが、携帯端末３からユーザＩＤの替わりに携帯端末３のユーザの画像特徴情報が送信されてもよい。さらに、携帯端末３から送信される情報は、検知信号の発信元の識別情報（発信元ＩＤ）を含んでもよい。

第１検出部１２４は、応答情報受信部１２２により受信された距離情報に基づいて、携帯端末３が、撮像装置５の所定位置関係にあるか否かを判定する。
たとえば、図１０に示すように、出入口Ｅ１からユーザＵａが進入した時、距離情報から、ユーザＵａが境界Ａ３〜境界Ａ２の間の通信エリアに存在することが分かる。さらに、ユーザＵａが矢印の方向に移動して、境界Ａ２〜境界Ａ１の間の通信エリアに進入した時、携帯端末３が受信する検知信号に含まれる距離情報が変わる。
第１検出部１２４は、応答情報受信部１２２により受信された距離情報に基づいて、携帯端末３が境界Ａ２〜境界Ａ１の間の通信エリアに存在することを判別できる。このように、第１検出部１２４は、携帯端末３から送信される距離情報に基づいて、撮像装置５と所定位置関係にある携帯端末３を判別できる。

なお、第１検出部１２４は、携帯端末３から送信される距離情報に基づいて、経過時間毎の携帯端末３の距離情報の変化から、ユーザの移動方向を判別してもよい。移動方向が、出入口Ｅ１から撮像装置５に向かっている場合には、撮像装置５にユーザの顔は写るが、反対方向の場合、ユーザは撮像装置５に背を向けている可能性が高く、撮像装置５にユーザの顔は写らない可能性がある。
ユーザから応答情報（距離情報）を受信した場合に、移動方向を判別し、たとえば、撮像装置５に背を向ける方向にユーザが進んですることが分かれば、撮像装置５はユーザの顔が撮像画像に写っていないと判断し、その時の撮像画像内での当該ユーザの顔画像の検索を行わないなどの処理を行ってもよい。また、入場時に一度確認できれば、その後はサーチ対象から除外されるのが好ましいので、移動方向が反対方向の場合には、サーチ対象から除外してもよい。

このように構成された本実施形態の画像処理システムの動作について、以下説明する。
図１２は、本実施形態の画像処理システムの動作の一例を示すフローチャートである。
本実施形態の画像処理システムにおいて、ビーコン装置７の検知信号送信部１３２が、定期的にまたは間欠的に、検知信号（ｐ１、ｐ２、およびｐ３）を送信する（ステップＳ１２１）。たとえば、図１０に示すように、ユーザＵａは、出入口Ｅ１から建屋に入って来たとき、検知信号（ｐ３）の通信エリア（Ａ３）内に進入することになる。そこで、ユーザＵａの携帯端末３の検知信号受信部４２が検知信号（ｐ３）を受信する（ステップＳ１２３）。携帯端末３の情報送信部４４が、検知信号（ｐ３）に呼応して応答情報を返信する（ステップＳ１２４）。
本実施形態では、携帯端末３の情報送信部４４が送信する応答情報には、ユーザＩＤおよび距離情報が含まれる。たとえば、情報送信部４４は、受信した検知信号（ｐ３）の所定位置にユーザＩＤを書き込んで応答情報として送信する。

画像処理装置１２０の応答情報受信部１２２が応答情報を受信すると（ステップＳ１３１のＹＥＳ）、ユーザＩＤと距離情報を取得する（ステップＳ１３３）。第１検出部１２４が、受信した距離情報に基づいて、携帯端末３が撮像装置５と所定位置関係にあるか否かを判定する（ステップＳ１３５）。所定位置関係にある場合（ステップＳ１３５のＹＥＳ）、ステップＳ１３７に進む。所定位置関係にない場合（ステップＳ１３５のＮＯ）、ステップＳ１３１に戻る。

ステップＳ１３７では、第１特徴取得部１０２が、取得したユーザＩＤに基づいて、ユーザの画像特徴情報を取得する。ここでは、第１特徴取得部１０２は、第１特徴情報データベース１１２にアクセスし、ステップＳ１３３で取得したユーザＩＤに対応する画像特徴情報を取得する。取得された画像特徴情報を用いて撮像画像の中からユーザの画像を検索し、撮像画像から除外する処理へと進む。ステップＳ１３７の後の手順は、図６の上記実施形態の画像処理装置１００のフローチャートのステップＳ１０３以降の手順と同様であるので説明は省略する。

本実施形態では、たとえば、ユーザが通信エリア（Ａ２）に存在する時、すなわち、携帯端末３が撮像装置５と所定位置関係にある時、撮像装置５の画角内にユーザが存在するので、撮像装置５が撮像した画像の中から、当該ユーザを検索するものとする。また、さらに、通信エリア（Ａ１）にユーザが進んだ場合は、撮像装置５の画角からユーザが外れているので、すなわち、携帯端末３が撮像装置５と所定位置関係にないので、当該ユーザは検索対象から除外してもよい。

すなわち、ユーザＵａが通信エリア（Ａ３またはＡ１）に存在する場合は、ステップＳ１３５はＮＯとなり、ステップＳ１３１に戻り、ユーザＵａの検索は行わない。ユーザＵａが通信エリア（Ａ２）に存在する場合は、ステップＳ１３５はＹＥＳとなり、ステップＳ１３７に進み、ユーザＵａの画像特徴情報を取得し、撮像画像内でユーザＵａの検索が行われることとなる。

なお、本実施形態では、携帯端末３から送信される応答情報に距離情報が含まれている例を説明したが、距離情報は必ずしも含まれなくてもよい。この場合、ビーコン装置７は、撮像装置５と所定位置関係にあるユーザの携帯端末３が受信できる範囲に検知信号を送信すればよい。また、撮像装置５と所定位置関係にあるユーザの携帯端末３が受信できる範囲に検知信号を送信できる位置にビーコン装置７を設置すればよい。画像処理装置１２０は、少なくとも携帯端末３から送信された応答情報に含まれるユーザＩＤを取得し、ユーザＩＤに基づいて、当該ユーザの画像特徴情報を取得できる構成を有していればよい。すなわち、図１２のフローチャートのステップＳ１３３で、応答情報受信部１２２が、携帯端末３からユーザＩＤを取得し、ステップＳ１３７で、第１特徴取得部１０２が取得したユーザＩＤに対応するユーザの画像特徴情報を取得する。このケースでは、図１２のフローチャートのステップＳ１３５は不要である。

以上説明したように、本実施形態の画像処理装置１２０において、応答情報受信部１２２により、撮像装置５と所定位置関係に存在する携帯端末３を検知する第１検知信号に呼応して携帯端末から送信された識別情報が受信される。そして、第１検出部１２４により、応答情報受信部１２２により受信された識別情報に基づいて、第１特徴情報データベース１１２を参照して、対象ユーザの画像特徴情報が取得される。

このようにして、本実施形態の画像処理装置１２０によれば、たとえば、ビーコン装置７から送信されたビーコンに呼応して、携帯端末３がユーザＩＤを画像処理装置１２０に送信するので、ユーザ識別情報に基づいて、対象ユーザの画像特徴情報を取得して、撮像画像内から対象ユーザを検索することができる。結果として、対象ユーザを撮像画像が除外し、未確認人物の中から特定人物を検索できることとなる。

（第１実施形態の具体例２）
上記第１実施形態の別の具体例として、さらに、第２のビーコンを利用した、ユーザが存在する位置の特定方法について説明する。
なお、本実施形態の構成は、他の実施形態、および他の実施形態の各例の構成の少なくともいずれか１つと組み合わせることもできる。

図１３は、本実施形態の画像処理装置１４０の論理的な構成を示す機能ブロック図である。
本実施形態の画像処理装置１４０は、図２の上記実施形態の画像処理装置１００と同様な第１特徴取得部１０２、第２特徴取得部１０４、画像取得部１０６、第１検出部１０８、および第２検出部１１０を備えるとともに、さらに、応答情報受信部１４２と、方向特定部１４４と、を備える。

本実施形態において、応答情報受信部１４２は、第１無線通信装置とは異なる第２無線通信装置から送出された第２検知信号を更に受信した携帯端末３から送信された情報をさらに受信する。
方向特定部１４４は、応答情報受信部１４２により受信された、第１検知信号に対する応答情報および第２検知信号に対する応答情報を用いて、撮像装置５に対する携帯端末３の方向を特定する。

図１４および図１５は、本実施形態の画像処理システムの動作を説明するための図である。
本実施形態の画像処理システムは、上記実施形態の画像処理装置１２０で説明した構成に、さらに、第２検知信号を送信する第２のビーコン装置を含む。図１５の例では、２つのビーコン装置７ａと７ｂを備えている。図１５の例では、３つのビーコン装置７ａ、７ｂ、および７ｃを備えている。さらに、図１５の例では、ビーコン装置７ａ、７ｂ、７ｃでユーザが検知された場合に、それぞれ撮像装置５（カメラ５ａ、５ｂ、５ｃ）が撮影を開始または撮像画像のサーチ対象画像として記録して保存してもよい。

ビーコン装置７ａは、図９の上記実施形態のビーコン装置７と同様な構成を有する。
ビーコン装置７ｂと７ｃは、図９の上記実施形態のビーコン装置７と同様な構成を有し、検知信号を、所定の通信エリアに対して、定期的にまたは間欠的に送信する点では同様である。ビーコン装置７と異なる点は、検知信号送信部１３２が、破線Ａ１１、破線Ａ１２または破線Ａ２１で示される通信エリア内に存在する携帯端末３が応答するように、検知信号を送信することである。

図１４の例では、出入口Ｅ１の外側に屋外に通じる風除室の出入口Ｅ２がさらにあり、図１５の例では、さらに別の出入口Ｅ３があるとする。なお、出入口Ｅ２および風除室は必ずしもなくてもよい。
本実施形態では、出入口Ｅ２から風除室を通って入って来たユーザＵｂまたはユーザＵａを検知し、他のユーザと区別することができる。あるいは、図１５の例では、出入口Ｅ３から建屋の外に出ようとしているユーザＵｃを検知し、他のユーザと区別することができる。

具体的には、図１４のユーザＵａが、出入口Ｅ２から建屋内に入り、さらに出入口Ｅ１を入ったとき、ユーザＵａの携帯端末３の検知信号受信部４２は、ビーコン装置７ａとビーコン装置７ｂのそれぞれの検知信号送信部１３２から送信された検知信号を受信する。携帯端末３は、それぞれの検知信号に呼応してユーザＩＤを含む応答情報を画像処理装置１４０にそれぞれ送信する。
画像処理装置１４０において、応答情報受信部１４２が、携帯端末３から送信された応答情報を受信し、応答情報からユーザＩＤを取得する。応答情報には、ユーザＩＤの他、ビーコン装置７の識別情報や距離情報が含まれてもよい。

画像処理装置１４０では、第１特徴取得部１０２は、取得したユーザＩＤと、ビーコン装置の識別情報と、時刻情報とをメモリ６４に一時的に記憶する。ここでは、ユーザＵａの携帯端末３からは、ビーコン装置７ａとビーコン装置７ｂのそれぞれから排除された検知信号に呼応した応答情報が送信されている。この２つの応答情報に基づいて、ユーザＵａが、通信エリアＡ３と、通信エリアＡ１１が重なるエリア（特定範囲）に存在していることが特定される。

たとえば、ユーザＵａが出入口Ｅ２に入った時は、ビーコン装置７ｂから発信された検知信号（ｐ１）にのみユーザＵａの携帯端末３は応答し、ビーコン装置７ａから発信された検知信号（ｐ１、ｐ２、ｐ３のすべて）を受信できないので、応答しない。そして、ユーザＵａが、出入口Ｅ１に差し掛かると、ユーザＵａの携帯端末３は、ビーコン装置７ａから発信された検知信号（ｐ３）にも応答するようになる。さらに、ユーザＵａが出入口Ｅ１から店舗内に進入していくと、ビーコン装置７ｂから発信された検知信号（ｐ２）とビーコン装置７ａから発信された検知信号（ｐ３）に応答するようになる。そして、さらに、ユーザＵａが進み、撮像装置５に近づくと、ビーコン装置７ｂから発信された検知信号（ｐ２）とビーコン装置７ａから発信された検知信号（ｐ２）に応答する。

本実施形態では、画像処理装置１４０の方向特定部１４４は、このように２つの検知信号に対する応答情報を時刻情報とともに保持し、２つの応答情報の組み合わせの変化に基づいて、撮像装置５に対する携帯端末３の移動方向を特定することができる。
たとえば、通信エリア（Ａ３）は、ビーコン装置７ａの周囲に全体にわたって存在する。しかし、撮像装置５の画角が図１４のように出入口Ｅ１の方向に向いている場合には、ユーザが撮像装置５の画角の方向から撮像装置５に向かって進んできている時に撮像された画像に、ユーザが写る可能性が高い。そこで、本実施形態では、ビーコン装置７ａとは別に、ビーコン装置７ｂを設け、通信エリアＡ３内の出入口Ｅ１の方向に存在するユーザを検出する。

このようにして、特定範囲内に存在する携帯端末３のユーザが特定された後、図１４の例では、さらにユーザＵａが建物内部に進んでビーコン装置７ａの通信エリア内の境界Ａ２内に入ったときに、さらに、携帯端末３はビーコン装置７ａの検知信号（ｐ２）とビーコン装置７ｂの検知信号（ｐ２）に対する応答情報を送信する。そして、画像処理装置１４０の第１特徴取得部１０２は、送信された情報に基づいて、撮像装置５により撮像された画像内で、応答した携帯端末３のユーザＵａの情報を取得し、対応する画像特徴情報を取得する。

たとえば、応答情報受信部１２２は、ユーザＵａの携帯端末３から応答情報を受信し、ユーザＩＤを取得し、ユーザＩＤを一時的に記憶する。そして、さらに、ユーザＵａが建屋の奥に進み、ビーコン装置７ａの通信エリア内の境界Ａ２内に入ったときに、携帯端末３からの応答に呼応してユーザＩＤを取得する。先に取得したユーザＩＤと今回取得したユーザＩＤが同じであることから、ユーザＵａが通信エリアＡ２に移動して来たと判別して、当該ユーザＵａを検索対象とする。そして、第１特徴取得部１０２が当該ユーザＵａのユーザＩＤに対応する画像特徴情報を第１特徴情報データベース１１２から取得する。そして、第１検出部１０８が、撮像装置５により撮像された画像に対して、人物の形象を認識し、画像内で認識された人物の形象の領域毎に、取得したユーザＩＤに対応する画像特徴情報との照合処理を行ってもよい。

なお、特定範囲に存在する携帯端末３のユーザが特定された時の画像処理システムの動作は、これらに限定されない。たとえば、特定範囲に存在する携帯端末３のユーザが特定されるまでは、撮像装置５の動作を停止または画像の解像度を低くしたり、毎秒のフレーム数を少なくしたりしてもよい。
さらに、図１５の例では、ビーコン装置７ｂの通信エリアＡ１１内、または、ビーコン装置７ｃの通信エリアＡ２１内にユーザＵｃが進入した場合、カメラ５ｃが動作し、通信エリアＡ２１内に存在するユーザＵｃを含む画像を撮像する。

このようにして、本実施形態の画像処理装置１４０は、撮像装置５と所定位置関係にある携帯端末３を画像の存在タイミングを合わせて特定することができ、特定された携帯端末３のユーザを、撮像装置５で存在された画像の中から、検索することができる。

（第１実施形態の具体例３）
上記第１実施形態のさらなる別の具体例として、ＧＰＳ（Global Positioning System）を利用した、ユーザ位置の特定方法について説明する。
なお、本実施形態の構成は、他の実施形態、および他の実施形態の各例の構成の少なくともいずれか１つと組み合わせることもできる。

たとえば、上記具体例１の画像処理装置１２０がユーザ情報をビーコンを利用して取得する構成では、携帯端末３側で、ビーコンに応答するための本発明のアプリケーションを起動していなければならない。しかし、本具体例３の構成では、携帯端末３側で本発明のアプリケーションを起動しなくてもよい。なお、携帯端末３において、ＧＰＳ機能部の使用を許可する設定は事前に行われているものとする。また、上記具体例１の構成と、本具体例３の構成の両方を備えていれば、状況に応じて利用する構成を切り替えることができる。これにより、携帯端末３側で本発明のアプリケーションが起動されている場合と、起動されていない場合のいずれの場合でも、本発明の画像処理装置を実現することができる。

本実施形態において、画像処理装置は、携帯端末３のＧＰＳ機能部を用いて取得したユーザの携帯端末３の位置情報に基づいて、撮像装置５と所定位置関係に存在する携帯端末３のユーザを特定するユーザ特定部（不図示）をさらに備える。
第１特徴取得部１０２は、ユーザ特定部により特定されるユーザの画像特徴情報を取得する。

この構成においては、店舗内等、所定の場所における、ユーザの位置情報の取得を承諾する取り決めを予めユーザと取り交わしておくものとする。あるいは、位置情報を取得する度に、ユーザに確認するメッセージを提示し、承認を得てから取得するものとする。後者の場合は、店舗内でユーザから一度許可を得た後は、ユーザが店舗外に出たことが検知されるか、または、所定時間経過するまでは、確認処理は行わないようにしてもよい。
この構成によれば、携帯端末３のＧＰＳ機能部を用いてその位置情報を取得できるので、ユーザが来店時等にアプリケーションを起動する必要がないので、ユーザのアプリケーションの起動し忘れによって本システムの利用ができなくなることがなくなる。ユーザは特に意識せずに、本システムを利用することができる。

（第２の実施の形態）
次に、本発明の第２の実施の形態に係る画像処理システムについて、以下説明する。
図２０は、本発明の実施の形態に係る画像処理システムの動作の一例を示すフローチャートである。
本実施形態の画像処理装置２００は、上記実施形態の画像処理装置１００とは、画像処理装置２００が、対象ユーザの画像特徴情報を保持せず、第１特徴取得部１０２がユーザの携帯端末３から送信される画像特徴情報を都度取得する構成を有する点で相違する。
なお、本実施形態の構成は、上記各実施形態、およびその各例の構成の少なくともいずれか１つと組み合わせることもできる。

本実施形態の画像処理装置２００において、第１特徴取得部１０２は、携帯端末３が予め保持しているユーザの画像特徴情報を、撮像装置５と所定位置関係に存在する携帯端末３から取得する。
この構成によれば、ユーザが顔画像の特徴情報を事前にシステムに登録することに抵抗があるような場合にも、本システムのデータベースにユーザの顔画像の特徴情報を保持しないので、本システムの利用を促すことが可能になる。

図１６は、本実施形態の画像処理装置２００を含む画像処理システムの動作の一例を示すフローチャートである。
まず、携帯端末３において、画像情報取得部（不図示）が、撮像部３２を用いてユーザは顔写真を撮像する（ステップＳ２０１）。そして、画像情報取得部が、撮像された画像から画像特徴情報を抽出し、内部ストレージ１６に保存する（ステップＳ２０３）。ここまでの手順は、たとえば、携帯端末３から所定のウェブサイトにアクセスし、ウェブサイト上に提示される手順に従い、ユーザが携帯端末３を操作することで実行されてもよい。あるいは、登録用のアプリケーションをダウンロードし、アプリケーションを実行することで、ユーザに写真撮影させるガイダンスを実行し、撮像された画像から自動的に画像特徴情報を抽出して保存する処理を行ってもよい。
なお、これらの処理は、後述する実施例で、サーバに登録する画像特徴情報の元になるユーザの顔画像をユーザに撮影させる処理でも同様である。

画像特徴情報を抽出する画像は、ユーザを正確に認識できる特徴量が抽出されるように、撮影条件（露出、焦点合わせ）や解像度等が適切に設定されるのが好ましい。そのため、予めユーザが撮像した画像を使用するよりも、本システムのガイダンスに従って、登録用に撮像させて得られた画像を用いるのが好ましい。なお、別途撮像した画像を画像特徴情報の抽出に用いることは排除されない。

そして、上記実施形態と同様に、ビーコン装置７から検知信号を受信した時（ステップＳ１２１）、画像処理装置２００に応答情報を送信する（ステップＳ２０５）。本実施形態では、画像処理装置２００には、応答情報として、ステップＳ２０３で保存した画像特徴情報が送信される。
そして、画像処理装置２００では、携帯端末３から応答情報を受信した時（ステップＳ１２５のＹＥＳ）、携帯端末３から受信した情報から、ユーザの画像特徴情報を取得する（ステップＳ１２９）。
以降の処理は、上記実施形態で説明したのと同じであるので、詳細な説明は省略する。

このように、本実施形態の画像処理装置２００によれば、携帯端末３側で、ユーザの画像特徴情報が保持され、検知信号に呼応して、都度、携帯端末３から画像処理装置２００に画像特徴情報が送信されるので、画像処理装置２００側にはユーザの画像特徴情報を保持しないで済む。したがって、この構成によれば、個人の画像データをシステムに登録することに抵抗があるユーザでも、本システムを利用することが可能になる。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
たとえば、第１特徴情報データベース１１２および第２特徴情報データベース１１４に格納されている画像特徴情報について、特徴量によるソート、または、サーチ対象ユーザの属性に基づく絞り込みなどの処理を行うこともできる。

＜特徴量による画像特徴情報のソート＞
ステップＳ２０３において、データベース内の複数の特定人物の中から、どの順番で照合を行うか、データベース内の特徴情報の特徴量をソートし、画像内で抽出された画像特徴情報と近似の特徴量を有する画像特徴情報から順に取得してもよい。

たとえば、第２特徴取得部１０４は、特定人物の画像特徴情報を予め格納する第２特徴情報データベース１１４の画像特徴情報を特徴量でソートし、各画像内で限定された画像エリアまたは画像特徴情報の特徴量と近似の特徴量を有する画像特徴情報から順に、第２特徴情報データベース１１４から取得し、第２検出部１１０が、各画像内の限定された画像エリアまたは画像特徴情報について照合する。

この構成によれば、類似する特徴量を有する特定ユーザとの照合を優先的に行うことができるので、画像内に特定ユーザが存在していた場合に、迅速に見つけることができる可能性が高くなり、効率よく照合処理を行うことができる。また、通常よりも類似度の設定をより低く設定し、特定人物が検出される確率を上げることができる。

＜サーチ対象ユーザの属性に基づく絞り込み＞
さらに、ステップＳ２０３において、照合を行う際に、画像内の未確認人物の性別または年代等の属性を判別し、データベースを性別または年代でフィルタをかけてもよい。
具体的には、第２検出部１１０は、第１検出部１０８により未確認人物の存在が検出された場合、未確認人物の、性別、および年代の少なくともいずれかの属性を判別し、判別された属性と同じ属性を有する、第２特徴情報データベース１１４の特定人物の画像特徴情報を抽出し、抽出された画像特徴情報を照合対象とする。

この構成によれば、未確認人物の存在が検出された場合に、性別または年代が特定できる場合には、候補となる特定人物を絞り込んだ上で検索することができるので、効率よく照合処理を行うことができる。また、通常よりも類似度の設定をより低く設定し、特定人物が検出される確率を上げることができる。

＜携帯端末３の情報送信方法の変形態様＞
検知信号による携帯端末３の位置の特定方法において、上記実施形態では、ビーコン装置７が検知信号を携帯端末３に送信し、検知信号を受信した携帯端末３が画像処理装置に情報を送信する構成について説明した。他の実施形態として、携帯端末３が検知信号を送信し、検知信号を受信したビーコン装置７が画像処理装置に情報を送信する構成、または、検知信号を受信した携帯端末３がビーコン装置７に情報を送信し、ビーコン装置７から画像処理装置に情報を転送する構成も考えられる。

たとえば、ビーコン装置７は、撮像装置５と所定の位置関係に存在する携帯端末３から発信された検出情報を受信する構成としてもよい。
携帯端末３は、定期的にまたは間欠的に、自端末からの距離が所定の距離以内に位置するビーコン装置７に向けて、無線通信で検知信号を送信する検知信号送信部（不図示）を有する。検知信号には、携帯端末３の識別情報またはユーザの画像特徴情報が含まれてもよい。

そして、ビーコン装置７は、携帯端末３から検知信号を受信する検知信号受信部（不図示）と、受信した検知信号から携帯端末３の識別情報またはユーザの画像特徴情報を取得する情報取得部（不図示）と、を備える。

この構成によれば、ユーザが店舗を利用する際、本発明の携帯端末３を実現するプログラム５０を起動し、検知信号を送信することで、ビーコン装置７はユーザの入店を検知することができる。ビーコン装置７の情報取得部がユーザの情報を取得し、画像処理装置にその情報を転送する。その後の処理は、上記実施形態の処理と同様である。

また、上記実施形態では、店舗にユーザが来店した場合を例に説明したが、本システムは、その他の敷地内や建物内にも適用できる。たとえば、遊園地、テーマパーク、公園、スタジアム、駅構内、サービスエリア、駐車上、公共施設、病院、ビル、マンション、住宅、道路等、監視カメラなどで撮像されているエリアであれば、特に限定されない。

本発明の画像処理システムは、たとえば、要人の警護や、オリンピック村等の所定施設内での不審者の検出にも適用できる。
すなわち、画像処理装置は、予め対象ユーザとして、要人とその警護にあたる人物の画像特徴情報を登録し、撮像画像内で、対象ユーザを検索対象から除外し、絞り込まれた未確認人物内で不審者の検出を行うことができる。
あるいは、オリンピック村等では、選手や関係者を予め対象ユーザとして画像特徴情報を登録しておき、撮像画像内で、対象ユーザを検索対象から除外し、絞り込まれた未確認人物内で不審者の検出を行うことができる。
このように、本発明の画像処理装置は、様々なシーンに適用できる。

（会員登録したユーザをブラックリスト照合から除外）
以下、本発明の画像処理システムの実施例について説明する。
本実施例では、ユーザが利用する店舗に予め会員登録を行い、会員登録されたユーザについては、ブラックリストとの照合から除外する。ユーザは、会員登録することで、店舗からインセンティブを取得できる構成としてまよい。本実施例の画像処理装置は、上記実施形態の画像処理装置１２０と同様な構成を備えるとともに、さらに、ユーザの識別情報と、前記ユーザの画像特徴情報を、前記ユーザの携帯端末から受信して格納するユーザ情報データベース（不図示）と、当該ユーザの携帯端末に対し、前記撮像装置と所定位置関係に存在することが確認された場合に、インセンティブを付与する付与部（不図示）と、を備えるサーバ３００を例として説明する。

図１８は、本実施例の携帯端末３として使用される、スマートフォン１０のハードウェア構成を示すブロック図である。
図１８に示すように、スマートフォン１０は、ＣＰＵ１２と、メモリ１４と、内部ストレージ１６と、通信部１８と、操作部２２と、操作受付部２４と、表示部２６と、表示制御部２８と、を備える。なお、図１０において、本発明の本質に関わらない部分の構成については省略してあり、図示されていない。また、スマートフォン１０では、操作部２２の一部と、表示部２６が一体となったタッチパネル３０を備えてもよい。さらに、スマートフォン１０は、撮像部３２と、ＧＰＳ機能部３４と、を備えてもよい。なお、本実施例では、スマートフォン１０が撮像部３２を備える構成としているが、これに限定されるものではない。スマートフォン１０に接続される外部のカメラで撮像してもよいし、あるいは、他のカメラで撮像された画像を入手してもよい。

図１７は、本実施例の画像処理システムをユーザが利用するために、ユーザの画像特徴情報を登録する手順の一例を示すフローチャートである。
まず、スマートフォン１０において、サーバ３００に会員登録を行うために、所定のウェブサイトにアクセスし、情報入力を行うためのフォームを表示する。または、本システムを利用するためのアプリケーションをダウンロードしてインストールし、情報入力を行うためのフォームを表示する。

そして、スマートフォン１０の撮像部３２を用いて、顔画像を撮像し（ステップＳ４０１）、フォームに入力された登録情報を受け付け（ステップＳ４０３）、ステップＳ４０１で撮像された画像データと、入力された登録情報をサーバ３００に送信する（ステップＳ４０５）。これらの会員登録情報の入力および送信操作は、一般的な手順で行うことができる。

ステップＳ４０１における顔画像の撮影時には、ユーザの顔認証に使用できる画像が撮像できるように、撮像部３２の設定を自動的に調整したり、ガイダンスを出力し、ユーザの顔の向きや撮影範囲等の指示をユーザに行ったりするように、アプリケーションまたはウェブサイトが構成されるのが好ましい。

また、事前にサーバ３００では、ブラックリストを受け付け、第２特徴情報データベース１１４に登録しているものとする（ステップＳ４１１）。
そして、サーバ３００では、スマートフォン１０から送信された画像データと登録情報を受信すると（ステップＳ４１３）、画像データから画像特徴情報を抽出する（ステップＳ４１５）。抽出された画像特徴情報を、ユーザＩＤと関連付けて第１特徴情報データベース１１２に登録する（ステップＳ４１７）。このとき、スマートフォン１０から送信された会員登録用の登録情報は、ユーザＩＤが付与され、ユーザＩＤと関連付けてユーザ情報データベースに登録される。
本実施例では、サーバ３００が、スマートフォン１０から送信された画像データから画像特徴情報を抽出する構成としたが、他の例では、スマートフォン１０側で、画像データから画像特徴情報を抽出してその画像特徴情報をサーバ３００に送信してもよい。

図１９は、本実施例の画像処理システムにおいて、ユーザ認識時の処理の手順の一例を示すフローチャートである。
スマートフォン１０が、ビーコン装置７からの検知信号を受信し、応答情報をサーバ３００に送信する処理は、図１２の上記実施形態のフローチャートと同様である。そして、サーバ３００の応答情報受信部１２２が、スマートフォン１０から応答情報を受信すると（ステップＳ１３１）、ユーザＩＤと距離情報を取得する（ステップＳ１３３）。そして、サーバ３００が、ユーザにインセンティブを付与する（ステップＳ４２１）。

ユーザに付与されるインセンティブは様々考えられるが、クーポン発行、お得情報提供、ポイント加算などが例示される。
たとえば、応答情報を送信してきたユーザのスマートフォン１０に、クーポンを発行して送信し、スマートフォン１０に受信させて、スマートフォン１０の表示部２６に表示させてもよい（ステップＳ４２３）。あるいは、ユーザに、応答情報を送信した見返りとして、ポイントを付与し、当該ユーザのユーザ情報データベースに、ポイント履歴情報として記録してもよい。

以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
なお、本発明において利用者に関する情報を取得、利用する場合は、これを適法に行うものとする。

以下、参考形態の例を付記する。
１． 画像処理装置が、
ユーザの携帯端末から送信される情報に基づいて、撮像装置と所定位置関係に存在するユーザの画像特徴情報を取得し、
特定人物の画像特徴情報を取得し、
前記撮像装置により撮像された画像を取得し、
取得された前記ユーザの画像特徴情報を用いて、取得された前記画像内における、その画像特徴情報に対応するユーザ以外の未確認人物の存在を検出し、
取得された前記画像内における、検出された未確認人物の画像特徴情報と、取得された前記特定人物の画像特徴情報とを照合して、前記特定人物の存在を検出する、
画像処理方法。
２． 前記画像処理装置が、
前記撮像装置と所定距離に配置された第１無線通信装置から送出された第１検知信号を受信した携帯端末から送信された識別情報を受信し、
受信された前記識別情報に基づいて、前記携帯端末のユーザの画像特徴情報を取得する、
１．に記載の画像処理方法。
３． 前記第１検知信号には、前記第１無線通信装置からの距離情報が含まれ、
前記画像処理装置が、
前記携帯端末から、前記識別情報とともに前記距離情報を受信し、
受信された前記距離情報に基づいて、取得された前記画像の中で、取得された前記ユーザの画像特徴情報と照合させる画像を特定する、
２．に記載の画像処理方法。
４． 前記画像処理装置が、
前記第１無線通信装置とは第２無線通信装置から送出された第２検知信号をさらに受信した前記携帯端末から送信された情報を受信し、
受信された、前記第１検知信号に対する応答情報および前記第２検知信号に対する応答情報を用いて、前記撮像装置に対する前記携帯端末の方向を特定する、
２．または３．に記載の画像処理方法。
５． 前記画像処理装置が、
前記携帯端末のＧＰＳ（Global Positioning System）機能を用いて取得した前記ユーザの前記携帯端末の位置情報に基づいて、前記撮像装置と所定位置関係に存在する携帯端末のユーザを特定し、
特定される前記ユーザの画像特徴情報を取得する、
１．から４．いずれか一つに記載の画像処理方法。
６． 前記画像処理装置が、
前記携帯端末が予め保持している前記ユーザの画像特徴情報を、前記撮像装置と所定位置関係に存在する携帯端末から取得する、
１．から５．いずれか一つに記載の画像処理方法。
７． 前記画像処理装置が、
特定人物の画像特徴情報を予め格納する格納部の画像特徴情報を特徴量でソートし、
前記各画像内で限定された画像エリアまたは前記画像特徴情報の特徴量と近似の特徴量を有する画像特徴情報から順に、前記格納部から取得し、
前記各画像内の限定された前記画像エリアまたは前記画像特徴情報について照合する、
１．から６．のいずれか一つに記載の画像処理方法。
８． 前記画像処理装置が、
前記未確認人物の存在が検出された場合、前記未確認人物の、性別、および年代の少なくともいずれかの属性を判別し、
特定人物の画像特徴情報を予め格納する格納部の中から、判別された属性と同じ属性を有する、前記特定人物の画像特徴情報を抽出し、抽出された画像特徴情報を照合対象とする、
１．から７．いずれか一つに記載の画像処理方法。
９． 前記画像処理装置が、
前記ユーザの識別情報と、前記ユーザの画像特徴情報を、前記ユーザの携帯端末から受信してデータ変数に格納し、
当該ユーザの携帯端末に対し、前記撮像装置と所定位置関係に存在することが確認された場合に、インセンティブを付与する、
１．から８．いずれか一つに記載の画像処理方法。

１０． コンピュータに、
ユーザの携帯端末から送信される情報に基づいて、撮像装置と所定位置関係に存在するユーザの画像特徴情報を取得する手順、
特定人物の画像特徴情報を取得する手順、
前記撮像装置により撮像された画像を取得する手順、
取得された前記ユーザの画像特徴情報を用いて、取得された前記画像内における、その画像特徴情報に対応するユーザ以外の未確認人物の存在を検出する手順、
取得された前記画像内における、検出された前記未確認人物の画像特徴情報と、取得された前記特定人物の画像特徴情報とを照合して、前記特定人物の存在を検出する手順、を実行させるためのプログラム。
１１． 前記撮像装置と所定距離に配置された第１無線通信装置から送出された第１検知信号を受信した携帯端末から送信された識別情報を受信する手順、
受信された前記識別情報に基づいて、前記携帯端末のユーザの画像特徴情報を取得する手順、
をコンピュータに実行させるための、１０．に記載のプログラム。
１２． 前記第１検知信号には、前記第１無線通信装置からの距離情報が含まれ、
前記携帯端末から、前記識別情報とともに前記距離情報を受信する手順、
受信された前記距離情報に基づいて、取得された前記画像の中で、取得された前記ユーザの画像特徴情報と照合させる画像を特定する手順、
をコンピュータに実行させるための、１１．に記載のプログラム。
１３． 前記第１無線通信装置とは第２無線通信装置から送出された第２検知信号をさらに受信した前記携帯端末から送信された情報を受信する手順、
受信された、前記第１検知信号に対する応答情報および前記第２検知信号に対する応答情報を用いて、前記撮像装置に対する前記携帯端末の方向を特定する手順、
をコンピュータに実行させるための、１１．または１２．に記載のプログラム。
１４． 前記携帯端末のＧＰＳ（Global Positioning System）機能を用いて取得した前記ユーザの前記携帯端末の位置情報に基づいて、前記撮像装置と所定位置関係に存在する携帯端末のユーザを特定する手順、
特定される前記ユーザの画像特徴情報を取得する手順、
をコンピュータに実行させるための、１０．から１３．いずれか一つに記載のプログラム。
１５． 前記携帯端末が予め保持している前記ユーザの画像特徴情報を、前記撮像装置と所定位置関係に存在する携帯端末から取得する手順、
をコンピュータに実行させるための、１０．から１４．いずれか一つに記載のプログラム。
１６． 特定人物の画像特徴情報を予め格納する格納部の画像特徴情報を特徴量でソートする手順、
前記各画像内で限定された画像エリアまたは前記画像特徴情報の特徴量と近似の特徴量を有する画像特徴情報から順に、前記格納部から取得する手順、
前記各画像内の限定された前記画像エリアまたは前記画像特徴情報について照合する手順、
をコンピュータに実行させるための、１０．から１５．のいずれか一つに記載のプログラム。
１７． 前記未確認人物の存在が検出された場合、前記未確認人物の、性別、および年代の少なくともいずれかの属性を判別する手順、
特定人物の画像特徴情報を予め格納する格納部の中から、判別された属性と同じ属性を有する、前記特定人物の画像特徴情報を抽出し、抽出された画像特徴情報を照合対象とする手順、
をコンピュータに実行させるための、１０．から１６．いずれか一つに記載のプログラム。
１８． 前記ユーザの識別情報と、前記ユーザの画像特徴情報を、前記ユーザの携帯端末から受信してデータベースに格納する手順、
当該ユーザの携帯端末に対し、前記撮像装置と所定位置関係に存在することが確認された場合に、インセンティブを付与する手順、
をコンピュータに実行させるための、１０．から１７．いずれか一つに記載のプログラム。

１ 画像処理システム
３ 携帯端末
３ 本変形態様
５ 撮像装置
５ａ、５ｂ、５ｃ カメラ
７、７ａ、７ｂ、７ｃ ビーコン装置
１０ スマートフォン
１２ ＣＰＵ
１４ メモリ
１６ 内部ストレージ
１８ 通信部
２２ 操作部
２４ 操作受付部
２６ 表示部
２８ 表示制御部
３０ タッチパネル
３２ 撮像部
３４ ＧＰＳ機能部
４２ 検知信号受信部
４４ 情報送信部
５０ プログラム
６０ コンピュータ
６２ ＣＰＵ
６４ メモリ
６６ ストレージ
６８ Ｉ／Ｏ
６９ バス
７０ 通信Ｉ／Ｆ
７２ 入力装置
７４ 表示装置
７６ ネットワーク
８０ プログラム
１００ 画像処理装置
１０２ 第１特徴取得部
１０４ 第２特徴取得部
１０６ 画像取得部
１０８ 第１検出部
１１０ 第２検出部
１１２ 第１特徴情報データベース
１１４ 第２特徴情報データベース
１２０ 画像処理装置
１２２ 応答情報受信部
１２４ 第１検出部
１３２ 検知信号送信部
１４０ 画像処理装置
１４２ 応答情報受信部
１４４ 方向特定部
２００ 画像処理装置
３００ サーバ

Claims (11)

1. ユーザの携帯端末から送信される情報に基づいて、撮像装置と所定位置関係に存在するユーザの画像特徴情報を取得する第１特徴取得手段と、
   特定人物の画像特徴情報を取得する第２特徴取得手段と、
   前記撮像装置により撮像された画像を取得する画像取得手段と、
   前記第１特徴取得手段により取得された前記ユーザの画像特徴情報を用いて、前記画像取得手段により取得された画像内における、その画像特徴情報に対応するユーザ以外の未確認人物の存在を検出する第１検出手段と、
   前記画像取得手段により取得された画像内における、前記第１検出手段により検出された未確認人物の画像特徴情報と、前記第２特徴取得手段により取得された前記特定人物の画像特徴情報とを照合して、前記特定人物の存在を検出する第２検出手段と、
   を備える画像処理装置。
2. 前記撮像装置と所定距離に配置された第１無線通信装置から送出された第１検知信号を受信した携帯端末から送信された識別情報を受信する応答情報受信手段
   をさらに備え、
   前記第１特徴取得手段は、前記応答情報受信手段により受信された前記識別情報に基づいて、前記携帯端末のユーザの画像特徴情報を取得する、
   請求項１に記載の画像処理装置。
3. 前記第１検知信号には、前記第１無線通信装置からの距離情報が含まれ、
   前記応答情報受信手段は、前記携帯端末から、前記識別情報とともに前記距離情報を受信し、
   前記第１検出手段は、前記応答情報受信手段により受信された前記距離情報に基づいて、前記画像取得手段により取得された前記画像の中で、前記第１特徴取得手段により取得された前記ユーザの画像特徴情報と照合させる画像を特定する、
   請求項２に記載の画像処理装置。
4. 前記応答情報受信手段は、前記第１無線通信装置とは第２無線通信装置から送出された第２検知信号をさらに受信した前記携帯端末から送信された情報を受信し、
   前記画像処理装置は、さらに、
   前記応答情報受信手段により受信された、前記第１検知信号に対する応答情報および前記第２検知信号に対する応答情報を用いて、前記撮像装置に対する前記携帯端末の方向を特定する方向特定手段と、を備える、
   請求項２または３に記載の画像処理装置。
5. 前記携帯端末のＧＰＳ（Global Positioning System）機能を用いて取得した前記ユーザの前記携帯端末の位置情報に基づいて、前記撮像装置と所定位置関係に存在する携帯端末のユーザを特定するユーザ特定手段をさらに備え、
   前記第１特徴取得手段は、前記ユーザ特定手段により特定される前記ユーザの画像特徴情報を取得する、
   請求項１から４いずれか一項に記載の画像処理装置。
6. 前記第１特徴取得手段は、前記携帯端末が予め保持している前記ユーザの画像特徴情報を、前記撮像装置と所定位置関係に存在する携帯端末から取得する、
   請求項１から５いずれか一項に記載の画像処理装置。
7. 前記第２特徴取得手段は、
   特定人物の画像特徴情報を予め格納する格納部の画像特徴情報を特徴量でソートし、
   前記各画像内で限定された画像エリアまたは前記画像特徴情報の特徴量と近似の特徴量を有する画像特徴情報から順に、前記格納部から取得し、
   前記第２検出手段が、
   前記各画像内の限定された前記画像エリアまたは前記画像特徴情報について照合する、
   請求項１から６のいずれか一項に記載の画像処理装置。
8. 前記第２検出手段は、前記第１検出手段により未確認人物の存在が検出された場合、前記未確認人物の、性別、および年代の少なくともいずれかの属性を判別し、
   特定人物の画像特徴情報を予め格納する格納部の中から、判別された属性と同じ属性を有する、前記特定人物の画像特徴情報を抽出し、抽出された画像特徴情報を照合対象とする、
   請求項１から７いずれか一項に記載の画像処理装置。
9. 前記ユーザの識別情報と、前記ユーザの画像特徴情報を、前記ユーザの携帯端末から受信して格納するデータベースと、
   当該ユーザの携帯端末に対し、前記撮像装置と所定位置関係に存在することが確認された場合に、インセンティブを付与する付与手段と、
   を備える、
   請求項１から８いずれか一項に記載の画像処理装置。
10. 画像処理装置が、
    ユーザの携帯端末から送信される情報に基づいて、撮像装置と所定位置関係に存在するユーザの画像特徴情報を取得し、
    特定人物の画像特徴情報を取得し、
    前記撮像装置により撮像された画像を取得し、
    取得された前記ユーザの画像特徴情報を用いて、取得された前記画像内における、その画像特徴情報に対応するユーザ以外の未確認人物の存在を検出し、
    取得された前記画像内における、検出された未確認人物の画像特徴情報と、取得された前記特定人物の画像特徴情報とを照合して、前記特定人物の存在を検出する、
    画像処理方法。
11. コンピュータに、
    ユーザの携帯端末から送信される情報に基づいて、撮像装置と所定位置関係に存在するユーザの画像特徴情報を取得する手順、
    特定人物の画像特徴情報を取得する手順、
    前記撮像装置により撮像された画像を取得する手順、
    取得された前記ユーザの画像特徴情報を用いて、取得された前記画像内における、その画像特徴情報に対応するユーザ以外の未確認人物の存在を検出する手順、
    取得された前記画像内における、検出された前記未確認人物の画像特徴情報と、取得された前記特定人物の画像特徴情報とを照合して、前記特定人物の存在を検出する手順、を実行させるためのプログラム。

Images