JP2019135618A - 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム - Google Patents

Abstract

【課題】実際に空間内に存在している人物について、検出対象とすべき人物を、より効率的に検出可能にするための技術を提供する。【解決手段】情報処理装置であって、入力画像において人物に対応する被写体が含まれるか判定する第１の判定手段と、前記判定手段によって前記入力画像に含まれると判定された第１の被写体に対応する第１の領域を、時間的に前記入力画像より前に入力された１以上の画像において前記第１の被写体が含まれると判定された第２の領域と関連づけ、前記第１の領域と前記第２の領域とのそれぞれから得られる特徴量の時間的な変化の度合いに基づき、前記第１の被写体を人物の検出結果に含めるか否かを判定する第２の判定手段とを備える。【選択図】 図１

Description

本発明は、情報処理装置、システム、情報処理装置の制御方法、及び、プログラムに関する。

近年、撮像された画像中に映っている人物を解析することで、人物の有無や人数を把握することが可能な人数カウント、或いは監視用の強調表示、人物認証などを行う技術が監視カメラなど様々な分野に応用されている。

画像から人物を検出する場合、写真や人形などのように人物と誤判定されてしまう可能性のある被写体が撮像されてしまうことがある。このような画像を解析すると、例えば写真やポスターに写っている人物やテレビに映っている人物が、撮像された空間内にいる人物と誤判定されてしまう場合がある。その結果、誤った人数がカウントされることになる。特に、店舗の入り口で入退店人数をカウントする場合、入り口付近に貼られたポスターが誤検出されると極端に多く人数がカウントされてしまうおそれがある。

また、多数の人物が行き交う環境で人数カウントを行う場合、通過する人を逃さない程度のフレームレートで撮像する必要がある。さらに、店舗の入口等は、通常複数の人が通行できるように人体に対して十分に広い空間が確保されるため、当該空間内の人物を撮影するためには相応の撮像解像度を確保する必要がある。その結果として高解像度・高フレームレートの画像（動画又は静止画）を撮影することになるが、そのような映像に対して適用する処理は、負荷の高い処理では処理効率を損なうことになるため負荷の低い処理が求められる。

そこで、当該撮像画像に対して負荷の低い処理を適用して上述の誤検出を抑制する方法が提案されている（特許文献１）。当該方法では、複数フレームにおいて所定位置で検出された人体については、検出結果から除外している。

特開２０１４−２０５６９号公報

しかしながら、特許文献１に記載されるような画像内の位置に基づく判定方法の場合、例えば店舗の自動ドアに貼られたポスターに写った人物のように、自動ドアの開閉により位置が移動する場合には検出結果から除外することが困難となってしまう。その一方で、位置による判定による場合、上記所定位置に人物が立ち止まっていた場合に、当該人物は検出結果から除外されてしまうおそれがある。

そこで本発明では、実際に空間内に存在している人物について、検出対象とすべき人物を、より効率的に検出可能にするための技術を提供する。

上記の課題を解決する本発明は、情報処理装置であって、
入力画像において人物に対応する被写体が含まれるか判定する第１の判定手段と、
前記第１の判定手段によって前記入力画像に含まれると判定された第１の被写体に対応する第１の領域を、時間的に前記入力画像より前に入力された１以上の画像において前記第１の被写体が含まれると判定された第２の領域と関連づけ、前記第１の領域と前記第２の領域とのそれぞれから得られる特徴量の時間的な変化の度合いに基づき、前記第１の被写体を人物の検出結果に含めるか否かを判定する第２の判定手段と、
を備えることを特徴とする。

本発明によれば、実際に空間内に存在している人物について、検出対象とすべき人物を、より効率的に検出可能にするための技術を提供することができる。

発明の実施形態に対応する人物検出システムの構成を示す図。 発明の実施形態に対応する情報処理装置１００及びネットワークカメラ１０２の構成を説明するためのブロック図。 発明の実施形態に対応する情報処理装置１００の機能構成を示すブロック図。 発明の実施形態に対応する処理の一例を示すフローチャート。 発明の実施形態に対応する顔領域の検出処理を説明するための図。 発明の実施形態に対応する人物検出処理を説明するための図。

以下、添付の図面を参照しつつ、発明の実施形態を説明する。まず、図１を参照して発明の実施形態に対応するシステム構成について説明する。図１は、発明の実施形態に対応する人物検出システム１０の構成例を示す図である。人物検出システム１０は、情報処理装置１００、表示装置１０１、ネットワークカメラ１０２を備えて構成される。情報処理装置１００は、本実施形態に対応する人物検出処理を行う装置であって、情報処理装置１００における処理結果は、表示装置１０１に表示される。情報処理装置１００の操作者は、表示装置１０１の表示内容を参照して処理結果を確認したり、情報処理装置１００を操作したりすることができる。

ネットワークカメラ１０２は、所定の撮像空間を撮像して得られた画像を情報処理装置１００に送信する。本実施形態では、撮像空間内にネットワークカメラ１０２の被写体として人物１０３と空間内に設置された印刷物１０４とが存在する場合を例に説明する。印刷物１０４には少なくとも人物写真１０５が含まれているものとする。印刷物１０４は、例えば壁面に貼られた状態、或いは、自動ドアに貼られた状態等で空間内に設置することができる。印刷物１０４は図１では、１枚のみを示しているがより多くの枚数が設置されていても良い。また、印刷物の代わりにテレビが設置され、テレビ画面に人物が映っていてもよい。以下、これらを代表して人物写真１０５は、人物として誤検出されうる候補として説明する。なお、ポスター以外にも床や壁の模様についても人物として誤検出されることがある。

また、図１のシステム構成では、情報処理装置１００に画像を送信する機器としてネットワークカメラ１０２を示しているが、発明の実施形態はこれに限定されるものではない。例えば、ネットワークカメラ１０２による撮像画像が外部のサーバ装置（画像サーバ）に一旦保存された後に、サーバ装置から情報処理装置１００に送信されてもよい。また、ネットワークカメラ１０２と情報処理装置１００との間の通信は、LANなどのネットワークを介して実施する以外に、例えばUSB接続して画像を送信するなどでも良い。

次に、図２（Ａ）を参照して発明の実施形態に対応する情報処理装置１００のハードウェア構成について説明する。図２（Ａ）は、情報処理装置１００のハードウェア構成の一例を示すブロック図である。本実施形態に対応する情報処理装置１００は、例えば、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、記憶装置２０４、通信インタフェース（Ｉ／Ｆ）２０５を含んで構成される。

ＣＰＵ２０１は、記憶装置２０４に格納されているアプリケーションプログラム、オペレーティングシステム（ＯＳ）や制御プログラム等を実行し、ＲＡＭ２０３にプログラムの実行に必要な情報、ファイル等を一時的に格納する制御を行う。また、外部装置（ネットワークカメラ１０２、或いは、サーバ装置）から提供され、ＲＡＭ２０３に記憶された画像や情報に基づき本実施形態に対応する処理を実行する。さらには、通信Ｉ／Ｆ２０５を介した外部装置とのデータ送受信を制御する。なお、後述する図４における処理もＣＰＵ２０１が対応する処理プログラムを実行することにより、装置全体を制御して所定の機能ブロックとして動作することにより実現される。

ＲＯＭ２０２は、内部に基本Ｉ／Ｏプログラムの他、所定の処理を実行するアプリケーションプログラム等の各種データを記憶する。ＲＡＭ２０３は各種データを一時記憶し、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。また、外部装置から受信した情報を一時的に記憶する。記憶装置２０４は、本実施形態では大容量メモリとして機能するＨＤ（ハードディスク）を用いることができる。記憶装置２０４は、アプリケーションプログラム、ＯＳ、制御プログラム、関連プログラム等が格納される。なお、ハードディスクの代わりに、フラッシュ（登録商標）メモリ等の不揮発性記憶装置を用いても良い。

通信Ｉ／Ｆ２０５は、表示装置１０１、ネットワークカメラ１０２、或いは、サーバ装置等の外部装置とのデータのやり取りを仲介する役割を果たす。具体的に、通信Ｉ／Ｆ２０５は、無線通信モジュールを含むことができ、当該モジュールはアンテナシステム、ＲＦ送受信器、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュールカード、メモリなどを含む、周知の回路機構を含むことができる。また、有線接続のための有線通信モジュールを含むことができる。有線通信モジュールは１つ以上の外部ポートを介して他のデバイスとの通信を可能とする。また、データを処理する様々なソフトウェアコンポーネントを含むことができる。外部ポートは、イーサーネット、ＵＳＢやＩＥＥＥ１３９４等を介して、直接的に、又はネットワークを介して間接的に他のデバイスと結合する。尚、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。

上記は、情報処理装置１００の構成要素の一例として記載したものであり、情報処理装置１００は上記の要素以外にも、例えば指示入力装置を有していても良い。例えば、指示入力装置には、キーボードやポインティングデバイス（マウス等）、タッチパネル等が含まれる。

次に、図２（Ｂ）を参照して発明の実施形態に対応するネットワークカメラ１０２の機能構成について説明する。図２（Ｂ）は、情報処理装置１００の機能構成の一例を示すブロック図である。本実施形態に対応するネットワークカメラ１０２は、撮像センサ部２１１、現像処理部２１２、符号化部２１３、画像処理部２１４、通信インタフェース（Ｉ／Ｆ）２１５を含むように構成することができる。

撮像センサ部２１１は、撮像面に結像された光像を光電変換してアナログ画像信号を出力するCMOS等の撮像素子、及び、アナログ画像信号をデジタル画像信号に変換するA/D変換器を含んで構成される。現像処理部２１２は、撮像センサ部２１１から出力されたデジタル画像信号に対して、所定の現像処理を実行する。現像処理には、例えば、ディベイヤ処理、ホワイトバランス処理、階調変換処理、エッジ強調補正処理、キズ補正、ノイズ除去、拡大縮小処理、YCbCr形式への色変換などの処理を含むことができる。

符号化部２１３は、現像処理部２１２が出力したデジタル画像信号を圧縮・符号化して、情報処理装置１００に提供する配信用の画像データを生成する。生成される画像データには、ネットワークカメラ１０２の識別情報（カメラＩＤ）、設置場所の情報（位置情報）、撮影時刻情報等が含まれる。符号化部２１３は画像データ生成時にフレームレートの設定も行う。ここで、配信用の画像圧縮方式は、例えば、H.264、H.265、MJPEGまたはJPEGなどの規格に基づくことができる。さらに、mp4やavi形式などを含む任意の形式の画像データを生成しても良い。

画像処理部２１４は、現像処理部２１２から出力されたデジタル画像について所定の画像処理を行う。画像処理には、本実施形態に対応する人物検出処理（一部又は全部）を含むことができる。画像処理部２１４における画像処理結果は、符号化部２１３が生成した画像データと共に通信Ｉ／Ｆ２１５を介して外部装置に送信される。通信Ｉ／Ｆ２１５は、符号化部２１３から出力された画像データ、画像処理部２１４から出力された画像処理結果を情報処理装置１００に送信するための通信インタフェースである。通信Ｉ／Ｆ２１５は、例えば、NFSやCIFSなどのネットワークファイルシステム、または、UDPやTCPなどのネットワーク通信プロトコルを使用して、通信相手との間でデータのやり取りの調整を行う。

ネットワークカメラ１０２は、画像処理部２１４を有するので、本実施形態に対応する人物検出処理の一部又は全部を実行することができる。その場合、残りの処理は情報処理装置１００側で実行されることになる。但し、以下では、まず、人物検出処理が情報処理装置１００側で実行される場合について説明する。

次に、図３を参照して、情報処理装置１００が発明の実施形態に対応する人物検出処理を実行する場合の機能構成について説明する。図３は、発明の実施形態に対応する情報処理装置１００の機能ブロック図である。

情報処理装置１００には、入力端子３００を介して例えば複数の画像が連続的に入力される。入力画像は、複数のフレーム画像からなる動画像であっても良いし、或いは、所定のレートで撮像され、連続して入力される静止画であっても良い。入力された画像は、特徴量算出部３０１に入力されると共に、出力データ生成処理部３０６に入力される。特徴量算出部３０１は、入力画像に対して予め定められた指標に基づき人物に対応する被写体領域を抽出するための特徴量を算出する処理を行う。以下の本実施形態では、抽出する対象となる被写体領域を、人物の顔に相当する部分が存在する領域（顔領域）とする場合を説明する。また、顔領域を抽出するための特徴量として所定のテンプレートとの一致率を算出する場合を説明する。しかし、被写体領域や特徴量の具体例はこれらに限定されるものではなく、人物を特定することが可能な被写体領域であれば顔以外の他の部分であっても良いし、被写体領域を表すことの可能なパラメータであれば一致率以外の値を用いてもよい。算出された一致率は顔領域決定部３０２と検出対象判定部３０４とに入力される。顔領域決定部３０２は特徴量算出部３０１が算出した一致率に基づいて画像中に含まれる顔領域を決定する処理を行う。顔領域決定部３０２における処理結果は、追尾処理部３０３、検出対象判定部３０４及び出力データ生成処理部３０６に入力される。追尾処理部３０３は、時間的に連続する（或いは、互いに隣り合う）複数の画像について顔領域を解析することにより同一顔であるか否かを判定する。そして、同一の顔に対応する各画像における領域を互いに関連づけることで追尾情報を生成し、複数の画像間で顔領域を追尾する追尾処理を行う。

検出対象判定部３０４は現在処理対象となっている画像、及び過去に処理された画像から得られた一致率、顔領域、及び追尾情報に基づいて、現在処理対象となっている画像における顔領域を最終的な検出対象に含めるべきか否かを判定する。検出情報記憶部３０５は現在の画像から得られた一致率、顔領域、及び追尾情報を関連付けて記憶し、複数の画像分だけ保持する。出力データ生成処理部３０６は、検出対象と判定された顔領域について出力データを生成し、出力端子３０７に出力する。

次に、図３の各機能ブロックの動作を図４のフローチャートを参照して説明する。図４は、発明の実施形態に対応する人物検出処理の一例を示すフローチャートである。処理が開始されると、Ｓ４０１において、特徴量算出部３０１は、顔検出処理の際に比較基準として使用する予め定められたテンプレートを読み込む。続くＳ４０２では、ネットワークカメラ１０２等の外部装置から人物検出を行う処理対象の画像を受信する。続くＳ４０３では、Ｓ４０１で読み込んだ顔検出処理のテンプレートに基づいて、特徴量算出部３０１が現在処理対象の画像中の複数の領域について、テンプレートとの一致率を算出する。続くＳ４０４では、Ｓ４０３で算出されたテンプレートとの一致率に基づき、顔領域決定部３０２が処理対象画像において顔領域を決定する。例えば、一致率が閾値以上の場合に、その領域に顔が含まれると判定し、その領域を顔領域として決定する。このように、顔領域決定部３０２は、人物に対応する被写体（例えば顔）が画像に含まれるか判定する。前述のように、このようにして顔領域決定部３０２によって顔であると判定された場合であっても、印刷物１０４に含まれる人物写真１０５の顔のように、実際の人物の顔ではないことがある。なお、顔領域は、例えば、画像中の顔の位置や大きさなどを表す情報として表現することができる。

Ｓ４０４で決定された顔領域については、未処理の顔領域があるか否かに応じて処理が分岐する。未処理の顔領域がある場合（Ｓ４０５において「ＹＥＳ」）、処理はＳ４０６へ移行する。一方、未処理の顔領域がない場合（Ｓ４０５において「ＮＯ」）、処理はＳ４１０へ移行する。まず、Ｓ４０６では、Ｓ４０４で決定された顔領域について追尾処理部３０３が追尾処理を行う。追尾処理とは、現在処理対象の画像において決定された顔領域の人物が、それ以前に処理された画像において決定された顔領域の人物と同一人物であるか否かを判断し、同一人物の顔領域について複数の画像間で関連づけを行うことで、同一人物の顔領域を追尾する処理をいう。ここで、以前に処理された画像における顔領域に関する情報は、検出情報記憶部３０５に記憶されており、追尾処理の際に追尾処理部３０３に提供される。これにより、同一人物の空間内での移動に伴う画像間での顔領域の移動を追尾することができる。続くＳ４０７では、検出情報記憶部３０５が、現在処理対象の画像から得られた一致率及び顔領域を、追尾情報と関連付けて保存する。

続くＳ４０８では、検出対象判定部３０４が、処理対象の顔領域が、最終的な検出対象に含めるべき顔領域に該当するか否かを判定する。例えば、処理対象の顔領域が、生体の顔に対応するものであると判定される場合には、最終的な検索対象に含めるべきと判定する。一方、処理対象の顔領域が、生体の顔に対応するものではないと判定される場合には、最終的な検索対象に含めるべきでないと判定する。続くＳ４０９では、検出対象に含めるべきと判定された顔領域について、出力データ生成処理部３０６が所望の出力形式に従った出力データの生成を行う。その後、処理はＳ４０５に戻る。

顔領域決定部３０２が決定した顔領域について未処理の顔領域がなくなり、処理がＳ４１０に移行した場合、Ｓ４１０では、処理の終了要求の有無を判定し、終了要求があれば終了する。Ｓ４１０において終了要求が無いと判断された場合には、Ｓ４１１において撮像レートに対応する時間間隔だけ待機した後に、処理をＳ４０２に戻す。但し、撮像レート毎の画像送受信のタイミングをネットワークカメラ１０２などの画像送信側で行う場合には、Ｓ４１１における待機を行わなくてもよい。この場合はＳ４０２において画像を受信するまで待機すると共に、Ｓ４１０の終了判定待ちを行えばよい。

上記において、Ｓ４０９の処理は、Ｓ４０５における未処理の顔領域の各々について実行されるとの趣旨で説明したが、発明の実施形態はこれに限られるものではない。例えば、Ｓ４０９の処理の実行をＳ４０５の判定の結果未処理の顔領域がないと判定されるまで遅らせ、未処理の顔領域が無くなった後にまとめて実行するようにしてもよい。この場合、Ｓ４０８の判定結果をＳ４０７で保存した情報に関連付けて保存しておき、現在処理対象の画像について決定された全ての顔領域に対してＳ４０５からＳ４０８の処理が実行された後で、すべての顔に対してまとめてＳ４０９の出力データ生成処理を行うようにしてもよい。

Ｓ４０９の出力データ生成処理では、Ｓ４０８で検出対象とされた顔領域について、所望の出力形式に対応するデータ処理が行われる。このデータ処理の具体例には、例えば、検出された顔の数をカウントする人数カウント処理や、別途指定する通過線を越えた人数をカウントする通過カウント処理が含まれる。さらに、別途指定する参照顔画像との一致率に基づいて特定人物を認証する認証処理、検索する人物認証や人物検索処理、或いは年齢性別などの人物属性を推定する処理、入力画像中の人物の位置を矩形や楕円などで強調表示する描画処理なども含まれる。

また、出力データ生成処理は、入力画像について顔領域が決定される度に行う必要はなく、例えばＳ４０６の追尾情報と併せて同一人物に対しては１度だけ実行してもよい。このような例としては上述の人数カウントへの適用が挙げられ、同じ人が複数回カウントされてしまうことを抑制することができる。また、他の例として、特定人物の認証や人物属性推定において所望の結果が得られるまで出力データ生成処理を行い、所望の結果が得られた後は同一人物への処理を行わないようにするなどを行ってもよい。

また、上記では、Ｓ４０７において検出情報記憶部３０５が一致率と顔領域とを追尾情報と関連付けて保存する場合を説明したが、発明の実施形態はこれに限定されない。例えば、複数画像間で映っている顔の位置と一致率、或いは、単に一致率のみを保存するようにしてもよく、Ｓ４０８、或いはＳ４０９で実行される処理に必要なものが保存されればよい。

また、Ｓ４０１で読み込むテンプレートは１つに限定されるものではなく、複数のテンプレートから構成されてもよい。また、Ｓ４０３ではテンプレートをそのまま比較に適用してもよいが、例えば画像やテンプレートを拡大縮小や回転するなどを行ってから適用することにより、画像中に映る顔の映り方が不明で、大きさや向きが特定できない場合にも対応することが可能となる。

次に、図５を参照してＳ４０３における一致率算出処理の具体例を説明する。図５は、発明の実施形態に対応する一致率算出処理を説明するための図である。図５（Ａ）はテンプレートの一例を示しており、人物の頭部の形状に似た形状を有している。人物の検出を行う方法は目的に応じて複数存在するが、顔の特徴を検出する場合、顔の特徴が判定しやすいように正面を向いた場合の顔を検出するテンプレートを用いることができる。そして、Ｓ４０３における一致率算出処理では、入力画像に対して上記テンプレートとの比較を行って画像中の任意の領域について一致率を算出する。顔領域決定部３０２は、このようにして得られた領域毎の一致率をについて、一致率が所定値以上となる領域を顔領域に決定する。図４では、一致率算出処理のＳ４０３と顔領域決定処理のＳ４０４は独立したステップとして記載されているが、Ｓ４０３において一致率算出部３０１は一致率が所定値以上になる領域のみを顔領域決定部３０２に出力するようにしてもよい。

次に図５（Ｂ）及び（Ｃ）は、それぞれ画像に映っている被写体である人物１０３の姿勢の一例を示す図であり、図５（Ｂ）は、ネットワークカメラ１０２に対して人物１０３が正面を向いて撮像された場合の例を示している。また、図５（Ｃ）はネットワークカメラ１０２に対して人物１０３が斜めを向いて撮像された場合の例を示している。

次に図５（Ｄ）及び（Ｅ）は、図５（Ｂ）及び（Ｃ）の人物画像にテンプレートを適用した場合の適用例を示している。ここで、本実施形態におけるテンプレートの適用例としては、例えば肌色に属する色成分を有する領域を肌色領域として検出し、画像中の肌色領域の形状とテンプレートとの一致率を算出する方法が挙げられる。図５（Ｄ）と図５（Ｅ）とを比較すると、より正面を向いた図５（Ｄ）の場合の方が、図５（Ｅ）に比べ一致する面積が大きく、一致率が高くなる。従って、同一人物であっても顔の向きによって算出される一致率が異なってしまう。なお、被写体の人物が異なる場合も、肌の色や顔の大きさなどが異なるため、人物間で一致率が異なる。しかし、一致率の変化の有無、度合いに着目することにより、同一人物に関する動きの有無を推定することが可能になる。本実施形態における肌色領域の検出では、人種や照明光などの影響を考慮して、必ずしも一般的な肌の色ではない色を含めてもよい。つまり、上記肌色領域は、略同一色領域を肌色領域とみなしてテンプレートを適用するようにしてもよい。

更に、一致率の算出方法は、前述の肌色領域の一致率に限らない。例えば、予め入力画像にエッジ検出フィルタを適用しておき、平坦度の一致率を算出する方法を適用してもよい。或いは、エッジ検出フィルタを適用した画像において、画像のエッジ成分とテンプレートのエッジ成分の一致率を算出してもよい。また、予め適用する処理としてはエッジ検出フィルタ以外にも、輝度色差成分への色変換を施しておく、或いは拡大縮小や回転処理を施してもよい。特に拡大縮小や回転処理などは画像ではなくテンプレートに対して施すようにしてもよい。また、テンプレートに対して実行時に処理を施すのではなく、予め複数のテンプレートを用意しておいてもよい。また、テンプレートを用いる代わりにデータベース化した特徴を用いて類似度や尤度を一致率として算出するようにしてもよい。或いは、ＤｅｅｐＬｅａｒｎｉｎｇなどのように演算パラメータを学習させた結果を用いて類似度や尤度を一致率として算出するようにしてもよい。

上述の図３、図４、図５の説明においては、人物検出を行う場合の人物の処理領域を顔領域とする場合を説明したが、発明の実施形態は顔領域に基づいて人物検出を行う形態に限定されるものではない。例えば、他の例としては、頭部や身体（上半身や全身）などに基づいて人物検出を行うようにしてもよい。また、顔以外の人物の特徴を一致率として捉えることにより、横や後姿の検出も可能にしてもよい。

次に、図６を参照してＳ４０８における判定処理の詳細を説明する。図６は、画像から得られた顔領域を検出対象に含めるかどうかの判定の具体例を説明するための図である。図６（Ａ）は画像内の特定位置に人が映っている例を示す図であり、図６（Ｂ）は画像内の図６（Ａ）とほぼ同様の位置に異なる顔の向きで人が映っている例を示す図である。画像内に写っている人物が生体である場合、人物は動くため初期の顔や体の向きが図６（Ａ）の状態であっても、その後に図６（Ｂ）に示すような他の状態に変化することが予測される。そのため、ほぼ同位置に人物が写っていたとしても時間的に連続する複数の画像の間では一致率は変化することになる。一方、壁に貼ってあるポスターに印刷された人物等の生体ではない人物の顔領域が画像から抽出される場合、初期状態が図６（Ａ）であれば、その後のフレームでも顔の向きは図６（Ａ）のままで、一致率は大きく変化しないと予測される。

そこで、Ｓ４０８の判定処理では、人物の顔領域の画像中での抽出位置がほぼ同じで、且つ一致率がほぼ同じで変化の度合いが小さい場合には、画像中の人物は写真に写った人物等のように、「生体ではないもの」とみなし、検出対象から除外してＳ４０９の処理を行わないようにする。一方、顔や人物の画像中における位置や一致率の少なくともいずれかの時間的な変化の度合いが大きい場合には、画像中の人物は生体であり検出対象とみなしてＳ４０９の処理を行うようにするとよい。なお、生体の人物であれば通常所定時間内の観測において何らかの動作を行うため一致率は時間とともに変化するが、壁などの平面に貼られた写真などでは一致率の時間的変化は小さい。そのため、単に一致率の時間変化の大小にのみ基づいて判断を行い、変化が小さい場合にはＳ４０９の処理を行わないようにしてもよい。

図６（Ｃ）はＳ４０８の他の例を説明する図であり、店舗などにおいて天井や壁に設置された監視カメラにより撮像された人物の画像中の位置が、時間的に連続する複数の画像間で異なる位置に移動する例を示している。図６（Ｃ）では、画像中の人物が移動しているにもかかわらず顔の向きが変化せず、一致率がほぼ同じとなる例を示している。具体的には、自動扉のように移動する物体上に貼られたポスターなどの場合、位置は移動するが顔や体の向きはほとんど変化しないため一致率はほぼ同じとなる。一方、生体の人物が移動している場合に、天井から撮像しているカメラの光軸と人物の移動方向が同じでなければ、人物の移動に伴い光軸と移動方向のずれ量に伴い顔の向きは変化し、似たような一致率が繰り返し出現しにくい。そのため、Ｓ４０８の判定処理においては、出現頻度の高い一致率に近い一致率が所定回数以上算出された顔領域は、生体のものではないとみなしてＳ４０９の処理を行わないようにする。逆に、出現頻度の高い一致率に近い一致率が所定回数以上算出されない顔領域は、向きが変化しているとみなしてＳ４０９の処理を行うようにするとよい。このようにほぼ同一の一致率の発生頻度に基づくことにより、可動式の扉に貼られた写真だけでなく、設置されたディスプレイ上で繰り返し再生される広告用の動画などに含まれる人物に対してＳ４０９の処理が適用されないようにすることも可能となる。

また、自動扉に貼られたポスター、或いは画角内に設置されているテレビ画面の映像に含まれる人物の場合、複数の画像間で連続的に検出され一致率の時間的な変化の度合いが小さい状態が継続する一方で、一時的に時間的な変化の度合いが急激に大きくなる場合がある。このような現象は、テレビ画面に映されている映像において場面が切り替わる場合に発生する可能性が高い。このように一致率の時間的な変化の度合いに所定レベルを超える変動が発生する場合には、当該人物は生体でないものと判定することができる。そのため、一致率の出現頻度に加えてＳ４０６で説明した顔や人体の追尾情報も考慮してＳ４０８の処理を行うようにするとよい。このようにすることで、特定フレームにおいて一時的に一致率が異なる顔や人体の映り方をする場合にも、Ｓ４０９の処理対象から除外することができる。

更に、図６（Ｄ）はＳ４０８の他の好適な例を説明する図であり、画像中の人物が動画のフレーム間で異なる位置に移動しているが、同じ軌跡を繰り返し移動している場合を示している。このような例としては、扉に貼られたポスターなどに含まれる人物が挙げられる。決まった動作範囲しか持たないような扉などに貼られたポスター中の人物の場合、扉の開閉に伴い空間内での位置や向きが変化する可能性はあるが、変化する位置の範囲や移動の軌跡などは所定の範囲内に限定されたものとなる。そこで、位置の範囲や移動の軌跡に加えて一致率や追尾情報を併せてＳ４０８の判断を行うようにしてもよい。

具体的には、対象の人物が特定の範囲内の動きに収まっていて、更に特定の位置近傍において一致率が所定範囲内の変化に収まっている場合には、検出対象には含めないこととしてＳ４０９の処理を行わないようにする。或いは、対象の人物が特定の範囲内の動きに収まっていて、更に出現頻度の高い一致率に近い一致率が所定回数以上得られた場合には、検出対象には含めないこととしてＳ４０９の処理を行わないようにしてもよい。一方、対象の人物が特定の範囲内の動きに収まらない動きをしていると判断された場合や、一致率が上述の条件に適合しない場合には、検出対象に含めるＳ４０９の処理を適用する。更に、上述した出現頻度の高い一致率は、最大値のものを１つ採用してもよいが、所定回数以上の出現頻度の値を複数採用して比較対象としてもよい。

なお、上述の説明の中で一致率の時間的な変化の度合いの大きさ、或いは位置が近いかどうかの判定は、あらかじめ定められた閾値との比較に基づいて行うことができる。例えば、時間的に隣接する画像の間の一致率の差分を所定の閾値と比較し、差分が閾値より小さい場合には、一致率の時間的な変化の度合いが小さい、或いは、ほぼ同じと判定することができる。また、当該差分を所定の閾値と比較し、差分が閾値以上の場合には、一致率の時間的な変化の度合いが大きいと判定することができる。或いは、一定時間内の一致率の差分の合計値を閾値と比較することにより判定しても良い。位置については、画像中の位置情報（領域の位置する範囲を規定する座標）の差分について同様に閾値との比較により判定することができる。更には、一致率の変動幅を動的に検出して閾値を決定し、該決定された閾値以内かどうかを判定しても良い。また、操作者が閾値を指定するなど、適切な判定が行える方法であればいかなる方法を用いてもよい。

なお、上述の例では、Ｓ４０８における検出対象とすべきかの判定を、処理対象の顔領域が生体の顔に対応するものであるか否かを判断することにより行う場合を例に挙げたが、生体か否かの判定を行わないようにしてもよい。具体的には、店舗のレジやインフォメーションコーナーのような場所にいる従業員のように、検出対象から除外されるべき所定人物の顔に対応する顔領域は、検出対象から除外しても良い。店舗のレジやインフォメーションコーナーのような場所にいる従業員は、特定の範囲内で同じような方向を向く頻度が高い。その一方、店舗への来店客数をカウントする場合には、従業員はカウント対象から除外されるべきである。そこで、上述の図６（Ｄ）で説明したように、対象人物の一致率などの変動幅が特定の範囲内に収まっている場合には、検出対象から除外してＳ４０９の処理を適用しないようにしてもよい。

これにより来客などの必要な人物を検出対象に含め、従業員を除外することが可能となる。このような処理の場合、生体か否かの判定を行う場合に比べて一致率や位置の許容範囲を広くとるようにしてもよい。例えば、画像中で従業員が常駐している可能性の高い範囲を予め設定しておき、当該範囲において検出された顔領域について適用する一致率の時間的な変化の度合いを判定するための閾値を、他の範囲よりも大きい値に設定しておくことができる。これにより、従業員が常駐している範囲については一致率の時間的な変化の度合いが相対的に小さく検出されることになり、対応する顔領域を人物検出対象から除外することが可能となる。

更に、店舗の案内掲示板などのように、人数カウント対象である来店者が停止しやすい（立ち止まりやすい）場所が撮影範囲に含まれる場合もある。そこで、画像中の特定範囲について一致率や位置の許容範囲を変化させてもよい。例えば、ＵＩ操作により画像内で所定の範囲を指定し、範囲ごとに許容範囲を異ならせるように設定可能としても良い。許容範囲の変更は、一致率や位置を判定するための閾値の値を変更することで行うことができる。例えば、来店者が停止しやすい場所については一致率の時間的な変化の度合いが小さくなるため、一致率の時間的な変化の度合いを判定するための閾値を小さく設定することにより、一致率の変化が小さくても時間的な変化の度合いを相対的に大きく検出して、対応する顔領域を人物検出対象とすることができる。なお、生体か否かの判断とは無関係に行う方法は、図６（Ｄ）で説明した内容に限らず、図６に示す他の例でも同様に適用可能である。

上述の実施形態においては、適用される構成として情報処理装置１００内で動作するソフトウェアプログラムによって実現される以外にも様々な適用例がある。例えば、ネットワークカメラ１０２でハードウェア処理、或いは組み込みのソフトウェア処理で実現する方法が挙げられる。その場合、画像処理部２１４が本実施形態の人物検出処理を実行する。また、上述の人物検出処理の一部をネットワークカメラ１０２の画像処理部２１４で行い、残りの処理を情報処理装置１００で行うなど、単一機器内での処理に限定しないシステム構成であってもよい。

ネットワークカメラ１０２と情報処理装置１００の分散処理の例としては、例えば顔領域の決定処理であるＳ４０４までの処理をネットワークカメラ１０２の画像処理部２１４で行い、以降の処理を情報処理装置１００側で実行する方法がある。この場合、ネットワークカメラ１０２は撮像した画像データと共に顔領域を指定する情報を情報処理装置１００に送信する。このように処理を分けることにより、検出された顔の数に依存しにくい処理がカメラ内で実行されるため、フレームレートが高い場合でもフレームレートに追従した処理が行いやすくなる利点がある。分散処理の他の方法としては、顔領域のＳ４０５の同一性判定処理までをネットワークカメラ１０２の画像処理部２１４で行うようにしてもよい。このようにすることで特に動きを追尾する必要がある場合において、ネットワークカメラ１０２と情報処理装置１００との間の通信による遅延が発生しなくなるため、精度の高い追尾を行いながら特徴検出処理を行うことが可能となる。

また、ネットワークカメラ１０２の処理性能に応じて可能な範囲の処理をネットワークカメラ１０２側で行い、残りの処理を情報処理装置１００側で行うようにする構成も可能である。この構成における処理の切り分けは撮像条件やネットワークカメラ１０２の性能に応じて動的に決定してもよいし、予め固定的に割り振ってもよい。このような構成にすることで、多数のカメラが接続されている場合において情報処理装置１００の処理負荷が低減し、より多くのネットワークカメラを扱うことが可能になるという利点がある。

本実施形態においては顔や人体の検出処理時の一致率に基づいてその後の処理の適用を制御することで、顔や人体に関する詳細な解析処理を行うことなく、高速に適切な人物に対して処理を適用することが可能となる。また、高速に適切な人物に対して処理の実行制御を行うことが可能となる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：情報処理装置、１０１：表示装置、１０２：ネットワークカメラ、１０３：被写体としての人物、１０４：被写体としての写真、１０５：写真に写る人物

Claims (17)

1. 入力画像において人物に対応する被写体が含まれるか判定する第１の判定手段と、
   前記第１の判定手段によって前記入力画像に含まれると判定された第１の被写体に対応する第１の領域を、時間的に前記入力画像より前に入力された１以上の画像において前記第１の被写体が含まれると判定された第２の領域と関連づけ、前記第１の領域と前記第２の領域とのそれぞれから得られる特徴量の時間的な変化の度合いに基づき、前記第１の被写体を人物の検出結果に含めるか否かを判定する第２の判定手段と、
   を備えることを特徴とする情報処理装置。
2. 前記第２の判定手段が前記検出結果に含めると判定した場合に、前記第１の被写体に対応する人物を含めた検出結果の情報を出力する出力手段を更に備えることを特徴とする請求項１に記載の情報処理装置。
3. 前記第２の判定手段は、
   前記特徴量の時間的な変化の度合いが閾値以上の場合に、前記第１の被写体を前記人物の検出結果に含めると判定し、
   前記特徴量の時間的な変化の度合いが前記閾値よりも小さい場合に、前記第１の被写体を前記人物の検出結果に含めないと判定する、
   ことを特徴とする請求項１または２に記載の情報処理装置。
4. 前記閾値は、前記入力画像に設定される範囲ごとに定められることを特徴とする請求項３に記載の情報処理装置。
5. 前記入力画像に設定される範囲のうち、前記人物の検出結果に含めるべきでない被写体が常駐する可能性が高い範囲について設定される閾値は、前記人物の検出結果に含めるべきでない被写体が常駐する可能性が高くない範囲について設定される閾値よりも大きい値に定められることを特徴とする請求項４に記載の情報処理装置。
6. 前記入力画像に設定される範囲のうち、前記人物の検出結果に含めるべき被写体が停止して撮像される可能性が高い範囲について設定される閾値は、前記被写体が停止して撮像される可能性が高くない範囲について設定される閾値よりも小さい値に定められることを特徴とする請求項４に記載の情報処理装置。
7. 前記第２の判定手段は更に、前記第１の領域と前記第２の領域とが互いに関連づけられた複数の画像の間において、所定値を有する特徴量が所定の回数以上得られた場合に、前記第１の被写体を前記人物の検出結果に含めないと判定することを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
8. 前記所定値を有する特徴量は、前記複数の画像について所定回数以上の頻度で得られる特徴量、または、前記複数の画像について得られた特徴量のうちの最大値を有する特徴量であることを特徴とする請求項７に記載の情報処理装置。
9. 前記第２の判定手段は更に、前記第１の領域と前記第２の領域とが互いに関連づけられた複数の画像の間において、時間的な変化の度合いに所定レベルを超える変動が発生する場合に、前記第１の被写体を前記人物の検出結果に含めないと判定することを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
10. 前記第２の判定手段は更に、前記第１の領域と前記第２の領域とが互いに関連づけられた複数の画像のうちの対応する画像における前記第１の領域または前記第２の領域のそれぞれの位置が所定範囲に収まるか否かに更に基づき、
    前記位置が所定の範囲に収まらない場合に前記第１の被写体を前記人物の検出結果に含めると判定し、
    前記位置が所定の範囲に収まる場合に、前記第１の被写体を前記人物の検出結果に含めないと判定する
    ことを特徴とする請求項１から９のいずれか１項に記載の情報処理装置。
11. 前記特徴量は、予め用意されたテンプレートと前記第１の領域との比較とに基づく一致率、及び、前記テンプレートと前記第２の領域との比較に基づく一致率とを含むことを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。
12. 前記第１の領域及び前記第２の領域は、人物の顔を含む領域であって、
    前記テンプレートは、前記人物の顔の所定の向きに対応し、
    前記一致率は、前記第１の領域及び前記第２の領域に含まれる顔の向きに応じて変化する
    ことを特徴とする請求項１１に記載の情報処理装置。
13. 前記第１の領域及び前記第２の領域は、人物の顔、頭部、又は、身体を含む領域であることを特徴とする請求項１から１１のいずれか１項に記載の情報処理装置。
14. 前記入力画像は、撮像装置から入力され、
    前記第１の判定手段は、前記撮像装置が前記入力画像から抽出した前記第１の被写体に対応する前記第１の領域の情報を受信することにより前記判定を行うことを特徴とする請求項１から１３のいずれか１項に記載の情報処理装置。
15. 請求項１から１４のいずれか１項に記載の情報処理装置と、
    所定の空間を撮像して画像を生成し、前記情報処理装置に入力する撮像装置と、
    前記情報処理装置の出力手段が出力した情報を受信して表示する表示装置と
    を備えるシステム。
16. 情報処理装置の制御方法であって、
    入力画像において人物に対応する被写体が含まれるか判定する第１の判定工程と、
    前記第１の判定工程において前記入力画像に含まれると判定された第１の被写体に対応する第１の領域を、時間的に前記入力画像より前に入力された１以上の画像において前記第１の被写体が含まれると判定された第２の領域と関連づけ、前記第１の領域と前記第２の領域とのそれぞれから得られる特徴量の時間的な変化の度合いに基づき、前記第１の被写体を人物の検出結果に含めるか否かを判定する第２の判定工程と、
    を含むことを特徴とする情報処理装置の制御方法。
17. コンピュータを請求項１から１４のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images