JP2013186546A - 人物検索システム - Google Patents

Abstract

【課題】衣服特徴を用いた人物検索を容易に行うことのできる人物検索システムを提供する。
【解決手段】静止状態または移動状態の人物を含む環境を撮影する第１の撮影手段２０１と、第１の撮影手段で撮影された画像データに基づいて人物の衣服特徴に関する情報を抽出する衣服特徴抽出手段１２０と、衣服特徴抽出手段で抽出された人物の衣服特徴に関する情報をデータベースとして記憶する記憶手段１０３と、他の環境において、静止状態または移動状態の人物を含む環境を撮影する１または２以上の第２の撮影手段２０２と、衣服特徴抽出手段により、第２の撮影手段で撮影された画像データに基づいて人物の衣服特徴に関する情報を抽出し、記憶手段に記憶されている人物の衣服特徴に関するデータベースとの照合を行って所定の人物を検索する人物検索手段１６６とを備える。
【選択図】図１

Description

本発明は、衣服特徴を用いて人物を検索する人物検索システムに関するものである。

近年、防犯意識の高まりや安全管理強化により、商業施設等において監視カメラを用いた個人認証の研究や製品開発が進められている。

特に、監視カメラを用いた個人認証では、顔情報を用いた個人認証の研究開発が種々進められている。

このような、顔情報を用いた個人認証によれば、高精度な個人認証が可能である。

ところで、顔情報を用いたシステムでは、当然ながらカメラ画像に顔が写っていることが前提である。

しかしながら、監視カメラの設置位置や、撮影対象となる人物の身長等により顔が撮影されない場合がある。

また、顔情報を用いた個人認証では、人物の顔が正面から写っている必要があるが、商業施設等で移動している特定の人物の顔を正面から撮影することは難しかった。

一方で、監視カメラに写る確率の高い、人物の衣服に着目した技術が種々提案されている。

人物の衣服に着目した技術としては、例えば、特開２０１０−２６２４２５号公報に係る「衣服を認識および分類するためのコンピュータ実行方法」などが挙げられる。

前記公報に係る発明において、コンピュータシステムは、プロセッサ、メモリ、および記憶装置を含み、ディスプレイおよびカメラに連結されている。記憶装置は、ＯＳ及びアプリケーションのコードを記憶し、衣服認識アプリケーションも含む。動作中、衣服認識アプリケーションはメモリにロードされる。プロセッサがメモリに記憶されている対応コードを実行する時、プロセッサは、カメラによってキャプチャされた画像を本発明の解析方法によって解析し、整合した衣服をディスプレイにディスプレイするものである。

特開２０１０−２６２４２５号公報

上述の従来技術では、カメラで人物の衣服を撮影し、その衣服に関する情報を用いているが、その目的は、衣服を認識して分類することにある。

ところで、上述のように商業施設等において人物の個人認証を行う場合には、用途によっては、個人認証にさほど高い精度が求められない場合がある。

即ち、例えば銀行のＡＴＭにおける個人認証や、重要施設への入館許可等における個人認証において、顔情報を用いる場合には１００％に近い確率の認証精度が求められる。

一方、例えば比較的広い商業施設やイベント会場などで、迷子を探す場合や、待ち合わせする人を探すような場合には、前記ＡＴＭ等における程の個人認証精度は要求されず、該当すると思われる人物を検索できれば足りる。

このような用途において、監視カメラ等で取得した来場者の衣服に関する情報（衣服特徴）を用いて、簡易的な個人認証や人物検索を行いたいという要望がある。

また、顔情報等を用いた個人認証の精度をさらに向上させるために、人物の衣服特徴を補助的に用いたいという要望もある。

しかしながら、前記従来技術のような衣服を認識して分類する技術を人物検索や個人認証の補助にそのまま転用することはできなかった。

本発明は、上述のような課題を解決すべくなされたものであり、衣服特徴を用いた人物検索を容易に行うことのできる人物検索システムを提供することを目的とする。

前記課題を解決するため、請求項１の発明に係る人物検索システムは、静止状態または移動状態の人物を含む環境を撮影する第１の撮影手段と、該第１の撮影手段で撮影された画像データに基づいて人物の衣服特徴に関する情報を抽出する衣服特徴抽出手段と、前記衣服特徴抽出手段で抽出された前記人物の衣服特徴に関する情報をデータベースとして記憶する記憶手段と、他の環境において、静止状態または移動状態の人物を含む環境を撮影する１または２以上の第２の撮影手段と、前記衣服特徴抽出手段により、前記第２の撮影手段で撮影された画像データに基づいて人物の衣服特徴に関する情報を抽出し、前記記憶手段に記憶されている人物の衣服特徴に関するデータベースとの照合を行って所定の人物を検索する人物検索手段とを少なくとも備えることを特徴とする。

請求項２の発明に係る人物検索システムは、請求項１に記載の発明について、前記第１の撮影手段および前記第２の撮影手段の少なくとも一方は、人物の三次元情報を取得する三次元カメラで構成されることを特徴とする。

請求項３の発明に係る人物検索システムは、請求項１に記載の発明について、前記第１の撮影手段および前記第２の撮影手段の少なくとも一方は、人物を２以上の方向から撮影する２台以上のデジタルカメラで構成されることを特徴とする。

請求項４の発明に係る人物検索システムは、請求項１〜３のいずれか１項に記載の発明について、前記衣服特徴抽出手段は、前記第１の撮影手段または前記第２の撮影手段で撮影された画像データに基づいて、人物が存在する人領域を抽出する人領域抽出手段と、該人領域抽出手段で抽出された人領域から人物画像のみを抽出する人抽出手段と、該人抽出手段で抽出された人物画像から衣服の領域を取得する衣服領域取得手段と、該衣服領域取得手段で取得された衣服の領域を所定の分割数の衣服画像に分割する衣服領域分割手段と、該衣服領域分割手段で分割された各衣服画像から衣服の特徴を取得する衣服特徴取得手段と、該衣服特徴取得手段で取得された特徴に基づいて衣服を特定する衣服特定手段とを備えることを特徴とする。

請求項５の発明に係る人物検索システムは、請求項４に記載の発明について、前記人抽出手段は、前記第１の撮影手段または前記第２の撮影手段で撮影された画像データに含まれる距離画像に、背景差分法およびクラスタリング手法を適用して前記人領域から人物画像のみを抽出することを特徴とする。

請求項６の発明に係る人物検索システムは、請求項４または請求項５のいずれかに記載の発明について、前記衣服領域分割手段は、人物画像の首位置および腰位置を推定して、上半身部の衣服画像と下半身部の衣服画像とに分割することを特徴とする。

請求項７の発明に係る人物検索システムは、請求項１〜６のいずれかに記載の発明について、第１の撮影手段または第２の撮影手段で撮影された画像データに基づいて、人物の向きを判別する人向き判別手段をさらに備え、記憶手段は、人物の衣服特徴に関する情報を前記人向き判別手段による判別結果と関連付けしてデータベースを生成して記憶することを特徴とする。

請求項８の発明に係る人物検索システムは、請求項７に記載の発明について、人向き判別手段は、第１の撮影手段または第２の撮影手段で撮影された画像データに含まれる人物の顔の肌色情報に基づいて人物の向きを判別することを特徴とする。

請求項９の発明に係る人物検索システムは、請求項１〜８のいずれか１項に記載の発明について、衣服特徴抽出手段は、各衣服画像に基づいて、衣服の大局的特徴と局所的特徴の少なくとも一方を衣服の特徴として取得することを特徴とする。

請求項１０の発明に係る人物検索システムは、請求項９に記載の発明について、衣服の大局的特徴は、各衣服画像の色特徴または周波数特徴であり、局所的特徴は各衣服画像の色差特徴または同時生成行列特徴であることを特徴とする。

請求項１１の発明に係る人物検索システムは、請求項９または請求項１０のいずれかに記載の発明について、人物検索手段は、大局的特徴と局所的特徴の少なくとも一方に基づいて、第２の撮影手段で撮影された画像データに基づく衣服特徴と、記憶手段に記憶されている人物の衣服特徴に関するデータベースとの類似度を求め、その類似度に基づいて照合を行うことを特徴とする。

本発明によれば以下の効果を奏することができる。

すなわち、請求項１に記載の発明によれば、本構成を有していない場合に比較して、衣服特徴を用いた人物検索を容易に行う人物検索システムを提供することができる。

請求項２に記載の発明によれば、第１の撮影手段および第２の撮影手段の少なくとも一方は、人物の三次元情報を取得する三次元カメラで構成されるので、多方向から見た衣服特徴を取得することができ、比較的低コストで検索精度を高めた人物検索システムを提供することができる。

請求項３に記載の発明によれば、第１の撮影手段および第２の撮影手段の少なくとも一方は、人物を２以上の方向から撮影する２台以上のデジタルカメラで構成されるので、多方向から見た衣服特徴を取得することができ、検索精度を高めた人物検索システムを提供することができる。

請求項４に記載の発明によれば、本構成を有していない場合に比較して、比較的簡易な構成で人物検索を行う人物検索システムを提供することができる。

請求項５に記載の発明によれば、人抽出手段は、第１の撮影手段または第２の撮影手段で撮影された画像データに含まれる距離画像に、背景差分法およびクラスタリング手法を適用して人領域から人物画像のみを抽出するので、検索精度を高めた人物検索システムを提供することができる。

請求項６に記載の発明によれば、衣服領域分割手段は、人物画像の首位置および腰位置を推定して、上半身部の衣服画像と下半身部の衣服画像とに分割するので、検索精度を高めた人物検索システムを提供することができる。

請求項７に記載の発明によれば、第１の撮影手段または第２の撮影手段で撮影された画像データに基づいて、人物の向きを判別する人向き判別手段をさらに備え、記憶手段は、人物の衣服特徴に関する情報を人向き判別手段による判別結果と関連付けしてデータベースを生成して記憶するので、検索精度を高めた人物検索システムを提供することができる。

請求項８に記載の発明によれば、人向き判別手段は、第１の撮影手段または第２の撮影手段で撮影された画像データに含まれる人物の顔の肌色情報に基づいて人物の向きを判別するので、比較的簡易な構成で人物検索を行う人物検索システムを提供することができる。

請求項９に記載の発明によれば、衣服特徴抽出手段は、各衣服画像に基づいて、衣服の大局的特徴と局所的特徴の少なくとも一方を衣服の特徴として取得するので、比較的簡易な構成で人物検索を精度良く行う人物検索システムを提供することができる。

請求項１０に記載の発明によれば、衣服の大局的特徴は、各衣服画像の色特徴または周波数特徴であり、局所的特徴は各衣服画像の色差特徴または同時生成行列特徴であるので、比較的簡易な構成で人物検索を精度良く行う人物検索システムを提供することができる。

請求項１１に記載の発明によれば、人物検索手段は、大局的特徴と局所的特徴の少なくとも一方に基づいて、第２の撮影手段で撮影された画像データに基づく衣服特徴と、記憶手段に記憶されている人物の衣服特徴に関するデータベースとの類似度を求め、その類似度に基づいて照合を行うので、検索精度を高めた人物検索システムを提供することができる。

実施の形態に係る人物検索システムの機能構成を示す機能ブロック図である。 実施の形態に係る人物検索システムの構成例を示すブロック図である。 ３次元カメラの構成例を示す説明図。 登録と検索の例を示す説明図である。 衣服特定処理の処理手順を示すフローチャートおよび説明図である。 人抽出について抽出例を示す説明図である。 人抽出について抽出方法を示す説明図である。 人抽出画像から衣服領域を取得する例を示す説明である。 首位置、腰位置の推定および衣服領域の分割方法を示す説明図である。 衣服特徴取得について示す説明図である。 色特徴の抽出および色差特徴の抽出の方法を示す説明図である。 周波数特徴および同時生起行列について示す説明図である。 同時生起行列の処理手順を示す説明図である。 同時生起行列の種類を示す式である。 同時生起行列の条件を示す式である。 人向き方向判別について示す説明図である。 衣服特定について示す説明図である。 実験に用いた衣服の種類を示す撮影図である。 実験に用いた正面画像と後面画像の例を示す撮影図である。 実験に用いた正面画像と後面画像の例を示す撮影図である。 実験結果を示す表である。

以下、本発明の一例としての実施の形態を図面に基づいて詳細に説明する。ここで、添付図面において同一の部材には同一の符号を付しており、また、重複した説明は省略されている。なお、ここでの説明は本発明が実施される最良の形態であることから、本発明は当該形態に限定されるものではない。

図１から図２１を参照して、本発明についての実施形態に係る人物検索システムＳ１について説明する。

（人物検索システムの全体構成）
まず、図１を参照して人物検索システムＳ１の機能構成について説明する。

本実施の形態に係る人物検索システムＳ１は、図１に示すように、静止状態または移動状態の人物を含む環境を撮影する登録用カメラとしての第１の撮影手段２０１と、第１の撮影手段２０１で撮影された画像データに基づいて人物の衣服特徴に関する情報を抽出する衣服特徴抽出手段１２０と、衣服特徴抽出手段１２０で抽出された人物の衣服特徴に関する情報をデータベースとして記憶するハードディスク装置等で構成される記憶手段（記憶部）１０３と、他の環境において、静止状態または移動状態の人物を含む環境を撮影する１または２以上の検索用カメラとしての第２の撮影手段２０２と、衣服特徴抽出手段１２０により、第２の撮影手段２０２で撮影された画像データに基づいて人物の衣服特徴に関する情報を抽出し、記憶手段１０３に記憶されている人物の衣服特徴に関するデータベースとの照合を行って所定の人物を検索する人物検索手段１６６とを少なくとも備える。

第１の撮影手段２０１および第２の撮影手段２０２の少なくとも一方は、人物の三次元情報を取得する三次元カメラで構成されるようにできる。

三次元カメラとしては、レーザパターン投影方式の３次元センサを用いることができる。

レーザパターン投影方式の３次元センサは、赤外線パターンを対象物体に照射して三角測量（Ｔｒｉａｎｇｕｌａｔｉｏｎ）により距離画像を取得している。

より具体的には、レーザパターン投影方式の３次元センサとしては、マイクロソフト社製のＫｉｎｅｃｔ（キネクト）センサ（マイクロソフト社の登録商標）２０１を適用することができる（図３参照）。このＫｉｎｅｃｔセンサ２０１は、当初ゲーム機用のセンサであったが、パーソナルコンピュータ等で構成されるコンピュータシステム１００ａにもＵＳＢ端子を介して接続可能である。

そして、マイクロソフトリサーチ社が提供する「Ｋｉｎｅｃｔ ｆｏｒ Ｗｉｎｄｏｗｓ ＳＤＫ（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ）」を用いれば、Ｃ言語で記述したプログラムによりＫｉｎｅｃｔセンサ２０１をコンピュータシステム１００ａから制御することできる。

このＫｉｎｅｃｔセンサ２０１により、カラー画像３０１と、距離画像３０２を取得することができる（図３参照）
また、Ｋｉｎｅｃｔセンサは、約１万数千円程度で入手可能であり、本実施の形態に係るシステムＳ１の低コスト化を図ることができる。

また、第１の撮影手段２０１および第２の撮影手段２０２の少なくとも一方は、人物を２以上の方向から撮影する２台以上のデジタルカメラで構成されるようにしてもよい。

即ち、例えば、登録用カメラとしての第１の撮影手段２０１について、商業施設やイベント会場の入り口等において、入場者としての人物を正面、後面、側面等から撮影するように、２台以上のデジタルカメラを配置するようにできる。

また、検索用カメラとしての第２の撮影手段２０２については、商業施設内やイベント会場内の複数箇所に監視カメラとして複数台のデジタルカメラを配置するようにできる。

衣服特徴抽出手段１２０は、図１に示すように、第１の撮影手段２０１または第２の撮影手段２０２で撮影された画像データに基づいて、人物が存在する人領域を抽出する人領域抽出手段１６０と、人領域抽出手段１６０で抽出された人領域から人物画像のみを抽出する人抽出手段１６１と、人抽出手段１６１で抽出された人物画像から衣服の領域を取得する衣服領域取得手段１６２と、衣服領域取得手段１６２で取得された衣服の領域を所定の分割数の衣服画像に分割する衣服領域分割手段１６３と、衣服領域分割手段１６３で分割された各衣服画像から衣服の特徴を取得する衣服特徴取得手段１６４と、衣服特徴取得手段１６４で取得された特徴に基づいて衣服を特定する衣服特定手段１６５とから構成される。

なお、各手段は、コンピュータシステム１００ａ（１００ｂ）で実行可能なソフトウェアとして実現される。

人抽出手段１６１は、第１の撮影手段２０１または第２の撮影手段２０２で撮影された画像データに含まれる距離画像に、例えば背景差分法およびクラスタリング手法を適用して人領域から人物画像のみを抽出するようにできる。詳細な手順については後述する。

なお、背景差分法およびクラスタリング手法は、移動体の画像に基づいて、人領域を抽出する場合に適している。

また、例えば、抽出された人領域画像に対して人認識を行った上で、識別結果が人である場合にのみ、以降の処理を続行するようにしても良い。

衣服領域分割手段１６３は、人物画像の首位置および腰位置を推定して、上半身部の衣服画像と下半身部の衣服画像とに分割するようにできる。詳細な手順については後述する。

また、第１の撮影手段２０１または第２の撮影手段２０２で撮影された画像データに基づいて、人物の向きを判別する人向き判別手段１６７をさらに備える。

そして、記憶手段１０３は、人物の衣服特徴に関する情報を人向き判別手段１６７による判別結果と関連付けしてデータベースを生成して記憶するようにできる。

なお、人向き判別手段１６７は、第１の撮影手段２０１または第２の撮影手段２０２で撮影された画像データに含まれる人物の顔の肌色情報に基づいて人物の向きを判別するようにできる。詳細な手順については後述する。

また、衣服特徴取得手段１６４は、各衣服画像に基づいて、衣服の大局的特徴と局所的特徴の少なくとも一方を衣服の特徴として取得するようにできる。

ここで、衣服の大局的特徴は、各衣服画像の色特徴または周波数特徴であり、局所的特徴は各衣服画像の色差特徴または同時生成行列特徴であるようにできる。詳細については後述する。

また、人物検索手段１６６は、大局的特徴と局所的特徴の少なくとも一方に基づいて、第２の撮影手段２０２で撮影された画像データに基づく衣服特徴と、記憶手段１０３に記憶されている人物の衣服特徴に関するデータベースとの類似度を求め、その類似度に基づいて照合を行うようにできる。

ここで、図２を参照して、人物検索システムＳ１の構成例について説明する。

図２に示す構成例では、パーソナルコンピュータ等で構成される２台のコンピュータシステム１００ａおよび１００ｂがＬＡＮ等のネットワークＮを介して接続されている。

なお、図２に示す構成例では、コンピュータシステム１００ａは主に各種演算処理を行う計算機として、コンピュータシステム１００ｂはデータベースとして機能する。

各コンピュータシステム１００ａ、１００ｂは、ＣＰＵ等で構成されるプロセッサ１０１と、作業領域等として使用されるメモリ１０２と、ハードディスク装置等で構成される記憶部１０３等を備えている。なお、コンピュータシステム１００ａには液晶ディスプレイ等で構成されるモニタ１５０が接続されている。

記憶部１０３には、Ｗｉｎｄｏｗｓ（マイクロソフト社の登録商標）やＬＩＮＵＸ（Linus Torvalds氏の登録商標）等の所定のオペレーティングシステムと、衣服検索アプリケーションやデータ登録アプリケーション等のソフトウェアがインストールされている。

また、コンピュータシステム１００ａには、登録用カメラとしての第１の撮影手段２０１と、検索用カメラとしての第２の撮影手段２０２とが接続されている。

なお、第２の撮影手段２０２は、商業施設内やイベント会場等に設置される複数台の監視カメラとすることができる。

（登録と検索の概要）
データベースへの登録を行う際には、図４（ａ）に示すように、商業施設やイベント会場等の入口に設置される登録用カメラとしての第１の撮影手段２０１で、登録対象としての人物Ｈ１を撮影し、コンピュータシステム１００ａによる処理により衣服特徴を抽出してコンピュータシステム１００ｂのデータベースに登録する。

人物の検索を行う際には、商業施設内やイベント会場内等に設置された監視カメラ等で構成される第２の撮影手段２０２によって場内を撮影し、各人物Ｈ１〜Ｈ４についてコンピュータシステム１００ａによる処理により衣服特徴を抽出し、データベースに登録されているデータとの照合を行う。これにより、例えば衣服特徴の一致あるいは類似すると判定結果に基づいて、登録済みの人物Ｈ１を検索することができる（図４（ｂ）参照）。

したがって、例えば、会場内で迷子が発生した場合や、待ち合わせ等で特定人物を検索したい場合などに、本実施の形態に係る人物検索システムＳ１により検索することができる。また、商業施設等において、本実施の形態に係る人物検索システムＳ１によって特定の人物の立ち寄り先を追跡することにより、マーケティング調査等を行うこともできる。

（衣服特定処理の処理手順）
図５のフローチャートおよび説明図を参照して、本実施の形態に係る人物検索システムＳ１で実行される衣服特定処理の処理手順の例について説明する。

まず、ステップＳ１０では、第１の撮影手段２０１または第２の撮影手段２０２で撮影された画像データに基づいて、人物が存在する人領域を抽出してステップＳ１１に移行する。

即ち、第１の撮影手段２０１または第２の撮影手段２０２により画像データＤ１を取得し、画像データＤ２のように人物が存在する人領域を抽出する。

ステップＳ１１では、抽出された人領域から人物画像のみを抽出してステップＳ１２に移行する。

即ち、画像データＤ２から背景を除去するなどして人物画像のみの画像データＤ３を得る。

ステップＳ１２では、抽出された人物画像から衣服の領域を取得してステップＳ１３に移行する。

即ち、画像データＤ３から首部分の画像を除去するなどして衣服の領域の画像データＤ４を得る。

ステップＳ１３では、取得された衣服の領域を所定の分割数の衣服画像に分割してステップＳ１４に移行する。

即ち、例えば、衣服の領域の画像データＤ４から上半身部の画像データＤ５と下半身部の画像データＤ６とに分割する。

ステップＳ１４では、分割された各衣服画像から衣服の特徴を取得してステップＳ１５に移行する。

ステップＳ１５では、取得された特徴に基づいて衣服を特定して処理を終了する。

（人抽出について）
図６および図７を参照して、前記ステップＳ１０、Ｓ１１に関わる人抽出について説明する。

衣服抽出のため、距離画像を用いた背景差分法とクラスタリングを行い人物を抽出する。 予め複数枚取得した背景の距離画像の平均画像を取得し、この平均距離画像と入力される距離画像の差分値が大きい画素を人物領域として抽出する（図７（ａ）の画像データＤ１０、Ｄ１１、Ｄ１２およびＤ２参照）。

その後、人物領域を囲む矩形領域内の画素値を前景と背景の２クラスにクラスタリングを行う。クラスタリングにはｋ−ｍｅａｎｓ法を用いる。これにより、前景とされた画素を人物とすることができる（図７（ｂ）の画像データＤ２、Ｄ１３、Ｄ１４およびＤ３参照）。

ここで、クラスタリングによる人抽出を行うのは背景差分を行った際に発生する欠損を補うためである。

（衣服領域取得および衣服領域分割について）
図８および図９を参照して、前記ステップＳ１２、Ｓ１３に関わる衣服領域取得および衣服領域分割について説明する。

図８に示すように、衣服の上部（上半身部）と下部（下半身部）のそれぞれで特徴を取得するため、人物抽出で得られる人物抽出画像Ｄ３から顔領域を除去し（Ｄ４の状態）、衣服を上部（Ｄ５）と下部（Ｄ６）に分割する。

図９（ａ）に示すように、衣服領域取得の前処理として首の位置Ｐ１と腰の位置Ｐ２を推定する。そして、人物抽出で得られる人マスク画像の白色画素を画像ｙ軸方向に落としこみ、ヒストグラム化する。このヒストグラムから首と腰の位置Ｐ１、Ｐ２を推定する。

次いで、人マスク画像Ｄ２０の重心点を求め、重心点のｙ座標値よりも上の領域で首位置Ｐ１を下の領域で腰位置Ｐ２を求める（図９（ａ）参照）。

首位置Ｐ１はヒストグラムの最も深い谷を首位置Ｐ１とし、腰位置についてはヒストグラムの既存の判別分析法によって求めた値を腰位置Ｐ２とした。

続いて、図９（ｂ）に示すように、推定した首位置Ｐ１と腰位置Ｐ２から顔領域の除去と衣服の分割画像（Ｄ５、Ｄ６）を作成する。

首位置Ｐ１と腰位置Ｐ２の間の領域を衣服の上部、腰位置Ｐ２より下の領域を衣服の下部として抽出する。

なお、首位置Ｐ１より上の領域は頭部領域として除去し、首元や手領域なども曖昧な領域があるため除去する。

（衣服特徴取得について）
図１０から図１５を参照して、前記ステップＳ１４に係る衣服特徴取得について説明する。

衣服特徴の抽出は、各衣服画像に基づいて、衣服の大局的特徴と局所的特徴の少なくとも一方を衣服の特徴として取得するようにできる。

また、図１０に示すように、衣服の大局的特徴は、各衣服画像の色特徴または周波数特徴、局所的特徴は各衣服画像の色差特徴または同時生成行列特徴（テクスチャ特徴）であるようにできる。

ここで、図１１（ａ）を参照して、色特徴について説明する。

まず、図１１（ａ）に示すような衣服の一部の画像データＤ３０をＲＧＢ表色系からＨＳＶ表色系に変換する。

この変換は、ピクセルごとの色相（Ｈ）や鮮やかさ（Ｓ）、明るさ（Ｖ）を独立して扱うために行う。変換後の各画素の色相と彩度についてそれぞれヒストグラム４０１、４０２を作成する。

なお、明度については照明変化の影響を大きく受けるためここでは使用しない。

そして、求めた色相と彩度のヒストグラムを色特徴とする。色特徴の類似度の算出には例えばバタチャリヤ距離（Bhattacharyya距離）を用いる。なお、バタチャリヤ距離の算出の詳細については省略する。

次に、図１１（ｂ）を参照して、色差特徴について説明する。

色差特徴では、色相の差と彩度の差の２種類のヒストグラムを作成して行う。

例えば図１１（ｂ）の衣服の一部の画像データＤ４０に対してエッジ抽出を行った画像Ｄ４１を用いる。そして、エッジ周囲の色相の差と彩度の差を色差と定義する。

色差特徴取得は以下の手順によって行われる。

１）衣服画像のエッジとして抽出された画素の周囲３×３の画素を切り出す。

２）切り出した３×３の画素に対してラベル付けを行う。このとき、ラベルは２つの領域に分けるように付加する。

３）ラベル１の画素と同座標にある衣服画像の画素の色相と彩度の平均値を求める。

４）ラベル２も同様に色相と彩度の平均値を求める。

５）ラベル１とラベル２の色相と彩度の差をそれぞれヒストグラム化する。

そして、手順５で取得した２つのヒストグラムを色差特徴とする。なお、色差特徴の類似度の算出には色特徴と同様にバタチャリヤ距離を用いる。

次に、図１２（ａ）を参照して、周波数特徴について説明する。

ここで、周波数特徴は、衣服画像のパワースペクトル画像の画素値に関する。

周波数特徴では、図１２（ａ）の衣服画像（ア）〜（カ）の画像から得られるパワースペクトル画像（キ）〜（シ）の画素値を一次元ベクトルにしたものを特徴とする。

なお、特徴を取得するパワースペクトル画像は事前に３２×３２サイズの画像にスケール変換している（図１２（ｂ）参照）。

また、周波数特徴は衣服の上部から取得し、下部の衣服からは十分な特徴取得領域が得られないため取得しない。また、周波数特徴の類似度は部分空間法を用いて算出する。

次に、図１２（ｂ）を参照して、同時生起行列特徴について説明する。

ここで、同時生起行列特徴は、衣服画像のグレー画像から得られる同時生起行列に基づくものである。

また、同時生起行列は、離れた２つの画素対の値から特徴量を求めるものである。

同時生起行列特徴は、例えば図１２（ａ）の衣服画像（ア）〜（カ）を用いる。そして、それらの画像をグレースケール変換する。

なお、本実施の形態では、グレースケール画像は３２階調のグレースケールとした（図１２（ｄ）参照）。

グレースケールに変換した画像に対して同時生起行列（以下、ＧＬＣＭと記す）を得る。 ＧＬＣＭは、離れた２つの画素対の値から特徴量を求めるものである。

ＧＬＣＭは、図１２（ｃ）に示すように、距離ｒを１とし、θを０°、４５°、９０°、１３５°として４つ求める。

そして、それぞれのＧＬＣＭから１０種類の特徴を求め、計４０の特徴を一次元ベクトルとしたものを特徴とする（図１３参照）。

また、同時生起行列特徴は周波数特徴と同様の理由から衣服の上部から取得する。

ここで、求める特徴は、Ｌをグレーレベル、ＰδをＧＬＣＭとして図１４の（ａ）〜（ｊ）に示す１０種類の特徴である。なお、この際の条件は図１５の（ｋ）〜（ｎ）である。

なお、同時生起行列特徴の類似度の算出にはマハラノビス距離を用いる。

（人向き方向判別について）
図１６を参照して、人向き方向判別について説明する。

衣服によっては人の向きにより衣服の見え方が変化する（図１６（ｂ）参照）。そこで、本実施の形態に係る人物検索システムＳ１では、デザインの違いや着方による衣服の見え方の変化に対応するために、人向きの判別結果に基づいて衣服特徴のデータベースの作成や選択を行う。

人向きの判別は、例えば顔の肌色情報に基づいて行うことができる。即ち、頭部領域の肌色領域の面積に基づいて、人の向きを判別することができる。

具体的には、首位置よりも上部の人マスク画像Ｄ５２、Ｄ５３と入力画像Ｄ５０、Ｄ５１の肌色画素を白画素とした肌色抽出画像Ｄ５４、Ｄ５５のそれぞれの白画素数の比率ｒに閾値処理を行うことで判別することができる。なお、比率ｒは、ｒ＝ｐｓ／ｐｍにより求める（但し、ｐｓは肌色抽出画像の白色画素数、ｐｍはマスク画像の白色画素数である。）。

そして、ｒが閾値以上の場合は前向き、閾値未満の場合は後向きと判別することができる。なお、本実施の形態に係る人物検索システムＳ１では、閾値を０．４とした。

（衣服特定について）
図１７を参照して、前記ステップＳ１５に係る衣服特定について説明する。

衣服特定は、例えば、入力画像Ｄ６０〜６２と、データベースに格納されている比較すべき類似衣服の画像Ｄ７０について、色特徴、色差特徴、周波数特徴、同時生起行列特徴の各特徴量から類似度を算出して行う。

即ち、前記４つ特徴の類似度の合計を最終的な類似度とする。

なお、各類似度はスケールが異なるため、事前にスケーリングを行うようにすると良い。 そして、同一衣服の特定は、入力画像Ｄ６０〜６２から得られた衣服特徴とデータベースに格納されている衣服特徴を比較し、最も高い類似度を示した衣服を同一衣服として認識する。

これにより、予め衣服特徴を登録した人物と、入力画像Ｄ６０〜６２に係る人物との照合を行うことができる。

したがって、例えば比較的広い商業施設やイベント会場などで、迷子を探す場合や、待ち合わせ人を探す用途に、本実施の形態に係る人物検索システムＳ１を適用することができる。

また、商業施設等において、本実施の形態に係る人物検索システムＳ１によって特定の人物の立ち寄り先を追跡することにより、マーケティング調査等を行うこともできる。

また、顔情報に基づく個人認証の精度を向上させるために、補助的に衣服特徴の照合を行う場合にも本実施の形態に係る人物検索システムＳ１を適用することができる。

（衣服の特定実験）
図１８から図２１を参照して、本実施の形態に係る人物検索システムＳ１を用いた衣服の特定実験について述べる。

本実験では所定の部屋の上部に前述のＫｉｎｅｃｔセンサ２０１を設け、このＫｉｎｅｃｔセンサ２０１から取得した画像を用いている。

なお、取得した画像は、被験者が予め設定した所定の範囲を往復している間に取得した画像である。

図１８に示すように、衣服は２７種類（Clothes０〜２６）を用意し、それぞれ１００枚の画像を用意した。

用意した画像に対し前述のステップＳ１０〜１５等の処理を行い、認識率を求めた。

認識率は、正しく認識した画像数／全画像数と定義する。

また、データベースへの登録は、人が前向きに映っている画像と後ろ向きに映っている画像をそれぞれ２５枚の計５０枚の画像で登録した。

即ち、図１８には正面画像のみを示すが、実際には図１９（ａ）、（ｂ）、図２０（ａ）、（ｂ）に示すように、正面画像と後面画像とが一対となっている。

この実験では、人向き判別結果を用いる場合と用いない場合でそれぞれ認識率を求めた。 そして、人向き判別結果を用いる場合は、人向き判別結果に基づき前向き用か後ろ向き用のデータベースを適宜選択し、認識処理を行った。

また、人向き判別結果を用いない場合は前向き用のデータベースのみを用いて認識処理を行った。

実験結果を図２１に示す。図２１から人向き方向判別を行わない場合、認識率が５０％に満たない衣服があることが分かる。

しかし、人向き方向判別を行うことで、平均は９４．５％という高い認識率を得ることができた。

以上のように、人の向きにより異なる衣服特徴データベースの作成や選択を行うことが認識精度の向上に有効であることが分かる。

なお、本実施の形態に係る人物検索システムＳ１および上記実験では、人物の正面画像と後面画像に基づいて衣服特徴の抽出や照合を行なっているが、これに限らず、横方向（側面）の画像や、上方からの画像など、多方向からの画像を用いて衣服特徴の抽出や照合を行うようにしても良い。

また、衣服特徴をデータベースに登録する際に、人物の年齢層や、身長等の身体的特徴等を関連付けして登録するようにしても良い。

これにより、人物検索の精度を向上させたり、多様なマーケティング調査を行うことが可能となる。

以上本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本明細書で開示された実施の形態はすべての点で例示であって開示された技術に限定されるものではないと考えるべきである。すなわち、本発明の技術的な範囲は、前記の実施の形態における説明に基づいて制限的に解釈されるものでなく、あくまでも特許請求の範囲の記載に従って解釈すべきであり、特許請求の範囲の記載技術と均等な技術および特許請求の範囲内でのすべての変更が含まれる。

本発明による人物検索手段は、各種商業施設、イベント会場等において、迷子の探索、特定人物の探索等に適用することができる。

Ｓ１…人物検索システム
１００ａ，１００ｂ…コンピュータシステム
１０１…プロセッサ
１０２…メモリ
１０３…記憶手段（記憶部）
１２０…衣服特徴抽出手段
１５０…モニタ
１６０…人領域抽出手段
１６１…人抽出手段
１６２…衣服領域取得手段
１６３…衣服領域分割手段
１６４…衣服特徴取得手段
１６５…衣服特定手段
１６６…人物検索手段
１６７…人向き判別手段
２０１…第１の撮影手段
２０２…第２の撮影手段
Ｈ１〜Ｈ４…人物
Ｎ…ネットワーク
Ｐ１…首位置
Ｐ２…腰位置

Claims (11)

1. 静止状態または移動状態の人物を含む環境を撮影する第１の撮影手段と、
   該第１の撮影手段で撮影された画像データに基づいて人物の衣服特徴に関する情報を抽出する衣服特徴抽出手段と、
   前記衣服特徴抽出手段で抽出された前記人物の衣服特徴に関する情報をデータベースとして記憶する記憶手段と、
   他の環境において、静止状態または移動状態の人物を含む環境を撮影する１または２以上の第２の撮影手段と、
   前記衣服特徴抽出手段により、前記第２の撮影手段で撮影された画像データに基づいて人物の衣服特徴に関する情報を抽出し、前記記憶手段に記憶されている人物の衣服特徴に関するデータベースとの照合を行って所定の人物を検索する人物検索手段と
   を少なくとも備えることを特徴とする人物検索システム。
2. 前記第１の撮影手段および前記第２の撮影手段の少なくとも一方は、人物の三次元情報を取得する三次元カメラで構成されることを特徴とする請求項１に記載の人物検索システム。
3. 前記第１の撮影手段および前記第２の撮影手段の少なくとも一方は、人物を２以上の方向から撮影する２台以上のデジタルカメラで構成されることを特徴とする請求項１に記載の人物検索システム。
4. 前記衣服特徴抽出手段は、
   前記第１の撮影手段または前記第２の撮影手段で撮影された画像データに基づいて、人物が存在する人領域を抽出する人領域抽出手段と、
   該人領域抽出手段で抽出された人領域から人物画像のみを抽出する人抽出手段と、
   該人抽出手段で抽出された人物画像から衣服の領域を取得する衣服領域取得手段と、
   該衣服領域取得手段で取得された衣服の領域を所定の分割数の衣服画像に分割する衣服領域分割手段と、
   該衣服領域分割手段で分割された各衣服画像から衣服の特徴を取得する衣服特徴取得手段と、
   該衣服特徴取得手段で取得された特徴に基づいて衣服を特定する衣服特定手段と
   から構成されることを特徴とする請求項１〜３のいずれか１項に記載の人物検索システム。
5. 前記人抽出手段は、前記第１の撮影手段または前記第２の撮影手段で撮影された画像データに含まれる距離画像に、背景差分法およびクラスタリング手法を適用して前記人領域から人物画像のみを抽出することを特徴とする請求項４に記載の人物検索システム。
6. 前記衣服領域分割手段は、人物画像の首位置および腰位置を推定して、上半身部の衣服画像と下半身部の衣服画像とに分割することを特徴とする請求項４または請求項５のいずれかに記載の人物検索システム。
7. 前記第１の撮影手段または前記第２の撮影手段で撮影された画像データに基づいて、人物の向きを判別する人向き判別手段をさらに備え、
   前記記憶手段は、前記人物の衣服特徴に関する情報を前記人向き判別手段による判別結果と関連付けしてデータベースを生成して記憶することを特徴とする請求項１〜６のいずれか１項に記載の人物検索システム。
8. 前記人向き判別手段は、前記第１の撮影手段または前記第２の撮影手段で撮影された画像データに含まれる人物の顔の肌色情報に基づいて人物の向きを判別することを特徴とする請求項７に記載の人物検索システム。
9. 前記衣服特徴抽出手段は、前記各衣服画像に基づいて、衣服の大局的特徴と局所的特徴の少なくとも一方を衣服の特徴として取得することを特徴とする請求項１〜８のいずれか１項に記載の人物検索システム。
10. 前記衣服の大局的特徴は、前記各衣服画像の色特徴または周波数特徴であり、前記局所的特徴は前記各衣服画像の色差特徴または同時生成行列特徴であることを特徴とする請求項９に記載の人物検索システム。
11. 前記人物検索手段は、前記大局的特徴と局所的特徴の少なくとも一方に基づいて、第２の撮影手段で撮影された画像データに基づく衣服特徴と、前記記憶手段に記憶されている人物の衣服特徴に関するデータベースとの類似度を求め、その類似度に基づいて照合を行うことを特徴とする請求項９または請求項１０のいずれかに記載の人物検索システム。