JP2019185349A - 検索装置、検索方法及びプログラム - Google Patents

Abstract

【課題】外観特徴等を利用した場合においても、人物検索を高精度に行うことを目的とする。【解決手段】ユーザ操作に応じて指定された、検索対象の人物の外観特徴を取得する取得手段と、外観特徴と、画像とを対応付けた情報を参照することにより、複数の画像を含む画像群から、取得手段が取得した外観特徴に対応する画像を抽出する画像抽出手段と、画像抽出手段が抽出した画像の画像特徴に基づいて、取得手段が取得した外観特徴に対応した人物を検索する検索手段とを有する。【選択図】図４

Description

本発明は、検索装置、検索方法及びプログラムに関する。

近年、ネットワークに接続し、コンピュータからの制御が可能なカメラが市販されている。このようなカメラはオフィスや店舗、街中に広く設置され、セキュリティの向上に役立っている。カメラ台数が増えるにつれ、目視による画像確認にコストがかかるようになり、画像解析・認識技術を用いた効率化の取り組みが進んでいる（非特許文献１参照）。

実用例として顔認識技術を用いた、特定人物や迷子を捜すことができる人物検索システムがある。このシステムでは、カメラの画像を解析して人物を検出し、人物の顔・人体領域から被写体の特徴を表す特徴量を抽出し、撮影したカメラ、時刻情報、画像といった情報と関連付けて登録する。検索時は特徴量の類似性をもとに、類似度が高いと判断した登録情報を結果として返す。検索時にも比較対象とする特徴量が必要になるため、実現のしやすさから検索対象となる人物の画像が検索者の手元にある状態で検索を行う仕組みをとっているものが多い。しかし実際に人物を検索したいユースケースにおいては、検索対象となる人物の画像を手元に用意できないことの方が多い。この場合は外見特徴(属性)条件によるフィルタリングや、似顔絵を用いる必要がある。

外見特徴によるフィルタリングにおいては、性別・年齢といった被写体の外見から推定できる特徴や属性を、画像認識技術を用いて推定し、これらを関連付けて記録し、検索時の条件として利用する。また、特許文献１には、似顔絵を用いる例として、ユーザ操作により顔パーツを指定させて合成画像を生成し、合成画像の外見特徴および顔パーツの組み合わせ情報から類似画像の検索を行う技術が開示されている。

特開平３−１３９７６８号公報

コンピュータビジョン−アルゴリズムと応用− Ｒｉｃｈａｒｄ Ｓｚｅｌｉｓｋｉ， 共立出版 ２０１３年

しかしながら、検索対象となる画像を利用することができない場合には、撮影画像における人物検索において十分な検索精度を実現できない場合があるという問題があった。

本発明はこのような問題点に鑑みなされたもので、外観特徴を利用した場合においても、人物検索を高精度に行うことを目的とする。

そこで、本発明は、検索装置であって、ユーザ操作に応じて、検索対象の人物の外観特徴の指定を受け付ける受付手段と、外観特徴と、画像とを対応付けた情報を参照することにより、複数の画像を含む画像群から、前記受付手段が受け付けた外観特徴に対応する画像を抽出する画像抽出手段と、前記画像抽出手段が抽出した前記画像の画像特徴に基づいて、前記受付手段が受け付けた前記外観特徴に対応した人物を検索する検索手段とを有することを特徴とする。

本発明によれば、外観特徴を利用した場合においても、人物検索を高精度に行うことができる。

実施形態に係る人物検索システムの全体図である。 検索サーバ装置のハードウェア構成図である。 人物検索システムの機能構成図である。 検索処理を示すシーケンス図である。 似顔絵画面の一例を示す図である。 外見特徴情報を模式的に示す図である。 Ｓ４０３の処理の説明図である。

以下、本発明の実施形態について図面に基づいて説明する。

図１は、実施形態に係る人物検索システム１００の全体図である。ネットワークカメラ１１０、ストレージ装置１２０、画像解析サーバ装置１３０、検索サーバ装置１４０及び表示装置１５０は、ネットワーク回線であるＬＡＮ１６０によって接続されている。ネットワークカメラ１１０は、撮像装置であり、符号化された画像データや画像データに対する画像解析結果をＬＡＮ１６０経由で配信する機能を有する。ストレージ装置１２０は、ネットワークカメラ１１０から配信される画像データや画像解析処理結果を、ＬＡＮ１６０を介して受信し、これを記憶する。

画像解析サーバ装置１３０は、ストレージ装置１２０に記憶された画像データや画像解析処理結果をＬＡＮ１６０経由で読み込み、後述する検索サーバ装置１４０の登録情報を生成する。検索サーバ装置１４０は、検索に用いる検索特徴を生成し、検索対象となる撮影画像において、人物の検索を行う。表示装置１５０は、ネットワークカメラ１１０から配信される画像データやストレージ装置１２０に記録された画像データの再生、表示を行う。表示装置１５０はまた、検索用のユーザインタフェースを表示し、ユーザ指示を受け付ける。

図２は、検索サーバ装置１４０のハードウェア構成図である。検索サーバ装置１４０は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ＨＤＤ２０４、及び通信部２０５を有している。ＣＰＵ２０１は、ＲＯＭ２０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ２０４は、各種データや各種プログラム等を記憶する。通信部２０５は、ネットワークを介して画像形成装置等の外部装置との通信処理を行う。

なお、後述する検索サーバ装置１４０の機能や処理は、ＣＰＵ２０１がＲＯＭ２０２又はＨＤＤ２０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。また、他の例としては、ＣＰＵ２０１は、ＲＯＭ２０２等に替えて、ＳＤカード等の記録媒体に格納されているプログラムを読み出してもよい。

また、他の例としては、検索サーバ装置１４０の機能や処理の少なくとも一部は、例えば複数のＣＰＵ、ＲＡＭ、ＲＯＭ、及びストレージを協働させることにより実現してもよい。また、他の例としては、検索サーバ装置１４０の機能や処理の少なくとも一部は、ハードウェア回路を用いて実現してもよい。

ネットワークカメラ１１０、ストレージ装置１２０、画像解析サーバ装置１３０、表示装置１５０のハードウェア構成は、人物検索システム１００のハードウェア構成とほぼ同様である。なお、ネットワークカメラ１１０は、画像を撮影する撮影部をさらに有する。また、表示装置１５０は、各種情報を表示する表示部をさらに有する。

図３は、人物検索システム１００の機能構成図である。ネットワークカメラ１１０は、画像取得部１１１、符号化部１１２及び通信処理部１１３を有している。画像取得部１１１は、撮影部により撮影された画像を取得する。取得された画像は、符号化部１１２により符号化され、ＬＡＮ１６０で通信できる形式へ変換され、通信処理部１０３を通じてストレージ装置１２０、画像解析サーバ３００及び表示装置１５０へと送信される。

ストレージ装置１２０は、通信処理部１２１及び記録部１２２を有する。通信処理部１２１は、通信を制御する。記録部１２２は、通信処理部１２１を介して取得した画像をＨＤＤ等の記憶部に記録する。

画像解析サーバ装置１３０は、通信処理部１３１、人物検出部１３２及び画像特徴抽出部１３３を有している。通信処理部１３１は、通信を制御する。通信処理部１３１は、例えばネットワークカメラ１１０及びストレージ装置１２０から画像を受信する。人物検出部１３２は、通信処理部１３１が受信した画像において人物を検出する。人物検出部１３２は、通信処理部１３１が検出した人物の画像に基づいて、人物特徴を抽出する。ここで、人物特徴とは画像処理により抽出される画像の特徴量である。画像特徴としては、顔を構成する目・鼻・頬・口・眉の器官特徴点の位置、器官特徴点近傍の輝度、器官特徴点の位置関係、服の色・テクスチャ、体形、歩容等が挙げられる。

通信処理部１３１は、人物が検出された人物画像に対して、画像特徴抽出部１３３により得られた画像特徴と、人物画像に対応する外見特徴と、を対応付けた人物情報を検索サーバ装置１４０に送信する。ここで、外見特徴とは、ユーザにより指定される人物の外見に係る属性である。外見特徴としては、輪郭、髪型、目、鼻、口の形状、メガネやひげの有無等が挙げられる。なお、外見特徴については、表示装置１５０においてユーザ操作において入力され、これが画像解析サーバ装置１３０に送信されるものとする。

検索サーバ装置１４０は、通信処理部１４１、記録部１４２、画像抽出部１４３、検索特徴生成部１４４及び検索部１４５を有している。通信処理部１４１は、通信を制御する。通信処理部１４１は、例えば画像解析サーバ装置１３０から人物情報を受信する。記録部１４２は通信処理部１４１が受信した人物情報をＨＤＤ２０４等の記憶部に記録する。画像抽出部１４３は、通信処理部１４１が表示装置１５０から外観特徴が指定された検索指示を受信すると、検索に用いるための人物画像を記憶部から抽出する。検索特徴生成部１４４は、画像抽出部１４３が抽出した画像の画像特徴に基づいて、検索指示に係る人物の検索に利用する検索特徴を生成する。検索部１４５は、検索特徴を用いて、検索指示に係る人物の検索を行う。

表示装置１５０は、通信処理部１５１、表示処理部１５２及び受付部１５３を有している。通信処理部１５１は、通信を制御する。表示処理部１５２は、表示を制御する。受付部１５３は、ユーザ操作に応じて指示等を受け付ける。

図４は、検索サーバ装置１４０及び表示装置１５０による検索処理を示すシーケンス図である。なお、検索処理の前提として、検索サーバ装置１４０には、画像解析サーバ装置１３０から受信した複数の人物情報が記憶されているものとする。すなわち、検索サーバ装置１４０には、複数の人物の画像を含む画像群が記憶されている。検索サーバ装置１４０に記憶された画像群は、検索処理において検索特徴を生成するために利用される。

Ｓ４０１において、表示装置１５０の表示処理部１５２は、表示部に似顔絵画面を表示するよう制御する。図５は、似顔絵画面５００の一例を示す図である。似顔絵画面５００には、外見特徴の種類に対応した複数の特徴ボタン５０１が表示されている。一の特徴ボタン５０１が選択されると選択された特徴ボタンに対応した、複数の候補ボタン５０２が表示される。ユーザは、各特徴ボタン５０１を選択し、それぞれについて候補ボタン５０２を選択することで外見特徴を１つずつ指定することができる。さらに、眼鏡、口ひげ、あごひげ等、有無を指定する外見特徴についてはチェックボックス欄５０３に表示されている。ユーザは、チェック形式で指定することができる。また、性別、年齢等の総合的な外見特徴は表示欄５０４に表示されている。ユーザは、これらの外見特徴も指定することができる。

図４に戻り、Ｓ４０１の処理の後、Ｓ４０２において、受付部１５３は、似顔絵画面５００におけるユーザ操作に応じた外見特徴の指定を受け付ける。次に、Ｓ４０３において、通信処理部１５１は、Ｓ４０２において指定された外見特徴を示す外見特徴情報を検索サーバ装置１４０へ送信する。図６は、外見特徴情報を模式的に示す図である。外見特徴情報には、外見特徴を構成する複数の属性と、属性それぞれに対する値と、が含まれている。図６の例では、属性には、例えば、輪郭、髪型、目、鼻、口、その他、性別、年代が含まれる。目の値は、目の形状を識別する識別子である。なお、他の例としては、目の値として、たれ目、釣り目といった文字列が示されてもよい。図５の例では、輪郭、髪型、目、鼻、口については、値は識別子で表され、その他、性別、年代については、値は文字列で示される。

図４に戻り、Ｓ４０２において、検索サーバ装置１４０の通信処理部１４１が外見特徴情報を受信すると、Ｓ４０３において、画像抽出部１４３は、記憶部において、外見特徴情報に示される外見特徴に対応付けられている複数の画像を抽出する。本処理は、画像抽出処理の一例である。

図７は、Ｓ４０３の処理の説明図である。上段に、外見特徴情報を示す。中断に示すのは、検索サーバ装置１４０の記憶部に記憶された人物画像テーブル７００である。人物画像テーブル７００には、人物情報が記憶されている。すなわち、人物画像テーブル７００には、画像と、画像特徴と、外見特徴と、が対応付けて記憶されている。画像抽出部１４３は、人物画像テーブル７００を参照し、外見特徴情報の外見特徴に対応する外見特徴を検索し、検出した外見特徴に対応付けられている人物画像を抽出する。図７の下段には、検出された人物画像の一例を示す。なお、人物画像テーブル７００に登録される人物画像は任意の画像であればよく、特に限定されるものではない。

図４に戻り、Ｓ４０３の処理の後、Ｓ４０４において、検索特徴生成部１４４は、Ｓ４０３において抽出された複数の画像それぞれの画像特徴に基づいて、検索のための画像特徴である検索特徴を生成する。具体的には、検索特徴生成部１４４は、複数の画像特徴の平均を検索特徴として生成する。なお、他の例としては、検索特徴生成部１４４は、Ｓ４０３において抽出された複数の画像を合成し、合成画像の画像特徴を検索特徴として生成してもよい。

次に、Ｓ４０５において、通信処理部１４１は、検索対象の画像をネットワークカメラ１１０から受信する。なお、検索対象の画像の取得元は実施形態に限定されるものではない。次に、Ｓ４０６において、検索部１４５は、検索特徴に基づいて、検索対象の画像において、検索指示に係る人物を検索する。次に、Ｓ４０７において、通信処理部１４１は、検索結果を表示装置１５０に送信するよう制御する。検索結果には、撮影カメラ情報、撮影時刻、人物画像、検索スコア等が含まれるものとする。次に、Ｓ４０８において、表示装置１５０の表示処理部１５２は、検索結果を表示部に表示するよう制御する。表示処理部１５２は、例えば、検索結果をカメラ別に表示したり、人物画像を時刻順、検索スコア順で並び替えて表示したりすることで、ユーザにわかり易く表示する。以上で、検索処理が完了する。

以上のように、検索サーバ装置１４０は、ユーザ操作に応じて外見特徴が指定された場合であっても、外見特徴を実際の顔画像の画像処理において抽出された画像特徴に変換して類似画像の検索を行うことができる。したがって、検索サーバ装置１４０は、検索対象となる画像を利用することができず、外見特徴に基づいて検索を行った場合であっても、十分な検索精度を実現することができる。

また、検索サーバ装置１４０は、検索対象の画像を利用することができないような場合であっても、ユーザによって入力された外見特徴に基づいて検索を行うことができる。さらに、表示装置１５０は、似顔絵を構成するパーツと連動させて外見特徴の属性の指定を受け付けることができる。したがって、ユーザは、指定する外見特徴をイメージしながら指定を行うことができる。また、似顔絵として検索前に外観特徴を表示するので、ユーザは、検索しようとしている外見特徴をイメージし易い。

さらには、カメラからの画像を似顔絵風に変換する必要がないため、より高い精度で人物検索を行うことができる。さらには、似顔絵の絵柄を変更する場合には、似顔絵の絵柄と外見特徴の属性の値の組み合わせを変更すればよい。

実施形態の第１の変形例としては、検索サーバ装置１４０の記憶部に記憶され、検索特徴の生成に利用される人物画像は、画像解析サーバ装置１３０から受信した画像に替えて、外見特徴を推定する認識技術の開発に用いられた正解データであってもよい。外見特徴を推定する技術においては、大量の正解データが用意され、機械学習の仕組みを使って認識技術が作られる。この用いられた正解データを人物画像、ユーザによって与えられる正解を外見特徴として登録すればよい。ユーザは、正解データ単位で外見特徴を登録してもよく、正解データを、クラスタリングを用いていくつかのグループに分け、グループ単位で外見特徴を登録してもよい。

また、第２の変形例としては、検索特徴の生成に利用される人物画像は、検索対象の撮影画像と等しい撮影条件で撮影された撮影画像、すなわち検索対象に対応した撮影画像であってもよい。

さらには、記憶部は、任意の人物画像の集合と、検索対象に対応した撮影画像の集合とを記憶してもよい。そして、画像抽出部１４３は、検索対象に対応した撮影画像の集合において、人物画像の抽出を行い、抽出された人物画像の数が予め設定された閾値未満の場合には、任意の人物画像の集合において、人物画像の抽出を行ってもよい。これにより、十分な数の画像を抽出することができる。

検索対象に対応した撮影画像の集合を用いた方がより適切な画像を抽出できる可能性が高い。しかしながら、外見特徴に誤りを含む可能性があり、また検索特徴を生成するのに十分な数の撮影画像が存在しない可能性もある。この場合には、学習に用いた画像群等、任意の画像の集合を用いることで、より適切な画像を抽出することができる。
さらに、検索対象に対応した撮影画像を用いる場合には、誤りを含む可能性が高い画像を除外するため、外見特徴の推定スコアが所定の閾値よりも低いものを除外して用いてもよい。また外見特徴の属性毎に画像を抽出し、抽出結果を用いることとしてもよい。

以上、上述した各実施形態によれば、外観特徴を利用した場合においても、人物検索を高精度に行うことができる。
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、上述した各実施形態によれば、外観特徴等を利用した場合においても、人物検索を高精度に行うことができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 人物検索システム
１１０ ネットワークカメラ
１４０ 検索サーバ装置

Claims (10)

1. ユーザ操作に応じて指定された、検索対象の人物の外観特徴を取得する取得手段と、
   外観特徴と、画像とを対応付けた情報を参照することにより、複数の画像を含む画像群から、前記取得手段が取得した外観特徴に対応する画像を抽出する画像抽出手段と、
   前記画像抽出手段が抽出した前記画像の画像特徴に基づいて、前記取得手段が取得した前記外観特徴に対応した人物を検索する検索手段と
   を有することを特徴とする検索装置。
2. 前記画像抽出手段は、複数の画像を抽出し、
   前記検索手段は、複数の画像それぞれに対応する複数の画像特徴に基づいて、検索を行うことを特徴とする請求項１に記載の検索装置。
3. 前記画像抽出手段は、複数の画像を抽出し、
   前記画像抽出手段により抽出された複数の画像を合成する合成手段をさらに有し、
   前記検索手段は、前記合成手段により得られた合成画像の画像特徴に基づいて、検索を行うことを特徴とする請求項１に記載の検索装置。
4. ユーザ操作に応じて、前記画像群の各画像と外観特徴とを対応付けて記憶手段に記録する記録手段をさらに有することを特徴とする請求項１乃至３の何れか１項に記載の検索装置。
5. ユーザ操作に応じて、似顔絵を表示手段に表示する表示処理手段と、
   前記表示処理手段により表示された似顔絵に対応した外観特徴を取得する取得手段と
   をさらに有し、
   前記記録手段は、前記取得手段が取得した外観特徴と、前記画像と、を対応付けて記憶手段に記録することを特徴とする請求項４に記載の検索装置。
6. 前記画像群は、任意の画像の集合であることを特徴とする請求項１乃至５の何れか１項に記載の検索装置。
7. 前記画像群は、検索対象の撮影画像に対応した撮影画像の集合であることを特徴とする請求項１乃至５の何れか１項に記載の検索装置。
8. 画像抽出手段は、検索対象の撮影画像に対応した撮影画像の集合から選択された画像の数が閾値未満の場合には、任意の画像の集合から選択された画像を抽出することを特徴とする請求項１乃至５の何れか１項に記載の検索装置。
9. ユーザ操作に応じて指定された、検索対象の人物の外観特徴を取得する取得ステップと、
   外観特徴と、画像とを対応付けた情報を参照することにより、複数の画像を含む画像群から、前記取得ステップにおいて取得した外観特徴に対応する画像を抽出する画像抽出ステップと、
   前記画像抽出ステップにおいて抽出された前記画像の画像特徴に基づいて、前記取得ステップにおいて取得した前記外観特徴に対応した人物を検索する検索手段と
   を含むことを特徴とする検索方法。
10. コンピュータを、請求項１乃至８の何れか１項に記載の検索装置の各手段として機能させるためのプログラム。

Images