JP2007011696A

JP2007011696A - 映像検索装置及び映像検索方法

Info

Publication number: JP2007011696A
Application number: JP2005191883A
Authority: JP
Inventors: Noriko Tanaka; 則子田中
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2005-06-30
Filing date: 2005-06-30
Publication date: 2007-01-18

Abstract

【課題】検索者が簡単な操作で効率よく所望の人物映像を検索することのできる映像検索装置及び映像検索方法を提供する。
【解決手段】カメラより入力される映像データから少なくとも１人の人物の一連の動きを追跡して人物情報と色情報とをデータベース１４に格納するとともに、データベース１４に格納された少なくとも１人の人物の色情報を反映した検索色を検索色リストとして表示部１７上に表示し、表示部１７上に表示された検索色リストからユーザ（検索者）が所望の検索色を指定することで、指定された検索色を基に人物情報の再検索を行う。これにより、ユーザは容易に効果的な検索色を選択することができ、効率良く検索を行うことができる。
【選択図】図１

Description

本発明は、主として映像監視用途に用いられる映像検索装置及び映像検索方法に関する。

従来、映像検索装置においては、映像を撮影した日時、動きの検出やシーンの切り替わりなどにより付与されたインデックスなどを検索キーとして用いて検索を行い、所望の人物映像を検索するようにしている。また、入力映像の１つのシーンを単位として、シーンの始まりから終わりまでに登場している人物を同一人物として扱い人物を検出する方法がある（例えば、特許文献１参照）。これらの方法を利用して検出した顔画像などを切り出しサムネール画像とし、このサムネール画像を検索キーとして顔認識技術により所望の人物映像を検索する方法がある。

一方、大量の画像を蓄積する画像検索装置において所望の画像を検索する方法としては、予め各画像に付与されたキーワードや画像に含まれる特徴量により検索を行う方法が知られており（例えば、特許文献２参照）、画像に含まれる特徴量で検索を行う際には、所望の画像に類似した画像データや検索者が自ら作成した画像データを入力することにより検索が行われる。特許文献２においては、データベース内の画像データから、画像領域を分割して各分割領域の色値をカウントすることで分割領域の色候補を作成し、検索者は画像データを描画する際、描画領域の特定の分割領域を選択することで色候補が呼び出されるという描画補助方法が提示されている。

特開２００３−２６４７５７号公報特開平１１−２８２８７３号公報

しかしながら、従来の映像検索装置においては、次のような問題がある。すなわち、入力映像のシーンの切り替わりなどで付与されたインデックスを用いた検索では、シーンの半ばに登場する人物を検索するには各シーンを再生しなければならず、効率の良い検索は行えない。また、シーンごとに人物追跡を行い顔画像サムネールを生成してこれを検索キーとして用いる場合、人物の顔が特定できないと効果的な検索は行えない。一方、画像特徴量を入力するために画像データを検索者が作成することは、明確な検索対象のイメージがない場合、検索者には非常に困難な作業となり、効率よく検索を行うことができない。

本発明は、かかる点に鑑みてなされたものであり、検索者が簡単な操作で効率よく所望の人物映像を検索することのできる映像検索装置及び映像検索方法を提供することを目的とする。

上記目的は下記構成又は方法により達成される。
（１）映像検索装置において、映像データから少なくとも１人の人物の一連の動きを追跡して人物情報と色情報とをデータベースに格納する人物追跡手段と、前記データベースに格納された人物の色情報を反映した検索色を検索色リストとしてディスプレイ上に表示する検索色リスト表示手段と、前記ディスプレイ上に表示された検索色リストから所望の検索色を指定し、指定された検索色を基に人物情報の検索を行う人物情報検索手段と、を備える。

この構成により、映像中の各人物の一連の動きを追跡して１つの人物情報と色情報をデータベースに格納するとともに、常にデータベースに格納されている各人物の色情報を反映した検索色を選択して検索色リストとして表示するので、検索者が簡単な操作で効率よく所望の人物映像を検索することが可能となる。

（２）映像検索装置において、映像データから１フレーム単位に動領域の検出を行い、動領域を検出できた場合はそれを抽出して出力し、前記動領域を検出できなかった場合は動領域が存在しないことを示す情報を出力する動領域抽出手段と、前記動領域抽出手段で抽出された前記動領域が人物か否かを判定し、人物の場合は前フレームにおいても検出されているか否かを判定し、検出されていれば追跡中の人物であるとして現在保持している人物情報を更新して人物領域情報を出力し、前フレームにおいて検出されていなければ新規追跡人物として追跡を開始する処理を行い人物領域情報を出力し、前記動領域抽出手段から動領域が存在しないことを示す情報が出力された場合には、追跡中の人物がいるか否かを判定し、追跡中の人物がいる場合は追跡終了情報と追跡終了した人物の人物情報を、人物ごとに出力する人物動きシーン判定手段と、前記人物動きシーン判定手段から前記人物領域情報が出力された場合は該人物領域情報から色情報抽出領域を決定して色情報を生成して保持し、前記追跡終了情報が出力された場合はデータベース色情報を生成し、前記人物情報と併せて出力する色情報生成手段と、前記映像データ、前記データベース色情報及び前記人物情報を格納するデータベースと、前記データベース色情報からデータベース色情報累積リストを生成し所定の規則に従って検索色を選択し出力する検索色情報生成手段と、前記検索色情報生成手段から出力された前記検索色をＧＵＩ（Graphical User Interface）に即した検索色リストに変換して出力する検索色表示指示手段と、前記検索色表示指示手段から出力された前記検索色リストを表示する表示手段と、ユーザ入力に従い、前記表示手段に表示されている前記検索色リストから前記ＧＵＩを介して検索対象とする色を指示する検索対象指示手段と、前記検索対象指示手段にて検索対象とする色が指定された場合に、指示された色に対応する人物情報の検索を行い、その結果を前記表示手段に表示する人物情報検索手段と、を備える。

この構成により、映像中の各人物の一連の動きを追跡して１つの人物情報と色情報をデータベースに格納するとともに、常にデータベースに格納されている各人物の色情報を反映した検索色を選択してＧＵＩ上に検索色リストとして表示するので、検索者が簡単な操作で効率よく所望の人物映像を検索することが可能となる。

（３）上記（２）に記載の映像検索装置において、前記色情報生成手段は、前記データベース色情報として色ヒストグラムを生成し、前記検索色情報生成手段は、前記データベース色情報を全て加算してデータベース色情報累積リストを生成し、その度数が多い色から指定された個数の色を選択して検索色として出力する。

この構成により、データベース色情報が色ヒストグラムで、データベース色情報を全て加算してデータベース色情報累積リストを生成し、その度数が多い色から指定された個数の色を選択するので、ＧＵＩ上の検索色を指定して検索を行う場合は、常にデータベースに格納されているより多く人物情報を検索可能となる。

（４）上記（２）に記載の映像検索装置において、前記色情報生成手段は、前記データベース色情報として色ヒストグラムを生成し、前記検索色情報生成手段は、前記データベース色情報のなかで指定された閾値以上の度数のみを加算してデータベース色情報累積リストを生成し、その度数が多い色から指定された個数の色を選択して検索色として出力する。

この構成により、データベース色情報が色ヒストグラムで、データベース色情報のなかで、指定された閾値以上の度数のみを加算してデータベース色情報累積リストを生成し、その度数が多い色から指定された個数の色を選択するので、ＧＵＩ上の検索色を指定して検索を行う場合は、常にデータベースに格納されているより多く人物情報を検索可能となる。

（５）上記（３）又は（４）に記載の映像検索装置において、前記色情報生成手段は、ＨＳＶ表色系のＨの値を指定された値で量子化して色ヒストグラムを生成する。

この構成により、データベース色情報として、ＨＳＶ表色系のＨの値を指定された値で量子化したヒストグラムを生成するので、ユーザ（検索者）は直感的な色の並びにより色検索を行うことが可能となる。

（６）上記（３）又は（４）に記載の映像検索装置において、前記色情報生成手段は、ＨＳＶ表色系のＨ、Ｓの値を指定された値で量子化して２次元ヒストグラムを生成する。

この構成により、データベース色情報が、ＨＳＶ表色系のＨ、Ｓの値を指定された値で量子化して２次元ヒストグラムを生成するので、ユーザ（検索者）は直感的な色の並びにより色検索を行うと同時に、より細かい色の並びにより検索が可能となる。

（７）上記（３）乃至（６）のいずれかに記載の映像検索装置において、前記検索色情報生成手段は、前記データベース色情報累積リストから度数の多い色を選択する際に隣接する色を選択しない。

この構成により、データベース色情報累積リストから度数の多い色を選択する際、隣接する色は選択しないので、偏りのない色を選択することとなる。

（８）上記（３）乃至（７）のいずれかに記載の映像検索装置において、前記検索色情報生成手段は、前記データベース色情報累積リストから指定された各分割領域内でそれぞれ度数の高い色を選択する。

この構成により、データベース色情報累積リストから指定された各分割領域内でそれぞれ度数の高い色を選択するので、偏りのない色を選択することとなる。

（９）上記（２）乃至（８）のいずれかに記載の映像検索装置において、前記検索色表示指示手段は、前記検索色情報生成手段で生成された前記データベース色情報累積リストを、色に対する累積値の棒グラフにし、前記検索対象指示手段は、ユーザ入力に従い、前記表示手段に表示された前記棒グラフの１つ又は複数の色を検索対象として個別に指定する。

この構成により、データベースリスト色情報累積リストを色に対する累積値の棒グラフで表示し、棒グラフの１つ又は複数の色を検索対象として個別に指定できるので、ユーザ（検索者）は所望の検索色を持つ映像がどの程度検索可能かを予め予想しながら検索色を選択することが可能となる。

（１０）上記（２）乃至（９）のいずれかに記載の映像検索装置において、前記人物情報検索手段は、前記検索対象指示手段にて指定された色に対応する人物情報の検索を行ってその結果を前記表示手段に表示した後、表示した人物情報が検索対象として前記検索対象指示手段を介して指定されると再度検索を行う。

この構成により、検索色を指定して検索した結果として、データベースに格納されている人物情報を表示し、表示した人物情報が検索対象としてユーザ（検索者）によって指定されると再度検索を行うので、常にデータベースに格納されている色情報が反映されている検索色で検索を行った後、その検索結果である人物情報を用いてさらに厳密な検索を行うこととなる。

（１１）映像検索方法において、映像データから少なくとも１人の人物の一連の動きを追跡して人物情報と色情報とをデータベースに格納するとともに、前記データベースに格納された人物の色情報を反映した検索色を検索色リストとしてディスプレイ上に表示し、前記ディスプレイ上に表示された検索色リストから所望の検索色を指定することで、指定された検索色を基に人物情報の検索を行う。

この方法により、映像中の各人物の一連の動きを追跡して１つの人物情報と色情報をデータベースに格納するとともに、常にデータベースに格納されている各人物の色情報を反映した検索色を選択して検索色リストとして表示するので、簡単な操作で効率よく所望の人物映像を検索することが可能となる。

本発明の映像検索装置によれば、映像中の各人物の一連の動きを追跡して１つの人物情報と色情報をデータベースに格納するとともに、常にデータベースに格納されている各人物の色情報を反映した検索色を選択して検索色リストとして表示するので、検索者が簡単な操作で効率よく所望の人物映像を検索することが可能となる。

以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る映像検索装置の概略構成を示すブロック図である。この図において、本実施の形態に係る映像検索装置１０は、動領域抽出部１１と、人物動きシーン判定部１２と、色情報生成部１３と、データベース１４と、検索色情報生成部１５と、検索色表示指示部１６と、表示部１７と、検索対象指示部１８と、色情報生成部１９と、比較部２０とを備えて構成される。

動領域抽出部１１は、図示せぬカメラより入力された映像データ（入力映像データ）から１フレーム単位に動領域の検出を行い、動領域を検出した場合にはそれを出力し、動領域を検出できなかったすなわち動領域が存在しなかった場合は動領域が存在しないことを示す情報を出力する。人物動きシーン判定部１２は、動領域抽出部１１で抽出された動領域が人物か否かを判定し、人物の場合は前フレームにおいても検出されているか否かを判定し、検出されていれば追跡中の人物であるとして現在保持している人物情報を更新して人物領域情報を出力し、前フレームにおいて検出されていなければ新規追跡人物として追跡を開始するために処理を行い人物領域情報を出力し、動領域抽出部１１から動領域が存在しないことを示す情報が出力された場合には、追跡中の人物がいるか否かを判定し、追跡中の人物がいる場合は追跡終了情報と追跡終了した人物の人物情報を、人物ごとに出力する。

具体的には、楕円ハフ処理を行い、フレーム画像中に人の顔らしい楕円形状を検出した場合は人物であると判定し、その楕円形状の中心位置と長径・短径を人物情報として算出する。人の顔らしい楕円形状を検出できなかった場合は人物でないと判定する。人物であると判定した場合、前フレームにおいて、追跡処理をすでに開始している全ての人物の保持情報と現フレーム画像で検出した人物情報とを比較することで同一人物が追跡中であるか否かを判定する。楕円形状の中心位置が、予め設定されている距離以内に存在すれば同一人物でその人物は追跡中であると判定し、保持している人物情報を更新する。追跡中の人物でないと判定した場合は、新たに動領域や楕円形状の中心形状、長径、短径を人物情報として保持する。現フレームで検出した全ての人物について人物追跡判定を終了すると、各人物の人物情報を得る。

色情報生成部１３は、人物動きシーン判定部１２から人物領域情報が出力された場合は、該人物領域情報から色情報抽出領域を決定して色情報を生成して保持し、追跡終了情報が出力された場合は、データベース色情報を生成し、人物情報と併せて出力する。データベース１４は、入力映像データ、データベース色情報、人物情報を格納する。検索色情報生成部１５は、データベース色情報からデータベース色情報累積リストを生成し所定の規則に従い検索色を選択し出力する。検索色表示指示部１６は、検索色をＧＵＩ（Graphical User Interface）に即した検索色リストに変換して出力する。表示部１７は、液晶ディスプレイなどの表示器を備え、検索色リストの表示を行う。検索対象指示部１８は、表示されている検索色リストからＧＵＩを介して検索対象とする色を指定する。色情報生成部１９は、検索対象指示部１８が指定した検索対象色から色情報を生成する。比較部２０は、色情報生成部１９で生成された色情報とデータベース１４に格納されている各人物の色情報との比較を行い、所定の規則に基づき比較している色情報の類似判定を行い、類似色と判定した場合はデータベース１４から該当人物情報を表示部１７に入力する。

なお、動領域抽出部１１、人物動きシーン判定部１２及び色情報生成部１３は人物追跡手段を構成する。また、検索色情報生成部１５及び検索色表示指示部１６は検索色リスト表示手段を構成する。また、検索対象指示部１８、色情報生成部１９及び比較部２０は人物情報検索手段を構成する。

以上のように構成された映像検索装置１０について、図２を参照して映像記録時の動作を説明する。入力される映像データの取り込みを行い（ステップＳ２０）、動領域抽出を行う（ステップＳ２１）。すなわち、予め保持する背景差分画像と現在のフレーム画像の差分をとり、差分値があれば動きがあると判定し、差分値の存在する領域を動領域として出力する。また、動きがないと判定した場合は動領域が存在しないことを示す情報を出力する。動領域の抽出処理を行った後、人物追跡判定を行う（ステップＳ２２）。動領域が抽出された場合は、その動領域に人物が存在するか探索し、さらに人物追跡中であるか否かを判定する（ステップＳ２３）。

各人物の人物情報を得ると、それから定められた規則により色抽出領域を決定し、各領域に含まれる画素から色情報を抽出し（ステップＳ２４）、各人物のデータベース色情報として保持する。そして、フレーム画像データが一般的にパーソナルコンピュータ上で扱われるＲＧＢ表色系で表現されていれば色情報を例えばＨＳＶ表色系に変換し、Ｈ（Hue）を用いてヒストグラムを生成する。Ｈは色相（色味）を表すので、その人物を表す情報として直感的である。各人物の色情報の抽出が完了すると、次のフレーム画像の処理に戻る。なお、ＨＳＶ表示系のＨの他のＳは彩度（Saturation）であり、Ｖは明度（Value）である。また、色情報を生成して、ヒストグラムを生成する処理は、色情報生成部１３が行う。

上記ステップＳ２３の判定において、動領域に人物が存在せず人物追跡中でないと判定した場合、その時点までに追跡中であった人物が存在するかどうかを確認する（ステップＳ２５）。追跡中の人物がいなかった場合は次のフレーム画像の処理に戻る。これに対して、追跡中の人物がいた場合は各人物の人物情報とデータベース色情報をデータベース１４に格納する（ステップＳ２６）。各人物の人物情報とデータベース色情報をデータベース１４に格納した後、入力するデータベース色情報全てを１つの情報として累積し、データベース色情報累積リストを生成し、所定の規則に従い検索色を選択して出力する（ステップＳ２７）。ここで、データベース色情報累積リストの生成には全てのデータベース色情報を加算し、数が多い色から検索色として選択する。また、データベース色情報を加算する際、予め設定された閾値以上の色の数のみ加算しても良い。次に、選択した検索色からＧＵＩに即した検索色リストを作成し、ＧＵＩへの表示（検索キー表示）を更新する（ステップＳ２８）。

図３を参照してＧＵＩの一例について説明する。図３において、検索画面３１は、検索を行った際、検索結果としてデータベース１４から呼び出された人物情報である人物画像３３を表示する検索結果表示領域３２と、検索色リストを示す検索色ボタン３４から構成される。検索色ボタン３４の表面は、実際に検索色である色が表示されており、ユーザ（検索者）は検索色ボタン３４を見ることで実際に色を認識することができる。例えば、検索色ボタン３４（ａ）をマウスなどのポインティングデバイスでクリックすることで、指定検索色に近い色を持つ人物画像が検索結果領域３２に表示される。このようなＧＵＩの場合、検索色表示指示部１６は、検索色ボタン３４の表面に色を描画するための各検索色のＲＧＢ値を検索色リストとして出力する。

図２に戻り、ＧＵＩの更新が終了すると、次のフレーム画像処理に進む。検索処理については、２つの色分布を比較して類似度を求め、これにより検索結果を選択する公知の検索技術を用いれば良い。

このように本実施の形態の映像検索装置１０によれば、色情報生成部１３と検索色情報生成部１５と検索色表示指示部１６を備え、人物追跡により同一人物と判定した各人物の人物情報と色情報をデータベース１４に格納し、さらに常にデータベース１４の格納内容を反映した検索色リストを示す検索色ボタン３４（検索キー）をＧＵＩ上に表示するので、ユーザは容易に効果的な検索色を選択することができ、効率良く検索を行うことができる。

特に、データベース色情報が色ヒストグラムで、データベース色情報を全て加算してデータベース色情報累積リストを生成し、その度数が多い色から指定された個数の色を選択するので、ＧＵＩ上の検索色を指定して検索を行う場合は、常にデータベース１４に格納されているより多く人物情報を検索可能となる。また、データベース色情報のなかで、指定された閾値以上の度数のみを加算してデータベース色情報累積リストを生成し、その度数が多い色から指定された個数の色を選択することで、ＧＵＩ上の検索色を指定して検索を行う場合は、常にデータベースに格納されているより多く人物情報を検索可能となる。また、データベース色情報として、ＨＳＶ表色系のＨの値を、指定された値で量子化したヒストグラムを生成すので、ユーザは直感的な色の並びにより色検索を行うことが可能となる。

（実施の形態２）
次に、本発明の実施の形態２に係る映像検索装置について説明する。本実施の形態の映像検索装置は、上述した実施の形態１の映像検索装置と同様の構成を採るので図１を援用する。本実施の形態の映像検索装置は、検索キー入力方法に特徴があり、この方法について図４を参照して説明する。

図４において、検索色選択画面４１は、データベース色情報累積リストであるＨＳＶ表色系のＨ（色相）のヒストグラムを表示した棒グラフ４２で構成され、各色相値の度数を示すグラフデータは、ポインティングデバイスでクリックすることで検索色を指定し検索を実行する検索指示ボタン４３、４４である。棒グラフ４２の各検索指示ボタン４３、４４はＨ（色相）を表す色が描画されている。

本実施の形態の映像検索装置は、上述した検索キー入力方法を採り、この方法による本装置の動作について図３及び図４を参照して説明する。検索画面３１では、定められた規則に従って検索色情報生成部１５が選択した検索色が検索色ボタン３４として表示されている。ユーザが所望の人物映像を検索するための１回目の検索として、検索色ボタン３４に描画されている色に所望のものが存在すれば、ユーザは検索色ボタン３４のいずれかをポインティングデバイス等でクリックし検索を実行する。検索色ボタン３４に所望の色が存在しない場合は、その他ボタン３５をポインティングデバイスでクリックすることで検索色選択画面４１が表示される。この検索色選択画面４１には、データベース１４に格納されている全色情報が棒グラフ４２で表示される。ユーザは、このデータベース１４に格納されている全色情報が表示されている棒グラフ４２を見ることで所望の色（色相値）の検索指示ボタン（例えば４４）を確認し、この検索指示ボタンをポインティングデバイスでクリックすることで所望の色による検索が行われる。

このように本実施の形態の映像検索装置によれば、自動的に表示更新される検索色ボタン３４に所望の色が存在しない場合には、ユーザ指示によって全ての色情報とその格納数を示す棒グラフを表示する検索色選択画面４１を表示するので、ユーザは表示されている色情報とデータベース１４内に格納されている情報数とを視覚的確認しながら検索色の選択が可能になり、効率の良い検索を行うことができる。

なお、上記実施の形態では、色情報生成部１３が生成する色情報をＨＳＶ表色系のＨによるヒストグラムとしたが、Ｈ、Ｓによる２次元ヒストグラムを生成することで、より細かい色情報により検索が可能となり、ユーザは直感的な色の並びにより色検索を行うと同時により細かい色の並びにより検索が可能となる。また、ＨＳＶ表色系に限らず、輝度の影響を極力抑えられるようなその他の表色系を用いても、同様に実施可能である。

また、上記各実施の形態では、検索色情報生成部１５が、データベース色情報累積リストの度数の多い色から順に検索色を選択しているが、データベース色情報累積リストにおいて隣接する色を選択しないようにするか、あるいはデータベース色情報累積リストを指定された分割領域内でそれぞれ度数の高い色を選択することにより、検索色の偏りを低減することが可能になる。

また、上記実施の形態では、検索色選択画面４１で棒グラフを表示しているが、これと同様にヒストグラムを表現可能な表示であれば、同様の実施が可能である。

また、上記実施の形態では、図３、図４において、検索色の指定を検索色ボタン３４（ａ）、３４、検索指示ボタン４３、４４により実行したが、検索ボタンを描画している領域を単純な画像データとして、画像データ中からポインティングデバイスにより指定された領域の画素値を得ることで、検索色を指定しても同様に実施可能である。

本発明は、人物の動きにより人物を追跡して各人物の人物情報と色情報をデータベースに格納し、さらに常にデータベースの格納内容を反映した検索色リストを示す検索色ボタン（検索キー）をＧＵＩ上に表示するので、ユーザは容易に効果的な検索色を選択することができ、効率良く検索を行うことができるといった効果を有し、主として映像監視用途に用いられる映像検索装置などへの適用が可能である。

本発明の実施の形態１に係る映像検索装置の概略構成を示すブロック図本発明の実施の形態１に係る映像検索装置の動作を説明するためのフロー図本発明の実施の形態１に係る映像検索装置において検索キー入力を説明するためのＧＵＩの模式図本発明の実施の形態２に係る映像検索装置における検索キー入力を説明するためのＧＵＩの模式図

符号の説明

１０映像検索装置
１１動領域抽出部
１２人物動きシーン判定部
１３色情報生成部
１４データデース
１５検索色情報生成部
１６検索色表示指示部
１７表示部
１８検索対象指示部
１９色情報生成部
２０比較部
３１検索画面
３２検索結果表示領域
３３人物画像
３４、３４（ａ）検索色ボタン
３５検索色（その他）ボタン
４１検索色選択画面
４２棒グラフ
４３、４４検索指示ボタン

Claims

映像データから少なくとも１人の人物の一連の動きを追跡して人物情報と色情報とをデータベースに格納する人物追跡手段と、
前記データベースに格納された人物の色情報を反映した検索色を検索色リストとしてディスプレイ上に表示する検索色リスト表示手段と、
前記ディスプレイ上に表示された検索色リストから所望の検索色を指定し、指定された検索色を基に人物情報の検索を行う人物情報検索手段と、
を備える映像検索装置。
映像データから１フレーム単位に動領域の検出を行い、動領域を検出できた場合はそれを抽出して出力し、前記動領域を検出できなかった場合は動領域が存在しないことを示す情報を出力する動領域抽出手段と、
前記動領域抽出手段で抽出された前記動領域が人物か否かを判定し、人物の場合は前フレームにおいても検出されているか否かを判定し、検出されていれば追跡中の人物であるとして現在保持している人物情報を更新して人物領域情報を出力し、前フレームにおいて検出されていなければ新規追跡人物として追跡を開始する処理を行い人物領域情報を出力し、前記動領域抽出手段から動領域が存在しないことを示す情報が出力された場合には、追跡中の人物がいるか否かを判定し、追跡中の人物がいる場合は追跡終了情報と追跡終了した人物の人物情報を、人物ごとに出力する人物動きシーン判定手段と、
前記人物動きシーン判定手段から前記人物領域情報が出力された場合は該人物領域情報から色情報抽出領域を決定して色情報を生成して保持し、前記追跡終了情報が出力された場合はデータベース色情報を生成し、前記人物情報と併せて出力する色情報生成手段と、
前記映像データ、前記データベース色情報及び前記人物情報を格納するデータベースと、
前記データベース色情報からデータベース色情報累積リストを生成し所定の規則に従って検索色を選択し出力する検索色情報生成手段と、
前記検索色情報生成手段から出力された前記検索色をＧＵＩ（Graphical User Interface）に即した検索色リストに変換して出力する検索色表示指示手段と、
前記検索色表示指示手段から出力された前記検索色リストを表示する表示手段と、
ユーザ入力に従い、前記表示手段に表示されている前記検索色リストから前記ＧＵＩを介して検索対象とする色を指示する検索対象指示手段と、
前記検索対象指示手段にて検索対象とする色が指定された場合に、指示された色に対応する人物情報の検索を行い、その結果を前記表示手段に表示する人物情報検索手段と、
を備える映像検索装置。
前記色情報生成手段は、前記データベース色情報として色ヒストグラムを生成し、
前記検索色情報生成手段は、前記データベース色情報を全て加算してデータベース色情報累積リストを生成し、その度数が多い色から指定された個数の色を選択して検索色として出力する請求項２に記載の映像検索装置。
前記色情報生成手段は、前記データベース色情報として色ヒストグラムを生成し、
前記検索色情報生成手段は、前記データベース色情報のなかで指定された閾値以上の度数のみを加算してデータベース色情報累積リストを生成し、その度数が多い色から指定された個数の色を選択して検索色として出力する請求項２に記載の映像検索装置。
前記色情報生成手段は、ＨＳＶ表色系のＨ（Hue）の値を指定された値で量子化して色ヒストグラムを生成する請求項３又は請求項４に記載の映像検索装置。
前記色情報生成手段は、ＨＳＶ表色系のＨ（Hue）、Ｓ（Saturation）の値を指定された値で量子化して２次元ヒストグラムを生成する請求項３又は請求項４に記載の映像検索装置。
前記検索色情報生成手段は、前記データベース色情報累積リストから度数の多い色を選択する際に隣接する色を選択しない請求項３乃至請求項６のいずれかに記載の映像検索装置。
前記検索色情報生成手段は、前記データベース色情報累積リストから指定された各分割領域内でそれぞれ度数の高い色を選択する請求項３乃至請求項７のいずれかに記載の映像検索装置。
前記検索色表示指示手段は、前記検索色情報生成手段で生成された前記データベース色情報累積リストを、色に対する累積値の棒グラフにし、
前記検索対象指示手段は、ユーザ入力に従い、前記表示手段に表示された前記棒グラフの１つ又は複数の色を検索対象として個別に指定する請求項２乃至請求項８のいずれかに記載の映像検索装置。
前記人物情報検索手段は、前記検索対象指示手段にて指定された色に対応する人物情報の検索を行ってその結果を前記表示手段に表示した後、表示した人物情報が検索対象として前記検索対象指示手段を介して指定されると再度検索を行う請求項２乃至請求項９のいずれかに記載の映像検索装置。
映像データから少なくとも１人の人物の一連の動きを追跡して人物情報と色情報とをデータベースに格納するとともに、前記データベースに格納された人物の色情報を反映した検索色を検索色リストとしてディスプレイ上に表示し、前記ディスプレイ上に表示された検索色リストから所望の検索色を指定することで、指定された検索色を基に人物情報の再検索を行う映像検索方法。