JP2007179138A - 画像検索方法および画像検索装置 - Google Patents

Abstract

【課題】画像検索実行時、検索条件を満たすか否かをすべての画像データに関して判定すると検索時間が増大する。
【解決手段】画像検索装置において、画像に関する条件を対応づけた複数の階層Ａ、ＢおよびＣが設けられ、撮影された画像のうち、条件を満足する画像がその条件に対応する階層に分類されており、より厳しい条件に対応する階層から順にその階層に分類された画像が表示される。また、画像が分類される複数の階層は、より厳しい条件に対応する階層ほど上位に位置づけられ、上位階層に属する画像と下位階層に属する画像とがツリー状にリンクづけされたツリー構造をなしており、上位階層から下位階層に向かってツリー構造をたどりながら各階層に分類された画像が表示される。
【選択図】図３

Description

本発明は、複数の画像の中から所望の画像を検索するための技術に関する。

動画像や複数の静止画像を撮影した後に、撮影した画像の中から所望の画像を検索する場合、より短時間で所望の画像を取得できるよう検索の高速化が望まれる。
特許文献１には、動画像データとその動画像の属性およびフレームの輝度や色差などの特徴量を用いて生成された特徴記述子とを関連付けて保持し、ユーザが属性および特徴記述子を検索条件としてユーザインターフェースを介して入力し、所望の画像を検索する技術が開示されている。
特開２００１−１６７０９５号公報

しかし、特許文献１のようにユーザが検索条件を入力して画像を検索する場合、検索条件を入力する時間および手間がかかる。また、この場合、保持されている画像のすべてについて、入力された検索条件を満たすか否かが判定されるので、保持されている画像の量が多いとき検索時間が増大するおそれがある。

本発明は、上述の事情を鑑みてなされたものであり、その目的は、画像の検索の高速化を図ることにある。

本発明の一態様は、画像検索方法に関する。この画像検索方法では、画像に関する条件を対応づけた階層が複数設けられ、撮影された画像のうち、条件を満足する画像がその条件に対応する階層に分類されており、より厳しい条件に対応する階層から順にその階層に分類された画像が表示される。

「画像」は動画像であっても、静止画であってもよい。「画像に関する条件」として、たとえば、画像内に検知される人の数などで評価される検知レベルに関する検知閾値条件、撮影場所などに関するエリア条件、撮影時間などに関する時間条件などがある。「より厳しい条件」とは、たとえば、ひとつの条件が厳しい場合の他、検知閾値条件、エリア条件、時間的条件等の複数の異なる条件を組み合わせて複合条件を作るときに、組み合わせられる条件数が多い場合や、組み合わされる条件のうち、少なくともひとつの条件がより厳しい場合などがある。

これによれば、撮影された画像が所定の条件にしたがって階層的に分類され、条件を満たさない画像は分類されないため、ひとつの階層で表示される画像の数が減り、画像の検索が容易になる。また、より厳しい条件で分類された階層から順に画像が表示されるため、短時間で目的の画像を検索することができる。

画像が分類される複数の階層は、より厳しい条件に対応する階層ほど上位に位置づけられ、上位階層に属する画像と下位階層に属する画像とがツリー状にリンクづけされたツリー構造をなしており、上位階層から下位階層に向かってツリー構造をたどりながら各階層に分類された画像が表示されてもよい。
これによれば、上位階層から下位階層に移動する際、上位階層の画像とツリー構造でリンクされている下位階層の画像が選択的に表示されるため、階層構造を利用した画像検索が一層容易になる。

上位階層において表示された画像を選択した際、その画像にリンクする下位階層に属する画像が簡略化した形式で表示されてもよい。
「簡略化した形式で表示される」とは、たとえば、静止画がスライドショー形式で表示されたり、動画像のダイジェストが表示されることなどがある。これによれば、上位階層において、下位階層に移動する前に下位階層に分類されている画像を容易に確認することができる。

階層に分類された画像は、横軸に撮影時間、縦軸に分類された階層レベルを示す時系列分布の形式で画面に表示されてもよい。時系列分布において、異なるふたつ以上の階層をまたがって検知される特定のパターンが強調表示されてもよい。より厳しい条件に対応する階層に分類された画像ほど遅い再生速度で再生されてもよい。

本発明の別の態様は、画像検索装置に関する。この画像検索装置は、撮影された画像を画像に関する条件を対応づけた複数の階層のうち少なくともひとつに分類する階層分類部と、前記画像を分類された階層と関連付けて保持する画像データ保持部と、より厳しい条件に対応する階層から順にその階層に分類された画像を前記画像データ保持部から読み出して画面に表示させる表示制御部とを含む。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明の画像検索方法および画像検索装置によれば、画像検索の高速化を実現できる。

本発明を具体的に説明する前に概要を述べる。本実施の形態は、監視カメラで撮影された動画像から所望の画像を検索するための画像検索装置に関する。
本実施の形態に係る画像検索装置は、撮影された動画像に含まれる画像データを複数の所定の条件を用いて上位階層であるほど条件の複合度合いが高まるような複数の階層に分類し、次いで、撮影時間に応じて複数のグループに分類する。そして、各グループ内において、連続する階層の画像データ同士を関連付けてツリー構造を生成する。

画像検索開始時、画面上には最上位の階層に分類された画像が表示される。ここで、ユーザが画面上で一つの画像を選択して所定の操作を実行すると、その画像と関連付けられた一つ下の階層に分類された画像が表示される。ユーザは、表示された画像を参照して画像の選択を決定する操作を実行すると、画面上には一つ下の階層に分類された画像が表示される。このように、ユーザは、最も条件の複合度合いの高い階層に属する画像から検索し、所望の画像が存在する下位の階層を効率的に選択することができるので、すべての画像を検索する必要はなく、画像検索の高速化が実現される。

図１は、実施の形態に係る画像検索装置１０の構成を示すブロック図である。画像検索装置１０は、画像取得部１２、画像データ分類部１４、画像データ保持部２２、パターン検出部２４、画像選択部２６、表示制御部２８および表示部３０を含む。画像取得部１２は、監視カメラで撮影された動画像のデータを取得する。画像データ分類部１４は、画像データを所定の条件を用いて分類して最終的には画像データについてツリー構造を生成する。画像データ分類部１４は、階層分類部１６、分割部１８およびツリー生成部２０を含む。画像データ分類部１４は、画像データを複数の所定の条件を用いて複数の階層に分類する。分割部１８は、複数の階層に分類された画像データを、所定時間、例えば１０分ごとに区切って複数のグループに分類する。以下、画像データ分類部１４によって分類されたグループを「時間軸グループ」とも表記する。ツリー生成部２０は、各時間軸グループ内において、連続する階層の画像データ同士を関連付けてツリー構造を生成する。画像データ分類部１４による画像データの分類については、後に図２および図３を用いて詳述する。

画像データ保持部２２は、画像データを、分類された階層、時間軸グループおよびツリー構造において繋がっている他の画像データに関する情報と関連付けて保持する。表示制御部２８は、画像データ保持部２２に保持されている画像データを読み出して、その画像データと対応する画像を表示部３０に表示する。画像選択部２６は、ユーザの表示部３０における画像の選択操作に応じて、選択された画像を特定する。ここで、画像の選択操作は、例えばマウスやキーボードを用いて実行される。画像選択部２６により画像が特定されると、表示制御部２８はその特定された画像と対応する画像データが分類された階層およびその階層より下位の階層の画像データ読み出して、その画像データと対応する画像を表示部３０に表示する。パターン検出部２４は、画像データ保持部２２に保持されている画像データについて所定のパターンを検出する。所定のパターンとは、例えば、時系列的に連続する、異なる階層間をまたがって検知されるパターンである。パターン検出については後述する。

画像データ分類部１４における画像データの分類について具体的に説明する。分割部１８は、画像データを４つの階層に分類する。ここで、階層化には、検知レベル、エリアおよび撮影時刻に関する条件が用いられる。
検知レベルとは、撮影された画像フレームに写っている人物の数に関するレベルである。本実施の形態では、検知レベルをハイ、ミドル、ロウの３段階に設定する。具体的には、画像フレームに写っている人物の数が３人以上であるレベルをハイ、２人以上であるレベルをミドル、１人以上であるレベルをロウとする。なお、画像フレームに人が１人も写っていない場合は、その画像データはハイ、ミドルおよびロウのいずれのレベルにも分類されない。

エリアとは、１つの画像フレーム内の領域である。本実施の形態では、１つの画像フレームについてエリア１およびエリア２の２つの領域を設定する。ここで、エリア１およびエリア２は画像フレームにおける一部の領域であり、エリア２はエリア１を包含する。
撮影時刻とは、動画像が撮影された時刻である。本実施の形態では、動画像が午前１０時から１１時までの間に撮影されたものであるかを分類の基準とする。

階層分類部１６は、以上の３つの条件を用いて、画像データを次のように階層Ａ、階層Ｂ、階層Ｃ、階層Ｄに分類する。ここで、階層Ａ、階層Ｂ、階層Ｃ、階層Ｄの順に階層は高いものとする。階層分類部１６は、以下のように、上記の条件を複合させて分類ための条件（以下、「分類条件」ともいう）を設定し、この条件が満たされるか否かで各階層に画像データを分類する。
分類条件１：検知レベル”ハイ以上”、エリア”エリア１”、かつ撮影時刻”午前１０時から１１時”
分類条件２：検知レベル”ミドル以上”かつエリア”エリア２”
分類条件３：検知レベル”ロウ以上”

このように、分類条件は、分類条件１、２、３の順に条件の複合度合いが高くなっている。つまり、分類条件１は、分類条件２および３に包含され、分類条件２は、分類条件３に包含されるという関係が成立している。本実施の形態では、各分類条件の間に包含関係が成立させたが、変形例として、包含関係を成立させずに各分類条件が独立するように分類条件を設定してもよい。

階層分類部１６は、分類条件１を満たす画像データを階層Ａ、分類条件２を満たす画像データを階層Ｂ、分類条件３を満たす画像データを階層Ｃ、分類条件１、２および３のいずれをも満たさない画像データを階層Ｄに分類する。例えば、ある画像データに対応する画像のフレームにおいて、エリア１内に３人以上の人物が写っており、その画像が撮影された時刻が午前１０時３０分である場合、この画像データは分類条件１を満たすので階層Ａに分類される。本実施の形態では、画像に表示されている人物の人数に応じて条件を設定するが、変形例として、画像に表示されている物の数、人物や物の大きさ、色等によって条件を設定してもよい。

図２は、画像データの階層化の概念図である。同図では、撮影された動画像の画像データの一部が縦軸に階層、横軸に撮影された時刻を示したグラフに配置されている。ここで、画像データＤ１〜Ｄ２５は時系列的に連続する画像フレームの画像データを表す。例えば、画像データＤ１は階層Ｃ、画像データＤ３は階層Ｂに分類されている。本実施の形態では、説明の便宜上、１０分間に５つの画像が撮影されるものとするが、実際にはより多くの画像が撮影されている。例えば、画像データＤ１〜Ｄ５は１０時から１０時１０分までに撮影された画像のデータである。

図３は、画像データのツリー構造を示す概念図である。同図に示した各画像データＤ１〜Ｄ２５は図２に示した各画像データＤ１〜Ｄ２５に対応する。ただし、ツリー構造の生成の対象となる画像データは、階層Ａ、Ｂ、およびＣのいずれかに分類された画像データであり、階層Ｄに分類された画像データについてはツリー構造の対象とはならない。つまり、図３には階層Ａ、ＢおよびＣのいずれかに分類された画像データのみが示されている。同図において画像データが分類された階層を点線で示す。

分割部１８は、階層Ａ、ＢおよびＣに分類された画像データを、１０分ごとに区切って複数の時間軸グループに分類する。図３において実線Ｘ１、Ｘ２、Ｘ３、Ｘ４およびＹ１は１０分ごとの区切りを示す。画像データは原則として階層ＢおよびＣついて区切られるが、３０分ごとに階層Ａ、ＢおよびＣについて区切られる。つまり、図３に示すように、１０時１０分、２０分、４０分、５０分においてはそれぞれ実線Ｘ１、Ｘ２、Ｘ３およびＸ４で階層ＢおよびＣについて区切られ、１０時３０分においては階層Ａ、ＢおよびＣについて区切られる。図示はしないが、例えば１１時、１１時３０分には画像データは階層Ａ、ＢおよびＣについて区切られる。以下、３０分ごとの区切りを示す実線を「実線Ｙ」、実線Ｙ以外の１０分ごとの区切りを示す実線を「実線Ｘ」と総称する。

上述した「時間軸グループ」とは、実線Ｘおよび実線Ｙによって区切られた、階層Ａ、ＢおよびＣにまたがって生成される画像データのグループをいう。例えば、図３において、画像データＤ１、Ｄ２、Ｄ３、Ｄ５およびＤ８によって１つの時間軸グループが生成され、
画像データＤ６、Ｄ７、Ｄ８、Ｄ９およびＤ１０によって別の１つの時間軸グループが生成される。

ツリー生成部２０は、各時間軸グループ内において、連続する階層の画像データ同士を関連付けてツリー構造を生成する。つまり、例えば画像データＤ１、Ｄ２、Ｄ３、Ｄ５およびＤ８により生成された時間軸グループにおいては、階層Ａに属する画像データＤ８と階層Ｂに属する画像データＤ３とが関連付けられる。また、階層Ｂに属する画像データＤ３と階層Ｃに属する画像データＤ１、Ｄ２およびＤ５のそれぞれとが関連付けられる。図３において、画像データ同士を実線で結びつけて、ツリー生成部２０による関連付けを示す。ツリー生成部２０によるこのような画像データの関連付けによって、図３に示すように階層Ａ〜Ｃに分類された画像データについてツリー構造が生成される。
そして、画像データは、分類された階層、時間軸グループおよびツリー構造において関連付けれられた他の画像データに関する情報と関連付けて画像データ保持部２２に保持される。ここで、「画像データに関する情報」とは、その画像データを特定できる情報であればよい。

以下、本実施の形態に係る画像検索装置１０を用いた画像検索を説明する。
図４（ａ）は、画像検索開始時に表示される表示部３０を示す図である。同図において示す画像データは、図２および図３に示した画像データと対応している。まず、表示部３０には、画像表示領域３２において、階層Ａに分類された画像データに対応する画像が表示される。図２および図３に示した例では、階層Ａに分類されたのは画像データＤ８およびＤ２４である。従って、各画像表示領域３２には、画像データＤ８およびＤ２４に対応する画像Ｆ８およびＦ２４が表示される。以下、画像データに付した番号と画像に付した番号とは対応するものとする。

表示部３０には、ユーザが、画像表示領域３２に表示されている画像の属する階層よりも１つ下位の階層の画像のスライドショーを見たい場合に選択するスライドショー決定キー３４が表示されている。例えば、表示されている画像Ｆ８およびＦ２４のうち、画像Ｆ８に関連する、１つ下位の階層すなわち階層Ｂに属する画像データと対応する画像を見たい場合、ユーザは画像Ｆ８を選択した状態でスライドショー決定キー３４を選択する。この場合、例えば、ユーザは画像Ｆ８が表示されている画像表示領域３２を１回クリックしてからスライドショー決定キー３４を１回クリックする。

図４（ｂ）は、階層Ｂの画像のスライドショーが実行されているときの表示部３０を示す図である。ユーザが、図４（ａ）に示した表示部３０において、画像Ｆ８を選択してから、スライドショー決定キー３４を選択すると、スライドショー領域３６において画像Ｆ８と関連する階層Ｂの画像がスライドショーとして表示される。ここで、スライドショーとは、所定時間ごとに画像を順次表示することをいう。図３に示したように、ツリー構造において画像データＤ８と関連する階層Ｂの画像データは、画像データＤ３、Ｄ７およびＤ１３である。つまり、スライドショー領域３６には、画像Ｆ３、Ｆ７およびＤ１３が順次表示される。同様に、ユーザが画像Ｆ２４を選択した状態でスライドショー決定キー３４を選択すると、Ｆ２４に関連する、階層Ｂに属する画像データと対応する画像がスライドショーとして表示される。このように、ユーザは、上位の階層すなわち階層Ａの画像が表示された画面において、各画像に関連する、１つ下位の階層すなわち階層Ｂの画像をスライドショーで確認できる。

ここで、ユーザは、スライドショーを確認した結果、画像Ｆ８と関連する階層Ｂの画像をより詳細に見ようとするとき、画像Ｆ８を選択し、さらにその選択を決定する。具体的には、例えば、ユーザは画像Ｆ８が表示されている画像表示領域３２を１回クリックして画像Ｆ８を選択し、さらに１回クリックしてその選択を決定する。ユーザによるこのような操作の結果、表示部３０には画像Ｆ８と関連する階層Ｂの画像が表示される。

図４（ｃ）は、画像Ｆ８と関連する階層Ｂの画像が表示された表示部３０を示す図である。同図に示すように、表示部３０には、階層Ｂの画像Ｆ３、Ｆ７およびＦ１３が画像表示領域３２に表示される。また、このとき、階層Ａの画像Ｆ８も画像表示領域３２に表示される。このように、階層Ｂの画像と関連する、上位の階層である階層Ａの画像をも表示すれば、ユーザは、同一の時間軸グループに分類された階層Ａおよび階層Ｂの画像データに対応するすべての画像を同一の画面で確認することができる。本実施の形態では、表示部３０には階層Ａの画像も表示されるとしたが、変形例としては、階層Ｂのみの画像が表示されてもよい。

ここで、ユーザが、例えば、表示されている画像のうち、画像Ｆ３に関連する、１つ下位の階層すなわち階層Ｃに属する画像データと対応する画像のスライドショーを見たい場合、ユーザは画像Ｆ３を選択した状態でスライドショー決定キー３４を選択する。
図４（ｄ）は、階層Ｃの画像のスライドショーが実行されているときの表示部３０を示す図である。ユーザが、図４（ｃ）に示した表示部３０において、画像Ｆ３を選択してから、スライドショー決定キー３４を選択すると、スライドショー領域３６において画像Ｆ３と関連する階層Ｃの画像がスライドショーとして表示される。図３に示したように、ツリー構造において画像データＤ３と関連する階層Ｃの画像データは、画像データＤ１、Ｄ２およびＤ５である。つまり、スライドショー領域３６には、画像Ｆ１、Ｆ２およびＦ５が順次表示される。同様に、例えば、ユーザが画像Ｆ７を選択した状態でスライドショー決定キー３４を選択すると、Ｆ７に関連する、階層Ｃに属する画像データと対応する画像Ｆ６、Ｆ９およびＦ１０がスライドショーとして表示される。このように、ユーザは、上位の階層すなわち階層Ｂの画像が表示された画面において、各画像に関連する、１つ下位の階層すなわち階層Ｃの画像をスライドショーで確認できる。

ここで、ユーザは、スライドショーを確認した結果、画像Ｆ３と関連する階層Ｃの画像をより詳細に見ようとするとき、画像Ｆ３を選択し、さらにその選択を決定する。ユーザによるこのような操作の結果、表示部３０には画像Ｆ３と関連する階層Ｃの画像が表示される。
図４（ｅ）は、画像Ｆ３と関連する階層Ｃの画像が表示された表示部３０を示す図である。同図に示すように、表示部３０には、階層Ｃの画像Ｆ１、Ｆ２およびＦ５が画像表示領域３２に表示される。また、このとき、階層Ａの画像Ｆ８および階層Ｂの画像Ｆ３も画像表示領域３２に表示される。このように、階層Ｃの画像と関連する、上位の階層である階層Ａおよび階層Ｃの画像をも表示すれば、ユーザは、同一の時間軸グループに分類された階層Ａ、階層Ｂおよび階層Ｃの画像データに対応するすべての画像を同一の画面で確認することができる。

本実施の形態では、最初に最も条件の複合度合いの高い分類条件１を満たす画像データに対応する画像のみが表示部３０に表示され、ユーザの操作により、順次条件の複合度合いが低くした、すなわち条件を緩和した分類条件２、分類条件３を満たす画像データに対応する画像が表示部３０に表示される。つまり、ユーザは、見たい画像が満たすべきすべての条件を複合させて分類条件１として設定して、表示部３０に最初に表示させ、そこで目的の画像が見つからない場合には、条件の複合度合いを段階的に緩めて目的の画像に近い画像を検索する。これによって、ユーザの所望の画像が早い段階で表示部３０に表示されるので、検索にかかる時間が短縮され検索の高速化を図ることができる。また、画像データ保持部２２は、すべての画像データについていずれの階層に分類されたかという情報を関連付けて保持するので、画像検索時にすべての画像については分類条件を満たすか否かは判定されない。これによっても、画像検索の高速化を実現できる。

また、本実施の形態では、画像データは所定時間ごとに区切られて複数の時間軸グループに分類されて、各時間軸グループ内でツリー構造によって関連付けられる。これによって、上位階層で所望の画像や所望の画像に類似する画像が見つかった場合、ユーザはその画像と関連し、また撮影時刻が近い画像を検索することによって、その撮影時刻近辺の画像を見ることができる。さらに画像データは複数の階層および時間軸グループに分類されているので、表示部３０に表示される画像の数が膨大となることを回避でき、ユーザの表示部３０上での画像検索が容易となる。

本実施の形態では、表示部３０に上位階層の画像が表示されている場合でも、ユーザの操作により下位階層の画像をスライドショーとして見ることができる。これによって、ユーザは、下位階層の画像を表示させる前にあらかじめスライドショーでそれらの画像を確認できるので、誤った画像を選択することを回避できる。これによって、画像検索の高速化を実現できる。

本実施の形態では、時間軸グループを所定の撮影時間ごとに分類したが、変形例として、いずれの分類条件をも満たさない画像が撮影された時間を時間軸グループに分類するための境界としてもよい。例えば、上述の実施の形態において、階層Ｄに分類される画像が撮影された時刻を境界として２つの時間軸グループに分類してもよい。この場合、１つの時間軸グループに含まれる画像データは時系列的に連続する、いずれかの分類条件を満たす画像のみによって構成される。これによって、ユーザは、表示されている画像が時系列的に連続したものであるか否かを気にすることなく画像を検索できる。
本実施の形態では、画像データを４つの階層に分類したが、階層の数はこれに限られず、条件の数等によって増減させてもよい。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。例えば、以下のような変形例が考えられる。

本実施の形態では、各階層に分類された画像が表示部３０に表示されることとしたが、画像データがいずれの階層に分類されたかを、横軸に時間、縦軸に階層を示すグラフ（以下、「階層グラフ」ともいう）が表示部３０に表示されてもよい。ここで、表示制御部２８が、保持されている画像データを、階層グラフとして表示部３０に表示させる。
図５は、階層グラフが表示されている表示部３０を示す図である。表示部３０の上部の領域には階層グラフ４０が表示される。階層グラフ４０内に表示される複数の四角のそれぞれは画像データに対応し、その表示位置によって撮影時刻および分類された階層を表す。

ユーザが、階層グラフ４０内の画像データを示すいずれかの四角を表示部３０上で選択し、再生キー４８を選択すると、画像再生領域４６において、選択された画像データに対応する画像の撮影時刻以降の画像が再生される。また、画像再生中にユーザが停止キー５０を選択すると画像の再生は停止する。階層グラフ４０を表示することにより、ユーザは、画像データがどの階層に分類されているのかを動画像の撮影時間全体または一部について１つの画面上で視認でき、また、ユーザは所望の画像データに対応する画像を１回の操作で視認できるので画像の検索が高速かつ容易となる。

ここで、表示制御部２８は、画像を再生するとき、画像データが分類された階層に応じて画像が表示される時間を変化させることにより再生速度を変化させてもよい。例えば、表示制御部２８は、上位階層に分類された画像の再生速度を通常の再生速度より遅くしたり、下位階層に分類された画像の再生速度を通常の再生速度より速くする。この場合、例えば、表示制御部２８は、画像データ保持部２２に保持されている画像データを読み出し、その画像データが階層Ａに分類されているときには画像の表示時間を長く、階層Ｂに分類されているときには画像の表示時間を通常の長さにし、階層Ｃに分類されているときには画像の表示時間を短くして表示部３０に画像を表示させる。

また、どの階層から画像の表示時間を長くするかをユーザが表示部３０上で設定できるようにしてもよい。例えば、表示部３０に階層選択領域４２を表示させ、ユーザが選択した階層およびその階層より上位の階層に分類された画像データに対応する画像は長く表示されるようにする。これによって、ユーザがどの階層までの画像を長い時間表示させるかを表示部３０上で簡便に設定できる。この場合、画像検索装置１０に階層選択部を設け、階層選択部がユーザの操作に応じて画像表示時間を長くする階層を選択する。そして、表示制御部２８が階層選択部によって選択された階層を参照して、その階層およびその階層より上位の階層の画像データに対応する画像が表示部３０に表示される時間を長くする。

さらに、どの検知レベルから画像の表示時間を長くするかをユーザが表示部３０上で設定できるようにしてもよい。例えば、検知レベル選択領域４４を表示させ、ユーザが選択した検知レベル以上の画像データに対応する画像は長く表示されるようにする。これによって、ユーザがどの検知レベル以上の画像を長い時間表示させるかを表示部３０上で簡便に設定できる。この場合、画像検索装置１０に検知レベル選択部を設け、検知レベル選択部がユーザの操作に応じて画像表示時間を長くする検知レベルを選択する。そして、表示制御部２８が検知レベル選択部によって選択された検知レベルを参照して、その検知レベル以上の画像データに対応する画像が表示部３０に表示される時間を長くする。

画像データについて、時系列的に連続する、異なる階層間をまたがって検知される所定のパターンが現れる回数が表示部３０に表示されてもよい。これによって、ユーザが画像データについて所定のパターンが現れる箇所における画像を容易に検索できる。ここで、検出すべきパターンはユーザが設定する。図１に示したように、パターン検出部２４が画像データ保持部２２に保持されている画像データについてユーザにより設定されたパターンを検出し、表示制御部２８がその結果を参照して、パターンが現れる回数を表示部３０に表示させる。

図６は、パターン検出部２４による所定のパターンの検出について説明するための概念図である。同図において上段、中段および下段のグラフは同一の画像データについてのグラフである。これらのグラフは、横軸に時間、縦軸に階層を示している。各グラフにおける四角はそれぞれ１つの画像に対応する画像データであり、その位置によって撮影時刻および階層が示されている。

ここで、ユーザが検索したい画像の時系列的に連続するパターンが、階層Ｃの画像データの次に階層Ａの画像データが続くパターン（以下、「パターンＰ」という）、階層Ａの画像データの次に階層Ｃの画像データが続くパターン（以下、「パターンＱ」という）、階層Ｃの画像データの次に階層Ｂの画像データ、さらに階層Ａの画像データが続くパターン（以下、「パターンＲ」という）の３種類のパターンであるとする。

図６の上段のグラフにおいてパターンＰを、中段のグラフにおいてパターンＱを、下段のグラフにおいてパターンＲを斜線で示す。同図に示すように、パターンＰは４回、パターンＱは３回、パターンＲは２回現れている。パターン検出部２４は、画像データ保持部２２に保持されている画像データについてそれぞれのパターンを検出する。表示制御部２８は、各パターンが現れる回数を、その回数が多い順に表示部３０に表示する。つまり、このとき、表示部３０には例えば「パターンＰ：４回」、「パターンＱ：３回」、「パターンＲ：２回」と表示される。そして、ユーザがその表示において所望のパターンを表示部３０上で選択すると、そのパターンを構成する画像データに対応する画像が表示部３０に表示される。このように、検索すべき画像の特性を連続する画像の順序によって特定し、検出された頻度順に並べて表示することにより、ユーザは、動画像全体における目的の画像の分布を把握しつつ所望の画像を短時間で検索できる。

本実施の形態では、上記のグラフは、表示部３０に表示されないが、変形例として、このグラフが表示部３０に表示され、そのグラフにおけるパターンＰ、パターンＱおよびパターンＲに対応する画像データの箇所が強調表示されてもよい。これによって、ユーザは、表示部３０上でこれらのパターンを視認できるので、パターンの検索が容易となる。

以下、画像検索装置１０によるパターン検出をコンビニエンスストアなどの店舗の監視カメラに適用する例を説明する。このとき、客がレジにいない間に店員がレジ台から現金を盗む不正行為が撮影された画像を検索することを目的とする。監視カメラはレジが設置されているの位置の近辺を撮影し、撮影された画像フレームにはレジ台、店員および客が撮影されるものとする。

店員の不正行為はレジに客がいないにもかかわらずレジが空いており、かつレジに店員がいる状況で実行される可能性が高い。そこで、ユーザは、この状況が店員の不正行為が行われる状況であると定義する。つまり、具体的には、画像フレームを店員のエリア、レジ台のエリア、客のエリアに分けて設定し、客エリアに客がおらず、店員エリアに店員がおり、レジ台エリアにおいてレジ台が空いているような状況に不正行為が行われていると定義する。

ユーザは、「客エリアに人物がいない画像」、「店員エリアに人物がいる画像」、「レジ台エリアにおいてレジ台が空いている画像」がこの順に連続しているパターン（以下、「不正行為パターン１」ともいう）、および「店員エリアに人物がいる画像」、「客エリアに人物がいない画像」、「レジ台エリアにおいてレジ台が空いている画像」がこの順に連続しているパターン（以下、「不正行為パターン２」ともいう）を、検出すべき画像のパターンとして設定する。このとき、「客エリアに人物がいない画像」は階層Ａに、「店員エリアに人物がいる画像」は階層Ｂに、「レジ台エリアにおいてレジ台が空いている画像」は階層Ｃに分類されるものとする。つまり、不正行為パターン１は階層Ａ、Ｂ、Ｃの順に連続する画像のパターン、不正行為パターン２は、階層Ｂ、Ａ、Ｃの順に連続する画像のパターンである。

パターン検出部２４は、撮影された動画像のデータの中から不正行為パターン１および不正行為パターン２を検出し、表示制御部２８は、それらのパターンが検出された回数を表示部３０に表示させる。ユーザ、例えば店舗の管理者は、上述したように検出したパターンを構成する画像を検索し、実際に不正行為が行われたか否かを確認したり、不正行為を行った店員を特定できる。画像検索装置１０によれば、不正行為を撮影した画像をパターンとして検出するので、不正行為を撮影した画像を短時間で検索できる。
このとき、画像が撮影された時間帯ごとに分けて、不正行為パターンが検出された回数を、その回数が多い時間帯の順に表示部３０に表示すれば、管理者は、不正行為が行われている確率が高い時間帯の画像から検索することができる。これによって、不正行為を撮影した画像をさらに短時間で検索できる。

さらに、画像検索装置１０によるパターン検出を店舗の監視カメラに適用する他の例を説明する。このとき、客がレジで商品を購入するとき、店員が作業を円滑に行っているかを調査することを目的とする。具体的にこの作業は、客がレジに来た後、店員が商品をバーコードで読み取り、代金を受け取り、客がレジから立ち去るまでに要する時間を監視する。監視カメラはレジが設置されている位置の近辺を撮影し、撮影された画像フレームにはレジ台、店員、客および商品が撮影されるものとする。

ユーザは、具体的には、画像フレームを店員のエリア、レジ台のエリア、客のエリア、バーコード読取前の商品が置かれるエリア、およびバーコード読取後の商品が置かれるエリアに分けて設定する。そして、ユーザは、「店員エリアに人物がいる画像」、「客エリアに人物がいる画像」、「バーコード読取前の商品が置かれるエリアに商品がある画像」、「バーコード読取後の商品が置かれるエリアにその商品がある画像」、「レジ台エリアにおいてレジ台が空いている画像」、「客エリアに人物がいない画像」がこの順に連続しているパターン（以下、「商品購入パターン」ともいう）を、検出すべき画像のパターンとして設定する。

ここで、「店員エリアに人物がいる画像」は階層Ａに、「客エリアに人物がいる画像」は階層Ｂに、「バーコード読取前の商品が置かれるエリアに商品がある画像」は階層Ｃに、「バーコード読取後の商品が置かれるエリアにその商品がある画像」は階層Ｄに、「レジ台エリアにおいてレジ台が空いている画像」は階層Ｅに分類されるものとする。つまり、商品購入パターンは、階層Ａ、Ｂ、Ｃ、Ｄ、Ｅの順に連続する画像のパターンである。
このとき、ユーザは、店員のレジ台における動作にかかる時間を検出するために、画像データが各階層において連続しているような場合も商品購入パターンに含まれるように設定する。例えば、階層Ａ、Ａ、Ｂ、Ｂ、Ｂ、Ｃ、Ｃ、Ｄ、Ｄ、Ｄ、Ｅの順に画像データが連続する場合も商品購入パターンであるとする。また、複数の商品が購入された場合を考慮して、階層Ｃ、Ｄ、Ｃ、Ｄのように連続する画像のパターンが含まれる場合も商品購入パターンに該当するものとする。

パターン検出部２４は、撮影された動画像のデータの中から商品購入パターンを検出し、表示制御部２８は、検出されたパターンのそれぞれについて撮影時間を長い順に表示部３０に表示させる。ユーザ、例えば、店舗の管理者は、撮影時間が長いパターンを構成する画像を検索して確認し、円滑な作業が作業が行われていない原因を検討して店員を指導することができる。このとき、階層Ｃ、Ｄの間で連続する画像が連続する回数、すなわち商品の数を考慮することが可能である。
また、画像が撮影された時間帯ごとに分けて、商品購入パターンの撮影時間を、その撮影時間が長い時間帯の順に表示部３０に表示すれば、管理者は、レジでの作業が長い時間帯から検索することができる。これによって、指導すべき店員のレジでの作業を撮影した画像をさらに短時間で検索できる。

また、所定の階層について画像データが所定回数連続するパターンが現れる回数が表示部３０に表示されてもよい。同一の階層において画像データが連続する回数は、所定の条件が満たされた状態で画像が撮影された時間に対応する。これによって、ユーザは、動画像において所定の条件を満たす状態がどの程度の時間連続して撮影されたかを表示部３０上で容易に視認できる。ここで、パターン検出部２４が画像データ保持部２２に保持されている画像データについて、同一の階層において連続するパターンを検出し、表示制御部２８がその結果を参照して、連続するパターンすなわち撮影時間およびパターンが現れる回数を対応させて、その回数が多い順に表示部３０に表示させる。つまり、表示部３０には例えば、階層Ａについて「１分：３回」、「２分：２回」、「３分：１回」と表示される。そして、ユーザがその表示において所望の撮影時間を表示部３０上で選択すると、階層Ａにおいて、選択された撮影時間分連続する画像データに対応する画像が表示部３０に表示される。

本実施の形態では動画像データを構成する静止画それぞれを分類にする例について説明したが、変形例として、撮影した動画像を構成する所定時間の動画像を分類してもよい。また、この場合、表示制御部２８は、本実施の形態で説明したスライドショーに代えて、下位階層に分類された動画像データに対応する動画像のダイジェストを表示部３０に表示させてもよい。

実施の形態に係る画像検索装置の構成を示すブロック図である。 画像データの階層化の概念図である。 画像データのツリー構造を示す概念図である。 図４（ａ）は、画像検索開始時に表示される表示部を示す図である。図４（ｂ）は、階層Ｂの画像のスライドショーが実行されているときの表示部を示す図である。図４（ｃ）は、画像Ｆ８と関連する階層Ｂの画像が表示された表示部を示す図である。図４（ｄ）は、階層Ｃの画像のスライドショーが実行されているときの表示部を示す図である。図４（ｅ）は、画像Ｆ３と関連する階層Ｃの画像が表示された表示部を示す図である。 階層グラフが表示されている表示部を示す図である。 パターン検出部による所定のパターンの検出について説明するための概念図である。

符号の説明

１０ 画像検索装置、 １２ 画像取得部、 １４ 画像データ分類部、 １６ 階層分類部、 １８ 分割部、 ２０ ツリー生成部、 ２２ 画像データ保持部、 ２４ パターン検出部、 ２６ 画像選択部、 ２８ 表示制御部、 ３０ 表示部、 ３２ 画像表示領域、 ３４ スライドショー決定キー、 ３６ スライドショー領域、 ４０ 階層グラフ、 ４２ 階層選択領域、 ４４ 検知レベル選択領域、 ４６ 画像再生領域、 ４８ 再生キー、 ５０ 停止キー。

Claims (7)

1. 画像に関する条件を対応づけた階層が複数設けられ、撮影された画像のうち、前記条件を満足する画像がその条件に対応する階層に分類されることを特徴とする画像検索方法。
2. 前記画像が分類される複数の階層は、上位階層に属する画像と下位階層に属する画像とがツリー状にリンクづけされたツリー構造をなしており、上位階層から下位階層に向かって前記ツリー構造をたどりながら各階層に分類された画像が表示されることを特徴とする請求項１に記載の画像検索方法。
3. 上位階層において表示された画像を選択した際、その画像にリンクする下位階層に属する画像が簡略化した形式で表示されることを特徴とする請求項２に記載の画像検索方法。
4. 階層に分類された前記画像は、横軸に撮影時間、縦軸に分類された階層レベルを示す時系列分布の形式で画面に表示されることを特徴とする請求項１に記載の画像検索方法。
5. 分類された階層に応じて、画像の再生速度を変化させることを特徴とする請求項４に記載の画像検索方法。
6. 前記画像に関する、横軸に撮影時間、縦軸に分類された階層レベルを示す時系列分布において、異なるふたつ以上の階層をまたがって検知される特定のパターンが検出されることを特徴とする請求項１に記載の画像検索方法。
7. 撮影された画像を画像に関する条件を対応づけた複数の階層のうち少なくともひとつに分類する階層分類部と、
   前記画像を分類された階層と関連付けて保持する画像データ保持部と、
   上位階層から順にその階層に分類された画像を前記画像データ保持部から読み出して画面に表示させる表示制御部とを含むことを特徴とする画像検索装置。

Images