JP2015064656A - 画像検索システム - Google Patents

Abstract

【課題】キー画像に基づいて類似画像検索を行い、検索結果画像の中から選択した画像について、録画装置内で元画像データを上書き消去しないよう設定することにより、重要な画像データを誤って消去することなく、利便性の向上を図ることが可能な画像検索システムを提供する。【解決手段】撮像装置と、前記撮像装置から入力された画像データを記録媒体に記録する録画装置と、端末装置とから構成される画像検索システムにおいて、前記録画装置は、前記端末装置から検索キーとなるキー画像を受信すると、前記キー画像に対して類似度が高い画像データを検索する検索手段と、前記検索手段で検索した画像データを前記端末装置に送信する送信手段と、検索画像データの中から前記端末装置で指定された検索画像データへの上書きを禁止する上書き禁止手段と、を有することを特徴とする。【選択図】 図１

Description

本発明は、画像検索システムに係り、特に、重要な画像データを誤って消去することなく、利便性の向上を図ることが可能な画像検索システムに関する。

従来から、ホテル、ビル、コンビニエンスストア、金融機関、ダムや道路といった不特定多数の人が訪れる施設には、犯罪抑止や事故防止等の目的で、映像監視システムが設置されている。これは、監視対象の人物等をカメラ等の撮像装置で撮影し、その映像を、管理事務所や警備室等の監視センタに伝送し、常駐する監視者がそれを監視し、目的や必要に応じて注意する、或いは映像を記録するものである。

映像監視システムにおいて、映像を記録するための記録媒体には、従来のビデオテープ媒体から、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）に代表されるランダムアクセス媒体が用いられる事例が増えている。さらに近年ではこのような記録媒体の大容量化が進んでいる。
記録媒体の大容量化は、記録できる映像の量を飛躍的に増大させ、より多地点や長時間の記録を可能にしつつある反面、記録画像を目視でチェックする負担の増加が問題として顕在化しつつある。

このような背景から、所望の映像をより簡単に見つけ出すための検索機能を備える映像監視システムが普及しつつある。特に、近年では、映像中の特定の事象（イベント）の発生に対して、画像認識技術を用いてリアルタイムに自動検知して映像と共に記録し、事後にそれらのイベントを検索可能とする、より高度な検索機能を備えたシステムが登場しつつある。その中の代表的な一つに人物検索機能がある。
人物検索機能とは、映像中への人物の登場を自動検知の対象として、リアルタイムに記録し、事後に記録画像中から人物登場画像を探し出せる機能である。

機能面から人物検索機能は、以下の２種類に大別される。
１つ目は、登場イベント検索機能である。登場イベント検索機能は、映像中への人物の登場（イベント）の有無を、単純に探し出す機能である。検索結果にはイベントの有無に加え、イベント有と判定された場合には、そのイベント数と各イベントの発生時刻やイベントを撮影した撮像装置番号、撮影した画像（人物登場画像）等を提示する。なお、この検索のクエリ（Ｑｕｅｒｙ）には、イベント発生時刻や撮像装置番号等の検索対象範囲を絞込むための情報として与える場合が多い。以下では、この検索対象範囲を絞込むための情報を、「絞込みパラメータ」ということにする。

２つ目は、類似人物検索機能である。上述の登場イベント検索機能が、登場人物を特定しない検索であるのに対し、こちらはユーザが指定する特定人物が、他の時間、或いは他の地点の撮像装置で撮影されていないかどうかを、記録画像中から探し出す機能である。検索結果には、特定人物が映った他の画像の有無に加え、有の場合には、その数と撮影時刻、撮像装置番号、撮影した画像（人物登場画像）、後述の類似度等を返す。
特定人物の指定は、探したい人物が映った画像（以降、検索キー画像）をユーザが１ケ指定することで実施される。検索キー画像は、記録画像や外部装置からの任意の画像から指定される。検索は、この検索キー画像中の人物の画像特徴量を画像認識技術により抽出し、記録画像中の人物の画像特徴量と照合し、その類似性（類似度）を求め、同一人物判定を実施することにより実現される。同一人物判定では、一例として、比較する２つの画像の人物について画像特徴量の類似度を求め、その結果（類似度）が所定の基準値以上である場合に、これらの人物は同一人物であると判定する。なお、記録画像中の人物の画像特徴量の抽出と記録は、映像録画時等の別タイミングにて予め実施しておく。この検索のクエリにおいても、絞込みパラメータを与えることが可能である場合が多い。

両検索機能のどちらにおいても、検索結果には記録画像を取り出すためのリンケージ情報が付与されており、検索結果から記録画像の頭出し再生が可能になっている。
特許文献１には、このように検索キー画像を指定して、検索結果の画像から選択して、別の表示領域に表示して、それを次の検索キー画像にするなどしてユーザの利便性を高めるようにした画像検索装置が開示されている。
また、特許文献２には、ユーザの利便性をさらに高める類似画像検索システムが開示されている。この特許文献２では、ユーザは、類似画像検索の結果に対して、人名や特徴などのキーワードを付与する。画像検索には、二種類の検索方法が用意されており、キーワードを付与された画像を検索の対象から除く類似画像検索と、キーワードを付与された画像のみを検索の対象とする登場イベント検索がある。ユーザは、類似画像検索を複数回行い、充分多くの画像にキーワードを付与した判断した後に、登場イベント検索を行う。

特開２００９−１２３１９６号公報 特開２０１１−０９０４７６号公報

ところで、従来の類似画像検索システムにおいては、撮像装置で撮影した画像を一旦録画装置の記録媒体に記録・蓄積し、記録・蓄積した記録画像中から所望する画像の検索を行っている。このような類似画像検索システムで使用する録画装置の記録媒体は、記憶容量が比較的大きく、非常に多くの画像データを蓄積できるようになっている。しかし、どんなに大きな記憶容量の記憶媒体であっても長期に渡って記録・蓄積を継続すれば、いずれは記憶容量が満杯になってしまうため、録画装置の記録媒体では、一般的に、すでに確認する必要が無くなったと思われる古い画像データに新たに撮影した画像データを自動的に上書きするようにして、記録媒体の記憶容量が満杯になるのを防止することが行われている。
しかしながら、特許文献１や特許文献２のように、キー画像に基づいて類似画像検索を行い、検索した画像データは重要であり、たとえ古くても、いずれまた必要になる場合があるので、自動的な上書き操作によって画像データが消去されてしまうのは大問題である。

本発明は、このような従来の事情に鑑みなされたものであり、キー画像に基づいて類似画像検索を行い、検索結果画像の中から選択した画像について、録画装置内で元画像データを上書き消去しないよう設定することにより、重要な画像データを誤って消去することなく、利便性の向上を図ることが可能な画像検索システムを提供することを目的とする。

上記目的を達成するための本発明に係る画像検索システムは、撮像装置と、前記撮像装置から入力された画像データを記録媒体に記録する録画装置と、端末装置とから構成される画像検索システムにおいて、前記録画装置は、前記端末装置から検索キーとなるキー画像を受信すると、前記キー画像に対して類似度が高い画像データを検索する検索手段と、前記検索手段で検索した画像データを前記端末装置に送信する送信手段と、
検索画像データの中から前記端末装置で指定された検索画像データへの上書きを禁止する上書き禁止手段と、を有することを特徴とする。

また、上記目的を達成するための本発明に係る画像検索システムは、上記した画像検索システムにおいて、前記端末装置は、前記録画装置から送信された検索画像データをサムネイル表示させ、サムネイル表示させた検索画像データの中から、ユーザに上書き禁止する検索画像データを指定させることを特徴とする。

また、上記目的を達成するための本発明に係る画像検索システムは、上記した画像検索システムにおいて、前記録画装置は、前記端末装置からの指示に基づき、前記上書き禁止する検索画像データを前記端末装置に一括ダウンロードすることを特徴とする。

本発明によれば、キー画像に基づいて類似画像検索を行い、検索結果画像の中から選択した画像について、録画装置内で元画像データを上書き消去しないよう設定することにより、重要な画像データを誤って消去することなく、利便性の向上を図ることが可能な画像検索システムを提供することができる。

本発明の実施形態１に係る画像検索システムのシステム構成を例示する図である。 本発明の実施形態１に係る画像検索システムに用いる撮像装置のハードウェア構成を例示する図である。 本発明の実施形態１に係る画像検索システムに用いる録画装置のハードウェア構成を例示する図である。 本発明の実施形態１に係る画像検索システムに用いる端末装置のハードウェア構成を例示する図である。 本発明の画像検索システムに用いられるフレームテーブル３００のデータ構造の一実施例を示す図である。 本発明の画像検索システムに用いられる属性情報データテーブル３１０のデータ構造の一実施例を示す図である。 本発明の画像検索システムにおいて、録画装置１０２と端末装置１０３との間の処理シーケンスの一実施例を示す図である。 本発明の画像検索システムにおいて、検索実行前の初期状態における検索画面の一実施例を示した図である。 本発明の画像検索システムにおいて、類似人物検索実行直前状態における検索画面の一実施例を示した図である。 本発明の画像検索システムにおいて、類似人物検索実行直後状態における検索画面の一実施例を示した図である。

＜実施形態１＞
以下、本発明に係る実施形態１について図面を参照して説明する。なお、各図の説明において、共通な機能を有する構成要素には同一の参照番号を付し、できるだけ説明の重複を避けるため、説明を省略するようにした。

まず、図１〜図４を参照して、本発明の実施形態１に係る画像検索システムの構成について説明する。
図１には、本発明の実施形態１に係る画像検索システムのシステム構成を例示してある。
画像検索システムは、図１に示すように、ネットワーク２００に、撮像装置２０１、録画装置１０２、端末装置１０３が接続され、互いに通信可能な状態で構成される。

ネットワーク２００は、データ通信を行う専用ネットワークやイントラネット、インターネット、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の各装置を相互に接続して通信を行う通信手段である。

撮像装置２０１は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）素子等で撮像した画像にデジタル変換処理を施し、変換結果の画像データを、ネットワーク２００を介して録画装置１０２へ出力するネットワークカメラや監視カメラ等の装置である。

録画装置１０２は、ネットワーク２００を介して撮像装置２０１より入力された画像データをＨＤＤ等の記録媒体に記録するネットワークデジタルレコーダ等の装置である。また、本装置には、本発明の方式を含む人物検索機能も搭載している。
録画装置１０２は、機能構成として、画像送受信部２１０、画像記録部２１１、再生制御部２１２、人物領域検出部２１３、人物特徴量抽出部２１４、人物特徴量記録部２１５、属性情報記録部２１６、要求受信部２１７、類似人物検索部２１８、キーワード検索部２１９、検索結果送信部２２０、キーワード記録部１１０の各処理部を有する。

画像送受信部２１０は、装置外部からの画像の入出力を行う処理部であり、撮像装置２０１からの入力画像データの受信、端末装置１０３への出力画像データの送信を行う。
画像記録部２１１は、入力画像データの記録媒体へ書込みや出力画像データの記録媒体からの読出しを行う。書込みの際には、画像データに加え、画像データを読出す際の情報となる画像ＩＤ（画像の識別情報）も併せて記録する。また、画像記録部２１１は、記録媒体の記憶容量が満杯になるのを防止するため、古い画像データに新たに撮影した画像データを自動的に上書きするようにしている。なお、画像記録部２１１は、後述する消去不可フラグが設定された画像データについては、上書きせずに画像データを消去しないようにしている。
再生制御部２１２は、端末装置１０３への映像再生を制御する。

人物領域検出部２１３は、入力画像データに対し画像認識技術を用いた人物検出を行い、画像中の人物の存在判定をし、人物が存在する場合には、その領域の座標算出を行う。
人物特徴量抽出部２１４は、人物領域検出部２１３で検出した領域に対して画像認識技術を用いて特徴量算出を行う。ここで算出する人物特徴量とは、例えば、人物の輪郭の形状や方向、皮膚の色、歩容（どの脚をどのようにどんなタイミングで動かすかといった脚の捌き方）、或いは、人物を特定する代表的な部位である顔の輪郭の形状や方向、目や鼻、口といった主要構成要素の大きさ、形状、配置関係等が挙げられるが、本実施形態においては、使用する特徴量の種類や数はいずれであってもよい。

人物特徴量記録部２１５は、人物特徴量抽出部２１４で算出した特徴量の記録媒体への書込みと読出しを行う。画像記録部２１１における画像データの記録媒体と本処理部における人物特徴量の記録媒体とは同一であっても別個であってもよい。
属性情報記録部２１６は、画像データに関連する属性情報の記録媒体への書込みと読出しを行う。属性情報とは、例えば、画像の撮影時刻や撮像装置番号等である。

要求受信部２１７は、端末装置１０３からの検索要求、上書き禁止要求および一括ダウンロード要求の受信を行う。
類似人物検索部２１８は、要求受信部２１７にて受信した要求が類似人物検索要求であった場合に、類似画像検索を行う。
キーワード検索部２１９は、要求受信部にて受信した要求がキーワード検索要求であった場合に、キーワード検索を行う。

検索結果送信部２２０は、類似人物検索部２１８やキーワード検索部２１９から得た類似人物検索結果やキーワード検索結果の端末装置１０３への送信を行う。
キーワード記録部１１０は、要求受信部２１７にて受信したキーワード付与要求に基づくキーワードの記録媒体への書込みと読出しを行う。

端末装置１０３は、ネットワーク機能を有する一般のＰＣ（パーソナルコンピュータ）で実現してもよいし、専用の検索端末でもよい。
端末装置１０３は、機能構成として、検索要求送信部２２１、検索結果受信部２２２、検索結果表示部２２３、再生画像表示部２２４、画面操作検知部２２５、上書き禁止要求送信部２２６、一括ダウンロード要求送信部２２７の各処理部を有する。また、本装置には、本発明の方式を実現するための人物検索機能も搭載してある。

検索要求送信部２２１は、検索要求の録画装置１０２への送信を行う。類似人物検索の場合、検索要求データには、類似人物検索の検索キーとして、検索キー画像或いはその特徴量が含まれる。また、検索要求データには、絞込みパラメータを含めることも可能である。
検索結果受信部２２２は、検索結果の録画装置１０２からの受信を行う。検索結果として受信するデータには、録画装置１０２において、類似人物検索、或いは、キーワード検索を実施して得られた画像の集合が含まれる。集合を構成する個々の画像は、録画装置１０２に記録された映像から画像サイズ縮小処理等を施して生成される。以下、この個々の画像を「検索結果画像」、検索結果として送受信するデータを「検索結果データ」という。

検索結果表示部２２３は、検索結果受信部２２２にて受信した検索結果の画面表示を行う。表示される画面例については後述する。
再生画像表示部２２４は、録画装置１０２から入力された画像データの画面への連続動画表示を行う。
画面操作検知部２２５は、ユーザによる操作内容の検知及び取得を行う。
上書き禁止要求送信部２２６は、上書き禁止要求の録画装置１０２への送信を行う。
一括ダウンロード要求送信部２２７は、一括ダウンロード要求の録画装置１０２への送信を行う。

図２には、本発明の実施形態１に係る画像検索システムに用いる撮像装置２０１のハードウェア構成を例示してある。
撮像装置２０１のハードウェア構成は、図２に示すように、撮像部２４１、主記憶部２４２、符号化部２４３、ネットワークインタフェース（Ｉ／Ｆ）２４４が、バス２４０で結合された形態である。

撮像部２４１は、レンズを通して撮像した光信号をデジタルデータに変換する。符号化部２４３は、撮像部２４１が出力するデジタルデータを符号化して、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの画像データに変換する。主記憶部２４２は、撮像したデジタルデータ、符号化された画像データを記憶する。ネットワークＩ／Ｆ２４４は、ネットワーク２００を介して、主記憶部２４２上の画像データを録画装置１０２に送信するためのインタフェースである。

図３には、本発明の実施形態１に係る画像検索システムに用いる録画装置１０２のハードウェア構成を例示してある。
録画装置１０２のハードウェア構成は、図３に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２５１、主記憶部２５２、補助記憶部２５３、ネットワークＩ／Ｆ２５４が、バス２５０で結合された形態である。

ＣＰＵ２５１は、録画装置１０２の各部の制御と、機能を実現するためのプログラムの実行を行う。主記憶部２５２は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの半導体装置で実現され、検索のための画像データやＣＰＵ２５１で実行するプログラムをロードして格納するための中間的なメモリである。補助記憶部２５３は、ＨＤＤやフラッシュメモリなどで実現され、主記憶部２５２より大容量のメモリであり、画像データやプログラムを格納する。ネットワークＩ／Ｆ２５４は、ネットワーク２００を介して、撮像装置２０１からの画像データを受信したり、端末装置１０３から検索キーワードを受信したり、端末装置１０３に画像データを送信するためのインタフェースである。

図４には、本発明の実施形態１に係る画像検索システムに用いる端末装置１０３のハードウェア構成を例示してある。
端末装置１０３のハードウェア構成は、図４に示すように、ＣＰＵ２６１、主記憶部２６２、補助記憶部２６３、表示Ｉ／Ｆ２６４、入出力Ｉ／Ｆ２６５、ネットワークＩ／Ｆ２６６が、バス２６０で結合された形態である。また、表示Ｉ／Ｆ２６４は、表示装置２７０と接続され、入出力Ｉ／Ｆ２６５は、キーボード２８０やマウス２８２などの入出力装置と接続される。

ＣＰＵ２６１は、端末装置１０３の各部の制御と、機能を実現するためのプログラムの実行を行う。主記憶部２６２は、ＤＲＡＭなどの半導体装置で実現され、表示のための画像データやＣＰＵ２６１で実行するプログラムをロードして格納するための中間的なメモリである。補助記憶部２６３は、ＨＤＤやフラッシュメモリなどで実現され、主記憶部２６２より大容量のメモリであり、検索キーワード、画像データやプログラムを格納する。表示Ｉ／Ｆ２６４は、表示装置２７０と接続するためのインタフェースである。入出力Ｉ／Ｆ２６５は、キーボード２８０やマウス２８２などの入出力装置と接続するためのインタフェースである。ネットワークＩ／Ｆ２６６は、ネットワーク２００を介して、録画装置１０２からの画像データを受信したり、録画装置１０２に検索キーワードを送信するためのインタフェースである。
表示装置２７０は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの装置であり、画像や動画をその表示部に表示する装置である。ユーザは、表示装置２７０の表示部に表示された画像を、キーボード２８０やマウス２８２などの入出力装置を操作して、例えばＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）操作することによって、端末装置１０３、及び、画像検索システムを操作する。

次に、図５及び図６を用いて本発明の実施形態１に係る画像検索システムに用いられるデータ構造について説明する。図５は、本発明の画像検索システムに用いられるフレームテーブル３００のデータ構造の一実施例を示す図である。また、図６は、本発明の画像検索システムに用いられる属性情報データテーブル３１０のデータ構造の一実施例を示す図である。

フレームテーブル３００は、映像データを格納するためのテーブルである。フレームテーブル３００には、画像ＩＤ３０１が付され、付された画像ＩＤと関連付けられたフレームデータ３０２とが記録される。フレームデータ３０２は、例えば、ＪＰＥＧ形式のデータなどで記録される。

属性情報データテーブル３１０は、画像データを解析した結果の画像についての属性情報データを格納するためのテーブルである。属性情報データテーブル３１０には、登録ＩＤ３１１が識別のために付与され、付与された登録ＩＤ３１１と関連付けられて、画像ＩＤ３１２、特徴量３１３、カメラＩＤ３１４、時刻情報３１５、キーワード３１６及び消去不可フラグ３１７が記録される。
例えば、付与された登録ＩＤ３１１と関連付けられて、フレームテーブル３００に格納されたフレームの一部が、画像ＩＤ３１２により指定される。また、その画像の特徴量は、特徴量３１３に、撮像した撮像装置２０１のＩＤは、カメラＩＤ３１４に、フレームの撮像時刻に関する情報は、時刻情報３１５に、フレームに付与されたキーワードは、キーワード３１６に、端末装置１０３からの要求に基づき録画装置の記録媒体内での上書きを禁止する上書き禁止情報は、消去不可フラグ３１７にと、各々のフィールドに格納される。

なお、例えば、録画のフレームレートが、３０ｆｐｓ（Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ）のときに、画像の解析を行うのは、その内で、人がいると認識した部分であり、最大３ｆｐｓ程度のフレームレートで画像を捉えて解析を行うのが一般的である。

次に、図７〜図１０を用いて、本発明の実施形態１に係る画像検索システムにおける録画装置１０２と端末装置１０３との間の処理シーケンスを説明する。図７は、本発明の画像検索システムにおいて、録画装置１０２と端末装置１０３との間の処理シーケンスの一実施例を示す図である。図８は、本発明の画像検索システムにおいて、検索実行前の初期状態における検索画面の一実施例を示した図である。図９は、本発明の画像検索システムにおいて、類似人物検索実行直前状態における検索画面の一実施例を示した図である。また、図１０は、本発明の画像検索システムにおいて、類似人物検索実行直後状態における検索画面の一実施例を示した図である。

図７において、軸５０１は、録画装置１０２の上部から下部へ進む時系列を表し、軸５０２は、端末装置１０３の上部から下部へ進む時系列を表している。また、タイミング５０３〜５０５は、それぞれ時系列上でのタイミングを表している。各タイミングにおける端末装置１０３上に表示される画面の一実施例や、ユーザ操作内容の一例については後述する。

図７において、通信５１０〜５１４は、録画装置１０２と端末装置１０３間の主な通信を示している。
通信５１０と通信５１１は、リクエストとレスポンスの関係にあり、通信５１０は、類似人物検索要求を含み、通信５１１は、類似人物検索結果を含む。この２つの通信により、１回の類似人物検索が実行されることになる。
通信５１２は、画像に対する上書き禁止要求を含む。
通信５１３は、画像に対する一括ダウンロード要求を含む。
通信５１４は、端末装置１０３から要求された画像データの一括送信を含む。
ここで、通信５１１に含まれる類似人物検索結果には、画像ＩＤ３０１等の属性情報データテーブル３１０の静的な情報だけでなく、録画装置１０２における検索処理時に算出された検索キー画像に対する類似度を含むようにする。
本実施例では類似度は０〜１００までの範囲の数値とし、１００に近いほど検索キー画像に似た画像であることを表すものとする。

次に、図８〜図１０を用いて、本発明の画像検索システムの端末装置１０３におけるユーザの操作イメージについて説明する。

図８は、検索実行前の初期状態、すなわち、図７のタイミング５０３における端末装置１０３の表示部に表示される検索画面８０１の一実施例である。ユーザは、この検索画面８０１から検索を開始する。
図８の検索画面８０１は、再生画像表示領域３００１、画像再生操作領域３００３、検索キー画像指定領域３００４、検索絞込パラメータ指定領域３００８、検索実行領域４０１７、および、検索結果表示領域４０２０よりなる。

図８の検索画面８０１において、再生画像表示領域３００１は、録画装置１０２に記録された画像を動画像として表示する領域である。また再生画像表示領域３００１の動画３００２は、録画装置に記録された画像を動画像として表示するものである。
画像再生操作領域３００３は、録画装置に記録された画像を再生操作する領域である。 本領域３００３を構成する各ボタンには、それぞれ固有の再生種類が割当てられている。図８における各ボタンには、例えば左から、巻戻し、逆再生、再生停止、順再生、早送りの再生種類が割当てられている。ユーザが各ボタンをマウス２８２で適宜押下することにより、動画３００２がボタンに割当てられた再生種類に切り替る。

検索キー画像指定領域３００４は、検索キー画像の指定と表示を行う領域である。本領域は、検索キー画像３００５と、映像指定ボタン３００６、ファイル指定ボタン３００７よりなる。
検索キー画像３００５は、類似検索のためのキーとする画像である。初期状態においては、検索キー画像は、未指定であるので、画像表示はされていない状態となる。なお、未指定の場合に、別途用意した未指定状態を示す画像を表示する等、未指定である旨の表記をするようにしてもよい。

映像指定ボタン３００６は、押下時に再生画像表示領域３００１に表示されている画像を、検索キー画像３００５として指定するボタンである。
ファイル指定ボタン３００７は、録画装置１０２に記録されている画像以外の画像、例えば、デジタルスチルカメラで撮影した画像やスキャナで取込んだ画像等を、検索キー画像３００５として指定するボタンである。このボタン３００７を押下すると、それらの画像をファイル指定するダイアログボックスが表示され、ユーザはそこで所望の画像を指定することができる。

検索絞込パラメータ指定領域３００８は、検索の際の絞込パラメータの種類とその値（範囲）を指定する領域である。この領域３００８は、撮像装置（カメラ）指定チェックボックス３００９、３０１０、３０１１、３０１２と、時刻指定チェックボックス３０１３、３０１４、時刻指定欄３０１５、３０１６から構成される。

撮像装置指定チェックボックス３００９、３０１０、３０１１、３０１２は、検索の際に検索対象とする撮像装置（カメラ１〜４）を指定するボタンである。本ボタンは、押下すると選ばれたことを示すチェックマークがそれぞれ表示される。このマークは再押下すると非表示となり、押下で表示と非表示を繰り返す。
初期状態においては、全撮像装置を検索対象とするため、撮像装置指定チェックボックスは全て選択状態となる。

時刻指定チェックボックス３０１３、３０１４は、検索の際に検索対象とする時刻範囲を指定するボタンである。表示の態様については本ボタンも他のチェックボックスと同様である。時刻指定チェックボックス３０１３を選択状態にした場合には時刻範囲に先頭時刻を与える。非選択状態にした場合には、時刻範囲に先頭時刻を与えない、即ち、録画装置に記録された最も古い時刻の画像までを検索対象範囲とすることを意味する。
同様に時刻指定チェックボックス３０１４を選択状態にした場合には時刻範囲に末尾時刻を与える。非選択状態にした場合には、時刻範囲に末尾時刻を与えない、すなわち、録画装置に記録された最も新しい時刻の画像までを検索対象範囲とすることを意味する。
時刻指定欄３０１５、３０１６は、上述の先頭時刻と末尾時刻の値を指定する入力欄である。
初期状態においては、全時間帯を検索対象とするため、時刻指定チェックボックスは全て非選択状態、時刻指定欄は空欄とする。

検索実行領域４０１７は、検索実行を指示する領域である。本領域は、類似人物検索ボタン３０１８に加え、キーワード指定チェックボックス４０２１とキーワード指定欄４０２２、上書き禁止ボタン３０１９と一括ダウンロードボタン４０２３よりなる。
類似人物検索ボタン３０１８は、検索キー画像３００５による類似人物検索実行を指示するボタンである。検索絞込パラメータ指定領域３００８にてパラメータが指定されている場合には、指定されたパラメータに従って検索の実行をすることを指示する。
キーワード指定チェックボックス４０２１は、キーワード指定欄４０２２の有効または無効を指定するボタンである。表示の態様については本ボタンも撮像装置指定チェックボックスと同様である。
キーワード指定欄４０２２は、キーワードの値を指定する入力欄である。
初期状態においては、キーワード指定チェックボックス４０２１は、非選択状態、キーワード指定欄４０２２は、空欄とする。
なお、キーワード指定チェックボックス４０２１を有効にして、キーワード指定欄４０２２でキーワードの値を指定してから、類似人物検索ボタン３０１８を押下することによって、指定したキーワードに基づいたキーワード検索が実行されることになる。
上書き禁止ボタン３０１９は、後述する検索結果表示領域４０２０に一覧表示された検索結果画像の中から選択した画像について、録画装置１０２に対し、元画像データへの上書き禁止要求の送信を指示する。
一括ダウンロードボタン４０２３は、後述する検索結果表示領域４０２０に一覧表示された検索結果画像の中から選択した画像について、録画装置１０２に対し、端末装置１０３への画像データ一括ダウンロード要求の送信を指示する。

検索結果表示領域４０２０は、検索結果を表示する領域である。検索結果の表示は、検索結果画像を一覧表示することにより実施する。初期状態においては、検索結果表示領域４０２０には何も表示されない。
ここで、ユーザは、映像指定ボタン３００６を押下し、また、撮像装置指定チェックボックス３００９、３０１０、３０１２を押下し、さらに、時刻指定チェックボックス３０１３、３０１４を押下し、時刻指定欄３０１５、３０１６にそれぞれ「2009/6/26 15:30:20」「2009/7/13 12:30:20」と入力する。
この操作により、検索画面は、類似人物検索実行直前状態、すなわち、図７のタイミング５０４の端末装置１０３の状態に遷移する。図９は、この状態における検索画面８０２の一実施例を示したものである。

図９の検索画面８０２において、検索キー画像３００５には、動画３００２に表示された人物「Ａさん」が検索キー画像として表示され、また、検索対象としたい撮像装置として「カメラ１、カメラ２、カメラ４」の３つの撮像装置が指定され、検索対象としたい時刻範囲として「2009/6/26 15:30:20から2009/7/13 12:30:20まで」と指定されている状態を示している。
ここで、ユーザが、類似人物検索ボタン３０１８を押下する。この押下によって、タイミング５０４から、検索画面は、類似人物検索実行直後状態、即ち、図７のタイミング５０５の端末装置１０３の状態に遷移する。図１０は、この状態における検索画面８０３の一実施例を示したものである。

図１０の検索画面８０３において、検索結果表示領域４０２０には、検索キー画像３００５をキーとして類似人物検索を実行し得られた検索結果を表示している。検索結果の表示は、検索結果画像３０３１〜３１４１を検索結果表示領域４０２０に一覧表示することにより実施する。
検索結果画像３０３１〜３１４１は、例えば、最上段左から右へ、次に２段目左から右へと検索キー画像に対する類似度順に表示する。この表示例においては、検索結果画像３０３１が検索キー画像３００５に対し最も類似度が高く、検索結果画像３１４１が最も類似度が低いということを示している。
ここで検索結果表示領域４０２０に表示されているのは、「カメラ１、カメラ２、カメラ４の2009/6/26 15:30:20から2009/7/13 12:30:20までの画像で、Ａさんと類似した画像」を検索要求した検索結果である。

図１０に示された表記において、検索結果表示領域４０２０内の検索結果画像上に図示した円とアルファベットは、人物の顔と人物名称を簡略表示したものである。
例えば、検索結果画像３０３１には、人物「Ａさん」が登場することを示している。この簡略表示している部分には、もちろん、実際のシステムでの表示では実画像が表示される。
検索結果画像３０３１の周辺には、頭出し再生ボタン３０３２と検索キー画像指定ボタン３０３３、画像選択チェックボックス４０３４を備える。他の検索結果画像でも同様である。
頭出し再生ボタン３０３２は、検索結果画像を先頭とした連続動画再生開始を指示するボタンである。例えば、頭出し再生ボタン３０３２を押下すると動画３００２が検索結果画像３０３１に切り替り、その検索結果画像を先頭として始まる動画をユーザは、視聴することができる。

検索キー画像指定ボタン３０３３は、検索結果画像３０３１を検索キー画像３００５として指定するボタンである。例えば、検索キー画像指定ボタン３０３３を押下すると、検索結果画像３０３１が、検索キー画像３００５に表示される。これにより、指定された検索結果画像３００５を使って、画像の再検索を実施することができる。
類似度表示欄８０３５は、検索キー画像に対する類似度を表示する領域である。検索結果画像３０３１の類似度表示欄８０３５には、例えば、９０という値が表示されており、他の検索結果の類似度表示欄にもそれぞれ数値が表示されている。
画像選択チェックボックス４０３４は、上書き禁止指示または一括ダウンロード指示の対象となる検索結果画像を指定するボタンである。表示の態様については本ボタンも他のチェックボックスと同様である。例えば、ユーザが、画像選択チェックボックス４０３４を押下すると、チェックマークが表示され、検索結果画像３０３１が、上書き禁止指示または一括ダウンロード指示の対象となる。

この図１０に示された実施例は、「Ａさん」を目的に類似人物検索を実行した際の検索結果である。したがって、検索結果画像３０３１、３０４１、３０５１、３０６１、３０８１、３０９１、３１２１、３１４１が正解で、検索結果画像３０７１、３１０１、３１１１、３１３１が不正解であるということを示している。
ここで、類似度表示欄８０３５の数値が一定以上、図１０においては７５以上の検索結果画像３０３１、３０４１、３０５１、３０６１、３０７１、３０８１、３０９１の画像選択チェックボックスが既選択状態になっている。

類似人物検索実行直後（タイミング５０５）の状態において、画像選択チェックボックス４０３４を、本発明のように類似度によって選択状態か否かを切り替える処理を設けることによって、全て非選択状態にする方法や全て選択状態にする従来の方法と比較し、少ない選択操作数で正解画像を選択できる。
例えば、正解である検索結果画像３０３１、３０４１、３０５１、３０６１、３０８１、３０９１、３１２１、３１４１を全て選択する場合、類似人物検索実行直後状態に全て非選択状態にする方法では、８回の選択操作が必要であり、類似人物検索実行直後状態に全て選択状態にする方法では４回の選択を外す操作が必要である。一方、本発明の方法では１回の選択を外す操作と２回の選択する操作の計３回の操作で良い。

また、ユーザが画像選択チェックボックスで画像を選択し、上書き禁止ボタン３０１９を押下する。ユーザのこの操作によって、検索結果表示領域４０２０に一覧表示された検索結果画像の中から選択された画像の上書き禁止要求が録画装置１０２に送信され、録画装置１０２の画像記録部２１１は、属性情報データテーブル３１０の該当する画像ＩＤの消去不可フラグ３１７を有効にする。これによって、キー画像を基に類似画像検索を行い、抽出した画像の元画像データを録画装置１０２で上書き消去させないようにする。

また、ユーザが画像選択チェックボックスで画像を選択し、一括ダウンロードボタン４０２３を押下する。ユーザのこの操作によって、検索結果表示領域４０２０に一覧表示された検索結果画像の中から選択された画像の一括ダウンロード要求が録画装置１０２に送信され、録画装置１０２の画像記録部２１１は、記録媒体から指示された画像データを読み出し、画像送受信部２１０は、画像記録部２１１が読み出した画像データを端末装置１０３に一括送信する。

以上説明したように、本発明の実施形態１に係る画像検索システムによれば、キー画像に基づいて類似画像検索を行い、検索結果画像の中から選択した画像について、録画装置内で元画像データを上書き消去しないよう設定することにより、重要な画像データを誤って消去することなく、利便性の向上を図ることが可能な画像検索システムを提供することができる。

なお、上記実施形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。

１０２：録画装置、１０３：端末装置、１１０：キーワード記録部、２００：ネットワーク、２０１：撮像装置、２０２：録画装置、２０３：端末装置、２１０：画像送受信部、２１１：画像記録部、２１２：再生制御部、２１３：人物領域検出部、２１４：人物特徴量抽出部、２１５：人物特徴量記録部、２１６：属性情報記録部、２１７：要求受信部、２１８：類似人物検索部、２１９：キーワード検索部、２２０：検索結果送信部、２２１：検索要求送信部、２２２：検索結果受信部、２２３：検索結果表示部、２２４：再生画像表示部、２２５：画面操作検知部、２２６：上書き禁止要求送信部、２２７：一括ダウンロード要求送信部、２４０：バス、２４１：撮像部、２４２：主記憶部、２４３：符号化部、２４４：ネットワークＩ／Ｆ、２５０：バス、２５１：ＣＰＵ、２５２：主記憶部、２５３：補助記憶部、２５４：ネットワークＩ／Ｆ、２６０：バス、２６１：ＣＰＵ、２６２：主記憶部、２６３：補助記憶部、２６４：表示Ｉ／Ｆ、２６５：入出力Ｉ／Ｆ、２６６：ネットワークＩ／Ｆ、２７０：表示装置、２８０：キーボード、２８２：マウス、 ３００：フレームテーブル、３０１：画像ＩＤ、３０２：フレームデータ、３１０：属性情報データテーブル、３１１：登録ＩＤ、３１２：画像ＩＤ、３１３：特徴量、３１４：カメラＩＤ、３１５：時刻情報、３１６：キーワード、３１７：消去不可フラグ、８０１，８０２，８０３：検索画面、３００１：再生画像表示領域、３００２：動画、３００３：画像再生操作領域、３００４：検索キー画像指定領域、３００５：検索キー画像、３００６：映像指定ボタン、３００７：ファイル指定ボタン、３００８：検索絞込パラメータ指定領域、３００９，３０１０，３０１１，３０１２：撮像装置指定チェックボックス、３０１３，３０１４：時刻指定チェックボックス、３０１５，３０１６：時刻指定欄、３０１７：検索実行領域、３０１８：類似人物検索ボタン、３０１９：上書き禁止ボタン、３０２０：検索結果表示領域、 ３０３１，３０４１，３０５１，３０６１，３０７１，３０８１，３０９１，３１０１，３１１１，３１２１，３１３１，３１４１：検索結果画像、３０３２：頭出し再生ボタン、 ３０３３：検索キー画像指定ボタン、４０１７：検索実行領域、４０２０：検索結果表示領域、４０２１：キーワード指定チェックボックス、４０２２：キーワード指定欄、４０２３：一括ダウンロードボタン、４０３４：画像選択チェックボックス、８０３５：類似度表示欄。

Claims (3)

1. 撮像装置と、前記撮像装置から入力された画像データを記録媒体に記録する録画装置と、端末装置とから構成される画像検索システムにおいて、
   前記録画装置は、
   前記端末装置から検索キーとなるキー画像を受信すると、前記キー画像に対して類似度が高い画像データを検索する検索手段と、
   前記検索手段で検索した画像データを前記端末装置に送信する送信手段と、
   検索画像データの中から前記端末装置で指定された検索画像データへの上書きを禁止する上書き禁止手段と、
   を有することを特徴とする画像検索システム。
2. 請求項１記載の画像検索システムにおいて、前記端末装置は、前記録画装置から送信された検索画像データをサムネイル表示させ、サムネイル表示させた検索画像データの中から、ユーザに上書き禁止する検索画像データを指定させることを特徴とする画像検索システム。
3. 請求項１または２に記載の画像検索システムにおいて、前記録画装置は、前記端末装置からの指示に基づき、前記上書き禁止する検索画像データを前記端末装置に一括ダウンロードすることを特徴とする画像検索システム。