JP2000341615A - 映像検索方法、映像検索装置及び記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 映像の検索を効率的に行うのに好適な映像検
索方法、映像検索装置および記憶媒体を提供する。 【解決手段】 映像集合の各映像情報ごとに、その映像
情報に含まれる映像を参照するための参照映像を表示
し、参照映像のうち一の参照映像の指定を入力し、指定
された参照映像に対応する映像の映像情報を評価情報と
して取得し、取得した評価情報に基づいて、指定された
参照映像に対応する映像と関連性のある映像を映像集合
から検索し、参照映像のうち索出した映像に対応する参
照映像の色彩を変更するようになっている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数の映像から目
的の映像を検索する方法および装置、並びに複数の映像
から目的の映像を検索するためのプログラムを記憶した
記憶媒体に係り、特に、映像の検索を効率的に行うのに
好適な映像検索方法、映像検索装置および記憶媒体に関
する。

【０００２】

【従来の技術】映像処理技術その他の信号処理技術が進
歩したことにより、従来、データとして数値・文字デー
タのみを取り扱ってきたコンピュータ、ワークステーシ
ョン等の計算機において、映像情報をもデータとして取
り扱うマルチメディア処理が可能となった。そして、デ
ータの圧縮技術の進歩および記憶装置の大容量化に伴っ
て、取り扱うデータ量も多量になった。多種類の、しか
も多量のデータを取り扱い、蓄積するようになると、必
要な情報の検索を迅速容易に実行することが要望される
に至る。

【０００３】情報を検索する方法としては、一般に、情
報にあらかじめインデックスを付与しておき、インデッ
クス付与された部分を取り出すという方法が採用され
る。文字列を取り扱うテキストデータにおいては、文字
列検索に代表されるように、指定されたキーワードとデ
ータとの間のマッチングをとることによって適合箇所に
インデックスを付与していくことができるので、検索が
容易である。ところが、映像情報のように、連続的でか
つ時間とともに内容が変化する情報の場合は、一定の形
状のものを見つけ出してその映像部分にインデックスを
付与することは大変に困難であり、特に、再生時間が数
百から数千時間にも及ぶ映像情報の中から目的の映像を
探し出すには多大な労力を要する。このため、目的の映
像を素早く見つける効率的な検索方法および装置が必要
となる。

【０００４】検索効率を向上させる検索方法の一つとし
て、複数の映像からなる映像集合についての利用者の評
価をシステム側にフィードバックする、関連フィードバ
ックと呼ばれる方法がある。関連フィードバックでは、
フィードバックされた評価情報から目的の映像に関する
情報を得るため、目的の映像と関連性の高い映像の検
索、あるいは再配列が可能となり、検索効率が向上す
る。

【０００５】例えば、文献「Color-Based Pseudo Objec
t Model for Image Retrieval withRelevance Feedbac
k」（Tat-Seng Chua aand Chun-Xin Chu,pp.148-162,Pr
oceedings of AMCP'98,Japan,Nov,1998）では、図９に
示すように、初期入力に対する検索結果として、映像集
合のうち目的の映像と関連性があるであろういくつかの
映像を表示し、それぞれの映像に対して、「Relevance
（関連性あり）」と「No-Relevance（関連性なし）」の
２つの選択肢を用意している。利用者は、自己が意図す
る目的の映像と表示されたそれぞれの映像とを比較し
て、関連性のある映像に対しては「Relevance」を、明
らかに関連性のない映像に対しては「No-Relevance」を
選択することで評価情報を入力し、これによって自己が
意図する目的の映像との関連性をシステムに与える。シ
ステムは、「Relevane」が選択された映像から映像情報
を抽出し反復的に利用することにより、初期入力からで
は判定できなかった、目的の映像に対する情報を補完
し、目的の映像を絞り込んでいく。

【０００６】

【発明が解決しようとする課題】しかしながら、上記従
来の関連フィードバックを用いたシステムにあっては、
目的の映像と表示されたそれぞれの映像との関連性を、
主に数値やグラフ、あるいは映像の配置によって表現し
ているため、数値やグラフの内容、あるいは映像の配置
位置を検討しながら関連性を把握しなければならず、直
感的に関連性をとらえにくいという問題があった。

【０００７】また、検索結果からは、表示された映像が
過去の検索において何回索出されたかを把握することが
できない。通常、目的の映像を探し出すまでは、利用者
は検索を複数回にわたって行うのであるが、このような
場合、過去の検索において多数にわたって索出されてい
る映像は、利用者がこれまで与えた検索条件との関連性
が高く、過去の検索における索出回数は、目的の映像を
探し出すための情報として有益である。

【０００８】さらに、検索結果からは、目的の映像と表
示されたそれぞれの映像との関連性が、言い換えれば、
目的の映像を検索するために利用者が与えた一の検索条
件との関連性が得られるのみで、複数の検索条件との関
連性を得ることができない。例えば、利用者が２つの検
索条件（例えば、「雲がある映像」、「家がある映
像」）をもとに目的の映像を検索したい場合、効率的に
検索を行うためには、検索結果からは、両方の検索条件
との関連性が得られることが望まれる。

【０００９】そこで、本発明は、このような従来の技術
の有する未解決の課題に着目してなされたものであっ
て、検索結果から目的の映像との関連性を直感的にとら
えることができ、しかも複数の検索条件を用いて映像の
検索を複合的に行うことができ、これにより映像の検索
の効率を向上することができる映像検索方法、映像検索
装置および記憶媒体を提供することを目的としている。

【００１０】

【課題を解決するための手段】上記目的を達成するため
に、本発明に係る請求項１記載の映像検索方法は、複数
の映像から目的の映像を検索する方法であって、前記複
数の映像を参照するための参照映像を表示する表示ステ
ップと、前記参照映像のうち少なくとも一の参照映像を
利用者に指定させる指定ステップと、前記複数の映像の
うち指定に係る映像についての評価情報を取得する取得
ステップと、取得した評価情報に基づいて前記複数の映
像から映像を検索する検索ステップと、前記検索ステッ
プの検索結果に基づいて前記参照映像の表示態様を変更
する変更ステップと、を含む。

【００１１】このような方法であれば、まず、表示ステ
ップで、複数の映像を参照するための参照映像が表示さ
れ、指定ステップで、表示された参照映像のうち少なく
とも一の参照映像を利用者に指定させる。これに応じ
て、利用者によって参照映像が指定されたときは、取得
ステップで、複数の映像のうち指定に係る映像について
の評価情報が取得され、検索ステップで、取得された評
価情報に基づいて複数の映像から映像が検索され、変更
ステップで、検索ステップの検索結果に基づいて参照映
像の表示態様が変更される。

【００１２】ここで、表示ステップは、例えば、複数の
映像を参照するための参照映像を、ディスプレイ等の表
示手段に表示することにより実現することができる。よ
り具体的には、複数の映像を含む１または２以上の映像
情報を記憶した記憶手段からその映像情報を読み出し、
読み出した映像情報に基づいて複数の映像を参照するた
めの参照映像を表示手段に表示する。

【００１３】また、参照映像としては、例えば、複数の
映像の一部または全部をそのまままたは加工（縮小、拡
大、一部抜粋）して参照映像とする場合、あるいは、複
数の映像の一部または全部にそれぞれ対応していること
を示す所定の映像を参照映像とする場合を挙げることが
できる。また、取得ステップは、例えば、複数の映像の
うち指定に係る映像自体または指定に係る映像の映像情
報をその映像についての評価情報として取得することに
より、あるいは、複数の映像のうち指定に係る映像につ
いての評価情報を利用者に入力させることにより、実現
することができる。したがって、「取得」には、評価情
報を単に取得することだけでなく、利用者に評価情報を
入力させることも含まれる。利用者に入力させる評価情
報としては、例えば、指定に係る映像に付された色彩が
どの程度目的の映像のものと類似しているかなど、目的
の映像と指定に係る映像との関連性の度合を示すような
情報を挙げることができる。

【００１４】また、指定に係る映像とは、複数の映像の
一部を参照映像とする場合、あるいは、複数の映像の一
部にそれぞれ対応していることを示す所定の映像を参照
映像とする場合は、複数の映像のうち指定された参照映
像に対応する複数の映像をいい、複数の映像の全部を参
照映像とする場合、あるいは、複数の映像の全部にそれ
ぞれ対応していることを示す所定の映像を参照映像とす
る場合は、複数の映像のうち指定された参照映像に対応
する一の映像をいう。

【００１５】また、変更ステップは、検索ステップの検
索結果に基づいて参照映像の表示態様を変更するが、具
体的には、参照映像のうち索出した映像に係る参照映像
の表示態様を変更する。なお、映像に係る参照映像と
は、参照映像のうち索出された映像に対応する参照映像
をいう。さらに、本発明に係る請求項２記載の映像検索
方法は、複数の映像から目的の映像を検索する方法であ
って、前記複数の映像を含む１または２以上の映像情報
に基づいて前記複数の映像を区分したときの各区分に属
する映像を参照するための参照映像を表示する表示ステ
ップと、前記参照映像のうち一の参照映像を利用者に指
定させる指定ステップと、前記複数の映像のうち指定に
係る映像の映像情報をその映像についての評価情報とし
て取得する取得ステップと、取得した評価情報に基づい
て前記複数の映像のうち指定に係る映像と関連性のある
映像を前記映像情報から検索する検索ステップと、前記
参照映像のうち索出した映像に係る参照映像の表示態様
を変更する変更ステップと、を含む。

【００１６】このような方法であれば、まず、表示ステ
ップで、映像情報に基づいて複数の映像を区分したとき
の各区分に属する映像を参照するための参照映像が表示
され、指定ステップで、表示された参照映像のうち一の
参照映像を利用者に指定させる。これに応じて、利用者
によって参照映像が指定されたときは、取得ステップ
で、複数の映像のうち指定に係る映像の映像情報がその
映像についての評価情報として取得され、検索ステップ
で、取得された評価情報に基づいて複数の映像のうち指
定に係る映像と関連性のある映像が映像情報から検索さ
れ、変更ステップで、参照映像のうち索出された映像に
係る参照映像の表示態様が変更が変更される。

【００１７】ここで、表示ステップは、例えば、複数の
映像を区分したときの各区分に属する映像を参照するた
めの参照映像を、ディスプレイ等の表示手段に表示する
ことにより実現することができる。より具体的には、複
数の映像を含む１または２以上の映像情報を記憶した記
憶手段からその映像情報を読み出し、読み出した映像情
報に基づいて複数の映像を区分したときの各区分に属す
る映像を参照するための参照映像を表示手段に表示す
る。

【００１８】また、参照映像としては、例えば、複数の
映像を区分したときの各区分を代表する代表映像をその
まままたは加工（縮小、拡大、一部抜粋）して参照映像
とする場合、あるいは、複数の映像を区分したときの各
区分を代表する代表映像にそれぞれ対応していることを
示す所定の映像を参照映像とする場合を挙げることがで
きる。

【００１９】また、複数の映像を含む１または２以上の
映像情報とは、複数の映像が１または２以上の映像情報
に含まれている場合であって、これには、例えば、複数
の映像を含む映像情報が一つある場合、一の映像を含む
映像情報が２以上ある場合、または複数の映像を含む映
像情報が２以上ある場合を挙げることができる。また、
指定に係る映像とは、代表映像を参照映像とする場合、
あるいは、代表映像にそれぞれ対応していることを示す
所定の映像を参照映像とする場合は、複数の映像のうち
指定された参照映像に対応する代表映像が代表する複数
の映像をいう。

【００２０】さらに、本発明に係る請求項３記載の映像
検索方法は、請求項１および２のいずれかに記載の映像
検索方法において、前記指定ステップ、前記取得ステッ
プ、前記検索ステップおよび前記変更ステップを複数回
繰り返して行い、前記変更ステップは、前記参照映像の
うち表示態様を変更しようとする参照映像のこれまでの
表示態様の変更回数に応じて、その参照映像の表示態様
を変更する。

【００２１】このような方法であれば、指定ステップ、
取得ステップ、検索ステップおよび変更ステップが複数
回繰り返して行われ、その繰り返しの過程において、変
更ステップでは、参照映像のうち表示態様を変更しよう
とする参照映像のこれまでの表示態様の変更回数に応じ
て、その参照映像の表示態様が変更される。さらに、本
発明に係る請求項４記載の映像検索方法は、請求項１な
いし３のいずれかに記載の映像検索方法において、前記
表示ステップ、前記指定ステップ、前記取得ステップ、
前記検索ステップおよび前記変更ステップを含む一連の
ステップを独立に複数回行って、検索結果としての前記
参照映像の表示パターンを複数生成し、前記表示パター
ンのいずれかにおいて参照映像の表示態様が変更されて
おり、かつ、その参照映像に対応する他の表示パターン
における参照映像の表示態様も変更されているときは、
その参照映像を、他の表示パターンにおいても表示態様
が変更されていることを示す表示態様で表示する。

【００２２】このような方法であれば、表示ステップ、
指定ステップ、取得ステップ、検索ステップおよび変更
ステップを含む一連のステップが独立に複数回行われる
ことにより、検索結果としての参照映像の表示パターン
が複数生成される。そして、表示パターンのいずれかに
おいて参照映像の表示態様が変更されており、かつ、そ
の参照映像に対応する他の表示パターンにおける参照映
像の表示態様も変更されているときは、その参照映像
が、他の表示パターンにおいても表示態様が変更されて
いることを示す表示態様で表示される。すなわち、２以
上の表示パターンにおいて、表示態様が変更されている
箇所が一致しているときは、その箇所の参照映像が、現
在の表示態様とは異なる特殊な表示態様で表示されるこ
とになる。

【００２３】ここで、表示パターンとしては、例えば、
表示ステップで表示された参照映像および変更ステップ
で表示態様が変更された参照映像を含む表示画面を挙げ
ることができる。さらに、本発明に係る請求項５記載の
映像検索方法は、請求項４記載の映像検索方法におい
て、前記表示ステップ、前記指定ステップ、前記取得ス
テップ、前記検索ステップおよび前記変更ステップを含
む一連のステップを独立に複数回行って、検索結果とし
ての前記参照映像の表示パターンを複数生成する場合
に、前記一連のステップのいずれかを利用者に選択さ
せ、選択された一連のステップを行う。

【００２４】このような方法であれば、表示パターンを
複数生成する場合に、一連のステップのいずれかを利用
者に選択させる。これに応じて、利用者によっていずれ
かの一連のステップが選択されたときは、選択された一
連のステップが行われる。したがって、利用者の複数回
にわたる選択によって一連のステップが独立に複数回行
われることにより、表示パターンが複数生成される。

【００２５】さらに、本発明に係る請求項６記載の映像
検索方法は、請求項４および５のいずれかに記載の映像
検索方法において、前記一連のステップで生成した表示
パターンを記憶しておき、前記表示パターンのいずれか
を利用者に選択させ、選択された表示パターンを読み出
して表示する。このような方法であれば、一連のステッ
プで生成された表示パターンが記憶され、表示パターン
のいずれかを表示するときは、表示パターンのいずれか
を利用者に選択させる。これに応じて、利用者によって
いずれかの表示パターンが選択されたときは、選択され
た表示パターンが読み出されて表示される。

【００２６】一方、本発明に係る請求項７記載の映像検
索装置は、複数の映像から目的の映像を検索する装置で
あって、前記複数の映像を参照するための参照映像を表
示する参照映像表示手段と、前記参照映像のうち少なく
とも一の参照映像の指定を入力する入力手段と、前記複
数の映像のうち指定に係る映像についての評価情報を取
得する取得手段と、取得した評価情報に基づいて前記複
数の映像から映像を検索する検索手段と、前記検索手段
の検索結果に基づいて前記参照映像の表示態様を変更す
る変更手段と、を備えている。

【００２７】このような構成であれば、まず、参照映像
表示手段により、複数の映像を参照するための参照映像
が表示される。そして、参照映像のうち少なくとも一の
参照映像の指定が利用者等によって入力手段から入力さ
れたときは、取得手段により、複数の映像のうち指定に
係る映像についての評価情報が取得され、検索手段によ
り、取得された評価情報に基づいて複数の映像から映像
が検索され、変更手段により、検索手段の検索結果に基
づいて参照映像の表示態様が変更される。

【００２８】ここで、参照映像表示手段は、例えば、複
数の映像を参照するための参照映像を、ディスプレイ等
の表示手段に表示することにより構成することができ
る。より具体的には、複数の映像を含む１または２以上
の映像情報を記憶した記憶手段を別に備え、この記憶手
段から映像情報を読み出し、読み出した映像情報に基づ
いて複数の映像を参照するための参照映像を表示手段に
表示するようになっている。

【００２９】また、参照映像としては、例えば、複数の
映像の一部または全部をそのまままたは加工（縮小、拡
大、一部抜粋）して参照映像とする場合、あるいは、複
数の映像の一部または全部にそれぞれ対応していること
を示す所定の映像を参照映像とする場合を挙げることが
できる。また、取得手段は、例えば、複数の映像のうち
指定に係る映像自体または指定に係る映像の映像情報を
その映像についての評価情報として取得することによ
り、あるいは、複数の映像のうち指定に係る映像につい
ての評価情報を利用者に入力させることにより、構成す
ることができる。したがって、「取得」には、評価情報
を単に取得することだけでなく、利用者に評価情報を入
力させることも含まれる。利用者に入力させる評価情報
としては、例えば、指定に係る映像に付された色彩がど
の程度目的の映像のものと類似しているかなど、目的の
映像と指定に係る映像との関連性の度合を示すような情
報を挙げることができる。

【００３０】また、指定に係る映像とは、複数の映像の
一部を参照映像とする場合、あるいは、複数の映像の一
部にそれぞれ対応していることを示す所定の映像を参照
映像とする場合は、複数の映像のうち指定された参照映
像に対応する複数の映像をいい、複数の映像の全部を参
照映像とする場合、あるいは、複数の映像の全部にそれ
ぞれ対応していることを示す所定の映像を参照映像とす
る場合は、複数の映像のうち指定された参照映像に対応
する一の映像をいう。

【００３１】また、変更手段は、検索手段の検索結果に
基づいて参照映像の表示態様を変更するが、具体的に
は、参照映像のうち索出した映像に係る参照映像の表示
態様を変更するようになっている。なお、映像に係る参
照映像とは、参照映像のうち索出された映像に対応する
参照映像をいう。さらに、本発明に係る請求項８記載の
映像検索装置は、複数の映像から目的の映像を検索する
装置であって、複数の映像から目的の映像を検索する装
置であって、前記複数の映像を含む１または２以上の映
像情報を記憶するための記憶手段と、前記映像情報を前
記記憶手段から読み出す読出手段と、読み出した映像情
報に基づいて前記複数の映像を区分したときの各区分に
属する映像を参照するための参照映像を表示する参照映
像表示手段と、前記参照映像のうち一の参照映像の指定
を入力する入力手段と、前記複数の映像のうち指定に係
る映像の映像情報をその映像についての評価情報として
取得する取得手段と、取得した評価情報に基づいて前記
複数の映像のうち指定に係る映像と関連性のある映像を
前記映像情報から検索する検索手段と、前記参照映像の
うち索出した映像に係る参照映像の表示態様を変更する
変更手段と、を備えている。

【００３２】このような構成であれば、まず、読出手段
により、複数の映像を含む１または２以上の映像情報が
記憶手段から読み出され、参照映像表示手段により、読
み出された映像情報に基づいて複数の映像を区分したと
きの各区分に属する映像を参照するための参照映像が表
示される。そして、参照映像のうち一の参照映像の指定
が利用者等によって入力手段から入力されたときは、取
得手段により、複数の映像のうち指定に係る映像の映像
情報がその映像についての評価情報として取得され、検
索手段により、取得された評価情報に基づいて複数の映
像のうち指定に係る映像と関連性のある映像が映像情報
から検索され、変更手段により、参照映像のうち索出さ
れた映像に係る参照映像の表示態様が変更が変更され
る。

【００３３】ここで、表示手段は、例えば、複数の映像
を区分したときの各区分に属する映像を参照するための
参照映像を、ディスプレイ等の表示手段に表示すること
により構成することができる。また、参照映像として
は、例えば、複数の映像を区分したときの各区分を代表
する代表映像をそのまままたは加工（縮小、拡大、一部
抜粋）して参照映像とする場合、あるいは、複数の映像
を区分したときの各区分を代表する代表映像にそれぞれ
対応していることを示す所定の映像を参照映像とする場
合を挙げることができる。

【００３４】また、記憶手段は、複数の映像を含む１ま
たは２以上の映像情報をあらかじめ記憶しておくもので
あってもよいし、本装置の動作時に記憶するものであっ
てもよい。また、複数の映像を含む１または２以上の映
像情報とは、複数の映像が１または２以上の映像情報に
含まれている場合であって、これには、例えば、複数の
映像を含む映像情報が一つある場合、一の映像を含む映
像情報が２以上ある場合、または複数の映像を含む映像
情報が２以上ある場合を挙げることができる。

【００３５】また、指定に係る映像とは、代表映像を参
照映像とする場合、あるいは、代表映像にそれぞれ対応
していることを示す所定の映像を参照映像とする場合
は、複数の映像のうち指定された参照映像に対応する代
表映像が代表する複数の映像をいう。さらに、本発明に
係る請求項９記載の映像検索装置は、請求項７および８
のいずれかに記載の映像検索装置において、前記入力手
段、前記取得手段、前記検索手段および前記変更手段を
繰り返して実行可能となっており、前記変更手段は、前
記参照映像のうち表示態様を変更しようとする参照映像
のこれまでの表示態様の変更回数に応じて、その参照映
像の表示態様を変更するようになっている。

【００３６】このような構成であれば、入力手段、取得
手段、検索手段および変更手段が繰り返して実行された
ときは、その実行の過程において、変更手段により、参
照映像のうち表示態様を変更しようとする参照映像のこ
れまでの表示態様の変更回数に応じて、その参照映像の
表示態様が変更される。さらに、本発明に係る請求項１
０記載の映像検索装置は、請求項７ないし９のいずれか
に記載の映像検索装置において、前記参照映像表示手
段、前記入力手段、前記取得手段、前記検索手段および
前記変更手段を含む一連の処理を独立に複数実行し、検
索結果としての前記参照映像の表示パターンを複数生成
可能となっており、前記表示パターンのいずれかにおい
て参照映像の表示態様が変更されており、かつ、その参
照映像に対応する他の表示パターンにおける参照映像の
表示態様も変更されているときは、その参照映像を、他
の表示パターンにおいても表示態様が変更されているこ
とを示す表示態様で表示するようになっている。

【００３７】このような構成であれば、参照映像表示手
段、入力手段、取得手段、検索手段および変更手段を含
む一連の処理が独立に複数回実行されることにより、検
索結果としての参照映像の表示パターンが複数生成され
た場合に、表示パターンのいずれかにおいて参照映像の
表示態様が変更されており、かつ、その参照映像に対応
する他の表示パターンにおける参照映像の表示態様も変
更されているときは、その参照映像が、他の表示パター
ンにおいても表示態様が変更されていることを示す表示
態様で表示される。すなわち、２以上の表示パターンに
おいて、表示態様が変更されている箇所が一致している
ときは、その箇所の参照映像が、現在の表示態様とは異
なる特殊な表示態様で表示されることになる。

【００３８】ここで、表示パターンとしては、例えば、
参照映像表示手段により表示された参照映像および変更
手段により表示態様が変更された参照映像を含む表示画
面を挙げることができる。さらに、本発明に係る請求項
１１記載の映像検索装置は、請求項１０記載の映像検索
装置において、前記一連の処理のいずれかの選択を入力
し、選択された一連の処理を実行するようになってい
る。

【００３９】このような構成であれば、表示パターンを
複数生成する場合に、一連の処理のいずれかの選択が利
用者等によって入力されたときは、選択された一連の処
理が実行される。したがって、利用者等の複数回にわた
る選択によって一連の処理が独立に複数回行われること
により、表示パターンが複数生成される。さらに、本発
明に係る請求項１２記載の映像検索装置は、請求項１０
および１１のいずれかに記載の映像検索装置において、
前記一連の処理で生成した表示パターンを記憶し、前記
表示パターンのいずれかの選択を入力し、選択された表
示パターンを読み出して表示するようになっている。

【００４０】このような構成であれば、一連の処理で生
成された表示パターンが記憶され、表示パターンのいず
れかを表示するときは、表示パターンのいずれかの選択
が利用者等によって入力されたときは、選択された表示
パターンが読み出されて表示される。一方、本発明に係
る請求項１３記載の記憶媒体は、複数の映像から目的の
映像を検索するためのプログラムを記憶した記憶媒体で
あって、請求項１ないし６のいずれかに記載の、前記表
示ステップ、前記指定ステップ、前記取得ステップ、前
記検索ステップおよび前記変更ステップをコンピュータ
に実行させるためのプログラムを記憶したコンピュータ
読み取り可能なものである。

【００４１】このような構成であれば、記憶媒体に記憶
された情報がコンピュータによって読み取られ、各ステ
ップが実行されたときは、上記請求項１ないし６のいず
れかに記載の映像表示方法と同様の作用が得られる。さ
らに、本発明に係る請求項１４記載の記憶媒体は、複数
の映像から目的の映像を検索するためのプログラムを記
憶した記憶媒体であって、請求項７ないし１２のいずれ
かに記載の、前記参照映像表示手段、前記入力手段、前
記取得手段、前記検索手段および前記変更手段としてコ
ンピュータを機能させるためのプログラムを記憶したコ
ンピュータ読み取り可能なものである。

【００４２】このような構成であれば、記憶媒体に記憶
された情報がコンピュータによって読み取られ、コンピ
ュータが各手段として機能させられたときは、上記請求
項７ないし１２のいずれかに記載の映像検索装置と同様
の作用が得られる。

【００４３】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照しながら説明する。図１ないし図８は、本発明に
係る映像検索方法の実施の形態を示す図である。この実
施の形態は、本発明に係る映像検索方法および映像検索
装置を、図１に示すように、映像検索装置２００，３０
０において、映像データベース１００から複数の映像を
含む映像集合を入力し、その映像集合から利用者が意図
する目的の映像を検索する場合について適用したもので
ある。ここで、本発明に係る映像検索方法および映像検
索装置は、映像検索装置２００，３００に適用される。

【００４４】まず、本発明に係る映像検索方法および映
像検索装置を適用する映像検索ネットワークシステムの
構成を図１を参照しながら説明する。図１は、本発明に
係る映像検索方法および映像検索装置を適用する映像検
索ネットワークシステムの構成を示すブロック図であ
る。このネットワークシステムは、図１に示すように、
複数の映像を含む映像情報を蓄積した映像データベース
１００と、映像データベース１００から映像集合を入力
して映像の検索を行う映像検索装置２００，３００と、
で構成されており、映像データベース１００と映像検索
装置２００，３００とは、データを伝送するための信号
線である通信ケーブル９９で相互にかつデータ送受信可
能に接続されている。なお、発明の理解を容易にするた
め、映像検索装置を２台しか図示していないが、実際に
は、複数台の映像検索装置が映像データベース１００に
接続されている。

【００４５】映像データベース１００は、時間的に連続
しかつ意味内容が同一または類似の複数の映像を含む映
像情報を複数有し、これらの映像情報を、異なる複数種
のカテゴリ（例えば、映画、スポーツ）に分類して蓄積
しており、検索対象としてカテゴリの指定を映像検索装
置２００，３００から受信したときは、その応答とし
て、検索対象として指定されたカテゴリに属する映像情
報を索出し、これを映像集合として映像検索装置２０
０，３００に送信するようになっている。映像情報は、
映画等の時間的に連続した映像を、例えば、毎秒５フレ
ーム、１フレーム当たり１６０×１２０の画素にデジタ
ル化したものである。

【００４６】次に、映像検索装置２００，３００の構成
を図２を参照しながら説明する。映像検索装置２００，
３００は、いずれも同一機能を有して構成されているた
め、ここでは、映像検索装置２００の構成のみを説明
し、映像検索装置３００の構成については説明を省略す
る。図２は、映像検索装置２００の構成を示すブロック
図である。

【００４７】映像検索装置２００は、図２に示すよう
に、制御プログラムに基づいて演算およびシステム全体
を制御するＣＰＵ２１０と、所定領域にあらかじめＣＰ
Ｕ２１０の制御プログラム等を格納しているＲＯＭ２２
０と、ＲＯＭ２２０等から読み出したデータやＣＰＵ２
１０の演算過程で必要な演算結果を格納するためのＲＡ
Ｍ２３０と、ＲＡＭ２３０の特定領域に格納されている
データを画像信号に変換して出力するＣＲＴＣ２４０
と、通信ケーブル９９や外部装置とのデータの入出力を
媒介するＩ／Ｆ２５０と、を有しており、これらは、デ
ータを転送するための信号線であるバス２５５で相互に
かつデータ授受可能に接続されている。

【００４８】Ｉ／Ｆ２５０には、外部装置として、デー
タやテーブル等をファイルとして格納する記憶装置２６
０と、ヒューマンインターフェースとしてデータの入力
が可能なキーボードやマウス等からなる入力装置２７０
と、画像信号に基づいて画面を表示する表示装置２９０
と、が接続されている。ＲＡＭ２３０は、特定領域とし
て、表示装置２９０に表示するための表示用データを格
納するＶＲＡＭ２３５を有しており、ＶＲＡＭ２３５
は、ＣＰＵ２１０とＣＲＴＣ２４０とで独立にアクセス
が可能となっている。

【００４９】ＣＲＴＣ２４０は、ＶＲＡＭ２３５に格納
されている表示用データを先頭アドレスから所定周期で
順次読み出し、読み出した表示用データを画像信号に変
換して表示装置２９０に出力するようになっている。Ｃ
ＰＵ２１０は、マイクロプロセッシングユニットＭＰＵ
等からなり、映像集合から目的の映像を検索するとき
は、検索対象となる映像集合を入力するため、映像デー
タベース１００により大まかなカテゴリ検索を行い、そ
のカテゴリに属する映像情報を映像集合として送信する
ことを映像データベース１００に要求するとともに、Ｒ
ＯＭ２２０の所定領域に格納されている所定のプログラ
ムを起動させ、図３のフローチャートに示す映像検索処
理を実行するようになっている。図３は、映像検索処理
を示すフローチャートである。

【００５０】映像検索処理は、その処理を実行する要求
を入力装置２７０から入力することにより起動し、ＣＰ
Ｕ２１０において実行されると、図３に示すように、ま
ず、ステップＳ１００に移行するようになっている。以
下、映像検索処理の説明と合わせて、表示装置２９０の
表示画面の構成を図４および図５を参照しながら説明す
る。図４は、表示装置２９０の表示画面の構成を示す図
であり、図５は、参照映像表示部の構成を示す図であ
る。

【００５１】ステップＳ１００では、映像データベース
１００から映像集合を入力し、入力した映像集合を記憶
装置２６０に格納し、ステップＳ１０１に移行して、映
像集合を記憶装置２６０から読み出し、ステップＳ１０
２に移行する。ステップＳ１０２では、図４に示すよう
に、映像集合の各映像情報ごとに、その映像情報に含ま
れる映像を参照するための参照映像を参照映像表示部１
０に表示する。参照映像表示部１０には、図５に示すよ
うに、各映像情報の参照映像を行ごとに表示し、各行に
は、映像情報に含まれる複数の映像を所定時間（例え
ば、１０秒）間隔で区分したときの各区分に属する映像
に対応していることを示す参照映像（セル）を、映像情
報の再生時間に相当する数だけ表示する。なお、参照映
像は、どのようなものであってもよく、本実施の形態で
は、例えば、所定の色彩（例えば、紺色）の四角形の画
像からなる。

【００５２】例えば、再生時間がそれぞれ３０秒、４０
秒、５０秒である映像情報Ａ，Ｂ，Ｃが映像集合に含ま
れている場合には、参照映像表示部１０において、１行
目には、映像情報Ａの再生時間が３０秒であることから
これに対応する３つの参照映像が表示され、同様に、２
行目には、映像情報Ｂに対応する４つの参照映像が表示
され、３行目には、映像情報Ｃに対応する５つの参照映
像が表示される。

【００５３】また、参照映像表示部１０は、参照映像の
色彩が変更されることをもって利用者に映像の検索結果
を示すものであり、具体的には、検索の結果、目的の映
像と関連性のある映像に対応する参照映像の色彩が所定
の色彩（例えば、赤色）に変更される。参照映像表示部
１０に表示された検索結果としての参照映像の表示パタ
ーンは、利用者がある検索条件をもとに検索した検索結
果を示す。映像検索処理では、複数の検索条件を用いて
複合的に映像の検索を行うことを可能とするため、この
ように参照映像表示部１０に表示された検索結果として
の参照映像の表示パターンを複数生成可能となってい
る。

【００５４】各表示パターンは、参照映像表示部１０の
下部にある表示パターン変更ボタン１６で選択すること
により、参照映像表示部１０に表示される。そして、各
表示パターンでは、目的の映像と関連性のある映像に対
応する参照映像の色彩が他の表示パターンとはそれぞれ
異なる色に変更される。例えば、図４においては、４つ
の表示パターンが用意されており、各表示パターンは、
表示パターン変更ボタン１６として、「赤色」と記され
たタブ、「緑色」と記されたタブ、「青色」と記された
タブおよび「黄色」と記されたタブのいずれかを選択す
ることによって、参照映像表示部１０に表示される。
「赤色」のタブを選択して表示された表示パターン（以
下、「赤」の表示パターンという。「緑色」「青色」
「黄色」についても同じ。）では、参照映像の色彩が赤
色に変更され、「緑」の表示パターンでは、参照映像の
色彩が緑色に変更される。

【００５５】次いで、ステップＳ１０４に移行して、参
照映像表示部１０に表示された参照映像のうち一の参照
映像の指定を入力装置２７０から入力したか否かを判定
し、参照映像の指定を入力したと判定されたとき(Yes)
は、ステップＳ１０６に移行する。ステップＳ１０４で
は、具体的に、利用者が入力装置２７０を用いて画面上
の選択用カーソル１４を操作することにより、選択用カ
ーソル１４を、参照映像表示部１０に表示された参照映
像のうち指定しようとする参照映像の位置まで移動さ
せ、その位置の参照映像をクリック等で指定するように
する。

【００５６】ステップＳ１０６では、図４に示すよう
に、指定された参照映像に対応する映像を映像再生部１
２で再生し、ステップＳ１０８に移行して、指定された
参照映像に対応する映像の映像情報をその映像について
の評価情報として取得し、ステップＳ１１０に移行し
て、取得した評価情報に基づいて、指定された参照映像
に対応する映像と関連性のある映像を映像集合から検索
する。ステップＳ１１０では、具体的に、各参照映像に
対応する映像の映像情報と評価情報とをそれぞれ比較
し、評価情報と一致する映像情報を特定することで、指
定された参照映像に対応する映像と関連性のある映像を
特定する。評価情報との一致を判定する方法としては、
例えば、映像情報と評価情報をベクトルとして表現しそ
の内積を用いる場合や、各映像情報に応じた関連度計算
式を用いて、その計算結果の重み付き総和を用いる場合
があり、最終的に、評価情報との一致度が所定値を超え
るものを評価情報と一致する映像情報であると判定す
る。

【００５７】次いで、ステップＳ１１２に移行して、参
照映像のうち索出した映像に対応する参照映像の色彩を
変更する。具体的には、参照映像のうち索出した映像に
対応する参照映像を、表示パターンに対応した色彩（赤
色、緑色、青色、黄色のいずれか）で表示するととも
に、その参照映像のこれまでの色彩の変更回数に応じ
て、その参照映像の明度を決定する。例えば、変更回数
が１回の参照映像は、所定段階（例えば、１６段階）あ
る明度のうち１番低い明度のもので表示され、変更回数
が４回の参照映像は、所定段階ある明度のうち４番目に
低い明度のもので表示される。すなわち、色彩の変更回
数が多い参照映像ほど、言い換えれば、頻繁に索出され
る映像に対応する参照映像ほど高い明度の色彩で表示さ
れることとなる。

【００５８】また、表示パターンのいずれかにおいて参
照映像の色彩が１回以上変更されており、かつ、その参
照映像に対応する他の表示パターンにおける参照映像の
色彩も１回以上変更されているときは、その参照映像の
色彩と他の表示パターンにおける参照映像の色彩と交互
に切り換えることにより、その参照映像を表示する。例
えば、「赤」の表示パターンにおいては、１行目の１番
目の参照映像の色彩が１回以上変更されており、かつ、
「緑」の表示パターンにおいても、同じ位置に対応する
１行目の１番目の参照映像の色彩が１回以上変更されて
いるときは、「赤」および「緑」の表示パターンにおい
て、その参照映像は、赤色と緑色とが交互に切り換わっ
て表示される。

【００５９】次いで、ステップＳ１１４に移行して、参
照映像表示部１０に表示された表示パターンを記憶装置
２６０に記憶し、ステップＳ１１６に移行して、表示パ
ターン変更ボタン１６の選択を入力装置２７０から入力
したか否かを判定し、表示パターン変更ボタン１６の選
択を入力したと判定されたとき(Yes)は、ステップＳ１
１８に移行する。ステップＳ１１６では、具体的に、利
用者が入力装置２７０を用いて画面上の選択用カーソル
１４を操作することにより、選択用カーソル１４を、表
示パターン変更ボタン１６のうち選択しようとするタブ
の位置まで移動させ、その位置のタブをクリック等で指
定するようにする。

【００６０】ステップＳ１１８では、表示パターン変更
ボタン１６の選択に基づいて表示パターンを変更し、ス
テップＳ１２０に移行して、その表示パターンにおいて
参照映像の初期表示がされているか否かを判定し、参照
映像の初期表示がされていないと判定されたとき(No)
は、ステップＳ１０１に移行するが、参照映像の初期表
示がされていると判定されたとき(Yes)は、ステップＳ
１２２に移行する。

【００６１】ステップＳ１２２では、表示パターン変更
ボタン１６の選択に基づいて表示パターンを記憶装置２
６０から読み出し、ステップＳ１２４に移行して、読み
出した表示パターンを参照映像表示部１０に表示し、ス
テップＳ１０４に移行する。一方、ステップＳ１１６
で、表示パターン変更ボタン１６の選択を入力していな
いと判定されたとき(No)は、ステップＳ１０４に移行す
る。

【００６２】一方、ステップＳ１０４で、参照映像表示
部１０に表示された参照映像のうち一の参照映像の指定
を入力していないと判定されたとき(No)は、ステップＳ
１２６に移行して、映像の検索を終了する要求を入力装
置２７０から入力したか否かを判定し、映像の検索を終
了する要求を入力していないと判定されたとき(No)は、
ステップＳ１０４に移行するが、映像の検索を終了する
要求を入力したと判定されたとき(Yes)は、一連の処理
を終了する。

【００６３】次に、上記実施の形態の動作を図６ないし
図８を参照しながら説明する。図６および図８は、参照
映像表示部１０に表示する表示パターンを選択すること
を示す図であり、図７は、参照映像の色彩が変更される
様子を示す図である。まず、利用者は、目的の映像とし
て、「雲が３つ」および「家が一つ」が含まれている映
像を映像集合から検索するものとし、映像検索装置２０
０では、この場合、例えば、「赤」の表示パターンで
「雲が３つ含まれている映像」を検索し、「青」の表示
パターンで「家が１つ含まれている映像」を検索し、
「赤」および「青」の表示パターンから最終的に目的の
映像を絞り込むようにする。以下、この流れで動作を説
明する。

【００６４】映像検索装置２００において、映像集合か
ら目的の映像を検索するときは、利用者は、まず、検索
対象となる映像集合を入力するため、映像データベース
１００により大まかなカテゴリ検索を行い、そのカテゴ
リに属する映像情報を映像集合として送信することを映
像データベース１００に要求する。映像検索装置２００
では、ＲＯＭ２２０の所定領域に格納されている所定の
プログラムが起動し、映像検索処理が実行されることに
より、映像データベース１００から映像集合が入力さ
れ、入力した映像集合が記憶装置２６０に格納される。
このとき、表示パターンの初期設定として、「赤」の表
示パターンが選択されているものとすると、映像集合が
記憶装置２６０から読み出され、図６に示すように、
「赤」の表示パターンにおいて、映像集合の各映像情報
ごとに、その映像情報に含まれる映像を参照するための
参照映像が参照映像表示部１０に表示される。

【００６５】ここで、利用者は、入力装置２７０を用い
て画面上の選択用カーソル１４を操作することにより、
選択用カーソル１４を、参照映像表示部１０に表示され
た参照映像のうち指定しようとする参照映像の位置まで
移動させ、その位置の参照映像をクリック等で指定す
る。参照映像の指定が入力されると、指定された参照映
像に対応する映像が映像再生部１２で再生され、指定さ
れた参照映像に対応する映像の映像情報がその映像につ
いての評価情報として取得され、取得された評価情報に
基づいて、指定された参照映像に対応する映像と関連性
のある映像が映像集合から検索される。この検索の結
果、関連性のある映像が索出されると、参照映像のうち
索出された映像に対応する参照映像の色彩が赤色に変更
される。参照映像表示部１０では、参照映像のうち索出
された映像に対応する参照映像は、図７（ａ）に示すよ
うに、いずれも色彩の変更回数が１回目であるので、所
定段階ある明度のうち１番低い明度のもので表示され
る。すなわち、利用者が指定した参照映像と関連性のあ
る参照映像の色彩が変更されることになる。

【００６６】続いて、利用者は、この検索結果としての
参照映像の表示パターンを参考にして、別の新たな参照
映像を指定するものとする。参照映像の指定が入力され
ると、指定された参照映像に対応する映像が映像再生部
１２で再生され、指定された参照映像に対応する映像の
映像情報がその映像についての評価情報として取得さ
れ、取得された評価情報に基づいて、指定された参照映
像に対応する映像と関連性のある映像が映像集合から検
索される。この検索の結果、関連性のある映像が索出さ
れると、参照映像表示部１０では、参照映像のうち索出
された映像に対応する参照映像は、図７（ｂ）に示すよ
うに、色彩の変更回数が１回目のものについては、所定
段階ある明度のうち１番低い明度のもので表示され、先
の検索と合わせて色彩の変更回数が２回目のものについ
ては、所定段階ある明度のうち２番目に低い明度のもの
で表示される。すなわち、利用者が今回指定した参照映
像と関連性のある参照映像の色彩が変更されるととも
に、利用者が前回指定した参照映像と今回指定した参照
映像の両方に関連性のある参照映像の色彩の明度が高く
なる。

【００６７】これと同じ要領で、３回、４回と検索を繰
り返していくと、利用者がこれまで指定した参照映像と
関連性のある参照映像の色彩が変更されるとともに、利
用者がこれまで指定した参照映像のうち頻繁に索出され
る映像に対応する参照映像ほど高い明度の色彩で表示さ
れる。つまり、利用者は、「赤」の表示パターンにおい
て、「雲が３つ含まれている映像」を目的の映像として
これと関連性があるであろう参照映像を次々に指定して
いけば、最終的に「雲が３つ含まれている映像」に対応
する参照映像ほど高い明度の色彩で表示される。これに
より、目的の映像をある程度絞り込むことができる。

【００６８】次に、利用者は、「青」の表示パターンで
「家が１つ含まれている映像」を検索するものとし、入
力装置２７０を用いて画面上の選択用カーソル１４を操
作することにより、選択用カーソル１４を、表示パター
ン変更ボタン１６のうち「青」のタブの位置まで移動さ
せ、その位置のタブをクリック等で指定する。「青」の
タブが選択されるすると、表示パターンが「青」の表示
パターンに変更され、映像集合が記憶装置２６０から読
み出され、図８に示すように、「青」の表示パターンに
おいて、映像集合の各映像情報ごとに、その映像情報に
含まれる映像を参照するための参照映像が参照映像表示
部１０に表示される。

【００６９】ここで、利用者は、上記同様の要領で、入
力装置２７０を用いて参照映像を指定する。参照映像の
指定が入力されると、指定された参照映像に対応する映
像が映像再生部１２で再生され、指定された参照映像に
対応する映像の映像情報がその映像についての評価情報
として取得され、取得された評価情報に基づいて、指定
された参照映像に対応する映像と関連性のある映像が映
像集合から検索される。この検索の結果、関連性のある
映像が索出されると、参照映像のうち索出された映像に
対応する参照映像の色彩が青色に変更される。参照映像
表示部１０では、参照映像のうち索出された映像に対応
する参照映像は、図７（ａ）に示すように、いずれも色
彩の変更回数が１回目であるので、所定段階ある明度の
うち１番低い明度のもので表示される。

【００７０】続いて、利用者は、この検索結果としての
参照映像の表示パターンを参考にして、別の新たな参照
映像を指定するものとする。参照映像の指定が入力され
ると、指定された参照映像に対応する映像が映像再生部
１２で再生され、指定された参照映像に対応する映像の
映像情報がその映像についての評価情報として取得さ
れ、取得された評価情報に基づいて、指定された参照映
像に対応する映像と関連性のある映像が映像集合から検
索される。この検索の結果、関連性のある映像が索出さ
れると、参照映像表示部１０では、参照映像のうち索出
された映像に対応する参照映像は、図７（ｂ）に示すよ
うに、色彩の変更回数が１回目のものについては、所定
段階ある明度のうち１番低い明度のもので表示され、先
の検索と合わせて色彩の変更回数が２回目のものについ
ては、所定段階ある明度のうち２番目に低い明度のもの
で表示される。

【００７１】これと同じ要領で、３回、４回と検索を繰
り返していくと、利用者がこれまで指定した参照映像と
関連性のある参照映像の色彩が変更されるとともに、利
用者がこれまで指定した参照映像のうち頻繁に索出され
る映像に対応する参照映像ほど高い明度の色彩で表示さ
れる。そしてさらに、この「青」の表示パターンにおい
て、参照映像の色彩が１回以上変更されており、かつ、
その参照映像に対応する「赤」の表示パターンにおける
参照映像の色彩も１回以上変更されているときは、その
参照映像は、赤色と青色とが交互に切り換わって表示さ
れる。

【００７２】つまり、利用者は、「青」の表示パターン
において、「家が１つ含まれている映像」を目的の映像
としてこれと関連性があるであろう参照映像を次々に指
定していけば、最終的に「家が１つ含まれている映像」
に対応する参照映像ほど高い明度の色彩で表示されると
ともに、「赤」の表示パターンにおいて色彩が変更され
ている参照映像と同じ箇所の参照映像は、赤色と青色と
が交互に切り換わって表示される。これにより、この
「青」の表示パターンにおいて、赤色と青色とが交互に
切り換わりしかもそれらの明度が高い参照映像は、「雲
が３つ含まれている映像」および「家が１つ含まれてい
る映像」に対応する参照映像であることが判り、「赤」
の表示パターンにおける検索結果からよりも目的の映像
をかなり絞り込むことができる。

【００７３】このようにして、本実施の形態では、映像
集合の各映像情報ごとに、その映像情報に含まれる映像
を参照するための参照映像を表示し、参照映像のうち一
の参照映像の指定を入力し、指定された参照映像に対応
する映像の映像情報を評価情報として取得し、取得した
評価情報に基づいて、指定された参照映像に対応する映
像と関連性のある映像を映像集合から検索し、参照映像
のうち索出した映像に対応する参照映像の色彩を変更す
るようにした。これにより、目的の映像と関連性のある
映像に対応する参照映像の色彩が変更されるので、数値
やグラフの内容、あるいは映像の配置位置を検討しなが
ら関連性を把握する場合に比して、目的の映像との関連
性を直感的にとらえることができる。したがって、従来
に比して、目的の映像との関連性の把握が容易となり、
映像の検索を効率的に行うことができる。

【００７４】さらに、本実施の形態では、ステップＳ１
０６からＳ１１４までを繰り返して実行可能となってお
り、ステップＳ１１２は、参照映像のうち色彩を変更し
ようとする参照映像のこれまでの色彩の変更回数に応じ
て、その参照映像の明度を決定するようにした。これに
より、複数回にわたって映像の検索を行えば、頻繁に索
出される映像に対応する参照映像ほど高い明度の色彩で
表示されるので、目的の映像と関連性の高い映像を直感
的にとらえることができる。したがって、目的の映像と
関連性が高い映像の把握が容易となり、映像の検索をさ
らに効率的に行うことができる。

【００７５】さらに、本実施の形態では、表示パターン
のいずれかにおいて参照映像の色彩が１回以上変更され
ており、かつ、その参照映像に対応する他の表示パター
ンにおける参照映像の色彩も１回以上変更されていると
きは、その参照映像の色彩と他の表示パターンにおける
参照映像の色彩と交互に切り換えることにより、その参
照映像を表示するようにした。これにより、表示パター
ンのいずれかにおいて、色が交互に切り換わる参照映像
は、利用者がこの表示パターンで与えた検索条件と他の
表示パターンで与えた検索条件の両方に関連性がある映
像であることを示しているので、検索結果からは、両方
の検索条件との関連性が得られ、複数の検索条件を用い
て複合的に映像の検索を行うことができる。したがっ
て、映像の検索をさらに効率的に行うことができる。

【００７６】さらに、本実施の形態では、表示パターン
変更ボタン１６の選択を入力し、表示パターン変更ボタ
ン１６の選択に基づいて参照映像表示部１０に表示する
表示パターンを変更するようにした。これにより、各表
示パターンごとに異なる検索条件を与えて参照映像を表
示し、かつ、検索条件を絞り込んで表示を変更すること
ができる。

【００７７】なお、上記実施の形態においては、参照映
像を、所定の色彩の四角形の画像として表示するように
構成したが、これに限らず、映像情報に含まれる複数の
映像を所定時間間隔で区分したときの各区分を代表する
代表映像として表示するように構成してもよい。また、
上記実施の形態においては、指定された参照映像に対応
する映像を映像再生部１２で再生するように構成した
が、これに限らず、指定された参照映像に対応する映像
を代表する代表映像を表示し、あるいは対応するテキス
ト情報を表示するように構成してもよい。

【００７８】また、上記実施の形態においては、各表示
パターンでは、参照映像の色彩を他の表示パターンとは
それぞれ異なる色に変更するように構成したが、これに
限らず、例えば、表示パターンごとに参照映像の形状を
変更したり、表示パターンに応じた記号などのマークを
参照映像に付したりして構成することもできる。また、
上記実施の形態においては、指定された参照映像に対応
する映像の映像情報を評価情報として取得するように構
成したが、具体的に映像内から映像情報を抽出するに
は、例えば、映像に対し既に付与されている映像情報を
用いたり、参照映像表示部１０において映像を解析し映
像情報を抽出したりすることにより行うことができる。

【００７９】また、上記実施の形態においては、指定さ
れた参照映像に対応する映像の映像情報を評価情報とし
て取得するように構成したが、これに限らず、評価情報
を取得するには、利用者に映像情報を選択してもらい、
数値入力などによって、例えば画面全体の色がどの程度
目的の映像と類似しているかを入力することにより行う
ことができる。

【００８０】また、上記実施の形態においては、評価情
報との一致度が所定値を超える映像情報を評価情報と一
致する映像情報であると判定し、その映像に対応する参
照映像の色彩を単に変更するように構成したが、これに
限らず、評価情報との一致度に応じて参照映像の表示態
様を変更するように構成してもよい。この場合、すべて
の参照映像の表示態様を変更してしまうと、却って判り
づらくなる可能性があるので、評価情報との一致度が所
定値を超える映像情報を対象として、その映像に対応す
る参照映像の表示態様を変更するのが好ましい。

【００８１】また、上記実施の形態においては、映像集
合を入力して映像集合から目的の映像を検索する映像検
索装置２００，３００に本発明を適用した場合について
説明したが、これに限らず、本発明の主旨を逸脱しない
範囲で他のものにも適用可能である。また、上記実施の
形態において、図３のフローチャートに示す映像検索処
理を実行するにあたっては、ＲＯＭ２２０にあらかじめ
格納されている所定のプログラムを実行する場合につい
て説明したが、これに限らず、これらの手順を示したプ
ログラムが記憶された記憶媒体から、そのプログラムを
ＲＡＭ２３０に読み込んで実行するようにしてもよい。

【００８２】ここで、記憶媒体とは、ＲＡＭ、ＲＯＭ等
の半導体記憶媒体、ＦＤ、ＨＤ等の磁気記憶型記憶媒
体、ＣＤ、ＣＤＶ、ＬＤ、ＤＶＤ等の光学的読取方式記
憶媒体、ＭＯ等の磁気記憶型／光学的読取方式記憶媒体
であって、電子的、磁気的、光学的等の読み取り方法の
いかんにかかわらず、コンピュータで読み取り可能な記
憶媒体であれば、あらゆる記憶媒体を含むものである。

【００８３】上記実施の形態において、ステップＳ１０
２は、請求項１、２、４、５または１３記載の表示ステ
ップに対応し、ステップＳ１０４は、請求項１ないし５
または１３記載の指定ステップに対応し、ステップＳ１
０８は、請求項１ないし５または１３記載の取得ステッ
プに対応し、ステップＳ１１０は、請求項１ないし５ま
たは１３記載の検索ステップに対応し、ステップＳ１１
２は、請求項１ないし５または１３記載の変更ステップ
に対応している。

【００８４】また、上記実施の形態において、記憶装置
２６０は、請求項８記載の記憶手段に対応し、ステップ
Ｓ１０１は、請求項８記載の読出手段に対応し、ステッ
プＳ１０２は、請求項７、８、１０または１４記載の参
照映像表示手段に対応し、ステップＳ１０４は、請求項
７ないし１０または１４記載の入力手段に対応し、ステ
ップＳ１０８は、請求項７ないし１０または１４記載の
取得手段に対応し、ステップＳ１１０は、請求項７ない
し１０または１４記載の検索手段に対応し、ステップＳ
１１２は、請求項７ないし１０または１４記載の変更手
段に対応している。

【００８５】

【発明の効果】以上説明したように、本発明に係る請求
項１ないし６記載の映像検索方法、請求項７ないし１２
記載の映像検索装置、または、請求項１３若しくは１４
記載の記憶媒体によれば、目的の映像と関連性のある映
像に係る参照映像の表示態様が変更されるので、数値や
グラフの内容、あるいは映像の配置位置を検討しながら
関連性を把握する場合に比して、目的の映像との関連性
を直感的にとらえることができる。したがって、従来に
比して、目的の映像との関連性の把握が容易となり、映
像の検索を効率的に行うことができるという効果が得ら
れる。

【００８６】さらに、本発明に係る請求項３記載の映像
検索方法、または、請求項９記載の映像検索装置によれ
ば、複数回にわたって映像の検索を行ったときに、頻繁
に索出される映像に係る参照映像ほど表示態様が変更さ
れるので、目的の映像と関連性の高い映像を直感的にと
らえることができる。したがって、目的の映像と関連性
が高い映像の把握が容易となり、映像の検索をさらに効
率的に行うことができるという効果も得られる。

【００８７】さらに、本発明に係る請求項４記載の映像
検索方法、または、請求項１０記載の映像検索装置によ
れば、表示パターンのいずれかにおいて、他の表示パタ
ーンにおいても表示態様が変更されていることを示す表
示態様で表示された参照映像は、利用者がこの表示パタ
ーンで与えた検索条件と他の表示パターンで与えた検索
条件の両方に関連性がある映像であることを示している
ので、検索結果からは、両方の検索条件との関連性が得
られ、複数の検索条件を用いて複合的に映像の検索を行
うことができる。したがって、映像の検索をさらに効率
的に行うことができるという効果も得られる。

【００８８】さらに、本発明に係る請求項５記載の映像
検索方法、または、請求項１１記載の映像検索装置によ
れば、各表示パターンごとに異なる検索条件を与えて参
照映像を表示し、かつ、検索条件を絞り込んで表示を変
更することができるという効果も得られる。

【図面の簡単な説明】

【図１】本発明に係る映像検索方法および映像検索装置
を適用する映像検索ネットワークシステムの構成を示す
ブロック図である。

【図２】映像検索装置２００の構成を示すブロック図で
ある。

【図３】映像検索処理を示すフローチャートである。

【図４】表示装置２９０の表示画面の構成を示す図であ
る。

【図５】参照映像表示部の構成を示す図である。

【図６】参照映像表示部１０に表示する表示パターンを
選択することを示す図である。

【図７】参照映像の色彩が変更される様子を示す図であ
る。

【図８】参照映像表示部１０に表示する表示パターンを
選択することを示す図である。

【図９】従来の関連フィードバックを用いたシステムに
より行われる映像検索の様子を示す図である。

【符号の説明】

１００ 映像データベース ９９ 通信ケーブル ２００，３００ 映像検索装置 ２１０ ＣＰＵ ２２０ ＲＯＭ ２３０ ＲＡＭ ２３５ ＶＲＡＭ ２４０ ＣＲＴＣ ２５０ Ｉ／Ｆ ２６０ 記憶装置 ２７０ 入力装置 ２８０ 表示装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者 児島 治彦 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内 Ｆターム(参考） 5B075 ND12 NK10 PR04 QS20 5C052 AA01 AA17 AC08 DD04 EE02 EE03

Claims (14)

【特許請求の範囲】
1. 【請求項１】 複数の映像から目的の映像を検索する方
   法であって、 前記複数の映像を参照するための参照映像を表示する表
   示ステップと、前記参照映像のうち少なくとも一の参照
   映像を利用者に指定させる指定ステップと、前記複数の
   映像のうち指定に係る映像についての評価情報を取得す
   る取得ステップと、取得した評価情報に基づいて前記複
   数の映像から映像を検索する検索ステップと、前記検索
   ステップの検索結果に基づいて前記参照映像の表示態様
   を変更する変更ステップと、を含むことを特徴とする映
   像検索方法。
2. 【請求項２】 複数の映像から目的の映像を検索する方
   法であって、 前記複数の映像を含む１又は２以上の映像情報に基づい
   て前記複数の映像を区分したときの各区分に属する映像
   を参照するための参照映像を表示する表示ステップと、
   前記参照映像のうち一の参照映像を利用者に指定させる
   指定ステップと、前記複数の映像のうち指定に係る映像
   の映像情報をその映像についての評価情報として取得す
   る取得ステップと、取得した評価情報に基づいて前記複
   数の映像のうち指定に係る映像と関連性のある映像を前
   記映像情報から検索する検索ステップと、前記参照映像
   のうち索出した映像に係る参照映像の表示態様を変更す
   る変更ステップと、を含むことを特徴とする映像検索方
   法。
3. 【請求項３】 請求項１及び２のいずれかにおいて、 前記指定ステップ、前記取得ステップ、前記検索ステッ
   プ及び前記変更ステップを複数回繰り返して行い、 前記変更ステップは、前記参照映像のうち表示態様を変
   更しようとする参照映像のこれまでの表示態様の変更回
   数に応じて、その参照映像の表示態様を変更することを
   特徴とする映像検索方法。
4. 【請求項４】 請求項１乃至３のいずれかにおいて、 前記表示ステップ、前記指定ステップ、前記取得ステッ
   プ、前記検索ステップ及び前記変更ステップを含む一連
   のステップを独立に複数回行って、検索結果としての前
   記参照映像の表示パターンを複数生成し、 前記表示パターンのいずれかにおいて参照映像の表示態
   様が変更されており、且つ、その参照映像に対応する他
   の表示パターンにおける参照映像の表示態様も変更され
   ているときは、その参照映像を、他の表示パターンにお
   いても表示態様が変更されていることを示す表示態様で
   表示することを特徴とする映像検索方法。
5. 【請求項５】 請求項４において、 前記表示ステップ、前記指定ステップ、前記取得ステッ
   プ、前記検索ステップ及び前記変更ステップを含む一連
   のステップを独立に複数回行って、検索結果としての前
   記参照映像の表示パターンを複数生成する場合に、前記
   一連のステップのいずれかを利用者に選択させ、選択さ
   れた一連のステップを行うことを特徴する映像検索方
   法。
6. 【請求項６】 請求項４及び５のいずれかにおいて、 前記一連のステップで生成した表示パターンを記憶して
   おき、前記表示パターンのいずれかを利用者に選択さ
   せ、選択された表示パターンを読み出して表示すること
   を特徴とする映像検索方法。
7. 【請求項７】 複数の映像から目的の映像を検索する装
   置であって、 前記複数の映像を参照するための参照映像を表示する参
   照映像表示手段と、前記参照映像のうち少なくとも一の
   参照映像の指定を入力する入力手段と、前記複数の映像
   のうち指定に係る映像についての評価情報を取得する取
   得手段と、取得した評価情報に基づいて前記複数の映像
   から映像を検索する検索手段と、前記検索手段の検索結
   果に基づいて前記参照映像の表示態様を変更する変更手
   段と、を備えていることを特徴とする映像検索装置。
8. 【請求項８】 複数の映像から目的の映像を検索する装
   置であって、 前記複数の映像を含む１又は２以上の映像情報を記憶す
   るための記憶手段と、前記映像情報を前記記憶手段から
   読み出す読出手段と、読み出した映像情報に基づいて前
   記複数の映像を区分したときの各区分に属する映像を参
   照するための参照映像を表示する参照映像表示手段と、
   前記参照映像のうち一の参照映像の指定を入力する入力
   手段と、前記複数の映像のうち指定に係る映像の映像情
   報をその映像についての評価情報として取得する取得手
   段と、取得した評価情報に基づいて前記複数の映像のう
   ち指定に係る映像と関連性のある映像を前記映像情報か
   ら検索する検索手段と、前記参照映像のうち索出した映
   像に係る参照映像の表示態様を変更する変更手段と、を
   備えていることを特徴とする映像検索装置。
9. 【請求項９】 請求項７及び８のいずれかにおいて、 前記入力手段、前記取得手段、前記検索手段及び前記変
   更手段を繰り返して実行可能となっており、 前記変更手段は、前記参照映像のうち表示態様を変更し
   ようとする参照映像のこれまでの表示態様の変更回数に
   応じて、その参照映像の表示態様を変更するようになっ
   ていることを特徴とする映像検索装置。
10. 【請求項１０】 請求項７乃至９のいずれかにおいて、 前記参照映像表示手段、前記入力手段、前記取得手段、
    前記検索手段及び前記変更手段を含む一連の処理を独立
    に複数実行し、検索結果としての前記参照映像の表示パ
    ターンを複数生成可能となっており、 前記表示パターンのいずれかにおいて参照映像の表示態
    様が変更されており、且つ、その参照映像に対応する他
    の表示パターンにおける参照映像の表示態様も変更され
    ているときは、その参照映像を、他の表示パターンにお
    いても表示態様が変更されていることを示す表示態様で
    表示するようになっていることを特徴とする映像検索装
    置。
11. 【請求項１１】 請求項１０において、 前記一連の処理のいずれかの選択を入力し、選択された
    一連の処理を実行するようになっていることを特徴する
    映像検索装置。
12. 【請求項１２】 請求項１０及び１１のいずれかにおい
    て、 前記一連の処理で生成した表示パターンを記憶し、前記
    表示パターンのいずれかの選択を入力し、選択された表
    示パターンを読み出して表示するようになっていること
    を特徴とする映像検索装置。
13. 【請求項１３】 複数の映像から目的の映像を検索する
    ためのプログラムを記憶した記憶媒体であって、 請求項１ないし６のいずれかに記載の、前記表示ステッ
    プ、前記指定ステップ、前記取得ステップ、前記検索ス
    テップ及び前記変更ステップをコンピュータに実行させ
    るためのプログラムを記憶したことを特徴とするコンピ
    ュータ読み取り可能な記憶媒体。
14. 【請求項１４】 複数の映像から目的の映像を検索する
    ためのプログラムを記憶した記憶媒体であって、 請求項７ないし１２のいずれかに記載の、前記参照映像
    表示手段、前記入力手段、前記取得手段、前記検索手段
    及び前記変更手段としてコンピュータを機能させるため
    のプログラムを記憶したことを特徴とするコンピュータ
    読み取り可能な記憶媒体。