JP2000148796A

JP2000148796A - 映像インデックス情報を用いた映像検索方法および音声インデックス情報を用いた音声検索方法並びに映像検索システム

Info

Publication number: JP2000148796A
Application number: JP11228531A
Authority: JP
Inventors: Takayuki Kunieda; 孝之國枝; Yoshiki Wakita; 由喜脇田; Masajiro Iwasaki; 雅二郎岩崎
Original assignee: Ricoh Co Ltd; Jisedai Joho Hoso System Kenkyusho KK
Current assignee: Ricoh Co Ltd; Jisedai Joho Hoso System Kenkyusho KK
Priority date: 1998-09-03
Filing date: 1999-08-12
Publication date: 2000-05-30
Anticipated expiration: 2019-08-12
Also published as: JP3307613B2

Abstract

(57)【要約】【課題】映像情報の内部の論理構造を表現可能なデー
タ構造を有する映像インデックス情報を用いることによ
り、映像検索の利便性の向上を図ること。【解決手段】映像インデックス情報２００は、フレー
ム情報１０２、サウンド情報１０３、セグメント情報１
０４およびパッケージ情報１０５を構造要素オブジェク
トとしたツリー構造であり、さらにセグメント情報１０
４は、他のセグメント情報１０４を複数まとめて管理す
るためのパッケージ情報１０５を管理し、ツリー構造に
おいて、１つのセグメント情報１０４の下位にフレーム
情報１０２およびサウンド情報１０３に加えてパッケー
ジ情報１０５を配置し、少なくとも１種類の構成要素オ
ブジェクトに対し、その構成要素オブジェクトが直接ま
たは間接的に管理するフレームや音声のない様を検索す
るための検索情報２０１を付与し、この映像インデック
ス情報２００を用いて映像情報の検索を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像インデックス
情報を用いた映像検索方法および音声インデックス情報
を用いた音声検索方法並びに映像検索システムに関し、
より詳細には、映像情報または音声情報の内部の論理構
造を表現可能なデータ構造を有する映像インデックス情
報を用いることにより、映像検索の利便性の向上を図っ
た映像インデックス情報を用いた映像検索方法および音
声インデックス情報を用いた音声検索方法並びに映像検
索システムに関する。

【０００２】

【従来の技術】近年、コンピュータ関連技術、情報処理
技術の発展や、インターネット、イントラネット、エク
ストラネット等の電子ネットワークの普及に伴って、日
常の生活・業務・サービス等で利用される身の回りのあ
らゆる情報が電子化され、電子情報として伝達された
り、あるいはコンピュータ世界のデータベース等に蓄積
されて、利用・活用されている。

【０００３】したがって、電子情報は、その情報がアナ
ログデータであるか、デジタルデータであるかに関わら
ず、様々な形で利用・活用（例えば、情報の加工・情報
の検索・情報の伝達等）されており、この電子情報その
ものを利用・活用し易い形式・データ構造で扱う技術が
種々提供されている。

【０００４】例えば、電子情報の一つであるテキスト情
報は、その論理的な構造を表現するために、ＳＧＭＬ，
ＨＴＭＬ，ＸＭＬ等の論理構造を表現する構造タグが定
義され、情報を伝達するときに、内容とその論理構造で
表現することができるようになっている。このため、テ
キスト情報を利用・活用する際に、例えば、内部の論理
構造を用いて、効率的な検索・適切な要約文の生成・処
理速度の高速化等を図ることができる。

【０００５】また、電子情報の一つである画像情報に関
しても、静止画や、動画を効率的に蓄積したり、検索し
たりできる画像ファイリング技術が提供されている。

【０００６】さらに、映像を検索するための従来技術と
しては、例えば、特開平６−８３８７７号公報『動画像
情報検索媒体とその動画像情報検索装置』，特開平８−
１６３４７９号公報『映像検索方法及び装置』，特開平
８−２２１４３２号公報『動画検索システム』，特開平
９−１８４３２号公報『映像音声素材管理検索システ
ム』，特開平９−５０４３６号公報『映像検索方法及び
装置』、特開平１０−４０２６０号公報『映像検索方
法』等が提案されている。

【０００７】

【発明が解決しようとする課題】しかしながら、上記従
来の技術によれば、音声と動画とを有する映像情報に関
しては、映像情報の内部の論理構造を表現する方法が提
供されていないため、他の情報と比較して映像情報の利
用・活用が容易でないという問題点や、映像情報を再現
する際の再現方法に制約があるという問題点があった。
換言すれば、映像情報の操作性・作業性・取扱性の向上
を図れる十分なユーザ・インターフェースの手法が提供
されていないという問題点があった。

【０００８】具体的には、例えば、映像情報の内部情
報に及んだ検索ができないという不具合や、目的のシ
ーンを特定するためには、一度映像情報を全て観ること
によってマークを付ける等の処理を行わないと頭だしが
できないという不具合や、映像情報の要約（ダイジェ
スト）を作成するには専門の機器や技術が必要であると
いう不具合等があった。

【０００９】また、上記映像を検索するための従来の技
術によれば、複数の映像情報（例えば、複数の動画コン
テンツ）の中から所望の映像（シーン）が含まれる映像
情報を検索したり、または１つの映像情報中において所
望の映像が含まれる位置（区間）を特定することが可能
であるものの、以下の不具合が存在するため、一般化し
て全ての映像情報に適用することはできないという問題
点があった。

【００１０】特開平６−８３８７７号公報『動画像情報
検索媒体とその動画像情報検索装置』によれば、一連の
動画像をハードコピーすることによって生成された動画
像索引を用いてその動画像中の目的のシーンを人間が探
し出す必要があるため、検索結果として得られる映像が
動画像索引を見て検索を行う人の主観に左右されると共
に、大量の動画像を扱うことが困難であるという不具合
があった。

【００１１】また、特開平８−１６３４７９号公報『映
像検索方法及び装置』によれば、一連の映像中のシーン
を示す画像を一定間隔で順次表示し、表示された画像か
ら人間が目的のシーンを探し出す必要があるため、検索
結果として得られる映像が動画像索引を見て検索を行う
人の主観に左右されると共に、大量の動画像を扱うこと
が困難であるという不具合があった。

【００１２】また、特開平８−２２１４３２号公報『動
画検索システム』によれば、検索対象のビデオを分類し
たメニューを用いて所望のビデオを検索するものである
ため、検索対象のビデオの内容に応じて分類作業を行う
必要があり、どのようにビデオを分類してメニューを作
成するかによって検索精度に差が生じるという不具合が
あった。

【００１３】また、特開平９−１８４３２号公報『映像
音声素材管理検索システム』によれば、放送局や、大量
・多量の映像情報を扱う会社・施設等で使用するシステ
ムが前提であり、かつ、検索対象となる映像がニュース
番組等のように映像の内容を文字で表現した原稿が存在
するものに限られるという不具合があった。

【００１４】また、特開平９−５０４３６号公報『映像
検索方法及び装置』によれば、各映像情報に対して検索
用キーワードが付与されているので、所望の映像情報を
示す検索キーワードを入力することにより、検索キーワ
ードと一致する検索用キーワードが付与された映像情報
を所望の映像情報として検索することができるものの、
検索用キーワードを付与する際に、基本的には対象とな
る映像情報全体の内容を考慮して検索用キーワードが付
与する必要があるため、例えば、１つの映像情報に多数
のトピックスが存在する場合や、１つの映像情報の時間
が長い場合には、検索用キーワードを選択または決定し
て付与することが面倒であるという不具合があった。

【００１５】また、特開平１０−４０２６０号公報『映
像検索方法』では、検索対象となる映像情報中にテロッ
プ等の文字情報が含まれることが前提であるため、テロ
ップ等を含まない映像情報には適用できないという不具
合があった。

【００１６】また、同様に上記従来の技術によれば、音
声情報に関しても、音声情報の内部の論理構造を表現す
る方法が提供されていないため、他の情報と比較して音
声情報の利用・活用が容易でないという問題点や、音声
情報を再現する際の再現方法に制約があるという問題点
があった。換言すれば、音声情報の操作性・作業性・取
扱性の向上を図れる十分なユーザ・インターフェースの
手法が提供されていないという問題点があった。

【００１７】さらに、従来の技術によれば、映像情報の
内部情報に及んだ検索が容易に行える映像検索システム
は提供されていなかった。

【００１８】本発明は上記に鑑みてなされたものであっ
て、映像情報の内部の論理構造を表現可能なデータ構造
を有する映像インデックス情報を用いることにより、映
像検索の利便性の向上を図ると共に、全ての映像情報に
適用可能な映像検索方法を提供することを目的とする。

【００１９】また、本発明は上記に鑑みてなされたもの
であって、音声情報の内部の論理構造を表現可能なデー
タ構造を有する音声インデックス情報を用いることによ
り、音声検索の利便性の向上を図った音声検索方法を提
供することを目的とする。

【００２０】また、本発明は上記に鑑みてなされたもの
であって、映像情報の内部の論理構造を表現可能なデー
タ構造を有する映像インデックス情報を利用することに
より、映像情報の内部情報に及んだ検索が容易に行える
映像検索システムを提供することを目的とする。

【００２１】

【課題を解決するための手段】上記目的を達成するため
に、請求項１の映像インデックス情報を用いた映像検索
方法は、あらかじめ各映像情報に対応させて作成した映
像インデックス情報を参照して、複数の映像情報の中か
ら所望の検索条件に一致する映像情報を検索する映像イ
ンデックス情報を用いた映像検索方法であって、前記映
像インデックス情報が、前記映像情報中の任意の連続す
るフレームを１単位の情報として管理する少なくとも１
つのフレーム情報と、前記映像情報中の任意の範囲に対
応した音声を１単位の情報として管理する少なくとも１
つのサウンド情報と、１単位の情報である前記フレーム
情報およびサウンド情報を分類して、所望の意味のある
集合として管理する少なくとも１つのセグメント情報
と、前記セグメント情報を複数まとめて管理するための
パッケージ情報と、を構造要素オブジェクトとしたツリ
ー構造であり、前記構造要素オブジェクトのうち、少な
くとも１種類の構造要素オブジェクトが、その構造要素
オブジェクトが直接または間接的に管理するフレームま
たは／および音声の内容を検索するための検索情報を有
し、さらに前記セグメント情報が、そのセグメント情報
が管理する前記フレーム情報およびサウンド情報と同一
の範囲のフレームおよび音声を用いて生成された他のセ
グメント情報を複数まとめて管理するためのパッケージ
情報を管理し、前記ツリー構造において、１つのセグメ
ント情報の下位に、前記フレーム情報およびサウンド情
報に加えて前記パッケージ情報を配置したデータ構造で
あり、所望の映像の条件である検索条件を入力し、あら
かじめ異なる複数の映像情報から作成された複数の映像
インデックス情報を検索して前記検索条件と一致する検
索情報を含む映像インデックス情報を特定し、特定した
映像インデックス情報に対応した映像情報のリストを検
索結果として出力するものである。

【００２２】また、請求項２の映像インデックス情報を
用いた映像検索方法は、請求項１に記載の映像インデッ
クス情報を用いた映像検索方法において、前記フレーム
情報が、さらに、１単位の情報として管理している前記
映像情報中の連続するフレームの中から任意に選択され
た代表フレームを管理すると共に、前記代表フレームの
内容を検索するための検索情報を有し、前記サウンド情
報が、さらに、１単位の情報として管理している前記映
像情報中の任意の範囲に対応した音声の中から選択され
た任意の範囲の代表音声を管理すると共に、前記代表音
声の内容を検索するための検索情報を有するものであ
る。

【００２３】また、請求項３の映像インデックス情報を
用いた映像検索方法は、請求項１または２に記載の映像
インデックス情報を用いた映像検索方法において、さら
に、前記検索条件と共に前記映像インデックス情報の階
層レベルを検索範囲として入力し、前記複数の映像イン
デックス情報中の前記検索範囲に存在する構造要素オブ
ジェクトの検索情報のみを検索対象として、前記検索条
件と一致する検索情報を含む映像インデックス情報を特
定し、特定した映像インデックス情報に対応した映像情
報のリストを検索結果として出力するものである。

【００２４】また、請求項４の映像インデックス情報を
用いた映像検索方法は、請求項１〜３のいずれか一つに
記載の映像インデックス情報を用いた映像検索情報にお
いて、前記複数の映像情報の中から所望の映像情報を検
索する際に、映像情報に対応させて作成した映像インデ
ックス情報中の検索情報のみを用いるものである。

【００２５】また、請求項５の映像インデックス情報を
用いた映像検索方法は、請求項１〜４のいずれか一つに
記載の映像インデックス情報を用いた映像検索方法にお
いて、前記検索条件が、それぞれ特定の種類の前記構成
要素オブジェクトを検索対象とする複数の検索項目を含
むものである。

【００２６】また、請求項６の映像インデックス情報を
用いた映像検索方法は、請求項１〜５のいずれか一つに
記載の映像インデックス情報を用いた映像検索方法にお
いて、前記検索条件が、同一種類の前記構成要素オブジ
ェクトを検索対象とする複数の検索項目を含むものであ
る。

【００２７】また、請求項７の映像インデックス情報を
用いた映像検索方法は、請求項５または６に記載の映像
インデックス情報を用いた映像検索方法において、前記
検索条件が、前記複数の検索項目同士の関係を論理的に
表現可能であるものである。

【００２８】また、請求項８の映像インデックス情報を
用いた映像検索方法は、請求項５〜７のいずれか一つに
記載の映像インデックス情報を用いた映像検索方法にお
いて、前記検索項目が、検索対象となる構成要素オブジ
ェクトが有する検索情報のデータ構造と同一のデータ構
造を有するものである。

【００２９】また、請求項９の映像インデックス情報を
用いた映像検索方法は、請求項１〜８のいずれか一つに
記載の映像インデックス情報を用いた映像検索方法にお
いて、さらに、前記検索結果として出力されるリスト上
の各映像情報に対して、前記検索条件と一致する検索情
報を有する構造要素オブジェクトのリストを前記映像情
報のリストと共に出力するものである。

【００３０】また、請求項１０の映像インデックス情報
を用いた映像検索方法は、請求項１〜９のいずれか一つ
に記載の映像インデックス情報を用いた映像検索方法に
おいて、前記検索条件が、それぞれ独立した重み付けが
可能な複数の検索項目からなり、前記検索結果として出
力されるリスト上の各映像情報には、前記検索項目の重
み付けに基づいて評価された評価値が付与されているも
のである。

【００３１】また、請求項１１の映像インデックス情報
を用いた映像検索方法は、請求項１０に記載の映像イン
デックス情報を用いた映像検索方法において、前記検索
結果として出力されるリスト上の各映像情報が、前記評
価値に基づいてランキング順に出力されるものである。

【００３２】また、請求項１２の映像インデックス情報
を用いた映像検索方法は、あらかじめ映像情報から作成
した映像インデックス情報を参照して、映像情報の中か
ら所望の検索条件に一致する映像を検索する映像インデ
ックス情報を用いた映像検索方法であって、前記映像イ
ンデックス情報が、前記映像情報中の任意の連続するフ
レームを１単位の情報として管理する少なくとも１つの
フレーム情報と、前記映像情報中の任意の範囲に対応し
た音声を１単位の情報として管理する少なくとも１つの
サウンド情報と、１単位の情報である前記フレーム情報
およびサウンド情報を分類して、所望の意味のある集合
として管理する少なくとも１つのセグメント情報と、前
記セグメント情報を複数まとめて管理するためのパッケ
ージ情報と、を構造要素オブジェクトとしたツリー構造
であり、前記構造要素オブジェクトが、それぞれその構
造要素オブジェクトが直接または間接的に管理するフレ
ームまたは／および音声の内容を検索するための検索情
報を有し、さらに前記セグメント情報が、そのセグメン
ト情報が管理する前記フレーム情報およびサウンド情報
と同一の範囲のフレームおよび音声を用いて生成された
他のセグメント情報を複数まとめて管理するためのパッ
ケージ情報を管理し、前記ツリー構造において、１つの
セグメント情報の下位に、前記フレーム情報およびサウ
ンド情報に加えて前記パッケージ情報を配置したデータ
構造であり、所望の映像の条件である検索条件を入力
し、前記映像インデックス情報を検索して前記検索条件
と一致する検索情報を含む構造要素オブジェクトを特定
し、特定した構造要素オブジェクトのリストを検索結果
として出力するものである。

【００３３】また、請求項１３の映像インデックス情報
を用いた映像検索方法は、請求項１２に記載の映像イン
デックス情報を用いた映像検索方法において、さらに、
前記検索条件と共に前記ツリー構造中における深さ方向
の階層レベルを検索範囲として入力し、前記映像インデ
ックス情報中の前記検索範囲に存在する構造要素オブジ
ェクトの検索情報のみを検索対象として、前記検索条件
と一致する検索情報を含む構造要素オブジェクトを特定
し、特定した構造要素オブジェクトのリストを検索結果
として出力するものである。

【００３４】また、請求項１４の映像インデックス情報
を用いた映像検索方法は、請求項１２または１３に記載
の映像インデックス情報を用いた映像検索方法におい
て、前記検索条件が、それぞれ独立した重み付けが可能
な複数の検索項目からなり、前記検索結果として出力さ
れるリスト上の各構造要素オブジェクトには、前記検索
項目の重み付けに基づいて評価された評価値が付与され
ているものである。

【００３５】また、請求項１５の映像インデックス情報
を用いた映像検索方法は、請求項１４に記載の映像イン
デックス情報を用いた映像検索方法において、前記検索
結果として出力されるリスト上の各構造要素オブジェク
トが、前記評価値に基づいてランキング順に出力される
ものである。

【００３６】また、請求項１６の映像インデックス情報
を用いた音声検索方法は、あらかじめ各音声情報に対応
させて作成した音声インデックス情報を参照して、複数
の音声情報の中から所望の検索条件に一致する音声情報
を検索する音声インデックス情報を用いた音声検索方法
であって、前記音声インデックス情報が、前記音声情報
中の任意の範囲に対応した音声を１単位の情報として管
理する少なくとも１つのサウンド情報と、１単位の情報
である前記サウンド情報を分類して、所望の意味のある
集合として管理する少なくとも１つのセグメント情報
と、前記セグメント情報を複数まとめて管理するための
パッケージ情報と、を構造要素オブジェクトとしたツリ
ー構造であり、前記構造要素オブジェクトのうち、少な
くとも１種類の構造要素オブジェクトは、その構造要素
オブジェクトが直接または間接的に管理する音声の内容
を検索するための検索情報を有し、さらに前記セグメン
ト情報が、そのセグメント情報が管理する前記サウンド
情報と同一の範囲の音声を用いて生成された他のセグメ
ント情報を複数まとめて管理するためのパッケージ情報
を管理し、前記ツリー構造において、１つのセグメント
情報の下位に、前記サウンド情報に加えて前記パッケー
ジ情報を配置したデータ構造であり、所望の音声の条件
である検索条件を入力し、あらかじめ異なる複数の音声
情報から作成された複数の音声インデックス情報を検索
して前記検索条件と一致する検索情報を含む音声インデ
ックス情報を特定し、特定した音声インデックス情報に
対応した音声情報のリストを検索結果として出力するも
のである。

【００３７】また、請求項１７の映像インデックス情報
を用いた音声検索方法は、請求項１６に記載の音声イン
デックス情報を用いた音声検索方法において、さらに、
前記検索結果として出力されるリスト上の各音声情報に
対して、前記検索条件と一致する検索情報を有する構造
要素オブジェクトに基づいて前記所望の音声の位置を特
定した位置情報を付加して出力するものである。

【００３８】また、請求項１８の映像インデックス情報
を用いた音声検索方法は、請求項１６または１７に記載
の音声インデックス情報を用いた音声検索方法におい
て、前記検索条件が、それぞれ独立した重み付けが可能
な複数の検索項目からなり、前記検索結果として出力さ
れるリスト上の各音声情報には、前記検索項目の重み付
けに基づいて評価された評価値が付与されているもので
ある。

【００３９】また、請求項１９の映像インデックス情報
を用いた音声検索方法は、請求項１８に記載の音声イン
デックス情報を用いた音声検索方法において、前記検索
結果として出力されるリスト上の各音声情報が、前記評
価値に基づいてランキング順に出力されるものである。

【００４０】また、請求項２０の映像インデックス情報
を用いた音声検索方法は、あらかじめ音声情報から作成
した音声インデックス情報を参照して、音声情報の中か
ら所望の検索条件に一致する音声を検索する音声インデ
ックス情報を用いた音声検索方法であって、前記音声イ
ンデックス情報が、前記音声情報中の任意の範囲に対応
した音声を１単位の情報として管理する少なくとも１つ
のサウンド情報と、１単位の情報である前記サウンド情
報を分類して、所望の意味のある集合として管理する少
なくとも１つのセグメント情報と、前記セグメント情報
を複数まとめて管理するためのパッケージ情報と、を構
造要素オブジェクトとしたツリー構造であり、前記構造
要素オブジェクトが、それぞれその構造要素オブジェク
トが直接または間接的に管理する音声の内容を検索する
ための検索情報を有し、さらに前記セグメント情報が、
そのセグメント情報が管理する前記サウンド情報と同一
の範囲の音声を用いて生成された他のセグメント情報を
複数まとめて管理するためのパッケージ情報を管理し、
前記ツリー構造において、１つのセグメント情報の下位
に、前記サウンド情報に加えて前記パッケージ情報を配
置したデータ構造であり、所望の音声の条件である検索
条件を入力し、前記音声インデックス情報を検索して前
記検索条件と一致する検索情報を含む構造要素オブジェ
クトを特定し、特定した構造要素オブジェクトのリスト
を検索結果として出力するものである。

【００４１】また、請求項２１の映像インデックス情報
を用いた音声検索方法は、請求項２０に記載の音声イン
デックス情報を用いた音声検索方法において、さらに、
前記検索条件と共に前記ツリー構造中における深さ方向
の階層レベルを検索範囲として入力し、前記音声インデ
ックス情報中の前記検索範囲に存在する構造要素オブジ
ェクトの検索情報のみを検索対象として、前記検索条件
と一致する検索情報を含む構造要素オブジェクトを特定
し、特定した構造要素オブジェクトのリストを検索結果
として出力するものである。

【００４２】また、請求項２２の映像インデックス情報
を用いた音声検索方法は、請求項２０または２１に記載
の音声インデックス情報を用いた音声検索方法におい
て、前記検索条件が、それぞれ独立した重み付けが可能
な複数の検索項目からなり、前記検索結果として出力さ
れるリスト上の各構造要素オブジェクトには、前記検索
項目の重み付けに基づいて評価された評価値が付与され
ているものである。

【００４３】さらに、請求項２３の映像インデックス情
報を用いた音声検索方法は、請求項２２に記載の音声イ
ンデックス情報を用いた音声検索方法において、前記検
索結果として出力されるリスト上の各構造要素オブジェ
クトが、前記評価値に基づいてランキング順に出力され
るものである。

【００４４】また、請求項２４に係る映像検索システム
は、複数の映像情報を記憶した複数の映像情報データベ
ースと、あらかじめ各映像情報に対応させて作成した映
像インデックス情報を記憶した複数の映像インデックス
情報データベースと、前記複数の映像インデックス情報
データベースに記憶されている映像インデックス情報か
ら前記映像情報データベースに記憶されている映像情報
を検索するための検索情報を抽出して生成した検索情報
転置ファイルと、前記検索情報転置ファイルを用いて前
記映像情報データベースの中から所望の検索条件と一致
または類似する映像情報を検索する検索装置と、から構
成される映像検索システムであって、前記映像インデッ
クス情報データベースの前記映像インデックス情報は、
前記映像情報中の任意の連続するフレームを１単位の情
報として管理する少なくとも１つのフレーム情報と、前
記映像情報中の任意の範囲に対応した音声を１単位の情
報として管理する少なくとも１つのサウンド情報と、１
単位の情報である前記フレーム情報およびサウンド情報
を分類して、所望の意味のある集合として管理する少な
くとも１つのセグメント情報と、前記セグメント情報を
複数まとめて管理するためのパッケージ情報と、を構造
要素オブジェクトとしたツリー構造であり、前記構造要
素オブジェクトのうち、少なくとも１種類の構造要素オ
ブジェクトは、その構造要素オブジェクトが直接または
間接的に管理するフレームまたは／および音声の内容を
検索するための検索情報を有し、また前記セグメント情
報は、そのセグメント情報が管理する前記フレーム情報
およびサウンド情報と同一の範囲のフレームおよび音声
を用いて生成された他のセグメント情報を複数まとめて
管理するためのパッケージ情報を管理し、さらに前記ツ
リー構造において、１つのセグメント情報の下位に、前
記フレーム情報およびサウンド情報に加えて前記パッケ
ージ情報を配置したデータ構造であり、前記検索情報転
置ファイルは、前記複数の映像インデックス情報データ
ベースから抽出した各検索情報と、それぞれの検索情報
の抽出元である構造要素オブジェクトおよびその構造要
素オブジェクトが存在する映像インデックス情報とを関
連付けると共に、各検索情報を複数のカテゴリーに分類
して記憶したものであり、前記検索装置は、所望の映像
の条件である検索条件が入力されると、前記検索情報転
置ファイルの各検索情報とその関連する情報およびカテ
ゴリーを用いて、前記検索条件と一致または類似する検
索情報を特定し、該当する検索情報を含む映像インデッ
クス情報に基づいて該当する映像情報を検索結果として
出力するものである。

【００４５】また、請求項２５に係る映像検索システム
は、複数の映像情報を記憶した複数の映像情報データベ
ースと、あらかじめ各映像情報に対応させて作成した映
像インデックス情報を記憶した複数の映像インデックス
情報データベースと、前記複数の映像インデックス情報
データベースに記憶されている映像インデックス情報か
ら前記映像情報データベースに記憶されている映像情報
を検索するための複数の検索情報を記憶した検索情報転
置ファイルと、前記検索情報転置ファイルを用いて前記
映像情報データベースの中から所望の検索条件と一致ま
たは類似する映像情報を検索する検索装置と、から構成
される映像検索システムであって、前記映像インデック
ス情報データベースの前記映像インデックス情報は、前
記映像情報中の任意の連続するフレームを１単位の情報
として管理する少なくとも１つのフレーム情報と、前記
映像情報中の任意の範囲に対応した音声を１単位の情報
として管理する少なくとも１つのサウンド情報と、１単
位の情報である前記フレーム情報およびサウンド情報を
分類して、所望の意味のある集合として管理する少なく
とも１つのセグメント情報と、前記セグメント情報を複
数まとめて管理するためのパッケージ情報と、を構造要
素オブジェクトとしたツリー構造であり、前記セグメン
ト情報は、そのセグメント情報が管理する前記フレーム
情報およびサウンド情報と同一の範囲のフレームおよび
音声を用いて生成された他のセグメント情報を複数まと
めて管理するためのパッケージ情報を管理し、さらに前
記ツリー構造において、１つのセグメント情報の下位
に、前記フレーム情報およびサウンド情報に加えて前記
パッケージ情報を配置したデータ構造であり、前記検索
情報転置ファイルは、前記複数の検索情報を複数のカテ
ゴリーに分類し、各検索情報と、それぞれの検索情報に
よって検索される構造要素オブジェクトおよびその構造
要素オブジェクトが存在する映像インデックス情報とを
関連付けて記憶したものであり、前記検索装置は、所望
の映像の条件である検索条件が入力されると、前記検索
情報転置ファイルの各検索情報とその関連する情報およ
びカテゴリーを用いて、前記検索条件と一致または類似
する検索情報を特定し、該当する検索情報を含む映像イ
ンデックス情報に基づいて該当する映像情報を検索結果
として出力するものである。

【００４６】また、請求項２６に係る映像検索システム
は、請求項２４または２５に記載の映像検索システムに
おいて、前記映像情報データベース、前記映像インデッ
クス情報データベース、前記検索情報転置ファイルおよ
び前記検索装置は、それぞれネットワーク上に複数配置
されており、前記ネットワーク上の任意の検索装置から
ネットワーク上の任意の１つの検索情報転置ファイルを
介して、前記ネットワーク上の全ての映像インデックス
情報データベースおよび全ての映像情報データベースに
接続可能であるものである。

【００４７】また、請求項２７に係る映像検索システム
は、請求項２４または２５に記載の映像検索システムに
おいて、前記映像情報データベース、前記映像インデッ
クス情報データベース、前記検索情報転置ファイルおよ
び前記検索装置は、それぞれネットワーク上に複数配置
されており、前記ネットワーク上の任意の検索装置から
ネットワーク上の任意の１つの検索情報転置ファイルを
介して、前記ネットワーク上の複数の映像インデックス
情報データベースおよび複数の映像情報データベースに
接続可能であるものである。

【００４８】

【発明の実施の形態】以下、映像インデックス情報を用
いた映像検索方法および音声インデックス情報を用いた
音声検索方法並びに映像検索システムについて、〔実施
の形態１〕〜〔実施の形態８〕の順で、添付の図面を参
照して詳細に説明する。

【００４９】〔実施の形態１〕実施の形態１に係る映像
インデックス情報を用いた映像検索方法は、あらかじめ
各映像情報に対応させて作成した映像インデックス情報
を参照して、複数の映像情報の中から検索条件に一致す
る所望の映像情報を検索するものである。実施の形態１
の映像インデックス情報を用いた映像情報管理方法で
は、映像情報として、例えば、放送情報，ビデオ情報等
のように動画と音声とを含む情報を対象とし、少なくと
も複数のフレームを含む映像情報を解析して、映像情報
とは別に映像情報を管理するための映像インデックス情
報をあらかじめ生成しておき、生成した映像インデック
ス情報を直接の検索対象とするものである。この映像イ
ンデックス情報は、基本的に後述するフレーム情報、サ
ウンド情報、セグメント情報およびパッケージ情報を構
造要素オブジェクトとしたツリー構造で構成されてお
り、この生成した映像インデックス情報のツリー構造お
よび構造要素オブジェクトを用いて映像情報を検索する
ものである。

【００５０】また、後述するように、映像インデックス
情報は、ツリー構造中に任意の属性オブジェクトを配置
することが可能であり、この属性オブジェクトを用い
て、上記構造要素オブジェクトに対応させて必要なデー
タを保持することができる構成となっている。この属性
オブジェクトとして、各構造要素オブジェクトが直接ま
たは間接的に管理するフレームまたは／音声の内容を検
索するための検索情報を設定することにより、映像イン
デックス情報によって構造化された映像情報の詳細な検
索を容易に行うことが可能となる。

【００５１】以下、実施の形態１の映像インデックス情
報を用いた映像検索方法について、映像インデックス情報のデータ構造映像インデックス情報の生成方法映像検索システム映像検索処理の順で詳細に説明する。

【００５２】映像インデックス情報のデータ構造図１は、映像インデックス情報のデータ構造を示す説明
図である。映像インデックス情報１００は、図示の如
く、複数の構造要素オブジェクトを階層化したツリー構
造で構成されており、この映像インデックス情報１００
そのものを一つのデータ・ファイル（インデックス・フ
ァイル）として取り扱うことができる。したがって、映
像インデックス情報１００は、映像情報と一体で保存す
ることも可能であり、また映像情報と分離して保存する
ことも可能である。

【００５３】映像インデックス情報１００の構造要素オ
ブジェクトは、ツリー情報１０１と、フレーム情報１０
２（１０２Ａ〜１０２Ｆ）と、サウンド情報１０３（１
０３Ａ〜１０３Ｆ）と、セグメント情報１０４（１０４
Ａ〜１０４Ｆ）と、パッケージ情報１０５（１０５Ａ〜
１０５Ｃ）と、から構成される。

【００５４】ツリー情報１０１は、１つの映像インデッ
クス情報１００におけるツリー構造の最上位に設定され
る情報であり、１つの映像情報に関する全ての構造要素
オブジェクトがこの下位の層に配置されている。換言す
れば、１つの映像インデックス情報１００の入口を宣言
する情報である。また、このツリー情報１０１の下位に
は、映像情報（音声および動画）全体を表す１つのパッ
ケージ情報１０５Ａが配置されており、このパッケージ
情報１０５Ａの下には映像情報全体を表す１つのセグメ
ント情報１０４Ａが配置されている。

【００５５】フレーム情報１０２は、映像情報中の任意
の連続するフレームを１単位の情報として管理するため
の情報であり、ツリー構造中のノードＩＤ、そのフレー
ム情報で管理する連続するフレームの範囲、および映像
情報における位置を示すポインタを有している。

【００５６】サウンド情報１０３は、映像情報中の任意
の範囲に対応した音声を１単位の情報として管理するた
めの情報であり、ツリー構造中のノードＩＤ、そのサウ
ンド情報で管理する任意の範囲、および映像情報におけ
る位置を示すポインタを有している。

【００５７】セグメント情報１０４は、１単位の情報で
あるフレーム情報１０２およびサウンド情報１０３を分
類して、所望の意味のある集合として管理するための情
報であると共に、そのセグメント情報１０４が管理する
フレーム情報１０２およびサウンド情報１０３と同一の
範囲のフレームおよび音声を用いて生成された他のセグ
メント情報１０４を複数まとめて管理するためのパッケ
ージ情報１０５を管理するための情報である。なお、セ
グメント情報１０４は、ツリー構造中のノードＩＤ、そ
のセグメント情報１０４で管理するフレーム情報・サウ
ンド情報・パッケージ情報を特定するための特定情報、
および、そのセグメント情報１０４が属する上位のパッ
ケージ情報１０５へのポインタを有している。

【００５８】例えば、図において、セグメント情報１０
４Ａは、フレーム情報１０２Ａ、サウンド情報１０３Ａ
およびパッケージ情報１０５Ｂを管理するための情報で
あり、セグメント情報１０４ＡのノードＩＤと、フレー
ム情報１０２Ａ・サウンド情報１０３Ａ・パッケージ情
報１０５Ｂを特定するための特定情報と、そのセグメン
ト情報１０４Ａが属する上位のパッケージ情報１０５Ａ
へのポインタとを有している。

【００５９】パッケージ情報１０５は、セグメント情報
１０４を複数まとめて管理するための情報であり、ツリ
ー構造中のノードＩＤ、そのパッケージ情報１０５で管
理するセグメント情報１０４のリスト、および、そのパ
ッケージ情報１０５が属する上位のセグメント情報１０
４へのポインタを有している。

【００６０】例えば、図において、パッケージ情報１０
５Ｂは、３つのセグメント情報１０４Ｂ〜１０４Ｄをま
とめて管理するための情報であり、ツリー構造中のノー
ドＩＤ、そのパッケージ情報１０５Ｂで管理するセグメ
ント情報１０４Ｂ〜１０４Ｃのリスト、および、そのパ
ッケージ情報１０５Ｂが属する上位のセグメント情報１
０４Ａへのポインタを有している。

【００６１】なお、上記の如く、映像インデックス情報
１００は、各構造要素オブジェクトからなるツリー構造
において、１つのセグメント情報１０４の下位に、フレ
ーム情報１０２およびサウンド情報１０３に加えてパッ
ケージ情報１０５を配置することができる。

【００６２】さらに映像インデックス情報１００は、そ
のツリー構造中に任意の属性オブジェクトを配置するこ
とが可能である。また、映像インデックス情報１００中
の全ての構造要素オブジェクト（ツリー情報１０１、フ
レーム情報１０２、サウンド情報１０３、セグメント情
報１０４およびパッケージ情報１０５）は、属性オブジ
ェクトへのポインタを有し、属性オブジェクトおよび属
性オブジェクトへのポインタを用いて、任意の構造要素
オブジェクトに対して任意の付加情報を追加することが
可能である。

【００６３】図２は、映像インデックス情報１００のツ
リー構造中に属性オブジェクトを配置した例を示し、図
２では、付加情報の追加を行いたい構造要素オブジェク
ト（ここでは、パッケージ情報１０５Ａ〜１０５Ｃ）の
下層に、属性オブジェクト１０６（属性オブジェクト１
０６Ａ〜１０６Ｃ）を配置し、対応する属性オブジェク
ト１０６へのポインタ１０７をそれぞれの構造要素オブ
ジェクトに設定した例を示している。なお、属性オブジ
ェクト１０６の配置場所は特に限定するものではなく、
例えば、ツリー構造中の特定の場所に属性オブジェクト
１０６のみを集めて配置し、各構造要素オブジェクトか
らポインタ１０７を介して対応する属性オブジェクト１
０６にリンクさせる構成でも良い。

【００６４】映像インデックス情報の生成方法次に、映像情報を解析して映像インデックス情報１００
を生成する方法について簡単に説明する。

【００６５】映像インデックス情報１００におけるセグ
メント情報１０４は、分割された映像（動画および音
声）のフレーム連続および音声連続の塊を表し、構造化
された映像の１単位の情報として定義できる。１つの長
大な映像情報も、はじめは全体をひと塊とみなすことが
できるので、１つのセグメント情報１０４Ａ（図１参
照）として存在する。セグメント情報１０４Ａ以外の他
のセグメント情報１０４は、親となるセグメント情報１
０４を分割した一部分である。例えば、セグメント情報
１０４Ｂ〜１０４Ｄはそれぞれ親となるセグメント情報
１０４Ａを分割した一部分であり、セグメント情報１０
４Ｅ、１０４Ｆはそれぞれ親となるセグメント情報１０
４Ｃを分割した一部分である。

【００６６】また、親となるセグメント情報１０４（例
えば、セグメント情報１０４Ｃ）を複数に分割した場
合、その分割された一部分であるセグメント情報１０４
（ここでは、１０４Ｅ、１０４Ｆ）同士をまとめて管理
するものがパッケージ情報１０５であるということがで
きる。

【００６７】実施の形態１において、映像情報を解析し
て映像インデックス情報１００を生成する場合、先ず、
映像情報を解析する必要があるが、この映像情報の解析
は、映像情報をどうのような目的で利用・活用するかに
よって様々な解析方法を適用することができる。例え
ば、単純に背景色に注目して映像情報を解析する方法
や、動きに注目して解析する方法、特定のオブジェクト
の存在有無によって解析する方法、単純な時分割によっ
て解析する方法等が考えられる。換言すれば、映像情報
の解析は、当該映像情報をどうのような目的で利用・活
用するかに基づいて作成されたアルゴリズム（目的に応
じたアルゴリズム）を適用して自由に行うことができ、
その解析方法は特に限定されるべきではない。さらに付
け加えれば、特別な解析アルゴリズムによらず、利用者
が直接映像情報を見て、手操作で解析結果を入力する方
法でも良い。

【００６８】例えば、背景色に注目して映像情報を解析
し、この解析結果を用いて映像インデックス情報１００
を生成する方法について説明する。

【００６９】図３（ａ）〜（ｃ）は、ツリーを段階的に
２回セグメント分割した場合の、セグメント情報１０４
とパッケージ情報１０５との関係を示す説明図である。
なお、同図の右側はツリー構造を示し、左側は対応する
映像情報の状態をフレームの連続で示したものである。
ただし、この映像情報の状態は、説明を分かりやすくす
るために映像インデックス情報１００中のフレーム情報
１０２およびサウンド情報１０３を抽象化（イメージ
化）して表したものであり、実際に生の映像情報（オリ
ジナルの映像情報）の状態を示しているものではない。

【００７０】同図（ａ）に示すように、当初は映像情報
が全く構造化されていないので、映像インデックス情報
１００のツリー構造としては、ツリー情報１０１と、１
つのパッケージ情報１０５およびセグメント情報１０４
のみが存在する。すなわち、１つの映像インデックス情
報１００の入口を宣言するツリー情報１０１の下に、映
像情報（音声および動画）全体を表す１つのパッケージ
情報１０５Ａが配置されており、このパッケージ情報１
０５Ａの下には映像情報全体を表す１つのセグメント情
報１０４Ａが配置されている。この状態の映像情報に対
して背景色の変化を検出するアルゴリズムを適用し、矢
印の部分で映像情報（連続するフレーム）を分割し、同
図（ｂ）の状態のツリー構造および映像情報のフレーム
の状態を生成する。

【００７１】同図（ｂ）に右側は、分割によってセグメ
ント情報１０４Ａの下位に３つのセグメント情報１０４
Ｂ〜１０４Ｄが作成され、ツリーが構造化（階層化）さ
れたようすを示している。なお、これらの３つのセグメ
ント情報１０４Ｂ〜１０４Ｄはパッケージ情報１０５Ｂ
によってまとめられ、セグメント情報１０４Ａで管理さ
れることになる。

【００７２】ここで、先程と同じアルゴリズムでパラメ
ータを細かく設定したものを適用して、さらに同図
（ｂ）の左側の矢印で示す部分で映像情報をそれぞれ分
割し、同図（ｃ）の状態のツリー構造および映像情報の
フレームの状態を生成する。

【００７３】同図（ｃ）の右側に示すように、各セグメ
ント情報１０４Ｂ〜１０４Ｄに対して、下位パッケージ
情報１０５Ｃ〜１０５Ｅが作成され、パッケージ情報１
０５Ｃに分割されたセグメント情報１０４Ｅ、１０４Ｆ
が格納され、パッケージ情報１０５Ｄに分割されたセグ
メント情報１０４Ｇ、１０４Ｈが格納され、パッケージ
情報１０５Ｅに分割されたセグメント情報１０４Ｉ、１
０４Ｊが格納される。作成されたツリー構造は、背景の
変化によるシーン抽出（背景色の変化を検出するアルゴ
リズム）によって、下位にいくほど細かく構造化された
ものとなる。

【００７４】なお、各セグメント情報１０４に対応する
フレーム情報１０２およびサウンド情報１０３は、探査
モジュールによって検出され、図１で示したようにツリ
ー構造中の対応するセグメント情報１０４の下位に保持
される。

【００７５】また、各セグメント情報１０４およびパッ
ケージ情報１０５を生成する際に、属性オブジェクト１
０６を用いて、利用・活用する目的に応じて所望の情報
を付加情報（例えば，検索情報）として生成し、後で検
索等に利用することもできる。具体的は、属性オブジェ
クト１０６としてテキスト情報を用いて、各構造要素オ
ブジェクトの特徴となるキーワード等を設定し、後にキ
ーワードを用いて検索したり、分類したりすることがで
きる。

【００７６】このようにセグメント情報１０４の分割操
作によって、下位にパッケージ情報１０５を作成した
り、フレーム情報１０２およびサウンド情報１０３を登
録することにより、映像インデックス情報１００の生成
を行うことができる。

【００７７】このようにして生成した映像インデックス
情報１００が、例えば、図１に示すようなツリー構造と
して提供されることになる。以上の説明から明らかなよ
うに映像インデックス情報１００は、文書（テキスト情
報）を章、節、項等で構造化するように、映像をセグメ
ント分割により構造化して表したものであるため、文書
でのタイトルのように、分割したセグメント情報１０４
およびパッケージ情報１０５を用いて、所望のフレーム
情報１０２や、サウンド情報１０３の検索に役立てるこ
とができる。また、ツリー構造中の特定の構造要素オブ
ジェクトを指定し、該当する構造要素オブジェクトのみ
を可視または／および可聴が容易に行える。

【００７８】次に、図４（ａ）〜（ｃ）を参照して、同
一の映像情報に異なるアルゴリズムを適用して解析し、
映像インデックス情報１００を生成した場合、または同
一の映像情報を異なる分割の仕方で分割して、複数のパ
ッケージ情報を生成した場合について説明する。

【００７９】同図（ａ）に示すように、第１のアルゴリ
ズムを適用して、セグメント情報１０４Ａを矢印の部分
で３つのセグメント情報１０４Ｂ〜１０４Ｄに分割し、
パッケージ情報１０５Ｂを生成する。次に、同図（ｂ）
に示すように、第２のアルゴリズムを適用して、セグメ
ント情報１０４Ａを矢印の部分で２つのセグメント情報
１０４Ｅ、１０４Ｆに分割してパッケージ情報１０５Ｃ
を生成すると、映像インデックス情報１００は、同図
（ｃ）に示すように、セグメント情報１０４Ａの下位に
２つのパッケージ情報１０５Ｂ、１０５Ｃが配置された
ツリー構造となる。

【００８０】なお、同図（ａ）と同図（ｂ）の操作は、
連続して行っても良く、同一の時間に異なる場所で異な
る作業として行っても良い。すなわち、映像インデック
ス情報１００がツリー構造であり、さらに実際の映像情
報を加工するものではないため、同一のセグメント情報
１０４に対する操作（換言すれば、該当するセグメント
情報１０４の下位のツリー構造の生成）であっても、異
なる作業者が異なる場所で同一の時間に行う等、何の制
約もなく行うことができる。また、それぞれが生成した
映像インデックス情報１００は、同一の映像情報であれ
ば、一つのツリー情報１０１の下にマージして管理する
ことができる。

【００８１】同図（ｃ）の状態も、２つの異なるアルゴ
リズムを適用して生成した映像インデックス情報１００
を１つのツリー情報１０１の下にマージした状態と認識
することもできる。

【００８２】映像検索システムつぎに、実施の形態１に係る映像インデックス情報を用
いた映像情報管理方法を実現するための映像検索システ
ムの概略を説明する。図５は、映像検索システムの概略
構成図を示している。図５に示す映像検索システムは、
複数の映像情報を記憶した映像情報ライブラリィ６０１
と、映像情報ライブラリィ６０１の各映像情報に対応し
た複数の映像インデックス情報を記憶した映像インデッ
クス情報データベース６０２と、映像インデックス情報
を用いた専用の映像情報検索ツール６０３と、を有した
ものである。例えば、過去の映像をアーカイブして必要
な時に再利用するサービス等がテレビ局等で実際された
場合、必要な映像を検索する場合に、タイトルのみの検
索だけでなく、映像情報の内容で、『〜が登場し、〜と
喋った映像』とか、『このシーンに似ているシーンがあ
る映像』、『この音楽が使われている映像』といったよ
うに映像情報の内容の情報に及んだ検索を行うことがで
きる。この場合にはあらかじめ属性オブジェクト１０６
に検索情報としてキーワードを詳細に設定することが望
ましいのは勿論である。

【００８３】なお、映像情報検索ツール６０３は、映像
インデックス情報データベース６０２から映像インデッ
クス情報を読み出して（メモリ中にロードして）検索処
理を実行するが、映像情報の構造に対応した詳細なデー
タを有する映像インデックス情報にあっても、必要最小
限の情報（検索情報）のみを検索対象とすることがで
き、検索処理の高速化を図ることが可能となる。

【００８４】映像検索処理続いて、実施の形態１に係る映像インデックス情報を用
いた映像検索方法について、図６を参照しつつ具体的に
説明する。図６は、図２を用いて説明した属性オブジェ
クト１０６として、映像インデックス情報中の構成要素
オブジェクトに検索情報を付加することによって生成し
た検索用の映像インデックス情報２００を示している。
なお、図１に示した映像インデックス情報１００と共通
の構成は同一の符号を付して説明を省略する。

【００８５】図６に示す映像インデックス情報２００に
おいて、構造要素オブジェクトのうち、セグメント情報
１０４には、その下位に存在するフレーム情報１０２お
よびサウンド情報１０３の内容を検索するための検索情
報２０１（２０１Ａ〜２０１Ｆ）が付与されている。ま
た、ツリー情報１０１には、映像インデックス情報２０
０と対応する映像情報（ストリーム全体）の再生時間や
フォーマットを示す基本的な情報が含まれており、この
情報もまた検索情報として利用される。

【００８６】図７は、映像検索処理の概略フローチャー
トである。先ず、所望の映像の条件である検索条件と、
必要に応じて検索条件を構成する検索項目に対する重み
付けを入力する（Ｓ８０１）。あらかじめ異なる複数の
映像情報から作成された複数の映像インデックス情報２
００を検索して検索条件と一致する検索情報を含む映像
インデックス情報を特定し（Ｓ８０２）、特定した映像
インデックス情報に対応した映像情報のリストを検索結
果として出力する（Ｓ８０３）。

【００８７】次に、上記映像検索処理について、検索条
件および検索結果（リスト）の例を挙げて具体的に説明
する。検索対象となる映像情報（換言すれば、映像イン
デックス情報２００）の数は１つ以上幾つでも良いが、
ここでは説明を簡単にするために、検索対象として２つ
の映像情報（Ｍｏｖｉｅ１、Ｍｏｖｉｅ２）が存在する
場合を例として説明する。なお、図８は、２つの映像情
報（Ｍｏｖｉｅ１、Ｍｏｖｉｅ２）に対応する映像イン
デックス情報２００Ａ、２００Ｂを示すものである。

【００８８】映像インデックス情報２００Ａ、２００Ｂ
は、それぞれツリー情報の下に１つのパッケージ情報を
有し、そのパッケージ情報の下に３つのセグメント情報
（および検索情報）が配置され、セグメント情報の下に
フレーム情報およびサウンド情報が配置されたツリー構
造である。

【００８９】Ｍｏｖｉｅ１を構造化した映像インデック
ス情報２００Ａには、以下に示すように、検索情報とし
て、ツリー情報に『再生時間、フォーマット』が付加さ
れ、他の３つのセグメント情報にはそれぞれ『セグメン
トの再生区間（再生時間の範囲）、キーフレームＩＤ
（代表となるフレーム）、登場人物』が付加されてい
る。Ｍｏｖｉｅ１：Ｔｒｅｅ（ツリー情報中の検索情報）再生時間：００：３０：００フォーマット：ＭＰＥＧ２Ｓｅｇｍｅｎｔ＃１（セグメント情報の検索情報）セグメントの再生区間：００：００：００−００：１
５：００キーフーレームＩＤ：０登場人物：Ａ，ＢＳｅｇｍｅｎｔ＃２（セグメント情報の検索情報）セグメントの再生区間：００：１５：００−００：２
０：００キーフーレームＩＤ：２７０００登場人物：Ａ，ＣＳｅｇｍｅｎｔ＃３（セグメント情報の検索情報）セグメントの再生区間：００：２０：００−００：３
０：００キーフーレームＩＤ：３６０００登場人物：Ｃ，Ｂ

【００９０】Ｍｏｖｉｅ２を構造化した映像インデック
ス情報２００Ｂには、以下に示すように、検索情報とし
て、ツリー情報に『再生時間、フォーマット』が付加さ
れ、他の３つのセグメント情報にはそれぞれ『セグメン
トの再生区間、キーフレームＩＤ（代表となるフレー
ム）、登場人物』が付加されている。Ｍｏｖｉｅ２：Ｔｒｅｅ（ツリー情報中の検索情報）再生時間：００：１０：００フォーマット：ＭＰＥＧ１Ｓｅｇｍｅｎｔ＃１（セグメント情報の検索情報）セグメントの再生区間：００：００：００−００：０
３：００キーフーレームＩＤ：０登場人物：Ｄ，ＥＳｅｇｍｅｎｔ＃２（セグメント情報の検索情報）セグメントの再生区間：００：０３：００−００：０
５：００キーフーレームＩＤ：５４００登場人物：Ａ，ＥＳｅｇｍｅｎｔ＃１（セグメント情報の検索情報）セグメントの再生区間：００：０５：００−００：１
０：００キーフーレームＩＤ：９０００登場人物：Ｃ，Ｅ

【００９１】ただし、映像インデックス情報２００の検
索情報は上記の項目に限定するものではなく、例えば、
セグメント情報の下位に存在するサウンド情報によって
特定される音声中の曲名・曲調・音声の内容等を設定し
ても良く、フレーム情報によって特定される映像中に存
在する特定の物・色・場所・映像の内容等を設定しても
良いのは勿論である。

【００９２】次に、所望の映像を検索するための検索条
件として、図９に示すような、それぞれ３つの検索項目
を有する条件１〜条件５の検索条件を与えたものとす
る。なお、これらの検索条件において、再生時間、フォ
ーマット、登場人物の各検索項目の関係は、一般的なブ
ーリアン検索式と同様にＡＮＤ、ＯＲを用いて定義でき
るものとする。

【００９３】例えば、条件１〜条件５において、各検索
項目をそれぞれＡＮＤで検索すると、検索条件は（１）
式のようになり、検索結果のリストは図１０に示すよう
になる。（再生時間）AND （フォーマット）AND （登場人物） ‥‥‥（１）

【００９４】図１０に示すように、検索結果としては、
条件（検索条件）と、該当する検索条件によって検索さ
れた結果と、検索された結果に与えられた評価値（スコ
ア）と、検索の際の一致内容とが出力される。例えば、
条件１で検索を行うと、Ｍｏｖｉｅ２が検索され、スコ
アが１（一致内容：登場人物の一致が１回）である。ま
た、条件２で検索を行うと、Ｍｏｖｉｅ１とＭｏｖｉｅ
２の２つが検索され、スコアはＭｏｖｉｅ１が２（一致
内容：登場人物の一致が２回）で、Ｍｏｖｉｅ２が１
（一致内容：登場人物の一致が１回）である。条件２で
示すように、該当する映像情報が複数存在する場合は、
スコア（評価値）に基づいてランキング順（ここではス
コアの大きな順に）に出力する。このようにランキング
順に出力することよって、利用者は所望の映像に最も近
い映像をランキングから判断することができる。

【００９５】また、条件１〜条件５において、各検索項
目をそれぞれＯＲで検索すると、検索条件は（２）式の
ようになり、検索結果のリストは図１１に示すようにな
る。（再生時間）OR（フォーマット）OR（登場人物） ‥‥‥（２）

【００９６】図１１に示すように、検索結果としては、
条件（検索条件）と、該当する検索条件によって検索さ
れた結果と、検索された結果に与えられた評価値（スコ
ア）と、検索の際の一致内容とが出力される。例えば、
条件３で検索を行うと、Ｍｏｖｉｅ１とＭｏｖｉｅ２の
２つが検索され、スコアはＭｏｖｉｅ１が２（一致内
容：登場人物の一致が２回）で、Ｍｏｖｉｅ１が１（一
致内容：再生時間の一致が１回、登場人物の一致が１
回）である。また、条件５で検索を行うと、Ｍｏｖｉｅ
２とＭｏｖｉｅ１の２つが検索され、スコアはＭｏｖｉ
ｅ２が３（一致内容：再生時間の一致が１回、フォーマ
ットの一致が１回、登場人物の一致が１回）で、Ｍｏｖ
ｉｅ１が２（一致内容：登場人物の一致が２回）であ
る。ここでも、該当する映像情報が複数存在する場合
は、スコア（評価値）に基づいてランキング順（ここで
はスコアの大きな順に）に出力する。また、ランキング
順に出力することに加えて、一致内容を出力するので、
利用者は所望の映像に最も近い映像をランキングから判
断できると共に、さらに一致内容に基づいて、最も重要
な検索項目の一致した映像を選択することができる。

【００９７】さらに、実施の形態１では、条件１〜５の
検索項目に対してそれぞれ独立した重み付けを行うこと
が可能である。したがって、重要な検索項目に対して重
みを付けることにより、利用者の意図する所望の映像を
検索し易くすることができる。また、検索結果として出
力するリスト上の各映像情報には、検索項目の重み付け
に基づいて評価された評価値が付与される。

【００９８】例えば、検索項目の一つである登場人物に
２倍の重みをかけ、条件１〜条件５をそれぞれＡＮＤで
検索すると、検索結果のリストは図１２に示すようにな
る。

【００９９】また、検索項目の一つである登場人物に２
倍の重みをかけ、条件１〜条件５をそれぞれＯＲで検索
すると、検索結果のリストは図１３に示すようになる。

【０１００】検索項目の一つに２倍の重みをかけた図１
２および図１３を、検索項目に重みの差を設けていない
図１０および図１１と比較すると明らかなように、図１
２および図１３では検索結果のリストのスコア（評価
値）の値のバラツキが大きくなり、リスト上での比較検
討が容易になる。換言すれば、利用者が重要と認識して
いる検索項目をスコア上に反映できるので、より所望の
映像を検索し易くなる。

【０１０１】具体的には、条件５のスコアのように、図
１１ではＭｏｖｉｅ２、Ｍｏｖｉｅ１の順のランキング
であったものが、図１３では同一のランキングとなり、
利用者の意図がより反映された形となっている。なお、
実施の形態１では検索対象となる映像情報を２つとした
ため、ランキングの入れ替わりが分かりにくいが、検索
結果として数十の映像（映像情報）がリスト上にランキ
ングされている場合には、重み付けによるランキングの
入れ替わりが大きく、ランキングの上位に適切な映像が
配置されることになる。

【０１０２】また、重みを大きくすることにより、ラン
キングを変化させ、所望の映像をランキングの上位に配
置することもできる。例えば、登場人物に３倍の重みを
かけ、条件１〜条件５をそれぞれＯＲで検索すると、検
索結果のリストは図１４に示すようになる。

【０１０３】図１４の条件５のスコアを参照すると、図
１１ではＭｏｖｉｅ２、Ｍｏｖｉｅ１の順のランキング
であったものが、図１３では同一のランキングとなり、
図１４ではＭｏｖｉｅ１、Ｍｏｖｉｅ２の順のランキン
グに入れ替わっているのが分かる。

【０１０４】さらに、実施の形態１では、映像インデッ
クス情報のセグメント情報に検索情報を付加してあるた
め、検索結果として出力されるリスト上の各映像情報に
対して、検索条件と一致する検索情報を有するセグメン
ト情報に基づいて所望の映像の位置を特定した位置情報
を付加して出力することが可能である。

【０１０５】例えば、Ｍｏｖｉｅ２とＭｏｖｉｅ１を検
索対象とし、検索条件『登場人物ＡあるいはＥが出演し
ている映像』で検索を行い、検索結果のリストに位置情
報（検索条件と一致する検索情報を有するセグメント情
報を特定する情報）を付加して出力すると図１５に示す
ようになる。

【０１０６】図１５では、検索条件に対して、Ｍｏｖｉ
ｅ２、Ｍｏｖｉｅ１の順でランキングされており、さら
にＭｏｖｉｅ２の中で検索条件と一致した検索情報を有
するセグメント情報を特定するための情報として位置情
報が、スコア（セグメントスコア）と共にランキングさ
れて出力されている。これによって、利用者は所望の映
像が存在する映像情報（Ｍｏｖｉｅ２）を検索できると
共に、位置情報（Ｓｅｇｍｅｎｔ＃２）から映像情報中
のどの部分に所望の映像が存在するか容易に知ることが
できる。このように映像情報を特定し、さらに詳細な位
置が判別できるのは、映像インデックス情報のデータ構
造によるものである。

【０１０７】このように、実施の形態１の映像インデッ
クス情報を用いた映像検索方法によれば、映像情報の内
部の論理構造を表現可能なデータ構造を有する映像イン
デックス情報を用いることにより、映像検索の利便性の
向上を図ると共に、全ての映像情報に適用可能な映像検
索方法を提供することができる。

【０１０８】また、実施の形態１の映像インデックス情
報は、どのような映像情報に対しても、特に制約なく、
自由に作成することができるので、この映像インデック
ス情報を用いることにより、映像検索の利便性の向上を
図ることができると共に、全ての映像情報の検索に適用
できる映像検索方法を提供することが可能となる。

【０１０９】〔実施の形態２〕実施の形態２に係る映像
インデックス情報を用いた映像検索方法は、実施の形態
１で説明したように、あらかじめ各映像情報に対応させ
て作成した映像インデックス情報を参照して複数の映像
情報の中から検索条件に一致する所望の映像情報を検索
するものである。なお、実施の形態２における映像検索
システム，検索に用いる映像インデックス情報の構成お
よび映像検索処理において、実施の形態１で説明した点
と同一の点については説明を省略し、ここでは異なる点
のみを説明する。

【０１１０】図１６は、実施の形態２に係る映像インデ
ックス情報を用いた映像検索方法を説明するための説明
図である。ここでは、図１６に示す映像インデックス情
報３００Ａおよび３００Ｂを所望の映像を検索するため
の直接の検索対象とする。図１６に示す映像インデック
ス情報３００Ａおよび３００Ｂを構成する各構造要素オ
ブジェクトには、その構造要素オブジェクトが直接また
は間接的に管理するフレームの内容を検索するための検
索情報２０１が付与されている。また、構造要素オブジ
ェクトの一つであるフレーム情報１０２は、さらに、１
単位の情報として管理している映像情報中の連続するフ
レームの中から任意に選択された代表フレームを管理す
ると共に、代表フレームの内容を検索するための検索情
報２０１Ｆを有しているものとする。なお、ここでは、
サウンド情報１０３の検索情報については図示を省略す
るが、サウンド情報についても、１単位の情報として管
理している映像情報中の任意の範囲に対応した音声の中
から選択された任意の範囲の代表音声を管理すると共
に、代表音声の内容を検索するための検索情報を有する
ことにしても良い。

【０１１１】次に、検索条件および検索結果（リスト）
の例を挙げて、実施の形態２に係る検索処理を説明す
る。ここで、図１６の映像インデックス情報３００Ａお
よび３００Ｂを構成する各構成要素オブジェクトは以下
のような内容の検索情報を有しているものとする。な
お、映像インデックス情報３００ＡはＭｏｖｉｅＡに対
応し、映像インデックス情報３００ＢはＭｏｖｉｅＢに
対応するものとする。

【０１１２】ＭｏｖｉｅＡ（映像インデックス情報３０
０Ｂ）ＭｏｖｉｅＡは、ニュース番組であり、日本オリンピック委員会に関するレポート（首相が登場する）選挙応援演説に関するレポート（首相が登場する）アメリカ対日政策に関するレポート（大統領が登場する）から構成されている。

【０１１３】上記ＭｏｖｉｅＡに対応し、映像インデッ
クス情報３００Ａの構造要素オブジェクトは以下のよう
な検索情報２０１を有しているものとする。

【０１１４】ツリー情報１０１タイトル：ニュースパッケージ情報１０５Ａ再生時間：００：３０：００フォーマット：ＭＰＥＧ２セグメント情報１０４Ａシーン：日本オリンピック委員会セグメント情報１０４Ｂシーン：選挙応援演説セグメント情報１０４Ｃシーン：アメリカ対日政策フレーム情報１０２Ａキーフレーム：首相イメージフレーム情報１０２Ｂキーフレーム：首相イメージフレーム情報１０２Ｃキーフレーム：大統領イメージ

【０１１５】ＭｏｖｉｅＢ（映像インデックス情報３０
０Ｂ）ＭｏｖｉｅＢは、ＭｏｖｉｅＡと同一内容のニュース番
組であり、日本オリンピック委員会に関するレポート（ジャンプの選手が登場する）選挙応援演説に関するレポート（レポーターが登場する）アメリカ対日政策に関するレポート（首相が登場する）から構成されている。なお、ＭｏｖｉｅＡとＭｏｖｉｅ
Ｂとは、およびのレポートに登場する人物が異なっ
ている。

【０１１６】上記ＭｏｖｉｅＢに対応し、映像インデッ
クス情報３００Ｂの構造要素オブジェクトは以下のよう
な検索情報２０１を有しているものとする。

【０１１７】ツリー情報１０１タイトル：ニュースパッケージ情報１０５Ａ再生時間：００：３０：００フォーマット：ＭＰＥＧ２セグメント情報１０４Ａシーン：日本オリンピック委員会セグメント情報１０４Ｂシーン：選挙応援演説セグメント情報１０４Ｃシーン：アメリカ対日政策フレーム情報１０２Ａキーフレーム：ジャンプ選手イメージフレーム情報１０２Ｂキーフレーム：レポーターイメージフレーム情報１０２Ｃキーフレーム：首相イメージ

【０１１８】ただし、映像インデックス情報２００の検
索情報は上記の項目に限定するものではなく、検索情報
として設定される情報のデータ形式は何でも良い。例え
ば、各フレーム情報１０２が検索情報として有するキー
フレームについては、たとえば、キーフレームの画像そ
のものであっても良いし、キーフレームの画像から抽出
した画像の特徴量等であっても良い。ここでは、説明の
便宜上、各フレーム情報１０２はテキスト情報で記述さ
れているものとする。

【０１１９】次に、所望の映像を検索するための検索条
件として、図１７に示す一つの検索条件を与えたものと
する（図７のステップＳ８０１）。なお、実施の形態２
において、検索条件中の各検索項目は、映像インデック
ス情報２００中の各構成要素オブジェクトの種類に対応
して設定される。換言すれば、各検索項目は、特定の種
類の構成要素オブジェクトを検索対象として設定され
る。図１７に示す検索条件においては、検索項目「タイ
トル」がツリー情報１０１（検索情報２０１Ｔ）を検索
対象とし、検索項目「再生時間」がパッケージ情報１０
５（検索情報２０１Ｐ）を検索対象とし、検索項目「シ
ーン」がセグメント情報１０４（検索情報２０１Ｓ）を
検索対象とし、検索項目「キーフレーム」がフレーム情
報１０２（検索情報２０１Ｆ）を検索対象としている。

【０１２０】このように、各検索項目を映像インデック
ス情報２００中の各構成要素オブジェクトの種類に対応
して設定することにするのは、各構成要素オブジェクト
が有する検索情報のデータ形式に対応させるためのであ
る。具体的には、例えば、キーフレームの画像そのもの
が検索情報としてフレーム情報１０２に設定されている
場合に、キーフレームを検索するための検索項目として
テキスト情報であるキーワードを設定しても、検索情報
および検索項目のデータ形式が一致していないため、所
望のキーフレームを正しく検索することができないとい
うことになってしまう。そのため、例えばキーフレーム
の画像そのものが検索情報としてフレーム情報１０２に
設定されている場合、システム側では、図１７に示す検
索項目「キーフレーム」に、検索したいシーンに含まれ
ていると予想される画像そのものを検索項目として入力
するよう要求するようにする。

【０１２１】このような検索項目と構成要素オブジェク
トとの対応関係はシステム側にあらかじめ設定されてお
り、ユーザはシステム側が提示する検索条件の入力方法
に従って、各検索項目に該当するキーワード等を入力す
れば良い。

【０１２２】さらに、図１７に示すように、検索条件に
は複数の異なる種類の構成要素オブジェクトを検索対象
とする検索項目を含めることができ、また、同一種類の
構成要素オブジェクトを検索対象とする複数の検索項目
も含めることができる。そして、実施の形態１で説明し
たように、一般的なブーリアン検索式と同様にＡＮＤ、
ＯＲを用いて各検索項目の関係を論理的に表現できるも
のとし、また、各検索項目に重みを設定することができ
るものとする。ここでは、図１７に示した条件中の各検
索項目間にはＡＮＤ条件が設定されており、検索項目
「キーフレーム」に２倍の重みが設定されているものと
する。

【０１２３】図５に示した映像情報検索ツール６０３
は、映像インデックス情報データベース６０２から映像
インデックス情報３００Ａおよび３００Ｂを読み出し、
図１７に示した検索条件に従って検索処理を実行する
（図７のステップＳ８０２）。ここでは、説明の便宜
上、映像インデックス情報３００Ａおよび３００Ｂを用
いた検索処理を同一箇所で説明していくことにする。

【０１２４】情報検索ツール６０３は、条件中の検索項
目「タイトル」について、映像インデックス情報３００
Ａおよび３００Ｂ中のツリー情報１０１の検索情報２０
１Ｔとの比較処理を行い、一致すると判定した場合に、
あらかじめ設定された重みに応じたポイントを加算する
処理を実行する。

【０１２５】ここで、図１７に示す条件の検索項目「タ
イトル」の内容「ニュース」は、図１６に示す映像イン
デックス情報３００Ａおよび３００Ｂにおけるツリー情
報１０１の検索情報２０１Ｔの内容「ニュース」のいず
れとも一致するので、ＭｏｖｉｅＡおよびＢに対して例
えば１ポイントを与えるものとする。

【０１２６】そして、映像情報検索ツール６０３は、条
件中の検索項目「再生時間」について、映像インデック
ス情報３００Ａおよび３００Ｂ中のパッケージ情報１０
５の検索情報２０１Ｐとの比較処理を行い、一致すると
判定した場合に、あらかじめ設定された重みに応じたポ
イントを加算する処理を実行する。

【０１２７】ここで、図１７に示す条件の検索項目「再
生時間」の内容「００：０５：００以上００：３０：０
０以下」は、図１６に示す映像インデックス情報３００
Ａおよび３００Ｂにおけるパッケージ情報１０５の検索
情報２０１Ｐの内容「００：３０：００」に一致するの
で、ＭｏｖｉｅＡおよびＢに対して例えば１ポイントを
与えるものとする。

【０１２８】また、映像情報検索ツール６０３は、条件
中の検索項目「シーン」について、映像インデックス情
報３００Ａおよび３００Ｂ中のセグメント情報１０４の
検索情報２０１Ｓとの比較処理を行い、一致すると判定
した場合に、あらかじめ設定された重みに応じたポイン
トを加算する処理を実行する。

【０１２９】ここで、図１７に示す条件の検索項目「シ
ーン」の内容「アメリカ対日政策」は、図１６に示す映
像インデックス情報３００Ａおよび３００Ｂにおけるセ
グメント情報１０４Ｃの検索情報２０１ＳＣの内容「ア
メリカ対日政策」に一致するので、ＭｏｖｉｅＡおよび
Ｂに対して例えば１ポイントを与えるものとする。

【０１３０】さらに、映像情報検索ツール６０３は、条
件中の検索項目「キーフレーム」について、映像インデ
ックス情報３００Ａおよび３００Ｂ中のフレーム情報１
０２の検索情報２０１Ｆとの比較処理を行い、一致する
と判定した場合に、あらかじめ設定された重みに応じた
ポイントを加算する処理を実行する。

【０１３１】ここで、図１７に示す条件の検索項目「シ
ーン」の内容「首相イメージ」は、図１６に示す映像イ
ンデックス情報３００Ａにおけるフレーム情報１０２Ａ
の検索情報２０１ＦＡの内容「首相イメージ」およびフ
レーム情報１０２Ａの検索情報２０１ＦＡの内容「首相
イメージ」に一致すること、および検索項目「キーフレ
ーム」に２倍の重みが設定されていることから、Ｍｏｖ
ｉｅＡに対して例えば４ポイントを与えるものとする。
一方、図１７に示す条件の検索項目「シーン」の内容
「首相イメージ」は、図１６に示す映像インデックス情
報３００Ｂにおけるフレーム情報１０２Ｃの検索情報２
０１ＦＣの内容「首相イメージ」に一致することから、
ＭｏｖｉｅＢに対して例えば２ポイントを与えるものと
する。

【０１３２】そして、映像情報検索ツール６０３は、各
検索項目間にＡＮＤ条件が設定されているため、各検索
項目の全てが映像インデックス情報２００中の構造要素
オブジェクトの検索情報と一致したか否かを判定し、一
致している場合にはその映像を「真」とし、一致してい
ない場合には「偽」とする。なお、各検索項目間にＯＲ
条件が設定されている場合には、各検索項目のいずれか
一つが映像インデックス情報２００中の構造要素オブジ
ェクトの検索情報と一致したか否かを判定し、一致して
いる場合には真、一致していない場合には「偽」とす
る。また、各検索項目間の関係としてＡＮＤ条件および
ＯＲ条件が混在して設定されている場合には、それぞれ
各検索項目間の条件を満たしているかを判定する。

【０１３３】図１７の条件中の各検索項目は、映像イン
デックス情報３００Ａおよび３００Ｂ中の構造要素オブ
ジェクトが有する検索情報２０１のいずれかと一致して
いるため、ＭｏｖｉｅＡおよびＢはそれぞれ「真」と判
定される。

【０１３４】図１８は、図１７に示した条件を用いてＭ
ｏｖｉｅＡおよびＭｏｖｉｅＢを検索対象として検索を
行った場合の検索結果を示す説明図である。図１８に示
すように、ＭｏｖｉｅＡおよびＢの両方が図１７の条件
に一致するという検索結果が得られている。また、図１
８においては、与えられたポイントに応じた順序でＭｏ
ｖｉｅＡおよびＭｏｖｉｅＢがランキングされて表示さ
れている。

【０１３５】このように、実施の形態２に係る映像イン
デックス情報を用いた映像検索方法によれば、構成要素
オブジェクトの種類に合わせて検索条件を構成する検索
項目を設定するようにすることにより、各検索項目につ
いて、構成要素オブジェクトの全ての検索情報と一致す
るか否かを判定する必要をなくすことができるため、検
索処理の高速化を図ることができる。また、検索条件の
各検索項目のデータ形式と、検索対象となる構成要素オ
ブジェクトが有する検索情報のデータ形式が一致するよ
うに検索条件を入力することにしたため、構成要素オブ
ジェクトの種類毎に異なるデータ形式の検索情報を付加
した場合であっても、正しい検索処理を行うことができ
る。その結果、構成要素オブジェクトの種類毎に異なる
データ形式の検索情報を設定することができるため、例
えば、テキスト情報だけでなく、画像そのもの等、構成
要素オブジェクトの種類に適したデータ形式の検索情報
を付加でき、様々な角度から映像の検索処理を行うこと
ができる。

【０１３６】なお、映像インデックス情報２００は、下
位の階層ほど映像の内容が詳細に記述される形式となっ
ている。したがって、例えば図１９に示すように、複数
の映像インデックス情報２００のうち、最初は検索の精
度より検索速度を重視してレイヤ１の階層までを検索対
象としてラフな検索を行い、つぎにレイヤ２の階層まで
を検索対象として検索結果の絞込みを行うといった検索
処理を行うこともできる。この方法は実施の形態１およ
び２の映像検索処理に適用することが可能であり、図７
に示したステップＳ８０１で検索条件と共に検索範囲を
入力することにする。この検索範囲を指定して検索を行
う方法については、後述する実施の形態４において詳細
に説明することにする。

【０１３７】〔実施の形態３〕実施の形態３に係る映像
インデックス情報を用いた映像検索方法は、実施の形態
２で説明した映像検索方法において、検索結果の最適化
を図るものである。

【０１３８】実施の形態２で説明した条件（図１７）お
よび検索結果（図１８）を検討すると、つぎのような問
題点があることが明らかとなる。つまり、図１７に示し
た条件が、「アメリカ対日政策に関するレポートおよび
首相が登場するレポートが含まれる一つの映像ストリー
ムを検索したい」という意味であれば、図１８に示す検
索結果は正しいと評価することができる。具体的には、
実施の形態２で説明に用いたＭｏｖｉｅＡおよびＢの両
方とも、アメリカ対日政策に関するレポートと、首相が
登場するレポートとを含んでいるからである。

【０１３９】一方、図１７に示した条件が、アメリカ対
日政策について発言している首相を見たい、即ち「首相
が登場するアメリカ対日政策に関するレポートが含まれ
る一つの映像シーンを検索したい」という意味であれ
ば、ＭｏｖｉｅＡが含まれた図１８の検索結果は正しく
ないと評価することができる。具体的には、実施の形態
２で説明に用いたＭｏｖｉｅＡにおいて、アメリカ対日
政策に関するニュースには首相は登場しないからであ
る。

【０１４０】そこで、実施の形態３の映像インデックス
情報を用いた映像検索方法においては、検索条件と映像
ストリーム全体との一致のみならず、検索条件と映像ス
トリーム中の特定のシーンとの一致まで踏み込んで検索
処理を実行することにするものである。以下では、図１
７に示した条件に基づいて、実施の形態３の映像インデ
ックス情報を用いた映像検索方法を説明する。

【０１４１】例えば、実施の形態３においては、図７に
示したステップＳ８０１で検索条件を入力する際に、映
像ストリーム全体を対象として検索を行うのか、映像ス
トリーム中の特定のシーンを対象として検索を行うのか
を設定するものとする。すなわち、実施の形態２の場合
では、図１７の条件中の検索項目「シーン」および検索
項目「キーフレーム」がＡＮＤ条件で結ばれていた場合
であっても、映像インデックス情報２００にこれらの検
索項目と一致する検索情報を有した構成要素オブジェク
トが存在すれば、検索条件がその映像と一致したと判定
されてしまうからである。ただし、あらかじめ映像情報
検索ツール６０３側で後述するシーンの一致まで判定す
るような設定を行っておけば、このような設定を行わな
くても良い。

【０１４２】続いて、図１７に示した条件に基づいて、
実施の形態２の場合と同様の検索処理を実行し、Ｍｏｖ
ｉｅＡおよびＢについて以下の結果を得たものとする。

【０１４３】ＭｏｖｉｅＡ：・検索項目「タイトル」がツリー情報１０１の検索情報
２０１Ｔと一致・検索項目「再生時間」がパッケージ情報１０５の検索
情報２０１Ｐと一致・検索項目「シーン」がセグメント情報１０４Ｃの検索
情報２０１ＳＣと一致・検索項目「キーフレーム」がフレーム情報１０２Ａの
検索情報２０１Ａおよびフレーム情報１０２Ｂの検索情
報２０１ＦＢと一致

【０１４４】ＭｏｖｉｅＢ：・検索項目「タイトル」がツリー情報１０１の検索情報
２０１Ｔと一致・検索項目「再生時間」がパッケージ情報１０５の検索
情報２０１Ｐと一致・検索項目「シーン」がセグメント情報１０４Ｃの検索
情報２０１ＳＣと一致・検索項目「キーフレーム」がフレーム情報１０２Ｃの
検索情報２０１ＦＣと一致

【０１４５】そして、映像情報検索ツール６０３は、上
記結果を参照し、例えばセグメント情報を中心として、
各検索項目と一致する構成要素オブジェクトが同一のシ
ーンに関連しているか否かを判定する。ここでは、一例
として、図１７に示す検索項目「シーン」と一致するセ
グメント情報と、検索項目「キーフレーム」と一致する
フレーム情報１０２とが同一の映像シーンに関連するも
のであるか否かを判定するものとする。

【０１４６】ＭｏｖｉｅＡにおいて、検索項目「シー
ン」が一致するセグメント情報１０４Ｃの検索情報２０
１ＳＣの内容は「アメリカ対日政策」であり、検索項目
「キーフレーム」が一致するフレーム情報１０２Ａの検
索情報２０１Ａおよびフレーム情報１０２Ｂの検索情報
２０１ＦＢの内容は「首相イメージ」である。ところ
が、フレーム情報１０２Ａおよび１０２Ｂは、それぞれ
「日本オリンピック委員会」および「選挙応援演説」を
内容とするセグメント情報１０４Ａおよび１０４Ｂに対
応するものであるため、ＭｏｖｉｅＡは、「首相が登場
するアメリカ対日政策に関するシーン」を含むものでは
ないと判定される。したがって、ここでは、実施の形態
２の場合と異なり、図１７の条件に対してＭｏｖｉｅＡ
は「偽」であり、図１７の条件はＭｏｖｉｅＡと一致し
ないと判定される。

【０１４７】一方、ＭｏｖｉｅＢにおいて、検索項目
「シーン」が一致するセグメント情報１０４Ｃの検索情
報２０１ＳＣの内容は「アメリカ対日政策」であり、検
索項目「キーフレーム」が一致するフレーム情報１０２
Ｃの検索情報２０１Ｃの内容は「首相イメージ」であ
る。すなわち、図１７に示す条件中の検索項目「キーフ
レーム」と一致するフレーム情報１０２Ｃは、同じく検
索項目「シーン」と一致するセグメント情報１０４Ｃに
よって管理されているものであり、ＭｏｖｉｅＢは、
「首相が登場するアメリカ対日政策に関するシーン」を
含むと判定される。したがって、ここでは、図１７の条
件に対してＭｏｖｉｅＢは「真」であり、図１７の条件
はＭｏｖｉｅＢと一致すると判定される。

【０１４８】なお、映像情報検索ツール６０３は、一致
するシーンの数に応じてあらかじめ設定されているポイ
ント（ここでは３ポイントとする）をＭｏｖｉｅＢに与
えることにしても良い（このポイントも実施の形態１で
説明したランキングに利用される）。

【０１４９】図２０は、ＭｏｖｉｅＡおよびＢを検索対
象とし、前述した方法で検索を行った結果を示す説明図
である。実施の形態３において、ＭｏｖｉｅＡは「首相
が登場するアメリカ対日政策に関するシーン」を含むも
のではないと判定されることになるため、図１８に示し
た実施の形態２の検索結果と異なり、ＭｏｖｉｅＢのみ
が図２０の検索結果として示されることになる。

【０１５０】このように、実施の形態３に係る映像イン
デックス情報を用いた映像検索方法によれば、検索条件
と映像ストリーム全体の一致だけでなく、検索条件と映
像ストリーム中のシーンの一致まで判定することによ
り、検索結果のさらなる最適化を図ることが可能とな
る。

【０１５１】なお、詳細な説明については省略するが、
セグメント情報１０４を検索対象とする検索項目が複数
の場合についても、これらの検索項目に該当する検索情
報２０１を有するセグメント情報１０４が同一であるか
否かを判定することにより、検索条件と映像ストリーム
中のシーンの一致を判定することができる。また、セグ
メント情報１０４とサウンド情報１０３の関係について
も、前述したセグメント情報１０４とフレーム情報１０
３の関係と同様に処理することができる。

【０１５２】〔実施の形態４〕実施の形態４の映像イン
デックス情報を用いた映像検索方法は、あらかじめ作成
した映像インデックス情報を参照して、１つの映像情報
の中から検索条件に一致する所望の映像を検索するもの
である。

【０１５３】換言すれば、実施の形態４では、後述する
映像インデックス情報４００のデータ構造において、所
望の映像の条件である検索条件を入力し、映像インデッ
クス情報４００を検索して検索条件と一致する検索情報
を含む構造要素オブジェクトを特定し、特定した構造要
素オブジェクトのリストを検索結果として出力するもの
である。

【０１５４】図２１は、実施の形態４に係る映像インデ
ックス情報４００のデータ構造を示す説明図である。な
お、図１に示した実施の形態１の映像インデックス情報
１００と共通の構成は同一の符号を付して説明を省略す
る。

【０１５５】映像インデックス情報４００は、ツリー情
報１０１を最上位（入口）とするツリー構造の構造要素
オブジェクトとして、フレーム情報１０２と、サウンド
情報１０３と、セグメント情報１０４と、パッケージ情
報１０５とを有しており、さらに、各構造要素オブジェ
クトには、その下位に存在するフレーム情報１０２およ
びサウンド情報１０３の内容を検索するための検索情報
が付与されている。また、ツリー情報１０１には、映像
インデックス情報４００と対応する映像情報（ストリー
ム全体）の再生時間やフォーマットを示す基本的な情報
が含まれており、この情報もまた検索情報として利用さ
れる。

【０１５６】また、実施の形態４は、検索条件と共に映
像インデックス情報３００のツリー構造中における深さ
方向の階層レベルを検索範囲として入力し、映像インデ
ックス情報４００中の検索範囲に存在する構造要素オブ
ジェクトの検索情報のみを検索対象として、検索条件と
一致する検索情報を含む構造要素オブジェクトを特定
し、特定した構造要素オブジェクトのリストを検索結果
として出力できるようにしている。

【０１５７】映像インデックス情報４００のツリー構造
中における深さ方向の階層レベルの定義の仕方は、特に
限定するものではないが、例えば、図２２に示すよう
に、映像インデックス情報４００中に階層的に存在する
パッケージ情報１０５を基準として、先ず、最上位のツ
リー情報１０１の階層レベルを『０』とし、ツリー情報
１０１の直下にぶら下がるパッケージ情報１０５Ａと、
パッケージ情報１０５Ａから次のパッケージ情報１０５
Ｂの間に存在する構造要素オブジェクト（セグメント情
報１０４Ａ、フレーム情報１０２Ａ、サウンド情報１０
３Ａ）を階層レベル『１』として、以下同様にパッケー
ジ情報１０５を基準単位として階層レベルを定義しても
良い。なお、この場合、例えば、階層レベル『３』が指
定されると、階層レベル『０』〜『２』までを含むもの
とする。

【０１５８】また、図２３に示すように、構造要素オブ
ジェクトを基準として階層レベルを定義しても良い。

【０１５９】このように階層レベルを定義し、検索する
範囲を階層レベルで指定可能とすることにより、例え
ば、検索対象となる映像情報の映像インデックス情報４
００が膨大であり、詳細に検索情報が設定されている場
合に、階層レベルを指定することで、検索する検索情報
の量（範囲）を減らし、検索時間を短縮して検索するこ
とが可能となる。逆に、より詳細な検索を行いたい場合
には、階層レベルを深くして検索範囲を指定することに
より、映像情報中の個々の映像（一部のシーン）にまで
及んだ検索を行えるようになる。

【０１６０】さらに、映像インデックス情報４００のデ
ータ構造において、階層レベルを指定して検索可能であ
ることから、逆に、映像インデックス情報４００中に検
索情報を設定する場合に、上位の階層レベルで全体の概
略に関する検索情報を設定し、下位になる程、詳細な検
索情報を設定できるので、検索情報の設定が容易となる
と共に、結果的に精度の高い検索情報の設定が可能とな
る。また、映像情報の全体の内容には無関係であるが、
ある映像（特定のシーン）の視覚的特徴や、映像中に登
場する物等を示す情報を、該当する構造要素オブジェク
ト（例えば、フレーム情報１０２）の検索情報に設定し
た場合でも、全体の検索効率や検索精度を低下させるこ
となく、検索を行うことができるようになる。

【０１６１】図２４は、実施の形態４に係る映像検索処
理の概略フローチャートを示す。なお、システムの構成
としては、図５に示したように複数の映像情報を記憶し
た映像情報ライブラリィ６０１と、映像情報ライブラリ
ィ６０１の各映像情報に対応した複数の映像インデック
ス情報（ここでは、映像インデックス情報３００）を記
憶した映像インデックス情報データベース６０２と、映
像インデックス情報を用いた専用の映像情報検索ツール
６０３と、を用いるものとする。

【０１６２】先ず、映像検索を行う映像情報を指定し
（Ｓ２００１）、所望の映像の条件である検索条件（必
要に応じて検索条件を構成する検索項目に対する重み付
けする）と、検索範囲として階層レベルを入力する（Ｓ
２００２）。例えば、映像情報として、『アメリカの対
日政策』というタイトルの番組ビデオを指定し、検索条
件として、『クリントン大統領、自動車、円高をキーワ
ードとして、ＯＲ検索で自動車の重みを２倍』を設定
し、検索範囲として階層レベル『３』を指定する。

【０１６３】次に、指定された映像情報と対応する映像
インデックス情報４００を、指定された検索範囲で検索
して、検索条件と一致する検索情報を含む構造要素オブ
ジェクトを特定する（Ｓ２００３）。ここで例えば、検
索条件に一致した検索情報を有する４つの構造要素オブ
ジェクトが存在し、それぞれの検索情報の階層レベルお
よび内容が以下の通りであるものとする。『階層レベル１：クリントン大統領の発言』『階層レベル２：円高と貿易摩擦』『階層レベル３：円安による自動車産業の被害、ク
リントン発言』『階層レベル３：円高による米国自動車産業の日本
向け輸出不振』検索範囲として階層レベル３まで指定されているので、
上記〜の４つの構造要素オブジェクトが該当するも
のとして特定されるが、検索範囲が階層レベル２であれ
ばとが検索されず、との２つの構造要素オブジ
ェクトのみが検索されるのは明らかである。

【０１６４】その後、特定した構造要素オブジェクトの
リストを検索結果として出力する（Ｓ２００４）。構造
要素オブジェクトのリストは、図２５に示すように、重
み付けに基づいてランキング順に出力される。したがっ
て、ランキングに基づいて、利用者は最も相応しい映像
（所望の映像）を容易に選択することができる。また、
所望の映像が含まれる構造要素オブジェクトを特定する
ので、構造要素オブジェクトの有する情報から容易に映
像情報中の該当する映像を呼び出して確認することがで
きる。

【０１６５】前述したように実施の形態４によれば、映
像情報の内部の論理構造を表現可能なデータ構造を有す
る映像インデックス情報を用いることにより、映像検索
の利便性の向上を図ると共に、全ての映像情報に適用可
能な映像検索方法を提供することができる。

【０１６６】〔実施の形態５〕実施の形態５において
は、少なくとも映像情報の内部情報が管理されているこ
とを前提として、映像情報中の内部情報をどのようにた
どるかを設定および管理できるようにした映像インデッ
クス情報を映像検索処理に利用することにするものであ
る。

【０１６７】図２６は、実施の形態５の映像インデック
ス情報５００のデータ構造を示す説明図である。なお、
図１に示した実施の形態１の映像インデックス情報１０
０と共通の構成は同一の符号を付して説明を省略する。

【０１６８】映像インデックス情報５００は、少なくと
も映像情報中の任意の連続するフレームの範囲を管理す
るための複数のセグメント情報１０４と、複数のセグメ
ント情報１０４をどのような順序でたどるかを示すセグ
メント情報間のリンクリストからなるビュー情報５０１
（５０１Ａ〜５０１Ｃ）と、を有している。なお、ここ
では、映像インデックス情報５００をツリー構造で示す
が特に限定するものではない。

【０１６９】また、ビュー情報５０１Ａ〜５０１Ｃは、
複数設定されており、あらかじめ映像情報を構成する複
数のセグメント情報１０４の中から、所望の数のセグメ
ント情報１０４を所望の順序でたどるリンクリストを複
数（ここでは、３つ）生成し、各々のリンクリストに対
応するビュー情報５０１Ａ〜５０１Ｃとして設定する。

【０１７０】なお、映像インデックス情報５００も、実
施の形態１の映像インデックス情報１００と同様に映像
情報と分離して保存することも可能である。

【０１７１】ビュー情報５０１は、１つの映像情報をあ
る視点で表現するために、セグメント情報１０４（また
はパッケージ情報１０５）のたどりかたをリンクリスト
として表現したものである。なお、セグメント情報１０
４だけのリンクリスト、パッケージ情報１０５だけのリ
ンクリスト、混在するリンクリストの何れでも表現可能
であるが、基本的にはセグメント情報１０４のリンクリ
ストと同一のものである。また、ビュー情報５０１の作
成方法については省略するが、専用の作成モジュールに
よって容易に作成可能である。

【０１７２】次に、図２７を参照して、ビュー情報５０
１のリンクリストについて具体的に説明する。ビュー情
報５０１のリンクリストの設定の仕方によって、１つの
ビュー情報５０１で映像情報全体を特定の視点で観たダ
イジェスト（要約）を作成することもでき、または単純
に２つのセグメント情報１０４をつなぐことも自由であ
る。

【０１７３】図において、例えば、映像情報全体をある
目的で分割したパッケージ情報Ｂのセグメント情報をお
おまかにを再生する場合を例として、リンクリストにつ
いて説明する。ここで、このパッケージ情報Ｂは３つの
セグメント情報で構成されており、またパッケージ情報
Ｂの先頭部分のセグメント情報には、下位パッケージ情
報Ｅ、Ｆが存在する。

【０１７４】先ず、パッケージ情報Ｂのみを指定して単
純に再生すると、パッケージ情報Ｂ中の３つのセグメン
ト情報Ｂ１〜Ｂ３がそのまま再生される。ここで、リン
クリストとして（セグメント情報Ｅ１→Ｅ２→Ｂ２→Ｂ
３）を作成すると、図中の（１）に示す順序でセグメン
ト情報が再生される。すなわち、セグメント情報Ｂ１の
うち、セグメント情報Ｆ１に相当する部分が再生されな
いことと同じであり、セグメント情報Ｂ１がおおまかに
再生されたことになる。

【０１７５】このようにビュー情報５０１のリンクリス
トを作成することにより、所望の順序でセグメント情報
を指定することができる。

【０１７６】また、リンクリストを（セグメント情報Ｇ
１→Ｇ２→Ｇ３→Ｃ３→Ｄ１）として作成すると図中の
（２）で示す順序でセグメント情報が再生される。リン
クリストを（セグメント情報Ｇ１→Ｇ２→Ｇ３→Ｃ３→
Ｉ１→Ｉ２）として作成すると図中の（３）で示す順序
でセグメント情報が再生される。

【０１７７】また、セグメント情報そのものを再生する
ことに代えて、各セグメント情報の代表フレーム（例え
ば、各セグメント情報の先頭の所定時間分のフレーム情
報）を再生するようにすると、さらにダイジェスト再生
（要約再生）を顕著にすることができる。具体的には、
セグメント情報そのものをたどることに代えて、セグメ
ント情報中のフレーム情報をたどる場合を想定するとリ
ンクリストの効果が実感し易い。例えば、図中の（１）
の場合、パッケージ情報Ｂは１時間ビデオを２０分ずつ
の３つのセグメント情報Ｂ１〜Ｂ３に分け、セグメント
情報Ｂ１を分けたパッケージ情報Ｅが５分ずつの２つの
セグメント情報Ｅ１、Ｅ２で構成され、パッケージ情報
Ｆが１０分のセグメント情報Ｆ１で構成されている場
合、それぞれのセグメント情報から各１分ずづのフレー
ム情報を再生することで、内容的に１／５、１／５、１
／２０、１／２０の粗さとなり、ダイジェストの意図を
反映することができる。

【０１７８】なお、図２７では、リンクリストは、セグ
メント情報を時系列にたどる例のみを示したが、例え
ば、リンクリストとして（セグメント情報Ｅ２→Ｇ３→
Ｈ２→Ｉ２→Ｄ２）のように飛び飛びにリンクしても良
い。また、時系列を無視して、所望の順序でリンクリス
トを作成しても良い。

【０１７９】また、あらかじめ映像情報の内容に応じ
て、例えば、暴力シーンを除いたセグメント情報のみを
リンクしたリンクリストを有するビュー情報や、激写シ
ーンのセグメント情報のみをリンクしたリンクリストを
有するビュー情報等のように、利用・活用する目的に応
じたビュー情報を複数設定しておき、必要に応じて所望
のビュー情報を選択することにより、１つの映像情報
（コンテンツ）を多目的な立場から観ることが可能とな
る。

【０１８０】また、マルチメディア放送等において、製
作者側で、映像情報に複数のビュー情報５０１を有する
映像インデックス情報５００を付けて、配布することが
でき、さらに視聴者側では、リンクリストを選択するこ
とにより、１つの映像情報（番組）を自分の嗜好にあっ
た観方で観ることができる。

【０１８１】そして、前述したビュー情報５０１有する
映像インデックス情報５００を利用して、つぎのような
映像検索処理を行うことができる。例えば、映像インデ
ックス情報５００中のビュー情報５０１Ａ〜５０１Ｃの
いずれかを指定することにより、ビュー情報５０１で指
定されている構造要素オブジェクトを検索対象として、
所望の映像シーンを管理する構造要素オブジェクトを検
索することができる。

【０１８２】また、各ビュー情報５０１Ａ〜５０１Ｃに
も実施の形態１〜４で説明した検索情報を付与しておく
ことにより、ビュー情報５０１を対象とした検索処理も
行うことができる。

【０１８３】さらに、検索処理によって得た映像情報に
対応する映像インデックス情報にビュー情報５０１が設
定されているような場合、ビュー情報５０１を指定し、
指定したビュー情報のリンクリストを用いて映像情報中
の一部を可視または／および可聴することができる。

【０１８４】このように、実施の形態５によれば、リン
クリストを有するビュー情報を用いることにより、映像
インデックス情報５００を用いて効率的・効果的な映像
検索を行うことができる。

【０１８５】〔実施の形態６〕実施の形態６の音声イン
デックス情報を用いた音声検索方法は、基本的に実施の
形態１〜５の映像インデックス情報を用いた映像検索方
法における映像インデックス情報からフレーム情報１０
２を除いたものを音声インデックス情報として定義し、
この音声インデックス情報を用いて音声情報を検索する
ものである。なお、対象となる情報が映像情報から音声
情報に変わった点以外は、実施の形態１〜５と共通であ
るため、ここでは異なる部分のみを説明する。

【０１８６】音声インデックス情報は、サウンド情報
と、セグメント情報と、パッケージ情報とを構造要素オ
ブジェクトとしたツリー構造である。

【０１８７】また、サウンド情報は、音声情報中の任意
の範囲に対応した音声を１単位の情報として管理するも
のである。セグメント情報は、この１単位の情報である
サウンド情報を分類して、所望の意味のある集合として
管理する。パッケージ情報は、セグメント情報を複数ま
とめて管理する。さらにセグメント情報は、そのセグメ
ント情報が管理するサウンド情報と同一の範囲の音声を
用いて生成された他のセグメント情報を複数まとめて管
理するためのパッケージ情報を管理し、ツリー構造にお
いて、１つのセグメント情報の下位に、サウンド情報に
加えてパッケージ情報を配置し、音声インデックス情報
のツリー構造および構造要素オブジェクトを用いて音声
情報を管理するものである。

【０１８８】この音声インデックス情報は、実施の形態
１と同様に音声情報と分離して保存することができる。

【０１８９】例えば、『鳥の鳴き声』を収録した音声情
報から所望の音声を検索する場合や、複数の音声情報の
中から『鳥の鳴き声』を収録した音声情報を検索する場
合を想定する。検索条件として『カワセミの鳴き声、せ
せらぎの音』を入力し、音声インデックス情報を用いて
音声検索を行うことにより、実施の形態１〜５と同様に
検索結果（リスト）を出力することができる。

【０１９０】すなわち、実施の形態６によれば、音声情
報の内部の論理構造を表現可能なデータ構造を有する音
声インデックス情報を用いることにより、音声検索の利
便性の向上を図った音声検索方法を提供することができ
る。例えば、音楽ＣＤ等において音声インデックス情報
を用いることにより、聞きたい曲の特定の一部分のみを
再生したり、楽しい曲・爽やかな曲・賑やかな曲等のよ
うに音楽の内容に及んだ検索を行うことも可能となる。

【０１９１】なお、詳細な説明については省略するが、
前述した実施の形態１〜６において、映像情報検索ツー
ル６０３は、映像インデックス情報データベース６０２
から映像インデックス情報を読み出す際に、各映像イン
デックス情報の各構成要素オブジェクトに付加された検
索情報のみを読み出して検索処理を実行するようにする
ことが好ましい。すなわち、映像検索に必要な情報のみ
を検索処理に利用することで、検索速度の高速化を図る
ことが可能となる。

【０１９２】〔実施の形態７〕実施の形態７の映像検索
システムは、実施の形態１〜実施の形態５で示したよう
なデータ構造を有した映像インデックス情報を用いて、
さらにこの映像インデックス情報から検索情報を抽出し
て検索情報転置ファイルを作成し、この検索情報転置フ
ァイルを用いて映像検索を行うことにより、映像情報の
内部情報に及んだ検索を容易に行えるようにしたもので
ある。換言すれば、映像情報の内部の論理構造を表現可
能なデータ構造を有する映像インデックス情報を利用す
ることにより、映像情報の内部情報に及んだ検索が容易
に行える映像検索システムを提供するものである。

【０１９３】図２８は、実施の形態７の映像検索システ
ムの概略システム構成を示し、映像検索システム７００
は、複数の映像情報を記憶した複数の映像情報データベ
ース７０１と、あらかじめ各映像情報に対応させて作成
した映像インデックス情報を記憶した複数の映像インデ
ックス情報データベース７０２と、映像インデックス情
報データベース７０２に記憶されている映像インデック
ス情報から映像情報データベース７０１に記憶されてい
る映像情報を検索するための検索情報を抽出して生成し
た検索情報転置ファイル７０３と、検索情報転置ファイ
ル７０３を用いて映像情報データベース７０１の中から
所望の検索条件と一致または類似する映像情報を検索す
る検索装置７０４と、から構成される。

【０１９４】なお、映像インデックス情報データベース
７０２に記憶される映像インデックス情報は、映像情報
中の任意の連続するフレームを１単位の情報として管理
する少なくとも１つのフレーム情報と、映像情報中の任
意の範囲に対応した音声を１単位の情報として管理する
少なくとも１つのサウンド情報と、１単位の情報である
フレーム情報およびサウンド情報を分類して、所望の意
味のある集合として管理する少なくとも１つのセグメン
ト情報と、セグメント情報を複数まとめて管理するため
のパッケージ情報と、を構造要素オブジェクトとしたツ
リー構造であり、構造要素オブジェクトのうち、少なく
とも１種類の構造要素オブジェクトは、その構造要素オ
ブジェクトが直接または間接的に管理するフレームまた
は／および音声の内容を検索するための検索情報を有
し、またセグメント情報は、そのセグメント情報が管理
するフレーム情報およびサウンド情報と同一の範囲のフ
レームおよび音声を用いて生成された他のセグメント情
報を複数まとめて管理するためのパッケージ情報を管理
し、さらにツリー構造において、１つのセグメント情報
の下位に、フレーム情報およびサウンド情報に加えてパ
ッケージ情報を配置したデータ構造であるものとする。

【０１９５】ここでは、例えば、図２１で示した実施の
形態４の映像インデックス情報４００のデータ構造のよ
うに、全ての構造要素オブジェクトに検索情報が付加さ
れている場合を想定するものとする。

【０１９６】また、検索情報転置ファイル７０３は、複
数の映像インデックス情報データベース７０２から抽出
した各検索情報と、それぞれの検索情報の抽出元である
構造要素オブジェクトおよびその構造要素オブジェクト
が存在する映像インデックス情報とを関連付けると共
に、各検索情報を複数のカテゴリーに分類して記憶した
ものである。

【０１９７】なお、１つの構造要素オブジェクトに付加
されている検索情報は、それ自体が複数の検索情報から
構成される場合があるのは勿論であり、例えば、検索情
報が「登場人物：田中○太郎、登場人物の顔の特徴：鼻
が高く、二重瞼、口髭が有る、場所：銀座のフランスレ
ストラン、時間帯：深夜」という内容であった場合、こ
の検索情報には「登場人物：田中○太郎」、「登場人物
の顔の特徴：鼻が高く、二重瞼、口髭が有る」、「場
所：銀座のフランスレストラン」、「時間帯：深夜」か
ら成る４つの検索情報を含まれると解することができ
る。

【０１９８】また、このような検索情報を、例えば、分
類カテゴリーとして、「登場人物」、「登場人物の顔の
特徴」、「場所」、「時間帯」というように４つのカテ
ゴリーに分類することができる。

【０１９９】したがって、検索情報転置ファイル７０３
のデータ構造は、例えば、分類カテゴリー「登場人物」
を例とすると、データ１：田中○太郎／抽出元の構造要素オブジェクト
の特定情報／抽出元の構造要素オブジェクトの属する映
像インデックス情報の特定情報データ２：△山浩一／抽出元の構造要素オブジェクトの
特定情報／抽出元の構造要素オブジェクトの属する映像
インデックス情報の特定情報データ３：日本花子／抽出元の構造要素オブジェクトの
特定情報／抽出元の構造要素オブジェクトの属する映像
インデックス情報の特定情報というような内容となる。

【０２００】したがって、このように分類カテゴリー
「登場人物」から登場人物を検索することができ、か
つ、検索した登場人物がどの映像インデックス情報のど
の構造要素オブジェクトに含まれるかを特定することが
できる。

【０２０１】同様に分類カテゴリー「登場人物の顔の特
徴」を例とすると、データ１：鼻が高く、二重瞼、口髭／抽出元の構造要素
オブジェクトの特定情報／抽出元の構造要素オブジェク
トの属する映像インデックス情報の特定情報データ２：眼鏡、八重歯、目がブルー／抽出元の構造要
素オブジェクトの特定情報／抽出元の構造要素オブジェ
クトの属する映像インデックス情報の特定情報データ３：鼻が低い、眉毛が薄い、目が大きい、頬に傷
／抽出元の構造要素オブジェクトの特定情報／抽出元の
構造要素オブジェクトの属する映像インデックス情報の
特定情報というような内容となる。

【０２０２】したがって、このような分類カテゴリー
「登場人物の顔の特徴」から、登場人物の顔の特徴を用
いて検索することができ、かつ、検索した顔の特徴を有
する登場人物がどの映像インデックス情報のどの構造要
素オブジェクトに含まれるかを特定することができる。
さらに、各分類カテゴリーのデータは、共通のデータと
して構造要素オブジェクトの特定情報および映像インデ
ックス情報の特定情報を有している。換言すれば、この
共通のデータを介してそれぞれの分類カテゴリーの内容
がリンクされていることになるので、例えば、分類カテ
ゴリー「登場人物の顔の特徴」と分類カテゴリー「登場
人物」とを併せて検索することで、検索条件として「顔
の特徴が○○○○の登場人物」を入力し、一致する登場
人物の顔の特徴を検索し、検索した登場人物の顔の特徴
から対応する映像インデックス情報の構造要素オブジェ
クトを特定し、該当する映像インデックス情報の構造要
素オブジェクトの登場人物から、登場人物を特定するこ
とが可能となる。また、その登場人物と対応した映像イ
ンデックス情報および構造要素オブジェクトから、該当
する映像情報を検索することができるのは勿論である。

【０２０３】上記に示した検索情報転置ファイル７０３
のデータ構造は、説明を簡単にするために示した例であ
り、実際には、分類した検索情報から対応する映像イン
デックス情報および構造要素オブジェクトが特定できる
データ構造、所謂、転置ファイルのデータ構造を有して
おれば良く、特に、限定するものではない。具体的に
は、映像インデックス情報および構造要素オブジェクト
を特定するための特定情報を第１項目および第２項目
（必須のキー項目）として、検索情報転置ファイル７０
３中に存在する全ての分類カテゴリーをレコードの項目
として有するレコードを基本単位とした転置ファイルを
作成し、検索条件を入力された場合に、入力された検索
条件と最も一致する（すなわち、一致度または類似度の
高い）レコードの第１項目および第２項目を検索結果と
して出力するようにしても良い。また、転置ファイルと
同様の機能を果たすように構成したデータベースも本発
明の転置ファイルの範疇であるのは勿論である。

【０２０４】また、検索装置７０４としては、パーソナ
ルコンピュータ等を使用することができる。すなわち、
検索条件を入力するための入力手段と、映像検索処理の
プログラムを実行するためのプログラム実行手段と、映
像および各種情報を表示するための表示手段と、必要に
応じて通信手段とを備えた構成であれば良い。検索装置
７０４は、所望の映像の条件である検索条件が入力され
ると、検索情報転置ファイル７０３の各検索情報とその
関連する情報およびカテゴリーを用いて、検索条件と一
致または類似する検索情報を特定し、該当する検索情報
を含む映像インデックス情報に基づいて該当する映像情
報を検索結果として出力する。

【０２０５】なお、図２８において、映像情報データベ
ース７０１、映像インデックス情報データベース７０２
および検索情報転置ファイル７０３は、図示を省略する
がサーバ等の処理装置を介して、検索装置７０４がそれ
ぞれ独立した形式でアクセス可能な構成でも良く、検索
装置７０４にそれぞれが接続されている構成でも良く、
特に限定するものではない。ここで、重要な点は、各映
像情報データベース７０１に記憶されている映像情報に
対応する映像インデックス情報が、いずれかの映像イン
デックス情報データベース７０２に記憶されており、さ
らに全ての映像インデックス情報データベース７０２の
映像インデックス情報から抽出した検索情報に基づい
て、これらの検索情報を転置ファイルとして記憶した検
索情報転置ファイル７０３が存在し、検索装置７０４で
検索情報転置ファイル７０３のみを検索することによ
り、間接的に全ての映像情報データベース７０１の内容
（記憶されている映像情報）を検索できることである。

【０２０６】以上の構成において、実施の形態７の映像
検索システムによれば、先ず、映像情報を映像情報デー
タベース７０１に記憶させると共に、映像情報に対応す
る映像インデックス情報を生成して映像インデックス情
報データベース７０２に記憶させ、同時に、映像インデ
ックス情報から検索情報を抽出して、複数のカテゴリー
に分類して検索情報転置ファイル７０３に追加登録す
る。

【０２０７】次に、所望の映像情報を検索する場合に
は、検索装置７０４に検索条件を入力すると、検索装置
７０４が検索情報転置ファイル７０３を参照して、検索
条件と一致または類似する検索情報を有する構造要素オ
ブジェクト（および該当する構造要素オブジェクトが存
在する映像インデックス情報）を特定し、該当する構造
要素オブジェクトを検索結果として出力する。

【０２０８】このとき、検索情報転置ファイル７０３中
の検索情報は、映像情報の内部の論理構造を表現可能な
データ構造を有する映像インデックス情報を利用して生
成されたものであるため、映像情報の内部情報に及んだ
検索を行うことができる。また、全ての映像情報の映像
インデックス情報に基づく検索情報が１つの検索情報転
置ファイル７０３に記憶されているため、検索装置７０
４で検索情報転置ファイル７０３にアクセスするだけ
で、映像情報の内部情報に及んだ検索を容易に行うこと
ができる。

【０２０９】〔実施の形態８〕実施の形態８の映像検索
システムは、基本的には実施の形態７の映像検索システ
ムと同様であるため、同一の構成は同一の符号を付し
て、ここでは、異なる部分のみを詳細に説明する。

【０２１０】図２９は、実施の形態８の映像検索システ
ムの概略システム構成を示し、映像検索システム８００
は、複数の映像情報を記憶した複数の映像情報データベ
ース７０１と、あらかじめ各映像情報に対応させて作成
した映像インデックス情報を記憶した複数の映像インデ
ックス情報データベース７０２と、複数の映像インデッ
クス情報データベース７０２に記憶されている映像イン
デックス情報から映像情報データベース７０１に記憶さ
れている映像情報を検索するための複数の検索情報を記
憶した複数の検索情報転置ファイル８０１と、検索情報
転置ファイル８０１を用いて映像情報データベース７０
１の中から所望の検索条件と一致または類似する映像情
報を検索する複数の検索装置７０４と、から構成され
る。

【０２１１】これらの映像情報データベース７０１、映
像インデックス情報データベース７０２、検索情報転置
ファイル８０１および検索装置７０４は、それぞれネッ
トワーク８０２上に複数配置されており、ネットワーク
８０２上の任意の検索装置７０４からネットワーク８０
２上の任意の１つの検索情報転置ファイル８０１を介し
て、ネットワーク８０２上の全ての映像インデックス情
報データベース７０２および映像情報データベース７０
１に接続可能な構成である。換言すれば、複数の検索情
報転置ファイル８０１はそれぞれ同一の内容が記憶され
ており、例えば、マスタファイルに相当する検索情報転
置ファイル８０１から複製して作製したものである。ま
た、ネットワーク８０２としてはインターネットや、イ
ントラネット、ローカルエリアネットワーク等を想定す
ることができる。

【０２１２】また、実施の形態８の映像インデックス情
報は、基本的に実施の形態７と同様のデータ構造を有す
るものとするが、ここでは映像インデックス情報中の構
造要素オブジェクトには映像情報が直接付加されていな
いものとする。

【０２１３】したがって、検索情報転置ファイル８０１
は、映像情報から映像インデックス情報を生成して映像
インデックス情報データベース７０２に記憶させる際
に、同時に映像インデックス情報の各構造要素オブジェ
クトに対応させた映像情報を独自に作成して、作成した
複数の検索情報を複数のカテゴリーに分類し、各検索情
報と、それぞれの検索情報によって検索される構造要素
オブジェクトおよびその構造要素オブジェクトが存在す
る映像インデックス情報とを関連付けて記憶したものと
する。

【０２１４】このようにな構成において、実施の形態８
の映像検索システム８００は、実施の形態７と同様の効
果を奏すると共に、各装置がネットワーク８０２を介し
て接続されているため、さらに映像検索を行う際の利用
者の利便性の向上を図ることができる。特に、各装置
（映像情報データベース７０１、映像インデックス情報
データベース７０２、検索情報転置ファイル８０１およ
び検索装置７０４）にＵＲＬ／ＵＲＩを設定して、ネッ
トワーク８０２を介して接続する構成とした場合には、
映像検索システム８００をインターネット等を利用して
広く一般のユーザに開放することができ、システムの汎
用性を高めることができる。

【０２１５】さらに実施の形態８の変形例として、全て
の検索情報転置ファイル８０１の内容を同一とせずに、
１つの検索情報転置ファイル８０１からあらかじめ定め
た複数の映像インデックス情報データベース７０２およ
び映像情報データベース７０１のみに接続可能とし、利
用者が複数の検索情報転置ファイル８０１の中から所望
の検索情報転置ファイル８０１を選択して、該当する検
索情報転置ファイル８０１から接続可能な映像インデッ
クス情報データベース７０２および映像情報データベー
ス７０１によって管理されている映像情報を検索する構
成としても良い。

【０２１６】このような構成とした場合には、ネットワ
ーク８０２上に点在する検索情報転置ファイル８０１を
個別に管理することができるので、システムのメンテナ
ンスが容易であり、またシステムの大規模化が容易とな
る。

【０２１７】

【発明の効果】以上説明したように、本発明の映像イン
デックス情報を用いた映像検索方法（請求項１〜請求項
１１）は、構造要素オブジェクトのうち、少なくとも１
種類の構造要素オブジェクトが、その構造要素オブジェ
クトが直接または間接的に管理するフレームまたは／お
よび音声の内容を検索するための検索情報を有し、さら
にセグメント情報が、そのセグメント情報が管理するフ
レーム情報およびサウンド情報と同一の範囲のフレーム
および音声を用いて生成された他のセグメント情報を複
数まとめて管理するためのパッケージ情報を管理し、ツ
リー構造において、１つのセグメント情報の下位に、フ
レーム情報およびサウンド情報に加えてパッケージ情報
を配置したデータ構造であり、所望の映像の条件である
検索条件を入力し、あらかじめ異なる複数の映像情報か
ら作成された複数の映像インデックス情報を検索して検
索条件と一致する検索情報を含む映像インデックス情報
を特定し、特定した映像インデックス情報に対応した映
像情報のリストを検索結果として出力するため、映像情
報の内部の論理構造を表現可能なデータ構造を有する映
像インデックス情報を用いて映像検索の利便性の向上を
図ると共に、全ての映像情報に適用可能な映像検索方法
を提供することができる。また、検索条件と一致した検
索情報を有する構造要素オブジェクトの位置をリスト上
に出力するため、映像情報中における所望の映像の位置
を容易に特定できる。また、重要な検索項目に対して重
みを付けることができるので、利用者の意図する所望の
映像を検索し易くすることができる。さらにランキング
順に出力するため、利用者は所望の映像に最も近い映像
をランキングから判断することができる。

【０２１８】また、本発明の映像インデックス情報を用
いた映像検索方法（請求項１２〜請求項１５）は、構造
要素オブジェクトは、それぞれその構造要素オブジェク
トが直接または間接的に管理するフレームまたは／およ
び音声の内容を検索するための検索情報を有し、さらに
セグメント情報は、そのセグメント情報が管理するフレ
ーム情報およびサウンド情報と同一の範囲のフレームお
よび音声を用いて生成された他のセグメント情報を複数
まとめて管理するためのパッケージ情報を管理し、ツリ
ー構造において、１つのセグメント情報の下位に、フレ
ーム情報およびサウンド情報に加えてパッケージ情報を
配置したデータ構造であり、所望の映像の条件である検
索条件を入力し、映像インデックス情報を検索して検索
条件と一致する検索情報を含む構造要素オブジェクトを
特定し、特定した構造要素オブジェクトのリストを検索
結果として出力するため、映像情報の内部の論理構造を
表現可能なデータ構造を有する映像インデックス情報を
用いて映像検索の利便性の向上を図ると共に、全ての映
像情報に適用可能な映像検索方法を提供することができ
る。また、検索条件と一致した検索情報を有する構造要
素オブジェクトの位置をリスト上に出力するため、映像
情報中における所望の映像の位置を容易に特定できる。
また、ツリー構造における階層レベルを検索範囲として
指定できるので、階層レベルを指定することで、検索す
る検索情報の量（範囲）を減らし、検索時間を短縮して
検索することが可能となる。逆に、より詳細な検索を行
いたい場合には、階層レベルを深くして検索範囲を指定
することにより、映像情報中の個々の映像（一部のシー
ン）にまで及んだ検索を行えるようになる。また、重要
な検索項目に対して重みを付けることができるので、利
用者の意図する所望の映像を検索し易くすることができ
る。さらにランキング順に出力するため、利用者は所望
の映像に最も近い映像をランキングから判断することが
できる。

【０２１９】また、本発明の音声インデックス情報を用
いた音声検索方法（請求項１６〜１９）は、構造要素オ
ブジェクトのうち、少なくとも１種類の構造要素オブジ
ェクトは、その構造要素オブジェクトが直接または間接
的に管理する音声の内容を検索するための検索情報を有
し、さらにセグメント情報が、そのセグメント情報が管
理するフレーム情報およびサウンド情報と同一の範囲の
フレームおよび音声を用いて生成された他のセグメント
情報を複数まとめて管理するためのパッケージ情報を管
理し、ツリー構造において、１つのセグメント情報の下
位に、サウンド情報に加えてパッケージ情報を配置した
データ構造であり、所望の音声の条件である検索条件を
入力し、あらかじめ異なる複数の音声情報から作成され
た複数の音声インデックス情報を検索して検索条件と一
致する検索情報を含む音声インデックス情報を特定し、
特定した音声インデックス情報に対応した音声情報のリ
ストを検索結果として出力するため、音声情報の内部の
論理構造を表現可能なデータ構造を有する音声インデッ
クス情報を用いて、音声検索の利便性の向上を図った音
声検索方法を提供することができる。

【０２２０】また、本発明の音声インデックス情報を用
いた音声検索方法（請求項２０〜２３）は、構造要素オ
ブジェクトは、それぞれその構造要素オブジェクトが直
接または間接的に管理する音声の内容を検索するための
検索情報を有し、さらにセグメント情報は、そのセグメ
ント情報が管理するサウンド情報と同一の範囲の音声を
用いて生成された他のセグメント情報を複数まとめて管
理するためのパッケージ情報を管理し、ツリー構造にお
いて、１つのセグメント情報の下位に、サウンド情報に
加えてパッケージ情報を配置したデータ構造であり、所
望の映像の条件である検索条件を入力し、音声インデッ
クス情報を検索して検索条件と一致する検索情報を含む
構造要素オブジェクトを特定し、特定した構造要素オブ
ジェクトのリストを検索結果として出力するため、音声
情報の内部の論理構造を表現可能なデータ構造を有する
音声インデックス情報を用いて、音声検索の利便性の向
上を図った音声検索方法を提供することができる。

【０２２１】また、本発明の映像検索システム（請求項
２４〜２７）は、複数の映像情報データベースと、複数
の映像インデックス情報データベースと、検索情報転置
ファイルと、検索装置と、から構成される映像検索シス
テムであり、検索装置は、所望の映像の条件である検索
条件が入力されると、検索情報転置ファイルの各検索情
報とその関連する情報およびカテゴリーを用いて、検索
条件と一致または類似する検索情報を特定し、該当する
検索情報を含む映像インデックス情報に基づいて該当す
る映像情報を検索結果として出力するため、映像情報の
内部の論理構造を表現可能なデータ構造を有する映像イ
ンデックス情報を利用することにより、映像情報の内部
情報に及んだ検索が容易に行える映像検索システムを提
供することができる。

【図面の簡単な説明】

【図１】本発明の実施の形態１に係る映像インデックス
情報を用いた映像検索方法において用いられる映像イン
デックス情報のデータ構造を示す説明図である。

【図２】本発明の実施の形態１に係る映像インデックス
情報のツリー構造中に属性オブジェクトを配置した例を
示す説明図である。

【図３】本発明の実施の形態１において映像インデック
ス情報を生成する方法を示す説明図である。

【図４】本発明の実施の形態１において、同一の映像情
報に異なるアルゴリズムを適用して解析して映像インデ
ックス情報を生成した場合、または同一の映像情報を異
なる分割の仕方で分割して複数のパッケージ情報を生成
した場合を示す説明図である。

【図５】本発明の実施の形態１に係る映像インデックス
情報を用いた映像検索方法を実現するための映像検索シ
ステムの概略構成図である。

【図６】本発明の実施の形態１に係る映像インデックス
情報のツリー構造中に属性オブジェクトとして検索情報
を配置した例を示す説明図である。

【図７】本発明の実施の形態１に係る映像検索処理の概
略フローチャートである。

【図８】本発明の実施の形態１において、検索対象の例
である２つの映像情報（Ｍｏｖｉｅ１、Ｍｏｖｉｅ２）
に対応するそれぞれの映像インデックス情報を示す説明
図である。

【図９】本発明の実施の形態１において、検索条件の例
（条件１〜条件５）を示す説明図である。

【図１０】本発明の実施の形態１において、図９に示す
各条件中の各検索項目をそれぞれＡＮＤで検索した場合
の検索結果の一例を示す説明図である。

【図１１】本発明の実施の形態１において、図９に示す
各条件中の各検索項目をそれぞれＯＲで検索した場合の
検索結果の一例を示す説明図である。

【図１２】本発明の実施の形態１において、図９に示す
各条件中の検索項目の一つに２倍の重みをかけ、各検索
項目をそれぞれＡＮＤで検索した場合の検索結果の一例
を示す説明図である。

【図１３】本発明の実施の形態１において、図９に示す
各条件中の検索項目の一つに２倍の重みをかけ、各検索
項目をそれぞれＯＲで検索した場合の検索結果の一例を
示す説明図である。

【図１４】本発明の実施の形態１において、図９に示す
各条件中の検索項目の一つに３倍の重みをかけ、各検索
項目をそれぞれＯＲで検索した場合の検索結果の一例を
示す説明図である。

【図１５】本発明の実施の形態１において、検索条件と
一致した検索情報が存在する位置を示す位置情報を含む
検索結果の一例を示す説明図である。

【図１６】本発明の実施の形態２において、検索対象の
例である２つの映像情報（ＭｏｖｉｅＡ、Ｍｏｖｉｅ
Ｂ）に対応するそれぞれの映像インデックス情報を示す
説明図である。

【図１７】本発明の実施の形態２において、検索条件の
例を示す説明図である。

【図１８】本発明の実施の形態２において、図１７に示
す条件を用いて検索した場合の検索結果の一例を示す説
明図である。

【図１９】本発明の実施の形態２において、映像インデ
ックス情報の検索範囲を設定する方法を説明するための
説明図である。

【図２０】本発明の実施の形態３に係る映像インデック
ス情報を用いた映像検索方法を用いた場合の検索結果の
一例を示す説明図である。

【図２１】本発明の実施の形態４に係る映像インデック
ス情報を用いた映像検索方法において用いられる映像イ
ンデックス情報のデータ構造を示す説明図である。

【図２２】本発明の実施の形態４において、映像インデ
ックス情報のツリー構造中における深さ方向の階層レベ
ルの定義例を示す説明図である。

【図２３】本発明の実施の形態４において、映像インデ
ックス情報のツリー構造中における深さ方向の階層レベ
ルの定義例を示す説明図である。

【図２４】本発明の実施の形態４に係る映像検索処理の
概略フローチャートである。

【図２５】本発明の実施の形態４において、映像インデ
ックス情報中の構造要素オブジェクトを検索した検索結
果の一例を示す説明図である。

【図２６】実施の形態５の映像インデックス情報を用い
た映像検索方法における映像インデックス情報のデータ
構造を示す説明図である。

【図２７】実施の形態５のビュー情報のリンクリストを
示す説明図である。

【図２８】実施の形態７の映像検索システムの概略シス
テム構成図である。

【図２９】実施の形態８の映像検索システムの概略シス
テム構成図である。

【符号の説明】

１００映像インデックス情報１０２ツリー情報１０２フレーム情報１０３サウンド情報１０４セグメント情報１０５パッケージ情報１０６属性オブジェクト２００映像インデックス情報２０１検索情報３００映像インデックス情報４００映像インデックス情報５００映像インデックス情報５０１ビュー情報７００、８００映像検索システム７０１映像情報データベース７０２映像インデックス情報データベース７０３検索情報転置ファイル７０４検索装置８０１検索情報転置ファイル８０２ネットワーク

───────────────────────────────────────────────────── フロントページの続き (72)発明者脇田由喜東京都大田区中馬込１丁目３番６号株式会社リコー内 (72)発明者岩崎雅二郎東京都大田区中馬込１丁目３番６号株式会社リコー内

Claims

【特許請求の範囲】

【請求項１】あらかじめ各映像情報に対応させて作成
した映像インデックス情報を参照して、複数の映像情報
の中から所望の検索条件に一致する映像情報を検索する
映像インデックス情報を用いた映像検索方法であって、前記映像インデックス情報は、前記映像情報中の任意の
連続するフレームを１単位の情報として管理する少なく
とも１つのフレーム情報と、前記映像情報中の任意の範
囲に対応した音声を１単位の情報として管理する少なく
とも１つのサウンド情報と、１単位の情報である前記フ
レーム情報およびサウンド情報を分類して、所望の意味
のある集合として管理する少なくとも１つのセグメント
情報と、前記セグメント情報を複数まとめて管理するた
めのパッケージ情報と、を構造要素オブジェクトとした
ツリー構造であり、前記構造要素オブジェクトのうち、少なくとも１種類の
構造要素オブジェクトは、その構造要素オブジェクトが
直接または間接的に管理するフレームまたは／および音
声の内容を検索するための検索情報を有し、さらに前記セグメント情報は、そのセグメント情報が管
理する前記フレーム情報およびサウンド情報と同一の範
囲のフレームおよび音声を用いて生成された他のセグメ
ント情報を複数まとめて管理するためのパッケージ情報
を管理し、前記ツリー構造において、１つのセグメント情報の下位
に、前記フレーム情報およびサウンド情報に加えて前記
パッケージ情報を配置したデータ構造であり、所望の映像の条件である検索条件を入力し、あらかじめ
異なる複数の映像情報から作成された複数の映像インデ
ックス情報を検索して前記検索条件と一致する検索情報
を含む映像インデックス情報を特定し、特定した映像イ
ンデックス情報に対応した映像情報のリストを検索結果
として出力することを特徴とする映像インデックス情報
を用いた映像検索方法。
【請求項２】前記フレーム情報は、さらに、１単位の
情報として管理している前記映像情報中の連続するフレ
ームの中から任意に選択された代表フレームを管理する
と共に、前記代表フレームの内容を検索するための検索
情報を有し、前記サウンド情報は、さらに、１単位の情報として管理
している前記映像情報中の任意の範囲に対応した音声の
中から選択された任意の範囲の代表音声を管理すると共
に、前記代表音声の内容を検索するための検索情報を有
することを特徴とする請求項１に記載の映像インデック
ス情報を用いた映像検索方法。
【請求項３】さらに、前記検索条件と共に前記映像イ
ンデックス情報の階層レベルを検索範囲として入力し、
前記複数の映像インデックス情報中の前記検索範囲に存
在する構造要素オブジェクトの検索情報のみを検索対象
として、前記検索条件と一致する検索情報を含む映像イ
ンデックス情報を特定し、特定した映像インデックス情
報に対応した映像情報のリストを検索結果として出力す
ることを特徴とする請求項１または２に記載の映像イン
デックス情報を用いた映像検索方法。
【請求項４】前記複数の映像情報の中から所望の映像
情報を検索する際に、映像情報に対応させて作成した映
像インデックス情報中の検索情報のみを用いることを特
徴とする請求項１〜３のいずれか一つに記載の映像イン
デックス情報を用いた映像検索情報。
【請求項５】前記検索条件は、それぞれ特定の種類の
前記構成要素オブジェクトを検索対象とする複数の検索
項目を含むことを特徴とする請求項１〜４のいずれか一
つに記載の映像インデックス情報を用いた映像検索方
法。
【請求項６】前記検索条件は、同一種類の前記構成要
素オブジェクトを検索対象とする複数の検索項目を含む
ことを特徴とする請求項１〜５のいずれか一つに記載の
映像インデックス情報を用いた映像検索方法。
【請求項７】前記検索条件は、前記複数の検索項目同
士の関係を論理的に表現可能であることを特徴とする請
求項５または６に記載の映像インデックス情報を用いた
映像検索方法。
【請求項８】前記検索項目は、検索対象となる構成要
素オブジェクトが有する検索情報のデータ構造と同一の
データ構造を有することを特徴とする請求項５〜７のい
ずれか一つに記載の映像インデックス情報を用いた映像
検索方法。
【請求項９】さらに、前記検索結果として出力される
リスト上の各映像情報に対して、前記検索条件と一致す
る検索情報を有する構造要素オブジェクトのリストを前
記映像情報のリストと共に出力することを特徴とする請
求項１〜８のいずれか一つに記載の映像インデックス情
報を用いた映像検索方法。
【請求項１０】前記検索条件は、それぞれ独立した重
み付けが可能な複数の検索項目からなり、前記検索結果
として出力されるリスト上の各映像情報には、前記検索
項目の重み付けに基づいて評価された評価値が付与され
ていることを特徴とする請求項１〜９のいずれか一つに
記載の映像インデックス情報を用いた映像検索方法。
【請求項１１】前記検索結果として出力されるリスト
上の各映像情報は、前記評価値に基づいてランキング順
に出力されることを特徴とする請求項１０に記載の映像
インデックス情報を用いた映像検索方法。
【請求項１２】あらかじめ映像情報から作成した映像
インデックス情報を参照して、映像情報の中から所望の
検索条件に一致する映像を検索する映像インデックス情
報を用いた映像検索方法であって、前記映像インデックス情報は、前記映像情報中の任意の
連続するフレームを１単位の情報として管理する少なく
とも１つのフレーム情報と、前記映像情報中の任意の範
囲に対応した音声を１単位の情報として管理する少なく
とも１つのサウンド情報と、１単位の情報である前記フ
レーム情報およびサウンド情報を分類して、所望の意味
のある集合として管理する少なくとも１つのセグメント
情報と、前記セグメント情報を複数まとめて管理するた
めのパッケージ情報と、を構造要素オブジェクトとした
ツリー構造であり、前記構造要素オブジェクトは、それぞれその構造要素オ
ブジェクトが直接または間接的に管理するフレームまた
は／および音声の内容を検索するための検索情報を有
し、さらに前記セグメント情報は、そのセグメント情報が管
理する前記フレーム情報およびサウンド情報と同一の範
囲のフレームおよび音声を用いて生成された他のセグメ
ント情報を複数まとめて管理するためのパッケージ情報
を管理し、前記ツリー構造において、１つのセグメント情報の下位
に、前記フレーム情報およびサウンド情報に加えて前記
パッケージ情報を配置したデータ構造であり、所望の映像の条件である検索条件を入力し、前記映像イ
ンデックス情報を検索して前記検索条件と一致する検索
情報を含む構造要素オブジェクトを特定し、特定した構
造要素オブジェクトのリストを検索結果として出力する
ことを特徴とする映像インデックス情報を用いた映像検
索方法。
【請求項１３】さらに、前記検索条件と共に前記ツリ
ー構造中における深さ方向の階層レベルを検索範囲とし
て入力し、前記映像インデックス情報中の前記検索範囲
に存在する構造要素オブジェクトの検索情報のみを検索
対象として、前記検索条件と一致する検索情報を含む構
造要素オブジェクトを特定し、特定した構造要素オブジ
ェクトのリストを検索結果として出力することを特徴と
する請求項１２に記載の映像インデックス情報を用いた
映像検索方法。
【請求項１４】前記検索条件は、それぞれ独立した重
み付けが可能な複数の検索項目からなり、前記検索結果
として出力されるリスト上の各構造要素オブジェクトに
は、前記検索項目の重み付けに基づいて評価された評価
値が付与されていることを特徴とする請求項１２または
１３に記載の映像インデックス情報を用いた映像検索方
法。
【請求項１５】前記検索結果として出力されるリスト
上の各構造要素オブジェクトは、前記評価値に基づいて
ランキング順に出力されることを特徴とする請求項１４
に記載の映像インデックス情報を用いた映像検索方法。
【請求項１６】あらかじめ各音声情報に対応させて作
成した音声インデックス情報を参照して、複数の音声情
報の中から所望の検索条件に一致する音声情報を検索す
る音声インデックス情報を用いた音声検索方法であっ
て、前記音声インデックス情報は、前記音声情報中の任意の
範囲に対応した音声を１単位の情報として管理する少な
くとも１つのサウンド情報と、１単位の情報である前記
サウンド情報を分類して、所望の意味のある集合として
管理する少なくとも１つのセグメント情報と、前記セグ
メント情報を複数まとめて管理するためのパッケージ情
報と、を構造要素オブジェクトとしたツリー構造であ
り、前記構造要素オブジェクトのうち、少なくとも１種類の
構造要素オブジェクトは、その構造要素オブジェクトが
直接または間接的に管理する音声の内容を検索するため
の検索情報を有し、さらに前記セグメント情報は、そのセグメント情報が管
理する前記サウンド情報と同一の範囲の音声を用いて生
成された他のセグメント情報を複数まとめて管理するた
めのパッケージ情報を管理し、前記ツリー構造において、１つのセグメント情報の下位
に、前記サウンド情報に加えて前記パッケージ情報を配
置したデータ構造であり、所望の音声の条件である検索条件を入力し、あらかじめ
異なる複数の音声情報から作成された複数の音声インデ
ックス情報を検索して前記検索条件と一致する検索情報
を含む音声インデックス情報を特定し、特定した音声イ
ンデックス情報に対応した音声情報のリストを検索結果
として出力することを特徴とする音声インデックス情報
を用いた音声検索方法。
【請求項１７】さらに、前記検索結果として出力され
るリスト上の各音声情報に対して、前記検索条件と一致
する検索情報を有する構造要素オブジェクトに基づいて
前記所望の音声の位置を特定した位置情報を付加して出
力することを特徴とする請求項１６に記載の音声インデ
ックス情報を用いた音声検索方法。
【請求項１８】前記検索条件は、それぞれ独立した重
み付けが可能な複数の検索項目からなり、前記検索結果
として出力されるリスト上の各音声情報には、前記検索
項目の重み付けに基づいて評価された評価値が付与され
ていることを特徴とする請求項１６または１７に記載の
音声インデックス情報を用いた音声検索方法。
【請求項１９】前記検索結果として出力されるリスト
上の各音声情報は、前記評価値に基づいてランキング順
に出力されることを特徴とする請求項１８に記載の音声
インデックス情報を用いた音声検索方法。
【請求項２０】あらかじめ音声情報から作成した音声
インデックス情報を参照して、音声情報の中から所望の
検索条件に一致する音声を検索する音声インデックス情
報を用いた音声検索方法であって、前記音声インデックス情報は、前記音声情報中の任意の
範囲に対応した音声を１単位の情報として管理する少な
くとも１つのサウンド情報と、１単位の情報である前記
サウンド情報を分類して、所望の意味のある集合として
管理する少なくとも１つのセグメント情報と、前記セグ
メント情報を複数まとめて管理するためのパッケージ情
報と、を構造要素オブジェクトとしたツリー構造であ
り、前記構造要素オブジェクトは、それぞれその構造要素オ
ブジェクトが直接または間接的に管理する音声の内容を
検索するための検索情報を有し、さらに前記セグメント情報は、そのセグメント情報が管
理する前記サウンド情報と同一の範囲の音声を用いて生
成された他のセグメント情報を複数まとめて管理するた
めのパッケージ情報を管理し、前記ツリー構造において、１つのセグメント情報の下位
に、前記サウンド情報に加えて前記パッケージ情報を配
置したデータ構造であり、所望の音声の条件である検索条件を入力し、前記音声イ
ンデックス情報を検索して前記検索条件と一致する検索
情報を含む構造要素オブジェクトを特定し、特定した構
造要素オブジェクトのリストを検索結果として出力する
ことを特徴とする音声インデックス情報を用いた音声検
索方法。
【請求項２１】さらに、前記検索条件と共に前記ツリ
ー構造中における深さ方向の階層レベルを検索範囲とし
て入力し、前記音声インデックス情報中の前記検索範囲
に存在する構造要素オブジェクトの検索情報のみを検索
対象として、前記検索条件と一致する検索情報を含む構
造要素オブジェクトを特定し、特定した構造要素オブジ
ェクトのリストを検索結果として出力することを特徴と
する請求項２０に記載の音声インデックス情報を用いた
音声検索方法。
【請求項２２】前記検索条件は、それぞれ独立した重
み付けが可能な複数の検索項目からなり、前記検索結果
として出力されるリスト上の各構造要素オブジェクトに
は、前記検索項目の重み付けに基づいて評価された評価
値が付与されていることを特徴とする請求項２０または
２１に記載の音声インデックス情報を用いた音声検索方
法。
【請求項２３】前記検索結果として出力されるリスト
上の各構造要素オブジェクトは、前記評価値に基づいて
ランキング順に出力されることを特徴とする請求項２２
に記載の音声インデックス情報を用いた音声検索方法。
【請求項２４】複数の映像情報を記憶した複数の映像
情報データベースと、あらかじめ各映像情報に対応させ
て作成した映像インデックス情報を記憶した複数の映像
インデックス情報データベースと、前記複数の映像イン
デックス情報データベースに記憶されている映像インデ
ックス情報から前記映像情報データベースに記憶されて
いる映像情報を検索するための検索情報を抽出して生成
した検索情報転置ファイルと、前記検索情報転置ファイ
ルを用いて前記映像情報データベースの中から所望の検
索条件と一致または類似する映像情報を検索する検索装
置と、から構成される映像検索システムであって、前記映像インデックス情報データベースの前記映像イン
デックス情報は、前記映像情報中の任意の連続するフレ
ームを１単位の情報として管理する少なくとも１つのフ
レーム情報と、前記映像情報中の任意の範囲に対応した
音声を１単位の情報として管理する少なくとも１つのサ
ウンド情報と、１単位の情報である前記フレーム情報お
よびサウンド情報を分類して、所望の意味のある集合と
して管理する少なくとも１つのセグメント情報と、前記
セグメント情報を複数まとめて管理するためのパッケー
ジ情報と、を構造要素オブジェクトとしたツリー構造で
あり、前記構造要素オブジェクトのうち、少なくとも１
種類の構造要素オブジェクトは、その構造要素オブジェ
クトが直接または間接的に管理するフレームまたは／お
よび音声の内容を検索するための検索情報を有し、また
前記セグメント情報は、そのセグメント情報が管理する
前記フレーム情報およびサウンド情報と同一の範囲のフ
レームおよび音声を用いて生成された他のセグメント情
報を複数まとめて管理するためのパッケージ情報を管理
し、さらに前記ツリー構造において、１つのセグメント
情報の下位に、前記フレーム情報およびサウンド情報に
加えて前記パッケージ情報を配置したデータ構造であ
り、前記検索情報転置ファイルは、前記複数の映像インデッ
クス情報データベースから抽出した各検索情報と、それ
ぞれの検索情報の抽出元である構造要素オブジェクトお
よびその構造要素オブジェクトが存在する映像インデッ
クス情報とを関連付けると共に、各検索情報を複数のカ
テゴリーに分類して記憶したものであり、前記検索装置は、所望の映像の条件である検索条件が入
力されると、前記検索情報転置ファイルの各検索情報と
その関連する情報およびカテゴリーを用いて、前記検索
条件と一致または類似する検索情報を特定し、該当する
検索情報を含む映像インデックス情報に基づいて該当す
る映像情報を検索結果として出力することを特徴とする
映像検索システム。
【請求項２５】複数の映像情報を記憶した複数の映像
情報データベースと、あらかじめ各映像情報に対応させ
て作成した映像インデックス情報を記憶した複数の映像
インデックス情報データベースと、前記複数の映像イン
デックス情報データベースに記憶されている映像インデ
ックス情報から前記映像情報データベースに記憶されて
いる映像情報を検索するための複数の検索情報を記憶し
た検索情報転置ファイルと、前記検索情報転置ファイル
を用いて前記映像情報データベースの中から所望の検索
条件と一致または類似する映像情報を検索する検索装置
と、から構成される映像検索システムであって、前記映像インデックス情報データベースの前記映像イン
デックス情報は、前記映像情報中の任意の連続するフレ
ームを１単位の情報として管理する少なくとも１つのフ
レーム情報と、前記映像情報中の任意の範囲に対応した
音声を１単位の情報として管理する少なくとも１つのサ
ウンド情報と、１単位の情報である前記フレーム情報お
よびサウンド情報を分類して、所望の意味のある集合と
して管理する少なくとも１つのセグメント情報と、前記
セグメント情報を複数まとめて管理するためのパッケー
ジ情報と、を構造要素オブジェクトとしたツリー構造で
あり、前記セグメント情報は、そのセグメント情報が管
理する前記フレーム情報およびサウンド情報と同一の範
囲のフレームおよび音声を用いて生成された他のセグメ
ント情報を複数まとめて管理するためのパッケージ情報
を管理し、さらに前記ツリー構造において、１つのセグ
メント情報の下位に、前記フレーム情報およびサウンド
情報に加えて前記パッケージ情報を配置したデータ構造
であり、前記検索情報転置ファイルは、前記複数の検索情報を複
数のカテゴリーに分類し、各検索情報と、それぞれの検
索情報によって検索される構造要素オブジェクトおよび
その構造要素オブジェクトが存在する映像インデックス
情報とを関連付けて記憶したものであり、前記検索装置は、所望の映像の条件である検索条件が入
力されると、前記検索情報転置ファイルの各検索情報と
その関連する情報およびカテゴリーを用いて、前記検索
条件と一致または類似する検索情報を特定し、該当する
検索情報を含む映像インデックス情報に基づいて該当す
る映像情報を検索結果として出力することを特徴とする
映像検索システム。
【請求項２６】前記映像情報データベース、前記映像
インデックス情報データベース、前記検索情報転置ファ
イルおよび前記検索装置は、それぞれネットワーク上に
複数配置されており、前記ネットワーク上の任意の検索装置からネットワーク
上の任意の１つの検索情報転置ファイルを介して、前記
ネットワーク上の全ての映像インデックス情報データベ
ースおよび全ての映像情報データベースに接続可能であ
ることを特徴とする請求項２４または２５に記載の映像
検索システム。
【請求項２７】前記映像情報データベース、前記映像
インデックス情報データベース、前記検索情報転置ファ
イルおよび前記検索装置は、それぞれネットワーク上に
複数配置されており、前記ネットワーク上の任意の検索装置からネットワーク
上の任意の１つの検索情報転置ファイルを介して、前記
ネットワーク上の複数の映像インデックス情報データベ
ースおよび複数の映像情報データベースに接続可能であ
ることを特徴とする請求項２４または２５に記載の映像
検索システム。