JP2002007419A - マルチメディアデータ検索方法、装置、および記憶媒体 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】映像などのマルチメディアデータの検索におい
て、データを検索したとき、検索結果に対して１つ１つ
再生の指示操作を行うことなく、容易に検索結果を視聴
して確認できる検索方法、装置、及び記憶媒体を提供す
る。 【解決手段】マルチメディアデータ中のアノテーション
が設定された特定区間を識別するための識別子と該特定
区間の位置情報と該特定区間に付されたアノテーション
情報とをアノテーションオブジェクトとして登録してお
く。指定された検索条件でアノテーションオブジェクト
を検索し、検索結果を取得し、該当するマルチメディア
データを取得して連続再生する。さらに再生中のアノテ
ーションオブジェクトの登録の要否を入力させ、登録要
と指示されたアノテーションオブジェクトの識別子を登
録する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像、音響、及び
アニメーションなどのマルチメディアデータを保存し、
再利用することを目的としたデータベースシステムに係
り、特にマルチメディアデータの効率的な検索方法、装
置、及び記憶媒体に関する。

【０００２】

【従来の技術】マルチメディアデータベース検索に関す
る発明としては、例えば特開平１０−２１２６１号に記
載のものがある。この発明は、利用者がメディアオブジ
ェクトの特定区間にアノテーション（例えば、誰が登場
している場面か、どういう風景であるかなどのコメント
情報）を定義した際に、定義された対象メディアのオブ
ジェクトＩＤ、特定区間、及びアノテーション情報を一
つのアノテーションオブジェクトとし、これらのアノテ
ーションオブジェクトの集合を管理し、利用者がアノテ
ーション検索条件を指定できるようにしている。検索結
果はマルチメディアのアノテーションリストの一覧表示
や映像の場合はサムネイル画像（特定区間の特定位置の
フレーム１枚の静止画像）で表示する。

【０００３】

【発明が解決しようとする課題】上記発明は、大量の映
像データや音響データの中から所望する部分を検索し、
ある程度候補を絞りこむには大変有効であるが、映像や
音響は実際に見たり聞いてみないと所望する映像や音響
であるかどうかわからない。検索結果として表示される
映像のタイトルやサムネイル画像から更に再生を指示す
る操作は煩わしい。

【０００４】本発明の目的は、上述の従来技術の問題点
に鑑み、マルチメディアデータを検索したとき、検索結
果に対して１つ１つ再生を指示する煩わしい操作を行う
ことなく、容易に検索結果を視聴して確認できるマルチ
メディアデータ検索方法、装置、及び記憶媒体を提供す
ることを目的とする。

【０００５】

【課題を解決するための手段】上記目的を達成するた
め、本発明は、マルチメディアデータを保持するマルチ
メディアデータベースから該マルチメディアデータの任
意の区間を検索するマルチメディアデータ検索方法であ
って、前記マルチメディアデータ中のアノテーションが
設定された特定区間を識別するための識別子と該特定区
間の位置情報と該特定区間に付されたアノテーション情
報とをアノテーションオブジェクトとして登録するステ
ップと、前記アノテーションオブジェクトに該当するマ
ルチメディアデータを検索し再生するステップと、検索
結果のアノテーションオブジェクトの識別子を登録する
ステップとを備えたことを特徴とする。

【０００６】また本発明は、マルチメディアデータを保
持するマルチメディアデータベースから該マルチメディ
アデータの任意の区間を検索するマルチメディアデータ
検索方法であって、前記マルチメディアデータ中のアノ
テーションが設定された特定区間を識別するための識別
子と該特定区間の位置情報と該特定区間に付されたアノ
テーション情報とをアノテーションオブジェクトとして
登録するステップと、前記アノテーションオブジェクト
に対する検索条件を入力するステップと、入力された検
索条件で前記アノテーションオブジェクトを検索し、検
索結果を取得するステップと、前記検索結果に含まれる
アノテーションオブジェクトに該当するマルチメディア
データを取得して連続再生するステップと、再生中のア
ノテーションオブジェクトの登録の要否を入力するステ
ップと、登録要と指示されたアノテーションオブジェク
トの識別子を登録するステップとを備えたことを特徴と
する。

【０００７】前記検索結果に含まれるアノテーションオ
ブジェクトに対し、それらの再生順序を指定するステッ
プを、さらに備え、前記連続再生するステップは、該指
定された再生順序で再生を行うようにするとよい。

【０００８】また本発明は、マルチメディアデータを保
持するマルチメディアデータベースから該マルチメディ
アデータの任意の区間を検索するマルチメディアデータ
検索装置であって、前記マルチメディアデータ中のアノ
テーションが設定された特定区間を識別するための識別
子と該特定区間の位置情報と該特定区間に付されたアノ
テーション情報とをアノテーションオブジェクトとして
登録する手段と、前記アノテーションオブジェクトに対
する検索条件を入力する手段と、入力された検索条件で
前記アノテーションオブジェクトを検索し、検索結果を
取得する手段と、前記検索結果に含まれるアノテーショ
ンオブジェクトに該当するマルチメディアデータを取得
して連続再生する手段と、再生中のアノテーションオブ
ジェクトの登録の要否を入力する手段と、登録要と指示
されたアノテーションオブジェクトの識別子を登録する
手段とを備えたことを特徴とする。

【０００９】さらに本発明は、マルチメディアデータを
保持するマルチメディアデータベースから該マルチメデ
ィアデータの任意の区間を検索するマルチメディアデー
タ検索方法に係るプログラムを記憶した記憶媒体であっ
て、該プログラムは、前記マルチメディアデータ中のア
ノテーションが設定された特定区間を識別するための識
別子と該特定区間の位置情報と該特定区間に付されたア
ノテーション情報とをアノテーションオブジェクトとし
て登録するステップと、前記アノテーションオブジェク
トに対する検索条件を入力するステップと、入力された
検索条件で前記アノテーションオブジェクトを検索し、
検索結果を取得するステップと、前記検索結果に含まれ
るアノテーションオブジェクトに該当するマルチメディ
アデータを取得して連続再生するステップと、再生中の
アノテーションオブジェクトの登録の要否を入力するス
テップと、登録要と指示されたアノテーションオブジェ
クトの識別子を登録するステップとを備えたものである
ことを特徴とする。

【００１０】

【発明の実施の形態】以下、図面を用いて本発明の実施
の形態を詳細に説明する。

【００１１】図１に、本発明を適用したマルチメディア
データベース検索システムの構成を示す。本システム
は、システム全体の制御及び種々の処理を実行する中央
処理装置（CPU）１０、CPU１０で実行される処理プログ
ラム群及び処理途中のデータなどを格納するメモリ２
０、コマンドやデータなどを入力する入力装置３０、検
索結果などを表示する表示装置４０、映像や音響データ
などの実体を蓄積するマルチメディアデータベース５
０、マルチメディア管理データベース６０、アノテーシ
ョン管理データベース７０、検索結果格納テーブル８
０、並びに、検索結果登録テーブル９０を備えている。

【００１２】これら各部は、データ／制御バス１００を
介して結ばれている。各データベース及びテーブル５０
〜９０はファイルやメモリなどで構成されるが、これら
をまとめてハードディスク装置などに格納してもよい。
メモリ２０内には、マルチメディア登録処理２１、アノ
テーション登録処理２２、メディアデータ検索処理２
３、及びメディアデータ再生処理２４がロードされてい
る。またメモリ２０内にはワークエリア２５が確保され
ている。

【００１３】これらの構成のもと、図２に示すフローチ
ャートを用いて本実施の形態の概要を説明する。

【００１４】ステップ２０１では、マルチメディア登録
処理２１を行う。これは、マルチメディアデータをマル
チメディアデータベース５０に格納する処理である。マ
ルチメディアデータベースとは、映像オブジェクト、音
響オブジェクト、アニメーションオブジェクト、図形オ
ブジェクト、あるいはテキストオブジェクトなどからな
る多数のマルチメディアデータを蓄積するファイルやテ
ープの総称である。マルチメディア管理データベース６
０は、マルチメディアデータベース５０に蓄積されるメ
ディアデータを管理するデータベースである。

【００１５】図３に、マルチメディア管理データベース
６０に格納する内容をテーブル形式で示す。メディアデ
ータ１つにつき１レコード（図３の１行分）が対応し、
その１レコードは、メディアオブジェクトＩＤ６０１、
タイトル名６０２、メディア識別コード６０３、格納情
報６０４、及び管理属性情報６０５のデータからなる。

【００１６】図２のステップ２０１でマルチメディアデ
ータベース５０に新規にメディアデータを登録する場
合、操作者は、入力装置３０を介して、マルチメディア
管理データベース６０にメディアの管理情報を登録す
る。操作者は、メディアのタイトル名６０２及びメディ
ア識別コード６０３を入力するとともに、格納情報６０
４（メディアデータの実体を格納する場所）として当該
メディアのファイル名を入力する。必要に応じて、管理
属性情報６０５なども入力して登録する。メディアオブ
ジェクトＩＤ６０１は、マルチメディア登録処理２１で
既に登録されたメディアオブジェクトＩＤと重複しない
番号をシステム側で採番する。

【００１７】ステップ２０２では、アノテーション登録
処理２２を行う。映像データや音響（音楽など）データ
の場合、再生する特定区間の範囲の指定方法はメディア
を格納する媒体や再生するハードウエア装置により数種
類考えられるが、ここではSMPTEのタイムコード表記（H
H：MM：SS：FFの形式で、時：分：秒：フレームを表わ
す表記法）で統一する。映像データや音響データについ
ては、開始タイムコードと終了タイムコードを指定する
ことにより、そのメディアデータの所望する部分を再生
することが出来る。しかし、操作者がタイムコードを指
定して再生を指示するのは、使い勝手が悪い。本実施形
態のシステムでは、開始タイムコードと終了タイムコー
ドで区切られる区間をオブジェクトと捉え、このオブジ
ェクトに対してアノテーション（コメント情報）を付与
する。

【００１８】図４は、アノテーションが付けられている
オブジェクトの識別情報、特定区間、及びアノテーショ
ン情報をまとめて管理するアノテーション管理データベ
ース７０のテーブル構造を示す。アノテーション管理デ
ータベース７０は、１オブジェクトに対し１レコード
（図４の１行分）が対応し、その１レコードは、オブジ
ェクトＩＤ７０１、対象メディアのメディアオブジェク
トＩＤ７０２、アノテーションを付与する特定区間の開
始タイムコード７０３と終了タイムコード７０４、及び
アノテーション７０５のデータからなる。アノテーショ
ン７０５は、操作者が映像の内容に対して設定するもの
で、１種類ないし複数種類設定してもよく、ここではキ
ーワード７０５１、地名７０５２、時間７０５３、人物
７０５４、固有名詞７０５５、及びイベント７０５６か
らなる。

【００１９】図２に戻って、ステップ２０３では、メデ
ィアデータ検索処理２３を行う。操作者は、所望する映
像のアノテーションを検索条件として指定する。指定さ
れた検索条件に基づき、アノテーション管理データベー
ス７０を参照・検索実行し、その結果を検索結果格納テ
ーブル８０に格納する。

【００２０】図５に、検索結果格納テーブル８０の構造
を示す。検索結果格納テーブル８０は、検索結果のレコ
ード番号を示すカウンタ８０１、オブジェクトＩＤ８０
２、タイトル名８０３、アノテーション８０４、メディ
アオブジェクトＩＤ８０５、開始タイムコード８０６、
及び終了タイムコード８０７から構成される。オブジェ
クトＩＤ８０２、アノテーション８０４、メディアオブ
ジェクトＩＤ８０５、開始タイムコード８０６、及び終
了タイムコード８０７は、アノテーション管理データベ
ース７０のオブジェクトＩＤ７０１、アノテーション７
０５、メディアオブジェクトＩＤ７０２、開始タイムコ
ード７０３、及び終了タイムコード７０４をそれぞれ参
照して格納し、タイトル名８０３は、マルチメディア管
理データベース６０のタイトル名６０２を参照して格納
する。カウンタ８０１は、メディアデータ検索処理２３
が生成する。

【００２１】再び図２に戻って、ステップ２０４では、
メディアデータ再生処理２４を行う。これは、検索結果
格納テーブル８０に登録された各オブジェクトを連続し
て再生する処理である。操作者は、連続して再生された
メディアを視聴しながら、１つ１つ所望するメディアで
あるか否かを判断し、所望するメディアのリストとして
検索結果登録テーブル９０に登録する。

【００２２】図６に、検索結果登録テーブル９０の構造
を示す。検索結果登録テーブル９０は、カウンタ９０
１、オブジェクトＩＤ９０２、タイトル名９０３、アノ
テーション９０４、メディアオブジェクトＩＤ９０５、
開始タイムコード９０６、及び終了タイムコード９０７
から構成される。検索結果の映像を連続して再生してい
るときに、所望するメディアであると操作者が指示した
場合、検索結果格納テーブル８０のそのメディアのオブ
ジェクトＩＤ８０２、タイトル名８０３、アノテーショ
ン８０４、メディアオブジェクトＩＤ８０５、開始タイ
ムコード８０６、及び終了タイムコード８０７を読み出
して、そのメディアのオブジェクトＩＤ９０２、タイト
ル名９０３、アノテーション９０４、メディアオブジェ
クトＩＤ９０５、開始タイムコード９０６、及び終了タ
イムコード９０７に格納する。カウンタ９０１は、メデ
ィアデータ再生処理２４が生成し格納する。

【００２３】以下、各処理の詳細を説明する。

【００２４】図７のフローチャートを参照して、ステッ
プ２０２のアノテーション登録処理２２の詳細を説明す
る。操作者が入力装置３０を介してアノテーション登録
処理２０２の開始を指示すると、ステップ２２１でアノ
テーション入力用画面を表示装置４０に表示する。ここ
では、マルチメディア管理データベース６０のタイトル
名６０２を参照し、ワークエリア２５に読み込み、タイ
トル名６０２を一覧表示する。操作者は、この中からア
ノテーション登録の対象とするメディアオブジェクトの
タイトル名を選択する（ステップ２２２）。

【００２５】ステップ２２３において、ステップ２２２
で指定されたメディアオブジェクトを再生し、操作者
は、それを視聴しながらアノテーションを設定したい区
間のオブジェクトの開始タイムコード及び終了タイムコ
ードを検出する。各タイムコードの検出は、メディア再
生中に表示装置に表示される時間で判断してもよいし、
操作者がアノテーションを設定したい区間中で特定ボタ
ンを押し続けることにより、再生するためのソフトウエ
アがタイムコードを検出してもよい。対象区間を確定
後、ステップ２２４で、開始タイムコード、終了タイム
コード、及びアノテーションを入力する。

【００２６】ステップ２２５で、操作者が“登録する”
を指示した場合はステップ２２６に進み、“登録しな
い”を指示した場合はステップ２２８に進む。ステップ
２２６ではオブジェクトＩＤを生成する。ステップ２２
７では、アノテーション管理データベース７０（図４）
に登録を行なう。すなわち、ステップ２２６で生成した
オブジェクトＩＤをオブジェクトＩＤ７０１に、マルチ
メディア管理データベース６０のメディアオブジェクト
ＩＤ６０１の値をメディアオブジェクトＩＤ７０２に設
定し、さらにステップ２２４で操作者が指定した開始タ
イムコード、終了タイムコード、及びアノテーションを
開始タイムコード７０３、終了タイムコード７０４、及
びアノテーション７０５にそれぞれ格納する。

【００２７】例えば、図３のメディアオブジェクトＩＤ
“M01”の区間00:29:22:15〜00:31:55:52に“花 桜”と
いうキーワードのアノテーションを付けると、図４に示
すように、アノテーション管理データベース７０のメデ
ィアオブジェクトＩＤ７０２の項目には“M01”、開始
タイムコード７０３は“00:29:22:15”、終了タイムコ
ードは７０４“00:31:55:52”、アノテーション７０５
１として“花 桜”が、それぞれ登録される。アノテー
ションは複数種類の設定も可能であり、ここでは地名７
０５２、時間７０５３、人物７０５４、固有名詞７０５
５、及びイベント７０５６もそれぞれ設定している。ま
た、アノテーション登録処理２２が値を生成したオブジ
ェクトＩＤ７０１は“A01”となっている。

【００２８】操作者が登録処理の終了を指示すると、ス
テップ２２８においてアノテーション入力用画面を消去
する。

【００２９】次に、図８のフローチャートを用いて、ス
テップ２０３のメディアデータ検索処理２３の詳細を説
明する。操作者が入力装置３０を介してメディアデータ
検索処理２３の開始を指示すると、ステップ２３１で検
索条件入力用画面を表示装置４０に表示する。図１０
に、検索条件指定画面４１の例を示す。ステップ２３２
において、図１０のキーワード指定エリア４０１のキー
ワード入力エリア４０１１に所望するメディアオブジェ
クトの検索条件を指定する。複数の検索条件を指定する
場合（キーワード入力エリア４０１１に、複数のキーワ
ードをスペースで区切って入力）は、“全てのキーワー
ド”４０１２か“いずれかのキーワード”４０１３のど
ちらかを選択する。ここでは操作者が“花”を検索条件
として入力したと仮定して説明する。検索条件指定画面
４１の“ＯＫ”ボタン４０５を押下すると、ステップ２
３３で、アノテーション管理データベース７０（図４）
から検索条件に対応するオブジェクトＩＤ７０１、メデ
ィアオブジェクトＩＤ７０２、開始タイムコード７０
３、及び終了タイムコード７０４を検索するためのＳＱ
Ｌ文を生成する。

【００３０】例えば、検索条件として、アノテーション
管理データベース７０の名称を“annotation”、アノテ
ーションを“花”とすると、ＳＱＬ文はSELECT オブジ
ェクトＩＤ, アノテーション,メディアオブジェクトＩ
Ｄ,開始タイムコード,終了タイムコード FROM annotati
on WHERE アノテーション LIKE '%花%'となる。

【００３１】次に、ステップ２３４において、前ステッ
プで生成したＳＱＬ文を実行し、その検索結果はワーク
スペース２５に展開される検索結果格納テーブル８０
（図５）上に格納する（ステップ２３５）。すなわち、
検索条件に合致したアノテーション管理データベース７
０のレコードから、オブジェクトＩＤ７０１をオブジェ
クトＩＤ８０２に、メディアオブジェクトＩＤ７０２を
メディアオブジェクトＩＤ８０５に、アノテーション７
０５１をアノテーション８０４に、開始タイムコード７
０３を開始タイムコード８０６に、終了タイムコード７
０４を終了タイムコード８０７に、それぞれ転記する。
タイトル名８０３は、マルチメディア管理データベース
６０を参照し、メディアオブジェクトＩＤ８０５と一致
するメディアオブジェクトＩＤ６０１に対応するタイト
ル名６０２を検索して格納する。検索結果のレコードを
特定するためのカウンタ８０１の値は、ここで生成した
値を設定する。

【００３２】次に、操作者が検索結果の表示（再生）を
指示することにより、検索条件入力用画面（図１０）を
表示装置４０から消去し（ステップ２３６）、メディア
データ検索処理２３を終了する。

【００３３】なお、上記では図１０の画面でキーワード
を入力して検索する例を説明したが、撮影期間指定エリ
ア４０２で“指定する”４０２１を選択し期間４０２
３，４０２４を入力することにより、その期間内に撮影
されたメディアから検索することもできる。この場合、
撮影期間４０２とキーワード４０１を指定すれば、その
撮影期間内に撮影されたメディア中からそのキーワード
を持つメディアオブジェクトを検索できる。

【００３４】図９のフローチャートを用いて、ステップ
２０４のメディアデータ再生処理２４の詳細を説明す
る。図８で説明したメディアデータ検索処理２３におい
て、操作者が結果の視聴（再生）を指示すると、自動的
にメディアデータ再生処理２４に移行して図９の処理が
起動する。まずステップ２４１で、プログラムカウンタ
にiに１をセットする。ステップ２４２では、ワークエ
リア２５に展開されている検索結果格納テーブル８０
（図５）を参照し、カウンタ８０１の値がプログラムカ
ウンタiの値と一致するメディアオブジェクトＩＤ８０
５の値を検出する（図５の例では、i=1の場合、“M0
1”）。ステップ２４３では、前ステップで検出したメ
ディアオブジェクトＩＤ８０５と一致するマルチメディ
ア管理データベース６０のメディアオブジェクトＩＤ６
０１に対応するマルチメディアの実体の格納情報６０４
をマルチメディア管理データベース６０から検索するた
めのＳＱＬ文を生成する。

【００３５】例えば、検索条件として、メディアオブジ
ェクトＩＤが“M01”とすると、ＳＱＬ文は SELECT 格納情報 FROM マルチメディア管理データベー
ス WHERE メディアオブジェクトＩＤ = ' M01' となる。

【００３６】ステップ２４４では、前ステップで生成し
たＳＱＬ文を実行する。ステップ２４５において、ステ
ップ２４４で検出した格納情報６０４、カウンタ８０１
の値がiであるレコードの開始タイムコード８０６及び
終了タイムコード８０７の値を引数として映像再生ソフ
トウエアを起動し、表示装置４０に再生する。図１７は
再生された画面例を示す。操作者は再生されている映像
を視聴し、所望する映像であるか否かを判断する。再生
中に操作者から「所望する映像データではない」との指
示があった場合（ステップ２４６）は、映像の再生を中
止し、ステップ２４８に進む。ステップ２４６で操作者
から「登録する」との指示があった場合は、ステップ２
４７で検索結果登録テーブル９０（図６）に検索結果格
納テーブル８０の該当レコードを転記して、ステップ２
４８に進む。

【００３７】ステップ２４８でメディアデータ再生処理
２４は、検索結果格納テーブル８０に現在のカウンタi
の次のレコードがあるか否かを判定し、次レコードなし
と判定した場合は処理を終了し、そうでないときはステ
ップ２４９でカウンタiをカウントアップし、再びステ
ップ２４２からの処理を行う。メディアデータ再生処理
２４の終了時には、検索結果登録テーブル９０（図６）
は、操作者が所望するメディアのリストとなっている。

【００３８】以上の図９の処理により、図５のような検
索結果の各メディアオブジェクトを順に連続的に再生
し、操作者は再生されている映像を見て所望のものであ
ったときには所定のボタンを押すなどの「登録する」操
作を行うことができる。また、所望の映像でないとき
は、その旨指示することにより、自動的に次の映像の再
生に移行する。したがって、図５のように検索されたメ
ディアオブジェクトについて１つ１つ再生の指示を行う
ことなく、連続的に試聴してそれらの映像のうちのどれ
を「登録する」か指定できる。最終的に、登録したリス
トは、図６のように得ることができる。

【００３９】本実施の形態ではステップ２０３とステッ
プ２０４は連続して行ったが、ステップ２０３で検索結
果格納テーブル８０を生成した後、別途ステップ２０４
を行なっても構わない。

【００４０】また、本実施の形態では、検索後、直ちに
検索結果の映像の再生を行った。しかし、検索結果によ
ってはさらに条件を絞り込みたいなど、最終的な結果は
映像を再生することにより確認したいが、とりあえず結
果を映像以外で参照したいという場合もある。このよう
な場合に対応するために、結果の表示方法を指定できる
ようにする。すなわち、図１０に示す検索条件入力画面
４１において、検索結果表示方法指定エリア４０３を設
ける。該エリア４０３で“再生する”４０３１を指定す
ると、上述したように、検索後直ちに結果を連続的に再
生する。“リストで表示”４０３２を指定すると、検索
後、検索結果格納テーブル８０（図５）のタイトル名８
０３を一覧表示する。アノテーション登録処理２２にお
いて、アノテーションの代表画像であるサムネイル画像
を登録した場合、“サムネイルで表示”４０３３を指定
すると、検索結果としてサムネイル画像を一覧表示す
る。なお、“リストで表示”した後、あるいは“サムネ
イルで表示”した後、再度検索条件を絞り込んで検索し
直したり、所定の操作により図９の再生・登録の処理を
起動することができる。

【００４１】検索結果を格納した検索結果格納テーブル
８０を、アノテーションの内容で並び替えることによ
り、再生順序を指定することが出来る。そのために、メ
ディアデータ検索処理２３において、図１０の検索条件
入力画面４１に、撮影年月日４０４１、タイトル４０４
２、及び属性（アノテーション）４０４３から構成する
検索結果表示順序指定エリア４０４を設ける。検索結果
表示順序指定エリア４０４において、撮影年月日４０４
１を選択した場合は、検索結果を撮影日が古い順に再生
する。タイトル４０４２を選択した場合は、検索結果を
タイトル名をソートした結果順に再生する。属性４０４
３を選択した場合は、検索結果をアノテーションで指定
した順番に再生する。アノテーションでの順番の指定は
属性設定ボタン４０４４を押下して表示される画面（後
述）で行なう。

【００４２】例えば、操作者が、図８のステップ２３２
において、検索条件として、キーワード入力エリア４０
１１に“花”と入力し、撮影年月日４０４１を選択する
と、ステップ２３３で生成するＳＱＬ文はSELECT オブ
ジェクトＩＤ, キーワード, 時間,メディアオブジェク
トＩＤ,開始タイムコード,終了タイムコード FROM anno
tation WHERE キーワード LIKE '%花%' Order By 時間
となる。

【００４３】ステップ２３４においてこのＳＱＬ文を実
行し、ステップ２３５において登録した検索結果格納テ
ーブル８０を、図１１に示す。図１１の検索結果テーブ
ル８０では、検索結果が撮影年月日順に並べられている
ので、連続再生はこの順に行われる。

【００４４】操作者が、図８のステップ２３２におい
て、検索条件として、キーワード入力エリア４０１１に
“花”と入力し、タイトル４０４２を選択すると、ステ
ップ２３５において結果格納テーブル８０の編集処理を
行う。図１２は、この場合のステップ２３５の処理の詳
細を示すフローチャートである。ステップ２３５１にお
いて、検索結果を検索結果格納テーブル８０に書込む。
検索結果テーブル８０は、図５の状態であるとする。ス
テップ２３５２において、検索結果表示順序指定エリア
４０４で、タイトル４０４２または属性４０４３の指定
があるか否か判定する。何れかの指定がある場合は、ス
テップ２３５３に進む。何も指定がない、あるいは撮影
年月日４０４１の指定であると判定した場合、処理は終
了する。ステップ２３５３においてタイトル４０４２の
指定があったと判定した場合、タイトル名８０３のコー
ド順でレコードを並べ替える（ステップ２３５４）。図
１３に、並べ替えた検索結果格納テーブル８０を示す。
図１３の検索結果格納テーブル８０では、検索結果がタ
イトル名順（コード順）に並べられているので、連続再
生はこの順に行われる。

【００４５】操作者が、図８のステップ２３２におい
て、検索条件として、キーワード入力エリア４０１１に
“花”と入力し、属性４０４３を選択し、“属性設定”
ボタン４０４４を押下すると、表示装置４０に、図１４
に示す属性（アノテーション）設定画面４２が表示され
る。この属性設定画面４２により、アノテーションの内
容で検索結果の映像の再生順序を指定する。図４のアノ
テーション管理データベース７０のアノテーション７０
５は、キーワード７０５１、地名７０５２、時間７０５
３、人物７０５４、固有名詞７０５５、及びイベント７
０５６からなるので、図１４の属性設定画面４２は、キ
ーワード４２１、地名４２２、時間４２３、人物４２
４、固有名詞４２５、及びイベント４２６の各画面から
構成する。

【００４６】図１４は、キーワードによる再生順序の指
定画面を表示したところである。テキストフィールド４
２１１〜４２１６にキーワードを設定する。再生時に
は、テキストフィールド４２１１に入力したキーワード
を含む映像を最優先に再生する。テキストフィールド４
２１１に入力したキーワードを含む映像が複数あっても
よい。次に、テキストフィールド４２１２に入力したキ
ーワードを含む映像を再生し、さらにテキストフィール
ド４２１３、テキストフィールド４２１４、テキストフ
ィールド４２１５、及びテキストフィールド４２１６の
順で再生した後、検索結果格納テーブル８０上で、テキ
ストフィールド４２１３〜４２１６のキーワードに該当
しない映像を再生することになる。

【００４７】図１４の画面でアノテーションによる再生
順序が指定されたときには、ステップ２３５で図１２の
処理が実行される。ここでは属性４０４３が選択されて
いるので、ステップ２３５５が実行される。これによ
り、検索結果格納テーブル８０は、図１５になる。図１
５の検索結果格納テーブル８０では、検索結果が、図１
４で指定されたようなアノテーションの順に並べられて
いるので、連続再生はこの順に行われる。

【００４８】図１６のフローチャートを参照して、ステ
ップ２３５５の処理の詳細を説明する。ステップ２５１
において、ワークエリア２５上に図５の検索結果格納テ
ーブル８０を複製する。ステップ２５２において、図１
４の属性（アノテーション）設定画面４２で設定されて
いるアノテーションの種別を検出する。ここでは、キー
ワードが該当する。ステップ２５３で、第１番目のテキ
ストフィールド４２１１の値を参照する。ここでは
“梅”となっているので、ステップ２５４で検索結果格
納テーブル８０（図５）を参照し、アノテーションで
“梅”を含むレコードを検索する。該当レコードをワー
クエリア２５上の検索結果格納テーブル８０に転記す
る。

【００４９】次のテキストフィールドにキーワードが入
力されているか否かをステップ２５６で判定し、入力さ
れている場合はステップ２５３に戻り、されていない場
合はステップ２５７の処理に進める。未転記のレコード
がある場合はステップ２５７で転記し、ワークエリア２
５上の検索結果格納テーブル８０をディスク上に格納
し、処理を終了する。これにより、図５のテーブルから
図１５のようなアノテーションでソートされたテーブル
が得られる。

【００５０】

【発明の効果】通常、映像などのマルチメディアデータ
の検索結果は、タイトル名などで表示される。しかし、
実際に映像などを視聴してみなければ、本当に欲しいマ
ルチメディアデータであるかどうかは分からず、タイト
ルに該当するマルチメディアデータのファイルに対し、
１つ１つ再生の指示を出す必要がある。本発明によれ
ば、マルチメディアデータの検索結果を連続して再生す
るので、検索結果に対して１つ１つ再生を指示する煩わ
しい操作を行うことなく、容易に検索結果を視聴して確
認することができる。また、再生する順番をアノテーシ
ョン情報などで指定できるので、ユーザの所望の順番で
検索結果を連続的に視聴することができる。

【図面の簡単な説明】

【図１】本発明を適用したマルチメディアデータベース
検索システムの基本構成図

【図２】図１のシステムの基本動作を説明するためのフ
ローチャート図

【図３】マルチメディア管理データベースの構造図

【図４】アノテーション管理データベースの構造図

【図５】検索結果格納テーブルの構造図

【図６】検索結果登録テーブルの構造図

【図７】アノテーション登録処理の詳細フローチャート
図

【図８】メディアデータ検索処理の詳細フローチャート
図

【図９】メディアデータ再生処理の詳細フローチャート
図

【図１０】検索条件指定画面を示す図

【図１１】検索結果格納テーブル（撮影年月日順指定）
の構造図

【図１２】結果格納テーブル編集処理詳細フローチャー
ト図

【図１３】検索結果格納テーブル（タイトル名指定）の
構造図

【図１４】アノテーション設定画面を示す図

【図１５】検索結果格納テーブル（アノテーション指
定）の構造図

【図１６】アノテーションでソートする処理のフローチ
ャート図

【図１７】再生画面例を示す図

【符号の説明】

１０…中央処理装置（CPU）、２０…メモリ、２１…マ
ルチメディア登録処理、２２…アノテーション登録処
理、２３…メディアデータ検索処理、２４…メディアデ
ータ再生処理、２５…ワークエリア、３０…入力装置、
４０…表示装置、５０…マルチメディアデータベース、
６０…マルチメディア管理データベース、７０…アノテ
ーション管理データベース、８０…検索結果格納テーブ
ル、９０…検索結果登録テーブル、１００…データ／制
御バス。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B075 ND16 NK25 NK31 PP03 PP13 PP23 PQ02 PQ46 PQ48

Claims (5)

【特許請求の範囲】
1. 【請求項１】マルチメディアデータを保持するマルチメ
   ディアデータベースから該マルチメディアデータの任意
   の区間を検索するマルチメディアデータ検索方法であっ
   て、 前記マルチメディアデータ中のアノテーションが設定さ
   れた特定区間を識別するための識別子と該特定区間の位
   置情報と該特定区間に付されたアノテーション情報とを
   アノテーションオブジェクトとして登録するステップ
   と、 前記アノテーションオブジェクトに該当するマルチメデ
   ィアデータを検索し再生するステップと、 検索結果のアノテーションオブジェクトの識別子を登録
   するステップとを備えたことを特徴とするマルチメディ
   アデータ検索方法。
2. 【請求項２】マルチメディアデータを保持するマルチメ
   ディアデータベースから該マルチメディアデータの任意
   の区間を検索するマルチメディアデータ検索方法であっ
   て、 前記マルチメディアデータ中のアノテーションが設定さ
   れた特定区間を識別するための識別子と該特定区間の位
   置情報と該特定区間に付されたアノテーション情報とを
   アノテーションオブジェクトとして登録するステップ
   と、 前記アノテーションオブジェクトに対する検索条件を入
   力するステップと、 入力された検索条件で前記アノテーションオブジェクト
   を検索し、検索結果を取得するステップと、 前記検索結果に含まれるアノテーションオブジェクトに
   該当するマルチメディアデータを取得して連続再生する
   ステップと、 再生中のアノテーションオブジェクトの登録の要否を入
   力するステップと、 登録要と指示されたアノテーションオブジェクトの識別
   子を登録するステップとを備えたことを特徴とするマル
   チメディアデータ検索方法。
3. 【請求項３】請求項２に記載のマルチメディアデータ検
   索方法において、 前記検索結果に含まれるアノテーションオブジェクトに
   対し、それらの再生順序を指定するステップを、さらに
   備え、 前記連続再生するステップは、該指定された再生順序で
   再生を行うことを特徴とするマルチメディアデータ検索
   方法。
4. 【請求項４】マルチメディアデータを保持するマルチメ
   ディアデータベースから該マルチメディアデータの任意
   の区間を検索するマルチメディアデータ検索装置であっ
   て、 前記マルチメディアデータ中のアノテーションが設定さ
   れた特定区間を識別するための識別子と該特定区間の位
   置情報と該特定区間に付されたアノテーション情報とを
   アノテーションオブジェクトとして登録する手段と、 前記アノテーションオブジェクトに対する検索条件を入
   力する手段と、 入力された検索条件で前記アノテーションオブジェクト
   を検索し、検索結果を取得する手段と、 前記検索結果に含まれるアノテーションオブジェクトに
   該当するマルチメディアデータを取得して連続再生する
   手段と、 再生中のアノテーションオブジェクトの登録の要否を入
   力する手段と、 登録要と指示されたアノテーションオブジェクトの識別
   子を登録する手段とを備えたことを特徴とするマルチメ
   ディアデータ検索装置。
5. 【請求項５】マルチメディアデータを保持するマルチメ
   ディアデータベースから該マルチメディアデータの任意
   の区間を検索するマルチメディアデータ検索方法に係る
   プログラムを記憶した記憶媒体であって、 該プログラムは、 前記マルチメディアデータ中のアノテーションが設定さ
   れた特定区間を識別するための識別子と該特定区間の位
   置情報と該特定区間に付されたアノテーション情報とを
   アノテーションオブジェクトとして登録するステップ
   と、 前記アノテーションオブジェクトに対する検索条件を入
   力するステップと、 入力された検索条件で前記アノテーションオブジェクト
   を検索し、検索結果を取得するステップと、 前記検索結果に含まれるアノテーションオブジェクトに
   該当するマルチメディアデータを取得して連続再生する
   ステップと、 再生中のアノテーションオブジェクトの登録の要否を入
   力するステップと、 登録要と指示されたアノテーションオブジェクトの識別
   子を登録するステップとを備えたものであることを特徴
   とする記憶媒体。