JP2001306599A - 映像の階層的管理方法および階層的管理装置並びに階層的管理プログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 本発明は、映像の論理的な階層構造を記述可
能にし、オペレータの直感的な操作によって論理構造を
付与可能にすることを目的としている。 【解決手段】 映像の論理単位に対応する、タグと表示
開始時刻と、見出し文字とを１つの項目として複数の論
理単位を列記して順不同に配列された見出し項目リスト
を作成し、上記タグに対応して抽出される見出しレベル
の小さい順にかつ開始時刻順に見出し項目を整列させ
て、整列された見出し項目リストを表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像に関する様々
な情報（タイトル、著作権情報、出演者、場所、出来事
等）をコンピュータに読み取り可能な形で記述、管理
し、効率的に検索・閲覧することを可能にするための映
像の階層的管理方法、階層的管理装置並びに階層的管理
プログラム記録媒体に関する。

【０００２】

【従来の技術】（従来技術１）映像の内容に関する記述
をコンピュータで管理するためのデータモデルとして、
成層モデル（stratification model）が提案されている
（T. G. Aguierre Smith and G. Davenport, "The stra
tification system: A design environment for random
access video," Workshop on Network and Operating
System Supportfor Digital Audio and Video, Nov.199
2）。

【０００３】当該成層モデルによる映像内容記述の例を
図７に示す。時問軸上に、層（ｓｔｒａｔｕｍ）と呼ば
れる記述を重ね合わせていくことで、映像内容を記述す
る。層８０１は、１０〜４０秒の区間に「四季」という
タイトルの音楽が挿入されていることを表し、層８０２
は、ナレーションが１５〜４５秒の区間に挿入されてい
ることを、層８０３は３５〜４２秒の区間に富士山の映
像が入っていることを、層８０４は２５〜４０秒の区間
に「日本の四季」という字幕が入っていることをあらわ
す。このように、重なりや包含を許す層を重ねることで
複雑な記述を可能にする点が特徴であった。

【０００４】成層モデルで記述したデータを用いると、
例えば、「“富士山”の写ったシーン」をデータベース
から検索することが可能となる。さらに、「富士山が写
っているシーン」かつ「音楽の流れているシーン」を検
索する（３５〜４０秒の区間が該当する）ことも可能と
なる。時間情報が得られるので、映像がデジタル化され
ていればその時刻に素早くアクセスすることができる。

【０００５】大量の映像を管理する場合、キーワードに
よる検索だけでなく、カテゴリーに映像を分類し、カテ
ゴリー選択→ビデオタイトル選択→…という具合に段階
的に対象を絞っていく階層ブラウジング方式が有効であ
る。従来のシステムではビデオタイトルを選択すると、
３０分から１時間もある映像を頭から再生するものがほ
とんどで、すべてを見る前に飽きて見るのをやめること
が多かった。

【０００６】教育用ビデオ、ドキュメンタリ、研修用ビ
デオ、ニュースには、本の章節にあたる論理構造が存在
する。映像と関連付けて、コンピュータが読み取り可能
な形で論理構造が記述されていれば カテゴリー選択→ビデオタイトル選択→目次を表示し、
章または節を選択→映像再生 といった形で、利用者が見たい場面に効率的にアクセス
できるようになる。例えば、「日本の歴史」というタイ
トルのビデオがあれば、その目次が例えば図６に示す如
く表示され、利用者が弥生時代に興味があれば、弥生時
代の項を指示選択し、縄文時代の説明を飛ばして弥生時
代に関する説明だけを見ることができる。

【０００７】従来技術１の成層モデルは、階層構造を記
述できないため上のような階層ブラウジングを実現でき
なかった。

【０００８】キーワード検索だけでなく、このような階
層的なブラウジングを可能にするには、映像と関連付け
て論理構造（上の例で目次にあたる情報）を記述する仕
組みが必要になる。

【０００９】（従来技術２）映像の論理構造を記述する
方法が特開平５−２８２３７９「動画像の管理方法及び
管理装置」に開示されている。この方法は論理構造を図
８に示すような木データ構造で管理する。まず映像を時
間的に重なりの無い区間（Ｃ１，Ｃ２，Ｃ３，…）に分
割しそれを葉ノードとする。多くのシステムではショッ
ト、すなわちカメラのＯＮ／ＯＦＦ操作をはさまないで
連続して撮影された区間に映像を分割しそれを葉ノード
とする。従来法は、複数の葉ノードを人手で意味的なま
とまりに併合して上位ノードＳ１を作成するという手続
きを、ボトムアップに繰り返すことで論理構造を木デー
タ表現する。あるいは、ノードを複数の子ノードに分割
するという手続きをトップダウンに繰り返すことで木デ
ータ構造を構築する。

【００１０】映像の論理構造を表現するのに木データ構
造を利用すると、以下の二つの問題が生じる。 （１）各ノードが映像区間に対応するため、映像の時間
的線形性に起因する制約を満たすように操作者は注意深
く操作を行う必要がある。例えば、図８の例でＣ１，Ｃ
３をノードＳ１の子ノードに、Ｃ２をノードＳ２の子ノ
ードにするといった時間の入れ替えは禁止される。 （２）「ノードを分割し、子ノードを二つ作る」、「子
ノードを併合して親ノードを作る」という操作を繰り返
す必要があり、操作者にとって必ずしも直感的とは言え
ない。例えば図８のようなデータ構造を作成してから、
Ｃ４のノードはＳ１の子ノードに移す場合を考えると複
雑な手続きを経る必要がある。

【００１１】つまり、オペレータが論理階層構造を人手
で付与する手続きが複雑であるという問題があった。

【００１２】（従来技術３）従来技術１の論理構造を表
現できないという問題点を解決するために、成層モデル
と木データ構造を組み合わせる方法が考えられる。Carr
ier ら（Marco Carrier, Leonardo Ligresti, Gulrukh
Ahanger, and Thomas D. C. Little: An Aｎnotation E
ngine for Supporting Video Database Population. M
ultimedia Tools and Applications, Vol. 5, pp. 233-
258, 1997)の方法は、最終的な出力フォーマットとし
て、電子的に文書を交換するためのマークアップ（マー
ク付け）言語であるＳＧＭＬ（Standard Generalized M
arkup Language) を用いているが基本的には、成層モデ
ルと木データ構造との組み合わせと考えることができ
る。成層モデルとして内容に関する記述を管理し、木デ
ータ構造として論理構造に関する記述を管理する。この
方法も、やはり木データ構造に起因する上述の問題点が
存在する。

【００１３】

【発明が解決しようとする課題】本発明は、上記問題点
を解決するためになされたものであり、（１）映像の論
理的な階層構造を記述可能とする、（２）オペレータの
直感的な操作により論理構造を付与可能とする、映像の
階層的管理方法、階層的管理装置並びに階層的管理プロ
グラム記録媒体を提供することを目的とする。

【００１４】

【課題を解決するための手段】請求項１は、コンピュー
タを用いて映像の内容を階層的に管理する映像の階層的
管理方法であって、映像の論理単位についての、当該論
理単位に対応するタグと当該論理単位に対応する映像を
表示する開始時刻と当該論理単位に対応して存在し得る
見出し文字列とを、１つの見出し項目として指定する処
理を繰り返し実行して、見出し項目が配列された見出し
項目リストを作成し、当該見出し項目リスト内の各見出
し項目について、各見出し項目の前記タグにもとづい
て、当該見出し項目に割りつけられる見出しレベルを取
得し見出し項目リストを開始時刻の小さい順に、開始時
刻が同じであれば見出しレベルが小さい順に見出し項目
を整列させ、見出しレベルの大小関係を表示することを
特徴とする。開始時刻とともに見出しレベルを指定さ
せ、論理構造に対応する順序に並べ替えて、文章の見出
しのように見出しレベルの小さいものは目立つように表
示することにより、簡便な論理構造の可視化を可能とす
る。

【００１５】請求項２は、見出し項目リストに記録され
た開始時刻と見出しレベルを参照して、見出し項目をノ
ードとする階層構造に変換し、各見出し項目を階層的に
表示することを特徴とする。階層的な構造を構築するこ
とで、論理構造を直接的に表現可能とする。

【００１６】請求項３は、映像の論理構造の終了時刻を
更に見出し項目に指定することで、映像の再生開始時刻
と終了時刻を利用者が指定できるようにし、映像の部分
的再生を可能とする。

【００１７】請求項４は、映像から抜き出した複数の代
表画像を見出し文字列と同時に一覧表示することを特徴
とし、見出し文字列だけではなく、映像の画像内容を代
表画像を用いて表示できる。

【００１８】請求項５は、時間軸上に代表画像と一対一
に対応付けられた帯をタイムライン表示し、タイムライ
ン表示された帯を選択すると、対応する代表画像が選択
されて当該代表画像が選択されたことが可視的に表示さ
れることを特徴とする。タイムライン表示により、映像
に関連付けられたタグ情報の時間長、相対的位置関係が
視覚的に確認できるようになる。

【００１９】請求項６は、代表画像と関連付けてテキス
トをはじめとする画像、音声、リンク等の情報を管理す
ることで、映像のキーワード検索、音声変換、ハイパー
リンク化、要約等を可能にする。

【００２０】請求項７は、見出し項目リストが整列され
た整列済み見出し項目リストをインデクスデータとし
て、映像データと関連付けて蓄積しておき、見出し項目
リストの少なくとも一つを選択させ、論理単位の開始時
間から蓄積された映像データを再生することを特徴とす
る。見出し項目リストを、映像の目次として表示するこ
とにより、利用者が映像の論理的構成を理解できるよう
にし、それぞれの論理単位の開始点から映像を再生でき
るようにする。

【００２１】請求項８は、見出し項目リストとともに検
索用インデクスを蓄積しておき、利用者が検索キーとし
て単語、文章、画像、等を与え、該検索キーと一致また
は類似するインデクスを列挙し、該インデクスと時間的
に重なりを持つ見出し項目を見出し項目リストから検索
し、目次つきの検索結果を返すことを特徴とする。検索
用インデクスを蓄積しておくことにより、キーワード検
索等を可能にし、検索結果を利用者に返す前に、目次の
情報を付与することで検索結果の理解を容易にする。

【００２２】

【発明の実施の形態】本発明の実施形態例について図を
用いて説明する。

【００２３】実施形態例１ ●装置構成 図３は本発明の一実施例の装置構成である。本発明はコ
ンピュータプログラムを記録した記録媒体を装着し、当
該記録媒体の内容を読み込んで実行するようにしても実
現可能である。

【００２４】図３において、主制御部３０５によって、
ディスプレイ３０１、キーボード３０２、マウス３０
３、スピーカー３０４、ハードディスク装置３０６がバ
ス３０７などを介して制御されている。ハードディスク
装置３０６には映像データ３０８とそれに対するインデ
クスデータ３０９（詳細については後述）とが保存され
ている。映像データ３０８は、ＭＰＥＧ等のデジタルビ
デオのフォーマットにより符号化されており、ファイル
としてハードディスクに記録されている。

【００２５】●インデクスデータ３０９ インデクスデータ３０９の具体的な構成を図４に示す。
インデクスデータ３０９はヘッダ部４０１と本体４０２
とから構成される。

【００２６】へッダ部４０１には映像データ全体に関す
る情報が保存される。例えば、映像タイトル、サブタイ
トル、映像圧縮形式（画像、音声）、映像長、著作権者
（会社名、個人名）、利用条件、分類、キーワード、制
作会社、ＩＤ番号等が保存される。

【００２７】本体４０２は、映像に人手または自動的に
付加される情報─“タグ”（識別札）と呼ぶ─を管理す
る。図４の本体４０２の各行が一つのタグに対応する。
それぞれのタグは、属性として、タグ種別４１０、開始
時刻４１１、終了時刻４１２、代表画像４１３、テキス
ト４１４、その他のデータ４１５などをもっている。

【００２８】タグ種別４１０はタグとして付加された情
報の種別を表す。図示実施例で利用するタグ種別は以下
の６種類である。 １）大見出し ２）中見出し ３）小見出し …これら３種類のタグは映像の論理構造を表すためのも
のであり、 ４）ショット ５）テロップ（編集段階で字幕が挿入された区間） ６）音声（人の声が入った区間） …これら３種類のタグは映像内容を記述するためのもの
である。

【００２９】勿論、これ以外にも映像中に現われる人
物、出来事、場所、絶対時間等の情報を表すための夕グ
を追加することが可能である。

【００３０】開始時刻４１１、終了時刻４１２の列に
は、映像ファイルの先頭からの時刻がミリ秒の単位で格
納されており、開始時刻と終了時刻とによってタグと映
像区間とが対応づけられる。

【００３１】代表画像４１３の列には、タグと関連づけ
られた映像区間を代表する一枚の画像を指定する。図４
の例では、時刻を表す数字が格納されており、必要に応
じて代表画像を映像データ３０８から取得することがで
きるようになっている。もちろん、時刻を格納するので
はなく、代表画像を格納したファイル名を格納すること
もできる。このような形態はインデクスデータ３０９を
映像データ３０８と分離して流通させる場合に好適であ
る。また、ここでは各映像区間にそれぞれ一枚の代表画
像を登録するようにしているが、複数枚登録できるよう
にもできる。

【００３２】テキスト４１４の列には関連するテキスト
データが格納される。図４の例では、５０３行ではテキ
ストとしてテロップ（字幕）の文字列が格納されてお
り、５０８行のものは人の声に対応するタグであり、ナ
レーションとして読み上げられた文章がテキストとして
格納されている。もちろん、その他のタグ、例えば、シ
ョットをあらわすタグに人物、物、場所、キーワードな
どを登録することも可能であり、インデクスデータ３０
９の用途に応じて様々な利用形態が考えられる。

【００３３】その他４１５には、代表画像、テキストと
して記述しきれないデータを格納する領域である。例え
ば、５０８行ではナレーションを読み上げた人の名前を
格納している。字幕の表示位置や、カメラワークのタイ
プ等、様々なものを格納できる。

【００３４】インデクスデータ３０９は、オペレーティ
ングシステムの管理するファイルとして保存することも
できるし、データベース管理システムによって管理する
ようにしてもよい。

【００３５】●インデクス自動作成処理 インデクスデータ３０９を映像処理技術等を用いて自動
的に抽出する方法が様々開発されている（P. Aigrain,
H-. J. Zｈang, D. Petkovic: Content-BasedRepresent
ation and Retrieval of Visual Media: A State-of-th
e-Art Review.Multimedia Tools and Applications, Vo
l. 3, pp. 179-202, 1996)。

【００３６】上述したタグ種別のうち、「４）ショッ
ト」、「５）テロップ」、「６）音声」、は上記文献に
記載された方法により自動的に抽出可能である。

【００３７】「１）大見出し」、「２）中見出し」、
「３）小見出し」の見出しに対応するタグは、映像の意
味的な内容を理解しないと作成できないため、自動作成
処理は現状困難であり、オペレータが一つ一つ手作業で
情報を付加している。なお、自動付与可能なタグについ
ても、その結果が１００％正しいとは言えないため、人
手で修正する作業が必要になることも多く、そういった
場合にも自動付与されたタグを修正するためにユーザイ
ンタフェースを用いることができる。

【００３８】●タグ付与を効率化するユーザインタフェ
ース 本実施形態における、ユーザインタフェースについて図
１と図２とを用いて詳細に説明する。本ユーザインタフ
ェースは、人手で映像にタグを付加するためのものであ
り、操作に応じて内部的にはインデクスデータ３０９が
更新されるようになっている。

【００３９】図１はコンピュータ画面の模式図である。
この画面は、タイムライン部１２０、画像一覧部１３
０、モニタ１４０からなる。

【００４０】まず、再生モニタ１４０は映像データ３０
８の再生１４１、停止１４２、巻き戻し１４３、早送り
１４４等を可能にする。再生ボタン１４１を、マウス３
０３で指示することにより、映像再生処理が起動され、
ハードディスク装置３０６から映像データ３０８が読み
出され、動画像が再生モニタ１４０に順次表示され、音
声はスピーカー３０４から連続的に出力される。

【００４１】タイムライン部１２０はインデクスデータ
３０９として格納されているタグ情報をタイムライン上
に表示している。縦軸が時間に対応する。タグを開始時
刻、終了時刻で区切られる一つの帯として表示する。長
い区間に対応するタグは長い帯として表示する。タグ種
別毎に、色分けすると同時に、別々の列（大見出し１０
０、中見出し１１１、小見出し１１２、カット１１３、
テロップ１１４、音声１１５）に表示することによっ
て、どの種別のタグであるか一目で分かるように、また
重ならないように表示している。再生モニタ１４０で現
在再生している時間的位置がわかるようにカーソル１２
１（横線）をタイムライン部１２０に表示し、再生モニ
タ１４０の再生動作と同期してカーソル１２１を上から
下に移動させる。また、時間軸（縦軸）のタイムスケー
ル（目盛りの細かさ）を調整できるようにする。

【００４２】このようにタグをタイムライン上に並べて
表示することで、（１）それぞれのタグが関連付けられ
た区間の時間長が一目で分かる、（２）タグとタグとの
時問的な関係、例えば、カットが一定時間毎に入ってい
るとか、テロップと音声の始まりが一致しているといっ
た関係が一目でわかる、（３）カーソル１２１を表示す
ることで映像、特に音声とタグとの時間的な同期関係が
把握できる。

【００４３】画像一覧部１３０には、代表画像をアイコ
ンとして一覧表示して映像内容を視覚的に把握できるよ
うにする。大見出し１Ａは代表画像１０１とテキスト１
０２とから構成され図４に示す大見出しのタグ５０１に
対応している。代表画像１０１は列４１３から、テキス
トは列４１４から取得し、画面上に表示する。大見出し
は他のアイコンよりも目立つように大きな文字で表示し
一行を占めるように配置する。代表画像１１０は図４に
示すタグ５０２，５０３，５０４に対応するものであ
る。中見出し１Ｂ、小見出し１Ｃも一行を占めるように
配置するが、文字は大見出しよりも小さいフォントを用
いて見出しのレベルを判別できるようにする。ショッ
ト、テロップ、音声に対応する代表画像１１０は、文章
における単語のように左から右ヘ、上から下へ順に配置
する。

【００４４】初期状態では、すべてのタグが画像一覧部
１３０にアイコン表示されているが、関心のあるタグの
アイコンだけが画面上に現われるようにすることが、操
作性を高めるために重要である。関心の無い情報が画面
上に表示されていると、重要な情報を見落としたり、重
要な情報を探しだすのに時間がかかるからである。図１
のインタフェースでは、画面上部にタグ種別に対応する
６つのボタン（１５１〜１５６）を用意している。この
ボタンはオペレータのマウス操作でＯＮ／ＯＦＦの二つ
の状態が切り替わるようになっており、ボタンがＯＮか
らＯＦＦの状態になると画面上が当該タグ種別のアイコ
ンが画面上から見えなくなるように再描画を行う。具体
的には、ボタン１５１〜１５６は押し下げられた状態
（ＯＮ）と通常の状態（ＯＦＦ）の二つの状態のいずれ
かを持っており、状態変化が生じると以下の処理を実行
し、画面再描画を行う：（ｉ）まず、ＯＮの状態にある
ボタンを列挙しそのタグ種別のリスト（Ｌ）を得る、(i
i)画面上のすべてのアイコンを消去する、(iii) 図４の
表４０２を上から順に見て、タグ種別４０１がリストＬ
に含まれれば、そのタグに対応するアイコンを画面に表
示するようにする。

【００４５】画像一覧部１３０に表示されたアイコンを
オペレータがマウス等で指示すると、対応するタグの開
始時刻の画像を再生モニタ１４０に表示し、対応するタ
グが選択状態になる。タイムライン部１２０と画像一覧
部１３０とを並べて表示し、タイムライン上に表示され
た帯（一つのタグに対応する）をマウスでクリックした
場合も、画像一覧部１３０内の対応するアイコンが選択
状態になる。さらに、マウスのダブルクリック操作によ
り、再生モニタ１４０で再生が開始されるようにすると
操作性が向上する。より具体的には（ｉ）タイムライン
上の一本の帯は一つのタグに対応しており、この対応関
係を保持するために、帯を表す矩形（右上と左下隅の座
標値）とタグ番号（図４の４０２の行番号）との対応表
を用意しておき、(ii)タイムライン上の帯がマウスで選
択されると、上記対応表を参照して、タグ番号を取得
し、(iii) 画像一覧部１３０でも同様に対応表を用意し
ており、タグ番号をキーとしてその対応表をひき、対応
するアイコンをハイライト表示するなどして選択状態に
する。

【００４６】このように文章の体裁を真似た形で見出し
を目立つように配置することで、映像の論理構造をオペ
レータが直感的に理解できるようになる。代表画像を一
覧表示することでオペレータは映像内容を視覚的にすば
やく把握できる。代表画像の指示で、すばやく特定のタ
グを選択できて、操作効率が上がる。

【００４７】また図２に示すように木構造表示すること
もできる。大見出し１Ａ’を根とし、その下層に中見出
し１Ｂ’を配置し、その下層に小見出し１Ｃ’、最下層
にカット、テロップ等に対応するアイコン１１０’を表
示する。ここでは詳細情報を表示せずタグ種別を表す記
号（Ｃ，Ｔ，…）だけを表示し、画面内に多くの情報を
収めて長時間映像の構造が一目で理解できるようにして
いる。なおアイコン１１０’に表示されている記号Ｔ，
Ｃ，Ｃ，Ｃはタグの種別を表しており、Ｔはテロップ，
Ｃはカットのタグであることを表す。画面スペースが足
りなければ、図１のタイムライン部１２０をオペレータ
の指示にしたがって階層表示部２００に切り替えること
ができるようにできる。このような表示をするには、木
データ構造を構築する必要があるが、その具体的手続き
については後述の「階層構造を構築する方法」の所で述
べる。

【００４８】（タグ削除）画像一覧部１３０のアイコン
のうち一つまたは複数個を選択状態にし、メニューまた
はキー操作で「タグ削除」コマンドを起動する。内部的
には、選択状態のアイコンに対応するタグを見つけ、イ
ンデクスデータ３０９の表から該当する行を削除する。
インデクスデータ３０９が更新されると、その結果、図
１の画面から選択状態になっていたアイコンが消去され
る。アイコンが消去されたことによって、空きスペース
ができるが再レイアウト処理が起動され空きスペースに
他のアイコンが再配置される。より具体的には（ｉ）選
択状態になったアイコンからタグ番号を取得し、図４の
表４０２からそのタグ番号に対応する行に削除されたこ
とを示すマークをつけ、(ii)画像一覧部１３０、タイム
ライン部１２０、階層表示部２００を再描画する。

【００４９】（タグ追加）画像一覧部１３０のアイコン
を一つ選択するとモニタ上にその時刻の画像が表示され
る。メニューまたはキー操作により「タグ追加」コマン
ドを起動する。内部的には、インデクスデータ３０９の
表に新規の一行を追加することになる。タグ種別４１０
はオペレータに選択させるか、予め指定しておく。開始
時刻４１１は現在モニタ上に表示された画像（選択状態
にあるアイコンの開始時刻に一致する）に設定される。
終了時刻４１２は、タグ種別４１０によって設定方法が
異なるが、タグ種別が「カット」であるタグについて
は、時間的に次のタグの開始時刻を新規タグの終了時刻
として設定する。その他のタグについては、ユーザが指
定しない限り映像の終わりを終了時刻として仮に設定す
る。代表画像４１３は開始時刻の画像とする。テキスト
４１４は空文字列に初期化する。具体的には、図４の表
４０２の最後に一行を追加し、タグ種別、開始時刻、終
了時刻を設定し、画面を再描画する。

【００５０】このように、一覧表示されているアイコン
をマウス等で指示するだけで、開始時刻の指定がなされ
るので、再生モニタ上で早送り、巻き戻し操作を繰り返
して微調整を行う手間が省け、省力化が可能である。

【００５１】（タグ併合）画像一覧部１３０のアイコン
を複数個選択した状態で、メニューまたはキー操作によ
り「タグ併合」コマンドを起動する。内部的には複数の
タグを一つにまとめる操作になる。もし、選択されたタ
グのタグ種別がすべて同じであるかを検査し、一つでも
異なる種別のタグがあればオペレータにエラーを通知す
る。開始時刻４１１、終了時刻４１２は次のように設定
する。選択された複数のタグの開始時刻、終了時刻を順
に調べ、その最小値、最大値を求め、最小値を開始時刻
に、最大値を終了時刻とする。代表画像４１３は、選択
されたタグのうち先頭のものの代表画像で代用する。テ
キスト４１４は、選択されたタグのテキストをつなげた
ものにする。具体的には、選択されたタグに対応する図
４の表４０２の行をすべて削除済みとしてマークし、表
４０２の最後に一行を追加して併合後のタグに関する情
報を格納する。

【００５２】（テキスト入力）画像一覧部１３０のアイ
コンを一つ選択した状態で、メニューまたはキー操作に
より「テキスト入力」コマンドを起動する。内部的には
選択されたアイコンに対応するタグのテキスト４１４を
編集対象とする。コマンドが起動されると、図１２に示
すようなウィンドウが新規に表示され、テキスト編集領
域１３０１にすでに格納されているテキストが表示され
る。テキスト編集領域１３０１を通してキーボード３０
２を用いてテキスト４１４の内容が編集可能になる。変
更は即座に画面上に反映される。図１２に示すように、
テキストとして公開用、非公開用といった情報の種類に
分けてテキストを入力できるようにすることも、応用に
よっては効果がある。ボタン１３０３、ボタン１３０４
は直前、直後のアイコンに移動するためのアイコンであ
り、テキストを次々に入力できるようにすることがオペ
レータの操作効率を上げるために効果的である。また、
ボタン１３０５は、映像の再生を指示するためのボタン
であり、再生モニタ１４０が前面に現われ、該当する映
像区間が再生、あるいは繰り返し再生される。このよう
に、テキスト入力を行いながら、映像を確認できるよう
にすることが好適である。ボタン１３０６、ボタン１３
０７はテキスト入力を完了、またはキャンセルする。

【００５３】（見出しタグ追加）見出しタグも上述した
タグ追加手続きとほぼ同じである。オペレータは、一つ
または複数のアイコンを選択した状態で、メニューまた
はキー操作によって「見出し追加」コマンドを起動す
る。ここで、見出しレベルを指定する「大見出し」、
「中見出し」、「小見出し」の三つから一つを選択し
（見出しレベルを指定することに相当する）、見出し文
字列を入力することで、見出しタグを新規作成できる。
また、見出し文字列の修正は上述した「テキスト入力」
コマンドを呼び出すことで可能である。見出しレベルを
任意の時点で変更できるようにすることも簡単にでき
る。

【００５４】このように、見出し文字列を追加する操作
は、ワープロで文章に見出しをつけるのと感覚的に同じ
でありオペレータにとってなじみやすい。

【００５５】●階層構造を構築する方法 インデクスデータ３０９は、もともと図４のような表形
式であって木データ構造にはなっておらず、図２のよう
な形式で表示するには、階層的な木データ構造に変換す
る必要がある。

【００５６】図９はフロー図を示しており、図１１の木
データ構造の模式図を用いて変換手続きについて説明す
る。

【００５７】（ａ）ステップ１００１： 根だけからな
る木データ構造（図１１の１２０１）を作成し、現在着
目しているノードを示すポインタcnode をrootに設定す
る。

【００５８】（ｂ）ステップ１００２： まずインデク
スデータ（図４の本体部分４０２）を次の順序で整列さ
せる。整列の順序は、開始時刻（４１１）が小さい順に
並べ、開始時刻が同じであれば見出しレベルが小さい順
に並べる。見出しレベルは、図１０のタグ種別と見出し
レベルの対応表を参照することにより取得する。大見出
しは見出しレベル１に対応し、図２に示すような木デー
タ構造において、１段目に配置することを意味している
（根ノードを０段目とみなす）。この整列処理は、上述
したユーザインタフェースにおいてオペレータが新規タ
グを追加したり、既存のタグを消去したり、開始時刻を
変更したりした場合に部分的な整列処理が実行されるよ
うにし、つねにインデクスデータは整列した状態に保っ
ておくことが望ましい。図４の本体４０２は整列された
状態になっており、開始時刻は小さい順に並んでおり、
開始時刻が等しい場合（５０１，５０２の場合など）に
は見出しレベルの小さい順に並んでいることが確認でき
る。

【００５９】図５は、図４に示されたデータ構造をタイ
ムライン表示したものである。時間軸を横軸とし、縦軸
に見出しレベルを表示しており、一つの帯（５０１，５
０２，…）が一つのタグ、すなわち図４の本体４０２の
一行に対応している。

【００６０】タグを以下のような順序で整列させる：原
点（時刻０）を通り、時間軸に垂直な直線を考える。そ
の直線を原点から右方向に移動させていき、タグを表す
帯とぶつかる順（すなわち、開始時刻の小さい順）に整
列させる。ただし、二つ以上の帯が左端でその直線と接
する場合には、上から順に（見出しレベルの順）に整列
させる。図５の例では、直線は原点で大見出し５０１と
カット５０２と同時に接点を持つので、５０１，５０２
の順に整列され、続いてテロップ５０３とぶつかるので
５０３を並べる。このような手続きを繰り返すことで、
すべてのタグが規定の順序に整列される。

【００６１】なお整列処理の直前に開始時刻を微調整す
ることで整列処理を簡略化できる。見出しレベルをleve
l （level ＝１，２，３；level ＝∞の場合はlevel ＝
４と読み直す）とし、開始時刻 startを次式で微小修正
する。

【００６２】start＝start ＋ε^* level ただしεは微小な正の数である。実施例では、時間の単
位としてミリ秒をとっており、開始時刻（これは映像を
どのタイムコードから再生するかを表している）を１ミ
リ秒前後させても人は気づかない。従ってεを１にとる
ことができる。この微調整により、整数をキーにした整
列処理に帰着され、処理が簡略化されるとともに高速化
できる。

【００６３】（ｃ）ステップ１００３： すべてのタグ
について以下の処理を実行するが、すべてのタグを処理
し終わったら終了する。 （ｄ）ステップ１００４： 見出しレベルを取得し変数
level に格納する。図４の例では、１行目（５０１）
は、タグ種別が、“大見出し”であるので、見出しレベ
ルlevel ＝１である。

【００６４】（ｅ）ステップ１００５： level が∞か
どうか（つまり、見出しタグか否か）を調べ、もし見出
しタグ以外（ｙｅｓ）であれば、ステップ１００６の処
理を行い、見出しタグの場合（ｎｏ）にはステップ１０
０７以降の処理に移る。 （ｆ）ステップ１００６： 単純に現ノードcnode の子
ノードにタグを追加する。

【００６５】（ｇ）ステップ１００７： 木データ構造
はrootから順にたどり、（level −１）段目の最後尾に
あたるノードをcnode として新たに設定する。 （ｈ）ステップ１００８： cnode の子ノードにタグを
追加する。 （ｉ）ステップ１００９： 今追加した子ノードを現ノ
ードcnode として記憶する。

【００６６】図４の例と、図１１の模式図とを使って動
作を説明する。まず、木データ構造の初期状態は図１１
図示１２０１のようになっており、root以外にはノード
が無い状態である。

【００６７】５０１行目を見ると大見出しのタグ（見出
しレベル＝１）があるので、ステップ１００７ではレベ
ル０のノード（つまりroot）をcnode とし、ステップ１
００８では大見出しタグ（５０１行）をその子ノードと
して追加し、ステップ１００９ではcnode をレベル１に
追加したノードを指すようにする（図１１図示１２０
２）。

【００６８】次いで５０２〜５０４行を見ると、見出し
以外のタグが並んでいるので、図１０の対応表から見出
しレベルは∞で、これら三つのタグは現ノードcnode の
子ノードとして木データ構造に追加され、図１１図示１
２０３の状態になる。

【００６９】５０５行を見ると子見出しのタグ（見出し
レベル＝２）があるので、レベル２のノードとして追加
され、現ノードcnode がそのタグを指すようになり、図
１１図示１２０４の状態になる。

【００７０】５０６〜５０８行は、見出し以外のタグで
あるからcnode の子ノードとして追加される（図１１図
示１２０５）。

【００７１】図４には表示されていないが、次に中見出
しタグとして、図２に示す如く「米国の四季」というタ
グが現われると、図１１図示１２０５中の点線で結ばれ
ているノードが追加されることになる。

【００７２】なお、以上のような手続きで階層構造を構
築すれば、映像の先頭から章節の番号（例えば、大見出
しには１，２，３，…、中見出しには1.1,1.2,…）を自
動付与することが可能となる。自動付与された章番号
は、図１の画像一覧部１３０に示す見出し文字列１０２
と一緒に表示することができ、章番号を表示することで
論理構造を利用者が把握しやすくなる。

【００７３】●映像閲覧 図１３はシステム構成図を示し、図１４のフロー図と図
１５の画面遷移図とを用いて、映像データベース閲覧の
一実施例について述べる。

【００７４】図１３のシステム構成図は映像データベー
スの閲覧、検索を可能にするためのものである。ユーザ
側のクライアントコンピュータ１４０４はネットワーク
１４０３を介して、検索サーバ１４０２、映像サーバ１
４０５に接続されている。検索サーバ１４０２は、上述
した方法で作成したインデクスデータを複数の映像につ
いて蓄積した蓄積装置１４０２と接続されている。映像
サーバ１４０５は、ネットワークで配信可能な映像フォ
ーマットに変換された映像データが複数蓄積された蓄積
装置１４０１に接続されている。もちろん、映像サー
バ、検索サーバは複数あってもよく、検索要求の数に応
じて自由に設計できる。

【００７５】図１４のフロー図と図１５の画面遷移図と
を用いて、閲覧手続きについて説明する。まず、検索サ
ーバ１４０２は、蓄積されている映像データのタイトル
ー覧をクライアントに送信する（ステップ１５０１）。

【００７６】クライアント画面上に表示されたビデオタ
イトルー覧（１６０１）の中から、ユーザが一つのビデ
オタイトルを選択する（ステップ１５０２）。

【００７７】検索サーバ１４０２は、利用者が選択した
ビデオタイトルから、上述した手続きにより目次データ
を、インデクスデータ１４０２から作成しクライアント
に送信する（ステップ１５０３）。

【００７８】クライアント画面に図１５図示の画面１６
０２に示すような目次画面が表示される。ユーザは目次
画面１６０２を見て、一つの項目を選択する（ステップ
１５０４）。

【００７９】図１５図示の画面１６０２には各目次項目
毎に「ＰＬＡＹ」、「詳細」という２種類のボタンが併
記されており、「詳細」ボタンが押下された場合には、
ステップ１５０５に移る。

【００８０】ステップ１５０５は、検索サーバに問い合
わせ、該当する目次項目の下位にあるショットを検索
し、その代表画像をクライアントに送信し、クライアン
ト画面に図１５図示の画面１６０３に示すような画像一
覧を表示する（ステップ１５０５）。

【００８１】図１５図示の画面１６０３に表示された画
像または見出し文字列をユーザが指示すると、映像サー
バ１４０５に接続し、指示された代表画像、または見出
し文字列からインデクスデータ１４０２に記録されてい
る再生開始時間を取得し、映像データをその位置からク
ライアントに送出し、クライアント画面（図１５図示の
画面１６０４）には受信した映像データが再生される
（ステップ１５０６）。このように、目次を表示するこ
とにより、効率的な閲覧が可能になる。

【００８２】●映像検索 図１６はフロー図を示しており、図１７の画面遷移図を
用いて映像検素手続きについて述べる。

【００８３】まず、利用者がクライアント側でキーワー
ドを入力する（画面１８０１、ステップ１７０１）。な
おキーワードとしては、単語あるいは文章あるいは画像
のいずれか１つまたは複数個の組合せたものからなる
が、その他にも、所望の検索を行うに必要な音声や、映
像固有の条件例えば著作権情報、時間表などを用いるこ
とができる。

【００８４】検索サーバはキーワードをクライアントか
ら受け取り、キーワードにマッチするタグをインデクス
データから検索する。具体的には、図４の本体４０２
で、テキスト４１４の列を上から順に調べることにな
る。なお、複数の映像がある場合にはそれぞれの映像に
ついて作成されたすべてのインデクスデータを順に調べ
る（ステップ１７０２）。

【００８５】時間的に重なりを持つ、見出し項目を列挙
する。図５の例で説明すると、「富士山」のキーワード
で検索すると、図５に示す「富士山」を示すショットが
キーワードにマッチするタグとして見つかる。ステップ
１７０３で、そのタグに時間的に重なりを持つ見出し項
目を調べると、大見出し「世界の四季」（５０１）、中
見出し「日本の四季」（５０５）、小見出し「春」の三
つが見つかる（ステップ１７０３）。

【００８６】検索結果をクライアントに返し、画面１８
０２に示すような目次つきの検索結果一覧を表示する
（ステップ１７０４）。

【００８７】目次つきの一覧を表示することで、どのよ
うな文脈で検索結果が用いられているかが分かる。

【００８８】以上の手順をコンピュータによって実行す
るためのプログラムは、コンピュータが読み取り可能な
可搬記録媒体メモリ、半導体メモリ、ハードディスクな
ど適当な記録媒体に格納することができる。

【００８９】

【発明の効果】本発明によれば、（１）映像の論理的な
階層構造を記述可能になる、（２）オペレータの直感的
な操作により論理構造を付与可能になる、などの効果が
ある。

【００９０】請求項１の発明は、開始時刻とともに見出
しレベルを指定させ、論理構造に対応する順序に並べ替
えて、文章の見出しのように見出しレベルの小さいもの
は目立つように表示することにより、簡便な論理構造の
可視化を可能とする効果がある。

【００９１】請求項２の発明は、階層的な構造を構築す
ることで論理構造を直接的に表現可能とする効果があ
る。

【００９２】請求項３の発明は、映像の論理構造の終了
時刻を更に見出し項目に指定することで、映像の再生開
始時刻と終了時刻を利用者が指定できるようにし映像の
部分的再生（終了時刻に達したら自動的に再生を停止す
る）を可能とし、プレゼンテーションを行う場合などに
余計な部分を見せないようにできる効果がある。

【００９３】請求項４の発明は、映像から抜き出した複
数の代表画像を見出し文字列と同時に一覧表示すること
を特徴とし、見出し文字列だけではなく、映像の画像内
容を代表画像を用いて一覧表示できる効果があり、これ
によって映像をいちいち再生して見なくても映像の概略
が把握できる効果がある。

【００９４】請求項５の発明は、映像に関連付けられた
タグ情報の時間長、相対的位置関係が視覚的に確認でき
るようになる効果がある。

【００９５】請求項６の発明は、代表画像と関連付けて
テキストをはじめとする画像、音声、リンク等の情報を
管理することで、映像のキーワード検索、音声変換、ハ
イパーリンク化、要約等が可能となる効果がある。

【００９６】請求項７の発明は、見出し項目リストをイ
ンデクスデータとして映像データと関連付けて蓄積して
おき、見出し項目リストを映像の目次として表示するこ
とにより、利用者が論理単位の開始時刻からの映像再生
を直接的に指示でき、効率的な映像閲覧が可能になる効
果がある。

【００９７】請求項８の発明は、見出し項目リストとと
もに検索用インデクスを蓄積しておくことで部分映像を
検索が可能となり、目次つきの検索結果を返すことで部
分映像がどのような文脈で現われたかを利用者が理解し
やすくなる効果がある。

【図面の簡単な説明】

【図１】タグ付与を効率化するためのユーザインタフェ
ースの模式図である。

【図２】階層的表示の例である。

【図３】本発明の一実施形態を説明するシステム構成図
である。

【図４】インデクスデータのデータ構造を説明するため
の図である。

【図５】インデクスデータを説明するための図である。

【図６】画面に表示される「目次」の態様を示す図であ
る。

【図７】従来技術（成層モデル）を説明するための図で
ある。

【図８】従来技術（木データ構造）を説明するための図
である。

【図９】階層構造を構築する手続きを説明するための図
である。

【図１０】タグ種別と見出しレベルの対応表である。

【図１１】階層構造を構築する手続きを説明するための
図である。

【図１２】テキスト入力画面である。

【図１３】映像検索システムと映像閲覧システムのシス
テム構成図である。

【図１４】閲覧手続きを説明するための図である。

【図１５】閲覧時の画面遷移図である。

【図１６】検索手続きを説明するための図である。

【図１７】検索時の画面遷移図である。

【符号の説明】

１００：大見出し １０１：代表画像 １０２：テキスト １１１：中見出し １１２：小見出し １１３：カット １１４：テロップ １１５：音声 １２０：タイムライン部 １２１：カーソル １３０：画像一覧部 １４０：再生モニタ ３０３：マウス ３０４：スピーカー ３０６：ハードディスク装置 ３０８：映像データ ３０９：インデクスデータ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｆ 12/00 ５０５ Ｇ０６Ｆ 12/00 ５０５ ５２０ ５２０Ｊ ５４７ ５４７Ｄ Ｈ０４Ｎ 5/76 Ｈ０４Ｎ 5/76 Ｂ 5/765 5/781 ５１０Ｌ 5/781 Ｆターム(参考） 5B075 ND12 ND35 NK10 PP03 PP13 PQ02 PQ13 PQ46 5B082 AA13 BA03 EA07 GC04 5C052 AA03 AB04 AB05 AC08 DD04 EE03

Claims (12)

【特許請求の範囲】
1. 【請求項１】 映像を構成する個々の論理単位の内容
   を、コンピュータを用いて、表現し管理する映像管理方
   法において、 当該個々の論理単位についての、当該論理単位に対応す
   るタグと当該論理単位に対応する映像を表示する開始時
   刻と当該論理単位に対応して存在し得る見出し文字列と
   を、１つの見出し項目として指定する処理を繰り返し実
   行して、見出し項目が配列された見出し項目リストを作
   成する過程と、 当該見出し項目リスト内の各見出し項目について、各見
   出し項目の前記タグにもとづいて、当該見出し項目に割
   りつけられる見出しレベルを取得する過程と、 前記見出し項目リスト内の各見出し項目について、各見
   出し項目を、前記開始時刻の小さい順にかつ開始時刻が
   同じであれば見出しレベルの小さい順に整列させる過程
   と、 当該整列された見出し項目について、当該整列された順
   に夫々の見出し項目についての見出しレベルの大小関係
   を表示する過程とを有することを特徴とする映像の階層
   的管理方法。
2. 【請求項２】 請求項１記載の映像の階層的管理方法で
   あって、 見出し項目リストに記録された開始時刻と見出しレベル
   を参照して、見出し項目をノードとする階層構造に変換
   し、各見出し項目を階層的に表示する、 ことを特徴とする映像の階層的管理方法。
3. 【請求項３】 請求項１または２記載の映像の階層的管
   理方法であって、 映像の論理構造の終了時刻を更に見出し項目に指定する
   ことを特徴とする映像の階層的管理方法。
4. 【請求項４】 請求項１または２または３記載の映像の
   階層的管理方法であって、 映像から抜き出した複数の代表画像を見出し文字列と同
   時に一覧表示することを特徴とする映像の階層的管理方
   法。
5. 【請求項５】 請求項４記載の映像の階層的管理方法で
   あって、 時間軸上に代表画像と一対一に対応付けられた帯をタイ
   ムライン表示し、 タイムライン表示された帯を選択すると、対応する代表
   画像が選択されて当該代表画像が選択されたことが可視
   的に表示されることを特徴とする映像の階層的管理方
   法。
6. 【請求項６】 請求項４または５記載の映像の階層的管
   理方法であって、 前記見出し項目に対応する代表画像と関連付けて、当該
   見出し項目に関係する情報を管理することを特徴とする
   映像の階層的管理方法。
7. 【請求項７】 請求項１記載の映像の階層的管理方法で
   あって、 前記見出し項目が整列された整列済み見出し項目リスト
   をインデクスデータとして、映像データと関連付けて蓄
   積しておき、 複数の当該整列済み見出し項目リストの少なくとも一つ
   を選択させ、当該選択された整列済み見出し項目リスト
   内の見出し項目に対応する論理単位について、当該論理
   単位の開始時間から蓄積された映像データを再生するこ
   とを特徴とする映像の階層的管理方法。
8. 【請求項８】 請求項１記載の映像の階層的管理方法で
   あって、 前記整列済み見出し項目リストとともに、検索用インデ
   クスを蓄積しておき、 利用者が検索キー情報を指示したことを契機として、前
   記検索キー情報と一致あるいは類似する情報を含むイン
   デクスを列挙するようにし、 次いで、当該インデクスに対応する見出し項目と、表示
   のための時期が時間的に重なる見出し項目を、前記複数
   の整列済み見出し項目リストの中から検索し、 検索された当該見出し項目の群を、当該見出し項目を含
   む前記整列済み見出し項目リストにおける目次情報と一
   緒に表示することを特徴とする映像の階層的管理方法。
9. 【請求項９】 映像を構成する個々の論理単位の内容
   を、コンピュータを用いて、表現し管理する映像管理装
   置において、 当該個々の論理単位についての、当該論理単位に対応す
   るタグと当該論理単位に対応する映像を表示する開始時
   刻と当該論理単位に対応して存在し得る見出し文字列と
   を、１つの見出し項目として指定して、複数の当該見出
   し項目が順不同に配列された見出し項目リストと、 前記論理単位に対応するタグに対応して割りつけられる
   見出しレベルを記述した対応表と、 をそなえると共に、 前記見出し項目リスト内の各見出し項目について、各見
   出し項目の前記タグにもとづいて、前記対応表を索引し
   て、当該見出し項目に割りつけられる見出しレベルを取
   得する処理手段と、 前記見出し項目リスト内の各見出し項目について、各見
   出し項目を、前記開始時刻の小さい順にかつ開始時刻が
   同じであれば見出しレベルの小さい順に整列させる処理
   手段と、 当該整列された見出し項目について、当該整列された順
   に夫々の見出し項目についての見出しレベルの大小関係
   を表示する処理手段とを有することを特徴とする映像の
   階層的管理装置。
10. 【請求項１０】 請求項９記載の映像の階層的管理装置
    であって、 前記見出し項目が整列された整列済み見出し項目リスト
    をインデクスデータとして、映像データと関連付けて蓄
    積した蓄積手段と、 複数の当該整列済み見出し項目リストの少なくとも一つ
    を選択させた際に、当該選択された整列済み見出し項目
    リスト内の見出し項目に対応する論理単位について、当
    該論理単位の開始時間から蓄積された映像データを再生
    する手段とを有することを特徴とする映像の階層的管理
    装置。
11. 【請求項１１】 映像を構成する個々の論理単位の内容
    を、コンピュータを用いて、表現し管理する映像管理方
    法について、当該映像管理方法を記述したプログラムを
    記録した記録媒体において、 前記映像管理方法を記述したプログラムが前記個々の論
    理単位についての、当該論理単位に対応するタグと当該
    論理単位に対応する映像を表示する開始時刻と当該論理
    単位に対応して存在し得る見出し文字列とを、１つの見
    出し項目として指定する処理を繰り返し実行して得られ
    た、見出し項目が順不同に配列された見出し項目リスト
    を取込み、 当該見出し項目リスト内の各見出し項目について、各見
    出し項目の前記タグにもとづいて、当該見出し項目に割
    りつけられる見出しレベルを取得する処理過程と、 前記見出し項目リスト内の各見出し項目について、各見
    出し項目を、前記開始時刻の小さい順にかつ開始時刻が
    同じであれば見出しレベルの小さい順に整列させる処理
    過程と、 当該整列された見出し項目について、当該整列された順
    に夫々の見出し項目についての見出しレベルの大小関係
    を表示する処理過程とを順に実行するよう記述されてい
    ることを特徴とする映像の階層的管理方法を記述したプ
    ログラムを記録した記録媒体。
12. 【請求項１２】 請求項１１記載の記録媒体であって、 前記映像の階層的管理方法を記述したプログラムが、 前記見出し項目が整列された整列済み見出し項目リスト
    をインデクスデータとして、映像データと関連付けて蓄
    積した蓄積内容を取込み、 複数の当該整列済み見出し項目リストの少なくとも一つ
    を選択させ、当該選択された整列済み見出し項目リスト
    内の見出し項目に対応する論理単位について、当該論理
    単位の開始時間から蓄積された映像データを再生する処
    理過程を有することを特徴とする映像の階層的管理方法
    を記述したプログラムを記録した記録媒体。