JP2011182171A - 動画像再生表示装置，動画像再生表示方法，動画像再生表示プログラムおよびその記録媒体 - Google Patents

Abstract

【課題】複数の要約レベルで階層的に要約された映像を視聴する際，階層の各レベル間を連続的に移動しながら，重複することなく再生表示することができるようにする。
【解決手段】要約動画像の再生単位をノードとするツリー状の階層構造を生成して表示し（手段１４１，１４２），ノード開閉の設定情報の入力を受け付ける（手段１４３）。動画像の再生では，親ノードが開いており自ノードが閉じているノードに対応する動画像を順番に表示し（手段１４９），再生位置保持手段１４７により再生位置を保持する。ノード開閉の設定情報の入力や再生ノードを指定する情報の入力に応じて，レベル間での再生処理を遷移する場合に，同じ再生位置の動画像の要素から連続的に表示されるように再生対象を切り替えて表示する。
【選択図】図１０

Description

本発明は，動画像を再生表示する技術に関し，特に，要約した動画像の再生や，要約していない原動画像の再生への移動を，継ぎ目なく行うことができるようにした動画像再生表示装置に関するものである。なお，本明細書では，映像という語と動画像という語を同じ意味で用いる。

動画像を要約する先行技術として，例えば特許文献１に見られるように，指定された時間で再生するように，動画像中のセグメントに付与された優先度に基づいて，映像データを組み合わせて再生するものがある。また，このように要約された動画像を再生表示する際に，見たいところを素早く探すため，例えば特許文献２に見られるように，動画像のセグメントの代表画像を縮小して，いわゆるサムネイル画像にして一覧を表示し，選択した代表画像が対応する元の動画像を再生する技術が知られている。

しかし，要約した動画像を再生表示する際に，要約動画像を視聴しながら，より詳細な動画像を見たいときに，直ちに元の動画像の該当する部分を重複することなく再生したり，あるいは，要約動画像の視聴に再度戻ったりする手法において，複数の要約レベルがあったような場合に，どの要約レベルの間でも重複や不連続性を生じることなく遷移することが困難であった。

特開２００２−３２０２０４号公報 特開平１０−０３２７７３号公報

本発明が解決しようとする課題は，要約されていない動画像を含めた複数の要約レベルの動画像間を，任意のタイミングで，映像が途切れたり戻ったりすることなく切り替えて表示できるようにすることである。

本発明は，上記課題を解決するため，構造化された動画像を構成する要素（ひとまとまりの連続した動画像の一部）をノードとするツリー状の階層構造を表示し，再生する要約レベルを対話的に指定する手段を提供する。また，映像中の現在の再生ポイント（再生位置），および，現在の再生レベルを保持し，再生レベルが変化した際に，新規再生レベルにおける再生開始位置を，現在の再生ポイントと同じ位置とする。

これにより，複数の要約レベルで階層的に要約された映像を視聴する際，現在の時間的再生位置に対する要約レベルを対話的に指定し，階層の各レベル間を連続的に移動しながら，重複することなく再生表示することができるようになる。

詳しくは，本発明は，動画像およびその要約動画像を再生する動画像再生表示装置であって，再生対象の動画像を記憶する動画像記憶手段と，前記動画像を複数のレベルで要約した要約動画像を定義する情報であって，要約動画像ごとに，少なくとも要約のレベルとその要約動画像を構成する前記動画像の構成要素の情報とを含む要約情報を記憶する要約情報記憶手段と，前記要約情報記憶手段に記憶された要約情報をもとに，前記要約動画像および前記動画像の再生単位をノードとするツリー状の階層構造を生成し，生成した階層構造を表示装置に表示する手段と，前記階層構造の表示において，あるノードの下位レベルのノードを表示するか下位レベルのノードを表示しないかを指示するノード開閉の設定情報を入力装置から受け入れ，前記各ノードごとにノード開閉を示す情報を記憶し，ノードが開いていればその下位レベルのノードを階層構造中に表示し，ノードが閉じていればその下位レベルのノードを階層構造中に表示しないように階層構造の表示を更新する手段と，前記階層構造における最上位レベルのノードから順番に再生の処理対象として，前記ノード開閉を示す情報をチェックし，処理対象のノードが閉じており，処理対象のノードの親ノードが開いている場合に，前記処理対象のノードに対応する要約動画像または動画像の再生単位を再生する手段とを備えることを特徴とする。

また，上記発明において，現在再生している前記要約動画像または前記動画像の時間的な再生位置を更新し保持する手段と，前記要約動画像または前記動画像を再生している最中に，前記階層構造の表示におけるノード開閉の設定情報の入力を入力装置から受け入れる手段と，再生中のノードが前記設定情報の入力により開かれた場合に，再生の処理対象のノードを，前記保持されている再生位置を区間に持つ下位レベルの子ノードに遷移させ，再生中のノードが属する上位レベルのノードが前記設定情報の入力により閉じられた場合に，前記上位レベルのノードに対応する要約動画像の前記保持されている再生位置を持つ部分または再生位置より大きい直近の部分から再生する手段とを備えることを特徴とする。

また，上記発明において，現在再生している前記要約動画像または前記動画像の時間的な再生位置を更新し保持する手段と，前記階層構造の表示において，再生するノードを指定する情報が入力装置から入力された場合に，指定されたノードに再生の処理対象となるノードを遷移させ，遷移先のノードが現在再生しているノードが属する上位レベルのノードまたは現在再生しているノードの下位レベルのノードである場合に，前記遷移先のノードに対応する要約動画像または動画像における前記保持されている再生位置を持つ部分または再生位置より大きい直近の部分から再生する手段とを備えることを特徴とする。

本発明によれば，要約された動画像を再生する際に，再生しながら異なる要約レベルの動画像を視聴可能となり，興味があるところを詳細に見たり途中で簡略した動画像を視聴したりすることができる。このとき，異なる要約レベルの動画像に遷移したときでも時間的な不連続性が生じなくなるので，自然な視聴が可能となる。また，現在どの要約レベルで視聴しているか，動画像全体をどのように視聴するか／視聴しているかを直感的に把握できる。

動画像の要約レベルの例を示す図である。 要約情報（メタデータ）の例を示す図である。 動画像の再生位置を説明する図である。 要約レベル間の対応関係の例を示す図である。 階層構造の表示例を示す図である。 再生レベルの設定例を示す図である。 表示画面の例を示す図である。 動画像再生中に階層構造を開閉する例を示す図である。 図８の例に対応する再生位置の例を説明する図である。 本発明の装置構成例を示す図である。 本発明の実施形態に共通の処理の流れを示す図である。 本発明の実施形態１の再生処理の流れを示す図である。 本発明の実施形態２の再生処理の流れを示す図である。 本発明の実施形態３の再生処理の流れを示す図である。

一般的に，動画像中の，ひとまとまりの連続した一部を「シーン」あるいは「ショット」等と呼ぶが，本発明では，要約前の元の動画像の，意味的に連続した部分を「シーン」と称することにする。なお，そのシーンへの分割方法は，手動であったり，動画像解析に基づく分割装置やプログラムによるものであったりするが，本発明ではその手段を問わない。

また，本発明において動画像を要約するとは，編集等によって，要約の対象となる動画像の一部を抽出して連結し，１本の動画像とすることを意味する。その際，重要なシーンのみを抽出して連結することもあれば，シーンの一部から何らかの手段でさらに一部を抽出し，それを連結することもある。この「要約動画像」を構成する動画像の構成単位を「セグメント」と称することにする。

図１は，本発明における動画像の要約レベルの例を示す図である。要約レベルとは，元の動画像を要約した回数や段階を示す指標であり，まったく要約されていない動画像を「要約レベル０」，一度要約された動画像を「要約レベル１」，要約レベル１の動画像をさらに要約した動画像を「要約レベル２」と分類する。以下，要約の回数または段階が増えるにつれ，要約レベルの数は上がっていくものとする。

図１において，全動画像Ｐ０は，オリジナルの動画像であり，シーンやチャプターから構成されている。このチャプターは，シーンをさらに意味のあるまとまりに分けたものであるが，便宜的なものであり，必須ではなく，以下の説明においてチャプターを省いても何ら問題ない。このように，全動画像Ｐ０は，まったく要約されていない動画像であり，これが要約レベル０である。

また，この動画像からいくつかのセグメントｓｅｇを抽出して作成できる要約動画像Ｐ１を要約レベル１とする。この要約レベル１の動画像からさらにセグメントｓｅｇを抽出して作成できる要約動画像Ｐ２を要約レベル２とする。以下，簡単のため，要約レベルを０から２までの３段階で説明するが，２段階であっても，あるいは４段階以上であっても何ら差し支えない。

図１の例では，シーン番号には各チャプターごとに番号を振っているが，通番で振っても何ら差し支えない。また，チャプターを省く場合には，チャプター数を１とおいてもよい。

また，要約レベル０であれば，「セグメント番号」をシーン番号に置き換え，サムネイル画像はシーンごとに作成されてもよい。また，要約レベル１以上においては，サムネイル画像はチャプターごとに作成してもよい。チャプターを省く場合には，例えば，さらに上位の要約レベルの１セグメントを抽出する区間ごとにサムネイル画像を作成し，前記区間をチャプターと考えてもよい。

本発明の実施にあたって，このような複数段階の要約動画像を作成する手段については任意であり，従来技術のどのような要約動画像の作成方法を用いてもよいが，複数段階の要約動画像を作成した結果として，図２に示すようなメタデータが要約レベルごとに生成されており，各セグメントやチャプターごとに代表画像（いわゆるサムネイル画像）が生成されているものと想定する。

図２（Ａ）は，要約情報（メタデータ）のデータ構造の例を示しており，図２（Ｂ）は，実際に格納される具体的なデータの例を示している。図２（Ｂ）の例では，要約レベル番号が１であり，チャプター数が４であり，合計再生時間はフレーム数で表して６００フレームである。さらに，各チャプター番号ごとに，代表画像情報のファイル名，各セグメント番号とそのセグメントの開始位置，終了位置，再生時間などが格納されるようになっている。

図３は，動画像の再生位置を説明する図である。ここで「位置」とは，特に断らない限り動画像中のある時間的な位置，すなわち，動画像の先頭からの時間的経過を示す指標を意味し，空間的な位置（場所）を意味するものではない。特に動画像を再生している時に，現在表示している時間的位置を「再生位置」や「現在位置」，「カレントポイント」と称する。

図３において，丸付き数字の１（以下，○１と表す。他の数字も同様）や，○２，○３は，再生位置を表している。○１の位置は，図３の全ての要約レベルで再生されるが，○２の位置は，要約レベル２では再生されず，要約レベル２において，この位置が指定されたなら，次のセグメントにジャンプして再生することになる。同様に○３では，要約レベル０のみを再生し，要約レベル１や２においてこの位置が指定された場合，次のセグメントにジャンプして再生することになる。

以上の要約情報は広く用いられているものであるが，図２に示す要約情報のメタデータを具備していればどのような形式をしていてもかまわない。

本実施形態における要約情報を解釈する手段では，例えば，図１に示す要約の状態であれば，次のように要約情報を解釈する。

・要約レベル０は，４つのチャプターからなり，チャプター１は３つのシーン，チャプター２は２つのシーン，チャプター３は３つのシーン，チャプター４は２つのシーンからなる。代表画像は各シーンに１つである。

・要約レベル１は，４つのチャプターからなり，チャプター１は２つのセグメントからなり，チャプター２は１つのセグメントからなり，チャプター３は３つのセグメントからなり，チャプター４は２つのセグメントからなる。要約レベル０の１つのシーンから複数のセグメントが抽出されることもあり得る。逆に，要約レベル０における連続する複数のシーンにまたがるようなセグメントを抽出する際には，前記シーンの境目において，要約レベル１のセグメントは分割されていると解釈してもよい。代表画像は各チャプターに１つである。

・要約レベル２は，１つのチャプターからなり，そのチャプターは３つのセグメントからなる。代表画像は１つである。

この段階で，要約レベル１以上のある要約レベルのあるセグメントが，一つ下位の（要約レベルの番号が１つ少ない）要約レベルのどの範囲のセグメントを要約したものかがわかる。そのセグメントの開始位置，終了位置を含むようなセグメントを一つ下位の要約レベルの要約情報から探せばよい。逆に，下位の要約レベルのセグメントを，一つ上位の要約レベルのセグメントに対応づけることもできる。

図４は，要約レベル間の対応関係の例を示している。例えば，図１の例を，上位と下位とで対応させたのが図４である。注意を要するのは，要約レベル１のチャプター２はセグメントが抽出されていないため，要約レベル２のどのセグメントに対応づけるかという問題が生じることである。このような場合には，要約レベル１において，直前のセグメント（もちろん直後でもよい）が対応している上位レベルのセグメントに対応づけるとしてもよい。また，図１において，要約レベル０の動画像のシーン２−１からは，要約レベル１のセグメントが抽出されていないが，この場合にはシーンよりもチャプターを優先し，チャプター２に含まれるシーン２−１，シーン２−２を，要約レベル１の同じセグメントに対応づけてもよい。

この段階で，要約レベル０の動画像におけるある再生位置が，上位レベルのどの位置に対応づけられるかが明らかとなる。例えば，図３の例では，○１の位置は要約レベル１，要約レベル２いずれにも含まれるため，要約レベル１の第１のセグメント，要約レベル２の第１のセグメントに対応づけられる。また，この場合，上位レベルの位置を決めれば，下位レベルにおいても一意的に位置が定まる。○２では，要約レベル０と要約レベル１の間では，位置が１対１に対応づけられるが，要約レベル２では，該当するセグメントがないため，要約レベル２におけるセグメント１とセグメント２の間，または，要約レベル２のセグメント２の先頭に対応づけてもよい。

要するに，「上位レベルで位置を決めると，必ず下位レベルでは位置が一意的に決まる。逆に下位レベルで位置を決めても，ルールを決めれば，上位レベルのある位置に対応付けられる」ということになる。

以上の準備のもとに，後述する階層構造生成手段１４１（図１０）において複数の要約レベル間の対応関係を階層構造化し，階層構造表示手段１４２（図１０）において前記階層構造を可視化する。例えば，図５に示すように，あたかもパーソナルコンピュータにおけるディレクトリ構造をアイコンで可視化したような表現を用いてもよい。

図５にその例を示す。最上位の要約レベル２の代表画像からツリー状に要約レベル１，要約レベル０の縮小された代表画像がそれぞれ接続されて表示される。ここで，このアイコンは図６に示すように，視覚的に展開したり閉じたりすることができる。

図６は，再生レベルの設定例を示している。階層構造を閉じたり開いたりすることによって，どの要約レベルの動画像を再生するかしないかを設定することができるので，階層構造を閉じたり開いたりする操作を，ここでは再生レベルの設定という。

図６（Ａ）は階層構造を閉じ，要約レベル２の代表画像のみを示している。このとき，図６（Ａ）の代表画像の横に「＋」で示した例のように，階層構造が閉じられており，展開することができるというマークを付与してもよい。これは，例えばＷＩＮＤＯＷＳ（登録商標）のエクスプローラでディレクトリ構造を見るようなイメージである。また，同様に，図６（Ｂ）で示すように，「−」によって展開済みということを示してもよい。図６（Ｃ）は，さらに下位のレベルまで展開している例を示している。図６（Ｃ）の例では，図５における要約レベル１のチャプター２，チャプター３は閉じられており，チャプター１，チャプター４は展開されている。

この閉じたり展開したりする構成単位を，以下，「ノード」と呼ぶ。ノードには，複数のセグメントが含まれることがある。そして，ある要約レベルのノードに対し，上位の要約レベルのノードが存在すれば，当該上位の要約レベルのノードを「親ノード」と呼び，ある親ノードに対応づけられる下位の要約レベルのノードを「子ノード」と呼ぶ。

このツリー状の図を，動画像の再生を制御するスケジューラとして用いる。ここで，「高次の要約レベルから再生処理を開始し，現在の要約レベルにおいて，階層構造が閉じられていたらその要約レベルの動画像を再生し，階層構造が開いていたら，下位のレベルに制御を遷移する」ものとする。

図６（Ａ）の場合，まず，要約レベル２の動画像を再生しようとし，階層構造が閉じられているため，そのまま要約レベル２の動画像を再生する。図６（Ｂ）の場合には，要約レベル２の動画像を再生しようとするところから処理を開始するが，階層構造が展開されているため，処理を要約レベル１に移す。要約レベル１において，まず先頭のチャプターを示す階層構造が閉じているため，そのまま要約レベル１におけるチャプター１の動画像を再生する。再生が終了したら直ちに同じ要約レベルの次のセグメントの再生を行う。

図６（Ｂ）では，要約レベル２の動画像が全て再生されることになる。図６（Ｃ）の場合には，「要約レベル２」→「要約レベル１のチャプター１」→「要約レベル０のシーン１−１」と再生処理が遷移する。要約レベル０は，さらに下位レベルが存在しないため，シーン１−１を再生する。再生が終了したら次のセグメント，すなわちシーン１−２，引き続きシーン１−３の順に再生して行く。要約レベル０において，シーン１−３の次のセグメントはシーン２−１であるが，要約レベル１において，シーン２−１を含むチャプター２が閉じられているため，要約レベル１に再生処理が遷移し，要約レベル１のチャプター２が再生される。この処理を繰り返すことで，階層構造の開閉に従って映像の再生レベルを設定することができる。

望ましくは，階層構造の開閉時に，トータルの再生時間を併せて表示すれば，階層構造を開いたり閉じたりすることで再生時間の調整が可能となる。

図７は，本発明の実施の形態における表示画面の例を示した例である。あくまで一例であって，配置やデザインはこれに限定されるものではない。この図の例では，右側にある階層構造表示部Ｄ２のツリー構造を開閉して再生レベルを設定し，左側の動画像再生部Ｄ１にて動画像が再生されることになる。また，望ましくは，現在の再生位置が含まれる代表画像を強調表示するなど，現在，どのレベルのどのセグメントが再生されているかを示してもよい。なお，図示省略しているが，表示画面には，動画像再生部Ｄ１の下部に，停止ボタン，再生ボタン，早送りボタン，逆再生ボタン，一時停止ボタン等の操作用インタフェースが設けられている。

図８は，動画像再生中に階層構造を開閉する例を示す図であり，図９は，図８の例に対応する再生位置の例を説明する図である。なお，図９における○１と○３は同じ位置とする。

例えば，図８（Ａ）に示すように，要約レベル１の動画像のチャプター１部分を再生していたとする（再生位置は図９の○１）。この状態で，ユーザが詳細な動画像の視聴を望み，要約レベル１の再生中のノードがユーザの指示入力により開かれると，階層構造は，図８（Ｂ）に示すように展開され，要約レベル０の該当部分（シーン１−２）が再生される。すなわち，図９の○１と同じ○２の再生位置から要約レベル０の動画像が途切れることなく再生される。

逆に，図８（Ｂ）の状態で要約レベル０の動画像を再生中に，その上位の要約レベル１のノードが閉じられると，図８（Ｃ）のように階層構造の更新表示が行われ，要約レベル１の再生に戻り，再生位置は図９の○２と同じ○３の位置から動画像が途切れることなく再生される。

さらに，図８（Ｄ）に示すように，再生中のノードの上位にある要約レベル２のノードが閉じられると，要約レベル１の動画像から要約レベル２の動画像における該当部分が再生される。なお，図９に示す例では，要約レベル２においては，再生位置○３に直接対応する位置のセグメントが存在しない。この場合には，再生位置○３より大きい先頭位置を持つ直近のセグメントの先頭に再生位置が移される。すなわち，図９の例では要約レベル２における先頭が○４の再生位置にあるセグメントから再生が続けられる。

以上のように，再生位置を保持することにより，再生中にノードの開閉があっても，レベル間で動画像の再生を重複させたり，不自然に途切らせたりすることなく，シームレスに動画像を再生することができる。ノードの開閉だけではなく，ユーザが指示したノードの動画像に再生をジャンプするときも同様である。

以下，ノードを，要約レベルｎ（ｎ＝０，１，２，…，Ｎ）とその要約レベルでの順序ｍを用いてＦ［ｎ，ｍ］で表す。ノードＦ［ｎ，ｍ］は，
Ｆ［ｎ，ｍ］＝（ｎ，ｍ，ｐ，ｃ，ｄ）
ｎ：要約レベル番号（最大Ｎ，最小０のＮ＋１個）
ｍ：その要約レベルにおけるノードの通し番号
ｐ：Ｆ［ｎ，ｍ］の親ノード（ｎ＝ＮのときはＮＵＬＬ）
ｃ：自ノードの子の先頭（レベル０のときはＮＵＬＬ）
ｄ：そのノードが展開されている（ｄ＝１）か閉じられている（ｄ＝０）か
という情報を持つ。

図１０は，本発明に係る動画像再生表示装置の構成例を示す。動画像再生表示装置１０は，制御部１００，動画像記憶手段１１０，要約情報記憶手段１２０，代表画像記憶手段１３０，階層構造生成手段１４１，階層構造表示手段１４２，階層構造の展開受け入れ手段１４３，ノード情報生成手段１４４，ノード情報更新手段１４５，処理ノード遷移手段１４６，再生位置保持手段１４７，再生位置更新手段１４８，動画像再生手段１４９を備える。また，動画像を表示するためのディスプレイ装置１５０，マウスやキーボードやリモコン等の入力装置１６０を備える。

動画像記憶手段１１０は，オリジナルの動画像を記憶する装置である。要約情報記憶手段１２０は，図２に示す要約情報を記憶する。代表画像記憶手段１３０は，図１に示す各セグメントやチャプターごとに生成された代表画像を記憶する。

階層構造生成手段１４１は，複数の要約レベル間の対応関係を階層構造化した図５に示すような階層構造の情報を内部メモリ内に生成する。階層構造表示手段１４２は，階層構造生成手段１４１が生成した階層構造を，表示画面の階層構造表示部Ｄ２（図７参照）に表示する。

階層構造の展開受け入れ手段１４３は，階層構造表示部Ｄ２におけるポインティングデバイスの操作によって，図６で説明したような階層構造のノードを開閉する指示の入力，すなわち階層構造を構成するノードに対し，さらに下位のノードを表示するかしないかの開閉情報を設定する再生レベルの設定入力を受け付ける。

ノード情報生成手段１４４は，各ノードについて，前述したＦ［ｎ，ｍ］のノード情報を生成する。なお，このノード情報の生成は，前述した階層構造生成手段１４１において行ってもよい。ノード情報更新手段１４５は，階層構造の展開受け入れ手段１４３による再生レベルの設定に対して，Ｆ［ｎ，ｍ］のノード情報を更新する。

処理ノード遷移手段１４６は，再生対象となるノードに対する処理を遷移させるものである。すなわち，階層構造における要約レベルＮの最上位ノードから順番にノードを辿り，各ノードに対応する要約動画像またはシーンを表示するか否かの判定のための処理を行う。

再生位置保持手段１４７は，現在表示している動画像の再生位置を記憶して保持する。再生位置更新手段１４８は，動画像の表示に伴い，再生位置保持手段１４７が保持する再生位置を更新する。動画像再生手段１４９は，図７に示す表示画面における動画像再生部Ｄ１に，要約レベルに応じた動画像を動画像記憶手段１１０から読み出して表示する。制御部１００は，動画像再生表示装置１０における全体の制御を行う。

次に，動画像再生表示装置１０が実行する動画像および要約動画像の再生処理について説明する。最初に，以下で説明する再生処理１〜３の事前に実行する共通処理について，図１１に従って説明する。

図１１は，本発明の実施形態に共通の処理の流れを示す図である。まず，ステップＳ１では，再生対象となる動画像を動画像記憶手段１１０に記憶する。ステップＳ２では，従来技術を用いて作成された動画像の要約情報を，要約情報記憶手段１２０に記憶する。ステップＳ３では，各要約レベルに応じた要約動画像の代表画像を，代表画像記憶手段１３０に記憶する。ステップＳ４では，要約情報記憶手段１２０に記憶された要約情報をもとに，階層構造生成手段１４１が図５に示すような階層構造の表示のための階層構造を生成する。

以上のステップＳ１〜Ｓ３の処理は，要約対象となる一つの動画像について一度だけ実行すればよく，また，ステップＳ４についても，生成された階層構造を記憶装置に保存しておくようにすれば，一度だけの実行でよい。

ステップＳ５では，階層構造の表示要求または動画像の再生要求に対して，階層構造表示手段１４２が，ディスプレイ装置１５０の表示画面に階層構造を表示する。続いて，ステップＳ６では，表示した階層構造に対する設定の入力があれば，階層構造の展開受け入れ手段１４３がその入力を受け入れ，階層構造のノードの開閉を行う。

ステップＳ７で，ノード情報生成手段１４４が，要約レベルｎ，順位ｍの各ノードのノード情報Ｆ［ｎ，ｍ］を作成する。このノード情報Ｆ［ｎ，ｍ］は，（ｎ，ｍ，ｐ，ｃ，ｄ）情報を持つ。ｎは，要約レベルの番号である。後述する再生処理１，２では，ｎは初期値がＮに設定される。ｍは要約レベルｎにおける何番目のノードかを示すノードの通し番号である。ｐは，親ノードがどのノードであるかを示す親ノードの識別情報である。要約レベルがｎのノードの親ノードの要約レベルはｎ−１であるので，要約レベルｎ−１におけるノードの番号ｍ′の値を保持するようにしてもよい。最上位の要約レベルＮにおけるｐには，ＮＵＬＬが設定される。ｃは，自ノードＦ［ｎ，ｍ］の子ノードの先頭の番号が格納される。子ノードの要約レベルはｎ＋１であるので，子ノードの中でｍが最も小さい値をｃとして保持するようにしてもよい。要約レベルが０のときは子ノードが存在しないので，ｃはＮＵＬＬである。また，ｄはノードの開閉状態を示すノード状態フラグであり，ノードが開いている場合，すなわちノードが展開されているときにはｄ＝１であり，閉じられているときにはｄ＝０である。

ステップＳ８では，ステップＳ６における階層構造の展開受け入れに応じて，展開されたノードにｄ＝１を設定し，閉じたノードにｄ＝０を設定する。

次に，再生開始の指示に対して，図１２〜図１４に示す再生処理１〜３のいずれかの処理を行う。

［第１の実施形態］
図１２は，第１の実施形態の再生処理１の流れを示す図である。本実施形態は，あらかじめツリー状の構造において，各ノードの開閉状況を設定しておき，動画像を先頭から再生させるものである。

ｎ＝Ｎ，ｍ＝１として，Ｆ［Ｎ，１］から処理をスタートし（ステップＳ１０１），以下の再生ルールに従って再生を行う。

基本は，自ノードがｄ＝＝０で，かつ，親ノードがｄ＝＝１であれば，動画像再生手段１４９が，そのノードＦ［ｎ，ｍ］の動画像を再生（ただし，ｎ＝Ｎのときは，親ノードがないため，自ノードがｄ＝＝０であれば再生）することである。

ノードＦ［ｎ，ｍ］に処理が来たときに（ステップＳ１０２），フラグｄ＝＝１（開）であれば（ステップＳ１０３で“ＹＥＳ”），子のノード（ｎを１つ減らす) の先頭Ｆ［ｎ−１，ｍ′］に処理を移し，ステップＳ１０２へ戻る。ｍ′は，子ノードの先頭のｍ（すなわちｃの情報から得る）である。

フラグｄ＝＝０（閉）のとき（ステップＳ１０３で“ＮＯ”），現在のノードＦ［ｎ，ｍ］の要約レベルｎが最上位レベルＮであるかを判定する（ステップＳ１０５）。ｎ＝＝Ｎであれば，ステップＳ１０８へ進む。

ｎ≠Ｎであれば，ステップＳ１０７において，親ノードｐのフラグｄを調べ，ｄ＝＝１（開）ならばステップＳ１０８へ進み，ｄ＝＝０（閉）ならば再生しないで，ステップＳ１１１へ進み，ｎ＝ｎ＋１として親ノードｐに処理を遷移する（ステップＳ１０２へ）。これらの処理の遷移は，処理ノード遷移手段１４６が行う。

ステップＳ１０８では，動画像再生手段１４９がノードＦ［ｎ，ｍ］の動画像を再生する。再生終了後に，ステップＳ１０９でｍ＝ｍ＋１とし，ステップＳ１１０ではＦ［ｎ，ｍ］が存在するかどうかを判定する。すなわち，ステップＳ１０８で再生が終了したノードＦ［ｎ，ｍ］に対して，Ｆ［ｎ，ｍ＋１］が存在すれば，Ｆ［ｎ，ｍ＋１］に処理を移し，ステップＳ１０２へ戻って同様に処理を繰り返し，Ｆ［ｎ，ｍ＋１］が存在しなければ，処理を終了する。

［第２の実施形態］
図１３は，第２の実施形態の再生処理２の流れを示す図である。第２の実施形態は，前記の階層構造の開閉を，動画像を再生視聴しながら実現するものである。前記の例では，動画像の再生前に階層構造を決定したが，再生の途中で，より詳細な動画像を視聴したくなったり，逆に短時間で見たいような場合である。

現在再生中の要約レベルにおいて，再生位置を含むノードよりも先（未再生部分）の階層構造については，実質上，第１の実施形態と同様であるから特に問題はない。現在の再生ノードや，あるいはその上位レベルの階層構造の開閉状況を変化させたときは，以下の再生処理２を行う。

あるノードを閉じたら，子ノードを全てｄ＝0 にする。原則は第１の実施形態と同じであるが，現在再生しているノードを開閉したり，親（あるいは，さらに上位レベルのノード）を開閉した場合，以下のように処理する。

ノードＦ［ｎ，ｍ］を再生中（ということは閉じている) ，再生位置ｔがレベル０の動画像のどの再生位置に対応づけられるかは，要約情報（図２）からわかる。そこで，この再生位置ｔをもとに，階層の各レベル間でシームレスな再生を実現する。
（１）ノードＦ［ｎ，ｍ］を再生中，そのノードを展開したら，処理を「再生位置ｔを区間に持つ子ノード」に移す。
（２）ノードＦ［ｎ，ｍ］を再生中，そのノードの親を閉じたら，処理を親ノードに移す。その際，再生位置ｔは，親ノードが持つセグメント内にあればそこに移す。なければ，再生位置ｔよりも大きい先頭位置を持つセグメントの先頭にｃを移す。
（３）ノードＦ［ｎ，ｍ］を再生中，そのノードのさらに上位にあるノードを閉じたら，処理をｄ＝１である上位ノードに移す。その際，再生位置ｔは，当該上位ノードが持つセグメント内にあればそこに移す。なければ，再生位置ｔよりも大きい先頭位置を持つセグメントの先頭にｔを移す。

図１３において，まず，ｎ＝Ｎ，ｍ＝１とし（ステップＳ２０１）。再生位置ｔをノードＦ［ｎ，ｍ］の先頭とする（ステップＳ２０２）。次のステップＳ２０３からＳ２０７までは，第１の実施形態におけるステップＳ１０２〜Ｓ１０７（図１２）と同じであり，ステップＳ２０８は，ステップＳ１１１（図１２）と同じである。

ステップＳ２０９では，動画像再生手段１４９および再生位置更新手段１４８が，ノードＦ［ｎ，ｍ］の動画像を，再生位置ｔを増分しながら再生する。再生位置ｔは，再生位置保持手段１４７に保持される。以下，再生が終了するか，自ノードが展開または親ノードが閉じられるまで，ステップＳ２０９〜Ｓ２１７を繰り返す。

この再生の間，階層構造の展開受け入れ手段１４３は，ユーザによるノードの開閉処理を受け入れる（ステップＳ２１０）。開閉状態の変更を受け付けたならば，ノード情報更新手段１４５により，開閉情報を更新（関連ノードのフラグｄを更新）し，階層構造を表示しなおす（ステップＳ２１１）。

次に，自ノードおよび親ノードのフラグｄをチェックし（ステップＳ２１２），親ノードッドのフラグがｄ＝１（開），自ノードのフラグがｄ＝０（閉）のときには，そのまま再生を継続する。

自ノードのフラグｄが１（開）になった場合には（ステップＳ２１３），ステップＳ２１４へ移り，ステップＳ２１４では，子ノードのうち，再生位置ｔを持つノードに処理を遷移し，再生位置ｔの値はそのまま保持して，ステップＳ２０３以降を繰り返す。

次に，親ノードのフラグがｄ＝０（閉）になった場合には（ステップＳ２１５），ステップＳ２１６へ移り，ステップＳ２１６では，親ノードの再生位置ｔを持つセグメントに処理を遷移し，再生位置ｔの値はそのまま保持する。セグメントがないときは，再生位置ｔよりも大きな先頭位置を持つセグメントの先頭を再生位置ｔとし，ステップＳ２０３へ戻って，同様に処理を繰り返す。

自ノードの再生が終了したら（ステップＳ２１７），ステップＳ２１８で，ｍ＝ｍ＋１とし，ステップＳ２１９で，Ｆ［ｎ，ｍ］が存在するかどうかを判定する。すなわち，ステップＳ２１７で再生が終了したノードＦ［ｎ，ｍ］に対して，Ｆ［ｎ，ｍ＋１］が存在すれば，Ｆ［ｎ，ｍ＋１］に処理を移し，ステップＳ２０３へ戻って同様に処理を繰り返し，Ｆ［ｎ，ｍ＋１］が存在しなければ，処理を終了する。

［第３の実施形態］
図１４は，第３の実施形態の再生処理３の流れを示す図である。第３の実施形態は，ユーザの入力を受け入れて再生位置や要約レベルを変化させてもよいというものである。例えば，マウスポインタで指定したノードの代表画像に処理を移すような場合である。第３の実施形態では，次のように処理する。
（１）指定されたノードＦ［ｎ，ｍ］を再生し，そのまま指定されたノードに変化がなければ，ｍを増分し，同じ要約レベルの次のノードに処理を移す。
（２）上位ノードが指定されたら，指定された上位ノードに処理を移し，再生位置ｔを範囲に持つセグメントの当該再生位置から動画像を再生する。そのようなセグメントがないときは，再生位置ｔよりも大きな値の先頭位置を持つセグメントの先頭位置をｔとし，その再生位置ｔから再生する。
（３）下位ノードが指定され，当該下位ノードが表示されているときは，当該下位ノードに処理を移し，再生位置ｔを範囲に持つセグメントの当該再生位置から動画像を再生する。そのようなセグメントがないときは，再生位置ｔよりも大きな値の先頭位置を持つセグメントの先頭位置をｔとし，その再生位置ｔから再生する。

図１４において，ステップＳ３０１では，ユーザのマウスポインタ操作などによるノードＦ［ｎ，ｍ］の指定を受け入れ，その先頭位置を再生位置ｔとする。以降，ノードＦ［ｎ，ｍ］について，以下の処理を行う（ステップＳ３０２）。

ステップＳ３０３では，ノードＦ［ｎ，ｍ］の動画像を，再生位置ｔを増分しながら再生する。この再生の間，ユーザによるノードの開閉や，再生を移すノードの指定を受け入れる（ステップＳ３０４）。ユーザの指定に応じて，ノードに開閉情報を設定し，更新された階層構造を表示する（ステップＳ３０５）。

再生を移すノードとして，自ノードＦ［ｎ，ｍ］よりも上位レベルのノードが指定された場合（ステップＳ３０６），ステップＳ３０７へ移り，ステップＳ３０７では，指定された上位ノードの再生位置ｔを範囲に持つセグメントに処理を遷移し，再生位置ｔの値はそのまま保持する。当該セグメントがないときは，再生位置ｔよりも大きな先頭位置を持つセグメントの先頭を再生位置ｔとし，ステップＳ３０２へ戻って，同様に処理を繰り返す。

また，ノードＦ［ｎ，ｍ］の再生中に，下位レベルのノードの指定があり（ステップＳ３０８），下位レベルの子ノードが表示されている場合には（ステップＳ３０９），ステップＳ３１０へ移り，ステップＳ３１０では，指定された下位ノードの再生位置ｔを範囲に持つセグメントに処理を遷移し，再生位置ｔの値はそのまま保持する。当該セグメントがないときは，再生位置ｔよりも大きな先頭位置を持つセグメントの先頭を再生位置ｔとし，ステップＳ３０２へ戻って，同様に処理を繰り返す。

ノードの開閉やノードの指定がない場合，ステップＳ３１１では，自ノードの再生が終了したかどうかを判定し，終了していなければ，ステップＳ３０３へ戻って，再生を続ける。再生がが終了したら，ステップＳ３１２で，ｍ＝ｍ＋１とし，ステップＳ３１３で，Ｆ［ｎ，ｍ］が存在するかどうかを判定する。すなわち，ステップＳ３１１で再生が終了したノードＦ［ｎ，ｍ］に対して，Ｆ［ｎ，ｍ＋１］が存在すれば，Ｆ［ｎ，ｍ＋１］に処理を移し，ステップＳ３０３へ戻って同様に処理を繰り返し，Ｆ［ｎ，ｍ＋１］が存在しなければ，処理を終了する。

以上の第１の実施形態から第３の実施形態までの再生処理を組み合わせて，本発明を実施することもできる。

以上説明した動画像再生表示の処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。

１０ 動画像再生表示装置
１００ 制御部
１１０ 動画像記憶手段
１２０ 要約情報記憶手段
１３０ 代表画像記憶手段
１４１ 階層構造生成手段
１４２ 階層構造表示手段
１４３ 階層構造の展開受け入れ手段
１４４ ノード情報生成手段
１４５ ノード情報更新手段
１４６ 処理ノード遷移手段
１４７ 再生位置保持手段
１４８ 再生位置更新手段
１４９ 動画像再生手段
１５０ ディスプレイ装置
１６０ 入力装置

Claims (8)

1. 動画像およびその要約動画像を再生する動画像再生表示装置であって，
   再生対象の動画像を記憶する動画像記憶手段と，
   前記動画像を複数のレベルで要約した要約動画像を定義する情報であって，要約動画像ごとに，少なくとも要約のレベルとその要約動画像を構成する前記動画像の構成要素の情報とを含む要約情報を記憶する要約情報記憶手段と，
   前記要約情報記憶手段に記憶された要約情報をもとに，前記要約動画像および前記動画像の再生単位をノードとするツリー状の階層構造を生成し，生成した階層構造を表示装置に表示する手段と，
   前記階層構造の表示において，あるノードの下位レベルのノードを表示するか下位レベルのノードを表示しないかを指示するノード開閉の設定情報を入力装置から受け入れ，前記各ノードごとにノード開閉を示す情報を記憶し，ノードが開いていればその下位レベルのノードを階層構造中に表示し，ノードが閉じていればその下位レベルのノードを階層構造中に表示しないように階層構造の表示を更新する手段と，
   前記階層構造における最上位レベルのノードから順番に再生の処理対象として，前記ノード開閉を示す情報をチェックし，処理対象のノードが閉じており，処理対象のノードの親ノードが開いている場合に，前記処理対象のノードに対応する要約動画像または動画像の再生単位を再生する手段とを備える
   ことを特徴とする動画像再生表示装置。
2. 請求項１記載の動画像再生表示装置において，
   現在再生している前記要約動画像または前記動画像の時間的な再生位置を更新し保持する手段と，
   前記要約動画像または前記動画像を再生している最中に，前記階層構造の表示におけるノード開閉の設定情報の入力を入力装置から受け入れる手段と，
   再生中のノードが前記設定情報の入力により開かれた場合に，再生の処理対象のノードを，前記保持されている再生位置を区間に持つ下位レベルの子ノードに遷移させ，再生中のノードが属する上位レベルのノードが前記設定情報の入力により閉じられた場合に，前記上位レベルのノードに対応する要約動画像の前記保持されている再生位置を持つ部分または再生位置より大きい直近の部分から再生する手段とを備える
   ことを特徴とする動画像再生表示装置。
3. 請求項１または請求項２記載の動画像再生表示装置において，
   現在再生している前記要約動画像または前記動画像の時間的な再生位置を更新し保持する手段と，
   前記階層構造の表示において，再生するノードを指定する情報が入力装置から入力された場合に，指定されたノードに再生の処理対象となるノードを遷移させ，遷移先のノードが現在再生しているノードが属する上位レベルのノードまたは現在再生しているノードの下位レベルのノードである場合に，前記遷移先のノードに対応する要約動画像または動画像における前記保持されている再生位置を持つ部分または再生位置より大きい直近の部分から再生する手段とを備える
   ことを特徴とする動画像再生表示装置。
4. 再生対象の動画像を記憶する動画像記憶手段と，前記動画像を複数のレベルで要約した要約動画像を定義する情報であって，要約動画像ごとに，少なくとも要約のレベルとその要約動画像を構成する前記動画像の構成要素の情報とを含む要約情報を記憶する要約情報記憶手段とを備える装置が，動画像およびその要約動画像を再生する動画像再生表示方法であって，
   前記要約情報記憶手段に記憶された要約情報をもとに，前記要約動画像および前記動画像の再生単位をノードとするツリー状の階層構造を生成し，生成した階層構造を表示装置に表示する過程と，
   前記階層構造の表示において，あるノードの下位レベルのノードを表示するか下位レベルのノードを表示しないかを指示するノード開閉の設定情報を入力装置から受け入れ，前記各ノードごとにノード開閉を示す情報を記憶し，ノードが開いていればその下位レベルのノードを階層構造中に表示し，ノードが閉じていればその下位レベルのノードを階層構造中に表示しないように階層構造の表示を更新する過程と，
   前記階層構造における最上位レベルのノードから順番に再生の処理対象として，前記ノード開閉を示す情報をチェックし，処理対象のノードが閉じており，処理対象のノードの親ノードが開いている場合に，前記処理対象のノードに対応する要約動画像または動画像の再生単位を再生する過程とを有する
   ことを特徴とする動画像再生表示方法。
5. 請求項４記載の動画像再生表示方法において，
   現在再生している前記要約動画像または前記動画像の時間的な再生位置を更新し保持する過程と，
   前記要約動画像または前記動画像を表示している最中に，前記階層構造の表示におけるノード開閉の設定情報の入力を入力装置から受け入れる過程と，
   再生中のノードが前記設定情報の入力により開かれた場合に，再生の処理対象のノードを，前記保持されている再生位置を区間に持つ下位レベルの子ノードに遷移させ，再生中のノードが属する上位レベルのノードが前記設定情報の入力により閉じられた場合に，前記上位レベルのノードに対応する要約動画像の前記保持されている再生位置を持つ部分または再生位置より大きい直近の部分を再生する過程とを有する
   ことを特徴とする動画像再生表示方法。
6. 請求項４または請求項５記載の動画像再生表示方法において，
   現在再生している前記要約動画像または前記動画像の時間的な再生位置を更新し保持する過程と，
   前記階層構造の表示において，再生するノードを指定する情報が入力装置から入力された場合に，指定されたノードに再生の処理対象となるノードを遷移させ，遷移先のノードが現在再生しているノードが属する上位レベルのノードまたは現在再生しているノードの下位レベルのノードである場合に，前記遷移先のノードに対応する要約動画像または動画像における前記保持されている再生位置を持つ部分または再生位置より大きい直近の部分を再生する過程とを有する
   ことを特徴とする動画像再生表示方法。
7. 請求項４，請求項５または請求項６記載の動画像再生表示方法を，コンピュータに実行させるための動画像再生表示プログラム。
8. 請求項４，請求項５または請求項６記載の動画像再生表示方法を，コンピュータに実行させるための動画像再生表示プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images