JP2006191493A - 画像再生装置及び情報表示装置 - Google Patents

Abstract

【課題】 高速再生時でも補助情報の視認性が保たれる画像表示装置を提供すること。
【解決手段】 再生速度に応じて補助情報の表示又は通知の方法を変化させる手段を備え、再生速度が速くなるほど補助情報の表示又は通知の量を減少させることにより、単位時間あたりに表示又は通知される補助情報を減少させ、視認性を保つ。
【選択図】図４

Description

本発明は画像再生装置及び情報表示装置に関し、特に、画像データに関連する補助情報を画像データと併せて表示する画像再生装置及び情報表示装置に関するものである。

テレビジョン放送において表示されるテロップのように、映像に字幕を合成して、１画面内に表示することが従来行われている。これらは、映像に対応する字幕をリアルタイムに表示していくものであるが、このような合成映像を録画再生した場合、再生速度が速くなると字幕の再生速度も速くなるため、文字が読みづらくなってしまうという問題があった。

このような問題を解決するため、再生速度に応じて１画面に表示する字幕の量を変化させることで、文字当たりの表示時間が短くなることを防止する装置が提案されている（特許文献１参照）。これは、映像と字幕とを同時に表示する映像再生装置において、例えば通常再生時には所定時間当たり１段の字幕が表示されるときに、４倍速再生では所定時間内に４段の字幕を表示するものである。このように、４倍速など再生速度が速くなった場合に、１画面中に表示する字幕の量を増やすことにより、字幕表示時間を通常再生時と同様にすることで、高速再生時においても字幕の表示時間が短くなることを防止するものである。

また、高速再生時に字幕などを部分的に拡大して表示する情報表示方法も提案されている（特許文献２参照）。これは、再生速度が速くなった場合に字幕を拡大して表示することにより、文字の内容を確認しやすくするものである。
特開２００２−０３３９９３号公報 特開２０００−１８０８８７号公報

しかしながら、特許文献１に記載の発明では、個々の字幕についてみれば表示時間は高速再生時においても通常再生時と同様に保つことができるが、単位時間当たりに表示される字幕の量も増えるために、再生速度が速くなると全ての字幕を読むことは困難になる。また、再生速度が速くなると、表示される字幕が多くなる。その結果、映像が表示される範囲が狭くなってしまい映像情報の視認性を悪化させてしまう。

また、特許文献２に記載の方法では、再生速度が速くなると文字を拡大表示しているが、文字の表示時間は変わらないため、高速再生時には字幕の表示時間が極めて短くなり、視認性を保つことは困難である。

本発明はこのような状況に鑑みてなされたものであり、映像の高速再生時に字幕等の補助情報の視認性を保つことが可能な画像再生装置及び情報再生装置を提供することを目的とする。

上記課題を解決するために、本発明の画像再生装置は、画像データ及びその補助情報を取得する取得手段と、画像データ及び対応する補助情報を再生する再生手段と、を備え、再生手段が、画像データの再生速度に応じ、再生する補助情報の情報量を増減させることを特徴とする。

また、本発明の情報再生装置は、予め記録されたデータを表示装置に再生表示するデータ再生表示手段と、表示装置に表示されるデータをスクロールして表示するスクロール手段と、スクロールの速度に応じてデータの表示方法を変化させる表示方法変化手段と、を備え、表示方法変化手段は、スクロールの速度が速くなるほどデータの表示量を減少させることを特徴とする。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための最良の形態の記載によっていっそう明らかになるものである。

以上の構成により、本発明の画像再生装置及び情報再生装置によれば、映像の高速再生時に字幕等の補助情報の視認性を保つことが可能となる。

以下、添付図面を参照して、本発明の好適な実施形態を説明する。

＜第１の実施形態＞
本発明の第１の実施形態では、画像再生装置の一例としてデジタルビデオカメラ１０００について説明する。

図１はデジタルビデオカメラ１０００の構成を示すブロック図である。

デジタルビデオカメラ１０００は撮像部１１００を有し、撮像部１１００はレンズ等からなる光学系１００１、ＣＣＤ等の撮像素子１００２、画像処理回路１００３を含む。

また、デジタルビデオカメラ１０００は、制御プログラムを実行してデジタルビデオカメラ１０００全体の動作を制御するＣＰＵ１００４、撮像した画像や撮像した画像とともに記録する補助情報などを一時的に格納するメモリ１００５、パソコン等の外部機器と接続する外部インタフェース１００６、液晶ディスプレイなどの表示装置１００７、操作部１００８、インタフェース１００９、記憶媒体１０１０、ＧＰＳアンテナ１０１１、タイマ１０１２、システムバス１０１３を有する。

なお、本明細書における補助情報としては、画像と関連付けされている情報であればどのようなものであってもよい。具体的には撮影時のカメラパラメータ（シャッタースピード、絞り、撮影モード、フラッシュのＯＮ、ＯＦＦなど）、日時情報といった情報を始め、撮影場所に関する情報、テキストや音声などであってもよい。したがって、必ずしも撮影時に記録される情報に限定されない。本実施形態では、タイムコードなど一般的なデジタルビデオカメラにおいて記録される情報の他に、撮影位置に関する情報も補助情報として記録する機能を有するデジタルビデオカメラについて説明する。

被写体の像が光学系１００１を介して入射されると、撮像素子１００２によって画像データが生成される。生成された画像データは画像処理回路１００３に入力され、所定の画像処理（例えば、ＭＰＥＧ圧縮など）が施される。この画像処理回路１００３は、カメラ信号処理部、画像圧縮・伸張部などから構成される。また、ＣＰＵ１００４は画像データ及び付属情報を表示装置１００７に入力する処理を行ない、表示装置１００７はそれらを表示する。記憶媒体１０１０は、デジタルビデオカメラ１０００に着脱可能に設けられており（内蔵されていても構わない）、光や磁気を用いて記録するディスク、フラッシュメモリを用いたメモリカード等のメディアである。また、インタフェース１００９を介することで、記憶媒体１０１０に対して画像などのデータの読み書きを行なう。また、記憶媒体に地名情報など補助情報の記録に必要な情報が予め記録されている場合には、記憶媒体から読み出して用いる。操作部１００８は、ユーザがデジタルビデオカメラ１０００に指示を与えるために用いるものであり、操作部１００８から指示を与えることにより、ユーザは録画開始等デジタルビデオカメラ１０００の種々の機能を利用することができる。また、ＧＰＳアンテナ１０１１は、ＧＰＳ衛星から電波を受信・解析し、自己の所在地のデータを取得する。

デジタルビデオカメラ１０００の操作部１００８に対して所定の録画開始操作が行なわれると、撮像部１１００によって被写体の撮影画像データが生成され、メモリ１００５へ格納される。また、録画開始操作を行なうとＧＰＳアンテナ１０１１が衛星からの電波を受信し、現在位置（すなわち撮影位置）情報がメモリ１００５に取り込まれる。ＣＰＵ１００４は、例えば記憶媒体１０１０に予め保存されている撮影位置（緯度・経度）と地名を対応付けるデータを用いて、撮影位置情報を地名情報に変換する。次いで、撮影された画像データ及び地名情報を対応付けて、インタフェース１００９を介して記憶媒体１０１０に保存する。なお、地名情報は地名のテキスト情報であり、『地方』-『県』-『市、区』-『町』などのように階層化された情報である。また、地名情報は予め記憶媒体１０１０に保存されているものとして説明したが、地名情報の取得方法はこれに限定するものではなく、例えば外部インタフェース１００６を介して、デジタルビデオカメラ１０００の外部から取得することとしても構わない。

図２は、記憶媒体１０１０に記録される画像データと地名データの対応付けを示した図である。画像データ群２０００中の各画像データは、動画の場合は撮影の１カット、静止画の場合は１枚の静止画を示している。また、２００１乃至２００４は各画像データに対応付けられた各階層の地名データを示している。例えば図２における画像データ(1)は『関東地方』-『東京都』-『大田区』-『Ａ町』という階層化された地名データと対応付けられていることを示している。また、画像データ(5)及び画像データ(6)のように、異なる画像データが同じ地名データに対応付けられていてもよい。また、画像データ(10)のように複数の地名データ（この場合『Ｉ町』、『Ｊ町』）と対応付けられていてもよい。これは撮影中に撮影位置が移動することなどにより、撮影位置に対応する地名データが１カットの中で変化する場合である。

次に、撮影された画像データ及び対応する地名データを再生する場合について説明する。操作部１００８により再生の指示がなされると、ＣＰＵ１００４は記憶媒体１０１０から再生する画像データ及び対応する地名データを取得する。

ここでは、記憶媒体１０１０に記録された全ての画像データ（図２における画像データ(1)乃至画像データ(13)）を順に再生する場合について説明する。例えば画像データ(7)の再生を開始する時点で、この画像データに対応する地名データである『関東地方』-『東京都』-『品川区』-『Ｆ町』という情報を記憶媒体１０１０から取得する。また、画像データ(7)の前後に再生される画像データに対応する地名データも同様に取得する。なお、前後に再生される画像データに対応する地名データは、後述の地名データの表示に必要なだけ取得する。

次に、ＣＰＵ１００４は画像データの再生速度に基づき、主に表示する地名データの階層を決定する。すなわち、『地方』-『県』-『市・区』-『町』の階層の中からどの階層を中心に表示するかを決定する。なお、以下では主に表示する補助情報の階層（本実施形態では地名データの階層）を「表示階層」と表現する。

図３は、再生速度と地名の表示階層の関係を示すグラフである。図３において縦軸は地名の表示階層を示しており、Ｌ１が『町』の階層、Ｌ２が『市・区』の階層、Ｌ３が『県』の階層に対応している。また、横軸は再生速度（倍率）を示している。「×１」は等倍速の（すなわち通常の）再生速度である。

図３に示すように、本実施形態では、再生速度の倍率が所定の閾値ａ１（ここではａ１＞１）より遅い場合、表示階層はＬ１となる。また、本実施形態では、表示階層は表示される最も詳細な（最も下位の）地名データの階層で表現するが、その階層のみを表示するのではなく、表示階層より上位の階層も表示する。例えば、表示階層がＬ１の場合、Ｌ１及びその上位階層であるＬ２、Ｌ３の階層の地名データを表示する。具体的な表示形態については、後述する。

次に、再生速度がａ１以上になった場合、表示階層はＬ２となり、Ｌ２およびＬ３の階層の地名データを表示する。さらに、再生速度がａ２（＞ａ１）以上になると表示階層がＬ３に切り替わる。

なお、本実施形態においては表示階層より上位の階層も表示することとしたが、表示階層の地名データを主として表示するものであれば、例えば表示階層のみを表示するなど他の方法でも構わない。

ＣＰＵ１００４は、以上のようにして決定された地名データを、対応づけされた画像データと合成して、表示装置１００７上に表示する。図４はこの表示状態の一例を示したものである。図４(a)は通常再生速度における表示画像、図４(b)は図３のａ１に対応する速度で高速再生している場合の表示画像を示している。画像表示画面４０００の右側に地名データ表示枠４００１があり、その中の４００２乃至４００５は通常再生時に表示される地名データを示している。また、４００６乃至４００９は高速再生時に表示される地名データを示している。

通常再生速度（等倍速）で再生する場合、再生速度はａ１未満となるため、図３のグラフの特性より表示階層はＬ１になる。すなわち、図４(a)に示すように、地名データ表示枠４００１にはＬ１、Ｌ２、Ｌ３の階層の地名データを表示する。表示される地名データは画像データの再生順に並んでおり、ここでは図２に示す順番で再生を行っているため、現在再生中の画像データ(7)に対応する『Ｆ町』を中心として、その前に再生された画像データ(6)に対応する『Ｅ町』が上に、次に再生される予定の画像データ(8)に対応する『Ｇ町』が下に表示されている。また、現在再生中の画像データに対応する地名データ（ここでは『Ｆ町』）は太枠で囲まれるなどの方法により、強調表示される。図２に示すように、Ｌ１階層の『Ｅ町』、『Ｆ町』、『Ｇ町』はＬ２階層が『品川区』であり同一であるが、Ｌ２階層の地名データが変わる区切りには『品川区』、『港区』のように、Ｌ２階層の地名データを表示する。また、図示しないが、同様に、Ｌ３階層の地名データが変わる区切りには、Ｌ３階層の地名データを表示する。このように、地名データは、再生中の画像データに対応する地名データを強調表示しつつ、次々と切り替わる。

なお、例えば『品川区』に属する画像データが多数存在する場合、『品川区』の表示がスクロールして地名データ表示枠４００１に表示されなくなってしまった場合、現在の地名がどこの区に存在するか分かりにくくなるという問題がある。そこで、例えば『品川区』に関する画像データを表示している間は『品川区』の表示はスクロールさせず、常に地名データ表示枠４００１の上部に表示する構成としてもよい。

次に操作部１００８の指示により再生速度がａ１に切り替えられた場合、図３のグラフの特性より表示階層はＬ２に切り替わる。すなわち、図４（ｂ）に示すように、地名データ表示枠４００１にはＬ２、Ｌ３の階層の地名データを表示する。この場合も表示される地名データは画像データの再生順に並んでおり、『大田区』、『品川区』、『港区』の順に再生されることを示している。また、現在再生中の画像データに対応する地名データ（ここでは『品川区』）は強調表示される。さらに、Ｌ３階層の地名データが変わる区切りには『東京都』、『神奈川県』のように、Ｌ３階層の地名データを表示する。

再生速度によって主に表示する階層を切り替える理由は、再生速度が速くなると低階層の地名データの切り替わりが早く、表示時間が短くなり、地名データの視認性が悪化するためである。本実施形態では、表示速度が速くなったときは表示階層を上位に切り替えることで、地名データの切り替わる速度を遅くし、視認性を保つことが可能となる。

次に、地名データの表示階層を切り替える再生速度の閾値（ここではａ１、ａ２）の決定方法について図５を用いて説明する。図５は、決定される再生速度（倍率）の閾値と、単位時間当たりの地名変化量（切り替わり回数）の関係を示すグラフである。単位時間当たりの地名変化量とは、再生時における地名データの変化の速さを示すものである。ここで、再生速度が同じ場合であっても、地名データの変化の速さは一定ではないことに注意する必要がある。例えば、同一の地区（例えば、Ｆ町）において長時間録画すれば、その間表示される地名データはＦ町のままであり、単位時間当たりの地名データの変化は小さくなる。一方、短時間に複数の地区を移動すれば、単位時間当たりの地名データの変化は大きくなる。ＣＰＵ１００４は以上の点を考慮して再生速度の閾値を決める。すなわち、単位記録時間あたりの地名変化量が多いほど、低い再生倍率で表示階層を上げるように閾値を決定する。図３のように複数の閾値を用いる場合には、単位記録時間あたりの地名変化量が多いほど、閾値間の差を小さく設定する。また、図５に示した単位時間あたりの地名変化量と、再生速度の閾値の関係は予めテーブルとして保持している。記録媒体１０１０に新たな画像データが記録された時に、記憶媒体１０１０に記録された画像データにおける単位記録時間あたりの地名変化量を算出する。記録媒体１０１０に記録された全画像データの地名変化量を参照し、前記テーブルと照合した上で再生速度の閾値が決定される。

また、再生速度を閾値として表示階層を変化させる代わりに、例えば再生しながら、地名変化量を検出し、閾値（ｔ１）よりも大きい場合には表示階層を上げ、閾値（ｔ２：ｔ２＜ｔ１）よりも地名変化量が少ない場合には表示階層を下げるといった、地名変化量の閾値による表示制御を行うことも可能である。

これにより、短時間に複数の地区を移動する場合は、比較的低速の再生であっても表示階層はより上位に設定され、地名データの視認性を保つことが可能となる。

なお、本実施形態においては、通常再生時には必ずＬ１が表示階層となる、換言すればａ１が通常再生速度より遅くなることはないものとして説明した。実際には、例えば飛行機や新幹線などの高速移動体から撮影した場合のように、地区間の移動が極めて頻繁に行なわれるような場合には、図５のグラフに従えばａ１が通常再生速度より遅くなる（ａ１＜１となる）ことも起こりうる。したがって、通常再生時の表示階層をＬ１に限定せず、単位時間あたりの地名変化量が大きいときはＬ２以上を表示階層とする構成としても構わない。

図６は、再生速度を変化させたときの表示階層の時間的変化を示すグラフである。グラフの横軸は時間、縦軸は表示階層を示している。時刻ｔ１において通常再生速度からａ２の再生速度に変化させると、図３のグラフの特性に従えば表示階層はＬ１からＬ２を飛ばしてＬ３に変化するが、すぐにＬ３階層に変化させるのではなく、本実施形態では、時定数を設け、所定の時間Ｌ２階層を表示階層とした後、Ｌ３階層に変化させる。また、時刻ｔ２において再生速度がａ２から通常再生速度に変化させるときも、時定数に従い、所定の時間Ｌ２階層を表示階層とした後、Ｌ１階層に変化させる。

このように、再生速度が大きく変化した場合でも表示階層を段階的に切り替えることによって、地名データの表示が急激に変化することを防止し、視認性の向上を実現している。

なお、本実施形態では、地名データの階層が３つであるとして説明したが、階層の数はこれに限定するものではない。例えば図２において『関東地方』以外の『地方』で撮影した画像データがある場合は、『地方』の階層をＬ４階層として制御する。一方で記憶媒体１０１０に記録された全画像データがＬ３階層（例えば、『東京都』）に含まれるような場合は最上位階層をＬ２として制御してもよい。また、Ｌ１階層『町』よりも、さらに詳細なＬ０階層『ビル名、交差点名』などを下位階層として設けてもよい。また、記憶媒体１０１０全体でなく、一部のデータを再生する場合であっても同様である。

また、全体の階層と現在の表示階層に関する情報を併せて表示してもよい。図７(a)は、このときの表示の一例を示す図である。全体階層表示枠７００１は表示対象となりうるすべての階層（ここでは、『地方』、『県』、『区』、『町』）を表示しており、現在の表示階層は、例えば網掛けなどにより強調表示される。

また、一時停止（すなわち、再生速度ゼロ）の際は図３のグラフに従って、Ｌ１階層を表示階層としてもよいし、一時停止用にさらに詳細な下位の階層を用意し、表示階層としてもよい。あるいは、図７(b)に示すように全階層の地名データを映像データの上に合成して表示してもよい。一時停止位置における地名データは、例えば白黒を反転させるなどにより、強調表示される。

また、これらの地名データ表示は、操作部１００８を操作することにより、表示／非表示を切り替えることが可能である。また、通常再生速度の場合は地名データを非表示にし、再生速度が所定の値以上になると地名データを表示する構成にしてもよい。

また、地名データは画像データのヘッダなどに直接記録してもよいし、別個に記録した上で画像データとの対応付けを記録してもよい。

また、本実施形態では撮影位置に対応する地名データを表示していたが、表示する補助情報は地名データに限定するものではなく、撮影位置に関連する補助情報であれば、例えば地図画像などであっても構わない。

以上説明したように、本実施形態によれば、デジタルビデオカメラ１０００は撮影時に画像データと併せて地名データを取得し、再生時に地名データを補助情報として表示装置１００７に表示する。表示する地名データは再生速度に応じて、どの階層（例えば、都道府県レベルか市町村レベルか、など）を主として表示するか、決定する。

これにより、通常再生時には補助情報として詳細な地名を知ることができる一方で、高速再生時であっても表示階層を上位にすることにより地名データの切り替わる速度を遅くし、補助情報の視認性を保つことが可能となる。

＜第２の実施形態＞
第１の実施形態では、補助情報として地名データ等撮影地点に関するものを表示する場合について説明したが、第２実施形態では、画像データに対して字幕情報を合成して表示する場合について説明する。なお、本実施形態において、デジタルビデオカメラ１０００の構成（図１）、再生時の表示階層の決定方法（図３）、表示階層を切り替える再生速度の閾値の決定方法（図５、ただし、横軸は「単位時間あたりの字幕の変化量」と読替え）、再生速度を変化させたときの表示階層の時間的変化（図６）、表示階層は３階層に限定するものではないこと、字幕データの記録場所、の６点は第１の実施形態と同様でよいため、詳細な説明は省略する。

第１の実施形態では画像データの記録と同時にＧＰＳアンテナ１０１１により位置情報を取得し、対応する地名データを記録したが、本実施形態では画像データ記録後に、ユーザが字幕データを作成し、記録する。字幕データは、操作部１００８から入力できる構成であってもよいし、外部インタフェース１００６に接続された外部機器から入力できる構成であってもよい。また、字幕データは、例えば被写体を説明するものや、会話を文字にしたものなど、どのようなものであっても構わない。字幕データの作成は、通常再生時用の字幕、中速再生時用の字幕、高速再生時用の字幕など、複数の再生速度に応じて行ない、画像データと対応付けて階層的に管理する。図８はこの字幕データの階層構造を示したものである。画像データ群２０００の各画像データに対応して、各階層の字幕データが記録されている。ここで、Ｌ１階層は通常再生速度での字幕データである。Ｌ２階層は中速再生時用の字幕データであり、例えばＬ１階層よりも要約された字幕データが記録されている。また、Ｌ３階層は高速再生時用の字幕データであり、Ｌ２階層よりもさらに要約された字幕データが記録されている。

第１の実施形態では表示階層に加えて、上位階層の地名データも表示したが、本実施形態では、表示階層の字幕のみを所定のタイミングで表示する。図９は、画像再生中の字幕表示の様子を示した図である。字幕Ａは通常再生時に表示される全字幕の内容であり、画像表示画面４０００中の字幕データ表示枠９００１には表示階層に応じた字幕が表示される。

通常再生速度（等倍速）で再生する場合、再生速度はａ１未満となるため、図３のグラフの特性より表示階層はＬ１となる。したがって、Ｌ１階層の字幕データを表示装置１００７に表示する。このときに表示される画像の様子が図９(a)である。ここで表示される字幕はＬ１階層の全字幕データ、字幕Ａ中の１行で表示できる部分である。すなわち、所定のタイミングで字幕Ａ中の１行分ずつを切り替えながら字幕データ表示枠９００１に表示する。

再生速度がａ２以上の場合、図３のグラフの特性から表示階層はＬ２となり、Ｌ２階層の字幕データを表示する。このときに表示される画像の様子が図９(b)である。前述の通り、Ｌ３階層の字幕データはＬ１階層の字幕データを要約したものであり、ここでは、字幕Ａを１行で要約した内容となっている。このため、この画像データを再生している間は字幕が切り替わることなく表示され、高速再生時においても字幕の視認性を保つことが可能となる。

本実施形態ではユーザが全ての階層の字幕を入力することとしたが、ユーザによって入力されたＬ１階層の字幕を、ＣＰＵ１００４が所定のアルゴリズムで要約することにより各階層の字幕データを生成することとしてもよい。

また、本実施形態では画像データと合成して表示する補助情報の一例として字幕データを用いたが、要約可能なデータであれば字幕データに限らず、例えば音声データであってもよい。なお、音声データの場合は表示装置１００７上に表示するのではなく、不図示のスピーカ等を用いて通知する。

以上説明したように、本実施形態によれば、デジタルビデオカメラ１０００は撮影した画像データと対応付けられた字幕データを保持し、再生時に字幕データを補助情報として表示装置１００７に表示する。表示する字幕データは再生速度に応じて、前文表示するか、又はどの程度要約して表示するか、決定する。

これにより、通常再生時には補助情報として詳細な字幕を読むことができる一方で、高速再生時であっても表示階層を上位の要約表示にすることにより字幕データの切り替わる速度を遅くし、補助情報の視認性を保つことが可能となる。

＜第３の実施形態＞
第３の実施形態では、画像データと併せて表示する補助情報がファイル名やディレクトリ名である場合について説明する。なお、本実施形態において、デジタルビデオカメラ１０００の構成（図１）、再生時の表示階層の決定方法（図３）、表示階層を切り替える再生速度の閾値の決定方法（図５、ただし、横軸は「単位時間あたりのディレクトリ名及びファイル名の変化量」と読替え）、再生速度を変化させたときの表示階層の時間的変化（図６）、表示階層は３階層に限定するものではないこと、の５点は第１の実施形態と同様でよいため、詳細な説明は省略する。

撮影画像データを記録する際にＣＰＵ１００４が所定の規則に基づきファイル名を与える。その上で撮影場所や日付に基づいて作成したディレクトリ構造に従い、記憶媒体１０１０に記録する。本実施形態では一例として、タイマ１０１２の情報に基づく日付を使用する場合を説明する。

図１０は、記憶媒体１０１０に記録されるファイル及びディレクトリの階層構造を示す図である。１０００１をルートディレクトリとして、１０００２は『月』を基準にしたディレクトリ階層、１０００３は『日付』を基準としたディレクトリ階層となっており、その下に画像データ群２０００中の各画像データが記録されている。

例えば、最初の画像データを１０月９日に撮影した場合について説明する。最初の画像データであるため、ファイル名は例えば、『画像データ１.mpg』（"mpg"はMPEG形式の画像であることを意味する）となる。次いで、タイマ１０１２から『１０月』『１０月９日』という撮影した日付の情報を取得し、『１０月』ディレクトリ内の『１０月９日』ディレクトリにファイル名『画像データ１.mpg』として記録する。なお、対応するディレクトリが存在しない場合は新たにディレクトリを生成した上で記録する。また、撮影日が２日以上にまたがる場合は、例えば撮影開始日や撮影終了日を基準とするなど、任意の方法で記録先のディレクトリを決定する。

次に、画像データを再生する場合について説明する。操作部１００８により再生開始の指示がなされると、ＣＰＵ１００４は再生する画像データのファイル名及び記録されているディレクトリ名を取得する。

ＣＰＵ１００４は、図３のグラフの特性に従って表示階層を決定する。ここで、Ｌ１階層はファイル名の階層、Ｌ２階層はディレクトリ名（日付）の階層、Ｌ３階層はディレクトリ名（月）の階層である。本実施形態では、第１の実施形態と同様に、表示階層より上の階層の情報も併せて表示する。

すなわち、再生速度がａ１未満の場合にはＬ１階層であるファイル名を主に表示し、日付や月の変わり目ではＬ２階層やＬ３階層のディレクトリ名を表示する。再生速度がａ１以上ａ２未満になるとＬ２階層である『日付』のディレクトリ名を主に表示し、月の変わり目ではＬ３階層のディレクトリ名を表示する。再生速度がａ２以上になるとＬ３階層である『月』のディレクトリ名を主に表示する。

図１１は、本実施形態における画像再生時の表示の一例を示した図である。表示する情報がファイル名やディレクトリ名である以外は第１の実施形態と同様であるため、詳細な説明は省略する（図４参照）。また、全体階層表示枠７００１を設けてもよい点や、一時停止の際の表示方法も第１の実施形態と同様であるため、詳細な説明は省略する（図７参照）。

本実施形態では、階層構造を『月』、『日付』に基づくディレクトリ構造としたが、例えばＧＰＳアンテナ１０１１が受信した位置情報に基づくディレクトリ構造など、他の構造であっても構わない。また、ＣＰＵ１００４がタイマ１０１２から得た情報に従って自動的に画像データの記録ディレクトリを決定するのではなく、ユーザが撮影後に撮影した画像データを記録するディレクトリを指定する構成としても構わない。さらに、ユーザがディレクトリ構成及びディレクトリ、ファイルの名称を指定する構成とするなど、記憶媒体１０１０に記録された画像データのディレクトリ名とファイル名を補助情報として表示するものであればどのような構成であっても構わない。

また、本実施形態では一例としてデジタルビデオカメラ１０００を用いたが、記憶媒体に階層構造で記録された画像データとともにそのファイル名およびディレクトリ名を表示する装置であればどのようなものであっても構わない。

また、上記例ではディレクトリ名もしくはファイル名をテキストとして表示したが、図７（ｂ）のような階層図を表示する方法であってもよい。また、一時停止した場合は通常再生速度と同様にＬ１階層のファイル名を表示するとして説明したが、図１０に示したような階層図全体もしくは、階層図の一部を展開した図を表示する方法であってもよい。

以上説明したように、本実施形態によれば、デジタルビデオカメラ１０００は撮影時に画像データと併せて日付データを取得し、日付データに基づくディレクトリ階層を構成して対応するディレクトリに保存する。再生時にはディレクトリ名及びファイル名を補助情報として表示装置１００７に表示する。表示するディレクトリ名及びファイル名は再生速度に応じて、どの階層（例えば、月を示すディレクトリ名レベルかファイル名レベルか、など）を主として表示するか、決定する。

これにより、通常再生時には補助情報として詳細なディレクトリ構成を知ることができる一方で、高速再生時であっても表示階層を上位にすることによりディレクトリ名及びファイル名の切り替わる速度を遅くし、補助情報の視認性を保つことが可能となる。

＜第４の実施形態＞
第４の実施形態では、画像データの補助情報として代表画像を時系列表示する場合について説明する。なお、本実施形態において、デジタルビデオカメラ１０００の構成（図１）、再生時の表示階層の決定方法（図３）、表示階層を切り替える再生速度の閾値の決定方法（図５、ただし、横軸は「単位時間あたりの代表画像の変化量」と読替え）、再生速度を変化させたときの表示階層の時間的変化（図６）、表示階層は３階層に限定するものではないこと、代表画像データの記録場所、の６点は第１の実施形態と同様でよいため、詳細な説明は省略する。

図１２は、本実施形態において画像データを再生する際の表示階層を示す図である。撮影した画像データは１カット毎に１つのファイルとして記録し、画像データ群２０００を連続して再生する際には右にいくほど時間的に後に再生される画像データであることを示している。

次に補助情報として表示する代表画像について説明する。代表画像とは、画像データの所定時間間隔（例えば１０秒間隔）での１枚の静止画像である。図１２のＬ１階層では１０秒間隔で画像データを分割し、その中から代表画像を生成することを表している。代表画像の生成方法は、例えば分割した各画像データの先頭の画像データを代表画像とする方法や、ＣＰＵ１００４が分割した各画像データを解析して、所定の条件に従って代表画像を選択する方法などをとることができる。また、１０秒間隔で代表画像を生成するが、１０秒に満たない間に画像データが次のファイルに切り替わる場合（例えば画像データ(1)から画像データ(2)に切り替わる場合）は、次の画像データの先頭から１０秒分の代表画像を生成する。また、Ｌ２階層は１カット、Ｌ３階層は２カット毎の代表画像であり、Ｌ１階層と同様な方法で生成することができる。

図１３は、本実施形態における画像表示画面４０００の表示の様子を示す図である。代表画像表示枠１３００１中に再生する画像データの代表画像が時系列に表示され、現在再生中の画像に対応する代表画像は例えば太枠で囲うなどして強調表示される。図１３(b)は通常再生時（Ｌ１階層）、図１３(c)は高速再生時（Ｌ２階層）の代表画像の流れを示している。

このように、再生速度によって表示する代表画像を切り替えることによって、高速再生時であっても代表画像の視認性を保ち、画像データの検索が容易になる。

なお、表示階層を変える再生速度の閾値の決定方法は図５のグラフにおける横軸が「単位時間当たりの代表画像の変化量」である以外は第１の実施形態と同様であるため、詳細な説明は省略する。

本実施形態では、各階層の代表画像を生成する間隔を１０秒、１カット、２カットとして説明したが、これに限定するものではなくどのような間隔に設定してもよい。また、階層も３階層に限定するものではなく、２階層以上あれば何階層であってもよい。

また、本実施形態では、再生中の画像データの補助情報として代表画像を表示したが、代表画像のみを表示して再生する方法をとることもできる。図１４はこのときの画像表示画面４０００の表示を示す図である。画像表示画面４０００中には代表画像表示枠１３００１のみが表示されており、時系列に一定時間間隔の静止画像を表示する。操作部１００８の指示により再生速度が変化すると、それに応じて、表示する画像データの時間間隔を変更する（図１４(b)、図１４(c)参照）。

また、上記第１乃至第４の実施形態では、撮像機能をもつデジタルビデオカメラ１０００を例に説明したが、記憶媒体に記録された階層化された情報を表示する装置であれば、撮像機能を持たず再生だけを行なう再生装置であってもよい。また、記憶媒体はネットワークを介して再生装置に接続されていてもよい。さらに、操作部１００８の指示により、補助情報の表示／非表示を切り替えられる設計にしてもよい。

以上説明したように、本実施形態によれば、デジタルビデオカメラ１０００は撮影した画像の再生時に代表画像を補助情報として表示装置１００７に表示する。表示する代表画像は再生速度に応じて所定の時間間隔で生成する。

これにより、通常再生時には補助情報として短い間隔で代表画像を見ることができる一方で、高速再生時であっても代表画像を生成する時間間隔を長くする、すなわち表示階層を上位にすることにより代表画像の切り替わる速度を遅くし、補助情報の視認性を保ち、目的とする画像データの検察を容易にすることが可能となる。

＜第５の実施形態＞
上述の実施形態においては、画像データの再生表示に本発明を適用した場合の例を説明したが、第５の実施形態では、コンピュータアプリケーションにおける表示に本発明を適用した場合の例を説明する。ここでは、コンピュータアプリケーションの一例として、テキストエディタにおいて、スクロール速度に応じて表示を変化させる場合について説明する。なお、本実施形態において、表示階層を切り替える再生速度の閾値の決定方法（図５、ただし、横軸は「単位時間あたりの表示テキストの変化量」と読替え）、再生速度を変化させたときの表示階層の時間的変化（図６）、表示階層は３階層に限定するものではないこと、の３点は第１の実施形態と同様でよいため、詳細な説明は省略する。

図１５は、本実施形態におけるテキストエディタを実行するパソコン１５０００の構成を示すブロック図である。パソコン１５０００は、液晶ディスプレイなどの出力装置１５００１、パソコン１５０００全体の動作を制御するＣＰＵ１５００２、メモリ１５００３、インタフェース１５００４、記憶媒体１５００５、キーボード、マウス等の入力装置１５００６を含む。

入力装置１５００６によりテキストデータが入力されると、ＣＰＵ１５００２は入力内容をメモリ１５００３に取り込み、出力装置１５００１に出力する。図１６はこの時のテキストエディタ表示画面の一例を示したものである。テキストデータ表示中にスクロールバー１６００１を入力装置１５００６のマウス等でドラッグすると、ＣＰＵ１５００２はテキストをスクロールさせて出力装置１５００１に表示する。

また、テキストの入力の際に、入力テキストに階層を設定することが可能である。例えば、『大見出し』-『小見出し』-『本文』のように、階層を設定する。図１６では、１６００２、１６００７、１６００９が『大見出し』、１６００３、１６００８が『小見出し』、１６００４が『本文』を示している。

本実施形態では、スクロール速度に応じて表示階層を決定する。図１７はスクロール速度と表示階層の関係を示すグラフであり、決定方法は第１の実施形態と同様なため、詳細な説明は省略する。また、本実施形態では第１の実施形態と同様、表示階層と併せて、それよりも上の階層のテキストも表示する。

図１６に戻って、スクロール速度が遅い場合はＬ１階層『本文』以上、すなわち全文を表示してスクロールする。また、スクロール速度が速い（ここでは、ａ１以上ａ２未満）場合は、Ｌ２階層『小見出し』及びＬ３階層『大見出し』のテキストデータのみを表示してスクロールする。また、スクロール中に中心に表示されている行を太枠で囲むなどして強調表示する。これにより、高速でスクロールしていても、テキストデータ全体での現在の位置が分かりやすくなる。また、表示するデータを制限することにより実際の画面上のスクロールは少なくなり、視認性を保つことが可能となる。また、スクロールを止めると、強調表示されている見出しを中心として全文が表示されるため、高速スクロール中は全体構成を、スクロールが遅くなると詳細を見ることが容易となる。

本実施形態では、テキストデータそのものを階層化して表示するが、画面を複数に分割し、そのうちの１つ（補助画面）に階層化されたテキストデータを表示し、補助画面でない画面にはスクロール速度に関わらず階層化されていないテキストデータを表示する構成にしてもよい。また、全てのテキストが１画面もしくは２画面程度の少ない画面数で表示できるような場合は、高速スクロール中であっても全文を表示することとしてもよい。

また、本実施形態では一例としてテキストエディタを用いたが、表示する情報はテキストデータに限定するものではなく、画面上に情報を表示し、その情報が階層化可能であり、画面をスクロールさせて表示するものであれば、例えば画像ビューアなどであっても構わない。

以上説明したように、本実施形態によれば、パソコン１５０００はテキストエディタを出力装置１５００１に表示する際に、スクロール速度に応じて表示するテキストデータの階層を決定する。

これにより、低速スクロール時には全文を見ながらスクロールさせることができる一方で、高速スクロール時には特定のレベル以上の見出しのみを表示することにより、出力装置１５００１における表示上のスクロール速度を低下させ、テキストデータの視認性を保つことが可能となる。

＜その他の実施形態＞
上述した各実施の形態の処理は、各機能を具現化したソフトウェアのプログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても実現することができる。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フロッピィ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ，ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行ない、その処理によって前述した各実施の形態の機能が実現される場合も含まれている。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行ない、その処理によって前述した各実施の形態の機能が実現される場合も含むものである。

本発明におけるデジタルビデオカメラの構成を示すブロック図である。 本発明の第１の実施形態における画像データと地名データの対応付けを示す図である。 本発明における再生速度とデータの表示階層の関係を示すグラフである。 本発明の第１の実施形態における出力画像を示す図である。 本発明の第１の実施形態における再生速度の閾値と単位時間あたりの地名変化量の関係を示すグラフである。 本発明における再生速度を変化させたときの表示階層の時間的変化を示すグラフである。 本発明の第１の実施形態における出力画像を示す図である。 本発明の第２の実施形態における字幕データの階層構成を示す図である。 本発明の第２の実施形態における出力画像を示す図である。 本発明の第３の実施形態におけるファイルおよびディレクトリの階層構成を示す図である。 本発明の第３の実施形態における出力画像を示す図である。 本発明の第４の実施形態における表示階層及び、代表画像を生成する各階層毎の間隔を示した図である。 本発明の第４の実施形態における出力画像を示す図である。 本発明の第４の実施形態における出力画像を示す図である。 本発明の第５の実施形態におけるパソコンの構成を示すブロック図である。 本発明の第５の実施形態におけるテキストエディタの表示画面を示す図である。 本発明の第５の実施形態におけるスクロール速度とテキストデータの表示階層の関係を示す図である。

Claims (28)

1. 画像データ及びその補助情報を取得する取得手段と、
   前記画像データ及び対応する前記補助情報を再生する再生手段と、
   を備え、
   前記再生手段が、前記画像データの再生速度に応じ、再生する前記補助情報の情報量を増減させることを特徴とする、画像再生装置。
2. 前記補助情報は、上位の階層が下位の階層より情報量が少ない２以上の階層を持つ階層構造をとり、
   前記再生手段は前記階層の中から再生する階層である表示階層を選択する選択手段を備え、
   前記選択手段は前記再生速度が速くなるほど上位の階層を選択することを特徴とする、請求項１に記載の画像再生装置。
3. 前記補助情報は、前記画像データの撮影位置に対応する地名データを含むことを特徴とする、請求項１又は２に記載の画像再生装置。
4. 前記補助情報は、前記画像データの撮影位置に対応する地名データを含み、上位階層ほど地理的に広範囲を示す地名データであることを特徴とする、請求項２に記載の画像再生装置。
5. 前記補助情報は、前記画像データの撮影日時に対応する日時データを含むことを特徴とする請求項１又は２に記載の画像再生装置。
6. 前記補助情報は、前記画像データの撮影日時に対応する日時データを含み、上位階層ほど時間的に長い期間を示す日時データであることを特徴とする、請求項２に記載の画像再生装置。
7. 前記補助情報は、前記画像データに対応する字幕データを含むことを特徴とする、請求項１又は２に記載の画像再生装置。
8. 前記補助情報は、前記画像データに対応する字幕データを含み、上位階層ほど文字数の少ない字幕データであることを特徴とする、請求項２に記載の画像再生装置。
9. 前記字幕データは、上位階層の字幕は下位階層の字幕を要約したものであることを特徴とする、請求項８に記載の画像再生装置。
10. 前記補助情報は、前記画像データのファイル名又は前記画像データが記録されているディレクトリ名であることを特徴とする、請求項１又は２に記載の画像再生装置。
11. 前記補助情報は、前記画像データにおける所定時間間隔の代表画像を含むことを特徴とする、請求項１又は２に記載の画像再生装置。
12. 前記補助情報は、前記画像データにおける所定時間間隔の代表画像を含み、上位階層の情報ほど長い時間間隔における代表画像であることを特徴とする、請求項２に記載の画像再生装置。
13. 前記補助情報は、場所情報、日時情報、利用者の操作、のいずれか又はこれらを組み合わせた情報を基準として階層化されることを特徴とする、請求項２に記載の画像再生装置。
14. 前記補助情報は、テキストデータ、画像データ、音声データのいずれか１つ以上を含むことを特徴とする、請求項１乃至１３のいずれか１項に記載の画像再生装置。
15. 前記再生手段が時定数を備えるとともに、前記再生速度を急激に変化させた場合であっても、前記時定数により定められた時間の経過を待って段階的に前記補助情報の情報量を増減させることを特徴とする、請求項1乃至１４のいずれか１項に記載の画像再生装置。
16. 前記補助情報の表示／非表示を切り替える切替手段を備えることを特徴とする、請求項1乃至１５のいずれか１項に記載の画像再生装置。
17. 前記切替手段は、前記画像データの再生速度に応じて、前記補助情報の表示／非表示を切り替えることを特徴とする、請求項１６に記載の画像再生装置。
18. 前記切替手段は、前記画像データの再生速度が所定の閾値以上となった場合に、前記補助情報を表示させることを特徴とする、請求項１７に記載の画像再生装置。
19. 前記切替手段は、前記画像データの再生が一時停止状態である場合に、前記補助情報を表示させることを特徴とする、請求項１７に記載の画像再生装置。
20. 前記補助情報が属する階層を示す階層情報表示手段を備えることを特徴とする、請求項２、４、６、８、９、１２、１３のいずれか１項に記載の画像再生装置。
21. 前記画像データを撮像する撮像手段と、
    前記撮像された画像データを記憶媒体に記録する画像記録手段と、
    を備えることを特徴とする、請求項１乃至２０のいずれか１項に記載の画像再生装置。
22. 前記撮像手段による前記画像データ撮像時に、前記画像データに関する前記補助情報を取得する補助情報取得手段と、
    前記補助情報を前記記憶媒体に記録する補助情報記録手段と、
    を備えることを特徴とする、請求項２１に記載の画像再生装置。
23. 前記補助情報の入力を受け付け、生成・更新する補助情報入力手段を備えることを特徴とする、請求項１乃至２２のいずれか１項に記載の画像再生装置。
24. 予め記録されたデータを表示装置に再生表示するデータ再生表示手段と、
    前記表示装置に表示される前記データをスクロールして表示するスクロール手段と、
    前記スクロールの速度に応じて前記データの表示方法を変化させる表示方法変化手段と、
    を備え、
    前記表示方法変化手段は、前記スクロールの速度が速くなるほど前記データの表示量を減少させることを特徴とする、情報表示装置。
25. 前記データに、前記データを再生表示する際の優先度を付加する優先度付加手段を備えることを特徴とする、請求項２４に記載の情報表示装置。
26. 前記予め記録されたデータとは、テキスト、画像のいずれか１つ以上を含む情報であることを特徴とする、請求項２４又は２５に記載の情報表示装置。
27. 前記表示装置が複数の表示領域を有し、
    前記データ再生表示手段は、前記複数の表示領域のうち、前記表示量を減少させて表示する表示領域とは異なる少なくとも１つの表示領域に、前記スクロールの速度が速くなった場合であっても前記表示量を減少させることなく、前記データを表示することを特徴とする、請求項２４乃至２６のいずれか１項に記載の情報表示装置。
28. 画像データ及びその補助情報を取得する取得工程と、
    前記画像データ及び対応する前記補助情報を再生する再生工程と、
    を備え、
    前記再生工程が、前記画像データの再生速度に応じ、再生する前記補助情報の情報量を増減させることを特徴とする、画像再生方法。