JP2010093526A - 映像信号処理システム、再生装置および表示装置、ならびに映像信号処理方法 - Google Patents

Abstract

【課題】表示画面の有効画素数よりも画素数が多い画像データを一定方向に動かしながら表示する際に、綺麗に表示させる。
【解決手段】再生装置では、表示領域の画素数より遙かに多い画素数の巨大画像データを一定速度で一定方向に移動させることによって生成された素材データからなるビデオ信号が入力され、入力されたビデオ信号を再生するとともに、ビデオ信号のヘッダに格納された素材データの速度を示す速度情報を読み出し、第１の通信部を介してビデオ信号および速度情報を送信する。表示装置では、受信した速度情報に基づき、素材データの速度とビデオ信号に対する処理が関連付けられたテーブルを参照してビデオ信号に対して映像信号処理を行う。
【選択図】図１６

Description

この発明は、表示画面の有効画素数よりも画素数が多い画像データを一定速度で一定方向に動かすようにされた素材データからなるビデオ信号を表示する際に用いて好適な、映像信号処理システム、再生装置および表示装置、ならびに映像信号処理方法に関する。

従来から、フィルムカメラを用いて広い視野を撮影したパノラマ写真が広く楽しまれている。パノラマ写真は、フィルムカメラに設けられたレンズが機械的に回転する特殊な撮影機材や、フィルムに対する撮像部分が横長であり、ワイドレンズが設けられたフィルムカメラを用いて撮影することができる。

近年では、フィルムカメラの衰退やディジタルカメラの普及に伴い、ディジタルカメラによるパノラマ写真の撮影がより手軽に楽しまれている。具体的には、例えば図２７に示すように、ディジタルカメラを回転させるように連続的に移動させ、ある程度の重なりを考慮しながら水平方向や垂直方向などの一定方向に順次、撮影を行う。そして、ＰＣ（Personal Computer）に搭載されたステッチングソフトウェアなどを用いて、撮影された画像を所定に繋ぎ合わせることで、ディジタルカメラの画角よりも遙かに広範囲のパノラマ画像を作成することができる。例えば、下記の特許文献１には、パノラマ画像を撮影する際のカメラの制御方法と、この制御により撮影された画像データからパノラマ画像を作成する方法が記載されている。

特開２００７−４３５０５号公報

このようにして作成されたパノラマ画像は、通常、プリンタ等で印刷されたパノラマ写真として楽しむことが多い。しかしながら、ディジタルデータとして作成されたパノラマ画像を印刷して楽しむということは、フィルムカメラで撮影されたパノラマ写真と同様に、静的な楽しみ方しか行うことができず、ディジタルデータならではの楽しみ方に欠けるものであった。

また、作成されたパノラマ画像をＰＣ用のディスプレイに表示させて楽しむことも考えられる。最近のディジタルカメラにおいては、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージャなどの撮像素子の高性能化が進み、解像度の高い画像データを取得することができる。そのため、このような高い解像度を有する画像データを複数繋ぎ合わせて構成されたパノラマ画像は、ディスプレイの解像度よりも遙かに高い解像度を有している。

したがって、ＰＣ用のディスプレイにパノラマ画像を表示させる場合には、例えば画像データの画素数をディスプレイの表示画素数に合わせて減らす必要がある。しかしながら、画像データの画素数を減らす際には、画像データに対して画素の間引き等を行わなければならず、解像度の劣化を避けることができない。

特に、上述したパノラマ画像は、一般にディスプレイの解像度よりも遙かに高い解像度を有している。そのため、パノラマ画像のような膨大な画素数を有する画像データをディスプレイに表示させた場合には、画像の縮小率が極めて大きくなり、画像データの解像度を生かし切ることができない。

このように、一般に、ディスプレイの画面サイズや解像度の問題から、パノラマ画像をＰＣで十分に楽しむことが困難である。

また、例えば、ＰＣに搭載されたソフトウェアを用いて、画像データを水平方向或いは垂直方向に整数ピクセル単位で読み込んでレンダリングすることにより、図２８に示すように、一定速度で移動するように動的に動かして表示させることも考えられる。より具体的には、例えば、Ｊａｖａ Ｓｃｒｉｐｔ（Ｊａｖａは登録商標）などで記述されることにより、Ｗｅｂ上で楽しむことができる。

しかしながら、この場合には、ＰＣの性能やＯＳ（Operating System）などにより、画像データが全体的に滑らかに動かなかったり、画像データが部分的に不定期に欠落してしまったりすることがある。そのため、パノラマ画像を安定して綺麗に表示させることが困難であった。

ところで、近年では、ディジタル伝送技術や映像データの圧縮符号化技術の進歩に伴い、テレビジョン映像の高解像度化が実現されている。例えば、現行の地上ディジタルテレビジョン放送における所謂ハイビジョン映像では、インターレース走査で１９２０画素×１０８０画素（１０８０Ｉ）の解像度が実現されている。また、規格としてはプログレッシブ走査で１９２０画素×１０８０画素（１０８０Ｐ）の解像度も規定されている。それに伴い、当該テレビジョンに映像を映出するためのテレビジョン受像機においても、ＬＣＤ（Liquid Crystal Display）やＰＤＰ（Plasma Display Panel）、有機ＥＬ（Electro Luminescence）などを用いたハイビジョン映像の解像度に対応した有効表示画素数を持つ製品が多数、開発されている。また、ハイビジョン映像によるテレビジョン信号を伝送するためのインターフェース規格も、ＨＤＭＩ（High Definition Multimedia Interface）として規定されている。このようなテレビジョン受像機（以下、テレビと適宜称する）は、ＰＣ用のディスプレイに比べて画面のサイズも大きく、高い解像度を有している。

ここで、１９２０画素×１０８０画素の解像度で映像を表示するテレビなどの表示装置に、パノラマ画像をドットバイドットで表示して動的に動かす場合について考える。この場合、パノラマ画像における垂直方向または水平方向の画素数をテレビの画素数に合わせるように解像度変換し、一定の速度で移動させる。

例えば、図２８に示すような横長のパノラマ画像の場合には、画像データの垂直方向の画素数が表示装置の垂直方向の画素数である１０８０画素となるように解像度変換を行う。そして、表示装置の垂直周波数に同期して、所定の画素単位で水平方向に移動させる。例えば、ＮＴＳＣ（National Television System Committee）方式の場合、表示装置の垂直周波数である６０Ｈｚに同期して、１／６０秒毎に１画素や２画素などの整数画素単位で水平方向に移動させる。こうすることにより、画素単位で移動するパノラマ画像の再生が可能となる。

なお、縦長のパノラマ画像の場合には、画像データの水平方向の画素数が表示装置の水平方向の画素数である１９２０画素となるように解像度変換すればよい。

このとき、パノラマ画像の元の解像度が高いので、パノラマ画像をテレビに表示させた際に、ディジタルカメラ特有のノイズ感やベイヤー配列によるぼやけもあまり気にならずに、極めて高精細なパノラマ画像を表示することができる。

ところで、最近では、ＢＤ（Blu-ray Disc；Blu-rayは登録商標）やＤＶＤ（Digital Versatile Disc）を記録媒体とし、記録媒体に記録された画像データを再生する再生装置が広く普及してきている。このような再生装置は、一般に、画像データをインターレースで出力する。一方、ＬＣＤやＰＤＰ、有機ＥＬを用いたテレビなどの表示装置は、プログレッシブで表示する。そのため、再生装置から出力されたインターレースの画像データを、プログレッシブで表示する場合には、この画像データをプログレッシブに変換するためのＩ／Ｐ（Interlace/Progressive）変換を行う必要がある。

例えば、インターレースの素材をプログレッシブに変換する方法としては、図２９に示すように、奇数フィールドの画像と偶数フィールドの画像とを単純に重ね合わせることによって１枚のフレーム画像を生成する単純フィールド合成を適用することができる。

しかしながら、このように、２枚のフィールド画像から１枚のフレーム画像を生成する単純フィールド合成では、画像の枚数が減ってしまい、フレームレートが変化してしまう。また、動きの速い映像の場合には、図３０に示すようにぶれた映像となってしまう場合がある。

そこで、フィールド合成の際に、動きが速い映像の場合には、１枚のフィールド画像を用いて足りないラインの補間を行う。また、動きのほとんどない映像の場合には、２枚のフィールド画像を用いて動き補償等を行い、フィールド合成によって半分に減ったフィールドを補間して、元のフレームレートを維持するようにしている。

このとき、１枚のフィールド画像内でライン補間を行った場合には、２枚のフィールド画像を合成した場合と比較して、全体的にぼやけた映像になってしまうおそれがある。また、画像の内容によって、フィールド内での補間とフィールド間での補間とを適応的に切り替えてフィールド合成を行うことも考えられるが、切り替え方法によっては、画質が劣化してしまう。

Ｉ／Ｐ変換は、上述した方法以外にも、様々な方法を用いて行うことができる。しかしながら、従来から用いられている方法では、Ｉ／Ｐ変換によりインターレースの映像をプログレッシブに変換する際に画質が劣化してしまい、想定された映像品質を得ることが困難であるという問題点があった。

したがって、この発明の目的は、表示画面の有効画素数よりも画素数が多い画像データを一定方向に動かしながら表示する際に、綺麗に表示させることができるような映像信号処理システム、再生装置および表示装置、ならびに映像信号処理方法を提供することにある。

上述した課題を解決するために、第１の発明は、表示領域の持つ画素数より遙かに多い画素数を持つ巨大画像データを一定速度で一定方向に移動させることによって生成された素材データからなるビデオ信号が入力される入力部と、
入力部に入力されたビデオ信号を再生する再生部と、
他の機器と通信を行う第１の通信部と
を有し、
第１の通信部を介して他の機器とビデオ信号のやりとりができるようにされた再生装置と、
ビデオ信号に対して所定の映像信号処理を行う映像信号処理部と、
映像信号処理が施されたビデオ信号を表示する表示部と、
ビデオ信号の素材データの速度を示す速度情報とビデオ信号に対する処理内容が関連付けられたテーブルと、
他の機器と通信を行う第２の通信部と
を有し、
第２の通信部を介して他の機器とビデオ信号のやりとりができるようにされた表示装置と
からなり、
第１および第２の通信部により再生装置および表示装置が接続された際に、再生装置は、ビデオ信号のヘッダに格納された素材データの速度情報を読み出し、ビデオ信号および速度情報を表示装置に対して送信し、表示装置は、第２の通信部を介して受信した速度情報に基づき、テーブルを参照してビデオ信号に対して映像信号処理を行う映像信号処理システムである。

また、第２の発明は、表示領域の持つ画素数より遙かに多い画素数を持つ巨大画像データを一定速度で一定方向に移動させることによって生成された素材データからなるビデオ信号が入力され、入力されたビデオ信号を再生し、第１の通信部を介して他の機器とビデオ信号のやりとりができるようにされた再生装置と、
ビデオ信号に対して所定の映像信号処理を行い、映像信号処理が施されたビデオ信号を表示部に表示し、第２の通信部を介して他の機器とビデオ信号のやりとりができるようにされた表示装置と
を第１および第２の通信部で接続した際に、
再生装置は、ビデオ信号のヘッダに格納された素材データの速度を示す速度情報を読み出し、ビデオ信号および速度情報を表示装置に対して送信し、表示装置は、受信した速度情報に基づき、ビデオ信号の素材データの速度情報とビデオ信号に対する処理内容が関連付けられたテーブルを参照してビデオ信号に対して映像信号処理を行う映像信号処理方法である。

また、第３の発明は、表示領域の持つ画素数より遙かに多い画素数を持つ巨大画像データを一定速度で一定方向に移動させることによって生成された素材データからなるビデオ信号が入力される入力部と、
入力部に入力されたビデオ信号を再生する再生部と、
他の機器と通信を行う第１の通信部と
を有し、
第１の通信部を介してなされる通信により、他の機器とビデオ信号のやりとりを行うとともにビデオ信号のヘッダに格納された素材データの速度情報を読み出し、ビデオ信号および速度情報を他の機器に対して送信する再生装置である。

また、第４の発明は、表示領域の持つ画素数より遙かに多い画素数を持つ巨大画像データを一定速度で一定方向に移動させることによって生成された素材データからなるビデオ信号が入力され、入力されたビデオ信号を再生し、第１の通信部を介して他の機器とビデオ信号のやりとりを行うようにされた再生装置を第１の通信部を介して他の機器と接続した際に、再生装置は、ビデオ信号のヘッダに格納された素材データの速度情報を読み出し、ビデオ信号および速度情報を他の機器に対して送信する映像信号処理方法である。

また、第５の発明は、表示領域の持つ画素数より遙かに多い画素数を持つ巨大画像データを一定速度で一定方向に移動させることによって生成された素材データからなるビデオ信号に対して所定の映像信号処理を行う映像信号処理部と、
映像信号処理が施されたビデオ信号を表示する表示部と、
ビデオ信号の素材データの速度を示す速度情報とビデオ信号に対する処理内容が関連付けられたテーブルと、
他の機器と通信を行う第２の通信部と
を有し、
第２の通信部を介してなされる通信により、他の機器とビデオ信号のやりとりを行うとともに速度情報を受信し、受信した速度情報に基づき、テーブルを参照してビデオ信号に対して映像信号処理を行う表示装置である。

また、第６の発明は、表示領域の持つ画素数より遙かに多い画素数を持つ巨大画像データを一定速度で一定方向に移動させることによって生成された素材データからなるビデオ信号に対して所定の映像信号処理を行い、映像信号処理が施されたビデオ信号を表示し、第２の通信部を介して他の機器とビデオ信号のやりとりを行うようにされた表示装置を第２の通信部を介して他の機器と接続した際に、表示装置は、ビデオ信号の素材データの速度を示す速度情報を受信し、受信した速度情報に基づき、ビデオ信号の素材データの速度情報とビデオ信号に対する処理内容が関連付けられたテーブルを参照してビデオ信号に対して映像信号処理を行う映像信号処理方法である。

この発明は、表示領域の持つ画素数より遙かに多い画素数を持つ巨大画像データを一定速度で一定方向に移動させることによって生成された素材データからなるビデオ信号を表示させる際に、所定の映像信号処理を行う。このとき、ビデオ信号の素材データの速度に応じて２−２プルダウン処理やハイフレームレート処理などの映像信号処理を行うようにしているため、入力されたビデオ信号を滑らかに表示させることができるという効果がある。

以下、この発明の実施の第１の形態について説明する。この発明の実施の第１の形態では、パノラマ画像など、表示装置における表示領域の画素数を超える画素数を有する画像データ（以下、巨大画像データと適宜称する）を一定速度で一定方向に移動させることによって生成されたビデオ信号を再生装置で再生し、表示装置の表示領域に表示させる。

このとき、再生装置は、標準的に扱われているフィールド周波数が６０Ｈｚでインターレース走査（以下、６０ｉと適宜称する）のビデオ信号を出力する。表示装置は、入力された６０ｉのビデオ信号に対して通常のＩ／Ｐ（Interlace/Progressive）変換ではなく２−２プルダウン処理を行うことにより、フレーム周波数が６０Ｈｚでプログレッシブ走査（以下、６０ｐと適宜称する）のビデオ信号に変換して表示する。

図１および図２を用いて、より具体的に説明する。ここでは、ＢＤ（Blu-ray Disc；登録商標）などの記録媒体に記録されたパノラマ画像などの巨大画像データに基づくビデオ信号を再生装置で読み出し、表示装置の表示領域に表示させる場合を例にとって説明する。例えば、図１に示すような横長のパノラマ画像を巨大画像データとして用い、この巨大画像データを一定速度で一定方向に移動させながら表示させる場合について考える。

先ず、巨大画像データを一定速度で一定方向に移動させながら表示させるための素材データとして、例えばフレーム周波数が３０Ｈｚでプログレッシブ走査（以下、３０ｐと適宜称する）のビデオ信号を生成する。例えば、図１に示す横長のパノラマ画像データを１／３０秒に同期させ、１画素や２画素など、所定の整数画素単位で水平方向に移動させる。こうすることにより、巨大画像データから３０ｐのビデオ信号（以下、素材データと適宜称する）を生成することができる。

次に、再生装置で再生可能なフォーマットに対応するように、３０ｐの素材データから６０ｉのビデオ信号を生成する。６０ｉのビデオ信号は、３０ｐの素材データにおける１フレームを２つのフィールドに分割することにより生成することができる。例えば、図２に示すように、３０ｐの素材データの第１フレームから６０ｉのビデオ信号の第１ａフィールドおよび第１ｂフィールドを生成する。同様にして、３０ｐの素材データの第２フレームから６０ｉのビデオ信号の第２ａフィールドおよび第２ｂフィールドを生成する。

表示装置では、生成された６０ｉのビデオ信号を６０ｐのビデオ信号に変換する。この発明の実施の第１の形態では、６０ｉから６０ｐへのビデオ信号の変換の際に、通常のＩ／Ｐ変換ではなく、２−２プルダウン処理を用いる。２−２プルダウン処理では、６０ｉのビデオ信号の１つのフィールドから６０ｐのビデオ信号の１つのフレームを生成する。例えば、図２に示すように、６０ｉのビデオ信号の第１ａフィールドから６０ｐのビデオ信号の第１フレームを生成し、６０ｉの第１ｂフィールドから６０ｐの第２フレームを生成する。

このとき、２−２プルダウン処理によって１枚のフレームを生成する際に用いられる６０ｉのビデオ信号の連続する２枚のフィールドは、同一の画像データである。したがって、６０ｉのビデオ信号を２−２プルダウン処理によって６０ｐのビデオ信号に変換することにより、元の素材データとしての３０ｐのビデオ信号を再生することができる。

図３は、この発明の実施の第１の形態に適用可能な再生装置１の一例の構成を示す。再生装置１は、ＣＰＵ（Central Processing Unit）１１、再生制御部１４、ＨＤＭＩ（High Definition Multimedia Interface）トランスミッタ１６、ネットワークインターフェース（Ｉ／Ｆ）１７およびデコーダ１８を備え、各部がバス１０を介して接続されている。なお、ここでは、説明が煩雑となるのを防ぐため、ここでは、この発明と直接的に関わりのない部分については、図示および説明を省略する。

ＣＰＵ１１は、ＲＯＭ(Read Only Memory)１２に予め記憶されたプログラムに従い、ＲＡＭ(Random Access Memory)１３をプログラム実行の際のワークメモリとして用いて、この再生装置１の各部を制御する。

再生制御部１４には、記録媒体１５が接続される。再生制御部１４は、記録媒体１５に記録されたデータの再生制御を行う。再生制御部１４は、記録媒体１５から３０ｐのビデオ信号が素材データとされた６０ｉのビデオ信号を読み出し、ＨＤＭＩトランスミッタ１６に供給する。記録媒体１５としては、例えばＢＤやＤＶＤ（Digital Versatile Disc）などの光ディスクを用いることができる。また、記録媒体１５として着脱可能な不揮発性メモリやハードディスクを用いることもできる。さらに、記録媒体１５は、従来から動画データの記録に用いられる磁気テープを適用することも可能である。

ＨＤＭＩトランスミッタ１６は、再生制御部１４から供給されたビデオ信号を、後述する表示装置２に設けられたＨＤＭＩレシーバ２４に供給する。なお、ＨＤＭＩトランスミッタ１６とＨＤＭＩレシーバ２４との通信の詳細については、後述する。

ネットワークＩ／Ｆ１７は、有線ＬＡＮ（Local Area Network）や無線ＬＡＮ等によりインターネットなどの外部のネットワークに接続され、所定のプロトコルを用いて外部との通信を行う。

デコーダ１８には、チューナ１９が接続される。チューナ１９は、アンテナを介して受信したディジタルテレビジョン放送などの電波から所定の周波数の信号を選択する。そして、この信号に対して復調や誤り訂正などの所定の信号処理を施して得られたトランスポートストリーム（ＴＳ：Transport Stream）から必要なストリームを取り出し、デコーダ１８に供給する。デコーダ１８は、チューナ１９から供給されたストリームに含まれる圧縮ビデオ信号に対して所定の復号処理を施し、ビデオ信号を出力する。

図４は、この発明の実施の第１の形態に適用可能な表示装置２の一例の構成を示す。表示装置２は、ＣＰＵ２１、ＨＤＭＩレシーバ２４、ＧＰＵ（Graphics Processing Unit）２５、ネットワークＩ／Ｆ２８およびデコーダ２９を備え、各部がバス２０を介して接続されている。

ＣＰＵ２１は、ＲＯＭ２２に予め記憶されたプログラムに従い、ＲＡＭ２３をプログラム実行の際のワークメモリとして用いて、この表示装置２の各部を制御する。ＨＤＭＩレシーバ２４は、再生装置１に設けられたＨＤＭＩトランスミッタ１６から６０ｉのビデオ信号を受け取る。

ＧＰＵ２５には、表示部２６およびＶＲＡＭ（Video Random Access Memory）２７が接続される。ＧＰＵ２５は、３０ｐのビデオ信号が素材データとされた６０ｉのビデオ信号に対してＶＲＡＭ２７を用いて２−２プルダウン処理を施し、６０ｐのビデオ信号を生成する。そして、生成された６０ｐのビデオ信号を表示部２６に表示する。表示部２６としては、ＬＣＤ（Liquid Crystal Display）やＰＤＰ（Plasma Display Panel）、有機ＥＬ（Electro Luminescence）、ＣＲＴ（Cathode Ray Tube）等を用いることができる。

ネットワークＩ／Ｆ２８は、有線ＬＡＮ（Local Area Network）や無線ＬＡＮ等によりインターネットなどの外部のネットワークに接続され、所定のプロトコルを用いて外部との通信を行う。

デコーダ２９には、チューナ３０が接続される。チューナ３０は、アンテナを介して受信したディジタルテレビジョン放送などの電波から所定の周波数の信号を選択する。そして、この信号に対して復調や誤り訂正などの所定の信号処理を施して得られたトランスポートストリーム（ＴＳ：Transport Stream）から必要なストリームを取り出し、デコーダ２９に供給する。デコーダ２９は、チューナ３０から供給されたストリームに含まれる圧縮ビデオ信号に対して所定の復号処理を施し、ビデオ信号を出力する。

図５は、ソース機器である再生装置１に設けられたＨＤＭＩトランスミッタ１６と、シンク機器である表示装置２に設けられたＨＤＭＩレシーバ２４との間で行われる通信を概略的に示す。ＨＤＭＩトランスミッタ１６から、映像のデータ信号がＴＭＤＳ(Transition Minimized Differential Signaling)チャンネル０〜２を用いて送信され、ＨＤＭＩレシーバ２４に受信される。また、ＨＤＭＩトランスミッタ１６から、クロック信号がＴＭＤＳクロックチャンネルを用いて送信され、ＨＤＭＩレシーバ２４に受信される。ＨＤＭＩレシーバ２４は、受信されたこれらの信号に基づき、ビデオ信号およびオーディオ信号を生成し、出力する。

また、表示装置２側では、ベンダ名や型番、解像度といった表示装置固有の情報を保持するＲＯＭ４０を有している。ＨＤＭＩ信号の送信側である再生装置１は、ＤＤＣ(Display Data Channel)を用いて表示装置２側と通信を行い、ＲＯＭ４０に保持される表示装置固有の情報を取得する。表示装置固有の情報のデータ形式は、ＥＤＩＤ(Extended Display Identification Data)として規定されている。ＤＤＣは、上述したＴＭＤＳチャンネル０〜２およびＴＭＤＳクロックチャンネルと共通のケーブルで伝送される。

ところで、通常の表示装置では、再生装置１から出力された、３０ｐのビデオ信号が素材データとされた６０ｉのビデオ信号を受け取った場合に、通常のビデオ信号と同様に一般的なＩ／Ｐ変換を行ってしまい、画質が劣化してしまうおそれがある。そのため、再生装置から出力されるビデオ信号が３０ｐの素材データを用いていることを、表示装置側に通知する必要がある。

そこで、この発明の実施の第１の形態では、６０ｉのビデオ信号の素材データの動く速度（フレームレート）を示す速度情報をＢＤのヘッダ等に記述しておき、この速度情報を表示装置に通知する。

ここで、ＢＤに記録されるファイルの管理構造について、図６を用いて概略的に説明する。なお、ここでは、この発明と直接的に関わりのない部分については、詳細な説明を省略する。ファイルは、ディレクトリ構造により階層的に管理される。記録媒体上には、先ず、１つのディレクトリ（図６の例ではルート(root)ディレクトリ）が作成される。このディレクトリの下が、１つの記録再生システムで管理される範囲とする。

ルートディレクトリの下に、ディレクトリ"BDMV"およびディレクトリ"CERTIFICATE"が置かれる。ディレクトリ"CERTIFICATE"は、著作権に関する情報が格納される。

ディレクトリ"BDMV"の直下には、ファイルは、ファイル"index.bdmv"およびファイル"MovieObject.bdmv"の２つのみを置くことができる。また、ディレクトリ"BDMV"の下に、ディレクトリ"PLAYLIST"、ディレクトリ"CLIPINF"、ディレクトリ"STREAM"、ディレクトリ"AUXDATA"、ディレクトリ"META"、ディレクトリ"BDJO"、ディレクトリ"JAR"、およびディレクトリ"BACKUP"が置かれる。

ディレクトリ"PLAYLIST"は、プレイリストのデータベースが置かれるディレクトリである。すなわち、ディレクトリ"PLAYLIST"は、ムービープレイリストに関するファイルであるファイル"xxxxx.mpls"を含む。ファイル"xxxxx.mpls"は、ムービープレイリストのそれぞれに対して作成されるファイルである。ファイル名において、"."（ピリオド）の前の"xxxxx"は、５桁の数字とされ、ピリオドの後ろの"mpls"は、このタイプのファイルに固定的とされた拡張子である。

ディレクトリ"CLIPINF"は、クリップのデータベースが置かれるディレクトリである。すなわち、ディレクトリCLIPINF"は、クリップＡＶ（Audio/Video）ストリームファイルのそれぞれに対するクリップインフォメーションファイルであるファイル"zzzzz.clpi"を含む。ファイル名において、"."（ピリオド）の前の"zzzzz"は、５桁の数字とされ、ピリオドの後ろの"clpi"は、このタイプのファイルに固定的とされた拡張子である。

ディレクトリ"STREAM"は、実体としてのＡＶストリームファイルが置かれるディレクトリである。すなわち、ディレクトリ"STREAM"は、クリップインフォメーションファイルのそれぞれに対応するクリップＡＶストリームファイルを含む。クリップＡＶストリームファイルは、ＭＰＥＧ２(Moving Pictures Experts Group 2)のトランスポートストリーム（以下、ＭＰＥＧ２ ＴＳと略称する）からなり、ファイル名が"zzzzz.m2ts"とされる。ファイル名において、ピリオドの前の"zzzzz"は、対応するクリップインフォメーションファイルと同一することで、クリップインフォメーションファイルとこのクリップＡＶストリームファイルとの対応関係を容易に把握することができる。

図７は、クリップインフォメーションファイルの一例の構造を表すシンタクスを示す。ここでは、シンタクスをコンピュータ装置などのプログラムの記述言語として用いられるＣ言語の記述法に基づき示す。これは、他のシンタクスを表す図において、同様である。フィールドtype_indicatorは、３２ビット（４バイト）のデータ長を有し、このファイルがクリップインフォメーションファイルであることを示す。フィールドversion_numberは、３２ビット（４バイト）のデータ長を有し、このクリップインフォメーションファイルのバージョンを示す。

このクリップインフォメーションファイルは、ブロックClipInfo()、ブロックSequenceInfo()、ブロックProgramInfo()、ブロックCPI()、ブロックClipMark()およびブロックExtensionData()を有する。それぞれ３２ビットのデータ長を有するフィールドSequenceInfo_start_address、フィールドProgramInfo_start_address、フィールドCPI_start_address、フィールドClipMark_start_addressおよびフィールドExtensionData_start_addressは、各々対応するブロックの開始アドレスを示す。

ブロックProgramInfo()は、このクリップインフォメーションファイルに管理されるクリップＡＶストリームの符号化方式や、クリップＡＶストリーム中のビデオデータのアスペクト比などの情報が記述される。ブロックProgramInfo()は、この発明の実施の第１の形態に係るデータが記述される。

図８は、ブロックProgramInfo()の一例の構造を表すシンタクスを示す。フィールドLengthは、３２ビットのデータ長を有し、このフィールドLengthの直後からブロックProgramInfo()の最後までのデータ長を示す。ブロックStreamCodingInfo(stream_index)は、対応するフィールドstream_PID[stream_index]で示されるエレメンタリストリームの符号化方式に関する情報が記述される。

図９は、ブロックStreamCodingInfo(stream_index)の一例の構造を表すシンタクスを示す。フィールドLengthは、８ビットのデータ長を有し、このフィールドLengthの直後からブロックStreamCodingInfo(stream_index)の終わりまでのデータ長を示す。

フィールドLengthの次に、８ビットのデータ長を有するフィールドstream_coding_typeが配される。フィールドstream_coding_typeでは、値[stream_index]で示されるエレメンタリストリームの符号化のタイプが示される。一例として、フィールドstream_coding_typeの値として値"0x2B"、値"0x1B"、値"0xEA"、値"0x80"〜値"0x86"、値"0xA1"、値"0xA2"および値"0x90"〜値"0x92"が定義されている。次のif文に従い、このフィールドstream_coding_typeの値に応じた記述がなされる。なお、数値の記述において"0x"は、その数値が１６進表記されていることを示す。これは、以下の同様な表記について共通である。

フィールドstream_coding_typeの値が例えば"0x02"、"0x1B"または"0xEA"であって、値[stream_index]で示されるエレメンタリストリームがビデオストリームであることが示されれば、if文に従いフィールドvideo_format、フィールドframe_rateおよびフィールドaspect_ratioが記述され、２ビットのデータ長を有する領域reserved_for_furure_useを介してさらにフラグcc_flagが記述される。フラグcc_flagの後には、１７ビットのデータ長を有する領域reserved_for_furure_useが配される。

フィールドvideo_formatは、４ビットのデータ長を有し、値[stream_index]で示されるビデオデータのフォーマットを示す。図１０は、フィールドvideo_formatで示されるビデオデータの一例のフォーマットを一覧で示す。図１０に例示されるように、ビデオデータのフォーマットは、４ビットで表現可能な値"０"〜値"１５"で識別され、値"０"および値"８"〜値"１５"は、予約とされている。値"１"〜値"７"で、それぞれビデオデータのフォーマットの４８０ｉ、５７６ｉ、４８０ｐ、１０８０ｉ、７２０ｐ、１０８０ｐおよび５７６ｐを示す。

これらのビデオフォーマットは、ＩＴＵ(International Telecommunication Union)−Ｒ ＢＴ.６０１−４（５７６ｉ）、ＩＴＵ−Ｒ ＢＴ.６０１−５（４８０ｉ）、ＩＴＵ−Ｒ ＢＴ.１３５８（５７６ｐ）、ＳＭＰＴＥ(Society of Motion Picture and Television Engineers) ２９３Ｍ（４８０ｐ）、ＳＭＰＴＥ ２７４Ｍ（１０８０ｉおよび１０８０ｐ）およびＳＭＰＴＥ ２９６Ｍ（７２０ｐ）により標準化されたフォーマットである。

ブロックStreamCodingInfo(stream_index)において、フィールドframe_rateは、４ビットのデータ長を有し、値[stream_index]で示されるビデオデータのフレームレートを示す。図１１は、フィールドframe_rateで示される一例のフレームレートを一覧で示す。図frame_rateに例示されるように、ビデオデータのフレームレートは、４ビットで表現可能な値"０"〜"１５"で識別され、値"０"、値"５"および値"８"〜値"１５"は、予約とされている。値"１"〜値"４"で、それぞれフレームレートが（２４０００／１００１）Ｈｚすなわち略２３.９７Ｈｚ、２４Ｈｚ、２５Ｈｚおよび（３００００／１００１）Ｈｚすなわち略２９.９７Ｈｚを示す。また、値"６"および値"７"で、それぞれフレームレートが５０Ｈｚおよび（６００００／１００１）Ｈｚすなわち略５９.９４Ｈｚを示す。

この発明の実施の第１の形態では、例えばフラグcc_flagの後に配される１７ビットの領域reserved_for_furure_use（図１２Ａ）に速度情報を記述する。第０ビットから第１６ビットのうち第０ビットは、素材データの動く速度（フレームレート）とビデオ信号のフレームレートとの関係を示す。図１２Ｂに示すように、第０ビットが値"０"の場合は、素材データの速度（フレームレート）とビデオ信号のフレームレートとが一致することを示す。また、第０ビットが値"１"の場合は、素材データの速度（フレームレート）とビデオ信号のフレームレートとが異なることを示す。例えば、６０ｉのビデオ信号の素材データが３０ｐである場合、ビデオ信号のフレームレートが６０Ｈｚであり、素材データのフレームレートが３０Ｈｚであるため、それぞれのフレームレートが異なり、第０ビットが値"１"となる。

また、素材データの速度が第１ビットから第８ビットで表現可能な値で識別される。図１２Ｃに示すように、第１ビットから第８ビットで表現された値は、素材データを１画素移動させる際の時間の逆数を示す。すなわち、第１ビットから第８ビットで表現された値は、素材データのフレームレートを示す。例えば、素材データが１／３０秒ごとに１画素移動させて動かすようにしている場合、第１ビットから第８ビットにより値"３０"となる。

このようにしてＢＤに記述された速度情報を再生装置１から表示装置に通知する場合、この発明の実施の第１の形態では、ＨＤＭＩを用いる。ＨＤＭＩ規格によれば、ビデオ信号を送信するとともに、ビデオ信号のブランキング期間（垂直ブランキング期間および水平ブランキング期間）に各種の情報が含まれたInfoFrameと呼ばれるパケットを送信することができる。そこで、この発明の実施の第１の形態では、このInfoFrameを利用して、再生装置１から表示装置２に対して速度情報を伝送する。

図１３は、ＨＤＭＩにより伝送されるパケットのヘッダ（パケットヘッダ）の構成を示す。パケットヘッダは、２４ビットのデータにより構成され、８ビットがPacket Type（パケットタイプ）を示し、残りの１６ビットがpacket-specific dataを示す。このパケットタイプの値により、パケットに格納された情報を判断することができる。

図１４は、パケットタイプの値に応じたパケットタイプを示す。例えば、パケットタイプの値が"0x80"から始まる場合、すなわち、８ビットの最上位ビットの値が"１"である場合には、このパケットがInfoFrameであることを示す。そして、残りの７ビットがInfoFrame Typeを示す。

パケットタイプの値が"0x81"の場合には、このパケットがInfoFrameであり、Vendor-Specific InfoFrameであることを示す。Vendor-Specific InfoFrameは、ベンダが独自に固有の情報を格納することができる。この発明の実施の第１の形態では、このVendor-Specific InfoFrameに速度情報を格納する。

次に、表示装置２におけるビデオ信号に対する処理内容の決定方法について説明する。表示装置２は、再生装置１から受け取ったInfoFrameのうちVendor-Specific InfoFrameに格納された速度情報に基づき、受け取ったビデオ信号に対する処理を決定する。

このとき、表示装置２は、受け取ったビデオ信号の素材データの速度（フレームレート）と、表示装置２において行う処理の内容との関係を示すテーブルを予め記憶している。表示装置２に予め記憶されているテーブルは、図１５に示すように、素材データの速度（フレームレート）と表示装置２における処理内容が関連付けられている。例えば、素材データの速度が３０Ｈｚや６０Ｈｚの場合には、ビデオ信号に対する処理として２−２プルダウン処理が関連付けられている。

したがって、表示装置２は、再生装置１から受け取った速度情報に基づき、このテーブルを参照してビデオ信号に対する処理を決定する。

図１６は、この発明の実施の第１の形態による一例の画像表示処理の流れを示すフローチャートである。このフローチャートで示す処理は、パノラマ画像などの巨大画像データを一定速度で一定方向に移動させることによって生成された素材データからなるビデオ信号を再生する際の一例の処理である。ここでは、一例として、３０ｐの素材データからなるビデオ信号を再生する場合について説明する。

ステップＳ１では、記録媒体１５に記録された６０ｉのビデオ信号の素材データが３０ｐのビデオ信号であるか否かが判断される。素材データが３０ｐのビデオ信号であると判断された場合には、処理がステップＳ２に移行する。ステップＳ２では、表示装置２側において、Ｉ／Ｐ変換として２−２プルダウン処理が可能であると判断された場合には、処理がステップＳ３に移行する。

ステップＳ３では、再生装置１において、記録媒体１５に記録された３０ｐのビデオ信号が素材データとされた６０ｉのビデオ信号が読み出される。また、６０ｉのビデオ信号のヘッダから素材データのフレームレートを示す速度情報が読み出され、ＨＤＭＩのInfoFrameのVendor-Specific InfoFrameに格納される。そして、ＨＤＭＩトランスミッタ１６を介して、６０ｉのビデオ信号および速度情報が再生装置１から表示装置２に伝送される。表示装置２では、再生装置１から伝送された６０ｉのビデオ信号および速度情報を、ＨＤＭＩレシーバ２４を介して供給される。

ステップＳ４では、表示装置２において、供給されたInfoFrameのVendor-Specific InfoFrameに格納された速度情報に基づき、予め記憶された図１５に示すテーブルを参照して６０ｉのビデオ信号に対する処理内容が決定される。例えば、６０ｉのビデオ信号の素材データの速度（フレームレート）が３０Ｈｚである場合には、Ｉ／Ｐ変換として２−２プルダウン処理を行うことが決定される。

ステップＳ５において、表示装置２による２−２プルダウン処理の設定が行われる。２−２プルダウン処理の設定が完了した場合には、処理がステップＳ６に移行する。一方、２−２プルダウン処理の設定が完了していない場合には、処理がステップＳ５に戻り、再度２−２プルダウン処理の設定が行われる。

ステップＳ６では、表示装置２において、再生装置１から受け取った６０ｉのビデオ信号に対し、Ｉ／Ｐ変換として２−２プルダウン処理が施されて６０ｐのビデオ信号が生成され、表示部２６に表示される。

一方、ステップＳ１において、素材データが３０ｐのビデオ信号でないと判断された場合や、ステップＳ２において、Ｉ／Ｐ変換として２−２プルダウン処理が不可であると判断された場合には、処理がステップＳ７に移行する。ステップＳ７では、表示装置２において、受け取った６０ｉのビデオ信号に対して通常のＩ／Ｐ変換が行われ、６０ｐのビデオ信号が生成されて表示部２６に表示される。

このように、この発明の実施の第１の形態では、３０ｐの素材データから６０ｉのビデオ信号が生成されている場合に、６０ｉのビデオ信号に対して２−２プルダウン処理を行うことにより、元の素材データである３０ｐのビデオ信号を再生することができる。したがって、パノラマ画像などの巨大画像データを綺麗に再生することができる。

なお、この例では、再生する６０ｉのビデオ信号が記録媒体に記録されている場合について説明したが、これはこの例に限られない。例えば、３０ｐの素材データからなるビデオ信号が、地上ディジタル方法などのディジタル放送送出システムから送出された放送信号によって供給された場合についても適用可能である。

地上ディジタル放送などのディジタル放送送出システムにおいては、ＭＰＥＧ２システムズに準じて、トランスポートストリーム（以下、ＴＳと適宜称する）を用いてビデオ信号やオーディオ信号が時分割多重されて送出される。具体的には、例えば図１７Ａに示すように、ビデオ信号などのエレメンタリストリーム（ＥＳ）が所定サイズ毎に分割され、ヘッダが付加されて、図１７Ｂに示すようにＰＥＳ（Packetized Elementary Stream）パケット化される。ＰＥＳパケットは、さらに分割され、図１７Ｃに示すように固定長のトランスポートパケット（ＴＳパケット）のペイロードに詰め込まれる。そして、図１７Ｄに示すように、生成されたＴＳパケットが時分割多重され、ＴＳとして送出される。

この場合には、例えばＰＥＳパケットに付加されるヘッダに、６０ｉのビデオ信号の素材データの速度情報を記述することができる。図１８は、ＰＥＳパケットのヘッダを示す。それぞれの領域における括弧内の数値は、各領域のビット数を示す。ＰＥＳパケットのヘッダは、「パケット開始コード」、「フラグおよび制御」、「パケット長」、「ＰＥＳヘッダ長」および「コンディショナル・コーディング」からなる。

速度情報は、領域「フラグおよび制御」にまとめて置かれた各種フラグ類に対応して条件符号化された項目が置かれた領域「コンディショナル・コーディング」における「その他」の領域に記述される。「その他」の領域には、図１９に示すように各種の情報が記述され、速度情報が、例えば「拡張データ」の領域に記述される。

速度情報は、例えば図２０Ａに示すように、第０ビットから第８ビットの９ビットで構成される。第０ビットは、素材データの動く速度（フレームレート）とビデオ信号のフレームレートとの関係を示す。図２０Ｂに示すように、第０ビットが値"０"の場合は、素材データの速度（フレームレート）とビデオ信号のフレームレートとが一致することを示す。また、第０ビットが値"１"の場合は、素材データの速度（フレームレート）とビデオ信号のフレームレートとが異なることを示す。例えば、６０ｉのビデオ信号の素材データが３０ｐである場合、ビデオ信号のフレームレートが６０Ｈｚであり、素材データのフレームレートが３０Ｈｚであるため、それぞれのフレームレートが異なり、第０ビットが値"１"となる。

また、素材データの速度が第１ビットから第８ビットで表現可能な値で識別される。図２０Ｃに示すように、第１ビットから第８ビットで表現された値は、素材データを１画素移動させる際の時間の逆数を示す。例えば、素材データが１／３０秒ごとに１画素移動させて動かすようにしている場合、第１ビットから第８ビットにより値"３０"となる。

放送信号によって供給されるビデオ信号を再生する際の動作について説明する。ディジタル放送送出システムから送出されたＴＳが再生装置１のアンテナを介して受信され、チューナ１９によってＴＳから必要なストリームが取り出される。チューナ１９は、供給されたＴＳにおけるＴＳパケットのヘッダから、ＴＳパケットを識別するためのＰＩＤ（Packet IDentification）を検出し、ＴＳパケットをペイロードに格納されるデータ種別毎に振り分ける。そして、振り分けられたＴＳパケットのそれぞれについて、ペイロードに格納されたデータを取り出し、ＰＥＳパケットを構築する。そして、ＰＥＳパケットのヘッダに記述された速度情報を取得し、ＨＤＭＩトランスミッタ１６に供給する。さらに、ＰＥＳパケットのペイロードに格納されたデータを取り出し、ＰＥＳヘッダに格納された情報などに基づきヘッダ情報などを付加し、１本のエレメンタリストリームを出力する。

チューナ１９から出力されたエレメンタリストリームは、デコーダ１８において所定の復号処理が施され、ビデオ信号が出力される。このようにして取得したビデオ信号および速度情報は、ＨＤＭＩトランスミッタ１６を介して表示装置２に伝送される。

表示装置２は、再生装置１から受け取った速度情報に基づき、このテーブルを参照して６０ｉのビデオ信号に対して２−２プルダウン処理を行い、６０ｐのビデオ信号に変換して表示する。

次に、この発明の実施の第２の形態について説明する。ＢＤなどの記録媒体には、上述した実施の第１の形態で説明した６０ｉのビデオ信号を記録する他に、フレーム周波数が２４Ｈｚでプログレッシブ走査（以下、２４ｐと適宜称する）のビデオ信号を、フレーム周波数を変換することなく記録することができる。例えば映画映像など、従来から光学フィルムを用いて制作された映像においては、毎秒２４コマの映像信号が用いられている。これは、ビデオ信号としては、２４ｐのビデオ信号となる。そのため、ＢＤに記録されたビデオ信号を再生する再生装置では、映画映像などの２４ｐのビデオ信号をそのまま出力することができる。

また、最近の表示装置においては、２４ｐのビデオ信号の入力に対応し、このビデオ信号を表示させることが可能なものも普及してきている。

このような再生装置および表示装置を用いた場合には、装置間で伝送される２４ｐのビデオ信号がプログレッシブ走査であるため、Ｉ／Ｐ変換を行うことなく２４ｐのビデオ信号を表示することができる。したがって、ビデオ信号の画質を劣化させることなく表示することができる。

ところで、２４ｐのビデオ信号は、６０ｉのビデオ信号などと比較してフレームレートが低いため、再生した際に、画像のカタツキなどによって十分な画質を得ることができない。そこで、最近では、再生する映像を滑らかに表示するために、ビデオ信号のフレームレートを所定に上げて駆動させるハイフレームレート処理機能を搭載した再生装置が普及してきている。ハイフレームレート処理では、本来のフレームの間に１または複数の補間フレームを生成し、表示装置におけるフレームレートを２倍や４倍などに上げて駆動させて表示する。

例えば、図２１に示すように、２４ｐのビデオ信号における１のフレーム（フレームＡ）と次のフレーム（フレームＢ）との間に４枚の補間フレーム（フレームＡ₁からＡ₄）を生成する。こうすることにより、表示装置においてフレームレートを２４Ｈｚの５倍である１２０Ｈｚに上げて駆動させて表示させることができる。

しかしながら、素材データが映画映像などの動画である場合には、ハイフレームレート処理による補間を行っても、完全な補間フレームを生成することが困難である。これは、動き予測の対象となる部分が動いており、完全な動き予測を行うことができないためである。そのため、動画に悪影響のない程度の補間処理となってしまい、補間処理後の映像が高画質とならないおそれがある。

ここで、素材データがパノラマ画像などの静止画である場合について考える。この場合、素材データに基づき生成されたビデオ信号が静止画を一定方向に一定速度で移動させた画像であるため、フレーム間における動きベクトルを正確に検出することができ、動き予測の対象となる部分の動きを容易かつ正確に予測することができる。したがって、ハイフレームレート処理により、精度の高い補間フレームを生成することができる。

そこで、この発明の実施の第２の形態では、素材データが巨大画像データである２４ｐのビデオ信号に対して、表示装置側でハイフレームレート処理を行い、ビデオ信号のフレーム間に補間フレームを生成する。こうすることにより、巨大画像データを移動させながら表示させる際に、滑らかに表示することができる。

図２２を用いて、より具体的に説明する。先ず、巨大画像データを一定速度で一定方向に移動させながら表示させるための素材データとして、例えば、巨大画像データを１／２４秒に同期させ、所定の整数画素単位で一定方向に移動させることにより、２４ｐのビデオ信号を生成する。

表示装置では、この２４ｐのビデオ信号に対して、フレームレートを所定に上げて表示させるためのハイフレームレート処理を施し、補間フレームを生成する。例えば、フレームレートが２４Ｈｚに対して５倍の１２０Ｈｚとなるようにハイフレームレート化する場合には、図２２に示すように、２４ｐのビデオ信号の１のフレームと次のフレームとの間に４枚の補間フレームを生成する。

補間フレームは、例えばＭＰＥＧ２方式やＩＴＵ−Ｔ(International Telecommunication Union-Telecommunication Standardization Sector)勧告Ｈ．２６４あるいはＩＳＯ(International Organization for Standardization)／ＩＥＣ(International Electrotechnical Commission)国際標準１４４９６−１０（ＭＰＥＧ−４パート１０）Advanced Video Coding（以下、ＭＰＥＧ４ ＡＶＣと略称する）に規定される符号化方式などに用いられる方法と同様の方法を用いて生成することができる。

具体的には、例えば図２３に示すように、フレームＡおよび次のフレームＢの画像を１６画素×１６ラインなどの所定のマクロブロックにそれぞれ分割する。フレームＡおよびフレームＢの所定のマクロブロックに基づき、ブロックマッチングや特徴点抽出などにより動きベクトルを検出する。そして、検出された動きベクトルに基づき対象となる部分の動きを予測し、補間フレームを生成する。

このとき、２４ｐのビデオ信号の素材データとして用いられている画像データは、一定方向に一定速度で移動させた巨大画像データであるため、フレーム間における動きベクトルを正確に検出することができる。したがって、精度の高い補間フレームを生成することができ、２４ｐのビデオ信号を滑らかに再生することができる。

なお、ハイフレームレート処理によるフレームレートは、１２０Ｈｚに限らず、例えば７２Ｈｚや９６Ｈｚとなるようにしてもよい。例えば、ハイフレームレート処理後のフレームレートが２４Ｈｚに対して３倍の７２Ｈｚとなるようにした場合には、補間フレームを２枚生成する。また、２４Ｈｚのフレームレートに対して４倍の９６Ｈｚとなるようにした場合には、補間フレームを３枚生成する。

この発明の実施の第２の形態に適用可能な再生装置および表示装置について説明する。この実施の第２の形態に適用可能な再生装置は、上述した実施の第１の形態で説明した再生装置１を適用することができる。そのため、ここでは詳細な説明を省略する。

この発明の実施の第２の形態において、記録媒体１５には、パノラマ画像などの巨大画像データが素材データとされた２４ｐのビデオ信号が記録されている。２４ｐのビデオ信号は、再生制御部１４によって記録媒体１５から読み出され、ＨＤＭＩトランスミッタ１６を介して後述する表示装置２’に伝送される。

図２４は、この発明の実施の第２の形態に適用可能な表示装置２’の一例の構成を示す。なお、図４を用いて説明した表示装置２と共通する部分については、同一の符号を付し、説明を省略する。

ＧＰＵ２５には、ハイフレームレートコントローラ５０がさらに接続される。ハイフレームレートコントローラ５０は、ＣＰＵ２１の制御に基づき、ビデオ信号のフレームレートを所定に設定する。ＧＰＵ２５は、ハイフレームレートコントローラ５０で設定されたフレームレートに応じて、再生装置１からＨＤＭＩレシーバ２４を介して供給された２４ｐのビデオ信号のフレーム間に１または複数の補間フレームを生成する。例えば、ハイフレームレートコントローラ５０によって設定されたフレームレートが１２０Ｈｚである場合には、ビデオ信号のフレームレートである２４Ｈｚに対して５倍のフレームレートとなるため、４枚の補間フレームを生成する。

再生装置１から表示装置２’に対してビデオ信号を伝送する場合には、上述した実施の第１の形態と同様に、素材データの動く速度（フレームレート）を示す速度情報をＢＤのヘッダ等に記述しておき、速度情報を表示装置２’に通知する。速度情報は、ＨＤＭＩのInfoFrame（Vendor-Specific InfoFrame）に格納され、ビデオ信号と共に表示装置２’に伝送される。

また、表示装置２’は、上述した実施の第１の形態と同様に、速度（フレームレート）とビデオ信号に対する処理内容とが関連付けられたテーブルを予め記憶している。このテーブルには、例えば図１５に示すように、速度（フレームレート）が２４Ｈｚである場合には、ビデオ信号に対する処理としてハイフレームレート処理が関連付けられている。

表示装置２’は、再生装置１からＨＤＭＩレシーバ２４を介して受け取ったInfoFrameのうちVendor-Specific InfoFrameに格納された速度情報に基づき、テーブルを参照してビデオ信号に対する処理を決定する。例えば、速度（フレームレート）が２４Ｈｚである場合には、受け取ったビデオ信号に対してハイフレームレート処理を行う。

なお、再生装置１は、例えばＨＤＭＩのＤＤＣを用いて表示装置２’と通信を行うことにより、表示装置２’においてハイフレームレート処理が可能であるか否かを判断することができる。再生装置１は、ＤＤＣを用いて表示装置２’のＲＯＭ４０に保持されている表示装置固有の情報を受け取る。そして、受け取った情報に基づきハイフレームレート処理の可否を判断する。

ここで、上述では、表示装置２’が２４ｐのビデオ信号の入出力に対応している場合について説明したが、表示装置によっては、２４ｐのビデオ信号の入出力に対応していない場合が考えられる。このような場合、再生装置と表示装置との間で、２４ｐのビデオ信号を直接伝送することができない。

そこで、２４ｐのビデオ信号の入出力に対応していない表示装置を用いる場合には、再生装置１において２４ｐのビデオ信号を一旦６０ｉのビデオ信号に変換し、表示装置に伝送する。そして、表示装置は、受け取った６０ｉのビデオ信号を２４ｐのビデオ信号に再度変換し、変換された２４ｐのビデオ信号に対してハイフレームレート処理を行って再生する。

再生装置１において、２４ｐのビデオ信号を６０ｉのビデオ信号に変換する場合には、２−３プルダウンと称される処理が行われる。２４ｐのビデオ信号と６０ｉのビデオ信号とでは、フレーム周波数（フィールド周波数）に２対５の関係がある。そこで、２４ｐのビデオ信号のフレームを、２−３プルダウンにより２回繰り返し出力と３回繰り返し出力とをフレーム毎に交互に行い、６０Ｈｚのフィールド周波数で出力することで、２４ｐのビデオ信号が６０ｉのビデオ信号に変換される。

具体的には、例えば、図２５に示すように、２４ｐのビデオ信号の第１フレームを２回繰り返して出力し、第１ａフィールドおよび第１ｂフィールドを生成する。次に、第２フレームを３回繰り返して出力し、第２ａフィールド、第２ｂフィールドおよび第２ａフィールドを生成する。この処理を順次繰り返すことにより、２４ｐのビデオ信号が６０ｉのビデオ信号に変換される。なお、各フィールドを示す「ａ」および「ｂ」は、奇数フィールドと偶数フィールドの違いを示している。

また、表示装置２’では、再生装置１から受け取った６０ｉのビデオ信号を２４ｐのビデオ信号に変換する。この場合には、２−３プルダウン処理と逆の処理を行う逆２−３プルダウン処理を用いる。すなわち、６０ｉのビデオ信号の第１ａフィールドおよび第１ｂフィールドから２４ｐのビデオ信号の第１フレームを生成し、第２ａフィールドおよび第２ｂフィールドから第２フレームを生成する。

なお、再生装置１は、例えばＨＤＭＩのＤＤＣを用いて表示装置２’と通信を行うことにより、表示装置２’が２４ｐのビデオ信号の入出力に対応しているか否かを判断することができる。再生装置１は、ＤＤＣを用いて表示装置２’のＲＯＭ４０に保持されている表示装置固有の情報を受け取る。そして、受け取った情報に基づき２４ｐのビデオ信号の入出力の可否を判断する。

図２６は、この発明の実施の第２の形態による一例の画像表示処理の流れを示すフローチャートである。このフローチャートで示す処理は、パノラマ画像などの巨大画像データを一定速度で一定方向に移動させることによって生成されたビデオ信号を再生する際の一例の処理である。ここでは、一例として、２４ｐのビデオ信号を生成する場合について説明する。

ステップＳ１１では、再生装置１において、記録媒体１５に記録されたビデオ信号が２４ｐのビデオ信号であるか否かが判断される。ビデオ信号が２４ｐのビデオ信号であると判断された場合には、処理がステップＳ１２に移行する。

ステップＳ１２では、再生装置１において、ＤＤＣを用いて表示装置２’と通信を行うことにより表示装置固有の情報が取得され、取得された情報に基づき表示装置２’においてハイフレームレート処理が可能であるか否かが判断される。表示装置２’においてハイフレームレート処理が可能であると判断された場合には、処理がステップＳ１３に移行する。

ステップＳ１３では、再生装置１において、表示装置２’から取得された表示装置固有の情報に基づき、表示装置２’において２４ｐのビデオ信号の入出力に対応するか否かが判断される。表示装置２’が２４ｐのビデオ信号の入出力に対応すると判断された場合には、処理がステップＳ１４に移行し、記録媒体１５に記録された２４ｐのビデオ信号が読み出される。また、２４ｐのビデオ信号のヘッダから速度情報が読み出され、ＨＤＭＩのInfoFrameのVendor-Specific InfoFrameに格納される。そして、ＨＤＭＩトランスミッタ１６を介して、２４ｐのビデオ信号および速度情報が表示装置２’に伝送される。

ステップＳ１５では、表示装置２’において、供給されたInfoFrameのVendor-Specific InfoFrameに格納された速度情報に基づき、予め記憶された図１５に示すテーブルを参照して２４ｐのビデオ信号に対する処理内容が決定される。この例では、２４ｐのビデオ信号に対してハイフレームレート処理を行うことが決定される。

ステップＳ１６では、表示装置２’において、ハイフレームレート処理の設定が行われる。ハイフレームレート処理の設定が完了した場合には、処理がステップＳ１７に移行する。一方、ハイフレームレート処理の設定が完了していない場合には、処理がステップＳ１６に戻り、再度ハイフレームレート処理の設定が行われる。ステップＳ１７では、表示装置２’において、２４ｐのビデオ信号に対してハイフレームレート処理が行われることによってフレームレートが所定に上げられ、表示部２６に表示される。

一方、ステップＳ１３において、表示装置２’が２４ｐのビデオ信号の入出力に対応していない場合には、処理がステップＳ１８に移行する。ステップＳ１８では、再生装置１において、表示装置２’における逆２−３プルダウン処理が可能であるか否かが判断される。表示装置２’において逆２−３プルダウン処理が可能であると判断された場合には、処理がステップＳ１９に移行する。

ステップＳ１９では、再生装置１において、記録媒体１５から読み出された２４ｐのビデオ信号に対して２−３プルダウン処理が施され、６０ｉのビデオ信号が生成される。また、生成された６０ｉのビデオ信号のヘッダから速度情報が読み出され、InfoFrameのVendor-Specific InfoFrameに格納される。そして、次のステップＳ２０で、生成された６０ｉのビデオ信号および速度情報が表示装置２’に伝送される。

ステップＳ２１では、表示装置２’において、供給されたInfoFrameのVendor-Specific InfoFrameに格納された速度情報に基づき、予め記憶されたテーブルを参照して６０ｉのビデオ信号に対する処理内容が決定される。この例では、６０ｉのビデオ信号に対して逆２−３プルダウン処理を行い、さらに、逆２−３プルダウン処理によって生成された２４ｐのビデオ信号に対してハイフレームレート処理を行うことが決定される。

ステップＳ２２では、表示装置２’において、逆２−３プルダウン処理およびハイフレームレート処理の設定が行われる。逆２−３プルダウン処理およびハイフレームレート処理の設定が完了した場合には、処理がステップＳ２３に移行する。一方、逆２−３プルダウン処理およびハイフレームレート処理の設定が完了していない場合には、処理がステップＳ２２に戻り、再度、逆２−３プルダウン処理およびハイフレームレート処理の設定が行われる。

ステップＳ２３では、表示装置２’において、６０ｉのビデオ信号に対して逆２−３プルダウン処理が行われ、２４ｐのビデオ信号が生成される。そして、処理がステップＳ１７に移行する。

一方、ステップ１１においてビデオ信号が２４ｐのビデオ信号でないと判断された場合や、ステップＳ１２においてハイフレームレート処理が不可であると判断された場合、さらには、ステップＳ１８において表示装置２’による逆２−３プルダウン処理が不可であると判断された場合には、処理がステップＳ２４に移行し、通常の再生処理が行われる。なお、ステップＳ２４における通常の再生処理の際に、例えば、上述した実施の第１の形態における画像表示処理を行うようにしてもよい。

このように、この発明の実施の第２の形態では、パノラマ画像などの巨大画像データが素材データとされたビデオ信号に対してハイフレームレート処理を行うことにより、ビデオ信号のフレームレートを所定に上げて再生するようにしている。したがって、パノラマ画像などの巨大画像データを滑らかに再生することができる。

以上、この発明の実施の第１の形態および第２の形態について説明したが、この発明は、上述したこの発明の実施の第１の形態および第２の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、この発明では、ＮＴＳＣ方式の場合を例にとって説明したが、これに限られず、ＰＡＬ（Phase Alternation by Line）方式の場合についても適用可能である。

また、上述では、ソース機器として再生装置１を適用したが、これはこの例に限られない。例えば、記録媒体１５に対してビデオ信号を記録可能な記録再生装置等を適用することもできる。

巨大画像データを移動させながら表示させる場合について説明するための略線図である。 ２−２プルダウン処理について説明するための略線図である。 この発明の実施の第１の形態に適用可能な再生装置の一例の構成を示すブロック図である。 この発明の実施の第１の形態に適用可能な表示装置の一例の構成を示すブロック図である。 ＨＤＭＩによる通信について説明するための略線図である。 記録媒体に記録されるファイルの管理構造を説明するための略線図である。 クリップインフォメーションファイルの一例の構造を表すシンタクスを示す略線図である。 ブロックProgramInfo()の一例の構造を表すシンタクスを示す略線図である。 ブロックStreamCodingInfo(stream_index)の一例の構造を表すシンタクスを示す略線図である。 フィールドvideo_formatで示されるビデオデータの一例のフォーマットを一覧で示す略線図である。 フィールドframe_rateで示される一例のフレームレートを一覧で示す略線図である。 速度情報の記述について説明するための略線図である。 ＨＤＭＩにより伝送されるパケットヘッダについて説明するための略線図である。 パケットタイプについて説明するための略線図である。 速度情報に応じた処理のテーブルについて説明するための略線図である。 この発明の実施の第１の形態による一例の画像表示処理の流れを示すフローチャートである。 ディジタル放送において送出される信号について説明するための略線図である。 ＰＥＳパケットのヘッダについて説明するための略線図である。 ＰＥＳパケットのヘッダについて説明するための略線図である。 速度情報の記述について説明するための略線図である。 ハイフレームレート処理について説明するための略線図である。 ハイフレームレート処理について説明するための略線図である。 補間フレームの生成方法について説明するための略線図である。 この発明の実施の第２の形態に適用可能な表示装置の一例の構成を示すブロック図である。 ２−３プルダウン処理について説明するための略線図である。 この発明の実施の第２の形態による一例の画像表示処理の流れを示すフローチャートである。 パノラマ写真について説明するための略線図である。 パノラマ画像の表示について説明するための略線図である。 単純フィールド合成について説明するための略線図である。 単純フィールド合成によって生成されたフレーム画像の一例を示す略線図である。

符号の説明

１ 再生装置
２，２’ 表示装置
１０，２０ バス
１１，２１ ＣＰＵ
１２，２２ ＲＯＭ
１３，２３ ＲＡＭ
１４ 再生制御部
１５ 記録媒体
１６ ＨＤＭＩトランスミッタ
１７，２８ ネットワークＩ／Ｆ
１８，２９ デコーダ
１９，３０ チューナ
２４ ＨＤＭＩレシーバ
２５ ＧＰＵ
２６ 表示部
２７ ＶＲＡＭ
４０ ＥＤＩＤ ＲＯＭ
５０ ハイフレームレートコントローラ

Claims (29)

1. 表示領域の持つ画素数より遙かに多い画素数を持つ巨大画像データを一定速度で一定方向に移動させることによって生成された素材データからなるビデオ信号が入力される入力部と、
   上記入力部に入力された上記ビデオ信号を再生する再生部と、
   他の機器と通信を行う第１の通信部と
   を有し、
   上記第１の通信部を介して他の機器とビデオ信号のやりとりができるようにされた再生装置と、
   ビデオ信号に対して所定の映像信号処理を行う映像信号処理部と、
   上記映像信号処理が施されたビデオ信号を表示する表示部と、
   ビデオ信号の素材データの速度を示す速度情報と該ビデオ信号に対する処理内容が関連付けられたテーブルと、
   他の機器と通信を行う第２の通信部と
   を有し、
   上記第２の通信部を介して他の機器とビデオ信号のやりとりができるようにされた表示装置と
   からなり、
   上記第１および第２の通信部により上記再生装置および上記表示装置が接続された際に、上記再生装置は、上記ビデオ信号のヘッダに格納された上記素材データの速度情報を読み出し、該ビデオ信号および該速度情報を上記表示装置に対して送信し、上記表示装置は、上記第２の通信部を介して受信した上記速度情報に基づき、上記テーブルを参照して上記ビデオ信号に対して映像信号処理を行う映像信号処理システム。
2. 上記第１および第２の通信部により行われる通信は、ＨＤＭＩ規格に基づいて行われる請求項１に記載の映像信号処理システム。
3. 上記速度情報は、ＨＤＭＩのInfoFrameパケットに格納されて上記表示装置に対して送信される請求項２に記載の映像信号処理システム。
4. 上記ビデオ信号は、フィールド周波数が６０Ｈｚでインターレース走査の信号である請求項１に記載の映像信号処理システム。
5. 上記表示装置は、
   上記ビデオ信号に対する映像信号処理として、２−２プルダウン処理を行う請求項４に記載の映像信号処理システム。
6. 上記ビデオ信号は、上記巨大画像データを１／３０秒に画素単位で同期させて移動させることにより生成された、フレーム周波数が３０Ｈｚでプログレッシブ走査の素材データからなる請求項４に記載の映像信号処理システム。
7. 上記表示装置は、
   上記ビデオ信号に対する映像信号処理として、ハイフレームレート処理を行う請求項１に記載の映像信号処理システム。
8. 上記ビデオ信号は、上記巨大画像データを１／２４秒に画素単位で同期させて移動させることにより生成された、フレーム周波数が２４Ｈｚでプログレッシブ走査の素材データからなる請求項７に記載の映像信号処理システム。
9. 上記再生装置は、
   記録媒体に記録されたビデオ信号が上記入力部に入力される請求項１に記載の映像信号処理システム。
10. 上記再生装置は、
    ディジタルテレビジョン放送の電波を受信し、受信した上記電波から所定のビデオ信号を選択的に取得するチューナをさらに有し、
    上記チューナで取得された上記ビデオ信号が上記入力部に入力される請求項１に記載の映像信号処理システム。
11. 表示領域の持つ画素数より遙かに多い画素数を持つ巨大画像データを一定速度で一定方向に移動させることによって生成された素材データからなるビデオ信号が入力され、入力された上記ビデオ信号を再生し、第１の通信部を介して他の機器とビデオ信号のやりとりができるようにされた再生装置と、
    ビデオ信号に対して所定の映像信号処理を行い、上記映像信号処理が施されたビデオ信号を表示部に表示し、第２の通信部を介して他の機器とビデオ信号のやりとりができるようにされた表示装置と
    を上記第１および第２の通信部で接続した際に、
    上記再生装置は、上記ビデオ信号のヘッダに格納された上記素材データの速度を示す速度情報を読み出し、該ビデオ信号および該速度情報を上記表示装置に対して送信し、上記表示装置は、受信した上記速度情報に基づき、ビデオ信号の素材データの速度情報と該ビデオ信号に対する処理内容が関連付けられたテーブルを参照して上記ビデオ信号に対して映像信号処理を行う映像信号処理方法。
12. 表示領域の持つ画素数より遙かに多い画素数を持つ巨大画像データを一定速度で一定方向に移動させることによって生成された素材データからなるビデオ信号が入力される入力部と、
    上記入力部に入力された上記ビデオ信号を再生する再生部と、
    他の機器と通信を行う第１の通信部と
    を有し、
    上記第１の通信部を介してなされる通信により、上記他の機器とビデオ信号のやりとりを行うとともに上記ビデオ信号のヘッダに格納された上記素材データの速度情報を読み出し、該ビデオ信号および該速度情報を上記他の機器に対して送信する再生装置。
13. 上記第１の通信部により行われる通信は、ＨＤＭＩ規格に基づいて行われる請求項１２に記載の再生装置。
14. 上記速度情報は、ＨＤＭＩのInfoFrameパケットに格納されて上記他の機器に対して送信される請求項１３に記載の再生装置。
15. 上記ビデオ信号は、フィールド周波数が６０Ｈｚでインターレース走査の信号である請求項１２に記載の再生装置。
16. 上記ビデオ信号は、上記巨大画像データを１／３０秒に画素単位で同期させて移動させることにより生成された、フレーム周波数が３０Ｈｚでプログレッシブ走査の素材データからなる請求項１５に記載の再生装置。
17. 上記ビデオ信号は、上記巨大画像データを１／２４秒に画素単位で同期させて移動させることにより生成された、フレーム周波数が２４Ｈｚでプログレッシブ走査の素材データからなる請求項１２に記載の再生装置。
18. 記録媒体に記録されたビデオ信号が上記入力部に入力される請求項１２に記載の再生装置。
19. ディジタルテレビジョン放送の電波を受信し、受信した上記電波から所定のビデオ信号を選択的に取得するチューナをさらに有し、
    上記チューナで取得された上記ビデオ信号が上記入力部に入力される請求項１２に記載の再生装置。
20. 表示領域の持つ画素数より遙かに多い画素数を持つ巨大画像データを一定速度で一定方向に移動させることによって生成された素材データからなるビデオ信号が入力され、入力された上記ビデオ信号を再生し、第１の通信部を介して他の機器とビデオ信号のやりとりを行うようにされた再生装置を上記第１の通信部を介して上記他の機器と接続した際に、上記再生装置は、上記ビデオ信号のヘッダに格納された上記素材データの速度情報を読み出し、該ビデオ信号および該速度情報を上記他の機器に対して送信する映像信号処理方法。
21. 表示領域の持つ画素数より遙かに多い画素数を持つ巨大画像データを一定速度で一定方向に移動させることによって生成された素材データからなるビデオ信号に対して所定の映像信号処理を行う映像信号処理部と、
    上記映像信号処理が施されたビデオ信号を表示する表示部と、
    ビデオ信号の素材データの速度を示す速度情報と該ビデオ信号に対する処理内容が関連付けられたテーブルと、
    他の機器と通信を行う第２の通信部と
    を有し、
    上記第２の通信部を介してなされる通信により、上記他の機器とビデオ信号のやりとりを行うとともに上記速度情報を受信し、受信した上記速度情報に基づき、上記テーブルを参照して上記ビデオ信号に対して映像信号処理を行う表示装置。
22. 上記第２の通信部により行われる通信は、ＨＤＭＩ規格に基づいて行われる請求項２１に記載の表示装置。
23. 上記速度情報は、ＨＤＭＩのInfoFrameパケットに格納されている請求項２２に記載の表示装置。
24. 上記ビデオ信号は、フィールド周波数が６０Ｈｚでインターレース走査の信号である請求項２１に記載の表示装置。
25. 上記映像信号処理部は、
    上記ビデオ信号に対する映像信号処理として、２−２プルダウン処理を行う請求項２４に記載の表示装置。
26. 上記ビデオ信号は、上記巨大画像データを１／３０秒に画素単位で同期させて移動させることにより生成された、フレーム周波数が３０Ｈｚでプログレッシブ走査の素材データからなる請求項２４に記載の表示装置。
27. 上記映像信号処理部は、
    上記ビデオ信号に対する映像信号処理として、ハイフレームレート処理を行う請求項２１に記載の映像信号処理システム。
28. 上記ビデオ信号は、上記巨大画像データを１／２４秒に画素単位で同期させて移動させることにより生成された、フレーム周波数が２４Ｈｚでプログレッシブ走査の素材データからなる請求項２７に記載の表示装置。
29. 表示領域の持つ画素数より遙かに多い画素数を持つ巨大画像データを一定速度で一定方向に移動させることによって生成された素材データからなるビデオ信号に対して所定の映像信号処理を行い、上記映像信号処理が施されたビデオ信号を表示し、第２の通信部を介して他の機器とビデオ信号のやりとりを行うようにされた表示装置を上記第２の通信部を介して上記他の機器と接続した際に、上記表示装置は、上記ビデオ信号の素材データの速度を示す速度情報を受信し、受信した上記速度情報に基づき、ビデオ信号の素材データの速度情報と該ビデオ信号に対する処理内容が関連付けられたテーブルを参照して上記ビデオ信号に対して映像信号処理を行う映像信号処理方法。

Images