JP2010011154A - 画像生成装置及び画像再生装置 - Google Patents

Abstract

【課題】標準的な画質の基本画質画像データを元にして、高画質の画像再生を可能とする
【解決手段】画像生成装置は、元画像データから、高画質画像データと、高画質画像データよりも低画質の基本画質画像データとを生成する。そして、高画質画像データと基本画質画像データとの差分データを生成し、両者を別個に出力する。画像再生時には、ユーザは、基本画質画像データを再生すれば基本画質の画像を見ることができる。また、基本画質画像データと差分データとを使用して高画質画像データを生成し、高画質の画像を見ることもできる。
【選択図】図１

Description

本発明は、高画質の動画像データを再生する手法に関する。

動画像の規格であるＭＰＥＧ２においては、空間スケーラビリティ技術を利用して動画像データの高精細成分のみのストリームを作成し、基本画像成分と同一のストリームに含めるという手法が提案されている。しかし、この手法は、ＭＰＥＧ２方式の動画像データを提供するパッケージメディアなどに関連して現実に実施されているわけではない。

なお、動画像データをメインストリームとサブストリームに分割して送信する手法が特許文献１に記載されている。また、オリジナルの高画質画像をベース層データとエンハンスメント層データとに分解し、それぞれをビットストリームとして出力する手法が特許文献２に記載されている。

特表２００４−５０２３５６号公報 特表２００６−５０９４２１号公報

本発明が解決しようとする課題としては上記のものが例として挙げられる。本発明は、標準的な画質の基本画質画像データを元にして、高画質の画像再生を可能とする手法を提供することを目的とする。

請求項１に記載の発明は、画像生成装置であって、元画像データから、高画質画像データを生成する高画質画像生成部と、前記元画像データから、前記高画質画像データよりも低画質の基本画質画像データを生成する基本画質画像生成部と、前記高画質画像データと前記基本画質画像データの差分である差分データを生成する差分データ生成部と、前記基本画質画像データと、前記差分データとを異なる出力経路に出力する出力部と、を備えることを特徴とする。

本発明の好適な実施形態では、画像生成装置は、元画像データから、高画質画像データを生成する高画質画像生成部と、前記元画像データから、前記高画質画像データよりも低画質の基本画質画像データを生成する基本画質画像生成部と、前記高画質画像データと前記基本画質画像データの差分である差分データを生成する差分データ生成部と、前記基本画質画像データと、前記差分データとを異なる出力経路に出力する出力部と、を備える。

上記の画像生成装置は、元画像データから、高画質画像データと、高画質画像データよりも低画質の基本画質画像データとを生成する。そして、高画質画像データと基本画質画像データとの差分データを生成し、両者を異なる出力経路に出力する。ここで、異なる出力経路とは、例えば記録媒体への出力とネットワークへの出力などを含む。画像再生時には、ユーザは、基本画質画像データを再生すれば基本画質の画像を見ることができる。また、基本画質画像データと差分データとを使用して高画質画像データを生成し、高画質の画像を見ることもできる。

上記の画像生成装置の一態様では、前記高画質画像データは高精細度画像データであり、前記基本画質画像データは標準精細度画像データであり、前記基本画質画像生成部は、前記高精細度画像データから前記標準精細度画像データを生成するダウンスケーラであり、前記差分データ生成部は、前記標準精細度画像データをアップスケール処理するアップスケーラと、アップスケール処理された画像データを前記高精細度画像データから減算して前記差分データを生成する減算部と、を備える。

この態様では、高画質画像データは高精細度（ＨＤ）画像データであり、基本画質画像データは標準精細度（ＳＤ）画像データである。高精細度画像データをダウンスケール処理して標準精細度画像データが生成される。再生時には、標準精細度画像データをアップスケール処理し、差分データと加算すれば高精細度画像データが生成できる。

上記の画像生成装置の他の一態様では、前記高画質画像データは高精細度画像データであり、前記基本画質画像データは標準精細度画像データであり、前記基本画質画像生成部は、前記高精細度画像データから前記標準精細度画像データを生成するダウンスケーラであり、前記差分データ生成部は、前記標準精細度画像データを異なるモードでアップスケール処理する複数のアップスケーラと、アップスケール処理された画像データを前記高精細度画像データから減算して前記差分データを生成する複数の減算部と、を備える。

この態様では、高画質画像データは高精細度（ＨＤ）画像データであり、基本画質画像データは標準精細度（ＳＤ）画像データである。高精細度画像データを異なるモードでダウンスケール処理して複数の標準精細度画像データを生成し、高精細度画像データから減算することにより、複数の差分データが生成される。

上記の画像生成装置の他の一態様は、前記複数の差分データから１つの差分データを選択するコントローラを有し、前記差分データ生成部は、前記コントローラが選択した１つの差分データを出力する。これにより、複数の差分データのうち、最適なモードでアップスケール処理された画像データの差分データが取得できる。好適な例では、前記コントローラは、前記複数の差分データのうち、データ量が最も少ないものを選択する。最適なアップスケール処理された画像はソース画像との差が少ないので、データ量が小さくなる。よって、差分データのデータ量が少ないものは、最適なアップスケール処理がなされたと考えることができる。

上記の画像生成装置の他の一態様は、前記高画質画像データに対して、所定の画像表示装置の特性に応じた画質調整を行う画質調整手段を備え、前記差分データ生成部は、画質調整後の高画質画像データに基づいて前記差分データを生成する。これにより、画像表示装置の特性に応じて最適な調整を行った画像を表示することが可能となる。

上記の画像生成装置の他の一態様では、前記高画質画像生成部は、前記元画像データを、放送帯域による制限なしに圧縮して前記高画質画像データを生成し、前記基本画質画像生成部は、前記元画像データを、放送帯域による制限に応じて圧縮して前記基本画質画像データを生成する。

この態様では、放送帯域の制限を受けた基本画質画像データと、差分データとを用いて、放送帯域の制限を受けない画像、即ちブロックノイズなどの少ない画像を再生することが可能となる。

上記の画像生成装置の他の一態様では、前記高画質画像生成部は、所定階調数を有する前記高画質画像データを生成し、前記基本画質画像生成部は、前記所定階調数よりも少ない階調数を有する前記基本画質画像データを生成する。

この態様では、階調数が少ない基本画質画像データと、差分データとを使用して、階調数が大きい高画質画像を再生することができる。

上記の画像生成装置の他の一態様では、前記高画質画像生成部は、所定の色域を有する前記高画質画像データを生成し、前記基本画質画像生成部は、前記所定の色域よりも狭い色域を有する前記基本画質画像データを生成する。

この態様では、色域が狭い基本画質画像データと、差分データとを使用して、色域が広い高画質画像を再生することができる。

本発明の他の実施形態では、上記の画像生成装置が生成した画像データを再生する画像再生装置は、ネットワークを通じて前記差分データを取得する差分データ取得部と、前記基本画質画像データを取得する基本画質画像データ取得部と、前記基本画質画像データと前記差分データとに基づいて、前記高画質画像データを再生する再生部と、を備える。

上記の画像再生装置は、基本画質画像データと、インターネットを通じて取得した差分データとに基づいて高画質画像を再生することができる。

本発明の他の実施形態では、上記の画像生成装置が生成した画像データを再生する画像再生装置は、ネットワークを通じて前記差分データを取得する差分データ取得部と、記録媒体から前記基本画質画像データを取得する基本画質画像データ取得部と、前記基本画質画像データをアップスケール処理するアップスケーラと、前記アップスケール処理された基本画質画像データと、前記差分データとを加算して高画質画像データを再生する再生部と、を備える。

上記の画像再生装置は、記録媒体から取得した基本画質画像データと、インターネットを通じて取得した差分データとに基づいて高画質画像を再生することができる。

本発明の他の実施形態では、上記の画像生成装置が生成した画像データを再生する画像再生装置であって、ネットワークを通じて前記差分データを取得する差分データ取得部と、記録媒体から前記基本画質画像データを取得する基本画質画像データ取得部と、前記基本画質画像データをアップスケール処理するアップスケーラと、前記アップスケール処理された基本画質画像データと、前記差分データとを加算して高画質画像データを再生する再生部と、を備え、前記差分データは、前記コントローラが選択した１つの差分データに対応するアップスケール処理モードを特定するモードデータを含み、前記アップスケーラは、前記モードデータを参照し、当該１つの差分データに対応するアップスケール処理モードで前記基本画質画像データをアップスケール処理する。

この態様では、モードデータに基づいて、最適なアップスケール処理が行われた差分データを用いて高画質画像を再生することができる。

以下、本発明の好適な実施例を図面に基づいて説明する。

［第１実施例］
図１に、本発明の第１実施例による画像生成装置の構成を示す。画像生成装置１００は、好適にはＤＶＤ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）などの記録媒体（パッケージメディア）を製作する環境に設置される。

具体的に、画像生成装置１００は、高画質のソース画像データを提供する元画像ソース５を有する。元画像ソース５から出力されるソース画像データＤ１はＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ：高精細）エンコーダ１０と、ダウンスケーラ１２とへ供給される。ＨＤエンコーダ１０は、ソース画像データをＨＤＴＶ方式でエンコードしてＨＤ画像データＤ２を生成し、ＢＤへ記録するとともにＨＤデコーダ１１へ供給する。こうしてＨＤ画像データＤ２を記録したＢＤのパッケージメディアが製作される。ＨＤデコーダ１１は、ＨＤ画像データＤ２をデコードしてＨＤ画像データＤ３を生成し、４つの加算器１６ａ〜１６ｄへ供給する。

一方、ダウンスケーラ１２は、ソース画像データＤ１にダウンスケール処理を施してソース画像データＤ１をＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ：標準画質）ＴＶの解像度に変換し、ＳＤエンコーダ１３へ供給する。ＳＤエンコーダ１３は、ソース画像データをＳＤＴＶ方式でエンコードしてＳＤ画像データＤ４を生成し、ＤＶＤへ記録するとともにＳＤデコーダ１４へ供給する。こうして、ＤＶＤのパッケージメディアが製作される。ＳＤデコーダ１４は、ＳＤ画像データＤ４をデコードしてＳＤ画像データＤ５を生成し、４つのアップスケーラ１５ａ〜１５ｄへ供給する。

なお、以下の説明では、同一の構成要素が複数個ある場合において、それらのうちの特定の１つを指す場合には添え字を付し、特定の１つに限定しない場合には添え字を省略する。例えば、アップスケーラ１５ａ〜１５ｄのうちのいずれかを指す場合には単に「アップスケーラ１５」と記す。

４つのアップスケーラ１５ａ〜１５ｄは、それぞれ異なるモードでＳＤ画像データＤ５をＨＤＴＶの解像度に変換してＨＤ画像データを生成し、それぞれ対応する加算器１６ａ〜１６ｄへ供給する。なお、異なるモードとは、低解像度のピクセルから新たなピクセルを生成する際の処理方法（アルゴリズム）、パラメータの設定などが異なることをいう。よって、各アップスケーラ１５ａ〜１５ｄは、同一のＳＤ画像データＤ５からそれぞれ異なるＨＤ画像データを生成することになる。

加算器１６ａ〜１６ｄは、ＨＤデコーダ１１から出力されるＨＤ画像データＤ３と、対応するアップスケーラ１５ａ〜１５ｄから出力されるＨＤ画像データとの差分データを生成し、コントローラ１９及びスイッチ１７へ出力する。

コントローラ１９は、加算器１６ａ〜１６ｄから供給された差分データのデータ量に基づいて、その画像データに最も適したアップスケール処理を行ったアップスケーラ１５を決定し、スイッチ１７を制御してそのアップスケーラ１５の出力をＨＤエンコーダ１８へ供給する。具体的には、コントローラ１９は、加算器１６ａ〜１６ｄから出力された差分データのうち、データ量が最も小さい差分データに対応するアップスケーラ１５を選択する。これは、その画像に対して適切なアップスケール処理により生成されたＨＤ画像ほど、ＨＤデコーダ１１から出力されるＨＤ画像（即ち、ソース画像）と類似しており、それゆえ差分データ量が小さいと考えられるからである。よって、コントローラ１９は、スイッチ１７を制御し、最小データ量の差分データを出力した加算器１６の出力をＨＤエンコーダ１８へ供給する。

なお、コントローラ１９は、スイッチ１７の切り換えにヒステリシスを持たせることが好ましい。例えば、コントローラ１９は、モード（Ｍｏｄｅ）１のアップスケール処理による差分データ量よりモード２のアップスケール処理による差分データ量が小さくなったときに直ちにモード１からモード２へ切り換えるのではなく、モード１とモード２のアップスケール処理による差分データ量の差が所定値を超えたときに初めてモード１からモード２への切り換えを行う。こうすることにより、必要以上に頻繁にアップスケーラ１５が切り換えられて、画像生成装置１００による画像精製処理及び後述する画像再生装置２００による画像再生処理が煩雑となることが防止される。

また、コントローラ１９は、最適なアップスケール処理を行ったアップスケーラ１５、即ち差分データ量が最小となったアップスケーラ１５のモードを示すモード情報ＤＭをＨＤエンコーダ１８へ供給する。

なお、最適なアップスケール処理のモードは処理の対象となる画像データの内容に依存するので、最適なアップスケール処理を行うアップスケーラ１５は画像内容の変化に応じて変化する。例えばアップスケーラ１５ａのモード１は動きの早い画像に適しており、アップスケーラ１５ｄのモード４は動きの遅い画像に適していると仮定する。この場合、コントローラ１９は、ソース画像の動きが早いときはモード１を最適なアップスケーラ１５と決定するであろうし、動きが遅いときはモード４を最適なアップスケーラ１５と決定する。よって、ソース画像の変化に応じて最適なアップスケール処理のモードは時々刻々と変化し、コントローラ１９が選択するアップスケーラ１５及びコントローラ１９が出力するモード情報ＤＭはそれに応じて変化することになる。

ＨＤエンコーダ１８は、スイッチ１７が選択した加算器１６から供給される差分データに、モード情報ＤＭを付加して差分データＤ６とし、インターネットを介してユーザの画像再生装置２００へ提供する。なお、実際には、インターネット上のサーバ装置などに差分データＤ６が蓄積され、ユーザはそのサーバ装置から差分データＤ６を特定してダウンロードすることになる。図１の構成から理解されるように、この差分データＤ６は、ソース画像のＨＤ画像データＤ３と、ＳＤ画像データＤ４をＨＤＴＶの解像度にアップスケールした画像データとの差分データである。よって、詳細は後述するが、ユーザは、ＤＶＤのパッケージメディアから得られるＳＤ画像データＤ４と、この差分データＤ６とを利用することにより、ソース画像のＨＤ画像データＤ３を再生することができる。

次に、第１実施例における画像再生装置について説明する。図２は、第１実施例の画像再生装置２００の構成を示す。画像再生装置２００は、例えばＤＶＤプレイヤーとして構成される。

画像再生装置２００は、インターネットを通じて差分データＤ６を取得し、一時的にＨＤＤ３１へ記憶するとともに、ＨＤデコーダ３２へ供給する。また、画像再生装置２００は、差分データＤ６中のモード情報ＤＭを抽出してアップスケーラ３４へ供給する。

ＨＤデコーダ３２は、差分データＤ６をデコードしてＨＤ画像データＤ７を生成し、加算器３５へ供給する。このＨＤ画像データＤ７は、前述のように、ＤＶＤに記録されているＳＤ画像データＤ４と、ソース画像であるＨＤ画像データＤ３の差分データである。

また、画像再生装置２００は、パッケージメディアであるＤＶＤを再生する。ＤＶＤに記録されているＳＤ画像データＤ８（＝Ｄ４）は、ＳＤデコーダ３３によりデコードされ、ＳＤ画像データＤ９としてアップスケーラ３４へ送られる。アップスケーラ３４は、ＳＤ画像データＤ９をアップスケール処理によりＨＤＴＶの解像度に変換し、ＨＤ画像データＤ１０として加算器３５へ供給する。ここで、アップスケーラ３４は、差分データＤ６から抽出されたモード情報ＤＭを参照し、当該モード情報ＤＭが示すモードに対応するアップスケール処理を実行してＨＤ画像データＤ１０を生成する。即ち、ＳＤ画像データＤ９は、図１に示す画像生成装置１００において行われたアップスケール処理と同一のアップスケール処理によってＨＤ画像データＤ１０に変換される。ＨＤ画像データＤ１０は、ＤＶＤに記録されたＳＤ画像データＤ８をＨＤＴＶの解像度にした画像データである。

ＨＤデコーダ３２は、差分データＤ６に含まれるＨＤ画像データ中の時間情報を抽出し、時間情報ＤＴとしてＳＤデコーダ３３へ供給する。これにより、ＨＤデコーダ３２とＳＤデコーダ３３は相互に時間軸上の同期を取ることができる。なお、時間情報ＤＴとしては、デコード開始時刻管理情報であるＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ）、再生時刻管理情報であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）、基本同期信号であるＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）などを使用することができる。

加算器３５は、ＨＤ画像データＤ１０にＨＤ画像データＤ７を加算してＨＤ画像データＤ１１を出力する。ＨＤ画像データＤ１０はＤＶＤに記録されたＳＤ画像データをＨＤＴＶの解像度に変換したデータであり、ＨＤ画像データＤ７はＳＤ画像データとＨＤ画像データの差分データである。よってＨＤ画像データＤ１１は、元画像ソース５から出力されるソース画像に対応する高精細の画像データとなる。

以上のように、第１実施例では、ソース画像データに対応するＳＤ画像データはＤＶＤのパッケージメディアの形態でユーザに提供される。一方、ソース画像データと、ＤＶＤに記録されるＳＤ画像データとの差分データがインターネットを介してユーザに提供される。言い換えると、差分データはＳＤ画像データとは別個に、異なるルートでユーザに提供される。そして、ユーザは画像再生装置２００において、ＤＶＤから取得されるＳＤ画像データと、インターネットを介して提供される差分データとを用いて、ソース画像に対応する高精細画像を再生することができる。よって、ＤＶＤのパッケージメディアを購入したユーザは、インターネットから差分データＤ６を取得すれば、高精細画像を見ることができる。なお、この手法では、インターネットを通じて提供される差分データは、それだけを閲覧しても無意味であるので、著作権や閲覧権限などの観点からも問題がない。

なお、図２に示す画像再生装置２００は、もちろん差分データＤ６を使用せずにＤＶＤからのＳＤ画像のみを再生することも可能である。また、画像再生装置２００は、ＤＶＤメディアに記録されているメディアキーやタイトルキーなどのキー情報を確認した上で、差分データとの画像データ合成を行うように構成することも可能である。

なお、第１実施例においては、ＨＤ画像が本発明における高画質画像及び高精細度画像に相当し、ＳＤ画像が本発明における基本画質画像及び標準精細度画像に相当する。

［第２実施例］
次に、本発明の第２実施例について説明する。第１実施例は、ＤＶＤのパッケージメディアとインターネットから入手した差分データとを用いて、ＨＤ画質の画像再生を行うものであった。これに対し、第２実施例では、差分データは、画像再生装置２００に接続されて使用される表示装置（ＴＶ）の特性に適合した画像を生成するためのデータとなっている。即ち、第２実施例は、差分データを利用することによりユーザが所有する表示装置に最適な画像を再生することを可能とする。

図３は、本発明の第２実施例による画像生成装置１００ａの構成を示す。画像生成装置１００ａは、イコライザ２０が付加されている点以外は第１実施例の画像生成装置１００と同様の構成を有する。なお、第１実施例と同様の構成要素については適宜説明を省略する。

イコライザ３０は、画像再生側で使用される表示装置の特性に対して画像データを最適化する画像処理を行う。例えば、異なる表示装置としてＡ社製ＴＶ、Ｂ社製ＴＶ、Ｃ社製ＴＶがある場合、まずイコライザ３０はＡ社製ＴＶに対して最適化された画像を生成する。これにより、ＨＤエンコーダ１８が生成する差分データＤ６は、ＤＶＤのパッケージメディアに記録される標準画質の画像と、Ａ社製ＴＶに対して最適化された高精細画像との差分データとなる。同様に、画像生成装置１００ａは、Ｂ社製ＴＶ、Ｃ社製ＴＶに対して最適化された高精細画像との差分データも生成する。

第２実施例の画像再生装置２００ａの構成を図４に示す。第２実施例の画像再生装置２００ａは、コントローラ３６が付加されている点以外は基本的に第１実施例の画像再生装置２００と同様の構成を有する。なお、第１実施例と同様の構成要素については適宜説明を省略する。

インターネットのサーバには、上述のように、Ａ〜Ｃ各社のＴＶに対応する差分データが予め用意されている。画像再生装置２００ａのコントローラ３６は、ＴＶ４０から当該ＴＶの識別情報Ｄ１２（例えばメーカー名、型番など）をＨＤＭＩなどのインターフェースを介して取得し、ＡＤＳＬやＦＴＴＨなどのインターフェースを通じてインターネットのサーバへ識別情報Ｄ１２を送信する。これにより、画像再生装置２００ａは、当該識別情報Ｄ１２に対応する差分データＤ６を受信する。例えば、ユーザのＴＶがＡ社製であれば、その旨を示す識別情報Ｄ１２がサーバへ送信され、当該ＴＶに対応する差分データＤ６がＨＤＤ３１へ記憶される。

画像再生装置２００ａにおける動作は基本的に第１実施例と同様である。よって、画像再生装置２００ａは、ＤＶＤのパッケージメディアから取得したＳＤ画像データと、ＴＶ４０に対応する差分データＤ６に基づいて、当該ＴＶ４０に最適な画質のＨＤ画像を再生することができる。

なお、第２実施例では、同様にＢＤのパッケージメディアに対しても、表示装置に最適化したＨＤ画像を提供することができる。このための構成を図３及び図４において破線で示している。

図３において、ＨＤエンコーダ１０はソース画像Ｄ１をエンコードしたＨＤ画像データＤ２をＢＤに記録する。同時に、ＨＤエンコーダ１０から出力されるＨＤ画像データＤ２と、イコライザ２０から出力されるＨＤ画像データＤ３ａとの差分データＤ１５がインターネットを通じてユーザに提供される。

図４に示す例では、画像再生装置２００ａはインターネットから差分データＤ１５を取得し、ＨＤデコーダ３２がこれをデコードして加算器３５へ供給する。また、ＨＤデコーダ３７はＢＤから読み出したＨＤ画像データをデコードして加算器３５へ供給する。加算器３５は、パッケージメディアであるＢＤからのＨＤ画像データと差分データＤ１５に基づくＨＤ画像データとを加算してＨＤ画像データＤ１１を生成する。このＨＤ画像データＤ１１は、ＴＶ４０に対して最適化されたＨＤ画像となる。

なお、第２実施例においては、表示装置に最適化した画質の画像（イコライザからの出力画像）が本発明における高画質画像に相当し、ＤＶＤに記録されたＳＤ画像が本発明における基本画質画像に相当する。

［第３実施例］
次に、本発明の第３実施例について説明する。第１実施例は、ＤＶＤのパッケージメディアを使用し、ＳＤ画像より高精細であるＨＤ画像との差分データをインターネットから取得して高精細のＨＤ画像を再生可能とするものであった。これに対し、第３実施例は、ＢＤのパッケージメディアを使用し、ＨＤ画像よりさらに高精細である４Ｋ２Ｋ画像との差分データをインターネットから取得して４Ｋ２Ｋ画像の再生を可能とするものである。なお、「４Ｋ２Ｋ」とは、解像度が「４０９６×２０４３」又は「４０９６×２１６０」である画像を言う。

第３実施例における画像生成装置１００ｃの構成を図５に示し、画像再生装置２００ｃの構成を図６に示す。第３実施例におけるＢＤと４Ｋ２Ｋ画像の関係は、第１実施例におけるＤＶＤとＨＤ画像の関係と同様であり、画像生成装置１００ｃ及び画像再生装置２００ｃにおける処理も類似している。

図５に示すように、４Ｋ２Ｋ画像であるソース画像は、４Ｋ２Ｋエンコーダ５０及び４Ｋ２Ｋデコーダ５１を介して複数の加算器５６ａから５６ｄへ送られる。一方、ソース画像はダウンスケーラ５２によりＨＤ画像の解像度にダウンスケール処理され、ＨＤエンコーダ５３によりエンコードされてパッケージメディアとしてのＢＤへ記録される。同時に、ＨＤエンコーダ５３の出力はＨＤデコーダ５４によりデコードされ、４つのアップスケーラ５５ａ〜５５ｄに送られる。４つのアップスケーラ５５ａ〜５５ｄは、異なるモードでＨＤ画像データをアップスケール処理して４Ｋ２Ｋの解像度とし、加算器５６ａ〜５６ｄへ送る。加算器５６ａ〜５６ｄは、それぞれ、４Ｋ２Ｋデコーダ５１からの４Ｋ２Ｋ画像データと、各アップスケーラ５５ａ〜５５ｄからの画像データとの差分データをスイッチ５７へ送る。

コントローラ５９は、各加算器５６ａ〜５６ｄが出力する差分データのデータ量に基づいて最適なモードのアップスケーラ５５を選択し、それに対応する加算器５６からの出力をスイッチ５７により選択して４Ｋ２Ｋエンコーダ５８へ送る。４Ｋ２Ｋエンコーダ５８は、スイッチ５７から供給される差分データに、コントローラ５９から供給されるモード情報ＤＭ（最適なアップスケール処理のモードを示す情報）を含めて差分データとしてインターネットへ提供する。

図６に示す画像再生装置２００ｃはＢＤプレイヤーなどにより構成される。画像再生装置２００ｃは、インターネットより差分データを取得してＨＤＤ６１に一時的に記憶するとともに、差分データ中のモード情報ＤＭを抽出してアップスケーラ６４に送る。４Ｋ２Ｋデコーダ６２は差分データをデコードして４Ｋ２Ｋ画像データを生成し、加算器６５へ送る。

一方、ＢＤのパッケージメディアから読み出されたＨＤ画像データはＨＤデコーダ６３によりデコードされてアップスケーラ６４に送られる。アップスケーラ６４は、モード情報ＤＭにより指定されるモードに従ってＨＤデコーダ６３からのＨＤ画像データを４Ｋ２Ｋの解像度に変換し、加算器６５へ送る。なお、４Ｋ２Ｋデコーダ６２とＨＤデコーダ６３は、第１実施例と同様に、差分データに含まれる時間情報ＤＴに基づいて同期制御される。

加算器６５は、４Ｋ２Ｋデコーダ６２から供給される画像データと、アップスケーラ６４から供給されるデータとを加算して４Ｋ２Ｋ画像を出力する。アップスケーラ６４から供給される画像データはＢＤに記録されたＨＤ画像を４Ｋ２Ｋ解像度に変換したものであり、４Ｋ２Ｋデコーダ６２から供給されるデータはＢＤに記録されたＨＤ画像とソース画像との差分データである。よって、加算器６５から出力される４Ｋ２Ｋ画像は、ソース画像に相当する高画質（高精細）の画像となる。こうして、ＢＤのパッケージメディアを有するユーザは、インターネットから差分データを取得することにより、さらに高精細な４Ｋ２Ｋ画質の画像を再生することが可能となる。

なお、第３実施例においては、４Ｋ２Ｋ画像が本発明における高画質画像及び高精細度画像に相当し、ＨＤ画像が本発明における基本画質画像及び標準精細度画像に相当する。

［第４実施例］
次に、本発明の第４実施例について説明する。第４実施例は、画像の放送システムに本発明を適用したものであり、放送帯域制限に伴うブロックノイズの影響を除去する手法に関する。ブロックノイズとは、デジタル画像において発生するノイズであり、モザイクのように画像の境目が分かれて見えるノイズを言う。ブロックノイズは画像データの圧縮などにより生じるものであり、放送帯域制限に起因して発生する。具体的に、放送帯域の制限なしで圧縮した画像にはブロックノイズは発生しないが、放送帯域制限に合わせた圧縮手法で画像データの圧縮を行うとブロックノイズが発生する。

第４実施例による画像生成装置１００ｄ及び画像再生装置２００ｄの構成を図７に示す。画像生成装置１００ｄは放送局に設置される。元画像ソース５から出力されるソース画像データはＨＤエンコーダ６０及び６２に送られる。ＨＤエンコーダ６０は、ソース画像データに対して放送帯域制限に合わせたエンコードを行い、ＨＤデコーダ６１へ送る。ＨＤデコーダ６１はエンコードされた画像データをデコードし、加算器６４へ送る。またＨＤエンコーダ６０によりエンコードされた画像データは、例えば地上波デジタル放送などの放送により画像再生装置２００ｄへ送られる。

一方、ＨＤエンコーダ６２は、ソース画像データに対して放送帯域の制限を受けないエンコードを行い、ＨＤデコーダ６３へ送る。ＨＤデコーダ６３はエンコードされた画像データをデコードし、加算器６４へ送る。

加算器６４は、放送帯域制限のない画像データから、放送帯域制限のある画像データを減算し、差分データとしてＨＤエンコーダ６５へ送る。ＨＤエンコーダ６５はエンコードした差分データを、インターネットを介して画像再生装置２００ｄへ送る。

画像再生装置２００ｄは例えばＨＤＤレコーダ、ＢＤレコーダなどとすることができる。画像再生装置２００ｄは、放送により取得した画像データ（破線参照）をＨＤＤ７１に一時的に記憶し、画像データＤ４０としてＨＤデコーダ７２へ送る。ＨＤデコーダ７２は、放送により取得した画像データＤ４０をデコードし、画像データＤ４２として加算器７３へ送る。

ＨＤデコーダ７０はインターネットを介して取得した差分データＤ４１をデコードし、画像データＤ４３として加算器７３へ送る。なお、ＨＤデコーダ７０と７２は、差分データＤ４１に含まれる時間情報ＤＴに基づいて同期制御される。加算器７３は、放送を通じて得られた画像データＤ４２に、差分データに基づいて得られた画像データＤ４３を加算し、ＨＤ画像データとして出力する。

このように、帯域制限無しの画像データとの差分データをインターネットを通じて取得し、放送により得られた画像データに加算して再生することにより、ユーザは放送帯域制限に起因するブロックノイズの影響を受けない画像再生が可能となる。

なお、上記の例では差分データをインターネット経由で提供しているが、その代わりに、差分データを例えばＴＶ雑誌の付録ディスクなどに記録してユーザに提供することとしてもよい。

上述のように、画像再生装置２００ｄ内のＨＤデコーダ７０及び７２の同期制御は、差分データに含まれる時間情報ＤＴに基づいて行うことができる。但し、画像再生装置２００ｄがＣＭカット機能を有する場合に、放送波に基づく画像データＤ４０のＣＭ部分をカットしてしまうと、ＨＤデコーダ７０で生成される差分データＤ４１との同期を取るための処理負荷が大きくなり、特に放送波に基づいてリアルタイムに再生することは難しくなる。よって、本実施例により高画質画像を再生する場合には、画像再生装置２００ｄのＣＭカット機能を使用禁止することが好ましい。もしくは、リアルタイム再生は行わず、放送波から得られた画像データＤ４０を一旦ＨＤＤ７１に記録するとともに、インターネットから取得した差分データＤ４１も一旦ＨＤＤ７１に記憶し、それらに基づいて予め合成した画像データを生成してＨＤＤ７１に記憶する。そして、合成後の画像データを再生することとしてもよい。

なお、第４実施例では、帯域制限無しでエンコードされた画像が本発明における高画質画像に相当し、帯域制限ありでエンコードされた画像が本発明における基本画質画像に相当する。

［第５実施例］
次に、本発明の第５実施例について説明する。第５実施例では、ソース画像をディープカラー（Ｄｅｅｐ Ｃｏｌｏｒ）などの階調数の多い高画質画像、又は、ｘｖＹＣＣなどの色再現域（色域）の広い高画質画像とし、それら高画質画像と標準画質画像との差分データをインターネット配信する。

図８は、第５実施例に係る画像生成装置１００ｅ及び画像再生装置２００ｅの構成を示す。画像生成装置１００ｅにおいて、元画像ソース５から出力されたソース画像Ｄ５０は、ＨＤエンコーダ８０及び階調ダウン処理部８２へ送られる。ＨＤエンコーダ８０はソース画像Ｄ５０をエンコードし、ＨＤデコーダ８１はそれをデコードしてＨＤ画像データＤ５１を生成して加算器８５へ送る。

一方、階調ダウン処理部８２は、ソース画像Ｄ５０の階調数を減らしたＨＤ画像データＤ５２を生成し、これをＨＤエンコーダ８３へ送る。例えば、ソース画像Ｄ５０の階調数が１６又は１２ビットである場合、階調ダウン処理部８２はこれを８ビットのＨＤ画像データＤ５２とする。ＨＤエンコーダ８３はＨＤ画像データＤ５２をエンコードしてＢＤに記録するとともにＨＤデコーダ８４へ送り、ＨＤデコーダ８４はその画像データをデコードして加算器８５へ送る。加算器８５は、ＨＤデコーダ８１から供給されるＨＤ画像データＤ５１から、ＨＤデコーダ８４から供給されるＨＤ画像データＤ５３を減算して差分データを生成し、ＨＤエンコーダ８６はその差分データをエンコードして差分データＤ５４を生成する。差分データＤ５４はインターネットを通じてユーザの画像再生装置２００ｅに提供される。なお、ＨＤエンコーダ８６は、元画像ソース５から出力されるソース画像データＤ５０の階調数を示す階調数情報ＤＮを差分データＤ５４に含める。

画像再生装置２００ｅは、インターネットから差分データＤ５４を取得しＨＤＤ９１に一時的に記憶する。画像再生装置２００ｅは、差分データＤ５４から階調数情報ＤＮを抽出し、階調アップ処理部９３へ送る。

ＨＤデコーダ９０は、差分データＤ５４をデコードし、ＨＤ画像データＤ５５として加算器９４へ送る。また、ＨＤデコーダ９２は、ＢＤのパッケージメディアからＨＤ画像データを読み出してデコードし、階調アップ処理部９３はデコードされた画像データの階調数を階調数情報ＤＮに従って増加させてＨＤ画像データＤ５６を生成して加算器９４へ送る。これにより、階調アップ処理部９３から出力されるＨＤ画像データＤ５６は、ソース画像Ｄ５０と同一の階調数となる。そして、加算器９４は、ＨＤ画像データＤ５５とＤ５６を加算してＨＤ画像を出力する。このＨＤ画像は、ソース画像と同一階調数を有する高画質画像となる。

なお、上記の例では、ソース画像データＤ５０を階調数の大きい高画質画像としたが、ソース画像データＤ５０を色再現域の広い高画質画像としても構わない。その場合には、階調ダウン処理部８２の代わりに色再現域を狭くする変換処理を行う処理部を設け、階調アップ処理部９３の代わりに色再現域を広くする変換処理を行う処理部を設ける。そして、差分データＤ５４には、階調数情報の代わりに色再現域を特定する情報を含める。これにより、画像生成装置２００ｅは色再現域の広い高画質画像と、標準的な色再現域の標準画質画像との差分データを生成してインターネットへ提供する。画像再生装置２００ｅは、その差分データを取得し、ＢＤから再生される標準画質画像に差分データを加算して、色再現域の広い高画質画像を再生することが可能となる。

以上の第１乃至第５実施例に説明したように、本発明では、高画質画像データと基本画質画像データの差分データを生成し、当該差分データを、基本画質画像データとは異なるルートでユーザに提供する。好適には、基本画質画像データをＤＶＤ、ＢＤなどのパッケージメディアもしくは放送により提供し、高画質画像データとの差分データをインターネットなどにより配信する。これにより、基本画質画像データを有するユーザは、高画質画像データとの差分データを取得することにより、高画質画像を再生することができる。

第１実施例に係る画像生成装置の概略構成を示すブロック図である。 第１実施例に係る画像再生装置の概略構成を示すブロック図である。 第２実施例に係る画像生成装置の概略構成を示すブロック図である。 第２実施例に係る画像再生装置の概略構成を示すブロック図である。 第３実施例に係る画像生成装置の概略構成を示すブロック図である。 第３実施例に係る画像再生装置の概略構成を示すブロック図である。 第４実施例に係る画像生成装置及び画像再生装置の概略構成を示すブロック図である。 第５実施例に係る画像生成装置及び画像再生装置の概略構成を示すブロック図である。

符号の説明

５ 元画像ソース
１０、１８ ＨＤエンコーダ
１１ ＨＤデコーダ
１２ ダウンスケーラ
１５、３４、５５、６４ アップスケーラ
１６、３５ 加算器
１９、３６、５９ コントローラ
２０ イコライザ
３１ ＨＤＤ
４０ ＴＶ
１００ａ〜１００ｅ 画像生成装置
２００ａ〜２００ｅ 画像再生装置

Claims (12)

1. 元画像データから、高画質画像データを生成する高画質画像生成部と、
   前記元画像データから、前記高画質画像データよりも低画質の基本画質画像データを生成する基本画質画像生成部と、
   前記高画質画像データと前記基本画質画像データの差分である差分データを生成する差分データ生成部と、
   前記基本画質画像データと、前記差分データとを異なる出力経路に出力する出力部と、を備えることを特徴とする画像生成装置。
2. 前記高画質画像データは高精細度画像データであり、
   前記基本画質画像データは標準精細度画像データであり、
   前記基本画質画像生成部は、前記高精細度画像データから前記標準精細度画像データを生成するダウンスケーラであり、
   前記差分データ生成部は、前記標準精細度画像データをアップスケール処理するアップスケーラと、アップスケール処理された画像データを前記高精細度画像データから減算して前記差分データを生成する減算部と、を備えることを特徴とする請求項１に記載の画像生成装置。
3. 前記高画質画像データは高精細度画像データであり、
   前記基本画質画像データは標準精細度画像データであり、
   前記基本画質画像生成部は、前記高精細度画像データから前記標準精細度画像データを生成するダウンスケーラであり、
   前記差分データ生成部は、前記標準精細度画像データを異なるモードでアップスケール処理する複数のアップスケーラと、アップスケール処理された画像データを前記高精細度画像データから減算して前記差分データを生成する複数の減算部と、を備えることを特徴とする請求項１に記載の画像生成装置。
4. 前記複数の差分データから１つの差分データを選択するコントローラを有し、
   前記差分データ生成部は、前記コントローラが選択した１つの差分データを出力することを特徴とする請求項１乃至３のいずれか一項に記載の画像生成装置。
5. 前記コントローラは、前記複数の差分データのうち、データ量が最も少ないものを選択することを特徴とする請求項４に記載の画像生成装置。
6. 前記高画質画像データに対して、所定の画像表示装置の特性に応じた画質調整を行う画質調整手段を備え、
   前記差分データ生成部は、画質調整後の高画質画像データに基づいて前記差分データを生成することを特徴とする請求項１乃至５のいずれか一項に記載の画像生成装置。
7. 前記高画質画像生成部は、前記元画像データを、放送帯域による制限なしに圧縮して前記高画質画像データを生成し、
   前記基本画質画像生成部は、前記元画像データを、放送帯域による制限に応じて圧縮して前記基本画質画像データを生成することを特徴とする請求項１に記載の画像生成装置。
8. 前記高画質画像生成部は、所定階調数を有する前記高画質画像データを生成し、
   前記基本画質画像生成部は、前記所定階調数よりも少ない階調数を有する前記基本画質画像データを生成することを特徴とする請求項１に記載の画像生成装置。
9. 前記高画質画像生成部は、所定の色域を有する前記高画質画像データを生成し、
   前記基本画質画像生成部は、前記所定の色域よりも狭い色域を有する前記基本画質画像データを生成することを特徴とする請求項１に記載の画像生成装置。
10. 請求項１に記載の画像生成装置が生成した画像データを再生する画像再生装置であって、
    ネットワークを通じて前記差分データを取得する差分データ取得部と、
    前記基本画質画像データを取得する基本画質画像データ取得部と、
    前記基本画質画像データと前記差分データとに基づいて、前記高画質画像データを再生する再生部と、を備えることを特徴とする画像再生装置。
11. 請求項１に記載の画像生成装置が生成した画像データを再生する画像再生装置であって、
    ネットワークを通じて前記差分データを取得する差分データ取得部と、
    記録媒体から前記基本画質画像データを取得する基本画質画像データ取得部と、
    前記基本画質画像データをアップスケール処理するアップスケーラと、
    前記アップスケール処理された基本画質画像データと、前記差分データとを加算して高画質画像データを再生する再生部と、を備えることを特徴とする画像再生装置。
12. 請求項４に記載の画像生成装置が生成した画像データを再生する画像再生装置であって、
    ネットワークを通じて前記差分データを取得する差分データ取得部と、
    記録媒体から前記基本画質画像データを取得する基本画質画像データ取得部と、
    前記基本画質画像データをアップスケール処理するアップスケーラと、
    前記アップスケール処理された基本画質画像データと、前記差分データとを加算して高画質画像データを再生する再生部と、を備え、
    前記差分データは、前記コントローラが選択した１つの差分データに対応するアップスケール処理モードを特定するモードデータを含み、
    前記アップスケーラは、前記モードデータを参照し、当該１つの差分データに対応するアップスケール処理モードで前記基本画質画像データをアップスケール処理することを特徴とする画像再生装置。

Images