JP2014140108A

JP2014140108A - 画像処理装置、画像符号化装置及び画像処理方法

Info

Publication number: JP2014140108A
Application number: JP2013008215A
Authority: JP
Inventors: Takayuki Ito; 孝幸伊東; Akiyuki Tanizawa; 昭行谷沢; Tomoo Yamakage; 朋夫山影
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2013-01-21
Filing date: 2013-01-21
Publication date: 2014-07-31
Also published as: US20140205018A1

Abstract

【課題】符号化データを復号するための処理量を削減する。
【解決手段】実施形態によれば、画像処理装置１５０は、復号部１５１と、復号部１５２と、選択部１５３と、生成部１５４とを備える。復号部１５１は、第１の符号化データを復号することによって、第１の復号画像を生成する。復号部１５２は、第２の符号化データを復号することによって、第２の復号画像を生成する。選択部１５３は、表示タイミング毎に第１の復号画像及び第２の復号画像のうちいずれか一方を選択する。生成部１５４は、第１の復号画像が選択される表示タイミングにおいて表示される表示画像を、当該第１の復号画像に基づいて生成する。第２の復号画像は、第１の復号画像に比べて、フレームレートが低く解像度が高い。
【選択図】図１

Description

実施形態は、画像の符号化、復号及び再生に関する。

ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）−２及びＨ．２６４において、スケーラブル符号化のプロファイルが規定されている。スケーラブル符号化は、例えば解像度、ＰＳＮＲ（ＰｅａｋＳｉｇｎａｌ−ｔｏ−ＮｏｉｓｅＲａｔｉｏ）またはフレームレートなどのスケーラビリティを実現する。

スケーラブル符号化は、通常のＭＰＥＧ−２またはＨ．２６４に従ってベースレイヤを符号化すると共に拡張レイヤと称される差分情報を更に符号化するものである。具体的には、解像度スケーラビリティの例として、既存の放送が対象とする低解像度の画像をベースレイヤとして用い、当該既存の放送が対象とするよりも高解像度の画像を拡張レイヤとして用いることが想定できる。係るスケーラブル符号化によれば、既存の放送に比べて符号量は増大するものの、低解像度の画像及び高解像度の画像を選択的に再生することが可能となる。

一般に、拡張レイヤは、ベースレイヤの情報を利用して符号化することで符号量を削減可能である。しかしながら、拡張レイヤとして用いられる画像の解像度が高いほど、拡張レイヤの符号量に対して上記符号量の削減効果は相対的に小さくなる。また、拡張レイヤとして用いられる画像の解像度が高いほど当該拡張レイヤの符号化データを復号するための処理量は増大する。

２視差の画像に関して、一方の視差画像として高解像度の画像を用い、他方の視差画像として低解像度の画像を用いる符号化方式が提案されている。この符号化方式によれば、画像の再生時に高解像度の視差画像と低解像度の視差画像とが交互に表示されるので、主観画質の劣化を抑制しつつ符号量を削減することが可能となる。但し、この符号化方式は、視差の異なる画像を対象とするので、解像度スケーラビリティを実現するものではない。

特開２０１２−４４５３７号公報

Ｈｅｉｋｏｅｔａｌ．，ＩＴＵ−ＴＲｅｃｏｍｍｅｎｄａｔｉｏｎＨ．２６４（０１／２０１２） "ＯｖｅｒｖｉｅｗｏｆｔｈｅＳｃａｌａｂｌｅＶｉｄｅｏＣｏｄｉｎｇＥｘｔｅｎｓｉｏｎｏｆｔｈｅＨ．２６４／ＡＶＣＳｔａｎｄａｒｄ，" ＩＥＥＥＴｒａｎｓ．ｏｎＣｉｒｃｕｉｔｓａｎｄＶｉｄｅｏＴｅｃｈｎｏｌｏｇｙ，ＶＯＬ．１７，ＮＯ．９，Ｓｅｐ．２００７．

実施形態は、画像を符号化することによる発生符号量を削減することを目的の１つとする。また、実施形態は、符号化データを復号するための処理量を削減することを目的の１つとする。

実施形態によれば、画像処理装置は、第１の復号部と、第２の復号部と、選択部と、生成部とを備える。第１の復号部は、第１の符号化データを復号することによって、第１の復号画像を生成する。第２の復号部は、第２の符号化データを復号することによって、第２の復号画像を生成する。選択部は、表示タイミング毎に第１の復号画像及び第２の復号画像のうちいずれか一方を選択する。生成部は、第１の復号画像が選択される表示タイミングにおいて表示される表示画像を、当該第１の復号画像に基づいて生成する。第２の復号画像は、第１の復号画像に比べて、フレームレートが低く解像度が高い。

第１の実施形態に係る画像符号化装置及び画像処理装置を例示するブロック図。第１の実施形態に係る画像処理装置の動作を例示する図。第２の実施形態に係る画像符号化装置及び画像処理装置を例示するブロック図。第３の実施形態に係る画像符号化装置及び画像処理装置を例示するブロック図。第４の実施形態に係る画像符号化装置及び画像処理装置を例示するブロック図。第５の実施形態に係る画像符号化装置及び画像処理装置を例示するブロック図。

以下、図面を参照しながら実施形態の説明が述べられる。尚、以降、説明済みの要素と同一または類似の要素には同一または類似の符号が付され、重複する説明は基本的に省略される。

（第１の実施形態）
図１は、第１の実施形態に係る画像符号化装置１００及び画像処理装置１５０を例示する。

画像符号化装置１００は、第１の符号化部１０１及び第２の符号化部１０２を備える。画像符号化装置１００は、第１の画像及び第２の画像を入力し、これらを符号化することによって第１の符号化データ及び第２の符号化データを生成する。具体的には、画像符号化装置１００は、例えばＭＰＥＧ−２ＳｃａｌａｂｌｅＰｒｏｆｉｌｅ，Ｈ．２６４／ＳＶＣなどの解像度スケーラブル符号化方式に従って、第１の画像及び第２の画像を符号化してもよい。画像符号化装置１００は、第１の符号化データ及び第２の符号化データを例えば伝送路を介して画像処理装置１５０へと出力する。

ここで、伝送路とは、放送波、ＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）通信網または他の種々の伝送路であってもよい。また、伝送路は、記録媒体に置き換えられてもよい。記録媒体とは、磁気ディスク、光ディスクまたは他の種々の記録媒体であってもよい。第１の符号化データ及び第２の符号化データは、異なる伝送路または記録媒体を介して画像処理装置１５０へ出力されてよい。

画像処理装置１５０は、第１の復号部１５１、第２の復号部１５２、画像選択部１５３及び表示画像生成部１５４を備える。画像処理装置１５０は、第１の符号化データ及び第２の符号化データを例えば伝送路を介して画像符号化装置１００から入力し、これらを復号することによって第１の復号画像及び第２の復号画像を生成する。具体的には、画像処理装置１５０は、画像符号化装置１００によって行われたスケーラブル符号化処理に対応する復号処理を行う。更に、画像処理装置１５０は、第１の復号画像及び第２の復号画像に基づいて表示画像を生成するための種々の処理（即ち、再生処理）を行う。

尚、以降の説明において、画像処理装置は、符号化データを復号し、復号画像を再生するものである。従って、画像処理装置は、画像復号装置または画像再生装置などと称されてもよい。

第１の符号化部１０１は、第１の画像を入力する。第１の符号化部１０１は、第１の画像を符号化することによって、第１の符号化データを生成する。例えば、第１の符号化部１０１は、Ｈ．２６４／ＡＶＣに従って第１の画像を符号化してもよい。第１の符号化部１０１は、第１の符号化データを例えば伝送路を介して第１の復号部１５１へと出力する。また、第１の符号化部１０１は、符号化処理を通じて得られた符号化情報（例えば、局所復号画像、動きベクトルの情報など）を第２の符号化部１０２へと出力する。

尚、第１の画像は、後述される第２の画像に比べて、フレームレートが高くかつ解像度が低い。第１の符号化部１０１は、ベースレイヤ符号化部と称されてもよい。また、第１の符号化データは、ベースレイヤ符号化データと称されてもよい。

第２の符号化部１０２は、第２の画像を入力する。また、第２の符号化部１０２は、第１の符号化部１０１から符号化情報を入力する。第２の符号化部１０２は、符号化情報を利用して第２の画像を符号化することによって、第２の符号化データを生成する。例えば、第２の符号化部１０２は、Ｈ．２６４／ＳＶＣの解像度スケーラブル符号化方式において規定される拡張レイヤ符号化処理を行ってもよい。第２の符号化部１０２は、第２の符号化データを例えば伝送路を介して第２の復号部１５２へと出力する。

尚、第２の画像は、前述の第１の画像に比べて、フレームレートが低くかつ解像度が高い。第２の符号化部１０２は、拡張レイヤ符号化部と称されてもよい。また、第２の符号化データは、拡張レイヤ符号化データと称されてもよい。

第１の画像及び第２の画像は、例えば高フレームレート高解像度の単一のオリジナル映像に基づいて作成されてもよい。具体的には、第１の画像は、オリジナル映像をダウンコンバート（またはダウンサンプリング）することによって作成されてよい。第２の画像は、オリジナル映像を時間的に間引くことによって作成されてよい。

第１の復号部１５１は、第１の符号化データを例えば伝送路を介して第１の符号化部１０１から入力する。第１の復号部１５１は、第１の符号化データを復号することによって第１の復号画像を生成する。具体的には、第１の復号部１５１は、Ｈ．２６４／ＳＶＣにおいて規定されるベースレイヤ復号処理を行ってもよい。第１の復号部１５１は、第１の復号画像を画像選択部１５３へと出力する。また、第１の復号部１５１は、復号処理を通じて得られた符号化情報（例えば、第１の復号画像、動きベクトルの情報など）を第２の復号部１５２へと出力する。尚、第１の復号部１５１は、ベースレイヤ復号部と称されてもよい。

第２の復号部１５２は、第２の符号化データを例えば伝送路を介して第２の符号化部１０２から入力する。また、第２の復号部１５２は、第１の復号部１５１から符号化情報を入力する。第２の復号部１５２は、符号化情報を利用して第２の符号化データを復号することによって、第２の復号画像を得る。具体的には、第２の復号部１５２は、Ｈ．２６４／ＳＶＣにおいて規定される拡張レイヤ復号処理を行ってもよい。第２の復号部１５２は、第２の復号画像を画像選択部１５３へと出力する。尚、第２の復号部１５２は、拡張レイヤ復号部と称されてもよい。

画像選択部１５３は、第１の復号画像を第１の復号部１５１から入力する。また、画像選択部１５３は、第２の復号画像を第２の復号部１５２から入力する。画像選択部１５３は、第１の復号画像及び第２の復号画像のうちいずれか一方を所定の表示タイミング毎に選択する。画像選択部１５３は、選択された画像（以降、単に選択画像と称される）と、第１の復号画像及び第２の復号画像のうちいずれが選択されたかを示す選択情報とを表示画像生成部１５４へと出力する。

前述の通り、第２の画像は第１の画像に比べてフレームレートが低いので、第２の復号画像もまた第１の復号画像に比べてフレームレートが低い。要するに、第１の復号画像は存在するものの第２の復号画像は存在しない表示タイミングが生じることになる。画像選択部１５３は、係る表示タイミングに対して第１の復号画像を選択し、それ以外の表示タイミング（即ち、第１の復号画像及び第２の復号画像の両方が存在する表示タイミング）に対して第２の復号画像を選択することによって、高解像度映像を再生できる。

画像選択部１５３は、第１の復号画像と第２の復号画像との間の表示タイミングの対応関係を示す情報（以降、同期情報と称される）に基づいて、所与の表示タイミングにおいて第２の復号画像が存在するか否かを判定できる。具体的には、ＳＶＣによれば符号化された各ピクチャに対して表示順を示す番号（ＰｉｃｔｕｒｅＯｒｄｅｒＣｏｕｎｔ；ＰＯＣ）が付与されるので、画像選択部１５３はＰＯＣの情報に基づいて同期情報を導出できる。

尚、画像選択部１５３は、第２の復号画像の存在の有無に関わらず第１の復号画像を選択することによって、低解像度映像を再生してもよい。画像選択部１５３の動作を所望の解像度に応じて制御することにより、解像度スケーラビリティが実現可能である。

表示画像生成部１５４は、表示画像生成部１５４から選択画像及び選択情報を入力する。表示画像生成部１５４は、表示タイミングにおいて表示される表示画像を選択画像に基づいて生成する。表示画像生成部１５４は、選択情報に応じて表示画像の生成処理を変更できる。

具体的には、選択情報が第１の復号画像を示す場合には、表示画像生成部１５４は選択画像を例えば第２の復号画像と同一の解像度にアップコンバート（またはアップサンプリング）することによって表示画像を生成する。他方、選択情報が第２の復号画像を示す場合には、表示画像生成部１５４は選択画像をそのまま表示画像として取り扱ってよい。或いは、表示画像生成部１５４は、選択画像にフィルタリング処理を施すことによって表示画像を生成してもよい。表示画像生成部１５４は、表示画像を例えば図示されない表示装置へと出力する。

第２の復号画像のフレームレート（即ち、第２の画像のフレームレート）が第１の復号画像のフレームレート（即ち、第１の画像のフレームレート）の半分に設定されるならば、表示画像生成部１５４は図２に例示されるように表示画像を生成してもよい。図２の例では、時刻０，２，４において第１の復号画像及び第２の復号画像の両方が存在し、時刻１，３，５において第１の復号画像が存在するものの第２の復号画像は存在しないものとする。

前述の通り、時刻０，２，４では、第２の復号画像が選択される。故に、表示画像生成部１５４は、選択画像をそのまま表示画像として取り扱う。他方、時刻１，３，５では、第１の復号画像が選択される。故に、表示画像生成部１５４は、選択画像をアップコンバートすることによって表示画像を生成する。係る動作例によれば、第１の画像と同一のフレームレート及び第２の画像と同一の解像度を兼ね備える表示画像を生成することができる。

尚、図２は例示であるので、第２の画像のフレームレートは、第１の画像のフレームレートの半分に設定される必要はなく、半分より高く設定されてもよいし低く設定されてもよい。第２の画像のフレームレートを高くするほど、第２の復号画像が選択される表示タイミングは増えるので、表示画像の画質は向上する。但し、第２の符号化データの量及び第２の符号化データを復号するための処理量もまた増大する。他方、第２の画像のフレームレートを低くするほど、第２の符号化データの量及び第２の符号化データを復号するための処理量を削減することができる。但し、第２の復号画像が選択される表示タイミングは減るので、表示画像の画質は低下する。

以上説明したように、第１の実施形態に係る画像符号化装置は、第１の画像に比べて低フレームレートの第２の画像を符号化する。従って、この画像符号化装置によれば、第２の符号化データの量及び第２の符号化データを復号するための処理量を削減することができる。また、第１の実施形態に係る画像処理装置は、高解像度の第２の復号画像が存在するタイミングでは第２の復号画像を選択し、それ以外のタイミングでは高フレームレートの第１の復号画像を選択し、選択画像に基づいて表示画像を生成する。故に、この画像処理装置によれば、高フレームレート高解像度の表示画像を生成することができるので、高い主観画質を維持することができる。

尚、第１の画像及び第２の画像は、インターレース映像であってもよい。この場合に、第１の符号化部１０１、第２の符号化部１０２、第１の復号部１５１及び第２の復号部１５２は、インターレース映像をサポートする符号化処理及び復号処理を行う必要がある。また、この場合に、図１に示されるその他の機能部は、インターレース映像としての第１の復号画像及び第２の復号画像のフィールドまたはフレーム単位で前述の処理を行えばよい。

また、本実施形態に係る画像符号化装置１００及び画像処理装置１５０は、解像度スケーラビリティに限らずＰＳＮＲスケーラビリティを実現してもよい。この場合に、第１の画像及び第２の画像の解像度は同一であってよい。また、この場合に、表示画像生成部１５４は、アップコンバートを行う必要はない。即ち、表示画像生成部１５４は、選択情報によらず選択画像をそのまま表示画像として扱ってよい。

（第２の実施形態）
図３は、第２の実施形態に係る画像符号化装置３００及び画像処理装置３５０を例示する。

画像符号化装置３００は、第１の符号化部３０１、第２の符号化部３０２及び同期情報符号化部３０３を備える。画像符号化装置３００は、第１の画像及び第２の画像を入力し、これらを符号化することによって第１の符号化データ及び第２の符号化データを生成する。具体的には、画像符号化装置３００は、いわゆるサイマル符号化を行う。画像符号化装置３００は、第１の符号化データ及び第２の符号化データを符号化された同期情報と共に例えば伝送路を介して画像処理装置３５０へと出力する。

ここで、伝送路については第１の実施形態において説明された通りである。尚、第１の符号化データと、第２の符号化データ及び符号化された同期情報とは、異なる伝送路または記録媒体を介して画像処理装置３５０へ出力されてよい。

画像処理装置３５０は、第１の復号部３５１、第２の復号部３５２、画像選択部３５３及び表示画像生成部３５４を備える。画像処理装置３５０は、第１の符号化データ及び第２の符号化データを例えば伝送路を介して画像符号化装置３００から入力し、これらを復号することによって第１の復号画像及び第２の復号画像を生成する。具体的には、画像処理装置３５０は、画像符号化装置３００によって行われたサイマル符号化処理に対応する復号処理を行う。更に、画像処理装置３５０は、第１の復号画像及び第２の復号画像に基づいて表示画像を生成するための種々の処理（即ち、再生処理）を行う。

第１の符号化部３０１は、第１の画像を入力する。第１の画像は、後述される第２の画像に比べて、フレームレートが高くかつ解像度が低い。第１の符号化部３０１は、第１の画像を符号化することによって、第１の符号化データを生成する。例えば、第１の符号化部３０１は、ＭＰＥＧ−２、Ｈ．２６４／ＡＶＣまたはＭｏｔｉｏｎＪＰＥＧに従って第１の画像を符号化してもよい。第１の符号化部３０１は、第１の符号化データを例えば伝送路を介して第１の復号部３５１へと出力する。

第２の符号化部３０２は、第２の画像を入力する。第２の画像は、前述の第１の画像に比べて、フレームレートが低くかつ解像度が高い。第２の符号化部３０２は、第２の画像を符号化することによって、第２の符号化データを生成する。例えば、第２の符号化部３０２は、ＭＰＥＧ−２、Ｈ．２６４／ＡＶＣまたはＭｏｔｉｏｎＪＰＥＧに従って第２の画像を符号化してもよい。第２の符号化部３０２は、第１の符号化部３０１と同一の符号化方式を採用してもよいし異なる符号化方式を採用してもよい。第２の符号化部３０２は、第２の符号化データを例えば伝送路を介して第２の復号部３５２へと出力する。

同期情報符号化部３０３は、同期情報を入力する。同期情報は、第１の画像と第２の画像との間の時間的な対応関係（換言すれば、第１の復号画像と第２の復号画像との間の表示タイミングの対応関係）を示す。同期情報符号化部３０３は、同期情報を符号化することによって、符号化された同期情報を得る。同期情報符号化部３０３は、符号化された同期情報を例えば伝送路を介して画像選択部３５３へと出力する。

同期情報は、例えば、第２の画像の各々に対応する第１の画像を示す情報（例えば、フレーム番号、タイムスタンプ情報など）であってもよい。或いは、同期情報は、いずれかの第２の画像（例えば、第２の画像のうち最も表示タイミングの早いもの）に対応する第１の画像を示す情報と、第１の画像のフレームレートを示す情報及び第２の画像のフレームレートを示す情報との組み合わせであってもよい。また、上記第１の画像のフレームレートを示す情報及び第２の画像のフレームレートを示す情報は、第１の画像と第２の画像との間のフレームレート比を示す情報に置き換えられてもよい。

尚、同期情報符号化部３０３は、同期情報を入力する代わりに同期情報を生成し、生成された同期情報を符号化してもよい。例えば、同期情報符号化部３０３は、第１の画像の時間情報（例えば、タイムスタンプ情報）と第２の画像の時間情報とを比較して同期情報を生成すればよい。

第１の画像、第２の画像及び同期情報は、例えば高フレームレート高解像度の単一のオリジナル映像に基づいて作成されてもよい。具体的には、第１の画像は、オリジナル映像をダウンコンバートすることによって作成されてよい。第２の画像は、オリジナル映像を時間的に間引くことによって作成されてよい。同期情報は、第１の画像の時間情報と第２の画像の時間情報との比較を通じて生成されてよい。

第１の復号部３５１は、第１の符号化データを例えば伝送路を介して第１の符号化部３０１から入力する。第１の復号部３５１は、第１の符号化データを復号することによって第１の復号画像を生成する。具体的には、第１の復号部３５１は、第１の符号化部３０１によって行われた符号化処理に対応する復号処理を行う。例えば、第１の符号化部３０１がＭＰＥＧ−２に従って符号化処理を行うならば、第１の復号部３５１もまたＭＰＥＧ−２に従って復号処理を行う。第１の復号部３５１は、第１の復号画像を画像選択部３５３へと出力する。

第２の復号部３５２は、第２の符号化データを例えば伝送路を介して第２の符号化部３０２から入力する。第２の復号部３５２は、第２の符号化データを復号することによって、第２の復号画像を生成する。具体的には、第２の復号部３５２は、第２の符号化部３０２によって行われた符号化処理に対応する復号処理を行う。第２の復号部３５２は、第２の復号画像を画像選択部３５３へと出力する。

画像選択部３５３は、第１の復号画像を第１の復号部３５１から入力する。また、画像選択部３５３は、第２の復号画像を第２の復号部３５２から入力する。更に、画像選択部３５３は、符号化された同期情報を例えば伝送路を介して同期情報符号化部３０３から入力する。画像選択部３５３は、同期情報に基づいて、第１の復号画像及び第２の復号画像のうちいずれか一方を所定の表示タイミング毎に選択する。尚、同期情報は、画像選択部３５３或いは他の機能部によって復号されるものとする。画像選択部３５３は、選択された画像（以降、単に選択画像と称される）と、第１の復号画像及び第２の復号画像のうちいずれが選択されたかを示す選択情報とを表示画像生成部３５４へと出力する。

前述の通り、第２の画像は第１の画像に比べてフレームレートが低いので、第２の復号画像もまた第１の復号画像に比べてフレームレートが低い。要するに、第１の復号画像は存在するものの第２の復号画像は存在しない表示タイミングが生じることになる。画像選択部３５３は、係る表示タイミングに対して第１の復号画像を選択し、それ以外の表示タイミング（即ち、第１の復号画像及び第２の復号画像の両方が存在する表示タイミング）に対して第２の復号画像を選択することによって、高解像度映像を再生できる。画像選択部３５３は、同期情報に基づいて、所与の表示タイミングにおいて第２の復号画像が存在するか否かを判定できる。

尚、画像選択部３５３は、第２の復号画像の存在の有無に関わらず第１の復号画像を選択することによって、低解像度映像を再生してもよい。画像選択部３５３の動作を所望の解像度に応じて制御することにより、解像度スケーラビリティが実現可能である。

表示画像生成部３５４は、第１の実施形態において説明された表示画像生成部１５４と同一または類似の処理を行う。

以上説明したように、第２の実施形態に係る画像符号化装置は、第１の画像に比べて低フレームレートの第２の画像を符号化する。従って、この画像符号化装置によれば、第２の符号化データの量及び第２の符号化データを復号するための処理量を削減することができる。また、第２の実施形態に係る画像処理装置は、高解像度の第２の復号画像が存在するタイミングでは第２の復号画像を選択し、それ以外のタイミングでは高フレームレートの第１の復号画像を選択し、選択画像に基づいて表示画像を生成する。故に、この画像処理装置によれば、高フレームレート高解像度の表示画像を生成することができるので、高い主観画質を維持することができる。

本実施形態は、サイマル符号化方式を採用するので、例えば既存の放送システムから次世代の放送システムへの移行期での活用が期待される。例えば、既存のＨＤ放送の映像を第１の画像として使用し、将来の４Ｋ２Ｋの高解像度放送の映像を時間的に間引くことによって生成される映像を第２の画像として使用することが想定される。この場合に、既存の画像処理装置（放送波受信装置と称されてもよい）は、第１の符号化データを復号及び再生することによって、既存のＨＤ放送の映像の視聴を可能にする。他方、本実施形態に係る画像処理装置は、第１の符号化データ及び第２の符号化データを復号及び再生することによって、将来の４Ｋ２Ｋの高解像度放送に準ずる映像の視聴を可能にする。更に、前述の通り、第２の符号化部及び第２の復号部に適用される符号化方式は、第１の符号化部及び第１の復号部に適用される符号化方式と異なっていてもよい。従って、第２の符号化部及び第２の復号部に例えば次世代の放送システムへの移行時における最新の符号化方式を適用することによって、符号化効率を向上させて第２の符号化データの量を更に削減することができる。

尚、第１の画像及び第２の画像は、インターレース映像であってもよい。この場合に、第１の符号化部３０１、第２の符号化部３０２、第１の復号部３５１及び第２の復号部３５２は、インターレース映像をサポートする符号化処理及び復号処理を行う必要がある。また、この場合に、図３に示されるその他の機能部は、インターレース映像としての第１の復号画像及び第２の復号画像のフィールドまたはフレーム単位で前述の処理を行えばよい。

また、第１の画像がインターレース映像であり、第２の画像はプログレッシブ映像であってもよい。この場合に、第１の符号化部３０１及び第１の復号部３５１は、インターレース映像をサポートする符号化処理及び復号処理を行う必要がある。また、この場合に、第１の復号部３５１は、第１の復号画像に対しデインタレース処理（例えば、ＢＯＢ、ＷＥＡＶＥなど）を行い、プログレッシブな復号画像を生成し、出力してよい。

また、前述の通り、第２の復号画像が存在する表示タイミングに対して第１の復号画像は選択されない。即ち、係る表示タイミングに対して、第１の復号画像が存在しなかったとしても表示画像生成部３５４は問題なく表示画像を生成できる。そこで、第１の符号化部３０１は、係る表示タイミングに対応する第１の画像を非参照ピクチャとして符号化するように動作してもよい。非参照ピクチャとは他のピクチャを復号するために必要とされないピクチャであり、換言すれば第１の復号部３５１は非参照ピクチャの復号をスキップしても他のピクチャを復号できる。従って、第１の復号部３５１は、係る表示タイミングにおいて非参照ピクチャとしての第１の復号画像を生成するための復号処理を省略できる。即ち、第１の符号化データを復号するための処理量を削減することが可能となる。

また、一般に、非参照ピクチャは、参照ピクチャ（他のピクチャの復号するために必要とされるピクチャ）よりも低い画質で符号化される。故に、前述のように第２の画像が存在する表示タイミングに対応する第１の画像を非参照ピクチャとして符号化しつつ、第２の画像が存在しない表示タイミングに対応する第１の画像を参照ピクチャとして符号化することによって、表示画像の画質を改善することが可能である。

（第３の実施形態）
図４は、第３の実施形態に係る画像符号化装置４００及び画像処理装置４５０を例示する。

画像符号化装置４００は、第１の符号化部４０１、アップコンバート部４０２、差分画像生成部４０３、第２の符号化部４０４及び同期情報符号化部４０５を備える。画像符号化装置４００は、第１の画像及び第２の画像を入力し、これらを符号化することによって第１の符号化データ及び第２の符号化データを生成する。具体的には、画像符号化装置４００は、いわゆる差分符号化を行う。

尚、アップコンバート部４０２、差分画像生成部４０３及び第２の符号化部４０４は、まとめて１つの符号化部として読み替えられてもよい。

差分符号化方式は、例えば、低解像度の第１の画像及び高解像度の第２の画像を符号化する場合に適用される。差分符号化方式によれば、第１の符号化処理が第１の画像に対して適用されて第１の符号化データが生成される。更に、差分符号化方式によれば、第１の符号化処理の結果に基づいて第２の画像から差分画像が生成される。それから、第２の符号化処理が差分画像に対して適用されて第２の符号化データが生成される。

画像符号化装置４００は、第１の符号化データ及び第２の符号化データを符号化された同期情報と共に例えば伝送路を介して画像処理装置４５０へと出力する。尚、伝送路については第１の実施形態及び第２の実施形態において説明された通りである。

画像処理装置４５０は、第１の復号部４５１、第２の復号部４５２、アップコンバート部４５３、加算部４５４、画像選択部４５５及び表示画像生成部４５６を備える。画像処理装置４５０は、第１の符号化データ及び第２の符号化データを例えば伝送路を介して画像符号化装置４００から入力し、これらを復号することによって第１の復号画像及び第２の復号画像を生成する。具体的には、画像処理装置４５０は、画像符号化装置４００によって行われた差分符号化処理に対応する復号処理を行う。

尚、第２の復号部４５２、アップコンバート部４５３及び加算部４５４は、まとめて１つの復号部として読み替えられてもよい。

差分符号化方式によれば、第１の符号化データに対して第１の復号処理が適用されて第１の復号画像が生成される。更に、差分符号化方式によれば、第２の符号化データに対して第２の復号処理が適用されて復号差分画像が生成される。それから、第１の復号処理の結果に基づいて復号差分画像から第２の復号画像が生成される。

更に、画像処理装置４５０は、第１の復号画像及び第２の復号画像に基づいて表示画像を生成するための種々の処理（即ち、再生処理）を行う。

第１の符号化部４０１は、第１の画像を入力する。第１の画像は、後述される第２の画像に比べて、フレームレートが高くかつ解像度が低い。第１の符号化部４０１は、第１の画像を符号化することによって、第１の符号化データを生成する。例えば、第１の符号化部４０１は、ＭＰＥＧ−２、Ｈ．２６４／ＡＶＣまたはＭｏｔｉｏｎＪＰＥＧに従って第１の画像を符号化してもよい。第１の符号化部４０１は、第１の符号化データを例えば伝送路を介して第１の復号部４５１へと出力する。また、第１の符号化部４０１は、符号化処理を通じて得られた局所復号画像（或いは、第１の符号化データを復号することによって生成される第１の復号画像）をアップコンバート部４０２へと出力する。

アップコンバート部４０２は、第１の符号化部４０１から局所復号画像を入力する。アップコンバート部４０２は、局所復号画像をアップコンバートすることによって、拡大復号画像を得る。拡大復号画像の解像度は、第２の画像の解像度を同じであってもよい。

差分画像生成部４０３は、第２の画像及び同期情報を入力する。第２の画像は、前述の第１の画像に比べて、フレームレートが低くかつ解像度が高い。同期情報は、第１の画像と第２の画像との間の時間的な対応関係を示す。同期情報は、第２の実施形態において説明されたものと同一または類似であってよい。また、差分画像生成部４０３は、拡大復号画像をアップコンバート部４０２から入力する。差分画像生成部４０３は、同期情報に基づいて第２の画像に対応する拡大復号画像を特定する。差分画像生成部４０３は、第２の画像から当該第２の画像に対応する拡大復号画像を減算することによって、差分画像を生成する。差分画像生成部４０３は、差分画像を第２の符号化部４０４へと出力する。

第２の符号化部４０４は、差分画像を差分画像生成部４０３から入力する。第２の符号化部４０４は、差分画像を符号化することによって、第２の符号化データを生成する。第２の符号化部４０４は、第１の符号化部４０１と同一の符号化方式を採用してもよいし異なる符号化方式を採用してもよい。第２の符号化部４０４は、第２の符号化データを例えば伝送路を介して第２の復号部４５２へと出力する。

同期情報符号化部４０５は、同期情報を入力する。同期情報符号化部４０５は、同期情報を符号化することによって、符号化された同期情報を得る。同期情報符号化部４０５は、符号化された同期情報を例えば伝送路を介して加算部４５４及び画像選択部４５５へと出力する。

第１の復号部４５１は、第１の符号化データを例えば伝送路を介して第１の符号化部４０１から入力する。第１の復号部４５１は、第１の符号化データを復号することによって第１の復号画像を生成する。具体的には、第１の復号部４５１は、第１の符号化部４０１によって行われた符号化処理に対応する復号処理を行う。例えば、第１の符号化部４０１がＭＰＥＧ−２に従って符号化処理を行うならば、第１の復号部４５１もまたＭＰＥＧ−２に従って復号処理を行う。第１の復号部４５１は、第１の復号画像をアップコンバート部４５３及び画像選択部４５５へと出力する。

第２の復号部４５２は、第２の符号化データを例えば伝送路を介して第２の符号化部４０４から入力する。第２の復号部４５２は、第２のデータを復号することによって、復号差分画像を生成する。具体的には、第２の復号部４５２は、第２の符号化部４０４によって行われた符号化処理に対応する復号処理を行う。第２の復号部４５２は、復号差分画像を加算部４５４へと出力する。

アップコンバート部４５３は、第１の復号部４５１から第１の復号画像を入力する。アップコンバート部４５３は、第１の復号画像をアップコンバートすることによって、拡大復号画像を得る。拡大復号画像の解像度は、復号差分画像の解像度と同じであってもよい。アップコンバート部４５３は、アップコンバート部４０２と同一または類似のアップコンバート処理を行ってよい。アップコンバート部４５３は、拡大復号画像を加算部４５４へと出力する。

加算部４５４は、復号差分画像を第２の復号部４５２から入力する。また、加算部４５４は、拡大復号画像をアップコンバート部４５３から入力する。更に、加算部４５４は、符号化された同期情報を例えば伝送路を介して同期情報符号化部４０５から入力する。加算部４５４は、同期情報に基づいて復号差分画像に対応する拡大復号画像を特定する。尚、同期情報は、加算部４５４或いは他の機能部によって復号されるものとする。加算部４５４は、復号差分画像に対応する拡大復号画像を当該復号差分画像に加算することによって第２の復号画像を生成する。加算部４５４は、第２の復号画像を画像選択部４５５へと出力する。

画像選択部４５５は、第１の復号画像を第１の復号部４５１から入力する。また、画像選択部４５５は、第２の復号画像を加算部４５４から入力する。更に、画像選択部４５５は、符号化された同期情報を例えば伝送路を介して同期情報符号化部４０５から入力する。画像選択部４５５は、同期情報に基づいて、第１の復号画像及び第２の復号画像のうちいずれか一方を所定の表示タイミング毎に選択する。尚、同期情報は、画像選択部４５５或いは他の機能部によって復号されるものとする。画像選択部４５５は、選択された画像（以降、単に選択画像と称される）と、第１の復号画像及び第２の復号画像のうちいずれが選択されたかを示す選択情報とを表示画像生成部４５６へと出力する。

前述の通り、第２の画像は第１の画像に比べてフレームレートが低いので、第２の復号画像もまた第１の復号画像に比べてフレームレートが低い。要するに、第１の復号画像は存在するものの第２の復号画像は存在しない表示タイミングが生じることになる。画像選択部４５５は、係る表示タイミングに対して第１の復号画像を選択し、それ以外の表示タイミング（即ち、第１の復号画像及び第２の復号画像の両方が存在する表示タイミング）に対して第２の復号画像を選択することによって、高解像度映像を再生できる。画像選択部４５５は、同期情報に基づいて、所与の表示タイミングにおいて第２の復号画像が存在するか否かを判定できる。

尚、画像選択部４５５は、第２の復号画像の存在の有無に関わらず第１の復号画像を選択することによって、低解像度映像を再生してもよい。画像選択部４５５の動作を所望の解像度に応じて制御することにより、解像度スケーラビリティが実現可能である。

表示画像生成部４５６は、第１の実施形態において説明された表示画像生成部１５４と同一または類似の処理を行う。尚、画像選択部４５５は、第１の復号画像を第１の復号部４５１から入力する代わりに拡大復号画像をアップコンバート部４５３から入力してもよい。拡大復号画像はアップコンバートされた第１の復号画像に相当するので、この場合に表示画像生成部４５６は選択画像をアップコンバートする必要はない。

以上説明したように、第３の実施形態に係る画像符号化装置は、第１の画像に比べて低フレームレートの第２の画像を符号化する。従って、この画像符号化装置によれば、第２の符号化データの量及び第２の符号化データを復号するための処理量を削減することができる。また、第３の実施形態に係る画像処理装置は、高解像度の第２の復号画像が存在するタイミングでは第２の復号画像を選択し、それ以外のタイミングでは高フレームレートの第１の復号画像を選択し、選択画像に基づいて表示画像を生成する。故に、この画像処理装置によれば、高フレームレート高解像度の表示画像を生成することができるので、高い主観画質を維持することができる。

差分符号化方式は、第２の画像そのものではなく差分画像を符号化することから、例えばサイマル符号化方式に比べて第２の符号化データの量を削減できる。但し、一般的に、差分画像の空間周波数は高いので、差分符号化による第２の符号化データの量の削減効果は必ずしも十分ではない。これに対して、本実施形態は、第２の画像のフレームレートを低く設定することで、第２の符号化データの量の削減効果を更に高めることができる。

また、本実施形態は差分符号化方式を採用するので、サイマル符号化方式と同様に、第２の符号化部及び第２の復号部に適用される符号化方式は、第１の符号化部及び第１の復号部に適用される符号化方式と異なっていてもよい。即ち、第２の実施形態と同様に、本実施形態は例えば既存の放送システムから次世代の放送システムへの移行期での活用が期待される。

尚、第１の画像及び第２の画像は、インターレース映像であってもよい。この場合に、第１の符号化部４０１、第２の符号化部４０４、第１の復号部４５１及び第２の復号部４５２は、インターレース映像をサポートする符号化処理及び復号処理を行う必要がある。また、この場合に、図４に示されるその他の機能部は、インターレース映像としての第１の復号画像及び第２の復号画像のフィールドまたはフレーム単位で前述の処理を行えばよい。

また、第１の画像がインターレース映像であり、第２の画像はプログレッシブ映像であってもよい。この場合に、第１の符号化部４０１及び第１の復号部４５１は、インターレース映像をサポートする符号化処理及び復号処理を行う必要がある。また、この場合に、第１の復号部４５１は、第１の復号画像に対しデインタレース処理（例えば、ＢＯＢ、ＷＥＡＶＥなど）を行い、プログレッシブな復号画像を生成し、出力してよい。

また、本実施形態に係る画像符号化装置４００及び画像処理装置４５０は、解像度スケーラビリティに限らずＰＳＮＲスケーラビリティを実現してもよい。この場合に、第１の画像及び第２の画像の解像度は同一であってよい。また、この場合に、表示画像生成部４５６はアップコンバート処理を行う必要はなく、アップコンバート部４０２及びアップコンバート部４５３は省略されてよい。即ち、表示画像生成部４５６は選択情報によらず選択画像をそのまま表示画像として出力できるし、拡大復号画像の代わりに第１の復号画像（或いは局所復号画像）が利用されてよい。

（第４の実施形態）
第４の実施形態は、前述の第３の実施形態を変形したものに相当する。具体的には、第４の実施形態は、画素レンジの変換及び画素レンジの逆変換を更に行う点で前述の第３の実施形態とは異なる。

図５は、第４の実施形態に係る画像符号化装置５００及び画像処理装置５５０を例示する。画像符号化装置５００は、第１の符号化部４０１、アップコンバート部４０２、差分画像生成部４０３、第２の符号化部４０４、同期情報符号化部４０５及び画素レンジ変換部５０６を備える。画像処理装置５５０は、第１の復号部４５１、第２の復号部４５２、アップコンバート部４５３、加算部４５４、画像選択部４５５、表示画像生成部４５６及び画素レンジ逆変換部５５７を備える。

尚、アップコンバート部４０２、差分画像生成部４０３、第２の符号化部４０４及び画素レンジ変換部５０６は、まとめて１つの符号化部として読み替えられてもよい。また、第２の復号部４５２、アップコンバート部４５３、加算部４５４及び画素レンジ逆変換部５５７は、まとめて１つの復号部として読み替えられてもよい。

図５の差分画像生成部４０３は、差分画像を画素レンジ変換部５０６へと出力する点で図４のものとは異なる。尚、本実施形態では、差分画像生成部４０３によって生成される差分画像は、便宜的に第１の差分画像と称される。図５の第２の符号化部４０４は、後述されるように、第２の差分画像を画素レンジ変換部５０６から入力する点で図４のものとは異なる。

図５の第２の復号部４５２は、復号差分画像を画素レンジ逆変換部５５７へと出力する点で図４のものとは異なる。尚、本実施形態では、第２の復号部４５２によって生成される復号差分画像は、便宜的に第１の復号差分画像と称される。図５の加算部４５４は、後述されるように、第２の復号差分画像を画素レンジ逆変換部５５７から入力する点で図４のものとは異なる。

画素レンジ変換部５０６は、差分画像生成部４０３から第１の差分画像を入力する。画素レンジ変換部５０６は、第１の差分画像の画素レンジを変換することによって、第２の差分画像を得る。具体的には、画素レンジ変換部５０６は、第１の差分画像の画素レンジを縮小するための変換を行う。画素レンジを縮小するための変換は、例えば、オフセット処理及びスケーリング処理の組み合わせであってもよいし、オフセット処理及びクリッピング処理の組み合わせであってもよいし、オフセット処理、スケーリング処理及びクリッピング処理の組み合わせであってもよい。

画素レンジ逆変換部５５７は、第２の復号部４５２から第１の復号差分画像を入力する。画素レンジ逆変換部５５７は、第１の復号差分画像の画素レンジを逆変換することによって、第２の復号差分画像を得る。具体的には、画素レンジ逆変換部５５７は、画素レンジ変換部５０６によって行われる変換に対応する逆変換、即ち、第１の復号差分画像の画素レンジを拡大するための変換を行う。

前述の通り、第１の差分画像は、第２の画像から拡大復号画像を減算することによって生成される。故に、第１の差分画像の画素レンジは、第２の画像の画素レンジよりも大きくなる。例えば、第２の画像（及び第１の画像）の各画素が符号なし８ビット値である場合に、第１の差分画像の各画素は符号あり９ビット値である。故に、第２の符号化部４０４は、第１の差分画像を符号化するためには、第２の画像をそのまま符号化する場合に比べて、より大きな画素レンジをサポートする必要がある。本実施形態では、第２の符号化部４０４は、第１の差分画像に比べて画素レンジの縮小された第２の差分画像を符号化すればよいので、サポート可能な画素レンジが（例えば８ビット値に）制限される汎用の符号化器によって実装可能である。同様に、本実施形態では、第２の復号部４５２は、サポート可能な画素レンジが（例えば８ビット値に）制限される汎用の復号器によって実装可能である。

以上説明したように、第４の実施形態に係る画像符号化装置及び画像処理装置は、差分画像の画素レンジを縮小してから符号化及び復号を行う。故に、この画像符号化装置及び画僧処理装置によれば、サポート可能な画素レンジが制限される汎用の符号化器及び復号器によって差分画像の符号化及び復号を実装することが可能である。

（第５の実施形態）
第５の実施形態は、前述の第１乃至第４の実施形態の変形例に相当する。具体的には、第５の実施形態は、第１の画像及び第２の画像の性質において前述の第１乃至第４の実施形態とは異なる。

図６は、第５の実施形態に係る画像符号化装置６００及び画像処理装置６５０を例示する。ここで、図６の画像符号化装置６００及び画像処理装置６５０は、図１の画像符号化装置１００及び画像処理装置１５０と夫々対応する。

第１の画像及び第２の画像は、フレームレートが同じであるが解像度及び表示タイミングの位相が異なる。第１の画像の解像度は、第２の解像度に比べて低い。また、第１の画像及び第２の画像の表示タイミングの位相差は、例えばフレームレートに対応する周期の半分である。

第１の画像及び第２の画像は、例えば高フレームレート高解像度の単一のオリジナル映像に基づいて作成されてもよい。具体的には、第１の画像は、オリジナル映像から偶数番目のフレームを分離し、これら偶数番目のフレームをダウンコンバートすることによって作成されてよい。第２の画像は、オリジナル映像から奇数番目のフレームを分離することによって作成されてよい。

以上説明したように、第５の実施形態は、低フレームレート低解像度の第１の画像と低フレームレート高解像度の第２の画像とを符号化する。第１の画像及び第２の画像は表示タイミングにおいて異なるので、表示画像のフレームレートは第１の画像及び第２の画像のフレームレートの２倍となる。第１の画像の解像度を低く設定することで、第１の符号化データの量を削減すると共に第１の符号化データを復号するための処理量を削減することが可能となる。

（第６の実施形態）
第６の実施形態は、前述の第１乃至第５の実施形態の変形例に相当する。具体的には、第６の実施形態は、選択情報が第１の復号画像を示す場合に表示画像を生成するための処理において第１乃至第５の実施形態とは異なる。

例えば、図１の表示画像生成部１５４は、選択情報が第１の復号画像を示す場合に、選択画像を例えば第２の復号画像と同一の解像度にアップコンバート（またはアップサンプリング）することによって表示画像を生成する。このアップコンバート処理において、選択画像以外の画像は用いられない（参照されない）。

本実施形態において、表示画像生成部は、選択情報が第１の復号画像を示す場合に、同期情報に基づいて選択画像に時間的に近接する（典型的には、隣接する）１以上の第２の復号画像を特定する。それから、表示画像生成部は、特定された１以上の第２の復号画像を用いて選択画像を例えば第２の復号画像と同一の解像度にアップコンバートすることによって表示画像を生成する。例えば、表示画像生成部は、上記１以上の第２の復号画像を用いて補間処理を行うことによって、表示画像を生成してもよい。補間処理は、典型的には、フレームレートを増加させるために用いられるフレーム補間処理である。

また、本実施形態において、表示画像生成部は、選択情報が第１の復号画像を示す場合に、選択画像を他の画像を用いずにアップコンバートすること（第１のアップコンバート処理）によって表示画像を生成するか、選択画像に時間的に近接する１以上の第２の復号画像を用いて当該選択画像をアップコンバートすること（第２のアップコンバート処理）によって表示画像を生成するかを選択してもよい。

表示画像を生成するための処理は、画像毎に切り替え可能であってもよいし、画像内の局所領域（例えば、画素ブロック）毎に切り替え可能であってもよい。また、表示画像生成部は、切り替え単位（例えば、画像または画素ブロック）の動き情報に基づいて表示画像を生成するための処理を選択してもよい。

例えば、表示画像生成部は、切り替え単位について導出された動き量が閾値未満である場合には第２のアップコンバート処理を行うことを選択し、上記動き量が閾値以上である場合には第１のアップコンバート処理を行うことを選択してもよい。一般に、動き量の小さい画像は、時間的に近接する画像との間の相関が高いので、高精度な補間処理が可能である。故に、切り替え単位の動き量が小さい場合には、高解像度の第２の復号画像を用いる第２のアップコンバート処理を行うことによって、高解像度かつ誤差の小さい表示画像を生成することができる。反面、動き量の大きい画像は、時間的に近接する画像との間の相関が低いので、高精度な補間処理が困難である。故に、切り替え単位の動き量が大きい場合には、他の画像を用いない第１のアップコンバート処理を行うことによって、第２の復号画像を用いる第２のアップコンバート処理に比べて表示画像の誤差を抑えることができる。従って、切り替え単位の動き情報に基づいて表示画像を生成するための処理を選択することによって、選択情報が第１の復号画像を示す場合にも表示画像の画質を安定的に高めることが可能である。

尚、動き情報は、選択画像に時間的に近接する２以上の第２の復号画像に基づいて導出されてもよいし、選択画像と当該選択画像に時間的に近接する１以上の第１の復号画像とに基づいて導出されてもよいし、選択画像をアップコンバートすることによって得られる画像と当該選択画像に時間的に近接する１以上の第２の復号画像とに基づいて導出されてもよい。

以上説明したように、第６の実施形態に係る画像処理装置は、選択情報が第１の復号画像を示す場合に、選択画像に時間的に近接する１以上の第２の復号画像を用いてアップコンバート処理を行うことによって表示画像を生成することを許容する。従って、この画像処理装置によれば、選択画像の動き情報に適した処理を行うことによって、より高画質な表示画像を生成することが可能である。

前述の第１乃至第６の実施形態において、２つの復号画像から選択された選択画像に基づいて表示画像が生成されているが、３つ以上の復号画像から選択された選択画像に基づいて表示画像が生成されてもよい。この場合にも、前述の第１乃至第６の実施形態と同一または類似の方針で、例えば、解像度、フレームレート、表示タイミングの位相などに基づいていずれかの復号画像を表示タイミング毎に選択することができる。

上記各実施形態の処理は、汎用のコンピュータを基本ハードウェアとして用いることで実現可能である。上記各実施形態の処理を実現するプログラムは、コンピュータで読み取り可能な記憶媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記憶媒体に記憶される。記憶媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなどである。記憶媒体は、プログラムを記憶でき、かつ、コンピュータが読み取り可能であれば、何れであってもよい。また、上記各実施形態の処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００，３００，４００，５００，６００・・・画像符号化装置
１０１，３０１，４０１，６０１・・・第１の符号化部
１０２，３０２，４０４，６０２・・・第２の符号化部
１５０，３５０，４５０，５５０，６５０・・・画像処理装置
１５１，３５１，４５１，６５１・・・第１の復号部
１５２，３５２，４５２，６５２・・・第２の復号部
１５３，３５３，４５５，６５３・・・画像選択部
１５４，３５４，４５６，６５４・・・表示画像生成部
３０３，４０５・・・同期情報符号化部
４０２，４５３・・・アップコンバート部
４０３・・・差分画像生成部
４５４・・・加算部
５０６・・・画素レンジ変換部
５５７・・・画素レンジ逆変換部

Claims

第１の符号化データを復号することによって、第１の復号画像を生成する第１の復号部と、
第２の符号化データを復号することによって、第２の復号画像を生成する第２の復号部と、
表示タイミング毎に前記第１の復号画像及び前記第２の復号画像のうちいずれか一方を選択する選択部と、
前記第１の復号画像が選択された表示タイミングにおいて表示される表示画像を、当該第１の復号画像に基づいて生成する生成部と
を具備し、
前記第２の復号画像は、前記第１の復号画像に比べて、フレームレートが低く解像度が高い、
画像処理装置。
前記選択部は、前記第２の復号画像が存在する表示タイミングに対して当該第２の復号画像を選択し、前記第１の復号画像が存在し、かつ、前記第２の復号画像が存在しない表示タイミングに対して当該第１の復号画像を選択する、
請求項１の画像処理装置。
前記生成部は、前記第１の復号画像が選択される表示タイミングにおいて表示される表示画像を、当該第１の復号画像をアップコンバートする処理を行うことによって生成する、請求項２の画像処理装置。
前記生成部は、前記第１の復号画像が選択される表示タイミングにおいて表示される表示画像を、当該第１の復号画像及び当該第１の復号画像に時間的に近接する１以上の第２の復号画像を用いてアップコンバートする処理を行うことによって生成する、請求項３の画像処理装置。
前記第２の復号部は、
前記第２の符号化データを復号することによって、復号差分画像を生成する第３の復号部と、
前記第１の復号画像をアップコンバートすることによって拡大復号画像を得るアップコンバート部と、
前記拡大復号画像に前記復号差分画像を加算することによって、前記第２の復号画像を生成する加算部と、
を具備することを特徴とする請求項１記載の画像処理装置。
第１の画像を符号化することによって、第１の符号化データを生成する第１の符号化部と、
第２の画像を符号化することによって、第２の符号化データを生成する第２の符号化部と
を具備し、
前記第２の画像は、前記第１の画像に比べて、フレームレートが低く解像度が高い、
画像符号化装置。
前記第１の符号化部は、前記第１の画像と同一の表示タイミングに対応する第２の画像が存在する場合に、当該第１の画像を非参照ピクチャとして符号化する、請求項６の画像符号化装置。
第１の符号化データを復号することによって、第１の復号画像を生成する第１の復号部と、
第２の符号化データを復号することによって、第２の復号画像を生成する第２の復号部と、
表示タイミング毎に前記第１の復号画像及び前記第２の復号画像のうちいずれか一方を選択する選択部と、
前記第１の復号画像が選択される表示タイミングにおいて表示される表示画像を、当該第１の復号画像に基づいて生成する生成部と
を具備し、
前記第２の復号画像は、前記第１の復号画像に比べて、解像度が高く、
前記第１の復号画像及び前記第２の復号画像は、フレームレートが同一であって表示タイミングの位相が異なる、
画像処理装置。
第１の符号化データを復号することによって、第１の復号画像を生成することと、
第２の符号化データを復号することによって、第２の復号画像を生成することと、
表示タイミング毎に前記第１の復号画像及び前記第２の復号画像のうちいずれか一方を選択することと、
前記第１の復号画像が選択される表示タイミングにおいて表示される表示画像を、当該第１の復号画像に基づいて生成することと
を具備し、
前記第２の復号画像は、前記第１の復号画像に比べて、フレームレートが低く解像度が高い、
画像処理方法。