JP2009105689A - 映像表示装置、映像表示方法及び画像高解像度化方法 - Google Patents

Abstract

【課題】画質が一定でかつ高画質な動画像を生成する。
【解決手段】符号化された動画像と前記符号化された動画像とともに符号化された符号化ビットストリーム情報とを復号し、前記復号された動画像に含まれる複数の画像の中からＩ、Ｐピクチャの方がより優先度が高くなるように高解像度化に用いる画像を選択し、前記選択された画像と前記復号した符号化ビットストリーム情報とを用いて前記復号された動画像の高解像度化処理をおこなう。
【選択図】図１

Description

本発明は、動画像の画像高解像度化技術に関する。

画像を高解像度化する技術としては、例えば、非特許文献１が知られている。

一方、動画像を符号化する技術として、例えば、非特許文献２が知られている。

青木伸："複数のデジタル画像データによる超解像処理", Ricoh Technical Report pp.19-25, No.24, NOVEMBER, 1998. Sullivan, G.J.; Wiegand, T.;Video Compression- from concepts to the H.264/AVC standard. IEEE proc vol.93, No.1, p.18-31(January2005).

非特許文献２に示される符号化技術により符号化された動画像を復号したのち、当該動画像に含まれる複数の画像を用いて、非特許文献１に示される高解像度化処理を行う場合、復号後の動画像に含まれる画像の画質が必ずしも一定ではないため、単純に連続する複数の画像を当該高解像度化処理に用いると、十分な高解像度化効果が得られず画質が劣化するという課題があった。

本発明は、上記課題に鑑みて為されたものであり、その目的は、より高画質な動画像を生成することにある。

上記目的を達成するために、本発明の一実施の形態は、例えば、符号化された動画像と前記符号化された動画像とともに符号化された符号化ビットストリーム情報とを復号し、前記復号された動画像に含まれる複数の画像と前記復号した符号化ビットストリーム情報符号化ビットストリーム情報とを用いて前記復号された動画像の高解像度化処理をおこなう。

本発明によれば、より高画質な動画像を生成することが可能となる。

以下に発明を実施するための実施の形態を、図面を参照しつつ説明する。なお、各図面において、同一の符号が付されている構成要素は同一の機能を有することとする。

まず、図１を用いて、本発明の実施例１に係る映像表示装置の一例を説明する。

図１の映像表示装置は、入力部100、記憶媒体101、復号部102、高解像度化部103、表示部104、出力部105などを備える。以下に詳細を説明する。

入力部100は、他の機器から符号化ストリームを入力する、もしくはデジタルテレビジョン放送を受信するなどして、動画像を含む符号化ストリームを取得する。取得した符号化ストリームは、記録媒体101に記録するか、復号部102に送られる。

復号部102は、入力部100または記録媒体101から取得した符号化ストリームを復号し、例えばRGBまたはコンポーネント(Y/Cb/Cr)形式などの動画像信号を生成する。復号部102は生成した映像信号及び符号化ストリームから復号した符号化ビットストリーム情報を高解像度化部103に送信する。

高解像度化部103は、動画像信号に含まれる複数の画像を用いて１枚の高解像度画像を生成し、これを繰り返すことにより、高解像度の動画像を生成する。１枚の高解像度画像の生成に用いる画像の数は２枚以上である。高解像度化部103における高解像度化処理の詳細については後述する。

高解像度化部103は、生成した高解像度の動画像を表示部104または出力部105に出力する。

表示部104は、表示素子を有するユニットであって、ＬＣＤユニットやＰＤＰユニットなどである。表示部104は、高解像度化部103から取得した高解像度の動画像を表示する。この場合、映像表示装置は液晶テレビジョン装置やプラズマテレビジョン装置などを構成する。

また、出力部105は、高解像度化部103から取得した高解像度の動画像を、他の機器等に出力する。

なお、別の構成例として、例えば、実施例１に係る映像表示装置において表示部104を備えず、記録媒体101と出力部105とを備えれば、レコーダー装置等の映像蓄積装置を構成することも可能である。

次に、図３に、実施例１に係る復号部102の詳細な構成について説明する。復号部102に入力される符号化ストリームには、符号化され動画像信号とともに、符号化に用いられた符号化ビットストリーム情報が格納されている。符号化ビットストリーム情報とは、ピクチャタイプや量子化精度などの情報である。これらの情報については、例えば、非特許文献２に記載されている。

まず、可変長復号器304は、復号部102への入力信号に可変長復号処理を行う。このとき、量子化された動画像信号と符号化ビットストリーム情報が復号される。可変長復号器304は、量子化された動画像信号をと符号化ビットストリーム情報を逆量子化器302へ出力する。またこのとき、符号化ビットストリーム情報を高解像度化部103へも出力する。

次に、逆量子化器302は可変長復号器304の出力に逆量子化処理を行う。このとき、逆量子化器302は、符号化ビットストリーム情報のうち量子化精度のパラメータを用いる。

次に、逆変換器301は、逆ＤＣＴ変換等の変換処理を行う。

次に、逆変換器301により処理された信号は、画面内予測部からの出力305もしくは動き補償の結果306の出力に加算されてデブロッキングフィルタ部303へ出力される。

次に、デブロッキングフィルタ部303からの出力画像はフレームメモリ307に蓄えられ、同時に復号器102から出力する復号画像として高解像度化部103へ出力される。

実施例１に係る復号部102は、以上説明したように、復号画像とともに符号化ビットストリーム情報を高解像度化部103に送信する。これにより、高解像度化部103は、この符号化ビットストリーム情報を用いて高解像度化処理に用いる画像の選択を行うことが可能となる。高解像度化部103において生成される動画像の画質を向上させることが可能である。

なお、図３では復号器102の例としてH.264の復号器を表示している。しかし、これに限ったものではなく、デブロッキングフィルタのない構成等も可能である。

次に、図２を用いて、高解像度化処理に用いる複数の画像の単純な選択方法について説明する。図２に示す単純な選択方法においては、時間軸t上に並んだ入力画像201〜205からにおいて、時間的に連続する複数の画像を選択して、高解像画像206〜209をそれぞれ生成する。具体的には、入力画像201と入力画像202から高解像画像206を生成する。入力画像202と入力画像203から高解像画像207を生成する。ここで、高解像画像206に対し、202を基準画像、201を参照画像と呼ぶこととする。基準画像は、生成する高解像画像と時間軸上同じ時刻に配置される画像であり。参照画像は、基準画像とともに高解像化処理を行うために選択する画像である。図２の例では、基準画像の直前に配置される画像を参照画像として選択している。

ここで、図２に示す単純な選択方法においては、基準画像及び参照画像のいずれもが、画質の低い画像である場合に、高解像度化の効果が得られない、もしくは画質劣化を起こす可能性がある。

そこで、図５を用いて、この画質劣化を防ぐ実施例１に係る選択方法を説明する。

図５は、実施例１に係る参照画像の選択方法を示している。この選択は高解像度化部103により行われる。実施例１に係る参照画像の選択方法は、符号化ビットストリーム情報に含まれるピクチャの種類の情報を用いて、参照画像を適応的に選択する。

まず、高解像度化部103に復号画像が入力される（502）。次に、高解像度化部103は、復号部102から復号画像についての符号化ビットストリーム情報を取得する(503)。

ここで、一般的な画像符号化においては、BピクチャはIピクチャ,Pピクチャに比べ画質が低下しやすい性質がある。そのため、図５に示すフローチャートにおいて、高解像度化部103は符号化ビットストリーム情報を用いて、基準画像に対し、時間的に直前の画像がBピクチャであるかの判定を行う合(504)。Bピクチャである場合、その近傍にIピクチャまたはPピクチャがないか判定を行う(505)。近傍にIピクチャまたはPピクチャがあった場合はIまたはPピクチャを参照画像として高解像度化処理を行う(506)。近傍にIピクチャまたはPピクチャがない場合はそのままBピクチャを参照画像として高解像度化処理を行う(507)。ここで、IピクチャまたはPピクチャを参照画像とする場合は、Iピクチャを優先する。

すなわち、図５に示すフローチャートに示す選択方法においては、BピクチャよりもIまたはPピクチャを優先して参照画像を選択する。このとき、IまたはPピクチャが複数存在する場合は、基準画像に時間的に近いピクチャを選択する。なお、高解像度化部103に基準画像よりも時間的に後の画像もバッファされている場合は、基準画像よりも時間的に後の画像を参照画像として選択することも可能である。

図５のフローに従って選択された参照画像の例を図４に示す。

基準画像が403の場合には、図２の単純選択方法では参照画像として402を選択する。しかし、図５に示した実施例１の選択処理を行うことにより、Pピクチャであり、基準画像403に時間的に一番近いPピクチャ404を選択している。

図４の例では、参照画像がBピクチャの場合にほかのピクチャタイプを優先的に選択するようにしていたが、これに限るものではなく、例えばIとPのみの画像であれば、PよりもIを優先して参照画像とする方法等も考えられる。

高解像度化部103における高解像度化処理においては、参照画像がより高画質であるほうが、高解像度化処理後の動画像の画質を向上させることができる。

よって、参照画像として選択するピクチャタイプを、一般的に高画質とされる順番である、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの順で選択することが好ましい。これにより、
画質が劣化しやすいBピクチャ同士を用いた高解像度化処理をできる限り避けることができ、高解像度化処理後の動画像の画質を向上させることができる。

このように、高解像度化部103における高解像度化処理の参照画像を決定する場合に、復号部102から取得した符号化ビットストリーム情報に含まれるピクチャタイプの情報を用いることで、高解像度化処理後の動画像の画質を向上させることができる。

次に、実施例１に係る高解像度化部103による高解像度化処理の詳細について説明する。

以下の高解像度化部103の説明において、復号部102で復号した画像をフレーム単位の画像であるとして説明する。

まず、高解像度化部103は、例えば、(1)位置推定、(2)広帯域補間、(3)加重和、の3つの処理により高解像度化を行う。ここで、(1)位置推定は、入力された複数の画像フレームの各画像データを用いて、各画像データのサンプリング位相(標本化位置)の差を推定するものである。(2)広帯域補間は、各画像データを折返し成分も含め、原信号の高周波成分をすべて透過する帯域の広いローパスフィルタを用いて画素数(サンプリング点)を補間して増やし、画像データを高密度化するものである。(3)加重和は、各高密度化データのサンプリング位相に応じた重み係数により加重和をとることによって、画素サンプリングの際に生じた折返し成分を打ち消して除去するとともに、同時に原信号の高周波成分を復元するものである。

図１２に、この高解像度化技術の概要を示す。同図(a)に示すように、異なる時間軸上のフレーム#1(1201)、フレーム#2(1202)、フレーム#3(1203)が入力され、これらを合成して出力フレーム(1206)を得ることを想定する。簡単のため、まず被写体が水平方向に移動(1204)した場合を考え、水平線(1205)の上の1次元の信号処理によって高解像度化することを考える。このとき、同図(b)と同図(d)に示すように、フレーム#2(1202)とフレーム#1(1201)では、被写体の移動(1204)の量に応じて信号波形の位置ずれが生じる。上記(1)位置推定によってこの位置ずれ量を求め、同図(c)に示すように、位置ずれが無くなるようにフレーム#2(1202)を動き補償(1207)するとともに、各フレームの画素(1208)のサンプリング位相(1209)(1210)の間の位相差θ(1211)を求める。この位相差θ(1211)に基づき、上記(2)広帯域補間および(3)加重和を行うことにより、同図(e)に示すように、元の画素(1208)のちょうど中間(位相差θ=π)の位置に新規画素(1212)を生成することにより、高解像度化を実現する。 (3)加重和については後述する。なお、実際には被写体の動きが平行移動だけでなく、回転や拡大・縮小などの動きを伴うことも考えられるが、フレーム間の時間間隔が微小な場合や被写体の動きが遅い場合には、これらの動きも局所的な平行移動に近似して考えることができる。

このとき、高解像度化部103の第一の構成例は、参考文献１、参考文献２もしくは非特許文献２に記載の高解像度処理を行う構成とすることである。この場合、上記(3)の加重和を行う際に、図１３に示すように、少なくとも３枚のフレーム画像の信号を用いれば、１次元方向の２倍の高解像度化が可能である。
〔参考文献１〕特開平８−３３６０４６号
〔参考文献２〕特開平９−６９７５５号
ここで、図１３をもちいて、高解像度化部103の第一の構成例における高解像度化処理ついて説明する。図１３は、１次元の周波数領域で、各成分の周波数スペクトルを示した図である。同図において、周波数軸からの距離が信号強度を表し、周波数軸を中心とした回転角が位相を表す。上記(3)の加重和について、以下に詳しく説明する。

上記(2)の広帯域補間にて、ナイキスト周波数の2倍の帯域(周波数0〜サンプリング周波数fsまでの帯域)を透過する広帯域ローパスフィルタによって画素補間すると、原信号と同じ成分(以下、原成分)と、サンプリング位相に応じた折返し成分の和が得られる。このとき、3枚のフレーム画像の信号に対して上記(2)広帯域補間の処理を行うと、図１３(a)に示すように、各フレームの原成分(1301)(1302)(1303)の位相はすべて一致し、折返し成分(1304)(1305)(1306)の位相は各フレームのサンプリング位相の差に応じて回転することがよく知られている。それぞれの位相関係をわかりやすくするために、各フレームの原成分の位相関係を同図(b)に示し、各フレームの折返し成分の位相関係を同図(c)に示す。

ここで、３枚のフレーム画像の信号に対して、乗算する係数を適切に選択して上記(3)加重和を行うことにより、各フレームの折返し成分(1304)(1305)(1306)を互いに打ち消して除去することができ、原成分だけを抽出できる。このとき、各フレームの折返し成分(1304)(1305)(1306)のベクトル和を0にする、すなわち、Re軸(実軸)の成分とIm軸(虚軸)の成分を両方ともに0とするためには、少なくとも３つの折返し成分が必要となる。従って、少なくとも３枚のフレーム画像の信号を用いることにより、2倍の高解像度化を実現すること、すなわち１個の折返し成分を除去することができる。

次に、図２０に高解像度化部103の第二の構成例を示す。この場合、少なくとも２枚のフレーム画像の信号を用いれば、１次元方向の２倍の高解像度化が可能である。以下に詳細を説明する。

まず、復号部102から高解像度化部103の入力部2000に復号した複数の画像が入力される。

次に、位置推定部2001により、入力部2000に入力されたフレーム#1上の処理対象の画素のサンプリング位相(標本化位置)を基準として、フレーム#2上の対応する画素の位置を推定し、サンプリング位相差θ2002を求める。なお、このサンプリング位相差θ2002は、動きベクトル情報と等価な情報である。サンプリング位相差θ2002の算出は、例えば、動き探索処理を行うことで可能である。

次に、動き補償・アップレート部2015のアップレート器2003,2004により、位相差θ2002の情報を用いてフレーム#2を動き補償してフレーム#1と位置を合わせるとともに、フレーム#1とフレーム#2の画素数をそれぞれ2倍に増して高密度化する。位相シフト部2016では、この高密度化したデータの位相を一定量だけシフトする。ここで、データの位相を一定量だけシフトする手段として、π/2位相シフト器2006,2008を用いることができる。また、π/2位相シフト器2006,2008で生じる遅延を補償するために、遅延器2005,2007により高密度化したフレーム#1とフレーム#2の信号を遅延させる。折返し成分除去部2017では、遅延器2005,2007とヒルベルト変換器2006,2008の各出力信号に対して、係数決定器2009にて位相差θ2002をもとに生成した係数C0,C2,C1,C3を乗算器2010,2011,2012,2013にてそれぞれ乗算し、加算器2014にてこれらの信号を加算して出力を得る。この出力は、出力部2018から出力される。

なお、位置推定部2001は、上記従来技術をそのまま用いて実現することができる。アップレート器2003,2004、π/2位相シフト器2006,2008、折返し成分除去部2017の各詳細については後述する。

図１４に、図２０の高解像度化部103の第二の構成例における動作を示す。同図は、図２０に示した遅延器2005,2007とπ/2位相シフト器2006,2008の各出力を1次元の周波数領域で示したものである。同図(a)において、遅延器2005,2007から出力されたアップレート後のフレーム#1とフレーム#2の信号はそれぞれ、原成分1401,1402と、元のサンプリング周波数(fs)から折り返された折返し成分1405,1406を加えた信号となる。このとき、折返し成分1406は上述の位相差θ2002だけ位相が回転している。一方、π/2位相シフト器2006,2008から出力されたアップレート後のフレーム#1とフレーム#2の信号はそれぞれ、π/2位相シフト後の原成分1403,1404と、π/2位相シフト後の折返し成分1407,1408を加えた信号となる。同図(b)および同図(c)は、同図(a)に示した各成分の位相関係をわかりやすくするために、原成分と折返し成分をそれぞれ抜き出して示したものである。ここで、同図(b)に示す4つの成分のベクトル和を取ったときに、Re軸の成分を1とし、Im軸の成分を0とするとともに、同図(c)に示す4つの成分のベクトル和を取ったときに、Re軸とIm軸の両方の成分を0とするように、各成分に乗算する係数を決定して加重和をとれば、折返し成分を打ち消してキャンセルし、原成分だけを抽出することができる。すなわち、2枚のフレーム画像だけを用いて、1次元方向の2倍の高解像度化行う画像信号処理装置を実現できる。この係数決定方法の詳細については後述する。

図1５に、図２０の高解像度化部103の第二の構成例に用いるアップレート器2003,2004の動作を示す。同図において、横軸は周波数を、縦軸は利得(入力信号振幅に対する出力信号振幅の比の値)を表し、アップレート器2003,2004の「周波数-利得」特性を示している。ここで、アップレート器2003,2004では、もとの信号のサンプリング周波数(fs)に対して2倍の周波数(2fs)を新しいサンプリング周波数とし、もとの画素間隔のちょうど中間の位置に新しい画素のサンプリング点(=ゼロ点)を挿入することによって画素数を2倍にして高密度化するとともに、-fs〜+fsの間の周波数をすべて利得2.0の通過帯域とするフィルタをかける。このとき、同図に示すように、デジタル信号の対称性により、2fsの整数倍の周波数ごとに繰り返す特性となる。

図１６に、図２０の高解像度化部103の第二の構成例に用いるアップレート器2003,2004の具体例を示す。同図は、図１５に示した周波数特性を逆フーリエ変換して得られるフィルタのタップ係数を示している。このとき、各タップ係数Ck(ただし、kは整数)は一般的に知られているsinc関数となり、サンプリングの位相差θ2002を補償するために(-θ)だけシフトし、Ck=2sin(πk+θ)/(πk+θ)とすればよい。なお、アップレート器2003では、位相差θ2002を0とおき、Ck=2sin(πk)/(πk)とすればよい。また、位相差θ(102)を、整数画素単位(2π)の位相差+小数画素単位の位相差で表すことにより、整数画素単位の位相差の補償については単純な画素シフトにより実現し、小数画素単位の位相差の補償については上記アップレート器2003,2004のフィルタを用いてもよい。

図１７に、図２０の高解像度化部103の第二の構成例に用いるπ/2位相シフト器2006,2008の動作例を示す。π/2位相シフト器2006,2008として、一般に知られているヒルベルト変換器を用いることができる。同図(a)において、横軸は周波数を、縦軸は利得(入力信号振幅に対する出力信号振幅の比の値)を表し、ヒルベルト変換器の「周波数-利得」特性を示している。ここで、ヒルベルト変換器では、もとの信号のサンプリング周波数(fs)に対して2倍の周波数(2fs)を新しいサンプリング周波数として、-fs〜+fsの間の0を除く周波数成分をすべて利得1.0の通過帯域とする。また、同図(b)において、横軸は周波数を、縦軸は位相差(入力信号位相に対する出力信号位相の差)を表し、ヒルベルト変換器の「周波数-位相差」特性を示している。ここで、0〜fsの間の周波数成分についてはπ/2だけ位相を遅らせ、0〜-fsの間の周波数成分についてはπ/2だけ位相を進ませる。このとき、同図に示すように、デジタル信号の対称性により、2fsの整数倍の周波数ごとに繰り返す特性となる。

図１８に図２０の高解像度化部103の第二の構成例に用いるπ/2位相シフト器2006,2008をヒルベルト変換器で構成した例を示す。同図は、図１７に示した周波数特性を逆フーリエ変換して得られるフィルタのタップ係数を示している。このとき、各タップ係数Ckは、k=2m(ただしmは整数)のときはCk=0とし、k=2m+1のときはCk=-2/(πk)とすればよい。

なお、本発明の第1の実施例に用いるπ/2位相シフト器2006,2008は、微分器を用いることも可能である。この場合、正弦波を表す一般式cos(ωt+α)をtで微分して1/ωを乗じると、d(cos(ωt+α))/dt*(1/ω)=-sin(ωt+α)=cos(ωt+α+π/2)となり、π/2位相シフトの機能を実現できる。すなわち、対象とする画素の値と隣接画素の値との差分を取ったのちに、1/ωの「周波数-振幅」特性を持ったフィルタを掛けることによってπ/2位相シフトの機能を実現してもよい。

図1９に、図２０の高解像度化部103の第二の構成例に用いる係数決定器(109)の動作と具体例を示す。同図(a)に示すように、図1４(b)に示した４つの成分のベクトル和を取ったときに、Re軸の成分を1とし、Im軸の成分を0とするとともに、図1４(c)に示した４つの成分のベクトル和を取ったときに、Re軸とIm軸の両方の成分を0とするように、各成分に乗算する係数を決定すれば、2枚のフレーム画像だけを用いて、1次元方向の2倍の高解像度化行う画像信号処理装置を実現できる。図１に示すように、遅延器(105)の出力(アップレート後のフレーム#1の原成分と折返し成分の和)に対する係数をC0、π/2位相シフト器2006の出力(アップレート後のフレーム#1の原成分と折返し成分のそれぞれのπ/2位相シフト結果の和)に対する係数をC1、遅延器2007の出力(アップレート後のフレーム#2の原成分と折返し成分の和)に対する係数をC2、ヒルベルト変換器2006の出力(アップレート後のフレーム#2の原成分と折返し成分のそれぞれのπ/2位相シフト結果の和)に対する係数をC3、として図19(a)の条件を満たすようにすると、図14(b)および図14(c)に示した各成分の位相関係から、図19(b)に示す連立方程式を得ることができ、これを解くと図19(c)に示す結果を導くことができる。係数決定器2009は、このようにして得た係数C0、C1、C2、C3を出力すればよい。一例として、位相差θ2002をπ/8ごとに0〜2πまで変化させたときの係数C0、C1、C2、C3の値を、図19(d)に示す。これは、もとのフレーム#2の信号を、1/16画素の精度で位置推定し、フレーム#1に対して動き補償した場合に相当する。

なお、アップレート器2003,2004およびπ/2位相シフト器2006,2007は、理想的な特性を得るためには無限大のタップ数を必要とするが、タップ数を有限個で打ち切って簡略化しても実用上問題ない。このとき、一般的な窓関数(例えばハニング窓関数やハミング窓関数など)を用いてもよい。簡略化したヒルベルト変換器の各タップの係数を、C0を中心として左右点対象の値、すなわちC(-k)=-Ck(kは整数)とすれば、位相を一定量だけシフトすることができる。

以上説明したように、図１の高解像度化部103の構成を図１２乃至図２０において説明した構成とすることにより、複数の画像から高解像度化した画像を生成することが可能となる。

特に、図２０に示した高解像度化部103の第二の構成によれば、２枚の画像から１枚の高解像画像を生成することが可能となる。

以上説明した本発明の実施例１に係る映像表示装置によれば、符号化ストリームを復号し、復号した動画像に含まれる複数の画像を用いて高解像度化処理を行う場合に、復号した符号化ストリームに含まれるピクチャの種類の情報を用いて、高解像度化処理の対象となる複数の画像を選択する。

このとき、より高画質なピクチャタイプの画像を優先的に選択することにより、低画質のピクチャタイプの画像同士を用いた高解像度化処理を防止し、高画質な高解像度動画像を生成することが可能となる。

本願の実施例２に係る映像表示装置は、実施例１にかかる映像表示装置に対し、高解像度化部103における参照画像の選択方法が異なるのみである。よって、高解像度化部103における参照画像の選択方法以外については、同様であるため、説明を省略する。

実施例２に係る高解像度化部103における参照画像の選択方法は、符号化ビットストリーム情報のうち、量子化精度の情報を用いて参照画像を選択する。

図６、図７を用いて、実施例２に係る選択方法を説明する。

実施例１における参照画像の選択方法にもちいたピクチャの種類の情報と同様に、量子化精度も画質に大きな影響を与えるパラメータである。そのため、実施例２に係る選択方法においては、以下に説明する図７のフローチャートのように、量子化精度の高低を考慮に入れて参照画像を選択することで画質の向上を実現することが可能である。

図７においては、まず、高解像度化部103に復号画像が入力される（702）。次に、高解像度化部103は、復号部102から復号画像についての符号化ビットストリーム情報を取得する(703)。

ここで、一般的な画像符号化においては、量子化精度が低い画像は、量子化精度が高い画像に比べ画質が低下しやすい性質がある。そのため、図７に示す実施例２に係る参照画像の選択方法では、高解像度化部103は符号化ビットストリーム情報を用いて、基準画像に対し時間的に直前の画像が量子化精度が低い画像であるかを判定する(704)。直前の画像が量子化精度が低い画像であった場合、その近傍に量子化精度が高い画像がないか判定を行う(705)。近傍に量子化精度が高い画像があった場合はその量子化精度が高い画像を参照画像として高解像度化処理を行う(706)。近傍量子化精度が高い画像がない場合はそのまま時間的に直前の画像を参照画像として高解像度化処理を行う(707)。

なお、近傍に量子化精度が高い画像が複数あった場合は、時間的に近い画像を優先して選択すればよい。

図６を用いて、実施例２に係る選択方法と図２の単純選択方法とについて説明する。

図６において基準画像603を高解像度化する場合、図２の単純選択方法では、参照画像602を選択する。しかし、実施例２に係る選択方法では、量子化精度の高い参照画像604を選択する。これにより、量子化精度の低い基準画像603と参照画像602を用いた高解像度化処理を防止することが可能となり、生成する高解像度画像の画質を向上させることが可能である。

以上説明した本発明の実施例２に係る映像表示装置によれば、符号化ストリームを復号し、復号した動画像に含まれる複数の画像を用いて高解像度化処理を行う場合に、復号した符号化ストリームに含まれる量子化精度の情報を用いて、高解像度化処理の対象となる複数の画像を選択する。

このとき、より量子化精度の高い画像を優先的に選択することにより、低画質のピクチャタイプの画像同士を用いた高解像度化処理を防止し、高画質な高解像度動画像を生成することが可能となる。

本願の実施例３に係る映像表示装置は、実施例１にかかる映像表示装置に対し、高解像度化部103における高解像度化処理の対象単位をフレーム単位からブロック単位とし、符号化ビットストリーム情報のうち、符号化処理における参照画像情報（または参照ブロック情報）と、ピクチャタイプの種類の情報を用いて、高解像度化処理の対象ブロックを選択する。高解像度化部103における処理以外の構成は実施例１にかかる映像表示装置と同様であるため説明を省略する。

図８、図９を用いて、実施例３に係る高解像度化部103の処理を説明する。

図８に示すように、実施例３に係る高解像度化部103の高解像度化処理は、ブロック単位で行う。

また、実施例３に係る高解像度化部103における高解像度化処理のブロックの選択方法は、符号化ビットストリーム情報のうち、符号化処理における参照画像情報と、ピクチャタイプの種類の情報を用いる。すなわち、高解像度化処理の対象ブロック（基準ブロック）とともに高解像度化処理を行う参照ブロックを選択する場合、符号化処理における参照画像のうち、より高画質なピクチャタイプの画像を選択し、選択した画像に含まれるブロックを高解像度化処理の参照ブロックとして選択する。

ここで、実施例３におけるより高画質なピクチャタイプの画像を選択する方法においては、実施例１と同じくIピクチャ、Pピクチャ、Bピクチャの順で選択する。

ここで、図８の例においては、符号化画像803を高解像度化処理する場合を考える。ここで、高解像度化処理の対象を基準ブロック807とする。基準ブロック807の符号化処理における参照ブロックは、ブロック808、ブロック809、ブロック810であったとする。

この場合、実施例３に係る高解像度化部103は、ブロック808、ブロック809、ブロック810を含む画像802、画像804、画像801のピクチャタイプの種類の情報を用いて、より高画質なIピクチャである画像801を選択する。

次に、実施例３に係る高解像度化部103は選択した画像801に含まれる参照ブロック810と基準ブロック807とを用いて、高解像度化処理を行い、高解像度ブロックを生成する。ここで、実施例３に係る高解像度化部103における高解像度化処理は、実施例１において説明した高解像度化処理をブロックのサイズで行えばよい。詳細は実施例１に説明したとおりであるので、説明を省略する。

実施例３に係る高解像度化部103は、当該高解像度化処理を画像内の各ブロックに行うことにより、１枚の高解像度画像を生成することが可能となる。

また、例えば、画像807がIブロックで参照先がない場合などは、直前の画像802における同一位置のブロックを高解像度化処理における参照ブロックとする。

ここで、図９を用いて、実施例３に係る参照ブロックの選択方法を説明する。

図９に示す実施例３に係る参照ブロックの選択方法では、まず、高解像度化部103に復号画像が入力される（902）。次に、高解像度化部103は、復号部102から復号画像についての符号化ビットストリーム情報を取得する(903)。

次に、符号化ビットストリーム情報を用いて、基準画像ブロックの符号化処理における参照ブロックの情報があるかを判定する(904)。参照ブロックがある場合は、参照先のブロックを参照ブロックとして高解像度化処理を行う(906)。参照ブロックがない場合は、そのまま時間的に直前の画像における同一位置のブロックを参照ブロックとして高解像度化処理を行う(907)。

なお、符号化処理における参照ブロックが複数ある場合は、Iピクチャ、Pピクチャ、Bピクチャの順を優先順位として高解像度化処理の参照ブロックを選択する。また、Iピクチャ、Pピクチャなどがそれぞれ複数ある場合は、時間的に近い画像を優先すればよい。

以上説明した本発明の実施例３に係る映像表示装置によれば、符号化ストリームを復号し、復号した動画像に含まれる複数の画像を用いて高解像度化処理を行う場合に、復号した符号化ストリームに含まれる、参照画像情報（または参照ブロック情報）と、ピクチャタイプの種類の情報を用いて、高解像度化処理の対象となる複数のブロックを選択し、ブロック単位で高画質化処理を行う。

このとき、より高画質なピクチャタイプの画像に含まれるブロックを優先的に選択することにより、低画質のピクチャタイプ画像に含まれるブロック同士を用いた高解像度化処理を防止し、高画質な高解像度動画像を生成することが可能となる。

本願の実施例４に係る映像表示装置は、実施例３にかかる映像表示装置において、高解像度化部103の高解像度化処理における参照ブロックの選択に用いるパラメータを符号化処理における参照画像情報（または参照ブロック情報）とピクチャタイプの種類とから、
符号化処理における参照画像情報（または参照ブロック情報）と量子化精度の情報に変更したものである。高解像度化部103における処理以外の構成は実施例３に係る映像表示装置と同様であるため説明を省略する。

図１０、図１１を用いて、実施例４に係る高解像度化部103の処理を説明する。

図１０に示すように、実施例４に係る高解像度化部103の高解像度化処理は、ブロック単位で行う。

また、実施例４に係る高解像度化部103における高解像度化処理のブロックの選択方法は、符号化ビットストリーム情報のうち、符号化処理における参照画像情報と、量子化精度の情報を用いる。すなわち、高解像度化処理の対象ブロック（基準ブロック）とともに高解像度化処理を行う参照ブロックを選択する場合、符号化処理における参照画像のうち、より量子化精度の高い画像を選択し、選択した画像に含まれるブロックを高解像度化処理の参照ブロックとして選択する。

ここで、図１０の例においては、符号化画像1003を高解像度化処理する場合を考える。ここで、高解像度化処理の対象を基準ブロック1007とする。基準ブロック1007の符号化処理における参照ブロックは、ブロック1008、ブロック1009、ブロック1010であったとする。

この場合、実施例３に係る高解像度化部103は、ブロック1008、ブロック1009、ブロック1010を含む画像1002、画像1004、画像1001の符号化処理における量子化精度の情報を用いて、量子化精度の高い画像1004または画像1001を選択する。量子化精度の高い画像が複数ある場合は、より時間的に近い画像を選択すればよい。図１０の場合においては、例えば、画像1004を選択すればよい。

次に、実施例４に係る高解像度化部103は選択した画像1004に含まれる参照ブロック1009と基準ブロック1007とを用いて、高解像度化処理を行い、高解像度ブロックを生成する。ここで、実施例４に係る高解像度化部103における高解像度化処理は、実施例１において説明した高解像度化処理をブロックのサイズで行えばよい。詳細は実施例１に説明したとおりであるので、説明を省略する。

実施例４に係る高解像度化部103は、当該高解像度化処理を画像内の各ブロックに行うことにより、１枚の高解像度画像を生成することが可能となる。

また、例えば、画像1007がIブロックで参照先がない場合などは、直前の画像1002における同一位置のブロックを高解像度化処理における参照ブロックとする。

ここで、図１１を用いて、実施例４に係る参照ブロックの選択方法を説明する。

図１１に示す実施例４に係る参照ブロックの選択方法では、まず、高解像度化部103に復号画像が入力される（1102）。次に、高解像度化部103は、復号部102から復号画像についての符号化ビットストリーム情報を取得する(1103)。

次に、符号化ビットストリーム情報を用いて、基準画像ブロックの符号化処理における参照ブロックの情報があるかを判定する(1104)。参照ブロックがある場合は、参照先のブロックを参照ブロックとして高解像度化処理を行う(1106)。参照ブロックがない場合は、そのまま時間的に直前の画像における同一位置のブロックを参照ブロックとして高解像度化処理を行う(1107)。

なお、符号化処理における参照ブロックが複数ある場合は、量子化精度の高い画像に含まれるブロックを優先して高解像度化処理の参照ブロックを選択する。また、量子化精度の高い画像が複数ある場合は、時間的に近い画像を優先して選択すればよい。

以上説明した本発明の実施例４に係る映像表示装置によれば、符号化ストリームを復号し、復号した動画像に含まれる複数の画像を用いて高解像度化処理を行う場合に、復号した符号化ストリームに含まれる、参照画像情報（または参照ブロック情報）と、符号化処理における量子化精度の情報を用いて、高解像度化処理の対象となる複数のブロックを選択し、ブロック単位で高画質化処理を行う。

このとき、より高画質な画像である量子化精度の高い画像に含まれるブロックを優先的に選択することにより、低画質の画像である量子化精度の低い画像に含まれるブロック同士を用いた高解像度化処理を防止し、高画質な高解像度動画像を生成することが可能となる。

本発明の一実施例に係る映像表示装置の一例を示す図である。 本発明の一実施例に係る高解像度化処理における参照画像の選択方法の説明図である。 本発明の一実施例に係る復号部の一例の説明図である。 本発明の一実施例に係る高解像度化処理における参照画像の選択方法の説明図である。 本発明の一実施例に係る高解像度化処理における参照画像の選択方法のフローチャートの一例を示す図である。 本発明の一実施例に係る高解像度化処理における参照画像の選択方法の説明図である。 本発明の一実施例に係る高解像度化処理における参照画像の選択方法のフローチャートの一例を示す図である。 本発明の一実施例に係る高解像度化処理における参照ブロックの選択方法の説明図である。 本発明の一実施例に係る高解像度化処理における参照ブロックの選択方法のフローチャートの一例を示す図である。 本発明の一実施例に係る高解像度化処理における参照ブロックの選択方法の説明図である。 本発明の一実施例に係る高解像度化処理における参照ブロックの選択方法のフローチャートの一例を示す図である。 本発明の一実施例における高解像度化処理の説明図である。 本発明の一実施例における高解像度化処理の説明図である。 本発明の一実施例における高解像度化処理の説明図である。 本発明の一実施例におけるアップレート器の説明図である。 本発明の一実施例におけるアップレート器の説明図である。 本発明の一実施例における位相シフト器の説明図である。 本発明の一実施例における位相シフト器の説明図である。 本発明の一実施例における係数決定器の説明図である。 本発明の一実施例における高解像度化部の一例の説明図である。

符号の説明

100…入力部、101…記憶媒体、102…復号部、103…高解像度化部、104…表示部、105…出力部、301…逆量子化部、302…逆変換部、303…デブロッキングフィルタ、305…画面内予測部、306…動き補償部、307…フレームメモリ、1000…映像蓄積装置、2000…入力部、2001…位置推定部、2003…アップレート器、2004…アップレート器、2005…遅延器、2006…ヒルベルト変換器、2007…遅延器、2008…ヒルベルト変換器、2009…係数決定器、2010…乗算器、2011…乗算器、2012…乗算器、2013…乗算器、2014…加算器、2015…動き補償・アップレート部、2016…位相シフト部、2017…折返し成分除去部。

Claims (20)

1. 符号化された動画像と前記符号化された動画像とともに符号化された符号化ビットストリーム情報とを復号する復号部と、
   前記復号された動画像に含まれる複数の画像と前記復号した符号化ビットストリーム情報とを用いて前記復号された動画像の高解像度化処理をおこなう高解像度化部と、
   前記高解像度化部において高解像度化処理をされた動画像を表示する表示部とを備える映像表示装置。
2. 前記高解像度化部は、前記符号化ビットストリーム情報に含まれる画像のピクチャの種類の情報を用いて、前記動画像に含まれる複数の画像のうち、前記高解像度化処理に用いる画像を選択する請求項１に記載の映像表示装置。
3. 前記高解像度化部は、前記高解像度化処理に用いる画像の選択において、前記動画像に含まれる複数の画像のうち、Bピクチャの画像よりもIピクチャまたはPピクチャの画像を優先して選択する請求項２に記載の映像表示装置。
4. 前記高解像度化部は、前記高解像度化処理の対象となる画像に時間的に直前の画像がBピクチャである場合に、前記時間的に直前の画像以外の画像から、IピクチャまたはPピクチャの画像を選択し、前記高解像度化処理の対象となる画像と前記選択したIピクチャまたはPピクチャの画像とを用いて高解像度化処理をおこなう請求項２に記載の映像表示装置。
5. 前記高解像度化部は、前記高解像度化処理に用いる画像の選択を、画像のブロック単位でおこなう請求項２に記載の映像表示装置。
6. 前記高解像度化部は、前記符号化ビットストリーム情報に含まれる量子化精度の情報を用いて、前記動画像に含まれる複数の画像のうち、前記高解像度化処理に用いる画像を選択する請求項１に記載の映像表示装置。
7. 前記高解像度化部は、前記高解像度化処理に用いる画像の選択において、前記動画像に含まれる複数の画像のうち、量子化精度の低い画像よりも量子化精度の高い画像を優先して選択する請求項６に記載の映像表示装置。
8. 前記高解像度化部は、前記高解像度化処理の対象となる画像に時間的に直前の画像が量子化精度の低い画像である場合に、前記時間的に直前の画像以外の画像から、量子化精度の高い画像を選択し、前記高解像度化処理の対象となる画像と前記選択した量子化精度の高い画像の画像とを用いて高解像度化処理をおこなう請求項６に記載の映像表示装置。
9. 前記高解像度化部は、前記高解像度化処理に用いる画像の選択を、画像のブロック単位でおこなう請求項６に記載の映像表示装置。
10. 符号化された動画像と前記符号化された動画像とともに符号化された符号化ビットストリーム情報とを復号する復号ステップと、
    前記復号された動画像に含まれる複数の画像と前記復号した符号化ビットストリーム情報とを用いて前記復号された動画像の高解像度化処理をおこなう高解像度化ステップと、
    前記高解像度化ステップにおいて高解像度化処理をされた動画像を表示する表示ステップとを備える映像表示方法。
11. 前記高解像度化ステップは、前記符号化ビットストリーム情報に含まれる画像のピクチャの種類の情報を用いて、前記動画像に含まれる複数の画像のうち、前記高解像度化処理に用いる画像を選択する請求項１０に記載の映像表示方法。
12. 前記高解像度化ステップは、前記高解像度化処理に用いる画像の選択において、前記動画像に含まれる複数の画像のうち、Bピクチャの画像よりもIピクチャまたはPピクチャの画像を優先して選択する請求項１１に記載の映像表示方法。
13. 前記高解像度化ステップは、前記高解像度化処理の対象となる画像に時間的に直前の画像がBピクチャである場合に、前記時間的に直前の画像以外の画像から、IピクチャまたはPピクチャの画像を選択し、前記高解像度化処理の対象となる画像と前記選択したIピクチャまたはPピクチャの画像とを用いて高解像度化処理をおこなう請求項１１に記載の映像表示方法。
14. 前記高解像度化ステップは、前記高解像度化処理に用いる画像の選択を、画像のブロック単位でおこなう請求項１１に記載の映像表示方法。
15. 前記高解像度化ステップは、前記符号化ビットストリーム情報に含まれる量子化精度の情報を用いて、前記動画像に含まれる複数の画像のうち、前記高解像度化処理に用いる画像を選択する請求項１０に記載の映像表示方法。
16. 前記高解像度化ステップは、前記高解像度化処理に用いる画像の選択において、前記動画像に含まれる複数の画像のうち、量子化精度の低い画像よりも量子化精度の高い画像を優先して選択する請求項１５に記載の映像表示方法。
17. 前記高解像度化ステップは、前記高解像度化処理の対象となる画像に時間的に直前の画像が量子化精度の低い画像である場合に、前記時間的に直前の画像以外の画像から、量子化精度の高い画像を選択し、前記高解像度化処理の対象となる画像と前記選択した量子化精度の高い画像の画像とを用いて高解像度化処理をおこなう請求項１５に記載の映像表示方法。
18. 前記高解像度化ステップは、前記高解像度化処理に用いる画像の選択を、画像のブロック単位でおこなう請求項１５に記載の映像表示方法。
19. 符号化された動画像と前記符号化された動画像とともに符号化された符号化ビットストリーム情報とを復号する復号ステップと、
    前記復号された動画像に含まれる複数の画像のうち、前記復号した符号化ビットストリーム情報を用いて、より高画質な画像を選択する画像選択ステップと、
    前記選択した複数の画像をもちいて高解像度画像を生成する高解像度化処理をおこなう高解像度化ステップとを備える画像高解像度化方法。
20. 前記画像選択ステップは、前記復号した符号化ビットストリーム情報に含まれるピクチャの種類の情報または量子化精度の情報の情報を用いて、前記復号された動画像に含まれる複数の画像における画質を判定して、より高画質な画像を選択する画像高解像度化方法。

Images