JP2009302774A - 特定領域を等倍出力する機能を持ったダウンデコード装置 - Google Patents

Abstract

【課題】拡大したい画像等の特定領域を、画質の劣化なく、縮小画面において拡大表示可能なダウンデコード装置を提供する。
【解決手段】ユーザが、画面内で等倍表示する特定領域を指定すると、高解像度データから対応する領域の等倍画像を取得し、他の領域については、高解像度データから縮小画像を生成する。そして、縮小画像の対応する位置に特定領域の等倍画像を上書きして表示する。
【選択図】図３

Description

本発明は、動画像の復号処理に関し、特には、高解像度映像を低解像度モニタにダウンデコードする装置に関する。

フルＨＤ(High Definition: 1920x1080画素)などの高解像度画像は、これまでのＳＤ（Standard Definition）画像と比較すると約６倍の精度をもっており、きめ細やかな映像を楽しむことができる。しかし、携帯用機器など、映像を表示するモニタがフルＨＤの解像度を持っていない場合は、フルＨＤの画像を復号処理後に、スケーラによるダウンコンバート処理が必要となってくる。しかしながら、携帯用機器では消費電力が問題となるため、フルＨＤを全て復号するのではなく、復号処理時にダウンデコード処理を行うことにより、モニタが持つ低解像度の映像に変換する方法が用いられる。ダウンデコード処理とは、フルＨＤの解像度を持つストリームを復号する際に、ストリームに含まれている高周波成分の情報を切り捨てて処理するため、フルデコード処理と比較して処理量を削減することが可能な手法である。

圧縮符号化された高解像度の画像情報の部分表示を行う場合において、大容量のメモリを占有せず、高速に、復号化・表示できるシステムが知られている。
特開平９−１１６７５９号公報

図７〜図９は、従来技術の問題点を説明する図である。
しかしながら、ダウンデコード処理した映像を携帯機器などの低解像度モニタに出力する場合、本来のフルＨＤ画像の約1/4倍ほどに縮小されて表示されることとなるため、字幕やテロップ等の文字など、もともと小さく表示されていたものがさらに縮小されることとなる。図７のように、ＨＤストリームをビデオデコーダ１０で、縦、横ともに１／２に縮小し、スケーラ１１で、モニタサイズに画像のスケールを調整し、モニタに表示する。このとき、字幕やテロップ等の文字も縮小されて表示される。

そこで、字幕やテロップ等、小さく表示されてしまう対象を、認識できるレベルに拡大することが必要とされる。縮小された字幕やテロップ、細かい物などを問題なく認識するためには、縮小された画像を部分的に拡大することにより実現できる。しかしながら、ダウンデコード処理を行った後にスケーラ等による拡大処理を行うと、低解像度の映像を拡大処理するため、画質の劣化が生じることとなる。そこで、画質の劣化を抑えた拡大処理手法が要求される。

画質劣化を抑えて動画像の拡大処理を行うために、ダウンデコード処理において、特定の領域を等倍の解像度で処理することができれば、通常のダウンデコード画像の上に等倍で復号した画像を重ね合わせることにより、解像度を失うことなく、特定領域の動画像の拡大処理が可能となる。しかしながら、特定の領域のみを等倍でデコードする場合には以下のような問題が発生する。

動画像では、動き補償という技術を用いることにより情報量の圧縮を行っている。動き補償は、対象画像に対して時間的に前後している画像の情報を利用するものであり、上記手法を用いて符号化された画像はPピクチャ、またはBピクチャと呼ばれている。また、動き補償を用いずに対象画像でのみ符号化された画像はIピクチャと呼ばれる。

PピクチャやBピクチャを復号するためには以前に復号した画像をとっておく必要がある。それゆえ該当ピクチャがPピクチャ、またはBピクチャであった場合で、マクロブロック(フレームをさらに分割した単位)が動き予測として特定の領域の外を予測値としていた場合、参照画像であるIもしくはPピクチャの特定領域外の画像情報を保持していないため、そのマクロブロックは正しく復号することができなくなる。すなわち、図８のように、Ｐピクチャは、Ｉピクチャを参照し、Ｂピクチャは、ＩピクチャとＰピクチャを参照する。そのとき、図８右に示されたように、動きベクトルが大きくなって、復号に用いられる特定領域外に出てしまうことが起こる。

従来、一般的に、動きベクトルから正しい予測値を得ることができないという問題を解決するためには、動きベクトルを”0”として処理する手法が用いられており、その手法を特定領域の等倍復号に適用することが可能ではある(図９参照)。しかし、動きベクトルを”0”とした場合、実際は動きが存在する領域に対して、動いていないものとみなして処理するため、本来の画像とは異なる復号結果となり、画質が劣化するという問題が発生する。

本発明の課題は、拡大したい画像等の特定領域を、画質の劣化なく、縮小画面において拡大表示可能なダウンデコード装置を提供することである。

本発明のダウンデコード装置は、復号時に圧縮符号化された高解像度画像から低解像度画像を生成するダウンデコード装置において、画像の特定領域を指定する指定手段と、該特定領域以外の領域について、該高解像度画像から低解像度画像を生成する解像度変換手段と、該特定領域の高解像度画像と、該低解像度画像とを、指定された出力形式に従って出力する出力手段とを備える。

本発明によれば、画質の劣化を抑制し、拡大したい画像領域を拡大表示できるダウンデコード装置を提供することが出来る。

本発明の実施形態では、特定領域を画質の劣化を抑えて、等倍で復号処理を行うものである。特定領域の位置はユーザ側で任意に指定可能とし、特定領域のサイズも可変とする。また、特定領域のみ等倍処理する際も、ダウンデコード処理は通常通り行う。復号する手法としては、Iピクチャのみ、特定領域の復号をする簡易手法（第１の実施形態）と、I,P,Bピクチャ全てについて、特定領域の復号をする手法（第２の実施形態）が以下に示される。

図１は、第１の実施形態を概略説明する図である。
第１の実施形態においては、Iピクチャのみ、特定領域の等倍復号を行う。そして、Ｉピクチャの等倍復号された特定領域は、ＧＯＰ（Group Of Pictures）の他のピクチャの同位置に表示され続け、次のＩピクチャがきたときに、更新される。他のピクチャの同位置の画像は、Ｉピクチャの等倍復号された画像によって上書きされており、モニタからでは見ることが出来ないようになっている。Iピクチャでは動き補償を行わないため、画質劣化なしに特定領域の復号が可能である。

図２は、第２の実施形態を概略説明する図である。
第２の実施形態においては、I,B,P全てのピクチャについて特定領域の等倍復号処理を行う。Bピクチャ、Pピクチャの場合において、動き補償を行う場合、以下の処理に分類す
る。
・動き補償を行う場合に特定領域内を参照する場合は等倍参照画像より、参照画像を生成する。
・動き補償を行う場合に特定領域外を参照する場合は、縮小された参照画より、参照画像を生成する。

第１の実施形態は、処理量は少ないが、Iピクチャのみの等倍復号処理であるため、なめらかな映像の再現は困難である。野球や、サッカー等の点数表示など、動きの少ない領域に対して有効となる。

第２の実施形態は、処理量は第１の実施形態よりも増加するが、I,B,P全てのピクチャに対して等倍復号処理を行うため、なめらかな映像を再現することができる。
本実施形態により、画質劣化を抑えたまま、特定領域の等倍復号処理が可能となる。また、等倍復号処理に加えてダウンデコード処理も行うため、等倍復号画像と、縮小復号画像の両方を復号することとなり、縮小画像の上に等倍画像を重ね合わせることが可能となる。

図３は、縮小画像と等倍画像の重ね合わせの様子を示す図である。
高解像度データから特定領域について等倍画像を生成し、他の領域については縮小画像を生成して、これらを合成することにより、特定領域については、画質の劣化なく、小さな画面に拡大表示した効果を得、他の領域については、小さな画面に適した縮小画像を表示することができる。画像の合成は、等倍画像の座標位置を保持しておき、縮小画像内の縮小された座標位置の対応する位置に等倍画像を表示するように、両者を合成する。

図４は、２つの実施形態を含む特定領域の等倍復号処理フローである。
特定領域の等倍復号処理を行う単位はGOP単位としている。
まず、符号化されたストリームの文法解析を行い、GOPの先頭であるかどうかを判定する（ステップＳ１０）。GOPの先頭であった場合は、GOP処理開始となり（ステップＳ１１）、GOPヘッダを読み込んで、ステップＳ１２において、等倍復号をするかどうかの確認を行う。

等倍復号を行う場合は、たとえば等倍復号フラグに”1”を設定し、等倍復号を行う領域の設定、合成フラグの設定を行う（ステップＳ１４）。等倍復号を行わない場合は等倍復号フラグに”0”を設定する（ステップＳ１３）。GOPの先頭でなかった場合は、等倍復号フラグ、等倍復号領域は変更せずにステップＳ１５の処理へと移る。

次に、ピクチャヘッダを読み込み（ステップＳ１５）、ピクチャ単位の文法情報を得る。その後、スライス単位の文法情報、MB単位の文法情報を取り出す（ステップＳ１６、Ｓ１７）。その後、MB単位で復号処理を繰り返す。

MB処理完了後、スライス処理が完了したかどうかを確認し（ステップＳ２０）、完了している場合は次のスライスの文法解析に戻る。次のスライスがなければ、ピクチャ処理が完了となる（ステップＳ２１）。MB処理終了後、スライス処理が完了していない場合は、次のMB処理を実行する。

MB処理毎に、等倍復号を実行するかどうかをまず判定する（ステップＳ１８）。等倍復号の判定としては、等倍処理フラグに”1”が設定されていること、かつ、現在処理中のMBが等倍復号領域内に存在することである。上記を共に満足する場合、等倍復号処理に移行する（ステップＳ３０）。上記どちらか一方でも満足しない場合は、等倍復号処理は実行せず、通常の縮小復号処理（ダウンデコード処理）を実行する（ステップｓＳ１９）。
図４の枠内は、等倍処理のフローである。

まず、MBがイントラであるか、非イントラ(インター)であるかを判定する（ステップＳ３１）。MBがイントラである場合は、予測画像が不要であるため、IQ(逆量子化)、IDCT(逆離散コサイン変換)を実行し、復号画像を得る（ステップＳ３７）。MBが非イントラであった場合は、動きベクトル情報より、参照画の位置を計算する。そして、参照画が特定領域内を参照するものであるか否かを判断する（ステップＳ３２）。

先ほど計算した参照画の位置情報によって、使用する参照画を切り替える。具体的には、参照画の位置が特定復号領域内であった場合と、特定復号領域をはみ出している場合とに分類する。特定復号領域内であった場合は、1/1フレームメモリより、参照画像を取り出す（ステップＳ３３）。特定復号領域をはみ出している場合は、1/1フレームメモリではなく、縮小フレームメモリより、参照画像を取り出す（ステップＳ３４）。そして、縮小画像を復元処理し（ステップＳ３５）、ステップＳ３６において、予測画を作成する。ここでは、参照画像は縮小された画像であるため、等倍サイズに復元する必要がある。等倍サイズへの復元手法は、特に限定しない。たとえば、ひとつの画素データを複製して復元する手法や、隣接する画素から補間する手法などが挙げられる。これによって復元された参照画を、現在のMBの参照画像として用い、非イントラMBの復号処理を行う。すなわち、IQ(逆量子化)、IDCT(逆離散コサイン変換)、ＭＣ（動き補償）を実行し、復号画像を得る（ステップＳ３７）。そして、ステップＳ３８において、１／１予測画のフレームメモリへの書き込みを行う。ここで、１／１予測画とか、１／１フレームメモリとは、縮小画出ではなく、等倍画像の予測画とか、等倍画像のフレームメモリという意味である。

上記手法により、参照画像が、等倍復号領域の外にある場合においても、縮小画像からの参照画を用いることにより、画質の劣化を低減させることが可能となる。
ピクチャ処理の完了後、等倍フラグと、合成フラグにより、出力する画像を選択する（ステップＳ２２、Ｓ２３）。まず、等倍フラグが1かどうかを確認する。等倍フラグが1でない場合は、ダウンデコード処理した縮小画像を出力する。等倍フラグが1であった場合、さらに合成フラグを確認する。合成フラグが1でない場合は、等倍処理した等倍画像のみを出力する。合成フラグが1であった場合は、縮小画像上に等倍画像を重ね合わせた画像を出力する。なお、等倍画像を出力する領域は、ユーザが、縮小画像を見て、見づらい領域を画面上で指定する。この指定された領域が、その後等倍画像の出力対象となる。

図５は、縮小画像を等倍サイズへ復元する手法について説明する図である。
（１）は、複製する方法である。左側の画素が少ない状態が縮小画である。これを縦・横２倍にする場合には、縮小画像での１画素を２×２の４つの画素に複製するものである。

（２）は、補間する方法である。補間にはさまざまな方法が知られており、そのいずれの方法を用いてもよい。画素と画素の間に新たに画素を設ける場合、隣り合う複数個の画素の値を線形補間して、新たな画素の画素値を求めるようにしてもよい。

図６は、本発明の第１及び第２の実施形態の両方を実現可能な回路構成を示すブロック図である。
一般的なダウンデコード処理の回路に加え、等倍処理フラグレジスタ２０、合成フラグレジスタ２１、領域指定レジスタ２２、復号モード信号２５、出力モード信号２６、8x8IDCTブロック２３、参照画像の復元処理ブロック２４が追加となる。

等倍処理フラグレジスタ２０では、GOP単位での等倍処理の有無が設定される。合成フラグレジスタ２１では、縮小画像の上に等倍画像を重ね合わせて出力するか、等倍画像の
みを出力するかの設定がなされる。出力モード信号２６は、等倍処理フラグと合成フラグにより決定される、縮小画像の上に等倍画像を重ね合わせるか、等倍画像のみ出力するかなどを示す信号である。領域指定レジスタ２２では、等倍処理を行う領域が設定される。これらのレジスタと、現在のMBアドレスにより、復号モードを制御する。復号モードは、復号モード信号２５により指定される。復号モードは、現在のマクロブロックが、縮小画像か等倍画像かによって決定される。

IDCT(逆離散コサイン変換)ブロック２７では、8x8画素処理可能なIDCT回路が必要となる。そのために、8x8IDCTブロック２３が設けられている。PRED(予測画作成)ブロック２８では、縮小画像から取り出した参照画の等倍画像への復元を行う回路（復元処理部２４）が追加される。

可変長符号復号部２９は、ストリームを可変長復号し、シンタックスを取り出すものである。取り出されたシンタックスは、文法解析部３０で解析され、ＤＣＴ係数、ベクトルデータなどが取り出される。逆量子化部３１は、ＤＣＴ係数などを逆量子化し、IDCT部２７に送る。IDCT部２７は、逆量子化されたＤＣＴ係数から、空間領域の画像を復元し、動き補償部３２に送る。動き補償部３２は、ベクトルデータから得られた予測画像動きベクトルを受け取り、画像に動き補償を行って、フレームメモリ３３に入力する。

上記実施形態に加え、以下の付記を開示する。
（付記１）
圧縮符号化された第１解像度の第１解像度画像から、前記第１解像度よりも低い第２解像度の第２解像度画像を生成するダウンデコード装置において、
画像の特定領域を指定する指定手段と、
該特定領域以外の領域について、該第１解像度画像から第２解像度画像を生成する解像度変換手段と、
該特定領域の前記第１解像度画像と、該第２解像度画像とを、出力する出力手段と、
を備えることを特徴とするダウンデコード装置。
（付記２）
該第１解像度画像は、ＭＰＥＧで符号化された動画像の画像であり、前記特定領域の前記第１解像度画像は、Ｉピクチャから取得されることを特徴とする付記１に記載のダウンデコード装置。
（付記３）
該第１解像度画像は、ＭＰＥＧで符号化された動画像の画像であり、前記特定領域の前記第１解像度画像は、すべてのピクチャから生成されることを特徴とする付記１に記載のダウンデコード装置。
（付記４）
前記特定領域の前記第１解像度画像の予測画像を生成する際、該特定領域内の画像を参照する場合には、前のピクチャの該特定領域の前記第１解像度画像を用いて動き補償を行い、該特定領域外の画像を参照する場合には、前のピクチャの前記第２解像度画像を前記第１解像度に復元して、動き補償に用いることを特徴とする付記３に記載のダウンデコード装置。
（付記５）
前記復元は、前記第２解像度画像の画素を複製して、前記第１解像度画像を生成することを特徴とする付記４に記載のダウンデコード装置。
（付記６）
前記復元は、前記第２解像度画像の画素の補間を行って、前記第１解像度画像を生成することを特徴とする付記４に記載のダウンデコード装置。
（付記７）
前記出力手段は、前記特定領域の前記第１解像度画像と、前記第２解像度画像とを重ね
合わせて出力することを特徴とする付記１に記載のダウンデコード装置。
（付記８）
圧縮符号化された第１解像度の第１解像度画像から、前記第１解像度よりも低い第２解像度の第２解像度画像を生成するダウンデコード方法において、
画像の特定領域を指定し、
該特定領域以外の領域について、該第１解像度画像から第２解像度画像を生成し、
該特定領域の前記第１解像度画像と、該第２解像度画像とを、出力する、
ことを特徴とするダウンデコード方法。

第１の実施形態を概略説明する図である。 第２の実施形態を概略説明する図である。 縮小画像と等倍画像の重ね合わせの様子を示す図である。 ２つの実施形態を含む特定領域の等倍復号処理フローである。 縮小画像を等倍サイズへ復元する手法について説明する図である。 本発明の第１及び第２の実施形態の両方を実現可能な回路構成を示すブロック図である。 従来技術の問題点を説明する図（その１）である。 従来技術の問題点を説明する図（その２）である。 従来技術の問題点を説明する図（その３）である。

符号の説明

２０ 等倍処理フラグレジスタ
２１ 合成フラグレジスタ
２２ 領域指定レジスタ
２３ 8x8IDCT部
２４ 復元処理部
２５ 復元モード信号
２６ 出力モード信号
２７ IDCT部
２８ PRED部
２９ 可変長符号復号部
３０ 文法解析部
３１ 逆量子化部
３２ 動き補償部
３３ フレームメモリ

Claims (5)

1. 圧縮符号化された第１解像度の第１解像度画像から、前記第１解像度よりも低い第２解像度の第２解像度画像を生成するダウンデコード装置において、
   画像の特定領域を指定する指定手段と、
   該特定領域以外の領域について、該第１解像度画像から第２解像度画像を生成する解像度変換手段と、
   該特定領域の前記第１解像度画像と、該第２解像度画像とを、出力する出力手段と、
   を備えることを特徴とするダウンデコード装置。
2. 該第１解像度画像は、ＭＰＥＧで符号化された動画像の画像であり、前記特定領域の前記第１解像度画像は、Ｉピクチャから取得されることを特徴とする請求項１に記載のダウンデコード装置。
3. 該第１解像度画像は、ＭＰＥＧで符号化された動画像の画像であり、前記特定領域の前記第１解像度画像は、すべてのピクチャから生成されることを特徴とする請求項１に記載のダウンデコード装置。
4. 前記特定領域の前記第１解像度画像の予測画像を生成する際、該特定領域内の画像を参照する場合には、前のピクチャの該特定領域の前記第１解像度画像を用いて動き補償を行い、該特定領域外の画像を参照する場合には、前のピクチャの前記第２解像度画像を前記第１解像度に復元して、動き補償に用いることを特徴とする請求項３に記載のダウンデコード装置。
5. 前記出力手段は、前記特定領域の前記第１解像度画像と、前記第２解像度画像とを重ね合わせて出力することを特徴とする請求項１に記載のダウンデコード装置。