JP2012514394A - 輝度と色差で構成された色空間の画像に対するチェッカーボードモザイクを用いた画像圧縮 - Google Patents

Abstract

例えばＹＣｂＣｒのようなサブサンプリングされた色差データを有する、輝度と色差で構成された色空間画像に対し、チェッカーボードパターンの空間的圧縮を施した際に、画像の加工痕が出現しうる。この加工痕は、輝度画素に対するパターンとは異なるチェッカーボードパターンを色差画素に対して用いることによって回避される。
【選択図】図４

Description

本発明は、チェッカーボードパターンに従い画素を除去することに関連した画像の空間的圧縮に関する。

画像伝送の際にデータ保存容量と帯域の使用量を抑制するため、画像圧縮は重要である。

ビデオ圧縮ではクインカンクスまたはチェッカーボード画素間引きが知られている。米国特許出願公開第２００３／０２２３４９９号明細書によれば、立体映像ビデオの立体画像の対が、画素をチェッカーボードパターンに除去した後にそのチェッカーボードパターンを水平方向に崩すことによって圧縮される。二つの水平に崩された画像は一つの標準画像フレーム内で並列して配置され、従来の画像圧縮（例えばＭＰＥＧ２）が施される。そして、解凍された標準画像フレームは更なる復号処理によってチェッカーボードパターンに展開され、抜けている画素は空間的に補間される。

米国特許出願公開第２００３／０２２３４９９号明細書

チェッカーボードパターンの空間的圧縮を、例えばＹＣｂＣｒのような輝度・色差で構成された空間画像に施したときに現れる画像の加工痕は、輝度画素に用いられたチェッカーボードパターンと異なるチェッカーボードパターンを色差画素に用いることによって回避できることが判明した。このような画像は輝度チャネルに対しては画素の空間的にフル解像度で符号化されるが、色差画素、すなわちＣｂやＣｒは奇数行の画素に対して符号化される。例えば、青と赤の色差データの解像度を輝度に対して半分とした場合、これを４：２：２符号化と呼ぶ。４：２：０や４：１：１など、色差データをさらに減少させる他の符号化方法も知られている。４：４：４との表現は一般に、輝度と色差データの解像度が等しい場合に用いられる。輝度チャネルにおいてフル解像度が維持されていれば、色差チャネルにおいてハーフ解像度が用いられても人間の眼は色の解像度の低下をほとんど知覚しないことが判っている。ＹＣｂＣｒソース画像の画素の偶数行成分は、すぐに表示可能な完全な画像を生成するためには、それに先行する奇数行の画素の単なる繰り返しとするか、または隣接する奇数行の画素から補間される。輝度画素に対するものと同じチェッカーボードパターンを用いた場合、当該パターンが保持している色差画素は、オリジナルのソース画像の画素ではなく、補間された、または繰り返された画素である場合がある。この場合、空間的に圧縮された画素のチェッカーボードパターンを画像全体の再現に用いると、視認可能な加工痕が現れることになる。色差画素に対する異なったパターンとは、補間された、または繰り返された画素ではなく、オリジナルの画素、例えば奇数行の画素のチェッカーボードパターンであることが好ましい。

本発明は、添付の図面を参照して以下で詳述する本発明の実施の形態を通じ、よりよく理解されるであろう。

従来技術による、画像ブロックのフル解像度状態の輝度画素を示す。 図１Ａの画像ブロックにチェッカーボード画素間引きを施した状態を示す。 図１Ｂの間引きされた画素に対し補間された値を示す。 従来技術による、例えば４：２：２画像からサブサンプリングされた色差画素の画像ブロックを示す。 図２Ａの画像ブロックをフル解像度に補間した状態を示す。 図２Ｂの画像ブロックを、輝度画素に対するものと同じチェッカーボードパターンを用いて間引きした状態を示す。 図２Ｃの画像ブロックを、従来技術により色差のサブサンプリング、すなわち４：２：２フォーマットに間引きして戻した状態を示す。 図２Ｄの画像ブロックに対し、チェッカーボード画素パターンを生成するため４：２：２から４：４：４への変換により画素補間した状態を示す。 図２Ｅに示す画素から色差画素をすべて復元した状態を示す。 図２Ｅのチェッカーボードパターンに存在しない画素を図２Ｅの画素から補間した、オリジナルの色差をサブサンプリングした画素パターンの画像ブロックを示し、斜線部分は図２Ａのソース画像に対する画素エラーを示す。 図２Ａの画像ブロックから、オリジナルの画素のチェッカーボードパターンに従い画素を間引きした状態を示す。 図２Ａの色差のサブサンプリングフォーマットを復元するため図３Ａの間引きされた画素を補間した状態を示し、斜線部分は図２Ａのソース画像に対する画素エラーを示す。 本発明の実施形態による符号化装置のブロック図である。 本発明の実施形態による復号装置のブロック図である。

以下に述べる本発明の実施形態においては、４：２：２圧縮によるＹＣｂＣｒ色空間フォーマットを例として説明する。この場合、オリジナルの各ソース画素はソース画像に規定された輝度、すなわち明るさの値を有しているが、偶数行のＣｂおよびＣｒ画素は除外されている。このような画像をＲＧＢ表示信号に変換する場合、偶数行のＣｂおよびＣｒ画素に対してはその前の奇数行の値が繰り返されるか、他の奇数行のＣｂおよびＣｒ画素から補間されることになり、偶数行のＲ、Ｇ、Ｂの値には偶数行の画素の個々の輝度の値が用いられる。ＹＣｂＣｒ表示出力を生成する場合、ソース画像から欠落している偶数行のＣｂおよびＣｒ画素は補間されるが、この際にも、単純な繰り返しか空間的補間が用いられる。本発明は、さまざまな色差のサブサンプリングフォーマットに適用可能であることが、理解されるであろう。

図２Ｂでは、図２ＡのＹＣｂＣｒ画像のソースの色差成分が復元され、偶数行・奇数行双方の色差画素が含まれている。この画像を図１Ｂの輝度画素に用いたチェッカーボードパターンを用いて符号化する場合、チェッカーボードパターン内の画素はそのまま保持され、その他の画素が間引きされる。図２Ｃに示すように、奇数行はオリジナルのＣｂおよびＣｒ画素で構成され、一方偶数行は補間されたＣｂおよびＣｒ画素のみで構成されている（補間された画素には下線を付す）。４：２：２フォーマットに合致させるには、符号化された画像は色差画素の２倍の数の輝度画素を含まねばならず、したがって保持された色差画素の半数が図２Ｄに示すように間引きされ、符号化のための画素として用いられている。これらの色差画素は、単一の平面視ビデオデータフレームの色差チャネル内に左目用と右目用の立体視画像の対を保存するため、並列もしくは上下に連鎖したフレームフォーマットに再編成することが可能である。

図２Ｄのように符号化された画像がオリジナルの４：４：４チェッカーボードパターン（図２Ｅ）に復元（すなわち復号）され、欠落している画素が補間されると（図２Ｆ）、偶数行の色差画素は、補間された画素を補間した画素（二重下線で示す）に基づく奇数行の画素と、補間されたオリジナルの画素に基づく偶数行の画素で構成される。二重下線を付した画素は、それ自体がオリジナルの画素の持つ値で補間された値を有する隣接する画素に基づいて補間されたものである。奇数行の色差画素がオリジナルであり偶数行の色差画素がオリジナルの画素から補間されたものである奇数行と比較すると、奇数行と偶数行との間で色差画素に大きな違いがある。この違いによって、多くの場合画像上に顕著な加工痕が現れることになる。

出力に対しても４：２：２フォーマットが望まれる場合があり、図２Ｇは４：２：２の色差画素を含む画像ブロックを示す。斜線を付した画素が、図２Ａのオリジナルの画素に対してエラーとなっている画素である。

図３Ａでは、図２Ａの画像ブロックが、ソースの色差画素のチェッカーボードパターンを用いて間引きされている。もしこの処理が、図２Ｂのように偶数行および奇数行双方のＣｂおよびＣｒ画素を含むように復元されたソースのＹＣｂＣｒ画像に対してなされるならば、ソースの画素はこのパターン内で用いられる。この実施形態においては、欠落している色差画素を補間する必要がないことが理解されるであろう。チェッカーボードパターンを用いてこの画像を符号化するには、最初のチェッカーボードパターン（図１Ｂのものと同じ）内の輝度画素が保持され、その他の画素が間引きされる。色差画素に対しては、異なったチェッカーボードパターンが用いられる。色差のチェッカーボードパターンは、補間された色差画素を含まないオリジナルの色差画素に基づくものである。

図３Ａに示すように、奇数行は奇数行の輝度画素と同じ画素位置にあるオリジナルのＣｂおよびＣｒ画素で構成されているが、偶数行は偶数行の輝度画素に隣接するオリジナルの色差画素で構成されている。色差チェッカーボードパターンの解像度は既に輝度チェッカーボードパターンの解像度の半分であるので、保持されていた画素を、４：２：２フォーマットを維持するためにさらに間引きする必要はない。

図３Ａのこれらの色差画素は、単一の平面視ビデオデータフレームの色差チャネル内に左目用と右目用の立体画像の対を保存するため、並列もしくは上下に連鎖したフレームフォーマットに再編成することが可能である。この符号化された画像がオリジナルのチェッカーボードパターンに復元（復号）され欠落している画素が補間された場合、色差画素は、オリジナルの画素か、またはオリジナルの画素から補間されたものである。本実施形態においては、復号された画像の奇数行と偶数行との間に見かけ上の差異は本質的に存在しない。

欠落している画素の補間は、図２Ｄの場合に比べ図３Ａの場合のほうがずっと効率的である。なぜなら、図３Ａの各画素が縦方向に二つのオリジナルの画素に直接隣接し、横方向に２行おきに二つのオリジナルの画素を有しているからである。４：２：２画像を復元するための演算回数も、図２Ｇの状態を形成するのに比べ図３Ｂの場合は少なくなる。

図３Ｂでは、復元された色差画像は、サブサンプリングされた画像ブロック内に、図２Ａのオリジナルの画像ブロックに対してエラーを含む３個の画素を有する。９個のエラーを含む画素がある図２Ｇと比較すればその差は歴然である。当然、サブサンプリングされた画像ブロック内のエラーである画素の一つ一つが、フル解像度の色差画像ブロック内の隣接する補間された画素にそのエラーを送達することになる。

また、図３Ｂの画像が４：４：４解像度に復元された場合、図３Ａの欠落している各画素を、直接隣接しているオリジナルの画素から正確に計算することが可能であることも、理解されるであろう。どの画素についても、それ自体補間された隣接する画素の値に基づいて計算する必要はない。なぜなら、正確に補間をおこなうのに充分な隣接するオリジナルの画素が存在するからである。

図４に示す実施形態では、色差をサブサンプリングされたビデオデータの符号化装置は、左目および右目画像バッファと、二つの画素間引き装置を有する。画素間引き装置の一つは、フル解像度のソース輝度画素の正規のチェッカーボードパターンを保持する機能を有し、もう一つはソースの色差画素を水平方向に伸張したフルよりも低い解像度のチェッカーボードパターンを保持する機能を有するが、保持された画素中には、補間された画素を含まない。間引き装置は双方のバッファから読み出し、バッファ間で交互におこなわれる間引き処理を受け持つよう構成されている。これに限らず、右目と左目の経路のそれぞれに別々の間引き装置を設けてもよい。フレーム合成回路は、間引きされた画像を、典型的にはＭＰＥＧ圧縮、また保存や伝送のため出力できるよう、並列合成フォーマットに配列する。この合成処理には、出力フレームの解像度を満たすよう画素を構成することも含まれる。合成フレームの配列方法は他にもあり得ることが理解できるであろう。また、「左目用」および「右目用」のソースは一緒に保存または伝送可能な関連のないソースであってもよく、単一のソースのシーケンスが交互に繰り返されるフィールドまたはフレームであってもよいことが理解できるであろう。上記の実施形態においては画像のソースは４：２：２フォーマットで構成されているが、他のフォーマットも可能である。

図５に示す実施形態では、復号装置は二つの補間装置を備え、その一つは輝度画素に対するもので、欠落している画素の補完的なチェッカーボードパターンが画素のチェッカーボードパターンから補間されており、もう一つは色差画素に対するもので、より多くの欠落している画素がソースの色差画素の水平方向に伸張されたチェッカーボードパターンから補間されている。復号装置は補間された画素の値を、図３Ｂに示すような４：２：２解像度が得られるよう演算する。別の実施形態では、復号装置は欠落している画素の値を演算する前に、まず画素をフル解像度の格子状またはマトリクス状に配列させることもできる。間引き装置と同様に、復号装置は左右の画素経路にそれぞれ配されていてもよく、左右双方の画像に対し交互に処理をおこなうようにしてもよい。復号装置の出力は、更なる処理や出力の前にバッファに保存してもよい。復号装置の出力は４：２：２フォーマットであり、色差ビデオデータのフル解像度への変換は表示の前におこなわれることが理解されよう。

図４および図５に示す実施形態は、従来のＦＰＧＡ装置に搭載されている回路を用いて実装可能である。または、画像処理の実行に必要な処理を、ＣＰＵすなわちコンピュータサーバやワークステーションを用いて、ソフトウエアに基づいておこなってもよい。

Claims (15)

1. フル解像度のソース輝度画素とより低い解像度のソース色差画素とを有する色差をサブサンプリングされたビデオデータを、チェッカーボード画素間引きパターンを有するフォーマットにて符号化する方法であって、前記ソース色差画素はフル解像度を実現するためソースでない色差画素を形成するよう補間されることが可能であり、輝度画素の第一のチェッカーボードパターンと、補間されていないソース色差画素の水平方向に伸張された第二のチェッカーボードパターンとを保持することを含む、符号化方法。
2. 前記ビデオデータは立体視ビデオデータであり、前記符号化は圧縮された左目および右目画像が合成されたフレームを形成することを含む、請求項１に記載の符号化方法。
3. 前記フレームは並列に合成された画像を含む、請求項１または２に記載の符号化方法。
4. 前記色差をサブサンプリングしたビデオデータは４：２：２フォーマットで構成されている、請求項１、２または３に記載の符号化方法。
5. フル解像度のソース輝度画素と、前記ソース色差画素がフル解像度を実現するためソースでない色差画素を形成するよう補間されているより低い解像度のソース色差画素とを有するビデオソースから、輝度画素の第一のチェッカーボード間引きパターンと補間されていないソース色差画素の第二のチェッカーボードパターンとを含むフォーマットにて符号化されたビデオデータを復号する方法であって、前記色差をサブサンプリングしたビデオデータを復元するため、輝度画素の第一のチェッカーボードパターンの間引きされた画素を補間し、補間されていないソース色差画素の水平方向に伸張された第二のチェッカーボードパターンの間引きされた画素を補間することを含む、復号方法。
6. 前記ビデオデータは立体視ビデオデータであり、前記符号化は圧縮された左目および右目画像が合成されたフレームを形成することを含む、請求項５に記載の復号方法。
7. 前記フレームは並列に合成された画像を含む、請求項５または６に記載の復号方法。
8. 前記色差をサブサンプリングしたビデオデータは４：２：２フォーマットで構成されている、請求項５、６または７に記載の復号方法。
9. フル解像度のソース輝度画素とより低い解像度のソース色差画素とを有する色差をサブサンプリングしたビデオデータを、チェッカーボード画素間引きパターンを有するフォーマットにて符号化する装置であって：
   フル解像度のソース輝度画素の正規のチェッカーボードパターンを保持するよう構成された第一の画素間引き装置と；
   フル解像度より低い解像度のソース色差画素の水平方向に伸張されたチェッカーボードパターンを、保持された画素に補間された画素を含めることなく保持するよう構成された第二の画素間引き装置とを備える、符号化装置。
10. 請求項９に記載の符号化装置であって：
    左目用画像バッファと；
    右目用画像バッファと；
    前記第一および前記第二の画素間引き装置の前記保持された画素を、左目／右目並列合成フレームフォーマットにて合成するよう構成された画像合成回路をさらに備え、
    前記第一および前記第二の画素間引き装置は、前記右目用バッファおよび前記左目用バッファから画像データを受信する、符号化装置。
11. 前記ビデオデータは４：２：２フォーマットで構成されている、請求項９に記載の符号化装置。
12. フル解像度のソース輝度画素と、より低い解像度のソース色差画素とを有するビデオソースから、ソース輝度画素の第一のチェッカーボード間引きパターンと補間されていないソース色差画素の第二のチェッカーボード間引きパターンとを含むフォーマットにて符号化されたビデオデータを復号する装置であって：
    フル解像度の輝度画素を生成するため、ソース画素の正規のチェッカーボードパターンから、欠落している画素の補完的チェッカーボードパターンを補間するよう構成された第一の画素補間装置と；
    前記ソース色差画素の水平方向に伸張されたチェッカーボードパターンから、より多くの欠落している画素を補間するよう構成された第二の画素補間装置とを備える、復号装置。
13. 請求項１２に記載の復号装置であって、
    左目用画像バッファと、
    右目用画像バッファとをさらに備え、
    前記第一および前記第二の画素補間装置は、画素データを前記右目用および前記左目用バッファに保存する、復号装置。
14. 前記復号されたビデオデータは４：２：２フォーマットで構成されている、請求項１２または１３に記載の復号装置。
15. 前記復号されたビデオデータは４：４：４フォーマットで構成されている、請求項１２または１３に記載の復号装置。

Images