JP2005252514A

JP2005252514A - デジタル画像信号復号化装置及び復号化方法

Info

Publication number: JP2005252514A
Application number: JP2004058367A
Authority: JP
Inventors: Yukio Hayashi; 幸雄林
Original assignee: Pioneer Electronic Corp
Current assignee: Pioneer Corp
Priority date: 2004-03-03
Filing date: 2004-03-03
Publication date: 2005-09-15
Anticipated expiration: 2024-03-03
Also published as: US20050201459A1; JP4448714B2

Abstract

【課題】圧縮符号化されたデジタル画像信号を復号化する際の解像度変換処理における画質低下を防止する画像復号化装置及び復号化方法を提供する。
【解決手段】インタレース画像の復号化の際に、輝度成分ブロックと色差成分ブロックのそれぞれについて圧縮符号化処理の形式に応じて、ＩＤＣＴ処理のデコード対象とするＤＣＴ係数領域の範囲を変更する。例えば、輝度成分ブロックでフレームＤＣＴ符号化の場合はその垂直成分の低周波及び高周波領域を抽出し、フィールドＤＣＴ符号化の場合はその垂直成分の低周波領域のみを抽出する。また、色差成分ブロックでフレームＤＣＴ符号化の場合はその垂直成分の低周波領域のみを抽出し、フィールドＤＣＴ符号化の場合はその垂直成分の低周波及び高周波領域を抽出する。
【選択図】図５

Description

本発明は、例えば、圧縮符号化されたデジタル画像信号を復号・再生する復号化装置及び復号化方法等に関する。

動画像信号を無線又は有線等の通信媒体を介して伝送する場合、或いはハードディスク等の記録媒体に記憶する場合に、伝送容量や記録容量の関係から動画像信号に符号圧縮処理を施すことが多い。例えば、動画符号化の国際標準規格であるＭＰＥＧ２(Moving Picture Experts Group 2)等の符号圧縮処理においては、離散余弦変換（Discrete Cosine Transform；以下“ＤＣＴ”と称する）による圧縮符号化処理が規定されている。ＤＣＴとは、直交変換の一種であって、画像信号に含まれる空間周波数についてその低周波項から高周波項に亘り調和解析するものである。ＤＣＴ処理において、画像信号は（８×８）画素分のブロック毎に演算処理が為され各画素毎のＤＣＴ係数が算出される。そして、これらのＤＣＴ係数によるデジタル画像信号のデータストリームが形成され、かかるデジタル画像信号のデータストリームについて伝送処理、或いは記録処理が為される。

一方、ＤＣＴ処理によって圧縮符号化されたデジタル画像信号を復号するには、同信号に含まれるＤＣＴ係数に対して逆離散余弦変換（Inverse Discrete Cosine Transform；以下“ＩＤＣＴ”と称する）を施す必要がある。しかしながら、ＩＤＣＴ処理には多くの演算処理が必要であり、デジタル画像信号の復号化装置におけるハードウェア及びソフトフェア構成上の大きな負担となっている。このため、デジタル画像信号の復号化装置においては、ＩＤＣＴ処理の負担を軽減すべく、ＩＤＣＴ処理の際にデコードの対象とするＤＣＴ係数の削減を行う解像度変換処理が採用される。また、ＨＤＴＶ（高品位テレビジョン）用の高解像度ディスプレイで表示される画像信号を通常の低解像度ディスプレイで表示する際に、ＨＤＴＶ仕様のデジタル画像信号に含まれるＤＣＴ係数を削減する解像度変換処理を行うことがある。

従来、このような解像度変換処理として、例えば、特許文献１乃至３、及び非特許文献１に記載されるような様々の技術が開示されている。従来技術の一例として、非特許文献１に記載の解像度変換処理を図１に基づいて説明する。図１の左側に示されるマトリクスは、（８×８）画素分のＤＣＴ係数が記憶されたブロックを表すものであり、同ブロックの左上隅が当該画像信号に含まれる直流成分を表し、同ブロックの水平方向右側、或いは垂直方向下側に移るほどその高周波成分を表すＤＣＴ係数が記憶さている。

なお、圧縮符号化されたデジタル画像信号では、例えば、輝度信号（Ｙ信号）について同ブロックが４つと、色差信号（Ｃｂ及びＣｒ信号）について同ブロックが２つの組合せをもって（１６×１６）画素分の情報を示すマクロブロックが形成されるものとする。そして、かかるマクロブロックの集合によって１画面分の画像データが形成され、これらのマクロブロックは、デジタル画像信号のデータストリームに重畳されて時系列的に伝送、或いは記憶される。

図１に示される事例は、（８×８）画素分のＤＣＴ係数をその水平及び垂直方向共に半分の画素数に解像度変換する場合を例示しており、変換の対象となるデジタル画像がプログレッシブ画像であるか、或いはインタレース画像であるかによって解像度変換処理を異ならしめている。ここで、プログレッシブ画像とは、画面の上から下に向けて水平ラインを順次走査して生成された画像信号による画像を言い、インタレース画像とは、いわゆる飛び越し走査画像と呼ばれるものであり、奇数番目と偶数番目の走査ラインを別々に纏めてこれを交互に表示することにより画像信号とするものを言う。

図１の事例において、解像度変換を行う場合、先ず、デジタル画像信号のヘッダー部に含まれる制御情報の解析を行う。そして、プログレッシブ画像と判定された場合は、図１の点線に示される如く、同ブロックにおけるＤＣＴ係数の内その低周波成分のみを抽出してこれをＩＤＣＴ処理のデコード対象とする（図１右上）。これは、ＤＣＴ係数の低周波成分に画像信号の基本波成分が含まれているので、その低周波成分のみを抽出することにより低解像度画像に必要とされる情報が得られるためである。一方、インタレース画像と判定された場合は、図１の一点鎖線に示される如く、ブロックの水平方向に関してはその低周波成分のみをデコードの対象とし、その垂直方向に関してはライン毎に異なるフィールドの情報が含まれているため、低周波成分の一部と高周波成分の一部を併せてデコードの対象とする（図１右下）。
特開平６−２２２９１号公報特開２０００−１６５８８５号公報特開２０００−１６５８７１号公報『ＶＬＩＷ型メディアプロセッサを用いたＭＰＥＧ２オールフォーマットビデオデコーダ』（映像情報メディア学会誌Ｖｏｌ．５６，ｐ８０４−ｐ８１３，２００２）

本発明が解決しようとする課題には、圧縮符号化されたデジタル画像信号のＤＣＴ係数削減による解像度変換に伴う画質低下を軽減する画像復号化装置、及び復号化方法の提供が一例として挙げられる。

請求項１に記載の発明は、複数の隣接画素データからなる単位画像ブロックを離散余弦変換処理して得られたＤＣＴ係数群の２次元配列であるデータブロックを含むデジタル画像信号を復号するデジタル画像信号復号化装置であって、前記データブロック内の部分領域を選択して前記部分領域内に含まれる前記ＤＣＴ係数群を抽出する抽出手段と、当該抽出されたＤＣＴ係数群に対して逆離散余弦変換による復号処理を施して前記単位画像ブロックに含まれる画素データを再生する復号化手段と、を含むことを特徴とする。

また、請求項８に記載の発明は、複数の隣接画素データからなる単位画像ブロックを離散余弦変換処理して得られたＤＣＴ係数群の２次元配列であるデータブロックを含むデジタル画像信号を復号するデジタル画像信号復号化方法であって、前記データブロック内の部分領域を選択して前記部分領域内に含まれる前記ＤＣＴ係数群を抽出するステップと、当該抽出されたＤＣＴ係数群に対して逆離散余弦変換による復号処理を施して前記単位画像ブロックに含まれる画素データを再生するステップと、を含むことを特徴とする。

本発明に基づくデジタル画像信号復号化装置の実施例を図２に示す。なお、同装置は、ビデオデコーダやデジタル放送用チューナ、或いは壁掛型テレビ等のビデオ機器に内蔵される構成としても良いし、若しくはこれらの機器にアダプターとして付加される構成としても良い。

同図に示される如く、デジタル画像信号復号化装置１０は、主に、可変長復号化回路１１、逆量子化回路１２、逆離散余弦変換回路１３、動き補償回路１４、及びメモリ回路１５から構成されている。

同装置の動作概要を以下に説明する。先ず、同装置前段の各種回路（図示せず）から、ＭＰＥＧ２等の圧縮符号化が施された画像信号Ｓｉｇ１が可変長復号化回路１１に入力される。同回路では、該信号を解析して同信号に含まれる動きベクトルなどの情報を抽出すると共に、同信号に含まれる画像データ信号を所定フォーマットで抽出して次段の逆量子化回路１２に出力する。逆量子化回路１２では、入力された画像データ信号に対して逆量子化処理を施し、逆量子化された画像信号を次の逆離散余弦変換回路１３に出力する。逆離散余弦変換回路１３では、この入力画像信号についてＩＤＣＴ処理を施して復元画像データを再生する。なお、本発明は、かかる逆離散余弦変換回路１３における解像度変換処理に関するものである。その後、動き補償回路１４は、逆離散余弦変換回路１３から出力される復元画像データに、メモリ回路１５に記憶されている参照画像データと前記可変長復号化回路１１から供給される動きベクトルを用いて動き補償処理を行う。そして、動き補償が施された復元画像信号Ｓｉｇ２は、同回路の後段に接続された各種回路（図示せず）に出力される。

なお、図２中に記載された矢印は、上記各構成要素間の主要な信号の流れを示すものであり、例えば、かかる主要信号に付随する応答信号や監視信号等の信号に関しては、図中の矢印と逆方向の向きに伝達される場合もある。さらに、図中の矢印は、各構成要素間における信号の概念的な流れを示すものであって、実際の装置内において各信号が矢印で示される経路の通りに忠実に授受される必要はない。

次に、本発明に基づく逆離散余弦変換回路１３における解像度変換処理についての説明を行う。本発明のポイントは、解像度変換処理の際に、画像信号がインタレース画像の場合に当該画像信号に施されたＤＣＴ符号化処理の種別に応じて、ＩＤＣＴ処理のデコード対象とするＤＣＴ係数の範囲を調整するようにしたものである。

すなわち、インタレース画像におけるＭＰＥＧ２のＤＣＴ処理では、マクロブロック単位でフレームＤＣＴ符号化とフィールドＤＣＴ符号化の何れかを選択して圧縮符号化処理が為される。そして、画像信号のデータストリーム中に含まれる各マクロブロックのヘッダー部に、当該マクロブロックについて如何なる圧縮符号化が選択されたかを示すフラグが付与される。但し、このような圧縮符号化処理の選択は、マクロブロックに含まれる輝度成分ブロックのみ適用され、色差成分ブロックに関してはフレームＤＣＴ符号化のみが為される。なお、フレームＤＣＴ符号化の様子を図３に、フィールドＤＣＴ符号化の様子を図４に示す。一般に、マクロブロック垂直方向の周波数成分が低域内に収まっている場合には、図３に示されるフレームＤＣＴ符号化が選択され、周波数成分が高域まで伸びている場合には、図４に示されるフィールドＤＣＴ符号化が選択される。つまり、動きの少ない画像では、そのトップフィールドとボトムフィールドとの相関性が高いのでフレームＤＣＴ符号化が採用され、逆に、動きの激しい画像では、トップフィールドとボトムフィールドとの相関性が低いためフィールドＤＣＴ符号化が選択されることになる。

本発明は、かかるＤＣＴ符号化処理の差異に着目し、インタレース画像における解像度変換処理の際に、圧縮符号化処理の形式に応じて、マクロブロックに含まれる輝度成分ブロックと色差成分ブロックの各々について適切なＤＣＴ係数の選択をおこなうものである。

次に、本発明の具体的な処理動作について図５に示されるフローチャートを参照しつつ説明を行う。なお、同フローチャートによるソフトウェア処理は、例えば、所定のタイマーに基づいて定期的に起動されるようにしても良いし、或いは所定の画像信号データストリームを蓄積完了した等の特定イベントの発生に応じて起動されるようにしても良い。

図５のフローチャートに示される処理が起動されると、先ず、ステップＳ１１において、逆離散余弦変換回路１３に入力された画像信号データストリームに含まれるマクロブロックの属性が判定される。因みに、同判定は、前述の如くマクロブロック毎のヘッダー部に含まれる指示フラグをチェックすることにより行われる。

ステップＳ１２において当該ブロックが輝度成分ブロックであると判定された場合はステップＳ１３に移り、さらに同ヘッダー部を解析することによって、同ブロックに施された圧縮符号化処理がフレームＤＣＴ符号化であるか否かが判断される。

ステップＳ１３においてフレームＤＣＴ符号化であると判断された場合は、解像度変換処理において、次のステップＳ１４の「ＤＣＴ係数選択処理１」が実行される。一方、ステップＳ１３において同ブロックに施された符号化処理がフレームＤＣＴ符号化ではない、即ちフィールドＤＣＴ符号化であると判断された場合は、解像度変換処理においてステップＳ１５の「ＤＣＴ係数選択処理２」が実行される。

ここで、ＤＣＴ係数選択処理１及び２の概要を図６に基づいて説明する。なお、同図は、ＩＤＣＴ処理においてデコード対象とするＤＣＴ係数の領域を垂直方向の解像度について半分にする場合の事例を示している。

インタレース画像における輝度成分ブロックでは、フレームＤＣＴ符号化処理によって符号化された場合、前述の説明で明らかな如く、その垂直方向についてライン毎に異なるフィールドの情報が含まれる。それ故、ステップＳ１４のＤＣＴ係数選択処理１において、図６の一点鎖線に示す如く、垂直方向に関しては、その低周波成分の一部と高周波成分の一部を抽出してＩＤＣＴ処理のデコードの対象とする（図６右下）。また、当該輝度ブロックがフィールドＤＣＴ符号化処理によって符号化されていた場合、垂直方向に関しては、ライン毎に同じフィールド情報が含まれているため、図６の点線に示す如く、その低周波成分のみをＩＤＣＴ処理におけるデコードの対象とする（図６右上）。

一方、フローチャートのステップＳ１２において、対象とするブロックが輝度成分ブロックではないと判定された場合はステップＳ１６に移る。この場合、当該ブロックは色差成分ブロックに該当する訳であるが、前述の如く、色差成分ブロックについてはフレームＤＣＴ符号化のみで圧縮符号化処理が為されている。それ故、ステップＳ１６では、当該色差成分ブロックと同一のマクロブロック内に含まれる輝度成分ブロックについての符号化情報が利用される。即ち、当該色差成分ブロックに対応する輝度成分ブロックにフレームＤＣＴ符号化が施されている場合にはステップＳ１８の「ＤＣＴ係数選択処理３」が実行され、それ以外の場合、即ちフィールドＤＣＴ符号化が施されている場合にはステップＳ１９の「ＤＣＴ係数選択処理４」が実行される。

ここで、ＤＣＴ係数選択処理３及び４の概要を図７に基づいて説明する。なお、同図は、ＩＤＣＴ処理においてデコード対象とするＤＣＴ係数の領域を垂直方向の解像度について半分にする場合の事例を示している。

先ず、輝度成分ブロックがフレームＤＣＴ符号化処理によって符号化されている場合は、その垂直方向についての相関性が高い。それ故、ステップＳ１８の「ＤＣＴ係数選択処理３」においては、図７の点線に示す如く、同輝度成分ブロックに対応する色差成分ブロックの低周波成分のみをデコードの対象とする（図７右上）。一方、輝度成分ブロックにフィールドＤＣＴ符号化が施されている場合は、垂直方向の相関性が低いので、ステップＳ１９の「ＤＣＴ係数選択処理４」において、図７の一点鎖線に示す如く、同輝度成分ブロックに対応する色差成分ブロックの低周波成分の一部と高周波成分の一部を抽出してデコードの対象とする（図７右下）。

以上に説明した如く、本実施例は、複数の隣接画素データからなる単位画像ブロックを離散余弦変換処理して得られたＤＣＴ係数群の２次元配列であるデータブロックを含むデジタル画像信号を復号するデジタル画像信号復号化装置であって、前記データブロック内の部分領域を選択して前記部分領域内に含まれる前記ＤＣＴ係数群を抽出する抽出手段と、当該抽出されたＤＣＴ係数群に対して逆離散余弦変換による復号処理を施して前記単位画像ブロックに含まれる画素データを再生する復号化手段、に相当する逆離散余弦変換回路１３を含んでいる。

また、本実施例は、複数の隣接画素データからなる単位画像ブロックを離散余弦変換処理して得られたＤＣＴ係数群の２次元配列であるデータブロックを含むデジタル画像信号を復号するデジタル画像信号復号化方法であって、前記データブロック内の部分領域を選択して前記部分領域内に含まれる前記ＤＣＴ係数群を抽出するステップと、当該抽出されたＤＣＴ係数群に対して逆離散余弦変換による復号処理を施して前記単位画像ブロックに含まれる画素データを再生するステップ、相当するステップＳ１１乃至Ｓ１９を含んでいる。

したがって、本実施例によれば、デジタル画像信号復号化装置、若しくはデジタル画像信号復号化方法におけるインタレース画像のＩＤＣＴ処理において、輝度成分ブロックと色差成分ブロックの各々に対するデコード対象とされるＤＣＴ係数の領域を、圧縮符号化処理の形式に応じて適宜選択することができる。これによって、ＩＤＣＴ処理時の演算処理を簡易化できると共に、解像度変換に伴う画質低下を低減させることが可能となる。

なお、以上に説明した実施例においては、輝度成分ブロック、及び色差成分ブロック共に、その垂直方向の解像度を半分にする場合のＤＣＴ係数の抽出例を示したが、本発明の実施はかかる事例に限定されるものではない。例えば、各ブロックの垂直及び水平方向のそれぞれについて解像度を半分にする場合の実施例を図８及び図９に示す。

因みに、図８は、輝度成分ブロックに対する処理の事例を示すものであり、前記図６の水平方向についての解像度を半分にする場合を示している。また、図９は、色差成分ブロックに対する処理の例を表すものであり、前述の図７において更に水平方向についての解像度を半分にする場合を示している。なお、図８、９からも明らかなように、これらの処理においては、その垂直方向に関しては前記実施例と同様の処理がなされ、水平方向に関しては低域成分のＤＣＴ係数のみがデコードの対象とされる。なお、かかる実施例におけるハードウェア構成、及びソフトウェア構成は、前記実施例と同様であるのでその記載並びに説明は省略する。

図１は、従来技術による解像度変換処理の様子を示す説明図である。図２は、本発明によるデジタル画像信号復号化装置の構成例を示すブロック図である。図３は、フレームＤＣＴ符号化処理の様子を示す説明図である。図４は、フィールドＤＣＴ符号化処理の様子を示す説明図である。図５は、本発明による処理動作の概要を示すフローチャートである。図６は、図５におけるＤＣＴ係数選択抽出処理１及び２の概要を示す説明図である。図７は、図５におけるＤＣＴ係数選択抽出処理３及び４の概要を示す説明図である。図８は、本発明の他の実施例によるＤＣＴ係数選択抽出処理１及び２の概要を示す説明図である。図９は、本発明の他の実施例によるＤＣＴ係数選択抽出処理３及び４の概要を示す説明図である。

符号の説明

１０デジタル画像信号復号化装置
１１可変長復号化回路
１２逆量子化回路
１３逆離散余弦変換回路
１４動き補償回路
１５メモリ回路

Claims

複数の隣接画素データからなる単位画像ブロックを離散余弦変換処理して得られたＤＣＴ係数群の２次元配列であるデータブロックを含むデジタル画像信号を復号するデジタル画像信号復号化装置であって、
前記データブロック内の部分領域を選択して前記部分領域内に含まれる前記ＤＣＴ係数群を抽出する抽出手段と、
当該抽出されたＤＣＴ係数群に対して逆離散余弦変換による復号処理を施して前記単位画像ブロックに含まれる画素データを再生する復号化手段と、を含むことを特徴とするデジタル画像信号復号化装置。
前記データブロックは、前記単位画像ブロックの輝度成分に関するＤＣＴ係数群が記憶された輝度成分データブロックであることを特徴とする請求項１に記載のデジタル画像信号復号化装置。
前記抽出手段は、前記離散余弦変換処理がフレームＤＣＴ符号化処理の場合に、前記部分領域として前記輝度成分データブロック内の水平及び垂直方向共にその低周波領域を選択することを特徴とする請求項２に記載のデジタル画像信号復号化装置。
前記抽出手段は、前記離散余弦変換処理がフィールドＤＣＴ符号化処理の場合に、前記部分領域として前記輝度成分データブロック内の水平方向についてその低周波領域と垂直方向についてその低周波領域及び高周波領域を選択することを特徴とする請求項２に記載のデジタル画像信号復号化装置。
前記データブロックは、前記単位画像ブロックの色差成分に関するＤＣＴ係数群が記憶された色差成分データブロックであることを特徴とする請求項１に記載のデジタル画像信号復号化装置。
前記抽出手段は、前記離散余弦変換処理がフィールドＤＣＴ符号化処理の場合に、前記部分領域として前記色差成分データブロック内の水平及び垂直方向共にその低周波領域を選択することを特徴とする請求項５に記載のデジタル画像信号復号化装置。
前記抽出手段は、前記離散余弦変換処理がフレームＤＣＴ符号化処理の場合に、前記部分領域として前記色差成分データブロック内の水平方向についてその低周波領域と垂直方向についてその低周波領域及び高周波領域を選択することを特徴とする請求項５に記載のデジタル画像信号復号化装置。
複数の隣接画素データからなる単位画像ブロックを離散余弦変換処理して得られたＤＣＴ係数群の２次元配列であるデータブロックを含むデジタル画像信号を復号するデジタル画像信号復号化方法であって、
前記データブロック内の部分領域を選択して前記部分領域内に含まれる前記ＤＣＴ係数群を抽出するステップと、
当該抽出されたＤＣＴ係数群に対して逆離散余弦変換による復号処理を施して前記単位画像ブロックに含まれる画素データを再生するステップと、を含むことを特徴とするデジタル画像信号復号化方法。