JP2011139510A - 符号化装置および符号化方法 - Google Patents
符号化装置および符号化方法 Download PDFInfo
- Publication number
- JP2011139510A JP2011139510A JP2011043074A JP2011043074A JP2011139510A JP 2011139510 A JP2011139510 A JP 2011139510A JP 2011043074 A JP2011043074 A JP 2011043074A JP 2011043074 A JP2011043074 A JP 2011043074A JP 2011139510 A JP2011139510 A JP 2011139510A
- Authority
- JP
- Japan
- Prior art keywords
- data
- circuit
- prediction
- encoding
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【解決手段】 下位レイヤ符号化回路12において、インタレース画像データS10_2を符号化して下位符号化データS12を生成する。変換回路13において、下位レイヤ符号化回路12が生成した下位予測画像データL_PREを補間(アップサンプル)処理して、プログレッシブ画像データS10_1と同じ解像度(走査線数)の下位予測画像データL_PREbを生成する。上位レイヤ符号化回路14は、下位予測画像データL_PREbを基に、プログレッシブ画像データS10_1を符号化する。そのことを表すフラグデータを生成する。
【選択図】 図2
Description
SVCの符号化装置では、入力画像は、画像階層化回路により、例えば、上位レイヤおよび下位レイヤの2つの階層に分離される。その後、上位レイヤ符号化回路で上位レイヤを符号化し、下位レイヤ符号化回路が下位レイヤを符号化する。そして、符号化した上位レイヤと下位レイヤとを多重化して伝送する。
下位レイヤはベースレイヤとも呼ばれ、画質の低い階層である。下位レイヤのビットストリームのみを復号した場合、比較的画質の低い画像が復号される。下位レイヤはまた画質としてより重要な情報を含んでいる。
上位レイヤは、エンハンスメントレイヤとも呼ばれ、画質を改善し、高画質な画像を復号するための階層である。下位レイヤのビットストリームに追加して上位レイヤのビットストリームを復号した場合、より高画質な画像を復号することが可能である。
上述した符号化装置では、上位レイヤ符号化回路において、イントラ符号化を行う場合に、下位レイヤ符号化回路で符号化した後に復号した復号画像を予測画像として用いることができる。
しかしながら、上位レイヤにおいてプログレッシブ画像データを符号化し、下位レイヤにおいてインタレース画像データを符号化したいという要請がある。
先ず、本実施形態の構成と本願で開示する主な発明の構成との関係を説明する。
符号化装置2が符号化装置の一例であり、符号化装置2の機能を図19に示すプログラムPRGで記述した場合にプログラムPRGが符号化のプログラムの一例である。
図2に示す下位レイヤ符号化回路12が第1の符号化手段の一例であり、変換回路13がアップサンプル手段の一例であり、上位レイヤ符号化回路14が第2の符号化手段の一例である。
図15に示す下位レイヤ復号回路53が第1の復号手段の一例であり、変換回路54がアップサンプル手段の一例であり、上位レイヤ復号回路55が第2の復号手段の一例である。
図1に示すように、通信システム1は、送信側に設けられた符号化装置2と、受信側に設けられた復号装置3とを有する。
受信側では、復号装置3において受信した画像信号を復調した後に、上記変調時の直交変換の逆変換と動き補償によって伸張したフレーム画像データを生成して利用する。
なお、上記伝送媒体は、光ディスク、磁気ディスクおよび半導体メモリなどの記録媒体であってもよい。
そして、下位レイヤ符号化回路12において、インタレース画像データS10_2を符号化して下位符号化データS12を生成する。
また、変換回路13において、下位レイヤ符号化回路12が生成した下位予測画像データL_PREを補間(アップサンプル)処理して、プログレッシブ画像データS10_1と同じ解像度(走査線数)の下位予測画像データL_PREbを生成し、これを上位レイヤ符号化回路14に出力する。
上位レイヤ符号化回路14は、下位予測画像データL_PREbを基に、プログレッシブ画像データS10_1を符号化して上位符号化データS14を生成する。
以下、図1に示す符号化装置2について説明する。
図2は、図1に示す符号化装置2の全体構成図である。
図2に示すように、符号化装置2は、例えば、階層化回路10、遅延回路11、下位レイヤ符号化回路12、変換回路13、上位レイヤ符号化回路14および多重化回路15を有する。
[階層化回路10]
階層化回路10は、図3に示すように、符号化対象の画像データS9を基に、プログレッシブ画像データ(プログレッシブ信号)S10_1と、インタレース画像データS10_2とを生成する。
階層化回路10は、上記生成したプログレッシブ画像データS10_1を構成するピクチャデータFR1〜6...の各々を遅延回路11に書き込む。
プログレッシブ画像データS10_1は、例えば、60フレーム/sec(60p)である。
また、階層化回路10は、上記生成したインタレース画像データS10_2を構成するピクチャデータFI1〜6...を下位レイヤ符号化回路12に出力する。
インタレース画像データS10_2は、例えば、60フィールド/sec(60i)である。
遅延回路11は、階層化回路10から入力したプログレッシブ画像データ(プログレッシブ信号)S10_1を構成する各ピクチャデータを、例えば、下位レイヤ符号化回路12および変換回路13における処理時間だけ遅延して上位レイヤ符号化回路14に出力する。
下位レイヤ符号化回路12は、階層化回路10から入力したインタレース画像データS10_2を符号化して下位符号化データS12を生成し、これを多重化回路15に出力する。
また、下位レイヤ符号化回路12は、上記符号化において、下位予測画像データL_PREを生成し、これを変換回路13に出力する。
図4に示すように、下位レイヤ符号化回路12は、例えば、画面並べ替え回路23、演算回路31、直交変換回路32、量子化回路33、レート制御回路34、可逆符号化回路35、バッファメモリ36、逆量子化回路37、逆直交変換回路38、加算回路39、デブロックフィルタ40、フレームメモリ41、イントラ予測回路42、並びに動き予測・補償回路43を有する。
演算回路31は、画面並べ替え回路23から入力した符号化対象のピクチャデータを、イントラ予測回路42あるいは動き予測・補償回路43から入力した予測画像データPIとの差分を示す画像データを生成し、これを直交変換回路32に出力する。
直交変換回路32は、演算回路31から入力した画像データに離散コサイン変換(DCT:Discrete Cosine Transform)やカルーネン・レーベ変換などの直交変換を施して変換係数を示す画像データ(例えばDCT係数)を生成し、これを量子化回路33に出力する。
レート制御回路34は、例えば、バッファメモリ36から読み出した画像データを基に量子化スケールQSを生成し、これを量子化回路33に出力する。
可逆符号化回路35は、量子化回路33から入力した画像データを可変長符号化した画像データをバッファメモリ36に格納する。
また、可逆符号化回路35は、動き予測・補償回路43から入力した動きベクトルMVあるいはその差分動きベクトル、参照画像データの識別データ、並びにイントラ予測回路42から入力したイントラ予測モードをヘッダデータなどに格納する。
逆量子化回路37は、量子化回路33の量子化に対応した逆量子化処理を、量子化回路33からの画像データに施して、それによって得られたデータを生成し、これを逆直交変換回路38に出力する。
逆直交変換回路38は、逆量子化回路37から入力したデータに、直交変換回路32における直交変換の逆変換を施して生成した画像データを加算回路39に出力する。
加算回路39は、逆直交変換回路38から入力した(デコードされた)画像データと、イントラ予測回路42あるいは動き予測・補償回路43から入力した予測画像データPIとを加算して参照(再構成)ピクチャデータを生成し、これをデブロックフィルタ40に出力する。
フレームメモリ41に書き込まれた参照ピクチャデータは、下位予測画像データL_PREとしてフレームメモリ41から読み出されて図2に示す変換回路13に出力される。
イントラ予測回路42は、イントラ符号化するマクロブロックにおいて、残差が最小となるイントラ予測のモードおよび予測ブロックのブロックサイズを決定する。
イントラ予測回路42は、ブロックサイズとして、4x4および16x16画素を用いる。
イントラ予測回路42は、イントラ予測が選択された場合に、イントラ予測による予測画像データPIを演算回路31および加算回路39に出力する。
動き予測・補償回路43は、ブロックサイズとして、16x16、16x8、8x16、8x8、8x4、4x8および4x4画素を用いる。
動き予測・補償回路43は、インター予測が選択された場合に、インター予測による予測画像データPIを演算回路31および加算回路39に出力する。
次に、図2に示す変換回路13について説明する。
変換回路13が下位レイヤ符号化回路12から入力した下位予測画像データL_PREを補間処理して、上位レイヤ符号化回路14が遅延回路11から入力したプログレッシブ画像データS10_1と同じ解像度(走査線数)の下位予測画像データL_PREbを生成し、これを上位レイヤ符号化回路14に出力する。
図5に示すように、変換回路13は、例えば、イントラフィールド予測画像生成回路21と、イントラフレーム予測画像生成回路22とを有する。
変換回路13の説明を行う前に、本実施形態で用いる用語を以下のように定義する。
例えば、プログレッシブ画像データS10_1のフレームピクチャデータXと同じタイムスタンプを持つインタレース画像データS10_2のフィールドピクチャデータYを、ピクチャデータXのベースピクチャデータと呼ぶ。
図3の例では、フィールドピクチャデータFI1は、フレームピクチャデータFR1のベースピクチャデータである。
ベースブロックMBYは、マクロブロックMBXと同じ長さの幅で、半分の高さを有している。
ここで、フレームピクチャデータXの左上の画素位置に対してベースブロックMBXの左上の画素位置の空間位置(xP、yP)に位置する場合に、ベースブロックMBYの左上の画素位置は空間位置(xP,yP/2)に位置する。
一つの補足フィールドペア内において、トップフィールドデータが同じペア内のボトムフィールドデータの補足フィールドデータであり、ボトムフィールドデータが同じペア内のトップフィールドデータの補足フィールドデータである。
例えば、図3において、フィールドデータFI1とFI2とによって補足フィールドペアを構成し、フィールドデータFI2がフィールドデータFI1の補足フィールドデータであり、フィールドデータFI1がフィールドデータFI2の補足フィールドデータである。
この場合に、ブロックMBAの左上の画素位置がフィールドデータAの左上の画素位置に対して空間位置(xP_A,yP_A)を持ち、ブロックMBBの左上の画素位置がフィールドデータBの左上の画素位置に対して空間位置(xP_B,yP_B)を持つ場合において、ブロックMBAとMBBとが同じサイズを有し、空間位置(xP_A,yP_A)と空間位置(xP_B,yP_B)とが同じである場合に、ブロックMBAはブロックMBBの補足ブロックであり、ブロックMBBはブロックMBAの補足ブロックである。
また、イントラフィールド予測画像生成回路21は、下位レイヤ符号化回路12から入力した下位予測画像データL_PREがボトムフィールドデータである場合に、符号化対象のマクロブロックMBに対応した下位予測画像データL_PRE内のベースブロックデータを、図6(B)に示すように、そのボトムフィールドデータのみを用いてアップサンプル処理を行い、プログレッシブ画像データS10_1と同じ解像度の下位予測画像データL_PREb(FI)を生成する。
以下の説明では、下位予測画像データL_PRE内のベースブロックデータのライン数がNであるとする。
また、ベースブロックデータのi番目のラインデータをBase[i]とする。ここで、iは「0」〜「N−1」の整数である。
イントラフィールド予測画像生成回路21は、下位レイヤ符号化回路12から入力した下位予測画像データL_PREがトップフィールドデータである場合にステップST12に進み、そうでない場合にステップST16に進む。
イントラフィールド予測画像生成回路21は、ベースブロックデータのi番目のラインデータBase[i]を、下位予測画像データL_PREb内の対応する予測ブロックデータの2i番目のラインデータPRED[2i]にコピーする。
すなわち、イントラフィールド予測画像生成回路21は、上記コピーにより、ラインデータPRED[0],[2],...,[2N−2]を生成する。
イントラフィールド予測画像生成回路21は、上記ベースブロックデータの最下のラインの一つ下のラインデータをラインデータBase[N]とする。
ステップST14:
イントラフィールド予測画像生成回路21は、ラインデータPRED[2N]に、ステップST13で得たラインデータBase[N]を格納する。
イントラフィールド予測画像生成回路21は、下記式(1)により、ラインデータPRED[2i]に重み付けw1を乗じた結果と、ラインデータPRED[2i+2]に重み付けw2を乗じた結果とを加算して、下位予測画像データL_PREb内の対応する予測ブロックデータの2i+1番目のラインデータPRED[2i+1]を生成する。
PRED[2i+1]=w1*PRED[2i]+w2*PRED[2i+2]
…(1)
イントラフィールド予測画像生成回路21は、ベースブロックデータのi番目のラインデータBase[i]を、下位予測画像データL_PREb内の対応する予測ブロックデータの2i+1番目のラインデータPRED[2i+1]にコピーする。
すなわち、イントラフィールド予測画像生成回路21は、上記コピーにより、ラインデータPRED[1],[3],...,[2N−1]を生成する。
イントラフィールド予測画像生成回路21は、上記ベースブロックデータの最上のラインの一つ上のラインデータをラインデータBase[−1]とする。
ステップST18:
イントラフィールド予測画像生成回路21は、ラインデータPRED[−1]に、ステップST17で得たラインデータBase[−1]を格納する。
イントラフィールド予測画像生成回路21は、下記式(2)により、ラインデータPRED[2i−1]に重み付けw1を乗じた結果と、ラインデータPRED[2i+1]に重み付けw2を乗じた結果とを加算して、下位予測画像データL_PREb内の対応する予測ブロックデータの2i番目のラインデータPRED[2i]を生成する。
PRED[2i]=w1*PRED[2i−1]+w2*PRED[2i+1]
…(2)
イントラフィールド予測画像生成回路21は、ステップST15およびステップST19で生成した予測ブロックデータのラインデータPRED[i]を下位予測画像データL_PREb(FI)として上位レイヤ符号化回路14に出力。
イントラフレーム予測画像生成回路22は、下位レイヤ符号化回路12から入力した下位予測画像データL_PREがトップフィールドデータである場合に、図9(A)に示すように、符号化対象(カレント)のマクロブロックMBに対応した下位予測画像データL_PRE(トップフィールドデータ)内のベースブロックデータBaseと、そのベースブロックデータの補足ブロックデータComp(ボトムフィールドデータ)とを用いてアップサンプル処理を行い、プログレッシブ画像データS10_1と同じ解像度の下位予測画像データL_PREb(FR)を生成する。
また、イントラフレーム予測画像生成回路22は、下位レイヤ符号化回路12から入力した下位予測画像データL_PREがボトムフィールドデータである場合に、図9(B)に示すように、符号化対象(カレント)のマクロブロックMBに対応した下位予測画像データL_PRE(ボトムフィールドデータ)内のベースブロックデータBaseと、そのベースブロックデータの補足ブロックデータComp(トップフィールドデータ)とを用いてアップサンプル処理を行い、プログレッシブ画像データS10_1と同じ解像度の下位予測画像データL_PREb(FR)を生成する。
以下の説明では、下位予測画像データL_PRE内のベースブロックデータのライン数がNであるとする。
また、ベースブロックデータのi番目のラインデータをBase[i]とする。ここで、iは「0」〜「N−1」の整数である。
イントラフレーム予測画像生成回路22は、下位レイヤ符号化回路12から入力した下位予測画像データL_PREがトップフィールドデータである場合にステップST32に進み、そうでない場合にステップST37に進む。
イントラフレーム予測画像生成回路22は、ベースブロックデータのi番目のラインデータBase[i]を、下位予測画像データL_PREb内の対応する予測ブロックデータの2i番目のラインデータPRED[2i]にコピーする。
すなわち、イントラフィールド予測画像生成回路21は、上記コピーにより、ラインデータPRED[0],[2],...,[2N−2]を生成する。
イントラフレーム予測画像生成回路22は、ベースブロックデータに対応した補足ブロックデータのi番目のラインデータComp[i]を、2i+1番目のラインデータPRED[2i+1]に代入する。
ステップST34:
イントラフィールド予測画像生成回路21は、上記ベースブロックデータの最下のラインの一つ下のラインデータをラインデータBase[N]とする。
ステップST35:
イントラフィールド予測画像生成回路21は、ラインデータPRED[2N]に、ステップST34で得たラインデータBase[N]を格納する。
イントラフィールド予測画像生成回路21は、下記式(3)により、ラインデータPRED[2i]に重み付けw1を乗じた結果と、ラインデータPRED[2i+2]に重み付けw2を乗じた結果と、ラインデータPRED[2i+1]に重み付けw3を乗じた結果とを加算して、下位予測画像データL_PREb内の対応する予測ブロックデータの2i+1番目のラインデータPRED[2i+1]を生成する。
PRED[2i+1]=w1*PRED[2i]+w2*PRED[2i+2]+w3*PRED[2i+1]
…(3)
イントラフィールド予測画像生成回路21は、ベースブロックデータのi番目のラインデータBase[i]を、下位予測画像データL_PREb内の対応する予測ブロックデータの2i+1番目のラインデータPRED[2i+1]にコピーする。
すなわち、イントラフィールド予測画像生成回路21は、上記コピーにより、ラインデータPRED[1],[3],...,[2N−1]を生成する。
イントラフレーム予測画像生成回路22は、ベースブロックデータに対応した補足ブロックデータのi番目のラインデータComp[i]を、2i番目のラインデータPRED[2i]に代入する。
ステップST39:
イントラフレーム予測画像生成回路22は、上記ベースブロックデータの最上のラインの一つ上のラインデータをラインデータBase[−1]とする。
ステップST40:
イントラフレーム予測画像生成回路22は、ラインデータPRED[−1]に、ステップST39で得たラインデータBase[−1]を格納する。
イントラフレーム予測画像生成回路22は、下記式(4)により、ラインデータPRED[2i−1]に重み付けw1を乗じた結果と、ラインデータPRED[2i+1]に重み付けw2を乗じた結果と、ラインデータPRED[2i]に重み付けw3を乗じた結果とを加算して、下位予測画像データL_PREb内の対応する予測ブロックデータの2i番目のラインデータPRED[2i]を生成する。
PRED[2i]=w1*PRED[2i−1]+w2*PRED[2i+1]+w3*PRED[2i]
…(4)
イントラフィールド予測画像生成回路21は、ステップST36およびステップST41で生成した予測ブロックデータのラインデータPRED[i]を下位予測画像データL_PREb(FR)として上位レイヤ符号化回路14に出力。
上位レイヤ符号化回路14は、変換回路13から入力した下位レイヤ符号化回路12において生成した下位予測画像データL_PREbを用いて、プログレッシブ画像データS10_1を符号化して上位符号化データS14を生成する。
図13に示すように、上位レイヤ符号化回路14は、例えば、画面並べ替え回路123、演算回路131、直交変換回路132、量子化回路133、レート制御回路134、可逆符号化回路135、バッファメモリ136、逆量子化回路137、逆直交変換回路138、加算回路139、デブロックフィルタ140、フレームメモリ141、イントラ予測回路142、並びに動き予測・補償回路143を有する。
演算回路131は、画面並べ替え回路123から入力した符号化対象のピクチャデータと、イントラ予測回路142、動き予測・補償回路143あるいは下位レイヤ予測回路145から入力した予測画像データPIとの差分を示す画像データを生成し、これを直交変換回路132に出力する。
直交変換回路132は、演算回路131から入力した画像データに離散コサイン変換やカルーネン・レーベ変換などの直交変換を施して変換係数を示す画像データ(例えばDCT係数)を生成し、これを量子化回路133に出力する。
レート制御回路134は、例えば、バッファメモリ136から読み出した画像データを基に量子化スケールQSを生成し、これを量子化回路133に出力する。
可逆符号化回路135は、量子化回路133から入力した画像データを可変長符号化した画像データをバッファメモリ136に格納する。
このとき、可逆符号化回路135は、階層化回路10から入力した属性データEisTop,ETimeをヘッダデータなどに格納する。
また、可逆符号化回路135は、動き予測・補償回路143から入力した動きベクトルMVあるいはその差分動きベクトル、参照画像データの識別データ、並びにイントラ予測回路142から入力したイントラ予測モードをヘッダデータなどに格納する。
逆量子化回路137は、量子化回路133の量子化に対応した逆量子化処理を、量子化回路133からの画像データに施して、それによって得られたデータを生成し、これを逆直交変換回路138に出力する。
逆直交変換回路138は、逆量子化回路137から入力したデータに、直交変換回路132における直交変換の逆変換を施して生成した画像データを加算回路139に出力する。
加算回路139は、逆直交変換回路138から入力した(デコードされた)画像データと、イントラ予測回路142あるいは動き予測・補償回路143から入力した予測画像データPIとを加算して参照(再構成)ピクチャデータを生成し、これをデブロックフィルタ40に出力する。
イントラ予測回路142は、イントラ符号化するマクロブロックにおいて、残差が最小となるイントラ予測のモードおよび予測ブロックのブロックサイズを決定する。
イントラ予測回路142は、ブロックサイズとして、4x4および16x16画素を用いる。
イントラ予測回路142は、イントラ予測が選択された場合に、イントラ予測による予測画像データPIを演算回路131および加算回路139に出力する。
動き予測・補償回路143は、ブロックサイズとして、16x16、16x8、8x16、8x8、8x4、4x8および4x4画素を用いる。
動き予測・補償回路143は、インター予測が選択された場合に、インター予測による予測画像データPIを演算回路131および加算回路139に出力する。
図14に示すように、下位レイヤ予測回路145は、減算回路81、減算回路82および判定回路83を有する。
減算回路81は、図5に示すイントラフィールド予測画像生成回路21から入力した下位予測画像データL_PREb(FI)と、図13に示す符号化対象のピクチャデータORG内の処理対象のブロックデータとの間の対応する画素データ間の差分を示す差分データを生成し、これを判定回路83に出力する。
減算回路82は、図5に示すイントラフレーム予測画像生成回路22から入力した下位予測画像データL_PREb(FR)と、図13に示す符号化対象のピクチャデータORG内の処理対象のブロックデータとの間の対応する画素データ間の差分を示す差分データを生成し、これを判定回路83に出力する。
また、判定回路83は、減算回路82から入力した差分データを、ブロックデータ単位で累積して指標データSAD(FR)を生成する。
そして、判定回路83は、指標データSAD(FI)と指標データSAD(FR)とのうち小さい方を特定する。
判定回路83は、下位レイヤ予測回路145が選択された場合に、上記特定した小さい方の指標データSAD(FI),(FR)に対応した下位予測画像データL_PREb(FI),(FR)を演算回路131に出力する。
また、上位レイヤ符号化回路14は、最終的に選択した予測モードを示す予測モードデータPMをヘッダデータに格納して可逆符号化回路135で符号化する。
上位レイヤ符号化回路14は、下位予測画像データL_PREb(FI)を選択した場合にインター・レイヤ/イントラフィールド予測を示す予測モードデータを生成する。
上位レイヤ符号化回路14は、下位予測画像データL_PREb(FR)を選択した場合にインター・レイヤ/イントラフレーム予測を示す予測モードデータを生成する。
多重化回路15は、下位レイヤ符号化回路12から入力した下位符号化データS12と、上位レイヤ符号化回路14から入力した上位符号化データS14とを多重化して符号化データS2を生成する。
以下、図2に示す符号化装置2の動作例を説明する。
階層化回路10が、図2に示すように、符号化対象の画像データS9を基に、プログレッシブ画像データ(プログレッシブ信号)S10_1と、インタレース画像データS10_2とを生成する。
そして、階層化回路10は、上記生成したプログレッシブ画像データS10_1を構成するピクチャデータFR1〜6...の各々を遅延回路11に出力する。
また、階層化回路10は、上記生成したインタレース画像データS10_2を下位レイヤ符号化回路12に出力する。
また、下位レイヤ符号化回路12は、上記符号化において、下位予測画像データL_PREを生成し、これを変換回路13に出力する。
そして、上位レイヤ符号化回路14は、変換回路13から入力した下位レイヤ符号化回路12において生成した下位予測画像データL_PREbを用いて、プログレッシブ画像データS10_1を符号化して上位符号化データS14を生成する。
そして、多重化回路15は、下位レイヤ符号化回路12から入力した下位符号化データS12と、上位レイヤ符号化回路14から入力した上位符号化データS14とを多重化して符号化データS2を生成する。
図15は、図1に示す復号装置3の構成図である。
図15に示すように、復号装置3は、例えば、分離回路51、遅延回路52、下位レイヤ復号回路53、変換回路54および上位レイヤ復号回路55を有する。
分離回路51は、符号化装置2が生成した上述した符号化データS2を入力し、これを下位符号化データS12と上位符号化データS14とに分離し、下位符号化データS12を下位レイヤ復号回路53に出力し、上位符号化データS14を遅延回路52に書き込む。
遅延回路52は、分離回路51から入力した上位符号化データS14を、下位レイヤ復号回路53および変換回路54における処理時間だけ遅延して上位レイヤ復号回路55に出力する。
図16は、図15に示す下位レイヤ復号回路53の構成図である。
図16に示すように、下位レイヤ復号回路53は、例えば、蓄積バッファ60、可逆復号回路61、逆量子化回路62、逆直交変換回路63、加算回路64、デブロックフィルタ65、フレームメモリ66、画面並べ替えバッファ67、イントラ予測回路69、動き予測・補償回路70を有する。
可逆復号回路61は、下位符号化データS12内の処理対象のマクロブロックMBがイントラ符号化されていると判断した場合には、そのヘッダ部に書き込まれているイントラ予測モード情報を復号してイントラ予測回路69に出力する。
また、可逆復号回路61は、下位符号化データS12を復号して逆量子化回路62に出力する。
可逆復号回路61は、ヘッダ部に含まれる予測モードデータPMを復号し、これを図15に示す変換回路54に出力する。
画面並べ替えバッファ67に記憶された復号画像データは、表示順に、下位復号画像データS53として出力される。
次に、図15に示す変換回路54について説明する。
変換回路54は、下位レイヤ復号回路53からの予測モードデータPMを基に、下位レイヤ復号回路53から入力した下位予測画像データL_PRE1を補間処理して、上位レイヤ復号回路55が遅延回路52から読み出した上位符号化データS14と同じ解像度(走査線数)の下位予測画像データL_PRE1bを生成し、これを上位レイヤ復号回路55に出力する。
図17に示すように、変換回路54は、例えば、イントラフィールド予測画像生成回路221と、イントラフレーム予測画像生成回路222とを有する。
イントラフィールド予測画像生成回路221は、予測モードデータPMがインター・レイヤ/イントラフィールド予測を示している場合に、下位予測画像データL_PRE1に対して図6〜図8を用いて説明した補間処理を施して、プログレッシブ画像データである上位符号化データS14と同じ解像度の下位予測画像データL_PRE1b(FI)を生成する。
イントラフレーム予測画像生成回路222は、予測モードデータPMがインター・レイヤ/イントラフレーム予測を示している場合に、下位予測画像データL_PRE1に対して図9〜図12を用いて説明した補間処理を施して、プログレッシブ画像データである上位符号化データS14と同じ解像度の下位予測画像データL_PRE1b(FR)を生成する。
変換回路54は、上記生成した下位予測画像データL_PRE1b(FI),(FR)を上位レイヤ復号回路55に出力する。
図18は、図15に示す上位レイヤ復号回路55の構成図である。
図18に示すように、上位レイヤ復号回路55は、例えば、蓄積バッファ160、可逆復号回路161、逆量子化回路162、逆直交変換回路163、加算回路164、デブロックフィルタ165、フレームメモリ166、画面並べ替えバッファ167、イントラ予測回路169、動き予測・補償回路170および下位レイヤ予測回路171を有する。
可逆復号回路161は、予測モードデータPMが上位符号化データS14内の処理対象のマクロブロックMBがインター符号化されていることを示す場合には、そのヘッダ部に書き込まれている動きベクトルを復号して動き予測・補償回路170に出力する。
可逆復号回路161は、予測モードデータPMが上位符号化データS14内の処理対象のマクロブロックMBがイントラ符号化されていることを示す場合には、そのヘッダ部に書き込まれているイントラ予測モード情報を復号してイントラ予測回路169に出力する。
可逆復号回路161は、予測モードデータPMがインター・レイヤ/イントラフィールド予測あるいはインター・レイヤ/イントラフレーム予測を示す場合には、その旨を下位レイヤ予測回路171に通知する。
また、可逆復号回路161は、上位符号化データS14を復号して逆量子化回路162に出力する。
また、可逆復号回路161は、予測モードデータPMを動き予測・補償回路170、イントラ予測回路169および下位レイヤ予測回路171に出力する。
画面並べ替えバッファ167に記憶された復号画像データは、表示順に、上位復号画像データS55として出力される。
分離回路51は、符号化装置2が生成した上述した符号化データS2を入力し、これを下位符号化データS12と上位符号化データS14とに分離し、下位符号化データS12を下位レイヤ復号回路53に出力し、上位符号化データS14を遅延回路52に書き込む。
そして、遅延回路52は、分離回路51から入力した上位符号化データS14を、下位レイヤ復号回路53および変換回路54における処理時間だけ遅延して上位レイヤ復号回路55に出力する。
また、下位レイヤ復号回路53において、下位予測画像データL_PRE1(FI),(FR)が生成され、これが変換回路54に出力される。
そして、上位レイヤ復号回路55が、下位予測画像データL_PRE1b(FI),(FR)を基に、上位符号化データS14を復号して上位復号画像データS55を生成し、これを出力する。
また、通信システム1によれば、復号装置3において、符号化装置2において階層符号化されたプログレッシブ画像データS10_1とインタレース画像データS10_2とを復号できる。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
例えば、上述した符号化装置2あるいは復号装置3の機能の全部あるいは一部を、図19に示すように、メモリ352に記憶されたプログラムPRGの記述に従ってCPU(Central Processing Unit)などの処理回路353が実行してもよい。
この場合に、インターフェース351を介して、符号化対象あるいは復号対象の画像データが入力され、その処理結果が出力される。
当該フラグデータは、例えば、図6〜図8に示すアップサンプル手法が用いられた場合に「0」を示し、図9〜図12に示すアップサンプル手法が用いられた場合に「1」を示す。
なお、当該フラグデータが存在しない場合には、「0」を示すと判断される。
“ae(v)”は、指定されたシンタックスが、コンテクスト−アダプティブ・エントロピー符号であることを示す。
“adaptive_prediction_flag”は、スケーラブル拡張におけるマクロブロック層内のシンタックス要素の有無を示し、無い場合は「0」を示している。
“base_mode_flag”が「0」を示す場合には、“base_mode_refinement_flag”が「1」でない場合には“mb_type”は推定されない。
“base_mode_flag”が存在しない場合には、“base_mode_flag”は以下のように推定される。
“base_id_plus1”が「0」を示す場合には、“base_mode_flag”の値は「0」であると推定される。そうでなければ、“base_mode_flag”の値は、「1」であると推定される。
“intra_base_mb(CurrMbAddr)”は、CrarmbAddrのベース・マクロブロックがIマクロブロックである場合に、「1」を返し、それ以外の場合に「1」を返す関数である。
さらに、“base_mode_refinement_flag”は、「1」を示す場合に、ベースマクロブロックの動きベクトルを用いて得られた動きベクトルの予測値に1/4画素解像度によって加えられた動きベクトルを特定する。
また、“base_mode_refinement_flag”が「0」を示す場合に、mb_typeは、推定されない。
“intra_base_flag”は、「1」を示す場合に、マクロブロックタイプI_BLを示す。
“intra_base_flag”が存在しない場合、“intra_base_flag”は以下に示すように推定される。
“base_mode_flag”が「1」であり、“mb_type”がI_NxNである場合には、“intra_base_flag”は、「1」であると推定され、それ以外の場合に「0」であると推定される。
“I_BL”は、その予測値が周囲画素データではなく、ベースピクチャデータから得られるイントラマクロブロックであることを示す。
“interlace_base_layer”は、ベースレイヤのソースが、インタレース形式であることを示している。
“progressive_curr_layer”は、カレントレイヤのソースがプログレッシブ形式であることを示している。
“frame_structure_base_block”は、ベースブロックがフレーム構造で符号化されたことを示している。
[発明1]
プログレッシブデータと、当該プログレッシブデータに対応したインタレースデータとを符号化する符号化装置であって、
前記インタレースデータを構成するピクチャデータを符号化した第1の符号化データと、前記第1の符号化データを復号して再構成した再構成画像データとを生成する第1の符号化手段と、
前記第1の符号化手段が生成した前記再構成画像データをアップサンプルして、前記プログレッシブデータと同じ解像度の画像データを生成するアップサンプル手段と、
前記アップサンプル手段が生成した前記画像データを予測画像データとして前記プログレッシブデータを構成するピクチャデータを符号化して第2の符号化データを生成する第2の符号化手段と
を有する符号化装置。
[発明2]
前記第2の符号化手段は、
前記符号化対象のプログレッシブデータのピクチャデータと同じタイムスタンプが割り当てられた前記インタレースデータのピクチャデータに対応して前記アップサンプリング手段が生成した前記画像データを前記予測画像データとして用いる
発明1に記載の符号化装置。
[発明3]
前記アップサンプル手段は、
前記第2の符号化手段による符号化対象のピクチャデータと同じタイムスタンプが割り当てられた前記インタレースデータのピクチャデータのみを用いて補間処理を行って前記予測画像データを生成する
発明1に記載の符号化装置。
[発明4]
前記アップサンプル手段は、
前記第2の符号化手段による符号化対象のピクチャデータと同じタイムスタンプが割り当てられた前記インタレースデータのピクチャデータと、当該インタレースデータのピクチャデータとペアになるピクチャデータとを用いて補間処理を行って前記予測画像データを生成する
発明1に記載の符号化装置。
[発明5]
前記アップサンプル手段は、
前記第2の符号化手段による符号化対象のピクチャデータと同じタイムスタンプが割り当てられた前記インタレースデータのピクチャデータのみを用いて補間処理を行って第1の前記予測画像データを生成し、
前記第2の符号化手段による符号化対象のピクチャデータと同じタイムスタンプが割り当てられた前記インタレースデータのピクチャデータと、当該インタレースデータのピクチャデータとペアになるピクチャデータとを用いて補間処理を行って第2の前記予測画像データを生成し、
前記第2の符号化手段は、前記第1の予測画像データと前記第2の予測画像データとのうち、前記符号化対象のピクチャデータとの間の差異が小さい方を予測画像データとして選択して符号化を行う
発明1に記載の符号化装置。
[発明6]
前記第1の符号化手段および前記第2の符号化手段は、それぞれ前記符号化としてイントラ符号化を行う
発明1に記載の符号化装置。
[発明7]
前記第2の符号化手段は、
前記符号化対象のピクチャデータを用いたイントラ予測によって生成した予測画像データと、
動き予測・補償によって生成した予測画像データと、
前記アップサンプル手段が生成した前記画像データを予測画像データとのうち、
符号化対象のピクチャデータとの間の差分を最小にする予測画像データを選択し、
符号化対象のピクチャデータと、前記選択した予測画像データとの差分を符号化する
発明1に記載の符号化装置。
[発明8]
前記第1の符号化手段が生成した前記第1の符号化データと、前記第2の符号化手段が生成した前記第2の符号化データとを多重化する多重化手段
をさらに有する発明1に記載の符号化装置。
[発明9]
プログレッシブデータと、当該プログレッシブデータに対応したインタレースデータとを符号化する符号化方法であって、
前記インタレースデータを構成するピクチャデータを符号化した第1の符号化データと、前記第1の符号化データを復号して再構成した再構成画像データとを生成する第1の工程と、
前記第1の工程で生成した前記再構成画像データをアップサンプルして、前記プログレッシブデータと同じ解像度の画像データを生成する第2の工程と、
前記第2の工程で生成した前記画像データを予測画像データとして前記プログレッシブデータを構成するピクチャデータを符号化して第2の符号化データを生成する第3の工程と
を有する符号化方法。
[発明10]
プログレッシブデータと、当該プログレッシブデータに対応したインタレースデータとを符号化するコンピュータが実行するプログラムあって、
前記インタレースデータを構成するピクチャデータを符号化した第1の符号化データと、前記第1の符号化データを復号して再構成した再構成画像データとを生成する第1の手順と、
前記第1の手順で生成した前記再構成画像データをアップサンプルして、前記プログレッシブデータと同じ解像度の画像データを生成する第2の手順と、
前記第2の手順で生成した前記画像データを予測画像データとして前記プログレッシブデータを構成するピクチャデータを符号化して第2の符号化データを生成する第3の手順と
を前記コンピュータに実行させるプログラム。
[発明11]
プログレッシブデータを符号化して得られた第1の符号化データと、前記プログレッシブデータに対応したインタレースデータを符号化して得られた第2の符号化データとを復号する復号装置であって、
前記第2の符号化データを復号する第1の復号手段と、
前記第1の復号手段が復号により生成した第1の予測画像データを補間処理して第2の予測画像データを生成するアップサンプル手段と、
前記アップサンプル手段が前記生成した前記第2の予測画像データを基に、前記第1の符号化データを復号する第2の復号手段と
を有する復号装置。
[発明12]
プログレッシブデータを符号化して得られた第1の符号化データと、前記プログレッシブデータに対応したインタレースデータを符号化して得られた第2の符号化データとを復号する復号方法であって、
前記第2の符号化データを復号する第1の工程と、
前記第1の工程で復号により生成した第1の予測画像データを補間処理して第2の予測画像データを生成する第2の工程と、
前記第2の工程で生成した前記第2の予測画像データを基に、前記第1の符号化データを復号する第3の工程と
を有する復号方法。
[発明13]
プログレッシブデータを符号化して得られた第1の符号化データと、前記プログレッシブデータに対応したインタレースデータを符号化して得られた第2の符号化データとを復号するコンピュータが実行するプログラムであって、
前記第2の符号化データを復号する第1の手順と、
前記第1の手順で復号により生成した第1の予測画像データを補間処理して第2の予測画像データを生成する第2の手順と、
前記第2の手順で生成した前記第2の予測画像データを基に、前記第1の符号化データを復号する第3の手順と
を前記コンピュータに実行させるプログラム。
Claims (8)
- プログレッシブのピクチャデータに対応するインタレースのピクチャデータを符号化し、符号化された前記インタレースのピクチャデータと、前記インタレースのピクチャデータを予測した予測画像データとを生成する第一の符号手段と、
前記予測画像を変換することによって変換予測画像を生成する変換手段と、
前記変換予測画像を前記プログレッシブのピクチャデータを予測する予測画像として用いたことを表すフラグデータを生成するフラグ生成手段と、
前記変換手段により変換された前記予測画像データに基づき、前記プログレッシブのピクチャデータを符号化する第二の符号手段と、
を備える符号化装置。 - 前記インタレースのピクチャデータは、トップフィールドとボトムフィールドとにより構成され、
前記予測画像データは、前記トップフィールドを予測した予測トップフィールドと前記ボトムフィールドを予測した予測ボトムフィールドにより構成され、
前記変換予測画像は、前記変換手段によって変換された前記予測トップフィールドと、前記変換手段によって変換された前記予測ボトムフィールドとにより構成される
請求項1に記載の符号化装置。 - 前記変換手段は、
前記予測トップフィールドと前記予測ボトムフィールドとを合わせることによって予測プログレッシブデータを生成し、
前記第二の符号手段は、
前記予測プログレッシブデータに基づき、前記プログレッシブのピクチャデータを符号化する
請求項2に記載の符号化装置。 - 前記変換手段は、
前記予測トップフィールドの最も上にある画素データの列を前記予測プログレッシブデータの最も上の画素データの列とし、前記予測ボトムフィールドの最も上にある画素データの列を前記予測プログレッシブデータの上から二番目の画素データの列とする
請求項3に記載の符号化装置。 - 符号化装置の符号化方法であって、
前記符号化装置に、
プログレッシブのピクチャデータに対応するインタレースのピクチャデータを符号化し、符号化された前記インタレースのピクチャデータと、前記インタレースのピクチャデータを予測した予測画像データとを生成する第一の符号ステップと、
前記予測画像を変換することによって変換予測画像を生成する変換ステップと、
前記変換予測画像を前記プログレッシブのピクチャデータを予測する予測画像として用いたことを表すフラグデータを生成するフラグ生成ステップと、
前記変換ステップにより変換された前記予測画像データに基づき、前記プログレッシブのピクチャデータを符号化する第二の符号ステップと、
を実行させる符号化方法。 - 前記インタレースのピクチャデータは、トップフィールドとボトムフィールドとにより構成され、
前記予測画像データは、前記トップフィールドを予測した予測トップフィールドと前記ボトムフィールドを予測した予測ボトムフィールドにより構成され、
前記変換予測画像は、前記変換ステップによって変換された前記予測トップフィールドと、前記変換ステップによって変換された前記予測ボトムフィールドとにより構成される
請求項5に記載の符号化方法。 - 前記変換ステップは、
前記予測トップフィールドと前記予測ボトムフィールドとを合わせることによって予測プログレッシブデータを生成し、
前記第二の符号ステップは、
前記予測プログレッシブデータに基づき、前記プログレッシブのピクチャデータを符号化する
請求項6に記載の符号化方法。 - 前記変換ステップは、
前記予測トップフィールドの最も上にある画素データの列を前記予測プログレッシブデータの最も上の画素データの列とし、前記予測ボトムフィールドの最も上にある画素データの列を前記予測プログレッシブデータの上から二番目の画素データの列とする
請求項7に記載の符号化方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011043074A JP5382031B2 (ja) | 2011-02-28 | 2011-02-28 | 符号化装置および符号化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011043074A JP5382031B2 (ja) | 2011-02-28 | 2011-02-28 | 符号化装置および符号化方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005268898A Division JP5017825B2 (ja) | 2005-09-15 | 2005-09-15 | 復号装置および復号方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011139510A true JP2011139510A (ja) | 2011-07-14 |
JP5382031B2 JP5382031B2 (ja) | 2014-01-08 |
Family
ID=44350382
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011043074A Expired - Fee Related JP5382031B2 (ja) | 2011-02-28 | 2011-02-28 | 符号化装置および符号化方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5382031B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05308631A (ja) * | 1992-03-03 | 1993-11-19 | Toshiba Corp | 動画像符号化装置 |
JPH07162870A (ja) * | 1993-09-21 | 1995-06-23 | At & T Corp | ビデオ信号符号化装置 |
JPH07274163A (ja) * | 1994-03-30 | 1995-10-20 | Toshiba Corp | 階層符号化/復号化装置及び方法及び送受信方式 |
JPH09149415A (ja) * | 1995-11-17 | 1997-06-06 | Matsushita Electric Ind Co Ltd | 画像符号化装置および画像復号化装置 |
JP2000036963A (ja) * | 1998-07-17 | 2000-02-02 | Sony Corp | 画像符号化装置、画像符号化方法および画像復号化装置 |
-
2011
- 2011-02-28 JP JP2011043074A patent/JP5382031B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05308631A (ja) * | 1992-03-03 | 1993-11-19 | Toshiba Corp | 動画像符号化装置 |
JPH07162870A (ja) * | 1993-09-21 | 1995-06-23 | At & T Corp | ビデオ信号符号化装置 |
JPH07274163A (ja) * | 1994-03-30 | 1995-10-20 | Toshiba Corp | 階層符号化/復号化装置及び方法及び送受信方式 |
JPH09149415A (ja) * | 1995-11-17 | 1997-06-06 | Matsushita Electric Ind Co Ltd | 画像符号化装置および画像復号化装置 |
JP2000036963A (ja) * | 1998-07-17 | 2000-02-02 | Sony Corp | 画像符号化装置、画像符号化方法および画像復号化装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5382031B2 (ja) | 2014-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5017825B2 (ja) | 復号装置および復号方法 | |
CN104813667A (zh) | 具有自适应变换和多帧间层运动候选的帧间层纹理编码 | |
CN104335585A (zh) | 图像解码方法和使用其的装置 | |
KR20060109290A (ko) | 화상 복호 장치 및 화상 복호 방법과 화상 복호 프로그램 | |
KR20140089584A (ko) | 부호화 장치, 복호화 장치, 부호화 방법, 복호화 방법, 및 컴퓨터 판독가능 기억 매체 | |
WO2011125730A1 (ja) | 画像符号化装置と画像符号化方法および画像復号化装置と画像復号化方法 | |
US9172958B2 (en) | Apparatus and method for coding picture data | |
US9654786B2 (en) | Image decoding method and apparatus using same | |
JP2007266749A (ja) | 符号化方法 | |
JP4660408B2 (ja) | 符号化方法 | |
JP2007266750A (ja) | 符号化方法 | |
JP5382032B2 (ja) | 復号装置および復号方法 | |
JP5382031B2 (ja) | 符号化装置および符号化方法 | |
JP6510084B2 (ja) | 動画像復号化方法及び電子装置 | |
JP2013059106A (ja) | 符号化装置および符号化方法 | |
CN108432251B (zh) | 比特流变换设备、比特流变换方法、分发系统、分发方法以及计算机可读存储介质 | |
JP2011142698A (ja) | 符号化装置、符号化方法、復号装置、復号方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110330 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130314 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130319 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130520 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130903 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130916 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |