JP2004158946A - 動画像符号化方法とその復号化方法、およびそれらの装置 - Google Patents
動画像符号化方法とその復号化方法、およびそれらの装置 Download PDFInfo
- Publication number
- JP2004158946A JP2004158946A JP2002320771A JP2002320771A JP2004158946A JP 2004158946 A JP2004158946 A JP 2004158946A JP 2002320771 A JP2002320771 A JP 2002320771A JP 2002320771 A JP2002320771 A JP 2002320771A JP 2004158946 A JP2004158946 A JP 2004158946A
- Authority
- JP
- Japan
- Prior art keywords
- band
- inter
- decoding
- frequency band
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【解決手段】原画像を帯域分割し、帯域ごとに非線形予測器を用いてフレーム間相関を除去する時空間適応予測において、最低周波数帯域から空間的に同一方向LH,HL.HHへの帯域間に相関があることを利用し、帯域予測処理部11〜14は帯域分割部10で分割した帯域LLから最低周波数帯域へ向かうLH,HL.HH方向へ1レベル低い周波数帯域のフレーム間相関を判定部17で判定し、この相関が高い場合には該帯域を時空間適応予測にて符号化し、フレーム間相関が低い場合には直接符号化する。帯域を小ブロック単位に分割して行うこと、フレーム間相関判定に代えて、帯域のインターフレーム処理とイントラフレーム処理の割合で判定することも含む。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、動画像を効率よく伝送、蓄積するための符号化および復号化に関する。
【0002】
【従来の技術】
動画像の代表的な符号化法として、
(1)MPEGに代表される動き補償とDCTを用いた手法。
【0003】
(2)MotionJPEG2000に代表されるウェーブレット変換を用いた手法。
はよく知られている。
【0004】
動き補償とDCTを用いた手法はこれまで数々のモデルが提案され、フレーム間相関とフレーム相関を効率よく除去することにより高い符号化効率を実現している。
【0005】
一方、MotionJPEG2000など、ウェーブレットを用いた手法は、動き補償とDCTを用いた手法にはない空間・時間・SNRスケーラビリティなど様々な有効な機能を持つ。
【0006】
しかしながら、MotionJPEG2000はフレーム内相関のみを利用するため、動き補償とDCTを用いた手法よりも符号化効率が劣ることが知られている。ウェーブレットを用いて、かつフレーム間相関を除去し、符号化効率を改善した方法としては、時空間適応予測がある(例えば、非特許文献1参照)。
【0007】
この方法は、可逆符号化として提案された手法であるが、非可逆符号化にも適用可能な手法であり、効率よくフレーム間相関を除去することが可能である。
【0008】
【非特許文献1】
仲地孝之、澤邊知子、藤井竜也、藤井哲郎、“解像度スケーラビリティーを有する動画像可逆符号化法の検討”、第16回ディジタル信号処理シンポジウム講演論文集、pp.439−444,2001年11月
【0009】
【発明が解決しようとする課題】
時空間予測符号化は、ウェーブレット係数領域において非線形予測を適用することによってフレーム間相関を除去する。ウェーブレット変換を用いているため空間スケーラビリティ機能が実現でき、かつフレーム間相関も除去しているため符号化効率も高い方式である。
【0010】
しかしながら、時空間予測を行う帯域が固定のために、必ずしも種々の画像に適した方式とはなっていない。また、帯域を可変としたモデルも提案されている(例えば、非特許文献1)。しかし、この手法では、付加情報量が必要であり効率的ではない。
【0011】
本発明の目的は、付加情報量を増加させることなく、画像の統計的性質に応じて適応的にフレーム間相関を除去する帯域を変化させ、符号化効率を改善した時空間予測による動画像符号化方法とその復号化方法、およびそれらの装置を提供することにある。
【0012】
【課題を解決するための手段】
上記の問題を解決するため、本発明は、以下の動画像符号化方法、動画像復号化方法、およびそれらの装置を特徴とする。
【0013】
(1)動画像を対象とする符号化において、原画像を帯域分割し分割した帯域ごとに非線形予測器を用いてフレーム間相関を除去する時空間適応予測において、最低周波数帯域から空間的に同一方向の帯域間に相関があることを利用して該帯域から最低周波数帯域へ向かって1レベル低い周波数帯域のフレーム間相関が高い場合には該帯域を時空間適応予測にて符号化し、フレーム間相関が低い場合には直接符号化することを特徴とする。
【0014】
(2)動画像を出力とする復号化において、上記(1)記載の動画像符号化方法により符号化された信号を、該帯域から最低周波数帯域へ向かって1レベル低い周波数帯域のフレーム間相関が高い場合には該帯域を時空間適応予測にて復号化し、フレーム間相関が低い場合には直接復号化することを特徴とする。
【0015】
(3)上記(1)記載の動画像符号化方法において、該帯域から最低周波数帯域へ向かって1レベル低い周波数帯域のインターフレーム処理の割合がイントラフレーム処理に対して高い場合には該帯域を時空間適応予測にて符号化し、インターフレーム処理の割合がイントラフレーム処理に対して低い場合には直接符号化することを特徴とする。
【0016】
(4)動画像を出力とする復号化において、上記(3)記載の動画像符号化方法により符号化された信号を、該帯域から最低周波数帯域へ向かって1レベル低い周波数帯域のインターフレーム処理の割合がイントラフレーム処理に対して高い場合には該帯域を時空間適応予測にて復号化し、インターフレーム処理の割合がイントラフレーム処理に対して低い場合には直接復号化することを特徴とする。
【0017】
(5)動画像を対象とする符号化において、原画像を帯域分割し分割した帯域ごとに非線形予測器を用いてフレーム間相関を除去する時空間適応予測において、時空間予測を行うか直接符号化を行うかを小ブロック単位に判断し、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって1レベル低い周波数帯域における空間的に同一位置にある小ブロックのフレーム間相関が大きい場合には時空間適応予測にて符号化し、フレーム間相関が低い場合には直接符号化することを特徴とする。
【0018】
(6)動画像を出力とする復号化において、上記(5)記載の動画像符号化方法により符号化された信号を、時空間予測復号を行うか直接復号を行うかを小ブロック単位に判断し、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって1レベル低い周波数帯域における空間的に同一位置にある小ブロックのフレーム間相関が大きい場合には時空間璋応予測にて復号化し、フレーム間相関が低い場合には直接復号化することを特徴とする。
【0019】
(7)上記(5)記載の動画像符号化方法において、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって1レベル低い周波数帯域における空間的に同一位置にある小ブロック内のインターフレーム処理の割合がイントラフレーム処理に対して高い場合には時空間適応予測にて符号化し、インターフレーム処理の割合がイントラフレーム処理に対して低い場合には直接符号化することを特徴とする。
【0020】
(8)動画像を出力とする復号化において、上記(7)記載の動画像符号化方法により符号化された信号を、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって1レベル低い周波数帯域における空間的に同一位置にある小ブロック内のインターフレーム処理の割合がイントラフレーム処理に対して高い場合には時空間適応予測にて復号化し、インターフレーム処理の割合がイントラフレーム処理に対して低い場合には直接復号化することを特徴とする。
【0021】
(9)動画像を対象とする符号化において、原画像を帯域分割し分割した帯域ごとに非線形予測器を用いてフレーム間相関を除去する時空間適応予測において、最低周波数帯域から空間的に同一方向の帯域間に相関があることを利用して該帯域から最低周波数帯域へ向かって1レベル低い周波数帯域のフレーム間相関が高い場合には該帯域を時空間適応予測にて符号化する手段と、フレーム間相関が低い場合には直接符号化する手段を有することを特徴とする。
【0022】
(10)動画像を出力とする復号化において、上記(9)記載の動画像符号化装置により符号化された信号を、該帯域から最低周波数帯域へ向かって1レベル低い周波数帯域のフレーム間相関が高い場合には該帯域を時空間適応予測にて復号化する手段と、フレーム間相関が低い場合には直接復号化する手段を有することを特徴とする。
【0023】
(11)上記(9)記載の動画像符号化において、該帯域から最低周波数帯域へ向かって1レベル低い周波数帯域のインターフレーム処理の割合がイントラフレーム処理に対して高い場合には該帯域を時空間適応予測にて符号化する手段と、インターフレーム処理の割合がイントラフレーム処理に対して低い場合には直接符号化する手段を有することを特徴とする。
【0024】
(12)動画像を出力とする復号化において、上記(11)記載の動画像符号化装置により符号化された信号を、該帯域から最低周波数帯域へ向かって1レベル低い周波数帯域のインターフレーム処理の割合がイントラフレーム処理に対して高い場合には該帯域を時空間適応予測にて復号化する手段と、インターフレーム処理の割合がイントラフレーム処理に対して低い場合には直接復号化する手段を有することを特徴とする。
【0025】
(13)動画像を対象とする符号化において、原画像を帯域分割し分割した帯域ごとに非線形予測器を用いてフレーム間相関を除去する時空間適応予測において、時空間予測を行うか直接符号化を行うかを小ブロック単位に判断し、該帯域の小フロックが該帯域から最低周波数帯域へ向かって1レベル低い周波数帯域における空間的に同一位置にある小ブロックのフレーム間相関が大きい場合には時空間適応予測にて符号化する手段と、フレーム間相関が低い場合には直接符号化する手段を有することを特徴とする。
【0026】
(14)動画像を出力とする復号化において、上記(13)記載の動画像符号化装置により符号化された信号を、時空間予測復号を行うか直接復号を行うかを小ブロック単位に判断し、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって1レベル低い周波数帯域における空間的に同一位置にある小ブロックのフレーム間相関が大きい場合には時空間適応予測にて復号化する手段と、フレーム間相関が低い場合には直接復号化する手段を有することを特徴とする。
【0027】
(15)上記(13)記載の動画像符号化において、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって1レベル低い周波数帯域における空間的に同一位置にある小ブロック内のインターフレーム処理の割合がイントラフレーム処理に対して高い場合には時空間適応予測にて符号化する手段と、インターフレーム処理の割合がイントラフレーム処理に対して低い場合には直接符号化する手段を有することを特徴とする。
【0028】
(16)動画像を出力とする復号化において、上記(15)記載の動画像符号化装置により符号化された信号を、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって1レベル低い周波数帯域における空間的に同一位置にある小ブロック内のインターフレーム処理の割合がイントラフレーム処理に対して高い場合には時空間適応予測にて復号化する手段と、インターフレーム処理の割合がイントラフレーム処理に対して低い場合には直接復号化する手段を有することを特徴とする。
【0029】
【発明の実施の形態】
(第1実施形態)
図1及び図2に時空間適応予測による動画像符号化装置および方法を実現するための基本構成図を示す。図1は非可逆符号化用、図2は可逆符号化用であり、本発明による時空間適応予測符号化法は可逆および非可逆のどちらにも適用可能である。
【0030】
図1または図2において、10は帯域分割部、11〜14は分割された帯域ごとに設けた時空間適応予測処理部、16はエントロピー符号化部である。非可逆符号化の場合には、量子化部15においてウェーブレット係数または時空間適応予測による差分信号を量子化する。さらに、非可逆符号化の場合には、エントロピー符号化として、JPEG2000で用いられているEBCOTを用いることにより、空間およびSNRスケーラビリティを実現できる。可逆符号化においては、量子化を行わず、ウェーブレット係数または時空間適応予測による差分信号を直接エントロピー符号化する。
【0031】
入力された原画像は、帯域分割部10において複数の空間解像度の帯域に分割される。この帯域分割には、図3に示すオクターブ分割を用いる。オクターブ分割では、1次元の2分割フィルタを用いて低帯域方向に次々に分割することによって、入力信号を複数の帯域に分割することができる。この処理を、水平方向および垂直方向にそれぞれ施す。
【0032】
次に、分割された各帯域において時空間適応予測により符号化を行う。まず、最低周波数帯域LL(n)に対して(nは、帯域分割レベル数)適応予測符号化を行う。ここで、適応予測符号化は、前記非特許文献1に示される方法を利用することができる。この方法を説明すると、時空間適応予測符号化法では、2次元予測器と3次元予測器を用意し、画像信号の局所的性質により予測器を切り替える。この2次元予測器と3次元予測器を切り替えるために、現フレームと参照フレームの被符号化対象画素近傍の復号済み信号の相関係数を計算する。この計算で、相関係数が大きい場合、すなわち現フレーム内信号と参照フレーム内信号の波形が似ている場合には、予測精度が向上すると考えられることから、3次元予測を行い、それ以外の場合には2次元予測を行う。これにより、画像の局所的性質に適応することができ、予測精度が向上する。
【0033】
次に、最低周波数帯域における適応予測符号化が終了後、フレーム間相関判定部17で現フレームと参照フレームの最低周波数帯域におけるフレーム間相関を計算する。フレーム間相関が大きいか小さいかを判断するにはいくつかの方法が考えられるが、一例を後の(第5実施形態)として示す。
【0034】
まず、最低周波数帯域におけるフレーム間相関の大きさによって、隣接する帯域LH(n)、HL(n)、HH(n)において、適応予測符号化を行うかどうか決定する。
【0035】
・フレーム間相関が大きい場合
時空間適応予測符号化処理し、高帯域への処理に移る。
【0036】
・フレーム間相関が小さい場合
ウェーブレット係数を直接符号化し、残りの高帯域のウェーブレット係数も全て直接符号化して処理終了する。
【0037】
この理由は、最低周波数帯域の信号と隣接する帯域LH(n)、HL(n)、HH(n)の信号には相関が存在することを利用している。すなわち、最低周波数帯域においてフレーム間相関が大きい場合は、隣接する3つの帯域においてもフレーム間相関が強いことが予想される。この手法では、隣接する帯域LH(n)、HL(n)、HH(n)において時空間適応予測を行うかどうかは最低周波数帯域によって決定され、エンコーダおよびデコーダで共有した情報を利用できるため、新たな付加情報量も必要としない。
【0038】
フレーム間相関が大きい場合、引き続く高周波数帯域では以下のように処理を進める。ウェーブレットにおいては、最低周波数帯域から見て同一方向の周波数帯域間には相関が存在することが知られている。すなわち、
LH(n)、LH(n−1)、…、LH(1)
の帯域間には相関が存在し、同様にHL方向間、HH方向間、すなわち
HL(n)、HL(n−1)、…、HL(1)の間
HH(n)、HH(n−1)、…、HH(1)の間
に、それぞれ相関は存在する。この性質を利用して、各帯域において時空間適応予測を行うか行わないかを、それぞれの周波数帯域の1レベル低い周波数帯域のフレーム間相関の大きさによって判断する。すなわち、
・フレーム間相関が大きい場合
時空間適応予測符号化処理し、高帯域への処理に移る。
【0039】
・フレーム間相関が小さい場合
ウェーブレット係数を直接符号化し、残りの高帯域のウェーブレット係数も全て直接符号化し、処理終了する。
【0040】
以上の処理を高帯域へ向かって行い、フレーム間相関が小さいか、最高周波数帯域LH(1)まで処理を終了するか、いずれかの条件を満足するとLH方向の処理は終了する。
【0041】
以上のLH(n−1)、LH(n−2)、…、LH(1)帯域部の処理を図示したのが図4であり、フレーム間相関の計算処理23、24、…の計算結果の大きさによりLH方向の帯域時空間適応予測処理21〜22を行うか行わないかを判断する。HL方向およびHH方向の処理も同様に行うことができる。図5は、それぞれの帯域の相関関係を図示したもので、矢印の方向に向かって以上に示した処理を進める。また、図6には分割レベルが2レベルの場合の帯域時空間適応予測処理のフローチャートを示し、LL(2)での予測処理でフレーム間の相関が大きい場合に、HL(2)とLH(2)およびHH(2)について予測処理を行い、さらにフレーム間相関の大小からHL(1)とLH(1)およびHH(1)での予測処理を行うか行わないかを判定する。
【0042】
以上の方法においては、帯域時空間適応予測処理を行うかどうかは1レベル低い周波数帯域のフレーム間相関の大きさによって決定されるため、この処理においてもエンコーダおよびデコーダで共有した情報を利用でき、新たな付加情報量も必要としない、
上記までの処理終了後、図1または図2のエントロピー符号化部16においては、適応予測符号化出力の残差信号またはウェーブレット係数、および動き推定ベクトルを符号化し、符号化ビットストリームを生成する。
【0043】
(第2実施形態)
図7および図8に、上記の第1実施形態例で符号化されたデータを復号するための動画像復号化装置および方法を実現するための基本構成図を示す。図7は非可逆復号化用、図8は可逆復号化用である。図7または図8において、30はエントロピー復号化部、31〜34は分割された帯域ごとに設けた時空間適応予測復号化部、35は帯域合成部、37はフレーム間相関判定部である。
【0044】
最初にエントロピー復号化部30において符号化ビットストリームから残差信号またはウェーブレット係数、および動きベクトルを復号する。引き続き、非可逆符号化の場合には、逆量子化部35においてウェーブレット係数または時空間適応予測による差分信号を逆量子化する。最低周波数帯LL(n)の時空間適応予測復号化部31の処理は、例えば、前記の非特許文献1に示す方法を利用することができる。この方法を説明すると、時空間適応予測復号化においては、時空間適応予測符号化と同様に、現フレームと参照フレームの被符号化対象画素近傍の復号済み信号の相関係数を計算して予測器を選択する。この計算で、相関係数が大きい場合には3次元予測を行い、小さい場合には2次元予測を行う。得られた予測値に、差分信号を逆量子化した信号を加えることにより、最低周波数帯域の信号が復元される。
【0045】
次に、時空間適応予測復号化部31は、引き続く高周波数帯域の復号を時空間予測復号化で行うか、直接ウェーブレット係数を復号するか判断するために、フレーム間相関判定部37で最低周波数帯LL(n)におけるフレーム間相関を計算する。この計算で、
・フレーム間相関が大きい場合
時空間適応予測復号化処理し、高帯域への処理に移る。
【0046】
・フレーム間相関が小さい場合
ウェーブレット係数を直接復号化し、残りの高帯域のウェーブレット係数も全て直接復号化して処理終了する。
【0047】
フレーム間相関が大きい場合、引き続く高周波数帯域では以下のように処理を進める。
【0048】
LH方向、HL方向、HH方向の各帯域間で、それぞれ低周波帯域から高周波数帯域へ向かって、1レベル低い周波数帯域におけるフレーム間相関を計算する。この計算で、
・フレーム間相関が大きい場合
時空間適応予測復号化処理し、高帯域への処理に移る。
【0049】
・フレーム間相関が小さい場合
ウェーブレット係数を直接復号化し、残りの高帯域のウェーブレット係数も全て直接復号化し、処理終了する。
【0050】
なお、LH(n−1)、LH(n−2)、…、LH(1)帯域部の処理を図示したのが図9であり、フレーム間相関判定部43、44、…によりの計算により、LH方向の帯域時空間適応予測復号化処理40〜42を行うか行わないかを判断し、フレーム間相関が小さいか、または最高周波数帯域LH(1)の処理を終了するか、いずれかの条件を満足するとLH方向の処理は終了する。HL方向およびHH方向の処理も同様に行うことができる。図10には分割レベルが2レベルの場合の帯域時空間適応予測復号化処理のフローチャートを示し、LL(2)での予測処理でフレーム間の相関が大きい場合に、HL(2)とLH(2)およびHH(2)について予測処理を行い、さらにフレーム間相関の大小からHL(1)とLH(1)およびHH(1)での予測処理を行うか行わないかを判定する。
【0051】
上記までの処理終了後、図7または図8の帯域合成部35においては、各帯域の出力を合成して画像を復号化する。
【0052】
(第3実施形態)
前記の第1実施形態例においては、適応予測符号化を行うかウェーブレット係数を直接符号化するかは各周波数帯域で帯域ごとに行っていた。本実施形態例では、最低周波数帯域以外において適応予測符号化を行うかウェーブレット係数を直接符号化するかの判断を小ブロック単位で行う。小ブロック単位の処理によって、より画像の局所的性質に適応した符号化が可能となり、符号化効率が向上する。
【0053】
ウェーブレットにおいては、同じ空間位置に対応する各周波数成分は互いに相関があることが知られている、この性質を利用して、図11に示すように各周波数帯域の同じ空間位置に対応する小ブロック単位で処理を行う。
【0054】
まず、最低周波数帯域は、すべて第1実施形態例と同様に、すべて時空間適応予測符号化を施す。
【0055】
次に、最低周波数帯域をL×L画素の小ブロック単位に分割する。図の左から右、上から下の方向へ向かうラスタースキャンの順で、それぞれの小ブロックのフレーム間相関を計算する。それぞれの小ブロックのフレーム間相関によって、隣接する帯域LH(n)、HL(n)、HH(n)の対応する空間位置の小ブロックにおいて適応予測符号化を行うかどうか決定する。すなわち、
・フレーム間相関が大きい場合
小ブロック内を時空間適応予測符号化処理し、高帯域への処理に移る。
【0056】
・フレーム間相関が小さい場合
ウェーブレット係数を直接符号化し、残りの高帯域のウェーブレット係数も全て直接符号化し、処理終了する。
【0057】
フレーム間相関が大きい場合、引き続く高周波数帯域で、ブロック単位で同様な処理を進める。ラスタースキャン順序で全ての小ブロックに関して、以上の処理を行う。図12には分割レベルが2レベルの場合の帯域適応処理のフローチャートを示し、LL(2)の小ブロックMB(n)についての予測処理でフレーム間の相関が大きい場合に、HL(2)MB(n)とLH(2)MB(n)およびHH(2)MB(n)について予測処理を行い、さらにフレーム間相関の大小からHL(1)MB(n)とLH(1)MB(n)およびHH(1)MB(n)での予測処理を行うか行わないかを判定する。
【0058】
エントロピー符号化においては、適応予測符号化出力の残差信号またはウェーブレット係数、および動き推定ベクトルを符号化し、符号化ビットストリームを生成する。
【0059】
(実施形態4)
本実施形態例では、前記の第3実施形態例による小ブロック単位処理により符号化された信号の復号化方法を示す。基本構成は、図7または図8に示す第3実施形態例に等しいが、最低周波数帯域以外の処理が小ブロック単位になる点が異なる。
【0060】
最初にエントロピー復号化部30において符号化ビットストリームから残差信号またはウェーブレット係数、および動きベクトルを復号する。引き続き、非可逆符号化の場合には、逆量子化部35においてウェーブレット係数または時空間適応予測による差分信号を逆量子化する。
【0061】
最低周波数帯LL(n)の時空間適応予測復号化部31の処理は、第3実施形態例に全く等しく、前記の非特許文献1に示す方法を利用することができる。
【0062】
次に、復号化された最低周波数帯域の信号をL×L画素の小ブロック単位に分割する。図の左から右、上から下の方向へ向かうラスタースキャンの順で、それぞれの小ブロックのフレーム間相関を計算する。それぞれの小ブロックのフレーム間相関の大きさによって、隣接する帯域LH(n)、HL(n)、HH(n)の対応する空間位置の小ブロックにおいて適応予測復号化化を行うかどうか決定する。すなわち、
フレーム間相関が大きい場合
小ブロック内を時空間適応予測復号化処理し、高帯域への処理に移る。
【0063】
・フレーム間相関が小さい場合
ウェーブレット係数を直接復号化し、残りの高帯域のウェーブレット係数も全て直接復号化し、処理終了する。
【0064】
フレーム間相関が大きい場合、引き続く高周波数帯域で、小ブロック単位で同様な処理を進める。ラスタースキャン順序で全ての小ブロックに関して、これらの処理を行う。図13には分割レベルが2レベルの場合の帯域時空間適応予測復号化処理のフローチャートを示し、LL(2)の小ブロックMB(n)についての予測処理でフレーム間の相関が大きい場合に、HL(2)MB(n)とLH(2)MB(n)およびHH(2)MB(n)について予測処理を行い、さらにフレーム間相関の大小からHL(1)MB(n)とLH(1)MB(n)およびHH(1)MB(n)での予測処理を行うか行わないかを判定する。
【0065】
これら判定処理後、帯域合成部36においては、各帯域の出力を合成して画像を復号化する。
【0066】
(第5実施形態)
本実施形態例では、前記の第1実施形態において、フレーム間相関の大きさとして、以下に示すフレーム間の相関係数Rinterを用いた場合の動画像符号化装置および方法の実施形態を示す。
【0067】
Rinter=Inter/(Inter+Intra)
ここで、Interはインターフレーム処理(3次元予測)の処理回数、Intraはイントラフレーム処理(2次元予測)の処理回数を表す。インターフレーム処理を行うかイントラフレーム処理を行うかは、被符号化画素近傍の2枚の連続するフレーム間の信号値の相関係数によって決定され、相関係数が大きい場合にはインターフレーム処理、小さい場合にはフレーム内処理を行う。
【0068】
したがって、Rinterが大きい場合、すなわち、インターフレーム処理の処理回数が多い場合には、フレーム間相関が大きいと判断する。この最低周波数帯域でのRinter値によって、隣接する帯域LH(n)、HL(n)、HH(n)において適応予測符号化を行うかどうか決定する。すなわち、
・Rinter>=THの場合
時空間適応予測符号化処理し、高帯域への処理に移る。
【0069】
・Rinter<THの場合
ウェーブレット係数を直接符号化し、残りの高帯域のウェーブレット係数も全て直接符号化し、処理終了する。
【0070】
ここで、THは閾値であり、0=<TH=<1の値をとる。
【0071】
Rinter>=THの場合、引き続く高周波数帯域では以下のように処理を進める。
【0072】
・Rinter>=THの場合
時空間適応予測符号化処理し、高帯域への処理に移る。
【0073】
・Rinter<THの場合
ウェーブレット係数を直接符号化し、残りの高帯域のウェーブレット係数も全て直接符号化し、処理終了する。
【0074】
以上の処理を高帯域へ向かって行い、Rinter<THの条件を満足するか、最高周波数帯域HL(1)まで処理を終了するか、いずれかの条件を満足するとLH方向の処理は終了する。以上のLH(n−1)、LH(n−2)、…、LH(1)帯域部の処理を図示したのが図14であり、Rinterによる相関判定部25、26、…の計算結果の大きさによりLH方向の帯域時空間適応予測処理21〜22を行うか行わないかを判断する。HL方向およびHH方向の処理も同様に行うことができる。図15には分割レベルが2レベルの場合の帯域時空間適応予測処理のフローチャートを示し、LL(2)での予測処理でRinter値がTH以上に大きい場合に、HL(2)とLH(2)およびHH(2)について予測処理を行い、さらにRinter値とTHとの大小からHL(1)とLH(1)およびHH(1)での予測処理を行うか行わないかを判定する。
【0075】
以上の方法においては、時空間適応予測を行うかどうかは1レベル低い周波数帯域のRinter値によって決定されるため、この処理においてもエンコーダおよびデコーダで共有した情報を利用でき、新たな付加情報量も必要としない。
【0076】
(第6実施形態)
本実施形態例では、第2実施形態において、フレーム間相関の大きさとして、Rinterを用いた場合の動画像復号化装置および方法の実施形態を示す。Rinterによる相関判定部25、26において最低周波数帯LH(n)におけるRinter値を計算する。この結果で、
・Rinter>=THの場合
時空間適応予測復号化処理し、高帯域への処理に移る。
【0077】
・Rinter<THの場合、ウェーブレット係数を直接復号化し、残りの高帯域のウェーブレット係数も全て直接復号化し、処理終了する。
【0078】
Rinter>=THの場合、引き続く高周波数帯域では以下のように処理を進める。
【0079】
LH方向、HL方向、HH方向の各帯域間で、それぞれ低周波帯域から高周波数帯域へ向かって、1レベル低い周波数帯域におけるRinter値を計算し、その値が、
・Rinter>=THの場合
時空間適応予測復号化処理し、高帯域への処理に移る。
【0080】
・Rinter<THの場合
ウェーブレット係数を直接復号化し、残りの高帯域のウェーブレット係数も全て直接復号化し、処理終了する。
【0081】
なお、LH(n−1)、LH(n−2)、…、LH(1)帯域部の処理例を図16に示した。Rinter<THの条件を満足するかまたは最高周波数帯域LH(1)の処理を終了するか、いずれかの条件を満足すると、LH方向の処理は終了する。HL方向およびHH方向の処理も同様に行うことができる。図17には分割レベルが2レベルの場合の帯域時空間適応復号化処理のフローチャートを示し、LL(2)での予測処理でRinter値がTHより大きい場合に、HL(2)とLH(2)およびHH(2)について予測処理を行い、さらにRinterの大小からHL(1)とLH(1)およびHH(1)での予測処理を行うか行わないかを判定する。
【0082】
(第7実施形態)
本実施形態例では、第3実施形態において、フレーム間相関の大きさとして、Rinterを用いた場合の動画像符号化装置および方法の実施形態を示す。図11の左から右、上から下の方向へ向かうラスタースキャンの順で、それぞれの小ブロックのRinter値を計算する。それぞれの小ブロックのRinter値によって、隣接する帯域LH(n)、HL(n)、HH(n)の対応する空間位置の小ブロックにおいて適応予測符号化を行うかどうか決定する。すなわち、
・Rinter>=THの場合
小ブロック内を時空間適応予測符号化処理し、高帯域への処理に移る。
【0083】
・Rinter<THの場合
ウェーブレット係数を直接符号化し、残りの高帯域のウェーブレット係数も全て直接符号化し、処理終了する。
【0084】
Rinter>=THの場合、引き続く高周波数帯域で、ブロック単位で同様な処理を進める。ラスタースキャン順序で全ての小ブロックに関して、以上の処理を行う。図18には分割レベルが2レベルの場合の帯域時空間適応符号化処理のフローチャートを示し、LL(2)MB(n)での予測処理でRinter値がTHより大きい場合に、HL(2)MB(n)とLH(2)MB(n)およびHH(2)MB(n)について予測処理を行い、さらにRinterの大小からHL(1)MB(n)とLH(1)MB(n)およびHH(1)MB(n)での予測処理を行うか行わないかを判定する。
【0085】
(第8実施形態)
本実施形態例では、第4実施形態において、フレーム間相関の大きさとして、Rinterを用いた場合の動画像復号化装置および方法の実施形態を示す。図11の左から右、上から下の方向へ向かうラスタースキャンの順で、それぞれの小ブロックのRinter値を計算する。それぐれの小ブロックのRinter値によって、隣接する帯域LH(n)、HL(n)、HH(n)の対応する空間位置の小ブロックにおいて適応予測復号化化を行うかどうか決定する。すなわち、
・Rinter>=THの場合
小ブロック内を時空間適応予測復号化処理し、高帯域への処理に移る。
【0086】
・Rinter<THの場合
ウェーブレット係数を直接復号化し、残りの高帯域のウェーブレット係数も全て直接復号化し、処理終了する。
【0087】
Rinter>=THの場合、引き続く高周波数帯域で、小ブロック単位で同様な処理を進める。ラスタースキャン順序で全ての小ブロックに関して、これらの処理を行う。図19には分割レベルが2レベルの場合の帯域時空間適応復号化処理のフローチャートを示し、LL(2)MB(n)での予測処理でRinter値がTHより大きい場合に、HL(2)MB(n)とLH(2)MB(n)およびHH(2)MB(n)について予測処理を行い、さらにRinterの大小からHL(1)MB(n)とLH(1)MB(n)およびHH(1)MB(n)での予測処理を行うか行わないかを判定する。
【0088】
【発明の効果】
以上の説明で明らかなように、本発明によれば、動画像の効率の良い非可逆符号化および可逆符号化ができ、少ないディスク容量で保存が可能となる。さらに、空間解像度スケーラビリティーを有するために、画像表示機器の性能や用途に応じた空間解像度で画像を復号することが可能である。
【0089】
また、低域から任意の帯域まで復号すると原画像よりも低い空間解像度の画像を再生でき、全てのデータを復号すると、原画像と同じ解像度の画像が再生される。画像表示機器の性能や用途に応じて、原画像よりも低い空間解像度の画像を再生したい場合は、必要な帯域までに対応する符号化データの復号のみで済む。原画像と同じ解像度の画像を再生して解像度変換を行うよりも処理時間が短く、また符号化ビットストリームを伝送する場合は必要なデータのみを伝送すれば良いため、伝送レートも小さくなる。
【図面の簡単な説明】
【図1】本発明の第1実施形態における動画像符号化装置・方法の基本構成図(非可逆符号化用)。
【図2】本発明の第1実施形態における動画像符号化装置・方法の基本構成図(可逆符号化用)。
【図3】オクターブ分割による帯域分割の模式図。
【図4】帯域時空間適応予測符号化処理の要部構成図。
【図5】分割帯域のフレーム間相関関係図。
【図6】フレーム間相関による帯域時空間適応予測符号化処理のフローチャート。
【図7】本発明の第2実施形態における動画像復号化装置・方法の基本構成図(非可逆符号化用)。
【図8】本発明の第2実施形態における動画像符号化装置・方法の基本構成図(可逆符号化用)。
【図9】帯域時空間適応予測復号化処理の要部構成図。
【図10】フレーム間相関による帯域時空間適応予測復号処理のフローチャート。
【図11】小ブロック分割帯域のフレーム間相関関係図。
【図12】小ブロックによる帯域時空間適応予測符号化処理のフローチャート。
【図13】小ブロックによる帯域時空間適応予測復号化処理のフローチャート。
【図14】相関係数Rinterによる帯域時空間適応予測符号化処理の要部構成図。
【図15】相関係数Rinterによる帯域時空間適応予測符号化処理のフローチャート。
【図16】相関係数Rinterによる帯域時空間適応予測復号化処理の要部構成図。
【図17】相関係数Rinterによる帯域時空間適応予測復号化処理のフローチャート。
【図18】小ブロックと相関係数Rinterによる帯域時空間適応予測符号化処理のフローチャート。
【図19】小ブロックと相関係数Rinterによる帯域時空間適応予測復号化処理のフローチャート。
【符号の説明】
10…帯域分割部
11〜14、20〜22…帯域時空間適応予測部
15…量子化部
16…エントロピー符号化部
17…フレーム間相関判定部
23、24…フレーム間相関判定部
25、26…Rinterによる相関判定部
30…エントロピー復号化部
31〜34…帯域時空間適応予測復号化部
35…逆量子化部
36…帯域合成部
37…フレーム間相関判定部
40〜42…帯域時空間適応予測復号化部
43、44…フレーム間相関判定部
Claims (16)
- 動画像を対象とする符号化において、原画像を帯域分割し分割した帯域ごとに非線形予測器を用いてフレーム間相関を除去する時空間適応予測において、最低周波数帯域から空間的に同一方向の帯域間に相関があることを利用して該帯域から最低周波数帯域へ向かって1レベル低い周波数帯域のフレーム間相関が高い場合には該帯域を時空間適応予測にて符号化し、フレーム間相関が低い場合には直接符号化することを特徴とする動画像符号化方法。
- 動画像を出力とする復号化において、請求項1記載の動画像符号化方法により符号化された信号を、該帯域から最低周波数帯域へ向かって1レベル低い周波数帯域のフレーム間相関が高い場合には該帯域を時空間適応予測にて復号化し、フレーム間相関が低い場合には直接復号化することを特徴とする動画像復号化方法。
- 請求項1記載の動画像符号化方法において、該帯域から最低周波数帯域へ向かって1レベル低い周波数帯域のインターフレーム処理の割合がイントラフレーム処理に対して高い場合には該帯域を時空間適応予測にて符号化し、インターフレーム処理の割合がイントラフレーム処理に対して低い場合には直接符号化することを特徴とする動画像符号化方法。
- 動画像を出力とする復号化において、請求項3記載の動画像符号化方法により符号化された信号を、該帯域から最低周波数帯域へ向かって1レベル低い周波数帯域のインターフレーム処理の割合がイントラフレーム処理に対して高い場合には該帯域を時空間適応予測にて復号化し、インターフレーム処理の割合がイントラフレーム処理に対して低い場合には直接復号化することを特徴とする動画像復号化方法。
- 動画像を対象とする符号化において、原画像を帯域分割し分割した帯域ごとに非線形予測器を用いてフレーム間相関を除去する時空間適応予測において、時空間予測を行うか直接符号化を行うかを小ブロック単位に判断し、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって1レベル低い周波数帯域における空間的に同一位置にある小ブロックのフレーム間相関が大きい場合には時空間適応予測にて符号化し、フレーム間相関が低い場合には直接符号化することを特徴とする動画像符号化方法。
- 動画像を出力とする復号化において、請求項5記載の動画像符号化方法により符号化された信号を、時空間予測復号を行うか直接復号を行うかを小ブロック単位に判断し、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって1レベル低い周波数帯域における空間的に同一位置にある小ブロックのフレーム間相関が大きい場合には時空間璋応予測にて復号化し、フレーム間相関が低い場合には直接復号化することを特徴とする動画像復号化方法。
- 請求項5記載の動画像符号化方法において、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって1レベル低い周波数帯域における空間的に同一位置にある小ブロック内のインターフレーム処理の割合がイントラフレーム処理に対して高い場合には時空間適応予測にて符号化し、インターフレーム処理の割合がイントラフレーム処理に対して低い場合には直接符号化することを特徴とする動画像符号化方法。
- 動画像を出力とする復号化において、請求項7記載の動画像符号化方法により符号化された信号を、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって1レベル低い周波数帯域における空間的に同一位置にある小ブロック内のインターフレーム処理の割合がイントラフレーム処理に対して高い場合には時空間適応予測にて復号化し、インターフレーム処理の割合がイントラフレーム処理に対して低い場合には直接復号化することを特徴とする動画像復号化方法。
- 動画像を対象とする符号化において、原画像を帯域分割し分割した帯域ごとに非線形予測器を用いてフレーム間相関を除去する時空間適応予測において、最低周波数帯域から空間的に同一方向の帯域間に相関があることを利用して該帯域から最低周波数帯域へ向かって1レベル低い周波数帯域のフレーム間相関が高い場合には該帯域を時空間適応予測にて符号化する手段と、フレーム間相関が低い場合には直接符号化する手段を有することを特徴とする動画像符号化装置。
- 動画像を出力とする復号化において、請求項9記載の動画像符号化装置により符号化された信号を、該帯域から最低周波数帯域へ向かって1レベル低い周波数帯域のフレーム間相関が高い場合には該帯域を時空間適応予測にて復号化する手段と、フレーム間相関が低い場合には直接復号化する手段を有することを特徴とする動画像復号化装置。
- 請求項9記載の動画像符号化において、該帯域から最低周波数帯域へ向かって1レベル低い周波数帯域のインターフレーム処理の割合がイントラフレーム処理に対して高い場合には該帯域を時空間適応予測にて符号化する手段と、インターフレーム処理の割合がイントラフレーム処理に対して低い場合には直接符号化する手段を有することを特徴とする動画像符号化装置。
- 動画像を出力とする復号化において、請求項11記載の動画像符号化装置により符号化された信号を、該帯域から最低周波数帯域へ向かって1レベル低い周波数帯域のインターフレーム処理の割合がイントラフレーム処理に対して高い場合には該帯域を時空間適応予測にて復号化する手段と、インターフレーム処理の割合がイントラフレーム処理に対して低い場合には直接復号化する手段を有することを特徴とする動画像復号化装置。
- 動画像を対象とする符号化において、原画像を帯域分割し分割した帯域ごとに非線形予測器を用いてフレーム間相関を除去する時空間適応予測において、時空間予測を行うか直接符号化を行うかを小ブロック単位に判断し、該帯域の小フロックが該帯域から最低周波数帯域へ向かって1レベル低い周波数帯域における空間的に同一位置にある小ブロックのフレーム間相関が大きい場合には時空間適応予測にて符号化する手段と、フレーム間相関が低い場合には直接符号化する手段を有することを特徴とする動画像符号化装置。
- 動画像を出力とする復号化において、請求項13記載の動画像符号化装置により符号化された信号を、時空間予測復号を行うか直接復号を行うかを小ブロック単位に判断し、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって1レベル低い周波数帯域における空間的に同一位置にある小ブロックのフレーム間相関が大きい場合には時空間適応予測にて復号化する手段と、フレーム間相関が低い場合には直接復号化する手段を有することを特徴とする動画像復号化装置。
- 請求項13記載の動画像符号化において、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって1レベル低い周波数帯域における空間的に同一位置にある小ブロック内のインターフレーム処理の割合がイントラフレーム処理に対して高い場合には時空間適応予測にて符号化する手段と、インターフレーム処理の割合がイントラフレーム処理に対して低い場合には直接符号化する手段を有することを特徴とする動画像符号化装置。
- 動画像を出力とする復号化において、請求項15記載の動画像符号化装置により符号化された信号を、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって1レベル低い周波数帯域における空間的に同一位置にある小ブロック内のインターフレーム処理の割合がイントラフレーム処理に対して高い場合には時空間適応予測にて復号化する手段と、インターフレーム処理の割合がイントラフレーム処理に対して低い場合には直接復号化する手段を有することを特徴とする動画像復号化装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002320771A JP4153774B2 (ja) | 2002-11-05 | 2002-11-05 | 動画像符号化方法とその復号化方法、およびそれらの装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002320771A JP4153774B2 (ja) | 2002-11-05 | 2002-11-05 | 動画像符号化方法とその復号化方法、およびそれらの装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004158946A true JP2004158946A (ja) | 2004-06-03 |
JP4153774B2 JP4153774B2 (ja) | 2008-09-24 |
Family
ID=32801518
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002320771A Expired - Fee Related JP4153774B2 (ja) | 2002-11-05 | 2002-11-05 | 動画像符号化方法とその復号化方法、およびそれらの装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4153774B2 (ja) |
-
2002
- 2002-11-05 JP JP2002320771A patent/JP4153774B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP4153774B2 (ja) | 2008-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2615323C2 (ru) | Способ и устройство для кодирования видео и способ и устройство для декодирования видео | |
KR101973563B1 (ko) | 영상 변환 부호화/복호화 방법 및 장치 | |
JP2005513883A (ja) | スキップマクロブロックコード化 | |
KR20110065089A (ko) | 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치 | |
KR20060119736A (ko) | 영상 신호의 인코딩 방법 | |
KR101700410B1 (ko) | 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치 | |
CN110650337B (zh) | 一种图像编码方法、解码方法、编码器、解码器及存储介质 | |
EP1720356A1 (en) | A frequency selective video compression | |
EP1841235A1 (en) | Video compression by adaptive 2D transformation in spatial and temporal direction | |
WO2014084674A2 (ko) | 잔차 변환을 이용한 인트라 예측 방법 및 장치 | |
KR100714071B1 (ko) | 적응적으로 세분화된 gop 구조를 이용한 mctf-기반동영상 부호화 및복호화 방법 | |
KR102020953B1 (ko) | 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법 및 이를 이용한 영상 재부호화 시스템 | |
JP4153774B2 (ja) | 動画像符号化方法とその復号化方法、およびそれらの装置 | |
JP4522951B2 (ja) | 動画像符号化方法及び装置及び復号化方法及び装置及び動画像処理プログラム及びコンピュータ読み取り可能な記録媒体 | |
KR102111437B1 (ko) | 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치 | |
JP4113696B2 (ja) | 動画像可逆符号化方法とその復号化方法、及びそれらの装置 | |
JP6402520B2 (ja) | 符号化装置、方法、プログラム及び機器 | |
KR20110087871A (ko) | 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치 | |
KR101934840B1 (ko) | 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치 | |
KR101810198B1 (ko) | 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치 | |
JP4511607B2 (ja) | 動画像可逆符号化方法とその復号化方法、及びそれらのプログラム | |
KR20190084929A (ko) | 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치 | |
KR20190004247A (ko) | 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치 | |
Lin et al. | Wavelet based lossless video compression using motion compensated temporal filtering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080408 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080606 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080701 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080704 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130711 Year of fee payment: 5 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |