JP2007150432A - 動画像符号化／復号化方法および装置 - Google Patents

動画像符号化／復号化方法および装置 Download PDF

Info

Publication number
JP2007150432A
JP2007150432A JP2005338775A JP2005338775A JP2007150432A JP 2007150432 A JP2007150432 A JP 2007150432A JP 2005338775 A JP2005338775 A JP 2005338775A JP 2005338775 A JP2005338775 A JP 2005338775A JP 2007150432 A JP2007150432 A JP 2007150432A
Authority
JP
Japan
Prior art keywords
low
motion compensation
pass
pass filter
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005338775A
Other languages
English (en)
Other versions
JP4334533B2 (ja
Inventor
Tadashi Wada
直史 和田
Tomoya Kodama
知也 児玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2005338775A priority Critical patent/JP4334533B2/ja
Priority to US11/561,079 priority patent/US20070116125A1/en
Publication of JP2007150432A publication Critical patent/JP2007150432A/ja
Application granted granted Critical
Publication of JP4334533B2 publication Critical patent/JP4334533B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】動き補償付きの時間方向フィルタにおけるローパスフィルタの高域阻止特性を柔軟に制御する動画像符号化方法を提供する。
【解決手段】ローパスフィルタ処理画像を生成するため画像に動き補償付き時間方向フィルタリングを行い、ローパスフィルタ処理画像の変換係数を量子化し、量子化変換係数を符号化し、動き補償によって生成される動き補償残差の大きさ及び量子化の粗さを表す量子化パラメータに従ってローパスフィルタ係数に付与される重みを算出し、重みによる重み付けローパスフィルタ係数に従ってフィルタ処理のためのローパスフィルタの高域阻止特性を制御し、この制御では、量子化パラメータに対して正の相関を持ち、動き補償残差の大きさに対して負の相関を持つようにローパスフィルタの高域阻止特性を制御する。
【選択図】図１

Description

本発明は、動画像符号化／復号化方法および装置に係わり、特に動き補償付きの時間方向フィルタを用いた動画像符号化／復号化方法及び装置に関する。
近年、動き補償付きの時間方向フィルタ（ＭＣＴＦ：Motion Compensated Temporal Filter）を用いた動画像符号化／復号化手法が注目されている。ＭＣＴＦは、１次元ウェーブレットを用いて動き補償付きの時間方向サブバンド分割を行ない、入力動画像を時間方向に対し高周波成分（予測残差フレーム）と低周波成分（平均フレーム）に分離する手法である。また、復号化側では符号化側と逆に時間方向ウェーブレット合成操作を行うことによって高周波成分と低周波成分を合成し、出力動画像を復元する。ＭＣＴＦを用いた動画像符号化／復号化は、上記操作により時間的なスケーラビリティを得られるだけでなく、符号化効率という面でも有用である。
非特許文献１では、ローパスフィルタの特性を変えることによって全体的な符号化効率を向上させるためにローパスフィルタを適用する画素を含む４×４画素ブロックにおける「対応画素の割合」と「フレームの類似度」に関する値の積を使って、ローパスフレームを求める式の重みＷを決定している。
通常のＭＰＥＧ−２、Ｈ．２６４／ＡＶＣなどと同様にブロックベースで動き補償を行なう場合には、ブロック単位で動きベクトルが割り当てられるため、逆方向の動きベクトルを求めた場合にハイパスフィルタとローパスフィルタの間で対応画素のミスマッチが起こる。この対応画素のミスマッチが符号化効率を低下させる原因となるため、ローパスフィルタを適用する４×４画素ブロック中でミスマッチが起こる画素が多いほどローパスフィルタ係数が小さくなるように重み付けを行なっている。
また、非特許文献２に開示されているハイパスフレームの動き補償残差パワーのみを用いてローパスフィルタ係数にかける重みを決定する手法や、非特許文献３に開示されている動き補償残差の大きさに加えてローパスフレームのアクティビティに従ってローパスフィルタ係数にかける重みを決定する手法がある。
しかし、上記一般的手法は何れも量子化の粗さに基づいてローパスフィルタの高域阻止特性を制御するものではない。
Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG, 14th Meeting: HongKong, CN, 17-21 January, 2005, "JVT-N020d1" N.Mehrseresht and D.Taubman, "Adaptively Weighted Update Steps In Motion Compensated Lifting Based Scalable Video Compression", IEEE International Conference on Image Processing 2003, vol.3, pp771-774, Sep, 2003. D.Maestroni, M.Tagliasacchi and S.Tubaro, "In-band Adaptive Update Step Based On Local Content Activity", Visual Communications and Image Processing 2005, July, 2005.
上述したように、一般的技術では動き補償付きの時間方向フィルタにおけるローパスフィルタの高域阻止特性を量子化の粗さに適応して選択することができないという問題があった。また、動き補償残差及び動きベクトルに係わるローパスフィルタ係数制御を行なう制御関数内のしきい値を複数又は単数のフレーム／フィールド毎に適応的に選択することができないという問題があった。
本発明の第１の形態は、複数の画像を符号化する動画像符号化方法であって、ローパスフィルタ処理された画像を生成するため画像に対して動き補償付き時間方向フィルタリングを行うフィルタリングステップと、ローパスフィルタ処理された画像の変換係数を量子化する量子化ステップと、量子化変換係数を符号化する符号化ステップと、前記動き補償付き時間方向フィルタリングにおける動き補償によって生成される動き補償残差の大きさ及び前記量子化ステップにおける量子化の粗さを表す量子化パラメータに従ってローパスフィルタ係数に付与される重みを算出するステップと、前記重みにより重み付けられた前記ローパスフィルタ係数に従って前記ローパスフィルタ処理のためのローパスフィルタの高域阻止特性を制御する制御ステップとを有し、前記制御ステップは、前記量子化パラメータに対して正の相関を持ち、前記動き補償残差の大きさに対して負の相関を持つように前記ローパスフィルタの高域阻止特性を制御することを特徴とする動画像符号化方法を提供する。
本発明の第２の形態は、受信ビットストリームの複数の画像を復号化する動画像復号化方法であって、ローパス合成フィルタ処理を施した画像を生成するため前記画像に対して動き補償付き時間方向合成フィルタリングを行うフィルタリングステップと、前記ローパス合成フィルタ処理のためのローパス合成フィルタの高域阻止特性を制御する制御ステップと、前記受信ビットストリームから量子化パラメータを取得するステップと、前記受信ビットストリームから動き補償残差を取得するステップとを含み、前記制御ステップは、前記量子化パラメータに対して正の相関を持ち、前記動き補償残差の大きさに対して負の相関を持つように前記ローパスフィルタの高域阻止特性を制御することを特徴とする動画像復号化方法を提供する。
本発明によれば、ローパスフィルタの高域阻止特性を量子化の粗さに基づいて制御することにより符号化効率が向上する。また、ローパスフィルタ係数制御関数におけるしきい値を複数又は単数の画像で適応的に制御することにより符号化効率が向上する。
本発明は、動き補償付きの時間方向フィルタ（ＭＣＴＦ：Motion Compensated Temporal Filter）を用いた動画像符号化／復号化手法を採用しているが、本発明の実施形態を説明するに際してＭＣＴＦを用いた動画像符号化／復号化方法について図１１を用いて説明する。
ＭＣＴＦを用いた動画像符号化は、入力動画像を所定のフレーム数のグループ（ＧＯＰ：Group of Picture）を一つの単位として符号化する。ＧＯＰが８フレームの場合における時間方向サブバンド分割の概念を図１１に示している。
まず、ＧＯＰ内の８枚の入力フレームｆ１〜ｆ８は第１段階の時間方向サブバンド分割により高周波成分であるハイパスフレームＨと、低周波成分であるローパスフレームＬに分けられる。次に、レベル１のローパスフレームのみを用いてさらに時間方向サブバンド分割を行い、レベル２のハイパスフレームＬＨと、ローパスフレームＬＬに分けることができる。このように階層的に分割を行い、最終的に７枚のハイパスフレームＨ、ＬＨ、ＬＬＨと１枚のローパスフレームＬＬＬに分割する。分割したハイパスフレーム、ローパスフレームは各々のフレーム毎に変換、量子化、エントロピー符号化し、ビットストリームに多重化して出力する。
一方、上記ビットストリームを受信した復号化側は、エントロピー復号化、逆量子化、逆変換を行い１枚のローパスフレームと７枚のハイパスフレーム（それぞれ量子化誤差を含む）を復元した後、それらのフレームを基に図１１のレベル３からレベル１へ階層を逆方向に辿って合成することによって出力画像を得る。
図１２を参照してハイパスフレームとローパスフレームに分割する方法および出力画像を合成する方法について詳細に説明する。図１２は、フレームＡとフレームＢに動き補償付きの時間方向フィルタを適用した例、ここでは一般的に用いられるフィルタの一例としてＨａａｒフィルタの例を示している。なお、本例ではハイパスフィルタとローパスフィルタを段階的に適用するリフティング操作によってフィルタ処理を行なっており、図１２はリフティング操作を説明する一般的な図である。
まず、符号化側において、動き推定によりフレームＡとフレームＢの間の動きベクトルを生成する。
Figure 2007150432
生成したハイパスフレームｈに対して動きベクトルの符号を逆にした逆方向動きベクトルに基づいて動き補償を行なったフレームｈ^を生成した後、次式（２）に基づいてローパスフレームｌを求める。
Figure 2007150432
式（１）（２）から分かるように、動き補償を無視して考えるならば、ハイパスフレームｈはフレームＡとフレームＢの予測残差を表し、ローパスフレームｌはフレームＡとフレームＢの平均を表している。また、復号化側では符号化側と逆の操作で出力画像を得ることができる。復号化側でハイパスフレームｈ’、ローパスフレームｌ’（ｈ、ｌにおいて量子化誤差を含んだもの）を用いてフレームＡ’とフレームＢ’を復元する式を次式（３）（４）に示す。
Figure 2007150432
Figure 2007150432
上記のように、ＭＣＴＦを用いた動画像符号化では、複数フレームを平均化したローパスフレームｌを生成している点が通常の符号化方式であるＭＰＥＧ−２やＨ．２６４／ＡＶＣなどと大きく異なり、例えば図１３に示したような、時間的にランダムなノイズ（例えば映画のフィルムグレインノイズなど）を含むシーケンスの場合には、時間的ノイズを予測残差成分として抽出したハイパスフレームと、複数フレームを平均化することによって時間的ノイズを低減したローパスフレームを別々に符号化することによって高い符号化効率を得ることができる。
また、上述した一般的なＭＣＴＦを用いた動画像符号化に対し、ローパスフィルタの特性を変えることによって全体的な符号化効率が向上することがいくつか報告されている。ローパスフィルタをかけることによって例えばＨａａｒフィルタを用いた場合には、式（２）をローパスフィルタ係数にかける重みＷ（０≦Ｗ≦１）を用いて次式（５）のように変更できる。
Figure 2007150432
図１４に量子化の粗さを表す量子化パラメータＱＰが２０と３２の場合を例として、動き補償残差の大きさに基づいてローパスフィルタ係数にかかる重みＷを変化させた場合のビットレートとＰＳＮＲの関係をそれぞれローパスフィルタ係数にかかる重みが０のときを基準としてプロットしたグラフを示す。図１４より、量子化パラメータＱＰの違いによって最適点は異なり、量子化パラメータＱＰとローパスフィルタ係数にかかる最適な重みＷとの間には正の相関があることが分かる。
以下、本発明の実施形態について図を参照して説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係わる動画像符号化装置を示すブロック図である。
図１に示す動画像符号化装置１００は、フレームバッファ１０１、動き補償時間フィルタ部１０２、ローパスフィルタ係数制御部１０３、ローパスフィルタ部１０４、ハイパスフィルタ部１０５、動き推定部１０６、変換・量子化部１０７、エントロピー符号化部１０８を有し、符号化制御部１１０によって制御される。この符号化制御部１１０は、例えばハイパスフレームおよびローパスフレームにおける量子化パラメータ制御等を行い、符号化全体の制御を行なう。
フレームバッファ１０１は、入力動画像から符号化する１ＧＯＰ分のフレームを取り込み記憶する、または動き補償時間フィルタ部１０２で生成されたローパスフレームをさらに時間方向の高周波成分と低周波成分に分割する場合に、生成されたローパスフレームを取り込み格納する。
動き推定部１０６は、フレームバッファ１０１に格納されたフレームと参照画像を用いて、動き補償時間フィルタ部１０２内のハイパスフィルタ部１０５で予測残差信号を生成するために動き推定を行い、動きベクトルを生成する。動き補償時間フィルタ部１０２は、ローパスフィルタ係数制御部１０３、ローパスフィルタ部１０４、ハイパスフィルタ部１０５を有し、フレームバッファ１０１から取得したフレームに対し、動き推定部１０６で生成した動きベクトルを用いて動き補償付きの時間方向フィルタを適用し、ハイパスフレームとローパスフレームを生成する処理を行なう。生成されたハイパスフレームは変換・量子化部１０７へ送られる。また、ローパスフレームは再び動き補償時間フィルタを適用し時間分割するためフレームバッファ１０１へ送られるか、或いは、これ以上時間分割しない場合は変換・量子化部１０７へ送られる。
ハイパスフィルタ部１０５は、フレームバッファ１０１から取得したフレームに対し、動き推定部１０６で生成した動きベクトルを用いて動き補償を行い、所定のハイパスフィルタ係数を用いてフィルタリングを行うことによって予測残差信号であるハイパスフレームを生成する。ローパスフィルタ部１０４は、取得したフレームに対して逆方向動きベクトルを用いて動き補償を行ない、ローパスフィルタ係数制御部１０３で決定されたローパスフィルタ係数を用いてローパスフレームを生成する。ローパスフィルタ係数制御部１０３は、動き補償残差及び動きベクトルに加え、符号化制御部１１０から量子化パラメータ或いはしきい値を取得し、それらに基づいてローパスフィルタの高域阻止特性を制御し、また、しきい値を複数又は単数のフレーム／フィールド毎にエントロピー符号化部１０８へ出力する。
変換・量子化部１０７は、動き補償時間フィルタ部１０２から取得したフレームに対し、変換（例えば離散コサイン変換）を行い、算出した変換係数を決められた量子化パラメータに基づいて量子化し、量子化した変換係数をエントロピー符号化部１０８へ出力する。エントロピー符号化部１０８は、変換・量子化部１０７から取得した量子化後の変換係数、動き推定部１０６で生成した動きベクトル、予測モード、量子化パラメータ、しきい値等の情報を符号化し、ビットストリームに多重化して出力する。ここで、ビットストリームに多重化する情報は、必ずしもエントロピー符号化する必要はない。
上記構成を有する動画像符号化装置１００において、本発明に係わるローパスフィルタ係数制御部１０３及びローパスフィルタ部１０４で実行される処理を図２のフローチャートを参照して説明する。
ここでは、各４×４画素ブロックにおけるローパスフィルタ係数にかかる重みＷを決定し、それに従って時間方向ローパスフィルタを適用する処理を示す。なお、ローパスフィルタ係数にかかる重みＷは、次式（６）（７）により求められる。
Figure 2007150432
Figure 2007150432
ここで、式（６）のmax(0,min(8,N-TH1))は「対応画素の割合」に関する重みを表し、０から８の値をとる。Ｎは４×４画素ブロック中の「対応画素数」で０≦Ｎ≦１６の範囲の整数値をとる。また、数６式のmax (0,min(16, TH2-E))は「フレームの類似度」に関する重みを表し、０から１６の値をとる。「フレームの類似度」は動き推定がどれだけ正しく動きを表現できているかを動き補償残差のパワーを用いて評価しており、Ｅの値に基づいて決められる。Ｅは式（７）で表され、ハイパスフレームにおける画素ブロックｂ（ここでは４×４画素ブロックを用いているので１６画素）中の各画素の動き補償残差パワーの和に基づいて決定される。動き推定の正確さが十分でない場合などは動き補償残差が大きくなり、それを用いてローパスフィルタを適用するとローパスフレームの符号化効率が著しく低下することから、動き補償残差のパワーが大きい画素ブロックではローパスフィルタ係数が小さくなるように重み付けを行なっている。
まず、ローパスフィルタを適用するフレームＡおよび参照するハイパスフレームｈが入力されてローパスフィルタリング処理が開始される（ステップＳ２００）。ここで、フレームＡは入力画像或いは動き補償時間フィルタによって生成されたローパスフレームである。
次に、動き推定部１０６で生成した動きベクトルの符号を反転し、符号反転動きベクトルをフレームＡの各ブロックに割り当てることによりローパスフィルタ用の逆方向動きベクトルを取得する（ステップＳ２０１）。ステップＳ２０１で求めた逆方向動きベクトルに基づいて、フレームＡ内の各々のブロック毎に対応画素数Ｎを検出する（ステップＳ２０２）。この逆方向動きベクトルを用いてハイパスフレームｈに動き補償を適用する（ステップＳ２０３）。
フレームＡの各ブロックに対応する動き補償後のハイパスフレームｈ^における動き補償残差の大きさＥを式（７）に基づいて計算する（ステップＳ２０４）。対応画素数Ｎに関するしきい値ＴＨ１を式（６）にセットする（ステップＳ２０５）。ここで、ＴＨ１は０から１５の範囲の整数値をとる。例えば初期値として０をセットするか、一般的手法と同様に８をセットしても良い。
符号化制御部１１０から量子化パラメータＱＰを取得する（ステップＳ２０６）。量子化パラメータＱＰは量子化の粗さを表し、ここでは通常の符号化方式Ｈ．２６４／ＡＶＣと同様に０から５１までの値をとる。取得するＱＰは、例えば、何らかの予測によって求められるＱＰであっても良く、或いは、参照するハイパスフレームｈを量子化する際のＱＰであっても良い。
ステップＳ２０６で取得したＱＰに基づいて、予め定められたテーブルを参照し、Ｅに関するしきい値である式（６）におけるＴＨ２を取得する（ステップＳ２０７）。ここで用いる参照テーブルの例が図３に示されている。図３のテーブルにおいて、例えばＱＰの０．．．３はＱＰが０から３までの値（０、１、２、３）であることを示している。ＱＰに対応してＴＨ２が示され、ＱＰ：０．．．３に対応するＴＨ２は１２であることを示している。
上記のように取得したＴＨ２を式（６）にセットする（ステップＳ２０８）。ステップＳ２０５、ステップＳ２０８でセットしたしきい値ＴＨ１、ＴＨ２によって決められた式（６）に従って、ローパスフィルタ係数にかかる重みＷを算出する（ステップＳ２０９）。このステップＳ２０９でフレームＡの全てのブロックに対して重みＷを求めた後、フレームＡの全ての画素でローパスフィルタを適用し（ステップＳ２１０）、ローパスフレームを生成する（ステップＳ２１１）。
ステップＳ２１２では、ステップＳ２１１で出力したローパスフレームが最適なものであるかを評価する。評価手法は、例えば、全てのＴＨ１（０から１５の整数値）についてステップＳ２０５からステップＳ２１１の処理を行い、ローパスフレームの符号量と歪みによって計算される次式（８）のコスト関数を用いて評価し、最適なＴＨ１を選択しても良い。
Figure 2007150432
ここでＤは歪みを表し、Ｒは符号量を表している。このようにして得られた符号化コストに基づいてコストが最小になるようなＴＨ１を選択する。最適なＴＨ１が決定したならば、ＴＨ１をエントロピー符号化部１０８へ送る（ステップＳ２１３）。
しきい値ＴＨ１の符号化方法について説明する。図４〜図６に本実施の形態で画像毎、例えばフレーム毎又はフィールド毎に決定されるしきい値ＴＨ１を符号化し、ビットストリームに多重化する際のシンタクス情報を示す。図４のシーケンスヘッダ内に示されるex_lowpass_filter_in_pic_flagは、しきい値ＴＨ１をフレーム毎に符号化するかどうかを示すフラグであり、このフラグが１の場合、しきい値ＴＨ１はフレーム毎に変更することができる。一方、ex_lowpass_filter_in_slice_flagは、しきい値ＴＨ１をフィールド毎に符号化するかどうかを示すフラグであり、このフラグが１の場合、しきい値ＴＨ１はフィールド毎に変更することができる。図４で示されるex_lowpass_filter_in_pic_flagが１の場合、図５のピクチャヘッダ内でpic_lowpass_filter_thresholdが符号化される。同様に、図４で示されるex_lowpass_filter_in_slice_flagが１の場合、図６のスライスヘッダ内でslice_lowpass_filter_thresholdが符号化される。
ステップＳ２００からステップＳ２１３の処理は、ステップＳ２１２による最適化処理を行なわずにステップＳ２０５で所定のしきい値ＴＨ１（例えば、一般的手法の８）を用いても良く、その場合はステップＳ２１３でしきい値をエントロピー符号化部１０８へ送る必要はなくなる。また、ステップＳ２０６及びステップＳ２０７の処理を行なわず、しきい値ＴＨ２に基づいてステップＳ２１２で最適化処理を行なうことによってＴＨ２を決定しても良く、その場合はステップＳ２１３でＴＨ２をエントロピー符号化部１０８へ送る。
このように、第１の実施形態に係わる動画像符号化装置によれば、しきい値ＴＨ１および量子化パラメータによって決定されるしきい値ＴＨ２に基づいてローパスフィルタの高域阻止特性をフレーム又はフィールド毎に適応的に選択することにより、符号化効率を向上させることが可能となる。
（第２の実施形態）
図７は、本発明の第２の実施形態を示すブロック図である。本実施の形態では、第１の実施形態における動き補償時間フィルタリングの時間方向ローパスフィルタを通常の動画像符号化方式（例えばＨ．２６４／ＡＶＣ）の前処理として実行する装置構成となっている。
図７における動き推定部１０６、動き補償時間フィルタ部１０２、ローパスフィルタ係数制御部１０３、ローパスフィルタ部１０４、ハイパスフィルタ部１０５、動き推定部１０６は第１の実施形態と同様の構成要素であり、ローパスフィルタ係数制御部１０３、ローパスフィルタ部１０４における処理は図２のフローチャートで示しているものと同様であるため、ここではその説明を省略する。
フレームバッファ７０１は、入力動画像から符号化する１ＧＯＰ分のフレームを取得するか、又は、動き補償時間フィルタ部１０２で生成されたローパスフレームを取得する。動画像符号化装置７００は、フレームバッファ７０１から取得する、動き補償時間フィルタ部１０２で時間方向ローパスフィルタを適用した後の１ＧＯＰ分のフレームを符号化する。
動き補償部７０２は、動き推定部７０３で生成した動きベクトルに従って、後述する参照フレームバッファ７０６に格納されているフレームを用いて動き補償を行なう。動き推定部７０３は、フレームバッファ７０１に格納されているフレームにおいて動き推定を実行し、動きベクトルを検出する。
変換・量子化部７０４は、取得した予測残差信号に対し、変換（例えば離散コサイン変換）を行い、算出した変換係数に対して符号化制御部７１０で決められた量子化パラメータに基づいて量子化し、量子化した変換係数をエントロピー符号化部７０７へ出力する。
逆変換・逆量子化部７０５は、変換・量子化部７０４で変換、量子化した予測残差信号を逆変換、逆量子化する。参照フレームバッファ７０６は、逆量子化、逆変換後の予測残差信号を基に復元したフレームを参照フレームとして格納する。
エントロピー符号化部７０７は、変換・量子化部７０４から取得する量子化後の変換係数、動き推定部７０３で生成する動きベクトル、予測モード、量子化パラメータ、しきい値等の情報を符号化し、ビットストリームに多重化して出力する。ここで、ビットストリームに多重化する情報は、必ずしもエントロピー符号化する必要はない。
上記構成要素によって、動画像符号化装置７００は、第１の実施形態で示した動き補償時間フィルタリングの時間方向ローパスフィルタを前処理として適用したフレームに対して、例えばＭＰＥＧ−２、Ｈ．２６４／ＡＶＣのような動画像符号化装置におけるようなローカルデコード画像を生成する処理を有する通常の動画像符号化を行なう。また、動き補償時間フィルタリングで用いたローパスフィルタの高域阻止特性を決めるしきい値をビットストリームに多重化して送信する。また、動き補償時間フィルタ部１０２で用いる量子化パラメータは予測によって決定される量子化パラメータを用いて良い。なお、符号化制御部７１０は、動画像符号化装置７００全体の制御を行なう。
このように、第２の実施形態に係わる動画像符号化装置によれば、時間方向ローパスフィルタを適用した後のフレームに対して通常の動画像符号化を行なうことによって、一般的符号化方式に比べて符号化効率を向上させることが可能であると共に、時間方向ローパスフィルタの高域阻止特性を柔軟に制御することができる。さらに、ビットストリームにローパスフィルタの高域阻止特性を決定するしきい値を多重化することによって、後述する第４の実施形態の動画像復号化装置で利用することができる。
（第３の実施形態）
図８は、本発明の第３の実施形態に係わる動画像復号化装置を示すブロック図である。図８に示す動画像復号化装置８００は、フレームバッファ８０１、動き補償時間合成フィルタ部８０２、ローパス合成フィルタ係数制御部８０３、ローパス合成フィルタ部８０４、ハイパス合成フィルタ部８０５、逆変換・逆量子化部８０７、エントロピー復号化部８０８を有し、復号化制御部８１０によって制御される。
エントロピー復号化部８０８は、ビットストリームから取得した量子化変換係数、動きベクトル、予測モード、量子化パラメータ、しきい値等の情報を復号し、再生する。逆変換・逆量子化部８０７は、エントロピー復号化部８０８から取得した量子化パラメータに基づいて、量子化変換係数に対し逆量子化を行い、生成した変換係数に対して逆変換を施してハイパスフレームとローパスフレーム（量子化誤差を含む）を復元する。
フレームバッファ８０１は、逆変換・逆量子化部８０７から１ＧＯＰ分のハイパスフレーム及びローパスフレームを取得する。また、このフレームバッファ８０１は、動き補償時間合成フィルタ部８０２で生成されたローパスフレームを用いてさらに合成処理を行なう場合、動き補償時間合成フィルタ部８０２からローパスフレームを取得する。
動き補償時間合成フィルタ部８０２は、ローパスフィルタ係数制御部８０３、ローパスフィルタ部８０４、ハイパスフィルタ部８０５を有し、フレームバッファ８０１から取得したフレームに対し、エントロピー復号化部８０８から取得した動きベクトルを用いて動き補償付きの時間方向サブバンド合成を適用し、ハイパスフレームとローパスフレームを合成する処理を行なう。合成されたフレームはそのまま出力画像として出力されるか、又は、再び動き補償時間合成フィルタを適用するためフレームバッファ８０１へ送られる。具体的な合成処理は例えば時間方向フィルタとしてＨａａｒフィルタを用いた場合、式（３）（４）を変更した次式（９）（１０）に従って時間方向合成フィルタリングを行なう。
Figure 2007150432
Figure 2007150432
ローパス合成フィルタ係数制御部８０３は、エントロピー復号化部８０８で再生される量子化パラメータ或いは複数又は単数のフレーム／フィールド毎に再生されるしきい値を取得し、それらに基づいてローパス合成フィルタの特性を制御する。
ローパス合成フィルタ部８０４は、取得したフレームに対してローパス合成フィルタを適用するための逆方向動きベクトルを求め、動き補償を行ない、ローパス合成フィルタ係数制御部８０３で決定されたローパス合成フィルタ係数を用いて、例えば、式（９）に従って合成処理を行なう。
ハイパス合成フィルタ部８０５は、フレームバッファ８０１から取得したフレームに対し、エントロピー復号化部８０８から取得した動きベクトルを用いて動き補償を行い、所定のハイパス合成フィルタ係数を用いて、例えば、式１０に従って合成処理を行なう。
上記構成を有する動画像復号化装置８００において、本発明に係わるローパス合成フィルタ係数制御部８０３及びローパス合成フィルタ部８０４で実行される処理を図９のフローチャートを参照して説明する。
ここでは、ローパス合成フィルタ係数にかかる重みＷを決定し、それに従って時間方向ローパス合成フィルタを適用する処理を示す。また、重みＷは符号化側と同様に式（６）によって求めることができる。
ローパス合成フィルタを適用するローパスフレームｌ’および参照するハイパスフレームｈ’を含むビットストリームが動画像符号化装置８００に入力されてフィルタリング処理が開始される（ステップＳ９００）。この後、エントロピー復号化部８０８から取得した動きベクトルの符号を反転し、ローパスフレームｌ'の各ブロックに割り当てることによりローパス合成フィルタ用の逆方向動きベクトルを取得する（ステップＳ９０１）。このステップＳ９０１で求めた逆方向動きベクトルに基づいてフレームｌ’の各々のブロック毎に対応画素数Ｎを検出する（ステップＳ９０２）。
次に、逆方向動きベクトルを用いてハイパスフレームｈ'に動き補償を適用する（ステップＳ９０３）。この後、フレームｌ'の各ブロックに対応する動き補償後のハイパスフレームｈ^'における動き補償残差の大きさＥを式（７）に基づいて計算し、取得する（ステップＳ９０４）。
対応画素数Ｎに関するしきい値ＴＨ１をエントロピー復号化部８０８から取得し、セットする（ステップＳ９０５）。しきい値ＴＨ１は、符号化側と同様に図４〜図６のシンタクス構造によって定義されており、複数又は単数フレーム／フィールド毎に与えられる。また、ＴＨ１が与えられていないときは一般的手法と同様に８をセットしても良い。エントロピー復号化部８０８から量子化パラメータＱＰを取得する（ステップＳ９０６）。続いて、予め定められたテーブルを参照し、Ｅに関するしきい値であるＴＨ２を取得し（ステップＳ９０７）、取得したＴＨ２を式（６）にセットする（ステップＳ９０８）。ここで、参照するテーブルは符号化側と同様のものを復号化側でも予め用意しておく。
ステップＳ９０５、ステップＳ９０８でセットされるしきい値ＴＨ１、ＴＨ２によって決定した式（６）に従って、ローパス合成フィルタ係数にかかる重みＷを算出する（ステップＳ９０９）。このステップＳ９０９でフレームｌ’の全てのブロックに対して重みＷが求めた後、重みＷを用いてローパス合成フィルタを適用し（ステップＳ９１０）、合成後の出力画像又はローパスフレームを出力する（ステップＳ９１１）。
このように、第３の実施形態に係わる動画像復号化装置によれば、符号化側で決められた時間方向ローパスフィルタの高域阻止特性を基に、復号化側においても量子化の粗さや、複数又は単数フレーム／フィールド毎に適応的なローパス合成フィルタを実現することができる。
（第４の実施形態）
図１０は、本発明の第４の実施形態を示すブロック図である。本実施の形態では、第３の実施形態における動き補償時間合成フィルタリングの時間方向ローパス合成フィルタを、通常の動画像復号化方式の後処理として実行する装置構成となっている。
動画像復号化装置１０００は、受信したビットストリームに対して例えば一般的なＨ．２６４／ＡＶＣ等の復号化方法に従って復号化処理を行ない、復号化後の画像をフレームバッファ１００１へ出力する。エントロピー復号化部１００５は、ビットストリームから取得した量子化変換係数、動きベクトル、予測モード、量子化パラメータ、しきい値等の情報を復号し、再生する。逆変換・逆量子化部１００４は、エントロピー復号化部１００５から取得した量子化パラメータに基づいて、量子化変換係数に対し逆量子化を行い、生成した変換係数に対して逆変換を施して予測残差信号（量子化誤差を含む）を復元する。
動き補償部１００２は、エントロピー復号化部１００５から取得した動きベクトルに従って参照フレームバッファ１００３に格納されているフレームについて動き補償を行なう。参照フレームバッファ１００３は、逆変換・逆量子化後の予測残差信号に基づいて再生される参照フレームを格納する。復号化制御部１１００は、動画像復号化装置１０００全体の制御を行なう。
フレームバッファ１００１は、動画像復号化装置１０００で出力された１ＧＯＰ分の復号化フレームを取得するか、又は、逆変換・逆量子化部１００４で生成した予測残差信号を取得するか、又は、動き補償時間合成フィルタ部８０２で生成されたフレームを取得する。
動き補償時間合成フィルタ部８０２は、フレームバッファ１００１から取得した復号化画像及び予測残差信号に加え、エントロピー復号化部１００５から取得した動きベクトル情報を用いてローパス合成フィルタを適用する処理を行なう。
ローパス合成フィルタ係数制御部８０３、ローパス合成フィルタ部８０４は第３の実施形態と同様の構成要素であり、ローパス合成フィルタ係数制御部８０３、ローパス合成フィルタ部８０４における処理は図９のフローチャートで示しているものと同様であるため、ここではその説明を省略する。
このように、第４の実施形態に係わる動画像復号化装置によれば、通常の動画像復号化手法で復元されたフレームに対して、第３の実施形態で示した動き補償時間合成フィルタリングのローパス合成フィルタを後処理として実行することができる。例えば、第２の実施形態で符号化した動画像に対して、ローパスフィルタ係数制御情報を取得することによって、符号化側のローパスフィルタの高域阻止特性に基づいて後処理としての時間方向ローパス合成フィルタリング処理を行なうことができる。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
本発明の第１の実施形態に係わる動画像符号化装置の構成を示すブロック図。 本発明の第１の実施形態に係わる動画像符号化装置の処理フロー。 量子化パラメータＱＰに基づいてしきい値ＴＨ２を決めるテーブル。 本発明の第１の実施形態に係わるシーケンスヘッダのデータ構造を示す図。 本発明の第１の実施形態に係わるピクチャヘッダのデータ構造を示す図。 本発明の第１の実施形態に係わるスライスヘッダのデータ構造を示す図。 本発明の第２の実施形態に係わる動画像符号化装置の構成を示すブロック図。 本発明の第３の実施形態に係わる動画像復号化装置の構成を示すブロック図。 本発明の第３の実施形態に係わる動画像復号化装置の処理フロー。 本発明の第４の実施形態に係わる動画像復号化装置の構成を示すブロック図。 動き補償時間フィルタを用いた時間方向サブバンド分割を示す図。 動き補償時間フィルタにおけるリフティング操作による符号化、復号化を示す図。 ノイズを含む画像における動き補償時間フィルタの効果を示す図。 ローパスフィルタ係数にかかる重みの変化に対するＰＳＮＲおよびビットレートの変化を示す図。
符号の説明
１００・・・動画像符号化装置
１０１・・・フレームバッファ
１０２・・・動き補償時間フィルタ部
１０３・・・ローパスフィルタ係数制御部
１０４・・・ローパスフィルタ部
１０５・・・ハイパスフィルタ部
１０６・・・動き推定部
１０７・・・変換・量子化部
１０８・・・エントロピー符号化部
１１０・・・符号化制御部

Claims (10)

  1. 複数の画像を符号化する動画像符号化方法であって、
    ローパスフィルタ処理された画像を生成するため画像に対して動き補償付き時間方向フィルタリングを行うフィルタリングステップと、
    ローパスフィルタ処理された画像の変換係数を量子化する量子化ステップと、
    量子化変換係数を符号化する符号化ステップと、
    前記動き補償付き時間方向フィルタリングにおける動き補償によって生成される動き補償残差の大きさ及び前記量子化ステップにおける量子化の粗さを表す量子化パラメータに従ってローパスフィルタ係数に付与される重みを算出するステップと、
    前記重みにより重み付けられた前記ローパスフィルタ係数に従って前記ローパスフィルタ処理のためのローパスフィルタの高域阻止特性を制御する制御ステップと、
    を有し、前記制御ステップは、前記量子化パラメータに対して正の相関を持ち、前記動き補償残差の大きさに対して負の相関を持つように前記ローパスフィルタの高域阻止特性を制御することを特徴とする動画像符号化方法。
  2. 前記制御ステップは、前記ローパスフィルタの高域阻止特性を制御するために、前記量子化パラメータに基づく予め定められたテーブルを参照することによって、前記動き補償残差の大きさと、前記テーブルに従って選択される所定のしきい値とに基づいてローパスフィルタ係数を決定することを特徴とする請求項１記載の動画像符号化方法。
  3. 複数の画像を符号化する動画像符号化方法であって、
    ローパスフィルタ処理された画像を生成するため画像に対して動き補償付き時間方向フィルタリングを行うフィルタリングステップと、
    前記ローパスフィルタの高域阻止特性を制御する制御ステップと、
    前記動き補償付き時間方向フィルタリングにおける動き補償によって生成される動き補償残差の大きさを検出するステップと、
    前記動き補償付き時間方向フィルタリングにおける動き補償で用いられる動きベクトルを検出するステップと、
    所定のしきい値を発生するステップと、
    前記所定のしきい値を複数又は単数の画像毎に動的に選択するステップと、
    前記動き補償残差の大きさ、前記動きベクトル及び前記所定のしきい値に基づいて前記ローパスフィルタ係数を算出するステップと、
    前記所定のしきい値を符号化してビットストリームに多重化するステップと、
    を有することを特徴とする動画像符号化方法。
  4. 受信ビットストリームの複数の画像を復号化する動画像復号化方法であって、
    ローパス合成フィルタ処理を施した画像を生成するため前記画像に対して動き補償付き時間方向合成フィルタリングを行うフィルタリングステップと、
    前記ローパス合成フィルタ処理のためのローパス合成フィルタの高域阻止特性を制御する制御ステップと、
    前記受信ビットストリームから量子化パラメータを取得するステップと、
    前記受信ビットストリームから動き補償残差を取得するステップと、
    を含み、前記制御ステップは、前記量子化パラメータに対して正の相関を持ち、前記動き補償残差の大きさに対して負の相関を持つように前記ローパスフィルタの高域阻止特性を制御することを特徴とする動画像復号化方法。
  5. 前記制御ステップは、前記ローパス合成フィルタの高域阻止特性を制御するために、前記量子化パラメータに基づく予め定められたテーブルを参照することによって、前記動き補償残差の大きさと、前記テーブルに従って選択される所定のしきい値とに基づいてローパス合成フィルタ係数を算出することを特徴とする請求項４記載の動画像復号化方法。
  6. 受信ビットストリームの複数の画像を復号化する動画像復号化方法であって、
    ローパス合成フィルタ処理を施した画像を生成するため前記画像に対して動き補償付き時間方向合成フィルタリングを行うフィルタリングステップと、
    前記ローパス合成フィルタ処理のためのローパス合成フィルタの高域阻止特性を制御する制御ステップと、
    前記受信ビットストリームから量子化パラメータを取得するステップと、
    前記受信ビットストリームから動き補償残差を取得するステップと、
    前記受信ビットストリームから所定のしきい値を取得するステップと、
    を含み、前記制御ステップは、前記動き補償残差の大きさ、前記動きベクトル及び前記所定のしきい値に基づいて前記ローパス合成フィルタの高域阻止特性を制御することを特徴とする動画像復号化方法。
  7. 複数の画像を符号化する動画像符号化装置であって、
    ローパスフィルタ処理された画像を生成するため画像に対して動き補償付き時間方向フィルタリングを行うフィルタ部と、
    ローパスフィルタ処理された画像の変換係数を量子化する量子化部と、
    量子化変換係数を符号化する符号化部と、
    前記動き補償付き時間方向フィルタリングにおける動き補償によって生成される動き補償残差の大きさ及び前記量子化部による量子化の粗さを表す量子化パラメータに従ってローパスフィルタ係数に付与される重みを算出する係数算出部と、
    前記重みにより重み付けられた前記ローパスフィルタ係数に従って前記ローパスフィルタ処理のためのローパスフィルタの高域阻止特性を制御する制御部と、
    を具備し、前記制御部は、前記量子化パラメータに対して正の相関を持ち、前記動き補償残差の大きさに対して負の相関を持つように前記ローパスフィルタの高域阻止特性を制御することを特徴とする動画像符号化装置。
  8. 複数の画像を符号化する動画像符号化装置であって、
    ローパスフィルタ処理された画像を生成するため画像に対して動き補償付き時間方向フィルタリングを行うフィルタ部と、
    前記ローパスフィルタの高域阻止特性を制御する制御部と、
    前記動き補償付き時間方向フィルタリングにおける動き補償によって生成される動き補償残差の大きさを検出する動き補償残差検出部と、
    前記動き補償付き時間方向フィルタリングにおける動き補償で用いられる動きベクトルを検出する動きベクトル検出部と、
    所定のしきい値を発生するしきい値生成部と、
    前記所定のしきい値を複数又は単数の画像毎に動的に選択する選択部と、
    前記動き補償残差の大きさ、前記動きベクトル及び前記所定のしきい値に基づいて前記ローパスフィルタ係数を算出する算出部と、
    前記所定のしきい値を符号化してビットストリームに多重化する多重化部と、
    を具備することを特徴とする動画像符号化装置。
  9. 受信ビットストリームの複数の画像を復号化する動画像復号化装置であって、
    ローパス合成フィルタ処理を施した画像を生成するため前記画像に対して動き補償付き時間方向合成フィルタリングを行う合成フィルタ部と、
    前記ローパス合成フィルタ処理のためのローパス合成フィルタの高域阻止特性を制御する制御部と、
    前記受信ビットストリームから量子化パラメータを検出する量子化パラメータ検出部と、
    前記受信ビットストリームから動き補償残差を検出する動き補償残差検出部と、
    を具備し、前記制御部は、前記量子化パラメータに対して正の相関を持ち、前記動き補償残差の大きさに対して負の相関を持つように前記ローパスフィルタの高域阻止特性を制御することを特徴とする動画像復号化装置。
  10. 受信ビットストリームの複数の画像を復号化する動画像復号化装置であって、
    ローパス合成フィルタ処理を施した画像を生成するため前記画像に対して動き補償付き時間方向合成フィルタリングを行う合成フィルタ部と、
    前記ローパス合成フィルタ処理のためのローパス合成フィルタの高域阻止特性を制御する制御部と、
    前記受信ビットストリームから量子化パラメータを検出する量子化パラメータ検出部と、
    前記受信ビットストリームから動き補償残差を検出する動き補償残差検出部と、
    前記受信ビットストリームから所定のしきい値を検出するしきい値検出部と、
    を含み、前記制御部は、前記動き補償残差の大きさ、前記動きベクトル及び前記所定のしきい値に基づいて前記ローパス合成フィルタの高域阻止特性を制御することを特徴とする動画像復号化方法。
JP2005338775A 2005-11-24 2005-11-24 動画像符号化／復号化方法および装置 Expired - Fee Related JP4334533B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005338775A JP4334533B2 (ja) 2005-11-24 2005-11-24 動画像符号化／復号化方法および装置
US11/561,079 US20070116125A1 (en) 2005-11-24 2006-11-17 Video encoding/decoding method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005338775A JP4334533B2 (ja) 2005-11-24 2005-11-24 動画像符号化／復号化方法および装置

Publications (2)

Publication Number Publication Date
JP2007150432A true JP2007150432A (ja) 2007-06-14
JP4334533B2 JP4334533B2 (ja) 2009-09-30

Family

ID=38053498

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005338775A Expired - Fee Related JP4334533B2 (ja) 2005-11-24 2005-11-24 動画像符号化／復号化方法および装置

Country Status (2)

Country Link
US (1) US20070116125A1 (ja)
JP (1) JP4334533B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009077240A (ja) * 2007-09-21 2009-04-09 Hitachi Ltd 画像処理装置及び画像処理方法
JPWO2010095556A1 (ja) * 2009-02-19 2012-08-23 ソニー株式会社 画像処理装置および方法
JPWO2010095557A1 (ja) * 2009-02-19 2012-08-23 ソニー株式会社 画像処理装置および方法
JP2019004430A (ja) * 2017-06-19 2019-01-10 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US11533522B2 (en) 2017-04-24 2022-12-20 Saturn Licensing Llc Transmission apparatus, transmission method, reception apparatus, and reception method

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8228993B2 (en) * 2007-04-06 2012-07-24 Shalini Priti System and method for encoding and decoding information in digital signal content
US8228991B2 (en) * 2007-09-20 2012-07-24 Harmonic Inc. System and method for adaptive video compression motion compensation
US8111757B2 (en) * 2007-09-28 2012-02-07 Motorola Mobility, Inc. Method and apparatus for video signal processing
EP2051524A1 (en) * 2007-10-15 2009-04-22 Panasonic Corporation Image enhancement considering the prediction error
US8798133B2 (en) 2007-11-29 2014-08-05 Koplar Interactive Systems International L.L.C. Dual channel encoding and detection
KR20090098214A (ko) * 2008-03-13 2009-09-17 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
JPWO2009133845A1 (ja) * 2008-04-30 2011-09-01 株式会社東芝 動画像符号化／復号化装置及び方法
US8184705B2 (en) * 2008-06-25 2012-05-22 Aptina Imaging Corporation Method and apparatus for motion compensated filtering of video signals
BRPI0915971A2 (pt) * 2008-07-25 2019-02-26 Sony Corp aparelho e método de processamento de imagem
JP5158000B2 (ja) * 2009-04-07 2013-03-06 ソニー株式会社 情報処理装置および方法
KR20120046727A (ko) * 2009-08-06 2012-05-10 파나소닉 주식회사 부호화 방법, 복호 방법, 부호화 장치 및 복호 장치
US8797414B2 (en) 2010-12-23 2014-08-05 Samsung Electronics Co., Ltd. Digital image stabilization device
US9344729B1 (en) * 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
JP2015015595A (ja) * 2013-07-04 2015-01-22 富士通株式会社 動画像符号化装置、符号化モード判定方法及び符号化プログラム
US10102613B2 (en) 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising
US10701356B2 (en) 2015-10-13 2020-06-30 Lg Electronic Inc. Image decoding method and apparatus by deriving a frequency component based on filtering in image coding system
US10469749B1 (en) * 2018-05-01 2019-11-05 Ambarella, Inc. Temporal filter with criteria setting maximum amount of temporal blend
KR20210113464A (ko) * 2020-03-05 2021-09-16 삼성전자주식회사 이미징 장치 및 이를 포함하는 전자 기기

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009077240A (ja) * 2007-09-21 2009-04-09 Hitachi Ltd 画像処理装置及び画像処理方法
JPWO2010095556A1 (ja) * 2009-02-19 2012-08-23 ソニー株式会社 画像処理装置および方法
JPWO2010095557A1 (ja) * 2009-02-19 2012-08-23 ソニー株式会社 画像処理装置および方法
JP2014195263A (ja) * 2009-02-19 2014-10-09 Sony Corp 画像処理装置および方法
US9462294B2 (en) 2009-02-19 2016-10-04 Sony Corporation Image processing device and method to enable generation of a prediction image
US9872020B2 (en) 2009-02-19 2018-01-16 Sony Corporation Image processing device and method for generating prediction image
US10334244B2 (en) 2009-02-19 2019-06-25 Sony Corporation Image processing device and method for generation of prediction image
US10931944B2 (en) 2009-02-19 2021-02-23 Sony Corporation Decoding device and method to generate a prediction image
US11533522B2 (en) 2017-04-24 2022-12-20 Saturn Licensing Llc Transmission apparatus, transmission method, reception apparatus, and reception method
JP2019004430A (ja) * 2017-06-19 2019-01-10 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US11350115B2 (en) 2017-06-19 2022-05-31 Saturn Licensing Llc Transmitting apparatus, transmitting method, receiving apparatus, and receiving method

Also Published As

Publication number Publication date
US20070116125A1 (en) 2007-05-24
JP4334533B2 (ja) 2009-09-30

Similar Documents

Publication Publication Date Title
JP4334533B2 (ja) 動画像符号化／復号化方法および装置
RU2714100C1 (ru) Устройство кодирования изображений, устройство декодирования изображений, способ кодирования изображений и способ декодирования изображений
KR100803611B1 (ko) 영상의 부호화, 복호화 방법 및 장치
JP5014989B2 (ja) 基礎階層を利用するフレーム圧縮方法、ビデオコーディング方法、フレーム復元方法、ビデオデコーディング方法、ビデオエンコーダ、ビデオデコーダ、および記録媒体
CN1764280B (zh) 基于多层在视频编码器中有效压缩运动矢量的方法和装置
KR100654436B1 (ko) 비디오 코딩 방법과 디코딩 방법, 및 비디오 인코더와디코더
US20060209961A1 (en) Video encoding/decoding method and apparatus using motion prediction between temporal levels
JP2009532979A (ja) 加重平均合を用いてｆｇｓ階層をエンコーディングおよびデコーディングする方法および装置
JP4986842B2 (ja) 空間的及び時間的スケーラビリティを以て符号化された画像シーケンスの符号化及び復号化の方法
JP2006060791A (ja) ３ｄサブバンド符号化のための組み込み基本レイヤコーデック
KR20060083974A (ko) 적응 기준 화상 생성
JPWO2010137323A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法、および映像復号方法
US20070160298A1 (en) Image encoder, image decoder, image encoding method, and image decoding method
JP2007081720A (ja) 符号化方法
WO2006006764A1 (en) Video decoding method using smoothing filter and video decoder therefor
KR100843080B1 (ko) 비디오 트랜스코딩 방법 및 장치
JPWO2011039931A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
US20060159173A1 (en) Video coding in an overcomplete wavelet domain
JP4844455B2 (ja) 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム
JP4844456B2 (ja) 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム
KR100733966B1 (ko) 움직임 벡터 예측 장치 및 방법
JPWO2013001720A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
Sharma et al. Medical image sequence compression using fast block matching algorithm and SPIHT
WO2006098586A1 (en) Video encoding/decoding method and apparatus using motion prediction between temporal levels
JP2010288181A (ja) 動画像符号化方法、動画像符号化装置及び動画像符号化プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080703

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090106

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090407

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090602

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090623

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120703

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120703

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130703

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees