JP2008514107A - ウェーブレット変換装置及びその方法、それを採用したスケーラブル画像符号化装置及びその方法、スケーラブル画像復号化装置及びその方法 - Google Patents

ウェーブレット変換装置及びその方法、それを採用したスケーラブル画像符号化装置及びその方法、スケーラブル画像復号化装置及びその方法 Download PDF

Info

Publication number
JP2008514107A
JP2008514107A JP2007532250A JP2007532250A JP2008514107A JP 2008514107 A JP2008514107 A JP 2008514107A JP 2007532250 A JP2007532250 A JP 2007532250A JP 2007532250 A JP2007532250 A JP 2007532250A JP 2008514107 A JP2008514107 A JP 2008514107A
Authority
JP
Japan
Prior art keywords
block
target
sub
weight value
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2007532250A
Other languages
English (en)
Inventor
キム，ジュ−ヒ
キム，ヒ−ヨン
キム，ドゥ−ヒョン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2008514107A publication Critical patent/JP2008514107A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/645—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission by grouping of coefficients into blocks after the transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

偶数フレームに基づいて、奇数フレームの双方向動き補償を行って、エネルギーが除去された差分フレームから高周波数フレームを生成する予測部と、偶数フレームで動きベクトルによって指示された８Ｘ８参照ブロックが置かれる８Ｘ８ターゲットブロック単位で更新過程を進めるか否かを判断する更新判断部と、偶数フレームで更新過程を進めると判断された８Ｘ８ターゲットブロックの各４Ｘ４ターゲットサブブロックに対して差分フレームを加算する更新過程を行って低周波数フレームを生成する更新部とで構成されるリフティング基盤のウェーブレット変換装置である。

Description

本発明は、スケーラブル画像符号化装置及びその方法に係り、特に、リフティング基盤のウェーブレット変換装置及びその方法、それを採用したスケーラブル画像符号化装置及び方法、スケーラブル画像復号化装置及び方法に関する。
動き補償時間的フィルタリング（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｅｄ Ｔｅｍｐｏｒａｌ Ｆｉｌｔｅｒｉｎｇ、以下、ＭＣＴＦと略する）は、ＭＰＥＧ−２１
ｐａｒｔ１３スケーラブル画像符号化に提案された色々な文書が共通的に含んでいる部分としてウェーブレット変換を利用して時間的重複性を減らせる技術である。既存のウェーブレット変換は、主に空間領域で垂直／水平方向に高周波成分と低周波成分とを分解する方法として使われてきたが、ＭＣＴＦでは、画像シーケンスを動き予測を通じて時間領域で分解することである。最近、ＭＣＴＦでは、双方向動き予測と多重参照画像を通じた画像分解方法とを通じて性能の向上がなされた。
一方、ＭＣＴＦで画像シーケンスをさらに効率的に高周波数フレーム及び低周波数フレームに分解するために、リフティング基盤のウェーブレット変換を具現しうる。リフティング基盤のウェーブレット変換は、予測過程と更新過程とで構成される。５／３双直交フィルタを使用するリフティングフレームワークにおいて、予測過程では、偶数フレームに基づいて奇数フレームの双方向動き補償を行った後、可能なかぎり多くのエネルギーが除去された差分フレームから高周波数フレームを生成する。更新過程では、偶数フレームに差分フレームを加算することによって、偶数フレームを更新して低周波数フレームを生成する。
ｓｋ（Ｘ）を空間上座標Ｘ＝（ｘ,ｙ）Ｔと時間上座標ｋを有する画像信号とする場合、動き補償されたリフティング過程は、次の式（１）のように表せる。
Figure 2008514107
 前記式（１）において、ｈｋ［Ｘ］及びｌｋ［Ｘ］は、それぞれ高周波数フレーム及び低周波数フレームを表す。
一方、５／３双直交フィルタの使用時に、前記式（１）に使われた予測演算子Ｐ及び更新演算子Ｕは、それぞれ次の式（２）のように表せる。
Figure 2008514107
 前記式（２）において、ｍＰＸは、リストＸ（ここで、Ｘは、０あるいは１の値を有し、０は、以前参照フレームを、１は、以後参照フレームを表す）に対する予測動きベクトルを、ｍＵＸは、リストＸに対する更新動きベクトルをそれぞれ表す。また、ｗ０、ｗ１は、双方向動き予測補償時に使われた加重値である。
このようなリフティング基盤のウェーブレット変換では、動きベクトルが正確に予測された領域では、動き軌跡に沿って入力フレームシーケンスを低域通過フィルタリングすることによって引き起こされるノイズとアライアシングとを更新過程を通じて減らせる。しかし、動きベクトルが正確に予測できない領域では、低域通過フィルタリングされたフレームでゴーストのような深刻な視覚的欠陥を引き起こせる。すなわち、低域通過フィルタリングされたフレーム、すなわち、低周波数フレームを選択して構成される低下した時間的解像度、すなわち、低いフレームレートを有する復元画像シーケンスでは、視覚的欠陥によって画質が劣るという短所がある。一方、視覚的欠陥を減少させるために、更新過程で加重値関数を導入する色々な適応的な更新スキームが提案された。関連文献は、非特許文献１及び非特許文献２が挙げられる。
Ｇ.Ｂａｕｄ，Ｊ.Ｒｅｉｃｈｅｌ，Ｆ.Ｚｉｌｉａｎｉ，Ｄ.Ｓａｎｔａ Ｃｒｕｚによる"Ｒｅｓｐｏｎｓｅｓ ｏｆ ｃｅ１ｅ：Ａｄａｐｔｉｖｅ ｕｐｄａｔｅ ｓｔｅｐ ｉｎ ｍｃｔｆ"（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＭＰＥＧ Ｍ１０９８７，Ｒｅｄｍｏｎｄ，Ｊｕｌｙ ２００４） Ｌ.Ｓｏｎｇ，Ｊ.Ｘｕ，Ｈ.Ｘｉｏｎｇ，Ｆ.Ｗｕによる"Ｒｅｓｐｏｎｓｅｓ ｏｆ ｃｅｌｅ ｉｎｓｖｃ：Ｃｏｎｔｅｎｔ−ａｄａｐｔｉｖｅ ｕｐｄａｔｅ ｂａｓｅｄ ｏｎ ｈｕｍａｎ ｖｉｓｉｏｎ ｓｙｓｔｅｍ"（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＭＰＥＧＭ１１１２７，Ｒｅｄｍｏｎｄ，Ｊｕｌｙ ２００４）
本発明が解決しようとする技術的課題は、動きベクトルの正確度によって更新過程を適応的に適用することによって、低周波数フレームに現れる視覚的欠陥を減らせるウェーブレット変換装置及びその方法を提供することである。
本発明が解決しようとする他の技術的課題は、動きベクトルの正確度によって更新過程を適応的に適用することによって、低周波数フレームに現れる視覚的欠陥を減らせるウェーブレット変換を適用したスケーラブル画像符号化装置及びその方法を提供することである。
本発明が解決しようとするさらに他の技術的課題は、動きベクトルの正確度によって更新過程を適応的に適用することによって、低周波数フレームに現れる視覚的欠陥を減らせるウェーブレット変換を適用したスケーラブル画像復号化装置及びその方法を提供することである。
前記課題を達成するために本発明によるリフティング基盤のウェーブレット変換装置は、偶数フレームに基づいて、奇数フレームの双方向動き補償を行って、エネルギーが除去された差分フレームから高周波数フレームを生成する予測部と、前記偶数フレームで動きベクトルによって指示された参照ブロックが置かれるターゲットブロック単位で更新過程を進めるか否かを判断する更新判断部と、前記偶数フレームで前記更新過程を進めると判断されたターゲットブロックの各ターゲットサブブロックに対して差分フレームを加算する更新過程を行って低周波数フレームを生成する更新部とを備える。
前記課題を達成するために本発明によるリフティング基盤のウェーブレット変換方法は、偶数フレームに基づいて、奇数フレームの双方向動き補償を行って、エネルギーが除去された差分フレームから高周波数フレームを生成するステップと、前記偶数フレームで動きベクトルによって指示された参照ブロックが置かれるターゲットブロック単位で更新過程を進めるか否かを判断するステップと、前記偶数フレームで更新過程を進めると判断されたターゲットブロックの各ターゲットサブブロックに対して差分フレームを加算する更新過程を行って低周波数フレームを生成するステップとを含む。
前記他の課題を達成するために本発明によるウェーブレット変換を採用したスケーラブル画像符号化装置は、画像シーケンスの現在フレームに対して動き予測を行って、動きベクトルを生成する動き予測部と、前記画像シーケンスに対して動きベクトルによる予測過程と修正された更新過程とを反復的に行って時間的スケーラビリティを有する画像データを構成する時間的ウェーブレット分解部と、前記動き予測部から提供される動きベクトルを符号化する動き情報符号化部と、前記時間的ウェーブレット分解部から提供される時間的スケーラビリティを有する画像信号をエントロピー符号化するエントロピー符号化部とを備える。
前記他の課題を達成するために本発明によるウェーブレット変換を採用したスケーラブル画像の符号化方法は、画像シーケンスの現在フレームに対して動き予測を行って、動きベクトルを生成するステップと、前記画像シーケンスに対して動きベクトルによる予測過程と修正された更新過程とを反復的に行って時間的スケーラビリティを有する画像データを構成するステップと、前記動きベクトルを符号化するステップと、前記時間的スケーラビリティを有する画像信号をエントロピー符号化するステップとを含む。
前記他の課題を達成するために本発明によるウェーブレット変換を採用したスケーラブル画像復号化装置は、予測過程と修正された更新過程とを通じて生成されるビットストリームから時間的スケーラビリティを有する画像データをエントロピー復号化するエントロピー復号化部と、前記ビットストリームから動き情報を復号化して動きベクトルを復元する動き情報復号化部と、前記復号化された時間的スケーラビリティを有する画像データに対して復元された動きベクトルによるリフティング基盤のウェーブレット逆変換を行って画像シーケンスを復元する時間的ウェーブレット合成部とを備える。
前記他の課題を達成するために本発明によるウェーブレット変換を採用したスケーラブル画像の復号化方法は、予測過程と修正された更新過程とを通じて生成されるビットストリームから時間的スケーラビリティを有する画像データをエントロピー復号化するステップと、前記ビットストリームから動き情報を復号化して動きベクトルを復元するステップと、前記復号化された時間的スケーラビリティを有する画像データに対して復元された動きベクトルによるリフティング基盤のウェーブレット逆変換を行って画像シーケンスを復元するステップとを含む。
前記ウェーブレット変換方法、スケーラブル画像の符号化方法及びスケーラブル画像の復号化方法は、望ましくは、コンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体で具現しうる。
本発明によれば、動きベクトルの正確度あるいは人間の視覚的特性によって適応的に更新過程を行うことによって、低周波数フレームで生じるゴーストのような視覚的欠陥を除去しうる。
以下、添付された図面を参照して本発明の望ましい実施例について詳細に説明する。
図１は、本発明によるウェーブレット変換を適用するスケーラブル画像符号化装置の構成を示す図であって、動き予測部１１０、時間的ウェーブレット分解部１３０、動き情報符号化部１５０及びエントロピー符号化部１７０を備えてなる。
図１を参照するに、動き予測部１１０は、入力される画像シーケンスにおいて、現在フレームに対して双方向動き予測を行い、双方向動きベクトルを生成する。
時間的ウェーブレット分解部１３０は、リフティング基盤のウェーブレット変換を利用し、入力される画像シーケンスに対して双方向動きベクトルによる予測過程と更新過程とを反復的に行って時間的スケーラビリティ、すなわち、相異なる時間的解像度を有する画像データを構成する。このとき、リフティング基盤のウェーブレット変換としてＭＣＴＦが適用されることが望ましい。図２は、リフティング基盤のウェーブレット変換を構成する予測過程２１０と更新過程２３０とを図式的に示す図である。図２において、ｓ２ｔ−２、ｓ２ｔ−１、ｓ２ｔ、ｓ２ｔ＋１、ｓ２ｔ＋２は、それぞれ画像シーケンスを構成するフレームを表し、“ＭＣ”は、動き補償された画像、ｈｔ−１、ｈｔは、高周波数フレーム、ｌｔは、低周波数フレームをそれぞれ表す。
本発明の第１実施例では、更新過程において、現在フレームで動きベクトルによって指示された８Ｘ８参照ブロックが置かれる８Ｘ８ターゲットブロックに含まれた４個の４Ｘ４サブブロック別にサブブロック加重値を求める。
本発明の第２実施例では、更新過程において、現在フレームで動きベクトルによって指示された８Ｘ８参照ブロックが置かれる８Ｘ８ターゲットブロックに含まれた４個の４Ｘ４サブブロック別にサブブロック加重値を求め、このとき、各４Ｘ４ターゲットサブブロックで連結されていないピクセルに対しては、サブブロック加重値を“０”に設定する。
本発明の第３実施例では、更新過程において、現在フレームで動きベクトルによって指示された８Ｘ８参照ブロックが置かれる８Ｘ８ターゲットブロック単位で更新如何を判断した後、更新すると判断された場合、８Ｘ８ターゲットブロックに含まれた４個の４Ｘ４ターゲットサブブロック別にサブブロック加重値を求める。
本発明の第４実施例では、更新過程において、第２実施例と第３実施例とを結合したものであって、現在フレームで動きベクトルによって指示された８Ｘ８参照ブロックが置かれる８Ｘ８ターゲットブロック単位で更新如何を判断した後、更新すると判断された場合、８Ｘ８ターゲットブロックに含まれた４個の４Ｘ４ターゲットサブブロック別にサブブロック加重値を求め、このとき、各４Ｘ４ターゲットサブブロックで連結されていないピクセルに対しては、サブブロック加重値を“０”に設定する。
動き情報符号化部１５０は、動き予測部１１０から得られる双方向動きベクトルのような動き情報を符号化してパケット化のために提供する。
エントロピー符号化部１７０は、時間的ウェーブレット分解部１３０から提供される時間的スケーラビリティを有する画像信号をエントロピー符号化してパケット化のために提供する。
図示されていないが、時間的スケーラビリティだけでなく、空間的スケーラビリティを提供するためには、時間的ウェーブレット分解部１１０の後端に空間的ウェーブレット分解部をさらに備えうる。
図３は、本発明によるリフティング基盤のウェーブレット変換装置の構成を示すブロック図であって、予測部３１０、更新判断部３３０、及び更新部３５０を備えてなる。図３を参照するに、予測部３１０は、偶数フレームに基づいて、奇数フレームの双方向動き補償を行った後、可能なかぎり多くのエネルギーが除去された差分フレームから高周波数フレームを生成する。
更新判断部３３０は、偶数フレームで動きベクトルによって指示された８Ｘ８参照ブロックが置かれる８Ｘ８ターゲットブロック単位で更新過程を進めるか、そうでなければ、更新過程をスキップするか否かを判断する。更新判断部３３０は、前記第１実施例の場合、備えられなくてもよい構成要素である。
更新部３５０は、偶数フレームで更新判断部３３０から更新過程を進めると判断された８Ｘ８ターゲットブロックの各４Ｘ４ターゲットサブブロックに対して差分フレームを加算する更新過程を行って低周波数フレームを生成する。このとき、前述したところのあるＬ.Ｓｏｎｇ，Ｊ.Ｘｕ，Ｈ.Ｘｉｏｎｇ，Ｆ.Ｗｕによる“Ｒｅｓｐｏｎｓｅｓ ｏｆ ｃｅｌｅ ｉｎｓｖｃ：Ｃｏｎｔｅｎｔ−ａｄａｐｔｉｖｅ ｕｐｄａｔｅ ｂａｓｅｄ ｏｎ ｈｕｍａｎ ｖｉｓｉｏｎ ｓｙｓｔｅｍ”（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＭＰＥＧＭ１１１２７，Ｒｅｄｍｏｎｄ，Ｊｕｌｙ ２００４）と類似した内容適応的更新方法を適用しうる。
前記更新過程の第１実施例によれば、偶数フレームで動きベクトルによって指示された８Ｘ８参照ブロックが置かれる８Ｘ８ターゲットブロックに対して、一旦更新過程を行い、このとき、８Ｘ８ターゲットブロックを構成する各４Ｘ４ターゲットサブブロック別にサブブロック加重値を求めて全てのピクセルに対して適用し、第２実施例によれば、各４Ｘ４ターゲットサブブロックでサブブロック加重値を連結ピクセルにのみ適用し、連結されていないピクセルに対しては、サブブロック加重値を“０”に設定する。
前記更新過程の第３実施例によれば、偶数フレームで動きベクトルによって指示された８Ｘ８参照ブロックが置かれる８Ｘ８ターゲットブロック単位で更新如何を判断した後、更新すると判断された８Ｘ８ターゲットブロックに含まれた４個の４Ｘ４ターゲットサブブロック別にサブブロック加重値を求めて全てのピクセルに対して適用し、第４実施例によれば、更新すると判断された８Ｘ８ターゲットブロックに含まれた各４Ｘ４ターゲットサブブロックで連結ピクセルにのみサブブロック加重値を適用し、連結されていないピクセルに対しては、サブブロック加重値を“０”に設定する。
図４は、図３に示された更新判断部３３０の細部的な構成を示すブロック図であって、ブロック更新加重値算出部４１０及び比較部４３０を備えてなる。図４を参照するに、ブロック更新加重値算出部４１０では、８Ｘ８ターゲットブロックに含まれる全体ピクセルの数と、偶数フレームで動きベクトルによって指示された８Ｘ８参照ブロックから得られる８Ｘ８ターゲットブロックの連結ピクセルの数とを利用してブロック更新加重値を算出する。これをさらに細部的に説明すれば、次の通りである。
まず偶数フレームｓｋで動きベクトルによって指示された８Ｘ８参照ブロックが置かれる８Ｘ８ターゲットブロックＢｋ［ｉ,ｊ］の連結ピクセルの数ｃｋ［ｉ,ｊ］を８Ｘ８ターゲットブロックにある４個の４Ｘ４ターゲットサブブロックの連結ピクセルの和で算出し、これは、次の式（３）のように表せる。
Figure 2008514107
ここで、リストＸの参照フレームインデックス“ｒ”は、多重参照フレームのうち、８Ｘ８ターゲットブロックに対して最大の連結ピクセルの数を提供する参照フレームを意味する。
一方、８Ｘ８ターゲットブロックＢｋ［ｉ,ｊ］［ｒ］に対するブロック更新加重値ｂｋ［ｉ,ｊ］は、次の式（４）のように表せる。
Figure 2008514107
 ここで、
Figure 2008514107
 は、８Ｘ８ターゲットブロックに含まれる全体ピクセルの数、すなわち、６４である。すなわち、８Ｘ８ターゲットブロックに対するブロック更新加重値は、８Ｘ８ターゲットブロックに含まれる全体ピクセルの数と８Ｘ８ターゲットブロックの連結ピクセルの数との割合で得られる。
比較部４３０では、ブロック更新加重値算出部４１０から提供されるブロック更新加重値ｂｋ［ｉ,ｊ］をあらかじめ定義されたしきい値と比較し、ブロック更新加重値ｂｋ［ｉ,ｊ］がしきい値より小さい場合、８Ｘ８ターゲットブロック全体を更新しないと判断する。このとき、ブロック更新加重値ｂｋ［ｉ,ｊ］がしきい値より小さいというのは、８Ｘ８ターゲットブロックに含まれた全体ピクセルの数に比べて、８Ｘ８ターゲットブロックの連結ピクセルの数が非常に小さいということを意味し、これは、動きベクトルの正確度が低いということを意味する。一方、比較部４３０では、ブロック更新加重値ｂｋ［ｉ,ｊ］がしきい値より大きい場合、８Ｘ８ターゲットブロックを更新すると判断する。同様に、更新加重値ｂｋ［ｉ,ｊ］がしきい値より大きいというのは、８Ｘ８ターゲットブロックに含まれた全体ピクセルの数に比べて、８Ｘ８ターゲットブロックの連結ピクセルの数が一定レベル以上であることを意味し、これは、動きベクトルの正確度が高いということを意味する。ここで、しきい値は、更新過程を通じて得られる低周波数フレームで視覚的欠陥を減らせるように実験的に求められる最適値である。このように、動きベクトルの正確度が一定レベル以上である場合にのみ、８Ｘ８ターゲットブロックに対して更新過程を行うと判断する。
図５は、図３に示された更新部３５０の細部的な構成を示すブロック図であって、サブブロック加重値設定部５１０及び内容適応的更新部５３０を備えてなる。図５を参照するに、サブブロック加重値設定部５１０では、８Ｘ８ターゲットブロックに含まれた４Ｘ４ターゲットサブブロックＰｋ［ｉ,ｊ］に対するサブブロック加重値ｗｋ［ｐ,ｑ］を４Ｘ４ターゲットサブブロックに含まれた全体ピクセルの数
Figure 2008514107
 と４Ｘ４ターゲットサブブロックの連結ピクセルの数とを利用して設定する。これによれば、サブブロック加重値ｗｋ［ｐ,ｑ］は、次の式（５）のように表せる。
Figure 2008514107
前記本発明の第１及び第３実施例によれば、４Ｘ４ターゲットサブブロックに対してサブブロック加重値を前記式（５）によって算出し、４Ｘ４ターゲットサブブロックの全てのピクセルに適用する。
前記本発明の第２及び第４実施例によれば、４Ｘ４ターゲットサブブロックに対してサブブロック加重値を前記式（５）によって算出し、４Ｘ４ターゲットサブブロックで、連結ピクセルは、算出されたサブブロック加重値を適用する一方、連結されていないピクセルは“０”に割り当てる。
内容適応的更新部５３０では、サブブロック加重値設定部５１０で設定されたサブブロック加重値を利用して内容適応的更新過程を行う。
このとき、４Ｘ４ターゲットサブブロックＰｋ［ｉ,ｊ］に対する内容基盤更新過程の一例は、次の式（６）のように表せる。ここでは、５／３ウェーブレットフィルタを使用した。
Figure 2008514107
一方、式（６）において、ｆ（ｓ２ｋ,Ｕ２ｋ）は、次の式（７）のように表せる。
Figure 2008514107
式（７）において、Ｓは、強度ファクターであって、本実施例では、６０に設定するが、必ずしもこれに限定されない。一方、ＪＮＤ（Ｊｕｓｔ Ｎｏｔｉｃｅａｂｌｅ Ｄｉｆｆｅｒｅｎｃｅ）は、動きモデルの正確度あるいは人間の視覚的特性を考慮するためのものであって、次の式（８）のように表せる。
Figure 2008514107
ここで、σｘ ２（ｊ,ｊ）は、座標（ｉ,ｊ）を有するピクセルを中心にするウィンドウで画像ｘのローカル分散を表し、一例では、３Ｘ３ウィンドウ単位で算出される。一方、θは、特定画像に対して選択できるチューニングパラメータを意味し、ＪＮＤでコントラスト調整役割を行う。σｘｍａｘ ２は、所定の画像の最大ローカル分散を表し、Ｄは、５０ないし１００の範囲で任意の値を有し、これは、実験的に決定される。このように、４Ｘ４サブブロック単位でＪＮＤを計算し、計算されたＪＮＤ値によって３つの場合で更新過程を異なって行うことによって、動きモデルの正確度あるいは人間の視覚的特性によって可視性関数のしきい値を適応的に設定する。言い換えれば、ＪＮＤ関数が視覚的マスキングと関連したローカルフレーム特性に適応的であるため、ＪＮＤを利用した更新過程は、高周波数フレームから提供されるゴーストのような視覚的欠陥を緩和させ、その結果、時間的スケーラビリティに対する符号化性能を向上させうる。前述したＪＮＤを利用した内容適応的更新過程と関連しては、Ｌ.Ｓｏｎｇ，Ｊ.Ｘｕ，Ｈ.Ｘｉｏｎｇ，Ｆ.Ｗｕによる“Ｒｅｓｐｏｎｓｅｓ ｏｆ ｃｅｌｅ ｉｎｓｖｃ：Ｃｏｎｔｅｎｔ−ａｄａｐｔｉｖｅ ｕｐｄａｔｅ ｂａｓｅｄ ｏｎ ｈｕｍａｎ ｖｉｓｉｏｎ ｓｙｓｔｅｍ”（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＭＰＥＧＭ１１１２７，Ｒｅｄｍｏｎｄ，Ｊｕｌｙ ２００４）に詳細に記載されている。
一方、４Ｘ４ターゲットサブブロックＰｋ［ｉ,ｊ］に対する内容基盤更新過程の他の例は、次の式（９）のように表せ、これは、前述した式（２）の更新演算子を若干変形したものであるということが分かる。
Figure 2008514107
ここで、Ｗｋ［Ｘ］は、４Ｘ４ターゲットサブブロックの加重値マトリックスであり、４Ｘ４ターゲットサブブロックに対して単一加重値を有するか、または各ピクセル別に加重値を有しうる。この場合、前述した内容適応的更新方法に開示されている技法を利用して、各ピクセル別に加重値を決定しうる。前記式（９）は、前述した本発明の第１ないし第４実施例に何れも適用可能である。
図６は、本発明による更新過程に適用されるサブブロック加重値を設定する方法を説明するための図であって、６１０は、動きベクトルによって指示された８Ｘ８参照ブロック、６３０は、８Ｘ８ターゲットブロックをそれぞれ表す。図６を参照するに、座標（２,０）に位置した８Ｘ８ターゲットブロックの連結ピクセルの数が５６であるので、ブロック更新加重値は、５６／６４となる。一方、座標（２,０）に位置した４Ｘ４ターゲットサブブロックの連結ピクセルの数は１２であるので、サブブロック加重値は１２／１６となり、座標（３,０）に位置した４Ｘ４ターゲットサブブロックの連結ピクセルの数は１２であるので、サブブロック加重値は１２／１６となり、座標（２,１）に位置した４Ｘ４ターゲットサブブロックの連結ピクセルの数は１６であるので、サブブロック加重値は１６／１６となり、座標（３,１）に位置した４Ｘ４ターゲットサブブロックの連結ピクセルの数は１６であるので、サブブロック加重値は１６／１６となる。図６は、以前参照フレームＬ０に対してのみ例を挙げたものであって、実際には、以後参照フレームＬ１に対しても８Ｘ８ターゲットブロックの連結ピクセルを何れも計算した後、連結ピクセルの数が大きい参照フレームとして決定する。すなわち、８Ｘ８ターゲットブロックで予測した参照フレームに対して何れも連結ピクセルを調べ、そのうち、最も多く連結された参照フレーム、すなわち、Ｌ０あるいはＬ１を選択する。
図７Ａ及び図７Ｂは、４Ｘ４ターゲットサブブロックで連結されていないピクセルに対しては、加重値を“０”に割り当てる例を示す図であって、図７Ａは、図６で座標（２,０）に位置した４Ｘ４ターゲットサブブロック、図７Ｂは、図６で座標（２,１）に位置した４Ｘ４ターゲットサブブロックの加重値マトリックスを示す。
図８は、本発明によるスケーラブル画像復号化装置の構成を示すブロック図であって、エントロピー復号化部８１０、動き情報復号化部８３０、及び時間的ウェーブレット合成部８５０を備えてなる。
図８を参照するに、エントロピー復号化部８１０は、逆パケット化されたビットストリームから時間的スケーラビリティを有する画像データをエントロピー復号化する。
動き情報復号化部８３０は、逆パケット化されたビットストリームから動き情報を復号化して動きベクトルを復元する。
時間的ウェーブレット合成部８５０は、時間的ウェーブレット分解部（図１の１３０）の逆過程、すなわち、復号化された時間的スケーラビリティを有する画像データに対して復元された動きベクトルによるリフティング基盤のウェーブレット逆変換を行って画像シーケンスを復元する。
図示されていないが、時間的スケーラビリティだけでなく、空間的スケーラビリティを提供するためには、時間的ウェーブレット合成部８５０の前端に空間的ウェーブレット合成部をさらに備えうる。
次いで、本発明による更新過程の性能を評価するための実験を行った。このために、図９Ａに示したような時間的スケーラビリティを有するビットストリーム構造を有しつつ、表１の条件を有する第１テストシナリオと、図９Ｂに示したような時間的スケーラビリティを有するビットストリーム構造を有しつつ、表２の条件を有する第２テストシナリオとを準備した。第１及び第２テストシナリオを更新過程を、本発明による更新アルゴリズムに修正した既存のＨＨＩソフトウェアと、更新過程を修正していない既存のＨＨＩソフトウェアとをそれぞれ適用して符号化した時、Ｙ、Ｕ、Ｖ成分に対するＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ）値を比較した結果は、次の表３及び表４に示した通りである。ここで、ＨＨＩソフトウェアは、Ｈ.Ｓｃｈｗａｒｚ，Ｄ.Ｍａｒｐｅ，Ｔ.Ｗｉｅｇａｎｄによる“Ｓｃａｌａｂｌｅ ｅｘｔｅｎｓｉｏｎ ｏｆ Ｈ.２６４／ＡＶＣ”（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＭＰＥＧＭ１０５６９，Ｍｕｎｉｃｈ，Ｍａｒｃｈ ２００４）に開示されている。
Figure 2008514107
Figure 2008514107

Figure 2008514107

Figure 2008514107
前記表３及び表４を参照するに、本発明による更新アルゴリズムに修正した既存のＨＨＩソフトウェアを適用して符号化した時、Ｙ、Ｕ、Ｖ成分に対するＰＳＮＲ値が全体ビットレートにわたって相対的に増大したということが分かる。
一方、図１０Ａないし図１０Ｄは、本発明による更新アルゴリズムと従来の技術による更新アルゴリズムとの客観的な性能を評価するために、輝度成分のＰＳＮＲ値を比較した結果を示した図である。図１０Ａは、第１テストシナリオに含まれた“Ｃｉｔｙ”画像と“Ｃｒｅｗ”画像、図１０Ｂは、第１テストシナリオに含まれた“Ｈａｒｂｏｕｒ”画像と“Ｓｏｃｃｏｒ”画像、図１０Ｃは、第２テストシナリオに含まれた“Ｂｕｓ”画像と“Ｆｏｏｔｂａｌｌ”画像、図１０Ｄは、第２テストシナリオに含まれた“Ｆｏｒｅｍａｎ”画像と“Ｍｏｂｉｌｅ”画像の復元画像に含まれた輝度成分のＰＳＮＲを比較した図である。ここで、“Ａｎｃｈｏｒ”あるいは“ＣＥ２.４＿ｖｅｒＢ（Ｒｅｄｍｏｎｄ）”は、従来の技術による更新アルゴリズムを適用する場合、“ＳＡＩＴ”は、本発明による更新アルゴリズムを適用する場合を表す。図１０Ａないし図１０Ｄを参照するに、本発明による更新過程を適用したウェーブレット変換を利用して符号化した時、入力ビデオシーケンスの特性によって輝度成分に対するＰＳＮＲ値が全体ビットレートにわたって約０.１ｄＢないし０.５ｄＢ増大したということが分かる。
図１１Ａ、図１１Ｂ、図１２Ａ、図１２Ｂ、図１３Ａ、図１３Ｂ、及び図１４Ａ、図１４Ｂは、本発明の更新過程と既存の更新過程とを使用する場合、主観的な画質を比較するための図である。図１１Ａ及び図１１Ｂは、１９２Ｋｂｐｓで復号化したＦｏｒｅｍａｎシーケンスの２８番目フレームを表し、図１２Ａ及び図１２Ｂは、１９２Ｋｂｐｓで復号化したＦｏｒｅｍａｎシーケンスの７０番目フレームを表し、図１３Ａ及び図１３Ｂは、１９２Ｋｂｐｓで復号化したＦｏｒｅｍａｎシーケンスの９２番目フレームを表し、図１４Ａ及び図１４Ｂは、１５００Ｋｂｐｓで復号化したＣｒｅｗシーケンスの１４８番目フレームを表す。ここで、図１１Ａ、図１２Ａ、図１３Ａ及び図１４Ａは、ウェーブレット変換を利用して符号化した結果から得られた復元画像、図１１Ｂ、図１２Ｂ、図１３Ｂ及び図１４Ｂは、本発明による更新過程を適用したウェーブレット変換を利用して符号化した結果から得られた復元画像をそれぞれ表す。これから、本発明による更新過程を使用する場合、各画像でゴーストのような視覚的欠陥が顕著に減少するということが分かる。
本発明はまた、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取られうるデータが保存される全ての種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置があり、またキャリアウェーブ（例えば、インターネットを通じた伝送）の形態で具現されることも含む。またコンピュータで読み取り可能な記録媒体は、ネットワークで連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードが保存され、かつ実行されうる。そして、本発明を具現するための機能的なプログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマーによって容易に推論されうる。
本発明について前記実施例を参照して説明したが、それは、例示的なものに過ぎず、当業者ならば、これから多様な変形及び均等な他の実施形態が可能であるということが分かるであろう。したがって、本発明の真の技術的保護範囲は、特許請求の範囲の技術的思想によって決定されねばならない。
本発明によるウェーブレット変換を適用するスケーラブル画像符号化装置の構成を示す図である。 図１に示された時間的ウェーブレット分解部で行われるリフティング基盤のウェーブレット変換の動作を説明する図である。 本発明によるリフティング基盤のウェーブレット変換装置の構成を示すブロック図である。 図３に示された更新判断部の細部的な構成を示すブロック図である。 図３に示された更新部の細部的な構成を示すブロック図である。 本発明による更新過程に適用されるサブブロック加重値を設定する方法を説明するための図である。 ４Ｘ４ターゲットサブブロックで連結されていないピクセルに対しては、加重値を“０”と割り当てる例を示す図である。 ４Ｘ４ターゲットサブブロックで連結されていないピクセルに対しては、加重値を“０”と割り当てる例を示す図である。 本発明によるスケーラブル画像復号化装置の構成を示すブロック図である。 本発明による更新方法の性能を評価するために使われる第１テストシナリオによるビットストリーム構造を示す図である。 本発明による更新方法の性能を評価するために使われる第２テストシナリオによるビットストリーム構造を示す図である。 本発明による更新アルゴリズムと従来の技術による更新アルゴリズムとの客観的な性能を比較するためのグラフである。 本発明による更新アルゴリズムと従来の技術による更新アルゴリズムとの客観的な性能を比較するためのグラフである。 本発明による更新アルゴリズムと従来の技術による更新アルゴリズムとの客観的な性能を比較するためのグラフである。 本発明による更新アルゴリズムと従来の技術による更新アルゴリズムとの客観的な性能を比較するためのグラフである。 本発明による更新アルゴリズムと従来の技術による更新アルゴリズムとの主観的な性能を比較するためのグラフであって、“Ｆｏｒｅｍａｎ”の２８番目フレームを対象とする。 本発明による更新アルゴリズムと従来の技術による更新アルゴリズムとの主観的な性能を比較するためのグラフであって、“Ｆｏｒｅｍａｎ”の２８番目フレームを対象とする。 本発明による更新アルゴリズムと従来の技術による更新アルゴリズムとの主観的な性能を比較するためのグラフであって、“Ｆｏｒｅｍａｎ”の７０番目フレームを対象とする。 本発明による更新アルゴリズムと従来の技術による更新アルゴリズムとの主観的な性能を比較するためのグラフであって、“Ｆｏｒｅｍａｎ”の７０番目フレームを対象とする。 本発明による更新アルゴリズムと従来の技術による更新アルゴリズムとの主観的な性能を比較するためのグラフであって、“Ｆｏｒｅｍａｎ”の９２番目フレームを対象とする。 本発明による更新アルゴリズムと従来の技術による更新アルゴリズムとの主観的な性能を比較するためのグラフであって、“Ｆｏｒｅｍａｎ”の９２番目フレームを対象とする。 本発明による更新アルゴリズムと従来の技術による更新アルゴリズムとの主観的な性能を比較するためのグラフであって、“Ｃｒｅｗ”の１４８番目フレームを対象とする。 本発明による更新アルゴリズムと従来の技術による更新アルゴリズムとの主観的な性能を比較するためのグラフであって、“Ｃｒｅｗ”の１４８番目フレームを対象とする。

Claims (28)

  1. 画像シーケンスの現在フレームに対して動き予測を行って、動きベクトルを生成する動き予測部と、
    前記画像シーケンスに対して動きベクトルによる予測過程と修正された更新過程を反復的に行って時間的なスケーラビリティを有する画像データを構成する時間的ウェーブレット分解部と、
    前記動き予測部から提供される動きベクトルを符号化する動き情報符号化部と、
    前記時間的ウェーブレット分解部から提供される時間的なスケーラビリティを有する画像データをエントロピー符号化するエントロピー符号化部とを備えることを特徴とするスケーラブル画像符号化装置。
  2. 前記時間的ウェーブレット分解部は、前記修正された更新過程のために、現在フレームで動きベクトルによって指示された参照ブロックが置かれるターゲットブロックに含まれた各ターゲットサブブロック別にサブブロック加重値を求めることを特徴とする請求項１に記載のスケーラブル画像符号化装置。
  3. 前記時間的ウェーブレット分解部は、前記修正された更新過程のために、現在フレームで動きベクトルによって指示された参照ブロックが置かれるターゲットブロックに含まれた各ターゲットサブブロック別にサブブロック加重値を求め、各ターゲットサブブロックで連結されていないピクセルに対しては、サブブロック加重値を“０”に設定することを特徴とする請求項１に記載のスケーラブル画像符号化装置。
  4. 前記時間的ウェーブレット分解部は、前記修正された更新過程のために、現在フレームで動きベクトルによって指示された参照ブロックが置かれるターゲットブロック単位で更新如何を判断した後、更新すると判断された場合、ターゲットブロックに含まれた各ターゲットサブブロック別にサブブロック加重値を求めることを特徴とする請求項１に記載のスケーラブル画像符号化装置。
  5. 前記時間的ウェーブレット分解部は、前記修正された更新過程のために、現在フレームで動きベクトルによって指示された参照ブロックが置かれるターゲットブロック単位で更新如何を判断した後、更新すると判断された場合、ターゲットブロックに含まれた各ターゲットサブブロック別にサブブロック加重値を求め、各ターゲットサブブロックで連結されていないピクセルに対しては、サブブロック加重値を“０”に設定することを特徴とする請求項１に記載のスケーラブル画像符号化装置。
  6. 画像シーケンスの現在フレームに対して動き予測を行って、動きベクトルを生成するステップと、
    前記画像シーケンスに対して動きベクトルによる予測過程と修正された更新過程とを反復的に行って時間的スケーラビリティを有する画像データを構成するステップと、
    前記動きベクトルを符号化するステップと、
    前記時間的スケーラビリティを有する画像信号をエントロピー符号化するステップとを含むことを特徴とするスケーラブル画像の符号化方法。
  7. 前記時間的スケーラビリティを有する画像データ構成ステップでは、前記修正された更新過程のために、
    現在フレームで動きベクトルによって指示された参照ブロックが置かれるターゲットブロックに含まれた各ターゲットサブブロック別にサブブロック加重値を求めるステップを含むことを特徴とする請求項６に記載のスケーラブル画像の符号化方法。
  8. 前記時間的スケーラビリティを有する画像データ構成ステップでは、前記修正された更新過程のために、
    各ターゲットサブブロックで連結されていないピクセルに対しては、サブブロック加重値を“０”に設定するステップをさらに含むことを特徴とする請求項７に記載のスケーラブル画像の符号化方法。
  9. 前記時間的スケーラビリティを有する画像データ構成ステップでは、前記修正された更新過程のために、
    現在フレームで動きベクトルによって指示された参照ブロックが置かれるターゲットブロック単位で更新如何を判断するステップと、
    更新すると判断されたターゲットブロックに対して、前記ターゲットブロックに含まれた各ターゲットサブブロック別にサブブロック加重値を求めるステップとを含むことを特徴とする請求項６に記載のスケーラブル画像の符号化方法。
  10. 前記時間的スケーラビリティを有する画像データ構成ステップでは、前記修正された更新過程のために、
    各ターゲットサブブロックで連結されていないピクセルに対しては、サブブロック加重値を“０”に設定するステップをさらに含むことを特徴とする請求項９に記載のスケーラブル画像の符号化方法。
  11. 予測過程と修正された更新過程とを通じて生成されるビットストリームから時間的スケーラビリティを有する画像データをエントロピー復号化するエントロピー復号化部と、
    前記ビットストリームから動き情報を復号化して動きベクトルを復元する動き情報復号化部と、
    前記復号化された時間的スケーラビリティを有する画像データに対して復元された動きベクトルによるリフティング基盤のウェーブレット逆変換を行って画像シーケンスを復元する時間的ウェーブレット合成部とを備えることを特徴とするスケーラブル画像復号化装置。
  12. 予測過程と修正された更新過程とを通じて生成されるビットストリームから時間的スケーラビリティを有する画像データをエントロピー復号化するステップと、
    前記ビットストリームから動き情報を復号化して動きベクトルを復元するステップと、
    前記復号化された時間的スケーラビリティを有する画像データに対して復元された動きベクトルによるリフティング基盤のウェーブレット逆変換を行って画像シーケンスを復元するステップとを含むことを特徴とするスケーラブル画像の復号化方法。
  13. 偶数フレームに基づいて、奇数フレームの双方向動き補償を行って、エネルギーが除去された差分フレームから高周波数フレームを生成する予測部と、
    前記偶数フレームで動きベクトルによって指示された参照ブロックが置かれるターゲットブロック単位で更新過程を進めるか否かを判断する更新判断部と、
    前記偶数フレームで前記更新過程を進めると判断されたターゲットブロックの各ターゲットサブブロックに対して差分フレームを加算する更新過程を行って低周波数フレームを生成する更新部とを備えることを特徴とするリフティング基盤のウェーブレット変換装置。
  14. 前記更新判断部は、
    前記ターゲットブロックに含まれる全体ピクセルの数と、偶数フレームで動きベクトルによって指示された参照ブロックから得られるターゲットブロックの連結ピクセルの数を利用してブロック更新加重値を算出するブロック更新加重値算出部と、
    前記ターゲットブロックのブロック更新加重値をあらかじめ定義されたしきい値と比較し、比較結果によって前記ターゲットブロックの更新如何を判断する比較部とを備えることを特徴とする請求項１３に記載のリフティング基盤のウェーブレット変換装置。
  15. 前記更新部は、
    前記ターゲットブロックに含まれた各ターゲットサブブロックに対する加重値を、各ターゲットサブブロックに含まれた全体ピクセルの数と各ターゲットサブブロックの連結ピクセルの数とを利用して設定するサブブロック加重値設定部と、
    各ターゲットサブブロックの加重値を利用して、各ピクセルに対して内容適応的な更新を行う内容適応的な更新部とを備えることを特徴とする請求項１３に記載のリフティング基盤のウェーブレット変換装置。
  16. 前記サブブロック加重値設定部は、前記各ターゲットサブブロックで、連結ピクセルに対しては前記加重値を設定し、連結されていないピクセルに対しては加重値を“０”に設定することを特徴とする請求項１５に記載のリフティング基盤のウェーブレット変換装置。
  17. 偶数フレームに基づいて、奇数フレームの双方向動き補償を行って、エネルギーが除去された差分フレームから高周波数フレームを生成する予測部と、
    前記偶数フレームでターゲットブロックの各ターゲットサブブロックに対して差分フレームを加算する更新過程を行って低周波数フレームを生成する更新部とを備えることを特徴とするリフティング基盤のウェーブレット変換装置。
  18. 前記更新部は、
    前記ターゲットブロックに含まれた各ターゲットサブブロックに対する加重値を、各ターゲットサブブロックに含まれた全体ピクセルの数と各ターゲットサブブロックの連結ピクセルの数とを利用して設定するサブブロック加重値設定部と、
    各ターゲットサブブロックの加重値を利用して、各ピクセルに対して内容適応的な更新を行う内容適応的な更新部とを備えることを特徴とする請求項１７に記載のリフティング基盤のウェーブレット変換装置。
  19. 前記サブブロック加重値設定部は、前記各ターゲットサブブロックで、連結ピクセルに対しては前記加重値を設定し、連結されていないピクセルに対しては加重値を“０”に設定することを特徴とする請求項１８に記載のリフティング基盤のウェーブレット変換装置。
  20. 偶数フレームに基づいて、奇数フレームの双方向動き補償を行って、エネルギーが除去された差分フレームから高周波数フレームを生成するステップと、
    前記偶数フレームで動きベクトルによって指示された参照ブロックが置かれるターゲットブロック単位で更新過程を進めるか否かを判断するステップと、
    前記偶数フレームで前記更新過程を進めると判断されたターゲットブロックの各ターゲットサブブロックに対して差分フレームを加算する更新過程を行って低周波数フレームを生成するステップとを含むことを特徴とするリフティング基盤のウェーブレット変換方法。
  21. 偶数フレームに基づいて、奇数フレームの双方向動き補償を行い、エネルギーが除去された差分フレームから高周波数フレームを生成するステップと、
    前記偶数フレームでターゲットブロックに含まれた各ターゲットサブブロックに対する加重値を、各ターゲットサブブロックに含まれた全体ピクセルの数と各ターゲットサブブロックの連結ピクセルの数とを利用して設定するステップと、
    各ターゲットサブブロックの加重値を利用して、各ピクセルに対して内容適応的な更新を行うステップとを含むことを特徴とするリフティング基盤のウェーブレット変換方法。
  22. 前記サブブロック加重値設定ステップは、前記各ターゲットサブブロックで、連結ピクセルに対しては前記加重値を設定し、連結されていないピクセルに対しては加重値を“０”に設定することを特徴とする請求項２１に記載のリフティング基盤のウェーブレット変換方法。
  23. 予測過程と更新過程とで構成されるリフティング基盤のウェーブレット変換方法において、
    偶数フレームで動きベクトルによって指示された８Ｘ８参照ブロックが置かれる８Ｘ８ターゲットブロック単位で更新過程を進めるか否かを判断するステップと、
    前記偶数フレームで前記更新過程を進めると判断された８Ｘ８ターゲットブロックに含まれた各４Ｘ４ターゲットサブブロックに対して、連結ピクセルの数による加重値を設定して更新を行うステップとを含むことを特徴とするリフティング基盤のウェーブレット変換方法。
  24. 予測過程と更新過程とで構成されるリフティング基盤のウェーブレット変換方法において、
    偶数フレームで動きベクトルによって指示された８Ｘ８参照ブロックが置かれる８Ｘ８ターゲットブロック単位で更新過程を進めるか否かを判断するステップと、
    前記偶数フレームで前記更新過程を進めると判断された８Ｘ８ターゲットブロックに含まれた各４Ｘ４ターゲットサブブロックの連結ピクセルと連結されていないピクセルとに対して、異なる加重値を設定して更新を行うステップとを含むことを特徴とするリフティング基盤のウェーブレット変換方法。
  25. 予測過程と更新過程とで構成されるリフティング基盤のウェーブレット変換方法において、
    偶数フレームで８Ｘ８ターゲットブロックに含まれた各４Ｘ４ターゲットサブブロックの連結ピクセルと連結されていないピクセルとに対して、異なる加重値を設定して更新を行うステップを含むことを特徴とするリフティング基盤のウェーブレット変換方法。
  26. 請求項６ないし１０のうち何れか一項に記載のスケーラブル画像の符号化方法を実行できるプログラムを記録したコンピュータで読み取り可能な記録媒体。
  27. 請求項１２に記載のスケーラブル画像の復号化方法を実行できるプログラムを記録したコンピュータで読み取り可能な記録媒体。
  28. 請求項２０ないし２５のうち何れか一項に記載のリフティング基盤のウェーブレット変換方法を実行できるプログラムを記録したコンピュータで読み取り可能な記録媒体。
JP2007532250A 2004-09-16 2005-09-16 ウェーブレット変換装置及びその方法、それを採用したスケーラブル画像符号化装置及びその方法、スケーラブル画像復号化装置及びその方法 Withdrawn JP2008514107A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US61018904P 2004-09-16 2004-09-16
US61767504P 2004-10-13 2004-10-13
PCT/KR2005/003104 WO2006031093A1 (en) 2004-09-16 2005-09-16 Wavelet transform apparatus and method, scalable video coding apparatus and method employing the same, and scalable video decoding apparatus and method thereof

Publications (1)

Publication Number Publication Date
JP2008514107A true JP2008514107A (ja) 2008-05-01

Family

ID=36060293

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007532250A Withdrawn JP2008514107A (ja) 2004-09-16 2005-09-16 ウェーブレット変換装置及びその方法、それを採用したスケーラブル画像符号化装置及びその方法、スケーラブル画像復号化装置及びその方法

Country Status (4)

Country Link
US (1) US8509308B2 (ja)
JP (1) JP2008514107A (ja)
KR (1) KR100738076B1 (ja)
WO (1) WO2006031093A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7580461B2 (en) 2004-02-27 2009-08-25 Microsoft Corporation Barbell lifting for wavelet coding
US7627037B2 (en) * 2004-02-27 2009-12-01 Microsoft Corporation Barbell lifting for multi-layer wavelet coding
KR100703760B1 (ko) * 2005-03-18 2007-04-06 삼성전자주식회사 시간적 레벨간 모션 벡터 예측을 이용한 비디오인코딩/디코딩 방법 및 장치
US9332274B2 (en) * 2006-07-07 2016-05-03 Microsoft Technology Licensing, Llc Spatially scalable video coding
KR100937030B1 (ko) * 2007-05-31 2010-01-15 한국전자통신연구원 디지털 방송 신호의 전송 방법, 전송 장치, 수신 방법 및수신 장치
KR100941582B1 (ko) * 2008-03-07 2010-02-10 에스케이 텔레콤주식회사 리프팅 기반 방향성 웨이블렛 변환의 적응적 갱신 방법 및갱신 장치와 이를 위한 기록 매체
KR101467849B1 (ko) * 2009-07-02 2014-12-03 에스케이 텔레콤주식회사 갱신-예측 구조 리프팅 기반 웨이블렛 변환 장치와 방법, 이를 위한 적응적 예측 장치와 방법, 및 이를 위한 기록 매체
US20120128076A1 (en) * 2010-11-23 2012-05-24 Sony Corporation Apparatus and method for reducing blocking artifacts
JP5830993B2 (ja) * 2011-07-14 2015-12-09 ソニー株式会社 画像処理装置及び画像処理方法
US10154197B2 (en) * 2013-09-11 2018-12-11 Google Llc Image capture device having light field image capture mode, 2D image capture mode, and intermediate capture mode
US9762912B2 (en) 2015-01-16 2017-09-12 Microsoft Technology Licensing, Llc Gradual updating using transform coefficients for encoding and decoding
US20160345018A1 (en) * 2015-05-19 2016-11-24 Microsoft Technology Licensing, Llc Video encoding and decoding

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5737023A (en) * 1996-02-05 1998-04-07 International Business Machines Corporation Hierarchical motion estimation for interlaced video
KR20040106418A (ko) 2002-04-29 2004-12-17 코닌클리케 필립스 일렉트로닉스 엔.브이. 웨이브렛 부호화에 대한 다중 기준 프레임들에 기초한움직임 보상 시간 필터링
US20030202599A1 (en) * 2002-04-29 2003-10-30 Koninklijke Philips Electronics N.V. Scalable wavelet based coding using motion compensated temporal filtering based on multiple reference frames
GB0228281D0 (en) * 2002-12-04 2003-01-08 Imec Inter Uni Micro Electr Coding of motion vectors produced by wavelet-domain motion estimation
KR20050022160A (ko) * 2003-08-26 2005-03-07 삼성전자주식회사 스케일러블 비디오 코딩 및 디코딩 방법, 및 스케일러블비디오 엔코더 및 디코더
KR20050074151A (ko) * 2004-01-13 2005-07-18 삼성전자주식회사 스케일러블 비디오 코딩에서 모션 벡터를 선정하는 방법및 그 방법을 이용한 비디오 압축 장치
KR20050076019A (ko) * 2004-01-19 2005-07-26 삼성전자주식회사 스케일러블 부호화에 기반한 비트스트림의 적응적 부호화및/또는 복호화 방법, 및 이를 구현하기 위한프로그램이 기록된 기록 매체
US7627037B2 (en) * 2004-02-27 2009-12-01 Microsoft Corporation Barbell lifting for multi-layer wavelet coding
KR101014667B1 (ko) * 2004-05-27 2011-02-16 삼성전자주식회사 스케일러블 동영상 인코딩, 디코딩 장치 및 그 방법

Also Published As

Publication number Publication date
US8509308B2 (en) 2013-08-13
KR100738076B1 (ko) 2007-07-12
US20070253487A1 (en) 2007-11-01
WO2006031093A1 (en) 2006-03-23
KR20060051402A (ko) 2006-05-19

Similar Documents

Publication Publication Date Title
KR100738076B1 (ko) 웨이블렛 변환장치 및 그 방법과 이를 채용한 스케일러블영상부호화 장치 및 그 방법과 스케일러블 영상복호화 장치및 그 방법
CN107454409B (zh) 有损压缩编码数据方法和设备及相应重构数据方法和设备
JP5986639B2 (ja) 画像精緻化に基づくビデオ符号化及び復号化
US20070171970A1 (en) Method and apparatus for video encoding/decoding based on orthogonal transform and vector quantization
CN114222122A (zh) 视频解码方法和解码器、存储介质
JP2015506606A (ja) ビデオコーディングのための動きベクトル予測の実行
KR101763113B1 (ko) 노이즈성분을 위한 공간영역에서의 영상 부호화/복호화 방법 및 장치
EP1515561B1 (en) Method and apparatus for 3-D sub-band video coding
KR101973571B1 (ko) 영상 변환 부호화/복호화 방법 및 장치
US9432694B2 (en) Signal shaping techniques for video data that is susceptible to banding artifacts
KR20110033511A (ko) 인접 화소를 이용한 인터 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
US9264736B2 (en) Encoding method, decoding method, encoding device, and decoding device
US10015484B2 (en) Adaptive scan device and method for scanning thereof
WO2011070730A1 (ja) 映像符号化装置および映像復号装置
KR101449692B1 (ko) 영상 부호화 장치 및 그 방법, 및 영상 복호화 장치 및 그 방법
Seiler et al. Spatio-temporal prediction in video coding by spatially refined motion compensation
Tsai et al. A rate-distortion analysis on motion prediction efficiency and mode decision for scalable wavelet video coding
Afsana et al. Efficient low bit-rate intra-frame coding using common information for 360-degree video
Cheng et al. Advanced motion compensation techniques for blocking artifacts reduction in 3-D video coding systems
Leontaris et al. Rate control for flicker artifact suppression in motion JPEG2000
Marusic et al. Application of the SUSAN filter to wavelet video-coding artifact removal
WO2008111744A1 (en) Method and apparatus for encoding and decoding image in pixel domain
JP2009177443A (ja) 符号化装置
Monaco et al. Video coding using image warping within variable size blocks
Zabihi et al. Content-based hybrid error concealment approach for packet video communication over the noisy channels

Legal Events

Date Code Title Description
A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20090521