JP2001204037A - 動き補償適応型画像処理方法及びその装置 - Google Patents
動き補償適応型画像処理方法及びその装置Info
- Publication number
- JP2001204037A JP2001204037A JP2001013152A JP2001013152A JP2001204037A JP 2001204037 A JP2001204037 A JP 2001204037A JP 2001013152 A JP2001013152 A JP 2001013152A JP 2001013152 A JP2001013152 A JP 2001013152A JP 2001204037 A JP2001204037 A JP 2001204037A
- Authority
- JP
- Japan
- Prior art keywords
- frequency component
- image data
- low
- value
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
- H04W88/02—Terminal devices
- H04W88/04—Terminal devices adapted for relaying to or from another terminal or user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
- H04B1/40—Circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Processing (AREA)
Abstract
れ、復号された画像の画質が高画質を維持し得るように
画像フレームの低い帯域幅に対して圧縮する、動き補償
適応型画像圧縮方法及びその装置を提供すること。 【解決手段】 画像データを高周波成分と低周波成分
とに分解し、各々の成分に適切なビットを割り当てて画
像データを圧縮/符号化し、前記圧縮/符号化された画
像データを高周波成分と低周波成分とに復号して本来の
画像データを復元する。
Description
その装置に係るもので、詳しくは、画像データを高周波
成分と低周波成分とに分解し、各々の成分に適切なビッ
トを割り当てて画像データを圧縮/符号化した後、その
圧縮/符号化された画像データを高周波成分と低周波成
分とに復号して本来の画像データを再生する、動き補償
適応型画像処理方法及びその装置に関する。
の中で、リアルタイムVLSIデコーダは、処理する資
源が小さいほど小費用で製作することができる。言い換
えると、デコーダの製造費用を低減させたい場合は、小
メモリを使用するか、画像データの計算量を低減させる
か、若しくは、画像データの処理帯域幅を低減させなけ
ればならない。
ommitte)は、動画像の符号化及び復号のためにISO/IE
C18318-2、すなわち、一般的に知されているMPEG−
2標準規格を採択した。特に、アメリカにおけるディジ
タルTV(DTV)システムは、標準規格としてMPE
G−2MP@HLビデオ符号化仕様を採択している。そ
のビデオ符号化仕様は18個の異なる画像フォーマット
が記載されている。
080×30[フレーム/秒]のフォーマットは、最大
のフレームメモリ及び最大の帯域幅を必要とする。且
つ、その画像フォーマットに該当する画像の大きさを復
号しようとすると、デコーダは約16MBの大きさを有
するメモリを必要とする。このようなメモリとしては外
部メモリを使用することができる。
とき、メモリの帯域幅は、その性能を決定する主要要素
で、且つ、デコーダチップの製造費用の増減に直接的に
影響を与える要素となる。また、リアルタイムVLSI
デコーダは、復号されたフレームを格納するために大容
量の外部メモリを必要とするため、パソコンまたはセッ
トトップボックスに拡張カードを追加的に設けなければ
ならず、そのため製品の原価が増加する。
アルタイムVLSIデコーダを実現することが困難であ
る。一方、HDTVデコーダは、ATSC規格で提案し
た18個の画像フォーマット及びMPEGメインプロフ
ィール/メインレベル規格を利用するATSC DTV
画像フォーマット(4:2:0 Y、Cb、Crモー
ド)を全て復号することができなければならない。
ような情報の組合せにより生成される。 (1)4個の異なる画像サイズ、すなわち、1920×
1080、1280×720、704×480、640
×480 (2)2つの異なる縦横比、すなわち、4:3及び1
6:9 (3)8つの異なるフレームレートコード、すなわち、
23.976Hz、24Hz、29.9Hz、30H
z、59.94Hz、60Hz (4)順次走査またはインタレース走査
デオは、画像符号化タイプと呼ばれる3つの異なる符号
化モードを支援する。その3つの画像符号化タイプは、
Intra(I)ピクチャータイプ、Predicti
ve(P)ピクチャータイプ、及びBi−direct
ional(B)ピクチャータイプであり、それぞれ異
なる特徴を有している。Iピクチャーは、他のピクチャ
ーを参照せずに符号化されるピクチャーであって、Pピ
クチャー及びBピクチャーを予測するために使用され
る。Pピクチャーは、基準ピクチャとして利用されるも
ので、以前のIピクチャーまたはPピクチャーを利用し
て符号化されて、その後のPピクチャー及びBピクチャ
ーを予測するために使用される。また、Bピクチャー
は、基準ピクチャとしては利用されず、前後にあるIピ
クチャー及びPピクチャーを利用して符号化される。
したように、画像信号を入力して可変長さに符号化する
可変長さ符号化部101と、可変長さ符号化部101か
ら出力される信号を逆量子化する逆量子化部102と、
逆量子化部102から出力される逆量子化された信号を
逆離散変換するIDCT部103と、可変長さ符号化部
101から出力される動きベクトルを入力されて動き補
償情報を出力する動き補償部106と、動き補償情報に
よって逆離散変換された信号を入力してフレーム単位に
画像を処理する画像フレーム処理部104と、画像フレ
ーム処理部104から出力される画像データを格納して
出力するメモリ105と、により構成されていた。
装置の動作ついて説明する。先ず、ビットストリームの
入力を受けた可変長さデコーダ(VLD)101が可変
長さに復号して可変長さ復号されたデータを逆量子化部
(DEQ)102に出力すると、逆量子化部102は可
変長さ復号されたデータを逆スキャン及び逆量子化して
逆離散変換器(IDCT)103に出力する。
逆量子化データを逆離散変換して画像フレーム処理部1
04に出力する。画像フレーム処理部104は入力され
た逆離散変換データを再生してメモリ105に出力す
る。
ータを格納し、動き補償部106及びディスプレー制御
部(未図示)を介してTVまたはモニターに出力する。
れる動きベクトルMV及びメモリ105から出力される
再生されたデータの入力を受けた動き補償器(MC)1
06は、動きを補償したデータを画像フレーム処理部1
04に出力し、画像フレーム処理部104は前記IDC
Tデータと動き補償データとを加算して本来の画像を再
生して出力する。
3つの異なるピクチャーと、2つの基準ピクチャーと、
Bピクチャーとを格納する。また、ディスプレー制御器
及び動き補償部106は、帯域幅のほとんどを使用する
各回路部により構成され、特に、動き補償部106はデ
ィスプレー制御器とは違って、動き補償が16×16ま
たは16×8ピクセル(pel)ブロックを基準に実施
されるため、動き補償のためにはメモリデータがランダ
ムにアクセスされなければならない。
処理装置及びその方法においては、MPEGがI、P及
びBピクチャーフレームを組合せて使用したシーケンス
を符号化するため、復号されたデータのランダムアクセ
スの可能性と適切な圧縮比間の均衡を維持することが困
難で、予測エラーが発生し易く、次のIフレームにより
リフレッシュされるまでエラーが増加するという不都合
な点があった。
なされたもので、復号された画像フレームが小メモリに
格納され、復号された画像の画質が高画質を維持し得る
ように画像フレームの低い帯域幅に対して圧縮する、動
き補償適応型画像圧縮方法及びその装置を提供すること
を目的とする。
ームが格納されるメモリの入出力帯域幅(I/O B
W)を圧縮させることにより復号された画像フレームが
小容量の外部メモリに格納されるように画像フレームを
高周波成分と低周波成分とに分解し、それらに対して適
切なビットを割り当てて圧縮する、動き補償適応型画像
圧縮方法及びその装置提供しようとする。
れた画像データを高周波成分と低周波成分とに分離して
読出した後、それらを復号することによって本来の画像
を再生する、動き補償適応型画像圧縮方法及びその装置
を提供しようとする。
るため、本発明に係る動き補償適応型画像処理方法にお
いては、画像データを処理して格納し、格納された画像
データを再生する画像処理方法であって、画像データを
高周波成分の画像データと低周波成分の画像データとに
分解し、それらの分解された高周波成分の画像データ及
び低周波成分の画像データに所定ビットを割り当てて圧
縮/符号化する段階と、圧縮/符号化された画像データ
を高周波成分に該当する値と低周波成分に該当する値と
に分解し、それら分解された値に該当する高周波成分の
画像データと低周波成分の画像データとに復号して本来
の画像データに再生する段階と、を順次行うことを特徴
とする。
き補償適応型画像処理装置は、画像データを処理して格
納し、格納された画像データを再生する画像処理装置で
あって、外部から入力された画像信号をフレーム単位で
処理し、処理された画像データを出力する画像フレーム
処理部と、入力された画像信号の動きを補償するために
補償情報を生成して画像フレーム処理部に出力する画像
補償部と、画像フレーム処理部から出力される画像デー
タを高周波数成分と低周波数成分とに分離し、所定ビッ
トを割り当てて圧縮/符号化する画像圧縮部と、圧縮/
符号化された画像データを格納する記憶部と、記憶部に
格納された圧縮/符号化された画像データを復号/再生
する画像再生部とを含むことを特徴とする。
し、図面を用いて説明する。一般に、各画像フレームは
圧縮可能な、相関関係のある多数の領域を含んでいる。
それら画像フレームは、順次または飛越し走査により形
成される。したがって、それらの画像フレームに対して
水平方向に実施された圧縮は、垂直方向または2次元方
向に実施された圧縮よりも、圧縮された画像を再生した
ときの画像損失は少ない。一方、画像フレームに対する
圧縮比が高くなるほど、高周波成分及びエッジがより一
層損傷される。
及びベクトル量子化方法を利用して画像フレームを圧縮
するとき、例えば、中間程度の圧縮比により画像フレー
ムが圧縮された場合でもエッジの損傷が発生する。従っ
て、再生された画像フレームの画質を本来の画像と同様
な画質に維持するためには、エッジまたは高周波成分を
保護し得る圧縮方法が必要である。また、前述した各方
法では、画像にディテールが備わっているテクスチャー
領域においては、ディテールをスムーズにする傾向があ
り、かつエラー伝播または予測変動が発生する。
化及び可変長さ符号化を行って画像を再圧縮する方法も
あるが、この方法は演算過程が複雑である。
報がランダムアクセスするように格納されて動きを補償
するため、画像処理装置の複雑性を一層増加させる。
DPCM方法は、前記ADPCM方法よりも複雑性が低
減されるだけではなく、テクスチャー及びエッジ領域に
おいても画像の画質を殆ど損傷せずに再生することがで
きる。
を外部フレームメモリに格納する前に再び圧縮するこ
と、すなわち、復号されたI、P、Bピクチャーを圧縮
することによって、必要な記憶容量を低減させることを
特徴とする。従って、動き補償及びディスプレーのため
にメモリに格納されたフレームデータを読み出し/書込
みするために必要な帯域幅も圧縮することができる。
とき、特に、動き補償部が活性化するときに増加する。
すなわち、動き補償部は、ビットストリームから得られ
た動きベクトルを利用して、与えられた任意の位置から
16×8または16×16ピクセル(pel)を基準に
データにアクセスする。従って、リアルタイムVLSI
デコーダを設計するときは前記各結果を考慮すべきであ
る。
I、P、B画像を利用するため、再圧縮の際、動き予測
誤差が1つのI画像から次のI画像まで影響を与える。
従って、誤差の影響を少なくできる圧縮システムを構築
すべきである。
ス帯域幅を圧縮させることは、製造費用と直接連関され
るため、消費者にとっては非常に重要である。本発明で
は、帯域幅を圧縮させるために、比較的安価なRDRA
Mを使用する代わりに通常のSDRAMを使用した。本
発明は、画質が低下されることなく、PSNRに関連し
て無視できるほどの低下でありながら、圧縮比、帯域幅
の使用及び動き補償に対して、ランダムアクセス性、誤
差増加率及び製品の費用効果の面から良好なバランスを
維持することができる。
に説明する。 [実施例]画像フレームの圧縮に使用されるウエーブレ
ット変換方法は、エネルギーをコンパクト化する能力が
非常に大きい。すなわち、ウエーブレット変換を利用し
て高周波成分及び低周波成分を2つの異なる周波数サブ
バンドに分解すると、分解された高周波係数のエントロ
ピーが減少され、よって、コーデックは少ないビット数
を利用して符号化することができる。
0または0付近の値になるため、高周波サブバンドで極
めて少ない数の非零値が誘導される。このとき、高周波
サブバンドは、予め作成したテーブル、ベクトル量子
化、または、可変長さ符号化技法を利用した単純な量子
化方法により効果的に符号化することができる。
により調節されるか、または、低周波を他の低周波及び
高周波サブバンド、すなわち、低−低、低−高、高−低
及び高−高の周波数バンドに更に分解することによって
調節される。このように低周波成分を連続的に分解して
圧縮比が調節されると、エントロピーが減少されて圧縮
効率も高くなる。
1に示したように、入力画像データをブロック単位で処
理して本来の画像を再生するために、可変長さデコーダ
200、逆量子化器300、IDCT400、画像処理
部500が接続されている。画像処理部500は、可変
長さデコーダ200から出力される動きベクトルMVが
入力されて動き補償情報を出力する動き補償部800に
接続されており、動き補償部800から出力される動き
補償された画像情報及びIDCT400により処理され
たDCT係数を利用して本来の画像を再生し、その再生
された画像データを出力する。再生された画像データの
入力を受ける画像圧縮部600は、再生された画像デー
タを高周波成分と低周波成分とに分解し、各々の成分に
対応するビットを割り当てて圧縮/符号化し、圧縮/符
号化された画像データをメモリ700に出力する。
ータを画像再生部900に出力すると、画像再生部90
0はメモリ700から高周波成分及び低周波成分ごとに
圧縮/符号化されたデータを読出し、各成分に対し復号
を実施して、復号された画像データを動き補償部800
に出力する。
ーダ200から出力される動きベクトルMVを利用して
復号された画像データの動きを補償し、その動き補償情
報を前記画像処理部500に出力する。その結果、入力
された画像の動きが補償されて本来の画像に再生され
る。
は、図2に示したように、「H」として示された複数の
高周波フィルター601、605、609と、「L」と
して示された複数の低周波フィルター602、606、
610と、「↓2」として示された複数のデシメータ6
03、604、607、608、611、612と、に
より構成されている。
ィルター(H)601及び低周波フィルター(L)60
2を利用して高周波成分と低周波成分とにそれぞれ分解
し、それらの分解された信号に対し各デシメータ60
3、604を利用してダウンサンプリング(down sampl
ing)する。
と、その第1ステージの低周波フィルター602から出
力される各データに対し、第1ステージと同様の方式を
適用して入力された信号を高周波フィルター605と低
周波フィルター606で分解した後再びダウンサンプリ
ングを行う第2ステージを実施する。すなわち、第2ス
テージにおいても、第1ステージで分解された低周波成
分に対して再び高周波フィルター605と低周波フィル
ター606を利用して高周波成分と低周波成分とにそれ
ぞれ分解し、それら分解された信号に対し各てデシメー
タ607、608を利用してダウンサンプリングを実施
する。
テージで分解された低周波成分に対し、再び高周波フィ
ルター609及び低周波フィルター610を利用して高
周波成分と低周波成分とにそれぞれ分解し、それら分解
された信号に対して各デシメータ611、612を利用
してダウンサンプリングを実施する。必要に応じてさら
に繰り返す。従って、入力された画像信号は低周波領域
に分解される。
部においては、図3に示したように、画像データの入力
を受けたフィルター613が前記画像データを高周波成
分Hnと低周波成分L0、L2とに分解して出力する。
高周波成分Hnは符号化テーブル614に基づいて符号
化して出力される。1番目の低周波成分L0は処理され
ずに符号化値としてフィルター613から出力される。
また、2番目の低周波成分L2は、1番目の低周波成分
L0から減算器615により減算され、その差値が符号
化テーブル617に基づいて符号化される。
を利用した符号化方法は、入力された値が符号化テーブ
ルの値(または、所定範囲)に対応するとき、その値
(または、範囲)に対応するインデックス(索引)値を
該当データのコードとして符号化する。
成分とに分解された後、符号化テーブルに基づいて適切
なビット数が割当されて圧縮され、このように圧縮され
た画像データが、圧縮過程を逆に実施することによって
再生される。
明する。本実施形態に係る画像再生方法を説明するため
の構成においては、図4に示したように、入力信号をア
ップサンプルリングし、「↑」として示された複数の逆
デシメータ901、902、905、906、909、
910と、それら逆デシメータから出力されるアップサ
ンプリングされた信号を高周波成分と低周波成分とにそ
れぞれフィルターリングする「〜H」及び「〜L」とし
て示された各高周波フィルター903、907、911
及び低周波フィルター904、908、912とにより
構成されている。なお、明細書におけるHとLの前の
「〜」は図のようにそれぞれの文字の上に付くものであ
る。
おいては、図5に示したように、高周波成分と低周波成
分とに分解し圧縮されてメモリに格納されたデータの入
力を受け、符号化テーブル913に基づいて高周波成分
を再生し、別の符号化テーブル914に基づいて低周波
成分を再生する。すなわち、符号化テーブル913は、
高周波成分Hnに対するコード(すなわち、図3に示さ
れた符号化テーブル614のインデックス値)を検索し
て該当インデックス値に対応する代表値を復号出力H
n’とする。
ら出力されるときコード値として処理されずに出力され
ているため、画像データを再生する画像再生部でも処理
されずにそのまま出力される。2番目の低周波成分L2
(この値は1番目の低周波成分との差を符号化した値で
ある)は、符号化テーブル914からその値をインデッ
クスとする代表値が出力され、その出力値を加算器91
5により1番目の低周波成分値L0と加算することによ
って本来の画像データL2’に再生される。
ィルターL、H、〜L、〜Hは、分解フィルター及び合
成フィルター(decomposition and reconstruction fil
ters)であって、例えば、低周波分解フィルターの係数
Lが{C0、C1、C2、−C3}であると、H、〜L、〜
Hは次式のように表現することができる(ここで、n=
{0、1、2、3}である) H(n)=(−1)nL(3−n) (1) 〜L(n)=L(3−n) (2) 〜H(n)=H(3−n) (3) また、次の各式は、分解及び再生用Daubechie
の4タップコンパクトフィルター(Daubechie's 4 tap
compact filters)に対する各係数を示す。 L(n)={C0、C1、C2、−C3} (4) H(n)={−C3、−C2、C1、−C0} (5) 〜L(n)={−C3、C2、C1、C0} (6) 〜H(n)={−C0、C1、−C2、−C3} (7)
きさに基づいて再分割される。ここで、mは水平方向の
ピクセルの数で、nは垂直走査線の数である。圧縮は
I、P及びBピクチャーで輝度及び色相成分Cb及びC
rに対して予め分割された各サブブロックに基づいて行
われる.
画像の垂直方向の大きさであるとし、Xが大きさH×V
のディジタル画像で符号化されるベクトルとすると、そ
のベクトルの大きさはm×nとして示すことができる。
ここで、mは水平方向の大きさを示し、nは垂直方向の
大きさを示す。
中で実施され、最初に、輝度ブロックに対して圧縮が行
われ、その後色相ブロックに対して圧縮が行われる。
解段階を調節するか、低周波係数及び高周波係数に対し
て他の量子化ベクトルを適用することによって調節され
る。ただし、低周波成分に対する圧縮比が高いと、信号
を再生するときエラーの発生が多くなる。
ることができるが、その中で、分解を行った後サブブロ
ックの統計を分析し、その結果に基づいて設計する方法
(Laplacianと類似した形態)が例に挙げられ、その統
計に基づいて最適な非線形量子化器(optimal non-line
ar quantizer)を設計することができる。
に使用するとき極めて有用である。ウエーブレット変換
方法を使用すると、低周波係数で一層多くのエネルギー
を圧縮することが可能で、高周波係数では小さいエネル
ギーが存在するため、線形量子化器を使用することがで
きる。従って、ほとんどのエネルギーが既に低周波係数
と稠密に結合されているため、線形量子化器と非線形量
子化器の両方とも使用することができる。
エラー伝播の最小化のようなランダムアクセスの応用に
おいて、ピクセルへのアクセスを容易にするために、本
発明の実施形態においては、25%の圧縮比、すなわ
ち、4:3圧縮におけるウエーブレット変換を用いた。
処理装置の動作に対し、以下、より詳しく説明する。圧
縮の第1段階は、4ピクセルブロック、すなわち、圧縮
サブブロックの大きさが4×1ピクセルであるブロック
にウエーブレット変換を適用する。入力ソースが順次方
式、若しくは、インタレース方式であるため、圧縮は水
平方向に行われる。このように水平方向に行われた圧縮
はエラーの発生が少ない。
に、フレームメモリに格納されたデータはフレームメモ
リから水平方向に上から下方向に読出されるため、垂直
方向には圧縮されないことが好ましい。例えば、4:3
圧縮比は、32ビットデータを24ビットに符号化する
ことによって容易に達成することができる。
対してウエーブレット変換を適用する。ここで、前記ウ
エーブレット変換は、前記ウエーブレットフィルターに
より行われるピクセルデータの畳み込み処理(convolut
ion process)である。
Hは再生フィルターである。ウエーブレット分解過程
は、図2に示したような方式により分解され、次式によ
り表現することができる。
データブロックである。
分解及び係数2によるデシメーションは、2つの低周波
成分係数及び2つの高周波成分係数を生成する。
低周波成分係数及び2つの高周波成分係数が量子化され
る。低周波成分に平均7ビットが割り当てられ、高周波
成分に平均5ビットが割り当てられる。本発明に係る実
施形態において、低周波成分及び高周波成分は全て2重
精密度データである。
れ、2番目の低周波成分は6ビットで符号化される。す
なわち、1番目の低周波成分は8ビットデータであっ
て、0から255までの値を有するため、次式により示
された定数に最も近接して四捨五入される。 Ylow(n)=(int){Xlow(n)+α} (10) ここで、Xlow(n)は分解結果で、Ylow(n)は量子
化された値であって、Ylow(n)が0よりも小さいと
αは−0.5になり、Ylow(n)が0よりも大きいと
αは0.5になる。以上のように演算した後、Y
low(n)に対して次式(11)のように飽和過程が行
われる。
番目の成分にそれぞれ8ビット及び6ビットが割り当て
られ、ここで、前記2番目の低周波成分は、ルックアッ
プテーブルを利用して予測処理される。 Z'low(2)=Zlow(2)−Zlow(0) (12) ここで、Z'low(n)は、6ビットを使用した予め定義
されたコードが割り当てられている。
線形量子化と線形量子化との組合せによって高周波成分
が量子化される。
間に存在すべきであるため、先ず、四捨五入演算が行わ
れる。 Yhigh(n)=(int)(Xhigh(n)+α) (13) ここで、Xhigh(n)は分解結果で、Yhigh(n)は量
子化された値であって、Yhigh(n)が0よりも小さい
とαは−0.5になり、Yhigh(n)が0よりも大きい
とαは0.5になる。以上のように演算が行われた後、
Yhigh(n)に対して次式(14)に示したような飽和
過程が実施される。
を利用して5ビットに量子化される。
実施される過程である。図4及び図5に基づいて説明す
る。先ず、再生の第1段階は、ルックアップテーブルを
利用してZhigh(n)値を逆量子化する。8ビットのデ
ータは各高周波成分に対して復旧される。1番目の低周
波係数は既に8ビットであるため、2番目の低周波成分
はルックアップテーブルにより〜Zlow(2)と復旧さ
れる。従って、1番目の低周波係数がそれに〜Z
low(2)を加算して〜Z'low(0)=Zlow(0)と復
旧される。
用してZlow(n)及びZhigh(n)に行われる。畳み
込みの前に0値を挿入する。Zlow(n)及び〜Lの畳
み込みにより低周波成分が復旧され、Zhigh(n)及び
〜Hの畳み込みにより高周波成分が復旧される。 〜Ylow(n)=〜Zlow(n−k)・〜L(n−k) (16) 〜Yhigh(n)=〜Zhigh(n−k)・〜H(n−k) (17) 〜Ylow及び〜Yhighが復旧された後、それら2つの値
を加算し、因数2で乗算する。ここで、2で乗算する理
由は、アップサンプリングの因数が2であるからであ
る。 〜X(n)=2(〜Ylow(n)+〜Yhigh(n)) (18) 従って、前記各〜Ylow及び〜Yhighから〜Xlow(n)
が復旧された後、復旧された値は最も近接した定数値に
四捨五入され、0から255までの値に飽和される。
補償適応型画像処理方法及びその装置は、ピクセルデー
タを最適に圧縮する際に低周波成分及び高周波成分を分
解するため、リアルタイムVLSI級の応用において通
常の圧縮率で任意のアクセスを容易にさせ、誤差増加を
最小化し得るという効果がある。
構成図である。
説明するための構成図である。
縮部を示した詳細構成図である。
説明するための構成図である。
生部を示した詳細構成図である。
0 IDC、500 画像処理部、600 圧縮部、7
00メモリ、800 動き補償部、900 画像再生
部。
Claims (18)
- 【請求項1】 画像データを処理して格納し、格納され
た画像データを再生する画像処理方法において、 前記画像データを高周波成分の画像データと低周波成分
の画像データとに分解し、それら分解された高周波成分
の画像データ及び低周波成分の画像データに所定ビット
を割り当てて圧縮/符号化する段階と、 前記圧縮/符号化された画像データを高周波成分に該当
する値と低周波成分に該当する値とに分解し、それら分
解された値に該当する高周波成分の画像データと低周波
成分の画像データとに復号して本来の画像データに再生
する段階と、を順次行うことを特徴とする動き補償適応
型画像処理方法。 - 【請求項2】 前記画像データは、ウエーブレット変換
により高周波成分と低周波成分とに分解されることを特
徴とする請求項1記載の動き補償適応型画像処理方法。 - 【請求項3】 前記圧縮/符号化段階は、前記画像デー
タから分解された前記低周波成分に対し、更に、高周波
成分の画像データと低周波成分の画像データとに分解す
る段階を複数回行うことを特徴とする請求項1記載の動
き補償適応型画像処理方法。 - 【請求項4】 前記分解する段階は、前記低周波成分の
画像データをダウンサンプリングして、相対的に高周波
成分の画像データと相対的に低周波成分の画像データと
に分解することを特徴とする請求項3記載の動き補償適
応型画像処理方法。 - 【請求項5】 前記圧縮/符号化段階は、前記分解され
た低周波成分の画像データの下位値は該当のコードとし
てそのまま出力し、前記分解された低周波成分の画像デ
ータの上位値は前記下位値と減算して生成される差値を
符号化して該符号化された値を出力することを特徴とす
る請求項1記載の動き補償適応型画像処理方法。 - 【請求項6】 前記復号/再生段階は、前記画像データ
から分解された前記低周波成分に対し、更に、高周波成
分の画像データと低周波成分の画像データとをそれぞれ
復号して再生する段階を複数回行うことを特徴とする請
求項1記載の動き補償適応型画像処理方法。 - 【請求項7】 前記復号/再生段階は、前記圧縮/符号
化された画像データの低周波成分のコード値に対し、下
位値は該当の復号値としてそのまま出力し、上位値は前
記下位値と加算して生成した値を出力することを特徴と
する請求項1記載の動き補償適応型画像処理方法。 - 【請求項8】 前記圧縮/符号化段階は、 前記画像データが32ビットの4×1ピクセルのサブブ
ロックであるとき、ウエーブレット変換を適用して2つ
の高周波成分と2つの低周波成分とに分解し、 前記分解された高周波成分に対してそれぞれ5ビットを
割り当てて符号化を行い、 前記分解された低周波成分に対し、1番目の低周波成分
は8ビットで符号化し、2番目の低周波成分は前記前記
1番目の低周波成分と以前の値とを減算して生成された
値に対して6ビットで符号化して、24ビットに圧縮/
符号化することを特徴とする請求項1記載の動き補償適
応型画像処理方法。 - 【請求項9】 画像データを処理して格納し、格納され
た画像データを再生する画像処理装置において、 外部から入力された画像信号をフレーム単位で処理し、
処理された画像データを出力する画像フレーム処理部
と、 前記入力された画像信号の動きを補償するために補償情
報を生成して前記画像フレーム処理部に出力する画像補
償部と、 前記画像フレーム処理部から出力される画像データを高
周波数成分と低周波数成分とに分離した後、所定ビット
を割り当てて圧縮/符号化する画像圧縮部と、 前記圧縮/符号化された画像データを格納する記憶部
と、 前記記憶部に格納された圧縮/符号化された画像データ
を復号/再生する画像再生部と、を含むことを特徴とす
る動き補償適応型画像処理装置。 - 【請求項10】 前記画像圧縮部は、 前記画像フレーム処理部から出力される画像データを高
周波成分の画像データと低周波成分の画像データとに分
解するフィルター部と、 前記分解された高周波成分の画像データを符号化テーブ
ルを利用して符号化する高周波成分符号化部と、 前記分解された低周波成分の画像データを符号化テーブ
ルを利用して符号化する低周波成分符号化部と、を含む
ことを特徴とする請求項9記載の動き補償適応型画像処
理装置。 - 【請求項11】 前記高周波成分符号化部は、前記高周
波成分の画像データ値をインデックスとする符号化テー
ブルを利用して、前記インデックス値に該当するコード
を出力することを特徴とする請求項10記載の動き補償
適応型画像処理装置。 - 【請求項12】 前記高周波成分符号化部は、前記高周
波成分の画像データ値が所定範囲以内に入る場合、その
範囲を指示するインデックス値に該当するコードを出力
することを特徴とする請求項10記載の動き補償適応型
画像処理装置。 - 【請求項13】 前記低周波成分符号化部は、 1番目の低周波成分に対しては該当の画像データ値をそ
のまま出力し、2番目の低周波成分に対しては該当の画
像データと前記1番目の低周波成分との差値をインデッ
クスとする符号化テーブルを利用して、インデックス値
に該当するコードを出力することを特徴とする請求項1
0記載の動き補償適応型画像処理装置。 - 【請求項14】 前記画像再生部は、前記メモリに格納
された高周波成分の画像データと低周波成分の画像デー
タとにそれぞれ分離するフィルター部と、 それら分離された低周波成分の画像データ及び高周波成
分の画像データを符号化テーブルを利用して復号する復
号部とを含むことを特徴とする請求項9記載の動き補償
適応型画像処理装置。 - 【請求項15】 前記復号部は、符号化テーブルを利用
して、前記メモリに格納された高周波成分の画像データ
値をインデックス値とする代表値を出力し、1番目の低
周波成分に対しては該当の画像データ値をそのまま出力
し、2番目の低周波成分に対しては符号化テーブルを利
用して復号された値と前記1番目の低周波成分とを加算
して生成される値を出力することを特徴とする請求項1
4記載の動き補償適応型画像処理装置。 - 【請求項16】 前記画像フレーム処理部は、 前記画像信号を入力して可変長さに符号化する可変長さ
符号化部と、 前記可変長さ符号化部から出力される信号を逆量子化す
るする逆量子化部と、 前記逆量子化部から出力される逆量子化された信号を逆
離散変換するIDCT部と、を含むことを特徴とする請
求項9記載の動き補償適応型画像処理装置。 - 【請求項17】 前記画像圧縮部は、 前記画像データがサブブロックを有するとき、ウエーブ
レット変換を適用して2つの高周波成分画像データと2
つの低周波成分画像データとに分解するフィルター部
と、 前記高周波成分画像データ値の範囲をインデックス値に
よりマップピングして前記高周波成分画像データ値を圧
縮/符号化値として出力する第1符号化テーブルと、 前記低周波成分画像データの1番目の低周波成分はその
まま符号化し、2番目の低周波成分は前記1番目の低周
波成分と以前の値とを減算して差値を生成する減算器
と、 前記減算器から出力される差値をインデックス値により
マップピングして、低周波成分値を圧縮符号化値として
出力する第2符号化テーブルと、を含むことを特徴とす
る請求項9記載の動き補償適応型画像処理装置。 - 【請求項18】 前記画像再生部は、 前記高周波成分に該当するコード値をインデックスと
し、代表値を復号された値として出力する第3符号化テ
ーブルと、 前記2番目の低周波成分の復号された値を前記1番目の
低周波成分のコード値と加算し、前記画像圧縮部により
符号化/圧縮された2番目の低周波成分値として再生す
る加算器と、 前記2番目の低周波成分に該当するコード値をインデッ
クスとして代表値を復号された値に出力する第4符号化
テーブルと、を含むことを特徴とする請求項9記載の動
き補償適応型画像処理装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020000002674A KR100359821B1 (ko) | 2000-01-20 | 2000-01-20 | 움직임 보상 적응형 영상 압축과 복원방법 및 그 장치와디코더 |
KR2000-2674 | 2000-01-20 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001204037A true JP2001204037A (ja) | 2001-07-27 |
JP3964139B2 JP3964139B2 (ja) | 2007-08-22 |
Family
ID=19640049
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001013152A Expired - Fee Related JP3964139B2 (ja) | 2000-01-20 | 2001-01-22 | 動き補償適応型画像処理方法及びその装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US6853682B2 (ja) |
EP (1) | EP1119205A3 (ja) |
JP (1) | JP3964139B2 (ja) |
KR (1) | KR100359821B1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8605911B2 (en) | 2001-07-10 | 2013-12-10 | Dolby International Ab | Efficient and scalable parametric stereo coding for low bitrate audio coding applications |
SE0202159D0 (sv) | 2001-07-10 | 2002-07-09 | Coding Technologies Sweden Ab | Efficientand scalable parametric stereo coding for low bitrate applications |
US7469206B2 (en) * | 2001-11-29 | 2008-12-23 | Coding Technologies Ab | Methods for improving high frequency reconstruction |
US7209591B2 (en) * | 2002-07-16 | 2007-04-24 | Institue Of Super Compression Technologies | Motion compensation method for video sequence encoding in low bit rate systems |
SE0202770D0 (sv) | 2002-09-18 | 2002-09-18 | Coding Technologies Sweden Ab | Method for reduction of aliasing introduces by spectral envelope adjustment in real-valued filterbanks |
EP3404479A1 (en) * | 2002-12-25 | 2018-11-21 | Nikon Corporation | Blur correction camera system |
KR100696107B1 (ko) * | 2005-04-11 | 2007-03-19 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
KR100678909B1 (ko) * | 2005-07-18 | 2007-02-06 | 삼성전자주식회사 | 인코더-디코더 간 불일치를 감소시키는 mctf 기반의비디오 코딩 방법 및 장치 |
EP1905238A4 (en) * | 2005-07-18 | 2009-04-22 | Samsung Electronics Co Ltd | VIDEO CODING METHOD AND DEVICE FOR INCREASING CONFORMITY BETWEEN ENCODERS AND DECODERS |
US8755440B2 (en) * | 2005-09-27 | 2014-06-17 | Qualcomm Incorporated | Interpolation techniques in wavelet transform multimedia coding |
KR101042004B1 (ko) * | 2008-06-17 | 2011-06-16 | 안기대 | Led모듈이 설치된 입체문자 고정식 간판 |
EP2294826A4 (en) * | 2008-07-08 | 2013-06-12 | Mobile Imaging In Sweden Ab | COMPRESSION METHOD OF IMAGES AND FORMAT OF COMPRESSED IMAGES |
JP5294767B2 (ja) * | 2008-09-16 | 2013-09-18 | キヤノン株式会社 | 動画再生装置、動画再生方法、プログラム及び記録媒体 |
CN102165778A (zh) * | 2009-02-10 | 2011-08-24 | 松下电器产业株式会社 | 图像处理装置、图像处理方法、程序及集成电路 |
US9516346B2 (en) * | 2009-09-01 | 2016-12-06 | Manipal Institute Of Technology | Image processing system and method |
WO2013108230A1 (en) | 2012-01-18 | 2013-07-25 | Luca Rossato | Distinct encoding and decoding of stable information and transient/stochastic information |
KR102366519B1 (ko) | 2015-01-14 | 2022-02-23 | 한화테크윈 주식회사 | 범용 그래픽 프로세서에서의 모션 보상의 병렬화 방법 및 장치 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5001561A (en) * | 1990-05-02 | 1991-03-19 | At&T Bell Laboratories | Embedded coding system for video signals |
US5412741A (en) * | 1993-01-22 | 1995-05-02 | David Sarnoff Research Center, Inc. | Apparatus and method for compressing information |
JPH08186815A (ja) * | 1994-12-28 | 1996-07-16 | Pioneer Electron Corp | サブバンド符号化方法 |
US6160846A (en) * | 1995-10-25 | 2000-12-12 | Sarnoff Corporation | Apparatus and method for optimizing the rate control in a coding system |
JP2000506686A (ja) * | 1995-10-25 | 2000-05-30 | サーノフ コーポレイション | オーバラップブロック動き補償及びゼロツリーウェーブレット符号化を用いる低ビットレートビデオ符号化器 |
JP3788823B2 (ja) * | 1995-10-27 | 2006-06-21 | 株式会社東芝 | 動画像符号化装置および動画像復号化装置 |
EP0778709B1 (en) * | 1995-12-04 | 2001-05-23 | STMicroelectronics S.r.l. | MPEG-2 decoding with a reduced RAM requisite by ADPCM recompression before storing MPEG decompressed data |
US5847762A (en) * | 1995-12-27 | 1998-12-08 | Thomson Consumer Electronics, Inc. | MPEG system which decompresses and then recompresses MPEG video data before storing said recompressed MPEG video data into memory |
US6130911A (en) | 1997-11-21 | 2000-10-10 | Sharp Laboratories Of America, Inc. | Method and apparatus for compressing reference frames in an interframe video codec |
TW420935B (en) | 1998-05-07 | 2001-02-01 | Sarnoff Corp | Method and apparatus for increasing memory resource utilization in an information stream decoder |
KR20000059799A (ko) * | 1999-03-09 | 2000-10-05 | 구자홍 | 웨이브릿 부호화를 이용한 움직임 보상 부호화 장치 및 방법 |
US6532265B1 (en) * | 1999-03-25 | 2003-03-11 | Imec Vzw | Method and system for video compression |
-
2000
- 2000-01-20 KR KR1020000002674A patent/KR100359821B1/ko not_active IP Right Cessation
-
2001
- 2001-01-19 US US09/764,311 patent/US6853682B2/en not_active Expired - Lifetime
- 2001-01-22 EP EP20010300545 patent/EP1119205A3/en not_active Withdrawn
- 2001-01-22 JP JP2001013152A patent/JP3964139B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US6853682B2 (en) | 2005-02-08 |
KR20010073809A (ko) | 2001-08-03 |
JP3964139B2 (ja) | 2007-08-22 |
EP1119205A2 (en) | 2001-07-25 |
KR100359821B1 (ko) | 2002-11-07 |
EP1119205A3 (en) | 2002-10-23 |
US20010010705A1 (en) | 2001-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3575508B2 (ja) | 符号化動画像再生装置 | |
US8553767B2 (en) | Video decoding method and apparatus | |
JP3118237B1 (ja) | 画像予測復号化方法 | |
US8086052B2 (en) | Hybrid video compression method | |
US7379496B2 (en) | Multi-resolution video coding and decoding | |
JP3964139B2 (ja) | 動き補償適応型画像処理方法及びその装置 | |
JP2004015744A (ja) | 画像情報変換装置およびビットストリーム変換機ならびに画像情報変換送信方法 | |
WO2006098226A1 (ja) | 符号化装置および符号化装置を備えた動画像記録システム | |
KR100651316B1 (ko) | 정보 스트림 디코더에서 메모리 자원 이용을 증가시키는 방법 및 장치 | |
KR19980071541A (ko) | 화상 처리 장치와 화상 처리방법 | |
JP2005530423A (ja) | 画像鮮鋭度を符号化中に最適化する方法及びシステム | |
JPH10224790A (ja) | 圧縮伸張された画像中のブロック状ノイズを除去するフィルタおよびフィルタ方法 | |
US8428116B2 (en) | Moving picture encoding device, method, program, and moving picture decoding device, method, and program | |
US20090060368A1 (en) | Method and System for an Adaptive HVS Filter | |
JPH066829A (ja) | 画像データ圧縮方法及び装置 | |
JP4762486B2 (ja) | マルチ・リゾルーション・ビデオ符号化および復号化 | |
US6980598B2 (en) | Programmable vertical filter for video encoding | |
CN108156462A (zh) | 一种图像压缩、解压缩方法、系统及其应用的me架构 | |
JPH04322593A (ja) | 画像符号化装置及びその復号化装置 | |
US6266374B1 (en) | Low level digital video decoder for HDTV having backward compatibility | |
JP4411131B2 (ja) | 符号化動画像再生装置 | |
JPH09224246A (ja) | 画像圧縮符号化および画像圧縮復号化装置 | |
Leung et al. | Compression techniques for still image and motion video | |
JP4448115B2 (ja) | 符号化動画像再生装置 | |
CN112004095A (zh) | 一种无存储介质的静止图像帧间无损恢复算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20030212 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20060417 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20060420 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070523 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110601 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120601 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130601 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |