JP2003244725A - 画像処理装置 - Google Patents
画像処理装置Info
- Publication number
- JP2003244725A JP2003244725A JP2002040605A JP2002040605A JP2003244725A JP 2003244725 A JP2003244725 A JP 2003244725A JP 2002040605 A JP2002040605 A JP 2002040605A JP 2002040605 A JP2002040605 A JP 2002040605A JP 2003244725 A JP2003244725 A JP 2003244725A
- Authority
- JP
- Japan
- Prior art keywords
- image
- memory
- data
- decoding
- read
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Color Television Systems (AREA)
Abstract
高速な復号化処理を行う画像処理装置を提供する。 【解決手段】 本発明の画像処理装置は、異なる符号化
方法による圧縮画像の符号化データ,前記符号化方法を
識別する識別番号が、同一データ長毎の領域1A,1B,1C
に、復号演算の順番に記憶されたメモリ1と、各領域か
らデータ及び識別番号を読み出すアドレスを生成するア
ドレス発生器3と、アドレスにより読み出されたデータ
を蓄積するFIFOメモリ4,5,6と、データの種類別に設け
られ、FIFOメモリ4,5,6から読出されるデータを、復号
演算の順番に記憶する複数のFIFOメモリ21〜25,27,29,3
0と、識別番号を蓄積するバッファと、FIFOメモリ21〜2
5,27,29,30からのデータに、識別番号に対応した画像復
号を行う画像復号部34と、メモリ1,アドレス発生器3,
FIFOメモリ4,5,6,21〜25,27,29,30のアクセス行う制御
部2とを有する。
Description
により符号化された画像を、効率よく復号化処理する画
像処理装置に係わるものである。
れるように,コンピュータ及びネットワーク上では,CD
-ROM等の大容量のメディアや高速なネットワークを用い
て大量のデータが扱われるようになっている。その中で
も画像データは中心的な役割りを果たしており,高性能
な画像圧縮アルゴリズム及び画像復号アルゴリズムが求
められている。実際、国際的にもJPEGやMPEGに代表され
る画像符号化(圧縮)の標準化が進められており,そのア
ルゴリズムも様々なものが提案,開発されている。この
画像符号化において、画像を複数の画素ブロックに分割
して、複数の符号化方法から各画素ブロック単位で、最
も符号化量が少ない符号化方法を選択して、効率的な画
像符号化を行うアルゴリズムが提案されている。
た複数の符号化方法を組み合わせた場合、符号化された
データ量は減少するが、符号化処理及び復号化処理に時
間がかかる。すなわち、符号化処理は、符号化された場
合のデータ量を比較して、最もデータ量が少ない符号化
方法を選択するため、非常に時間がかかる。
などの場合、表示装置に表示される画像おいてスムーズ
な動きを実現させることができない。特に、ソフトウェ
アで上述した復号化処理を行おうとした場合、プログラ
ムに従った逐次的な処理を行うこととなり、画像の圧縮
されたデータをメモリから読み出す場合、符号化方法が
異なった、データ長の異なるデータを読み出すアドレス
を管理しなければならないため、復号処理及びメモリか
らのデータの読み出し処理の双方を環視しなければなら
ず、CPUに高い性能が要求される。
処理では、高解像度でスムーズな動きが要求される動画
像の符号化処理において、高い符号化率とするため、上
述した複数の符号化方法を用いて符号化された画像を、
符号化方法を判別して、判別した符号化方法に対応し
て、メモリから復号化に必要なデータを読み出し、この
読み出したデータを対応する復号演算により復号処理を
高速に行うには使用されるCPUの実行速度等の限界が
ある。
ので、複数の符号化処理により符号化された画像の復号
化処理を、高速に行う画像処理装置を提供する事にあ
る。
は、異なる符号化方法により圧縮された画像の復号に用
いる符号化データ(DC値DCY,DCV,DCU、基
底情報AOTY,AOTV,AOTU、輝度情報LUM
Y,LUMV,LUMU)及び前記符号化方法を識別す
るコントロールコードが、同一データ長毎に設定された
各々の領域(例えば、領域1B,1C)に、復号演算に
使用される順番に並べられて記憶されたメモリ(例え
ば、メモリ1)と、前記各領域から符号化データ及び符
号化識別番号を読み出す各々のアドレスを生成するアド
レス生成部(アドレス発生器3)と、前記各領域に対応
して設けられ、前記アドレスにより読み出された符号化
データを一時的に蓄積する第1のFIFOメモリ(例え
ば、FIFOメモリ4,5,6)と、前記号用データの
種類別に設けられ、前記第1のFIFOメモリから読み
出される符号化データを、各復号演算において使用され
る順番に、一時記憶する複数の第2のFIFOメモリ
(FIFOメモリ21〜25,27,29,30)と、
前記メモリから読み出される前記コントロールコード
を、時系列に蓄積するバッファ(例えば、ラインバッフ
ァ15〜16)と、この第2のFIFOメモリから、前
記コントロールコードに対応して読み出される符号化デ
ータから、この符号化データの種類に対応した復号演算
を用いて画像復号を行う画像復号部(例えば、画像復号
部34)と、前記メモリ,アドレス生成部,第1及び第
2のFIFOメモリにおける符号化データの書き込み及
び読み出しの制御を行う制御部(例えば、制御部2)と
を有することを特徴とする。
が前記コントロールコードを、前記バッファから順次読
み出し、このコントロールコードの示す符号化方法に対
する復号演算に用いる符号化データを、前記第2のFI
FOメモリから使用に応じて読み出すことを特徴とす
る。本発明の画像処理装置は、前記アドレス生成部が、
前記メモリにおける各領域からの読み出しに用いるそれ
ぞれのアドレスを、カウンタのインクリメント動作によ
り生成することを特徴とする。
化処理と同様に、図1(A)に示す縦960×横128
0の画素からなる画像(フレーム単位)を、図1(B)
に示すように複数の画素ブロック(本発明では4×4の
16画素の組)、すなわち縦240×横320の画素ブ
ロックに分割する。そして、本発明は、各画素ブロック
毎に、ある画質以上の復号化が可能で、かつ最も効率良
く符号化できる(符号化の結果の符号化のデータ量が少
ない)符号化方法により符号化された符号化データを復
号する復号化処理を行う画像処理装置に関するものであ
る。ここで、本発明の画像処理装置の説明を分かり易く
するため、本発明の画像処理装置が復号処理する符号化
データの種類を以下に簡単に説明する。
対象画像をYUV系に変換した後、YUV系の各画素に
対して符号化処理が行われる。この処理により、RGB
系に対してより符号化率を向上させ、符号化データ量を
削減することができる。すなわち、以下の説明におい
て、Yは輝度データであり、U及びVは色差データに相
当する。
ータYが縦960×横1280の画素からなり、色差デ
ータU,Vも同様にそれぞれ縦960×横1280の画
素から構成されており、各データY,U,Vの各画素デ
ータに対して8ビットが割り当てられている。以下の説
明は、輝度データYを中心にして説明を進めるが、色差
データU,Vについても同様の符号化処理が行わわれ
る。
(交流成分予測)法,AOT(適応的直交変換)法,D
C(画素ブロック内の画素の平均値を取る方法)法,L
UM(画素ブロックにおける各画素データそのものを使
用する方法)法の4種類が用いられている。このため、
本発明の画像処理装置には、上記各符号化データを復号
化するための、各々の符号化に対応した復号回路(また
は復号部)が設けられている。
る画素データを平均化して、すなわち、画素ブロックに
おける16個の画素の画素データの平均値を演算し、こ
の画素ブロックのDC値(平均値)とする。そして、画
像を分割した全ての画素ブロックに対して、上記DC値
が求められる。ACP法においては、復号化処理を行う
場合に、復号化処理を行う対象の画素ブロックのDC値
だけでなく、この対象の画素ブロックに隣接する画素ブ
ロックのDC値も必要となる。このため、全ての画素ブ
ロックのDC値が求められ、図2に示すように、各画素
ブロックのDC値を、2次元DPCM(differetial pu
lse code modulation:差分符号化)法により符号化され
る。
をDCJ,Iとすると、このDCの予測値DC'J,Iを例え
ばDC'J,I=(DCJ,I-1+DCJ-1,I)/2により求
め、その予測誤差ΔDCJ,I=DCJ,I−DC'J,Iを、量
子化係数QSによりスカラー量子化(すなわち、[ΔD
CJ,I/QS])を行い出力する。ここで、記号[a]は実
数aを四捨五入した結果を表し、予測誤差ΔDCJ,Iが
「0」の場合にのみ、ランレングスを考慮して、予測誤
差及びランレングスを各々独立にハフマン符号化する。
示されるように、量子化係数QSの値は、複数段階の許
容誤差Zと対応付けられ、高い画像品質が要求される場
合には許容誤差Zを小さい範囲に選び、低い画像品質で
も良い場合には許容誤差Zを大きい範囲に選ぶ。この許
容誤差Zに対応して、量子化係数QSは1〜8の範囲に
おいて変化する。画素ブロックの4×4の各要素(各画
素)に対応する16次元の残差ベクトル<d>を、 <d>=TJ,I−DCJ,I により求める。ここで、例えば、残差ベクトル<d>の
各要素には、それぞれ8ビットが割り付けられている。
値より小さいか否か、さらに、残差ベクトル<d>が所
定の設定値より小さく無い場合、残差ベクトル<d>の
大きさ(2乗)が、許容誤差Zより小さいか否かを判定
する。ここで、残差ベクトル<d>が所定の設定値より
小さい場合、復号化を行うとき、DC値をそのまま用い
ることを示すコントロールコード(以下、輝度データY
に対してCCY,色差データV,Uに対して各々CC
V,CCU)を、例えばCCYとして「7」を付加す
る。また、残差ベクトル<d>の2乗が、許容誤差Zよ
り小さい場合、復号処理においてブロック画像データT
J,IをACP法により高精度に復元できるため、この画
素ブロックのDC値に、ACP法で符号化したことを示
すコントロールコードCCYを、例えば「0」として付
加する。
誤差Zより大きい場合、残差ベクトル<d>を近似する
ための基底ベクトルを検索する適応的直交化処理が実行
される(AOT法による符号化)。ここで、適応的直交
化処理は、残差ベクトル<d>を許容近似誤差Z以内に
近似するために必要な基底ベクトル<Vnk>と、近似す
るために必要な基底ベクトルの個数nkとを求める処理
である。
を、あらかじめネスト(参照DC画像範囲)として設定
し、このネスト内の任意のDC画像のDC値が基底ベク
トル<Vnk>として使用される。すなわち、原画像が有
する自己相似性を利用して上記ネスト内のDC画像か
ら、様々な角度に基づき原画像の画素ブロックに似たD
C画像を、基底ベクトルとして用いるために抽出する。
<d>の2乗がZ以下となるように、基底ベクトル<V
nk>を求め、上記個数nkと、上記基底ベクトルとして
用いられたDC画像を示す画像位置情報とを含む復号に
必要な符号化情報が基底情報AOTYとされる。そし
て、上述した適応的直交化法により符号化した画素ブロ
ックであるDC画像に対して、適応的直交化法により符
号化したことを示すCCY(例えば、「1」〜「5」)
が付加される。
するとき、符号化データ量が所定のビット数を越えた場
合、単純に画素ブロック内の各画素を符号化することと
し、画素ブロックの各画素の輝度情報がLUMYとして
表現される。そして、上述した各画素の輝度データを単
純に符号化した画素ブロックであるDC画像に対して、
各画素の輝度データを符号化したことを示すCCY(例
えば、「6」)が付加される。上述した各コントロール
コードCCY,CCV,CCUは、ランレングスに基づ
きハフマン符号化により圧縮される。また、同様に、基
底情報AOTY,AOTV,AOTU報、及び輝度情報
LUMY,LUMV,LUMUも、ランレングスに基づ
きハフマン符号化により圧縮される。
た復号化処理を行う本発明の実施形態について、図を参
照して説明する。図4は本発明の一実施形態による画像
処理装置の構成を示すブロック図である。この図におい
て、記憶部1には、複数の符号化処理を行った画像の符
号化データが記憶されている。
符号化データ及びコントロールコードの種類毎に記憶領
域が分割され、対応する符号化データ及びコントロール
コードが、復号演算が行われる順番に各々記憶されてい
る。図5は、図1の記憶部1における符号化データ及び
コントロールコードの各記憶領域を示す概念図である。
ここで、各コントロールコードと各DC値とのデータサ
イズ(データ長)は等しく、また各基底情報と各輝度情
報とのデータサイズは等しい。
タYにおけるDC画像のDC値DCYの符号化データ
が、復号演算に用いられる順番、すなわち、DC画像の
DC値DCj,i(1≦j≦240:縦方向の番号,1≦i
≦320:横方向の番号,j及びiは整数)として、D
C1,1〜DC1,320,…,DC240,1〜DC240,320の順番
に、ストリームデータとして格納されている。
び輝度データYに各々対応したコントロールコードCC
V,CCU,CCY、及び元画像の色差データV,Uに
おけるDC画像のDC値DCV,DCUの符号化データ
も、上記DC値DCYの各位置に対応する組毎に、DC
値DCYの順番と同様な順番でストリームデータとして
格納されている。
ロールコードCCV,CCU,CCY,DC値DCV,
DCUを各々DCj,i及びCCj,iとし、DC画像の図2
において同一の位置における色差データV,U及び輝度
データYのコントロールコード及びDC値を組として、
この各位置に対応した組[CCVj,i、CCUj,i、CC
Yj,i、DCVj,i、DCUj,i]が、[CCV1,1、CC
U1,1、CCY1,1、DCV1,1、DCU1,1]〜[CCV
1,320、CCU1,320、CCY1,3201、DCV1,320、D
CU1,320],…,[CCV240,1、CCU240,1、CC
Y240,1、DCV240,1、DCU240,1]〜[CCV240,3
20、CCU240,320、CCY240,320、DCV240,320、
DCU240,320]の順番に、ストリームデータとして格
納されている。
タYにおける各画素ブロックの符号化データとして、コ
ントロールコードCCV,CCU及びCCYで示す符号
化方法に対応する復号演算で使用される順番に、色差デ
ータV,U及び輝度データYの各コントロールコードC
CV,CCU及びCCYに対応した基底情報AOTV,
AOTU,AOTY及び輝度情報LUMV,LUMU,L
UMYの符号化データがストリームデータ形式で各々記
憶されている。
て、メモリ1の各領域から上記各コントロールコード及
び符号化データを読み出し、読み出したコントロールコ
ード及び符号化データ各々を、対応するFIFO(ファ
ーストイン/ファーストアウト)メモリ4,5,6に書
き込む。アドレス発生器3は、メモリのアクセスタイム
に対応したカウンタをメモリ1の各領域に対応した数、
例えば領域1A〜1Cに対応する3個のカウンタを有し
ており、これらカウンタの計数値をアドレスとして出力
する。
からいずれの領域、領域1A〜領域1Cのいずれかの領
域のデータを読み出すアドレスを出力するかを制御し、
出力しているアドレスに対応したカウンタをメモリ1の
アクセスタイムに対応した周期のクロックによりインク
リメントさせ、読み出しのアドレスを生成し、また出力
するアドレス以外の他のアドレスを生成するカウンタの
動作を停止させる。制御部2は、FIFOメモリ4,
5,6,26,27,29,30,20〜25からデー
タが読み出されたか否かの検出を行い、各FIFOメモ
リからデータが読み出されると、そのFIFOメモリの
前段のメモリからデータを読み出し、読み出されたFI
FOメモリに順次書き込む制御を行う。
より、メモリ1の領域1Aに記憶されている符号化デー
タのDC値DCYが読み出された順番に、時系列に書き
込まれる。FIFOメモリ5には、制御部2の制御によ
り、メモリ1の領域1Bに記憶されているコントロール
データCCV,CCU,CCY及び符号化データのDC
値DCV,DCUが、読み出される上述した組の順番
に、時系列に書き込まれる。FIFOメモリ5には、制
御部2の制御により、メモリ1の領域1Cに記憶されて
いる基底情報AOTV,AOTU,AOTY及び輝度情
報LUMV,LUMU,LUMYが、読み出される順番
に、時系列に書き込まれる。
4,5,6各々から読み出すデータを、選択してデコー
ダ8へ出力する。デコーダ8は、ハフマン符号化とDP
CM法とで符号化されている、FIFOメモリ4からの
符号データを復号処理し、DC値DCYとしてセレクタ
9へ出力する。
値DC''J,Iを、 DC''J,I=DC'J,I+[ΔDCJ,I/QS]QS により求める。ここで、DC'J,Iは、DC'J,I=(D
C''J,I-1+DC''J-1,I)/2で与えられる。
Yの場合と同様に、ハフマン符号化とDPCM法とで符
号化されている、FIFOメモリ5からの符号データを
復号処理し、復号結果をコントロールコードCCY,C
CV,CCU及びDC値DCV,DCUとしてセレクタ
9へ出力する。さらに、デコーダ8は、ハフマン符号化
とDPCM法とで符号化されている、FIFOメモリ6
からの符号化データを復号処理し、基底情報AOTV,
AOTU,AOTY、または輝度情報LUMV,LUM
U,LUMYとして、セレクタ9へ出力する。
コーダ8から入力されるコントロールコード及び符号化
データを、セレクタ10,11,12のなかの対応する
セレクタを選択し、この選択されたセレクタへ各々出力
する。すなわち、セレクタ9は、FIFOメモリ5から
読み出され、デコーダ8により復号化されたDC値DC
Yを、セレクタ10を選択して出力する。同様に、セレ
クタ9は、FIFOメモリ5から読み出され、デコーダ
8により復号化されたコントロールコードCCY,CC
V,CCU及びDC値DCV,DCUをセレクタ11
を、セレクタ11を選択して出力し、FIFOメモリ5
から読み出され、デコーダ8により復号化された基底情
報AOTV,AOTU,AOTY、または輝度情報LU
MV,LUMU,LUMYを、セレクタ12を選択して
出力する。
セレクタ9から入力されるDC値DCYの出力先とし
て、NESTメモリ13またはラインバッファ14のい
ずれかを選択し、いずれか選択された方に上記DC値D
CYを出力する。NESTメモリ13には、フレーム単
位のヘッダ情報に含まれるDC画像の位置情報、すなわ
ち、AOT法により符号化するときにネスト(参照する
DC画像)として用いたDC画像の位置情報に基づき、
制御部2により、この位置情報に対応するDC画像のD
C値DCYが格納される。
納する先読み/先出しメモリであり、制御部2がライン
バッファ14から基底情報AOTYが読み出されたこと
を検出すると、この基底情報AOTYに含まれるネスト
として使用したDC画像を示す画像位置情報を抽出し、
この画像位置情報に基づいてNESTメモリ13から、
制御部2により読み出されるDC値DCYが書き込まれ
る。
順次入力されるDC値DCYが、時系列に格納される。
ここで、ラインバッファ14は、3行分のDC画像(画
素ブロック単位)のDC値を蓄積する容量、すなわち、
図1(B)における縦3×横320のDC画像のDC値
を、縦1×横320(横ライン;行、1≦i≦320)
の構成で格納する3つのバッファ(画素ブロック3行
分)から構成されている。また、縦240×横1(1≦
j≦240)を縦ライン、すなわち列とする。
新しい横ラインのDC値を記憶する場合、各バッファの
なかで最も古く(最も早く)DC値が書き込まれたバッ
ファに、次の行のDC画像のDC値を、新しいDC値と
して重ね書きする。FIFOメモリ27は、制御部2の
制御によりラインバッファ14から読み出されたDC値
DCVを格納する先入れ/先出しのメモリであり、ライ
ンバッファ14と同様の縦3×横n(nは1以上の自然
数)のDC値を格納する容量を有し、制御部20からの
読出信号により、縦3×横1の画素ブロック単位におい
て、順次、画像復号部34に対してDC値DCYを供給
(出力)する。
セレクタ9から入力されるコントロールコードCCY,
CCV,CCU及びDC値DCV,DCU各々を、入力
順に、それぞれラインバッファ15〜19へ出力する。
すなわち、セレクタ11は、単純に、コントロールコー
ドCCY,CCV,CCU及びDC値DCV,DCUの
順で各データが入力されるため、順次出力先を切り替
え、コントロールコードCCYをラインバッファ15
へ、コントロールコードCCVをラインバッファ16
へ、コントロールコードCCUをラインバッファ17
へ、DC値DCVをラインバッファ18へ、DC値DC
Uをラインバッファ19へ出力する。
C画像(画素ブロック単位)におけるDC画像のコント
ロールコードCCを蓄積する容量、すなわち、図1
(B)における縦3×横320のDC画像に対する各々
のコントロールコードCCY,CCV,CCUそれぞれ
を、縦1×横320(横ライン;行)の構成で格納する
構成となっている。セレクタ28は、画像復号部34の
制御により、ラインバッファ15〜17各々と制御部3
4との接続の切替を行う。
8を用いて、ラインバッファ15,16,17各々との
接続を順次切り替え、接続されたラインバッファ15,
16,17各々からコントロールコードCCY,CC
V,CCUを順番に読み出す。ここで、画像復号部34
は、セレクタ28をラインバッファ15に切り換え、ラ
インバッファ15から1つコントロールコードCCYを
読み出すと、セレクタ28をラインバッファ16に切り
換え、ラインバッファ16から1つコントロールコード
CCVを読み出し、セレクタ28をラインバッファ17
に切り換え、ラインバッファ17から1つコントロール
コードCCUを読み出す操作を繰り返す。
ァ15からコントロールコードCCYを1つ読み出す
と、セレクタ28を切り替え、ラインバッファ16から
コントロールコードCCVを1つ読み出すと、セレクタ
28を切り替え、ラインバッファ17からコントロール
コードCCUを1つ読み出し、セレクタ28を切り替え
るという動作を繰り返して、読み出した各々のコントロ
ールコードに基づいて復号処理を行う。このように、画
像処理部34は、ラインバッファ15〜17各々から1
つコントロールコードを読み出す毎に、セレクタ28に
より読み出すラインバッファを選択することにより、メ
モリ1の各領域から読み出される順番に、画素ブロック
単位での復号処理を行うことになる。
ッファ14と同様に、3行分のDC画像(画素ブロック
単位)のDC値を蓄積する容量、すなわち、図1(B)
における縦3×横320のDC画像のDC値を、縦1×
横320(横ライン;行)の構成で格納する3つのバッ
ファ(画素ブロック3行分)から構成されている。ま
た、縦240×横1を縦ライン、すなわち列とする。そ
して、ラインバッファ18及び19においては、ライン
バッファ14と同様に、新しい横ラインのDC値を記憶
する場合、各バッファのなかで最も古く(最も早く)D
C値が書き込まれたバッファに、次の行のDC画像のD
C値を、新しいDC値として重ね書きする。
よりラインバッファ18から読み出されたDC値DCV
を格納する、FIFOメモリ27と同様な先入れ/先出
しのメモリであり、ラインバッファ14と同様の縦3×
横n(nは1以上の自然数)のDC値を格納する容量を
有し、制御部20からの読出信号により、縦3×横1の
画素ブロック単位において、順次、画像復号部34に対
してDC値DCVを供給(出力)する。
よりラインバッファ19から読み出されたDC値DCU
を格納する、FIFOメモリ27と同様な先入れ/先出
しのメモリであり、ラインバッファ14と同様の縦3×
横n(nは1以上の自然数)のDC値を格納する容量を
有し、制御部20からの読出信号により、縦3×横1の
画素ブロック単位において、順次、画像復号部34に対
してDC値DCUを供給(出力)する。
より、FIFOメモリ27,29,30各々と制御部3
4との接続の切替を行う。すなわち、画像復号部34
は、セレクタ31を用いて、ラインバッファ15〜17
からのコントロールコードの読み出しに同期して、FI
FOメモリ27,29,30各々からDC画像DCY,
DCV,DCUを順番に読み出す。
リ27からDC値DCYを1つ読み出すと、セレクタ3
1を切り替え、FIFOメモリ29からDC値DCVを
1つ読み出すと、セレクタ31を切り替え、FIFOメ
モリ30からDC値DCUを1つ読み出し、セレクタ3
1を切り替えるという動作を繰り返して、順次、コント
ロールコードの画素ブロックの属性に対応したDC値を
読み出す。このように、画像処理部34は、ラインバッ
ファ15〜17各々からのコントロールコードの読み出
しに同期して、セレクタ31を切り替えることにより、
DC値を読み出すFIFOメモリを読み出すため、メモ
リ1の各領域から読み出される順番に、画素ブロック単
位での復号処理を行うことになる。
セレクタ9から入力される基底情報AOTV,AOT
U,AOTY、及び輝度情報LUMV,LUMU,LU
MY各々を、FIFOメモリ20〜FIFOメモリ25
に出力する。すなわち、制御部2は、ラインバッファ1
5〜17に記憶されたコントロールコードCCV,CC
U,CCYを順次確認し、各々の復号演算に対応する基
底情報及び輝度情報を、セレクタ12の出力先を切り替
えることにより、FIFOメモリ20〜FIFOメモリ
25へ各々出力する。すなわち、コントロールコードC
CY,CCV,CCUが「0」及び「7」の場合、DC
値のみしか使用しないため、基底情報及び輝度情報の符
号化データ自体が存在していないため、セレクタ12は
単純に入力する順番に、出力するFIFOメモリ20〜
25への切替の制御が行えない。。
する符号化データにおいて、セレクタ12を介して、コ
ントロールコードCCYに対応する基底情報AOTYを
FIFOメモリ20へ出力し、コントロールコードCC
Vに対応する基底情報AOTVをFIFOメモリ21へ
出力し、コントロールコードCCUに対応する基底情報
AOTUをFIFOメモリ22へ出力し、コントロール
コードCCYに対応する輝度情報LUMYをFIFOメ
モリ23へ出力し、コントロールコードCCVに対応す
る輝度情報LUMVをFIFOメモリ24へ出力し、コ
ントロールコードCCUに対応する輝度情報LUMUを
FIFOメモリ25へ出力する。
OTY,AOTV,AOYU各々を格納する先読み/先
出しメモリであり、制御部2により監視され、基底情報
AOTY,AOTV,AOTUが読み出されたことが検
出されると、順次、制御部2がFIFOメモリ6から読
み出す新たな基底情報AOTY,AOTV,AOTUが
書き込まれる。FIFOメモリ23〜25は、輝度情報
LUMY,LUMV,LUMU各々を格納する先読み/
先出しメモリであり、制御部2により監視され、輝度情
報LUMY,LUMV,LUMUが読み出されたことが
検出されると、順次、制御部2がFIFOメモリ6から
読み出す新たな輝度情報LUMY,LUMV,LUMU
が書き込まれる。
〜25,26,27,29,30のデータの読み出しを
環視しており、各々のFIFOメモリからデータが読み
出されると、各セレクタを制御して、前段の各メモリか
ら新たにコントロールコード及び符号化データを読み出
し、この読み出した各データを対応するFIFOメモリ
4〜5,20〜25,26,27,29,30各々に書
き込む。画像復号部34には、復号の対象となっている
DC画像のDC値を記憶するDC処理部と、ACP法で
符号化された符号化データを復号するACP処理部と、
AOT法で符号化された符号化データを復号するAOT
処理部と、LUM法で符号化されたデータを復号するL
UM処理部が設けられている。
ラインバッファ15〜17から読み込むコントロールコ
ードCCY,CCV,CCUに基づき、これらのコント
ロールコードの示す符号化方法に対応した上記DC処理
部,ACP処理部,AOT処理部,LUM処理部におい
て、FIFOメモリ27,29,30各々から読み込む
DC値DCY,DCV,DCUと、FIFOメモリ26
から読み込むネストとして使用するDC値DCYと、F
IFOメモリ20〜22から読み込む基底情報AOT
Y,AOTV,AOYUと、FIFOメモリ23〜25
から読み込む輝度情報LUMY,LUMV,LUMUと
を適時用いて、各々の符号化方法に対応した復号演算を
行い、各画素ブロックの画像の復号処理を行い、画素ブ
ロック毎に復号された画像データを出力する。
ドCCY,CCV,CCUに基づき、セレクタ32を制
御して接続するFIFOメモリを切り替え、対応する復
号演算に必要な基底情報AOTY,AOTV,AOYU
を各々FIFOメモり20〜22から読み出す。画像復
号部34は、上記コントロールコードCCY,CCV,
CCUに基づき、セレクタ33を制御して接続するFI
FOメモリを切り替え、対応する復号演算に必要な輝度
情報LUMY,LUMV,LUMUを各々FIFOメモ
り23〜25から読み出す。
象となっているDC画像のDC値を記憶するDC処理部
と、ACP法で符号化された符号化データを復号するA
CP処理部と、AOT法で符号化された符号化データを
復号するAOT処理部と、LUM法で符号化されたデー
タを復号するLUM処理部とが設けられている。ACP
処理部は、横3×縦3のDC画像のDC値を記憶する記
憶部を有しており、復号対象のDC画像のDC値と、こ
のDC画像に隣接する他のDC画像のDC値とを、この
記憶部に保持している。
に、復号対象のDC画像Sに隣接するDC画像U,R,
L,BのそれぞれのDC値u,r,l,bから、交流成
分予測法により、一括して原画素ブロックの各画素の値
を生成する。すなわち、ACP処理部は、以下に示す式
に基づく処理により、復号対象のDC画像Sにおける各
サブブロックS1〜S4(縦2×横2構成の4個の画素の
ブロック)各々の画素値P1〜P4を求める。
(s,u,r,b,l)から、画素ブロックを構成する
縦4×横4の各々の画素値が直接的(非段階的)に求め
られる。
2各々から入力される基底情報AOTY,AOTV,A
OTUと、FIFOメモリ27,29,30各々から読
み出されるDC値DCY,DCV,DCUとから、各画
素ブロックの各画素値を生成する。すなわち、AOT処
理部は、基底情報AOTY,AOTV,AOTUに基づ
き、各々の基底ベクトルとして選択したDC画像のDC
値DCY,DCV,DCUを、個数nkの数だけ、FI
FOメモリ27,29,30から読み出し、AOTの復
号化方法に従い、残差ベクトル<d>を再生する。ま
た、AOT処理部は、この求めた基底ベクトル<d>
を、復号処理の対象となっているDC画像のDC値DC
Y(またはDCV,DCU)に加算して、復号対象の画
素ブロックの画像データTj,i、すなわち画素ブロック
の各画素値を求めることで復号処理を行う。
MV,LUMU各々を、画素ブロックの各画素の再生さ
れた画素値として出力する。そして、画像復号部34
は、内部の画像セレクタにより、セレクタ28から入力
するコントロールコードCCY,CCV、CCU各々の
値により、DC処理部,AOT処理部,LUM処理部,
ACP処理部のいずれの復号結果を、再生した画素ブロ
ックの各画素値(復号データ)として選択して出力す
る。
像セレクタを制御して、コントロールコードCCY(ま
たはCCV,CCU)が「0」の場合にACP処理部の
復号データを出力し、コントロールコードCCYが
「1」〜「6」の場合にAOT処理部の復号データ(再
生された画素値)を出力し、コントロールコードCCY
(またはCCV,CCU)が「6」の場合にLUM処理
部の復号データを出力し、コントロールコードCCY
(またはCCV,CCU)が「7」の場合にDC処理部
の復号データを出力する。
を説明する。画像の復号処理が開始されると、制御部2
は、メモリ1の領域1AからDC値DCYを順次読み出
し、FIFOメモリ4へ書き込む。そして、制御部2
は、デコーダ8により復号されたDC値DCYを、セレ
クタ9,10を介してNESTメモリ13へ書き込む。
ムの復号化データの先頭に付加されているヘッダ情報を
読み込み、領域1AにおけるNEST(参照画像;参照
画素ブロック)の領域を示すアドレス情報(NESTの
領域の開始及び終点のアドレス)を抽出し、このアドレ
ス情報に基づき、入力されるDC値DCYの中から、N
ESTとして用いられているDC画像を選択し、この選
択されたDC画像のDC値DCYをNESTメモリ13
へ書き込む。すなわち、上記制御部2は、AOT法で符
号化された符号化データの復号に用いるため、NEST
として用いられたDC画像のDC値DCYを、NEST
メモリ13へ書き込む。
像のDC値DCYがNESTメモリ13に書き込まれる
と、各画素ブロック単位の復号化処理が行われる。すな
わち、制御部2は、メモリ1の各領域1A,1B,1C
から、各々復号処理の種類に対応づけられ、データ長が
同一なコントロールデータ及び符号化データを格納する
FIFOメモリ4,5,6に対して、順次、各領域から
読み出した符号化データを書き込む。
から、DC値DCYの符号化データを読み出し、FIF
Oメモリ4へ順次書き込む。同様に、制御部2は、メモ
リ1の領域1Bから、コントロールコードCCY,CC
V,CCU及びDC値DCV,DCUの符号化データを
順次読み出し、FIFOメモリ5へ書き込む。さらに、
制御部2は、メモリ1の領域1Cから基底情報AOT
Y,AOTV,AOTU及び輝度情報LUMY,LUM
V,LUMUの符号化データを順次読み出し、FIFO
メモリ6へ書き込む。
ら読み出され、デコーダ8により復号されたDC値DC
Yを、セレクタ9を介してセレクタ10に出力する。こ
れにより、制御部2は、セレクタ10を制御して、順
次、ラインバッファ14にDC値DCYを書き込む。同
様に、制御部2は、FIFOメモリ5から読み出され、
デコーダ8により復号されたコントロールコードCC
Y,CCV,CCU及びDC値DCV,DCUを、セレ
クタ9を介してセレクタ11に出力する。
ルコードCCY,CCV,CCU及びDC値DCV,D
CUが入力される毎に、順番にラインバッファ15〜1
9への接続を切り替え、FIFOメモリ5から読み出さ
れる順番、すなわちコントロールコードCCYをライン
バッファ15へ、コントロールコードCCVをラインバ
ッファ16へ、コントロールコードCCUをラインバッ
ファ17へ、DC値DCVをラインバッファ18へ、D
C値DCUをラインバッファ19へ出力する。すなわ
ち、制御部2は、セレクタ11を切り替えて、セレクタ
9からの符号化データの出力先を切り替えつつ、各ライ
ンバッファ(15〜19)に対応するコントロールコー
ド及びDC値を各々書き込む。
ら読み出され、デコーダ8により復号された基底情報A
OTY,AOTV,AOTU及び輝度情報LUMY,L
UMV,LUMUを、セレクタ9を介してセレクタ12
に出力する。これにより、セレクタ12は、制御部2の
コントロールコードCCY,CCV,CCUに基づく制
御により、適時、FIFOメモリ20〜25への接続を
切り替え、基底情報AOTYをFIFOメモリ20へ、
基底情報AOTVをFIFOメモリ21へ、基底情報A
OTUをFIFOメモリ22へ、輝度情報LUMYをF
IFOメモリ23へ、輝度情報LUMVをFIFOメモ
リ24へ、輝度情報LUMUをFIFOメモリ25へ出
力する。
CCY,CCV,CCUから輝度(Y)及び色差(V,
U)データの各復号演算に用いる基底情報及び輝度情報
を判別して、これら対応するFIFOメモリに出力先を
切り替えるように、セレクタ12を切り替えて、セレク
タ9からの符号化データの流れを制御する。すなわち、
制御部2は、コントロールコードに基づきセレクタ12
を切り替え制御しつつ、FIFOメモリ20〜25各々
に対応させて、それぞれ基底情報及び輝度情報を書き込
む。
5,6各々から符号化データをデコーダ8に対して読み
出す毎に、メモリ1の各領域に対する読み出しのアドレ
スをインクリメントさせて、新たな符号化データを対応
するFIFOメモリ(4,5,6)に書き込み、常に、
FIFOメモリ4,5,6に、処理すべき符号化データ
が待ち状態となるように制御する。
する復号処理と、逆量子化により復号処理を行い、各々
対応するFIFOメモリ(4,5,6)から読み出され
る符号化データを復号し、DC値DCY、基底情報AO
TY及び輝度情報LUMY、コントロールコードCC
V,CCU,CCY及びDC値DCV,DCU,基底情
報AOTV,AOTU及び輝度情報LUMV,LUMU
として出力する。
(4,5,6)から符号化データをデコーダ8に対して
読み出す毎に、各領域(1A,1B,1C)におけるア
ドレスポインタをインクリメントさせて、新たな符号化
データを対応するFIFOメモリに書き込み、常に、各
FIFOメモリに符号化データが待ち状態となるように
制御する。
符号化データ(DC値DCY,DCV,DCU、基底情
報AOTY,AOTV,AOYU及び輝度情報LUM
Y,LUMV,LUMU)の読み出しは、画像復号部3
4からの要求により行われる。これにより、デコーダ8
は、ハフマン符号化に対する復号処理と、逆量子化によ
り復号処理を行い、各々対応するFIFOメモリから読
み出される符号化データを復号し、DC値DCY、基底
情報AOTY及び輝度情報LUMY、コントロールコー
ドCCV,CCU,CCY及びDC値DCV,DCU,
基底情報AOTV,AOTU及び輝度情報LUMV,L
UMUとして出力する。
ールコードCCYがセレクタ11を介して、各横ライン
における画像スタートから画像エンドの画素ブロック
(DC1,1〜DC1,320)に対応して、順次書き込まれ
る。同様に、ラインバッファ16及び17各々には、そ
れぞれコントロールコードCCV,CCUが、ラインバ
ッファ15と同様な順番で、各横ラインにおける画像ス
タートから画像エンドの画素ブロックに対応して、セレ
クタ11を介して順次書き込まれる。そして、制御部2
は、ラインバッファ14,18,19各々から、順次D
C値DCY,DCV,DCUを読み出し、対応するFI
FOメモリ27,29,30へ書き込む。
介して読み込むコントロールコードに対応して、セレク
タ31を制御し、FIFOメモリ27,29,30か
ら、DC値DCY,DCV,DCUを各々読み出して、
各コントロールコードの示す符号化方法に対応する復号
処理を行う。そして、画像復号部34は、コントロール
コードに基づき画像セレクタを制御し、画素ブロック毎
に、コントロールコードに対応する復号処理を行った画
素値を出力する。
による画像圧縮の符号化データが無い場合、すなわち、
画像復号部34にAOT復号部が含まれていない場合、
符号化データとしてDC画像をネストの参照画像とし
て、復号処理を開始する前に予め取り込む必要が無くな
るため、メモリ1の領域1AのDC値DCYを領域1B
において、コントロールコードCCY,CCV,CCU
と、他のDC値DCV,DCUとともに処理する順番に
格納することになる。
よれば、データのデータ長を揃え、復号処理における復
号演算で用いる順番に、メモリ1の格納する各領域(1
A,1B,1C)にコントロールコードと符号化データ
とを格納しておくことにより、各領域からデータを読み
出す場合、各領域において、データを読み出すアドレス
を、各領域のデータ長に対応して、カウンタのインクリ
メントのみで生成することができるため、従来のように
複数のアドレスを生成して管理する必要が無く、メモリ
1からの各データの読み出し処理を高速化することがで
き、画像処理全体の性能を向上させることが可能であ
る。
述したように、メモリ1の各領域毎に1つの読み出し用
のアドレスを対応させ、かつデータを各領域に使用する
順番で書き込まれたデータを、カウンタのインクリメン
ト処理で生成した上記アドレスにより読み出すため、ア
ドレス発生器3の構成が簡易となり、制御部2のアドレ
ス発生器3の制御も容易となるため、回路数が削減で
き、装置全体が小型化でき、消費電力を削減することが
可能である。
メモり1の各領域(1A,1B,1C)に復号演算に必
要なデータが演算に用いられる順番で記憶されているた
め、コントロールコード及びデコーダ8により復号化さ
れた符号化データが入力される毎に、出力するラインバ
ッファを切り替える制御回路としてセレクタ11を構
成、すなわち、セレクタ11がデータが入力される毎に
ラインバッファ15〜19間で順番に切り替える回路で
良いため、回路構成が容易となり、回路数を削減するこ
とができ、装置全体が小型化でき、消費電力を削減する
ことが可能である。
よれば、FIFOメモリ20〜25,26,27,2
9,30に復号処理の対象となる画素ブロックを復号す
るための符号化データ等の復号用のデータが、画像復号
部34より復号化を行う時点、すなわち、いずれの符号
化処理により符号化されたかを判定する時点で、常に各
復号を行う復号処理部(DC処理部,ACP処理部,A
OT処理部,LUM処理部)毎に準備されているため、
符号化方法を判定して、符号化結果を出力するときまで
に、全ての復号処理部において復号化処理を終了させる
ことができ、ソフトウェア処理等により逐次処理を行う
場合に比較して、各符号化方法に対応して全ての復号化
処理を並列に行うことが可能となるため、復号対象の画
素ブロックの復号処理を高速に行うことができる。
れば、ACP法で符号化された符号化データの復号化を
行うとき、3行分のDC値を格納するラインバッファ1
4,18,19を有しているため、復号処理において復
号対象のDC画像の上下左右に隣接するDC画像のDC
値DCY,DCV,DCUを、一々、メモリ1の領域1
A,1Bから読み出す必要がなく、ACP法で符号化さ
れた符号化データの復号処理を高速に行うことが可能と
なる。
て詳述してきたが、具体的な構成はこの実施形態に限ら
れるものではなく、本発明の要旨を逸脱しない範囲の設
計変更等があっても本発明に含まれる。
のデータ長を揃え、復号処理における復号演算で用いる
順番に、メモリの格納する各領域にコントロールコード
と符号化データとを格納しておくことにより、各領域か
らデータを読み出す場合、各領域において、データを読
み出すアドレスを、各領域のデータ長に対応して、カウ
ンタのインクリメントのみで生成することができるた
め、従来のように複数のアドレスを生成して管理する必
要が無く、単純に読み出した順番に後段の回路にデータ
を出力することが可能であり、データの種別を確認する
必要が無くなり、メモリからの各データの読み出し処理
を高速化することができ、画像処理全体の性能を向上さ
せることが可能である。
復号化の対象となる符号化方法を説明するための概念図
である。
復号化の対象となる符号化方法を説明するための概念図
である。
量子化係数を示すテーブルである。
成例を示すブロック図である。
号化データの記憶領域を示す概念図である。
る復号化を説明する概念図である。
Claims (3)
- 【請求項1】 異なる符号化方法により圧縮された画像
の復号に用いる符号化データ及び前記符号化方法を識別
するコントロールコードが、同一データ長毎に設定され
た各々の領域に、復号演算に使用される順番に並べられ
て記憶されたメモリと、 前記各領域から符号化データ及びコントロールコードを
読み出す各々のアドレスを生成するアドレス生成部と、 前記各領域毎に対応して設けられ、前記アドレスにより
読み出された符号化データ及びコントロールコードを一
時的に蓄積する第1のFIFOメモリと、 前記符号化データの種類別に設けられ、前記第1のFI
FOメモリから読み出される符号化データを、各復号演
算において使用される順番に、一時記憶する複数の第2
のFIFOメモリと、 前記メモリから読み出される前記コントロールコード
を、時系列に蓄積するバッファと、 この第2のFIFOメモリから、前記コントロールコー
ドに対応して読み出される符号化データから、この符号
化データの種類に対応した復号演算を用いて画像復号を
行う画像復号部と、 前記メモリ,アドレス生成部,第1及び第2のFIFO
メモリにおける符号化データの書き込み及び読み出しの
制御を行う制御部とを有することを特徴とする画像処理
装置。 - 【請求項2】 前記画像復号部が前記コントロールコー
ドを、前記バッファから順次読み出し、このコントロー
ルコードの示す符号化方法に対する復号演算に用いる符
号化データを、前記第2のFIFOメモリから使用に応
じて読み出すことを特徴とする請求項1記載の画像処理
装置。 - 【請求項3】 前記アドレス生成部が、前記メモリにお
ける各領域からの読み出しに用いるそれぞれのアドレス
を、カウンタのインクリメント動作により生成すること
を特徴とする請求項1または請求項2記載の画像処理装
置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002040605A JP2003244725A (ja) | 2002-02-18 | 2002-02-18 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002040605A JP2003244725A (ja) | 2002-02-18 | 2002-02-18 | 画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2003244725A true JP2003244725A (ja) | 2003-08-29 |
Family
ID=27781309
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002040605A Pending JP2003244725A (ja) | 2002-02-18 | 2002-02-18 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2003244725A (ja) |
-
2002
- 2002-02-18 JP JP2002040605A patent/JP2003244725A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4130207B2 (ja) | 画像処理表示装置および画像処理表示方法 | |
US20140086309A1 (en) | Method and device for encoding and decoding an image | |
US7102551B2 (en) | Variable length decoding device | |
US20190037226A1 (en) | Lossless Compression Method And System Applied To Hardware Video Decoding | |
JP2006014341A (ja) | Mcuバッファを用いて画像データを格納するための方法及び装置 | |
US7515761B2 (en) | Encoding device and method | |
CN103888777A (zh) | 运动图像压缩解压缩装置 | |
RU2265879C2 (ru) | Устройство и способ для извлечения данных из буфера и загрузки их в буфер | |
US7929777B2 (en) | Variable length decoding device, variable length decoding method and image capturing system | |
JP3940672B2 (ja) | 画像処理装置及び画像処理方法 | |
US5309528A (en) | Image digitizer including pixel engine | |
US20210250575A1 (en) | Image processing device | |
JP3860081B2 (ja) | 画像処理装置及び画像処理方法 | |
CA2909216A1 (en) | Information processing apparatus, method of controlling the same, program and storage medium | |
JP2007259323A (ja) | 画像復号化装置 | |
Jilani et al. | JPEG image compression using FPGA with Artificial Neural Networks | |
JP2003244725A (ja) | 画像処理装置 | |
JP4109151B2 (ja) | 画像処理装置 | |
TWI517695B (zh) | 晶片內/晶片外記憶體管理 | |
JP3170312B2 (ja) | 画像処理装置 | |
JP2003189304A (ja) | 画像処理装置 | |
JP3170313B2 (ja) | 画像処理装置 | |
KR20240143634A (ko) | 이미지 처리 장치 및 이미지 처리 장치의 동작 방법 | |
JPH04326654A (ja) | 画像データ圧縮伸張装置 | |
CN118694958A (zh) | 图像处理设备及其操作方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040427 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040609 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080321 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080708 |