【０００１】
【発明の属する技術分野】
本発明は、携帯テレビ電話やディジタル・ビデオ・ディスク・プレーヤ（以下ＤＶＤプレーヤ）などの符号化された画像データを復号し表示する電子機器に用いて好適な画像復号化装置及び画像処理方法に関する。
【０００２】
【従来の技術】
従来、符号化された画像データを復号しながら拡大、縮小を行う方法が案出されている（例えば特許文献１参照）。
【０００３】
図６は、従来の画像復号化装置の構成を示すブロック図である。
図６において、入力端子６０１に入力された受信画像データがバッファ６０２に一時的に蓄積される。バッファ６０２に蓄積された受信画像データは一定量ずつ取り出されて逆ハフマン復号器６０３に入力され、そこで復号されて離散コサイン変換（以下ＤＣＴ）係数と逆量子化テーブルと動きベクトルとが得られる。そして、得られたＤＣＴ係数と量子化テーブルは逆量子化器６０４に入力され、動ベクトルは動きベクトル変換器６０５に入力される。
【０００４】
逆量子化器６０４では、入力された量子化テーブルを用いてＤＣＴ係数が定数倍される。逆量子化器６０４にて逆量子化されたＤＣＴ係数は切替スイッチ６０６の端子ａ、ｂ、ｃのいずれかを介してブロック生成器群６０７に含まれた縮小ブロック生成器６０７１、８×８ブロック生成器６０７２、拡大ブロック生成器６０７３のいずれかに処理目的に応じて入力される。この場合、ブロックサイズ（画像）の拡大又は縮小を行わない場合は、逆量子化器６０４の出力である逆量子化されたＤＣＴ係数が切替スイッチ６０６の端子ｂを介して、８×８ブロック生成器６０７２に入力され、そのまま出力される。このときのブロックサイズは８×８画素である。
【０００５】
ブロックサイズの縮小変換を行う場合は、逆量子化器６０４の出力であるＤＣＴ係数が切替スイッチ６０６の端子ａを介して縮小ブロック生成器６０７１に入力される。縮小ブロック生成器６０７１の出力信号はＮ１とＮ２を８より小さい正の整数として、１ブロックあたり８Ｘ８個のＤＣＴ係数のうち、低周波数側のＮ１×Ｎ２個の係数である。このときの縮小率は縦Ｎ１／８倍、横Ｎ２／８倍になる。
【０００６】
ブロックサイズの拡大変換を行う場合は、ＤＣＴ係数が切替スイッチ６０６の端子ｃを介して、拡大ブロック生成器６０７３に入力される。拡大ブロック生成器６０７３では逆量子化器６０４において逆量子化された１ブロックあたり８×８個のＤＣＴ係数の、より高周波数側にゼロを付加して、サイズＮ１×Ｎ２個のブロックを生成する。
【０００７】
ただし、Ｎ１とＮ２を８より大きい正の整数とする。また、このときの拡大率は縦Ｎ１／８倍、横Ｎ２／８倍である。拡大ブロック生成器６０７３の出力から横一列の数列を取り出す。このサイズはＮ２でありＮ１種類ある。個々の数列は８個のＤＣＴ係数値と、Ｎ２−８個のゼロ値から構成されており、ＤＣＴ係数とゼロ値の境界に不連続点が存在する。その不連続性を是正するために窓関数乗算器６０７４にて窓関数を乗算する。縦方向に対しても同様に窓関数を乗算する。
【０００８】
ブロック生成器群６０７における処理で生成されたブロックは逆離散コサイン変換器６０８においてブロック毎に逆離散コサイン変換（ＩＤＣＴ）される。このときのブロックサイズはＮ１×Ｎ２である。逆離散コサイン変換の結果得られた逆離散コサイン変換器６０８からの出力信号は切替スイッチ６０９からの動き補償された信号と加算器６１０にて加算されて、再生画像として出力端子６１１より出力される。
【０００９】
加算器６１０からの出力画像がＩピクチャ（ピクチャ内符号化が行われている画像）の場合は、切替スイッチ６０９は端子ｄに接続され、加算器６１０では何も加算されない。加算器６１０からの出力画像がＰピクチャ（過去のピクチャを予測画像としたピクチャ間予測符号化が行われている画像）の場合は、逆離散コサイン変換器６０８の出力信号は加算器６１０により、切替スイッチ６０９の出力である予測に使われた過去の画像と加算されて、出力端子６１１より出力される。
【００１０】
過去の画像を切替スイッチ６１２の端子ａを介してフレームメモリ６１３に蓄積した場合は、この蓄積した画像信号が動き補償器６１４により動き補償されて、切替スイッチ６０９の端子ａを介して加算器６１０に入力される。このときの動き補償には、動きベクトル変換器６０５の出力である動きベクトルが使われる。これは切替スイッチ６１５の端子ａを介して動き補償器６１４に入力される。
【００１１】
一方、過去の画像を切替スイッチ６１２の端子ｃを介してフレームメモリ６１６に蓄積した場合は、蓄積した画像信号が動き補償器６１７により動き補償されて、切替スイッチ６０９の端子ｃを介して加算器６１０に入力される。このときの動き補償には、動きベクトル変換器６０５の出力が使われる。これは切替スイッチ６１５の端子ｂを介して動き補償器６１７に入力される。
【００１２】
加算器６１０からの出力画像がＢピクチャ（過去または未来のピクチャを予測画像としたピクチャ間予測符号化が行われている画像）の場合、過去と未来の画像がそれぞれフレームメモリ６１３、６１６に蓄積され、それぞれ動き補償器６１４、６１７により動き補償される。その後、両者は補間器６１８に入力され、両者の相加平均又はいずれか一方が切替スイッチ６０９の端子ｂに出力される。スイッチ６０９の出力信号は加算器６１０により、逆離散コサイン変換器６０８の出力あるいは切替スイッチ６１９の端子ｂを介してフィールド合成器６２０を経由した出力と加算されて出力端子６１１から再生画像が出力される。
【００１３】
また、動きベクトル変換器６０５では動き補償に使われる動きベクトルの値を、縦方向はＮ１／８倍、横方向はＮ２／８倍して再生画像に必要な変換比（画像の拡大又は縮小比）に応じて適切な値が生成されている。
【００１４】
このように、従来の画像復号化装置では画像を拡大する場合はＤＣＴ係数の高周波数側にゼロを付加し、画像を縮小する場合はＤＣＴ係数の高周波数側のデータを削除することで実現していた。
【００１５】
【特許文献１】
特開平６−２２２９１号公報（第６頁、第７頁、図１）
【００１６】
【発明が解決しようとする課題】
しかしながら、従来の画像復号化装置においては、逆離散コサイン変換器６０８への入力データの構成が画像の拡大、縮小の倍率によって変化するため、逆離散コサイン変換をハードウェアで構成する場合、実現が困難であるという問題がある。
【００１７】
すなわち、携帯テレビ電話やＤＶＤプレーヤなどのコンシューマエレクトロニクス製品では、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）２やＭＥＰＧ４などの画像符号化データの復号処理はシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）で行っている。その処理において逆離散コサイン変換は他の復号化の処理に比べて処理負荷が重いため、殆どの場合ソフトウェア処理ではなく、ハードウェア専用回路で処理を行っている。８×８ブロックの逆離散コサイン変換回路を構成するためには、２つの行列演算回路とそれらの出力を累算する累算器回路が必要となる。従来の画像復号化装置では、拡大、縮小の倍率によって逆離散コサイン変換のデータ構成（Ｎ１／８）×（Ｎ２／８）が変化するため、行列演算に用いる係数データや演算器の構成が大きく変化し、ハードウェア専用回路の回路規模が増加し易い。
【００１８】
また、画像復号化処理を行った後に解像度変換処理を追加すると、フレームメモリが必要となり、処理遅延が発生するという問題もある。
【００１９】
本発明は係る点に鑑みてなされたものであり、逆離散コサイン変換回路の回路規模を増加させることなく、平易な処理で拡大・縮小を実現できるとともに、処理速度の向上が図れ、さらにメモリ容量の削減を図ることができる画像復号化装置及び画像処理方法を提供することを目的とする。
【００２０】
【課題を解決するための手段】
請求項１に係る発明の画像復号化装置は、ハフマン符号化されたディジタル画像データをマクロブロック単位に逆ハフマン復号化し、動きベクトル、量子化テーブル及び量子化された離散コサイン変換係数を出力する逆ハフマン復号手段と、前記逆ハフマン復号手段にて量子化された離散コサイン変換係数をブロック単位に逆量子化し、離散コサイン変換係数を出力する逆量子化手段と、前記逆量子化手段からの離散コサイン変換係数をブロック単位に画像データに変換する逆離散コサイン変換手段と、前記逆離散コサイン変換手段にて生成された画像データをブロック単位に水平方向並びに垂直方向に拡大又は縮小する解像度変換手段と、を具備する構成を採る。
【００２１】
この構成によれば、画像復号化処理の後段で解像度変換処理を行うとともに、その解像度変換処理においては画像復号化処理と同様のブロック単位で行うので、逆離散コサイン変換回路の回路規模を増加させることなく、平易な処理で拡大及び縮小を実現でき、かつ解像度変換のためのメモリ容量や処理遅延の発生を少なく抑えることが可能となる。
【００２２】
請求項２に係る発明の画像処理装置は、請求項１に記載の画像復号化装置と、前記画像復号化装置にて復号された画像データを画像表示手段で表示可能な信号にフォーマット変換するフォーマット変換手段と、前記フォーマット変換手段にてフォーマット変換された前記画像データを表示する画像表示手段と、を具備する構成を採る。
【００２３】
この構成によれば、画像復号化装置からは画像データとして出力される信号（例えば色差信号）が液晶モニタやＣＲＴモニタ等の画像表示手段で表示可能な信号（例えばＲＧＢ信号）に変換するので、入力されたディジタル画像データを視覚的に表示することが可能となる。
【００２４】
請求項３に係る発明の電子機器は、符号化された画像データを復号し表示する電子機器であって、請求項２に係る発明の画像処理装置を具備する構成を採る。
【００２５】
この構成によれば、逆離散コサイン変換回路の回路規模を増加させることなく、平易な処理で拡大及び縮小を実現でき、かつ解像度変換のためのメモリ容量や処理遅延の発生を少なくすることが可能な電子機器を提供することができる。なお、この電子機器としては、携帯テレビ電話やＤＶＤプレーヤなどの符号化された画像データを復号し表示する機能を持つものである。
【００２６】
請求項４に係る発明の画像通信端末は、請求項２に記載の画像処理装置と、音声を入力する音声入力手段と、前記音声入力手段にて入力された音声データを符号化する音声符号化手段と、画像を入力する画像入力手段と、前記画像入力手段にて入力された画像データを符号化する画像符号化手段と、音声及び画像をパケット化し多重化する音声／画像多重化手段と、前記音声／画像多重化手段からの多重化データに対して伝送路符号化を行う伝送路符号化手段と、前記伝送路符号化手段で伝送路符号化された多重化データをディジタル変調し送信するディジタル変調／送信手段と、ディジタル変調信号を受信し、伝送路符号化データを復調するディジタル受信／復調手段と、前記ディジタル受信／復調手段にて復調された伝送路符号化データを復号する伝送路符号復号化手段と、前記伝送路符号復号化手段で復号された伝送路符号化データを音声データと画像データに分離する音声／画像分離手段と、前記音声／画像分離手段で分離された音声データを復号化する音声データ復号化手段と、前記音声データ復号化手段で復号化された音声データを出力する音声データ出力手段とを具備し、前記画像処理装置は、前記音声／画像分離手段で分離された画像データを復号化した後、表示用の信号にフォーマット変換する構成を採る。
【００２７】
この構成によれば、受信した画像データを復号して表示させる際、離散コサイン変換係数データの構成変化に対応するための逆離散コサイン変換手段の回路規模増加を回避し、また拡大、縮小処理を行うためのメモリや処理遅延の発生を小さくして画像の解像度変換を行い、液晶モニタ等の画像表示装置に表示することが可能な画像通信端末を提供できる。
【００２８】
請求項５に係る発明の画像処理方法は、ハフマン符号化されたディジタル画像データをブロック単位に逆ハフマン復号化し、復号化したデータをブロック単位に逆量子化して離散コサイン変換係数を生成し、生成した離散コサイン変換係数に対してブロック単位に逆離散コサイン変換を行ってブロック単位の画像データを生成し、逆離散コサイン変換を行って生成された画像データをブロック単位に水平方向並びに垂直方向に拡大又は縮小する。
【００２９】
この方法によれば、画像復号化処理の後段で解像度変換処理を行うとともに、その解像度変換処理においては、画像復号化処理と同様のブロック単位で行うので、逆離散コサイン変換回路の回路規模を増加させることなく、平易な処理で拡大及び縮小を実現でき、かつ解像度変換のためのメモリ容量や処理遅延の発生を少なくすることが可能な画像復号化装置を実現できる。
【００３０】
請求項６に係る発明の画像処理方法は、請求項５に記載の画像処理方法を用いて、入力される画像符号化データを復号化及び解像度変換処理を行い、更に復号した画像データを画像表示装置で表示するために画像フォーマットの変換を行い、画像表示装置に適したサイズで画像表示する。
【００３１】
この方法によれば、逆離散コサイン変換回路の回路規模を増加させることなく、平易な処理で拡大及び縮小を実現でき、かつ解像度変換のためのメモリ容量や処理遅延の発生を少なくすることができ、さらに液晶モニタ等の画像表示装置に画像を表示させることができる画像処理装置を提供することができる。
【００３２】
【発明の実施の形態】
本発明の骨子は、画像復号化処理の後段で解像度変換処理を行い且つその解像度変換処理において、画像復号化処理と同様のブロック単位で行うようにすることである。このようにすることで逆離散コサイン変換回路の回路規模を増加させることなく、平易な処理で拡大及び縮小を実現でき且つ解像度変換のためのメモリ容量や処理遅延の発生を少なくすることが可能となる。
【００３３】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
【００３４】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像復号化装置の構成を示すブロック図である。
図１において、本実施の形態に係る画像復号化装置１００は、画符号化データを一時格納するバッファ１０１と、ハフマン符号化された画像データを復号する逆ハフマン復号部１０２と、量子化されたＤＣＴ（離散コサイン変換）係数データを逆量子化する逆量子化部１０３と、ＤＣＴ係数を画像データに変換する逆離散コサイン変換部１０４と、画像データが予測画像に対する差分データであった場合に予測画像との加算を行うための加算部１０５と、復号化した画像データを格納するためのフレームメモリ１０６と、逆ハフマン復号部１０２で復号された動きベクトルとフレームメモリ１０６に格納されている再生画像データから予測画像を生成する動き補償部１０７と、再生画像データをブロック単位に拡大、縮小する解像度変換部１０８と、画像復号化のための各処理をマクロブロック単位に同期をとりながらパイプライン処理を行うための制御信号を生成するタイミング制御部１０９とを備えている。
【００３５】
ここで、図２にマクロブロックの構成を示す。
ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）で標準化されている動画像符号化方式であるＭＰＥＧでは、８画素×８画素を１つのブロックとして４つのブロックで構成するマクロブロックを符号化並びに復号化の処理単位としている。マクロブロックは、４つのブロックの輝度データと輝度データの半分のデータ量である色差データとから構成されている。本実施の形態の画像復号化装置１００は、復号化、解像度変換の処理をマクロブロック単位に行う。
【００３６】
図３は、解像度変換部１０８の構成を示すブロック図である。
解像度変換部１０８は、縮小回路３０１と、拡大回路３０２と、中間バッファ３０３とを備えている。縮小回路３０１は、解像度を下げるために高周波成分を取り除く帯域制限フィルタ３０４と、帯域制限した画像に対してデータを間引くダウンサンプラ３０５とを備えている。拡大回路３０２は、解像度を上げるために不足する画像データを挿入するアップサンプラ３０６と、挿入した画像データを線形補間するための線形補間フィルタ３０７とを備えている。
【００３７】
次に、本実施の形態に係る画像復号化装置１００の動作について説明する。
入力された画符号化データはバッファ１０１に一時格納されて、逆ハフマン復号部１０２に一定量ずつ入力される。逆ハフマン復号部１０２ではハフマン符号化されている画像データをマクロブロック毎に復号し、動きベクトル、量子化テーブル、量子化されたＤＣＴ係数を出力する。逆量子化部１０３は、逆ハフマン復号部１０２の出力である量子化テーブルを用いて量子化されたＤＣＴ係数を逆量子化し、ＤＣＴ係数を出力する。逆量子化部１０３から出力されたＤＣＴ係数は逆離散コサイン変換部１０４で画像データに変換される。これら逆量子化、逆離散コサイン変換はマクロブロック単位の処理の中で連続して行われる。
【００３８】
逆離散コサイン変換部１０４で生成された画像データが予測画像との差分データでない場合は、加算部１０５では何も加算されずに解像度変換部１０８に入力される。これに対して、逆離散コサイン変換部１０４で生成された画像データが予測画像との差分データである場合は加算部１０５で動き補償部１０７の出力である予測画像と加算されてから解像度変換部１０８に入力される。予測画像は過去に生成された画像データから以下のように生成される。加算部１０５の出力はフレームメモリ１０６に格納される。
【００３９】
動き補償部１０７では、逆ハフマン復号部１０２の出力である動きベクトルを用いて過去に生成した画像の該当個所をフレームメモリ１０６より読み出して予測画像として出力する。予測画像を生成する動き補償処理と差分データに予測画像を加算する処理はマクロブロック単位の処理の中で連続して行われる。
【００４０】
次に、解像度変換部１０８の動作について説明する。
加算部１０５から出力される再生画像のマクロブロックデータを水平方向に入力し、縮小回路３０１又は拡大回路３０２にて画素間引き、画素補間の処理を行う。例えば水平方向に１／２に縮小する場合は帯域制限フィルタ３０４にて解像度を半分に下げてから１画素おきに画素データを間引く。
【００４１】
また、水平方向に２倍に拡大する場合は画素データの数が２倍となるよう、画素データの間にゼロを挿入し、線形補間フィルタ３０７により隣接する画素データの変化が線形となるよう値を補正する。これらの縮小並びに拡大の処理を水平方向に行ったマクロブロックのデータをいったん中間バッファ３０３に格納し、次に垂直方向に同様の処理を行い、画像復号処理の出力を得る。
【００４２】
次に、図４にマクロブロックパイプライン処理の流れを示す。
本実施の形態の画像復号化装置１００では、逆ハフマン復号処理、逆量子化処理／逆離散コサイン変換処理、動き補償処理、解像度変換処理をマクロブロック単位に行う。各処理の出力段にマクロブロックデータを格納する中間バッファ３０３を設け、マクロブロック単位の処理がパイプライン処理されるようにタイミング制御部１０９で各処理の起動タイミングを制御する。解像度変換処理をマクロブロック単位のパイプライン処理に組み込むことで、解像度変換まで含めた画像復号化処理のスループットを向上させることができる。
【００４３】
このように、本実施の形態に係る画像復号化装置１００によれば、符号化された画像を復号化する際の解像度変換を復号化処理後のマクロブロックに対して行うことで、従来技術に記されているような様々なブロックサイズの変換に対応した複雑な離散コサイン変換回路を構成することなく、アップサンプラ、ダウンサンプラ及びディジタルフィルタを用いて解像度変換を実現することができる。また、解像度変換の単位をマクロブロックとすることでマクロブロック単位のパイプライン処理に組み込むことができ、処理を高速化し、メモリ容量を削減することが可能となる。
【００４４】
（実施の形態２）
図５は、本発明の実施の形態２に係る画像通信端末の構成を示すブロック図である。
図５において、本実施の形態に係る画像通信端末５００は、音声を入力するためのマイク５０１と、音声データ符号化部５０２と、画像を入力するためのカメラ５０３と、画像データ符号化部５０４と、音声／画像多重化部５０５と、伝送路符号化部５０６と、変調／送信部５０７と、受信／復調部５０８と、伝送路復号化部５０９と、音声／画像分離部５１０と、音声データ復号化部５１１と、音声データを出力するレシーバ／スピーカ５１２と、実施の形態１に係る画像復号化装置１００と同一機能を持つ画像データ復号化部５１３と、フォーマット変換部５１４と、画像を表示する液晶モニタ５１５とを備えている。
【００４５】
音声データ符号化部５０２は、マイク５０１より入力された音声データを符号化する。画像データ符号化部５０４は、カメラ５０３より入力された画像データを符号化する。音声／画像多重化部５０５は、音声データ符号化部５０２からの音声符号化データと画像データ符号化部５０４からの画像符号化データをパケット化して多重化する。伝送路符号化部５０６は、音声／画像多重化部５０５で多重化された音声／画像データに対して誤り訂正などの伝送路符号化を行う。
【００４６】
変調／送信部５０７は、伝送路符号化部５０６からの伝送路符号化データをディジタル変調し高周波無線信号として送信する。受信／復調部５０８は、高周波無線信号を受信し、ディジタル復調する。伝送路復号化部５０９は、伝送路符号化されたデータを復号する。音声／画像分離部５１０は、伝送路符号化データから音声符号化データと画像符号化データを分離する。音声データ復号化部５１１は、音声／画像分離部５１０で分離された音声データを復号化する。フォーマット変換部５１４は、画像データ復号化部５１３からの色差信号をＲＧＢ信号に変換する。
【００４７】
次に、本実施の形態に係る画像通信端末５００の動作について説明する。
マイク５０１より入力された音声信号は音声データ符号化部５０２で符号化される。また、カメラ５０３より入力される画像信号は画像データ符号化部５０４で符号化される。音声符号化データ及び画像符号化データはそれぞれ音声／画像多重化部５０５でパケット化され多重化される。そして、伝送路符号化部５０６で誤り訂正符号化などの伝送路符号化処理が行われた後、変調／送信部５０７でディジタル変調が行われて高周波無線信号として通信路に送出される。
【００４８】
一方、受信／復調部５０８で高周波無線信号が受信されて復調される。そして、伝送路復号化部５０９で誤り訂正復号化などの伝送路復号化が行われた後、音声／画像分離部５１０で音声符号化データと画像符号化データに分離される。そして、音声データ復号化部５１１で音声符号化データの復号化処理が行われ、レシーバ／スピーカ５１２から音声が出力される。画像データ復号化部５１３では、実施の形態１で詳述したように画像符号化データの復号化処理、解像度変換処理が行われる。画像符号化時の画像サイズと液晶モニタの画像サイズが異なる場合でも画像データ復号化部５１３に所望の画像サイズに変換されて出力される。フォーマット変換部５１４では、画像データ復号化部５１３の出力である色差信号がＲＧＢ信号に変換されて液晶モニタ５１５に出力される。
【００４９】
このように、本実施の形態に係る画像通信端末５００によれば、画像データ復号化部５１３に実施の形態１に係る画像復号化装置１００と同一の機能を持つので、逆離散コサイン変換器１０４（図１参照）の回路規模増加を回避でき、平易な処理で画像の解像度変換処理を実現する画像通信端末を実現できる。また、画像データ復号化部５１３に画像復号化装置１００と同一の機能を持たせることで、メモリ容量、処理遅延を小さくした解像度変換機能をもつ画像通信端末を実現することができる。
【００５０】
【発明の効果】
以上説明したように、本発明によれば、画像復号化処理の後段にマクロブロック単位に拡大、縮小といった解像度変換処理を行う解像度変換手段を設けたので、逆離散コサイン変換の回路規模を増加させることなく、平易な処理で拡大縮小を実現でき、かつ解像度変換のためのメモリ容量や処理遅延の発生を少なくすることが可能な画像復号化装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る画像復号化装置の構成を示すブロック図
【図２】マクロブロックの構成を示す図
【図３】本発明の実施の形態１に係る画像復号化装置の解像度変換部の構成を示すブロック図
【図４】マクロブロック単位のパイプライン処理のイメージを示す図
【図５】本発明の実施の形態２に係る画像通信端末の構成を示すブロック図
【図６】従来の画像復号化装置の構成を示すブロック図
【符号の説明】
１０１ バッファ
１０２ 逆ハフマン復号部
１０３ 逆量子化部
１０４ 逆離散コサイン変換部
１０５ 加算部
１０６ フレームメモリ
１０７ 動き補償部
１０８ 解像度変換部
１０９ タイミング制御部
３０１ 縮小回路
３０２ 拡大回路
３０３ 中間バッファ
３０４ 帯域制限フィルタ
３０５ ダウンサンプラ
３０６ アップサンプラ
３０７ 線形補間フィルタ
５０１ マイク
５０２ 音声データ符号化部
５０３ カメラ
５０４ 画像データ符号化部
５０５ 音声／画像多重化部
５０６ 伝送路符号化部
５０７ 変調／送信部
５０８ 受信／復調部
５０９ 伝送路復号化部
５１０ 音声／画像分離部
５１１ 音声データ復号化部
５１２ レシーバ／スピーカ
５１３ 画像データ復号化部
５１４ フォーマット変換部
５１５ 液晶モニタ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image decoding apparatus and an image processing method suitable for use in an electronic device that decodes and displays encoded image data, such as a portable videophone or a digital video disk player (hereinafter, a DVD player).
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a method of enlarging and reducing encoded image data while decoding the image data has been devised (for example, see Patent Document 1).
[0003]
FIG. 6 is a block diagram showing a configuration of a conventional image decoding device.
In FIG. 6, received image data input to an input terminal 601 is temporarily stored in a buffer 602. The received image data stored in the buffer 602 is taken out by a fixed amount and input to the inverse Huffman decoder 603, where it is decoded to obtain a discrete cosine transform (hereinafter, DCT) coefficient, an inverse quantization table, and a motion vector. Then, the obtained DCT coefficient and the quantization table are input to the inverse quantizer 604, and the motion vector is input to the motion vector converter 605.
[0004]
The inverse quantizer 604 multiplies the DCT coefficient by a constant using the input quantization table. The DCT coefficient inversely quantized by the inverse quantizer 604 is output to the reduced block generator 6071 included in the block generator group 607 via one of the terminals a, b, and c of the changeover switch 606, and the 8 × 8 block. It is input to one of the generator 6072 and the enlarged block generator 6073 according to the processing purpose. In this case, when the block size (image) is not enlarged or reduced, the inversely quantized DCT coefficient output from the inverse quantizer 604 is used to generate an 8 × 8 block via the terminal b of the switch 606. Is input to the device 6072 and output as it is. The block size at this time is 8 × 8 pixels.
[0005]
When performing the block size reduction conversion, the DCT coefficient output from the inverse quantizer 604 is input to the reduction block generator 6071 via the terminal a of the switch 606. The output signal of the reduced block generator 6071 is a low frequency side N1 × N2 coefficient out of 8 × 8 DCT coefficients per block, where N1 and N2 are positive integers smaller than 8. The reduction ratio at this time is N 1/8 times vertical and N 2/8 times horizontal.
[0006]
In the case of performing the enlargement conversion of the block size, the DCT coefficient is input to the enlargement block generator 6073 via the terminal c of the changeover switch 606. The expanded block generator 6073 generates a block of size N1 × N2 by adding zero to the higher frequency side of 8 × 8 DCT coefficients per block dequantized by the dequantizer 604. .
[0007]
Here, N1 and N2 are positive integers larger than 8. The enlargement ratio at this time is N 1/8 times vertical and N 2/8 times horizontal. From the output of the enlarged block generator 6073, one horizontal row of numbers is extracted. This size is N2 and there are N1 types. Each sequence is composed of eight DCT coefficient values and N2-8 zero values, and there is a discontinuity at the boundary between the DCT coefficient and the zero value. To correct the discontinuity, a window function is multiplied by a window function multiplier 6074. The window function is similarly multiplied in the vertical direction.
[0008]
The blocks generated by the processing in the block generator group 607 are subjected to inverse discrete cosine transform (IDCT) for each block in the inverse discrete cosine transformer 608. The block size at this time is N1 × N2. The output signal from the inverse discrete cosine transformer 608 obtained as a result of the inverse discrete cosine transform is added to the motion compensated signal from the changeover switch 609 by the adder 610 and output from the output terminal 611 as a reproduced image. .
[0009]
When the output image from the adder 610 is an I-picture (image on which intra-picture encoding has been performed), the changeover switch 609 is connected to the terminal d, and the adder 610 does not add anything. When the output image from the adder 610 is a P picture (an image on which inter-picture predictive encoding is performed using a past picture as a predicted image), the output signal of the inverse discrete cosine transformer 608 is output by the adder 610. The output of the changeover switch 609 is added to a past image used for prediction and output from an output terminal 611.
[0010]
When a past image is stored in the frame memory 613 through the terminal a of the changeover switch 612, the motion of the stored image signal is compensated by the motion compensator 614, and the adder 610 is added through the terminal a of the changeover switch 609. Is input to The motion vector output from the motion vector converter 605 is used for the motion compensation at this time. This is input to the motion compensator 614 via the terminal a of the changeover switch 615.
[0011]
On the other hand, when a past image is stored in the frame memory 616 via the terminal c of the changeover switch 612, the stored image signal is motion-compensated by the motion compensator 617, and is added through the terminal c of the changeover switch 609. 610. The output of the motion vector converter 605 is used for the motion compensation at this time. This is input to the motion compensator 617 via the terminal b of the changeover switch 615.
[0012]
When the output image from the adder 610 is a B picture (an image in which inter-picture prediction encoding is performed using a past or future picture as a prediction image), the past and future images are stored in the frame memories 613 and 616, respectively. Then, motion compensation is performed by motion compensators 614 and 617, respectively. Then, both are input to the interpolator 618, and the arithmetic mean or either of them is output to the terminal b of the changeover switch 609. The output signal of the switch 609 is added by the adder 610 to the output of the inverse discrete cosine transformer 608 or to the output of the field synthesizer 620 via the terminal b of the changeover switch 619, and the reproduced image is output from the output terminal 611. You.
[0013]
In addition, the motion vector converter 605 multiplies the value of the motion vector used for motion compensation by N1 / 8 times in the vertical direction and N2 / 8 times in the horizontal direction to obtain the conversion ratio (enlargement or reduction ratio of the image) ), An appropriate value is generated.
[0014]
As described above, in the conventional image decoding apparatus, when the image is enlarged, zero is added to the high frequency side of the DCT coefficient, and when the image is reduced, the data on the high frequency side of the DCT coefficient is deleted. I was
[0015]
[Patent Document 1]
JP-A-6-22291 (page 6, page 7, FIG. 1)
[0016]
[Problems to be solved by the invention]
However, in the conventional image decoding apparatus, since the configuration of the input data to the inverse discrete cosine transform unit 608 changes depending on the scale of the image enlargement and reduction, realization is possible when the inverse discrete cosine transform is implemented by hardware. There is a problem that it is difficult.
[0017]
That is, in consumer electronics products such as portable videophones and DVD players, decoding processing of image encoded data such as MPEG (Moving Picture Experts Group) 2 or MPEG4 is performed by a system LSI (Large Scale Integrated Circuit). In this process, the inverse discrete cosine transform has a heavier processing load than other decoding processes. Therefore, in most cases, processing is performed not by software processing but by a dedicated hardware circuit. In order to construct an 8 × 8 block inverse discrete cosine transform circuit, two matrix operation circuits and an accumulator circuit for accumulating the outputs of the two matrix operation circuits are required. In the conventional image decoding apparatus, since the data configuration (N1 / 8) × (N2 / 8) of the inverse discrete cosine transform changes depending on the enlargement / reduction magnification, the configuration of the coefficient data and the arithmetic unit used in the matrix operation is large. Therefore, the circuit scale of the dedicated hardware circuit is likely to increase.
[0018]
Further, if the resolution conversion process is added after the image decoding process, a frame memory is required, and there is a problem that a processing delay occurs.
[0019]
The present invention has been made in view of the above, and it is possible to realize enlargement / reduction by simple processing without increasing the circuit scale of the inverse discrete cosine transform circuit, improve the processing speed, and further increase the memory capacity. It is an object of the present invention to provide an image decoding device and an image processing method capable of reducing the number of images.
[0020]
[Means for Solving the Problems]
An image decoding apparatus according to the first aspect of the present invention performs inverse Huffman decoding of Huffman-coded digital image data in macroblock units, and outputs a motion vector, a quantization table, and quantized discrete cosine transform coefficients. A Huffman decoding unit, an inverse quantization unit that inversely quantizes the discrete cosine transform coefficient quantized by the inverse Huffman decoding unit in block units and outputs a discrete cosine transform coefficient, and a discrete cosine from the inverse quantization unit. Inverse discrete cosine transform means for converting the transform coefficient into image data in block units, and resolution conversion means for expanding or reducing the image data generated by the inverse discrete cosine transform means in the horizontal and vertical directions in block units, Is adopted.
[0021]
According to this configuration, the resolution conversion processing is performed in the subsequent stage of the image decoding processing, and the resolution conversion processing is performed in block units similar to the image decoding processing, so that the circuit size of the inverse discrete cosine conversion circuit is increased. Therefore, enlargement and reduction can be realized by simple processing, and the memory capacity for resolution conversion and the occurrence of processing delay can be reduced.
[0022]
According to a second aspect of the present invention, there is provided an image processing apparatus according to the first aspect, and a format for converting image data decoded by the image decoding apparatus into a signal that can be displayed by an image display unit. A configuration including a conversion unit and an image display unit that displays the image data format-converted by the format conversion unit is adopted.
[0023]
According to this configuration, a signal (for example, a color difference signal) output from the image decoding device as image data is converted into a signal (for example, an RGB signal) that can be displayed on an image display unit such as a liquid crystal monitor or a CRT monitor. It is possible to visually display the input digital image data.
[0024]
An electronic device according to a third aspect of the present invention is an electronic device that decodes and displays encoded image data, and has a configuration including the image processing device according to the second aspect of the present invention.
[0025]
According to this configuration, enlargement and reduction can be realized by simple processing without increasing the circuit scale of the inverse discrete cosine transform circuit, and the memory capacity for resolution conversion and the occurrence of processing delay can be reduced. Electronic equipment can be provided. Note that the electronic device has a function of decoding and displaying encoded image data from a portable videophone, a DVD player, or the like.
[0026]
According to a fourth aspect of the present invention, there is provided an image communication terminal according to the second aspect, an audio input unit for inputting audio, and audio encoding for encoding audio data input by the audio input unit. Means, image input means for inputting an image, image encoding means for encoding image data input by the image input means, audio / image multiplexing means for packetizing and multiplexing audio and images, Transmission path encoding means for performing transmission path encoding on the multiplexed data from the audio / image multiplexing means; and digitally modulating and transmitting the multiplexed data which is transmission path encoded by the transmission path encoding means. Digital modulation / transmission means, digital reception / demodulation means for receiving a digital modulation signal and demodulating transmission path coded data, and transmission path coded data demodulated by the digital reception / demodulation means Channel decoding means for decoding, audio / image separating means for separating transmission line coded data decoded by the channel decoding means into audio data and image data, separation by the audio / image separating means Audio data decoding means for decoding the decoded audio data, and audio data output means for outputting the audio data decoded by the audio data decoding means, wherein the image processing apparatus comprises: After decoding the image data separated by the separating means, the format is converted into a signal for display.
[0027]
According to this configuration, when decoding and displaying the received image data, it is possible to avoid an increase in the circuit size of the inverse discrete cosine transform means for responding to a change in the configuration of the discrete cosine transform coefficient data, and to perform enlargement and reduction processing. It is possible to provide an image communication terminal capable of performing resolution conversion of an image while reducing the occurrence of a memory or processing delay for performing the processing and displaying the image on an image display device such as a liquid crystal monitor.
[0028]
An image processing method according to a fifth aspect of the present invention is the image processing method, wherein the Huffman-coded digital image data is inversely Huffman-decoded in block units, and the decoded data is inversely quantized in block units to generate discrete cosine transform coefficients. Performs inverse discrete cosine transform on the block of discrete cosine transform coefficients to generate image data in block units, and expands the image data generated by performing inverse discrete cosine transform on a block basis in the horizontal and vertical directions. Or shrink.
[0029]
According to this method, the resolution conversion processing is performed in the subsequent stage of the image decoding processing, and the resolution conversion processing is performed in block units similar to the image decoding processing, so that the circuit size of the inverse discrete cosine conversion circuit is increased. Therefore, it is possible to realize an image decoding device that can realize enlargement and reduction by simple processing without causing the processing, and can reduce the memory capacity for resolution conversion and the occurrence of processing delay.
[0030]
An image processing method according to a sixth aspect of the present invention uses the image processing method according to the fifth aspect to decode input image encoded data and perform resolution conversion processing, and further display the decoded image data in an image. The image format is converted for display by the device, and the image is displayed in a size suitable for the image display device.
[0031]
According to this method, enlargement and reduction can be realized by simple processing without increasing the circuit scale of the inverse discrete cosine transform circuit, and memory capacity for resolution conversion and occurrence of processing delay can be reduced. Further, it is possible to provide an image processing apparatus capable of displaying an image on an image display device such as a liquid crystal monitor.
[0032]
BEST MODE FOR CARRYING OUT THE INVENTION
The gist of the present invention is that the resolution conversion processing is performed at a stage subsequent to the image decoding processing, and the resolution conversion processing is performed in block units similar to the image decoding processing. By doing so, it is possible to realize enlargement and reduction with simple processing without increasing the circuit scale of the inverse discrete cosine transform circuit, and to reduce the memory capacity for resolution conversion and the occurrence of processing delay. Become.
[0033]
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0034]
(Embodiment 1)
FIG. 1 is a block diagram illustrating a configuration of an image decoding device according to Embodiment 1 of the present invention.
In FIG. 1, an image decoding apparatus 100 according to the present embodiment includes a buffer 101 for temporarily storing encoded image data, an inverse Huffman decoding unit 102 for decoding Huffman-encoded image data, and a quantized image data. An inverse quantization unit 103 for inversely quantizing DCT (discrete cosine transform) coefficient data, an inverse discrete cosine transform unit 104 for converting DCT coefficients to image data, and prediction when image data is difference data with respect to a prediction image An addition unit 105 for performing addition with an image, a frame memory 106 for storing decoded image data, and a motion vector decoded by the inverse Huffman decoding unit 102 and a reproduced image stored in the frame memory 106 A motion compensation unit 107 for generating a predicted image from data, and a resolution conversion unit 1 for enlarging and reducing reproduced image data in block units 8, and a timing controller 109 for generating a control signal for performing pipeline processing while synchronizing the processes for image decoding macro block.
[0035]
Here, FIG. 2 shows the configuration of a macroblock.
In MPEG, which is a moving picture coding method standardized by ISO (International Organization for Standardization), a macroblock composed of four blocks with 8 × 8 pixels as one block is used as a processing unit for coding and decoding. I have. The macro block is composed of luminance data of four blocks and color difference data which is a half data amount of the luminance data. The image decoding apparatus 100 according to the present embodiment performs decoding and resolution conversion processing on a macroblock basis.
[0036]
FIG. 3 is a block diagram showing a configuration of the resolution conversion unit 108.
The resolution conversion unit 108 includes a reduction circuit 301, an enlargement circuit 302, and an intermediate buffer 303. The reduction circuit 301 includes a band-limiting filter 304 that removes high-frequency components to reduce the resolution, and a down-sampler 305 that thins out data from a band-limited image. The enlargement circuit 302 includes an upsampler 306 for inserting image data that is insufficient to increase the resolution, and a linear interpolation filter 307 for linearly interpolating the inserted image data.
[0037]
Next, the operation of the image decoding apparatus 100 according to the present embodiment will be described.
The input image encoded data is temporarily stored in the buffer 101, and is input to the inverse Huffman decoding unit 102 by a fixed amount. The inverse Huffman decoding unit 102 decodes the Huffman-coded image data for each macroblock, and outputs a motion vector, a quantization table, and quantized DCT coefficients. The inverse quantization unit 103 inversely quantizes the quantized DCT coefficients using the quantization table output from the inverse Huffman decoding unit 102, and outputs DCT coefficients. The DCT coefficients output from the inverse quantization unit 103 are converted into image data by the inverse discrete cosine transform unit 104. These inverse quantization and inverse discrete cosine transform are continuously performed in the processing in units of macroblocks.
[0038]
If the image data generated by the inverse discrete cosine transform unit 104 is not difference data from the predicted image, the addition unit 105 inputs nothing to the resolution conversion unit 108 without adding anything. On the other hand, when the image data generated by the inverse discrete cosine transform unit 104 is difference data from the predicted image, the adding unit 105 adds the image data to the predicted image output from the motion compensating unit 107 and then adds the predicted image to the resolution converting unit. 108 is input. The prediction image is generated from image data generated in the past as follows. The output of the adder 105 is stored in the frame memory 106.
[0039]
The motion compensating unit 107 reads out the corresponding portion of the image generated in the past using the motion vector output from the inverse Huffman decoding unit 102 from the frame memory 106 and outputs it as a predicted image. The motion compensation processing for generating the predicted image and the processing for adding the predicted image to the difference data are continuously performed in the processing for each macroblock.
[0040]
Next, the operation of the resolution conversion unit 108 will be described.
The macroblock data of the reproduced image output from the addition unit 105 is input in the horizontal direction, and the reduction circuit 301 or the enlargement circuit 302 performs pixel thinning and pixel interpolation processing. For example, in the case of reducing the image size by 水平 in the horizontal direction, the resolution is reduced to half by the band limiting filter 304 and then the pixel data is thinned out every other pixel.
[0041]
In the case where the pixel data is enlarged twice in the horizontal direction, zero is inserted between the pixel data so that the number of the pixel data is doubled, and the value of the linear interpolation filter 307 is set so that the change of the adjacent pixel data becomes linear. Is corrected. The data of the macroblock subjected to the reduction and enlargement processing in the horizontal direction is temporarily stored in the intermediate buffer 303, and then the same processing is performed in the vertical direction to obtain the output of the image decoding processing.
[0042]
Next, FIG. 4 shows a flow of the macroblock pipeline processing.
The image decoding apparatus 100 according to the present embodiment performs inverse Huffman decoding, inverse quantization / inverse discrete cosine transform, motion compensation, and resolution conversion on a macroblock basis. An intermediate buffer 303 for storing macroblock data is provided at the output stage of each process, and the timing control unit 109 controls the start timing of each process so that the process of each macroblock is pipelined. By incorporating the resolution conversion processing into the pipeline processing for each macroblock, it is possible to improve the throughput of the image decoding processing including the resolution conversion.
[0043]
As described above, according to the image decoding apparatus 100 according to the present embodiment, the resolution conversion when decoding an encoded image is performed on the macroblock after the decoding process, so that the conventional technology can be used. The resolution conversion can be realized using an upsampler, a downsampler, and a digital filter without configuring a complicated discrete cosine conversion circuit corresponding to conversion of various block sizes as described. In addition, since the resolution conversion unit is a macroblock, it can be incorporated in pipeline processing in units of macroblocks, thereby speeding up the processing and reducing the memory capacity.
[0044]
(Embodiment 2)
FIG. 5 is a block diagram showing a configuration of the image communication terminal according to Embodiment 2 of the present invention.
5, image communication terminal 500 according to the present embodiment includes a microphone 501 for inputting audio, an audio data encoding unit 502, a camera 503 for inputting an image, and an image data encoding unit 504. Audio / image multiplexing section 505, transmission path encoding section 506, modulation / transmission section 507, reception / demodulation section 508, transmission path decoding section 509, audio / image separation section 510, audio A data decoding unit 511, a receiver / speaker 512 for outputting audio data, an image data decoding unit 513 having the same function as the image decoding device 100 according to the first embodiment, a format conversion unit 514, And a liquid crystal monitor 515 for displaying.
[0045]
The audio data encoding unit 502 encodes audio data input from the microphone 501. The image data encoding unit 504 encodes image data input from the camera 503. The audio / image multiplexing unit 505 packetizes and multiplexes the audio encoded data from the audio data encoding unit 502 and the image encoded data from the image data encoding unit 504. The transmission path encoding unit 506 performs transmission path encoding such as error correction on the audio / image data multiplexed by the audio / image multiplexing unit 505.
[0046]
The modulation / transmission unit 507 digitally modulates the transmission line encoded data from the transmission line encoding unit 506 and transmits it as a high-frequency radio signal. The reception / demodulation unit 508 receives the high-frequency wireless signal and performs digital demodulation. The transmission path decoding unit 509 decodes the transmission path encoded data. The audio / image separating section 510 separates audio encoded data and image encoded data from transmission line encoded data. The audio data decoding unit 511 decodes the audio data separated by the audio / image separation unit 510. The format converter 514 converts the color difference signals from the image data decoder 513 into RGB signals.
[0047]
Next, the operation of image communication terminal 500 according to the present embodiment will be described.
The audio signal input from the microphone 501 is encoded by the audio data encoding unit 502. An image signal input from the camera 503 is encoded by an image data encoding unit 504. The audio encoded data and the image encoded data are packetized and multiplexed by the audio / image multiplexing unit 505, respectively. Then, after a transmission path encoding process such as error correction encoding is performed by the transmission path encoding section 506, digital modulation is performed by the modulation / transmission section 507, and the digital signal is transmitted to a communication path as a high-frequency radio signal.
[0048]
On the other hand, the reception / demodulation unit 508 receives and demodulates the high-frequency wireless signal. After the transmission path decoding section 509 performs transmission path decoding such as error correction decoding, the audio / image separation section 510 separates the data into audio encoded data and image encoded data. Then, the audio data decoding unit 511 performs a decoding process on the encoded audio data, and outputs audio from the receiver / speaker 512. The image data decoding unit 513 performs the decoding process of the image encoded data and the resolution conversion process as described in detail in the first embodiment. Even when the image size at the time of image encoding is different from the image size of the liquid crystal monitor, the image data is converted to a desired image size and output to the image data decoding unit 513. In the format converter 514, the color difference signal output from the image data decoder 513 is converted into an RGB signal and output to the liquid crystal monitor 515.
[0049]
As described above, according to image communication terminal 500 according to the present embodiment, since image data decoding section 513 has the same function as image decoding apparatus 100 according to Embodiment 1, inverse discrete cosine transformer 104 An increase in the circuit scale (see FIG. 1) can be avoided, and an image communication terminal that realizes image resolution conversion processing with simple processing can be realized. Further, by providing the image data decoding unit 513 with the same function as the image decoding device 100, it is possible to realize an image communication terminal having a memory capacity and a resolution conversion function with reduced processing delay.
[0050]
【The invention's effect】
As described above, according to the present invention, since the resolution conversion means for performing the resolution conversion processing such as enlargement and reduction in macroblock units is provided at the subsequent stage of the image decoding processing, the circuit scale of the inverse discrete cosine transform is increased. Thus, it is possible to provide an image decoding apparatus that can realize enlargement / reduction by simple processing and can reduce the amount of memory for resolution conversion and the occurrence of processing delay.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an image decoding device according to Embodiment 1 of the present invention.
FIG. 2 is a diagram showing a configuration of a macroblock.
FIG. 3 is a block diagram showing a configuration of a resolution conversion unit of the image decoding device according to Embodiment 1 of the present invention.
FIG. 4 is a diagram showing an image of pipeline processing in units of macroblocks;
FIG. 5 is a block diagram showing a configuration of an image communication terminal according to Embodiment 2 of the present invention.
FIG. 6 is a block diagram showing a configuration of a conventional image decoding device.
[Explanation of symbols]
101 buffer
102 Inverse Huffman decoding unit
103 inverse quantization unit
104 inverse discrete cosine transform unit
105 Adder
106 frame memory
107 Motion compensation unit
108 Resolution converter
109 Timing control unit
301 Reduction circuit
302 Expansion circuit
303 intermediate buffer
304 Band Limit Filter
305 downsampler
306 Upsampler
307 Linear interpolation filter
501 microphone
502 Audio Data Encoding Unit
503 camera
504 Image data encoding unit
505 Audio / Video Multiplexer
506 Transmission line coding unit
507 Modulation / transmission unit
508 Receiving / demodulating unit
509 Transmission line decoding unit
510 Audio / image separation unit
511 Audio Data Decoding Unit
512 Receiver / Speaker
513 Image Data Decoding Unit
514 Format conversion unit
515 LCD monitor
