JP2002359846A - 画像復号方法および装置 - Google Patents

Abstract

(57)【要約】 【課題】 符号化された画像データは完全に復号してか
ら、出力先の解像度に合わせてスケーリングするのが一
般的であり、効率が悪い。 【解決手段】 階層的に符号化のなされた符号化画像デ
ータＣＩはウェーブレット逆変換器２４によって段階的
に復号される。復号の過程で中間階層の画像がフレーム
バッファ２２に記憶されている。復号処理に利用できる
メモリ容量や電力容量に制約が生じる場合や表示先の解
像度に限界がある場合に、中断処理部３２は復号処理を
途中で打ち切り、その時点までに得られる中間階層の画
像をフレームバッファ２２から抽出し、必要に応じてス
ケーリングなどの画像処理を施して最終的な復号画像Ｄ
Ｉとして用いる。これにより処理コストを低減すること
ができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は画像復号技術、と
くに符号化された画像データを復号する方法および装置
に関する。

【０００２】

【従来の技術】２０世紀は「映像の世紀」と呼ばれたご
とく、映画、テレビジョン放送をはじめ、多種多様な映
像および画像が生産され、利用されてきた。とくに１９
９０年代に入り、ＰＣ（パーソナルコンピュータ）を代
表とする各種情報機器の普及、デジタルカメラやカラー
プリンタなどの大衆化、インターネット人口の爆発的な
増加などにより、一般人の日常生活にデジタル画像の文
化が深く浸透した。こうした状況下、静止画像、動画像
については、それぞれＪＰＥＧ（Joint Photographic E
xpert Group）、ＭＰＥＧ（Motion Picture Expert Gro
up）などの符号化圧縮技術が標準化され、ＣＤ−ＲＯＭ
などの記録媒体や、ネットワークまたは放送波などの伝
送媒体を通じた画像の配信および再生の利便性が改善さ
れてきた。ＪＰＥＧの系列において、その進化版ともい
うべきＪＰＥＧ２０００が発表され、またＭＰＥＧにつ
いても中長期に及ぶ目標が策定されており、今後も画像
処理技術の洗練が人々をより深くデジタル画像の世界へ
導いていくことに疑いはない。

【０００３】

【発明が解決しようとする課題】画像データ形式の標準
化は、デジタル機器間のデータ授受を促進する効果をも
つ。例えば、名刺の半分程度のメモリカードにより、携
帯機器や情報機器の間できわめて簡単にデータを交換で
きるようになった。デジタルカメラで撮影した画像のデ
ータは、同一のデータ形式をサポートする高精細カラー
プリンタで容易に出力することができる。今後もいろい
ろな機器をまたいで画像データが利用される場面が増え
ると予想される。

【０００４】本発明者はこうした状況下、以下の課題を
認識するに至った。すなわち、例えばデジタルカメラで
撮影した画像がもともと６４０×４８０の解像度を有す
るとき、これを３２０×２００のＬＣＤに表示しようと
すれば、画像のスケーリングが必要になる。一方、１２
０×８０のサムネイル画像を作成しようとすれば、やは
りスケーリングを要する。一般にスケーリングは、処理
を施そうとするもとの画像のサイズにほぼ比例した処理
時間とメモリアクセス量、すなわちバンド幅を要する。
したがって、いまの例では、ＬＣＤ出力用の画像データ
の生成、サムネイル用画像データの生成には、ともに原
画像の６４０×４８０というサイズに比例した負荷が生
じる。

【０００５】本発明はこうした考察に基づいてなされた
ものであり、その目的は、画像復号処理の負荷を減ら
し、消費電力を低減することのできる画像復号技術を提
供することにある。

【０００６】

【課題を解決するための手段】本発明のある態様は画像
復号方法に関する。この方法は、原画像を符号化して生
成された符号化画像データを段階的に復号する過程にお
いて生じる中間画像を最終的な復号画像として利用す
る。

【０００７】本発明の別の態様も画像復号方法に関す
る。この方法は、原画像を符号化して生成された符号化
画像データを段階的に復号して中間画像を生成する工程
と、復号から出力に至るいずれかの個所における処理能
力に応じて前記中間画像を生成する工程を打ち切る工程
と、打ち切られた時点で得られた中間画像を最終的な復
号画像として利用する工程とを含む。

【０００８】本発明のさらに別の態様も画像復号方法に
関する。この方法は、原画像を階層的に符号化して生成
された符号化画像データをその階層レベルを追って段階
的に復号して中間画像を生成する工程と、復号から出力
に至るいずれかの個所における処理能力に応じて決定さ
れた階層レベルにおいて前記中間画像を生成する工程を
打ち切る工程と、打ち切られた時点で得られた前記中間
画像を最終的な復号画像として利用する工程とを含む。

【０００９】通常画像を復号する場合、当然復号が完了
して得られる画像のみを取得すればよいが、この態様で
は、あえて復号の過程で生じる中間画像を取得し、利用
する。たとえば、中間画像が最終的に復号画像より解像
度が低かったり、低周波成分を主体としていても、表示
できれば利用可能である。また用途によっては、解像度
が低いほうが好都合なこともあり、この態様はそうした
場合に好適である。たとえば画像の復号から画像の表
示、印刷等の出力に至るまでの処理過程で、メモリ容
量、消費電力、ＣＰＵ、解像度などの処理能力に制限が
あるとき、復号過程を途中で打ち切り、その時点までに
得られた中間画像を最終的な復号画像の代わりに用い
る。これにより処理コストの低減につながる。

【００１０】画像の復号が階層構造または再帰的な構造
でなされる場合、中間画像は、その復号の過程において
生じる中間の階層レベルまたは中間の再帰レベルの画像
であってもよい。この場合、中間階層の画像は、階層化
処理または再帰的な処理の過程で自然に発生することが
多く、好都合である。以下、単に中間画像というとき、
これは「中間階層の画像」も含むものとする。また中間
画像は原画像よりも解像度が低い画像であってもよく、
中間画像は原画像の低周波成分を基調とする画像であっ
てもよい。

【００１１】前記処理能力は前記復号画像の表示先の有
効解像度であり、前記打ち切る工程は、前記有効解像度
に適した中間画像が生成される段階で前記中間画像を生
成する工程を打ち切るようにしてもよい。前記処理能力
は前記復号画像の表示先において利用可能なメモリ容量
であり、前記打ち切る工程は、前記メモリ容量に適した
前記中間画像が生成される段階で前記中間画像を生成す
る工程を打ち切るようにしてもよい。

【００１２】前記処理能力は前記復号の処理で利用可能
なメモリ容量であり、前記打ち切る工程は、前記メモリ
容量に適した前記中間画像が生成される段階で前記中間
画像を生成する工程を打ち切るようにしてもよい。

【００１３】前記処理能力は前記復号の処理および前記
復号画像の表示の少なくとも一方において許容される消
費電力であり、前記打ち切る工程は、前記消費電力に応
じて前記中間画像を生成する工程を打ち切るようにして
もよい。また省電力モードなどのモードが設定された場
合に、復号処理を適宜打ち切るようにしてもよい。

【００１４】前記最終的な復号画像を表示先の有効解像
度に合うように伸縮処理を施す工程をさらに含んでもよ
い。この伸縮処理は、最終的に復号画像とされる中間画
像の解像度を表示先の解像度と比較して、解像度が適合
しないとわかった場合になされてもよい。またこの伸縮
処理に代えてあるいは伸縮処理とともに、トリミング、
エッジ強調またはハイパスフィルタリング、平滑化また
はノイズ低減またはローパスフィルタリング、色変換、
その他いろいろな画像処理を施してもよい。

【００１５】本発明のさらに別の態様は画像復号装置に
関する。この装置は、原画像を符号化して生成された符
号化画像データを段階的に復号して中間画像を生成する
復号ユニットと、前記復号ユニットに働きかけて、復号
から出力に至るいずれかの個所における処理能力に応じ
て前記中間画像の生成を打ち切る打ち切り制御ユニット
とを含み、前記復号ユニットは、前記打ち切り制御ユニ
ットによって打ち切られた時点で生成された前記中間画
像を最終的な復号画像として出力する。

【００１６】前記復号ユニットは、原画像が階層化され
符号化されていることを前提にその階層レベルを追って
段階的に復号処理を行い、中間階層において前記中間画
像を生成してもよい。前記復号ユニットは、復号の過程
で二次元ウェーブレット逆変換を実施し、二次元ともに
低周波成分からなるサブバンドによって前記中間画像を
生成してもよい。

【００１７】本発明のさらに別の態様も画像復号装置に
関する。この装置は、撮像ブロックと、それを機構面で
制御する機構制御ブロックと、撮像によって得られたデ
ジタル画像を処理する処理ブロックとを含む。前記処理
ブロックは、前記受信信号から抽出されたデジタル画像
の符号化画像データを復号する復号ユニットと、前記復
号ユニットに働きかけて、復号から出力に至るいずれか
の個所における処理能力に応じて前記中間画像の生成を
打ち切る打ち切り制御ユニットとを含む。前記復号ユニ
ットは、前記打ち切り制御ユニットによって打ち切られ
た時点で生成された前記中間画像を最終的な復号画像と
して出力する。

【００１８】本発明のさらに別の態様も画像復号装置に
関する。この装置は、受信ブロックと、受信信号を処理
する処理ブロックと、処理後の信号を再生する再生ブロ
ックを含む。前記処理ブロックは、前記受信信号から抽
出されたデジタル画像の符号化画像データを復号する復
号ユニットと、前記復号ユニットに働きかけて、復号か
ら出力に至るいずれかの個所における処理能力に応じて
前記中間画像の生成を打ち切る打ち切り制御ユニットと
を含む。前記復号ユニットは、前記打ち切り制御ユニッ
トによって打ち切られた時点で生成された前記中間画像
を最終的な復号画像として出力する。当該装置はさら
に、前記復号画像を外部機器へ出力するためのインタフ
ェイスブロックを含む。「外部機器」はネットワーク等
の伝送路やメモリ等の受動素子であってもよい。

【００１９】なお、以上の構成要素の任意の組合せ、本
発明の表現を方法、装置、システム、コンピュータプロ
グラム、記録媒体などの間で変換したものもまた、本発
明の態様として有効である。

【００２０】

【発明の実施の形態】以下、本発明の好適な実施の形態
を説明する。この実施の形態は、ＪＰＥＧ２０００によ
って符号化された画像データを復号する装置に関する。

【００２１】図１は、ＪＰＥＧ２０００にもとづく復号
の過程を説明する図である。同図のごとく、まず符号化
画像データＣＩ（Coded Image）が入力され、後述のご
とく、算術復号、ピットプレーン復号などの処理を経た
のち、逆量子化処理を受ける。この段階で、原画像に対
して２回ウェーブレット変換が施された画像（以下、第
３階層の画像ＷＩ３という）が得られる。つづいてこの
画像にウェーブレット逆変換が施され、第２階層の画像
ＷＩ２が生成される。つぎに２回目のウェーブレット逆
変換によって第１階層の画像ＷＩ１が得られる。さらに
この画像ＷＩ１に対して３回目のウェーブレット逆変換
が施され、復号画像ＤＩ(Decoded Image)が得られる。

【００２２】いま、理解の容易のために符号化の手順を
示せば、これは図１の処理の逆変換といえる。すなわ
ち、図１において復号画像ＤＩとされた部分が原画像で
あり、これに対して１回ウェーブレット変換が施され、
第１階層の画像ＷＩ１が生成される。ＪＰＥＧ２０００
で利用されるウェーブレット変換のフィルタは、Daubec
hiesフィルタであり、その本質は、画像の縦横に対して
それぞれ同時にハイパスフィルタおよびローパスフィル
タを作用させる点にある。したがって、その変換の結果
画像はｘ、ｙの両方向に低周波成分を有するＬＬサブバ
ンドと、ｘ、ｙの一方向に低周波成分を有し、かつ他方
向に高周波成分を有するＨＬサブバンドおよびＬＨサブ
バンドと、ｘ、ｙの両方向に高周波成分を有するＨＨサ
ブバンドの合計４つのバンドに分割される。またこのフ
ィルタは、ｘ、ｙの両方向について画素数を１／２に軽
減する作用も併せもつ。したがって、図１に示すごと
く、第１階層の画像ＷＩ１において、模式的に示された
４つのサブバンド（ここではＬＬ１、ＨＬ１、ＬＨ１、
ＨＨ１と表記する）が生成される。

【００２３】符号化におけるウェーブレット変換では、
所定の回数フィルタリングが施される。図１では、ウェ
ーブレット変換は３回おこなわれ、第２階層の画像ＷＩ
２、第３階層の画像ＷＩ３が生成される。２回目以降の
ウェーブレット変換は、直前の階層の画像のうち、ＬＬ
サブバンド成分に対してのみ施される。たとえば第２階
層の画像ＷＩ２において、第１階層の画像ＷＩ１のＬＬ
１サブバンドが、４つのサブバンドであるＬＬ２、ＨＬ
２、ＬＨ２、ＨＨ２に分解される。符号化処理において
は、第３階層の画像ＷＩ３に対して量子化、その他の処
理を施されて最終的に符号化画像データＣＩが得られ
る。

【００２４】階層化された画像について注意すべきは、
原画像における低周波成分が、図１において、より左上
に現れることである。図１の第２階層の画像ＷＩ２で言
えば、左上隅にあるＬＬ２サブバンドがもっとも低周波
であり、言い替えれば、このＬＬ２サブバンドさえ得る
ことができれば、原画像のもっとも基本的な性質を再現
することができる。この知見が、以下の実施の形態で利
用されている。

【００２５】図２は画像復号装置１０の構成を示す。こ
の構成は、ハードウエア的には、任意のコンピュータの
ＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウ
エア的にはメモリにロードされた画像復号機能のあるプ
ログラムなどによって実現されるが、ここではそれらの
連携によって実現される機能ブロックを描いている。し
たがって、これらの機能ブロックがハードウエアのみ、
ソフトウエアのみ、またはそれらの組合せによっていろ
いろな形で実現できることは、当業者には理解されると
ころである。

【００２６】画像復号装置１０は、おもに復号ユニット
１２と打ち切り制御ユニット３０からなる。復号ユニッ
ト１２は、符号化画像データＣＩを受け取り、そのデー
タストリームを解析するストリーム解析器１４と、解析
の結果判明した復号すべきデータ列に対して算術復号を
施す算術復号器１６と、その結果得られたデータを色コ
ンポーネント毎にビットプレーンの形で復号するビット
プレーン復号器１８と、その結果を逆量子化する逆量子
化器２０と、逆量子化の結果得られた第ｎ階層の画像Ｗ
Ｉｎにウェーブレット逆変換を施すウェーブレット逆変
換器２４を含む。ウェーブレット逆変換器２４は、フレ
ームバッファ２２をワークエリアとして利用する。最終
的に復号が完了して得られた復号画像ＤＩは、フレーム
バッファ２２から任意の目的へ向けて出力される。たと
えば出力先としてＬＣＤなどの表示装置、メモリカード
やハードディスクなどの記録装置、プリンタなどの印刷
装置、およびネットワーク経由のサーバなどがある。

【００２７】一方、打ち切り制御ユニット３０は、ウェ
ーブレット逆変換器２４による復号処理を強制的に中断
させ、そのときまでに生成された第ｎ階層の画像に所定
の処理を施す中断処理部３２と、画像の復号から出力に
至るいずれかの個所の処理性能に関する情報を格納した
処理性能テーブル３４と、特定の処理性能を指定する処
理性能指定部３６とを含む。中断処理部３２は、処理性
能指定部３６から指定された処理性能と処理性能テーブ
ル３４に格納された処理性能に関する情報を参照して、
指定された処理性能に適した解像度または画質を決定す
る。中断処理部３２は、決定された解像度または画質に
応じてウェーブレット逆変換による復号処理の階層レベ
ルを決定し、ウェーブレット逆変換器２４における復号
処理の進行を監視しながら、決定された階層レベルまで
復号処理が進行した時点でその復号処理を強制中断さ
せ、それ以降の階層の復号処理を中止させる。

【００２８】中断処理部３２は、復号処理が中断された
時点で得られた第ｎ階層の画像ＷＩｎの低周波成成分Ｌ
Ｌサブバンドの画像（以下、このＬＬサブバンドの画像
を中間画像ともいう）をフレームバッファ２２から読み
込み、必要に応じて後述の処理を施して、フレームバッ
ファ２２に書き戻す。フレームバッファ２２からは、中
断処理部３２により処理された中間画像が最終的な復号
画像ＤＩとして出力される。

【００２９】ＪＰＥＧ２０００では、復号は同一階層の
画像についてＬＬ、ＨＬまたはＬＨ、ＨＨサブバンドの
順に行われる。ある階層のＬＬサブバンドの画像を中間
画像として用い、これを最終的な復号画像ＤＩとするの
で、その階層のＨＬ、ＬＨ、およびＨＨサブバンドの画
像は利用されないこととなる。そこで中断処理部３２に
よりウェーブレット逆変換器２４の復号処理がある階層
レベルにおいて中断される際、原則としてその階層のＬ
Ｌサブバンドについて復号が行われた時点で復号処理を
強制中断し、以降の同一階層における他のサブバンドの
復号処理を行わない。

【００３０】次に中断処理部３２が復号処理をある階層
レベルで中断させるための決定基準について説明する。
画像の出力先は、高い解像度が要求される大型ＬＣＤや
プリンタから、ビデオカメラなどのビューファインダの
ように画像サイズが小さく、低解像度でよいものまであ
り、要求される画質や解像度が異なる。したがって出力
先の表示能力を考慮して復号される画像の解像度を変え
ることが考えられる。

【００３１】また画像の復号処理はメモリを大量に占有
し、またＣＰＵに負荷をかけ、復号された後の画像のデ
ータ量は、出力先のメモリや出力先までの伝送経路を圧
迫する。したがって復号処理を行う装置の処理性能や出
力先のキャパシティを考慮することも必要である。また
復号処理装置や出力先の表示装置はバッテリ駆動である
場合もあり、バッテリの充電状態により省電力モードに
切り替えて処理時間を短縮して、電力の消費を抑える必
要がある。

【００３２】これらの点に着目して、復号処理における
ＣＰＵ性能およびメモリ容量、表示・印刷・記録等の出
力における記憶容量、出力先までの伝送性能、復号装置
または表示装置における電力消費許容量など、画像の復
号から出力に至るまでに関係する各種の処理性能に応じ
て、中断処理部３２は復号処理を中断する段階を決め
る。その決定の際に参照される処理性能テーブル３４の
一例を図３および図４に示す。

【００３３】図３は出力先に応じた解像度を格納した処
理性能テーブル３４を示す図である。出力先の名称７０
と、出力先において出力可能な画像サイズ７２とが対応
づけて格納されている。中断処理部３２は処理性能指定
部３６から復号画像の出力先を指定する情報を受け取
り、それを処理性能テーブル３４に参照して、出力先に
合わせた画像サイズを得ていずれの階層の中間画像を用
いるかを決定する。たとえば、符号化画像データのサイ
ズが１２８０×９６０であるとする。これを３２０×２
４０のＬＣＤに表示する場合は、第２階層の画像ＷＩ２
の中間画像ＬＬ２が３２０×２４０のサイズであるか
ら、この中間画像ＬＬ２を復元画像として利用する。６
４０×４８０の外部モニタに表示する場合は、第１階層
の画像ＷＩ１の中間画像ＬＬ１が６４０×４８０のサイ
ズであるから、この中間画像ＬＬ１を復元画像として利
用する。プリンタに出力する場合は、原画像すなわち最
後まで復元処理をした後に得られる復元画像ＤＩを利用
する。

【００３４】図４は電力消費モードに応じた解像度を格
納した処理性能テーブル３４を示す図である。電力モー
ド７４と画像サイズ７６とが対応づけて格納されてい
る。デジタルカメラなどで３２０×２４０のＬＣＤに表
示する場合、中断処理部３２は処理性能指定部３６から
通常電力モードの指定を受けた場合、この処理性能テー
ブル３４を参照して画像サイズとして最大の３２０×２
４０を選択するが、処理性能指定部３６から省電力モー
ドの指定を受けた場合は、その半分の１６０×１２０を
選択する。省電力モードの場合は、第３階層の画像ＷＩ
３の中間画像ＬＬ３を用いることができる。この電力消
費モードはバッテリの残量から自動的に設定されてもよ
く、またはユーザがモード設定機能を用いて設定しても
よい。またＡＣアダプタにより電力が供給される場合と
バッテリ駆動の場合でモードを切り替えるように構成し
てもよい。また処理性能指定部３６がバッテリの残量を
監視して、使用が許容される電力を中断処理部３２に指
示し、中断処理部３２が復号処理による消費電力を測定
または推定して、指示された許容電力の範囲内で復号処
理を打ち切るように構成してもよい。

【００３５】この他、中断処理部３２が用いる打ち切り
のための決定基準として、画像復号装置１０のＣＰＵ性
能、フレームバッファ２２のメモリ容量などにより、抽
出する中間画像の解像度を決定してもよい。また出力先
の表示装置や印刷装置のメモリ容量により、抽出する中
間画像の解像度を決定してもよく、あるいは出力先で使
用可能なメモリ容量の制限を設けて、その制限内で最大
の解像度に決定してもよい。また復号処理の過程でメモ
リの使用率の動的な変化を把握し、処理途中でメモリが
足りなくなったときに、復号処理を中断するようにして
もよい。

【００３６】またさらに他の例として、処理性能だけで
なく画像の用途によって中間画像の解像度を決めてもよ
い。たとえば上記の例で、３２０×２４０の大きさのＬ
ＣＤに表示する場合でも１２０×８０のサムネイル画像
でよいなら、第２階層における３２０×２４０の中間画
像の代わりに、第３階層における１６０×１２０の中間
画像ＬＬ３を利用してもよい。この場合、中間画像ＬＬ
３とサムネイル画像のサイズが合わないため、１２０×
８０のサイズに縮小する処理を施した上で復元画像とし
て利用する。その他の用途として、たとえば「デジタル
カメラ」の「静止画」「動画」など、ユーザが画像を利
用する目的を処理性能指定部３６が中断処理部３２に指
示し、各用途に対して定められる解像度を処理性能テー
ブル３４から得るようにしてもよい。この解像度はユー
ザが有するデジタルカメラの仕様や、デジタルカメラが
一般的に有する仕様などに基づいて定められる。

【００３７】このように中断処理部３２の働きにより、
復号処理を最後まで行って復号画像ＤＩを得なくても、
処理性能や用途に合わせて復号過程で得られる中間階層
の中間画像を復号画像として用いることができ、処理時
間を短縮し、メモリ占有率を低く抑え、結果的に消費電
力を低減することができる。

【００３８】第ｎの階層で得られるＬＬサブバンドの中
間画像は原画像の縦横のサイズをそれぞれ１／２^ｎ倍し
たものであるから、中間画像はそのままの大きさでは出
力先の画像サイズに合わないこともある。その場合は、
中間画像を必要に応じて拡大縮小して出力先の画像サイ
ズに調整して復号画像として利用する。この拡大縮小の
処理は、画像の補間や画素値の変換などの処理を伴う。
中断処理部３２がフレームバッファ２２から中間画像を
抽出してこの処理を行うが、このような処理は出力先で
行われてもよく、フレームバッファ２２からはＬＬサブ
バンドの中間画像がそのまま出力先に出力されるように
構成されてもよい。

【００３９】またデジタルカメラなどにこの画像復号装
置１０が実装された場合を想定すると、ズーム機能によ
り撮影画像を拡大縮小することがある。このような場
合、ＬＬサブバンドの中間画像に対して補間や変換の処
理をして拡大縮小することができるが、他のＨＬまたは
ＬＨ、ＨＨサブバンドの画像があればそれを用いて縦横
２倍の画像をウェーブレット逆変換により得ることがで
きる。そこで前述の中断処理において、ＬＬサブバンド
の画像を復号した時点で中断するのではなく、ＬＬ以外
のサブバンドの画像も合わせて復号してフレームバッフ
ァ２２に記憶しておき、ズーム時にはＬＬ以外のサブバ
ンドの画像も用いて次の階層の画像に逆変換して、復元
画像として利用してもよい。またＬＬ以外のサブバンド
の画像を得ていない場合は画素値を０に簡略化して次の
階層の画像を復元してもよい。

【００４０】さらに別の打ち切り制御の方法として、出
力先において要求される画質が低いときは、ビットプレ
ーンの内、上位のビットプレーンだけを復号して、下位
のビットプレーンの復号を割愛するような打ち切りを行
ってもよい。

【００４１】図５（ａ）は、第２階層ＷＩ２におけるＬ
Ｌ２サブバンドとビットプレーンの関係を示す。同図の
ごとく、第２階層の画像ＷＩ２において、まずＬＬ２サ
ブバンドが、同図において直方体５０で示されるごと
く、すべてのビットプレーンを縦断する形で復号され
る。したがって、そのＬＳＢ（最下位ビット）に近い方
のビットプレーンからスキップすることにより、画質の
低下を最小限に抑えつつ、復号処理の一部を打ち切るこ
とができる。

【００４２】図５（ｂ）では、ＬＬ２サブバンドに関す
る直方体５０が有効なビットプレーンによって形成され
る部分５２とスキップする部分５４に分けられている。
ここでは、出力先で要求される画質に対応して、最下位
のビットプレーン１枚が捨てられている。

【００４３】以上、打ち切り制御ユニット３０、特に中
断処理部３２の処理により、求められる解像度または画
質に応じて復号処理を途中で打ち切り、そのときまでに
得られた中間画像により復元画像を得ることができる
が、画質の低下の防止に配慮されているため、比較的自
然な画像が得られる。したがってこの実施の形態によれ
ば、比較的小規模な構成で、デジタルカメラのように内
蔵小型ＬＣＤと外部ディスプレイといった２つ以上の解
像度の異なる表示部をもつ場合に、表示部に要求される
解像度に合わせて、画像を短時間で復元することがで
き、実用上非常に大きなメリットを生む。また不要な復
元処理を省略できるので、消費電力を大幅に節約でき
る。

【００４４】中間画像としてＬＬサブバンドの画像を利
用するメリットは以下のようにまとめられる。 １．一般に画像処理は、画像サイズに比例する処理の負
荷を生むため、画像サイズの縦横比が１／２^ｎの第ｎ階
層の中間画像を利用すれば、処理の負荷を概略１／２
^２ｎに低減することができる。その結果、処理時間、フ
レームバッファ２２の占有率、消費電力のいずれの面に
おいても改善効果が期待できる。

【００４５】２．場合により、スケーリング処理をスキ
ップすることができる。たとえば出力先で利用したい画
像サイズが原画像のサイズの１／２^ｎであるなら、第ｎ
階層の中間画像がそのまま利用できる。すなわち第ｎ階
層のＬＬサブバンドの画像を選択した時点で、事実上ス
ケーリング処理が完了している効果をもつ。したがっ
て、この意味でも処理効率の改善が図られる。

【００４６】３．画質の面でも有利である。ＪＰＥＧ２
０００のウェーブレット変換による画像符号化は、低ビ
ットレートにおける画質を重視して設計されており、第
１階層の画像のＬＬサブバンドは、原画像すなわち復元
画像ＤＩに対してスケーリングを施すときに利用される
一般的なフィルタにくらべ、同等か相当よい画質を実現
することが多い。したがって、中間階層の画像のＬＬサ
ブバンドの抽出によってスケーリングを兼ねる場合、Ｊ
ＰＥＧ２０００の画質面におけるメリットを享受するこ
とができる。

【００４７】４．中間画像が再利用可能になる背景とし
て、そのデータフォーマットが原画像のそれと同じであ
ることが挙げられる。すなわち、ウェーブレット変換に
よる画像の符号化処理は画素を単位とするフィルタリン
グであり、画素値および画像サイズは変化するものの、
原画像と同じ表示体系にて表示可能な範囲にとどまって
いる。したがって、中間画像は復元画像ＤＩと同様、そ
のまま表示する用途にも耐える。

【００４８】図６は別の実施の形態に係るデジタルカメ
ラ２００の構成を示す。デジタルカメラ２００は、撮像
ブロック２０２、機構制御ブロック２０４、処理ブロッ
ク２０６、ＬＣＤモニタ２０８、および操作ボタン群２
１０を含む。

【００４９】撮像ブロック２０２は、図示しないレン
ズ、絞り、光学ローパスフィルタ、ＣＣＤ、信号処理部
等を含む。ＣＣＤの受光面上に結像した被写体像の光量
に応じてＣＣＤに電荷が蓄積され、電圧信号として読み
出される。電圧信号は信号処理部でＲ、Ｇ、Ｂ成分に分
解され、ホワイトバランス調整、ガンマ補正が行われ
る。その後、Ｒ、Ｇ、Ｂ信号はＡ／Ｄ変換され、デジタ
ル画像データとなって処理ブロック２０６へ出力され
る。機構制御ブロック２０４は、撮像ブロック２０２の
光学系の制御、すなわちズーム、フォーカス、絞りなど
の駆動を制御する。

【００５０】処理ブロック２０６は、デジタルカメラ２
００全体の制御に利用されるＣＰＵ２２０とメモリ２２
２のほか、ＹＣ処理部２２６、カード制御部２２８、通
信部２２４を有する。これらのうち、ＣＰＵ２２０の機
能の一部とメモリ２２２にロードされた画像復号プログ
ラムが、図２の画像復号装置１０に相当する。図２のフ
レームバッファ２２もこのメモリ２２２の一部を利用し
て実現することができる。なお、このデジタルカメラ２
００は、メモリカード２３０へ画像データを保存すべ
く、図示しない画像符号化装置もＣＰＵ２２０とメモリ
２２２によって実現されている。したがって、以下符号
化も復号も可能な構成として説明する。

【００５１】ＹＣ処理部２２６は、デジタル画像データ
から輝度Ｙと色差Ｃｂ、Ｃｒを生成する。輝度と色差は
独立に順次符号化される。符号化画像データＣＩは、通
信部２２４を介して外部へ出力され、またはカード制御
部２２８を介してメモリカード２３０へ書き込まれる。

【００５２】通信部２２４は、標準的な通信仕様に応じ
たプロトコル変換等の制御を行い、この他に、例えばプ
リンタ、ゲーム機等の外部機器との間で個別のインタフ
ェイスによるデータ授受を行う。

【００５３】ＬＣＤモニタ２０８は、撮影／再生モー
ド、ズーム倍率、日時などのほかに、撮影した動画、高
速連写画像、静止画などを表示する。したがって、ユー
ザが動画を撮影した場合、まずこれが符号化圧縮され、
例えばメモリカード２３０へ記録される。ユーザがその
動画を再生するとき、必要に応じて実施の形態に特徴的
な復号処理に対する中断処理がなされる。なお、操作ボ
タン群２１０は、ユーザが撮影を行い、または各種動作
モードを設定するためのパワースイッチ、レリーズスイ
ッチ等を含む。

【００５４】以上の構成により、つぎの効果が生じる。 １．出力先で要求される解像度や画質に応じて適宜、復
号処理を中断し中間画像を利用するため、スケーリング
の処理時間およびバンド幅が大幅に削減される。したが
ってデジタルカメラにおいてたとえば高解像度の静止画
記録と動画撮影を同時に行うことが容易になる。また静
止画とサムネイル画像を同時に記録する場合でも、たと
えば高速連写撮影が容易になる。

【００５５】２．動画を撮影して再生する場合、フレー
ムレートが決まっているため、復号の処理能力に応じて
場合により中断処理がなされ、中間画像が復元画像とし
て利用される。これにより、画質の低下を抑えつつ、決
められたフレームレートを維持することが可能となる。
また画像復号装置１０をさほど高速化しなくても、処理
能力に応じた動画の再生が可能となるため、コストメリ
ットがあり、また消費電力の面でもメリットがある。

【００５６】このようにＪＰＥＧ２０００の処理のプロ
セスと構成をうまく利用し、かつＪＰＥＧ２０００の高
画質なフィルタに着目することにより、比較的容易な構
成で画像処理の効率改善が実現する。またＭＰＥＧ４で
はフレームの圧縮にウェーブレット変換が用いられるの
で、静止画の場合と同様の仕組みが動画再生にも応用で
きる。これにより、デジタルカメラ、デジタルビデオそ
の他の画像処理装置の商品価値の向上および操作性の改
善が実現される。

【００５７】図７は、さらに別の実施の形態に係るテレ
ビジョン受信装置３００の構成を示す。テレビジョン受
信装置３００は、アンテナ３０２とそれを介して放送波
を受信する受信ブロック３０４と、受信ブロック３０４
による処理の結果得られた画像および音声データを処理
する処理ブロック３０６と、処理ブロック３０６によっ
て復号された音声および画像を再生する再生ブロック３
０８を含む。またインタフェイスブロック３３６は、処
理ブロック３０６による復号画像データを適宜外部機器
へ出力する。

【００５８】受信ブロック３０４はチューナ３２０およ
びパケット分離部３２２を含む。チューナ３２０はユー
ザが選んだチャネルを含むトランスポンダを選択し、Ｑ
ＰＳＫ復調を施す。復調で得られた複数のトランスポー
トパケットを含むストリームはパケット分離部３２２へ
送られる。パケット分離部３２２はデマルチプレクサで
あり、所望のチャンネルに対応するパケットを分離して
処理ブロック３０６へ出力する。

【００５９】処理ブロック３０６の画像・音声デコーダ
３３４はＣＰＵ３３０およびメモリ３３２と連携し、放
送局で符号化され送信された画像および音声データを復
号する。画像・音声デコーダ３３４は、入力されたパケ
ットを復号し、音声データを音声出力部３４０へ、画像
データを表示装置３４４へそれぞれ出力する。音声出力
部３４０は、入力された音声データに所定の処理を施
し、最終的に音声がスピーカ３４２へ出力される。処理
ブロック３０６の構成、すなわち画像・音声デコーダ３
３４、ＣＰＵ３３０、メモリ３３２のうち、画像復号に
関する部分が図２の画像復号装置１０に相当する。以上
の構成によれば、非常に低いコストと消費電力で、いわ
ゆるデジタルテレビを実現することができる。このテレ
ビは、例えば携帯電話などの小型機器に搭載することも
可能である。

【００６０】以上、本発明を実施の形態をもとに説明し
た。これらの実施の形態は例示であり、それらの各構成
要素や各処理プロセスの組合せにいろいろな変形例が可
能なこと、またそうした変形例も本発明の範囲にあるこ
とは当業者に理解されるところである。そうした変形例
をいくつか説明する。

【００６１】実施の形態では、画像の復号を例に中間画
像を利用して最終的な復元画像を得ることを説明した。
しかしながら、本発明は画像の復号に限る必要はなく、
任意の画像処理の途中経過を中間画像として利用できる
ものであれば適用可能である。たとえば、原画像を複数
回所定のフィルタリングにかけ、画像を階層化する場
合、中間階層の画像が自然に得られるため、好都合であ
る。フィルタも、通常のアベレージフィルタ等、任意の
ものでよい。

【００６２】また同様の理由から、プログレッシブＪＰ
ＥＧのように、なんらかのプログレッシブな性質をもつ
画像処理は本発明の適用に好都合である。たとえば、プ
ログレッシブに表示される画像のうち途中の段階に現れ
る画像を中間画像として利用することが可能である。

【００６３】実施の形態ではデジタルカメラを例に説明
したが、これは当然他の電子機器であってもよい。たと
えばデジタルカメラ同様、撮像ブロックおよび処理ブロ
ックをもつファクシミリ装置、コピー機、スキャナ等の
機器に本発明を適用することができる。

【００６４】同様に実施の形態ではテレビジョン受信装
置を例示したが、これも受信ブロックおよび処理ブロッ
クをもつような他の機器、たとえばインターネットに接
続可能な携帯電話や各種ＰＤＡ（個人用情報端末）であ
ってもよい。

【００６５】

【発明の効果】本発明によれば、画像復号処理の効率改
善を図ることができる。

【図面の簡単な説明】

【図１】 ＪＰＥＧ２０００によって符号化画像データ
が復号される一連の手順を示す図である。

【図２】 実施の形態に係る画像復号装置の構成図であ
る。

【図３】 図２の処理性能テーブルの内部構成の一例を
示す図である。

【図４】 図２の処理性能テーブルの内部構成の一例を
示す図である。

【図５】 図５（ａ）、図５（ｂ）は、ＪＰＥＧ２００
０において、ある階層のＬＬサブバンドとビットプレー
ンの関係を示す図である。

【図６】 実施の形態に係るデジタルカメラの構成図で
ある。

【図７】 実施の形態に係るテレビジョン受信装置の構
成図である。

【符号の説明】

１０ 画像復号装置、 １２ 復号ユニット、 １４
ストリーム解析器、１６ 算術復号器、 １８ ビット
プレーン復号器、 ２０ 逆量子化器、 ２２ フレー
ムバッファ、 ２４ ウェーブレット逆変換器、 ３０
打ち切り制御ユニット、 ３２ 中断処理部、 ３４
処理性能テーブル、 ３６ 処理性能指定部、 ２０
０ デジタルカメラ、 ２０２ 撮像ブロック、 ２０
４ 機構制御ブロック、 ２０６ 処理ブロック、 ２
０８ ＬＣＤモニタ、 ２１０操作ボタン群、 ２２０
ＣＰＵ、 ２２２ メモリ、 ２２４ 通信部、２２
６ ＹＣ処理部、 ２２８ カード制御部、 ２３０
メモリカード、 ３００ テレビジョン受信装置、 ３
０２ アンテナ、 ３０４ 受信ブロック、３０６ 処
理ブロック、 ３０８ 再生ブロック、 ３２０ チュ
ーナ、 ３２２ パケット分離部、 ３３０ ＣＰＵ、
３３２ メモリ、 ３３４ 画像・音声デコーダ、
３３６ インタフェイスブロック、 ３４０ 音声出力
部、３４２ スピーカ、 ３４４ 表示装置。

フロントページの続き Ｆターム(参考） 5C025 BA27 DA01 5C059 KK40 KK49 MA00 MA24 PP01 PP04 SS02 SS10 SS14 TA06 TA39 TB04 TB17 TC20 TC39 UA02 UA06 UA15 UA33 5C078 BA21 BA53 BA64 CA00 DA00 DA02 DB19 EA00 5J064 AA04 BA16 BB06 BC01 BC16 BD01

Claims (17)

【特許請求の範囲】
1. 【請求項１】 原画像を符号化して生成された符号化画
   像データを段階的に復号する過程において生じる中間画
   像を最終的な復号画像として利用することを特徴とする
   画像復号方法。
2. 【請求項２】 原画像を符号化して生成された符号化画
   像データを段階的に復号して中間画像を生成する工程
   と、 復号から出力に至るいずれかの個所における処理能力に
   応じて前記中間画像を生成する工程を打ち切る工程と、 打ち切られた時点で得られた中間画像を最終的な復号画
   像として利用する工程とを含むことを特徴とする画像復
   号方法。
3. 【請求項３】 原画像を階層的に符号化して生成された
   符号化画像データをその階層レベルを追って段階的に復
   号して中間画像を生成する工程と、 復号から出力に至るいずれかの個所における処理能力に
   応じて決定された階層レベルにおいて前記中間画像を生
   成する工程を打ち切る工程と、 打ち切られた時点で得られた前記中間画像を最終的な復
   号画像として利用する工程とを含むことを特徴とする画
   像復号方法。
4. 【請求項４】 前記中間画像は原画像よりも解像度が低
   い画像であることを特徴とする請求項１から３のいずれ
   かに記載の画像復号方法。
5. 【請求項５】 前記中間画像は原画像の低周波成分を基
   調とする画像であることを特徴とする請求項１から３の
   いずれかに記載の画像復号方法。
6. 【請求項６】 前記処理能力は前記復号画像の表示先の
   有効解像度であり、前記打ち切る工程は、前記有効解像
   度に適した中間画像が生成される段階で前記中間画像を
   生成する工程を打ち切ることを特徴とする請求項２から
   ５のいずれかに記載の画像復号方法。
7. 【請求項７】 前記処理能力は前記復号画像の表示先に
   おいて利用可能なメモリ容量であり、前記打ち切る工程
   は、前記メモリ容量に適した前記中間画像が生成される
   段階で前記中間画像を生成する工程を打ち切ることを特
   徴とする請求項２から５のいずれかに記載の画像復号方
   法。
8. 【請求項８】 前記処理能力は前記復号の処理で利用可
   能なメモリ容量であり、前記打ち切る工程は、前記メモ
   リ容量に適した前記中間画像が生成される段階で前記中
   間画像を生成する工程を打ち切ることを特徴とする請求
   項２から５のいずれかに記載の画像復号方法。
9. 【請求項９】 前記処理能力は前記復号の処理および前
   記復号画像の表示の少なくとも一方において許容される
   消費電力であり、前記打ち切る工程は、前記消費電力に
   応じて前記中間画像を生成する工程を打ち切る段階を決
   めることを特徴とする請求項２から５のいずれかに記載
   の画像復号方法。
10. 【請求項１０】 前記最終的な復号画像を表示先の有効
    解像度に合うように伸縮処理を施す工程をさらに含むこ
    とを特徴とする請求項１から９のいずれかに記載の画像
    復号方法。
11. 【請求項１１】 原画像を符号化して生成された符号化
    画像データを段階的に復号して中間画像を生成する復号
    ユニットと、 前記復号ユニットに働きかけて、復号から出力に至るい
    ずれかの個所における処理能力に応じて前記中間画像の
    生成を打ち切る打ち切り制御ユニットとを含み、 前記復号ユニットは、前記打ち切り制御ユニットによっ
    て打ち切られた時点で生成された前記中間画像を最終的
    な復号画像として出力することを特徴とする画像復号装
    置。
12. 【請求項１２】 前記復号ユニットは、原画像が階層化
    され符号化されていることを前提にその階層レベルを追
    って段階的に復号処理を行い、中間階層において前記中
    間画像を生成することを特徴とする請求項１１に記載の
    画像復号装置。
13. 【請求項１３】 前記中間画像の解像度は前記最終的に
    得られる復号画像の解像度よりも低いことを特徴とする
    請求項１１または１２に記載の画像復号装置。
14. 【請求項１４】 前記中間画像は前記最終的に得られる
    復号画像の主に低周波成分を含むことを特徴とする請求
    項１１または１２に記載の画像復号装置。
15. 【請求項１５】 前記復号ユニットは、復号の過程で二
    次元ウェーブレット逆変換を実施し、二次元ともに低周
    波成分からなるサブバンドによって前記中間画像を生成
    することを特徴とする請求項１１から１４のいずれかに
    記載の画像復号装置。
16. 【請求項１６】 撮像ブロックと、それを機構面で制御
    する機構制御ブロックと、撮像によって得られたデジタ
    ル画像を処理する処理ブロックとを含み、 前記処理ブロックは、前記受信信号から抽出されたデジ
    タル画像の符号化画像データを復号する復号ユニット
    と、前記復号ユニットに働きかけて、復号から出力に至
    るいずれかの個所における処理能力に応じて前記中間画
    像の生成を打ち切る打ち切り制御ユニットとを含み、 前記復号ユニットは、前記打ち切り制御ユニットによっ
    て打ち切られた時点で生成された前記中間画像を最終的
    な復号画像として出力することを特徴とする画像復号装
    置。
17. 【請求項１７】 受信ブロックと、受信信号を処理する
    処理ブロックと、処理後の信号を再生する再生ブロック
    を含み、 前記処理ブロックは、前記受信信号から抽出されたデジ
    タル画像の符号化画像データを復号する復号ユニット
    と、前記復号ユニットに働きかけて、復号から出力に至
    るいずれかの個所における処理能力に応じて前記中間画
    像の生成を打ち切る打ち切り制御ユニットとを含み、前
    記復号ユニットは、前記打ち切り制御ユニットによって
    打ち切られた時点で生成された前記中間画像を最終的な
    復号画像として出力し、 当該装置はさらに、前記復号画像を外部機器へ出力する
    ためのインタフェイスブロックを含むことを特徴とする
    画像復号装置。