JP2004147095A - 復号方法 - Google Patents
復号方法 Download PDFInfo
- Publication number
- JP2004147095A JP2004147095A JP2002309901A JP2002309901A JP2004147095A JP 2004147095 A JP2004147095 A JP 2004147095A JP 2002309901 A JP2002309901 A JP 2002309901A JP 2002309901 A JP2002309901 A JP 2002309901A JP 2004147095 A JP2004147095 A JP 2004147095A
- Authority
- JP
- Japan
- Prior art keywords
- image
- layer
- output
- decoding
- image size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Editing Of Facsimile Originals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】階層符号化の途中階層に於ける画像に含まれるエイリアスの、画質に対する悪影響が無い良好な再生を行うこと。
【解決手段】予め階層的に符号化された符号化画像データを復号する復号方法であって、出力する画像サイズを判断し（Ｓ１０１）、判断された画像サイズを得るのに最低限必要な階層よりも、画素数が多くなる１階層以上高い階層の符号化画像データを復号する（Ｓ１０３〜Ｓ１０５）。
【選択図】 図１
【解決手段】予め階層的に符号化された符号化画像データを復号する復号方法であって、出力する画像サイズを判断し（Ｓ１０１）、判断された画像サイズを得るのに最低限必要な階層よりも、画素数が多くなる１階層以上高い階層の符号化画像データを復号する（Ｓ１０３〜Ｓ１０５）。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、画像の解像度変換に関し、特に階層符号化方式を用いて行う解像度変換に関する。
【０００２】
【従来の技術】
近年、コンピュータ及びネットワークの著しい発達に伴い、文字データ、画像データ、音声データ等、多種の情報が、コンピュータ内、ネットワーク間で蓄積されたり、伝送されたりするようになってきている。これらのデータの中で画像、特に多値画像は非常に多くの情報を含んでいるために、そのデータ量は膨大であり、蓄積・伝送する際にメモリや通信回線などのリソースを消耗してしまう問題がある。このため、画像の蓄積・伝送に際しては、画像の持つ冗長性を除いたり、画質の劣化が視覚的に認識し難い程度に画像の内容を変更することによってデ−タ量を削減する、高能率符号化がしばしば用いられる。
【０００３】
高能率符号化の方式としては、静止画像の国際標準符号化方式としてＩＳＯとＩＴＵ−Ｔにより勧告されたＪＰＥＧが広く用いられている。ＪＰＥＧは離散コサイン変換を基本とした方式であるが、圧縮率を高めるとブロック状の歪みが生じるという問題点があった。
【０００４】
一方、画像を入力あるいは出力する機器においては画質向上に対する要求から高解像度化が進んでいるため、従来にも増して高い圧縮率が求められている。このため、異なる変換方式としてサブバンド符号化がある。このサブバンド符号化は、例えばウェーブレット変換を行うためのフィルタ（以下、「ウェーブレット変換」という。）によって、ディジタル信号の帯域分割を行い、ディジタル信号の圧縮を行うものである。すなわち、サブバンド符号化は、入力された信号に対して、異なる通過帯域を有する複数のフィルタでフィルタリング処理を施した後、各周波数帯域に応じた間隔でダウンサンプリングを施し、各フィルタの出力信号のエネルギーの偏りを利用して圧縮を行うものである（例えば、非特許文献１参照）。
【０００５】
このサブバンド符号化は階層符号化処理であり、復号処理時にすべての階層を復号処理すること無く、必要とする階層まで復号処理することができるので、効率の良い復号処理が容易に実現できる利点がある反面、エイリアスを含み画像が劣化してしまう。
【０００６】
一般に、ウェーブレット変換は、サブバンド符号化の下位概念とも改良とも言われているが、本発明の詳細な説明で単にウェーブレットと記述する場合は、ウェーブレット変換フィルタに限定されることなく、サブバンド符号化に適用されるフィルタを用いた技術を広く包含しているものとする。
【０００７】
図１９に、サブバンド符号化で用いられるフィルタ、例えばウェーブレット変換フィルタによる帯域分割、及び合成を行う装置の基本的な構成を示す。
【０００８】
図１９中、１１０１は画像データに対してプリ処理を行う画像入力処理部、１１０２は離散ウェーブレット変換部、１１０３は量子化器、１１０４はエントロピー符号化器、１１０５は伝送記録処理部、１１０６は受信再生処理部、１１０７はエントロピー復号化器、１１０８は逆量子化器、１１０９は逆離散ウェーブレット変換部、１１１０は画像出力部である。画像入力処理部１１０１から伝送記録処理部１１０５までが符号化装置となり、出力データを伝送や記録メディアを介して、受信再生処理部１１０６から画像出力部１１１０の復号装置により、画像が再生される。
【０００９】
まず、符号化処理について説明する。画像入力処理部１１０１で入力画像信号に対してγ処理や色変換等の処理がなされ、離散ウェーブレット変換器１１０２に入力される。離散ウェーブレット変換器１１０２では入力された画像信号に対して水平、垂直方向の離散ウェーブレット変換を行う。ウェーブレット変換処理は処理後の低域成分に対して再帰的にウェーブレット処理を行うことで多層の階層化処理するものである。離散ウェーブレット変換された画像データは量子化器１１０３に入力される。量子化器１１０３はウェーブレットデータを所定の特性で量子化することで、圧縮率や符号化レートを変える事ができる。量子化された画像データにはエントロピー符号化器１１０４により、データの冗長性を利用したデータの圧縮が行われる。伝送記録処理部１１０５では、符号化されたデータを伝送するための処理をしたり、またメディアに記録する場合はそのメディアに適応した変換処理を行う。以上の動作で画像は階層符号化され、出力データは伝送や記録メディアに記録される。
【００１０】
復号処理は符号時とは逆の順番で行われ、受信再生処理部１１０６で、伝送されたりメディアに記録された画像データを分離再生し、エントロピー復号器１１０７で復号され、逆量子化器１１０８で量子化前のデータに復号され、更に逆離散ウェーブレット変換器１１０９で元の画像データに復号される。その後、出力目的に合った画像データに画像出力部１１１０で変換され出力される。この時、階層符号化処理を利用して、逆ウェーブレット変換処理の途中階層までの画像から、必要とする小さな画像サイズの画像を得ることができる。ウェーブレット変換はオクターブ変換が一般的であるので、２のべき乗分の１で階層化された画像を得ることが容易に可能となる。
【００１１】
図２０及び図２１では符号化動作、図２２では復号化動作における離散ウェーブレット変換を中心に更に詳細に説明する。
【００１２】
図２０において、図１９と同じ構成には同じ参照番号を付す。画像データは帯域分割の為の分析用ＬＰＦ（分析ＬＰＦ）１２０３と、同じく帯域分割の為の分析用ＨＰＦ（分析ＨＰＦ）１２０１とに入力され、それぞれ低周波数帯域信号と高周波数帯域信号に分離される。それぞれの信号は帯域が半分になっているので、ダウンサンプラ１２０２、１２０４により間引処理がなされる。高域成分はそのまま量子化器１１０３へと出力される。低域成分は更に分析ＨＰＦ１２０５、分析ＬＰＦ１２０７、ダウンサンプラ１２０６、１２０８により回帰的に処理される。ここでは便宜上２レベルの処理による３階層出力を示している。その概念図を図２３に示す。水平・垂直２次元での処理により、図２３に示すように分析ＨＰＦ１２０１とダウンサンプラ１２０２でＨＬ１、ＬＨ１、ＨＨ１に対応するデータが、分析ＬＰＦ１２０３とダウンサンプラ１２０４によりＬＬ１が得られるが、ＬＬ１は回帰的に処理されるので分析ＨＰＦ１２０５とダウンサンプラ１２０６により図２３中ＨＬ２、ＬＨ２、ＨＨ２に対応するデータが、分析ＬＰＦ１２０７とダウンサンプラ１２０８により図２３中ＬＬ２に対応するデータがそれぞれ得られる。
【００１３】
それぞれの帯域のデータはそれぞれに対応した量子化器１１０３ａ〜１１０３ｃにより量子化され、それぞれの帯域でエントロピー符号化器１１０４で符号化されて、伝送記録処理部１１０５により出力される。
【００１４】
図２１は、離散ウェーブレット変換器１１０２の別の構成を示す例である。図２１において、図２０と同様の構成には同じ参照番号を付している。図２１に示す構成では、伝送記録処理部１１０５により、画像の全ての階層データが必要でない場合は、その情報を制御部１２０９に出力する。制御部１２０９は階層符号化のそれぞれのバンドのデータから不要な階層のデータを符号化しないように制御する。スイッチ１２１０は、高解像度の高域階層のデータが不要であれば、その高域階層に対応するスイッチをオープンにすることにより、エントロピー符号化器１１０４に符号化しない階層データが入力されないように動作する。この時、離散ウェーブレット変換器１１０２の一部やエントロピー符号化１１０４の不要な処理を同時に停止させることで、処理能力の低減や消費電力の低減が図ることができる。
【００１５】
図２２において、図１９と同じ構成には同じ参照番号を付す。図２３に示す例ではＨＬ１・ＬＨ１・ＨＨ１の階層データを量子化する量子化器１１０３ａに対応する逆量子化器１１０８ａ、ＨＬ２・ＬＨ２・ＨＨ２の階層データを量子化する量子化器１１０３ｂに対応する逆量子化器１１０８ｂ、低周波数帯域であるＬＬ２の階層データを量子化する量子化器１１０３ｃに対応する逆量子化器１１０８ｃである。逆量子化された信号は、ＬＬ２の信号から順に逆ウェーブレット変換される。
【００１６】
まず、ＬＬ２はアップサンプラ１３０１によりゼロを内挿しアップサンプリングし、帯域合成のための合成用ＬＰＦ（合成ＬＰＦ）１３０２により補間処理され再生される。ＨＬ２・ＬＨ２・ＨＨ２も同様にアップサンプラ１３０４によりアップサンプリングし、帯域合成の為の合成用ＨＰＦ（合成ＨＰＦ）１３０５により補間再生され、ＬＬ２成分と加算器１３０３により加算されることによって合成され、ＬＬ１が復元される。復元されたＬＬ１は更にアップサンプラ１３０６によりアップサンプリングし、合成ＬＰＦ１３０７により補間再生される。ＨＬ１・ＬＨ１・ＨＨ１もアップサンプラ１３０９によりアップサンプリングし、合成ＨＰＦ１３１０により補間再生され、ＬＬ１成分と加算器１３０８により加算することによって合成され、元の画像に復元される。
【００１７】
上述の処理過程の各階層データを画像出力部１１１０で選択出力することで、２のべき乗分の１の画像サイズを容易に出力することが可能となる。
【００１８】
サブバンド符号化、又はウェーブレット変換に基づいた従来の符号化方法では、その帯域分割にタップ数の多い例えばＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｏｎｓｅ）フィルタを用いると、フィルタの阻止域におけるリップの発生範囲が広くなり、画像のエッジ等のレベル変化の大きい部分の周辺に、リンギング（ｒｉｎｇｉｎｇ）が発生することがあった。特に、再帰的に複数回の帯域分割を行う際に、従来は全ての帯域分割に同じフィルタを用いていたため、ダウンサンプリングの影響で、帯域分割が進むほど相対的にフィルタのタップ数が増えることになっていた。この結果、画像のエッジ周辺の広い範囲にリンギングが発生することがあった。その為に、タップ数の少ないフィルタでブロードな特性のフィルタを用いて、リンギングの発生範囲を抑えるようにしている。このウェーブレット変換フィルタは、直交ミラーフィルターを用いるのが一般的である。
【００１９】
図２４は、近年提案されているＪＰＥＧ２０００に用いられている９×７フィルタの特性図である。ＬＰＦ、ＨＰＦ共にブロードであることが分る。しかし、ブロードである為に、帯域分割のフィルタリングのあとでダウンサンプリングをした時点で、エリアシングが発生する。ただし、量子化をせずに合成すれば、ＬＰＦとＨＰＦのそれぞれの通過域に含まれるエリアシングは、理論的にはキャンセルされるはずである。しかしながら、階層途中のＬＰＦの信号を取出して画像信号として出力してしまうと、ＨＰＦ成分が合成されないのでエリアシングをキャンセルすることができない。
【００２０】
この問題は、周波数分割された信号に対する復号時、完全再構成の条件が満足されなくなり、ＨＰＦとＬＰＦで生じるエリアシングを、互いにキャンセルできなくなることにある。
【００２１】
ＬＰＦ側のエリアシングの影響は、レベル差の大きなエッジ近辺にリンギングとなって現れる。これは、エッジが高周波数帯域の信号を含むが、ＨＰＦ信号成分が無い為、ＬＰＦ側のエリアシングをキャンセルできなくなるものであり、高周波成分が低周波数成分にまでエイリアスとして影響を与え、それが画像上のなだらかに変化する領域においてノイズを発生させる。すなわち、低周波数成分の画質劣化となる。
【００２２】
階層途中の信号を取出す手法は、このＬＰＦ信号成分のみを抽出し、出力することになり、当然エイリアスを含んでおり、良好な画像は得られない。
【００２３】
一方、入力画像と出力画像の画像サイズが異なる場合に、符号化装置に入力する画像を予め解像度変換する方法がある。この場合、既存の解像度変換手段を用いればよいが、出力する解像度に会わせてその度にフィルタなどの設定を変更する必要があり、２次元フィルタの場合はそのメモリやハード量も大きなものとなってしまう。更に、出力対象が複数の解像度を同時に要求する場合においては、装置を複数台用意しそれぞれを出力対象に合わせて動作させる必要があった。
【００２４】
【非特許文献１】
マーチン・ヴエターリ著、「ウェーブレット変換とサブバンド符号化」、電子情報通信学会誌、Ｖｏ１．７４ Ｎｏ．１２、 １９９１年１２月、Ｐ１２７５−１２７８
【００２５】
【発明が解決しようとする課題】
本発明は上記問題点に鑑みてなされたものであり、階層符号化の途中階層に於ける画像に含まれるエイリアスの、画質に対する悪影響が無い良好な再生を行うことを目的とする。
【００２６】
【課題を解決するための手段】
上記目的を達成するために、予め階層的に符号化された符号化画像データを復号する本発明の復号方法は、出力する画像サイズを判断する判断工程と、前記判断された画像サイズを得るのに最低限必要な階層よりも、画素数が多くなる１階層以上高い階層の符号化画像データを復号する復号工程とを有する。
【００２７】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００２８】
本発明の実施の形態では、階層符号化処理を用いた画像再生装置及び画像記録装置として実施され、特に途中階層の画像を出力する装置に有効である。なお、本実施の形態では、階層符号化として、ＪＰＥＧ２０００に準じた離散ウェーブレット変換方式を用いた場合を例にとって説明する。
【００２９】
＜第１の実施形態＞
まず第１の実施形態の概要について図１のフローチャートを用いて説明する。
【００３０】
まず、ステップＳ１０１で出力画像サイズを検出し、ステップＳ１０２で入力画像サイズを検出し、ステップＳ１０３へ進む。
【００３１】
ステップＳ１０３では、ステップＳ１０１とステップＳ１０２で得られた出力画像サイズと入力画像サイズから必要とする最小限復号階層を判断し、ステップＳ１０４へ進む。ステップＳ１０４では、ステップＳ１０３で判断した復号階層をさらに１階層多く（より大きく画像を復号する方向）設定し、ステップＳ１０５へ進む。ステップＳ１０５ではステップＳ１０４により再設定された階層まで復号化処理を行い、ステップＳ１０６へ進む。ステップＳ１０６では、ステップＳ１０４により、必要とする出力画像サイズより大きい画像を復号したので、その分解像度を低くする解像度変換処理を行う。このダウンサンプリングの時にエイリアスが発生しないようにプレフィルタ処理を行う。次にステップＳ１０７では、ステップＳ１０６により得られた良好な画像を出力する対象に適したγ補正や色補正、フォーマット変換、オフセット処理等を施し、要求される良好な画像を出力する。
【００３２】
次に、図２を用いて、上記処理例を具体的に説明する。
【００３３】
図２は階層符号化された画像の階層状態を模した図である。ここでは、画像全体の画素数が水平６４０画素、垂直４８０画素の画像データから、水平１６０画素、垂直１２０画素の画像を出力する場合について説明する。出力する画像サイズは図２ではＬＬ２に相当するので、まず、ＬＬ２の復号階層を求める。しかしながらＬＬ２のみの復号画像はエイリアスを含む歪んだ画像であるので、エイリアスＬＬ２成分のエイリアス成分をキャンセルするために、更に一階層多く復号するように復号階層を設定する。ここではＬＬ２、ＨＬ２、ＬＨ２、ＨＨ２の水平３２０画素、垂直２４０画素を復号する。このようにすることで、ＬＬ２帯域のエイリアスはキャンセルされる。そして、復号された水平３２０画素、垂直２４０画素の画像から必要とする水平１６０画素、垂直１２０画素を既知であるサブサンプルフィルタを用いて得ることで、良好な画像を得ることが可能となる。
【００３４】
図３は画像の入出力サイズ比と復号する階層の関係を示す図である。出力画像サイズをＳｏｕｔ、入力画像サイズをＳｉｎとして、Ｓｏｕｔ／Ｓｉｎを上の軸に示している。また、その時の本発明で復号する階層を下の軸にイメージとして示している。例えば入出力比が１／８（１／２３）を超え、１／４（１／２２）以下の画像を出力する場合は、復号の結果、画像サイズが入力画像サイズの１／２となる階層まで復号することになる。
【００３５】
図４は本第１の実施形態の復号装置の機能構成を示すブロック図である。図中、１１０７はエントロピー復号化器、１１０８は逆量子化器である。逆離散ウェーブレット変換器４０１は、従来例で説明した図１９の逆離散ウェーブレット変換器１１０９と基本的に同じであるが、後述の制御信号により、復号処理を途中で停止したり、また動作を部分的に停止させることが可能な点が異なる。４０２は解像度変換の為のサブサンプリングフィルタ、４０３は階層処理を制御する制御部、４０４は出力画像処理部である。
【００３６】
制御部４０３は、入力画像サイズと出力画像サイズから復号すべき階層を判断し、逆離散ウェーブレット変換器４０１とサブサンプリングフィルタ４０２を制御する。逆離散ウェーブレット変換器４０１に対しては、必要とする復号階層以上の復号は不要であるので、途中で処理を停止させたり、また不要である処理部を動作させない等の制御を行う。このように制御することにより、処理時間や処理能力や消費電力の改善を図ることができる。
【００３７】
サブサンプリングフィルタ４０２に対しては、逆離散ウェーブレット変換器４０１からの画像データに対し、画像サイズを１／２以下にする為の解像度変換処理を行う。この処理は、ダウンサンプリングによるエイリアスを除去するためにプレフィルタ処理を含む処理である。ただし、入力画像サイズすべてを出力する場合は、このサブサンプリングフィルタ４０２による処理は行われない。出力画像処理部４０４は、図１９の画像出力部１１１０と同様に画像を出力するための種々の処理、変換を行い、出力する。
【００３８】
図５に逆離散ウェーブレット変換器４０１の内部構成を示す。図２２に示す従来の構成と異なる点は、制御部４０３の制御により復号処理を途中で停止させたり、また動作を部分的に停止させるか、または起動させない等ができることである。さらに、ＬＬ２に相当する最低解像度のデータはサブサンプリングフィルタ４０２に出力されない。これは、ＬＬ２のデータがエイリアスを含む為に、その一階層上位まで復号する必要があるからである。ただし、サムネール等の画質にこだわらない簡易画像として出力する場合はこの限りではない。
【００３９】
このように、必要とする階層より一階層上位まで復号する事で、エイリアスを含まない良好な画像を得ることが可能となる。
【００４０】
次に、本第１の実施形態における復号処理の具体例を説明する。ここでは、復号する階層を入出力の画像サイズ比で表現し、求める場合について図６を参照して説明する。
【００４１】
図６において、ステップＳ１１では出力画像サイズ（Ｓｏｕｔ）を検出し、ステップＳ１２では入力画像サイズ（Ｓｉｎ）を検出する。
【００４２】
次にステップＳ１３では、ステップＳ１１とステップＳ１２で得られた出力画像サイズ（Ｓｏｕｔ）と入力画像サイズ（Ｓｉｎ）とから、必要とする最小限復号階層（ｎ）を次式（１）により求める。この処理は図１のステップＳ１０３に対応する。
１／２ｎ≧Ｓｏｕｔ／Ｓｉｎ＞１／２（ｎ＋１） …（１）
【００４３】
次にステップＳ１４で、ステップＳ１３で求めたｎを基に次式（２）から復号する階層を求め復号するか、その入出力比まで復号する。この処理は図１のステップＳ１０４及びＳ１０５に対応する。
１／２（ｎ−１）、ただし、ｎは１以上の整数 …（２）
【００４４】
次にステップＳ１５では、ステップＳ１４で必要とする出力画像サイズよりも大きいサイズの画像を復号したので、その分解像度を低くする解像度変換処理を行う。この時にエイリアスが発生しないようにプレフィルタ処理を行う。次のステップＳ１６ではステップＳ１５で得られた画像に対して出力先に適したγ補正や色補正やフォーマット変換やオフセット処理等を施し、要求される良好な画像を出力する。
【００４５】
以上の動作により、途中階層画像でも良好な画像を出力することが可能となる。
【００４６】
なお、本第１の実施形態では、必要とする階層のさらに一階層多く復号すると説明したが、更に高画質を望むので有れば、１階層以上多く復号すれば実現可能である。これは、演算量やハード量等と画質との兼合いとなる。
【００４７】
即ち、本第１の実施形態によれば、予め階層的に符号化された符号化画像データを復号する復号方法であって、出力する画像サイズを判断し、判断された画像サイズを得るのに最低限必要な階層よりも、画素数が多くなる１階層以上高い階層の符号化画像データを復号する処理を行う。
【００４８】
より具体的には、復号にあたって、判断された画像サイズを得るのに最低限必要な階層を判断し、判断された最低限必要な階層よりも１階層以上高い階層の符号化画像データを復号する処理を行う。
【００４９】
更に、判断された画像サイズとなるように、復号された画像のサイズを縮小する処理を更に行う。
【００５０】
また、最低限必要な階層が、符号化画像データの最高階層以上かどうかを判断し、最高階層以上である場合には、符号化画像データの全ての階層を復号する。
【００５１】
＜第２の実施形態＞
本第２の実施形態では、復号する階層を入出力の画像サイズ比で表現し、求める別の方法について図７を参照して説明する。なお、装置構成や階層符号化の概念は上記第１の実施形態と同様であるので、ここでは説明を省略する。また、図７において、図６と同じ処理には同じ参照番号を付す。
【００５２】
図７において、ステップＳ１１では出力画像サイズ（Ｓｏｕｔ）を検出し、ステップＳ１２では入力画像サイズ（Ｓｉｎ）を検出する。
【００５３】
次にステップＳ２３では、ステップＳ１１とステップＳ１２で得られた出力画像サイズ（Ｓｏｕｔ）と入力画像サイズ（Ｓｉｎ）とから、入出力画像サイズ比（Ｘ）を次式（３）から求める。
Ｘ＝Ｓｉｎ／Ｓｏｕｔ …（３）
【００５４】
次にステップＳ２４において、ステップＳ２３で求めた入出力画像サイズ比（Ｘ）を基にして、次式（４）から必要とする最大省略可能な復号階層数（ｎ）を求める。
ｎ＝ＩＮＴ（ｌｏｇ２Ｘ） …（４）
【００５５】
なお、式（４）において、ＩＮＴ（ｆ（Ｘ））は、ｆ（Ｘ）の計算により得られた数値から、小数点以下を切り捨てる演算を示す。
次にステップＳ２５において、ステップＳ２４により、復号が省略可能な階層数を求めたので、入力画像の総階層数から復号する階層数とさらに１階層増やした実際に復号する階層数を次式（５）から求めその条件を満足するように復号する。
復号階層数＝総階層数−ｎ＋１ …（５）
【００５６】
次にステップＳ１５では、ステップＳ２５で必要とする出力画像サイズよりも大きいサイズの画像を復号したので、その分解像度を低くする解像度変換処理を行う。この時にエイリアスが発生しないようにプレフィルタ処理を行う。次のステップＳ１６ではステップＳ１５で得られた画像に対して出力先に適したγ補正や色補正やフォーマット変換やオフセット処理等を施し、要求される良好な画像を出力する。
【００５７】
以上の動作により、途中階層画像でも良好な画像を出力することが可能となる。
【００５８】
即ち、本第２の実施形態によれば、復号にあたって、復号した場合に、前記判断された画像サイズを超える画素数となる階層を判断し、判断された階層の内の低い階層よりも１階層以上高い階層まで、符号化画像データを復号する処理を行う。
【００５９】
＜第３の実施形態＞
本第３の実施形態では、順次階層復号し、復号画像サイズを確認しながら実現する手法について図８を参照して説明する。なお、装置構成や階層符号化の概念は上記第１の実施形態と同様であるので、ここでは説明を省略する。また、図８において、図６と同じ処理には同じ参照番号を付す。
【００６０】
図８において、ステップＳ１１で出力画像サイズ（Ｓｏｕｔ）を検出し、ステップＳ３２へ進む。ステップＳ３２では低解像度画像から順に、一階層分の復号処理を行う。
【００６１】
次にステップＳ３３では、ステップＳ３２で復号された画像サイズが、出力画像サイズ（Ｓｏｕｔ）以上であるか判断する。出力画像サイズ（Ｓｏｕｔ）以上であればステップＳ３４へ進み、達していなければステップＳ３２に戻って、更に一階層分復号する。このように、ステップＳ３２とＳ３３の動作により、出力画像サイズ以上復号されることになる。
【００６２】
ステップＳ３４では、ステップＳ３２とステップＳ３３により出力画像サイズ以上復号された画像に加え、さらに一階層分の復号処理を行う。ただしこの時点で入力画像サイズに達している場合は、ステップＳ３４の処理は行われない。
【００６３】
次にステップＳ１５では、ステップＳ３４で必要とする出力画像サイズよりも大きいサイズの画像を復号したので、その分解像度を低くする解像度変換処理を行う。この時にエイリアスが発生しないようにプレフィルタ処理を行う。次のステップＳ１６ではステップＳ１５で得られた画像に対して出力先に適したγ補正や色補正やフォーマット変換やオフセット処理等を施し、要求される良好な画像を出力する。
【００６４】
以上の動作により、途中階層画像でも良好な画像を出力する事が可能となる。
【００６５】
即ち、本第３の実施形態によれば、復号にあたって、復号していない最も低い階層を復号し、復号して得られた画像のサイズと、前記判断された画像サイズとを比較し、前記復号して得られた画像のサイズが前記判断された画像サイズよりも小さい場合に、次に低い階層を復号する処理を繰り返し、大きい場合に次に低い階層を更に復号する。
【００６６】
＜第４の実施形態＞
本第４の実施形態では、エイリアス成分の無い復号すべき階層をＬＵＴ（Ｌｏｏｋ
Ｕｐ Ｔａｂｌｅ）から求める手法について説明する。
【００６７】
図９は本第４の実施形態の復号化装置の機能構成を示すブロック図である。上記第１の実施形態で図４を参照して説明した構成とは、ＬＵＴ１００２が追加され、制御部１００１から参照可能であることが異なる。その他の構成は上記第１の実施形態と同様であるので、ここでは説明を省略する。
【００６８】
制御部１００１は、第１の実施形態で図４を参照して説明した制御部４０３と基本的に同じであるが、ＬＵＴ１００２を参照する事により、復号処理を途中で停止したり、また動作を部分的に停止させることを制御する点が異なる。ＬＵＴ１００２は、入出力画像サイズ情報等に基づいて符号化すべき階層情報を制御部１００１に送る。
【００６９】
なお、ＬＵＴ１００２はその機能や目的が同じであれば、その種類や構成は問わない。ＳＲＡＭの様な揮発性メモリであれば、起動時にその内容をロードすれば良い。
【００７０】
また、ＬＵＴ１００２の内容は、ウェーブレットフィルタの特性やエイリアスの影響度にを判断して変更すれば良く、適応的に変更しても良い。
【００７１】
制御部１００１は、入力画像サイズと出力画像サイズからエイリアス成分を含まない復号すべき階層をＬＵＴ１００２を参照することで判断し、逆離散ウェーブレット変換器４０１とサブサンプリングフィルタ４０２とを制御する。
【００７２】
次に、本第４の実施形態における処理について、図１０を参照して説明するが、図６と同じ処理には同じ参照番号を付す。
【００７３】
図１０において、ステップＳ１１では出力画像サイズ（Ｓｏｕｔ）を検出し、ステップＳ１２では入力画像サイズ（Ｓｉｎ）を検出する。
【００７４】
次にステップＳ４３では、ステップＳ１１とステップＳ１２で得られた情報からＬＵＴ１００２を参照して復号化を行う階層を求める。ＬＵＴ１００２は、指定された出力画像サイズの画像を得るために必要な最小の階層よりも画素数が多くなる１階層高い階層を返すように（図３に示すような出力を返すように）予め設定されている。
【００７５】
次にステップＳ４４において、ステップＳ４３で求めた階層まで復号を行う。
【００７６】
次にステップＳ１５では、ステップＳ４４で必要とする出力画像サイズよりも大きいサイズの画像を復号したので、その分解像度を低くする解像度変換処理を行う。この時にエイリアスが発生しないようにプレフィルタ処理を行う。次のステップＳ１６ではステップＳ１５で得られた画像に対して出力先に適したγ補正や色補正やフォーマット変換やオフセット処理等を施し、要求される良好な画像を出力する。
【００７７】
以上の動作により、途中階層画像でも良好な画像を出力する事が可能となる。
【００７８】
本第４の実施形態では、ＬＵＴによりエイリアスの影響を判断し、復号すべき階層情報を得たが、復号しない階層を求めても同様に実現可能である。また、等価な数値演算により代用しても良い。
【００７９】
即ち、本第４の実施形態によれば、復号にあたって、ルックアップテーブルを用いて、符号化画像データを全て復号した場合の画像サイズと、判断された画像サイズとから、判断された画像サイズを得るのに最低限必要な階層よりも、画素数が多くなる１階層以上高い階層を取得し、当該階層まで符号化画像データを復号する処理を行う。
【００８０】
＜第５の実施形態＞
本第５の実施形態は、階層符号化の途中階層に於ける画像のエイリアスの画質への悪影響の無い良好な符号化を行うことを目的とする。
【００８１】
まず第６の実施形態の概要について図１１のフローチャートを用いて説明する。
【００８２】
ステップＳ２０１は伝送画像サイズを検出する。このサイズは、画像の伝送先や記録するメディアや動作モードにより、適宜替えることが可能である。次にステップＳ２０２へ進む。ステップＳ２０２では入力画像サイズを検出する。
【００８３】
次にステップＳ２０３へ進む。ステップＳ２０３では、ステップＳ２０１とステップＳ２０２で得られた伝送画像サイズと入力画像サイズから必要とする伝送符号階層を判断し、ステップＳ２０４へ進む。ステップＳ２０４では、ステップＳ２０３で判断した符号階層をさらに１階層多く（より大きい画像を符号化する方向）設定し、ステップＳ２０５へ進む。ステップＳ２０５ではステップＳ２０４により再設定された階層まで符号化処理を行い、ステップＳ２０６へ進む。ステップＳ２０６では、伝送またはメディアへの記録を行う。
【００８４】
次に、図２を用いて、上記処理例を具体的に説明する。
【００８５】
図２は階層符号化された画像の階層状態を模した図である。ここでは、入力画像全体の画素数が水平６４０画素、垂直４８０画素の画像データから、水平１６０画素、垂直１２０画素の画像を符号化し、出力する場合について説明する。符号化出力する画像サイズは図２ではＬＬ２に相当するので、まず、ＬＬ２の符号化階層を求める。しかしながらＬＬ２のみの符号化画像はエイリアスを含む歪んだ画像であるので、エイリアスＬＬ２成分のエイリアス成分をキャンセルするために、更に一階層多く符号化するように符号階層を設定する。ここではＬＬ２、ＨＬ２、ＬＨ２、ＨＨ２の水平３２０画素、垂直２４０画素を符号化する。このようにすることで、複合器で復号する際にはＬＬ２帯域のエイリアスはキャンセルされる。複合器では、復号された水平３２０画素、垂直２４０画素の画像から必要とする水平１６０画素、垂直１２０画素を既知であるサブサンプルフィルタ等の解像度変換処理を行うことにより、良好な画像を得ることが可能となる。
【００８６】
画像の入出力比と符号化する階層の関係は、図３に示すものと同じである。伝送画像サイズをＳｏｕｔ、入力画像サイズをＳｉｎとして、Ｓｏｕｔ／Ｓｉｎを上の軸に示されているとすると、本発明における符号階層は下の軸に示される。例えば入出力比が１／８（１／２３）を超え、１／４（１／２２）以下の画像を伝送出力する場合は、伝送画像サイズが入力画像サイズの１／２となる階層まで符号化することになる。
【００８７】
図１２は本第４の実施形態の符号化装置の機能構成を示すブロック図である。図中、１１０１は画像入力処理部、２４０２は離散ウェーブレット変換器、２４０３は量子化部、２４０４はエントロピー符号化部、２４０５は伝送記録処理部、２４０１は制御部である。
【００８８】
制御部２４０１は、入力画像サイズと伝送画像サイズから符号化すべき階層を判断し、離散ウェーブレット変換器２４０２と量子化器２４０３、エントロピー符号化部２４０４、伝送記録処理部２４０５を制御する。制御部２４０１は図中伝送記録処理部２４０５から情報を得ているがこれに限るものではなく、システムのモード情報などから得ても良い。離散ウェーブレット変換器２４０２とエントロピー符号化器２４０４に対しては、必要とする符号階層以上の符号化は不要であるので、途中で処理を停止させたり、また不要である処理部を動作させない等の制御を行う。このように制御することにより、処理時間や処理能力や消費電力の改善が図れる。
【００８９】
量子化器２４０３に対しては、不要となる階層の量子化処理を省略したり、全て０を出力したりすることで不要な階層のデータを遮断することも可能である。伝送記録処理部２４０５では、伝送する階層のデータをフォーマット化し、出力する。不要となる階層データは打ち切り処理などにより削除される。不要となるデータの削除方法としては複数を上述したが、少なくとも１つを実施すればよい。
【００９０】
図１３に離散ウェーブレット変換器２４０２の内部構成を示す。画像データは帯域分割の為の分析用ＬＰＦ（分析ＬＰＦ）２５０３と、同じく帯域分割の為の分析用ＨＰＦ（分析ＨＰＦ）２５２０１とに入力され、それぞれ低周波数帯域信号と高周波数帯域信号に分離される。それぞれの信号は帯域が半分になっているので、ダウンサンプラ２５０２、２５２０４により間引処理がなされる。高域成分はそのまま量子化器２４０３へと出力される。低域成分は更に分析ＨＰＦ２５０５、分析ＬＰＦ２５０７、ダウンサンプラ２５０６、２５０８により回帰的に処理される。ここでは便宜上２レベルの処理による３階層出力を示している。その概念図を図２３に示す。水平垂直２次元での処理により、図２３に示すように分析ＨＰＦ２５０１とダウンサンプラ２５０２でＨＬ１、ＬＨ１、ＨＨ１に対応するデータが、分析ＬＰＦ２５０３とダウンサンプラ２５０４によりＬＬ１が得られるが、ＬＬ１は回帰的に処理されるので分析ＨＰＦ２５０５とダウンサンプラ２５０６により図２３中ＨＬ２、ＬＨ２、ＨＨ２に対応するデータが、分析ＬＰＦ２５０７とダウンサンプラ２５０８により図２３中ＬＬ２に対応するデータがそれぞれ得られる。
【００９１】
伝送記録処理部２４０５により、画像の全ての階層データが必要でない場合は、その情報を制御部２４０１に出力する。制御部２４０１は階層符号化のそれぞれのバンドのデータから不要な階層のデータを符号化しないように制御する。
【００９２】
図２１に示す従来の構成と異なる点は、制御部２４０１の制御により、符号化処理を途中で停止させたり、また動作を部分的に停止させるか、または起動させない等を判断する判断アルゴリズムである。本第５の実施形態では、階層処理を少なくとも１つ多くして伝送するため、一番低い低周波成分だけの符号化は無く、最低でも低い方から２階層分の符号化が必要となる。従って、図１３のスイッチ２５０１はそれを含まない階層データを制御することになる。ただし、サムネール等の画質にこだわらない簡易画像として出力する場合はこの限りではない。
【００９３】
それぞれの帯域のデータはそれぞれに対応した量子化器２４０３ａ〜２４０３ｃにより量子化され、それぞれの帯域でエントロピー符号化器２４０４で符号化されて、伝送記録処理部２４０５により出力される。
【００９４】
この様に、必要とする階層より一階層上位まで符号化する事で、エイリアスを含まない良好な画像を伝送、取得することが可能となる。
【００９５】
次に、本第５の実施形態において符号化処理の具体例を説明する。ここでは、復号する階層を入出力の画像サイズ比で表現し、求める場合について図１４を参照して説明する。
【００９６】
図１４において、ステップＳ５１では伝送画像サイズ（Ｓｏｕｔ）を検出し、ステップＳ５２では入力画像サイズ（Ｓｉｎ）を検出する。
【００９７】
次にステップＳ５３では、ステップＳ５１とステップＳ５２で得られた伝送画像サイズ（Ｓｏｕｔ）と入力画像サイズ（Ｓｉｎ）とから、必要とする最小限符号階層（ｎ）を次式（６）により求める。この処理は図１１のステップＳ２０３に対応する。
１／２ｎ≧Ｓｏｕｔ／Ｓｉｎ＞１／２（ｎ＋１） …（６）
【００９８】
次にステップＳ５４で、ステップＳ５３で求めたｎを基に次式（７）から符号化する階層を求め符号化する。この処理は図１１のステップＳ２０４及びＳ２０５に対応する。
１／２（ｎ−１） ただし、ｎは１以上の整数 …（７）
【００９９】
次にステップＳ５５では、ステップＳ５４で得られた符号化した画像信号を伝送したり、メディアへ記録する。
【０１００】
以上の動作により、途中階層画像でも良好な画像を出力することが可能となる。
【０１０１】
なお、本第５の実施形態では、必要とする階層のさらに一階層多く符号化すると説明したが、更に高画質を望むので有れば、１階層以上多く符号化すれば実現可能である。これは、演算量やハード量等と画質との兼合いとなる。
【０１０２】
即ち、本第５の実施形態によれば、画像を階層的に符号化する符号化方法であって、出力する画像サイズを判断し、判断された画像サイズを得るのに最低限必要な階層よりも、画素数が多くなる１階層以上高い階層まで画像を符号化する処理を行う。
【０１０３】
より具体的には、符号化にあたって、判断された画像サイズを得るのに最低限必要な階層を判断し、判断された最低限必要な階層よりも１階層以上高い階層まで画像を符号化する処理を行う。
【０１０４】
更に、前記最低限必要な階層が、前記画像を符号化可能な最高の階層以上かどうかを判断し、最高の階層以上である場合には、画像を最高の階層まで符号化する。
【０１０５】
＜第６の実施形態＞
本第６の実施形態では、符号化する階層を入出力の画像サイズ比で表現し、求める別の方法について図１５を参照して説明する。なお、装置構成や階層符号化の概念は上記第５の実施形態と同様であるので、ここでは説明を省略する。また、図１５において、図１４と同じ処理には同じ参照番号を付す。
【０１０６】
図１４において、ステップＳ５１では伝送画像サイズ（Ｓｏｕｔ）を検出し、ステップＳ５２では入力画像サイズ（Ｓｉｎ）を検出する。
【０１０７】
次にステップＳ６３では、ステップＳ５１とステップＳ５２で得られた伝送画像サイズ（Ｓｏｕｔ）と入力画像サイズ（Ｓｉｎ）とから、入出力画像サイズ比（Ｘ）を次式（８）から求める。
Ｘ＝Ｓｉｎ／Ｓｏｕｔ …（８）
【０１０８】
次にステップＳ６４において、ステップＳ６３で求めた入出力画像サイズ比（Ｘ）を基にして、次式（９）から必要とする最大省略可能な符号階層数（ｎ）を求める。
ｎ＝ＩＮＴ（ｌｏｇ２Ｘ） …（９）
【０１０９】
なお、式（４）において、ＩＮＴ（ｆ（Ｘ））は、ｆ（Ｘ）の計算により得られた数値から、小数点以下を切り捨てる演算を示す。
次にステップＳ６５において、ステップＳ６４により、符号化が省略可能な階層数を求めたので、入力画像の総階層数から符号化する階層数とさらに１階層増やした実際に符号化する階層数を次式（１０）から求めその条件を満足するように符号化する。
符号化階層数＝総階層数−ｎ＋１ …（１０）
【０１１０】
次にステップＳ５５では、ステップＳ６５で得られた符号化した画像信号を伝送したり、メディアへ記録する。
【０１１１】
以上の動作により、途中階層画像でも良好な画像を出力する事が可能となる。
【０１１２】
即ち、本第６の実施形態によれば、符号化にあたって、符号化した場合に、前記判断された画像サイズを超える画素数となる階層を判断し、判断された階層の内の低い階層よりも１階層以上高い階層まで、画像を符号化する処理を行う。
【０１１３】
＜第７の実施形態＞
本第７の実施形態では、順次階層符号化し、符号化画像サイズを確認しながら実現する手法について図１６を参照して説明する。なお、装置構成や階層符号化の概念は上記第５の実施形態と同様であるので、ここでは説明を省略する。また、図１６において、図１４と同じ処理には同じ参照番号を付す。
【０１１４】
図１６において、ステップＳ５１で伝送画像サイズ（Ｓｏｕｔ）を検出し、ステップＳ７２へ進む。ステップＳ７２では低解像度画像から一階層分の符号化処理を行う。
【０１１５】
次にステップＳ７３では、ステップＳ７２で符号化された画像サイズが、伝送画像サイズ（Ｓｏｕｔ）以上であるか判断する。伝送画像サイズ（Ｓｏｕｔ）以上であればステップＳ７４へ進み、達していなければステップＳ７２に戻り更に一階層分符号化する。このように、ステップＳ７２とＳ７３の動作により、伝送画像サイズ以上符号化されることになる。
【０１１６】
ステップＳ７４では、ステップＳ７２とステップＳ７３により、出力画像サイズ以上符号化された画像に加え、さらに一階層分の符号化処理を行う。ただしこの時点で入力画像サイズに達している場合、ステップＳ７４の処理は行われない。
【０１１７】
次にステップＳ５５では、ステップＳ５４で得られた符号化した画像信号を伝送したり、メディアへ記録する。
【０１１８】
以上の動作により、途中階層画像でも良好な画像を出力する事が可能となる。
【０１１９】
即ち、本第４の実施形態によれば、符号化にあたって、符号化していない最も低い階層で画像を符号化し、符号化した階層までの画像のサイズと、前記判断された画像サイズとを比較し、前記符号化した階層までの画像のサイズが前記判断された画像サイズよりも小さい場合に、次に低い階層で画像を符号化する処理を繰り返し、大きい場合に次に低い階層で画像を更に符号化する。
【０１２０】
＜第８の実施形態＞
本第８の実施形態では、エイリアス成分の無い符号化すべき階層をＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）から求める手法について説明する。
【０１２１】
図１７は本第８の実施形態の復号化装置の機能構成を示すブロック図である。上記第５の実施形態で図１２を参照して説明した構成とは、ＬＵＴ２６０２が追加され、制御部２４０１から参照可能であることが異なる。その他の構成は上記第５の実施形態と同様であるので、ここでは説明を省略する。
【０１２２】
なお、ＬＵＴ２６０２はその機能や目的が同じであれば、その種類や構成は問わない。ＳＲＡＭの様な揮発性メモリであれば、起動時にその内容をロードすれば良い。
【０１２３】
また、ＬＵＴ２６０２の内容は、ウェーブレットフィルタの特性やエイリアスの影響度にを判断して変更すれば良く、適応的に変更しても良い。
【０１２４】
制御部２４０１は、入力画像サイズと伝送画像サイズからエイリアス成分を含まない符号化すべき階層をＬＵＴ２５０２を参照することで判断し、離散ウェーブレット変換器２４０２と量子化器２４０３、エントロピー符号化器２４０４、伝送記録処理部２４０５とを制御する。
【０１２５】
次に、本第８の実施形態における処理について、図１８を参照して説明するが、図１４と同じ処理には同じ参照番号を付す。
【０１２６】
図１８において、ステップＳ５１では伝送画像サイズ（Ｓｏｕｔ）を検出し、ステップＳ５２では入力画像サイズ（Ｓｉｎ）を検出する。
【０１２７】
次にステップＳ８３では、ステップＳ５１とステップＳ５２で得られた情報からＬＵＴ２６０２により符号化を行う階層を求める。ＬＵＴ２６０２は、指定された伝送画像サイズの画像を得るために必要な最小の階層よりも画素数の多い１階層高い階層を返すように（図３に示すような出力を返すように）予め設定されている。
【０１２８】
次にステップＳ８４において、ステップＳ８３で求めた階層まで符号化を行う。
【０１２９】
次にステップＳ５５では、ステップＳ８４で得られた符号化した画像信号を伝送したり、メディアへ記録する。
【０１３０】
以上の動作により、途中階層画像でも良好な画像を出力する事が可能となる。
【０１３１】
本第８の実施形態では、ＬＵＴによりエイリアスの影響を判断し、符号化すべき階層情報を得たが、符号化しない階層を求めても同様に実現可能である。また、等価な数値演算により代用しても良い。
【０１３２】
即ち、本第８の実施形態によれば、符号化にあたって、ルックアップテーブルを用いて、画像の画像サイズと、判断された画像サイズとから、判断された画像サイズを得るのに最低限必要な階層よりも、画素数が多くなる１階層以上高い階層を取得し、当該階層まで画像を符号化する処理を行う。
【０１３３】
なお、上記第１乃至第８の実施形態では２次元ウェーブレット変換として説明したが、本発明はこれに限るものでは無く、１次元ウェーブレット変換でも同様にして行うことができる。また、画像サイズについても、水平画素数、垂直画素数のどちらか、または両方を適宜用いても、判断しても良い。
【０１３４】
また、上記第１乃至第８の実施形態では、フローチャートを用いてソフトウエアによる処理として動作を説明したが、ハードウェアで実施してもよい。
【０１３５】
さらに、数値は近似値を用いても同様な効果が得られる。
【０１３６】
また、画像信号が、輝度成分、色成分などの複数のコンポーネントを有する場合はすべてに適用しても良いし、効果のある輝度成分にのみ適応してもよい。
【０１３７】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、スキャナ、カメラヘッドなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、ファクシミリ装置、デジタルスチルカメラ、デジタルビデオカメラなど）に適用してもよい。
【０１３８】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。
【０１３９】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１４０】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図１、図６〜図８、図１０および／または図１１、図１４〜図１６、図１８のいずれかに示すフローチャートに対応するプログラムコードが格納されることになる。
【０１４１】
即ち、本発明は、上記第１乃至第８の実施形態に記載の方法を実現するためのプログラムコードを有することを特徴とする情報処理装置が実行可能なプログラムを含む。
【０１４２】
更に、本発明は、上記記載のプログラムを記憶したことを特徴とする情報処理装置が読み取り可能な記憶媒体を含む。
【０１４３】
【発明の効果】
以上説明したように本発明によれば、途中階層の画像であっても良好な画質の画像を再生することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における画像再生の処理概念を示すフローチャートである。
【図２】階層符号化された画像の階層状態を概念的に示す図である。
【図３】本発明の実施の形態における入出力画像サイズ比と階層との関係を示す図である。
【図４】本発明の第１の実施形態における復号装置の機能構成を示すブロック図である。
【図５】本発明の第１の実施形態における逆離散ウェーブレット変換器の内部構成を示すブロック図である。
【図６】本発明の第１の実施形態における復号処理の具体例を説明するフローチャートである。
【図７】本発明の第２の実施形態における復号処理の具体例を説明するフローチャートである。
【図８】本発明の第３の実施形態における復号処理の具体例を説明するフローチャートである。
【図９】本発明の第４の実施形態における逆離散ウェーブレット変換器の内部構成を示すブロック図である。
【図１０】本発明の第４の実施形態における復号処理の具体例を説明するフローチャートである。
【図１１】本発明の第５の実施形態における画像再生の処理概念を示すフローチャートである。
【図１２】本発明の第５の実施形態における符号化装置の機能構成を示すブロック図である。
【図１３】本発明の第５の実施形態における離散ウェーブレット変換器の内部構成を示すブロック図である。
【図１４】本発明の第５の実施形態における符号化処理の具体例を説明するフローチャートである。
【図１５】本発明の第６の実施形態における符号化処理の具体例を説明するフローチャートである。
【図１６】本発明の第７の実施形態における符号化処理の具体例を説明するフローチャートである。
【図１７】本発明の第８の実施形態における離散ウェーブレット変換器の内部構成を示すブロック図である。
【図１８】本発明の第８の実施形態における符号化処理の具体例を説明するフローチャートである。
【図１９】従来の符号・復号装置の構成を示すブロック図である。
【図２０】従来の符号化部の詳細を説明するブロック図である。
【図２１】従来の別の符号化部の詳細を説明するブロック図である。
【図２２】従来の復号化部の詳細を説明するブロック図である。
【図２３】階層符号化における画像の階層の概念を示す図である。
【図２４】従来の９×７フィルタの特性を示す図である。
【発明の属する技術分野】
本発明は、画像の解像度変換に関し、特に階層符号化方式を用いて行う解像度変換に関する。
【０００２】
【従来の技術】
近年、コンピュータ及びネットワークの著しい発達に伴い、文字データ、画像データ、音声データ等、多種の情報が、コンピュータ内、ネットワーク間で蓄積されたり、伝送されたりするようになってきている。これらのデータの中で画像、特に多値画像は非常に多くの情報を含んでいるために、そのデータ量は膨大であり、蓄積・伝送する際にメモリや通信回線などのリソースを消耗してしまう問題がある。このため、画像の蓄積・伝送に際しては、画像の持つ冗長性を除いたり、画質の劣化が視覚的に認識し難い程度に画像の内容を変更することによってデ−タ量を削減する、高能率符号化がしばしば用いられる。
【０００３】
高能率符号化の方式としては、静止画像の国際標準符号化方式としてＩＳＯとＩＴＵ−Ｔにより勧告されたＪＰＥＧが広く用いられている。ＪＰＥＧは離散コサイン変換を基本とした方式であるが、圧縮率を高めるとブロック状の歪みが生じるという問題点があった。
【０００４】
一方、画像を入力あるいは出力する機器においては画質向上に対する要求から高解像度化が進んでいるため、従来にも増して高い圧縮率が求められている。このため、異なる変換方式としてサブバンド符号化がある。このサブバンド符号化は、例えばウェーブレット変換を行うためのフィルタ（以下、「ウェーブレット変換」という。）によって、ディジタル信号の帯域分割を行い、ディジタル信号の圧縮を行うものである。すなわち、サブバンド符号化は、入力された信号に対して、異なる通過帯域を有する複数のフィルタでフィルタリング処理を施した後、各周波数帯域に応じた間隔でダウンサンプリングを施し、各フィルタの出力信号のエネルギーの偏りを利用して圧縮を行うものである（例えば、非特許文献１参照）。
【０００５】
このサブバンド符号化は階層符号化処理であり、復号処理時にすべての階層を復号処理すること無く、必要とする階層まで復号処理することができるので、効率の良い復号処理が容易に実現できる利点がある反面、エイリアスを含み画像が劣化してしまう。
【０００６】
一般に、ウェーブレット変換は、サブバンド符号化の下位概念とも改良とも言われているが、本発明の詳細な説明で単にウェーブレットと記述する場合は、ウェーブレット変換フィルタに限定されることなく、サブバンド符号化に適用されるフィルタを用いた技術を広く包含しているものとする。
【０００７】
図１９に、サブバンド符号化で用いられるフィルタ、例えばウェーブレット変換フィルタによる帯域分割、及び合成を行う装置の基本的な構成を示す。
【０００８】
図１９中、１１０１は画像データに対してプリ処理を行う画像入力処理部、１１０２は離散ウェーブレット変換部、１１０３は量子化器、１１０４はエントロピー符号化器、１１０５は伝送記録処理部、１１０６は受信再生処理部、１１０７はエントロピー復号化器、１１０８は逆量子化器、１１０９は逆離散ウェーブレット変換部、１１１０は画像出力部である。画像入力処理部１１０１から伝送記録処理部１１０５までが符号化装置となり、出力データを伝送や記録メディアを介して、受信再生処理部１１０６から画像出力部１１１０の復号装置により、画像が再生される。
【０００９】
まず、符号化処理について説明する。画像入力処理部１１０１で入力画像信号に対してγ処理や色変換等の処理がなされ、離散ウェーブレット変換器１１０２に入力される。離散ウェーブレット変換器１１０２では入力された画像信号に対して水平、垂直方向の離散ウェーブレット変換を行う。ウェーブレット変換処理は処理後の低域成分に対して再帰的にウェーブレット処理を行うことで多層の階層化処理するものである。離散ウェーブレット変換された画像データは量子化器１１０３に入力される。量子化器１１０３はウェーブレットデータを所定の特性で量子化することで、圧縮率や符号化レートを変える事ができる。量子化された画像データにはエントロピー符号化器１１０４により、データの冗長性を利用したデータの圧縮が行われる。伝送記録処理部１１０５では、符号化されたデータを伝送するための処理をしたり、またメディアに記録する場合はそのメディアに適応した変換処理を行う。以上の動作で画像は階層符号化され、出力データは伝送や記録メディアに記録される。
【００１０】
復号処理は符号時とは逆の順番で行われ、受信再生処理部１１０６で、伝送されたりメディアに記録された画像データを分離再生し、エントロピー復号器１１０７で復号され、逆量子化器１１０８で量子化前のデータに復号され、更に逆離散ウェーブレット変換器１１０９で元の画像データに復号される。その後、出力目的に合った画像データに画像出力部１１１０で変換され出力される。この時、階層符号化処理を利用して、逆ウェーブレット変換処理の途中階層までの画像から、必要とする小さな画像サイズの画像を得ることができる。ウェーブレット変換はオクターブ変換が一般的であるので、２のべき乗分の１で階層化された画像を得ることが容易に可能となる。
【００１１】
図２０及び図２１では符号化動作、図２２では復号化動作における離散ウェーブレット変換を中心に更に詳細に説明する。
【００１２】
図２０において、図１９と同じ構成には同じ参照番号を付す。画像データは帯域分割の為の分析用ＬＰＦ（分析ＬＰＦ）１２０３と、同じく帯域分割の為の分析用ＨＰＦ（分析ＨＰＦ）１２０１とに入力され、それぞれ低周波数帯域信号と高周波数帯域信号に分離される。それぞれの信号は帯域が半分になっているので、ダウンサンプラ１２０２、１２０４により間引処理がなされる。高域成分はそのまま量子化器１１０３へと出力される。低域成分は更に分析ＨＰＦ１２０５、分析ＬＰＦ１２０７、ダウンサンプラ１２０６、１２０８により回帰的に処理される。ここでは便宜上２レベルの処理による３階層出力を示している。その概念図を図２３に示す。水平・垂直２次元での処理により、図２３に示すように分析ＨＰＦ１２０１とダウンサンプラ１２０２でＨＬ１、ＬＨ１、ＨＨ１に対応するデータが、分析ＬＰＦ１２０３とダウンサンプラ１２０４によりＬＬ１が得られるが、ＬＬ１は回帰的に処理されるので分析ＨＰＦ１２０５とダウンサンプラ１２０６により図２３中ＨＬ２、ＬＨ２、ＨＨ２に対応するデータが、分析ＬＰＦ１２０７とダウンサンプラ１２０８により図２３中ＬＬ２に対応するデータがそれぞれ得られる。
【００１３】
それぞれの帯域のデータはそれぞれに対応した量子化器１１０３ａ〜１１０３ｃにより量子化され、それぞれの帯域でエントロピー符号化器１１０４で符号化されて、伝送記録処理部１１０５により出力される。
【００１４】
図２１は、離散ウェーブレット変換器１１０２の別の構成を示す例である。図２１において、図２０と同様の構成には同じ参照番号を付している。図２１に示す構成では、伝送記録処理部１１０５により、画像の全ての階層データが必要でない場合は、その情報を制御部１２０９に出力する。制御部１２０９は階層符号化のそれぞれのバンドのデータから不要な階層のデータを符号化しないように制御する。スイッチ１２１０は、高解像度の高域階層のデータが不要であれば、その高域階層に対応するスイッチをオープンにすることにより、エントロピー符号化器１１０４に符号化しない階層データが入力されないように動作する。この時、離散ウェーブレット変換器１１０２の一部やエントロピー符号化１１０４の不要な処理を同時に停止させることで、処理能力の低減や消費電力の低減が図ることができる。
【００１５】
図２２において、図１９と同じ構成には同じ参照番号を付す。図２３に示す例ではＨＬ１・ＬＨ１・ＨＨ１の階層データを量子化する量子化器１１０３ａに対応する逆量子化器１１０８ａ、ＨＬ２・ＬＨ２・ＨＨ２の階層データを量子化する量子化器１１０３ｂに対応する逆量子化器１１０８ｂ、低周波数帯域であるＬＬ２の階層データを量子化する量子化器１１０３ｃに対応する逆量子化器１１０８ｃである。逆量子化された信号は、ＬＬ２の信号から順に逆ウェーブレット変換される。
【００１６】
まず、ＬＬ２はアップサンプラ１３０１によりゼロを内挿しアップサンプリングし、帯域合成のための合成用ＬＰＦ（合成ＬＰＦ）１３０２により補間処理され再生される。ＨＬ２・ＬＨ２・ＨＨ２も同様にアップサンプラ１３０４によりアップサンプリングし、帯域合成の為の合成用ＨＰＦ（合成ＨＰＦ）１３０５により補間再生され、ＬＬ２成分と加算器１３０３により加算されることによって合成され、ＬＬ１が復元される。復元されたＬＬ１は更にアップサンプラ１３０６によりアップサンプリングし、合成ＬＰＦ１３０７により補間再生される。ＨＬ１・ＬＨ１・ＨＨ１もアップサンプラ１３０９によりアップサンプリングし、合成ＨＰＦ１３１０により補間再生され、ＬＬ１成分と加算器１３０８により加算することによって合成され、元の画像に復元される。
【００１７】
上述の処理過程の各階層データを画像出力部１１１０で選択出力することで、２のべき乗分の１の画像サイズを容易に出力することが可能となる。
【００１８】
サブバンド符号化、又はウェーブレット変換に基づいた従来の符号化方法では、その帯域分割にタップ数の多い例えばＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｏｎｓｅ）フィルタを用いると、フィルタの阻止域におけるリップの発生範囲が広くなり、画像のエッジ等のレベル変化の大きい部分の周辺に、リンギング（ｒｉｎｇｉｎｇ）が発生することがあった。特に、再帰的に複数回の帯域分割を行う際に、従来は全ての帯域分割に同じフィルタを用いていたため、ダウンサンプリングの影響で、帯域分割が進むほど相対的にフィルタのタップ数が増えることになっていた。この結果、画像のエッジ周辺の広い範囲にリンギングが発生することがあった。その為に、タップ数の少ないフィルタでブロードな特性のフィルタを用いて、リンギングの発生範囲を抑えるようにしている。このウェーブレット変換フィルタは、直交ミラーフィルターを用いるのが一般的である。
【００１９】
図２４は、近年提案されているＪＰＥＧ２０００に用いられている９×７フィルタの特性図である。ＬＰＦ、ＨＰＦ共にブロードであることが分る。しかし、ブロードである為に、帯域分割のフィルタリングのあとでダウンサンプリングをした時点で、エリアシングが発生する。ただし、量子化をせずに合成すれば、ＬＰＦとＨＰＦのそれぞれの通過域に含まれるエリアシングは、理論的にはキャンセルされるはずである。しかしながら、階層途中のＬＰＦの信号を取出して画像信号として出力してしまうと、ＨＰＦ成分が合成されないのでエリアシングをキャンセルすることができない。
【００２０】
この問題は、周波数分割された信号に対する復号時、完全再構成の条件が満足されなくなり、ＨＰＦとＬＰＦで生じるエリアシングを、互いにキャンセルできなくなることにある。
【００２１】
ＬＰＦ側のエリアシングの影響は、レベル差の大きなエッジ近辺にリンギングとなって現れる。これは、エッジが高周波数帯域の信号を含むが、ＨＰＦ信号成分が無い為、ＬＰＦ側のエリアシングをキャンセルできなくなるものであり、高周波成分が低周波数成分にまでエイリアスとして影響を与え、それが画像上のなだらかに変化する領域においてノイズを発生させる。すなわち、低周波数成分の画質劣化となる。
【００２２】
階層途中の信号を取出す手法は、このＬＰＦ信号成分のみを抽出し、出力することになり、当然エイリアスを含んでおり、良好な画像は得られない。
【００２３】
一方、入力画像と出力画像の画像サイズが異なる場合に、符号化装置に入力する画像を予め解像度変換する方法がある。この場合、既存の解像度変換手段を用いればよいが、出力する解像度に会わせてその度にフィルタなどの設定を変更する必要があり、２次元フィルタの場合はそのメモリやハード量も大きなものとなってしまう。更に、出力対象が複数の解像度を同時に要求する場合においては、装置を複数台用意しそれぞれを出力対象に合わせて動作させる必要があった。
【００２４】
【非特許文献１】
マーチン・ヴエターリ著、「ウェーブレット変換とサブバンド符号化」、電子情報通信学会誌、Ｖｏ１．７４ Ｎｏ．１２、 １９９１年１２月、Ｐ１２７５−１２７８
【００２５】
【発明が解決しようとする課題】
本発明は上記問題点に鑑みてなされたものであり、階層符号化の途中階層に於ける画像に含まれるエイリアスの、画質に対する悪影響が無い良好な再生を行うことを目的とする。
【００２６】
【課題を解決するための手段】
上記目的を達成するために、予め階層的に符号化された符号化画像データを復号する本発明の復号方法は、出力する画像サイズを判断する判断工程と、前記判断された画像サイズを得るのに最低限必要な階層よりも、画素数が多くなる１階層以上高い階層の符号化画像データを復号する復号工程とを有する。
【００２７】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００２８】
本発明の実施の形態では、階層符号化処理を用いた画像再生装置及び画像記録装置として実施され、特に途中階層の画像を出力する装置に有効である。なお、本実施の形態では、階層符号化として、ＪＰＥＧ２０００に準じた離散ウェーブレット変換方式を用いた場合を例にとって説明する。
【００２９】
＜第１の実施形態＞
まず第１の実施形態の概要について図１のフローチャートを用いて説明する。
【００３０】
まず、ステップＳ１０１で出力画像サイズを検出し、ステップＳ１０２で入力画像サイズを検出し、ステップＳ１０３へ進む。
【００３１】
ステップＳ１０３では、ステップＳ１０１とステップＳ１０２で得られた出力画像サイズと入力画像サイズから必要とする最小限復号階層を判断し、ステップＳ１０４へ進む。ステップＳ１０４では、ステップＳ１０３で判断した復号階層をさらに１階層多く（より大きく画像を復号する方向）設定し、ステップＳ１０５へ進む。ステップＳ１０５ではステップＳ１０４により再設定された階層まで復号化処理を行い、ステップＳ１０６へ進む。ステップＳ１０６では、ステップＳ１０４により、必要とする出力画像サイズより大きい画像を復号したので、その分解像度を低くする解像度変換処理を行う。このダウンサンプリングの時にエイリアスが発生しないようにプレフィルタ処理を行う。次にステップＳ１０７では、ステップＳ１０６により得られた良好な画像を出力する対象に適したγ補正や色補正、フォーマット変換、オフセット処理等を施し、要求される良好な画像を出力する。
【００３２】
次に、図２を用いて、上記処理例を具体的に説明する。
【００３３】
図２は階層符号化された画像の階層状態を模した図である。ここでは、画像全体の画素数が水平６４０画素、垂直４８０画素の画像データから、水平１６０画素、垂直１２０画素の画像を出力する場合について説明する。出力する画像サイズは図２ではＬＬ２に相当するので、まず、ＬＬ２の復号階層を求める。しかしながらＬＬ２のみの復号画像はエイリアスを含む歪んだ画像であるので、エイリアスＬＬ２成分のエイリアス成分をキャンセルするために、更に一階層多く復号するように復号階層を設定する。ここではＬＬ２、ＨＬ２、ＬＨ２、ＨＨ２の水平３２０画素、垂直２４０画素を復号する。このようにすることで、ＬＬ２帯域のエイリアスはキャンセルされる。そして、復号された水平３２０画素、垂直２４０画素の画像から必要とする水平１６０画素、垂直１２０画素を既知であるサブサンプルフィルタを用いて得ることで、良好な画像を得ることが可能となる。
【００３４】
図３は画像の入出力サイズ比と復号する階層の関係を示す図である。出力画像サイズをＳｏｕｔ、入力画像サイズをＳｉｎとして、Ｓｏｕｔ／Ｓｉｎを上の軸に示している。また、その時の本発明で復号する階層を下の軸にイメージとして示している。例えば入出力比が１／８（１／２３）を超え、１／４（１／２２）以下の画像を出力する場合は、復号の結果、画像サイズが入力画像サイズの１／２となる階層まで復号することになる。
【００３５】
図４は本第１の実施形態の復号装置の機能構成を示すブロック図である。図中、１１０７はエントロピー復号化器、１１０８は逆量子化器である。逆離散ウェーブレット変換器４０１は、従来例で説明した図１９の逆離散ウェーブレット変換器１１０９と基本的に同じであるが、後述の制御信号により、復号処理を途中で停止したり、また動作を部分的に停止させることが可能な点が異なる。４０２は解像度変換の為のサブサンプリングフィルタ、４０３は階層処理を制御する制御部、４０４は出力画像処理部である。
【００３６】
制御部４０３は、入力画像サイズと出力画像サイズから復号すべき階層を判断し、逆離散ウェーブレット変換器４０１とサブサンプリングフィルタ４０２を制御する。逆離散ウェーブレット変換器４０１に対しては、必要とする復号階層以上の復号は不要であるので、途中で処理を停止させたり、また不要である処理部を動作させない等の制御を行う。このように制御することにより、処理時間や処理能力や消費電力の改善を図ることができる。
【００３７】
サブサンプリングフィルタ４０２に対しては、逆離散ウェーブレット変換器４０１からの画像データに対し、画像サイズを１／２以下にする為の解像度変換処理を行う。この処理は、ダウンサンプリングによるエイリアスを除去するためにプレフィルタ処理を含む処理である。ただし、入力画像サイズすべてを出力する場合は、このサブサンプリングフィルタ４０２による処理は行われない。出力画像処理部４０４は、図１９の画像出力部１１１０と同様に画像を出力するための種々の処理、変換を行い、出力する。
【００３８】
図５に逆離散ウェーブレット変換器４０１の内部構成を示す。図２２に示す従来の構成と異なる点は、制御部４０３の制御により復号処理を途中で停止させたり、また動作を部分的に停止させるか、または起動させない等ができることである。さらに、ＬＬ２に相当する最低解像度のデータはサブサンプリングフィルタ４０２に出力されない。これは、ＬＬ２のデータがエイリアスを含む為に、その一階層上位まで復号する必要があるからである。ただし、サムネール等の画質にこだわらない簡易画像として出力する場合はこの限りではない。
【００３９】
このように、必要とする階層より一階層上位まで復号する事で、エイリアスを含まない良好な画像を得ることが可能となる。
【００４０】
次に、本第１の実施形態における復号処理の具体例を説明する。ここでは、復号する階層を入出力の画像サイズ比で表現し、求める場合について図６を参照して説明する。
【００４１】
図６において、ステップＳ１１では出力画像サイズ（Ｓｏｕｔ）を検出し、ステップＳ１２では入力画像サイズ（Ｓｉｎ）を検出する。
【００４２】
次にステップＳ１３では、ステップＳ１１とステップＳ１２で得られた出力画像サイズ（Ｓｏｕｔ）と入力画像サイズ（Ｓｉｎ）とから、必要とする最小限復号階層（ｎ）を次式（１）により求める。この処理は図１のステップＳ１０３に対応する。
１／２ｎ≧Ｓｏｕｔ／Ｓｉｎ＞１／２（ｎ＋１） …（１）
【００４３】
次にステップＳ１４で、ステップＳ１３で求めたｎを基に次式（２）から復号する階層を求め復号するか、その入出力比まで復号する。この処理は図１のステップＳ１０４及びＳ１０５に対応する。
１／２（ｎ−１）、ただし、ｎは１以上の整数 …（２）
【００４４】
次にステップＳ１５では、ステップＳ１４で必要とする出力画像サイズよりも大きいサイズの画像を復号したので、その分解像度を低くする解像度変換処理を行う。この時にエイリアスが発生しないようにプレフィルタ処理を行う。次のステップＳ１６ではステップＳ１５で得られた画像に対して出力先に適したγ補正や色補正やフォーマット変換やオフセット処理等を施し、要求される良好な画像を出力する。
【００４５】
以上の動作により、途中階層画像でも良好な画像を出力することが可能となる。
【００４６】
なお、本第１の実施形態では、必要とする階層のさらに一階層多く復号すると説明したが、更に高画質を望むので有れば、１階層以上多く復号すれば実現可能である。これは、演算量やハード量等と画質との兼合いとなる。
【００４７】
即ち、本第１の実施形態によれば、予め階層的に符号化された符号化画像データを復号する復号方法であって、出力する画像サイズを判断し、判断された画像サイズを得るのに最低限必要な階層よりも、画素数が多くなる１階層以上高い階層の符号化画像データを復号する処理を行う。
【００４８】
より具体的には、復号にあたって、判断された画像サイズを得るのに最低限必要な階層を判断し、判断された最低限必要な階層よりも１階層以上高い階層の符号化画像データを復号する処理を行う。
【００４９】
更に、判断された画像サイズとなるように、復号された画像のサイズを縮小する処理を更に行う。
【００５０】
また、最低限必要な階層が、符号化画像データの最高階層以上かどうかを判断し、最高階層以上である場合には、符号化画像データの全ての階層を復号する。
【００５１】
＜第２の実施形態＞
本第２の実施形態では、復号する階層を入出力の画像サイズ比で表現し、求める別の方法について図７を参照して説明する。なお、装置構成や階層符号化の概念は上記第１の実施形態と同様であるので、ここでは説明を省略する。また、図７において、図６と同じ処理には同じ参照番号を付す。
【００５２】
図７において、ステップＳ１１では出力画像サイズ（Ｓｏｕｔ）を検出し、ステップＳ１２では入力画像サイズ（Ｓｉｎ）を検出する。
【００５３】
次にステップＳ２３では、ステップＳ１１とステップＳ１２で得られた出力画像サイズ（Ｓｏｕｔ）と入力画像サイズ（Ｓｉｎ）とから、入出力画像サイズ比（Ｘ）を次式（３）から求める。
Ｘ＝Ｓｉｎ／Ｓｏｕｔ …（３）
【００５４】
次にステップＳ２４において、ステップＳ２３で求めた入出力画像サイズ比（Ｘ）を基にして、次式（４）から必要とする最大省略可能な復号階層数（ｎ）を求める。
ｎ＝ＩＮＴ（ｌｏｇ２Ｘ） …（４）
【００５５】
なお、式（４）において、ＩＮＴ（ｆ（Ｘ））は、ｆ（Ｘ）の計算により得られた数値から、小数点以下を切り捨てる演算を示す。
次にステップＳ２５において、ステップＳ２４により、復号が省略可能な階層数を求めたので、入力画像の総階層数から復号する階層数とさらに１階層増やした実際に復号する階層数を次式（５）から求めその条件を満足するように復号する。
復号階層数＝総階層数−ｎ＋１ …（５）
【００５６】
次にステップＳ１５では、ステップＳ２５で必要とする出力画像サイズよりも大きいサイズの画像を復号したので、その分解像度を低くする解像度変換処理を行う。この時にエイリアスが発生しないようにプレフィルタ処理を行う。次のステップＳ１６ではステップＳ１５で得られた画像に対して出力先に適したγ補正や色補正やフォーマット変換やオフセット処理等を施し、要求される良好な画像を出力する。
【００５７】
以上の動作により、途中階層画像でも良好な画像を出力することが可能となる。
【００５８】
即ち、本第２の実施形態によれば、復号にあたって、復号した場合に、前記判断された画像サイズを超える画素数となる階層を判断し、判断された階層の内の低い階層よりも１階層以上高い階層まで、符号化画像データを復号する処理を行う。
【００５９】
＜第３の実施形態＞
本第３の実施形態では、順次階層復号し、復号画像サイズを確認しながら実現する手法について図８を参照して説明する。なお、装置構成や階層符号化の概念は上記第１の実施形態と同様であるので、ここでは説明を省略する。また、図８において、図６と同じ処理には同じ参照番号を付す。
【００６０】
図８において、ステップＳ１１で出力画像サイズ（Ｓｏｕｔ）を検出し、ステップＳ３２へ進む。ステップＳ３２では低解像度画像から順に、一階層分の復号処理を行う。
【００６１】
次にステップＳ３３では、ステップＳ３２で復号された画像サイズが、出力画像サイズ（Ｓｏｕｔ）以上であるか判断する。出力画像サイズ（Ｓｏｕｔ）以上であればステップＳ３４へ進み、達していなければステップＳ３２に戻って、更に一階層分復号する。このように、ステップＳ３２とＳ３３の動作により、出力画像サイズ以上復号されることになる。
【００６２】
ステップＳ３４では、ステップＳ３２とステップＳ３３により出力画像サイズ以上復号された画像に加え、さらに一階層分の復号処理を行う。ただしこの時点で入力画像サイズに達している場合は、ステップＳ３４の処理は行われない。
【００６３】
次にステップＳ１５では、ステップＳ３４で必要とする出力画像サイズよりも大きいサイズの画像を復号したので、その分解像度を低くする解像度変換処理を行う。この時にエイリアスが発生しないようにプレフィルタ処理を行う。次のステップＳ１６ではステップＳ１５で得られた画像に対して出力先に適したγ補正や色補正やフォーマット変換やオフセット処理等を施し、要求される良好な画像を出力する。
【００６４】
以上の動作により、途中階層画像でも良好な画像を出力する事が可能となる。
【００６５】
即ち、本第３の実施形態によれば、復号にあたって、復号していない最も低い階層を復号し、復号して得られた画像のサイズと、前記判断された画像サイズとを比較し、前記復号して得られた画像のサイズが前記判断された画像サイズよりも小さい場合に、次に低い階層を復号する処理を繰り返し、大きい場合に次に低い階層を更に復号する。
【００６６】
＜第４の実施形態＞
本第４の実施形態では、エイリアス成分の無い復号すべき階層をＬＵＴ（Ｌｏｏｋ
Ｕｐ Ｔａｂｌｅ）から求める手法について説明する。
【００６７】
図９は本第４の実施形態の復号化装置の機能構成を示すブロック図である。上記第１の実施形態で図４を参照して説明した構成とは、ＬＵＴ１００２が追加され、制御部１００１から参照可能であることが異なる。その他の構成は上記第１の実施形態と同様であるので、ここでは説明を省略する。
【００６８】
制御部１００１は、第１の実施形態で図４を参照して説明した制御部４０３と基本的に同じであるが、ＬＵＴ１００２を参照する事により、復号処理を途中で停止したり、また動作を部分的に停止させることを制御する点が異なる。ＬＵＴ１００２は、入出力画像サイズ情報等に基づいて符号化すべき階層情報を制御部１００１に送る。
【００６９】
なお、ＬＵＴ１００２はその機能や目的が同じであれば、その種類や構成は問わない。ＳＲＡＭの様な揮発性メモリであれば、起動時にその内容をロードすれば良い。
【００７０】
また、ＬＵＴ１００２の内容は、ウェーブレットフィルタの特性やエイリアスの影響度にを判断して変更すれば良く、適応的に変更しても良い。
【００７１】
制御部１００１は、入力画像サイズと出力画像サイズからエイリアス成分を含まない復号すべき階層をＬＵＴ１００２を参照することで判断し、逆離散ウェーブレット変換器４０１とサブサンプリングフィルタ４０２とを制御する。
【００７２】
次に、本第４の実施形態における処理について、図１０を参照して説明するが、図６と同じ処理には同じ参照番号を付す。
【００７３】
図１０において、ステップＳ１１では出力画像サイズ（Ｓｏｕｔ）を検出し、ステップＳ１２では入力画像サイズ（Ｓｉｎ）を検出する。
【００７４】
次にステップＳ４３では、ステップＳ１１とステップＳ１２で得られた情報からＬＵＴ１００２を参照して復号化を行う階層を求める。ＬＵＴ１００２は、指定された出力画像サイズの画像を得るために必要な最小の階層よりも画素数が多くなる１階層高い階層を返すように（図３に示すような出力を返すように）予め設定されている。
【００７５】
次にステップＳ４４において、ステップＳ４３で求めた階層まで復号を行う。
【００７６】
次にステップＳ１５では、ステップＳ４４で必要とする出力画像サイズよりも大きいサイズの画像を復号したので、その分解像度を低くする解像度変換処理を行う。この時にエイリアスが発生しないようにプレフィルタ処理を行う。次のステップＳ１６ではステップＳ１５で得られた画像に対して出力先に適したγ補正や色補正やフォーマット変換やオフセット処理等を施し、要求される良好な画像を出力する。
【００７７】
以上の動作により、途中階層画像でも良好な画像を出力する事が可能となる。
【００７８】
本第４の実施形態では、ＬＵＴによりエイリアスの影響を判断し、復号すべき階層情報を得たが、復号しない階層を求めても同様に実現可能である。また、等価な数値演算により代用しても良い。
【００７９】
即ち、本第４の実施形態によれば、復号にあたって、ルックアップテーブルを用いて、符号化画像データを全て復号した場合の画像サイズと、判断された画像サイズとから、判断された画像サイズを得るのに最低限必要な階層よりも、画素数が多くなる１階層以上高い階層を取得し、当該階層まで符号化画像データを復号する処理を行う。
【００８０】
＜第５の実施形態＞
本第５の実施形態は、階層符号化の途中階層に於ける画像のエイリアスの画質への悪影響の無い良好な符号化を行うことを目的とする。
【００８１】
まず第６の実施形態の概要について図１１のフローチャートを用いて説明する。
【００８２】
ステップＳ２０１は伝送画像サイズを検出する。このサイズは、画像の伝送先や記録するメディアや動作モードにより、適宜替えることが可能である。次にステップＳ２０２へ進む。ステップＳ２０２では入力画像サイズを検出する。
【００８３】
次にステップＳ２０３へ進む。ステップＳ２０３では、ステップＳ２０１とステップＳ２０２で得られた伝送画像サイズと入力画像サイズから必要とする伝送符号階層を判断し、ステップＳ２０４へ進む。ステップＳ２０４では、ステップＳ２０３で判断した符号階層をさらに１階層多く（より大きい画像を符号化する方向）設定し、ステップＳ２０５へ進む。ステップＳ２０５ではステップＳ２０４により再設定された階層まで符号化処理を行い、ステップＳ２０６へ進む。ステップＳ２０６では、伝送またはメディアへの記録を行う。
【００８４】
次に、図２を用いて、上記処理例を具体的に説明する。
【００８５】
図２は階層符号化された画像の階層状態を模した図である。ここでは、入力画像全体の画素数が水平６４０画素、垂直４８０画素の画像データから、水平１６０画素、垂直１２０画素の画像を符号化し、出力する場合について説明する。符号化出力する画像サイズは図２ではＬＬ２に相当するので、まず、ＬＬ２の符号化階層を求める。しかしながらＬＬ２のみの符号化画像はエイリアスを含む歪んだ画像であるので、エイリアスＬＬ２成分のエイリアス成分をキャンセルするために、更に一階層多く符号化するように符号階層を設定する。ここではＬＬ２、ＨＬ２、ＬＨ２、ＨＨ２の水平３２０画素、垂直２４０画素を符号化する。このようにすることで、複合器で復号する際にはＬＬ２帯域のエイリアスはキャンセルされる。複合器では、復号された水平３２０画素、垂直２４０画素の画像から必要とする水平１６０画素、垂直１２０画素を既知であるサブサンプルフィルタ等の解像度変換処理を行うことにより、良好な画像を得ることが可能となる。
【００８６】
画像の入出力比と符号化する階層の関係は、図３に示すものと同じである。伝送画像サイズをＳｏｕｔ、入力画像サイズをＳｉｎとして、Ｓｏｕｔ／Ｓｉｎを上の軸に示されているとすると、本発明における符号階層は下の軸に示される。例えば入出力比が１／８（１／２３）を超え、１／４（１／２２）以下の画像を伝送出力する場合は、伝送画像サイズが入力画像サイズの１／２となる階層まで符号化することになる。
【００８７】
図１２は本第４の実施形態の符号化装置の機能構成を示すブロック図である。図中、１１０１は画像入力処理部、２４０２は離散ウェーブレット変換器、２４０３は量子化部、２４０４はエントロピー符号化部、２４０５は伝送記録処理部、２４０１は制御部である。
【００８８】
制御部２４０１は、入力画像サイズと伝送画像サイズから符号化すべき階層を判断し、離散ウェーブレット変換器２４０２と量子化器２４０３、エントロピー符号化部２４０４、伝送記録処理部２４０５を制御する。制御部２４０１は図中伝送記録処理部２４０５から情報を得ているがこれに限るものではなく、システムのモード情報などから得ても良い。離散ウェーブレット変換器２４０２とエントロピー符号化器２４０４に対しては、必要とする符号階層以上の符号化は不要であるので、途中で処理を停止させたり、また不要である処理部を動作させない等の制御を行う。このように制御することにより、処理時間や処理能力や消費電力の改善が図れる。
【００８９】
量子化器２４０３に対しては、不要となる階層の量子化処理を省略したり、全て０を出力したりすることで不要な階層のデータを遮断することも可能である。伝送記録処理部２４０５では、伝送する階層のデータをフォーマット化し、出力する。不要となる階層データは打ち切り処理などにより削除される。不要となるデータの削除方法としては複数を上述したが、少なくとも１つを実施すればよい。
【００９０】
図１３に離散ウェーブレット変換器２４０２の内部構成を示す。画像データは帯域分割の為の分析用ＬＰＦ（分析ＬＰＦ）２５０３と、同じく帯域分割の為の分析用ＨＰＦ（分析ＨＰＦ）２５２０１とに入力され、それぞれ低周波数帯域信号と高周波数帯域信号に分離される。それぞれの信号は帯域が半分になっているので、ダウンサンプラ２５０２、２５２０４により間引処理がなされる。高域成分はそのまま量子化器２４０３へと出力される。低域成分は更に分析ＨＰＦ２５０５、分析ＬＰＦ２５０７、ダウンサンプラ２５０６、２５０８により回帰的に処理される。ここでは便宜上２レベルの処理による３階層出力を示している。その概念図を図２３に示す。水平垂直２次元での処理により、図２３に示すように分析ＨＰＦ２５０１とダウンサンプラ２５０２でＨＬ１、ＬＨ１、ＨＨ１に対応するデータが、分析ＬＰＦ２５０３とダウンサンプラ２５０４によりＬＬ１が得られるが、ＬＬ１は回帰的に処理されるので分析ＨＰＦ２５０５とダウンサンプラ２５０６により図２３中ＨＬ２、ＬＨ２、ＨＨ２に対応するデータが、分析ＬＰＦ２５０７とダウンサンプラ２５０８により図２３中ＬＬ２に対応するデータがそれぞれ得られる。
【００９１】
伝送記録処理部２４０５により、画像の全ての階層データが必要でない場合は、その情報を制御部２４０１に出力する。制御部２４０１は階層符号化のそれぞれのバンドのデータから不要な階層のデータを符号化しないように制御する。
【００９２】
図２１に示す従来の構成と異なる点は、制御部２４０１の制御により、符号化処理を途中で停止させたり、また動作を部分的に停止させるか、または起動させない等を判断する判断アルゴリズムである。本第５の実施形態では、階層処理を少なくとも１つ多くして伝送するため、一番低い低周波成分だけの符号化は無く、最低でも低い方から２階層分の符号化が必要となる。従って、図１３のスイッチ２５０１はそれを含まない階層データを制御することになる。ただし、サムネール等の画質にこだわらない簡易画像として出力する場合はこの限りではない。
【００９３】
それぞれの帯域のデータはそれぞれに対応した量子化器２４０３ａ〜２４０３ｃにより量子化され、それぞれの帯域でエントロピー符号化器２４０４で符号化されて、伝送記録処理部２４０５により出力される。
【００９４】
この様に、必要とする階層より一階層上位まで符号化する事で、エイリアスを含まない良好な画像を伝送、取得することが可能となる。
【００９５】
次に、本第５の実施形態において符号化処理の具体例を説明する。ここでは、復号する階層を入出力の画像サイズ比で表現し、求める場合について図１４を参照して説明する。
【００９６】
図１４において、ステップＳ５１では伝送画像サイズ（Ｓｏｕｔ）を検出し、ステップＳ５２では入力画像サイズ（Ｓｉｎ）を検出する。
【００９７】
次にステップＳ５３では、ステップＳ５１とステップＳ５２で得られた伝送画像サイズ（Ｓｏｕｔ）と入力画像サイズ（Ｓｉｎ）とから、必要とする最小限符号階層（ｎ）を次式（６）により求める。この処理は図１１のステップＳ２０３に対応する。
１／２ｎ≧Ｓｏｕｔ／Ｓｉｎ＞１／２（ｎ＋１） …（６）
【００９８】
次にステップＳ５４で、ステップＳ５３で求めたｎを基に次式（７）から符号化する階層を求め符号化する。この処理は図１１のステップＳ２０４及びＳ２０５に対応する。
１／２（ｎ−１） ただし、ｎは１以上の整数 …（７）
【００９９】
次にステップＳ５５では、ステップＳ５４で得られた符号化した画像信号を伝送したり、メディアへ記録する。
【０１００】
以上の動作により、途中階層画像でも良好な画像を出力することが可能となる。
【０１０１】
なお、本第５の実施形態では、必要とする階層のさらに一階層多く符号化すると説明したが、更に高画質を望むので有れば、１階層以上多く符号化すれば実現可能である。これは、演算量やハード量等と画質との兼合いとなる。
【０１０２】
即ち、本第５の実施形態によれば、画像を階層的に符号化する符号化方法であって、出力する画像サイズを判断し、判断された画像サイズを得るのに最低限必要な階層よりも、画素数が多くなる１階層以上高い階層まで画像を符号化する処理を行う。
【０１０３】
より具体的には、符号化にあたって、判断された画像サイズを得るのに最低限必要な階層を判断し、判断された最低限必要な階層よりも１階層以上高い階層まで画像を符号化する処理を行う。
【０１０４】
更に、前記最低限必要な階層が、前記画像を符号化可能な最高の階層以上かどうかを判断し、最高の階層以上である場合には、画像を最高の階層まで符号化する。
【０１０５】
＜第６の実施形態＞
本第６の実施形態では、符号化する階層を入出力の画像サイズ比で表現し、求める別の方法について図１５を参照して説明する。なお、装置構成や階層符号化の概念は上記第５の実施形態と同様であるので、ここでは説明を省略する。また、図１５において、図１４と同じ処理には同じ参照番号を付す。
【０１０６】
図１４において、ステップＳ５１では伝送画像サイズ（Ｓｏｕｔ）を検出し、ステップＳ５２では入力画像サイズ（Ｓｉｎ）を検出する。
【０１０７】
次にステップＳ６３では、ステップＳ５１とステップＳ５２で得られた伝送画像サイズ（Ｓｏｕｔ）と入力画像サイズ（Ｓｉｎ）とから、入出力画像サイズ比（Ｘ）を次式（８）から求める。
Ｘ＝Ｓｉｎ／Ｓｏｕｔ …（８）
【０１０８】
次にステップＳ６４において、ステップＳ６３で求めた入出力画像サイズ比（Ｘ）を基にして、次式（９）から必要とする最大省略可能な符号階層数（ｎ）を求める。
ｎ＝ＩＮＴ（ｌｏｇ２Ｘ） …（９）
【０１０９】
なお、式（４）において、ＩＮＴ（ｆ（Ｘ））は、ｆ（Ｘ）の計算により得られた数値から、小数点以下を切り捨てる演算を示す。
次にステップＳ６５において、ステップＳ６４により、符号化が省略可能な階層数を求めたので、入力画像の総階層数から符号化する階層数とさらに１階層増やした実際に符号化する階層数を次式（１０）から求めその条件を満足するように符号化する。
符号化階層数＝総階層数−ｎ＋１ …（１０）
【０１１０】
次にステップＳ５５では、ステップＳ６５で得られた符号化した画像信号を伝送したり、メディアへ記録する。
【０１１１】
以上の動作により、途中階層画像でも良好な画像を出力する事が可能となる。
【０１１２】
即ち、本第６の実施形態によれば、符号化にあたって、符号化した場合に、前記判断された画像サイズを超える画素数となる階層を判断し、判断された階層の内の低い階層よりも１階層以上高い階層まで、画像を符号化する処理を行う。
【０１１３】
＜第７の実施形態＞
本第７の実施形態では、順次階層符号化し、符号化画像サイズを確認しながら実現する手法について図１６を参照して説明する。なお、装置構成や階層符号化の概念は上記第５の実施形態と同様であるので、ここでは説明を省略する。また、図１６において、図１４と同じ処理には同じ参照番号を付す。
【０１１４】
図１６において、ステップＳ５１で伝送画像サイズ（Ｓｏｕｔ）を検出し、ステップＳ７２へ進む。ステップＳ７２では低解像度画像から一階層分の符号化処理を行う。
【０１１５】
次にステップＳ７３では、ステップＳ７２で符号化された画像サイズが、伝送画像サイズ（Ｓｏｕｔ）以上であるか判断する。伝送画像サイズ（Ｓｏｕｔ）以上であればステップＳ７４へ進み、達していなければステップＳ７２に戻り更に一階層分符号化する。このように、ステップＳ７２とＳ７３の動作により、伝送画像サイズ以上符号化されることになる。
【０１１６】
ステップＳ７４では、ステップＳ７２とステップＳ７３により、出力画像サイズ以上符号化された画像に加え、さらに一階層分の符号化処理を行う。ただしこの時点で入力画像サイズに達している場合、ステップＳ７４の処理は行われない。
【０１１７】
次にステップＳ５５では、ステップＳ５４で得られた符号化した画像信号を伝送したり、メディアへ記録する。
【０１１８】
以上の動作により、途中階層画像でも良好な画像を出力する事が可能となる。
【０１１９】
即ち、本第４の実施形態によれば、符号化にあたって、符号化していない最も低い階層で画像を符号化し、符号化した階層までの画像のサイズと、前記判断された画像サイズとを比較し、前記符号化した階層までの画像のサイズが前記判断された画像サイズよりも小さい場合に、次に低い階層で画像を符号化する処理を繰り返し、大きい場合に次に低い階層で画像を更に符号化する。
【０１２０】
＜第８の実施形態＞
本第８の実施形態では、エイリアス成分の無い符号化すべき階層をＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）から求める手法について説明する。
【０１２１】
図１７は本第８の実施形態の復号化装置の機能構成を示すブロック図である。上記第５の実施形態で図１２を参照して説明した構成とは、ＬＵＴ２６０２が追加され、制御部２４０１から参照可能であることが異なる。その他の構成は上記第５の実施形態と同様であるので、ここでは説明を省略する。
【０１２２】
なお、ＬＵＴ２６０２はその機能や目的が同じであれば、その種類や構成は問わない。ＳＲＡＭの様な揮発性メモリであれば、起動時にその内容をロードすれば良い。
【０１２３】
また、ＬＵＴ２６０２の内容は、ウェーブレットフィルタの特性やエイリアスの影響度にを判断して変更すれば良く、適応的に変更しても良い。
【０１２４】
制御部２４０１は、入力画像サイズと伝送画像サイズからエイリアス成分を含まない符号化すべき階層をＬＵＴ２５０２を参照することで判断し、離散ウェーブレット変換器２４０２と量子化器２４０３、エントロピー符号化器２４０４、伝送記録処理部２４０５とを制御する。
【０１２５】
次に、本第８の実施形態における処理について、図１８を参照して説明するが、図１４と同じ処理には同じ参照番号を付す。
【０１２６】
図１８において、ステップＳ５１では伝送画像サイズ（Ｓｏｕｔ）を検出し、ステップＳ５２では入力画像サイズ（Ｓｉｎ）を検出する。
【０１２７】
次にステップＳ８３では、ステップＳ５１とステップＳ５２で得られた情報からＬＵＴ２６０２により符号化を行う階層を求める。ＬＵＴ２６０２は、指定された伝送画像サイズの画像を得るために必要な最小の階層よりも画素数の多い１階層高い階層を返すように（図３に示すような出力を返すように）予め設定されている。
【０１２８】
次にステップＳ８４において、ステップＳ８３で求めた階層まで符号化を行う。
【０１２９】
次にステップＳ５５では、ステップＳ８４で得られた符号化した画像信号を伝送したり、メディアへ記録する。
【０１３０】
以上の動作により、途中階層画像でも良好な画像を出力する事が可能となる。
【０１３１】
本第８の実施形態では、ＬＵＴによりエイリアスの影響を判断し、符号化すべき階層情報を得たが、符号化しない階層を求めても同様に実現可能である。また、等価な数値演算により代用しても良い。
【０１３２】
即ち、本第８の実施形態によれば、符号化にあたって、ルックアップテーブルを用いて、画像の画像サイズと、判断された画像サイズとから、判断された画像サイズを得るのに最低限必要な階層よりも、画素数が多くなる１階層以上高い階層を取得し、当該階層まで画像を符号化する処理を行う。
【０１３３】
なお、上記第１乃至第８の実施形態では２次元ウェーブレット変換として説明したが、本発明はこれに限るものでは無く、１次元ウェーブレット変換でも同様にして行うことができる。また、画像サイズについても、水平画素数、垂直画素数のどちらか、または両方を適宜用いても、判断しても良い。
【０１３４】
また、上記第１乃至第８の実施形態では、フローチャートを用いてソフトウエアによる処理として動作を説明したが、ハードウェアで実施してもよい。
【０１３５】
さらに、数値は近似値を用いても同様な効果が得られる。
【０１３６】
また、画像信号が、輝度成分、色成分などの複数のコンポーネントを有する場合はすべてに適用しても良いし、効果のある輝度成分にのみ適応してもよい。
【０１３７】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、スキャナ、カメラヘッドなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、ファクシミリ装置、デジタルスチルカメラ、デジタルビデオカメラなど）に適用してもよい。
【０１３８】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。
【０１３９】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１４０】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図１、図６〜図８、図１０および／または図１１、図１４〜図１６、図１８のいずれかに示すフローチャートに対応するプログラムコードが格納されることになる。
【０１４１】
即ち、本発明は、上記第１乃至第８の実施形態に記載の方法を実現するためのプログラムコードを有することを特徴とする情報処理装置が実行可能なプログラムを含む。
【０１４２】
更に、本発明は、上記記載のプログラムを記憶したことを特徴とする情報処理装置が読み取り可能な記憶媒体を含む。
【０１４３】
【発明の効果】
以上説明したように本発明によれば、途中階層の画像であっても良好な画質の画像を再生することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における画像再生の処理概念を示すフローチャートである。
【図２】階層符号化された画像の階層状態を概念的に示す図である。
【図３】本発明の実施の形態における入出力画像サイズ比と階層との関係を示す図である。
【図４】本発明の第１の実施形態における復号装置の機能構成を示すブロック図である。
【図５】本発明の第１の実施形態における逆離散ウェーブレット変換器の内部構成を示すブロック図である。
【図６】本発明の第１の実施形態における復号処理の具体例を説明するフローチャートである。
【図７】本発明の第２の実施形態における復号処理の具体例を説明するフローチャートである。
【図８】本発明の第３の実施形態における復号処理の具体例を説明するフローチャートである。
【図９】本発明の第４の実施形態における逆離散ウェーブレット変換器の内部構成を示すブロック図である。
【図１０】本発明の第４の実施形態における復号処理の具体例を説明するフローチャートである。
【図１１】本発明の第５の実施形態における画像再生の処理概念を示すフローチャートである。
【図１２】本発明の第５の実施形態における符号化装置の機能構成を示すブロック図である。
【図１３】本発明の第５の実施形態における離散ウェーブレット変換器の内部構成を示すブロック図である。
【図１４】本発明の第５の実施形態における符号化処理の具体例を説明するフローチャートである。
【図１５】本発明の第６の実施形態における符号化処理の具体例を説明するフローチャートである。
【図１６】本発明の第７の実施形態における符号化処理の具体例を説明するフローチャートである。
【図１７】本発明の第８の実施形態における離散ウェーブレット変換器の内部構成を示すブロック図である。
【図１８】本発明の第８の実施形態における符号化処理の具体例を説明するフローチャートである。
【図１９】従来の符号・復号装置の構成を示すブロック図である。
【図２０】従来の符号化部の詳細を説明するブロック図である。
【図２１】従来の別の符号化部の詳細を説明するブロック図である。
【図２２】従来の復号化部の詳細を説明するブロック図である。
【図２３】階層符号化における画像の階層の概念を示す図である。
【図２４】従来の９×７フィルタの特性を示す図である。
Claims (1)
- 予め階層的に符号化された符号化画像データを復号する復号方法であって、
出力する画像サイズを判断する判断工程と、
前記判断された画像サイズを得るのに最低限必要な階層よりも、画素数が多くなる１階層以上高い階層の符号化画像データを復号する復号工程と
を有することを特徴とする復号方法。
Priority Applications (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002309901A JP2004147095A (ja) | 2002-10-24 | 2002-10-24 | 復号方法 |
| US10/689,781 US7558441B2 (en) | 2002-10-24 | 2003-10-22 | Resolution conversion upon hierarchical coding and decoding |
| CNB2005100748259A CN100393135C (zh) | 2002-10-24 | 2003-10-23 | 分层编码、解码时的分辨率变换 |
| EP03256675A EP1473675A3 (en) | 2002-10-24 | 2003-10-23 | Resolution conversion of a digital image upon hierarchical coding and decoding |
| CNB2003101017694A CN1263310C (zh) | 2002-10-24 | 2003-10-23 | 分层编码、解码时的分辨率变换 |
| US12/481,104 US7933460B2 (en) | 2002-10-24 | 2009-06-09 | Resolution conversion upon hierarchical coding and decoding |
| US13/076,045 US8369636B2 (en) | 2002-10-24 | 2011-03-30 | Resolution conversion upon hierarchical coding and decoding |
| US13/733,754 US20130121603A1 (en) | 2002-10-24 | 2013-01-03 | Resolution conversion upon hierarchical coding and decoding |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002309901A JP2004147095A (ja) | 2002-10-24 | 2002-10-24 | 復号方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004147095A true JP2004147095A (ja) | 2004-05-20 |
| JP2004147095A5 JP2004147095A5 (ja) | 2005-12-08 |
Family
ID=32455581
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002309901A Pending JP2004147095A (ja) | 2002-10-24 | 2002-10-24 | 復号方法 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2004147095A (ja) |
| CN (2) | CN1263310C (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008228327A (ja) * | 2008-04-08 | 2008-09-25 | Canon Inc | 復号方法及び装置 |
| JP2011527546A (ja) * | 2008-07-10 | 2011-10-27 | ラドヴィジョン リミテッド | スケーラブルビデオ符号化を用いて選択可能なビデオを提供するシステム、方法及び媒体 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IN2015DN00926A (ja) * | 2012-02-29 | 2015-07-10 | Sony Corp | |
| KR101622785B1 (ko) * | 2012-04-24 | 2016-05-20 | 브이아이디 스케일, 인크. | Mpeg/3gpp-dash에서의 원활한 스트림 스위칭을 위한 방법 및 장치 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5373375A (en) * | 1990-12-21 | 1994-12-13 | Eastman Kodak Company | Metric conversion mechanism for digital images in a hierarchical, multi-resolution, multi-use environment |
| JP3428678B2 (ja) * | 1993-04-21 | 2003-07-22 | キヤノン株式会社 | 画像処理装置及び方法 |
| EP0835589A1 (en) * | 1995-06-29 | 1998-04-15 | THOMSON multimedia | System for encoding and decoding layered compressed video data |
| JP2001119566A (ja) * | 1999-10-22 | 2001-04-27 | Murata Mach Ltd | 多値画像データの圧縮再現方法及び画像処理装置 |
-
2002
- 2002-10-24 JP JP2002309901A patent/JP2004147095A/ja active Pending
-
2003
- 2003-10-23 CN CNB2003101017694A patent/CN1263310C/zh not_active Expired - Fee Related
- 2003-10-23 CN CNB2005100748259A patent/CN100393135C/zh not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008228327A (ja) * | 2008-04-08 | 2008-09-25 | Canon Inc | 復号方法及び装置 |
| JP2011527546A (ja) * | 2008-07-10 | 2011-10-27 | ラドヴィジョン リミテッド | スケーラブルビデオ符号化を用いて選択可能なビデオを提供するシステム、方法及び媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1497982A (zh) | 2004-05-19 |
| CN100393135C (zh) | 2008-06-04 |
| CN1691781A (zh) | 2005-11-02 |
| CN1263310C (zh) | 2006-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Taubman et al. | JPEG2000: Standard for interactive imaging | |
| US8369636B2 (en) | Resolution conversion upon hierarchical coding and decoding | |
| JP4702928B2 (ja) | 動画像符号化装置及び復号装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 | |
| US7139434B2 (en) | Decoding with storage of less bits for less important data | |
| US6560369B1 (en) | Conversion of wavelet coded formats depending on input and output buffer capacities | |
| JP4365957B2 (ja) | 画像処理方法及びその装置及び記憶媒体 | |
| US9723318B2 (en) | Compression and decompression of reference images in a video encoder | |
| JPH05137113A (ja) | デイジタルｖｔｒ | |
| JPH05219385A (ja) | 画像圧縮・伸張方法および装置 | |
| KR101652183B1 (ko) | Vlc 코드워드들을 이용한 코딩 구문 요소들 | |
| US7702161B2 (en) | Progressive differential motion JPEG codec | |
| JP5088607B2 (ja) | プリントされるべきデジタル映像のデータへ導入される欠陥を減少する方法 | |
| US8428116B2 (en) | Moving picture encoding device, method, program, and moving picture decoding device, method, and program | |
| US20010019335A1 (en) | Iamge coding-decoding method, image coding-decoding system, image coder, image decoder, and storage medium | |
| JP2004147095A (ja) | 復号方法 | |
| JP4125090B2 (ja) | 符号化方法及び装置 | |
| JPH09205647A (ja) | 画像符号化装置、画像復号化装置および画像処理装置 | |
| US20050100239A1 (en) | Image signal processing method, image signal processing apparatus, and image signal processing program | |
| JP2004266794A (ja) | マルチ・リゾルーション・ビデオ符号化および復号化 | |
| JP2008228327A (ja) | 復号方法及び装置 | |
| JP2005223852A (ja) | 画像符号化装置および方法、ならびに画像復号装置および方法 | |
| JP3862418B2 (ja) | 画像復号化方法および装置並びに画像復号化方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体 | |
| JPH10336643A (ja) | 画像符号化装置及び画像復号装置 | |
| JPH1188183A (ja) | ウェーブレット変換装置およびその方法並びにウェーブレット逆変換装置およびその方法並びに画像符号化装置およびその方法並びに画像復号化装置およびその方法 | |
| JP2891251B2 (ja) | 画像符号化装置及び画像復号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051019 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051019 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071109 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071116 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080111 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080208 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080407 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080502 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080702 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080714 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20080808 |