JP2015195527A - 画像処理装置、および画像処理方法 - Google Patents

Abstract

【課題】圧縮画像データの階層復号の容易化を図ることが可能な、画像処理装置、および画像処理方法を提供する。
【解決手段】画像データをウェーブレット変換し、基準単位に基づく所定の単位で量子化し、可変長符号化して圧縮された圧縮画像データを、フレーム単位でウェーブレットのレベルごとに並び替える並び替え処理部を備える、画像処理装置が提供される。
【選択図】図４

Description

本開示は、画像処理装置、および画像処理方法に関する。

符号化された画像データの並び替えを行う技術が開発されている。符号化された画像データの並び替えを行う技術としては、例えば、下記の特許文献１、２に記載の技術が挙げられる。

特開２０００−１８４２０４号公報 特開２００３−１６９３３３号公報

画像データを符号化して圧縮する際に、ウェーブレット変換が用いられる場合には、画像データが示す画像を、例えばウェーブレットのレベルによって階層的に表すことが可能である。また、画像データをウェーブレット変換し、所定の単位で量子化し、符号化されて圧縮された画像データ（以下、「圧縮画像データ」と示す場合がある。）を復号するときには、上記のように階層的に表される画像を階層的に復号する階層復号が行われる場合がある。

本開示では、圧縮画像データの階層復号の容易化を図ることが可能な、新規かつ改良された画像処理装置、および画像処理方法を提案する。

本開示によれば、画像データをウェーブレット変換し、基準単位に基づく所定の単位で量子化し、可変長符号化して圧縮された圧縮画像データを、フレーム単位でウェーブレットのレベルごとに並び替える並び替え処理部を備える、画像処理装置が提供される。

また、本開示によれば、画像データをウェーブレット変換し、基準単位に基づく所定の単位で量子化し、可変長符号化して圧縮された圧縮画像データを、フレーム単位でウェーブレットのレベルごとに並び替えるステップを有する、画像処理装置により実行される画像処理方法が提供される。

本開示によれば、圧縮画像データの階層復号の容易化を図ることができる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。

本実施形態に係る画像処理方法の概要を説明するための説明図である。 本実施形態に係る画像処理方法に係る画像データの並び替えを説明するための説明図である。 フレーム単位でウェーブレットのレベルごとに並び替えを実現する一の方法が適用された画像処理装置の構成の一例を示す説明図である。 第１の実施形態に係る画像処理装置の構成の一例を示す説明図である。 第１の実施形態に係る画像処理装置が備える並び替え処理部の構成の第１の例を示す説明図である。 第１の実施形態に係る画像処理装置が備える並び替え処理部の構成の第２の例を示す説明図である。 第１の実施形態に係る画像処理装置が備える、可変長復号部と可変長符号化部との構成の一例を示す説明図である。 第１の実施形態に係る画像処理装置が備える、可変長復号・可変長符号化部の構成の一例を示す説明図である。 第２の実施形態に係る画像処理装置の構成の一例を示す説明図である。 第２の実施形態に係る画像処理装置が処理を行う場合における、画像データのサイズと、量子化値との関係の一例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係る画像処理方法
２．本実施形態に係る画像処理装置
３．本実施形態に係るプログラム

（本実施形態に係る画像処理方法）
本実施形態に係る画像処理装置の構成について説明する前に、まず、本実施形態に係る画像処理方法について説明する。以下では、本実施形態に係る画像処理方法に係る処理を、本実施形態に係る画像処理装置が行う場合を主に例に挙げて、本実施形態に係る画像処理方法について説明する。

画像データを符号化して圧縮する際に、ウェーブレット変換が用いられる場合には、画像データが示す画像は、例えば、ウェーブレットのレベルによって階層的に表される。

図１は、本実施形態に係る画像処理方法の概要を説明するための説明図である。図１のＡは、ウェーブレットの４レベル分解を示している。また、図１のＢは、図１のＡに示す画像全体が示す画像（フル解像度の画像。以下「Ｆｕｌｌ Ｒｅｓｏｒｕｔｉｏｎ」と示す場合がある。）の一例を示しており、図１のＣは、図１のＡに示すＬＬ（レベル４のＬＬ）が示す画像の一例を示している。

ウェーブレット変換が行われる場合には、処理対象の画像データを高周波成分と低周波成分とに分解する処理が行われる。例えば、処理対象の画像データに対してウェーブレット変換が行われる場合、第１方向（垂直方向または水平方向）にローパスフィルタとハイパスフィルタとをそれぞれかけた後に、第２方向（水平方向または垂直方向）にローパスフィルタとハイパスフィルタとをそれぞれかけることによって、当該処理対象の画像データが、高周波成分と低周波成分とに分解される。

図１のＡでは、処理対象の画像データを第１方向のハイパスフィルタにかけた出力Ｈに対して、第２方向ハイパスフィルタをかけた出力を“ＨＨ１”と示し、処理対象の画像データを第１方向のハイパスフィルタにかけた出力Ｈに対して、第２方向ローパスフィルタをかけた出力を“ＨＬ１”と示している。また、図１のＡでは、処理対象の画像データを第１方向のローパスフィルタにかけた出力Ｌに対して、第２方向ハイパスフィルタをかけた出力を“ＬＨ１”と示している。

ここで、図１のＡに示す“ＨＨ１”、“ＨＬ１”、“ＬＨ１”は、処理対象の画像データの高周波成分に対応する。また、処理対象の画像データを第１方向のローパスフィルタにかけた出力Ｌに対して、第２方向ハイパスフィルタをかけた出力（以下、「ＬＬ１」と示す。）は、処理対象の画像データの低周波成分に対応する。

上記のような処理によって、レベル１のウェーブレット変換に係る処理が実現される。

ウェーブレット変換が行われる場合、上記のような画像データを高周波成分と低周波成分とに分解する処理を繰り返し行うことが可能である。以下、図１のＡに示すように４レベル分解が行われる場合を例に挙げて説明する。

処理対象の画像データの高周波成分に対応する図１のＡの“ＨＨ１”、“ＨＬ１”、“ＬＨ１”に対しては、ウェーブレット変換に係るさらなる処理は行われない。一方、処理対象の画像データの低周波成分に対応する“ＬＬ１”は、処理対象の画像データに対するレベル１のウェーブレット変換に係る処理と同様の処理によって、高周波成分と低周波成分とに分解される。

図１のＡでは、“ＬＬ１”を第１方向のハイパスフィルタにかけた出力Ｈに対して、第２方向ハイパスフィルタをかけた出力を“ＨＨ２”と示し、“ＬＬ１”を第１方向のハイパスフィルタにかけた出力Ｈに対して、第２方向ローパスフィルタをかけた出力を“ＨＬ２”と示している。また、図１のＡでは、“ＬＬ１”を第１方向のローパスフィルタにかけた出力Ｌに対して、第２方向ハイパスフィルタをかけた出力を“ＬＨ２”と示している。

図１のＡに示す“ＨＨ２”、“ＨＬ２”、“ＬＨ２”は、“ＬＬ１”の高周波成分に対応する。また、“ＬＬ１”を第１方向のローパスフィルタにかけた出力Ｌに対して、第２方向ハイパスフィルタをかけた出力（以下、「ＬＬ２」と示す。）は、“ＬＬ１”の低周波成分に対応する。

上記のような処理によって、レベル２のウェーブレット変換に係る処理が実現される。

“ＬＬ１”の高周波成分に対応する図１のＡの“ＨＨ２”、“ＨＬ２”、“ＬＨ２”に対しては、ウェーブレット変換に係るさらなる処理は行われない。一方、“ＬＬ１”の低周波成分に対応する“ＬＬ２”は、処理対象の画像データに対するレベル１のウェーブレット変換に係る処理と同様の処理によって、高周波成分と低周波成分とに分解される。

図１のＡでは、“ＬＬ２”を第１方向のハイパスフィルタにかけた出力Ｈに対して、第２方向ハイパスフィルタをかけた出力を“ＨＨ３”と示し、“ＬＬ２”を第１方向のハイパスフィルタにかけた出力Ｈに対して、第２方向ローパスフィルタをかけた出力を“ＨＬ３”と示している。また、図１のＡでは、“ＬＬ２”を第１方向のローパスフィルタにかけた出力Ｌに対して、第２方向ハイパスフィルタをかけた出力を“ＬＨ３”と示している。

図１のＡに示す“ＨＨ３”、“ＨＬ３”、“ＬＨ３”は、“ＬＬ２”の高周波成分に対応する。また、“ＬＬ２”を第１方向のローパスフィルタにかけた出力Ｌに対して、第２方向ハイパスフィルタをかけた出力（以下、「ＬＬ３」と示す。）は、“ＬＬ２”の低周波成分に対応する。

上記のような処理によって、レベル３のウェーブレット変換に係る処理が実現される。

“ＬＬ２”の高周波成分に対応する図１のＡの“ＨＨ３”、“ＨＬ３”、“ＬＨ３”に対しては、ウェーブレット変換に係るさらなる処理は行われない。一方、“ＬＬ２”の低周波成分に対応する“ＬＬ３”は、処理対象の画像データに対するレベル１のウェーブレット変換に係る処理と同様の処理によって、高周波成分と低周波成分とに分解される。

図１のＡでは、“ＬＬ３”を第１方向のハイパスフィルタにかけた出力Ｈに対して、第２方向ハイパスフィルタをかけた出力を“ＨＨ４”と示し、“ＬＬ３”を第１方向のハイパスフィルタにかけた出力Ｈに対して、第２方向ローパスフィルタをかけた出力を“ＨＬ４”と示している。また、図１のＡでは、“ＬＬ３”を第１方向のローパスフィルタにかけた出力Ｌに対して、第２方向ハイパスフィルタをかけた出力を“ＬＨ４”と示している。また、図１のＡでは、“ＬＬ３”を第１方向のローパスフィルタにかけた出力Ｌに対して、第２方向ハイパスフィルタをかけた出力“ＬＬ４”と示している。

図１のＡに示す“ＨＨ４”、“ＨＬ４”、“ＬＨ４”は、“ＬＬ３”の高周波成分に対応する。また、“ＬＬ４”は、“ＬＬ３”の低周波成分に対応する。

上記のような処理によって、レベル４のウェーブレット変換に係る処理が実現される。

例えば上記のように、画像データを、高周波成分と低周波成分とに分解する処理を繰り返すことによって、図１のＡに示すようなウェーブレットの４レベル分解が実現される。

ここで、低周波成分に対応する“ＬＬ１”、“ＬＬ２”、“ＬＬ３”、および“ＬＬ４”が示す画像は、図１のＢに示すようなフル解像度の画像に対して順番に解像度が低くなる画像である。つまり、ウェーブレット変換が用いられる場合には、画像データが示す画像は、例えば、ウェーブレットのレベルによって階層的に表される。

画像データをウェーブレット変換し、所定の単位で量子化し、符号化されて圧縮された圧縮画像データを復号するときには、上記のように階層的に表される画像を階層的に復号する階層復号が行われる場合がある。階層復号が行われることによって、例えば、解像度が低い画像が表示画面に表示された後に、徐々に解像度が高い画像が表示画面に表示されることを実現することが可能となる。

ここで、圧縮画像データを階層復号する処理を容易化するための方法としては、例えば、ウェーブレット変換された画像データを、フレーム単位でウェーブレットのレベルごとに並び替えることが考えられる。

図２は、本実施形態に係る画像処理方法に係る画像データの並び替えを説明するための説明図である。図２のＡは、ウェーブレット変換の１水平単位であるＴＵ（Transfer Unit。例えば、１６ライン単位に相当し、１フレームは、約１４０ＴＵである。）単位でインターリブされた場合の画像データの並びを示している。また、図２のＢは、本実施形態に係る画像処理方法に係る画像データの並び替えによって、実現される画像データの並びを示しており、フレーム単位でインターリブされた場合の画像データの並びを示している。

例えば図２のＡに示すようなＴＵ単位でインターリーブされている場合には、圧縮画像データを復号する処理を行う装置（以下、「復号処理装置」と示す。）は、階層復号のために下記のような処理を順に行う必要がある。
・レベル４のＬＬに対応するデータを集めて復号
・レベル３のＬＬに対応するデータを集めて復号
・レベル２のＬＬに対応するデータを集めて復号
・レベル２のＬＬに対応するデータを集めて復号
・Ｆｕｌｌ Ｒｅｓｏｒｕｔｉｏｎに対応するデータを集めて復号

例えば図２のＢに示すように、フレーム単位でウェーブレットのレベルごとに並び替えられて、フレーム単位でインターリーブされている場合には、復号処理装置は、処理対象の圧縮画像データを順番に復号すれば、階層復号を実現することが可能である。よって、例えば図２のＢに示すような、フレーム単位でウェーブレットのレベルごとに並び替えが行われることによって、圧縮画像データの階層復号の容易化を図ることができる。

さらに、フレーム単位でウェーブレットのレベルごとに並び替えが行われることによる、圧縮画像データの階層復号が容易化されるという効果は、圧縮画像データが、例えば、４Ｋ（Ｕｌｔｒａ ＨＤ（High Definition）。４０９６×２１６０など）／４８０［フレーム／ｓｅｃ］やＨＤ／１０００［フレーム／ｓｅｃ］などの広帯域な画像データであればある程、顕著となる。

図３は、フレーム単位でウェーブレットのレベルごとに並び替えを実現する一の方法が適用された画像処理装置１０の構成の一例を示す説明図である。

画像処理装置１０は、ウェーブレット変換部１２と、量子化値取得部１４と、並び替え処理部１６と、量子化部１８と、可変長符号化部２０とを備える。圧縮装置１０では、例えば、ＭＰＵ（Micro Processing Unit）などの演算回路で構成されるプロセッサが、ウェーブレット変換部１２、符号量計算部１４、並び替え処理部１６、量子化部１８、および可変長符号化部２０の役目を果たす。また、ウェーブレット変換部１２、符号量計算部１４、並び替え処理部１６、量子化部１８、および可変長符号化部２０は、各部の処理を実現可能な専用の（または汎用の）回路で構成されていてもよい。

ウェーブレット変換部１２は、入力された画像データ（以下、「入力画像」または「入力画像データ」と示す場合がある。）をウェーブレット変換する。

量子化値取得部１４は、ウェーブレット変換された画像データ（以下、単に「変換された画像データ」と示す場合がある。）に対応する、基準単位に基づく所定の単位ごとの量子化値Ｑを取得する。

ここで、本実施形態に係る基準単位としては、例えばＴＵが挙げられる。また、本実施形態に係る基準単位に基づく所定の単位としては、例えば、基準単位そのもの、複数の基準単位、または、１フレームなどが挙げられる。以下では、本実施形態に係る所定の単位が、ＴＵである場合を例に挙げる。

量子化値取得部１４は、例えば、ＴＵ（所定の単位の一例）ごとに変換された画像データの符号量を計算して、ＴＵごとの量子化値Ｑを算出することによって、ＴＵごとの量子化値Ｑを取得する。ここで、量子化値取得部１４は、量子化部１８において行われる量子化に係る処理に対応する算出方法によって、整数値の量子化値Ｑ、または小数値の量子化値Ｑを算出する。

また、量子化値取得部１４は、例えば、上記計算結果が予め記憶されている量子化テーブルなどを参照することによって、変換された画像データに対応する、ＴＵ内の各レベル・成分ごとに重みづけられた量子化値Ｑを取得することも可能である。上記量子化テーブルなどのデータは、例えば、ＲＯＭ（Read Only Memory。図示せず）などに記憶され、量子化値取得部１４は、ＲＯＭなどから上記量子化テーブルなどを読み出して、ＴＵ内の各レベル・成分ごとに重みづけられた量子化値Ｑを取得する。

並び替え処理部１６は、フレームメモリの役目を果たすメモリを備え、ウェーブレット変換された画像データを遅延させて、量子化値Ｑと、ウェーブレット変換された画像データとのタイミングを合わせる。並び替え処理部１６における遅延量は予め設定される。並び替え処理部１６は、例えば、量子化値取得部１４における量子化値の取得に要する時間（例えば、符号量の計算に要する時間）分、ウェーブレット変換された画像データを遅延させる。

また、並び替え処理部１６は、ウェーブレット変換され、例えば図２のＡに示すようなＴＵ単位でインターリーブされている画像データを、例えば図２のＢに示すように、フレーム単位でウェーブレットのレベルごとに並び替える。

量子化部１８は、並び替え処理部１６において並び替えられた画像データを、量子化値Ｑに基づいて量子化する。

可変長符号化部２０は、量子化部１８において量子化された画像データを可変長符号化する。

画像処理装置１０では、例えば図１に示す構成により、入力画像データがウェーブレット変換され、量子化され、符号化されて、入力画像データが圧縮される。また、画像処理装置１０では、例えば図１に示す構成により、入力画像データがウェーブレット変換された画像データを、例えば図２のＢに示すようにフレーム単位でウェーブレットのレベルごとに並び替えることが、実現される。

しかしながら、画像処理装置１０は、並び替え処理部１６においてウェーブレット変換された画像データ、すなわち、ウェーブレット変換後の非圧縮の画像データを処理対象として、フレーム単位でウェーブレットのレベルごとに並び替える。そのため、画像処理装置１０は、並び替え処理部１６においてフレーム単位でウェーブレットのレベルごとに並び替えるために、ウェーブレット変換後の非圧縮の画像データを１フレーム以上記憶することが可能な記憶容量のメモリを備える必要がある。

そこで、本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、画像データをウェーブレット変換し、所定の単位で量子化し、可変長符号化して圧縮された圧縮画像データを、例えば図２のＢに示すように、フレーム単位でウェーブレットのレベルごとに並び替える。

本実施形態に係る画像処理装置が、圧縮画像データをフレーム単位でウェーブレットのレベルごとに並び替えるので、本実施形態に係る画像処理装置は、画像データの並び替えに要するメモリを、非圧縮の画像データを並び替える画像処理装置１０よりも小さくすることができ、また、画像データの並び替えに要するメモリの帯域を、画像処理装置１０よりも抑えることができる。

また、本実施形態に係る画像処理装置は、圧縮画像データをフレーム単位でウェーブレットのレベルごとに並び替えるので、上述したように、圧縮画像データの階層復号の容易化を図ることができる。また、上述したように、フレーム単位でウェーブレットのレベルごとに並び替えが行われることによる、圧縮画像データの階層復号が容易化されるという効果は、圧縮画像データが、例えば、４Ｋ／４８０［フレーム／ｓｅｃ］などの広帯域な画像データであればある程、顕著となる。

（本実施形態に係る画像処理装置）
次に、本実施形態に係る画像処理方法に係る処理を行うことが可能な、本実施形態に係る画像処理装置の構成の一例について、説明する。

［１］第１の実施形態に係る画像処理装置
図４は、第１の実施形態に係る画像処理装置１００の構成の一例を示す説明図である。画像処理装置１００は、例えば、ウェーブレット変換部１０２と、量子化値取得部１０４と、メモリ１０６と、量子化部１０８と、第１可変長符号化部１１０と、並び替え処理部１１２と、可変長復号部１１４と、第２可変長符号化部１１６とを備える。

ここで、図４では、並び替え処理部１１２が、本実施形態に係る画像処理方法に係る処理を行う役目を果たす。また、図４では、例えば、ウェーブレット変換部１０２、量子化値取得部１０４、メモリ１０６、量子化部１０８、および第１可変長符号化部１１０が、画像データをウェーブレット変換し、所定の単位で量子化し、可変長符号化して圧縮する圧縮処理部（第１圧縮処理部）の役目を果たす。

また、画像処理装置１００は、例えば、制御部（図示せず）や、ＲＯＭ（図示せず）、ＲＡＭ（図示せず）、外部装置と通信を行うための通信部（図示せず）などを備えていてもよい。

制御部（図示せず）は、例えば、ＭＰＵなどの演算回路で構成されるプロセッサや、各種回路などで構成され、画像処理装置１００全体を制御する。また、制御部（図示せず）は、例えば、画像処理装置１００において、ウェーブレット変換部１０２、量子化値取得部１０４、量子化部１０８、第１可変長符号化部１１０、並び替え処理部１１２、可変長復号部１１４、および第２可変長符号化部１１６のうちの１または２以上の役目を果たしてもよい。なお、ウェーブレット変換部１０２、量子化値取得部１０４、量子化部１０８、第１可変長符号化部１１０、並び替え処理部１１２、可変長復号部１１４、および第２可変長符号化部１１６のうちの１または２以上が、各部の処理を実現可能な専用の（または汎用の）回路で構成されていてもよいことは、言うまでもない。

ＲＯＭ（図示せず）は、制御部（図示せず）が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部（図示せず）により実行されるプログラムなどを一時的に記憶する。

通信部（図示せず）は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部装置と無線または有線で通信を行う役目を果たす。ここで、通信部（図示せず）としては、例えば、光ファイバー接続端子および送受信回路や、通信アンテナおよびＲＦ（Radio Frequency）回路、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）などが挙げられる。また、本実施形態に係るネットワークとしては、例えば、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ：Wireless Local Area Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ：Wireless Wide Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。

ウェーブレット変換部１０２は、入力画像データをウェーブレット変換する。以下では、ウェーブレット変換部１０２が、例えば図１のＡに示すように、４レベルに分解する場合を例に挙げる。

ここで、本実施形態に係る入力画像データとしては、例えば、４Ｋや、ＨＤなど様々な解像度の動画像（または、複数の静止画像）を示す、画像データが挙げられる。具体例を挙げると、本実施形態に係る入力画像データとしては、例えば、４Ｋ／４８０［フレーム／ｓｅｃ］やＨＤ／１０００［フレーム／ｓｅｃ］などの動画像を示す画像データが挙げられる。

また、本実施形態に係る入力画像データは、例えば、ＲＡＷ画像を示す画像データであってもよいし、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）それぞれに対応する画像を示す複数の画像データであってもよい。

本実施形態に係る入力画像データとしては、撮像デバイスによる撮像により生成された画像データや、記録媒体から読み出された画像データ、外部装置から送信されて通信部（図示せず）や接続されている外部通信デバイスにより受信された画像データなどが挙げられる。上記記録媒体としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリ（nonvolatile memory）などが挙げられる。

量子化値取得部１０４は、例えば図３の量子化値取得部１４と同様に、変換された画像データに対応する、所定の単位ごとの量子化値Ｑを取得する。以下では、量子化値取得部１０４が、ＴＵ（所定の単位の一例）ごとに、量子化値Ｑを取得する場合を例に挙げる。

メモリ１０６は、変換された画像データを遅延させて、量子化値Ｑと変換された画像データとのタイミングを合わせる（ディレイを合わせる）。メモリ１０６は、画像処理装置１００におけるバッファに該当する。

メモリ１０６における遅延量は予め設定される。メモリ１０６は、例えば、量子化値取得部１０４における量子化値の取得に要する時間（例えば、符号量の計算に要する時間）分、変換された画像データを遅延させる。

ここで、量子化値ＱがＴＵごと（所定の単位の一例）に算出される場合には、メモリ１０６は、例えば、ＴＵ単位分（１６ライン分）、すなわち、所定の単位に相当する記憶容量を有する。つまり、メモリ１０６は、１フレーム以上に相当する画像データを記憶可能な記憶容量を有する必要はない。

量子化部１０８は、ＴＵ（所定の単位の一例）ごとに、量子化値Ｑで変換された画像データを量子化する。

例えば量子化値Ｑが整数値である場合、量子化部１０８は、量子化値Ｑに基づき変換された画像データを右シフトさせ、シフトされた画像データを、設定されている端数処理によって丸めることによって、画像データを量子化する。

また、例えば量子化値Ｑが小数値である場合、量子化部１０８は、量子化値Ｑ１で変換された画像データを除算し、除算された画像データを、設定されている端数処理によって丸めることによって、画像データを量子化する。

量子化部１０８は、例えば、量子化方式として、整数値の量子化値Ｑに基づくシフト演算または小数値の量子化値Ｑに基づく小数量子化を用いるによって、画像データを量子化する。なお、量子化部１０８は、例えば、画像データの量子化を行うことが可能な任意の量子化方式を用いた処理によって、画像データを量子化してもよい。

第１可変長符号化部１１０は、ＴＵ（所定の単位の一例）ごとに、量子化値Ｑで量子化された画像データを、可変長符号化する。第１可変長符号化部１１０は、例えば、２次元可変長符号化や、ハフマン符号化、ランレングス符号化、算術符号化、適応ビット割当などの可変長符号化が可能な任意の方式を用いて、量子化値Ｑで量子化された画像データを可変長符号化する。

画像処理装置１００では、ウェーブレット変換部１０２、量子化値取得部１０４、メモリ１０６、量子化部１０８、および第１可変長符号化部１１０によって、入力画像データがウェーブレット変換され、所定の単位で量子化され、可変長符号化されて、入力画像データが圧縮される。

並び替え処理部１１２は、第１可変長符号化部１１０から伝達される圧縮画像データを、例えば図２のＢに示すように、フレーム単位でウェーブレットのレベルごとに並び替える。

（１）並び替え処理部１１２の第１の構成例
図５は、第１の実施形態に係る画像処理装置１００が備える並び替え処理部１１２の構成の第１の例を示す説明図である。

第１の例に係る並び替え処理部１１２は、例えば、メモリ部１２０と、書き込み制御部１２２と、読み出し制御部１２４と、出力部１２６と、符号長／データ長検出部１２８とを備える。

ここで、例えば、画像処理装置１００では、例えば、制御部（図示せず）を構成するプロセッサが、書き込み制御部１２２、読み出し制御部１２４、および符号長／データ長検出部１２８の役目を果たす。また、画像処理装置１００では、例えば、書き込み制御部１２２、読み出し制御部１２４、および符号長／データ長検出部１２８のうちの１または２以上が、各部の処理を実現可能な専用の（または汎用の）回路で構成されていてもよい。

メモリ部１２０は、複数のメモリを有し、圧縮画像データを、レベルに対応して階層的に記憶する。図５では、メモリ部１２０が、下記に示すデータが書き込み制御部１２２により記録される、５つのメモリ１２０Ａ〜１２０Ｅを備える例を示している。
・メモリ１２０Ａ：“ＬＨ１”、“ＨＬ１”、“ＨＨ１”に対応するデータが記録されるメモリ
・メモリ１２０Ｂ：“ＬＨ２”、“ＨＬ２”、“ＨＨ２”に対応するデータが記録されるメモリ
・メモリ１２０Ｃ：“ＬＨ３”、“ＨＬ３”、“ＨＨ３”に対応するデータが記録されるメモリ
・メモリ１２０Ｄ：“ＬＨ４”、“ＨＬ４”、“ＨＨ４”に対応するデータが記録されるメモリ
・メモリ１２０Ｅ：“ＬＬ４”が記録されるメモリ

図１のＡに示すように４レベル分解が行われる場合には、上述したように、低周波成分に対応する“ＬＬ１”、“ＬＬ２”、“ＬＬ３”、および“ＬＬ４”が示す画像は、図１のＢに示すようなフル解像度の画像に対して順番に解像度が低くなる画像であり、これらの画像は、ウェーブレットのレベルにより階層的に表される画像であるといえる。また、例えば図２のＡに示すように、メモリ１２０Ｄおよびメモリ１２０Ｅに記憶されているデータは、“ＬＬ３”に該当し、メモリ１２０Ｃ、メモリ１２０Ｄおよびメモリ１２０Ｅに記憶されているデータは、“ＬＬ２”に該当する。そして、メモリ１２０Ｂ、メモリ１２０Ｃ、メモリ１２０Ｄおよびメモリ１２０Ｅに記憶されているデータは、“ＬＬ１”に該当し、メモリ１２０Ａ、メモリ１２０Ｂ、メモリ１２０Ｃ、メモリ１２０Ｄおよびメモリ１２０Ｅに記憶されているデータは、Ｆｕｌｌ Ｒｅｓｏｒｕｔｉｏｎに該当する。

よって、メモリ部１２０は、例えば図５に示すように、圧縮画像データが各レベルごとにメモリに記録されることによって、圧縮画像データが、レベルに対応して階層的に記憶される。

書き込み制御部１２２は、圧縮画像データから検出される符号長とデータ長（符号量）との検出結果に基づいて、メモリ部１２０が有するメモリ１２０Ａ〜１２０Ｅへ、圧縮画像データを書き込ませる。書き込み制御部１２２は、符号長とデータ長との検出結果に基づいて、各レベルの規定データ数分に相当する符号（データ）を、各レベルに対応するメモリ１２０Ａ〜１２０Ｅに書き込ませる。書き込み制御部１２２は、例えば、書き込みを行わせるための書き込み命令を、メモリ１２０Ａ〜１２０Ｅへ伝達することによって、メモリ１２０Ａ〜１２０Ｅにデータを書き込ませる。

ここで、書き込み制御部１２２は、例えば、符号長／データ長検出部１２８から伝達される、符号長とデータ長との検出結果に基づいて処理を行う。

なお、書き込み制御部１２２が、符号長／データ長検出部１２８と同様の機能、すなわち、圧縮画像データから符号長とデータ長とを検出する機能を有する場合には、書き込み制御部１２２は、圧縮画像データから符号長とデータ長とを検出して、処理を行ってもよい。また、書き込み制御部１２２が、圧縮画像データから符号長とデータ長とを検出する機能を有する場合には、並び替え処理部１１２は、符号長／データ長検出部１２８を備えない構成をとることも可能である。

また、書き込み制御部１２２は、１フレーム分の圧縮画像データをメモリ部１２０に書き込ませた場合には、１フレーム分の圧縮画像データがメモリ部１２０に書き込まれたことを示す通知情報（例えば、図５に示す“Ｆｒａｍｅ_Ｅｎｄ”）を、読み出し制御部１２４へ伝達する。また、書き込み制御部１２２は、例えば、図５において“各Ｌｅｖｅｌ書き込み数”と示すように、各レベルに対応するデータのメモリへの書き込み数を示す情報を、読み出し制御部１２４へ伝達してもよい。

読み出し制御部１２４は、メモリ部１２０からの圧縮画像データの読み出しを制御する。

読み出し制御部１２４は、例えば、書き込み制御部１２２から伝達される通知情報に基づいて、メモリ部１２０から圧縮画像データを読み出させる。また、読み出し制御部１２４は、例えば、メモリ部１２０を構成する各メモリ１２０Ａ〜１２０Ｅに書き込まれた符号量を参照して、１フレーム分のデータが書き込まれている場合に、メモリ部１２０から圧縮画像データを読み出させてもよい。

より具体的には、読み出し制御部１２４は、例えば、通知情報が伝達されると、メモリ１２０Ｅに記憶されているデータ（“ＬＬ４”）、メモリ１２０Ｄに記憶されているデータ（“ＬＨ４”、“ＨＬ４”、“ＨＨ４”）、メモリ１２０Ｃに記憶されているデータ（“ＬＨ３”、“ＨＬ３”、“ＨＨ３”）、メモリ１２０Ｂに記憶されているデータ（“ＬＨ２”、“ＨＬ２”、“ＨＨ２”）、およびメモリ１２０Ａに記憶されているデータ（“ＬＨ１”、“ＨＬ１”、“ＨＨ１”）の順番に、メモリ部１２０から圧縮画像データを読み出させる。

読み出し制御部１２４が、上記のようにメモリ部１２０から圧縮画像データを読み出させることによって、ウェーブレットのレベルが高い順に圧縮画像データが読み出される。よって、メモリ部１２０から読み出される圧縮画像データは、図２のＢに示すような、フレーム単位でウェーブレットのレベルごとに並び替えられたデータとなる。

また、読み出し制御部１２４は、例えば、出力部１２６を構成するスイッチング回路の切り替えを制御する制御信号を、出力部１２６へ伝達して、メモリ部１２０から読み出されたデータを出力させる。

なお、読み出し制御部１２４は、例えば、後述する可変長復号部１１４や可変長復号・可変長符号化部１５０（例えば、可変長復号部１１４や可変長復号・可変長符号化部１５０が備えるメモリ読み出し制御部１３４）から伝達される、読み出し制御信号に基づいて、メモリ部１２０から圧縮画像データを読み出させることも可能である。

出力部１２６は、例えば、読み出し制御部１２４から伝達される制御信号に応じて、出力端とメモリ部１２０を構成するメモリ１２０Ａ〜１２０Ｅのいずれかを接続するスイッチング回路で構成される。出力部１２６を構成するスイッチング回路としては、例えば、マルチプレクサや、複数のＭＯＳＦＥＴ（Metal-Oxide-Semiconductor Field-Effect Transistor）などで構成されるスイッチング回路など、制御信号に応じて、出力端とメモリ部１２０を構成するメモリ１２０Ａ〜１２０Ｅのいずれかを接続することが可能な、任意の構成のスイッチング回路が挙げられる。

符号長／データ長検出部１２８は、第１可変長符号化部１１０から伝達される圧縮画像データから、符号長とデータ長とを検出し、検出された符号長とデータ長とを示すデータを、書き込み制御部１２２へ伝達する。符号長／データ長検出部１２８は、例えば、圧縮画像データから符号長とデータ長とを検出することが可能な、符号化方式に対応する任意の方法を用いて、圧縮画像データから、符号長とデータ長とを検出することが可能である。

第１の例に係る並び替え処理部１１２は、例えば図５に示す構成によって、第１可変長符号化部１１０から伝達される圧縮画像データを、例えば図２のＢに示すように、フレーム単位でウェーブレットのレベルごとに並び替える。

なお、第１の例に係る並び替え処理部１１２の構成は、図５に示す構成に限られない。

例えば、書き込み制御部１２２が、圧縮画像データから符号長とデータ長とを検出する機能を有する場合には、並び替え処理部１１２は、符号長／データ長検出部１２８を備えない構成をとることが可能である。

また、例えば出力部１２６と同様の機能を有するスイッチング回路が、可変長復号部１１４に備えられる場合など、画像処理装置１００では、出力部１２６は、並び替え処理部１１２の構成要素でなくてもよい。

（２）並び替え処理部１１２の第２の構成例
本実施形態に係る並び替え処理部１１２の構成は、図５に示す第１の例に係る構成（変形例も含む）に限られない。次に、並び替え処理部１１２の第２の構成例として、第１可変長符号化部１１０から伝達される圧縮画像データに、レベルごとのヘッダが含まれる場合における並び替え処理部１１２の構成について説明する。

図６は、第１の実施形態に係る画像処理装置１００が備える並び替え処理部１１２の構成の第２の例を示す説明図である。

第２の例に係る並び替え処理部１１２は、例えば、メモリ部１２０と、書き込み制御部１２２と、読み出し制御部１２４と、出力部１２６と、ヘッダ検出部１３０と、ヘッダ挿入部１３２とを備える。

ここで、例えば、画像処理装置１００では、例えば、制御部（図示せず）を構成するプロセッサが、書き込み制御部１２２、読み出し制御部１２４、および符号長／データ長検出部１２８の役目を果たす。また、画像処理装置１００では、例えば、書き込み制御部１２２、読み出し制御部１２４、ヘッダ検出部１３０、およびヘッダ挿入部１３２のうちの１または２以上が、各部の処理を実現可能な専用の（または汎用の）回路で構成されていてもよい。

メモリ部１２０は、図５に示す第１の例に係るメモリ部１２０と同様に、複数のメモリを有し、圧縮画像データを、レベルに対応して階層的に記憶する。図６では、メモリ部１２０が、図５に示す第１の例に係るメモリ部１２０と同様のデータがそれぞれ記録される、５つのメモリ１２０Ａ〜１２０Ｅを備える例を示している。つまり、メモリ部１２０は、図５に示す第１の例に係るメモリ部１２０と同様に、圧縮画像データが各レベルごとにメモリに記録され、圧縮画像データが、レベルに対応して階層的に記憶される。

書き込み制御部１２２は、圧縮画像データに含まれるヘッダが示すレベルごとのデータ長に基づいて、メモリ部１２０が有するメモリ１２０Ａ〜１２０Ｅへ、圧縮画像データを書き込ませる。書き込み制御部１２２は、ヘッダが示すレベルごとのデータ長に基づいて、各レベルの規定データ数分に相当する符号（データ）を、各レベルに対応するメモリ１２０Ａ〜１２０Ｅに書き込ませる。書き込み制御部１２２は、例えば、書き込み命令をメモリ１２０Ａ〜１２０Ｅへ伝達することによって、メモリ１２０Ａ〜１２０Ｅにデータを書き込ませる。

ここで、書き込み制御部１２２は、例えば、ヘッダを検出するヘッダ検出部１３０から伝達される、検出されたヘッダが示すレベルごとのデータ長を示すデータに基づいて処理を行う。

なお、書き込み制御部１２２が、ヘッダ検出部１３０と同様の機能、すなわち、圧縮画像データからヘッダを検出する機能を有する場合には、書き込み制御部１２２は、圧縮画像データからヘッダを検出して処理を行ってもよい。また、書き込み制御部１２２が、圧縮画像データからヘッダを検出する機能を有する場合には、並び替え処理部１１２は、ヘッダ検出部１３０を備えない構成をとることも可能である。

また、書き込み制御部１２２は、図５に示す第１の例に係る書き込み制御部１２２と同様に、１フレーム分の圧縮画像データがメモリ部１２０に書き込まれたことを示す通知情報（例えば、図６に示す“Ｆｒａｍｅ_Ｅｎｄ”）を、読み出し制御部１２４へ伝達する。また、書き込み制御部１２２は、図５に示す第１の例に係る書き込み制御部１２２と同様に、各レベルに対応するデータのメモリへの書き込み数を示す情報を、読み出し制御部１２４へ伝達してもよい。

読み出し制御部１２４は、図５に示す第１の例に係る読み出し制御部１２４と同様に、メモリ部１２０からの圧縮画像データの読み出しを制御する。よって、メモリ部１２０から読み出される圧縮画像データは、図２のＢに示すような、フレーム単位でウェーブレットのレベルごとに並び替えられたデータとなる。

また、読み出し制御部１２４は、ヘッダを挿入させるための挿入命令と、メモリ部１２０からの圧縮画像データの読み出しに応じた、レベルごとのデータ長を示すデータとを、ヘッダ挿入部１３２へ伝達し、ヘッダ挿入部１３２に、メモリ部１２０から読み出されれた圧縮画像データに対応するヘッダを、読み出されれた圧縮画像データに挿入させる。

出力部１２６は、図５に示す第１の例に係る出力部１２６と同様の機能、構成を有し、読み出し制御部１２４から伝達される制御信号に応じて、出力端とメモリ部１２０を構成するメモリ１２０Ａ〜１２０Ｅのいずれかを接続する。

ヘッダ検出部１３０は、読み出し制御部１２４から伝達される挿入命令と、レベルごとのデータ長を示すデータとに基づいて、例えば、出力部１２６の出力端から出力される圧縮画像データに、対応するレベルのデータ長を示すヘッダを挿入する。

第２の例に係る並び替え処理部１１２は、例えば図６に示す構成によって、第１可変長符号化部１１０から伝達される圧縮画像データを、例えば図２のＢに示すように、フレーム単位でウェーブレットのレベルごとに並び替える。

なお、第２の例に係る並び替え処理部１１２の構成は、図６に示す構成に限られない。

例えば、書き込み制御部１２２が、圧縮画像データからヘッダを検出する機能を有する場合には、並び替え処理部１１２は、ヘッダ検出部１３０を備えない構成をとることが可能である。

また、例えば出力部１２６と同様の機能を有するスイッチング回路が、可変長復号部１１４に備えられる場合など、画像処理装置１００では、出力部１２６は、並び替え処理部１１２の構成要素でなくてもよい。

また、第２の例に係る並び替え処理部１１２の後段の処理において、レベルごとのデータ長を示すヘッダが用いられない場合などには、並び替え処理部１１２は、ヘッダ挿入部１３２を備えていなくてもよい。また、ヘッダ挿入部１３２を備えない構成である場合には、ヘッダの挿入に係る機能（例えば挿入命令などを生成する機能）を有していなくてもよい。

画像処理装置１００は、例えば、上記第１の例に係る並び替え処理部１１２（変形例も含む）や、上記第２の例に係る並び替え処理部１１２（変形例も含む）を備えることによって、第１可変長符号化部１１０から伝達される圧縮画像データを、例えば図２のＢに示すように、フレーム単位でウェーブレットのレベルごとに並び替える。

再度図４を参照して、第１の実施形態に係る画像処理装置１００の構成の一例について説明する。可変長復号部１１４は、並び替え処理部１１２から伝達される、並び替えられた圧縮画像データを、可変長復号する。可変長復号部１１４は、第１可変長符号化部１１０が用いる可変長符号化方式と対応する可変長復号方式で、可変長符号化された画像データを復号する。

可変長符号化部１１６は、可変長復号された、並び替えられた圧縮画像データを、可変長符号化する。

図７は、第１の実施形態に係る画像処理装置１００が備える、可変長復号部１１４と可変長符号化部１１６との構成の一例を示す説明図である。

可変長復号部１１４は、メモリ読み出し制御部１３４と、バレルシフタ１３６と、コード検出部１３８と、繰り返しデータ生成部１４０とを備える。可変長復号部１１４は、例えば図７に示すような構成を有することによって、並び替え処理部１１２から伝達される並び替えられた圧縮画像データを、可変長復号する。なお、可変長復号部１１４の構成は、図７に示す構成に限られず、可変長復号部１１４は、並び替え処理部１１２から伝達される並び替えられた圧縮画像データを可変長復号することが可能な、任意の構成をとることが可能である。

また、可変長符号化部１１６は、繰り返し検出部１４２と、テーブル１４４と、ＦＩＦＯメモリ１４６（First In, First Out memory）とを備える。可変長符号化部１１６は、例えば図７に示すような構成を有することによって、可変長復号部１１４において可変長復号された、並び替えられた圧縮画像データを、可変長符号化する。なお、可変長符号化部１１６の構成は、図７に示す構成に限られず、可変長符号化部１１６は、可変長復号された並び替えられた圧縮画像データを、可変長符号化することが可能な、任意の構成をとることが可能である。

なお、図４では画像処理装置１００が、可変長復号部１１４と可変長符号化部１１６とを別体として備える構成を示しているが、第１の実施形態に係る画像処理装置に構成は、上記に限られない。

例えば、第１の実施形態に係る画像処理装置は、可変長復号部１１４および可変長符号化部１１６を備える代わりに、可変長復号部１１４の機能と可変長符号化部１１６の機能とが１つの構成要素で実現された、可変長復号・可変長符号化部を備える構成であってもよい。つまり、本実施形態に係る可変長復号・可変長符号化部は、“並び替えられた圧縮画像データの可変長復号と、可変長復号された、並び替えられた圧縮画像データの可変長符号化とを行う機能”を有する。

図８は、第１の実施形態に係る画像処理装置が備える、可変長復号・可変長符号化部１５０の構成の一例を示す説明図である。

可変長復号・可変長符号化部１５０は、例えば、メモリ読み出し制御部１３４と、バレルシフタ１３６と、コード検出部１３８と、繰り返し検出部１４２と、テーブル１４４と、ＦＩＦＯメモリ１４６とを備える。

図８に示す可変長復号・可変長符号化部１５０の構成と、図７に示す可変長復号部１１４および可変長符号化部１１６の構成とを比較すると、可変長復号・可変長符号化部１５０は、基本的に図７に示す可変長復号部１１４および可変長符号化部１１６の構成と同様の構成を有する。しかしながら、可変長復号・可変長符号化部１５０は、図７に示す可変長復号部１１４が備える繰り返しデータ生成部１４０を備えておらず、また、可変長復号・可変長符号化部１５０では、繰り返しのための制御（図７に示す“繰り返し数”に係る制御）が不要となる。

よって、第１の実施形態に係る画像処理装置が、可変長復号部１１４および可変長符号化部１１６を備える代わりに、図８に示す可変長復号・可変長符号化部１５０を備える場合には、より簡素化された構成、制御によって、並び替えられた圧縮画像データの可変長復号と、可変長復号された、並び替えられた圧縮画像データの可変長符号化とを行うことができる。なお、本実施形態に係る可変長復号・可変長符号化部の構成は、図８に示す構成に限られず、“並び替えられた圧縮画像データの可変長復号と、可変長復号された、並び替えられた圧縮画像データの可変長符号化とを行う機能”を実現することが可能な、任意の構成をとることが可能である。

第１の実施形態に係る画像処理装置１００では、例えば図４に示す構成（または、可変長復号部１１４および可変長符号化部１１６を備える代わりに、可変長復号・可変長符号化部を備える構成）によって、入力画像データがウェーブレット変換され、量子化され、符号化されて、入力画像データが圧縮される。

また、画像処理装置１００では、例えば図４によって、圧縮画像データを、例えば図２のＢに示すようにフレーム単位でウェーブレットのレベルごとに並び替えることが、実現される。よって、画像処理装置１００は、圧縮画像データの階層復号の容易化を図ることができる。

また、画像処理装置１００では、本実施形態に係る画像処理方法に係る処理を行う並び替え処理部１１２が、圧縮画像データを並び替えるので、画像処理装置１００では、圧縮後の１フレームを記憶することが可能な容量を有するメモリによって、並び替えが実現される。また、圧縮画像データを並び替えるので、並び替えに係るメモリの帯域は、非圧縮の画像データを並び替える場合よりも少なくて済む。

なお、第１の実施形態に係る画像処理装置１００の構成は、図４に示す構成に限られない。

例えば、第１の実施形態に係る画像処理装置は、ウェーブレット変換部１０２、量子化値取得部１０４、メモリ１０６、量子化部１０８、および第１可変長符号化部１１０を備えない構成、すなわち、画像データをウェーブレット変換し、所定の単位で量子化し、可変長符号化して圧縮する圧縮処理部（第１圧縮処理部）を備えない構成であってもよい。上記構成であっても、第１の実施形態に係る画像処理装置は、例えば、並び替え処理部１１２によって、本実施形態に係る画像処理方法に係る処理を行うことが可能である。

よって、上記圧縮処理部（第１圧縮処理部）を備えない構成であっても、第１の実施形態に係る画像処理装置は、例えば、外部装置においてウェーブレット変換し、所定の単位で量子化し、可変長符号化された圧縮画像データや、記録媒体に記録されている圧縮画像データを、並び替え処理部１１２が処理することによって、圧縮画像データの階層復号の容易化を図ることができる。また、上記圧縮処理部（第１圧縮処理部）を備えない構成であっても、画像データの並び替えに要するメモリを、非圧縮の画像データを並び替える場合よりも小さくすることができ、また、画像データの並び替えに要するメモリの帯域を、非圧縮の画像データを並び替える場合も抑えることができる。

また、第１の実施形態に係る画像処理装置は、可変長復号部１１４および可変長符号化部１１６、または、可変長復号・可変長符号化部を備えない構成であってもよい。可変長復号部１１４および可変長符号化部１１６、または、可変長復号・可変長符号化部を備えない構成であっても、第１の実施形態に係る画像処理装置は、並び替え処理部１１２によって、本実施形態に係る画像処理方法に係る処理を行うことが可能である。

よって、可変長復号部１１４および可変長符号化部１１６、または、可変長復号・可変長符号化部を備えない構成であっても、第１の実施形態に係る画像処理装置は、図４に示す画像処理装置１００と同様の効果を奏することができる。

また、第１の実施形態に係る画像処理装置は、画像（動画像、または静止画像）を撮像する撮像部（図示せず）を備えていてもよい。撮像部（図示せず）を備える場合、第１の実施形態に係る画像処理装置は、例えば、撮像部（図示せず）において撮像により生成された画像データを処理する。

撮像部（図示せず）としては、例えば、光学系のレンズと、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を複数用いたイメージセンサと、信号処理回路とで構成される撮像デバイスが挙げられる。信号処理回路は、例えば、ＡＧＣ（Automatic Gain Control）回路やＡＤＣ（Analog to Digital Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換する。

［２］第２の実施形態に係る画像処理装置
図９は、第２の実施形態に係る画像処理装置２００の構成の一例を示す説明図である。画像処理装置２００は、例えば、ウェーブレット変換部２０２と、第１量子化値取得部２０４と、第２量子化値取得部２０６と、メモリ２０８と、第１量子化部２１０と、第１可変長符号化部２１２と、並び替え処理部２１４と、可変長復号部２１６と、逆量子化部２１８と、第２量子化部２２０と、第２可変長符号化部２２２とを備える。

ここで、図９では、並び替え処理部２１２が、本実施形態に係る画像処理方法に係る処理を行う役目を果たす。また、図９では、例えば、ウェーブレット変換部２０２、第１量子化値取得部２０４、メモリ２０８、第１量子化部２１０、および第１可変長符号化部２１２が、画像データをウェーブレット変換し、所定の単位で量子化し、可変長符号化して圧縮する第１圧縮処理部の役目を果たす。また、図９では、第２量子化値取得部２０６、第２量子化部２２０、および第２可変長符号化部２２２が、逆量子化された画像データを、フレーム単位で量子化し、可変長符号化して圧縮する第２圧縮処理部の役目を果たす。

図９において、第１圧縮処理部における量子化に係る上記所定の単位は、第２圧縮処理部における量子化に係るフレーム単位よりも小さい単位である。以下では、第１圧縮処理部における量子化に係る上記所定の単位が、ＴＵ単位である場合を例に挙げる。

また、図９に示す画像処理装置２００では、ウェーブレット変換部２０２、第１量子化値取得部２０４、メモリ２０８、第１量子化部２１０、第１可変長符号化部２１２、並び替え処理部２１４、および可変長復号部２１６は、図４に示す画像処理装置１００の構成要素と下記のように対応する。
・ウェーブレット変換部２０２：画像処理装置１００のウェーブレット変換部１０２
・第１量子化値取得部２０４：画像処理装置１００の第１量子化値取得部１０４
・メモリ２０８：画像処理装置１００のメモリ１０６
・第１量子化部２１０：画像処理装置１００の量子化部１０８
・第１可変長符号化部２１２：画像処理装置１００の第１可変長符号化部１１０
・並び替え処理部２１４：画像処理装置１００の並び替え処理部１１２
・可変長復号部２１６：画像処理装置１００の可変長復号部１１４

また、画像処理装置２００は、例えば、制御部（図示せず）や、ＲＯＭ（図示せず）、ＲＡＭ（図示せず）、外部装置と通信を行うための通信部（図示せず）などを備えていてもよい。

制御部（図示せず）は、例えば、ＭＰＵなどの演算回路で構成されるプロセッサや、各種回路などで構成され、画像処理装置２００全体を制御する。また、制御部（図示せず）は、例えば、画像処理装置２００において、ウェーブレット変換部２０２、第１量子化値取得部２０４、第２量子化値取得部２０６、第１量子化部２１０、第１可変長符号化部２１２、並び替え処理部２１４、可変長復号部２１６、逆量子化部２１８、第２量子化部２２０、および第２可変長符号化部２２２のうちの１または２以上の役目を果たしてもよい。なお、ウェーブレット変換部２０２、第１量子化値取得部２０４、第２量子化値取得部２０６、第１量子化部２１０、第１可変長符号化部２１２、並び替え処理部２１４、可変長復号部２１６、逆量子化部２１８、第２量子化部２２０、および第２可変長符号化部２２２のうちの１または２以上が、各部の処理を実現可能な専用の（または汎用の）回路で構成されていてもよいことは、言うまでもない。

ＲＯＭ（図示せず）は、制御部（図示せず）が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部（図示せず）により実行されるプログラムなどを一時的に記憶する。通信部（図示せず）は、画像処理装置２００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部装置と無線または有線で通信を行う役目を果たす。ここで、通信部（図示せず）としては、例えば、光ファイバー接続端子および送受信回路や、通信アンテナおよびＲＦ回路、ＩＥＥＥ８０２．１１ポートおよび送受信回路などが挙げられる。

ウェーブレット変換部２０２は、図４のウェーブレット変換部１０２と同様の機能を有し、入力画像データをウェーブレット変換する。

第１量子化値取得部２０４は、図４の第１量子化値取得部１０４と同様の機能を有し、変換された画像データに対応する、所定の単位ごとの第１量子化値Ｑ１を取得する。第１量子化値取得部２０４は、フレーム単位よりも小さな単位ごとごとの第１量子化値Ｑ１を取得する。以下では、第１量子化値取得部２０４が、ＴＵ（所定の単位の一例）ごとに、第１量子化値Ｑ１を取得する場合を例に挙げる。

第２量子化値取得部１０６は、変換された画像データに対応する、フレーム単位の第２量子化値Ｑ２を取得する。

第２量子化値取得部１０６は、例えば、フレーム単位で変換された画像データの符号量を計算して、フレーム単位の第２量子化値Ｑ２を算出することによって、フレーム単位の第２量子化値Ｑ２を取得する。ここで、第２量子化値取得部１０６は、後述する第２量子化部２２０において行われる量子化に係る処理に対応して、整数値の第２量子化値Ｑ２、または小数値の第２量子化値Ｑ２を算出する。

第２量子化値取得部２０６は、例えば、上記計算結果が予め記憶されている量子化テーブルなどを参照することによって、変換された画像データに対応する、フレーム単位の各レベル・成分ごとに重みづけられた第２量子化値Ｑ２を取得することも可能である。上記量子化テーブルなどのデータは、例えば、ＲＯＭ（図示せず）などに記憶され、第２量子化値取得部２０６は、ＲＯＭなどから上記量子化テーブルなどを読み出して、フレーム単位の各レベル・成分ごとに重みづけられた第２量子化値Ｑ２を取得する。

メモリ２０８は、図４のメモリ１０６と同様の機能、構成を有し、変換された画像データを遅延させて、第１量子化値Ｑ１と変換された画像データとのタイミングを合わせる（ディレイを合わせる）。メモリ２０８は、画像処理装置２００におけるバッファに該当する。

第１量子化部２０８は、図４の量子化部１０８と同様の機能を有し、ＴＵ（所定の単位の一例）ごとに、第１量子化値Ｑ１で変換された画像データを量子化する。

第１可変長符号化部２１２は、図４の第１可変長符号化部１１０と同様の機能を有し、ＴＵ（所定の単位の一例）ごとに、第１量子化値Ｑ１で量子化された画像データを、可変長符号化する。

画像処理装置２００では、ウェーブレット変換部２０２、第１量子化値取得部２０４、メモリ２０８、第１量子化部２１０、および第１可変長符号化部２１２によって、入力画像データがウェーブレット変換され、所定の単位で量子化され、可変長符号化されて、入力画像データが圧縮される。

並び替え処理部２１４は、図４の並び替え処理部１１２と同様の機能、構成を有し、第１可変長符号化部２１２から伝達される圧縮画像データを、例えば図２のＢに示すように、フレーム単位でウェーブレットのレベルごとに並び替える。

可変長復号部２１６は、図４の可変長復号部１１４と同様の機能を有し、並び替え処理部２１４から伝達される、並び替えられた圧縮画像データを、可変長復号する。可変長復号部２１６は、第１可変長符号化部２１２が用いる可変長符号化方式と対応する可変長復号方式で、可変長符号化された画像データを復号する。

逆量子化部２１８は、可変長復号部２１６において復号された画像データを逆量子化する。逆量子化部２１８は、第１量子化部２１０が用いる量子化方式に対応する逆量子化方式で、復号された画像データを逆量子化する。

例えば、第１量子化部２１０が、整数値の第１量子化値Ｑ１に基づくシフト演算により画像データを量子化する場合には、逆量子化部２１８は、対応するシフト演算により画像データを逆量子化する。具体例を挙げると、第１量子化部２１０が、整数値の第１量子化値Ｑ１に基づき変換された画像データを右シフトさせ、シフトされた画像データを、設定されている端数処理によって丸めることによって、画像データを量子化する場合には、逆量子化部２１８は、整数値の第１量子化値Ｑ１に基づき復号された画像データを左シフトさせ、シフトされた画像データを、設定されている端数処理によって丸めることによって、逆量子化する。

また、第１量子化部２１０が、小数値の第１量子化値Ｑ１に基づく小数量子化により画像データを量子化する場合には、逆量子化部１１８は、例えば、小数値の第１量子化値Ｑ１と復号された画像データとを乗算し、乗算された画像データを、設定されている端数処理によって丸めることによって、逆量子化する。

逆量子化部２１８が、可変長復号部２１６において復号された画像データを逆量子化することによって、ウェーブレット変換部２０２において入力画像データがウェーブレット変換された画像データが、復元される。

第２量子化部２２０は、逆量子化部２１８において逆量子化された画像データを、第２量子化値Ｑ２で量子化する。

ここで、第２圧縮処理部を構成する第２量子化部２２０は、例えば、第１圧縮処理部を構成する第１量子化部２１０と同一の量子化方式で画像データを量子化する。

なお、第２量子化部２２０が量子化に用いる量子化方式は、第１量子化部２１０と同一の量子化方式に限られない。

例えば、第２量子化部２２０は、第１量子化部２１０とは異なる量子化方式で画像データを量子化してもよい。

第２量子化部２２０は、例えば、第１量子化部２１０よりもより画像データを圧縮することが可能な量子化方式で、画像データを量子化する。具体例を挙げると、第１量子化部２１０は、整数値の第１量子化値Ｑ１に基づくシフト演算により画像データを量子化し、第２量子化部２２０は、小数値の第１量子化値Ｑ１に基づく小数量子化により画像データを量子化する。

なお、本実施形態に係る画像処理装置２００では、第１量子化部２１０が、第２量子化部１２０よりもより画像データを圧縮することが可能な量子化方式で、画像データを量子化する構成をとることも可能である。

第２可変長符号化部２２２は、第２量子化部２２０において第２量子化値Ｑ２で量子化された画像データを、可変長符号化する。

ここで、第２圧縮処理部を構成する第２可変長符号化部２２２は、例えば、第１圧縮処理部を構成する第１可変長符号化部２１２と同一の可変長符号化方式で、画像データを可変長符号化する。

なお、第２可変長符号化部２２２が可変長符号化に用いる可変長符号化方式は、第１可変長符号化部２１２と同一の可変長符号化方式に限られない。

例えば、第２可変長符号化部２２２は、第１可変長符号化部２１２とは異なる可変長符号化方式で画像データを可変長符号化してもよい。具体例を挙げると、例えば、第１可変長符号化部２１２は、２次元可変長符号化により画像データを可変長符号化し、第２可変長符号化部２２２は、算術符号化により画像データを可変長符号化する。なお、第１可変長符号化部２１２と第２可変長符号化部２２２とが異なる可変長符号化方式で画像データを可変長符号化する場合の例が、上記に示す例に限られないことは、言うまでもない。

第２の実施形態に係る画像処理装置２００では、例えば図９に示す構成により、入力画像データが量子化および符号化されて、入力画像データが圧縮される。

図１０は、第２の実施形態に係る画像処理装置２００が処理を行う場合における、画像データのサイズと、量子化値との関係の一例を示す説明図である。図１０に示すＡは、図９のウェーブレット変換部２０２から伝達されるウェーブレット変換された画像データのサイズを示している。また、図１０に示すＢは、図９の第１可変長符号化部２１２から伝達される可変長符号化された画像データのデータサイズと、量子化値との一例を示している。また、図１０に示すＣは、図９の第２可変長符号化部２２２から伝達される可変長符号化された画像データのデータサイズと、量子化値との一例を示している。

例えば図１０のＢに示すように、第１可変長符号化部２１２から伝達される可変長符号化された画像データは、図１０のＡに示すウェーブレット変換された画像データのサイズよりも１／２〜１／３となっている。第１可変長符号化部２１２から伝達される可変長符号化された画像データを、図１０のＢに示すように、変換された画像データのサイズよりも１／２〜１／３とすることによって、ＴＵ（所定の単位の一例）の第１量子化値Ｑ１を低く抑えることができるので、高画質を維持することができる。

また、第１可変長符号化部２１２から伝達される可変長符号化された画像データを、図１０のＢに示すように、変換された画像データのサイズよりも１／２〜１／３とすることによって、例えば並び替え処理部２１４が備えるメモリ（メモリ部１２０を構成するメモリ）の帯域と記録容量とを抑えることが可能となる。

また、画像処理装置２００では、フレーム単位の符号量計算に基づく第２量子化値Ｑ２が取得されるので、フレーム内の画像の難易度にバラつきがあっても、図１０のＣに示すように、第２量子化値Ｑ２を固定値とすることが可能である。よって、例えば図１０のＣに示すように、入力画像データよりもサイズを低減しつつ、第２可変長符号化部２２２から出力される可変長符号化された画像データの画質を維持することができる。

また、画像処理装置２００では、入力画像データの圧縮に係る画像データの変換が、ウェーブレット変換部２０２におけるウェーブレット変換の１回だけである。よって、画像処理装置２００では、異なる方式による複数の変換が行われないので、異なる方式による複数の変換が行われる場合において生じうる画質の劣化は生じない。また、画像処理装置２００では、異なる方式による複数の変換が行われないので、複数の変換を行うための回路規模の増加はない。

したがって、画像処理装置２００は、例えば図９に示す構成によって、画像データのサイズを低減しつつ、画像の高画質化を図ることができる。また、画像処理装置２００は、例えば図９に示す構成によって、回路規模の増加を抑えながら画像の高画質化を図ることができる。

また、画像処理装置２００では、図４に示す第１の実施形態に係る画像処理装置１００と同様に、圧縮画像データを、例えば図２のＢに示すようにフレーム単位でウェーブレットのレベルごとに並び替えることが、実現される。

したがって、第２の実施形態に係る画像処理装置２００は、図４に示す第１の実施形態に係る画像処理装置１００と同様に、圧縮画像データの階層復号の容易化を図ることができる。

また、画像処理装置２００では、図４に示す第１の実施形態に係る画像処理装置１００と同様に、本実施形態に係る画像処理方法に係る処理を行う並び替え処理部２１２が、圧縮画像データを並び替える。よって、画像処理装置２００では、図４に示す第１の実施形態に係る画像処理装置１００と同様に、圧縮後の１フレームを記憶することが可能な容量を有するメモリによって、並び替えが実現される。また、圧縮画像データを並び替えるので、並び替えに係るメモリの帯域は、非圧縮の画像データを並び替える場合よりも少なくて済む。

なお、第２の実施形態に係る画像処理装置２００の構成は、図９に示す構成に限られない。

例えば、第２の実施形態に係る画像処理装置は、撮像部（図示せず）を備えていてもよい。撮像部（図示せず）を備える場合、第２の実施形態に係る画像処理装置は、例えば、撮像部（図示せず）において撮像により生成された画像データを処理する。

以上、本実施形態として画像処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、撮像装置や、ＰＣ（Personal Computer）やサーバなどのコンピュータ、テレビ受像機、携帯電話やスマートフォンなどの通信装置、タブレット型の装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機など、画像データを処理することが可能な様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ＩＣ（Integrated Circuit）に適用することもできる。

また、本実施形態は、例えばクラウドコンピューティングなどのように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなるシステムにより実現されてもよい。つまり、上述した本実施形態に係る画像処理装置は、例えば、複数の装置からなる画像処理システムとして実現することも可能である。

（本実施形態に係るプログラム）
コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（例えば、コンピュータを、並び替え処理部１１０、２１４として機能させるためのプログラムなど、本実施形態に係る画像処理方法に係る処理を実行することが可能なプログラム）が、コンピュータにおいてプロセッサなどにより実行されることによって、圧縮画像データの階層復号の容易化を図ることができる。

また、コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る画像処理方法に係る処理によって奏される効果を、奏することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記では、コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。

上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
画像データをウェーブレット変換し、基準単位に基づく所定の単位で量子化し、可変長符号化して圧縮された圧縮画像データを、フレーム単位でウェーブレットのレベルごとに並び替える並び替え処理部を備える、画像処理装置。
（２）
前記並び替え処理部は、
複数のメモリを有し、前記圧縮画像データを、前記レベルに対応して階層的に記憶するメモリ部と、
前記メモリ部への前記圧縮画像データの書き込みを制御する書き込み制御部と、
前記メモリ部からの前記圧縮画像データの読み出しを制御する読み出し制御部と、
を備え、
前記読み出し制御部は、前記メモリ部からウェーブレットのレベルが高い順に前記圧縮画像データを読み出させる、（１）に記載の画像処理装置。
（３）
前記書き込み制御部は、前記圧縮画像データから検出される符号長とデータ長との検出結果に基づいて、前記メモリ部が有する前記メモリへ、前記圧縮画像データを書き込ませる、（２）に記載の画像処理装置。
（４）
前記書き込み制御部は、前記圧縮画像データに含まれるヘッダが示す前記レベルごとのデータ長に基づいて、前記メモリ部が有する前記メモリへ、前記圧縮画像データを書き込ませる、（２）に記載の画像処理装置。
（５）
前記読み出し制御部は、前記メモリ部から読み出された前記圧縮画像データに対して、前記レベルに対応するデータ長を示すヘッダを前記レベルごとに付加させる、（４）に記載の画像処理装置。
（６）
前記書き込み制御部は、１フレーム分の前記圧縮画像データが前記メモリ部に書き込まれたことを示す通知情報を、前記読み出し制御部へ伝達し、
前記読み出し制御部は、前記通知情報に基づいて、前記メモリ部から前記圧縮画像データを読み出させる、（２）〜（５）のいずれか１つに記載の画像処理装置。
（７）
前記メモリ部は、前記圧縮画像データを、レベルごとに前記メモリに、記憶する、（２）〜（６）のいずれか１つに記載の画像処理装置。
（８）
画像データをウェーブレット変換し、前記所定の単位で量子化し、可変長符号化して圧縮する第１圧縮処理部をさらに備え、
前記並び替え処理部は、前記第１圧縮処理部において圧縮された前記圧縮画像データを処理する、（１）〜（７）のいずれか１つに記載の画像処理装置。
（９）
並び替えられた前記圧縮画像データを、可変長復号する可変長復号部と、
可変長復号された、並び替えられた前記圧縮画像データを、可変長符号化する可変長符号化部とをさらに備える、（１）〜（８）のいずれか１つに記載の画像処理装置。
（１０）
並び替えられた前記圧縮画像データの可変長復号と、可変長復号された、並び替えられた前記圧縮画像データの可変長符号化とを行う可変長復号・可変長符号化部をさらに備える、（１）〜（８）のいずれか１つに記載の画像処理装置。
（１１）
並び替えられた前記圧縮画像データを、可変長復号する可変長復号部と、
可変長復号された画像データを、逆量子化する逆量子化部と、
逆量子化された画像データを、フレーム単位で量子化し、可変長符号化して圧縮する第２圧縮処理部とをさらに備え
前記所定の単位は、前記フレーム単位よりも小さい単位である、（１）〜（８）のいずれか１つに記載の画像処理装置。
（１２）
画像データをウェーブレット変換し、基準単位に基づく所定の単位で量子化し、可変長符号化して圧縮された圧縮画像データを、フレーム単位でウェーブレットのレベルごとに並び替えるステップを有する、画像処理装置により実行される画像処理方法。

１０、１００、２００ 画像処理装置
１２、１０２、２０２ ウェーブレット変換部
１４、１０４ 量子化値取得部
１６、１１２、２１４ 並び替え処理部
１８、１０８ 量子化部
２０ 可変長符号化部
１０６、１２０Ａ、１２０Ｂ、１２０Ｃ、１２０Ｄ、１２０Ｅ、２０８ メモリ
１１０、２１２ 第１可変長符号化部
１１４、２１６ 可変長復号部
１１６、２２２ 第２可変長符号化部
１２０ メモリ部
１２２ 書き込み制御部
１２４ 読み出し制御部
１２６ 出力部
１２８ 符号長／データ長検出部
１３０ ヘッダ検出部
１３２ ヘッダ挿入部
２０４ 第１量子化値取得部
２０６ 第２量子化値取得部
２１０ 第１量子化部
２１８ 逆量子化部
２２０ 第２量子化部

Claims (12)

1. 画像データをウェーブレット変換し、基準単位に基づく所定の単位で量子化し、可変長符号化して圧縮された圧縮画像データを、フレーム単位でウェーブレットのレベルごとに並び替える並び替え処理部を備える、画像処理装置。
2. 前記並び替え処理部は、
   複数のメモリを有し、前記圧縮画像データを、前記レベルに対応して階層的に記憶するメモリ部と、
   前記メモリ部への前記圧縮画像データの書き込みを制御する書き込み制御部と、
   前記メモリ部からの前記圧縮画像データの読み出しを制御する読み出し制御部と、
   を備え、
   前記読み出し制御部は、前記メモリ部からウェーブレットのレベルが高い順に前記圧縮画像データを読み出させる、請求項１に記載の画像処理装置。
3. 前記書き込み制御部は、前記圧縮画像データから検出される符号長とデータ長との検出結果に基づいて、前記メモリ部が有する前記メモリへ、前記圧縮画像データを書き込ませる、請求項２に記載の画像処理装置。
4. 前記書き込み制御部は、前記圧縮画像データに含まれるヘッダが示す前記レベルごとのデータ長に基づいて、前記メモリ部が有する前記メモリへ、前記圧縮画像データを書き込ませる、請求項２に記載の画像処理装置。
5. 前記読み出し制御部は、前記メモリ部から読み出された前記圧縮画像データに対して、前記レベルに対応するデータ長を示すヘッダを前記レベルごとに付加させる、請求項４に記載の画像処理装置。
6. 前記書き込み制御部は、１フレーム分の前記圧縮画像データが前記メモリ部に書き込まれたことを示す通知情報を、前記読み出し制御部へ伝達し、
   前記読み出し制御部は、前記通知情報に基づいて、前記メモリ部から前記圧縮画像データを読み出させる、請求項２に記載の画像処理装置。
7. 前記メモリ部は、前記圧縮画像データを、レベルごとに前記メモリに、記憶する、請求項２に記載の画像処理装置。
8. 画像データをウェーブレット変換し、前記所定の単位で量子化し、可変長符号化して圧縮する第１圧縮処理部をさらに備え、
   前記並び替え処理部は、前記第１圧縮処理部において圧縮された前記圧縮画像データを処理する、請求項１に記載の画像処理装置。
9. 並び替えられた前記圧縮画像データを、可変長復号する可変長復号部と、
   可変長復号された、並び替えられた前記圧縮画像データを、可変長符号化する可変長符号化部とをさらに備える、請求項１に記載の画像処理装置。
10. 並び替えられた前記圧縮画像データの可変長復号と、可変長復号された、並び替えられた前記圧縮画像データの可変長符号化とを行う可変長復号・可変長符号化部をさらに備える、請求項１に記載の画像処理装置。
11. 並び替えられた前記圧縮画像データを、可変長復号する可変長復号部と、
    可変長復号された画像データを、逆量子化する逆量子化部と、
    逆量子化された画像データを、フレーム単位で量子化し、可変長符号化して圧縮する第２圧縮処理部とをさらに備え
    前記所定の単位は、前記フレーム単位よりも小さい単位である、請求項１に記載の画像処理装置。
12. 画像データをウェーブレット変換し、基準単位に基づく所定の単位で量子化し、可変長符号化して圧縮された圧縮画像データを、フレーム単位でウェーブレットのレベルごとに並び替えるステップを有する、画像処理装置により実行される画像処理方法。