JP2004088164A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2004088164A JP2004088164A JP2002242549A JP2002242549A JP2004088164A JP 2004088164 A JP2004088164 A JP 2004088164A JP 2002242549 A JP2002242549 A JP 2002242549A JP 2002242549 A JP2002242549 A JP 2002242549A JP 2004088164 A JP2004088164 A JP 2004088164A
- Authority
- JP
- Japan
- Prior art keywords
- layer
- code
- data
- header
- code data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
【課題】圧縮された符号データを簡単且つ効率的に再圧縮することが可能な画像処理装置を提供することを目的とする。
【解決手段】周波数領域の画像データを、複数の部分画像データに分割し、該部分画像データのビットプレーンにおける符号化パスごとに圧縮符号化し、所定数の符号化パスによりレイヤを構成し、該レイヤごとの符号データ量に基づいて再圧縮する画像処理装置であって、レイヤごとの符号データ量を最上位レイヤから積算していき、積算された符号データ量が、所定の量を超えない範囲のレイヤを選択するレイヤ選択手段７０と、レイヤ選択手段７０により選択されたレイヤよりも下位のレイヤの符号データを破棄又はゼロにすることによってデータ量を圧縮するデータ量圧縮手段７３とを有することにより、上記課題を解決する。
【選択図】 図２３
【解決手段】周波数領域の画像データを、複数の部分画像データに分割し、該部分画像データのビットプレーンにおける符号化パスごとに圧縮符号化し、所定数の符号化パスによりレイヤを構成し、該レイヤごとの符号データ量に基づいて再圧縮する画像処理装置であって、レイヤごとの符号データ量を最上位レイヤから積算していき、積算された符号データ量が、所定の量を超えない範囲のレイヤを選択するレイヤ選択手段７０と、レイヤ選択手段７０により選択されたレイヤよりも下位のレイヤの符号データを破棄又はゼロにすることによってデータ量を圧縮するデータ量圧縮手段７３とを有することにより、上記課題を解決する。
【選択図】 図２３
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置に係り、特に周波数領域の画像データを、複数の部分画像データに分割し、該部分画像データのビットプレーンにおける符号化パスごとに圧縮符号化し、所定数の符号化パスによりレイヤを構成し、該レイヤごとの符号データ量に基づいて再圧縮する画像処理装置に関する。
【０００２】
【従来の技術】
近年、画像圧縮・伸張技術の国際基準としてＪＰＥＧ２０００が知られている。ＪＰＥＧ２０００は、それ以前の画像圧縮・伸張技術の国際基準であったＪＰＥＧに比べて、圧縮率が高いこと、豊富な符号化機能を具備していること、動画データにも対応していること等を特徴としている。
【０００３】
図１にＪＰＥＧ２０００の符号化手順の流れを示す。また、図１においては、説明に必要な構成を表し、説明に必要の無い構成を省略してある。以下の図面においても同じである。
【０００４】
ＪＰＥＧ２０００の符号化手順においては、画像データ１は、色変換部１０、２次元離散ウェーブレット変換（ＤＷＴ）部１１、量子化器１２、係数モデリング部１３、ＭＱ符号化器１４、符号形成部１５を経て、符号データ２が得られる。図２〜図８にこれらの処理を模式的に描いた図を示す。なお、係数モデリング部１３、ＭＱ符号化器１４により、エントロピー符号化が行われる。
【０００５】
まず、入力される画像データ１は、ＹＣｂＣｒと呼ばれる輝度成分（コンポーネント１）、色差成分（コンポーネント２及びコンポーネント３）に変換され、それぞれ離散ウェーブレット変換（ＤＷＴ）部１１に入力される。その後、各コンポーネントは最後の符号形成の段階で一つの符号にまとめられるまで、それぞれ独立して符号化の処理が行われる。
【０００６】
図２は、水平方向Ｍ画素、垂直方向Ｎ画素の画像データに３レベルの２次元離散ウェーブレット変換を行った場合の一例を説明するための図である。
【０００７】
水平方向Ｍ画素、垂直方向Ｎ画素の画像データは、レベル３の２次元離散ウェーブレット変換を行った結果、３ＬＬ、３ＨＬ、３ＬＨ、３ＨＨ、２ＨＬ、２ＬＨ、２ＨＨ、１ＨＬ、１ＬＨ、１ＨＨの１０個のサブバンドのウェーブレット係数データに変換される。このとき、各サブバンドの大きさは、３ＬＬ、３ＨＬ、３ＬＨ、３ＨＨの４つが、Ｍ／８×Ｎ／８。２ＨＬ、２ＬＨ、２ＨＨの３つがＭ／４×Ｎ／４。１ＨＬ、１ＬＨ、１ＨＨの３つがＭ／２×Ｎ／２となる。
【０００８】
また、処理する画像をタイルと呼ばれる複数の矩形ブロックに分けて処理を行うことも可能である。画像を複数のタイルに分割する場合は、後に続く符号化処理はこのタイルの単位での処理となる。
【０００９】
図３は、画像データをｍ×ｎの大きさのタイルに分割し、レベル３の２次元離散ウェーブレット変換を行った場合の一例を説明するための図である。
【００１０】
水平方向ｍ、垂直方向ｎの１タイルの画像データは、レベル３の２次元離散ウェーブレット変換を行った結果、３ＬＬ、３ＨＬ、３ＬＨ、３ＨＨ、２ＨＬ、２ＬＨ、２ＨＨ、１ＨＬ、１ＬＨ、１ＨＨの１０個のサブバンドのウェーブレット係数データに変換される。このとき、各サブバンドの大きさは、３ＬＬ、３ＨＬ、３ＬＨ、３ＨＨの４つが、ｍ／８×ｎ／８。２ＨＬ、２ＬＨ、２ＨＨの３つがｍ／４×ｍ／４。１ＨＬ、１ＬＨ、１ＨＨの３つがｍ／２×ｎ／２となる。上述した如く、後に続く符号化処理は、このタイルを単位として処理を行っていく。
【００１１】
ＪＰＥＧ２０００では、ウェーブレット変換のフィルタ係数として、可逆・非可逆の２通りの係数が規定されている。可逆・非可逆を統一的に扱う場合は、可逆のフィルタ係数が用いられ、より高いレート又は良好なひずみ特性を実現する場合は非可逆のフィルタ係数を用いる。
【００１２】
次に、各ウェーブレット係数データに対して図４で示される式により、スカラー量子化が行われる。ここで、ａが入力されるウェーブレット係数データで、ｑが出力される量子化後の係数データ、ｓｉｇｎ（ａ）はウェーブレット係数データａの符号、｜ａ｜はウェーブレット係数データａの絶対値、Δｂはサブバンドごとに決められた量子化ステップ、「」はフロア関数を示す。ただし、可逆ウェーブレット係数を用いた場合は、このスカラー量子化は実施されない。
【００１３】
ウェーブレット変換後、或いは量子化後の係数データを各サブバンドごと、或いはサブバンドを複数の矩形領域に分割したコードブロックごとにエントロピー符号化していく。図５に、各サブバンドをＰ×Ｑの大きさのコードブロックに分割した一例を示す。また、前記エントロピー符号化は、後段のＭＱ符号化器１４に与えるコンテキストを生成する係数モデリング部１３での処理と、実際に符号化を行うＭＱ符号化器１４での処理によりなされる。
【００１４】
図６は、各サブバンドごとにエントロピー符号化した場合におけるサブバンドＣＢ１とそのＭＱ符号化器１４の処理を示す。サブバンドＣＢ１は、Ｐ×Ｑの画像サイズを有し、各点の画像は、（Ｎ＋２）ビットで量子化されている。上面が量子化ビットのＭＳＢ（ｍｏｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｂｉｔ）で、下面が量子化ビットのＬＳＢ（ｌｅａｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｂｉｔ）である。図６では、上面から２つ目のプレーンには、量子化ビットが存在しない。このビットプレーンをゼロビットプレーンという。
【００１５】
係数モデリング部１３での処理では、コードブロック単位でウェーブレット係数データをビットプレーンに分割し、上位のビットプレーンから順番に符号化の処理を進める。
【００１６】
最初に、ウェーブレット係数データを符号（正・負）と絶対値とで表し、同一のコードブロックに含まれるウェーブレット係数データの絶対値をビットプレーンに分割する。
【００１７】
続いてゼロビットプレーンがＭＳＢ側からみて何プレーン続くかを調べる。該ゼロビットプレーンは、ＭＱ符号化の処理を行わず、ＭＳＢより連続するゼロビットプレーンの枚数（ゼロビットプレーン数）のみを後述するパケットヘッダーに反映させる。ＭＱ符号化の処理は、ＭＳＢ側より数えて初めて０でないビットデータが出現したビットプレーン（図中のビットプレーンＮ）より始める。
【００１８】
次に、ビットプレーン上の各ビットをある規則に従いＳ、Ｒ、Ｃの３つに分類する。図７にビットプレーン上の各ビットをある規則に従いＳ、Ｒ、Ｃの３つに分類した一例の図を示す。前述した如くビットプレーンをＳ、Ｒ、Ｃに３つに分類した後、該ビットプレーンをスキャンする。
【００１９】
最初にＳに分類されたビットデータのみ、該ビットデータの周りの画素の情報に基づいて作られたコンテキストを用いて符号化する。続いてＲに分類されたビットデータを、最後にＣに分類されたビットデータをそれぞれ異なったコンテキストにより符号化し、１つのビットプレーンを符号化する。このビットプレーン１回のスキャンと対応するビットの符号化をコーディングパス特に、
Ｓに分類されたビットを符号化するパスを、ｓｉｇｎｉｆｉｃａｎｔ ｐｒｏｐａｇａｔｉｏｎパス。
【００２０】
Ｒに分類されたビットを符号化するパスを、ｍａｇｎｉｔｕｄｅ ｒｅｆｉｎｅｍｅｎｔパス。
【００２１】
Ｃに分類されたビットを符号化するパスを、ｃｌｅａｎ ｕｐパス。
と呼ぶ。
【００２２】
結局１つのビットプレーンは３つのパスで全て符号化されることになる。ただし、ＭＳＢ側より数えて初めて０でないビットデータが出現したビットプレーン（図６中、ビットプレーンＮ）のビットは全てＣに分類され、このビットプレーンのみはｃｌｅａｎ ｕｐパスだけで符号化される。
【００２３】
したがって、図６に示すが如く、Ｎ枚のゼロビットプレーンでないビットプレーン（非ゼロビットプレーン）が存在するコードブロックは、３Ｎ−２回のパスで全て符号化される。
【００２４】
最終的に得られる符号データ（ＭＱ符号データ）の一例を図８に示す。図８に示すが如く、ＭＱ符号データは、各パスで生成される符号データをつなげたものとなる。
【００２５】
また、各サブバンドは、ｐｒｅｃｉｎｃｔと呼ばれる矩形の領域に分割することができる。各サブバンドをｐｒｅｃｉｎｃｔに分割した例を図９、図１０に示す。図９では、３ＬＬのサブバンドを２個のｐｒｅｃｉｎｃｔ（Ｐ１、Ｐ２）に分け、各ｐｒｅｃｉｎｃｔには４つのコードブロックが含まれている様子を示している。また、図１０では、ＬＬ以外のサブバンドが、Ｐ１、Ｐ２、Ｐ３、・・・と複数のｐｒｅｃｉｎｃｔに分割され、各ｐｒｅｃｉｎｃｔには４つのコードブロックが含まれている様子を示している。なお、１つのｐｒｅｃｉｎｃｔに含まれるコードブロックの数は解像度ごとに任意に設定することができる。
【００２６】
また、任意の数のコーディングパスをまとめて１つのレイヤを構成することができる。これは、ＭＱ符号化データをもとのウェーブレット係数データの精度方向に分割することに等しい。図１１では、図９の３ＬＬのサブバンドで４つのコードブロック（ＣＢ１、ＣＢ２、ＣＢ５、ＣＢ６）を含む１つのｐｒｅｃｉｎｃｔ（Ｐ１）をＬ１〜Ｌ１６の１６個のレイヤに分割している一例を示す。
【００２７】
レイヤ１には、ＣＢ１のコーディングパス１、２で生成された符号（ＰＳ１、ＰＳ２）と、ＣＢ６のコーディングパス１で生成された符号（ＰＳ１）とが含まれ、レイヤ２には、ＣＢ２のコーディングパス１で生成された符号（ＰＳ１）と、ＣＢ５のコーディングパスで生成された符号（ＰＳ１）とが含まれる。このようにレイヤに含まれる各コードブロックのコーディングパス数は任意に設定することができる。
【００２８】
上述した如く、各コンポーネントごとの画像データは、２次元離散ウェーブレット変換により、解像度を下げたサブバンドごとのウェーブレット係数データに変換され、各サブバンドはｐｒｅｃｉｎｃｔと呼ばれる矩形領域に分割される。更に、ｐｒｅｃｉｎｃｔに含まれるウェーブレット係数データをコードブロック単位でビットプレーンごとに３つのコーディングパスでＭＱ符号化していく。このとき一連のＭＱ符号データを、コーディングパスを単位としてレイヤと呼ばれる階層に分割することができる。
【００２９】
ＪＰＥＧ２０００では、上記コンポーネント、サブバンド、ｐｒｅｃｉｎｃｔ、レイヤで分類されるＭＱ符号データ、つまり、図１１の太枠で囲まれた符号データをまとめて１つのパケットとして管理する。ここで、場合によっては、該当するコードブロックのＭＱ符号データをまったく含まないゼロパケットと呼ばれるパケットも存在する。
【００３０】
図１２に、具体的なパケットの例を説明するための図を示す。図１２の、パケット２０は、パケットヘッダー２１とパケットデータ（エントロピー符号データ）２２とより構成される。ここで、前記ＭＱ符号データ（ＣＢ１のＰＳ１、ＣＢ１のＰＳ２、ＣＢ６のＰＳ１）は、パケットデータ２１に格納される。一方、パケットヘッダー２０には、パケットを復号するために必要な以下の情報が格納される。
▲１▼該パケットがゼロパケットかどうか。
【００３１】
図１２の例では、パケットはゼロパケットでないという情報が格納される。
▲２▼該当するコードブロックのＭＱ符号データが該パケットに含まれるかどうか。
【００３２】
ＣＢ１とＣＢ６とのＭＱ符号データは含まれ、ＣＢ２とＣＢ５とのＭＱ符号データは含まれない。
▲３▼該パケットに含まれる各ＭＱ符号データのコーディングパス数
ＣＢ１に含まれるＭＱ符号データのコーディングパス数は２
ＣＢ６に含まれるＭＱ符号データのコーディングパス数は１
▲４▼該パケットに含まれる各ＭＱ符号データのバイト数
ＣＢ１に含まれるＭＱ符号データのバイト数（ＰＳ１とＰＳ２との合計）と、
ＣＢ６に含まれるＭＱ符号データのバイト数（ＰＳ１）。
【００３３】
ここでは、３ＬＬのサブバンド内のパケットについて説明したが、それ以外のサブバンドは同じ解像度で、同じ位置にある３つのｐｒｅｃｉｎｃｔの同じレイヤの符号が一つのパケットを構成する。図１０を例にとると、ＨＬサブバンド、ＬＨサブバンド、ＨＨサブバンドの各ｐｒｅｃｉｎｃｔ、Ｐ１に含まれるコードブロックから生成されるレイヤごとのＭＱ符号データを同じパケットとして管理する。
【００３４】
最終的には、図１３に示すＪＰＥＧ２０００の符号ストリームが生成される。ＪＰＥＧ２０００の符号ストリームは、メインヘッダーマーカー（ＳＯＣ）３１、メインヘッダーマーカーセグメント３２、タイルパートヘッダーマーカー（ＳＯＴ）３３、タイルパートヘッダーマーカーセグメント３４、ＳＯＤマーカー３５、ビットストリーム３６、ＥＯＣマーカー３７とから構成されている。
【００３５】
メインヘッダーマーカー３１は、符号ストリームの開始を表し、メインヘッダーマーカーセグメント３２は、画像情報、量子化の情報、符号化の情報などを含む。タイルパートヘッダーマーカー３３は、タイルパートの開始を表し、タイルパートヘッダーマーカーセグメント３４は、それに続くタイルパートの情報、量子化の情報、符号化の情報などを含む。ＳＯＤマーカー３５は、データの開始を表し、ビットストリーム３６は、そのタイルパートに含まれる全てのパケットを含む。符号データが複数のタイルパートより成る場合は、タイルパートヘッダーマーカー３３、タイルパートヘッダーマーカーセグメント３４、ＳＯＤマーカー３５、ビットストリーム３６を繰り返し、ＥＯＣマーカー３７は、符号ストリームの終わりを表す。ここで、１つのタイルの符号データを複数のタイルパートに分けて符号ストリームを構成することも可能である。
【００３６】
上述した如く、画像データは、コードブロック単位でＭＱ符号化され、その符号データは輝度・色差成分（コンポーネント）ごと、解像度（ＬＬ、ＨＬ−ＬＨ−ＨＨサブバンド）ごと、領域（ｐｒｅｃｉｎｃｔ）ごと、レイヤごとにパケット単位にまとめられ、図１３のビットストリーム３６の位置に特定の順番で配置される。例として、画像全体をタイル分割しないで、以下に示すパラメータで符号化を行う場合を考える。
▲１▼コンポーネント数：Ｃｍａｘ個（Ｃ１、Ｃ２、・・・、Ｃｍａｘ）
▲２▼解像度：Ｒレベル＝Ｒ＋１個（１：ＲＬＬ、２：ＲＨＬ−ＲＬＨ−ＲＨＨ、・・・、Ｒ＋１：１ＨＬ−１ＬＨ−１ＨＨ）
▲３▼ｐｒｅｃｉｎｃｔ：各解像度でＰｍａｘ個（Ｐ１、Ｐ２、・・・、Ｐｍａｘ）
▲４▼レイヤ：Ｌｍａｘ個（Ｌ１、Ｌ２、・・・、Ｌｍａｘ）
このとき、パケットの総数は、Ｃｍａｘ×（Ｒ＋１）×Ｐｍａｘ×Ｌｍａｘとなる。
【００３７】
ＪＰＥＧ２０００の符号ストリームを構成する際に、タイルパートに分割しない場合は、タイルパートヘッダー４０に含まれる情報を全てビットストリーム３６の位置に配置する必要がある。ＪＰＥＧ２０００の規格では、パケットの並べ方として、コンポーネント、解像度、ｐｒｅｃｉｎｃｔ、レイヤの何を優先するかによって、５通りの並べ方（ｐｒｏｇｒｅｓｓｉｏｎ ｏｒｄｅｒ）を規定している。
【００３８】
図１４は、ｐｒｏｇｒｅｓｓｉｏｎ ｏｒｄｅｒの１つであるＬａｙｅｒ−ｒｅｓｏｋｕｔｉｏｎ−ｃｏｍｐｏｎｅｎｔ−ｐｏｓｉｔｉｏｎ順のパケットの並びを示している。初めに（Ｌ１、ＲＬＬ、Ｃ１、Ｐ１）のパケットを並べ、レイヤ、解像度、コンポーネントは１のままｐｒｅｃｉｎｃｔが２、３、・・・、Ｐｍａｘのパケットを順番に並べる。次にコンポーネントを２として、ｐｒｅｃｉｎｃｔが１、２、・・・、Ｐｍａｘのパケットを順番に並べる。これをコンポーネントがＣｍａｘになるまで続け、後は同様に解像度を２、３、・・・、Ｒ＋１。レイヤを２、３、・・・、Ｌｍａｘになるまで順番にパケットを並べる。
【００３９】
ｐｒｏｇｒｅｓｓｉｏｎ ｏｒｄｅｒとしては、Ｌａｙｅｒ−ｒｅｓｏｋｕｔｉｏｎ−ｃｏｍｐｏｎｅｎｔ−ｐｏｓｉｔｉｏｎ順以外に
Ｒｅｓｏｌｕｔｉｏｎ−ｌａｙｅｒ−ｃｏｍｐｏｎｅｎｔ−ｐｏｓｉｔｉｏｎ順。
Ｒｅｓｏｌｕｔｉｏｎ−ｐｏｓｉｔｉｏｎ−ｃｏｍｐｏｎｅｎｔ−ｌａｙｅｒ順。
Ｐｏｓｉｔｉｏｎ−ｃｏｍｐｏｎｅｎｔ−ｒｅｓｏｌｕｔｉｏｎ−ｌａｙｅｒ順。
Ｃｏｍｐｏｎｅｎｔ−ｐｏｓｉｔｉｏｎ−ｒｅｓｏｌｕｔｉｏｎ−ｌａｙｅｒ順。
が規定されているが、いずれもコンポーネント、解像度、ｐｒｅｃｉｎｃｔ、レイヤのどの要素を優先して並べるかが異なるだけで、パケットの内容（パケットヘッダー、パケットデータ）自体は変わらない。
【００４０】
上記ｐｒｏｇｒｅｓｓｉｏｎ ｏｒｄｅｒには次に示す意味がある。複号時に復号されたパケットを順次画像データとして表示していくと、例えばＬａｙｅｒ−ｒｅｓｏｋｕｔｉｏｎ−ｃｏｍｐｏｎｅｎｔ−ｐｏｓｉｔｉｏｎ順は、複号時に上位の画像全体の全コンポーネントのデータが圧縮された解像度で、上位レイヤから順に復号されていくので、最初に粗い画像が出力され次第に画質の良い画像に復元されることになる。Ｒｅｓｏｋｕｔｉｏｎ−ｌａｙｅｒ−ｃｏｍｐｏｎｅｎｔ−ｐｏｓｉｔｉｏｎ順であれば、最初に解像度の低い画像が復元され、次第に高解像度の画像が出来て行くことになる。このように、符号のｐｒｏｇｒｅｓｓｉｏｎ ｏｒｄｅｒにより、復号時に何を優先して表示するかが変わってくる。
【００４１】
次にＪＰＥＧ２０００の特徴である符号の再圧縮、即ち符号データを一旦復号することなく、更に圧縮された符号を生成する方法について述べる。この再圧縮の機能は、ロスレス或いはそれに近い圧縮率で符号化され蓄積されたデータをある伝送路を使って送信する際などに利用される。即ち、その伝送路の伝送能力が低いため、蓄積された符号データの送信が所定時間以内に完了しないような場合に、符号の再圧縮により、符号量をある決められた上限以下に圧縮して送信することで、所定時間以内に符号データの伝送を完了させることができるようになる。更に、このような場合においても、復号された画像データの画質は、その制限の範囲内において最も高いことが望まれる。ＪＰＥＧ２０００では、このような機能を以下のようにして実現する。
【００４２】
図１５にＬａｙｅｒ−ｒｅｓｏｌｕｔｉｏｎ−ｃｏｍｐｏｎｅｎｔ−ｐｏｓｉｔｉｏｎ順で符号データを再圧縮する一例を示す。このような場合、符号データの先頭から送信しながらバイト数を数えていき、例えばレイヤｎで予め設定された上限になればその時点（図中ａ）で符号データを打ち切る。こうする事で上位のレイヤから符号データを送信し、必要な符号量で復号時において最も画質の良くなる符号データを送信することができる。
【００４３】
【発明が解決しようとする課題】
しかしながら、従来の上述の方法では、符号のｐｒｏｇｒｅｓｓｉｏｎ ｏｒｅｄｅｒが、Ｌａｙｅｒ−ｒｅｓｏｌｕｔｉｏｎ−ｃｏｍｐｏｎｅｎｔ−ｐｏｓｉｔｉｏｎ順に限られてしまい、更にハードウェア化を考えると実際にはコードブロックごとにＭＱ符号化を行うため、前述の如く画像全体の上位レイヤを優先して並べていくこのｐｒｏｇｒｅｓｓｉｏｎ ｏｒｄｅｒで符号化を行うことは難しい。
【００４４】
本発明は上記の点に鑑みなされたもので、圧縮された符号データを簡単且つ効率的に再圧縮することが可能な画像処理装置を提供することを目的とする。
【００４５】
【課題を解決するための手段】
そこで、上記問題を解決するため、請求項１記載の発明は、周波数領域の画像データを、複数の部分画像データに分割し、該部分画像データのビットプレーンにおける符号化パスごとに圧縮符号化し、所定数の符号化パスによりレイヤを構成し、該レイヤごとの符号データ量に基づいて再圧縮する画像処理装置であって、前記レイヤごとの符号データ量を最上位レイヤから積算していき、積算された符号データ量が、所定の量を超えない範囲のレイヤを選択するレイヤ選択手段と、前記レイヤ選択手段により選択されたレイヤよりも下位のレイヤの符号データを破棄又はゼロにすることによってデータ量を圧縮するデータ量圧縮手段とを有することを特徴とする。
【００４６】
また、請求項２記載の発明は、前記積算されたレイヤごとの符号データ量の値を、再圧縮した符号データのヘッダー情報として用いることを特徴とする。
【００４７】
また、請求項３記載の発明は、前記符号データを復号化する符号データ復号化手段を有し、前記データ量圧縮手段は、ヘッダーをデコードするヘッダーデコード手段を有し、前記符号データ復号化手段は、前記ヘッダーデコード手段から出力されたヘッダー情報を用いて復号化することを特徴とする。
【００４８】
また、請求項４記載の発明は、ＪＰＥＧ２０００が規定する符号化及び／又は復号化の処理を行うことを特徴とする。
【００４９】
請求項１記載の発明によれば、周波数領域の画像データを、複数の部分画像データに分割し、該部分画像データのビットプレーンにおける符号化パスごとに圧縮符号化し、所定数の符号化パスによりレイヤを構成し、該レイヤごとの符号データ量に基づいて再圧縮する画像処理装置であって、前記レイヤごとの符号データ量を最上位レイヤから積算していき、積算された符号データ量が、所定の量を超えない範囲のレイヤを選択するレイヤ選択手段と、前記レイヤ選択手段により選択されたレイヤよりも下位のレイヤの符号データを破棄又はゼロにすることによってデータ量を圧縮するデータ量圧縮手段とを有することにより、簡単で且つ効率的な符号データの再圧縮が行える画像処理装置を提供することができる。
【００５０】
請求項２記載の発明によれば、前記積算されたレイヤごとの符号データ量の値を、再圧縮した符号データのヘッダー情報として用いることにより、簡単で且つ効率的に再圧縮符号データのヘッダーを生成することができる。
【００５１】
請求項３記載の発明によれば、前記符号データを復号化する符号データ復号化手段を有し、前記データ量圧縮手段は、ヘッダーをデコードするヘッダーデコード手段を有し、前記符号データ復号化手段は、前記ヘッダーデコード手段から出力されたヘッダー情報を用いて復号化することにより、再圧縮する符号データの元となる画像データを復号することができる。
【００５２】
請求項４記載の発明によれば、ＪＰＥＧ２０００の再符号化及び／又は復号化の処理に前記画像処理装置を用いることにより、所定の情報量以下の符号データの情報量で最適な画質の画像を復元することができる。
【００５３】
【発明の実施の形態】
以下、本発明の実施の形態について図面に基づいて説明する。なお、本発明の実施の形態は、ＪＰＥＧ２０００ベースにして説明する。
【００５４】
図１６に本発明の実施における１チップの符号化・復号化器５０の例を示す。図１６では、説明に必要な構成を表し、説明に必要の無い構成を省略してある。以下の図面においても同じである。
【００５５】
図１６の符号化・復号化器５０は、前・後処理部５１、２次元離散ウェーブレット変換（ＤＷＴ／ＩＤＷＴ）部５２、エントロピー符号・復号化部５３、符号形成部５４、ＰＬＬ（Ｐｈａｓｅ Ｌｏｃｋｅｄ Ｌｏｏｐ）回路５５、ＣＰＵＩ／Ｆ部５６、エントロピー符号化部５３のワークメモリ５７及びヘッダー処理部５８から構成されている。
【００５６】
前・後処理部５１は、符号化時は画像データを画像データＩ／Ｆから得て、例えば、レベルシフトを行いＲＧＢ（赤・緑・青）データをＹＣｂＣｒ（輝度成分・色差成分）データに変換する。また、復号化時はその逆変換を行う。
【００５７】
２次元離散ウェーブレット変換部（ＤＷＴ／ＩＤＷＴ）部５２は、２次元離散ウェーブレット変換及びその逆変換を行う。
【００５８】
エントロピー符号・復号化部５３は、エントロピー符号化及びその逆変換を行う。
【００５９】
符号形成部５４は、符号化時は、符号形成を行い、生成した符号にヘッダー処理部５８で生成したヘッダーを付加して符号データＩ／Ｆによりビットストリームを有する符号データフォーマットを出力する。復号時は、符号データＩ／Ｆからビットストリームを有する符号データフォーマットを得て、復号化時と逆の処理を行う。
【００６０】
ＰＬＬ回路５５は、符号化・復号化器５０のクロックを生成する。ＣＰＵＩ／Ｆ部５６は、符号化・復号化５０と外部に設けたＣＰＵとのインターフェースをとる。
【００６１】
次に画像データの符号化と符号データの再圧縮の処理を説明する。図１７の（Ａ）は画像データの符号化の処理を、図１７の（Ｂ）は符号データの再圧縮の処理を説明するための図である。
【００６２】
図１７の（Ａ）では、画像全体を符号化した際のレイヤごとの符号量を求め、符号データとともに該算出した符号量を管理する。図１７の（Ｂ）では、前記算出した符号量を基に、所定の上限符号量を超えない範囲で最大の符号量が得られるレイヤを決定し、該レイヤより下位のレイヤのパケットを破棄することで、符号データの再圧縮を行っている。
【００６３】
図１８にレイヤごとの符号量を求める装置の一例を示す。図１８は、符号化の最終ステップである符号構成部５４において、バイト単位で符号データを出力する際、その符号データのバイト出力イネーブル信号と、出力しているパケットが属するレイヤナンバーの情報とを同時に符号量カウント部６０に入力する。
【００６４】
図１９にレイヤの符号量の内容を表す一例を示す。図１９に示されるように、レイヤの符号量をレイヤに属するパケットの符号量と定義し、メインヘッダーのバイト数、タイルパートヘッダーのバイト数及びＥＯＣの２バイトはレイヤ１の符号量に含める。
【００６５】
図２０に符号量カウント部６０の構成の一例を示す。符号量カウント部６０は、符号データの出力イネーブル信号によりカウントアップするカウンター６１と、各レイヤナンバーの情報をデコードするデコーダー６２と、レイヤ数に対応してレイヤごとの符号量を格納する累加算器６３とによって構成される。
【００６６】
カウンター６１のカウント値は、レイヤナンバーが変わる度にリセットされ、そのレイヤの符号データが発生する度にカウントアップされる。カウントアップされたカウント値は、レイヤナンバーが変わる際に、累加算器６３に入力される。このとき、デコーダー６２は、現在出力されているパケットが属するレイヤナンバーより、上位のレイヤ全てを選択するようにしておく。こうすることにより、例えばカウンター６１のカウント値が、レイヤＮの符号データをカウントした値であったとすると、そのカウント値は、レイヤ１〜レイヤＮの全ての累加算器６３で加算される。また、出力する符号データが、メインヘッダー、タイルパートヘッダー、ＥＯＣの場合、レイヤ１が出力されるようにしておくことにより、図１９で示されるレイヤごとの符号量を算出することができる。
【００６７】
また、レイヤの符号量を内容の内容を表す他の例を図２１に示す。図２１に示されるように、レイヤの符号量をレイヤに属するパケットの符号量のみと定義し、メインヘッダーのバイト数、タイルパートヘッダーのバイト数及びＥＯＣの２バイトはレイヤ１の符号量に含める。レイヤの符号量をこのように定義することにより、符号量カウント部６０を以下のように構成することができる。
【００６８】
図２２に符号量カウント部６０の構成の他の例を示す。符号量カウント部６０は、符号データの出力イネーブル信号によりカウントアップするカウンター６１と、各レイヤナンバーの情報をデコードするデコーダー６２と、レイヤ数に対応してレイヤごとの符号量を格納する符号量カウント部レジスタ６４とによって構成される。
【００６９】
カウンター６１のカウント値は、レイヤナンバーが変わる度に次のレイヤに対応するレイヤごとの符号量がリセットされ、そのレイヤの符号データが発生する度にカウントアップされる。カウントアップされたカウント値は、レイヤナンバーが変わる際に、符号量カウント部レジスタ６４に入力される。このとき、デコーダー６２は、現在出力されているパケットが属するレイヤナンバーを選択するようにしておく。こうすることにより、図２１に示されるレイヤごとの符号量のデータを得ることができる。
【００７０】
以下、符号データの再圧縮を行う際に、レイヤごとの情報を基に所定の上限符号量を超えない範囲で最大の符号量が得られるレイヤを決定する装置の例を示す。
【００７１】
図２３は、再符号化を行う際のレイヤ選択回路７０の構成の一例を説明するための図である。図２３のレイヤ選択回路７０は、比較器７１と、プライオリティエンコーダー７２とから構成されている。
【００７２】
比較器７１に符号データを入力する前に、上限の設定符号量を設定して、レイヤごとの符号量を比較器７１に入力する。比較器７１では、各レイヤごとの符号量と設定符号量とを比較して、その比較結果をプライオリティエンコーダー７２に入力する。プライオリティエンコーダー７２では、前記比較器７１より入力されたそれぞれのレイヤにおける比較結果に基づき、設定符号量を超えない範囲で最大の符号量が得られるレイヤを選択する。選択された選択レイヤは、符号再圧縮回路７３に渡され、符号データの再符号化に用いられる。
【００７３】
図２３は、図１９、図２０で示される、符号量カウント部で得られるレイヤごとの符号量に対応した、再符号化時のレイヤ選択回路７０である。
【００７４】
図２４は、再符号化を行う際のレイヤ選択回路７０の構成の他の例を説明するための図である。図２４のレイヤ選択回路７０は、比較器７１と、マルチプレクサ７５と、加算器７６と、レイヤ選択回路レジスタ７７と、レイヤ決定回路７８とから構成されている。
【００７５】
マルチプレクサ７５は、レイヤ１の符号量、レイヤ２の符号量、・・・、レイヤ１６の符号量から一つを選択し、選択したレイヤの符号量を加算器７６に入力する。加算器７６では、入力されたレイヤの符号量を、それまでのレイヤに含まれる符号量に加算し、加算した結果をレイヤ選択回路レジスタ７７に格納する。レイヤ選択回路レジスタ７７は、加算結果を格納していると共に、次のレイヤ符号量と加算すべき値とを保持している。比較器７１は、加算器の出力と、所定の設定符号量とを比較し、比較した結果をレイヤ決定回路７８に入力する。レイヤ決定回路７８は、所定の設定符号量を超えない範囲で最大の符号量となるレイヤを選択し、選択する。選択された選択レイヤは、符号再圧縮回路７３に渡され、符号データの再符号化に用いられる。
【００７６】
ここでは、レイヤ１の符号量、レイヤ２の符号量、・・・、レイヤ１６の符号量と、順番にマルチプレクサ７５で選択し、加算器７６を用いてレイヤ選択回路レジスタ７７に保存されているそれまでのレイヤの符号量と選択したレイヤの符号量とが加算され、比較器７１にて設定符号量と比較される。加算値が始めて設定符号量と比べて大きくなると、それより一つ前のレイヤが選択され、レイヤ決定回路より符号再圧縮回路７３に渡される。
【００７７】
図２４は、図２１、図２２で示される、符号量カウント部で得られるレイヤごとの符号量に対応した、再符号化時のレイヤ選択回路７０である。
【００７８】
次に、符号再圧縮回路７３について説明する。図２５は、符号再圧縮回路７３の構成例を説明するための図である。符号再圧縮回路７３は、ヘッダーデコード部８１と、バッファ８２と、ヘッダー書き替え部８３とから構成されている。
【００７９】
符号圧縮回路７３に入力される符号データは、図１３に示されるようにメインヘッダー４０と、タイルパートヘッダー４１と、それに続くビットストリーム３６とから構成される。ビットストリーム３６は、上述した如く、パケットヘッダー２１とパケットデータ２２とからなる複数のパケットが、規定されたｐｒｏｇｒｅｓｓｉｏｎ ｏｒｄｅｒ順に並んだ構成となっている。
【００８０】
ここで、パケットの順番、レイヤ数、コンポーネント数、解像度情報及びｐｒｅｃｉｎｃｔの情報は予めヘッダーデコード部８１に設定されているものとする。このとき、パケットの順番、レイヤ数、コンポーネント数、解像度情報、ｐｒｅｃｉｎｃｔの情報は、メインヘッダー４０或いはタイルパートヘッダー４１に記述されているので、ヘッダーデコード部８１は、その値を自動的に取り込む構成とすることも可能である。また、破棄すべきパケットの情報は、前記レイヤ選択回路７０で選択された選択レイヤより、知ることができる。
【００８１】
ヘッダーデコード部８１では、入力された符号データの、メインヘッダー４０とタイルパートヘッダー４１とをバッファ８２に入力する。一方、ヘッダーデコード部８１は、パケットのパケットヘッダーより、コードブロックのゼロビットプレーン数、コーディングパス数、ＭＱ符号データのバイト数情報をデコードする。また、該パケットのレイヤ数が前記レイヤ選択回路７０により選択されたレイヤと比較し、破棄すべきパケットであれば次のパケットの先頭まで破棄し、該パケットが破棄すべきでないパケットであれば、そのパケットヘッダー２１とパケットデータ２２とをバッファ８２に入力する。同様の操作を最後のパケットまで繰り返すと同時に、残すべき符号データのバイト数をカウントしておく。
【００８２】
ヘッダー書き替え部８３では、予め設定された条件に合うように、メインヘッダー４０にあるレイヤ数、解像度、コンポーネント、ｐｒｅｃｉｎｃｔの情報を書き換え、更にヘッダーデコード部８１がカウントしていた符号データのバイト数よりタイルパートヘッダー４１にある符合データのバイト数の情報を変更し、最終的な再圧縮符号データ３として出力する。
【００８３】
図２６に、Ｒｅｓｏｌｕｔｉｏｎ−ｐｏｓｉｔｉｏｎ−ｃｏｍｐｏｎｅｎｔ−ｌａｙｅｒ順の符号データの一例を示す。
【００８４】
図２６の符号データは、レイヤ数１６（１〜１６）、コンポーネント数３（１、２、３）、解像度３（３ＬＬ、３ＨＬ−ＬＨ−ＨＨ、２ＨＬ−ＬＨ−ＨＨ、１ＨＬ−ＬＨ−ＨＨ）、ｐｒｅｃｉｎｃｔ数１のＲｅｓｏｌｕｔｉｏｎ−ｐｏｓｉｔｉｏｎ−ｃｏｍｐｏｎｅｎｔ−ｌａｙｅｒ順の符号データである。
【００８５】
以下、前記レイヤ選択回路７０より選択されたレイヤをレイヤ８とし、レイヤ８より下位（８〜１６）の符号データを破棄する場合を考える。図２７に、符号再圧縮回路７３におけるレイヤ８より下位の符号データを破棄する処理の一例のフローチャートを示す。
【００８６】
ステップＳ１では、符号データがヘッダーデコード部８１に入力され、メインヘッダー４０とタイルパートヘッダー４１とはそのままバッファ８２に入力される。
【００８７】
ステップＳ１に引き続きステップＳ２に進み、ステップＳ２では、ヘッダーデコード部８１が入力された符号データのパケットの選択を行う。最初のパケットは、ｐｒｏｇｒｅｓｓｉｏｎ ｏｒｄｅｒに係らず、Ｌ（レイヤ）＝１、ｒ（解像度）＝３ＬＬ、Ｃ（コンポーネント）＝１、Ｐ（ｐｒｅｃｉｎｃｔ）＝１に対応する符号データを選択する。
【００８８】
ステップＳ２に引き続きステップＳ３に進み、ステップＳ３では、ヘッダーデコード部８１がステップＳ２において選択したパケットのデコードを行う。デコードする情報は前述した如くコードブロックのゼロビットプレーン数（ＺＢＰ）、コーディングパス数（ＣＰ）及びＭＱ符号データのバイト数（ＰＤ）である。ここで、デコードの過程においてパケットヘッダー自体のバイト数（以下、ＰＨという）も取得する。
【００８９】
ステップＳ４では、ヘッダーデコード部８１が該当するパケットが破棄すべきパケットであるかどうかを判定する。この例においては、レイヤＬが８以上かどうかを判定する。レイヤＬが８以上だと判定すると（ステップＳ４においてＹＥＳ）、ステップＳ６に進み、レイヤＬが８以上でないと判定すると（ステップＳ４においてＮＯ）、ステップＳ５に進む。
【００９０】
ステップＳ５では、ヘッダーデコード部８１がパケットを所定のバッファ８２に格納する。即ちパケットヘッダーを含め連続するＰＨ＋ＰＤバイトの符号データをバッファ８２に格納する。また、同時に新たに生成する符号データのバイト数Ｎを知るため、ＰＨ＋ＰＤの値を累加算していく。ここで、バッファ８２は、符号を保持できる領域を作成し、複数のパケットデータを連続して格納できる領域を持っているものである。
【００９１】
ステップＳ６では、ヘッダーデコード部８１がパケットヘッダーを含め、連続するＰＨ＋ＰＤバイトの符号データを読み飛ばす。
【００９２】
ステップＳ５、ステップＳ６に引き続きステップＳ７に進み、ステップＳ７では、ヘッダーデコード部８１が現在選択しているパケットが最後のパケットかどうかを判定する。これは、該パケットのレイヤ、コンポーネント、解像度、ｐｒｅｃｉｎｃｔの全てがパケットの最後を示しているかどうかで判定する。この例の場合、Ｌ（レイヤ）＝１６且つ、ｒ（解像度）＝１ＨＬ−ＬＨ−ＨＨ且つ、Ｃ（コンポーネント）＝３且つ、Ｐ（ｐｒｅｃｉｎｃｔ）＝１であるかどうかによって判定する。最後のパケットであると判定すると（ステップＳ６においてＹＥＳ）、ステップＳ９に進み、最後のパケットではないと判定すると（ステップＳ６においてＮＯ）、ステップＳ８に進む。
【００９３】
ステップＳ８では、ヘッダーデコード部８１が次のパケットを選択する。次のパケットのＬ（レイヤ）、ｒ（解像度）、Ｃ（コンポーネント）、Ｐ（ｐｒｅｃｉｎｃｔ）は、ｐｒｏｇｒｅｓｓｉｏｎ ｏｒｅｄｅｒで判断できる。なお、最終のパケットの処理が完了するまで、前記ステップＳ３からステップＳ８までの処理を繰り返す。
【００９４】
ステップＳ９では、ヘッダー書き換え部８３がメインヘッダー４０にあるレイヤ数、コンポーネント数、解像度、ｐｒｅｃｉｎｃｔの情報を新たに得られた符号データに対応するように書き替える。また、ステップＳ５でカウントしたバイト数Ｎを用いてタイルパートヘッダー内の符号バイト数を書き替える。
【００９５】
ステップＳ９に引き続きステップＳ１０に進み、ステップＳ１０では、ヘッダー書換え部８３が再圧縮符号データ３を出力する。
【００９６】
このような処理を行うことにより、以下で示すレイヤ８〜１６のパケットを破棄した符号データが得られる。図２８に、図２６で示した符号データのレイヤ８〜１６のパケットを破棄した一例を示す。
【００９７】
なお、上述した例ではレイヤ８以降のパケットを完全に破棄したが、レイヤ８以降のパケットを破棄せず、ゼロパケットに置き換えて実施することも可能である。図２９に、符号再圧縮回路７３におけるレイヤ８より下位の符号データをゼロパケットに書き替える処理の一例のフローチャートを示す。ここで、図２７と同一の処理を行うステップは、説明を省略する。
【００９８】
図２７のステップＳ６と異なり、ステップＳ１６では、ヘッダーデコード部８１が該当するパケットを読み飛ばすと同時にゼロパケットである‘００’をバッファ８２に入力し、符号データのバイト数Ｎに１を加える。
【００９９】
また、図２７のステップＳ９と異なり、ステップＳ１９では、メインヘッダー４０の書き替えは行わず、タイルパートヘッダー４１の符号バイト数のみを書き替える。
【０１００】
図３０に、図２６で示した符号データのレイヤ８〜１６のパケットをゼロパケットに書き替えた一例を示す。
【０１０１】
また、符号再圧縮回路７３と符号化・復号化器５０とを以下のように組み合わせて、再圧縮符号データ３と画像データ１とを同時に生成する構成とすることも可能である。図３１に、符号再圧縮回路７３と符号化・復号化器５０との組み合わせの一例を示す。
【０１０２】
符号データ２の再圧縮を行う場合は、上述した如く、符号データ２は一旦ヘッダーデコード部８１に入力され、その後メインヘッダー４０とタイルパートヘッダー４１とはそのままバッファ８２に入力される。ビットストリーム３６は、パケットヘッダー２１のデコード後、必要なパケットのみバッファ８２に入力される。最後にヘッダー書き替え部８２によって、メインヘッダー４０とタイルパートヘッダー４１とを変更した後、再圧縮符号データを出力する。
【０１０３】
一方、符号データ２の復号を行う場合は、符号データ２は一旦ヘッダーデコード部８１に入力され、メインヘッダー２１及びタイルパートヘッダー４１は読み飛ばされ、ヒットストリーム３６は、パケットヘッダーデコード後、パケットデータ２０のみがバッファ８２に入力される。その後、前記パケットデータ２０と共にヘッダーデコード部８１でパケットヘッダー２１をデコードして得られたＺＢＰ、ＣＰ、ＰＤをエントロピー復号化部５２に入力する。これら入力されたデータにより、エントロピー復号化部５２で生成されたウェーブレット係数データを逆ウェーブレット変換（ＩＤＷＴ）して、後処理部５１に入力することにより、最終的な画像データ１を得ることができる。
【０１０４】
本発明は、ＪＰＥＧ２０００が規定する符号化又は復号化の処理に限らない。
【０１０５】
また、本発明の再圧縮の処理は、それとは逆の処理を行うことにより、復号化が可能である。
【０１０６】
また、本発明は、圧縮された符号データから、一旦画像に復号することなく、また符号データのパケットの並び方に関係なく、符号データの再圧縮が行える。
【０１０７】
【発明の効果】
上述の如く、本発明によれば、圧縮された符号データを簡単且つ効率的に再圧縮することが可能な画像処理装置を提供することができる。
【０１０８】
【図面の簡単な説明】
【図１】ＪＰＥＧ２０００の符号化の流れを説明するための図である。
【図２】水平方向Ｍ画素、垂直方向Ｎ画素の画像データにレベル３の２次元ウェーブレット変換を行った場合の一例を説明するための図である。
【図３】画像データをｍ×ｎの大きさのタイルに分割し、レベル３の２次元離散ウェーブレット変換を行った場合の一例を説明するための図である。
【図４】スカラー量子化の式である。
【図５】各サブバンドをＰ×Ｑの大きさのコードブロックに分割した一例の図である。
【図６】各サブバンドごとにエントロピー符号化した場合におけるサブバンドとＭＱ符号化器の処理を説明するための図である。
【図７】ビットプレーン上の各ビットをある規則によりＳ、Ｒ、Ｃの３つに分類した一例を示すための図である。
【図８】ＭＱ符号データの一例を示すための図である。
【図９】サブバンドをｐｒｅｃｉｎｃｔと呼ばれる矩形の領域に分割した一例を示すための図である。
【図１０】サブバンドをｐｒｅｃｉｎｃｔと呼ばれる矩形の領域に分割した一例を示すための図である。
【図１１】４つのコードブロックを含む１つのｐｒｅｃｉｎｃｔを１６個のレイヤに分割している一例を示すための図である。
【図１２】パケットの一例を説明するための図である。
【図１３】ＪＰＥＧ２０００符号ストリームの一例を説明するための図である。
【図１４】Ｌａｙｅｒ−ｒｅｓｏｌｕｔｉｏｎ−ｃｏｍｐｏｎｅｎｔ−ｐｏｓｉｔｉｏｎ順のパケットの並べ方を説明するための図である。
【図１５】Ｌａｙｅｒ−ｒｅｓｏｌｕｔｉｏｎ−ｃｏｍｐｏｎｅｎｔ−ｐｏｓｉｔｉｏｎ順で符号データを再圧縮する一例を説明するための図である。
【図１６】符号化・復号化器の構成例を説明するための図である。
【図１７】画像データの符号化と符号データの再圧縮との処理を説明するための図である。
【図１８】レイヤごとの符号量を求める装置の一例を説明するための図である。
【図１９】レイヤの符号量の内容を表す一例を説明するための図である。
【図２０】符号量カウント部の構成の一例を説明するための図である。
【図２１】レイヤの符号量の内容を表す他の例を説明するための図である。
【図２２】符号量カウント部の構成の他の例を説明するための図である。
【図２３】再符号化を行う際のレイヤ選択回路の構成の一例を説明するための図である。
【図２４】再符号化を行う際のレイヤ選択回路の構成の他の例を説明するための図である。
【図２５】符号再圧縮回路の構成例を説明するための図である。
【図２６】Ｒｅｓｏｌｕｔｉｏｎ−ｐｏｓｉｔｉｏｎ−ｃｏｍｐｏｎｅｎｔ−ｌａｙｅｒ順の符号データの一例を示す図である。
【図２７】符号再圧縮回路におけるレイヤ８より下位の符号データを破棄する処理の一例のフローチャート図である。
【図２８】レイヤ８から１６のパケットを破棄した符号データの一例を示す図である。
【図２９】符号再圧縮回路におけるレイヤ８より下位の符号データをゼロパケットに置き換える処理の一例のフローチャート図である。
【図３０】レイヤ８から１６のパケットをゼロパケットに書き替えた符号データの一例を示す図である。
【図３１】符号再圧縮回路と符号化・復号化器との組み合わせの一例を示す図である。
【符号の説明】
１ 画像データ
２ 符号データ
３ 再圧縮符号データ
１０ 色変換部
１１ ＤＷＴ部
１２ 量子化器
１３ 係数モデリング部
１４ ＭＱ符号化器
１５ 符号形成部
２０ パケット
２１ パケットヘッダー
２２ エントロピー符号データ（パケットデータ）
３１ メインヘッダーマーカー（ＳＯＣ）
３２ メインヘッダーマーカーセグメント
３３ タイルパートヘッダーマーカー（ＳＯＴ）
３４ タイルパートヘッダーマーカーセグメント
３５ ＳＯＤマーカー
３６ ビットストリーム
３７ ＥＯＣマーカー
４０ メインヘッダー
４１ タイルパートヘッダー
５０ 符号化・復号化器
５１ 前・後処理部
５２ ＤＷＴ／ＩＤＷＴ
５３ エントロピー符号・復号化部
５４ 符号構成部
５５ ＰＬＬ回路
５６ ＣＰＵＩ／Ｆ部
５６ ワークメモリ
５７ ヘッダー処理部
６０ 符号量カウント部
６１ カウンター
６２ デコーダー
６３ 累加算器
６４ 符号量カウント部レジスタ
７０ レイヤ選択回路
７１ 比較器
７２ プライオリティエンコーダー
７３ 符号再圧縮回路
７５ マルチプレクサ
７６ 加算器
７７ レイヤ選択回路レジスタ
７８ レイヤ決定回路
８１ ヘッダーデコード部
８２ バッファ
８３ ヘッダー書き替え部
【発明の属する技術分野】
本発明は、画像処理装置に係り、特に周波数領域の画像データを、複数の部分画像データに分割し、該部分画像データのビットプレーンにおける符号化パスごとに圧縮符号化し、所定数の符号化パスによりレイヤを構成し、該レイヤごとの符号データ量に基づいて再圧縮する画像処理装置に関する。
【０００２】
【従来の技術】
近年、画像圧縮・伸張技術の国際基準としてＪＰＥＧ２０００が知られている。ＪＰＥＧ２０００は、それ以前の画像圧縮・伸張技術の国際基準であったＪＰＥＧに比べて、圧縮率が高いこと、豊富な符号化機能を具備していること、動画データにも対応していること等を特徴としている。
【０００３】
図１にＪＰＥＧ２０００の符号化手順の流れを示す。また、図１においては、説明に必要な構成を表し、説明に必要の無い構成を省略してある。以下の図面においても同じである。
【０００４】
ＪＰＥＧ２０００の符号化手順においては、画像データ１は、色変換部１０、２次元離散ウェーブレット変換（ＤＷＴ）部１１、量子化器１２、係数モデリング部１３、ＭＱ符号化器１４、符号形成部１５を経て、符号データ２が得られる。図２〜図８にこれらの処理を模式的に描いた図を示す。なお、係数モデリング部１３、ＭＱ符号化器１４により、エントロピー符号化が行われる。
【０００５】
まず、入力される画像データ１は、ＹＣｂＣｒと呼ばれる輝度成分（コンポーネント１）、色差成分（コンポーネント２及びコンポーネント３）に変換され、それぞれ離散ウェーブレット変換（ＤＷＴ）部１１に入力される。その後、各コンポーネントは最後の符号形成の段階で一つの符号にまとめられるまで、それぞれ独立して符号化の処理が行われる。
【０００６】
図２は、水平方向Ｍ画素、垂直方向Ｎ画素の画像データに３レベルの２次元離散ウェーブレット変換を行った場合の一例を説明するための図である。
【０００７】
水平方向Ｍ画素、垂直方向Ｎ画素の画像データは、レベル３の２次元離散ウェーブレット変換を行った結果、３ＬＬ、３ＨＬ、３ＬＨ、３ＨＨ、２ＨＬ、２ＬＨ、２ＨＨ、１ＨＬ、１ＬＨ、１ＨＨの１０個のサブバンドのウェーブレット係数データに変換される。このとき、各サブバンドの大きさは、３ＬＬ、３ＨＬ、３ＬＨ、３ＨＨの４つが、Ｍ／８×Ｎ／８。２ＨＬ、２ＬＨ、２ＨＨの３つがＭ／４×Ｎ／４。１ＨＬ、１ＬＨ、１ＨＨの３つがＭ／２×Ｎ／２となる。
【０００８】
また、処理する画像をタイルと呼ばれる複数の矩形ブロックに分けて処理を行うことも可能である。画像を複数のタイルに分割する場合は、後に続く符号化処理はこのタイルの単位での処理となる。
【０００９】
図３は、画像データをｍ×ｎの大きさのタイルに分割し、レベル３の２次元離散ウェーブレット変換を行った場合の一例を説明するための図である。
【００１０】
水平方向ｍ、垂直方向ｎの１タイルの画像データは、レベル３の２次元離散ウェーブレット変換を行った結果、３ＬＬ、３ＨＬ、３ＬＨ、３ＨＨ、２ＨＬ、２ＬＨ、２ＨＨ、１ＨＬ、１ＬＨ、１ＨＨの１０個のサブバンドのウェーブレット係数データに変換される。このとき、各サブバンドの大きさは、３ＬＬ、３ＨＬ、３ＬＨ、３ＨＨの４つが、ｍ／８×ｎ／８。２ＨＬ、２ＬＨ、２ＨＨの３つがｍ／４×ｍ／４。１ＨＬ、１ＬＨ、１ＨＨの３つがｍ／２×ｎ／２となる。上述した如く、後に続く符号化処理は、このタイルを単位として処理を行っていく。
【００１１】
ＪＰＥＧ２０００では、ウェーブレット変換のフィルタ係数として、可逆・非可逆の２通りの係数が規定されている。可逆・非可逆を統一的に扱う場合は、可逆のフィルタ係数が用いられ、より高いレート又は良好なひずみ特性を実現する場合は非可逆のフィルタ係数を用いる。
【００１２】
次に、各ウェーブレット係数データに対して図４で示される式により、スカラー量子化が行われる。ここで、ａが入力されるウェーブレット係数データで、ｑが出力される量子化後の係数データ、ｓｉｇｎ（ａ）はウェーブレット係数データａの符号、｜ａ｜はウェーブレット係数データａの絶対値、Δｂはサブバンドごとに決められた量子化ステップ、「」はフロア関数を示す。ただし、可逆ウェーブレット係数を用いた場合は、このスカラー量子化は実施されない。
【００１３】
ウェーブレット変換後、或いは量子化後の係数データを各サブバンドごと、或いはサブバンドを複数の矩形領域に分割したコードブロックごとにエントロピー符号化していく。図５に、各サブバンドをＰ×Ｑの大きさのコードブロックに分割した一例を示す。また、前記エントロピー符号化は、後段のＭＱ符号化器１４に与えるコンテキストを生成する係数モデリング部１３での処理と、実際に符号化を行うＭＱ符号化器１４での処理によりなされる。
【００１４】
図６は、各サブバンドごとにエントロピー符号化した場合におけるサブバンドＣＢ１とそのＭＱ符号化器１４の処理を示す。サブバンドＣＢ１は、Ｐ×Ｑの画像サイズを有し、各点の画像は、（Ｎ＋２）ビットで量子化されている。上面が量子化ビットのＭＳＢ（ｍｏｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｂｉｔ）で、下面が量子化ビットのＬＳＢ（ｌｅａｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｂｉｔ）である。図６では、上面から２つ目のプレーンには、量子化ビットが存在しない。このビットプレーンをゼロビットプレーンという。
【００１５】
係数モデリング部１３での処理では、コードブロック単位でウェーブレット係数データをビットプレーンに分割し、上位のビットプレーンから順番に符号化の処理を進める。
【００１６】
最初に、ウェーブレット係数データを符号（正・負）と絶対値とで表し、同一のコードブロックに含まれるウェーブレット係数データの絶対値をビットプレーンに分割する。
【００１７】
続いてゼロビットプレーンがＭＳＢ側からみて何プレーン続くかを調べる。該ゼロビットプレーンは、ＭＱ符号化の処理を行わず、ＭＳＢより連続するゼロビットプレーンの枚数（ゼロビットプレーン数）のみを後述するパケットヘッダーに反映させる。ＭＱ符号化の処理は、ＭＳＢ側より数えて初めて０でないビットデータが出現したビットプレーン（図中のビットプレーンＮ）より始める。
【００１８】
次に、ビットプレーン上の各ビットをある規則に従いＳ、Ｒ、Ｃの３つに分類する。図７にビットプレーン上の各ビットをある規則に従いＳ、Ｒ、Ｃの３つに分類した一例の図を示す。前述した如くビットプレーンをＳ、Ｒ、Ｃに３つに分類した後、該ビットプレーンをスキャンする。
【００１９】
最初にＳに分類されたビットデータのみ、該ビットデータの周りの画素の情報に基づいて作られたコンテキストを用いて符号化する。続いてＲに分類されたビットデータを、最後にＣに分類されたビットデータをそれぞれ異なったコンテキストにより符号化し、１つのビットプレーンを符号化する。このビットプレーン１回のスキャンと対応するビットの符号化をコーディングパス特に、
Ｓに分類されたビットを符号化するパスを、ｓｉｇｎｉｆｉｃａｎｔ ｐｒｏｐａｇａｔｉｏｎパス。
【００２０】
Ｒに分類されたビットを符号化するパスを、ｍａｇｎｉｔｕｄｅ ｒｅｆｉｎｅｍｅｎｔパス。
【００２１】
Ｃに分類されたビットを符号化するパスを、ｃｌｅａｎ ｕｐパス。
と呼ぶ。
【００２２】
結局１つのビットプレーンは３つのパスで全て符号化されることになる。ただし、ＭＳＢ側より数えて初めて０でないビットデータが出現したビットプレーン（図６中、ビットプレーンＮ）のビットは全てＣに分類され、このビットプレーンのみはｃｌｅａｎ ｕｐパスだけで符号化される。
【００２３】
したがって、図６に示すが如く、Ｎ枚のゼロビットプレーンでないビットプレーン（非ゼロビットプレーン）が存在するコードブロックは、３Ｎ−２回のパスで全て符号化される。
【００２４】
最終的に得られる符号データ（ＭＱ符号データ）の一例を図８に示す。図８に示すが如く、ＭＱ符号データは、各パスで生成される符号データをつなげたものとなる。
【００２５】
また、各サブバンドは、ｐｒｅｃｉｎｃｔと呼ばれる矩形の領域に分割することができる。各サブバンドをｐｒｅｃｉｎｃｔに分割した例を図９、図１０に示す。図９では、３ＬＬのサブバンドを２個のｐｒｅｃｉｎｃｔ（Ｐ１、Ｐ２）に分け、各ｐｒｅｃｉｎｃｔには４つのコードブロックが含まれている様子を示している。また、図１０では、ＬＬ以外のサブバンドが、Ｐ１、Ｐ２、Ｐ３、・・・と複数のｐｒｅｃｉｎｃｔに分割され、各ｐｒｅｃｉｎｃｔには４つのコードブロックが含まれている様子を示している。なお、１つのｐｒｅｃｉｎｃｔに含まれるコードブロックの数は解像度ごとに任意に設定することができる。
【００２６】
また、任意の数のコーディングパスをまとめて１つのレイヤを構成することができる。これは、ＭＱ符号化データをもとのウェーブレット係数データの精度方向に分割することに等しい。図１１では、図９の３ＬＬのサブバンドで４つのコードブロック（ＣＢ１、ＣＢ２、ＣＢ５、ＣＢ６）を含む１つのｐｒｅｃｉｎｃｔ（Ｐ１）をＬ１〜Ｌ１６の１６個のレイヤに分割している一例を示す。
【００２７】
レイヤ１には、ＣＢ１のコーディングパス１、２で生成された符号（ＰＳ１、ＰＳ２）と、ＣＢ６のコーディングパス１で生成された符号（ＰＳ１）とが含まれ、レイヤ２には、ＣＢ２のコーディングパス１で生成された符号（ＰＳ１）と、ＣＢ５のコーディングパスで生成された符号（ＰＳ１）とが含まれる。このようにレイヤに含まれる各コードブロックのコーディングパス数は任意に設定することができる。
【００２８】
上述した如く、各コンポーネントごとの画像データは、２次元離散ウェーブレット変換により、解像度を下げたサブバンドごとのウェーブレット係数データに変換され、各サブバンドはｐｒｅｃｉｎｃｔと呼ばれる矩形領域に分割される。更に、ｐｒｅｃｉｎｃｔに含まれるウェーブレット係数データをコードブロック単位でビットプレーンごとに３つのコーディングパスでＭＱ符号化していく。このとき一連のＭＱ符号データを、コーディングパスを単位としてレイヤと呼ばれる階層に分割することができる。
【００２９】
ＪＰＥＧ２０００では、上記コンポーネント、サブバンド、ｐｒｅｃｉｎｃｔ、レイヤで分類されるＭＱ符号データ、つまり、図１１の太枠で囲まれた符号データをまとめて１つのパケットとして管理する。ここで、場合によっては、該当するコードブロックのＭＱ符号データをまったく含まないゼロパケットと呼ばれるパケットも存在する。
【００３０】
図１２に、具体的なパケットの例を説明するための図を示す。図１２の、パケット２０は、パケットヘッダー２１とパケットデータ（エントロピー符号データ）２２とより構成される。ここで、前記ＭＱ符号データ（ＣＢ１のＰＳ１、ＣＢ１のＰＳ２、ＣＢ６のＰＳ１）は、パケットデータ２１に格納される。一方、パケットヘッダー２０には、パケットを復号するために必要な以下の情報が格納される。
▲１▼該パケットがゼロパケットかどうか。
【００３１】
図１２の例では、パケットはゼロパケットでないという情報が格納される。
▲２▼該当するコードブロックのＭＱ符号データが該パケットに含まれるかどうか。
【００３２】
ＣＢ１とＣＢ６とのＭＱ符号データは含まれ、ＣＢ２とＣＢ５とのＭＱ符号データは含まれない。
▲３▼該パケットに含まれる各ＭＱ符号データのコーディングパス数
ＣＢ１に含まれるＭＱ符号データのコーディングパス数は２
ＣＢ６に含まれるＭＱ符号データのコーディングパス数は１
▲４▼該パケットに含まれる各ＭＱ符号データのバイト数
ＣＢ１に含まれるＭＱ符号データのバイト数（ＰＳ１とＰＳ２との合計）と、
ＣＢ６に含まれるＭＱ符号データのバイト数（ＰＳ１）。
【００３３】
ここでは、３ＬＬのサブバンド内のパケットについて説明したが、それ以外のサブバンドは同じ解像度で、同じ位置にある３つのｐｒｅｃｉｎｃｔの同じレイヤの符号が一つのパケットを構成する。図１０を例にとると、ＨＬサブバンド、ＬＨサブバンド、ＨＨサブバンドの各ｐｒｅｃｉｎｃｔ、Ｐ１に含まれるコードブロックから生成されるレイヤごとのＭＱ符号データを同じパケットとして管理する。
【００３４】
最終的には、図１３に示すＪＰＥＧ２０００の符号ストリームが生成される。ＪＰＥＧ２０００の符号ストリームは、メインヘッダーマーカー（ＳＯＣ）３１、メインヘッダーマーカーセグメント３２、タイルパートヘッダーマーカー（ＳＯＴ）３３、タイルパートヘッダーマーカーセグメント３４、ＳＯＤマーカー３５、ビットストリーム３６、ＥＯＣマーカー３７とから構成されている。
【００３５】
メインヘッダーマーカー３１は、符号ストリームの開始を表し、メインヘッダーマーカーセグメント３２は、画像情報、量子化の情報、符号化の情報などを含む。タイルパートヘッダーマーカー３３は、タイルパートの開始を表し、タイルパートヘッダーマーカーセグメント３４は、それに続くタイルパートの情報、量子化の情報、符号化の情報などを含む。ＳＯＤマーカー３５は、データの開始を表し、ビットストリーム３６は、そのタイルパートに含まれる全てのパケットを含む。符号データが複数のタイルパートより成る場合は、タイルパートヘッダーマーカー３３、タイルパートヘッダーマーカーセグメント３４、ＳＯＤマーカー３５、ビットストリーム３６を繰り返し、ＥＯＣマーカー３７は、符号ストリームの終わりを表す。ここで、１つのタイルの符号データを複数のタイルパートに分けて符号ストリームを構成することも可能である。
【００３６】
上述した如く、画像データは、コードブロック単位でＭＱ符号化され、その符号データは輝度・色差成分（コンポーネント）ごと、解像度（ＬＬ、ＨＬ−ＬＨ−ＨＨサブバンド）ごと、領域（ｐｒｅｃｉｎｃｔ）ごと、レイヤごとにパケット単位にまとめられ、図１３のビットストリーム３６の位置に特定の順番で配置される。例として、画像全体をタイル分割しないで、以下に示すパラメータで符号化を行う場合を考える。
▲１▼コンポーネント数：Ｃｍａｘ個（Ｃ１、Ｃ２、・・・、Ｃｍａｘ）
▲２▼解像度：Ｒレベル＝Ｒ＋１個（１：ＲＬＬ、２：ＲＨＬ−ＲＬＨ−ＲＨＨ、・・・、Ｒ＋１：１ＨＬ−１ＬＨ−１ＨＨ）
▲３▼ｐｒｅｃｉｎｃｔ：各解像度でＰｍａｘ個（Ｐ１、Ｐ２、・・・、Ｐｍａｘ）
▲４▼レイヤ：Ｌｍａｘ個（Ｌ１、Ｌ２、・・・、Ｌｍａｘ）
このとき、パケットの総数は、Ｃｍａｘ×（Ｒ＋１）×Ｐｍａｘ×Ｌｍａｘとなる。
【００３７】
ＪＰＥＧ２０００の符号ストリームを構成する際に、タイルパートに分割しない場合は、タイルパートヘッダー４０に含まれる情報を全てビットストリーム３６の位置に配置する必要がある。ＪＰＥＧ２０００の規格では、パケットの並べ方として、コンポーネント、解像度、ｐｒｅｃｉｎｃｔ、レイヤの何を優先するかによって、５通りの並べ方（ｐｒｏｇｒｅｓｓｉｏｎ ｏｒｄｅｒ）を規定している。
【００３８】
図１４は、ｐｒｏｇｒｅｓｓｉｏｎ ｏｒｄｅｒの１つであるＬａｙｅｒ−ｒｅｓｏｋｕｔｉｏｎ−ｃｏｍｐｏｎｅｎｔ−ｐｏｓｉｔｉｏｎ順のパケットの並びを示している。初めに（Ｌ１、ＲＬＬ、Ｃ１、Ｐ１）のパケットを並べ、レイヤ、解像度、コンポーネントは１のままｐｒｅｃｉｎｃｔが２、３、・・・、Ｐｍａｘのパケットを順番に並べる。次にコンポーネントを２として、ｐｒｅｃｉｎｃｔが１、２、・・・、Ｐｍａｘのパケットを順番に並べる。これをコンポーネントがＣｍａｘになるまで続け、後は同様に解像度を２、３、・・・、Ｒ＋１。レイヤを２、３、・・・、Ｌｍａｘになるまで順番にパケットを並べる。
【００３９】
ｐｒｏｇｒｅｓｓｉｏｎ ｏｒｄｅｒとしては、Ｌａｙｅｒ−ｒｅｓｏｋｕｔｉｏｎ−ｃｏｍｐｏｎｅｎｔ−ｐｏｓｉｔｉｏｎ順以外に
Ｒｅｓｏｌｕｔｉｏｎ−ｌａｙｅｒ−ｃｏｍｐｏｎｅｎｔ−ｐｏｓｉｔｉｏｎ順。
Ｒｅｓｏｌｕｔｉｏｎ−ｐｏｓｉｔｉｏｎ−ｃｏｍｐｏｎｅｎｔ−ｌａｙｅｒ順。
Ｐｏｓｉｔｉｏｎ−ｃｏｍｐｏｎｅｎｔ−ｒｅｓｏｌｕｔｉｏｎ−ｌａｙｅｒ順。
Ｃｏｍｐｏｎｅｎｔ−ｐｏｓｉｔｉｏｎ−ｒｅｓｏｌｕｔｉｏｎ−ｌａｙｅｒ順。
が規定されているが、いずれもコンポーネント、解像度、ｐｒｅｃｉｎｃｔ、レイヤのどの要素を優先して並べるかが異なるだけで、パケットの内容（パケットヘッダー、パケットデータ）自体は変わらない。
【００４０】
上記ｐｒｏｇｒｅｓｓｉｏｎ ｏｒｄｅｒには次に示す意味がある。複号時に復号されたパケットを順次画像データとして表示していくと、例えばＬａｙｅｒ−ｒｅｓｏｋｕｔｉｏｎ−ｃｏｍｐｏｎｅｎｔ−ｐｏｓｉｔｉｏｎ順は、複号時に上位の画像全体の全コンポーネントのデータが圧縮された解像度で、上位レイヤから順に復号されていくので、最初に粗い画像が出力され次第に画質の良い画像に復元されることになる。Ｒｅｓｏｋｕｔｉｏｎ−ｌａｙｅｒ−ｃｏｍｐｏｎｅｎｔ−ｐｏｓｉｔｉｏｎ順であれば、最初に解像度の低い画像が復元され、次第に高解像度の画像が出来て行くことになる。このように、符号のｐｒｏｇｒｅｓｓｉｏｎ ｏｒｄｅｒにより、復号時に何を優先して表示するかが変わってくる。
【００４１】
次にＪＰＥＧ２０００の特徴である符号の再圧縮、即ち符号データを一旦復号することなく、更に圧縮された符号を生成する方法について述べる。この再圧縮の機能は、ロスレス或いはそれに近い圧縮率で符号化され蓄積されたデータをある伝送路を使って送信する際などに利用される。即ち、その伝送路の伝送能力が低いため、蓄積された符号データの送信が所定時間以内に完了しないような場合に、符号の再圧縮により、符号量をある決められた上限以下に圧縮して送信することで、所定時間以内に符号データの伝送を完了させることができるようになる。更に、このような場合においても、復号された画像データの画質は、その制限の範囲内において最も高いことが望まれる。ＪＰＥＧ２０００では、このような機能を以下のようにして実現する。
【００４２】
図１５にＬａｙｅｒ−ｒｅｓｏｌｕｔｉｏｎ−ｃｏｍｐｏｎｅｎｔ−ｐｏｓｉｔｉｏｎ順で符号データを再圧縮する一例を示す。このような場合、符号データの先頭から送信しながらバイト数を数えていき、例えばレイヤｎで予め設定された上限になればその時点（図中ａ）で符号データを打ち切る。こうする事で上位のレイヤから符号データを送信し、必要な符号量で復号時において最も画質の良くなる符号データを送信することができる。
【００４３】
【発明が解決しようとする課題】
しかしながら、従来の上述の方法では、符号のｐｒｏｇｒｅｓｓｉｏｎ ｏｒｅｄｅｒが、Ｌａｙｅｒ−ｒｅｓｏｌｕｔｉｏｎ−ｃｏｍｐｏｎｅｎｔ−ｐｏｓｉｔｉｏｎ順に限られてしまい、更にハードウェア化を考えると実際にはコードブロックごとにＭＱ符号化を行うため、前述の如く画像全体の上位レイヤを優先して並べていくこのｐｒｏｇｒｅｓｓｉｏｎ ｏｒｄｅｒで符号化を行うことは難しい。
【００４４】
本発明は上記の点に鑑みなされたもので、圧縮された符号データを簡単且つ効率的に再圧縮することが可能な画像処理装置を提供することを目的とする。
【００４５】
【課題を解決するための手段】
そこで、上記問題を解決するため、請求項１記載の発明は、周波数領域の画像データを、複数の部分画像データに分割し、該部分画像データのビットプレーンにおける符号化パスごとに圧縮符号化し、所定数の符号化パスによりレイヤを構成し、該レイヤごとの符号データ量に基づいて再圧縮する画像処理装置であって、前記レイヤごとの符号データ量を最上位レイヤから積算していき、積算された符号データ量が、所定の量を超えない範囲のレイヤを選択するレイヤ選択手段と、前記レイヤ選択手段により選択されたレイヤよりも下位のレイヤの符号データを破棄又はゼロにすることによってデータ量を圧縮するデータ量圧縮手段とを有することを特徴とする。
【００４６】
また、請求項２記載の発明は、前記積算されたレイヤごとの符号データ量の値を、再圧縮した符号データのヘッダー情報として用いることを特徴とする。
【００４７】
また、請求項３記載の発明は、前記符号データを復号化する符号データ復号化手段を有し、前記データ量圧縮手段は、ヘッダーをデコードするヘッダーデコード手段を有し、前記符号データ復号化手段は、前記ヘッダーデコード手段から出力されたヘッダー情報を用いて復号化することを特徴とする。
【００４８】
また、請求項４記載の発明は、ＪＰＥＧ２０００が規定する符号化及び／又は復号化の処理を行うことを特徴とする。
【００４９】
請求項１記載の発明によれば、周波数領域の画像データを、複数の部分画像データに分割し、該部分画像データのビットプレーンにおける符号化パスごとに圧縮符号化し、所定数の符号化パスによりレイヤを構成し、該レイヤごとの符号データ量に基づいて再圧縮する画像処理装置であって、前記レイヤごとの符号データ量を最上位レイヤから積算していき、積算された符号データ量が、所定の量を超えない範囲のレイヤを選択するレイヤ選択手段と、前記レイヤ選択手段により選択されたレイヤよりも下位のレイヤの符号データを破棄又はゼロにすることによってデータ量を圧縮するデータ量圧縮手段とを有することにより、簡単で且つ効率的な符号データの再圧縮が行える画像処理装置を提供することができる。
【００５０】
請求項２記載の発明によれば、前記積算されたレイヤごとの符号データ量の値を、再圧縮した符号データのヘッダー情報として用いることにより、簡単で且つ効率的に再圧縮符号データのヘッダーを生成することができる。
【００５１】
請求項３記載の発明によれば、前記符号データを復号化する符号データ復号化手段を有し、前記データ量圧縮手段は、ヘッダーをデコードするヘッダーデコード手段を有し、前記符号データ復号化手段は、前記ヘッダーデコード手段から出力されたヘッダー情報を用いて復号化することにより、再圧縮する符号データの元となる画像データを復号することができる。
【００５２】
請求項４記載の発明によれば、ＪＰＥＧ２０００の再符号化及び／又は復号化の処理に前記画像処理装置を用いることにより、所定の情報量以下の符号データの情報量で最適な画質の画像を復元することができる。
【００５３】
【発明の実施の形態】
以下、本発明の実施の形態について図面に基づいて説明する。なお、本発明の実施の形態は、ＪＰＥＧ２０００ベースにして説明する。
【００５４】
図１６に本発明の実施における１チップの符号化・復号化器５０の例を示す。図１６では、説明に必要な構成を表し、説明に必要の無い構成を省略してある。以下の図面においても同じである。
【００５５】
図１６の符号化・復号化器５０は、前・後処理部５１、２次元離散ウェーブレット変換（ＤＷＴ／ＩＤＷＴ）部５２、エントロピー符号・復号化部５３、符号形成部５４、ＰＬＬ（Ｐｈａｓｅ Ｌｏｃｋｅｄ Ｌｏｏｐ）回路５５、ＣＰＵＩ／Ｆ部５６、エントロピー符号化部５３のワークメモリ５７及びヘッダー処理部５８から構成されている。
【００５６】
前・後処理部５１は、符号化時は画像データを画像データＩ／Ｆから得て、例えば、レベルシフトを行いＲＧＢ（赤・緑・青）データをＹＣｂＣｒ（輝度成分・色差成分）データに変換する。また、復号化時はその逆変換を行う。
【００５７】
２次元離散ウェーブレット変換部（ＤＷＴ／ＩＤＷＴ）部５２は、２次元離散ウェーブレット変換及びその逆変換を行う。
【００５８】
エントロピー符号・復号化部５３は、エントロピー符号化及びその逆変換を行う。
【００５９】
符号形成部５４は、符号化時は、符号形成を行い、生成した符号にヘッダー処理部５８で生成したヘッダーを付加して符号データＩ／Ｆによりビットストリームを有する符号データフォーマットを出力する。復号時は、符号データＩ／Ｆからビットストリームを有する符号データフォーマットを得て、復号化時と逆の処理を行う。
【００６０】
ＰＬＬ回路５５は、符号化・復号化器５０のクロックを生成する。ＣＰＵＩ／Ｆ部５６は、符号化・復号化５０と外部に設けたＣＰＵとのインターフェースをとる。
【００６１】
次に画像データの符号化と符号データの再圧縮の処理を説明する。図１７の（Ａ）は画像データの符号化の処理を、図１７の（Ｂ）は符号データの再圧縮の処理を説明するための図である。
【００６２】
図１７の（Ａ）では、画像全体を符号化した際のレイヤごとの符号量を求め、符号データとともに該算出した符号量を管理する。図１７の（Ｂ）では、前記算出した符号量を基に、所定の上限符号量を超えない範囲で最大の符号量が得られるレイヤを決定し、該レイヤより下位のレイヤのパケットを破棄することで、符号データの再圧縮を行っている。
【００６３】
図１８にレイヤごとの符号量を求める装置の一例を示す。図１８は、符号化の最終ステップである符号構成部５４において、バイト単位で符号データを出力する際、その符号データのバイト出力イネーブル信号と、出力しているパケットが属するレイヤナンバーの情報とを同時に符号量カウント部６０に入力する。
【００６４】
図１９にレイヤの符号量の内容を表す一例を示す。図１９に示されるように、レイヤの符号量をレイヤに属するパケットの符号量と定義し、メインヘッダーのバイト数、タイルパートヘッダーのバイト数及びＥＯＣの２バイトはレイヤ１の符号量に含める。
【００６５】
図２０に符号量カウント部６０の構成の一例を示す。符号量カウント部６０は、符号データの出力イネーブル信号によりカウントアップするカウンター６１と、各レイヤナンバーの情報をデコードするデコーダー６２と、レイヤ数に対応してレイヤごとの符号量を格納する累加算器６３とによって構成される。
【００６６】
カウンター６１のカウント値は、レイヤナンバーが変わる度にリセットされ、そのレイヤの符号データが発生する度にカウントアップされる。カウントアップされたカウント値は、レイヤナンバーが変わる際に、累加算器６３に入力される。このとき、デコーダー６２は、現在出力されているパケットが属するレイヤナンバーより、上位のレイヤ全てを選択するようにしておく。こうすることにより、例えばカウンター６１のカウント値が、レイヤＮの符号データをカウントした値であったとすると、そのカウント値は、レイヤ１〜レイヤＮの全ての累加算器６３で加算される。また、出力する符号データが、メインヘッダー、タイルパートヘッダー、ＥＯＣの場合、レイヤ１が出力されるようにしておくことにより、図１９で示されるレイヤごとの符号量を算出することができる。
【００６７】
また、レイヤの符号量を内容の内容を表す他の例を図２１に示す。図２１に示されるように、レイヤの符号量をレイヤに属するパケットの符号量のみと定義し、メインヘッダーのバイト数、タイルパートヘッダーのバイト数及びＥＯＣの２バイトはレイヤ１の符号量に含める。レイヤの符号量をこのように定義することにより、符号量カウント部６０を以下のように構成することができる。
【００６８】
図２２に符号量カウント部６０の構成の他の例を示す。符号量カウント部６０は、符号データの出力イネーブル信号によりカウントアップするカウンター６１と、各レイヤナンバーの情報をデコードするデコーダー６２と、レイヤ数に対応してレイヤごとの符号量を格納する符号量カウント部レジスタ６４とによって構成される。
【００６９】
カウンター６１のカウント値は、レイヤナンバーが変わる度に次のレイヤに対応するレイヤごとの符号量がリセットされ、そのレイヤの符号データが発生する度にカウントアップされる。カウントアップされたカウント値は、レイヤナンバーが変わる際に、符号量カウント部レジスタ６４に入力される。このとき、デコーダー６２は、現在出力されているパケットが属するレイヤナンバーを選択するようにしておく。こうすることにより、図２１に示されるレイヤごとの符号量のデータを得ることができる。
【００７０】
以下、符号データの再圧縮を行う際に、レイヤごとの情報を基に所定の上限符号量を超えない範囲で最大の符号量が得られるレイヤを決定する装置の例を示す。
【００７１】
図２３は、再符号化を行う際のレイヤ選択回路７０の構成の一例を説明するための図である。図２３のレイヤ選択回路７０は、比較器７１と、プライオリティエンコーダー７２とから構成されている。
【００７２】
比較器７１に符号データを入力する前に、上限の設定符号量を設定して、レイヤごとの符号量を比較器７１に入力する。比較器７１では、各レイヤごとの符号量と設定符号量とを比較して、その比較結果をプライオリティエンコーダー７２に入力する。プライオリティエンコーダー７２では、前記比較器７１より入力されたそれぞれのレイヤにおける比較結果に基づき、設定符号量を超えない範囲で最大の符号量が得られるレイヤを選択する。選択された選択レイヤは、符号再圧縮回路７３に渡され、符号データの再符号化に用いられる。
【００７３】
図２３は、図１９、図２０で示される、符号量カウント部で得られるレイヤごとの符号量に対応した、再符号化時のレイヤ選択回路７０である。
【００７４】
図２４は、再符号化を行う際のレイヤ選択回路７０の構成の他の例を説明するための図である。図２４のレイヤ選択回路７０は、比較器７１と、マルチプレクサ７５と、加算器７６と、レイヤ選択回路レジスタ７７と、レイヤ決定回路７８とから構成されている。
【００７５】
マルチプレクサ７５は、レイヤ１の符号量、レイヤ２の符号量、・・・、レイヤ１６の符号量から一つを選択し、選択したレイヤの符号量を加算器７６に入力する。加算器７６では、入力されたレイヤの符号量を、それまでのレイヤに含まれる符号量に加算し、加算した結果をレイヤ選択回路レジスタ７７に格納する。レイヤ選択回路レジスタ７７は、加算結果を格納していると共に、次のレイヤ符号量と加算すべき値とを保持している。比較器７１は、加算器の出力と、所定の設定符号量とを比較し、比較した結果をレイヤ決定回路７８に入力する。レイヤ決定回路７８は、所定の設定符号量を超えない範囲で最大の符号量となるレイヤを選択し、選択する。選択された選択レイヤは、符号再圧縮回路７３に渡され、符号データの再符号化に用いられる。
【００７６】
ここでは、レイヤ１の符号量、レイヤ２の符号量、・・・、レイヤ１６の符号量と、順番にマルチプレクサ７５で選択し、加算器７６を用いてレイヤ選択回路レジスタ７７に保存されているそれまでのレイヤの符号量と選択したレイヤの符号量とが加算され、比較器７１にて設定符号量と比較される。加算値が始めて設定符号量と比べて大きくなると、それより一つ前のレイヤが選択され、レイヤ決定回路より符号再圧縮回路７３に渡される。
【００７７】
図２４は、図２１、図２２で示される、符号量カウント部で得られるレイヤごとの符号量に対応した、再符号化時のレイヤ選択回路７０である。
【００７８】
次に、符号再圧縮回路７３について説明する。図２５は、符号再圧縮回路７３の構成例を説明するための図である。符号再圧縮回路７３は、ヘッダーデコード部８１と、バッファ８２と、ヘッダー書き替え部８３とから構成されている。
【００７９】
符号圧縮回路７３に入力される符号データは、図１３に示されるようにメインヘッダー４０と、タイルパートヘッダー４１と、それに続くビットストリーム３６とから構成される。ビットストリーム３６は、上述した如く、パケットヘッダー２１とパケットデータ２２とからなる複数のパケットが、規定されたｐｒｏｇｒｅｓｓｉｏｎ ｏｒｄｅｒ順に並んだ構成となっている。
【００８０】
ここで、パケットの順番、レイヤ数、コンポーネント数、解像度情報及びｐｒｅｃｉｎｃｔの情報は予めヘッダーデコード部８１に設定されているものとする。このとき、パケットの順番、レイヤ数、コンポーネント数、解像度情報、ｐｒｅｃｉｎｃｔの情報は、メインヘッダー４０或いはタイルパートヘッダー４１に記述されているので、ヘッダーデコード部８１は、その値を自動的に取り込む構成とすることも可能である。また、破棄すべきパケットの情報は、前記レイヤ選択回路７０で選択された選択レイヤより、知ることができる。
【００８１】
ヘッダーデコード部８１では、入力された符号データの、メインヘッダー４０とタイルパートヘッダー４１とをバッファ８２に入力する。一方、ヘッダーデコード部８１は、パケットのパケットヘッダーより、コードブロックのゼロビットプレーン数、コーディングパス数、ＭＱ符号データのバイト数情報をデコードする。また、該パケットのレイヤ数が前記レイヤ選択回路７０により選択されたレイヤと比較し、破棄すべきパケットであれば次のパケットの先頭まで破棄し、該パケットが破棄すべきでないパケットであれば、そのパケットヘッダー２１とパケットデータ２２とをバッファ８２に入力する。同様の操作を最後のパケットまで繰り返すと同時に、残すべき符号データのバイト数をカウントしておく。
【００８２】
ヘッダー書き替え部８３では、予め設定された条件に合うように、メインヘッダー４０にあるレイヤ数、解像度、コンポーネント、ｐｒｅｃｉｎｃｔの情報を書き換え、更にヘッダーデコード部８１がカウントしていた符号データのバイト数よりタイルパートヘッダー４１にある符合データのバイト数の情報を変更し、最終的な再圧縮符号データ３として出力する。
【００８３】
図２６に、Ｒｅｓｏｌｕｔｉｏｎ−ｐｏｓｉｔｉｏｎ−ｃｏｍｐｏｎｅｎｔ−ｌａｙｅｒ順の符号データの一例を示す。
【００８４】
図２６の符号データは、レイヤ数１６（１〜１６）、コンポーネント数３（１、２、３）、解像度３（３ＬＬ、３ＨＬ−ＬＨ−ＨＨ、２ＨＬ−ＬＨ−ＨＨ、１ＨＬ−ＬＨ−ＨＨ）、ｐｒｅｃｉｎｃｔ数１のＲｅｓｏｌｕｔｉｏｎ−ｐｏｓｉｔｉｏｎ−ｃｏｍｐｏｎｅｎｔ−ｌａｙｅｒ順の符号データである。
【００８５】
以下、前記レイヤ選択回路７０より選択されたレイヤをレイヤ８とし、レイヤ８より下位（８〜１６）の符号データを破棄する場合を考える。図２７に、符号再圧縮回路７３におけるレイヤ８より下位の符号データを破棄する処理の一例のフローチャートを示す。
【００８６】
ステップＳ１では、符号データがヘッダーデコード部８１に入力され、メインヘッダー４０とタイルパートヘッダー４１とはそのままバッファ８２に入力される。
【００８７】
ステップＳ１に引き続きステップＳ２に進み、ステップＳ２では、ヘッダーデコード部８１が入力された符号データのパケットの選択を行う。最初のパケットは、ｐｒｏｇｒｅｓｓｉｏｎ ｏｒｄｅｒに係らず、Ｌ（レイヤ）＝１、ｒ（解像度）＝３ＬＬ、Ｃ（コンポーネント）＝１、Ｐ（ｐｒｅｃｉｎｃｔ）＝１に対応する符号データを選択する。
【００８８】
ステップＳ２に引き続きステップＳ３に進み、ステップＳ３では、ヘッダーデコード部８１がステップＳ２において選択したパケットのデコードを行う。デコードする情報は前述した如くコードブロックのゼロビットプレーン数（ＺＢＰ）、コーディングパス数（ＣＰ）及びＭＱ符号データのバイト数（ＰＤ）である。ここで、デコードの過程においてパケットヘッダー自体のバイト数（以下、ＰＨという）も取得する。
【００８９】
ステップＳ４では、ヘッダーデコード部８１が該当するパケットが破棄すべきパケットであるかどうかを判定する。この例においては、レイヤＬが８以上かどうかを判定する。レイヤＬが８以上だと判定すると（ステップＳ４においてＹＥＳ）、ステップＳ６に進み、レイヤＬが８以上でないと判定すると（ステップＳ４においてＮＯ）、ステップＳ５に進む。
【００９０】
ステップＳ５では、ヘッダーデコード部８１がパケットを所定のバッファ８２に格納する。即ちパケットヘッダーを含め連続するＰＨ＋ＰＤバイトの符号データをバッファ８２に格納する。また、同時に新たに生成する符号データのバイト数Ｎを知るため、ＰＨ＋ＰＤの値を累加算していく。ここで、バッファ８２は、符号を保持できる領域を作成し、複数のパケットデータを連続して格納できる領域を持っているものである。
【００９１】
ステップＳ６では、ヘッダーデコード部８１がパケットヘッダーを含め、連続するＰＨ＋ＰＤバイトの符号データを読み飛ばす。
【００９２】
ステップＳ５、ステップＳ６に引き続きステップＳ７に進み、ステップＳ７では、ヘッダーデコード部８１が現在選択しているパケットが最後のパケットかどうかを判定する。これは、該パケットのレイヤ、コンポーネント、解像度、ｐｒｅｃｉｎｃｔの全てがパケットの最後を示しているかどうかで判定する。この例の場合、Ｌ（レイヤ）＝１６且つ、ｒ（解像度）＝１ＨＬ−ＬＨ−ＨＨ且つ、Ｃ（コンポーネント）＝３且つ、Ｐ（ｐｒｅｃｉｎｃｔ）＝１であるかどうかによって判定する。最後のパケットであると判定すると（ステップＳ６においてＹＥＳ）、ステップＳ９に進み、最後のパケットではないと判定すると（ステップＳ６においてＮＯ）、ステップＳ８に進む。
【００９３】
ステップＳ８では、ヘッダーデコード部８１が次のパケットを選択する。次のパケットのＬ（レイヤ）、ｒ（解像度）、Ｃ（コンポーネント）、Ｐ（ｐｒｅｃｉｎｃｔ）は、ｐｒｏｇｒｅｓｓｉｏｎ ｏｒｅｄｅｒで判断できる。なお、最終のパケットの処理が完了するまで、前記ステップＳ３からステップＳ８までの処理を繰り返す。
【００９４】
ステップＳ９では、ヘッダー書き換え部８３がメインヘッダー４０にあるレイヤ数、コンポーネント数、解像度、ｐｒｅｃｉｎｃｔの情報を新たに得られた符号データに対応するように書き替える。また、ステップＳ５でカウントしたバイト数Ｎを用いてタイルパートヘッダー内の符号バイト数を書き替える。
【００９５】
ステップＳ９に引き続きステップＳ１０に進み、ステップＳ１０では、ヘッダー書換え部８３が再圧縮符号データ３を出力する。
【００９６】
このような処理を行うことにより、以下で示すレイヤ８〜１６のパケットを破棄した符号データが得られる。図２８に、図２６で示した符号データのレイヤ８〜１６のパケットを破棄した一例を示す。
【００９７】
なお、上述した例ではレイヤ８以降のパケットを完全に破棄したが、レイヤ８以降のパケットを破棄せず、ゼロパケットに置き換えて実施することも可能である。図２９に、符号再圧縮回路７３におけるレイヤ８より下位の符号データをゼロパケットに書き替える処理の一例のフローチャートを示す。ここで、図２７と同一の処理を行うステップは、説明を省略する。
【００９８】
図２７のステップＳ６と異なり、ステップＳ１６では、ヘッダーデコード部８１が該当するパケットを読み飛ばすと同時にゼロパケットである‘００’をバッファ８２に入力し、符号データのバイト数Ｎに１を加える。
【００９９】
また、図２７のステップＳ９と異なり、ステップＳ１９では、メインヘッダー４０の書き替えは行わず、タイルパートヘッダー４１の符号バイト数のみを書き替える。
【０１００】
図３０に、図２６で示した符号データのレイヤ８〜１６のパケットをゼロパケットに書き替えた一例を示す。
【０１０１】
また、符号再圧縮回路７３と符号化・復号化器５０とを以下のように組み合わせて、再圧縮符号データ３と画像データ１とを同時に生成する構成とすることも可能である。図３１に、符号再圧縮回路７３と符号化・復号化器５０との組み合わせの一例を示す。
【０１０２】
符号データ２の再圧縮を行う場合は、上述した如く、符号データ２は一旦ヘッダーデコード部８１に入力され、その後メインヘッダー４０とタイルパートヘッダー４１とはそのままバッファ８２に入力される。ビットストリーム３６は、パケットヘッダー２１のデコード後、必要なパケットのみバッファ８２に入力される。最後にヘッダー書き替え部８２によって、メインヘッダー４０とタイルパートヘッダー４１とを変更した後、再圧縮符号データを出力する。
【０１０３】
一方、符号データ２の復号を行う場合は、符号データ２は一旦ヘッダーデコード部８１に入力され、メインヘッダー２１及びタイルパートヘッダー４１は読み飛ばされ、ヒットストリーム３６は、パケットヘッダーデコード後、パケットデータ２０のみがバッファ８２に入力される。その後、前記パケットデータ２０と共にヘッダーデコード部８１でパケットヘッダー２１をデコードして得られたＺＢＰ、ＣＰ、ＰＤをエントロピー復号化部５２に入力する。これら入力されたデータにより、エントロピー復号化部５２で生成されたウェーブレット係数データを逆ウェーブレット変換（ＩＤＷＴ）して、後処理部５１に入力することにより、最終的な画像データ１を得ることができる。
【０１０４】
本発明は、ＪＰＥＧ２０００が規定する符号化又は復号化の処理に限らない。
【０１０５】
また、本発明の再圧縮の処理は、それとは逆の処理を行うことにより、復号化が可能である。
【０１０６】
また、本発明は、圧縮された符号データから、一旦画像に復号することなく、また符号データのパケットの並び方に関係なく、符号データの再圧縮が行える。
【０１０７】
【発明の効果】
上述の如く、本発明によれば、圧縮された符号データを簡単且つ効率的に再圧縮することが可能な画像処理装置を提供することができる。
【０１０８】
【図面の簡単な説明】
【図１】ＪＰＥＧ２０００の符号化の流れを説明するための図である。
【図２】水平方向Ｍ画素、垂直方向Ｎ画素の画像データにレベル３の２次元ウェーブレット変換を行った場合の一例を説明するための図である。
【図３】画像データをｍ×ｎの大きさのタイルに分割し、レベル３の２次元離散ウェーブレット変換を行った場合の一例を説明するための図である。
【図４】スカラー量子化の式である。
【図５】各サブバンドをＰ×Ｑの大きさのコードブロックに分割した一例の図である。
【図６】各サブバンドごとにエントロピー符号化した場合におけるサブバンドとＭＱ符号化器の処理を説明するための図である。
【図７】ビットプレーン上の各ビットをある規則によりＳ、Ｒ、Ｃの３つに分類した一例を示すための図である。
【図８】ＭＱ符号データの一例を示すための図である。
【図９】サブバンドをｐｒｅｃｉｎｃｔと呼ばれる矩形の領域に分割した一例を示すための図である。
【図１０】サブバンドをｐｒｅｃｉｎｃｔと呼ばれる矩形の領域に分割した一例を示すための図である。
【図１１】４つのコードブロックを含む１つのｐｒｅｃｉｎｃｔを１６個のレイヤに分割している一例を示すための図である。
【図１２】パケットの一例を説明するための図である。
【図１３】ＪＰＥＧ２０００符号ストリームの一例を説明するための図である。
【図１４】Ｌａｙｅｒ−ｒｅｓｏｌｕｔｉｏｎ−ｃｏｍｐｏｎｅｎｔ−ｐｏｓｉｔｉｏｎ順のパケットの並べ方を説明するための図である。
【図１５】Ｌａｙｅｒ−ｒｅｓｏｌｕｔｉｏｎ−ｃｏｍｐｏｎｅｎｔ−ｐｏｓｉｔｉｏｎ順で符号データを再圧縮する一例を説明するための図である。
【図１６】符号化・復号化器の構成例を説明するための図である。
【図１７】画像データの符号化と符号データの再圧縮との処理を説明するための図である。
【図１８】レイヤごとの符号量を求める装置の一例を説明するための図である。
【図１９】レイヤの符号量の内容を表す一例を説明するための図である。
【図２０】符号量カウント部の構成の一例を説明するための図である。
【図２１】レイヤの符号量の内容を表す他の例を説明するための図である。
【図２２】符号量カウント部の構成の他の例を説明するための図である。
【図２３】再符号化を行う際のレイヤ選択回路の構成の一例を説明するための図である。
【図２４】再符号化を行う際のレイヤ選択回路の構成の他の例を説明するための図である。
【図２５】符号再圧縮回路の構成例を説明するための図である。
【図２６】Ｒｅｓｏｌｕｔｉｏｎ−ｐｏｓｉｔｉｏｎ−ｃｏｍｐｏｎｅｎｔ−ｌａｙｅｒ順の符号データの一例を示す図である。
【図２７】符号再圧縮回路におけるレイヤ８より下位の符号データを破棄する処理の一例のフローチャート図である。
【図２８】レイヤ８から１６のパケットを破棄した符号データの一例を示す図である。
【図２９】符号再圧縮回路におけるレイヤ８より下位の符号データをゼロパケットに置き換える処理の一例のフローチャート図である。
【図３０】レイヤ８から１６のパケットをゼロパケットに書き替えた符号データの一例を示す図である。
【図３１】符号再圧縮回路と符号化・復号化器との組み合わせの一例を示す図である。
【符号の説明】
１ 画像データ
２ 符号データ
３ 再圧縮符号データ
１０ 色変換部
１１ ＤＷＴ部
１２ 量子化器
１３ 係数モデリング部
１４ ＭＱ符号化器
１５ 符号形成部
２０ パケット
２１ パケットヘッダー
２２ エントロピー符号データ（パケットデータ）
３１ メインヘッダーマーカー（ＳＯＣ）
３２ メインヘッダーマーカーセグメント
３３ タイルパートヘッダーマーカー（ＳＯＴ）
３４ タイルパートヘッダーマーカーセグメント
３５ ＳＯＤマーカー
３６ ビットストリーム
３７ ＥＯＣマーカー
４０ メインヘッダー
４１ タイルパートヘッダー
５０ 符号化・復号化器
５１ 前・後処理部
５２ ＤＷＴ／ＩＤＷＴ
５３ エントロピー符号・復号化部
５４ 符号構成部
５５ ＰＬＬ回路
５６ ＣＰＵＩ／Ｆ部
５６ ワークメモリ
５７ ヘッダー処理部
６０ 符号量カウント部
６１ カウンター
６２ デコーダー
６３ 累加算器
６４ 符号量カウント部レジスタ
７０ レイヤ選択回路
７１ 比較器
７２ プライオリティエンコーダー
７３ 符号再圧縮回路
７５ マルチプレクサ
７６ 加算器
７７ レイヤ選択回路レジスタ
７８ レイヤ決定回路
８１ ヘッダーデコード部
８２ バッファ
８３ ヘッダー書き替え部
Claims (4)
- 周波数領域の画像データを、複数の部分画像データに分割し、該部分画像データのビットプレーンにおける符号化パスごとに圧縮符号化し、所定数の符号化パスによりレイヤを構成し、該レイヤごとの符号データ量に基づいて再圧縮する画像処理装置であって、
前記レイヤごとの符号データ量を最上位レイヤから積算していき、積算された符号データ量が、所定の量を超えない範囲のレイヤを選択するレイヤ選択手段と、
前記レイヤ選択手段により選択されたレイヤよりも下位のレイヤの符号データを破棄又はゼロにすることによってデータ量を圧縮するデータ量圧縮手段とを有することを特徴とする画像処理装置。 - 前記積算されたレイヤごとの符号データ量の値を、再圧縮した符号データのヘッダー情報として用いることを特徴とする請求項１記載の画像処理装置。
- 前記符号データを復号化する符号データ復号化手段を有し、前記データ量圧縮手段は、ヘッダーをデコードするヘッダーデコード手段を有し、
前記符号データ復号化手段は、前記ヘッダーデコード手段から出力されたヘッダー情報を用いて復号化することを特徴とする請求項１記載の画像処理装置。 - ＪＰＥＧ２０００が規定する符号化及び／又は復号化の処理を行うことを特徴とする請求項１乃至３何れか一項記載の画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002242549A JP4166530B2 (ja) | 2002-08-22 | 2002-08-22 | 画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002242549A JP4166530B2 (ja) | 2002-08-22 | 2002-08-22 | 画像処理装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007096759A Division JP4532518B2 (ja) | 2007-04-02 | 2007-04-02 | 画像処理装置及び画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004088164A true JP2004088164A (ja) | 2004-03-18 |
| JP4166530B2 JP4166530B2 (ja) | 2008-10-15 |
Family
ID=32051603
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002242549A Expired - Fee Related JP4166530B2 (ja) | 2002-08-22 | 2002-08-22 | 画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4166530B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005112427A1 (ja) * | 2004-05-17 | 2005-11-24 | Mitsubishi Denki Kabushiki Kaisha | 画像符号化装置 |
| JPWO2008093698A1 (ja) * | 2007-01-31 | 2010-05-20 | ソニー株式会社 | 情報処理装置および方法 |
| US8805107B2 (en) | 2011-05-30 | 2014-08-12 | Fujifilm Corporation | Image data coding apparatus, method of controlling operation of same, and program therefor |
| JP2015532489A (ja) * | 2012-10-11 | 2015-11-09 | リアルタイムテク カンパニー, リミテッドRealtimetech Co., Ltd. | 空間データ圧縮装置及びその方法と、圧縮された空間データ復元装置及びその方法 |
| CN112136128A (zh) * | 2019-08-30 | 2020-12-25 | 深圳市大疆创新科技有限公司 | 数据处理方法和装置 |
-
2002
- 2002-08-22 JP JP2002242549A patent/JP4166530B2/ja not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005112427A1 (ja) * | 2004-05-17 | 2005-11-24 | Mitsubishi Denki Kabushiki Kaisha | 画像符号化装置 |
| JPWO2008093698A1 (ja) * | 2007-01-31 | 2010-05-20 | ソニー株式会社 | 情報処理装置および方法 |
| US8805107B2 (en) | 2011-05-30 | 2014-08-12 | Fujifilm Corporation | Image data coding apparatus, method of controlling operation of same, and program therefor |
| JP2015532489A (ja) * | 2012-10-11 | 2015-11-09 | リアルタイムテク カンパニー, リミテッドRealtimetech Co., Ltd. | 空間データ圧縮装置及びその方法と、圧縮された空間データ復元装置及びその方法 |
| CN112136128A (zh) * | 2019-08-30 | 2020-12-25 | 深圳市大疆创新科技有限公司 | 数据处理方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4166530B2 (ja) | 2008-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4114534B2 (ja) | 画像符号化装置及び方法 | |
| JP4656190B2 (ja) | 情報処理装置および方法 | |
| US7778473B2 (en) | Image processing apparatus and image processing method | |
| JP4780172B2 (ja) | 情報処理装置および方法 | |
| JP5469127B2 (ja) | 画像データ符号化装置ならびにその動作制御方法およびそのプログラム | |
| JP2003319185A (ja) | 画像符号化装置及び方法、並びに画像復号装置及び方法 | |
| JP4532518B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP4135617B2 (ja) | 画像符号化装置及び方法 | |
| JP4449400B2 (ja) | 画像符号化装置及び方法、並びにプログラム及び記録媒体 | |
| JP4111259B2 (ja) | 符号化装置、符号化方法、ソフトウェアプログラム、テーブルデータ並びに記録媒体 | |
| JP4166530B2 (ja) | 画像処理装置 | |
| JP5817125B2 (ja) | 画像処理装置および方法 | |
| US8279932B2 (en) | Information processing apparatus and method | |
| JP2004040429A (ja) | ディジタル画像符号化装置及びそれに用いるディジタル画像符号化方法並びにそのプログラム | |
| JP2003101788A (ja) | 復号方法、復号装置、画像処理装置、パケットヘッダ生成方法、パケットヘッダ生成装置 | |
| JP4841504B2 (ja) | 画像符号化装置および方法 | |
| JP4003628B2 (ja) | 画像符号化装置及び方法、並びにプログラム | |
| JP3989788B2 (ja) | 符号量制御装置およびプログラム | |
| JP4111761B2 (ja) | 画像処理装置 | |
| JP3989787B2 (ja) | 圧縮符号化装置、圧縮符号化方法およびプログラム | |
| JP4379527B2 (ja) | 符号化装置及び方法 | |
| JP4703921B2 (ja) | 画像処理装置 | |
| JP4514464B2 (ja) | 画像符号化装置および画像復号装置、ならびにそれらを利用可能な画像表示装置および方法 | |
| JP2004134939A (ja) | 画像符号化装置 | |
| JP2004048212A (ja) | デジタル画像符号化装置および符号化方法ならびにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050802 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060815 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061016 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070130 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070402 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080701 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080730 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110808 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110808 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120808 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120808 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130808 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |