JP2004080166A - Information compressing method, still image compressing method and moving picture compressing method - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To suitably control the rate of still images, moving picture, etc. <P>SOLUTION: The method comprises extracting a field to be compressed from input information, wavelet-transforming the field into sub-bands from a high frequency to a low frequency, calculating the entropy value H from the sub-bands of the lower frequency components, calculating the quantizing step value Δ from the entropy value H, using a transformation expression, and coding, using the quantizing step value Δ. Thus a desired compression ratio is attained in a compression process realized by quantization, using the quantizing step value Δ calculated from the entropy value H. <P>COPYRIGHT: (C)2004,JPO

Description

【００３８】
数１に於いて、Ｐ（Ｎｉ）はシンボルＮｉの出現確率を示す。ここで、所定の圧縮率（例えば０．０５）を達成する量子化ステップ値Δと、Ｙ（ＬＬ）のエントロピ値Ｈとの間には、以下の関係がある。
【００３９】
【数２】

【００４０】
従って、上記した数２にＹ（ＬＬ）のエントロピ値Ｈを代入することにより、所定の圧縮率を達成する量子化ステップ値Δを得ることができる。
【００４１】
図６を参照して、上記した数２を導出する方法を説明する。図６のグラフは、横軸が輝度信号Ｙの低周波領域のエントロピ値Ｈを示しており、縦軸が量子化ステップ値Δを示している。線形な変換式であるこの数２の導出は、異なる図柄を有する多数個の画像を用意し、各々の画像に付いてエントロピ値Ｈを算出し、更に各々の画像に付いて所定の圧縮率を達成する為の量子化ステップ値Δを求め、個々の画像について算出されたエントロピ値Ｈおよび量子化ステップ値Δの情報からエントロピ値Ｈと量子化ステップ値Δとの関係を示す近似直線を求めることにより行われる。この方法を以下にて説明する。
【００４２】
用意される画像としては、得られるエントロピ値Ｈの値が分布する範囲を広くするために、図柄が単純な画像（エントロピ値Ｈが小さい画像）から図柄が複雑な画像（エントロピ値Ｈが大きい画像）までを複数個用意する。
【００４３】
次に、上記のように用意した多数個の画像の各々に関して、輝度信号Ｙの低周波成分のエントロピ値Ｈを算出する。即ち、画像に対してウェーブレット変換を施した後に、低周波領域のサブバンドについて、エントロピ値Ｈを算出する。この際には、上記した式１を用いてエントロピ値Ｈの算出を行う。
【００４４】
次に、上記のように用意した多数個の画像の各々に関して、所定の圧縮率を達成するような量子化ステップ値Δを求める。ここで、所定の圧縮率は予め決定されている値であり、例えば０．０５程度である。
【００４５】
次に、図６を参照して、上記にて得られた量子化係数Δとエントロピ値Ｈとの近似式を求める。同図から、プロットされた点はほぼ直線的に配列している。両者について相関関係を求めたところ、高い相関があることが認められた。そこで１次式を用いて近似式を作成する。そして、近似式の係数（ａおよびｂ）は、最小二乗法等の統計学的手法により算出する。
【００４６】
第４の工程：図７参照
本工程は、前工程で算出された量子化ステップ値Δを用いて量子化を行うことにより、ウェーブレット変換係数から量子化係数を得る工程である。原画像であるカラー画像は、輝度信号Ｙ、色相信号Ｕおよび彩度信号Ｖに分離されているので、量子化は各々の信号に関して施される。本工程では、輝度信号Ｙの低周波領域Ｙ（ＬＬ）の領域から算出された量子化ステップ値Δを用いて、画像を構成する３つの信号全てのサブバンドの量子化を行っている。
【００４７】
具体的には、先ず、輝度信号Ｙ、色相信号Ｕおよび彩度信号Ｖ毎に、量子化ステップ値Δに異なるウェイトを乗算する。ここで、ウェイトとは各信号毎に決められた定数値であり、例えば輝度信号Ｙのウェイトが乗算された量子化ステップ値Δは、輝度信号Ｙの量子化に用いられる。
【００４８】
次に、ウェーブレット変換係数を量子化ステップ値Δで除算することにより、量子化係数を計算する。ここで、量子化手段としては、例えば下記の式３に示すように通常用いるスカラ量子化を用いる。
【００４９】
【数３】

【００５０】
上記した数３に於いて、Ｑは量子化された量子化係数値を示しており、Ｗはウェーブレット変換係数値を示しており、Δは各信号毎にウェイトが乗算された量子化ステップ値を示している。更に、量子化ステップ値Δで除算することにより得られた量子化係数Ｑは、整数に丸め込まれる。
【００５１】
図７は上記した量子化の工程を示す図である。同図の横軸は入力されるウェーブレット変換係数の大きさを示し、縦軸は出力される代表値である量子化係数の大きさを示している。同図から、量子化ステップ値Δは、量子化係数Δの値が同一に成るようなウェーブレット変換係数の値の幅を決定していることが理解できる。従って、量子化ステップ値Δの値が大きくなるに比例して粗い量子化を行っていることになる。このことにより、量子化ステップ値Δを大きくすることによって、出力である量子化係数の値が同一になる頻度が増え、結果として、後段の工程である符号化工程での圧縮効率が向上するメリットがある。
【００５２】
第５の工程：図８参照
本工程は、前工程で得られた量子化係数をエントロピ符号化する工程である。ここで、エントロピ符号化を行う手法としては、ハフマン符号化、算術符号化等を採用することが可能であり、本発明では、効率の良い算術符号化を採用している。算術符号化とは、シンボル（ここでは量子化係数）の系列を、生起確率に確率に応じて区間［０、１］に射影し、数直線上の確率区間を、区間内の適当な数でバイナリ表現する手法である。この手法により、符号化係数を得ることができる。
【００５３】
図８を参照して算術符号化の１例を説明する。同図は、１例として符号化シンボル｛１０１｝を、それぞれ推定生起確率Ｐを参照しながら、［０，１．０］の実数区間を分割して行く様子を示したものである。ここで、最初の符号化シンボルは１であることと、１の推定生起確率をＰ（１）とするとき、Ｐ（１）＝０．６であることから、初期区間の内、シンボル１に対応した部分区間［０．４，１］を選択する。同様にして、今度は、この［０．４，１］を母区間として、シンボル０に対応した部分区間［０．４，０．６４］を生成する。以後同様にして、最終的に［０．５２，０．６４］が選択される。最後に、最終的な区間［０．５２，０．６４］＝［０．１０００…，０．１０１０…］に含まれる例えば０．１００１等の小数部を符号とする。
【００５４】
これまでの工程により得られた符号化係数は、ハードディスク、ＣＤ等の情報記録媒体に書き込まれて蓄積されても良い。また、この符号化係数の復号化は、図１に示した手法とは逆の手法を行うことにより行うことができる。即ち、逆エントロピ符号化、逆量子化および逆ウェーブレット変換を行うことにより、視覚的に原画像に近い画像を得ることができる。
【００５５】
（動画像の圧縮方法を説明する第２の実施の形態）
図９〜図１７を参照して、本実施の形態である動画像の圧縮方法を説明する。図９（Ａ）を参照して、本発明の動画像の圧縮方法は、入力された動画像信号から圧縮対象となる画面Ｆ（Ｎ）を抽出する工程と、少なくとも量子化を行うことにより画面Ｆ（Ｎ）の圧縮を行う工程と、画面Ｆ（Ｎ）の情報を基に量子化に用いる量子化ステップ値Δ（Ｎ）を算出する工程とを有する。そして、圧縮された画面は、ハードディスク等の記憶媒体に出力される。
【００５６】
ここで、上記した画面とは、動画像を形成する各々の構成要素をいう。そして、圧縮対象の情報が例えば現行テレビ（ＮＴＳＣ方式）である場合は、２枚のフィールドからなるフレームが上記した画面となる。以降の説明では、入力された動画像を各フィールド毎に圧縮する場合について説明するが、入力された動画像を各フレーム毎に圧縮することも可能である。
【００５７】
図９（Ｂ）を参照して、本発明では、直前のフィールドＦ（Ｎ−１）のエントロピ値Ｈ（Ｎ−１）から算出した量子化ステップ値Δ（Ｎ−１）を用いて、フィールドＦ（Ｎ）の圧縮を行っている。そして、フィールドＦ（Ｎ）のエントロピ値Ｈ（Ｎ）から算出した量子化ステップ値Δ（Ｎ）を用いて、次のフィールドＦ（Ｎ＋１）の圧縮を行っている。
【００５８】
図１０のフローを参照して、本発明の動画像の圧縮方法の１実施例は、次のような工程を有している。即ち、圧縮対象となるフィールドＦ（Ｎ）を抽出する工程と、ウェーブレット変換を行う工程と、少なくとも１つ前のフィールドから算出した量子化ステップ値Δ（Ｎ−１）を用いて量子化を行う工程と、エントロピ符号化を行う工程と、エントロピ値Ｈ（Ｎ）を計算する工程と、エントロピ値Ｈ（Ｎ）から量子化ステップ値Δ（Ｎ）を算出する工程とで本発明の動画像の圧縮方法は構成されている。このような各工程の詳細を以下にて説明する。
【００５９】
第１の工程：図１１参照
本工程は、入力された動画像信号から、圧縮対象となるフィールドＦ（Ｎ）を抽出する工程である。入力された画像が、例えばカラーテレビ放送のＮＴＳＣ信号の場合は、輝度信号Ｙに、色相信号Ｕおよび彩度信号Ｖが多重化されている。従って、先ず、ＮＴＳＣ信号から、輝度信号Ｙ、色相信号Ｕおよび彩度信号Ｖを個々に分離する。その後に、フィールドＦ（Ｎ）の抽出を行う。抽出された輝度信号Ｙ、色相信号Ｕおよび彩度信号Ｖは個別に圧縮される。
【００６０】
第２の工程：図１２および図１３参照
本工程は、フィールドＦ（Ｎ）の圧縮を行う工程の１つであり、入力されたフィールドＦ（Ｎ）をウェーブレット変換することにより、ウェーブレット変換係数を得る工程である。
【００６１】
本工程では、テレビ画像から分離された後に抽出された輝度信号Ｙ、色相信号Ｕおよび彩度信号Ｖの個々のフィールドに付いて、ウェーブレット変換を行っている。以下にて詳細を説明するウェーブレット変換は、画素間の相関関係を除去する直交変換の１つであり、本発明では他の直交変換を採用することも可能である。具体的には、ウェーブレット変換の他に、ＤＣＴ（離散コサイン変換：Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）等を採用することも可能である。
【００６２】
図１２を参照して、まず通常のウェーブレット変換部の構成例を示す。これは、幾つかあるウェーブレット変換手法の中で、最も一般的なウェーブレット変換であるオクターブ分割を複数レベルにわたって行った例である。この場合は、レベル数が３（レベル１〜レベル３）であり、フィールド信号を低域と高域に分割し、且つ低域成分のみを階層的に分割する構成を採っている。また、同図では１次元の信号（例えばフィールドの水平成分）についてのウェーブレット変換を例示しているが、これを２次元に拡張することで２次元フィールド信号に対応することができる。
【００６３】
次に、上記のように構成されたウェーブレット変換部の動作について説明する。図２に示すウェーブレット変換部への入力フィールド１は、まずローパスフィルタ１１（伝達関数Ｈ０（ｚ））とハイパスフィルタ１２（伝達関数Ｈ１（ｚ））とによって帯域分割され、得られた低域成分と高域成分は、それぞれ対応するダウンサンプラ１３Ａ、１３Ｂによって、解像度がそれぞれ２分の１倍に間引かれる（レベル１）。この時の出力がＬ成分２とＨ成分７の２つである。ここで、上記ＬはＬｏｗで低域、ＨはＨｉｇｈで高域を示す。この図１２のローパスフィルタ１１、ハイパスフィルタ１２、及び２個のダウンサンプラ１３Ａ、１３Ｂによってレベル１の回路部２０が構成されている。
【００６４】
上記ダウンサンプラ１３Ａ、１３Ｂによりそれぞれ間引かれた信号の内の低域成分、すなわちダウンサンプラ１３Ａからの信号のみが、さらに、レベル２の回路部２１のローパスフィルタ及びハイパスフィルタによって帯域分割され、それぞれ対応するダウンサンプラによって、解像度をそれぞれ２分の１倍に間引かれる（レベル２）。これらのレベル２のローパスフィルタ、ハイパスフィルタ及びダウンサンプラから成る回路部２１としては、上記レベル１のローパスフィルタ１１、ハイパスフィルタ１２及びダウンサンプラ１３Ａ、１３Ｂから成る回路部２０と同様な構成が用いられる。
【００６５】
このような処理を所定のレベルまで行うことで、低域成分を階層的に帯域分割した帯域成分が順次生成されていくことになる。レベル２で生成された帯域成分は、ＬＬ成分２とＬＨ成分６である。図１２はレベル３まで帯域分割する例が示されており、レベル２の回路部２１のローパスフィルタ側のダウンサンプラからの出力が、上記回路部２１と同様な構成のレベル３の回路部２２に供給されている。このようにレベル３まで帯域分割した結果、ＬＬＬ成分４、ＬＬＨ成分５、ＬＨ成分６、Ｈ成分７が生成されている。
【００６６】
ここで図１３は、レベル３まで２次元画像を帯域分割した結果得られる帯域成分を図示したものである。同図でのＬ及びＨの表記法は、１次元信号を扱った図１２でのＬ及びＨの表記法とは異なる。すなわち、先ずレベル１の帯域分割（水平・垂直方向）により４つの成分ＬＬ、ＬＨ、ＨＬ、ＨＨに分かれる。ここでＬＬは水平・垂直成分が共にＬであること、ＬＨは水平成分がＨで垂直成分がＬであることを意味している。次に、ＬＬ成分は再度帯域分割されて、ＬＬＬＬ、ＬＬＨＬ、ＬＬＬＨ、ＬＬＨＨが生成される。さらに、ＬＬＬＬ成分は再度帯域分割されて、ＬＬＬＬＬＬ、ＬＬＬＬＨＬ、ＬＬＬＬＬＨ、ＬＬＬＬＨＨが生成される。
【００６７】
第３の工程：図１４参照
本工程は、少なくとも１つ前のフィールドＦ（Ｎ−１）から算出された量子化ステップ値Δ（Ｎ−１）を用いて量子化を行うことにより、ウェーブレット変換係数から量子化係数を得る工程である。原画像であるカラー画像は、輝度信号Ｙ、色相信号Ｕおよび彩度信号Ｖに分離されているので、量子化は各々の信号に関して施される。本工程では、輝度信号Ｙの低周波領域Ｙ（ＬＬ）の領域から算出された量子化ステップ値Δを用いて、画像を構成する３つの信号全てのサブバンドの量子化を行っている。
【００６８】
先ず、輝度信号Ｙ、色相信号Ｕおよび彩度信号Ｖ毎に、量子化ステップ値Δ（Ｎ−１）に異なるウェイトを乗算する。ここで、ウェイトとは各信号毎に決められた定数値であり、例えば輝度信号Ｙのウェイトが乗算された量子化ステップ値Δ（Ｎ−１）は、輝度信号Ｙの量子化に用いられる。
【００６９】
次に、ウェーブレット変換係数を量子化ステップ値Δ（Ｎ−１）で除算することにより、量子化係数を計算する。ここで、量子化手段としては、例えば下記の式４に示すように通常用いるスカラ量子化を用いる。
【００７０】
【数４】

【００７１】
上記した数４に於いて、Ｑ（Ｎ）は量子化された量子化係数を示しており、Ｗ（Ｎ）はウェーブレット変換係数を示しており、Δ（Ｎ−１）は各信号毎にウェイトが乗算された量子化ステップ値を示している。更に、量子化ステップ値Δで除算することにより得られた量子化係数Ｑは、整数に丸め込まれる。
【００７２】
図１４は上記した量子化の工程を示す図である。同図の横軸は入力されるウェーブレット変換係数の大きさを示し、縦軸は出力される代表値である量子化係数の大きさを示している。同図から、量子化ステップ値Δ（Ｎ−１）は、量子化係数Ｑ（Ｎ）の値が同一に成るようなウェーブレット変換係数の値の幅を決定していることが理解できる。従って、量子化ステップ値Δ（Ｎ−１）の値が大きくなるに比例して粗い量子化を行っていることになる。このことにより、量子化ステップ値Δを大きくすることによって、出力である量子化係数の値が同一になる頻度が増え、結果として、後段の工程である符号化工程での圧縮効率が向上するメリットがある。
【００７３】
第４の工程：図１５参照
本工程は、前工程で得られた量子化係数をエントロピ符号化する工程である。ここで、エントロピ符号化を行う手法としては、ハフマン符号化、算術符号化等を採用することが可能であり、本発明では、効率の良い算術符号化を採用している。算術符号化とは、シンボル（ここでは量子化係数）の系列を、生起確率に確率に応じて区間［０、１］に射影し、数直線上の確率区間を、区間内の適当な数でバイナリ表現する手法である。この手法により、符号化係数を得ることができる。
【００７４】
図１５を参照して算術符号化の１例を説明する。同図は、１例として符号化シンボル｛１０１｝を、それぞれ推定生起確率Ｐを参照しながら、［０，１．０］の実数区間を分割して行く様子を示したものである。ここで、最初の符号化シンボルは１であることと、１の推定生起確率をＰ（１）とするとき、Ｐ（１）＝０．６であることから、初期区間の内、シンボル１に対応した部分区間［０．４，１］を選択する。同様にして、今度は、この［０．４，１］を母区間として、シンボル０に対応した部分区間［０．４，０．６４］を生成する。以後同様にして、最終的に［０．５２，０．６４］が選択される。最後に、最終的な区間［０．５２，０．６４］＝［０．１０００…，０．１０１０…］に含まれる例えば０．１００１等の小数部を符号とする。
【００７５】
これまでの工程により得られた符号化係数は、ハードディスク、ＣＤ等の情報記録媒体に書き込まれて蓄積されても良い。また、この符号化係数の復号化は、圧縮を行う手法とは逆の手法を行うことにより行うことができる。即ち、逆エントロピ符号化、逆量子化および逆ウェーブレット変換を行うことにより、視覚的に原画像に近い画像を得ることができる。
【００７６】
第５の工程：図１６および図１７参照
本工程は、量子化ステップ値Δ（Ｎ）の計算を行う工程の１つであり、フィールドＦ（Ｎ）のエントロピ値Ｈ（Ｎ）を算出し、量子化ステップ値Δ（Ｎ）を算出する工程である。
【００７７】
図１６を参照して、エントロピ値の計算方法を説明する。本工程に於いて計算の対象となるのは、輝度成分（Ｙ成分）のウェーブレット変換により分割されたサブバンドＨＨ、ＨＬおよびＬＨを除いた領域である。換言すると、計算の対象となるのはＹ成分のＬＬの領域（以下、Ｙ（ＬＬ）と省略する）である。画素数がｎ個のＹ（ＬＬ）のエントロピ値Ｈ（Ｎ）は、一般的に次式で算出される。
【００７８】
【数５】

【００７９】
ここで、所定の圧縮率（例えば０．０５）を達成する量子化ステップ値Δ（Ｎ）と、Ｙ（ＬＬ）のエントロピ値Ｈ（Ｎ）との間には、以下の関係がある。
【００８０】
【数６】

【００８１】
従って、上記した数６にＹ（ＬＬ）のエントロピ値Ｈを代入することにより、所定の圧縮率を達成する量子化ステップ値Δ（Ｎ）を得ることができる。
【００８２】
図１７を参照して、上記した数７を導出する方法を説明する。同図のグラフは、横軸が輝度信号Ｙの低周波領域のエントロピ値Ｈ（Ｎ）を示しており、縦軸が量子化ステップ値Δ（Ｎ）を示している。この数７の導出は、異なる図柄を有する多数個の画像を用意し、各々の画像に付いてエントロピ値Ｈを算出し、更に各々の画像に付いて所定の圧縮率を達成する為の量子化ステップ値Δを求め、個々の画像について算出されたエントロピ値Ｈおよび量子化ステップ値Δの情報からエントロピ値Ｈと量子化ステップ値Δとの関係を示す近似直線を求めることにより行われる。この方法を以下にて説明する。
【００８３】
用意される画像としては、得られるエントロピ値Ｈの値が分布する範囲を広くするために、図柄が単純な画像（エントロピ値Ｈが小さい画像）から図柄が複雑な画像（エントロピ値Ｈが大きい画像）までを複数個用意する。
【００８４】
次に、上記のように用意した多数個の画像の各々に関して、輝度信号Ｙの低周波成分のエントロピ値Ｈを算出する。即ち、画像に対してウェーブレット変換を施した後に、低周波領域のサブバンドについて、エントロピ値Ｈを算出する。この際には、上記した式１を用いてエントロピ値Ｈの算出を行う。
【００８５】
次に、上記のように用意した多数個の画像の各々に関して、所定の圧縮率を達成するような量子化ステップ値Δを求める。ここで、所定の圧縮率は予め決定されている値であり、例えば０．０５程度である。
【００８６】
次に、図１７を参照して、上記にて得られた量子化係数Δとエントロピ値Ｈとの近似式を求める。同図から、プロットされた点はほぼ直線的に配列している。両者について相関関係を求めたところ、高い相関があることが認められた。そこで１次式を用いて近似式を作成する。そして、近似式の係数であるａおよびｂは、最小二乗法等の統計学的手法により算出する。
【００８７】
本工程で算出された量子化ステップ値Δ（Ｎ）は、次フィールドＦ（Ｎ＋１）の圧縮を行う際に、量子化の工程にて用いられる。
【００８８】
（動画像の圧縮方法を説明する第３の実施の形態）
図１８〜図２６を参照して、本実施の形態である動画像の圧縮方法を説明する。図１８（Ａ）を参照して、本発明の動画像の圧縮方法は、入力された動画像信号から圧縮対象となる画面Ｆ（Ｎ）を抽出する工程と、少なくとも量子化を行うことにより前記画面Ｆ（Ｎ）の圧縮を行う工程と、前記画面Ｆ（Ｎ）の情報を基に前記量子化に用いる量子化ステップ値Δ（Ｎ）を算出する工程とを有する。ここで、上記した量子化ステップ値Δ（Ｎ）の算出は、画面Ｆ（Ｎ）が有するエントロピ値Ｈ（Ｎ）から算出される。更に、画面Ｆ（Ｎ）を圧縮する行程と、量子化ステップ値Δ（Ｎ）を算出する工程とは平行して行われる。更にまた、上記した工程の後段に、画面Ｆ（Ｎ）の圧縮率および量子化ステップ値Δ（Ｎ）の値からオフセット値Ｏ（Ｎ）を算出する工程がある。本実施の形態では、オフセット値Ｏ（Ｎ）を用いることにより、量子化ステップ値Δの調節を行い、結果的に圧縮率の調節を行っている。
【００８９】
ここで、上記した画面とは、動画像を形成する各々の構成要素をいう。そして、圧縮対象の情報が例えば現行テレビ（ＮＴＳＣ方式）である場合は、２枚のフィールドからなるフレームが上記した画面となる。以降の説明では、入力された動画像を各フィールド毎に圧縮する場合について説明するが、入力された動画像を各フレーム毎に圧縮することも可能である。
【００９０】
図１８（Ｂ）を参照して、本発明では、直前のフィールドＦ（Ｎ−１）のエントロピ値Ｈ（Ｎ−１）から算出した量子化ステップ値Δ（Ｎ−１）を用いて、フィールドＦ（Ｎ）の圧縮を行っている。そして、フィールドＦ（Ｎ）のエントロピ値Ｈ（Ｎ）から算出した量子化ステップ値Δ（Ｎ）を用いて、次のフィールドＦ（Ｎ＋１）の圧縮を行っている。
【００９１】
図１９のフローを参照して、本発明の動画像の圧縮方法の１実施例は、次のような工程を有している。即ち、圧縮対象となるフィールドＦ（Ｎ）を抽出する工程と、オフセット値Ｏ（Ｎ−１）を加算する工程と、ウェーブレット変換を行う工程と、量子化を行う工程と、エントロピ符号化を行う工程と、圧縮率の比較を行う工程と、エントロピ値Ｈ（Ｎ）を計算する工程と、エントロピ値Ｈ（Ｎ）から量子化ステップ値Δ（Ｎ）を算出する工程と、量子化ステップ値Δ（Ｎ）の比較を行う工程と、オフセット値Ｏ（Ｎ）の計算を行う工程とで、本発明の動画像の圧縮方法は構成されている。このような各工程の詳細を以下にて説明する。
【００９２】
第１の工程：図２０参照
本工程は、入力された動画像信号から、圧縮対象となるフィールドＦ（Ｎ）を抽出する工程である。入力された画像が、例えばカラーテレビ放送のＮＴＳＣ信号の場合は、輝度信号Ｙに、色相信号Ｕおよび彩度信号Ｖが多重化されている。従って、先ず、ＮＴＳＣ信号から、輝度信号Ｙ、色相信号Ｕおよび彩度信号Ｖを個々に分離する。その後に、フィールドＦ（Ｎ）の抽出を行う。抽出された輝度信号Ｙ、色相信号Ｕおよび彩度信号Ｖは個別に圧縮される。
【００９３】
第２の工程：図１９参照
本工程は、フィールドＦ（Ｎ）の圧縮を行う工程の１つであり、オフセット値Ｏ（Ｎ−１）を加算する工程である。ここでは、直前に圧縮されたフィールドＦ（Ｎ−１）のエントロピ値Ｈ（Ｎ−１）から算出された量子化ステップ値Δ（Ｎ−１）に、オフセット値Ｏ（Ｎ−１）を加算することで、フィールドＦ（Ｎ）の量子化に用いる量子化ステップ値Δ（Ｎ）を求めている。具体的には以下に示すような処理を行う。
【００９４】
【数７】

【００９５】
上記した数７に於いて、Ｏ（Ｎ−１）はオフセット値であり、直前のフィールドＦ（Ｎ−１）の圧縮率が所定の圧縮率を達成しているか否かにより、その値が決定されている。具体的には、Ｆ（Ｎ−１）の圧縮率が圧縮率の閾値よりも低い場合は、圧縮率が不足しているとして、Ｏ（Ｎ−１）は定数が加算された値となる。そして、Ｆ（Ｎ−１）の圧縮率が圧縮率の閾値よりも高い場合は、Ｏ（Ｎ−１）は定数が加算されない値となる。更に、フィールドＦ（Ｎ）の図柄が大きく変化した場合には、Ｏ（Ｎ−１）は零の値が代入されている。このことから、フィールドの図柄が大きく変化した場合には、Ｆ（Ｎ）の圧縮は、Δ（Ｎ−１）を用いて行うことになる。オフセット値Ｏ（Ｎ）の算出方法等に関しては後述する。
【００９６】
第３の工程：図２１および図２２参照
本工程は、フィールドＦ（Ｎ）の圧縮を行う工程の１つであり、入力されたフィールドＦ（Ｎ）をウェーブレット変換することにより、ウェーブレット変換係数を得る工程である。
【００９７】
本工程では、テレビ画像から分離された後に抽出された輝度信号Ｙ、色相信号Ｕおよび彩度信号Ｖの個々のフィールドに付いて、ウェーブレット変換を行っている。以下にて詳細を説明するウェーブレット変換は、画素間の相関関係を除去する直交変換の１つであり、本発明では他の直交変換を採用することも可能である。具体的には、ウェーブレット変換の他に、ＤＣＴ（離散コサイン変換：Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）等を採用することも可能である。
【００９８】
図２１を参照して、まず通常のウェーブレット変換部の構成例を示す。これは、幾つかあるウェーブレット変換手法の中で、最も一般的なウェーブレット変換であるオクターブ分割を複数レベルにわたって行った例である。この場合は、レベル数が３（レベル１〜レベル３）であり、フィールド信号を低域と高域に分割し、且つ低域成分のみを階層的に分割する構成を採っている。また、同図では１次元の信号（例えばフィールドの水平成分）についてのウェーブレット変換を例示しているが、これを２次元に拡張することで２次元フィールド信号に対応することができる。
【００９９】
次に、上記のように構成されたウェーブレット変換部の動作について説明する。図２に示すウェーブレット変換部への入力フィールド１は、まずローパスフィルタ１１（伝達関数Ｈ０（ｚ））とハイパスフィルタ１２（伝達関数Ｈ１（ｚ））とによって帯域分割され、得られた低域成分と高域成分は、それぞれ対応するダウンサンプラ１３Ａ、１３Ｂによって、解像度がそれぞれ２分の１倍に間引かれる（レベル１）。この時の出力がＬ成分２とＨ成分７の２つである。ここで、上記ＬはＬｏｗで低域、ＨはＨｉｇｈで高域を示す。この図２１のローパスフィルタ１１、ハイパスフィルタ１２、及び２個のダウンサンプラ１３Ａ、１３Ｂによってレベル１の回路部２０が構成されている。
【０１００】
上記ダウンサンプラ１３Ａ、１３Ｂによりそれぞれ間引かれた信号の内の低域成分、すなわちダウンサンプラ１３Ａからの信号のみが、さらに、レベル２の回路部２１のローパスフィルタ及びハイパスフィルタによって帯域分割され、それぞれ対応するダウンサンプラによって、解像度をそれぞれ２分の１倍に間引かれる（レベル２）。これらのレベル２のローパスフィルタ、ハイパスフィルタ及びダウンサンプラから成る回路部２１としては、上記レベル１のローパスフィルタ１１、ハイパスフィルタ１２及びダウンサンプラ１３Ａ、１３Ｂから成る回路部２０と同様な構成が用いられる。
【０１０１】
このような処理を所定のレベルまで行うことで、低域成分を階層的に帯域分割した帯域成分が順次生成されていくことになる。レベル２で生成された帯域成分は、ＬＬ成分２とＬＨ成分６である。図２はレベル３まで帯域分割する例が示されており、レベル２の回路部２１のローパスフィルタ側のダウンサンプラからの出力が、上記回路部２１と同様な構成のレベル３の回路部２２に供給されている。このようにレベル３まで帯域分割した結果、ＬＬＬ成分４、ＬＬＨ成分５、ＬＨ成分６、Ｈ成分７が生成されている。
【０１０２】
ここで図２２は、レベル３まで２次元画像を帯域分割した結果得られる帯域成分を図示したものである。同図でのＬ及びＨの表記法は、１次元信号を扱った図２１でのＬ及びＨの表記法とは異なる。すなわち、先ずレベル１の帯域分割（水平・垂直方向）により４つの成分ＬＬ、ＬＨ、ＨＬ、ＨＨに分かれる。ここでＬＬは水平・垂直成分が共にＬであること、ＬＨは水平成分がＨで垂直成分がＬであることを意味している。次に、ＬＬ成分は再度帯域分割されて、ＬＬＬＬ、ＬＬＨＬ、ＬＬＬＨ、ＬＬＨＨが生成される。さらに、ＬＬＬＬ成分は再度帯域分割されて、ＬＬＬＬＬＬ、ＬＬＬＬＨＬ、ＬＬＬＬＬＨ、ＬＬＬＬＨＨが生成される。
【０１０３】
第４の工程：図２３参照
本工程は、量子化ステップ値Δ（Ｎ）を用いて量子化を行うことにより、ウェーブレット変換係数から量子化係数を得る工程である。原画像であるカラー画像は、輝度信号Ｙ、色相信号Ｕおよび彩度信号Ｖに分離されているので、量子化は各々の信号に関して施される。本工程では、輝度信号Ｙの低周波領域Ｙ（ＬＬ）の領域から算出された量子化ステップ値Δを用いて、画像を構成する３つの信号全てのサブバンドの量子化を行っている。
【０１０４】
先ず、輝度信号Ｙ、色相信号Ｕおよび彩度信号Ｖ毎に、量子化ステップ値Δ（Ｎ）に異なるウェイトを乗算する。ここで、ウェイトとは各信号毎に決められた定数値であり、例えば輝度信号Ｙのウェイトが乗算された量子化ステップ値Δ（Ｎ）は、輝度信号Ｙの量子化に用いられる。
【０１０５】
次に、ウェーブレット変換係数を量子化ステップ値Δ（Ｎ）で除算することにより、量子化係数を計算する。ここで、量子化手段としては、例えば下記の式８に示すように通常用いるスカラ量子化を用いる。
【０１０６】
【数８】

【０１０７】
上記した数８に於いて、Ｑ（Ｎ）は量子化された量子化係数を示しており、Ｗ（Ｎ）はウェーブレット変換係数を示しており、Δ（Ｎ）は各信号毎にウェイトが乗算された量子化ステップ値を示している。更に、量子化ステップ値Δで除算することにより得られた量子化係数Ｑは、整数に丸め込まれる。
【０１０８】
図２３は上記した量子化の工程を示す図である。同図の横軸は入力されるウェーブレット変換係数の大きさを示し、縦軸は出力される代表値である量子化係数の大きさを示している。同図から、量子化ステップ値Δ（Ｎ）は、量子化係数Ｑ（Ｎ）の値が同一に成るようなウェーブレット変換係数の値の幅を決定していることが理解できる。従って、量子化ステップ値Δ（Ｎ）の値が大きくなるに比例して粗い量子化を行っていることになる。このことにより、量子化ステップ値Δを大きくすることによって、出力である量子化係数の値が同一になる頻度が増え、結果として、後段の工程である符号化工程での圧縮効率が向上するメリットがある。
【０１０９】
第５の工程：図２４参照
本工程は、前工程で得られた量子化係数をエントロピ符号化する工程である。ここで、エントロピ符号化を行う手法としては、ハフマン符号化、算術符号化等を採用することが可能であり、本発明では、効率の良い算術符号化を採用している。算術符号化とは、シンボル（ここでは量子化係数）の系列を、生起確率に確率に応じて区間［０、１］に射影し、数直線上の確率区間を、区間内の適当な数でバイナリ表現する手法である。この手法により、符号化係数を得ることができる。
【０１１０】
図２４を参照して算術符号化の１例を説明する。同図は、１例として符号化シンボル｛１０１｝を、それぞれ推定生起確率Ｐを参照しながら、［０，１．０］の実数区間を分割して行く様子を示したものである。ここで、最初の符号化シンボルは１であることと、１の推定生起確率をＰ（１）とするとき、Ｐ（１）＝０．６であることから、初期区間の内、シンボル１に対応した部分区間［０．４，１］を選択する。同様にして、今度は、この［０．４，１］を母区間として、シンボル０に対応した部分区間［０．４，０．６４］を生成する。以後同様にして、最終的に［０．５２，０．６４］が選択される。最後に、最終的な区間［０．５２，０．６４］＝［０．１０００…，０．１０１０…］に含まれる例えば０．１００１等の小数部を符号とする。
【０１１１】
これまでの工程により得られた符号化係数は、ハードディスク、ＣＤ等の情報記録媒体に書き込まれて蓄積されても良い。また、この符号化係数の復号化は、圧縮を行う手法とは逆の手法を行うことにより行うことができる。即ち、逆エントロピ符号化、逆量子化および逆ウェーブレット変換を行うことにより、視覚的に原画像に近い画像を得ることができる。
【０１１２】
第６の工程：図１９参照
本工程は、フィールドＦ（Ｎ）の圧縮を行う工程の１つであり、前工程までの工程で圧縮されたフィールドＦ（Ｎ）の符号量と、符号量の閾値とを比較する工程である。圧縮を行った後の符号量をその閾値と比較することにより、フィールドＦ（Ｎ）の圧縮率がその目標の値を達成しているか否かの判断を行っている。本発明では、エントロピ値から算出された量子化ステップ値を用いて量子化を行うことにより、フィールドの圧縮率を制御（レートコントロール）している。そして、更に安定したレートコントロールを行うために、圧縮されたフィールドＦ（Ｎ）の符号量を確認している。フィールドＦ（Ｎ）の符号量が、その閾値よりも小さい場合には、ここではフラグであるＣＨＥＣＫに１を代入している。また、フィールドＦ（Ｎ）の符号量が、その閾値よりも大きい場合には、ここではＣＨＥＣＫに零を代入している。値が代入されたＣＨＥＣＫは、オフセット値を算出する工程にて、フィールドＦ（Ｎ）の圧縮率がその目標値を達成したか否かを判断する為に使用される。
【０１１３】
第７の工程：図２５および図２６参照
本工程は、量子化ステップ値Δ（Ｎ）の計算を行う工程の１つであり、フィールドＦ（Ｎ）のエントロピ値Ｈ（Ｎ）を算出し、量子化ステップ値Δ（Ｎ）を算出する工程である。
【０１１４】
図２５を参照して、エントロピ値の計算方法を説明する。本工程に於いて計算の対象となるのは、輝度成分（Ｙ成分）のウェーブレット変換により分割されたサブバンドＨＨ、ＨＬおよびＬＨを除いた領域である。換言すると、計算の対象となるのはＹ成分のＬＬの領域（以下、Ｙ（ＬＬ）と省略する）である。画素数がｎ個のＹ（ＬＬ）のエントロピ値Ｈ（Ｎ）は、一般的に次式で算出される。
【０１１５】
【数９】

【０１１６】
ここで、所定の圧縮率（例えば０．０５）を達成する量子化ステップ値Δ（Ｎ）と、Ｙ（ＬＬ）のエントロピ値Ｈ（Ｎ）との間には、以下の関係がある。
【０１１７】
【数１０】

【０１１８】
従って、上記した数１０にＹ（ＬＬ）のエントロピ値Ｈを代入することにより、所定の圧縮率を達成する量子化ステップ値Δ（Ｎ）を得ることができる。
【０１１９】
図２６を参照して、上記した数１０を導出する方法を説明する。同図のグラフは、横軸が輝度信号Ｙの低周波領域のエントロピ値Ｈ（Ｎ）を示しており、縦軸が量子化ステップ値Δ（Ｎ）を示している。この数７の導出は、異なる図柄を有する多数個の画像を用意し、各々の画像に付いてエントロピ値Ｈを算出し、更に各々の画像に付いて所定の圧縮率を達成する為の量子化ステップ値Δを求め、個々の画像について算出されたエントロピ値Ｈおよび量子化ステップ値Δの情報からエントロピ値Ｈと量子化ステップ値Δとの関係を示す近似直線を求めることにより行われる。この方法を以下にて説明する。
【０１２０】
用意される画像としては、得られるエントロピ値Ｈの値が分布する範囲を広くするために、図柄が単純な画像（エントロピ値Ｈが小さい画像）から図柄が複雑な画像（エントロピ値Ｈが大きい画像）までを複数個用意する。
【０１２１】
次に、上記のように用意した多数個の画像の各々に関して、輝度信号Ｙの低周波成分のエントロピ値Ｈを算出する。即ち、画像に対してウェーブレット変換を施した後に、低周波領域のサブバンドについて、エントロピ値Ｈを算出する。この際には、上記した式１を用いてエントロピ値Ｈの算出を行う。
【０１２２】
次に、上記のように用意した多数個の画像の各々に関して、所定の圧縮率を達成するような量子化ステップ値Δを求める。ここで、所定の圧縮率は予め決定されている値であり、例えば０．０５程度である。
【０１２３】
次に、図２６を参照して、上記にて得られた量子化係数Δとエントロピ値Ｈとの近似式を求める。同図から、プロットされた点はほぼ直線的に配列している。両者について相関関係を求めたところ、高い相関があることが認められた。そこで１次式を用いて近似式を作成する。そして、近似式の係数であるａおよびｂは、最小二乗法等の統計学的手法により算出する。
【０１２４】
第８の工程：図１９参照
本工程は、量子化ステップ値Δ（Ｎ）の計算を行う工程の１つであり、上記の工程で算出した量子化ステップ値Δ（Ｎ）と、直前のフィールドＦ（Ｎ−１）との比較を行う工程である。
【０１２５】
具体的には、先ず、前工程で算出した量子化ステップ値Δ（Ｎ）と、直前のフィールドＦ（Ｎ−１）から算出した量子化ステップ値Δ（Ｎ−１）との差の絶対値を算出する。次に、その差の絶対値と閾値との大小の比較を行う。差の絶対値が、閾値よりも小さい場合は、オフセット値Ｏ（Ｎ）を計算する工程に於いは、圧縮を行う工程で零または１が代入されたＣＨＥＣＫを基にオフセット値Ｏ（Ｎ）の計算を行う。それに対して、差の絶対値が、閾値よりも大きい場合は、オフセット値Ｏ（Ｎ）を計算する工程に於いは、圧縮を行う工程で計算されたＣＨＥＣＫの値に関わらずオフセット値Ｏ（Ｎ）を零とする。
【０１２６】
第９の工程：図１９参照
本発明は、量子化ステップ値Δ（Ｎ＋１）に加算される変数であるオフセット値Ｏ（Ｎ）の計算を行う工程である。
【０１２７】
ここで、オフセット値Ｏ（Ｎ）を説明する。オフセット値Ｏ（Ｎ）は、フィールドＦ（Ｎ）のエントロピ値Ｈ（Ｎ）から算出された量子化ステップ値Δ（Ｎ）に加算される変数である。オフセット値Ｏ（Ｎ）は、フィールドＦの符号量が所望の値以上であった場合に、定数ＳＴＥＰを加算することで計算される。以下にその詳細を説明する。
【０１２８】
先ず、フィールドＦ（Ｎ）の圧縮を行う工程から出力されたＣＨＥＣＫが零であるか否かの判断を行う。フィールドＦ（Ｎ）の圧縮を行う工程に於いて、フィールドＦ（Ｎ）の符号量が閾値以下の場合はＣＨＥＣＫには１が代入されており、符号量が閾値以上の場合はＣＨＥＣＫには零が代入されている。
【０１２９】
次に、ＣＨＥＣＫに零が代入されている場合には、オフセット値Ｏ（Ｎ−１）に定数ＳＴＥＰが加算された値を、オフセット値Ｏ（Ｎ）とする。これに対して、ＣＨＥＣＫに１が代入されている場合には、オフセット値Ｏ（Ｎ−１）をそのままオフセット値Ｏ（Ｎ）とする。
【０１３０】
ＣＨＥＣＫが零の場合は、フィールドＦ（Ｎ）の符号量がその閾値よりも大きく、圧縮率が不足していることを意味している。従って、オフセット値Ｏ（Ｎ−１）に定数ＳＴＥＰが加算された値を、オフセット値Ｏ（Ｎ）とすることにより、次フィールドＦ（Ｎ＋１）で使用されるオフセット値Ｏ（Ｎ）は大きな値となる。そして、オフセット値Ｏ（Ｎ）は、次フィールドＦ（Ｎ＋１）の圧縮を行う工程で、量子化ステップ値Δ（Ｎ＋１）に加算されるので、次フィールドＦ（Ｎ）の圧縮率を高くすることができる。このことから、フィールドＦの圧縮率が、その目標値に到達するまで、オフセット値Ｏの値は増加を続けることになる。
【０１３１】
ＣＨＥＣＫが１の場合は、フィールドＦ（Ｎ）の符号量がその閾値よりも小さく、圧縮率が充分であることを意味している。従って、オフセット値Ｏ（Ｎ−１）と同じ値を有するオフセット値Ｏ（Ｎ）を使用して、次フィールドＦ（Ｎ＋１）の圧縮を行っても、所定の圧縮率を達成することができる。
【０１３２】
次に、前工程からの出力を参照して、フィールド間の量子化ステップ値Δの差の絶対値が、閾値よりも大きい場合は、上記で計算されたオフセット値Ｏ（Ｎ）の値に関わらず、オフセット値Ｏ（Ｎ）を零とする。
【０１３３】
このように、フィールド間の量子化ステップ値Δの差の絶対値が、閾値よりも大きい場合に、オフセット値Ｏ（Ｎ）を零とすることのメリットを述べる。本発明に於いては、量子化ステップ値Δは、そのエントロピ値Ｈから算出されている。従って、フィールド間で量子化ステップ値Δが大きく変化したことは、フィールド間でエントロピ値Ｈが大きく変化したことを意味する。更に、フィールドのエントロピ値Ｈは、そのフィールドの図柄を示す複雑さを示している。このことから、量子化ステップ値Δが大きく変化したことは、図柄が大きく変化したと判断することができる。従って、量子化ステップ値Δが大きく変化した時点で、オフセット値Ｏを零とすることにより、オフセット値Ｏを再計算することができるので、適切なレートコントロールを行うことができる。
【０１３４】
尚、上記した各実施の形態において、圧縮の対象物は、動画像だけに限定されない。例えば、音声情報を圧縮の対象物として採用することもできる。即ち、入力された音声情報を、サンプル数毎にブロック化して、このブロックのエントロピ値から算出された量子化ステップ値Δを用いて量子化を行うことができる。
【０１３５】
更に、上記した各実施の形態では、画面自体が有する情報の１つであるエントロピ値Ｈから量子化ステップ値Δを求めたが、エントロピ値Ｈ以外の指標値から量子化ステップ値Δを算出することも可能である。例えば、画面自体が有する情報の分散から量子化ステップ値Δを算出することも可能である。その具体例を以下にて説明する。
【０１３６】
先ず、画面（フィールド）に対してウェーブレット変換を行うことにより、複数個のサブバンドに分割されたウェーブレット変換係数を得る。次に、各サブバンドについて分散を算出する。具体的には、例えば、図４を参照して、ＨＨ、ＬＨ、ＨＬ、ＬＬＨＨ、ＬＬＬＨ、ＬＬＨＬの６個のサブバンドについて各々の分散を算出する。次に、これら各サブバンドにつて算出された分散の平均値を算出する。更に、分散の平均値から所定の圧縮率を達成する量子化ステップ値Δを算出する。分散の平均値と、所定の圧縮率（例えば０．０５）を達成するような量子化ステップ値Δとは高い相関関係にあり、従って、線形の変換式を用いて、所定の圧縮率を達成する量子化ステップ値Δを分散の平均値から算出することができる。この量子化ステップ値Δを用いて量子化を行うことにより、画面の圧縮率を所定の値に制御することができる。
【０１３７】
更に、量子化ステップ値Δを算出するための指標として実効値を用いることも可能である。具体的には、ウェーブレット変換を行うことにより得られるウェーブレット変換係数は、直流成分以外の平均値が零になる。このことは、ウェーブレット変換係数の標準偏差と、その実効値が同一になることを意味している。上記したように、ウェーブレット変換係数の分散から量子化ステップ値Δは算出可能であり、分散の平方根である標準偏差と実効値が同一であることは、すなわち、実効値から量子化ステップ値Δが算出可能である。ここで、実効値とは、ウェーブレット変換係数のエネルギー量の大きさを示す指標であり、ウェーブレット変換係数の瞬時エネルギーレベルについて各サブバンド毎に自乗和の平均を求め、その値の平方根で表した指標である。
【０１３８】
また、上記した第３の実施の形態では、符号量の閾値は１つの固定値として示されていたが、「上限および下限を有する符号量の幅」を閾値の代替として用いることも可能である。そして、圧縮を行った後の画面の符号量が、符号量の上限を上回る場合は、オフセット値を大きくすることで、次画面の符号量を小さくすることができる。そして、圧縮を行った後の画面の符号量が、符号量の下限を下回る場合は、過度の圧縮を行っていることになるので、オフセット値を小さくすることで、圧縮を行った後の符号量を上記した符号量の幅の範囲に収めることができる。また、このことは、「上限および下限を有する圧縮率の幅」を閾値の代替として用いることに等しい。更に、上記した「符号量の幅」または「圧縮率の幅」の上限と下限との差は、零以上にすることとする。そして、これらの上限と下限の差が零である場合は、目標符号量または目標圧縮率を１つの値で与えることに相当する。更にまた、上記したオフセット値は、正の値または負の値をとることが可能である。
【０１３９】
上記した各実施の形態では、静止画像または動画像の圧縮方法を説明したが、ＣＰＵ等の演算装置およびＲＡＭ等の記憶媒体を用いることにより、静止画像または動画像の圧縮装置を構成することができる。この場合は、本発明の静止画像または動画像の圧縮装置は、入力された静止画像から圧縮対象となる画面を抽出する抽出部と、前記画面の情報を基に量子化に用いる量子化ステップ値を算出する量子化ステップ値算出部と、前記量子化ステップ値を用いて前記量子化を行うことにより前記画面の圧縮を行う圧縮部とを有する。そして各部の機能は上述した各行程と同様の機能を有する。
【０１４０】
【発明の効果】
本発明では以下に示すような効果を奏することができる。
【０１４１】
第１に、本発明では、画像自体が有する情報であるエントロピ値Ｈから算出された量子化ステップ値Δを用いて量子化行うので、圧縮率の制御（レートコントロール）を適切に行うことができる。具体的には、画像のエントロピ値Ｈを算出し、エントロピ値Ｈと量子化ステップ値Δとの関係式を用いて量子化ステップ値Δを求めている。このことにより、エントロピ値Ｈの値に応じた量子化ステップ値Δを供給することが可能となり、望ましい画像の圧縮率を実現することができる。
【０１４２】
第２に、本発明では、ウェーブレット変換された低周波成分のサブバンドから算出されたエントロピ値Ｈを用いて量子化ステップ値Δを算出するので、エントロピ値Ｈの算出に要する計算量を低減することができる。低周波成分のサブバンドの画像情報は、高周波成分のサブバンドと比較すると、画像の特徴を良く表している。そして、本発明でエントロピ値Ｈの算出に用いる低周波成分のサブバンドの情報量は、全体の１／４程度である。
【０１４３】
第３に、本発明では、動画像の圧縮を行う工程と、量子化ステップ値Δを算出する工程とを平行して行い、直前のフィールドＦ（Ｎ−１）で算出した量子化ステップ値Δ（Ｎ−１）を用いてフィールドＦ（Ｎ）の量子化を行うので、処理速度を向上させて動画像の圧縮を行うことができる。
【０１４４】
第４に、本発明では、オフセット値Ｏ（Ｎ）が加算された量子化ステップ値Δ（Ｎ）を用いて量子化を行っている。ここで、オフセット値Ｏ（Ｎ）は、フィールドＦ（Ｎ）の圧縮率が所望の値に到達するまで、フィールド毎に増加する。従って、精度良くレートコントロールを行うことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の、静止画像の圧縮方法の概略構成を示すブロック図である。
【図２】本発明の第１の実施の形態の、フィールドの抽出工程を示す概念図である。
【図３】本発明の第１の実施の形態の、ウェーブレット変換する工程を示す概念図である。
【図４】本発明の第１の実施の形態の、ウェーブレット変換する工程を示す概念図である。
【図５】本発明の第１の実施の形態の、量子化ステップ値を算出する工程を示す概念図である。
【図６】本発明の第１の実施の形態の、量子化ステップ値を算出する工程を示す特性図である。
【図７】本発明の第１の実施の形態の、量子化の工程を示す概念図である。
【図８】本発明の第１の実施の形態の、符号化の工程を示す概念図である。
【図９】本発明の第２の実施の形態の、動画像の圧縮方法の概略構成を示すブロック図（Ａ）、概略図（Ｂ）である。
【図１０】本発明の第２の実施の形態の、動画像の圧縮方法の概略構成を示すブロック図である。
【図１１】本発明の第２の実施の形態の、フィールドの抽出工程を示す概念図である。
【図１２】本発明の第２の実施の形態の、ウェーブレット変換する工程を示す概念図である。
【図１３】本発明の第２の実施の形態の、ウェーブレット変換する工程を示す概念図である。
【図１４】本発明の第２の実施の形態の、量子化の工程を示す概念図である。
【図１５】本発明の第２の実施の形態の、符号化の工程を示す概念図である。
【図１６】本発明の第２の実施の形態の、量子化ステップ値を算出する工程を示す概念図である。
【図１７】本発明の第２の実施の形態の、量子化ステップ値を算出する工程を示す概念図である。
【図１８】本発明の第３の実施の形態の、動画像の圧縮方法の概略構成を示すブロック図（Ａ）、概略図（Ｂ）である。
【図１９】本発明の第３の実施の形態の、動画像の圧縮方法の概略構成を示すブロック図である。
【図２０】本発明の第３の実施の形態の、フィールドの抽出工程を示す概念図である。
【図２１】本発明の第３の実施の形態の、ウェーブレット変換する工程を示す概念図である。
【図２２】本発明の第３の実施の形態の、ウェーブレット変換する工程を示す概念図である。
【図２３】本発明の第３の実施の形態の、量子化の工程を示す概念図である。
【図２４】本発明の第３の実施の形態の、符号化の工程を示す概念図である。
【図２５】本発明の第３の実施の形態の、量子化ステップ値を算出する工程を示す概念図である。
【図２６】本発明の第３の実施の形態の、量子化ステップ値を算出する工程を示す概念図である。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a compression method for image information and the like, and more particularly, to an information compression method, an image compression method, and a moving image compression method that achieve a predetermined compression ratio by adjusting a quantization step value.
[0002]
[Prior art]
As a conventional typical image compression method, there is a JPEG (Joint Photographic Coding Experts Group) method standardized by ISO (International Organization for Standardization). The JPEG method is a method for mainly compressing and encoding a still image using DCT (Discrete Cosine Transform). When a relatively high bit is allocated, a good encoded / decoded image is obtained. It is known to provide However, in this system, if the number of coded bits is reduced to some extent, block distortion peculiar to DCT becomes remarkable, and deterioration becomes conspicuous subjectively.
[0003]
Apart from this, recently, researches on a method of dividing an image into a plurality of bands by a filter combining a high-pass filter and a low-pass filter called a filter bank and performing encoding for each of the bands have become active. ing. Above all, wavelet coding is regarded as a promising new technology to replace DCT because it does not have the drawback that block distortion becomes remarkable due to high compression, which is a problem in DCT.
[0004]
At present, many products such as an electronic still camera and a video movie adopt a JPEG system, a Moving Picture Image Coding Experts Group (MPEG) system, or a so-called DV (Digital Video) system for compression coding. Each of the conversion schemes uses DCT as a conversion scheme. The coefficients transformed by DCT are compressed through a quantization step and an encoding step. In MPEG, the coding efficiency is improved by performing motion compensation prediction between a previous frame and a block called a macroblock to be coded.
[0005]
[Problems to be solved by the invention]
However, the above-described method of compressing information such as images has the following problems.
[0006]
First, in a conventional method of compressing an image or the like, in the step of performing quantization, quantization is performed using a predetermined quantization step value. Therefore, depending on the characteristics of the image to be compressed, there has been a problem that the compression ratio is insufficient or the image is greatly deteriorated.
[0007]
Secondly, particularly in the compression of moving images, rate control for controlling the compression ratio of each field forming a moving image is important. As one of the methods for performing this rate control, there is a method of controlling a quantization step value. However, it is very difficult to perform stable rate control by controlling the quantization step value.
[0008]
Third, in the above-described MPG or the like, the process of motion compensation prediction occupies most of the image compression / decompression processing. In the motion compensation prediction process, a process of comparing a past frame with a current frame is always required, and this has caused the overall process of image compression to be complicated. Further, there is a problem that a storage device such as a large RAM is required to perform a plurality of storages and comparisons. Furthermore, there is a problem that the image quality is greatly deteriorated when the prediction is incorrect. Furthermore, there has been a problem that editing and reproduction in units of one screen become difficult.
[0009]
The present invention has been made in view of the above-described problems, and a main object of the present invention is to at least compress information such as a moving image to be quantized, from an entropy value of information itself such as an image. An object of the present invention is to provide a method for performing an appropriate rate control by calculating an appropriate quantization step value.
[0010]
[Means for Solving the Problems]
The present invention includes a step of extracting information to be compressed from input input information, a step of calculating a quantization step value based on the information, and a step of quantizing the information using the quantization step value. Performing the compression of the information.
[0011]
Further, the still image compression method of the present invention, a step of extracting a field to be compressed from the input still image, a step of calculating a quantization step value used for quantization based on the information of the field, Compressing the field by performing the quantization using the quantization step value.
[0012]
Here, as the information of the field, an entropy value of the field can be used. That is, an appropriate quantum step value can be calculated by preparing a relational expression between the entropy value and the quantization step value for realizing a predetermined compression ratio and calculating the quantization step value from the entropy value of the field. .
[0013]
Further, the moving image compression method of the present invention includes a step of extracting a field to be compressed from an input moving image signal, a step of compressing the field by performing at least quantization, and a step of compressing the field. And calculating a quantization step value to be used for the quantization based on
[0014]
Here, the step of compressing the field and the step of calculating the quantization step value are performed in parallel. The compression of the field including the quantization is performed using the quantization step value calculated from the entropy value of the immediately preceding image. From this, when the entropy value and the quantization step value of the N-th field F [N] are H [N] and Δ [N], Δ [H] used when quantizing the field [N] is used. ] Uses Δ [N−1] calculated from H [N−1] of the immediately preceding field F [N−1].
[0015]
In the field extracted from the moving image, it can be assumed that the symbols of F [N] and F [N-1] are almost equivalent. Therefore, in the present invention, the compression of F [N] is performed using Δ [N−1] calculated from F [N−1].
[0016]
Further, the step of compressing F [N] using Δ [N−1] and the step of calculating Δ [N] used in the step of compressing F [N + 1] are performed in parallel. . This prevents an increase in processing time caused by calculating Δ [N].
[0017]
According to the present invention, the quantization step value is calculated from the entropy value which is one of the information of the image itself. An image with a large entropy value is an image with a complicated design, and it is expected that the compression ratio in the encoding process will decrease. Therefore, for an image having a large entropy value, the amount of information of the image is reduced by performing quantization with a large quantization step value in a quantization step which is a step before encoding.
[0018]
BEST MODE FOR CARRYING OUT THE INVENTION
In the method of compressing image information as described above, particularly in the method of compressing a moving image, a target value of the compression ratio is fixed in advance, and if the compression ratio does not reach the target value, the compression ratio is controlled by some method. ing. Controlling the information compression ratio in this way is generally called rate control. Although there are various methods for performing the rate control, as one method, the rate control can be performed by changing a quantization step value used when performing the quantization.
[0019]
Quantization is an irreversible process of approximating data values at discrete levels. Therefore, the information obtained by performing the quantization is definitely deteriorated as compared with the original image. The compression ratio of an image and the degree of image deterioration due to quantization depend on the size of the quantization step value used for the image. Specifically, when an image is quantized using a large quantization step value, the amount of information of the image decreases, and the degree of image deterioration increases. On the other hand, when the image is quantized using a small quantization step value, the amount of information of the image increases, and the degree of deterioration of the image decreases.
[0020]
Here, the image compression ratio will be described. The compression ratio is an index indicating a change in the amount of information when the amount of information such as an image is compressed. Therefore, a high compression ratio indicates a small compression ratio, and a low compression ratio indicates a large compression ratio. Specifically, comparing the case where the compression ratio is 0.01 and the case where the compression ratio is 0.1, the compression ratio is higher when the compression ratio is 0.01.
[0021]
In the present invention, an appropriate rate control is performed by compressing an image using information of the image itself, particularly, a quantization step value calculated from an entropy value of the image itself. Such an embodiment of the present invention will be described below with reference to the drawings.
[0022]
(First Embodiment Explaining a Still Image Compression Method)
In the method for compressing a still image according to the present invention, a step of extracting a screen to be compressed from an input still image, a step of calculating a quantization step value used for quantization based on the information of the screen, Compressing the screen by performing the quantization using a quantization step value. Such a compression method will be described below.
[0023]
With reference to the block diagram of FIG. 1, the still image compression method of the present invention has the following configuration specifically. That is, a step of extracting a screen to be compressed from the input still image, a step of obtaining a wavelet transform coefficient by performing a wavelet transform on the extracted screen, and a step of calculating a quantization step value from the wavelet transform coefficient. And a step of performing quantization using the calculated quantization step value to obtain a quantized coefficient, and a step of entropy-encoding the quantized coefficient. Each of these steps will be described below.
[0024]
First step: See FIG.
This step is a step of extracting a screen to be compressed from the input still image. Specifically, first, an image signal obtained as an output of a photoelectric conversion device such as a camera is first converted into a two-dimensional digital data array by analog-to-digital conversion (AD conversion). In this digital data array, each component is a sample value (pixel) of the image. Each pixel is represented by 8 bits (1 byte) in the case of a monochrome image.
[0025]
When the image is a color image, there are two methods for expressing each pixel by digital data. The first method is a method of expressing information of a color image by information of three primary colors of RGB, and each pixel is expressed by 24 bits (3 bytes). The second method is a method of expressing information of a color image using a luminance signal Y, two hue signals U, and a saturation signal V. In the following description, the case where the second method is adopted will be described. However, even when the first method is used, the still image can be compressed similarly. Further, even when the image to be compressed is a monochrome image, the still image can be compressed in the same manner.
[0026]
Next, the luminance signal Y, the hue signal U, and the saturation signal V, which are components of the color image, are separated from each other to extract individual screens. The subsequent compression process is performed individually for each screen of the luminance signal Y, the hue signal U, and the saturation signal V.
[0027]
Second step: see FIGS. 3 and 4
This step is a step of obtaining a wavelet transform coefficient by performing a wavelet transform on the extracted screen. In this step, wavelet transform is performed on each screen of the luminance signal Y, hue signal U, and chroma signal V extracted after being separated in the previous step. The wavelet transform, which will be described in detail below, is one of frequency transforms for removing a correlation between pixels, and another orthogonal transform can be adopted in the present invention. Specifically, DCT (Discrete Cosine Transform) or the like can be adopted in addition to the wavelet transform.
[0028]
First, a configuration example of a normal wavelet transform unit will be described with reference to FIG. This is an example in which octave division, which is the most general wavelet transform, among several wavelet transform methods is performed over a plurality of levels. In this case, the number of levels is three (level 1 to level 3), the screen signal is divided into a low band and a high band, and only the low band component is hierarchically divided. Although FIG. 2 illustrates a wavelet transform for a one-dimensional signal (for example, a horizontal component of a screen), it is possible to cope with a two-dimensional screen signal by extending the wavelet transform to two-dimensional.
[0029]
Next, the operation of the wavelet transform unit configured as described above will be described. The input screen 1 to the wavelet transform unit shown in FIG. 3 is first band-divided by the low-pass filter 11 (transfer function H0 (z)) and the high-pass filter 12 (transfer function H1 (z)), and the obtained low-frequency component The high-frequency components are thinned by a factor of two by the corresponding downsamplers 13A and 13B (level 1). The outputs at this time are the L component 2 and the H component 7. Here, L indicates Low for a low band and H indicates High for a high band. The low-pass filter 11, the high-pass filter 12, and the two downsamplers 13A and 13B of FIG. 2 constitute a level 1 circuit section 20.
[0030]
Only the low-frequency components of the signals decimated by the downsamplers 13A and 13B, that is, only the signal from the downsampler 13A, are further band-divided by the low-pass filter and the high-pass filter of the level 2 circuit unit 21. The corresponding downsampler reduces the resolution by a factor of two each (level 2). The circuit section 21 including the low-pass filter, the high-pass filter, and the downsampler of level 2 has the same configuration as the circuit section 20 including the low-pass filter 11, the high-pass filter 12, and the downsamplers 13A and 13B of level 1. .
[0031]
By performing such processing up to a predetermined level, band components obtained by hierarchically dividing low-frequency components into bands are sequentially generated. The band components generated at level 2 are LL component 2 and LH component 6. FIG. 3 shows an example in which band division is performed up to level 3. An output from the down sampler on the low-pass filter side of the level 2 circuit section 21 is transmitted to a level 3 circuit section 22 having the same configuration as the circuit section 21 described above. Supplied. As a result of the band division up to level 3, an LLL component 4, an LLH component 5, an LH component 6, and an H component 7 are generated.
[0032]
Here, FIG. 4 illustrates band components obtained as a result of band division of a two-dimensional image up to level 3. The notation of L and H in FIG. 4 is different from the notation of L and H in FIG. That is, in FIG. 4, first, four components LL, LH, HL, and HH are divided by level 1 band division (horizontal and vertical directions). Here, LL means that the horizontal and vertical components are both L, and LH means that the horizontal component is H and the vertical component is L. Next, the LL component is band-divided again to generate LLLL, LLHL, LLLH, and LLHH. Further, the LLLL component is band-divided again to generate LLLLLL, LLLLHL, LLLLLLH, and LLLLHH.
[0033]
Third step: see FIGS. 5 and 6
This step is a step characteristic of the present invention, and is a step of calculating a quantization step value Δ from the wavelet transform coefficients obtained in the previous step. Specifically, first, the entropy value H is calculated from the low frequency region of the wavelet transform coefficient of the luminance component (Y component). Next, a quantization step value Δ is calculated from the entropy value H using a conversion formula. This conversion formula is represented by Δ = f (H), and by using this function, the quantization step value Δ that achieves a predetermined image compression ratio can be calculated from the entropy value (H). A method for deriving this conversion formula will be described later.
[0034]
Here, entropy will be described. The entropy is a quantity indicating how much information is missing based on the probability of obtaining certain information, and this quantity indicates the degree of uncertainty of the information. Specifically, when the amount of entropy is small, it means that the information appears unevenly. Therefore, when compression including encoding is performed on an image having a large entropy value, the compression ratio of the image is low. Further, when compression including encoding is performed on an image having a small entropy value, the compression ratio of the image increases.
[0035]
The quantization step value Δ calculated in this step is used when quantizing sub-bands in all frequency regions in the step of performing quantization. Further, the quantization step value Δ calculated in this step is also used for quantization of other components forming the image. Therefore, the quantization step value Δ calculated here is also used when quantizing the hue signal U and the saturation signal V. Hereinafter, a specific method of calculating the quantization step value Δ will be described.
[0036]
A method of calculating the entropy value will be described with reference to FIG. The target of calculation in this step is a region excluding the sub-bands HH, HL, and LH divided by the wavelet transform of the luminance component (Y component). In other words, the calculation target is the LL region of the Y component (hereinafter abbreviated as Y (LL)). An entropy value H of Y (LL) having n pixels is generally calculated by the following equation.
[0037]
(Equation 1)

[0038]
In Equation 1, P (Ni) indicates the appearance probability of the symbol Ni. Here, the following relationship exists between the quantization step value Δ that achieves a predetermined compression ratio (for example, 0.05) and the entropy value H of Y (LL).
[0039]
(Equation 2)

[0040]
Therefore, by substituting the entropy value H of Y (LL) into the above equation 2, it is possible to obtain a quantization step value Δ that achieves a predetermined compression ratio.
[0041]
With reference to FIG. 6, a method for deriving the above Equation 2 will be described. In the graph of FIG. 6, the horizontal axis represents the entropy value H in the low frequency region of the luminance signal Y, and the vertical axis represents the quantization step value Δ. The derivation of this equation 2, which is a linear conversion equation, is performed by preparing a large number of images having different designs, calculating an entropy value H for each image, and further calculating a predetermined compression ratio for each image. Calculating a quantization step value Δ to achieve, and obtaining an approximate straight line indicating a relationship between the entropy value H and the quantization step value Δ from information of the entropy value H and the quantization step value Δ calculated for each image. It is performed by. This method is described below.
[0042]
As the prepared image, in order to widen the range in which the obtained entropy value H is distributed, an image having a simple design (an image having a small entropy value H) to an image having a complicated design (an image having a large entropy value H) are used. ) Are prepared.
[0043]
Next, the entropy value H of the low frequency component of the luminance signal Y is calculated for each of the multiple images prepared as described above. That is, after performing the wavelet transform on the image, the entropy value H is calculated for the subband in the low frequency region. At this time, the entropy value H is calculated using the above-described equation (1).
[0044]
Next, a quantization step value Δ that achieves a predetermined compression ratio is obtained for each of the large number of images prepared as described above. Here, the predetermined compression ratio is a predetermined value, for example, about 0.05.
[0045]
Next, with reference to FIG. 6, an approximate expression of the quantization coefficient Δ obtained above and the entropy value H is obtained. From the figure, the plotted points are arranged almost linearly. When a correlation was obtained for both, it was found that there was a high correlation. Therefore, an approximate expression is created using a linear expression. Then, the coefficients (a and b) of the approximate expression are calculated by a statistical method such as the least square method.
[0046]
Fourth step: See FIG.
This step is a step of obtaining quantization coefficients from wavelet transform coefficients by performing quantization using the quantization step value Δ calculated in the previous step. Since the color image as the original image is separated into a luminance signal Y, a hue signal U, and a saturation signal V, quantization is performed on each signal. In this step, the sub-bands of all three signals constituting the image are quantized using the quantization step value Δ calculated from the low frequency region Y (LL) of the luminance signal Y.
[0047]
Specifically, first, the quantization step value Δ is multiplied by a different weight for each of the luminance signal Y, the hue signal U, and the saturation signal V. Here, the weight is a constant value determined for each signal. For example, a quantization step value Δ multiplied by the weight of the luminance signal Y is used for quantization of the luminance signal Y.
[0048]
Next, a quantization coefficient is calculated by dividing the wavelet transform coefficient by the quantization step value Δ. Here, as the quantization means, for example, scalar quantization that is usually used as shown in the following Expression 3 is used.
[0049]
[Equation 3]

[0050]
In the above Equation 3, Q represents a quantized quantization coefficient value, W represents a wavelet transform coefficient value, and Δ represents a quantization step value multiplied by a weight for each signal. Is shown. Further, the quantization coefficient Q obtained by dividing by the quantization step value Δ is rounded to an integer.
[0051]
FIG. 7 is a diagram showing the above-described quantization process. The abscissa in the figure indicates the magnitude of the input wavelet transform coefficient, and the ordinate indicates the magnitude of the quantized coefficient which is the output representative value. From the figure, it can be understood that the quantization step value Δ determines the width of the value of the wavelet transform coefficient such that the value of the quantization coefficient Δ becomes the same. Therefore, coarse quantization is performed in proportion to an increase in the value of the quantization step value Δ. As a result, by increasing the quantization step value Δ, the frequency at which the values of the output quantized coefficients become the same increases, and as a result, the compression efficiency in the encoding step, which is a subsequent step, is improved. There is.
[0052]
Fifth step: see FIG.
This step is a step of entropy-encoding the quantized coefficients obtained in the previous step. Here, Huffman coding, arithmetic coding, or the like can be used as a method of performing entropy coding. In the present invention, efficient arithmetic coding is used. Arithmetic coding refers to projecting a sequence of symbols (quantized coefficients in this case) into an interval [0, 1] in accordance with the probability of occurrence probability, and probabilistic intervals on a number line by an appropriate number in the interval. This is a binary representation method. By this method, a coding coefficient can be obtained.
[0053]
An example of arithmetic coding will be described with reference to FIG. The figure shows an example in which a coded symbol {101} is divided into [0, 1.0] real number sections with reference to the estimated occurrence probability P. Here, since the first coded symbol is 1 and the estimated occurrence probability of 1 is P (1), P (1) = 0.6. The corresponding partial section [0.4, 1] is selected. Similarly, a partial section [0.4, 0.64] corresponding to symbol 0 is generated using this [0.4, 1] as a mother section. Thereafter, similarly, [0.52, 0.64] is finally selected. Finally, a decimal part such as 0.1001 included in the final section [0.52, 0.64] = [0.1000..., 0.1010.
[0054]
The coding coefficients obtained by the above steps may be written and stored in an information recording medium such as a hard disk or a CD. The decoding of the encoded coefficients can be performed by performing a method reverse to the method shown in FIG. That is, by performing inverse entropy coding, inverse quantization, and inverse wavelet transform, an image that is visually close to the original image can be obtained.
[0055]
(Second Embodiment Explaining Compression Method of Moving Image)
A method for compressing a moving image according to the present embodiment will be described with reference to FIGS. Referring to FIG. 9A, a moving image compression method according to the present invention includes a step of extracting a screen F (N) to be compressed from an input moving image signal, and at least performing quantization to obtain a screen F (N). It includes a step of compressing F (N) and a step of calculating a quantization step value Δ (N) used for quantization based on information of the screen F (N). Then, the compressed screen is output to a storage medium such as a hard disk.
[0056]
Here, the above-mentioned screen refers to each component that forms a moving image. When the information to be compressed is, for example, the current television (NTSC system), a frame including two fields becomes the above-described screen. In the following description, a case will be described in which the input moving image is compressed for each field, but the input moving image can also be compressed for each frame.
[0057]
Referring to FIG. 9B, in the present invention, a field is calculated using a quantization step value Δ (N−1) calculated from an entropy value H (N−1) of the immediately preceding field F (N−1). F (N) is being compressed. Then, the next field F (N + 1) is compressed using the quantization step value Δ (N) calculated from the entropy value H (N) of the field F (N).
[0058]
Referring to the flowchart of FIG. 10, one embodiment of the moving image compression method of the present invention includes the following steps. That is, a step of extracting a field F (N) to be compressed, a step of performing a wavelet transform, and performing quantization using a quantization step value Δ (N−1) calculated from at least one previous field. A step of performing entropy encoding, a step of calculating an entropy value H (N), and a step of calculating a quantization step value Δ (N) from the entropy value H (N). The compression method is configured. The details of each of these steps will be described below.
[0059]
First step: See FIG.
This step is a step of extracting a field F (N) to be compressed from the input moving image signal. When the input image is, for example, an NTSC signal of a color television broadcast, the hue signal U and the saturation signal V are multiplexed on the luminance signal Y. Therefore, first, the luminance signal Y, the hue signal U, and the chroma signal V are individually separated from the NTSC signal. After that, the field F (N) is extracted. The extracted luminance signal Y, hue signal U, and saturation signal V are individually compressed.
[0060]
Second step: see FIGS. 12 and 13
This step is one of the steps of compressing the field F (N), and is a step of performing wavelet transform on the input field F (N) to obtain wavelet transform coefficients.
[0061]
In this step, the wavelet transform is performed on each field of the luminance signal Y, the hue signal U, and the chroma signal V extracted after being separated from the television image. The wavelet transform, which will be described in detail below, is one of orthogonal transforms for removing a correlation between pixels, and the present invention can employ another orthogonal transform. Specifically, DCT (Discrete Cosine Transform) or the like can be adopted in addition to the wavelet transform.
[0062]
First, a configuration example of a normal wavelet transform unit will be described with reference to FIG. This is an example in which octave division, which is the most general wavelet transform, among several wavelet transform methods is performed over a plurality of levels. In this case, the number of levels is three (level 1 to level 3), the field signal is divided into a low band and a high band, and only the low band component is hierarchically divided. Although FIG. 2 illustrates a wavelet transform for a one-dimensional signal (for example, a horizontal component of a field), the wavelet transform can be extended to two-dimensional to correspond to a two-dimensional field signal.
[0063]
Next, the operation of the wavelet transform unit configured as described above will be described. The input field 1 to the wavelet transform unit shown in FIG. 2 is first band-divided by the low-pass filter 11 (transfer function H0 (z)) and the high-pass filter 12 (transfer function H1 (z)), and the obtained low-frequency component The high-frequency components are thinned by a factor of two by the corresponding downsamplers 13A and 13B (level 1). The outputs at this time are the L component 2 and the H component 7. Here, L indicates Low for a low band and H indicates High for a high band. The low-pass filter 11, the high-pass filter 12, and the two downsamplers 13A and 13B in FIG. 12 constitute a level 1 circuit section 20.
[0064]
Only the low-frequency components of the signals decimated by the downsamplers 13A and 13B, that is, only the signal from the downsampler 13A, are further band-divided by the low-pass filter and the high-pass filter of the level 2 circuit unit 21. The corresponding downsampler reduces the resolution by a factor of two each (level 2). The circuit section 21 including the low-pass filter, the high-pass filter, and the downsampler of level 2 has the same configuration as the circuit section 20 including the low-pass filter 11, the high-pass filter 12, and the downsamplers 13A and 13B of level 1. .
[0065]
By performing such processing up to a predetermined level, band components obtained by hierarchically dividing low-frequency components into bands are sequentially generated. The band components generated at level 2 are LL component 2 and LH component 6. FIG. 12 shows an example in which the frequency band is divided up to level 3. The output from the down sampler on the low-pass filter side of the level 2 circuit section 21 is sent to the level 3 circuit section 22 having the same configuration as the circuit section 21 described above. Supplied. As a result of the band division up to level 3, an LLL component 4, an LLH component 5, an LH component 6, and an H component 7 are generated.
[0066]
Here, FIG. 13 illustrates band components obtained as a result of band division of a two-dimensional image up to level 3. The notation of L and H in the figure is different from the notation of L and H in FIG. That is, first, the signal is divided into four components LL, LH, HL, and HH by level 1 band division (horizontal and vertical directions). Here, LL means that the horizontal and vertical components are both L, and LH means that the horizontal component is H and the vertical component is L. Next, the LL component is band-divided again to generate LLLL, LLHL, LLLH, and LLHH. Further, the LLLL component is band-divided again to generate LLLLLL, LLLLHL, LLLLLLH, and LLLLHH.
[0067]
Third step: See FIG.
This step is a step of obtaining quantization coefficients from wavelet transform coefficients by performing quantization using a quantization step value Δ (N−1) calculated from at least one previous field F (N−1). It is. Since the color image as the original image is separated into a luminance signal Y, a hue signal U, and a saturation signal V, quantization is performed on each signal. In this step, the sub-bands of all three signals constituting the image are quantized using the quantization step value Δ calculated from the low frequency region Y (LL) of the luminance signal Y.
[0068]
First, the quantization step value Δ (N−1) is multiplied by a different weight for each of the luminance signal Y, the hue signal U, and the saturation signal V. Here, the weight is a constant value determined for each signal. For example, a quantization step value Δ (N−1) multiplied by the weight of the luminance signal Y is used for quantization of the luminance signal Y.
[0069]
Next, a quantization coefficient is calculated by dividing the wavelet transform coefficient by the quantization step value Δ (N−1). Here, as the quantization means, for example, scalar quantization that is usually used as shown in the following Expression 4 is used.
[0070]
(Equation 4)

[0071]
In the above equation 4, Q (N) represents a quantized quantization coefficient, W (N) represents a wavelet transform coefficient, and Δ (N−1) represents a weight for each signal. Indicates the quantization step value multiplied by. Further, the quantization coefficient Q obtained by dividing by the quantization step value Δ is rounded to an integer.
[0072]
FIG. 14 is a diagram showing the above-described quantization process. The abscissa in the figure indicates the magnitude of the input wavelet transform coefficient, and the ordinate indicates the magnitude of the quantized coefficient which is the output representative value. From the figure, it can be understood that the quantization step value Δ (N−1) determines the width of the value of the wavelet transform coefficient such that the value of the quantization coefficient Q (N) becomes the same. Therefore, coarse quantization is performed in proportion to the increase in the value of the quantization step value Δ (N−1). As a result, by increasing the quantization step value Δ, the frequency at which the values of the output quantized coefficients become the same increases, and as a result, the compression efficiency in the encoding step, which is a subsequent step, is improved. There is.
[0073]
Fourth step: See FIG.
This step is a step of entropy-encoding the quantized coefficients obtained in the previous step. Here, Huffman coding, arithmetic coding, or the like can be used as a method of performing entropy coding. In the present invention, efficient arithmetic coding is used. Arithmetic coding refers to projecting a sequence of symbols (quantized coefficients in this case) into an interval [0, 1] in accordance with the probability of occurrence probability, and probabilistic intervals on a number line by an appropriate number in the interval. This is a binary representation method. By this method, a coding coefficient can be obtained.
[0074]
An example of arithmetic coding will be described with reference to FIG. The figure shows an example in which a coded symbol {101} is divided into [0, 1.0] real number sections with reference to the estimated occurrence probability P. Here, since the first coded symbol is 1 and the estimated occurrence probability of 1 is P (1), P (1) = 0.6. The corresponding partial section [0.4, 1] is selected. Similarly, a partial section [0.4, 0.64] corresponding to symbol 0 is generated using this [0.4, 1] as a mother section. Thereafter, similarly, [0.52, 0.64] is finally selected. Finally, a decimal part such as 0.1001 included in the final section [0.52, 0.64] = [0.1000..., 0.1010.
[0075]
The coding coefficients obtained by the above steps may be written and stored in an information recording medium such as a hard disk or a CD. The decoding of the encoded coefficients can be performed by performing a method reverse to the method of performing compression. That is, by performing inverse entropy coding, inverse quantization, and inverse wavelet transform, an image that is visually close to the original image can be obtained.
[0076]
Fifth step: see FIGS. 16 and 17
This step is one of the steps for calculating the quantization step value Δ (N), and calculates the entropy value H (N) of the field F (N) and calculates the quantization step value Δ (N). It is a process.
[0077]
A method of calculating the entropy value will be described with reference to FIG. The target of calculation in this step is a region excluding the sub-bands HH, HL, and LH divided by the wavelet transform of the luminance component (Y component). In other words, the calculation target is the LL region of the Y component (hereinafter abbreviated as Y (LL)). The entropy value H (N) of Y (LL) having n pixels is generally calculated by the following equation.
[0078]
(Equation 5)

[0079]
Here, the following relationship exists between the quantization step value Δ (N) that achieves a predetermined compression ratio (for example, 0.05) and the entropy value H (N) of Y (LL).
[0080]
(Equation 6)

[0081]
Therefore, by substituting the entropy value H of Y (LL) into the above Equation 6, a quantization step value Δ (N) that achieves a predetermined compression ratio can be obtained.
[0082]
With reference to FIG. 17, a method for deriving Equation 7 will be described. In the graph of FIG. 7, the horizontal axis represents the entropy value H (N) of the luminance signal Y in the low frequency region, and the vertical axis represents the quantization step value Δ (N). The derivation of Equation 7 is performed by preparing a large number of images having different designs, calculating an entropy value H for each image, and further performing quantization for achieving a predetermined compression ratio for each image. The step value Δ is obtained, and an approximate straight line indicating the relationship between the entropy value H and the quantization step value Δ is obtained from the information on the entropy value H and the quantization step value Δ calculated for each image. This method is described below.
[0083]
As the prepared image, in order to widen the range in which the obtained entropy value H is distributed, an image having a simple design (an image having a small entropy value H) to an image having a complicated design (an image having a large entropy value H) are used. ) Are prepared.
[0084]
Next, the entropy value H of the low frequency component of the luminance signal Y is calculated for each of the multiple images prepared as described above. That is, after performing the wavelet transform on the image, the entropy value H is calculated for the subband in the low frequency region. At this time, the entropy value H is calculated using the above-described equation (1).
[0085]
Next, a quantization step value Δ that achieves a predetermined compression ratio is obtained for each of the large number of images prepared as described above. Here, the predetermined compression ratio is a predetermined value, for example, about 0.05.
[0086]
Next, referring to FIG. 17, an approximate expression of the quantization coefficient Δ and the entropy value H obtained above is obtained. From the figure, the plotted points are arranged almost linearly. When a correlation was obtained for both, it was found that there was a high correlation. Therefore, an approximate expression is created using a linear expression. Then, the coefficients a and b of the approximate expression are calculated by a statistical method such as the least square method.
[0087]
The quantization step value Δ (N) calculated in this step is used in the quantization step when compressing the next field F (N + 1).
[0088]
(Third Embodiment Explaining a Moving Image Compression Method)
A moving image compression method according to the present embodiment will be described with reference to FIGS. Referring to FIG. 18A, a moving image compression method according to the present invention includes a step of extracting a screen F (N) to be compressed from an input moving image signal, The method includes a step of compressing the screen F (N) and a step of calculating a quantization step value Δ (N) used for the quantization based on the information of the screen F (N). Here, the above-mentioned quantization step value Δ (N) is calculated from the entropy value H (N) of the screen F (N). Further, the process of compressing the screen F (N) and the process of calculating the quantization step value Δ (N) are performed in parallel. Further, after the above-described step, there is a step of calculating the offset value O (N) from the compression ratio of the screen F (N) and the value of the quantization step value Δ (N). In the present embodiment, the quantization step value Δ is adjusted by using the offset value O (N), and as a result, the compression ratio is adjusted.
[0089]
Here, the above-mentioned screen refers to each component that forms a moving image. When the information to be compressed is, for example, the current television (NTSC system), a frame including two fields becomes the above-described screen. In the following description, a case will be described in which the input moving image is compressed for each field, but the input moving image can also be compressed for each frame.
[0090]
Referring to FIG. 18B, in the present invention, a field is calculated using a quantization step value Δ (N−1) calculated from an entropy value H (N−1) of the immediately preceding field F (N−1). F (N) is being compressed. Then, the next field F (N + 1) is compressed using the quantization step value Δ (N) calculated from the entropy value H (N) of the field F (N).
[0091]
Referring to the flowchart of FIG. 19, one embodiment of the moving image compression method of the present invention includes the following steps. That is, a step of extracting a field F (N) to be compressed, a step of adding an offset value O (N-1), a step of performing wavelet transform, a step of performing quantization, and performing entropy coding A step of comparing the compression ratio, a step of calculating an entropy value H (N), a step of calculating a quantization step value Δ (N) from the entropy value H (N), and a step of calculating a quantization step value Δ The step of comparing (N) and the step of calculating the offset value O (N) constitute the moving image compression method of the present invention. The details of each of these steps will be described below.
[0092]
First step: See FIG.
This step is a step of extracting a field F (N) to be compressed from the input moving image signal. When the input image is, for example, an NTSC signal of a color television broadcast, the hue signal U and the saturation signal V are multiplexed on the luminance signal Y. Therefore, first, the luminance signal Y, the hue signal U, and the chroma signal V are individually separated from the NTSC signal. After that, the field F (N) is extracted. The extracted luminance signal Y, hue signal U, and saturation signal V are individually compressed.
[0093]
Second step: See FIG.
This step is one of the steps of compressing the field F (N), and is a step of adding the offset value O (N-1). Here, the offset value O (N-1) is added to the quantization step value Δ (N-1) calculated from the entropy value H (N-1) of the field F (N-1) compressed immediately before. Thus, a quantization step value Δ (N) used for quantization of the field F (N) is obtained. Specifically, the following processing is performed.
[0094]
(Equation 7)

[0095]
In the above equation (7), O (N-1) is an offset value, and the value is determined depending on whether or not the compression ratio of the immediately preceding field F (N-1) has achieved a predetermined compression ratio. Have been. Specifically, when the compression ratio of F (N-1) is lower than the compression ratio threshold, it is determined that the compression ratio is insufficient, and O (N-1) is a value to which a constant is added. When the compression ratio of F (N-1) is higher than the compression ratio threshold, O (N-1) is a value to which no constant is added. Further, when the symbol of the field F (N) changes greatly, a value of 0 is substituted for O (N-1). From this, when the design of the field changes greatly, the compression of F (N) is performed using Δ (N−1). The method of calculating the offset value O (N) will be described later.
[0096]
Third step: See FIGS. 21 and 22
This step is one of the steps of compressing the field F (N), and is a step of performing wavelet transform on the input field F (N) to obtain wavelet transform coefficients.
[0097]
In this step, the wavelet transform is performed on each field of the luminance signal Y, the hue signal U, and the chroma signal V extracted after being separated from the television image. The wavelet transform, which will be described in detail below, is one of orthogonal transforms for removing a correlation between pixels, and the present invention can employ another orthogonal transform. Specifically, DCT (Discrete Cosine Transform) or the like can be adopted in addition to the wavelet transform.
[0098]
First, a configuration example of a normal wavelet transform unit will be described with reference to FIG. This is an example in which octave division, which is the most general wavelet transform, among several wavelet transform methods is performed over a plurality of levels. In this case, the number of levels is three (level 1 to level 3), and the field signal is divided into a low band and a high band, and only the low band component is hierarchically divided. Although FIG. 1 illustrates a wavelet transform for a one-dimensional signal (for example, a horizontal component of a field), the wavelet transform can be extended to two-dimensional to correspond to a two-dimensional field signal.
[0099]
Next, the operation of the wavelet transform unit configured as described above will be described. The input field 1 to the wavelet transform unit shown in FIG. 2 is first band-divided by the low-pass filter 11 (transfer function H0 (z)) and the high-pass filter 12 (transfer function H1 (z)), and the obtained low-frequency component The high-frequency components are thinned by a factor of two by the corresponding downsamplers 13A and 13B (level 1). The outputs at this time are the L component 2 and the H component 7. Here, L indicates Low for a low band and H indicates High for a high band. The low-pass filter 11, the high-pass filter 12, and the two down-samplers 13A and 13B of FIG.
[0100]
Only the low-frequency components of the signals decimated by the downsamplers 13A and 13B, that is, only the signal from the downsampler 13A, are further band-divided by the low-pass filter and the high-pass filter of the level 2 circuit unit 21. The corresponding downsampler reduces the resolution by a factor of two each (level 2). The circuit section 21 including the low-pass filter, the high-pass filter, and the downsampler of level 2 has the same configuration as the circuit section 20 including the low-pass filter 11, the high-pass filter 12, and the downsamplers 13A and 13B of level 1. .
[0101]
By performing such processing up to a predetermined level, band components obtained by hierarchically dividing low-frequency components into bands are sequentially generated. The band components generated at level 2 are LL component 2 and LH component 6. FIG. 2 shows an example in which the band is divided up to the level 3. The output from the down-sampler on the low-pass filter side of the level 2 circuit section 21 is transmitted to the level 3 circuit section 22 having the same configuration as the circuit section 21 described above. Supplied. As a result of the band division up to level 3, an LLL component 4, an LLH component 5, an LH component 6, and an H component 7 are generated.
[0102]
Here, FIG. 22 illustrates band components obtained as a result of band division of a two-dimensional image up to level 3. The notation of L and H in the figure is different from the notation of L and H in FIG. That is, first, the signal is divided into four components LL, LH, HL, and HH by level 1 band division (horizontal and vertical directions). Here, LL means that the horizontal and vertical components are both L, and LH means that the horizontal component is H and the vertical component is L. Next, the LL component is band-divided again to generate LLLL, LLHL, LLLH, and LLHH. Further, the LLLL component is band-divided again to generate LLLLLL, LLLLHL, LLLLLLH, and LLLLHH.
[0103]
Fourth step: See FIG.
This step is a step of obtaining quantization coefficients from wavelet transform coefficients by performing quantization using a quantization step value Δ (N). Since the color image as the original image is separated into a luminance signal Y, a hue signal U, and a saturation signal V, quantization is performed on each signal. In this step, the sub-bands of all three signals constituting the image are quantized using the quantization step value Δ calculated from the low frequency region Y (LL) of the luminance signal Y.
[0104]
First, the quantization step value Δ (N) is multiplied by a different weight for each of the luminance signal Y, the hue signal U, and the saturation signal V. Here, the weight is a constant value determined for each signal. For example, a quantization step value Δ (N) multiplied by the weight of the luminance signal Y is used for quantization of the luminance signal Y.
[0105]
Next, a quantization coefficient is calculated by dividing the wavelet transform coefficient by the quantization step value Δ (N). Here, as the quantization means, for example, scalar quantization that is usually used as shown in the following Expression 8 is used.
[0106]
(Equation 8)

[0107]
In the above equation 8, Q (N) indicates a quantized quantized coefficient, W (N) indicates a wavelet transform coefficient, and Δ (N) indicates a weight multiplied for each signal. 5 shows the quantized step value obtained. Further, the quantization coefficient Q obtained by dividing by the quantization step value Δ is rounded to an integer.
[0108]
FIG. 23 is a diagram showing the above-described quantization process. The abscissa in the figure indicates the magnitude of the input wavelet transform coefficient, and the ordinate indicates the magnitude of the quantized coefficient which is the output representative value. From the figure, it can be understood that the quantization step value Δ (N) determines the width of the value of the wavelet transform coefficient so that the value of the quantization coefficient Q (N) becomes the same. Accordingly, coarse quantization is performed in proportion to an increase in the value of the quantization step value Δ (N). As a result, by increasing the quantization step value Δ, the frequency at which the values of the output quantized coefficients become the same increases, and as a result, the compression efficiency in the encoding step, which is a subsequent step, is improved. There is.
[0109]
Fifth step: see FIG.
This step is a step of entropy-encoding the quantized coefficients obtained in the previous step. Here, Huffman coding, arithmetic coding, or the like can be used as a method of performing entropy coding. In the present invention, efficient arithmetic coding is used. Arithmetic coding refers to projecting a sequence of symbols (quantized coefficients in this case) into an interval [0, 1] in accordance with the probability of occurrence probability, and probabilistic intervals on a number line by an appropriate number in the interval. This is a binary representation method. By this method, a coding coefficient can be obtained.
[0110]
An example of arithmetic coding will be described with reference to FIG. The figure shows an example in which a coded symbol {101} is divided into [0, 1.0] real number sections with reference to the estimated occurrence probability P. Here, since the first coded symbol is 1 and the estimated occurrence probability of 1 is P (1), P (1) = 0.6. The corresponding partial section [0.4, 1] is selected. Similarly, a partial section [0.4, 0.64] corresponding to symbol 0 is generated using this [0.4, 1] as a mother section. Thereafter, similarly, [0.52, 0.64] is finally selected. Finally, a decimal part such as 0.1001 included in the final section [0.52, 0.64] = [0.1000..., 0.1010.
[0111]
The coding coefficients obtained by the above steps may be written and stored in an information recording medium such as a hard disk or a CD. The decoding of the encoded coefficients can be performed by performing a method reverse to the method of performing compression. That is, by performing inverse entropy coding, inverse quantization, and inverse wavelet transform, an image that is visually close to the original image can be obtained.
[0112]
Sixth step: See FIG.
This step is one of the steps of compressing the field F (N), and is a step of comparing the code amount of the field F (N) compressed in the previous steps and the code amount threshold value. . By comparing the code amount after compression with the threshold value, it is determined whether or not the compression rate of the field F (N) has reached the target value. In the present invention, the field compression ratio is controlled (rate controlled) by performing quantization using the quantization step value calculated from the entropy value. Then, in order to perform more stable rate control, the code amount of the compressed field F (N) is confirmed. If the code amount of the field F (N) is smaller than the threshold value, 1 is substituted for the flag CHECK here. If the code amount of the field F (N) is larger than the threshold value, zero is substituted for CHECK here. The CHECK into which the value is substituted is used in the step of calculating the offset value to determine whether or not the compression ratio of the field F (N) has reached its target value.
[0113]
Seventh step: See FIGS. 25 and 26
This step is one of the steps for calculating the quantization step value Δ (N), and calculates the entropy value H (N) of the field F (N) and calculates the quantization step value Δ (N). It is a process.
[0114]
A method of calculating the entropy value will be described with reference to FIG. The target of calculation in this step is a region excluding the sub-bands HH, HL, and LH divided by the wavelet transform of the luminance component (Y component). In other words, the calculation target is the LL region of the Y component (hereinafter abbreviated as Y (LL)). The entropy value H (N) of Y (LL) having n pixels is generally calculated by the following equation.
[0115]
(Equation 9)

[0116]
Here, the following relationship exists between the quantization step value Δ (N) that achieves a predetermined compression ratio (for example, 0.05) and the entropy value H (N) of Y (LL).
[0117]
(Equation 10)

[0118]
Therefore, by substituting the entropy value H of Y (LL) into the above equation 10, a quantization step value Δ (N) that achieves a predetermined compression ratio can be obtained.
[0119]
With reference to FIG. 26, a method for deriving the above Equation 10 will be described. In the graph of FIG. 7, the horizontal axis represents the entropy value H (N) of the luminance signal Y in the low frequency region, and the vertical axis represents the quantization step value Δ (N). The derivation of Equation 7 is performed by preparing a large number of images having different designs, calculating an entropy value H for each image, and further performing quantization for achieving a predetermined compression ratio for each image. The step value Δ is obtained, and an approximate straight line indicating the relationship between the entropy value H and the quantization step value Δ is obtained from the information on the entropy value H and the quantization step value Δ calculated for each image. This method is described below.
[0120]
As the prepared image, in order to widen the range in which the obtained entropy value H is distributed, an image having a simple design (an image having a small entropy value H) to an image having a complicated design (an image having a large entropy value H) are used. ) Are prepared.
[0121]
Next, the entropy value H of the low frequency component of the luminance signal Y is calculated for each of the multiple images prepared as described above. That is, after performing the wavelet transform on the image, the entropy value H is calculated for the subband in the low frequency region. At this time, the entropy value H is calculated using the above-described equation (1).
[0122]
Next, a quantization step value Δ that achieves a predetermined compression ratio is obtained for each of the large number of images prepared as described above. Here, the predetermined compression ratio is a predetermined value, for example, about 0.05.
[0123]
Next, referring to FIG. 26, an approximate expression of the quantization coefficient Δ obtained above and the entropy value H is obtained. From the figure, the plotted points are arranged almost linearly. When a correlation was obtained for both, it was found that there was a high correlation. Therefore, an approximate expression is created using a linear expression. Then, the coefficients a and b of the approximate expression are calculated by a statistical method such as the least square method.
[0124]
Eighth step: see FIG.
This step is one of the steps for calculating the quantization step value Δ (N), and is performed between the quantization step value Δ (N) calculated in the above step and the immediately preceding field F (N−1). This is the step of performing the comparison.
[0125]
Specifically, first, the absolute value of the difference between the quantization step value Δ (N) calculated in the previous process and the quantization step value Δ (N−1) calculated from the immediately preceding field F (N−1). Is calculated. Next, the absolute value of the difference is compared with the threshold value. When the absolute value of the difference is smaller than the threshold value, in the step of calculating the offset value O (N), the offset value O (N) is calculated based on the CHECK to which zero or 1 has been substituted in the compression step. Is calculated. On the other hand, when the absolute value of the difference is larger than the threshold value, the offset value O (N) is calculated in the step of calculating the offset value O (N) regardless of the value of the CHECK calculated in the compression step. N) is set to zero.
[0126]
Ninth step: see FIG.
The present invention is a step of calculating an offset value O (N) which is a variable added to the quantization step value Δ (N + 1).
[0127]
Here, the offset value O (N) will be described. The offset value O (N) is a variable that is added to the quantization step value Δ (N) calculated from the entropy value H (N) of the field F (N). The offset value O (N) is calculated by adding a constant STEP when the code amount of the field F is equal to or more than a desired value. The details will be described below.
[0128]
First, it is determined whether or not the CHECK output from the step of compressing the field F (N) is zero. In the process of compressing the field F (N), 1 is substituted for CHECK when the code amount of the field F (N) is equal to or smaller than the threshold, and zero is set for CHECK when the code amount is equal to or larger than the threshold. Is assigned.
[0129]
Next, when zero is substituted for CHECK, a value obtained by adding a constant STEP to the offset value O (N-1) is set as the offset value O (N). On the other hand, when 1 is assigned to CHECK, the offset value O (N-1) is used as it is as the offset value O (N).
[0130]
When CHECK is zero, it means that the code amount of the field F (N) is larger than the threshold value and the compression ratio is insufficient. Therefore, by setting the value obtained by adding the constant STEP to the offset value O (N-1) as the offset value O (N), the offset value O (N) used in the next field F (N + 1) becomes a large value. It becomes. Then, the offset value O (N) is added to the quantization step value Δ (N + 1) in the step of compressing the next field F (N + 1), so that the compression rate of the next field F (N) is increased. Can be. From this, the value of the offset value O continues to increase until the compression rate of the field F reaches its target value.
[0131]
When CHECK is 1, it means that the code amount of the field F (N) is smaller than the threshold value and the compression ratio is sufficient. Therefore, a predetermined compression ratio can be achieved even when the next field F (N + 1) is compressed using the offset value O (N) having the same value as the offset value O (N-1).
[0132]
Next, referring to the output from the previous process, if the absolute value of the difference between the quantization step values Δ between the fields is larger than the threshold value, regardless of the value of the offset value O (N) calculated above. Instead, the offset value O (N) is set to zero.
[0133]
As described above, the merits of setting the offset value O (N) to zero when the absolute value of the difference between the quantization step values Δ between the fields is larger than the threshold value will be described. In the present invention, the quantization step value Δ is calculated from the entropy value H. Therefore, a large change in the quantization step value Δ between the fields means that the entropy value H has changed greatly between the fields. Further, the entropy value H of the field indicates the complexity indicating the design of the field. From this, it can be determined that a large change in the quantization step value Δ indicates that the symbol has changed significantly. Therefore, when the quantization step value Δ greatly changes, the offset value O can be recalculated by setting the offset value O to zero, so that appropriate rate control can be performed.
[0134]
In each of the above-described embodiments, the compression target is not limited to only a moving image. For example, audio information can be adopted as a compression target. That is, the input audio information is divided into blocks for each sample number, and quantization can be performed using the quantization step value Δ calculated from the entropy value of this block.
[0135]
Further, in each of the above-described embodiments, the quantization step value Δ is obtained from the entropy value H, which is one of the information of the screen itself. However, the quantization step value Δ is calculated from the index value other than the entropy value H. It is also possible. For example, the quantization step value Δ can be calculated from the variance of information included in the screen itself. A specific example will be described below.
[0136]
First, a wavelet transform is performed on a screen (field) to obtain a wavelet transform coefficient divided into a plurality of subbands. Next, the variance is calculated for each subband. Specifically, for example, with reference to FIG. 4, each variance is calculated for six subbands HH, LH, HL, LLHH, LLLH, and LLHL. Next, the average of the variance calculated for each of these subbands is calculated. Further, a quantization step value Δ for achieving a predetermined compression ratio is calculated from the average value of the variance. There is a high correlation between the average value of the variance and the quantization step value Δ that achieves a predetermined compression ratio (for example, 0.05). Therefore, the predetermined compression ratio is achieved using a linear conversion equation. Can be calculated from the average value of the variance. By performing quantization using this quantization step value Δ, the compression ratio of the screen can be controlled to a predetermined value.
[0137]
Furthermore, an effective value can be used as an index for calculating the quantization step value Δ. Specifically, the wavelet transform coefficient obtained by performing the wavelet transform has an average value of zero other than the DC component. This means that the standard deviation of the wavelet transform coefficient and its effective value are the same. As described above, the quantization step value Δ can be calculated from the variance of the wavelet transform coefficient, and the fact that the standard deviation, which is the square root of the variance, and the effective value are the same means that the quantization step value Δ is calculated from the effective value. It can be calculated. Here, the effective value is an index indicating the magnitude of the energy amount of the wavelet transform coefficient, and the instantaneous energy level of the wavelet transform coefficient is obtained by averaging the sum of squares for each subband, and expressed as the square root of the value. It is an indicator.
[0138]
Further, in the third embodiment, the code amount threshold is shown as one fixed value, but “the width of the code amount having an upper limit and a lower limit” may be used as an alternative to the threshold. . If the code amount of the screen after compression exceeds the upper limit of the code amount, the code amount of the next screen can be reduced by increasing the offset value. If the code amount of the screen after the compression is smaller than the lower limit of the code amount, it means that excessive compression is being performed. Therefore, by reducing the offset value, the code after the compression is performed. The amount can be within the range of the code amount described above. This is equivalent to using the “width of the compression ratio having the upper limit and the lower limit” as an alternative to the threshold. Further, the difference between the upper limit and the lower limit of the “width of the code amount” or the “width of the compression ratio” is set to zero or more. When the difference between the upper limit and the lower limit is zero, this corresponds to giving the target code amount or the target compression ratio as one value. Furthermore, the above-mentioned offset value can take a positive value or a negative value.
[0139]
In each of the above-described embodiments, a method for compressing a still image or a moving image has been described. However, a compression device for a still image or a moving image can be configured by using an arithmetic device such as a CPU and a storage medium such as a RAM. it can. In this case, the still image or moving image compression apparatus of the present invention includes an extraction unit that extracts a screen to be compressed from an input still image, and a quantization step value used for quantization based on the information on the screen. And a compression unit that compresses the screen by performing the quantization using the quantization step value. And the function of each part has the same function as each process mentioned above.
[0140]
【The invention's effect】
According to the present invention, the following effects can be obtained.
[0141]
First, in the present invention, since quantization is performed using the quantization step value Δ calculated from the entropy value H, which is information contained in the image itself, control of the compression ratio (rate control) can be performed appropriately. . Specifically, the entropy value H of the image is calculated, and the quantization step value Δ is obtained using a relational expression between the entropy value H and the quantization step value Δ. As a result, it is possible to supply the quantization step value Δ according to the value of the entropy value H, and it is possible to realize a desired image compression ratio.
[0142]
Second, in the present invention, since the quantization step value Δ is calculated using the entropy value H calculated from the sub-band of the low-frequency component subjected to the wavelet transform, the amount of calculation required for calculating the entropy value H is reduced. be able to. The image information of the sub-band of the low-frequency component expresses the characteristics of the image better than the sub-band of the high-frequency component. The information amount of the subband of the low frequency component used for calculating the entropy value H in the present invention is about 1/4 of the whole.
[0143]
Third, in the present invention, the step of compressing a moving image and the step of calculating a quantization step value Δ are performed in parallel, and the quantization step value Δ calculated in the immediately preceding field F (N−1) is obtained. Since the field F (N) is quantized using (N-1), the processing speed can be improved and the moving image can be compressed.
[0144]
Fourth, in the present invention, quantization is performed using the quantization step value Δ (N) to which the offset value O (N) is added. Here, the offset value O (N) increases for each field until the compression rate of the field F (N) reaches a desired value. Therefore, rate control can be performed with high accuracy.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a schematic configuration of a still image compression method according to a first embodiment of the present invention.
FIG. 2 is a conceptual diagram showing a field extraction process according to the first embodiment of this invention.
FIG. 3 is a conceptual diagram illustrating a step of performing a wavelet transform according to the first embodiment of this invention.
FIG. 4 is a conceptual diagram illustrating a step of performing a wavelet transform according to the first embodiment of this invention.
FIG. 5 is a conceptual diagram illustrating a process of calculating a quantization step value according to the first embodiment of this invention.
FIG. 6 is a characteristic diagram illustrating a process of calculating a quantization step value according to the first embodiment of this invention.
FIG. 7 is a conceptual diagram showing a quantization step according to the first embodiment of the present invention.
FIG. 8 is a conceptual diagram showing an encoding process according to the first embodiment of the present invention.
FIGS. 9A and 9B are a block diagram (A) and a schematic diagram (B) showing a schematic configuration of a moving image compression method according to the second embodiment of the present invention.
FIG. 10 is a block diagram illustrating a schematic configuration of a moving image compression method according to a second embodiment of the present invention.
FIG. 11 is a conceptual diagram illustrating a field extraction process according to the second embodiment of this invention.
FIG. 12 is a conceptual diagram illustrating a step of performing a wavelet transform according to the second embodiment of this invention.
FIG. 13 is a conceptual diagram illustrating a step of performing a wavelet transform according to the second embodiment of this invention.
FIG. 14 is a conceptual diagram illustrating a quantization step according to the second embodiment of this invention.
FIG. 15 is a conceptual diagram showing an encoding step according to the second embodiment of the present invention.
FIG. 16 is a conceptual diagram illustrating a process of calculating a quantization step value according to the second embodiment of this invention.
FIG. 17 is a conceptual diagram illustrating a process of calculating a quantization step value according to the second embodiment of this invention.
18A and 18B are a block diagram (A) and a schematic diagram (B) showing a schematic configuration of a moving image compression method according to the third embodiment of the present invention.
FIG. 19 is a block diagram illustrating a schematic configuration of a moving image compression method according to a third embodiment of the present invention.
FIG. 20 is a conceptual diagram showing a field extracting step according to the third embodiment of the present invention.
FIG. 21 is a conceptual diagram showing a step of performing a wavelet transform according to the third embodiment of the present invention.
FIG. 22 is a conceptual diagram illustrating a step of performing a wavelet transform according to the third embodiment of this invention.
FIG. 23 is a conceptual diagram showing a quantization step according to the third embodiment of the present invention.
FIG. 24 is a conceptual diagram showing an encoding step according to the third embodiment of the present invention.
FIG. 25 is a conceptual diagram illustrating a process of calculating a quantization step value according to the third embodiment of this invention.
FIG. 26 is a conceptual diagram illustrating a step of calculating a quantization step value according to the third embodiment of this invention.

Claims (58)

Extracting information to be compressed from the input information input;
Calculating a quantization step value based on the information;
Compressing the information by quantizing the information using the quantization step value. 2. The information compression method according to claim 1, wherein the calculation of the quantization step value is performed from an entropy value of the information. 3. The information compression method according to claim 2, wherein the quantization step value is calculated from the entropy value in a low frequency region of the information. 4. The information compression method according to claim 2, wherein the quantization step value is calculated from the entropy value using a conversion formula that achieves a predetermined compression ratio. Compressing the information, converting the information to obtain a transform coefficient, quantizing the transform coefficient to obtain a quantized coefficient, and coding the quantized coefficient. 2. The information compression method according to claim 1, further comprising the step of performing coding to obtain a coding coefficient. The information compression method according to claim 5, wherein the conversion is subband coding. 7. The information compression method according to claim 6, wherein the sub-band coding is a wavelet transform. The information compression method according to claim 5, wherein the transformation is an orthogonal transformation. The information compression method according to claim 5, wherein the encoding is arithmetic encoding. Extracting a screen to be compressed from the input still image;
Calculating a quantization step value based on the information of the screen;
Compressing the screen by performing quantization using the quantization step value. The still image compression method according to claim 10, wherein the screen is a field. The still image compression method according to claim 10, wherein the calculation of the quantization step value is performed from the index value of the screen. 13. The still image compression method according to claim 12, wherein the index value is an entropy value. 13. The still image compression method according to claim 12, wherein the index value is a variance. 14. The still image compression method according to claim 13, wherein the quantization step value is calculated from the entropy value in a low frequency region of the screen. 16. The still image compression method according to claim 15, wherein a quantization step value of the screen is calculated from the entropy value using a conversion formula that achieves a predetermined compression ratio. Compressing the screen, converting the screen to obtain a transform coefficient, quantizing the transform coefficient to obtain a quantized coefficient, and coding the quantized coefficient 11. A still image compression method according to claim 10, further comprising the step of: 18. The still image compression method according to claim 17, wherein the conversion is subband coding. 19. The still image compression method according to claim 18, wherein the sub-band encoding is a wavelet transform. 18. The information compression method according to claim 17, wherein the transform is an orthogonal transform. 18. The still image compression method according to claim 17, wherein the encoding is arithmetic encoding. Extracting a screen to be compressed from the input video signal,
Performing compression of the screen by performing at least quantization;
Calculating a quantization step value used for the quantization based on the information on the screen. The moving image compression method according to claim 22, wherein the screen is a field. The moving image compression method according to claim 22, wherein the screen is a frame. The still image compression method according to claim 10, wherein the calculation of the quantization step value is performed from the index value of the screen. 26. The still image compression method according to claim 25, wherein the index value is an entropy value. 26. The still image compression method according to claim 25, wherein the index value is a variance. 27. The moving image compression method according to claim 26, wherein the quantization step is calculated from the entropy value in a low frequency region of the screen. The moving image compression method according to claim 26, wherein a quantization step value of the screen is calculated from the entropy value using a conversion formula that achieves a predetermined compression ratio. 23. The moving image compression method according to claim 22, wherein said screen is quantized using a quantization step value calculated from at least one previous screen. 23. The moving picture compression method according to claim 22, wherein the next picture is quantized using a quantization step value calculated from the picture. 23. The moving image compression method according to claim 22, wherein the step of compressing the screen and the step of calculating the quantization step value are performed in parallel. Compressing the screen, converting the screen to obtain a transform coefficient, quantizing the transform coefficient to obtain a quantized coefficient, and coding the quantized coefficient 23. A moving picture compression method according to claim 22, further comprising the step of: The moving picture compression method according to claim 33, wherein the conversion is subband coding. The moving image compression method according to claim 34, wherein the subband encoding is a wavelet transform. The moving image compression method according to claim 33, wherein the transformation is an orthogonal transformation. The moving image compression method according to claim 33, wherein the encoding is arithmetic encoding. Extracting a screen to be compressed from the input video signal,
Adding an offset value to a quantization step value calculated from information of at least one previous screen;
Compressing the screen by performing quantization using the quantization step value to which the offset value has been added. The moving image compression method according to claim 38, wherein the offset value is added to the quantization step value calculated from at least one previous screen. 39. The moving image compression method according to claim 38, wherein when the compression rate of the screen is lower than a compression rate threshold, the offset value is increased. 39. The moving image compression method according to claim 38, wherein when the compression rate of the screen is higher than a compression rate threshold, the offset value is not changed. 41. The moving image compression method according to claim 40, wherein the offset value is increased by adding a constant to the offset value. The moving image according to claim 38, wherein a target compression ratio width having an upper limit and a lower limit of a compression ratio is provided, and when the compression ratio of the screen is lower than the lower limit of the compression ratio, the offset value is increased. Image compression method. The moving image compression method according to claim 43, wherein the offset value is increased by adding a constant to the offset value. The moving image compression method according to claim 43, wherein when the compression rate of the screen is higher than an upper limit of the compression rate, the offset value is reduced. 39. The moving image compression method according to claim 38, wherein when the quantization step value of the screen is significantly different from the quantization step value of the immediately preceding screen, the offset value is set to zero. Compressing the screen, converting the screen to obtain a transform coefficient, quantizing the transform coefficient to obtain a quantized coefficient, and coding the quantized coefficient 39. The moving image compression method according to claim 38, further comprising the step of: performing coding to obtain a coding coefficient. The moving image compression method according to claim 47, wherein the conversion is subband coding. The moving image compression method according to claim 48, wherein the subband encoding is a wavelet transform. The moving image compression method according to claim 47, wherein the transformation is an orthogonal transformation. The moving image compression method according to claim 47, wherein the encoding is arithmetic encoding. The moving image compression method according to claim 38, wherein the screen is a field. The moving image compression method according to claim 38, wherein the screen is a frame. 39. The still image compression method according to claim 38, wherein the calculation of the quantization step value is performed from the index value of the screen. The still image compression method according to claim 54, wherein the index value is an entropy value. The still image compression method according to claim 54, wherein the index value is a variance. The moving image compression method according to claim 55, wherein the quantization step is calculated from the entropy value in a low frequency region of the screen. The moving image compression method according to claim 55, wherein a quantization step value of the screen is calculated from the entropy value using a conversion formula that achieves a predetermined compression ratio.

Images