JP2004274143A - 画像処理装置およびその方法 - Google Patents

Abstract

【課題】圧縮された画像に画像補正を施して再圧縮する。
【解決手段】復号・補正部２００は、高い圧縮率の画像を格納する内部メモリ１５から読み出した画像を伸長し、伸長された画像に画像補正を施す。再符号化部３００は、補正部１９、２０から供給される補正情報に基づき、画像補正された画像を低い圧縮率で再圧縮して外部メモリ２６に格納する。
【選択図】 図３

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理装置およびその方法に関し、例えば、画像圧縮された画像を再圧縮する画像処理に関する。
【０００２】
【従来の技術】
カラー静止画像の圧縮方式には、離散コサイン変換（ＤＣＴ）を利用したＪＰＥＧ方式が多く使われている。ＪＰＥＧ方式は、圧縮率を高くしていくと、文字画像など、画像エッジが際立った画像は、画像エッジの周りにノイズが発生するなどし、復号された画像の画質低下が問題になる。このノイズは量子化および逆量子化で発生する誤差によもので、例えば、黒文字の周りの白地に灰色の画素が発生したり、文字が掠れたりする。
【０００３】
また、色文字の場合はその周りに補色の画素が発生することがある。例えば、赤色の文字の周りには薄いシアン（水色）の画素が、緑色の文字の周りには薄いマゼンタ（赤）の画素が生じる。これは、信号レベルでみると、原画像の画像エッジにおける輝度信号Ｙの変化が白色２５５から黒色０へステップ状に変化するのに対し、ＪＰＥＧ符号化復号後の画像エッジは白色、薄いグレー、濃いグレー、そして黒色に変化するためである。また、色差信号（Ｃｂ、Ｃｒ）は、原画像の画像エッジでは色２５５または０から白色１２８へステップ状に変化するのに対し、ＪＰＥＧ符号化復号後の画像エッジは無彩色レベルを超えて逆相の色（補色）側に振れるためである。
【０００４】
図１は、量子化前の信号レベルがステップ状に変化する信号（実線）が、量子化後、どう変化するかを示す図である。量子化後の信号（破線）には、オーバシュートによって原信号より値が大きくなる部分、アンダシュートによって原信号より値が小さくなる部分が存在し、これらが画像のノイズになる。
【０００５】
このような問題に対して、特開平１１−２８４８６１号公報に記載された発明は、逆量子化時の量子化係数を量子化時よりも大き目にしてダイナミックレンジを上げる処理を行い、データとして表現可能な領域からオーバフローおよびアンダフローした信号をクリッピングする技術を開示する。この技術は、輝度信号のみに有効でありるが、弱いエッジに対してはノイズを強調する問題が存在する。
【０００６】
また、特開２００１−２５００９公報に記載された発明は、ＪＰＥＧ符号化された画像を復号した画像に対してフィルタ処理などの画像処理を行い、別の量子化パラメータで再圧縮する技術を開示する。この技術は、各ブロックに独立に処理するので、再圧縮時に、画質補正効果が消えてしまう問題がある。
【０００７】
【特許文献】
特開平１１−２８４８６１号公報
特開２００１−２５００９公報
【０００８】
【発明が解決しようとする課題】
本発明は、上述の問題を個々にまたはまとめて解決するためのもので、圧縮された画像に画像補正を施して再圧縮することを目的とする。
【０００９】
また、再圧縮後も画像補正の効果が消えないようにすることを目的とする。
【００１０】
【課題を解決するための手段】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【００１１】
本発明は、高い圧縮率の画像を格納する第一のメモリから読み出した画像を伸長し、伸長された画像に画像補正を施し、前記画像補正の補正情報に基づき、画像補正された画像を低い圧縮率で再圧縮して第二のメモリに格納することを特徴とする。
【００１２】
【発明の実施の形態】
以下、本発明にかかる実施形態の画像処理を図面を参照して詳細に説明する。
【００１３】
【第１実施形態】
［構成］
図２は実施形態の画像処理例を示すブロック図である。
【００１４】
例えばディジタルカメラのような画像処理装置は、ＲＡＭなどの記憶容量の制限が比較的厳しい内部メモリ７０に記録された圧縮画像を復号器７１で復号し、圧縮で発生した劣化を画質補正部７２によって画像補正し、圧縮器７３で再圧縮して、ハードディスクなど記憶容量の制限が比較的緩い外部メモリ７４に記録する。その際、画質補正部７２が出力する、補正状況を示す信号７００に基づき、圧縮器７３は圧縮パラメータを設定する。
【００１５】
画像を再圧縮する際に画像補正を行うことで、補正フィルタ処理を有しないコンピュータシステムなどに画像データを供給する場合に、画質が改善された画像データを供給することが可能になる。
【００１６】
図３は実施形態の画像処理装置の構成例を示すブロック図である。
【００１７】
画像入力部１０から符号化部１００に入力される画像データは、色変換部１１で輝度Ｙ信号、色差Ｃｂ、Ｃｒ信号に変換され、ＤＣＴ １２で空間周波数成分であるＤＣＴ係数に変換され、量子化部１３で予め設定された量子化ステップによりＤＣＴ係数が量子化が施され、可変長符号化部１４で量子化データにハフマン符号が割り当てられた後、内部メモリ１５に記録される。
【００１８】
内部記憶装置１５から読み出された符号は、復号・補正部２００に入力され、可変長復号部１６で量子化データに復号され、逆量子化部１７でＤＣＴ係数に逆量子化され、ＩＤＣＴ １８で逆変換されＹＣｂＣｒ信号が復元される。このＹＣｂＣｒ信号は、信号の種別ごとに輝度信号補正部１９および
【００１９】
色差信号補正部２０で補正が施される。
【００２０】
復号・補正部２００から出力され再符号化部３００に入力される画像データは、補正部１９および２０から供給される補正状況を示す信号（補正状況信号）に応じてサンプリング率を変更するサブサンプリング部２２によってサブサンプリングされる。なお、色差信号の補正が多い画像データの場合、色差信号のサブサンプリングは行われない。
【００２１】
サブサンプリング部２２から出力された画像データは、ＤＣＴ ２３でＤＣＴ係数に変換され、量子化部２４で量子化される。量子化部２４は、補正状況信号に応じて量子化ステップを変更し、補正された画像信号に対応するＤＣＴ係数が量子化後も残るようにステップサイズを調整する。
【００２２】
量子化部２４から出力された量子化データは、可変長符号化部１４でハフマン符号が割り当てられ、外部メモリ２６に記録される。
【００２３】
［画像補正］
補正部１９および２０は、ＤＣＴ用に切り出された８×８画素のブロックごとに画像補正を行うか否かを判定する。図４は、この判定を説明する図で、８×８画素のブロックの四隅の小ブロックの各平均値を求め、平均値と中心値（８ビット信号の場合は１２８）との差の絶対値を計算して、差の絶対値が最大の小ブロックを選定する。そして、小ブロックの平均値が閾値Ｔ１より大きい場合は以下の画像補正を行い、小さい場合は画像補正をパスする。補正部１９による輝度信号の画像補正と、補正部２０による色差信号の画像補正は異なる。
【００２４】
図５は補正部１９の輝度成分の補正テーブル例を示す図である。
【００２５】
補正部１９は、低輝度および高輝度領域のデータを０および２５５に変換し、中間領域のデータをそのまま出力する特性の補正テーブルを備える。この補正テーブルを用いた補正により、０および２５５付近でのオーバシュートおよびアンダシュートを抑えることができる。なお、補正部１９の補正テーブルは次式で表現される。
ｉｆ （ａｂｓ（ｄ − ０） ＜ ｔｈ１） ｄ ＝ ０；
ｉｆ （ａｂｓ（ｄ − ２５５） ＜ ｔｈ２） ｄ ＝ ２５５； …（１）
ここで、ｄ： 画像データ
ｔｈ１およびｔｈ２： 閾値（図５参照）
【００２６】
図６は補正部２０の色差成分の補正テーブル例を示す図である。
【００２７】
補正部２０は、低彩度領域（１２８近傍）の補正カーブを緩やかにし、高彩度領域のデータをそのまま出力する特性の補正テーブルを備える。この補正テーブルを用いた補正により、低彩度領域（１２８近辺）でのオーバシュートおよびアンダシュートを抑えることができる。なお、補正部２０の補正テーブルは次式で表現される。
ｉｆ （ａｂｓ（ｄ − １２８） ＜ ｔｈ５） ｄ ＝ （ｄ − １２８）Ｓ ＋ １２８；
ｅｌｓｅ ｄ ＝ ｄ；
ここで、ｔｈ５ ＝ １２８ − ｔｈ３ ＝ ｔｈ４ − １２８（図６参照）
例えば Ｓ ＝ １／８
【００２８】
図７は補正部１９および２０の構成例を示すブロック図である。
【００２９】
主色判定器４１は、補正を行うブロックか否かの判定を行い、判定結果はセレクタ４２へ入力される。従って、セレクタ４２は、その判定結果に応じて、補正テーブル４１によって画像補正された画像データ、または、画像補正されていない画像データを選択的に出力する。
【００３０】
また、主色判定器４１は、ブロックに注目色があるか否か判定し、注目色がある場合、補正テーブル４１によって画像補正された画像データをセレクタ４２が選択するようにしてもよい。
【００３１】
【第２実施形態】
以下、本発明にかかる第２実施形態の画像処理を説明する。なお、本実施形態において、第１実施形態と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００３２】
第１実施形態では、ブロックの四隅に設定したサブブロックの平均的な画素値に基づき画像補正を行ったが、別の方式として、ＡＣ係数の周波数予測方式がある。
【００３３】
図８はＡＣ係数の量子化前、逆量子化後の値を示す図である。
【００３４】
量子化前（実線）、逆量子化後（破線）の値を比較すると、逆量子化後、高周波側のＡＣ係数が零になることが多いことがわかる。これは、高周波側のＡＣ係数を零に量子化して、長いゼロレングスを得ようとするＪＰＥＧの特徴である。第２実施形態は、ＡＣ係数の正負ゼロの変化パターンを検出し、逆量子化後に零になったＡＣ係数を補正するものである。なお、補正値は、量子化ステップ×α（例えばα＝１／２）とする。
【００３５】
図９は典型的な符号パターンの例を示す図で、異なるレベルが１、２、３、４、５、６、７画素ずつ増加していく（図中の括弧内の数字に対応する）場合のＡＣ係数の符号変化を示している。この符号変化を記憶しておき、逆量子化された値を比較して補正をするか否かを判定する。
【００３６】
図１０は補正する符号変化例を示す図で、左から量子化前、逆量子化後のＡＣ係数の値、符号および補正値を示す。符号が「−」「＋」「−」「０」「＋」「−」「＋」と変化する符号パターンと予測されると、量子化ステップＴを使って、高次のＡＣ係数（値が零の係数）をＴ５／２、Ｔ６／２、Ｔ７／２に置き換える。
【００３７】
図１１は第２実施形態の画像処理装置の構成例を示すブロック図である。図３に示した第１実施形態の画像処理装置の構成と異なるのは、輝度信号補正部１９および色差信号補正部２０が逆量子化部１７とＩＤＣＴ １８の間に入っている点である。なお、再圧縮時の量子化ステップは、補正した値が再び零に戻らないような値を調整する。
【００３８】
図１２は補正部１９および２０の構成例を示すブロック図である。
【００３９】
パターン判定器８０は、補正を行うパターンを有するＡＣ係数か否かの判定を行い、判定結果はセレクタ８２へ入力される。従って、セレクタ８２は、その判定結果に応じて、補正器８１によって上記の補正が施された画像データ、または、補正されていない画像データを選択的に出力する。
【００４０】
また、再符号化部３００に、可逆（ロスレス）符号化方式を採用することで、補正効果を残したまま、圧縮データを生成することも可能である。
【００４１】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００４２】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４３】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４４】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【００４５】
【発明の効果】
以上説明したように、本発明によれば、画像圧縮された画像に画像補正を施して再圧縮することができる。
【００４６】
また、再圧縮後も画像補正の効果が消えないようにすることができる。
【図面の簡単な説明】
【図１】量子化前の信号レベルがステップ状に変化する信号が、量子化後、どう変化するかを示す図、
【図２】実施形態の画像処理例を示すブロック図、
【図３】実施形態の画像処理装置の構成例を示すブロック図、
【図４】画像補正を行うか否かの判定を説明する図、
【図５】輝度成分の補正テーブル例を示す図、
【図６】色差成分の補正テーブル例を示す図、
【図７】補正部の構成例を示すブロック図、
【図８】ＡＣ係数の量子化前、逆量子化後の値を示す図、
【図９】典型的な符号パターンの例を示す図、
【図１０】補正する符号変化例を示す図、
【図１１】第２実施形態の画像処理装置の構成例を示すブロック図、
【図１２】第２実施形態の補正部の構成例を示すブロック図である。

Claims (12)

1. 高い圧縮率の画像を格納する第一のメモリと、
   前記第一のメモリから読み出した画像を伸長する伸長手段と、
   伸長された画像に画像補正を施す補正手段と、
   前記補正手段から供給される補正情報に基づき、画像補正された画像を低い圧縮率で再圧縮して第二のメモリに格納する圧縮手段とを有することを特徴とする画像処理装置。
2. 前記補正手段は、前記伸長された画像の圧縮歪みを補正する処理を行うことを特徴とする請求項１に記載された画像処理装置。
3. 前記補正手段は、画像を圧縮伸長するブロックごとに、前記画像補正を実行するか否かを判定するとともに、前記補正情報を出力することを特徴とする請求項１または請求項２に記載された画像処理装置。
4. 前記補正手段は、フィルタ処理によって前記画像補正の実行可否を判定することを特徴とする請求項３に記載された画像処理装置。
5. 前記補正手段は、前記ブロックに注目色がある場合に前記画像補正の実行を可と判定することを特徴とする請求項３に記載された画像処理装置。
6. 前記補正手段は、高次ＡＣ係数予測によって前記画像補正の実行可否を判定することを特徴とする請求項３に記載された画像処理装置。
7. 前記補正手段は、ＡＣ係数の符号のパターンから量子化および逆量子化により零になったＡＣ係数を補正することを特徴とする請求項３に記載された画像処理装置。
8. 前記圧縮手段は、前記補正情報に基づきサブサンプリングにおけるサンプリング率を調整することを特徴とする請求項１から請求項７の何れかに記載された画像処理装置。
9. 前記圧縮手段は、前記補正情報に基づき量子化ステップを調整することを特徴とする請求項１から請求項７の何れかに記載された画像処理装置。
10. 高い圧縮率の画像を格納する第一のメモリから読み出した画像を伸長し、
    伸長された画像に画像補正を施し、
    前記画像補正の補正情報に基づき、画像補正された画像を低い圧縮率で再圧縮して第二のメモリに格納することを特徴とする画像処理方法。
11. 請求項１０に記載された画像処理を画像処理装置に実行させることを特徴とするプログラム。
12. 請求項１１に記載されたプログラムが記録されたことを特徴とする記録媒体。

Images