JP2007028489A - 画像処理装置および画像処理プログラム - Google Patents

Abstract

【課題】 各画像データごとにブロックノイズやモスキートノイズ等のノイズ成分に対する補正処理の必要性を適切に判定し、各画像データに適した補正処理を行うことが可能な画像処理装置および画像処理プログラムを提供する。
【解決手段】 画像処理装置１０は、ＪＰＥＧ圧縮処理された際に画像データに含まれるノイズ成分を除去する装置であって、量子化テーブル作成部１２、補正強度算出部１３、特徴量算出部１４および補正強度調整部１５を備えている。量子化テーブル作成部１２は、画像データに含まれるヘッダ情報に基づいて圧縮処理に用いられる量子化テーブルを抽出する。特徴量算出部１４は、量子化テーブルに対して所望のノイズ成分に相当する部分の重み付けを行い、重み付け後の量子化テーブルの総和を特徴量として算出する。補正強度算出部１５は、この特徴量の大きさに基づいて、補正強度を算出する。
【選択図】 図６

Description

本発明は、ＣＣＤ等の撮像素子によって取得された画像に現れる、ブロックノイズやモスキートノイズ等のノイズを除去するための補正を行う画像処理装置に関する。

一般的には、デジタルカメラ等によって撮影された画像は、デジタルカメラ内に一旦保存されることになるため、撮影可能枚数を最大限に増やすために圧縮処理が施されて保存される。
このとき、圧縮フォーマットとしては、ＪＰＥＧ（Joint Photographic Coding Experts Group）形式の圧縮フォーマットが広く採用されている。ＪＰＥＧは、静止画像圧縮方式の一種であって、その特性の１つとしては、圧縮の程度をユーザ自らが自由に設定できる点がある。この場合、圧縮率を高めるとブロックノイズやモスキートノイズといわれるノイズが発生し、画質を劣化させてしまう。このため、画像処理装置においては、このような各種ノイズ成分を除去するために、各画像データに対して補正処理が実施される。

例えば、特許文献１には、圧縮率や印刷する際のサイズ変換の程度に基づいて、画像データに対する画像処理の適用を制御することが可能なプリンタ（画像処理装置）が開示されている。
この構成によれば、画像処理の適用判断においてユーザの負担を軽減し、かつ印刷速度を低下させることなく、容易に高画質の印刷を実行することができる。
特開２００３−１４１５３２号公報（平成１５年５月１６日公開）

しかしながら、上記従来の画像処理装置では、以下に示すような問題点を有している。
すなわち、上記公報に開示された画像処理装置では、圧縮率や印刷時におけるサイズ変換の程度に応じて補正強度を変更しているが、このような補正強度の変更では、元々ノイズの発生していない画像まで一律に補正処理を行ってしまうおそれがある。ここで、ノイズ除去が不要な画像データについても補正処理を行った結果、逆にその画像の画質を低下させてしまうおそれがあることから、常に適切な補正処理が行われるとは言い難い。

本発明の課題は、各画像データごとにブロックノイズやモスキートノイズ等のノイズ成分に対する補正処理の必要性を適切に判定し、各画像データに適した補正処理を行うことが可能な画像処理装置および画像処理プログラムを提供することにある。

第１の発明に係る画像処理装置は、画像データをブロック単位で圧縮符号化し、これを復号化した際に画像データに含まれるノイズ成分を除去する画像処理装置であって、量子化テーブル作成部と、特徴量算出部と、補正強度算出部とを備えている。量子化テーブル作成部は、圧縮符号化の処理を行う際に画像データに基づいて量子化テーブルを作成する。特徴量算出部は、量子化テーブルに基づいて量子化テーブルに対する重み付けを行い、重み付けされた量子化テーブルの総和を算出してこれを特徴量とする。補正強度算出部は、この特徴量に基づいて、復号化した際に画像データに含まれるノイズ成分を除去するための補正強度を算出する。

ここでは、圧縮符号化処理を行う際に画像データから取り出される量子化テーブルに基づいて、例えば、画像をプリントすると目立ち易いブロックノイズの成分を除去するための補正強度を算出する場合には、ブロックノイズ側の成分を強調するように量子化テーブルに対する重み付けを行う。そして、重み付けされた量子化テーブルを参照して総和を算出し、これを特徴量として決定する。補正強度算出部では、この特徴量の大きさに応じて補正強度を算出を行う。

ここで、補正強度を算出するための量子化テーブルは、画像データのヘッダ情報に含まれている。また、特徴量は、例えば、この量子化テーブルにおけるブロックノイズの成分が目立つように重み付けを行った後、この重み付けされた量子化テーブルの総和を算出することで得られるものである。
従来の画像処理装置では、単に量子化テーブルの総和を特徴量として決定された補正強度によって補正処理を行うため、どの種類のノイズ成分が多く含まれているかを判定することができない。このため、量子化テーブルの総和が同じであればノイズ成分の種類に関わらず一律の補正強度によって補正処理を行っている。しかし、このような補正処理では、ノイズ成分が特定の種類に偏っている場合には、適正な補正処理を行うことができなくなるおそれがある。

本発明の画像処理装置では、画像データに含まれるノイズ成分を特定し、各ノイズ成分ごとに適正な補正強度を設定して補正処理を行う。具体的には、重み付けする前の量子化テーブルにブロックノイズの成分が多く含まれている場合には、重み付け後の量子化テーブルの総和は、モスキートノイズがブロックノイズよりも多く含まれている量子化テーブルと比較して相当大きい値となる。

これにより、例えば、ブロックノイズ、モスキートノイズのそれぞれについて量子化テーブルにおける対応部分に重み付けを行って特徴量を算出し、その特徴量（総和）を比較することで、例えば、ブロックノイズおよびモスキートノイズのうちどちらのノイズ成分が画像データにより多く含まれているかを容易に判定することができる。よって、適正な補正強度によって特定のノイズ成分を効果的に除去することが可能になる。そして、例えば、特定のノイズ成分を除去する必要がないような画像データでは、量子化テーブルの総和が小さくなるため、補正強度を弱めるか、補正しないように補正処理を行うことで、補正処理によって逆に画質を低下させてしまうといった不具合の発生を防止して、常に適正な補正処理を行うことが可能になる。

第２の発明に係る画像処理装置は、第１の発明に係る画像処理装置であって、補正強度算出部は、特徴量が所定の閾値未満である場合には、補正強度を弱めるように調整する。
ここでは、特徴量と所定の閾値との比較結果に基づいて補正強度の調整を行う。具体的には、特徴量が所定の閾値よりも小さい場合には、重み付けされたブロックノイズ等のノイズ成分があまり多く含まれていないと判定し、補正強度を弱くして補正処理（ノイズの除去）を行う。

これにより、量子化テーブルに対して重み付けして算出される特徴量の大きさに応じて補正強度を適正な値に調整することで、ブロックノイズの量が少ない画像データに対して不必要な補正が行われて画質を低下させることを防止することができる。

第３の発明に係る画像処理装置は、第１または第２の発明に係る画像処理装置であって、補正強度算出部は、特徴量が所定の閾値以上である場合には、補正強度を強めるように調整する。
ここでは、特徴量と所定の閾値との比較結果に基づいて補正強度の調整を行う。具体的には、特徴量が所定の閾値以上である場合には、ブロックノイズ等のノイズ成分が多く含まれていると判定し、補正強度を強くして補正処理（ノイズの除去）を行う。
これにより、ブロックノイズ等特定のノイズ成分の量が多い画像データに対して適正な補正強度を設定し、所定のノイズの成分を効果的に除去することが可能になる。

第４の発明に係る画像処理装置は、第１から第３の発明のいずれか１つに係る画像処理装置であって、量子化テーブル作成部は、画像データのヘッダ部分から量子化テーブルを抽出する。
ここでは、画像データに含まれるヘッダ情報の中から、量子化テーブルを抽出する。
これにより、量子化テーブルを画像データに含まれる情報の中から容易に抽出することができる。

第５の発明に係る画像処理装置は、第１から第４の発明のいずれか１つに係る画像処理装置であって、特徴量算出部は、ノイズ成分に含まれるブロックノイズ側に相当する量子化テーブルの部分に重み付けを行う。
ここでは、画像をプリントした際に目立ち易いブロックノイズを優先的に除去するために、量子テーブルにおけるブロックノイズ側に相当する部分の重み付けを行う。

これにより、重み付けされた後に量子テーブルの総和として算出される特徴量は、ブロックノイズ成分を多く含んでいる場合には重み付けする前の総和と比較して数値が大幅に大きくなる。このため、この特徴量について所定の閾値よりも大きいか小さいかによってブロックノイズ成分が多く含まれているか否かを容易に判定することができる。よって、特徴量が所定の閾値を超える場合には、ブロックノイズ成分を除去するための補正強度を強くすることで、ブロックノイズ成分を効果的に除去することができる。

第６の発明に係る画像処理装置は、第１から第５の発明のいずれか１つに係る画像処理装置であって、特徴量算出部は、ノイズ成分に含まれるモスキートノイズ側に相当する量子化テーブルの部分に重み付けを行う。
ここでは、モスキートノイズを優先的に除去するために、量子テーブルにおけるモスキートノイズ側に相当する部分の重み付けを行う。

これにより、重み付けされた後に量子テーブルの総和として算出される特徴量は、モスキートノイズ成分を多く含んでいる場合には重み付けする前の総和と比較して数値が大幅に大きくなる。このため、この特徴量について所定の閾値よりも大きいか小さいかによってモスキートノイズ成分が多く含まれているか否かを容易に判定することができる。よって、特徴量が所定の閾値を超える場合には、モスキートノイズ成分を除去するための補正強度を強くすることで、モスキートノイズの成分を効果的に除去することができる。
また、上述したブロックノイズの成分に対する重み付け、除去とモスキートノイズの成分に対する重み付け、除去とをそれぞれ行うことで、よりノイズ成分が少ない画像を得ることができる。

第７の発明に係る画像処理プログラムは、画像データをブロック単位で圧縮符号化した後、これを復号化した際に画像データに含まれるノイズ成分を除去する画像処理プログラムであって、第１から第４のステップを備えている画像処理方法をコンピュータに実行させる。第１のステップでは、圧縮符号化の処理を行う際に画像データに基づいて量子化テーブルを抽出する。第２のステップでは、第２のステップでは、量子化テーブルに基づいて量子化テーブルに対する重み付けを行う。第３のステップでは、重み付けされた量子化テーブルの総和を算出してこれを特徴量とする。第４のステップでは、復号化した際に画像データに含まれるノイズ成分を除去するための補正強度を、特徴量に基づいて算出する。

ここでは、圧縮符号化処理を行う際に画像データから取り出される量子化テーブルに基づいて、例えば、画像をプリントすると目立ち易いブロックノイズの成分を除去するための補正強度を算出する場合には、ブロックノイズ側の成分を強調するように量子化テーブルに対する重み付けを行う。そして、重み付けされた量子化テーブルを参照して総和を算出し、これを特徴量として決定する。補正強度算出部では、この特徴量の大きさに応じて補正強度を算出を行う。

ここで、補正強度を算出するための量子化テーブルは、画像データのヘッダ情報に含まれている。また、特徴量は、例えば、この量子化テーブルにおけるブロックノイズの成分が目立つように重み付けを行った後、この重み付けされた量子化テーブルの総和を算出することで得られるものである。
従来の画像処理プログラムでは、単に量子化テーブルの総和を特徴量として決定された補正強度によって補正処理を行うため、どの種類のノイズ成分が多く含まれているかを判定することができない。このため、量子化テーブルの総和が同じであればノイズ成分の種類に関わらず一律の補正強度によって補正処理を行っている。しかし、このような補正処理では、ノイズ成分が特定の種類に偏っている場合には、適正な補正処理を行うことができなくなるおそれがある。

本発明の画像処理プログラムでは、画像データに含まれるノイズ成分を特定し、各ノイズ成分ごとに適正な補正強度を設定して補正処理を行う。具体的には、重み付けする前の量子化テーブルにブロックノイズの成分が多く含まれている場合には、重み付け後の量子化テーブルの総和は、モスキートノイズがブロックノイズよりも多く含まれている量子化テーブルと比較して相当大きい値となる。

これにより、例えば、ブロックノイズ、モスキートノイズのそれぞれについて量子化テーブルにおける対応部分に重み付けを行って特徴量を算出し、その特徴量（総和）を比較することで、例えば、ブロックノイズおよびモスキートノイズのうちどちらのノイズ成分が画像データにより多く含まれているかを容易に判定することができる。よって、適正な補正強度によって特定のノイズ成分を効果的に除去することが可能になる。そして、例えば、特定のノイズ成分を除去する必要がないような画像データでは、量子化テーブルの総和が小さくなるため、補正強度を弱めるか、補正しないように補正処理を行うことで、補正処理によって逆に画質を低下させてしまうといった不具合の発生を防止して、常に適正な補正処理を行うことが可能になる。

第１の発明に係る画像処理装置によれば、補正処理によって逆に画質を低下させてしまうといった不具合の発生を防止して、常に適正な補正処理を行うことが可能になる。
第２の発明に係る画像処理装置によれば、ブロックノイズの量が少ない画像データに対して不必要な補正が行われて画質を低下させることを防止することができる。
第３の発明に係る画像処理装置によれば、ブロックノイズ等特定のノイズ成分の量が多い画像データに対して適正な補正強度を設定し、所定のノイズの成分を効果的に除去することが可能になる。

第４の発明に係る画像処理装置によれば、量子化テーブルを、画像データに含まれる情報の中から容易に抽出することができる。
第５の発明に係る画像処理装置によれば、ブロックノイズ成分を効果的に除去することができる。
第６の発明に係る画像処理装置によれば、モスキートノイズの成分を効果的に除去することができるとともに、ブロックノイズの成分とモスキートノイズの成分とに対する処理をそれぞれ行うことで、よりノイズ成分が少ない画像を得ることができる。

第７の発明に係る画像処理プログラムによれば、補正処理によって逆に画質を低下させてしまうといった不具合の発生を防止して、常に適正な補正処理を行うことが可能になる。

本発明の一実施形態に係る画像処理装置について、図１〜図６を用いて説明すれば以下の通りである。
［画像処理装置１０全体の構成］
本実施形態に係る画像処理装置１０は、図１に示すように、ＣＰＵ１、ＲＯＭ２、ワーキングメモリ３、フレームメモリ４、データ入出力装置５およびハードディスク６を備えており、それぞれがバス７を介して接続されている。

ＣＰＵ１は、ＲＯＭ２に記憶されたコンピュータプログラムに従って各種演算や処理を行う。また、ＣＰＵ１は、後述するＲＯＭ２等に格納された画像ノイズ除去プログラム（画像処理プログラム）を読み込んで、図６に示す機能ブロックを形成する。なお、図６の機能ブロックについては、後段にて詳述する。
ＲＯＭ２は、画像ノイズ除去プログラムを含む各種コンピュータプログラムや各種パラメータを格納する。

ワーキングメモリ３は、ＣＰＵ１が制御を行うために必要なメモリであって、例えば、バッファやレジスタ等が含まれる。
フレームメモリ４は、ＪＰＥＧ方式により圧縮符号化された静止画像を復号化して得られた画像データを記憶するためのメモリである。
データ入出力装置５に入力されたＲ，Ｇ，Ｂの３色に対応するそれぞれの画像データは、それぞれＲ成分画像データ、Ｇ成分画像データ、Ｂ成分画像データとして一旦別々のフレームメモリ４に記憶され、その上で画像ノイズ除去処理が行われる。画像ノイズ除去処理が終了すると、Ｒ，Ｇ，Ｂの３色の画像データは、データ入出力装置５から外部に出力され、あるいはハードディスク６に記憶される。

＜画像データに含まれるノイズ成分の除去処理＞
本実施形態の画像処理装置１０における画像データに含まれるノイズ成分の除去処理について、図２〜図６を用いて説明すれば以下の通りである。
すなわち、本実施形態の画像処理装置１０では、図２に示すフローチャートに従って、入力された画像データに含まれるノイズ成分の除去処理を行う。

まず、ステップＳ１において、ＲＧＢ／ＹＣＣ変換処理を行った後、ステップＳ２において、ブロックノイズ、モスキートノイズの画像ノイズ除去処理を行う。ＲＧＢ／ＹＣＣ変換処理では、下記式（１）〜式（３）に基づいて（Ｒ，Ｇ，Ｂ）画像データが（Ｙ，Ｃｒ，Ｃｂ）画像データに色変換される。
Ｙ＝(RToY[0][0]＊Ｒ＋RToY[0][1]＊Ｇ＋RToY[0][2]＊Ｂ)／10000 ・・・式（１）
Ｃｒ＝(RToY[1][0]＊Ｒ＋RToY[1][1]＊Ｇ＋RToY[1][2]＊Ｂ)／10000＋2048
・・・式（２）
Ｃｂ＝(RToY[2][0]＊Ｒ＋RToY[2][1]＊Ｇ＋RToY[2][2]＊Ｂ)／10000＋2048
・・・式（３）
（ただし、RToY[i][j］はYCrCb変換係数とする。）
なお、本実施形態では、ＹＣＣ色空間に変換してノイズ除去処理を行っている。ここで、ＪＰＥＧ方式では、図３に示すように第１圧縮処理としてＲＧＢをＹＣＣへと変換し、ＹＣＣ色空間において圧縮／拡張を行っている。このとき、ブロックノイズやモスキートノイズが発生するため、同じ色空間で画像ノイズ除去処理することで、補正処理の精度を向上させることができる。

ステップＳ２において画像ノイズ除去処理が完了すると、ステップＳ３において下記の式（４）〜式（６）に基づいてＹＣＣ／ＲＧＢ変換処理を行うことにより、（Ｙ，Ｃｒ，Ｃｂ）画像データを（Ｒ，Ｇ，Ｂ）画像データに戻して一連の処理を完了する。
Ｒ＝(YToR[0][0]＊Ｙ＋YToR[0][1]＊(Cr-2048)＋YToR[0][2]＊(Cb-2048)／10000
・・・式（４） Ｇ＝(YToR[1][0]＊Ｙ＋YToR[1][1]＊(Cr-2048)＋YToR[1][2]＊(Cb-2048)／10000
・・・式（５） Ｂ＝(YToR[2][0]＊Ｙ＋YToR[2][1]＊(Cr-2048)＋YToR[2][2]＊(Cb-2048)／10000
・・・式（６） （ただし、YToR[i][j］はYC結合係数とする。）
なお、本実施形態においては、処理を行う際におけるデータ落ちを抑制するため、８Ｂｉｔデータを１２Ｂｉｔに拡張して処理しているが、８Ｂｉｔデータのままで処理してもよい。

＜量子テーブルにおける重み付け処理＞
本実施形態の画像処理装置１０では、上述した画像データに含まれるノイズ成分を除去する過程において、ＣＰＵ１がＲＯＭ２に格納されている画像ノイズ除去プログラムを読み込んで各ハードウェアを制御することで、図６に示すような機能ブロックを形成する。このため、画像処理装置１０は、機能ブロックとして、図６に示すヘッダ解析部１１、量子化テーブル作成部１２、重み付け部１３、特徴量算出部１４および補正強度算出部１５を備えている。

ヘッダ解析部１１は、入力された画像データに含まれるヘッダ情報を解析する。
量子化テーブル作成部１２は、ヘッダ解析部１１における解析結果に基づいて、図４（ａ）に示すような量子化テーブルを抽出する。
重み付け部１３は、上記量子化テーブルにおけるブロックノイズ側に相当する部分に対して重み付けを行って、図４（ｂ）に示すような量子化テーブルを得る。

特徴量算出部１４は、この重み付けされた量子化テーブルの総和を算出し、この総和を特徴量として設定する。
補正強度算出部１５は、上記特徴量の大きさを所定の閾値と比較しながら補正強度を算出する。例えば、上記特徴量が所定の閾値よりも小さい場合には、補正強度を通常よりも弱めるように算出する一方、閾値よりも大きい場合には、補正強度を通常よりも強めるように補正強度を算出する。

そして、画像処理装置１０は、これらの機能ブロックを用いて、図５に示すフローチャートに従って、量子化テーブル（図４（ａ）参照）の抽出、量子化テーブルに対する重み付け、重み付けされた量子化テーブル（図４（ｂ）参照）特徴量の算出、および補正強度の算出を行う。
量子化テーブルは、図３に示すように、ＲＧＢ色空間をＹＣＣ色空間に変換する第１圧縮後、ＹＣＣ色空間を量子化する第２圧縮の際に用いられるテーブルであって、この量子化テーブルによって圧縮率等が設定される。また、量子化テーブルは、図４（ａ）に示すように、８×８の画素群によって形成されており、入力された画像データに含まれるヘッダ情報の中から抽出される。さらに、量子化テーブルは、図４（ａ）に示すように、縦横が縦方向の波と横方向の波とに対応しており、低周波成分が左上部に、高周波成分が右下部にそれぞれ対応するように構成されている。例えば、ブロックノイズについては、画像データから低周波成分を除去していくにつれて発生し易くなるノイズであるため、圧縮処理した画像データにブロックノイズが多く含まれる場合には、図中左上部の値が大きい量子化テーブルが抽出される。反対に、モスキートノイズについては、画像データから高周波成分を除去していくにつれて発生し易くなるノイズであるため、圧縮した画像データにモスキートノイズが多く含まれる場合には、図中右下部の値が大きい量子化テーブルが抽出される。

ここで、本実施形態の画像処理装置１０では、このような特質を有する量子化テーブル（図４（ａ）参照）に対して、画像をプリントした際に目立ち易いブロックノイズを優先的に除去することができるように、ブロックノイズに対応する左上部の部分（図４（ａ）の斜線部分）について重み付けを行い、図４（ｂ）に示すような量子化テーブルを作成する。

具体的には、図５のフローチャートに示すように、画像処理装置１０では、ステップＳ１１において画像データが入力されると、ステップＳ１２において、ヘッダ解析部１１がこのＪＰＥＧ画像データに含まれるヘッダ情報の解析を行う。そして、ヘッダ情報を解析した結果、ステップＳ１３において、量子化テーブル作成部１２がヘッダ情報に基づいて量子化テーブル（図４（ａ）参照）を抽出する。

次に、ステップＳ１４において、特徴量算出部１４が、図４（ａ）に示す量子化テーブルにおけるブロックノイズに対応する部分（図４（ａ）の斜線部分）に重み付けを行って、図４（ｂ）に示す量子化テーブルを得る。このような重み付けは、上述したように、画像をプリントした際に目立ち易いブロックノイズを優先的に除去することを目的として、画像データにブロックノイズが含まれているか否かを容易に判別するために行う処理である。このため、モスキートノイズを優先的に除去することを目的とする場合には、量子化テーブルにおけるモスキートノイズ側に重み付けを行って特徴量を算出すればよい。特徴量算出部１４は、さらにステップＳ１４においては、図４（ｂ）の重み付け後の量子化テーブルについて、その総和を算出してこれを特徴量として設定する。

ステップＳ１５では、ステップＳ１４において算出された特徴量について、所定の閾値以上の値であるか否かを判定する。ここで、特徴量が所定の閾値以上である場合には、重み付けする前の量子化テーブルにブロックノイズの成分が多く含まれていたことを意味するため、ステップＳ１６において、補正強度算出部１５が補正強度Ｘを通常よりも強めた値になるように調整して算出し、この値を正式な補正強度として設定する。これにより、ブロックノイズの成分が多く含まれている画像データに対しては、通常よりも強めた強度によってブロックノイズの成分を効果的に除去することができる。

一方、特徴量が所定の閾値未満である場合には、重み付けする前の量子化テーブルにブロックノイズの成分がそれほど多く含まれていないことを意味するため、ステップＳ１８において、補正強度算出部１５が補正強度Ｘを通常よりも弱めた値になるように調整し、この値を正式な補正強度として設定する。なお、ステップＳ１８における補正強度Ｘを弱める処理については、単に補正強度を弱くするだけでなく、補正を行わない（つまり、補正強度０にする）場合も含むものとする。これにより、ブロックノイズの成分が補正の必要がない程度の量しか含まれていない場合に、通常の補正強度で補正した結果、かえって画質を悪化させることを回避できる。

ステップＳ１７では、ステップＳ１６あるいはステップＳ１８において補正強度算出部１５によって調整された補正強度に基づいて、ＪＰＥＧ画像データに含まれるノイズ成分（ブロックノイズの成分）の除去を行う。
本実施形態の画像処理装置１０では、以上のように、除去対象となるブロックノイズ側に相当する量子化テーブルの部分（図４（ａ）の斜線部分参照）に重み付けし、重み付け後の量子化テーブル（図４（ｂ）参照）の総和をとってこれを特徴量する。そして、この特徴量の大きさに基づいて補正強度Ｘの調整を行う。

ここで、ブロックノイズの成分が多く含まれている場合には、重み付けによって特徴量の値が大幅に大きくなる。このため、この特徴量が所定の閾値よりも大きいか否かを判定することで、画像データに含まれるノイズ成分の種類を認識して、所望のノイズ成分を効果的に除去することができる。
［本画像処理装置１０の特徴］
（１）
本実施形態の画像処理装置１０は、ＪＰＥＧ圧縮処理された際に画像データに含まれるノイズ成分を除去する装置であって、図６に示すように、機能ブロックとして、量子化テーブル作成部１２、補正強度算出部１３、特徴量算出部１４および補正強度算出部１５を備えている。量子化テーブル作成部１２は、画像データに含まれるヘッダ情報に基づいて圧縮処理に用いられる量子化テーブル（図４（ａ）参照）を抽出する。特徴量算出部１４は、量子化テーブル（図４（ａ）参照）に対して所望のノイズ成分に相当する部分の重み付けを行い、重み付け後の量子化テーブル（図４（ｂ）参照）の総和を特徴量として算出する。補正強度算出部１５は、この特徴量の大きさに基づいて、補正強度を算出する。そして、画像処理装置１０では、調整後の補正強度を用いてノイズ成分の除去を行う。

ここで、単に量子化テーブルの総和を算出してこの総和の大きさに基づいて一律に補正強度を決定する従来の画像処理装置では、ブロックノイズの成分が多く含まれているかモスキートノイズの成分が多く含まれているかが認識できない。このため、どの種類のノイズ成分が多く含まれているかを認識できないまま補正強度を決定してノイズ除去処理を行うことで、ブロックノイズがほとんど含まれていない画像データに対して所定の補正強度でノイズ除去処理が行われた結果、処理前よりも画質を低下させてしまうおそれがある。

本実施形態の画像処理装置１０では、このような問題が生じないように、量子化テーブルの総和をとって得られる補正強度をそのまま用いるのではなく、量子化テーブルにおける所望のノイズ成分側に重み付けを行った結果、その総和として得られる特徴量を用いて所定の閾値以上であるか否かの判定を行う。
これにより、ブロックノイズ、モスキートノイズのそれぞれについて、量子化テーブルの対応部分に重み付けを行って特徴量を算出し、この特徴量に基づいて補正強度を算出することで、適正な補正強度によって特定のノイズ成分を効果的に除去することが可能になる。そして、特定のノイズ成分を除去する必要がないような画像データでは、補正処理によって逆に画質を低下させてしまうといった不具合の発生を防止して、常に適正な補正処理を行うことが可能になる。

（２）
本実施形態の画像処理装置１０では、図５に示すように、補正強度算出部１５が、特徴量が所定の閾値未満である場合には、ステップＳ１８において、補正強度を弱めるように調整する。
ここで、特徴量が所定の閾値未満になるということは、重み付けした側のノイズ成分が余り多く含まれていないことを意味している。

このため、特徴量が所定の閾値未満になる場合には、そのノイズ成分を除去する補正強度を弱めたり補正自体をしなかったりすることで、補正によってかえって画質を低下させるといった不具合の発生を回避することができる。
（３）
本実施形態の画像処理装置１０では、図５に示すように、補正強度算出部１５が、特徴量が所定の閾値以上である場合には、ステップＳ１６において、補正強度を強めるように調整する。

ここで、特徴量が所定の閾値以上になるということは、重み付けした側のノイズ成分が多く含まれていたことを意味する。
これにより、特徴量が所定の閾値以上になる場合には、そのノイズ成分を除去するための補正強度を強くすることで、適正な補正を行って効果的に所望のノイズ成分を除去することができる。

（４）
本実施形態の画像処理装置１０では、量子化テーブル作成部１２が、入力された画像データのヘッダ情報から量子化テーブルを抽出する。
これにより、画像データに関する各種情報（圧縮比、リサイズ比等）を含むヘッダ情報から量子化テーブルを抽出することで、容易に量子化テーブルを作成することができる。

（５）
本実施形態の画像処理装置１０では、特徴量算出部１４が、量子化テーブルにおけるブロックノイズに相当する側の部分（図４（ａ）の斜線部分参照）に対して重み付けを行う。
これにより、画像データに基づいて写真プリントした際にモスキートノイズよりも目立ち易いブロックノイズが多く含まれているかを認識した上で適正な補正強度を設定してノイズ除去処理を行うことができる。この結果、ブロックノイズ成分を効果的に除去して、良好な画質の画像を得ることができる。

［他の実施形態］
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。
（Ａ）
上記実施形態では、量子化テーブルについての重み付け処理を、ブロックノイズの成分に相当する側の部分に対して行って補正強度の調整を行う例を挙げて説明した。しかし、本発明はこれに限定されるものではない。

例えば、モスキートノイズを多く含む画像データの場合には、モスキートノイズの成分を目立たせるように、モスキートノイズの成分に相当する部分に対して重み付けを行って補正強度の調整を行うこともできる。
具体的には、図７に示すフローチャートに従って処理が行われる。
すなわち、ステップＳ１１からステップＳ１４までの処理については、上記実施形態で説明した図５のフローチャートと同様である。ステップＳ１３において量子化テーブルを作成すると、ステップＳ１４における特徴量の算出と平行して、ステップＳ２１において画像の入出力サイズを比較してリサイズの比率を求める。そして、ステップＳ２２において、その比率に基づいて補正強度を自動的に調整する。次に、ステップＳ２３において、ステップＳ１５において算出された特徴量が所定の閾値以上であるか否かを判定する。ここで、特徴量が所定の閾値以上である場合には、重み付けする前の量子化テーブルにモスキートノイズの成分が多く含まれていたことを意味するため、ステップＳ２５において、補正強度Ｘをαだけ強めた値Ｘ（＝Ｘ+α）になるように調整し、この値を正式な補正強度として設定する。一方、特徴量が所定の閾値未満である場合には、重み付けする前の量子化テーブルにモスキートノイズの成分がそれほど多く含まれていないことを意味するため、ステップＳ２４において、補正強度Ｘをそのまま正式な補正強度として設定する。ステップＳ２６では、ステップＳ２４あるいはステップＳ２５において設定された補正強度Ｘに基づいて、ＪＰＥＧ画像データに含まれるノイズ成分（モスキートノイズの成分）の除去を行う。これにより、モスキートノイズを優先的に除去するノイズ成分とする場合でも、重み付けによって所望のノイズ成分を目立たせることで、除去対象となるノイズ成分を効果的に除去することが可能になる。

ただし、圧縮処理されたＪＰＥＧの画像データに含まれるノイズ成分としては、モスキートノイズ等の他のノイズ成分よりもブロックノイズの方が目立ち易いという特性があることから、上記実施形態のようにブロックノイズの成分に相当する量子化テーブルの部分に対して重み付けして補正強度の調整を行うことがより好ましい。
（Ｂ）
上記実施形態では、本発明に係るノイズ成分の除去処理を画像処理装置によって実行させる例を挙げて説明した。しかし、本発明はこれに限定されるものではない。

例えば、画像処理装置に含まれる各種のハードウェアを制御して上記ノイズ成分の除去処理をコンピュータに実行させる画像処理プログラムとして本発明を実現することも可能である。
（Ｃ）
上記実施形態では、圧縮画像を復号化する際にＲＧＢ変換処理を含んでいるため、図２のフローチャートに示すように、ステップＳ１においてＲＧＢ／ＹＣＣ変換処理を行う例を挙げて説明した。しかし、本発明はこれに限定されるものではない。

例えば、元々ＹＣＣ情報を含むＪＰＥＧ画像が入力された場合には、ＲＧＢ／ＹＣＣ変換処理およびこれに伴うＹＣＣ／ＲＧＢ変換処理を行うことなく、ノイズ除去処理を行うことができる。
（Ｄ）
上記実施形態では、画像データに含まれるノイズの除去処理をコンピュータ上で行う例を挙げて説明した。しかし、本発明はこれに限定されるものではない。

例えば、ノイズの除去処理を行う画像処理装置を復号化装置に搭載し、例えば、逆直交変換後等のように復号化処理の流れの中でノイズ除去処理を行うようにしてもよい。

本発明の画像処理装置は、各画像データごとにブロックノイズやモスキートノイズ等のノイズ成分に対する補正処理の必要性を適切に判定し、各画像データに適した補正処理を行うことができるという効果を奏することから、画像データに対してノイズの除去処理を行う画像処理装置、画像形成装置等に対して広く適用可能である。

本発明の一実施形態に係る画像処理装置の構成を示すブロック図。 図１の画像処理装置におけるノイズ除去処理の流れを示すフローチャート。 ＪＰＥＧ圧縮処理の流れを示す説明図。 （ａ）は、図３の処理で用いられる量子化テーブルの一例を示す図。（ｂ）は、（ａ）の量子化テーブルに対して重み付けされた後の量子化テーブルを示す図。 図２のノイズ除去処理に含まれる量子化テーブルを用いた処理の流れを示すフローチャート。 図１の画像処理装置において形成される機能ブロックを示すブロック図。 本発明の他の実施形態に係る画像処理装置におけるノイズ除去処理の流れを示すフローチャート。

符号の説明

１ ＣＰＵ
２ ＲＯＭ
３ ワーキングメモリ
４ フレームメモリ
５ データ入出力装置
６ ハードディスク
７ バス
１０ 画像処理装置
１１ ヘッダ解析部
１２ 量子化テーブル作成部
１３ 重み付け部
１４ 特徴量算出部
１５ 補正強度算出部
Ｓ ステップ

Claims (7)

1. 画像データをブロック単位で圧縮符号化し、これを復号化した際に前記画像データに含まれるノイズ成分を除去する画像処理装置であって、
   前記圧縮符号化の処理を行う際に前記画像データに基づいて量子化テーブルを抽出する量子化テーブル作成部と、
   前記量子化テーブルに基づいて前記量子化テーブルに対する重み付けを行い、重み付けされた前記量子化テーブルの総和を算出してこれを特徴量とする特徴量算出部と、
   前記特徴量に基づいて、前記復号化した際に前記画像データに含まれるノイズ成分を除去するための補正強度を算出する補正強度算出部と、
   を備えた画像処理装置。
2. 前記補正強度算出部は、前記特徴量が所定の閾値未満である場合には、前記補正強度を弱めるように調整する、
   請求項１に記載の画像処理装置。
3. 前記補正強度算出部は、前記特徴量が所定の閾値以上である場合には、前記補正強度を強めるように調整する、
   請求項１または２に記載の画像処理装置。
4. 前記量子化テーブル作成部は、前記画像データのヘッダ部分から前記量子化テーブルを抽出する、
   請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記特徴量算出部は、前記ノイズ成分に含まれるブロックノイズ側に相当する前記量子化テーブルの部分に重み付けを行う、
   請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記特徴量算出部は、前記ノイズ成分に含まれるモスキートノイズ側に相当する前記量子化テーブルの部分に重み付けを行う、
   請求項１から５のいずれか１項に記載の画像処理装置。
7. 画像データをブロック単位で圧縮符号化し、これを復号化した際に前記画像データに含まれるノイズ成分を除去する画像処理プログラムであって、
   前記圧縮符号化の処理を行う際に前記画像データに基づいて量子化テーブルを抽出する第１のステップと、
   前記量子化テーブルに基づいて前記量子化テーブルに対する重み付けを行う第２のステップと、
   前記重み付けされた前記量子化テーブルの総和を算出してこれを特徴量とする第３のステップと、
   前記特徴量に基づいて、前記復号化した際に前記画像データに含まれるノイズ成分を除去するための補正強度を算出する第４のステップと、
   を備えた画像処理方法をコンピュータに実行させる画像処理プログラム。

Images