JP2008052446A - 画像処理装置及びその制御方法 - Google Patents

Abstract

【課題】 孤立点度合いの高い画素の存在による画像のざらつき感を抑制したアンシャープマスク処理を行なう。
【解決手段】 アンシャープマスク処理を行なうとき、先ず、注目画素が、それを囲む複数の画素の最大値又は最小値であるか否か、すなわち、注目画素が孤立しているか否かを判定する（Ｓ９０１）。非孤立画素であると判定した場合には、設定されたシャープネス強調係数に従ってアンシャープマスク処理を行なう。また、注目画素が孤立していると判定した場合、その孤立度に従って、設定されたシャープネス強調係数を補正する（Ｓ９０５）。
【選択図】 図９

Description

本発明は画像のシャープネスを高める技術に関するものである。

デジタルスチルカメラなどの撮像装置は、被写体光学像を光電変換するＣＭＯＳ、ＣＣＤ等の撮像素子と、この撮像素子からの電気信号をデジタルデータに変換するＡ／Ｄコンバータを備える。そして、デジタルカメラは、Ａ／Ｄコンバータで得られたデジタルデータを画像データとして生成し、各種処理を行なってメモリに保存している。

また、デジタルカメラ内部、或いは、パーソナルコンピュータ等の情報処理装置で実行するソフトウェアにより、ガンマ補正処理、輝度値補正、シャープネス処理、ノイズ除去処理などを行うことも行われている。

ここで、上記のシャープネス処理は、画像の輪郭部分を強調し、その画像のエッジの先鋭化を図る為に行われる。シャープネス処理の代表的なものとして、アンシャープマスキング(以下、ＵＳＭ)が知られている。これは、シャープネス処理に際し、注目画素の信号(以下、オリジナル信号Ｓｏ)、及び、当該注目画素の近傍領域(注目画素を含んでも良い)の平均化された信号(以下、平滑化信号Ｓｕ)を取り出す。そして、両者の差信号（Ｓｏ−Ｓｕ）をもって輪郭強調の基礎信号とする。そして、通常は輪郭強調の強さを適度なものにすべく、オリジナル信号Ｓｏの値に応じて輪郭信号に適当な適用量ｋを乗ずる形で増幅した輪郭強調信号を算出する。すなわち、輪郭強調信号をｋ×（Ｓｏ−Ｓｕ）として算出する。さらに、当該輪郭強調信号のレベルに応じて、輪郭強調信号を修正したエッジ補正信号を算出する。そして、このエッジ補正信号をオリジナル信号Soに加算する。これにより、当該注目画素の輪郭強調済み信号とすることにより、先鋭度を増している。

一般に、デジタルスチルカメラなどにより撮影された画像中には、ノイズも含まれている。このノイズに上記ＵＳＭ処理を施すとそのノイズの部分がさらに強調されることになる。そこで、ＵＳＭ処理では、一般にノイズの多いハイライト部(信号レベルの高い部分)やシャドウ部(信号レベルの低い部分)での適用量ｋを小さくして、ノイズの強調を抑制するようにしている。このように、オリジナル信号Ｓｏのレベルに応じて、適用量ｋを変更し、輪郭強調の強度を簡易なハードウェアで実現する方法が特許文献１に開示されている。

また、デジタルスチルカメラで撮影した画像では、ＣＣＤによるノイズが画像上にざらつきのように現れることがある。このような画像にＵＳＭ処理を施すと、このざらつきをも強調してしまうことになる。このざらつきは、一般に変動レベルの小さい、すなわち周辺画素の信号レベルから大きく乖離していないノイズである。このようなざらつきを抑制すべく、ＵＳＭにおいては、輪郭強調信号のレベルが小さいときは、エッジ補正済み信号も小さくする手法がとられている。例えば、特許文献２には、差信号（Ｓｏ−Ｓｕ）に応じて適用量ｋを変更する方法が開示されている。この特許文献２には、様々な種類の補正方法が例示されているが、図１は、その一部を示したものである。ただし、特許文献２では、差信号（Ｓｏ−Ｓｕ）と輪郭強調信号ｋ×（Ｓｏ−Ｓｕ）のグラフが開示されているが、図１は、差信号（Ｓｏ−Ｓｕ）と輪郭強調信号ｋ×（Ｓｏ−Ｓｕ）の関係および、差信号（Ｓｏ−Ｓｕ）と適用量ｋの関係を図示している。

図１（ｂ）のように適用量ｋを変化させると、結果的に輪郭強調信号は図１（ａ）のようになる。また、図１（ｄ）のように適用量ｋを変化させると、結果的に、輪郭強調信号は図１（ｃ）のようになる。

図１（ｂ）のような適用量ｋを用いると、図１（ａ）のように輪郭強調信号が不連続に変化する為、自然画像に適用すると擬似輪郭が生じるなどの問題が生じる。

一方、図１（ｄ）のような適用量ｋを用いると、輪郭強調信号が図１（ｃ）のように変化する為、実際の自然画像に適用した場合、図１（ａ）の輪郭強調信号よりも擬似輪郭が生じにくい。しかし、Ｄ１およびＤ２の前後で輪郭強調信号の変化の度合いが変わる為、やはり、ノイズが目立つなど、不自然な輪郭強調がなされる。つまり、適用量ｋの変化が不連続であれば、その不連続点の前後で、擬似輪郭の発生やノイズの強調により、不自然な輪郭強調となってしまう。

したがって、図２（ｂ）に示すように、適用量ｋを連続的に変化させることで、図２（ａ）に示すように、輪郭強調信号の変化を滑らかにすると、自然画像に適用したときに、より自然な輪郭強調が実現できる。

しかし、図２のような適用量の補正をかけても、差信号がＤ２〜Ｄ３の間におけるノイズが、強調されてしまうという場合が残る。特に、輝度（又は濃度）変化がなだらかな部分において、注目画素が周囲画素よりも信号値が大きい、あるいは、小さい場合に、顕著である。これは、差信号（Ｓｏ−Ｓｕ）がＤ２〜Ｄ３の間においてわずかにずれると、画像全体から見れば、小さい強調信号値であっても、適用量ｋの値が大きく変化する為、輪郭強調済み信号が周囲画素と大きく異なってしまうためである。すなわち、結果的に、周辺画素の信号レベルからの孤立点の突出具合が強調されてしまい、ざらつき感が増してしまうのである。

このような輝度（又は濃度）変化が平坦な部分におけるざらつき、つまり、変動レベルの小さい、すなわち周辺画素の信号レベルから大きく乖離していないノイズを抑制する手法が特許文献３に開示されている。この方法は、ノイズ強度とノイズ量を定義し、ノイズ強度およびノイズ量が大きい場合は、適用量ｋを小さくして輪郭強調の程度を弱める。また、逆に、ノイズ強度およびノイズ量が小さい場合は、適用量ｋを大きくし、輪郭強調の程度を強めている。しかし、この方法は、ノイズ情報を検出すべき輝度（又は濃度）値を予め決める必要がある。また、平滑化画像と原画像を混合した判定画像を作成し、その判定画像と原画像のヒストグラムの差分からノイズ強度およびノイズ量を定義している。
特開昭６３−２４１６６８号公報 特開２００３−２８１５３３号公報 特開平１０−２１０２９７号公報

特許文献３の方法を、上述の差信号（Ｓｏ−Ｓｕ）の値に応じて、適用量ｋを決定するアルゴリズムに適用すると、決定したノイズ情報を検出すべき濃度値が平坦部の輝度値（又は濃度値）と一致すれば、ざらつき感を抑制することができる。しかし、自然画像における輝度変化がなだらかな平坦部は画像毎に異なる。したがって、ノイズ情報を検出すべき濃度値を予め決定するのは、困難である。

また、何らかの手段で、各画像における平坦部の輝度値（濃度値）を検出し、ノイズ情報を検出すべき輝度値（又は濃度値）を予め決められるとする。しかしながら、その後、平滑画像と原画像を混合した判定画像の作成や、その判定画像と原画像のヒストグラムを取るなど、ノイズ強度とノイズ量を測定する為には、煩雑な計算が必要になり、処理時間が大きくなるという問題もある。

本発明は、上記のような問題を鑑み、簡易に輝度や濃度の平坦部を検出でき、かつ、その平坦部における孤立点を簡易な方法で見分けることで、ざらつき感を抑制しつつ、良好なシャープネス処理を短時間で実行する技術を提案するものである。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
画像データで表わされる画像を、アンシャープマスク処理することでシャープネスを高める画像処理装置であって、
画像データを入力する入力手段と、
シャープネス強調度を示すシャープネス強調係数を設定する設定手段と、
前記画像データの注目画素の、当該注目画素の周囲の画素群に対する孤立度を算出する孤立度算出手段と、
算出された孤立度に従い前記設定手段で設定したシャープネス強調係数を補正する補正手段と、
該補正手段による補正後のシャープネス強調係数に従って、注目画素の輪郭強調処理を行なう輪郭強調手段とを備える。

本発明によれば、孤立点度合いの高い画素の存在による画像のざらつき感を抑制したアンシャープマスク処理を行なうことが可能になる。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。

＜第１の実施形態＞
本第１の実施形態では、表示デバイスに表示された画像（Ｒ、Ｇ、Ｂ各８ビットとする）に対して、ユーザがシャープネス強度を設定し、設定された強度で表示されている画像にシャープネス処理を施す例について説明する。

図３は、第１の実施形態における画像処理システムのブロック構成図である。入力装置３０１は、ユーザからの指示や、データを入力する装置で、キーボードやマウスなどのポインティングシステムを含む。表示装置３０２は、ＧＵＩなどを表示する装置で、通常はＣＲＴや、液晶ディスプレイなどが用いられる。蓄積装置３０３は、ＯＳ（オペレーティングシステム）、画像データ、プログラムをファイルとして蓄積する装置で、通常は、ハードディスクが用いられる。

３０４は、装置全体の制御を司るＣＰＵである。ＲＯＭ３０５はブートプログラムやＢＩＯＳを記憶している。ＲＡＭ３０６はＣＰＵ３０４が実行するＯＳ、並びにその処理に必要なプログラムをロードしたり、各種作業エリアとして使用される。また、以降のフローチャートの処理に必要な制御プログラムは、蓄積装置３０３に格納されているものであり、ＯＳが起動した後、ＲＡＭ３０６にロードされ、ＣＰＵ３０４が実行するものである。ただし、このプログラムはＲＯＭ３０５に格納されていても構わない。

なお、システム構成については、上記以外にも、様々な構成要素が存在するが、本発明の主眼ではないので、その説明は省略する。

図４は、本実施形態のシャープネス処理を行う為のＵＩを示す。このＵＩは、ＣＰＵ３０４が実施形態のプログラム（アプリケーションプログラム）を実行することで、表示装置３０２に表示されるものである。メニューバー４０１には、様々なメニューアイテムが配置されており、その中には、所望とする編集対象の画像ファイル（蓄積装置３０３に格納されている）を選択するためのアイテム、及び、シャープネスアイテムが含まれる。編集対象画像ファイルが選択されると、その画像ファイルが蓄積装置３０３からＲＡＭ３０６に読込まれ、画像表示領域４０２にその画像として表示される。また、ユーザが、入力装置３０１を操作して、そのメニューからシャープネス処理のメニューを選ぶと、シャープネス強度を設定するスライダー４０３が表示される。ユーザは、画像表示領域４０２に表示された画像に対して、どの程度の強さのシャープネス処理を行うのか、スライダー４０３を操作して指定する。この結果、指定された強さでシャープネス処理を施した画像が、画像表示領域４０２に反映される。なお、本実施形態では、スライダーを利用してシャープネスの強さを指定しているが、直接、数値を入力する構成、あるいは、予め決められた数段階の中から選択するような構成であっても構わない。

図５は、本実施形態におけるＣＰＵ３０４が実行するシャープネス処理の処理手順を示すフローチャートである。

先ず、ステップＳ５０１では、ユーザが設定したシャープネス強度Ｋｓ（シャープネス強調係数）を取得する。これは、図４のスライダー４０３で指定された強度を取得すればよい。次いで、ステップＳ５０２では原画像を取得する。つまり、図４の画像表示領域４０２に表示されている画像の原画像データＩｏを取得する。ステップＳ５０３では、ステップＳ５０２で取得した画像Ｉｏを輝度値の画像データＩｙに変換する。ＲＧＢ値から輝度データＹは、次式で簡単に得られる。
Ｙ＝0.29891×R＋0.58661×G＋0.11448×B
この演算を、原画像データＩｏの全画素について行なった結果が画像データＩｙとなる。 ステップＳ５０４では、ステップＳ５０３で得られた画像データＩｙ上での注目画素Ｐｙｏを取得する。ＵＳＭのフィルタリング処理は、図６の矢印で示すようなラスタースキャン順に行なう。すなわち、画像に対してＸ方向（水平方向）を主走査方向とし、Ｙ方向（垂直方向）を副走査方向として、１画素毎にＵＳＭの処理を行う。したがって、ＵＳＭ処理開始時のステップＳ５０４では、画像左上の画素を注目画素Ｐｙｏとして取得することになる。

ステップＳ５０５では、注目画素Ｐｙｏの平滑化データ値Ｐｙｕを算出する。図７に平滑化フィルタの例を示す。図７（ａ）に示すフィルタは、フィルタ中央を注目画素とし、その周囲８画素の単純平滑化信号を出力するフィルタである。図７（ｂ）に示すフィルタは、ガウシアンフィルタであり、中央の注目画素に近いほど重みをつけたフィルタである。いずれも高周波成分を除去する性質を持っている。なお、図７（ａ）、（ｂ）のフィルタのサイズは３×３としているが、５×５、７×７など、より大きなフィルタサイズであっても本質的には変わらない。本実施形態では、説明を簡単にするため、図７（ａ）に示す３×３の８近傍単純平滑化フィルタを用いるものとして説明を続ける。

ステップＳ５０６では、ステップＳ５０５で得られた平滑化データ値Ｐｙｕを、注目画素データ値Ｐｙｏから引き、差信号（Ｐｙｏ−Ｐｙｕ）を算出する。算出された結果は、ＲＡＭ３０６に記憶する。

ステップＳ５０７では、ステップＳ５０６で取得した差信号（Ｐｙｏ−Ｐｙｕ）から、適用量ｋを取得する。本実施形態では、図８に示す関係を用いて、適用量ｋを取得する。つまり、差信号（Ｐｙｏ−Ｐｙｕ）の絶対値｜Ｐｙｏ−Ｐｙｕ｜が閾値Ｔ以上であれば、ステップＳ５０１で取得したシャープネス強度Ｋｓ、すなわち、ユーザが指定したシャープネス強度Ｋｓを適用量ｋとして取得する。また、絶対値｜Ｐｙｏ−Ｐｙｕ｜が閾値Ｔより小さい値であれば、図８のグラフにしたがって、Ｋｓより小さい値を適用量ｋとして取得する。

次にステップＳ５０８では、注目画素が孤立点かどうか判定し、適用量ｋの補正を行う。この処理の詳細は図９を用いて後述する。

ステップＳ５０９では、強調信号Ｐｏｅを次式に従って求める。
Ｐｏｅ＝ｋ×（Ｐｙｏ−Ｐｙｕ）

次に、ステップＳ５１０では、ステップＳ５０９で得られた強調信号Ｐｏｅを使って、注目画素のＲＧＢ値に反映させる。これは、強調信号Ｐｏｅを各Ｒ、Ｇ、Ｂの値に加算することで実現できる。なお、反映後の画素データはＲＡＭ３０６に格納する。
ＵＳＭ処理後のＲ値＝元画像のＲ値＋強調信号Ｐｏｅ
ＵＳＭ処理後のＧ値＝元画像のＧ値＋強調信号Ｐｏｅ
ＵＳＭ処理後のＢ値＝元画像のＢ値＋強調信号Ｐｏｅ

ステップＳ５１１では、現在の注目画素Ｐｙｏが、原画像の最終画素位置（画像の右下隅）であるかどうかを判定する。最後の画素であれば、画像の全ての画素に対してＵＳＭ処理を施したことになるので、本処理を終了する。

また、注目画素位置が最後の画素位置でなければ、まだ、ＵＳＭ処理を施すべき画素が残っているので、ステップＳ５１２に進む。このステップＳ５１２では、輝度値の画像データIｙ上において、注目画素位置をラスタースキャン順に従った次の画素位置に更新する。すなわち、図６に示す順序で次の画素をセットする。その後、処理をステップＳ５０５へ戻る。

次に、上記のステップＳ５０８の孤立点判定と適用量ｋの補正について、図９のフローチャートに従って説明する。

ステップＳ９０１では、注目画素の輝度値Ｐｙｏと、その周囲８画素Ｑ０乃至Ｑ７とを比較し、注目画素の輝度値Ｐｙｏが最大または最小の値であるか判定する。つまり、図１０の注目画素Ｐと周囲画素Ｑ０〜Ｑ７の輝度値を比較し、Ｐの輝度値がＱ０〜Ｑ７のすべての輝度値よりも１以上大きい、または１以上小さい場合に、Ｐが最大値または最小値と判断する。注目画素の輝度値Ｐｙｏが周囲の８画素より、１以上大きい値または、１以上小さい値を持っていれば、注目画素が周囲から飛び出していることを意味する。つまり、注目画素が孤立画素である可能性が高いと判断できる。その場合は、処理はステップＳ９０２へ進む。また、注目画素の輝度値Ｐｙｏが最大値または最小値でなければ、注目画素が孤立点である可能性が低い為、適用量ｋの補正は行わない。したがってこのフローを終了することになる。

さて、ステップＳ９０２に処理が進むと、孤立点の可能性が高い注目画素と、周囲８画素との輝度差の絶対値Ｄｉｆｆ（ｉ）(i = 0, 1, … 7)を算出する。図１０のＰとＱ０〜Ｑ７を用いて表すと、
Ｄｉｆｆ（ｉ）＝｜Ｐ−Ｑｉ (i=0, 1, …, 7)｜
を求める。

次いで、ステップＳ９０３では、ステップＳ９０２で算出したＤｉｆｆ（ｉ）の最大値ＭａｘＤｉｆｆと最小値ＭｉｎＤｉｆｆを算出する。つまり、一番大きい輝度の勾配と、一番小さい輝度の勾配を求める。

ステップＳ９０４では、ステップＳ９０３で算出したＭａｘＤｉｆｆとＭｉｎＤｉｆｆの差（ＭａｘＤｉｆｆ−ＭｉｎＤｉｆｆ）を、孤立点の度合を示す値として算出する。そして、図１１に示すテーブル（線形単調増加関数）に従って、適用量ｋの補正比率ｒを求める。図１１のテーブルは、輝度値が８ビット精度の場合であり、（ＭａｘＤｉｆｆ−ＭｉｎＤｉｆｆ）の取りうる最大値２５６で補正比率ｒが１．０、（ＭａｘＤｉｆｆ−ＭｉｎＤｉｆｆ）の取りうる最小値０で補正比率ｒがＲ０（０≦Ｒ０＜１．０）である。

（ＭａｘＤｉｆｆ−ＭｉｎＤｉｆｆ）が小さい場合、注目画素を中心とする８方向に対する輝度値の勾配がほぼ同じであることを示しているので、注目画素が孤立点の度合いが高いと言える。それ故、（ＭａｘＤｉｆｆ−ＭｉｎＤｉｆｆ）が小さいほど、補正比率rを小さくする。逆に、（ＭａｘＤｉｆｆ−ＭｉｎＤｉｆｆ）が大きい場合、８方向に対する輝度値の勾配に差があるので、孤立点の度合いが低いと判断し補正比率ｒを１．０に近づける。本実施形態では、補正比率ｒと、孤立点の度合いを示す（ＭａｘＤｉｆｆ−ＭｉｎＤｉｆｆ）は線形正比例関係にあるが、この関係が２次曲線や３次曲線などで書き表せる関係でも良い。

次に、ステップＳ９０５において、ステップＳ９０４で取得した補正比率ｒを、先のステップＳ５０７で適用量ｋに乗じて、新たに適用量ｋを求めて、このフローを終了する。

以上のようにして、適用量ｋを決定すると、画像全体に乗っているノイズは、図８のように差分信号値から決定される適用量ｋで抑制できる。さらに、輝度変化が少ない平坦部のノイズについては、予めノイズを検出すべき信号レベルを設定する必要がなく、図９のフローを使って、自動的に平坦部における孤立点の適用量を小さくすることができる。したがって、平坦部のざらつき感を抑制しながら、ＵＳＭ処理を行うことができる。

また、平坦部の孤立点の検出および、その孤立点の度合いも、注目画素と周囲画素の差分という、簡易な方法のみで検出できるため、高速な処理が可能である。

＜第２の実施形態＞
上記第１の実施形態では、孤立点の度合いから補正比率ｒを求めていたが、さらに、注目画素のある位置がどの程度滑らかな信号レベルの変化をしているのか、つまり平坦部の度合いを見て、さらに補正比率ｒを補正しても良い。

平坦部の度合いも考慮する補正比率ｒの決め方を、図１２を用いて説明する。なお、本第２の実施形態の構成と同じであるものとする。また、図１２では、第１の実施形態における図９と同じ処理については同符号を付した。

ステップＳ９０１乃至Ｓ９０４は、第１の実施形態と同じである。従って、その説明は割愛する。

ステップＳ１２０１では、ステップＳ９０３で算出したＭａｘＤｉｆｆから、補正比率ｒ’を求める。注目画素と周囲画素との輝度差の最大値ＭａｘＤｉｆｆが小さな値の場合、注目画素と周囲画素の信号レベルの差が小さいことを意味し、平坦部分に近い(平坦度合いが大きい)ことを意味する。逆に、ＭａｘＤｉｆｆが大きな値となれば、注目画素と周囲画素の信号レベルの差が大きく、平坦度合いが小さいことを意味する。したがって、ＭａｘＤｉｆｆが小さければ(平坦度合いが大きければ)、補正比率ｒ’を小さくし、ＭａｘＤｉｆｆが大きければ(平坦度合いが小さければ)、補正比率r’を１．０に近づける。本第２の実施形態の場合、図１３（ａ）のテーブル（又は関数）を用いてｒ’を決定する。つまり、輝度値が８ビット精度であるとすると、閾値Ｔａ≦ＭａｘＤｉｆｆ≦最大値２５６の範囲では、補正比率ｒ’＝１．０とし、ＭａｘＤｉｆｆ＜閾値Ｔａの範囲では、補正比率を徐々にＲ１(０＜R1＜1.0)に近づけていく（非線形単調増加）。

閾値Ｔａは、実験的に最適な値を決めても良いし、また、ＩＳＯ感度などノイズ量に影響を与えるパラメータを参考に画像毎に変えても良い。例えば、ＩＳＯ感度４００以下ならＴａを６４に固定とし、ＩＳＯ感度４００を超える場合は、ＩＳＯ感度に比例してＴａを２５６に近づけていくように設定すればよい。

次にステップＳ１２０２では、ステップＳ５０７で取得した適用量ｋに、ステップＳ９０４とステップＳ１２０１でそれぞれ取得した補正比率ｒ,ｒ’を乗じて、新たに適用量ｋを求め、このフローを終了する。

本第２の実施形態に従えば、孤立点が存在する平坦部の度合いを考慮し、平坦部であると判断されれば、適用量ｋを、さらに、小さく補正することができ、ＵＳＭ後の孤立点を目立たなくすることができる。これは、例えば、人物撮影画像について特に有効である。なぜなら、全体的にはＵＳＭによりエッジを強調しつつ、肌のような平坦な部分の孤立点を目立たなくすることができるからである。

＜第３の実施形態＞
上記第２の実施形態では、図１３（ａ）のテーブルに従って、平坦度合いが大きければ、適用量をより小さく補正した。しかし、平坦度合いが大きければ、注目画素の信号レベルと平滑化データの信号レベルはほとんど同じのため、差分信号（Ｐｙｏ−Ｐｙｕ）自体も小さく、図８により適用量ｋが小さくなっているはずである。したがって、平坦度合いが大きければ、適用量ｋを調整する必要がなく、逆に、平坦度合いが小さければ、アンシャープマスキングにより、周囲画素より大きい／小さい注目画素がより一層周囲画素との差が大きくなる。すなわち、必要以上にざらつき感が増してしまう可能性がある。

このような場合には、図１２のステップＳ１２０１において、図１３（ｂ）のテーブルを用いる。すなわち、平坦度合いが小さければ補正比率ｒ’を小さくすることが効果的である。補正比率ｒ’を算出するグラフが異なるだけで、第２の実施形態と同様の動作をすればよいので、詳しい説明は割愛する。

本第３の実施形態の方法を使えば、周囲画素より大きい／小さい信号レベルを持つ画素の強調信号を抑えることができる。従って、アンシャープマスキングを行いながら、平坦部の孤立点を目立たせなくするだけでなく、信号レベルの変動が大きい部分におけるノイズを、アンシャープマスキング処理により目立ってしまうことを、容易に抑えることができる。これは、例えば、海や山などの風景写真で有効である。つまり、全体的にはＵＳＭによりエッジを強調しつつ、海や山など平坦度合いがそれほど小さくない部分の孤立点を目立たせないようにしながらも質感を残すことができる。

＜第４の実施形態＞
第２、第３の実施形態では、注目画素と周囲画素の差分の最大値ＭａｘＤｉｆｆを、平坦部の度合いと見て、その平坦部の度合いに応じて適用量ｋを補正した。しかし、注目画素の突出度合いをみて、補正比率ｒを補正しても良い。

本第４の実施形態について図１４のフローチャートに従って説明する。また、第１の実施形態の孤立点判定と適用量ｋの補正フローを示した図９と同じ処理には同符号とした。

ステップＳ９０１〜Ｓ９０４は、第１の実施形態と同様の動作であるので、説明は割愛する。

ステップＳ１４０１では、ステップＳ９０３で取得したＤｉｆｆ（ｉ）の最小値ＭｉｎＤｉｆｆから、補正比率ｒ”を求める。本第４の実施形態では、図１５（ａ）の関係を用いる。ステップＳ１４０２では、ステップＳ５０７で取得した適用量ｋに、ステップＳ９０４とステップＳ１２０１でそれぞれ取得した補正比率ｒ, ｒ”を乗じて、新たに適用量ｋを求め、このフローを終了する。

注目画素と周囲画素との輝度差の最小値ＭｉｎＤｉｆｆが大きければ、注目画素はより突出していると言える。したがって、ＭｉｎＤｉｆｆを突出度合いとし、ＭｉｎＤｉｆｆが小さいと突出度合いが小さく、ＭｉｎＤｉｆｆが大きいと突出度合いが大きいと言える。したがって、図１５（ａ）のテーブル（非線形単調減少関数）のように、ＭｉｎＤｉｆｆが大きければ(突出度合いが大きければ)、補正比率ｒ”を小さくし適用量を小さくする。逆に、ＭｉｎＤｉｆｆが小さければ(突出度合いが小さければ)、補正比率ｒ”を１．０に近づけることで、適用量ｋをステップＳ９０４で取得した適用量ｋに近づける。このような補正比率ｒ”を用いることで、周囲画素より大きく突出している画素値に対しては、アンシャープマスキングを弱くかけることができ、シャープネス処理後のざらつき感を抑える効果を得られる。また、補正比率r”の算出方法も、周囲画素と注目画素の差分値から求めることができ、非常に簡易であるため、高速に動作することができる。

これは、例えば、室内など暗い場所で撮影した人物画像の場合に有効である。特に、肌など平坦な部分において、突出した孤立点のシャープネス強調を抑えることで、ざらつきを抑えることができる。

＜第５の実施形態＞
上記第４の実施形態では、突出度合いが大きければ、適用量ｋを小さくするように補正したが、逆に、突出している注目画素は、エッジの一部であるとも考えられる。また、突出度合いが小さい注目画素は、アンシャープマスキング処理を弱くすることで、より自然な画像になると考えられる。

したがって、ＭｉｎＤｉｆｆと補正比率ｒ”を図１５（ｂ）のテーブル（非線形単調増加関数）に示す関係とした方が良い場合もある。

本第４の実施形態は、図１４のステップＳ１４０１において、補正比率ｒ”を算出するテーブルが図１５（ｂ）になるだけで、それ以外が第４の実施形態と同様の動作であるので、詳しい説明を割愛する。

本第５の実施形態は、例えば、海や山などの風景写真で有効である。つまり、海や山などテクスチャの細かい画像において、突出度合いが小さい部分は強調処理を弱くし、突出度合いが大きい部分は強調することで、ノイズによる孤立点を目立たせなくしながら、質感を残すことができる。

＜その他の実施形態＞
上記第１乃至第５の実施形態を、ユーザが適宜選択するようにしても構わない。例えば、メニューのＵＳＭ処理の選択項目として、第１の実施形態によるＵＳＭ処理は「通常ＵＳＭ処理」、第２の実施形態（又は第４の実施形態）によるＵＳＭ処理は「人物画像用ＵＳＭ処理」、第３の実施形態（又は第５の実施形態）によるＵＳＭ処理は「風景画像用ＵＳＭ処理」とし、ユーザが適宜選択させる。ＵＳＭの種類の選択は、例えば、図４の強調調整スライダー４０３の空エリアに、ラジオボタン形式に表示し、ユーザに選択させるようにすればよい。

また、上記の処理を、デジタルカメラに搭載しても構わない。すなわち、撮像した際に、ＵＳＭ処理を施すか否か、ＵＳＭ処理を行なう場合にどの種類を利用するかを選択する。特に、デジタルカメラの場合、被写体として人物、風景等の複数の撮影モードを選択できるものがあるので、その設営モードに従って利用するＵＳＭ処理を決定しても良い。

また、上記第１乃至第５の実施形態では、輝度値を用いて強調信号Ｐｏｅを作成していたが、ＲＧＢそれぞれに対して強調信号Ｐｏｅ処理を求め、ＵＳＭ処理を施しても良い。その際、ＲＧＢそれぞれに対して異なる補正比率ｒ、ｒ'、ｒ”を定義しても良い。

また、上記実施形態では、編集対象の画像データは蓄積装置３０３より入力するものとして説明したが、イメージスキャナ等の画像入力装置であっても構わない。また、先に説明したように、本発明は、デジタルカメラ等の撮像装置に適用しても構わない。この場合、画像の入力源は、ＣＣＤ等の撮像素子から得られた画像データとなる。

また、第２、第３の実施形態では孤立度合いと平坦度合いから、適用量ｋの補正比率を決めていたが、シャープネス処理の前に、画像のシーン解析を行い、それぞれに応じた方法を選択してもよい。例えば、シーン解析の結果、ポートレートなど人物撮影画像であれば第２の実施形態の方法を、山や海など風景画像であれば第３の実施形態の方法を選択する。

また、第４の、第５の実施形態では、孤立度合いと突出度合いから、適用量kの補正比率を決めていたが、シャープネス処理の前に、画像のシーン解析を行い、それぞれに応じた方法を選択してもよい。例えば、シーン解析の結果、高いＩＳＯ感度による人物撮影画像であれば、第４の実施形態の方法を、風景画像であれば、第５の実施形態による方法を用いる。このためには、編集対象の画像ファイル内に、その画像を撮像する際のＩＳＯ感度を示す情報を含むことが望ましい。デジタルカメラに搭載するのであれば、撮像した際に、設定されたＩＳＯ感度を参照して処理すればよい。

また、第２、第３の実施形態では孤立度合いと平坦度合いから、第４、第５の実施形態では孤立度合いと突出度合いから、適用量ｋの補正比率を決めていた。孤立度合いと平坦度合いと突出度合いの３つを組み合わせて適用量ｋの補正比率を決めても良い。

以上本発明に係る実施形態を説明したが、上記の通り、本発明はコンピュータが読込み実行するプログラムによっても実現できるものであるから、当然、本発明はコンピュータプログラムをもその範疇とするのは明らかである。また、通常、コンピュータプログラムはＣＤ−ＲＯＭ等の、コンピュータ可読記憶媒体に格納されていて、それをコンピュータに接続された読取り装置（ＣＤ−ＲＯＭドライブ等）にセットし、システムにコピーもしくはインストールすることで実行可能となる。従って、このようなコンピュータ可読記憶媒体も本発明の範疇に入ることも明らかである。

不連続に変化する適用量kと輪郭強調信号の関係を示す図である。 連続的に変化する適用量kと輪郭強調信号の関係を示す図である。 実施形態におけるシステム構成図である。 実施形態におけるシャープネス設定のＵＩを示す図である。 実施形態におけるシャープネス処理の処理手順を示すフローチャートである。 実施形態におけるシャープネス処理のスキャン順を示す図である。 アンシャープ信号を作成するフィルタの例を示す図である。 第１の実施形態における適用量ｋのテーブルを示す図である。 第１の実施形態における孤立点判定と適用量ｋの補正処理の手順を示すフローチャートである。 孤立点判定の為の注目画素と周囲画素との関係を示す図である。 第１の実施形態における補正比率ｒと孤立度の関係のテーブルを示す図である。 第２の実施形態における孤立点判定と適用量kの補正処理の手順を示すフローチャートである。 第２、第３の実施形態における補正比率ｒ’と平坦度の関係のテーブルを示す図である。 第４の実施形態における孤立点判定と適用量ｋの補正処理の手順を示すフローチャートである。 第４、第５の実施形態における補正比率ｒ”と突出度の関係のテーブルを示す図である。

Claims (12)

1. 画像データで表わされる画像を、アンシャープマスク処理することでシャープネスを高める画像処理装置であって、
   画像データを入力する入力手段と、
   シャープネス強調度を示すシャープネス強調係数を設定する設定手段と、
   前記画像データの注目画素の、当該注目画素の周囲の画素群に対する孤立度を算出する孤立度算出手段と、
   算出された孤立度に従い前記設定手段で設定したシャープネス強調係数を補正する補正手段と、
   該補正手段による補正後のシャープネス強調係数に従って、注目画素の輪郭強調処理を行なう輪郭強調手段と
   を備えることを特徴とする画像処理装置。
2. 注目画素の画素値と、当該注目画素の周囲画素群を含むサイズの平滑化フィルタを用いて平滑化処理した後の注目画素の画素値との差分の絶対値を横軸、シャープネス度を縦軸としたとき、前記シャープネス強調係数は、予め設定された閾値未満では単調増加し、前記閾値以上では、前記設定手段で設定されたシャープネス強調係数となる特性を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記補正手段は、注目画素の値が、当該注目画素の周囲の複数の画素の中の最大値、又は最小値のいずれかと等しい場合に前記シャープネス強調係数を補正することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記孤立度算出手段は、注目画素と、当該注目画素の周囲の複数の画素それぞれとの差分を算出する差分算出手段を含み、
   前記補正手段は、前記差分演算手段で得られた複数の差分値に基づき、前記シャープネス強調係数を補正することを特徴とする請求項３に記載の画像処理装置。
5. 前記差分算出手段で算出された複数の差分値の最大値と最小値との差を横軸、前記シャープネス強調係数を補正するための補正比率ｒを縦軸としたとき、当該補正比率ｒは最大値が“１．０”となる単調増加する特性を有し、
   前記補正手段は、補正前のシャープネス強調係数ｋに、前記補正比率ｒを乗算することで補正することを特徴とする請求項４に記載の画像処理装置。
6. 前記差分算出手段で算出された差分の最大値を横軸、第２の補正比率ｒ’を縦軸としたとき、当該第２の補正比率ｒ’は、前記差分の最大値が予め設定された閾値未満までは単調増加し、前記閾値以上では“１．０”となる特性を有し、
   前記補正手段は、補正前のシャープネス強調係数ｋに、前記補正比率ｒ、第２の補正比率ｒ’を乗算することで補正することを特徴とする請求項５に記載の画像処理装置。
7. 前記差分算出手段で算出された差分の最大値を横軸、第２の補正比率ｒ’を縦軸としたとき、当該第２の補正比率ｒ’は、前記差分の最大値が予め設定された閾値未満までは“１．０”であり、前記閾値以上では単調減少する特性を有し、
   前記補正手段は、補正前のシャープネス強調係数ｋに、前記補正比率ｒ、第２の補正比率ｒ’を乗算することで補正することを特徴とする請求項５に記載の画像処理装置。
8. 前記差分算出手段で算出された差分の最小値を横軸、第２の補正比率ｒ”を縦軸としたとき、当該第２の補正比率ｒ”は、最小値の値が０のときに“１．０”の値を持ち、単調減少する特性を有し、
   前記補正手段は、補正前のシャープネス強調係数ｋに、前記補正比率ｒ、第２の補正比率ｒ”を乗算することで補正することを特徴とする請求項５に記載の画像処理装置。
9. 前記差分算出手段で算出された差分の最小値を横軸、第２の補正比率ｒ”を縦軸としたとき、当該第２の補正比率ｒ”は、最大“１．０”となる単調増加する特性を有し、
   前記補正手段は、補正前のシャープネス強調係数ｋに、前記補正比率ｒ、第２の補正比率ｒ”を乗算することで補正することを特徴とする請求項５に記載の画像処理装置。
10. 画像データで表わされる画像を、アンシャープマスク処理することでシャープネスを高める画像処理装置の制御方法であって、
    画像データを入力する入力工程と、
    シャープネス強調度を示すシャープネス強調係数を設定する設定工程と、
    前記画像データの注目画素の、当該注目画素の周囲の画素群に対する孤立度を算出する孤立度算出工程と、
    算出された孤立度に従い前記設定手段で設定したシャープネス強調係数を補正する補正工程と、
    該補正工程による補正後のシャープネス強調係数に従って、注目画素の輪郭強調処理を行なう輪郭強調工程と
    を備えることを特徴とする画像処理装置の制御方法。
11. コンピュータに読込ませ、実行させることで、請求項１乃至９のいずれか１項に記載の画像処理装置として機能させることを特徴とするコンピュータプログラム。
12. 請求項１１に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。

Images