JP2010010974A - 写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置 - Google Patents

Abstract

【課題】デジタルカメラで撮影された写真画像データに対して、輪郭がぼけることの無い状態で、粒状のノイズを効果的に抑制できる簡便且つ高速に処理可能な写真画像処理の方法、プログラム、及び装置を提供する。
【解決手段】写真画像データから輝度成分画像データを抽出する輝度成分画像抽出ステップと、輝度成分画像データを、第一のフィルタサイズで移動平均処理して第一平滑化画像データを算出する第一平滑化処理ステップと、第一のフィルタサイズより小さなフィルタサイズで移動平均処理して第二平滑化画像データを算出する第二平滑化処理ステップと、第一平滑化画像データと第二平滑化画像データとを差分演算して第一差分画像データを求める第一差分画像データ生成ステップと、第一差分画像データの各画素値に基づいて輝度成分画像データを補正する補正処理ステップと、を含む写真画像処理方法。
【選択図】図４

Description

本発明は、写真画像データに含まれる粒状のノイズを抑制する写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置に関する。

デジタルカメラで撮影された画像を観察すると、画像に細かな粒状のノイズが重畳されていることが観察される。特に画像の暗部でざらつくようなノイズが目立ち、暗所でストロボ発光無しで撮影された画像には同様のノイズが画像全体に現れる。

これらのノイズは、撮像素子のリセットノイズや暗電流ノイズ等、素子の特性等に起因して発生するもので、撮影環境が悪い、つまり被写体の照度が低いほどノイズ成分が勝り、さらにゲイン調整によって明るさを補正する場合にノイズが強調されるようになる。

ところで、光学カメラによって撮影されたフィルム画像に含まれる色素雲の大きさに基づいた粒状ムラを抑制する技術として、フィルムスキャナを介してデジタル画像に変換した写真画像データに、解像度に基づいた所定のフィルタサイズのメジアンフィルタやガウシアンフィルタによるフィルタ処理、つまり、ある画素についてその周囲の画素から求めた所定の平均値に置換する処理を画像全体に施すような処理があるが、画像の輪郭部分にメリハリを与える鮮鋭化処理の後にこのようなぼかし処理を行なうと、輪郭までぼやけてしまうので鮮鋭化した意味が無くなり、上述のぼかし処理を行った後に鮮鋭化処理する場合には画像中の細かい構造（ディテール）が消失するといった不都合がある。

そこで、写真画像データを所定画素数でブロック分割して、各領域の平均値と分散値を求め、分散値が小さい平坦な画像領域では強い平滑化処理を施し、分散値が大きい輪郭を含む画像領域では弱い平滑化処理を施すことが考えられるが、この方法によれば、輪郭を含む画像領域がブロック内に存在すると、一律に弱い平滑化処理が実行されるため、輪郭を中心とする所定幅の帯状の領域でノイズ抑制効果が低減されることになり、あまり好ましい結果が得られなかった。

特許文献１には、フィルムスキャナを介してデジタル画像に変換した写真画像データに加重平均フィルタ処理を行なう画像処理方法として、写真画像データを構成するＲＧＢ画素成分毎に、注目画素を順次設定するステップと、注目画素を中心とした加重平均フィルタリング処理のための演算領域内に位置する各周辺画素と注目画素との間の画素値の差分値を算定するステップと、差分値に応じて加重平均フィルタリング処理に用いられる重み係数を決定するステップと、重み係数を用いて加重平均フィルタリング処理を実行して注目画素の補正画素値を求めるステップを備えた方法が提案されている。

この方法によれば、注目画素が平坦領域に位置する場合と輪郭領域に位置する場合とでは、注目画素とその周辺画素の画素値に所定の関係があることから、特定の差分値に対して強い影響力を与えるような重み係数を設定することで、平坦領域はもとより輪郭及びその付近においても十分に粒状ノイズを抑制できるとともに写真がもつ細かいディテールと質感が維持される粒状ノイズ抑制が実現可能となる。
特開２００６−３０２０２３号公報

しかし、デジタルカメラで撮影された写真画像データは、通常、ＪＰＥＧ画像に圧縮される際に、輝度データに対して色差データが１／２または１／４に低減された後に直交変換されるため、輝度データと比べて色差データのデータ量が減少していることと相俟って、色ノイズが輝度ノイズより大きく現れやすく、上述した特許文献１に記載された色成分毎に加重平均フィルタ処理する方法では、輝度ノイズと色ノイズの双方を適切に抑制することが困難であるという問題があった。

本発明は、上述の従来欠点に鑑み、デジタルカメラで撮影された写真画像データに対して、輪郭がぼけることの無い状態で、粒状のノイズを効果的に抑制できる簡便且つ高速に処理可能な写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置を提供する点にある。

上述の目的を達成するため、本発明による写真画像処理方法の第一の特徴構成は、特許請求の範囲の書類の請求項１に記載した通り、写真画像データに含まれる粒状のノイズを抑制する写真画像処理方法であって、前記写真画像データから輝度成分画像データを抽出する輝度成分画像抽出ステップと、前記輝度成分画像データを、第一のフィルタサイズで移動平均処理して第一平滑化画像データを算出する第一平滑化処理ステップと、前記輝度成分画像データを、前記第一のフィルタサイズより小さなフィルタサイズで移動平均処理して第二平滑化画像データを算出する第二平滑化処理ステップと、前記第一平滑化画像データと前記第二平滑化画像データとを差分演算して第一差分画像データを求める第一差分画像データ生成ステップと、前記第一差分画像データの各画素値に基づいて前記輝度成分画像データを補正する補正処理ステップと、を含む点にある。

第一平滑化画像データ及び第二平滑化画像データは、ともに輝度成分画像データに含まれていた粒状の輝度ノイズが抑制された画像データとなる。フィルタサイズの大きな移動平均フィルタにより平滑化された第一平滑化画像データは平滑化の程度が高く、輝度成分画像データに含まれていた粒状のノイズが大きく抑制された画像データとなり、被写体の輪郭情報もある程度不明瞭になる。フィルタサイズの小さな移動平均フィルタにより平滑化された第二平滑化画像データは、比較的荒い粒状のノイズが残るが、被写体の輪郭情報はある程度鮮明に保存されている。従って、第一差分画像データ生成ステップで、第一平滑化画像データと第二平滑化画像データの差分演算により求められた第一差分画像データには、被写体の平坦部の輝度データが相殺され、主に輪郭部の輝度情報のみが含まれた画像データとなる。補正処理ステップでは、第一差分画像データ生成ステップで得られた輪郭情報に基づいて輝度成分画像データに含まれる輪郭領域と、それ以外の平坦領域を区分して、平坦領域での粒状のノイズを適正に抑制処理することができるようになる。そのため、例えば、その後に鮮鋭化処理を行なう場合であっても、粒状のノイズによるざらつきが発生することが効果的に抑制されるようになる。

また、前記第一または第二平滑化画像データと前記輝度成分画像データとを差分演算して第二差分画像データを求める第二差分画像データ生成ステップをさらに備え、前記補正処理ステップは、前記第一差分画像データの各画素値の絶対値に対応付けた重み係数で、前記輝度成分画像データと前記第二差分画像データを画素毎に融合処理して輝度ノイズ抑制画像データを生成するように構成することが好ましい。

粒状の輝度ノイズは、ほぼ一画素単位で発生している細かいノイズであるため、第二差分画像データには、細かいノイズ成分の情報と輪郭線の情報が現れる。特に、フィルタサイズの小さな移動平均フィルタにより平滑化された第二平滑化画像データとの差分画像データでは、シャープな輪郭線が得られる。そこで、補正処理ステップでは、第一差分画像データの各画素値の絶対値に対応付けた重み係数、つまり、輪郭線領域とその他の領域で異なる重み係数により、輝度成分画像データと第二差分画像データを画素毎に融合処理すれば、輝度成分画像データの輪郭線領域と平坦領域に対する第二差分画像データの融合の程度を異ならせることができ、平坦領域で粒状の輝度ノイズを効果的に抑制した輝度ノイズ抑制画像データを生成することができる。このとき、融合処理では、重み係数に基づいて、輝度成分画像データの粒状のノイズ成分が第二差分画像データの粒状のノイズ成分で打ち消されるようになるのである。

前記輝度成分画像抽出ステップは、前記写真画像データを構成する各画素のＲＧＢ成分の夫々をＹＣｂＣｒ成分に変換するＲＧＢ‐ＹＣｂＣｒ変換処理ステップを含み、前記ＲＧＢ‐ＹＣｂＣｒ変換処理ステップで変換された輝度成分を前記輝度成分画像データとして抽出するものであり、前記ＲＧＢ‐ＹＣｂＣｒ変換処理ステップで得られた色差成分画像データの夫々を、所定のフィルタサイズの加重平均フィルタでフィルタ処理して色ノイズ抑制画像データを生成する色ノイズ抑制処理ステップと、前記輝度ノイズ抑制画像データと前記色ノイズ抑制画像データから得られる各画素のＹＣｂＣｒ成分の夫々をＲＧＢ成分に逆変換するＹＣｂＣｒ‐ＲＧＢ逆変換処理ステップをさらに含むことが好ましい。

これにより、色ノイズをも適正に抑制することができるようになる。このような加重平均フィルタとしてガウシアンフィルタやバイラテラルフィルタを好適に用いることができる。

さらに、前記加重平均フィルタは、フィルタサイズ内の中心画素と周辺画素の差分が、零または画像の輪郭部か否かを判断する所定の閾値近傍で大きなフィルタ係数となり、前記閾値からずれるほどに小さなフィルタ係数となるように、対象画像に応じて動的に決定されるフィルタであることが好ましい。

本願発明者は、注目画素とその周辺画素の画素値の差分に基づいて輪郭に近い領域であるか離れた領域であるかを見出すことができることを知見している。つまり、フィルタサイズ内の中心画素と周辺画素の差分が、零または画像の輪郭部か否かを判断する所定の閾値近傍で大きなフィルタ係数に設定し、閾値からずれるほどに小さなフィルタ係数となるように設定することにより、平坦領域はもとより輪郭及びその付近においても十分に粒状のノイズを抑制できるようになるのである。

本発明による写真画像処理プログラムの特徴構成は、同請求項５に記載した通り、写真画像データに含まれる粒状のノイズを抑制する写真画像処理プログラムであって、前記写真画像データから輝度成分画像データを抽出する輝度成分画像抽出ステップと、前記輝度成分画像データを、第一のフィルタサイズで移動平均処理して第一平滑化画像データを算出する第一平滑化処理ステップと、前記輝度成分画像データを、前記第一のフィルタサイズより小さなフィルタサイズで移動平均処理して第二平滑化画像データを算出する第二平滑化処理ステップと、前記第一平滑化画像データと前記第二平滑化画像データとを差分演算して第一差分画像データを求める第一差分画像データ生成ステップと、前記第一または第二平滑化画像データと前記輝度成分画像データとを差分演算して第二差分画像データを求める第二差分画像データ生成ステップと、前記第一差分画像データの各画素値の絶対値に対応付けた重み係数で、前記輝度成分画像データと前記第二差分画像データを画素毎に融合処理して輝度ノイズ抑制画像データを生成する補正処理ステップと、をコンピュータに実行させる点にある。

本発明による写真画像処理装置の特徴構成は、同請求項６に記載した通り、写真画像データに含まれる粒状のノイズを抑制する写真画像処理装置であって、前記写真画像データから輝度成分画像データを抽出する輝度成分画像抽出部と、前記輝度成分画像データを、第一のフィルタサイズで移動平均処理して第一平滑化画像データを算出する第一平滑化処理部と、前記輝度成分画像データを、前記第一のフィルタサイズより小さなフィルタサイズで移動平均処理して第二平滑化画像データを算出する第二平滑化処理部と、前記第一平滑化画像データと前記第二平滑化画像データとを差分演算して第一差分画像データを求める第一差分画像データ生成部と、前記第一または第二平滑化画像データと前記輝度成分画像データとを差分演算して第二差分画像データを求める第二差分画像データ生成部と、前記第一差分画像データの各画素値の絶対値に対応付けた重み係数で、前記輝度成分画像データと前記第二差分画像データを画素毎に融合処理して輝度ノイズ抑制画像データを生成する補正処理部と、を含む点にある。

以上説明した通り、本発明によれば、写真画像データに対して、輪郭がぼけることの無い状態で、粒状のノイズを効果的に抑制できる簡便且つ高速に処理可能な写真画像処理方法、写真画像処理プログラム、及び写真画像処理装置を提供することができるようになった。

以下に本発明による写真画像処理装置の実施の形態を説明する。

図１に示すように、写真画像処理装置１は、印画紙Ｐに対して出力画像データに基づいた露光処理を行ない、露光された印画紙を現像処理して写真プリントを生成出力する写真プリンタ２と、写真画像に対するプリントオーダ情報を設定入力するとともに、各種の画像補正処理を行ない、原画像から編集処理した出力画像データを写真プリンタ２に出力する操作ステーション３を備えて構成されている。

操作ステーション３は、現像済みの写真フィルムＦから画像を読み込むフィルムスキャナ３１と、デジタルスチルカメラ等で撮影された画像データが格納されたメモリカード等の画像データ記憶メディアＭから画像データを読み取るメディアドライバ３２と、コントローラ３３としての汎用コンピュータ等を備えている。

図１及び図２に示すように、写真プリンタ２は、ロール状の印画紙Ｐを収容した二系統の印画紙マガジン２１と、印画紙マガジン２１から引き出された印画紙Ｐを所定のプリントサイズに切断するシートカッター２２と、切断後の印画紙Ｐの背面にコマ番号等のプリント情報を印字するバックプリント部２３と、プリントデータに基づいて印画紙Ｐを露光する露光部２４と、露光後の印画紙Ｐを現像、漂白、定着するための各処理液が充填された複数の処理槽２５ａ、２５ｂ、２５ｃを備えた現像処理部２５が印画紙Ｐの搬送経路に沿って配置され、現像処理後に乾燥処理された印画紙Ｐが排出される横送りコンベア２６と、横送りコンベア２６に集積された複数枚の印画紙（写真プリント）Ｐがオーダー単位で仕分けられるソータ２７を備えている。

露光部２４には、搬送機構２８によって副走査方向に搬送される印画紙Ｐに対して、搬送方向に直交する主走査方向に前記プリントデータに基づき変調されたＲＧＢ三色のレーザ光線束を出力して露光する露光ヘッド２４ａが収容されている。

搬送経路に沿って配置された露光部２４や現像処理部２５に、所定のプロセス速度で印画紙Ｐを搬送する複数のローラ対でなる搬送機構２８が配置され、露光部２４の前後には印画紙Ｐを複列に搬送可能なチャッカー式搬送機構２８ａが設けられている。

操作ステーション３に設けられたコントローラ３３には、汎用のオペレーティングシステムの管理下で動作し、写真処理装置１の各種の画像処理や入出力制御を実行するための複数のアプリケーションプログラムがインストールされ、オペレータとの操作インターフェースとしてモニタ３４、キーボード３５、マウス３６等が接続されている。当該アプリケーションプログラムに本発明による画像処理プログラムが含まれる。

コントローラ３３は、そのハードウェア及びソフトウェアが協働して写真処理プロセスを実行するブロックで、以下に、各機能ブロックに分けて説明する。

図３に示すように、コントローラ３３は、フィルムスキャナ３１やメディアドライバ３２によって読み取られた原画像としての写真画像データを受け取り、所定の前処理を行なってメモリ４１に転送する画像入力部４０と、モニタ３４の画面にプリントオーダ情報や画像編集情報を表示するとともに、それらに対して必要なデータ入力のための操作用アイコンを表示するグラフィック操作画面を生成し、或いは表示されたグラフィック操作画面に対するキーボード３５やマウス３６からの入力操作に基づいて各種の制御コマンドを生成するグラフィックユーザーインターフェース部４２と、画像入力部４０から転送される写真画像データ及び画像処理部４７による補正処理後の写真画像データやそのときの補正パラメータ、更には設定されたプリントオーダ情報等が所定領域に区画されて格納されるメモリ４１と、プリントオーダ情報を生成するオーダー処理部４３と、メモリ４１に格納された各写真画像データに対してコマ画像毎または所定枚数のコマ画像に濃度補正処理やコントラスト補正処理等を行なう画像処理部４７を備えている。

さらに、グラフィックユーザーインターフェース部４２からの表示コマンドに基づいてメモリ４１に展開された画像データや各種の入出力用グラフィックデータ等をモニタ３４に表示処理するビデオＲＡＭ等を備えた表示制御部４６と、各種の補正処理が終了した最終の補正画像を写真プリンタ２に出力するためのプリントデータを生成するプリントデータ生成部４４と、顧客のオーダーに応じて最終の補正画像をＣＤ−Ｒ等の記憶媒体に書き込むためのファイル形式に変換するフォーマッタ部４５等を備えている。

フィルムスキャナ３１は、フィルムＦに記録された画像を低解像度ではあるものの高速で読み取るプレスキャンモードと、低速ではあるものの高解像度で読み取る本スキャンモードの二モードで作動するように構成され、プレスキャンモードで読み込まれた低解像度の画像に対して各種の補正処理が行なわれ、その際に前記メモリ４１に記憶された補正パラメータに基づいて本スキャンモードで読み込まれた高解像度の画像に対する最終の補正処理が実行されてプリンタ２に出力される。

同様に、メディアドライバ３２から読み込まれた画像ファイルには高解像度の撮影画像とそのサムネイル画像が含まれ、サムネイル画像に対して後述の各種の補正処理が行なわれ、その際にメモリ４１に記憶された補正パラメータに基づいて高解像度の撮影画像に対する最終の補正処理が実行される。尚、画像ファイルにサムネイル画像が含まれないときには、画像入力部４０で高解像度の撮影画像からサムネイル画像が生成されてメモリ４１に転送される。

このように、頻繁に試行錯誤される各種の編集処理が低解像度の画像に対して実行されることによりコントローラ３３の演算負荷が低減されるように構成されている。

画像処理部４７には、メモリ４１に格納された原画像である写真画像データに対して撮影レンズに起因する歪を補正する歪補正部５０と、粒状ノイズを抑制する粒状ノイズ抑制処理部５１と、画像のエッジを強調し、ノイズを抑制する鮮鋭化処理部５２と、自然なカラーを再現できるようにカラーバランスを調整するカラー補正部５３と、写真プリントのサイズに適した画像サイズに変換する拡縮処理部５４等の複数の画像処理ブロックを備えている。

粒状ノイズ抑制処理部５１は、写真フィルムＦから本スキャンモードで読み込まれた画像データに含まれる粒状ノイズを抑制するフィルム画像用の粒状ノイズ抑制処理部５１と、本発明による画像処理装置として機能し、メディアドライバ３２から読み込まれた高解像度の画像データに含まれる粒状ノイズを抑制するデジタルカメラ撮影画像用の粒状ノイズ抑制処理部５１を備えている。

以下、メディアドライバ３２から入力されるデジタルカメラで撮影された写真画像データの処理について詳述する。

メディアドライバ３２から読み込まれた複数のサムネイル画像データ及び高解像度の画像データがメモリ４１に格納されると、モニタ３４の画面にサムネイル画像データに基づく数コマの写真画像とグラフィック操作画面が表示される。尚、通常、メディアに格納されているデジタル画像はＪＰＥＧ方式により圧縮されているため、逆変換して伸長処理した画像データが格納される。

モニタ３４の画面に表示された各コマ画像に対して、グラフィック操作画面に対するオペレータの操作を介してオーダー処理部４３によりプリント条件、つまり、プリント枚数やプリントサイズ等が設定される。

さらに、各コマ画像に対して、オペレータの操作を介して画像処理部４７により歪補正、鮮鋭化処理、カラー補正が実行され、このとき設定された画像の補正処理条件がメモリ４１に格納される。

モニタ３４の画面に表示された各コマ画像に対するプリント条件の設定や補正処理の操作が終了すると、次画面にスクロールして、全コマ画像に対して同様の処理が実行される。

全ての操作処理が終了し、グラフィック操作画面を介してプリント出力操作が行なわれると、メモリ４１に格納されている高解像度の写真画像データに対して、歪補正、粒状ノイズ抑制処理、鮮鋭化処理、カラー補正処理、拡縮処理等の画像処理が順番に実行され、プリントデータ生成部４４によって画像処理後の画像データがプリントデータに変換生成され、写真プリンタ２に出力される。

高解像度の写真画像データに対する歪補正、鮮鋭化処理、カラー補正処の夫々は、サムネイル画像に対して設定された補正処理条件、つまりメモリ４１に格納された補正処理条件に基づいて自動的に補正処理が実行される。

以下、本発明によるデジタルカメラ撮影画像用の粒状ノイズ抑制処理部５１について詳述するが、写真フィルムＦから本スキャンモードで読み込まれた写真画像データも同様の処理を行なうことが可能である。

図４に示すように、粒状ノイズ抑制処理部５１は、写真画像データを構成する各画素のＲＧＢ色成分を、ＹＣｂＣｒの輝度色差成分に変換し、輝度成分画像データを出力する輝度成分画像抽出部５１０と、輝度成分画像抽出部５１０で得られた輝度成分画像データを、第一のフィルタサイズで移動平均処理して第一平滑化画像データを算出する第一平滑化処理部５１１と、輝度成分画像データを、第一のフィルタサイズより小さなフィルタサイズで移動平均処理して第二平滑化画像データを算出する第二平滑化処理部５１２と、第一平滑化画像データと第二平滑化画像データとを差分演算して第一差分画像データを求める第一差分画像データ生成部５１３と、第一または第二平滑化画像データと輝度成分画像データとを差分演算して第二差分画像データを求める第二差分画像データ生成部５１５と、
第一差分画像データの各画素値の絶対値に対応付けた重み係数で、輝度成分画像データと第二差分画像データを画素毎に融合処理して輝度ノイズ抑制画像データを生成する補正処理部５１４と、を備えている。

輝度成分画像抽出部５１０は、写真画像データを構成する各画素のＲＧＢ色成分を、ＹＣｂＣｒの輝度色差成分に変換するＲＧＢ−ＹＣｂＣｒ変換処理部５１７と、ＲＧＢ−ＹＣｂＣｒ変換処理部５１７で得られた色差成分画像データの夫々を、所定のフィルタサイズの加重平均フィルタでフィルタ処理して色ノイズ抑制画像データを生成する色差フィルタ処理部５１６（５１６ａ，５１６ｂ）を備えている。

さらに、輝度成分画像抽出部５１０は、補正処理部５１４から得られた輝度ノイズ抑制画像データと色差フィルタ処理部５１６から得られた色ノイズ抑制画像データから、各画素のＹＣｂＣｒ成分の夫々を得て、ＲＧＢ成分に逆変換するＹＣｂＣｒ−ＲＧＢ変換処理部５１８を備えている。

ＲＧＢ−ＹＣｂＣｒ変換処理部５１７は、以下の変換式に基づいて、メモリ４１から読み出した高解像度の原画像である写真画像データ（例えば、８００万画素であれば、横３２６４画素×縦２４４８画素程度である）を構成する各画素のＲ（赤）、Ｇ（緑）、Ｂ（青）の夫々の色成分（以下、「ＲＧＢ」と記す。）を、輝度色差成分に変換してメモリ４１に格納する。
Ｙ ＝ ０．２９９００Ｒ＋０．５８７００Ｇ＋０．１１４００Ｂ
Ｃｂ ＝ −０．１６８７４Ｒ−０．３３１２６Ｇ＋０．５００００Ｂ
Ｃｒ ＝ ０．５００００Ｒ−０．４１８６９Ｇ−０．０８１３１Ｂ

第一平滑化処理部５１１は、図５（ａ）に例示するように、輝度成分画像データに対して、９×９程度の第一のフィルタサイズの移動平均フィルタを利用して移動平均処理を実行し、第一平滑化画像データを生成する。

フィルタサイズの大きな移動平均フィルタにより平滑化された第一平滑化画像データは平滑化の程度が高く、輝度成分画像データに含まれていた粒状のノイズが大きく抑制された画像データとなり、被写体の輪郭情報もある程度不明瞭になる。

第二平滑化処理部５１２は、図５（ｂ）に例示するように、輝度成分画像データに対して、５×５程度の第一のフィルタサイズより小さなフィルタサイズの移動平均フィルタを利用して移動平均処理を実行し、第二平滑化画像データを生成する。

フィルタサイズの小さな移動平均フィルタにより平滑化された第二平滑化画像データは、比較的荒い粒状のノイズが残るが、被写体の輪郭情報はある程度鮮明に保存される。

第一差分画像データ生成部５１３は、第一平滑化画像データと第二平滑化画像データとの差分を演算する。演算結果の第一差分画像データは、被写体の平坦部の輝度データが相殺され、主に輪郭部の輝度情報のみが含まれた画像データとなる。

第二差分画像データ生成部５１５は、第一または第二平滑化画像データと輝度成分画像データとの差分を演算する。粒状の輝度ノイズは、ほぼ一画素単位で発生している細かいノイズであるため、演算結果である第二差分画像データには、細かいノイズ成分の情報と輪郭線の情報が現れる。特に、フィルタサイズの小さな移動平均フィルタにより平滑化された第二平滑化画像データとの差分画像データでは、シャープな輪郭線が得られる。

補正処理部５１４は、まず、第一差分画像データに対して、例えば、ラプラシアンフィルタ処理やソーベルのエッジ検出オペレータ、あるいは、鮮鋭化処理をかけることにより、輪郭線領域を高速に検出する。続いて、検出された輪郭線領域の各画素値の絶対値に対応付けた重み係数、つまり、輪郭線領域とその他の領域で異なる重み係数を決定する。

続いて、第二差分画像データの加算率を決定された重み係数で抑制しながら、第二差分画像データと輝度成分画像データを画素毎に融合処理する。当該融合処理の結果、重み係数に基づいて、輝度成分画像データの粒状のノイズ成分が第二差分画像データの粒状のノイズ成分で打ち消されることになり、また、輝度成分画像データの輪郭線領域と平坦領域に対する第二差分画像データの融合の程度が異なることにより、平坦領域で粒状の輝度ノイズを効果的に抑制した輝度ノイズ抑制画像データが生成される。

色差フィルタ処理部５１６（５１６ａ，５１６ｂ）は、ＲＧＢ−ＹＣｂＣｒ変換処理部５１７から得られた色差成分画像データの夫々に対して、例えば、９×９或いは１１×１１程度のフィルタサイズの加重平均フィルタでフィルタ処理を実行し、色ノイズ抑制画像データを生成する。

通常、ＪＰＥＧ方式では、ＹＣｒＣｂ変換された画素を８×８のブロック毎にＤＣＴ変換し、得られた周波数成分を量子化し、ジグザグスキャンにより配列された量子化データをハフマン符合化するが、各ブロック内の色差データはＤＣＴ変換する前に輝度データの１／４に間引き処理される。人間の目が細かな輝度の違いには敏感であるのに対して、色相の細かな違いには比較的気付かないという特性に基づいて、色差データを削減するためである。

従って、デジタルカメラで撮影された写真画像に現れるざらつきの原因である粒状のノイズを輝度ノイズと色ノイズに分けると、輝度ノイズが略一画素単位で現れるのに対して、色ノイズは比較的大きな画素サイズで現れ、その傾向がＤＣＴ変換時のブロックサイズと相関を持つという特性が見られる。

そのため、色ノイズを抑制するためには、フィルタサイズをＪＰＥＧによる圧縮のためのブロックサイズより大きなフィルタサイズに設定することが好ましく、本実施形態では、９×９或は１１×１１程度のフィルタサイズに設定されている。

加重平均フィルタとして、一般的なガウシアンフィルタや被写体の輪郭の保存特性に優れたバイラテラルフィルタを採用することも可能であるが、本実施形態では、被写体の輪郭をぼかすことなく、輪郭に近い領域まで粒状のノイズを適切に抑制可能な動的フィルタを用いている。

フィルタサイズ内の中心画素と周辺画素の差分が、零または画像の輪郭部か否かを判断する所定の閾値近傍で大きなフィルタ係数となり、閾値からずれるほどに小さなフィルタ係数となるように、対象画像データに応じて動的に決定される加重平均フィルタである。

図６（ａ）（ｂ）に示すように、当該加重平均フィルタのフィルタ係数Ｆ_ｉ，ｊは、中心画素Ｐ_０，０と周辺画素Ｐ_ｉ，ｊの画素値の差分に応じて０から１の範囲の値が出力される係数決定関数（Ｆ_ｉ，ｊ＝ｆ（Δ））に基づいて決定される。尚、実際には、係数決定関数に従って差分Δに対応したフィルタ係数が予め定義されたテーブルデータを参照することにより各フィルタ係数が決定される。

図７に示すように、係数決定関数は、注目画素Ｐ_０，０とその周辺画素Ｐ_ｉ，ｊの画素値の差分Δに基づいて、被写体の輪郭に近い領域であるか離れた領域であるかを判断し、差分Δが０のとき、つまり中心画素と周辺画素の色差値が等しいときにフィルタ係数Ｆ_ｉ，ｊが１に設定されるとともに、中心画素と周辺画素の色差値が予め設定した閾値と等しいときにフィルタ係数Ｆ_ｉ，ｊが１に設定され、中心画素と周辺画素の色差値が閾値から小さくなるほどフィルタ係数Ｆ_ｉ，ｊが小さな値に設定されるような関数で、閾値を中心とする所定幅では、フィルタ係数が１から次第に小さくなるガウス関数として定義されている。

当該閾値は、原画像データの隣接画素同士に色相差がある場合、その差を「ノイズ」と認識するか「被写体の一部」と認識するかの境界を示す値として、多くのサンプル画像に対する感応検査等の統計的手法を用いて求められた値で、当該閾値より差分が十分に大きいときには、被写体の輪郭を表す画素である確率が高く、当該閾値より差分が小さいときには、粒状のノイズである確率が高いと判断するための指標である。

当該閾値は、各画素の色差を０から２５５の８ビットの数値として表す場合に、１０から２０の間の値、特に１６程度の値を採用することが好ましい。差分Δが１または２の微小値である場合にはノイズと認識されるが、それほど大きな値ではないため、逆にそのまま残すことにより、適度なざらつきを維持して、のっぺりとした平坦部となるような不都合を回避することができる。

このように、色差フィルタ処理部５１６は、所定のフィルタサイズの加重平均フィルタにより、処理対象画像データの一行目の左端の画素から行方向に配列された各画素を、順次注目画素として加重平均フィルタ処理を繰り返し、右端の画素まで処理が終了すると二行目の左端の画素から行方向に同様の処理を行ない、最終行の右端の画素まで処理を繰り返す。

このような処理を行なうことにより、被写体の輪郭領域の近傍まで適切に粒状のノイズを抑制することができるようになる。

尚、処理対象画像データの端部領域では、実際の画素が存在しないため、端部画素と同じ画素値のダミー画素を生成して処理されるが、実際にプリントされる有効画像サイズは原画像サイズよりやや小さいサイズとなるので、プリント画像に影響を与えるものではない。

ＹＣｂＣｒ−ＲＧＢ変換処理部５１８は、補正処理部５１４で得られた輝度ノイズ抑制画像データと、色差フィルタ処理部５１６で得られた色ノイズ抑制画像データで構成される補正後の新たな輝度色差成分を、次式に基づいてＲＧＢ色成分に逆変換して、鮮鋭化処理部５２に出力する。
Ｒ ＝ Ｙ−０．０００００７Ｃｂ＋１．４０１９９８Ｃｒ
Ｇ ＝ Ｙ−０．３４４１３３Ｃｂ−０．７１４１３８Ｃｒ
Ｂ ＝ Ｙ＋１．７７２００３Ｃｂ＋０．００００１５Ｃｒ

以下に、上述した粒状ノイズ抑制処理部５１による各処理の手順を、図８に示すフローチャートに基づいて説明する。

まず、写真画像データを構成する各画素のＲＧＢ色成分データが、輝度成分画像抽出部５１０に入力されると、輝度成分画像抽出ステップ（Ｓ１）が実行される。

輝度成分画像抽出ステップ（Ｓ１）は、ＲＧＢ‐ＹＣｂＣｒ変換処理ステップ（Ｓ１１）と、色ノイズ抑制処理ステップ（Ｓ１２）と、ＹＣｂＣｒ‐ＲＧＢ変換処理ステップ（Ｓ１３）で構成される。

ＲＧＢ‐ＹＣｂＣｒ変換処理ステップ（Ｓ１１）が実行されると、入力された各画素のＲＧＢ成分の夫々がＹＣｂＣｒ成分に変換され、輝度成分画像データと色差成分画像データが出力される。

出力された輝度成分画像データが第一平滑化処理部５１１に入力されると、第一平滑化処理ステップが実行され、第一のフィルタサイズで移動平均処理された第一平滑化画像データと入力された輝度成分画像データが、第二平滑化処理部５１２と第二差分画像データ生成部５１５に出力される（Ｓ２）。

第一平滑化画像データと輝度成分画像データが第二平滑化処理部５１２に入力されると、第二平滑化処理ステップが実行され、第一のフィルタサイズより小さなフィルタサイズで移動平均処理された第二平滑化画像データと、入力された第一平滑化画像データと輝度成分画像データが、第一差分画像データ生成部５１３と第二差分画像データ生成部５１５に出力される（Ｓ３）。

出力された輝度成分画像データと第一平滑化画像データと第二平滑化画像データが第一差分画像データ生成部５１３に入力されると、第一差分画像データ生成ステップが実行され、第一平滑化画像データと第二平滑化画像データとを差分演算して求められた第一差分画像データと、入力された輝度成分画像データが、補正処理部５１４に出力される。（Ｓ４）

出力された輝度成分画像データと第一平滑化画像データと第二平滑化画像データが第二差分画像データ生成部５１５に入力されると、第二差分画像データ生成ステップが実行され、第一または第二平滑化画像データと輝度成分画像データとを差分演算して求められた第二差分画像データが、補正処理部５１４に出力される。（Ｓ６）

第一差分画像データ生成ステップ（Ｓ４）と第二差分画像データ生成ステップ（Ｓ６）から出力された、輝度成分画像データと第一差分画像データと第二差分画像データが補正処理部５１４に入力されると、補正処理ステップ（Ｓ５）が実行される。

補正処理ステップ（Ｓ５）は、重み係数決定ステップ（Ｓ５１）と融合処理ステップ（Ｓ５２）で構成される。

まず、重み係数決定ステップ（Ｓ５１）が実行され、入力された第一差分画像データに対して、ラプラシアンフィルタ処理やソーベルのエッジ検出オペレータなどの鮮鋭化処理がかけられた後、各画素値の絶対値に対応付けた重み係数が出力される。

続いて、融合処理ステップ（Ｓ５２）が実行され、重み係数決定ステップ（Ｓ５１）で出力された重み係数を利用して、第二差分画像データの加算率を抑制しながら、輝度成分画像データと第二差分画像データが画素毎に融合処理され、融合処理の結果である輝度ノイズ抑制画像データが、ＹＣｂＣｒ−ＲＧＢ変換処理部５１８に出力される。

一方、ＲＧＢ‐ＹＣｂＣｒ変換処理ステップ（Ｓ１１）で出力された色差画像成分データは、色差フィルタ処理部５１６（５１６ａ、５１６ｂ）に出力され、色ノイズ抑制処理ステップ（Ｓ１２）が実行される。

色ノイズ抑制処理ステップ（Ｓ１２）は、画素差分データ算出処理ステップ（Ｓ１２１）と、フィルタ係数決定処理ステップ（Ｓ１２２）と、加重平均フィルタ処理ステップ（Ｓ１２３）で構成される。

まず、画素差分データ算出処理ステップ（Ｓ１２１）が実行され、図６（ａ）に示すように、所定の加重平均フィルタサイズに応じて、入力された輝度成分画像データの中心画素Ｐ_０，０と周辺画素Ｐ_ｉ，ｊの画素値の差分Δが算出される。

続いて、フィルタ係数決定処理ステップ（Ｓ１２２）が実行され、図６（ｂ）、図７に示すように、所定の係数決定関数に従って差分Δに対応したフィルタ係数が予め定義されたテーブルデータを参照することにより各フィルタ係数Ｆ_ｉ，ｊが決定される。

続いて、加重平均フィルタ処理ステップ（Ｓ１２３）が実行され、フィルタ係数決定処理ステップ（Ｓ１２２）で決定された加重平均フィルタを利用したフィルタ処理が実行され、実行結果である色ノイズ抑制画像データがＹＣｂＣｒ−ＲＧＢ変換処理部５１８に出力される。

補正処理部５１４から出力された輝度ノイズ抑制画像データと、色差フィルタ処理部５１６から出力された色ノイズ抑制画像データがＹＣｂＣｒ−ＲＧＢ変換処理部５１８に入力されると、ＹＣｂＣｒ‐ＲＧＢ変換処理ステップが実行され、ＲＧＢ色成分データが出力される（Ｓ１３）。

上述した粒状ノイズ抑制処理部５１による各処理は、コントローラ３３に備えたハードディスクにインストールされた本発明の写真画像処理プログラムが実行されることにより実現される。

つまり、写真画像データに含まれる粒状のノイズを抑制する写真画像処理プログラムであって、写真画像データから輝度成分画像データを抽出する輝度成分画像抽出ステップ（Ｓ１）と、輝度成分画像データを、第一のフィルタサイズで移動平均処理して第一平滑化画像データを算出する第一平滑化処理ステップ（Ｓ２）と、輝度成分画像データを、第一のフィルタサイズより小さなフィルタサイズで移動平均処理して第二平滑化画像データを算出する第二平滑化処理ステップ（Ｓ３）と、第一平滑化画像データと第二平滑化画像データとを差分演算して第一差分画像データを求める第一差分画像データ生成ステップ（Ｓ４）と、第一または第二平滑化画像データと輝度成分画像データとを差分演算して第二差分画像データを求める第二差分画像データ生成ステップ（Ｓ６）と、第一差分画像データの各画素値の絶対値に対応付けた重み係数で、輝度成分画像データと第二差分画像データを画素毎に融合処理して輝度ノイズ抑制画像データを生成する補正処理ステップ（Ｓ５）と、をコンピュータに実行させる写真画像処理プログラムが記憶されたＣＤやＤＶＤ等の記憶媒体を介してインストールされている。

図９（ａ）に示す原画像に対して、第一平滑化処理ステップ（Ｓ２）で５×５のフィルタサイズの移動平均フィルタによる移動平均処理を行った第一平滑化画像データを示す写真画像を図９（ｂ）、第二平滑化処理ステップ（Ｓ３）で３×３のフィルタサイズの移動平均フィルタによる移動平均処理を行った第二平滑化画像データを示す写真画像を図９（ｃ）に例示する。

図９（ｂ）では、まぶたや目じり付近の肌にあった影のようなノイズが大きく抑制されていることがわかる。さらに、頬の輪郭もある程度不明瞭になり、ぼやけていることがわかる。一方、図９（ｃ）では、額部分に影のような粗い粒状のノイズが残っているが、頬の輪郭は鮮明になっていることがわかる。

上述の結果を利用し、第一差分画像データ生成ステップ（Ｓ４）によって、第一平滑化画像データと第二平滑化画像データとを差分演算した結果である第一差分画像データを図９（ｅ）に例示する。図９（ｅ）では、背景や頬などの平坦部の輝度データが相殺されてグレー表示され、主に輪郭部の輝度情報のみが表示されていることがわかる。

また、第二差分画像データ生成ステップ（Ｓ６）により、第一平滑化画像データと原画像データとを差分演算した結果である第二差分画像データを図９（ｆ）に例示する。図９（ｆ）では、輪郭線の情報だけでなく、細かいノイズが現れていることがわかる。

そこで、補正処理ステップ（Ｓ５）により、図９（ｅ）をさらにラプラシアンフィルタ処理あるいはソーベルのエッジ検出オペレータなどの鮮鋭化処理をかけて輪郭領域を強調し、各画素値の絶対値に対応付けた重み係数、つまり、輪郭線領域とその他の領域で異なる重み係数を算出する。続いて、第二差分画像データの加算率を当該重み係数で抑制しながら、第二差分画像データと原画像データを画素毎に融合処理した結果を図９（ｄ）に示す。

図９（ｄ）に示すように、額のような平坦領域に見られる適度なノイズが残り、のっぺりとした感がなくなり適度なざらつき感が残っていることがわかる。一方、頬の輪郭は鮮明に表示され、まぶた辺りの影のようなノイズも適度に抑制されており、のっぺりとしていないことがわかる。

尚、上述した実施形態は、本発明の一例に過ぎず、本発明の作用効果を奏する範囲において各ブロックの具体的構成等を適宜変更設計できることは言うまでもない。

写真画像処理装置の外観説明図 写真プリンタの説明図 写真画像処理装置の機能ブロック構成図 粒状ノイズ抑制処理部の機能ブロック構成図 移動平均フィルタの説明図であり、（ａ）は９×９のフィルタサイズの中心画素とフィルタ係数の説明図、（ｂ）は５×５のフィルタサイズの中心画素とフィルタ係数の説明図 加重平均フィルタの説明図であり、（ａ）は中心画素Ｐ_０，０と周辺画素Ｐ_ｉ，ｊの関係を示す説明図、（ｂ）はフィルタ係数を示す説明図 加重平均フィルタの係数決定関数の説明図 粒状ノイズ抑制処理部の処理手順を説明するためのフローチャート 粒状ノイズ抑制処理の実行前後の写真画像であり、（ａ）は原画像を示す写真画像、（ｂ）は第一平滑化画像データを示す写真画像、（ｃ）は第二平滑化画像データを示す写真画像、（ｄ）は粒状ノイズ抑制処理結果を示す写真画像、（ｅ）は第一差分画像データを示す写真画像、（ｆ）は第二差分画像データを示す写真画像

符号の説明

１：写真画像処理装置
５１：粒状ノイズ抑制処理部
５１０：輝度成分画像抽出部
５１１：第一平滑化処理部
５１２：第二平滑化処理部
５１３：第一差分画像データ生成部
５１４：補正処理部
５１５：第二差分画像データ生成部
５１６：色差フィルタ処理部
５１７：ＲＧＢ‐ＹＣｂＣｒ変換処理部
５１８：ＹＣｂＣｒ‐ＲＧＢ変換処理部
Ｓ１：輝度成分画像抽出ステップ
Ｓ２：第一平滑化処理ステップ
Ｓ３：第二平滑化処理ステップ
Ｓ４：第一差分画像データ生成ステップ
Ｓ５：補正処理ステップ
Ｓ６：第二差分画像データ生成ステップ
Ｓ１１：ＲＧＢ‐ＹＣｂＣｒ変換処理ステップ
Ｓ１２：色ノイズ抑制処理ステップ
Ｓ１３：ＹＣｂＣｒ‐ＲＧＢ変換処理ステップ

Claims (6)

1. 写真画像データに含まれる粒状のノイズを抑制する写真画像処理方法であって、
   前記写真画像データから輝度成分画像データを抽出する輝度成分画像抽出ステップと、
   前記輝度成分画像データを、第一のフィルタサイズで移動平均処理して第一平滑化画像データを算出する第一平滑化処理ステップと、
   前記輝度成分画像データを、前記第一のフィルタサイズより小さなフィルタサイズで移動平均処理して第二平滑化画像データを算出する第二平滑化処理ステップと、
   前記第一平滑化画像データと前記第二平滑化画像データとを差分演算して第一差分画像データを求める第一差分画像データ生成ステップと、
   前記第一差分画像データの各画素値に基づいて前記輝度成分画像データを補正する補正処理ステップと、
   を含む写真画像処理方法。
2. 前記第一または第二平滑化画像データと前記輝度成分画像データとを差分演算して第二差分画像データを求める第二差分画像データ生成ステップをさらに備え、
   前記補正処理ステップは、前記第一差分画像データの各画素値の絶対値に対応付けた重み係数で、前記輝度成分画像データと前記第二差分画像データを画素毎に融合処理して輝度ノイズ抑制画像データを生成する請求項１記載の写真画像処理方法。
3. 前記輝度成分画像抽出ステップは、前記写真画像データを構成する各画素のＲＧＢ成分の夫々をＹＣｂＣｒ成分に変換するＲＧＢ‐ＹＣｂＣｒ変換処理ステップを含み、前記ＲＧＢ‐ＹＣｂＣｒ変換処理ステップで変換された輝度成分を前記輝度成分画像データとして抽出するものであり、
   前記ＲＧＢ‐ＹＣｂＣｒ変換処理ステップで得られた色差成分画像データの夫々を、所定のフィルタサイズの加重平均フィルタでフィルタ処理して色ノイズ抑制画像データを生成する色ノイズ抑制処理ステップと、
   前記輝度ノイズ抑制画像データと前記色ノイズ抑制画像データから得られる各画素のＹＣｂＣｒ成分の夫々をＲＧＢ成分に逆変換するＹＣｂＣｒ‐ＲＧＢ逆変換処理ステップをさらに含む請求項１または２記載の写真画像処理方法。
4. 前記加重平均フィルタは、フィルタサイズ内の中心画素と周辺画素の差分が、零または画像の輪郭部か否かを判断する所定の閾値近傍で大きなフィルタ係数となり、前記閾値からずれるほどに小さなフィルタ係数となるように、対象画像に応じて動的に決定されるフィルタである請求項３記載の写真画像処理方法。
5. 写真画像データに含まれる粒状のノイズを抑制する写真画像処理プログラムであって、
   前記写真画像データから輝度成分画像データを抽出する輝度成分画像抽出ステップと、
   前記輝度成分画像データを、第一のフィルタサイズで移動平均処理して第一平滑化画像データを算出する第一平滑化処理ステップと、
   前記輝度成分画像データを、前記第一のフィルタサイズより小さなフィルタサイズで移動平均処理して第二平滑化画像データを算出する第二平滑化処理ステップと、
   前記第一平滑化画像データと前記第二平滑化画像データとを差分演算して第一差分画像データを求める第一差分画像データ生成ステップと、
   前記第一または第二平滑化画像データと前記輝度成分画像データとを差分演算して第二差分画像データを求める第二差分画像データ生成ステップと、
   前記第一差分画像データの各画素値の絶対値に対応付けた重み係数で、前記輝度成分画像データと前記第二差分画像データを画素毎に融合処理して輝度ノイズ抑制画像データを生成する補正処理ステップと、
   をコンピュータに実行させる写真画像処理プログラム。
6. 写真画像データに含まれる粒状のノイズを抑制する写真画像処理装置であって、
   前記写真画像データから輝度成分画像データを抽出する輝度成分画像抽出部と、
   前記輝度成分画像データを、第一のフィルタサイズで移動平均処理して第一平滑化画像データを算出する第一平滑化処理部と、
   前記輝度成分画像データを、前記第一のフィルタサイズより小さなフィルタサイズで移動平均処理して第二平滑化画像データを算出する第二平滑化処理部と、
   前記第一平滑化画像データと前記第二平滑化画像データとを差分演算して第一差分画像データを求める第一差分画像データ生成部と、
   前記第一または第二平滑化画像データと前記輝度成分画像データとを差分演算して第二差分画像データを求める第二差分画像データ生成部と、
   前記第一差分画像データの各画素値の絶対値に対応付けた重み係数で、前記輝度成分画像データと前記第二差分画像データを画素毎に融合処理して輝度ノイズ抑制画像データを生成する補正処理部と、
   を含む写真画像処理装置。