JP2006246080A - 画像処理方法、画像処理装置、プログラム、および撮影装置 - Google Patents

Abstract

【課題】ノイズの抑制と適切な鮮鋭化とを、少ないメモリと計算時間で行う。
【解決手段】ノイズ除去係数算出部３３は、結果画像I'の画素ごとに、その画素の画素位置の周辺の原画像Iの画素である周辺画素に基づき、ノイズを除去するフィルタの係数であるノイズ除去フィルタ係数を算出する。鮮鋭化パラメータ算出部３５は、結果画像I'の画素ごとに、その画素の画素位置に基づき、鮮鋭化の度合いを表すパラメータである鮮鋭化パラメータを算出する。フィルタ適用部３７は、結果画像I'の画素ごとに、その画素について算出されたノイズ除去フィルタ係数と鮮鋭化パラメータとに基づき、原画像Iをフィルタリングするフィルタの係数であるフィルタ係数を算出し、そのフィルタ係数を適用して、原画像Iをフィルタリングすることにより、結果画像I'の画素の画素値を算出する。本発明は、例えば、ディジタルカメラなどに適用できる。
【選択図】図７

Description

本発明は、画像処理方法、画像処理装置、プログラム、および撮影装置に関し、特に、例えば、ディジタル（スチル）カメラ等において、ノイズの除去と画像の適切な鮮鋭化とを、少ないメモリと計算時間で行うことができるようにする画像処理方法、画像処理装置、プログラム、および撮影装置に関する。

例えば、ディジタルカメラにおいて撮像を行った結果得られる撮像結果画像には、CCD(Charge Coupled Device)などの（固定）撮像素子で発生するノイズなどに起因して、ノイズが発生する。このため、ディジタルカメラの内部のカメラ信号処理として、例えば、撮像結果画像を対象として、ノイズを除去するための画像処理（ノイズ除去処理）が行われる。

また、安価なレンズその他の光学系を用いたディジタルカメラでは、像高（光学中心からの距離）が大になるほど、レンズの収差に起因して、撮像結果画像がぼけるなどの現象が現れる。さらに、ディジタルカメラの光学系が、安価な光学系ではない場合にも、撮像結果画像の画質を向上させるために、より解像度感を向上させるなどの処理が必要とされる。このため、ディジタルカメラでは、撮像結果画像に対して、画像の鮮鋭度を向上させる鮮鋭化処理（エッジ強調）などのMTF(Modulation Transfer Function）を補正する画像処理が施される。

以上のように、撮像結果画像のノイズを抑制（除去）し、かつその鮮鋭度を向上させるために、ディジタルカメラでは、ノイズ除去処理と鮮鋭化処理とが行われる。

ノイズ除去処理としては、一般的に、畳み込み演算によってフィルタリングを行うフィルタ処理が行われる。

また、鮮鋭化処理としては、アンシャープマスク(Unsharp Mask)がある。アンシャープマスクは、信号の高周波数成分を強調する処理であり、いま、アンシャープマスクの処理前の画像（原画像）をIと表すとともに、アンシャープマスクの処理後の画像（結果画像）をIrと表すこととすると、結果画像Irは、式（１）で表される。

・・・（１）

ここで、式（１）において、LP()は、ローパスフィルタによるフィルタ処理（フィルタリング）を表し、従って、LP(I)は、原画像Iをローパスフィルタでフィルタリングした結果得られる画像を表す。また、式（１）において、aは、アンシャープマスクによって鮮鋭化する度合いを表す値（アンシャープマスクゲイン）であり、定数である。

なお、アンシャープマスクゲインaが０より大の値であるときに、高周波数成分が強調され、鮮鋭化が施される。また、アンシャープマスクゲインaを−１以上０以下の値にすると、結果画像Irは、原画像Iをローパスフィルタでフィルタリングして得られる画像と等価となる。

撮像結果画像のノイズを抑制（除去）し、かつその鮮鋭度を向上させる方法としては、撮像結果画像に対して、ノイズ除去処理を施し、その後、さらに、鮮鋭化処理を施す方法、つまり、ノイズ除去と鮮鋭化とを順次行う方法がある。

いま、原画像Iに対して、ノイズ除去処理を施した画像（途中経過画像）を、I_NRと表すこととすると、ノイズ除去と鮮鋭化とを順次行って、撮像結果画像のノイズを抑制し、かつ鮮鋭度を向上させる処理は、式（１）の原画像Iを、途中経過画像I_NRに置き換えた式（２）で表される。

・・・（２）

なお、式（２）において、I_NR'は、ノイズ除去と鮮鋭化とを順次行って得られる画像（結果画像）を表す。

図１は、式（２）で表される処理、つまり、ノイズ除去と鮮鋭化とを順次行う処理の流れを示している。

ステップＳ１では、例えば、ディジタルカメラで得られた撮像結果画像を原画像Iとして、ノイズ除去処理としての畳み込み演算（フィルタ処理（フィルタリング）としての畳み込み演算）が行われ、これにより、原画像Iに比較してノイズが抑制された途中経過画像I_NRが得られる。

この途中経過画像I_NRをアンシャープマスクの処理の入力とし、ステップＳ２において、途中経過画像I_NRをローパスフィルタでフィルタリングするローパスフィルタ処理が行われ、これにより、フィルタリング後の画像LP(I_NR)が得られる。さらに、ステップＳ３において、途中経過画像I_NRから、フィルタリング後の画像LP(I_NR)を減算する減算処理が行われ、ステップＳ４に進み、減算処理によって得られる減算値(I_NR-LP(I_NR))に対して、アンシャープマスクゲインaを乗算する乗算処理が行われる。そして、ステップＳ５において、途中経過画像I_NRと、ステップＳ４の乗算処理で得られる乗算値a(I_NR-LP(I_NR))とを加算する加算処理が行われ、これにより、式（２）で表される結果画像I_NR'(=I_NR+a(I_NR-LP(I_NR)))が求められる。

以上のように、式（２）で表される処理では、アンシャープマスクの処理が、途中経過画像I_NRを入力として行われるため、その途中経過画像I_NRを、アンシャープマスクの処理が終了するまで記憶しておくメモリが必要となる。

また、式（２）で表される処理では、ノイズ除去処理を行ってから、鮮鋭化処理としてのアンシャープマスクの処理を行うため、ノイズ除去処理としての畳み込み演算を行い、さらに、アンシャープマスクの処理の一部であるローパスフィルタ処理（ステップＳ２）としての畳み込み演算を行う必要がある。即ち、２回の畳み込み演算を行う必要がある。

従って、式（２）で表される処理には、多くのメモリと計算時間を要する。

そこで、ノイズ除去処理と鮮鋭化処理を、一度に行う方法として、アンシャープマスクの処理を表す式（１）におけるアンシャープマスクゲインaを、原画像Iの画素値に応じて適宜変更する方法が、例えば、特許文献１に記載されている。特許文献１に記載の方法では、画素値の小さい画素では、本来の輝度（信号成分）に対してノイズの割合が大きく、逆に、画素値の大きい画素では、本来の輝度に対してノイズの割合が小さいと仮定し、画素値が大きい画素については、アンシャープマスクゲインaを０より大きい値とする一方、画素値が小さい画素については、アンシャープマスクゲインaを０以下−１以上の値として、式（１）が計算される。

上述したように、式（１）によれば、アンシャープマスクゲインaが０より大の値のときに、高周波数成分が強調されることによる鮮鋭化が施され、アンシャープマスクゲインaが−１以上０以下の値のときに、ローパスフィルタによるフィルタ処理が施される。従って、特許文献１に記載の方法によれば、原画像Iにおいて暗い部分（画素値が小の部分）に対してはノイズ除去処理が施され、明るい部分（画素値が大の部分）に対しては鮮鋭化処理が施される。

さらに、ノイズ除去処理と鮮鋭化処理を、一度に行う方法としては、その他、例えば、特許文献２に記載されている方法がある。特許文献２に記載の方法では、アンシャープマスクの処理を表す式（１）によって画素値を求めようとしている画素（注目画素）の位置の周辺の、原画像Iの画素の画素値の分散に基づき、注目画素がエッジ部分（を構成する画素）であるかどうかを判定し、注目画素がエッジ部分であれば、アンシャープマスクゲインaを０より大きい値とする一方、注目画素がエッジ部分でない平坦部分であれば（平坦部分に近ければ）、アンシャープマスクゲインaを０以下−１以上の値として、式（１）を計算して、注目画素の画素値が求められる。

従って、特許文献２に記載の方法によれば、画素値の分散が小の平坦部分に対してはノイズ除去処理が施され、画素値の分散が大のエッジ部分に対しては鮮鋭化処理が施される。

一方、例えば、特許文献３においては、カメラのレンズの収差の特性に応じて、そのカメラで撮像された画像（撮像結果画像）の画素の画素位置により、撮像結果画像に対して施す画像処理の係数を設定することが記載されている。

特開2002-374418号公報 米国特許4,571,635号明細書 特開平6-311425号公報

ところで、特許文献１や２に記載の方法では、原画像Iの画素値に基づき、アンシャープマスクゲインaを設定する。そして、特許文献１や２に記載の方法では、アンシャープマスクゲインaの設定にあたって、注目画素の画素位置は考慮されない。

しかしながら、上述したように、安価な光学系を用いたディジタルカメラによって得られる撮像結果画像は、像高が大になるほどぼけるので、鮮鋭化の度合いを表すアンシャープマスクゲインaは、注目画素の画素位置に基づいて決めるのが適切である。

そこで、特許文献３では、上述したように、画素位置により、撮像結果画像に対して施す画像処理の係数を設定することが記載されており、さらに、その画像処理として、鮮鋭度の補正が言及されている。

しかしながら、特許文献３においては、ノイズを抑制しながら、鮮鋭化を行う具体的な方法は記載されていない。

そして、現在においては、ノイズの抑制と適切な鮮鋭化とを、少ないメモリと計算時間で行うことができるようにする具体的な手法の提案が要請されている。

本発明は、このような状況に鑑みてなされたものであり、ノイズの抑制と適切な鮮鋭化とを、少ないメモリと計算時間で行うことができるようにするものである。

本発明は、第２の画像の画素ごとに、その画素の画素位置の周辺の第１の画像の画素である周辺画素に基づき、ノイズを除去するフィルタの係数であるノイズ除去フィルタ係数を算出するノイズ除去フィルタ係数算出ステップ／ノイズ除去フィルタ係数算出手段／ノイズ除去フィルタ係数算出部と、第２の画像の画素ごとに、その画素の画素位置に基づき、鮮鋭化の度合いを表すパラメータである鮮鋭化パラメータを算出する鮮鋭化パラメータ算出ステップ／鮮鋭化パラメータ算出手段／鮮鋭化パラメータ算出部と、第２の画像の画素ごとに、その画素について算出されたノイズ除去フィルタ係数と鮮鋭化パラメータとに基づき、第１の画像をフィルタリングするフィルタの係数であるフィルタ係数を算出し、そのフィルタ係数を適用して、第１の画像をフィルタリングすることにより、第２の画像の画素の画素値を算出するフィルタ適用ステップ／フィルタ適用手段／フィルタ適用部とを含むことを特徴とする。

本発明においては、第２の画像の画素ごとに、その画素の画素位置の周辺の第１の画像の画素である周辺画素に基づき、ノイズを除去するフィルタの係数であるノイズ除去フィルタ係数が算出され、第２の画像の画素ごとに、その画素の画素位置に基づき、鮮鋭化の度合いを表すパラメータである鮮鋭化パラメータが算出される。そして、第２の画像の画素ごとに、その画素について算出されたノイズ除去フィルタ係数と鮮鋭化パラメータとに基づき、第１の画像をフィルタリングするフィルタの係数であるフィルタ係数が算出され、そのフィルタ係数を適用して、第１の画像をフィルタリングすることにより、第２の画像の画素の画素値が算出される。

従って、第２の画像の画素ごとに、ノイズ除去フィルタ係数と鮮鋭化パラメータとに基づいて算出されるフィルタ係数を適用した１回のフィルタリングを第1の画像に施すことにより、第２の画像の画素の画素値が算出される。

本発明によれば、ノイズの抑制と適切な鮮鋭化とを、少ないメモリと計算時間で行うことができる。

図２は、本発明を適用したディジタル（スチル）カメラの一実施の形態の構成例を示している。

レンズ２、絞り３等の光学系は、図示せぬ被写体からの光を、撮像素子４上集光させる。

撮像素子４は、例えば、CCDやCMOS(Complementary Metal Oxide Semiconductor)イメージャ等で構成され、撮像を行い、その撮像によって得られる画像（撮像結果画像）を、サンプリング回路５に出力する。即ち、撮像素子４は、タイミングジェネレータ８から供給されるタイミング信号に従い、所定の間隔で、所定の露出時間だけ、レンズ２および絞り３を介して入射する被写体の光を受光する。そして、撮像素子４は、その撮像面上の各受光素子に到達した受光量を光電変換により電気信号に変換し、その電気信号を相関２重サンプリング回路５に供給する。

相関２重サンプリング回路５は、撮像素子４から供給される電気信号のノイズ成分を、相関２重サンプリングにより除去し、A/D(Analog/Digital)コンバータ６に供給する。A/Dコンバータ６は、相関２重サンプリング回路５から供給される電気信号をA/D変換（サンプリングして量子化）し、その結果得られる画像データを、信号処理回路７に供給する。

信号処理回路７は、例えば、DSP（Digital Signal Processor）等で構成され、A/Dコンバータ６から供給される画像データに対して、各種の画像処理（カメラ信号処理）を施し、その画像処理後の画像データを、D/Aコンバータ９またはコーデック１２に供給する。

タイミングジェネレータ８は、各種の処理のタイミングを指令するタイミング信号を生成し、撮像素子４、相関２重サンプリング回路５、A/Dコンバータ６、および信号処理回路７に供給する。

D/A(Digital/Analog)コンバータ９は、信号処理回路７から供給された画像データをD/A変換し、ビデオエンコーダ１０に供給する。ビデオエンコーダ１０は、D/Aコンバータ９から供給された画像信号（アナログ信号）を、モニタ１１で表示することができる信号に変換し、モニタ１１に供給する。モニタ１１は、ディジタルカメラのファインダ等の役割を果たすもので、LCD(Liquid Crystal Display)などで構成され、ビデオエンコーダ１０から供給される信号にしたがって画像を表示する。これにより、モニタ１１では、いわゆるスルー画等が表示される。

コーデック１２は、信号処理回路７から供給された画像データを、JPEG(Joint Photographic Experts Group)方式、MPEG(Moving Picture Experts Group)方式や、DV（Digital Video）方式などの所定の方式に従って符号化し、メモリ１３に供給する。

メモリ１３は、フラッシュメモリなどの半導体メモリで構成され、コーデック１２から供給される符号化された画像データを記憶（記録）する。なお、メモリ１３の代わりに、磁気ディスク、光（磁気）ディスク、磁気テープ等の記録媒体を用いることができる。メモリ１３またはメモリ１３の代わりに用いる記録媒体は、ディジタルカメラに対して着脱可能とすることができる。また、ディジタルカメラに内蔵される記録媒体と、ディジタルカメラに着脱可能な記録媒体の両方を設けるようにすることも可能である。

記憶部１４は、EEPROM(Electrically Erasable Programmable Read Only Memory)などの不揮発性のメモリ、または、不揮発性のメモリと、RAM(Read Only Memory)などの揮発性のメモリとで構成され、CPU(Central Processing Unit)１５が実行するプログラムを記憶し、また、CPU１５が処理を行う上で必要なデータを一時記憶する。

CPU１５は、記憶部１４に記憶されたプログラムを実行することにより、各種の処理を行う。即ち、CPU１５は、例えば、ユーザの操作に応じて入力デバイス１６から供給される信号などに応じ、バスを介して、信号処理回路７や、タイミングジェネレータ８、コーデック、メモリ１３等の各部に制御信号を供給し、これにより、各部を制御する。

入力デバイス１６は、撮影（撮像）のトリガを与えるレリーズボタン（シャッタボタン）、撮影時の露出を補正するときに操作される露出補正ダイアル、ズームを調整するときに操作されるズームボタン（ズームレバー）などの操作ボタン類を有している。ユーザが操作ボタンを操作することにより発生する各種の信号が、入力デバイス１６からバス１４を介してCPU１５に供給され、CPU１５は、入力デバイス１６からバス１４を介して供給される各種の信号に従う処理を実行するように各部を制御する。なお、入力デバイス１６の１以上の操作ボタンは、モニタ１１に表示することが可能である。モニタ１１に表示された操作ボタンに対する操作は、例えば、モニタ１１上に透明なタブレットを設け、そのタブレットにより検出するようにすることができる。

I/F(Interface)１７は、例えば、USB（Universal Serial Bus）や、IEEE(Institute of Electrical and Electronics Engineers)1394、IEEE802の規格等に準拠した通信を行うインターフェースである。ディジタルカメラは、I/F１７を介して外部のコンピュータなどと接続することで、記憶部１４に記憶されているプログラムを更新し、あるいは画像データを含む各種のデータのやりとりをすることができる。

以上のように構成されるディジタルカメラでは、被写体からの光が、レンズ２や絞り３等の光学系を介して、撮像素子４に入射する。撮像素子４は、そこに入射する被写体の光を受光して光電変換する。撮像素子４における光電変換の結果得られる画像（データ）は、サンプリング回路５およびA/Dコンバータ６を介して、信号処理回路７に供給される。

信号処理回路７は、撮像素子４からサンプリング回路５およびA/Dコンバータ６を介して供給される画像に対して、各種の画像処理を施す。ここで、信号処理回路７で行われる画像処理には、ノイズを抑制しながら鮮鋭化を行う後述する処理が含まれる。

信号処理回路７における画像処理後の画像は、D/Aコンバータ９およびビデオエンコーダ１０を介して、モニタ１１に供給されて表示される。また、信号処理回路７における画像処理後の画像は、必要に応じて、コーデック１２を介してメモリ１３に供給されて記憶される。

次に、上述したように、図２の信号処理回路７は、撮像素子４からサンプリング回路５およびA/Dコンバータ６を介して供給される画像、即ち、撮像素子４での撮像の結果得られる画像（撮像結果画像）に対して、ノイズを抑制しながら鮮鋭化を行う画像処理（以下、適宜、ノイズ抑制鮮鋭化処理という）を施す。そこで、以下、このノイズ抑制鮮鋭化処理について説明する。

ノイズ抑制鮮鋭化処理は、ノイズを抑制しながら鮮鋭化を行うので、ノイズ除去処理と鮮鋭化処理の両方を含む。

いま、鮮鋭化処理として、前述の式（１）で表されるアンシャープマスクを採用することとして、原画像Iに対してノイズ除去処理を施した結果得られる画像を、EPNR(I)と表すとともに、原画像Iに対してノイズ抑制鮮鋭化処理を施した結果得られる画像（結果画像）を、I'と表すこととすると、ノイズ抑制鮮鋭化処理は、式（３）で表すことができる。

・・・（３）

ここで、式（３）は、式（１）における原画像Iを、ノイズ除去処理後の画像EPNR(I)に置き換え、かつ、式（１）における結果画像Irを、ノイズ抑制鮮鋭化処理後の画像（結果画像）I'に置き換えたものに等しい。

いま、式（３）で表されるノイズ抑制鮮鋭化処理におけるノイズ除去処理として、画像のエッジ部分を保持しながらノイズを平滑化することにより除去するエッジ保持ノイズ除去処理を採用することとすると、原画像Iに対してエッジ保持ノイズ除去処理を施し、さらに、ローパスフィルタによるフィルタ処理を施して得られる画像LP(EPNR(I))と、原画像Iに対するローパスフィルタによるフィルタ処理によって得られる画像LP(I)とは、式（４）に示すように、ほぼ一致する。

・・・（４）

従って、式（３）における画像LP(EPNR(I))は、画像LP(I)に置き換えることができ、この置き換えによって、式（３）で表されるノイズ抑制鮮鋭化処理は、式（５）で表すことができる。

・・・（５）

ここで、前述の式（２）では、原画像Iに対してノイズ除去処理を施した途中経過画像I_NRを、ローパスフィルタでフィルタ処理し、そのフィルタ処理の結果得られる画像LP(I_NR)を用いて、アンシャープマスクの処理に用いる高周波数成分(I_NR-LP(I_NR))が求められるのに対して、ノイズ抑制鮮鋭化処理を表す式（５）では、原画像Iをローパスフィルタでフィルタ処理し、そのフィルタ処理の結果得られる画像LP(I)を用いて、アンシャープマスクの処理に用いる高周波数成分(EPNR(I)-LP(I))が求められる。

図３は、式（５）で表されるノイズ抑制鮮鋭化処理の流れを示している。

ステップＳ１１では、原画像Iに対してエッジ保持ノイズ除去処理が施され、これにより、エッジ保持ノイズ除去処理後の画像EPNR(I)が得られる。また、ステップＳ１２では、原画像Iに対してローパスフィルタによるフィルタリングを行うローパスフィルタ処理が行われ、これにより、ローパスフィルタ処理後の画像LP(I)が得られる。

その後、ステップＳ１３において、エッジ保持ノイズ除去処理後の画像EPNR(I)から、ローパスフィルタ処理後の画像LP(I)を減算する減算処理が行われ、ステップＳ１４に進み、その減算処理によって得られる減算値(EPNR(I)-LP(I))に対して、アンシャープマスクゲインaを乗算する乗算処理が行われる。そして、ステップＳ１５において、エッジ保持ノイズ除去処理後の画像EPNR(I)と、ステップＳ１４の乗算処理で得られる乗算値a(EPNR(I)-LP(I))とを加算する加算処理が行われ、これにより、式（５）で表される結果画像I'(=EPNR(I)+a(EPNR(I)-LP(I)))が求められる。

次に、図４は、図３のノイズ抑制鮮鋭化処理の各過程で得られる画像を示している。

なお、図４において、横軸は、画像上の位置（画素位置）pを表し、縦軸は、画素値vを表している。

図４の上から１番目は、原画像Iを示している。原画像Iには、画素値vが急峻に変化するエッジ部分が存在し、さらに、そのエッジ部分の左右には、平坦部分が存在している。さらに、その平坦部分においては、画素値vにノイズが含まれている。

図４の上から２番目は、図４上から１番目の原画像Iに対して、図３のステップＳ１１のエッジ保持ノイズ除去処理を施すことによって得られる画像EPNR(I)を示している。画像EPNR(I)においては、原画像Iのエッジ部分が保持され、かつ平坦部分のノイズが除去されている。

図４の上から３番目は、図４上から１番目の原画像Iに対して、図３のステップＳ１２のローパスフィルタ処理を施すことによって得られる画像LP(I)を示している。画像LP(I)においては、原画像Iの平坦部分のノイズが除去されているが、エッジ部分の急峻さも失われている。

図４の上から４番目（下から１番目）は、図４上から１番目の原画像Iに対して、ノイズ抑制鮮鋭化処理を施すことによって得られる画像、即ち、図３のステップＳ１５の加算処理後に得られる結果画像I'を示している。結果画像I'においては、原画像Iの平坦部分のノイズが除去されており、さらに、エッジ部分が強調化されることにより鮮鋭化されている。

次に、エッジ保持ノイズ除去処理としては、例えば、バイラテラルフィルタ(Bilateral Filter)によるフィルタリング（フィルタ処理）を採用することができる。

いま、エッジ保持ノイズ除去処理としてのバイラテラルフィルタによるフィルタ処理後の画像EPNR(I)の画素位置(x,y)の画素の画素値を、I_EPNR(x,y)と表すこととする。なお、画像EPNR(I)の左上の画素の画素位置を原点(0,0)とし、横または縦方向に隣接する画素どうしの間隔は１であるとする。

この場合、画素値I_EPNR(x,y)は、式（６）で表すことができる。

・・・（６）

式（６）において、I(x,y)は、バイラテラルフィルタによるフィルタ処理の対象となる原画像Iの画素位置(x,y)の画素の画素値を表す。さらに、式（６）において、sとtとは、所定の範囲の整数値であり、Σは、変数sとtがとり得る値についてのサメーションを表す。

さらに、関数w₁()とw₂()は、例えば、式（７）で表される。

・・・（７）

ここで、式（７）において、nは、1または2であり、σ_nは、関数w_n(x)の引数xがとる値の標準偏差である。式（７）で表される関数w_n(x)の関数値は、引数xが大きいほど小さくなる。

式（６）によれば、画像EPNR(I)の画素位置(x,y)の画素の画素値I_EPNR(x,y)は、その画素の画素位置(x,y)の周辺の原画像Iの画素である周辺画素の画素値I(x+s,y+t)に基づいて算出される。

即ち、いま、変数sまたはtと同一の値をとる変数を、それぞれ変数iまたはjとして、変数x，y，i，jを引数とする変数B(x,y,i,j)を、式（８）で定義する。

・・・（８）

式（６）は、式（８）の変数B(x,y,i,j)を用いて、式（９）で表すことができる。

・・・（９）

ここで、式（９）のΣは、Σは、変数iとjがとり得る値についてのサメーションを表す。

式（９）によれば、画像EPNR(I)の画素位置(x,y)の画素の画素値I_EPNR(x,y)は、その画素の画素位置(x,y)の周辺の原画像Iの画素である周辺画素の画素値I(x+i,y+j)を用いて、非線形特性フィルタのフィルタ係数をB(x,y,i,j)とする畳み込み演算を行うことにより求めることができる。

ここで、フィルタ係数B(x,y,i,j)は、エッジ保持ノイズ除去処理としてのバイラテラルフィルタのフィルタ係数であり、以下、適宜、ノイズ除去フィルタ係数B(x,y,i,j)という。

例えば、いま、変数sとt、ひいては、変数iとjが、-2乃至+2の範囲の整数値をとるものとすると、式（９）は、図５上側に示すように、原画像Iの画素位置(x,y)を中心とする横×縦が５×５画素（の画素値）I(x+i,y+j)（I(x-2,y-2)乃至I(x+2,y+2)）を用いて計算される。

式（９）を計算するにあたって、原画像Iの画素値I(x+i,y+j)と乗算されて加算（加重）されるノイズ除去フィルタ係数B(x,y,i,j)を、原画像Iの５×５画素（の画素値）I(x+i,y+j)と同様に配置すると、図５下側に示すように、マトリクス状になる。そこで、式（９）の計算に用いられるノイズ除去フィルタ係数B(x,y,i,j)のセット（図５下側では、５×５のノイズ除去フィルタ係数B(x,y,i,j)のセット）を、以下、適宜、加重マトリクスともいう。

なお、式（８）については、原画像Iの画素位置(x,y)の画素の画素値I(x,y)と、その画素位置(x,y)から(i,j)だけ離れた画素位置(x+i,y+j)の画素の画素値I(x+i,y+j)との差（の絶対値）が小さいほど、つまり、画素値I(x+i,y+j)が、画素値I(x,y)に近いほど、関数w₁(|I(x,y)-I(x+i,y+j)|)が大になるので、ノイズ除去フィルタ係数B(x,y,i,j)も大になる。

さらに、式（８）については、原画像Iの画素位置(x,y)と、その画素位置(x,y)から(i,j)だけ離れた画素位置(x+i,y+j)との距離が短いほど、つまり、画素位置(x+i,y+j)が、画素位置(x,y)から近いほど、関数w₂(√(i²+j²))が大になるので、ノイズ除去フィルタ係数B(x,y,i,j)も大になる。

従って、式（９）において、画素値I(x+i,y+j)は、その画素値I(x+i,y+j)が、画素位置(x,y)の画素値I(x,y)に近いほど、また、画素位置(x+i,y+j)が、画素位置(x,y)に近いほど、大きな値のノイズ除去フィルタ係数B(x,y,i,j)と乗算されて足し込まれる。

その結果、式（６）、ひいては、式（９）で表されるエッジ保持ノイズ除去処理によれば、高周波数で小さな変動をするノイズは平滑化され、変動の大きいエッジ部分は保持される。

次に、式（５）で表されるノイズ抑制鮮鋭化処理における画像LP(I)は、原画像Iに対するローパスフィルタによるフィルタ処理によって得られる画像を表すが、この画像LP(I)の画素位置(x,y)の画素の画素値を、I_LP(x,y)と表すこととする。

この場合、画素値I_LP(x,y)は、例えば、式（１０）で表すことができる。

・・・（１０）

式（１０）において、L(i,j)は、ローパスフィルタのフィルタ係数（ローパスフィルタ係数）を表し、原画像Iの画素位置(x+i,y+j)の画素値I(x+i,y+j)と乗算される。

ローパスフィルタ係数L(i,j)は、画素位置(x,y)には依存せず、画素位置(x,y)と(x+i,y+j)との位置関係(i,j)にのみ依存する。

ここで、式（１０）で表されるフィルタ処理を行うローパスフィルタとしては、例えば、いわゆるガウシアンフィルタや移動平均フィルタなどを用いることができる。ローパスフィルタとして、例えば、移動平均フィルタを用いる場合、フィルタ係数L(i,j)は、1/Nで表され、位置関係(i,j)にも依存しない値となる。なお、Nは、(x+i,y+j)で表しうる画素位置の画素の総数であり、例えば、上述したように、iとjが、-2乃至+2の範囲の整数値をとるものとすると、25(=５×５画素）である。

次に、式（５）で表されるノイズ抑制鮮鋭化処理によって得られる結果画像I'の画素位置(x,y)の画素の画素値を、I'(x,y)と表すこととする。この画素値I'(x,y)は、式（５）に、式（９）および式（１０）を代入することにより、式（１１）で表すことができる。

・・・（１１）

いま、変数x，y，i，jを引数とする変数F(x,y,i,j)を、式（１２）で定義する。

・・・（１２）

式（１１）は、式（１２）の変数F(x,y,i,j)を用いて、式（１３）で表すことができる。

・・・（１３）

式（１３）によれば、結果画像I'の画素位置(x,y)の画素の画素値I'(x,y)は、その画素の画素位置(x,y)の周辺の原画像Iの画素である周辺画素の画素値I(x+i,y+j)を用いて、非線形特性フィルタのフィルタ係数をF(x,y,i,j)とする畳み込み演算を行うことにより求めることができる。

ここで、フィルタ係数F(x,y,i,j)は、ノイズ抑制鮮鋭化処理としての非線形特性フィルタのフィルタ係数であり、以下、適宜、ノイズ抑制鮮鋭化フィルタ係数F(x,y,i,j)という。

例えば、iとjが、図５における場合と同様に、-2乃至+2の範囲の整数値をとるものとすると、式（１３）は、図６上側に示すように、原画像Iの画素位置(x,y)を中心とする横×縦が５×５画素（の画素値）I(x+i,y+j)（I(x-2,y-2)乃至I(x+2,y+2)）を用いて計算される。

式（１３）を計算するにあたって、原画像Iの画素値I(x+i,y+j)と乗算されて加算（加重）されるノイズ抑制鮮鋭化フィルタ係数F(x,y,i,j)を、原画像Iの５×５画素（の画素値）I(x+i,y+j)と同様に配置すると、図６下側に示すように、マトリクス状になる。そこで、式（１３）の計算に用いられるノイズ抑制鮮鋭化フィルタ係数F(x,y,i,j)のセット（図６下側では、５×５のノイズ抑制鮮鋭化フィルタ係数F(x,y,i,j)のセット）も、図５下側に示したノイズ除去フィルタ係数B(x,y,i,j)のセットと同様に、以下、適宜、加重マトリクスともいう。

式（５）で表されるノイズ抑制鮮鋭化処理においては、式（９）で表される画素値EPNR(I)=I_EPNR(x,y)を求める畳み込み演算と、式（１０）で表される画素値LP(I)=I_LP(x,y)を求める畳み込み演算とが存在するので、一見、２回の畳み込み演算が必要なように見える。

しかしながら、画素値EPNR(I)=I_EPNR(x,y)を求めるときの入力と、画素値LP(I)=I_LP(x,y)を求めるときの入力とは、いずれも、原画像Iであるため、式（５）は、その原画像Iの画素値I(x+i,y+j)を用いた畳み込み演算を行う式（１３）にすることができる。そして、式（１３）によれば、１回の畳み込み演算によって、ノイズ抑制鮮鋭化処理後の画像（結果画像）I'の画素値I'(x,y)を求めることができる。さらに、式（１３）においては、前述の図１で説明したような途中経過画像I_NRを入力する演算が存在しないので、途中経過画像I_NRを求める必要はなく、従って、原画像Iの他に、途中経過画像I_NRを記憶しておく、いわば余分なメモリも必要がない。

図７は、式（１３）で表されるノイズ抑制鮮鋭化処理を行う、図２の信号処理回路７の構成例を示している。

メモリ３１には、A/Dコンバータ６（図２）からの画像が、ノイズ抑制鮮鋭化処理の対象とする画像（原画像)Iとして供給される。メモリ３１は、A/Dコンバータ６から供給される原画像Iを一時記憶する。

読み出し制御部３２は、ノイズ抑制鮮鋭化処理によって得ようとする結果画像I'の画素を、例えば、ラスタスキャン順で、注目画素とし、その注目画素の画素位置(x,y)の周辺の原画像Iの画素である周辺画素の画素値I(x+i,y+j)（I(x+s,y+t))を、メモリ３１から読み出し、ノイズ除去フィルタ係数算出部３３とフィルタ適用部３７に供給する。

即ち、いま、変数i（およびs）と変数j（およびt）が、いずれも、例えば、-2乃至+2の整数値を取り得るとすると、読み出し制御部３２は、画素値I(x-2,y-2)乃至I(x+2,y+2)の２５画素の画素値を、メモリ３１から読み出して、ノイズ除去フィルタ係数算出部３３とフィルタ適用部３７に供給する。ここで、変数i（およびs）と変数j（およびt）がとり得る整数値は、ノイズ抑制鮮鋭化処理としてのフィルタ処理を行う非線形特性フィルタの加重マトリクスの大きさを、どのようにするかによって決定される。

さらに、読み出し制御部３２は、注目画素の画素位置（の情報）(x,y)を、鮮鋭化パラメータ算出部３５に供給する。

ノイズ除去フィルタ係数算出部３３は、結果画像I'（第２の画像）の画素ごとに、その画素の画素位置の周辺の原画像I（第１の画像）の画素である周辺画素に基づき、ノイズを除去するフィルタとしてのバイラテラルフィルタのフィルタ係数であるノイズ除去フィルタ係数B(x,y,i,j)を算出する。

即ち、ノイズ除去フィルタ係数算出部３３は、注目画素について、読み出し制御部３２から供給される原画像Iの画素値I(x+i,y+j)（I(x+s,y+t))を用い、式（８）で表されるノイズ除去フィルタ係数B(x,y,i,j)を算出する。そして、ノイズ除去フィルタ係数算出部３３は、注目画素について算出した、変数iとjのすべての組についてのノイズ除去フィルタ係数B(x,y,i,j)のセットである加重マトリクス（図５）を、フィルタ適用部３７に供給する。

LUT(Look Up Table)記憶部３４は、画像の鮮鋭化の度合いを表すパラメータである鮮鋭化パラメータの一例であるアンシャープマスクゲインaのLUT（ルックアップテーブル）を記憶している。

鮮鋭化パラメータ算出部３５は、結果画像I'の画素ごとに、その画素の画素位置(x,y)に基づき、鮮鋭化パラメータとしてのアンシャープマスクゲインaを算出し、フィルタ適用部３７に供給する。

即ち、鮮鋭化パラメータ算出部３５は、例えば、LUT記憶部３４に記憶されたLUTを参照し、読み出し制御部３２から供給される注目画素の画素位置(x,y)に基づいて、注目画素についてのアンシャープマスクゲインaを算出して、フィルタ適用部３７に供給する。

ローパスフィルタ係数記憶部３６は、式（１３）の計算に用いられるノイズ抑制鮮鋭化フィルタ係数F(x,y,i,j)を求めるのに式（１２）の計算に用いられるローパスフィルタ係数L(i,j)を記憶している。

フィルタ適用部３７は、結果画像I'の画素ごとに、その画素について算出されたノイズ除去フィルタ係数B(x,y,i,j)とアンシャープマスクゲインaとに基づき、原画像Iをフィルタリングするフィルタの係数であるノイズ抑制鮮鋭化フィルタ係数F(x,y,i,j)を算出し、そのノイズ抑制鮮鋭化フィルタ係数F(x,y,i,j)を適用して、原画像Iをフィルタリングすることにより、結果画像I'の画素の画素値I'(x,y)を算出する。

即ち、フィルタ適用部３７は、注目画素について、ノイズ除去フィルタ係数算出部３３から供給されるノイズ除去フィルタ係数B(x,y,i,j)と、鮮鋭化パラメータ算出部３５から供給されるアンシャープマスクゲインa、さらには、ローパスフィルタ係数記憶部３６に記憶されたローパスフィルタ係数L(i,j)を用い、式（１２）を計算することにより、変数iとjのすべての組についてのノイズ抑制鮮鋭化フィルタ係数F(x,y,i,j)のセットである加重マトリクス（図６）を算出する。さらに、フィルタ適用部３７は、その加重マトリクスを構成するノイズ抑制鮮鋭化フィルタ係数F(x,y,i,j)と、読み出し制御部３２から供給される、注目画素の画素位置(x,y)の周辺の原画像Iの画素（周辺画素）の画素値I(x+i,y+j)とを用いて、式（１３）を計算することにより、注目画素の画素値I'(x,y)を求めて出力する。

次に、図７の鮮鋭化パラメータ算出部３５の処理について、さらに説明する。

鮮鋭化パラメータ算出部３５は、上述したように、注目画素の画素位置(x,y)に基づき、注目画素についてのアンシャープマスクゲインaを算出する。

即ち、撮像素子４（図２）からサンプリング回路５およびA/Dコンバータ６を介して、信号処理回路７に供給され、ノイズ抑制鮮鋭化処理の対象となる原画像Iは、図２のディジタルカメラの光学系（レンズ２）の収差に起因して、像高が大になるほどぼける。

一方、画像の鮮鋭化にあたっては、ぼけが大であるほど、鮮鋭化の度合いを大にすることが望ましい。

従って、鮮鋭化の度合いを表すアンシャープマスクゲインaは、注目画素の画素位置(x,y)に基づいて、即ち、画素位置(x,y)から求められる像高に基づいて決めるのが適切である。

そこで、鮮鋭化パラメータ算出部３５は、上述したように、注目画素の画素位置(x,y)に基づき、注目画素についてのアンシャープマスクゲインaを算出する。

具体的には、鮮鋭化パラメータ算出部３５は、図８上側に示すように、ディジタルカメラの（のレンズ２）の中心（光学中心）に対応する結果画像I'の位置を中心とする同心円上の画素位置(x,y)に対して、同一の値のアンシャープマスクゲインaを算出する。また、鮮鋭化パラメータ算出部３５は、像高が大になるほど、ぼけも大となるので、像高が大の画素位置ほど鮮鋭化の度合いを大とするために、図８下側に示すように、像高が大の画素位置ほど、値が大きくなるアンシャープマスクゲインaを算出する。ここで、図８下側の横軸は像高を表し、縦軸はアンシャープマスクゲインaを表している。

ここで、前述したように、アンシャープマスクの処理では、アンシャープマスクゲインaが０より大のときに、高周波数成分が強調されて鮮鋭化が施され、アンシャープマスクゲインaが−１以上０以下であるときには、等価的に、ローパスフィルタによるフィルタ処理が行われることとなるので、図８では、アンシャープマスクゲインaの最小値は０になっている。さらに、図８では、像高が小さい範囲では、アンシャープマスクゲインaは０になっており、像高がある値を超えるとアンシャープマスクゲインaもだんだん大きくなるように設定されている。レンズの収差の特性に起因して、像高が大きくなるとだんだん画像の鮮鋭度が下がっていくから、その下がっていく鮮鋭度を向上させるためである。

なお、図８では、鮮鋭化パラメータ算出部３５において、同心円上の画素位置(x,y)に対して、同一の値のアンシャープマスクゲインaを算出するようにしたが、アンシャープマスクゲインaは、必ずしも、同心円上の画素位置(x,y)に対して同一の値である必要はなく、画素位置(x,y)ごとに、任意の値を設定するようにすることが可能である。

ここで、注目画素の像高は、注目画素の画素位置(x,y)から一意に決まるが、この像高とぼけとの関係は、例えば、ディジタルカメラ等の撮影装置での撮像に用いられた光学系の収差の特性によって異なる。

そこで、図７のLUT記憶部３４は、ディジタルカメラでの撮像に用いられた光学系の特性に基づいて作成されたLUT、即ち、図２のレンズ２の収差の特性に対応した、像高とぼけとの関係から作成された、像高と対応付けられたアンシャープマスクゲインaのLUTを記憶している。

鮮鋭化パラメータ算出部３５は、注目画素の画素位置(x,y)から、注目画素の像高を求め、LUT記憶部３４に記憶されたLUTにおいて、注目画素の像高に対応付けられているアンシャープマスクゲインaを、注目画素についてのアンシャープマスクゲインaとして算出する。

なお、ここでは、鮮鋭化パラメータ算出部３５において、LUT記憶部３４に記憶されたLUTを用いて、注目画素についてのアンシャープマスクゲインaを算出するようにしたが、その他、例えば、鮮鋭化パラメータ算出部３５では、図８下側に示したような、像高とアンシャープマスクゲインaとの関係を表す（近似する）関数を記憶しておき、その関数を演算することによって、注目画素についてのアンシャープマスクゲインaを算出することが可能である。但し、アンシャープマスクゲインaは、関数を演算するよりは、LUTを用いた方が、高速に求めることができる。

また、LUT記憶部３４には、画素位置(x,y)とアンシャープマスクゲインaとを対応付けたLUTを記憶させておくことが可能である。

次に、図９のフローチャートを参照して、図７の信号処理回路７で行われるノイズ抑制鮮鋭化処理について説明する。

なお、図７の信号処理回路７に対して、ノイズ抑制鮮鋭化処理の対象として供給される原画像Iの横と縦の画素数は、それぞれw画素とh画素であるとする。さらに、原画像Iと、その原画像Iに対してノイズ抑制鮮鋭化処理を施して得られる結果画像I'とは、同一サイズであるとする。

ノイズ抑制鮮鋭化処理の対象として信号処理回路７に供給された原画像Iは、メモリ３１に供給されて記憶される。

そして、ステップＳ１０１において、読み出し制御部３２は、画素位置(x,y)のうちのy座標を表す変数yに、初期値としての例えば0をセットし、ステップＳ１０２に進む。ステップＳ１０２では、読み出し制御部３２は、画素位置(x,y)のうちのx座標を表す変数xに、初期値としての例えば0をセットし、ステップＳ１０３に進む。

ステップＳ１０３では、結果画像I'の画素位置(x,y)の画素を注目画素として、その注目画素について、式（８）で表されるノイズ除去フィルタ係数B(x,y,i,j)が算出される。

即ち、ステップＳ１０３では、読み出し制御部３２は、画素位置(x,y)の画素を注目画素として、その注目画素の画素位置(x,y)の周辺の原画像Iの画素である周辺画素の画素値I(x+i,y+j)（I(x+s,y+t))を、メモリ３１から読み出し、ノイズ除去フィルタ係数算出部３３とフィルタ適用部３７に供給する。さらに、読み出し制御部３２は、注目画素の画素位置(x,y)を、鮮鋭化パラメータ算出部３５に供給する。

そして、ステップＳ１０３では、ノイズ除去フィルタ係数算出部３３は、読み出し制御部３２から供給される原画像Iの画素値I(x+i,y+j)（I(x+s,y+t))を用い、式（８）で表されるノイズ除去フィルタ係数B(x,y,i,j)を、変数iとjのすべての組について算出し、フィルタ適用部３７に供給する。

その後、ステップＳ１０３からＳ１０４に進み、鮮鋭化パラメータ算出部３５は、LUT記憶部３４に記憶されたLUTを参照し、読み出し制御部３２から供給される注目画素の画素位置(x,y)に基づいて、注目画素についてのアンシャープマスクゲインaを算出して、フィルタ適用部３７に供給し、ステップＳ１０５に進む。

ステップＳ１０５では、フィルタ適用部３７は、ノイズ除去フィルタ係数算出部３３から供給されるノイズ除去フィルタ係数B(x,y,i,j)と、鮮鋭化パラメータ算出部３５から供給されるアンシャープマスクゲインa、さらには、ローパスフィルタ係数記憶部３６に記憶されたローパスフィルタ係数L(i,j)を用い、式（１２）を計算することにより、ノイズ抑制鮮鋭化フィルタ係数F(x,y,i,j)を、変数iとjのすべての組について算出する。そして、ステップＳ１０５では、フィルタ適用部３７は、ノイズ抑制鮮鋭化フィルタ係数F(x,y,i,j)と、読み出し制御部３２から供給される、注目画素の画素位置(x,y)の周辺の原画像Iの画素（周辺画素）の画素値I(x+i,y+j)とを用いて、ノイズ抑制鮮鋭化フィルタ係数F(x,y,i,j)を係数とする非線形特性フィルタによるフィルタリング（空間フィルタリング）を行い、つまり、式（１３）の畳み込み演算を行い、注目画素の画素値I'(x,y)を求めて出力する。

その後、ステップＳ１０５からＳ１０６に進み、読み出し制御部３２は、変数xを１だけインクリメントして、ステップＳ１０７に進み、変数xがw-1より大であるかどうかを判定する。ステップＳ１０７において、変数xがw-1より大でないと判定された場合、即ち、まだ、上からy+1番目の行のすべての画素を注目画素としていない場合、ステップＳ１０３に戻り、以下、同様の処理が繰り返される。

また、ステップＳ１０７において、変数xがw-1より大であると判定された場合、即ち、上からy+1番目の行のすべての画素を注目画素として、その画素値I'(x,y)が求められた場合、ステップＳ１０８に進み、読み出し制御部３２は、変数yを１だけインクリメントして、ステップＳ１０９に進み、読み出し制御部３２は、変数yがh-1より大であるかどうかを判定する。

ステップＳ１０９において、変数yがh-1より大でないと判定された場合、即ち、まだ、結果画像I'のすべての画素を注目画素としていない場合、ステップＳ１０２に戻り、以下、同様の処理が繰り返される。

また、ステップＳ１０９において、変数yがh-1より大であると判定された場合、即ち、結果画像I'のすべての画素値I'(x,y)が求められた場合、処理を終了する。

以上のように、ノイズ抑制鮮鋭化処理によれば、ノイズ除去フィルタ係数B(x,y,i,j)を算出するとともに、アンシャープマスクゲインaを算出し、さらに、そのノイズ除去フィルタ係数B(x,y,i,j)とアンシャープマスクゲインaとに基づき、ノイズ抑制鮮鋭化フィルタ係数F(x,y,i,j)を算出し、そのノイズ抑制鮮鋭化フィルタ係数F(x,y,i,j)を適用して、原画像Iのフィルタリングを行って、結果画像I'を求めるようにしたので、ノイズの抑制と適切な鮮鋭化とを、少ないメモリと計算時間で行うことができる。

即ち、ノイズ抑制鮮鋭化フィルタ係数F(x,y,i,j)が、ノイズ除去フィルタ係数B(x,y,i,j)とアンシャープマスクゲインaから算出され、そのノイズ抑制鮮鋭化フィルタ係数F(x,y,i,j)を適用したフィルタリングによって、結果画像I'が求められるので、ノイズの抑制と鮮鋭化がされた結果画像I'を、ノイズ抑制鮮鋭化フィルタ係数F(x,y,i,j)を用いた１回の畳み込み演算により、少ない計算時間で求めることができる。さらに、結果画像I'を求めるにあたって、図１で説明したような途中経過画像I_NR'を記憶する必要がなく、従って、結果画像I'を少ないメモリで求めることができる。

また、アンシャープマスクゲインaが、注目画素の画素位置(x,y)に基づいて算出されるので、画素位置(x,y)、ひいては像高に応じたぼけを是正する適切な鮮鋭化を行うことができる。

なお、ノイズ抑制鮮鋭化処理において、ノイズを抑制するノイズ除去には、バイラテラルフィルタ以外のフィルタを採用することが可能である。但し、そのフィルタは、式（４）に示したような関係を満たすのが望ましい。

また、ノイズ抑制鮮鋭化処理において、鮮鋭化を図る処理としては、アンシャープマスクの処理以外の処理を採用することが可能である。

さらに、ノイズ抑制鮮鋭化処理は、スルー画となる画像を含む、信号処理回路７に供給される画像すべてを対象に行っても良いし、ユーザが入力デバイス１６のレリーズボタンを操作したときに信号処理回路７に供給される画像のみを対象に行っても良い。

また、ノイズ抑制鮮鋭化処理は、静止画および動画のいずれを対象として行うことも可能である。

さらに、本実施の形態では、ノイズ抑制鮮鋭化処理の対象とする原画像Iと、そのノイズ抑制鮮鋭化処理によって得られる結果画像I'とを、同一サイズ（画素数）の画像としたが、この原画像Iと結果画像I'とのサイズは、異なっていても良い。但し、結果画像I'の横と縦のサイズが原画像IのS倍のサイズである場合、ノイズ除去フィルタ係数B(x,y,i,j)を算出するのに用いられる、結果画像I'における注目画素の画素位置の周辺の原画像Iの画素とは、注目画素の画素位置(x,y)に対応する原画像Iの位置(x/S,y/S)の周辺の原画像Iの画素を意味する。

また、原画像Iがカラーの画像である場合には、ノイズ抑制鮮鋭化処理は、例えば、R(Red)，G(Green)，B(Blue)などの、色ごとに行うことができる。また、カラーの画像を、輝度成分と色成分とに分離し、その輝度成分と色成分のそれぞれについて、ノイズ抑制鮮鋭化処理を施すこともできるし、輝度成分にのみ、ノイズ抑制鮮鋭化処理を施すこともできる。

さらに、図７のLUT記憶部３４に記憶されたアンシャープマスクゲインaのLUTの内容は、例えば、ユーザによる入力デバイス１６（図２）の操作に応じて変更することが可能である。同様に、図７のローパスフィルタ係数記憶部３６に記憶されたローパスフィルタ係数L(i,j)も、ユーザによる入力デバイス１６（図２）の操作に応じて変更することが可能である。即ち、ユーザによって入力デバイス１６が操作された場合には、例えば、図２のCPU１５において、その操作に応じて、新たなアンシャープマスクゲインaのLUT、またはローパスフィルタ係数L(i,j)を算出し（あるいは、複数用意しておいて、その複数の中から選択し）、LUT記憶部３４またはローパスフィルタ係数記憶部３６に供給して上書きすることが可能である。

次に、ノイズ抑制鮮鋭化処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。ノイズ抑制鮮鋭化処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

そこで、図１０は、ノイズ抑制鮮鋭化処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。

プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やＲＯＭ１０３に予め記録しておくことができる。

あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。

コンピュータは、CPU(Central Processing Unit)１０２を内蔵している。CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、また、CPU１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。

なお、ノイズ抑制鮮鋭化処理を行うためのプログラムは、例えば、それ単独で配布することは勿論、ディジタルカメラの画像の編集や管理をするアプリケーションの一部として配布することも可能である。また、ノイズ抑制鮮鋭化処理を行うためのプログラムでは、図７のLUT記憶部３４に記憶されたアンシャープマスクゲインaのLUTの内容や、ローパスフィルタ係数記憶部３６に記憶されたローパスフィルタ係数L(i,j)は、ユーザの操作に応じて適宜変更することができることが望ましい。

ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。

また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

ノイズ除去と鮮鋭化とを順次行う従来の処理の流れを示す図である。 本発明の一実施の形態のディジタルカメラの構成例を示すブロック図である。 式（５）で表されるノイズ抑制鮮鋭化処理の流れを示す図である。 ノイズ抑制鮮鋭化処理において得られる画像を示す波形図である。 ノイズ除去フィルタ係数B(x,y,i,j)のセットである加重マトリクスを示す図である。 ノイズ抑制鮮鋭化フィルタ係数F(x,y,i,j)のセットである加重マトリクスを示す図である。 式（１３）で表されるノイズ抑制鮮鋭化処理を行う信号処理回路７の部分の構成例を示すブロック図である。 像高とアンシャープマスクゲインaとの関係を示す図である。 信号処理回路７で行われるノイズ抑制鮮鋭化処理を説明するフローチャートである。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

符号の説明

２ レンズ， ３ 絞り， ４ 撮像素子， ５ サンプリング回路， ６ A/Dコンバータ， ７ 信号処理回路， ８ タイミングジェネレータ， ９ D/Aコンバータ， １０ ビデオエンコーダ， １１ モニタ， １２ コーデック， １３ メモリ， １４ 記憶部， １５ CPU， １６ 入力デバイス， １７ I/F， ３１ メモリ， ３２ 読み出し制御部， ３３ ノイズ除去フィルタ係数算出部， ３４ LUT記憶部， ３５ 鮮鋭化パラメータ算出部， ３６ ローパスフィルタ係数記憶部， ３７ フィルタ適用部， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体

Claims (7)

1. 第１の画像を処理して第２の画像を出力する画像処理方法において、
   前記第２の画像の画素ごとに、その画素の画素位置の周辺の前記第１の画像の画素である周辺画素に基づき、ノイズを除去するフィルタの係数であるノイズ除去フィルタ係数を算出するノイズ除去フィルタ係数算出ステップと、
   前記第２の画像の画素ごとに、その画素の画素位置に基づき、鮮鋭化の度合いを表すパラメータである鮮鋭化パラメータを算出する鮮鋭化パラメータ算出ステップと、
   前記第２の画像の画素ごとに、その画素について算出された前記ノイズ除去フィルタ係数と鮮鋭化パラメータとに基づき、前記第１の画像をフィルタリングするフィルタの係数であるフィルタ係数を算出し、そのフィルタ係数を適用して、第１の画像をフィルタリングすることにより、前記第２の画像の画素の画素値を算出するフィルタ適用ステップと
   を含むことを特徴とする画像処理方法。
2. 前記ノイズ除去フィルタ係数は、バイラテラルフィルタの係数である
   ことを特徴とする請求項１に記載の画像処理方法。
3. 前記第１の画像は、撮影装置が撮像を行うことによって得られた画像であり、
   前記鮮鋭化パラメータ算出ステップでは、前記撮影装置での撮像に用いられた光学系の収差の特性に基づいて作成された前記鮮鋭化パラメータのルックアップテーブルを用いて、前記鮮鋭化パラメータを算出する
   ことを特徴とする請求項１に記載の画像処理方法。
4. 前記フィルタ適用ステップでは、さらに、ローパスフィルタの係数にも基づき、前記フィルタ係数を算出する
   ことを特徴とする請求項１に記載の画像処理方法。
5. 第１の画像を処理して第２の画像を出力する画像処理装置において、
   前記第２の画像の画素ごとに、その画素の画素位置の周辺の前記第１の画像の画素である周辺画素に基づき、ノイズを除去するフィルタの係数であるノイズ除去フィルタ係数を算出するノイズ除去フィルタ係数算出手段と、
   前記第２の画像の画素ごとに、その画素の画素位置に基づき、鮮鋭化の度合いを表すパラメータである鮮鋭化パラメータを算出する鮮鋭化パラメータ算出手段と、
   前記第２の画像の画素ごとに、その画素について算出された前記ノイズ除去フィルタ係数と鮮鋭化パラメータとに基づき、前記第１の画像をフィルタリングするフィルタの係数であるフィルタ係数を算出し、そのフィルタ係数を適用して、第１の画像をフィルタリングすることにより、前記第２の画像の画素の画素値を算出するフィルタ適用手段と
   を備えることを特徴とする画像処理装置。
6. 第１の画像を処理して第２の画像を出力する画像処理を、コンピュータに実行させるプログラムにおいて、
   前記第２の画像の画素ごとに、その画素の画素位置の周辺の前記第１の画像の画素である周辺画素に基づき、ノイズを除去するフィルタの係数であるノイズ除去フィルタ係数を算出するノイズ除去フィルタ係数算出ステップと、
   前記第２の画像の画素ごとに、その画素の画素位置に基づき、鮮鋭化の度合いを表すパラメータである鮮鋭化パラメータを算出する鮮鋭化パラメータ算出ステップと、
   前記第２の画像の画素ごとに、その画素について算出された前記ノイズ除去フィルタ係数と鮮鋭化パラメータとに基づき、前記第１の画像をフィルタリングするフィルタの係数であるフィルタ係数を算出し、そのフィルタ係数を適用して、第１の画像をフィルタリングすることにより、前記第２の画像の画素の画素値を算出するフィルタ適用ステップと
   を含むことを特徴とする画像処理を、コンピュータに実行させるプログラム。
7. 撮影装置において、
   撮像を行って、第１の画像を出力する撮像部と、
   前記第１の画像を処理して第２の画像を出力する画像処理部と
   を備え、
   前記画像処理部は、
   前記第２の画像の画素ごとに、その画素の画素位置の周辺の前記第１の画像の画素である周辺画素に基づき、ノイズを除去するフィルタの係数であるノイズ除去フィルタ係数を算出するノイズ除去フィルタ係数算出部と、
   前記第２の画像の画素ごとに、その画素の画素位置に基づき、鮮鋭化の度合いを表すパラメータである鮮鋭化パラメータを算出する鮮鋭化パラメータ算出部と、
   前記第２の画像の画素ごとに、その画素について算出された前記ノイズ除去フィルタ係数と鮮鋭化パラメータとに基づき、前記第１の画像をフィルタリングするフィルタの係数であるフィルタ係数を算出し、そのフィルタ係数を適用して、第１の画像をフィルタリングすることにより、前記第２の画像の画素の画素値を算出するフィルタ適用部と
   を有する
   ことを特徴とする撮影装置。

Images