JP2008061217A - 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム - Google Patents

Abstract

【課題】エッジぼけの少ない、効果的なノイズ除去ができる画像処理装置、画像処理方法、および画像処理プログラムを提供する。
【解決手段】画像情報取得部１０１は、画像情報を取得し、成分分離部１０２は、画像情報を輝度情報と色情報とに分離し、輝度成分エッジ抽出部１１０は、輝度情報からエッジ情報を抽出し、輝度成分ノイズ除去部１０５は、輝度情報からノイズを除去し、色成分ノイズ除去部１０６は、色情報からノイズを除去し、画像情報合成部１０７は、エッジ情報と、輝度成分ノイズ除去部１０５によってノイズを除去された輝度情報と、色成分ノイズ除去部１０６によってノイズを除去された色情報とに基づいて、画像情報を合成する。
【選択図】 図１

Description

本発明は、画像処理装置、撮像装置、画像処理方法、および画像処理プログラムに関するものである。

近年、デジタルスチルカメラ（以下、デジタルカメラという）においては、ＣＣＤ（撮像素子）の高画素化が実現されている。一方、ＣＣＤの高画素化に伴って、ＣＣＤの感度が低下するという問題があった。

このような問題を解決するものとして、複数枚の画像の画素を加算する撮像装置が開示されている（特許文献１参照）。かかる撮像装置では、複数枚の画素を加算することによって感度を上げることができる。

また、隣接する複数の画素の画素値を加算する画素信号を出力することで感度を上げる撮像装置が開示されている（特許文献２参照）。

さらに、感度を上げて画像を撮像した場合にはノイズが強調されるが、撮像感度に応じて、ローパスフィルタのカットオフ周波数を設定することにより、ノイズを除去する技術も開示されている（特許文献３参照）。

特開２００５−４４９１５号公報 特開２００５−３０３５１９号公報 特開２００４−２９７７３１号公報

しかしながら、上記特許文献１に記載された技術では、複数枚の画像の画素を加算することにより露光時間が長くなり、カメラが固定されて対象物が動かない場合はよいが、カメラまたは対象物のどちらかが動いた場合には位置ずれが生じるという問題があった。

また、上記特許文献２に記載された技術では、隣接する複数の画素の画素値を加算するため、解像度が落ちてしまうという問題があった。

また、上記特許文献３に記載された技術では、撮像感度に応じてノイズを除去することはできるが、画像がエッジぼけしてしまうという問題があった。例えば、明るい場所で撮像する場合に感度を高く設定されると、ノイズが少ないのに画像に対して強くぼけ処理が施され、画像が必要以上にぼけてしまう場合があった。

また、上記特許文献３に記載された技術において、撮像する際の露光時間が短い場合は色再現性やホワイトバランスが悪くなり、ノイズが除去されても画像の色と輝度とのバランスは改善されないという問題があった。

本発明は、上記に鑑みてなされたものであって、エッジぼけが少なく、色再現性、ホワイトバランスがよい高品質な画像を得ることができる画像処理装置、撮像装置、画像処理方法、および画像処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、請求項１にかかる発明は、画像情報を取得する画像情報取得手段と、前記画像情報取得手段によって取得された前記画像情報を輝度情報と色情報とに分離する画像成分分離手段と、前記画像成分分離手段によって分離された前記輝度情報からエッジ情報を抽出するエッジ抽出手段と、前記画像成分分離手段によって分離された前記輝度情報からノイズを除去する輝度ノイズ除去手段と、前記画像成分分離手段によって分離された前記色情報からノイズを除去する色ノイズ除去手段と、前記エッジ抽出手段によって抽出された前記エッジ情報と、前記輝度ノイズ除去手段によってノイズを除去された前記輝度情報と、前記色ノイズ除去手段によってノイズを除去された前記色情報とに基づいて、画像情報を生成する画像情報生成手段と、を備えることを特徴とする。

また、請求項２にかかる発明は、請求項１に記載の画像処理装置において、前記エッジ抽出手段は、さらにフィルタを用いて前記輝度情報からエッジ情報を抽出すること、を特徴とする。

また、請求項３にかかる発明は、請求項２に記載の画像処理装置において、前記画像情報の撮像時の撮像状況を示す撮像条件と、前記フィルタのサイズと、を対応付けて記憶するフィルタサイズ記憶手段と、前記撮像条件を取得する撮像条件取得手段と、前記フィルタサイズ記憶手段から前記撮像条件取得手段によって取得された前記撮像条件に対応付けられた前記フィルタのサイズを特定するフィルタ決定手段と、をさらに備え、前記エッジ抽出手段は、前記フィルタ決定手段によって特定されたサイズの前記フィルタを用いてエッジ情報を抽出すること、を特徴とする。

また、請求項４にかかる発明は、請求項３に記載の画像処理装置において、前記画像情報の撮像時の撮像状況を示す撮像条件と、Laplacian of Gaussian(LoG)関数におけるパラメータであるσ値とｋ値と、を対応付けて記憶するパラメータ記憶手段、をさらに備え、前記フィルタ決定手段は、さらに前記パラメータ記憶手段において前記撮像条件取得手段によって取得された前記撮像条件に対応付けられた前記σ値とｋ値を特定し、特定された前記σ値とｋ値により定まるLoG関数に基づいて前記フィルタを決定し、前記エッジ抽出
手段は、前記フィルタ決定手段によって決定された前記フィルタを用いてエッジ情報を抽出すること、を特徴とする。

また、請求項５にかかる発明は、請求項２に記載の画像処理装置において、前記画像情報の撮像時の撮像状況を示す撮像条件と、エッジを抽出するフィルタと、を対応付けて記憶するフィルタ記憶手段と、前記撮像条件を取得する撮像条件取得手段と、前記フィルタ記憶手段から、前記撮像条件取得手段によって取得された前記撮像条件に対応づけられた前記フィルタを決定するフィルタ決定手段と、をさらに備え、前記エッジ抽出手段は、前記フィルタ決定手段によって決定された前記フィルタを用いて、前記輝度情報からエッジ情報を抽出すること、を特徴とする。

また、請求項６にかかる発明は、請求項３〜５のいずれか一つに記載の画像処理装置において、前記撮像条件は、露光時間を含むこと、を特徴とする。

また、請求項７にかかる発明は、請求項３〜６のいずれか一つに記載の画像処理装置において、前記撮像条件は、撮像時の温度を含むこと、を特徴とする。

また、請求項８にかかる発明は、請求項３〜７のいずれか一つに記載の画像処理装置において、前記撮像条件は、撮像感度を含むこと、を特徴とする。

また、請求項９にかかる発明は、請求項１〜８のいずれか一つに記載の画像処理装置に
おいて、前記画像成分分離手段によって分離された前記輝度情報と色情報に対して変倍処理する変倍手段、をさらに備え、前記輝度ノイズ除去手段は、前記変倍手段によって変倍処理された前記輝度情報からノイズを除去し、前記色ノイズ除去手段は、前記変倍手段によって変倍処理された前記色情報からノイズを除去すること、を特徴とする。

また、請求項１０にかかる発明は、画像情報を取得する画像情報取得手段と、前記画像情報取得手段によって取得された前記画像情報中の隣接する複数の画素値を加算して１つの画素値とすることにより高感度低解像画像情報を生成する高感度低解像画像生成手段と、前記高感度低解像画像生成手段によって生成された前記高感度低解像画像情報を変倍する変倍手段と、前記画像情報取得手段によって取得された前記画像情報と、前記変倍手段によって変倍された前記高感度低解像画像情報とから画像情報を合成する画像情報合成手段と、を備えることを特徴とする。

また、請求項１１にかかる発明は、請求項１０に記載の画像処理装置において、前記高感度低解像画像生成手段によって生成された前記高感度低解像画像情報を高感度低解像輝度情報と高感度低解像色情報とに分離する画像成分分離手段と、前記画像成分分離手段によって分離された前記高感度低解像色情報からノイズを除去する色ノイズ除去手段と、をさらに備え、前記変倍手段は、前記画像成分分離手段によって分離された前記高感度低解像輝度情報を変倍するとともに、前記色ノイズ除去手段によってノイズを除去された前記高感度低解像色情報を変倍し、前記画像情報合成手段は、前記画像情報取得手段によって取得された前記画像情報と、前記変倍手段によって変倍された前記高感度低解像色情報および前記高感度低解像輝度情報とから画像情報を合成すること、を特徴とする。

また、請求項１２にかかる発明は、請求項１０または請求項１１に記載の画像処理装置において、前記画像成分分離手段は、さらに前記画像情報取得手段によって取得された前記画像情報を輝度情報と色情報とに分離し、前記画像成分分離手段によって分離された前記輝度情報からノイズを除去する輝度ノイズ除去手段と、前記画像成分分離手段によって分離された前記輝度情報からエッジ情報を抽出するエッジ抽出手段と、をさらに備え、前記画像情報生成手段は、前記変倍手段によって変倍された前記高感度低解像画像情報と、前記輝度ノイズ除去手段によってノイズを除去された前記輝度情報と、前記エッジ抽出手段によってエッジを抽出された前記エッジ情報とから画像情報を合成すること、を特徴とする。

また、請求項１３にかかる発明は、被写体を撮像する撮像手段、を備え、前記画像情報取得手段は、前記撮像手段によって撮像された画像情報を取得すること、を特徴とする請求項１〜１２のいずれか一つに記載の画像処理装置、を備えることを特徴とする。

また、請求項１４にかかる発明は、画像情報を取得する画像情報取得ステップと、前記画像情報取得ステップによって取得された前記画像情報を輝度情報と色情報とに分離する画像成分分離ステップと、前記画像成分分離ステップによって分離された前記輝度情報からエッジ情報を抽出するエッジ抽出ステップと、前記画像成分分離ステップによって分離された前記輝度情報からノイズを除去する輝度ノイズ除去ステップと、前記画像成分分離ステップによって分離された前記色情報からノイズを除去する色ノイズ除去ステップと、前記エッジ抽出ステップによって抽出された前記エッジ情報と、前記輝度ノイズ除去ステップによってノイズを除去された前記輝度情報と、前記色ノイズ除去ステップによってノイズを除去された前記色情報とに基づいて、画像情報を生成する画像情報生成ステップと、を有することを特徴とする。

また、請求項１５にかかる発明は、画像情報を取得する画像情報取得ステップと、前記画像情報取得ステップによって取得された前記画像情報を輝度情報と色情報とに分離する
画像成分分離ステップと、前記画像成分分離ステップによって分離された前記輝度情報からエッジ情報を抽出するエッジ抽出ステップと、前記画像成分分離ステップによって分離された前記輝度情報と前記色情報に対して変倍処理する変倍ステップと、前記変倍ステップによって変倍処理された前記輝度情報からノイズを除去する輝度ノイズ除去ステップと、前記変倍ステップによって変倍処理された前記色情報からノイズを除去する色ノイズ除去ステップと、前記エッジ抽出ステップによって抽出された前記エッジ情報と、前記輝度ノイズ除去ステップによってノイズを除去された前記輝度情報と、前記色ノイズ除去ステップによってノイズを除去された前記色情報とに基づいて、画像情報を生成する画像情報生成ステップと、を有することを特徴とする。

また、請求項１６にかかる発明は、画像情報を取得する画像情報取得ステップと、前記画像情報取得ステップによって取得された前記画像情報中の隣接する複数の画素値を加算して１つの画素値とすることにより高感度低解像画像情報を生成する高感度低解像画像生成ステップと、前記高感度低解像画像生成ステップによって生成された前記高感度低解像画像情報を変倍する変倍ステップと、前記画像情報取得ステップによって取得された前記画像情報と、前記変倍ステップによって変倍された前記高感度低解像画像情報とから画像情報を合成する画像情報合成ステップと、を有することを特徴とする。

また、請求項１７にかかる発明は、請求項１４〜１６のいずれか一つに記載された画像処理方法をコンピュータに実行させることを特徴とする。

請求項１にかかる発明によれば、画像情報取得手段によって、画像情報を取得し、画像成分分離手段によって、画像情報を輝度情報と色情報とに分離し、エッジ抽出手段によって、輝度情報からエッジ情報を抽出し、輝度ノイズ除去手段によって、輝度情報からノイズを除去し、色ノイズ除去手段によって、色情報からノイズを除去し、画像情報生成手段によって、エッジ情報と、輝度ノイズ除去手段によってノイズを除去された輝度情報と、色ノイズ除去手段によってノイズを除去された色情報とに基づいて、画像情報を生成することにより、予め抽出しておいたエッジ情報を合成して画像情報を生成するため、エッジぼけの少ない高品質な画像を得ることができるという効果を奏する。

また、請求項２にかかる発明によれば、エッジ抽出手段は、さらにフィルタを用いて輝度情報からエッジ情報を抽出することにより、一般的なフィルタ処理によってエッジ情報を抽出するため、容易にエッジ抽出処理ができるという効果を奏する。

また、請求項３にかかる発明によれば、撮像条件取得手段によって、画像情報の撮像時の撮像状況を示す撮像条件を取得し、フィルタ決定手段によって、撮像条件と、フィルタのサイズと、を対応付けて記憶するフィルタサイズ記憶手段から撮像条件に対応付けられたフィルタのサイズを特定し、エッジ抽出手段は、フィルタ決定手段によって特定されたサイズのフィルタを用いてエッジ情報を抽出することにより、撮像条件に対応したフィルタのサイズのフィルタでエッジ情報を抽出するため、エッジぼけの少ない高品質な画像を得ることができるという効果を奏する。

また、請求項４にかかる発明によれば、フィルタ決定手段は、さらに画像情報の撮像時の撮像状況を示す撮像条件と、Laplacian of Gaussian(LoG)関数におけるパラメータであるσ値とｋ値と、を対応付けて記憶するパラメータ記憶手段において撮像条件に対応付けられたσ値とｋ値を特定し、特定されたσ値とｋ値により定まるLoG関数に基づいてフィ
ルタを決定し、エッジ抽出手段は、フィルタ決定手段によって決定されたフィルタを用いてエッジ情報を抽出することにより、撮像条件に対応したσ値とｋ値によって求められたフィルタでエッジ情報を抽出するため、エッジぼけの少ない高品質な画像を得ることがで
きるという効果を奏する。

また、請求項５にかかる発明によれば、撮像条件取得手段によって、画像情報の撮像時の撮像状況を示す撮像条件を取得し、フィルタ決定手段によって、撮像条件と、エッジを抽出するフィルタと、を対応付けて記憶するフィルタ記憶手段から、撮像条件に対応づけられた前記フィルタを決定し、エッジ抽出手段は、フィルタ決定手段によって決定されたフィルタを用いて、輝度情報からエッジ情報を抽出することにより、撮像条件に対応したフィルタでエッジ情報を抽出するため、エッジぼけの少ない高品質な画像を得ることができるという効果を奏する。

また、請求項６にかかる発明によれば、撮像条件は、露光時間を含むことにより、画質レベルに合ったエッジ抽出ができるため、エッジぼけの少ない高品質な画像を得ることができるという効果を奏する。

また、請求項７にかかる発明によれば、撮像条件は、撮像時の温度を含むことにより、画質レベルに合ったエッジ抽出ができるため、エッジぼけの少ない高品質な画像を得ることができるという効果を奏する。

また、請求項８にかかる発明によれば、撮像条件は、撮像感度を含むことにより、画質レベルに合ったエッジ抽出ができるため、エッジぼけの少ない高品質な画像を得ることができるという効果を奏する。

また、請求項９にかかる発明によれば、変倍手段によって、画像成分分離手段によって分離された輝度情報と色情報に対して変倍処理し、輝度ノイズ除去手段は、変倍手段によって変倍処理された輝度情報からノイズを除去し、色ノイズ除去手段は、変倍手段によって変倍処理された色情報からノイズを除去することにより、輝度情報および色情報を変倍してノイズ除去処理するため、ノイズ除去処理の時間を短縮することができるという効果を奏する。

また、請求項１０にかかる発明によれば、画像情報取得手段によって、画像情報を取得し、高感度低解像画像生成手段によって取得された画像情報中の隣接する複数の画素値を加算して１つの画素値とすることにより高感度低解像画像情報を生成し、変倍手段によって、生成された高感度低解像画像情報を変倍し、画像情報合成手段によって、取得された画像情報と、変倍された高感度低解像画像情報とから画像情報を合成することにより、画像情報の感度が向上するため、色再現性やホワイトバランスがよい高品質な画像を得ることができるという効果を奏する。

また、請求項１１にかかる発明によれば、画像成分分離手段によって、高感度低解像画像情報を高感度低解像輝度情報と高感度低解像色情報とに分離し、色ノイズ除去手段によって、分離された高感度低解像色情報からノイズを除去し、変倍手段は、分離された高感度低解像輝度情報を変倍するとともに、ノイズを除去された高感度低解像色情報を変倍し、画像情報合成手段は、画像情報と、変倍された高感度低解像色情報および高感度低解像輝度情報とから画像情報を合成することにより、高感度低解像色情報からノイズを除去するため、ノイズの少ない高品質な画像を得ることができるという効果を奏する。

また、請求項１２にかかる発明によれば、画像成分分離手段は、さらに取得された画像情報を輝度情報と色情報とに分離し、輝度ノイズ除去手段によって分離された輝度情報からノイズを除去し、エッジ抽出手段によって、分離された輝度情報からエッジ情報を抽出し、画像情報生成手段は、変倍された高感度低解像画像情報と、ノイズを除去された輝度情報と、エッジを抽出されたエッジ情報とから画像情報を合成することにより、予め抽出
しておいたエッジ情報を合成して画像情報を生成するため、エッジぼけの少ない高品質な画像を得ることができるという効果を奏する。

また、請求項１３にかかる発明によれば、撮像手段によって、被写体を撮像し、画像情報取得手段は、撮像された画像情報を取得すること、を特徴とする請求項１〜１２のいずれか一つに記載の画像処理装置、を備えることにより、撮像された画像情報の感度が向上するため、色再現性やホワイトバランスがよい高品質な画像を得ることができるという効果を奏する。

また、請求項１４にかかる発明によれば、画像情報取得ステップによって、画像情報を取得し、画像成分分離ステップによって、画像情報を輝度情報と色情報とに分離し、エッジ抽出ステップによって、画像成分分離ステップによって分離された輝度情報からエッジ情報を抽出し、輝度ノイズ除去ステップによって、画像成分分離ステップによって分離された輝度情報からノイズを除去し、色ノイズ除去ステップによって、画像成分分離ステップによって分離された色情報からノイズを除去し、画像情報生成ステップによって、エッジ情報と、輝度ノイズ除去ステップによってノイズを除去された輝度情報と、色ノイズ除去ステップによってノイズを除去された色情報とに基づいて、画像情報を生成することにより、予め抽出しておいたエッジ情報を合成して画像情報を生成するため、エッジぼけの少ない高品質な画像を得ることができるという効果を奏する。

また、請求項１５にかかる発明によれば、画像情報取得ステップによって、画像情報を取得し、画像成分分離ステップによって、画像情報を輝度情報と色情報とに分離し、エッジ抽出ステップによって、画像成分分離ステップによって分離された輝度情報からエッジ情報を抽出し、変倍ステップによって、画像成分分離ステップによって分離された輝度情報と色情報に対して変倍処理し、輝度ノイズ除去ステップによって、変倍ステップによって変倍処理された輝度情報からノイズを除去し、色ノイズ除去ステップによって、変倍ステップによって変倍処理された色情報からノイズを除去し、画像情報生成ステップによって、エッジ情報と、輝度ノイズ除去ステップによってノイズを除去された輝度情報と、色ノイズ除去ステップによってノイズを除去された色情報とに基づいて、画像情報を生成することにより、予め抽出しておいたエッジ情報を合成して画像情報を生成するため、エッジぼけの少ない高品質な画像を得ることができるという効果を奏する。また、輝度情報および色情報を変倍してノイズ除去処理することにより、ノイズ除去処理の時間を短縮することができるという効果を奏する。

また、請求項１６にかかる発明によれば、画像情報取得ステップによって、画像情報を取得し、高感度低解像画像生成ステップによって、取得された画像情報中の隣接する複数の画素値を加算して１つの画素値とすることにより高感度低解像画像情報を生成し、変倍ステップによって、生成された高感度低解像画像情報を変倍し、画像情報合成ステップによって、取得された画像情報と、変倍された高感度低解像画像情報とから画像情報を合成することにより、画像情報の感度が向上するため、色再現性やホワイトバランスがよい高品質な画像を得ることができるという効果を奏する。

また、請求項１７にかかる発明によれば、請求項１４〜１６のいずれか一つに記載された画像処理方法をコンピュータに実行させることにより、予め抽出しておいたエッジ情報を合成して画像情報を生成するため、エッジぼけの少ない高品質な画像を得ることができるという効果を奏する。また、輝度情報および色情報を変倍してノイズ除去処理するため、ノイズ除去処理の時間を短縮することができるという効果を奏する。また、画像情報の感度が向上するため、色再現性やホワイトバランスがよい高品質な画像を得ることができるという効果を奏する。

以下に添付図面を参照して、この発明にかかる画像処理装置、画像処理方法、および画像処理プログラムの最良な実施の形態を詳細に説明する。

（第１の実施の形態）
第１の実施の形態について、添付図面を参照して説明する。まず、本発明が適用されるデジタルカメラに含まれる画像処理部の構成例について説明する。図１は、本実施の形態にかかる画像処理部の構成を示すブロック図である。

本実施の形態にかかる画像処理部１００は、画像情報取得部１０１と、成分分離部１０２と、撮像条件取得部１０３と、フィルタ決定部１０４と、輝度成分エッジ抽出部１１０と、輝度成分ノイズ除去部１０５と、色成分ノイズ除去部１０６と、画像情報合成部１０７と、画像情報圧縮部１０８と、画像情報出力部１０９と、エッジ抽出フィルタサイズデータベース１２０と、パラメータデータベース１３０と、ノイズ除去フィルタサイズデータベース１４０と、Gaussianσ値データベース１５０と、を備えている。

エッジ抽出フィルタサイズとは、画像情報からエッジを抽出する際に利用するフィルタのサイズである。エッジ抽出において利用するフィルタの最適なサイズは、撮像条件によって異なる。エッジ抽出フィルタサイズデータベース１２０は、各撮像条件に最適なフィルタサイズを格納している。図２は、エッジ抽出フィルタサイズデータベースのデータ構成の一例を示す説明図である。このように、エッジ抽出フィルタサイズデータベース１２０において、撮像条件と、エッジ抽出フィルタサイズとが対応付けられているので、撮像条件から最適なフィルタサイズを決定することができる。

ここで、撮像条件とは、デジタルカメラで撮像した際に撮像画像におけるエッジ抽出に影響を与える条件である。具体的には、カメラの感度、露光時間、撮像時の温度を撮像条件として規定している。カメラの感度とは、ＣＣＤやＣＭＯＳセンサの感度であり、感度が高いほど同じ状況でシャッタースピードが速くなり、手ぶれしにくく、動いている被写体もぶれずに撮像することができる。また、薄暗いところでも明るく撮ることが可能になる。その一方で、感度を高くすると、ノイズが出やすくなってしまう。

露光時間とは、ＣＣＤやＣＭＯＳセンサに光が当たる時間であり、感度が高いと露光時間を短くしても撮像することができる。撮像時の温度とは、カメラで撮像した時の外気温である。温度が低いほうが、ノイズがでにくくなる。

なお、本実施の形態では、カメラの感度、露光時間、撮像温度を撮像条件としているが、撮像条件はエッジ抽出に変化を与える条件であればよく、これらに限定されるものではない。

パラメータデータベース１３０は、撮像条件に対応するエッジ抽出のためのLaplacian of Gaussian（LoG）フィルタの値を算出するためのσ値、ｋ値を格納する。図３は、パラメータデータベースのデータ構成の一例を示す説明図である。パラメータデータベース１３０は、撮像条件と、LoGフィルタの値を算出するためのσ値と、ｋ値とを対応付けて記
憶している。

ここで、σ値は、フィルタの広がる幅を決めるパラメータである。σ値は、大きいければ大きいほどフィルタの幅が広く、平滑化の効果が大きくなり、小さいければ小さいほどフィルタの幅が狭く、エッジ強調の効果が大きくなる。

ｋ値は、エッジ強調の強さを表すパラメータである。ｋ値が大きければ大きいほどエッ
ジ強調の効果が大きく、小さいほどボケ復元の効果が小さい。このように、σ値とｋ値を変化させることによって補正結果を調整することができる。なお、LoGフィルタのσ値を
０に近づけるとLaplacianフィルタに近似する。

なお、エッジ抽出フィルタは、LoG関数に限って求められるものではなく、他の関数で
求められるフィルタを用いてエッジ抽出処理を行ってもよい。

ノイズ除去フィルタサイズデータベース１４０は、撮像条件に対応するノイズ除去のためのフィルタサイズを格納する。図４は、ノイズ除去フィルタサイズデータベースのデータ構成の一例を示す説明図である。ノイズ除去フィルタサイズデータベース１４０は、撮像条件と、フィルタサイズとを対応付けて記憶している。

フィルタサイズとは、撮像条件によって特定されるノイズ除去フィルタのサイズであり、輝度情報および色情報のそれぞれについてフィルタのサイズを記憶している。フィルタのサイズは、サイズが大きければ大きいほどノイズ除去の効果は大きくなるが、その反面エッジぼけが大きくなる。すなわち、ノイズ除去効果とエッジぼけは、トレードオフの関係である。撮像画像のノイズのレベルは、撮像条件の違いによって変化するため、撮像時の撮像条件に従ってフィルタのサイズを選択することによって、最適なノイズ除去を行うことができる。

また、人間の目は明るさの変化には敏感だが、色の変化には鈍感であるという性質がある。よって、輝度情報のフィルタサイズを色情報のフィルタサイズより小さくすることによって、人間の目の特性を考慮した効果的なノイズ除去を行うことができる。ＹＵＶ形式の画像情報は、輝度情報（Ｙ）および色情報（Ｕ、Ｖ）からなる。輝度情報は、人間の目が“明るさ”として感じる強さとほぼ比例した数値になる。色情報（Ｕ、Ｖ）は、Ｕは青系統、Ｖは赤系統の色の色相と彩度を表わす。輝度情報と色情報のそれぞれに対して、それぞれに対応したノイズ除去処理を行うことによって、最適にノイズを除去することができる。本実施の形態では、ノイズ除去フィルタサイズデータベース１４０において輝度フィルタのサイズであるサイズ情報１と色フィルタのサイズであるサイズ情報２には同じサイズが格納されている。なお、輝度フィルタのサイズであるサイズ情報１を、色フィルタのサイズであるサイズ情報２より小さなサイズとしてもよい。

Gaussianσ値データベース１５０は、撮像条件に対応するノイズ除去のためのGaussian平滑フィルタの値を算出するためのσ値を格納する。図５は、Gaussianσ値データベースのデータ構成の一例を示す説明図である。Gaussianσ値データベース１５０は、撮像条件と、Gaussian平滑フィルタの値を算出するためのσ値とを対応付けて記憶している。

ここで、σ値の大きさはノイズ除去の強さを表す。σが大きければ、ノイズ除去効果が大きい。なお、フィルタは、Gaussian関数に限って求められるものではなく、他の関数で求められるフィルタを用いてノイズ除去処理を行ってもよい。

画像情報取得部１０１は、一時保存用メモリから画像情報を取得するものである。取得された画像情報は、ＹＵＶ形式に変換された画像情報である。成分分離部１０２は、画像情報取得部１０１によって取得されたＹＵＶ形式の画像情報を輝度情報（Ｙ）と、色情報（Ｕ、Ｖ）とに分離するものである。

撮像条件取得部１０３は、一時保存用メモリから画像情報取得部１０１によって取得された画像情報に対応する撮像条件を取得するものである。この撮像条件とは、撮像時における撮像条件、すなわち撮像したカメラの感度、露光時間、撮像時の温度であり、画像情報に対応付けて保存されている。なお、撮像時の撮像条件は、画像情報の一部として保存
されていてもよい。

フィルタ決定部１０４は、撮像条件に対応したエッジ抽出フィルタ、ノイズ除去フィルタ（輝度フィルタ、色フィルタ）を決定するものである。まず、フィルタ決定部１０４は、エッジ抽出フィルタサイズデータベース１２０から、撮像条件取得部１０３によって取得された撮像条件に対応付けられたエッジ抽出フィルタのサイズを特定し、パラメータデータベース１３０から、撮像条件取得部１０３によって取得された撮像条件に対応付けられたLoG関数のσ値、ｋ値を特定する。

フィルタ決定部１０４は、さらにエッジ抽出フィルタサイズおよびLoG関数のσ値を用
いて、数式（１）によってエッジ抽出フィルタを算出する。

また、フィルタ決定部１０４は、撮像条件に対応したノイズ除去フィルタを決定する。フィルタ決定部１０４は、ノイズ除去フィルタサイズデータベース１４０から、撮像条件取得部１０３によって取得された撮像条件に対応付けられたノイズ除去フィルタのサイズ、すなわち輝度情報のノイズを除去するための輝度フィルタのサイズと、色情報のノイズを除去するための色フィルタのサイズを特定する。また、フィルタ決定部１０４は、Gaussianσ値データベース１５０から、撮像条件取得部１０３によって取得された撮像条件に対応付けられたGaussian関数のσ値を特定する。

フィルタ決定部１０４は、さらに輝度フィルタのサイズと、Gaussian関数のσ値を用いて、数式（２）により輝度フィルタ（Gaussian平滑フィルタ）を算出するものである。

また、フィルタ決定部１０４は、色フィルタのサイズと、Gaussian関数のσ値を用いて、色フィルタ（Gaussian平滑フィルタ）を算出するものである。算出式は、上述した数式（２）である。

輝度成分エッジ抽出部１１０は、フィルタ決定部１０４によって決定されたエッジ抽出フィルタ、ｋ値を用いて輝度情報からエッジ情報を抽出するものである。エッジ情報抽出結果は、数式（３）で表される。

ただし、上述した数式（３）の演算記号はconvolution（畳み込み演算）処理である。

輝度成分ノイズ除去部１０５は、フィルタ決定部１０４によって決定されたノイズ除去フィルタ、すなわち輝度フィルタ（ローパスフィルタ）を用いて輝度情報からノイズを除
去するものである。色成分ノイズ除去部１０６は、フィルタ決定部１０４によって決定されたノイズ除去フィルタ、すなわち色フィルタ（ローパスフィルタ）を用いて色情報からノイズを除去するものである。

画像情報合成部１０７は、輝度成分エッジ抽出部１１０によって抽出されたエッジ情報と、輝度成分ノイズ除去部１０５によってノイズ除去された輝度情報と、色成分ノイズ除去部１０６によってノイズ除去された色情報とを合成してＹＵＶ形式の画像情報を生成するものである。画像情報合成部１０７は、本発明にかかる画像情報生成手段を構成する。エッジ情報と輝度情報の合成は、数式（４）で算出される。

ただし、fs(x,y)はノイズ除去フィルタ処理された輝度成分であり、s(x,y)は合成画像
である。上述の数式（４）で算出された輝度情報に、さらに色情報を合成することによって画像情報が生成される。なお、ＹＵＶ形式の画像情報をさらにＲＧＢ形式などの他の形式の画像情報に変換してもよい。

画像情報圧縮部１０８は、画像情報合成部１０７によって合成されたＹＵＶ形式の画像情報を例えばＪＰＥＧ（Joint Photographic Experts Group）形式などに圧縮するものである。画像情報出力部１０９は、画像情報圧縮部１０８によって圧縮された画像情報をメモリカードなどに出力するものである。

次に、上述したように構成されている画像処理部１００による画像処理について説明する。図６−１、図６−２は、画像情報取得部、成分分離部、撮像条件取得部、フィルタ決定部、輝度成分エッジ抽出部、輝度成分ノイズ除去部、色成分ノイズ除去部、画像情報合成部、画像情報圧縮部、画像情報出力部が行う画像処理手順を示すフローチャートである。

画像情報取得部１０１は、一時保存用メモリからＹＵＶ形式の画像情報を取得する（ステップＳ６０１）。成分分離部１０２は、画像情報取得部１０１によって取得されたＹＵＶ形式の画像情報を輝度情報と色情報に分離する（ステップＳ６０２）。撮像条件取得部１０３は、画像情報に関連付けられた撮像条件を取得する（ステップＳ６０３）。

フィルタ決定部１０４は、エッジ抽出フィルタサイズデータベース１２０から撮像条件取得部１０３によって取得された撮像条件に対応したエッジ抽出フィルタのサイズを特定する（ステップＳ６０４）。例えば、エッジ抽出フィルタのサイズとして５×５が特定される。

フィルタ決定部１０４は、パラメータデータベース１３０から撮像条件取得部１０３によって取得された撮像条件に対応したLoG関数のσ値、ｋ値を特定する（ステップＳ６０
５）。フィルタ決定部１０４は、エッジ抽出フィルタのフィルタサイズ、特定されたLoG
関数のσ値、ｋ値からエッジ抽出フィルタの各値を決定する（ステップＳ６０６）。例えば、図７は、フィルタサイズが５×５の場合のエッジ抽出フィルタの一例である。エッジ抽出フィルタの値であるＡiは、数式（１）によって算出された値である。

輝度成分エッジ抽出部１１０は、フィルタ決定部１０４によって決定されたエッジ抽出フィルタを用いて、輝度情報からエッジ情報を抽出する（ステップＳ６０７）。図８は、エッジ抽出フィルタを用いたエッジ抽出結果の一例を示す説明図である。図８に示すよう
に、画像情報からエッジ成分（エッジ情報）が抽出される。

フィルタ決定部１０４は、ノイズ除去フィルタサイズデータベース１４０から撮像条件取得部１０３によって取得された撮像条件に対応したフィルタのサイズを特定する（ステップＳ６０８）。具体的には、撮像条件である、カメラの感度、露光時間、撮像時の温度に対応する輝度フィルタのサイズと、色フィルタのサイズを特定する。

フィルタ決定部１０４は、Gaussianσ値データベース１５０から撮像条件取得部１０３によって取得された撮像条件に対応したGaussian関数のσ値を特定する（ステップＳ６０９）。

フィルタ決定部１０４は、輝度フィルタおよび特定されたGaussian関数のσ値から輝度フィルタを決定し、色フィルタのフィルタサイズおよび特定されたGaussian関数のσ値から色フィルタを決定する（ステップＳ６１０）。

輝度成分ノイズ除去部１０５は、フィルタ決定部１０４によって決定された輝度フィルタを用いて、輝度情報からノイズを除去する（ステップＳ６１１）。図９は、輝度フィルタを用いたノイズ除去結果を示す説明図である。色成分ノイズ除去部１０６は、フィルタ決定部１０４によって決定された色フィルタを用いて、色情報からノイズを除去する（ステップＳ６１２）。

画像情報合成部１０７は、エッジ情報とノイズを除去した輝度情報と色情報を合成してＹＵＶ形式の画像情報を生成する（ステップＳ６１３）。図１０は、エッジ情報とノイズを除去した輝度情報を合成した結果を示す説明図である。合成された画像情報は、図１０に示すようにエッジが明確に表現されているため、エッジぼけがなく、かつノイズが除去された画像となる。画像情報圧縮部１０８は、画像情報合成部１０７によって生成されたＹＵＶ形式の画像情報をＪＰＥＧ形式などに圧縮する（ステップＳ６１４）。画像情報出力部１０９は、画像情報圧縮部１０８によって圧縮された画像情報をメモリカードなどに出力する（ステップＳ６１５）。

このように、画像情報を輝度情報と色情報とに分離して、輝度情報からエッジ情報を抽出し、輝度情報と色情報にノイズ除去処理を行い、さらにエッジ情報と、ノイズ除去した輝度情報と色情報とから画像情報を合成することにより、エッジ成分をノイズ除去の前に予め抽出しておき、ノイズ除去後にエッジ成分を合成することができるため、ノイズ除去の際にエッジが平滑化して画像ぼけが生じた画像を補完することができる。すなわち、エッジぼけを抑えて高画質を保ちつつ、効果的にノイズを除去することができる。

なお、上述した実地の形態では、エッジ抽出フィルタを決定するために、撮像条件に基づいてフィルタサイズと、σ値、ｋ値とを特定し、フィルタの値を算出して、エッジ抽出フィルタを決定したが、他の例として、撮像条件から直接エッジ抽出フィルタを決定してもよい。この場合、撮像条件と、エッジ抽出フィルタとを対応付けて記憶するデータベースを持ち、撮像条件に対応するエッジ抽出フィルタとを特定して、特定されたエッジ抽出フィルタを用いて、輝度情報からエッジ情報を抽出する。

次に、上述した画像処理を実施する撮像装置の一例であるデジタルカメラのハードウェア構成について説明する。図１１は、本実施の形態にかかるデジタルカメラのハードウェア構成を示すブロック図である。図１１に示すように被写体光は、まずデジタルカメラ１０００の撮像光学系１を通してＣＣＤ（Charge Coupled Device）３に入射される。また
、撮像光学系１とＣＣＤ３との間は、メカシャッタ２が配置されており、このメカシャッタ２によりＣＣＤ３への入射光を遮断することが出来る。なお、撮像光学系１及びメカシ
ャッタ２は、モータドライバ６より駆動される。

ＣＣＤ３は、撮像面に結像された光学像を電気信号に変換して、アナログの画像データとして出力する。ＣＣＤ３から出力された画像情報は、ＣＤＳ（Correlated Double Sampling:相関２重サンプリング）回路４によりノイズ成分を除去され、Ａ／Ｄ変換器５によ
りデジタル値に変換された後、画像処理回路８に対して出力される。

画像処理回路８は、画像データを一時格納するＳＤＲＡＭ（SynchronousＤＲＡＭ）１
２を用いて、ＹＵＶ変換処理や、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理、色変換処理などの各種画像処理を行う。なお、ホワイトバランス処理は、画像情報の色濃さを調整し、コントラスト補正処理は、画像情報のコントラストを調整する画像処理である。エッジ強調処理は、画像情報のシャープネスを調整し、色変換処理は、画像情報の色合いを調整する画像処理である。また、画像処理回路８は、信号処理や画像処理が施された画像情報を液晶ディスプレイ１６（以下、「ＬＣＤ１６」と略記する）に表示する。

また、信号処理、画像処理が施された画像情報は、圧縮伸張回路１３を介して、メモリカード１４に記録される。上記圧縮伸張回路１３は、操作部１５から取得した指示によって、画像処理回路８から出力される画像情報を圧縮してメモリカード１４に出力すると共に、メモリカード１４から読み出した画像情報を伸張して画像処理回路８に出力する回路である。

また、ＣＣＤ３、ＣＤＳ回路４及びＡ／Ｄ変換器５は、タイミング信号を発生するタイミング信号発生器７を介してＣＰＵ（Central Processing Unit）９によって、タイミン
グが制御されている。さらに、画像処理回路８、圧縮伸張回路１３、メモリカード１４も、ＣＰＵ９によって制御されている。

デジタルカメラ１０００において、ＣＰＵ９はプログラムに従って各種演算処理を行い、プログラムなどを格納した読み出し専用メモリであるＲＯＭ（Read Only Memory）１１および各種の処理過程で利用するワークエリア、各種データ格納エリアなどを有する読み出し書き込み自在のメモリであるＲＡＭ（Random Access Memory）１０などを内蔵し、これらがバスラインによって相互接続されている。

デジタルカメラ１０００は、ノイズ除去処理を行うとき、システムコントローラがＲＯＭ１１から高感度ノイズ除去プログラムをＲＡＭ１０にロードし、実行する。ノイズ除去プログラムは、システムコントローラを介して、撮像感度の設定、撮像時の露光時間を表すパラメータを取得する。それらのパラメータに対応する最適なノイズ除去の設定条件をＲＯＭ１１から読み込み、ノイズ処理を行う。処理対象となる画像はＳＤＲＡＭ１２に一時的に保存しており、保存した画像に対してノイズ除去処理を行う。

次に、撮像時におけるノイズ除去方法について説明する。まず、高感度ノイズの特性について説明する。デジタルカメラ（撮像装置）１０００は、ＣＣＤ３の感度は変えずに電気回路のアンプを変えることで、撮像感度を調整する。露光量が少ないときは露光不足であるが、アンプの拡大倍率を増加することで、感度を上げることができる。しかし、ノイズの信号も同時に拡大される。露光量は十分な場合、ノイズ信号は比較的に小さく、あまり目立たないが、露光不足の場合、アンプ増加により感度をあげるとノイズも拡大され、高感度ノイズは目立つようになる。このノイズはランダムノイズであり、白黒対象物を撮像しても、色ノイズが発生することになる。このように発生した画像情報のノイズを除去するために、上述のようなノイズ除去処理を行うものである。

なお、エッジ抽出フィルタサイズデータベース１２０、パラメータデータベース１３０、ノイズ除去フィルタサイズデータベース１４０およびGaussianσ値データベース１５０は、デジタルカメラ１０００のＲＯＭ１１、ＨＤＤ（Hard Disk Drive）、光ディスク、
メモリカードなどの一般的に利用されているあらゆる記憶媒体により構成することができる。

また、本実施の形態のデジタルカメラで実行される画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態のデジタルカメラで実行される画像処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

また、本実施の形態の画像処理プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

本実施の形態のデジタルカメラで実行される画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記憶媒体に記録されて提供される。

本実施の形態のデジタルカメラで実行される画像処理プログラムは、上述した各部（画像情報取得部、成分分離部、撮像条件取得部、フィルタ決定部、輝度成分エッジ抽出部、輝度成分ノイズ除去部、色成分ノイズ除去部、画像情報合成部、画像情報圧縮部、画像情報出力部など）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から画像処理プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、画像情報取得部、成分分離部、撮像条件取得部、フィルタ決定部、輝度成分エッジ抽出部、輝度成分ノイズ除去部、色成分ノイズ除去部、画像情報合成部、画像情報圧縮部、画像情報出力部などが主記憶装置上に生成されるようになっている。

（第２の実施の形態）
第２の実施の形態について、添付図面を参照して説明する。第２の実施の形態にかかる画像処理装置の一例であるデジタルカメラは、ノイズ除去した輝度情報と色情報に対して変倍処理を行い、変倍処理をした輝度情報、色情報、エッジ情報を合成して画像情報を生成するものである。ここでは、第１の実施の形態と異なる部分について説明する。

本発明が適用されるデジタルカメラに含まれる画像処理部の構成例について説明する。図１２は、本実施の形態にかかる画像処理部の構成を示すブロック図である。本実施の形態にかかる画像処理部２００は、画像情報取得部１０１と、成分分離部１０２と、撮像条件取得部１０３と、フィルタ決定部１０４と、変倍処理部２１１と、輝度成分エッジ抽出部１１０と、輝度成分ノイズ除去部１０５と、色成分ノイズ除去部１０６と、逆変倍処理部２１２と、画像情報合成部１０７と、画像情報圧縮部１０８と、画像情報出力部１０９と、エッジ抽出フィルタサイズデータベース１２０と、パラメータデータベース１３０と、ノイズ除去フィルタサイズデータベース１４０と、Gaussianσ値データベース１５０と、変倍率データベース２６０と、を備えている。

ここで、画像情報取得部１０１と、成分分離部１０２と、撮像条件取得部１０３と、フィルタ決定部１０４と、輝度成分エッジ抽出部１１０と、輝度成分ノイズ除去部１０５と、色成分ノイズ除去部１０６と、画像情報合成部１０７と、画像情報圧縮部１０８と、画像情報出力部１０９と、エッジ抽出フィルタサイズデータベース１２０と、パラメータデ
ータベース１３０と、ノイズ除去フィルタサイズデータベース１４０と、Gaussianσ値データベース１５０の構成、機能は、第１の実施の形態と同様であるので、説明を省略する。

変倍率データベース２６０は、撮像条件に対応する変倍処理をするための輝度情報および色情報ごとの変倍率を格納する。図１３は、変倍率データベースのデータ構成の一例を示す説明図である。変倍率データベース２６０は、撮像条件と、輝度情報および色情報ごとの変倍率とを対応付けて記憶している。

ここで、変倍率とは、輝度情報もしくは色情報のサイズを変更する比率である。サイズを縮小する場合は、変倍率を１００％より小さく設定する。１００％より小さな変倍率によって変倍処理をした場合は、変倍処理した画像は元の画像より小さくなる。縮小変倍処理を行った画像に対してフィルタ処理を行うと、縮小変倍処理を行った画像は、画像サイズが元の画像より小さくなっているため、処理時間が短縮され、処理を高速化することができる。また、元の画像を縮小することで、ローパスフィルタの効果も得られる。

例えば、変倍率が横３倍、縦３倍、ノイズ除去フィルタのサイズが５×５の場合、１５×１５サイズのノイズ除去フィルタの効果が得られる。画像情報に対して１５×１５のノイズ除去フィルタ処理を行うと、相当の時間がかかってしまう。しかし、同様の処理を３×３の変倍処理と５×５のノイズ除去フィルタを用いたノイズ除去処理とで実現すると処理時間を短縮することが可能となる。

変倍処理部２１１は、変倍率データベース２６０から取得した撮像条件に対応する変倍率を用いて成分分離部１０２によって分離された輝度情報および色情報に対して変倍処理を行うものである。

逆変倍処理部２１２は、輝度成分ノイズ除去部１０５によってノイズ除去された輝度情報と、色成分ノイズ除去部１０６によってノイズ除去された色情報を、変倍処理部２１１の逆倍率で変倍処理を行うものである。

次に、上述したように構成されている画像処理部２００による画像処理について説明する。図１４−１、図１４−２は、画像情報取得部、成分分離部、撮像条件取得部、フィルタ決定部、変倍処理部、輝度成分エッジ抽出部、輝度成分ノイズ除去部、色成分ノイズ除去部、逆変倍処理部、画像情報合成部、画像情報圧縮部、画像情報出力部が行う画像処理手順を示すフローチャートである。

本実施の形態にかかる画像処理の手順は、図６−１、図６−２に示すフローチャートと共通する部分があるので、異なる部分のみ説明する。ステップＳ１４０１〜ステップＳ１４１０は、図６−１、図６−２での説明を参照し、ここでの説明を省略する。

ステップＳ１４１１において、変倍処理部２１１は、変倍率データベース２６０から撮像条件に対応した変倍率を特定する（ステップＳ１４１１）。変倍率は、輝度情報と色情報のそれぞれに対して特定する。変倍処理部２１１は、成分分離部１０２によって分離された輝度情報および色情報に対して、それぞれの変倍率で変倍処理を行う（ステップＳ１４１２）。

輝度成分ノイズ除去部１０５は、変倍処理部２１１によって変倍処理された輝度情報から、輝度フィルタを用いてノイズを除去する（ステップＳ１４１３）。色成分ノイズ除去部１０６は、変倍処理部２１１によって変倍処理された色情報から、色フィルタを用いてノイズを除去する（ステップＳ１４１４）。

逆変倍処理部２１２は、輝度成分ノイズ除去部１０５によってノイズ除去された輝度情報、および色成分ノイズ除去部１０６によってノイズ除去された色情報を逆倍率で変倍処理する（ステップＳ１４１５）。

画像情報合成部１０７は、エッジ情報と変倍処理された輝度情報と色情報からＹＵＶ形式の画像情報を合成する（ステップＳ１４１６）。画像情報圧縮部１０８は、画像情報合成部１０７によって生成されたＹＵＶ形式の画像情報をＪＰＥＧ形式などに圧縮する（ステップＳ１４１７）。画像情報出力部１０９は、画像情報圧縮部１０８によって圧縮された画像情報をメモリカードなどに出力する（ステップＳ１４１８）。

このように、カメラの感度をあげたことによってノイズのサイズが大きくなり、ノイズ除去フィルタのサイズを大きくする必要がある場合であっても、輝度情報および色情報を変倍してノイズ除去処理を行い、処理後に逆倍率で変倍することにより、ノイズ除去処理の時間を短縮することができ、高速で効果的なノイズ除去処理を実現することができる。

（第３の実施の形態）
第３の実施の形態について、添付図面を参照して説明する。第３の実施の形態にかかる画像処理装置は、撮像装置に代えて画像処理装置において画像情報のエッジ抽出、ノイズ除去を行うものである。ここでは、第１の実施の形態と異なる部分について説明する。

本発明が適用される画像処理装置の構成例について説明する。図１５は、本実施の形態にかかる画像処理装置の構成を示すブロック図である。本実施の形態にかかる画像処理装置３００は、画像情報取得部３０１と、画像情報変換部３１３と、成分分離部１０２と、撮像条件取得部３０３と、フィルタ決定部１０４と、輝度成分エッジ抽出部１１０と、輝度成分ノイズ除去部１０５と、色成分ノイズ除去部１０６と、画像情報合成部１０７と、画像情報変換部３１４と、画像情報出力部３０９と、エッジ抽出フィルタサイズデータベース１２０と、パラメータデータベース１３０と、ノイズ除去フィルタサイズデータベース１４０と、Gaussianσ値データベース１５０と、を備えている。

ここで、成分分離部１０２と、フィルタ決定部１０４と、輝度成分エッジ抽出部１１０と、輝度成分ノイズ除去部１０５と、色成分ノイズ除去部１０６と、画像情報合成部１０７と、エッジ抽出フィルタサイズデータベース１２０と、パラメータデータベース１３０と、ノイズ除去フィルタサイズデータベース１４０と、Gaussianσ値データベース１５０の構成、機能は、第１の実施の形態と同様であるので、説明を省略する。

画像情報取得部３０１は、記憶媒体に格納されている画像情報または、ネットワークを介して送信される画像情報を取得するものである。画像情報変換部３１３は、画像情報取得部３０１によって取得された画像情報をＹＵＶ形式の画像情報に変換するものである。

撮像条件取得部３０３は、画像情報取得部３０１によって取得された画像情報から撮像条件を取得するものである。画像情報変換部３１４は、画像情報合成部１０７によって生成されたＹＵＶ形式の画像情報をＲＧＢ形式などの他の形式の画像情報に変換するものである。画像情報出力部３０９は、画像情報変換部３１４によって変換された画像情報をＨＤＤやプリンタに出力するものである。

上述したように構成されている画像処理装置による画像処理について説明する。図１６−１、図１６−２は、画像情報取得部、画像情報変換部、成分分離部、撮像条件取得部、フィルタ決定部、輝度成分エッジ抽出部、輝度成分ノイズ除去部、色成分ノイズ除去部、画像情報合成部、画像情報変換部、画像情報出力部が行う画像処理手順を示すフローチャ
ートである。

本実施の形態にかかる画像処理の手順は、図６−１、図６−２に示すフローチャートとほぼ同様であるので、異なる部分のみ説明する。ステップＳ１６０５〜ステップＳ１６１４は、図６−１、図６−２での説明を参照し、ここでの説明を省略する。

画像情報取得部３０１は、記憶媒体に格納された画像情報やネットワークを介して送信された画像情報を取得する（ステップＳ１６０１）。画像情報変換部３１３は、画像情報取得部３０１によって取得された画像情報をＹＵＶ形式の画像情報に変換する（ステップＳ１６０２）。例えば、取得された画像情報がＲＧＢ形式の場合は、以下の変換式によって、ＹＵＶ形式の画像情報に変換する。

成分分離部１０２は、変換されたＹＵＶ形式の画像情報を輝度情報と色情報に分離する（ステップＳ１６０３）。撮像条件取得部３０３は、画像情報取得部３０１によって取得された画像情報から撮像条件を取得する（ステップＳ１６０４）。例えば、取得された画像情報がExif（Exchangeable Image File Format）形式の画像情報である場合には、画像情報に付加されて撮像装置のメーカ、機番、撮像感度、撮像時の露光時間などのデータを記録されている。

ステップＳ１６０５〜ステップＳ１６１４の説明は、図６−１、図６−２の説明を参照する。画像情報変換部３１４は、画像情報合成部１０７によって生成されたＹＵＶ形式の画像情報を、例えばＲＧＢ形式の画像情報に変換する（ステップＳ１６１５）。ＹＵＶ形式の画像情報をＲＧＢ形式の画像情報に変換する場合には、以下の変換式によって変換する。

画像情報出力部３０９は、画像情報変換部３１４によって変換された画像情報を記憶媒体やプリンタに出力する（ステップＳ１６１６）。

このように、画像処理装置においても、ＹＵＶ形式の画像情報を輝度情報と色情報に分離して、輝度情報に対してエッジ情報を抽出し、輝度情報と色情報に対してノイズ除去し、エッジ情報、輝度情報および色情報を合成することにより、エッジぼけを抑えて高画質を保ちつつ、効果的にノイズを除去することができる。また、輝度情報と色情報を分離して、それぞれに適したフィルタを用いてノイズを除去することにより、人間の目の特性を考慮した効果的なノイズ除去を行うことができる。

なお、本実施の形態に第２の実施の形態において説明した変倍処理を組み込んでもよい。これにより、画像処理装置においても、撮像の感度をあげたことによってノイズのサイズが大きくなり、ノイズ除去フィルタのサイズを大きくする必要がある場合に、輝度情報
および色情報を変倍してノイズ除去処理を行い、処理後に逆倍率で変倍することにより、ノイズ除去処理の時間を短縮することができ、高速で効果的なノイズ除去処理を実装することができる。

図１７は、本実施の形態にかかる画像処理装置のハードウェア構成を示すブロック図である。画像処理装置３００は、各部を集中的に制御するＣＰＵ（Central Processing Unit）２４を備えており、このＣＰＵ２４には、ＢＩＯＳなどを記憶した読出し専用メモリ
であるＲＯＭ（Read Only Memory）２２と、各種データを書換え可能に記憶してＣＰＵの作業エリアとして機能するＲＡＭ（Random Access Memory）２１とがバスで接続されており、マイクロコンピュータを構成している。さらにバスには、制御プログラムが記憶されたＨＤＤ２５と、ＣＤ（Compact Disc）−ＲＯＭを読み取るＣＤ−ＲＯＭドライブ２６と、プリンタ部等との通信を司るインタフェースであるＩ／Ｆ２３とが接続されている。

図１７に示すＣＤ−ＲＯＭ２８は、所定の制御プログラムが記憶されている。ＣＰＵ２４は、ＣＤ−ＲＯＭ２８に記憶されている制御プログラムをＣＤ−ＲＯＭドライブ２６で読み取り、ＨＤＤ２５にインストールする。これにより、上述したような各種の処理を行うことが可能な状態となる。また、メモリカード２９には、画像情報などが格納され、メモリカードドライバ２７で読み取られる。

なお、記憶媒体としては、ＣＤ−ＲＯＭやメモリカードのみならず、ＤＶＤなどの各種の光ディスク、各種光磁気ディスク、フレキシブルディスクなどの各種磁気ディスク、半導体メモリ等、各種方式のメディアを用いることができる。また、インターネットなどのネットワークからプログラムをダウンロードし、ＨＤＤ２５にインストールするようにしてもよい。この場合に、送信側のサーバでプログラムを記憶している記憶装置も、この発明の記憶媒体である。なお、プログラムは、所定のＯＳ（Operating System）上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をＯＳに肩代わりさせるものであってもよいし、ワープロソフトなど所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。

なお、第１の実施の形態と同様に、エッジ抽出フィルタサイズデータベース１２０、パラメータデータベース１３０、ノイズ除去フィルタサイズデータベース１４０およびGaussianσ値データベース１５０は、ＨＤＤ、光ディスク、メモリカードなどの一般的に利用されているあらゆる記憶媒体により構成することができる。

また、本実施の形態の画像処理装置で実行される画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態の画像処理装置で実行される画像処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

また、本実施の形態の画像処理プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

本実施形態の画像処理装置で実行される画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記憶媒体に記録されて提供される。

本実施の形態の画像処理装置で実行される画像処理プログラムは、上述した各部（画像情報取得部、画像情報変換部、成分分離部、撮像条件取得部、フィルタ決定部、輝度成分エッジ抽出部、輝度成分ノイズ除去部、色成分ノイズ除去部、画像情報合成部、画像情報
出力部など）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から画像処理プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、画像情報取得部、画像情報変換部、成分分離部、撮像条件取得部、フィルタ決定部、輝度成分エッジ抽出部、輝度成分ノイズ除去部、色成分ノイズ除去部、画像情報合成部、画像情報出力部などが主記憶装置上に生成されるようになっている。

（第４の実施の形態）
第４の実施の形態について、添付図面を参照して説明する。まず、本発明が適用されるデジタルカメラに含まれる画像処理部の構成例について説明する。図１８は、本実施の形態にかかる画像処理部の構成を示すブロック図である。

本実施の形態にかかる画像処理部４００は、画像情報取得部１０１と、高感度低解像画像生成部４１５と、成分分離部４０２と、色成分ノイズ除去部４０６と、輝度成分ノイズ除去部４０５と、輝度成分エッジ抽出部４１０と、変倍処理部４１１と、輝度成分合成部４１６と、画像情報合成部４０７と、画像情報出力部１０９とを備えている。なお、画像情報取得部１０１と、画像情報出力部１０９の構成、機能は、それぞれ第１の実施の形態と同様であるので、説明を省略する。

高感度低解像画像生成部４１５は、画像情報取得部１０１によって取得された画像情報中の隣接する複数の画素の画素値を加算して１つの画素値を算出することによって、取得された画像情報から高感度低解像画像情報を生成する。例えば、４つの隣接する画素値を加算する場合の画素数は１／４になるが、１画素当たりの光量は４倍になるため、感度は４倍になる。なお、画素値を加算する画素数は、４つに限るものではなく、また画素値を加算する画素の形状も正方形に限らず、様々な多角形や直線、折れ線状であってもよい。

成分分離部４０２は、高感度低解像画像生成部４１５によって生成された高感度低解像画像情報を輝度情報と色情報に分離する。また、成分分離部４０２は、画像情報取得部１０１によって取得された画像情報を輝度情報と色情報に分離する。なお、画像情報取得部１０１によって取得された画像情報は、画素値を加算して生成した高感度低解像画像情報に対して低感度高解像画像情報である。

色成分ノイズ除去部４０６は、装置に記憶されたフィルタを用いて色情報のノイズを除去する。なお、フィルタは、装置に記憶されたフィルタを用いるほか、第１の実施の形態で示したように撮像条件に対応するσ値からGaussian平滑フィルタを算出して、算出されたフィルタを用いて色情報からノイズを除去してもよい。

輝度成分ノイズ除去部４０５は、装置に記憶されたフィルタを用いて輝度情報のノイズを除去する。なお、フィルタは、装置に記憶されたフィルタを用いるほか、第１の実施の形態で示したように撮像条件に対応するσ値からGaussian平滑フィルタを算出して、算出されたフィルタを用いて輝度情報からノイズを除去してもよい。

輝度成分エッジ抽出部４１０は、装置に記憶されたフィルタを用いて輝度情報からエッジ情報を抽出する。なお、フィルタは、装置に記憶されたフィルタを用いるほか、第１の実施の形態で示したように撮像条件に対応するσ値、ｋ値からLaplacian of Gaussian(LoG)フィルタを算出して、算出されたフィルタを用いてエッジ情報を抽出してもよい。

変倍処理部４１１は、色成分ノイズ除去部４０６によってノイズを除去された色情報を変倍処理し、成分分離部４０２によって分離された輝度情報を変倍処理する。例えば、高感度低解像画像生成部４１５において４つの画素値を加算して１つの画素値を算出して高
感度低解像画像情報を生成し、画像サイズが１／４になった場合は、もとの画像サイズになるように画素値のそれぞれを変倍、すなわち４倍する。

輝度成分合成部４１６は、変倍処理部４１１によって変倍処理された輝度情報と、輝度成分ノイズ除去部４０５によってノイズを除去された輝度情報と、輝度成分エッジ抽出部４１０によって抽出されたエッジ情報から輝度情報を合成する。

画像情報合成部４０７は、変倍処理部４１１によって変倍処理された色情報と、輝度成分合成部４１６によって合成された輝度情報から画像情報を合成する。

次に、上述したように構成されている画像処理部４００による画像処理について説明する。図１９は、画像情報取得部、高感度低解像画像生成部、成分分離部、色成分ノイズ除去部、輝度成分ノイズ除去部、輝度成分エッジ抽出部、変倍処理部、輝度成分合成部、画像情報合成部、画像情報出力部が行う画像処理手順を示すフローチャートである。

まず、画像情報取得部１０１は、一時保存用メモリから画像情報を取得する（ステップＳ１９０１）。高感度低解像画像生成部４１５は、画像情報中の隣接する複数の画素値を加算して高感度低解像画像情報を生成する（ステップＳ１９０２）。これにより、画像の画素数は減少するが、１つの画素あたりの露光量は増加する。成分分離部４０２は、高感度低解像画像情報を色情報（ＣｒＣｂ信号）と輝度情報（Ｙ信号）に分離する（ステップＳ１９０３）。色成分ノイズ除去部４０６は、分離した色情報からノイズを除去する（ステップＳ１９０４）。ここでのノイズ除去処理は、ローパスフィルタ（例えば、平滑フィルタ）を用いる。図２０は、フィルタサイズが３×３の場合の平滑フィルタの一例である。

変倍処理部４１１は、ノイズ除去した色情報をもとの画像サイズに変倍する（ステップＳ１９０５）。変倍処理部４１１は分離した輝度情報をもとの画像サイズに変倍する（ステップＳ１９０６）。これにより、画素値を加算して生成した高感度低解像画像情報から分離した輝度情報と、高感度低解像画像情報から分離し、さらにノイズを除去した色情報は、画素値を加算する前の画像サイズとなる。

成分分離部４０２は、画像情報取得部１０１から取得した画像情報を輝度情報（Ｙ信号）と色情報（ＣｒＣｂ信号）に分離する（ステップＳ１９０７）。輝度成分ノイズ除去部４０５は、分離した輝度情報からノイズを除去する（ステップＳ１９０８）。ノイズ除去処理は、上述した色成分ノイズ除去部４０６での処理と同様にローパスフィルタ（例えば、図２０に示す平滑フィルタ）を用いる。

また、輝度成分エッジ抽出部４１０は、分離した輝度情報からエッジ情報を抽出する（ステップＳ１９０９）。ここで、エッジ抽出処理には、LoGフィルタをエッジ抽出フィル
タとして用いる。フィルタは、上述した数式（１）によって算出することができる。図２１は、フィルタサイズが５×５の場合のエッジ抽出フィルタの一例である。また、エッジ成分抽出処理は、上述した数式（３）を用いる。図２２は、分離した輝度情報を示す説明図である。図２３は、輝度情報からエッジを抽出した結果を示す説明図である。このように、図２２に示すような輝度情報から図２１に示すようなエッジ抽出フィルタを用いてエッジを抽出すると、図２３に示すようにエッジ成分が抽出される。

輝度成分合成部４１６は、高感度低解像画像情報を分離して変倍した輝度情報と、ノイズ除去した輝度情報と、エッジ情報とから輝度情報を合成する（ステップＳ１９１０）。図２４は、輝度情報とエッジ情報を合成した結果を示す説明図である。図２４に示すようにエッジ成分を抽出し、高感度低解像画像情報を分離して変倍した輝度情報とノイズ除去
した輝度情報と合成することにより、画像の解像度を低下させることがなく、高品質な画像を得ることができる。画像情報合成部４０７は、高感度低解像画像情報を分離して変倍された色情報と、合成された輝度情報から画像情報を合成する（ステップＳ１９１１）。画像情報出力部１０９は、合成された画像情報を出力する（ステップＳ１９１２）。なお、ステップＳ１９０７〜ステップＳ１９０９の処理は、ステップＳ１９０２〜ステップ１９０６の処理と並列に実行してもよい。

このように、高感度低解像画像情報の輝度情報とノイズを除去した色情報、および低感度高解像画像情報のノイズを除去した輝度情報とエッジ情報から画像情報を合成することにより、撮像する際の露光時間が短い場合であっても、ノイズが除去され、色再現性が高くホワイトバランスがよい画像情報と得ることができ、画像の色と輝度とのバランスがよい画像情報を得ることができる。

なお、高感度低解像度画像から分離した輝度情報を変倍して、画像情報に合成することにより、合成画像のノイズを抑えることができる。すなわち、画像情報の輝度値をそのまま輝度値として利用すると、画像情報の輝度値は低いため、画像情報の輝度値にアンプをかけて値を拡大しなければならない。それにより、ノイズも同時に強調されることとなる。一方、高感度低解像画像の輝度情報を合成すると、画像情報に対するアンプの倍率を低くすることができるため、ノイズの拡大倍率は小さくなり、合成画像のノイズ成分は小さくなる。よって、結果として合成画像のノイズを低減することができる。

なお、上述した実施の形態では、撮像部で撮像し、一時保存メモリの格納された１つの画像情報を用いて、高感度低解像画像情報と、低感度高解像画像情報を生成したが、撮像部で２回撮像することによって得られた２つの画像情報を用いて高感度低解像画像情報と、低感度高解像画像情報を生成してもよい。その際、露光時間は、同一の時間で２つの画像情報を生成してもよく、また、異なる時間で２つの画像情報を生成し、露光時間が長い画像情報を用いて高感度低解像画像情報を生成し、露光時間が短い画像情報を用いて低感度高解像画像情報を生成するようにしてもよい。

次に、上述した画像処理を実施する撮像装置の一例であるデジタルカメラのハードウェア構成について説明する。デジタルカメラのハードウェア構成は、上述した図１１とほぼ同様であるので、図１１およびその説明を参照し、ここでは異なる部分のみ説明する。

ＣＣＤ３は、撮像面に結像された光学像を電気信号に変換して、アナログの画像情報として出力する。上述した画像処理部４００では、１回撮像された画像情報を用いて高感度低解像画像情報と低感度高解像画像情報を生成する。また、２回の露光によって順次画像情報を出力し、出力された画像情報を用いてもよい。その場合、露光した１枚の画像情報に対して画素値を加算する処理を行う。ＣＣＤ３から出力された画像情報は、ＣＤＳ回路４によりノイズ成分を除去され、Ａ／Ｄ変換器５によりデジタル値に変換された後、画像処理回路８に対して出力される。ここでのノイズ除去は、回路による処理であり、上述した画像処理によるノイズ除去ではない。

画像処理回路８は、画像情報を一時格納するＳＤＲＡＭ１２を用いて、ＹＣｒＣｂ変換処理や、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理、色変換処理などの各種画像処理を行う。なお、ホワイトバランス処理は、画像情報の色濃さを調整し、コントラスト補正処理は、画像情報のコントラストを調整する画像処理である。エッジ強調処理は、画像情報のシャープネスを調整し、色変換処理は、画像情報の色合いを調整する画像処理である。また、画像処理回路８は、信号処理や画像処理が施された画像情報をＬＣＤ１６に表示する。

デジタルカメラは、高感度画像合成処理を行うとき、システムコントローラがＲＯＭ１１から画像処理プログラムをＲＡＭ１０にロードし、実行する。画像処理プログラムは、ＳＤＲＡＭに一時保存されたＹＣｒＣｂ画像にアクセスし、システムコントローラを介して、色成分ノイズ除去、輝度成分ノイズ除去および輝度成分エッジ抽出処理のパラメータやフィルタを取得し、各処理を行う。

本実施の形態のデジタルカメラで実行される画像処理プログラムは、上述した各部（画像情報取得部、高感度低解像画像生成部、成分分離部、色成分ノイズ除去部、変倍処理部、輝度成分エッジ抽出部、輝度成分ノイズ除去部、輝度成分合成部、画像情報合成部、画像情報出力部など）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から画像処理プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、画像情報取得部、高感度低解像画像生成部、成分分離部、色成分ノイズ除去部、変倍処理部、輝度成分エッジ抽出部、輝度成分ノイズ除去部、輝度成分合成部、画像情報合成部、画像情報出力部などが主記憶装置上に生成されるようになっている。

（第５の実施の形態）
第５の実施の形態について、添付図面を参照して説明する。まず、本発明が適用される画像処理装置の構成例について説明する。図２５は、本実施の形態にかかる画像処理装置の構成を示すブロック図である。

本実施の形態にかかる画像処理装置５００は、画像情報取得部５０１と、成分変換部５１７と、成分分離部４０２と、色成分ノイズ除去部４０６と、変倍処理部４１１と、輝度成分ノイズ除去部４０５と、輝度成分エッジ抽出部４１０と、輝度成分合成部４１６と、画像情報合成部４０７と、成分変換部５１８と、撮像条件取得部３０３と、画像情報出力部３０９とを備えている。なお、成分分離部４０２と、色成分ノイズ除去部４０６と、変倍処理部４１１と、輝度成分ノイズ除去部４０５と、輝度成分エッジ抽出部４１０と、輝度成分合成部４１６と、画像情報合成部４０７の構成、機能は、それぞれ第４の実施の形態と同様であり、撮像条件取得部３０３と、画像情報出力部３０９の構成、機能は、それぞれ第３の実施の形態と同様であるので、説明を省略する。

画像情報取得部５０１は、メモリに格納された高感度低解像画像情報と低感度高解像画像情報を取得する。高感度低解像画像情報は、上述した第４の実施の形態と同様に、撮像部が撮像した画像情報の複数の画素の画素値を加算することによって生成する。本実施の形態では、撮像時に画素値加算処理を行なって生成した高感度低解像画像情報に、撮像時に画素値加算された画素数等の撮像条件が付加され、例えばデジタルカメラのメモリカードに格納されている。また、撮像された画像情報（低感度高解像画像情報）も撮像条件が付加されて格納されている。例えば、画像情報がExif形式である場合は、画像情報に付加される撮像条件は、撮像装置のメーカ、機番、撮像感度、撮像時の画素値加算された画素数などである。なお、高感度低解像画像情報の画像サイズは、画素値加算が行われているため縮小され、低感度高解像画像情報の画像サイズは、通常のサイズである。

成分変換部５１７は、ＲＧＢ形式の画像情報をＹＣｒＣｂ形式の画像情報に変換する。成分変換部５１８は、ＹＣｒＣｂ形式の画像情報をＲＧＢ形式の画像情報に変換する。

次に、上述したように構成されている画像処理装置５００による画像処理について説明する。図２６は、画像情報取得部、成分変換部、成分分離部、色成分ノイズ除去部、変倍処理部、輝度成分ノイズ除去部、輝度成分エッジ抽出部、輝度成分合成部、画像情報合成部、画像情報出力部が行う画像処理手順を示すフローチャートである。

本実施の形態にかかる画像処理の手順は、図１９に示すフローチャートとほぼ同様であるので、異なる部分のみ説明する。ステップＳ２６０９〜ステップＳ２６１２は、図１９での説明を参照し、ここでの説明を省略する。

まず、画像情報取得部５０１は、メモリからＲＧＢ形式の高感度低解像度画像情報を取得する（ステップＳ２６０１）。高感度低解像画像情報には、撮像条件が付加されているため、撮像時に画素値加算された画素数なども取得される。成分変換部５１７は、ＲＧＢ形式の画像情報をＹＣｒＣｂ形式の画像情報に変換する（ステップＳ２６０２）。成分分離部４０２は、高感度低解像画像情報を色情報（ＣｒＣｂ信号）と輝度情報（Ｙ信号）に分離する（ステップＳ２６０３）。色成分ノイズ除去部４０６は、分離した色情報からノイズを除去する（ステップＳ２６０４）。

変倍処理部４１１は、撮像条件として取得した画素値加算された画素数を用いて、ノイズ除去した色情報をもとの画像サイズに変倍する（ステップＳ２６０５）。また、変倍処理部４１１は、撮像条件として取得した画素値加算された画素数を用いて、分離した輝度情報をもとの画像サイズに変倍する（ステップＳ２６０６）。これにより、画素値を加算して生成した高感度低解像画像情報から分離した輝度情報と、ノイズを除去した色情報は、画素値を加算する前の画像サイズとなる。

画像情報取得部５０１は、メモリからＲＧＢ形式の低感度高解像度画像情報を取得する（ステップＳ２６０７）。低感度高解像画像情報に撮像条件が付加されているため、撮像条件も取得される。成分変換部５１７は、ＲＧＢ形式の画像情報をＹＣｒＣｂ形式の画像情報に変換する（ステップＳ２６０８）。以下、ステップＳ２６０９〜ステップＳ２６１２は、図１９の説明を参照する。

画像情報合成部４０７は、高感度低解像画像情報を分離して変倍した色情報と、合成した輝度情報から画像情報を合成する（ステップＳ２６１３）。成分変換部５１８は、ＹＣｒＣｂ形式の画像情報をＲＧＢ形式の画像情報に変換する（ステップＳ２６１４）。画像情報出力部３０９は、変換された画像情報を記憶媒体やプリンタに出力する（ステップＳ２６１５）。なお、ステップＳ２６０７〜ステップＳ２６１１の処理は、ステップＳ２６０１〜ステップ２６０６の処理と並列に実行してもよい。

このように、画像処理装置でも、高感度低解像画像情報の輝度情報とノイズを除去した色情報、および低感度高解像画像情報のノイズを除去した輝度情報とエッジ情報から画像情報を合成することにより、撮像する際の露光時間が短い場合であっても、ノイズが除去され、色再現性が高くホワイトバランスがよい画像情報と得ることができ、画像の色と輝度とのバランスのよい高品質な画像を得ることができる。

なお、本実施の形態では、撮像時に画素値加算を行って高感度低解像画像情報を生成し、メモリに記憶された高感度低解像画像情報と低感度高解像度画像情報を取得するところから処理を説明したが、上述した第４の実施の形態と同様に、撮像された１つの画像情報をメモリに記憶し、画像処理として画素値加算を行うことによって高感度低解像画像情報を生成してもよい。また、撮像部で２つの画像情報を撮像し、一方に画像値加算処理を行った上で上述した画像処理を行ってもよい。

また、本実施の形態にかかる画像処理装置のハードウェア構成について説明する。画像処理装置のハードウェア構成は、上述した図１７とほぼ同様であるので、図１７およびその説明を参照する。

以上、本発明を第１〜第５の実施の形態を用いて説明してきたが、上述した実施の形態
に多様な変更または改良を加えることができる。なお、上述した第１の実施の形態〜第５の実施の形態において説明した構成や機能は、自由に組み合わせることができる。

本実施の形態にかかる画像処理部の構成を示すブロック図である。 エッジ抽出フィルタサイズデータベースのデータ構成の一例を示す説明図である。 パラメータデータベースのデータ構成の一例を示す説明図である。 ノイズ除去フィルタサイズデータベースのデータ構成の一例を示す説明図である。 Gaussianσ値データベースのデータ構成の一例を示す説明図である。 画像情報取得部、成分分離部、撮像条件取得部、フィルタ決定部、輝度成分エッジ抽出部、輝度成分ノイズ除去部、色成分ノイズ除去部、画像情報合成部、画像情報圧縮部、画像情報出力部が行う画像処理手順を示すフローチャートである。 画像情報取得部、成分分離部、撮像条件取得部、フィルタ決定部、輝度成分エッジ抽出部、輝度成分ノイズ除去部、色成分ノイズ除去部、画像情報合成部、画像情報圧縮部、画像情報出力部が行う画像処理手順を示すフローチャートである。 フィルタサイズが５×５の場合のエッジ抽出フィルタの一例を示す説明図である。 エッジ抽出フィルタを用いたエッジ抽出結果の一例を示す説明図である。 輝度フィルタを用いたノイズ除去結果を示す説明図である。 エッジ情報とノイズを除去した輝度情報を合成した結果を示す説明図である。 本実施の形態にかかるデジタルカメラのハードウェア構成を示すブロック図である。 本実施の形態にかかる画像処理部の構成を示すブロック図である。 変倍率データベースのデータ構成の一例を示す説明図である。 画像情報取得部、成分分離部、撮像条件取得部、フィルタ決定部、変倍処理部、輝度成分エッジ抽出部、輝度成分ノイズ除去部、色成分ノイズ除去部、逆変倍処理部、画像情報合成部、画像情報圧縮部、画像情報出力部が行う画像処理手順を示すフローチャートである。 画像情報取得部、成分分離部、撮像条件取得部、フィルタ決定部、変倍処理部、輝度成分エッジ抽出部、輝度成分ノイズ除去部、色成分ノイズ除去部、逆変倍処理部、画像情報合成部、画像情報圧縮部、画像情報出力部が行う画像処理手順を示すフローチャートである。 本実施の形態にかかる画像処理装置の構成を示すブロック図である。 画像情報取得部、画像情報変換部、成分分離部、撮像条件取得部、フィルタ決定部、輝度成分エッジ抽出部、輝度成分ノイズ除去部、色成分ノイズ除去部、画像情報合成部、画像情報変換部、画像情報出力部が行う画像処理手順を示すフローチャートである。 画像情報取得部、画像情報変換部、成分分離部、撮像条件取得部、フィルタ決定部、輝度成分エッジ抽出部、輝度成分ノイズ除去部、色成分ノイズ除去部、画像情報合成部、画像情報変換部、画像情報出力部が行う画像処理手順を示すフローチャートである。 本実施の形態にかかる画像処理装置のハードウェア構成を示すブロック図である。 本実施の形態にかかる画像処理部の構成を示すブロック図である。 画像情報取得部、高感度低解像画像生成部、成分分離部、輝度成分エッジ抽出部、輝度成分ノイズ除去部、色成分ノイズ除去部、変倍処理部、輝度成分合成部、画像情報合成部、画像情報出力部が行う画像処理手順を示すフローチャートである。 フィルタサイズが３×３の場合の平滑フィルタの一例を示す説明図である。 フィルタサイズが５×５の場合のエッジ抽出フィルタの一例を示す説明図である。 分離した輝度情報を示す説明図である。 輝度情報からエッジを抽出した結果を示す説明図である。 輝度情報とエッジ情報を合成した結果を示す説明図である。 本実施の形態にかかる画像処理装置の構成を示すブロック図である。 画像情報取得部、成分変換部、成分分離部、色成分ノイズ除去部、変倍処理部、輝度成分ノイズ除去部、輝度成分エッジ抽出部、輝度成分合成部、画像情報合成部、画像情報出力部が行う画像処理手順を示すフローチャートである。

符号の説明

１００ ２００ ４００ 画像処理部
１０１ ３０１ ５０１ 画像情報取得部
１０２ ４０２ 成分分離部
１０３ ３０３ 撮像条件取得部
１０４ フィルタ決定部
１０５ ４０５ 輝度成分ノイズ除去部
１０６ ４０６ 色成分ノイズ除去部
１０７ ４０７ 画像情報合成部
１０８ 画像情報圧縮部
１０９ ３０９ 画像情報出力部
１１０ ４１０ 輝度成分エッジ抽出部
１２０ エッジ抽出フィルタサイズデータベース
１３０ パラメータデータベース
１４０ ノイズ除去フィルタサイズデータベース
１５０ Gaussianσ値データベース
２１１ ４１１ 変倍処理部
２１２ 逆変倍処理部
２６０ 変倍率データベース
３００ ５００ 画像処理装置
３１３ ３１４ 画像情報変換部
４１５ 高感度低解像画像生成部
４１６ 輝度成分合成部
５１７ ５１８ 成分変換部
１０００ デジタルカメラ

Claims (17)

1. 画像情報を取得する画像情報取得手段と、
   前記画像情報取得手段によって取得された前記画像情報を輝度情報と色情報とに分離する画像成分分離手段と、
   前記画像成分分離手段によって分離された前記輝度情報からエッジ情報を抽出するエッジ抽出手段と、
   前記画像成分分離手段によって分離された前記輝度情報からノイズを除去する輝度ノイズ除去手段と、
   前記画像成分分離手段によって分離された前記色情報からノイズを除去する色ノイズ除去手段と、
   前記エッジ抽出手段によって抽出された前記エッジ情報と、前記輝度ノイズ除去手段によってノイズを除去された前記輝度情報と、前記色ノイズ除去手段によってノイズを除去された前記色情報とに基づいて、画像情報を生成する画像情報生成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記エッジ抽出手段は、さらにフィルタを用いて前記輝度情報からエッジ情報を抽出すること、を特徴とする請求項１に記載の画像処理装置。
3. 前記画像情報の撮像時の撮像状況を示す撮像条件と、前記フィルタのサイズと、を対応付けて記憶するフィルタサイズ記憶手段と、
   前記撮像条件を取得する撮像条件取得手段と、
   前記フィルタサイズ記憶手段から前記撮像条件取得手段によって取得された前記撮像条件に対応付けられた前記フィルタのサイズを特定するフィルタ決定手段と、をさらに備え、
   前記エッジ抽出手段は、前記フィルタ決定手段によって特定されたサイズの前記フィルタを用いてエッジ情報を抽出すること、を特徴とする請求項２に記載の画像処理装置。
4. 前記画像情報の撮像時の撮像状況を示す撮像条件と、Laplacian of Gaussian(LoG)関数におけるパラメータであるσ値とｋ値と、を対応付けて記憶するパラメータ記憶手段、をさらに備え、
   前記フィルタ決定手段は、さらに前記パラメータ記憶手段において前記撮像条件取得手段によって取得された前記撮像条件に対応付けられた前記σ値とｋ値を特定し、特定された前記σ値とｋ値により定まるLoG関数に基づいて前記フィルタを決定し、
   前記エッジ抽出手段は、前記フィルタ決定手段によって決定された前記フィルタを用いてエッジ情報を抽出すること、
   を特徴とする請求項３に記載の画像処理装置。
5. 前記画像情報の撮像時の撮像状況を示す撮像条件と、エッジを抽出するフィルタと、を対応付けて記憶するフィルタ記憶手段と、
   前記撮像条件を取得する撮像条件取得手段と、
   前記フィルタ記憶手段から、前記撮像条件取得手段によって取得された前記撮像条件に対応づけられた前記フィルタを決定するフィルタ決定手段と、をさらに備え、
   前記エッジ抽出手段は、前記フィルタ決定手段によって決定された前記フィルタを用いて、前記輝度情報からエッジ情報を抽出すること、を特徴とする請求項２に記載の画像処理装置。
6. 前記撮像条件は、露光時間を含むこと、を特徴とする請求項３〜５のいずれか一つに記載の画像処理装置。
7. 前記撮像条件は、撮像時の温度を含むこと、を特徴とする請求項３〜６のいずれか一つに記載の画像処理装置。
8. 前記撮像条件は、撮像感度を含むこと、を特徴とする請求項３〜７のいずれか一つに記載の画像処理装置。
9. 前記画像成分分離手段によって分離された前記輝度情報と色情報に対して変倍処理する変倍手段、をさらに備え、
   前記輝度ノイズ除去手段は、前記変倍手段によって変倍処理された前記輝度情報からノイズを除去し、
   前記色ノイズ除去手段は、前記変倍手段によって変倍処理された前記色情報からノイズを除去すること、を特徴とする請求項１〜８のいずれか一つに記載の画像処理装置。
10. 画像情報を取得する画像情報取得手段と、
    前記画像情報取得手段によって取得された前記画像情報中の隣接する複数の画素値を加算して１つの画素値とすることにより高感度低解像画像情報を生成する高感度低解像画像生成手段と、
    前記高感度低解像画像生成手段によって生成された前記高感度低解像画像情報を変倍する変倍手段と、
    前記画像情報取得手段によって取得された前記画像情報と、前記変倍手段によって変倍された前記高感度低解像画像情報とから画像情報を合成する画像情報合成手段と、
    を備えることを特徴とする画像処理装置。
11. 前記高感度低解像画像生成手段によって生成された前記高感度低解像画像情報を高感度低解像輝度情報と高感度低解像色情報とに分離する画像成分分離手段と、
    前記画像成分分離手段によって分離された前記高感度低解像色情報からノイズを除去する色ノイズ除去手段と、をさらに備え、
    前記変倍手段は、前記画像成分分離手段によって分離された前記高感度低解像輝度情報を変倍するとともに、前記色ノイズ除去手段によってノイズを除去された前記高感度低解像色情報を変倍し、
    前記画像情報合成手段は、前記画像情報取得手段によって取得された前記画像情報と、前記変倍手段によって変倍された前記高感度低解像色情報および前記高感度低解像輝度情報とから画像情報を合成すること、を特徴とする請求項１０に記載の画像処理装置。
12. 前記画像成分分離手段は、さらに前記画像情報取得手段によって取得された前記画像情報を輝度情報と色情報とに分離し、
    前記画像成分分離手段によって分離された前記輝度情報からノイズを除去する輝度ノイズ除去手段と、
    前記画像成分分離手段によって分離された前記輝度情報からエッジ情報を抽出するエッジ抽出手段と、をさらに備え、
    前記画像情報生成手段は、前記変倍手段によって変倍された前記高感度低解像画像情報と、前記輝度ノイズ除去手段によってノイズを除去された前記輝度情報と、前記エッジ抽出手段によってエッジを抽出された前記エッジ情報とから画像情報を合成すること、を特徴とする請求項１０または請求項１１に記載の画像処理装置。
13. 被写体を撮像する撮像手段、を備え、
    前記画像情報取得手段は、前記撮像手段によって撮像された画像情報を取得すること、を特徴とする請求項１〜１２のいずれか一つに記載の画像処理装置、
    を備えることを特徴とする撮像装置。
14. 画像情報を取得する画像情報取得ステップと、
    前記画像情報取得ステップによって取得された前記画像情報を輝度情報と色情報とに分離する画像成分分離ステップと、
    前記画像成分分離ステップによって分離された前記輝度情報からエッジ情報を抽出するエッジ抽出ステップと、
    前記画像成分分離ステップによって分離された前記輝度情報からノイズを除去する輝度ノイズ除去ステップと、
    前記画像成分分離ステップによって分離された前記色情報からノイズを除去する色ノイズ除去ステップと、
    前記エッジ抽出ステップによって抽出された前記エッジ情報と、前記輝度ノイズ除去ステップによってノイズを除去された前記輝度情報と、前記色ノイズ除去ステップによってノイズを除去された前記色情報とに基づいて、画像情報を生成する画像情報生成ステップと、
    を有することを特徴とする画像処理方法。
15. 画像情報を取得する画像情報取得ステップと、
    前記画像情報取得ステップによって取得された前記画像情報を輝度情報と色情報とに分離する画像成分分離ステップと、
    前記画像成分分離ステップによって分離された前記輝度情報からエッジ情報を抽出するエッジ抽出ステップと、
    前記画像成分分離ステップによって分離された前記輝度情報と前記色情報に対して変倍処理する変倍ステップと、
    前記変倍ステップによって変倍処理された前記輝度情報からノイズを除去する輝度ノイズ除去ステップと、
    前記変倍ステップによって変倍処理された前記色情報からノイズを除去する色ノイズ除去ステップと、
    前記エッジ抽出ステップによって抽出された前記エッジ情報と、前記輝度ノイズ除去ステップによってノイズを除去された前記輝度情報と、前記色ノイズ除去ステップによってノイズを除去された前記色情報とに基づいて、画像情報を生成する画像情報生成ステップと、
    を有することを特徴とする画像処理方法。
16. 画像情報を取得する画像情報取得ステップと、
    前記画像情報取得ステップによって取得された前記画像情報中の隣接する複数の画素値を加算して１つの画素値とすることにより高感度低解像画像情報を生成する高感度低解像画像生成ステップと、
    前記高感度低解像画像生成ステップによって生成された前記高感度低解像画像情報を変倍する変倍ステップと、
    前記画像情報取得ステップによって取得された前記画像情報と、前記変倍ステップによって変倍された前記高感度低解像画像情報とから画像情報を合成する画像情報合成ステップと、
    を有することを特徴とする画像処理方法。
17. 請求項１４〜１６のいずれか一つに記載された画像処理方法をコンピュータに実行させることを特徴とする画像処理プログラム。

Images