JP2009122759A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】エッジ部分を際立たせ、かつ色再現性、ホワイトバランスが良い画像を得ることができる画像処理装置、画像処理方法およびプログラムを提供する。
【解決手段】第１画像情報取得部が第１画像情報を取得し、第１成分分離部が第１画像情報を輝度情報と色情報とに分離し、第２画像情報取得部が第１画像情報と略同一のシーンの画像情報であり、当該第１画像情報より低感度かつ高解像度の第２画像情報を取得し、第２成分分離部が第２画像情報から輝度情報を分離し、輝度成分エッジ抽出部が第２成分分離部により分離した輝度情報のエッジ情報を抽出し、第１成分分離部により分離した輝度情報及び色情報を第２画像情報の画像サイズに変倍し、輝度成分合成部が変倍した輝度情報と、抽出したエッジ情報と、を合成して新たな輝度情報を生成し、画像情報合成部が変倍処理部により変倍した色情報と、生成した新たな輝度情報と、を合成して新たな画像情報を生成する。
【選択図】 図１

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関するものである。

近年、デジタルスチルカメラ（以下、デジタルカメラという）においては、ＣＣＤ（撮像素子）の高画素化が実現されている。一方、ＣＣＤの高画素化に伴って、ＣＣＤの感度が低下するという問題があった。

このような問題を解決するものとして、複数枚の画像の画素を加算する撮像装置が開示されている（特許文献１参照）。かかる撮像装置では、複数枚の画素を加算することによって感度を上げることができる。

特開２００５−４４９１５号公報

しかしながら、上記特許文献１に記載された技術では、複数枚の画素を加算することによって感度が上がり、ノイズの影響を受けやすくなる。また、ノイズを除去すると、エッジがなくなり画像の解像度が落ちるという問題がある。

本発明は、上記に鑑みてなされたものであって、エッジ部分を際立たせることができ、かつ色再現性、ホワイトバランスが良い画像を得ることができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、請求項１にかかる発明は、第１画像情報を取得する第１画像情報取得手段と、前記第１画像情報を第１輝度情報と色情報とに分離する第１分離手段と、前記第１画像情報と略同一のシーンの画像情報であり、当該第１画像情報より低感度かつ高解像度の第２画像情報を取得する第２画像情報取得手段と、前記第２画像情報から第２輝度情報を分離する第２分離手段と、前記第２分離手段によって分離された前記第２輝度情報のエッジ情報を抽出するエッジ抽出手段と、前記第１分離手段によって分離された前記第１輝度情報および前記色情報を前記第２画像情報の画像サイズに変倍する変倍手段と、前記変倍手段によって変倍された前記第１輝度情報と、前記エッジ抽出手段によって抽出された前記エッジ情報と、を合成して新たな輝度情報を生成する輝度合成手段と、前記変倍手段によって変倍された前記色情報と、前記輝度合成手段によって合成された前記新たな輝度情報と、を合成して新たな画像情報を生成する画像合成手段と、を備えたことを特徴とする。

また、請求項２にかかる発明は、請求項１にかかる発明において、前記第１分離手段によって分離された前記色情報のノイズを除去する色情報ノイズ除去手段をさらに備え、前記変倍手段は、前記色情報ノイズ除去手段によってノイズが除去された前記色情報を変倍することを特徴とする。

また、請求項３にかかる発明は、請求項１または２にかかる発明において、被写体を撮像して第１画像情報を生成し、さらに前記第１画像情報より低感度かつ高解像度で当該被写体を撮像して第２画像情報を生成する撮像手段をさらに備え、前記第１画像情報取得手段は、前記撮像手段によって生成された前記第１画像情報を取得し、前記第２画像情報取得手段は、前記撮像手段によって生成された前記第２画像情報を取得することを特徴とする。

また、請求項４にかかる発明は、請求項３にかかる発明において、前記撮像手段は、前記第１画像情報を生成した後、当該第１画像情報より低感度かつ高解像度で被写体を撮像して前記第２画像情報を生成することを特徴とする。

また、請求項５にかかる発明は、請求項１から４のいずれか一にかかる発明において、前記変倍手段によって変倍された前記第１輝度情報と前記第２分離手段によって分離された前記第２輝度情報との間の画像ずれ量を検出する画像ずれ量検出手段をさらに備え、前記輝度合成手段は、検出された画像ずれ量に基づいて、前記新たな輝度情報を生成することを特徴とする。

また、請求項６にかかる発明は、第１画像情報取得手段が、第１画像情報を取得する第１画像情報取得ステップと、第１分離手段が、前記第１画像情報を第１輝度情報と色情報とに分離する第１分離ステップと、第２画像情報取得手段が、前記第１画像情報と略同一のシーンの画像情報であり、当該第１画像情報より低感度かつ高解像度の第２画像情報を取得する第２画像情報取得ステップと、第２分離手段が、前記第２画像情報から第２輝度情報を分離する第２分離ステップと、エッジ抽出手段が、前記第２分離手段によって分離された前記第２輝度情報のエッジ情報を抽出するエッジ抽出ステップと、変倍手段が、前記第１分離手段によって分離された前記第１輝度情報および前記色情報を前記第２画像情報の画像サイズに変倍する変倍ステップと、輝度合成手段が、前記変倍手段によって変倍された前記第１輝度情報と、前記エッジ抽出手段によって抽出された前記エッジ情報と、を合成して新たな輝度情報を生成する輝度合成ステップと、画像合成手段が、前記変倍手段によって変倍された前記色情報と、前記輝度合成手段によって合成された前記新たな輝度情報と、を合成して新たな画像情報を生成する画像合成ステップと、を含むことを特徴とする。

また、請求項７にかかる発明は、コンピュータを、第１画像情報を取得する第１画像情報取得手段と、前記第１画像情報を第１輝度情報と色情報とに分離する第１分離手段と、前記第１画像情報と略同一のシーンの画像情報であり、当該第１画像情報より低感度かつ高解像度の第２画像情報を取得する第２画像情報取得手段と、前記第２画像情報から第２輝度情報を分離する第２分離手段と、前記第２分離手段によって分離された前記第２輝度情報のエッジ情報を抽出するエッジ抽出手段と、前記第１分離手段によって分離された前記第１輝度情報および前記色情報を前記第２画像情報の画像サイズに変倍する変倍手段と、前記変倍手段によって変倍された前記第１輝度情報と、前記エッジ抽出手段によって抽出された前記エッジ情報と、を合成して新たな輝度情報を生成する輝度合成手段と、前記変倍手段によって変倍された前記色情報と、前記輝度合成手段によって合成された前記新たな輝度情報と、を合成して新たな画像情報を生成する画像合成手段と、して機能させる。

本発明によれば、第１画像情報取得手段によって第１画像情報を取得し、第１分離手段によって第１画像情報を第１輝度情報と色情報とに分離し、第２画像情報取得手段によって第１画像情報と略同一のシーンの画像情報であり、当該第１画像情報より低感度かつ高解像度の第２画像情報を取得し、第２分離手段によって第２画像情報から第２輝度情報を分離し、エッジ抽出手段によって第２分離手段によって分離された第２輝度情報のエッジ情報を抽出し、変倍手段によって第１分離手段によって分離された第１輝度情報および色情報を第２画像情報の画像サイズに変倍し、輝度合成手段によって変倍手段によって変倍された第１輝度情報と、エッジ抽出手段によって抽出されたエッジ情報と、を合成して新たな輝度情報を生成し、画像合成手段によって変倍手段によって変倍された色情報と、輝度合成手段によって合成された新たな輝度情報と、を合成して新たな画像情報を生成することにより、低感度高解像度の画像のようにエッジ部分を際立たせることができ、かつ高感度低解像度の画像のように色再現性、ホワイトバランスが良い画像を得ることができる、という効果を奏する。

以下に添付図面を参照して、この発明にかかる画像処理装置、画像処理方法およびプログラムの最良な実施の形態を詳細に説明する。

（第１の実施の形態）
第１の実施の形態について、添付図面を参照して説明する。本実施の形態は、画像処理装置として、デジタルカメラや携帯電話機等の撮像装置を適用した例である。図１は、本実施の形態にかかる撮像装置が備える画像処理部の構成を示すブロック図である。

本実施の形態にかかる画像処理部１００は、画像情報取得部１０１と、成分分離部１０２と、色成分ノイズ除去部１０３と、輝度成分ノイズ除去部１０４と、輝度成分エッジ抽出部１０５と、変倍処理部１０６と、画像ずれ量検出部１０７と、輝度成分合成部１０８と、画像情報合成部１０９と、画像情報出力部１１０と、を備えている。

画像情報取得部１０１は、撮像部で２回連続して撮像することによって得られた２つの画像情報を取得する。具体的には、画像情報取得部１０１は、第１画像情報取得部１０１ａおよび第２画像情報取得部１０１ｂを備えている。第１画像情報取得部１０１ａは、撮像部から高感度低解像画像情報（本発明にかかる第１画像情報）を取得する。第２画像情報取得部１０１ｂは、第１画像情報取得手段によって取得した高感度低解像画像情報と略同一のシーンの画像情報であり、当該高感度低解像画像情報より低感度かつ高解像度の低感度高解像画像情報（本発明にかかる第２画像情報）を撮像部から取得する。略同一のシーンの画像情報とは、１回目の撮像後、連続して２回目の撮像を行うことによって得られた画像情報である。

ここで、撮像部は、同一の露光時間で２つの画像情報を得てもよく、または、異なる露光時間で２つの画像情報を得てもよい。具体的には、撮像部は、異なる露光時間で２つの画像情報を得る場合、露光時間が長い画像情報を高感度低解像画像情報として取得し、露光時間が短い画像情報を低感度高解像画像情報として取得する。さらに、撮像部は、低感度高解像画像情報より容量が小さく短時間で取得することができる高感度低解像画像情報を撮像した後、低感度高解像画像情報を撮像するものとする。これにより、高感度低解像画像情報を取得してから低感度高解像画像情報を取得するまでの時間を短縮することができるため、２つの画像情報が表す画像に含まれる被写体が動いた場合における画像ずれの発生を緩和することができる。なお、取得された各画像情報は、ＹＵＶ形式に変換された画像情報である。

成分分離部１０２は、画像情報取得部１０１によって取得されたＹＵＶ形式の画像情報を輝度情報（Ｙ）と、色情報（Ｕ、Ｖ）とに分離する。本実施の形態にかかる成分分離部１０２は、第１成分分離部１０２ａおよび第２成分分離部１０２ｂを備えている。第１成分分離部１０２ａは、第１画像情報取得部１０１ａによって取得したＹＵＶ形式の高感度低解像画像情報を、輝度情報（Ｙ）と、色情報（Ｕ、Ｖ）とに分離する。また、第２成分分離部１０２ｂは、第２画像情報取得部１０１ｂによって取得したＹＵＶ形式の低感度高解像画像情報を、輝度情報（Ｙ）と、色情報（Ｕ、Ｖ）とに分離する。

輝度成分エッジ抽出部１０５は、装置に記憶されたフィルタを用いて、第２成分分離部１０２ｂによって低感度高解像画像情報から分離した輝度情報のエッジ情報を抽出する。なお、フィルタは、装置に記憶されたフィルタを用いるほか、撮像条件に対応するエッジ抽出フィルタサイズ、σ値、ｋ値からLaplacian of Gaussian（LoG）フィルタを算出して、算出されたフィルタを用いてエッジ情報を抽出してもよい。

エッジ抽出フィルタサイズは、画像情報からエッジを抽出する際に利用するフィルタのサイズである。エッジ抽出において利用するフィルタの最適なサイズは、撮像条件によって異なる。ここで、撮像条件とは、デジタルカメラで撮影した際に撮像画像におけるエッジ抽出に影響を与える条件である。

σ値は、フィルタの広がる幅を決めるパラメータである。σ値は、大きければ大きいほどフィルタの幅が広く、平滑化の効果が大きくなり、小さければ小さいほどフィルタの幅が狭くエッジ強調の効果が大きくなる。

ｋ値は、エッジ強調の強さを表すパラメータである。ｋ値が大きければ大きいほどエッジ強調の効果が大きく、小さいほどボケ復元の効果が小さい。このように、σ値とｋ値を変化させることによって補正結果を調整することができる。なお、Logフィルタのσ値を０に近づけるとLaplacianフィルタに近似する。

ここで、図示しない算出部が、エッジ情報を抽出するフィルタを算出する方法の一例について説明する。まず、算出部は、エッジ抽出フィルタサイズおよびLoG関数のσ値を用いて、数式（１）によってエッジ抽出フィルタを算出する。

次に、算出部は、算出したエッジ抽出フィルタ、ｋ値を用いて輝度情報からエッジ情報を抽出する。エッジ情報抽出結果は、数式（２）によって表される。

ただし、上述した数式（２）の演算記号はconvolution（畳み込み演算）処理である。

色成分ノイズ除去部１０３は、装置に記憶されたフィルタを用いて、第１成分分離部１０２ａによって高感度低解像画像情報から分離した色情報のノイズを除去する。なお、フィルタは、装置に記憶されたフィルタを用いるほか、撮像条件に対応する色フィルタのサイズおよびσ値からGaussian平滑フィルタを算出して、算出されたフィルタを用いて色情報からノイズを除去してもよい。

具体的には、図示しない算出部は、色フィルタのサイズと、Gaussian関数のσ値を用いて、数式（３）により色フィルタ（Gaussian平滑フィルタ）を算出するものである。

輝度成分ノイズ除去部１０４は、装置に記憶されたフィルタを用いて、第２成分分離部１０２ｂによって低感度高解像画像情報から分離した輝度情報のノイズを除去する。なお、フィルタは、装置に記憶されたフィルタを用いるほか、撮像条件に対応する輝度フィルタのサイズおよびσ値からGaussian平滑フィルタを算出して、算出したフィルタを用いて輝度情報からノイズを除去してもよい。これにより、よりエッジ部分が際立った画像を得ることができる。

具体的には、図示しない算出部は、輝度フィルタのサイズと、Gaussian関数のσ値を用いて、上述の数式（３）により輝度フィルタ（Gaussian平滑フィルタ）を算出するものである。

変倍処理部１０６は、色成分ノイズ除去部１０３によってノイズが除去された色情報および第１成分分離部１０２ａによって分離された輝度情報を、低感度高解像画像情報の画像サイズに変倍処理する。例えば、変倍処理部１０６は、高感度低解像画像情報の画素サイズが低感度高解像画像情報の画素サイズの１／４の場合、画素値のそれぞれを変倍、４倍する。

画像ずれ量検出部１０７は、変倍処理部１０６によって変倍された輝度情報と第２成分分離部１０２ｂによって低感度高解像画像情報から分離された輝度情報との間の画像ずれ量を検出する。本実施の形態では、数式（４）を用いて画像ずれ量を算出する。

ここで、Ｍ×Ｎは、高感度低解像画像情報および低感度高解像画像情報の画像中に指定されたブロック領域の大きさである。ｆ（ｉ，ｊ）は、高感度低解像画像情報の画像中に指定されたブロック領域内に含まれる画素値である。ｇ（ｉ，ｊ）は、低感度高解像画像情報の画像中に指定されたブロック領域に含まれる画素値である。Ｅ（ｕ，ｖ）は、高感度低解像画像情報と低感度高解像画像情報の間の画像ずれ量である。本実施の形態にかかる画像ずれ量検出部１０７は、Ｅ（ｕ，ｖ）が最小となるときの位置（ｕ，ｖ）を検出する。

輝度成分合成部１０８は、変倍処理部１０６によって変倍処理された輝度情報と、輝度成分ノイズ除去部１０４によってノイズを除去された輝度情報と、輝度成分エッジ抽出部１０５によって抽出されたエッジ情報と、を合成して新たな輝度情報を生成する。なお、本実施の形態においては、変倍処理部１０６によって変倍処理された輝度情報、輝度成分ノイズ除去部１０４によってノイズを除去された輝度情報、および輝度成分エッジ抽出部１０５によって抽出されたエッジ情報から新たな輝度情報を生成したが、これに限定するものではない。例えば、低感度高解像画像情報はノイズが強調されないため、輝度成分ノイズ除去部１０４によってノイズが除去された輝度情報を用いず、変倍処理部１０６によって変倍処理された輝度情報および輝度成分エッジ抽出部１０５によって抽出されたエッジ情報から新たな輝度情報を生成してもよい。

また、輝度成分合成部１０８は、画像ずれ量検出部１０７によって検出された画像ずれ量Ｅ（ｕ，ｖ）に基づいて、新たな輝度情報を生成する。具体的には、輝度成分ノイズ除去部１０４によってノイズが除去された輝度情報および輝度成分エッジ抽出部１０５によって抽出されたエッジ情報を、画像ずれ量検出部１０７によって検出された画像ずれ量Ｅ（ｕ，ｖ）が最小となる位置（ｕ，ｖ）にずらして、変倍処理部１０６によって変倍処理された輝度情報と合成する。

画像情報合成部１０９は、変倍処理部１０６によって変倍処理された色情報と、輝度成分合成部１０８によって生成された輝度情報と、を合成して新たな画像情報を生成する。画像情報出力部１１０は、画像情報合成部１０９によって生成された新たな画像情報をメモリカードなどに出力するものである。

次に、上述したように構成されている画像処理部１００による画像処理について説明する。図２は、画像情報取得部、成分分離部、色成分ノイズ除去部、輝度成分ノイズ除去部、輝度成分エッジ抽出部、変倍処理部、画像ずれ量検出部、輝度成分合成部、画像情報合成部、画像情報出力部が行う画像処理手順を示すフローチャートである。

まず、第１画像情報取得部１０１ａは、撮像部から高感度低解像画像情報を取得する（ステップＳ２０１）。第１成分分離部１０２ａは、第１画像情報取得部１０１ａから取得したＹＵＶ形式の高感度低解像画像情報を輝度情報（Ｙ信号）と色情報（ＣｒＣｂ信号）とに分離する（ステップＳ２０２）。色成分ノイズ除去部１０３は、高感度低解像画像情報から分離した色情報のノイズを除去する（ステップＳ２０３）。ここでのノイズ除去処理は、ローパスフィルタ（例えば、平滑フィルタ）を用いる。図３は、フィルタサイズが３×３の場合の平滑フィルタの一例である。

変倍処理部１０６は、ノイズ除去した色情報を、第２画像情報取得部１０１ｂから取得した低感度高解像画像情報の画像サイズに変倍する（ステップＳ２０４）。変倍処理部１０６は、高感度低解像画像情報から分離した輝度情報を、第２画像情報取得部１０１ｂから取得した低感度高解像画像情報の画像サイズに変倍する（ステップＳ２０５）。これにより、第１画像情報取得部１０１ａから取得した高感度低解像画像情報から分離した輝度情報と、高感度低解像画像情報から分離し、さらにノイズを除去した色情報とは、第２画像情報取得部１０１ｂによって取得される低感度高解像画像情報と同じ画像サイズとなる。また、感度を上げて画像を撮像した場合にはノイズが強調される。しかし、本実施の形態では、ノイズが除去された色情報を変倍するため、ノイズの影響が排除されたより色再現性、ホワイトバランスの良い画像を得ることができる。

また、第２画像情報取得部１０１ｂは、撮像部から低感度高解像画像情報を取得する（ステップＳ２０６）。第２成分分離部１０２ｂは、第２画像情報取得部１０１ｂから取得した低感度高解像画像情報を輝度情報（Ｙ信号）と色情報（ＣｒＣｂ信号）とに分離する（ステップＳ２０７）。輝度成分ノイズ除去部１０４は、低感度高解像画像情報から分離した輝度情報のノイズを除去する（ステップＳ２０８）。ノイズ除去処理は、上述した色成分ノイズ除去部１０４での処理と同様にローパスフィルタ（例えば、図３に示す平滑フィルタ）を用いる。

また、輝度成分エッジ抽出部１０５は、低感度高解像画像情報から分離した輝度情報のエッジ情報を抽出する（ステップＳ２０９）。ここで、エッジ抽出処理には、LoGフィルタをエッジ抽出フィルタとして用いる。フィルタは、上述した数式（１）によって算出することができる。図４は、フィルタサイズが５×５の場合のエッジ抽出フィルタの一例である。また、エッジ成分抽出処理は、上述した数式（２）を用いる。図５は、低感度高解像画像情報から分離した輝度情報を示す説明図である。図６は、低感度高解像画像情報から分離した輝度情報のエッジを抽出した結果を示す説明図である。このように、図５に示すような輝度情報から図４に示すようなエッジ抽出フィルタを用いてエッジを抽出すると、図６に示すようにエッジ成分が抽出される。

画像ずれ量検出部１０７は、上述した数式（４）を用いて、変倍処理部１０６によって変倍された輝度情報と低感度高解像画像情報から分離した輝度情報との間の画像ずれ量を検出する（ステップＳ２１０）。

輝度成分合成部１０８は、検出された画像ずれ量に基づいて、変倍処理部１０６によって変倍処理された輝度情報と、輝度成分ノイズ除去部１０４によってノイズ除去された輝度情報と、輝度成分エッジ抽出部１０５によって抽出されたエッジ情報と、を合成して新たな輝度情報を生成する（ステップＳ２１１）。図７は、輝度情報とエッジ情報を合成した結果を示す説明図である。図７に示すように、エッジ成分を抽出し、高感度低解像画像情報を分離して変倍した輝度情報とノイズ除去した輝度情報と合成することにより、画像の解像度を低下させることがなく、エッジ部分を際立たせた画像を得ることができる。

画像情報合成部１０９は、変倍処理部１０６によって変倍処理された色情報と、輝度成分合成部１０８によって生成された新たな輝度情報と、を合成して新たな画像情報を生成する（ステップＳ２１２）。画像情報出力部１１０は、生成された新たな画像情報を出力する（ステップＳ２１３）。なお、ステップＳ２０６〜ステップＳ２０９の処理は、ステップＳ２１０〜ステップ２０５の処理と並列に実行してもよい。

このように、高感度低解像画像情報の輝度情報およびノイズを除去した色情報と、低感度高解像画像情報のノイズを除去した輝度情報およびエッジ情報と、を合成して新たな画像情報を生成することにより、低感度高解像の画像のようにエッジ部分を際立たせることができ、かつ高感度低解像の画像のように色再現性、ホワイトバランスが良い画像を得ることができる。

次に、上述した画像処理を実施する撮像装置の一例であるデジタルカメラのハードウェア構成について説明する。図８は、本実施の形態にかかるデジタルカメラのハードウェア構成を示すブロック図である。図８に示すように被写体光は、まずデジタルカメラ８００の撮像光学系８０１を通してＣＣＤ（Charge Coupled Device）８０３に入射される。また、撮像光学系８０１とＣＣＤ８０３との間は、メカシャッタ８０２が配置されており、このメカシャッタ８０２によりＣＣＤ８０３への入射光を遮断することが出来る。なお、撮像光学系１及びメカシャッタ８０２は、モータドライバ８０６より駆動される。

ＣＣＤ８０３は、撮像面に結像された光学像を電気信号に変換して、アナログの画像データとして出力する。ＣＣＤ８０３から出力された画像情報は、ＣＤＳ（Correlated Double Sampling:相関２重サンプリング）回路８０４によりノイズ成分を除去され、Ａ／Ｄ変換器８０５によりデジタル値に変換された後、画像処理回路８０８に対して出力される。

画像処理回路８０８は、画像データを一時格納するＳＤＲＡＭ（SynchronousＤＲＡＭ）８１２を用いて、ＹＵＶ変換処理や、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理、色変換処理などの各種画像処理を行う。なお、ホワイトバランス処理は、画像情報の色濃さを調整し、コントラスト補正処理は、画像情報のコントラストを調整する画像処理である。エッジ強調処理は、画像情報のシャープネスを調整し、色変換処理は、画像情報の色合いを調整する画像処理である。また、画像処理回路８０８は、信号処理や画像処理が施された画像情報を液晶ディスプレイ８１６（以下、「ＬＣＤ８１６」と略記する）に表示する。

また、信号処理、画像処理が施された画像情報は、圧縮伸張回路８１３を介して、メモリカード８１４に記録される。上記圧縮伸張回路８１３は、操作部８１５から取得した指示によって、画像処理回路８０８から出力される画像情報を圧縮してメモリカード８１４に出力すると共に、メモリカード８１４から読み出した画像情報を伸張して画像処理回路８０８に出力する回路である。

また、ＣＣＤ８０３、ＣＤＳ回路８０４及びＡ／Ｄ変換器８０５は、タイミング信号を発生するタイミング信号発生器８０７を介してＣＰＵ（Central Processing Unit）８０９によって、タイミングが制御されている。さらに、画像処理回路８０８、圧縮伸張回路８１３、メモリカード８１４も、ＣＰＵ８０９によって制御されている。

デジタルカメラ８００において、ＣＰＵ８０９はプログラムに従って各種演算処理を行い、プログラムなどを格納した読み出し専用メモリであるＲＯＭ（Read Only Memory）８１１および各種の処理過程で利用するワークエリア、各種データ格納エリアなどを有する読み出し書き込み自在のメモリであるＲＡＭ（Random Access Memory）８１０などを内蔵し、これらがバスラインによって相互接続されている。

デジタルカメラ８００は、ノイズ除去処理を行うとき、システムコントローラがＲＯＭ８１１から高感度ノイズ除去プログラムをＲＡＭ８１０にロードし、実行する。ノイズ除去プログラムは、システムコントローラを介して、撮像感度の設定、撮像時の露光時間を表すパラメータを取得する。それらのパラメータに対応する最適なノイズ除去の設定条件をＲＯＭ８１１から読み込み、ノイズ処理を行う。処理対象となる画像はＳＤＲＡＭ８１２に一時的に保存しており、保存した画像に対してノイズ除去処理を行う。

次に、撮像時におけるノイズ除去方法について説明する。まず、高感度ノイズの特性について説明する。デジタルカメラ（撮像装置）８００は、ＣＣＤ８０３の感度は変えずに電気回路のアンプを変えることで、撮像感度を調整する。露光量が少ないときは露光不足であるが、アンプの拡大倍率を増加することで、感度を上げることができる。しかし、ノイズの信号も同時に拡大される。露光量は十分な場合、ノイズ信号は比較的に小さく、あまり目立たないが、露光不足の場合、アンプ増加により感度をあげるとノイズも拡大され、高感度ノイズは目立つようになる。このノイズはランダムノイズであり、白黒対象物を撮像しても、色ノイズが発生することになる。このように発生した画像情報のノイズを除去するために、上述のようなノイズ除去処理を行うものである。

また、本実施の形態のデジタルカメラで実行される画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。

また、本実施の形態の画像処理プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

本実施の形態のデジタルカメラで実行される画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記憶媒体に記録されて提供される。

本実施の形態のデジタルカメラで実行される画像処理プログラムは、上述した各部（画像情報取得部、成分分離部、色成分ノイズ除去部、輝度成分エッジ抽出部、輝度成分ノイズ除去部、変倍処理部、画像ずれ量検出部、輝度成分合成部、画像情報合成部、画像情報出力部など）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から画像処理プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、画像情報取得部、成分分離部、色成分ノイズ除去部、輝度成分エッジ抽出部、輝度成分ノイズ除去部、変倍処理部、画像ずれ量検出部、輝度成分合成部、画像情報合成部、画像情報出力部などが主記憶装置上に生成されるようになっている。

（第２の実施の形態）
第２の実施の形態について、添付図面を参照して説明する。本実施の形態は、画像処理装置として、パーソナルコンピュータ（ＰＣ）や複合機（ＭＦＰ）等の情報処理装置を適用した例である。図９は、本実施の形態にかかる情報処理装置の画像処理部の構成を示すブロック図である。

本実施の形態にかかる画像処理部９００は、画像情報取得部９０１と、成分変換部９０２と、成分分離部１０２と、色成分ノイズ除去部１０３と、輝度成分ノイズ除去部１０４と、輝度成分エッジ抽出部１０５と、変倍処理部１０６と、画像ずれ量検出部１０７と、輝度成分合成部１０８と、画像情報合成部１０９と、成分変換部９０３と、画像情報出力部１１０と、を備えている。なお、成分分離部１０２と、色成分ノイズ除去部１０３と、輝度成分ノイズ除去部１０４と、輝度成分エッジ抽出部１０５と、変倍処理部１０６と、画像ずれ量検出部１０７と、輝度成分合成部１０８と、画像情報合成部１０９と、画像情報出力部１１０の構成、機能は、それぞれ第１の実施の形態と同様であるので、説明を省略する。

画像情報取得部９０１は、メモリに格納された画像情報を取得する。具体的には、第１画像情報取得部９０１ａは、メモリに格納された高感度低解像画像情報を取得する。第２画像情報取得部９０１ｂは、メモリに格納された低感度高解像画像情報を取得する。

本実施の形態では、撮像された高感度低解像画像情報に、撮像時の撮像条件が付加され、例えばデジタルカメラのメモリカードに格納されている。また、撮像された画像情報（低感度高解像画像情報）も撮像条件が付加されて格納されている。例えば、画像情報がExif形式である場合は、画像情報に付加される撮像条件は、撮像装置のメーカ、機番、撮像感度、撮像時の画素数などである。なお、低感度高解像画像情報の画像サイズは、通常のサイズであり、高感度低解像画像情報の画像サイズは、低感度高解像画像情報の画像サイズより小さい。

成分変換部９０２は、ＲＧＢ形式の画像情報をＹＣｒＣｂ形式の画像情報に変換する。具体的には、第１成分変換部９０２ａは、ＲＧＢ形式の高感度低解像画像情報をＹＣｒＣｂ形式の画像情報に変換する。第２成分変換部９０２ｂは、ＲＧＢ形式の低感度高解像画像情報をＹＣｒＣｂ形式の画像情報に変換する。成分変換部９０３は、ＹＣｒＣｂ形式の画像情報をＲＧＢ形式の画像情報に変換する。

次に、上述したように構成されている画像処理部９００による画像処理について説明する。図１０は、画像情報取得部、成分変換部、成分分離部、色成分ノイズ除去部、輝度成分ノイズ除去部、輝度成分エッジ抽出部、変倍処理部、画像ずれ量検出部、輝度成分合成部、画像情報合成部、画像情報出力部が行う画像処理手順を示すフローチャートである。

本実施の形態にかかる画像処理の手順は、図２に示すフローチャートとほぼ同様であるので、異なる部分のみ説明する。ステップＳ１００９〜ステップＳ１０１３は、図２での説明を参照し、ここでの説明を省略する。

まず、第１画像情報取得部９０１ａは、メモリからＲＧＢ形式の高感度低解像度画像情報を取得する（ステップＳ１００１）。高感度低解像画像情報には、撮像条件が付加されているため、撮像条件も取得される。第１成分変換部９０２ａは、ＲＧＢ形式の高感度低解像画像情報をＹＣｒＣｂ形式の画像情報に変換する（ステップＳ１００２）。第１成分分離部１０２ａは、高感度低解像画像情報を色情報（ＣｒＣｂ信号）と輝度情報（Ｙ信号）に分離する（ステップＳ１００３）。色成分ノイズ除去部１０３は、分離した色情報のノイズを除去する（ステップＳ１００４）。

変倍処理部１０６は、ノイズ除去した色情報を、第２画像情報取得部９０１ｂによって取得される低感度高解像画像情報の画像サイズに変倍する（ステップＳ１００５）。また、変倍処理部１０６は、分離した輝度情報を、第２画像情報取得部９０１ｂによって取得される低感度高解像画像情報の画像サイズに変倍する（ステップＳ１００６）。これにより、高感度低解像画像情報から分離した輝度情報と、ノイズを除去した色情報は、第２画像情報取得部９０１ｂによって取得される低感度高解像画像情報の画像サイズとなる。

第２画像情報取得部９０１ｂは、メモリからＲＧＢ形式の低感度高解像度画像情報を取得する（ステップＳ１００７）。低感度高解像画像情報に撮像条件が付加されているため、撮像条件も取得される。第２成分変換部９０２ｂは、ＲＧＢ形式の低感度高解像画像情報をＹＣｒＣｂ形式の画像情報に変換する（ステップＳ１００８）。以下、ステップＳ１００９〜ステップＳ１０１４は、図２の説明を参照する。

成分変換部９０３は、ＹＣｒＣｂ形式の画像情報をＲＧＢ形式の画像情報に変換する（ステップＳ１０１５）。画像情報出力部１１０は、変換された画像情報を記憶媒体やプリンタに出力する（ステップＳ１０１６）。なお、ステップＳ１００７〜ステップＳ１０１１の処理は、ステップＳ１００１〜ステップ１００６の処理と並列に実行してもよい。

このように、高感度低解像画像情報の輝度情報およびノイズを除去した色情報と、低感度高解像画像情報のノイズを除去した輝度情報およびエッジ情報と、を合成して新たな画像情報を生成することにより、低感度高解像の画像のようにエッジ部分を際立たせることができ、かつ高感度低解像の画像のように色再現性、ホワイトバランスが良い画像を得ることができる。

図１１は、本実施の形態にかかる情報処理装置の一例であるＰＣのハードウェア構成を示すブロック図である。ＰＣ１１００は、各部を集中的に制御するＣＰＵ（Central Processing Unit）１１０４を備えており、このＣＰＵ１１０４には、ＢＩＯＳなどを記憶した読出し専用メモリであるＲＯＭ（Read Only Memory）１１０２と、各種データを書換え可能に記憶してＣＰＵの作業エリアとして機能するＲＡＭ（Random Access Memory）１１０１とがバスで接続されており、マイクロコンピュータを構成している。さらにバスには、制御プログラムが記憶されたＨＤＤ１１０５と、ＣＤ（Compact Disc）−ＲＯＭを読み取るＣＤ−ＲＯＭドライブ１１０６と、プリンタ部等との通信を司るインタフェースであるＩ／Ｆ１１０３とが接続されている。

図１１に示すＣＤ−ＲＯＭ１１０８は、所定の制御プログラムが記憶されている。ＣＰＵ１１０４は、ＣＤ−ＲＯＭ１１０８に記憶されている制御プログラムをＣＤ−ＲＯＭドライブ１１０６で読み取り、ＨＤＤ１１０５にインストールする。これにより、上述したような各種の処理を行うことが可能な状態となる。また、メモリカード１１０９には、画像情報などが格納され、メモリカードドライバ１１０７で読み取られる。

なお、記憶媒体としては、ＣＤ−ＲＯＭやメモリカードのみならず、ＤＶＤなどの各種の光ディスク、各種光磁気ディスク、フレキシブルディスクなどの各種磁気ディスク、半導体メモリ等、各種方式のメディアを用いることができる。また、インターネットなどのネットワークからプログラムをダウンロードし、ＨＤＤ１１０５にインストールするようにしてもよい。この場合に、送信側のサーバでプログラムを記憶している記憶装置も、この発明の記憶媒体である。なお、プログラムは、所定のＯＳ（Operating System）上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をＯＳに肩代わりさせるものであってもよいし、ワープロソフトなど所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。

また、本実施の形態の画像処理装置で実行される画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態の画像処理装置で実行される画像処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

また、本実施の形態の画像処理プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

本実施形態の画像処理装置で実行される画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記憶媒体に記録されて提供される。

本実施の形態の画像処理装置で実行される画像処理プログラムは、上述した各部（画像情報取得部、成分変換部、成分分離部、輝度成分エッジ抽出部、輝度成分ノイズ除去部、色成分ノイズ除去部、変倍処理部、画像ずれ量検出部、輝度成分合成部、画像情報合成部、画像情報出力部など）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から画像処理プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、画像情報取得部、成分変換部、成分分離部、輝度成分エッジ抽出部、輝度成分ノイズ除去部、色成分ノイズ除去部、変倍処理部、画像ずれ量検出部、輝度成分合成部、画像情報合成部、画像情報出力部などが主記憶装置上に生成されるようになっている。

以上、本発明を第１〜第２の実施の形態を用いて説明してきたが、上述した実施の形態に多様な変更または改良を加えることができる。なお、上述した第１の実施の形態〜第２の実施の形態において説明した構成や機能は、自由に組み合わせることができる。

本実施の形態にかかる画像処理部の構成を示すブロック図である。 画像処理の手順を示すフローチャートである。 フィルタサイズが３×３の場合の平滑フィルタの一例を示す説明図である。 フィルタサイズが５×５の場合のエッジ抽出フィルタの一例を示す説明図である。 分離した輝度情報を示す説明図である。 輝度情報からエッジを抽出した結果を示す説明図である。 輝度情報とエッジ情報を合成した結果を示す説明図である。 本実施の形態にかかるデジタルカメラのハードウェア構成を示すブロック図である。 本実施の形態にかかる画像処理部の構成を示すブロック図である。 画像処理の手順を示すフローチャートである。 本実施の形態にかかる画像処理装置のハードウェア構成を示すブロック図である。

符号の説明

１００、９００ 画像処理部
１０１、９０１ 画像情報取得部
１０２ 成分分離部
１０３ 色成分ノイズ除去部
１０４ 輝度成分ノイズ除去部
１０５ 輝度成分エッジ抽出部
１０６ 変倍処理部
１０７ 画像ずれ量検出部
１０８ 輝度成分合成部
１０９ 画像情報合成部
１１０ 画像情報出力部
９０２、９０３ 成分変換部

Claims (7)

1. 第１画像情報を取得する第１画像情報取得手段と、
   前記第１画像情報を第１輝度情報と色情報とに分離する第１分離手段と、
   前記第１画像情報と略同一のシーンの画像情報であり、当該第１画像情報より低感度かつ高解像度の第２画像情報を取得する第２画像情報取得手段と、
   前記第２画像情報から第２輝度情報を分離する第２分離手段と、
   前記第２分離手段によって分離された前記第２輝度情報のエッジ情報を抽出するエッジ抽出手段と、
   前記第１分離手段によって分離された前記第１輝度情報および前記色情報を前記第２画像情報の画像サイズに変倍する変倍手段と、
   前記変倍手段によって変倍された前記第１輝度情報と、前記エッジ抽出手段によって抽出された前記エッジ情報と、を合成して新たな輝度情報を生成する輝度合成手段と、
   前記変倍手段によって変倍された前記色情報と、前記輝度合成手段によって合成された前記新たな輝度情報と、を合成して新たな画像情報を生成する画像合成手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記第１分離手段によって分離された前記色情報のノイズを除去する色情報ノイズ除去手段をさらに備え、
   前記変倍手段は、前記色情報ノイズ除去手段によってノイズが除去された前記色情報を変倍することを特徴とする請求項１に記載の画像処理装置。
3. 被写体を撮像して第１画像情報を生成し、さらに前記第１画像情報より低感度かつ高解像度で当該被写体を撮像して第２画像情報を生成する撮像手段をさらに備え、
   前記第１画像情報取得手段は、前記撮像手段によって生成された前記第１画像情報を取得し、
   前記第２画像情報取得手段は、前記撮像手段によって生成された前記第２画像情報を取得することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記撮像手段は、前記第１画像情報を生成した後、当該第１画像情報より低感度かつ高解像度で被写体を撮像して前記第２画像情報を生成することを特徴とする請求項３に記載の画像処理装置。
5. 前記変倍手段によって変倍された前記第１輝度情報と前記第２分離手段によって分離された前記第２輝度情報との間の画像ずれ量を検出する画像ずれ量検出手段をさらに備え、
   前記輝度合成手段は、検出された画像ずれ量に基づいて、前記新たな輝度情報を生成することを特徴とする請求項１から４のいずれか一に記載の画像処理装置。
6. 第１画像情報取得手段が、第１画像情報を取得する第１画像情報取得ステップと、
   第１分離手段が、前記第１画像情報を第１輝度情報と色情報とに分離する第１分離ステップと、
   第２画像情報取得手段が、前記第１画像情報と略同一のシーンの画像情報であり、当該第１画像情報より低感度かつ高解像度の第２画像情報を取得する第２画像情報取得ステップと、
   第２分離手段が、前記第２画像情報から第２輝度情報を分離する第２分離ステップと、
   エッジ抽出手段が、前記第２分離手段によって分離された前記第２輝度情報のエッジ情報を抽出するエッジ抽出ステップと、
   変倍手段が、前記第１分離手段によって分離された前記第１輝度情報および前記色情報を前記第２画像情報の画像サイズに変倍する変倍ステップと、
   輝度合成手段が、前記変倍手段によって変倍された前記第１輝度情報と、前記エッジ抽出手段によって抽出された前記エッジ情報と、を合成して新たな輝度情報を生成する輝度合成ステップと、
   画像合成手段が、前記変倍手段によって変倍された前記色情報と、前記輝度合成手段によって合成された前記新たな輝度情報と、を合成して新たな画像情報を生成する画像合成ステップと、
   を含むことを特徴とする画像処理方法。
7. コンピュータを、
   第１画像情報を取得する第１画像情報取得手段と、
   前記第１画像情報を第１輝度情報と色情報とに分離する第１分離手段と、
   前記第１画像情報と略同一のシーンの画像情報であり、当該第１画像情報より低感度かつ高解像度の第２画像情報を取得する第２画像情報取得手段と、
   前記第２画像情報から第２輝度情報を分離する第２分離手段と、
   前記第２分離手段によって分離された前記第２輝度情報のエッジ情報を抽出するエッジ抽出手段と、
   前記第１分離手段によって分離された前記第１輝度情報および前記色情報を前記第２画像情報の画像サイズに変倍する変倍手段と、
   前記変倍手段によって変倍された前記第１輝度情報と、前記エッジ抽出手段によって抽出された前記エッジ情報と、を合成して新たな輝度情報を生成する輝度合成手段と、
   前記変倍手段によって変倍された前記色情報と、前記輝度合成手段によって合成された前記新たな輝度情報と、を合成して新たな画像情報を生成する画像合成手段と、
   して機能させるためのプログラム。
   

Images