JP2006180271A

JP2006180271A - 撮像装置、プログラム、及び記録媒体

Info

Publication number: JP2006180271A
Application number: JP2004371987A
Authority: JP
Inventors: Hajime Hosaka; 肇保坂
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-12-22
Filing date: 2004-12-22
Publication date: 2006-07-06

Abstract

【課題】画像に影響を与える照明器具を使用せず、自然の光のもとで撮像した画像のノイズを除去する。
【解決手段】撮像素子２１とレンズ２５との間に赤外光カットフィルタ２２を設ける。赤外光カットフィルタ２２は、モータ２３によりレンズ２５から撮像素子２５に向かう赤外光と遮断する位置と、遮断しない位置に移動する。撮像装置１は、赤外光カットフィルタ２２を移動することにより、赤外光を除去した赤外光除去画像Ｒｅｍｏｖｅと赤外光を除去しない赤外光含有画像Ｈｏｌｄとの２枚の画像を撮像し、赤外光含有画像Ｈｏｌｄを用いて赤外光除去画像Ｒｅｍｏｖｅのノイズを低減させる。
【選択図】図２

Description

本発明は、画像のエッジを保存しつつノイズを除去する撮像装置、プログラム、及び記録媒体に関する。

カメラで画像を撮像する際、画像の色味はライティングに大きく依存する。例えば、蝋燭の光に照らされた被写体を撮像すると、オレンジがかった色味の画像になり、月の光に照らされた被写体を撮像すると、青みがかった色味の画像になる。同じ場所であっても撮像時のライティングによって全く異なる画像が撮像される。

画像を撮像する際には、フラッシュなどの特別な照明器具を使わず、自然の光（以下、自然光と記す）を利用する方が正確な色味を再現することができるが、屋内や夜間に撮像すると露光が少なく画像にノイズが含まれるという問題が生じる。一方、フラッシュを使用すると露光量が増加しエッジや詳細部分が鮮明に撮像されるが、色味が正確でなくなったり、実際には存在しない影やハイライトが発生したりしてしまうという問題が発生する。

従来、このような問題を解決するために、図６に示すような画像処理装置５０が提案されている。画像処理装置５０は、２つのローパスフィルタ５２，５３と、１つのハイパスフィルタ５４と、２つの画像合成部５５，５７と、１つの陰影抽出部５６とを備える。

ローパスフィルタ５３は、クロスバイラテラルフィルタである。クロスバイラテラルフィルタは、フラッシュを使用した画像（以下、フラッシュ画像と記す）とフラッシュを使用しない画像（以下、自然光画像と記す）の２枚の画像を入力し、フラッシュ画像から検出したエッジを保存しつつ自然光画像のノイズを除去する。

ハイパスフィルタ５４は、自然光画像の各画素値をフラッシュ画像で除算して、フラッシュ画像のエッジを抽出したエッジ抽出画像を生成する。

画像合成部５５は、ローパスフィルタ５３でノイズを除去した自然光画像とハイパスフィルタ５４でエッジを抽出したフラッシュ画像とを合成して合成画像Ｃｏｍｐを生成する。画像の合成には、ローパスフィルタ５３の画素値にハイパスフィルタ５４の出力画像の画素値を乗じるという処理を行う。合成画像Ｃｏｍｐは、フラッシュ画像と自然光画像の長所を備えており色味が正確でノイズが少ない。

陰影抽出部５６は、フラッシュ画像と自然光画像との２枚の画像の違いを抽出し、ハイライトや影によって画像が変化した確率を評価する。ローパスフィルタ５２は、自然光画像のノイズを除去する。ローパスフィルタ５２としては、バイラテラルフィルタを用いる。バイラテラルフィルタは、１枚の画像を用いてこの画像のエッジ検出とノイズ除去とを行うフィルタである。

画像合成部５７は、陰影抽出部５６の評価結果に基づいてローパスフィルタ５２からの出力画像と画像合成部５５の出力画像Ｃｏｍｐの重み付け加算を行う。画像合成部５７は、フラッシュの有無により影やハイライトが生じている可能性が高い部分では画像の重みを高くし、可能性が低い部分では画像の重みを高くする。画像合成部５７は、合成画像Ｃｏｍｐから不要な影やハイライトを除去して出力画像Ｏｕｔを生成する。

このように、従来の画像処理装置５０では、フラッシュ画像のエッジを合成した画像と、フラッシュ画像のエッジを参照せずにノイズを除去した画像との２枚の画像を生成し、フラッシュにより影やハイライトが発生した可能性の高い画素ではハイパスフィルタ１２の出力画像の係数を高くし、フラッシュにより影やハイライトが発生した可能性の低い画素では画像合成部１７の出力画像Ｃｏｍｐの係数を高くすることにより、フラッシュ画像のエッジと自然光画像の色味とを最適にブレンドした画像を得ることができる（例えば、非特許文献１）。

ＧｅｏｒｇＰｅｔｓｃｈｎｉｇｇＥｔａｌ，ＤｉｇｉｔａｌＰｈｏｔｏｇｒａｐｈｙｗｉｔｈＦｌａｓｈａｎｄＮｏ−ＦｌａｓｈＩｍａｇｅｐａｉｒｓ，ａｃｍＴｒａｎｓａｃｔｉｏｎｏｎＧｒａｐｈｉｃｓ，Ｖｏｌ．２３，Ｎｕｍｂｅｒ３，ｐｐ．６６４−６７２，Ａｕｇｕｓｔ２００４

上述したように、フラッシュを使用すると画像のエッジや詳細部分が鮮明になるものの、自然光では存在しない影やハイライトが発生することがある。画像処理装置５０では、影やハイライトは除去しつつ、エッジや詳細部分のみを残したいが、これらを区別することは容易ではなく多大な演算コストを要する。

本発明は、上述した課題に鑑みてなされたものであって、画像に影響を与える照明器具を使用せず、自然の光のもとで撮像した画像のノイズを除去する撮像装置、プログラム、及び記録媒体を提供することを目的とする。

上述した目的を達成するために、本発明を適用した撮像装置は、撮像手段と、撮像手段に結像する不可視光画像を遮断する不可視光遮断手段と、不可視光を遮断せずに撮像した不可視光画像含有画像を用いて、不可視光を遮断して撮像した不可視光除去画像のノイズを低減するノイズ低減手段とを備える。

本発明を適用したプログラムは、所定の処理をコンピュータに実行させるプログラムにおいて、不可視光を遮断せずに撮像した不可視光含有画像を用いて、不可視光を遮断して撮像した不可視光除去画像のノイズを低減するノイズ低減工程を有する。

本発明を適用した記録媒体は、所定の処理を実行させるプログラムが記録された記録媒体において、不可視光を遮断せずに撮像した不可視光含有画像を用いて、不可視光を遮断して撮像した不可視光除去画像のノイズを低減するノイズ低減工程を有する。

本発明を適用した撮像装置は、赤外光を除去しない不可視光含有画像と、不可視光を除去した不可視光除去画像とを撮像し、不可視光含有画像を用いて不可視光除去画像のノイズを低減することにより、画像に影響を与える照明器具を使用せず自然の光のもとで撮像した画像のノイズを除去することができる。

画像に影響を与える照明器具を使用すると、照明条件の違いを補正する演算コストが増大するが、本発明を適用した撮像装置は、画像に影響を与える照明器具を使用せずに画像のノイズを除去するため照明条件の違いを補正する演算は不要である。

以下、図面を参照して本発明を適用した撮像装置について説明する。図１に撮像装置１の構成を示す。撮像装置１は、赤外光除去画像Ｒｅｍｏｖｅと赤外光含有画像Ｈｏｌｄとの両方を撮像する撮像部２と、撮像部２で撮像された画像に信号処理を施す信号処理部３と、赤外光除去画像Ｒｅｍｏｖｅのノイズを除去する画像処理部４と、画像やデータの記憶領域であるメモリ５と、ＬＣＤ（Liquid Crystal Display）６への画像出力、シリアルインターフェース７やＵＳＢ（Universal Serial Bus）８などのインターフェースを介して外部記録装置１０とのデータ送受信を行うシステムコントロール部９とを備える。

撮像部２は、赤外光に感度のある撮像素子と、レンズ２５の焦点合わせや赤外光カットフィルタ２２の切り替えやシャッタの切り替えを行うモータ２３と、レンズ２５の焦点合わせやシャッタの切り替えを制御するドライバ２４と、赤外光カットフィルタ２２の動作を制御する赤外光カットフィルタ制御部２６とを備える。

図２に示すように、赤外光カットフィルタ２２は、撮像素子とレンズ２５との間に設けられる。赤外光カットフィルタ２２には、赤外光カットフィルタ２２を回動させるモータ２３が取り付けられている。モータ２３は赤外光カットフィルタ制御部２６の制御に従い、赤外光カットフィルタ２２を回動させる。赤外光カットフィルタ２２は、モータ２３の駆動により、図面Ａ位置と図面Ｂ位置に移動する。赤外光カットフィルタ２２が図面Ａ位置にあるときには、撮像素子に集光する光が赤外光カットフィルタ２２を通過する。赤外光カットフィルタ２２が図面Ｂ位置にあるときには、赤外光カットフィルタ２２をレンズ２５の光路から外れ、撮像素子に集光する光は赤外光カットフィルタ２２を通過しなくなる。撮像部２は、赤外光カットフィルタ２２を回動させることにより、赤外光を除去した赤外光除去画像Ｒｅｍｏｖｅと、赤外光と可視光との両方を含む赤外光含有画像Ｈｏｌｄとを撮像することができる。

なお、赤外光カットフィルタ２２を上下又は左右に移動させるスライドなどを用いてもよい。また、赤外光カットフィルタ制御部２６の機能をドライバ２４やシステムコントロール部９が実現する構成にしてもよい。

画像処理部４は、赤外光除去画像Ｒｅｍｏｖｅのエッジを保存しつつノイズを除去した出力画像Ｏｕｔを生成する。図３に画像処理部４の構成を示す。画像処理部４は、赤外光除去画像Ｒｅｍｏｖｅのゲインを調整するゲイン調整部４１と、赤外光除去画像Ｒｅｍｏｖｅのノイズを除去するローパスフィルタ４２と、赤外光含有画像Ｈｏｌｄのエッジ及び詳細部分を抽出するハイパスフィルタ４３と、ローパスフィルタ４２の出力画像とハイパスフィルタ４３の出力画像とを合成する画像合成部４５とから構成される。

ゲイン調整部４１は、ゲインを調整することにより、露出不足で暗く撮像された赤外光除去画像Ｒｅｍｏｖｅの画素値を増大し適正露出で撮像した画像に近い画素値とする。ゲインの調整方法としては、可視光画像の画素値を定数倍する方法や指数関数に基づくガンマ補正、多項式関数等に基づく任意のゲイン調整方法などがある。調整後の画素値の最大値は制限されている。

ローパスフィルタ４２は、赤外光除去画像Ｒｅｍｏｖｅのノイズを除去する。ここでは、ローパスフィルタ４２としてクロスバイラテラルフィルタを使用する。クロスバイラテラルフィルタは、エッジ評価用画像とフィルタ対象画像とを入力し、エッジ評価用画像の評価結果に従いフィルタ対象画像のノイズを除去する。

ここで、赤外光含有画像Ｈｏｌｄの３つの画素値Ｒ、Ｇ、Ｂと赤外光除去画像Ｒｅｍｏｖｅの３つの画素値Ｒ、Ｇ、Ｂとの６つの画素値に基づいてエッジを評価するクロスバイラテラルフィルタの例を説明する。クロスバイラテラルフィルタの処理単位は、フィルタ対象領域である。クロスバイラテラルフィルタのタップ数をｎとすると、フィルタ対象領域はフィルタ対象座標（Ｘ、Ｙ）を中心とした縦２ｎ＋１×横２ｎ＋１の領域となる。クロスバイラテラルフィルタは、フィルタ対象座標（Ｘ、Ｙ）を中心としたフィルタ対象領域の入力に対し出力画像Ｂａｓｅの座標（Ｘ、Ｙ）における画素値を出力する。

クロスバイラテラルフィルタは、フィルタ対象画像の画素値と係数Ｗから出力画像Ｂａｓｅの画素値を求める。係数Ｗは、フィルタ対象領域の中心画素の座標（Ｘ、Ｙ）とフィルタ対象領域を構成する他の画素の座標（ＰＸ、ＰＹ）との距離に依存する値Ｗ_ｓとフィルタ対象領域の中心座標（Ｘ、Ｙ）とその他の座標（ＰＸ、ＰＹ）との画素値の差に依存する値Ｗ_ｒから求められる。係数Ｗ_ｓの算出式を式（１）に示す。ここで、σ_ｓは、フィルタ対象領域の範囲内でＰＸを変化させたときのＸ−ＰＸの標準偏差である。

係数Ｗ_ｒは、赤外光除去画像Ｒｅｍｏｖｅの画素値に依存した値Ｄｉｓｔ_ＲＧＢと、赤外光含有画像Ｈｏｌｄの画素値に依存した値ＩＲ_ＲＧＢから求められる。式（２）は、ＤＩＳＴ_ＲＧＢを算出するための式である。式（２）においてＲ（Ｘ、Ｙ）、Ｇ（Ｘ、Ｙ）、Ｂ（Ｘ、Ｙ）は座標（Ｘ、Ｙ）におけるＲ、Ｇ、Ｂの画素値であり、Ｒ（ＰＸ、ＰＹ）、Ｇ（ＰＸ、ＰＹ）、Ｂ（ＰＸ、ＰＹ）はフィルタ対象領域の座標（ＰＸ、ＰＹ）におけるＲ、Ｇ、Ｂの画素値である。σ_Ｒ、σ_Ｇ、σ_Ｂは赤外光除去画像Ｒｅｍｏｖｅ全体におけるＲ、Ｇ、Ｂの画素値の標準偏差である。

式（３）は、ＤＩＳＴ_ＩＲを算出するための式である。式（３）においてＲＩＲ（Ｘ、Ｙ）、ＧＩＲ（Ｘ、Ｙ）、ＢＩＲ（Ｘ、Ｙ）は座標（Ｘ、Ｙ）におけるＲ、Ｇ、Ｂの画素値であり、ＲＩＲ（ＰＸ、ＰＹ）、ＧＩＲ（ＰＸ、ＰＹ）、ＢＩＲ（ＰＸ、ＰＹ）はフィルタ対象領域の座標（ＰＸ、ＰＹ）におけるＲ、Ｇ、Ｂの画素値である。σ_ＲＩＲ、σ_ＧＩＲ、σ_ＢＩＲは、赤外光含有画像Ｈｏｌｄ全体におけるＲ、Ｇ、Ｂの画素値の標準偏差である。

式（４）は、係数Ｗ_ｒを算出する式である。式（４）によれば係数Ｗ_ｒは、ＤＩＳＴ_ＩＲとＤＩＳＴ_ＲＧＢの差分を累乗とする指数として算出される。

係数Ｗは、以下の式（５）から算出される。式（５）において係数Ｗ_ｓは式（１）で算出した値であり、係数Ｗ_ｒは式（４）において算出した値である。

出力画像Ｂａｓｅの座標（Ｘ、Ｙ）における画素値Ｂａｓｅ（Ｘ、Ｙ）は、以下の式（６）から算出される。式（６）において係数Ｗは式（５）で算出した値であり、Ｒｅｍｏｖｅ（Ｘ、Ｙ）は赤外光除去画像Ｒｅｍｏｖｅの座標（Ｘ、Ｙ）における画素値である。

ローパスフィルタ４２の出力画像を基礎画像Ｂａｓｅと呼ぶ。基礎画像Ｂａｓｅは、画像の色味が正確であるという長所と、エッジや詳細部分がはっきりしないという短所がある。

ハイパスフィルタ４３は、赤外光含有画像Ｈｏｌｄのエッジ部分を抽出する。ここでは、ハイパスフィルタ４３としてＦＩＲフィルタを使用する。図４は、５×５のＦＩＲフィルタの係数値の例を示している。ハイパスフィルタ４３としては、ＦＩＲフィルタ以外のものを用いてもよい。また、ハイパスフィルタのタップ数や係数も特に限定しない。ハイパスフィルタ４３から出力される画像には、赤外光含有画像Ｈｏｌｄのエッジや詳細部分が保存されている。この画像を詳細画像Ｅｄｇｅと呼ぶ。

画像合成部４５は、基礎画像Ｂａｓｅと詳細画像Ｅｄｇｅと乗算した合成画像を生成する。この画像が画像処理部４３の出力画像ＯＵＴである。出力画像ＯＵＴは、基礎画像Ｂａｓｅと詳細画像Ｅｄｇｅとの２つの画像の長所を合わせた画像であり、色味が正しく詳細部分がはっきりしているという特徴がある。

以上説明したように、本発明を適用した撮像装置１１では、撮像素子とレンズ２５との間に赤外光カットフィルタ２２を設け、赤外光を除去した赤外光除去画像Ｒｅｍｏｖｅと、赤外光を含む赤外光含有画像Ｈｏｌｄとの２枚の画像が撮像できる構成とした。

撮像装置１１は、赤外光除去画像Ｒｅｍｏｖｅのノイズを除去した基礎画像Ｂａｓｅと、赤外光含有画像Ｈｏｌｄのエッジや詳細部分を抽出した詳細画像Ｅｄｇｅとを合成することにより、赤外光除去画像Ｒｅｍｏｖｅのノイズを除去しつつ、ノイズ除去によって減衰したエッジ部分や詳細部分を補った出力画像ＯＵＴを得ることができる。

従来の画像処理装置では、フラッシュによって発生する影やハイライトとエッジや詳細部分を区別するために、演算コストが増大していたが、本発明を適用した撮像装置１では、赤外光含有画像Ｈｏｌｄは赤外光除去画像Ｒｅｍｏｖｅと同じ照明条件で撮像することができるので、照明条件の違いを補正しなくてもよい。

さらに、従来の画像処理装置では、詳細部分やエッジを影やハイライトと誤判別した場合には、詳細部分の画素が破棄されてしまうという課題があった。赤外光除去画像Ｒｅｍｏｖｅは赤外光含有画像Ｈｏｌｄと同じ照明条件で撮像することができるので、照明条件の違いによる影やハイライトが発生することはなく、必要な画素が破棄されてしまうおそれもない。

次いで、図５を参照して撮像装置１の変形例について説明する。この撮像装置１１は、撮像装置１に補助光源３１及び補助光源制御部３２を追加したことを特徴とする。補助光源３１及び補助光源制御部３２以外の構成は撮像装置１と同じである。撮像装置１と同じ構成要素には同一符号を付してある。これらの構成要素の説明は省略する。

補助光源３１は、赤外光の帯域に属する波長の光を出力する。補助光源３１としては、赤外線フラッシュやキセノンバルブがある。補助光源制御部３２は、赤外光含有画像Ｈｏｌｄを撮像するとき補助光源３１を点灯させ、赤外光除去画像Ｒｅｍｏｖｅを撮像するとき補助光源３１を点灯させない。補助光源制御部３２は、補助光源３１と赤外光カットフィルタ２２の動作を同期させる。すなわち、赤外光カットフィルタ２２が赤外光を遮断する位置Ａにあるときには補助光源３１は点灯させず、赤外光カットフィルタ２２が赤外光を遮断しない位置Ｂにあるときには補助光源３１を点灯させる。補助光源制御部３２の処理は、補助光源制御部３２以外のブロック、例えば、システムコントロール部９やドライバ２４が実行してもよい。

補助光源３１を設けた撮像装置１１では、赤外光が少ない環境においても照度の高い赤外光含有画像Ｈｏｌｄを得ることができる。また、可視光のフラッシュでは、影やエッジが発生してしまうが、補助光源３１は画像に影響を与えず、照明条件の違いを補正する演算が不要である。補助光源３１は、可視光のフラッシュの使用が禁止された場所で使用することもできる。

なお、赤外光含有画像Ｈｏｌｄと赤外光除去画像Ｒｅｍｏｖｅの代わりに、赤外光のみを撮像した赤外光画像Ｉｎｆｒと可視光を撮像した可視光画像Ｖｉｓｉｂｌｅを使用してもよい。赤外光画像Ｉｎｆｒは、赤外光含有画像Ｈｏｌｄと赤外光除去画像Ｒｅｍｏｖｅとの差分から求められる。可視光画像Ｖｉｓｉｂｌｅは、赤外光除去画像Ｒｅｍｏｖｅで代用できる。入力画像が変わっても上述した画像処理部４で出力画像Ｏｕｔが得られる。また、赤外光の代わりに他の不可視光画像、例えば、紫外光を使用してもよい。

さらに、ローパスフィルタ４２は、赤外光含有画像Ｈｏｌｄの３つの画素値Ｒ、Ｇ、Ｂと赤外光除去画像Ｒｅｍｏｖｅの３つの画素値Ｒ、Ｇ、Ｂの６つの画素値に基づいてエッジを評価するバイラテラルフィルタとしたが、赤外光含有画像Ｈｏｌｄの輝度と赤外光除去画像Ｒｅｍｏｖｅの輝度との２つの画素値に基づいてエッジを評価するバイラテラルフィルタにしてもよい。

画像処理部４におけるフィルタリング処理は、制御プログラムに基づいて実行してもよい。このような制御プログラムは、撮像装置１のファームウェアに記録されている。なお、制御プログラムは、外部記録装置９が読み取り可能な形式で記録された記録媒体を介して取得してもよい。制御プログラムを記録する記録媒体としては、磁気読取方式の記録媒体（例えば、磁気テープ、フレキシブルディスク、磁気カード）、光学読取方式の記録媒体（例えば、ＣＤ−ＲＯＭ、ＭＯ、ＣＤ−Ｒ、ＤＶＤ）、半導体メモリ（メモリカード、ＩＣカード）等が考えられる。また、制御プログラムは、いわゆるインターネット等を介して取得してもよい。

撮像素子の構成を示すブロック図である。赤外光カットフィルタの構成を模式的に示した図である。画像処理部の構成を示すブロック図である。ハイパスフィルタの係数の一例を示す図である。撮像装置の変形例の構成を示すブロック図である。従来の画像処理装置の構成を示すブロック図である。

符号の説明

１撮像装置、２撮像部、２１撮像素子、２２赤外光カットフィルタ、２３モータ、２４ドライバ、２５レンズ、２６赤外光カットフィルタ制御部、４画像処理部、９システムコントロール部、４１ゲイン調整部、４２ローパスフィルタ、４３ハイパスフィルタ、４５画像合成部、３１補助光源、３２補助光源制御部

Claims

撮像手段と、
上記撮像手段に結像する不可視光を遮断する不可視光遮断手段と、
不可視光を遮断せずに撮像した不可視光含有画像を用いて、不可視光を遮断して撮像した不可視光除去画像のノイズを低減するノイズ低減手段と
を備えることを特徴とする撮像装置。
上記不可視光含有画像の撮像時に不可視光を発光する補助光発光手段を備えることを特徴とする請求項１記載の撮像装置。
上記不可視光とは、赤外光であることを特徴とする請求項１記載の撮像装置。
上記不可視光とは、紫外光であることを特徴とする請求項１記載の撮像装置。
上記ノイズ低減手段は、
上記可視光画像にローパスフィルタをかける第1のフィルタリング手段と、
上記不可視光画像のハイパスフィルタをかける第２のフィルタリング手段と、
上記ローパスフィルタ及び上記ハイパスフィルタの出力を合成する合成手段と
ことを特徴とする請求項１記載の撮像装置。
所定の処理をコンピュータに実行させるプログラムにおいて、
不可視光を遮断せずに撮像した不可視光含有画像を用いて、不可視光を遮断して撮像した不可視光除去画像のノイズを低減するノイズ低減工程を有することを特徴とするプログラム。
所定の処理を実行させるプログラムが記録された記録媒体において、
不可視光を遮断せずに撮像した不可視光含有画像を用いて、不可視光を遮断して撮像した不可視光除去画像のノイズを低減するノイズ低減工程を有することを特徴とするプログラムが記録された記録媒体。