JP2010161452A - 赤外線照射式撮像装置 - Google Patents

Abstract

【課題】低照度下で赤外線を照射して撮像する場合に、良好なホワイトバランスをとることが可能な赤外線照射式撮像装置を提供する。
【解決手段】赤外線混合撮像条件で撮像を行う場合に、赤外線混合撮像信号を可視光演算撮像信号と赤外線演算撮像信号とに分離し、可視光撮像信号に基づき可視光演算撮像信号の色バランスを整合させて、色整合撮像信号を生成する。そして、色整合撮像信号と赤外線演算撮像信号との合成比率に基づいて、カラー画像信号に彩度階調性の補正を施して、カラー画像信号を生成する。
【選択図】図１

Description

本発明は、赤外線を照射することで低照度下の被写体の撮像を可能にする赤外線照射式撮像装置に関する。

ＣＣＤやＣＭＯＳ等の撮像素子は、人間の目と異なり、可視光成分だけでなく赤外線成分に対しても感度を有しているため、デジタルスチルカメラ、ムービーカメラ等の撮像装置では、この撮像素子の前面に赤外線カットフィルタを配置して可視光のみを受光するようにしている。

このような撮像装置では、赤外線カットフィルタを外して赤外線成分も受光するようにすれば、撮像素子に入る光量が増大し、低照度下においても被写体の撮像が可能となる。しかしながら、赤外線の波長は人間の目で感知できない波長領域にあり、赤外線成分を含んだ撮像信号は色バランスが崩れるため、通常、赤外線成分を含んだ撮像信号は輝度信号として扱われ、モノクロ画像が生成される。

近年、このような撮像装置を用いて、モノクロ画像ではなく実際の見た目に近いカラー画像を生成できるようにすることが市場から要求されている。

特許文献１には、赤外線カットフィルタが外部位置に配置されている場合には（ナイトショット撮影時には）、赤外成分を考慮した黒体カーブデータＬＢが読み出されて黒体カーブ制御が行われるものが開示されている。あるいは、映像信号Ｒ，Ｇ，Ｂの比が１になるようにグレーワールド制御が行われるものが開示されている。特許文献１には、これにより、撮影状況に応じて、最適なホワイトバランス制御が行われる、との記載がある。
特開２００５−１３０３１７公報

しかしながら、前者の赤外成分を考慮した黒体カーブデータＬＢによる黒体カーブ制御は、可視光量と赤外線量との比率、及び／または、差分が不明であるままに、赤外線カットフィルタの配置によって制御されているので、この比率、及び／または、差分の大小に対応した黒体カーブの選択ができる制御ではないのである。

また、後者のグレーワールド制御は、被写体の色に偏りがないことを前提とした制御であるため、被写体の色に偏りがある場合は色バランスを適切に整合させることができない。

本発明は、これらの技術的課題に鑑みてなされたものであって、赤外線を照射することで低照度下の被写体の撮像を可能にする赤外線照射式撮像装置において、色再現性の高いカラー画像を得られるようにすることを目的とする。

赤外線照射式撮像装置において、被写体に赤外線を照射する赤外線照射部と、被写体を結像して光学像を生成する光学系と、可視光を透過し赤外線を遮断するフィルタ特性を有し、光学系の光路上の位置である遮断位置と前記光路上から外れた位置である退避位置とを移動可能に構成される赤外線カットフィルタと、光学像を光電変換して撮像信号を生成する撮像部と、赤外線カットフィルタを遮断位置に配置し、かつ、赤外線照射部から被写体に赤外線を照射しない可視光撮像条件で撮像させることで可視光撮像信号を生成させ、また、赤外線カットフィルタを退避位置に配置し、かつ、赤外線照射部から被写体に赤外線を照射する赤外線混合撮像条件で撮像させることで赤外線混合撮像信号を生成させる撮像条件制御部と、赤外線混合撮像信号を、可視光撮像信号と赤外線混合撮像信号との比率、及び／または、差分に基づいて、可視光成分である可視光演算撮像信号と赤外線成分である赤外線演算撮像信号に分離する分離部と、可視光撮像信号に基づき可視光演算撮像信号の色バランスを整合させ、色整合撮像信号を生成する色バランス整合部と、色整合撮像信号に赤外線演算撮像信号を合成してカラー画像信号を生成する画像処理部と、を備え、画像処理部は、色整合撮像信号と赤外線演算撮像信号との合成比率に基づいて、カラー画像信号に彩度階調性の補正を施すことを特徴とする。

本発明によれば、低照度下の被写体に対して赤外線を照射して撮像する場合に於いて、その被写体に色の偏りがある場合であったとしても、良好なホワイトバランスが得られ、色再現性の良い画像が得られる効果がある。

以下、図面を参照して本発明の実施形態について説明する。

図１は、本発明の実施形態による装置の構成を示すブロック図である。

図１に於いて、この装置は、赤外線発光ダイオード（赤外線照射部）１と、レンズ（光学系）２と、赤外線カットフィルタ３と、イメージセンサ（撮像部）４と、撮像条件制御部５と、ホワイトバランス処理部６と、分離部７と、色バランス整合部８と、画像処理部９と、より構成されている。

赤外線発光ダイオード１は、被写体に赤外線を照射するものである。レンズ２は、被写体１０を結像して光学像を生成するものである。赤外線カットフィルタ３は、可視光を透過し赤外線を遮断するフィルタ特性を有し、レンズ２の光路上の位置である遮断位置と光路上から外れた位置である退避位置とを移動可能に構成されるものである。イメージセンサ４は、光学像を光電変換して撮像信号を生成するものである。

撮像条件制御部５は、赤外線カットフィルタ３を遮断位置に配置し、かつ、赤外線発光ダイオード１から被写体１０に赤外線を照射しない可視光撮像条件でイメージセンサ４により被写体１０を撮像することで可視光撮像信号ＲＧＢｘｙを生成し、また、赤外線カットフィルタ３を退避位置に配置し、かつ、赤外線発光ダイオード１から被写体１０に赤外線を照射する赤外線混合撮像条件でイメージセンサ４により被写体１０を撮像することで、可視光成分と赤外線成分の両方を含む赤外線混合撮像信号ＲＧＢＩｘｙを生成するものである。

ホワイトバランス処理部６は、可視光撮像信号ＲＧＢｘｙに対してホワイトバランス処理を施してホワイトバランス撮像信号ｗＲＧＢｘｙを生成するものである。

分離部７は、この赤外線混合撮像信号ＲＧＢＩｘｙを、可視光撮像信号ＲＧＢｘｙと赤外線混合撮像信号ＲＧＢＩｘｙとの比率、または、差分に基づいて、可視光成分である可視光演算撮像信号［ＲＧＢｘｙ］と赤外線成分である赤外線演算撮像信号［Ｉｘｙ］に分離するものである。

この演算分離の具体的な例について説明する。

先ず、可視光撮像信号ＲＧＢｘｙについて、
ＲＧＢｘｙ＝（Ｒ，Ｇ，Ｂ）ｘｙ
とＲＧＢ各色毎に分解してからＲＧＢ各色毎に積分すれば、
（ΣＲ，ΣＧ，ΣＢ）
＝（∬（Ｒｘｙ）ｄｘｄｙ，∬（Ｇｘｙ）ｄｘｄｙ，∬（Ｂｘｙ）ｄｘｄｙ）
である。

また、赤外線混合撮像信号ＲＧＢＩｘｙについて、
Ｉｘｙ＝（ｒＩ，ｇＩ，ｂＩ）ｘｙ
であるので、
ＲＧＢＩｘｙ
＝（（Ｒ＋ｒＩ），（Ｇ＋ｇＩ），（Ｂ＋ｂＩ））ｘｙ
とＲＧＢ各色毎に分解してからＲＧＢ各色毎に積分すれば、
（Σ（Ｒ＋ｒＩ），Σ（Ｇ＋ｇＩ），Σ（Ｂ＋ｂＩ））
＝（∬（（Ｒ＋ｒＩ）ｘｙ）ｄｘｄｙ，∬（（Ｇ＋ｇＩ）ｘｙ）ｄｘｄｙ，∬（（Ｂ＋ｂＩ）ｘｙ）ｄｘｄｙ）
である。

ここで、赤外線混合撮像信号ＲＧＢＩｘｙのＲ色、（Ｒ＋ｒＩ）ｘｙについて、可視光演算撮像信号［Ｒｘｙ］と、赤外線演算撮像信号［ｒＩｘｙ］とに比率で分離する方法を示せば、
［Ｒｘｙ］＝（Ｒ＋ｒＩ）ｘｙ＊ΣＲ／Σ（Ｒ＋ｒＩ）
［ｒＩｘｙ］＝（Ｒ＋ｒＩ）ｘｙ−［Ｒｘｙ］
である。

Ｇ色、及び、Ｂ色についてもＲ色と同様にして、
［Ｇｘｙ］＝（Ｇ＋ｇＩ）ｘｙ＊ΣＧ／Σ（Ｇ＋ｇＩ）
［ｇＩｘｙ］＝（Ｇ＋ｇＩ）ｘｙ−［Ｇｘｙ］
［Ｂｘｙ］＝（Ｂ＋ｂＩ）ｘｙ＊ΣＢ／Σ（Ｂ＋ｂＩ）
［ｂＩｘｙ］＝（Ｂ＋ｂＩ）ｘｙ−［Ｂｘｙ］
である。

このようにして、
ＲＧＢＩｘｙ
＝［ＲＧＢｘｙ］＋［（ｒＩ，ｇＩ，ｂＩ）ｘｙ］
＝［ＲＧＢｘｙ］＋［Ｉｘｙ］
というように比率による演算分離が為される。

或いは、赤外線混合撮像信号ＲＧＢＩｘｙのＲ色、（Ｒ＋ｒＩ）ｘｙについて、可視光演算撮像信号［Ｒｘｙ］と、赤外線演算撮像信号［ｒＩｘｙ］とに差分で分離する方法を示せば、
［Ｒｘｙ］＝（Ｒ＋ｒＩ）ｘｙ−ｒＩｘｙ
［ｒＩｘｙ］＝（Ｒ＋ｒＩ）ｘｙ−［Ｒｘｙ］
である。ここで、ｒＩｘｙ信号は、可視光撮像信号ＲＧＢｘｙ、及び、赤外線混合撮像信号ＲＧＢＩｘｙの差分に基づいて抽出されるｘｙ信号である。

Ｇ色、及び、Ｂ色についても同様にして、
［Ｇｘｙ］＝（Ｇ＋ｇＩ）ｘｙ−ｇＩｘｙ
［ｇＩｘｙ］＝（Ｇ＋ｇＩ）ｘｙ−［Ｇｘｙ］
［Ｂｘｙ］＝（Ｂ＋ｂＩ）ｘｙ−ｂＩｘｙ
［ｂＩｘｙ］＝（Ｂ＋ｒＩ）ｘｙ−［Ｂｘｙ］
である。

このようにして、差分による演算分離であっても、
ＲＧＢＩｘｙ
＝［ＲＧＢｘｙ］＋［（ｒＩ，ｇＩ，ｂＩ）ｘｙ］
＝［ＲＧＢｘｙ］＋［Ｉｘｙ］
と演算することが可能である。

色バランス整合部８は、ホワイトバランス撮像信号ｗＲＧＢｘｙに基づき可視光演算撮像信号［ＲＧＢｘｙ］の色バランス（ΣｗＲ：ΣｗＧ：ΣｗＢ）を整合させ、色整合撮像
信号ｃ［ＲＧＢｘｙ］を生成するものである。

この色バランス整合部８は、可視光演算撮像信号［ＲＧＢｘｙ］を構成する各色の信号［Ｒｘｙ］、［Ｇｘｙ］、［Ｂｘｙ］をｘｙ平面積分した値Σ［Ｒ］、Σ［Ｇ］、Σ［Ｂ
］を、それぞれ次式により算出する。
Σ［Ｒ］＝∬［Ｒｘｙ］ｄｘｄｙ
Σ［Ｇ］＝∬［Ｇｘｙ］ｄｘｄｙ
Σ［Ｂ］＝∬［Ｂｘｙ］ｄｘｄｙ

同様に、ホワイトバランス撮像信号ｗＲＧＢｘｙを構成する各色の信号ｗＲｘｙ、ｗＧｘｙ、ｗＢｘｙをｘｙ平面積分した値ΣｗＲ、ΣｗＧ、ΣｗＢを、それぞれ次式により算
出し、ホワイトバランス撮像信号ｗＲＧＢｘｙの各色の信号の積分値の比（ΣｗＲ：Σｗ
Ｇ：ΣｗＢ、以下、色毎積分比という。）を算出する。
ΣｗＲ＝∬（ｗＲｘｙ）ｄｘｄｙ
ΣｗＧ＝∬（ｗＧｘｙ）ｄｘｄｙ
ΣｗＢ＝∬（ｗＢｘｙ）ｄｘｄｙ

そして、色バランス整合部８は、次の関係式、
Ｋｒ×Σ［Ｒ］：Ｋｇ×Σ［Ｇ］：Ｋｂ×Σ［Ｂ］＝ΣｗＲ：ΣｗＧ：ΣｗＢ
を満たす色バランス係数Ｋｒ、Ｋｇ、Ｋｂを算出する。

色バランス整合部８は、算出した色バランス係数Ｋｒ、Ｋｇ、Ｋｂに基づき、色バランス整合後の可視光演算撮像信号ｃ［ＲＧＢｘｙ］を構成する各色の信号ｃ［Ｒｘｙ］、ｃ［Ｇｘｙ］、ｃ［Ｂｘｙ］を、それぞれ次式により算出する。
ｃ［Ｒｘｙ］＝Ｋｒ×［Ｒｘｙ］
ｃ［Ｇｘｙ］＝Ｋｇ×［Ｇｘｙ］
ｃ［Ｂｘｙ］＝Ｋｂ×［Ｂｘｙ］

すなわち、色バランス整合部８は、ホワイトバランス撮像信号ｗＲＧＢｘｙの色毎積分比（ΣｗＲ：ΣｗＧ：ΣｗＢ）に基づき、可視光演算撮像信号［ＲＧＢｘｙ］の色バラン
スを整合させ、色整合撮像信号ｃ［ＲＧＢｘｙ］を生成して画像処理部９に出力する。

画像処理部９は、色整合撮像信号ｃ［ＲＧＢｘｙ］に赤外線演算撮像信号［Ｉｘｙ］を合成してカラー画像信号を生成するものである。また、この画像処理部９は、色整合撮像信号ｃ［ＲＧＢｘｙ］と赤外線演算撮像信号［Ｉｘｙ］との合成比率に基づいて、カラー画像信号に彩度階調性の補正を施すものである。

例えば、色整合撮像信号ｃ［ＲＧＢｘｙ］の信号レベルに対して赤外線演算撮像信号［Ｉｘｙ］の信号レベルが大きすぎる場合には、この彩度階調性の補正を施さなければ、ほとんど色の付いていないモノクロ画像のようになってしまう。何故ならば、赤外線演算撮像信号［Ｉｘｙ］は色の情報を有さない信号であるからである。

そこで、色整合撮像信号ｃ［ＲＧＢｘｙ］から得られる色相はそのままに、彩度に対してゲインを掛けて、カラー画像信号の輝度レベルとクロマレベルとのレベルバランスを整合させる必要がある。この彩度階調性の補正によって、モノクロ画像を色鮮やかなカラー画像に蘇らせるのである。

尚、彩度に対してゲインを掛けた場合に発生する問題点とその解決方法については後述する。

図２は、低照度下の白色被写体１０を可視光撮像条件にて撮像した場合のＲＧＢ各色毎の撮像信号レベル（Ｒ，Ｇ，Ｂ）の一例を示すグラフである。

図３は、低照度下の白色被写体１０を赤外線混合撮像条件にて撮像した場合のＲＧＢ各色毎の撮像信号レベル（Ｒ，Ｇ，Ｂ）の一例を示すグラフである。

図２、及び、図３に於いて、斜線で示されている部分は可視光成分にて光電変換された撮像信号のレベルが示されており、また、図３に於いて、白枠で示されている部分は、赤外線成分にて光電変換された撮像信号のレベルが示されている。

また、図３は、赤外線を照射して撮像することで、撮像信号のＧ信号レベルが最低被写体照度時のＧ信号レベルに至るまで改善されていることが示されている。つまり、図３に於いては、低照度下の被写体１０が明るく撮像されていることが示されている。

図４は、図３で示された撮像信号レベル（Ｒ，Ｇ，Ｂ）が可視光演算撮像信号レベル（Ｒ，Ｇ，Ｂ）と、赤外線演算撮像信号レベルＩＲと、に分離された一例を示すグラフである。

図４は、分離部７によって、撮像信号ＲＧＢＩｘｙが可視光演算撮像信号［ＲＧＢｘｙ］と、赤外線演算撮像信号［Ｉｘｙ］と、に分離され、そのｘｙ平面信号の中の１画素についての一例である。

図５は、図４で示された可視光演算撮像信号レベル（Ｒ，Ｇ，Ｂ）に色バランス整合が施された一例を示すグラフである。

図５に於いて、可視光演算撮像信号レベル（Ｒ，Ｇ，Ｂ）は色バランスが整合されて、ＲＧＢ各色の信号レベルが略揃った様子が示されている。これは、可視光演算撮像信号［ＲＧＢｘｙ］は、可視光色毎比率ΣｗＲ：ΣｗＧ：ΣｗＢに基づいて色バランスが整合さ
れて、色整合撮像信号ｃ［ＲＧＢｘｙ］が生成されることが示されているのである。また、この色バランスの整合によって、可視光撮像条件時に得られたホワイトバランスが色整合撮像信号ｃ［ＲＧＢｘｙ］に対して反映されることが示されている。

ここで、図５に示された色整合撮像信号レベル（Ｒ，Ｇ，Ｂ）は、前述した画像処理部９にて輝度信号レベルと色信号に用いられ、また、赤外線演算撮像信号レベルＩＲは、輝度信号レベルのみに用いられるので、この赤外線演算撮像信号レベルＩＲが色整合撮像信号レベル（Ｒ，Ｇ，Ｂ）に対して比率が高い場合には、カラー画像信号の輝度信号レベルと色信号レベルとのレベルバランスが悪くなってしまうことが懸念される。

そこで、この画像処理部９は、色整合撮像信号ｃ［ＲＧＢｘｙ］と赤外線演算撮像信号［Ｉｘｙ］との合成比率に基づいて、カラー画像信号に彩度階調性の補正を施して輝度信号と色信号とのレベルバランスを改善させる。

しかしながら、この彩度階調性の補正は、色整合撮像信号ｃ［ＲＧＢｘｙ］の色の情報量をそのままに、カラー画像信号の色信号レベルを増やすゲイン補正である。したがって、特に、低彩度階調に於いては、色のソラリ現象を発生させてしまう懸念があるのである。

このソラリ現象の発生原理の一例について説明する。

任意のｘｙ座標に於いて、低彩度階調の彩度を８ｂｉｔにて示せば、例えば、
ｓ1（ｘ，ｙ）＝０００００ＡＢＣ
である。但し、ＡＢＣは色整合撮像信号ｃ［ＲＧＢｘｙ］から算出された２値（０，１）のどちらかである。

ここで、彩度階調性の補正によって、このｓ1（ｘ，ｙ）が演算にて４倍の彩度に階調処理するならば２ｂｉｔシフトすれば良いので、例えば、
ｓ2（ｘ，ｙ）＝０００ＡＢＣ００
となる。

これは、４倍の彩度に階調処理しても色情報の有効ｂｉｔ数（色の情報量）は変わらないので、
ｓ2（ｘ，ｙ）≠０００ＡＢＣＤＥ
であることが示されている。

ここで、ｓ2（ｘ，ｙ）の下位３ｂｉｔであるＣ００に着目すれば、このＣ００は、１００、または、０００のどちらかの数値であって、このようなｓ2（ｘ，ｙ）の下位３ｂｉｔに於けるｂｉｔ分解能の粗さによって色のソラリ現象の発生が懸念されるのである。

そこで、このｓ2（ｘ，ｙ）の下位２ｂｉｔに対して擬似乱数を加算すると、
ｓ3（ｘ，ｙ）＝０００ＡＢＣＲＳ
となる。

但し、ＲＳは擬似乱数からランダムに算出された２値（０，１）のどちらかである。

この擬似乱数ＲＳはランダムなクロマノイズであるので各色ノイズが相殺されて、特定色に偏ったクロマノイズにはならないのである。故に、ｓ2（ｘ，ｙ）で発生するソラリ現象を、下位２ｂｉｔに擬似乱数ＲＳを加算することによって、ランダムノイズに近いノイズによって目立たなくしたｓ3（ｘ，ｙ）に改善することができるのである。

前述してきたように、本発明の実施形態によれば、低照度下の被写体１０に対して赤外線を照射して撮像する場合に於いて、その被写体１０に色の偏りがある場合であったとしても、良好なホワイトバランスが得られ、色再現性の良い画像が得られる赤外線照射式撮像装置を提供することができる。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、本発明は、デジタルスチルカメラ、ムービーカメラに限らず、シネマ撮影用カメラ、医療用カメラ等にも応用可能である。

更に、前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

本発明の実施形態の赤外線照射式撮像装置の構成を示すブロック図である。 低照度下の白色被写体を可視光撮像条件で撮像した場合の撮像信号レベルの一例を示すグラフである。 低照度下の白色被写体を赤外線混合撮像条件で撮像した場合の撮像信号レベルの一例を示すグラフである。 図３で示された撮像信号レベルが可視光演算撮像信号レベルと赤外線演算撮像信号レベルとに分離された一例を示すグラフである。 図４で示された可視光演算撮像信号レベルに色バランス整合が施された一例を示すグラフである。

１ 赤外線発光ダイオード（赤外線照射部）
２ レンズ（光学系）
３ 赤外線カットフィルタ
４ イメージセンサ（撮像部）
５ 撮像条件制御部
６ ホワイトバランス処理部
７ 分離部
８ 色バランス整合部
９ 画像処理部
１０ 被写体

Claims (3)

1. 被写体に赤外線を照射する赤外線照射部と、
   前記被写体を結像して光学像を生成する光学系と、
   可視光を透過し赤外線を遮断するフィルタ特性を有し、前記光学系の光路上の位置である遮断位置と前記光路上から外れた位置である退避位置とを移動可能に構成される赤外線カットフィルタと、
   前記光学像を光電変換して撮像信号を生成する撮像部と、
   前記赤外線カットフィルタを前記遮断位置に配置し、かつ、前記赤外線照射部から前記被写体に赤外線を照射しない可視光撮像条件で撮像させることで可視光撮像信号を生成させ、また、前記赤外線カットフィルタを前記退避位置に配置し、かつ、前記赤外線照射部から前記被写体に赤外線を照射する赤外線混合撮像条件で撮像させることで赤外線混合撮像信号を生成させる撮像条件制御部と、
   前記赤外線混合撮像信号を、前記可視光撮像信号と前記赤外線混合撮像信号との比率、及び／または、差分に基づいて、可視光成分である可視光演算撮像信号と赤外線成分である赤外線演算撮像信号に分離する分離部と、
   前記可視光撮像信号に基づき前記可視光演算撮像信号の色バランスを整合させ、色整合撮像信号を生成する色バランス整合部と、
   前記色整合撮像信号に前記赤外線演算撮像信号を合成してカラー画像信号を生成する画像処理部と、
   を備え、
   前記画像処理部は、前記色整合撮像信号と前記赤外線演算撮像信号との合成比率に基づいて、前記カラー画像信号に彩度階調性の補正を施す
   ことを特徴とする赤外線照射式撮像装置。
2. 前記画像処理部は、前記彩度階調性の補正前、または、補正後の前記カラー画像信号に対して擬似乱数を加算する
   ことを特徴とする請求項１に記載の赤外線照射式撮像装置。
3. 前記可視光撮像信号に対してホワイトバランス処理を施してホワイトバランス撮像信号を生成するホワイトバランス処理部を更に備え、
   前記色バランス整合部は、前記ホワイトバランス撮像信号を色毎に面積分したときの各色の積分値の比である色毎積分比に基づき、前記可視光演算撮像信号の色バランスを整合させる
   ことを特徴とする請求項２に記載の赤外線照射式撮像装置。

Images