JP2010154266A - 赤外線照射式撮像装置 - Google Patents

Abstract

【課題】赤外線照射式撮像装置において色再現性の高いカラー画像を得られるようにする。
【解決手段】撮像装置は、赤外線カットフィルタ（５）を遮断位置に配置して可視光撮像信号を生成し、また、赤外線カットフィルタ（５）を退避位置に配置して赤外線混合撮像信号を生成し、赤外線混合撮像信号を、可視光撮像信号と赤外線混合撮像信号との信号量の比率、及び／または、差分に基づいて、可視光演算撮像信号と赤外線演算撮像信号に分離し、可視光撮像信号に基づき可視光演算撮像信号の色バランスを整合させ色整合撮像信号を生成し、色整合撮像信号と赤外線演算撮像信号とに画像処理を施してカラー画像信号を生成する。そして、シーンの変更を判定し、シーン変更があったと判定されたときには、可視光撮像信号を再生成し、色バランスの整合係数を更新させる。
【選択図】図１

Description

本発明は、赤外線を照射することで低照度下の被写体の撮像を可能にする赤外線照射式撮像装置に関する。

ＣＣＤやＭＯＳ型センサ等の撮像素子（イメージセンサ）の分光感度特性は、人間の目と異なり、可視光成分だけでなく赤外線成分に対しても感度を有しているため、デジタルスチルカメラ、ムービーカメラ、医療用カメラ等の撮像装置では、この撮像素子の前面に赤外線カットフィルタを配置して可視光のみを受光するようにしている。

このような撮像装置では、赤外線カットフィルタを外して赤外線成分も受光するようにすれば、撮像素子に入射する光量が増大し、低照度下においても被写体を明るく撮像することが可能となる。しかしながら、赤外線の波長は人間の目で感知できない波長領域にあって、赤外線には本来の色情報がないので、赤外線成分を含んだ撮像画像はホワイトバランスが著しく劣化してしまう。そのために、通常の赤外線照射式撮像装置では、赤外線成分を含んだ撮像信号は輝度信号として扱われて、モノクロ画像が生成される。

近年、このような撮像装置を用いて、モノクロ画像ではなく実際の見た目に近いカラー画像を生成できるようにすることが市場から要求されている。

特許文献１には、赤外線カットフィルタが外部位置に配置されている場合には（ナイトショット撮影時には）、赤外成分を考慮した黒体カーブデータＬＢが読み出されて黒体カーブ制御が行われる。或いは、映像信号Ｒ，Ｇ，Ｂの比が１になるようにグレーワールド制御が行われる。これにより、撮影状況に応じて、最適なホワイトバランス制御が行われるとの記載がある。
特開２００５−１３０３１７公報

しかしながら、前者の赤外成分を考慮した黒体カーブデータＬＢによる黒体カーブ制御は、可視光量と赤外線量との比率、及び／または、差分が不明であるままに、赤外線カットフィルタの配置によって黒体カーブデータＬＡ、ＬＢが選択されるので、この黒体カーブの最適化が為されていない。

また、後者のグレーワールド制御は、被写体の色に偏りがないことを前提とした制御であるため、被写体の色に偏りがある場合はホワイトバランスを適切に処理させることができない。

本発明は、これらの技術的課題に鑑みてなされたものであって、赤外線を照射することで低照度下の被写体を明るく撮像することを可能にする赤外線照射式撮像装置において、ホワイトバランスを適切に処理させ、色再現性の高いカラー画像を得られるようにすることを目的とする。

本発明のある態様によれば、被写体に赤外線を照射する赤外線照射部と、前記被写体を結像して光学像を生成する光学系と、可視光を透過し赤外線を減衰または遮断するフィルタ特性を有し、前記光学系の光路上の位置である遮断位置と前記光路上から外れた位置である退避位置とを移動可能に構成される赤外線カットフィルタと、前記光学像を光電変換して撮像信号を生成する撮像部と、前記赤外線カットフィルタを前記遮断位置に配置する可視光撮像条件で前記撮像部により可視光撮像信号を生成させ、また、前記赤外線カットフィルタを前記退避位置に配置し、かつ、前記赤外線照射部から前記被写体に赤外線を照射する赤外線混合撮像条件で前記撮像部により赤外線混合撮像信号を生成させる撮像条件制御部と、前記可視光撮像信号に対してホワイトバランス処理を施してホワイトバランス撮像信号を生成するホワイトバランス処理部と、前記赤外線混合撮像信号を、前記可視光撮像信号と前記赤外線混合撮像信号との信号量の比率、及び／または、差分に基づいて可視光演算撮像信号と赤外線演算撮像信号とに分離する分離部と、前記ホワイトバランス撮像信号を色毎に積分したときの各色の積分値の比である色毎積分比に基づき前記可視光演算撮像信号の色バランスを整合させ、色整合撮像信号を生成する色バランス整合部と、前記色整合撮像信号と前記赤外線演算撮像信号とに画像処理を施してカラー画像信号を生成する画像処理部と、前記色バランスの整合係数の初期値を記憶し、該初期値と２回目以降の整合係数とを逐次比較して、前記被写体のシーン変更を判定するシーン判定部と、を備え、前記シーン変更が判定された場合には、前記赤外線混合撮像条件から前記可視光撮像条件への切り替えを制御することを特徴とする赤外線照射式撮像装置が提供される。

本発明によれば、赤外線を照射することで低照度下の被写体を明るく撮像することを可能にする赤外線照射式撮像装置において、色再現性の高いカラー画像を得ることができる。

以下、添付図面を参照しながら本発明の実施形態について説明する。

図１は、本発明の実施形態に係る赤外線照射式撮像装置（以下、「撮像装置」という。）の機能ブロック図である。撮像装置は、例えば、デジタルビデオカメラ、デジタルスチルカメラ、医療用カメラ等であり、赤外線照射部１、レンズ群３からなる光学系、撮像部４、赤外線カットフィルタ５、フィルタ駆動部６、撮像条件制御部７、ホワイトバランス処理部１０、分離部１１、色バランス整合部１２、画像処理部１４、シーン判定部１５、警告表示部１６、操作部１７を備える。

各構成について説明すると、赤外線照射部１は、赤外線を被写体２に照射する赤外線発光ダイオードと、凹型反射板とで構成される。赤外線発光ダイオードから射出される赤外線は、例えば、８００〜９００ｎｍを主成分とする近赤外線である。

レンズ群３からなる光学系は、被写体２から光学像を生成して撮像部４の撮像面に結像させる。

赤外線カットフィルタ５は、可視光成分（３５０〜７００ｎｍ）を透過させ、赤外線成分（７００ｎｍ以上)を減衰、または、遮断する特性を有するフィルタである。赤外線カットフィルタ５は、光学系の光路上の位置（以下、「遮断位置」という。）Ａと光学系の光路上から外れた位置（以下、「退避位置」という。）Ｂとを移動することができるように構成される。赤外線カットフィルタ５が遮断位置Ａにあるときは、赤外線カットフィルタ５はレンズ群３によって生成された光学像から赤外線成分を取り除き、可視光成分のみを撮像部４に到達させる。赤外線カットフィルタ５が退避位置Ｂにあるときは、可視光成分と赤外線成分の両成分を撮像部４に到達させる。

フィルタ駆動部６は、赤外線カットフィルタ５に接続されるモータ等のアクチュエータで構成される。フィルタ駆動部６は、このアクチュエータを駆動することで、赤外線カットフィルタ５を遮断位置Ａあるいは退避位置Ｂに移動させる。

撮像部４は、可視光成分と赤外線成分の両成分に対して感度を有するＣＣＤ、ＭＯＳ型センサ等の撮像素子で構成される。撮像素子の前面には、複数色から成るカラーフィルタが規則的な配列にて備えられる。このような撮像部４の分光感度特性は、例えば、図２に示すようになり、カラーフィルタの分光感度特性と撮像素子の分光感度特性との積算値が主成分である。レンズ群３を介して被写体２の光学像が撮像素子の受光面に結像すると、撮像素子はその光学像を色毎に光電変換して撮像信号を生成する。撮像部４は、この撮像信号をホワイトバランス処理部１０と分離部１１とに出力する。

撮像条件制御部７は、赤外線照射部１、フィルタ駆動部６を制御して、可視光撮像条件と赤外線混合撮像条件との撮像条件の切り替え制御をする。

先ず、撮像条件制御部７は、フィルタ駆動部６により赤外線カットフィルタ５を遮断位置Ａに配置し、かつ、赤外線照射部１から被写体２への赤外線照射を行わせないことで、可視光撮像条件を実現する。そして、可視光成分から成る撮像信号（この信号を以下、可視光撮像信号ＲＧＢｘｙとする。）が撮像部４によって生成され、ホワイトバランス処理部１０と分離部１１とに出力される。

続いて、撮像条件制御部７は、フィルタ駆動部６により赤外線カットフィルタ５を退避位置Ｂに配置し、かつ、赤外線照射部１から被写体２への赤外線照射を行わせることで、赤外線混合撮像条件を実現する。そして、可視光成分と赤外線成分との両成分を含む撮像信号（この信号を以下、赤外線混合撮像信号ＲＧＢＡｘｙとする。）が撮像部４により生成され、分離部１１に出力される。

分離部１１は、可視光撮像信号ＲＧＢｘｙを構成する各色の信号Ｒｘｙ、Ｇｘｙ、Ｂｘｙをそれぞれ次式によりｘｙ平面積分し、積分値ΣＲ、ΣＧ、ΣＢを算出する。
ΣＲ＝∬（Ｒｘｙ）ｄｘｄｙ
ΣＧ＝∬（Ｇｘｙ）ｄｘｄｙ
ΣＢ＝∬（Ｂｘｙ）ｄｘｄｙ
同様に、赤外線混合撮像信号ＲＧＢＡｘｙを構成する各色の信号（Ｒ＋ｒＡ）ｘｙ、（Ｇ＋ｇＡ）ｘｙ、（Ｂ＋ｂＡ）ｘｙをそれぞれ次式によりｘｙ平面積分し、積分値Σ（Ｒ＋ｇＡ)、Σ（Ｇ＋ｇＡ)、Σ（Ｂ＋ｂＡ）を算出する。

Σ（Ｒ＋ｒＡ）＝∬｛（Ｒ＋ｒＡ）ｘｙ｝ｄｘｄｙ
Σ（Ｇ＋ｇＡ）＝∬｛（Ｇ＋ｇＡ）ｘｙ｝ｄｘｄｙ
Σ（Ｂ＋ｂＡ）＝∬｛（Ｂ＋ｂＡ）ｘｙ｝ｄｘｄｙ
そして、分離部１１は、各色の可視光比率ｖｒＲ、ｖｒＧ、ｖｒＢを、それぞれ次式により算出する。

ｖｒＲ＝ΣＲ／Σ（Ｒ＋ｒＡ）
ｖｒＧ＝ΣＧ／Σ（Ｇ＋ｇＡ）
ｖｒＢ＝ΣＢ／Σ（Ｂ＋ｂＡ）
分離部１１は、このようにして算出された可視光比率ｖｒＲ、ｖｒＧ、ｖｒＢを用いて、赤外線混合撮像信号ＲＧＢＡｘｙを可視光演算撮像信号［ＲＧＢｘｙ］と赤外線演算撮像信号［Ａｘｙ］とに分離する。

可視光演算撮像信号［ＲＧＢｘｙ］を構成する各色の信号［Ｒｘｙ］、［Ｇｘｙ］、［Ｂｘｙ］は、それぞれ次式により算出される。

［Ｒｘｙ］＝（Ｒ＋ｒＡ）ｘｙ×ｖｒＲ
［Ｇｘｙ］＝（Ｇ＋ｇＡ）ｘｙ×ｖｒＧ
［Ｂｘｙ］＝（Ｂ＋ｂＡ）ｘｙ×ｖｒＢ
また、赤外線演算撮像信号［Ａｘｙ］を構成する各色の信号［ｒＡｘｙ］、［ｇＡｘｙ］、［ｂＡｘｙ］は、それぞれ次式により算出される。

［ｒＡｘｙ］＝（Ｒ＋ｒＡ）ｘｙ−［Ｒｘｙ］
［ｇＡｘｙ］＝（Ｇ＋ｇＡ）ｘｙ−［Ｇｘｙ］
［ｂＡｘｙ］＝（Ｂ＋ｂＡ）ｘｙ−［Ｂｘｙ］
分離部１１は、生成した可視光演算撮像信号［ＲＧＢｘｙ］を色バランス整合部１２に出力し、生成した赤外線演算撮像信号［Ａｘｙ］を画像処理部１４に出力する。

ホワイトバランス処理部１０は、可視光撮像信号ＲＧＢｘｙに対してホワイトバランス処理を施してホワイトバランス撮像信号ｗＲＧＢｘｙを生成し、生成したホワイトバランス撮像信号ｗＲＧＢｘｙを色バランス整合部１２に出力する。

ホワイトバランス処理としては、被写体の色に偏りがある場合であってもホワイトバランスを正しく行うことができる方法が用いられる。例えば、１）可視光撮像信号ＲＧＢｘｙから被写体の反射率が高いと推定される高レベル信号を抽出し、その高レベル信号を黒体判別させて暫定的な白色信号を抽出する。そして、この暫定白色信号を黒体の軌跡に収束させる。または、２）光源の種別を自動判別あるいはユーザーに光源の種類を選択させる。または、３）白色ないしグレー（無彩色）の被写体を撮像し、この時のＲＧＢ比を１に収束させる。等のホワイトバランス処理方法が用いられる。

色バランス整合部１２は、可視光演算撮像信号［ＲＧＢｘｙ］を構成する各色の信号［Ｒｘｙ］、［Ｇｘｙ］、［Ｂｘｙ］をｘｙ平面積分した値Σ［Ｒ］、Σ［Ｇ］、
Σ［Ｂ］を、それぞれ次式により算出する。

Σ［Ｒ］＝∬［Ｒｘｙ］ｄｘｄｙ
Σ［Ｇ］＝∬［Ｇｘｙ］ｄｘｄｙ
Σ［Ｂ］＝∬［Ｂｘｙ］ｄｘｄｙ
同様に、ホワイトバランス撮像信号ｗＲＧＢｘｙを構成する各色の信号ｗＲｘｙ、ｗＧｘｙ、ｗＢｘｙをｘｙ平面積分した値ΣｗＲ、ΣｗＧ、ΣｗＢを、それぞれ次式
により算出し、ホワイトバランス撮像信号ｗＲＧＢｘｙの各色の信号の積分値の比（ΣｗＲ：ΣｗＧ：ΣｗＢ、以下、色毎積分比という。）を算出する。

ΣｗＲ＝∬（ｗＲｘｙ）ｄｘｄｙ
ΣｗＧ＝∬（ｗＧｘｙ）ｄｘｄｙ
ΣｗＢ＝∬（ｗＢｘｙ）ｄｘｄｙ
そして、色バランス整合部１２は、次の関係式、
Ｋｒ×Σ［Ｒ］：Ｋｇ×Σ［Ｇ］：Ｋｂ×Σ［Ｂ］＝ΣｗＲ：ΣｗＧ：ΣｗＢ
を満たす色バランス係数（Ｋｒ，Ｋｇ，Ｋｂ）を算出する。

色バランス整合部１２は、算出した色バランス係数（Ｋｒ，Ｋｇ，Ｋｂ）に基づき、色バランス整合後の可視光演算撮像信号ｃ［ＲＧＢｘｙ］を構成する各色の信号ｃ［Ｒｘｙ］、ｃ［Ｇｘｙ］、ｃ［Ｂｘｙ］を、それぞれ次式により算出する。

ｃ［Ｒｘｙ］＝Ｋｒ×［Ｒｘｙ］
ｃ［Ｇｘｙ］＝Ｋｇ×［Ｇｘｙ］
ｃ［Ｂｘｙ］＝Ｋｂ×［Ｂｘｙ］
すなわち、色バランス整合部１２は、ホワイトバランス撮像信号ｗＲＧＢｘｙの色毎積分比（ΣｗＲ：ΣｗＧ：ΣｗＢ）に基づき、可視光演算撮像信号［ＲＧＢｘｙ］
の色バランスを整合させ、色整合撮像信号ｃ［ＲＧＢｘｙ］を生成する。色バランス整合部１２は、生成した色整合撮像信号ｃ［ＲＧＢｘｙ］を画像処理部１４に出力する。

尚、この色毎積分比は、前述したｘｙ平面積分による積分値を複数フレームに亘って更に積分してから算出するようにしても良い。複数フレームによる積分を施すことで、オプチカルショットノイズの影響を軽減し、また、動的被写体に対して色毎積分比の安定性が得られるからである。

また、色バランス整合部１２は、この色バランス係数（Ｋｒ，Ｋｇ，Ｋｂ）をシーン判定部１５に逐次出力する。

画像処理部１４は、色整合撮像信号ｃ［ＲＧＢｘｙ］と赤外線演算撮像信号［Ａｘｙ］とに画像処理を施し、カラー画像信号を生成する。

例えば、色整合撮像信号ｃ［ＲＧＢｘｙ］から第１の輝度信号Ｙ１ｘｙをリサンプリングして生成し、これに赤外線演算撮像信号［Ａｘｙ］を第２の輝度信号Ｙ２ｘｙとして、これらの輝度信号Ｙ１ｘｙとＹ２ｘｙとを合成し、輝度信号Ｙｘｙを生成する。また、色整合撮像信号ｃ［ＲＧＢｘｙ］を色相、及び、彩度についてリサンプリングして色信号Ｃｘｙを生成する。このようにして、カラー画像信号（Ｙ，Ｃ）ｘｙは生成される。

このリサンプリング処理には、例えば、バイキュービック演算、バイリニア演算、ニアレストネイバ処理、ｎタップによるマトリクス演算、Ｙマトリクス演算、色差マトリクス演算、等が用いられる。

尚、この画像処理部１４では、前述したようなリサンプリング処理に限らず、例えば、輝度階調性補正、ディテイル補正、各種ノイズキャンセルフィルタ、カラーコレクト、リゾリューションコンバート等の各種様々な画像処理が施される。

シーン判定部１５は、赤外線混合撮像条件による最初の色バランス係数（Ｋｒ１，Ｋｇ１，Ｋｂ１）を初期値として、この初期値を基準に２回目以降の色バランス係数（Ｋｒ，Ｋｇ，Ｋｂ）との差分値Δ（Ｋｒ，Ｋｇ，Ｋｂ）を算出していき（Δは差分の記号である。以下同じ。）、少なくとも一つの色の差分値が設定値を超える色変化状態を検知する。

具体的には、
ΔＫｒ＝Ｋｒ−Ｋｒ１
ΔＫｇ＝Ｋｇ−Ｋｇ１
ΔＫｂ＝Ｋｂ−Ｋｂ１
として、
｜ΔＫｒ｜≦Ｃｒ
｜ΔＫｇ｜≦Ｃｇ
｜ΔＫｒ｜≦Ｃｂ
という３つの条件が全て満たされているかどうかについて逐次算出していく。但し、Ｃｒ、Ｃｇ、Ｃｂは任意の設定値である。

この３つの条件が全て満たされている場合には、シーン判定部１５によって、一連のシーンが撮像していると検知される。また、この３つの条件のうち少なくとも１つの条件が満たされていない場合には、色変化状態であると検知され、その検知結果を警告表示部１６に出力する。

そして、シーン判定部１５は、この色変化状態が所定撮像回数以上継続したときにシーン変更があったと判定し、その判定結果を警告表示部に出力する。

警告表示部１６は、シーン判定部１５からシーン変更の判定結果を受けると、操作者に対して警告表示をする。この警告表示は点滅及び点灯する発光素子であって、色変化状態が検知されたときは、これの警告を点滅表示し、シーン変更があったと判定されたときは、この警告を点灯表示する。操作者は、この警告の点滅及び点灯表示を見て赤外線混合撮像条件から可視光撮像条件への制御切り替えを実行するかどうかを判断するのである。

操作部１７は、この赤外線混合撮像条件から可視光撮像条件への制御切り替えの実行を撮像条件制御部７に対して操作するものであるが、操作者による実行操作が発生するまでの期間、撮像条件の切り替えを待機させる機能を有する。

尚、この警告表示部１６と操作部１７とは一体型の構造をなしていても良い。

このようにして、シーン判定部１５によるシーン変更の判定、警告表示部１６による警告表示、操作部１７による撮像条件の切り替え操作を経て、再び可視光撮像信号ＲＧＢｘｙが生成されると、可視光比率ｖｒＲ、ｖｒＧ、ｖｒＢ、ホワイトバランス撮像信号ｗＲＧＢｘｙの色毎積分比ΣｗＲ：ΣｗＧ：ΣｗＢも更新され、これらの更
新値が赤外線混合撮像信号ＲＧＢＡｘｙの分離や可視光演算撮像信号［ＲＧＢｘｙ］の色バランス整合に用いられる。

このように、操作者に対して撮像条件の切り替え実行操作を催促することで、操作者が意図しないタイミングでカラー画像信号の生成が中断し、撮像したいシーンを撮り逃してしまうことを防止できる。

また、シーン判定部１５により色変化状態の検知あるいはシーン変更の判定がなされたときは、警告表示部１６により操作者に警告を行うので、操作者は操作部１７を操作すべきタイミングを知ることができる。そして、警告に従い、操作者が操作部１７を操作すれば、可視光撮像条件による撮像が行われて可視光撮像信号ＲＧＢｘｙが更新されるので、シーン変更前の可視光撮像信号ＲＧＢｘｙをシーン変化後も使い続けることによる色再現性の低下を防止することができる。

尚、図１のブロック図に於いては、警告表示部１６と操作部１７とが別のブロックとして示されているが、警告表示部１６と操作部１７とを一体的に設けるようにしてもよい。

図１０は、警告表示部１６を発光ダイオードで構成して操作部１７を構成する可動円筒部材に埋め込み、先端の発光部分を可動円筒部材の上部表面から露出させた例である。この構成によれば、操作者は警告表示部１６の状態を確認したうえで操作部１７を操作することになり、色変化状態が検知されていない、あるいは、シーン変更が判定されていないにもかかわらず、操作者が誤って操作部１７を操作してしまうことを防止することができる。

続いて、上記撮像装置が上記処理を行うことによる作用効果について説明する。尚、以下の作用効果に関する説明では、低照度下にある白色が含まれた被写体を上記撮像装置により撮像し、被写体の白色の部分が撮像された画素（以下、「白色画素」という。）における信号を例に挙げて説明する。

図３は、可視光撮像条件で生成される可視光撮像信号ＲＧＢｘｙの白色画素における（Ｒ，Ｇ，Ｂ）信号の信号レベルを示している。被写体の照度が低いので、この信号レベルが最低被写体照度で得られる信号レベルよりも低く、この可視光撮像信号ＲＧＢｘｙからカラー画像を生成した場合、十分な明るさの画像を得ることはできない。

図４は、この状態から赤外線照射部１により被写体２に赤外線を照射し、赤外線カットフィルタ５を光路上から退出させて赤外線混合撮像条件とし、この赤外線混合撮像条件で生成される赤外線混合撮像信号ＲＧＢＡｘｙの白色画素における（Ｒ，Ｇ，Ｂ）信号の信号レベルを示している。可視光撮像信号ＲＧＢｘｙと比べ、赤外線混合撮像信号ＲＧＢＡｘｙの信号レベルは、赤外線成分が加わったことにより最低被写体照度で得られる信号レベルを超え、明るい画像が得られるまでに改善している。

ここで、図３と図４とを比較して、Ｒ信号レベルの増分が（Ｂ，Ｇ）信号の増分よりも大きいのは、図２に示されたように撮像部４の分光感度特性が７００〜８００ｎｍの範囲にある赤外線領域においてＲに対して高い感度を有しているからである。

しかしながら、赤外線混合撮像信号ＲＧＢＡｘｙは、本来色ではない赤外線成分（図中白枠部分）が混入しているので、白色画素に於ける（Ｒ，Ｇ，Ｂ）信号の信号レベルの比率が崩れている。

したがって、赤外線混合撮像信号ＲＧＢＡｘｙをそのままに用いてカラー画像を生成した場合、明るい画像が得られるものの、色再現性の低い不自然な画像となるのである。

図５は、赤外線混合撮像信号ＲＧＢＡｘｙの色再現性を向上させるために、赤外線混合撮像信号ＲＧＢＡｘｙに対して特許文献１に開示されるグレーワールド制御を行った場合の白色画素における（Ｒ，Ｇ，Ｂ）信号の信号レベルを示している。グレーワールド制御によって、（Ｒ，Ｇ，Ｂ）信号の信号レベルは、
ΣＲ：ΣＧ：ΣＢ＝１：１：１
を満たすように制御される。

しかしながら、
ΣＲ：ΣＧ：ΣＢ≒１：１：１
となるような被写体は、色の偏りのない被写体というのが前提となるので、色の偏りのある被写体を撮像する場合では、
ΣＲ：ΣＧ：ΣＢ≠１：１：１
である。

故に、図５に於いて、可視光成分（図中斜線部分）に着目した場合、各色の可視光成分は白色画素であるにも関わらず等しくなく、可視光成分の色バランスは崩れたままである。良好な色再現性を実現するには、可視光成分の色バランスを整合させる必要がある。

図６は、日本国国旗を撮像して得られる赤外線混合撮像信号ＲＧＢＡｘｙに対してグレーワールド制御を行った場合を示している。日本国国旗は中央の赤の丸い領域２１、その背景の白色の矩形領域２２で構成され、色に偏りがあるため、グレーワールド制御ではいずれの領域とも正しい色とはならない。

これに対し、上記撮像装置では、赤外線混合撮像信号ＲＧＢＡｘｙを可視光演算撮像信号［ＲＧＢｘｙ］と赤外線演算撮像信号［Ａｘｙ］に分離し、前者に対して色バランス整合を施し、後者に対しては色信号（色情報）としては用いない。

図７は、赤外線演算撮像信号［Ａｘｙ］を分離して、可視光演算撮像信号［ＲＧＢｘｙ］に対して色バランス整合を行ってｃ［ＲＧＢｘｙ］を生成したときの白色画素における（Ｒ，Ｇ，Ｂ，Ａ）信号の信号レベルを示している。（Ｒ，Ｇ，Ｂ）信号の信号レベルに残っている白枠で示された赤外線成分は、演算分離で発生する誤差成分である。

ここで、色整合撮像信号ｃ［ＲＧＢｘｙ］のＲＧＢ各色信号レベルに着目すると、図５に示した例と比較して、可視光成分（図中斜線部分）に対するホワイトバランスの精度が向上していることがわかる。

この色バランス整合は、上記のとおり、可視光撮像信号ＲＧＢｘｙにホワイトバランス処理を施して生成されるホワイトバランス撮像信号ｗＲＧＢｘｙの色毎積分比（ΣｗＲ：ΣｗＧ：ΣｗＢ）に基づいて行われる。したがって、この色バランス整合に
よれば、ホワイトバランス撮像信号ｗＲＧＢｘｙで実現されるホワイトバランスが可視光演算撮像信号［ＲＧＢｘｙ］に対して実現され、被写体に色の偏りがある場合であってもホワイトバランスを正しく処理させることが可能となるのである。

したがって、ホワイトバランス撮像信号ｗＲＧＢｘｙのホワイトバランス（Ｒ：Ｇ：Ｂ）が、色毎積分比（ΣｗＲ：ΣｗＧ：ΣｗＢ）の整合という手段を介して色整合
撮像信号ｃ［ＲＧＢｘｙ］に反映されて、被写体の色相、彩度を保ったカラー画像信号を生成することができるのである。

図８は、色整合撮像信号ｃ［ＲＧＢｘｙ］の任意の１画素をＬ^*ａ^*ｂ^*色空間に表色し、その明度Ｌ^*に赤外線演算撮像信号［Ａｘｙ］を加算することで、２つの信号が合成された様子の一例を示している。色整合撮像信号ｃ［ＲＧＢｘｙ］をＬ^*ａ^*ｂ^*色空間に表色したときの空間座標をＰとし、合成後の空間座標をＱとすると、上記合成処理によれば、合成前後で明度Ｌ^*のみが図中矢印で示すように変化し、色相と彩度を表現するクロマティクネス指数ａ^*とｂ^*は合成前後で変化がない。すなわち、合成前後で色相、彩度が変化せず、色バランス整合部１２で実現された色再現性が合成後も保たれる。

図９は、上記撮像装置により日本国国旗を撮像し、カラー画像を生成した場合の一例を示す。上記撮像装置によれば、日本国国旗のように色に偏りのある被写体に対して赤外線を照射して撮像する場合であっても、ホワイトバランスを正しく処理させ、良好な色再現性が得られることが可能である。

また、上記撮像装置は、可視光撮像信号ＲＧＢｘｙを用いて赤外線混合撮像信号ＲＧＢＡｘｙの分離、赤外線混合撮像信号ＲＧＢＡｘｙから分離された可視光演算撮像信号［ＲＧＢｘｙ］の色バランス整合を行う構成である。したがって、仮にシーン変更前の可視光撮像信号ＲＧＢｘｙがシーン変更後もこれらの処理に適用され続けると、カラー画像信号のホワイトバランス及び色再現性が低下してしまう。

しかしながら、上記撮像装置では、シーンの変更があったと判定されると、赤外線混合撮像条件から可視光撮像条件に撮像条件の切り換えを実行し、可視光撮像信号ＲＧＢｘｙから得られる色毎積分比ΣｗＲ：ΣｗＧ：ΣｗＢを更新する。これにより、
上記処理をシーン変更後も正しく行うことができ、シーン変更後も引き続き良好な色再現性が得られる。

また、シーン変更の判定では、色変化状態が恒常的なものである場合にシーンの変更があったと判定するので、色変化状態が検知されたら直ちにシーンの変更と判定するものに比べ、シーンの変更をより正確に判定することができ、一時的なシーンの変更に起因する誤動作または誤操作を防ぐことができる。

以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一つを示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。

また、例えば、上記実施形態はハードウェアによる処理を前提としているが、同様の処理をソフトウェア処理により実現することができる。

この場合、撮像装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読取り可能な記憶媒体をシステムの中に備える。ここでは、このプログラムを制御プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている制御プログラムを読み出して、情報の加工・演算処理を実行することにより、上記撮像装置と同様の処理を実現させる。コンピュータ読取り可能な記録媒体とは、磁気ディスク、光ディスク、半導体メモリ等をいう。

図１１は、上記実施形態に係る撮像装置と同様の処理をソフトウェア処理により実現する場合の制御プログラムのフローチャートである。

これによると、ステップＳ１では、可視光撮像条件にて撮像し、可視光撮像信号ＲＧＢｘｙを生成する。

ステップＳ２では、可視光撮像信号ＲＧＢｘｙに対してホワイトバランス処理を施し、ホワイトバランス撮像信号ｗＲＧＢｘｙを生成する。ホワイトバランス処理の方法は上記ホワイトバランス処理部１０と同じである。

ステップＳ３では、このホワイトバランス撮像信号ｗＲＧＢｘｙに基づいて、色毎積分比ΣｗＲ：ΣｗＧ：ΣｗＢを更新する。

ステップＳ４では、赤外線混合撮像条件にて撮像し、赤外線混合撮像信号ＲＧＢＡｘｙを生成する。

ステップＳ５では、赤外線混合撮像信号ＲＧＢＡｘｙを可視光演算撮像信号［ＲＧＢｘｙ］と赤外線演算撮像信号［Ａｘｙ］とに分離する。赤外線混合撮像信号ＲＧＢＡｘｙの分離方法は上記分離部１１と同じである。

ステップＳ６では、色毎積分比（ΣｗＲ：ΣｗＧ：ΣｗＢ）に基づいて、可視光演
算撮像信号［ＲＧＢｘｙ］の色バランスを整合し、色整合撮像信号ｃ［ＲＧＢｘｙ］を生成する。色バランス整合の方法は上記色バランス整合部１２と同じである。

ステップＳ７では、色バランス係数の差分値Δ（Ｋｒ，Ｋｇ，Ｋｂ）が設定値以下であるかを算出する。差分値の算出方法はシーン判定部１５における処理と同じである。この差分値が設定値以下である場合（Ｙｅｓ）は、ステップＳ４に進む。そうでない場合（Ｎｏ色変化状態）は、ステップＳ８に進む。

ステップＳ８では、色変化状態の検知が所定撮像回数以上にわたって継続しているかに基づいてシーン変更を判定する。シーン変更の判定方法はシーン判定部１５における処理と同じである。そして、シーン変更があったと判定（Ｙｅｓ）したときは、ステップＳ９に進む。シーン変更と判定されなかったとき（Ｎｏ）は、ステップＳ４に進み、ステップＳ４以降の処理を再び実行する。

ステップＳ９では、シーン変更があったと判定されたことを操作者に伝えるために、警告表示を点灯する。

ステップＳ１０では、操作部が操作されたかどうかによって、操作された場合には、Ｓ１へ進み、可視光撮像信号ＲＧＢｘｙを再生成する。操作されていない場合には、操作されるまでの期間、このステップ１０で待機させる。

このように、本発明の実施形態に係る撮像装置に於いては、ソフトウェア処理により実現してもよく、ソフトウェア処理により実現した場合、処理内容の変更・追加がプログラムの書き換えで容易に対応することが可能である。

本発明の実施形態に係る赤外線照射式撮像装置の機能ブロック図である。 撮像部の分光感度特性の一例を示した図である。 可視光撮像条件で生成される可視光撮像信号ＲＧＢｘｙの白色画素における（Ｒ，Ｇ，Ｂ）信号の信号レベルの一例を示した図である。 赤外線混合撮像条件で生成される赤外線混合撮像信号ＲＧＢＡｘｙの白色画素における（Ｒ，Ｇ，Ｂ）信号の信号レベルの一例を示した図である。 赤外線混合撮像信号ＲＧＢＡｘｙに対してグレーワールド制御を行った場合の白色画素における（Ｒ，Ｇ，Ｂ）信号の信号レベルの一例を示した図である。 日本国国旗を撮像して得られる赤外線混合撮像信号ＲＧＢＡｘｙに対してグレーワールド制御を行った場合を示した図である。 可視光演算撮像信号［ＲＧＢｘｙ］に対して色バランス整合を行ってｃ［ＲＧＢｘｙ］を生成したときの白色画素における（Ｒ，Ｇ，Ｂ，Ａ）信号の信号レベルの一例を示した図である。 色整合撮像信号ｃ［ＲＧＢｘｙ］の任意の１画素をＬ^*ａ^*ｂ^*色空間に表色し、その明度Ｌ^*に赤外線演算撮像信号［Ａｘｙ］を加算することで、２つの信号が合成された様子の一例を示した図である。 日本国国旗を撮像し、カラー画像を生成した場合の一例を示した図である。 警告表示部と操作部とが一体型の構造を有する場合の一例を示した図である。 本実施形態に係る撮像装置と同様の処理をソフトウェア処理により実現する場合の制御プログラムのフローチャートである。

符号の説明

２ 被写体
３ レンズ群
４ 撮像部
５ 赤外線カットフィルタ
６ フィルタ駆動部
７ 撮像条件制御部
１０ ホワイトバランス処理部
１１ 分離部
１２ 色バランス整合部
１４ 画像処理部
１５ シーン判定部
１６ 警告表示部
１７ 操作部

Claims (6)

1. 被写体に赤外線を照射する赤外線照射部と、
   前記被写体を結像して光学像を生成する光学系と、
   可視光を透過し赤外線を減衰または遮断するフィルタ特性を有し、前記光学系の光路上の位置である遮断位置と前記光路上から外れた位置である退避位置とを移動可能に構成される赤外線カットフィルタと、
   前記光学像を光電変換して撮像信号を生成する撮像部と、
   前記赤外線カットフィルタを前記遮断位置に配置する可視光撮像条件で前記撮像部により可視光撮像信号を生成させ、また、前記赤外線カットフィルタを前記退避位置に配置し、かつ、前記赤外線照射部から前記被写体に赤外線を照射する赤外線混合撮像条件で前記撮像部により赤外線混合撮像信号を生成させる撮像条件制御部と、
   前記可視光撮像信号に対してホワイトバランス処理を施してホワイトバランス撮像信号を生成するホワイトバランス処理部と、
   前記赤外線混合撮像信号を、前記可視光撮像信号と前記赤外線混合撮像信号との信号量の比率、及び／または、差分に基づいて可視光演算撮像信号と赤外線演算撮像信号とに分離する分離部と、
   前記ホワイトバランス撮像信号を色毎に積分したときの各色の積分値の比である色毎積分比に基づき前記可視光演算撮像信号の色バランスを整合させ、色整合撮像信号を生成する色バランス整合部と、
   前記色整合撮像信号と前記赤外線演算撮像信号とに画像処理を施してカラー画像信号を生成する画像処理部と、
   前記色バランスの整合係数の初期値を記憶し、該初期値と２回目以降の整合係数とを逐次比較して、前記被写体のシーン変更を判定するシーン判定部と、
   を備え、
   前記シーン変更が判定された場合には、前記赤外線混合撮像条件から前記可視光撮像条件への切り替えを制御する
   ことを特徴とする赤外線照射式撮像装置。
2. 前記シーン判定部は、
   前記初期値と前記２回目以降の整合係数との差分値を色毎に算出していき、
   少なくとも一つの色の前記差分値が設定値を超える色変化状態を検知し、
   前記色変化状態が所定撮像回数以上継続したときに前記シーン変更があったと判定する
   ことを特徴とする請求項１に記載の赤外線照射式撮像装置。
3. 前記色変化状態が検知されたとき、あるいは、前記シーン変更があったと判定されたときに、操作者に警告を発する警告部と、
   前記操作者による操作が発生するまでの期間、前記赤外線混合撮像条件から前記可視光撮像条件への制御切り替えを待機させる操作部と、
   を更に備える
   ことを特徴とする請求項２に記載の赤外線照射式撮像装置。
4. 前記警告部は、
   前記色変化状態が検知されたときは前記警告を点滅表示し、
   前記シーン変更があったと判定されたときは前記警告を点灯表示する
   ことを特徴とする請求項３に記載の赤外線照射式撮像装置。
5. 前記警告の前記点滅表示及び前記点灯表示は同一の発光素子によってなされる
   ことを特徴とする請求項４に記載の赤外線照射式撮像装置。
6. 前記警告部と前記操作部は一体型の構造をなしている
   ことを特徴とする請求項３に記載の赤外線照射式撮像装置。

Images