JP2013121176A

JP2013121176A - 撮像装置

Info

Publication number: JP2013121176A
Application number: JP2011269750A
Authority: JP
Inventors: Yong Liu; 勇劉
Original assignee: Samsung Yokohama Research Institute
Current assignee: Samsung R&D Institute Japan Co Ltd
Priority date: 2011-12-09
Filing date: 2011-12-09
Publication date: 2013-06-17

Abstract

【課題】赤外光を検出する画素に混在する可視光成分を考慮した上で、混合係数を高精度に求める。
【解決手段】撮像装置１００は、赤色光、緑色光及び青色光の可視光と、赤外光のそれぞれを単独で発光量を増加させながら順次に発光する４色ＬＥＤストロボ１０２と、複数の画素から構成され、赤色光、緑色光及び青色光の可視光と赤外光の画素値をそれぞれ取得する画素を有する撮像素子１０４と、赤外光の発光量を増加させた際の可視光のそれぞれの画素値の変化に基づいて可視光の画素値に赤外光が混在する割合を示す混合係数を算出し、可視光の発光量を増加させた際の赤外光の変化に基づいて赤外光の画素値に可視光が混在する割合を示す混合係数を算出する混合係数算出部１０８ａと、混合係数算出部１０８ａが算出した混合係数を記憶するメモリ１１０と、を備える。
【選択図】図１

Description

本発明は、撮像装置に関する。

近時においては、デジタルカメラなどの撮像装置等において、下記の特許文献１〜３、非特許文献１に記載されているように、赤、緑、青（ＲＧＢ）の画素値を、近赤外線成分を考慮して求める方法が知られている。

特開２０１１−１５０８７号公報特開２００７−２０２１０８号公報特開２０１１−２９８１０号公報特開２０１０−９８３５８号公報

香山信三、田中圭介、廣瀬裕「監視カメラ用昼夜兼用イメージセンサ」ＰａｎａｓｏｎｉｃＴｅｃｈｎｉｃａｌＪｏｕｒｎａｌＶｏｌ．５４Ｎｏ．４Ｊａｎ．２００９

赤色光、緑色光、青色光を検出する各画素（Ｒ画素、Ｇ画素、Ｂ画素）には、それぞれ、ＲＧＢ成分に加えて近赤外光成分（ＩＲ成分）が混在して検出される。このため、赤色光、緑色光、青色光を検出する各画素にＩＲ成分が含まれている割合を示す混合係数を製品出荷前に測定しておき、混在するＩＲ成分を分離する必要がある。このため、製品出荷前に煩雑な工程が必要となり、製造コストの上昇といった問題が生じていた。

また、製品出荷前に混合係数を測定した場合、経年劣化等の要因により、その後に混合係数の値が変化してしまうことが想定される。このため、製品出荷後に長期間に渡って、ＩＲ成分を精度良く分離することは困難であった。

更に、赤外光を検出するＩＲ画素は、近赤外光を透過させるフィルタを備えていたとしても、ＩＲ成分に加えてＲＧＢ成分が混在して検出される。しかしながら、上記従来の方法では、いずれもＩＲ画素にＲＧＢ成分が混在していることは想定していなかった。例えば特許文献４では、Ｒ＋ＩＲ画素、Ｇ＋ＩＲ画素、Ｂ＋ＩＲ画素、ＩＲ画素を加重平均で近似し、得られた擬似中心ＩＲ画素を差し引くことでＲＧＢ各画素を求めているが、擬似中心ＩＲ画素を差し引く際は比重係数を考慮しておらず、ＩＲ画素にＲＧＢ成分が混在していることは想定していなかった。一方、非特許文献１によれば、赤、緑、青の原信号から近赤外専用画素の近赤外信号成分を除去する差分処理を施しても、Ｒ画素には９％、Ｇ画素には４％、Ｂ画素２１％の赤外光成分が残存している。また、非特許文献１の分光感度の測定値を見ても、ＩＲ画素には一定量のＲＧＢ成分が混在していることが分かる。従って、ＩＲ画素にＲＧＢ成分が混在していないという仮定条件下で混合係数を算出すると、混合係数を精度良く求めることは困難である。

このため、混合係数を用いて画素値を補償した場合においても、補償した画素値の精度が低下してしまい、所望の高画質の画像を得ることができないという問題が生じていた。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、赤外光を検出する画素に混在する可視光成分を考慮した上で、混合係数を高精度に求めることが可能な、新規かつ改良された撮像装置を提供することにある。

上記課題を解決するために、本発明のある観点によれば、赤色光、緑色光及び青色光の可視光と、赤外光のそれぞれを単独で発光量を増加させながら順次に発光する発光部と、複数の画素から構成され、赤色光、緑色光及び青色光の可視光と赤外光の画素値をそれぞれ取得する画素を有する撮像素子と、前記赤外光の発光量を増加させた際の前記可視光のそれぞれの画素値の変化に基づいて可視光の画素値に赤外光が混在する割合を示す混合係数を算出し、前記可視光の発光量を増加させた際の前記赤外光の変化に基づいて赤外光の画素値に可視光が混在する割合を示す混合係数を算出する混合係数算出部と、前記混合係数算出部が算出した混合係数を記憶する混合係数記憶部と、を備える撮像装置が提供される。

上記構成によれば、赤外光の発光量を増加させた際の可視光のそれぞれの画素値の変化に基づいて可視光の画素値に赤外光が混在する割合を示す混合係数を算出し、可視光の発光量を増加させた際の前記赤外光の変化に基づいて赤外光の画素値に可視光が混在する割合を示す混合係数が算出される。従って、製品出荷時に混合係数を測定する必要がなく、製品出荷後に発光部を発光させることで混合係数を逐次算出することができる。

前記混合係数算出部は、前記赤色光、緑色光、及び青色光の発光量をそれぞれ増加させた際の前記赤外光の画素値の変化に基づいて前記赤外光の画素値に対して前記赤色光、緑色光、及び青色光が混在する割合を示す第１、第２及び第３の混合係数をそれぞれ算出する。この構成によれば、赤外光の画素値に対して前記赤色光、緑色光、及び青色光が混在していることを考慮した上で、赤外光の画素値に対して赤色光、緑色光、及び青色光が混在する割合を示す第１、第２及び第３の混合係数をそれぞれ算出することができる。

前記混合係数算出部は、前記赤外光の発光量を増加させた際の前記赤色光の画素値の変化に基づいて前記赤色光の画素値に赤外光が混在する割合を示す第４の混合係数を算出し、前記混合係数算出部は、前記赤外光の発光量を増加させた際の前記緑色光の画素値の変化に基づいて前記緑色光の画素値に赤外光が混在する割合を示す第５の混合係数を算出し、前記混合係数算出部は、前記赤外光の発光量を増加させた際の前記青色光の画素値の変化に基づいて前記青色光の画素値に赤外光が混在する割合を示す第６の混合係数を算出する。この構成によれば、発光部の発光により、赤色光の画素値に赤外光が混在する割合を示す第４の混合係数、緑色光の画素値に赤外光が混在する割合を示す第５の混合係数、青色光の画素値に赤外光が混在する割合を示す第６の混合係数をそれぞれ算出することができる。

前記混合係数に基づいて、前記可視光及び前記赤外光の画素値を補償する画素値補償部を更に備える。この構成によれば、混合係数に基づいて画素値が補償されるため、赤色光、緑色光及び青色光の可視光と、赤外光のそれぞれの画素値を高精度に取得することができる。

前記撮像素子は、赤色光、緑色光、青色光、及び赤外光のそれぞれの画素値を取得する４つの画素を１単位とする計測ブロックを有し、前記画素値補償部は、各計測ブロックで取得された前記混合係数を用いて各計測ブロックで取得された画素値を補償する。この構成によれば、計測ブロック毎に取得された混合係数を用いて各計測ブロックで取得された画素値が補償されるため、各計測ブロックの画素値を高精度に取得することができる。

前記撮像素子は、赤色光、緑色光、青色光、及び赤外光のそれぞれの画素値を取得する４つの画素を１単位とする計測ブロックを有し、前記画素値補償部は、任意の計測ブロックを含む所定の領域の画素において、前記任意の計測ブロックで取得された前記混合係数を用いて前記所定の領域で取得された画素値を補償する。この構成によれば、任意の計測ブロックを含む所定の領域の画素においては、任意の計測ブロックで取得された混合係数が用いられるため、混合係数を記憶するメモリ領域を最小限に抑えることができる。

本発明によれば、赤外光を検出する画素に混在する可視光成分を考慮した上で、混合係数を高精度に求めることが可能となる。

本発明の一実施形態に係る撮像装置の構成を示す模式図である。撮像素子の４つの画素からなる計測ブロックを示す模式図である。赤外光の発光量Ｉ_０の増加に伴い、撮像素子１０４のＲ＋ＩＲ画素、Ｇ＋ＩＲ画素、Ｂ＋ＩＲ画素の画素値が変化する様子を説明するための特性図である。撮像素子の撮像領域の一例を示す模式図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

図１は、本発明の一実施形態に係る撮像装置１００の構成を示す模式図である。まず、図１を参照して、本発明の一実施形態に係る撮像装置１００の構成について説明する。図１に示すように、撮像装置１００は、４色ＬＥＤストロボ（４ｃｏｌｏｒＬＥＤＳｔｒｏｂｅ）１０２、撮像素子（Ｄａｙ／ＮｉｇｈｔＩｍａｇｅＳｅｎｓｏｒ）１０４、ＬＥＤ制御部（Ｃｏｎｔｒｏｌｌｅｒ）１０６、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）１０８、メモリ（Ｍｅｍｏｒｙ）１１０、を有して構成される。

撮像装置１００は、赤外線照射機能を有するカメラであり、通常の赤外線ＬＥＤを赤外光・赤・緑・青の４色ＬＥＤを置き換えた構成の４色ＬＥＤストロボ１０２を有している。なお、この４色ＬＥＤストロボ１０２には反射枠と拡散板を設ける必要がなく、赤外光・赤・緑・青の４つのＬＥＤチップを透明のパッケージに入れるだけで構成することができる。

図１に示す構成において、４色ＬＥＤストロボ１０２は、被写体（Ｏｂｊｅｃｔ）２００に対して、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色の可視光を照射し、また、ＩＲ（赤外光）を照射する。撮像素子１０４は、撮像光学系（不図示）によって被写体２００の像が結像される撮像面を備えており、被写体２００の像に応じた画素値を１画素（ピクセル）単位で出力する。ＬＥＤ制御部１０６は、４色ＬＥＤストロボ１０２の発光を制御する。プロセッサ１０８は、撮像装置１００の全体を制御する。特にプロセッサ１０８は、撮像素子１０４で取得された画素値に基づいて、混合係数を演算する処理を行う。メモリ１１０は、プロセッサ１０８が算出した混合係数を記憶する。また、メモリ１１０は、プロセッサ１０８を機能させるためのプログラムを格納することができる。

図２は、撮像素子１０４の４つの画素からなる計測ブロックを示す模式図である。図２に示すように、撮像素子１０４は、Ｒ＋ＩＲ画素１０４ａ、Ｇ＋ＩＲ画素１０４ｂ、Ｂ＋ＩＲ画素１０４ｃ、及びＩＲ画素１０４ｄが１つの計測ブロックとして構成されている。Ｒ＋ＩＲ画素１０４ａ、Ｇ＋ＩＲ画素１０４ｂ、Ｂ＋ＩＲ画素１０４ｃには、カラーフィルタが配列され、Ｒ＋ＩＲ画素１０４ａは赤色光を、Ｇ＋ＩＲ画素１０４ｂは緑色光を、Ｂ＋ＩＲ画素１０４ｃは青色光をそれぞれ検出し、光電変換により電気信号（画素値）に変換する。なお、上述したように、Ｒ＋ＩＲ画素１０４ａ、Ｇ＋ＩＲ画素１０４ｂ、Ｂ＋ＩＲ画素１０４ｃは、各色の可視光とともに近赤外光も検出する。

また、ＩＲ画素１０４ｄは、近赤外光のみが透過可能なフィルタを備える画素である。このような構成によれば、昼間はＲ＋ＩＲ画素１０４ａ、Ｇ＋ＩＲ画素１０４ｂ、Ｂ＋ＩＲ画素１０４ｃで検出すされる近赤外光成分を含んだ赤、緑、青の原信号からＩＲ画素１０４ｄの近赤外成分を差分除去することで、赤、緑、青の各信号を得ることができ、昼間であっても機械式ＩＲカットフィルタが不要となる。

プロセッサ１０８は、製品出荷後、実際にユーザが使用する過程において、混合係数を求めるため、撮像素子１０４内の全計測ブロックで計測された画素値に対して以下で説明する処理を行う。このため、プロセッサ１０８は、混合係数算出部１０８ａを備えている。また、プロセッサ１０８は、求めた混合係数を用いてＲ＋ＩＲ画素１０４ａ、Ｇ＋ＩＲ画素１０４ｂ、Ｂ＋ＩＲ画素１０４ｃ、及びＩＲ画素１０４ｄの各画素値を補償する画素値補償部１０８ｂを備える。混合係数算出部１０８ａ、および画素値補償部１０８ｂは、プロセッサ１０８とこれを機能させるプログラム（ソフトウェア）から構成することができる。この場合において、そのプログラムは、撮像装置１００が備えるメモリ１１０、または他の記憶部に格納されることができる。なお、混合係数算出部１０８ａ、および画素値補償部１０８ｂは、回路（ハードウェア）から構成することもできる。

前述したように、分光感度測定結果によれば、Ｒ＋ＩＲ画素１０４ａ、Ｇ＋ＩＲ画素１０４ｂ、Ｂ＋ＩＲ画素１０４ｃにはＲＧＢ成分と一定量のＩＲ成分が混在している。また、ＩＲ画素１０４ｄには、ＩＲ成分と一定量のＲＧＢ成分が混ざっている。これらの関係は次式で表すことができる。

上式において、Ｒｍｉｘ，Ｇｍｉｘ，Ｂｍｉｘ，Ｉｍｉｘは、撮像素子１０４のＲ＋ＩＲ画素１０４ａ、Ｇ＋ＩＲ画素１０４ｂ、Ｂ＋ＩＲ画素１０４ｃ、ＩＲ画素１０４ｄの画素値であり、Ｒ_０，Ｇ_０，Ｂ_０，Ｉ_０は、撮像素子１０４に照射される赤色光、緑色光、青色光、赤外光の強度である。また、Ｋｘｘ（Ｋ_ＲＩ，Ｋ_ＧＩ，Ｋ_ＢＩ，Ｋ_ＩＲ、Ｋ_ＩＧ、Ｋ_ＩＢ）は、それぞれの画素における各照射光の混合係数である。従って、各混合係数を求めることで、Ｒ_０，Ｇ_０，Ｂ_０，Ｉ_０を高精度に算出することができる。

混合係数の測定モードでは、先ず、撮像装置１００によって撮像される画像の画面内に動きのある物体がない状態で、４色ＬＥＤストロボ１０２の赤外光、赤色光、緑色光、青色光の発光量が順次に増加するように制御し、下式に示すように、式（１）〜式（３）に対してＩ_０の偏微分（式（５）〜式（７））、式（４）に対してＲ_０，Ｇ_０，Ｂ_０の偏微分（式（８）〜式（１０））を求める。

そして、式（５）〜式（１０）で得られた混合係数Ｋｘｘ（Ｋ_ＲＩ，Ｋ_ＧＩ，Ｋ_ＢＩ，Ｋ_ＩＲ、Ｋ_ＩＧ、Ｋ_ＩＢ）を式（１）〜式（４）に代入し、連立１次方程式を解くことで照射光の各成分Ｒ_０，Ｇ_０，Ｂ_０，Ｉ_０を求めることができる。

一方、非特許文献１では、ＩＲ画素にＩＲ成分と一定量のＲＧＢ成分が混在していることを想定していないため、Ｋ_ＩＲ、Ｋ_ＩＧ、Ｋ_ＩＢの値は０である。つまり、非特許文献１では、上述した式（４）において、Ｉｍｉｘ＝Ｉ_０としている。このため、非特許文献１による混合係数の算出は正確でなく、照射光の各成分Ｒ_０，Ｇ_０，Ｂ_０，Ｉ_０を精度良く求めることができない。

混合係数を取得するための４色ＬＥＤストロボ１０２の単独発光は、撮像装置１００の電源オン時などに定期的に行う。これにより、混合係数の経時的な変化に対応することができ、常に高画質の画像を撮像することができる。混合係数を求める前提として、撮像装置１００が静止しているか否かを判定する。具体的には、撮像素子１０４で複数のフレームを撮像し、前後数フレームに渡ってフレーム間の画素値の差分が小さい場合は、被写体２００が静止していると見なし、混合係数の測定モードに入る。なお、混合係数の測定モードは、通常の撮影モードが設定されていない場合に設定される。

混合係数の測定モードでは、先ず、ＬＥＤ制御部１０６が、4色ＬＥＤストロボ１０２の赤外光の発光量を連続増加するように制御する。これにより、４色ＬＥＤストロボ１０２の赤外光の発光部が、その発光量を連続的に増加するように発光する。

図３は、赤外光の発光量Ｉ_０の増加に伴い、撮像素子１０４のＲ＋ＩＲ画素１０４ａ、Ｇ＋ＩＲ画素１０４ｂ、Ｂ＋ＩＲ画素１０４ｃの画素値が変化する様子を説明するための特性図である。また、図３は、４色ＬＥＤストロボ１０２の赤色光、緑色光、青色光（Ｒ_０，Ｇ_０，Ｂ_０）の増加に伴い、ＩＲ画素１０４ｄの画素値が変化する様子を説明するための特性図である。

図３に基づいて、赤外光の発光量Ｉ_０の増加に伴い、Ｒ＋ＩＲ画素１０４ａの画素値が変化する様子を説明する。図３のｘ軸は４色ＬＥＤストロボ１０２から発光される赤外光成分Ｉ_０、ｙ軸はＲ＋ＩＲ画素１０４ａの画素値Ｒｍｉｘを示している。図３に示すように、赤外光成分Ｉ_０の増加に伴って画素値Ｒｍｉｘが増加する。そして、画素値Ｒｍｉｘが値ｃよりも増加すると、赤外光成分Ｉ_０と画素値Ｒｍｉｘとの関係が線形になる。

図３に示すように、赤外光ＬＥＤの発光量Ｉ_０が連続増加すると、線形領域にあるｘ０，ｘ１，ｙ０，ｙ１の４つの値を取得することができる。ここで、ｘ０，ｘ１は発光量Ｉ_０であり、ｙ０，ｙ１は、発光量ｘ０，ｘ１に対応するＲ＋ＩＲ画素１０４ａの画素値Ｒｍｉｘである。線形領域にあるｘ０，ｘ１，ｙ０，ｙ１の４つの値を取得することで、線形領域の傾きを求めることができるため、式（５）における赤外光成分Ｉ_０についての偏微分が計算可能となり、Ｋ_ＲＩを算出することができる。なお、この偏微分によるＫ_ＲＩの算出は、以下の式で表すこともできる。
Ｋ_ＲＩ＝（ｙ１−ｙ０）／（ｘ１−ｘ０）

ここで、上述したように、測定は撮像装置１００が静止している条件下で行われる。従って、画像の変化に影響を受けることなく、発光量Ｉ_０の増加に伴う画素値Ｒｍｉｘの変化を精度良く求めることができる。

同様にして、赤外光の発光量Ｉ_０の増加に伴い、撮像素子１０４のＧ＋ＩＲ画素１０４ｂ、Ｂ＋ＩＲ画素１０４ｃの画素値が変化した際の特性をそれぞれ取得し、Ｇ＋ＩＲ画素１０４ｂ、Ｂ＋ＩＲ画素１０４ｃについてもｘ０，ｘ１，ｙ０，ｙ１の４つの値をそれぞれ取得する。これにより、Ｇ＋ＩＲ画素１０４ｂ、Ｂ＋ＩＲ画素１０４ｃについても、赤外光成分Ｉ_０についての偏微分が計算可能となる。これにより、式（６）、式（７）における赤外光成分Ｉ_０についての偏微分が計算可能となり、Ｋ_ＧＩ，Ｋ_ＢＩを算出することができる。

このようにして、プロセッサ１０８は、赤外光の発光量Ｉ_０の増加に伴い、Ｒ＋ＩＲ画素１０４ａ、Ｇ＋ＩＲ画素１０４ｂ、Ｂ＋ＩＲ画素１０４ｃの画素値が変化する様子を取得し、Ｒ＋ＩＲ画素１０４ａ、Ｇ＋ＩＲ画素１０４ｂ、Ｂ＋ＩＲ画素１０４ｃのそれぞれにおいて、ｘ０，ｘ１，ｙ０，ｙ１の４つの値をそれぞれ取得する。そして、式（５）〜式（７）で示したように、Ｒｍｉｘ，Ｇｍｉｘ，Ｂｍｉｘに対して赤外光成分Ｉ_０の偏微分を計算することで、Ｋ_ＲＩ，Ｋ_ＧＩ，Ｋ_ＢＩを求めることができる。なお、Ｒ＋ＩＲ画素１０４ａ、Ｇ＋ＩＲ画素１０４ｂ、Ｂ＋ＩＲ画素１０４ｃの画素値は同時に取得できるため、赤外光を１回だけ単独発光させて、発光量Ｉ_０を増加させることによって、Ｒ＋ＩＲ画素１０４ａ、Ｇ＋ＩＲ画素１０４ｂ、Ｂ＋ＩＲ画素１０４ｃの画素値を取得することができ、これに基づいて混合係数Ｋ_ＲＩ，Ｋ_ＧＩ，Ｋ_ＢＩを求めることができる。

次に、測定モードにおいて、ＬＥＤ制御部１０６が４色ＬＥＤストロボ１０２の赤色光の発光量Ｒ_０を連続増加するように制御する。ここでも、図３を用いて説明すると、図３のｘ軸を赤色光成分Ｒ_０、ｙ軸をＩＲ画素１０４ｄの画素値Ｉｍｉｘとする。赤色光ＬＥＤの発光量Ｒ_０が連続増加すると、上記と同様に線形領域にてｘ０，ｘ１，ｙ０，ｙ１の４つの値を取得できるため、赤色光成分Ｒ_０についての偏微分が計算可能である。

これにより、プロセッサ１０８は、式（８）に示すように、Ｉｍｉｘに対して赤色光成分Ｒ_０の偏微分を計算することで、Ｋ_ＩＲを求めることができる。

次に、測定モードにおいて、ＬＥＤ制御部１０６が４色ＬＥＤストロボ１０２の緑色光の発光量Ｇ_０を連続増加するように制御する。ここでも、図３のｘ軸を緑色光成分Ｇ_０、ｙ軸をＩＲ画素１０４ｄの画素値Ｉｍｉｘとして説明する。緑色光ＬＥＤの発光量Ｇ_０が連続増加すると線形領域にあるｘ０，ｘ１，ｙ０，ｙ１の４つの値が取得できるため、緑色光成分Ｇ_０についての偏微分が計算可能である。

これにより、プロセッサ１０８は、式（９）に示すように、Ｉｍｉｘに対して緑色光成分Ｇ_０の偏微分を計算することで、Ｋ_ＩＧを求めることができる。

次に、測定モードにおいて、ＬＥＤ制御部１０６が４色ＬＥＤストロボ１０２の青色光の発光量Ｂ_０を連続増加するように制御する。ここでも、図３のｘ軸を青色光成分Ｂ_０、ｙ軸をＩＲ画素の画素値Ｉｍｉｘとして説明する。青色光ＬＥＤの発光量Ｂ_０が連続増加すると、線形領域にあるｘ０，ｘ１，ｙ０，ｙ１の４つの値が取得できるため、青色光成分Ｂ_０についての偏微分が計算可能である。

これにより、プロセッサ１０８は、式（１０）に示すように、Ｉｍｉｘに対して青色光成分Ｂ_０の偏微分を計算することで、Ｋ_ＩＢを求めることができる。

プロセッサ１０８は、以上の処理で求めた混合係数Ｋ_ＲＩ，Ｋ_ＧＩ，Ｋ_ＢＩ，Ｋ_ＩＲ、Ｋ_ＩＧ、Ｋ_ＩＢを画素毎にメモリ１１０に記憶させる。図２に示す４つの画素の画素値に基づいて求めた混合係数Ｋ_ＲＩ，Ｋ_ＧＩ，Ｋ_ＢＩ，Ｋ_ＩＲ、Ｋ_ＩＧ、Ｋ_ＩＢは、この４画素の混合係数としてメモリ１１０に記憶される。他の４つの画素の画素値に基づいて求めた混合係数は、当該他の４つの画素の混合係数としてメモリ１１０に記憶される。メモリ１１０では、次回の測定モードで新しい混合係数が取得されるまでの間は、混合係数Ｋ_ＲＩ，Ｋ_ＧＩ，Ｋ_ＢＩ，Ｋ_ＩＲ、Ｋ_ＩＧ、Ｋ_ＩＢを保持し続ける。そして、次回の測定モードで新しい混合係数が取得されると、メモリ１１０に記憶された混合係数Ｋ_ＲＩ，Ｋ_ＧＩ，Ｋ_ＢＩ，Ｋ_ＩＲ、Ｋ_ＩＧ、Ｋ_ＩＢが更新される。

基本的には、撮像素子１０４内の全計測ブロックにそれぞれの混合係数を持たせることが可能である。つまり、撮像素子１０４内の全画素の各混合係数を求めることが可能である。一方、メモリ１１０の容量が不足する場合等においては、撮像素子１０４の撮影領域を幾つかの小領域に分割して、小領域内の計測ブロックが共通の混合係数を使用することも可能である。

図４は、撮像素子１０４の撮像領域の一例を示す模式図である。図４に示すように、撮像素子１０４の撮像領域は、図２に示した計測ブロックが複数配置されて構成されている。図４の例では、図２に示す計測ブロックが９個配置された領域を示している。この場合において、図４に示す９個の計測ブロックについては、その中心の一点鎖線Ａ１で囲んだ１つの計測ブロックと共通の混合係数を使用することでメモリ１１０の容量を抑えることが可能である。

なお、上述した測定モードの手順において、４色ＬＥＤストロボ１０２の発光順序は特に限定されるものではなく、上述した発光順序はその一例である。従って、４色ＬＥＤストロボ１０２の発光順序は適宜変更することができる。

次に、通常の撮影モードの処理について説明する。測定モードが終了し、通常の撮影モードで撮影を行う際には、メモリに保存した混合係数Ｋ_ＲＩ，Ｋ_ＧＩ，Ｋ_ＢＩ，Ｋ_ＩＲ、Ｋ_ＩＧ、Ｋ_ＩＢを式（１）〜式（４）に代入する。そして、連立１次方程式を解くことで、ＩＲ成分を含まない真の画素値Ｒ_０，Ｇ_０，Ｂ_０、及びＲＧＢ成分を含まない真のＩＲの画素値Ｉ_０を求める。これにより、測定モードで得られた混合係数Ｋ_ＲＩ，Ｋ_ＧＩ，Ｋ_ＢＩ，Ｋ_ＩＲ、Ｋ_ＩＧ、Ｋ_ＩＢに基づいて、ＲＧＢの画素値及びＩＲの画素値を高精度に求めることが可能である。

この際、メモリ１１０に４画素の測定ブロック毎に混合係数が記憶されている場合は、その４画素で取得された画素値に対して、その４画素に対応する混合係数を用いることで、真の画素値を精度良く求めることができる。また、複数の測定ブロックで共通の混合係数が記憶されている場合は、その複数の測定ブロックで取得された各画素値に対して共通の混合係数を用いて真の画素値を算出する。

以上説明したように本実施形態によれば、製品出荷前に混合係数を測定する作業を必要とせず、実際の運用環境下で自律的に可視光成分、赤外光成分の混合係数を計算することができる。従って、外部環境の影響を受けることなく、正確な混合係数の分離結果を得ることができ、混合係数に基づいて画質を大幅に向上することができる。また、非特許文献１ではカラーフィルタの環境耐久性を高めるために複雑な製造プロセスを経て、混合係数の経時変化を抑えるようにしているため、製造コストが大幅に上昇してしまうが、本実施形態では混合係数を逐次算出することができるため、光学多層膜を形成する必要がなく、一定の時間間隔で混合係数を計算することができる。従って、経時変化が生じやすく、比較的環境耐久性の低い撮像素子（センサー）にも適用することが可能である。さらに、式（４）に混合係数Ｋ_ＩＲ、Ｋ_ＩＧ、Ｋ_ＩＢを設けることで、赤外光のカラーフィルタが可視光成分を完全にカットできない場合にも対応できるようになるため、混合係数をより詳細に求めることができる。従って、撮像素子のカラーフィルタに対する要求を低減することができ、製造コストを低下することが可能である。これにより、カラーフィルタ選択の自由度が高まるとともに、経年変化等による混合係数の変動の影響を抑止できるため、カラーフィルタの製造コストを低減することが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１００撮像装置
１０２４色ＬＥＤストロボ
１０４撮像素子
１０８プロセッサ
１０８ａ混合係数算出部
１０８ｂ画素値補償部
１１０メモリ

Claims

赤色光、緑色光及び青色光の可視光と、赤外光のそれぞれを単独で発光量を増加させながら順次に発光する発光部と、
複数の画素から構成され、赤色光、緑色光及び青色光の可視光と赤外光の画素値をそれぞれ取得する画素を有する撮像素子と、
前記赤外光の発光量を増加させた際の前記可視光のそれぞれの画素値の変化に基づいて可視光の画素値に赤外光が混在する割合を示す混合係数を算出し、前記可視光の発光量を増加させた際の前記赤外光の変化に基づいて赤外光の画素値に可視光が混在する割合を示す混合係数を算出する混合係数算出部と、
前記混合係数算出部が算出した混合係数を記憶する混合係数記憶部と、
を備えることを特徴とする、撮像装置。
前記混合係数算出部は、前記赤色光、緑色光、及び青色光の発光量をそれぞれ増加させた際の前記赤外光の画素値の変化に基づいて前記赤外光の画素値に対して前記赤色光、緑色光、及び青色光が混在する割合を示す第１、第２及び第３の混合係数をそれぞれ算出する、ことを特徴とする、請求項１に記載の撮像装置。
前記混合係数算出部は、前記赤外光の発光量を増加させた際の前記赤色光の画素値の変化に基づいて前記赤色光の画素値に赤外光が混在する割合を示す第４の混合係数を算出し、
前記混合係数算出部は、前記赤外光の発光量を増加させた際の前記緑色光の画素値の変化に基づいて前記緑色光の画素値に赤外光が混在する割合を示す第５の混合係数を算出し、
前記混合係数算出部は、前記赤外光の発光量を増加させた際の前記青色光の画素値の変化に基づいて前記青色光の画素値に赤外光が混在する割合を示す第６の混合係数を算出する、ことを特徴とする、請求項２に記載の撮像装置。
前記混合係数に基づいて、前記可視光及び前記赤外光の画素値を補償する画素値補償部を更に備えることを特徴とする、請求項１に記載の撮像装置。
前記撮像素子は、赤色光、緑色光、青色光、及び赤外光のそれぞれの画素値を取得する４つの画素を１単位とする計測ブロックを有し、
前記画素値補償部は、各計測ブロックで取得された前記混合係数を用いて各計測ブロックで取得された画素値を補償することを特徴とする、請求項４に記載の撮像装置。
前記撮像素子は、赤色光、緑色光、青色光、及び赤外光のそれぞれの画素値を取得する４つの画素を１単位とする計測ブロックを有し、
前記画素値補償部は、任意の計測ブロックを含む所定の領域の画素において、前記任意の計測ブロックで取得された前記混合係数を用いて前記所定の領域で取得された画素値を補償することを特徴とする、請求項４に記載の撮像装置。