JP2017112401A - 撮像素子、画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】より高品質な画像を得ることができるようにする。
【解決手段】画像処理装置は、可視光の第１の色成分および赤外成分を有する第１の画素と、第１の色成分よりも色温度による影響が大きく、かつ第１の色成分よりも輝度成分に対する影響が少ない可視光の第２の色成分のみを有する第２の画素とを有する撮像画像から、第１の画素を抽出して抽出赤外画像を生成する抽出部と、抽出赤外画像に対する補間処理を行って赤外画像を生成する赤外画像生成部と、撮像画像から得られた可視光の成分を有する可視光低周波画像と、赤外画像とに基づいてカラー画像を生成するカラー画像生成部とを有している。本技術は画像処理装置に適用することができる。
【選択図】図８

Description

本技術は撮像素子、画像処理装置および方法、並びにプログラムに関し、特に、より高品質な画像を得ることができるようにした撮像素子、画像処理装置および方法、並びにプログラムに関する。

監視カメラ等では可視光のカラー画像の品質を保ちながら、赤外光を被写体に照射して赤外画像を得ることができるようにする技術が知られている（例えば、特許文献１参照）。この技術を用いれば、可視光が多い昼間には可視光のカラー画像を撮像し、可視光の少ない夜間には赤外光を照射し、赤外画像を撮像することが可能となる。

例えば、このような技術ではＲ（赤）とＩＲ（赤外）の成分を受光する画素、Ｇ（緑）とＩＲの成分を受光する画素、Ｂ（青）とＩＲの成分を受光する画素、およびＩＲの成分のみを受光する画素が撮像素子に設けられる。

これにより、カラー画像の撮像時には、可視光の成分を受光する各画素の出力からＩＲ成分を差分することで、低色温度の照明でも色再現性を向上させることができる。また、夜間には赤外光を照射して露光を行い、ＩＲ成分を受光する画素の出力から赤外画像を得ることができる。

さらに、外来光が非常に少ない場合に自ら赤外光を照射し、カラー画像を得る技術も提案されている（例えば、特許文献２参照）。

例えば、そのような技術では１フレーム期間内で赤外光の照射がオン、オフされ、赤外光の照射をオンしているときに赤外画像が撮像され、赤外光の照射がオフされているときに可視画像が撮像されて、それらの赤外画像と可視画像とからカラー画像が生成される。

特開２０１０−０１１４１５号公報 特開２０１１−２３３９８３号公報

しかしながら、上述した技術では、例えば暗時など赤外成分が多い環境下では十分に高品質な画像を得ることが困難であった。

例えば特許文献１に記載の技術では、赤外光の照射時には赤外画像を得ることはできるが、画像のカラー化は考慮されていない。そのため、赤外光照射時にはカラー画像を得ることができなかった。

また、特許文献２に記載の技術では、可視画像の撮像時に赤外光による影響を受けないようにするために、時間方向で赤外光の照射のオン、オフが切り替えられている。そのため、カラー画像を生成するために用いられる赤外画像と可視画像の撮像時刻にずれが生じてしまい、カラー画像の品質が低下してしまう。

さらに、特許文献２に記載の技術では、１フレーム期間内で赤外画像と可視画像の両方が撮像されるため、それらの画像の露光時間が短くなってしまう。特に微弱な可視光の露光時間、つまり可視画像の露光時間が通常の１フレーム期間の半分の時間となってしまうのでノイズが増加し、カラー画像の品質が低下してしまう。

本技術は、このような状況に鑑みてなされたものであり、より高品質な画像を得ることができるようにするものである。

本技術の第１の側面の画像処理装置は、可視光の第１の色成分および赤外成分を有する第１の画素と、前記第１の色成分よりも色温度による影響が大きく、かつ前記第１の色成分よりも輝度成分に対する影響が少ない可視光の第２の色成分のみを有する第２の画素とを有する撮像画像から、前記第１の画素を抽出して抽出赤外画像を生成する抽出部と、前記抽出赤外画像に対する補間処理を行って赤外画像を生成する赤外画像生成部と、前記撮像画像から得られた可視光の成分を有する可視光低周波画像と、前記赤外画像とに基づいてカラー画像を生成するカラー画像生成部とを備える。

前記撮像画像が赤外成分のみを有する第３の画素をさらに有するようにし、前記抽出部には、前記撮像画像から前記第１の画素および前記第３の画素を抽出させて前記抽出赤外画像を生成させることができる。

前記赤外画像生成部には、前記第１の画素の出力レベルと、前記第３の画素の出力レベルとが略同じである場合に、前記第１の画素と前記第３の画素とからなる前記抽出赤外画像に対して前記補間処理を行わせて前記赤外画像を生成させ、前記カラー画像生成部には、前記第１の画素の出力レベルと、前記第３の画素の出力レベルとが略同じである場合に、前記可視光低周波画像と、前記赤外画像とに基づいて前記カラー画像を生成させることができる。

画像処理装置には、前記抽出赤外画像に対してホワイトバランス調整を行うホワイトバランス調整部をさらに設け、前記赤外画像生成部には、ホワイトバランス調整された前記抽出赤外画像に対して前記補間処理を行わせて前記赤外画像を生成させることができる。

前記カラー画像生成部には、前記撮像画像から前記第１の画素および前記第２の画素を抽出することで得られた前記可視光低周波画像と、前記赤外画像から高周波成分を抽出することで得られた赤外光高周波画像とを合成させて前記カラー画像を生成させることができる。

前記カラー画像生成部には、前記撮像画像から前記第２の画素を抽出することで得られた前記可視光低周波画像と、前記赤外画像とを合成させて前記カラー画像を生成させることができる。

前記撮像画像上の前記第１の画素および前記第３の画素の合計個数が、前記第２の画素の個数よりも多いようにすることができる。

前記第１の色成分を緑、白、または黄とすることができる。

前記第２の色成分を赤、または青とすることができる。

画像処理装置には、前記撮像画像を撮像する撮像部をさらに設けることができる。

本技術の第１の側面の画像処理方法またはプログラムは、可視光の第１の色成分および赤外成分を有する第１の画素と、前記第１の色成分よりも色温度による影響が大きく、かつ前記第１の色成分よりも輝度成分に対する影響が少ない可視光の第２の色成分のみを有する第２の画素とを有する撮像画像から、前記第１の画素を抽出して抽出赤外画像を生成し、前記抽出赤外画像に対する補間処理を行って赤外画像を生成し、前記撮像画像から得られた可視光の成分を有する可視光低周波画像と、前記赤外画像とに基づいてカラー画像を生成するステップを含む。

本技術の第１の側面においては、可視光の第１の色成分および赤外成分を有する第１の画素と、前記第１の色成分よりも色温度による影響が大きく、かつ前記第１の色成分よりも輝度成分に対する影響が少ない可視光の第２の色成分のみを有する第２の画素とを有する撮像画像から、前記第１の画素が抽出されて抽出赤外画像が生成され、前記抽出赤外画像に対する補間処理が行われて赤外画像が生成され、前記撮像画像から得られた可視光の成分を有する可視光低周波画像と、前記赤外画像とに基づいてカラー画像が生成される。

本技術の第２の側面の撮像素子は、可視光の第１の色成分および赤外成分を受光する第１の画素と、前記第１の色成分よりも色温度による影響が大きく、かつ前記第１の色成分よりも輝度成分に対する影響が少ない可視光の第２の色成分のみを受光する第２の画素とを有する。

撮像素子には、赤外成分のみを受光する第３の画素をさらに設けることができる。

前記第１の画素および前記第３の画素の合計個数が、前記第２の画素の個数よりも多いようにすることができる。

前記第１の色成分を緑、白、または黄とすることができる。

前記第２の色成分を赤、または青とすることができる。

本技術の第２の側面においては、撮像素子に、可視光の第１の色成分および赤外成分を受光する第１の画素と、前記第１の色成分よりも色温度による影響が大きく、かつ前記第１の色成分よりも輝度成分に対する影響が少ない可視光の第２の色成分のみを受光する第２の画素とが設けられる。

本技術の第１の側面および第２の側面によれば、より高品質な画像を得ることができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。

画像処理装置の構成例を示す図である。 画素配列の一例を示す図である。 各画素のフィルタ構成を示す図である。 フィルタ特性について説明する図である。 デイモードにおける処理について説明する図である。 ナイトモードにおける処理について説明する図である。 デイモードとナイトモードの具体的な処理例について説明する図である。 画像処理部の構成例を示す図である。 撮像処理を説明するフローチャートである。 画素配列の一例を示す図である。 画素配列の一例を示す図である。 コンピュータの構成例を示す図である。

以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
〈画像処理装置の構成例〉
本技術は、撮像素子の受光面に色温度による影響が大きく、かつ輝度成分に影響が少ない可視光の成分のみを受光し、ＩＲ成分を受光しない画素と、輝度成分に影響する可視光の成分、およびＩＲ成分を受光する画素とを有する構造とすることで、高品質な赤外画像とカラー画像を得ることができるようにしたものである。

このような本技術は、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどの固体撮像素子だけでなく、そのような固体撮像素子を備えたスマートホンやパーソナルコンピュータ、PC（Personal Computer）カメラ、監視カメラ等の各種の電子機器に適用することが可能である。

例えば本技術を監視カメラに適用する場合には、夜間に従来の投光システムにより赤外光を投光しても、高品質な赤外画像とカラー画像を得ることができる。

また、例えば本技術をPCカメラに適用した場合には、１つのPCカメラにテレビ電話会議用のWebカメラの機能と、赤外光を利用した個人認証用カメラの機能とを持たせることが可能である。

以下では、固体撮像素子による撮像機能を備えた画像処理装置に本技術を適用する場合を例として説明を続ける。

それでは、以下、本技術を適用した具体的な実施の形態について説明する。

図１は、本技術を適用した画像処理装置の一実施の形態の構成例を示す図である。

図１に示す画像処理装置１１は、例えば画像処理装置１１を操作するユーザの虹彩の画像からユーザ個人を認証する虹彩認証機能を有するとともに、カラー画像を通信網を介して他の画像処理装置と授受し、テレビ電話会議を実現する機能を有している。

画像処理装置１１は、撮像部２１、画像処理部２２、入力部２３、照明部２４、記録部２５、表示部２６、および制御部２７を有している。

撮像部２１は、例えば固体撮像素子からなり、外部から入射した可視光や赤外光を受光して光電変換することで被写体を撮像し、その結果得られた撮像画像を画像処理部２２に供給する。

画像処理部２２は、撮像部２１から供給された撮像画像から、赤外画像とカラー画像を生成し、制御部２７に供給する。例えば、赤外画像は虹彩認証に用いられ、カラー画像はテレビ電話会議に用いられる。

入力部２３は、ユーザにより操作されるマウスやボタン、キーボードなどからなり、ユーザの操作に応じた信号を制御部２７に供給する。照明部２４は、制御部２７の制御に従って赤外光を射出する。すなわち、照明部２４は、画像処理装置１１の正面にいるユーザに赤外光を照射する。この赤外光の照射は、例えば虹彩認証時や撮像環境が暗い暗時などに行われる。

記録部２５は、制御部２７から供給された赤外画像やカラー画像など、各種のデータを記録するとともに、記録しているデータを制御部２７に供給する。その他、記録部２５には、例えば各種のプログラムなども記録されている。

表示部２６は、例えば赤外画像やカラー画像など、制御部２７から供給された各種の画像を表示する。

制御部２７は、画像処理装置１１全体の動作を制御する。例えば制御部２７は、画像処理部２２から供給された赤外画像やカラー画像を記録部２５や表示部２６に供給したり、カラー画像を図示せぬ通信部によりテレビ電話会議の通信相手に送信させたりする。

〈撮像部の画素配列について〉
また、画像処理装置１１の撮像部２１の受光面には、可視光の各色の成分や赤外光を受光する複数の画素が配列されている。

例えば、撮像部２１の受光面の画素配列は、図２の矢印Ａ１１に示す配列となっている。なお、図２において、各四角形は１つの画素を表しており、それらの画素内に記された文字は、各画素が受光する成分を示している。

具体的には、文字「Ｒ」が記された画素は、可視光のＲ（赤）の成分のみを受光する画素（以下、Ｒ画素とも称する）を表しており、文字「Ｂ」が記された画素は、可視光のＢ（青）の成分のみを受光する画素（以下、Ｂ画素とも称する）を表している。

また、文字「Ｇ／ＩＲ」が記された画素は、可視光のＧ（緑）の成分と、赤外光（ＩＲ）の成分とを受光する画素（以下、Ｇ／ＩＲ画素とも称する）を表しており、文字「ＩＲ」が記された画素は、赤外光（ＩＲ）の成分のみを受光する画素（以下、ＩＲ画素とも称する）を表している。

矢印Ａ１１に示す例では、Ｇ／ＩＲ画素が市松模様に並ぶ、いわゆるベイヤー配列となっている。例えば、１つのＩＲ画素に注目すると、そのＩＲ画素の図中、上下左右にはＧ／ＩＲ画素が配置されている。また、ＩＲ画素の斜め方向にはＲ画素またはＢ画素が隣接して配置されている。

ここで、Ｇ成分は、ＲやＢの成分よりも受光量が多い、つまり画素の出力レベルが高い、輝度成分に対する影響が大きい色成分である。換言すれば、Ｇ成分はＲ成分やＢ成分と比較して、最終的に得られるカラー画像の輝度成分に大きく影響する色成分である。そのため、各成分を受光する画素のうち、Ｇ／ＩＲ画素が最も数多く配置されている。

また、このようなＧ成分を受光する、輝度成分に大きく影響し、高周波を再現するためのＧ／ＩＲ画素はＩＲ成分も受光するようになっている。このようにＧ成分を受光するＧ／ＩＲ画素でＩＲ成分も受光するようにすることで、解像度の高い赤外画像を得ることができるようになっている。

なお、Ｇ／ＩＲ画素の出力は必要に応じてＩＲ成分とＧ成分とに分離されるが、Ｇ成分の出力レベルは十分高いため、ＩＲ成分とＧ成分との分離は比較的容易であり、分離後、Ｇ成分に含まれるノイズ（誤差）が多くなってしまうこともない。

これに対して、Ｒ成分やＢ成分は、Ｇ成分よりも出力レベルが低く、Ｇ成分と比較して輝度成分に大きく影響しない成分であり、かつＧ成分よりも色温度による影響が大きい成分である。つまり、Ｒ画素やＢ画素の出力は、Ｇ／ＩＲ画素の出力と比較して撮像環境の色温度に大きく影響を受ける。

そのため、Ｒ画素やＢ画素では、ＩＲ成分は受光されないようになされている。また、撮像部２１の受光面に設けられたＲ画素やＢ画素の数は、Ｇ／ＩＲ画素やＩＲ画素の数よりも少ない数となっている。特に、この例では、受光面上のＧ／ＩＲ画素とＩＲ画素の合計個数が、Ｒ画素とＢ画素の合計個数よりも多くなっており、撮像部２１により撮像された撮像画像上においてもそれらの画素の個数の関係は同じとなる。これにより、高解像度な赤外画像を得ることができるようになる。

このように、色温度による影響が大きく、輝度成分に対する影響の少ないＲ画素やＢ画素では、ＩＲ成分が受光されないようにすることで、被写体に赤外光を強く照射したときなど、赤外光が多い撮像環境においても色信号の劣化を抑制することができる。つまり、カラー画像における色再現性を向上させることができる。

また、撮像部２１における画素配列は、矢印Ａ１１に示した例に限らず、例えば矢印Ａ１２に示すような画素配列とされてもよい。

この例では、文字「Ｗ／ＩＲ」が記された画素は、可視光のＷ（白）の成分と、赤外光（ＩＲ）の成分とを受光する画素（以下、Ｗ／ＩＲ画素とも称する）を表している。したがって、矢印Ａ１２に示す画素配列は、矢印Ａ１１に示した画素配列のＧ／ＩＲ画素を、Ｗ／ＩＲ画素に置き換えた配列となっている。

Ｗ成分もＧ成分と同様に、Ｒ成分やＢ成分よりも輝度に対する影響が大きく、かつＲ成分やＢ成分よりも色温度による影響が少ないので、Ｇ／ＩＲ画素をＷ／ＩＲ画素に置き換えることが可能である。その他、矢印Ａ１１に示した画素配列のＧ／ＩＲ画素を、同じくＲ成分やＢ成分よりも、輝度に対する影響が大きく、かつ色温度による影響が少ないＹ（黄）成分と、ＩＲ（赤外）成分とを受光する画素に置き換えるなどしてもよい。

以下では、撮像部２１の受光面の画素配列が矢印Ａ１１に示した画素配列であるものとして説明を続ける。

〈各画素のフィルタ構成について〉
続いて図３および図４を参照して、撮像部２１に設けられた各画素のフィルタ構成について説明する。

図３は、撮像部２１の受光面の断面を示している。この例では、Ｒ画素である画素ＧＳ１１、Ｇ／ＩＲ画素である画素ＧＳ１２、Ｂ画素である画素ＧＳ１３、およびＩＲ画素である画素ＧＳ１４が示されている。また、画素ＧＳ１１乃至画素ＧＳ１４における文字「ＰＤ」が記された四角形は、入射した光を光電変換する光電変換素子としてのＰＤ（Photo Diode）を表している。

これらの画素ＧＳ１１乃至画素ＧＳ１４のＰＤ側とは反対側、つまり被写体側には、各画素で共通のデュアルバンドパスフィルタＦＬ１１が設けられている。

このデュアルバンドパスフィルタＦＬ１１の特性は、例えば図４の矢印Ａ２１に示すように、可視光のうちのＲ、Ｇ、Ｂの各成分と、ＩＲ成分とを透過させ、他の波長帯域の成分を遮断する特性となっている。

なお、図４において、横軸は光の波長を示しており、縦軸は光量、つまり透過率を示している。また、矢印Ａ２３にはＲ成分、Ｇ成分、Ｂ成分、およびＩＲ成分の各波長帯域が示されており、各成分を示す文字が記された部分がそれらの成分の波長帯域を表している。

したがって、全画素共通でデュアルバンドパスフィルタＦＬ１１を設けることで、各画素にＲ成分、Ｇ成分、Ｂ成分、およびＩＲ成分以外の成分の光が入射することを防止することができる。

また、図３に示すようにＲ画素である画素ＧＳ１１では、ＰＤとデュアルバンドパスフィルタＦＬ１１との間には、可視光を透過させ、ＩＲ成分を遮断する赤外遮断フィルタＦＬ１２と、Ｒ成分のみを透過させるカラーフィルタＦＬ１３とが設けられている。

ここで、赤外遮断フィルタＦＬ１２は、図４の矢印Ａ２２に示すように可視光の波長帯域の光を透過させ、赤外光、つまりＩＲ成分の光を遮断するフィルタである。また、カラーフィルタＦＬ１３は、Ｒ成分のみを透過させるフィルタである。したがって、Ｒ画素である画素ＧＳ１１のＰＤには、Ｒ成分の光のみが入射することになる。

なお、より詳細には、Ｒ成分やＧ成分、Ｂ成分などの可視光の特定の色成分の光のみを透過させるカラーフィルタは、ＩＲ成分の光も透過させる特性となっている。

そのため、画素ＧＳ１１では、Ｒ成分のカラーフィルタＦＬ１３と赤外遮断フィルタＦＬ１２とが組み合わされて設けられている。また、ここではカラーフィルタＦＬ１３と赤外遮断フィルタＦＬ１２のうち、カラーフィルタＦＬ１３がＰＤ側に設けられているが、赤外遮断フィルタＦＬ１２がＰＤ側に設けられてもよい。

画素ＧＳ１１と同様に、図３に示すＢ画素である画素ＧＳ１３では、ＰＤとデュアルバンドパスフィルタＦＬ１１との間には、赤外遮断フィルタＦＬ１４と、Ｂ成分のみを透過させるカラーフィルタＦＬ１５とが設けられている。

ここで、赤外遮断フィルタＦＬ１４は、赤外遮断フィルタＦＬ１２と同じ特性のフィルタであるから、この画素ＧＳ１３のＰＤにはＢ成分の光のみが入射することになる。この場合においても、赤外遮断フィルタＦＬ１４がカラーフィルタＦＬ１５よりもＰＤ側に設けられるようにしてもよい。

さらに、Ｇ／ＩＲ画素である画素ＧＳ１２では、ＰＤとデュアルバンドパスフィルタＦＬ１１との間には、フィルタＦＬ１６と、Ｇ成分のみを透過させるカラーフィルタＦＬ１７とが設けられている。

ここで、フィルタＦＬ１６は、例えば画素ＧＳ１２のＰＤに入射する各成分の光の光量を調整したり、フィルタ層の高さ、つまりフィルタの厚みを調整したりするための透明フィルタなどとされる。

すなわち、例えばフィルタＦＬ１６の厚さは、図３中、縦方向においてフィルタＦＬ１６や、赤外遮断フィルタＦＬ１２、赤外遮断フィルタＦＬ１４等の各画素のデュアルバンドパスフィルタＦＬ１１側に設けられたフィルタの図中、上方向の高さが同じ高さとなるような厚さとされる。

また、フィルタＦＬ１６は、例えば同じ光量の赤外光が画素ＧＳ１２と画素ＧＳ１４とに入射したときに、それらの画素のＰＤに入射する赤外光の光量が同じとなるように赤外光（ＩＲ成分）を透過させるような特性を有する光量調整用のフィルタとなっている。

フィルタＦＬ１６は入射した光を略そのまま透過させるフィルタであり、カラーフィルタＦＬ１７は、Ｇ成分の光とＩＲ成分の光とを透過させるので、画素ＧＳ１２のＰＤにはＧ成分の光と、ＩＲ成分の光が入射することになる。

なお、画素ＧＳ１２においても、フィルタＦＬ１６がカラーフィルタＦＬ１７よりもＰＤ側に設けられるようにしてもよい。また、フィルタＦＬ１６の透過特性により、周囲の画素との色調合わせが行われるようにしてもよい。

具体的には、例えば撮像部２１の画素配列が図２の矢印Ａ１２に示した画素配列であり、画素ＧＳ１２がＷ／ＩＲ画素であるときには、フィルタＦＬ１６により色調合わせを行うことができる。すなわち、フィルタＦＬ１６の光学的な特性、つまり各波長帯域の透過特性を、Ｗ／ＩＲ画素である画素ＧＳ１２で得られたＷ成分から、周囲の画素で得られたＲ成分とＢ成分とを減算したときに、正しくＧ成分となるような特性とすることで色調合わせを行えば、より高品質な画像を得ることができるようになる。

図３のＩＲ画素である画素ＧＳ１４では、ＰＤとデュアルバンドパスフィルタＦＬ１１との間には、Ｒ成分のみを透過させるカラーフィルタＦＬ１８と、Ｂ成分のみを透過させるカラーフィルタＦＬ１９とが設けられている。

ここで、これらのカラーフィルタＦＬ１８およびカラーフィルタＦＬ１９では、ＩＲ成分は透過されるので、結局、画素ＧＳ１４のＰＤにはＩＲ成分の光のみが入射することになる。すなわち、カラーフィルタＦＬ１８では、Ｒ成分とＩＲ成分が透過されるが、それらのＲ成分とＩＲ成分のうちのＲ成分は、カラーフィルタＦＬ１９で遮断される。

このように画素ＧＳ１４では、互いに異なる可視光の色成分のカラーフィルタを組み合わせることで、ＩＲ成分のみを透過させる可視光遮断フィルタが実現されている。なお、画素ＧＳ１４においてもカラーフィルタＦＬ１８がカラーフィルタＦＬ１９よりもＰＤ側に設けられるようにしてもよい。

以上のように、撮像部２１では、赤外遮断フィルタやカラーフィルタを適切に組み合わせることで、所望の成分のみを透過させるフィルタが実現される。

〈赤外画像とカラー画像の生成について〉
次に、画像処理装置１１で生成される赤外画像とカラー画像について説明する。

画像処理装置１１は、外部から撮像部２１に入射してくる光のうち、ＩＲ成分よりも可視光成分が多い場合にはデイモードとし、外部から撮像部２１に入射してくる光のうち、可視光成分と比べてＩＲ成分が十分多い場合にはナイトモードとして画像処理を行う。

例えば、虹彩認証を行うため、強い赤外光を被写体であるユーザに照射する場合には、周囲が十分に明るい場合であってもナイトモードでの処理となる。

画像処理装置１１は、デイモードとナイトモードとで異なる処理を行って、撮像部２１で得られた撮像画像から赤外画像とカラー画像を生成する。

ここで、撮像部２１の画素配列は、図２の矢印Ａ１１に示した配列となっていることから、撮像画像の画素には、画素値としてＲ成分のみを有する画素、Ｂ成分のみを有する画素、Ｇ成分とＩＲ成分のみを有する画素、およびＩＲ成分のみを有する画素がある。以下では、撮像画像上のそれらの画素を撮像部２１の画素と同様に、Ｒ画素、Ｂ画素、Ｇ／ＩＲ画素、およびＩＲ画素とも称することとする。

例えばデイモードでは、図５に示すように撮像部２１で得られた撮像画像Ｐ１１から、高周波成分を含むＧ成分のみが抽出されて、高周波成分からなる可視光高周波画像Ｐ１２が生成される。この可視光高周波画像Ｐ１２は、撮像画像Ｐ１１に含まれる可視光の高周波成分を抽出して得られる画像であり、エッジ画像に相当する。

また、撮像画像Ｐ１１から、可視光の成分を含むＲ画素、Ｂ画素、およびＧ／ＩＲ画素が抽出されて抽出可視画像Ｐ１３とされ、さらにその抽出可視画像Ｐ１３のＧ／ＩＲ画素からＩＲ成分が除去（分離）されて可視光低周波画像Ｐ１４が生成される。

可視光低周波画像Ｐ１４は、可視光のＲ成分、Ｇ成分、およびＢ成分の各色の成分からなる画像である。この可視光低周波画像Ｐ１４は、撮像画像Ｐ１１に含まれる可視光の低周波成分の画像であるともいうことができる。

以上のようにして可視光高周波画像Ｐ１２と、可視光低周波画像Ｐ１４とが得られると、それらの可視光高周波画像Ｐ１２と可視光低周波画像Ｐ１４が合成されて、高解像度のカラー画像Ｐ１５とされる。このカラー画像Ｐ１５は可視光の各色成分を有する画像である。

また、撮像画像Ｐ１１からＩＲ画素のみが抽出されて低解像度赤外画像Ｐ１６が生成される。この低解像度赤外画像Ｐ１６は、ＩＲ成分のみからなる、もとの撮像画像Ｐ１１の半分の解像度の画像である。

このようにデイモードのときには、赤外画像とカラー画像として、撮像画像Ｐ１１から低解像度赤外画像Ｐ１６とカラー画像Ｐ１５が生成される。

これに対して、ナイトモードとされた場合、例えば図６に示すように、撮像画像Ｐ１１から可視光の成分を含むＲ画素、Ｂ画素、およびＧ／ＩＲ画素が抽出され、可視光低周波画像Ｐ２１が生成される。なお、図６において図５における場合と対応する部分には同一の符号を付してあり、その説明は省略する。

撮像画像Ｐ１１から生成される可視光低周波画像Ｐ２１は、少なくとも可視光のＲ成分、およびＢ成分の各色の成分からなる低周波成分の画像である。

また、撮像画像Ｐ１１からＧ／ＩＲ画素およびＩＲ画素が抽出されて、赤外光の高周波成分からなる高解像度赤外画像Ｐ２２が生成される。この高解像度赤外画像Ｐ２２は、画像情報として高周波成分と輝度成分が含まれた画像となっている。

したがって、この高解像度赤外画像Ｐ２２を、図５に示した可視光高周波画像Ｐ１２に対応する画像としても用いることができる。そこで、ナイトモードのときには、高解像度赤外画像Ｐ２２と、可視光低周波画像Ｐ２１とから高解像度の擬似的なカラー画像Ｐ２３が生成される。

なお、高解像度赤外画像Ｐ２２と、可視光低周波画像Ｐ２１とからカラー画像Ｐ２３を生成する方法は、いくつか考えられる。

例えば高解像度赤外画像Ｐ２２は、高周波成分を含む画像であるので、高解像度赤外画像Ｐ２２から高周波成分のみを抽出すれば、可視光高周波画像Ｐ１２に対応する赤外光高周波画像を得ることができる。

この場合、撮像画像Ｐ１１からＲ画素、Ｂ画素、およびＧ／ＩＲ画素を抽出して、Ｒ成分、Ｂ成分、およびＧ成分とＩＲ成分からなる可視光低周波画像Ｐ２１を生成し、この可視光低周波画像Ｐ２１と、赤外光高周波画像とを合成すれば、高解像度なカラー画像Ｐ２３を得ることができる。

また、高解像度赤外画像Ｐ２２には高周波成分とともに輝度成分も含まれているので、この高解像度赤外画像Ｐ２２をそのまま用いることもできる。

そのような場合、高解像度赤外画像Ｐ２２のＧ／ＩＲ画素には、Ｇ成分も含まれているので、撮像画像Ｐ１１からＲ画素およびＢ画素のみを抽出して、Ｒ成分およびＢ成分からなる可視光低周波画像Ｐ２１を生成すればよい。そして、そのようにして得られた可視光低周波画像Ｐ２１と高解像度赤外画像Ｐ２２とを合成し、カラー画像Ｐ２３とすればよい。

なお、以下では、赤外光高周波画像と可視光低周波画像とを合成してカラー画像を生成する場合を例として説明する。

ナイトモードでは、以上のようにして高解像度な高解像度赤外画像Ｐ２２とカラー画像Ｐ２３を得ることができる。

特に、画像処理装置１１では、可視光が少ない暗い状態に限らず、可視光が多く十分明るい状態で赤外光を照射したときでも、高解像度な、つまり高品質な赤外画像とカラー画像の両方を得ることができる。

しかも、画像処理装置１１では、カラー画像を得るために赤外光を間欠的に照射する必要がない。赤外光を間欠的に照射する場合、可視光の露光と赤外光の露光とを別々に行うため、可視画像と赤外画像の露光時間が半分になってしまうので、それらの画像のノイズが増加し、ＳＮ比（Signal to Noise Ratio）が悪化してしまう。

しかし、画像処理装置１１では、赤外光の間欠的な照射は不要であるため、十分に露光時間を確保することができ、ノイズの少ない高品質な赤外画像およびカラー画像を得ることができる。

さらに、図７を参照して、デイモード時およびナイトモード時における処理の一例をより具体的に説明する。なお、図７において各画像内の四角形は画素を表しており、各画素内の文字は各画素の画素値が有する成分を表している。

まず、撮像部２１での撮像により撮像画像Ｐ３１が得られると、この撮像画像Ｐ３１から抽出可視画像Ｐ３２と、抽出赤外画像Ｐ３３とが抽出される。

抽出可視画像Ｐ３２は、撮像画像Ｐ３１からＲ画素、Ｂ画素、およびＧ／ＩＲ画素を抽出することで得られる画像であり、抽出可視画像Ｐ３２における文字「可視無し」が記された画素は、ＩＲ画素に対応する、画素値を有さない画素となっている。

また、抽出赤外画像Ｐ３３は、撮像画像Ｐ３１からＧ／ＩＲ画素およびＩＲ画素を抽出することで得られる画像であり、抽出赤外画像Ｐ３３における文字「赤外無し」が記された画素は、Ｒ画素またはＢ画素に対応する、画素値を有さない画素となっている。

このようにして抽出可視画像Ｐ３２と抽出赤外画像Ｐ３３が得られると、これらの画像から赤外画像とカラー画像が生成される。

すなわち、デイモードとされた場合には、抽出赤外画像Ｐ３３からＩＲ画素のみが抽出されて、低解像度赤外画像Ｐ３４が生成される。デイモードでは、Ｇ／ＩＲ画素の画素値に含まれている成分は、ＩＲ成分よりもＧ成分が多いので、ＩＲ画素のみが用いられて赤外画像としての低解像度赤外画像Ｐ３４が生成される。この低解像度赤外画像Ｐ３４は、上述したように撮像画像Ｐ３１の半分の解像度の画像である。

また、デイモードでは、低解像度赤外画像Ｐ３４が用いられて、抽出可視画像Ｐ３２のＧ／ＩＲ画素の画像値からＩＲ成分が除去されて、可視画像Ｐ３５が生成される。この可視画像Ｐ３５は、Ｒ成分、Ｇ成分、およびＢ成分の何れかの成分の値を画素値としてもつ画素と、画素値をもたない画素とからなる画像である。以下では、特に可視画像Ｐ３５におけるＧ成分を画素値としてもつ画素をＧ画素とも称することとする。このＧ画素は、抽出可視画像Ｐ３２のＧ／ＩＲ画素と同じ位置関係の画素である。

ここで、抽出可視画像Ｐ３２のＧ／ＩＲ画素におけるＩＲ成分の除去、つまりＧ成分とＩＲ成分の分離の方法は、どのような方法であってもよい。

例えば低解像度赤外画像Ｐ３４に対して補間フィルタや平滑化フィルタを用いたフィルタ処理を施して抽出可視画像Ｐ３２のＧ／ＩＲ画素と同じ位置の画素のＩＲ成分を求め、そのＩＲ成分の値を抽出可視画像Ｐ３２のＧ／ＩＲ画素の画素値から減算してＧ成分を求めてもよい。

また、例えば抽出可視画像Ｐ３２のＧ／ＩＲ画素と同じ位置関係にある、低解像度赤外画像Ｐ３４の位置近傍のＩＲ成分を有する画素の画素値を、抽出可視画像Ｐ３２のＧ／ＩＲ画素から減算することでＧ成分を求めるようにしてもよい。すなわち、Ｇ／ＩＲ画素近傍のＩＲ画素の画素値を、そのままＧ／ＩＲ画素の位置のＩＲ成分の値として用いてもよい。

このようにして可視画像Ｐ３５が得られると、その可視画像Ｐ３５のＧ画素のみが用いられて補間処理が行われ、撮像画像Ｐ３１と同じ大きさの可視光高周波画像Ｐ３６が生成される。

また、可視画像Ｐ３５に対してデモザイク処理が行われ、各画素がＲ成分を有するＲ画像、各画素がＧ成分を有するＧ画像、および各画素がＢ成分を有するＢ画像からなる可視光低周波画像Ｐ３７が生成される。この可視光低周波画像Ｐ３７は撮像画像Ｐ３１と同じ大きさの画像である。

さらに、可視光高周波画像Ｐ３６と、可視光低周波画像Ｐ３７とが合成されて、撮像画像Ｐ３１と同じ大きさの可視光のカラー画像が生成される。

このようにして、デイモードのときには低解像度赤外画像Ｐ３４と、高解像度なカラー画像とが生成される。

これに対して、ナイトモードでは抽出赤外画像Ｐ３３に対してホワイトバランス調整が行われて補正赤外画像Ｐ３８が生成される。

ナイトモードでは、Ｇ成分を無視することができるほどＩＲ成分が多いので、つまりＧ／ＩＲ画素が有する成分の殆どがＩＲ成分ということができるので、Ｇ／ＩＲ画素も用いられて赤外画像が生成される。すなわち、微小な差はあるもののＧ／ＩＲ画素が略ＩＲ画素として扱われる。

しかし、抽出赤外画像Ｐ３３における文字「赤外無し」が記された画素のＩＲ成分を補間処理により求める場合、Ｇ／ＩＲ画素には僅かながらＧ成分も含まれているので、そのようなＧ／ＩＲ画素とＩＲ画素とをそのまま用いて補間を行っても適切なＩＲ成分を求めることができない。

また、ＩＲ画素のみを用いて補間処理を行なったり、Ｇ／ＩＲ画素のみを用いて補間処理を行なったりすることもできるが、そのような場合には、Ｇ／ＩＲ画素とＩＲ画素の両方を用いて補間処理を行う場合よりも補間処理に用いることのできる画素が少なくなってしまう。そうすると、十分な精度でＩＲ成分を推定することができないこともある。

そこで、画像処理装置１１では、Ｇ／ＩＲ画素の出力レベルがＩＲ画素の出力レベルと同レベルとなるように、抽出赤外画像Ｐ３３に対してホワイトバランス調整が行われ、すなわち各画素のゲイン調整が行われ、補正赤外画像Ｐ３８とされる。

このような補正赤外画像Ｐ３８を用いれば、これからＩＲ成分を求めようとする画素近傍の、より多くのＧ／ＩＲ画素およびＩＲ画素を用いて補間処理を行うことができ、より適切に、つまりより高精度にＩＲ成分を推定することができる。その結果、より高解像度な赤外画像を得ることができるようになる。

なお、補正赤外画像Ｐ３８では、ホワイトバランス調整後のＧ／ＩＲ画素はＩＲ画素として扱われるため、ここではＧ／ＩＲ画素内には文字「ＩＲ」が記されている。

また、抽出赤外画像Ｐ３３に対するホワイトバランス調整は、抽出赤外画像Ｐ３３の全体の領域に対して行われるようにしてもよいし、例えば虹彩認証に用いるユーザの眼の領域など、所望の領域に対してのみ行われてもよい。

さらに、抽出赤外画像Ｐ３３に対するホワイトバランス調整を行わないようにしてもよいし、抽出赤外画像Ｐ３３の領域ごとに、Ｇ／ＩＲ画素の出力レベルとＩＲ画素の出力レベルとを比較し、その比較結果に応じて各領域でホワイトバランス調整を行うかを決定してもよい。

例えば特定の領域のみや、各領域ごとにホワイトバランス調整を行う場合には、抽出赤外画像Ｐ３３全体に対して同一ゲインでホワイトバランス調整を行う場合よりも、より適切な調整を行うことができる。

これは、例えば抽出赤外画像Ｐ３３の領域ごとに、Ｇ成分の反射率が大きく異なる被写体がある場合には、抽出赤外画像Ｐ３３全体でホワイトバランス調整を行ったときに、必ずしも適切にレベル調整がされない領域が生じてしまうことがあるからである。これに対して、特定の狭い領域のみホワイトバランスを調整する場合には、その特定の領域内にＧ成分の反射率が大きく異なる被写体がある可能性は低いので、より適切な調整を行うことができる。

虹彩認証に用いるユーザの眼の領域など、特定の領域のみホワイトバランス調整を行うようにすれば、より少ない演算量で、必要な領域で十分な解像度をもつ赤外画像を得ることができる。

以下では、抽出赤外画像Ｐ３３における虹彩認証に用いるユーザの眼の領域が対象領域とされて、その対象領域のみホワイトバランス調整が行われるものとして説明を続ける。

ホワイトバランス調整により補正赤外画像Ｐ３８が得られると、その補正赤外画像Ｐ３８における文字「赤外無し」が記された画素のＩＲ成分が補間処理により求められ、全画素がＩＲ成分を有する高解像度赤外画像Ｐ３９が赤外画像として生成される。

この高解像度赤外画像Ｐ３９は、図６に示した高解像度赤外画像Ｐ２２に対応する、撮像画像Ｐ３１と同じ大きさの画像である。抽出赤外画像Ｐ３３から分かるように、ナイトモードではＧ／ＩＲ画素およびＩＲ画素という多くの画素でＩＲ成分を得ることができるため、高解像度な赤外画像を得ることができる。

また、ナイトモードでは、抽出可視画像Ｐ３２に対してデモザイク処理が行われ、各画素がＲ成分を有するＲ画像、各画素がＧ成分とＩＲ成分を有するＧ／ＩＲ画像、および各画素がＢ成分を有するＢ画像からなる可視光低周波画像Ｐ４０が生成される。この可視光低周波画像Ｐ４０は撮像画像Ｐ３１と同じ大きさの画像である。

そして、以上のようにして得られた高解像度赤外画像Ｐ３９と可視光低周波画像Ｐ４０とから、高解像度なカラー画像が生成される。

より詳細には、例えば高解像度赤外画像Ｐ３９に対してＨＰＦ（High Pass Filter）を用いたフィルタ処理が施されて高周波成分が抽出され、赤外光高周波画像が生成される。さらに、その赤外光高周波画像と、可視光低周波画像Ｐ４０とが合成されてカラー画像とされる。このカラー画像は、もとの撮像画像Ｐ３１と同じ大きさの画像である。

以上のようにして、ナイトモードのときには高解像度な高解像度赤外画像Ｐ３９とカラー画像とが生成される。

〈画像処理部の構成例〉
画像処理装置１１において、以上において説明した処理が行われる場合、画像処理装置１１の画像処理部２２は、例えば図８に示すような構成とされる。

図８に示す画像処理部２２は、抽出部５１、可視画像処理部５２、赤外画像処理部５３、およびカラー画像生成部５４を有している。

抽出部５１は、撮像部２１から供給された撮像画像から抽出可視画像を生成して可視画像処理部５２に供給するとともに、撮像画像から抽出赤外画像を生成して赤外画像処理部５３に供給する。すなわち、抽出部５１では、撮像画像から所定成分の画素が抽出されて、抽出可視画像や抽出赤外画像が生成される。

可視画像処理部５２は、抽出部５１から供給された抽出可視画像に基づいて、可視光低周波画像および可視光高周波画像を生成し、カラー画像生成部５４に供給する。なお、可視光高周波画像はデイモードのときにのみ生成される。

可視画像処理部５２は、検出部６１および高周波画像生成部６２を備えている。

検出部６１は、抽出可視画像から画像認識等によりユーザの眼の領域を検出し、その検出結果を赤外画像処理部５３に供給する。赤外画像処理部５３では、検出されたユーザの眼の領域が、Ｇ／ＩＲ画素とＩＲ画素とのホワイトバランス調整を行う対象領域とされる。

なお、ここでは、抽出可視画像からユーザの眼の領域を検出する例について説明するが、その他、撮像画像や可視画像、抽出赤外画像、補間赤外画像等からユーザの眼の領域が検出されるようにしてもよい。また、外部のセンサ等によりユーザの眼の領域が検出されるようにしてもよいし、ユーザ等の入力操作により眼の領域が指定されるようにしてもよい。

高周波画像生成部６２は、抽出可視画像から得られた可視画像に基づいて、可視光高周波画像を生成する。

赤外画像処理部５３は、抽出部５１から供給された抽出赤外画像に基づいて、低解像度赤外画像や高解像度赤外画像、赤外光高周波画像を生成する。

すなわち、赤外画像処理部５３は、デイモードのときには低解像度赤外画像を生成して制御部２７に供給する。また、赤外画像処理部５３は、ナイトモードのときには高解像度赤外画像を生成して制御部２７に供給するとともに、赤外光高周波画像を生成してカラー画像生成部５４に供給する。

赤外画像処理部５３は、出力レベル算出部７１、ＷＢ（White Balance）調整部７２、赤外画像生成部７３、および高周波画像生成部７４を備えている。

出力レベル算出部７１は、検出部６１から供給された検出結果に基づいて、抽出赤外画像の対象領域におけるＧ／ＩＲ画素の出力レベルとＩＲ画素の出力レベルとの比をレベル比として算出する。ＷＢ調整部７２は、レベル比に基づいて、抽出赤外画像の対象領域のホワイトバランス調整を行い、補正赤外画像を生成する。

赤外画像生成部７３は赤外画像を生成する。すなわち、赤外画像生成部７３は、デイモードのときには抽出赤外画像から低解像度赤外画像を生成し、ナイトモードのときには補正赤外画像から高解像度赤外画像を生成する。

高周波画像生成部７４は、高解像度赤外画像に基づいて赤外光高周波画像を生成する。

カラー画像生成部５４は、可視画像処理部５２から供給された可視光低周波画像と、可視画像処理部５２から供給された可視光高周波画像、または赤外画像処理部５３から供給された赤外光高周波画像とを合成してカラー画像を生成し、制御部２７に供給する。

〈撮像処理の説明〉
続いて、画像処理装置１１の動作について説明する。画像処理装置１１は、被写体の撮像が指示されると、撮像処理を行って赤外画像とカラー画像を生成する。

以下、図９のフローチャートを参照して、画像処理装置１１による撮像処理について説明する。

ステップＳ１１において、撮像部２１は、被写体を撮像し、その結果得られた撮像画像を画像処理部２２の抽出部５１に供給する。この撮像画像は、例えば図７に示した撮像画像Ｐ３１に対応する。

ステップＳ１２において、抽出部５１は、撮像部２１から供給された撮像画像から各成分を抽出する。

すなわち、抽出部５１は、撮像画像から抽出可視画像を抽出して可視画像処理部５２に供給するとともに、撮像画像から抽出赤外画像を抽出して赤外画像処理部５３に供給する。例えば、抽出可視画像および抽出赤外画像は、それぞれ図７に示した抽出可視画像Ｐ３２および抽出赤外画像Ｐ３３に対応する。

ステップＳ１３において、出力レベル算出部７１は、抽出部５１から供給された抽出赤外画像に基づいて、ＩＲ画素の出力レベルと、Ｇ／ＩＲ画素の出力レベルとが略等しいか否かを判定する。

具体的には、例えば出力レベル算出部７１は、抽出赤外画像上の全ＩＲ画素の画素値の平均値と、抽出赤外画像上の全Ｇ／ＩＲ画素の画素値の平均値との差分絶対値を求め、その差分絶対値が予め定めた閾値以下である場合、出力レベルが略等しいと判定する。

ＩＲ画素とＧ／ＩＲ画素の出力レベルが略等しい状態とは、撮像画像の撮像環境において可視光、すなわちＧ成分を無視できるほど赤外光の光量が多い状態である。したがって、そのような場合には、画像処理装置１１はナイトモードで以降の処理を行う。

なお、ここでは抽出赤外画像全体で各画素の画素値の平均値を求める例について説明したが、その他、例えば抽出赤外画像をいくつかの領域に分割し、それらの領域ごとに、ＩＲ画素の画素値の平均値と、Ｇ／ＩＲ画素の画素値の平均値とを求めてもよい。

この場合、ＩＲ画素とＧ／ＩＲ画素について、領域ごとに求めた画素値の平均値の積算値または平均値がさらに算出され、それらのＩＲ画素の積算値または平均値と、Ｇ／ＩＲ画素の積算値または平均値との差分絶対値が閾値と比較される。

さらに、例えば抽出赤外画像上の全ＩＲ画素の画素値の積算値と、抽出赤外画像上の全Ｇ／ＩＲ画素の画素値の積算値との差分絶対値が閾値と比較されるようにしてもよい。

ステップＳ１３において、ＩＲ画素の出力レベルと、Ｇ／ＩＲ画素の出力レベルとが略等しいと判定されなかった場合、画像処理装置１１はデイモードとし、処理はステップＳ１４へと進む。

ステップＳ１４において、赤外画像生成部７３は、抽出部５１から供給された抽出赤外画像からＩＲ画素を抽出することで低解像度赤外画像を生成し、制御部２７に供給する。また、赤外画像生成部７３は低解像度赤外画像を可視画像処理部５２にも供給する。このようにして得られた低解像度赤外画像は、例えば図７の低解像度赤外画像Ｐ３４に対応する。

ステップＳ１５において、可視画像処理部５２は、赤外画像生成部７３から供給された低解像度赤外画像に基づいて、抽出部５１から供給された抽出可視画像から可視光低周波画像を生成する。

すなわち、可視画像処理部５２は、低解像度赤外画像に対して補間フィルタや平滑化フィルタ等を用いたフィルタ処理を施すなどして、抽出可視画像のＧ／ＩＲ画素と同じ位置の画素のＩＲ成分を求める。そして、可視画像処理部５２は、抽出可視画像のＧ／ＩＲ画素の画素値から、求めたＩＲ成分の値を減算することでＧ／ＩＲ画素のＧ成分を抽出し、Ｒ画素、Ｂ画素、およびＧ画素からなる可視画像を生成する。この可視画像は、例えば図７の可視画像Ｐ３５に対応する。

さらに可視画像処理部５２は、得られた可視画像に対してデモザイク処理を行い、可視光低周波画像を生成し、カラー画像生成部５４に供給する。この可視光低周波画像は、例えば図７の可視光低周波画像Ｐ３７に対応する。

ステップＳ１６において、可視画像処理部５２の高周波画像生成部６２は、ステップＳ１５の処理で得られた可視画像に基づいて可視光高周波画像を生成し、カラー画像生成部５４に供給する。例えば高周波画像生成部６２は、可視画像のＧ画素のみを用いて、可視画像のＧ画素以外の各画素位置のＧ成分を補間処理により求めて可視光高周波画像を生成する。この可視光高周波画像は、例えば図７の可視光高周波画像Ｐ３６に対応する。

ステップＳ１７において、カラー画像生成部５４は、可視画像処理部５２から供給された可視光高周波画像と、可視光低周波画像とを合成し、カラー画像を生成する。

カラー画像生成部５４は、得られたカラー画像を制御部２７に供給し、撮像処理は終了する。以上のようにして得られた低解像度赤外画像やカラー画像は、制御部２７により記録部２５に記録されたり、表示部２６に供給して表示されたり、通信網を介して外部に送信されたりする。

また、ステップＳ１３において、ＩＲ画素の出力レベルと、Ｇ／ＩＲ画素の出力レベルとが略等しいと判定された場合、画像処理装置１１はナイトモードとし、処理はステップＳ１８へと進む。

ステップＳ１８において、検出部６１は、抽出部５１から供給された抽出可視画像から画像認識等によりユーザの眼の領域を検出し、その検出結果を赤外画像処理部５３に供給する。

ステップＳ１９において、可視画像処理部５２は、抽出部５１から供給された抽出可視画像に基づいて可視光低周波画像を生成し、カラー画像生成部５４に供給する。

例えば可視画像処理部５２は、抽出可視画像に対してデモザイク処理を行うことで、可視光低周波画像を生成する。この可視光低周波画像は、例えば図７の可視光低周波画像Ｐ４０に対応する。

ステップＳ２０において、出力レベル算出部７１は、検出部６１から供給された検出結果に基づいて、抽出部５１から供給された抽出赤外画像の対象領域におけるＧ／ＩＲ画素の出力レベルとＩＲ画素の出力レベルとの比をレベル比として算出する。

すなわち、出力レベル算出部７１は、抽出赤外画像におけるユーザの眼の領域を対象領域とし、その対象領域内の全Ｇ／ＩＲ画素の画素値の平均値をＧ／ＩＲ画素の出力レベルとして求めるとともに、対象領域内の全ＩＲ画素の画素値の平均値をＩＲ画素の出力レベルとして求める。そして、出力レベル算出部７１は、Ｇ／ＩＲ画素の出力レベルとＩＲ画素の出力レベルの比をレベル比とする。

なお、対象領域内の全Ｇ／ＩＲ画素の画素値の積算値をＧ／ＩＲ画素の出力レベルとし、対象領域内の全ＩＲ画素の画素値の積算値をＩＲ画素の出力レベルとしてレベル比を算出してもよい。また、例えば抽出赤外画像全体に対してホワイトバランス調整が行われる場合には、例えば抽出赤外画像がいくつかの領域に分割され、それらの領域ごとにレベル比が求められるようにすればよい。同様に、対象領域が複数ある場合にも、それらの対象領域ごとにレベル比を求めればよい。

ステップＳ２１において、ＷＢ調整部７２は、ステップＳ２０の処理で求められたレベル比に基づいて、抽出赤外画像の対象領域のホワイトバランス調整を行い、補正赤外画像を生成する。ホワイトバランス調整では、レベル比に基づいて、Ｇ／ＩＲ画素の画素値と、ＩＲ画素の画素値とがゲイン調整される。このようにして得られた補正赤外画像は、例えば図７の補正赤外画像Ｐ３８に対応する。

ステップＳ２２において、赤外画像生成部７３は、補正赤外画像に対する補間処理を行って高解像度赤外画像を生成し、制御部２７に供給する。

例えば補間処理では、補正赤外画像におけるＩＲ成分を有していない画素、すなわち撮像画像におけるＲ画素およびＢ画素と同じ位置関係の画素のＩＲ成分が補間により求められる。このようにして得られた高解像度赤外画像は、例えば図７の高解像度赤外画像Ｐ３９に対応する。

ステップＳ２３において、高周波画像生成部７４は、高解像度赤外画像に基づいて赤外光高周波画像を生成し、カラー画像生成部５４に供給する。例えば高周波画像生成部７４は、高解像度赤外画像に対してＨＰＦを用いたフィルタ処理を施すことで、赤外光高周波画像を生成する。

ステップＳ２４において、カラー画像生成部５４は、赤外画像処理部５３から供給された赤外光高周波画像と、可視画像処理部５２から供給された可視光低周波画像とを合成し、カラー画像を生成する。

カラー画像生成部５４は、得られたカラー画像を制御部２７に供給し、撮像処理は終了する。以上のようにして得られた高解像度赤外画像やカラー画像は、制御部２７により記録部２５に記録されたり、表示部２６に供給して表示されたり、通信網を介して外部に送信されたりする。また、制御部２７では高解像度赤外画像に基づいて虹彩認証が行われる。

なお、ナイトモードにおいて高解像度赤外画像がそのまま用いられてカラー画像が生成される場合には、ステップＳ１９では、可視画像処理部５２は抽出可視画像からＲ画素およびＢ画素のみを抽出してデモザイク処理を行い、可視光低周波画像を生成する。そして、ステップＳ２３の処理は行われず、ステップＳ２４では、カラー画像生成部５４は、高解像度赤外画像と可視光低周波画像を合成し、カラー画像とする。

以上のようにして、画像処理装置１１は、Ｒ画素、Ｂ画素、Ｇ／ＩＲ画素、およびＩＲ画素を有する撮像部２１により撮像を行い、得られた撮像画像から赤外画像とカラー画像を生成する。

したがって、例えば可視光が多い環境下では高解像度な、つまり高品質なカラー画像を得ることができる。また、例えば赤外光が多い環境下であっても高解像度な赤外画像とカラー画像の両方を得ることができる。

特に、赤外光が多い環境下である場合、つまりナイトモードとされるときには、画像上の殆どの画素がＩＲ成分を有するので、水平方向や垂直方向のみならず斜め方向にも高い解像度の高解像度赤外画像を得ることができる。これにより、虹彩認証や赤外光を用いたセンシングを高精度に行うことができるようになる。

また、ナイトモードとされるときには、高解像度赤外画像から赤外光高周波画像を生成しているので、その赤外光高周波画像と可視光低周波画像とを合成して高解像度なカラー画像も得ることができる。

なお、以上においては、撮像画像全体に対してデイモードの処理を行うか、ナイトモードの処理を行うかを切り替える例について説明した。

しかし、撮像画像を複数の領域に分割し、それらの領域ごとにデイモードの処理を行うか、ナイトモードの処理を行うかを切り替えるようにしてもよい。そのような場合、例えば赤外画像については、低解像度赤外画像の領域に対して補間処理を行い、高解像度赤外画像の領域と同じ画素数となるように画素数を揃えればよい。

また、赤外画像およびカラー画像の各画像について、撮像画像の領域ごとに、または撮像画像全体で、デイモードの処理で得られた画像と、ナイトモードの処理で得られた画像とをブレンド（混合）し、最終的な画像を得るようにしてもよい。

そのような場合、例えば処理対象の領域内のＧ／ＩＲ画素の出力レベルと、ＩＲ画素の出力レベルとの比較結果に応じて、デイモードの処理で得られた画像と、ナイトモードの処理で得られた画像とのブレンド比率を定めればよい。

〈第１の実施の形態の変形例〉
〈撮像部の画素配列について〉
また、図２の矢印Ａ１１に示した例では、撮像画像の輝度解像度を高めるために、輝度成分を得るためのＧ／ＩＲ画素が市松状に配置される場合について説明した。しかし、撮像部２１の画素構成は、色温度による影響が大きく、かつ輝度成分に起因しない画素で赤外光が遮断されるようにすれば、どのようなものであってもよい。

例えば撮像部２１の画素配列は、図１０に示すような配列とされてもよい。なお、図１０において、各四角形は１つの画素を表しており、それらの画素内に記された文字は、各画素が受光する成分を示している。

特に、Ｒ画素、Ｇ／ＩＲ画素、Ｂ画素、ＩＲ画素、およびＷ／ＩＲ画素については図２に示した例と同様である。また、文字「Ｙ／ＩＲ」が記された画素は、可視光のＹ（黄）の成分と、赤外光（ＩＲ）の成分とを受光する画素（以下、Ｙ／ＩＲ画素とも称する）を表している。

例えば矢印Ａ３１に示す例では、Ｒ画素、Ｇ／ＩＲ画素、Ｂ画素、およびＩＲ画素が互いに隣接して設けられており、これらの４つの画素の組み合わせが撮像部２１の受光面に複数並ぶように設けられることになる。この例においても図２の矢印Ａ１１に示した例と同様の処理で、赤外画像とカラー画像を得ることができる。

また、矢印Ａ３２に示す例では、Ｒ画素、Ｗ／ＩＲ画素、Ｂ画素、およびＩＲ画素が互いに隣接して設けられており、これらの４つの画素の組み合わせが撮像部２１の受光面に複数並ぶように設けられることになる。

矢印Ａ３３に示す例は、撮像部２１の受光面上における各画素の配置が、矢印Ａ３１に示した画素群を図中、時計回りの方向に４５度だけ回転させた配置となっている。

同様に、矢印Ａ３４に示す例は、撮像部２１の受光面上における各画素の配置が、矢印Ａ３２に示した画素群を図中、時計回りの方向に４５度だけ回転させた配置となっている。

矢印Ａ３５に示す画素配列は、図２の矢印Ａ１１に示した画素配列のＧ／ＩＲ画素を、可視光のＹ（黄）の成分と、赤外光（ＩＲ）の成分とを受光するＹ／ＩＲ画素に置き換えた配列となっている。

矢印Ａ３６に示す画素配列は、図２の矢印Ａ１１に示した画素配列のＲ画素とＢ画素の配置が異なる例となっている。この例では、複数のＲ画素がＧ／ＩＲ画素を介して図中、横方向に並べられて配置され、同様に複数のＢ画素がＧ／ＩＲ画素を介して図中、横方向に並べられて配置されている。

さらに、以上において示した各画素配置例においては、撮像部２１の受光面にＩＲ画素が設けられていた。しかし、例えば図１１に示すようにＩＲ画素が設けられない画素配列としてもよい。なお、図１１において各四角形は１つの画素を表しており、それらの画素内に記された文字は、各画素が受光する成分を示している。

特に、Ｒ画素、Ｇ／ＩＲ画素、Ｂ画素、およびＷ／ＩＲ画素については図２に示した例と同様である。また、文字「Ｗ」が記された画素は、可視光のＷ（白）の成分のみを受光する画素（以下、Ｗ画素とも称する）を表しており、文字「Ｇ」が記された画素は、可視光のＧ（緑）の成分のみを受光する画素（以下、Ｇ画素とも称する）を表している。

図１１に示す例ではＲ成分、Ｇ成分、およびＢ成分、またはＷ成分が可視光成分とされ、ＩＲ成分が含まれる、輝度成分を生成する画素の出力との検波比較が行われて可視光のカラー画像と赤外画像が取得される。

例えば矢印Ａ４１に示す画素配列は、図２の矢印Ａ１２に示した画素配列のＩＲ画素を、可視光のＷ成分を受光するＷ画素に置き換えた配列となっている。

この例では、Ｗ画素の画素値と、そのＷ画素の図中、上下左右に隣接する４つのＷ／ＩＲ画素の画素値の平均値とを比較することで、デイモードとするかナイトモードとするかを判定することができる。この場合においても、例えばデイモードでは可視光成分、特にＷ成分から可視光高周波画像が生成され、ナイトモードではＷ／ＩＲ画素から赤外画像が生成され、さらにその赤外画像から赤外光高周波画像が生成される。

また、例えば矢印Ａ４２に示す画素配列は、矢印Ａ４１に示した画素配列のＷ画素を、可視光のＧ成分のみを受光するＧ画素に置き換えた配列となっている。

この例では、Ｒ画素、Ｇ画素、およびＢ画素からＷ成分が生成され、そのＷ成分とＷ／ＩＲ画素の画素値とを比較することで、デイモードとするかナイトモードとするかを判定することができる。この場合においても、例えばデイモードでは可視光成分、特にＧ成分から可視光高周波画像が生成され、ナイトモードではＷ／ＩＲ画素から赤外画像が生成され、さらにその赤外画像から赤外光高周波画像が生成される。

さらに、例えば矢印Ａ４３に示す画素配列は、矢印Ａ４２に示した画素配列のＷ／ＩＲ画素を、Ｇ／ＩＲ画素に置き換えた配列となっている。

この例では、Ｇ画素の画素値と、Ｇ／ＩＲ画素の画素値とを比較することで、デイモードとするかナイトモードとするかを判定することができる。この場合においても、例えばデイモードでは可視光成分、特にＧ成分から可視光高周波画像が生成され、ナイトモードではＧ／ＩＲ画素から赤外画像が生成され、さらにその赤外画像から赤外光高周波画像が生成される。

これらの矢印Ａ４１乃至矢印Ａ４３に示した例では、可視光成分のみを受光する画素と、ＩＲ成分を受光する画素とが同じ数だけ設けられている。また、これらの例では、赤外画像の生成時に、ＩＲ成分を受光しない画素の位置におけるＩＲ成分をフィルタ処理により求めるため、図２に示した例と比較すると赤外画像の高解像度化は期待できないが、可視光の画像のＳＮ比を向上させることができる。

ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。

入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。

以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、本技術は、以下の構成とすることも可能である。

（１）
可視光の第１の色成分および赤外成分を有する第１の画素と、前記第１の色成分よりも色温度による影響が大きく、かつ前記第１の色成分よりも輝度成分に対する影響が少ない可視光の第２の色成分のみを有する第２の画素とを有する撮像画像から、前記第１の画素を抽出して抽出赤外画像を生成する抽出部と、
前記抽出赤外画像に対する補間処理を行って赤外画像を生成する赤外画像生成部と、
前記撮像画像から得られた可視光の成分を有する可視光低周波画像と、前記赤外画像とに基づいてカラー画像を生成するカラー画像生成部と
を備える画像処理装置。
（２）
前記撮像画像は、赤外成分のみを有する第３の画素をさらに有し、
前記抽出部は、前記撮像画像から前記第１の画素および前記第３の画素を抽出して前記抽出赤外画像を生成する
（１）に記載の画像処理装置。
（３）
前記赤外画像生成部は、前記第１の画素の出力レベルと、前記第３の画素の出力レベルとが略同じである場合に、前記第１の画素と前記第３の画素とからなる前記抽出赤外画像に対して前記補間処理を行って前記赤外画像を生成し、
前記カラー画像生成部は、前記第１の画素の出力レベルと、前記第３の画素の出力レベルとが略同じである場合に、前記可視光低周波画像と、前記赤外画像とに基づいて前記カラー画像を生成する
（２）に記載の画像処理装置。
（４）
前記抽出赤外画像に対してホワイトバランス調整を行うホワイトバランス調整部をさらに備え、
前記赤外画像生成部は、ホワイトバランス調整された前記抽出赤外画像に対して前記補間処理を行って前記赤外画像を生成する
（２）または（３）に記載の画像処理装置。
（５）
前記カラー画像生成部は、前記撮像画像から前記第１の画素および前記第２の画素を抽出することで得られた前記可視光低周波画像と、前記赤外画像から高周波成分を抽出することで得られた赤外光高周波画像とを合成して前記カラー画像を生成する
（２）乃至（４）の何れか一項に記載の画像処理装置。
（６）
前記カラー画像生成部は、前記撮像画像から前記第２の画素を抽出することで得られた前記可視光低周波画像と、前記赤外画像とを合成して前記カラー画像を生成する
（２）乃至（４）の何れか一項に記載の画像処理装置。
（７）
前記撮像画像上の前記第１の画素および前記第３の画素の合計個数が、前記第２の画素の個数よりも多い
（２）乃至（６）の何れか一項に記載の画像処理装置。
（８）
前記第１の色成分は緑、白、または黄である
（１）乃至（７）の何れか一項に記載の画像処理装置。
（９）
前記第２の色成分は赤、または青である
（１）乃至（８）の何れか一項に記載の画像処理装置。
（１０）
前記撮像画像を撮像する撮像部をさらに備える
（１）乃至（９）の何れか一項に記載の画像処理装置。
（１１）
可視光の第１の色成分および赤外成分を有する第１の画素と、前記第１の色成分よりも色温度による影響が大きく、かつ前記第１の色成分よりも輝度成分に対する影響が少ない可視光の第２の色成分のみを有する第２の画素とを有する撮像画像から、前記第１の画素を抽出して抽出赤外画像を生成し、
前記抽出赤外画像に対する補間処理を行って赤外画像を生成し、
前記撮像画像から得られた可視光の成分を有する可視光低周波画像と、前記赤外画像とに基づいてカラー画像を生成する
ステップを含む画像処理方法。
（１２）
可視光の第１の色成分および赤外成分を有する第１の画素と、前記第１の色成分よりも色温度による影響が大きく、かつ前記第１の色成分よりも輝度成分に対する影響が少ない可視光の第２の色成分のみを有する第２の画素とを有する撮像画像から、前記第１の画素を抽出して抽出赤外画像を生成し、
前記抽出赤外画像に対する補間処理を行って赤外画像を生成し、
前記撮像画像から得られた可視光の成分を有する可視光低周波画像と、前記赤外画像とに基づいてカラー画像を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
（１３）
可視光の第１の色成分および赤外成分を受光する第１の画素と、
前記第１の色成分よりも色温度による影響が大きく、かつ前記第１の色成分よりも輝度成分に対する影響が少ない可視光の第２の色成分のみを受光する第２の画素と
を有する撮像素子。
（１４）
赤外成分のみを受光する第３の画素をさらに有する
（１３）に記載の撮像素子。
（１５）
前記第１の画素および前記第３の画素の合計個数が、前記第２の画素の個数よりも多い
（１４）に記載の撮像素子。
（１６）
前記第１の色成分は緑、白、または黄である
（１３）乃至（１５）の何れか一項に記載の撮像素子。
（１７）
前記第２の色成分は赤、または青である
（１３）乃至（１６）の何れか一項に記載の撮像素子。

１１ 画像処理装置， ２１ 撮像部， ２２ 画像処理部， ５１ 抽出部， ５２ 可視画像処理部， ５３ 赤外画像処理部， ５４ カラー画像生成部， ６１ 検出部， ６２ 高周波画像生成部， ７１ 出力レベル算出部， ７２ ＷＢ調整部， ７３ 赤外画像生成部， ７４ 高周波画像生成部

Claims (17)

1. 可視光の第１の色成分および赤外成分を有する第１の画素と、前記第１の色成分よりも色温度による影響が大きく、かつ前記第１の色成分よりも輝度成分に対する影響が少ない可視光の第２の色成分のみを有する第２の画素とを有する撮像画像から、前記第１の画素を抽出して抽出赤外画像を生成する抽出部と、
   前記抽出赤外画像に対する補間処理を行って赤外画像を生成する赤外画像生成部と、
   前記撮像画像から得られた可視光の成分を有する可視光低周波画像と、前記赤外画像とに基づいてカラー画像を生成するカラー画像生成部と
   を備える画像処理装置。
2. 前記撮像画像は、赤外成分のみを有する第３の画素をさらに有し、
   前記抽出部は、前記撮像画像から前記第１の画素および前記第３の画素を抽出して前記抽出赤外画像を生成する
   請求項１に記載の画像処理装置。
3. 前記赤外画像生成部は、前記第１の画素の出力レベルと、前記第３の画素の出力レベルとが略同じである場合に、前記第１の画素と前記第３の画素とからなる前記抽出赤外画像に対して前記補間処理を行って前記赤外画像を生成し、
   前記カラー画像生成部は、前記第１の画素の出力レベルと、前記第３の画素の出力レベルとが略同じである場合に、前記可視光低周波画像と、前記赤外画像とに基づいて前記カラー画像を生成する
   請求項２に記載の画像処理装置。
4. 前記抽出赤外画像に対してホワイトバランス調整を行うホワイトバランス調整部をさらに備え、
   前記赤外画像生成部は、ホワイトバランス調整された前記抽出赤外画像に対して前記補間処理を行って前記赤外画像を生成する
   請求項２に記載の画像処理装置。
5. 前記カラー画像生成部は、前記撮像画像から前記第１の画素および前記第２の画素を抽出することで得られた前記可視光低周波画像と、前記赤外画像から高周波成分を抽出することで得られた赤外光高周波画像とを合成して前記カラー画像を生成する
   請求項２に記載の画像処理装置。
6. 前記カラー画像生成部は、前記撮像画像から前記第２の画素を抽出することで得られた前記可視光低周波画像と、前記赤外画像とを合成して前記カラー画像を生成する
   請求項２に記載の画像処理装置。
7. 前記撮像画像上の前記第１の画素および前記第３の画素の合計個数が、前記第２の画素の個数よりも多い
   請求項２に記載の画像処理装置。
8. 前記第１の色成分は緑、白、または黄である
   請求項１に記載の画像処理装置。
9. 前記第２の色成分は赤、または青である
   請求項１に記載の画像処理装置。
10. 前記撮像画像を撮像する撮像部をさらに備える
    請求項１に記載の画像処理装置。
11. 可視光の第１の色成分および赤外成分を有する第１の画素と、前記第１の色成分よりも色温度による影響が大きく、かつ前記第１の色成分よりも輝度成分に対する影響が少ない可視光の第２の色成分のみを有する第２の画素とを有する撮像画像から、前記第１の画素を抽出して抽出赤外画像を生成し、
    前記抽出赤外画像に対する補間処理を行って赤外画像を生成し、
    前記撮像画像から得られた可視光の成分を有する可視光低周波画像と、前記赤外画像とに基づいてカラー画像を生成する
    ステップを含む画像処理方法。
12. 可視光の第１の色成分および赤外成分を有する第１の画素と、前記第１の色成分よりも色温度による影響が大きく、かつ前記第１の色成分よりも輝度成分に対する影響が少ない可視光の第２の色成分のみを有する第２の画素とを有する撮像画像から、前記第１の画素を抽出して抽出赤外画像を生成し、
    前記抽出赤外画像に対する補間処理を行って赤外画像を生成し、
    前記撮像画像から得られた可視光の成分を有する可視光低周波画像と、前記赤外画像とに基づいてカラー画像を生成する
    ステップを含む処理をコンピュータに実行させるプログラム。
13. 可視光の第１の色成分および赤外成分を受光する第１の画素と、
    前記第１の色成分よりも色温度による影響が大きく、かつ前記第１の色成分よりも輝度成分に対する影響が少ない可視光の第２の色成分のみを受光する第２の画素と
    を有する撮像素子。
14. 赤外成分のみを受光する第３の画素をさらに有する
    請求項１３に記載の撮像素子。
15. 前記第１の画素および前記第３の画素の合計個数が、前記第２の画素の個数よりも多い
    請求項１４に記載の撮像素子。
16. 前記第１の色成分は緑、白、または黄である
    請求項１３に記載の撮像素子。
17. 前記第２の色成分は赤、または青である
    請求項１３に記載の撮像素子。

Images