JP2018061087A - 画像センサ - Google Patents

Abstract

【課題】生成される画像の画質の低下を抑制しつつ、画像センサのハードウェア構成を簡略化する。
【解決手段】画像センサ１は、複数のカラーフィルタと、複数の透過部材と、撮像部４と、信号処理部５とを備える。複数のカラーフィルタは、いずれかの原色として視認される波長の可視光線を透過させ、複数の透過部材は赤外線を透過させる。また、撮像部が有する複数の撮像素子の各々には、カラーフィルタ又は透過部材が設けられる。信号処理部は、複数の撮像素子を複数の集合に分け、生成される画像の各画素の輝度を、該画素に対応する集合に属する複数の撮像素子による計測値に基づき定める。各集合に属する少なくとも１つの撮像素子には、透過部材が設けられ、残りの１又は複数の撮像素子には、該集合に定められた原色に対応するカラーフィルタが設けられる。
【選択図】図１

Description

本開示は、画像を撮影する技術に関する。

特許文献１のイメージングシステムでは、複数のカラーフィルタと共に複数のＩＲフィルタが格子状に配置されている。ＩＲフィルタは、赤外線を透過させ、可視光線を遮る。そして、赤外線の影響を抑制するため、ＩＲフィルタに対応する撮像素子による計測値に基づき、カラーフィルタに対応する撮像素子による可視光線の計測値が補正される。このため、赤外線を遮るフィルタを設けなくても、良好な画質の画像を生成できる。

ＵＳ２０１３／０２５０１０３ Ａ１

しかしながら、特許文献１のイメージングシステムでは、複数のカラーフィルタと共に複数のＩＲフィルタが配置されている。このため、一般的な画像センサに用いられるベイヤ配列に従って複数のカラーフィルタを配置した場合に比べ、カラーフィルタの数が少なくなる。その結果、撮影画像における色の再現性が低下する恐れがある。

本開示は、生成される画像の画質の低下を抑制しつつ、画像センサのハードウェア構成を簡略化する技術を提供する。

本開示の画像センサ（１）は、画像（９）を生成する。画像センサ（１）は、複数のカラーフィルタ（３１ａ〜３１ｃ，３２ａ〜３２ｃ，３３ａ〜３３ｃ）と、複数の透過部材（３１ｄ，３２ｄ，３３ｄ）と、撮像部（４）と、生成部（５）と、を備える。

複数のカラーフィルタは、複数の原色のうちのいずれかとして視認される波長の可視光線を透過させ、他の波長の可視光線を遮る。また、複数の透過部材は、少なくとも赤外線を透過させる。また、撮像部は、複数のカラーフィルタ及び複数の透過部材のうちのいずれかに対応した状態で、二次元に広がるように配置される複数の撮像素子（４０）を有し、複数の撮像素子の各々には、該撮像素子に対応するカラーフィルタを透過した可視光線、又は、該撮像素子に対応する透過部材を透過した赤外線が入射する。生成部は、複数の撮像素子を複数の集合（４１）に分けると共に、複数の集合の各々を、画像に含まれる複数の画素（９０）のいずれかに対応付け、複数の画素の各々における輝度を、該画素に対応する集合に属する複数の撮像素子による可視光線及び赤外線の計測値に基づき定めることで、画像を生成する。

そして、複数の集合の各々には、複数の原色のうちのいずれかが定められており、該集合に属する複数の撮像素子の少なくとも１つに対応して、透過部材が設けられていると共に、該集合に属する残りの１又は複数の撮像素子に対応して、それぞれ、該集合に定められた原色として視認される波長の可視光線を透過させるカラーフィルタが設けられている。

このような構成によれば、複数の撮像素子は複数の集合に分けられ、各集合は、画像センサにより生成される画像の各画素に対応付けられる。また、各集合は、同一の原色のカラーフィルタに対応する撮像素子を１又は複数含むと共に、透過部材に対応する撮像素子を少なくとも１つ含む。そして、各集合に属する複数の撮像素子による可視光線及び赤外線の計測値に基づき、該集合に対応する画素の輝度が算出される。つまり、各画素に対応して、透過部材が設けられた撮像素子が少なくとも１つ設けられる。そして、各画素の輝度が、該画素に設けられた透過部材に対応する撮像素子による計測値を考慮して算出される。

このため、赤外線を遮るフィルタを用いなくとも、各画素について、赤外線の影響を抑制しつつ原色の輝度を算出できる。これにより、カラーの画像における色の再現性が良好になる。したがって、生成される画像の画質の低下を抑制しつつ、画像センサのハードウェア構成を簡略化することが可能となる。

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

本実施形態の画像センサ及びＥＣＵ等のブロック図である。 本実施形態の撮像部と撮影画像とについての説明図である。 本実施形態のフィルタ部の説明図である。 本実施形態におけるフィルタ集合の１つであるＲ集合の説明図である。 本実施形態におけるフィルタ集合の１つであるＧ集合の説明図である。 本実施形態におけるフィルタ集合の１つであるＢ集合の説明図である。

以下、図面を参照しながら、本開示の実施形態を説明する。
［１．全体の構成］
図１に示す画像センサ１、ＥＣＵ６、車載センサ群７、及び、車両制御装置群８は、車両に搭載される。以後、これらが搭載される車両を、自車両と記載する。ＥＣＵ６は、画像センサ１等を用いて自車両の周囲に存在する各種対象物を検出する。そして、ＥＣＵ６は、その検出結果に基づき車両制御装置群８を制御して、自車両の運転支援を行うための各種処理を実行する。

車両制御装置群８は、自車両に搭載された複数の装置からなる。具体的には、例えば、操舵装置（例えば、電動パワーステアリング等）８１，制動装置（例えば、ブレーキ等）８４，駆動装置（例えば、アクセル等）８５といった、自車両の挙動を制御するための装置が車両制御装置群８に含まれても良い。この他にも、例えば、スピーカ８２，ディスプレイ８３，灯火類８６が、車両制御装置群８に含まれても良い。

車両制御装置群８に含まれる各装置は、ＥＣＵ６からの指示に従い作動することにより、例えば自動運転等の運転支援を行う。自動運転とは、自車両の加速、制動、及び、操舵等の運転操作を自動的に行うものである。具体例を挙げると、自動運転とは、自車両を目的地まで完全に自動的に走行させるものや、自車両を先行する他の車両に追従して走行させるものであっても良い。この他にも、自動運転には、自車両の加速及び制動のみを自動的に行い、速度を自動的に制御した状態で自車両を走行させるもの、及び、自車両の操舵のみを自動的に行い、進路を自動的に制御した状態で自車両を走行させるものが含まれても良い。また、車両制御装置群８に含まれる各装置は、例えば、衝突回避，速度警報，追突警報，車間警報，車線逸脱警報等の運転支援を行っても良い。なお、衝突回避とは、自車両が物体と衝突する可能性がある場合に制動制御や操舵制御を行い、衝突を回避するものであっても良い。

また、画像センサ１及びＥＣＵ６の双方又は一方には、車載センサ群７からの信号が入力される。車載センサ群７には、例えば、車速センサ，各種加速度センサ，舵角センサ等といった、自車両の挙動を検出するセンサが含まれても良い。また、車載センサ群７には、例えば、レーダ等といった自車両の周辺環境を検出するセンサが含まれても良い。また、車載センサ群７には、例えば、自車両の位置データを出力する装置（例えば、ＧＰＳ），地図データの供給源となる装置（例えば、ナビゲーション装置），通信装置（例えば、路車間通信装置やスマートホン等の携帯端末）等が含まれても良い。

画像センサ１は、自車両の周辺を定期的に撮影し、撮影画像を示す画像データをＥＣＵ６に出力する。なお、画像センサ１の構成の詳細については、後述する。
ＥＣＵ６は、ＣＰＵ，ＲＡＭ，ＲＯＭを少なくとも備えた周知のマイクロコンピュータを中心に構成されている。ＲＯＭには、画像センサ１による撮影画像に基づき上述した運転支援を実行するためのプログラムが記憶されている。ＥＣＵ６のＣＰＵは、該プログラムに従い動作し、上述した運転支援を行う。

なお、画像センサ１及びＥＣＵ６は、得られた撮影画像に基づき、自車両周辺に存在する対象物の位置，大きさ，形状，種別，状態等を検出しても良い。なお、対象物とは、例えば、車両，歩行者，各種静止物，車線，道路標識，信号等であっても良い。また、画像センサ１及びＥＣＵ６は、車載センサ群７から得られる情報を利用して、対象物に関する検出を行っても良い。画像センサ１は、対象物に関する検出結果を、ＥＣＵ６に出力しても良い。また、ＥＣＵ６は、対象物に関する検出結果に基づき、上述した運転支援を行っても良い。

［２．画像センサの構成］
画像センサ１は、所謂単眼カメラとしての構成を有しており、レンズ部２、フィルタ部３、撮像部４、及び、信号処理部５を有する。

撮像部４は、複数の撮像素子４０（例えば、ＣＭＯＳセンサ又はＣＣＤセンサ等）を有する。図２に示すように、これらの撮像素子４０は、格子状（換言すれば、アレイ状）に配置されている。また、これらの撮像素子４０は、複数の集合に分けられる。以後、撮像素子４０の集合を、撮像素子集合４１とも記載する。各撮像素子集合４１は、２×２のマトリクス状に並ぶ４つの撮像素子４０により構成される。

また、撮像部４は、図示しない増幅器及びＡ／Ｄ変換器を有する。増幅器は、各撮像素子４０から出力されるアナログ信号を、所定のゲインで増幅する。なお、該アナログ信号は、撮像素子４０に入射した可視光線及び赤外線の強さを示す。そして、Ａ／Ｄ変換部は、増幅されたアナログ信号をデジタル値に変換し、撮像素子４０による計測値として信号処理部５に出力する。

レンズ部２は、入射した可視光線を撮像部４の撮像素子４０に結像させる１又は複数のレンズを有する。
信号処理部５は、各撮像素子４０による可視光線及び赤外線の強さの計測値に基づき、撮影画像を生成する。信号処理部５は、カラー画像と高感度画像とを生成可能である。カラー画像とは、カラーフィルタを通過した光の輝度と、ＩＲフィルタを通過した光の輝度との差分に基づき生成された色再現性が良い画像である。カラー画像は、各画素にいずれかの原色が対応付けられたベイヤ画像から生成される。該ベイヤ画像では、各画素は、該画素に対応する原色の光を、該画素の輝度に応じた強さで出力する。一方、高感度画像とは、カラーフィルタを通過した光の輝度と、ＩＲフィルタを通過した光の輝度との加算に基づき生成された高感度な撮影画像である。

そして、信号処理部５は、生成した撮影画像を示す画像データをＥＣＵ６に出力する。なお、信号処理部５は、撮影画像に基づき、上述した対象物についての位置等の検出を行っても良い。そして、信号処理部５は、検出結果をＥＣＵ６に出力しても良い。また、信号処理部５は、ＣＰＵ，ＲＡＭ，ＲＯＭを少なくとも備えた周知のマイクロコンピュータを備え、ソフトウェアにより撮影画像を生成する処理を実現しても良い。また、信号処理部５は、多数の論理回路等を用いて、ハードウェアにより該処理を実現しても良い。

各撮像素子集合４１は、信号処理部５により生成される撮影画像９の各画素９０に、１対１で対応している。撮像部４における各撮像素子集合４１の相対的な位置と、撮影画像９における該撮像素子集合４１に対応する画素９０の相対的な位置とは、一致している。具体例を挙げると、図２においては、複数の撮像素子集合４１ａ〜４１ｉの各々は、複数の画素９０ａ〜９０ｉのうちの相対的な位置が一致する画素に対応している。各画素９０の輝度は、該画素９０に対応する撮像素子集合４１に属する撮像素子４０による計測値等に基づき算出される。

フィルタ部３は、レンズ部２と撮像部４の撮像素子４０との間に配置される。レンズ部２を通過した可視光線及び赤外線は、フィルタ部３を通過して撮像素子４０に入射する。フィルタ部３は、複数のカラーフィルタと複数の透過部材とを有する。以後、複数のカラーフィルタ及び複数の透過部材の各々を、フィルタとも記載する。

フィルタ部３には、光の三原色の各々に対応する３種類のカラーフィルタが設けられている。具体的には、カラーフィルタとして、赤色に対応するＲ用フィルタと、緑色に対応するＧ用フィルタと、青色に対応するＢ用フィルタとが設けられている。各カラーフィルタは、対応する原色として視認される波長の可視光線を透過させ、他の波長の可視光線を遮る。

一方、透過部材とは、少なくとも赤外線を透過させる部材である。透過部材は、例えば、赤外線を透過させ、全ての波長の可視光線を遮るＩＲフィルタとして構成されていても良い。また、透過部材は、例えば、赤外線及び一部の波長の可視光線を透過させるフィルタであっても良い。また、透過部材は、光学フィルタとしての機能を有さなくても良い。つまり、透過部材は、赤外線及び全部の波長の可視光線を透過させても良い。具体例を挙げると、透過部材を枠状の部材として構成しても良い。そして、透過部材は、枠の内側を透過した可視光線及び赤外線を、そのまま撮像素子４０に入射させても良い。

これらのフィルタは、撮像部４の撮像素子４０と同様、格子状に配置されている。また、各フィルタは、各撮像素子４０に対し１対１で対応している。各フィルタを透過した可視光線又は赤外線は、該フィルタに対応する撮像素子４０に入射する。また、図３に示すように、これらのフィルタは、複数の集合に分けられる。以後、フィルタの集合を、フィルタ集合３０と記載する。これらのフィルタ集合３０は、格子状に配置される。また、各フィルタ集合３０は、２×２のマトリクス状に並ぶ４つのフィルタにより構成される。

各フィルタ集合３０は、いずれかの撮像素子集合４１と１対１で対応している。具体的には、図３における複数のフィルタ集合３０ａ〜３０ｉの各々は、図２における複数の撮像素子集合４１ａ〜４１ｉにおける相対的な位置が一致するものに対応している。また、各フィルタ集合３０に属する４つのフィルタの各々は、該フィルタ集合３０に対応する撮像素子集合４１に属する各々の撮像素子４０に対応している。

また、各フィルタ集合３０、及び、該フィルタ集合３０に対応する撮像素子集合４１には、光の三原色である赤色，緑色，青色のうちのいずれかが定められている。以後、赤色が定められたフィルタ集合３０をＲ集合と、緑色が定められたフィルタ集合３０をＧ集合と、青色が定められたフィルタ集合３０をＢ集合と記載する。なお、図３のフィルタ部３では、一例として、フィルタ集合３０ｄ，３０ｆがＲ集合に、フィルタ集合３０ａ，３０ｃ，３０ｅ，３０ｇ，３０ｉがＧ集合に、フィルタ集合３０ｂ，３０ｈがＢ集合に相当する。

フィルタ部３では、予め定められたパターンで２×２のマトリクス状に配置された４つのフィルタ集合３０が、繰り返し配置されている。該パターンでは、２つのＧ集合が対角線上に配されると共に、１つのＲ集合と１つのＢ集合とが対角線上に配される。なお、フィルタ集合３０は、これとは異なるパターンで配置されても良い。

各フィルタ集合３０は、該フィルタ集合に定められた原色として視認される波長の可視光線を透過させる３つのカラーフィルタと、１つの透過部材とを有する。図４に示すように、Ｒ集合３１は、３つのＲ用フィルタ３１ａ〜３１ｃと、１つの透過部材３１ｄとを有する。また、図５に示すように、Ｇ集合３２は、３つのＧ用フィルタ３２ａ〜３２ｃと、１つの透過部材３２ｄとを有する。また、図６に示すように、Ｂ集合３３は、３つのＢ用フィルタ３３ａ〜３３ｃと、１つの透過部材３３ｄとを有する。なお、各フィルタ集合３０に属するフィルタの数と、カラーフィルタ及び透過部材の数並びに位置とは、上述した内容に限定されることなく、適宜定めることができる。

次に、撮影画像における各画素の輝度値を算出する処理について詳しく説明する。
（１）第１の算出処理について
まず、透過部材がＩＲフィルタとして構成されている場合に、画素の輝度値を算出する第１の算出処理について説明する。

第１の算出処理では、カラー画像を生成するときは、原色として、赤色，緑色，青色が用いられる。赤色が定められた撮像素子集合４１に対応する画素は赤色に、緑色が定められた撮像素子集合４１に対応する画素は緑色に、青色が定められた撮像素子集合４１に対応する画素は青色に、それぞれ対応付けられる。以後、赤色に対応する画素をＲ画素、緑色に対応する画素をＧ画素、青色に対応する画素をＢ画素と記載する。そして、Ｒ画素の赤色の輝度値Ｒｒと、Ｇ画素の緑色の輝度値Ｇｇと、Ｂ画素の青色の輝度値Ｂｂとは、それぞれ、以下のように算出されても良い。

Ｒｒ＝（Ｒ１＋Ｒ２＋Ｒ３）×ｋ１−ＩＲｒ×３×ｋ２
Ｇｇ＝（Ｇ１＋Ｇ２＋Ｇ３）×ｋ３−ＩＲｇ×３×ｋ４
Ｂｂ＝（Ｂ１＋Ｂ２＋Ｂ３）×ｋ５−ＩＲｂ×３×ｋ６
なお、Ｒ１〜Ｒ３は、Ｒ画素に対応する撮像素子集合４１に属し、Ｒ用カラーフィルタに対応する３つの撮像素子４０の各々による計測値を意味する。また、ＩＲｒは、Ｒ画素に対応する撮像素子集合４１に属し、透過部材に対応する１つの撮像素子４０による計測値を意味する。また、Ｇ１〜Ｇ３は、Ｇ画素に対応する撮像素子集合４１に属し、Ｇ用カラーフィルタに対応する３つの撮像素子４０の各々による計測値を意味する。また、ＩＲｇは、Ｇ画素に対応する撮像素子集合４１に属し、透過部材に対応する１つの撮像素子４０による計測値を意味する。また、Ｂ１〜Ｂ３は、Ｂ画素に対応する撮像素子集合４１に属し、Ｂ用カラーフィルタに対応する３つの撮像素子４０の各々による計測値を意味する。また、ＩＲｂは、Ｂ画素に対応する撮像素子集合４１に属し、透過部材に対応する１つの撮像素子４０による計測値を意味する。なお、ＩＲｒ，ＩＲｇ，ＩＲｂは、換言すれば、透過部材に対応する撮像素子４０により計測された、赤外線の強さの計測値を意味する。また、ｋ１〜ｋ６は、予め定められた値の係数となる。

また、各画素における該画素に対応していない他の原色の輝度値は、該画素の周辺に位置する他の画素における、該他の画素に対応する原色の輝度値等に基づき算出される。
具体的には、Ｒ画素における緑色の輝度値Ｇｒは、例えば、該Ｒ画素の周囲に位置するＧ画素の輝度値Ｇｇに基づき算出されても良い。また、Ｒ画素における青色の輝度値Ｂｒは、例えば、該Ｒ画素の周囲に位置するＢ画素の輝度値Ｂｂに基づき算出されても良い。より詳しくは、Ｒ画素の周囲に存在するＧ画素の輝度値Ｇｇの平均値を、該Ｒ画素の輝度値Ｇｒとし、Ｒ画素の周囲に存在するＢ画素の輝度値Ｂｂの平均値を、該Ｒ画素の輝度値Ｂｒとしても良い。

同様にして、Ｇ画素における赤色の輝度値Ｒｇ及び青色の輝度値Ｂｇも、それぞれ、該Ｇ画素の周囲に位置するＲ画素の輝度値Ｒｒと、該Ｇ画素の周囲に位置するＢ画素の輝度値Ｂｂとに基づき算出されても良い。また、同様にして、Ｂ画素における赤色の輝度値Ｒｂ及び緑色の輝度値Ｇｂも、それぞれ、該Ｂ画素の周囲に位置するＲ画素の輝度値Ｒｒと、該Ｂ画素の周囲に位置するＧ画素の輝度値Ｇｇとに基づき算出されても良い。

これにより、赤外線の影響を抑制した状態でカラー画像が生成される。
一方、高感度画像を生成するときは、Ｒ画素の輝度値Ｗｒと、Ｇ画素の輝度値Ｗｇと、Ｂ画素の輝度値Ｗｂとは、それぞれ、以下のように算出されても良い。

Ｗｒ＝（Ｒ１＋Ｒ２＋Ｒ３）×ｋ７＋ＩＲｒ×ｋ８
Ｗｇ＝（Ｇ１＋Ｇ２＋Ｇ３）×ｋ９＋ＩＲｇ×ｋ１０
Ｗｂ＝（Ｂ１＋Ｂ２＋Ｂ３）×ｋ１１＋ＩＲｂ×ｋ１２
なお、ｋ７〜ｋ１２は、予め定められた値の係数となる。これにより、撮像素子４０による赤外線の計測結果を十分に反映した状態で、高感度画像を生成することができる。

（２）第２の算出処理について
次に、透過部材が全部の波長の可視光線を透過させる部材である場合に、画素の輝度値を算出する第２の算出処理について説明する。

第２の算出処理では、カラー画像を生成するときは、原色として、シアン，マゼンダ，黄色が用いられる。赤色が定められた撮像素子集合４１に対応する画素はシアンに、緑色が定められた撮像素子集合４１に対応する画素はマゼンダに、青色が定められた撮像素子集合４１に対応する画素は黄色に、それぞれ対応付けられる。以後、シアンに対応する画素をＣ画素と、マゼンダに対応する画素をＭ画素と、黄色に対応する画素をＹ画素と記載する。そして、Ｃ画素のシアンの輝度値Ｃｃと、Ｍ画素のマゼンダの輝度値Ｍｍと、Ｙ画素の黄色の輝度値Ｙｙとは、以下のように算出されても良い。

Ｃｃ＝ＩＲｒ×ｊ１−（Ｒ１＋Ｒ２＋Ｒ３）／（３×ｊ２）
Ｍｍ＝ＩＲｇ×ｊ３−（Ｇ１＋Ｇ２＋Ｇ３）／（３×ｊ４）
Ｙｙ＝ＩＲｂ×ｊ５−（Ｂ１＋Ｂ２＋Ｂ３）／（３×ｊ６）
なお、ＩＲｒ，Ｒ１〜Ｒ３，ＩＲｇ，Ｇ１〜Ｇ３，ＩＲｂ，Ｂ１〜Ｂ３は、第１の算出処理と同様の意味を有する。また、ｊ１〜ｊ６は、予め定められた値の係数となる。

また、第１の算出処理と同様、各画素における該画素に対応していない他の原色の輝度値は、該画素の周辺に位置する他の画素における、該他の画素に対応する原色の輝度値に基づき算出される。

具体的には、Ｃ画素におけるマゼンダ及び黄色の輝度値Ｍｃ，Ｙｃは、該Ｃ画素の周囲の画素に対応するマゼンダ及び黄色の輝度値Ｍｍ，Ｙｙに基づき算出される。また、Ｍ画素におけるシアン及び黄色の輝度値Ｃｍ，Ｙｍは、該Ｍ画素の周囲の画素に対応するシアン及び黄色の輝度値Ｃｃ，Ｙｙに基づき算出される。また、Ｙ画素におけるシアン及びマゼンダの輝度値Ｃｙ，Ｍｙは、該Ｙ画素の周囲の画素に対応するシアン及びマゼンダの輝度値Ｃｃ，Ｍｍに基づき算出される。

これにより、赤外線の影響を抑制した状態でカラー画像が生成される。
一方、高感度画像を生成するときは、第１の算出処理と同様にして、Ｒ画素の輝度値Ｗｒと、Ｇ画素の輝度値Ｗｇと、Ｂ画素の緑色の輝度値Ｗｂとが算出される。

［３．効果］
以上詳述した本実施形態によれば、以下の効果を奏する。
（１）本実施形態の画像センサ１では、複数の撮像素子４０は複数の撮像素子集合４１に分けられ、各撮像素子集合４１は、撮影画像の各画素に対応付けられる。また、各撮像素子集合４１は、光の三原色のいずれかに対応するカラーフィルタが設けられた３つの撮像素子４０と、透過部材に対応する１つの撮像素子４０とを含む。そして、各撮像素子集合４１に属する複数の撮像素子４０による可視光線及び赤外線の計測値に基づき、該撮像素子集合４１に対応する画素の輝度が算出される。つまり、各画素に対応して、透過部材が設けられた１つの撮像素子４０が設けられる。そして、画素の輝度が、該画素に設けられた透過部材に対応する撮像素子４０による計測値を考慮して算出される。

ＣＣＤやＣＭＯＳ等の撮像素子は、赤外線、特に近赤外線を感知してしまう。このため、一般的な画像センサでは、赤外線を遮るフィルタを設け、該フィルタを通過した可視光線を撮像素子に入射させる構成となっている。これに対し、本実施形態の画像センサ１では、該フィルタを用いなくとも、赤外線の影響を抑制しつつ各画素に対応する原色の輝度を算出できる。その結果、カラー画像における色の再現性を良好にすることができる。したがって、撮影画像の画質の低下を抑制しつつ、画像センサ１のハードウェア構成を簡略化することが可能となる。

さらに、夜間等において、自車両のヘッドライト等から近赤外線を照射し、反射した近赤外線に基づき、画像センサにて高感度の撮影画像を生成する技術が知られている。これに対し、本実施形態の画像センサ１では、各撮像素子集合４１には、カラーフィルタが設けられた３つの撮像素子４０と、赤外線を通過させる透過部材が設けられた１つの撮像素子４０とが含まれている。これにより、赤外線に対する感度が抑制される。このため、本実施形態の画像センサ１をこのような用途に用いた場合には、撮像素子の計測値の飽和を抑制でき、高感度の撮影画像を良好に生成できる。

（２）また、本実施形態における第１及び第２の算出処理によれば、カラー画像を生成するときは、赤外線の影響を抑制した状態で各画素に対応する原色の輝度が算出される。このため、色の再現性が良好になる。また、高感度画像を生成するときは、透過部材に対応する撮像素子による赤外線の計測値に基づき、高い感度で各画素の輝度が算出される。このため、高感度画像を良好に生成できる。したがって、カラー画像と高感度画像との双方の画質を良好にすることができる。

（３）また、本実施形態の画像センサ１は、車両に搭載される。そして、画像センサ１は、車両のＥＣＵ６に対し撮影画像を提供する。このため、ＥＣＵ６は、良好な画質の撮影画像に基づき処理を行うことができる。特に、ＥＣＵ６の処理では、カラー画像と高感度画像との双方が必要とされる場合がある。これに対し、本実施形態の画像センサ１によれば、良好な画質のカラー画像及び高感度画像を生成できる。このため、ＥＣＵ６は、好適に処理を行うことが可能となる。

（４）また、ＥＣＵ６は、運転支援を行うよう構成されている。つまり、本実施形態の画像センサ１による撮影画像は、運転支援に用いられる。このため、ＥＣＵ６は、良好な画質の撮影画像に基づき、好適に運転支援を行うことができる。

［４．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

（１）本実施形態の画像センサ１の撮像部４では、複数の撮像素子４０が格子状に配置されている。しかしながら、複数の撮像素子４０の配置は、格子状に限らず、様々なパターンで二次元に広がるように配置されていても良い。なお、このような場合には、フィルタ部３に含まれる複数のフィルタも、複数の撮像素子４０の配置パターンと同様に配置される。

（２）本実施形態の画像センサ１のフィルタ部３におけるフィルタ集合３０は、同一の原色に対応する３つのカラーフィルタと、１つの透過部材とを含んでいる。また、これらは、２×２のマトリクス状に配置される。しかしながら、各フィルタ集合３０に属するカラーフィルタ及び透過部材の数、又は、これらが配置される位置等は、本実施形態の内容に限定されない。

但し、各フィルタ集合３０に属する複数のフィルタは、連続的に配置される。換言すれば、これらのフィルタは、同一のフィルタ集合３０に属するいずれかのフィルタと隣接した状態で配置される。また、各フィルタ集合３０に属する複数のフィルタは、Ｎ×Ｎ（Ｎは２以上の整数）のマトリクス状に配置されるのが好適である。

なお、撮像部４における撮像素子集合４１に属する複数の撮像素子４０の数及び位置は、フィルタ集合３０に属する複数のフィルタの数及び位置等に応じて定められる。
（３）本実施形態の画像センサ１は、車両に搭載されている。また、画像センサ１による撮影画像は、ＥＣＵ６に提供され、運転支援に用いられる。しかしながら、撮影画像は、運転支援以外の処理に用いられても良い。また、画像センサ１は、例えば、携帯型のカメラ等として構成されていても良いし、車両以外の他の装置に設けられていても良い。

（４）本実施形態では、撮影画像の画素の輝度を算出する処理として、第１及び第２の算出処理を例示した。しかしながら、画素の輝度の算出処理は、第１及び第２の算出処理に限定されない。画素の輝度は、例えば、透過部材における可視光線又は赤外線の透過特性や、撮像素子集合に属する複数の撮像素子の数やフィルタ集合の構成等に応じて、様々な方法で算出される。

（５）本実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、本実施形態の構成の一部を省略してもよい。また、本実施形態の構成の少なくとも一部を、他の本実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

（６）上述した画像センサ１の他、当該画像センサ１を構成要素とするシステム、当該画像センサ１としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、画像センサ１による撮影画像の生成方法など、種々の形態で本開示を実現することもできる。

［５．特許請求の範囲との対応］
本実施形態の画像センサ１の信号処理部５は、生成部５に相当する。また、撮像部４における撮像素子集合４１は、集合に相当する。

１…画像センサ、２…レンズ部、３…フィルタ部、４…撮像部、５…信号処理部、６…ＥＣＵ、９…撮影画像、３０…フィルタ集合、３１…Ｒ集合、３１ａ〜３１ｃ…Ｒ用フィルタ、３１ｄ…透過部材、３２…Ｇ集合、３２ａ〜３２ｃ…Ｇ用フィルタ、３２ｄ…透過部材、３３…Ｂ集合、３３ａ〜３３ｃ…Ｂ用フィルタ、３３ｄ…透過部材、４０…撮像素子、４１…撮像素子集合、９０…複数の画素。

Claims (5)

1. 画像（９）を生成する画像センサ（１）であって、
   複数の原色のうちのいずれかとして視認される波長の可視光線を透過させ、他の波長の可視光線を遮る複数のカラーフィルタ（３１ａ〜３１ｃ，３２ａ〜３２ｃ，３３ａ〜３３ｃ）と、
   少なくとも赤外線を透過させる複数の透過部材（３１ｄ，３２ｄ，３３ｄ）と、
   前記複数のカラーフィルタ及び前記複数の透過部材のうちのいずれかに対応した状態で、二次元に広がるように配置される複数の撮像素子（４０）を有し、前記複数の撮像素子の各々には、該撮像素子に対応する前記カラーフィルタを透過した可視光線、又は、該撮像素子に対応する前記透過部材を透過した赤外線が入射する撮像部（４）と、
   前記複数の撮像素子を複数の集合（４１）に分けると共に、前記複数の集合の各々を、前記画像に含まれる複数の画素（９０）のいずれかに対応付け、前記複数の画素の各々における輝度を、該画素に対応する前記集合に属する前記複数の撮像素子による可視光線及び赤外線の計測値に基づき定めることで、前記画像を生成する生成部（５）と、を備え、
   前記複数の集合の各々には、前記複数の原色のうちのいずれかが定められており、該集合に属する前記複数の撮像素子の少なくとも１つに対応して、前記透過部材が設けられていると共に、該集合に属する残りの１又は複数の前記撮像素子に対応して、それぞれ、該集合に定められた前記原色として視認される波長の可視光線を透過させる前記カラーフィルタが設けられている
   画像センサ。
2. 請求項１に記載の画像センサにおいて、
   前記複数の透過部材は、赤外線を透過させると共に可視光線を遮り、
   前記生成部は、
   カラーの前記画像と、高感度の前記画像とを生成し、
   カラーの前記画像を生成するときは、前記複数の画素の各々について、該画素に対応する前記集合に定められた前記原色の輝度を、該集合に属する前記カラーフィルタに対応する前記撮像素子による計測値に基づく値と、該集合に属する前記透過部材に対応する前記撮像素子による計測値に基づく値との差分に基づき算出し、
   高感度の前記画像を生成するときは、前記複数の画素の各々における輝度を、該画素に対応する前記集合に属し、前記カラーフィルタに対応する前記撮像素子による計測値に基づく値と、該集合に属し、前記透過部材に対応する前記撮像素子による計測値に基づく値との加算に基づき算出する
   画像センサ。
3. 請求項１に記載の画像センサにおいて、
   前記複数の透過部材は、赤外線及び可視光線を透過させ、
   前記生成部は、
   カラーの前記画像と、高感度の前記画像とを生成し、
   カラーの前記画像を生成するときは、前記複数の画素の各々について、該画素に対応する前記集合に定められた前記原色とは異なる原色の輝度を、該集合に属する前記透過部材に対応する前記撮像素子による計測値に基づく値と、該集合に属する前記カラーフィルタに対応する前記撮像素子による計測値に基づく値との差分に基づき算出し、
   高感度の前記画像を生成するときは、前記複数の画素の各々における輝度を、該画素に対応する前記集合に属し、前記カラーフィルタに対応する前記撮像素子による計測値に基づく値と、該集合に属し、前記透過部材に対応する前記撮像素子による計測値に基づく値との加算に基づき算出する
   画像センサ。
4. 請求項１から請求項３のうちのいずれか１項に記載の画像センサにおいて、
   前記画像センサは、車両に搭載されている
   画像センサ。
5. 請求項１から請求項４のうちのいずれか１項に記載の画像センサにおいて、
   前記画像センサにより生成された前記画像は、車両の運転支援に用いられる
   画像センサ。

Images