JP2020182139A - 撮像システム及び撮像素子 - Google Patents

Abstract

【課題】車内から車両の周囲の撮像を行う場合に、映り込みを防止しつつ、適切な画角での撮像を可能にする。【解決手段】撮像システムは、撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を出力する画素を複数備え、受光面が車両のウインドシールドの車内側の面に対向し、かつ、接触又は近接するように取り付けられる撮像素子を備え、前記複数の画素の前記入射光の入射角に対する指向性を示す入射角指向性の重心の平均が、前記画素の中心から一方の方向に偏っている。本技術は、例えば、車載システムに適用できる。【選択図】図１８

Description

本技術は、撮像システム及び撮像素子に関し、特に、車内から車両の周囲の撮像を行う場合に用いて好適な撮像システム及び撮像素子に関する。

従来、車両のウインドシールドに車室内側から取り付けて、車両の前方の撮像を行うカメラ装置が提案されている（例えば、特許文献１参照）。

特開２０１６−２０３９５２号公報

しかしながら、特許文献１に記載のカメラ装置では、カメラ装置に設けられているカメラモジュールのレンズとウインドシールドとの間に空間ができるため、入射光が反射し、ウインドシールドへの映り込みが発生するおそれがある。一方、映り込みを防止するために、カメラモジュールのレンズをウインドシールドに近接させると、撮像方向が上方を向いてしまい、車両の前方を適切な画角で撮像できなくなる。

本技術は、このような状況に鑑みてなされたものであり、車内から車両の周囲の撮像を行う場合に、映り込みを防止しつつ、適切な画角での撮像を可能にするものである。

本技術の第１の側面の撮像システムは、撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を出力する画素を複数備え、受光面が車両のウインドシールドの車内側の面に対向し、かつ、接触又は近接するように取り付けられる撮像素子を備え、前記複数の画素の前記入射光の入射角に対する指向性を示す入射角指向性の重心の平均が、前記画素の中心から一方の方向に偏っている。

本技術の第２の側面の撮像素子は、撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を出力する画素を複数備え、前記複数の画素の前記入射光の入射角に対する指向性を示す入射角指向性の重心の平均が、前記画素の中心から偏っている。

本技術の第１の側面においては、車両の正面方向から偏った方向が撮像される。

本技術の第２の側面においては、正面方向から偏った方向が撮像される。

本技術を適用した車載システムの構成例を示すブロック図である。 図１の車載システムの撮像部の構成例を示すブロック図である。 図２の撮像素子における撮像の原理を説明する図である。 図２の撮像素子の画素アレイ部の構成例を示す図である。 図２の撮像素子の第１の構成例を説明する図である。 図２の撮像素子の第２の構成例を説明する図である。 入射角指向性の発生の原理を説明する図である。 オンチップレンズを利用した入射角指向性の変化を説明する図である。 狭画角画素と広画角画素との関係を説明する図である。 狭画角画素と広画角画素との関係を説明する図である。 狭画角画素と広画角画素との関係を説明する図である。 狭画角画素と広画角画素の画質の違いを説明するための図である。 狭画角画素と広画角画素の画質の違いを説明するための図である。 複数の画角の画素を組み合わせる例を説明する図である。 図１のフロントカメラモジュールのハードウエア構成例を示す図である。 図１のフロントカメラモジュールの取付方法の例を示す図である。 図１のフロントカメラモジュールの取付方法の例を示す図である。 図２の撮像素子の画素アレイ部の第１の実施の形態を示す図である。 図１８の画素の遮光パターンの例を示す図である。 図１８の撮像素子の撮像範囲を示す図である。 図２の撮像部による撮像処理を説明するフローチャートである。 図２の撮像素子の画素アレイ部の第２の実施の形態を示す図である。 図２２の画素の遮光パターンの例を示す図である。 図２２の撮像素子の撮像範囲を示す図である。 図２の撮像素子の画素アレイ部の第３の実施の形態を示す図である。 図２５の画素の遮光パターンの例を示す図である。 図２５の撮像素子の撮像範囲を示す図である。 フロントカメラモジュールの設置方法の変形例を示す図である。 図２の撮像素子の第３の構成例を説明する図である。 撮像素子の変形例を示す図である。 撮像素子の変形例を示す図である。 撮像素子の変形例を示す図である。 撮像素子の変形例を示す図である。 撮像素子の変形例を示す図である。

以下に添付図面を参照しながら、本技術の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を適宜省略する。

また、以下の順序で説明を行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．変形例
５．その他

＜＜１．第１の実施の形態＞＞
まず、図１乃至図２１を参照して、本技術の第１の実施の形態について説明する。

＜車載システム１１の構成例＞
図１は、本技術を適用した車載システム１１の構成例を示すブロック図である。

車載システム１１は、車両に設けられ、車両の制御等を行うシステムである。

車載システム１１は、フロントカメラモジュール２１、通信ユニット２２、自動運転ＥＣＵ（Electronic Control Unit）２３、ＡＤＡＳ（Advanced Driver Assistance System） ＥＣＵ２４、ステアリング機構２５、ヘッドランプ２６、制動装置２７、エンジン２８、及び、モータ２９を備える。フロントカメラモジュール２１、通信ユニット２２、自動運転ＥＣＵ２３、ＡＤＡＳ ＥＣＵ２４、ステアリング機構２５、ヘッドランプ２６、制動装置２７、エンジン２８、及び、モータ２９は、ＣＡＮ（Controller Area Network）通信用のバスＢ１を介して相互に接続されている。

なお、以下、説明を簡単にするために、車載システム１１の各部がバスＢ１を介してデータの送受信等を行う場合のバスＢ１の記載を省略する。例えば、ＡＤＡＳ ＥＣＵ２４がバスＢ１を介してステアリング機構２５にデータを供給する場合、ＡＤＡＳ ＥＣＵ２４がステアリング機構２５にデータを供給すると記載する。

フロントカメラモジュール２１は、後述するように、車両のウインドシールドの車室内側に設置され、車両の前方の撮像、画像認識等の処理を行い、処理の結果を示すデータを車載システム１１の各部に供給する。フロントカメラモジュール２１は、撮像部４１、フロントカメラＥＣＵ４２、及び、ＭＣＵ（Micro Control Unit）４３を備える。

撮像部４１は、後述するように、撮像レンズ及びピンホールを用いないＬＬＣ（Lenz Less Camera）により構成される。撮像部４１は、後述するように、撮像することにより得られた検出画像から被写体の像が結像された復元画像を復元し、車両の前方をセンシングしたセンシング画像として復元画像をフロントカメラＥＣＵ４２に供給する。

フロントカメラＥＣＵ４２は、撮像部４１から供給されたセンシング画像に対して、例えばゲイン調整やホワイトバランス調整、HDR（High Dynamic Range）処理、交通信号のフリッカ補正処理などの画質調整処理を施した後、センシング画像に対して画像認識を行う。なお、画質調整処理は、フロントカメラＥＣＵ４２で実行されることに限定されず、撮像部４１内部で実行されてもよい。

画像認識では、例えば、歩行者、自転車等の軽車両、車両、ヘッドランプ、ブレーキランプ、歩道、ガードレール、信号機、区画線等の道路標示、道路標識等の任意の物体の検出や、前方車両との衝突までの時間の検出等が行われる。フロントカメラＥＣＵ４２は、画像認識による検出結果を示す信号を生成し、ＭＣＵ４３を介して、自動運転ＥＣＵ２３に供給する。

また、フロントカメラＥＣＵ４２は、センシング画像に対する画像認識による検出結果に基づいて、各種の運転の支援を行うための制御信号を生成し、ＭＣＵ４３を介して、ＡＤＡＳ ＥＣＵ２４に供給する。例えば、フロントカメラＥＣＵ４２は、画像認識により得られた道路の区画線、縁石、歩行者等の検出結果に基づいて、対象物への衝突、走行車線（レーン）からの逸脱等の危険を回避するために、進行方向の変更、減速、急ブレーキ、警告通知等を指示する制御信号を生成し、ＭＣＵ４３を介して、ＡＤＡＳ ＥＣＵ２４に供給する。また、例えば、フロントカメラＥＣＵ４２は、画像認識により得られた対向車のヘッドライトの有無に基づいて、ロービームとハイビームの切り替え等を指示する制御信号を生成し、ＭＣＵ４３を介して、ＡＤＡＳ ＥＣＵ２４に供給する。

ＭＣＵ４３は、フロントカメラＥＣＵ４２から供給される信号を、ＣＡＮ通信用の形式の信号に変換し、バスＢ１に出力する。また、ＭＣＵ４３は、バスＢ１から受信した信号を、フロントカメラＥＣＵ４２用の形式の信号に変換し、フロントカメラＥＣＵ４２に供給する。

通信ユニット２２は、車車間通信、車歩間通信、路車間通信等の各種の無線通信により、周辺車両や、歩行者が所持する携帯型端末装置、路側機、外部のサーバとの間で情報の送受信を行う。例えば通信ユニット２２は、周辺車両と車車間通信を行って、周辺車両から乗員数や走行状態を示す情報を含む周辺車両情報を受信し、自動運転ＥＣＵ２３に供給する。

自動運転ＥＣＵ２３は、車両の自動運転（Self driving）機能の実行に用いられるＥＣＵである。例えば、自動運転ＥＣＵ２３は、フロントカメラＥＣＵ４２による物体検出結果、車両の位置情報、通信ユニット２２から供給される周辺車両情報等の各種の情報、車両が備える各種のセンサからのセンサデータ、車速の検出結果等に基づいて、車両の自動運転の制御を行う。例えば、自動運転ＥＣＵ２３は、ステアリング機構２５、ヘッドランプ２６、制動装置２７、エンジン２８、モータ２９等を制御して、走行方向の変更、ブレーキ、加速、発進等の運転制御や、警告通知制御、ビームの切り替え制御等を行う。

ＡＤＡＳ ＥＣＵ２４は、車両のＡＤＡＳ（Advanced Driving Assistant System）機能の実行に用いられるＥＣＵである。ＡＤＡＳ ＥＣＵ２４は、例えば、フロントカメラＥＣＵ４２からの制御信号に基づいて、ステアリング機構２５、ヘッドランプ２６、制動装置２７、エンジン２８、モータ２９等を制御して、各種の運転支援の制御を行う。

ステアリング機構２５は、運転者によるステアリングホイールの操作、又は、自動運転ＥＣＵ２３若しくはＡＤＡＳ ＥＣＵ２４から供給された制御信号に応じて動作し、車両の走行方向の制御、すなわち、舵角制御を行う。

ヘッドランプ２６は、自動運転ＥＣＵ２３又はＡＤＡＳ ＥＣＵ２４から供給された制御信号に応じて動作し、ビームを出力することで車両の前方を照明する。

制動装置２７は、運転者によるブレーキ操作、又は、自動運転ＥＣＵ２３若しくはＡＤＡＳ ＥＣＵ２４から供給された制御信号に応じて動作し、車両を停止させたり減速させたりする。

エンジン２８は、車両の動力源であり、自動運転ＥＣＵ２３又はＡＤＡＳ ＥＣＵ２４から供給される制御信号に応じて駆動する。

モータ２９は、車両の動力源であり、図示せぬ発電機やバッテリから電力の供給を受け、自動運転ＥＣＵ２３又はＡＤＡＳ ＥＣＵ２４からの制御信号に応じて駆動する。

なお、車両の走行時にエンジン２８を駆動させるか、又は、モータ２９を駆動させるかは、適宜、自動運転ＥＣＵ２３により切り替えられる。

＜撮像部４１の構成例＞
図２は、フロントカメラモジュール２１の撮像部４１の構成例を示すブロック図である。

撮像部４１は、撮像素子１２１、復元部１２２、制御部１２３、記憶部１２４、及び、通信部１２５を備える。また、復元部１２２、制御部１２３、記憶部１２４、及び、通信部１２５により、信号処理や撮像部４１の制御等を行う信号処理制御部１１１が構成される。なお、撮像部４１は、撮像レンズを含まない（撮像レンズフリー）。

また、撮像素子１２１、復元部１２２、制御部１２３、記憶部１２４、及び、通信部１２５は、バスＢ２介して相互に接続されており、バスＢ２を介してデータの送受信等を行う。なお、以下、説明を簡単にするために、撮像部４１の各部がバスＢ２を介してデータの送受信等を行う場合のバスＢ２の記載を省略する。例えば、通信部１２５がバスＢ２を介して制御部１２３にデータを供給する場合、通信部１２５が制御部１２３にデータを供給すると記載する。

撮像素子１２１は、各画素の検出感度に入射角指向性を持たせた撮像素子であり、入射光の光量に応じた検出信号レベルを示す検出信号からなる画像を復元部１２２又はバスＢ２に出力する。各画素の検出感度に入射角指向性を持たせるとは、各画素への入射光の入射角度に応じた受光感度特性を画素毎に異なるものとすることである。ただし、全ての画素の受光感度特性が完全に異なるものである必要はなく、一部の画素の受光感度特性が同一であってもよい。

より具体的には、撮像素子１２１は、基本的な構造において、一般の、例えば、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子からなるものと同様のものであっても良い。ただし、撮像素子１２１は、画素アレイ部を構成する各画素の構成が一般のものと異なり、例えば、図４乃至図６を参照して後述するように、入射角指向性を持たせる構成を有している。そして、撮像素子１２１は、画素毎に入射光の入射角度に応じて受光感度が異なり（変化し）、画素単位で入射光の入射角度に対する入射角指向性を有している。

ここで、例えば、全ての被写体は点光源の集合であり、各点光源からあらゆる方向に光が出射されているものとする。例えば、図３の左上の被写体の被写体面１０２が、点光源ＰＡ乃至点光源ＰＣにより構成され、点光源ＰＡ乃至点光源ＰＣが、それぞれ光強度ａ乃至光強度ｃの複数の光線を周囲に発しているものとする。また、以下、撮像素子１２１が、位置Ｐａ乃至位置Ｐｃに入射角指向性がそれぞれ異なる画素（以下、画素Ｐａ乃至画素Ｐｃと称する）を備えるものとする。

この場合、図３の左上に示されるように、同一の点光源より発せられた同一の光強度の光線が、撮像素子１２１の各画素に入射される。例えば、点光源ＰＡから発せられた光強度ａの光線が、撮像素子１２１の画素Ｐａ乃至画素Ｐｃにそれぞれ入射される。一方、同一の点光源より発せられた光線は、画素毎にそれぞれ異なる入射角度で入射される。例えば、点光源ＰＡからの光線は、画素Ｐａ乃至画素Ｐｃにそれぞれ異なる入射角度で入射される。

これに対して、画素Ｐａ乃至画素Ｐｃの入射角指向性がそれぞれ異なるため、同一の点光源より発せられた同一の光強度の光線が、各画素で異なる感度で検出される。その結果、同一の光強度の光線が画素毎に異なる検出信号レベルで検出される。例えば、点光源ＰＡからの光強度ａの光線に対する検出信号レベルが、画素Ｐａ乃至画素Ｐｃでそれぞれ異なる値になる。

そして、各点光源からの光線に対する各画素の受光感度レベルは、その光線の光強度に、その光線の入射角度に対する受光感度（すなわち、入射角指向性）を示す係数を乗じることにより求められる。例えば、点光源ＰＡからの光線に対する画素Ｐａの検出信号レベルは、点光源ＰＡの光線の光強度ａに、当該光線の画素Ｐａへの入射角度に対する画素Ｐａの入射角指向性を示す係数を乗じることにより求められる。

従って、画素Ｐｃ，Ｐｂ，Ｐａの検出信号レベルＤＡ，ＤＢ，ＤＣは、それぞれ以下の式（１）乃至式（３）で表される。

ＤＡ＝α１×ａ＋β１×ｂ＋γ１×ｃ ・・・（１）
ＤＢ＝α２×ａ＋β２×ｂ＋γ２×ｃ ・・・（２）
ＤＣ＝α３×ａ＋β３×ｂ＋γ３×ｃ ・・・（３）

ここで、係数α１は、点光源ＰＡから画素Ｐｃへの光線の入射角度に対する画素Ｐｃの入射角指向性を示す係数であり、当該入射角度に応じて設定される。また、α１×ａは、点光源ＰＡからの光線に対する画素Ｐｃの検出信号レベルを示している。

係数β１は、点光源ＰＢから画素Ｐｃへの光線の入射角度に対する画素Ｐｃの入射角指向性を示す係数であり、当該入射角度に応じて設定される。また、β１×ｂは、点光源ＰＢからの光線に対する画素Ｐｃの検出信号レベルを示している。

係数γ１は、点光源ＰＣから画素Ｐｃへの光線の入射角度に対する画素Ｐｃの入射角指向性を示す係数であり、当該入射角度に応じて設定される。また、γ１×ｃは、点光源ＰＣからの光線に対する画素Ｐｃの検出信号レベルを示している。

このように、画素Ｐａの検出信号レベルＤＡは、画素Ｐｃにおける点光源ＰＡ，ＰＢ，ＰＣからの光線のそれぞれの光強度ａ，ｂ，ｃと、それぞれの入射角度に応じた入射角指向性を示す係数α１，β１，γ１との積和により求められる。

同様に、画素Ｐｂの検出信号レベルＤＢは、式（２）に示されるように、画素Ｐｂにおける点光源ＰＡ，ＰＢ，ＰＣからの光線のそれぞれの光強度ａ，ｂ，ｃと、それぞれの入射角度に応じた入射角指向性を示す係数α２，β２，γ２との積和により求められる。また、画素Ｐｃの検出信号レベルＤＣは、式（３）に示されるように、画素Ｐａにおける点光源ＰＡ，ＰＢ，ＰＣからの光線のそれぞれの光強度ａ，ｂ，ｃと、それぞれの入射角度に応じた入射角指向性を示す係数α２，β２，γ２との積和により求められる。

ただし、画素Ｐａ，Ｐｂ，Ｐｃの検出信号レベルＤＡ、ＤＢ、ＤＣは、式（１）乃至式（３）に示されるように、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度ａ，ｂ，ｃが入り交じっている。従って、図３の右上に示されるように、撮像素子１２１における検出信号レベルは、被写体面１０２上の各点光源の光強度とは異なる。従って、撮像素子１２１により得られる画像は、被写体面１０２の像が結像されたものとは異なるものとなる。

一方、式（１）乃至式（３）からなる連立方程式を作成し、作成した連立方程式を解くことにより、各点光源ＰＡ乃至点光源ＰＣの光線の光強度ａ乃至光強度ｃが求められる。そして、求めた光強度ａ乃至光強度ｃに応じた画素値を有する画素を点光源ＰＡ乃至点光源ＰＣの配置（相対位置）に合わせて並べることにより、図３の右下に示されるように、被写体面１０２の像が結像された復元画像が復元される。

このようにして、撮像レンズ及びピンホールを必要とせず、各画素において入射角指向性を有する撮像素子１２１を実現することが可能となる。

以下、連立方程式を構成する式毎に係数をまとめたもの（例えば、係数α１、β１、γ１）を係数セットと称する。以下、連立方程式に含まれる複数の式に対応する複数の係数セットをまとめたもの（例えば、係数セットα１、β１、γ１、係数セットα２、β２、γ２、係数セットα３、β３、γ３）を係数セット群と称する。

ここで、被写体面１０２から撮像素子１２１の受光面までの被写体距離が異なると、被写体面１０２の各点光源からの光線の撮像素子１２１への入射角が異なるため、被写体距離毎に異なる係数セット群が必要となる。

従って、撮像部４１においては、撮像素子１２１からの被写体面までの距離（被写体距離）毎の係数セット群を予め用意しておき、被写体距離毎に係数セット群を切り替えて連立方程式を作成し、作成した連立方程式を解くことで、１個の検出画像に基づいて、様々な被写体距離の被写体面の復元画像を得ることが可能となる。例えば、検出画像を１回撮像し、記録した後、記録した検出画像を用いて、被写体面までの距離に応じて係数セット群を切り替えて、復元画像を復元することにより、任意の被写体距離の被写体面の復元画像を生成することが可能である。

また、同じ被写体距離の被写体面１０２であっても、設定する点光源の数や配置が異なると、各点光源からの光線の撮像素子１２１への入射角が異なる。従って、同じ被写体距離の被写体面１０２に対して、複数の係数セット群が必要となる場合がある。さらに、各画素１２１ａの入射角指向性は、上述した連立方程式の独立性を確保できるように設定する必要がある。

また、撮像素子１２１が出力する画像は、図３の右上に示されるように被写体の像が結像されていない検出信号により構成される画像となるので、目視により被写体を認識することができない。すなわち、撮像素子１２１が出力する検出信号からなる検出画像は、画素信号の集合ではあるが、ユーザが目視しても被写体を認識できない（被写体を視認不可能な）画像である。

そこで、以下、図３の右上に示されるように被写体の像が結像されていない検出信号より構成される画像、すなわち、撮像素子１２１により撮像される画像を、検出画像と称する。

なお、入射角指向性は必ずしも画素単位で全て異なる必要はなく、入射角指向性が同じ画素を含んでいてもよい。

復元部１２２は、例えば、図３における撮像素子１２１から被写体面１０２（復元画像に対応する被写体面）までの距離に相当する被写体距離に対応し、上述した係数α１乃至α３，β１乃至β３，γ１乃至γ３に相当する係数セット群を記憶部１２４から取得する。また、復元部１２２は、撮像素子１２１から出力される検出画像の各画素の検出信号レベルと、取得した係数セット群とを用いて、上述した式（１）乃至式（３）で示されるような連立方程式を作成する。そして、復元部１２２は、作成した連立方程式を解くことにより、図３の右下に示される被写体の像が結像された画像を構成する各画素の画素値を求める。これにより、ユーザが目視して被写体を認識できる（被写体を視認可能な）画像が検出画像から復元される。

以下、この検出画像から復元される画像を復元画像と称する。ただし、撮像素子１２１が紫外線などの視認可能な波長帯域以外の光のみに感度を有する場合、復元画像も通常の画像のように被写体を識別できるような画像とはならないが、この場合も復元画像と称する。

また、以下、被写体の像が結像された状態の画像である復元画像であって、デモザイク処理等の色分離や同時化処理前の画像をＲＡＷ画像と称し、撮像素子１２１により撮像された検出画像については、色フィルタの配列に従った画像ではあるが、ＲＡＷ画像ではないものとして区別する。

なお、撮像素子１２１の画素数と、復元画像を構成する画素の画素数とは、必ずしも同一である必要はない。

また、復元部１２２は、必要に応じて、復元画像に対してデモザイク処理、γ補正、ホワイトバランス調整、所定の圧縮形式への変換処理等を行う。そして、復元部１２２は、復元画像をバスＢ２に出力する。

制御部１２３は、例えば、各種のプロセッサを備え、撮像部４１の各部を制御したり、各種の処理を実行したりする。

記憶部１２４は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の記憶装置を１つ以上備え、例えば、撮像部４１の処理に用いられるプログラムやデータ等を記憶する。例えば、記憶部１２４は、様々な被写体距離に対応付けて、上述した係数α１乃至α３，β１乃至β３，γ１乃至γ３に相当する係数セット群を記憶している。より具体的には、例えば、記憶部１２４は、各被写体距離における被写体面１０２毎に、被写体面１０２上に設定した各点光源に対する撮像素子１２１の各画素１２１ａに対する係数を含む係数セット群を記憶している。

通信部１２５は、所定の通信方式により、フロントカメラＥＣＵ４２と通信を行う。

＜撮像素子１２１の第１の構成例＞
次に、図４及び図５を参照して、図２の撮像部４１の撮像素子１２１の第１の構成例について説明する。

図４は、撮像素子１２１の画素アレイ部の一部の正面図を示している。なお、図４においては、画素アレイ部の画素数が縦６画素×横６画素である場合の例を示しているが、画素アレイ部の画素数は、これに限るものではない。また、図４の画素アレイ部の構成例は、撮像素子１２１の第１の構成例を説明するためのものであり、実際の画素アレイ部の構成例については後述する。

図４の撮像素子１２１では、画素１２１ａ毎に、そのフォトダイオードの受光領域（受光面）の一部を覆うように変調素子の１つである遮光膜１２１ｂが設けられており、各画素１２１ａに入射する入射光が、入射角度に応じて光学的に変調される。そして、例えば、画素１２１ａ毎に異なる範囲に遮光膜１２１ｂを設けることにより、画素１２１ａ毎に入射光の入射角度に対する受光感度が異なるものとなり、各画素１２１ａが異なる入射角指向性を有するようになる。

例えば、画素１２１ａ−１と画素１２１ａ−２とでは、設けられている遮光膜１２１ｂ−１と遮光膜１２１ｂ−２とによりフォトダイオードの受光領域を遮光する範囲が異なる（遮光する領域（位置）、及び、遮光する面積の少なくともいずれかが異なる）。すなわち、画素１２１ａ−１においては、フォトダイオードの受光領域の左側の一部を所定の幅だけ遮光するように遮光膜１２１ｂ−１が設けられている。一方、画素１２１ａ−２においては、受光領域の右側の一部を所定の幅だけ遮光するように遮光膜１２１ｂ−２が設けられている。なお、遮光膜１２１ｂ−１がフォトダイオードの受光領域を遮光する幅と、遮光膜１２１ｂ−２がフォトダイオードの受光領域を遮光する幅とは、異なっていてもよいし、同じであってもよい。その他の画素１２１ａにおいても、同様に、遮光膜１２１ｂが、画素毎に受光領域の異なる範囲を遮光するように、画素アレイ部内でランダムに配置されている。

図５の上段は、撮像素子１２１の第１の構成例における側面断面図であり、図５の中段は、撮像素子１２１の第１の構成例における上面図である。また、図５の上段の側面断面図は、図５の中段におけるＡＢ断面となる。さらに、図５の下段は、撮像素子１２１の回路構成例である。

図５の上段の撮像素子１２１においては、図中の上方から下方に向けて入射光が入射する。隣接する画素１２１ａ−１，１２１ａ−２は、それぞれ図中の最下層に配線層Ｚ１２が設けられており、その上に光電変換層Ｚ１１が設けられている、いわゆる、裏面照射型である。

なお、以下、画素１２１ａ−１，１２１ａ−２を区別する必要がない場合、符号の末尾の数字の記載を省略し、単に、画素１２１ａと称する。以下、明細書内において、他の構成についても、同様に符号の末尾の数字やアルファベットを省略する場合がある。

また、図５は、撮像素子１２１の画素アレイ部を構成する２画素分の側面図および上面図のみを示しており、いうまでもなく、これ以上の数の画素１２１ａが配置されているが図示が省略されている。

さらに、画素１２１ａ−１，１２１ａ−２は、それぞれ光電変換層Ｚ１１に光電変換素子としてフォトダイオード１２１ｅ−１，１２１ｅ−２を備えている。また、フォトダイオード１２１ｅ−１，１２１ｅ−２の上には、それぞれ上からオンチップレンズ１２１ｃ−１，１２１ｃ−２、およびカラーフィルタ１２１ｄ−１，１２１ｄ−２が積層されている。

オンチップレンズ１２１ｃ−１，１２１ｃ−２は、入射光をフォトダイオード１２１ｅ−１，１２１ｅ−２上に集光させる。

カラーフィルタ１２１ｄ−１，１２１ｄ−２は、例えば、赤色、緑色、青色、赤外および白色等の特定の波長の光を透過させる光学フィルタである。なお、白色の場合、カラーフィルタ１２１ｄ−１，１２１ｄ−２は、透明のフィルタでもよいし、無くてもよい。

画素１２１ａ−１，１２１ａ−２の光電変換層Ｚ１１における、それぞれ画素間の境界には、遮光膜１２１ｇ−１乃至１２１ｇ−３が形成されており、例えば、図５に示されるように、入射光Ｌが隣接する画素に入射し、クロストークが発生するのを抑制する。

また、図５の上段及び中段に示されるように、遮光膜１２１ｂ−１，１２１ｂ−２が、上面から見て受光面Ｓの一部を遮光している。画素１２１ａ−１，１２１ａ−２におけるフォトダイオード１２１ｅ−１，１２１ｅ−２の受光面Ｓにおいては、遮光膜１２１ｂ−１，１２１ｂ−２により、それぞれ異なる範囲が遮光されており、これにより異なる入射角指向性が画素毎に独立に設定される。ただし、遮光される範囲は、撮像素子１２１の全画素１２１ａで異なっている必要はなく、一部で同一の範囲が遮光される画素１２１ａが存在していてもよい。

なお、図５の上段に示されるように、遮光膜１２１ｂ−１と遮光膜１２１ｇ−１とは互いに接続されており、側面から見てＬ字型に構成されている。同様に、遮光膜１２１ｂ−２と遮光膜１２１ｇ−２とは互いに接続されており、側面から見てＬ字型に構成されている。また、遮光膜１２１ｂ−１、遮光膜１２１ｂ−２、及び、遮光膜１２１ｇ−１乃至１２１ｇ−３は、金属により構成されており、例えば、タングステン（W）、アルミニウム（Al）、またはAlと銅（Cu）との合金により構成される。また、遮光膜１２１ｂ−１、遮光膜１２１ｂ−２、及び、遮光膜１２１ｇ−１乃至１２１ｇ−３は、半導体プロセスにおける配線が形成されるプロセスと同一のプロセスで、配線と同一の金属により同時に形成されるようにしてもよい。なお、遮光膜１２１ｂ−１、遮光膜１２１ｂ−２、及び、遮光膜１２１ｇ−１乃至１２１ｇ−３の膜厚は、位置に応じて同一の厚さにしなくてもよい。

また、図５の下段に示されるように、画素１２１ａは、フォトダイオード１６１（フォトダイオード１２１ｅに対応する）、転送トランジスタ１６２、ＦＤ（Floating Diffusion：フローティングディフュージョン）部１６３、選択トランジスタ１６４、増幅トランジスタ１６５、およびリセットトランジスタ１６６を備え、垂直信号線１６７を介して電流源１６８に接続されている。

フォトダイオード１６１は、アノード電極が接地され、カソード電極が、転送トランジスタ１６２を介して増幅トランジスタ１６５のゲート電極に接続されている。

転送トランジスタ１６２は、転送信号ＴＧに従って駆動する。例えば、転送トランジスタ１６２のゲート電極に供給される転送信号ＴＧがハイレベルになると、転送トランジスタ１６２はオンとなる。これにより、フォトダイオード１６１に蓄積されている電荷が転送トランジスタ１６２を介してＦＤ部１６３に転送される。

ＦＤ部１６３は、転送トランジスタ１６２と増幅トランジスタ１６５との間に設けられる電荷容量Ｃ１を有する浮遊拡散領域であり、転送トランジスタ１６２を介してフォトダイオード１６１から転送される電荷を一時的に蓄積する。ＦＤ部１６３は、電荷を電圧に変換する電荷検出部であって、ＦＤ部１６３に蓄積されている電荷が増幅トランジスタ１６５において電圧に変換される。

選択トランジスタ１６４は、選択信号ＳＥＬに従って駆動し、ゲート電極に供給される選択信号ＳＥＬがハイレベルになるとオンとなって、増幅トランジスタ１６５と垂直信号線１６７とを接続する。

増幅トランジスタ１６５は、フォトダイオード１６１での光電変換によって得られる信号を読み出す読出し回路であるソースフォロワの入力部となり、ＦＤ部１６３に蓄積されている電荷に応じたレベルの検出信号（画素信号）を垂直信号線１６７に出力する。すなわち、増幅トランジスタ１６５は、ドレイン端子が電源ＶＤＤに接続され、ソース端子が選択トランジスタ１６４を介して垂直信号線１６７に接続されることで、垂直信号線１６７の一端に接続される電流源１６８とソースフォロワを構成する。この検出信号の値（出力画素値）は、被写体からの入射光の入射角に応じて変調されており、入射角により特性（指向性）が異なる（入射角指向性を有する）。

リセットトランジスタ１６６は、リセット信号ＲＳＴに従って駆動する。例えば、リセットトランジスタ１６６は、ゲート電極に供給されるリセット信号ＲＳＴがハイレベルになるとオンとなり、ＦＤ部１６３に蓄積されている電荷を電源ＶＤＤに排出して、ＦＤ部１６３をリセットする。

なお、各画素１２１ａの遮光膜１２１ｂの形状は、図４の例に限定されるものではなく、任意の形状に設定することが可能である。例えば、図４の水平方向に延びる形状、垂直方向及び水平方向に延びるＬ字型の形状、矩形の開口部が設けられた形状等にすることが可能である。

＜撮像素子１２１の第２の構成例＞
図６は、撮像素子１２１の第２の構成例を示す図である。図６の上段には、第２の構成例である撮像素子１２１の画素１２１ａの側面断面図が示されており、図６の中段には、撮像素子１２１の上面図が示されている。また、図６の上段の側面断面図は、図６の中段におけるＡＢ断面となる。さらに、図６の下段は、撮像素子１２１の回路構成例である。

図６の撮像素子１２１は、１つの画素１２１ａに４つのフォトダイオード１２１ｆ−１乃至１２１ｆ−４が形成され、遮光膜１２１ｇがフォトダイオード１２１ｆ−１乃至１２１ｆ−４同士を分離する領域に形成されている点で、図５の撮像素子１２１と異なる構成となっている。即ち、図６の撮像素子１２１では、遮光膜１２１ｇは、上面から見て「＋」形状に形成されている。なお、それらの共通の構成については図５と同一の符号を付しており、詳細な説明は省略する。

図６の撮像素子１２１では、遮光膜１２１ｇによりフォトダイオード１２１ｆ−１乃至１２１ｆ−４が分離されることによって、フォトダイオード１２１ｆ−１乃至１２１ｆ−４間の電気的および光学的なクロストークの発生が防止される。すなわち、図６の遮光膜１２１ｇは、図５の撮像素子１２１の遮光膜１２１ｇと同様にクロストークを防止するためのものであって、入射角指向性を与えるためのものではない。

また、図６の撮像素子１２１では、１個のＦＤ部１６３が４個のフォトダイオード１２１ｆ−１乃至１２１ｆ−４で共有される。図６の下段は、１個のＦＤ部１６３を４個のフォトダイオード１２１ｆ−１乃至１２１ｆ−４で共有するようにした回路構成例を示している。なお、図６の下段において、図５の下段と同一の構成については、その説明を省略する。

図６の下段において、図５の下段の回路構成と異なる点は、フォトダイオード１６１（図５の上段におけるフォトダイオード１２１ｅに対応する）および転送トランジスタ１６２に代えて、フォトダイオード１６１−１乃至１６１−４（図６の上段におけるフォトダイオード１２１ｆ−１乃至１２１ｆ−４に対応する）および転送トランジスタ１６２−１乃至１６２−４を設け、ＦＤ部１６３を共有する構成としている点である。

このような構成により、フォトダイオード１２１ｆ−１乃至１２１ｆ−４に蓄積された電荷は、フォトダイオード１２１ｆ−１乃至１２１ｆ−４と増幅トランジスタ１６５のゲート電極との接続部に設けられる所定の容量を有する共通のＦＤ部１６３に転送される。そして、ＦＤ部１６３に保持されている電荷のレベルに応じた信号が検出信号（画素信号）として読み出される。

このため、フォトダイオード１２１ｆ−１乃至１２１ｆ−４で蓄積された電荷を様々な組み合わせで選択的に画素１２１ａの出力、すなわち検出信号に寄与させることができる。すなわち、フォトダイオード１２１ｆ−１乃至１２１ｆ−４毎に独立して電荷を読み出すことができる構成とし、出力に寄与するフォトダイオード１２１ｆ−１乃至１２１ｆ−４（フォトダイオード１２１ｆ−１乃至１２１ｆ−４が出力に寄与する度合い）を互いに異ならせることで、異なる入射角指向性を得ることができる。

例えば、フォトダイオード１２１ｆ−１とフォトダイオード１２１ｆ−３の電荷をＦＤ部１６３に転送し、それぞれを読み出して得られる信号を加算することにより、左右方向の入射角指向性を得ることができる。同様に、フォトダイオード１２１ｆ−１とフォトダイオード１２１ｆ−２の電荷をＦＤ部１６３に転送し、それぞれを読み出して得られる信号を加算することにより、上下方向の入射角指向性を得ることができる。

また、４つのフォトダイオード１２１ｆ−１乃至１２１ｆ−４から独立して選択的に読み出される電荷に基づいて得られる信号は、検出画像を構成する１画素分に相当する検出信号となる。

なお、各フォトダイオード１２１ｆ（の電荷）の検出信号への寄与は、例えば、各フォトダイオード１２１ｆの電荷（検出値）をＦＤ部１６３に転送するか否かだけでなく、電子シャッタ機能を用いてＦＤ部１６３への転送前にフォトダイオード１２１ｆに蓄積された電荷をリセットすること等でも実現することができる。例えば、ＦＤ部１６３への転送直前にフォトダイオード１２１ｆの電荷をリセットすれば、そのフォトダイオード１２１ｆは、検出信号に全く寄与しない状態となる。一方、フォトダイオード１２１ｆの電荷をリセットとＦＤ部１６３への電荷の転送との間に時間を持たせることにより、そのフォトダイオード１２１ｆは、部分的に検出信号に寄与する状態となる。

以上のように、図６の撮像素子１２１の場合、４つのフォトダイオード１２１ｆ−１乃至１２１ｆ−４のうち、検出信号に用いるものの組み合わせを変更することで、画素毎に異なる入射角指向性を持たせることができる。また、図６の撮像素子１２１の各画素１２１ａから出力される検出信号は、被写体からの入射光の入射角に応じて変調された値（出力画素値）となり、入射角により特性（指向性）が異なる（入射角指向性を有する）。

なお、図６の撮像素子１２１では、入射光が光学的に変調されずに全てのフォトダイオード１２１ｆ−１乃至１２１ｆ−４に入射されるため、検出信号は、光学的な変調により得られる信号ではない。また、以降において、検出信号に寄与しないフォトダイオード１２１ｆのことを、画素又は出力に寄与しないフォトダイオード１２１ｆとも称する。

また、図６には、画素（画素１２１ａ）の受光面を４等分して、各領域にそれぞれ受光面が同じ大きさのフォトダイオード１２１ｆを配置した例、すなわち、フォトダイオードを４等分した例を示しているが、フォトダイオードの分割数や分割位置は任意に設定することが可能である。

例えば、フォトダイオードを必ずしも等分する必要はなく、画素毎にフォトダイオードの分割位置を異ならせてもよい。これにより、例えば、複数の画素間で同じ位置のフォトダイオード１２１ｆを出力に寄与させるようにしたとしても、画素間で入射角指向性が異なるようになる。また、例えば、画素間で分割数を異なるものとすることにより、より自由に入射角指向性を設定することが可能になる。さらに、例えば、画素間で分割数及び分割位置の両方を異ならせるようにしてもよい。

また、図５の撮像素子１２１及び図６の撮像素子１２１のいずれも、各画素が入射角指向性を独立に設定可能な構成を有している。なお、図５の撮像素子１２１では、各画素の入射角指向性が、遮光膜１２１ｂにより製造時に設定される。一方、図６の撮像素子１２１では、各画素のフォトダイオードの分割数や分割位置は製造時に設定されるが、各画素の入射角指向性（出力に寄与させるフォトダイオードの組合せ）は使用時（例えば、撮像時）に設定することができる。なお、図５の撮像素子１２１及び図６の撮像素子１２１のいずれにおいても、必ずしも全ての画素が、入射角指向性を持たせる構成を備える必要はない。

なお、以下、図５の撮像素子１２１において、各画素１２１ａの遮光膜１２１ｂの形状を遮光パターンと称する。また、以下、図６の撮像素子１２１において、各画素１２１ａ内の出力に寄与しないフォトダイオード１２１ｆの領域の形状を遮光パターンと称する。

＜撮像素子１２１の基本特性等について＞
次に、図７乃至図１４を参照して、撮像素子１２１の基本特性等について説明する。

＜入射角指向性を生じさせる原理について＞
撮像素子１２１の各画素の入射角指向性は、例えば、図７に示されるような原理により発生する。なお、図７の左上部および右上部は、図５の撮像素子１２１における入射角指向性の発生原理を説明する図であり、図７の左下部および右下部は、図６の撮像素子１２１における入射角指向性の発生原理を説明する図である。

図７の左上部および右上部の画素は、いずれも１個のフォトダイオード１２１ｅを備える。これに対して、図７の左下部および右下部の画素は、いずれも２個のフォトダイオード１２１ｆを備える。なお、ここでは、１画素が２個のフォトダイオード１２１ｆを備える例を示しているが、これは説明の便宜上であり、１画素が備えるフォトダイオード１２１ｆの数は、その他の個数であってもよい。

図７の左上部の画素においては、フォトダイオード１２１ｅ−１１の受光面の右半分を遮光するように遮光膜１２１ｂ−１１が形成されている。また、図７の右上部の画素においては、フォトダイオード１２１ｅ−１２の受光面の左半分を遮光するように遮光膜１２１ｂ−１２が形成されている。なお、図中の一点鎖線は、フォトダイオード１２１ｅの受光面の水平方向の中心を通り、受光面に対して垂直な補助線である。

例えば、図７の左上部の画素においては、図中の一点鎖線に対して入射角θ１を成す右上方向からの入射光は、フォトダイオード１２１ｅ−１１の遮光膜１２１ｂ−１１により遮光されていない左半分の範囲により受光され易い。これに対して、図中の一点鎖線に対して入射角θ２を成す左上方向からの入射光は、フォトダイオード１２１ｅ−１１の遮光膜１２１ｂ−１１により遮光されていない左半分の範囲により受光されにくい。したがって、図７の左上部の画素は、図中の右上方からの入射光に対して受光感度が高く、左上方からの入射光に対して受光感度が低い入射角指向性を備えることになる。

一方、例えば、図７の右上部の画素においては、入射角θ１を成す右上方向からの入射光は、フォトダイオード１２１ｅ−１２の遮光膜１２１ｂ−１２により遮光されている左半分の範囲により受光されにくい。これに対して、入射角θ２を成す左上方向からの入射光は、フォトダイオード１２１ｅ−１２の遮光膜１２１ｂ−１２により遮光されていない右半分の範囲により受光され易い。したがって、図７の右上部の画素は、図中の右上方からの入射光に対して受光感度が低く、左上方からの入射光に対して受光感度が高い入射角指向性を備えることになる。

また、図７の左下部の画素は、図中の左右にフォトダイオード１２１ｆ−１１，１２１ｆ−１２が設けられており、いずれか一方の検出信号を読み出すようにすることで、遮光膜１２１ｂを設けることなく入射角指向性を有する構成とされている。

すなわち、図７の左下部の画素では、図中の左側に設けられたフォトダイオード１２１ｆ−１１の信号のみを読み出すようにすることで、図７の左上部の画素と同様の入射角指向性を得ることができる。すなわち、図中の一点鎖線に対して入射角θ１を成す右上方向からの入射光は、フォトダイオード１２１ｆ−１１に入射し、受光量に対応する信号がフォトダイオード１２１ｆ−１１から読み出されるため、この画素から出力される検出信号に寄与する。これに対して、図中の一点鎖線に対して入射角θ２を成す左上方向からの入射光は、フォトダイオード１２１ｆ−１２に入射するが、フォトダイオード１２１ｆ−１２から読み出されないため、この画素から出力される検出信号に寄与しない。

同様に、図７の右下部の画素のように、２個のフォトダイオード１２１ｆ−１３，１２１ｆ−１４を備える場合、図中の右側に設けられたフォトダイオード１２１ｆ−１４の信号のみを読み出すようにすることで、図７の右上部の画素と同様の入射角指向性を得ることができる。すなわち、入射角θ１を成す右上方向からの入射光は、フォトダイオード１２１ｆ−１３に入射するが、フォトダイオード１２１ｆ−１３から信号が読み出されないため、この画素から出力される検出信号に寄与しない。これに対して、入射角θ２を成す左上方向からの入射光は、フォトダイオード１２１ｆ−１４に入射し、受光量に対応する信号がフォトダイオード１２１ｆ−１４から読み出されるため、この画素から出力される検出信号に寄与する。

なお、図７の上部の画素においては、画素（フォトダイオード１２１ｅの受光面）の水平方向の中心位置で遮光される範囲と遮光されない範囲が分かれる例を示したが、その他の位置で分かれるようにしてもよい。また、図７の下部の画素においては、画素の水平方向の中心位置で、２つのフォトダイオード１２１ｆが分かれる例を示したが、その他の位置で分かれるようにしてもよい。このように、遮光範囲又はフォトダイオード１２１ｆが分かれる位置を変えることにより、異なる入射角指向性を生じさせることができる。

＜オンチップレンズを含む構成における入射角指向性について＞
次に、図８を参照して、オンチップレンズ１２１ｃを含めた構成における入射角指向性について説明する。

図８の上段のグラフは、図８の中段及び下段の画素の入射角指向性を示している。なお、横軸が入射角度θであり、縦軸が検出信号レベルを示している。なお、入射角度θは、入射光の方向が、図８の中段左側の一点鎖線と一致する場合を０度とし、図８の中段左側の入射角度θ２１側を正の方向とし、図８の中段右側の入射角度θ２２側を負の方向とする。したがって、オンチップレンズ１２１ｃに対して、右上方より入射する入射光については、左上方より入射する入射光よりも入射角度が大きくなる。すなわち入射角度θは、入射光の進行方向が左に傾くほど大きくなり（正の方向に大きくなり）、右に傾くほど小さくなる（負の方向に大きくなる）。

また、図８の中段左部の画素は、図７の上段左部の画素に、入射光を集光するオンチップレンズ１２１ｃ−１１、及び、所定の波長の光を透過させるカラーフィルタ１２１ｄ−１１を追加したものである。すなわち、この画素では、オンチップレンズ１２１ｃ−１１、カラーフィルタ１２１ｄ−１１、遮光膜１２１ｂ−１１、フォトダイオード１２１ｅ−１１が、図中上方の光の入射方向から順に積層されている。

同様に、図８の中段右部の画素、図８の下段左部の画素、及び、図８の下段右部の画素は、それぞれ、図７の上段右部の画素、図７の下段左部の画素、及び、図７の下段右部の画素に、オンチップレンズ１２１ｃ−１１及びカラーフィルタ１２１ｄ−１１、又は、オンチップレンズ１２１ｃ−１２及びカラーフィルタ１２１ｄ−１２を追加したものである。

図８の中段左部の画素では、図８の上段の実線の波形で示されるように、入射光の入射角度θに応じてフォトダイオード１２１ｅ−１１の検出信号レベル（受光感度）が変化する。すなわち、図中の一点鎖線に対して入射光のなす角である入射角度θが大きいほど（入射角度θが正の方向に大きいほど（図中の右方向に傾くほど））、遮光膜１２１ｂ−１１が設けられていない範囲に光が集光されることで、フォトダイオード１２１ｅ−１１の検出信号レベルが大きくなる。逆に、入射光の入射角度θが小さいほど（入射角度θが負の方向に大きいほど（図中の左方向に傾くほど））、遮光膜１２１ｂ−１１が設けられている範囲に光が集光されることで、フォトダイオード１２１ｅ−１１の検出信号レベルが小さくなる。

また、図８の中段右部の画素では、図８の上段の点線の波形で示されるように、入射光の入射角度θに応じてフォトダイオード１２１ｅ−１２の検出信号レベル（受光感度）が変化する。すなわち、入射光の入射角度θが大きいほど（入射角度θが正の方向に大きいほど）、遮光膜１２１ｂ−１２が設けられている範囲に光が集光されることで、フォトダイオード１２１ｅ−１２の検出信号レベルが小さくなる。逆に、入射光の入射角度θが小さいほど（入射角度θが負の方向に大きいほど）、遮光膜１２１ｂ−１２が設けられていない範囲に光が入射することで、フォトダイオード１２１ｅ−１２の検出信号レベルが大きくなる。

この図８の上段に示される実線および点線の波形は、遮光膜１２１ｂの範囲に応じて変化させることができる。従って、遮光膜１２１ｂの範囲により、画素単位で相互に異なる入射角指向性を持たせることが可能となる。

上述したように、入射角指向性とは、入射角度θに応じた各画素の受光感度の特性であるが、これは、図８の中段の画素では、入射角度θに応じた遮光値の特性であるとも言える。すなわち、遮光膜１２１ｂは、特定の方向の入射光は高いレベルで遮光するが、それ以外の方向からの入射光は十分に遮光できない。この遮光できるレベルの変化が、図８の上段に示されるような入射角度θに応じた異なる検出信号レベルを生じさせる。したがって、各画素において最も高いレベルで遮光可能な方向を各画素の遮光方向と定義すると、画素単位で相互に異なる入射角指向性を持つということは、換言すれば、画素単位で相互に異なる遮光方向を持つということになる。

また、図８の下段左部の画素では、図７の下段左部の画素と同様に、図中左部のフォトダイオード１２１ｆ−１１のみの信号を用いるようにすることで、図８の中段左部の画素と同様の入射角指向性を得ることができる。すなわち、入射光の入射角度θが大きくなると（入射角度θが正の方向に大きくなると）、信号が読み出されるフォトダイオード１２１ｆ−１１の範囲に光が集光されることで、検出信号レベルが大きくなる。逆に、入射光の入射角度θが小さいほど（入射角度θが負の方向に大きいほど）、信号が読み出されないフォトダイオード１２１ｆ−１２の範囲に光が集光されることで、検出信号レベルが小さくなる。

また、同様に、図８の下段右部の画素では、図７の下段右部の画素と同様に、図中右部のフォトダイオード１２１ｆ−１４のみの信号を用いるようにすることで、図８の中段右部の画素と同様の入射角指向性を得ることができる。すなわち、入射光の入射角度θが大きくなると（入射角度θが正の方向に大きくなると）、出力（検出信号）に寄与しないフォトダイオード１２１ｆ−１３の範囲に光が集光されることで、画素単位の検出信号のレベルが小さくなる。逆に、入射光の入射角度θが小さいほど（入射角度θが負の方向に大きいほど）、出力（検出信号）に寄与するフォトダイオード１２１ｆ−１４の範囲に光が集光されることで、画素単位の検出信号のレベルが大きくなる。

ここで、画素１２１ａの入射角指向性の重心を以下のように定義する。

入射角指向性の重心は、画素１２１ａの受光面に入射する入射光の強度の分布の重心である。画素１２１ａの受光面は、図８の中段の画素１２１ａでは、フォトダイオード１２１ｅの受光面となり、図８の下段の画素１２１ａでは、フォトダイオード１２１ｆの受光面となる。

例えば、図８の上段のグラフの縦軸の検出信号レベルをａ（θ）とし、次式（４）により算出される入射角θｇの光線を重心光線とする。

θｇ＝Σ（ａ（θ）×θ）／Σａ（θ） ・・・（４）

そして、重心光線が画素１２１ａの受光面と交わる点が、画素１２１ａの入射角指向性の重心となる。

また、図８の下段の画素のように、画素内に複数のフォトダイオードを設け、出力に寄与するフォトダイオードを変更可能な画素において、各フォトダイオードに入射光の入射角に対する指向性を持たせ、画素単位での入射角指向性を生じさせるために、各画素にオンチップレンズ１２１ｃが必須構成となる。

なお、以下の説明では、図５の画素１２１ａのように、遮光膜１２１ｂを用いて入射角指向性を実現する画素１２１ａを用いる場合の例を中心に説明する。ただし、遮光膜１２１ｂが必須となる場合を除いて、基本的にフォトダイオードを分割して入射角指向性を実現する画素１２１ａを用いることも可能である。

＜遮光範囲と画角の関係について＞
次に、図９及び図１４を参照して、画素１２１ａの遮光範囲と画角の関係について説明する。

例えば、図９の上段に示されるように、４辺のそれぞれの端部から幅ｄ１だけ遮光膜１２１ｂにより遮光されている画素１２１ａと、図９の下段に示されるように、４辺のそれぞれの端部から幅ｄ２（＞ｄ１）だけ遮光膜１２１ｂにより遮光されている画素１２１ａ’とを考える。

図１０は、撮像素子１２１の中心位置Ｃ１への被写体面１０２からの入射光の入射角度の例を示している。なお、図１０においては、水平方向の入射光の入射角度の例を示しているが、垂直方向についてもほぼ同様となる。また、図１０の右部には、図９における画素１２１ａ，１２１ａ’が示されている。

例えば、図９の画素１２１ａが撮像素子１２１の中心位置Ｃ１に配置されている場合、被写体面１０２から画素１２１ａへの入射光の入射角の範囲は、図１０の左部に示されるように角度Ａ１となる。従って、画素１２１ａは、被写体面１０２の水平方向の幅Ｗ１分の入射光を受光することができる。

これに対して、図９の画素１２１ａ’が撮像素子１２１の中心位置Ｃ１に配置されている場合、画素１２１ａ’は画素１２１ａよりも遮光される範囲が広いため、被写体面１０２から画素１２１ａ’への入射光の入射角の範囲は、図１０の左部に示されるように角度Ａ２（＜Ａ１）となる。従って、画素１２１ａ’は、被写体面１０２の水平方向の幅Ｗ２（＜Ｗ１）分の入射光を受光することができる。

つまり、遮光範囲が狭い画素１２１ａは、被写体面１０２上の広い範囲を撮像するのに適した広画角画素であるのに対して、遮光範囲が広い画素１２１ａ’は、被写体面１０２上の狭い範囲を撮像するのに適した狭画角画素である。なお、ここでいう広画角画素および狭画角画素は、図９の画素１２１ａ，１２１ａ’の両者を比較する表現であって、その他の画角の画素を比較する上ではこの限りではない。

従って、例えば、画素１２１ａは、図９の画像Ｉ１を復元するために用いられる。画像Ｉ１は、図１１の上段の被写体となる人物Ｈ１０１の全体を含み、被写体幅Ｗ１に対応する画角ＳＱ１の画像である。これに対して、例えば、画素１２１ａ’は、図９の画像Ｉ２を復元するために用いられる。画像Ｉ２は、図１１の上段の人物Ｈ１０１の顔の周辺がズームアップされた被写体幅Ｗ２に対応する画角ＳＱ２の画像である。

また、例えば、図１１の下段に示されるように、撮像素子１２１の点線で囲まれた範囲ＺＡに、図９の画素１２１ａを、一点鎖線で囲まれた範囲ＺＢに画素１２１ａ’を、それぞれ所定画素数ずつ集めて配置することが考えられる。そして、例えば、被写体幅Ｗ１に対応する画角ＳＱ１の画像を復元するときには、範囲ＺＡ内の各画素１２１ａの検出信号を用いるようにすることで、適切に画角ＳＱ１の画像を復元することができる。一方、被写体幅Ｗ２に対応する画角ＳＱ２の画像を復元するときには、範囲ＺＢ内の各画素１２１ａ’の検出信号を用いるようにすることで、適切に画角ＳＱ２の画像を復元することができる。

なお、画角ＳＱ２は、画角ＳＱ１よりも狭いので、画角ＳＱ２と画角ＳＱ１の画像を同一の画素数で復元する場合、画角ＳＱ１の画像よりも、画角ＳＱ２の画像を復元する方が、より高画質な復元画像を得ることができる。

つまり、同一画素数を用いて復元画像を得ることを考えた場合、より画角の狭い画像を復元する方が、より高画質な復元画像を得ることができる。

例えば、図１２の右部は、図１１の撮像素子１２１の範囲ＺＡ内の構成例を示している。図１２の左部は、範囲ＺＡ内の画素１２１ａの構成例を示している。

図１２において、黒色で示された範囲が遮光膜１２１ｂであり、各画素１２１ａの遮光範囲は、例えば、図１２の左部に示される規則に従って決定される。

図１２の左部の主遮光部Ｚ１０１（図１２の左部の黒色部）は、各画素１２１ａにおいて共通に遮光される範囲である。具体的には、主遮光部Ｚ１０１は、画素１２１ａの左辺及び右辺から画素１２１ａ内に向かって、それぞれ幅ｄｘ１の範囲、並びに、画素１２１ａの上辺及び下辺から画素１２１ａ内に向かって、それぞれ高さｄｙ１の範囲である。そして、各画素１２１ａにおいて、主遮光部Ｚ１０１の内側の範囲Ｚ１０２内に、遮光膜１２１ｂにより遮光されない矩形の開口部Ｚ１１１が設けられる。従って、各画素１２１ａにおいて、開口部Ｚ１１１以外の範囲が、遮光膜１２１ｂにより遮光される。

ここで、各画素１２１ａの開口部Ｚ１１１は規則的に配置されている。具体的には、各画素１２１ａ内における開口部Ｚ１１１の水平方向の位置は、同じ垂直方向の列の画素１２１ａ内において同一になる。また、各画素１２１ａ内における開口部Ｚ１１１の垂直方向の位置は、同じ水平方向の行の画素１２１ａ内において同一になる。

一方、各画素１２１ａ内における開口部Ｚ１１１の水平方向の位置は、画素１２１ａの水平方向の位置に応じて所定の間隔でずれている。すなわち、画素１２１ａの位置が右方向に進むに従って、開口部Ｚ１１１の左辺が、画素１２１ａの左辺からそれぞれ幅ｄｘ１、ｄｘ２、・・・、ｄｘｎだけ右方向にずれた位置に移動する。幅ｄｘ１と幅ｄｘ２の間隔、幅ｄｘ２と幅ｄｘ３の間隔、・・・、幅ｄｘｎ−１と幅ｄｘｎの間隔は、それぞれ範囲Ｚ１０２の水平方向の幅から開口部Ｚ１１１の幅を引いた長さを水平方向の画素数ｎ−１で割った値となる。

また、各画素１２１ａ内における開口部Ｚ１１１の垂直方向の位置は、画素１２１ａの垂直方向の位置に応じて所定の間隔でずれている。すなわち、画素１２１ａの位置が下方向に進むに従って、開口部Ｚ１１１の上辺が、画素１２１ａの上辺からそれぞれ高さｄｙ１、ｄｙ２、・・・、ｄｙｎだけ下方向にずれた位置に移動する。高さｄｙ１と高さｄｙ２の間隔、高さｄｙ２と高さｄｙ３の間隔、・・・、高さｄｙｎ−１と高さｄｙｎの間隔は、それぞれ範囲Ｚ１０２の垂直方向の高さから開口部Ｚ１１１の高さを引いた長さを垂直方向の画素数ｍ−１で割った値となる。

図１３の右部は、図１１の撮像素子１２１の範囲ＺＢ内の構成例を示している。図１３の左部は、範囲ＺＢ内の画素１２１ａ’の構成例を示している。

図１３において、黒色で示された範囲が遮光膜１２１ｂ’であり、各画素１２１ａ’の遮光範囲は、例えば、図１３の左部に示される規則に従って決定される。

図１３の左部の主遮光部Ｚ１５１（図１３に左部の黒色部）は、各画素１２１ａ’において共通に遮光される範囲である。具体的には、主遮光部Ｚ１５１は、画素１２１ａ’の左辺及び右辺から画素１２１ａ’内に向かって、それぞれ幅ｄｘ１’の範囲、並びに、画素１２１ａ’の上辺及び下辺から画素１２１ａ’内に向かって、それぞれ高さｄｙ１’の範囲である。そして、各画素１２１ａ’において、主遮光部Ｚ１５１の内側の範囲Ｚ１５２内に、遮光膜１２１ｂ’により遮光されない矩形の開口部Ｚ１６１が設けられる。従って、各画素１２１ａ’において、開口部Ｚ１６１以外の範囲が、遮光膜１２１ｂ’により遮光される。

ここで、各画素１２１ａ’の開口部Ｚ１６１は、図１２の各画素１２１ａの開口部Ｚ１１１と同様に、規則的に配置されている。具体的には、各画素１２１ａ’内における開口部Ｚ１６１の水平方向の位置は、同じ垂直方向の列の画素１２１ａ’内において同一になる。また、各画素１２１ａ’内における開口部Ｚ１６１の垂直方向の位置は、同じ水平方向の行の画素１２１ａ’内において同一になる。

一方、各画素１２１ａ’内における開口部Ｚ１６１の水平方向の位置は、画素１２１ａ’の水平方向の位置に応じて所定の間隔でずれている。すなわち、画素１２１ａ’の位置が右方向に進むに従って、開口部Ｚ１６１の左辺が、画素１２１ａ’の左辺からそれぞれ幅ｄｘ１’、ｄｘ２’、・・・、ｄｘｎ’だけ右方向にずれた位置に移動する。幅ｄｘ１’と幅ｄｘ２’の間隔、幅ｄｘ２’と幅ｄｘ３’の間隔、・・・、幅ｄｘｎ−１’と幅ｄｘｎ’の間隔は、それぞれ範囲Ｚ１５２の水平方向の幅から開口部Ｚ１６１の幅を引いた長さを水平方向の画素数ｎ−１で割った値となる。

また、各画素１２１ａ’内における開口部Ｚ１６１の垂直方向の位置は、画素１２１ａ’の垂直方向の位置に応じて所定の間隔でずれている。すなわち、画素１２１ａ’の位置が下方向に進むに従って、開口部Ｚ１６１の上辺が、画素１２１ａ’の上辺からそれぞれ高さｄｙ１’，ｄｙ２’、・・・、ｄｙｎ’だけ下方向にずれた位置に移動する。高さｄｙ１’と高さｄｙ２’の間隔、高さｄｙ２’と高さｄｙ３’の間隔、・・・、高さｄｙｎ−１’と高さｄｙｎ’の間隔は、それぞれ範囲Ｚ１５２の垂直方向の高さから開口部Ｚ１６１の高さを引いた長さを垂直方向の画素数ｍ−１で割った値となる。

ここで、図１２の画素１２１ａの範囲Ｚ１０２の水平方向の幅から開口部Ｚ１１１の幅を引いた長さは、図１３の画素１２１ａ’の範囲Ｚ１５２の水平方向の幅から開口部Ｚ１６１の幅を引いた幅より大きくなる。従って、図１２の幅ｄｘ１、ｄｘ２・・・ｄｘｎの変化の間隔は、図１３の幅ｄｘ１’、ｄｘ２’・・・ｄｘｎ’の変化の間隔より大きくなる。

また、図１２の画素１２１ａの範囲Ｚ１０２の垂直方向の高さから開口部Ｚ１１１の高さを引いた長さは、図１３の画素１２１ａ’の範囲Ｚ１５２の垂直方向の高さから開口部Ｚ１６１の高さを引いた長さより大きくなる。従って、図１２の高さｄｙ１、ｄｙ２・・・ｄｙｎの変化の間隔は、図１３の高さｄｙ１’、ｄｙ２’・・・ｄｙｎ’の変化の間隔より大きくなる。

このように、図１２の各画素１２１ａの遮光膜１２１ｂの開口部Ｚ１１１の水平方向および垂直方向の位置の変化の間隔と、図１３の各画素１２１ａ’の遮光膜１２１ｂ’の開口部Ｚ１６１の水平方向および垂直方向の位置の変化の間隔とは異なる。そして、この間隔の違いが、復元画像における被写体分解能（角度分解能）の違いとなる。すなわち、図１３の各画素１２１ａ’の遮光膜１２１ｂ’の開口部Ｚ１６１の水平方向および垂直方向の位置の変化の間隔の方が、図１２の各画素１２１ａの遮光膜１２１ｂの開口部Ｚ１１１の水平方向および垂直方向の位置の変化の間隔より狭くなる。従って、図１３の各画素１２１ａ’の検出信号を用いて復元される復元画像は、図１２の各画素１２１ａの検出信号を用いて復元される復元画像より、被写体分解能が高くなり、高画質となる。

このように、主遮光部の遮光範囲と開口部の開口範囲との組み合わせを変化させることで、様々な画角の（様々な入射角指向性を持った）画素からなる撮像素子１２１を実現することが可能となる。

なお、以上においては、画素１２１ａと画素１２１ａ’を範囲ＺＡと範囲ＺＢに分けて配置する例を示したが、これは説明を簡単にするためであり、異なる画角に対応する画素１２１ａが同じ領域内に混在して配置されることが望ましい。

例えば、図１４に示されるように、点線で示される２画素×２画素からなる４画素を１個の単位Ｕとして、それぞれの単位Ｕが、広画角の画素１２１ａ−Ｗ、中画角の画素１２１ａ−Ｍ、狭画角の画素１２１ａ−Ｎ、極狭画角の画素１２１ａ−ＡＮの４画素から構成されるようにする。

この場合、例えば、全画素１２１ａの画素数がＸである場合、４種類の画角ごとにＸ／４画素ずつの検出画像を用いて復元画像を復元することが可能となる。この際、画角毎に異なる４種類の係数セット群が使用されて、４種類の異なる連立方程式により、それぞれ異なる画角の復元画像が復元される。

従って、復元する復元画像の画角の撮像に適した画素から得られる検出画像を用いて復元画像を復元することで、４種類の画角に応じた適切な復元画像を得ることが可能となる。

また、４種類の画角の中間の画角や、その前後の画角の画像を、４種類の画角の画像から補間生成するようにしてもよく、様々な画角の画像をシームレスに生成することで、疑似的な光学ズームを実現するようにしてもよい。

なお、例えば、画角の広い画像を復元画像として得る場合、広画角画素を全て用いるようにしてもよいし、広画角画素の一部を用いるようにしてもよい。また、例えば、画角の狭い画像を復元画像として得る場合、狭画角画素を全て用いるようにしてもよいし、狭画角画素の一部を用いるようにしてもよい。

＜フロントカメラモジュール２１の実装例＞
次に、図１５乃至図１７を参照して、フロントカメラモジュール２１の実装例について説明する。

＜フロントカメラモジュール２１のハードウエア構成例＞
図１５は、フロントカメラモジュール２１のハードウエアの構成例を示している。

図１５のフロントカメラモジュール２１では、ＬＬＣチップ２０２及び信号処理チップ２０３の２つの半導体チップが、同じ基板２０１上に実装されている。

ＬＬＣチップ２０２は、図１の撮像部４１を備える半導体チップである。

信号処理チップ２０３は、図１のフロントカメラＥＣＵ４２及びＭＣＵ４３を備える半導体チップである。

このように、ＬＬＣチップ２０２と信号処理チップ２０３を同一の基板２０１に配置することにより、フレキシブル基板が不要となり、不要輻射が低減される。

＜フロントカメラモジュール２１の取付方法＞
次に、図１６及び図１７を参照して、フロントカメラモジュール２１の取付方法の例について説明する。図１６は、フロントカメラモジュール２１が取り付けられている車両のウインドシールド２２１を横から見た図であり、図１７は、ウインドシールド２２１を正面から見た図である。

フロントカメラモジュール２１は、ブラケット２２２を用いて、ＬＬＣチップ２０２が実装されている面がウインドシールド２２１の車内側の面に沿うように、脱着可能に取り付けられている。これにより、ＬＬＣチップ２０２の表面に設けられている撮像素子１２１の受光面が、ウインドシールド２２１の車内側の面に対向し、かつ、接触又は近接し、ウインドシールド２２１の車内側の面に対して略平行になる。

従って、撮像素子１２１の受光面とウインドシールド２２１との間の空間がなくなるか、又は、非常に狭くなる。その結果、入射光の反射によるウインドシールド２２１の映り込みや、撮像素子１２１の受光面とウインドシールド２２１との間の結露の発生が防止される。

また、フロントカメラモジュール２１は、ケーブル２２３を介して、車載システム１１のバスＢ１に接続される。

なお、フロントカメラモジュール２１は、車両の運転者等の搭乗者の視界を遮らない位置に設置することが望ましい。また、図１７に示されるように、フロントカメラモジュール２１は、車両のワイパ（不図示）によりウインドシールド２２１の水滴が除去される領域Ｗ１又は領域Ｗ２と重なる位置に設置されることが望ましい。例えば、フロントカメラモジュール２１は、ウインドシールド２２１の中央の上端付近に設けられる。

＜撮像素子１２１の画素アレイ部の第１の実施の形態＞
次に、図１８乃至図２０を参照して、撮像素子１２１の画素アレイ部の第１の実施の形態について説明する。

図１８は、撮像素子１２１の画素アレイ部の遮光パターンの第１の実施の形態を示している。図１９は、図１８の画素アレイ部を構成する画素１２１ａの第１の実施の形態である画素Ｐａの遮光パターンの例を示している。

各画素Ｐａの遮光膜Ｓａの開口部Ａａは、点線で示される矩形の開口設定範囲Ｒａ内に設定される。従って、各画素Ｐａの遮光膜Ｓａの開口設定範囲Ｒａ以外の領域が、遮光膜Ｓａの主遮光部となる。

開口設定範囲Ｒａの大きさ、形、及び、位置は、各画素Ｐａで共通である。開口設定範囲Ｒａの垂直方向の高さは、画素Ｐａの高さの１／２弱であり、水平方向の幅は、画素Ｐａの幅より若干狭くなっている。また、開口設定範囲Ｒａは、画素Ｐａ内の水平方向の中央、かつ、垂直方向において上方向に偏った位置に設定されている。従って、開口設定範囲Ｒａの重心は、画素Ｐａの中心から上方向に偏っている。

矩形の開口部Ａａの形及び大きさは、各画素Ｐａで共通である。また、開口部Ａａは、図１２及び図１３を参照して上述した規則と同様の規則に従って、各画素Ｐａの開口設定範囲Ｒａ内に配置される。

具体的には、開口部Ａａは、画素アレイ部の左端の列の画素Ｐａにおいて、開口設定範囲Ｒａの左端に配置され、画素アレイ部の上端の行の画素Ｐａにおいて、開口設定範囲Ｒａの上端に配置される。そして、開口部Ａａは、画素Ｐａの位置が右に進むにつれて、開口設定範囲Ｒａ内において等間隔に右方向にシフトし、画素アレイ部の右端の列の画素Ｐａにおいて、開口設定範囲Ｒａの右端に配置される。また、開口部Ａａは、画素Ｐａの位置が下に進むにつれて、開口設定範囲Ｒａ内において等間隔に下方向にシフトし、画素アレイ部の下端の行の画素Ｐａにおいて、開口設定範囲Ｒａの下端に配置される。

従って、開口部Ａａの水平方向の位置は、同じ垂直方向の列の画素Ｐａ内において同一になる。また、開口部Ａａの垂直方向の位置は、同じ水平方向の行の画素Ｐａ内において同一になる。従って、各画素Ｐａ内における開口部Ａａの位置、すなわち、各画素Ｐａに入射光が入射する位置が画素Ｐａ毎に異なり、その結果、各画素Ｐａの入射角指向性は、それぞれ異なる。

また、各画素Ｐａの開口部Ａａにより、開口設定範囲Ｒａがカバーされる。すなわち、各画素Ｐａの開口部Ａａを重ね合わせた領域が、開口設定範囲Ｒａと等しくなる。なお、開口部Ａａの配置パターンについては、上述の構成に限定されず、開口部Ａａを重ね合わせた領域が、開口設定範囲Ｒａと等しくなればどのような配置であっても良い。例えば、開口部Ａａが開口設定範囲Ｒａ内においてランダムに配置されても良い。

ここで、各画素Ｐａの入射角指向性の重心は、各画素Ｐａの開口部Ａａの重心と略一致し、各画素Ｐａの中心から上方向に偏る。従って、各画素Ｐａの入射角指向性の重心の平均が、画素Ｐａの中心から上方向に偏る。すなわち、各画素Ｐａの重心光線の入射角の平均が、画素アレイ部の受光面の法線方向に対して下方向に傾く。

従って、ＬＬＣチップ２０２がウインドシールド２２１に対して平行に設置され、撮像素子１２１の画素アレイ部の受光面が上方向を向いているにも関わらず、車両の前方を適切な画角で撮像することが可能になる。より具体的には、図２０に示されるように、車両の前方斜め下方向の視野（ＦＯＶ（Field Of View））Ｆａを撮像することが可能になる。その結果、撮像部４１により得られるセンシング画像に基づいて、車両の前方の監視が可能になる。

なお、開口設定範囲Ｒａの位置、すなわち、開口設定範囲Ｒａの重心の画素Ｐａの中心からのオフセット量は、ウインドシールド２２１の傾斜、及び、撮像したい被写体までの距離等に合わせて設定される。また、開口設定範囲Ｒａの形及び大きさは、撮像したい画角に基づいて設定される。

また、ＬＬＣチップ２０２（撮像素子１２１の受光面）を車両の前方に向けなくても、車両の前方の撮像が可能であり、撮像レンズが不要である。従って、図１５を参照して上述したように、ＬＬＣチップ２０２と信号処理チップ２０３を同一の基板に実装し、フロントカメラモジュール２１のＬＬＣチップ２０２の実装面をウインドシールド２２１に接触又は近接させて取り付けることができる。

＜撮像部４１による撮像処理＞
次に、図２１のフローチャートを参照して、図２の撮像部４１による撮像処理について説明する。

ステップＳ１において、撮像素子１２１は、被写体の撮像を行う。これにより、異なる入射角指向性を備える撮像素子１２１の各画素１２１ａ（画素Ｐａ）から、被写体からの入射光の光量に応じた検出信号レベルを示す検出信号が出力され、撮像素子１２１は、各画素１２１ａの検出信号からなる検出画像を復元部１２２に供給する。

ステップＳ２において、復元部１２２は、画像の復元に用いる係数を求める。具体的には、復元部１２２は、復元対象となる被写体面１０２までの距離、すなわち被写体距離を設定する。なお、被写体距離の設定方法には、任意の方法を採用することができる。例えば、復元部１２２は、ユーザにより設定された被写体距離、又は、各種のセンサにより検出された被写体距離を、復元対象となる被写体面１０２までの距離に設定する。

次に、復元部１２２は、設定した被写体距離に対応付けられている係数セット群を記憶部１２４から読み出す。

ステップＳ３において、復元部１２２は、検出画像及び係数を用いて、画像の復元を行う。具体的には、復元部１２２は、検出画像の各画素の検出信号レベルと、ステップＳ２の処理で取得した係数セット群とを用いて、上述した式（１）乃至式（３）を参照して説明した連立方程式を作成する。次に、復元部１２２は、作成した連立方程式を解くことにより、設定した被写体距離に対応する被写体面１０２上の各点光源の光強度を算出する。そして、復元部１２２は、算出した光強度に応じた画素値を有する画素を被写体面１０２の各点光源の配置に従って並べることにより、被写体の像が結像された復元画像を生成する。

ステップＳ４において、撮像部４１は、復元画像に対して各種の処理を行う。例えば、復元部１２２は、必要に応じて、復元画像に対して、デモザイク処理、γ補正、ホワイトバランス調整、所定の圧縮形式への変換処理等を行う。また、復元部１２２は、得られた復元画像をセンシング画像として、通信部１２５を介してフロントカメラＥＣＵ４２に供給する。

その後、撮像処理は終了する。

＜＜２．第２の実施の形態＞＞
次に、図２２乃至図２４を参照して、本技術の第２の実施の形態について説明する。

第２の実施の形態は、第１の実施の形態と比較して、撮像素子１２１の画素アレイ部の遮光パターンが異なる。

図２２は、撮像素子１２１の画素アレイ部の遮光パターンの第２の実施の形態を示している。図２３は、図２２の画素アレイ部を構成する画素１２１ａの第２の実施の形態である画素Ｐｂ及び画素Ｐｃの遮光パターンの例を示している。

画素Ｐｂは、画素アレイ部の奇数列に配置され、画素Ｐｃは、画素アレイ部の偶数列に配置されている。

画素Ｐｂと画素Ｐｃとは、開口設定範囲の位置が異なる。具体的には、画素Ｐｂの遮光膜Ｓｂの開口設定範囲Ｒｂ及び画素Ｐｃの遮光膜Ｓｃの開口設定範囲Ｒｃの形及び大きさは、図１９の画素Ｐａの遮光膜Ｓａの開口設定範囲Ｒａと同じである。

一方、開口設定範囲Ｒｂは、開口設定範囲Ｒａより、画素Ｐｂ内において上方向にシフトした位置に設定されている。また、開口設定範囲Ｒｃは、開口設定範囲Ｒａより、画素Ｐｃ内において下方向にシフトした位置に設定されている。ただし、開口設定範囲Ｒｃの重心は、開口設定範囲Ｒａと同様に、画素Ｐｃの中心より上方向に偏っている。このように、開口設定範囲Ｒｂと開口設定範囲Ｒｃとは、画素内における垂直方向の位置が異なる。

そして、画素Ｐｂの開口部Ａｂは、画素Ｐａの開口部Ａａと同じ形及び大きさであり、図１２及び図１３を参照して上述した規則と同様の規則に従って、開口設定範囲Ｒｂ内に配置される。

具体的には、開口部Ａｂは、画素アレイ部の左端の列の画素Ｐｂにおいて、開口設定範囲Ｒｂの左端に配置され、画素アレイ部の上端の行の画素Ｐｂにおいて、開口設定範囲Ｒｂの上端に配置される。そして、開口部Ａｂは、画素Ｐｂの位置が右に進むにつれて、開口設定範囲Ｒｂ内において等間隔に右方向にシフトし、画素アレイ部の右から２列目の画素Ｐｂにおいて、開口設定範囲Ｒｂの右端に配置される。また、開口部Ａｂは、画素Ｐｂの位置が下に進むにつれて、開口設定範囲Ｒｂ内において等間隔に下方向にシフトし、画素アレイ部の下端の行の画素Ｐｂにおいて、開口設定範囲Ｒｂの下端に配置される。

従って、各画素Ｐｂ内における開口部Ａｂの水平方向の位置は、同じ垂直方向の列の画素Ｐｂ内において同一になる。また、各画素Ｐｂ内における開口部Ａｂの垂直方向の位置は、同じ水平方向の行の画素Ｐｂ内において同一になる。従って、各画素Ｐｂ内における開口部Ａｂの位置、すなわち、各画素Ｐｂに入射光が入射する位置が画素Ｐｂ毎に異なり、その結果、各画素Ｐａの入射角指向性は、それぞれ異なる。

また、各画素Ｐｂの開口部Ａｂにより、開口設定範囲Ｒｂがカバーされる。すなわち、各画素Ｐｂの開口部Ａｂを重ね合わせた領域が、開口設定範囲Ｒｂと等しくなる。なお、開口部Ａｂの配置パターンについては、上述の構成に限定されず、開口部Ａｂを重ね合わせた領域が、開口設定範囲Ｒｂと等しくなればどのような配置であっても良い。例えば、開口部Ａｂが開口設定範囲Ｒｂ内においてランダムに配置されても良い。

さらに、画素Ｐｃの開口部Ａｃは、画素Ｐａの開口部Ａａと同じ形及び大きさであり、図１２及び図１３を参照して上述した規則と同様の規則に従って、開口設定範囲Ｒｃ内に配置される。

具体的には、開口部Ａｃは、画素アレイ部の左から２列目の画素Ｐｃにおいて、開口設定範囲Ｒｃの左端に配置され、画素アレイ部の上端の行の画素Ｐｃにおいて、開口設定範囲Ｒｃの上端に配置される。そして、開口部Ａｃは、画素Ｐｃの位置が右に進むにつれて、開口設定範囲Ｒｃ内において等間隔に右方向にシフトし、画素アレイ部の右端の列の画素Ｐｃにおいて、開口設定範囲Ｒｃの右端に配置される。また、開口部Ａｃは、画素Ｐｃの位置が下に進むにつれて、開口設定範囲Ｒｃ内において等間隔に下方向にシフトし、画素アレイ部の下端の行の画素Ｐｃにおいて、開口設定範囲Ｒｃの下端に配置される。

従って、各画素Ｐｃ内における開口部Ａｃの水平方向の位置は、同じ垂直方向の列の画素Ｐｃ内において同一になる。また、各画素Ｐｃ内における開口部Ａｃの垂直方向の位置は、同じ水平方向の行の画素Ｐｃ内において同一になる。従って、各画素Ｐｃ内における開口部Ａｃの位置、すなわち、各画素Ｐｃに入射光が入射する位置が画素Ｐｃ毎に異なり、その結果、各画素Ｐｃの入射角指向性は、それぞれ異なる。

また、各画素Ｐｃの開口部Ａｃにより、開口設定範囲Ｒｃがカバーされる。すなわち、各画素Ｐｃの開口部Ａｃを重ね合わせた領域が、開口設定範囲Ｒｃと等しくなる。なお、開口部Ａｃの配置パターンについては、上述の構成に限定されず、開口部Ａｃを重ね合わせた領域が、開口設定範囲Ｒｃと等しくなればどのような配置であっても良い。例えば、開口部Ａｃが開口設定範囲Ｒｃ内においてランダムに配置されても良い。

ここで、各画素Ｐｂの入射角指向性の重心は、各画素Ｐｂの開口部Ａｂの重心と略一致し、画素Ｐｂの中心から上方向に偏る。従って、各画素Ｐｂの入射角指向性の重心の平均が、画素Ｐｂの中心から上方向に偏る。すなわち、各画素Ｐｂの重心光線の入射角の平均が、画素アレイ部の受光面の法線方向に対して下方向に傾く。

また、各画素Ｐｃの入射角指向性の重心は、各画素Ｐｃの開口部Ａｃの重心と略一致し、大部分の画素Ｐｃにおいて画素Ｐｃの中心から上方向に偏る。従って、各画素Ｐｃの入射角指向性の重心の平均が、画素Ｐｃの中心から上方向に偏る。すなわち、各画素Ｐｃの重心光線の入射角の平均が、画素アレイ部の受光面の法線方向に対して下方向に傾く。

一方、開口設定範囲Ｒｂの画素Ｐｂの中心からのオフセット量は、開口設定範囲Ｒｃの画素Ｐｃの中心からのオフセット量より大きい。従って、各画素Ｐｂの重心光線の入射角の平均は、各画素Ｐｃの重心光線の入射角の平均より下方向に傾く。

従って、図２４に示されるように、撮像素子１２１の画素Ｐｂ及び画素Ｐｃにより、上下方向に異なる視野の撮像が可能になる。具体的には、撮像素子１２１の画素Ｐｂにより、図２０の視野Ｆａより少し下方向の視野Ｆｂの撮像が可能になる。また、撮像素子１２１の画素Ｐｃにより、図２０の視野Ｆａより少し上方向の視野Ｆｃの撮像が可能になる。

これにより、例えば、撮像素子１２１の画素Ｐｂにより得られるセンシング画像により、車両の前方下方向の路面の区画線等の検出を重点的に行い、検出精度を上げることができる。また、例えば、撮像素子１２１の画素Ｐｃにより得られるセンシング画像により、車両の前方の車両、歩行者、障害物等の検出を重点的に行い、検出精度を上げることができる。

なお、例えば、各画素Ｐｂ及び各画素Ｐｃをそれぞれ独立に駆動させる駆動部を設け、各画素Ｐｂによる撮像及び各画素Ｐｃによる撮像を同時に行ったり、個別に行ったりするようにしてもよい。

また、各画素Ｐｂによる撮像及び各画素Ｐｃによる撮像を同時に行う場合、例えば、不要な場合には、一方の画素の復元画像の復元を停止してもよい。例えば、路面の区画線等の検出のみを行う場合、画素Ｐｂの復元画像の復元のみを行い、画素Ｐｃの復元画像の復元を停止するようにしてもよい。逆に、信号機や道路標識等の検出のみを行う場合、画素Ｐｃの復元画像の復元のみを行い、画素Ｐｂの復元画像の復元を停止するようにしてもよい。これにより、撮像部４１の処理を軽減することができる。

さらに、各画素Ｐｂによる撮像及び各画素Ｐｃによる撮像を個別に行う場合、例えば、交互に撮像したり、必要に応じて一方の撮像を停止したりしてもよい。例えば、路面の区画線等の検出のみを行う場合、画素Ｐｂによる撮像のみを行い、画素Ｐｃによる撮像を停止するようにしてもよい。これにより、撮像部４１の処理を軽減することができる。

なお、この場合、例えば、被写体距離に加えて、復元画像の画角に対応する係数セット群をさらに用意して、被写体距離および画角に応じた係数セット群を用いて、復元画像が復元される。例えば、画素Ｐｂに対応する係数セット群と、画素Ｐｃに対応する係数セット群とを個別に用意して、各係数セット群を使い分けることにより、各画素に対応する復元画像がそれぞれ復元される。

＜＜３．第３の実施の形態＞＞
次に、図２５乃至図２７を参照して、本技術の第３の実施の形態について説明する。

第３の実施の形態は、第１の実施の形態及び第２の実施の形態と比較して、撮像素子１２１の画素アレイ部の遮光パターンが異なる。

図２５は、撮像素子１２１の画素アレイ部の遮光パターンの第３の実施の形態を示している。図２６は、図２５の画素アレイ部を構成する画素１２１ａの第３の実施の形態である画素Ｐｄ及び画素Ｐｅの遮光パターンの例を示している。

画素Ｐｄは、画素アレイ部の奇数列に配置され、画素Ｐｅは、画素アレイ部の偶数列に配置されている。

画素Ｐｄと画素Ｐｅとは、開口設定範囲の形及び大きさが異なる。具体的には、画素Ｐｄの遮光膜Ｓｄの開口設定範囲Ｒｄの形、大きさ、及び、位置は、図１９の画素Ｐａの遮光膜Ｓａの開口設定範囲Ｒａと同じである。一方、画素Ｐｅの遮光膜Ｓｅの開口設定範囲Ｒｅは、画素Ｐｄの遮光膜Ｓｄの開口設定範囲Ｒｄと比較して、垂直方向の高さは同じであるが、水平方向の幅は狭くなっている。また、画素Ｐｄの開口設定範囲Ｒｄと画素Ｐｅの開口設定範囲Ｒｅとは、垂直方向の位置は同じである。さらに、画素Ｐｄの開口設定範囲Ｒｄと画素Ｐｅの開口設定範囲Ｒｅとは、水平方向の中心の位置は同じである。

そして、画素Ｐｄの開口部Ａｄは、画素Ｐａの開口部Ａａと同じ形及び大きさであり、図１２及び図１３を参照して上述した規則と同様の規則に従って、開口設定範囲Ｒｄ内に設定される。

具体的には、開口部Ａｄは、画素アレイ部の左端の列の画素Ｐｄにおいて、開口設定範囲Ｒｄの左端に配置され、画素アレイ部の上端の行の画素Ｐｄにおいて、開口設定範囲Ｒｄの上端に配置される。そして、開口部Ａｄは、画素Ｐｄの位置が右に進むにつれて、開口設定範囲Ｒｄ内において等間隔に右方向にシフトし、画素アレイ部の右から２列目の画素Ｐｄにおいて、開口設定範囲Ｒｄの右端に配置される。また、開口部Ａｄは、画素Ｐｄの位置が下に進むにつれて、開口設定範囲Ｒｄ内において等間隔に下方向にシフトし、画素アレイ部の下端の行の画素Ｐｄにおいて、開口設定範囲Ｒｄの下端に配置される。

従って、各画素Ｐｄ内における開口部Ａｄの水平方向の位置は、同じ垂直方向の列の画素Ｐｄ内において同一になる。また、各画素Ｐｄ内における開口部Ａｄの垂直方向の位置は、同じ水平方向の行の画素Ｐｄ内において同一になる。従って、各画素Ｐｄ内における開口部Ａｄの位置、すなわち、各画素Ｐｄに入射光が入射する位置が画素Ｐｄ毎に異なり、その結果、各画素Ｐｄの入射角指向性は、それぞれ異なる。

また、各画素Ｐｄの開口部Ａｄにより、開口設定範囲Ｒｄがカバーされる。すなわち、各画素Ｐｄの開口部Ａｄを重ね合わせた領域が、開口設定範囲Ｒｄと等しくなる。なお、開口部Ａｄの配置パターンについては、上述の構成に限定されず、開口部Ａｄを重ね合わせた領域が、開口設定範囲Ｒｄと等しくなればどのような配置であっても良い。例えば、開口部Ａｄが開口設定範囲Ｒｄ内においてランダムに配置されても良い。

さらに、画素Ｐｅの開口部Ａｅは、画素Ｐａの開口部Ａａと同じ形及び大きさであり、図１２及び図１３を参照して上述した規則と同様の規則に従って、開口設定範囲Ｒｅ内に配置される。

具体的には、開口部Ａｅは、画素アレイ部の左から２列目の画素Ｐｅにおいて、開口設定範囲Ｒｅの左端に配置され、画素アレイ部の上端の行の画素Ｐｅにおいて、開口設定範囲Ｒｅの上端に配置される。そして、開口部Ａｅは、画素Ｐｅの位置が右に進むにつれて、開口設定範囲Ｒｅ内において等間隔に右方向にシフトし、画素アレイ部の右端の列の画素Ｐｅにおいて、開口設定範囲Ｒｅの右端に配置される。また、開口部Ａｅは、画素Ｐｅの位置が下に進むにつれて、開口設定範囲Ｒｅ内において等間隔に下方向にシフトし、画素アレイ部の下端の行の画素Ｐｅにおいて、開口設定範囲Ｒｅの下端に配置される。

従って、各画素Ｐｅ内における開口部Ａｅの水平方向の位置は、同じ垂直方向の列の画素Ｐｅ内において同一になる。また、各画素Ｐｅ内における開口部Ａｅの垂直方向の位置は、同じ水平方向の行の画素Ｐｅ内において同一になる。従って、各画素Ｐｅ内における開口部Ａｅの位置、すなわち、各画素Ｐｅに入射光が入射する位置が画素Ｐｅ毎に異なり、その結果、各画素Ｐｅの入射角指向性は、それぞれ異なる。

また、各画素Ｐｅの開口部Ａｅにより、開口設定範囲Ｒｅがカバーされる。すなわち、各画素Ｐｂの開口部Ａｂを重ね合わせた領域が、開口設定範囲Ｒｅと等しくなる。なお、開口部Ａeの配置パターンについては、上述の構成に限定されず、開口部Ａeを重ね合わせた領域が、開口設定範囲Ｒeと等しくなればどのような配置であっても良い。例えば、開口部Ａｅが開口設定範囲Ｒｅ内においてランダムに配置されても良い。

ここで、各画素Ｐｄの入射角指向性の重心の平均は、図１８の各画素Ｐａの入射角指向性の重心の平均と略一致する。また、各画素Ｐｅの入射角指向性の重心は、各画素Ｐｅの開口部Ａｅの重心と略一致する。従って、各画素Ｐｅの入射角指向性の重心の平均は、各画素Ｐｄの入射角指向性の重心の平均と略一致する。その結果、各画素Ｐｄの重心光線の入射角の平均、及び、各画素Ｐｅの重心光線の入射角の平均は、図１８の各画素Ｐａの重心光線の入射角の平均と略一致する。

従って、図２７に示されるように、撮像素子１２１の画素Ｐｄ及び画素Ｐｅにより、水平方向に異なる視野の撮像が可能になる。具体的には、車両２５１の前方において、撮像素子１２１の画素Ｐｄにより、画素Ｐｅの視野Ｆｅより広い視野Ｆｄの撮像が可能になる。従って、画素Ｐｄにより得られるセンシング画像に基づいて、車両２５１の前方のより広い範囲の監視が可能になる。

一方、上述したように、画素Ｐｄの数と画素Ｐｅの数が同じ場合、画角の狭い画素Ｐｅを用いて撮像した画像を復元する方が、画角の狭い画素Ｐｄを用いて撮像した画像を復元するより、より高画質な（被写体分解能が高い）復元画像を得ることができる。従って、画素Ｐｅにより得られるセンシング画像に基づいて、車両２５１の前方のより遠方を監視することが可能になる。

なお、第２の実施の形態と同様に、各画素Ｐｄによる撮像及び各画素Ｐｅによる撮像を同時に行ってもよいし、個別に行ってもよい。

また、画素Ｐｄに対応する係数セット群と、画素Ｐｅに対応する係数セット群とを個別に用意して、各画素に対応する復元画像をそれぞれ復元するようにしてもよい。

＜＜４．変形例＞＞
以下、上述した本技術の実施の形態の変形例について説明する。

＜遮光パターンに関する変形例＞
図２２及び図２５では、撮像素子１２１に２種類の開口設定範囲を設定する例を示したが、３種類以上の開口設定範囲を設定するようにしてもよい。

また、例えば、高さが異なる開口設定範囲を組み合わせたり、幅と高さが異なる開口設定範囲を組み合わせたりするようにしてもよい。さらに、例えば、垂直方向だけでなく、開口設定範囲の水平方向の位置を変えるようにしてもよい。

また、図２２及び図２５では、開口設定範囲が異なる画素を１列置きに配置する例を示したが、例えば、１行置きに配置したり、１画素毎に交互に配置したりするようにしてもよい。さらに、例えば、開口設定範囲が異なる画素をランダムに配置したり、図１１の下段の例のように、それぞれ異なる領域に分けて配置したりするようにしてもよい。

さらに、図１８、図２２、及び、図２５では、各画素の開口部の位置が、行方向及び列方向に進むにつれて規則的に変化する例を示したが、規則的に変化させずに、例えば、ランダムに変化させるようにしてもよい。また、例えば、開口部の形や大きさを画素毎に変えるようにしてもよい。ただし、各画素の開口部により、開口設定範囲をカバーすることが必須となる。

＜フロントカメラモジュール２１に関する変形例＞
以上の説明では、撮像部４１とフロントカメラＥＣＵ４２及びＭＣＵ４３とを異なる２つの半導体チップに設ける例を示したが、これ以外の構成をとることも可能である。例えば、撮像部４１の撮像素子１２１と、撮像部４１の信号処理制御部１１１、フロントカメラＥＣＵ４２、及び、ＭＣＵ４３とを異なる２つの半導体チップに設けたり、撮像素子１２１と、撮像部４１の信号処理制御部１１１と、フロントカメラＥＣＵ４２及びＭＣＵ４３とを３つの異なる半導体チップに設けるようにしてもよい。また、例えば、撮像部４１、フロントカメラＥＣＵ４２、及び、ＭＣＵ４３を１つの半導体チップに設けるようにしてもよい。

また、例えば、フロントカメラモジュール２１を、ウインドシールド２２１以外の車両の窓（例えば、サイドウインドウ、リアウインドウ等）に取り付けて、車両の前方以外の方向の撮像を行うようにしてもよい。また、入射角指向性の重心が偏る方向は、鉛直方向に対して上方に限定されず、左右方向や鉛直方向に対して下方であっても良い。特に、サイドウインドウに当該カメラモジュール２１を取り付けた場合、入射角指向性の重心を左右方向に偏心させることで、車両の死角を撮像することが可能となる。

さらに、例えば、図２８に示されるように、２つのフロントカメラモジュール２１ａ及びフロントカメラモジュール２１ｂを車内に設けて、車外と車内の両方を撮像できるようにしてもよい。

例えば、フロントカメラモジュール２１ａは、図１６のフロントカメラモジュール２１と同様の位置に取り付けられ、車外の撮像及び画像認識等を行う。一方、フロントカメラモジュール２１ｂは、ＬＬＣチップ２０２ｂの表面（撮像素子１２１の受光面）が車内を向くように、フロントカメラモジュール２１ａの裏面に取り付けられ、車内の撮像及び画像認識等を行う。

また、本技術は、車両の窓以外にも、板状の透明又は半透明な部材に接触又は近接するように取り付けられ、部材の面の法線方向とは異なる方向を部材越しに撮像する場合に適用することができる。例えば、建物の室内から窓越しに窓の正面以外の方向（例えば、下方向又は上方向等）を撮像する場合に、本技術を適用することができる。

なお、例えば、上方向の撮像を行う場合、各画素の入射角指向性の重心の平均が各画素の中心より下方向に偏り、右方向の撮像を行う場合には、各画素の入射角指向性の重心の平均が各画素の中心より左方向に偏り、左方向の撮像を行う場合には、各画素の入射角指向性の重心の平均が各画素の中心より右方向に偏るように、画素アレイ部の遮光パターンが設定される。

＜撮像素子１２１に関する変形例＞
例えば、図５の画素１２１ａにおいて、カラーフィルタ１２１ｄと遮光膜１２１ｂとの間に、平坦化膜を設けるようにしてもよい。また、例えば、図６の画素１２１ａにおいて、カラーフィルタ１２１ｄとフォトダイオード１２１ｆの間に、平坦化膜を設けるようにしてもよい。

さらに、図２９に示される表面照射型の画素１２１ａを撮像素子１２１に用いることが可能である。

図２９の画素１２１ａでは、図５の画素１２１ａと比較して、光電変換層Ｚ１１と配線層Ｚ１２の積層順が逆になっている。すなわち、図２９の画素１２１ａでは、上から順に、オンチップレンズ１２１ｃ、カラーフィルタ（ＣＦ）１２１ｄ、配線層Ｚ１２、光電変換層Ｚ１１の順に積層されている。光電変換層Ｚ１１では、上から順に、遮光膜１２１ｂ、フォトダイオード（ＰＤ）１２１ｅが積層されている。

また、図５では、変調素子として遮光膜１２１ｂを用いたり、出力に寄与するフォトダイオードの組合せを変更したりすることにより画素毎に異なる入射角指向性を持たせる例を示したが、本技術では、例えば、図３０に示されるように、撮像素子９０１の受光面を覆う光学フィルタ９０２を変調素子として用いて、各画素に入射角指向性を持たせるようにすることも可能である。

具体的には、光学フィルタ９０２は、撮像素子９０１の受光面９０１Ａから所定の間隔を空けて、受光面９０１Ａの全面を覆うように配置されている。被写体面１０２からの光は、光学フィルタ９０２で変調されてから、撮像素子９０１の受光面９０１Ａに入射する。

例えば、光学フィルタ９０２には、図３１に示される白黒の格子状のパターンを有する光学フィルタ９０２ＢＷを用いることが可能である。光学フィルタ９０２ＢＷには、光を透過する白パターン部と光を遮光する黒パターン部がランダムに配置されている。各パターンのサイズは、撮像素子９０１の画素のサイズとは独立して設定されている。

図３２は、光学フィルタ９０２ＢＷを用いた場合の被写体面１０２上の点光源ＰＡ及び点光源ＰＢからの光に対する撮像素子９０１の受光感度特性を示している。点光源ＰＡ及び点光源ＰＢからの光は、それぞれ光学フィルタ９０２ＢＷで変調されてから、撮像素子９０１の受光面９０１Ａに入射する。

例えば、点光源ＰＡからの光に対する撮像素子９０１の受光感度特性は、波形Ｓａのようになる。すなわち、光学フィルタ９０２ＢＷの黒パターン部により影が生じるため、点光源ＰＡからの光に対する受光面９０１Ａ上の像に濃淡のパターンが生じる。同様に、点光源ＰＢからの光に対する撮像素子９０１の受光感度特性は、波形Ｓｂのようになる。すなわち、光学フィルタ９０２ＢＷの黒パターン部により影が生じるため、点光源ＰＢからの光に対する受光面９０１Ａ上の像に濃淡のパターンが生じる。

なお、点光源ＰＡからの光と点光源ＰＢからの光とは、光学フィルタ９０２ＢＷの各白パターン部に対する入射角度が異なるため、受光面に対する濃淡のパターンの現れ方にズレが生じる。従って、撮像素子９０１の各画素は、被写体面１０２の各点光源に対して入射角指向性を持つようになる。

この方式の詳細は、例えば、「M. Salman Asif、他４名、“Flatcam: Replacing lenses with masks and computation”、“2015 IEEE International Conference on Computer Vision Workshop (ICCVW)”、2015年、663-666ページ」に開示されている。

なお、光学フィルタ９０２ＢＷの黒パターン部の代わりに、図３３の光学フィルタ９０２ＨＷを用いるようにしてもよい。光学フィルタ９０２ＨＷは、偏光方向が等しい直線偏光素子９１１Ａと直線偏光素子９１１Ｂ、及び、１／２波長板９１２を備え、１／２波長板９１２は、直線偏光素子９１１Ａと直線偏光素子９１１Ｂの間に挟まれている。１／２波長板９１２には、光学フィルタ９０２ＢＷの黒パターン部の代わりに、斜線で示される偏光部が設けられ、白パターン部と偏光部がランダムに配置されている。

直線偏光素子９１１Ａは、点光源ＰＡから出射されたほぼ無偏光の光のうち、所定の偏光方向の光のみを透過する。以下、直線偏光素子９１１Ａが、偏光方向が図面に平行な光のみを透過するものとする。直線偏光素子９１１Ａを透過した偏光光のうち、１／２波長板９１２の偏光部を透過した偏光光は、偏光面が回転されることにより、偏光方向が図面に垂直な方向に変化する。一方、直線偏光素子９１１Ａを透過した偏光光のうち、１／２波長板９１２の白パターン部を透過した偏光光は、偏光方向が図面に平行な方向のまま変化しない。そして、直線偏光素子９１１Ｂは、白パターン部を透過した偏光光を透過し、偏光部を透過した偏光光をほとんど透過しない。従って、偏光部を透過した偏光光は、白パターン部を透過した偏光光より光量が減少する。これにより、光学フィルタＢＷを用いた場合とほぼ同様の濃淡のパターンが、撮像素子９０１の受光面９０１Ａ上に生じる。

また、図３４のＡに示されるように、光干渉マスクを光学フィルタ９０２ＬＦとして用いることが可能である。被写体面１０２の点光源ＰＡ，ＰＢから出射された光は、光学フィルタ９０２ＬＦを介して撮像素子９０１の受光面９０１Ａに照射される。図３４のＡの下方の拡大図に示されるように、光学フィルタ９０２ＬＦの例えば光入射面には、波長程度の凹凸が設けられている。また、光学フィルタ９０２ＬＦは、鉛直方向から照射された特定波長の光の透過が最大となる。被写体面１０２の点光源ＰＡ，ＰＢから出射された特定波長の光の光学フィルタ９０２ＬＦに対する入射角の変化（鉛直方向に対する傾き）が大きくなると光路長が変化する。ここで、光路長が半波長の奇数倍であるときは光が弱めあい、半波長の偶数倍であるときは光が強めあう。すなわち、点光源ＰＡ，ＰＢから出射されて光学フィルタ９０２ＬＦを透過した特定波長の透過光の強度は、図３４のＢに示すように、光学フィルタ９０２ＬＦに対する入射角に応じて変調されて撮像素子９０１の受光面９０１Ａに入射する。したがって、撮像素子９０１の各画素から出力される検出信号は、画素毎に各点光源の変調後の光強度を合成した信号となる。

この方式の詳細は、例えば、上述した特表２０１６-５１０９１０号公報に開示されている。

＜その他の変形例＞
また、本技術は、赤外光等の可視光以外の波長の光の撮像を行う撮像装置や撮像素子にも適用することが可能である。この場合、復元画像は、ユーザが目視して被写体を認識できる画像とはならず、ユーザが被写体を視認できない画像となる。この場合も、本技術を用いることにより、被写体を認識可能な画像処理装置等に対して、復元画像の画質が向上する。なお、通常の撮像レンズは遠赤外光を透過することが困難であるため、本技術は、例えば、遠赤外光の撮像を行う場合に有効である。したがって、復元画像は遠赤外光の画像であっても良く、また、遠赤外光に限らず、その他の可視光や非可視光の画像であっても良い。

さらに、例えば、ディープラーニング等の機械学習を適用することにより、復元後の復元画像を用いずに、復元前の検出画像を用いて画像認識等を行うようにすることも可能である。この場合も、本技術を用いることにより、復元前の検出画像を用いた画像認識の精度が向上する。換言すれば、復元前の検出画像の画質が向上する。

この場合、例えば、図１のフロントカメラＥＣＵ４２が、検出画像を用いた画像認識を行う。

＜＜５．その他＞＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータ（例えば、制御部１２３等）などが含まれる。

コンピュータが実行するプログラムは、例えば、パッケージメディア等としての記録媒体に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

さらに、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本技術は、以下のような構成も取ることができる。

（１）
撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を１つ出力する画素を複数備え、受光面が車両のウインドシールドの車内側の面に対向し、かつ、接触又は近接するように取り付けられる撮像素子を
備え、
前記複数の画素の前記入射光の入射角に対する指向性を示す入射角指向性の重心の平均が、前記画素の中心から一方の方向に偏っている
撮像システム。
（２）
前記複数の画素は、前記画素の中心から一方の方向に重心が偏っている第１の範囲内のそれぞれ異なる位置に前記入射光が入射する複数の第１の画素を含む
前記（１）に記載の撮像システム。
（３）
前記複数の画素のそれぞれは、
１つの光電変換素子と、
前記入射光の一部の前記光電変換素子への入射を遮る遮光膜と
を備え、
前記複数の第１の画素の前記遮光膜の開口部が、前記第１の範囲内のそれぞれ異なる位置に配置されている
前記（２）に記載の撮像システム。
（４）
前記複数の画素は、前記画素の中心から一方の方向に重心が偏り、前記第１の範囲と異なる第２の範囲内の異なる位置に前記遮光膜の開口部がそれぞれ配置されている複数の第２の画素をさらに含む
前記（３）に記載の撮像システム。
（５）
前記第１の範囲と前記第２の範囲とは、前記画素内における垂直方向の位置が異なる
前記（４）に記載の撮像システム。
（６）
前記第１の範囲と前記第２の範囲とは、同じ形及び大きさである
前記（５）に記載の撮像システム。
（７）
前記第１の範囲と前記第２の範囲とは、水平方向の幅が異なる
前記（４）乃至（６）のいずれかに記載の撮像システム。
（８）
前記複数の第１の画素と前記複数の第２の画素とをそれぞれ独立に駆動させる駆動部をさらに備える
前記（４）乃至（７）のいずれかに記載の撮像システム。
（９）
前記複数の画素の前記検出信号に基づいて生成される検出画像の処理を行う第１の信号処理部を
さらに備える前記（１）乃至（８）のいずれかに記載の撮像システム。
（１０）
前記第１の信号処理部は、前記検出画像から復元画像を復元する
前記（９）に記載の撮像システム。
（１１）
前記復元画像に基づいて、前記車両の前方の画像認識を行う第２の信号処理部を
さらに備える前記（１０）に記載の撮像システム。
（１２）
前記撮像素子を備える第１の半導体チップと、
前記第２の信号処理部を備える第２の半導体チップと、
前記第１の半導体チップ及び前記第２の半導体チップが実装されている基板と
をさらに備える前記（１１）に記載の撮像システム。
（１３）
前記第１の信号処理部は、前記検出画像に基づいて前記車両の前方の画像認識を行う
前記（９）に記載の撮像システム。
（１４）
前記撮像素子を備える第１の半導体チップと、
前記第１の信号処理部を備える第２の半導体チップと、
前記第１の半導体チップ及び前記第２の半導体チップが実装されている基板と
をさらに備える前記（１３）に記載の撮像システム。
（１５）
前記複数の画素の前記入射角指向性の重心の平均が、前記ウインドシールドの傾斜に合わせて、前記画素の中心から一方の方向に偏っている
前記（１）に記載の撮像システム。
（１６）
前記複数の画素の前記入射角指向性の重心が、それぞれ前記画素の中心から一方の方向に偏っている
前記（１）に記載の撮像システム。
（１７）
前記入射角指向性の重心の平均は、前記撮像素子が前記車両に取り付けられた状態において、鉛直方向に対して上方向に偏っている
前記（１）乃至（１６）のいずれかに記載の撮像システム。
（１８）
前記撮像素子は、ブラケットを介して、前記ウインドシールドに対して脱着可能に取り付けられる
前記（１）乃至（１７）のいずれかに記載の撮像システム。
（１９）
撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を出力する画素を複数備え、
前記複数の画素の前記入射光の入射角に対する指向性を示す入射角指向性の重心の平均が、前記画素の中心から偏っている
撮像素子。
（２０）
前記撮像素子は、受光面が車両のウインドシールドの車内側の面に対向し、かつ、接触又は近接するように取り付けられ、
前記複数の画素の前記入射光の前記入射角指向性の重心の平均が、前記画素の中心から上方向に偏っている
前記（１９）に記載の撮像素子。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

１１ 車載システム， ２１ フロントカメラモジュール， ４１ 撮像部， ４２ フロントカメラＥＣＵ， ４３ ＭＣＵ， １１１ 信号処理制御部， １２１ 撮像素子， １２２ 復元部， １２３ 制御部， ２０１ 基板， ２０２ ＬＬＣチップ， ２０３ 信号処理チップ， ２２１ ウインドシールド， Ｐａ乃至Ｐｅ 画素， Ａａ乃至Ａｅ 開口部， Ｒａ乃至Ｒｅ 開口設定範囲， Ｓａ乃至Ｓｅ 遮光膜

Claims (20)

1. 撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を出力する画素を複数備え、受光面が車両のウインドシールドの車内側の面に対向し、かつ、接触又は近接するように取り付けられる撮像素子を
   備え、
   前記複数の画素の前記入射光の入射角に対する指向性を示す入射角指向性の重心の平均が、前記画素の中心から一方の方向に偏っている
   撮像システム。
2. 前記複数の画素は、前記画素の中心から一方の方向に重心が偏っている第１の範囲内のそれぞれ異なる位置に前記入射光が入射する複数の第１の画素を含む
   請求項１に記載の撮像システム。
3. 前記複数の画素のそれぞれは、
   １つの光電変換素子と、
   前記入射光の一部の前記光電変換素子への入射を遮る遮光膜と
   を備え、
   前記複数の第１の画素の前記遮光膜の開口部が、前記第１の範囲内のそれぞれ異なる位置に配置されている
   請求項２に記載の撮像システム。
4. 前記複数の画素は、前記画素の中心から一方の方向に重心が偏り、前記第１の範囲と異なる第２の範囲内の異なる位置に前記遮光膜の開口部がそれぞれ配置されている複数の第２の画素をさらに含む
   請求項３に記載の撮像システム。
5. 前記第１の範囲と前記第２の範囲とは、前記画素内における垂直方向の位置が異なる
   請求項４に記載の撮像システム。
6. 前記第１の範囲と前記第２の範囲とは、同じ形及び大きさである
   請求項５に記載の撮像システム。
7. 前記第１の範囲と前記第２の範囲とは、水平方向の幅が異なる
   請求項４に記載の撮像システム。
8. 前記複数の第１の画素と前記複数の第２の画素とをそれぞれ独立に駆動させる駆動部をさらに備える
   請求項４に記載の撮像システム。
9. 前記複数の画素の前記検出信号に基づいて生成される検出画像の処理を行う第１の信号処理部を
   さらに備える請求項１に記載の撮像システム。
10. 前記第１の信号処理部は、前記検出画像から復元画像を復元する
    請求項９に記載の撮像システム。
11. 前記復元画像に基づいて、前記車両の前方の画像認識を行う第２の信号処理部を
    さらに備える請求項１０に記載の撮像システム。
12. 前記撮像素子を備える第１の半導体チップと、
    前記第２の信号処理部を備える第２の半導体チップと、
    前記第１の半導体チップ及び前記第２の半導体チップが実装されている基板と
    をさらに備える請求項１１に記載の撮像システム。
13. 前記第１の信号処理部は、前記検出画像に基づいて前記車両の前方の画像認識を行う
    請求項９に記載の撮像システム。
14. 前記撮像素子を備える第１の半導体チップと、
    前記第１の信号処理部を備える第２の半導体チップと、
    前記第１の半導体チップ及び前記第２の半導体チップが実装されている基板と
    をさらに備える請求項１３に記載の撮像システム。
15. 前記複数の画素の前記入射角指向性の重心の平均が、前記ウインドシールドの傾斜に合わせて、前記画素の中心から一方の方向に偏っている
    請求項１に記載の撮像システム。
16. 前記複数の画素の前記入射角指向性の重心が、それぞれ前記画素の中心から一方の方向に偏っている
    請求項１に記載の撮像システム。
17. 前記入射角指向性の重心の平均は、前記撮像素子が前記車両に取り付けられた状態において、鉛直方向に対して上方向に偏っている
    請求項１に記載の撮像システム。
18. 前記撮像素子は、ブラケットを介して、前記ウインドシールドに対して脱着可能に取り付けられる
    請求項１に記載の撮像システム。
19. 撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を出力する画素を複数備え、
    前記複数の画素の前記入射光の入射角に対する指向性を示す入射角指向性の重心の平均が、前記画素の中心から偏っている
    撮像素子。
20. 前記撮像素子は、受光面が車両のウインドシールドの車内側の面に対向し、かつ、接触又は近接するように取り付けられ、
    前記複数の画素の前記入射光の前記入射角指向性の重心の平均が、前記画素の中心から上方向に偏っている
    請求項１９に記載の撮像素子。

Images