JP2018029280A - 撮像装置と撮像方法 - Google Patents

Abstract

【課題】動きぼけを生じにくい広ダイナミックレンジの撮像を行えるようにする。【解決手段】撮像部１３は、入射光に基づいて画素信号を生成する複数の画素を所定の偏光方向の偏光画素と非偏光画素で構成する。偏光回転部１１は撮像部１３の入射面側に設けられて偏光方向を回転させて撮像部１３に入射させる。画像信号処理部１４は、偏光画素の感度に基づき利得調整を行い、利得調整後の画像信号を用いた画像合成によって、動きぼけを生じにくい広ダイナミックレンジな撮像画を生成する。また、偏光回転部１１で偏光方向を回転させることでダイナミックレンジを変更できる。【選択図】 図１

Description

この技術は、撮像装置と撮像方法に関し、被写体に動きがあってもぼけの少ない広ダイナミックレンジ画像を生成できるようにする。

撮像装置ではＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Device）イメージセンサのような固体撮像素子が用いられている。このような固体撮像素子では入射光量に応じた電荷を蓄積し、蓄積した電荷に対応する電気信号を出力する光電変換を行う。しかし、光電変換素子における電荷蓄積量には上限があり、一定以上の光量を受けると蓄積電荷量が飽和レベルに達してしまい、一定以上の明るさの被写体領域は飽和した輝度レベルに設定されるいわゆる白とびが発生してしまう。このため、例えば特許文献１では、複数の異なる露光時間の画像を合成して広ダイナミックレンジ画像を生成することが行われている。また、特許文献２では、偏光フィルタが設けられた画素と偏光フィルタが設けられていない画素を設けることで１回の撮像でダイナミックレンジを拡大することが行われている。

特開２０１１−２４４３０９号公報 特許５５６２９４９号公報

ところで、被写体や撮像装置が動きを生じると露光時間が長くなるに伴い撮像画では動きぼけが顕著となる。したがって、複数の異なる露光時間の画像を合成した広ダイナミックレンジ画像では、動きぼけを生じやすくなる。また、偏光フィルタが設けられた画素と偏光フィルタが設けられていない画素を設ける場合、常に画素が２つの感度に分けられることから高解像度の撮像画を得ることができない。

そこで、この技術では、動きぼけを生じにくいダイナミックレンジを重視した撮像を行うことができ、同時に、撮影する画像のダイナミックレンジを可変とし、また、ダイナミックレンジの拡大が必要ない場合には高解像度の撮像画を得ることができる撮像装置と撮像方法を提供することを目的とする。

この技術の第１の側面は、
入射光に基づいて画素信号を生成する複数の画素を所定の偏光方向の偏光画素と非偏光画素で構成した撮像部と、
前記撮像部の入射面側に設けられて、前記入射光の偏光方向を回転させる偏光回転部と、
を有する撮像装置にある。

この技術では、入射光に基づいて画素信号を生成する撮像部の複数の画素が、所定の偏光方向の偏光画素と非偏光画素で構成されており、撮像部の入射面側に入射光の偏光方向を回転させる偏光回転部が設けられている。偏光回転部は例えば入射光のうち特定の偏波のみを通す偏光素子と、この偏光素子を任意の角度に回転する機構とからなる。偏光回転部は偏光素子を回転させて、撮像部における偏光画素の感度を可変できるように構成されている。回転はモータによる駆動のほか、ユーザーが手で回せるように構成してもよい。

また、撮像装置には感度検出部と画像信号処理部が設けられて、感度検出部では、撮像部における偏光画素の感度を検出する。例えば、感度検出部は、入射光の偏光方向に基づき、または偏光画素で生成された画素信号に基づき、偏光画素の感度を検出する。

画像信号処理部は、非偏光画素と偏光画素の感度差が閾値よりも大きい場合、偏光素子の角度に応じて、あるいは感度検出部で検出した感度に応じてダイナミックレンジを変化させて撮像画の画像信号を生成する。画像信号処理部は、例えば感度検出部で検出した感度に基づき偏光画素に対する利得調整を行い、利得調整後の画像信号を用いて画像合成を行い、感度に応じたダイナミックレンジの画像信号を生成する。また、画像信号処理部は、画像合成において、非偏光画素で飽和を生じる場合に、飽和を生じる非偏光画素を用いて生成した撮像画の画像信号から、非偏光画素よりも感度の低い偏光画素を用いて生成した撮像画の画像信号に切り替える。例えば画像信号処理部は、飽和を生じる非偏光画素を用いて生成した撮像画の画像信号と感度の低い偏光画素を用いて生成した撮像画の画像信号の合成比を、入射光に応じて制御して、飽和を生じる非偏光画素を用いて生成した撮像画の画像信号から、感度の低い偏光画素を用いて生成した撮像画の画像信号に切り替える。

画像信号処理部は、非偏光画素と前記偏光画素の感度差が閾値以下である場合、各画素の画素信号に基づき対応する画素の画像を示す撮像画の画像信号を生成する。
この場合は、高解像度の画像を得ることができる。

また、偏光回転部を制御する制御部が設けられて、制御部は、偏光画素で信号強度の飽和を生じないように、例えば偏光素子を回転する機構の駆動制御を行い、入射光の偏光方向を回転させる。また、表示部が設けられて、表示部では撮像画と入射光の偏光方向の回転操作を行うためのユーザインタフェース画像を表示する。さらに、表示部には、偏光画素または非偏光画素に関する信号強度分布を示す画像を表示してもよい。

この技術の第２の側面は、
入射光に基づいて画素信号を生成する複数の画素を、所定の偏光方向の偏光画素と非偏光画素で構成した撮像部に、偏光回転部を介した前記入射光が入射されて、前記入射光の偏光方向の回転位置に応じたダイナミックレンジで撮像画の画像信号を生成すること
を含む撮像方法にある。

この技術によれば、入射光に基づいて画素信号を生成する複数の画素を所定の偏光方向の偏光画素と非偏光画素で構成した撮像部に対して、撮像部の入射面側に設けられた偏光回転部で偏光方向を回転させた入射光が入射される。このため、回転角度により、偏光画素は入射光の偏光方向に応じた感度となって、広ダイナミックレンジの撮像を行えるようになり、偏光画素の感度に基づき利得調整を行い、利得調整後の画像信号を用いた画像合成によって、動きぼけを生じにくい広ダイナミックレンジな撮像画を生成できる。また、偏光回転部で偏光方向を回転させることでダイナミックレンジを可変できるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また付加的な効果があってもよい。

撮像装置の構成を例示した図である。 撮像部の構成を例示した図である。 撮像装置の動作を示すフローチャートである。 撮像設定処理を示すフローチャートである。 割り込み処理を示すフローチャートである。 入射光と偏光素子を透過した直線偏光および撮像部の関係を示している。 偏光素子の回転角と撮像部における偏光画素の感度の関係を例示した図である。 利得調整と画像合成を説明するための図である。 入射光と合成比の関係を例示した図である。 撮像部の具体例を示した図である。 画像信号処理部の動作例を示した図である。 表示部の表示画面を例示した図（解像度重視撮影モードで撮像が行われている場合）である。 表示部の表示画面を例示した図（被写体画像の飽和が生じた場合）である。 表示部の表示画面を例示した図（ダイナックレンジを広くした場合）である。 表示部の表示画面を例示した図（被写体が暗く黒潰れが生じた場合）である。 表示部の表示画面を例示した図（ＩＳＯ感度を高くすることで撮像画を明るくした場合）である。 表示部の表示画面を例示した図（ダイナックレンジを広くした場合）である。 撮像装置の他の構成を例示した図である。 撮像部の他の構成を例示した図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。

１．撮像装置の構成
２．撮像装置の動作
２−１．ダイナミックレンジ重視と解像度重視の撮像動作
２−２．撮像動作例
３．撮像装置の他の構成
４．応用例
＜１．撮像装置の構成＞
図１は、撮像装置の構成を例示している。撮像装置１０は、偏光回転部１１、レンズ系ブロック１２、撮像部１３、画像信号処理部１４、表示部１５、画像保存部１６、ユーザインタフェース部１７、制御部２０を有している。

偏光回転部１１は、撮像部１３の入射面側に設けられて偏光回転部１１に入射される被写体光から特定の偏波のみを通して撮像部１３に入射させる。また、偏光回転部１１は、透過光の偏波面（以下「入射光の偏光方向」という）を回転自在とする。偏光回転部１１は、例えば偏光素子１１１と回転駆動部１１２を用いて構成されている。偏光素子１１１は、直線偏光を生成する偏光素子、例えばワイヤーグリッド等を用いて構成された偏光フィルタ等の直線偏光素子である。回転駆動部１１２は、制御部２０からの指示に基づき偏光素子１１１を駆動して、偏光素子１１１の偏光方向を、撮像部１３に入射される入射光の光軸方向を回転軸として回転させる。回転位置検出部１１３は、偏光素子１１１の回転位置を検出して、検出した回転位置を示す回転位置情報を生成して制御部２０へ出力する。なお、偏光素子１１１は、回転駆動部１１２によって回転される構成に限らず手動で回転できる構成とされていてもよい。

レンズ系ブロック１２は、フォーカスレンズやズームレンズ、絞り機構等を有している。また、レンズ系ブロック１２には、制御部２０からの指示に基づきレンズや絞り機構を駆動する駆動部を有している。レンズ系ブロック１２は、制御部２０からの指示に基づきフォーカスレンズやズームレンズの位置を制御して、被写体光学像を撮像部１３の露光面に結像させる。レンズ系ブロック１２は、制御部２０からの指示に基づき絞りの開度を制御して被写体光の光量を調整する。なお、フォーカスレンズやズームレンズおよび絞りの位置は、ユーザ操作に応じて機械的に移動可能とされていてもよい。

撮像部１３は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサまたはＣＣＤ（Charge Coupled Device）イメージセンサ等を用いて構成されている。また、イメージセンサの入射面には所定偏光方向の画素が画面上で均等となるように所定間隔で配置する偏光フィルタが設けられている。図２は撮像部の構成を例示している。撮像部１３は、イメージセンサ１３１の入射面に、水平方向および垂直方向に対して１画素おきに所定偏光方向の画素を配置する偏光フィルタ１３２を設けた場合を例示している。撮像部１３は、生成した偏光画素と非偏光画素の画像信号を画像信号処理部１４へ出力する。なお、所定偏光方向（例えば偏光方向が「０°」）の画素を偏光画素ＣＰ、非偏光である画素を非偏光画素ＣＮとする。

画像信号処理部１４は、撮像部１３から出力された画像信号に対して、ノイズ除去処理、ゲイン調整処理、欠陥画素補正処理、デモザイク処理、色調整処理、解像度変換処理などの各種の画像処理を行う。また、画像信号処理部１４は、撮像部１３に入射される入射光の偏光方向の回転位置に応じたダイナミックレンジの撮像画の画像信号を生成を、例えば非偏光画素と偏光画素の感度差が閾値よりも大きい場合に行う。画像信号処理部１４は、感度差が閾値よりも大きい場合、撮像部１３の偏光画素の感度に応じて偏光画素に対する利得調整を行い、利得調整後の画像信号を用いて画像合成を行う。画像信号処理部１４は、処理後の画像信号を表示部１５と画像保存部１６に出力する。また、画像信号処理部１４は、撮像部１３から出力された画像信号に基づき、非偏光画素群の信号強度分布や偏光画素群の信号強度分布の解析結果を示す情報、例えば色成分毎の信号強度分布や輝度の信号強度分布を示すヒストグラムを画像解析情報として生成して表示部１５へ出力してもよい。なお、画像信号処理部１４は、制御部２０からの制御のもと、撮像装置１０の設定操作や設定状態の確認等を行うためのメニュー表示や撮像時における設定状態等に関する情報表示を行う表示信号を画像信号に重畳して表示部１５等に出力する。また、画像信号処理部１４は、感度検出部の動作を行う場合、撮像部１３から供給された画像信号に基づき、撮像部１３における偏光画素の感度と非偏光画素の感度や偏光画素と非偏光画素との感度差，感度比を算出する。撮像部１３における偏光画素および非偏光画素の感度とは、偏光回転部１１を介して被写体光を撮像部に入射したときの偏光画素および非偏光画素の感度であり、偏光画素の感度は、偏光回転部１１の偏光方向と偏光画素の偏光方向の関係に応じて変化する。画像信号処理部１４は、例えば偏光回転部１１を介して画素飽和を生じない明るさの被写体を撮像したときの偏光画素と非偏光画素の信号強度から感度および感度差，感度比を算出する。

表示部１５は、液晶ディスプレイや、有機ＥＬ（ＥＬ：Electro luminescence）ディスプレイなどにより構成される。表示部１５は、その画面上に撮像画や各種情報を表示させる。例えば、表示部１５は、画像信号処理部１４から出力された画像データに基づき、画面上にスルー画を表示する。また、表示部１５は、画像保存部１６に記録された画像が画像信号処理部１４で再生されたとき再生画像を画面上に表示する。さらに、表示部１５は、メニュー表示や情報表示を行う。

画像保存部１６は、画像信号処理部１４から出力された画像データや、その画像データに関連するメタデータ（例えば、その画像データが取得された日時等）を記憶する。画像保存部１６は、例えば、半導体メモリ、光ディスク、ＨＤ（hard Disc）などにより構成される。画像保存部１６は、撮像装置１０の内部に固定して設けられてもよく、撮像装置１０に対して着脱可能に設けられてもよい。

ユーザインタフェース部１７はシャッターボタンや操作スイッチ、タッチパネル等で構成されている。ユーザインタフェース部１７は、シャッターボタン、偏光フィルタ回転操作ボタン、種々の操作スイッチ、タッチパネル等に対するユーザ操作に応じた操作信号を生成して制御部２０へ出力する。

制御部２０は、ＣＰＵ(Central Processing Unit)やＲＯＭ(Read Only Memory)，ＲＡＭ(Random Access Memory)等を有している。ＲＯＭ（Read Only Memory）は、ＣＰＵ(Central Processing Unit)により実行される各種プログラムを記憶する。ＲＡＭ（Random Access Memory）は、各種パラメータ等の情報を記憶する。ＣＰＵは、ＲＯＭに記憶されている各種プログラムを実行して、ユーザインタフェース部１７からの操作信号に基づき、ユーザ操作に応じた動作モードで撮像動作が撮像装置１０で行われるように各部を制御する。

制御部２０は、感度検出部としての動作を行う場合、偏光素子回転部１１からの回転位置情報に基づき、偏光素子回転部１１の偏光素子１１１と撮像部１３の偏光フィルタ１３２で偏光方向の違い（偏光方向相違角）を算出する。また、偏光方向の違いに対応する非偏光画素の感度を予め算出しておくことで、回転位置情報に基づき偏光画素の感度や感度差，感度比を算出できる。制御部２０は、算出した偏光方向相違角または画像信号処理部１４で算出された偏光画素と非偏光画素の感度差に基づき、ダイナミックレンジ重視撮像モードとするか、解像度重視撮像モードとするか判別する。制御部２０は、偏光方向相違角または感度差が閾値を超える場合、ダイナミックレンジ重視モードと判定する。ダイナミックレンジ重視モードと判定した場合、制御部２０は画像信号処理部１４において、偏光画素について感度に応じて利得調整と、利得調整後の画素信号と非偏光画素の画素信号を用いた画像合成を行い、広ダイナミックレンジの撮像画の画像信号を生成させる。また、制御部２０は、偏光方向相違角または感度差が閾値以下である場合、解像度重視モードと判別して、画像信号処理部１４で非偏光画素の感度に応じた利得調整や画像合成を行うことなく解像度の低下のない撮像画の画像信号を生成させる。なお、閾値は、例えば撮像画において偏光画素と非偏光画素との感度差による影響を許容できる最大値とする。

＜２．撮像装置の動作＞
次に撮像装置の動作について説明する。図３は撮像装置の動作を示すフローチャートである。ステップＳＴ１で制御部は撮像設定処理を行う。図４は撮像設定処理を示すフローチャートである。

ステップＳＴ１１で制御部は偏光素子状態情報を取得する。制御部２０は、偏光回転部１１の回転位置検出部１１３から偏光素子１１１の回転位置を示す回転位置情報、または画像信号処理部１４から偏光画素と非偏光画素の感度差を取得してステップＳＴ１２に進む。

ステップＳＴ１２で制御部は感度差が閾値を超えているか判別する。制御部２０は、回転位置情報を取得した場合、撮像部１３における偏光フィルタ１３２の偏光方向に対する偏光回転部１１における偏光素子１１１の偏光方向の違いを示す偏光方向相違角を算出する。また、制御部２０は、偏光方向相違角に基づき偏光画素と非偏光画素の感度差を算出する。制御部２０は回転位置情報に基づき算出した感度差または画像信号処理部１４から取得した感度差が閾値を超える場合はステップＳＴ１３に進み、閾値以下である場合はステップＳＴ１４に進む。

ステップＳＴ１３で制御部はダイナミックレンジ重視撮像モード設定処理を行う。制御部２０は、被写体の輝度に応じて撮像部１３の露光時間等の設定を行う。また、制御部２０は、偏光画素と非偏光画素の感度に基づく利得制御と、利得調整後の画像信号を用いた画像合成を行い、広ダイナックレンジ画像を生成するように画像信号処理部１４の動作を設定する。なお、制御部２０は、画像信号処理部１４でノイズ除去処理や欠陥画素補正処理、デモザイク処理、色調整処理、解像度変換処理などの各種の画像処理も合わせて行うようにして図３のステップＳＴ２に進む。

ステップＳＴ１４で制御部は解像度重視撮像モード設定処理を行う。制御部２０は、被写体の輝度に応じて露光時間等の設定を行う。なお、制御部２０は、画像信号処理部１４でノイズ除去処理や欠陥画素補正処理、デモザイク処理、色調整処理、解像度変換処理などの各種の画像処理も合わせて行うようにして図３のステップＳＴ２に進む。

ステップＳＴ２で制御部はスルー画表示処理を行う。制御部２０はステップＳＴ１の撮像設定に基づき撮像部１３を制御して画像信号を生成させて表示部１５でスルー画の表示を行いステップＳＴ３に進む。

ステップＳＴ３で制御部は撮像終了であるか判別する。制御部２０は、撮像装置の動作モードが被写体を撮像して記録画を保存する動作モードから他の動作モードに切り替えられていない場合、および撮像装置の動作を終了する終了操作が行われていない場合は撮像終了でないと判別してステップＳＴ１に戻る。また、制御部２０は、他の動作モードへの切替操作や終了操作が行われた場合動作を終了する。

制御部は、図３に示すステップＳＴ１からステップＳＴ３までの処理中にシャッター操作が行われた場合、図５に示す割り込み処理を行う。ステップＳＴ２１で制御部は記録画生成処理を行う。制御部２０は、撮像モードがダイナミックレンジ重視撮像モードである場合、ダイナミックレンジ重視撮像モード設定処理の撮像設定で撮像部１３と画像信号処理部１４を動作させて広ダイナミックレンジ画像の画像信号を生成する。また、制御部２０は、撮像モードが解像度重視撮像モードである場合、解像度重視撮像モード設定処理の撮像設定で撮像部１３を駆動して偏光撮像画の画像信号を生成する。制御部２０は、ダイナミックレンジの広いまたは解像度の低下がない撮像画の画像信号を生成してステップＳＴ２２に進む。なお、ダイナミックレンジ重視撮像モードと解像度重視撮像モードの撮像動作については後述する。

ステップＳＴ２２で制御部は画像保存処理を行う。制御部２０はステップＳＴ２１で生成した画像信号を画像信号処理部１４へ出力して種々の処理を行い、処理後の画像信号を画像保存部１６に記憶させて割り込み処理を終了する。

＜２−１．ダイナミックレンジ重視と解像度重視の撮像動作＞
次に撮像装置におけるダイナミックレンジ重視の撮像動作について説明する。図６は、入射光と偏光素子を透過した直線偏光および撮像部の関係を示している。偏光素子１１１に入射光ＬＡが入射されると、偏光素子１１１は直線偏光ＬＢを透過して撮像部１３に入射する。また、撮像部１３に入射される入射光の光軸方向を回転軸として偏光素子１１１を回転すると、直線偏光ＬＢの偏光方向が変化する。例えば図６の（ａ）に示すように偏光素子１１１の回転角θが「θ＝０°」である場合、直線偏光ＬＢと撮像部１３における偏光画素ＣＰと偏光方向が等しくなる。また、図６の（ｂ）に示すように偏光素子１１１の回転角θが「θ＝４５°」である場合、直線偏光ＬＢと撮像部１３における偏光画素ＣＰで偏光方向の角度差を生じる。また、図６の（ｃ）に示すように偏光素子１１１の回転角θが「θ＝９０°」である場合、直線偏光ＬＢと撮像部１３における偏光画素ＣＰの偏光方向は直交する方向となる。

図７は、偏光素子の回転角と撮像部における偏光画素の感度の関係を例示している。偏光素子１１１は、図６に示すように、撮像部１３に入射される入射光の光軸方向を回転軸として回転可能に構成されている。ここで、偏光素子１１１を回転して偏光方向を変化させた場合、撮像部１３における偏光画素ＣＰの感度は、撮像素子の回転角に応じて変化する。

例えば、偏光方向が「０°」とされている偏光画素ＣＰの感度は、偏光素子１１１の回転角θが「θ＝０°」である場合に最大（例えば０．５）となる。その後、偏光画素ＣＰの感度は、偏光素子１１１の偏光方向の回転と共に減少して偏光素子１１１の回転角θが「θ＝９０°」である場合に最小（例えば０）となる。さらに、偏光素子１１１の偏光方向が回転させると、回転と共に感度が増加して、偏光素子１１１の回転角θが「θ＝１８０°」である場合に最大（例えば０．５）となる。

制御部２０は、非偏光画素ＣＮと偏光画素ＣＰの感度比に基づき、偏光画素ＣＰの利得を設定して画像信号処理部１４へ出力する。例えば、非偏光画素ＣＮが感度「０．５」、偏光画素ＣＰが感度「ＳＥ」である場合、感度比「０．５／ＳＥ」を偏光画素ＣＰの利得ＧＡnpとして設定して、画像信号処理部１４へ出力する。なお、感度や感度比の算出は上述のように画像信号処理部１４で行ってもよい。

画像信号処理部１４は、設定された利得を用いて利得調整を行い、利得調整後に画像合成を行う。図８は、利得調整と画像合成を説明するための図である。図８の（ａ）は入射光に対する偏光画素の信号強度を例示している。例えば非偏光画素ＣＮでは入射光が輝度ＬＲ１となる場合に信号強度ＩＭsatで飽和する。また、偏光画素ＣＰでは入射光が輝度ＬＲ１よりも高い輝度ＬＲ２となる場合に信号強度ＩＭsatで飽和する。画像信号処理部１４は非偏光画素ＣＮで飽和を生じる場合、図８の（ｂ）に示すように、感度に応じた利得ＧＡnpで偏光画素ＣＰの画素信号を増幅して画像合成を行い、入射光が輝度ＬＲ１より高くなっても飽和を生じていない広ダイナミックレンジの画像信号を生成できる。なお、入射光が輝度ＬＲ１以上となったか否かの判別は、撮像部１３からの画像信号の信号レベルに基づき判別できる。

また、画像信号処理部１４は、画像合成において、非偏光画素ＣＮに基づく画像から偏光画素ＣＰの利得調整後の画像への切替が目立たないように合成比を入射光（撮像部１３からの画像信号の信号レベル）に応じて設定してもよい。図９は、入射光と合成比の関係を例示している。画像信号処理部１４は、非偏光画素ＣＮが飽和を生じる輝度ＬＲ１となる前に合成比の調整を行い、飽和を生じる輝度ＬＲ１であるときは、非偏光画素ＣＮに基づく画像から偏光画素ＣＰの利得調整後の画像への切替が完了するように合成比を設定する。

図１０は撮像部の具体例を示している。撮像部１３は、２×２画素を色単位として色配列をベイヤー配列としたモザイクカラーフィルタと、水平方向および垂直方向に対してそれぞれ１画素置きに偏光画素が設けられる偏光フィルタ１３２を撮像部の入射面側に設けた構成とされている。

図１１は画像信号処理部の動作例を示している。画像信号処理部１４は、図１１の（ａ）に示す撮像部から図１１の（ｂ）に示す非偏光画素群と図１１の（ｃ）に示す偏光画素群に分割する。画像信号処理部１４は非偏光画素群の画素信号を用いて画素補間およびデモザイク処理を行い、図１１の（ｄ）に示すように色成分毎の撮像画（以下「非偏光画素群画像」という）の画像信号を生成する。また、画像信号処理部１４は偏光画素の画素信号を用いて画素補間およびデモザイク処理を行い、図１１の（ｅ）に示すように色成分毎の撮像画（以下「偏光画素群画像」という）の画像信号を生成する。なお、偏光画素群画像は非偏光画素群画像以下の感度である。画像信号処理部１４は、非偏光画素群画像の画素毎に画像信号が飽和を生じるか判別する。画像信号処理部１４は、非偏光画素群画像の画像信号が飽和する場合、感度比に応じた利得で増幅した偏光画素群画像における対応画素位置の画像信号を用いて入射光（非偏光画素の画像信号）に応じた合成比で画像合成を行い、図１１の（ｆ）に示す広ダイナミックレンジである色成分毎の画像信号を生成する。

解像度重視の撮像動作では、偏光画素と非偏光画素の感度差が許容範囲であることから、画像信号処理部１４は非偏光画素群と偏光画素群に分割することなく、各画素の画素信号を用いて画素補間およびデモザイク処理を行い、色成分毎の画像信号を、解像度の劣化を生じることなく生成する。

撮像装置１０では、このような処理を行うことで、偏光素子１１１を回転させるだけで、ダイナミックレンジ重視の撮像画または解像度重視の撮像画を生成できる。また、ダイナミックレンジ重視の撮像画を生成する場合、等しい露光時間で同時に感度の異なる撮像画を生成できることから、動きを生じた暗い被写体を撮像する場合でも動きによるぼけのない広ダイナミックレンジ画像を生成できる。さらに、偏光素子１１１を回転させることで、偏光画素の感度を調整できるので、ダイナミックレンジ重視の撮像モードにおいて、偏光素子１１１の回転量を調整するだけで、所望のダイナミックレンジの画像を生成できる。また、解像度の低下を生じていない撮像画の生成を行うこともできる。

＜２−２．撮像動作例＞
次に、撮像動作例について説明する。図１２〜図１７は表示部の表示画面を例示している。表示画面では、画像表示領域１５１と非偏光画素群ヒストグラム表示領域１５２、偏光画素群ヒストグラム表示領域１５３、ユーザインタフェース表示領域１５４が設けられている。

画像表示領域１５１では画像信号処理部１４から出力された画像信号に基づき例えばスルー画や記録画像が表示される。非偏光画素群ヒストグラム表示領域１５２では、画像信号処理部１４で生成された画像解析情報に基づき非偏光画素の信号強度ヒストグラムが表示される。偏光画素群ヒストグラム表示領域１５３では、画像信号処理部１４で生成された画像解析情報に基づき偏光画素の信号強度のヒストグラムが表示される。なお、ヒストグラムでは、色成分毎のヒストグラムを表示してもよく輝度のヒストグラムを生成してもよい。ユーザインタフェース表示領域１５４では、偏光素子１１１の回転位置を設定するスライダー１５４ａとＩＳＯ感度を設定するスライダー１５４ｂが設けられている。なお、偏光素子１１１の回転位置の設定やＩＳＯ感度の設定は、スライダーを用いる場合に限らずダイヤル等を用いるようにしてもよい。

図１２は、回転角が「０°」とされており解像度重視撮影モードで撮像が行われている場合を例示している。画像表示領域１５１に表示されている撮像画は、ヒストグラムの表示からも明らかなように、飽和を生じていない適正な露出の画像となっている。

図１３は、回転角が「０°」とされており、すべての画素の感度が同一になっている状態で、被写体画像の飽和が生じた場合を例示している。例えば空が非常に明るい場合、空の領域の偏光画素と非偏光画素では飽和を生じて、ヒストグラムでは信号強度の高い階級で度数が高くなっている。このような場合、偏光素子１１１を回転させてダイナックレンジを広くする。図１４は、偏光素子１１１を回転させてダイナックレンジを広くした場合を示している。偏光素子１１１を回転させると偏光画素の感度が低くなる。なお、偏光画素の感度が低くなったことで、偏光画素群のヒストグラムでは信号強度の高い階級の度数が低下している。このように、偏光素子１１１を回転させて撮像偏光画素の感度が低くなると、撮像モードがダイナミックレンジ重視撮影モードに切り替わる。この場合、画像信号処理部１４では、非偏光画素に基づく画像と偏光画素に基づく偏光画素の感度に応じて利得調整が行われた画像が合成されて、画像表示領域１５１に表示される画像は、飽和を生じていない広ダイナミックレンジの撮像画となる。

図１５は、回転角が「０°」とされており、すべての画素の感度が同一になっている状態で、被写体が暗く黒潰れが生じた場合を例示している。例えば日陰が暗く、日陰の領域の偏光画素と非偏光画素では信号強度が最低となり、ヒストグラムでは信号強度の低い階級で度数が高くなっている。このような場合、図１６に示すように、ＩＳＯ感度を高くすることで撮像画を明るくできる。しかし、ＩＳＯ感度を高くすることで例えば空の領域の偏光画素と非偏光画素で飽和を生じてしまう場合がある。なお、ＩＳＯ感度を高くすることで、ヒストグラムでは信号強度の高い階級で度数が高くなっている。

ここで、偏光素子１１１を回転させると偏光画素の感度が低くなる。図１７は、図１６の状態から偏光素子１１１を回転させてダイナックレンジを広くした場合を示している。なお、偏光画素の感度が低くなったことで、偏光画素群のヒストグラムでは信号強度の高い階級の度数が低下している。このように、偏光素子１１１を回転させて偏光画素の感度が低くなると、撮像モードがダイナミックレンジ重視撮影モードに切り替わる。この場合、画像信号処理部１４は、非偏光画素に基づく画像と偏光画素に基づく偏光画素の感度に応じて利得調整が行われた画像を合成して、画像表示領域１５１に表示される画像は、飽和を生じていない広ダイナミックレンジの撮像画となる。

このように、ユーザは、偏光素子１１１を回転させるだけで、ダイナミックレンジ重視の撮像画または解像度重視の撮像画を生成できる。また、偏光素子１１１を回転させることで、偏光画素の感度を調整できるので、ダイナミックレンジ重視の撮像モードにおいて、偏光素子１１１の回転量を調整するだけで、所望のダイナミックレンジの画像を生成できる。また、表示部１５にはユーザインタフェース画像が表示されていることから、画面上で、撮像部１３に入射される入射光の偏光方向を変化させることができる。また、非偏光画素群ヒストグラムを表示することで、画素が飽和してダイナミックレンジを広げる必要があるかを画面上で確認できる。さらに、偏光画素群ヒストグラムを表示することで、ダイナミックレンジの拡大が最適に行われているかを画面上で確認できる。例えば偏光画素群ヒストグラムで信号強度の最も高い階級の度数が高い場合は、ダイナミックレンジの拡大が不足しており、信号強度の最も低い階級の度数が高い場合、または、高い階級の度数が揃って０になっている場合は、ダイナミックレンジの拡大が過大であることを判別できる。

なお、図１２〜図１７の表示画面は一例であって、例えば入射光の偏光方向や拡大されたダイナミックレンジを数値や図で表示してもよい。また、偏光素子１１１を回転させることで偏光画素群のヒストグラムが変化することから、表示するヒストグラムは偏光画素群のみであってもよい。

＜３．撮像装置の他の構成＞
上述の実施の形態では、偏光回転部１１をレンズ系ブロック１２の入射光面側に設けた構成を例示したが、偏光回転部１１は撮像部１３の入射光面側の位置であればよい。図１８は撮像装置の他の構成を例示しており、撮像装置１０ａでは、レンズ系ブロック１２と撮像部１３との間に偏光回転部１１を設けている。

また、撮像部の構成は、図１０に示すように、２×２画素を色単位内で斜め方向に偏光画を設ける場合に限られない。図１９は、撮像部の他の構成を例示している。図１９の（ａ）は、２×２画素を色単位内で水平方向に偏光画を設けた場合を示している。また、図１９の（ｂ）は、撮像部１３の色単位を１画素として、垂直方向の２画素を偏光画素として、この２画素の偏光画素ブロックを水平方向に１画素置きで垂直方向に２画素置きに配置した場合を例示している。このように、色成分単位を１画素単位とすれば、２×２画素の色成分単位に比べて色成分画素の配置の偏りが小さく画質を良くすることが可能となる。

また、偏光回転部１１における偏光素子１１１の回転は、ユーザ操作に限らず撮像部１３で生成される画素信号に応じて自動的に行うようにしてもよい。例えば画像信号処理部１４で生成された画像解析情報を制御部２０へ出力して、制御部２０は偏光画素群ヒストグラムに基づき偏光画素で飽和を生じないように偏光素子１１１を回転してもよい。この場合、撮像範囲の被写体に応じて飽和を生じないようにダイナミックレンジを自動的に調整することが可能となる。

また、偏光回転部１１は、偏光素子１１１と回転駆動部１１２を用いた構成に限らず、特開平１０−２６８２４９号公報で開示されている液晶素子を用いた偏光回転素子等の技術を用いた構成としてもよい。例えば、撮像部の入射面側に入射光のうち特定の偏波のみを通す偏光素子を設けて、この偏光素子を透過した偏波光を、液晶素子を用いた偏光回転部で回転させる。このような構成とすれば、偏光素子１１１を回転させる機構を設けることなく、偏光方向の回転を容易に行うことができる。

＜４．応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、情報処理端末に限らず、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

図２０は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２０に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２０では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図２１は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図２１には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図２０に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global System of Mobile communications）、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２０の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図２０に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

以上説明した車両制御システム７０００において、撮像部７４１０，７９１０，７９１２，７９１４，７９１６，７９１８、またはこれらの撮像部のいずれかに図１に示す撮像部を用いて、撮像部に偏光回転部を設ける。また、図２０に示した応用例の統合制御ユニット７６００に画像信号処理部１４と制御部２０を設ける。このような構成とすれば、ダイナミックレンジまたは解像度重視の撮像画を取得できるので、取得した撮像画を運転支援や運転制御等に利用できる。

以上説明した車両制御システム７０００において、撮像部７４１０，７９１０，７９１２，７９１４，７９１６，７９１８は、それぞれ複数の撮像部例えば図２に示す撮像部１３を用いる構成とする。また、図２９に示した応用例の統合制御ユニット７６００に画像信号処理部１４を設ける。このような構成とすれば、撮像部７４１０，７９１０，７９１２，７９１４，７９１６，７９１８を小型・薄型化しても高性能な撮像画を取得できるので、取得した撮像画を運転支援や運転制御等に利用できる。なお、画像信号処理部１４は、図２９に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

また、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 入射光に基づいて画素信号を生成する複数の画素を所定の偏光方向の偏光画素と非偏光画素で構成した撮像部と、
前記撮像部の入射面側に設けられて、前記入射光の偏光方向を回転させる偏光回転部と、
を有する撮像装置。
（２） 前記入射光の偏光方向の回転位置に応じたダイナミックレンジの撮像画の画像信号を生成する画像信号処理部をさらに備える（１）に記載の撮像装置。
（３） 前記入射光の偏光方向と前記所定の偏光方向の違いによって感度が変化する前記偏光画素の感度を検出する感度検出部をさらに備え、
前記画像信号処理部は、前記非偏光画素と前記偏光画素の感度差が閾値よりも大きい場合、前記入射光の偏光方向の回転位置に応じたダイナミックレンジの撮像画の画像信号を生成する（２）に記載の撮像装置。
（４） 前記画像信号処理部は、前記感度検出部で検出した感度に応じてダイナミックレンジを変化させる（３）に記載の撮像装置。
（５） 前記画像信号処理部は、前記感度検出部で検出した感度に基づき前記偏光画素に対する利得調整を行い、利得調整後の画像信号を用いて画像合成して、前記感度に応じたダイナミックレンジの画像信号を生成する（４）に記載の撮像装置。
（６） 前記画像信号処理部は、前記画像合成において、前記非偏光画素で飽和を生じる場合に、前記非偏光画素を用いて生成した撮像画の画像信号から、前記非偏光画素よりも感度の低い偏光画素を用いて生成した撮像画の画像信号に切り替える（５）に記載の撮像装置。
（７） 前記画像信号処理部は、前記非偏光画素を用いて生成した撮像画の画像信号と前記偏光画素を用いて生成した撮像画の画像信号の合成比を、前記入射光に応じて制御して、前記非偏光画素を用いて生成した撮像画の画像信号から、前記偏光画素を用いて生成した撮像画の画像信号に切り替える（６）に記載の撮像装置。
（８） 前記画像信号処理部は、前記非偏光画素と前記偏光画素の感度差が閾値以下である場合、各画素の画素信号に基づき対応する画素の画像を示す撮像画の画像信号を生成する（３）乃至（７）のいずれかに記載の撮像装置。
（９） 前記感度検出部は、前記入射光の偏光方向の回転位置に基づき前記偏光画素の感度を算出する（３）乃至（８）のいずれかに記載の撮像装置。
（１０） 前記感度検出部は、前記偏光画素で生成された画素信号に基づき前記偏光画素の感度を算出する（３）乃至（８）のいずれかに記載の撮像装置。
（１１） 表示部をさらに備え、
前記表示部では前記撮像画と前記入射光の偏光方向の回転操作を行うためのユーザインタフェース画像を表示する（２）乃至（１０）のいずれかに記載の撮像装置。
（１２） 前記表示部では前記偏光画素または前記非偏光画素に関する信号強度分布を示す画像を表示する（１１）に記載の撮像装置。
（１３） 前記偏光回転部を制御する制御部をさらに備え、
前記制御部は、前記非偏光画素で信号強度の飽和を生じないように前記入射光の偏光方向を回転させる（１）乃至（１２）のいずれかに記載の撮像装置。
（１４） 前記偏光回転部は、前記撮像部の入射面側に設けられて前記入射光のうち特定の偏波のみを通す偏光素子と、該偏光素子を任意の角度に回転する機構からなる（１）乃至（１３）のいずれかに記載の撮像装置。

この技術の撮像装置と撮像方法では、入射光に基づいて画素信号を生成する複数の画素を所定の偏光方向の偏光画素と非偏光画素で構成した撮像部に対して、撮像部の入射面側に設けられた偏光回転部で偏光方向を回転させた入射光が入射される。このため、偏光画素は入射光の偏光方向に応じた感度となって、広ダイナミックレンジの撮像を行えるようになり、偏光画素の感度に基づき利得調整を行い、利得調整後の画像信号を用いた画像合成によって、動きぼけを生じにくい広ダイナミックレンジな撮像画を生成できる。また、偏光回転部で偏光方向を回転させることでダイナミックレンジを変更できるようになる。したがって、動きぼけを生じにくい広ダイナミックレンジの撮像画に基づき種々の制御を行う機器に適している。

１０，１０ａ・・・撮像装置
１１・・・偏光回転部
１２・・・レンズ系ブロック
１３・・・撮像部
１４・・・画像信号処理部
１５・・・表示部
１６・・・画像保存部
１７・・・ユーザインタフェース部
２０・・・制御部
１１１・・・偏光素子
１１２・・・回転駆動部
１１３・・・回転位置検出部
１３１・・・イメージセンサ
１３２・・・偏光フィルタ
１５１・・・画像表示領域
１５２・・・非偏光画素群ヒストグラム表示領域
１５３・・・偏光画素群ヒストグラム表示領域
１５４・・・ユーザインタフェース表示領域
１５４ａ，１５４ｂ・・・スライダー

Claims (15)

1. 入射光に基づいて画素信号を生成する複数の画素を所定の偏光方向の偏光画素と非偏光画素で構成した撮像部と、
   前記撮像部の入射面側に設けられて、前記入射光の偏光方向を回転させる偏光回転部と、
   を有する撮像装置。
2. 前記入射光の偏光方向の回転位置に応じたダイナミックレンジの撮像画の画像信号を生成する画像信号処理部をさらに備える
   請求項１に記載の撮像装置。
3. 前記入射光の偏光方向と前記所定の偏光方向の違いによって感度が変化する前記偏光画素の感度を算出する感度検出部をさらに備え、
   前記画像信号処理部は、前記非偏光画素と前記偏光画素の感度差が閾値よりも大きい場合、前記入射光の偏光方向の回転位置に応じたダイナミックレンジの撮像画の画像信号を生成する
   請求項２に記載の撮像装置。
4. 前記画像信号処理部は、前記感度検出部で算出した感度に応じてダイナミックレンジを変化させる
   請求項３に記載の撮像装置。
5. 前記画像信号処理部は、前記感度検出部で算出した感度に基づき前記偏光画素に対する利得調整を行い、利得調整後の画像信号を用いて画像合成して、前記感度に応じたダイナミックレンジの画像信号を生成する
   請求項４に記載の撮像装置。
6. 前記画像信号処理部は、前記画像合成において、前記非偏光画素で飽和を生じる場合に、前記非偏光画素を用いて生成した撮像画の画像信号から、前記非偏光画素よりも感度の低い偏光画素を用いて生成した撮像画の画像信号に切り替える
   請求項５に記載の撮像装置。
7. 前記画像信号処理部は、前記非偏光画素を用いて生成した撮像画の画像信号と前記偏光画素を用いて生成した撮像画の画像信号の合成比を、前記入射光に応じて制御して、前記非偏光画素を用いて生成した撮像画の画像信号から、前記偏光画素を用いて生成した撮像画の画像信号に切り替える
   請求項６に記載の撮像装置。
8. 前記画像信号処理部は、前記非偏光画素と前記偏光画素の感度差が閾値以下である場合、各画素の画素信号に基づき対応する画素の画像を示す撮像画の画像信号を生成する
   請求項３に記載の撮像装置。
9. 前記感度検出部は、前記入射光の偏光方向の回転位置に基づき前記偏光画素の感度を算出する
   請求項３に記載の撮像装置。
10. 前記感度検出部は、前記偏光画素で生成された画素信号に基づき前記偏光画素の感度を検出する
    請求項３に記載の撮像装置。
11. 表示部をさらに備え、
    前記表示部では前記撮像画と前記入射光の偏光方向の回転操作を行うためのユーザインタフェース画像を表示する
    請求項２に記載の撮像装置。
12. 前記表示部では前記偏光画素または前記非偏光画素に関する信号強度分布を示す画像を表示する
    請求項１１に記載の撮像装置。
13. 前記偏光回転部を制御する制御部をさらに備え、
    前記制御部は、前記非偏光画素で信号強度の飽和を生じないように前記入射光の偏光方向を変化させる
    請求項１に記載の撮像装置。
14. 前記偏光回転部は、前記撮像部の入射面側に設けられて前記入射光のうち特定の偏波のみを通す偏光素子と、該偏光素子を任意の角度に回転する機構からなる
    請求項１に記載の撮像装置。
15. 入射光に基づいて画素信号を生成する複数の画素を、所定の偏光方向の偏光画素と非偏光画素で構成した撮像部に、偏光回転部を介した前記入射光が入射されて、前記入射光の偏光方向の回転位置に応じたダイナミックレンジで撮像画の画像信号を生成すること
    を含む撮像方法。

Images