JP2022175095A - 画像センサ、撮像装置、および画像処理方法 - Google Patents

Abstract

【課題】感度を向上させつつ、各光電変換素子が検出する信号の信号レベルの差を少なくできる画像センサを提供する。【解決手段】複数の光電変換素子と、複数の光電変換素子に対応して配置されている複数色の単位カラーフィルタと、を備えた画像センサであって、少なくとも１つの最小反復単位のカラーフィルタ２３０２は、原色系単位カラーフィルタ２３０３を備える。原色系単位カラーフィルタ２３０３は、対応する原色を透過させ、かつ、対応する原色とは別の原色の透過率が、画像センサの感度を向上させるために有効となる透過率の下限値である下限有効透過率よりも高い。【選択図】図２９

Description

カラーフィルタを備えた画像センサ、この画像センサを備えた撮像装置、撮像装置が行う画像処理方法に関する。

カラーフィルタと光電変換素子とを備えた撮像装置が知られている。カラーフィルタとして、赤色フィルタ、緑色フィルタ、青色フィルタの３色のフィルタを備えるものがよく採用されている。特許文献１には、感度を向上させるため、緑色フィルタに代えて、黄色フィルタまたはクリアフィルタを採用する技術が開示されている。

特許第４９６７４３２号公報

特許文献１に開示された技術では、クリアフィルタまたは黄色フィルタを通過した光が入射する画素が出力する信号レベルと、赤色フィルタおよび青色フィルタを通過した光が入射する画素が出力する信号レベルに大きさ差があるため、画質に問題が生じる恐れがある。

本開示は、この事情に基づいて成されたものであり、その目的とするところは、感度を向上させつつ、各光電変換素子が検出する信号の信号レベルの差を少なくできる画像センサ、撮像装置、および画像処理方法を提供することにある。

上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的態様との対応関係を示すものであって、開示した技術的範囲を限定するものではない。

上記目的を達成するための画像センサに係る１つの開示は、
複数の光電変換素子（２２０４）と、
複数の光電変換素子に対応して配置されている複数色の単位カラーフィルタと、を備えた画像センサであって、
少なくとも１つの単位カラーフィルタは原色系単位カラーフィルタ（２３０３）を備え、
原色系単位カラーフィルタは、対応する原色を透過させ、かつ、対応する原色とは別の原色の透過率が、画像センサの感度を向上させるために有効となる透過率の下限値である下限有効透過率よりも高くなっている、画像センサである。

この画像センサが備える単位カラーフィルタの少なくとも一部は原色系単位カラーフィルタを備える。原色系単位カラーフィルタは、対応する原色を透過させることに加えて、別の原色に対する透過率が下限有効透過率よりも高くなっている。したがって、対応する原色とは別の原色の透過率が下限有効透過率以下になっているカラーフィルタを用いる場合に比較して、画像センサの感度が向上する。

加えて、対応する原色とは別の原色の透過率が下限有効透過率よりも高いフィルタとすることで画像センサの感度を向上させることから、単位カラーフィルタとして、対応する原色とは別の原色の透過率が下限有効透過率以下になっている原色カラーフィルタ、および、それとは別にクリアフィルタを備える構成に比較して、各光電変換素子が出力する信号の信号レベル差を少なくできる。

上記目的を達成するための画像センサに係る他の開示は、
複数の光電変換素子（２２０４）と、
複数の光電変換素子に対応して配置されている複数色の単位カラーフィルタと、を備えた画像センサであって、
少なくとも１つの単位カラーフィルタは原色系単位カラーフィルタ（４３０３、５３０３、６３０３）を備え、
原色系単位カラーフィルタは、原色である原色フィルタ部（４３０４、５３０４、６３０４）と、原色フィルタ部よりも高感度な高感度フィルタ部（４３０５、５３０５）とを備えている、画像センサである。

この画像センサが備える単位カラーフィルタは原色系単位カラーフィルタを備えている。原色系単位カラーフィルタは、原色フィルタ部と、原色フィルタ部よりも高感度な高感度フィルタ部を備えているので、原色系単位カラーフィルタの全部が原色フィルタ部であるよりも感度が向上する。

加えて、原色フィルタ部よりも高感度な高感度フィルタ部を備えることで感度を向上させることから、単位フィルタとして原色フィルタとは別にクリアフィルタを備える場合に比較して、各光電変換素子が出力する信号の信号レベル差を少なくできる。

上記目的を達成するための撮像装置は、上記画像センサと、画像センサが出力した信号を処理してカラー画像を生成する処理回路（２４００）とを備えた撮像装置である。

上記目的を達成するための画像処理方法は、
複数色の単位カラーフィルタと、を備えた画像センサが出力した信号を補正してカラー画像を生成する画像処理方法であって、
画像センサは、複数の光電変換素子（２２０４）と、複数の光電変換素子に対応して配置されている複数色の単位カラーフィルタと、を備え、
複数色の単位カラーフィルタの少なくとも一部は原色系単位カラーフィルタ（４３０３、５３０３、６３０３）を備え、
原色系単位カラーフィルタは、原色である原色フィルタ部（４３０４、５３０４、６３０４）と、原色フィルタ部よりも高感度な高感度フィルタ部（４３０５、５３０５）とを備え、
原色系単位カラーフィルタは、高感度フィルタ部が複数のサブ高感度フィルタ部（５３０５ｓ）に分割されており、
複数のサブ高感度フィルタ部にそれぞれ対応した複数の光電変換素子を備え、
画像処理方法は、複数のサブ高感度フィルタ部に対応した複数の光電変換素子のうち、１つのピクセルについての色を生成するために用いる光電変換素子の数を、周囲の明るさに応じて調整する、画像処理方法である。

この画像処理方法によれば、周囲の明るさが変化しても、各ピクセルに対応する光電変換素子が出力する信号の信号レベル差を少なくできる。

システム１００のブロック図。 開示される実施形態によるシステムを含む例示的な車両の側面図。 開示される実施形態による図２に示される車両及びシステムの上面図。 開示される実施形態によるシステムを含む車両の別の実施形態の上面図。 開示される実施形態によるシステムを含む車両の更に別の実施形態の上面図。 開示される実施形態によるシステムを含む車両の更に別の実施形態の上面図。 開示される実施形態による例示的な車両制御システムの図。 バックミラーと、開示される実施形態による車両撮像システムのユーザインタフェースとを含む車両の内部の図。 開示される実施形態による、バックミラーの背後に、車両フロントガラスと対向して位置決めされるように構成されるカメラマウントの例の図。 開示される実施形態による、異なる視点からの図９に示されるカメラマウントの図。 開示される実施形態による、バックミラーの背後に、車両フロントガラスと対向して位置決めされるように構成されるカメラマウントの例の図。 開示される実施形態による１つ又は複数の動作を実行する命令を記憶するように構成されるメモリの例示的なブロック図。 開示される実施形態による、単眼画像分析に基づいて１つ又は複数のナビゲーション応答を生じさせる例示的なプロセスを示すフローチャート。 開示される実施形態による、画像のセット内の１つ又は複数の車両及び／又は歩行者を検出する例示的なプロセスを示すフローチャート。 開示される実施形態による、画像のセット内の道路マーク及び／又はレーンジオメトリ情報を検出する例示的なプロセスを示すフローチャート。 開示される実施形態による、画像のセット内の信号機を検出する例示的なプロセスを示すフローチャート。 開示される実施形態による、車両経路に基づいて１つ又は複数のナビゲーション応答を生じさせる例示的なプロセスのフローチャート。 開示される実施形態による、先行車両がレーンを変更中であるか否かを特定する例示的なプロセスを示すフローチャート。 開示される実施形態による、立体画像分析に基づいて１つ又は複数のナビゲーション応答を生じさせる例示的なプロセスを示すフローチャート。 開示される実施形態による、３組の画像の分析に基づいて１つ又は複数のナビゲーション応答を生じさせる例示的なプロセスを示すフローチャート。 実施形態の例による車載カメラの構成要素を示す切断側面図。 例示的なレンズシステムの波長の重み付けに関する設計ルールを示す図。 例示的なレンズシステムのポリクロマティックＭＴＦに関する設計ルールを示す図。 例示的なレンズシステムのカットフィルタのパラメータに関する計ルールを示す図。 画像センサの構成を示す図。 前側照明ピクセルの断面図。 後側照明ピクセルの断面図。 カラーフィルタアレイと最小反復単位を示す図。 最小反復単位のカラーフィルタ構成を示す図。 赤色系単位カラーフィルタの透過率と波長との関係を示す図。 緑色系単位カラーフィルタの透過率と波長との関係を示す図。 青色系単位カラーフィルタの透過率と波長との関係を示す図。 第２実施形態におけるカラーフィルタの最小反復単位を示す図。 第２実施形態における撮像装置の構成の一部を示す図。 第３実施形態におけるカラーフィルタの最小反復単位を示す図。 第４実施形態におけるカラーフィルタの最小反復単位を示す図。 第５実施形態におけるカラーフィルタの最小反復単位を示す図。 第５実施形態における撮像装置の構成の一部を示す図。 第６実施形態における撮像装置の構成の一部を示す図。

以下、実施形態を図面に基づいて説明する。

〔システムの概要〕
図１は、例示的に開示された実施形態によるシステム１００のブロック図表現である。システム１００は、特定の実装の要件に応じて、様々な構成要素を含むことができる。いくつかの実施形態では、システム１００は、処理ユニット１１０、画像取得ユニット１２０、位置センサ１３０、１つまたは複数のメモリ１４０、１５０、地図データベース１６０、ユーザインタフェース１７０、および無線トランシーバ１７２を含むことができる。処理ユニット１１０は、１つまたは複数の処理デバイスを含んでもよい。いくつかの実施形態では、処理ユニット１１０は、アプリケーションプロセッサ１８０、画像プロセッサ１９０、または任意の他の適切な処理デバイスを含んでもよい。同様に、画像取得ユニット１２０は、特定のアプリケーションの要件に応じて、任意の数の画像取得デバイスおよび構成要素を含んでもよい。いくつかの実施形態では、画像取得ユニット１２０は、画像取得デバイス１２２、画像取得デバイス１２４、および画像取得デバイス１２６などの１つまたは複数の画像取得デバイスを含んでもよい。画像取得デバイスは、例えば、カメラである。システム１００はまた、処理ユニット１１０を画像取得ユニット１２０に通信可能に接続するデータインタフェース１２８を含んでもよい。例えば、データインタフェース１２８は、画像取得ユニット１２０によって取得された画像データを処理ユニット１１０に送信するための任意の有線および／または無線のリンクまたはリンクを含んでもよい。

無線トランシーバ１７２は、無線周波数、赤外線周波数、磁界、または電界を使用して、１つまたは複数のネットワーク（例えば、セルラーネットワーク、インターネットなど）への無線インターフェースを介して送信を交換するように構成された１つまたは複数のデバイスを含んでもよい。無線トランシーバ１７２は、データを送信および／または受信するために任意の既知の規格を使用することができる。

アプリケーションプロセッサ１８０と画像プロセッサ１９０の両方は、様々なタイプの処理装置を含んでもよい。例えば、アプリケーションプロセッサ１８０および画像プロセッサ１９０のいずれかまたは両方は、マイクロプロセッサ、プリプロセッサ（画像プリプロセッサなど）、グラフィックプロセッサ、中央処理装置（ＣＰＵ）、サポート回路、デジタル信号プロセッサ、集積回路、メモリ、またはアプリケーションの実行や画像処理および分析に適した任意の他のタイプのデバイスを含んでもよい。いくつかの実施形態では、アプリケーションプロセッサ１８０および／または画像プロセッサ１９０は、任意のタイプのシングルコアまたはマルチコアプロセッサ、モバイルデバイスマイクロコントローラ、ＣＰＵなどを含んでもよい。様々な処理装置を使用してもよく、様々なアーキテクチャを含んでもよい。

いくつかの実施形態では、アプリケーションプロセッサ１８０および／または画像プロセッサ１９０は、ローカルメモリおよび命令セットを有する複数の処理ユニットを含んでいてもよい。このようなプロセッサは、複数の画像センサから画像データを受信するためのビデオ入力を含み、また、ビデオ出力機能を含んでいてもよい。一例として、プロセッサは、３３２ＭＨｚで動作する９０ｎｍのミクロン技術を使用できる。アーキテクチャは、２つの浮動小数点ハイパースレッド３２ビットＲＩＳＣ ＣＰＵ、５つのビジョン計算エンジン（ＶＣＥ）、３つのベクトルマイクロコードプロセッサ、６４ビットモバイルＤＤＲコントローラ、１２８ビット内部音響相互接続、デュアル１６ビットビデオ入力および１８ビットビデオ出力コントローラ、１６チャネルのＤＭＡおよび複数のペリフェラルで構成される。１つのＣＰＵは、５つのＶＣＥ、３つのベクトルマイクロコードプロセッサ、２つ目のＣＰＵとマルチチャネルのＤＭＡ、その他のペリフェラルを管理する。５つのＶＣＥ、３つのベクトルマイクロコードプロセッサ、２つ目のＣＰＵは、多機能バンドルアプリケーションが必要とする集中的なビジョン計算を行うことができる。

本明細書に開示された処理装置のいずれも、特定の機能を実行するように構成されてもよい。特定の機能を実行するために、プロセッサまたは他のコントローラまたはマイクロプロセッサのいずれかなどの処理装置を構成することは、コンピュータ実行可能な命令をプログラミングし、処理装置の動作中にそれらの命令を実行するために処理装置に利用可能にすることを含むことができる。いくつかの実施形態では、処理装置を構成することは、アーキテクチャ命令で処理装置を直接プログラミングすることを含んでもよい。他の実施形態では、処理装置を構成することは、動作中に処理装置がアクセス可能なメモリに実行可能な命令を格納することを含んでもよい。例えば、処理装置は、動作中にメモリにアクセスして、格納された命令を取得して実行することができる。

図１では、処理ユニット１１０に含まれる２つの別個の処理デバイスが描かれているが、より多くのまたは少ない処理デバイスが使用されてもよい。例えば、いくつかの実施形態では、単一の処理デバイスを使用して、アプリケーションプロセッサ１８０および画像プロセッサ１９０のタスクを達成してもよい。他の実施形態では、これらのタスクは、２つ以上の処理デバイスによって実行されてもよい。さらに、いくつかの実施形態では、システム１００は、画像取得ユニット１２０などの他の構成要素を含むことなく、処理ユニット１１０の１つ以上を含んでもよい。

処理ユニット１１０は、様々な種類のデバイスで構成されてもよい。例えば、処理ユニット１１０は、コントローラ、画像前処理装置、ＣＰＵ、サポート回路、デジタル信号プロセッサ、集積回路、メモリ、または画像処理および分析のための他の任意のタイプのデバイスなど、様々なデバイスを含んでもよい。画像前処理装置は、イメージセンサからの画像を取り込み、デジタル化し、処理するためのビデオプロセッサを含んでいてもよい。ＣＰＵは、任意の数のマイクロコントローラまたはマイクロプロセッサで構成されていてもよい。サポート回路は、キャッシュ回路、電源回路、クロック回路、入出力回路など、当技術分野で一般的によく知られている任意の数の回路であってよい。メモリは、プロセッサによって実行されると、システムの動作を制御するソフトウェアを格納してもよい。メモリは、データベースや画像処理ソフトウェアを含んでいてもよい。メモリは、任意の数のランダムアクセスメモリ、読み取り専用メモリ、フラッシュメモリ、ディスクドライブ、光学ストレージ、テープストレージ、リムーバブルストレージ、および他のタイプのストレージで構成されていてもよい。ある例では、メモリは、処理ユニット１１０とは別個のものであってもよい。別の実施例では、メモリは処理ユニット１１０に統合されていてもよい。

各メモリ１４０、１５０は、プロセッサ（例えば、アプリケーションプロセッサ１８０および／または画像プロセッサ１９０）によって実行されると、システム１００の様々な側面の動作を制御することができるソフトウェア命令を含んでもよい。これらのメモリは、様々なデータベースおよび画像処理ソフトウェアを含んでもよい。メモリは、ランダムアクセスメモリ、読み取り専用メモリ、フラッシュメモリ、ディスクドライブ、光学式ストレージ、テープストレージ、リムーバブルストレージ、および／または他の任意のタイプのストレージを含んでもよい。いくつかの実施形態では、メモリ１４０、１５０は、アプリケーションプロセッサ１８０および／または画像プロセッサ１９０とは別個であってもよい。他の実施形態では、これらのメモリは、アプリケーションプロセッサ１８０および／または画像プロセッサ１９０に統合されていてもよい。

位置センサ１３０は、システム１００の少なくとも１つの構成要素に関連する位置を決定するのに適した任意のタイプのデバイスを含んでもよい。いくつかの実施形態では、位置センサ１３０は、ＧＰＳ受信機を含んでもよい。そのような受信機は、全地球測位システム衛星によってブロードキャストされた信号を処理することによって、ユーザの位置および速度を決定することができる。位置センサ１３０からの位置情報は、アプリケーションプロセッサ１８０および／または画像プロセッサ１９０が利用できるようにしてもよい。

いくつかの実施形態では、システム１００は、車両２００の速度を測定するための速度センサ（例えば、タコメータ）および／または車両２００の加速度を測定するための加速度センサなどの構成要素を含んでもよい。

ユーザインタフェース１７０は、システム１００が１人以上のユーザに情報を提供するため、または１人以上のユーザから入力を受け取るために適した任意のデバイスを含んでもよい。いくつかの実施形態では、ユーザインタフェース１７０は、例えば、タッチスクリーン、マイク、キーボード、ポインタデバイス、トラックホイール、カメラ、ノブ、ボタンなどを含むユーザ入力デバイスを含んでもよい。そのような入力デバイスを使用して、ユーザは、命令または情報を入力すること、音声コマンドを提供すること、ボタン、ポインター、または視線追跡機能を使用して画面上のメニューオプションを選択すること、またはシステム１００に情報を通信するための任意の他の適切な技術を介して、システム１００に情報入力またはコマンドを提供することができる場合がある。

ユーザインタフェース１７０は、ユーザに情報を提供したり、ユーザから情報を受け取ったり、その情報を例えばアプリケーションプロセッサ１８０が使用するために処理するように構成された１つ以上の処理デバイスを備えていてもよい。いくつかの実施形態では、そのような処理デバイスは、目の動きを認識および追跡すること、音声コマンドを受信および解釈すること、タッチスクリーン上で行われたタッチおよび／またはジェスチャーを認識および解釈すること、キーボード入力またはメニュー選択に応答することなどのための命令を実行してもよい。いくつかの実施形態では、ユーザインタフェース１７０は、ユーザに出力情報を提供するためのディスプレイ、スピーカ、触覚デバイス、および／または任意の他のデバイスを含んでもよい。

地図データベース１６０は、システム１００に有用な地図データを格納するための任意のタイプのデータベースを含んでもよい。いくつかの実施形態では、地図データベース１６０は、道路、水の特徴、地理的特徴、ビジネス、ポイントオブインタレスト、レストラン、ガソリンスタンドなどを含む様々なアイテムの、基準座標系での位置に関連するデータを含んでもよい。地図データベース１６０は、そのようなアイテムの位置だけでなく、例えば、格納された特徴のいずれかに関連する名前を含む、それらのアイテムに関連する記述子を格納してもよい。いくつかの実施形態では、地図データベース１６０は、システム１００の他の構成要素と共に物理的に配置されてもよい。代替的または追加的に、地図データベース１６０またはその一部は、システム１００の他の構成要素（例えば、処理ユニット１１０）に関して遠隔地に配置されてもよい。そのような実施形態では、地図データベース１６０からの情報は、ネットワークへの有線または無線のデータ接続を介して（例えば、セルラーネットワークおよび／またはインターネットなどを介して）ダウンロードされてもよい。

画像取得デバイス１２２、１２４、および１２６はそれぞれ、環境から少なくとも１つの画像をキャプチャするのに適した任意のタイプのデバイスを含んでもよい。さらに、任意の数の画像取得デバイスが、画像プロセッサへの入力用の画像を取得するために使用されてもよい。いくつかの実施形態では、単一の画像取得デバイスのみを含んでいてもよく、他の実施形態では、２つ、３つ、あるいは４つ以上の画像取得デバイスを含んでいてもよい。画像取得デバイス１２２、１２４、および１２６は、以下、図２～６を参照してさらに説明される。

システム１００またはその様々な構成要素は、様々な異なるプラットフォームに組み込まれてもよい。いくつかの実施形態では、システム１００は、図２に示すように、車両２００に含まれてもよい。例えば、車両２００は、図１に関連して上述したように、処理ユニット１１０およびシステム１００の他の構成要素のいずれかを備えてもよい。いくつかの実施形態では、車両２００は、単一の画像取得デバイス（例えば、カメラ）のみを備えていてもよいが、図３～図２０に関連して説明したような他の実施形態では、複数の画像取得デバイスが使用されてもよい。例えば、図２に示されるように、車両２００の画像取得デバイス１２２および１２４のいずれかが、ＡＤＡＳ（Advanced Driver Assistance Systems）イメージングセットの一部であってもよい。

画像取得ユニット１２０の一部として車両２００に含まれる画像取得デバイスは、任意の適切な場所に配置されてもよい。いくつかの実施形態では、図２～図１９および図８～図１０に示すように、画像取得デバイス１２２は、バックミラー３１０の近傍に配置されてもよい。この位置は、車両２００の運転者と同様の視線を提供してもよく、これは、運転者に何が見えていて、何が見えていないかを判断するのに役立ち得る。画像取得デバイス１２２は、バックミラー３１０の近くの任意の位置に配置されてもよいが、ミラーの運転者側に画像取得デバイス１２２を配置することは、運転者の視野および／または視線を代表する画像の取得をさらに支援することができる。

画像取得ユニット１２０の画像取得デバイスは、他の場所を使用してもよい。例えば、画像取得デバイス１２４は、車両２００のバンパ上またはバンパ内に配置されてもよい。このような場所は、広い視野を有する画像取得デバイスに特に適している。バンパに配置された画像取得デバイスの視線は、運転者の視線とは異なる可能性があり、したがって、バンパの画像取得デバイスと運転者は、常に同じオブジェクトを見るとは限らない。また、画像取得デバイス（例えば、画像取得デバイス１２２、１２４、および１２６）は、他の場所に配置されてもよい。例えば、画像取得デバイスは、車両２００のサイドミラーの一方または両方、車両２００のルーフ、車両２００のボンネット、車両２００のトランク、車両２００の側面に配置することができ、車両２００の窓のいずれかに取り付けられたり、車両２００の後ろ、または前に配置されたり、車両２００の前面および／または後部のライトまたはその近くに取り付けられたりする。

画像取得デバイスに加えて、車両２００は、システム１００の様々な他の構成要素を含んでもよい。例えば、処理ユニット１１０は、車両のエンジン制御ユニット（ＥＣＵ）と統合されているか、またはそれとは別に、車両２００に含まれていてもよい。また、車両２００は、ＧＰＳ受信機などの位置センサ１３０を備えていてもよく、また、地図データベース１６０やメモリ１４０、１５０を含んでいてもよい。

前述したように、無線トランシーバ１７２は、１つまたは複数のネットワークを介してデータを受信してもよい。例えば、無線トランシーバ１７２は、システム１００によって収集されたデータを１つまたは複数のサーバにアップロードしてもよく、１つまたは複数のサーバからデータをダウンロードしてもよい。無線トランシーバ１７２を介して、システム１００は、例えば、地図データベース１６０、メモリ１４０、および／またはメモリ１５０に格納されたデータの定期的またはオンデマンドの更新を受信してもよい。同様に、無線トランシーバ１７２は、システム１００による任意のデータ（例えば、画像取得ユニット１２０によって撮影された画像、位置センサ１３０または他のセンサ、車両制御システムなどによって受信されたデータ）、および／または処理ユニット１１０によって処理された任意のデータを、１つ以上のサーバにアップロードしてもよい。

システム１００は、プライバシーレベル設定に基づいて、データをサーバに（例えば、クラウドに）アップロードしてもよい。例えば、システム１００は、車両およびまたは車両の運転者／所有者を一意に識別することができる、サーバに送信されるデータ（メタデータを含む）の種類を規制または制限するために、プライバシーレベル設定を実装してもよい。そのような設定は、例えば、無線トランシーバ１７２を介してユーザによって設定されてもよいし、工場出荷時のデフォルト設定によって初期化されてもよいし、無線トランシーバ１７２によって受信されたデータによって設定されてもよい。

いくつかの実施形態では、システム１００は、「高」プライバシーレベルに従ってデータをアップロードしてもよく、設定の下で、システム１００は、特定の車両および／または運転者／所有者に関する詳細を含まないデータ（例えば、ルートに関連する位置情報、キャプチャ画像など）を送信してもよい。例えば、「高」プライバシー設定に従ってデータをアップロードする場合、システム１００は、車両識別番号（ＶＩＮ）または車両の運転者または所有者の名前を含まず、代わりに、キャプチャされた画像および／またはルートに関連する限定された位置情報などのデータを送信してもよい。

他のプライバシーレベルも意図されている。例えば、システム１００は、「中」プライバシーレベルに従ってサーバにデータを送信し、車両のメーカーおよび／またはモデル、および／または車両タイプ（例えば、乗用車、スポーツユーティリティビークル、トラックなど）など、「高」プライバシーレベルの下では含まれない追加情報を含んでもよい。いくつかの実施形態では、システム１００は、「低」プライバシーレベルに従ってデータをアップロードすることができる。「低」プライバシーレベルの設定では、システム１００は、データをアップロードして、特定の車両、所有者／運転者、および／または車両が走行したルートの一部または全部を一意に識別するのに十分な情報を含んでもよい。このような「低」プライバシーレベルのデータは、例えば、ＶＩＮ、運転者／所有者の名前、出発前の車両の起点、車両の意図する目的地、車両のメーカーおよび／またはモデル、車両のタイプなどの１つ以上を含むことができる。

図２は、開示された実施形態による例示的なシステム１００の図式的な側面図表現である。図３は、図２に示される実施形態の上面の説明図である。図３に示されるように、開示された実施形態は、バックミラーの近傍および／または車両２００の運転者の近傍に配置された第１の画像取得デバイス１２２と、車両２００のバンパ領域（例えば、バンパ領域２１０の１つ）上またはバンパ領域内に配置された第２の画像取得デバイス１２４と、処理ユニット１１０とを有するシステム１００をその本体に含む車両２００を含むことができる。

図４に示されているように、画像取得デバイス１２２および１２４は、両方とも、バックミラーの近傍および／または車両２００の運転者の近傍に配置されてもよい。さらに、２つの画像取得デバイス１２２および１２４が図３および図４に示されているが、他の実施形態は３つ以上の画像取得デバイスを含んでもよいことを理解すべきである。例えば、図５および図６に示す実施形態では、第１の画像取得デバイス１２２、第２の画像取得デバイス１２４および第３の画像取得デバイス１２６が、システム１００に含まれる。

図５に示されるように、画像取得デバイス１２２は、バックミラーの近傍および／または車両２００の運転者の近傍に配置されてもよく、画像取得デバイス１２４および１２６は、車両２００のバンパ領域（例えば、バンパ領域２１０の１つ）上またはバンパ領域内に配置されてもよい。また、図６に示すように、画像取得デバイス１２２、１２４、および１２６は、バックミラーの近傍および／または車両２００の運転席の近傍に配置されてもよい。開示された実施形態は、画像取得デバイスの特定の数および構成に限定されず、画像取得デバイスは、車両２００内および／または車両２００上の任意の適切な場所に配置されてもよい。

開示された実施形態は、車両に限定されるものではなく、他の状況でも適用可能であることを理解されたい。また、開示された実施形態は、特定のタイプの車両２００に限定されるものではなく、自動車、トラック、トレーラー、および他のタイプの車両を含むすべてのタイプの車両に適用可能であることが理解されるべきである。

第１の画像取得デバイス１２２は、任意の適切なタイプの画像取得デバイスを含んでもよい。画像取得デバイス１２２は、光軸を含んでもよい。一例では、画像取得デバイス１２２は、グローバルシャッタを有するＷＶＧＡセンサを含んでもよい。他の実施形態では、画像取得デバイス１２２は、１２８０×９６０ピクセルの解像度を提供してもよく、ローリングシャッタを含んでもよい。画像取得デバイス１２２は、様々な光学素子を含んでもよい。いくつかの実施形態では、例えば、画像取得デバイスに所望の焦点距離および視野を提供するために、１つまたは複数のレンズが含まれてもよい。いくつかの実施形態では、画像取得デバイス１２２は、６ｍｍレンズまたは１２ｍｍレンズと関連付けられてもよい。いくつかの実施形態では、画像取得デバイス１２２は、図５に示されているように、所望の視野（ＦＯＶ）２０２を有する画像をキャプチャするように構成されてもよい。例えば、画像取得デバイス１２２は、４６度のＦＯＶ、５０度のＦＯＶ、５２度のＦＯＶ、またはそれ以上を含む、４０度から５６度の範囲内のような、規則的なＦＯＶを有するように構成されてもよい。代わりに、画像取得デバイス１２２は、２８度のＦＯＶまたは３６度のＦＯＶなど、２３度から４０度の範囲内の狭いＦＯＶを有するように構成されてもよい。さらに、画像取得デバイス１２２は、１００～１８０度の範囲の広いＦＯＶを有するように構成されてもよい。いくつかの実施形態では、画像取得デバイス１２２は、広角バンパカメラまたは最大１８０度のＦＯＶを有するものを含んでもよい。いくつかの実施形態では、画像取得デバイス１２２は、約１００度の水平ＦＯＶを有する、約２：１のアスペクト比（例えば、Ｈ×Ｖ＝３８００×１９００ピクセル）を有する７．２Ｍピクセルの画像取得デバイスであってもよい。このような画像取得デバイスは、３つの画像取得デバイスの構成の代わりに使用することができる。レンズの歪みが大きいため、画像取得デバイスが半径方向に対称なレンズを使用する実装では、そのような画像取得デバイスの垂直方向のＦＯＶは、５０度よりも大幅に小さくなる可能性がある。例えば、そのようなレンズは、１００度の水平方向のＦＯＶで５０度よりも大きい垂直方向のＦＯＶを可能にするような半径方向の対称性を持たない可能性がある。

第１の画像取得デバイス１２２は、車両２００に関連するシーンに対する複数の第１の画像を取得してもよい。複数の第１の画像の各々は、一連の画像スキャンラインとして取得されてもよく、グローバルシャッタを用いて撮影されてもよい。各スキャンラインは、複数のピクセルを含んでもよい。

第１の画像取得デバイス１２２は、第１の一連の画像スキャンラインのそれぞれの取得に関連するスキャンレートを有してもよい。スキャンレートは、イメージセンサが、特定のスキャンラインに含まれる各画素に関連する画像データを取得することができるレートを指すことがある。

画像取得デバイス１２２、１２４、１２６は、例えば、ＣＣＤセンサまたはＣＭＯＳセンサを含む、任意の適切なタイプおよび数のイメージセンサを含むことができる。一実施形態では、ＣＭＯＳイメージセンサは、ローリングシャッタとともに採用されてもよく、行内の各画素が一度に１つずつ読み取られ、画像フレーム全体がキャプチャされるまで、行内の走査が行ごとに進行する。いくつかの実施形態では、行はフレームに対して上から下に向かって順次取り込まれる。

いくつかの実施形態では、本明細書に開示された画像取得デバイス（例えば、画像取得デバイス１２２、１２４、および１２６）の１つまたは複数は、高解像度イメージャを構成してもよく、５Ｍピクセル、７Ｍピクセル、１０Ｍピクセル、またはそれ以上の解像度を有してもよい。

ローリングシャッタを使用すると、異なる列の画素が異なる時間に露光されて撮影されることになり、撮影された画像フレームにスキューやその他の画像アーチファクトが発生する可能性がある。一方、画像取得デバイス１２２がグローバルシャッタまたは同期シャッタで動作するように構成されている場合には、すべての画素が同じ時間、共通の露光期間中に露光され得る。その結果、グローバルシャッタを採用したシステムから収集されたフレーム内の画像データは、特定の時間におけるＦＯＶ（ＦＯＶ２０２など）全体のスナップショットを表す。一方、ローリングシャッタを採用したシステムでは、フレーム内の各列が露光され、データが異なるタイミングで取得される。そのため、ローリングシャッタを有する画像取得デバイスでは、動く物体が歪んで見えることがある。この現象については、以下で詳しく説明する。

第２の画像取得デバイス１２４および第３の画像取得デバイス１２６は、任意のタイプの画像取得デバイスであってもよい。第１の画像取得デバイス１２２と同様に、画像取得デバイス１２４および１２６のそれぞれは、光軸を含んでいてもよい。一実施形態では、画像取得デバイス１２４および１２６のそれぞれは、グローバルシャッタを備えたＷＶＧＡセンサを含んでもよい。あるいは、画像取得デバイス１２４および１２６のそれぞれは、ローリングシャッタを含んでもよい。画像取得デバイス１２２と同様に、画像取得デバイス１２４および１２６は、様々なレンズおよび光学素子を含むように構成されてもよい。いくつかの実施形態では、画像取得デバイス１２４および１２６に関連するレンズは、画像取得デバイス１２２に関連付けられたＦＯＶ（ＦＯＶ２０２など）と同じであるか、またはそれよりも狭いＦＯＶ（ＦＯＶ２０４および２０６など）を提供してもよい。例えば、画像取得デバイス１２４および１２６は、４０度、３０度、２６度、２３度、２０度、またはそれ以下のＦＯＶを有してもよい。

画像取得デバイス１２４および１２６は、車両２００に関連するシーンに関連する複数の第２および第３の画像を取得してもよい。複数の第２および第３の画像の各々は、ローリングシャッタを使用してキャプチャされてもよい、画像スキャンラインの第２および第３のシリーズとして取得されてもよい。各スキャンラインまたは行は、複数の画素を有していてもよい。画像取得デバイス１２４および１２６は、第２および第３のシリーズに含まれる画像スキャンラインの各々の取得に関連する第２および第３のスキャンレートを有してもよい。

各画像取得デバイス１２２、１２４、および１２６は、車両２００に対する任意の適切な位置および方向に配置されてもよい。画像取得デバイス１２２、１２４、および１２６の相対的な位置関係は、画像取得デバイスから取得した情報を融合するのを支援するように選択されてもよい。例えば、いくつかの実施形態では、画像取得デバイス１２４に関連するＦＯＶ（ＦＯＶ２０４など）は、画像取得デバイス１２２に関連するＦＯＶ（ＦＯＶ２０２など）および画像取得デバイス１２６に関連するＦＯＶ（ＦＯＶ２０６など）と部分的または完全に重なってもよい。

画像取得デバイス１２２、１２４、および１２６は、任意の適切な相対的高さで車両２００上に配置されてもよい。一例では、画像取得デバイス１２２、１２４、および１２６の間に高さの差があってもよく、これにより、ステレオ分析を可能にするための十分な視差情報を提供することができる。例えば、図２に示すように、２つの画像取得デバイス１２２および１２４は、異なる高さにある。また、画像取得デバイス１２２、１２４、１２６の間に横方向の変位の差があってもよく、例えば、処理ユニット１１０によるステレオ解析のための追加の視差情報を与える。横方向の変位の差は、図４および図５に示すように、ｄｘで示されてもよい。いくつかの実施形態では、前部または後部変位（例えば、範囲変位）が、画像取得デバイス１２２、１２４、および１２６の間に存在してもよい。例えば、画像取得デバイス１２２は、画像取得デバイス１２４および／または画像取得デバイス１２６よりも０．５～２メートル以上後方に位置していてもよい。この種の変位は、画像取得デバイスの１つが、他の画像取得デバイス（複数可）の潜在的な死角をカバーすることを可能にする場合がある。

画像取得デバイス１２２は、任意の適切な解像度能力（例えば、画像センサに関連付けられたピクセルの数）を有してもよく、画像取得デバイス１２２に関連付けられた画像センサ（複数可）の解像度は、画像取得デバイス１２４および１２６に関連付けられた画像センサの解像度よりも高くても低くても同じでもよい。いくつかの実施形態では、画像取得デバイス１２２および／または画像取得デバイス１２４および１２６に関連する画像センサは、６４０×４８０、１０２４×７６８、１２８０×９６０、または他の任意の適切な解像度を有してもよい。

フレームレートは、制御可能であってもよい。フレームレートは、例えば、画像取得デバイスが１つの画像フレームのピクセルデータのセットを取得してから、次の画像フレームに関連するピクセルデータの取得に移るレートである。画像取得デバイス１２２に関連するフレームレートは、画像取得デバイス１２４および１２６に関連するフレームレートより高くても、低くても、同じでもよい。画像取得デバイス１２２、１２４、および１２６に関連するフレームレートは、フレームレートのタイミングに影響を与える様々な要因に依存してもよい。例えば、画像取得デバイス１２２、１２４、および１２６のうちの１つまたは複数は、画像取得デバイス１２２、１２４、および／または１２６内のイメージセンサの１つまたは複数のピクセルに関連する画像データの取得の前または後に課される選択可能なピクセル遅延期間を含んでもよい。一般に、各ピクセルに対応する画像データは、デバイスのクロックレート（例えば、クロックサイクルあたり１ピクセル）に従って取得され得る。さらに、ローリングシャッタを含む実施形態では、画像取得デバイス１２２、１２４、および１２６のうちの１つまたは複数は、画像取得デバイス１２２、１２４、および／または１２６内のイメージセンサのピクセルの列に関連する画像データの取得の前または後に課される選択可能な水平ブランキング期間を含んでもよい。さらに、画像取得デバイス１２２、１２４、および／または１２６のうちの１つまたは複数は、画像取得デバイス１２２、１２４、および１２６の画像フレームに関連する画像データの取得の前または後に課される選択可能な垂直ブランキング期間を含んでもよい。

これらのタイミング制御は、それぞれのラインスキャンレートが異なる場合であっても、画像取得デバイス１２２、１２４、および１２６に関連するフレームレートの同期を可能にすることができる。さらに、以下でより詳細に説明するように、これらの選択可能なタイミング制御は、他の要因（例えば、イメージセンサの解像度、最大ラインスキャンレートなど）の中でも、画像取得デバイス１２２の視野が画像取得デバイス１２４および１２６のＦＯＶと異なる場合でも、画像取得デバイス１２２のＦＯＶが画像取得デバイス１２４および１２６の１つまたは複数のＦＯＶと重なる領域からのイメージキャプチャの同期を可能にすることができる。

画像取得デバイス１２２、１２４、１２６におけるフレームレートのタイミングは、関連するイメージセンサの解像度に依存する場合がある。例えば、両方のデバイスで同様のラインスキャンレートを仮定すると、あるデバイスが６４０×４８０の解像度を有するイメージセンサを含み、別のデバイスが１２８０×９６０の解像度を有するイメージセンサを含む場合、より高い解像度を有するセンサから１フレームの画像データを取得するために、より多くの時間が必要となる。

画像取得デバイス１２２、１２４、１２６における画像データの取得タイミングに影響を与える可能性のある別の要因は、最大ラインスキャンレートである。例えば、画像取得デバイス１２２、１２４、１２６に含まれるイメージセンサから一列の画像データを取得するには、ある最小量の時間が必要となる。画素遅延期間が追加されないと仮定すると、画像データの行の取得のためのこの最小量の時間は、特定のデバイスの最大ラインスキャンレートに関連することになる。高い最大ラインスキャンレートを提供するデバイスは、低い最大ラインスキャンレートを提供するデバイスよりも高いフレームレートを提供できる可能性がある。いくつかの実施形態では、画像取得デバイス１２４および１２６の１つまたは複数は、画像取得デバイス１２２に関連する最大ラインスキャンレートよりも高い最大ラインスキャンレートを有してもよい。いくつかの実施形態では、画像取得デバイス１２４および／または１２６の最大ラインスキャンレートは、画像取得デバイス１２２の最大ラインスキャンレートの１．２５倍、１．５倍、１．７５倍、または２倍以上であってもよい。

別の実施形態では、画像取得デバイス１２２、１２４、および１２６は、同じ最大ラインスキャンレートを有してもよいが、画像取得デバイス１２２は、その最大スキャンレート以下のスキャンレートで動作してもよい。システムは、画像取得デバイス１２４および１２６のうちの１つまたは複数が、画像取得デバイス１２２のラインスキャンレートと等しいラインスキャンレートで動作するように構成されてもよい。他の実施形態では、システムは、画像取得デバイス１２４および／または画像取得デバイス１２６のラインスキャンレートが、画像取得デバイス１２２のラインスキャンレートの１．２５、１．５、１．７５、または２倍以上であるように構成されてもよい。

いくつかの実施形態では、画像取得デバイス１２２、１２４、および１２６は、非対称であってもよい。すなわち、これらは、異なる視野（ＦＯＶ）および焦点距離を有するカメラを含んでもよい。画像取得デバイス１２２、１２４、および１２６の視野は、例えば、車両２００の環境に対する任意の所望の領域を含んでもよい。いくつかの実施形態では、画像取得デバイス１２２、１２４、および１２６の１つまたは複数は、車両２００の前方、車両２００の後方、車両２００の側方、またはそれらの組み合わせの環境から画像データを取得するように構成されてもよい。

さらに、各画像取得デバイス１２２、１２４、および／または１２６に関連する焦点距離は、各デバイスが車両２００に対して所望の距離範囲にある物体の画像を取得するように、（例えば、適切なレンズなどを含めることによって）選択可能であってもよい。例えば、いくつかの実施形態では、画像取得デバイス１２２、１２４、および１２６は、車両から数メートル以内の近接物体の画像を取得してもよい。画像取得デバイス１２２、１２４、および１２６はまた、車両からより遠くの範囲（例えば、２５ｍ、５０ｍ、１００ｍ、１５０ｍ、またはそれ以上）にある物体の画像を取得するように構成されてもよい。さらに、画像取得デバイス１２２、１２４、１２６の焦点距離は、１つの画像取得デバイス（例えば、画像取得デバイス１２２）が車両に比較的近い（例えば、１０ｍ以内または２０ｍ以内）オブジェクトの画像を取得できる一方で、他の画像取得デバイス（例えば、画像取得デバイス１２４および１２６）が車両２００からより遠い（例えば、２０ｍ、５０ｍ、１００ｍ、１５０ｍ以上など）オブジェクトの画像を取得できるように選択されてもよい。

いくつかの実施形態によれば、１つ以上の画像取得デバイス１２２、１２４、１２６のＦＯＶは、広角であってもよい。例えば、特に、車両２００の近傍の領域の画像を撮像するために使用され得る画像取得デバイス１２２、１２４、１２６のＦＯＶは、１４０度であることが有利であり得る。例えば、画像取得デバイス１２２は、車両２００の右または左の領域の画像をキャプチャするために使用されてもよく、そのような実施形態では、画像取得デバイス１２２は、広いＦＯＶ（例えば、少なくとも１４０度）を有することが望ましいことがある。

画像取得デバイス１２２、１２４、１２６のそれぞれに関連する視野は、それぞれの焦点距離に依存してもよい。例えば、焦点距離が長くなると、対応する視野が狭くなる。

画像取得デバイス１２２、１２４、および１２６は、任意の適切な視野を有するように構成されてもよい。ある特定の例では、画像取得デバイス１２２は、４６度の水平ＦＯＶを有してもよく、画像取得デバイス１２４は、２３度の水平ＦＯＶを有してもよく、画像取得デバイス１２６は、２３度と４６度の間の水平ＦＯＶを有してもよい。別の例では、画像取得デバイス１２２は５２度の水平ＦＯＶを有してもよく、画像取得デバイス１２４は２６度の水平ＦＯＶを有してもよく、画像取得デバイス１２６は２６度と５２度の間に水平ＦＯＶを有してもよい。いくつかの実施形態では、画像取得デバイス１２２のＦＯＶと、画像取得デバイス１２４および／または画像取得デバイス１２６のＦＯＶとの比は、１．５から２．０まで変化してもよい。他の実施形態では、この比は、１．２５から２．２５の間で変化してもよい。

システム１００は、画像取得デバイス１２２の視野が、画像取得デバイス１２４および／または画像取得デバイス１２６の視野と、少なくとも部分的または完全に重なるように構成されてもよい。いくつかの実施形態では、システム１００は、例えば、画像取得デバイス１２４および１２６の視野が、画像取得デバイス１２２の視野内に収まり（例えば、より狭く）、画像取得デバイス１２２の視野と共通の中心を共有するように構成されてもよい。他の実施形態では、画像取得デバイス１２２、１２４、および１２６は、隣接するＦＯＶをキャプチャしてもよく、またはそれらのＦＯＶに部分的な重複があってもよい。いくつかの実施形態では、画像取得デバイス１２２、１２４、および１２６の視野は、より狭いＦＯＶの画像取得デバイス１２４および／または１２６の中心が、より広いＦＯＶの画像取得デバイス１２２の視野の下半分に位置するように位置合わせされてもよい。

図７は、開示された実施形態による例示的な車両制御システムの図式である。図７に示されるように、車両２００は、スロットルシステム２２０、ブレーキシステム２３０、およびステアリングシステム２４０を含んでもよい。システム１００は、１つまたは複数のデータリンク（例えば、任意の有線および／または無線リンクまたはデータを送信するためのリンク）を介して、スロットルシステム２２０、ブレーキシステム２３０、およびステアリングシステム２４０のうちの１つまたは複数に入力（例えば、制御信号）を提供してもよい。例えば、画像取得デバイス１２２、１２４、および／または１２６によって取得された画像の分析に基づいて、システム１００は、スロットルシステム２２０、ブレーキシステム２３０、およびステアリングシステム２４０のうちの１つまたは複数に制御信号を提供し、例えば、加速、旋回、レーンシフトなどを行わせることにより、車両２００をナビゲートしてもよい。さらに、システム１００は、スロットルシステム２２０、ブレーキシステム２３０、およびステアリングシステム２４０のうちの１つまたは複数から、車両２００の動作状態（例えば、速度、車両２００が制動および／または旋回しているかどうか、など）を示す入力を受信してもよい。さらなる詳細は、以下の図１２～図２０に関連して提供される。

図８に示すように、車両２００は、車両２００の運転者または乗員と対話するためのユーザインタフェース１７０を含んでもよい。例えば、車両アプリケーションにおけるユーザインタフェース１７０は、タッチスクリーン３２０、ノブ３３０、ボタン３４０、およびマイク３５０を含んでもよい。また、車両２００の運転者または乗員は、ハンドル、ボタンなどを使用して、システム１００と対話してもよい。ハンドルは、例えば、車両２００のステアリングコラム上または近傍に配置されているターンシグナルハンドルを含む。ボタンは、例えば、車両２００のステアリングホイール上に配置されている。いくつかの実施形態では、マイク３５０は、バックミラー３１０に隣接して配置されてもよい。同様に、いくつかの実施形態では、画像取得デバイス１２２は、バックミラー３１０の近くに配置されてもよい。いくつかの実施形態では、ユーザインタフェース１７０は、１つ以上のスピーカ３６０（例えば、車両オーディオシステムのスピーカ）を含んでもよい。システム１００は、スピーカ３６０を介して様々な通知（例えば、アラート）を提供してもよい。

図９～図１１は、開示された実施形態によるバックミラー（例えば、バックミラー３１０）の後ろに、車両のフロントガラスに対向して配置されるように構成された、例示的なカメラマウント３７０の図である。図９に示すように、カメラマウント３７０は、画像取得デバイス１２２、１２４、および１２６を含んでもよい。画像取得デバイス１２４および１２６は、グレアシールド３８０の背後に配置されてもよく、このグレアシールド３８０は、車両のフロントガラスに対して同じ高さであってもよく、フィルムおよび／または反射防止材料の組成物を含む。例えば、グレアシールド３８０は、一致する傾斜を有する車両のフロントガラスに対向して位置合わせされて配置されてもよい。いくつかの実施形態では、画像取得デバイス１２２、１２４、１２６のそれぞれは、例えば図１１に描かれているように、グレアシールド３８０の後ろに配置されてもよい。開示された実施形態は、画像取得デバイス１２２、１２４、および１２６、カメラマウント３７０、およびグレアシールド３８０のいかなる特定の構成にも限定されない。図１０は、図９に示すカメラマウント３７０を正面から見た説明図である。

本開示の恩恵を受ける当業者により理解されるように、前述の開示された実施形態に多数の変形および／または変更を加えることができる。例えば、全ての構成要素がシステム１００の動作に必須ではない。さらに、任意の構成要素は、システム１００の任意の適切な部分に配置されてもよく、構成要素は、開示された実施形態の機能を提供しながら、様々な構成に再配置されてもよい。したがって、前述の構成は例示であり、上述の構成にかかわらず、システム１００は、車両２００の周囲を分析し、分析に応じて車両２００をナビゲートするための広範な機能を提供することができる。

以下にさらに詳細に後述するように、開示された様々な実施形態により、システム１００は、自律走行および／または運転支援技術に関連する様々な機能を提供してもよい。例えば、システム１００は、画像データ、位置データ（例えば、ＧＰＳ位置情報）、地図データ、速度データ、および／または、車両２００に含まれるセンサからのデータを分析してもよい。システム１００は、例えば、画像取得ユニット１２０、位置センサ１３０、およびその他のセンサから解析用データを収集してもよい。さらに、システム１００は、収集したデータを解析して、車両２００がある行動をとるべきか否かを判断し、人間の介入なしに、判断した行動を自動的にとることができる。例えば、車両２００が人間の介入なしにナビゲートする場合、システム１００は、例えば、スロットルシステム２２０、ブレーキシステム２３０、およびステアリングシステム２４０の１つ以上に制御信号を送信することによって車両２００の制動、加速、および／またはステアリングを自動的に制御してもよい。さらに、システム１００は、収集されたデータを分析し、収集されたデータの分析に基づいて、車両の乗員に警告および／または警報を発してもよい。システム１００によって提供される様々な実施形態に関する追加の詳細は、以下で提供される。

前向きマルチイメージングシステム
上述したように、システム１００は、マルチカメラシステムを使用するドライブアシスト機能を提供してもよい。マルチカメラシステムは、車両の前方方向を向いた１つまたは複数のカメラを使用してもよい。他の実施形態では、マルチカメラシステムは、車両の側方または車両の後方に向いた１つまたは複数のカメラを含んでもよい。一実施形態では、例えば、システム１００は、２つのカメラ撮像システムを使用してもよく、ここでは、第１のカメラおよび第２のカメラ（例えば、画像取得デバイス１２２および１２４）が、車両（例えば、車両２００）の前方および／または側方に配置されてもよい。第１のカメラは、第２のカメラの視野よりも大きい、小さい、または部分的に重なる視野を有していてもよい。さらに、第１のカメラは、第１のカメラによって提供される画像の単眼画像解析を実行するために、第１の画像プロセッサに接続されてもよく、第２のカメラは、第２のカメラによって提供される画像の単眼画像解析を実行するために、第２の画像プロセッサに接続されてもよい。第１および第２の画像プロセッサの出力（例えば、処理された情報）は、結合されてもよい。いくつかの実施形態では、第２の画像プロセッサは、第１のカメラおよび第２のカメラの両方から画像を受信して、ステレオ解析を実行してもよい。別の実施形態では、システム１００は、カメラの各々が異なる視野を有する３つのカメラ撮像システムを使用してもよい。このようなシステムでは、車両の前方および側方の様々な距離に位置する物体から得られる情報に基づいて判断することができる。単眼画像解析とは、単一の視点（例えば、単一のカメラ）から撮影された画像に基づいて画像解析が行われる場合を指す。ステレオ画像解析とは、１つ以上の画像撮影パラメータを用いて撮影された２つ以上の画像に基づいて画像解析を行うことをいう。例えば、ステレオ画像解析に適した撮影画像には、２つ以上の異なる位置から撮影した画像、異なる視野から撮影した画像、異なる焦点距離を用いて撮影した画像、視差情報を伴って撮影した画像などがある。

例えば、一実施形態では、システム１００は、画像取得デバイス１２２、１２４、１２６を使用して、３つのカメラ構成を実装してもよい。そのような構成において、画像取得デバイス１２２は、狭い視野（例えば、３４度、または約２０度から約４５度の範囲から選択された他の値など）を提供してもよい。画像取得デバイス１２４は、広い視野（例えば、１５０度、または約１００度から約１８０度の範囲から選択された他の値など）を提供してもよい。画像取得デバイス１２６は、中間の視野（例えば、４６度、または約３５度から約６０度の範囲から選択された他の値など）を提供してもよい。いくつかの実施形態では、画像取得デバイス１２６は、メインカメラまたはプライマリカメラとして機能してもよい。画像取得デバイス１２２、１２４、１２６は、バックミラー３１０の後ろに配置され、実質的に横に並んで（例えば、６ｃｍ離れて）配置されてもよい。さらに、いくつかの実施形態では、上述したように、画像取得デバイス１２２、１２４、１２６のうちの１つまたは複数は、車両２００のフロントガラスと同一平面にあるグレアシールド３８０の後ろに取り付けられてもよい。そのような遮蔽物は、車内からのあらゆる反射が画像取得デバイス１２２、１２４、１２６に与える影響を最小化するように作用し得る。

別の実施形態では、図９および図１０に関連して上述したように、広視野カメラ（例えば、上記の例では画像取得デバイス１２４）は、狭視野カメラおよび主視野カメラ（例えば、上記の例では画像取得デバイス１２２および１２６）よりも低く取り付けられてもよい。この構成は、広視野カメラからの自由な視線を提供してもよい。反射を低減するために、カメラは、車両２００のフロントガラスの近くに取り付けられてもよく、反射光を減衰させるためにカメラに偏光子を含んでもよい。

３つのカメラシステムは、特定の性能特性を提供することができる。例えば、いくつかの実施形態では、別のカメラからの検出結果に基づいて、あるカメラによる物体の検出を検証する機能を含んでもよい。上述した３つのカメラ構成では、処理ユニット１１０は、例えば、３つの処理デバイスを含んでもよい。各処理デバイスは、画像取得デバイス１２２、１２４、１２６のうちの１つ以上によってキャプチャされた画像を処理することに特化している。

３つのカメラシステムにおいて、第１の処理装置は、メインカメラと狭視野カメラの両方から画像を受信し、狭視野カメラのビジョン処理を実行して、例えば、他の車両、歩行者、レーンマーク、交通標識、信号機、および他の道路オブジェクトを検出してもよい。さらに、第１処理装置は、メインカメラからの画像と狭視野カメラからの画像との間の画素の視差を計算し、車両２００の環境の３Ｄ再構成を作成してもよい。そして、第１処理装置は、３Ｄ再構築物を、３Ｄ地図データや、他のカメラからの情報に基づいて算出した３Ｄ情報と組み合わせてもよい。

第２の処理装置は、メインカメラからの画像を受信し、視覚処理を行って、他の車両、歩行者、レーンマーク、交通標識、信号機、その他の道路物体を検出してもよい。さらに、第２の処理装置は、カメラの変位を計算し、その変位に基づいて、連続する画像間のピクセルの視差を計算し、シーンの３Ｄ再構成（例えば、ストラクチャーフロムモーション）を作成してもよい。第２の処理装置は、ストラクチャーフロムモーションに基づく３Ｄ再構成を第１の処理装置に送り、ステレオ３Ｄ画像と合成してもよい。

第３の処理装置は、広角カメラから画像を受け取り、画像を処理して、車両、歩行者、レーンマーク、交通標識、信号機などの道路上の物体を検出してもよい。また、第３の処理装置は、さらに追加の処理命令を実行して画像を解析し、車線変更する車両や歩行者など、画像内で移動するオブジェクトを識別してもよい。

いくつかの実施形態では、画像ベースの情報のストリームを独立して取り込み、処理することで、システムに冗長性を持たせることができる。このような冗長性には、例えば、第１の画像取得デバイスおよびそのデバイスから処理された画像を使用して、少なくとも第２の画像取得デバイスから画像情報をキャプチャおよび処理して得られた情報を検証および／または補足することが含まれる。

いくつかの実施形態では、システム１００は、車両２００のナビゲーション支援を行う際に２つの画像取得デバイス（例えば、画像取得デバイス１２２および１２４）を使用し、第３の画像取得デバイス（例えば、画像取得デバイス１２６）を使用して、冗長性を提供し、他の２つの画像取得デバイスから受信したデータの分析を検証してもよい。例えば、そのような構成では、画像取得デバイス１２２および１２４は、車両２００をナビゲートするためのシステム１００によるステレオ分析のための画像を提供し得る。一方、画像取得デバイス１２６は、画像取得デバイス１２２および／または画像取得デバイス１２４からキャプチャされた画像に基づいて得られた情報の冗長性および検証を提供するために、システム１００による単眼分析のための画像を提供してもよい。すなわち、画像取得デバイス１２６（および対応する処理デバイス）は、画像取得デバイス１２２および１２４から得られた分析に対するチェックを提供するための（例えば、自動緊急ブレーキ（ＡＥＢ）システムを提供するための）冗長サブシステムを提供すると見なし得る。

当業者であれば、上記のカメラ構成、カメラの配置、カメラの数、カメラの位置などは例示に過ぎないことを認識するであろう。システム全体に関連して記載されたこれらの構成要素およびその他の構成要素は、開示された実施形態の範囲から逸脱することなく、様々な異なる構成で組み立てられ、使用される得る。運転支援および／または自律走行車の機能を提供するためのマルチカメラシステムの使用に関する詳細は以下の通りである。

図４は、開示された実施形態により１つまたは複数の動作を実行するための命令を格納／プログラムすることができるメモリ１４０および／または１５０の例示的な機能ブロック図である。以下では、メモリ１４０を参照するが、当業者であれば、命令がメモリ１４０および／または１５０に格納されてもよいことを認識するであろう。

図４に示すように、メモリ１４０は、単眼画像解析モジュール４０２、ステレオ画像解析モジュール４０４、速度および加速度モジュール４０６、およびナビゲーション応答モジュール４０８を格納してもよい。開示された実施形態は、メモリ１４０のいかなる特定の構成にも限定されない。さらに、アプリケーションプロセッサ１８０および／または画像プロセッサ１９０は、メモリ１４０に含まれるモジュール４０２、４０４、４０６、４０８のいずれかに格納された命令を実行してもよい。当業者であれば、以下の議論における処理ユニット１１０への言及は、アプリケーションプロセッサ１８０および画像プロセッサ１９０を個別にまたはまとめて参照することができることを理解するであろう。したがって、以下の処理のいずれかのステップは、１つまたは複数の処理装置によって実行されてもよい。

一実施形態では、単眼画像解析モジュール４０２は、処理ユニット１１０によって実行されると、画像取得デバイス１２２、１２４、および１２６のうちの１つによって取得された画像のセットの単眼画像解析を実行する命令（コンピュータビジョンソフトウェアなど）を格納してもよい。いくつかの実施形態では、処理ユニット１１０は、一組の画像からの情報を追加のセンサ情報（例えば、レーダからの情報）と組み合わせて、単眼画像解析を実行してもよい。以下の図１３～図１６に関連して説明するように、単眼画像解析モジュール４０２は、レーンマーキング、車両、歩行者、道路標識、高速道路の出口ランプ、信号機、危険物、および車両の環境に関連する他の特徴など、一組の画像内の一組の特徴を検出するための命令を含んでもよい。分析に基づいて、システム１００は、例えば、処理ユニット１１０を介して、ナビゲーション応答モジュール４０８に関連して後述するように、旋回、レーンシフト、加速度の変化などの１つ以上のナビゲーション応答を車両２００に生じさせてもよい。

一実施形態では、ステレオ画像解析モジュール４０４は、処理ユニット１１０によって実行されると、画像取得デバイス１２２、１２４、および１２６のいずれかから選択された画像取得デバイスの組み合わせによって取得された第１および第２のセットの画像のステレオ画像解析を実行する命令（コンピュータビジョンソフトウェアなど）を格納してもよい。いくつかの実施形態では、処理ユニット１１０は、第１および第２の画像セットからの情報を、追加のセンサ情報（例えば、レーダからの情報）と組み合わせて、ステレオ画像解析を実行してもよい。例えば、ステレオ画像解析モジュール４０４は、画像取得デバイス１２４によって取得された第１のセットの画像と、画像取得デバイス１２６によって取得された第２のセットの画像とに基づいて、ステレオ画像解析を実行するための命令を含んでもよい。後述の図１９に関連して説明するように、ステレオ画像解析モジュール４０４は、レーンマーキング、車両、歩行者、道路標識、高速道路の出口ランプ、信号機、危険物など、第１および第２の画像セット内の一組の特徴を検出するための命令を含んでもよい。分析に基づいて、処理ユニット１１０は、ナビゲーション応答モジュール４０８に関連して後述するように、旋回、レーンシフト、加速度の変化などの１つ以上のナビゲーション応答を車両２００に生じさせてもよい。

一実施形態では、速度および加速度モジュール４０６は、車両２００の速度および／または加速度の変化を生じさせるように構成された、車両２００内の１つまたは複数のコンピューティングデバイスおよび電気機械デバイスから受信したデータを分析するように構成されたソフトウェアを格納してもよい。例えば、処理ユニット１１０は、速度および加速度モジュール４０６に関連する命令を実行して、単眼画像解析モジュール４０２および／またはステレオ画像解析モジュール４０４の実行から得られたデータに基づいて、車両２００の目標速度を計算してもよい。そのようなデータは、例えば、目標位置、速度、および／または加速度、近くの車両、歩行者、または道路物体に対する車両２００の位置および／または速度、道路のレーンマーキングに対する車両２００の位置情報などを含んでもよい。さらに、処理ユニット１１０は、センサ入力（例えば、レーダからの情報）と、車両２００のスロットルシステム２２０、ブレーキシステム２３０、および／または車両２００のステアリングシステム２４０など、車両２００の他のシステムからの入力とに基づいて、車両２００の目標速度を計算してもよい。計算された目標速度に基づいて、処理ユニット１１０は、例えば、車両２００のブレーキを物理的に踏み込んだり、アクセルを緩めたりすることによって、速度および／または加速度の変化を誘発するために、車両２００のスロットルシステム２２０、ブレーキシステム２３０、および／またはステアリングシステム２４０に電子信号を送信してもよい。

一実施形態では、ナビゲーション応答モジュール４０８は、単眼画像解析モジュール４０２および／またはステレオ画像解析モジュール４０４の実行から得られたデータに基づいて、所望のナビゲーション応答を決定するために、処理ユニット１１０によって実行可能なソフトウェアを格納してもよい。そのようなデータは、近くの車両、歩行者、および道路オブジェクトに関連する位置および速度情報、車両２００の目標位置情報などを含んでもよい。さらに、いくつかの実施形態では、ナビゲーション応答は、地図データ、車両２００の所定の位置、および／または、単眼画像解析モジュール４０２および／またはステレオ画像解析モジュール４０４の実行から検出された車両２００と１つ以上の物体との間の相対速度または相対加速度に（部分的または完全に）基づいてもよい。ナビゲーション応答モジュール４０８はまた、センサ入力（例えば、レーダからの情報）および車両２００のスロットルシステム２２０、ブレーキシステム２３０、および車両２００のステアリングシステム２４０などの車両２００の他のシステムからの入力に基づいて、所望のナビゲーション応答を決定してもよい。所望のナビゲーション応答に基づいて、処理ユニット１１０は、例えば、車両２００のステアリングホイールを回転させて所定の角度の回転を実現することによって所望のナビゲーション応答をトリガするために、車両２００のスロットルシステム２２０、ブレーキシステム２３０、およびステアリングシステム２４０に電子信号を送信してもよい。いくつかの実施形態において、処理ユニット１１０は、ナビゲーション応答モジュール４０８の出力（例えば、所望のナビゲーション応答）を、車両２００の速度の変化を計算するための速度および加速度モジュール４０６の実行への入力として使用してもよい。

図１３は、開示された実施形態による、単眼画像分析に基づいて１つまたは複数のナビゲーション応答を生じさせるための例示的なプロセス５００Ａを示すフローチャートである。ステップ５１０において、処理ユニット１１０は、処理ユニット１１０と画像取得ユニット１２０との間のデータインタフェース１２８を介して複数の画像を受信してもよい。例えば、画像取得ユニット１２０に含まれるカメラ（視野２０２を有する画像取得デバイス１２２など）は、車両２００の前方（または、例えば車両の側面または背面）の領域の複数の画像をキャプチャし、データ接続を介して処理ユニット１１０に送信してもよい。データ接続の手法は、有線接続でも、無線接続でもよい。処理ユニット１１０は、以下の図１４～図１６に関連してさらに詳細に説明するように、ステップ５２０において、単眼画像解析モジュール４０２を実行して、複数の画像を解析してもよい。解析を実行することにより、処理ユニット１１０は、レーンマーキング、車両、歩行者、道路標識、高速道路の出口ランプ、信号機などの、一連の画像内の一連の特徴を検出してもよい。

処理ユニット１１０はまた、単眼画像解析モジュール４０２を実行して、ステップ５２０で、例えば、トラックのタイヤの一部、倒れた道路標識、緩んだ貨物、小動物など、様々な道路危険を検出してもよい。道路危険は、構造、形状、サイズ、および色が異なる場合があり、そのような危険の検出をより困難にする可能性がある。いくつかの実施形態では、処理ユニット１１０は、単眼画像解析モジュール４０２を実行して、複数の画像に対してマルチフレーム解析を行い、道路ハザードを検出してもよい。例えば、処理ユニット１１０は、連続する画像フレーム間のカメラの動きを推定し、フレーム間のピクセルの視差を計算して、道路の３Ｄマップを構築してもよい。その後、処理ユニット１１０は、３Ｄマップを使用して、路面と、路面の上に存在する危険を検出してもよい。

ステップ５３０において、処理ユニット１１０は、ステップ５２０で実行された分析と、図１２に関連して上述したような技術とに基づいて、車両２００に１つ以上のナビゲーション応答を生じさせるために、ナビゲーション応答モジュール４０８を実行してもよい。ナビゲーション応答は、例えば、ターン、レーンシフト、加速度の変化などを含んでもよい。いくつかの実施形態では、処理ユニット１１０は、速度および加速度モジュール４０６の実行から得られたデータを使用して、１つまたは複数のナビゲーション応答を生じさせてもよい。さらに、複数のナビゲーション応答は、同時に、順番に、またはそれらの任意の組み合わせで発生してもよい。例えば、処理ユニット１１０は、例えば、車両２００のステアリングシステム２４０およびスロットルシステム２２０に制御信号を順次送信することによって、車両２００に１つの車線を越えてシフトさせた後、加速させてもよい。あるいは、処理ユニット１１０は、例えば、車両２００のブレーキシステム２３０およびステアリングシステム２４０に制御信号を同時に送信することにより、車両２００にブレーキをかけさせ、同時に車線をシフトさせてもよい。

図１４は、開示された実施形態による、一連の画像内の１つ以上の車両および／または歩行者を検出するための例示的なプロセス５００Ｂを示すフローチャートである。処理ユニット１１０は、プロセス５００Ｂを実施するために単眼画像解析モジュール４０２を実行してもよい。ステップ５４０において、処理ユニット１１０は、可能性のある車両および／または歩行者を表す候補オブジェクトのセットを決定してもよい。例えば、処理ユニット１１０は、１つまたは複数の画像をスキャンし、画像を１つまたは複数の所定のパターンと比較し、関心対象のオブジェクト（例えば、車両、歩行者、またはその一部）を含む可能性のある場所を各画像内で特定してもよい。あらかじめ決められたパターンは「偽のヒット」の割合が高く、「見逃し」の割合が低くなるように設計されていてもよい。例えば、処理ユニット１１０は、候補となるオブジェクトを車両や歩行者の可能性があるものとして識別するために、所定のパターンとの類似性の低い閾値を使用してもよい。そうすることで、処理ユニット１１０は、車両または歩行者を表す候補オブジェクトを見逃す（例えば、識別しない）確率を低減することができる。

ステップ５４２で、処理ユニット１１０は、分類基準に基づいて、特定の候補（例えば、無関係または関連性の低いオブジェクト）を除外するために、候補オブジェクトのセットをフィルタリングしてもよい。そのような基準は、データベース（例えば、メモリ１４０に格納されたデータベース）に格納されたオブジェクトタイプに関連する様々な特性から導出されてもよい。特性は、オブジェクトの形状、寸法、テクスチャ、位置（例えば、車両２００との相対的な位置）などを含んでもよい。したがって、処理ユニット１１０は、１つまたは複数の基準のセットを使用して、オブジェクト候補のセットから偽の候補を拒絶してもよい。

ステップ５４４において、処理ユニット１１０は、画像の複数のフレームを分析して、候補オブジェクトのセット内のオブジェクトが車両および／または歩行者を表しているかどうかを判断してもよい。例えば、処理ユニット１１０は、連続するフレームにわたって検出された候補オブジェクトを追跡し、検出されたオブジェクトに関連するフレームごとのデータ（例えば、サイズ、車両２００に対する位置など）を蓄積してもよい。さらに、処理ユニット１１０は、検出された物体のパラメータを推定し、物体のフレームごとの位置データを予測された位置と比較してもよい。

ステップ５４６で、処理ユニット１１０は、検出されたオブジェクトの測定値のセットを構築してもよい。そのような測定値は、例えば、検出された物体に関連する（車両２００に対する）位置、速度、および加速度の値を含んでもよい。いくつかの実施形態では、処理ユニット１１０は、カルマンフィルタまたは線形二次推定（ＬＱＥ）などの一連の時間ベースの観測値を使用する推定技術に基づいて、および／または、異なるオブジェクトタイプ（例えば、自動車、トラック、歩行者、自転車、道路標識など）についての利用可能なモデリングデータに基づいて、測定値を構築してもよい。カルマンフィルタは、物体のスケールの測定値に基づいてもよく、スケールの測定値は、衝突までの時間（例えば、車両２００が物体に到達するまでの時間）に比例している。したがって、ステップ５４０～５４６を実行することにより、処理ユニット１１０は、一連の撮影画像内に現れる車両および歩行者を識別し、車両および歩行者に関連する情報（例えば、位置、速度、サイズ）を導出してもよい。識別および導出された情報に基づいて、処理ユニット１１０は、上述の図１３に関連して説明したように、車両２００に１つまたは複数のナビゲーション応答を生じさせてもよい。

ステップ５４８において、処理ユニット１１０は、「偽のヒット」を検出して、車両または歩行者を表す候補オブジェクトを見逃す確率を低減するために、１つまたは複数の画像のオプティカルフロー分析を実行してもよい。オプティカルフロー分析は、例えば、他の車両や歩行者に関連する１つ以上の画像の中で、路面の動きとは異なる、車両２００に対する動きのパターンを分析することを指してもよい。処理ユニット１１０は、異なる時間に撮影された複数の画像フレームにわたるオブジェクトの異なる位置を観察することによって、候補オブジェクトの動きを計算してもよい。処理ユニット１１０は、位置および時間の値を、候補オブジェクトの動きを計算するための数学的モデルへの入力として使用してもよい。このように、オプティカルフロー分析は、車両２００の近くにいる車両や歩行者を検出する別の方法を提供することができる。処理ユニット１１０は、車両および歩行者を検出するための冗長性を提供し、システム１００の信頼性を高めるために、ステップ５４０～５４６と組み合わせてオプティカルフロー分析を実行してもよい。

図１５は、開示された実施形態による、一組の画像において道路マークおよび／または車線ジオメトリ情報を検出するための例示的なプロセス５００Ｃを示すフローチャートである。処理ユニット１１０は、プロセス５００Ｃを実施するために単眼画像解析モジュール４０２を実行してもよい。ステップ５５０において、処理ユニット１１０は、１つまたは複数の画像をスキャンすることによって、一連のオブジェクトを検出してもよい。車線マーキングのセグメント、車線ジオメトリ情報、および他の適切な道路マークを検出するために、処理ユニット１１０は、一連のオブジェクトをフィルタリングして、無関係であると判断されたもの（例えば、小さな穴、小さな岩など）を除外してもよい。ステップ５５２で、処理ユニット１１０は、同じ道路マークまたは車線マークに属するステップ５５０で検出されたセグメントをグループ化してもよい。グループ化に基づいて、処理ユニット１１０は、数学モデルなど、検出されたセグメントを表現するモデルを開発してもよい。

ステップ５５４において、処理ユニット１１０は、検出されたセグメントに関連する測定値のセットを構築してもよい。いくつかの実施形態では、処理ユニット１１０は、画像平面から実世界平面への検出されたセグメントの投影を作成してもよい。投影は、検出された道路の位置、傾斜、曲率、曲率微分などの物理的特性に対応する係数を有する３次多項式を用いて特徴付けられてもよく、投影を生成する際に、処理ユニット１１０は、路面の変化、ならびに車両２００に関連するピッチレートおよびロールレートを考慮してもよい。さらに、処理ユニット１１０は、路面上に存在する位置および動きの手掛かりを分析することによって、道路の高さをモデル化してもよい。さらに、処理ユニット１１０は、１つまたは複数の画像内の特徴点のセットを追跡することによって、車両２００に関連するピッチおよびロールレートを推定してもよい。

ステップ５５６において、処理ユニット１１０は、例えば、連続する画像フレームにわたって検出されたセグメントを追跡し、検出されたセグメントに関連するフレームごとのデータを蓄積することによって、マルチフレーム分析を実行してもよい。処理ユニット１１０がマルチフレーム分析を実行すると、ステップ５５４で構築された測定値のセットは、より信頼性が高くなり得、ますます高い信頼レベルに関連付けられてもよい。したがって、ステップ５５０～５５６を実行することにより、処理ユニット１１０は、キャプチャされた画像のセット内に現れる道路マークを識別し、車線ジオメトリ情報を導出してもよい。識別情報および導出された情報に基づいて、処理ユニット１１０は、上述の図１３に関連して説明したように、車両２００に１つまたは複数のナビゲーション応答を生じさせてもよい。

ステップ５５８において、処理ユニット１１０は、周囲の状況における車両２００の安全モデルをさらに開発するために、追加の情報源を考慮してもよい。処理ユニット１１０は、安全モデルを使用して、システム１００が車両２００の自律制御を安全な方法で実行することができる状況を定義してもよい。安全モデルを開発するために、いくつかの実施形態では、処理ユニット１１０は、他の車両の位置および動き、検出された道路の縁および障壁、および／または地図データ（地図データベース１６０からのデータなど）から抽出された一般的な道路形状の記述を考慮してもよい。追加の情報源を考慮することにより、処理ユニット１１０は、道路マークおよび車線形状を検出するための冗長性を提供し、システム１００の信頼性を高めてもよい。

図１６は、開示された実施形態による、一連の画像の中で交通信号を検出するための例示的なプロセス５００Ｄを示すフローチャートである。処理ユニット１１０は、プロセス５００Ｄを実施するために、単眼画像解析モジュール４０２を実行して、プロセス５００Ｄを実施することができる。ステップ５６０において、処理ユニット１１０は、一連の画像をスキャンし、交通信号を含む可能性が高い画像内の位置に現れるオブジェクトを識別してもよい。例えば、処理ユニット１１０は、識別されたオブジェクトをフィルタリングして、交通信号機に対応する可能性が低いオブジェクトを除外して、候補オブジェクトのセットを構築してもよい。フィルタリングは、形状、寸法、テクスチャ、位置（例えば、車両２００との相対的な位置）など、交通信号機に関連する様々な特性に基づいて行われてもよい。このような特性は、交通信号や交通制御信号の複数の例に基づいて、データベースに格納されていてもよい。いくつかの実施形態では、処理ユニット１１０は、可能性のある交通信号を反映する候補オブジェクトのセットに対して、マルチフレーム解析を実行してもよい。例えば、処理ユニット１１０は、連続する画像フレームにわたって候補オブジェクトを追跡し、候補オブジェクトの現実世界での位置を推定し、動いているオブジェクト（交通信号である可能性が低い）をフィルタリングしてもよい。いくつかの実施形態では、処理ユニット１１０は、候補オブジェクトの色分析を実行し、可能性のある信号機の内部に現れる検出された色の相対的な位置を識別してもよい。

ステップ５６２において、処理ユニット１１０は、交差点の形状を分析してもよい。分析は、以下の任意の組み合わせに基づいてもよい。（ｉ）車両２００の両側で検出された車線の数、（ｉｉ）道路上で検出されたマーキング（矢印マークなど）、および（ｉｉｉ）地図データ（地図データベース１６０からのデータなど）から抽出された交差点の記述、の任意の組み合わせに基づいて、分析を行ってもよい。処理ユニット１１０は、単眼画像解析モジュール４０２の実行から得られる情報を用いて解析を行ってもよい。さらに、処理ユニット１１０は、ステップ５６０で検出された信号機と、車両２００の近傍に現れる車線との対応関係を判定してもよい。

車両２００がジャンクションに近づくと、ステップ５６４において、処理ユニット１１０は、解析された交差点ジオメトリおよび検出された信号機に関連する信頼度を更新してもよい。例えば、交差点に出現すると推定される交通信号の数と、実際に交差点に出現した数とを比較すると、信頼度に影響を与える可能性がある。したがって、信頼度に基づいて、処理ユニット１１０は、安全状態を改善するために、車両２００の運転者に制御を委ねてもよい。ステップ５６０～５６４を実行することにより、処理ユニット１１０は、キャプチャされた画像のセット内に出現する信号機を識別し、交差点ジオメトリ情報を分析してもよい。識別および分析に基づいて、処理ユニット１１０は、上述の図１３に関連して説明したように、車両２００に１つまたは複数のナビゲーション応答を生じさせてもよい。

図１７は、開示された実施形態による、車両経路に基づいて車両２００に１つまたは複数のナビゲーション応答を生じさせるための例示的なプロセス５００Ｅを示すフローチャートである。ステップ５７０において、処理ユニット１１０は、車両２００に関連する初期の車両経路を構築してもよい。車両経路は、座標（ｘ，ｚ）で表される点の集合を用いて表されてもよく、点の集合内の２つの点の間の距離ｄは、１～５メートルの範囲に入ってもよい。一実施形態では、処理ユニット１１０は、左道路多項式および右道路多項式などの２つの多項式を用いて初期車両経路を構築してもよい。処理ユニット１１０は、２つの多項式の間の幾何学的中点を計算し、結果として得られる車両経路に含まれる各点を、もしあれば、所定のオフセット（例えば、スマートレーンオフセット）でオフセットしてもよい。オフセットがゼロであれば、車線の中央を走行することに対応してもよい。オフセットは、車両経路内の任意の２点間のセグメントに垂直な方向であってもよい。別の実施形態では、処理ユニット１１０は、１つの多項式と推定レーン幅を使用して、推定レーン幅の半分に所定のオフセット（例えば、スマートレーンオフセット）を加えて車両経路の各点をオフセットしてもよい。

ステップ５７２において、処理ユニット１１０は、ステップ５７０で構築された車両経路を更新してもよい。処理ユニット１１０は、車両経路を表す点の集合における２つの点の間の距離ｄ_ｋが上述の距離ｄ_ｉよりも小さくなるように、より高い解像度を使用して、ステップ５７０で構築された車両経路を再構築してもよい。例えば、距離ｄ_ｋは、０．１～０．３メートルの範囲に入ってもよい。処理ユニット１１０は、放物線スプラインアルゴリズムを用いて車両経路を再構築してもよく、これにより、車両経路の全長に対応する（すなわち、車両経路を表す点の集合に基づく）累積距離ベクトルＳが得られてもよい。

ステップ５７４において、処理ユニット１１０は、ステップ５７２で構築された更新車両経路に基づいて、先読み点（座標で（ｘ_１，ｚ_１）と表される）を決定してもよい。処理ユニット１１０は、累積距離ベクトルＳから先読み点を抽出してもよく、先読み点は、先読み距離および先読み時間に関連付けられてもよい。先読み距離は、１０～２０ｍの範囲を下限として、車両２００の速度と先読み時間との積として算出されてもよい。例えば、車両２００の速度が低下すると、先読み距離も（例えば、下限値に達するまで）低下してもよい。０．５秒から１．５秒の範囲である先読み時間は、ヘディングエラー追跡制御ループなど、車両２００にナビゲーション応答を生じさせることに関連する１つ以上の制御ループのゲインに反比例してもよい。例えば、ヘディングエラー追跡制御ループのゲインは、ヨーレートループ、ステアリングアクチュエータループ、車の横方向のダイナミクスなどの帯域幅に依存してもよい。そのため、ヘディングエラー追跡制御ループのゲインが高いほど、先読み時間が短くなる。

ステップ５７６で、処理ユニット１１０は、ステップ５７４で決定された先読み点に基づいて、ヘディングエラーおよびヨーレートコマンドを決定してもよい。処理ユニット１１０は、先読み点のアークタンジェント、例えば、ａｒｃｔａｎ（ｘ_１／ｚ_１）を計算することによって、ヘディングエラーを決定してもよい。処理ユニット１１０は、ヨーレートコマンドを、方位誤差とハイレベル制御ゲインとの積として決定してもよい。ハイレベル制御ゲインは、先読み距離が下限値でない場合は、（２／先読み時間）に等しくてもよい。先読み距離が下限値である場合は、ハイレベル制御ゲインは（２×車両２００の速度／先読み距離）とすることができる。

図１８は、開示された実施形態による、先行車両が車線変更しているかどうかを判断するための例示的なプロセス５００Ｆを示すフローチャートである。ステップ５８０において、処理ユニット１１０は、先行車両（例えば、車両２００の前方を走行する車両）に関連するナビゲーション情報を決定してもよい。例えば、処理ユニット１１０は、上述の図１３および図１４に関連して説明した技術を使用して、先行車両の位置、速度（例えば、方向および速度）、および／または加速度を決定してもよい。また、処理ユニット１１０は、上述の図１７に関連して説明した技術を用いて、１つまたは複数の道路多項式、車両２００に関連する先読み点、および／または、スネイルトレイル（例えば、先行車両が通った経路を記述する点の集合）を決定してもよい。

ステップ５８２において、処理ユニット１１０は、ステップ５８０で決定されたナビゲーション情報を分析してもよい。一実施形態では、処理ユニット１１０は、スネイルトレイルと道路多項式の間の（例えば、道に沿った）距離を計算してもよい。トレイルに沿ったこの距離の相違が所定の閾値（例えば、直線道路では０．１～０．２メートル、適度にカーブした道路では０．３～０．４メートル、急カーブの道路では０．５～０．６メートル）を超えた場合、処理ユニット１１０は、先行車両が車線変更している可能性が高いと判断してもよい。車両２００の前方を走行する複数の車両が検出された場合、処理ユニット１１０は、各車両に関連するスネイルトレイルを比較してもよい。処理ユニット１１０は、比較に基づいて、スネイルトレイルが他の車両のスネイルトレイルと一致しない車両が車線変更している可能性が高いと判断してもよい。処理ユニット１１０は、さらに、（先頭車両に関連する）スネイルトレイルの曲率を、先頭車両が走行している道路セグメントの予想される曲率と比較してもよい。予想される曲率は、地図データ（例えば、地図データベース１６０からのデータ）から、道路の多項式、他の車両のスネイルトレイル、道路に関する事前の知識などから、抽出されてもよい。スネイルトレイルの曲率と道路セグメントの予想曲率の差が所定の閾値を超えた場合、処理ユニット１１０は、先行車両が車線変更している可能性が高いと判断してもよい。

別の実施形態では、処理ユニット１１０は、特定の期間（例えば、０．５～１．５秒）にわたって、先行車両の瞬間的な位置と（車両２００に関連する）先読み点とを比較してもよい。先行車両の瞬間位置と先読み点との間の距離が特定期間中に変動し、変動の累積和が所定の閾値（例えば、直線道路では０．３～０．４メートル、適度にカーブした道路では０．７～０．８メートル、急カーブの道路では１．３～１．７メートル）を超えた場合、処理ユニット１１０は、先行車両が車線変更をしている可能性が高いと判断してもよい。別の実施形態では、処理ユニット１１０は、トレイルに沿って移動した横方向の距離と、スネイルトレイルの予想される曲率とを比較することによって、スネイルトレイルのジオメトリを分析してもよい。予想される曲率半径は、計算：
（δ_ｚ ^２＋δ_ｘ ^２）／２／（δ_ｘ）
に従って決定されてもよい。ここで、δ_ｘは横方向の移動距離、δ_ｚは縦方向の移動距離を表す。横方向の移動距離と予想される曲率との差が所定の閾値（例えば、５００～７００メートル）を超えた場合、処理ユニット１１０は、先行車両が車線変更している可能性が高いと判断してもよい。別の実施形態では、処理ユニット１１０は、先行車両の位置を分析してもよい。先行車両の位置が道路多項式を曖昧にしている（例えば、先行車両が道路多項式の上に重ねられている）場合、処理ユニット１１０は、先行車両が車線変更している可能性が高いと判定してもよい。また、先行車両の位置が、先行車両の前方に別の車両が検出され、２つの車両のスネイルトレイルが平行でないような場合には、処理ユニット１１０は、（より近い）先行車両が車線変更している可能性が高いと判断してもよい。

ステップ５８４において、処理ユニット１１０は、ステップ５８２で実行された分析に基づいて、先行車両である車両２００が車線変更しているか否かを判定してもよい。例えば、処理ユニット１１０は、ステップ５８２で実行された個々の分析の加重平均に基づいて判定を行ってもよい。このような方式では、例えば、特定のタイプの分析に基づいて先行車両が車線変更している可能性が高いという処理ユニット１１０の判断には、「１」の値が割り当てられてもよい。先行車両が車線変更している可能性が低いという判断には「０」が割り当てられる。ステップ５８２で実行される異なる分析は、異なる重みを割り当てられてもよく、開示された実施形態は、分析および重みのいかなる特定の組み合わせに限定されない。

図１９は、開示された実施形態による、ステレオ画像解析に基づいて１つまたは複数のナビゲーション応答を生じさせるための例示的なプロセス６００を示すフローチャートである。ステップ６１０において、処理ユニット１１０は、データインタフェース１２８を介して、第１および第２の複数の画像を受信してもよい。例えば、画像取得ユニット１２０に含まれるカメラ（視野２０２および２０４を有する画像取得デバイス１２２および１２４など）は、車両２００の前方の領域の第１および第２の複数の画像をキャプチャして、デジタル接続を介して処理ユニット１１０に送信してもよい。デジタル接続の手法は、有線接続でも無線接続でもよい。いくつかの実施形態では、処理ユニット１１０は、２つ以上のデータインタフェースを介して、第１および第２の複数の画像を受信してもよい。開示された実施形態は、いかなる特定のデータインタフェース構成またはプロトコルにも限定されない。

ステップ６２０において、処理ユニット１１０は、ステレオ画像解析モジュール４０４を実行して、第１および第２の複数の画像のステレオ画像解析を行い、車両前方の道路の３Ｄマップを作成し、車線標識、車両、歩行者、道路標識、高速道路の出口ランプ、信号機、道路の危険性などの画像内の特徴を検出してもよい。ステレオ画像解析は、上述の図１３～図１６に関連して説明したステップと同様の方法で実行されてもよい。例えば、処理ユニット１１０は、ステレオ画像解析モジュール４０４を実行して、第１及び第２の複数の画像内の候補オブジェクト（例えば、車両、歩行者、ロードマーク、交通信号、道路ハザードなど）を検出し、様々な基準に基づいて候補オブジェクトのサブセットをフィルタリングし、残りの候補オブジェクトについてマルチフレーム解析を行い、測定値を構築し、信頼度を決定してもよい。上記のステップを実行する際に、処理ユニット１１０は、一組の画像のみからの情報ではなく、第１および第２の複数の画像の両方からの情報を考慮してもよい。例えば、処理ユニット１１０は、第１および第２の複数の画像の両方に現れる候補オブジェクトについて、ピクセルレベルのデータ（または、撮影された画像の２つのストリームのうちからの他のデータサブセット）の違いを分析してもよい。別の例として、処理ユニット１１０は、複数の画像の一方には現れるが他方には現れないことを観察することにより、または、２つの画像ストリームの場合に現れるオブジェクトに関連して存在し得る他の差異に関連して、候補オブジェクトの（例えば、車両２００に対する）位置および／または速度を推定してもよい。例えば、車両２００に対する相対的な位置、速度、および／または加速度は、画像ストリームの一方または両方に現れる物体に関連する特徴の軌跡、位置、移動特性などに基づいて決定されてもよい。

ステップ６３０において、処理ユニット１１０は、ステップ６２０で実行された分析および図４に関連して上述したような技術に基づいて、車両２００に１つまたは複数のナビゲーション応答を生じさせるために、ナビゲーション応答モジュール４０８を実行してもよい。ナビゲーション応答は、例えば、ターン、レーンシフト、加速度の変化、速度の変化、ブレーキなどを含んでもよい。いくつかの実施形態では、処理ユニット１１０は、速度および加速度モジュール４０６の実行から得られたデータを使用してもよい。モジュール４０６の実行から得られたデータを使用して、１つまたは複数のナビゲーション応答を生じさせることができる。さらに、複数のナビゲーション応答は、同時に、順番に、またはそれらの任意の組み合わせで発生してもよい。

図１９は、開示された実施形態による、３組の画像の分析に基づいて１つまたは複数のナビゲーション応答を生じさせるための例示的なプロセス７００を示すフローチャートである。ステップ７１０において、処理ユニット１１０は、データインタフェース１２８を介して、第１、第２、および第３の複数の画像を受信してもよい。例えば、画像取得ユニット１２０に含まれるカメラ（視野２０２、２０４、２０６を有する画像取得デバイス１２２、１２４、１２６など）は、車両２００の前方および／または側方の領域の第１、第２、および第３の複数の画像を取り込み、デジタル接続を介して処理ユニット１１０に送信してもよい。いくつかの実施形態では、処理ユニット１１０は、３つ以上のデータインタフェースを介して、第１、第２、および第３の複数の画像を受信してもよい。例えば、画像取得デバイス１２２、１２４、１２６のそれぞれは、処理ユニット１１０にデータを通信するための関連するデータインタフェースを有してもよい。開示された実施形態は、いかなる特定のデータインタフェース構成またはプロトコルにも限定されない。

ステップ７２０において、処理ユニット１１０は、第１、第２、および第３の複数の画像を解析して、車線標識、車両、歩行者、道路標識、高速道路の出口ランプ、信号機、道路の危険性などの画像内の特徴を検出してもよい。分析は、上述の図１３～図１６、および図１９に関連して説明したステップと同様の方法で実行されてもよい。例えば、処理ユニット１１０は、第１、第２、および第３の複数の画像のそれぞれについて、単眼画像解析を（例えば、単眼画像解析モジュール４０２の実行を介して、上述の図１３～図１６に関連して説明したステップに基づいて）実行してもよい。あるいは、処理ユニット１１０は、第１及び第２の複数の画像、第２及び第３の複数の画像、及び／又は第１及び第３の複数の画像について、ステレオ画像解析を（例えば、ステレオ画像解析モジュール４０４の実行を介して、上述の図１９に関連して説明したステップに基づいて）実行してもよい。第１、第２、および／または第３の複数の画像の分析に対応する処理済みの情報は、結合されてもよい。いくつかの実施形態では、処理ユニット１１０は、単眼およびステレオ画像解析の組み合わせを実行してもよい。例えば、処理ユニット１１０は、第１の複数の画像に対して単眼画像解析（例えば、単眼画像解析モジュール４０２の実行を介して）を実行し、第２及び第３の複数の画像に対してステレオ画像解析（例えば、ステレオ画像解析モジュール４０４の実行を介して）を実行してもよい。画像取得デバイス１２２、１２４、１２６のそれぞれの位置と視野２０２、２０４、２０６を含む構成は、第１、第２、および第３の複数の画像に対して行われる解析の種類に影響を与える可能性がある。開示された実施形態は、画像取得デバイス１２２、１２４、および１２６の特定の構成、または、第１、第２、および第３の複数の画像に対して実施される分析の種類に限定されない。

いくつかの実施形態では、処理ユニット１１０は、ステップ７１０および７２０で取得および分析した画像に基づいて、システム１００のテストを実行してもよい。そのようなテストは、画像取得デバイス１２２、１２４、および１２６の特定の構成に対するシステム１００の全体的な性能の指標を提供してもよい。例えば、処理ユニット１１０は、“偽のヒット”（例えば、システム１００が車両または歩行者の存在を誤って決定した場合）および“ミス”の割合を決定してもよい。

ステップ７３０において、処理ユニット１１０は、第１、第２、第３の複数の画像から得られた情報に基づいて、車両第１、第２、および第３の複数の画像のうちの２つから得られる情報に基づいて、車両２００に１つ以上のナビゲーション応答を起こさせてもよい。第１、第２、および第３の複数の画像のうちの２つの選択は、例えば、複数の画像のそれぞれで検出されたオブジェクトの数、種類、およびサイズなど、様々な要因に依存してもよい。また、処理ユニット１１０は、画質や解像度、画像に反映される有効視野、撮影されたフレームの数、１つ以上の関心対象のオブジェクトがフレームに実際に現れる程度（例えば、オブジェクトが現れるフレームの割合、そのようなフレームごとに現れるオブジェクトの割合など）などに基づいて選択を行ってもよい。

いくつかの実施形態では、処理ユニット１１０は、１つの画像ソースから導出された情報が他の画像ソースから導出された情報と一致する程度を決定することによって、第１、第２、および第３の複数の画像のうちの２つから導出された情報を選択してもよい。例えば、処理ユニット１１０は、画像取得デバイス１２２、１２４、および１２６のそれぞれから導出された処理済みの情報を組み合わせて（単眼解析、ステレオ解析、またはその２つの任意の組み合わせによるかどうかに関わらず）、画像取得デバイス１２２、１２４、および１２６のそれぞれからキャプチャされた画像間で一貫している視覚的インジケータ（例えば、レーンマーキング、検出された車両とその位置および／または経路、検出された信号機など）を決定してもよい。また、処理ユニット１１０は、撮影された画像間で一貫性のない情報（例えば、車線変更する車両、車両２００に近すぎる車両を示す車線モデルなど）を除外してもよい。このように、処理ユニット１１０は、一貫性のある情報と一貫性のない情報の判定に基づいて、第１、第２、および第３の複数の画像のうちの２つの画像に由来する情報を選択してもよい。

ナビゲーション応答は、例えば、ターン、レーンシフト、加速度の変化などを含んでもよい。処理ユニット１１０は、ステップ７２０で実行された分析および図４に関連して上述したような技術に基づいて、１つまたは複数のナビゲーション応答を生じさせてもよい。処理ユニット１１０はまた、速度および加速度モジュール４０６の実行から得られるデータを使用して、１つまたは複数のナビゲーション応答を生じさせてもよい。いくつかの実施形態では、処理ユニット１１０は、車両２００と、第１、第２、および第３の複数の画像のいずれかで検出された物体との間の相対位置、相対速度、および／または相対加速度に基づいて、１つまたは複数のナビゲーション応答を生じさせてもよい。複数のナビゲーション応答は、同時に、順番に、またはそれらの任意の組み合わせで発生してもよい。

図２１は、画像取得デバイスとして使用することができる例示的な撮像装置２５００の構成要素の概略図である。例示の撮像装置２５００は、イメージャシステムである画像センサ２１００に結合されたレンズシステム１２００を含む。レンズシステム１２００は、フロントカバーガラス１２０４とリアカバーガラス１２１８とを有するレンズ鏡筒１２０２に収容されている。例示のレンズシステム１２００は、第１の両凸レンズ１２０６と、第２の両凸レンズ１２０８と、正メニスカスレンズ１２１０と両凸レンズ１２１２とを含む合成レンズと、第２の正メニスカスレンズ１２１４とを含む。また、レンズシステム１２００は、レンズシステム１２００から画像センサ２１００に投影されるＩＲおよびＵＶのスペクトル範囲の光を減衰させるカットフィルタ１２１６を含む。レンズシステム１２００は、赤から緑のスペクトル範囲の光に対して比較的大きなＭＴＦを提供するように構成されているので、カットフィルタ１２１６は、ＩＲおよびＵＶスペクトル範囲の光を減衰させることに加えて、青のスペクトル範囲の光の少なくとも一部を減衰させるように構成されていてもよい。レンズ素子である両凸レンズ１２０６、１２０８、１２１２、正メニスカスレンズ１２１０、正メニスカスレンズ１２１４のいずれか少なくとも１つは、球形または非球形の素子であってもよい。構成されたレンズを形成するレンズ素子すなわち正メニスカスレンズ１２１０、両凸レンズ１２１２は、光学セメントによって接合されていても、空気によって分離されていてもよい。このレンズ構成は可能な構成の一つである。表１、表２、表３を参照して以下に説明する設計ルールを満たす他の構成が、レンズシステム１２００の代わりに用いられてもよい。

撮像装置２５００は、ハウジング１２２２と、カラーフィルタアレイ２３００と、ＣＭＯＳセンサであってもよいＡＰＳイメージセンサ（以下、イメージセンサ）１２２６とを含む。カラーフィルタアレイ２３００とイメージセンサ１２２６の相対的な大きさは、撮像装置２５００の説明を助けるために誇張されている。イメージセンサ１２２６は、シーンからの画像がカラーフィルタアレイ２３００を介してイメージセンサ１２２６の上面に集束されるように、ハウジング１２２２内のレンズシステム１２００に対する相対的な位置に配置される。イメージセンサ１２２６によってキャプチャされたピクセルデータは、処理回路２４００に提供され、処理回路２４００は、イメージセンサ１２２６の動作を制御することもできる。

自動車用途では、青色のスペクトル範囲の画像データは、赤色から緑色のスペクトル範囲の画像データよりも重要度が低い場合がある。レンズの開口数を増やすことなくイメージャの量子効率を向上させる１つの方法は、青のスペクトル範囲よりも赤から緑のスペクトル範囲でより鮮明な画像を生成するように構成されたレンズを設計し、そのレンズに適合したカラーフィルタを提供することである。ただし、このようにレンズを設計することでイメージャの量子効率を向上させる手法は、必ずしも採用する必要はない。青色のスペクトル範囲の画像データの重要度が、赤色から緑色のスペクトル範囲の画像データの重要度よりも低くしない場合には、カットフィルタ１２１６は、青のスペクトル範囲の光を減衰させないように構成されていてもよい。

図２１に示すレンズシステム１２００のような例示的なレンズシステムは、図２２に示す表１、図２３に示す表２、図２４に示す表３に表された設計ルールに従って設計することができる。表１は、レンズ設計のための波長の重み付けを示す。表２は、表１に示す波長の重み付けを有するレンズ設計のためのポリクロマティックＭＴＦを示し、表３は、４１０ｎｍと３９５ｎｍとの間の範囲であり得るカットオフ波長未満の波長を有するＵＶ光を減衰させ、６９０ｎｍと７０５ｎｍとの間の範囲であり得るカットオフ波長よりも大きい波長を有するＩＲ光を減衰させるように構成されたカットフィルタ１２１６のパラメータを示す。上述したように、いくつかの実施形態では、カットフィルタ１２１６は、約５００ｎｍ未満の波長を有する光を減衰させて、青から紫のスペクトル範囲の光だけでなく、ＵＶスペクトル範囲の光も減衰させるように構成されてもよい。

この設計ルールでは、６０度の視野の中で、赤から緑のスペクトル領域の光の焦点が強調されるようなレンズシステムを規定している。また、表１の重み付け設計ルールでは、黄色の波長を、赤や青の波長よりも重視している。このように、表１～３に示す視野設計ルールは、レンズシステムの視野全体において、少なくとも赤から緑のスペクトル範囲の光に対して比較的高いＭＴＦを規定している。このようなレンズシステムは、撮像装置２５００の処理回路２４００によって使用され、撮像装置２５００の視野全体で関心のあるアイテムを識別することができる。

図２５は、ピクセルアレイ２１０５、このピクセルアレイ２１０５に結合された読み出し回路２１７０、及びピクセルアレイ２１０５に結合された制御回路２１２０を含む画像センサ２１００の実施形態を示す。ピクセルアレイ２１０５は、Ｘピクセル列及びＹピクセル行を有する個々の画像センサ又はピクセル（例えば、ピクセルＰ１、Ｐ２、・・・Ｐｎ）の二次元（２Ｄ）アレイである。ピクセルアレイ２１０５は、図２６に示す前側照明の画像センサとして、又は図２７に示す後側照明の画像センサとして具現化される。図示されたように、アレイの各ピクセルＰは、個人、場所又は物体の画像データを取得するために行（例えば、行Ｒ１ないしＲｙ）及び列（例えば、列Ｃ１ないしＣｘ）に配列され、その画像データを使用して、個人、場所又は物体の２Ｄ画像をレンダリングする。ピクセルアレイ２１０５は、以下に更に述べるように、ピクセルアレイ２１０５に結合されたカラーフィルタアレイ２３００を使用して各ピクセルＰにカラーを指定する。１ピクセルは、点の集合により構成されるカラー画像の１つの点を意味する。後述する単位カラーフィルタは、１ピクセルに対応したカラーフィルタを意味する。

ピクセルアレイ２１０５の各ピクセルがその画像データ又は画像電荷を取得した後に、その画像データは、読み出し回路２１７０により読み出され、そして記憶、追加処理、等のために処理回路２４００へ転送される。読み出し回路２１７０は、増幅回路、アナログ／デジタル変換（ＡＤＣ）変換回路、又は他の回路を含む。読み出し回路２１７０には処理回路２４００が結合されている。処理回路２４００は、機能ロジックを実行する部分である。処理回路２４００は、画像データを記憶し、及び／又は後画像作用を適用することにより画像データを操作する（例えば、クロップ、回転、赤目除去、輝度調整、コントラスト調整、等）。又、処理回路２４００は、ある実施形態において、画像データを処理して固定パターンノイズを修正（即ち、減少又は除去）するのにも使用される。制御回路２１２０は、ピクセルアレイ２１０５の動作特性を制御するためにピクセルアレイ２１０５に結合される。例えば、制御回路２１２０は、画像取得を制御するためのシャッタ信号を発生する。

図２６は、ＣＭＯＳ画像センサにおける一対の前側照明ピクセル（以下、ＦＳＩピクセル）２２００の実施形態の断面図である。ＦＳＩピクセル２２００の前側とは、光感知領域となる光電変換素子２２０４及び関連ピクセル回路が配置され、その上に、信号を再分配する金属スタック２２０６が形成される基板２２０２の側である。金属スタック２２０６は、金属層Ｍ１及びＭ２を含み、これらの層は、光学的通路を形成するようにパターン化され、この通路を通して、ＦＳＩピクセル２２００に入射する光が光電変換素子２２０４に到達する。カラー画像センサを実施するために、前側は、カラーフィルタアレイ２３００を含む。カラーフィルタアレイ２３００が備える原色系単位カラーフィルタ２３０３（この特定の断面図には２つの原色系単位カラーフィルタ２３０３しか示されていない）は、入射光を光電変換素子２２０４に収束する上で役立つマイクロレンズ２２０７の下に配置される。カラーフィルタアレイ２３００は、以下に述べる最小反復単位２３０２を備えている。

図２７は、ＣＭＯＳ画像センサにおける一対の後側照明ピクセル（以下、ＢＳＩピクセル）２２５０の実施形態の断面図である。ＦＳＩピクセル２２００と同様に、ＢＳＩピクセル２２５０の前側とは、光電変換素子２２０４及び関連ピクセル回路が配置され、その上に、信号を再分配する金属スタック２２０６が形成される基板２２０２の側である。カラー画像センサを具現化するために、その後側は、カラーフィルタアレイ２３００を含む。カラーフィルタアレイ２３００が備える原色系単位カラーフィルタ２３０３（この特定の断面図には２つの原色系単位カラーフィルタ２３０３しか示されていない）は、マイクロレンズ２２０７の下に配置される。カラーフィルタアレイ２３００は、以下に述べる最小反復単位のいずれかで形成されるカラーフィルタアレイである。マイクロレンズ２２０７は、入射光を光電変換素子２２０４に収束する上で役立つ。ＢＳＩピクセル２２５０の後側照明は、金属スタック２２０６の金属相互接続線が、像形成される物体と光電変換素子２２０４との間の経路を妨げることがなく、その結果、光電変換素子２２０４により大きな信号が発生されることを意味する。

図２８は、カラーフィルタアレイ２３００と、カラーフィルタアレイ２３００を形成するようにタイル化される１組の最小反復単位２３０２とを示す。カラーフィルタアレイ２３００は、そのカラーフィルタアレイ２３００が結合されているか又は結合されるであろうピクセルアレイ２１０５における個々のピクセルＰの数に実質的に対応する数の個々の原色系単位カラーフィルタ２３０３を含む。個々の原色系単位カラーフィルタ２３０３は、ピクセルアレイ２１０５内の対応する個々のピクセルＰに光学的に結合され、そして１組のスペクトル光応答から選択された特定のスペクトル光応答を有する。特定のスペクトル光応答は、電磁スペクトルのある部分に対しては高い感度を有するが、スペクトルの他の部分に対しては低い感度を有する。ピクセルＰそれ自体は、カラーではないが、ピクセルＰ上に原色系単位カラーフィルタ２３０３を配置することによりカラーフィルタアレイ２３００が各ピクセルＰに個別の光応答を指定するので、ピクセルＰをその特定の光応答のピクセルＰと称するのが一般的である。従って、ピクセルＰは、青フィルタに結合される場合には「青ピクセル」と称され、緑フィルタに結合される場合には「緑ピクセル」と称され、又は赤フィルタに結合される場合には「赤ピクセル」と称される。

カラーフィルタアレイ２３００の個々の原色系単位カラーフィルタ２３０３は、最小反復単位２３０２へグループ化される。原色系単位カラーフィルタ２３０３は、１つの光電変換素子２２０４に対応して配置されているカラーフィルタを意味する。最小反復単位２３０２は、矢印で示すように垂直及び水平にタイル化されて、カラーフィルタアレイ２３００を形成する。最小反復単位２３０２とは、それより少ない個々のフィルタをもつ他の反復単位がないような反復単位である。カラーフィルタアレイ２３００は、多数の異なる反復単位を含むことができるが、反復単位は、より少ない個々のフィルタを伴うアレイに別の反復単位がある場合には最小反復単位ではない。カラーフィルタアレイ２３００の他の実施形態において、最小反復単位は、本実施形態の最小反復単位２３０２に対して示されたものより多いか又は少ない数でもよい。

図２９は、最小反復単位２３０２のカラーフィルタ構成を示す。図２９に示す最小反復単位２３０２は、互いに独立した４つの原色系単位カラーフィルタ２３０３を備える。詳しくは、最小反復単位２３０２は、１つの赤色系単位カラーフィルタ２３０３Ｒと、１つの青色系単位カラーフィルタ２３０３Ｂと、２つの緑色系単位カラーフィルタ２３０３Ｇとを備えている。

各原色系単位カラーフィルタ２３０３の形状は正方形であり、４つの原色系単位カラーフィルタ２３０３が２行２列に配置されている。したがって、最小反復単位２３０２は正方形になっている。ただし、原色系単位カラーフィルタ２３０３の形状、および、最小反復単位２３０２の形状は、必ずしも正方形である必要はない。

図２９に示す最小反復単位２３０２は、ベイヤ配列で赤色系単位カラーフィルタ２３０３Ｒ、緑色系単位カラーフィルタ２３０３Ｇ、青色系単位カラーフィルタ２３０３Ｂが配列されている。

赤色系単位カラーフィルタ２３０３Ｒの色は、３原色の１つである赤色を透過させる。加えて、赤色系単位カラーフィルタ２３０３Ｒは、対応する原色である赤色とは別の原色も、赤色ほどではないが透過させるようになっている。

図３０は、赤色系単位カラーフィルタ２３０３Ｒの透過率と波長との関係を概念的に示す図である。図３０において、実線が赤色系単位カラーフィルタ２３０３Ｒの透過率を示す。破線は、比較のために示している一般的な赤色フィルタの透過率である。赤色は、定義にもよるが、６５０ｎｍ付近である。赤色系単位カラーフィルタ２３０３Ｒは、赤色の透過率が約１００％であり、赤色を透過させる。１００％は一例であり、赤色系単位カラーフィルタ２３０３Ｒは、赤色の透過率が他の原色の透過率よりも高ければよい。

緑色の波長は５４０ｎｍ付近であり、青色の波長は４００ｎｍ付近である。比較のために破線で示している一般的な赤色フィルタは、他の原色は、ほとんど透過させない。これに対して、赤色系単位カラーフィルタ２３０３Ｒは、赤色以外の原色も、赤色ほどではないが透過させるようになっている。赤色系単位カラーフィルタ２３０３Ｒは、図３０の例では他の原色の透過率が約３０％である。３０％は下限有効透過率以上の透過率の一例である。下限有効透過率は、画像センサ２１００の感度を向上させるために有効となる透過率の下限値である。下限有効透過率は、画像センサ２１００の要求仕様などにより適宜決定されてもよい。下限有効透過率は、少なくともノイズレベルとは区別できる透過率である。例えば下限有効透過率は、１０％とされてもよい。例えば下限有効透過率は、１５％とされてもよい。例えば下限有効透過率は、２０％とされてもよい。例えば、下限有効透過率は、２５％とされてもよい。

本実施形態の赤色系単位カラーフィルタ２３０３Ｒは、赤色以外の波長に着目すると、青色の波長付近および緑色の波長付近だけではなく、赤色以外の波長の透過率が略一様になっている。一般的な赤色フィルタであれば透過させない波長域における透過率が、略一様になっている。

図３１には、緑色系単位カラーフィルタ２３０３Ｇの透過率と波長との関係を概念的に示している。図３１において、実線が緑色系単位カラーフィルタ２３０３Ｇの透過率を示す。破線は、比較のために示している一般的な緑色フィルタの透過率である。緑色系単位カラーフィルタ２３０３Ｇは、緑色の透過率が約１００％であり、緑色を透過させる。１００％は一例であり、緑色系単位カラーフィルタ２３０３Ｇは、緑色の透過率が他の原色の透過率よりも高ければよい。

緑色系単位カラーフィルタ２３０３Ｇは、図３１の例では他の原色の透過率を含め、緑色以外の色の透過率が約３０％である。よって、緑色系単位カラーフィルタ２３０３Ｇも、他の原色の透過率が下限有効透過率よりも高い。

図３２には、青色系単位カラーフィルタ２３０３Ｂの透過率と波長との関係を概念的に示している。図３２において、実線が青色系単位カラーフィルタ２３０３Ｂの透過率を示す。破線は、比較のために示している一般的な青色フィルタの透過率である。青色系単位カラーフィルタ２３０３Ｂは、青色の透過率が約１００％であり、青色を透過させる。１００％は一例であり、青色系単位カラーフィルタ２３０３Ｂは、青色の透過率が他の原色の透過率よりも高ければよい。

青色系単位カラーフィルタ２３０３Ｂは、図３２の例では他の原色の透過率を含め、青色以外の色の透過率が約３０％である。よって、青色系単位カラーフィルタ２３０３Ｂも、他の原色の透過率が下限有効透過率よりも高い。また、赤色系単位カラーフィルタ２３０３Ｒ、緑色系単位カラーフィルタ２３０３Ｇ、青色系単位カラーフィルタ２３０３Ｂは、いずれも、対応する原色とは異なる色の透過率が、ほぼ等しくなっている。

赤色系単位カラーフィルタ２３０３Ｒ、青色系単位カラーフィルタ２３０３Ｂ、緑色系単位カラーフィルタ２３０３Ｇは、いずれも、可視領域全体の透過率を、下限有効透過率よりも高くしつつ、１つの原色の透過率を特に高くしたフィルタであると言える。画像センサ２１００は、赤色系単位カラーフィルタ２３０３Ｒ、青色系単位カラーフィルタ２３０３Ｂ、緑色系単位カラーフィルタ２３０３Ｇを備える。これにより、画像センサ２１００は、対応する原色とは別の原色を透過しないカラーフィルタを用いる場合に比較して、画像センサの感度が向上する。

加えて、対応する原色とは別の原色の透過率が有効透過率よりも高いフィルタとすることで感度を向上させる。よって、単位カラーフィルタとして、対応する他の原色を透過しない原色カラーフィルタ、および、それとは別に、クリアフィルタを備える構成に比較して、信号レベル差を少なくできる。

＜第２実施形態＞
次に、第２実施形態を説明する。この第２実施形態以下の説明において、それまでに使用した符号と同一番号の符号を有する要素は、特に言及する場合を除き、それ以前の実施形態における同一符号の要素と同一である。また、構成の一部のみを説明している場合、構成の他の部分については先に説明した実施形態を適用できる。

図３３に示す最小反復単位３３０２は、第１実施形態で説明した最小反復単位２３０２に代えて採用できるものである。最小反復単位３３０２は、第１実施形態で説明したものと同じ特性を持つ赤色系単位カラーフィルタ２３０３Ｒ、緑色系単位カラーフィルタ２３０３Ｇ、青色系単位カラーフィルタ２３０３Ｂを備えている。ただし、第２実施形態では、これらの形状は長方形である。最小反復単位３３０２に、いずれも長方形状の赤色サブ原色フィルタ部３３０４Ｒ、緑色サブ原色フィルタ部３３０４Ｇ、青色サブ原色フィルタ部３３０４Ｂが含まれるようにするためである。原色系単位カラーフィルタ２３０３、サブ原色フィルタ部３３０４を上記形状とすることで、最小反復単位３３０２は、正方形になっている。なお、最小反復単位３３０２の形状は正方形に限られない。原色系単位カラーフィルタ２３０３、サブ原色フィルタ部３３０４の形状も一例であり、他の種々の形状に変更可能である。

サブ原色フィルタ部３３０４は、同じ色系統の原色系単位カラーフィルタ２３０３とセットになるフィルタである。サブ原色フィルタ部３３０４は、原色フィルタ部６３０４よりも小さい。したがって、サブ原色フィルタ部３３０４は、サブ原色フィルタ部３３０４と原色フィルタ部６３０４を合わせた面積の半分以下である。さらに、サブ原色フィルタ部３３０４は、原色フィルタ部６３０４の面積の半分以下である。

赤色サブ原色フィルタ部３３０４Ｒは、赤色系単位カラーフィルタ２３０３Ｒとセットになるフィルタである。緑色サブ原色フィルタ部３３０４Ｇは、緑色系単位カラーフィルタ２３０３Ｇとセットになる。青色サブ原色フィルタ部３３０４Ｂは青色系単位カラーフィルタ２３０３Ｂとセットになる。セットになる一組の原色系単位カラーフィルタ２３０３とサブ原色フィルタ部３３０４とにより、１つの単位カラーフィルタが構成される。

サブ原色フィルタ部３３０４は対応する原色とは別の原色の透過率が原色系単位カラーフィルタ２３０３よりも低い。サブ原色フィルタ部３３０４の波長と透過率との関係の一例は、図３０、図３１、図３２に破線で示した一般的な原色フィルタと同じとすることができる。

各サブ原色フィルタ部３３０４は、セットになる原色系単位カラーフィルタ２３０３に隣接して配置されている。ただし、セットになるとは、色の系統が同じであることを意味している。サブ原色フィルタ部３３０４は、必ずしも、セットになる原色系単位カラーフィルタ２３０３に隣接して配置されている必要はない。

図３４に、第２実施形態における撮像装置２５００の構成の一部を示す。図３４に示されるように、撮像装置２５００は、原色系単位カラーフィルタ２３０３に対応した光電変換素子２２０４と、サブ原色フィルタ部３３０４に対応した光電変換素子２２０４を別々に備える。

読み出し回路２１７０は、原色系単位カラーフィルタ２３０３に対応した光電変換素子２２０４が出力した信号と、サブ原色フィルタ部３３０４に対応した光電変換素子２２０４が出力した信号を区別して処理回路２４００に出力する。

原色系単位カラーフィルタ２３０３は、サブ原色フィルタ部３３０４に比べて光の透過率が高い。そのため、原色系単位カラーフィルタ２３０３に対応した光電変換素子２２０４は、サブ原色フィルタ部３３０４に対応した光電変換素子２２０４よりも感度が高い。以下、原色系単位カラーフィルタ２３０３に対応した光電変換素子２２０４を高感度画素２２０４Ｈ、サブ原色フィルタ部３３０４に対応した光電変換素子２２０４を低感度画素２２０４Ｌと記載することもある。

処理回路２４００は、高感度画素２２０４Ｈが出力した信号と、低感度画素２２０４Ｌが出力した信号のうちの一方のみを用いてカラー画像の１ピクセル分の色を生成することができる。また、それら２種類の信号を両方とも用いてカラー画像の１ピクセル分の色を生成することもできる。

低感度画素２２０４Ｌは、高感度画素２２０４Ｈに比べて飽和しにくい画素であると言える。画像センサ２１００は、高感度画素２２０４Ｈと低感度画素２２０４Ｌとを備えるので、高感度画素２２０４Ｈのみを備える場合に比較して、ダイナミックレンジを広くすることができる。

処理回路２４００は、高感度画素２２０４Ｈが出力した信号を用いてカラー画像を生成する場合と、低感度画素２２０４Ｌが出力した信号を用いてカラー画像を生成する場合とで、補正係数を異ならせる。補正係数の一例は、ホワイトバランスの設定値、カラーマトリクスの設定値である。ホワイトバランスの設定値は、プリセットホワイトバランスと言うこともできる。補正係数の他の例は、輝度値を計算する場合の補正係数である。ホワイトバランスの設定値は、低感度画素２２０４Ｌが出力する信号を、高感度画素２２０４Ｈが出力する信号よりも大きく補正する値になる。カラーマトリクスの設定値は、高感度画素２２０４Ｈが出力する信号を、低感度画素２２０４Ｌが出力する信号よりも大きく補正する係数になる。輝度値を計算する補正係数は、低感度画素２２０４Ｌが出力する信号を高感度画素２２０４Ｈが出力する信号よりも大きく補正する係数になる。補正係数を、ユーザが調整可能になっている場合、補正係数をユーザが任意に調整するのであるから、低感度画素２２０４Ｌと高感度画素２２０４Ｈとで補正係数を別々に調整できるようになっていればよい。

＜第３実施形態＞
図３５に、第３実施形態におけるカラーフィルタアレイ４３００の最小反復単位４３０２を示す。最小反復単位４３０２の大きさは、第１実施形態の最小反復単位２３０２と同じとすることができる。最小反復単位４３０２は、４つの原色系単位カラーフィルタ４３０３が２行２列に配置された形状である。カラーフィルタアレイ４３００以外の構成は第１実施形態と同じであるので、各原色系単位カラーフィルタ４３０３に対応して１つの光電変換素子２２０４が配置されている。

原色系単位カラーフィルタ４３０３は、詳しくは、赤色系単位カラーフィルタ４３０３Ｒ、緑色系単位カラーフィルタ４３０３Ｇ、青色系単位カラーフィルタ４３０３Ｂである。最小反復単位４３０２は、１つの赤色系単位カラーフィルタ４３０３Ｒと、２つの緑色系単位カラーフィルタ４３０３Ｇと、１つの青色系単位カラーフィルタ４３０３Ｂが、ベイヤ配列になっている構成である。

各原色系単位カラーフィルタ４３０３は、原色フィルタ部４３０４とクリアフィルタ部４３０５とを備えている。本実施形態では、正方形である原色系単位カラーフィルタ４３０３を、長方形状に２等分した一方が原色フィルタ部４３０４、他方がクリアフィルタ部４３０５となっている。

赤色系単位カラーフィルタ４３０３Ｒは、原色フィルタ部４３０４として赤色フィルタ部４３０４Ｒを備える。緑色系単位カラーフィルタ４３０３Ｇは、原色フィルタ部４３０４として緑色フィルタ部４３０４Ｇを備える。青色系単位カラーフィルタ４３０３Ｂは、原色フィルタ部４３０４として青色フィルタ部４３０４Ｂを備える。赤色フィルタ部４３０４Ｒの特性は、赤色サブ原色フィルタ部３３０４Ｒと同じである。緑色フィルタ部４３０４Ｇの特性は、緑色サブ原色フィルタ部３３０４Ｇと同じである。青色フィルタ部４３０４Ｂの特性は、青色サブ原色フィルタ部３３０４Ｂと同じである。

クリアフィルタ部４３０５は、無色透明のフィルタである。無色透明であることから、原色フィルタ部４３０４よりも高感度なフィルタである。原色フィルタ部４３０４よりも高感度なフィルタとは、同じ光電変換素子２２０４でも感度を高くできるフィルタ、あるいは、原色フィルタ部４３０４よりも光の透過率が高いフィルタである。

第３実施形態では、最小反復単位４３０２は、４つの原色系単位カラーフィルタ４３０３を備えている。原色系単位カラーフィルタ４３０３は、原色フィルタ部４３０４とクリアフィルタ部４３０５とを備えている。よって、原色系単位カラーフィルタ４３０３の全部が原色フィルタ部４３０４であるよりも感度が向上する。加えて、クリアフィルタ部４３０５を備えることで感度を向上させることから、単位カラーフィルタとして原色フィルタとは別にクリアフィルタを備える場合に比較して、ピクセルＰ間の信号レベル差を少なくできる。

＜第４実施形態＞
図３６では、最小反復単位５３０２を構成する各原色系単位カラーフィルタ５３０３が、４つの小さな正方形に分割されている。４つの小さな正方形のうち、互いに縦横にずれている一対の正方形がサブ原色フィルタ部５３０４ｓであり、４つの小さな正方形のうち、残りの２つがサブクリアフィルタ部５３０５ｓである。クリアフィルタ部５３０５は、１つの原色系単位カラーフィルタ５３０３において２つ（すなわち複数）のサブクリアフィルタ部５３０５ｓに分割されていることになる。サブクリアフィルタ部５３０５ｓはサブ高感度フィルタ部の一例である。

図３６では、原色フィルタ部５３０４が複数のサブ原色フィルタ部５３０４ｓに分かれている。各原色系単位カラーフィルタ５３０３が、図３６のようになっていても、各原色系単位カラーフィルタ５３０３において、原色フィルタ部５３０４とクリアフィルタ部５３０５の割合は、図３５に示したものと同じである。したがって、図３５に示したものと同様に、原色系単位カラーフィルタ５３０３の全部が原色フィルタ部５３０４であるよりも感度が向上し、かつ、単位カラーフィルタとして原色フィルタとは別にクリアフィルタを備える場合に比較して、ピクセルＰ間の信号レベル差を少なくできる。

＜第５実施形態＞
図３７に示す最小反復単位６３０２は、第３実施形態で説明したものと同じ特性を持つ原色系単位カラーフィルタ６３０３を備えている。詳しくは、最小反復単位６３０２は、第３実施形態で説明したものと同じ特性を持つ赤色フィルタ部６３０３Ｒ、緑色系単位カラーフィルタ６３０３Ｇ、青色系単位カラーフィルタ６３０３Ｂを備えている。ただし、第５実施形態では、これらの形状は長方形である。最小反復単位６３０２に、サブ原色フィルタ部３３０４と同一形状の赤色サブ原色フィルタ部６３０６Ｒ、緑色サブ原色フィルタ部６３０６Ｇ、青色サブ原色フィルタ部６３０６Ｂが含まれるようにするためである。なお、原色系単位カラーフィルタ６３０３、サブ原色フィルタ部６３０６の形状は一例であり、他の種々の形状に変更可能である。

各原色系単位カラーフィルタ６３０３は、原色フィルタ部６３０４とクリアフィルタ部６３０５を備える。赤色フィルタ部６３０３Ｒは、原色フィルタ部６３０４として赤色フィルタ部６３０４Ｒと赤色サブ原色フィルタ部６３０６Ｒを備える。緑色系単位カラーフィルタ６３０３Ｇは、原色フィルタ部６３０４として緑色フィルタ部６３０４Ｇと緑色サブ原色フィルタ部６３０６Ｇを備える。青色系単位カラーフィルタ６３０３Ｂは、原色フィルタ部６３０４として青色フィルタ部６３０４Ｂと青色サブ原色フィルタ部６３０６Ｂとを備える。

赤色フィルタ部６３０４Ｒ、赤色サブ原色フィルタ部６３０６Ｒの特性は、赤色サブ原色フィルタ部３３０４Ｒと同じである。緑色フィルタ部６３０４Ｇ、緑色サブ原色フィルタ部６３０６Ｇの特性は、緑色サブ原色フィルタ部３３０４Ｇと同じである。青色フィルタ部６３０４Ｂ、青色サブ原色フィルタ部６３０６Ｂの特性は、青色サブ原色フィルタ部３３０４Ｂと同じである。

図３８に、第５実施形態における撮像装置６５００の構成の一部を示す。図３８に示されるように、撮像装置６５００は、原色系単位カラーフィルタ６３０３に対応した光電変換素子２２０４と、サブ原色フィルタ部６３０６に対応した光電変換素子２２０４を別々に備える。

読み出し回路２１７０は、原色系単位カラーフィルタ６３０３に対応した光電変換素子２２０４が出力した信号と、サブ原色フィルタ部６３０６に対応した光電変換素子２２０４が出力した信号を区別して処理回路６４００に出力する。

原色系単位カラーフィルタ６３０３は、サブ原色フィルタ部６３０６に比べて光の透過率が高い。原色系単位カラーフィルタ６３０３に対応した光電変換素子２２０４は高感度画素２２０４Ｈ、サブ原色フィルタ部３３０４に対応した光電変換素子２２０４は低感度画素２２０４Ｌである。

処理回路６４００は、処理回路２４００と同様、高感度画素２２０４Ｈと低感度画素２２０４Ｌとを、一方または両方用いてカラー画像を生成することができる。処理回路６４００は、高感度画素２２０４Ｈが出力した信号に対する補正係数と、低感度画素２２０４Ｌが出力した信号に対する補正係数に、異なる補正係数を用いる。

補正係数には、ホワイトバランスの設定値、カラーマトリクスの設定値、輝度値を計算する場合の補正係数の１つ以上が含まれる。高感度画素２２０４Ｈに対する補正係数と低感度画素２２０４Ｌに対する補正係数の大小関係は、第２実施形態で説明した高感度画素２２０４Ｈに対する補正係数と低感度画素２２０４Ｌに対する補正係数の大小関係と同じである。

＜第６実施形態＞
図３９に、第６実施形態における撮像装置６５００の構成の一部を示す。第６実施形態の画像センサ２１００は、図３６に示したカラーフィルタアレイ５３００を備える。したがって、１つのピクセルＰは、２つのサブ原色フィルタ部５３０４ｓと、２つのサブクリアフィルタ部５３０５ｓとを備える。

第６実施形態における画像センサ２１００は、２つのサブクリアフィルタ部５３０５ｓにそれぞれ対応した２つの光電変換素子２２０４を備える。また、２つのサブ原色フィルタ部５３０４ｓに対応した２つの光電変換素子２２０４も備える。

処理回路７４００は、読み出し回路２１７０を制御することで、各光電変換素子２２０４が出力する信号を別々に取得できる。処理回路７４００は、カラー画像を生成するために画像処理方法を実行する。この画像処理方法において、処理回路７４００は、２つのサブクリアフィルタ部５３０５ｓに対応した２つの光電変換素子２２０４のうち、１つのピクセルＰについての色を生成するために用いる光電変換素子２２０４の数を、撮像装置７５００の周囲の明るさに応じて調整する。

サブクリアフィルタ部５３０５ｓが２つあるので、１つのピクセルＰについて見ると、サブクリアフィルタ部５３０５ｓに対応した光電変換素子２２０４の数は、０、１、２の３通りが可能である。撮像装置７５００の周囲の明るさを区分する閾値が、予め１つあるいは２つ用意されることで、撮像装置７５００の周囲の明るさを２つ、あるいは、３つに区分することができる。

処理回路７４００は、撮像装置７５００の周囲の明るさが暗いほど、１つのピクセルＰについての色を生成するために用いる、サブクリアフィルタ部５３０５ｓに対応した光電変換素子２２０４の数を多くする。なお、処理回路７４００は、撮像装置７５００の周囲に設置された照度センサ７６００の検出信号をもとに、撮像装置７５００の周囲の明るさを検出する。処理回路７４００は、照度センサ７６００から検出信号を取得するようになっていてもよい。また、処理回路７４００は、他の処理装置が照度センサ７６００からの検出信号をもとに決定した明るさを示す値を取得するようになっていてもよい。

さらに、処理回路７４００は、光電変換素子２２０４が出力する信号を補正する補正係数を、１つのピクセルＰについての色を生成するために用いる光電変換素子２２０４の数に応じて変更する。補正係数には、ホワイトバランスの設定値、カラーマトリクスの設定値、輝度値に対する補正係数の１種類以上が含まれる。

処理回路７４００は、サブクリアフィルタ部５３０５ｓに対応した光電変換素子２２０４の数を多くするほど、補正係数を、補正前の色が薄くなることに対応した値にする。具体的には以下に例示する通りである。

ホワイトバランスの設定値は、サブクリアフィルタ部５３０５ｓに対応した光電変換素子２２０４の数を多くするほど、補正量が少なくなる設定値にする。カラーマトリクスの設定値は、サブクリアフィルタ部５３０５ｓに対応した光電変換素子２２０４の数を多くするほど、大きく補正する設定値にする。サブクリアフィルタ部５３０５ｓに対応した光電変換素子２２０４の数を多くするほど、補正前の色は薄くなるからである。輝度値を補正する補正係数は、サブクリアフィルタ部５３０５ｓに対応した光電変換素子２２０４の数を多くするほど、補正量を少なくする値にする。サブクリアフィルタ部５３０５ｓに対応した光電変換素子２２０４の数を多くするほど、補正前の信号の輝度が高いからである。撮像装置７５００の周囲の明るさに応じた補正係数は、事前に、実際の測定に基づいて設定する。ホワイトバランスの設定値は、周囲が十分に明るい場所において、白被写体が白になるように補正係数を設定する。過補正を防止するためである。周囲が十分に明るい場所の一例は、車両２００のヘッドライトにより照明される明るさである。

この第６実施形態の撮像装置７５００は、複数のサブクリアフィルタ部５３０５ｓにそれぞれ対応した複数の低感度画素２２０４Ｌのうち、１つのピクセルＰについての色を生成するために用いる低感度画素２２０４Ｌの数を、撮像装置７５００の周囲の明るさに応じて調整する。このようにすることで、撮像装置７５００の周囲の明るさが変化しても、各ピクセルＰに対応する光電変換素子２２０４が出力する信号の信号レベル差を少なくできる。

以上、実施形態を説明したが、開示した技術は上述の実施形態に限定されるものではなく、次の変形例も開示した範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施できる。

＜変形例１＞
実施形態では、最小反復単位２３０２、３３０２、４３０２、６３０２は、いずれも、原色系単位カラーフィルタ２３０３、４３０３、５３０３、６３０３がベイヤ配列に配列されていた。しかし、最小反復単位における原色系単位カラーフィルタ２３０３、４３０３、５３０３、６３０３は、ベイヤ配列に限られない。斜めベイヤ配列、クアッドベイヤ配列など、種々の配列を採用できる。

＜変形例２＞
最小反復単位には、少なくとも１つの原色系単位カラーフィルタ２３０３、４３０３、５３０３、６３０３が含まれていればよい。最小反復単位には、原色系単位カラーフィルタ２３０３、４３０３、５３０３、６３０３以外の単位カラーフィルタが含まれていてもよい。原色系単位カラーフィルタ以外の単位カラーフィルタとして、無色透明の単位カラーフィルタであるクリア単位フィルタ、黄色を透過させる単位カラーフィルタであるイエロー単位カラーフィルタを例示できる。さらに、単位カラーフィルタとして、補色系単位カラーフィルタを用いてもよい。補色の一例は、シアン、マゼンダである。

ここで、赤色系単位カラーフィルタをＲ、緑色系単位カラーフィルタをＧ、青色系単位カラーフィルタをＢ、クリア単位カラーフィルタをＣ、イエロー単位カラーフィルタをＹｅ、シアン単位カラーフィルタをＣｙとする。最小反復単位としては、次の態様を例示できる。すなわち、最小反復単位としては、ＲＧＣＢ、ＲＹｅＹｅＢ、ＲＹｅＹｅＣｙ、ＲＹｅＹｅＧ、ＲＹｅＹｅＣ、ＲＹｅＹｅＹｅ、ＲＣＣＢ、ＲＣＣＣｙ、ＲＣＣＧ、ＲＣＣＣ、ＲＣＣＹｅを例示できる。

＜変形例３＞
実施形態では、高感度フィルタ部として、無色透明のフィルタであるクリアフィルタ部４３０５、５３０５、６３０５を開示した。しかし、高感度フィルタ部に使うフィルタは、無色透明でなくても、原色フィルタ部４３０４、５３０４、６３０４よりも高感度であれば、無色透明である必要はない。たとえば、高感度フィルタ部に黄色フィルタを使うこともできる。

＜変形例４＞
第５実施形態において、最小反復単位６３０２に代えて、最小反復単位５３０２を用いてもよい。この場合、低感度画素２２０４Ｌは、２つのサブ原色フィルタ部５３０４ｓのうちの一方を透過した光を受光する位置に配置する。高感度画素２２０４Ｈは、原色系単位カラーフィルタ５３０３のうちの残りの部分を透過した光を受光する位置に配置する。なお、原色系単位カラーフィルタ５３０３のうちの残りの部分の形状を考慮して、複数の高感度画素２２０４Ｈを備えるようにしてもよい。

＜変形例５＞
実施形態の撮像装置２５００、６５００、７５００は、車両２００にナビゲーション応答を生じさせるために用いられていた。しかし、撮像装置２５００、６５００、７５００を他の用途に用いてもよい。他の用途の一例は、ドライブレコーダである。撮像装置２５００、６５００、７５００は、複数の用途に用いてもよい。たとえば、撮像装置２５００、６５００、７５００を、車両２００にナビゲーション応答を生じさせるため、および、ドライブレコーダとして用いてもよい。

＜変形例６＞
本開示に記載の処理ユニット１１０、制御回路２１２０、処理回路２４００、６４００、７４００およびその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の処理ユニット１１０、処理回路２４００、６４００、７４００およびその手法は、専用ハードウエア論理回路により、実現されてもよい。もしくは、本開示に記載の処理ユニット１１０、処理回路２４００、６４００、７４００およびその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウエア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。ハードウエア論理回路は、たとえば、ＡＳＩＣ、ＦＰＧＡである。

また、コンピュータプログラムを記憶する記憶媒体はＲＯＭに限られず、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていればよい。たとえば、フラッシュメモリに上記プログラムが記憶されていてもよい。

２１００：画像センサ ２１２０：制御回路 ２２０４：光電変換素子 ２２０４Ｈ：高感度画素 ２２０４Ｌ：低感度画素 ２３００：カラーフィルタアレイ ２３０２：最小反復単位 ２３０３：原色系単位カラーフィルタ ２４００：処理回路 ２５００：撮像装置 ３３０２：最小反復単位 ３３０４：サブ原色フィルタ部 ４３００：カラーフィルタアレイ ４３０２：最小反復単位 ４３０３：原色系単位カラーフィルタ ４３０４：原色フィルタ部 ４３０５：クリアフィルタ部（高感度フィルタ部） ５３００：カラーフィルタアレイ ５３０３：原色系単位カラーフィルタ ５３０４：原色フィルタ部 ５３０４ｓ：サブ原色フィルタ部 ５３０５：クリアフィルタ部（高感度フィルタ部） ５３０５ｓ：サブクリアフィルタ部（サブ高感度フィルタ部） ６３０２：最小反復単位 ６３０３：原色系単位カラーフィルタ ６３０４：原色フィルタ部 ６３０５：クリアフィルタ部（高感度フィルタ部） ６３０６：サブ原色フィルタ部 ６４００：処理回路 ６５００：撮像装置 ７４００：処理回路 ７５００：撮像装置 ７６００：照度センサ

Claims (10)

1. 複数の光電変換素子（２２０４）と、
   複数の前記光電変換素子に対応して配置されている複数色の単位カラーフィルタと、を備えた画像センサであって、
   少なくとも１つの前記単位カラーフィルタは原色系単位カラーフィルタ（２３０３）を備え、
   前記原色系単位カラーフィルタは、対応する原色を透過させ、かつ、対応する原色とは別の原色の透過率が、前記画像センサの感度を向上させるために有効となる透過率の下限値である下限有効透過率よりも高くなっている、画像センサ。
2. 請求項１に記載の画像センサであって、
   前記単位カラーフィルタは、前記原色系単位カラーフィルタとセットになるフィルタであって、対応する原色とは別の原色の透過率が前記原色系単位カラーフィルタよりも低いサブ原色フィルタ部（３３０４）を備え、
   前記原色系単位カラーフィルタに対応した前記光電変換素子と、前記サブ原色フィルタ部に対応した前記光電変換素子を備える、画像センサ。
3. 請求項２に記載の画像センサと、前記画像センサが出力した信号を処理してカラー画像を生成する処理回路（２４００）とを備えた撮像装置であって、
   前記処理回路は、前記原色系単位カラーフィルタに対応した前記光電変換素子が出力した信号、および、前記サブ原色フィルタ部に対応した前記光電変換素子が出力した信号の少なくとも一方を用いて前記カラー画像を生成するようになっており、
   前記原色系単位カラーフィルタに対応した前記光電変換素子が出力した信号を補正する補正係数と、前記サブ原色フィルタ部に対応した前記光電変換素子が出力した信号を補正する補正係数が互いに異なる、撮像装置。
4. 複数の光電変換素子（２２０４）と、
   複数の前記光電変換素子に対応して配置されている複数色の単位カラーフィルタと、を備えた画像センサであって、
   少なくとも１つの前記単位カラーフィルタは原色系単位カラーフィルタ（４３０３、５３０３、６３０３）を備え、
   前記原色系単位カラーフィルタは、原色である原色フィルタ部（４３０４、５３０４、６３０４）と、前記原色フィルタ部よりも高感度な高感度フィルタ部（４３０５、５３０５）とを備えている、画像センサ。
5. 請求項４に記載の画像センサであって、
   前記原色系単位カラーフィルタ（５３０３）は、前記原色フィルタ部（５３０４）が複数に分かれている、画像センサ。
6. 請求項５に記載の画像センサであって、
   複数に分かれている前記原色フィルタ部の一部であって前記原色フィルタ部の半分以下の面積になっているサブ原色フィルタ部（５３０４ｓ、６３０６）と、
   前記サブ原色フィルタ部に対応した前記光電変換素子である低感度画素（２２０４Ｌ）と、
   前記単位カラーフィルタの残りのフィルタ部分に対応した１つ以上の前記光電変換素子である高感度画素（２２０４Ｈ）とを備えている、画像センサ。
7. 請求項６に記載の画像センサと、前記画像センサが出力した信号を処理して、カラー画像を生成する処理回路（６４００）とを備えた撮像装置であって、
   前記処理回路は、前記低感度画素が出力した信号、および、前記高感度画素が出力した信号を補正して前記カラー画像を生成するようになっており、
   前記低感度画素が出力した信号を補正する補正係数と、前記高感度画素が出力した信号を補正する補正係数が互いに異なる、撮像装置。
8. 請求項４～６のいずれか１項に記載の画像センサと、前記画像センサが出力した信号を処理してカラー画像を生成する処理回路（６４００、７４００）とを備えた撮像装置であって、
   前記原色系単位カラーフィルタは、前記高感度フィルタ部が複数のサブ高感度フィルタ部（５３０５ｓ）に分割されており、
   複数の前記サブ高感度フィルタ部にそれぞれ対応した複数の前記光電変換素子を備え、
   前記処理回路は、複数の前記サブ高感度フィルタ部に対応した複数の前記光電変換素子のうち、１つのピクセルについての色を生成するために用いる前記光電変換素子の数を、周囲の明るさに応じて調整する、撮像装置。
9. 請求項８に記載の撮像装置であって、
   前記処理回路は、前記光電変換素子が出力した信号を補正して前記カラー画像を生成するようになっており、
   前記光電変換素子が出力する信号を補正する補正係数を、１つの前記ピクセルについての色を生成するために用いる前記光電変換素子の数に応じて変更する、撮像装置。
10. 複数の光電変換素子（２２０４）と、複数の前記光電変換素子に対応して配置されている複数色の単位カラーフィルタと、を備えた画像センサが出力した信号を補正してカラー画像を生成する画像処理方法であって、
    前記画像センサは、複数の光電変換素子（２２０４）と、複数の前記光電変換素子に対応して配置されている複数色の単位カラーフィルタと、を備え、
    複数色の前記単位カラーフィルタの少なくとも一部は原色系単位カラーフィルタ（４３０３、５３０３、６３０３）を備え、
    前記原色系単位カラーフィルタは、原色である原色フィルタ部（４３０４、５３０４、６３０４）と、前記原色フィルタ部よりも高感度な高感度フィルタ部（４３０５、５３０５）とを備え、
    前記原色系単位カラーフィルタは、前記高感度フィルタ部が複数のサブ高感度フィルタ部（５３０５ｓ）に分割されており、
    複数の前記サブ高感度フィルタ部にそれぞれ対応した複数の前記光電変換素子を備え、
    前記画像処理方法は、複数の前記サブ高感度フィルタ部に対応した複数の前記光電変換素子のうち、１つのピクセルについての色を生成するために用いる前記光電変換素子の数を、周囲の明るさに応じて調整する、画像処理方法。

Images