JP2022517725A - 迷光の範囲に基づく光検出器システムにおける欠陥の識別 - Google Patents

Abstract

例示的な実施形態は、迷光の範囲に基づいて光検出器システムの欠陥を識別することに関する。例示的な実施形態は、方法を含む。この方法は、光検出器システムを使用して、明るいオブジェクトを含むシーンの画像をキャプチャすることを含む。この方法はまた、画像内の明るいオブジェクトの位置を決定することを含む。さらに、この方法は、画像内の明るいオブジェクトの位置に基づいて、画像内に表されている明るいオブジェクトからの迷光の範囲を決定することを含む。さらに、この方法は、画像内に表される明るいオブジェクトからの迷光の範囲を、迷光の所定の閾値範囲と比較することによって、光検出器システム内に１つ以上の欠陥が存在するかどうかを決定することを含む。迷光の所定の閾値範囲は、迷光の予想される範囲に対応する。【選択図】図１６

Description

本出願は、２０１９年４月８日に出願された米国特許出願第１６／３７７，５２７号、および２０１８年１２月２７日に出願された米国仮出願第６２／７８５，３７５号の優先権を主張し、その内容は参照によりそれらの全体が本明細書に組み入れられる。

本明細書に別段の指示がない限り、本項に記載の資料は、本出願の特許請求の範囲に対する先行技術ではなく、本項に含めることよって先行技術であると認められるものではない。

カメラおよび画像センサは、シーンの画像をキャプチャするために使用されるデバイスである。いくつかのカメラ（フィルムカメラなど）は、化学的にフィルム上の画像をキャプチャする。他のカメラ（デジタルカメラなど）は、（例えば、電荷結合デバイス（ＣＣＤ）または相補型金属酸化膜半導体（ＣＭＯＳ）センサを使用して）画像データを電気的にキャプチャする。カメラで捕捉した画像を分析して、その内容を判定できる。例えば、プロセッサは、オブジェクトの形状、色、サイズなどを含む以前に分類されたオブジェクトのライブラリに基づいてシーンにおけるオブジェクトを識別するために機械学習アルゴリズムを実行する場合がある（例えば、このような機械学習アルゴリズムは、ロボット工学、または他の応用のコンピュータビジョンに適用され得る）。

カメラは、カメラを互いに区別できる様々な特徴を有し得る。例えば、カメラおよび／またはカメラによってキャプチャされた画像は、絞りサイズ、Ｆ値、露出時間／シャッタースピード、被写界深度、焦点距離、国際標準化機構（ＩＳＯ）の感度（またはゲイン）、ピクセルサイズ、センサ解像度、露出距離などの値によって識別されてもよい。これらの特徴は、レンズ、画像センサ、および／またはカメラの追加のファセットに基づいてもよい。さらに、これらの特徴は、単一のカメラ内で調整可能であってもよい（例えば、カメラのレンズの絞りを写真間で調整できる）。

さらに、カメラ内の光学系の欠陥の結果として、キャプチャされた画像内の収差が生成される可能性がある。例えば、ずれ、非単一な透過率、内部反射、破片などにより、シーンからの光が画像センサの意図しない領域や不適切な領域に向けられる可能性がある。このような外部光は、キャプチャされた画像内にベーリンググレアまたはレンズフレアとして現れる場合がある。

本明細書に記載の実施形態は、カメラ内の欠陥を検出するためのシステムおよび方法を含み得る。カメライメージング光学系（レンズやミラーなど）の欠陥には、光学系の亀裂、汚れ、変形、破片などがある。このような欠陥は、製造／組み立ての結果として光学部品に固有のものである場合もあれば、時間の経過とともに（例えば、カメラを使用した結果として）発生する場合もある。さらに、欠陥は、キャプチャされた画像の収差またはエラーにつながる可能性がある。したがって、そのような欠陥を識別することは有用である可能性がある。本明細書に記載の実施形態は、迷光がカメラ光学系内の欠陥の存在／重大度／種類の指標を提供し得るため、カメラによってキャプチャされた画像内の迷光（例えば、ベーリンググレア）の量を監視することによってそのような欠陥を検出し得る。

一態様では、方法が開示される。この方法は、光検出器システムを使用して、明るいオブジェクトを含むシーンの画像をキャプチャすることを含む。この方法はまた、画像内の明るいオブジェクトの位置を決定することを含む。さらに、この方法は、画像内の明るいオブジェクトの位置に基づいて、画像内に表されている明るいオブジェクトからの迷光の範囲を決定することを含む。さらに、この方法は、画像内に表される明るいオブジェクトからの迷光の範囲を、迷光の所定の閾値範囲と比較することによって、光検出器システム内に１つ以上の欠陥が存在するかどうかを決定することを含む。迷光の所定の閾値範囲は、迷光の予想される範囲に対応する。

別の態様では、命令が格納された非一時的なコンピュータ可読媒体が提供される。命令は、プロセッサによって実行されると、プロセッサに方法を実行させる。この方法は、明るいオブジェクトを含むシーンの画像を受信することを含む。画像は、光検出器システムを使用してキャプチャされたものである。この方法はまた、画像内の明るいオブジェクトの位置を決定することを含む。さらに、この方法は、画像内の明るいオブジェクトの位置に基づいて、画像内に表されている明るいオブジェクトからの迷光の範囲を決定することを含む。さらに、この方法は、画像内に表される明るいオブジェクトからの迷光の範囲を、迷光の所定の閾値範囲と比較することによって、光検出器システム内に１つ以上の欠陥が存在するかどうかを決定することを含む。迷光の所定の閾値範囲は、迷光の予想される範囲に対応する。

追加の態様では、光検出器システムが提供される。光検出器システムは、イメージング光学系を含む。光検出器システムはまた、イメージング光学系を介してシーンから光を受け取るように構成された画像センサを含む。さらに、光検出器システムは、監視ルーチンを実行するように構成されたコントローラを含む。監視ルーチンは、光検出器システムを使用して、明るいオブジェクトを含むシーンの画像をキャプチャすることを含む。監視ルーチンは、画像内の明るいオブジェクトの位置を決定することも含む。さらに、監視ルーチンは、画像内の明るいオブジェクトの位置に基づいて、画像内に表されている明るいオブジェクトからの迷光の範囲を決定することを含む。さらに、監視ルーチンは、画像内に表される明るいオブジェクトからの迷光の範囲を、迷光の所定の閾値範囲と比較することによって、光検出器システム内に１つ以上の欠陥が存在するかどうかを決定することを含む。迷光の所定の閾値範囲は、迷光の予想される範囲に対応する。

これらの態様ならびに他の態様、利点、および代替物は、当業者には、以下の詳細な説明を添付の図面を適宜参照して読み取ることにより明らかになるであろう。

例示的な実施形態による、車両を示す機能ブロック図である。

例示的な実施形態による、車両の物理的構成の図である。

図３は、例示的な実施形態による、自律車両に関連する様々なコンピューティングシステム間の無線通信の概念図である。

例示的な実施形態による、光検出器システム内でベーリンググレアを生じさせるメカニズムの図である。

例示的な実施形態による、光検出器システム内でベーリンググレアを生じさせるメカニズムの図である。

例示的な実施形態による、光検出器システム内でベーリンググレアを生じさせるメカニズムの図である。

例示的な実施形態による、明るいオブジェクトを含むシーンの画像である。

例示的な実施形態による、画像内の明るいオブジェクトの識別された位置を有するシーンの画像である。

例示的な実施形態による、低減された強度でキャプチャされた明るいオブジェクトを含むシーンの画像である。

例示的な実施形態による、画像内の明るいオブジェクトの識別された位置および画像内の迷光の領域を有するシーンの画像である。

例示的な実施形態による、シーンの派生画像である。

例示的な実施形態による、光検出器システムの迷光のベースライン量を測定するために使用される積分球の図である。

例示的な実施形態による、光検出器システムの迷光のベースライン量を測定するために使用される、統合されたコリメートレンズを備えた積分球の図である。

例示的な実施形態による、明るいオブジェクトの位置の中心に対する隣接する白色ピクセルの最大半径を有するシーンの派生画像である。

例示的な実施形態による、画像内の迷光の一次領域および画像内の迷光の二次領域を有するシーンの画像である。

例示的な実施形態による、派生画像内の迷光の一次領域、および迷光の一次領域から１つ以上の黒色ピクセルによって分離された、派生画像内の迷光の二次領域を有するシーンの派生画像である。

例示的な実施形態による、迷光のストライプを含む派生画像である。

例示的な実施形態による、迷光のストライプを含む派生画像である。

例示的な実施形態による、明るいオブジェクトを含むシーンの図である。

例示的な実施形態による、方法の図である。

例示的な方法およびシステムが本明細書で企図されている。本明細書において記載された任意の例示的な実施形態または特徴は、必ずしも他の実施形態または特徴よりも好ましいまたは有利であると解釈されるものではない。本明細書において記載された例示的な実施形態は、限定的であることを意味するものではない。開示されるシステムおよび方法の特定の態様は、多種多様な異なる構成で配置し、組み合わせることができ、これらの構成のすべてが、本明細書において熟考されることは容易に理解できるであろう。

さらに、図に示されている特定の配置は、限定的であるとみなされるべきではない。他の実施形態は、所定の図に示されるそれぞれの要素をより多く、またはより少なく含むことができることを理解されるべきである。さらに、図示の構成要素のうちのいくつかの構成要素は、組み合わせることができるか、または省略することができる。またさらに、例示的な実施形態は、図に示されていない要素を含んでいてもよい。

Ｉ．概要
光検出器システム（カメラなど）には、画像のキャプチャに使用される複数の構成要素が含まれる。例えば、一部のカメラには、画像センサ、シャッター、開口部、レンズ、１つ以上のミラー、１つ以上のフィルタなどが含まれる場合がある。これらの構成要素は、組み立て、または通常の使用の過程などにおいて、破片によって遮られたり、損傷を受けたり、ずれが発生したりするおそれがある。このような問題がカメラ内に１つ以上存在する場合、カメラによってキャプチャされた画像が周囲のシーンを正確に反映しない可能性がある（例えば、カメラの主レンズが損傷したり、破片によって遮られたりすると、カメラによってキャプチャされた画像内でシーンの特定の被写体が表示されない場合があり、また、レンズが画像センサに対してずれている場合、または開口部のサイズが不適切な場合、焦点／焦点の深さは、シーン内の１つ以上の被写体に適切に焦点が合っていない可能性がある）。

本明細書に開示される例示的な実施形態は、カメラを使用してキャプチャされた画像を分析することによって、カメラ構成要素に関する問題を識別することができる可能性がある。これは、正確な画像がカメラによってキャプチャされていることを保証しながら、カメラ／その構成要素／その画像の人間による評価を不要にすることから、有益になる可能性がある。例えば、カメラが自律モードまたは半自律モードで動作する車両のオブジェクト検出および回避に使用される場合、カメラによってキャプチャされた画像に基づいて、カメラをいつ使用停止、修理、または交換する必要があるかを識別する機能があることにより、コストを削減し、安全性を向上させる。カメラによってキャプチャされた画像は、リモートサーバに送信され、サーバによって分析される場合がある。このようにして、一連のカメラ（例えば、自律モードで動作する一連の車両の内）をサーバによって同時に監視することができる。

本明細書に記載されるように、いくつかの実施形態は、カメラを使用して明るいオブジェクトの画像をキャプチャし、次に画像を分析して（例えば、非一時的なコンピュータ可読媒体内に格納された命令を実行するプロセッサによって）欠陥が得る。カメラ内（例えば、カメラの光学系内）に存在するかどうかを決定することを含んでもよい。欠陥が存在するかどうかを決定することは、カメラによってキャプチャされた画像内に存在する迷光の範囲を決定することを含み得る。迷光は、例えば、画像内に存在する拡散ベーリンググレアに対応し得る。このような拡散ベーリンググレアは、カメラ内の１つ以上の光学系に欠陥があることを示すものとして機能する場合がある（例えば、レンズに破片や結露がある、ミラーにひびが入っている、汚れている、位置がずれているなど）。さらに、画像内の迷光の量と位置は、カメラ内に存在する問題の種類を示している可能性がある。例えば、画像内に縞模様またはグレアのストライプが存在する場合、フロントガラスワイパーが外部レンズまたは光学窓に縞模様、ストライプ、または汚れたパターンで水を残したと判断される場合がある。あるいは、画像の１つの小さな部分が高強度を有し（例えば、大きなピクセル輝度を有する）、その部分が画像内の明るい光源（例えば、太陽）から遠くに配置されている場合、対応する場所でのミラー、光学窓、レンズ、またはその他のハウジング表面の亀裂があると判断される場合がある。

上記のようにカメラを監視すること（すなわち、カメラを使用して画像をキャプチャし、次にキャプチャした画像を分析して欠陥を識別すること）は、繰り返し間隔で（例えば、毎月、毎日、毎時、３０分ごと、２０分ごと、１０分ごと、５分ごと、１分ごと、３０秒ごと、２０秒ごと、１０秒ごと、５秒ごと、１秒ごと、５００ミリ秒ごと、２５０ミリ秒ごと、１００ミリ秒ごと、５０ミリ秒ごとなど）実行することができ、これによってカメラによってキャプチャされた画像がカメラの周囲のシーンを正確に反映していることを確認する。

カメラ内に１つ以上の欠陥が存在すると判断された場合は、それに応じて適切なアクションを実行できる。適切なアクションには、カメラのクリーニング、修理、再校正、交換、または使用停止が含まれる場合がある。追加的または代替的に、適切なアクションは、１つ以上の欠陥によって引き起こされるエラーを軽減するように、カメラによってキャプチャされた画像を変更するために画像分析を実行することを含み得る。例えば、カメラによってキャプチャされた画像の１つの領域の強度が、カメラの光学系の１つ以上の欠陥に基づいて人為的に膨張されている場合、そのカメラによってその後キャプチャされた各画像は、キャプチャされた画像の対応する領域の強度を下げることによって変更できる。

ＩＩ．システム例
以下の説明および添付図面は、様々な実施形例の特徴を明らかにする。提供される実施形態は例としてのものであり、限定することを意図するものではない。したがって、図面の寸法は必ずしも縮尺通りではない。

ここで、本開示の範囲内の例示的なシステムは、より詳細に記載される。あるシステム例は、自動車に実装され得るか、または自動車の形態を取り得る。しかしながら、あるシステム例はまた、車、トラック、オートバイ、バス、ボート、飛行機、ヘリコプター、芝刈り機、ブルドーザー、ボート、スノーモービル、航空機、レクリエーション車両、遊園地車両、農機具、建設機械、トラム、ゴルフカート、電車、トロリー、ロボットデバイスなどの、他の車両に実装され得、または他の車両の形態を取り得る。他の車両も考えられ得る。さらに、実施形態によっては、システム例は、車両を含まない場合がある。

ここで図を参照すると、図１は、自律モードで完全にまたは部分的に動作するように構成され得る、例示的な車両１００を示す機能ブロック図である。より具体的には、車両１００は、コンピューティングシステムから制御命令を受信することを通して、人間の相互作用なしに自律モードで動作し得る。自律モードでの動作の一部として、車両１００は、センサを使用して、周囲環境のオブジェクトを検出し、場合によっては識別して、安全なナビゲーションを可能にし得る。実施形態によっては、車両１００は、運転者が車両１００の動作を制御することを可能にするサブシステムも含み得る。

図１に示すように、車両１００は、推進システム１０２、センサシステム１０４、制御システム１０６、１つ以上の周辺機器１０８、電源１１０、コンピュータシステム１１２、データストレージ１１４、およびユーザインターフェース１１６などの様々なサブシステムを含み得る。他の例では、車両１００は、それぞれが複数の要素を含むことができるサブシステムをより多くまたはより少なく含み得る。車両１００のサブシステムおよび構成要素は、様々な方法で相互接続され得る。さらに、本明細書で説明する車両１００の機能は、追加の機能的または物理的構成要素に分割するか、または実施形態内でより少ない機能的もしくは物理的構成要素に組み合わせることができる。例えば、制御システム１０６およびコンピュータシステム１１２は、様々な動作に従って車両１００を操作する単一のシステムに組み合わされ得る。

推進システム１０２は、車両１００に動力運動を提供するように動作可能な１つ以上の構成要素を含み得、数ある考えられ得る構成要素の中でも特に、エンジン／モータ１１８、エネルギー源１１９、トランスミッション１２０、および車輪／タイヤ１２１を含み得る。例えば、エンジン／モータ１１８は、エネルギー源１１９を機械的エネルギーに変換するように構成され得、数ある考えられ得るオプション装備の中でも特に、内燃エンジン、電気モータ、蒸気エンジン、またはスターリングエンジンのうちの１つまたは組み合わせに対応し得る。例えば、実施形態によっては、推進システム１０２は、ガソリンエンジンおよび電気モータなどの多数の種類のエンジンおよび／またはモータを含み得る。

エネルギー源１１９は、完全にまたは部分的に、車両１００の１つ以上のシステム（例えば、エンジン／モータ１１８）に動力を供給し得るエネルギー源を表す。例えば、エネルギー源１１９は、ガソリン、ディーゼル、他の石油系燃料、プロパン、他の圧縮ガスベースの燃料、エタノール、ソーラパネル、電池、および／または他の電力源に対応することができる。実施形態によっては、エネルギー源１１９は、燃料タンク、電池、コンデンサ、および／またはフライホイールの組み合わせを含み得る。

トランスミッション１２０は、エンジン／モータ１１８からの機械動力を、車輪／タイヤ１２１および／または車両１００の他の可能なシステムに伝達し得る。したがって、トランスミッション１２０は、数ある考えられ得る構成要素の中でも特に、ギアボックス、クラッチ、ディファレンシャル、および駆動シャフトを含み得る。駆動シャフトは、１つ以上の車輪／タイヤ１２１に接続する車軸を含み得る。

車両１００の車輪／タイヤ１２１は、実施形態例内で様々な構成を有し得る。例えば、車両１００は、数ある考えられ得る構成の中でも特に、一輪車、自転車／オートバイ、三輪車、または車／トラック四輪形式で存在し得る。したがって、車輪／タイヤ１２１は、様々な方法で車両１００に接続することができ、金属およびゴムなどの異なる材料で存在し得る。

センサシステム１０４は、数ある考えられ得るセンサの中でも特に、全地球測位システム（ＧＰＳ）１２２、慣性計測ユニット（ＩＭＵ）１２４、レーダ１２６、レーザ距離計／ＬＩＤＡＲ１２８、カメラ１３０、ステアリングセンサ１２３、およびスロットル／ブレーキセンサ１２５などの様々な種類のセンサを含むことができる。実施形態によっては、センサシステム１０４は、車両１００の内部システムをモニタするように構成されたセンサ（例えば、Ｏ_２モニタ、燃料計、エンジンオイル温度、ブレーキ摩耗）を含み得る。

ＧＰＳ１２２は、地球に対する車両１００の位置に関する情報を提供するように動作可能なトランシーバを含み得る。ＩＭＵ１２４は、１つ以上の加速度計および／またはジャイロスコープを使用する構成を有し得、慣性加速度に基づいて車両１００の位置および向きの変化を感知し得る。例えば、ＩＭＵ１２４は、車両１００が静止しているかまたは動いている間に車両１００のピッチおよび偏揺れを検出することができる。

レーダ１２６は、電波信号を使用して、車両１００の局所環境内のオブジェクトを、オブジェクトの速さおよび進行方向を含めて感知するように構成された１つ以上のシステムを表し得る。したがって、レーダ１２６は、電波信号を送受信するように構成されたアンテナを含み得る。実施形態によっては、レーダ１２６は、車両１００の周囲環境の測定値を得るように構成された装着可能なレーダシステムに対応し得る。

レーザ距離計／ＬＩＤＡＲ１２８は、数あるシステム構成要素の中でも特に、１つ以上のレーザ源、レーザスキャナ、および１つ以上の検出器を含み得、コヒーレントモード（例えば、ヘテロダイン検出を使用）または非コヒーレント検出モードで動作し得る。カメラ１３０は、車両１００の環境の画像をキャプチャするように構成された１つ以上のデバイス（例えば、スチルカメラまたはビデオカメラ）を含み得る。

ステアリングセンサ１２３は、車両１００のステアリング角度を感知し得、これは、ステアリングホイールの角度を測定すること、またはステアリングホイールの角度を表す電気信号を測定することを含み得る。実施形態によっては、ステアリングセンサ１２３は、車両１００の前方軸に対する車輪の角度を検出するなど、車両１００の車輪の角度を測定し得る。ステアリングセンサ１２３はまた、ステアリングホイールの角度、ステアリングホイールの角度を表す電気信号、および車両１００の車輪の角度の組み合わせ（またはサブセット）を測定するように構成され得る。

スロットル／ブレーキセンサ１２５は、車両１００のスロットル位置またはブレーキ位置のいずれかを検出し得る。例えば、スロットル／ブレーキセンサ１２５は、アクセルペダル（スロットル）およびブレーキペダルの両方の角度を測定してもよく、または、例えば、アクセルペダル（スロットル）の角度および／もしくはブレーキペダルの角度を表すことができる電気信号を測定してもよい。スロットル／ブレーキセンサ１２５はまた、エンジン／モータ１１８（例えば、バタフライバルブまたはキャブレタ）にエネルギー源１１９の変調を提供する物理的機構の一部を含み得る、車両１００のスロットルボディの角度を測定してもよい。加えて、スロットル／ブレーキセンサ１２５は、車両１００のロータに掛かる１つ以上のブレーキパッドの圧力、またはアクセルペダル（スロットル）およびブレーキペダルの角度、アクセルペダル（スロットル）およびブレーキペダルの角度を表す電気信号、スロットルボディの角度、ならびに少なくとも１つのブレーキパッドが車両１００のロータに加える圧力の組み合わせ（またはサブセット）、を測定し得る。他の実施形態では、スロットル／ブレーキセンサ１２５は、スロットルまたはブレーキペダルなどの車両のペダルに加えられた圧力を測定するように構成されてもよい。

制御システム１０６は、ステアリングユニット１３２、スロットル１３４、ブレーキユニット１３６、センサ融合アルゴリズム１３８、コンピュータビジョンシステム１４０、ナビゲーション／経路探索システム１４２、および障害物回避システム１４４など、車両１００をナビゲートするのを助けるように構成された構成要素を含み得る。より具体的には、ステアリングユニット１３２は、車両１００の進行方向を調整するように動作可能であり得、スロットル１３４は、エンジン／モータ１１８の動作速度を制御して、車両１００の加速を制御し得る。ブレーキユニット１３６は、車両１００を減速することができ、これは、摩擦を使用して車輪／タイヤ１２１を減速することを含み得る。実施形態によっては、ブレーキユニット１３６は、車両１００の１つ以上のシステムによるその後の使用のために、車輪／タイヤ１２１の運動エネルギーを電流に変換し得る。

センサ融合アルゴリズム１３８は、カルマンフィルタ、ベイジアンネットワーク、またはセンサシステム１０４からのデータを処理することができる他のアルゴリズムを含み得る。実施形態によっては、センサ融合アルゴリズム１３８は、個々のオブジェクトおよび／もしくは特徴の評価、特定の状況の評価、ならびに／または所与の状況内の可能性のある影響の評価など、着信センサデータに基づくアセスメントを提供し得る。

コンピュータビジョンシステム１４０は、オブジェクト、環境オブジェクト（例えば、交通信号、車道境界など）、および障害物を決定しようとする際に画像を処理し、分析するように動作可能なハードウェアおよびソフトウェアを含み得る。したがって、コンピュータビジョンシステム１４０は、オブジェクト認識、Ｓｔｒｕｃｔｕｒｅ Ｆｒｏｍ Ｍｏｔｉｏｎ（ＳＦＭ）、ビデオ追跡、および、例えば、オブジェクトを認識し、環境をマッピングし、オブジェクトを追跡し、オブジェクトのスピードを推定するためなどにコンピュータビジョンで使用される他のアルゴリズムを使用し得る。

ナビゲーション／経路探索システム１４２は、車両１００の運転経路を決定することができ、これは、動作中にナビゲーションを動的に調整することを含み得る。したがって、ナビゲーション／経路探索システム１４２は、数ある情報源の中でも特に、センサ融合アルゴリズム１３８、ＧＰＳ１２２、および地図からのデータを使用して、車両１００をナビゲートし得る。障害物回避システム１４４は、センサデータに基づいて障害となり得るものを評価し、車両１００のシステムに障害となり得るものを回避させるかまたは別の方法で切り抜けさせ得る。

図１に示されるように、車両１００はまた、無線通信システム１４６、タッチスクリーン１４８、マイクロフォン１５０、および／またはスピーカ１５２などの周辺機器１０８を含み得る。周辺機器１０８は、ユーザがユーザインターフェース１１６と相互作用するための制御装置または他の要素を提供し得る。例えば、タッチスクリーン１４８は、車両１００のユーザに情報を提供し得る。ユーザインターフェース１１６はまた、タッチスクリーン１４８を介してユーザからの入力を受け入れ得る。周辺機器１０８はまた、車両１００が、他の車両のデバイスなどのデバイスと通信することを可能にし得る。

無線通信システム１４６は、１つ以上のデバイスと直接または通信ネットワークを介して無線で通信し得る。例えば、無線通信システム１４６は、ＣＤＭＡ、ＥＶＤＯ、ＧＳＭ／ＧＰＲＳなどの３Ｇセルラ通信、またはＷｉＭＡＸもしくはＬＴＥなどの４Ｇセルラ通信を使用することができる。あるいは、無線通信システム１４６は、ＷｉＦｉまたは他の可能な接続を使用して無線ローカルエリアネットワーク（ＷＬＡＮ）と通信し得る。無線通信システム１４６はまた、例えば、赤外線リンク、Ｂｌｕｅｔｏｏｔｈ、またはＺｉｇＢｅｅを使用してデバイスと直接通信し得る。様々な車両通信システムなどの他の無線プロトコルが、本開示の文脈内で可能である。例えば、無線通信システム１４６は、車両および／または道路沿いの給油所間の公開データ通信および／または私的データ通信を含み得る１つ以上の専用狭域通信（ＤＳＲＣ）デバイスを含み得る。

車両１００は、構成要素に電力を供給するための電源１１０を含み得る。電源１１０は、いくつかの実施形態では、再充電可能なリチウムイオンまたは鉛蓄電池を含み得る。例えば、電源１１０は、電力を提供するように構成された１つ以上の電池を含み得る。車両１００はまた、他の種類の電源を使用してもよい。ある実施形態例では、電源１１０とエネルギー源１１９とが、統合されて単一のエネルギー源になり得る。

車両１００は、本明細書に記載の動作などの動作を行うためのコンピュータシステム１１２も含み得る。したがって、コンピュータシステム１１２は、データ記憶域１１４などの非一時的なコンピュータ可読媒体に格納された命令１１５を実行するように動作可能な少なくとも１つのプロセッサ１１３（少なくとも１つのマイクロプロセッサが含まれ得る）を含み得る。実施形態によっては、コンピュータシステム１１２は、車両１００の個々の構成要素またはサブシステムを分散的に制御するように機能し得る複数のコンピューティングデバイスを表し得る。

実施形態によっては、データ記憶域１１４は、図１に関連して上述したものを含めて、車両１００の様々な機能を実行するための、プロセッサ１１３によって実行可能な命令１１５（例えば、プログラム論理）を含み得る。データ記憶域１１４は、推進システム１０２、センサシステム１０４、制御システム１０６、および周辺機器１０８のうちの１つ以上にデータを送信する、それからデータを受信する、それと相互作用する、かつ／またはそれを制御するための命令を含む追加の命令も含み得る。

命令１１５に加えて、データ記憶域１１４は、数ある情報の中でも特に、道路地図、経路情報などのデータを格納し得る。そのような情報は、自律モード、半自律モード、および／または手動モードでの車両１００の動作中に、車両１００およびコンピュータシステム１１２によって使用され得る。

車両１００は、車両１００のユーザに情報を提供するか、または車両１００のユーザから入力を受信するためのユーザインターフェース１１６を含み得る。ユーザインターフェース１１６は、タッチスクリーン１４８上に表示され得るコンテンツおよび／またはインタラクティブ画像のレイアウトを制御することができるか、または制御を可能にし得る。さらに、ユーザインターフェース１１６には、無線通信システム１４６、タッチスクリーン１４８、マイクロフォン１５０、およびスピーカ１５２などの周辺機器１０８のセット内の１つ以上の入力／出力デバイスが含まれ得る。

コンピュータシステム１１２は、様々なサブシステム（例えば、推進システム１０２、センサシステム１０４、および制御システム１０６）から、またユーザインターフェース１１６から受信した入力に基づいて、車両１００の機能を制御し得る。例えば、コンピュータシステム１１２は、推進システム１０２および制御システム１０６によって生成された出力を推定するために、センサシステム１０４からの入力を利用してもよい。実施形態によっては、コンピュータシステム１１２は、車両１００およびそのサブシステムの多くの側面をモニタするように動作可能であり得る。実施形態によっては、コンピュータシステム１１２は、センサシステム１０４から受信した信号に基づいて、車両１００の一部またはすべての機能を無効にし得る。

車両１００の構成要素は、それらのそれぞれのシステム内またはシステム外の他の構成要素との相互接続状態で働くように構成され得る。例えば、ある実施形態例では、カメラ１３０は、自律モードで動作している車両１００の環境の状態に関する情報を表すことができる複数の画像をキャプチャすることができる。環境の状態には、車両が動作している道路のパラメータが含まれ得る。例えば、コンピュータビジョンシステム１４０は、道路の複数の画像に基づいて、傾斜（勾配）または他の特徴を認識することができ得る。加えて、ＧＰＳ１２２とコンピュータビジョンシステム１４０によって認識された特徴との組み合わせは、特定の道路パラメータを判定するために、データストレージ１１４に格納された地図データとともに使用され得る。さらに、レーダユニット１２６はまた、車両の周囲についての情報を提供し得る。

言い換えると、様々なセンサ（入力表示センサおよび出力表示センサと言ってもよい）の組み合わせとコンピュータシステム１１２とが、相互に作用して、車両を制御するために提供される入力の表示または車両の周囲の表示を提供することができる。

いくつかの実施形態では、コンピュータシステム１１２は、無線システム以外のシステムによって提供されるデータに基づいて、様々なオブジェクトに関する判定を行い得る。例えば、車両１００は、車両の視野内のオブジェクトを感知するように構成されたレーザまたは他の光学センサを有し得る。コンピュータシステム１１２は、様々なセンサからの出力を使用して、車両の視野内のオブジェクトに関する情報を判断し得、様々なオブジェクトまでの距離および方向情報を判断し得る。コンピュータシステム１１２はまた、様々なセンサからの出力に基づいて、オブジェクトが望ましいか望ましくないかを判断し得る。

図１は、車両１００の様々な構成要素（すなわち、無線通信システム１４６、コンピュータシステム１１２、データ記憶域１１４、およびユーザインターフェース１１６）を車両１００に統合されているものとして示しているが、これらの構成要素のうちの１つ以上は、車両１００とは別個に装着するかまたは関連付けることができる。例えば、データ記憶域１１４が、部分的または完全に、車両１００とは別個に存在していてもよい。したがって、車両１００は、別個にまたは一緒に配置され得るデバイス要素の形態で提供され得る。車両１００を構成するデバイス要素は、有線および／または無線方式で一緒に通信可能に結合され得る。

図２は、図１を参照して車両１００に関連して説明された機能の一部またはすべてを含み得る例示的な車両２００を示す。車両２００は、例示の目的でバンとして図２に示されているが、本開示はそのように限定されない。例えば、車両２００は、トラック、乗用車、セミトレーラートラック、オートバイ、ゴルフカート、オフロード車、または農業用車両などを表し得る。

車両例２００は、センサユニット２０２、第１のＬＩＤＡＲユニット２０４、第２のＬＩＤＡＲユニット２０６、第１のレーダユニット２０８、第２のレーダユニット２１０、第１のＬＩＤＡＲ／レーダユニット２１２、第２のＬＩＤＡＲ／レーダユニット２１４を含み、また車両２００上で、レーダユニット、ＬＩＤＡＲユニット、レーザ距離計ユニット、および／または他の種類の１つもしくは複数のセンサが位置し得る２つの追加の場所２１６、２１８も含む。第１のＬＩＤＡＲ／レーダユニット２１２および第２のＬＩＤＡＲ／レーダユニット２１４の各々は、ＬＩＤＡＲユニット、レーダユニット、またはその両方の形態を取り得る。

さらに、例示的な車両２００は、図１の車両１００に関連して説明された構成要素のいずれかを含み得る。第１および第２のレーダユニット２０８、２１０ならびに／または第１および第２のＬＩＤＡＲユニット２０４、２０６は、障害となり得るものがないか、その周囲環境を能動的に走査することができ、車両１００のレーダユニット１２６および／またはレーザ距離計／ＬＩＤＡＲユニット１２８と同様のものであり得る。

センサユニット２０２は、車両２００の上部に取り付けられ、車両２００を取り囲む環境に関する情報を検出し、情報の表示を出力するように構成された１つ以上のセンサを含む。例えば、センサユニット２０２は、カメラ、レーダ、ＬＩＤＡＲ、距離計、および音響センサの任意の組み合わせを含み得る。センサユニット２０２は、センサユニット２０２内の１つ以上のセンサの向きを調整するように動作可能であり得る１つ以上の可動マウントを含み得る。一実施形態では、可動マウントは、車両２００の周囲の各方向から情報を得るようにセンサを走査することができる回転プラットフォームを含み得る。別の実施形態では、センサユニット２０２の可動マウントは、角度および／または方位の特定の範囲内で走査的に移動可能であり得る。センサユニット２０２は、例えば、自動車のルーフの上に取り付けられ得るが、他の取り付け位置も可能である。加えて、センサユニット２０２のセンサは、様々な場所に分散されてもよく、１つの場所に併置される必要はない。いくつかの考えら得るセンサ種類および取り付け場所には、２つの追加の場所２１６、２１８が含まれる。さらに、センサユニット２０２の各センサは、センサユニット２０２の他のセンサからは独立して移動または走査されるように構成可能である。ある構成例では、１つ以上のレーダスキャナ（例えば、第１および第２のレーダユニット２０８、２１０）が、電波反射オブジェクトがあるかどうか、車両２００の背面付近の環境を能動的に走査するように、車両２００の後部付近に位置し得る。同様に、第１のＬＩＤＡＲ／レーダユニット２１２および第２のＬＩＤＡＲ／レーダユニット２１４が、車両２００の正面付近の環境を能動的に走査するように、車両２００の正面付近に取り付けられ得る。レーダスキャナは、例えば、車両２００の他の特徴によって塞がれることなく、車両２００の前進路を含む領域を照らすのに好適な場所に位置付けられ得る。例えば、レーダスキャナは、フロントバンパ、フロントヘッドライト、カウル、および／またはボンネットなどに埋め込まれ、かつ／またはそれかその近くに取り付けられ得る。また、１つ以上の追加のレーダ走査デバイスが、リアバンパ、サイドパネル、ロッカーパネル、および／または車台などに、またはその近くにこのようなデバイスを含むことなどによって、電波反射オブジェクトがあるかどうか、車両２００の側面および／または後部を能動的に走査するように位置し得る。

図２には示されていないが、車両２００は、無線通信システムを含み得る。無線通信システムは、車両２００の外部または内部のデバイスと通信するように構成され得る無線送信機および無線受信機を含み得る。具体的には、無線通信システムは、例えば、車両通信システムまたは道路ステーションにおいて、他の車両および／またはコンピューティングデバイスと通信するように構成されたトランシーバを含み得る。そのような車両通信システムの例は、専用の短距離通信（ＤＳＲＣ）、無線周波数識別（ＲＦＩＤ）、およびインテリジェント輸送システムに向けに提案されている他の通信規格を含む。

車両２００は、場合によっては、センサユニット２０２内側の場所にカメラを含み得る。カメラは、車両２００の環境の複数の画像をキャプチャするように構成されている、スチルカメラ、ビデオカメラなどの感光性機器であり得る。この目的のために、カメラは、可視光を検出するように構成され得、付加的または代替的に、赤外光または紫外光などのスペクトルの他の部分からの光を検出するように構成され得る。カメラは、二次元検出器であり得、必要に応じて、感度の三次元空間範囲を有し得る。実施形態によっては、カメラは、例えば、カメラから環境内のいくつかの点までの距離を示す二次元画像を生成するように構成された範囲検出器を含み得る。この目的のために、カメラは、１つ以上の範囲検出技法を使用し得る。例えば、カメラは、構造化光技法を使用することによって範囲情報を提供することができ、この構造化光技法では、車両２００が、格子またはチェッカーボードパターンなどの所定の光パターンで環境内のオブジェクトを照らし、またカメラを使用して、環境周囲からの所定の光パターンの反射を検出する。反射光パターンの歪みに基づいて、車両２００は、オブジェクト上の点までの距離を決定し得る。所定の光パターンは、赤外光、またはそのような測定に好適な他の波長の放射線で構成され得る。例によっては、カメラは、車両２００のフロントガラスの内側に取り付けられ得る。具体的には、カメラは、車両２００の向きに対して前方視から画像をキャプチャするように位置付けられ得る。カメラの他の取り付け場所および視野角もまた、車両２００の内側または外側のいずれかで使用され得る。また、カメラは、調整可能な視野を提供するように動作可能な関連する光学素子を有し得る。さらにまた、カメラは、パン／チルト機構を介してなど、カメラの指向角を変えるように、可動マウントを用いて車両２００に取り付けられ得る。

車両２００は、これら示されたものに加えて、またはその代わりに１つ以上の他の構成要素を含み得る。追加の構成要素は、電気的または機械的機能を含み得る。

車両２００の制御システムは、複数の可能な制御戦略の中から制御戦略に従って車両２００を制御するように構成され得る。制御システムは、車両２００に結合されたセンサから情報（車両２００のオンまたはオフ）を受信し、その情報に基づいて制御戦略（および関連する運転挙動）を修正し、修正された制御戦略に従って車両２００を制御するように構成され得る。制御システムは、センサから受信した情報を監視し、運転状態を継続的に評価するようにさらに構成され得、また、運転状態の変化に基づいて、制御戦略および運転挙動を修正するように構成され得る。

図３は、例示的な実施形態による、自律車両に関連する様々なコンピューティングシステム間の無線通信の概念図である。特に、無線通信は、ネットワーク３０４を介して、リモートコンピューティングシステム３０２と車両２００との間で発生し得る。無線通信は、サーバコンピューティングシステム３０６とリモートコンピューティングシステム３０２との間、またサーバコンピューティングシステム３０６と車両２００との間でも行われ得る。

車両２００は、場所間で乗客またはオブジェクトを輸送することができる様々な種類の車両に対応することができ、上述の車両のうちの任意の１つ以上の形態を取り得る。場合によっては、車両２００は、制御システムがセンサ測定値を使用して目的地間で車両２００を安全にナビゲートすることを可能にする自律モードで動作し得る。自律モードで動作しているとき、車両２００は、乗客の有無にかかわらずナビゲートし得る。その結果、車両２００は、所望の目的地間で乗客を拾い、降ろし得る。

リモートコンピューティングシステム３０２は、本明細書に記載のものを含むがこれに限定されない、リモートアシスタンス技法に関係する任意の種類のデバイスを表し得る。例の中で、リモートコンピューティングシステム３０２は、（ｉ）車両２００に関係する情報を受信し、（ｉｉ）それを通して、次に人間のオペレータが情報に気付き、情報に関係する応答を入力することができる、インターフェースを提供し、（ｉｉｉ）応答を車両２００に、または他のデバイスに送信する、ように構成された任意の種類のデバイスを表し得る。リモートコンピューティングシステム３０２は、ワークステーション、デスクトップコンピュータ、ラップトップ、タブレット、携帯電話（例えば、スマートフォン）、および／またはサーバなどの、様々な形態を取り得る。例によっては、リモートコンピューティングシステム３０２は、ネットワーク構成で一緒に動作する多数のコンピューティングデバイスを含み得る。

リモートコンピューティングシステム３０２は、車両２００のサブシステムおよび構成要素と同様または同一の１つ以上のサブシステムおよび構成要素を含み得る。最低でも、リモートコンピューティングシステム３０２は、本明細書で説明される様々な動作を行うために構成されたプロセッサを含み得る。実施形態によっては、リモートコンピューティングシステム３０２は、タッチスクリーンおよびスピーカなどの入力／出力デバイスを含むユーザインターフェースも含み得る。他の例も、同様に可能である。

ネットワーク３０４は、リモートコンピューティングシステム３０２と車両２００との間の無線通信を可能にするインフラストラクチャを表す。ネットワーク３０４はまた、サーバコンピューティングシステム３０６とリモートコンピューティングシステム３０２との間、またサーバコンピューティングシステム３０６と車両２００との間の無線通信を可能にする。

リモートコンピューティングシステム３０２の位置は、例の範囲内で変わることができる。例えば、リモートコンピューティングシステム３０２は、ネットワーク３０４を介した無線通信を有する車両２００から遠隔位置を有し得る。別の例では、リモートコンピューティングシステム３０２は、車両２００とは別個であるが、人間のオペレータが車両２００の乗客または運転者と相互作用することができる車両２００内のコンピューティングデバイスに対応し得る。例によっては、リモートコンピューティングシステム３０２は、車両２００の乗客によって操作可能なタッチスクリーンを備えるコンピューティングデバイスであってもよい。

実施形態によっては、リモートコンピューティングシステム３０２によって行われる本明細書で説明される動作は、追加的に、または代替的に、車両２００によって（すなわち、車両２００の任意のシステムまたはサブシステムによって）行われ得る。言い換えれば、車両２００は、車両の運転者または乗客が相互作用することができるリモートアシスタンス機構を提供するように構成され得る。

サーバコンピューティングシステム３０６は、ネットワーク３０４を介してリモートコンピューティングシステム３０２および車両２００と（または、場合によっては、リモートコンピューティングシステム３０２および／もしくは車両２００と直接）無線通信するように構成され得る。サーバコンピューティングシステム３０６は、車両２００およびそのリモートアシスタンスに関する情報を受信し、格納し、判断し、かつ／または送信するように構成された任意のコンピューティングデバイスを表し得る。このように、サーバコンピューティングシステム３０６は、リモートコンピューティングシステム３０２および／または車両２００によって行われるものとして本明細書で説明される任意の動作またはそのような動作の部分を行うように構成され得る。リモートアシスタンスに関連する無線通信の一部の実施形態では、サーバコンピューティングシステム３０６を利用することができるが、他の実施形態では利用することができない。

サーバコンピューティングシステム３０６は、本明細書に記載の様々な動作を行うように構成されたプロセッサ、ならびにリモートコンピューティングシステム３０２および車両２００から情報を受信し、それらに情報を提供するための無線通信インターフェースなどの、リモートコンピューティングシステム３０２および／または車両２００のサブシステムおよび構成要素と同様または同一の１つ以上のサブシステムおよび構成要素を含み得る。

上記の様々なシステムは、様々な動作を行い得る。ここで、これらの動作および関連する機能について説明する。

上の記述に沿えば、コンピューティングシステム（例えば、リモートコンピューティングシステム３０２、サーバコンピューティングシステム３０６、または車両２００にローカルなコンピューティングシステム）は、カメラを使用して自律車両の環境の画像をキャプチャするように働くことができる。一般に、少なくとも１つのコンピューティングシステムが画像を分析することができ、場合によっては自律車両を制御する。

いくつかの実施形態では、自律動作を容易にするために、車両（例えば、車両２００）は、車両が動作する環境内のオブジェクトを表すデータ（本明細書では「環境データ」とも称される）を様々な方法で受信し得る。車両のセンサシステムは、環境のオブジェクトを表す環境データを提供し得る。例えば、車両は、カメラ、レーダユニット、レーザ距離計、マイクロフォン、ラジオユニット、および他のセンサを含む様々なセンサを有し得る。これらのセンサの各々は、各それぞれのセンサが受信する情報に関する環境データを車両内のプロセッサに伝え得る。

一例では、カメラが、静止画像および／またはビデオをキャプチャするように構成され得る。いくつかの実施形態では、車両は、異なる向きに位置付けられた２つ以上のカメラを有する場合がある。また、いくつかの実施形態では、カメラは、異なる方向で画像および／またはビデオをキャプチャするために移動することができる場合がある。カメラは、車両の処理システムによる後の処理のために、キャプチャされた画像およびビデオをメモリに格納するように構成され得る。キャプチャされた画像および／またはビデオは、環境データである場合がある。さらに、カメラは、本明細書で説明されるような画像センサを含み得る。

別の例では、レーダユニットが、車両の近くの様々なオブジェクトによって反射される電磁信号を送信し、次いでオブジェクトから反射する電磁信号をキャプチャするように構成され得る。キャプチャされた反射電磁信号は、レーダシステム（または処理システム）が電磁信号を反射したオブジェクトについて様々な判定を行うことを可能にし得る。例えば、様々な反射オブジェクトまでの距離および位置が判定され得る。いくつかの実施形態では、車両は、異なる向きに２つ以上のレーダを有し得る。レーダシステムは、車両の処理システムによる後の処理のために、キャプチャされた情報をメモリに格納するように構成され得る。レーダシステムによってキャプチャされた情報は、環境データである場合がある。

別の例では、レーザ距離計が、車両近くの対象オブジェクトによって反射される電磁信号（例えば、気体もしくはダイオードレーザ、または他の可能な光源からのものなどの赤外光）を送信するように構成され得る。レーザ距離計は、反射された電磁（例えば、レーザ）信号をキャプチャすることができ得る。キャプチャされた反射電磁信号は、測距システム（または処理システム）が様々なオブジェクトまでの距離を判定することを可能にし得る。レーザザ距離計はまた、対象オブジェクトの速度またはスピードを判定することができ、それを環境データとして格納することができる。

加えて、一例では、マイクロフォンが、車両の周囲の環境のオーディオをキャプチャするように構成され得る。マイクロフォンでキャプチャされた音には、緊急車両のサイレンや他の車両の音が含まれる場合がある。例えば、マイクロフォンは救急車、消防自動車、警察車両のサイレンの音をキャプチャする場合がある。処理システムは、キャプチャされたオーディオ信号が緊急車両を示していることを識別でき得る。別の例では、マイクロフォンは、オートバイからの排気など、別の車両の排気の音をキャプチャする場合がある。処理システムは、キャプチャされたオーディオ信号がオートバイを示していることを識別でき得る。マイクロフォンによってキャプチャされたデータは、環境データの一部を形成し得る。

さらに別の例では、ラジオユニットが、Ｂｌｕｅｔｏｏｔｈ信号、８０２．１１信号、および／または他の無線技術信号の形態を取り得る電磁信号を送信するように構成され得る。第１の電磁放射信号は、ラジオユニットに配置された１つ以上のアンテナを介して送信され得る。さらに、第１の電磁放射信号は、多くの異なる無線信号モードのうちの１つで送信されてもよい。しかしながら、いくつかの実施形態では、自律車両の近くに配置されているデバイスからの応答を要求する信号モードで第１の電磁放射信号を送信することが望ましい。処理システムは、ラジオユニットに返信された応答に基づいて近くのデバイスを検出することができ得、この伝達された情報を環境データの一部として使用し得る。

いくつかの実施形態では、処理システムは、車両の環境をさらに判定するために、様々なセンサからの情報を組み合わせることが可能であり得る。例えば、処理システムは、レーダ情報およびキャプチャされた画像の両方からのデータを組み合わせて、別の車両または歩行者が自律車両の前にいるかどうかを判定し得る。他の実施形態では、センサデータの他の組み合わせを処理システムが使用して、環境についての判定を行い得る。

自律モードで動作している間、車両はほとんどまたはまったく人間の入力なしでその動作を制御し得る。例えば、人間のオペレータが住所を車両に入力すると、車両は、人間からのさらなる入力なしに（例えば、人間がブレーキ／アクセルペダルを操縦したり触れたりする必要がなく）、指定された目的地まで運転することができ得る。さらに、車両が自律的に動作している間、センサシステムは環境データを受信していてもよい。車両の処理システムは、様々なセンサから受信した環境データに基づいて車両の制御を変更し得る。いくつかの例では、車両は、様々なセンサからの環境データに応答して、車両の速度を変え得る。車両は、障害物を回避し、交通法に従うなどのために速度を変え得る。車両での処理システムが車両の近くのオブジェクトを識別すると、車両は速度を変更するか、または別の方法で動きを変えることが可能であり得る。

車両がオブジェクトを検出したがオブジェクトの検出に十分自信がない場合、車両は、人間のオペレータ（またはより強力なコンピュータ）に、（ｉ）オブジェクトが実際に環境内に存在するかどうかを確認する（例えば、実際に一時停止標識があるか、または実際に一時停止標識がないか）、（ｉｉ）車両のオブジェクトの識別が正しいかどうかを確認する、（ｉｉｉ）識別が正しくなかった場合、識別を修正する、および／または（ｉｖ）自律車両に対して補足的な命令を提供する（または現在の命令を変更する）などの、１つ以上のリモートアシスタンスタスクを行うよう要求することができる。リモートアシスタンスタスクにはまた、人間のオペレータが車両の動作を制御するための命令を提供する（例えば、人間のオペレータが、オブジェクトは一時停止標識であると判断した場合、一時停止標識で停止するよう車両に命令する）ことが含まれ得るが、場合によっては、オブジェクトの識別に関わる人間のオペレータのフィードバックに基づいて、車両自体が自らの動作を制御することがある。

これを容易にするために、車両は、環境のオブジェクトを表す環境データを分析して、閾値未満の検出信頼度を有する少なくとも１つのオブジェクトを決定し得る。車両のプロセッサは、様々なセンサからの環境データに基づいて環境の様々なオブジェクトを検出するように構成され得る。例えば、一実施形態では、プロセッサは、車両が認識するのに重要であり得るオブジェクトを検出するように構成され得る。このようなオブジェクトには、歩行者、道路標識、他の車両、他の車両のインジケータ信号、およびキャプチャされた環境データで検出された他の様々なオブジェクトが含まれ得る。

検出信頼度は、決定されたオブジェクトが環境内で正しく識別されている、または環境内に存在している可能性を示し得る。例えば、プロセッサは、受信した環境データにおける画像データ内のオブジェクトのオブジェクト検出を行い、閾値を超える検出信頼度を有するオブジェクトを識別することができないことに基づいて、少なくとも１つのオブジェクトが閾値を下回る検出信頼度を有すると判断し得る。オブジェクトのオブジェクト検出またはオブジェクト認識の結果が決定的でない場合、検出信頼度が低いか、または設定閾値を下回っている可能性がある。

車両は、環境データのソースに応じて、様々な方法で環境のオブジェクトを検出し得る。実施形態によっては、環境データは、カメラから来て、画像またはビデオデータであり得る。他の実施形態では、環境データは、ＬＩＤＡＲユニットから来る場合がある。車両は、キャプチャされた画像またはビデオデータを分析して、画像またはビデオデータ内のオブジェクトを識別し得る。方法および装置は、環境のオブジェクトがあるかどうか、画像および／またはビデオデータをモニタするように構成され得る。他の実施形態では、環境データは、レーダ、オーディオ、または他のデータであり得る。車両は、レーダ、オーディオ、または他のデータに基づいて環境のオブジェクトを識別するように構成され得る。

いくつかの実施形態では、オブジェクトを検出するために車両が使用する技術は、既知のデータのセットに基づいていてもよい。例えば、環境オブジェクトに関連するデータは、車両に配置されたメモリに格納されてもよい。車両は、受信したデータを格納されたデータと比較して、オブジェクトを判定し得る。他の実施形態では、車両は、データの文脈に基づいてオブジェクトを判定するように構成され得る。例えば、建設に関連する街路標識は、概してオレンジ色を有し得る。したがって、車両は、道路脇近くに配置されたオレンジ色のオブジェクトを、工事関連の街路標識として検出するように構成されてもよい。加えて、車両の処理システムは、キャプチャされたデータ内のオブジェクトを検出すると、それはまた各オブジェクトの信頼度を計算することができる。

さらに、車両はまた、信頼度閾値を有し得る。信頼度閾値は、検出されるオブジェクトの種類に応じて異なり得る。例えば、別の車両のブレーキライトなど、車両からの迅速な応答アクションを要求し得るオブジェクトについては、信頼度閾値が低くなり得る。しかしながら、他の実施形態では、検出されたすべてのオブジェクトについて、信頼度閾値が同じであってもよい。検出されたオブジェクトに関連付けられた信頼度が信頼度閾値より高い場合、車両は、オブジェクトが正しく認識されたと想定し、その想定に基づいて車両の制御を応答的に調整し得る。

検出されたオブジェクトに関連付けられた信頼度が信頼度閾値より低い場合、車両が取るアクションは変わり得る。いくつかの実施形態では、車両は、低い信頼度レベルにもかかわらず、検出されたオブジェクトが存在するかのように反応する場合がある。他の実施形態では、車両は、検出されたオブジェクトが存在しないかのように反応することがある。

車両は、環境のオブジェクトを検出すると、特定の検出されたオブジェクトに関連付けられた信頼度も計算することができる。信頼度は、実施形態に応じて様々な方法で計算され得る。一例では、環境のオブジェクトを検出するとき、車両は、環境データを既知のオブジェクトに関連する所定のデータと比較し得る。環境データと所定のデータとの一致が近いほど、信頼度はより高くなる。他の実施形態では、車両は、環境データの数学的分析を使用して、オブジェクトに関連付けられた信頼度を判定し得る。

オブジェクトが閾値を下回る検出信頼度を有するとの判定に応答して、車両は、リモートコンピューティングシステムに、オブジェクトの識別とともにリモートアシスタンスの要求を送信し得る。上述のように、リモートコンピューティングシステムは、様々な形態を取り得る。例えば、リモートコンピューティングシステムは、車両とは別個の車両内のコンピューティングデバイス、リモートアシスタンス情報を表示するためのタッチスクリーンインターフェースなど、であってもよいが、それによって人間のオペレータが車両の乗客または運転者と相互作用することができる。追加的に、または代替的に、別の例として、リモートコンピューティングシステムは、車両の近くではない場所に配置されたリモートコンピュータ端末または他のデバイスであってもよい。

リモートアシスタンスの要求は、画像データ、オーディオデータなどの、オブジェクトを含む環境データを含み得る。車両は、ネットワーク（例えば、ネットワーク３０４）上で、いくつかの実施形態では、サーバ（例えば、サーバコンピューティングシステム３０６）を介してリモートコンピューティングシステムに環境データを送信し得る。リモートコンピューティングシステムの人間のオペレータは、次に、要求に応答するための基礎として環境データを使用し得る。

いくつかの実施形態では、オブジェクトが信頼度閾値を下回る信頼度を有するとして検出された場合、オブジェクトには予備識別が与えられてもよく、車両は、予備識別に応答して車両の動作を調整するように構成され得る。そのような動作の調整は、他の可能な調整の中でもとりわけ、車両を停止すること、車両を人間制御モードに切り替えること、車両の速度（例えば、スピードおよび／または方向）を変更することの形態を取り得る。

他の実施形態では、車両が閾値を満たす、または超える信頼度を有するオブジェクトを検出した場合でも、車両は検出されたオブジェクトに従って動作し得る（例えば、オブジェクトが一時停止標識として高い信頼度で識別された場合に停止する）が、車両が検出されたオブジェクトに従って動作するのと同時に（または後で）リモートアシスタンスを要求するように構成され得る。

図４Ａは、光検出器システム４００を示している。光検出器システム４００は、カメラの構成要素であり得る（例えば、図１を参照して示され、説明されるカメラ１３０）。いくつかの実施形態では、光検出器システム４００を使用して、車両（例えば、図２に示されている車両２００）の周囲の環境の画像をキャプチャすることができる。そのような画像は、オブジェクトの検出および回避のために、検出システムの１つ以上の構成要素内の光学的欠陥の検出のために（例えば、ドームまたは光学窓内の１つ以上の亀裂を検出するために）、またはオブジェクトの検出および回避の両方のために、および光学的欠陥の検出のために、キャプチャされ得る。図示されるように、光検出器システム４００は、本体４０２、画像センサ４０４、第１のレンズ４１２、および第２のレンズ４１４を含み得る。

本体４０２は、光検出器システム４００の残りの構成要素のための剛性ハウジングを提供することができる。さらに、光検出器システム４００内の残りの構成要素は、残りの構成要素の適切な位置合わせおよび相対位置を提供するように、ハウジングに取り付けられ得る。例えば、第１のレンズ４１２および第２のレンズ４１４は、第１のレンズ４１２および第２のレンズ４１４が所定の距離だけ分離され、第１のレンズ４１２および第２のレンズ４１４が互いにかつ画像センサ４０４と適切に位置合わせされるように、本体４０２のレンズバレル部分に取り付けられ得る。さらに、いくつかの実施形態では、本体４０２の内面は、内部反射を軽減するために、反射防止材料（例えば、黒化鋼）で作られ、および／またはコーティングされ得る。本体４０２の内面に反射防止材料を使用することに加えて、またはその代わりに、いくつかの実施形態では、第１のレンズ４１２および／または第２のレンズ４１４は、内部反射を軽減するために反射防止材料でコーティングされ得る。

図４Ａから図４Ｃは例として提供されている。本明細書で企図される代替の実施形態では、光検出器システム４００は、より多いまたはより少ないレンズ（例えば、３つのレンズ、４つのレンズ、５つのレンズなど）、異なる向きのレンズ、異なるスタイルのレンズ（例えば、図示の平凸第１レンズ４１２および凸第２レンズ４１４とは対照的に）、レンズの異なる分離、または異なる焦点長を有するレンズを含み得ることが理解される。さらに、いくつかの実施形態では、光検出器システム４００は、追加のまたは代替のイメージング光学系を含み得ることが理解される。例えば、光検出器システム４００は、１つ以上のミラー、１つ以上の開口部、１つ以上の光学フィルタなどを含み得る。いくつかの実施形態では、光検出器システム４００は、調整可能な焦点配置（例えば、相互に平行移動され、関連する焦点を調整し得るレンズのセット）を含み得る。そのような調整可能な焦点配置は、手動で調整または自動化された方法で調整することができる（例えば、各レンズが取り付けられているステージを再配向／平行移動するように構成されたコントローラによって。このコントローラは、キャプチャされた画像の品質に基づいてレンズ配置の焦点を調整することができる）。

画像センサ４０４は、第１のレンズ４１２および第２のレンズ４１４を介して環境からの光信号を遮断することによって、光検出器システム４００（すなわち、シーン）の周囲の環境の画像をキャプチャするように構成され得る。画像センサ４０４は、そのような光信号の検出を可能にするために、様々な光検出器または検出器アレイを含み得る。例えば、様々な実施形態では、画像センサ４０４は、単一光子アバランシェ検出器（ＳＰＡＤ）のアレイ、アバランシェフォトダイオード（ＡＰＤ）のアレイ、１つ以上のシリコン光増倍器（ＳｉＰＭ）、フォトダイオードのアレイ、フォトトランジスタのアレイ、アクティブピクセルセンサ（ＡＰＳ）のアレイ、１つ以上のＣＣＤ、１つ以上の極低温検出器などを含み得る。いくつかの実施形態では、光検出器システム４００はまた、画像センサ４０４によってキャプチャされた画像を（例えば、ピクセルごとの配置の一連のデジタルビットとして）格納するように構成されたメモリ（例えば、ハードドライブなどの非一時的コンピュータ可読媒体）を含むか、またはそれに接続され得る。

図４Ａに示される光検出器システム４００などの光検出器システムは、内部反射の影響を受けやすい可能性がある。例えば、レンズの１つ内またはレンズ上の欠陥（例えば、不純物、ひび、気泡、引っかき傷、汚れ、ほこり、虫の飛び散り、レンズコーティングの劣化、結露、破片、不完全な透明度など）によって、単一の一次光信号に基づいて画像センサ４０４と交差する、追加の光信号（すなわち、迷光信号）が生じる可能性がある。図４Ａに示されるように、一次光信号４２２は、光検出器システム４００の周囲環境におけるオブジェクト４２０（例えば、シーン内の他のオブジェクトと比較して高い強度を有する太陽などの明るいオブジェクト）によって送信され得る。光検出器システム４００に入り、第１のレンズ４１２と相互作用すると、例えば、一次光信号４２２は、強度が低下した一次光信号４２４、二次光信号４２６、および三次光信号４２８に分割され得る。強度が低下した一次光信号４２４、二次光信号４２６、および三次光信号４２８は、互いに異なる強度であり得る。

他の実施形態では、一次光信号４２２は、第１のレンズ４１２と相互作用すると、より多いまたはより少ない追加の光信号に分離することができる。追加的または代替的に、一次光信号４２２と第１のレンズ４１２との相互作用に基づいて生成された任意の光信号は、光検出器システム４００における追加のレンズとの相互作用に基づいて追加の光信号をさらに生成し得る（例えば、いくつかの実施形態では、二次光信号４２６または三次光信号４２８がそれぞれ、第２のレンズ４１４との相互作用に基づいて、さらに複数の光信号に分割され得る）。強度が低下した一次光信号４２４および一次光信号４２２に対する二次光信号４２６および三次光信号４２８の角度は、例としてのみ示されていることが理解される。他の実施形態では、二次光信号４２６または三次光信号４２８の相対角度は、異なっていてもよい（例えば、一次光信号４２２の波長、第１のレンズ４１２の材料組成、第１のレンズ４１２の欠陥、周囲温度、周囲空気圧、第１のレンズ４１２のレンズ形状などに基づく）。

一次光信号４２２と第１のレンズ４１２との相互作用によって生成された追加の光信号（例えば、二次光信号４２６および三次光信号４２８）の結果として、画像センサ４０４によってキャプチャされた周囲の環境の画像は、歪んだり、不正確になったりする可能性がある。いくつかの実施形態では、オブジェクト４２０は、光検出器システム４００におけるそのような不完全性の結果として、そうでない場合とは異なる形状、サイズ、および／または強度であるように見える場合がある。例えば、ベーリンググレアまたはレンズフレア（迷光の両形態）が、画像センサ４０４によってキャプチャされたオブジェクト４２０の画像に存在し得、それによって、キャプチャされた画像内のオブジェクト４２０を覆い隠すか、またはキャプチャされた画像の他の部分を覆い隠す。これは、キャプチャされた画像内の明るいオブジェクトの近くに配置された比較的かすかなオブジェクトの観察を防ぐ可能性がある（例えば、光検出器システム４００に対して太陽の前に立っている歩行者は、特に光検出器システム４００で生成される太陽によるベーリンググレアが強力である場合、太陽によって不鮮明になる可能性がある）。さらに、そのようなベーリンググレアまたはレンズフレアは、高ダイナミックレンジで画像をキャプチャする画像センサ４０４の能力に悪影響を与える可能性がある。

他の光学機構は、周囲のシーンを正確に反映しない画像センサ４０４によってキャプチャされた画像を生じさせる場合がある（例えば、ベーリンググレアまたはレンズフレアを生じさせる場合がある）。例えば、オブジェクト４２０からの一次光信号４２２は、１つ以上のレンズの入射面から反射され得る。例えば、図４Ｂに示されるように、一次光信号４２２は、第２のレンズ４１４の前面によって反射されて、反射光信号４３２を生成することができる。次に、反射光信号４３２は、第１のレンズ４１２の背面で反射し、第２のレンズ４１４を透過し、次に、図示のように、画像センサ４０４と交差することができる。図４Ａに示されているメカニズムと同様に、図４Ｂに示されているメカニズムは、画像センサ４０４によってキャプチャされた画像内のオブジェクトを覆い隠す、またはソースオブジェクト４２０の強度、形状、またはサイズを不正確にするベーリンググレアまたはレンズフレアをもたらす可能性がある。強度が低下した一次光信号４２４および一次光信号４２２に対する反射光信号４３２の角度は、一例としてのみ示されていることが理解される。他の実施形態では、反射光信号４３２の相対角度は、異なっていてもよい（例えば、一次光信号４２２の波長、第２のレンズ４１４の材料組成、第２のレンズ４１４の欠陥、周囲温度、周囲空気圧、第２のレンズ４１４のレンズ形状、光検出器システム４００に対するオブジェクト４２０の位置などに基づく）。さらに、いくつかの実施形態では、一次光信号４２２に基づいて生成された複数の反射光信号があり得る。

キャプチャされた画像に迷光を発生させる可能性のある別の光学メカニズムを図４Ｃに示す。図示のように、一次光信号４２２は、本体４０２の内面（例えば、本体４０２のレンズバレル部分）で反射されて、反射光信号４４２を生成し得る。また、図示のように、いくつかの実施形態では、一次光信号４２２は、本体４０２の内面によって部分的に反射され、本体４０２の内面によって部分的に吸収され得、その結果、一次信号４２２と比較して強度が低下した反射光信号４４２が生じる。生成された後、反射光信号４４２は、次に、画像センサ４０４に送信され得る。図４Ａおよび４Ｂに示されるメカニズムと同様に、図４Ｃに示されるメカニズムは、画像センサ４０４によってキャプチャされた画像内のオブジェクトを覆い隠す可能性がある。さらに、図４Ｃに示されるメカニズムは、そうでなければキャプチャされないオブジェクトからの光を画像センサ４０４によってキャプチャするように導くことができる（すなわち、光検出器システム４００の視野外のオブジェクトが、それにもかかわらず画像センサ４０４によってキャプチャされた光を生成することができる）。一次光信号４２２に対する反射光信号４４２の角度は、一例としてのみ示されていることが理解される。他の実施形態では、反射光信号４４２の相対角度は、異なっていてもよい（例えば、一次光信号４２２の波長、本体４０２の内面の材料組成、本体４０２の内面上のコーティングの材料組成、周囲温度、周囲空気圧、光検出器システム４００に対するオブジェクト４２０の位置、本体４０２のレンズバレル部分の形状などに基づく）。さらに、いくつかの実施形態では、一次光信号４２２に基づいて生成された複数の反射光信号があり得る。

上記で説明され、図４Ａから図４Ｃに示されるメカニズムに基づいて、迷光は、光検出器システム４００の周囲の環境内のオブジェクト４２０によって生成される光信号に基づいて、光検出器システム４００内で生成される場合がある。図５は、ベーリンググレアおよびレンズフレアが存在する（例えば、図４Ａから図４Ｃを参照して説明された１つ以上のメカニズムの結果として）光検出器システム４００の画像センサ４０４によってキャプチャされた画像を示す。そのような画像は、本明細書では、グレアを伴うキャプチャ画像５０２と呼ばれ得る。光検出器システム４００内の光学的欠陥に基づいて、他の種類の迷光（ベーリンググレアおよびレンズフレア以外）も生じる可能性がある。

生成されたグレアの結果として、キャプチャされた画像５０２の領域は、そのようなグレアがない場合よりも高い強度の位置を有し得る。例えば、キャプチャされた画像５０２は、図示されているように、キャプチャされた画像５０２内の太陽の位置の近くに高強度の領域を有する。本明細書に記載されるように、そのようなグレアは、光検出器システム４００内の欠陥（例えば、光学的不完全さ）を識別／評価するために使用され得る。例えば、キャプチャされた画像５０２内の高強度領域の存在または不在、キャプチャされた画像５０２内の高強度領域の位置、キャプチャされた画像５０２内の高強度領域の形状、および／またはキャプチャされた画像５０２内の高強度領域の強度を使用して、光学的欠陥が光検出器システム４００内に存在するかどうかを識別し得る。さらに、キャプチャされた画像５０２内のそのような高強度領域を使用して、光検出器システム４００内に存在する光学的欠陥の種類（複数可）（例えば、レンズ、ミラー、または画像センサ上の破片、レンズ、ミラー、または画像センサ上の結露、レンズ、ミラー、または画像センサの傷、レンズ、ミラー、または画像センサのひび割れ、レンズ、ミラー、または画像センサの反り、レンズ、ミラー、または画像センサのずれなど）、および／または光検出器システム４００内に存在する光学的欠陥の位置（複数可）（例えば、レンズの中心またはレンズの周辺）を決定し得る。次に、識別された光学的欠陥の重大度に基づいて、光学的欠陥を修正するために追加のアクションを取り得る（例えば、レンズおよび／またはミラーを洗浄、交換、または再調整、光検出器システム４００全体を、使用停止または交換、または後処理ステップを、グレアの影響を軽減するために、キャプチャされた画像５０２に対して実行し得る）。

いくつかの実施形態では、迷光評価が行われる画像をキャプチャするために使用される光検出器システム４００は、オブジェクトの検出および回避に使用される光検出器システム４００であり得る。例えば、キャプチャされた画像は、シーン内の特定のオブジェクトを識別するために使用できる画像であり得るが、さらに、光検出器システム４００の１つ以上の光学系（例えば、レンズまたはミラー）またはより大きな環境検出システムの１つ以上の光学系（例えば、光検出器システム４００および付随するＬＩＤＡＲデバイスの周囲のドームまたはケーシング）内の１つ以上の光学的欠陥を識別するために使用できる画像であり得る。代替の実施形態では、光検出器システム４００は、代わりに、１つ以上の光学系（例えば、より大きな環境検出システム内の複数の検出装置によって共有される光学系）内の光学的欠陥を検出する目的でのみ設置され得る。言い換えれば、光検出器システム４００は、専用の光学欠陥検出器システムであり得る。例えば、光検出器システム４００は、オブジェクトの検出および回避の目的で設置されるカメラおよびＬＩＤＡＲデバイスから分離され得る。そのような実施形態では、光検出器システム４００が、キャプチャされた画像内の迷光の程度に基づいて１つ以上の光学系の光学欠陥を検出する場合、光検出器システム４００は、補正機構（例えば、フロントガラスワイパーなどの洗浄メカニズム、または特定の光学部品の特定の領域が汚れている、損傷している、および／またはイメージングに使用できないことを示すフラグを提供するなどの通知メカニズム）を始動し得る。

図６から図１１は、明るいオブジェクトの画像内の迷光を評価して、明るいオブジェクトの画像をキャプチャするために使用される光学的検出器システム（例えば、図４Ａから図４Ｃに示される検出器システム４００）内に、１つ以上の欠陥（例えば、光学的不完全さ）が存在するかどうかを決定することができる１つの方法を説明するために使用される。図６から図１１は、単に例として提供されており、他の実施形態も、本開示および関連する特許請求の範囲内にあることが理解される。

さらに、以下の図を参照して説明する方法は、様々な場所で、様々な装置によって実行され得る。いくつかの実施形態では、迷光について分析されるべきシーンの画像をキャプチャするために使用される光検出器システム４００は、関連するプロセッサ（例えば、マイクロコントローラなどのコントローラ）を含み得る。そのようなプロセッサは、光検出器システム４００のみに関連するプロセッサであり得る。他の実施形態では、プロセッサは、より大きなシステムの複数の構成要素を制御するために使用されるプロセッサ（例えば、図１に示され説明されるコンピュータシステム１１２のプロセッサ１１３などの、自律モードまたは半自律モードで動作する車両用のコントローラ）であり得る。関連するプロセッサは、メモリ内に格納された命令（例えば、図１を参照した上記のデータストレージ１１４内に格納された命令１１５と同様）を実行して、キャプチャされた画像に対してデジタル画像分析を実行して、キャプチャされた画像内の迷光の範囲を決定し得る。

あるいは、光検出器システム４００は、キャプチャされた画像を別のデバイスに送信して、キャプチャされた画像内の迷光を評価することができる。例えば、光検出器システム４００は、キャプチャされた画像を、モバイルコンピューティングデバイス（例えば、図３を参照して示され、説明されるリモートコンピューティングシステム３０２）またはサーバコンピューティングデバイス（例えば、図３を参照して示され、説明されるサーバコンピューティングシステム３０６）に送信し得る。そのようなコンピューティングデバイスは、光検出器システム４００から離れて配置することができる。したがって、そのようなコンピューティングデバイスは、ネットワーク（例えば、図３を参照して示され、説明されるネットワーク３０４）を介して、光検出器システム４００からキャプチャされた画像を受信し得る。キャプチャされた画像を受信すると、そのようなコンピューティングデバイスは、画像をメモリ内に格納し、および／またはキャプチャされた画像を評価して、画像内の迷光の範囲を識別し得る。そのような評価は、プロセッサ（例えば、図１を参照して上記のデータストレージ１１４内に格納された命令１１５と同様に、メモリ内に格納された命令を実行するコンピューティングデバイス内の中央処理装置（ＣＰＵ））によって実行され得る。

キャプチャされた画像の評価が行われる場所に関係なく、例示的な方法の最初のステップは、画像内に明るいオブジェクトがある場合、その位置を決定することを含み得る。明るいオブジェクトは、閾値輝度値を有するオブジェクト、または定義された閾値強度を超える強度値（例えば、ピクセル輝度値）を有する画像内のオブジェクトとして定義され得る。このような閾値は、事前に決定され、メモリ内に格納され得る。あるいは、そのような閾値は、キャプチャされた画像に基づいて（例えば、画像内のピクセル輝度値の中央値または画像内の平均ピクセル輝度値に基づく）、および／または他の要因に基づいて（例えば、閾値は、特定の地域の天気予報が曇りまたは霧で、画像内の明るいオブジェクトが太陽、月、交通信号、街灯などである場合などの天気予報に基づく）定義され得る。いくつかの実施形態では、閾値は、ユーザによって設定または修正され得る（例えば、閾値設定または修正コマンドを、キャプチャされた画像に対して分析を実行するコンピューティングデバイスに送信することによって）。追加的または代替的に、そのような閾値は、機械学習アルゴリズムを使用して（例えば、ラベル付けされたトレーニングデータのセットを評価することによって）決定され得る。

キャプチャされた画像内に明るいオブジェクトがないと判断された場合（例えば、閾値強度値よりも大きい強度を有する領域が画像内にない場合）、明るいオブジェクトが識別されるまで閾値を調整することができる。あるいは、様々な実施形態において、キャプチャされた画像内に明るいオブジェクトが識別されない場合、方法は、画像分析のために異なる画像を要求し、画像をキャプチャした光検出器システム４００内に欠陥が存在しないと判断し、または（例えば、ユーザまたは光検出器システム４００）に対して、キャプチャされた画像を使用して光検出器システム４００内の潜在的な欠陥を識別することはできないとの出力を提供し得る。

図５と同様に、図６は、光検出器システム（例えば、図４Ａから図４Ｃに示される光検出器システム４００）によってキャプチャされたキャプチャされた画像５０２の図である。しかしながら、図５とは異なり、図６では、明るいオブジェクト６０２がラベル付けされている（例えば、非一時的なコンピュータ可読媒体内に格納された命令を実行するプロセッサによって識別されるように）。図６では、キャプチャされた画像５０２内の明るいオブジェクト６０２の位置は、黒い円によってラベル付けされている。いくつかの実施形態では、図５に基づいて明らかなように、明るいオブジェクト６０２は太陽であり得る。以下に説明するように、キャプチャされた画像５０２内の明るいオブジェクト６０２の位置を使用して、キャプチャされた画像５０２内の迷光の範囲を決定することができる。したがって、明るいオブジェクト６０２の境界／エッジは、キャプチャされた画像５０２内の明るいオブジェクト６０２から来る一次光の領域が、キャプチャされた画像５０２内の明るいオブジェクト６０２の近くの迷光の領域から分離可能なように識別され得る。例えば、明るいオブジェクト６０２の位置を定義する領域（例えば、図６の黒い円）の外側にある明るいオブジェクト６０２に起因するキャプチャ画像５０２内の任意のレンズフレアは、分析して、光検出器システム４００に欠陥が存在するかどうかを評価することができる迷光を構成し得る。

キャプチャされた画像５０２内の明るいオブジェクト６０２の位置を決定することができる複数の技術が存在する。例えば、キャプチャされた画像５０２内の明るいオブジェクト６０２の位置は、光検出器システム４００の地理的位置、光検出器システム４００の向き、地図データ、以前にキャプチャされた画像（例えば、ラベル付けされた画像）、時刻、および／またはカレンダーの日付に基づいて決定され得る。例えば、明るいオブジェクト６０２が太陽である場合、コンピューティングデバイス（例えば、メモリに格納された命令を実行するプロセッサ）は、キャプチャされた画像５０２をキャプチャするために使用される光検出器システム４００に対する明るいオブジェクト６０２の位置を、光検出器システム４００のＧＰＳ座標、光検出器システム４００の（例えば、地表に対する）方位角および仰角、時刻、および／またはカレンダーの日付に基づいて決定することができる。

その後、明るいオブジェクト６０２の位置に基づいて、キャプチャされた画像５０２内の迷光の範囲の決定を行うことができる。明るいオブジェクト６０２が太陽である実施形態では、迷光の範囲のそのような決定は、地球から観察されたときの太陽の所定の角度サイズに基づくことができる。例えば、キャプチャされた画像５０２内の明るいオブジェクト６０２の外縁は、（ｉ）明るいオブジェクト６０２の中心位置（例えば、光検出器システムの地理的位置、光検出器システムの向き、時刻、およびカレンダーの日付に基づく）、および（ｉｉ）地表から見たときの太陽の直径（例えば、角直径）（例えば、約３２分または約０．５３度）に基づいて決定され得る。

キャプチャされた画像５０２内の明るいオブジェクト６０２の位置を決定する他の技術も可能である。いくつかの実施形態では、例えば、画像内の明るいオブジェクト６０２の位置を決定することは、比較に使用するために、低減された強度でシーンのベースライン画像をキャプチャすることを含み得る。比較のためにベースライン画像をキャプチャすることは、明るいオブジェクト６０２の固有の輝度が先験的に未知である、および／または推定するのが難しい場合に使用することができる。図７は、１つの可能なベースライン画像７０２を示している。ベースライン画像７０２は、キャプチャされた画像５０２とシーン（すなわち、光検出器システム４００の周囲環境）に対して実質的に同様の（例えば、同じ）視点でキャプチャされ得る。例えば、図７に示されるベースライン画像７０２は、シーンに対して図５および６に示されるキャプチャされた画像５０２と同じ視点でキャプチャされる。

さらに、ベースライン画像７０２は、二次光検出器システム（例えば、キャプチャされた画像５０２をキャプチャするために使用されるカメラとは異なるカメラ）を使用してキャプチャされ得る。二次光検出器システムは、キャプチャされた画像５０２をキャプチャした光検出器システム４００とは異なるダイナミックレンジを有することができる。例えば、二次光検出器システムのＩＳＯ感度、露光時間、および／または開口部サイズは、それぞれ、光検出器システム４００のＩＳＯ感度、露光時間、および／または開口部とは異なり得る。追加的または代替的に、二次光検出器システムは、二次光検出器システムの画像センサに入射するシーンからの光強度を低減するために使用される光学フィルタ（例えば、中性密度（ＮＤ）フィルタ）を含み得る。

他の実施形態では、ベースライン画像７０２をキャプチャするために使用される二次光検出器システムではなく、キャプチャされた画像５０２をキャプチャするために使用される光検出器システム４００は、光検出器システム４００がベースライン画像７０２をキャプチャできるように変更され得る。例えば、光検出器システム４００のＩＳＯ感度を低減することができ、光検出器システム４００の開口サイズを低減することができ、光検出器システム４００の露光時間を短縮することができ、または光学フィルタ（例えば、ＮＤフィルタ、明るいオブジェクト６０２によって放出または反射される波長をフィルタで除去する波長フィルタ、または明るいオブジェクト６０２によって放出または反射される偏光をフィルタで除去する偏光フィルタ）を、光検出器システム４００に追加することができる。そのような変更は、光検出器システム４００のダイナミックレンジを変更し得る。したがって、そのような修正後、光検出器システムは、キャプチャされた画像５０２と比較して低減された強度でベースライン画像７０２をキャプチャすることができる。

同じ光検出器システム４００または二次光検出器システムがベースライン画像７０２をキャプチャするかどうかに関係なく、ベースライン画像７０２は、様々な実施形態において、キャプチャされた画像５０２のキャプチャの前、後、または実質的に同時にキャプチャされ得る。ベースライン画像７０２をキャプチャされた画像５０２がキャプチャされたときと時間的に密接にキャプチャすることにより、シーンが２つの画像間で実質的に同じに見えることを保証し得、その結果、ベースライン画像７０２とキャプチャされた画像５０２との間の有用な比較を行って、キャプチャされた画像５０２内の明るいオブジェクト６０２の位置を識別することができる。これは、明るいオブジェクト６０２が光検出器システム４００および／または二次光検出器システムに対して急速に移動している場合（例えば、光検出器システム４００および／または二次光検出器システムが、動いている車両の構成要素であり、明るいオブジェクト６０２が、街灯、信号機、別の車両のテールライト、または別の車両のヘッドライトである場合）、特に有用である。

代替の実施形態では、画像は、異なる時間にキャプチャされ得るが、それでもなお、キャプチャされた画像５０２内の明るいオブジェクト６０２の位置を決定するために有意義に比較され得る。例えば、ベースライン画像７０２は、太陽が空の同じ位置にあるように、キャプチャされた画像５０２よりも正確に１年早くキャプチャされ得る。あるいは、ベースライン画像７０２は、キャプチャされた画像５０２より１日早くまたは遅くキャプチャされ得、ベースライン画像７０２またはキャプチャされた画像５０２は、（例えば、オブジェクトが太陽の場合）明るいオブジェクト６０２の太陽アナレンマに沿った位置の毎日の違いを説明するために後処理され得る。他の実施形態（例えば、明るいオブジェクト６０２が天体ではない実施形態）では、画像処理が、シーン／周囲環境に対する視点が２つの画像について同じになるように、ベースライン画像７０２および／またはキャプチャされた画像５０２に対して依然として実行され得る。ベースライン画像７０２および／またはキャプチャされた画像５０２に画像処理を実行することは、それぞれの画像の拡大縮小、コントラストの調整、トリミング、または回転を含み得る。追加的または代替的に、画像処理は、それぞれの画像をキャプチャするために使用される光検出器システム間の差異を説明するために、ベースライン画像７０２および／またはキャプチャされた画像５０２に対して実行され得る。例えば、キャプチャされた画像５０２をキャプチャするために使用される光検出器システム４００が、ベースライン画像７０２をキャプチャするために使用される二次光検出器システムのレンズ配置とは異なるズーム率を有するレンズ配置を有する場合、画像の一方または両方は、ズーム率の違いを考慮して拡大縮小する。

上記のように、ベースライン画像７０２は、キャプチャされた画像５０２内の明るいオブジェクト６０２の位置を識別するために使用され得る。ベースライン画像７０２は（キャプチャされた画像５０２と比較して）低減された強度でキャプチャされ得るので、ベースライン画像７０２の特定の領域（例えば、明るいオブジェクト６０２の位置に近い領域）は、不鮮明にならず（例えば、飽和されず）、および／または画像アーチファクトの生成の影響を受けにくい可能性がある。したがって、ベースライン画像７０２内の明るいオブジェクト６０２の輪郭／エッジは、キャプチャされた画像５０２よりも明確に画定され得る。したがって、明るいオブジェクト６０２のサイズ、形状、および位置は、ベースライン画像７０２において容易に識別され得る（例えば、プロセッサによって実行されるエッジ検出アルゴリズムを使用して）。次に、ベースライン画像７０２内の位置とキャプチャ画像５０２内の位置との対応関係に基づいて、キャプチャ画像５０２内の明るいオブジェクト６０２のサイズ、形状、および位置を決定し得る。

キャプチャされた画像５０２内の明るいオブジェクト６０２の位置を決定することができる複数の技術があり、それらのうちの一部のみが前の図を参照して説明されている。キャプチャされた画像５０２内の明るいオブジェクト６０２の位置が決定されると、１つ以上の欠陥（例えば、光学的不完全さ）が光学的検出器システム（例えば、図４Ａから図４Ｃに示される光学的検出器システム４００）内に存在するかどうかを識別する方法は、キャプチャされた画像５０２内の明るいオブジェクト６０２からの迷光の範囲を決定することを含み得る。

図８は、光検出器システム（例えば、図４Ａから図４Ｃに示されている光検出器システム４００）によってキャプチャされたキャプチャされた画像５０２を示している。また、図８には、キャプチャされた画像５０２内の明るいオブジェクト６０２の位置、ならびにキャプチャされた画像５０２内の明るいオブジェクト６０２を取り囲む迷光８０２の領域が示されている。迷光８０２の領域（あるいは、本明細書では迷光の一次領域と呼ばれる）、ならびに明るいオブジェクト６０２は、それぞれ、閾値強度値よりも大きい強度（例えば、ピクセル輝度値）を有し得る。明るいオブジェクトを定義するために使用される閾値輝度値と同様に、閾値強度値は、事前に決定されてメモリ内に格納され得、キャプチャされた画像５０２に基づいて定義され得、ユーザによって設定／修正され得、他の要因に基づいて（例えば、特定の地域の天気予報が曇りまたは霧で、画像内の明るいオブジェクトが太陽、月、交通信号、街灯である場合などの天気予報など）、事前定義されたサイズの迷光８０２の領域が識別されるまで調整され得、および／または（例えば、ラベル付けされたトレーニングデータのセットを評価することによって）機械学習アルゴリズムを使用して決定され得る。そのような閾値強度値は、明るいオブジェクト６０２からの迷光の予想される範囲に対応し得る。明るいオブジェクト６０２からの迷光の予想される範囲は、任意のオブジェクトを画像化するときに存在するであろう迷光のベースライン量に基づくことができ、明るいオブジェクトの識別に基づくことができ、時刻に基づくことができ、日付に基づくことができ、現在の天気に基づくことができ、および／または光検出器システムの位置に基づくことができる（迷光の予想される範囲が基づく他の要因も可能である）。例えば、太陽は、車両のテールライトよりも、迷光の対応する予想される範囲が大きい場合がある。画像内で決定された迷光の範囲を、迷光の予想される範囲と比較して、収差（例えば、光検出器システム内に存在する欠陥）を識別することができる。

いくつかの実施形態では、明るいオブジェクト６０２（例えば、明るいオブジェクト６０２によって生成された、および／または明るいオブジェクト６０２によって反射された光）に基づいて、キャプチャされた画像５０２内に表される迷光の範囲を決定することは、画像内の拡散ベーリンググレアの存在を識別することを含み得る。したがって、いくつかの実施形態では、迷光８０２の領域は、キャプチャされた画像５０２内の拡散ベーリンググレアに対応し得る。キャプチャされた画像５０２内で拡散ベーリンググレアが識別された場合、これは、キャプチャされた画像５０２をキャプチャした光検出器システム４００のイメージング光学系（例えば、レンズまたはミラー）にほこりまたは水（例えば、結露）が存在することの指標を提供し得る。迷光の範囲（例えば、図８の迷光８０２の領域のサイズおよび形状）を決定することができる複数の方法が存在する。

キャプチャされた画像５０２内に表される明るいオブジェクト６０２からの迷光の範囲を決定するための１つの方法は、所定の閾値強度値よりも大きい強度値を有するキャプチャされた画像５０２内の各ピクセルを識別することを含む。次に、所定の閾値強度値よりも大きい強度値を有するキャプチャ画像５０２内のすべてのピクセルを白に変換し、所定の閾値強度値以下の強度値（例えば、輝度値）を有するすべてのピクセルを黒に変換（またはその逆、すなわち、所定の閾値強度値よりも大きい強度値を有するすべてのピクセルを黒に変換し、所定の閾値強度値以下の強度を有するすべてのピクセルを白に変換）することによって、派生画像が生成され得る。図９は、派生画像９０２の可能な実施形態を示している。派生画像９０２は、所定の閾値強度値以上の強度値を有する、キャプチャされた画像５０２内のそれらの領域（例えば、それらのピクセル）に対応する高強度領域９０４を含み得る。

所定の閾値強度値は、様々な実施形態において複数の異なる方法で設定され得る。いくつかの実施形態では、所定の閾値強度値は、明るいオブジェクト６０２の固有の輝度に対する除去率に基づき得る。例えば、明るいオブジェクト６０２が太陽である場合、所定の閾値強度値は、（例えば、キャプチャされた画像５０２が光検出器システム４００によってキャプチャされた所与の時刻における）太陽の輝度に基づき得る。同様に、明るいオブジェクト６０２が対向車のヘッドライトである場合、所定の閾値強度値は、ヘッドライトの輝度に基づき得る。いくつかの実施形態では、所定の閾値強度値は、明るいオブジェクト６０２が配置されているキャプチャされた画像５０２の領域の強度（ピクセル輝度）に対する除去率に基づき得る。例えば、所定の強度値は、キャプチャされた画像５０２内の明るいオブジェクト６０２の相対強度の１０^－１、１０^－２、１０^－３、１０^－４、１０^－５、１０^－６、１０^－７、１０^－８、１０^－９倍などと等しくてもよい。除去率自体もまた、所定のものであり得るか、またはキャプチャされた画像５０２内に描写されたオブジェクト、キャプチャされた画像５０２をキャプチャするために使用される光検出器システム４００の周囲の環境の他の態様、および／またはユーザからの入力に基づいて決定され得る。除去率を決定／設定する他の方法も可能である。

所定の閾値強度値が、明るいオブジェクト６０２の固有の輝度に対する除去比に基づく実施形態では、明るいオブジェクト６０２の固有の輝度を決定する複数の方法を使用することができる。例えば、明るいオブジェクト６０２の固有の輝度は、公開された科学データで利用可能であり得る（例えば、所与の日付での所与の雲量を伴う所与の緯度での太陽の強度は、科学雑誌の記事で利用可能であり得る）。次に、そのようなデータは、派生画像９０２を生成するための命令を実行するプロセッサによってアクセス可能であるデータストレージ（例えば、図１を参照して図示および説明されるデータストレージ１１４）内に格納され得る。あるいは、いくつかの実施形態では、明るいオブジェクト６０２の固有の強度は、光検出器システム４００の近くに配置され、明るいオブジェクト６０２に面する補助センサ（例えば、電力計）を使用して決定され得る。そのような固有の強度は、明るいオブジェクト６０２の固有の輝度を決定するためのベースラインとして使用され得る。

他の実施形態では、所定の閾値強度値は、光検出器システム４００のグレアからの影響の受けやすさに基づいて、光検出器システム４００について経験的に決定することができる。光検出器システム４００のグレアからの影響の受けやすさは、ベーリンググレアインデックス測定に基づいて少なくとも部分的に決定され得る。光検出器システム４００のベーリンググレアインデックス（例えば、光検出器システム４００のレンズ配置のベーリンググレアインデックス）を測定するためのセットアップが図１０Ａに示されている。図示のように、積分球１０００を使用して、（例えば、光検出器システム４００のレンズ配置のベーリンググレアインデックスを決定するために）光検出器システム４００を試験することができる。

積分球１０００は、１つ以上の光源１００２および光トラップ１００４を含み得る。積分球１０００の内面は、光源１００２によって放出された光が、光検出器システム４００に対してすべての入力角度にわたってほぼ均一な拡散照明として光検出器システム４００に伝達されるように、拡散反射コーティングを有することができる。さらに、光検出器システム４００は、光検出器システム４００のレンズ配置を想定し、光トラップ１００４が画像センサ４０４に対して焦点に配置されるように、積分球１０００に対して配置され得る。

しかしながら、光検出器システム４００のいくつかの実施形態では、レンズ配置は、光検出器システム４００の焦点が画像センサ４０４の平面からほぼ無限に遠く離れるようにすることができる（すなわち、光検出器システム４００は、無限大に焦点を合わせる）。したがって、光トラップ１００４と画像センサ４０４との間の無限の分離をシミュレートするために、コリメートレンズを使用し得る。図１０Ｂは、コリメートレンズ１０１０が挿入された図１０Ａの積分球１０００を示している。しかしながら、コリメートレンズ１０１０自体は、光検出器システム４００に生じる迷光効果とは独立したさらなるベーリンググレア／迷光効果をもたらす可能性がある。したがって、コリメートレンズ１０１０をベーリンググレアの実験的測定に追加すると、光検出器システム４００の画像センサ４０４によってキャプチャされた較正画像に、コリメートレンズ１０１０をもうけなければ存在しないであろうさらなるベーリンググレア／迷光が生じる可能性がある。いくつかの実施形態では、コリメートレンズ１０１０の効果は、（例えば、画像処理を使用して較正画像に存在するベーリンググレアを除去することによって、コリメートレンズ１０１０から生じる影響を軽減するためまたは較正プロセスによって決定されるベーリンググレアインデックスを調整することによって）光検出器システム４００の較正中に考慮され得る。較正画像内のベーリンググレア／迷光のどの部分がコリメートレンズ１０１０によって引き起こされ得るかを決定するために、コリメートレンズ１０１０は、光検出器システム４００とは独立して（例えば、そのベーリンググレアインデックスを決定するために積分球１０００および画像センサを使用して）較正され得る。

さらに他の実施形態では、所定の閾値強度値を設定するための他の技術を使用し得る。いくつかの実施形態では、所定の閾値強度値は、光検出器システム４００内の１つ以上の設定に基づいて設定し得る。例えば、所与の開口部、露光時間、ＩＳＯ感度、および／または光検出器システム４００内で使用される光学フィルタ（複数可）のセットについて、関連する所定の閾値強度値を設定し得る。あるいは、閾値強度値は、光検出器システム４００の画像センサ４０４が飽和する強度のパーセンテージに基づいて設定され得る（例えば、閾値強度値は、飽和強度の５０％に設定され得る）。所定の閾値強度値を決定する他の方法も可能である。

いくつかの実施形態では、派生画像９０２を生成した後、キャプチャされた画像５０２で表される明るいオブジェクト６０２からの迷光の範囲を決定することは、キャプチャされた画像５０２内の明るいオブジェクト６０２の位置の中心（図１１に、高強度領域９０４の黒い点によって示されている）に対する派生画像９０２内の隣接する白色ピクセルの最大半径を決定することを含み得る。図１１は、キャプチャされた画像５０２に対応する派生画像９０２を示している。また、図１１には、明るいオブジェクト６０２の位置の中心に対する隣接する白色ピクセルの最大半径１１０２が示されている。隣接する白色ピクセルの最大半径１１０２をその半径として有する破線の円１１０４もまた、参考のために図１１に示されている。図示のように、破線の円１１０４に沿った１つの点は、高強度領域９０４（例えば、高強度領域９０４の最大半径１１０２と一致する破線の円１１０４に沿った点）と交差する。他の実施形態（例えば、明るいオブジェクト６０２が、白色ピクセルではなく、派生画像９０２内の黒色ピクセルによって描かれる実施形態）では、明るいオブジェクト６０２からの迷光の範囲を決定することは、代わりに、派生画像９０２内で隣接する黒色ピクセルの最大半径１１０２を決定することを含み得る。いくつかの実施形態では、最大半径１１０２が決定されると、この半径は、キャプチャされた画像５０２内の迷光の範囲を表し得る。あるいは、明るいオブジェクトの半径を最大半径１１０２から差し引いて、キャプチャされた画像５０２内の迷光の範囲を決定し得る。

最大半径１１０２は例として提供され、他の最大半径も可能であることが理解される。例えば、高強度領域９０４のサイズ、したがって最大半径１１０２は、派生画像９０２を生成するために使用される所定の閾値強度値に暗黙的に依存するので、所定の閾値強度値が異なった形で選択された場合、最大半径１１０２は、図示よりも大きくても小さくてもよい。さらに、いくつかの実施形態では、高強度領域９０４のサイズを評価する、および／または派生画像９０２を生成／評価することによってキャプチャ画像５０２内の迷光の範囲を評価する代替方法を使用することができる。

さらに、キャプチャされた画像５０２内の迷光の範囲が決定されると（例えば、派生画像９０２内の隣接する白色ピクセルの最大半径１１０２を決定することによって）、キャプチャされた画像５０２をキャプチャするために使用される光検出器システム４００内の１つ以上の欠陥の存在（または不在）（例えば、光学的不完全さ）が識別され得る。光検出器システム４００内に１つ以上の欠陥が存在するかどうかを決定することは、キャプチャされた画像５０２に表される明るいオブジェクト６０２からの迷光の範囲を、迷光の所定の閾値範囲と比較することを含み得る。

キャプチャされた画像５０２で表される明るいオブジェクト６０２からの迷光の範囲を、迷光の所定の閾値範囲と比較することは、様々な方法で実行され得る。例えば、いくつかの実施形態では、派生画像９０２における高強度領域９０４の最大半径１１０２の長さは、（例えば、事前に決定され、メモリ内に格納され、キャプチャされた画像５０２に基づいて定義され、および／またはユーザによって設定／変更された）閾値半径長と比較され得る。最大半径１１０２の長さが閾値半径長よりも大きいと決定された場合、１つ以上の欠陥が光検出器システム４００内に存在すると決定され得る。さらに、最大半径１１０２の長さと閾値半径長との間の差、および／または最大半径１１０２の長さと閾値半径長の比を使用して、光検出器システム４００内に存在する欠陥の数および／または種類を識別し得る。しかしながら、最大半径１１０２の長さが閾値半径長以下であると決定された場合、光検出器システム４００内に欠陥が存在しないと決定され得る。

追加的または代替的に、キャプチャされた画像５０２内に表される明るいオブジェクト６０２からの迷光の範囲を迷光の所定の閾値範囲と比較する他の方法を実行して、光検出器システム４００内の１つ以上の欠陥を識別することができる。いくつかの実施形態では、例えば、派生画像９０２内の高強度領域９０４が占める総面積を、閾値面積と比較することができる。最大半径１１０２の長さと同様に、高強度領域９０４が占める総面積が閾値面積よりも大きいと判断された場合、１つ以上の欠陥が光検出器システム４００内に存在すると判断され得る。さらに、高強度領域９０４が占める総面積と閾値面積との間の差、および／または高強度領域９０４が占める総面積と閾値面積との比を使用して、光検出器システム４００内に存在する欠陥の数および／または種類を識別し得る。しかしながら、高強度領域９０４が占める総面積が閾値面積以下であると決定された場合、光検出器システム４００内に欠陥が存在しないと決定され得る。

グレアを伴うキャプチャ画像内に表される明るいオブジェクトからの迷光の範囲を決定する別の方法は、グレアを伴うキャプチャ画像内の明るいオブジェクトから分離された迷光の１つ以上の二次領域を識別することを含み得る。グレアを伴うキャプチャ画像内の明るいオブジェクトから分離された迷光の１つ以上の二次領域を有する実施形態が、図１２に示されている。図１２は、（例えば、図４Ａから図４Ｃを参照して説明された光検出器システム４００によってキャプチャされた）グレア１２０２、（例えば、図１２のグレア１２０２を伴うキャプチャ画像においては太陽である、明るいオブジェクトを取り囲む）迷光１２１２の領域、および迷光の複数の二次領域１２２２を含む、キャプチャされた画像を含む。明るいオブジェクトを取り囲む迷光１２１２の領域および二次領域１２２２の両方は、閾値強度値よりも大きい強度値（例えば、ピクセル輝度）を有する領域である。図８に示される明るいオブジェクト６０２を取り巻く迷光８０２の領域に関する上記の閾値強度値と同様に、迷光１２１２／二次領域１２２２の領域とグレア１２０２を伴うキャプチャ画像の残りとの間の境界として機能する強度値の強度は、様々な要因に基づいて決定され得る。

いくつかの実施形態では、別個の閾値強度値があり得る（例えば、１つは明るいオブジェクトを取り囲む迷光１２１２の領域用であり、１つは高強度領域から分離された二次領域１２２２用である）。グレア１２０２を伴うキャプチャ画像内の１つ以上のピクセルによって明るいオブジェクトから分離された迷光の存在は、１つ以上のピクセルによって明るいオブジェクトから分離された迷光の強度が明るいオブジェクト／迷光１２１２の領域よりも低い強度を有する場合も、光検出器システム４００内の欠陥の存在に依然として対応し得る。このため、異なる閾値強度値（例えば、迷光１２１２の領域を定義するために使用される閾値強度値よりも小さい二次閾値強度値）を使用して、１２０２を伴うキャプチャ画像内の迷光の二次領域１２２２を識別し得る。他の実施形態では、二次領域１２２２は、光検出器システム４００の欠陥の識別との関連性が低い可能性があるため、迷光１２１２の領域を識別するために使用されるよりも大きな閾値が二次領域１２２２を識別するために使用される。迷光１２１２の領域を識別するために使用される強度値と同様に、二次領域１２２２を識別するために使用される任意の二次閾値強度値は、様々な要因に基づいて決定され得る。さらに、いくつかの実施形態では、二次閾値強度値は、迷光１２１２の領域を識別するために使用される強度値の倍数（例えば、１より大きいまたはより小さい倍数）であり得る。そのような増倍率は、事前定義され、メモリ内に格納され、グレア１２０２を伴うキャプチャ画像に基づいて定義され、および／またはユーザによって設定／変更され得る。

様々な実施形態において、グレア１２０２伴うキャプチャ画像内の二次領域１２２２を識別する様々な方法が使用され得る。例えば、図９に示される派生画像９０２を生成するのと同様に、図１３に示されるように、派生画像１３０２を生成することができる。図９の派生画像９０２のように、図１３の派生画像１３０２は、所定の閾値強度値よりも大きい強度値を有するグレア１２０２を伴うキャプチャ画像内の各ピクセルを識別し、所定の閾値強度値よりも大きい強度値を有するすべてのピクセルを白色に、所定の閾値強度値以下の強度値を有するすべてのピクセルを黒色に変換することによって生成され得る。これは、明るいオブジェクトおよび二次領域１３０６（例えば、１つ以上の黒色ピクセルによって高強度領域１３０４から分離されている）の位置の近くに高強度領域１３０４を有する派生画像１３０２をもたらす可能性がある。明るいオブジェクトの近くの高強度領域１３０４および二次領域１３０６を使用して、例えば、グレア１２０２を伴うキャプチャ画像内の対応する領域を識別し得る。

（例えば、上記のプロセスを使用して派生画像１３０２を生成することによって）グレア１２０２を伴うキャプチャ画像内の二次領域１２２２を識別すると、そのような二次領域１２２２を使用して、グレア１２０２を伴うキャプチャ画像内に表される明るいオブジェクトからの迷光の範囲を決定し得る。例えば、グレア１２０２を伴うキャプチャ画像内の二次領域１２２２の数は、グレア１２０２を伴うキャプチャ画像内に表される明るいオブジェクトからの迷光の範囲を示し得る（例えば、そして最終的には、１つ以上の欠陥および／またはグレア１２０２を伴うキャプチャ画像をキャプチャするために使用される光検出器システム４００内の１つ以上の欠陥の種類を表し得る）。例えば、グレア１２０２を伴うキャプチャ画像内の二次領域１２２２の数は、迷光の範囲を決定するために二次領域の閾値数と比較され得る。追加的または代替的に、二次領域１２２２のそれぞれと迷光１２１２の領域との間の分離（例えば、ピクセルまたは他の距離の尺度）は、グレア１２０２を伴うキャプチャされた画像内に表される明るいオブジェクトからの迷光の範囲に対応し得る。所与の二次領域１２２２と迷光１２１２の領域との間の分離は、（ｉ）迷光１２１２の領域に最も近い二次領域１２２２のエッジと、（ｉｉ）迷光１２１２の領域の最も近い部分との、または（ｉ）それぞれの二次領域１２２２の識別された中心と、（ｉｉ）迷光１２１２の領域の中心、またはグレア１２０２を伴うキャプチャされた画像内の明るいオブジェクトの中心との間の距離（例えば、ピクセル数）として測定され得る。さらに、所与の二次領域１２２２と迷光１２１２の領域との間の分離は、迷光の範囲を決定するための閾値分離と比較され得る。

さらに、様々な実施形態において、複数の二次領域１２２２と迷光１２１２の領域との間の集合体分離に関する様々な測定基準を使用して、グレア１２０２を伴うキャプチャ画像内に表される明るいオブジェクトからの迷光の範囲を決定し得る。例えば、それぞれの二次領域１２２２と迷光１２１２の領域との間の分離の合計を使用し得る。あるいは、それぞれの二次領域１２２２と迷光１２１２の領域との間の分離の平均を使用し得る。さらに他の実施形態では、それぞれの二次領域１２２２と迷光１２１２の領域との間の分離の中央値を使用することができる。二次領域１２２２のそれぞれと迷光１２１２の領域との間の分離に関する他の測定基準も可能である。さらに、使用される複数の二次領域１２２２と迷光１２１２の領域との間の集合体分離の測定基準を、迷光の範囲を決定するために閾値集合体分離と比較し得る。

キャプチャされた画像５０２で表される明るいオブジェクト６０２からの迷光の範囲が、迷光の所定の閾値範囲とどのように比較されるかなく（比較ツールとして派生画像９０２を使用するか、または他の何らかの比較を実行するか）にかかわらず、光検出器システム４００内の１つ以上の欠陥を識別することは、光検出器システム４００内に存在する欠陥の種類を決定すること（例えば、レンズ、ミラー、または光学窓などの光検出器システム４００内のイメージング光学系が、汚れている、または破片で遮られているかを決定すること）を含み得る。さらに、光検出器システム４００内の１つ以上の欠陥の存在（および場合によっては欠陥の種類）を識別すると、（例えば、光検出器システム４００、サービス技術者、図１に示される制御システム１０６などの制御システム、または一連の光検出器システム内の複数の光検出器システムの状態を監視するように構成されたサーバコンピューティングデバイスによって）修正措置を取り得る。様々な実施形態において、是正措置は、光検出器システム４００の洗浄、修理、再較正、交換、または使用停止を含み得る。例えば、光検出器システム４００が車両（例えば、図１から図３を参照して図示および説明された車両１００）上のオブジェクト検出および回避に使用される場合、光検出器システム４００は、同じ欠陥を被らない新しい光検出器システムと交換され得、または光検出器システム４００および／または車両１００全体が、欠陥が修正されるまで使用停止され得る。追加的または代替的に、是正措置は、アラートを送信または他の方法で（例えば、メッセージを介してユーザのモバイルコンピューティングデバイスに、サーバコンピューティングデバイスに、ユーザディスプレイ上に、および／または光検出器システム４００に関連するスピーカを介してなど）出力することを含み得る。

いくつかの実施形態では、是正措置を実行した後、別の画像が光検出器システム４００によってキャプチャされ、本明細書に記載の方法を使用して分析され、追加の画像内に存在する迷光の範囲を決定し得る。追加の画像がキャプチャされた元の画像と同じ迷光の範囲またはそれ以上の範囲を有する場合、最初に識別された種類の欠陥が正しくなかったと判断される場合がある（例えば、最初にキャプチャされた画像における迷光の範囲に基づいて元々ほこりが識別されたものの、追加の画像に基づいて、実際には亀裂が光検出器システム４００における欠陥であると判断され得る）。追加的または代替的に、識別された欠陥がまだ存在すると判断された場合、より抜本的な是正措置（フロントガラスワイパーを使用して光検出器システム４００のレンズを単に拭くのではなく、例えば、光検出器システム４００の使用停止または光検出器システム４００のレンズの交換）を講じることができる。反対に、追加の画像の迷光の範囲がキャプチャされた元の画像よりも小さい場合（例えば、迷光の範囲が欠陥を示す迷光の閾値範囲よりも低い）、是正措置が取られた後、光検出器システム４００内に欠陥はもはや存在しないと判断され得る。

上記のように、いくつかの実施形態では、光検出器システム４００内に存在する任意の欠陥の種類は、グレアを伴うキャプチャ画像に基づいて決定可能であり得る。いくつかの実施形態では、光検出器システム４００のイメージング光学系上の水（例えば、結露）、ほこり、または汚れの存在は、グレアを伴うキャプチャ画像内の迷光の領域のパターンおよび／または迷光の二次領域のパターンに基づいて識別され得る。例えば、グレアを伴う画像をキャプチャした光検出器システム４００が、ワイパー（例えば、フロントガラスワイパー）を使用して、レンズ、ミラー、または光学窓を洗浄するレンズを有する場合、そのようなワイパーの動きによって残されたパターン（例えば、グレアを伴うキャプチャ画像内で識別可能な縞またはストライプなどのパターン）を使用して、光検出器システム４００のイメージング光学系上に存在するほこり、汚れ、または水を識別することができる。図１４Ａは、イメージング光学系上のワイパーによって生成された縞またはストライプの存在を反映する（例えば、図９の派生画像９０２または図１３の派生画像１３０２と同様の方法で生成された）派生画像を示す。したがって、派生画像に基づいて、ほこり、汚れ、または水が、光検出器システム４００のイメージング光学系上に存在すると決定され得る。

追加的または代替的に、光検出器システム４００のイメージング光学系上の水の存在は、イメージング光学系を横切って流れで移動する水の結果として検出され得る。例えば、滴る水は、イメージング光学系全体に別個のストライプの模様（例えば、図１４Ａに示されるストライプの模様とは異なる）を残す可能性があり、その結果、光検出器システム４００によってキャプチャされたグレアを伴うキャプチャ画像内に迷光の縞またはストライプが生じる。図１４Ｂは、対応する光検出器システム４００のイメージング光学系の１つを横切って滴り落ちる水の結果である可能性がある迷光の縞またはストライプを含む派生画像（例えば、図９の派生画像９０２または図１３の派生画像１３０２と同様の方法で生成された）を示す。したがって、図１４Ｂの派生画像に基づいて、グレアを伴うキャプチャ画像内に表される明るいオブジェクトからの迷光の範囲は、光検出器システム４００のイメージング光学系上の水の存在が識別されるように決定され得る。

いくつかの実施形態では、画像内（例えば、派生画像内）のストライプの数を使用して、フロントガラスワイパー（例えば、図１４Ａのように）または滴下／流水（例えば、図１４Ｂのように）に基づいて生じる縞を区別し得る。画像内のストライプの数を区別すること、またはその他の方法で画像内の迷光パターンを識別することには、画像内のオブジェクト認識を実行するように訓練された機械学習アルゴリズムを適用することを含み得る。そのような機械学習アルゴリズムは、意図的に適用された欠陥（例えば、引っかき傷、亀裂、ずれ、破片など）を備えた光検出器システム４００を使用してグレアを伴う画像を記録することによって生成されたラベル付きトレーニングデータを使用して以前に訓練された可能性がある。図１４Ａおよび図１４Ｂは、迷光の縞またはストライプが識別され得る派生画像を描写するが、そのような迷光の縞またはストライプは、代わりに、グレアを伴う（例えば、派生画像を生成することなく）キャプチャされた画像において、または様々な種類の派生画像を伴うキャプチャされた画像において容易に識別され得ることが理解される。

上記のように、画像（例えば、グレアを伴うキャプチャ画像および／またはグレアを伴うキャプチャ画像に基づいて生成された派生画像）に表される明るいオブジェクトからの迷光の範囲を使用して、光検出器システムに関連する１つ以上の欠陥（例えば、光学的不完全さ）の存在／または種類を決定することができる。画像でそのような迷光表現を使用する代わりに、またはそれに加えて、光検出器システムに関連する１つ以上の欠陥または１つ以上の欠陥の種類を識別しようとするときに、他の要因を考慮することができる。例えば、光検出器システムが移動中の車両上にあるが、車両が前進しているときに光検出器システムが後方を向いている場合、虫やその他の破片が光検出器システムのレンズに当たる可能性は低い。したがって、そのような要因は、命令を実行するプロセッサ（例えば、光検出器システムのコントローラ）によって、どの種類の欠陥が、グレアを伴うキャプチャ画像内の所与の範囲の迷光を引き起こしているのかを識別しようとすることによって考慮され得る。反対に、車両が前進しているときに光検出器システムが前方を向いている場合、虫やその他の破片が光検出器システムのレンズに当たる可能性が高くなり得る。同様に、このような要因は、どの種類の欠陥が、グレアを伴うキャプチャ画像内の所与の範囲の迷光を引き起こしているのかを識別しようとするときに考慮され得る。

光検出器システムの状態を監視するために（例えば、光検出器システムが光検出器システムの周囲の環境を正確に表す画像をキャプチャしていることを確認するために）、画像をキャプチャし、明るいオブジェクトに基づいて画像内の潜在的な迷光を識別し、迷光の範囲を決定し、さらに迷光の範囲に基づいて欠陥を識別するプロセスは、一定の（例えば、周期的な）間隔で繰り返され得る。光検出器システムが監視される期間は、（例えば、監視ルーチンを実行するためにコントローラによって使用されるような）所定の監視周期に基づき得る。所定の監視頻度は、光検出器システムの構成要素（例えば、光検出器システムの１つ以上の構成要素の使用年数またはモデル）、光検出器システムの使用年数、画像をキャプチャするために光検出器システムが使用される頻度、ユーザによってプログラム／送信された設定、光検出器システム内に存在すると識別された以前の欠陥、光検出器システムに関連するグレアおよび／または派生画像を伴う以前のキャプチャ画像、時刻、光検出器システムがある地域の天気（例えば、光検出器システムの近くに降雪、降雨、または霧がある場合、所定の監視頻度はより高くなる可能性がある）などに基づき得る。

他の実施形態では、画像をキャプチャし、明るいオブジェクトに基づいて画像内の潜在的な迷光を識別し、迷光の範囲を決定し、次に迷光の範囲に基づいて欠陥を識別するプロセスは、コンピューティングデバイスからの要求に応じて実行され得る。例えば、コンピューティングデバイスは、光検出器システムの状態を監視するために使用されるアプリケーション（すなわち、アプリ）を実行するユーザコンピューティングデバイス（例えば、モバイルコンピューティングデバイスまたはタブレットコンピューティングデバイス）であり得る。他の実施形態では、コンピューティングデバイスは、一連の光検出器システム内の複数の光検出器システムの状態を監視するように構成されたサーバコンピューティングデバイスであり得る。例えば、いくつかの実施形態では、サーバコンピューティングデバイスは、それぞれが自律モードで動作する一連の車両を管理し得る。各車両が適切に機能していることを保証するために、サーバコンピューティングデバイスは、ステータス要求を各車両に（例えば、定期的に）送信して、それぞれの車両の光検出器システム（複数可）が正常に機能している（例えば、欠陥がない）ことを確認し得る。光検出器システムの１つが正常に機能していない場合、サーバコンピューティングデバイスは、是正措置を取ることができる（例えば、光検出器システムを修理するためにサービス技術者を派遣する）。

いくつかの実施形態では、サーバコンピューティングデバイスがステータス要求を光検出器システムに送信すると、光検出器システムは、欠陥の分析を実行し、結果をサーバコンピューティングデバイスにレポートし得る（例えば、レポートに、欠陥の有無の判断の間にキャプチャされた任意の写真を含める）。他の実施形態では、ステータス要求を受信した後、光検出器システムは、（例えば、明るいオブジェクトを含む）周囲環境の画像をキャプチャし、次に、キャプチャされた画像を分析のためにサーバコンピューティングデバイスに送信し得る。サーバコンピューティングデバイスは、受信されたキャプチャされた画像内の迷光の範囲を評価して、光検出器システム内の欠陥を識別し得る（例えば、上記のように）。いくつかの実施形態では、光検出器システムによってキャプチャされた画像は、（例えば、後の分析のために、および／または光検出器システムの経時劣化を追跡するために）サーバコンピューティングデバイスのメモリに格納され得る。

図１５は、光検出器システム（例えば、図４Ａから図４Ｃに示される光検出器システム４００）によってキャプチャされたグレアを伴うキャプチャ画像１５０２を示す。上記のように、キャプチャされた画像１５０２内のグレアは、シーン内のいくつかの異なる明るいオブジェクト（例えば、太陽、月、逆反射オブジェクト、信号機、車両のテールライト、車両のヘッドライトなど）に対応する可能性がある。図１５に示されるように（例えば、キャプチャ画像１５０２内で迷光をもたらすオブジェクトの数に基づいて）、キャプチャ画像１５０２内の明るいオブジェクトは、街灯、橋の下の投光照明、または水面からの反射に対応する可能性もある。さらに他の実施形態では、明るいオブジェクトは、光検出器システム内の起こり得る欠陥を識別するために使用される光検出器システム内の構成要素である診断光源に対応し得る。例えば、光検出器システムは、所定の強度および／または輝度で所定の位置から光検出器システムのレンズに直接光を当てる補助的な高強度光源を含み得る。キャプチャされた画像、所定の位置、および所定の強度／輝度に基づいて、光検出器システム内の１つ以上の欠陥の存在を識別し得る。

また、図１５に示されているように、いくつかのキャプチャされた画像１５０２では、キャプチャされた１つの画像内に複数の明るいオブジェクトが存在する可能性がある。そのような場合、キャプチャされた画像１５０２は、明るいオブジェクトに基づいてキャプチャされた画像１５０２内のグレアの範囲を決定するために様々な方法で評価することができる。いくつかの実施形態では、キャプチャされた画像１５０２は、（例えば、それぞれが１つの明るいオブジェクトを含む）複数のより小さな画像にトリミングされ得、それらのそれぞれは、本明細書に記載の技術を使用して個別に評価され得、次いで、結果は、キャプチャされた画像１５０２全体にわたる迷光の範囲を規定するために集約され得る。他の実施形態では、本明細書に記載の技術は、キャプチャされた画像１５０２内の複数の明るいオブジェクトの複数の位置（および、場合によっては、明るいオブジェクトのそれぞれに対する複数の二次領域）に対応するように適合させることができる。追加的または代替的に、キャプチャされた画像１５０２内の追加の明るいオブジェクトを実際に含む領域と、グレアの二次領域（シーン内の別の明るいオブジェクトから生じる）を含む領域とを区別するために、閾値強度レベルの複数の層を使用し得る（例えば、上記の複数の閾値強度レベルに類似している）。例えば、第１の閾値強度レベルよりも大きい強度レベルを有する任意のピクセルが、明るいオブジェクトまたは明るいオブジェクトの１つを取り囲む迷光の領域として分類されるように、第１の閾値強度レベルを使用することができ、第１の閾値強度レベル以下であり、第２の閾値強度レベルよりも大きい強度値を有する任意のピクセルが、迷光／グレアに対応するのに十分な強度であるが、明るいオブジェクトまたは明るいオブジェクトの１つを取り囲む迷光の領域を表さない第２の領域として分類されるように、第２の閾値強度レベルを使用することができ、第２の閾値強度レベル以下の強度値を有するピクセルは、明るいオブジェクト／周囲領域にも、迷光の二次領域にも対応しないピクセルとして分類される。

ＩＩＩ．プロセス例
図１６は、例示的な実施形態による、方法１６００のフローチャート図である。方法１６００の１つ以上のブロックは、様々な実施形態において、図１に示されるコンピュータシステム１１２によって実行され得る。いくつかの実施形態では、方法１６００のブロックのうちの１つ以上は、コンピューティングデバイス（例えば、光検出器システム４００の１つ以上の構成要素のコントローラ）によって実行され得る。コンピューティングデバイスは、不揮発性メモリ（例えば、ハードドライブまたは読み取り専用メモリ（ＲＯＭ））、揮発性メモリ（例えば、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）またはスタティックランダムアスクスメモリ（ＳＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ））、ユーザ入力デバイス（例えば、マウスまたはキーボード）、ディスプレイ（例えば、ＬＥＤディスプレイまたは液晶ディスプレイ（ＬＣＤ））、および／またはネットワーク通信コントローラ（例えば、ＩＥＥＥ ８０２．１１規格に基づくＷＩＦＩ（登録商標）コントローラ、またはイーサネットコントローラ）などのコンピューティング構成要素を含み得る。コンピューティングデバイスは、例えば、非一時的コンピュータ可読媒体（例えば、ハードドライブ）に格納された命令を実行して、本明細書に記載の動作のうちの１つ以上を行うことができる。

ブロック１６０２において、方法１６００は、光検出器システムを使用して、明るいオブジェクトを含むシーンの画像をキャプチャすることを含み得る。

ブロック１６０４において、方法１６００は、画像内の明るいオブジェクトの位置を決定することを含み得る。

ブロック１６０６において、方法１６００は、画像内の明るいオブジェクトの位置に基づいて、画像内に表されている明るいオブジェクトからの迷光の範囲を決定することを含み得る。

ブロック１６０８において、方法１６００は、画像内に表される明るいオブジェクトからの迷光の範囲を、迷光の所定の閾値範囲と比較することによって、１つ以上の欠陥が光検出器システム内に存在するかどうかを決定することを含み得る。

方法１６００のいくつかの実施形態では、画像内の明るいオブジェクトは太陽であり得る。

方法１６００のいくつかの実施形態では、画像内の明るいオブジェクトの位置は、光検出器システムの地理的位置、光検出器システムの向き、時刻、またはカレンダーの日付に基づいて決定され得る。さらに、画像内に表されている明るいオブジェクトからの迷光の範囲は、地球から観察されたときの太陽の所定の角度サイズに基づいて決定され得る。

いくつかの実施形態では、方法１６００は、１つ以上の欠陥が光検出器システム内に存在すると決定することに応じて、光検出器システムを洗浄、修理、再較正、交換、または使用停止することを含み得る。

方法１６００のいくつかの実施形態では、１つ以上の欠陥が光検出器システム内に存在するかどうかを決定することは、光検出器システム内のイメージング光学系が汚れているか、または破片によって遮られているかどうかを決定することを含み得る。例えば、画像内の迷光の範囲および／または画像内の迷光の位置に基づいて、光検出器システム内の破片または汚れの位置および／または種類を識別し得る。いくつかの実施形態では、例えば、画像の実体全体に広がる低強度のグレアは、汚れたイメージング光学系を示し得、一方、画像のごく一部に位置する高強度のグレアは、画像のその位置のイメージング光学系の破片または損傷を示し得る。さらに、いくつかの実施形態では、光検出器システム内のイメージング光学系が汚れているか、または破片によって遮られているかどうかを判断することは、光検出器システムが前進する車両（例えば、「ドライブ」ギアを使用）上において前方を向いていること、光検出器システムがバックする車両（例えば、「リバース」ギアを使用）上において後方を向いていること、または、光検出器システムがバックする車両（例えば、「リバース」ギアを使用）上において前方を向いていることを判断することを含み得る。

方法１６００のいくつかの実施形態では、ブロック１６０６は、所定の閾値強度値よりも大きい強度値を有する画像内の各ピクセルを識別することを含み得る。ブロック１６０６はまた、所定の閾値強度値よりも大きい強度値を有するすべてのピクセルを白色に変換し、所定の閾値強度値以下の強度値を有するすべてのピクセルを黒色に変換することによって、派生画像を生成することを含み得る。

さらに、方法１６００のいくつかの実施形態では、ブロック１６０６は、明るいオブジェクトの位置の中心に対する派生画像内の隣接する白色ピクセルの最大半径を決定することを含み得る。

さらに、方法１６００のいくつかの実施形態では、ブロック１６０６は、派生画像内の迷光の一次領域から１つ以上の黒色ピクセルによって分離された迷光の二次領域を識別することを含み得る。

さらに、方法１６００のいくつかの実施形態では、所定の閾値強度値は、明るいオブジェクトの固有の輝度レベルに対する除去率に基づき得る。

方法１６００のいくつかの実施形態では、ブロック１６０６は、画像内の迷光の１つ以上のストライプを識別することを含み得る。さらに、ブロック１６０８は、画像内の迷光の１つ以上のストライプに基づいて、光検出器システムのイメージング光学系全体にわたるフロントガラスワイパーの動きの結果として、イメージング光学系上に水の縞または破片が存在することを識別することを含み得る。

方法１６００のいくつかの実施形態では、ブロック１６０６は、画像内の拡散ベーリンググレアの存在を識別することを含み得る。さらに、ブロック１６０８は、画像内の拡散ベーリンググレアに基づいて、ほこりまたは水が光検出器システムのイメージング光学系上に存在することを識別することを含み得る。

方法１６００のいくつかの実施形態では、ブロック１６０４は、低減された強度でシーンのベースライン画像をキャプチャすることを含み得る。ベースライン画像は、シーンに対して、前記画像と実質的に同様の視点でキャプチャすることができる。さらに、ベースライン画像は、光検出器システムとは異なるダイナミックレンジを有する二次光検出器システムを使用して、または変更されたダイナミックレンジを有する光検出器システムを使用してキャプチャされ得る。

さらに、いくつかの実施形態では、画像内の明るいオブジェクトは、月、逆反射オブジェクト、交通信号、車両のテールライト、車両のヘッドライト、または街灯であり得る。

いくつかの実施形態では、方法１６００は、光検出器システムの状態を監視するために一定の間隔で繰り返され得る。

ＩＶ．結論
本開示は、本出願に記載の特定の実施形態に関して限定されるものではなく、特定の実施形態は、様々な態様の例証として意図される。当業者には明らかなことであるが、多くの変形および変更を本開示の趣旨および範囲から逸脱することなく行うことができる。本明細書において列挙される方法および装置に加えて、本開示の範囲内の機能的に同等の方法および装置は当業者には、これまでの説明から明らかであろう。このような変形および変更は、添付の特許請求の範囲内にあることが意図されている。

上記の詳細な説明は、添付の図面を参照して、開示されたシステム、デバイス、および方法の様々な特徴および機能を説明している。図では、特に文脈で記載しない限り、同様の記号は通常、同様の構成要素を指している。本明細書および図に記載の実施形態例は、限定することを意図しているものではない。本明細書に提示される主題の範囲から逸脱することなく、他の実施形態を利用することができ、他の変更を行うことができる。本明細書で概して説明され、かつ図に例証されている、本開示の態様は、多種多様な異なる構成で配置、置換、組み合わせ、分離、および設計することができ、そのすべてが、本明細書において明示的に想定されていることが容易に理解されよう。

図における、また本明細書において述べられたメッセージフロー図、シナリオ、およびフローチャートのいずれかまたはすべてに関して、各ステップ、ブロック、動作、および／または通信は、実施形態例に従った情報の処理および／または情報の送信を表し得る。代替の実施形態は、これらの実施形態例の範囲内に含まれる。これらの代替の実施形態では、例えば、ステップ、ブロック、送信、通信、要求、応答、および／またはメッセージとして説明される動作は、関わる機能性に応じて、図示または述べられたものとは異なる順序で、実質的に同時に、または逆の順序で実行され得る。さらに、それより多いまたは少ないブロックおよび／または動作を、本明細書に記述のメッセージフロー図、シナリオ、およびフローチャートのいずれかで使用することができ、これらのメッセージフロー図、シナリオ、およびフローチャートは、部分的にまたは全体として互いに組み合わせることができる。

情報の処理に相当するステップ、ブロック、または動作は、本明細書に記載の方法または技法の特定の論理機能を果たすように構成され得る回路網に対応し得る。代替的にまたは追加的に、情報の処理に相当するステップまたはブロックは、モジュール、セグメント、またはプログラムコード（関連データを含む）の一部に対応し得る。プログラムコードには、特定の論理演算または動作を方法または技法において実施するためのプロセッサにより実行可能な１つ以上の命令を含めることができる。プログラムコードおよび／または関連データは、ＲＡＭ、ディスクドライブ、ソリッドステートドライブ、または別の記憶媒体を含む記憶デバイスなど、いずれの種類のコンピュータ可読媒体にも格納され得る。

コンピュータ可読媒体には、レジスタメモリおよびプロセッサキャッシュのような短期間にデータを格納するコンピュータ可読媒体などの非一時的コンピュータ可読媒体も含めることができる。コンピュータ可読媒体には、プログラムコードおよび／またはデータを長期間格納する非一時的コンピュータ可読媒体をさらに含めることができる。したがって、コンピュータ可読媒体には、例えば、ＲＯＭ、光ディスクまたは磁気ディスク、ソリッドステートドライブ、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ：Ｃｏｍｐａｃｔ－Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）のような二次のまたは永続的な長期記憶装置が含まれ得る。コンピュータ可読媒体はまた、他の任意の揮発性または不揮発性の記憶システムであり得る。コンピュータ可読媒体は、例えば、コンピュータ可読記憶媒体、または有形の記憶デバイスとみなすことができる。

さらに、１つ以上の情報送信に相当するステップ、ブロック、または動作は、同じ物理デバイスにおけるソフトウェアモジュールおよび／またはハードウェアモジュール間の情報送信に対応し得る。しかし、他の情報送信は、様々な物理デバイスにおけるソフトウェアモジュールおよび／またはハードウェアモジュール間の情報送信であり得る。

図に示す特定の配置は、限定としてみなされるべきではない。他の実施形態が、所与の図に示される各要素をそれより多く、またはそれより少なく含み得ることを理解されたい。さらに、図示の要素のうちのいくつかを組み合わせることも、または省略することもできる。またさらに、例示的な実施形態が、図に示されていない要素を含むこともできる。

様々な態様および実施形態が本明細書において開示されているが、当業者には、他の態様および実施形態が明らかとなるであろう。本明細書に開示される様々な態様および実施形態は、例証を目的とするものであり、限定することを意図するものではなく、真の範囲は、以下の特許請求の範囲によって示される。

Claims (20)

1. 光検出器システムを使用して、明るいオブジェクトを含むシーンの画像をキャプチャすることと、
   前記画像内の前記明るいオブジェクトの位置を決定することと、
   前記画像内の前記明るいオブジェクトの前記位置に基づいて、前記画像内に表されている前記明るいオブジェクトからの迷光の範囲を決定することと、
   前記画像内に表されている前記明るいオブジェクトからの迷光の前記範囲を、迷光の所定の閾値範囲と比較することによって、１つ以上の欠陥が前記光検出器システム内に存在するかどうかを決定することと、
   を含む方法であって、
   迷光の前記所定の閾値範囲は、迷光の予想される範囲に対応する、方法。
2. 前記画像内の前記明るいオブジェクトの前記位置は、前記光検出器システムの地理的位置に基づいて決定される、請求項１に記載の方法。
3. 前記画像内の前記明るいオブジェクトの前記位置は、前記光検出器システムの向きに基づいて決定される、請求項１に記載の方法。
4. 前記画像内の前記明るいオブジェクトの前記位置は、時刻に基づいて決定される、請求項１に記載の方法。
5. 前記画像内の前記明るいオブジェクトの前記位置は、カレンダーの日付に基づいて決定される、請求項１に記載の方法。
6. 前記画像内に表されている前記明るいオブジェクトからの迷光の前記範囲は、地球から観察されたときの太陽の所定の角度サイズにさらに基づいて決定される、請求項１に記載の方法。
7. １つ以上の欠陥が前記光検出器システム内に存在すると決定することに応じて、前記光検出器システムを洗浄、修理、再較正、交換、または使用停止することをさらに含む、請求項１に記載の方法。
8. １つ以上の欠陥が前記光検出器システム内に存在するかどうかを決定することは、前記光検出器システム内のイメージング光学系が汚れているか、または破片によって遮られているかどうかを決定することを含む、請求項１に記載の方法。
9. 前記光検出器システム内の前記イメージング光学系が汚れているか、または破片によって遮られているかどうかを決定することは、
   前記光検出器システムが前進する車両上で後方を向いているか、
   前記光検出器システムが前進する車両上で前方を向いているか、
   前記光検出器システムがバックする車両上で後方を向いているか、
   前記光検出器システムがバックする車両上で前方を向いているか、
   を決定することを含む、請求項８に記載の方法。
10. 前記画像内に表されている前記明るいオブジェクトからの迷光の前記範囲を決定することは、
    所定の閾値強度値よりも大きい強度値を有する前記画像内の各ピクセルを識別することと、
    前記所定の閾値強度値よりも大きい強度値を有するすべてのピクセルを白色に変換し、前記所定の閾値強度値以下の強度値を有するすべてのピクセルを黒色に変換することによって、派生画像を生成することと、
    を含む、請求項１に記載の方法。
11. 前記画像内に表されている前記明るいオブジェクトからの迷光の前記範囲を決定することは、前記明るいオブジェクトの前記位置の中心に対する前記派生画像内の隣接する白色ピクセルの最大半径を決定することをさらに含む、請求項１０に記載の方法。
12. 前記画像内に表されている前記明るいオブジェクトからの迷光の前記範囲を決定することは、前記派生画像内の迷光の一次領域から１つ以上の黒色ピクセルによって分離された迷光の二次領域を識別することをさらに含む、請求項１０に記載の方法。
13. 前記所定の閾値強度値は、前記明るいオブジェクトの固有の輝度レベルに対する除去率に基づく、請求項１０に記載の方法。
14. 前記画像内に表されている前記明るいオブジェクトからの迷光の前記範囲を決定することは、前記画像内の迷光の１つ以上の縞またはストライプを識別することを含み、
    前記光検出器システム内に１つ以上の欠陥が存在するかどうかを決定することは、前記画像内の迷光の前記１つ以上の縞またはストライプに基づいて、前記光検出器システムのイメージング光学系全体にわたるフロントガラスワイパーの動きの結果として、前記イメージング光学系上に水の縞または破片が存在することを識別することを含む、請求項１に記載の方法。
15. 前記画像内に表されている前記明るいオブジェクトからの迷光の前記範囲を決定することは、前記画像内の拡散ベーリンググレアの存在を識別することを含み、
    前記光検出器システム内に１つ以上の欠陥が存在するかどうかを決定することは、前記画像内の前記拡散ベーリンググレアに基づいて、ほこりまたは水が前記光検出器システムのイメージング光学系上に存在することを識別することを含む、請求項１に記載の方法。
16. 前記画像内の前記明るいオブジェクトの前記位置を決定することは、低減された強度で前記シーンのベースライン画像をキャプチャすることを含み、
    前記ベースライン画像は、前記シーンに対して、前記画像と実質的に同様の視点でキャプチャされ、
    前記ベースライン画像は、前記光検出器システムとは異なるダイナミックレンジを有する二次光検出器システムを使用して、または変更されたダイナミックレンジを有する前記光検出器システムを使用してキャプチャされる、請求項１に記載の方法。
17. 命令が格納された非一時的なコンピュータ可読媒体であって、前記命令はプロセッサによって実行されると、前記プロセッサに、
    明るいオブジェクトを含むシーンの、光検出器システムを使用してキャプチャされた画像を受信することと、
    前記画像内の前記明るいオブジェクトの位置を決定することと、
    前記画像内の前記明るいオブジェクトの前記位置に基づいて、前記画像内に表されている前記明るいオブジェクトからの迷光の範囲を決定することと、
    前記画像内に表されている前記明るいオブジェクトからの迷光の前記範囲を、迷光の所定の閾値範囲と比較することによって、１つ以上の欠陥が前記光検出器システム内に存在するかどうかを決定することと、
    を含む方法を実行させ、
    迷光の前記所定の閾値範囲は、迷光の予想される範囲に対応する、コンピュータ可読媒体。
18. イメージング光学系と、
    前記イメージング光学系を介してシーンからの光を受けるように構成された画像センサと、
    監視ルーチンを実行するように構成されたコントローラと、を備える光検出器システムであって、
    前記監視ルーチンは、
    光検出器システムを使用して、明るいオブジェクトを含むシーンの画像をキャプチャすることと、
    前記画像内の前記明るいオブジェクトの位置を決定することと、
    前記画像内の前記明るいオブジェクトの前記位置に基づいて、前記画像内に表されている前記明るいオブジェクトからの迷光の範囲を決定することと、
    前記画像内に表されている前記明るいオブジェクトからの迷光の前記範囲を、迷光の所定の閾値範囲と比較することによって、１つ以上の欠陥が前記光検出器システム内に存在するかどうかを決定することと、
    を含み、
    迷光の前記所定の閾値範囲は、迷光の予想される範囲に対応する、光検出器システム。
19. 前記コントローラは、コンピューティングデバイスからの要求に応じて前記監視ルーチンを実行するように構成される、請求項１８に記載の光検出器システム。
20. 前記コンピューティングデバイスは、一連の光検出器システム内の複数の光検出器システムの状態を監視するように構成されたサーバコンピューティングデバイスである、請求項１９に記載の光検出器システム。
    

Images