JP2021509238A - ダイナミックレンジを拡大するための複数の動作モード - Google Patents

Abstract

例示的な実施形態は、ダイナミックレンジを拡大するための複数の動作モードに関する。例示的な実施形態は、カメラシステムを含む。カメラシステムは、シーンにおける輝度レベルの第１の範囲に対応する第１のダイナミックレンジを有する第１の画像センサを含み得る。システムはまた、シーンにおける輝度レベルの第２の範囲に対応する第２のダイナミックレンジを有する第２の画像センサを含んでもよい。カメラシステムは、第１の画像センサおよび第２の画像センサに結合されたプロセッサをさらに含んでもよい。プロセッサは、第１の画像センサによって捕捉されたシーンの第１の画像における第１のタイプの物体を識別し、第２の画像センサによって捕捉されたシーンの第２の画像における第２の物体タイプの物体を識別するための命令を実行するように構成されてもよい。【選択図】図４Ａ

Description

関連出願の相互参照
本出願は、参照により、米国仮特許出願第６２／５０８，４６７号に対する優先権を主張する米国特許出願第１５／６１３，５４６号を本明細書に組み入れる。本出願はまた、２０１７年１２月２８日に出願された米国仮特許出願第６２／６１１，２０６号に対する優先権を主張する米国特許出願第１６／１９９，９９８号に対する優先権を主張し、そのそれぞれの内容は参照により本明細書に組み入れられる。

カメラおよび画像センサは、シーンの画像を捕捉するために使用されるデバイスである。いくつかのカメラ（フィルムカメラなど）は、化学的にフィルム上の画像を捕捉する。他のカメラ（デジタルカメラなど）は、（例えば、電荷結合デバイス（ＣＣＤ）または相補型金属酸化膜半導体（ＣＭＯＳ）センサを使用して）画像データを電気的に捕捉する。カメラで捕捉した画像を分析して、その内容を判定できる。例えば、プロセッサは、物体の形状、色、サイズなどを含む以前に分類された物体のライブラリに基づいてシーンにおける物体を識別するために機械学習アルゴリズムを実行する場合がある（例えば、このような機械学習アルゴリズムは、ロボット工学、または他の応用のコンピュータビジョンに適用され得る）。

カメラは、カメラを互いに区別できる様々な特徴を有し得る。例えば、カメラおよび／またはカメラによって捕捉された画像は、絞りサイズ、Ｆ値、露出持続時間／シャッタースピード、被写界深度、焦点距離、国際標準化機構（ＩＳＯ）の感度（またはゲイン）、ピクセルサイズ、センサ解像度、露出距離などの値によって識別されてもよい。これらの特徴は、レンズ、画像センサ、および／またはカメラの追加のファセットに基づいてもよい。さらに、これらの特徴は、単一のカメラ内で調整可能であってもよい（例えば、カメラのレンズの絞りを写真間で調整できる）。

いくつかの応用は、広いダイナミックレンジを有するカメラから利益を得る。例えば、最も明るい物体（例えば、真昼の太陽または緊急車両のライト）の輝度および最も暗い物体（例えば、真夜中の黒い猫）の輝度は、互いに数桁（例えば、１０^５ニットから１０^−２ニット、つまり１０^５ ｃｄ／ｍ ^２から１０^−２ｃｄ／ｍ^２の範囲）変化してもよい。このような広いダイナミックレンジの両端で画像を捕捉できることは、例えば自律車両におけるナビゲーションならびに物体の検出および回避にとって重要になる場合がある。自律車両応用では、車両の動きのために広いダイナミックレンジを実現することが難しい場合がある。例えば、車両が比較的高速で移動している場合、モーションブラーを防止するために露出持続時間が比較的短く保たれ、それによって最大露出持続時間を制限してもよい。さらに、適切な露出設定で画像センサによって特定の範囲の輝度値が捕捉されない場合、画像内の色が歪む可能性がある（例えば、赤チャネルが飽和してクリッピングを開始すると、飽和した捕捉画像で赤が黄色として表示され得る）。フレア、グレア、またはその他の形の異常な光も、捕捉した画像の品質を損なう可能性がある。

システムおよび方法の例は、複数の動作モードを使用してダイナミックレンジの拡大を可能にしてもよい。露出設定が異なる複数の画像センサを使用することで、より大きなダイナミックレンジを実現できる。一実施形態では、（例えば、関連する中性濃度フィルタを含む）１つの画像センサは、シーンの明るさに関係なく変化しない固定露出設定を有してもよく、別の画像センサは、シーンの明るさに基づいて変更される可変露出設定を有してもよい。次に、第１の画像センサおよび第２の画像センサによって捕捉された画像が、プロセッサによって実行される物体認識アルゴリズムに供給され得る。特定のタイプの物体が、捕捉された２つの画像のうちの１つにおいてより容易に識別されてもよい。例えば、明るい物体（例えば、能動的照光物体）は、「明るい画像」においては露出オーバーであるが、「暗い画像」においては適切に露出されているため、「暗い画像」において識別しやすい。単一の画像よりも広いダイナミックレンジにまたがる２つ以上の画像を有することで、（例えば、自律車両内の）物体の識別および回避を改善できる。露出設定および視点が異なる２台のカメラを使用するその他の応用についても説明する。

一態様では、カメラシステムが提供される。カメラシステムは、シーンにおける輝度レベルの第１の範囲に対応する第１のダイナミックレンジを有する第１の画像センサを含む。カメラシステムはまた、シーンにおける輝度レベルの第２の範囲に対応する第２のダイナミックレンジを有する第２の画像センサを含む。第２の画像センサは、中性濃度フィルタを介してシーンからの光を受信する。輝度レベルの第２の範囲は、輝度レベルの第１の範囲よりも高い輝度レベルを含む。さらに、カメラシステムは、第１の画像センサおよび第２の画像センサに結合されたプロセッサを含む。プロセッサは、第１の画像センサによって捕捉されたシーンの第１の画像における第１の物体タイプの物体を識別するための命令を実行するように構成されている。第１の物体タイプは、輝度レベルの第１の範囲内の予想される輝度を有する。プロセッサはまた、第２の画像センサによって捕捉されたシーンの第２の画像における第２の物体タイプの物体を識別するための命令を実行するように構成されている。第２の物体タイプは、輝度レベルの第２の範囲内で予想される輝度を有する。

別の態様では、方法が提供される。本方法は、シーンにおける輝度レベルの第１の範囲に対応する第１のダイナミックレンジを有する第１の画像センサによって、シーンの第１の画像を捕捉することを含む。本方法はまた、シーンにおける輝度レベルの第２の範囲に対応する第２のダイナミックレンジを有する第２の画像センサによって、シーンの第２の画像を捕捉することを含む。第２の画像センサは、中性濃度フィルタを介してシーンの第２の画像を捕捉する。輝度レベルの第２の範囲は、輝度レベルの第１の範囲よりも高い輝度レベルを含む。さらに、本方法は、第１の画像センサおよび第２の画像センサに結合されたプロセッサによって、第１の画像における第１の物体タイプの第１の物体を識別することを含む。第１の物体タイプは、輝度レベルの第１の範囲内の予想される輝度を有する。さらに、本方法は、プロセッサによって、第２の画像における第２の物体タイプの第２の物体を識別することを含む。第２の物体タイプは、輝度レベルの第２の範囲内で予想される輝度を有する。

さらに別の態様では、命令が格納された非一時的なコンピュータ可読媒体が証明される。命令は、プロセッサによって実行されると、シーンにおける輝度レベルの第１の範囲に対応する第１のダイナミックレンジを有する第１の画像センサから、シーンの第１の画像を受信することを含む。シーンの第１の画像は、第１の画像センサによって捕捉された。命令はまた、プロセッサによって実行されると、シーンにおける輝度レベルの第２の範囲に対応する第２のダイナミックレンジを有する第２の画像センサから、シーンの第２の画像を受信することも含む。シーンの第２の画像は、中性濃度フィルタを介して第２の画像センサによって捕捉された。輝度レベルの第２の範囲は、輝度レベルの第１の範囲よりも高い輝度レベルを含む。さらに、命令は、プロセッサによって実行されると、第１の画像における第１の物体タイプの第１の物体を識別することを含む。第１の物体タイプは、輝度レベルの第１の範囲内の予想される輝度を有する。さらに、命令は、プロセッサによって実行されると、第２の画像における第２の物体タイプの第２の物体を識別することを含む。第２の物体タイプは、輝度レベルの第２の範囲内で予想される輝度を有する。

さらに別の態様では、システムが開示される。本システムは、シーンにおける輝度レベルの第１の範囲に対応する第１のダイナミックレンジを有する第１の画像センサによって、シーンの第１の画像を捕捉するための手段を含む。本システムはまた、シーンにおける輝度レベルの第２の範囲に対応する第２のダイナミックレンジを有する第２の画像センサによって、シーンの第２の画像を捕捉するための手段を含む。第２の画像センサは、中性濃度フィルタを介してシーンの第２の画像を捕捉する。輝度レベルの第２の範囲は、輝度レベルの第１の範囲よりも高い輝度レベルを含む。さらに、本システムは、第１の画像センサおよび第２の画像センサに結合されたプロセッサによって、第１の画像における第１の物体タイプの第１の物体を識別するための手段を含む。第１の物体タイプは、輝度レベルの第１の範囲内の予想される輝度を有する。さらに、本システムは、プロセッサによって、第２の画像における第２の物体タイプの第２の物体を識別するための手段を含む。第２の物体タイプは、輝度レベルの第２の範囲内で予想される輝度を有する。

これらの態様ならびに他の態様、利点、および代替物は、当業者には、以下の詳細な説明を添付の図面を適宜参照して読み取ることにより明らかになるであろう。

例示的な実施形態による、車両を図解する機能ブロック図である。 例示的な実施形態による、車両の物理的構成の図である。 例示的な実施形態による、自律車両に関連する様々なコンピューティングシステム間の無線通信の概念図である。 例示的な実施形態による、カメラシステムの図である。 例示的な実施形態による、カメラシステムのダイナミックレンジの図である。 例示的な実施形態による、カメラシステムの図である。 例示的な実施形態による、カメラシステムの図である。 例示的な実施形態による、カメラシステムの図である。 例示的な実施形態による、カメラシステムの図である。 例示的な実施形態による、カメラシステムの画像センサによって捕捉された画像の図である。 例示的な実施形態による、カメラシステムの画像センサによって捕捉された画像の図である。 例示的な実施形態による、カメラシステムの図である。 例示的な実施形態による、カメラシステムの図である。 例示的な実施形態による、カメラシステムのダイナミックレンジの図である。 例示的な実施形態による、カメラシステムの図である。 例示的な実施形態による、カメラシステムの図である。 例示的な実施形態による、カメラシステムの図である。 例示的な実施形態による、カメラシステムの図である。 例示的な実施形態による、方法のフローチャートである。

本明細書では、方法およびシステムの例について記載する。本明細書において記載された任意の例示的な実施形態または特徴は、必ずしも他の実施形態または特徴よりも好ましいまたは有利であると解釈されるものではない。本明細書において記載された例示的な実施形態は、限定的であることを意味するものではない。開示されるシステムおよび方法の特定の態様は、多種多様な異なる構成で配置し、組み合わせることができ、これらの構成のすべてが、本明細書において熟考されることは容易に理解できるであろう。

さらに、図に示されている特定の配置は、限定的であるとみなされるべきではない。他の実施形態は、所定の図に示されるそれぞれの要素をより多く、またはより少なく含むことができることを理解されるべきである。さらに、図示の構成要素のうちのいくつかの構成要素は、組み合わせることができるか、または省略することができる。またさらに、例示的な実施形態は、図に示されていない要素を含んでいてもよい。

Ｉ．概要
例示的な実施形態は、２つの画像センサのセット（またはいくつかの実施形態ではそれ以上）に関する。いくつかの実施形態では、画像センサは、垂直に（例えば、上下に重ねて）位置合わせされてもよい。画像センサは、同じシーンの異なる画像を捕捉してもよい。いくつかの実施形態では、異なる画像が同時に捕捉されてもよい。さらに、第１の画像センサは、可変露出レベル（例えば、カメラコントローラが適切な露出レベルを判定し、シャッタースピード、レンズ絞り、かつ／またはＩＳＯ感度を操作して、判定された適切な露出レベルを実現する、カメラの自動露出設定など）を有してもよく、一方、第２の画像センサは、固定された（つまり、事前定義された）露出レベル（例えば、シャッタースピード、絞りサイズ、およびＩＳＯ感度に基づく）を有してもよい。可変露出レベルにより、第１の画像センサは、周囲光レベル（例えば、昼対夜）に基づいて適切な露出レベルに調整することが可能であってもよい。

第１の画像センサは可変露出レベルを有し、第２の画像センサは固定露出レベルを有するため、画像センサの各々は異なる時間領域をサブサンプリングすることが可能であってもよい。例えば、可変露出レベルは、（例えば、調整可能なシャッタースピードに基づく）可変露出持続時間に対応してもよく、一方、固定露出レベルは、（例えば、シャッタースピードに基づく）固定露出持続時間に対応してもよい。各画像センサの露出持続時間が異なる場合、特定のイベントは画像センサのうちの１つによってのみ捕捉されてもよい。例えば、高速で移動する物体（例えば、時速７０マイル（ｍｐｈ）で走行する車）は、露出持続時間がより長い画像センサにおいて画像のぼやけが発生するため、露出持続時間が十分に短い画像センサによって捕捉された画像を使用してのみ識別されてもよい。ただし、露出持続時間が短い画像センサは点滅している物体（道路標識またはテールライトなどのパルス幅変調された光源）が照らされている時間を逃す可能性があるため、点滅している物体は、露出持続時間が長い画像センサでのみ捕捉されてもよい。

より長い露出持続時間はより長い捕捉時間に対応するため、より長い露出持続時間が点滅する物体を捕捉する確率は、露出持続時間が短い場合よりも高くなる。場合によっては、十分に長い露出持続時間（例えば、道路標識などの点滅する物体で使用される最小周波数に関連する期間より長い露出持続時間）が与えられた場合、点滅しているディスプレイを捕捉することは確実であるとみなすことができる。この最小、または下限の周波数は、人間が瞬きを知覚しないように支援するか、または保証するために使用される周波数であってもよい。多くの場合、短い露出持続時間は無視できる検出確率に対応してもよい。例えば、車両のテールライトは、１％のデューティサイクルで１００Ｈｚでパルス幅変調（ＰＷＭ）されてもよい。ランダムにタイミングが決められた０．５ｍｓの露出持続時間で車両のテールライトを感知しようとすると、能動的なＰＷＭ期間のどの部分も露出と重なる可能性が６％しかない可能性がある。ただし、問題をさらに悪化させるために、画像センサに関連付けられている露出周波数は、通常、ランダムにタイミングが決められない。したがって、画像センサが、ＰＷＭ駆動の光が時間の６％未満で画像化される（例えば、決して画像化されない）露出ケーデンスにロックする可能性がある非ゼロ確率がある。

追加的に、または代替的に、画像センサのうちの１つ（例えば、第２の画像センサ）は、その画像センサによって捕捉されたシーンに対応する照度を制限する光学要素（例えば、中性濃度フィルタ、カラーフィルタ、偏光子など）を含み得る。いくつかの実施形態では、複数の画像センサではなく、複数の独立したセンサ領域を有する単一の画像センサを使用してもよい（例えば、画像センサ領域におけるピクセル数が画像センサ領域の感度に対応する場合、複数の画像センサ領域がそれぞれ、複数のピクセルを含む）。いくつかの実施形態では、複数の画像センサ領域を有する単一の画像センサは、様々な数のピクセルの領域に加えて、またはその代わりに、様々なサイズのピクセルの領域を含み得る。

３つの画像センサを有する実施形態では、第３の画像センサは、第１の画像センサの可変露出レベルとは異なる可変露出レベルを有してもよい（例えば、第３の画像センサの露出レベルが第１の画像センサとは異なるように、第３の画像センサ上の自動露出設定がカメラコントローラによって判定されてもよく、）。カメラコントローラがシャッタースピード／露出持続時間、絞りサイズ、および／またはＩＳＯ感度を操作して、第３の画像センサの判定された露出レベルを実現してもよい）。例えば、第３の画像センサの露出持続時間は、第１の画像センサの露出持続時間よりも長くてもよく、その結果、第３の画像センサは、シーンにおける低輝度物体に対してより敏感になる。

２つの画像センサを有する実施形態では、第１の画像センサがシーンの第１の画像を捕捉し、第２の画像センサがシーンの第２の画像を捕捉した後、命令を実行するプロセッサは、（例えば機械学習アルゴリズムに基づいて）画像分析を実行し、画像のライブラリを使用して訓練された）、第１の画像および／または第２の画像に存在する１つ以上の物体を識別してもよい。いくつかの実施形態では、第１の画像を使用して識別された物体は第１の輝度範囲内にあってもよく、第２の画像を使用して識別された物体は第２の輝度範囲内にあってもよい。第２の輝度範囲は、少なくとも部分的に、第１の輝度範囲より高くてもよい。より明るい物体が識別可能となる一方でより暗い物体が識別不能となってもよいように、中性濃度フィルタを使用することによって、または露出設定を変更してシーンを暗くすることによって、より高い輝度範囲が実現されてもよい。

同様に、中性濃度フィルタなしで画像センサから生成される画像において、（例えば、事前定義された絞りサイズ、シャッタースピード／露出持続時間、またはＩＳＯ感度を上げることにより）露出レベルが上げられてもよい。このように、高輝度の物体は対応する画像において露出オーバーである／ウォッシュアウトされる可能性があるが、より輝度が低い物体（例えば、夜間の暗い道路上の黒い猫）は識別可能であってもよい。

２つの画像における異なるタイプの物体（例えば、明るい物体対暗い物体）を識別するこのような技術は、計算時間を節約し、かつ／または全体的に識別できる物体の数を増やしてもよい。例えば、プロセッサは、機械学習モデル（例えば、畳み込み深層ニューラルネットワーク）を使用して、個別にまたは組み合わせて、２つの画像の各々において物体識別を実行してもよい。計算時間を節約するために、プロセッサは、より暗い画像（例えば、対応する中性濃度フィルタを有する第２の画像センサから生じる第２の画像）において能動的照光物体（例えば、テールライト、信号機、発光ダイオード（ＬＥＤ）道路標識など）のみを識別しようと試みてもよく、対応する中性濃度フィルタを備えた第２の画像センサから、受動的に照らされている（例えば、歩行者、木、一時停止標識、動物などの、光の反射または屈折によって照らされた物体）、周囲光から照らされている物体、および／または、より明るい画像（例えば、第１の画像センサから発生する第１の画像）における非照光物体のみを識別しようと試みてもよい。

上記の２つの画像センサスキームに加えて、（中性濃度フィルタを使用しても使用しなくても）１つ以上の追加の画像センサが追加され得る。追加の画像センサは、追加の露出設定を使用して同じシーンの追加の画像を捕捉できる。このようにして、追加の画像における物体の輝度値は、（例えば、部分的に、または全体的に第２の輝度範囲を超えるか、部分的に、または全体的に第１の輝度範囲を下回るか、部分的に、または全体的に第２の輝度範囲と第１の輝度範囲にあるか、または第１および／または第２の輝度範囲と部分的に、または全体的に重なる）追加の輝度範囲にあってもよい。これにより、画像センサのセットによって捕捉された画像を使用するプロセッサにより、さらに極端な輝度値の追加の物体を容易に識別できるようになる場合がある。

いくつかの実施形態では、カメラシステムにおいて複数の画像センサがあってもよい。例えば、一実施形態では、自律車両または半自律車両の周りに装着されたセンサの複数のセットが存在してもよい。いくつかの実施形態では、センサは異なる方向に面していてもよい。各セットを使用して、センサのそれぞれのセットの向きに基づいて、シーンの所与の視点に配設された物体を識別してもよい。さらに、自律車両の周りの画像センササブシステムのうちのいくつかは、２つの画像センサしか含まなくてもよいが、他は３つの画像センサを含む。例えば、３つの正面向き画像センササブシステム（例えば、０度、−４５度、４５度を向き、０度が真っ直ぐ前にあるサブシステム）は、３つの画像センサを含み、前方の道路上の物体を識別しやすくなってもよく、一方、残りの画像センササブシステムは、２つの画像センサのみを含み、計算リソースを節約してもよい。

上述の利点に加えて、物体識別のための２つの画像センサシステムは、さらなる利点を有してもよい。例えば、シーンは少なくとも２つのわずかに異なる視点から捕捉されているので、特定のエラー補正が（例えば、命令を実行するプロセッサによって）実行されてもよい。１つの補正は、物体が誤って識別されたかどうかを判定することを含み得る。例えば、物体は、第１の画像および第２の画像の両方を使用して識別可能な範囲にそれを配置する輝度を有してもよい。物体が両方の画像を使用して識別可能であるが、どの画像が識別に使用されるかに応じて、２つの画像のうちの１つにおいてのみ識別されるか、または異なる物体であると識別される場合、冗長システム（例えば、投票システムまたはベイズ推定を含むシステム）は、物体が実際にシーンにおいて存在していたかどう、または２つの識別された物体の可能性のうちのどちらが正確である可能性が高いかを判定するために実装されてもよい。物体が最終的にシーンにおいて存在するか、または不在であると判定された場合は、画像センサのいずれかに問題があることを示している可能性がある（例えば、レンズにひびが入っているか、または汚れている、画像センサが破損している、画像センサ上の破片によってシーンが塞がれているなど）。画像センサのうちの１つに問題があることを検出した後、このような問題は説明され得るか、または修正され得る。

追加的に、または代替的に、第１の画像センサおよび第２の画像センサは、それぞれ（例えば、非点収差レンズまたは複数のレンズを使用して）異なる焦点距離に関連付けられてもよい。したがって、２つの画像センサによって捕捉された２つの画像は、焦点距離が異なってもよい。次に、これらの２つの画像を使用して、（例えば、各画像でどの物体に焦点が合っているか、または焦点が合っていないかに基づいて）画像センサからシーンにおける１つ以上の物体までの距離を判定できる。

距離を判定するために使用することに加えて、２つの画像を合成するか、または他の方法で組み合わせて、２つの実際の焦点距離の中間の焦点距離を持つ画像をシミュレートし得る。２つの画像センサのうちの１つの前に配設された他の光学要素を使用して、シーン／環境の他の特徴を調べることも可能である（例えば、クロマティックフィルタまたは偏光フィルタを使用した偏光を使用して色を調べることができる）。

さらに他の実施形態では、２つ以上の画像センサがわずかに異なる場所（例えば、一方が他方のわずかに上）に位置付けられてもよいため、シーンに対する２つの画像センサの視点はわずかに異なる。これは、シーン自体のアーティファクトが原因で発生する迷光や散乱を補正するために使用できる。例えば、太陽が識別される物体の真後ろにある場合、その物体の捕捉された画像は、太陽の存在が原因で、白とびしたり、露出オーバーになったり、歪んだり、飽和したりすることがある。ただし、シーンのわずかに異なる視点から見ると、太陽は物体の位置から十分に離れている可能性があり、問題ではない。したがって、太陽が物体の後ろに配置されていない画像は、物体を識別するために使用できる。複数の視点を使用することで説明され得る迷光および散乱の他の例には、能動的照光光源（例えば、テールライトまたは信号機）からのルーバーまたは（例えば、シーンの特定の視点からの物体の表示を妨げる障害物から生じる）覆いが含まれる。

ＩＩ．例示的な車両システムおよび動作
ここで、本開示の範囲内の例示的なシステムをより詳細に説明する。例示的なシステムは、自動車に実装され得るか、または自動車の形態を取り得る。しかしながら、システムの例はまた、車、トラック、オートバイ、バス、ボート、飛行機、ヘリコプター、芝刈り機、アースムーバ、ボート、スノーモービル、航空機、レクリエーション車両、遊園地車両、農機具、建設機械、トラム、ゴルフカート、電車、トロリー、ロボットデバイスなどの、他の車両に実装され得、または他の車両の形態を取り得る。他の車両も同じく可能である。さらに、いくつかの実施形態では、例示的なシステムは車両を含まない場合がある。

ここで図を参照すると、図１は、自律モードで完全にまたは部分的に動作するように構成され得る、例示的な車両１００を図解する機能ブロック図である。より具体的には、車両１００は、コンピューティングシステムから制御命令を受信することを通して、人間の相互作用なしに自律モードで動作し得る。自律モードでの動作の一部として、車両１００は、センサを使用して、周囲環境の物体を検出し、場合によっては識別して、安全なナビゲーションを可能にし得る。いくつかの実施形態では、車両１００はまた、運転者が車両１００の動作を制御することを可能にするサブシステムを含み得る。

図１に示されるように、車両１００は、推進システム１０２、センサシステム１０４、制御システム１０６、１つ以上の周辺機器１０８、電源１１０、（コンピューティングシステムとも称され得る）コンピュータシステム１１２、データストレージ１１４、およびユーザインターフェース１１６などの様々なサブシステムを含み得る。他の例では、車両１００は、各々複数の要素を含むことができるより多いまたはより少ないサブシステムを含んでもよい。車両１００のサブシステムおよび構成要素は、様々な方法で相互接続され得る。さらに、本明細書で説明する車両１００の機能は、追加の機能的または物理的構成要素に分割するか、または実施形態内でより少ない機能的もしくは物理的構成要素に組み合わせることができる。例えば、制御システム１０６およびコンピュータシステム１１２は、様々な動作に従って車両１００を操作する単一のシステムに組み合わされ得る。

推進システム１０２は、車両１００に対して動力付き運動を提供するように動作可能な１つ以上の構成要素を含み得、他の可能な構成要素の中でも、エンジン／モータ１１８、エネルギー源１１９、トランスミッション１２０、および車輪／タイヤ１２１を含み得る。例えば、エンジン／モータ１１８は、エネルギー源１１９を機械的エネルギーに変換するように構成され得、他の可能なオプションの中でも、内燃エンジン、電気モータ、蒸気エンジン、またはスターリングエンジンのうちの１つまたは組み合わせに対応し得る。例えば、いくつかの実施形態では、推進システム１０２は、ガソリンエンジンおよび電気モータなどの複数のタイプのエンジンおよび／またはモータを含み得る。

エネルギー源１１９は、完全にまたは部分的に、車両１００の１つ以上のシステム（例えば、エンジン／モータ１１８）に動力を供給し得るエネルギー源を表す。例えば、エネルギー源１１９は、ガソリン、ディーゼル、他の石油ベースの燃料、プロパン、他の圧縮ガスベースの燃料、エタノール、ソーラパネル、電池、および／または他の電力源に対応することができる。いくつかの実施形態では、エネルギー源１１９は、燃料タンク、電池、コンデンサ、および／またはフライホイールの組み合わせを含み得る。

トランスミッション１２０は、エンジン／モータ１１８からの機械動力を、車輪／タイヤ１２１および／または車両１００の他の可能なシステムに伝達し得る。したがって、トランスミッション１２０は、他の可能な構成要素の中でもとりわけ、ギアボックス、クラッチ、ディファレンシャル、および駆動シャフトを含み得る。駆動シャフトは、１つ以上の車輪／タイヤ１２１に接続する車軸を含み得る。

車両１００の車輪／タイヤ１２１は、例示的な実施形態内で様々な構成を有し得る。例えば、車両１００は、他の可能な構成の中でも、一輪車、自転車／オートバイ、三輪車、または自動車／トラックの四輪車の形式で存在し得る。したがって、車輪／タイヤ１２１は、様々な方法で車両１００に接続することができ、金属およびゴムなどの異なる材料で存在することができる。

センサシステム１０４は、他の可能なセンサの中でも、全地球測位システム（ＧＰＳ）１２２、慣性測定ユニット（ＩＭＵ）１２４、レーダ１２６、レーザ距離計／ＬＩＤＡＲ１２８、カメラ１３０、ステアリングセンサ１２３、およびスロットル／ブレーキセンサ１２５などの様々なタイプのセンサを含むことができる。いくつかの実施形態では、センサシステム１０４はまた、車両１００の内部システムを監視するように構成されたセンサ（例えば、Ｏ_２モニタ、燃料計、エンジンオイル温度、ブレーキ摩耗）を含み得る。

ＧＰＳ１２２は、地球に対する車両１００の位置に関する情報を提供するように動作可能なトランシーバを含み得る。ＩＭＵ１２４は、１つ以上の加速度計および／またはジャイロスコープを使用する構成を有し得、慣性加速度に基づいて車両１００の位置および向きの変化を感知し得る。例えば、ＩＭＵ１２４は、車両１００が静止しているかまたは動いている間に車両１００のピッチおよび偏揺れを検出することができる。

レーダ１２６は、物体のスピードおよび進行方向を含めて、無線信号を使用して、車両１００のローカル環境内の物体を感知するように構成された１つ以上のシステムを表すことができる。したがって、レーダ１２６は、無線信号を送信および受信するように構成されたアンテナを含み得る。いくつかの実施形態では、レーダ１２６は、車両１００の周囲環境の測定値を取得するように構成された装着可能なレーダシステムに対応し得る。

レーザ距離計／ＬＩＤＡＲ１２８は、他のシステム構成要素の中でも、１つ以上のレーザ源、レーザスキャナ、および１つ以上の検出器を含み得、コヒーレントモード（例えば、ヘテロダイン検出を使用）または非コヒーレント検出モードで動作し得る。カメラ１３０は、車両１００の環境の画像を捕捉するように構成された１つ以上のデバイス（例えば、スチルカメラまたはビデオカメラ）を含み得る。

ステアリングセンサ１２３は、車両１００のステアリング角度を感知し得、これは、ステアリングホイールの角度を測定すること、またはステアリングホイールの角度を表す電気信号を測定することを含み得る。いくつかの実施形態では、ステアリングセンサ１２３は、車両１００の前方軸に対する車輪の角度を検出するなど、車両１００の車輪の角度を測定し得る。ステアリングセンサ１２３はまた、ステアリングホイールの角度、ステアリングホイールの角度を表す電気信号、および車両１００の車輪の角度の組み合わせ（またはサブセット）を測定するように構成され得る。

スロットル／ブレーキセンサ１２５は、車両１００のスロットル位置またはブレーキ位置のいずれかの位置を検出し得る。例えば、スロットル／ブレーキセンサ１２５は、アクセルペダル（スロットル）およびブレーキペダルの両方の角度を測定してもよく、または、例えば、アクセルペダル（スロットル）の角度および／もしくはブレーキペダルの角度を表すことができる電気信号を測定してもよい。スロットル／ブレーキセンサ１２５はまた、エンジン／モータ１１８（例えば、バタフライバルブまたはキャブレタ）にエネルギー源１１９のモジュレーションを提供する物理的機構の一部を含み得る、車両１００のスロットルボディの角度を測定してもよい。加えて、スロットル／ブレーキセンサ１２５は、車両１００のロータ上の１つ以上のブレーキパッドの圧力、またはアクセルペダル（スロットル）およびブレーキペダルの角度の組み合わせ（またはサブセット）、アクセルペダル（スロットル）およびブレーキペダルの角度を表す電気信号、スロットルボディの角度、および少なくとも１つのブレーキパッドが車両１００のロータに加える圧力、を測定し得る。他の実施形態では、スロットル／ブレーキセンサ１２５は、スロットルまたはブレーキペダルなどの車両のペダルに加えられた圧力を測定するように構成されてもよい。

制御システム１０６は、ステアリングユニット１３２、スロットル１３４、ブレーキユニット１３６、センサ融合アルゴリズム１３８、コンピュータビジョンシステム１４０、ナビゲーション／経路探索システム１４２、および障害物回避システム１４４など、車両１００をナビゲートするのを助けるように構成された構成要素を含み得る。より具体的には、ステアリングユニット１３２は、車両１００の進行方向を調整するように動作可能であり得、スロットル１３４は、エンジン／モータ１１８の動作スピードを制御して、車両１００の加速を制御し得る。ブレーキユニット１３６は、車両１００を減速することができ、これは、摩擦を使用して車輪／タイヤ１２１を減速することを含み得る。いくつかの実施形態では、ブレーキユニット１３６は、車両１００のシステムまたはシステム（複数）によるその後の使用のために、車輪／タイヤ１２１の運動エネルギーを電流に変換し得る。

センサ融合アルゴリズム１３８は、カルマンフィルタ、ベイジアンネットワーク、またはセンサシステム１０４からのデータを処理することができる他のアルゴリズムを含み得る。いくつかの実施形態では、センサ融合アルゴリズム１３８は、個々の物体および／もしくは特徴の評価、特定の状況の評価、ならびに／または所与の状況内の潜在的な影響の評価など、着信センサデータに基づくアセスメントを提供し得る。

コンピュータビジョンシステム１４０は、物体、環境物体（例えば、信号機、道路の境界など）、および障害物を判定しようとする際に画像を処理および分析するように動作可能なハードウェアおよびソフトウェアを含み得る。したがって、コンピュータビジョンシステム１４０は、物体認識、Ｓｔｒｕｃｔｕｒｅ Ｆｒｏｍ Ｍｏｔｉｏｎ（ＳＦＭ）、ビデオ追跡、および、例えば、物体を認識し、環境をマッピングし、物体を追跡し、物体のスピードを推定するためなどにコンピュータビジョンで使用される他のアルゴリズムを使用し得る。

ナビゲーション／経路探索システム１４２は、車両１００の運転経路を判定してもよく、これは、動作中にナビゲーションを動的に調整することを含み得る。したがって、ナビゲーション／経路探索システム１４２は、他の情報源の中でもとりわけ、センサ融合アルゴリズム１３８、ＧＰＳ１２２、および地図からのデータを使用して、車両１００をナビゲートし得る。障害物回避システム１４４は、センサデータに基づいて潜在的な障害物を評価し、車両１００のシステムに潜在的な障害物を回避または別の方法で通り抜けさせ得る。

図１に示されるように、車両１００はまた、無線通信システム１４６、タッチスクリーン１４８、マイクロフォン１５０、および／またはスピーカ１５２などの周辺機器１０８を含み得る。周辺機器１０８は、ユーザがユーザインターフェース１１６と相互作用するための制御または他の要素を提供し得る。例えば、タッチスクリーン１４８は、車両１００のユーザに情報を提供し得る。ユーザインターフェース１１６はまた、タッチスクリーン１４８を介してユーザからの入力を受け入れ得る。周辺機器１０８はまた、車両１００が、他の車両のデバイスなどのデバイスと通信することを可能にし得る。

無線通信システム１４６は、１つ以上のデバイスと直接または通信ネットワークを介して無線で通信し得る。例えば、無線通信システム１４６は、ＣＤＭＡ、ＥＶＤＯ、ＧＳＭ／ＧＰＲＳなどの３Ｇセルラ通信、またはＷｉＭＡＸもしくはＬＴＥなどの４Ｇセルラ通信を使用することができる。あるいは、無線通信システム１４６は、ＷｉＦｉまたは他の可能な接続を使用して無線ローカルエリアネットワーク（ＷＬＡＮ）と通信し得る。無線通信システム１４６はまた、例えば、赤外線リンク、Ｂｌｕｅｔｏｏｔｈ、またはＺｉｇＢｅｅを使用してデバイスと直接通信し得る。様々な車両通信システムなどの他の無線プロトコルが、本開示の文脈内で可能である。例えば、無線通信システム１４６は、車両および／または道路沿いの給油所間の公共および／または私的データ通信を含み得る１つ以上の専用狭域通信（ＤＳＲＣ）デバイスを含み得る。

車両１００は、構成要素に電力を供給するための電源１１０を含み得る。電源１１０は、いくつかの実施形態では、再充電可能なリチウムイオンまたは鉛蓄電池を含み得る。例えば、電源１１０は、電力を提供するように構成された１つ以上の電池を含み得る。車両１００はまた、他のタイプの電源を使用してもよい。例示的な実施形態では、電源１１０およびエネルギー源１１９は、単一のエネルギー源に統合されてもよい。

車両１００はまた、そこに記載されている動作などの動作を行うためのコンピュータシステム１１２を含み得る。したがって、コンピュータシステム１１２は、データストレージ１１４などの非一時的なコンピュータ可読媒体に格納された命令１１５を実行するように動作可能な少なくとも１つのプロセッサ１１３（少なくとも１つのマイクロプロセッサを含むことができる）を含み得る。いくつかの実施形態では、コンピュータシステム１１２は、車両１００の個々の構成要素またはサブシステムを分散して制御するように機能し得る複数のコンピューティングデバイスを表してもよい。

いくつかの実施形態では、データストレージ１１４は、図１に関連して上述したものを含めて、車両１００の様々な機能を実行するためにプロセッサ１１３によって実行可能な命令１１５（例えば、プログラム論理）を含み得る。データストレージ１１４は、推進システム１０２、センサシステム１０４、制御システム１０６、および周辺機器１０８のうちの１つ以上にデータを送信する、データを受信する、相互作用する、および／または制御する命令を含む追加の命令も含み得る。

命令１１５に加えて、データストレージ１１４は、他の情報の中でもとりわけ、道路地図、経路情報などのデータを格納し得る。そのような情報は、自律モード、半自律モード、および／または手動モードでの車両１００の動作中に、車両１００およびコンピュータシステム１１２によって使用され得る。

車両１００は、車両１００のユーザに情報を提供するか、または車両１００のユーザから入力を受信するためのユーザインターフェース１１６を含み得る。ユーザインターフェース１１６は、タッチスクリーン１４８上に表示され得るコンテンツおよび／またはインタラクティブ画像のレイアウトを制御することができるか、または制御を可能にし得る。さらに、ユーザインターフェース１１６は、無線通信システム１４６、タッチスクリーン１４８、マイクロフォン１５０、およびスピーカ１５２などの周辺機器１０８のセット内の１つ以上の入力／出力デバイスを含むことができる。

コンピュータシステム１１２は、様々なサブシステム（例えば、推進システム１０２、センサシステム１０４、および制御システム１０６）から、ならびにユーザインターフェース１１６から受信した入力に基づいて、車両１００の機能を制御し得る。例えば、コンピュータシステム１１２は、推進システム１０２および制御システム１０６によって生成された出力を推定するために、センサシステム１０４からの入力を利用してもよい。実施形態に応じて、コンピュータシステム１１２は、車両１００およびそのサブシステムの多くの態様を監視するように動作可能であり得る。いくつかの実施形態では、コンピュータシステム１１２は、センサシステム１０４から受信した信号に基づいて、車両１００の一部またはすべての機能を無効にし得る。

車両１００の構成要素は、それらのそれぞれのシステム内またはシステム外の他の構成要素と相互接続された方法で機能するように構成され得る。例えば、例示的な実施形態では、カメラ１３０は、自律モードで動作している車両１００の環境の状態に関する情報を表すことができる複数の画像を捕捉することができる。環境の状態は、車両が動作している道路のパラメータを含むことができる。例えば、コンピュータビジョンシステム１４０は、道路の複数の画像に基づいて、傾斜（勾配）または他の特徴を認識することができ得る。加えて、ＧＰＳ１２２とコンピュータビジョンシステム１４０によって認識された特徴との組み合わせは、特定の道路パラメータを判定するために、データストレージ１１４に格納された地図データとともに使用され得る。さらに、レーダユニット１２６はまた、車両の周囲についての情報を提供し得る。

言い換えると、様々なセンサ（入力指標センサおよび出力指標センサと呼ぶことができる）とコンピュータシステム１１２との組み合わせが相互作用して、車両を制御するために提供される入力の指標または車両の周囲の指標を提供することができる。

いくつかの実施形態では、コンピュータシステム１１２は、無線システム以外のシステムによって提供されるデータに基づいて、様々な物体に関する判定を行い得る。例えば、車両１００は、車両の視野内の物体を感知するように構成されたレーザまたは他の光学センサを有し得る。コンピュータシステム１１２は、様々なセンサからの出力を使用して、車両の視野内の物体に関する情報を判定し得、様々な物体までの距離および方向情報を判定し得る。コンピュータシステム１１２はまた、様々なセンサからの出力に基づいて、物体が望ましいか望ましくないかを判定し得る。

図１は、車両１００の様々な構成要素、すなわち、無線通信システム１４６、コンピュータシステム１１２、データストレージ１１４、およびユーザインターフェース１１６を車両１００に統合されているものとして示しているが、これらの構成要素のうちの１つ以上は、車両１００とは別個に装着しまたは関連付けることができる。例えば、データストレージ１１４は、部分的または完全に、車両１００とは別個に存在することができる。したがって、車両１００は、別個にまたは一緒に配置され得るデバイス要素の形態で提供され得る。車両１００を構成するデバイス要素は、有線および／または無線方式で一緒に通信可能に結合され得る。

図２は、図１を参照して説明された車両１００の１つの可能な物理的構成を表し得る車両２００の例示的な物理的構成を示す。実施形態に応じて、車両２００は、他の可能な構成要素の中でもとりわけ、センサユニット２０２、無線通信システム２０４、ラジオユニット２０６、デフレクタ２０８、およびカメラ２１０を含み得る。例えば、車両２００は、図１に記載された構成要素のうちの一部またはすべての要素を含み得る。車両２００は図２では自動車として示されているが、車両２００は、他の可能な例の中でもとりわけ、トラック、バン、セミトレーラートラック、オートバイ、ゴルフカート、オフロード車両、または農業用車両などの例内の他の構成を有することができる。

センサユニット２０２は、車両２００の周囲環境の情報を捕捉するように構成された１つ以上のセンサを含み得る。例えば、センサユニット２０２は、他の可能なタイプのセンサの中でもとりわけ、カメラ、レーダ、ＬＩＤＡＲ、距離計、無線デバイス（例えば、Ｂｌｕｅｔｏｏｔｈおよび／または８０２．１１）、および音響センサの任意の組み合わせを含み得る。いくつかの実施形態では、センサユニット２０２は、センサユニット２０２内のセンサの向きを調整するように動作可能な１つ以上の可動マウントを含み得る。例えば、可動マウントは、車両２００の周りの各方向から情報を取得するためにセンサをスキャンすることができる回転プラットフォームを含み得る。センサユニット２０２の可動マウントはまた、特定の範囲の角度および／または方位角内の走査方式で可動であってもよい。

いくつかの実施形態では、センサユニット２０２は、センサユニット２０２が車のルーフの頂上に装着されることを可能にする機械的構造を含み得る。加えて、例の範囲内で他の装着場所も可能である。

無線通信システム２０４は、図２に示されるように、車両２００に対して相対的な場所を有し得るが、実施形態内で異なる場所を有することもできる。無線通信システム２００は、他の外部または内部デバイスと通信し得る１つ以上の無線送信機および１つ以上の受信機を含み得る。例えば、無線通信システム２０４は、他の可能なエンティティの中でもとりわけ、ユーザのデバイス、他の車両、および道路要素（例えば、標識、交通信号機）と通信するための１つ以上のトランシーバを含み得る。したがって、車両２００は、専用狭域通信（ＤＳＲＣ）、無線周波数識別（ＲＦＩＤ）、および高度道路交通システムを対象とする他の提案された通信規格などの通信を容易にするための１つ以上の車両通信システムを含み得る。

カメラ２１０は、車両２００のフロントガラス上の場所など、車両２００に対して様々な位置を有し得る。そのようにして、カメラ２１０は、車両２００の環境の画像を捕捉し得る。図２に示されるように、カメラ２１０は、車両２００に対して前向き（正面向き）の視野から画像を捕捉し得るが、カメラ２１０の他の装着場所（可動マウントを含む）および視野角が、実施形態内で可能である。例えば、カメラ２１０は、カメラが車両２００の風防ガラスを通して車両２００の環境の画像を捕捉するように車両内に位置付けられ得る。

いくつかの例では、カメラ２１０は、１つ以上の可視光カメラに対応し得る。代替的に、または追加的に、カメラ２１０は、赤外線感知機能を含み得る。カメラ２１０はまた、調整可能な視野を提供し得る光学系を含み得る。他の例も可能である。

図３は、例示的な実施形態による、自律車両に関連する様々なコンピューティングシステム間の無線通信の概念図である。特に、無線通信は、ネットワーク３０４を介して、リモートコンピューティングシステム３０２と車両２００との間で発生し得る。無線通信はまた、サーバコンピューティングシステム３０６とリモートコンピューティングシステム３０２との間、およびサーバコンピューティングシステム３０６と車両２００との間でも発生し得る。

車両２００は、場所間で乗客または物体を輸送することができる様々なタイプの車両に対応することができ、上述の車両のうちの任意の１つ以上の形態を取り得る。場合によっては、車両２００は、制御システムがセンサ測定値を使用して目的地間で車両２００を安全にナビゲートすることを可能にする自律モードで動作し得る。自律モードで動作しているとき、車両２００は、乗客の有無にかかわらずナビゲートし得る。その結果、車両２００は、所望の目的地間で乗客を拾い、降ろし得る。

リモートコンピューティングシステム３０２は、本明細書で説明されるものを含むがこれに限定されないリモートアシスタンス技術に関連する任意のタイプのデバイスを表し得る。例の中で、リモートコンピューティングシステム３０２は、（ｉ）車両２００に関連する情報を受信し、（ｉｉ）人間のオペレータが次に情報を知覚し、情報に関連する応答を入力することができるインターフェースを提供し、および（ｉｉｉ）応答を車両２００に、または他のデバイスに送信する、ように構成された任意のタイプのデバイスを表し得る。リモートコンピューティングシステム３０２は、ワークステーション、デスクトップコンピュータ、ラップトップ、タブレット、携帯電話（例えば、スマートフォン）、および／またはサーバなどの、様々な形態を取り得る。いくつかの例では、リモートコンピューティングシステム３０２は、ネットワーク構成で一緒に動作する複数のコンピューティングデバイスを含み得る。

リモートコンピューティングシステム３０２は、車両２００のサブシステムおよび構成要素と同様または同一の１つ以上のサブシステムおよび構成要素を含み得る。最低でも、リモートコンピューティングシステム３０２は、本明細書で説明される様々な動作を行うために構成されたプロセッサを含み得る。いくつかの実施形態では、リモートコンピューティングシステム３０２はまた、タッチスクリーンおよびスピーカなどの入力／出力デバイスを含むユーザインターフェースを含み得る。他の例も可能である。

ネットワーク３０４は、リモートコンピューティングシステム３０２と車両２００との間の無線通信を可能にするインフラストラクチャを表す。ネットワーク３０４はまた、サーバコンピューティングシステム３０６とリモートコンピューティングシステム３０２との間、およびサーバコンピューティングシステム３０６と車両２００との間の無線通信を可能にする。

リモートコンピューティングシステム３０２の位置は、例の範囲内で変わることができる。例えば、リモートコンピューティングシステム３０２は、ネットワーク３０４を介した無線通信を有する車両２００から遠隔位置を有し得る。別の例では、リモートコンピューティングシステム３０２は、車両２００とは別個であるが、人間のオペレータが車両２００の乗客または運転者と相互作用することができる車両２００内のコンピューティングデバイスに対応し得る。いくつかの例では、リモートコンピューティングシステム３０２は、車両２００の乗客によって操作可能なタッチスクリーンを備えたコンピューティングデバイスであってもよい。

いくつかの実施形態では、リモートコンピューティングシステム３０２によって行われる本明細書で説明される動作は、追加的に、または代替的に、車両２００によって（すなわち、車両２００の任意のシステム（複数可）またはサブシステム（複数可）によって）行われ得る。言い換えれば、車両２００は、車両の運転者または乗客が相互作用することができるリモートアシスタンス機構を提供するように構成され得る。

サーバコンピューティングシステム３０６は、ネットワーク３０４を介してリモートコンピューティングシステム３０２および車両２００と（または、場合によっては、リモートコンピューティングシステム３０２および／もしくは車両２００と直接）無線通信するように構成され得る。サーバコンピューティングシステム３０６は、車両２００およびそのリモートアシスタンスに関する情報を受信、格納、判定、および／または送信するように構成された任意のコンピューティングデバイスを表し得る。かくして、サーバコンピューティングシステム３０６は、リモートコンピューティングシステム３０２および／または車両２００によって行われるものとして本明細書で説明される任意の動作（複数可）またはそのような動作（複数可）の一部を行うように構成され得る。リモートアシスタンスに関連する無線通信の一部の実施形態では、サーバコンピューティングシステム３０６を利用できるが、他の実施形態では利用できない。

サーバコンピューティングシステム３０６は、本明細書に記載の様々な動作を行うように構成されたプロセッサ、ならびにリモートコンピューティングシステム３０２および車両２００から情報を受信し、それらに情報を提供するための無線通信インターフェースなどの、リモートコンピューティングシステム３０２および／または車両２００のサブシステムおよび構成要素と同様または同一の１つ以上のサブシステムおよび構成要素を含み得る。

上記の様々なシステムは、様々な動作を行い得る。ここで、これらの動作および関連する機能について説明する。

上記の議論に沿って、コンピューティングシステム（例えば、リモートコンピューティングシステム３０２、またはおそらくサーバコンピューティングシステム３０６、あるいは車両２００にローカルなコンピューティングシステム）は、自律車両の環境の画像を捕捉するためにカメラを使用するように動作し得る。一般に、少なくとも１つのコンピューティングシステムが画像を分析することができ、場合によっては自律車両を制御する。

いくつかの実施形態では、自律動作を容易にするために、車両（例えば、車両２００）は、車両が動作する環境内の物体を表すデータ（本明細書では「環境データ」とも称される）を様々な方法で受信し得る。車両のセンサシステムは、環境の物体を表す環境データを提供し得る。例えば、車両は、カメラ、レーダユニット、レーザ距離計、マイクロフォン、ラジオユニット、および他のセンサを含む様々なセンサを有し得る。これらのセンサの各々は、各それぞれのセンサが受信する情報について、環境データを車両内のプロセッサに通信し得る。

一例では、カメラが、静止画像および／またはビデオを捕捉するように構成され得る。いくつかの実施形態では、車両は、異なる向きに位置付けられた２つ以上のカメラを有する場合がある。また、いくつかの実施形態では、カメラは、異なる方向で画像および／またはビデオを捕捉するために移動することができる場合がある。カメラは、車両の処理システムによる後の処理のために、捕捉された画像およびビデオをメモリに格納するように構成され得る。捕捉された画像および／またはビデオは、環境データである場合がある。さらに、カメラは、本明細書で説明されるような画像センサを含み得る。

別の例では、レーダユニットが、車両の近くの様々な物体によって反射される電磁信号を送信し、次いで物体から反射する電磁信号を捕捉するように構成され得る。捕捉された反射電磁信号は、レーダシステム（または処理システム）が電磁信号を反射した物体について様々な判定を行うことを可能にし得る。例えば、様々な反射物体までの距離および位置が判定され得る。いくつかの実施形態では、車両は、異なる向きに２つ以上のレーダを有し得る。レーダシステムは、車両の処理システムによる後の処理のために、捕捉された情報をメモリに格納するように構成され得る。レーダシステムによって捕捉された情報は、環境データである場合がある。

別の例では、レーザ距離計が、車両近くの対象物体によって反射される電磁信号（例えば、気体もしくはダイオードレーザ、または他の可能な光源からのものなどの光）を送信するように構成され得る。レーザ距離計は、反射された電磁（例えば、レーザ）信号を捕捉することができ得る。捕捉された反射電磁信号は、測距システム（または処理システム）が様々な物体までの距離を判定することを可能にし得る。測距システムはまた、対象物体の速度またはスピードを判定することができ、それを環境データとして格納することができる。

加えて、一例では、マイクロフォンが、車両を取り巻く環境のオーディオを捕捉するように構成され得る。マイクロフォンで捕捉された音には、緊急車両のサイレンや他の車両の音が含まれる場合がある。例えば、マイクロフォンは緊急車両のサイレンの音を捕捉する場合がある。処理システムは、捕捉されたオーディオ信号が緊急車両を示していることを識別でき得る。別の例では、マイクロフォンは、オートバイからの排気など、別の車両の排気の音を捕捉する場合がある。処理システムは、捕捉されたオーディオ信号がオートバイを示していることを識別でき得る。マイクロフォンによって捕捉されたデータは、環境データの一部を形成し得る。

さらに別の例では、ラジオユニットが、Ｂｌｕｅｔｏｏｔｈ信号、８０２．１１信号、および／または他の無線技術信号の形態を取り得る電磁信号を送信するように構成され得る。第１の電磁放射信号は、ラジオユニットに配置された１つ以上のアンテナを介して送信され得る。さらに、第１の電磁放射信号は、多くの異なる無線信号モードのうちの１つで送信されてもよい。しかしながら、いくつかの実施形態では、自律車両の近くに配置されているデバイスからの応答を要求する信号モードで第１の電磁放射信号を送信することが望ましい。処理システムは、ラジオユニットに返信された応答に基づいて近くのデバイスを検出することができ得、この伝達された情報を環境データの一部として使用し得る。

いくつかの実施形態では、処理システムは、車両の環境をさらに判定するために、様々なセンサからの情報を組み合わせることが可能であり得る。例えば、処理システムは、レーダ情報および捕捉された画像の両方からのデータを組み合わせて、別の車両または歩行者が自律車両の前にいるかどうかを判定し得る。他の実施形態では、センサデータの他の組み合わせを処理システムが使用して、環境についての判定を行い得る。

自律モードで動作している間、車両はほとんどまたはまったく人間の入力なしでその動作を制御し得る。例えば、人間のオペレータが住所を車両に入力すると、車両は、人間からのさらなる入力なしに（例えば、人間がブレーキ／アクセルペダルを操縦したり触れたりする必要がなく）、指定された目的地まで運転することができ得る。さらに、車両が自律的に動作している間、センサシステムは環境データを受信していてもよい。車両の処理システムは、様々なセンサから受信した環境データに基づいて車両の制御を変更し得る。いくつかの例では、車両は、様々なセンサからの環境データに応答して、車両の速度を変え得る。車両は、障害物を回避し、交通法に従うなどのために速度を変え得る。車両での処理システムが車両の近くの物体を識別すると、車両は速度を変更するか、または別の方法で動きを変えることが可能であり得る。

車両が物体を検出したが物体の検出に十分自信がない場合、車両は、人間のオペレータ（またはより強力なコンピュータ）に、（ｉ）物体が実際に環境内に存在するかどうかを確認する（例えば、実際に一時停止標識があるか、または実際に一時停止標識がないか）、（ｉｉ）車両の物体の識別が正しいかどうかを確認する、（ｉｉｉ）識別が正しくなかった場合、識別を修正する、および／または（ｉｖ）自律車両に対して補足的な命令を提供する（または現在の命令を変更する）などの、１つ以上のリモートアシスタンスタスクを行うよう要求することができる。リモートアシスタンスタスクにはまた、人間のオペレータが車両の動作を制御するための命令を提供する（例えば、人間のオペレータが、物体は一時停止標識であると判定した場合、一時停止標識で停止するよう車両に命令する）ことが含まれるが、いくつかのシナリオでは、物体の識別に関連する人間のオペレータのフィードバックに基づいて、車両自体が自身の動作を制御する場合がある。

これを容易にするために、車両は、環境の物体を表す環境データを分析して、閾値未満の検出信頼度を有する少なくとも１つの物体を判定し得る。車両のプロセッサは、様々なセンサからの環境データに基づいて環境の様々な物体を検出するように構成され得る。例えば、一実施形態では、プロセッサは、車両が認識するのに重要であり得る物体を検出するように構成され得る。このような物体には、歩行者、街路標識、他の車両、他の車両のインジケータ信号、および捕捉された環境データで検出された他の様々な物体が含まれ得る。

検出信頼度は、判定された物体が環境内で正しく識別されているか、または環境内に存在している可能性を示し得る。例えば、プロセッサは、受信した環境データの画像データ内の物体の物体検出を行い、閾値を超える検出信頼度を有する物体を識別することができないことに基づいて、少なくとも１つの物体が閾値を下回る検出信頼度を有すると判定し得る。物体の物体検出または物体認識の結果が決定的でない場合、検出信頼度が低いか、または設定された閾値を下回っている場合がある。

車両は、環境データのソースに応じて、様々な方法で環境の物体を検出し得る。いくつかの実施形態では、環境データはカメラから来て、画像またはビデオデータであり得る。他の実施形態では、環境データはＬＩＤＡＲユニットから来る場合がある。車両は、捕捉された画像またはビデオデータを分析して、画像またはビデオデータ内の物体を識別し得る。方法および装置は、環境の物体の存在について画像および／またはビデオデータを監視するように構成され得る。他の実施形態では、環境データは、レーダ、オーディオ、または他のデータであり得る。車両は、レーダ、オーディオ、または他のデータに基づいて環境の物体を識別するように構成され得る。

いくつかの実施形態では、物体を検出するために車両が使用する技術は、既知のデータのセットに基づいていてもよい。例えば、環境物体に関連するデータは、車両に配置されたメモリに格納されてもよい。車両は、受信したデータを格納されたデータと比較して、物体を判定し得る。他の実施形態では、車両は、データの文脈に基づいて物体を判定するように構成され得る。例えば、建設に関連する街路標識は、概してオレンジ色を有し得る。したがって、車両は、道路脇近くに配置されたオレンジ色の物体を、工事関連の街路標識として検出するように構成されてもよい。加えて、車両の処理システムは、捕捉されたデータ内の物体を検出すると、それはまた各物体の信頼度を計算することができる。

さらに、車両はまた、信頼度閾値を有し得る。信頼度閾値は、検出される物体のタイプに応じて異なり得る。例えば、別の車両のブレーキライトなど、車両からの迅速な応答アクションを要求し得る物体については、信頼度閾値が低くなり得る。しかしながら、他の実施形態では、検出されたすべての物体について、信頼度閾値が同じであってもよい。検出された物体に関連付けられた信頼度が信頼度閾値より高い場合、車両は、物体が正しく認識されたと想定し、その想定に基づいて車両の制御を応答的に調整し得る。

検出された物体に関連付けられた信頼度が信頼度閾値より低い場合、車両が取るアクションは変わり得る。いくつかの実施形態では、車両は、低い信頼度レベルにもかかわらず、検出された物体が存在するかのように反応する場合がある。他の実施形態では、車両は、検出された物体が存在しないかのように反応することがある。

車両は、環境の物体を検出すると、特定の検出された物体に関連付けられた信頼度も計算することができる。信頼度は、実施形態に応じて様々な方法で計算され得る。一例では、環境の物体を検出するとき、車両は、環境データを既知の物体に関連する所定のデータと比較し得る。環境データと所定のデータとの一致が近いほど、信頼度はより高くなる。他の実施形態では、車両は、環境データの数学的分析を使用して、物体に関連付けられた信頼度を判定し得る。

物体が閾値を下回る検出信頼度を有するとの判定に応答して、車両は、リモートコンピューティングシステムに、物体の識別とともにリモートアシスタンスの要求を送信し得る。上述のように、リモートコンピューティングシステムは、様々な形態を取り得る。例えば、リモートコンピューティングシステムは、車両とは別個の車両内のコンピューティングデバイス、リモートアシスタンス情報を表示するためのタッチスクリーンインターフェースなど、であってもよいが、それによって人間のオペレータが車両の乗客または運転者と相互作用することができる。追加的に、または代替的に、別の例として、リモートコンピューティングシステムは、車両の近くではない場所に配置されたリモートコンピュータ端末または他のデバイスであってもよい。

リモートアシスタンスの要求は、画像データ、オーディオデータなどの、物体を含む環境データを含み得る。車両は、ネットワーク（例えば、ネットワーク３０４）上で、いくつかの実施形態では、サーバ（例えば、サーバコンピューティングシステム３０６）を介してリモートコンピューティングシステムに環境データを送信し得る。リモートコンピューティングシステムの人間のオペレータは、次に、要求に応答するための基礎として環境データを使用し得る。

いくつかの実施形態では、物体が信頼度閾値を下回る信頼度を有するとして検出された場合、物体には予備識別が与えられてもよく、車両は、予備識別に応答して車両の動作を調整するように構成され得る。そのような動作の調整は、他の可能な調整の中でもとりわけ、車両を停止すること、車両を人間制御モードに切り替えること、車両の速度（例えば、スピードおよび／または方向）を変更することの形態を取り得る。

他の実施形態では、車両が閾値を満たす、または超える信頼度を有する物体を検出した場合でも、車両は検出された物体に従って動作し得る（例えば、物体が一時停止標識として高い信頼度で識別された場合に停止する）が、車両が検出された物体に従って動作するのと同時に（または後で）リモートアシスタンスを要求するように構成され得る。

ＩＩＩ．画像検知システムの例
カメラ１３０に加えて、またはその代わりに、コンピュータビジョンシステム１４０、センサユニット２０２、および／もしくはカメラ２１０、またはおそらくカメラ１３０の一部として、コンピュータビジョンシステム１４０、センサユニット２０２、および／またはカメラ２１０、例示的な車両は、図４Ａに示されるように、１つ以上のカメラシステム４００を含み得る。カメラシステム４００は、物体の検出および回避、ならびにナビゲーションのために自律車両によって使用され得る。図４Ａに示されるように、カメラシステム４００は、第１の画像センサ４１０および第２の画像センサ４２０を含み得る。第１の画像センサ４１０および第２の画像センサ４２０は、シーン４０２の画像を捕捉するように構成され得る。さらに、第１の画像センサ４１０および第２の画像センサ４２０は、プロセッサ４３０に個別に通信可能に結合されてもよい。代替的な実施形態では、プロセッサ４３０と第１の画像センサ４１０および第２の画像センサ４２０の各々との間の個々の通信結合ではなく、プロセッサ４３０とカメラシステム４００との間に単一の通信結合があり得る。

シーン４０２は、第１の画像センサ４１０および第２の画像センサ４２０によって捕捉された画像を分析して物体を検出するために、命令を実行するプロセッサによって識別可能な１つ以上の物体を含み得る。全体を通して使用されるように、物体は、シーンに存在するもののサブセットを含むことができる。例えば、物体は、車両（例えば、救急車）、車両の一部（例えば、タイヤ、ドア、フロントガラスなど）、自然の特徴（例えば、木、リス、草、雲、雨、雪など）、自然の特徴の一部（例えば、幹、リスの頭など）、標識（例えば、一時停止標識、工事標識、制限速度標識など）、道路上のマーキング（例えば、道路の中心線または路肩）、単語（例えば、「ＳＴＯＰ（停止）」）、単語の一部（例えば、「Ｓ」などの文字）、またはここに開示されているか、もしくは当業者によって理解されている無数の物体認識アルゴリズムのうちのいずれかを介して識別可能なシーンの他の構成要素を含み得る。各物体は、対応する輝度レベル（すなわち、明るさレベル）を有することができる。例えば、信号機の輝度レベルは黒猫の輝度レベルよりも高い場合がある。輝度レベルは、例えば、平方メートルあたりのカンデラの単位で測定され得る。さらに、シーン全体は、合成輝度レベルによって（例えば、平方メートルあたりのカンデラまたはニットで）定義されてもよい。合成輝度レベルは、シーン４０２内のすべての物体の輝度値の合計、中央値、最大、または所与の百分位数（例えば、９０パーセンタイル）であり得る。あるいは、合成輝度レベルは、シーン４０２の特定の領域内のすべての物体の輝度値の合計、中央値、最大、または所定の百分位数（例えば、９０パーセンタイル）であり得る。さらに、いくつかの実施形態では、シーン４０２内の１つ以上の物体は、２つ以上の輝度値（例えば、物体の異なる部分に対して異なる輝度値）を有し得る。例えば、再帰反射器を備えた自転車は、再帰反射器のためのある輝度値（例えば、高輝度値）および自転車の残りのための別の輝度値（例えば、より低い輝度値）を有し得る。

さらに、シーン４０２内のいくつかの物体は、能動的に照光し得る。能動的照光物体は、それ自体が物体の観察に使用される光を生成する物体である。例えば、街路灯、テールライト、信号機、非常用フラッシャー、照光道路標識（例えば、一時的な工事標識）などはすべて、能動的照光物体を含み得る。能動的照光物体は、断続的に（例えば、パルス幅変調に従って）光を生成する場合がある。一例は、単語を綴るために標識の文字を順番に照らす工事標識である。別の例は、ランダムまたは疑似ランダムに連続して（例えば、ピクセルごとにまたはシンボルごとにランダムに）文字および／または記号を照らす工事標識または他の標識であり得る。その他の例としては、オーバーヘッド速度標識および右折禁止の電子ディスプレイなどがある。能動的照光物体のパルス幅変調は、対応する画像センサのシャッタースピード（および対応する露出持続時間）と同様またはそれより遅い速度である関連する変調時間を有し得る。このようにして、パルス幅変調の照光部分（すなわち、デューティサイクルの「オン」部分）は、関連するシャッタースピード／露出持続時間で捕捉された画像内に完全に捕捉されない場合がある。例えば、１％のデューティサイクルで１０Ｈｚで能動的に照光している物体の場合、１０ｍｓの露出持続時間で１０Ｈｚの速度で画像を捕捉する画像センサは、画像センサが能動的照光物体と位相がずれている場合、１％のデューティサイクルの「オン」部分を捕捉することはない。

ただし、能動的照光物体のパルス幅変調に、対応する画像センサのシャッタースピード（および対応する露出持続時間）よりも速い変調時間が関連付けられている場合（例えば、シャッタースピード／露出持続時間よりも１桁速い、シャッタースピード／露出持続時間よりも１０％速い、シャッタースピード／露出持続時間よりも１％速いなど）、パルス幅変調期間は、関連するシャッタースピード（および対応する露出持続時間）で捕捉された画像内で完全に捕捉され得る。例えば、画像センサのシャッタースピード／露出持続時間が、標識の文字を順番に照らして単語を綴る工事標識の変調スピードより遅い場合、単語全体が遅いシャッタースピード／露出持続時間を有する画像センサによって捕捉された画像内で捕捉される可能性がある。

追加的に、または代替的に、シーン４０２内のいくつかの物体は、受動的に照らされ得る。受動的に照らされている物体は、物体の観察に使用される光を生成しない物体である。代わりに、受動的に照らされている物体は、他の光源（例えば、太陽、ヘッドライト、街路灯など）によって生成された光を反射する場合がある。例えば、反射板、岩、木、手すり、柱、茂み、歩行者、動物、中心線、道路、反射道路標識（例えば、一時停止標識）、ライトが付いていない車両（例えば、日中の移動中）などはすべて、受動的に照らされている物体を含む。

シーン４０２内の物体が能動的に照光しているか、または受動的に照らされているどうかに関係なく、物体は、カメラシステム４００に対して動いている可能性がある。このような物体は、シャッタースピード／露出持続時間に対して高い速度（例えば、物体の写真が所定の対応するシャッタースピード／露出持続時間に対してぼやけて見えるようなスピード）またはシャッタースピード／露出持続時間に対して低いもしくは同等の（例えば、物体の写真が所定の対応するシャッタースピード／露出持続時間でぼやけて見えないようなスピード）を有し得る。

図示のように、第２の画像センサ４２０は、光学中性濃度フィルタ４２２（例えば、ＮＤ２、ＮＤ４、ＮＤ８、ＮＤ１６、ＮＤ３２、ＮＤ６４、ＮＤ１００、ＮＤ１２８、ＮＤ１２８、ＮＤ２５６、ＮＤ４００、ＮＤ５１２、ＮＤ１０２４、ＮＤ２０４８、ＮＤ４０９６、ＮＤ６３１０、ＮＤ８１９２、ＮＤ１００００、またはＮＤ１０００００フィルタ）を介して、シーン４０２の画像を捕捉し得る。中性濃度フィルタ４２２は、（例えば、中性濃度フィルタ４２２に入射する光の一部のみを透過させることによって）第２の画像センサ４２０に到達するシーン４０２からの光の強度を低減し得る。中性濃度フィルタ４２２は、画像センサ４２０によって感知される波長の範囲にわたって第２のセンサ４２０に到達する光の強度を均一に（またはほぼ均一に）低減し得る。例えば、センサ４２０が可視スペクトルの波長を感知するように構成されている場合、シーン４０２からの可視スペクトルの各波長は、第２の画像センサ４２０に到達する前に、同じまたは実質的に同じ量／パーセンテージだけ強度が低減され得る。これは、一部の波長が他の波長よりも減衰するクロマティック光学フィルタとは異なる。例えば、単色光学フィルタでは、所与の色（例えば、オレンジまたは５２７ｎｍ±１０ｎｍ）に対応する狭い範囲の波長のみがフィルタによって透過され得る。

代替的な実施形態では、カメラシステム４００は、追加の中性濃度フィルタまたは他のフィルタ（例えば、段階的中性濃度フィルタ、クロマティック光学フィルタ、または偏光フィルタ）を含み得る。さらに、いくつかの実施形態では、カメラシステム４００は、中性濃度フィルタまたは他の光学フィルタ以外の、第２の画像センサ４２０に到達する光の強度を低減する追加または代替の固定機構を含み得る。例えば、中性濃度フィルタまたは他の光学フィルタの代わりに、画像センサの固定絞りまたは固定感度設定を使用することができる。

さらに他の実施形態では、第２の画像センサ４２０は、第２の画像センサ４２０に到達する光の強度を低減する固定機構を含まなくてもよい。例えば、第２の画像センサ４２０の露出は、捕捉されているシーンについての以前のデータに基づいて変化し得る。例えば、カメラシステム４００が非常に高い明るさまたは非常に低い明るさ（例えば、以前のデータによって示されるような）を有する信号機を撮像している場合、第２の画像センサ４２０の露出設定はそれに応じて設定され得る。以前のデータに基づく露出設定の調整は、シーンにおける周囲光に基づく第２の画像センサ４２０の露出設定の調整に加えて、またはその代わりである可能性がある。第２の画像センサ４２０の露出設定を変える他の固定されていない方法も可能である。

また、図４Ａに示されるように、第１の画像センサ４１０および第２の画像センサ４２０は、互いに垂直に位置合わせされてもよい。このようにして、シーン４０２内の物体の向きは、第２の画像センサ４２０によって捕捉された画像の場合と同様に、第１の画像センサ４１０によって捕捉された画像の場合と同様またはほぼ同様であり得る。いくつかの実施形態では、第１の画像センサ４１０と第２の画像センサ４２０との間の垂直分離は、第１の画像センサ４１０の視点および第２の画像センサ４２０の視点が最大限に類似するように最小化され得る。さらに、いくつかの実施形態では、第１の画像センサ４１０および第２の画像センサ４２０は、実質的に同時に画像を捕捉するように構成されてもよい。追加的に、または代替的に、第１の画像センサ４１０および第２の画像センサ４２０は、水平に位置合わせされ得る（例えば、第２の画像センサ４２０によって捕捉された画像の場合と同様に、シーン４０２内の物体の向きが、第１の画像センサ４１０によって捕捉された画像と同様またはほぼ同様であることを再び確実にする）。

いくつかの実施形態では、第１の画像センサ４１０および／または第２の画像センサ４２０はそれぞれ、シーン４０２からの光がそれぞれの画像センサに入る１つ以上のレンズを有し得る。このようなレンズは、（例えば、１つ以上のレンズのうち１つ以上の焦点距離を調整することにより）それぞれの画像センサのシーン４０２の倍率を修正し、それぞれの画像センサの被写界深度を修正し、かつ／または画像センサの焦点を修正するように調整し得る。追加的に、または代替的に、第１の画像センサ４１０および／または第２の画像センサ４２０は、シーン４０２からの光がそれぞれの画像センサに入る１つ以上の絞りを有し得る。このような絞りは、それぞれの画像センサによって捕捉されている所与の画像に関して、それぞれの画像センサに到達するシーン４０２からの光の量を制御し、それぞれの画像センサの被写界深度を修正し、かつ／またはそれぞれの画像センサに到達する光に基づいて実行可能な露出持続時間の範囲を修正するように調整され得る。

第１の画像センサ４１０は、いくつかの実施形態では、シーン４０２の合成輝度レベル（シーンに基づく固定値）に基づいて調整され得る。例えば、第１の画像センサ４１０は、第１の画像センサ４１０上の照度値を感知し、照度値を第１の画像センサ４１０のコントローラに送信し得る。コントローラは、照度値に基づいて、第１の画像センサ４１０上の照度値（露出設定に基づいて修正可能な値）が閾値の許容範囲内になるまで、第１の画像センサ４１０に対応する露出設定（例えば、露出持続時間／シャッタースピード、絞りサイズ、１つ以上のレンズの焦点距離、画像センサのＩＳＯ感度など）を修正し得る。このようにして、第１の画像センサ４１０は、照度値に基づいてコントローラによって調整される可変露出を有し得る。これは、いくつかのカメラ（デジタル一眼レフ（ＤＳＬＲ）カメラなど）の「自動露出」設定に類似している場合がある。

いくつかの実施形態では、第２の画像センサ４２０はまた、第２の画像センサ４２０上の照度値が閾値の許容範囲内になるまで、第２の画像センサ４２０に対応する露出設定を修正し得る。しかしながら、代替的な実施形態では、第２の画像センサ４２０は、固定露出設定を有し得る。第２の画像センサ４２０は、中性濃度フィルタ４２２を介してシーン４０２から光を受信するため、第２の画像センサ４２０が照度値に基づいて調整されない場合、第２の画像センサ４２０は、全体的により低い強度のシーン４０２の画像を捕捉し得る。露出設定（露出持続時間、絞りサイズなど）を修正することにより、中性濃度フィルタ４２２を補正せずに、中性濃度フィルタ４２２を介して画像を捕捉すると、露出オーバーになることなく明るい物体（救急車の緊急信号などの能動的照光物体）を観察することが可能になり得る。さらに、全体的な強度をより低くして画像を捕捉すると、捕捉された画像における迷光、グレア、フレアのアーティファクトが低減する場合がある。

部分的には、第２の画像センサ４２０が中性濃度フィルタ４２２を含み、第１の画像センサ４１０が含まないため、第２の画像センサ４２０はより低い照度値が存在する場合に露出設定を補正しない可能性がある一方で第１の画像センサ４１０は補正する可能性があり、第１の画像センサ４１０および第２の画像センサ４２０はそれぞれ、対応する（場合によっては異なる）ダイナミックレンジを有し得る。図４Ｂに示されるように、第１のダイナミックレンジ４１４は第１の画像センサ４１０に対応し得、第２のダイナミックレンジ４２４は第２の画像センサ４２０に対応し得る。

ダイナミックレンジ４１４／４２４の各々は、シーン４０２（輝度に対数目盛を使用して図４Ｂに示される）内の輝度レベルの範囲に対応し得る。図４Ｂに示されるように、第２のダイナミックレンジ４２４は、第１のダイナミックレンジ４１４よりも高い輝度レベルの範囲に対応し得る。したがって、第２の画像センサ４２０を使用して、第１の画像センサ４１０よりも高い輝度を有する物体を検出／識別し得る。例えば、第２の画像センサ４２０によって捕捉された画像は、信号機を識別するために使用され得、一方、第１の画像センサ４１０によって捕捉された画像は、歩行者を識別するために使用され得る。追加の例として、図４Ｃに示すように、第２の画像センサ４２０によって捕捉された画像は、車両のテールライト４５２（または他の能動的照光物体）を識別するために使用され得、第１の画像センサ４１０によって捕捉された画像は、通りを横断する歩行者４５０（または他の受動的に照らされている物体）を識別するために使用され得る。このような歩行者４５０は、例えば、テールライト４５２を備えたカメラシステム４００と車両との間の道路を横断している場合がある。

また、（第１のダイナミックレンジ４１４から延びる矢印によって）図４Ｂに示されるように、第１の画像センサ４１０は、第１の画像センサ４１０によって感知された照度値に基づいてその露出設定を調整し得るため、対応する第１のダイナミックレンジ４１４は、より高いまたはより低い輝度値を含合するように変化し得る。さらに、第２のダイナミックレンジ４２４は、第１のダイナミックレンジ４１４よりも高い１つ以上の輝度レベルを含み得る。図示のように、第１のダイナミックレンジ４１４の輝度レベルの少なくとも一部は、第２のダイナミックレンジ４２４の輝度レベルの一部と重なり得る。

代替的な実施形態では、第１のダイナミックレンジ４１４は、第２のダイナミックレンジ４２４と重ならなくてもよい（例えば、第１のダイナミックレンジ４１４におけるすべての輝度レベルは、第２のダイナミックレンジ４２４のすべての輝度レベルよりも低くてもよい）。例えば、第１のダイナミックレンジ４１４または第２のダイナミックレンジ４２４のいずれによってもカバーされない、第１のダイナミックレンジ４１４と第２のダイナミックレンジ４２４との間にある範囲の輝度レベルがあり得る。さらに他の実施形態では、第１のダイナミックレンジ４１４の一部または全体は、第２のダイナミックレンジ４２４内の輝度レベルのすべてよりも高い輝度レベルを含み得る。

いくつかの代替的な高ダイナミックレンジ（ＨＤＲ）撮像アプローチでは、一連の輝度レベルを使用して、完全な合成画像を生成する（例えば、単一の画像センサを使用するＨＤＲ撮像アプローチ）。ただし、一部の代替的なＨＤＲ撮像アプローチでは、ダイナミックレンジのギャップが許容されない。したがって、観察／検出する必要のない物体を含む輝度レベルの範囲がある実施形態では、それらの輝度レベルをスキップすることができる。これにより、例えば、ダイナミックレンジのギャップを許容しないＨＤＲ撮像アプローチと比較すると、データストレージおよび計算時間を節約できる。あるいは、本明細書に開示されるいくつかの実施形態では、第１のダイナミックレンジ４１４は、第２のダイナミックレンジ４２４を完全に包含してもよく、逆もまた同様である。

図４Ｂに示すように、（第１のダイナミックレンジ４１４および第２のダイナミックレンジ４２４を含む）カメラシステム４００がまたがる集合的なダイナミックレンジは、第１のダイナミックレンジ４１４または第２のダイナミックレンジ４２４のいずれよりも個別に大きい。

上記のような技術を使用すると、画像センサ自体を必ずしも修正することなく、カメラのダイナミックレンジを効果的に拡大できる。画像センサは必ずしも修正する必要がないため、このような技術は、特化した（そして潜在的に高価な）カメラ／画像センサを必要とせずにダイナミックレンジの向上につながる可能性がある。

さらに、第１の画像センサ４１０および第２の画像センサ４２０の各々は、（例えば、図１に示されるプロセッサ１１３に類似する）プロセッサ４３０に接続されてもよい。プロセッサ４３０は、メモリ（例えば、図１に示されるデータストレージ１１４）に格納された命令（例えば、図１に示される命令１１５）を実行するコンピューティングデバイス（例えば、図１に示されるコンピュータシステム１１２）の一部であり得る。プロセッサ４３０は、第１の画像センサ４１０から第１の捕捉された画像を、かつ／または第２のセンサ４２０から第２の捕捉された画像を受信し得る。次に、プロセッサ４３０は、（例えば、物体認識／物体識別アルゴリズムおよび／または命令内に格納されたローカリゼーションアルゴリズムを使用して）画像のいずれかまたは両方内の物体を識別またはローカライズしようと試み得る。識別された物体のアイデンティティおよび場所（例えば、互いに対する場所および／または車両に対する場所）を使用して、プロセッサ４３０および／または関連する制御システム（例えば、図１に示される制御システム１０６）は、（例えば、ステアリングユニット１３２を使用して車両の進路を変更し得る、スロットル１３４を使用して車両のスピードを変更し得る、方向指示器をオンにし得るなど）車両の様々な構成要素の挙動を指示し得る。

計算時間を節約するために、プロセッサ４３０は、第２の画像センサ４２０によって捕捉された画像を使用して、能動的照光物体（例えば、テールライト、信号機など）の識別のみを試み得、第１の画像センサ４１０によって捕捉された画像を使用して、受動的に照らされている物体（例えば、歩行者、樹木、一時停止標識などの光を反射または屈折させることによって照光されている物体）の識別のみを試み得る。

追加的に、または代替的に、計算時間を節約するために、プロセッサ４３０は、第１の画像センサ４１０によって捕捉された画像内の第１の画像センサ４１０のシャッタースピード／露出持続時間に対して高い速度を有する、カメラシステム４００に対して動きのある物体（例えば、雨などの気象効果）のみを識別しようと試み得る。さらに、計算時間を節約するために、プロセッサ４３０は、第１の画像センサ４１０によって捕捉された画像内の第１の画像センサ４１０のシャッタースピード／露出持続時間より速い速度で変調されている、能動的照光物体（例えば、工事標識）のみを識別しようと試み得る。

同様に、計算時間を節約するために、プロセッサ４３０は、第２の画像センサ４２０によって捕捉された画像内の第１の画像センサ４１０のシャッタースピード／露出持続時間に対して低い速度または同等の速度を有するカメラシステムに対して動きのある物体（例えば、歩行者）のみを識別しようと試み得る。さらに、計算時間を節約するために、プロセッサ４３０は、第２の画像センサ４２０によって捕捉された画像内の第１の画像センサ４１０のシャッタースピード／露出持続時間と同様またはより遅い速度で変調されている能動的照光物体（例えば、点滅する方向指示器）のみを識別しようと試み得る。

さらに、いくつかの実施形態では、第１の画像センサ４１０および第２の画像センサ４２０はそれぞれ、特定のタイプの物体（例えば、高速移動物体対低速移動物体または能動的照明物体対受動的に照らされている物体）を捕捉するように構成され得るため、所与の画像センサのハードウェアは、輝度レベルの所与の範囲および／または経時的な変動に特化し得る。例えば、第２の画像センサ４２０は、受動的に照らされている物体を検出するために特化したハードウェア（例えば、第１の画像センサ４１０とは異なるレンズ、第１の画像センサ４１０と比較した１つ以上の追加のフィルタなどの中性濃度フィルタ４２２に加えて特化したハードウェア）を有し得る。

シーン４０２の捕捉された画像をコンピューティングデバイスに送信する前に、第１の画像センサ４１０および第２の画像センサ４２０は、捕捉された画像を圧縮し得る。追加的に、または代替的に、コンピューティングデバイスは、第１の画像センサ４１０および第２の画像センサ４２０から受け取った後に、捕捉された画像を圧縮し得る。

さらに、いくつかの物体識別アルゴリズム（例えば、画像内の物体を識別するためにプロセッサによって実行可能なメモリ内に格納された命令）は、第１の画像センサ４１０および第２の画像センサ４２０によって捕捉された画像に適用され得る。物体識別アルゴリズムは、ＨＤＲ、２４ビット画像（すなわち、赤、緑および青の各色の８ビット数によって各ピクセルを表すＨＤＲ画像）に最適化し得る。したがって、第１の画像センサ４１０および第２の画像センサ４２０によって捕捉された画像がそれぞれ２４ビット画像である場合、第１の画像センサ４１０および第２の画像センサ４２０によって捕捉された画像は、組み合わされた画像がＨＤＲ、２４ビット画像のために最適化された物体識別アルゴリズムの１つによって処理できるように単一のＨＤＲ、２４ビット画像に組み合わされ得る。他の実施形態では、物体識別アルゴリズムは、代わりに他のタイプの画像（例えば、３０ビット画像、３６ビット画像、４２ビット画像、４８ビット画像など）のために最適化されてもよい。

２つの捕捉された画像を単一のＨＤＲに組み合わせると、２４ビット画像は、トーンマッピングの実行（つまり、ＨＤＲを概算するために、個々の捕捉された画像のカラーセット組み合わされた画像の新しいグローバルカラーセットに再マッピングすること）を含み得る。これにより、物体識別アルゴリズム（例えば、ＨＤＲ、２４ビット画像用に最適化された物体識別アルゴリズムなど）の拡大ライブラリを使用できるようになるが、トーンマッピングにより、第１の画像センサ４１０および第２の画像センサ４２０によって捕捉された個々の画像にわたって含まれる物理的な輝度レベルおよびグローバルコントラストに関する固有のデータが犠牲になる場合がある。

いくつかの実施形態では、物理的な輝度レベルおよびグローバルコントラストに関するこの固有のデータを保存するために、個々の画像の各々が（例えば、プロセッサによって実行可能であり、メモリ内に格納された）別個の物体識別アルゴリズムに供給され得る。このような別個の物体識別アルゴリズムは、それら自体が、所与のダイナミックレンジ（例えば、輝度レベルの所与の範囲）のために一緒に、かつ／または個別に最適化され得る。

さらに他の実施形態では、物理的な輝度レベルおよびグローバルコントラストに関するこの固有のデータを保存するために、個々の画像の各々が、両方の画像を一緒に処理するように設計された単一の組み合わされた物体識別アルゴリズムに供給され得る。例えば、組み合わされた物体識別アルゴリズムは、畳み込みニューラルネットワークなどの機械学習アルゴリズムであってもよい。畳み込みニューラルネットワークは、正規の３色（赤、緑、青）とは対照的に、組み合わされた画像を６色であるかのように処理し得る。畳み込みニューラルネットワークは、例えば、ピクセルごとに４つ以上のカラー値（例えば、６つのカラー値）を追跡する中間ニューロン層を使用して、６つのカラーチャネルを解釈し得る。

このような組み合わされた物体識別アルゴリズム、または本明細書で説明する他のアルゴリズムを使用して、プロセッサは、単一の捕捉された画像のみを使用するのではなく、両方の捕捉された画像を使用して物体の物体識別を実行し得る。例えば、夜間の緊急車両は、高輝度レベル（例えば、緊急車両の緊急灯）および低輝度レベル（例えば、緊急車両のタイヤまたは塗装された本体）の両方を含み得る。したがって、第１の画像センサ４１０によって捕捉された画像および第２の画像センサ４２０によって捕捉された画像の両方の一部を使用して、物体を救急車、消防車、または警察車両として識別し得る。このような実施形態が図４Ｄに示されている。図示されるように、第２の画像センサ４２０は、緊急車両（例えば、救急車）のライト４６０に方向付けられ得、第１の画像センサ４１０は、緊急車両の塗装された本体４６２（例えば、緊急車両の赤い縞、緊急車両の赤い市松模様、または緊急車両の赤十字）に方向付けられ得る。両方の画像センサによって取得した画像を使用して、緊急車両を識別し得る。例えば、第１の画像において赤十字を含み、第２の画像において赤および白の非常灯を含む本体塗装の識別された組み合わせは、識別された物体が緊急車両（例えば、救急車）であることを示し得る。さらに、例えば、赤および白の非常灯が点滅しているかどうかに基づいて、緊急車両が動的緊急事態への／からの途上にあるかどうかを判定し得る。

図４Ａに示されるように、第１の画像センサ４１０および第２の画像センサ４２０は、ある距離だけ互いに対してオフセットされ（例えば、図４Ａではある距離だけ垂直にオフセットされ）てもよい。例えば、第１の画像センサ４１０は、シーン４０２に対して第２の画像センサ４２０の上、下、左、右、前、後ろ、または上、下、左、右、前、後ろのいくつかの重ね合わせにあってもよい。オフセット距離のため、カメラシステム４００に接続されたプロセッサは、物体が第１の画像センサ４１０によって捕捉された画像または第２の画像センサ４２０によって捕捉された画像において適切に識別され得るかどうかに関わらず、両眼距離計算を実行するように構成され得る。距離は、プロセッサが命令を実行することにより判定され、（第１の画像センサ４１０と第２の画像センサ４２０との間の既知のオフセット距離を考慮に入れて）第１の画像センサ４１０によって捕捉された画像内の物体の場所と第２の画像センサ４２０によって捕捉された画像内の物体の場所との間の視差を計算し得る。

同じシーンの２つの画像を別々のダイナミックレンジで捕捉する従来の方法には、（２つの画像センサではなく）単一の画像センサのみを備えたカメラを使用することが含まれる。単一の画像センサを備えたカメラを使用すると、（例えば、ＩＳＯ、センサ感度、露出持続時間／シャッタースピード、絞りサイズなどの露出設定に応じて）第１のダイナミックレンジでシーンの画像を捕捉し得る。次に、単一の画像センサの露出設定を変更し（例えば、シャッタースピード／露出持続時間または絞りサイズを修正して）、第２のダイナミックレンジのシーンの第２の画像を捕捉し得る。

ただし、捕捉イベント間の露出設定が変更されて、複数の画像が同じ画像センサによって捕捉されているため、２つの画像が実質的に同時に捕捉されない場合がある。したがって、（例えば、物体認識および／またはエラーチェックにおける冗長性のために）後で２つの画像が互いに比較される場合、両方の画像を捕捉する間にシーンの視点が実質的に変化している可能性がある。これは静止したシーン（例えば、ポート速度）では許容され得るが、動いているシーンでは問題が発生する可能性がある。例えば、単一の画像センサが移動中の車両に装着されている場合、画像捕捉イベント間で露出設定を修正するのに必要なのは５０ｍｓしかなくても、画像捕捉イベント間で視点は大幅に異なる可能性がある（例えば、移動中の車両が５０ｍｐｈで移動すると、５０ｍｓは１．１ｍの平行移動に対応し、無視できない場合がある）。

さらに、シーンの画像は、画像捕捉イベント間で露出設定を修正する単一の画像センサによって実質的に同時に捕捉されないため、シーンの画像も物体分析を実質的に同時に実行するコンピューティングデバイスに送信されない場合がある。単一の画像センサのカメラに、一度に１つの捕捉された画像をローカルに保存するのに十分なオンボードメモリしかない場合、これは問題になる可能性がある。コンピューティングデバイスのプロセッサは、捕捉した画像の各々を順次処理するか、カメラが捕捉した画像の解像度を下げて、２つの画像をローカルメモリ内に格納し、その後、両方の画像をコンピューティングデバイスに送信する。しかしながら、これはまた、第１の画像が捕捉されるときと、コンピューティングデバイスが第１の画像に対して画像分析を実行しているときとの間にかなりの遅れが存在し得るため、問題を引き起こし得る。したがって、コンピューティングデバイスが捕捉された第１の画像を処理しているときまでに、捕捉された第１の画像に基づいて意味のある制御判定を行うには遅すぎる場合がある。

前の３つの段落で説明した潜在的な問題は、ここで説明するカメラシステムを使用することで完全に軽減または排除できる。

図５は、例示的な実施形態による別のシステム５００を示す。図示されるように、カメラシステム５００は、画像センサ５１０、中性濃度フィルタ５２２、第１のレンズ５１４、および第２のレンズ５２４を含み得る。第１のレンズ５１４は、シーン４０２の視野を画像センサ５１０の第１の独立した領域に方向付けることができる。同様に、第２のレンズ５２４は、シーン４０２の視野を画像センサ５１０の第２の独立した領域に方向付けることができる。図示のように、第２のレンズ５２４は、シーン４０２の視野を、中性濃度フィルタ５２２を介して画像センサの第２の独立した領域に方向付けることができる。他の実施形態では、シーン４０２の視野を第１の画像センサ５１０の独立したセンサ領域に方向付けるために、第１のレンズ５１４および第２のレンズ５２４に加えて、またはそれに代わって、他の光学構成要素（例えば、レンズ以外の自由空間光学系）を使用し得る。いくつかの実施形態では、カメラシステム５００はまた、画像センサ５１０に通信可能に結合され、（例えば、メモリ内に格納された命令を実行することにより）物体認識を実行するように構成されている、（例えば、図４Ａに示されるプロセッサ４３０に類似した）プロセッサを含み得る。

いくつかの実施形態では、画像センサ５１０は、両方の独立したセンサ領域にわたって可変露出を有し得る。可変露出は、両方の独立したセンサ領域によって感知された合成照度に基づいて（例えば、第１の画像センサ領域および第２のセンサ領域の照度の平均に基づいて）様々な露出設定（例えば、露出持続時間、ＩＳＯ感度など）を調整することによって、コントローラによって制御され得る。他の実施形態では、両方の独立したセンサ領域にわたる露出設定を固定し得る。さらに他の実施形態では、両方の独立したセンサ領域の露出設定は、個別に制御可能であり得る。例えば、上部の独立したセンサ領域は、上部の独立したセンサ領域において感知された照度に基づいてコントローラによって感度が調整され得るが、下部の独立したセンサ領域は、下部の独立したセンサ領域において感知された照度に関係なく、固定露出設定を有し得る。

図５のカメラシステム５００を使用すると、単一の画像センサを使用して、合成画像を捕捉することができる。合成画像は、複数の領域を含み得、各領域は、所与の視野および視点によるシーン４０２の完全な複製を含む。いくつかの実施形態では、視野および視点は、各領域において同様であり得る。それでも、合成画像の領域の各々は、異なる照度で捕捉される場合がある。このようにして、捕捉された画像の異なる領域を分析して、異なるダイナミックレンジ内の物体を識別し得る。図５の例をとると、対応する捕捉された合成画像の上部領域を使用して（例えば、物体識別アルゴリズムを実行するプロセッサによって）、より低い相対輝度値を有する物体（例えば、受動的に照らされている物体）を識別し得、対応する捕捉された合成画像の下部領域を使用して（例えば、物体識別アルゴリズムを実行するプロセッサによって）、より高い相対輝度値を有する物体（例えば、能動的照光物体）を識別し得る。

別の実施形態では、独立したセンサ領域は、上下ではなく左右に配置されてもよい。さらに他の実施形態では、３つ以上の独立したセンサ領域があってもよい。例えば、一実施形態では、４つの独立したセンサ領域：中性濃度フィルタなしの１つの独立したセンサ領域、１つの中性濃度フィルタ（例えば、ＮＤ８中性濃度フィルタ）によりカバーされた１つの独立したセンサ領域、別の中性濃度フィルタ（例えば、中性濃度１２８中性濃度フィルタ）でカバーされた１つの独立したセンサ領域、および、さらに別の中性濃度フィルタ（例えば、中性濃度４０９６）でカバーされた１つの独立したセンサ領域があり得る。

図６Ａは、例示的な実施形態による、カメラシステム４００の図である。カメラシステム４００は、例えば、図４Ａに示されるのと同じカメラシステム４００であってもよい。図６Ａでは、カメラシステム４００は、シーン６００の画像を捕捉するために使用されている。図４Ａに示されるカメラシステム４００と同様に、第１の画像センサ４１０および第２の画像センサ４２０は、ある距離だけ互いから垂直方向にオフセットされ得る。したがって、シーン６００に対する第１の画像センサ４１０の視点は、シーン６００に対する第２の画像センサ４２０の視点とは異なり得る。いくつかの実施形態では、カメラシステム４００はまた、第１の画像センサ４１０および第２の画像センサ４２０に通信可能に結合され、（例えば、メモリ内に格納された命令を実行することにより）物体認識を実行するように構成されている、（例えば、図４Ａに示されるプロセッサ４３０に類似した）プロセッサを含み得る。

画像センサはシーン６００に対して異なる視点にあるため、それぞれの画像センサによって捕捉された画像は異なって見える場合がある。例えば、第１の画像センサ４１０によって捕捉されたシーン６００の第１の画像６１０が図６Ｂに示されている。同様に、第２の画像センサ４２０によって捕捉されたシーン６００の第２の画像６２０が図６Ｃに示されている。図６Ａの点線によって示されるように、かつ図６Ｂおよび６Ｃの第１の画像６１０と第２の画像６２０との間の違いと同様に、シーン６００におけるいくつかの物体は、すべての視点から観察可能ではない場合がある。例えば、シーン６００におけるリスは、第１の画像センサ４１０によって観察可能ではないが、第２の画像センサ４２０によって観察可能である。

さらに、シーン６００における物体が、第１のダイナミックレンジ４１４と第２のダイナミックレンジ４２４の両方内にある輝度値を有する場合、物体がそれぞれの画像センサ４１０／４２０のシーン６００のそれぞれの視点内に存在する場合に、両方の画像センサによって捕捉された画像を使用して（例えば、プロセッサによって実行される物体識別アルゴリズムによって）、物体を識別することができる。

物体は、第１の画像センサ４１０および第２の画像センサ４２０によって記録された画像内で物体が識別可能であるため、物体の識別は、エラー補正および冗長性を含み得る。例えば、シーンに対してそれぞれ異なる視点にある２つの画像センサを使用して、シーン内のアーティファクトによる迷光および散乱を補正できる。太陽などの明るい物体が識別される物体の真後ろにある場合、その物体は、太陽の存在により、第１の画像センサ４１０と第２の画像センサ４２０によってそれぞれ捕捉された２つの画像のいずれかにおいて、白とびしたり、露出オーバーになったり、歪んだり、飽和したりする可能性がある。ただし、２つの画像のもう一方では、識別される物体に対して太陽の位置が異なる場合があるため、白とびした特徴、露出オーバー、歪み、および／または飽和の問題が発生しなくなる。したがって、識別される物体の真後ろに太陽が位置付けられていない画像を使用して（例えば、メモリ内に格納された物体識別アルゴリズムを実行するプロセッサによって）、物体を識別することができる。追加または代替のタイプの迷光、散乱、および／または閉塞は、複数の視点において画像センサを使用することで説明できる（例えば、能動的照光光源からのルーバー）。

図６Ａの例を使用すると、第１の画像センサ４１０が第１の画像６１０を捕捉する場合、リスは第１の画像センサ４１０の視野に存在しないので、プロセッサは第１の画像６１０を分析し、リスを識別しなくてもよい。しかしながら、第２の画像センサ４２０によって捕捉された第２の画像６２０を使用すると、リスは第２の画像センサ４２０の視野内に存在するので、プロセッサは一時停止標識の近くのリスを識別することができる。さらに、リスが画像のうちの１つでのみ識別されたとしても、対応する制御システムは（例えば、ステアリングユニット１３２を使用してリスを回避することにより）、シーン内のそれぞれの場所におけるリスの存在を説明することができる。

さらに、図６Ａとは異なり、所与の物体が第１の画像センサ４１０および第２の画像センサ４２０の両方の視点にあり、物体が第１のダイナミックレンジ４１４および第２のダイナミックレンジ４２４の両方内の輝度値を有する場合、物体は、第１の画像センサ４１０および第２の画像センサ４２０の両方によって捕捉された画像内で識別可能でなければならない。しかしながら、物体が２つの画像のうちの１つにおいてのみ識別されるか、または２つの画像内の異なる物体であると識別される場合、物体識別を実行する対応するコンピューティングデバイスは、これを様々な方法で修正することができる。例えば、（例えば、所与の物体識別において識別された信頼レベルに基づく）投票システムを実装して、物体がシーンに実際に存在していたか、または、（物体が２つの画像内で異なる物体であると識別された場合）識別された２つの物体の可能性のどちらがより正確であるかが判定され得る。さらに、物体がセンサのうちの１つによって捕捉された画像でのみ識別可能である場合、物体が識別可能であるセンサのダイナミックレンジ（例えば、第１のダイナミックレンジ４１４または第２のダイナミックレンジ４２４）を使用して、物体の輝度範囲を識別し得る。

コンピューティングデバイスによって物体が識別されていないか、または誤識別されている場合、コンピューティングデバイスは、誤識別または識別の欠如が発生した画像に対応する画像センサが機能不全であるという警告を出力することができる。追加的に、または代替的に、コンピューティングデバイスおよび／または対応する制御システムは、機能不全を補正しようとするアクションを実行し得る（例えば、ワイパーブレードで破片を取り除き、かつ／または洗浄液を塗布するか、もしくは物体識別アルゴリズムにおいて補正係数を適用することによってレンズを洗浄する）。

さらに、冗長性およびエラー補正は、識別された物体の違い以外の、捕捉された画像における違いに基づく場合がある。例えば、第１の画像センサ４１０によって捕捉された画像と第２の画像センサ４２０によって捕捉された画像との間の鮮明度を比較することができる。捕捉された画像のうちの１つがあまり鮮明でない場合、第２の画像センサ４２０の光路における閉塞および／または第２の画像センサ４２０の位置ずれが検出され得る。このような閉塞は、例えば、第２の画像センサ４２０もしくは関連するレンズ上の破片、または第２の画像センサ４２０のレンズ上の汚れを含み得る。鮮明度以外の他の違いも、様々な実施形態で比較することができる。例えば、コントラストも比較できる。追加的に、または代替的に、（例えば、１つの画像センサの５０％以上が破片によって閉塞されている場合に）重度の閉塞も識別することができる。

さらに他の実施形態では、画像全体の内容を比較することによって、エラーチェックおよび／またはエラー補正を実行することができる。いくつかの実施形態では、画像内のすべてのピクセルにわたって計算された勾配または勾配合計を画像間で比較することができる。例えば、信号機（または他の能動的照光物体）が第１の画像センサ４１０および第２の画像センサ４２０によって捕捉された画像内に存在する場合、信号機に対応するピクセルは、信号機を囲むピクセルに対する明るさ値の急激な像際に対応し得る。明るさ値のこの急激な増大は、両方の画像の信号に対応するピクセルの生の明るさ値に関係なく、両方の画像に存在する可能性がある。したがって、両方の画像にわたって計算された明るさ勾配合計を比較して、このような信号機が実際に両方の画像に存在することを確認できる。明るさ勾配の合計に加えて、画像全体にわたって計算された他の統計も、エラーチェックやエラー補正の目的で比較できる。例えば、鮮明度勾配合計、色勾配合計、色相勾配の合計などを比較できる。

図７は、カメラシステム７００を示す。一部の実施形態では、カメラシステム７００は、自律車両に装着され、物体の検出および回避、ならびにナビゲーションに使用されてもよい。カメラシステム７００は、図４Ａに示されているカメラシステム４００に類似している場合がある。例えば、カメラシステム７００は、第１の画像センサ７１０および第２の画像センサ７２０を含み得、第２の画像センサ７２０は、中性濃度フィルタ７２２または同様の機構を介してシーン４０２から光を受信し得る。しかしながら、図４のカメラシステム４００とは異なり、図７に示されるカメラシステム７００は、図５に示される第１のレンズ５１４および第２のレンズ５２４に幾分類似する第１のレンズ７１４および第２のレンズ７２４を含む。代替的な実施形態では、第１の画像センサ７１０はまた、中性濃度フィルタを介してシーン４０２から光を受信し得る。さらに他の実施形態では、第１の画像センサ７１０も第２の画像センサ７２０も、中性濃度フィルタを介してシーン４０２から光を受信することができない。いくつかの実施形態では、カメラシステム７００はまた、第１の画像センサ７１０および第２の画像センサ７２０に通信可能に結合され、（例えば、メモリ内に格納された命令を実行することにより）物体認識を実行するように構成されている、（例えば、図４Ａに示されるプロセッサ４３０に類似した）プロセッサを含み得る。

さらに、様々な実施形態では、第１の画像センサ７１０および／または第２の画像センサ７２０は、（例えば、第１の画像センサ７１０および／または第２の画像センサ７２０によって感知された照度値に基づいてカメラコントローラによって調整可能な）可変露出設定を有し得る。追加的に、または代替的に、第１の画像センサ７１０および／または第２の画像センサ７２０は、固定露出設定を有し得る。

第１のレンズ７１４は、光をシーン４０２から第１の画像センサ７１０に方向付け、第２のレンズ７２４は、光をシーン４０２から第２の画像センサ７２０に方向付ける。代替的な実施形態では、シーン４０２からの光を画像センサに方向付ける２つ以上のレンズ／光学要素があってもよい。例えば、シーン４０２からの光を方向付けるために、１つ以上のミラーをカメラシステム７００内に含め得る。

図示されるように、第１のレンズ７１４および第２のレンズ７２４は、異なる焦点距離を有し得る。いくつかの実施形態では、第１のレンズ７１４の焦点距離は、第２のレンズ７２４の焦点距離よりも大きくてもよい。他の実施形態では、第１のレンズ７１４の焦点距離は、第２のレンズ７２４の焦点距離未満でもよい。さらに他の実施形態では、第１のレンズ７１４および第２のレンズ７２４は、同じ焦点距離を有し得る。

いくつかの実施形態では、第１のレンズ７１４および第２のレンズ７２４の焦点距離および／またはベストフォーカスの位置が異なるため、第１の画像センサ７１０によって捕捉された画像は、第２の画像センサ７２０によって捕捉された画像とは異なるズームレベルを有し得る。追加的に、または代替的に、第１のレンズ７１４および第２のレンズ７２４の焦点距離が異なるため、第１の画像センサ７１０によって捕捉されたシーン４０２の画像は、第２のレンズ７２０によって捕捉されたシーン４０２の画像とは異なる物体に焦点を合わせ得る。例えば、第１のレンズ７１４が第２のレンズ７２４よりも小さい焦点距離を有する場合、シーン４０２の前景にある物体は、第１の画像センサ７１０によって捕捉された画像に対して焦点が合っているが、シーン４０２の背景にある物体は、第２の画像センサ７２０によって捕捉された画像に対して焦点を合わせ得る。いくつかの実施形態では、どの物体に焦点が合っているかは、第１のレンズ７１４／第２のレンズ７２４の焦点距離とは無関係であり得る。さらに、焦点が合っている物体は、焦点距離以外に画像センサに関連する他の光学特性を修正することによって調整可能であり得る。

第１の画像センサ７１０によって捕捉された画像および第２の画像センサ７２０によって捕捉された画像は、焦点が合っているか焦点が合っていない異なる物体を有する場合があるため、各画像センサによって同時に捕捉された画像の組み合わせを使用して深度を判定し得る。例えば、物体が第１の画像センサ７１０および第２の画像センサ７２０の両方のダイナミックレンジ内にあると仮定すると、物体に適切に焦点が合っている場合、物体は、（例えば、カメラシステム７００に結合されたプロセッサによって実行された物体識別アルゴリズムを使用して）第１の画像センサ７１０および第２の画像センサ７２０によって捕捉された画像内で識別できる。ただし、識別可能な物体がシーン４０２の前景または背景にある場合、第１のレンズ７１４と第２のレンズ７２４との間の焦点距離の差を考慮すると、第１の画像センサ７１０によって捕捉された画像または第２の画像センサ７２０によって捕捉された画像（両方によって捕捉された画像ではない）においてのみ、物体は適切に焦点を合わせ得る。

物体が識別されている画像を捕捉した画像センサのレンズの関連する焦点距離に基づいて、シーン４０２内の識別された物体とカメラシステム７００との間の距離が判定または推定され得る。シーン４０２内の物体とカメラシステム７００との間の距離の判定は、第１の焦点距離、第２の焦点距離、シーン４０２の第１の画像内の物体の焦点、および／またはシーン４０２の第２の画像内の物体の焦点に基づき得る。代替的な実施形態では、それぞれがそれぞれの焦点距離を有するそれぞれのレンズを有する２つの画像センサではなく、カメラシステム７００は、アレイ内の他のレンズに対して固有の焦点距離を有するそれぞれのレンズを有する複数の画像センサのアレイを含み得る。

関連するレンズの焦点距離に基づいて、識別された焦点の合った物体までの距離を判定することに加えて、両方の画像において焦点が合っていない物体までの距離を計算し得る。例えば、物体が第１の画像センサ７１０および第２の画像センサ７２０の両方のダイナミックレンジ内にあると仮定すると、物体は、第１の画像センサ７１０および第２の画像センサ７２０の両方によって捕捉された画像内に捕捉できる。（例えば、物体識別アルゴリズムを使用して）物体が所与の画像で識別できない場合でも、このような画像では（例えば、ローカリゼーションアルゴリズムを使用して）物体までの距離が判定可能である場合がある。

物体認識アルゴリズム（例えば、機械学習された物体認識アルゴリズム）を実行するプロセッサは、焦点が合っている物体を識別することに加えて、焦点が合っていない物体を識別することが可能である場合がある。例えば、物体認識アルゴリズムを実行するプロセッサは、一時停止標識が捕捉された画像のいずれにも焦点が合っていない場合でも、第１の画像センサ７１０および第２の画像センサ７２０の両方によって捕捉されたシーン４０２の画像内の一時停止標識を検出することが可能である場合がある。捕捉された画像の各々において一時停止標識にどれだけ焦点が合っていないかに基づいて、物体認識アルゴリズムを実行するプロセッサは、カメラシステム７００から一時停止標識までの距離を判定することが可能である場合がある。あるいは、プロセッサは、捕捉された画像の各々における一時停止標識に焦点がどれだけ合っていないかに基づいて、画像の各々における一時停止標識間の鮮明度の違いを識別することができる。鮮明度のこの違いは、カメラシステム７００から一時停止標識までの距離を判定するために使用できる。

カメラシステム７００から物体までの距離を判定することに加えて、カメラシステム７００に関連付けられたプロセッサは、メモリ内に格納された命令を実行して、第１の画像センサ７１０によって捕捉された画像および第２の画像センサ７２０によって捕捉された画像に基づいて合成画像を生成し得る。合成画像は、すべての物体がシーン内にあり、各々の物体がそれぞれの深度にあり、焦点が合っているか、またはほぼ焦点が合っている画像であってもよい。例えば、命令を実行するプロセッサは、第１のレンズ７１４が第２のレンズ７２４より短い焦点距離を有するため、シーン４０２の前景にある物体に対応する第１の画像センサ７１０によって捕捉された画像から領域を抽出し得る。同様に、命令を実行するプロセッサは、第２のレンズ７２４は第１のレンズ７１４より長い焦点距離を有するため、シーン４０２の背景にある物体に対応する第２の画像センサ７２０によって捕捉された画像から領域を抽出し得る。次に、命令を実行するプロセッサは、これらの領域を組み合わせて、複数の焦点距離を表す単一の合成画像にし得る。

追加的に、または代替的に、カメラシステム７００に関連付けられたプロセッサは、メモリ内に格納された命令を実行して、シミュレートされた焦点深度および／またはシミュレートされた焦点距離を有するシミュレートされたレンズを有する１つ以上の画像を生成し得る。例えば、シーン４０２の第１の画像センサ７１０によって捕捉されたシーン４０２の画像は、（例えば、第１のレンズ７１４の焦点距離に基づく）最小焦点距離に対応し得、第２の画像センサ７２０によって捕捉されたシーン４０２の画像は、（例えば、第２のレンズ７２４の焦点距離に基づいて）最大焦点距離に対応し得る。これら２つの画像を使用して潜在的な焦点距離の範囲のエッジを定義すると、命令を実行するプロセッサは、最小焦点距離と最大焦点距離との間の中間焦点距離を有する画像をシミュレート（例えば、生成、保存、および／または送信）し得る。あるいは、これらの２つの画像を使用すると、命令を実行するプロセッサは、様々な焦点深度を有する画像をシミュレート（例えば、生成、保存、および／または送信）し得る。これは、いずれかの画像の特定の領域を鮮明にし、いずれかの画像の特定の領域をぼかし、かつ／または画像のいずれかの元の領域、鮮鋭化された領域、または不鮮明な領域を合成することによって行うことができる。

いくつかの実施形態では、別個のレンズ（例えば、第１のレンズ７１４および第２のレンズ７２４）を使用するのではなく、単一の非点収差レンズを使用して、シーン４０２から第１の画像センサ７１０および第２の画像センサ７２０の両方に光を提供し得る。第１の画像センサ７１０および第２の画像センサ７２０は、ある距離だけ互いにオフセットされ得るため、非点収差レンズは、異なる焦点距離でシーンから各画像センサに光を提供し得る。代替的な実施形態では、各画像センサは、個別に、それぞれの非点収差レンズ（例えば、第１の画像センサ７１０用の第１の非点収差レンズおよび第２の画像センサ７２０用の第２の非点収差レンズ）を有することができる。このようにして、第１の画像センサ７１０によって捕捉された画像および／または第２の画像センサ７２０によって捕捉された画像は、それ自体、異なる焦点距離で捕捉されたシーン４０２の様々な領域を含むことができる。非点収差レンズは、それぞれの画像センサに対して平行移動または回転することもでき、その結果、それぞれの画像センサによって追加の焦点距離が捕捉される。

異なる焦点距離のレンズを有することに加えて、またはその代わりに、いくつかの実施形態では、第１の画像センサ７１０および第２の画像センサ７２０はそれぞれ、異なるサイズの関連する絞りを有してもよい。このような絞りは、いくつかの実施形態では、サイズが（例えば、コントローラによって）調整可能であり得る。他の実施形態では、このような絞りはサイズが固定されていてもよい。異なるサイズの絞りを使用することにより、画像センサの各々は異なる被写界深度を捕捉できる。異なる被写界深度を使用して（例えば、メモリ内に格納された命令を実行するカメラシステム７００に結合されたプロセッサによって）、カメラシステム７００に対する物体の距離を判定し、かつ／またはシーン４０２の画像を様々な被写界深度や焦点距離でシミュレーションすることができる。

さらに、レンズおよび絞りに加えて、またはその代わりに、他の光学要素が、第１の画像センサ７１０および／または第２の画像センサ７２０の前に配設されてもよい。他の光学要素を使用して、シーン４０２の他の特徴（例えば、クロマティックフィルタを使用する色または偏光フィルタを使用する偏光）を評価／研究することができる。

図８Ａは、カメラシステム８００を示す。一部の実施形態では、カメラシステム８００は、自律車両に装着され、物体の検出および回避、ならびにナビゲーションに使用されてもよい。カメラシステム８００は、図４Ａに示されるカメラシステム４００と同様に、中性濃度フィルタ８２２を介してシーン４０２から光を受信する第１の画像センサ８１０および第２の画像センサ８２０を含み得る。しかしながら、図４のカメラシステム４００とは異なり、図８Ａに示されるカメラシステム８００は、第３の画像センサ８３０も含み得る。代替的な実施形態では、第１の画像センサ８１０および／または第３の画像センサ８３０はまた、中性濃度フィルタを介してシーン４０２から光を受信し得る。さらに他の実施形態では、第１の画像センサ８１０、第２の画像センサ８２０、または第３の画像センサ８３０のいずれも、中性濃度フィルタを介してシーン４０２から光を受信することができない。画像センサと中性濃度フィルタの他の組み合わせも可能である。いくつかの実施形態では、カメラシステム８００はまた、第１の画像センサ８１０、第２の画像センサ８２０、および第３の画像センサ８３０に通信可能に結合され、（例えば、メモリ内に格納された命令を実行することにより）物体認識を実行するように構成されている、（例えば、図４Ａに示されるプロセッサ４３０に類似した）プロセッサを含み得る。

図４Ａに関して上述した第１の画像センサ４１０と同様に、いくつかの実施形態では、第１の画像センサ８１０は、シーン４０２の合成輝度レベルに基づいて調整されてもよい。例えば、第１の画像センサ８１０は、第１の画像センサ８１０上の照度値を感知し、照度値を第１の画像センサ８１０のコントローラに送信し得る。コントローラは、照度値に基づいて、第１の画像センサ８１０上の照度値が閾値の許容範囲内になるまで、第１の画像センサ８１０に対応する露出設定（例えば、露出持続時間／シャッタースピード、絞りサイズ、１つ以上のレンズの焦点距離、画像センサのＩＳＯ感度など）を修正し得る。このようにして、第１の画像センサ８１０は、照度値に基づいてコントローラによって調整される可変露出を有し得る。これは、いくつかのカメラ（ＤＳＬＲカメラなど）の「自動露出」設定に類似している場合がある。

追加的に、または代替的に、第３の画像センサ８３０は、いくつかの実施形態では、シーン４０２の合成輝度レベルに基づいて調整可能であり得る。例えば、第３の画像センサ８３０は、第３の画像センサ８３０上の照度値を感知し、照度値を第３の画像センサ８３０のコントローラに送信し得る。第３の画像センサ８３０のコントローラは、様々な実施形態において、第１の画像センサ８１０のコントローラと同じコントローラであっても、異なるコントローラであってもよい。とにかく、第３の画像センサ８３０は、第１の画像センサ８１０とは独立して制御されてもよい。第３の画像センサ８３０のコントローラは、第３の画像センサ８３０上の照度値に基づいて、第３の画像センサ８３０上の照度値が照度に関する閾値の許容範囲内になるまで、第３の画像センサ８３０に対応する露出設定（例えば、露出持続時間／シャッタースピード、絞りサイズ、１つ以上のレンズの焦点距離、画像センサのＩＳＯ感度など）を修正し得る。

いくつかの実施形態では、第３の画像センサ８３０の照度の許容可能な閾値範囲は、第１の画像センサ８１０の許容可能な照度範囲とは異なり得る。例えば、第３の画像センサ８３０上の照度の許容可能な閾値範囲は、第１の画像センサ８１０上の輝度の許容可能な閾値範囲内の照度値よりも低い複数の照度値を含み得る。このような実施形態では、第３の画像センサ８３０の露出レベルは、第１の画像センサ８１０の露出レベルより高くてもよく、それにより、第３の画像センサ８３０は、第１の画像センサ８１０よりもシーン４０２の低輝度物体に対してより敏感になる。

図４Ａに示され、上記で説明された第２の画像センサ４２０と同様に、第２の画像センサ８２０は、（例えば、画像センサの露出持続時間／シャッタースピード、絞りサイズ、１つ以上のレンズの焦点距離、ＩＳＯ感度などに基づく）固定露出設定を有し得る。代替的な実施形態では、第１の画像センサ８１０および／または第３の画像センサ８３０は、（可変露出設定ではなく）固定露出設定を有することもできる。追加的に、または代替的に、いくつかの実施形態では、第２の画像センサ８２０は、代わりに（例えば、第２の画像センサ８２０のコントローラによって制御される）可変露出設定を有し得る。

図８Ｂに示すように、第１のダイナミックレンジ８１４は第１の画像センサ８１０に対応し得、第２のダイナミックレンジ８２４は第２の画像センサ８２０に対応し得、第３のダイナミックレンジ８３４は第３の画像センサ８３０に対応し得る。また、図示されるように、第１のダイナミックレンジ８１４、第２のダイナミックレンジ８２４、および第３のダイナミックレンジ８３４を含むシステムがまたがる集合的なダイナミックレンジは、個々のダイナミックレンジのいずれよりも大きくてもよい。

ダイナミックレンジ８１４／８２４／８３４の各々は、（輝度に関して対数目盛を使用して図８Ｂに示された）シーン内の輝度レベルの範囲に対応し得る。図８Ｂに示されるように、第２のダイナミックレンジ８２４は、第１のダイナミックレンジ８１４および第３のダイナミックレンジ８３４よりも高い輝度レベルの範囲に対応し得る。したがって、第２の画像センサ８２０を使用して、第１の画像センサ８１０および第３の画像センサ８３０よりも高い輝度を有する物体を検出／識別し得る。例えば、第２の画像センサ８２０によって捕捉された画像は、街路灯（能動的照光物体）を識別するために使用され得、第１の画像センサ８１０によって捕捉された画像は、歩行者（受動的に照光されている物体）を識別するために使用され得る。

同様に、図示されるように、第３のダイナミックレンジ８３４は、第１のダイナミックレンジ８１４および第２のダイナミックレンジ８２４よりも低い輝度レベルの範囲に対応し得る。したがって、第３の画像センサ８３０は、第１の画像センサ８１０および／または第２の画像センサ８２０よりも低い輝度を有する物体を検出／識別するために使用され得る。例えば、第２の画像センサ８２０によって捕捉された画像が街路灯を識別するために使用され、第１の画像センサ８１０によって捕捉された画像が歩行者を識別するために使用される場合、第３の画像センサ８３４によって捕捉された画像を使用して、建物の影にいる黒い猫（受動的に照らされている）が識別され得る。いくつかの実施形態では、第３のダイナミックレンジ８３４の一部は、第１のダイナミックレンジ８１４の全体と重なるか、またはそれを包含してもよい。追加的に、または代替的に、第３のダイナミックレンジ８３４の一部は、第２のダイナミックレンジ８２４の全体と重なるか、またはそれを包含してもよい。

第１のダイナミックレンジ８１４から延びる矢印によって示されるように、第１の画像センサ８１０は、第１の画像センサ８１０によって感知された照度に基づいてその露出設定を調整できるため、対応する第１のダイナミックレンジ８１４は、より高いまたはより低い輝度値にまたがるように変化し得る。同様に、第３のダイナミックレンジ８３４から延びる矢印によって再び示されるように、第３の画像センサ８３０は、第３の画像センサ８３０によって感知された照度に基づいてその露出設定を調整できるため、対応する第３のダイナミックレンジ８３４は、より高いまたは広い低い輝度値にまたがるように変化し得る。代替的な実施形態では、第２の画像センサ８２０は、第２の画像センサ８２０による照度センサに基づいてその露出設定を調整することもできる。このような実施形態では、対応する第２のダイナミックレンジ８２４は、より高いまたはより低い輝度値に及ぶように変更されてもよい。

図９Ａは、例示的な実施形態による、システム９００を示す。図示されるように、カメラシステム９００は、（図２に示されるように）車両２００のセンサユニット２０２に隣接して（例えば、上に）配設されるか、またはその一部であり得る。カメラシステム９００は、複数のカメラサブシステムを含み得る（例えば、各カメラサブシステムは、図４Ａに示されるカメラシステム４００に類似している）。例えば、カメラシステム９００は、車両２００の移動の前方に対して、前方を向く第１のカメラサブシステム４００Ａおよび後方を向く第２のカメラサブシステム４００Ｂを含み得る。正面向きカメラサブシステム４００Ａは、シーンの第１の視点９０２から光を受信することができ、後向きカメラサブシステム４００Ｂは、同じシーンの第２の視点９０４から光を受信することができる。いくつかの実施形態では、カメラシステム９００はまた、第１のカメラサブシステム４００Ａおよび／または第２のカメラサブシステム４００Ｂにおける画像センサに通信可能に結合され、（例えば、メモリ内に格納された命令を実行することにより）物体認識を実行するように構成されている、（例えば、図４Ａに示されるプロセッサ４３０に類似した）プロセッサを含み得る。

いくつかの実施形態では、第１の視点９０２および第２の視点９０４は、互いに異なる物体を含み得る（例えば、第１の視点９０２はツリーを含み得、第２の視点９０４は一時停止標識を含む）。追加的に、または代替的に、第１の視点９０２は、能動的照光物体および／または受動的に照光されている物体を含み得る。同様に、第２の視点９０４は、能動的照光物体および／または受動的に照光されている物体を含み得る。カメラシステム９００を使用すると、車両２００に対して複数の方向にある物体（すなわち、カメラシステム９００の画像センサの各々に視野に基づく複数の視点）を捕捉し、識別することができる。

複数のカメラサブシステム４００Ａ／４００Ｂの各々は、第１の画像センサ４１０Ａ／４１０Ｂおよび第２の画像センサ４２０Ａ／４２０Ｂを含み得る。図４Ａに示す第１の画像センサ４１０および第２の画像センサ４２０と同様に、カメラサブシステム４００Ａ／４００Ｂの各々における第１の画像センサ４１０Ａ／４１０Ｂは、コントローラによって制御される可変露出設定を有し得、カメラサブシステム４００Ａ／４００Ｂの各々における第２の画像センサ４２０Ａ／４２０Ｂは、中性濃度フィルタ４２２Ａ／４２２Ｂを介して光を受信し、固定露出設定を有し得る。また、図４Ａに示される第１の画像センサ４１０および第２の画像センサ４２０と同様に、カメラサブシステム４００Ａ／４００Ｂの各々における第１の画像センサ４１０Ａ／４１０Ｂおよび第２の画像センサ４２０Ａ／４２０Ｂは、互いに垂直に整列され得る。代替的な実施形態では、第１の画像センサ４１０Ａ／４１０Ｂおよび第２の画像センサ４２０Ａ／４２０Ｂは、カメラシステム９００内の複数のカメラサブシステム４００Ａ／４００Ｂにわたって、異なるように、かつ／または互いに対して異なる距離で位置合わせされ得る。

カメラサブシステム４００Ａ／４００Ｂの各々から各画像センサ４１０Ａ／４１０Ｂ／４２０Ａ／４２０Ｂによって捕捉された画像は、（例えば、メモリ内に格納された命令を実行して物体識別を実行するように構成されたプロセッサを含む）単一のコンピューティングデバイスに送信され得る。あるいは、それぞれのカメラサブシステム４００Ａ／４００Ｂから各画像センサ４１０Ａ／４１０Ｂ／４２０Ａ／４２０Ｂによって捕捉された画像は、独立したそれぞれのコンピューティングデバイスに送信されてもよい。

単一のコンピューティングデバイスまたは複数のコンピューティングデバイスが物体認識／識別を実行しているかどうかに関係なく、コンピューティングデバイス（複数可）は、第１の画像センサ４１０Ａ／４１０Ｂによって捕捉された画像における第１のタイプの物体のみを検索し、第２の画像センサ４２０Ａ／４２０Ｂによって捕捉された画像における第２のタイプの物体のみを検索することによって、（例えば、プロセッサによって実行され、メモリ内に格納された物体認識命令に基づいて）計算時間を節約しようと試み得る。第１のタイプの物体は、第１の画像センサ４１０Ａ／４１０Ｂおよび第２の画像センサ４２０Ａ／４２０Ｂのシャッタースピード／露出持続時間と比較したときに、遅いまたは同等の変調時間を有する能動的照光物体、受動的に照らされている物体、第１の画像センサ４１０Ａ／４１０Ｂおよび第２の画像センサ４２０Ａ／４２０Ｂのシャッタースピード／露出持続時間に対して高い速度で移動している物体、または、シーンの残りの部分と比較したときに低い輝度を有する物体を含み得る。第２のタイプの物体は、第１の画像センサ４１０Ａ／４１０Ｂおよび第２の画像センサ４２０Ａ／４２０Ｂのシャッタースピード／露出持続時間と比較したときに、速い変調時間を有する能動的照光物体、第１の画像センサ４１０Ａ／４１０Ｂおよび第２の画像センサ４２０Ａ／４２０Ｂのシャッタースピード／露出持続時間に対して遅いまたは同等の速度で移動している物体、またはシーンの残りの部分と比較したときに高い輝度を有する物体を含み得る。

図９Ｂは、（各カメラサブシステムがそれぞれの画像センサを含む）複数のカメラサブシステムを含む代替的なカメラシステム９１０を示す。カメラシステム９１０は、車両に装着されてもよく、カメラシステム９１０の画像センサによって捕捉された画像は、物体の識別および回避および／またはナビゲーションのために使用されてもよい。対応する車両の潜在的な移動の方向は、破線の矢印によって図９Ｂに示されている。

図９Ｂは、カメラシステム９１０の上面図である。図示されたカメラシステム９１０は、例えば、３０°から６０°の間の角度だけカメラシステム９１０の周辺機器の周囲に離間した、図４Ａに図示された８つのカメラシステム４００を含む。図９Ｂの破線は、それぞれのカメラシステム４００内の画像センサの可能な視野を示している。いくつかの実施形態では、カメラシステム４００内の画像センサは、８０°から１００°の間の視野を有することができる。したがって、カメラシステム４００の視野は重なることがある。図示されるように、カメラシステムおよび対応する画像センサは、リング構成で組み立てられ得る。リング構成は、各々の個々のカメラシステムおよび対応する画像センサの角度および向きが正しく位置付けられ、死角をなくすように設計できる。したがって、カメラシステムは、一緒に動作して、周囲のシーンのまとまりのある円形のビジョンを形成することができる。代替的な実施形態では、各カメラシステム４００の視野は異なっていてもよい（例えば、１５°、３０°、４５°、６０°、７５°、１０５°、１２０°、１３５°、１５０°、１６５°、１８０°、１９５°、２１０°、２２５°、２４０°、２５５°、２７０°、２８５°、３００°、３１５°、３３０°、３４５°、または３６０°）。他の実施形態では、カメラシステムおよび対応する画像センサは、（例えば、車両のルーフの角にカメラシステムを備えた）非リング構成で組み立てられてもよい。

さらに、いくつかの実施形態では、（例えば、単一のタイプのカメラシステムの８つのインスタンスではなく）複数のタイプのカメラシステムを使用することができる。異なるカメラシステムは、それぞれ異なる対応する視野を持っている場合がある。さらに、代替実施形態では、最小数のカメラシステム４００を使用して、車両の周囲にまたがることができる。例えば、使用されるカメラシステム４００が図９Ｂのように互いにすべて同様であり、それぞれが８０°から１００°の間の視野を有する画像センサを含む場合、４つのカメラシステムのみがカメラシステム９１０に含まれ得る（例えば、３６０°を９０°で割ったものは、４つのカメラシステムに対応する）。

いくつかの実施形態では、車両の後ろまたは車両に隣接する（例えば、移動の方向に垂直）のではなく、車両の前の（すなわち、移動の方向にある）物体を検出および回避することがより重要であり得る。したがって、図９Ｃに示すように、一例のカメラシステム９２０は、カメラシステム９２０の正面向き部分に追加の画像センサを含むことができる。図９Ｃに示されるように、３つの正面カメラサブシステムは、それぞれ、図８Ａに示されるカメラシステム８００であり得る。図８Ａに示されるように、カメラシステム８００は３つの画像センサを含み、その１つは低輝度物体（例えば、夜の黒い猫）を感知するように構成され得る。このようにして、図９Ｃに示されているカメラシステム９２０の物体検出および回避能力は、図９Ｂに示されているカメラシステム９１０と比較すると改善され得る。

車両の正面向き部分に追加の画像センサが含まれる別の可能な実施形態は、図９Ｄに示されるようなカメラシステム９３０である。図示されるように、カメラシステム９３０の正面向き部分は、図９Ｂおよび９Ｃに示すカメラシステム９１０、９２０と比較したときに、（例えば、移動の方向に対して４０°から５０°の間の、かつ、−４０°から−５０°の間の角度に加えて、２０°から２５°の間の、かつ−２０°から−２５°の間の角度にある）追加のカメラサブシステムを含む。また、図示されるように、追加の正面カメラサブシステムを有することに加えて、正面カメラサブシステムは、微光画像センサ（例えば、図８Ａに図示されるカメラシステム８００における第３の画像センサ８３０）を含み得る。代替的な実施形態では、図８Ａに示すような追加のカメラシステム８００が車両の正面向き部分に含まれるのではなく、図４Ａに示すような追加のカメラシステム４００および／または他の追加のカメラシステムがカメラシステム９３０に含まれてもよい。

ＩＶ．例示的なプロセス
図１０は、例示的な実施形態による、方法１０００のフローチャート図である。方法１０００は、例えば、画像感知システムを使用して自律車両の環境内の１つ以上の物体を検出および／または回避するために使用され得る。方法１０００は、例えば、図４Ａに示されるカメラシステム４００を使用して実行され得る。代替的な実施形態では、方法１０００は、代替のカメラシステムを使用して実行されてもよい。

ブロック１００２で、方法１０００は、シーンにおける輝度レベルの第１の範囲に対応する第１のダイナミックレンジを有する第１の画像センサによって、シーンの第１の画像を捕捉することを含む。

ブロック１００４で、方法１０００は、シーンにおける輝度レベルの第２の範囲に対応する第２のダイナミックレンジを有する第２の画像センサによって、シーンの第２の画像を捕捉することを含む。第２の画像センサは、中性濃度フィルタを介してシーンの第２の画像を捕捉する。輝度レベルの第２の範囲は、輝度レベルの第１の範囲よりも高い輝度レベルを含む。

ブロック１００６で、方法１０００は、第１の画像センサおよび第２の画像センサに結合されたプロセッサによって、第１の画像における第１の物体タイプの第１の物体を識別することを含む。第１の物体タイプは、輝度レベルの第１の範囲内の予想される輝度を有する。

ブロック１００８で、方法１０００は、プロセッサによって、第２の画像における第２の物体タイプの第２の物体を識別することを含む。第２の物体タイプは、輝度レベルの第２の範囲内で予想される輝度を有する。

Ｖ．結論
本開示は、本出願に記載の特定の実施形態に関して限定されるものではなく、特定の実施形態は、様々な態様の説明として意図されるものである。当業者には明らかなことであるが、多くの変形および変更を本開示の趣旨および範囲から逸脱することなく行うことができる。本明細書において列挙される方法および装置に加えて、本開示の範囲内の機能的に同等の方法および装置は当業者には、これまでの説明から明らかであろう。このような変形および変更は、添付の特許請求の範囲内にあることが意図されている。

上記の詳細な説明は、添付の図面を参照して、開示されたシステム、デバイス、および方法の様々な特徴および機能を説明している。図では、特に文脈によって説明しない限り、同様の記号は通常、同様の構成要素を指している。本明細書および図に記載の例示的な実施形態は、限定することを意図しているものではない。本明細書において提示される主題の趣旨または範囲から逸脱することなく、他の実施形態を利用することができ、他の変更を行うことができる。本明細書で概して説明され、かつ図に例証されている、本開示の態様は、多種多様な異なる構成で配置、置換、結合、分離、および設計することができ、そのすべてが明示的に企図されることは容易に理解されよう。

図に示されている特定の配置は、限定であるとみなされるべきではない。他の実施形態が、所与の図に示される各要素をそれより多く、またはそれより少なく含み得ることを理解されたい。さらに、図示の要素のうちのいくつかを組み合わせることも、省略することもできる。またさらに、例示的な実施形態は、図に示されていない要素を含むこともできる。

様々な態様および実装態様が本明細書において開示されているが、当業者には、その他の態様および実装態様が明らかとなるであろう。本明細書に開示される様々な態様および実施形態は、例証を目的とするものであり、限定することを意図するものではなく、真の範囲は、以下の特許請求の範囲によって示される。

Claims (20)

1. カメラシステムであって、
   シーンにおける輝度レベルの第１の範囲に対応する第１のダイナミックレンジを有する第１の画像センサと、
   前記シーンにおける輝度レベルの第２の範囲に対応する第２のダイナミックレンジを有する第２の画像センサであって、前記第２の画像センサが中性濃度フィルタを介して前記シーンから光を受信し、輝度レベルの前記第２の範囲が輝度レベルの前記第１の範囲よりも高い輝度レベルを含む、第２の画像センサと、
   前記第１の画像センサおよび前記第２の画像センサに結合されたプロセッサであって、前記プロセッサが、
   前記第１の画像センサによって捕捉された前記シーンの第１の画像における第１の物体タイプの物体を識別することであって、前記第１の物体タイプが輝度レベルの前記第１の範囲内の予想される輝度を有する、識別することと、
   前記第２の画像センサによって捕捉された前記シーンの第２の画像における第２の物体タイプの物体を識別することであって、前記第２の物体タイプが輝度レベルの前記第２の範囲内の予想される輝度を有する、識別することと、を行うための命令を実行するように構成されている、プロセッサと、を備える、カメラシステム。
2. 前記第１の画像センサが照度に基づいて命令を実行するコントローラによって調整される可変露出を有し、
   前記第２の画像センサが固定露出を有する、請求項１に記載のカメラシステム。
3. 輝度に基づいて前記可変露出を調整することが、前記第１の画像センサの露出持続時間、絞りサイズ、ゲインレベル、またはＩＳＯ感度を調整することを含む、請求項２に記載のカメラシステム。
4. カメラシステムであって、
   前記可変露出が、前記第１の画像センサ上のシャッターに関連するシャッタースピードまたはゲインを修正することによって調整され、
   第１の物体タイプが、
   前記カメラシステムに対して動いており、前記シャッタースピードに対して高い速度を有する物体、または、
   前記シャッタースピードよりも速い速度で変調されている能動的照光物体、を含み、
   前記第２の物体タイプが、
   前記カメラシステムに対して動いており、前記シャッタースピードに対して低い速度もしくは同等の速度を有する物体、または、
   前記シャッタースピードと同様、もしくはそれより遅い速度で変調されている能動的照光物体、を含む、請求項２に記載のカメラシステム。
5. カメラシステムであって、前記シーンにおける輝度レベルの第３の範囲に対応する第３のダイナミックレンジを有する第３の画像センサをさらに備え、
   プロセッサが前記第３の画像センサに結合されており、
   輝度レベルの前記第３の範囲が、輝度レベルの前記第１の範囲よりも低い少なくとも１つの輝度レベルを含み、
   前記プロセッサが、前記第３の画像センサによって捕捉された前記シーンの第３の画像における第３の物体タイプの物体を識別することであって、前記第３の物体タイプが、輝度レベルの前記第３の範囲内の予想される輝度を有する、識別すること、を行うための命令を実行するようにさらに構成されている、請求項１に記載のカメラシステム。
6. 前記第３の画像センサが照度に基づいて命令を実行するコントローラによって調整される可変露出を有する、請求項５に記載のカメラシステム。
7. 輝度に基づいて前記可変露出を調整することが、前記第３の画像センサの露出持続時間、シャッタースピード、絞りサイズ、またはＩＳＯ感度を調整することを含む、請求項６に記載のカメラシステム。
8. 前記第１の画像センサおよび前記第２の画像センサが、単一の画像センサの重複しないセンサ領域である、請求項１に記載のカメラシステム。
9. カメラシステムであって、
   前記第１のダイナミックレンジを有する第３の画像センサと、
   前記第２のダイナミックレンジを有する第４の画像センサと、をさらに備え、
   前記第４の画像センサが追加の中性濃度フィルタを介して前記シーンの別の視点からの光を受信し、
   前記プロセッサが前記第３の画像センサおよび前記第４の画像センサに結合されており、
   前記プロセッサが、
   前記第３の画像センサによって捕捉された前記シーンの前記別の視点の第３の画像における前記第１の物体タイプの物体を識別することと、
   前記第４の画像センサによって捕捉された前記シーンの前記別の視点の第４の画像における前記第２の物体タイプの物体を識別することと、を行うための命令を実行するようにさらに構成されている、請求項１に記載のカメラシステム。
10. カメラシステムであって、
    前記第１のダイナミックレンジを有する第３の画像センサと、
    前記第２のダイナミックレンジを有する第４の画像センサと、をさらに備え、
    前記第４の画像センサが追加の中性濃度フィルタを介して前記シーンの別の視点からの光を受信し、
    前記プロセッサが前記第３の画像センサおよび前記第４の画像センサに結合されており、
    前記プロセッサが、
    前記第３の画像センサによって捕捉された前記シーンの前記別の視点の第３の画像における第３の物体タイプの物体を識別することであって、前記第３の物体タイプが、輝度レベルの前記第１の範囲内の予想される輝度を有する、識別することと、
    前記第４の画像センサによって捕捉された前記シーンの前記別の前記視点の第４の画像における第４の物体タイプの物体を識別することであって、前記第４の物体タイプが、輝度レベルの前記第２の範囲内の予想される輝度を有する、識別することと、を行うための命令を実行するようにさらに構成されている、請求項１に記載のカメラシステム。
11. 前記第３の画像センサが輝度に基づいて命令を実行するコントローラによって調整される可変露出を有し、
    前記第４の画像センサが固定露出を有する、請求項１０に記載のカメラシステム。
12. 輝度に基づいて前記可変露出を調整することが、前記第３の画像センサの露出持続時間、絞りサイズ、またはＩＳＯ感度を調整することを含む、請求項１１に記載のカメラシステム。
13. カメラシステムであって、前記プロセッサが、
    前記シーンの前記第２の画像における前記第１の物体タイプの物体を識別することと、
    前記シーンの前記第１の画像において識別された前記第１の物体タイプの前記物体を前記シーンの前記第２の画像において識別された前記第１の物体タイプの物体を比較することによって、前記第１の物体タイプの前記識別された物体のエラーをチェックすることと、を行うための命令を実行するようにさらに構成されている、請求項１に記載のカメラシステム。
14. カメラシステムであって、
    前記第１の画像センサに光学的に結合され、第１の焦点距離を有する第１のレンズと、
    前記第２の画像センサに光学的に結合され、第２の焦点距離を有する第２のレンズと、をさらに備え、
    前記第１の焦点距離が前記第２の焦点距離とは異なり、
    対応して、前記シーンの前記第１の画像および前記シーンの前記第２の画像が異なる焦点距離で捕捉され、
    前記プロセッサが、光学的に結合された、シミュレートされたレンズを有するシミュレートされた画像センサによって捕捉された画像をシミュレートする画像を生成すること、を行うための命令を実行するようにさらに構成されており、
    前記シミュレートされたレンズが、前記第１の焦点距離と前記第２の焦点距離との間の焦点距離を有する、請求項１に記載のカメラシステム。
15. カメラシステムであって、
    前記第１の画像センサに光学的に結合され、第１の焦点距離を有する第１のレンズと、
    前記第２の画像センサに光学的に結合され、第２の焦点距離を有する第２のレンズと、をさらに備え、
    前記第１の焦点距離が前記第２の焦点距離とは異なり、
    対応して、前記シーンの前記第１の画像および前記シーンの前記第２の画像が異なる焦点距離で捕捉され、
    前記プロセッサが、
    前記シーンの前記第２の画像における前記第１の物体タイプの物体を識別することと、
    前記カメラシステムからの前記シーンにおける前記第１の物体タイプの１つ以上の物体の距離を、
    前記第１の焦点距離と、
    前記第２の焦点距離と、
    前記シーンの前記第１の画像における前記１つ以上の物体の焦点と、
    前記シーンの前記第２の画像における前記１つ以上の物体の焦点と、に基づいて判定することと、を行うための命令を実行するように、さらに構成されている、請求項１に記載のカメラシステム。
16. 前記第１の画像および前記第２の画像が実質的に同時に捕捉される、請求項１に記載のカメラシステム。
17. 前記第１の画像センサおよび前記第２の画像センサが、垂直に位置合わせされている、請求項１に記載のカメラシステム。
18. 前記カメラシステムが、自律車両に装着されており、物体の検出および回避のために使用される、請求項１に記載のカメラシステム。
19. 方法であって、
    シーンにおける輝度レベルの第１の範囲に対応する第１のダイナミックレンジを有する第１の画像センサによって、前記シーンの第１の画像を捕捉することと、
    前記シーンにおける輝度レベルの第２の範囲に対応する第２のダイナミックレンジを有する第２の画像センサによって、前記シーンの第２の画像を捕捉することであって、
    前記第２の画像センサが、中性濃度フィルタを介して前記シーンの前記第２の画像を捕捉し、
    輝度レベルの前記第２の範囲が、輝度レベルの前記第１の範囲よりも高い輝度レベルを含む、捕捉することと、
    前記第１の画像センサおよび前記第２の画像センサに結合されたプロセッサによって、前記第１の画像における第１の物体タイプの第１の物体を識別することであって、
    前記第１の物体タイプが、輝度レベルの前記第１の範囲内の予想される輝度を有する、識別することと、
    前記プロセッサによって、前記第２の画像における第２の物体タイプの第２の物体を識別することであって、
    前記第２の物体タイプが、輝度レベルの前記第２の範囲内の予想される輝度を有する、識別することと、を含む、方法。
20. 命令が格納された非一時的なコンピュータ可読媒体であって、前記命令が、プロセッサによって実行されると、
    前記シーンにおける輝度レベルの第１の範囲に対応する第１のダイナミックレンジを有する第１の画像センサから、前記シーンの第１の画像を受信することであって、
    前記シーンの前記第１の画像が、前記第１の画像センサによって捕捉された、受信することと、
    前記シーンにおける輝度レベルの第２の範囲に対応する第２のダイナミックレンジを有する第２の画像センサから、前記シーンの第２の画像を受信することであって、
    前記シーンの前記第２の画像が、中性濃度フィルタを介して前記第２の画像センサによって捕捉されており、
    輝度レベルの前記第２の範囲が、輝度レベルの前記第１の範囲よりも高い輝度レベルを含む、捕捉することと、
    前記第１の画像における第１の物体タイプの第１の物体を識別することであって、
    前記第１の物体タイプが、輝度レベルの前記第１の範囲内の予想される輝度を有する、識別することと、
    前記第２の画像における第２の物体タイプの第２の物体を識別することであって、
    前記第２の物体タイプが、輝度レベルの前記第２の範囲内の予想される輝度を有する、識別することと、を含む、方法。

Images