JP2021515489A - 車両用撮像センサにおけるローリングシャッター効果のオンチップ補償 - Google Patents

Abstract

撮像センサのローリングシャッター効果のオンチップ補償を扱う画像捕捉システムは、指定されたルート上の各位置で車両の複数の速度値に関する動きベクトル情報を生成するとともに、指定されたルートの各位置で複数の速度値に関する画像カーネルを導出する。車両の連続する位置は、指定されたルート上の現在の位置で車両の現在の速度値に関して生成された動きベクトル情報に基づき、車両の現在の位置で予測される。複数のピクセルのシフトを示す第１の画像は、指定されたルート上の予測された連続する位置で撮像センサにより捕捉される。捕捉された第１の画像内の複数のピクセルのシフトの補償に基づいて、捕捉された第１の画像から第２の画像が生成される。

Description

本開示の様々な実施形態は、車両用の画像捕捉システムに関する。より具体的には、本開示の様々な実施形態は、車両用の撮像センサにおけるローリングシャッター効果のオンチップ補償に関する。

＜関連出願の相互参照／参照による組み入れ＞
無し

輸送と物流、セキュリティ、監視、及び、消費者に焦点を合わせた輸送ネットワークにおける最近の進歩に伴い、これらの産業がそのような進歩に伴って出される様々な課題に対抗するための自律的で知的な解決策を採ることを余儀なくする絶え間なく変化する要求に直面する。従来、複数の撮像センサが、車両近傍の物体及び経路の画像を捕捉するために使用される。特定のシナリオでは、撮像センサを有する車両が動いている場合がある。自律走行車などの車両が、ＣＭＯＳのようなセンサを使用して画像を捕捉し、フレームごとに捕捉された画像を解析する場合には、車両の動きに起因してローリングシャッターの効果が導入される。撮像センサを伴う車両が近傍の物体に対して高速で移動するときには、捕捉された画像においてローリングシャッター効果がより顕著になる場合があり、これは望ましくない。ローリングシャッター効果によって、場合により、画像で捕捉された領域又は物体が揺れる、ぐらつく、歪む、汚れる、又は、部分的な露出を有する可能性がある。したがって、車両が動いている間に撮像センサから取得される画像は、シーン内の他の物体の位置又は動きの予測、車両の速度又は向きの較正など、多数の画像処理工程における更なる用途に適さない場合がある。更に、画質が劣化したそのような画像を使用すると、推定不良となる場合があるとともに、生命を危険に晒し、遅延を引き起こして、安全性を損なう可能性があり、また、コスト集約的となる場合がある。

従来、画像へのそのような影響は、画像の劣化を補償するための撮像センサに対する周辺接続として、動き、速度、位置、加速度、又は、ジャイロなどの複数のセンサを使用して、補償される。更に、そのような解決策は、低速用途のため或いはエンジン又は他の保持デバイスの振動によって影響がもたらされる場合にのみ利用できる。したがって、そのような解決策は、比較的高速で移動する車両には適合しない。また、画像への影響は、画像が捕捉された後にのみ補償され、したがって、補償された画像に基づいて運転の決定を要因とする車両の他の画像処理システムに対して更にやりとりされる画像の補償には固有の遅延がある。別の言い方をすると、現在の解決策は、撮像センサ内のリアルタイムのオンチップ補償を欠く。

従来の伝統的な手法の更なる制限及び欠点は、本出願の残りの部分に図面と関連して記載される本開示の幾つかの態様を伴う記載されるシステムの比較により、当業者に明らかになる。

特許請求項においてより完全に説明されるような、実質的に図の少なくとも１つに示され及び／又は図の少なくとも１つに関連して記載される車両用の撮像センサにおけるローリングシャッター効果のオンチップ補償のためのシステム及び方法。

本開示のこれらの及び他の特徴並びに利点は、添付の図と共に本開示の以下の詳細な説明を検討することにより分かり、図中、参照数字は全体にわたって同様の部分を示す。

本開示の一実施形態に係る、車両の撮像センサにおけるローリングシャッター効果のオンチップ補償のためのネットワーク環境を示すブロック図である。 本開示の一実施形態に係る、車両の様々な典型的な構成要素又はシステムを示すブロック図である。 本開示の一実施形態に係る、図２の車両の撮像センサにおけるローリングシャッター効果のオンチップ補償のための典型的なシステムを示すブロック図である。 本開示の一実施形態に係る、車両に供給される典型的なルート、及び、典型的なルートから導出される動作情報のプロットを示す。 本開示の一実施形態に係る、撮像センサによって動作中に捕捉されるべき理想的な画像である基準画像の典型的なピクセルレベルビューを示す。 本開示の一実施形態に係る、撮像センサによって動作中に捕捉されるローリングシャッター効果により影響される画像の典型的なピクセルレベルビューを示す。 本開示の一実施形態に係る、車両の動作中に撮像センサによってローリングシャッター効果が補償された画像の典型的なピクセルレベルビューを示す。 本開示の一実施形態に係る、図５Ｃの画像の補償後に取得される画像の典型的なピクセルレベルビューを示す。 本開示の他の実施形態に係る、図５Ｃの画像の補償後に取得される画像の典型的ピクセルレベルビューを示す。 本開示の一実施形態に係る、ローリングシャッター効果のオンチップ補償のために適合される撮像センサの典型的な回路を示す。 本開示の一実施形態に係る、車両の撮像センサにおけるローリングシャッター効果の補償のための典型的な方法を示すフローチャートである。 本開示の一実施形態に係る、図５Ｄの画像の生成のための典型的な方法を示すフローチャートである。 本開示の一実施形態に係る、図６の典型的な回路を使用する画像の生成のための典型的な方法を示すフローチャートである。

本開示の特定の実施形態は、車両に位置される撮像センサにおけるローリングシャッター効果のオンチップ補償のためのシステム及び方法において見出されてもよい。本開示の様々な実施形態は、メモリデバイス、撮像センサ、並びに、撮像センサ及びメモリデバイスに結合される複数の回路を含んでもよいシステムを提供する。複数の回路は、車両の指定されたルートの複数の位置のそれぞれの位置で車両の複数の速度値に関する動きベクトル情報を生成するように構成されてもよい。指定されたルート上の複数の位置のそれぞれにおいて、複数の回路は、車両の複数の速度値のそれぞれごとに画像カーネルを導出するように更に構成されてもよい。別の言い方をすれば、それぞれの位置で車両の複数の速度値に関して複数の画像カーネルが導出されてもよい。各画像カーネルは、指定されたルートの複数の位置のそれぞれの位置で車両の複数の速度値に関して生成された動きベクトル情報に基づいて導出されてもよい。車両の連続する位置が車両の現在の位置で予測されてもよい。連続する位置は、指定されたルート上の現在の位置で車両の現在の速度値に関して生成される動きベクトル情報に基づいて予測されてもよい。したがって、動きベクトル情報は、車両の連続する位置を予測するためだけでなく、画像カーネル配列を生成するためにも（すなわち、車両の複数の速度値のそれぞれごとに画像カーネルを導出するためにも）使用される。複数の回路は、指定されたルート上の予測された連続する位置で第１の画像を捕捉するように更に構成されてもよい。具体的には、撮像センサは、ローリングシャッター効果によって引き起こされる複数のピクセルのシフトを示す第１の画像を捕捉してもよい。更に、捕捉された第１の画像における複数のピクセルのシフトの補償に基づいて捕捉された第１の画像から第２の画像が生成されてもよい。補償が撮像センサ内で行われてもよく、また、そのようなシフトは、車両の予測された連続する位置に関して導出された画像カーネルによって補償されてもよい。

一実施形態によれば、捕捉された第１の画像の複数のピクセルのシフトの補償は、撮像センサ内のオンチップ補償であってもよい。第２の画像は、捕捉された第１の画像において引き起こされるローリングシャッター効果が補償されてもよい。捕捉された第１の画像の複数のピクセルのシフトの補償は、捕捉された第１の画像のラインごとの補償であってもよい。ラインごとの補償は、捕捉された第１の画像の各ピクセル配列の順次補償に対応してもよい。一実施形態によれば、捕捉された第１の画像の複数のピクセルのシフトの補償は、捕捉された第１の画像の全体的な補償であってもよい。全体的な補償は、捕捉された第１の画像の異なるピクセル配列の同時補償に対応してもよい。

一実施形態によれば、複数の回路は、車両のナビゲーションのために複数の回路に通信可能に結合されるナビゲーションデバイスから指定されたルートを検索するように更に構成されてもよい。一実施形態によれば、撮像センサは、相補型金属酸化膜半導体（ＣＭＯＳ）センサであってよい。車両は、自律的な車両又は半自律的な車両であってもよい。

一実施形態によれば、複数の回路は、複数の速度値のそれぞれの速度値ごとに及び指定されたルート上の複数の位置のそれぞれの位置ごとに導出された画像カーネルを記憶するように更に構成されてもよい。導出された画像カーネルは、メモリデバイスに記憶されてもよい。複数の回路は、車両の予測された連続する位置に関して導出された画像カーネルを転送するように更に構成されてもよい。導出された画像カーネルは、指定されたルート上の車両の現在位置で撮像センサ内に転送されてもよい。一実施形態によれば、導出された画像カーネルは、捕捉された第１の画像のオンチップ補償のための複数のフィルタ係数を含んでもよい。

一実施形態によれば、複数の回路は、予測された連続する位置に関して導出された画像カーネルを選択するように構成されてもよい。導出された画像カーネルは、指定されたルート上の車両の現在の位置及び現在の速度値に基づいて選択されてもよい。指定されたルート上の車両の連続する位置は、指定されたルート上の車両の動作中に生成された動きベクトル情報に基づいて更に予測されてもよい。

一実施形態によれば、複数の回路は、各速度値及び指定されたルート上の各位置で動きベクトル情報を計算するように更に構成されてもよい。動きベクトル情報は、指定されたルート上の第１の位置の位置座標と第２の位置の対応する位置座標との差に基づいて計算されてもよい。指定されたルート上のそのような第１の位置及び第２の位置は、指定されたルートに関する車両の複数の速度値の各速度値に基づいて選択されてもよい。

一実施形態によれば、捕捉された第１の画像の複数のピクセルのシフトは、捕捉された第１の画像の対応するピクセル配列内の複数のピクセルの各ピクセルの循環シフトであってもよい。捕捉された第１の画像の対応するピクセル配列における複数のピクセルのシフトは、一定であってもよい。更に、捕捉された第１の画像の複数のピクセル配列における複数のピクセルのシフトは、ステップサイズに基づいて変化してもよい。そのようなステップサイズは、現在の速度値と、指定されたルート上の車両の現在の位置に関して生成された動きベクトル情報とに基づいてもよい。

一実施形態によれば、複数の回路は、捕捉された第１の画像のピクセル配列を撮像センサから受けるように更に構成されてもよい。導出された複数の画像カーネルからの画像カーネル配列は、捕捉された第１の画像の受けられたピクセル配列に関して撮像センサ内で選択されてもよい。複数の回路は、撮像センサ内で捕捉された第１の画像のシフト補償されたピクセル配列を生成してもよい。シフト補償されたピクセル配列は、複数の導出された画像カーネルの選択された画像カーネル配列による受けられたピクセル配列の変換に基づいて生成されてもよい。その後、シフト補償されたピクセル配列は、捕捉された第１の画像の複数のピクセル配列のそれぞれごとに撮像センサの集積メモリ内で更新されてもよい。更新された画像は、捕捉された第１の画像の複数のピクセル配列のそれぞれごとにシフト補償されたピクセル配列の更新に基づいて取得されてもよい。更新された画像は、複数の望ましくないピクセルに対応し得る更新された画像の第１の分解能内の領域と関連付けられてもよい。一実施形態によれば、複数の回路は、更新された画像の複数の望ましくないピクセルに対応し得る更新された画像から領域を除去するように更に構成されてもよい。したがって、第２の画像は、更新された画像から領域の切り取り後に取得されてもよい。一実施形態によれば、複数の回路は、更新された画像内の複数の望ましくないピクセルに対応し得る領域に該領域に隣接して位置するピクセル値を投入するように更に構成されてもよい。したがって、第２の画像は、更新された画像からの領域に該領域と隣接して位置するピクセル値を投入した後に取得されてもよい。

一実施形態によれば、複数の回路は、第１の分解能を有する撮像センサによって、指定されたルート上の予測された連続する位置でスケーリングされたピクセル配列を捕捉するように更に構成されてもよい。スケーリングされたピクセル配列から第２の分解能を有する第１のピクセル配列が選択されてもよい。選択は、対応するスケーリングされたピクセル配列内の複数のピクセルのシフトに基づいてもよい。スケーリングされたピクセル配列は、第２の分解能よりも高くてもよい第１の分解能と関連付けられてもよい。第１の分解能が撮像センサの分解能に対応してもよく、また、第２の分解能が第２の画像の分解能に対応してもよい。複数の回路は、第２の画像を取得するためにそれぞれの捕捉されたピクセル配列ごとに撮像センサの集積メモリ内の第１のピクセル配列を更新するように更に構成されてもよい。

図１は、本開示の一実施形態に係る、車両の撮像センサにおけるローリングシャッター効果のオンチップ補償のための典型的なネットワーク環境を示すブロック図である。図１を参照すると、ネットワーク環境１００が示される。ネットワーク環境１００は、車両１０２を含んでもよい。車両１０２は、電子制御ユニット（ＥＣＵ）１０４及び画像捕捉デバイス１０６を含む。図示のように、車両１０２は、指定されたルートにより、第１の位置から第２の位置へと動作環境１０８内でナビゲートしてもよい。ネットワーク環境１００は、サーバ１１２及び通信ネットワーク１１０を更に含んでもよい。車両１０２は、通信ネットワーク１１０を介して、サーバ１１２に通信可能に結合されてもよい。

車両１０２は、完全に自律的な車両又は半自律的な車両であってもよい。幾つかの実施形態では、車両１０２が非自律的な車両であってもよい。車両１０２は、車載ネットワークを介して、画像捕捉デバイス１０６に通信可能に結合され得るＥＣＵ １０４を備えてもよい。車両１０２の例は、自動車、ハイブリッド車両、ドローン（又は無人航空機（ＵＡＶ））、飛行機、及び／又は、１つ以上の別個の再生可能な又は再生不可能なエネルギー源を使用する車両１０２を含んでもよいが、これらに限定されない。推進のために再生可能又は非再生可能エネルギー源を使用する車両１０２は、石油製品を燃料とする車両、完全に電気で動く車両、ガス燃料を供給する車両、太陽電池を動力とする車両、及び／又は、他の形態の代替エネルギー源で動く車両を含んでもよい。

ＥＣＵ１０４は、画像捕捉デバイス１０６によって捕捉されてローリングシャッター効果により影響される画像の補償のための動作を実行するように構成され得る適切なロジック、回路、インタフェース、及び／又は、命令を備えてもよい。そのような画像は、指定されたルート上での車両１０２の動作中に画像捕捉デバイス１０６の撮像センサによって捕捉されてもよい。撮像センサは、ＥＣＵ１０４と通信可能に結合されてもよい。ＥＣＵ１０４は、命令又は出力などの計算リソースを画像捕捉デバイス１０６と共有するように更に構成されてもよい。ＥＣＵ１０４は、補償後に生成される出力（又は画像）を車両１０２の他のＥＣＵと共有するために、車両エリアネットワーク（ＶＡＮ）、車載データバス、及び、コントローラエリアネットワーク（ＣＡＮ）バスなどの車載ネットワークと通信可能に結合されてもよい。

ＥＣＵ １０４は、速度、エンジン温度、気圧、燃料又は充電レベル、供給される電力及びトルクなどの車両１０２の複数の動作パラメータにアクセスする、これらを監視する、又は、調整するように更に構成されてもよい車両１０２の他のＥＣＵと通信可能に結合されてもよい。更に、複数の動作パラメータは、車両１０２と障害物との間の離間距離、車両１０２付近の物体の相対速度、車両１０２付近の陸上車両（例えば、車）、空上車両（例えば、航空機又はドローン）、又は、船舶などの移動機械の予測経路などを含んでもよい。

画像捕捉デバイス１０６は、指定されたルート上の異なる位置で捕捉された画像を捕捉して記憶するように構成されてもよい適切なロジック、回路、インタフェース、及び／又は、命令を備えてもよい。画像は、指定されたルート上で車両１０２の動作中に捕捉されてもよい。更に、画像捕捉デバイス１０６は、指定されたルート上の異なる位置で捕捉された画像のオンチップ補償のための命令及び動作を実行するように構成されてもよい。画像捕捉デバイス１０６は、少なくとも撮像センサ、一組のレンズ、プロセッサ、及び、メモリを含んでもよい。画像捕捉デバイス１０６の撮像センサは、センサコアと、レジスタバスインタフェースによってセンサコア、プロセッサ、メモリ、及び、ＥＣＵ１０４と通信可能に結合される複数のレジスタとを備えてもよい。一実施形態によれば、撮像センサは、相補型金属酸化膜半導体（ＣＭＯＳ）センサとして画像捕捉デバイス１０６に実装されてもよい。そのような実装において、撮像センサは、一度に所定のサイズのピクセル配列のラインごとの走査又は走査を実行するように構成されてもよい。別の言い方をすれば、撮像センサは、車両１０２の動作環境１０８のビューの水平又は垂直のラインごとの走査に基づいて車両１０２から見えるビューを走査及び捕捉するためにローリングシャッターを実装してもよい。

車両１０２の動作環境１０８は、指定されたルートに沿う車両１０２のナビゲーションのための環境であってもよい。指定されたルート上の複数の位置は、動作環境１０８の一部であってもよい。動作環境１０８は、車両１０２のタイプに基づいて変化してもよい。例えば、自動車、トラック、バイク、及び、列車などの陸上車両のための動作環境１０８は、道路、オフロード地形、及び、線路を備えてもよい。船（船舶）又は水上車両、例えば、船、ボート、又は、潜水艦などの動作環境１０８は、海、河川、及び、運河などの水路であってもよい。航空機、無人空中車両又はドローン、及び、ヘリコプターなどの空中輸送車両のための動作環境１０８が航空路を備えてもよい。航空路は、空中輸送車両の所定の使用に基づいて高度ブロックに更に分離されてもよい。例えば、土地の「１平方マイル」領域の監視用のドローンは、地上「１０００フィート」の高度で飛行してもよく、したがって、動作環境１０８は、所定の高度の航空路の明確なブロックによって画定されてもよい。

通信ネットワーク１１０は、通信データの送信及び受信のための複数のネットワークポート及び複数の通信チャネルを与えるように構成されてもよい適切なロジック、回路、及び、インタフェースを備えてもよい。各ネットワークポートは、通信データの送信及び受信のための仮想アドレス（又は物理マシンアドレス）に対応してもよい。通信ネットワーク１１０は、車両１０２がサーバ１１２などの他の通信デバイス及び／又は１つ以上の他の車両と通できる媒体を含んでもよい。通信ネットワーク１１０の例としては、専用短距離通信（ＤＳＲＣ）ネットワーク、モバイルアドホックネットワーク（ＭＡＮＥＴ）、車両アドホックネットワーク（ＶＡＮＥＴ）、インテリジェント車両アドホックネットワーク（ＩｎＶＡＮＥＴ）、インターネットベースのモバイルアドホックネットワーク（ＩＭＡＮＥＴ）、無線センサネットワーク（ＷＳＮ）、無線メッシュネットワーク（ＷＭＮ）、インターネット、セルラーネットワーク、例えばロングタームエボリューション（ＬＴＥ）ネットワーク、クラウドネットワーク、ワイヤレスフィデリティ（Ｗｉ−Ｆｉ）ネットワーク、及び／又は、無線ローカルエリアネットワーク（ＷＬＡＮ）を挙げることができるが、これらに限定されない。ネットワーク環境１００内の様々なデバイスは、様々な無線通信プロトコルにしたがって通信ネットワーク１１０に接続するように構成されてもよい。そのような無線通信プロトコルの例としては、ＩＥＥＥ ８０２．１１、８０２．１１、８０２．１５、８０２．１６、１６０９、マイクロ波アクセスのための全世界相互運用（Ｗｉ−ＭＡＸ）、車両環境での無線アクセス（ＷＡＶＥ）、セルラー通信プロトコル、伝送制御プロトコル・インターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ロングタームエボリューション（ＬＴＥ）、ファイル転送プロトコル（ＦＴＰ）、ＺｉｇＢｅｅ、ＥＤＧＥ、赤外線（ＩＲ）、及び／又は、Ｂｌｕｅｔｏｏｔｈ（ＢＴ）通信プロトコルを挙げることができるが、これらに限定されない。

サーバ１１２は、車両１０２のナビゲーションデバイスから受信される要求に基づいて車両１０２のナビゲーションのための指定されたルートを生成するように構成されてもよい適切なロジック、回路、及び、インタフェースを備えてもよい。幾つかの実施形態において、サーバ１１２は、車両１０２からのルート推定の要求のためだけに確保された専用マップサーバであってもよい。或いは、サーバ１１２は、ルート推定のために、車両と、携帯電話、タブレット、ファブレットなどの適切な通信デバイスとの両方にアクセス可能な第三者サーバであってもよい。車両１０２のための指定されたルートの推定は、推定最小移動時間、低渋滞経路、及び、指定されたルートで車両１０２により横断されると推定されるチェックポイント（位置）に基づいて因数に分解される最適推定であってもよい。

動作時、車両１０２のナビゲーションデバイスは、車両１０２に関連するユーザから所定の入力を受けてもよい。所定の入力は、車両１０２のための１つ以上のナビゲーションパラメータと関連付けられてもよい。ユーザは、インフォテインメントヘッドユニットのインタフェースなどの車両１０２で利用可能なインタフェースのうちの少なくとも１つによって所定の入力を与えてもよい。車両１０２のインタフェースの例としては、音声対応インタフェース、タッチ対応インタフェース、遠隔制御インタフェース、モバイル対応インタフェース、ジェスチャーベースのインタフェース、又は、触覚ベースのインタフェースを挙げることができるが、これらに限定されない。所定の入力は、指定されたルート上又は規定されていないルート上での車両１０２の走行前又は車両１０２の走行中に与えられてもよい。一実施形態によれば、車両１０２のための所定の入力は、目的地の住所を含んでもよい。目的地の住所は、車両１０２のナビゲーションデバイス又は車両１０２と関連付けられるサーバ１１２によってマップ上の対応する位置に解釈されてもよい。そのような実施において、ナビゲーションデバイスは、車両１０２の位置を導出するとともに、ルート推定のために車両１０２の導出された位置と目的地住所とをサーバ１１２に与えるように構成されてもよい。

他の実施形態によれば、車両１０２のための所定の入力は、目的地住所と、車両１０２と関連付けられる車両制御時間とを含んでもよい。そのような実施において、ナビゲーションデバイスは、車両１０２の現在の位置を導出するとともに、ルート推定のために車両１０２の導出された位置と目的地住所とをサーバ１１２に与えるように構成されてもよい。自律的又は半自律的な制御のための指定されたルートは、車両１０２と関連付けられる車両制御時間に関して推定されてもよい。例えば、最初に車両１０２をマップ上の目的地まで運転しているユーザは、特定の理由で「３０分」にわたって自動操縦モード又は自律制御に切り換えてもよい。したがって、ナビゲーションデバイスは、指定されたルートを少なくとも次の３０分にわたって導出してもよく、また、自律動作モードが車両１０２のために「３０分」にわたって起動されてもよい。

一実施形態によれば、車両１０２のための所定の入力は、車両１０２によってカバーされるべき指定されたエリア、領域、又は、地域を含んでもよい。言い換えると、車両１０２には、車両１０２によってカバーされるべき指定されたエリア又は領域が割り当てられてもよい。例えば、ＵＡＶには、監視用途のために「１０Ｋｍ^２」の指定されたエリアが割り当てられてもよい。ＵＡＶは、指定されたルートにしたがって所定の航空路ブロック内で地域の所定の部分を走査するように構成されてもよい。或いは、ＵＡＶは、特定のエリア内の異なるチェックポイント間で導出された指定されたルートを辿ることによって地域の所定の部分を走査するように構成されてもよい。

指定されたルートは、地理的情報システム（ＧＩＳ）データとして車両１０２のナビゲーションデバイスにデジタル的に記憶されてもよい。指定されたルートのためのＧＩＳデータは、複数のノードと関連付けられるポリライン又はポリゴンによって道路、空間、曲がり角、又は、他の対象物を表わしてもよい。例えば、「ストリート３３２」が複数のセグメントに分割されてもよく、その場合、各セグメントは、セグメントの両端のノードと接続されるポリライン又はポリゴンによって表わされる。指定されたルートは、マップ上の第１の位置と第２の位置とを結ぶ経路であってもよい。車両１０２におけるナビゲーションデバイスは、マップ上の第１の位置と第２の位置との間の指定されたルートを要求するように構成されてもよい。指定されたルートは、通信ネットワーク１１０を介して、車両１０２と通信可能に結合され得るサーバ１１２と併せて導出されてもよい。ナビゲーションデバイスは、所定の位置のための指定されたルートの生成の要求をもたらすように構成されてもよい。一実施形態によれば、生成された要求は、指定されたルートの導出のためにサーバ１１２に転送されてもよい。更に、ナビゲーションデバイスは、指定されたルート及び指定されたルートのための関連するメタデータをサーバ１１２から受信してもよい。他の実施形態によれば、要求は、車両１０２内に局所的に存在するルート推定回路（図示せず）に転送されてもよい。所定の第１の位置及び第２の位置のための単一の指定されたルートをナビゲーションデバイスが記憶してもよいと記載してきたが、指定されたルートは、指定されたルートの呼び出し（又は制御信号）がＥＣＵ１０４又はナビゲーションデバイスのいずれかからもたらされる前にナビゲーションデバイスに更に記憶されてもよい。しかしながら、本開示はそのように限定されなくてもよく、ナビゲーションデバイスは、所定の第１の位置及び第２の位置のための代わりのルートを記憶してもよい。

車両１０２のＥＣＵ１０４は、車両１０２のナビゲーションデバイスから車両１０２のための指定されたルートを検索するように構成されてもよい。ＥＣＵ １０４は、指定されたルートと指定されたルートのための関連するメタデータとをＥＣＵ １０４と関連付けられるメモリに記憶するように構成されてもよい。グローバルポジショニングシステム（ＧＰＳ）座標などの複数の位置が、車両１０２の指定されたルートから推定されてもよい。ＧＰＳ座標の推定のための技術は当業者に知られている場合があり、したがって、複数の位置の推定についての更なる説明は、簡潔さのために省略されている。

車両１０２のＥＣＵ１０４は、指定されたルート上の推定された複数の位置の各位置で車両１０２の複数の速度値に関する動きベクトル情報を生成するように更に構成されてもよい。複数の速度値は、想定し得る速度値から車両１０２に関して選択的にソートされた速度値であってもよい。複数の速度値は、指定されたルートの異なるセグメントに関して適応的に選択されてもよい。例えば、曲がり角の場合、速度値は、「５マイル／時」、「１０マイル／時」、及び、「１５マイル／時」など、低くてもよく、道路がまっすぐ伸びている場合、速度値は、「１０マイル／時」、「２０マイル／時」、「３０マイル／時」、「４０マイル／時」、及び、「５０マイル／時」など、よりまばらに分散され又は広く分散されてもよい。

動きベクトル情報は、指定されたルート上での動作中に車両１０２の連続する位置を予測するために利用されてもよい。動きベクトル情報は、指定されたルート上の車両１０２における自律的又は半自律的動作モードの初期化前に生成されてもよい。或いは、動きベクトル情報は、指定されたルート上での車両１０２の走行又は動作の開始前に更に生成されてもよい。

指定されたルート上の推定された複数の位置の各位置で、ＥＣＵ １０４は、車両１０２の複数の速度値のそれぞれに関する動きベクトル情報に基づいて画像カーネルを導出するように更に構成されてもよい。換言すると、複数の画像カーネルが、各位置で車両１０２の複数の速度値に関して導出されてもよい。別の言い方をすると、特定の位置での異なる想定し得る速度値のうちの１つの速度値に関して１つの画像カーネルが有効であってもよく或いは使用されてもよく、また、単一の画像カーネルが一度に補償のために使用されてもよい。導出された画像カーネルのそれぞれは、その後に画像捕捉デバイス１０６によって捕捉され得る画像のそれぞれのピクセル配列（横列又は縦列）ごとに複数のフィルタ係数を含んでもよい。複数のフィルタ係数は、所定の次数、例えば（１００、１００）の次数のフィルタ係数の行列によって表わされてもよい。各画像カーネルは、ローリングシャッター効果によって影響される画像の補償のために利用されてもよい。それぞれの位置における複数の画像カーネルは、車両１０２における自律的又は半自律的動作モードの初期化前に更に導出されてもよい。自律的又は半自律的動作モードの初期化又は車両１０２の制御は、車両１０２の動作中又は指定されたルート上の車両１０２の走行の開始前に実行されてもよい。或いは、それぞれの位置における複数の画像カーネルは、指定されたルート上での車両１０２の走行又は動作の開始前に導出されてもよい。

車両１０２が指定されたルート上を移動する際、ＥＣＵ１０４は、指定されたルート上の車両１０２の現在の位置で現在の速度値を測定するように更に構成されてもよい。測定された現在の位置及び現在の速度値に関して、ＥＣＵ １０４は、車両１０２の現在の位置及び対応する現在の速度値に関して生成された動きベクトル情報を検索してもよい。動きベクトル情報は、車両１０２の動きの推定方向をもたらしてもよい。したがって、ＥＣＵ １０４は、生成された動きベクトル情報に基づいて指定されたルート上の車両１０２の連続する位置を予測するように構成されてもよい。一実施形態によれば、連続する位置は、移動方向の変化又は車両１０２の速度値が最小になるように予測される。予測される連続する位置は、指定されたルート上の車両１０２のおおよその連続する位置であってもよい。車両１０２の予測される連続する位置と実際の連続する位置との間にずれが存在する場合がある。ずれは、スピードブレーカ、通行料、バリケード、交通信号、渋滞、及び／又は、車両１０２のための指定されたルートを妨害し得る他の車両など、指定されたルート上で移動中の車両１０２に関連する多くの要因によって引き起こされる場合がある。

一実施形態によれば、それぞれの連続する位置で、ＥＣＵ １０４は、制御信号を画像捕捉デバイス１０６に送信するように構成されてもよい。ＥＣＵ１０４からの制御信号の受信時、画像捕捉デバイス１０６は、連続する位置で車両１０２から利用可能なビューを走査するように構成されてもよい。走査は、画像捕捉デバイス１０６のローリングシャッターモードで更に実行されてもよい。ローリングシャッターモードでは、単一のライン又はピクセル配列（垂直縦列又は水平横行）が画像捕捉デバイス１０６によって捕捉されてもよい。指定されたルート上の車両１０２のそれぞれの連続する位置でビューを連続的に走査することに基づいて、第１の画像が画像捕捉デバイス１０６によって生成されてもよい。

一実施形態によれば、それぞれの連続する位置で、ＥＣＵ１０４は、指定されたルート上での車両１０２の動作中に画像捕捉デバイス１０６によって捕捉されるビデオから第１の画像を検索するように構成されてもよい。第１の画像は、ビデオのフレームのセットから検索されてもよく、また、ＥＣＵ１０４は、品質の損失が最小の第１の画像を選択してもよい。第１の画像は、第１の画像の複数のピクセルのシフトと関連付けられてもよい。そのようなシフトは、指定されたルート上での車両１０２の動作中にローリングシャッター効果によって引き起こされる場合がある。このようなシフトは、第１の画像の境界に沿って顕著に現れる場合がある。例えば、第１の画像の第１の横列中の各ピクセルは、予期されるピクセル位置から「１」だけシフトされる場合があり、また、第１の画像のそれぞれの後続の横列（又はピクセル配列）中の各ピクセルは、予期されるピクセルから１、２、３、４などのステップサイズだけシフトされる場合がある。ピクセル位置のシフトは、例えば、図５Ｂに示されて記載される。

ＥＣＵ１０４は、現在の速度値と指定されたルート上の車両１０２の予測された連続する位置とにしたがって導出された複数の画像カーネルのうちの１つを選択するように構成されてもよい。選択された画像カーネルを使用して、捕捉された第１の画像のローリングシャッター効果を補償してもよい。ＥＣＵ１０４は、レジスタレベルのバス及びＥＣＵ１０４と撮像センサとの間のインタフェースを介して、捕捉された第１の画像のオンチップ補償のために選択された画像カーネルを画像捕捉デバイス１０６の撮像センサに転送するように構成されてもよい。

幾つかの実施形態において、画像捕捉デバイス１０６は、転送されたカーネル及び捕捉された第１の画像を独立に処理するのに適した回路を備えてもよい。一実施形態によれば、画像捕捉デバイス１０６は、画像捕捉デバイス１０６の撮像センサによって捕捉されるピクセルのそれぞれの横列又は縦列（又はピクセル配列）のラインごとの補償を実行するように構成されてもよい。画像のそれぞれの横列又は縦列は、撮像センサの読み出しレジスタ内で順次に捕捉されてもよい。画像捕捉デバイス１０６は、第１の画像の捕捉された横列又は縦列を、選択された画像カーネルの対応する横列又は縦列（線形配列）で変換するように更に構成されてもよい。変換は、画像捕捉デバイス１０６の撮像センサ内で実行されてもよく、したがって、補償がリアルタイム又はほぼリアルタイムで実行されてもよい。他の実施形態によれば、画像捕捉デバイス１０６は、第１の画像において複数のピクセルの補償を同時に実行するように構成されてもよい。

画像捕捉デバイス１０６は、捕捉された第１の画像のオンチップ補償に基づいてリアルタイム又はほぼリアルタイムで第２の画像を生成するように更に構成されてもよい。生成された第２の画像は、複数のピクセルにおいて最小のシフトを示し得る。特定の実施態様において、生成された第２の画像は、複数のピクセルにおいてゼロシフトを示し得る。別の言い方をすれば、生成された第２の画像は、指定されたルート上の車両１０２の動きによって引き起こされるノイズ及び歪みが最小である画質の大幅な改善を示し得る。画像捕捉デバイス１０６は、第１の画像の補償後の第２の画像をリアルタイム又はほぼリアルタイムで送信するように更に構成されてもよい。第２の画像は、車両１０２のＥＣＵ１０４に送信されてもよい。

ＥＣＵ１０４及び画像捕捉デバイス１０６の前述の動作は、第１のピクセル配列を捕捉して第１の画像の捕捉された第１のピクセル配列を補償する際の総遅延が最小となり得るようにタンデムで実行されてもよいことに留意されたい。そのような総遅延は、車両１０２の他の画像依存動作に対してやりとりされなくてもよい。ＥＣＵ１０４及び撮像センサの詳細な動作は、例えば図３において説明されている。

図２は、本開示の一実施形態に係る車両の様々な典型的な構成部品又はシステムを示すブロック図である。図２は、図１の要素と関連して説明される。図２を参照すると、車両１０２が示される。車両１０２は、マイクロプロセッサ２０２、メインメモリ２０４Ａ、及び、ホストメモリ２０４Ｂを含んでもよいＥＣＵ１０４を備えてもよい。車両１０２は、無線通信システム２０６、オーディオインタフェース２０８、ディスプレイ２１０、パワートレイン制御システム２１２、ステアリングシステム２１４、ブレーキシステム２１６、感知システム２１８、車体制御モジュール２２０、及び、車載ネットワーク２２２を更に備えてもよい。感知システム２１８は、画像捕捉デバイス１０６及び複数の車両センサ２１８Ａを備えてもよい。ディスプレイ２１０は、ユーザインタフェース（ＵＩ）２１０Ａをレンダリングしてもよい。また、車両１０２内の車両電力システム２２６に関連するバッテリ２２４も示される。一実施形態によれば、無線通信システム２０６、オーディオインタフェース２０８、及び、ディスプレイ２１０は、ＥＣＵ１０４と関連付けられてもよい。

様々な構成要素又はシステムは、車両エリアネットワーク（ＶＡＮ）及び／又は車載データバスなどの車載ネットワーク２２２を介して、互いに通信可能に結合されてもよい。マイクロプロセッサ２０２は、車載ネットワーク２２２を介して、メインメモリ２０４Ａ及びホストメモリ２０４Ｂ、無線通信システム２０６、オーディオインタフェース２０８、ディスプレイ２１０、パワートレイン制御システム２１２、感知システム２１８、及び、車体制御モジュール２２０に通信可能に結合されてもよい。

マイクロプロセッサ２０２は、メインメモリ２０４Ａに記憶される命令のセットを実行するように構成されてもよい適切なロジック、回路、及び、インタフェースを備えてもよい。マイクロプロセッサ２０２は、ナビゲーションデバイスから指定されたルートを検索し、検索されたルートをメインメモリ２０４Ａに記憶するように構成されてもよい。マイクロプロセッサ２０２は、検索されたルート上の複数の位置の各位置で車両１０２の複数の速度値に関する動きベクトル情報を生成するように更に構成されてもよい。マイクロプロセッサ２０２は、検索されたルート上の複数の位置の各位置で車両１０２の複数の速度値のそれぞれに関して画像カーネルを導出するように更に構成されてもよい。換言すると、複数の画像カーネルが、各位置で車両１０２の複数の速度値に関して導出されてもよい。別の言い方をすると、特定の位置での異なる想定し得る速度値のうちの１つの速度値に関して１つの画像カーネルが有効であってもよく或いは使用されてもよく、また、単一の画像カーネルが一度に補償のために使用されてもよい。その後、マイクロプロセッサ２０２は、オンチップ補償のために制御信号（又は命令）を感知システム２１８の画像捕捉デバイス１０６に通信するように更に構成されてもよい。マイクロプロセッサ２０２の例は、縮小命令セットコンピューティング（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピューティング（ＣＩＳＣ）プロセッサ、明示的並列命令コンピューティング（ＥＰＩＣ）プロセッサ、超長命令語（ＶＬＩＷ）プロセッサ、マイクロコントローラ、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、状態機械、及び／又は、他のプロセッサ若しくは回路であってもよい。

メインメモリ２０４Ａは、マイクロプロセッサ２０２及びマイクロプロセッサ２０２のための他の計算リソースによって実行可能な命令のセットを記憶するように構成されてもよい適切なロジック、回路、及び／又は、インタフェースを備えてもよい。メインメモリ２０４Ａは、車両１０２のナビゲーションデバイスから検索された指定されたルートを記憶するように構成されてもよい。メインメモリ２０４Ａは、画像捕捉デバイス１０６による補償後に出力される画像を記憶するように更に構成されてもよい。メインメモリ２０４Ａの実施の例としては、電気的に消去可能なプログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、フラッシュメモリ、セキュアデジタル（ＳＤ）カード、ソリッドステートドライブ（ＳＳＤ）、及び／又は、ＣＰＵキャッシュメモリを挙げることができるが、これらに限定されない。

ホストメモリ２０４Ｂは、指定されたルート上の複数の位置の各位置で車両１０２の複数の速度値に関して生成された動きベクトル情報及び導出された複数の画像カーネルを記憶するように構成されてもよい適切なロジック、回路、及び／又は、インタフェースを備えてもよい。ホストメモリ２０４Ｂとは、車両１０２のＥＣＵ１０４内に埋め込まれ得るメモリデバイスを指してもよい。ホストメモリ２０４Ｂは、導出された複数の画像カーネルのうちの１つを画像捕捉デバイス１０６内の撮像センサにほぼリアルタイムで転送することを容易にし得る。ホストメモリ２０４Ｂは、スタティックランダムアクセスメモリ（ＳＲＡＭ）アーキテクチャ、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）アーキテクチャ、スタティックダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）アーキテクチャ、及び／又は、他の高速読み取り／書き込み（Ｒ／Ｗ）又は入出力（Ｉ／Ｏ）メモリアーキテクチャのうちの１つに基づいてもよい。更に、ホストメモリ２０４Ｂは、マイクロプロセッサ２０２内に形成される拡張サイズのキャッシュメモリであってもよい。

無線通信システム２０６は、サーバ１１２、１つ以上のクラウドサーバ、及び／又は、１つ以上の車両などの１つ以上の外部デバイスと通信するように構成されてもよい適切な論理、回路、及び／又は、インタフェースを備えてもよい。１つ以上の外部デバイスとのそのような通信は、通信ネットワーク１１０を介して行われてもよい。無線通信システム２０６としては、アンテナ、テレマティクスユニット、無線周波数（ＲＦ）トランシーバ、１つ以上の増幅器、１つ以上の発振器、デジタル信号プロセッサ、近距離通信（ＮＦＣ）回路、コーダ−デコーダ（ＣＯＤＥＣ）チップセット、及び／又は、加入者識別モジュール（ＳＩＭ）カードを挙げることができるが、これらに限定されない。無線通信システム２０６は、通信ネットワーク１１０を介して、専用短距離通信（ＤＳＲＣ）プロトコルなどの無線通信を介して通信してもよい。

オーディオインタフェース２０８は、スピーカ、チャイム、ブザー、又は、音を発生するようになっていてもよい他のデバイスに接続されてもよい。また、オーディオインタフェース２０８は、ドライバーなどの車両１０２と関連付けられるユーザからの音声入力を受信するためにマイクロホン又は他のデバイスに接続されてもよい。また、オーディオインタフェース２０８は、マイクロプロセッサ２０２に通信可能に更に結合されてもよい。オーディオインタフェース２０８は、車両１０２の車載インフォテインメント（ＩＶＩ）システム又はヘッドユニットの一部であってもよい。

ディスプレイ２１０は、車両１０２に関連する１人以上のユーザに対して様々なタイプの情報を表示するためにディスプレイスクリーンと関連付けられる表示回路を備えてもよい。ディスプレイ２１０は、マイクロプロセッサ２０２に通信可能に結合されてもよい。ディスプレイ２１０の例としては、ヘッドアップディスプレイ（ＨＵＤ）又は拡張現実システムを伴うヘッドアップディスプレイ（ＡＲ−ＨＵＤ）、ドライバー情報コンソール（ＤＩＣ）、投影ベースのディスプレイ、インフォテインメントヘッドユニットのディスプレイ、シースルーディスプレイ、スマートグラスディスプレイ、エレクトロクロミックディスプレイを挙げることができるが、これらに限定されない。車両１０２のディスプレイ２１０に関連する表示回路は、マイクロプロセッサ２０２と通信するために他の入力／出力（Ｉ／Ｏ）デバイスを更に含んでもよい。

ＵＩ ２１０Ａは、マイクロプロセッサ２０２の制御下で、生成された第２の画像又は捕捉された第１の画像をディスプレイ２１０上にグラフィカルにレンダリングするために使用されてもよい。ディスプレイ２１０は、ＵＩ２１０Ａを介して、生成された第２の画像又は捕捉された第１の画像の２次元（２Ｄ）又は３次元（３Ｄ）のグラフィックビューをレンダリングしてもよい。

パワートレイン制御システム２１２とは、車両１０２のエンジン及び送信システムの動作を制御し得る車両１０２の車載コンピュータを指してもよい。パワートレイン制御システム２１２は、点火システム、燃料噴射システム、排気システム、及び／又は、送信システム（設けられている場合）及びブレーキシステム２１６を制御してもよい。

ステアリングシステム２１４はパワートレイン制御システム２１２と関連付けられてもよい。ステアリングシステム２１４は、手動モード又は半自律モード（ドライバー支援モード）で車両１０２の動きを制御するために１人以上のユーザによって使用されてもよいステアリングホイール及び／又は（パワーアシストステアリングのために設けられる）電気モータを含んでもよい。一実施形態によれば、車両１０２が自律モード（自動運転モードとも称される）にあるときに、車両１０２の動き又は操向が自動的に制御されてもよい。ステアリングシステム２１４の例としては、自律ステアリング制御器、パワーアシストステアリングシステム、真空／油圧ベースのステアリングシステム、電気油圧パワーアシストシステム（ＥＨＰＡＳ）、又は、当該技術分野で知られている「ステアバイワイヤ」システムを挙げることができるが、これらに限定されない。

ブレーキシステム２１６は、摩擦力、抗力、及び、揚力のうちの１つの印加に基づいて指定されたルートの途中で車両１０２を減速又は停止させるために使用されてもよい。ブレーキシステム２１６は、車両１０２が自律モード又は半自律モードにあるときに、マイクロプロセッサ２０２の制御下でパワートレイン制御システム２１２からコマンドを受信するように構成されてもよい。

感知システム２１８は、画像捕捉デバイス１０６と、車両１０２内に設置される複数の車両センサ２１８Ａとを備えてもよい。感知システム２１８の画像捕捉デバイス１０６は、車両１０２付近の動作環境１０８（図１を参照）の視野（ＦＯＶ）を捕捉するように構成されてもよい。ＦＯＶは、前部、後部、側部、上部、又は、下部ＦＯＶ、及び／又は、車両１０２から所定の角度を成すＦＯＶを含んでもよい。感知システム２１８は、入力信号を与えるためにマイクロプロセッサ２０２に動作可能に接続されてもよい。ＣＡＮインタフェースなどの１つ以上の通信インタフェースが車載ネットワーク２２２に接続するように感知システム２１８に設けられてもよい。感知システム２１８の例としては、車両速度センサ、走行距離計、ヨーレートセンサ、速度計、ＧＰＳ、ステアリング角度検出センサ、車両動作方向検出センサ、マグノメータ、イメージセンサ、タッチセンサ、赤外線センサ、電波ベースの物体検出センサ、及び／又は、レーザーベースの物体検出センサを挙げることができるが、これらに限定されない。感知システム２１８の複数の車両センサ２１８Ａは、車両１０２の走行方向、地理空間位置、操向角、ヨーレート、速度、及び／又は、速度の変化率を検出するように構成されてもよい。

車体制御モジュール２２０とは、中央ドアロックシステムなどの車両１０２の様々な電子部品又はシステムを制御するように構成されてもよい適切なロジック、回路、インタフェース、及び／又は、コードを備える他の電子制御ユニット（ＥＣＵ）を指してもよい。車体制御モジュール２２０は、車両１０２のアクセス制御のため、中央ドアロックシステムなどの他の適切な車両システム又は構成要素にコマンドを中継してもよい。

車載ネットワーク２２２は、ＥＣＵ１０４、無線通信システム２０６、パワートレイン制御システム２１２、感知システム２１８、及び／又は、車体制御モジュール２２０などの車両１０２の様々な制御ユニット、構成要素、又は、システムが互いに通信できるようにする媒体を含んでもよい。一実施形態によれば、マルチメディアコンポーネントのためのオーディオ／ビデオデータの車載通信は、車載ネットワーク２２２のメディア指向システムトランスポート（ＭＯＳＴ）マルチメディアネットワークプロトコルの使用によって行われてもよい。車載ネットワーク２２２は、ＥＣＵ１０４と、無線通信システム２０６のＥＣＵなどの他のＥＣＵとの間のアクセス、制御、及び／又は、通信を容易にし得る。車両１０２内の様々なデバイスは、様々な有線及び無線通信プロトコルにしたがって車載ネットワーク２２２に接続するように構成されてもよい。ＣＡＮインタフェース、ローカル相互接続ネットワーク（ＬＩＮ）インタフェースなどの１つ以上の通信インタフェースは、車載ネットワーク２２２に接続するために車両１０２の様々な構成要素又はシステムによって使用されてもよい。車載ネットワーク２２２のための有線及び無線通信プロトコルの例としては、車両エリアネットワーク（ＶＡＮ）、ＣＡＮバス、国内デジタルバス（Ｄ２Ｂ）、タイムトリガプロトコル（ＴＴＰ）、ＦｌｅｘＲａｙ、ＩＥＥＥ１３９４、衝突検出を伴うキャリアセンスマルチプルアクセス（ＣＳＭＡ／ＣＤ）ベースのデータ通信プロトコル、相互集積回路（Ｉ^２Ｃ）、機器間バス（ＩＥＢｕｓ）、自動車技術者協会（ＳＡＥ）Ｊ１７０８、ＳＡＥＪ１９３９、国際標準化機構（ＩＳＯ）１１９９２、ＩＳＯ１１７８３、メディア指向システムトランスポート（ＭＯＳＴ）、ＭＯＳＴ２５、ＭＯＳＴ５０、ＭＯＳＴ１５０、プラスチック光ファイバ（ＰＯＦ）、電力線通信（ＰＬＣ）、シリアルペリフェラルインタフェース（ＳＰＩ）バス、及び／又は、ローカル相互接続ネットワーク（ＬＩＮ）を挙げることができるが、これらに限定されない。

バッテリ２２４は、車両１０２に関連する１つ以上の電気回路又は負荷（図示せず）のための電力源であってもよい。例えば、負荷としては、ヘッドライト及び室内キャビンライトなどの様々なライト、車両シート、ミラー、窓などのような電動調整可能な構成要素、及び／又は、他の車載インフォテインメントシステム、例えばラジオ、スピーカ、電子ナビゲーションシステム、電気的に制御された電動及び／又はアシストステアリング、例えばステアリングシステム２１４を挙げることができるが、これらに限定されない。バッテリ２２４は充電式バッテリであってもよい。一実施形態によれば、バッテリ２２４は、ＥＣＵ１０４に対する電力源（破線で示される）、感知システム２１８の１つ以上のセンサ、及び／又は、車載インフォテインメントシステムのディスプレイ２１０などの１つ以上のハードウェアユニットであってもよい。一実施形態によれば、バッテリ２２４は、車両１０２の推進システム（図示せず）に選択的に電力を供給することによって車両１０２のエンジンを始動させるための電力源であってもよい。電気自動車に関しては、バッテリ２２４は、エンジン、インフォテインメント、照明、エアコン、及び、車両１０２の様々な構成要素／デバイスなどの各動作構成要素に定格電力を更に供給してもよい。

車両電力システム２２６は、前述のように、バッテリ２２４から車両１０２の様々な電気回路及び負荷への途切れのない電力の利用可能性及び分配を測定及び調整するように構成されてもよい。車両電力システム２２６は、バッテリ２２４を最適に充電してバッテリ２２４の負荷を適応的に管理するように更に構成されてもよい。車両電力システム２２６は、車両の各動作構成要素に必要な電圧を供給してもよい。車両電力システム２２６は、更に、車両１０２がハイブリッド車両又は自律車両である場合に車両１０２が必要な時間にわたってバッテリ２２４の電力を利用できるようにしてもよい。一実施形態によれば、車両電力システム２２６は、電力エレクトロニクスシステムに対応してもよく、また、車載ネットワーク２２２に通信可能に結合されてもよい（点線で示される）マイクロコントローラを含んでもよい。マイクロコントローラは、マイクロプロセッサ２０２の制御下でパワートレイン制御システム２１２からコマンドを受信してもよい。

動作時、車両１０２に関連するユーザは、車両１０２に関して指定された制御ルーチンに基づいて（プログラム的に）命令を供給してもよい。命令は、車両１０２のユーザインタフェース２１０Ａを介して受信されてもよい。命令は、マップ上の目的地へ移動するように又は地理的な地域の特定の領域をカバーするように車両１０２を構成してもよい。車両１０２は、物流及び商品輸送、個人化された移動、商用移動、監視、セキュリティ、パトロール、及び／又は、他の防衛関連タスクなどの１つ以上のタスクを処理するように構成されてもよい。

車両１０２は、指定されたルート上での車両１０２の走行前にユーザから命令を受信してもよい。或いは、車両１０２は、車両１０２が指定されたルート上又は規定されていないルート上の途中にいるかもしれないときにユーザから命令を受信してもよい。命令は、指定されたルート及び／又は指定されたルートに関する車両制御時間における車両１０２の制御レベルの初期化の要求と関連付けられてもよい。国家高速道路交通安全局（ＮＨＴＳＡ）によって規定される車両１０２の制御レベルは、非自動化の場合にはＳＡＥレベル０を成し、ドライバー支援の場合にはＳＡＥレベル１を成し、部分自動化の場合にはＳＡＥレベル２を成し、条件付き自動化の場合にはＳＡＥレベル３を成し、高自動化の場合にはＳＡＥレベル４を成し、及び、完全自動化の場合にはＳＡＥレベル５を成す。

命令に基づき、他のＥＣＵは、車両電力システム２２６に制御信号を転送して、車両１０２の前述の制御レベルに求められ得る車両１０２の動作構成要素を初期化してもよい。車両電力システム２２６は、バッテリ２２４と連動して、少なくとも無線通信システム２０６、ディスプレイ２１０、パワートレイン制御システム２１２、ステアリングシステム２１４、ブレーキシステム２１６、感知システム２１８、及び、車体制御モジュール２２０に定格電力を供給してもよい。

ＥＣＵ １０４、画像捕捉デバイス１０６、及び、（無線通信システム２０６の）ナビゲーションデバイスを更に初期化して、車両１０２の異なる位置及び異なる想定し得る速度値に関する動きベクトル情報の生成のために指定されたルートを前処理してもよい。一実施形態によれば、ＥＣＵ１０４のマイクロプロセッサ２０２は、車両１０２に関連するユーザから所定の入力を受信するように構成されてもよい。所定の入力は、車両１０２のための１つ以上のナビゲーションパラメータと関連付けられてもよい。車両１０２のための所定の入力は、目的地の住所、車両制御時間、及び／又は、車両１０２によってカバーされるべき特定のエリア又は地域の領域のうちの少なくとも１つを含んでもよい。

一実施形態によれば、マイクロプロセッサは、通信ネットワーク１１０を介して、ユーザからの所定の入力に関する指定されたルートの生成を求める要求をサーバ１１２に送信するように更に構成されてもよい。マイクロプロセッサは、車両１０２の無線通信システム２０６から、ＧＩＳデータとしてデジタル的に記憶される指定されたルート及び関連するメタデータを検索するように更に構成されてもよい。マイクロプロセッサ２０２は、指定されたルート及び指定されたルートのための関連するメタデータをＥＣＵ１０４のメインメモリ２０４Ａに記憶するように構成されてもよい。

一実施形態によれば、車両１０２のマイクロプロセッサ２０２は、指定されたルート上の推定された複数の位置の各位置で車両１０２の複数の速度値に関する動きベクトル情報を生成するように更に構成されてもよい。動きベクトル情報を利用して、指定されたルート上での車両１０２の走行中の連続する位置を予測してもよい。

一実施形態によれば、動きベクトル情報に基づいて、マイクロプロセッサ２０２は、指定されたルート上の推定された複数の位置の各位置で車両１０２の複数の速度値に関して画像カーネルを導出するように更に構成されてもよい。換言すると、複数の画像カーネルが、各位置で車両１０２の複数の速度値に関して導出されてもよい。別の言い方をすると、特定の位置での異なる想定し得る速度値のうちの１つの速度値に関して１つの画像カーネルが有効であってもよく或いは使用されてもよく、また、単一の画像カーネルが一度に補償のために使用されてもよい。各画像カーネルは、指定されたルート上の推定された複数の位置の各位置で車両１０２の複数の速度値に関して生成された動きベクトル情報に基づいて導出されてもよい。マイクロプロセッサ２０２は、指定されたルート上の推定された複数の位置の各位置で車両１０２の複数の速度値に関して導出された複数の画像カーネルをホストメモリ２０４Ｂに記憶するように更に構成されてもよい。

車両１０２が指定されたルート上で移動する際、マイクロプロセッサ２０２は、指定されたルート上の車両１０２の現在の位置で現在の速度値を測定するように更に構成されてもよい。現在の速度値は、感知システム２１８の速度センサ３１２によってほぼリアルタイムに測定されてもよく、また、現在の位置は、感知システム２１８の位置センサ３１０によってほぼリアルタイムに測定されてもよい。マイクロプロセッサ２０２は、車両１０２の現在の位置及び対応する現在の速度値に関して生成された動きベクトル情報を検索してもよい。マイクロプロセッサ２０２は、現在の位置に関して検索された動きベクトル情報に基づいて指定されたルート上の車両１０２の連続する位置を予測するように構成されてもよい。

一実施形態によれば、マイクロプロセッサ２０２は、車載ネットワーク２２２を介して制御信号を感知システム２１８に送信するように更に構成されてもよい。制御信号は、指定されたルート上の連続する各位置で利用可能なビューの第１の画像を捕捉するために感知システム２１８に送信されてもよい。制御信号は、感知システム２１８の画像捕捉デバイス１０６へと経路付けられてもよい。

一実施形態によれば、画像捕捉デバイス１０６は、連続する位置で車両１０２から利用可能なビューを漸進的に走査するように構成されてもよい。漸進的に走査されたビューは、第１の画像のピクセルの横列又は縦列を一度に捕捉することに対応し得る。一実施形態によれば、画像捕捉デバイス１０６は、指定されたルート上での車両１０２の動作中に捕捉されたビデオから第１の画像をフェッチするように構成されてもよい。第１の画像は、第１の画像の複数のピクセルのシフトと関連付けられてもよい。そのようなシフトは、ローリングシャッター効果によって引き起こされる場合があり、これは、指定されたルート上での車両１０２の動作中に明らかとなり得る。

一実施形態によれば、マイクロプロセッサ２０２は、指定されたルート上の車両１０２の現在の速度値及び予測された連続する位置にしたがって導出された複数の画像カーネルのうちの１つを選択するように更に構成されてもよい。導出された画像カーネルは、ローリングシャッター効果によって影響される捕捉された第１の画像のほぼリアルタイムの補償のために選択されてもよい。マイクロプロセッサ２０２は、車載ネットワーク２２２を介して、選択された画像カーネルを画像捕捉デバイス１０６の撮像センサに転送するように構成されてもよい。選択された画像カーネルは、捕捉された第１の画像のオンチップ補償のために転送されてもよい。

一実施形態によれば、画像捕捉デバイス１０６は、画像捕捉デバイス１０６の撮像センサによって捕捉されるピクセルの各横列又は縦列（又はピクセル配列）のラインごとの補償を実行するように更に構成されてもよい。画像捕捉デバイス１０６は、第１の画像の捕捉された横列又は縦列を、選択された画像カーネルの対応する横列又は縦列（線形配列）で変換するように更に構成されてもよい。画像捕捉デバイス１０６は、捕捉された第１の画像のオンチップ補償からほぼリアルタイムで第２の画像を生成するように更に構成されてもよい。生成された第２の画像は、複数のピクセルにおいて最小のシフトを示し得る。

一実施形態によれば、マイクロプロセッサ２０２は、生成された第２の画像を、車両電力システム２２６、パワートレイン制御システム２１２、ステアリングシステム２１４、ブレーキシステム２１６、及び、感知システム２１８内の他の撮像デバイスと関連付けられる他のＥＣＵに転送するように更に構成されてもよい。生成された第２の画像は、速度、加速度、電力、車両１０２と近傍の物体との間の相対的な離間距離、燃料レベル、温度、差分電圧レベル、及び、動作パラメータと関連する目的などの異なる動作パラメータの較正及び制御のために転送されてもよい。目的の例としては、車両１０２を方向転換すること、移動機械からの距離を維持すること、異なる移動機械の相対速度を測定すること、及び、途中の事故ゾーン及び移動機械を予測することを挙げることができるが、これらに限定されない。移動機械は、自動車などの陸上車両、船舶、又は、航空機、ドローン、飛行機などの空中車両であってもよい。

一実施形態によれば、感知システム２１８と関連付けられるマイクロプロセッサ（図示せず）は、車両１０２と関連付けられるセンサデータを車載ネットワーク２２２を介して車両１０２の異なる動作構成要素に通信するように更に構成されてもよい。更に、センサデータは、無線通信システム２０６及び通信ネットワーク１１０を介して、サーバ１１２上に転送されてもよい。センサデータは、車両１０２に設置されたＲＡＤＡＲ、ＬＩＤＡＲ、及び／又は、画像捕捉デバイス１０６などの感知システム２１８からマイクロプロセッサ２０２によって受信される信号に対応してもよい。通信されるセンサデータは、進行方向、現在の車線情報、車両タイプ、エンジン温度、電力レベル、現在の速度値、現在の位置、車両の内部温度、抗力、車両１０２のタイヤ内の空気圧、車両サイズ、車両重量、地理空間的位置、操向角度、ヨーレート、及び／又は、車両加速度を含んでもよい。通信されるセンサデータは、車両１０２の走行中に生成された障害及びデバッグログを更に含んでもよい。車両タイプは、自動車製造業者によって設定されたモデル番号又はブランド名などの特定の情報に対応してもよい。車両タイプは、トラック、コンパクトカー、スポーツユーティリティビークル（ＳＵＶ）などの車両サイズに基づくカテゴリーに更に対応してもよい。車両タイプは、電気自動車（ＥＶ）、内燃機関（ＩＣＥ）車両、動作環境１０８をインテリジェントに感知できる監視されていない自律車両、人のドライバーによって操作される車両、高度運転支援システムを伴う車両、半自律車両、車両間通信が可能な車両、車両間通信ができない車両、タクシー、又は、レンタカーなどの車両１０２の特徴に更に対応してもよい。

一実施形態によれば、マイクロプロセッサ２０２は、車両１０２に関して規定された制御レベルに基づき、車両１０２のパワートレイン制御システム２１２、ステアリングシステム２１４、ブレーキシステム２１６、感知システム２１８、及び／又は、車体制御モジュール２２０などのシステムの１つ以上の構成要素を自動的に制御するように構成されてもよい。

図３は、本開示の一実施形態に係る、車両の撮像センサにおけるローリングシャッター効果のオンチップ補償のための典型的なシステムを示すブロック図である。図３を参照すると、（入力／出力）Ｉ／Ｏインタフェース３０２、マイクロプロセッサ２０２、メインメモリ２０４Ａ、ホストメモリ２０４Ｂ、位置センサ３１０、速度センサ３１２、及び、画像捕捉デバイス１０６の撮像センサ３１８を備える画像捕捉システム３００が示される。画像捕捉システム３００のメインメモリ２０４Ａは、ナビゲーションユニット３０４、生成エンジン３０６、カーネル導出エンジン３０８、予測エンジン３１４、及び、選択エンジン３１６などの様々な計算エンジンを記憶してもよい。或いは、ナビゲーションユニット３０４、生成エンジン３０６、カーネル導出エンジン３０８、予測エンジン３１４、及び、選択エンジン３１６は、専用計算回路、プログラム可能な論理デバイス、又は、デジタル信号処理回路のうちの１つに実装される専用の回路であってもよい。画像捕捉システム３００は、車載ネットワーク２２２を介して、車両１０２（図２に記載）の前述の動作構成要素に通信可能に結合されてもよい。更に、画像捕捉システム３００は、通信ネットワーク１１０を介して、サーバ１１２に通信可能に結合されてもよい。

Ｉ／Ｏインタフェース３０２は、画像捕捉システム３００内及び／又は画像捕捉システム３００の周辺に存在する他のシステム又は回路と通信するように構成されてもよい適切なロジック、回路、インタフェース、及び／又は、コードを備えてもよい。Ｉ／Ｏインタフェース３０２は、通信ネットワーク１１０を介して、有線又は無線通信をサポートするための既知の技術の使用によって実装されてもよい。Ｉ／Ｏインタフェース３０２の構成要素としては、アンテナ、無線周波数（ＲＦ）トランシーバ、１つ以上の増幅器、チューナ、１つ以上の発振器、デジタル信号プロセッサ、コーダ−デコーダ（ＣＯＤＥＣ）チップセット、加入者識別モジュール（ＳＩＭ）カード、及び／又は、ローカルバッファを挙げることができるが、これらに限定されない。

ナビゲーションユニット３０４は、車載ネットワーク２２２を介して車両１０２のナビゲーションのための指定されたルートを検索するように構成されてもよい適切なロジック、回路、インタフェース、及び／又は、コードを備えてもよい。指定されたルートは、マップ上のノード（又はポイントとしての位置）によって継続的に結ばれ得る（有向グラフで構成される）推定経路に対応してもよい。ナビゲーションユニット３０４は、指定されたルートから複数の位置を導出するように構成されてもよい。複数の位置は、各ＧＰＳ位置が緯度（度）及び経度（度）の順序付けられた対（緯度、経度）となり得るようなＧＰＳ位置であってもよい。空中車両の場合、マップ上のＧＰＳ位置に加えて、高さ値が更に導出されてもよい。ナビゲーションユニット３０４は、導出された複数の位置を指定されたルートから生成エンジン３０６に転送するために、生成エンジン３０６と通信可能に結合されてもよい。

生成エンジン３０６は、車両１０２の指定されたルートの導出された複数の位置の各位置に関して動きベクトル情報を生成するように構成されてもよい適切なロジック、回路、インタフェース、及び／又は、コードを備えてもよい。それぞれの位置ごとに、生成エンジン３０６は、車両１０２の複数の速度値で動きベクトル情報を生成してもよい。複数の速度値は、車両１０２の指定されたルートと車両１０２の現在の速度とに基づいて推定された１つの位置に関する想定し得る速度値であってもよい。一実施形態によれば、生成エンジン３０６は、画像捕捉システム３００のメインメモリ２０４Ａに記憶されたコードに基づいて実装されてもよい。一実施形態によれば、生成エンジン３０６は、画像捕捉システム３００のメインメモリ２０４Ａ及びホストメモリ２０４Ｂに関連するスタンドアロン回路として実装されてもよい。更に、生成エンジン３０６がカーネル導出エンジン３０８に通信可能に結合されてもよく、また、生成された動きベクトル情報がカーネル導出エンジン３０８に送信されてもよい。生成された動きベクトル情報は、構造化又は非構造化データスキーマを有するホストメモリ２０４Ｂ内の表形式データベースに記憶されてもよい。

カーネル導出エンジン３０８は、指定されたルート上の複数の位置の各位置で、車両１０２の複数の速度値のそれぞれに関して画像カーネルを導出するように構成されてもよい適切なロジック、回路、インタフェース、及び／又は、コードを備えてもよい。換言すると、複数の画像カーネルが、各位置で車両１０２の複数の速度値に関して導出されてもよい。別の言い方をすると、特定の位置での異なる想定し得る速度値のうちの１つの速度値に関して１つの画像カーネルが有効であってもよく或いは使用されてもよく、また、単一の画像カーネルが一度に補償のために使用されてもよい。各画像カーネルは、車両１０２の複数の速度値及び指定されたルート上の複数の位置に関して生成された動きベクトル情報に基づいて導出されてもよい。各画像カーネルは、車両１０２の動作中に撮像センサ３１８によって捕捉された画像を変換するために導出された複数のフィルタ係数のカーネル行列であってもよい。一実施形態によれば、カーネル導出エンジン３０８は、画像捕捉システム３００のメインメモリ２０４Ａに記憶されたコードに基づいて実装されてもよい。一実施形態によれば、カーネル導出エンジン３０８は、画像捕捉システム３００のメインメモリ２０４Ａ及びホストメモリ２０４Ｂに関連するスタンドアロン回路として実装されてもよい。更に、カーネル導出エンジン３０８は、ＳＲＡＭなどのホストメモリ２０４Ｂに通信可能に結合されてもよい。カーネル導出エンジン３０８は、車両１０２の複数の速度値及び指定されたルート上の複数の位置に関して導出された複数の画像カーネルをホストメモリ２０４Ｂに記憶するように更に構成されてもよい。導出された画像カーネルは、構造化又は非構造化データスキーマを有する他の表形式データベースに記憶されてもよい。

位置センサ３１０は、指定されたルートなどのルート上の途中の車両１０２の現在の位置を推定するように構成されてもよい適切なロジック、回路、インタフェース、及び／又は、コードを備えてもよい。現在の位置は、画像捕捉システム３００に埋め込まれた又は遠隔配置されたシステムに存在するナビゲーションチップから利用可能な位置座標から推定される緯度と経度の値の対として表わされてもよい。一実施形態によれば、位置センサ３１０がＧＰＳ受信機であってもよく、また、位置座標は、一群のＧＰＳナビゲーション衛星から受信されるＧＰＳ座標に対応する。他の実施形態によれば、位置センサ３１０は、ＧＰＳからの通信とは無関係に動作するシステムオンチップ（ＳＯＣ）センサであってもよく、また、ジャイロスコープ、走行距離計、及び、加速度計のうちの１つに基づいて現在の位置を推定してもよい。

速度センサ３１２は、指定されたルートなどのルート上の途中の車両１０２の現在の速度値を推定するように構成されてもよい適切なロジック、回路、インタフェース、及び／又は、コードを備えてもよい。一実施形態によれば、現在の速度値は、車両１０２の推定された現在位置での車両１０２の速度の瞬間値であってもよい。他の実施形態によれば、現在の速度値は、速度センサ３１２から瞬間的に捕捉された１つ以上の速度値からの平均又は加重平均の速度値であってもよい。速度センサ３１２は、車輪、ギアシステム、点火システム、車両シャーシ、車両シャフト、差動装置、及び／又は、車軸などの車両１０２の少なくとも１つの構成要素に実装されてもよい。速度センサ３１２の例としては、ホイールベースのホール効果（ＨＥ）センサ、ギアベースのリードタイプセンサ、タコメータ、カメラベースの速度センサ、及び、位置ベースの速度センサを挙げることができるが、これらに限定されない。或いは、速度センサ３１２は、衛星又はアンテナ回路などの外部システムの使用によって実装されてもよく、推定された現在の位置で車両１０２の瞬間速度値を遠隔的に測定する。

予測エンジン３１４は、車両１０２の現在の位置で車両１０２の連続する位置を予測するように構成されてもよい適切なロジック、回路、インタフェース、及び／又は、コードを備えてもよい。連続する位置は、指定されたルートであってもよいルート上の推定された現在の位置で車両１０２の推定された現在の速度値に関して生成された動きベクトル情報に基づいて予測されてもよい。一実施形態によれば、予測エンジン３１４は、画像捕捉システム３００のメインメモリ２０４Ａに記憶されたコードに基づいて実装されてもよい。一実施形態によれば、予測エンジン３１４は、画像捕捉システム３００のメインメモリ２０４Ａ及びホストメモリ２０４Ｂに関連するスタンドアロン回路として実装されてもよい。更に、予測エンジン３１４は、ＳＲＡＭなどのホストメモリ２０４Ｂに通信可能に結合されてもよい。予測エンジン３１４は、予測された連続する位置を画像捕捉システム３００のメインメモリ２０４Ａ又はホストメモリ２０４Ｂのうちの少なくとも一方に記憶するように更に構成されてもよい。

選択エンジン３１６は、車両１０２の予測された連続する位置に関して導出された複数の画像カーネルのうちの１つを選択するように構成されてもよい適切なロジック、回路、インタフェース、及び／又は、コードを備えてもよい。導出された画像カーネルの選択は、指定されたルート上の車両１０２の推定された現在の位置及び推定された現在の速度値に基づいていてもよい。別の言い方をすれば、導出された画像カーネルの選択は、車両１０２の現在の位置及び現在の速度値に関して生成された動きベクトル情報に基づいていてもよい。導出された画像カーネルは、ホストメモリ２０４Ｂ内の導出された画像カーネルの記憶されたデータベースから選択されてもよい。選択された画像カーネルを使用して、車両１０２の動きによって引き起こされ得るローリングシャッター効果によって影響される画像の歪みを補償するために必要なフィルタ係数を最適にモデル化してもよい。一実施形態によれば、選択エンジン３１６は、画像捕捉システム３００のメインメモリ２０４Ａに記憶されるコードに基づいて実装されてもよい。一実施形態によれば、選択エンジン３１６は、画像捕捉システム３００のメインメモリ２０４Ａ及びホストメモリ２０４Ｂに関連するスタンドアロン回路として実装されてもよい。

撮像センサ３１８は、ビデオなどの画像のシーケンス又は車両１０２における画像捕捉デバイス１０６の実装位置から見えるビューの第１の画像などの画像を捕捉するように構成されてもよい適切なロジック、回路、インタフェース、及び／又は、コードを備えてもよい。撮像センサ３１８は、車両１０２が動いている間に、ビデオなどの画像のシーケンス又は画像を捕捉してもよい。撮像センサ３１８は、ローリングシャッター効果によって影響される画像のオンチップ補償を実行するように更に構成されてもよい。一実施形態によれば、撮像センサ３１８は、相補型金属酸化膜（ＣＭＯＳ）センサなどの能動ピクセルセンサとして実装されてもよい。そのような実装において、撮像センサ３１８は、ＣＭＯＳセンサのセンサコア上のピクセルの各横列又は縦列（１Ｄピクセル配列）の漸進的な走査（ラインごと）を実行するように構成されてもよい。漸進的な走査は、垂直走査（縦列単位で）であってもよく又は水平走査（横列単位で）であってもよい。一実施形態によれば、撮像センサ３１８は、オーバーサンプリングされたバイナリ撮像センサ、平面フーリエ捕捉配列（ＰＦＣＡ）、及び、裏面照射型（ＢＳＩ又はＢＩ）センサのうちの１つとして実装されてもよい。撮像センサ３１８は、センサコア３２０、読み出しレジスタ３２２、複数の現在の画像カーネルレジスタ３２４Ａ…３２４Ｎ、複数の予測された画像カーネルレジスタ３２６Ａ…３２６Ｎ、及び、補償エンジン３２８を備えてもよい。撮像センサ３１８がパッケージ形態で組み込まれてもよく、これは、画像捕捉システム３００における撮像センサ３１８のフォームファクタを更に指定し得る。パッケージ形態の例としては、システムオンチップ（ＳｏＣ）ベースの形態、フィールドプログラマブルゲート配列（ＦＰＧＡ）ベースの形態、複合プログラマブルロジックデバイス（ＣＰＬＤ）ベースの形態、システムインパッケージ（ＳｉＰ）ベースの形態、及び、プログラマブルシステムオンチップ（ＰＳｏＣ）ベースの形態を挙げることができるが、これらに限定されない。図示されないが、撮像センサ３１８は、撮像センサ３１８と一体化される専用のマイクロプロセッサ（又はマイクロコントローラ）及びメモリ及び／又はグラフィック処理ユニット（ＧＰＵ）を更に備えてもよい。

センサコア３２０は、ピクセルレベル回路の配列で照明によって引き起こされる励起を捕捉して捕捉された励起に対応し得る画像を生成するように構成されてもよい適切なロジック、回路、インタフェース、及び／又は、コードを備えてもよい。一実施形態によれば、センサコア３２０は、基板上の能動電荷増幅器と積極的に結合されるフォトダイオードのマトリクスを備えてもよい。以下、基板上の能動電荷増幅器に関連するフォトダイオードのマトリクスがセンサコア３２０のピクセルマトリクスと称されてもよい。言い換えれば、センサコア３２０は、複数の横列及び複数の縦列を成して配置されるピクセルレベル回路の配列を備えてもよい。複数の横列のそれぞれ及び複数の縦列のそれぞれは、横列セレクタ又は縦列セレクタともそれぞれ称される選択ラインに更に関連付けられてもよい。センサコア３２０のピクセルマトリクスの次数は、撮像センサ３１８又は画像捕捉デバイス１０６の第１の分解能（ピクセル単位）を表わしてもよい。一実施形態によれば、撮像センサ３１８の第１の分解能は、撮像センサ３１８によって出力される画像の第２の分解能と異なってもよい。撮像センサ３１８のそのような実装は、図６の説明で更に記載されている。

読み出しレジスタ３２２は、センサコア３２０のピクセルマトリクスから、ピクセルの横列又は縦列などの複数のピクセルのピクセル配列を捕捉して保持するように構成されてもよい適切なロジック、回路、インタフェース、及び／又は、コードを備えてもよい。読み出しレジスタ３２２は、捕捉されたピクセル配列のデジタル値を記憶するためのｎビットレジスタであってもよい。読み出しレジスタ３２２のサイズは、捕捉されたピクセル配列のピクセル値の記憶のためのサイズと関連付けられてもよい。このサイズは、センサコア３２０内のピクセルレベル回路の配列の横列又は縦列から転送される、ピクセル値の記憶のための読み出しレジスタ３２２の記憶容量に対応してもよい。一実施形態によれば、読み出しレジスタ３２２のサイズは、センサコア３２０の（第１の分解能の）幅に等しくてもよい。そのような実施では、センサコア３２０からのピクセルの横列又は縦列の全体が一度に読み出しレジスタ３２２にフラッシュされてもよい。他の実施形態によれば、読み出しレジスタ３２２のサイズは、センサコア３２０の第１の分解能と異なってもよい。そのような実施において、センサコア３２０は、ピクセル値の横列の縦列の全体の記憶のための読み出しレジスタ３２２のサイズ（又は分解能）とは異なってもよい分解能を示すように修正されてもよい。このような実施が図６に詳細に記載されている。

複数の現在の画像カーネルレジスタ３２４Ａ…３２４Ｎは、車両１０２の推定された現在の位置に関する転送された画像カーネルの記憶のための撮像センサ３１８内の専用レジスタ（ＲＣ１、ＲＣ２…ＲＣＮとしても示される）であってもよい。したがって、複数の予測された画像カーネルレジスタ３２６Ａ…３２６Ｎ（ＲＰ１、ＲＰ２…ＲＰＮとしても示される）は、車両１０２の予測された連続する位置に関する転送された画像カーネルの記憶のための撮像センサ３１８内の専用レジスタであってもよい。複数の現在の画像カーネルレジスタ３２４Ａ…３２４Ｎ及び複数の予測された画像カーネルレジスタ３２６Ａ…３２６Ｎのそれぞれは、それぞれの導出された画像カーネルの長さに等しい長さのｍビットレジスタであってもよい。

補償エンジン３２８は、撮像センサ３１８のセンサコア３２０からの捕捉された画像における複数のピクセルのシフトを補償するように構成されてもよい適切なロジック、回路、インタフェース、及び／又は、コードを備えてもよい。補償は、車両１０２の動作中に捕捉される複数のピクセルの変換に基づいて行われてもよい。一実施形態によれば、補償エンジン３２８は、ラインごと（横列又は縦列ごと）の補償など、捕捉された画像の直列化された（又は順次の／漸進的な）補償のために構成されてもよい。一実施形態によれば、補償エンジン３２８は、再現又は反復を伴うことなく単一の動作サイクルで完全に捕捉された画像を同時に補償するように構成されてもよい。別の言い方をすれば、幾つかの実施形態では、１つの画像が複数の反復を伴うことなく一度に補償されてもよい。幾つかの実施形態では、捕捉された全ての画像が並行プロセスで同時に補償されてもよい。一実施形態によれば、補償エンジン３２８は、撮像センサ３１８の集積メモリ（図示せず）に記憶されるコードに基づいて実装されてもよい。一実施形態によれば、補償エンジン３２８は、撮像センサ３１８の集積メモリに関連するスタンドアロン回路として実装されてもよい。補償エンジン３２８が集積メモリに通信可能に結合されてもよく、また、補償エンジン３２８は、撮像センサ３１８の集積メモリ内のシフト補償されたピクセル配列などの補償されたレジスタ値を記憶して更新するように更に構成されてもよい。

動作時、制御信号は、車両１０２に関連するユーザからの所定の入力に応じて画像捕捉システム３００のＩ／Ｏインタフェース３０２で受信されてもよい。所定の入力は、車両１０２のための１つ以上のナビゲーションパラメータと関連付けられてもよい。車両１０２のための所定の入力は、（図１で説明したように）目的地の住所、車両１０２の制御時間、及び／又は、車両１０２によってカバーされるべき特定のエリア又は領域／地域のうちの少なくとも１つを含んでもよい。所定の入力に応じて、ナビゲーションユニット３０４は、画像捕捉システム３００に通信可能に結合されるナビゲーションユニット３０４から指定されたルートを検索するように更に構成されてもよい。指定されたルートは、指定されたルートに沿う車両１０２のナビゲーション及び走行のために検索されてもよい。ナビゲーションユニット３０４は、車両１０２のための検索されたルートから複数の位置を（位置座標として）推定するように更に構成されてもよい。別の言い方をすると、複数の位置座標は、指定されたルート上のノード又は無作為に分散されたポイントであってもよい複数のポイントに関して計算されてもよい。

複数の位置のそれぞれの推定された位置は、度又はマイルやメートルなどの距離指標で測定された変位値によって隣接するポイントから分離されてもよい。一実施形態によれば、変位値は、指定されたルート上のポイントの選択のための所定の基準に基づいて導出されてもよい適応変位値であってもよい。指定されたルート上のポイントの選択のための所定の基準は、指定されたルートの選択が車両１０２の向き、方向、又は、加速度の頻繁な変化を引き起こし得るときにより多くのポイントを選択する第１のルールを含む。例えば、指定されたルートの選択は、指定されたルートの横断勾配又はキャンバー、機動性が低い通路、チョークポイント、シケイン、開放した縁石延在部、コーニス、交差点、及び／又は、他の非線形及び段階的なプロファイルを含んでもよい。所定の基準は、指定されたルートが直線である或いは車両１０２の向き、方向、又は、加速度に僅かな変化を引き起こすときに指定されたルート上のポイントをまばらに選択する第２のルールを含んでもよい。例えば、指定されたルート「Ｒ１」のセクション「Ｓ１」、セクション「Ｓ２」、及び、セクション「Ｓ３」は、「Ｓ」プロファイル、直線状のプロファイル、及び、「Ｕ」プロファイルをそれぞれ示してもよい。ナビゲーションユニット３０４は、指定されたルート「Ｒ１」の「Ｓ」プロファイルセクション「Ｓ１」上及び「Ｕ」プロファイルセクション「Ｓ３」上のそれぞれの３０個の位置ポイント及び「２５」個の位置ポイントなどのより多くのポイントを選択するように構成されてもよい。したがって、ナビゲーションユニット３０４は、直線状プロファイルセクション「Ｓ２」上のより少ないポイントである「５」個の位置ポイントを選択するように構成されてもよい。選択された位置ポイントは、指定されたルート「Ｒ１」の「Ｓ」プロファイルセクション「Ｓ１」の場合には「１フィート」、直線状プロファイルセクション「Ｓ２」の場合には「５フィート」、「Ｕ」プロファイルセクション「Ｓ３」の場合には「２．５フィート」などの適応変位値と更に関連付けられてもよい。

他の実施形態によれば、変位値は、指定されたルート上のポイントの各対間に均一に存在する一定値であってもよい。例えば、ルート「Ｒ２」が「Ｘ」個の等しい距離を隔てた位置ポイントと関連付けられてもよく、この場合、各位置ポイントは隣接する位置ポイントから１フィート又は何らかの所定の離間距離だけ分離され、ここで、「Ｘ」は正の整数値である。したがって、ナビゲーションユニット３０４は、指定されたルートの推定された複数の位置のそれぞれの推定された位置ごとに複数の速度値を推定するように更に構成されてもよい。それぞれの推定された位置に関する複数の速度値は、指定されたルート上の対応する位置での車両１０２の想定し得る速度値に対応してもよい。

一実施形態によれば、複数の速度値は、指定されたルート上の車両１０２の方向及び／又は方向の想定し得る頻繁な変動にしたがって指定されたルートのそれぞれのセクションごとに適応的に推定されてもよい。例えば、指定されたルート上の曲がり角セクションは、より低い速度値、例えば５マイル／時、７マイル／時、及び、９マイル／時と関連付けられてもよく、一方、指定されたルートの直線状のセクションは、より高い速度値、例えば「１０マイル／時」、「２０マイル／時」、「３０マイル／時」、及び、「４０マイル／時」と関連付けられてもよい。したがって、ナビゲーションユニット３０４は、各推定速度値間の差が小さいより低い速度値を推定するとともに、各推定速度値間の差が大きいより高い速度値を推定してもよい。

一実施形態によれば、複数の速度値は、指定されたルートのそれぞれのセクションごとに非適応的に推定されてもよい。複数の速度値の非適応推定は、推定された複数の速度値間の特定の関係と更に関連付けられ、それにより、例えば、速度値の等差数列（ＡＰ）に基づいて速度値を推定してもよい。そのような推定は、指定されたルート上の車両１０２の方向及び／又は向きの想定し得る頻繁な変動に関するずれに起因するおおよその推定であってもよい。例えば、指定されたルート上のセクションは、ＡＰにしたがう速度値、例えばＮ、２Ｎ、３Ｎ、４Ｎと関連付けられてもよく、この場合、Ｎは、指定されたルートの特定のセクションのための初期基準速度値であってもよい。したがって、５マイル／時の初期基準速度値の場合、残りの速度値は、「２ ｘ ５マイル／時」（「１０マイル／時」）、「３ ｘ ５マイル／時」（「１５マイル／時」、及び、「４ ｘ ５マイル／時」（「２０マイル／時」）として推定されてもよい。前述の速度推定技術は、以下に説明されるように、異なる位置及び異なる位置のそれぞれにおける異なる速度値に関する動きベクトル情報の導出中に計算サポートを更にもたらし得る。推定された複数の位置及び推定された複数の速度値は、画像捕捉システムの生成エンジン３０６に更に送信されてもよい。

生成エンジン３０６は、複数の位置と、複数の位置の各位置に関する関連する複数の速度値とを受信するように構成されてもよい。その後、生成エンジン３０６は、指定されたルートの複数の位置の各位置で車両１０２の複数の速度値に関して動きベクトル情報を生成するように更に構成されてもよい。動きベクトル情報は、指定されたルート上の第１の位置の位置座標と第２の位置の対応する位置座標との差に基づいて指定されたルート上の各速度値及び各位置で計算（又は生成）されてもよい。

各速度値及び各位置での動きベクトル情報は、指定されたルート上の車両１０２に関する動きベクトルに対応してもよい。動きベクトルは、指定されたルート上の車両１０２の各位置及び各速度値における第１の位置識別子及び第２の位置識別子の順序付けられた対であってもよい。第１の位置識別子は、第２の位置の緯度と、指定されたルート上の第１の位置の対応する緯度との差に基づいて導出されてもよい。したがって、第２の位置識別子は、第２の位置の経度と、指定されたルート上の第１の位置の対応する経度との差に基づいて導出されてもよい。別の言い方をすると、指定されたルート上の第１の位置の位置座標と第２の位置の対応する位置座標との差が、各位置で動きベクトル情報を与えてもよい。例えば、以下には、Ｎマイル／時の第１の速度及び２Ｎマイル／時の第２の速度に関する動きベクトル（又は動きベクトル情報）の表形式の表示を与える表１が示される。表１は、位置インデックス（ＬＣ）に関する第１の縦列、位置の緯度（ＬＴ）に関する第２の縦列、位置の経度（ＬＮ）に関する第３の縦列、Ｎマイル／時及び２Ｎマイル／時の速度値における動きベクトルの第１の位置識別子（ＭＶ_Ｘ）に関する第４及び第６の縦列、Ｎマイル／時及び２Ｎマイル／時の速度値における動きベクトルの第２の位置識別子（ＭＶ_Ｙ）に関する第５及び第７の縦列を与える。

表１を参照すると、Ｎマイル／時の速度値の場合、「１」の位置インデックス（ＬＣ）に関する動きベクトル（ＭＶ_Ｘ、ＭＶ_Ｙ）は、以下のように評価されてもよい。

表１を参照すると、２Ｎマイル／時の速度値の場合、「１」の位置インデックス（ＬＣ）に関する動きベクトル（ＭＶ_Ｘ、ＭＶ_Ｙ）は、以下のように評価されてもよい。

上記のように、指定されたルート上の第１の位置及び第２の位置は、指定されたルートに関する車両１０２の複数の速度値の各速度値に基づいて選択されてもよい。言い換えれば、動きベクトル情報の生成のために、第１の位置及び第２の位置は、車両１０２の異なる速度値に関して適応的に選択されてもよい。例えば、「Ｎマイル／時」の速度値での動きベクトルに関して、「２」の位置インデックスに対応する第２の位置の経度及び緯度が選択されてもよい。したがって、「２Ｎマイル／時」の速度値での動きベクトルに関して、「３」の位置インデックスに対応する第２の位置の経度及び緯度が選択されてもよい。生成エンジン３０６は、複数の位置のそれぞれに関して緯度及び経度の差を反復的に計算するように更に構成されてもよい。動きベクトルの総数（Ｎ_ＭＶ）は、「Ｐ×Ｑ」（又はＰＱ）に等しくてもよく、この場合、「Ｐ」は幾つかの位置であってもよく、「Ｑ」は幾つかの速度値であってもよい。生成エンジン３０６は、複数の位置のそれぞれにおける車両１０２のそれぞれの推定速度値ごとに生成された動きベクトル情報を記憶するように更に構成されてもよい。生成された動きベクトル情報は、画像捕捉システム３００のメインメモリ２０４Ａに記憶されてもよい。

カーネル導出エンジン３０８は、指定されたルートの複数の位置のそれぞれにおいて車両１０２のそれぞれの推定速度値ごとに生成された動きベクトル情報を検索するように構成されてもよい。生成された動きベクトル情報は、画像捕捉システム３００のメインメモリ２０４Ａから検索されてもよい。その後、指定されたルート上の複数の位置のそれぞれにおいて、カーネル導出エンジン３０８は、車両１０２の複数の速度値のそれぞれに関して画像カーネルを導出するように構成されてもよい。換言すると、複数の画像カーネルが、各位置で車両１０２の複数の速度値に関して導出されてもよい。別の言い方をすると、特定の位置での異なる想定し得る速度値のうちの１つの速度値に関して１つの画像カーネルが有効であってもよく或いは使用されてもよく、また、単一の画像カーネルが一度に補償のために使用されてもよい。導出された各画像カーネルは、撮像センサ３１８の第１の分解能と同等の次数を有するカーネル行列として配置される複数のフィルタ係数を含む。生成された動きベクトル情報と、車両１０２から捕捉され得る画像の複数のピクセルにおける起こり得るシフトとの間の関係が検出されてもよい。各画像カーネルは、生成された動きベクトル情報に基づいて導出されてもよい。一実施形態によれば、撮像センサ３１８のピクセルの横列又は縦列に対応するピクセル配列に関するカーネル係数（又はカーネル値）は、特定の位置に関する対応する動きベクトル情報から評価されてもよい。

１つの例において、表１における位置インデックス（ＬＣ）に関する画像カーネル（Ｋ_Ｃ）は、以下のように式（１）によって与えられてもよい。

ここで、画像カーネル（Ｋ_Ｃ）の各横列又は縦列は、撮像センサ３１８のピクセルの対応するピクセル配列（又は横列／縦列）に関するカーネル係数の横列又は縦列を含んでもよい。一実施形態によれば、導出された画像カーネルの次数は、撮像センサ３１８の第１の分解能に等しくてもよい。

他の例において、表１における位置インデックス（ＬＣ）に関する画像カーネル（Ｋ_Ｃ）は、以下のように式（２）によって与えられてもよい。

ここで、画像カーネル（Ｋ_Ｃ）の各横列又は縦列は、撮像センサ３１８のピクセルの対応するピクセル配列（又は横列／縦列）に関して、０、１、２、３などのカーネル係数を含んでもよい。一実施形態によれば、導出された画像カーネルの次数は、撮像センサ３１８内のピクセルの縦列の次数と等しくてもよい。

カーネル導出エンジン３０８は、指定されたルート上の複数の位置のそれぞれで車両１０２の複数の速度値に関して導出された画像カーネルを記憶するように更に構成されてもよい。導出された画像カーネルは、画像捕捉システム３００のホストメモリ２０４Ｂ（又はメモリデバイス）に記憶されてもよい。一実施形態によれば、前述の画像カーネル又は動きベクトル情報は、指定されたルートに関して車両１０２の自律モードが選択される前に導出されて記憶されてもよい。一実施形態によれば、画像カーネル又は動きベクトル情報は、指定されたルート上での車両１０２の走行前に導出されてもよい。

指定されたルート上での車両１０２の動作中、車両１０２は、推定された複数の速度値のうちの１つ以上で推定された複数の位置をカバーしてもよい。車両１０２の現在の速度値及び現在位置の推定は、車両１０２の動作中に実行されてもよい。画像捕捉システム３００内の位置センサ３１０及び速度センサ３１２は、車両１０２の現在の位置及び現在の速度値をそれぞれ推定するように構成されてもよい。現在の速度値及び現在の位置の推定を利用して、指定されたルート上の車両１０２の連続する位置を予測してもよい。

特定の条件において、車両１０２は、車両１０２に関して指定されたルートとは異なるルートで運転されてもよい。そのような差別化は、ユーザによる車両１０２の手動運転によって引き起こされてもよい。更新されたルートは、車両１０２の現在の位置から評価されてもよく、また、更新された画像カーネル及び更新された動きベクトル情報は、車両１０２の更新されたルートに関して生成されてもよい。

予測エンジン３１４は、メインメモリ２０４Ａから、車両１０２の推定された現在の位置及び推定された現在の速度値に関する動きベクトル情報を検索するように構成されてもよい。その後、予測エンジン３１４は、車両１０２の現在の位置で、指定されたルート上の車両１０２の連続する位置を予測するように更に構成されてもよい。予測は、指定されたルート上の現在の位置における車両１０２の現在の速度値に関して生成された動きベクトル情報に基づいてもよい。別の言い方をすれば、連続する位置の予測は、指定されたルート上の車両１０２の現在の位置からの動きベクトル情報の加算又は減算に基づいてもよい。

一実施形態によれば、「Ｎマイル／時」の現在の速度値及び「ｎ」の位置インデックスにおける現在の位置（ＬＣ_Ｘ（ｎ）、ＬＣ_Ｙ（ｎ））での動きベクトル（ＭＶ_Ｘ（ｎ）、ＭＶ_Ｙ（ｎ））度に関して、連続する位置（ＬＣ_Ｘ（ｎ＋１）、ＬＣ_Ｙ（ｎ＋１））は以下の式（３），（４）から予測されてもよい。

例えば、「３０マイル／時」の現在の速度値及び（「７７．６９１８３４１９」、「１２．９２９８４３７４」）度の「１」のＬＣ（表１を参照）における現在の位置での（「２．２８Ｅ−５」、「３．４３Ｅ−６」）度の動きベクトル（ＭＶ_Ｘ、ＭＶ_Ｙ）に関して式（３）及び式（４）を使用して、連続する位置（ＬＣ_Ｘ（２）、ＬＣ_Ｙ（２））が以下のように予測されてもよい。

予測された連続する位置は、予測エンジン３１４によって画像捕捉システム３００の選択エンジン３１６に与えられてもよい。選択エンジン３１６は、車両１０２の予測された連続する位置に関して導出された画像カーネルを選択するように更に構成されてもよい。予測された連続する位置に関して導出された画像カーネルは、指定されたルート上の車両１０２の予測された連続する位置及び推定された現在の速度値に基づいて選択されてもよい。別の言い方をすると、選択エンジン３１６は、指定されたルート上の車両１０２の現在の速度値及び予測された連続する位置に関して導出された画像カーネルを識別又は検索してもよい。検索は、ホストメモリ２０４Ｂに記憶されたデータベースで実行されてもよい。更に、選択エンジン３１６は、指定されたルート上の車両１０２の現在の速度値及び現在の位置に関して導出された画像カーネルを選択するように更に構成されてもよい。車両１０２の現在の位置及び現在の速度値に関して導出された画像カーネルは、車両１０２が指定されたルート上の現在の位置に到達する前に、撮像センサ３１８の複数の現在の画像カーネルレジスタ３２４Ａ…３２４Ｎに転送されてもよい。その後、選択エンジン３１６は、予測された連続する位置に関して導出された画像カーネルを撮像センサ３１８の複数の現在の画像カーネルレジスタ３２４Ａ…．３２４Ｎ内に転送するように構成されてもよい。予測された連続する位置に関して導出された画像カーネルは、ホストメモリ２０４Ｂから、指定されたルート上の車両１０２の現在の位置で、撮像センサ３１８の複数の現在の画像カーネルレジスタ３２４Ａ…．３２４Ｎ内に転送されてもよい。車両１０２の現在の位置における連続する位置に関して導出された画像カーネルをホストメモリ２０４Ｂから撮像センサ３１８の複数の現在の画像カーネルレジスタ３２４Ａ…３２４Ｎ内に転送することが有利となり得る。転送は、車両１０２の動作中に捕捉された画像の複数のピクセルにおける位置シフトのほぼリアルタイムのオンチップ補償を確定する。

撮像センサ３１８内で、撮像センサ３１８に関連する専用のマイクロプロセッサは、撮像センサ３１８のセンサコア３２０に制御信号を与えるように構成されてもよい。撮像センサ３１８又は具体的にはセンサコア３２０は、指定されたルート上の予測された連続する位置で第１の画像を捕捉するように構成されてもよい。第１の画像は、センサコア３２０内のピクセルレベル回路の配列で照明によって引き起こされ得る捕捉された励起と同等であってもよい。

第１の画像は、ローリングシャッター効果によって引き起こされ得る複数のピクセルのシフトを示してもよい。複数のピクセルのシフトは、撮像センサ３１８のセンサコア３２０によって捕捉される、複数のピクセル値の各ピクセル値の位置シフトに対応してもよい。更に、撮像センサ３１８のセンサコア３２０は、撮像センサ３１８のセンサコア３２０によって捕捉されるべき予期されたピクセル値に対するものとしてノイズに影響されたピクセル値を捕捉してもよい。そのようなずれは、対向する車両又は物体によって引き起こされ得る照明、低光ノイズなどによってもたらされてもよい。

一実施形態によれば、捕捉された第１の画像の複数のピクセルのシフトは、（図５Ｂに示すように）捕捉された第１の画像の対応するピクセル配列内の複数のピクセルの各ピクセルの循環シフトであってもよい。一実施形態によれば、捕捉された第１の画像の複数のピクセルのシフトは、捕捉された第１の画像の対応するピクセル配列内の複数のピクセルの各ピクセルの左シフトであってもよい。一実施形態によれば、捕捉された第１の画像の複数のピクセルのシフトは、捕捉された第１の画像の対応するピクセル配列内の複数のピクセルの各ピクセルの右シフトであってもよい。対応するピクセル配列は、捕捉された第１の画像の横列又は縦列であってもよい。

一実施形態によれば、捕捉された第１の画像の対応するピクセル配列内の複数のピクセルのシフトは、（図５Ｂに示されるように）一定であってもよい。一実施形態によれば、捕捉された第１の画像の複数のピクセル配列内の複数のピクセルのシフトは、ステップサイズに基づいて更に変化してもよい。ステップサイズは、更に、現在の速度値と、指定されたルート上の車両１０２の現在の位置に関して生成された動きベクトル情報とに基づいていてもよい。

例えば、ピクセル位置を１、２、３、……、ｎとして指定する最初の３つの予期されるピクセル配列Ｐ［ｎ］が以下のように与えられ（行列（５）によって示される）、ここで、ｎは、各ピクセル配列の長さ、並びに、捕捉された第１の画像の幅に等しい。

ピクセル位置を１、２、３、……、ｎとして指定する最初の３つの捕捉されたピクセル配列Ｐ［ｎ］が以下のように与えられ（行列（６）によって示される）、ここで、ｎは、各ピクセル配列の長さ（６）、並びに、捕捉された第１の画像の幅に等しい。

上記の行列（６）の例を続けると、前述のように、ピクセル位置のシフトは、第１のピクセル配列Ｐ_１［ｎ］に関しては「０」であり、第２のピクセル配列Ｐ_２［ｎ］に関しては「１」であり、第３のピクセル配列Ｐ_３［ｎ］に関しては「２」である。したがって、ピクセル位置のシフトは、捕捉されたピクセル配列（横列）に関しては一定であり、横列ごとに下方に移動しながら、「１」のステップサイズだけ変化する。一実施形態によれば、捕捉された第１の画像の対応するピクセル配列内の複数のピクセルのシフトは変化し得る（図示せず）。したがって、捕捉された第１の画像の複数のピクセル配列内の複数のピクセルのシフトは、ステップサイズに基づいて更に変化し得る。

一実施形態によれば、第１の画像は、センサコア３２０からのピクセル配列（ピクセルの横列又は縦列）の漸進的走査に基づいて捕捉されてもよい。そのような場合、対応する捕捉されたピクセル配列内の複数のピクセルのシフトの補償が必要とされる場合がある。読み出しレジスタ３２２は、各読み出しサイクルにおいて撮像センサ３１８のセンサコア３２０からフラッシュされるピクセル値のピクセル配列を記憶するように構成されてもよい。ピクセル値のピクセル配列は、センサコア３２０のピクセルレベル回路の垂直の漸進的走査又は水平の漸進的走査に基づいてピクセル値が捕捉されるかどうかに応じて、ピクセル値の横列又はピクセル値の縦列のうちの一方と関連付けられてもよい。例えば、読み出しレジスタ３２２にフラッシュアウトされる記憶されたピクセル配列（Ｐ［ｉ］）は、以下のように与えられてもよい（（スキーマ７）によって表わされる）。

前述（スキーマ７）したように、記憶されたピクセル配列（Ｐ［ｉ］）は一連のピクセル値を含んでもよく、これは、角括弧内のピクセル位置によって更にマークされてもよい。ここで、ｉは１…ｎの範囲であってもよく、この場合、ｎは、捕捉された第１の画像の幅又は読み出しレジスタ３２２の長さに対応してもよい。

上記の実施形態を参照すると、補償エンジン３２８は、撮像センサ３１８内の捕捉された第１の画像における複数のピクセルのシフトを補償するように構成されてもよい。捕捉された第１の画像の複数のピクセルのシフトの補償は、捕捉された第１の画像のラインごとの補償と称されてもよい。ラインごとの補償は、捕捉された第１の画像の各ピクセル配列の順次補償に対応してもよい。更に、補償は、車両１０２の予測された連続する位置に関して導出された画像カーネルに基づいてもよい。

第１の画像における複数のピクセルのシフトを補償するための様々な技術が以下に説明されている。しかしながら、本開示の範囲は、以下の典型的な技術の説明によって限定されると解釈されない場合がある。

第１の技術において、補償エンジン３２８は、捕捉された第１の画像の複数のピクセルのピクセル配列を撮像センサ３１８の読み出しレジスタ３２２から受信するように構成されてもよい。複数のピクセルのピクセル配列は、捕捉された第１の画像の横列又は縦列に対応してもよい。その後、補償エンジン３２８は、車両１０２の連続する位置に関して導出された画像カーネルの画像カーネル配列を選択するように更に構成されてもよい。画像カーネル配列は、捕捉された第１の画像の対応する受信されたピクセル配列に関して選択されてもよい。したがって、動きベクトル情報は、車両１０２の連続する位置を予測するためだけでなく、画像カーネル配列を生成／導出するためにも使用される。受信されたピクセル配列及び選択された画像カーネル配列は、撮像センサ３１８の専用レジスタ（図示せず）又は集積メモリ（図示せず）に記憶されてもよい。捕捉された第１の画像のシフト補償されたピクセル配列は、補償エンジン３２８によって生成されてもよい。シフト補償されたピクセル配列は、導出された画像カーネルの選択された画像カーネル配列による受信されたピクセル配列の変換に基づいて生成されてもよい。変換は、選択された画像カーネル配列と捕捉された第１の画像の受信されたピクセル配列との間の算術演算又は論理演算であってもよい。典型的な変換としては、加算、乗算、除算、減算、論理ＡＮＤ、論理ＯＲ、論理ＮＡＮＤ、論理ＮＯＲ、論理ＸＯＲ、シフト、及び、論理ＮＯＴを挙げることができるが、これらに限定されない。補償エンジン３２８は、捕捉された第１の画像の複数のピクセル配列のそれぞれに関して撮像センサ３１８の集積メモリ内のシフト補償されたピクセル配列を更新するように更に構成されてもよい。シフト補償されたピクセル配列は、（図５Ｃに示されるように）更新された画像を取得するために集積メモリ内で繰り返し更新されてもよい。更新された画像は、（図５Ｃに示されるように）複数の望ましくないピクセルに対応し得る更新された画像の第１の分解能内の領域と関連付けられてもよい。

例えば、受信された長さ（ｎ）のピクセル配列（Ｐ［ｉ］）及び選択された画像カーネル配列（Ｋ_Ｃ［ｉ］）が以下に与えられる。

（８）及び（９）に示されるように、選択された画像カーネル配列（Ｋ_Ｃ［ｉ］）によって減算ベースの変換が受信されたピクセル配列（Ｐ［ｉ］）に適用されてもよい。言い換えると、選択された画像カーネル配列（Ｋ_Ｃ［ｉ］）は、マトリクス減算によって受信されたピクセル配列（Ｐ［ｉ］）から減算されてもよい。各係数Ｋ_Ｃ［１］、Ｋ_Ｃ［２］、…、Ｋ_Ｃ［ｎ］は、シフト補償されたピクセル配列（ＰＳ［ｉ］）を取得するために受信されたピクセル配列の対応する位置値から差し引かれてもよい。シフト補償されたピクセル配列（ＰＳ［ｉ］）は以下のように与えられてもよい。

変換によってもたらされる位置シフト補償は、（１０）に示されるように、望ましくないピクセルに対応する空の位置、つまり、シフト補償されたピクセル配列（ＰＳ［ｉ］）の０番目の位置をもたらしてもよい。

更新された画像内の複数の望ましくないピクセルを更に補償するために、補償エンジン３２８は、リアルタイム又はほぼリアルタイムで第２の画像を生成するべく２つの技術（後述する）のうちの１つを更に実施してもよい。生成された第２の画像は、撮像センサ３１８からの最適に補償された出力画像であってもよい。

一実施形態によれば、補償エンジン３２８は、（図５Ｄに示されるように）更新された画像内の複数の望ましくないピクセルに対応する領域を除去するように構成されてもよい。言い換えると、補償エンジン３２８は、複数の望ましくないピクセルを備えてもよい更新された画像の領域を廃棄してもよく、また、更新された画像の第１の分解能から複数の望ましくないピクセルの領域を引いた領域を更に選択してもよい。第２の画像は、更新された画像からの望ましくない領域の除去から取得されてもよいが、第２の画像の第２の分解能は、更新された画像又は捕捉された第１の画像の第１の分解能より低くてもよい。例えば、第２の画像の幅は、捕捉された第１の画像又は更新された画像の幅より小さくてもよい。

一実施形態によれば、補償エンジン３２８は、（図５Ｅに示されるように）更新された画像内の複数の望ましくないピクセルに対応する領域に隣接して位置する領域にピクセル値を投入するように構成されてもよい。捕捉された第１の画像の第１の分解能に等しい第２の分解能を有する第２の画像が取得されてもよい。

第２の技術において、撮像センサ３１８のセンサコア３２０は、（図６に示されるように）第２の画像にとって望ましい又は目標の分解能より高くてもよい第１の分解能で第１の画像を捕捉するように構成されてもよい。撮像センサ３１８のセンサコア３２０は、指定されたルート上の車両１０２の予測された連続する位置で複数のピクセル（横列又は縦列）のスケーリングされたピクセル配列を捕捉するように構成されてもよい。

補償エンジン３２８は、車両１０２の現在の速度値で引き起こされ得る最大シフトを局所的に予測してもよい。その後、補償エンジン３２８は、スケーリングされたピクセル配列から第２の分解能を有する第１のピクセル配列を選択してもよい。第１のピクセル配列の選択は、対応するスケーリングされたピクセル配列内の複数のピクセルの局所的に予測された最大シフトに基づいてもよい。別の言い方をすれば、対応する各位置での選択されたピクセル配列に対する最大シフトの影響が最小になるように指定されたルート上のそれぞれの位置ごとに第１のピクセル配列が適応的に選択されてもよい。捕捉されたピクセル配列は、選択された第１のピクセル配列の対応する長さ（又は幅）より大きくてもよい長さ（又は幅）と関連付けられてもよい。その後、補償エンジン３２８は、それぞれの捕捉されたピクセル配列ごとに撮像センサ３１８の集積メモリ内の第１のピクセル配列を更新するように構成されてもよい。第２の画像は、撮像センサ３１８の集積メモリ内の選択された第１のピクセル配列の反復更新によって取得されてもよい。撮像センサ３１８が第１の分解能と関連付けられてもよく、また、第２の画像が第２の分解能と関連付けられてもよい。撮像センサ３１８の第１の分解能は、第２の画像の第２の分解能以上であってもよい。

より高い分解能で、撮像センサ３１８は、所望のビューとは対照的に、より幅広いビューを有利に捕捉してもよい。第１の画像内の捕捉されたより幅広いビューが余分な領域を含んでもよい。そのような余分な領域は、第１の画像の境界付近に存在する場合があり、単一の走査サイクルで低分解能の撮像センサでは以前はアクセスできなかった領域を捕捉し得る。このような余分な領域は、複数のピクセルのシフトによって影響され得る。したがって、補償エンジン３２８は、読み出し段階で、捕捉されたビューの余分な領域に対応する複数のピクセルを拒否してもよい。実際には、第２の画像は、優れた品質及び所望の分解能を有してもよく、車両１０２の（図２に記載されるような）他の動作構成要素による使用に更に適してもよい。第２の画像は、捕捉された第１の画像において引き起こされるローリングシャッター効果が補償されてもよい。

前述の技術による捕捉された第１の画像の複数のピクセルのシフトの補償は、撮像センサ内のオンチップ補償であってもよい。好適には、オンチップ補償は、リアルタイム又はほぼリアルタイムで実行されてもよく、それにより、車両１０２の他の動作構成要素による第２の画像のアクセス可能性に伴う遅延が低減される。車両１０２の異なる速度値に関するピクセルの位置シフトを適応的に補償することは更に有利であり、これにより、車両１０２の非常に速い動作において、例えば速度閾値「Ｘ」を超える速度で生成され得る最適な画質が確保される。

幾つかの実施形態において、捕捉された第１の画像の複数のピクセルのシフトは、捕捉された第１の画像に関して単一の動作サイクルで同時に全体的に補償されてもよい。全体的な補償は、捕捉された第１の画像の異なるピクセル配列の同時補償に対応してもよい。全体的な補償は、ラインごとの補償と同様に実行されてもよく、したがって、簡潔にするために説明が省かれている。

図４Ａ及び図４Ｂは、本開示の一実施形態に係る、車両に供給される典型的なルート、及び、典型的なルートから導出される動作情報のプロットを示す。図４Ａ及び図４Ｂは、図１、図２、及び、図３からの要素と関連して説明される。図４Ａを参照すると、画像捕捉システム３００のナビゲーションユニット３０４に供給されるルート４０２の典型的な図が示される。図示のように、ルート４０２は、ルート開始マーカー４０４Ａ、複数の位置マーカー４０４Ｂ、及び、終了ルートマーカー４０４Ｃを備えてもよい。連続的な経路が、ルート開始マーカー４０４Ａ、複数の位置マーカー４０４Ｂ、及び、ルート終了マーカー４０４Ｃのそれぞれを結び付けてもよい。連続的な経路は、ルート４０２の全長にわたって必ずしも直線である必要はない。ルート４０２の長さは、ルート４０２によって形成される曲線の長さに対応してもよい。更に、画像捕捉システム３００のナビゲーションユニット３０４は、ルート４０２上の複数の位置マーカー４０４Ｂに対応し得る複数の位置を選択するように構成されてもよい。複数の位置の各位置は、度又はマイルのいずれかで測定されたＧＰＳ座標などの位置座標を表わしてもよい。複数の位置は、データベース内の表形式の記録として更新されて、（図３で更に説明される）画像捕捉システム３００のメインメモリ２０４Ａ（図２及び図３）に記憶されてもよい。

図４Ｂを参照すると、図４Ａのルート４０２の複数の位置マーカー４０４Ｂに関する動きベクトル情報の典型的なプロット４０６が示される。複数の位置マーカー４０４Ｂに関する動きベクトル情報は、複数の位置マーカー４０４Ｂの各位置マーカーに関してルート開始マーカー４０４Ａから終了ルートマーカー４０４Ｃに連続的に向けられた一連の動きベクトル（有向矢印）として表わされてもよい。各動きベクトルの方向は、車両１０２の想定し得る動きの方向を指し示してもよい。動きベクトル情報のプロットは、２０マイル／時などの特定の速度値に関して評価されてもよい。他の場合（図示せず）において、動きベクトル情報のプロットは、動きベクトル情報の示されたプロットのために使用される特定の速度値に関して示されたプロットとは異なってもよい。そのような違いは、ルート４０４上の同じ位置マーカーに関して動きベクトル情報の表示のために異なる速度値を使用すると生じ得る。動きベクトル情報は、図２で更に定量的に説明されている。

図５Ａは、本開示の一実施形態に係る、撮像センサによって動作中に捕捉されるべき理想的な画像である基準画像の典型的なピクセルレベルのビューを示す。図５Ａは、図１、図２、及び、図３からの要素と関連して説明される。図５Ａを参照すると、ローリングシャッター効果により影響されない所望の又は理想的な画像の典型的な画像マトリクス５０２が示される。所望の画像の画像マトリクス５０２は、図５Ｂの捕捉された第１の画像における複数のピクセルの位置シフトのオンチップ補償後に取得される第２の画像（図２）の画像マトリクスであってもよい。画像マトリクス５０２は、それぞれの横列が複数のピクセルを含むことができるように複数の横列（又はピクセル配列）を含んでもよい。互いに積み重ねられる複数の横列は、画像マトリクス５０２の高さ５０６と関連付けられてもよい。各横列は、画像マトリクス５０２の幅５０８と更に関連付けられてもよい。高さ５０６及び幅５０８は、まとめて、所望の画像の分解能と称されてもよい。画像マトリクス５０２のそれぞれの横列及び縦列は、第１の位置引数を表わすための１、第２の位置引数を表わすための２、及び、第３の位置引数を表わすための３など、それぞれのピクセルごとに位置引数５０４を更に含んでもよい。位置引数は、実際のピクセル値ではなく、対応するピクセル値の位置と関連付けられてもよい。

図５Ｂは、本開示の一実施形態に係る、撮像センサによって動作中に捕捉されるローリングシャッター効果により影響される画像の典型的なピクセルレベルビューを示す。図５Ｂは、図１、図２、図３、及び、図５Ａのパラメータに関連して説明される。図５Ｂを参照すると、ローリングシャッター効果によって影響される捕捉された第１の画像の典型的な画像マトリクス５１０が示される。捕捉された第１の画像の画像マトリクス５１０は、画像マトリクス５１０の各横列における複数の位置引数５０４のシフトと関連付けられてもよい。更に、シフトは、画像マトリクス５１０のそれぞれの横列に関して一定の循環シフトであってもよく、画像マトリクス５１０に関して横列方向に下向きに移動しながら後続の各横列ごとに１などのステップサイズ分だけ更に増加してもよい。画像マトリクス５１０は、図５Ａの所望の画像の分解能に等しくてもよい分解能と関連付けられてもよい。撮像センサ３１８の補償エンジン３２８（図３）は、図５Ｂの捕捉された第１の画像の画像マトリクスにおける複数のピクセル（位置引数）のシフトを補償するように構成されてもよい。捕捉された第１の画像からシフト補償された第２の画像を生成するための異なる補償技術が図３に記載されており、また、典型的な出力が図５Ｃ及び図５Ｄに更に与えられている。

図５Ｃは、本開示の一実施形態に係る、車両の動作中に撮像センサによってローリングシャッター効果が補償された画像の典型的なピクセルレベルビューを示す。図５Ｃを参照すると、図５Ｂの捕捉された第１の画像の補償後に取得される更新された画像の典型的な画像マトリクス５１２が示される。図５Ｃは、図５Ａ及び図５Ｂのパラメータと関連して説明され得る。更新された画像の画像マトリクス５１２は、捕捉された第１の画像の画像マトリクス５１０のシフト補償された変換を表わしてもよい。図示のように、画像マトリクス５１２は、対応する複数の望ましくないピクセル（図３）に関する複数の望ましくない位置引数５１４と、対応する複数の望ましいピクセル（点線で示される）に関する複数の望ましい位置引数５１６とを含んでもよい。補償エンジン３２８は、複数の望ましくない位置引数５１４及び複数の所望の位置引数５１６を有する更新された画像を生成するように構成されてもよい。

図５Ｄは、本開示の一実施形態に係る、図５Ｃの画像の補償後に取得される画像の典型的なピクセルレベルビューを示す。図５Ｄは、図１、図２、図３、図５Ａ、図５Ｂ、及び、図５Ｃのパラメータに関連して説明される。図５Ｄを参照すると、図５Ｃの更新された画像の補償後に取得される第２の画像の典型的な画像マトリクス５１８が示される。補償エンジン３２８（図３）を使用することにより、対応する複数の所望のピクセルに関する長方形領域（図５Ｃに点線で示される）が、（図３で説明されるように）第２の画像を生成するために更新された画像から切り取られてもよい。第２の画像は、図５Ｃの更新された画像の幅５０８よりも小さい幅５２０と関連付けられてもよい。

図５Ｅは、本開示の他の実施形態に係る、図５Ｃの画像の補償後に取得される画像の典型的ピクセルレベルビューを示す。図５Ｅは、図１、図２、図３、図５Ａ、図５Ｂ、図５Ｃ、及び、図５Ｄのパラメータに関連して説明される。図５Ｅを参照すると、更新された画像の補償後に取得される第２の画像の典型的な画像マトリクス５２２が示される。補償エンジン３２８（図３）の使用により、複数の望ましくない位置引数５１４に関する複数の望ましくないピクセル（図５Ｃに点線で示される）には、（図３で説明されるように）第２の画像を生成するべく更新された画像の対応する隣接位置引数に関して隣接するピクセル値が投入されてもよい。画像マトリクス５２２の強調表示された領域５２４が示され、該領域は、隣接する位置引数を有するピクセルから複製されたピクセル値を含む。

図６は、本開示の一実施形態に係る、ローリングシャッター効果のオンチップ補償のために適合される撮像センサの典型的な回路を示す。図６を参照すると、読み出しレジスタ３２２（図３）に通信可能に結合されるセンサコア３２０を備える撮像センサ３１８が示される。撮像センサ３１８は、指定されたルート上で自律的又は半自律的に駆動される能力を有する車両１０２の周囲の外側ビューを捕捉するために車両１０２の車体に配置されるＣＭＯＳセンサであってもよい。撮像センサ３１８のセンサコア３２０は、ピクセルレベル回路６０２の配列、横列選択ライン６０６、及び、縦列選択ライン６０８を備えてもよい。ピクセルレベル回路６０２の配列内の各ピクセルレベル回路は、フォトダイオード６０４Ａと、フォトダイオード６０４Ａに結合される能動電荷増幅器６０４Ｂとを備えてもよい。図示されないが、撮像センサ３１８は、マイクロプロセッサ、ＧＰＵ、導出された複数の画像カーネルを記憶するための専用レジスタ、集積メモリなどのうちの１つを更に備えてもよい。

撮像センサ３１８は、撮像センサ３１８からの出力として必要とされる第１の画像の所望の分解能よりも高くてもよい第１の分解能と関連付けられてもよい。そのようなより高い分解能は、撮像センサ３１８が既に利用可能なビューよりも大きいビューを捕捉し得るように、ピクセルレベル回路６０２の配列におけるピクセルレベル回路の数の増大に対応してもよい。ピクセルレベル回路の数の増大は、センサコア３２０内のピクセルレベル回路の横列又は縦列に沿っていてもよい。捕捉された第１の画像の幅（ピクセルで測定される）は、センサコア３２０内のピクセルレベル回路の横列に沿うピクセルレベル回路の数の増大にしたがって増大してもよい。したがって、捕捉された第１の画像の高さ（同様にピクセルで測定される）は、センサコア３２０内のピクセルレベル回路の縦列に沿うピクセルレベル回路の数の増大にしたがって増大してもよい。捕捉された第１の画像の複数のピクセルにおけるローリングシャッター効果によって引き起こされるシフトを補償するために、撮像センサ３１８は、センサコア３２０内のピクセルレベル回路の配列のそれぞれの横列又は縦列からピクセルの部分配列をフラッシュするように構成されてもよい。それぞれの横列が横列選択ライン６０６によって選択されてもよく、また、それぞれの縦列が縦列選択ライン６０８によって選択されてもよい。

例えば、撮像センサ３１８は、捕捉された第１の画像の所望の幅（Ｗ２ピクセル）よりも大きくてもよい幅（Ｗ１ピクセル）と関連付けられてもよい。幅（Ｗ１ピクセル）は、幅（Ｗ２ピクセル）よりも２Ｎピクセルだけ大きくてもよい。そのような２Ｎピクセルは、捕捉された第１の画像のエッジ付近に存在する場合があり、ローリングシャッター効果によって引き起こされるシフトによる影響を最も受け得る。したがって、補償エンジン３２８は、Ｗ１〜２Ｎピクセル、すなわち、Ｗ２ピクセルのみを、撮像センサ３１８の各横列から読み出しレジスタ３２２にフラッシュするように構成されてもよい。その後、幅（Ｗ２ピクセル）のピクセル値の配列又は横列は、撮像センサ３１８内のピクセルレベル回路のそれぞれの横列又は縦列ごとに撮像センサ３１８の集積メモリで更新されてもよい。第２の画像は、集積メモリ内のピクセル値の配列又は横列の反復更新後に取得されてもよい。

図７Ａは、本開示の一実施形態に係る、車両の撮像センサにおけるローリングシャッター効果のオンチップ補償のための典型的な方法を示すフローチャートである。図７Ａは、図１、図２、図３、図４Ａ、図４Ｂ、図５Ａ〜図５Ｅ、及び、図６と関連して説明され得る。図７Ａを参照すると、７０２〜７２２までの典型的な動作を含むフローチャート７００が示される。オンチップ補償のための典型的な動作は、７０２で始まり、７０４へ移行し得る。

７０４において、車両１０２のナビゲーションのための指定されたルートは、メモリデバイスから検索されてもよい。メインメモリ２０４Ａ又はホストメモリ２０４Ｂなどのメモリデバイスは、車両１０２のナビゲーションデバイスと関連付けられる車載メモリであってもよい。ナビゲーションユニット３０４は、（図３で説明されるように）指定されたルートに沿う車両１０２のナビゲーションのために指定されたルートをメモリデバイスから検索するように構成されてもよい。

７０６では、車両１０２の複数の速度値に関する動きベクトル情報が、指定されたルート上の複数の位置の各位置に関して生成されてもよい。生成エンジン３０６は、（例えば、図３に記載されるように）指定されたルート上の複数の位置の各位置で車両１０２の複数の速度値に関する動きベクトル情報を生成するように構成されてもよい。

７０８では、指定されたルート上の複数の位置の各位置で車両１０２の複数の速度値に関して複数の画像カーネルが導出されてもよい。カーネル導出エンジン３０８は、指定されたルート上の複数の位置の各位置で車両１０２の複数の速度値に関して複数の画像カーネルを導出するように構成されてもよい。導出された画像カーネルの例が図３に与えられている。

７１０では、導出された複数の画像カーネルが、指定されたルート上のそれぞれの速度値及びそれぞれの位置ごとにメモリデバイスに記憶されてもよい。メモリデバイスは、画像捕捉システム３００のホストメモリ２０４Ｂであってもよい。カーネル導出エンジン３０８は、（例えば、図３で説明されるように）指定されたルート上のそれぞれの速度値及びそれぞれの位置ごとに導出された複数の画像カーネルをメモリデバイスに記憶するように構成されてもよい。

７１２では、車両１０２の現在の位置及び現在の速度値に関して生成された動きベクトル情報に基づいて、車両１０２の連続する位置が予測されてもよい。予測エンジン３１４は、車両１０２の現在の位置及び現在の速度値に関して生成された動きベクトル情報に基づいて車両１０２の連続する位置を予測するように構成されてもよい。

７１４では、車両１０２の現在の速度値と現在の位置に関して生成された動きベクトル情報とに基づいて、予測された連続する位置に関して導出された複数の画像カーネルのうちの１つからの選択が実行されてもよい。選択エンジン３１６は、予測された連続する位置に関して導出された複数の画像カーネルのうちの１つを選択するように構成されてもよい。選択は、車両１０２の現在の速度値と現在の位置に関して生成された動きベクトル情報とに基づいてもよい。

７１６では、予測された連続する位置に関する選択された画像カーネルが、指定されたルート上の車両１０２の現在の位置で、撮像センサハードウェアレジスタに転送されてもよい。選択エンジン３１６は、予測された連続する位置に関して選択された画像カーネルを、指定されたルート上の車両１０２の現在の位置で撮像センサハードウェアレジスタに転送するように構成されてもよい。撮像センサハードウェアレジスタは、撮像センサ３１８内の複数の現在の画像カーネルレジスタ３２４Ａ…３２４Ｎ及び複数の予測された画像カーネルレジスタ３２６Ａ…３２６Ｎを含んでもよい。

７１８では、第１の画像が、指定されたルート上の車両１０２の予測された連続する位置で捕捉されてもよい。撮像センサ３１８は、指定されたルート上の車両１０２の予測された連続する位置で第１の画像を捕捉するように構成されてもよい。

７２０では、選択された画像カーネルによる捕捉された第１の画像の複数のピクセルのシフトの補償に基づいて、捕捉された第１の画像から第２の画像が生成されてもよい。補償エンジン３２８は、捕捉された第１の画像の複数のピクセルのシフトの補償に基づいて、捕捉された第１の画像から第２の画像を生成するように構成されてもよい。シフトは、（例えば、図３に記載されるように）選択された画像カーネルによって補償されてもよい。制御は終了へ移行し得る。

図７Ｂは、本開示の一実施形態に係る、第２の画像を生成するための典型的な方法を示すフローチャートである。図７Ｂは、図１、図２、図３、図４Ａ、図４Ｂ、図５Ａ、図５Ｂ、図５Ｃ、図５Ｄ、図５Ｅ、図６、及び、図７Ａと関連して説明され得る。図７Ｂには、オンチップ補償を達成するために、例えば、図７Ａの動作７２０を詳細に説明する７２０Ａ〜７０２Ｆの典型的な動作を含むフローチャート７２４Ａが示される。第２の画像を生成するための典型的な動作は、７２０Ａで始まり、７２０Ｅ又は７０２Ｆに移行し得る。

７２０Ａでは、捕捉された第１の画像の複数のピクセルのピクセル配列が撮像センサ３１８から受信されてもよい。補償エンジン３２８は、捕捉された第１の画像の複数のピクセルのピクセル配列を撮像センサ３１８から受信するように構成されてもよい。

７２０Ｂでは、複数の係数を含むカーネル配列が、受信されたピクセル配列に関して選択されてもよい。補償エンジン３２８は、受信されたピクセル配列に関する複数の係数を含むカーネル配列を選択するように構成されてもよい。

７２０Ｃにおいて、シフト補償されたピクセル配列は、撮像センサ３１８内の選択されたカーネル配列による受信されたピクセル配列の変換に基づいて生成されてもよい。補償エンジン３２８は、撮像センサ３１８内で、選択されたカーネル配列による受信されたピクセル配列の変換に基づいてシフト補償されたピクセル配列を生成するように構成されてもよい。

７２０Ｄにおいて、シフト補償されたピクセル配列は、更新された画像を取得するべく捕捉された第１の画像の複数のピクセル配列のそれぞれに関して撮像センサ３１８の集積メモリで更新されてもよい。補償エンジン３２８は、撮像センサ３１８の集積メモリ内のシフト補償されたピクセル配列を更新するように構成されてもよい。シフト補償されたピクセル配列は、更新された画像を取得するために捕捉された第１の画像の複数のピクセル配列のそれぞれに関して反復的に更新されてもよい。幾つかの実施形態では、制御が７２０Ｅに移行してもよい。幾つかの実施形態では、制御が、所定の設定又は特定の選好に基づいて、７２０Ｅではなく７２０Ｆに移行してもよい。

７２０Ｅでは、第２の画像を取得するべく、複数の望ましくないピクセルに対応し得る領域が、更新された画像の第１の分解能から除去されてもよい。補償エンジン３２８は、第２の画像を取得するために、複数の望ましくないピクセルに対応し得る領域を更新された画像から除去するように構成されてもよい。制御は終了へ移行し得る。

７２０Ｆでは、複数の望ましくないピクセルに対応し得る領域に、該領域に隣接して位置するピクセル値が投入されてもよい。補償エンジン３２８は、複数の望ましくないピクセルに対応し得る領域に、該領域に隣接して位置するピクセル値を投入するように構成されてもよい。第２の画像は、領域にピクセル値を投入することに基づいて取得されてもよい。制御は終了へ移行し得る。

図７Ｃは、本開示の更に他の実施形態に係る、第２の画像を生成するための典型的な方法を示すフローチャートである。図７Ｃは、図１、図２、図３、図４Ａ、図４Ｂ、図５Ａ、図５Ｂ、図５Ｃ、図５Ｄ、図５Ｅ、図６、図７Ａ、及び、図７Ｂと関連して説明され得る。図７Ｃを参照すると、オンチップ補償を達成するために、例えば図７Ａの動作７２０を詳細に説明する７２０Ｇ〜７２０Ｉの典型的な動作を含むフローチャート７２４Ｂが示される。第２の画像を生成するための典型的な動作は、図６の典型的な撮像センサを使用して説明され得る。

７２０Ｇでは、指定されたルート上の車両１０２の予測された連続する位置で、スケーリングされたピクセル配列が捕捉されてもよい。撮像センサ３１８は、（図３及び図６に記載されるように）指定されたルート上の車両１０２の予測された連続する位置でスケーリングされたピクセル配列を捕捉するように構成されてもよい。

７２０Ｈにおいて、第２の分解能を有する第１のピクセル配列は、対応するスケーリングされたピクセル配列における複数のピクセルのシフトに基づいてスケーリングされたピクセル配列から選択されてもよい。補償エンジン３２８は、スケーリングされたピクセル配列から第２の分解能を有する第１のピクセル配列を選択するように構成されてもよい。選択は、対応するスケーリングされたピクセル配列内の複数のピクセルのシフトに基づいてもよい。

７２０Ｉでは、第２の画像を取得するために、選択された第１のピクセル配列が、それぞれの捕捉されたピクセル配列ごとに、撮像センサ３１８の集積メモリ内で更新されてもよい。補償エンジン３２８は、第２の画像を取得するために、それぞれの捕捉されたピクセル配列ごとに、撮像センサ３１８の集積メモリ内の選択された第１のピクセル配列を更新するように構成されてもよい。制御は終了へ移行し得る。

本開示は、車両で使用される従来の画像捕捉システムを超える幾つかの利点を与える。指定された経路の複数の位置（ＧＰＳ座標）を事前に推定することは有利である。生成エンジン３０６は、好適には、指定されたルート上での車両１０２の動作前に動きベクトル情報を生成してもよい。予め推定された複数の位置を使用して、それぞれの位置と車両１０２の関連する複数の速度値とに関して複数の画像カーネルを導出することが更に有利である。そのような事前推定は、ほぼリアルタイムでローリングシャッター効果によって影響を受ける画像のより速いオンチップ補償を更にもたらし得る車両１０２の連続する位置の予測を容易にする。ＣＭＯＳ漸進的ライン走査ベースのセンサを使用することは更に有利であり、この場合、画像のラインごとの捕捉と共に、リアルタイム又はほぼリアルタイムのラインごとの補償が可能である。補償は、捕捉された第１の画像における複数のピクセルの適切な程度の位置シフトにスケーリングされ得るため、提案された解決策は、車両１０２付近の物体に対する車両１０２の相対的に速い移動中に捕捉される画像の補償にスケーリングされ得る。

幾つかの実施形態において、車両１０２は、陸上車両、船舶、又は、航空機やドローンなどの空中車両であってもよい。したがって、車両１０２は、移動機械とも称され得る。車両１０２などの移動機械は、バッテリ２２４、画像捕捉デバイス１０６などの撮像センサ、バッテリ２２４によって給電されて撮像センサに通信可能に結合されるＥＣＵ１０４を含んでもよい。ＥＣＵ１０４は、移動機械の指定されたルートの複数の位置の各位置で移動機械の複数の速度値に関する動きベクトル情報を生成するように構成される複数の回路を備える。複数の回路は、生成された動きベクトル情報に基づき、指定されたルート上の複数の位置のそれぞれで移動機械の複数の速度値に関して複数の画像カーネルを導出するように更に構成される。複数の回路は、指定されたルート上の現在位置で移動機械の現在の速度値に関して生成された動きベクトル情報に基づき、移動機械の現在の位置で移動機械の連続する位置を予測するように更に構成される。複数の回路は、指定されたルート上の予測された連続する位置で第１の画像を捕捉するように更に構成され、この場合、第１の画像は、ローリングシャッター効果によって引き起こされる複数のピクセルのシフトを示す。複数の回路は、移動機械の予測された連続する位置に関して導出された画像カーネルによる撮像センサ内の捕捉された第１の画像における複数のピクセルのシフトの補償に基づいて、捕捉された第１の画像から第２の画像を生成するように更に構成される。

本開示は、ハードウェアで又はハードウェアとソフトウェアとの組み合わせで実現されてもよい。本開示は、少なくとも１つのコンピュータシステムにおいて、集中態様で実現されてもよく、或いは、異なる要素が幾つかの相互接続されたコンピュータシステムにわたって分散され得る分散態様で実現されてもよい。本明細書中に記載される方法を実施するようになっているコンピュータシステム又は他の装置が適している場合がある。ハードウェアとソフトウェアとの組み合わせは、取り込まれて実行されるときにそれが本明細書中に記載される方法を実行するようにコンピュータシステムを制御できるコンピュータプログラムを伴う汎用コンピュータシステムであってもよい。本開示は、他の機能も果たす集積回路の一部を備えるハードウェアで実現されてもよい。

また、本開示は、本明細書中に記載される方法の実施を可能にする全ての特徴を備えるとともにコンピュータシステムに取り込まれるときにこれらの方法を実行できるコンピュータプログラムプロダクトに組み込まれてもよい。この文脈において、コンピュータプログラムとは、情報処理能力を有するシステムに、特定の機能を、直接的に実行させる、或いは、以下、すなわち、ａ）他の言語、コード、又は、表記への変換、ｂ）異なる素材形態での再生のいずれか一方又は両方の後に実行させるようになっている命令の組の任意の言語、コード、又は、表記での任意の表現を意味する。

本開示を特定の実施形態に関連して説明してきたが、当業者であれば分かるように、本開示の範囲から逸脱することなく、様々な変更を行うことができ、また、等価物を置き換えることができる。加えて、本開示の範囲から逸脱することなく、特定の状況又は材料を本開示の教示内容に適合させるべく多くの修正を行うことができる。したがって、本開示が開示された特定の実施形態に限定されず、本開示が添付の特許請求の範囲内に入る全ての実施形態を含むことが意図される。

Claims (24)

1. 撮像センサと、
   メモリデバイスと、
   前記撮像センサ及び前記メモリデバイスに通信可能に結合される複数の回路と、
   を備え、前記複数の回路は、
   車両の指定されたルートの複数の位置の各位置で前記車両の複数の速度値に関して動きベクトル情報を生成し、
   前記生成された動きベクトル情報に基づいて、前記指定されたルート上の複数の位置のそれぞれで前記車両の前記複数の速度値に関して複数の画像カーネルを導出し、
   前記車両の現在の位置で、前記指定されたルート上の前記現在の位置での前記車両の現在の速度値に関する前記生成された動きベクトル情報に基づき、前記車両の連続する位置を予測し、
   前記撮像センサによって、前記指定されたルート上の前記予測された連続する位置で第１の画像を捕捉し、前記第１の画像が、ローリングシャッター効果によって引き起こされる複数のピクセルのシフトを示し、
   前記車両の前記予測された連続する位置に関して導出された画像カーネルによる前記撮像センサ内の前記捕捉された第１の画像における複数のピクセルの前記シフトの補償に基づき、前記捕捉された第１の画像から第２の画像を生成する、
   ように構成される、車両用の画像捕捉システム。
2. 前記捕捉された第１の画像の前記複数のピクセルの前記シフトの前記補償が前記撮像センサ内のオンチップ補償であり、前記第２の画像は、前記捕捉された第１の画像で引き起こされる前記ローリングシャッター効果に関して補償される、請求項１に記載のシステム。
3. 前記撮像センサが相補型金属酸化膜半導体（ＣＭＯＳ）センサであり、前記車両が自律車両又は半自律車両である、請求項１に記載のシステム。
4. 前記捕捉された第１の画像の前記複数のピクセルの前記シフトの前記補償は、前記捕捉された第１の画像のラインごとの補償であり、前記ラインごとの補償は、前記捕捉された第１の画像の各ピクセル配列に関する順次補償に対応する、請求項１に記載のシステム。
5. 前記捕捉された第１の画像の前記複数のピクセルの前記シフトの前記補償は、前記捕捉された第１の画像の全体的補償であり、前記全体的補償は、前記捕捉された第１の画像に関する異なるピクセル配列の同時補償に対応する、請求項１に記載のシステム。
6. 前記複数の回路は、前記複数の回路に通信可能に結合されるナビゲーションデバイスから前記車両のナビゲーションのための前記指定されたルートを検索するように更に構成される、請求項１に記載のシステム。
7. 前記複数の回路は、前記指定されたルート上の前記複数の速度値及び前記複数の位置の各位置に関する前記導出された複数の画像カーネルを前記メモリデバイスに記憶するように更に構成される、請求項１に記載のシステム。
8. 前記複数の回路は、前記車両の前記予測された連続する位置に関する前記導出された複数の画像カーネルからの導出された画像カーネルを前記指定されたルート上の前記車両の前記現在の位置で前記撮像センサ内に転送するように更に構成される、請求項１に記載のシステム。
9. 前記複数の回路は、前記指定されたルート上の前記車両の前記現在の位置及び前記現在の速度値に基づいて前記予測された連続する位置に関する前記導出された複数の画像カーネルから導出された画像カーネルを選択するように更に構成される、請求項１に記載のシステム。
10. 前記指定されたルート上の前記車両の前記連続する位置は、前記指定されたルート上の前記車両の動作中の前記生成された動きベクトル情報に基づいて予測される、請求項１に記載のシステム。
11. 前記複数の回路は、前記指定されたルート上の第１の位置の位置座標と第２の位置の対応する位置座標との差に基づいて前記指定されたルート上の各速度値及び各位置で前記動きベクトル情報を計算するように更に構成され、前記指定されたルート上の前記第１の位置及び前記第２の位置は、前記指定されたルートに関する前記車両の前記複数の速度値の各速度値に基づいて選択される、請求項１に記載のシステム。
12. 導出された複数の画像カーネルのそれぞれは、前記捕捉された第１の画像のオンチップ補償のための複数のフィルタ係数を含む、請求項１に記載のシステム。
13. 前記捕捉された第１の画像の前記複数のピクセルの前記シフトは、前記捕捉された第１の画像の対応するピクセル配列内の前記複数のピクセルの各ピクセルの循環シフトである、請求項１に記載のシステム。
14. 前記捕捉された第１の画像の対応するピクセル配列内の前記複数のピクセルの前記シフトが一定である、請求項１に記載のシステム。
15. 前記捕捉された第１の画像の複数のピクセル配列内の前記複数のピクセルの前記シフトは、前記指定されたルート上の前記車両の前記現在の速度値と現在の位置に関する前記生成された動きベクトル情報とに基づくステップサイズに基づいて変化する、請求項１に記載のシステム。
16. 前記複数の回路は、
    前記捕捉された第１の画像のピクセル配列を前記撮像センサから受信し、
    前記捕捉された第１の画像の前記受信されたピクセル配列に関する前記撮像センサ内の前記導出された画像カーネルから画像カーネル配列を選択し、
    前記撮像センサ内で、前記選択された画像カーネルの前記選択された画像カーネル配列による前記受信されたピクセル配列の変換に基づき、前記捕捉された第１の画像のシフト補償されたピクセル配列を生成し、
    前記捕捉された第１の画像の複数のピクセル配列のそれぞれに関して前記撮像センサの集積メモリ内の前記シフト補償されたピクセル配列を更新して、更新された画像を取得する、
    ように更に構成される、請求項１に記載のシステム。
17. 前記更新された画像は、複数の望ましくないピクセルに対応する前記更新された画像内の領域と関連付けられる、請求項１６に記載のシステム。
18. 前記複数の回路は、前記更新された画像の前記複数の望ましくないピクセルに対応する領域を前記更新された画像から除去して、前記第２の画像を取得するように更に構成される、請求項１６に記載のシステム。
19. 前記複数の回路は、前記第２の画像を取得するために、前記更新された画像における前記複数の望ましくないピクセルに対応する前記領域に前記領域と隣接して位置するピクセル値を投入するように更に構成される、請求項１６に記載のシステム。
20. 前記複数の回路は、
    第１の分解能を有する前記撮像センサによって、前記指定されたルート上の前記予測された連続する位置でスケーリングされたピクセル配列を捕捉し、前記スケーリングされたピクセル配列が第２の分解能よりも大きい第１の分解能と関連付けられ、
    前記対応するスケーリングされたピクセル配列における前記複数のピクセルの前記シフトに基づいて前記スケーリングされたピクセル配列から前記第２の分解能を有する第１のピクセル配列を選択する、
    ように更に構成される、請求項１に記載のシステム。
21. 前記複数の回路は、前記第２の画像を取得するために、それぞれの捕捉された各ピクセル配列ごとに前記撮像センサの集積メモリ内の前記第１のピクセル配列を更新するように更に構成される、請求項２０に記載のシステム。
22. 前記第１の分解能が前記撮像センサの分解能に対応し、前記第２の分解能が前記第２の画像の分解能に対応する、請求項２０に記載のシステム。
23. 車両の電子制御ユニット（ＥＣＵ）内で、
    複数の回路によって、前記車両の指定されたルートの複数の位置の各位置で前記車両の複数の速度値に関して動きベクトル情報を生成するステップと、
    前記複数の回路によって、前記生成された動きベクトル情報に基づき、前記指定されたルート上の複数の位置のそれぞれで前記車両の前記複数の速度値に関して複数の画像カーネルを導出するステップと、
    前記複数の回路によって、前記車両の現在の位置で、前記指定されたルート上の前記現在の位置での前記車両の現在の速度値に関する前記生成された動きベクトル情報に基づき、前記車両の連続する位置を予測するステップと、
    前記複数の回路によって、前記指定されたルート上の前記予測された連続する位置で第１の画像を捕捉するステップであって、前記第１の画像が、前記ローリングシャッター効果によって引き起こされる複数のピクセルのシフトを示す、ステップと、
    前記複数の回路によって、前記車両の前記予測された連続する位置に関して導出された画像カーネルによる前記撮像センサ内の前記捕捉された第１の画像における前記複数のピクセルの前記シフトの補償に基づき、前記捕捉された第１の画像から第２の画像を生成するステップと、
    を含む、方法。
24. バッテリと、
    撮像センサと、
    前記バッテリによって給電されて前記撮像センサに通信可能に結合されるとともに、複数の回路を備える電子制御ユニット（ＥＣＵ）と、
    を備える移動機械であって、前記複数の回路は、
    前記移動機械の指定されたルートの複数の位置の各位置で前記移動機械の複数の速度値に関して動きベクトル情報を生成し、
    前記生成された動きベクトル情報に基づいて、前記指定されたルート上の複数の位置のそれぞれで前記移動機械の前記複数の速度値に関して複数の画像カーネルを導出し、
    前記移動機械の現在の位置で、前記指定されたルート上の前記現在の位置での前記移動機械の現在の速度値に関する前記生成された動きベクトル情報に基づき、前記移動機械の連続する位置を予測し、
    前記指定されたルート上の前記予測された連続する位置で第１の画像を捕捉し、前記第１の画像が、前記ローリングシャッター効果によって引き起こされる複数のピクセルのシフトを示し、
    前記移動機械の前記予測された連続する位置に関して導出された画像カーネルによる前記撮像センサ内の前記捕捉された第１の画像における前記複数のピクセルの前記シフトの補償に基づき、前記捕捉された第１の画像から第２の画像を生成する、
    ように構成される、移動機械。

Images