JP2022182335A - 車両の車外撮像装置 - Google Patents

Abstract

【課題】車外を撮像するために車両に設けられる撮像デバイスについて、その信頼性を確保する。
【解決手段】車外撮像装置１０は、複数の撮像デバイス１１～１８と、複数の撮像デバイス１１～１８の撮像画像を用いて車外の撮像対象についての距離または方向の情報を生成する制御部２４と、を有する。複数の撮像デバイス１１～１８の中の、少なくとも２つの撮像デバイスは、共通する撮像領域を重ねて撮像可能となるように車両１に設けられる。制御部２４は、共通する撮像領域を重ねて撮像可能な少なくとも２つの撮像デバイスの中の、１つの撮像デバイスの撮像画像での距離および方向に基づいて、残りの撮像デバイスの撮像画像の単眼処理で用いる、撮像位置に基づく車外の撮像対象についての距離または方向についての補正情報を生成する。
【選択図】 図８

Description

本発明は、車両の車外撮像装置に関する。

車両では、車外を撮像するために撮像デバイスが設けられる（特許文献１、２）。
車両に設けた撮像デバイスの撮像画像を用いて車外の撮像対象についての（相対的な）距離または方向の情報を生成することが可能になる。
自動運転や運転支援の制御では、このような車外の撮像対象についての距離または方向の情報は、非常に重要である。
このため、車両の各部に複数の撮像デバイスを設けて、３６０度の周囲を複数の撮像デバイスにより分割して撮像することが考えられている。

特開２０１８－１９４５３８号公報 国際公開ＷＯ２０１５／０２９９３４号

しかしながら、車両に設けられる撮像デバイスでは、走行する車両の振動などにより、その撮像範囲や画角が変化しないことが大切である。
特に、複数の撮像デバイスにより３６０度の周囲を分割して撮像する場合、１つの撮像デバイスの撮像範囲や画角が微妙に変化するだけでも、複数の撮像デバイスの撮像画像に基づく処理に影響が生じやすい。

このため、従来においては、各撮像デバイスを、剛性が高い車体そのものに直接的に取り付けられることが検討されている。
しかしながら、このように撮像デバイスを、車体そのものに直接的に取り付ける場合、その撮像デバイスの取り付け位置が極めて限定されてしまう。しかも、撮像デバイスを、車体そのものに直接的に取り付けてずれにくくしているとしても、撮像デバイスの位置や向きは、車体に衝撃が加えられたりしなくとも、経時的に変化してしまう可能性が残る。
また、複数の撮像デバイスをやめて、車両のたとえばルーフの上に３６０度カメラを設けることも考えられるが、そのような撮像デバイスを採用したとしても、その位置や向きが経時的に変化してしまう可能性が排除できることにはならない。

このように車両では、車両の車外を撮像するために車両に設けられる撮像デバイスについて、その信頼性を確保し、または維持することが求められる。

本発明に係る車両の車外撮像装置は、車両の車外を撮像するために前記車両に設けられる複数の撮像デバイスと、複数の前記撮像デバイスの撮像画像を用いて車外の撮像対象についての距離または方向の情報を生成することができる制御部と、を有し、複数の前記撮像デバイスの中の、少なくとも２つの前記撮像デバイスは、共通する撮像領域を重ねて撮像可能となるように前記車両に設けられ、前記制御部は、共通する撮像領域を重ねて撮像可能な少なくとも２つの前記撮像デバイスの中の、１つの前記撮像デバイスの撮像画像での距離および方向に基づいて、残りの前記撮像デバイスの撮像画像の単眼処理で用いる、撮像位置に基づく車外の撮像対象についての距離または方向についての補正情報を生成する。

好適には、複数の前記撮像デバイスの中の少なくとも３つが、共通する撮像領域を重ねて撮像可能となるように前記車両に設けられ、前記制御部は、少なくとも３つの中の２つの前記撮像デバイスの撮像画像を用いて、共通する撮像領域に撮像されている車外の撮像対象の視差に基づく距離および方向の情報を生成し、視差に基づく距離および方向の情報を用いて、少なくとも３つの中の残りの少なくとも１つの前記撮像デバイスの撮像画像の単眼処理で用いる、撮像位置に基づく車外の撮像対象についての距離または方向についての補正情報を生成する、とよい。

好適には、前記車両の車外を撮像するために前記車両に設けられる複数の前記撮像デバイスは、互いの配置が規定される２つの前記撮像デバイスによるステレオカメラと、前記ステレオカメラの２つの前記撮像デバイスと共通する撮像領域を重ねて撮像可能な、少なくとも１つの単眼処理用の前記撮像デバイスと、を含み、前記制御部は、前記ステレオカメラの２つの前記撮像デバイスの撮像画像を用いて、単眼処理用の前記撮像デバイスと共通する撮像領域に撮像されている車外の撮像対象の視差に基づく距離および方向の情報を生成し、前記ステレオカメラの距離および方向の情報を用いて、単眼処理用の前記撮像デバイスの補正情報を生成する、とよい。

好適には、前記車両の車外を撮像するために前記車両に設けられる複数の前記撮像デバイスは、複数の単眼処理用の前記撮像デバイス、を含み、複数の単眼処理用の前記撮像デバイスは、他の単眼処理用の前記撮像デバイスと共通する撮像領域を重ねて撮像可能となるように設けられ、前記制御部は、複数の単眼処理用の前記撮像デバイスについての補正情報を、前記撮像領域の重なりの順番にしたがって順番に生成する、とよい。

好適には、複数の単眼処理用の前記撮像デバイスは、前記車両の周囲を分割して撮像するように前記車両に設けられ、単眼処理用の各前記撮像デバイスは、前記車両の周囲の分割方向において隣接している他の単眼処理用の前記撮像デバイスと共通する撮像領域を重ねて撮像可能となるように前記車両に設けられている、とよい。

好適には、前記制御部は、複数の単眼処理用の前記撮像デバイスの補正情報を生成する際に、前記車両の車外を撮像するために前記車両に設けられる複数の前記撮像デバイスとしての、互いの配置が規定される２つの前記撮像デバイスによるステレオカメラを基準として、前記ステレオカメラと共通する撮像領域を重ねて撮像可能な単眼処理用の前記撮像デバイスから順番に補正情報を生成する、とよい。

好適には、複数の単眼処理用の前記撮像デバイスは、前記車両の周囲の全周を、または前記ステレオカメラによる撮像範囲を除いた全周を、分割して撮像するように前記車両に設けられ、前記制御部は、前記ステレオカメラの撮像範囲の一端側において共通する撮像領域を重ねて撮像可能な一端側の単眼処理用の前記撮像デバイスと、前記ステレオカメラの撮像範囲の他端側において共通する撮像領域を重ねて撮像可能な他端側の単眼処理用の前記撮像デバイスと、から順番に補正情報を生成し、最後に処理する単眼処理用の前記撮像デバイスについては、一端側の順番での処理による補正情報と、他端側の順番での処理による補正情報とを生成し、生成した２つの前記補正情報を比較して一連の補正を評価する、とよい。

好適には、最後に処理する単眼処理用の前記撮像デバイスは、前記車両の後側を撮像するように設けられ、前記制御部は、最後に処理する単眼処理用の前記撮像デバイスの補正後の撮像画像に含まれる道路の情報に基づいて一連の補正を評価する、とよい。

好適には、前記制御部は、一連の補正が良好である評価できない場合、警報または保守要請を出力する、とよい。

好適には、前記撮像デバイスの撮像画像の単眼処理で用いる、撮像位置に基づく車外の撮像対象についての距離または方向についての補正情報は、前記撮像デバイスについて単眼処理のために設定されている撮像画像での撮像位置ごとの距離または方向の情報についての、距離または方向の補正情報である、とよい。

好適には、前記制御部は、前記撮像デバイスにより撮像される車外の撮像対象についての距離または方向の単眼処理において、前記補正情報を用いて補正し、前記車両の姿勢に基づいて補正した距離または方向を取得する、とよい。

本発明では、車外を撮像するために車両には、複数の撮像デバイスが設けられ、その中の少なくとも３つが、共通する撮像領域を重ねて撮像可能となるように車両に設けられている。これにより、少なくとも３つの撮像デバイスは、車外の撮像画像において、共通する撮像領域を撮像することができる。
そして、車両の車外撮像装置の制御部は、少なくとも３つの中の２つの撮像デバイスの撮像画像を用いて、共通する撮像領域に撮像されている車外の撮像対象の視差に基づく距離および方向の情報を生成する。制御部は、２つの撮像デバイスは、車両におけるそれらの配置に基づいて想定できる視差に基づいて、その他の撮像デバイスの配設状態の変化などに起因する撮像範囲や画角の変化の影響などを受けることなく、共通する撮像領域にある車外の撮像対象についての、距離または方向の情報をより確からしく生成することができる。その結果、制御部は、視差に基づく距離および方向の情報を用いて、少なくとも３つの中の残りの少なくとも１つの撮像デバイスの撮像画像の単眼処理で用いる、撮像位置に基づく車外の撮像対象についての距離または方向について、確からしい補正情報を生成することができる。
このように本発明では、車両に対して、車外を撮像するために複数の撮像デバイスが設けられていることを好適に利用して、少なくとも３つの撮像デバイスを共通する撮像領域を重ねて撮像させるようにして、単眼処理での車外の撮像対象についての距離または方向を、確からしく補正できる。その結果、本発明では、車両に設けられる撮像デバイスの撮像画像を単眼処理したしとても、車外の撮像対象について、複眼処理と同程度の高い確からしさが期待できる距離または方向を取得することができる。
本発明では、車両の車外を撮像するために車両に設けられる撮像デバイスについて、その信頼性を確保し、または維持することが可能となる。

図１は、本発明の実施形態に係る車外撮像装置が適用される自動車の説明図である。 図２は、図１の１つの撮像デバイスの単眼処理での撮像状況と撮像画像との説明図である。 図３は、自動車に設ける撮像デバイスに生じ得る、ずれの影響の説明図である。 図４は、自動車に設ける複数の撮像デバイスの間で生じ得る、ずれの影響の説明図である。 図５は、図１の自動車における、車外撮像装置を含む制御システムの説明図である。 図６は、図５の複数の撮像デバイスの撮像範囲と、ずれ補正制御の順番との説明図である。 図７は、図５のＣＰＵによる、３６０度キャリブレーション制御のフローチャートである。 図８は、ステレオ基準の単眼ずれ補正制御の詳細なフローチャートである。 図９は、隣接単眼基準の単眼ずれ補正制御の詳細なフローチャートである。 図１０は、図７から図９の制御により生成したずれ補正情報を用いる撮像制御のためのブロック図である。 図１１は、図１０の処理による、隣接する２つの撮像デバイスの撮像画像における撮像対象の相対動きを模式的に説明する図である。 図１２は、ずれ補正の評価方法の一例の説明図である。

以下、本発明の実施形態を、図面に基づいて説明する。

図１は、本発明の実施形態に係る車外撮像装置１０が適用される自動車１の説明図である。
図１の自動車１は、車体２を有する。車体２には、乗員が乗車する車室３が設けられる。

自動車１は、車両の一例である。図１の自動車１は、直線的な道路についての一対の車線境界線の間を、車線に沿って前へ走行している。
ところで、自動車１では、たとえば自動運転や運転支援による走行制御についての研究開発が進んでいる。
自動車１が自動運転や運転支援により走行する場合、自動車１は、自動車１の車外の走行環境の情報が必要である。このため、自動車１には、図１に示すように複数の撮像デバイス１１～１８が設けられたり、ライダーなどの出力波を使用するセンサが設けられたりしている。
たとえば図１の自動車１には、自動車１の車外撮像装置１０の複数の撮像デバイスとして、前中央撮像デバイス１３、前右撮像デバイス１１、前左撮像デバイス１２、右前撮像デバイス１４、右後撮像デバイス１５、左前撮像デバイス１６、左後撮像デバイス１７、後中央撮像デバイス１８、が設けられている。

前中央撮像デバイス１３は、たとえば車室３の前中央に設けられる。前中央撮像デバイス１３は、自動車１の前方を、たとえば１２０度の画角範囲Ｒｆｃで撮像する。

前右撮像デバイス１１と前左撮像デバイス１２とは、たとえば不図示の共通のステーにより相対位置を固定して支えられて、車室３の前中央に設けられる。前右撮像デバイス１１と前左撮像デバイス１２とは、自動車１の前方を、たとえば１２０度の画角範囲Ｒｆｒ，Ｒｆｌで撮像する。前右撮像デバイス１１と前左撮像デバイス１２とは、自動車１の前方をほぼ重なる撮像範囲にて撮像可能となるように設けられる。この場合、前右撮像デバイス１１の撮像画像と、前左撮像デバイス１２の撮像画像とは、ステレオカメラ１９の複眼処理により、それら２つの撮像画像に共通する撮像領域に撮像されている車外のたとえば歩行者といった周辺物を撮像対象として、その撮像対象の視差に基づく相対的な距離および方向の情報を生成することが可能である。このようなステレオカメラ１９の複眼処理による周辺物までの相対的な距離および方向は、たとえば走行中の車体２の姿勢や振動の影響を受け難く、高い確からしさを期待できる。

右前撮像デバイス１４は、車体２の右Ａピラーまたは、右Ａピラーの近くの車室３に設けられる。右前撮像デバイス１４は、自動車１の右前方を、たとえば１２０度の画角範囲Ｒｒｆで撮像する。

右後撮像デバイス１５は、車体２の右側面、たとえば右ドアミラーに設けられる。右後撮像デバイス１５は、自動車１の右後方を、たとえば１２０度の画角範囲Ｒｒｒで撮像する。

左前撮像デバイス１６は、車体２の左Ａピラーまたは、左Ａピラーの近くの車室３に設けられる。左前撮像デバイス１６は、自動車１の右前方を、たとえば１２０度の画角範囲Ｒｌｆで撮像する。

左後撮像デバイス１７は、車体２の左側面、たとえば左ドアミラーに設けられる。左後撮像デバイス１７は、自動車１の左後方を、たとえば１２０度の画角範囲Ｒｌｒで撮像する。

後中央撮像デバイス１８は、たとえば車室３の後中央に設けられる。後中央撮像デバイス１８は、自動車１の後方を、たとえば１２０度の画角範囲Ｒｒｃで撮像する。

このように前中央撮像デバイス１３、右前撮像デバイス１４、右後撮像デバイス１５、左前撮像デバイス１６、左後撮像デバイス１７、および、後中央撮像デバイス１８は、自動車１の車体２の周囲３６０度の車外範囲を、撮像することができる。

図２は、図１の１つの撮像デバイス４１の単眼処理での撮像状況と撮像画像との説明図である。

図２（Ａ）は、撮像デバイス４１の撮像状況の説明図である。図２（Ａ）の撮像デバイス４１は、自動車１に設けられている。図２（Ａ）の撮像デバイス４１は、上下画角範囲４２により、車外を撮像する。
図２（Ａ）には、自動車１が走行する路面と、路面にいる歩行者と、が図示されている。路面には、路面に垂直な法線が規定し得る。

図２（Ｂ）は、図２（Ａ）の撮像デバイス４１の撮像画像５１の説明図である。図２（Ｂ）の撮像画像５１は、撮像デバイス４１が有する上下および左右の画角により、車外を撮像したものである。撮像画像５１の中央部分に、歩行者の像が含まれる。
また、図２（Ｂ）の撮像画像５１には、撮像デバイス４１を撮像中心とした複数の同心円が模式的に示されている。同心円は、撮像デバイス４１を撮像中心として、撮像中心から等しい距離を結んだ線である。また、撮像画像５１には、撮像中心から放射状に延びる複数の直線が示されている。このように、撮像デバイス４１の撮像画像５１には、撮像画像５１の撮像位置ごとに、撮像デバイス４１がある撮像中心を基準とした相対的な距離と方向とを対応付けることが可能である。撮像画像５１の単眼処理では、撮像画像での撮像位置に基づいて、このような対応づけに基づく相対的な距離と方向とを得ることができる。

図２（Ｃ）は、撮像デバイス４１の撮像画像５１に対応する、単眼処理のための路面モデル５５の説明図である。撮像画像５１は、撮像範囲をマトリクス状に分割する複数の画素の輝度値といった情報により構成される。
図２（Ｃ）の路面モデル５５では、撮像画像５１の各画素について、撮像デバイス４１がある撮像中心を基準とした、図２（Ａ）の路面での相対的な距離と方向とが対応付けられる。
図２（Ｂ）の撮像画像５１では、歩行者の像の周囲について設定される四角枠５２の下端中央に対応する画素５７が、歩行者の相対的な距離および方向を示すものとして特定できる。
図２（Ｃ）の路面モデル５５において画素５７を特定することにより、図２（Ａ）の歩行者までの路面での距離および方向を得ることが可能である。
このように、１つの撮像画像５１に基づく単眼処理により、自動車１の周囲にいる周辺物についての路面での距離および方向を得ることができる。
自動運転や運転支援の制御では、このような車外の撮像対象についての相対的な距離または方向の情報を使用して、自動車１の走行を制御できる。
自動車１の３６０度の周囲を複数の撮像デバイス１１～１８により分割して撮像したり、３６０度を撮像可能な１つの撮像デバイスを用いたりすることにより、自動車１は、自動車の走行に影響を与える可能性がある周辺物の情報を得て、自動運転や運転支援の制御の信頼性を向上することができる。

図３は、自動車１に設ける撮像デバイスに生じ得る、ずれの影響の説明図である。

図３（Ａ）は、撮像デバイスの撮像画像６１に生じ得るずれの説明図である。
撮像画像６１には、たとえば、撮像デバイスについての車体２への取り付け状態が変化したり、車体２そのものの姿勢が変化したりすることにより、図３（Ａ）に示すように、撮像画像６１の中心の周囲での回転ずれ、撮像画像６１の上下方向への垂直ずれ、撮像画像６１の左右方向への水平ずれ、が生じえる。撮像デバイスが車体２そのものに直接的に取り付けられていたとしても、たとえば車体２に衝撃が加わることにより、撮像デバイスの位置や向きが変化することもある。撮像デバイスを車体２そのものに直接に取り付けていないために高い取り付け剛性を期待し難い場合には、特に、撮像デバイスの取り付け状態が、経時的に、設計での基準位置からずれたり、製造時での取り付け位置からずれたりしやすい。

図３（Ｂ）は、撮像デバイスが基準位置から左下方向へずれている場合での撮像画像６２である。撮像画像６２には、路面モデルが重ねて描画されている。
図３（Ｂ）の撮像画像６２は、図２（Ｂ）の撮像画像５１と同様に、図２（Ａ）の歩行者を撮像したものである。
図３（Ｂ）の撮像画像６２を撮像する撮像デバイスの向きは、紙面の左下方向へずれている。
この場合、撮像画像６２に含まれる歩行者の像の撮像位置は、撮像画像６２の右上方向の位置へずれる。
その結果、歩行者の相対的な距離および方向を示すものとして特定される画素６３は、図２（Ｃ）で特定される画素５７の右上方向の画素となる。
画素６３の位置と路面モデルとに基づいて特定される歩行者についての相対的な距離または方向は、ずれが生じていない図２（Ｂ）の撮像画像５１と比べて、正確性に劣るものとなる。

図３（Ｃ）は、撮像デバイスが基準位置から左横方向へずれた場合での撮像画像６４である。撮像画像６４には、路面モデルが重ねて描画されている。
図３（Ｃ）の撮像画像６４は、図２（Ｂ）の撮像画像５１と同様に、図２（Ａ）の歩行者を撮像したものである。
図３（Ｃ）の撮像画像６４を撮像する撮像デバイスの向きは、紙面の左方向へずれている。
この場合、撮像画像６４に含まれる歩行者の像の撮像位置は、撮像画像６４の右方向の位置へずれる。
その結果、歩行者の相対的な距離および方向を示すものとして特定される画素６５は、図２（Ｃ）で特定される画素５７の右方向の画素となる。
画素６５の位置と路面モデルとに基づいて特定される歩行者についての相対的な距離または方向は、ずれが生じていない図２（Ｂ）の撮像画像５１と比べて、正確性に劣るものとなる。

図４は、自動車１に設ける複数の撮像デバイスの間で生じ得る、ずれの影響の説明図である。
図４（Ａ）から図４（Ｃ）には、前へ走行中の自動車１の左側に設けられる左前撮像デバイス１６と左後撮像デバイス１７との２つの撮像デバイスによる撮像画像７１，７２が示されている。時間は、図４（Ａ）から図４（Ｃ）へ向かって流れる。
図４において、左前撮像デバイス１６は、基準位置に設けられている。これに対し、左後撮像デバイス１７は、基準位置から右下方向へ向かうようにずれて設けられる。

図４（Ａ）は、左後撮像画像７２がずれたまま、左前撮像画像７１の中央領域において、撮像対象である歩行者を撮像している状況の説明図である。
図４（Ａ）では、左前撮像デバイス１６および左後撮像デバイス１７の中の、左前撮像デバイス１６が、歩行者を撮像している。歩行者は、左前撮像デバイス１６の撮像画像の中央領域の位置７３に撮像されている。

図４（Ｂ）は、図４（Ａ）の直後に、左前撮像画像７１の後領域において、撮像対象である歩行者を撮像している状況の説明図である。
図４（Ａ）の後のタイミングである図４（Ｂ）では、自動車１が前へ走行しているため、歩行者は、左前撮像デバイス１６の撮像画像７１の左側領域の位置７４に撮像されている。

図４（Ｃ）は、図４（Ｂ）の直後に、ずれている左後撮像画像７２の前領域において、撮像対象である歩行者を撮像している状況の説明図である。
図４（Ｂ）の後のタイミングである図４（Ｃ）では、左前撮像デバイス１６ではなく、左後撮像デバイス１７が、歩行者を撮像している。歩行者は、左後撮像デバイス１７の撮像画像７２の中央寄りの位置７５に撮像されている。
図４（Ｃ）において左後撮像デバイス１７の撮像画像７２に含まれる歩行者の像の位置７５は、左後撮像デバイス１７に生じているずれにより、ずれがなかった場合の位置７６と比べて、左上方向へずれている。
その結果、図４（Ｃ）の左後撮像デバイス１７の撮像画像に基づく単眼処理により得られる、歩行者についての距離および方向は、ずれがなかった場合の位置７６と比べて、正確性に劣るものとなる。
しかも、図４（Ａ）から図４（Ｂ）に示すように、歩行者は、左前撮像デバイス１６の撮像画像７１において、右から左へ水平に移動するように撮像された後、図４（Ｃ）の左後撮像デバイス１７の撮像画像７２において瞬間移動するように撮像されてしまうことになる。歩行者の距離および方向は、複数の撮像画像７１，７２の間で移動する際に、非連続的に変化してしまう。

本実施形態では、走行する自動車１に設けられる複数の撮像デバイス１１～１８の撮像範囲や画角が、その取り付け状態の変化や振動によってずれたとしても、上述した各種の課題が発生し難くできる技術を提案する。
本実施形態では、複数の撮像デバイス１１～１８が剛性が高い車体２そのものに直接的に取り付けられていなくとも、使用に耐えられるようにする技術を提案する。複数の撮像デバイス１１～１８は、剛性が高い車体２に直接的に取り付けないことにより、撮像などに適した自由な位置に取り付けることが可能になる。
その結果として、本実施形態では、自動車１の車外を撮像するために自動車１に設けられる複数の撮像デバイス１１～１８について、その信頼性を確保し、または維持することができるようになる。

図５は、図１の自動車１における、車外撮像装置１０を含む制御システム９の説明図である。
図５の制御システム９は、自動車１の制御系を構成するものであり、車外撮像装置１０、運転支援装置３２、乗員保護装置３３、車外保護装置３４、車外通信装置３５、センサ装置３６、および、これらが接続される車ネットワーク３１、を有する。

車ネットワーク３１は、たとえば自動車１で採用される例えばＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＦｌｅｘＲａｙ、ＣＸＰＩ（Ｃｌｏｃｋ Ｅｘｔｅｎｓｉｏｎ Ｐｅｒｉｐｈｅｒａｌ Ｉｎｔｅｒｆａｃｅ）といったものでよい。車ネットワーク３１は、たとえば、複数の制御装置に接続される複数のバスケーブルと、複数のバスケーブルがバス接続されるセントラルゲートウェイ（ＣＧＷ）と、で構成されてよい。複数の制御装置は、車ネットワーク３１を通じて相互にメッセージを送受できる。これにより、複数の制御装置は、協働して自動車１を制御できる。

運転支援装置３２は、たとえば自動車１の不図示の操舵装置、駆動装置、制動装置などを制御し、自動車１の走行を制御する。駆動装置は、ガソリン、軽油、水素ガスといった燃料の燃焼により駆動力を発生するエンジンを備えるものでも、バッテリの蓄電電力または発電により駆動力を発生するモータを備えるものでも、またはその双方を備えるものでも、よい。運転支援装置３２は、自動車１の乗員の操作にしたがって自動車１の走行を制御しても、乗員の操作を支援して自動車１の走行を制御しても、自律的な自動運転の制御により自動車１の走行を制御しても、よい。

乗員保護装置３３は、自動車１の乗員を保護するための不図示のエアバッグ装置、シートベルト装置などを制御し、自動車１の乗員を保護するための制御を実行する。乗員保護装置３３は、自動車１の衝突が検出または予測されることに基づいて、自動車１の乗員を保護するための制御を実行してよい。

車外保護装置３４は、自動車１の周囲にいる歩行者やサイクリストを保護するための不図示のエアバッグ装置などを制御し、自動車１の周囲にいる歩行者やサイクリストを保護するための制御を実行する。車外保護装置３４は、たとえば歩行者やサイクリストと自動車１との衝突が検出または予測されることに基づいて、歩行者やサイクリストを保護するための制御を実行してよい。

車外通信装置３５は、たとえば道路に沿って設置される不図示の基地局などと通信路を確立し、制御システム９と基地局に接続される不図示のサーバ装置との間で無線通信によるデータ送受を実行する。これにより、車外通信装置３５は、自動車１の制御システム９で生成される衝突などの情報を、車外のサーバ装置へ送信できる。この場合、自動車１の制御システム９は、自動車１の制御システム９で生成される衝突などの情報を、車外のサーバ装置へ送信できる。
また、車外通信装置３５は、自動車１の周囲を走行する他の自動車といった他の移動体との間で、通信路を確立してもよい。この場合、自動車１の制御システム９は、自動車１の制御システム９で生成される衝突などの情報を、他の移動体へ送信したり、他の移動体から走行などの情報を受信したりできる。

センサ装置３６は、たとえば加速度センサ３７といった自動車１に設けられる各種のセンサに接続される。加速度センサ３７は、自動車１の走行に伴う加速度を検出する。センサ装置３６は、加速度センサ３７の検出値に基づいて、自動車１の走行方向、走行速度、姿勢といった情報を生成してよい。

車外撮像装置１０は、複数の撮像デバイス１１～１８、入出力ポート２２、車内入出力部２１、タイマ２５、メモリ２３、ＣＰＵ２４、および、これらが接続されるシステムバス２６、を有する。
車外撮像装置１０の各部は、システムバス２６を通じて互いにデータを入出力できる。

複数の撮像デバイス１１～１８は、自動車１の車外を撮像するために自動車１に設けられるものであればよく、図１に示すものでよい。
そして、本実施形態において、図１の前中央撮像デバイス１３は、その画角範囲Ｒｆｃの少なくとも一部の撮像領域が、前右撮像デバイス１１の画角範囲Ｒｆｒ、および前左撮像デバイス１２の画角範囲Ｒｆｌと、重なるように設けられる。
右前撮像デバイス１４の画角範囲Ｒｒｆは、その左側の一部の撮像領域が、前右撮像デバイス１１の画角範囲Ｒｆｒ、前左撮像デバイス１２の画角範囲Ｒｆｌ、と重なるように設けられる。また、右前撮像デバイス１４の画角範囲Ｒｒｆは、その左側の一部の撮像領域が、前中央撮像デバイス１３の画角範囲Ｒｆｃ、と重なるように設けられる。
右後撮像デバイス１５の画角範囲Ｒｒｒは、その左側の一部の撮像領域が、右前撮像デバイス１４の画角範囲Ｒｒｆの撮像領域、と重なるように設けられる。
左前撮像デバイス１６の画角範囲Ｒｌｆは、その右側の一部の撮像領域が、前右撮像デバイス１１の画角範囲Ｒｆｒ、前左撮像デバイス１２の画角範囲Ｒｆｌ、と重なるように設けられる。また、左前撮像デバイス１６の画角範囲Ｒｌｆは、その右側の一部の撮像領域が、前中央撮像デバイス１３の画角範囲Ｒｆｃ、と重なるように設けられる。
左後撮像デバイス１７の画角範囲Ｒｌｒは、その右側の一部の撮像領域が、左前撮像デバイス１６の画角範囲Ｒｌｆの撮像領域、と重なるように設けられる。
後中央撮像デバイス１８の画角範囲Ｒｒｃは、その左側の一部の撮像領域が、右後撮像デバイス１５の画角範囲Ｒｒｒ、と重なるように設けられる。また、後中央撮像デバイス１８の画角範囲Ｒｒｃは、その右側の一部の撮像領域が、左後撮像デバイス１７の画角範囲Ｒｌｒ、と重なるように設けられる。

入出力ポート２２には、複数の撮像デバイス１１～１８が接続される。複数の撮像デバイス１１～１８は、各々が周期的に撮像する撮像画像を、入出力ポート２２へ出力する。

車内入出力部２１は、車ネットワーク３１に接続される。車内入出力部２１は、車ネットワーク３１を通じて、制御システム９を構成する他の装置、たとえば運転支援装置３２などとの間でデータを含むメッセージを入出力する。

タイマ２５は、時間、時刻を計測する。タイマ２５の時刻は、不図示のＧＮＳＳ衛星からの電波により校正されてよい。ＧＮＳＳ衛星を受信するＧＮＳＳ受信機は、車ネットワーク３１に接続されても、センサ装置３６に接続されてもよい。

メモリ２３は、たとえばＨＤＤ、ＳＤ、ＲＡＭ、ＲＯＭ、などで構成されてよい。メモリ２３は、たとえば、ＣＰＵ２４が実行するプログラム、およびプログラムの実行に用いるテーブルなどのデータを記録する。メモリ２３は、たとえば図２（Ｃ）の路面モデル５５の複数の画素の距離および方向についてのテーブルを記録してよい。

ＣＰＵ２４は、メモリ２３に記録されるプログラムを読み込んで実行する。これにより、ＣＰＵ２４は、車外撮像装置１０の制御部として機能する。
車外撮像装置１０の制御部としてのＣＰＵ２４は、車外撮像装置１０の全体的な動作を制御する。
ＣＰＵ２４は、たとえば入出力ポート２２を通じて複数の撮像デバイス１１～１８の各々から撮像画像を取得すると、取得した撮像画像に基づいて歩行者などの周辺物を認識して特定する。
ＣＰＵ２４は、複数の撮像デバイス１１～１８の撮像画像を用いて、車外の撮像対象としての特定した周辺物についての相対的な距離または方向を生成する。
ＣＰＵ２４は、特定した周辺物について生成したこれらの情報を、車内入出力部２１および車ネットワーク３１を通じて、制御システム９を構成する他の装置へ出力する。
ＣＰＵ２４は、車外撮像装置１０の複数の撮像デバイス１１～１８の各々のずれを補正するためのキャリブレーション制御を、必要に応じて適宜実行してよい。

図６は、図５の複数の撮像デバイス１１～１８の撮像範囲と、３６０度キャリブレーションでのずれ補正制御の順番との説明図である。

図６には、図１に示す複数の撮像デバイス１１～１８による複数の撮像画像が示されている。
複数の撮像画像は、自動車１の前中央のもの（ＩＲｆｃ）を中心として、撮像範囲が相互に重ねて並べられている。
図６の中央部分には、前中央撮像デバイス１３の撮像画像ＩＲｆｃと、前右撮像デバイス１１の撮像画像ＩＲｆｒと、前左撮像デバイス１２の撮像画像ＩＲｌｒと、がそれらの略すべての撮像領域が重なるように示されている。
図６の右側分には、右前撮像デバイス１４の撮像画像ＩＲｒｆ、右後撮像デバイス１５の撮像画像ＩＲｒｒ、後中央撮像デバイス１８の撮像画像ＩＲｒｃ１、が中央側から順番に一部の撮像領域を重ねて示されている。
図６の左側分には、左前撮像デバイス１６の撮像画像ＩＲｌｆ、左後撮像デバイス１７の撮像画像ＩＲｌｒ、後中央撮像デバイス１８の撮像画像ＩＲｒｃ２、が中央側から順番に一部の撮像領域を重ねて示されている。

このように、図１に示す複数の撮像デバイス１１～１８は、自動車１の前中央から右まわりに後中央までを撮像し、自動車１の前中央から左まわりに後中央までを撮像する。
図１に示す複数の撮像デバイス１１～１８は、自動車１の周囲の３６０度を、複数の撮像デバイス１１～１８により分割して撮像できる。自動車１の周囲に存在する歩行者などの周辺物は、少なとも１つの撮像デバイスにより撮像され得る。
なお、図６における複数の撮像画像についての上下方向のずれは、図面の見やすさおよび説明のためのものである。複数の撮像画像の撮像範囲は、基本的に自動車１の上下方向へずれることなく、自動車１の外周方向に沿って並んでいてよい。

図７は、図５の車外撮像装置１０のＣＰＵ２４による、３６０度キャリブレーション制御のフローチャートである。
図７の３６０度キャリブレーション制御は、ステレオカメラ１９の複眼処理に用いることができる前右撮像デバイス１１の撮像画像ＩＲｆｒと前左撮像デバイス１２の撮像画像ＩＲｌｒとを最初の基準画像として用いて、その他の撮像デバイス１３～１８の単眼処理でのずれ補正情報を生成するものである。そして、図７の３６０度キャリブレーション制御では、図６の中央の撮像画像ＩＲｆｃから、右回りの順番、および左回りの順番で、それぞれの撮像画像についてのずれ補正の情報を生成する。
ここで生成するずれ補正の情報は、各撮像デバイスの撮像画像の単眼処理において、撮像範囲での撮像位置に基づく車外の撮像対象（周辺物など）についての相対的な距離または方向を得る際に用いることができるものでよい。
この場合でのずれ補正の情報は、各撮像デバイスの撮像画像について単眼処理のためにたとえば設計時に予め設定されている撮像画像での画素（撮像位置）ごとの相対的な距離または方向の情報についての距離または方向の補正情報となる。

車外撮像装置１０のＣＰＵ２４は、図７の３６０度キャリブレーション制御を、繰り返し実行してよい。
ＣＰＵ２４は、図７の３６０度キャリブレーション制御の複数の処理を一度にすべてを実行しても、１つの撮像デバイスの撮像画像についての処理をしたら時間をあけて次の撮像デバイスの撮像画像についての処理を離間的に実行してもよい。
ＣＰＵ２４は、図７のキャリブレーション制御を周期的に実行するだけでなく、たとえば車体２に衝撃が入力された時、走行を開始する時、製造出荷時、車両点検時などにおいて適宜に実行してよい。
そして、ＣＰＵ２４は、図７の各々のずれ補正制御の処理において、各々の処理時点（現時点）での最新の撮像画像の１つの撮像対象のみに基づいてずれ補正の情報を生成してもよいが、好ましくは、複数の撮像対象に基づく平均的なずれ補正の情報を生成したり、複数回の撮像画像での複数の撮像対象に基づく平均的なずれ補正の情報を生成したりするとよい。これにより、撮像対象の種類に応じた認識誤差の影響、撮像タイミングに起因する誤差の影響などを抑制して、より確からしいずれ補正の情報が生成されることを期待できる。

ステップＳＴ１において、ＣＰＵ２４は、互いの配置が規定されている前右撮像デバイス１１と前左撮像デバイス１２とのステレオカメラ１９についての複眼処理による車外の撮像対象についての相対的な距離および方向の情報を基準として、前中央撮像デバイス１３の単眼処理に用いるずれ補正の情報を生成する。前中央撮像デバイス１３の撮像領域は、図６に示すように、ステレオカメラ１９としての前右撮像デバイス１１の撮像領域と前左撮像デバイス１２の撮像領域との双方と重なる。複数の撮像デバイスの中の少なくとも３つは、共通する撮像領域を重ねて撮像可能となるように自動車１に設けられている。
ＣＰＵ２４は、これら３つの撮像デバイスの撮像画像に共通に撮像されている車外の撮像対象を認識し、ステレオカメラ１９での撮像対象の視差に基づく相対的な距離および方向の情報を生成する。
ＣＰＵ２４は、ステレオカメラ１９での撮像対象の視差に基づく相対的な距離および方向と、前中央撮像デバイス１３での道路パターンに基づく相対的な距離および方向との差を、処理に係る前中央撮像デバイス１３の撮像画像についてのずれ補正の情報を生成する。

ステップＳＴ２において、ＣＰＵ２４は、ステップＳＴ１と同様にステレオカメラ１９での撮像対象の視差に基づく相対的な距離および方向を基準として、単眼処理用の右前撮像デバイス１４の撮像画像についてのずれ補正の情報を生成する。右前撮像デバイス１４の撮像領域の一部は、ステレオカメラ１９を構成する前右撮像デバイス１１の撮像領域と前左撮像デバイス１２の撮像領域と重なっており、３つに共通する撮像領域には、共通の撮像対象が重ねて撮像され得る。
また、ＣＰＵ２４は、ステップＳＴ１と同様にステレオカメラ１９での撮像対象の視差に基づく相対的な距離および方向を基準として、単眼処理用の左前撮像デバイス１６の撮像画像についてのずれ補正の情報を生成する。左前撮像デバイス１６の撮像領域の一部は、ステレオカメラ１９を構成する前右撮像デバイス１１の撮像領域と前左撮像デバイス１２の撮像領域と重なっており、３つに共通する撮像領域には、共通の撮像対象が重ねて撮像され得る。

ステップＳＴ３において、ＣＰＵ２４は、単眼処理用の右後撮像デバイス１５の撮像画像の一部が、単眼処理用の右前撮像デバイス１４の撮像画像と重なって共通する撮像対象を重ねて撮像していることを利用して、単眼処理用の右前撮像デバイス１４のずれ補正後の撮像画像における車外の撮像対象についての相対的な距離または方向の情報を基準として、右後撮像デバイス１５の撮像画像についてのずれ補正の情報を生成する。２つの撮像画像において重なる共通する撮像領域には、共通の撮像対象が重ねて撮像され得る。
また、ＣＰＵ２４は、単眼処理用の左後撮像デバイス１７の撮像画像の一部が、単眼処理用の左前撮像デバイス１６の撮像画像と重なって共通する撮像対象を重ねて撮像していることを利用して、単眼処理用の左前撮像デバイス１６のずれ補正後の撮像画像における車外の撮像対象についての相対的な距離または方向の情報を基準として、左後撮像デバイス１７の撮像画像についてのずれ補正の情報を生成する。２つの撮像画像において重なる共通する撮像領域には、共通の撮像対象が重ねて撮像され得る。

ステップＳＴ４において、ＣＰＵ２４は、単眼処理用の後中央撮像デバイス１８の撮像画像の一部が、単眼処理用の右後撮像デバイス１５の撮像画像と重なって共通する撮像対象を重ねて撮像していることを利用して、単眼処理用の右後撮像デバイス１５のずれ補正後の撮像画像における車外の撮像対象についての相対的な距離または方向の情報を基準として、後中央撮像デバイス１８の撮像画像についてのずれ補正の情報を生成する。２つの撮像画像において重なる共通する撮像領域には、共通の撮像対象が重ねて撮像され得る。
また、ＣＰＵ２４は、単眼処理用の後中央撮像デバイス１８の撮像画像の一部が、単眼処理用の左後撮像デバイス１７の撮像画像と重なって共通する撮像対象を重ねて撮像していることを利用して、単眼処理用の左後撮像デバイス１７のずれ補正後の撮像画像における車外の撮像対象についての相対的な距離または方向の情報を基準として、後中央撮像デバイス１８の撮像画像についてのずれ補正の情報を生成する。２つの撮像画像において重なる共通する撮像領域には、共通の撮像対象が重ねて撮像され得る。
なお、単眼処理用の後中央撮像デバイス１８についてのずれ補正の情報を得るだけの場合、ＣＰＵ２４は、上述した２つのずれ補正の情報の中の一方のみを生成してもよい。

このように制御部としてのＣＰＵ２４は、複数の単眼処理用の撮像デバイス１３～１８のずれ補正の情報を生成する際に、互いの配置が規定されていれるステレオカメラ１９の複眼処理に用いることができる２つの撮像デバイス１１，１２の撮像画像を基準として、ステレオカメラ１９と共通する撮像領域を重ねて撮像可能な単眼処理用の撮像デバイス１３～１５から順番にずれ補正の情報を生成する。
また、自動車１の３６０度の周囲を分割して撮像するように自動車１に設けられる複数の単眼処理用の撮像デバイス１４～１８は、自動車１の３６０度の周囲の分割方向において隣接している他の単眼処理用の撮像デバイスと共通する撮像領域を重ねて撮像可能となるように自動車１に設けられて、他の単眼処理用の撮像デバイスについてのずれ補正後の撮像画像での撮像位置を基準として、ずれ補正の情報を生成される。ＣＰＵ２４は、複数の単眼処理用の撮像デバイス１３～１８についての単眼処理で用いる撮像範囲での撮像位置に基づく車外の撮像対象についての相対的な距離および方向についてのずれ補正の情報を、撮像領域の重なりの順番にしたがって順番に生成する。ＣＰＵ２４は、ステレオカメラ１９の撮像範囲の一端側において共通する撮像領域を重ねて撮像可能な一端側の単眼処理用の撮像デバイス１４と、ステレオカメラ１９の撮像範囲の他端側において共通する撮像領域を重ねて撮像可能な他端側の単眼処理用の撮像デバイス１５と、から順番に、自動車１の３６０度の周囲を分割して撮像する複数の単眼処理用の撮像デバイス１４～１８についてのずれ補正の情報を生成できる。
そして、最後にずれ補正の処理がなされる後中央撮像デバイス１８は、ステレオカメラ１９とは逆に自動車１の後側を撮像するように設けられている。ＣＰＵ２４は、最後に処理する単眼処理用の後中央撮像デバイス１８については、右回りでのずれ補正の情報と、左回りでのずれ補正の情報と、を生成する。

ステップＳＴ５において、ＣＰＵ２４は、以上の処理により生成した複数の単眼処理用の撮像デバイス１３～１５についての複数のずれ補正の情報が、車外の周辺物についての相対的な距離および方向を確からしく得られるものであるか否かを評価する。
ＣＰＵ２４は、たとえば、最後にずれ補正の処理がなされる後中央撮像デバイス１８についての、右回り（一端側）でのずれ補正の情報と、左回り（他端側）でのずれ補正の情報と、を比較して一連の補正を評価してよい。
一連の補正が、単眼処理により相対的な距離および方向を確からしく得られるように良好なものである場合、ＣＰＵ２４は、本制御を終了する。一連の補正が良好であると評価できない場合、ＣＰＵ２４は、処理をステップＳＴ６へ進める。

ステップＳＴ６において、ＣＰＵ２４は、複数の撮像デバイス１３～１８の撮像画像に基づいて、自動車１の周囲にいる車外の周辺物についての距離または向きとして高い確からしさのものを得ることができない可能性がある旨の警告を出力する。警告は、自動車１に設けられる不図示のスピーカ、液晶デバイスといったユーザインタフェースを通じて、乗員へ報知される。
また、ＣＰＵ２４は、複数の撮像デバイス１１～１８の取り付けなどについての保守要請を出力する。保守要請の情報は、車内入出力部２１、車ネットワーク３１を通じて、車外通信装置３５へ出力されてよい。車外通信装置３５は、不図示の自動車１を整備点検する企業のサーバ装置へ送信してよい。
その後、ＣＰＵ２４は、本制御を終了する。

図８は、ステレオ基準の単眼ずれ補正制御の詳細なフローチャートである。
ＣＰＵ２４は、たとえば図７のステップＳＴ１において前中央撮像デバイス１３のずれ補正を生成する場合、図７のステップＳＴ２において右前撮像デバイス１４のずれ補正を生成する場合、図７のステップＳＴ２において左前撮像デバイス１６のずれ補正を生成する場合、のそれぞれにおいて図８のステレオ基準の単眼ずれ補正制御を実行してよい。

ステップＳＴ１１において、ＣＰＵ２４は、互いの配置が規定されている前右撮像デバイス１１と前左撮像デバイス１２とのステレオ撮像により、２つの撮像画像を取得する。

ステップＳＴ１２において、ＣＰＵ２４は、ずれ補正の処理に係る撮像デバイス１３，１４，１６の単眼撮像により、その撮像画像を取得する。

ステップＳＴ１３において、ＣＰＵ２４は、ステップＳＴ１１およびステップＳＴ１２で取得した３つの撮像画像についての三重に共通している撮像領域について、周辺物といった撮像対象を特定する。ＣＰＵ２４は、たとえば三重の共通する撮像領域において共通して含まれている画像成分を抽出して、周辺物といった撮像対象を特定してよい。なお、ずれ補正の処理に係る撮像デバイス１３，１４，１６は、車体２に対する取り付け位置がずれたり、傾いたりしている可能性がある。ＣＰＵ２４は、これらのずれをたとえば前回の処理でのずれ補正を考慮して、図６に示す車線の撮像領域より小さい範囲について、周辺物といった撮像対象を特定してよい。

ステップＳＴ１４において、ＣＰＵ２４は、特定した撮像対象についての、ステレオカメラ１９の複眼処理による相対的な距離および方向を、ステレオ位置情報として取得する。ＣＰＵ２４は、ステレオカメラ１９についてのずれ補正をしていない２つの撮像画像に基づいて、特定した撮像対象の視差に基づく相対的な距離および方向を、三角法の演算などにより取得してよい。

ステップＳＴ１５において、ＣＰＵ２４は、特定した撮像対象についての、ずれ補正の処理に係る撮像デバイスの単眼処理による相対的な距離および方向を、単眼位置情報として取得する。ＣＰＵ２４は、特定した撮像対象の相対的な距離および方向を、ずれ補正の処理に係る撮像デバイス１３，１４，１６の撮像画像についてのずれ補正を含まない道路パターンに基づいて、取得してよい。

ステップＳＴ１６において、ＣＰＵ２４は、ずれ補正の処理に係る撮像デバイス１３，１４，１６の単眼処理に用いるずれ補正の情報を生成する。ＣＰＵ２４は、ステレオ位置情報での撮像対象の距離および方向と、単眼位置情報での撮像対象の距離および方向との差を、ずれ補正の情報として生成してよい。ずれ補正の処理に係る撮像デバイス１３，１４，１６は、図３（Ａ）で示したように、水平ずれや垂直ずれの他に、回転ずれを生じることがある。少なくとも回転ずれがある場合、ＣＰＵ２４は、ずれ補正の情報として、ずれ補正の処理に係る撮像デバイス１３，１４，１６のすべての画素についてのずれ補正の情報を、画素ごとに個別に生成してよい。

ステップＳＴ１７において、ＣＰＵ２４は、生成したずれ補正の情報を、ずれ補正の処理に係る撮像デバイス１３，１４，１６と関連付けて、メモリ２３に保存する。

このようにＣＰＵ２４は、ステレオカメラ１９の２つの撮像デバイス１１，１２とずれ補正の処理に係る撮像デバイス１３，１４，１６との３つの撮像デバイスの撮像画像の各々において、三重に共通する撮像領域に重ねて撮像されている撮像対象の撮像位置を特定し、３つの撮像画像での撮像位置の差に基づいて、ずれ補正の処理に係る撮像デバイス１３，１４，１６の単眼処理で用いることができるずれ補正の情報を生成することができる。ＣＰＵ２４は、ステレオカメラ１９の相対的な距離および方向の情報を用いて、単眼処理用の撮像デバイス１３，１４，１６の単眼処理で用いる撮像位置に基づく車外の撮像対象についての相対的な距離および方向についてのずれ補正の情報を生成できる。

図９は、隣接単眼基準の単眼ずれ補正制御の詳細なフローチャートである。
ＣＰＵ２４は、たとえば図７のステップＳＴ３において右後撮像デバイス１５のずれ補正を生成する場合、図７のステップＳＴ３において左後撮像デバイス１７のずれ補正を生成する場合、図７のステップＳＴ３において後中央撮像デバイス１８のずれ補正を生成する場合、のそれぞれにおいて図９の隣接単眼基準の単眼ずれ補正制御を実行してよい。

ステップＳＴ２１において、ＣＰＵ２４は、処理に係る撮像デバイス１５，１７，１８に隣接する撮像デバイス１４，１６，１５（１７）についてのずれ補正の処理が済んでいるか否かを判断する。隣接する撮像デバイス１４，１６，１５（１７）についてのずれ補正の処理が済んでいない場合、ＣＰＵ２４は、本処理を繰り返す。隣接する撮像デバイス１４，１６，１５（１７）についてのずれ補正の処理が済むと、ＣＰＵ２４は、処理をステップＳＴ２２へ進める。

ステップＳＴ２２において、ＣＰＵ２４は、ずれ補正の処理が済んでいる隣接する撮像デバイス１４，１６，１５（１７）の単眼撮像により、基準となる１つの撮像画像を取得する。

ステップＳＴ２３において、ＣＰＵ２４は、ずれ補正の処理に係る撮像デバイス１５，１７，１８の単眼撮像により、その撮像画像を取得する。

ステップＳＴ２４において、ＣＰＵ２４は、ステップＳＴ２２およびステップＳＴ２３で取得した２つの撮像画像についての二重に共通している撮像領域について、周辺物といった撮像対象を特定する。ＣＰＵ２４は、たとえば二重の共通する撮像領域において共通して含まれている画像成分を抽出して、周辺物といった撮像対象を特定してよい。なお、ずれ補正の処理に係る撮像デバイス１５，１７，１８は、車体２に対する取り付け位置がずれたり、傾いたりしている可能性がある。ＣＰＵ２４は、これらのずれをたとえば前回の処理でのずれ補正を考慮して、図６に示す車線の撮像領域より小さい範囲について、周辺物といった撮像対象を特定してよい。

ステップＳＴ２５において、ＣＰＵ２４は、特定した撮像対象についての、基準画像での相対的な距離および方向を、基準画像での位置情報として取得する。ＣＰＵ２４は、特定した撮像対象の相対的な距離および方向を、隣接する撮像デバイス１４，１６，１５（１７）の基準画像をずれ補正した道路パターンに基づいて、取得してよい。

ステップＳＴ２６において、ＣＰＵ２４は、特定した撮像対象についての、ずれ補正の処理に係る撮像デバイス１５，１７，１８の単眼処理による相対的な距離および方向を、単眼位置情報として取得する。ＣＰＵ２４は、特定した撮像対象の相対的な距離および方向を、ずれ補正の処理に係る撮像デバイス１５，１７，１８の撮像画像についてのずれ補正を含まない道路パターンに基づいて、取得してよい。

ステップＳＴ２７において、ＣＰＵ２４は、ずれ補正の処理に係る撮像デバイス１５，１７，１８の単眼処理に用いるずれ補正の情報を生成する。ＣＰＵ２４は、基準画像での撮像対象の距離および方向と、単願画像での撮像対象の距離および方向との差を、ずれ補正の情報として生成してよい。ずれ補正の処理に係る撮像デバイス１５，１７，１８は、図３（Ａ）で示したように、水平ずれや垂直ずれの他に、回転ずれを生じることがある。回転ずれがある場合には、ＣＰＵ２４は、ずれ補正の情報として、ずれ補正の処理に係る撮像デバイス１５，１７，１８のすべての画素についてのずれ補正の情報を、画素ごとに個別に生成してよい。

ステップＳＴ２８において、ＣＰＵ２４は、生成したずれ補正の情報を、ずれ補正の処理に係る撮像デバイス１５，１７，１８と関連付けて、メモリ２３に保存する。

このようにＣＰＵ２４は、ずれ補正の処理に係る撮像デバイス１５，１７，１８とそれに隣接する撮像デバイス１４，１６，１５（１７）との２つの撮像デバイスの撮像画像の各々において、二重に共通する撮像領域に重ねて撮像されている撮像対象の撮像位置を特定し、２つの撮像画像での撮像位置の差に基づいて、ずれ補正の処理に係る撮像デバイス１５，１７，１８の単眼処理で用いることができるずれ補正の情報を生成することができる。ＣＰＵ２４は、ずれ補正の情報が生成されている撮像デバイス１４，１６，１５（１７）の相対的な距離または方向の情報を用いて、単眼処理用の撮像デバイス１５，１７，１８の単眼処理で用いる撮像位置に基づく車外の撮像対象についての相対的な距離および方向についてのずれ補正の情報を生成できる。

図１０は、図７から図９の制御により生成したずれ補正情報を用いる撮像制御のためのブロック図である。
ＣＰＵ２４は、メモリ２３に記録されているプログラムを実行することにより、図１０に示す周辺物認識処理部８２、周辺物位置情報生成部８３、定量ずれ補正部８４、リアルタイムずれ補正部８５、周辺物情報出力部８６、を車外撮像装置１０に実現する。
また、図１０には、車外撮像装置１０において単眼処理に用いる１つの撮像デバイス８１と、車外撮像装置１０が生成する周辺物情報に基づく制御を実行する車両制御実行部８７と、が図示されている。撮像デバイス８１は、たとえば前中央撮像デバイス１３、右前撮像デバイス１４、右後撮像デバイス１５、左前撮像デバイス１６、左後撮像デバイス１７、後中央撮像デバイス１８、の中から選択された１つでよい。
車外撮像装置１０のメモリ２３は、撮像デバイス８１の単眼処理において撮像画像と対応付けできる路面モデルのデータ９１と、上述した処理により生成された撮像デバイス８１についてのずれ補正の情報９２と、を記録している。
ＣＰＵ２４は、車外撮像装置１０に設けられる単眼処理のための複数の撮像デバイス１３～１８ごとに、図１０の撮像制御のブロックを実現してよい。

撮像デバイス８１は、自動車１の車外を撮像して、撮像画像を周辺物認識処理部８２へ出力する。

周辺物認識処理部８２は、撮像デバイス８１の撮像画像について、撮像されている周辺物の認識処理を実行する。
周辺物認識処理部８２は、周辺物の認識処理により、撮像されている車外の周辺に存在している他の自動車、歩行者、サイクリスト、を認識してよい。周辺物認識処理部８２は、この他にもたとえば、道路、道路の設置物、道路沿いの構造物、道路に描画されている車線境界線などを、認識してよい。
周辺物認識処理部８２は、たとえば、周辺物ごとに予めメモリ２３に記録されている周辺物の特徴情報を用いて、撮像されている周辺物を認識しても、周辺物を学習した深層学習ネットワーク処理により、撮像されている周辺物を認識しても、または、これらを併用して、撮像されている周辺物を認識しても、よい。周辺物認識処理部８２は、撮像画像を解像度変換、サイズ変換、色成分変換、または微分処理により変換して、周辺物の認識処理を実行しても、撮像画像の一部を切り出して、周辺物の認識処理を実行しても、よい。周辺物認識処理部８２は、撮像画像の領域ごとに異なる処理により、周辺物の認識処理を実行してもよい。

周辺物位置情報生成部８３は、周辺物認識処理部８２により認識された１乃至複数の周辺物の各々について、相対的な距離および方向を含む位置情報を生成する。
周辺物位置情報生成部８３は、周辺物の撮像位置の画素についての、単眼処理のためにメモリ２３に記録されている路面モデルのデータ９１を用いて、相対的な距離および方向を含む位置情報を生成してよい。

定量ずれ補正部８４は、周辺物の相対的な距離および方向に含まれている、撮像デバイス８１の定量的なずれを減らす補正処理を実行する。
定量ずれ補正部８４は、撮像デバイス８１に対応付けてメモリ２３に記録されているずれ補正の情報９２を取得し、取得したずれ補正の情報９２を用いて、周辺物の相対的な距離および方向を補正する。
これにより、ＣＰＵ２４は、周辺物の相対的な距離および方向として、撮像デバイス８１の取り付け位置のずれの影響を抑制した距離および方向を得ることが可能になる。

リアルタイムずれ補正部８５は、自動車１の最新の姿勢情報９３を取得して、自動車１の姿勢の変化に起因する撮像デバイス８１のずれを演算し、演算したずれを減らす補正処理を実行する。
リアルタイムずれ補正部８５は、たとえば加速度センサ３７の検出に基づく自動車１の最新の姿勢情報９３をセンサ装置３６から取得してよい。
リアルタイムずれ補正部８５は、取得した姿勢情報９３と、自動車１の車体２の情報と、撮像デバイス８１についての自動車１の取り付け位置の情報とを用いて、撮像デバイス８１のずれを演算する。自動車１の車体２の情報と、撮像デバイス８１についての自動車１の取り付け位置の情報とは、メモリ２３にデータとして記録されていても、プログラム中のパラメータとして記録されていてもよい。路面モデルは、基本的に図２（Ａ）の撮像状態において各画素に対応する相対的な距離および方向を示すものである。自動車１の姿勢が変化すると、撮像デバイス８１についての路面からの高さ、撮像デバイス８１の向き、などが変化する。リアルタイムずれ補正部８５は、自動車１の変化した姿勢の下での撮像デバイス８１についての図２（Ａ）の路面に対する姿勢や距離の変化量を、撮像デバイス８１のリアルタイムのずれとして演算してよい。
リアルタイムずれ補正部８５は、演算した距離および方向の変化量を用いて、周辺物の相対的な距離および方向を補正する。
これにより、ＣＰＵ２４は、周辺物の相対的な距離および方向として、自動車１の姿勢変化に起因する撮像デバイス８１のずれの影響を抑制した距離および方向を得ることが可能になる。

周辺物情報出力部８６は、認識している周辺物について生成した情報を、自動車１の各装置へ出力する。
周辺物情報出力部８６が自動車１の各装置へ出力する周辺物の情報において、周辺物の相対的な距離および方向は、上述した補正処理により補正されたものであり、撮像デバイス８１の取り付け位置のずれの影響や、自動車１の姿勢変化に起因する撮像デバイス８１のずれの影響を抑制した、高い確からしさのものである。

車両制御実行部８７は、周辺物情報出力部８６が出力した周辺物の情報を用いて、自動車１の走行環境に応じた処理を実行する。
車両制御実行部８７は、たとえば図５に示す運転支援装置３２、乗員保護装置３３、車外保護装置３４、または車外通信装置３５でよい。
たとえば、運転支援装置３２は、周辺物情報出力部８６が出力した周辺物の距離および方向の情報を用いて、自動車１の周辺に存在している周辺物を避けて走行するように、自動車１の走行を制御する。
乗員保護装置３３は、周辺物情報出力部８６が出力した周辺物の距離および方向の情報を用いて、走行する自動車１が自動車１の周辺に存在している周辺物と衝突することを予測または検出する。周辺物の衝突を予測または検出すると、乗員保護装置３３は、周辺物との衝突による衝撃を吸収するようにエアバッグ展開またはシートベルトのテンション印加による乗員保護制御を実行する。
車外保護装置３４は、周辺物情報出力部８６が出力した周辺物の距離および方向の情報を用いて、走行する自動車１が自動車１の周辺に存在している歩行者またはサイクリストと衝突することを予測または検出する。歩行者またはサイクリストの衝突を予測または検出すると、車外保護装置３４は、歩行者またはサイクリストに対してエアバッグを展開する車外保護制御を実行する。歩行者またはサイクリストは、展開したエアバッグが介在することにより、衝突する自動車１の車体２へ直接的に当たり難くなる。
車外通信装置３５は、周辺物情報出力部８６が出力した周辺物の距離および方向の情報を用いて、走行する自動車１が自動車１の周辺に存在している周辺物と衝突することを予測または検出する。周辺物の衝突を予測または検出すると、車外通信装置３５は、その衝突に関する情報を、緊急対応組織のサーバ装置へ送信する。これにより、緊急対応組織のメンバーは、衝突現場へ急行して、早期に救護活動を開始することができる。

図１１は、図１０の処理による、隣接する２つの撮像デバイスの撮像画像における撮像対象の相対動きを模式的に説明する図である。
図１１には、図４と同様に、前へ走行中の自動車１の左側に設けられる左前撮像デバイス１６と左後撮像デバイス１７との２つの撮像デバイスによるずれ補正後の撮像画像が示されている。時間は、図１１（Ａ）から図１１（Ｃ）へ向かって流れる。
図４において、左前撮像デバイス１６は、基準位置に設けられている。これに対し、左後撮像デバイス１７は、基準位置から右下方向へ向かうようにずれて設けられる。

図１１（Ａ）は、左後撮像画像のずれが補正されて、左前撮像画像の中央領域において、撮像対象である歩行者を撮像している状況の説明図である。
図１１（Ａ）では、左前撮像デバイス１６および左後撮像デバイス１７の中の、左前撮像デバイス１６が、歩行者を撮像している。歩行者は、左前撮像デバイス１６の撮像画像の中央領域に撮像されている。

図１１（Ｂ）は、図１１（Ａ）の直後に、左前撮像画像の後領域において、撮像対象である歩行者を撮像している状況の説明図である。
図１１（Ａ）の後のタイミングである図１１（Ｂ）では、自動車１が前へ走行しているため、歩行者は、左前撮像デバイス１６の撮像画像の左側領域に撮像されている。

図１１（Ｃ）は、図１１（Ｂ）の直後に、ずれが補正されている左後撮像画像の前領域において、撮像対象である歩行者を撮像している状況の説明図である。
図１１（Ｂ）の後のタイミングである図１１（Ｃ）では、左前撮像デバイス１６ではなく、左後撮像デバイス１７が、歩行者を撮像している。歩行者の像１０１は、左後撮像デバイス１７の撮像画像の左側の前領域の位置に撮像されている。
図１１（Ｃ）において左後撮像デバイス１７の撮像画像に含まれる歩行者の像の位置は、左後撮像デバイス１７のずれが補正されているため、左後撮像デバイス１７のずれがない場合と同様の位置となっている。
その結果、図１１（Ｃ）の左後撮像デバイス１７の撮像画像に基づく単眼処理により得られる、歩行者についての距離および方向は、高い正確性を有するものとなる。
しかも、図１１（Ａ）から図１１（Ｂ）に示すように、左前撮像デバイス１６の撮像画像において、右から左へ水平に移動するように撮像されていた歩行者は、図１１（Ｃ）の左後撮像デバイス１７の撮像画像においても、速度を維持したまま右から左へ水平に移動するように撮像されることになる。歩行者の像の複数の撮像画像中での距離や方向は、それらの撮像画像を超える際においても、それらの撮像画像での移動速度および移動方向を維持した良好なものとなる。

図１２は、ずれ補正の評価方法の一例の説明図である。
ＣＰＵ２４は、たとえば図７のステップＳＴ５において、複数の撮像デバイス１３～１８について生成した複数のずれ補正を評価している。
この際、ＣＰＵ２４は、たとえば図１２（Ａ）および図１２（Ｂ）に示すずれ補正後の撮像画像中の撮像対象に基づく評価、図１２（Ｃ）に示す後方の２つのずれ補正後の撮像画像の比較評価、図１２（Ｄ）に示す複数の単眼処理に係る複数の撮像画像のずれ補正後の比較評価、などを実行してよい。複数種類の比較評価を実行する場合、ＣＰＵ２４は、すべての比較評価において良好である場合に、最終評価を良好とし、それ以外の場合には最終評価を良好ではないとしてよい。

図１２（Ａ）は、後中央撮像デバイス１８のずれ補正後の模式的な撮像画像１１１とその評価方法の一例の説明図である。
図１２（Ｂ）は、図１２（Ａ）と同様の評価により良好ではないと判断され得るずれ補正後の撮像画像１１２の説明図である。
図１２（Ａ）のずれ補正後の撮像画像１１１と、図１２（Ｂ）のずれ補正後の撮像画像１１２とには、自動車１が走行している車線についての左右一対の直線状の車線境界線が含まれる。

ＣＰＵ２４は、撮像画像１１１，１１２の評価処理において、周辺物認識処理としての画像の解析処理などを実行して、ずれ補正後の撮像画像１１１，１１２に含まれる左右一対の直線状の車線境界線の画像成分を認識して特定する。
ＣＰＵ２４は、認識した左右一対の車線境界線の画像成分についての、ずれ補正後の撮像画像１１１，１１２での撮像位置、左右のバランスなどを評価する。
ＣＰＵ２４は、撮像の際の自動車１の走行状態の情報、たとえば直進中といった走行状態の情報を参照して、ずれ補正後の撮像画像１１１，１１２に含まれる一対の画像成分を評価してよい。
そして、図１２（Ａ）に示すように、左右一対の車線境界線の画像成分が、ずれ補正後の撮像画像１１１の撮像範囲において左右対称に含まれている場合、ＣＰＵ２４は、ずれ補正の情報を、良好と評価してよい。
これに対し、図１２（Ｂ）に示すように、左右一対の車線境界線の画像成分が、ずれ補正後の撮像画像１１２の撮像範囲において左右対称から所定量以上でずれて含まれている場合、ＣＰＵ２４は、ずれ補正の情報を、良好と評価しないようにしてよい。そして、良好と評価しないずれ補正の情報が、たとえば右回りについてのものである場合、ＣＰＵ２４は、左回りによるずれ補正の情報を、図１０において使用するものとして選択してよい。
なお、このように撮像画像に一対で含まれる可能性がある画像成分は、道路の左右の縁石、ガードレール、がある。また、道路に沿って立設される複数の標識用ポール、電柱、信号機などの並びは、画像成分に基づいて道路に沿って延在する軌道として認識することが可能である。また、自動車１が走行する道路の上にある橋なども、基本的に左右対称の画像成分として撮像画像１１１，１１２に含まれる可能性がある。ＣＰＵ２４は、後中央撮像デバイス１８の補正後の撮像画像１１１，１１２に含まれるこれらの道路の画像成分についての、撮像画像１１１，１１２での撮像位置、左右のバランスなどを評価してよい。

図１２（Ｃ）は、後中央撮像デバイス１８についての、右周りでのずれ補正後の模式的な撮像画像１１３と、左周りでのずれ補正後の模式的な撮像画像１１４とに基づく評価方法の一例の説明図である。

ＣＰＵ２４は、撮像画像の評価処理において、周辺物認識処理としての画像の解析処理などを実行して、右周りでのずれ補正後の模式的な撮像画像１１３に含まれる左右一対の直線状の車線境界線の画像成分を認識して特定する。
また、ＣＰＵ２４は、周辺物認識処理としての画像の解析処理などを実行して、左周りでのずれ補正後の模式的な撮像画像１１４に含まれる左右一対の直線状の車線境界線の画像成分を認識して特定する。
ＣＰＵ２４は、２つの撮像画像１１３，１１４について認識した左右一対の車線境界線の画像成分についての、ずれ補正後の撮像画像１１３，１１４での撮像位置の誤差量などを評価する。
そして、図１２（Ｃ）に示すように、２つのずれ補正後の撮像画像１１３，１１４について認識した左右一対の車線境界線の画像成分についての、撮像画像１１３，１１４でのずれ補正後の撮像位置の誤差が、所定量以上である場合、これらのずれ補正の情報を、良好と評価しないようにしてよい。

図１２（Ｄ）は、単眼処理に用いる複数の撮像デバイス１３～１８のずれ補正後の模式的な撮像画像の法線向きのばらつきに基づく評価方法の一例の説明図である。
図１２（Ｄ）では、３６０度カメラを構成して単眼処理に用いられる複数の撮像デバイス１３～１８のずれ補正後の７つの撮像画像が横に配列されている。配列の中央の撮像画像ＩＲｆｃは、前中央撮像デバイス１３により自動車１の前を撮像したずれ補正後の撮像画像である。配列の右端の撮像画像ＩＲｒｃ１は、後中央撮像デバイス１８により自動車１の後を撮像したずれ補正後の撮像画像である。配列の左端の撮像画像ＩＲｒｃ２は、後中央撮像デバイス１８により自動車１の後を撮像したずれ補正後の撮像画像である。

ＣＰＵ２４は、複数の撮像デバイス１３～１８のずれ補正後の７つり撮像画像の各々について、画像に含まれる路面の法線方向のベクトル１１６～１２２を特定する。
たとえばずれ補正後の撮像画像に一対の車線境界線が含まれている場合、ＣＰＵ２４は、一対の車線境界線の撮像位置を基準として、一対の車線境界線の間の平面についての法線ベクトルを特定してよい。
ＣＰＵ２４は、複数の撮像デバイス１３～１８のずれ補正後の撮像画像について特定した複数の路面の法線ベクトル１１６～１２２の向きのばらつき量などを評価する。
そして、複数のすべての路面の法線ベクトル１１６～１２２の先端が、たとえば所定の誤差円の範囲に収まる場合、ＣＰＵ２４は、これらのずれ補正の情報を、良好と評価してよい。
複数の路面の法線ベクトル１１６～１２２の１つでも所定の誤差円の範囲に収まらない場合、ＣＰＵ２４は、これらのずれ補正の情報を、良好と評価しないようにしてよい。
なお、ＣＰＵ２４は、ステレオカメラ１９を構成する前右撮像デバイス１１の撮像画像ＩＲｆｒと、前左撮像デバイス１２の撮像画像ＩＲｌｒとに基づいて、ステレオカメラ１９で認識される路面についての法線ベクトル１１５を特定してもよい。
この場合、ＣＰＵ２４は、ステレオカメラ１９での法線ベクトル１１５の先端を中心とする所定の誤差円の範囲を基準として、複数の路面の法線ベクトル１１６～１２２の向きのばらつきが、誤差円の範囲に収まるか否かを評価してよい。

このようにＣＰＵ２４は、自動車１の後側を撮像するように設けられている後中央撮像デバイス１８について、ずれ補正の情報を最後に生成する。そして、ＣＰＵ２４は、少なくともその最後に処理される撮像画像を含む１乃至複数の撮像画像に基づいて、ずれ補正の情報を評価する。ＣＰＵ２４は、最後に処理される単眼処理用の後中央撮像デバイス１８の撮像画像の画像成分に基づいて、たとえば直進走行中であっても、一連のずれ補正の情報について評価を実行することができる。

以上のように、本実施形態では、車外を撮像するために自動車１には複数の撮像デバイス１１～１８が設けられ、その中の少なくとも３つが、共通する撮像領域を重ねて撮像可能となるように自動車１に設けられている。これにより、少なくとも３つの撮像デバイスは、車外の撮像画像において、共通する撮像領域を撮像することができる。
そして、自動車１の車外撮像装置１０の制御部としてのＣＰＵ２４は、少なくとも３つの中の２つの撮像デバイス１１，１２の撮像画像を用いて、共通する撮像領域に撮像されている車外の撮像対象の視差に基づく相対的な距離および方向の情報を生成する。ＣＰＵ２４は、２つの撮像デバイス１１，１２についての自動車１における配置に基づいて想定できる視差に基づいて、その他の撮像デバイス１３～１８の配設状態の変化などに起因する撮像範囲や画角の変化の影響などを受けることなく、共通する撮像領域にある車外の撮像対象についての、相対的な距離または方向の情報をより確からしく生成することができる。その結果、ＣＰＵ２４は、視差に基づく相対的な距離および方向の情報を用いて、少なくとも３つの中の残りの少なくとも１つの撮像デバイス１３，１４，１５の単眼処理による相対的な距離または方向についての、確からしいずれ補正の情報を生成することができる。また、ＣＰＵ２４は、この撮像デバイス１３，１４，１５の単眼処理においてずれ補正の情報を用いることにより、より確からしい相対的な距離または方向を取得できる。

また、ＣＰＵ２４は、ずれ補正済みの撮像デバイス１４，１５，１６，１７の撮像画像を用いて、その他の単眼処理に用いる撮像デバイス１６，１７,１８についてのずれ補正の情報を、順番に生成する。ずれ補正済みの撮像デバイス１４，１５，１６，１７の撮像画像を順番に基準として用いることにより、ＣＰＵ２４は、３６０度を分割して撮像するすべての撮像デバイス１３～１８の単眼処理に用いるずれ補正の情報を生成でき、それらで撮像される周辺物といった撮像対象についての相対的な距離または方向として、ステレオカメラ１９のものと同等の確からしいものを取得できる。

このように本実施形態では、自動車１に対して、車外を撮像するために複数の撮像デバイス１１～１８が設けられていることを好適に利用して、少なくとも３つの撮像デバイスを共通する撮像領域を重ねて撮像させるようにして、単眼処理での車外の撮像対象についての相対的な距離または方向を、確からしく補正できる。その結果、本実施形態では、自動車１に設けられる撮像デバイス１３～１８の撮像画像を単眼処理したしとても、車外の撮像対象について、複眼処理と同程度の高い確からしさが期待できる相対的な距離または方向を取得することができる。
本実施形態では、自動車１の車外を撮像するために自動車１に設けられる複数の撮像デバイス１１～１８について、その信頼性を確保し、または維持することが可能になる。

以上の実施形態は、本発明の好適な実施形態の例であるが、本発明は、これに限定されるものではなく、発明の要旨を逸脱しない範囲において種々の変形または変更が可能である。

上述した実施形態では、複眼処理が可能なステレオカメラ１９を構成する前右撮像デバイス１１と前左撮像デバイス１２とをマスターとして用いて、単眼処理に用いる複数の撮像デバイス１３～１８の撮像範囲のずれ補正の情報を生成している。
ずれ補正の基準に用いる撮像デバイスは、自動車１においてステレオカメラ１９を構成するようには設けられていないものであってもよい。
少なくとも３つ以上の撮像デバイスが、共通する撮像領域を重ねて撮像可能となるように自動車１に設けられていれば、その中の２つの撮像デバイスの撮像画像における共通の車外の撮像対象の視差に基づいて、残りの撮像デバイスの単眼処理で用いるずれ補正の情報を生成することが可能である。そして、残りの撮像デバイスの単眼処理では、ずれ補正の情報を用いて、より確からしい相対的な距離および方向の情報を生成することが可能である。

上述した実施形態では、自動車１には、その周囲の全周を撮像するために、３６０度を複数に分割して撮像する複数の単眼処理用の撮像デバイス１３～１８を設けている。そして、この複数の撮像デバイス１３～１８について、ずれ補正の情報を生成している。
この他にもたとえば、自動車１には、その周囲の全周を撮像するために、３６０度を撮像可能な撮像デバイスを設けてもよい。３６０度を撮像可能な撮像デバイスについても、上述したものと同様の処理により、ずれ補正の情報を生成することが可能である。

上述した実施形態では、ステレオカメラ１９の２つの前右撮像デバイス１１および前左撮像デバイス１２による視差に基づく距離および方向を基準とし、それと撮像範囲が重なる単眼処理用の他の撮像デバイス、さらに他の撮像デバイスについての、距離および方向のずれ補正の情報を生成している。
このように基準とする撮像デバイスの撮像画像と、補正しようとする撮像デバイスの撮像画像とに撮像範囲の重なりがあれば、ＣＰＵ２４は、その重なりの撮像範囲にある撮像対象を用いて、補正しようとする撮像デバイスの撮像画像での距離または方向を、基準とする撮像デバイスの撮像画像の距離または方向と整合するように、距離または方向のずれ補正の情報を生成することができる。また、ＣＰＵ２４は、このようにずれ補正をした撮像デバイスと撮像範囲が重なる他の撮像デバイスについても、ずれ補正をした撮像デバイスを基準として、基準とする撮像デバイスの撮像画像の距離または方向と整合するように、距離または方向のずれ補正の情報を生成することができる。

また、上述した実施形態では、ステレオカメラ１９の２つの前右撮像デバイス１１および前左撮像デバイス１２による視差に基づく距離および方向を基準としている。
この他にもたとえば、自動車１には、自動車１の周囲にある車外の周辺物を検出するために、ミリ波を入出力するライダ、赤外線などの電波を入出力するレーダ、などが設けられることがある。ライダやレーダの自動車１の周囲の走査検出により、制御システム９は、自動車１の周囲についての三次元的な周辺物の分布マップを得ることが可能である。ＣＰＵ２４は、この三次元的な分布マップを基準として、分布マップと撮像範囲が重なる最初の撮像デバイスについての距離または方向のずれ補正の情報を生成してもよい。また、ＣＰＵ２４は、この最初の撮像デバイスを基準として、それと撮像範囲が重なる次の撮像デバイスについて、重なりの撮像範囲にある撮像対象を用いて、次の撮像デバイスの撮像画像での距離または方向を、最初の撮像デバイスの撮像画像の距離または方向と整合するように、距離または方向のずれ補正の情報を生成してよい。
この他にもたとえば、自動車１には、自動車１の現在の位置や向きを検出するためにＧＮＳＳ受信機や、高精度な三次元マップデータを用いることがある。この場合、制御システム９は、三次元マップデータに含まれる周辺の車外の周辺物と自車との相対的な距離および方向を高精度に得ることが可能である。ＣＰＵ２４は、最初の撮像デバイスに撮像されている三次元マップデータの周辺物の撮像位置に基づいて、最初の撮像デバイスについての距離または方向のずれ補正の情報を生成してもよい。また、ＣＰＵ２４は、この最初の撮像デバイスを基準として、それと撮像範囲が重なる次の撮像デバイスについて、重なりの撮像範囲にある撮像対象を用いて、次の撮像デバイスの撮像画像での距離または方向を、最初の撮像デバイスの撮像画像の距離または方向と整合するように、距離または方向のずれ補正の情報を生成してよい。
このように制御部としてのＣＰＵ２４は、ステレオカメラ１９を構成する２つの撮像デバイス１１，１２がない場合でも、複数の撮像デバイスの中の、少なくとも２つの撮像デバイスが、共通する撮像領域を重ねて撮像可能となるように自動車１に設けられていることを前提として、その共通する撮像領域を重ねて撮像可能な少なくとも２つの撮像デバイスの中の、１つの撮像デバイスの撮像画像での距離および方向に基づいて、残りの撮像デバイスの撮像画像の単眼処理で用いる、撮像位置に基づく車外の撮像対象についての距離または方向についての補正情報を生成することができる。
ただし、ステレオカメラ１９を構成する２つの撮像デバイス１１，１２があることにより、制御部としてのＣＰＵ２４は、そのステレオカメラ１９での視差に基づいて距離および方向を高精度な基準として得ることができ、その視差に基づく距離および方向の情報を用いて、残りの少なくとも１つの撮像デバイスの撮像画像の単眼処理で用いる、撮像位置に基づく車外の撮像対象についての距離または方向についての補正情報を高精度を保って生成することができる。しかも、この場合、ライダ、レーダ、ＧＮＳＳ受信機といった撮像デバイス以外の部材についての自動車１での配置などについて、撮像デバイスとの間に高い位置精度が得られるように規定したり制限したりする必要がない。

１…自動車（車両）、２…車体、３…車室、９…制御システム、１０…車外撮像装置、１１…撮像デバイス、１１…前右撮像デバイス、１２…前左撮像デバイス、１３…前中央撮像デバイス、１４…右前撮像デバイス、１５…右後撮像デバイス、１６…左前撮像デバイス、１７…左後撮像デバイス、１８…後中央撮像デバイス、１９…ステレオカメラ、２１…車内入出力部、２２…入出力ポート、２３…メモリ、２４…ＣＰＵ、２５…タイマ、２６…システムバス、３１…車ネットワーク、３２…運転支援装置、３３…乗員保護装置、３４…車外保護装置、３５…車外通信装置、３６…センサ装置、３７…加速度センサ、４１…撮像デバイス、５１，６１，６２，６４，７１，１１１～１１４…撮像画像、５２…四角枠、５５…路面モデル、５７，６３，６５…画素、７１…左前撮像画像、７２…左後撮像画像、８１…撮像デバイス、８２…周辺物認識処理部、８３…周辺物位置情報生成部、８４…定量ずれ補正部、８５…リアルタイムずれ補正部、８６…周辺物情報出力部、８７…車両制御実行部、９１…路面モデルのデータ、９２…ずれ補正の情報、９３…姿勢情報、１１５～１２２…法線ベクトル

Claims (11)

1. 車両の車外を撮像するために前記車両に設けられる複数の撮像デバイスと、
   複数の前記撮像デバイスの撮像画像を用いて車外の撮像対象についての距離または方向の情報を生成することができる制御部と、
   を有し、
   複数の前記撮像デバイスの中の、少なくとも２つの前記撮像デバイスは、共通する撮像領域を重ねて撮像可能となるように前記車両に設けられ、
   前記制御部は、
   共通する撮像領域を重ねて撮像可能な少なくとも２つの前記撮像デバイスの中の、１つの前記撮像デバイスの撮像画像での距離および方向に基づいて、残りの前記撮像デバイスの撮像画像の単眼処理で用いる、撮像位置に基づく車外の撮像対象についての距離または方向についての補正情報を生成する、
   車両の車外撮像装置。
   
2. 複数の前記撮像デバイスの中の少なくとも３つが、共通する撮像領域を重ねて撮像可能となるように前記車両に設けられ、
   前記制御部は、
   少なくとも３つの中の２つの前記撮像デバイスの撮像画像を用いて、共通する撮像領域に撮像されている車外の撮像対象の視差に基づく距離および方向の情報を生成し、
   視差に基づく距離および方向の情報を用いて、少なくとも３つの中の残りの少なくとも１つの前記撮像デバイスの撮像画像の単眼処理で用いる、撮像位置に基づく車外の撮像対象についての距離または方向についての補正情報を生成する、
   請求項１記載の、車両の車外撮像装置。
   
3. 前記車両の車外を撮像するために前記車両に設けられる複数の前記撮像デバイスは、
   互いの配置が規定される２つの前記撮像デバイスによるステレオカメラと、
   前記ステレオカメラの２つの前記撮像デバイスと共通する撮像領域を重ねて撮像可能な、少なくとも１つの単眼処理用の前記撮像デバイスと、を含み、
   前記制御部は、
   前記ステレオカメラの２つの前記撮像デバイスの撮像画像を用いて、単眼処理用の前記撮像デバイスと共通する撮像領域に撮像されている車外の撮像対象の視差に基づく距離および方向の情報を生成し、
   前記ステレオカメラの距離および方向の情報を用いて、単眼処理用の前記撮像デバイスの補正情報を生成する、
   請求項２記載の、車両の車外撮像装置。
   
4. 前記車両の車外を撮像するために前記車両に設けられる複数の前記撮像デバイスは、複数の単眼処理用の前記撮像デバイス、を含み、
   複数の単眼処理用の前記撮像デバイスは、他の単眼処理用の前記撮像デバイスと共通する撮像領域を重ねて撮像可能となるように設けられ、
   前記制御部は、
   複数の単眼処理用の前記撮像デバイスについての補正情報を、前記撮像領域の重なりの順番にしたがって順番に生成する、
   請求項２または３記載の、車両の車外撮像装置。
   
5. 複数の単眼処理用の前記撮像デバイスは、前記車両の周囲を分割して撮像するように前記車両に設けられ、
   単眼処理用の各前記撮像デバイスは、前記車両の周囲の分割方向において隣接している他の単眼処理用の前記撮像デバイスと共通する撮像領域を重ねて撮像可能となるように前記車両に設けられている、
   請求項４記載の、車両の車外撮像装置。
   
6. 前記制御部は、複数の単眼処理用の前記撮像デバイスの補正情報を生成する際に、
   前記車両の車外を撮像するために前記車両に設けられる複数の前記撮像デバイスとしての、互いの配置が規定される２つの前記撮像デバイスによるステレオカメラを基準として、前記ステレオカメラと共通する撮像領域を重ねて撮像可能な単眼処理用の前記撮像デバイスから順番に補正情報を生成する、
   請求項４または５記載の、車両の車外撮像装置。
   
7. 複数の単眼処理用の前記撮像デバイスは、前記車両の周囲の全周を、または前記ステレオカメラによる撮像範囲を除いた全周を、分割して撮像するように前記車両に設けられ、
   前記制御部は、
   前記ステレオカメラの撮像範囲の一端側において共通する撮像領域を重ねて撮像可能な一端側の単眼処理用の前記撮像デバイスと、前記ステレオカメラの撮像範囲の他端側において共通する撮像領域を重ねて撮像可能な他端側の単眼処理用の前記撮像デバイスと、から順番に補正情報を生成し、
   最後に処理する単眼処理用の前記撮像デバイスについては、一端側の順番での処理による補正情報と、他端側の順番での処理による補正情報とを生成し、生成した２つの前記補正情報を比較して一連の補正を評価する、
   請求項４から６のいずれか一項記載の、車両の車外撮像装置。
   
8. 最後に処理する単眼処理用の前記撮像デバイスは、前記車両の後側を撮像するように設けられ、
   前記制御部は、
   最後に処理する単眼処理用の前記撮像デバイスの補正後の撮像画像に含まれる道路の情報に基づいて一連の補正を評価する、
   請求項７記載の、車両の車外撮像装置。
   
9. 前記制御部は、
   一連の補正が良好である評価できない場合、警報または保守要請を出力する、
   請求項７または８記載の、車両の車外撮像装置。
   
10. 前記撮像デバイスの撮像画像の単眼処理で用いる、撮像位置に基づく車外の撮像対象についての距離または方向についての補正情報は、
    前記撮像デバイスについて単眼処理のために設定されている撮像画像での撮像位置ごとの距離または方向の情報についての、距離または方向の補正情報である、
    請求項１から９のいずれか一項記載の、車両の車外撮像装置。
    
11. 前記制御部は、前記撮像デバイスにより撮像される車外の撮像対象についての距離または方向の単眼処理において、
    前記補正情報を用いて補正し、
    前記車両の姿勢に基づいて補正した距離または方向を取得する、
    請求項１から１０のいずれか一項記載の、車両の車外撮像装置。
    
    
    

Images