JP2022147745A

JP2022147745A - 移動体の制御装置及び制御方法並びに車両

Info

Publication number: JP2022147745A
Application number: JP2021049126A
Authority: JP
Inventors: 裕司安井; Yuji Yasui
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2021-03-23
Filing date: 2021-03-23
Publication date: 2022-10-06
Anticipated expiration: 2041-03-23
Also published as: JP7181956B2; CN115179864A; US20220309624A1

Abstract

【課題】移動体の外界を適切に認識する。
【解決手段】第１撮影装置及び第２撮影装置を含む複数の撮影装置を有する移動体の制御装置は、複数の撮影装置から移動体の外界の画像を取得する画像取得部と、複数の撮影装置から取得された画像に含まれる１つ以上の領域のそれぞれについて画像の歪みを軽減するための歪み軽減処理を行う補正部と、歪み軽減処理が行われた画像に基づいて移動体の外界を認識する認識部と、を有する。補正部は、第１撮影装置から取得された画像のうち移動体の特定の方向の状況を含む第１領域を歪み軽減処理の対象とするときに、第２撮影装置から取得された画像のうち特定の方向の状況を含む第２領域を歪み軽減処理の対象とする。
【選択図】図８

Description

本発明は、移動体の制御装置及び制御方法並びに車両に関する。

複数のカメラを用いて車両の外界を認識する技術が実用化されている。外界の認識結果は、運転支援や自動運転に利用される。特許文献１では、広角レンズのカメラによって車両の周囲を広範囲で撮影する技術を提案する。広角レンズのカメラによって撮影された画像に対して、歪みを軽減するために座標変換が行われる。

特開２０１８－１７１９６４号公報

広角レンズや魚眼レンズが取り付けられたカメラによって撮影された画像の歪みを軽減するための処理は電力を消費する。そのため、車両の外界を認識するために歪みを軽減する処理を過度に実行すると、電力消費量が多くなってしまう。このような電力消費量の増加は、車両に限られず、他の移動体についても当てはまる。本発明の一部の側面は、移動体の外界を適切に認識するための技術を提供することを目的とする。

上記課題に鑑みて、第１撮影装置及び第２撮影装置を含む複数の撮影装置を有する移動体の制御装置であって、前記複数の撮影装置から前記移動体の外界の画像を取得する画像取得手段と、前記複数の撮影装置から取得された画像に含まれる１つ以上の領域のそれぞれについて画像の歪みを軽減するための歪み軽減処理を行う補正手段と、前記歪み軽減処理が行われた画像に基づいて前記移動体の外界を認識する認識手段と、を備え、前記補正手段は、前記第１撮影装置から取得された画像のうち前記移動体の特定の方向の状況を含む第１領域を前記歪み軽減処理の対象とするときに、前記第２撮影装置から取得された画像のうち前記特定の方向の状況を含む第２領域を前記歪み軽減処理の対象とする、制御装置が提供される。

上記手段により、移動体の外界を適切に認識できる。

実施形態に係る車両の構成例を説明するブロック図。実施形態に係るカメラの撮影範囲を説明する模式図。実施形態に係る歪み軽減処理を説明する模式図。実施形態に係る歪み軽減処理の対象領域を説明する模式図。実施形態に係る車両の制御装置の動作例を説明するフロー図。実施形態に係る歪み軽減処理の対象候補を説明するタイミング図。実施形態に係る通常の走行シーンを説明する模式図。実施形態に係る特定の規則に従う状態遷移を説明する模式図。実施形態に係る特定の規則に従う領域の垂直方向の位置を説明する模式図。実施形態に係る特定の走行シーンを説明する模式図。実施形態に係る特定の規則に従う状態遷移を説明する模式図。実施形態に係る特定の規則に従う状態遷移を説明する模式図。実施形態に係る特定の規則に従う領域の垂直方向の位置を説明する模式図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。なお、以下の実施形態では、移動体が車両であるものとして説明するが、移動体は車両に限られず飛行体やロボット等であってもよい。

図１は、本発明の一実施形態に係る車両１のブロック図である。図１において、車両１の概略が平面図と側面図とで示されている。車両１は一例としてセダンタイプの四輪の乗用車である。車両１はこのような四輪車両であってもよいし、二輪車両や他のタイプの車両であってもよい。

車両１は、車両１を制御する車両用制御装置２（以下、単に制御装置２と呼ぶ）を含む。制御装置２は車内ネットワークにより通信可能に接続された複数のＥＣＵ（Electronic Control Unit）２０～２９を含む。各ＥＣＵは、ＣＰＵ（Central Processing Unit）等のプロセッサ、半導体メモリ等のメモリ、外部デバイスとのインタフェース等を含む。メモリにはプロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納される。各ＥＣＵはプロセッサ、メモリ及びインタフェース等を複数備えていてもよい。例えば、ＥＣＵ２０は、プロセッサ２０ａとメモリ２０ｂとを備える。メモリ２０ｂに格納されたプログラムを含む命令をプロセッサ２０ａが実行することによって、ＥＣＵ２０による処理が実行される。これに代えて、ＥＣＵ２０は、ＥＣＵ２０による処理を実行するためのＡＳＩＣ（Application Specific Integrated Circuit）等の専用の集積回路を備えてもよい。他のＥＣＵについても同様である。

以下、各ＥＣＵ２０～２９が担当する機能等について説明する。なお、ＥＣＵの数や、担当する機能については適宜設計可能であり、本実施形態よりも細分化したり、統合したりすることが可能である。

ＥＣＵ２０は、車両１の自動走行に関わる制御を実行する。自動運転においては、車両１の操舵と、加減速の少なくともいずれか一方を自動制御する。ＥＣＵ２０による自動走行は、運転者による走行操作を必要としない自動走行（自動運転とも呼ばれうる）と、運転者による走行操作を支援するための自動走行（運転支援とも呼ばれうる）とを含んでもよい。

ＥＣＵ２１は、電動パワーステアリング装置３を制御する。電動パワーステアリング装置３は、ステアリングホイール３１に対する運転者の運転操作（操舵操作）に応じて前輪を操舵する機構を含む。また、電動パワーステアリング装置３は操舵操作をアシストしたり、前輪を自動操舵したりするための駆動力を発揮するモータや、操舵角を検知するセンサ等を含む。車両１の運転状態が自動運転の場合、ＥＣＵ２１は、ＥＣＵ２０からの指示に対応して電動パワーステアリング装置３を自動制御し、車両１の進行方向を制御する。

ＥＣＵ２２及び２３は、車両の周囲の状況を検知する検知ユニットの制御及び検知結果の情報処理を行う。車両１は、車両の状況を検知する検知ユニットとして、１つの標準カメラ４０と、４つの魚眼カメラ４１～４４とを含む。標準カメラ４０並びに魚眼カメラ４２及び４４はＥＣＵ２２に接続されている。魚眼カメラ４１及び４３はＥＣＵ２３に接続されている。ＥＣＵ２２及び２３は、標準カメラ４０及び魚眼カメラ４１～４４が撮影した画像を解析することにより、物標の輪郭や、道路上の車線の区画線（白線等）を抽出可能である。

魚眼カメラ４１～４４とは、魚眼レンズが取り付けられたカメラのことである。以下、魚眼カメラ４１の構成について説明する。他の魚眼カメラ４１～４４も同様の構成を有してもよい。魚眼カメラ４１の画角は、標準カメラ４０の画角よりも広い。そのため、魚眼カメラ４１は、標準カメラ４０よりも広い範囲を撮影可能である。魚眼カメラ４１によって撮影された画像は、標準カメラ４０によって撮影された画像と比較して大きな歪みを有する。そのため、ＥＣＵ２３は、魚眼カメラ４１によって撮影された画像を解析する前に、当該画像に対して歪みを軽減するための変換処理（以下、「歪み軽減処理」という）を行ってもよい。一方、ＥＣＵ２２は、標準カメラ４０によって撮影された画像を解析する前に、当該画像に対して歪み軽減処理を行わなくてもよい。このように、標準カメラ４０は、歪み軽減処理の対象とならない画像を撮影する撮影装置であり、魚眼カメラ４１は、歪み軽減処理の対象となる画像を撮影する撮影装置である。標準カメラ４０のかわりに、歪み軽減処理の対象とならない画像を撮影する他の撮影装置、例えば広角レンズや望遠レンズが取り付けられたカメラが使用されてもよい。

標準カメラ４０は、車両１の前部中央に取り付けられており、車両１の前方の状況を撮影する。魚眼カメラ４１は、車両１の前部中央に取り付けられており、車両１の前方の状況を撮影する。図１では、標準カメラ４０と魚眼カメラ４１とが水平方向に並んでいるように示されている。しかし、標準カメラ４０及び魚眼カメラ４１の配置はこれに限られず、例えばこれらは垂直方向に並んでいてもよい。また、標準カメラ４０と魚眼カメラ４１との少なくとも一方は、車両１のルーフ前部（例えば、フロントウィンドウの車室内側）に取り付けられてもよい。例えば、魚眼カメラ４１が車両１の前部中央（例えば、バンパー）に取り付けられ、標準カメラ４０が車両１のルーフ前部に取り付けられてもよい。魚眼カメラ４２は、車両１の右側部中央に取り付けられており、車両１の右方の状況を撮影する。魚眼カメラ４３は、車両１の後部中央に取り付けられており、車両１の後方の状況を撮影する。魚眼カメラ４４は、車両１の左側部中央に取り付けられており、車両１の左方の状況を撮影する。

車両１が有するカメラの種類、個数及び取り付け位置は、上述の例に限られない。また、車両１は、車両１の周囲の物標を検知したり、物標との距離を測距したりするための検知ユニットとして、ライダ（Light Detection and Ranging）やミリ波レーダを含んでもよい。

ＥＣＵ２２は、標準カメラ４０並びに魚眼カメラ４２及び４４の制御及び検知結果の情報処理を行う。ＥＣＵ２３は、魚眼カメラ４１及び４３の制御及び検知結果の情報処理を行う。車両の状況を検知する検知ユニットを２系統に分けることによって、検知結果の信頼性を向上できる。

ＥＣＵ２４は、ジャイロセンサ５、ＧＰＳセンサ２４ｂ、通信装置２４ｃの制御及び検知結果あるいは通信結果の情報処理を行う。ジャイロセンサ５は車両１の回転運動を検知する。ジャイロセンサ５の検知結果や、車輪速等により車両１の進路を判定することができる。ＧＰＳセンサ２４ｂは、車両１の現在位置を検知する。通信装置２４ｃは、地図情報や交通情報を提供するサーバと無線通信を行い、これらの情報を取得する。ＥＣＵ２４は、メモリに構築された地図情報のデータベース２４ａにアクセス可能であり、ＥＣＵ２４は現在地から目的地へのルート探索等を行う。ＥＣＵ２４、地図データベース２４ａ、ＧＰＳセンサ２４ｂは、いわゆるナビゲーション装置を構成している。

ＥＣＵ２５は、車車間通信用の通信装置２５ａを備える。通信装置２５ａは、周辺の他車両と無線通信を行い、車両間での情報交換を行う。

ＥＣＵ２６は、パワープラント６を制御する。パワープラント６は車両１の駆動輪を回転させる駆動力を出力する機構であり、例えば、エンジンと変速機とを含む。ＥＣＵ２６は、例えば、アクセルペダル７Ａに設けた操作検知センサ７ａにより検知した運転者の運転操作（アクセル操作あるいは加速操作）に対応してエンジンの出力を制御したり、車速センサ７ｃが検知した車速等の情報に基づいて変速機の変速段を切り替えたりする。車両１の運転状態が自動運転の場合、ＥＣＵ２６は、ＥＣＵ２０からの指示に対応してパワープラント６を自動制御し、車両１の加減速を制御する。

ＥＣＵ２７は、方向指示器８（ウィンカ）を含む灯火器（ヘッドライト、テールライト等）を制御する。図１の例の場合、方向指示器８は車両１の前部、ドアミラー及び後部に設けられている。

ＥＣＵ２８は、入出力装置９の制御を行う。入出力装置９は運転者に対する情報の出力と、運転者からの情報の入力の受け付けを行う。音声出力装置９１は運転者に対して音声により情報を報知する。表示装置９２は運転者に対して画像の表示により情報を報知する。表示装置９２は例えば運転席表面に配置され、インストルメントパネル等を構成する。なお、ここでは、音声と表示を例示したが振動や光により情報を報知してもよい。また、音声、表示、振動又は光のうちの複数を組み合わせて情報を報知してもよい。更に、報知すべき情報のレベル（例えば緊急度）に応じて、組み合わせを異ならせたり、報知態様を異ならせたりしてもよい。入力装置９３は運転者が操作可能な位置に配置され、車両１に対する指示を行うスイッチ群であるが、音声入力装置も含まれてもよい。

ＥＣＵ２９は、ブレーキ装置１０やパーキングブレーキ（不図示）を制御する。ブレーキ装置１０は例えばディスクブレーキ装置であり、車両１の各車輪に設けられ、車輪の回転に抵抗を加えることで車両１を減速あるいは停止させる。ＥＣＵ２９は、例えば、ブレーキペダル７Ｂに設けた操作検知センサ７ｂにより検知した運転者の運転操作（ブレーキ操作）に対応してブレーキ装置１０の作動を制御する。車両１の運転状態が自動運転の場合、ＥＣＵ２９は、ＥＣＵ２０からの指示に対応してブレーキ装置１０を自動制御し、車両１の減速及び停止を制御する。ブレーキ装置１０やパーキングブレーキは車両１の停止状態を維持するために作動することもできる。また、パワープラント６の変速機がパーキングロック機構を備える場合、これを車両１の停止状態を維持するために作動することもできる。

図２を参照して、標準カメラ４０及び魚眼カメラ４１～４４の撮影範囲について説明する。図２（ａ）は、各カメラの水平方向の撮影範囲を示し、図２（ｂ）は車両１の前部の魚眼カメラ４１の垂直方向の撮影範囲を示し、図２（ｃ）は車両１の右側部の魚眼カメラ４２の垂直方向の撮影範囲を示し、図２（ｄ）は車両１の後部の魚眼カメラ４３の垂直方向の撮影範囲を示す。本明細書において、水平方向及び垂直方向は、車両１の車体を基準とする。車両１の左側部の魚眼カメラ４２の垂直方向の撮影範囲は図２（ｃ）と同様としてよいため省略する。

まず、図２（ａ）を参照して、車両１の平面図（すなわち、車両１の水平方向）における撮影範囲について説明する。標準カメラ４０は、撮影範囲２００に含まれる状況を撮影する。標準カメラ４０の撮影中心２００Ｃは、車両１の前方正面を向いている。撮影中心２００Ｃは、レンズの光軸の方向によって規定されてもよい。標準カメラ４０の水平方向の画角は、９０°未満であってもよく、例えば４５°程度又は３０°程度であってもよい。

魚眼カメラ４１は、撮影範囲２０１に含まれる状況を撮影する。魚眼カメラ４１の撮影中心２０１Ｃは、車両１の前方正面を向いている。魚眼カメラ４２は、撮影範囲２０２に含まれる状況を撮影する。魚眼カメラ４２の撮影中心２０２Ｃは、車両１の右方正面を向いている。魚眼カメラ４３は、撮影範囲２０３に含まれる状況を撮影する。魚眼カメラ４３の撮影中心２０３Ｃは、車両１の後方正面を向いている。魚眼カメラ４４は、撮影範囲２０４に含まれる状況を撮影する。魚眼カメラ４４の撮影中心２０４Ｃは、車両１の左方正面を向いている。魚眼カメラ４１～４４の水平方向の画角は、例えば９０°よりも大きくてもよく、１５０°よりも大きくてもよく、１８０°よりも大きくてもよく、例えば１８０°程度であってもよい。図２（ａ）は、魚眼カメラ４１～４４の水平方向の画角が１８０°である例を示している。

続いて、図２（ｂ）～図２（ｄ）を参照して、車両１の垂直方向における撮影範囲について説明する。図２（ｂ）では、魚眼カメラ４１の垂直方向の撮影範囲について説明し、図２（ｃ）では、魚眼カメラ４２の垂直方向の撮影範囲について説明し、図２（ｄ）では、魚眼カメラ４３の垂直方向の撮影範囲について説明する。他の魚眼カメラ４４の垂直方向の撮影範囲は図２（ｃ）と同様であってもよい。

魚眼カメラ４１～４４の垂直方向の画角は、例えば９０°よりも大きくてもよく、１５０°よりも大きくてもよく、１８０°よりも大きくてもよく、例えば１８０°程度であってもよい。図２（ｂ）～図２（ｄ）は、魚眼カメラ４１～４４の垂直方向の画角が１８０°となる例を示している。魚眼カメラ４３の撮影中心２０３Ｃは、地面に平行な方向よりも下側（地面の側）を向いている。これにかえて、魚眼カメラ４３の撮影中心２０３Ｃは、地面に平行な方向を向いていてもよいし、地面に平行な方向よりも上側（地面とは反対側）を向いていてもよい。また、魚眼カメラ４１～４４の撮影中心２０１Ｃ～２０４Ｃが、垂直方向において、個別の方向を向いていてもよい。

標準カメラ４０及び魚眼カメラ４１～４４が上述のような撮影範囲２００～２０４を有することによって、車両１の正面前方及び４つの斜め方向は、２つの別個のカメラの撮影範囲に含まれる。具体的に、車両１の正面前方は、標準カメラ４０の撮影範囲２００と、魚眼カメラ４１の撮影範囲２０１との両方に含まれる。車両１の右斜め前方は、魚眼カメラ４１の撮影範囲２０１と、魚眼カメラ４２の撮影範囲２０２との両方に含まれる。車両１の他の３つの斜め方向についても同様である。

図３及び図４を参照して、魚眼カメラ４１～４４によって撮影された画像の歪み軽減処理について説明する。図３は歪み軽減処理の前後の画像を示す。図４は、歪み軽減処理の対象となる領域を示す。図４（ａ）は、車両１を上方から見た図を示し、図４（ｂ）は車両１を後方から見た図を示す。画像３００は、魚眼カメラ４３によって撮影された車両１の右方の状況の画像である。図３に示されるように、画像３００は、特に周辺部分において大きな歪みを有する。

魚眼カメラ４３に接続されているＥＣＵ２２は、画像３００に対して歪み軽減処理を行う。具体的に、図３に示すように、ＥＣＵ２２は、画像３００内の１点を変換中心３０１として決定する。図４に示すように、変換中心３０１は、水平方向において魚眼カメラ４２から見て撮影領域２０２内の右側に位置し、垂直方向において地面と平行な方向を向く。

ＥＣＵ２２は、画像３００から、変換中心３０１を中心とする矩形の領域３０２を切り出す。この領域３０２は、図４に示すように、撮影範囲２０２のうち魚眼カメラ４２から見て右側に位置する領域２０２Ｒに対応する。ＥＣＵ２２は、この領域３０２に対して歪み軽減処理を行うことによって、歪みが軽減された画像３０３を生成する。この画像３０３は、領域２０２Ｒの状況を表す画像である。

歪み軽減処理の結果として、変換中心３０１に近い位置ほど歪みが軽減され、変換中心３０１から遠い位置では歪みが軽減されないか、歪みが増大される。画像３００全体を歪み軽減処理の対象とした場合に、変換中心３０１から遠い位置にある領域では歪みが大きくなる。そのため、この遠い位置にある領域を利用して車両１の外界を解析したとしても、精度の良い解析を行えない。そこで、制御装置２は、解析対象の領域に変換中心３０１を設定し、変換中心３０１の周囲の領域について歪み軽減処理を行い、処理後の画像を用いて解析対象の領域の状況を解析する。

撮影範囲２０１は、解析対象の領域として、車両１の左斜め前方を撮影する領域２０１Ｌと、車両１の正面前方を撮影する領域２０１Ｆと、車両１の右斜め前方を撮影する領域２０１Ｒとを含む。撮影範囲２０２は、解析対象の領域として、車両１の右斜め前方を撮影する領域２０２Ｌと、車両１の右方正面を撮影する領域２０２Ｆと、車両１の右斜め後方を撮影する領域２０２Ｒとを含む。撮影範囲２０３は、解析対象の領域として、車両１の右斜め後方を撮影する領域２０３Ｌと、車両１の後方正面を撮影する領域２０３Ｆと、車両１の左斜め後方を撮影する領域２０３Ｒとを含む。撮影範囲２０４は、解析対象の領域として、車両１の左斜め後方を撮影する領域２０４Ｌと、車両１の左方正面を撮影する領域２０４Ｆと、車両１の左斜め前方を撮影する領域２０４Ｒとを含む。撮影範囲２０１は、水平方向において、３つの領域２０１Ｌ、２０１Ｆ、及び２０１Ｒが均等となるように（すなわち、各領域の水平方向の画角が等しくなるように）分割されてもよい。他の撮影範囲２０２～２０４についても均等に３分割されてもよい。

制御装置２は、車両１の右斜め前方の状況を解析したい場合に、魚眼カメラ４２の撮影範囲２０２に含まれる領域２０２Ｌ内（例えば、領域２０２Ｌの中心）に変換中心３０１を設定し、変換中心３０１の周囲の領域について歪み軽減処理を行い、処理後の画像を用いて右斜め前方の状況を解析する。制御装置２は、車両１の右方正面の状況を解析したい場合に、魚眼カメラ４２の撮影範囲２０２に含まれる領域２０２Ｆ内（例えば、領域２０２Ｆの中心）に変換中心３０１を設定し、変換中心３０１の周囲の領域について歪み軽減処理を行い、処理後の画像を用いて右方正面の状況を解析する。制御装置２は、車両１の右斜め後方の状況を解析したい場合に、魚眼カメラ４２の撮影範囲２０２に含まれる領域２０２Ｒ内（例えば、領域２０２Ｒの中心）に変換中心３０１を設定し、変換中心３０１の周囲の領域について歪み軽減処理を行い、処理後の画像を用いて右斜め後方の状況を解析する。

図５を参照して、一部の実施形態において制御装置２が車両１を制御する方法の例について説明する。この方法は、制御装置２の各ＥＣＵ２０～２９のプロセッサ２０ａがメモリ２０ｂ内のプログラムを実行することによって行われてもよい。図５の方法は、制御装置２による運転支援機能又は自動運転機能がオンになったことに応じて開始されてもよい。

ステップＳ５０１で、制御装置２は、標準カメラ４０及び魚眼カメラ４１～４４のそれぞれから車両１の外界の画像を取得する。各画像は、車両１の外界のうち、図２で説明した範囲の状況を含む。

ステップＳ５０２で、制御装置２は、車両１の現在の走行シーンを判定する。以下に説明する例では、車両の走行シーンとして、狭路を走行するシーンを扱う。これ以外のシーンは、通常（デフォルト）のシーンとして扱う。通常のシーンは、例えば車両１が道路を道なりに走行しているシーンを含む。

ステップＳ５０３で、制御装置２は、車両１の現在の走行シーンに応じた規則に従って、ステップＳ５０１で取得された画像のうち歪み軽減処理の対象とする１つ以上の領域を決定する。以下、この規則を領域決定規則と呼ぶ。領域決定規則は事前に定められており、例えばメモリ２０ｂに記憶されている。領域決定規則の具体例については後述する。

ステップＳ５０４で、制御装置２は、図３に示したように、歪み軽減処理の対象として決定された１つ以上領域のそれぞれについて歪み軽減処理を行う。この歪み軽減処理は、魚眼カメラ４１～４４から取得された画像の歪みを軽減するための処理である。歪み軽減処理には既存の技術を用いてもよいため、詳細な説明を省略する。標準カメラ４０から取得された画像については歪み軽減処理を行う必要はない。

ステップＳ５０５で、制御装置２は、標準カメラ４０から取得された画像及び魚眼カメラ４１～４４から取得され歪み軽減処理が行われた画像に基づいて車両１の外界を認識する。例えば、制御装置２は、補正された画像を、事前に学習されメモリ２０ｂに格納されているモデルに適用することのよって、車両１の周囲の物標を特定してもよい。さらに、制御装置２は、外界の認識結果に応じて車両１の制御（例えば、自動ブレーキや運転者への通知、自動運転レベルの変更など）を行ってもよい。外界の認識結果に応じた車両１の制御には既存の技術を適用してもよいため、詳細な説明を省略する。

ステップＳ５０６で、制御装置２は、動作を終了するかどうかを判定する。制御装置２は、動作を終了すると判定された場合（ステップＳ５０６で「ＹＥＳ」）に動作を終了し、それ以外の場合（ステップＳ５０６で「ＮＯ」）に動作をステップＳ５０１に戻す。制御装置２は、例えば運転支援機能又は自動運転機能がオフになったことに応じて動作を終了すると判定してもよい。

上述のように、ステップＳ５０１～Ｓ５０５は繰り返し実行される。制御装置２は、ステップＳ５０１～Ｓ５０５の動作を周期的に実行してもよい。この実行周期は、Ｓ５０４の歪み軽減処理及びＳ５０５の認識処理の所要時間によって異なり、例えば１００ｍｓ程度であってもよい。

図６を参照して、制御装置２による周期的な動作について説明する。図６の丸印は、ステップＳ５０５の認識処理で使用される画像の候補を示す。図６のΔｔは、ステップＳ５０１～Ｓ５０５を実行する周期を示す。標準カメラ４０から取得された画像は歪みが少ないため、ステップＳ５０４の歪み軽減処理を行うことなくステップＳ５０５の認識処理で使用可能である。魚眼カメラ４１～４４から取得された画像は、ステップＳ５０４で歪み軽減処理を行った後にステップＳ５０５の認識処理で使用される。上述のように、魚眼カメラから取得された画像は、水平方向に分割された３つの領域のそれぞれについて歪み軽減処理が行われた画像を生成可能である。そのため、周期的な動作の１回の動作タイミングにおいて、制御装置２は、最大で１３個の画像を用いて認識処理を実行可能である。１３個の画像のうちの１２個は魚眼カメラから取得されるものであるため、認識処理の前に歪み軽減処理が行われる。これら１２個の領域のすべてについて歪み軽減処理を行うと、処理負荷が大きくなり、消費電力も高くなる。そこで、以下の実施形態では、車両１の走行シーンに基づいて、各動作タイミングにおいて１２個の領域のうちのどの領域について歪み軽減処理を行い、認識処理に使用するかを決定する。

図７～図９を参照して、通常のシーンの領域決定規則について説明する。図７は、走行シーンの一例を示す。図７に示される例では、車両１は、直線道路を道なりに走行中である。

図８は、各動作タイミングに解析対象となる領域を示す。制御装置２は、状態８００～８０２を順番に繰り返す。すなわち、時刻ｔの動作タイミングにおいて状態８００であったとすると、時刻ｔ＋Δｔ（上述のように、Δｔは周期を示す）の動作タイミングにおいて状態８０１となり、時刻ｔ＋２×Δｔの動作タイミングにおいて状態８０２となり、時刻ｔ＋３×Δｔの動作タイミングにおいて状態８００に戻る。後述の他の走行シーンにおける領域決定規則についても同様である。

状態８００では、標準カメラ４０による撮影範囲２００と、魚眼カメラ４１による領域２０１Ｌと、魚眼カメラ４２による領域２０２Ｒと、魚眼カメラ４３による領域２０３Ｌと、魚眼カメラ４４による領域２０４Ｒとが解析対象となる。状態８０１では、標準カメラ４０による撮影範囲２００と、魚眼カメラ４１による領域２０１Ｆと、魚眼カメラ４２による領域２０２Ｆと、魚眼カメラ４３による領域２０３Ｆと、魚眼カメラ４４による領域２０４Ｆとが解析対象となる。状態８０２では、標準カメラ４０による撮影範囲２００と、魚眼カメラ４１による領域２０１Ｒと、魚眼カメラ４２による領域２０２Ｌと、魚眼カメラ４３による領域２０３Ｒと、魚眼カメラ４４による領域２０４Ｌとが解析対象となる。

魚眼カメラの撮影範囲に含まれる領域が解析対象となる場合に、制御装置２は、この領域に対して上述のように歪み軽減処理を行う。したがって、領域決定規則は、歪み軽減処理の対象となる領域の水平方向の位置と、この位置にある領域を歪み軽減処理の対象とするタイミングと、を規定する。また、領域決定規則は、複数の魚眼カメラ４１～４４のそれぞれについて個別に規則を規定する。

上述のように動作タイミングごとに状態を遷移することによって、制御装置２は、車両１の前方正面を１周期ごとに（すなわち、毎回）解析対象とし、車両１の右斜め前方、右方正面、右斜め後方、後方正面、左斜め後方、左方正面、及び左斜め前方のそれぞれを３周期ごとに解析対象とする。また、特定の動作タイミングで制御装置２に負荷が集中しないように、解析対象としない領域を複数の動作タイミングに分散している。さらに、車両１の前方正面について、３周期ごとに、標準カメラ４０の画像と魚眼カメラの画像との両方を用いた解析が行われ、車両１の４つの斜め方向のそれぞれについて、３周期ごとに、２つの魚眼カメラの画像の両方を用いた解析が行われる。このように、各動作タイミングにおいて、歪み補正処理が行われる魚眼カメラ４１～４４の画像の一部を解析対象とすることによって、制御装置２の処理負荷が軽減し、消費電力が低減する。

図９は、解析対象の領域の垂直方向における位置を示す。図９（ａ）は、魚眼カメラ４１による領域２０１Ｆの垂直方向における位置を示す。図９（ｂ）は、魚眼カメラ４２による領域２０２Ｆの垂直方向における位置を示す。図９（ｃ）は、魚眼カメラ４３による領域２０３Ｆの垂直方向における位置を示す。魚眼カメラ４４による各領域の垂直方向における位置は図９（ｂ）と同様であってもよいため、説明を省略する。

領域決定規則では、図９（ａ）に示すように、領域２０１Ｆを規定する変換中心３０１と、車両１の垂直下向きとのなす角がθ１に規定されている。θ１は、９０度であってもよし、９０度よりも小さな値（例えば、８０度）であってもよい。領域２０１Ｒ及び２０１Ｌについても、変換中心３０１と、車両１の垂直下向きとのなす角がθ１に規定されていてもよい。同様に、魚眼カメラ４２～４４の領域についても、変換中心３０１と、車両１の垂直下向きとのなす角がθ１に規定されていてもよい。このように、領域決定規則は、歪み軽減処理の対象となる領域の垂直方向の位置を規定する。変換中心３０１と、車両１の垂直下向きとのなす角をθ１（例えば、９０度）とすることによって、車両１の遠方と近傍とをバランスよく解析できる。

図１０～図１３を参照して、車両１が狭路を走行するシーンの領域決定規則について説明する。狭路とは、車両１と障害物との距離が閾値以下（例えば、５０ｃｍ以下）となる走行シーンのことであってもよい。図１０は、このようなシーンの一例を示す。図１０（ａ）は、車両１がＳ字カーブを走行するシーンを示す。図１０（ｂ）は、車両１がＬ字路を走行するシーンを示す。図１０（ｃ）は、車両１が対向車両とすれ違うシーンを示す。車両１０（ｄ）は、車両１が、右折しようとしている先行車両の横をすり抜けて走行するシーンを示す。図１０（ａ）及び図１０（ｂ）のように、道路形状に応じて狭路が発生する場合もあり、図１０（ｃ）及び図１０（ｄ）のように、交通状況に応じて狭路が発生する場合もある。

図１１は、領域決定規則の一例において、各動作タイミングに解析対象となる領域を示す。制御装置２は、状態１１００～１１０６を順番に繰り返す。状態１１００では、標準カメラ４０による撮影範囲２００と、魚眼カメラ４１による領域２０１Ｆと、魚眼カメラ４２による領域２０２Ｌ及び２０２Ｆと、魚眼カメラ４４による領域２０４Ｒとが解析対象となる。状態１１０１では、標準カメラ４０による撮影範囲２００と、魚眼カメラ４１による領域２０１Ｆと、魚眼カメラ４２による領域２０２Ｌ及び２０２Ｒと、魚眼カメラ４４による領域２０４Ｒとが解析対象となる。状態１１０２では、標準カメラ４０による撮影範囲２００と、魚眼カメラ４１による領域２０１Ｆと、魚眼カメラ４２による領域２０２Ｌと、魚眼カメラ４３による領域２０３Ｌと、魚眼カメラ４４による領域２０４Ｒとが解析対象となる。状態１１０３では、標準カメラ４０による撮影範囲２００と、魚眼カメラ４１による領域２０１Ｆと、魚眼カメラ４２による領域２０２Ｌと、魚眼カメラ４３による領域２０３Ｆと、魚眼カメラ４４による領域２０４Ｒとが解析対象となる。状態１１０４では、標準カメラ４０による撮影範囲２００と、魚眼カメラ４１による領域２０１Ｆと、魚眼カメラ４２による領域２０２Ｌと、魚眼カメラ４３による領域２０３Ｒと、魚眼カメラ４４による領域２０４Ｒとが解析対象となる。状態１１０５では、標準カメラ４０による撮影範囲２００と、魚眼カメラ４１による領域２０１Ｆと、魚眼カメラ４２による領域２０２Ｌと、魚眼カメラ４４による領域２０４Ｒ及び２０４Ｌとが解析対象となる。状態１１０６では、標準カメラ４０による撮影範囲２００と、魚眼カメラ４１による領域２０１Ｆと、魚眼カメラ４２による領域２０２Ｌと、魚眼カメラ４４による領域２０４Ｒ及び２０４Ｆとが解析対象となる。

上述のように動作タイミングごとに状態を遷移することによって、制御装置２は、車両１の前方正面、右斜め前方、及び左斜め前方を１周期ごとに（すなわち、毎回）解析対象とし、車両１の右方正面、後方正面、及び左方正面のそれぞれを７周期ごとに解析対象とし、車両１の右斜め後方及び左斜め後方のそれぞれを７周期のうち２回、解析対象とする。また、特定の動作タイミングで制御装置２に負荷が集中しないように、解析対象としない領域を複数の動作タイミングに分散している。

図１２は、領域決定規則の一例において、各動作タイミングに解析対象となる領域を示す。制御装置２は、状態１２００～１２０２を順番に繰り返す。状態１２００では、標準カメラ４０による撮影範囲２００と、魚眼カメラ４１による領域２０１Ｆと、魚眼カメラ４２による領域２０２Ｌと、魚眼カメラ４３による領域２０３Ｆと、魚眼カメラ４４による領域２０４Ｒとが解析対象となる。状態１２０１では、標準カメラ４０による撮影範囲２００と、魚眼カメラ４２による領域２０２Ｌ及び２０２Ｆと、魚眼カメラ４４による領域２０４Ｆ及び２０４Ｒとが解析対象となる。状態１２０２では、標準カメラ４０による撮影範囲２００と、魚眼カメラ４２による領域２０２Ｌと、魚眼カメラ４３による領域２０３Ｌ及び２０３Ｒと、魚眼カメラ４４による領域２０４Ｒとが解析対象となる。

上述のように動作タイミングごとに状態を遷移することによって、制御装置２は、車両１の前方正面、右斜め前方、及び左斜め前方を１周期ごとに（すなわち、毎回）解析対象とし、車両１の右方正面、右斜め後方、後方正面、左斜め後方、及び左方正面のそれぞれを３周期ごとに解析対象とする。また、特定の動作タイミングで制御装置２に負荷が集中しないように、解析対象としない領域を複数の動作タイミングに分散している。

図１３は、解析対象の領域の垂直方向における位置を示す。図１３（ａ）は、魚眼カメラ４１による領域２０１Ｆの垂直方向における位置を示す。図１３（ｂ）は、魚眼カメラ４２による領域２０２Ｆの垂直方向における位置を示す。図１３（ｃ）は、魚眼カメラ４３による領域２０３Ｆの垂直方向における位置を示す。魚眼カメラ４４による各領域の垂直方向における位置は図１３（ｂ）と同様であってもよいため、説明を省略する。

領域決定規則では、図１３（ａ）に示すように、領域２０１Ｆを規定する変換中心３０１と、車両１の垂直下向きとのなす角がθ２に規定されている。θ２は、図９のθ１よりも小さい値であり、例えば７０度であってもよい。領域２０１Ｒ及び２０１Ｌについても、変換中心３０１と、車両１の垂直下向きとのなす角がθ２に規定されていてもよい。魚眼カメラ４２～４４の領域についても、変換中心３０１と、車両１の垂直下向きとのなす角がθ３に規定されている。θ３は、θ２よりも小さい値であり、例えば４５度であってもよい。

このように、車両１の前方正面、右斜め前方、右方正面、右斜め後方、後方正面、左斜め後方、左方正面、左斜め前方のいずれの領域においても、車両１が狭路を走行する場合の解析対象の領域の垂直方向における位置は、車両１が狭路以外を走行する場合（例えば、上述の通常のシーンの場合）と比較して、下側にある（例えば、変換中心３０１が下向きである）。車両１が狭路を走行する場合に、車両１の車輪が縁石に乗り上げたり、側溝に落ちたりする可能性がある。解析対象の領域を下側に位置することによって、地面付近の状況の解析精度が向上する。また、車両１が狭路を走行する場合の領域決定規則では、魚眼カメラ４１による前方正面の領域２０１Ｆが解析対象となる。これによって、図１３（ａ）に示すように、標準カメラ４０の撮影範囲２００に含まれない車両１の前方正面の近傍を解析することが可能となる。また、車両１の右斜め前方の状況を、魚眼カメラ４２による領域２０２Ｌに基づいて解析する。これによって、車両１の前輪近傍の領域を解析することが可能となる。左斜め前方の状況についても同様である。

車両１が狭路を走行する場合に、車両の側方正面は障害物が近くにあるため、遠方を解析する必要性が低いが、車両の前方（右斜め前方及び左斜め前方を含む）は、ある程度遠方まで解析した方がよい。そこで、上述の例では、車両１の右斜め前方及び左斜め前方を含む領域の垂直方向における位置を、車両１の右方正面及び左方正面を含む領域の垂直方向における位置よりも上側にする（すなわち、θ２＞θ３）。

上述の何れの例においても、領域決定規則は、車両１の右斜め前方及び左斜め前方を、車両１の右方正面、左方正面、右斜め後方、左斜め後方及び後方正面よりも高い頻度で歪み軽減処理の対象とすることを規定する。車両１が狭路を走行するシーンでは、車両１が左斜め前方及び右斜め前方にある物体に接触する可能性が高い。そこで、車両１の左斜め前方及び右斜め前方を高頻度で解析対象とすることによって、制御装置２の処理負荷を低減しつつ、走行シーンに応じた適切な解析を実行可能となる。

一部の実施形態において、制御装置２は、車両１の同じ方向について同じ動作タイミングで取得された画像に基づいて、複数の魚眼カメラ４４による撮影が正常に行われているかどうかを判定してもよい。例えば、通常の走行シーンにおいて、車両１の左斜め前方の状況は、３周期ごとに同じ動作タイミングで、魚眼カメラ４１による領域２０１Ｌと魚眼カメラ４４による領域２０４Ｒとの両方に含まれる。制御装置２は、領域２０１Ｌの画像と領域２０４Ｒの画像とを互いに比較することによって、魚眼カメラ４１による撮影及び魚眼カメラ４４による撮影が正常に行われているかどうかを判定してもよい。領域２０１Ｌの画像と領域２０４Ｒの画像とが一致しない場合（例えば、何らかの物体が一方の画像のみに含まれる場合）に、制御装置２は、魚眼カメラ４１による撮影及び魚眼カメラ４４による撮影の少なくとも一方が正常に行われていないと判定してもよい。

領域２０１Ｌの画像と領域２０４Ｒの画像との比較だけでは、魚眼カメラ４１による撮影及び魚眼カメラ４４による撮影のどちらが正常に行われていないか特定できないことがある。例えば、魚眼カメラ４１が正常に動作しておらず、特定の物体（例えば、歩行者）を撮影できない場合であっても、正常に動作している魚眼カメラ４４はこの物体を撮影できる。この場合に、物体を撮影できている方の魚眼カメラ４４が正常に動作している。一方、魚眼カメラ４１のレンズに汚れが付着している場合に、魚眼カメラ４４はこの汚れを撮影しない。この場合に、物体を撮影できてない方の魚眼カメラ４４が正常に動作している。制御装置２は、魚眼カメラ４１及び４４のうちの一方のみに含まれる物体を解析することによって、どちらの魚眼カメラの撮影が正常に行われていないのかを判定してもよい。

制御装置２は、車両の複数の方向において２つの画像を比較することによって、どの魚眼カメラの撮影が正常に行われていないかを判定してもよい。例えば、上述のように、制御装置２は、魚眼カメラ４１による領域２０１Ｌと魚眼カメラ４４による領域２０４Ｒとを比較することによって、魚眼カメラ４１による撮影及び魚眼カメラ４４による撮影の少なくとも一方が正常に行われていないと判定してもよい。さらに、制御装置２は、車両１の右斜め前方の状況をそれぞれが含む魚眼カメラ４１による領域２０１Ｒと魚眼カメラ４２による領域２０２Ｌとを比較することによって、魚眼カメラ４１による撮影及び魚眼カメラ４２による撮影の少なくとも一方が正常に行われていないかどうかを判定する。この結果として、魚眼カメラ４１による撮影及び魚眼カメラ４２による撮影がどちらも正常であれば、制御装置２は、魚眼カメラ４４による撮影が正常に行われていないと判定できる。上述の例では、車両１の左斜め前方及び右斜め前方を利用したが、制御装置２は、車両１の他の斜め方向を利用してもよい。

＜実施形態のまとめ＞
＜項目１＞
第１撮影装置及び第２撮影装置を含む複数の撮影装置（４１～４４）を有する移動体（１）の制御装置（２）であって、
前記複数の撮影装置から前記移動体の外界の画像（３００）を取得する画像取得手段と、
前記複数の撮影装置から取得された画像に含まれる１つ以上の領域（３０２）のそれぞれについて画像の歪みを軽減するための歪み軽減処理を行う補正手段と、
前記歪み軽減処理が行われた画像（３０３）に基づいて前記移動体の外界を認識する認識手段と、を備え、
前記補正手段は、前記第１撮影装置から取得された画像のうち前記移動体の特定の方向の状況を含む第１領域を前記歪み軽減処理の対象とするときに、前記第２撮影装置から取得された画像のうち前記特定の方向の状況を含む第２領域を前記歪み軽減処理の対象とする、制御装置。
この項目によれば、移動体の外界を適切に認識できる。
＜項目２＞
前記複数の撮影装置は、第３撮影装置をさらに含み、
前記特定の方向は、第１方向であり、
前記補正手段は、前記第１撮影装置から取得された画像のうち前記第１方向とは異なる第２方向の状況を含む第３領域を前記歪み軽減処理の対象とするときに、前記第３撮影装置から取得された画像のうち前記第２方向の状況を含む第４領域を前記歪み軽減処理の対象とする、項目１に記載の制御装置。
この項目によれば、２つの方向のそれぞれを、２つの撮影装置で同じ動作タイミングで外界を認識できる。
＜項目３＞
前記複数の撮影装置は、第３撮影装置及び第４撮影装置をさらに含み、
前記特定の方向は、第１方向であり、
前記補正手段は、前記第１撮影装置から取得された画像のうち前記第１方向とは異なる第２方向の状況を含む第３領域を前記歪み軽減処理の対象とするときに、
前記第３撮影装置から取得された画像のうち前記第２方向の状況を含む第４領域を前記歪み軽減処理の対象とするとともに、
前記第２撮影装置から取得された画像のうち前記第１方向及び前記第２方向とは異なる第３方向の状況を含む第５領域と、前記第４撮影装置から取得された画像のうち前記第３方向の状況を含む第６領域とを、前記歪み軽減処理の対象とする、項目１に記載の制御装置。
この項目によれば、１つの動作タイミングで、２つの方向のそれぞれを、２つの撮影装置を使用して認識できる。
＜項目４＞
前記第２方向と前記第３方向とは、前記移動体に対して互いに反対の向きである、項目３に記載の制御装置。
この項目によれば、撮影装置の互いの死角を補完し合える。
＜項目５＞
前記第１撮影装置、前記第２撮影装置、前記第３撮影装置及び前記第４撮影装置は、
第１動作タイミングに２つのグループに分割され、一方のグループの２つの撮影装置のそれぞれが前記移動体の第１方向の状況を含む領域を前記歪み軽減処理の対象とし、他方のグループの２つの撮影装置のそれぞれが前記移動体の第４方向の状況を含む領域を前記歪み軽減処理の対象とし、
第２動作タイミングに、前記第１動作タイミングとは異なる２つのグループに分割され、一方のグループの２つの撮影装置のそれぞれが前記移動体の第２方向の状況を含む領域を前記歪み軽減処理の対象とし、他方のグループの２つの撮影装置のそれぞれが前記移動体の第３方向の状況を含む領域を前記歪み軽減処理の対象とする、項目３又は４に記載の制御装置。
この項目によれば、４つの方向について、４つの撮影装置を使用して効率的に分析できる。
＜項目６＞
前記第１撮影装置は、前記移動体の前方正面、右斜め前方及び左斜め前方を撮影し、
前記第２撮影装置は、前記移動体の右方正面、右斜め前方及び右斜め後方を撮影し、
前記第３撮影装置は、前記移動体の左方正面、左斜め前方及び左斜め後方を撮影する、項目２乃至５の何れか１項に記載の制御装置。
この項目によれば、移動体の様々な方向について外界を認識できる。
＜項目７＞
前記補正手段は、前記移動体が所定の移動シーンである場合にのみ、前記第１撮影装置から取得された画像のうち前記移動体の特定の方向の状況を含む第１領域を前記歪み軽減処理の対象とするときに、前記第２撮影装置から取得された画像のうち前記特定の方向の状況を含む第２領域を前記歪み軽減処理の対象とする、項目１乃至６の何れか１項に記載の制御装置。
この項目によれば、必要な場合に限って同一の方向を同じ動作タイミングで複数の撮影装置を使用して認識できる。
＜項目８＞
前記制御装置は、前記第１領域の画像と前記第２領域の画像とを比較することによって、前記第１撮影装置による撮影及び前記第２撮影装置による撮影が正常に行われているかどうかを判定する判定手段をさらに備える、項目１乃至７の何れか１項に記載の制御装置。
この項目によれば、撮影装置の動作状況を判定できる。
＜項目９＞
前記特定の方向は、前記移動体の斜め方向である、項目１乃至８の何れか１項に記載の制御装置。
この項目によれば、移動体の斜めの方向を重点的に分析できる。。
＜項目１０＞
前記複数の撮影装置はそれぞれ、魚眼レンズが取り付けられた撮影装置である、項目１乃至９の何れか１項に記載の制御装置。
この項目によれば、撮影装置の撮影範囲を広くすることができる。
＜項目１１＞
前記移動体は、前記複数の撮影装置よりも歪みが少ない画像を撮影する別の撮影装置（４０）をさらに有し、
前記画像取得手段は、前記別の撮影装置から前記移動体の外界の画像を取得し、
前記認識手段は、前記別の撮影装置からの画像にさらに基づいて前記移動体の外界を認識する、項目１乃至１０の何れか１項に記載の制御装置。
この項目によれば、複数のタイプの撮影装置を用いて外界を認識できる。
＜項目１２＞
前記移動体は車両（１）である、項目１乃至１１の何れか１項に記載の制御装置。
この項目によれば、車両が走行する際に外界を適切に認識できる。
＜項目１３＞
項目１乃至１１の何れか１項に記載の制御装置を備える車両。
この項目によれば、車両の形態で上記の効果が得られる。
＜項目１４＞
コンピュータを項目１乃至１１の何れか１項に記載の制御装置の各手段として機能させるためのプログラム。
この項目によれば、プログラムの形態で上記の効果が得られる。
＜項目１５＞
第１撮影装置及び第２撮影装置を含む複数の撮影装置（４１～４４）を有する移動体（１）の制御方法であって、
前記複数の撮影装置から前記移動体の外界の画像（３００）を取得する画像取得工程と、
前記複数の撮影装置から取得された画像に含まれる１つ以上の領域（３０２）のそれぞれについて画像の歪みを軽減するための歪み軽減処理を行う補正工程と、
前記歪み軽減処理が行われた画像（３０３）に基づいて前記移動体の外界を認識する認識工程と、を備え、
前記補正工程において、前記第１撮影装置から取得された画像のうち前記移動体の特定の方向の状況を含む第１領域を前記歪み軽減処理の対象とするときに、前記第２撮影装置から取得された画像のうち前記特定の方向の状況を含む第２領域を前記歪み軽減処理の対象とする、制御方法。
この項目によれば、移動体の外界を適切に認識できる。

発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。

１車両、２制御装置、４０標準カメラ、４１～４４魚眼カメラ

Claims

第１撮影装置及び第２撮影装置を含む複数の撮影装置を有する移動体の制御装置であって、
前記複数の撮影装置から前記移動体の外界の画像を取得する画像取得手段と、
前記複数の撮影装置から取得された画像に含まれる１つ以上の領域のそれぞれについて画像の歪みを軽減するための歪み軽減処理を行う補正手段と、
前記歪み軽減処理が行われた画像に基づいて前記移動体の外界を認識する認識手段と、を備え、
前記補正手段は、前記第１撮影装置から取得された画像のうち前記移動体の特定の方向の状況を含む第１領域を前記歪み軽減処理の対象とするときに、前記第２撮影装置から取得された画像のうち前記特定の方向の状況を含む第２領域を前記歪み軽減処理の対象とする、制御装置。
前記複数の撮影装置は、第３撮影装置をさらに含み、
前記特定の方向は、第１方向であり、
前記補正手段は、前記第１撮影装置から取得された画像のうち前記第１方向とは異なる第２方向の状況を含む第３領域を前記歪み軽減処理の対象とするときに、前記第３撮影装置から取得された画像のうち前記第２方向の状況を含む第４領域を前記歪み軽減処理の対象とする、請求項１に記載の制御装置。
前記複数の撮影装置は、第３撮影装置及び第４撮影装置をさらに含み、
前記特定の方向は、第１方向であり、
前記補正手段は、前記第１撮影装置から取得された画像のうち前記第１方向とは異なる第２方向の状況を含む第３領域を前記歪み軽減処理の対象とするときに、
前記第３撮影装置から取得された画像のうち前記第２方向の状況を含む第４領域を前記歪み軽減処理の対象とするとともに、
前記第２撮影装置から取得された画像のうち前記第１方向及び前記第２方向とは異なる第３方向の状況を含む第５領域と、前記第４撮影装置から取得された画像のうち前記第３方向の状況を含む第６領域とを、前記歪み軽減処理の対象とする、請求項１に記載の制御装置。
前記第２方向と前記第３方向とは、前記移動体に対して互いに反対の向きである、請求項３に記載の制御装置。
前記第１撮影装置、前記第２撮影装置、前記第３撮影装置及び前記第４撮影装置は、
第１動作タイミングに２つのグループに分割され、一方のグループの２つの撮影装置のそれぞれが前記移動体の第１方向の状況を含む領域を前記歪み軽減処理の対象とし、他方のグループの２つの撮影装置のそれぞれが前記移動体の第４方向の状況を含む領域を前記歪み軽減処理の対象とし、
第２動作タイミングに、前記第１動作タイミングとは異なる２つのグループに分割され、一方のグループの２つの撮影装置のそれぞれが前記移動体の第２方向の状況を含む領域を前記歪み軽減処理の対象とし、他方のグループの２つの撮影装置のそれぞれが前記移動体の第３方向の状況を含む領域を前記歪み軽減処理の対象とする、請求項３又は４に記載の制御装置。
前記第１撮影装置は、前記移動体の前方正面、右斜め前方及び左斜め前方を撮影し、
前記第２撮影装置は、前記移動体の右方正面、右斜め前方及び右斜め後方を撮影し、
前記第３撮影装置は、前記移動体の左方正面、左斜め前方及び左斜め後方を撮影する、請求項２乃至５の何れか１項に記載の制御装置。
前記補正手段は、前記移動体が所定の移動シーンである場合にのみ、前記第１撮影装置から取得された画像のうち前記移動体の特定の方向の状況を含む第１領域を前記歪み軽減処理の対象とするときに、前記第２撮影装置から取得された画像のうち前記特定の方向の状況を含む第２領域を前記歪み軽減処理の対象とする、請求項１乃至６の何れか１項に記載の制御装置。
前記制御装置は、前記第１領域の画像と前記第２領域の画像とを比較することによって、前記第１撮影装置による撮影及び前記第２撮影装置による撮影が正常に行われているかどうかを判定する判定手段をさらに備える、請求項１乃至７の何れか１項に記載の制御装置。
前記特定の方向は、前記移動体の斜め方向である、請求項１乃至８の何れか１項に記載の制御装置。
前記複数の撮影装置はそれぞれ、魚眼レンズが取り付けられた撮影装置である、請求項１乃至９の何れか１項に記載の制御装置。
前記移動体は、前記複数の撮影装置よりも歪みが少ない画像を撮影する別の撮影装置をさらに有し、
前記画像取得手段は、前記別の撮影装置から前記移動体の外界の画像を取得し、
前記認識手段は、前記別の撮影装置からの画像にさらに基づいて前記移動体の外界を認識する、請求項１乃至１０の何れか１項に記載の制御装置。
前記移動体は車両である、請求項１乃至１１の何れか１項に記載の制御装置。
請求項１乃至１１の何れか１項に記載の制御装置を備える車両。
コンピュータを請求項１乃至１１の何れか１項に記載の制御装置の各手段として機能させるためのプログラム。
第１撮影装置及び第２撮影装置を含む複数の撮影装置を有する移動体の制御方法であって、
前記複数の撮影装置から前記移動体の外界の画像を取得する画像取得工程と、
前記複数の撮影装置から取得された画像に含まれる１つ以上の領域のそれぞれについて画像の歪みを軽減するための歪み軽減処理を行う補正工程と、
前記歪み軽減処理が行われた画像に基づいて前記移動体の外界を認識する認識工程と、を備え、
前記補正工程において、前記第１撮影装置から取得された画像のうち前記移動体の特定の方向の状況を含む第１領域を前記歪み軽減処理の対象とするときに、前記第２撮影装置から取得された画像のうち前記特定の方向の状況を含む第２領域を前記歪み軽減処理の対象とする、制御方法。