JP2022149731A - 制御装置、制御装置の動作方法及びプログラム - Google Patents

Abstract

【課題】車速に応じて適切な周辺情報を精度良く取得するための技術を提供する。【解決手段】車両の前後及び側方に配置された魚眼カメラによる撮影を制御する制御装置であって、前記車両の速度の情報を取得する取得手段と、前記速度に基づいて各魚眼カメラの魚眼画像を平面画像に変換するための中心位置を制御する制御手段とを備える。【選択図】 図４

Description

本発明は、制御装置、制御装置の動作方法及びプログラムに関する。

車両の周囲を撮影した画像から物体を検出して運転支援等の制御に利用することが行われている。その際、検出範囲を広げるために、画角の広い魚眼カメラを用いることも想定される。しかし、魚眼カメラで取得した画像は歪んでいるため、通常のカメラから得られる歪みのない画像を前提とした物体検出技術を適用すると検出精度が低下しうる。

特許文献１は、歪んだ画像に対して歪み補正処理を施し、その補正後の画像を用いて物体検出を行う技術を開示している。

特開２００８－４８４４３号公報

しかしながら、特許文献１に記載の技術では、車両の速度などの状況に応じて、魚眼画像から切り出して平面画像に補正変換するためにどの領域を使用するか等については考慮されていない。従って、車速に応じて適切な周辺情報を精度良く取得することが難しいという課題がある。

本発明は、上記の課題に鑑みてなされたものであり、車速に応じて適切な周辺情報を精度良く取得するための技術を提供することを目的とする。

上記の目的を達成する本発明に係る制御装置は、
車両の前後及び側方に配置された魚眼カメラによる撮影を制御する制御装置であって、
前記車両の速度の情報を取得する取得手段と、
前記速度に基づいて各魚眼カメラの魚眼画像を平面画像に変換するための中心位置を制御する制御手段と、
を備えることを特徴とする。

本発明によれば、車速に応じて適切な周辺情報を精度良く取得することが可能となる。

本発明の一実施形態に係る車両のブロック図である。 （ａ）各魚眼カメラの水平方向の撮影範囲を示し、（ｂ）右側部の魚眼カメラの垂直方向の撮影範囲を示し、（ｃ）後部の魚眼カメラの垂直方向の撮影範囲を示す。 魚眼画像の歪み補正処理の説明図である。 本発明の一実施形態に係る制御装置が実施する処理の手順を示すフローチャートである。 本発明の一実施形態に係る制御装置が実施する処理の手順を示すフローチャートである。 右側方の魚眼画像に関する所定位置の変換中心位置（補正中心点）の一例を示す図である。 （ａ）前方の魚眼画像に関する所定位置の変換中心位置（補正中心点）の一例を示す図であり、（ｂ）前方の魚眼画像に関する所定位置よりも上方に設定された変換中心位置（補正中心点）の一例を示す図である。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴は任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。

（実施形態）
＜構成＞
図１は、本発明の一実施形態に係る車両１のブロック図である。図１において、車両１の概略が平面図と側面図とで示されている。車両１は一例としてセダンタイプの四輪の乗用車である。車両１はこのような四輪車両であってもよいし、二輪車両や他のタイプの車両であってもよい。

車両１は、車両１を制御する車両制御装置２（以下、単に制御装置２と呼ぶ）を含む。制御装置２は車内ネットワークにより通信可能に接続された複数のＥＣＵ（Electronic Control Unit）２０～２９を含む。各ＥＣＵは、ＣＰＵ（Central Processing Unit）等のプロセッサ、半導体メモリ等のメモリ、外部デバイスとのインタフェース等を含む。メモリにはプロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納される。各ＥＣＵはプロセッサ、メモリおよびインタフェース等を複数備えていてもよい。例えば、ＥＣＵ２０は、１以上のプロセッサ２０ａと１以上のメモリ２０ｂとを備える。メモリ２０ｂに格納されたプログラムを含む命令をプロセッサ２０ａが実行することによって、ＥＣＵ２０による処理が実行される。これに代えて、ＥＣＵ２０は、ＥＣＵ２０による処理を実行するためのＡＳＩＣ（Application Specific Integrated Circuit）等の専用の集積回路を備えてもよい。他のＥＣＵについても同様である。

以下、各ＥＣＵ２０～２９が担当する機能等について説明する。なお、ＥＣＵの数や、担当する機能については適宜設計可能であり、本実施形態よりも細分化したり、統合したりすることが可能である。

ＥＣＵ２０は、車両１の自動走行に関わる制御を実行する。自動運転においては、車両１の操舵と、加減速の少なくともいずれか一方を自動制御する。ＥＣＵ２０による自動走行は、運転者による走行操作を必要としない自動走行（自動運転とも呼ばれうる）と、運転者による走行操作を支援するための自動走行（運転支援とも呼ばれうる）とを含んでもよい。

ＥＣＵ２１は、電動パワーステアリング装置３を制御する。電動パワーステアリング装置３は、ステアリングホイール３１に対する運転者の運転操作（操舵操作）に応じて前輪を操舵する機構を含む。また、電動パワーステアリング装置３は操舵操作をアシストしたり、前輪を自動操舵したりするための駆動力を発揮するモータや、操舵角を検知するセンサ等を含む。車両１の運転状態が自動運転の場合、ＥＣＵ２１は、ＥＣＵ２０からの指示に対応して電動パワーステアリング装置３を自動制御し、車両１の進行方向を制御する。

ＥＣＵ２２および２３は、車両の周囲状況を検知する検知ユニットの制御および検知結果の情報処理を行う。車両１は、車両の周囲状況を検知する検知ユニットとして、１つの標準カメラ４０と、４つの魚眼カメラ４１～４４とを含む。標準カメラ４０ならびに魚眼カメラ４２および４４はＥＣＵ２２に接続されている。魚眼カメラ４１および４３はＥＣＵ２３に接続されている。ＥＣＵ２２および２３は、標準カメラ４０及び魚眼カメラ４１～４４が撮影した画像を解析することにより、物標の輪郭や、道路上の車線の区画線（白線等）を抽出可能である。

魚眼カメラ４１～４４とは、魚眼レンズが取り付けられたカメラのことである。以下、魚眼カメラ４１の構成について説明する。他の魚眼カメラ４２～４４も同様の構成を有してもよい。魚眼カメラ４１の画角は、標準カメラ４０の画角よりも広い。そのため、魚眼カメラ４１は、標準カメラ４０よりも広い範囲を撮影可能である。魚眼カメラ４１によって撮影された画像は、標準カメラ４０によって撮影された画像と比較して大きな歪みを有する。そのため、ＥＣＵ２３は、魚眼カメラ４１によって撮影された画像を解析する前に、当該画像に対して歪みを軽減するための変換処理（以下、「歪み補正処理」という）を行ってもよい。一方、ＥＣＵ２２は、標準カメラ４０によって撮影された画像を解析する前に、当該画像に対して歪み補正処理を行わなくてもよい。このように、標準カメラ４０は、歪み補正処理の対象とならない画像を撮影する撮影装置であり、魚眼カメラ４１は、歪み補正処理の対象となる画像を撮影する撮影装置である。標準カメラ４０のかわりに、歪み補正処理の対象とならない画像を撮影する他の撮影装置、例えば広角レンズや望遠レンズが取り付けられたカメラが使用されてもよい。

標準カメラ４０は、車両１の前部中央に取り付けられており、車両１の前方の周囲状況を撮影する。魚眼カメラ４１は、車両１の前部中央に取り付けられており、車両１の前方の周囲状況を撮影する。図１では、標準カメラ４０と魚眼カメラ４１とが水平方向に並んでいるように示されている。しかし、標準カメラ４０および魚眼カメラ４１の配置はこれに限られず、例えばこれらは鉛直方向に並んでいてもよい。また、標準カメラ４０と魚眼カメラ４１との少なくとも一方は、車両１のルーフ前部（例えば、フロントウィンドウの車室内側）に取り付けられてもよい。魚眼カメラ４２は、車両１の右側部中央に取り付けられており、車両１の右方の周囲状況を撮影する。魚眼カメラ４３は、車両１の後部中央に取り付けられており、車両１の後方の周囲状況を撮影する。魚眼カメラ４４は、車両１の左側部中央に取り付けられており、車両１の左方の周囲状況を撮影する。

車両１が有するカメラの種類、個数および取り付け位置は、上述の例に限られない。また、車両１は、車両１の周囲の物標を検知したり、物標との距離を測距したりするための検知ユニットとして、ライダ（Light Detection and Ranging）やミリ波レーダを含んでもよい。

ＥＣＵ２２は、標準カメラ４０ならびに魚眼カメラ４２および４４の制御および検知結果の情報処理を行う。ＥＣＵ２３は、魚眼カメラ４１および４３の制御および検知結果の情報処理を行う。車両の周囲状況を検知する検知ユニットを２系統に分けることによって、検知結果の信頼性を向上できる。

ＥＣＵ２４は、ジャイロセンサ５、ＧＰＳセンサ２４ｂ、通信装置２４ｃの制御および検知結果あるいは通信結果の情報処理を行う。ジャイロセンサ５は車両１の回転運動を検知する。ジャイロセンサ５の検知結果や、車輪速等により車両１の進路を判定することができる。ＧＰＳセンサ２４ｂは、車両１の現在位置を検知する。通信装置２４ｃは、地図情報や交通情報を提供するサーバと無線通信を行い、これらの情報を取得する。ＥＣＵ２４は、メモリに構築された地図情報のデータベース２４ａにアクセス可能であり、ＥＣＵ２４は現在地から目的地へのルート探索等を行う。ＥＣＵ２４、地図データベース２４ａ、ＧＰＳセンサ２４ｂは、いわゆるナビゲーション装置を構成している。

ＥＣＵ２５は、車車間通信用の通信装置２５ａを備える。通信装置２５ａは、周辺の他車両と無線通信を行い、車両間での情報交換を行う。

ＥＣＵ２６は、パワープラント６を制御する。パワープラント６は車両１の駆動輪を回転させる駆動力を出力する機構であり、例えば、エンジンと変速機とを含む。ＥＣＵ２６は、例えば、アクセルペダル７Ａに設けた操作検知センサ７ａにより検知した運転者の運転操作（アクセル操作あるいは加速操作）に対応してエンジンの出力を制御したり、車速センサ７ｃが検知した車速等の情報に基づいて変速機の変速段を切り替えたりする。車両１の運転状態が自動運転の場合、ＥＣＵ２６は、ＥＣＵ２０からの指示に対応してパワープラント６を自動制御し、車両１の加減速を制御する。

ＥＣＵ２７は、方向指示器８（ウィンカ）を含む灯火器（ヘッドライト、テールライト等）を制御する。図１の例の場合、方向指示器８は車両１の前部、ドアミラーおよび後部に設けられている。

ＥＣＵ２８は、入出力装置９の制御を行う。入出力装置９は運転者に対する情報の出力と、運転者からの情報の入力の受け付けを行う。音声出力装置９１は運転者に対して音声により情報を報知する。表示装置９２は運転者に対して画像の表示により情報を報知する。表示装置９２は例えば運転席表面に配置され、インストルメントパネル等を構成する。なお、ここでは、音声と表示を例示したが振動や光により情報を報知してもよい。また、音声、表示、振動または光のうちの複数を組み合わせて情報を報知してもよい。更に、報知すべき情報のレベル（例えば緊急度）に応じて、組み合わせを異ならせたり、報知態様を異ならせたりしてもよい。入力装置９３は運転者が操作可能な位置に配置され、車両１に対する指示を行うスイッチ群であるが、音声入力装置も含まれてもよい。

ＥＣＵ２９は、ブレーキ装置１０やパーキングブレーキ（不図示）を制御する。ブレーキ装置１０は例えばディスクブレーキ装置であり、車両１の各車輪に設けられ、車輪の回転に抵抗を加えることで車両１を減速あるいは停止させる。ＥＣＵ２９は、例えば、ブレーキペダル７Ｂに設けた操作検知センサ７ｂにより検知した運転者の運転操作（ブレーキ操作）に対応してブレーキ装置１０の作動を制御する。車両１の運転状態が自動運転の場合、ＥＣＵ２９は、ＥＣＵ２０からの指示に対応してブレーキ装置１０を自動制御し、車両１の減速および停止を制御する。ブレーキ装置１０やパーキングブレーキは車両１の停止状態を維持するために作動することもできる。また、パワープラント６の変速機がパーキングロック機構を備える場合、これを車両１の停止状態を維持するために作動することもできる。

＜撮影範囲＞
次に図２を参照して、標準カメラ４０および魚眼カメラ４１～４４の撮影範囲について説明する。図２（ａ）は、各カメラの水平方向の撮影範囲を示し、図２（ｂ）は車両１の右側部に取り付けられた魚眼カメラ４２の垂直方向の撮影範囲を示し、図２（ｃ）は車両１の後部に取り付けられた魚眼カメラ４３の垂直方向の撮影範囲を示す。

まず、図２（ａ）を参照して、車両１の平面図（すなわち、車両１の水平方向）における撮影範囲について説明する。標準カメラ４０は、撮影範囲２００に含まれる風景を撮影する。標準カメラ４０の撮影中心２００Ｃは、車両１の真正面を向いている。標準カメラ４０の水平方向の画角は、９０°未満であってもよく、例えば４５°程度または３０°程度であってもよい。

魚眼カメラ４１は、撮影範囲２０１に含まれる風景を撮影する。魚眼カメラ４１の撮影中心２０１Ｃは、車両１の真正面を向いている。魚眼カメラ４２は、撮影範囲２０２に含まれる風景を撮影する。魚眼カメラ４２の撮影中心２０２Ｃは、車両１の右方の真横を向いている。魚眼カメラ４３は、撮影範囲２０３に含まれる風景を撮影する。魚眼カメラ４３の撮影中心２０３Ｃは、車両１の真後ろを向いている。魚眼カメラ４４は、撮影範囲２０４に含まれる風景を撮影する。魚眼カメラ４４の撮影中心２０４Ｃは、車両１の左方の真横を向いている。魚眼カメラ４１～４４の水平方向の画角は、例えば９０°よりも大きくてもよく、１５０°よりも大きくてもよく、１８０°よりも大きくてもよく、例えば１８０°程度であってもよい。図２（ａ）は、魚眼カメラ４１～４４の水平方向の画角が１８０°となる例を示している。

撮影範囲２０１は、車両１の左斜め前方にある領域２０１Ｌと、車両１の真正面にある領域２０１Ｆと、車両１の右斜め前方にある領域２０１Ｒとに分割されうる。撮影範囲２０２は、車両１の右斜め前方にある領域２０２Ｌと、車両１の右方の真横にある領域２０２Ｆと、車両１の右斜め後方にある領域２０２Ｒとに分割されうる。撮影範囲２０３は、車両１の右斜め後方にある領域２０３Ｌと、車両１の真後ろにある領域２０３Ｆと、車両１の左斜め後方にある領域２０３Ｒとに分割されうる。撮影範囲２０４は、車両１の右斜め後方にある領域２０４Ｌと、車両１の左方の真横にある領域２０４Ｆと、車両１の左斜め前方にある領域２０４Ｒとに分割されうる。撮影範囲２０１は、３つの領域２０１Ｌ、２０１Ｆ、および２０１Ｒに均等に（すなわち、各領域の画角が等しくなるように）分割されてもよい。他の撮影範囲２０２～２０４についても均等に３分割されてもよい。

標準カメラ４０および魚眼カメラ４１～４４が上述のような撮影範囲２００～２０４を有することによって、車両１の真正面及び４つの斜め方向は、２つの別個のカメラの撮影範囲に含まれる。具体的に、車両１の真正面は、標準カメラ４０の撮影範囲２００と、魚眼カメラ４１の撮影範囲２０１の領域２０１Ｆとの両方に含まれる。車両１の右斜め前方は、魚眼カメラ４１の撮影範囲２０１の領域２０１Ｒと、魚眼カメラ４２の撮影範囲２０２の領域２０２Ｌとの両方に含まれる。車両１の他の３つの斜め方向についても同様である。

続いて、図２（ｂ）及び図２（ｃ）を参照して、車両１の垂直方向における撮影範囲について説明する。図２（ｂ）では、魚眼カメラ４２の垂直方向の撮影範囲について説明し、図２（ｃ）では、魚眼カメラ４３の垂直方向の撮影範囲について説明する。他の魚眼カメラ４１および４４の垂直方向の撮影範囲についても同様であってもよい。

魚眼カメラ４１～４４の垂直方向の画角は、例えば９０°よりも大きくてもよく、１５０°よりも大きくてもよく、１８０°よりも大きくてもよく、例えば１８０°程度であってもよい。図２（ｂ）および（ｃ）は、魚眼カメラ４１～４４の垂直方向の画角が１８０°となる例を示している。図示の例では、魚眼カメラ４３の撮影中心２０３Ｃは、地面に平行な方向よりも下側（地面の側）を向いている。これにかえて、魚眼カメラ４３の撮影中心２０３Ｃは、地面に平行な方向を向いていてもよいし、地面に平行な方向よりも上側（地面とは反対側）を向いていてもよい。また、魚眼カメラ４１～４４の撮影中心２０１Ｃ～２０４Ｃが、垂直方向において、互いに異なる方向を向いていてもよい。

図３を参照して、魚眼カメラ４１～４４によって撮影された画像の歪み補正処理について説明する。画像３００は、魚眼カメラ４２によって撮影された車両１の右方の風景の画像である。示されるように、画像３００は、特に周辺部分において大きな歪みを有する。

魚眼カメラ４２に接続されているＥＣＵ２２は、画像３００に対して歪み補正処理（魚眼画像から平面画像への変換処理）を行う。具体的に、ＥＣＵ２２は、画像３００内の１点を補正中心点３０１として設定する。ＥＣＵ２２は、画像３００から、補正中心点３０１を中心とする矩形の領域３０２を切り出す。ＥＣＵ２２は、この領域３０２に対して歪み補正処理を行うことによって、歪みが軽減された画像３０３を生成する。歪み補正処理は、補正中心点３０１に近い位置ほど歪みが軽減され、補正中心点３０１から遠い位置では歪みが軽減されないか、歪みが増大される。そこで、一部の実施形態において、ＥＣＵ２２は、車両１の周囲の環境のうち、着目したい領域内に補正中心点３０１を設定し、この領域について歪みが軽減した画像を生成する。

＜処理＞
続いて図４のフローチャートを参照しながら、本実施形態に係る制御装置２が実施する処理の手順を説明する。

Ｓ４０１において、ＥＣＵ２２及びＥＣＵ２３は、車速センサ７ｃにより検知された車両１の速度情報を取得する。ここで取得する速度は車両１の現在の走行速度である。

Ｓ４０２において、ＥＣＵ２２及びＥＣＵ２３は、Ｓ４０１で取得した車両１の速度情報に基づいて、各魚眼カメラ（魚眼カメラ４１～４４）により撮影された魚眼画像を平面画像に変換するための変換中心位置を制御する。ＥＣＵ２２が、車両１の右側方（右方向）を撮影する魚眼カメラ４２により撮影された右側方の魚眼画像、及び車両１の左側方（左方向）を撮影する魚眼カメラ４４により撮影された左側方の魚眼画像を平面画像に変換するための変換中心位置をそれぞれ設定する。また、ＥＣＵ２３が、車両１の前方を撮影する魚眼カメラ４１により撮影された前方の魚眼画像、及び車両１の後方を撮影する魚眼カメラ４３により撮影された後方の魚眼画像を平面画像に変換するための変換中心位置をそれぞれ設定する。本ステップの処理の詳細例については図５を参照して後述する。なお、本ステップで設定された変換中心位置に基づいて画像変換が実行され、変換された画像を用いて周辺情報の取得、運転支援等、各種の動作が実行される。以上で図４の一連の処理が終了する。

次に、図５のフローチャートを参照しながら、本実施形態に係る制御装置２が実施する処理の手順を説明する。図５の処理は図４のＳ４０２の処理の詳細例を示す。

Ｓ４０２１において、ＥＣＵ２２及びＥＣＵ２３は、Ｓ４０１で取得した車両１の速度が閾値（例えば２０ｋｍ／ｈ）以上であるか否かを判定する。車両１の速度が閾値以上である場合、Ｓ４０２３へ進む。一方、車両１の速度が閾値未満である場合、Ｓ４０２２へ進む。

Ｓ４０２２において、ＥＣＵ２２は、魚眼カメラ４２により撮影された右側方の魚眼画像を平面画像に変換するための変換中心位置、及び魚眼カメラ４４により撮影された左側方の魚眼画像を平面画像に変換するための変換中心位置を、それぞれ所定位置に設定する。

ここで、図６の画像６００は、魚眼カメラ４２によって撮影された車両１の右方の風景の画像である。魚眼カメラ４２に接続されているＥＣＵ２２は、画像６００内の１点を補正中心点６０１として設定する。ＥＣＵ２２は、画像６００から、補正中心点６０１を中心とする矩形の領域６０２を切り出し、この領域６０２に対して歪み補正処理を行うことによって、歪みが軽減された画像（平面画像）を生成する。ここで、補正中心点６０１は、車両１の速度が閾値未満である場合の所定位置である。図６の例は、右側方の画像に関する変換中心位置の例であるが、左側方の画像に関しても同様である。各変換中心位置は、画像中の同じ高さ（下端から所定の高さ）とすることができるが、両者は各々異なる所定位置であってもよい。

さらに、Ｓ４０２２において、ＥＣＵ２３は、魚眼カメラ４１により撮影された前方の魚眼画像を平面画像に変換するための変換中心位置、及び魚眼カメラ４３により撮影された後方の魚眼画像を平面画像に変換するための変換中心位置を、それぞれ所定位置に設定する。

ここで、図７（ａ）の画像７００は、魚眼カメラ４１によって撮影された車両１の前方の風景の画像である。先行車両の後部が撮影されている。魚眼カメラ４１に接続されているＥＣＵ２３は、画像７００内の１点を補正中心点７０１として設定する。ＥＣＵ２３は、画像７００から、補正中心点７０１を中心とする矩形の領域７０２を切り出し、この領域７０２に対して歪み補正処理を行うことによって、歪みが軽減された画像（平面画像）を生成する。ここで、補正中心点７０１は、車両１の速度が閾値未満である場合の所定位置である。図７（ａ）の例は、前方の画像に関する変換中心位置の例であるが、後方の画像に関しても同様である。各変換中心位置は、画像中の同じ高さ（下端から所定の高さ）とすることができるが、両者は各々異なる所定位置であってもよい。

Ｓ４０２３において、ＥＣＵ２２は、魚眼カメラ４２により撮影された右側方の魚眼画像を平面画像に変換するための変換中心位置、魚眼カメラ４４により撮影された左側方の魚眼画像を平面画像に変換するための変換中心位置を、それぞれ車両１の速度が閾値未満である場合の所定位置よりも上方に設定する。例えば、右側方の魚眼画像の変換中心位置を、図３に示した補正中心点３０１の位置（すなわち、補正中心点６０１の位置よりも上方の位置）に設定する。図３の例は、右側方の画像に関する変換中心位置の例であるが、左側方の画像に関しても同様である。各変換中心位置は、画像中の同じ高さ（下端から所定の高さ）とすることができるが、両者は各々異なる位置であってもよい。

さらに、Ｓ４０２３において、ＥＣＵ２３は、魚眼カメラ４１により撮影された前方の魚眼画像を平面画像に変換するための変換中心位置、及び魚眼カメラ４３により撮影された後方の魚眼画像を平面画像に変換するための変換中心位置を、それぞれ車両１の速度が閾値未満である場合の所定位置よりも上方に設定する。例えば、前方の魚眼画像の変換中心位置を、図７（ｂ）に示した画像７５０の矩形領域７５２における補正中心点７５１の位置（すなわち、補正中心点７０１の位置よりも上方の位置）に設定する。図７（ｂ）の例は、前方の画像に関する変換中心位置の例であるが、後方の画像に関しても同様である。各変換中心位置は、画像中の同じ高さ（下端から所定の高さ）とすることができるが、両者は各々異なる所定位置であってもよい。以上で図５の処理が終了する。

以上説明したように、本実施形態では、車両の速度情報に基づいて、各魚眼カメラにより撮影された魚眼画像を平面画像に変換するための変換中心位置を制御する。例えば、車速が閾値以上であるか否かに応じて、変換中心位置を所定位置に設定するか、所定位置よりも上方に設定するかを変更する。これにより、車速に応じて適切な周辺情報を精度良く取得することができる。

車速が低速（例えば２０ｋｍ／ｈ未満）のときは住宅地等の狭い道路を走行していることが多く、変換中心位置を下方に設定しておくことで車両近傍の周辺情報を精度良く取得できる。一方、車速が高速の時は幹線道路等を走行していることが多く、変換中心位置を上方にシフトさせることで、より遠方の周辺情報を精度良く取得できる。

[変形例]
なお、上記実施形態では、車速が閾値以上か否かに応じて、変換中心位置を切り替える例を説明したが、車速が閾値以上である場合の変換中心位置は車速に応じて連続的に変化させてもよい。

例えば、車速が閾値以上である場合に、車両１の速度が高いほど右側方を撮影する魚眼カメラ４２の変換中心位置を所定位置（図６に示した補正中心点６０１の位置）に対してより上方に設定するように構成してもよい。すなわち、速度が閾値未満の場合は、魚眼カメラ４２の変換中心位置は補正中心点６０１の位置である。そして、速度が閾値以上でも低い場合は、魚眼カメラ４２の変換中心位置は補正中心点６０１の位置に近くなり、速度が高くなるにつれて補正中心点６０１から図３に示した補正中心点３０１の位置（或いはそれよりもさらに上方の位置）に向かって上方に連続的に変化（移動）するように設定してもよい。左側方を撮影する魚眼カメラ４４に関しても同様である。これにより、車速に応じてより適切な周辺情報を精度よく取得することが可能となる。

同様に、車速が閾値以上である場合に、車両１の速度が高いほど前方を撮影する魚眼カメラ４１の変換中心位置を所定位置（図７に示した補正中心点７０１の位置）に対してより上方に設定するように構成してもよい。すなわち、速度が閾値未満の場合は、魚眼カメラ４１の変換中心位置は補正中心点７０１の位置である。そして、速度が閾値以上でも低い場合は、魚眼カメラ４１の変換中心位置は補正中心点７０１の位置に近くなり、速度が高くなるにつれて補正中心点７０１から図７（ｂ）に示した補正中心点７５１の位置（或いはそれよりもさらに上方の位置）に向かって上方に連続的に変化（移動）するように設定してもよい。後方を撮影する魚眼カメラ４３に関しても同様である。これにより、車速に応じてより適切な周辺情報を精度よく取得することが可能となる。

また、上記実施形態では車両の速度と閾値との大小関係に応じて処理を切り替える例を説明したが、車両の速度の閾値とは無関係に、速度が低いほど各魚眼カメラの変換中心位置を下方に設定し、速度が高いほど各魚眼カメラの変換中心位置を上方に設定するように構成してもよい。

また、車両１の左右側方に配置された各魚眼カメラ４２、４４の画像変換の頻度が、車両１の前後に配置された各魚眼カメラ４１、４３の画像変換の頻度よりも低くなるように制御してもよい。例えば、片側一車線道路の走行時や車線変更を行わないような場合には左右方向の環境（周辺情報）の変化よりも、前後方向の環境（周辺情報）の変化のほうが運転に影響を与えることが多い。従って、左右方向よりも前後方向の画像変換の頻度（画像の取得頻度）を高くすることで、より精度の良い情報をタイムリーに取得することが可能となるとともに、左右方向の変換頻度を抑えることで処理負荷の軽減を図ることが可能となる。

また、上記実施形態ではＥＣＵ２２及びＥＣＵ２３が別個に処理を行う例を説明したが、これらを単一のＥＣＵとして構成し、単一のＥＣＵが上記実施形態或いは変形例の処理を実行してもよい。

また、上記実施形態で示した切り出しのための矩形領域の形状、位置及びサイズは一例であり、図示の例に限定されない。図示の矩形よりも大きなサイズの矩形領域を用いてもよいし、小さな矩形を用いてもよい。例えば、図３及び図６では、魚眼画像の右側に矩形領域を設定したが、図７（ａ）及び図７（ｂ）のように中央に矩形領域を設定してもよいし、左側に設定してもよい。種々の変更が可能である。

（その他の実施形態）
また、各実施形態で説明された１以上の機能を実現するプログラムは、ネットワーク又は記憶媒体を介してシステム又は装置に供給され、該システム又は装置のコンピュータにおける１以上のプロセッサは、このプログラムを読み出して実行することができる。このような態様によっても本発明は実現可能である。

発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。

＜実施形態のまとめ＞
第１の態様による制御装置（例えば２）は、
車両（例えば１）の前後及び側方に配置された魚眼カメラ（例えば４１～４４）による撮影を制御する制御装置であって、
前記車両の速度の情報を取得する取得手段（例えば２２、２３）と、
前記速度に基づいて各魚眼カメラの魚眼画像を平面画像に変換するための中心位置を制御する制御手段（例えば２２、２３）と、
を備える。

これにより、車速に応じて適切な周辺情報を精度良く取得することが可能となる。

第２の態様による制御装置（例えば２）では、
前記制御手段は、前記速度が低いほど各魚眼カメラの前記中心位置を下方に設定する（例えば６０１、７０１）。

これにより、低速時には車両近傍の周辺情報を精度良く取得することが可能となる。従って、狭路通過時や駐車アシスト時、或いは自動駐車時等の低速時には車両近傍の周辺情報を精度良く取得することができる。

第３の態様による制御装置（例えば２）では、
前記制御手段は、前記速度が高いほど各魚眼カメラの前記中心位置を上方に設定する（例えば３０１、７５１）。

これにより、高速時には車両から遠方の周辺情報を精度良く取得することが可能となる。従って、幹線道路走行時や高速道路走行時等、高速時には自車両から距離のある遠方の周辺情報を精度良く取得することができる。

第４の態様による制御装置（例えば２）では、
前記制御手段は、前記速度が閾値（例えば２０ｋｍ／ｈ）未満である場合は各魚眼カメラの前記中心位置を所定位置に設定し（例えば６０１、７０１）、前記速度が前記閾値以上である場合は前記速度が高いほど各魚眼カメラの前記中心位置を前記所定位置に対してより上方に設定する（例えば３０１、７５１）。

このように、低速時には下方の所定位置を変換中心位置とし、ある程度以上の車速になったら次第に変換中心位置を上方に移動させる。従って、狭路通過時や駐車アシスト時、或いは自動駐車時等の低速時には車両近傍の周辺情報を所定の変換中心位置で精度良く取得することができ、幹線道路走行時や高速道路走行時等、高速時には自車両から距離のある遠方の周辺情報を精度良く取得することができる。

第５の態様による制御装置（例えば２）では、
前記制御手段は、前記速度が前記閾値以上である場合は、前記速度が高いほど各魚眼カメラの前記中心位置を前記所定位置に対してより上方に設定し、且つ、前記車両の前後に配置された各魚眼カメラの前記中心位置を、前記車両の側方に配置された各魚眼カメラの前記中心位置よりも上方に設定する。

高速時は左右方向よりも前後方向の周辺情報の変化が運転に大きな影響を与えるため、前後方向の変換中心位置を左右方向の変換中心位置よりも上方に設定することで、より状況に応じた適切な周辺情報を取得することが可能となる。

第６の態様による制御装置（例えば２）では、
前記制御手段は、前記速度が閾値未満である場合は各魚眼カメラの前記中心位置を所定位置に設定し、前記速度が前記閾値以上である場合は各魚眼カメラの前記中心位置を前記所定位置よりも上方に設定する。

車速との閾値との大小関係に応じて変換中心位置を切り替えることで、低速時には車両近傍の周辺情報を精度良く取得し、高速時には車両から遠方の周辺情報を精度良く取得することが可能となる。

第７の態様による制御装置（例えば２）では、
前記制御手段は、前記車両の側方に配置された各魚眼カメラの画像変換の頻度が、前記車両の前後に配置された各魚眼カメラの画像変換の頻度よりも低くなるように制御する。

片側一車線道路の走行時や車線変更を行わないような場合には左右方向の環境（周辺情報）の変化よりも、前後方向の環境（周辺情報）の変化のほうが運転に影響を与えることが多い。左右方向よりも前後方向の画像変換の頻度（画像の取得頻度）を高くすることで、より精度の良い情報をタイムリーに取得することが可能となるとともに、左右方向の画像変換の頻度を抑えることで処理負荷の軽減を図ることが可能となる。

第８の態様による制御装置（例えば２）の動作方法は、
車両（例えば１）の前後及び側方に配置された魚眼カメラによる撮影を制御する制御装置（例えば２）の動作方法であって、
前記車両の速度の情報を取得する取得工程（例えばＳ４０１）と、
前記速度に基づいて各魚眼カメラの魚眼画像を平面画像に変換するための中心位置を制御する制御工程（例えばＳ４０２）と、
を有する。

これにより、車速に応じて適切な周辺情報を精度良く取得することが可能となる。

第９の態様によるプログラムは、
コンピュータを、第１乃至第７の態様の何れかによる制御装置として機能させるためのプログラムである。

これにより、車両制御装置の動作をコンピュータにより実現可能となる。

１：車両、２２，２３：ＥＣＵ、４１～４４：魚眼カメラ、７ｃ：車速センサ

Claims (9)

1. 車両の前後及び側方に配置された魚眼カメラによる撮影を制御する制御装置であって、
   前記車両の速度の情報を取得する取得手段と、
   前記速度に基づいて各魚眼カメラの魚眼画像を平面画像に変換するための中心位置を制御する制御手段と、
   を備えることを特徴とする制御装置。
2. 前記制御手段は、前記速度が低いほど各魚眼カメラの前記中心位置を下方に設定することを特徴とする請求項１に記載の制御装置。
3. 前記制御手段は、前記速度が高いほど各魚眼カメラの前記中心位置を上方に設定することを特徴とする請求項１又は２に記載の制御装置。
4. 前記制御手段は、前記速度が閾値未満である場合は各魚眼カメラの前記中心位置を所定位置に設定し、前記速度が前記閾値以上である場合は前記速度が高いほど各魚眼カメラの前記中心位置を前記所定位置に対してより上方に設定することを特徴とする請求項１に記載の制御装置。
5. 前記制御手段は、前記速度が前記閾値以上である場合は、前記速度が高いほど各魚眼カメラの前記中心位置を前記所定位置に対してより上方に設定し、且つ、前記車両の前後に配置された各魚眼カメラの前記中心位置を、前記車両の側方に配置された各魚眼カメラの前記中心位置よりも上方に設定することを特徴とする請求項４に記載の制御装置。
6. 前記制御手段は、前記速度が閾値未満である場合は各魚眼カメラの前記中心位置を所定位置に設定し、前記速度が前記閾値以上である場合は各魚眼カメラの前記中心位置を前記所定位置よりも上方に設定することを特徴とする請求項１に記載の制御装置。
7. 前記制御手段は、前記車両の側方に配置された各魚眼カメラの画像変換の頻度が、前記車両の前後に配置された各魚眼カメラの画像変換の頻度よりも低くなるように制御することを特徴とする請求項１乃至６の何れか１項に記載の制御装置。
8. 車両の前後及び側方に配置された魚眼カメラによる撮影を制御する制御装置の動作方法であって、
   前記車両の速度の情報を取得する取得工程と、
   前記速度に基づいて各魚眼カメラの魚眼画像を平面画像に変換するための中心位置を制御する制御工程と、
   を有することを特徴とする制御装置の動作方法。
9. コンピュータを、請求項１乃至７の何れか１項に記載の制御装置として機能させるためのプログラム。

Images