JP2016037098A - 車両用撮像装置 - Google Patents

Abstract

【課題】カメラで撮像した車両周辺の画像の処理負荷を低減できる車両用撮像装置を提供する。
【解決手段】車両用撮像装置１００は、車両の前方を撮像する前方カメラ１と、車両の左側方を撮像する左側方カメラ２と、車両の右側方を撮像する右側方カメラ３と、車両の後方を撮像する後方カメラ４と、カメラ１〜４が撮像した各方向の画像に対して信号処理を行い、所定の信号を出力する信号処理部２０とを備えている。カメラ１〜４は、撮像方向ごとに撮像範囲を有し、信号処理部２０は、前記撮像範囲のうち所定範囲に限定された限定視野領域で取得された各画像に対して、信号処理を行う。
【選択図】図５

Description

本発明は、車両に装備したカメラにより車両の周辺を撮像する車両用撮像装置に関する。

道路上の障害物を検知したり、車両周辺の状況を監視したりする目的で、車両にカメラを装備することが従来より行われている。特許文献１には、このようなカメラを装備した車両の例が示されている。特許文献１は、複数のカメラで撮像した車両周辺の画像を表示する装置に関するもので、車両周辺に存在する物体までの距離を算出する距離算出手段と、算出された物体までの距離に応じて画像データの垂直方向のトリミング位置を可変するトリミング手段と、トリミングされた画像データを表示する表示手段とを備えている。このように、物体までの距離に応じて垂直方向のトリミング位置を可変することで、障害物周辺に特化した画像を運転者に提供することができ、運転者に対して注意喚起や警告を行うことができる。

特許文献１においては、カメラで撮像した車両周辺の画像を、画面に表示して運転者に提供するに当たり、距離情報を用いて画像の提供範囲を決定している。このように、単に画像を提供するだけであれば、提供範囲を広くしても、画像処理に大きな負荷がかかるという問題は生じない。ところが、カメラで撮像した車両周辺の画像に基づいて、車両の自動運転を行うような場合は、取得した画像に対して、物体認識などの複雑な画像処理を行う必要がある。この場合、カメラで取得された全範囲の画像について処理を行うと、処理データが膨大なものとなって、画像処理の負荷が極めて大きなものとなる。しかるに、このような膨大なデータを処理できる画像処理装置は、当然のことながら高価であり、市販車に搭載する装置としては現実的でない。

特開２００７−２５７３９号公報

本発明の課題は、カメラで撮像した車両周辺の画像の処理負荷を低減できる車両用撮像装置を提供することにある。

本発明に係る車両用撮像装置は、車両周辺の異なる方向を撮像する単数または複数のカメラと、このカメラが撮像した各方向の画像に対して信号処理を行い、所定の信号を出力する信号処理部とを備えている。カメラは、撮像方向ごとに撮像範囲を有している。信号処理部は、前記撮像範囲のうち所定範囲に限定された限定視野領域で取得された各画像に対して信号処理を行う。

このような車両用撮像装置によると、カメラの撮像方向ごとに所定範囲の限定視野領域が設定され、カメラはこの限定視野領域の範囲の画像を撮像する。このため、カメラの視野角の全範囲を撮像した画像を処理する場合に比べて、信号処理部による画像処理の負荷を大幅に低減することができる。

本発明では、車外環境に応じて、各方向の限定視野領域を自動的に選択できるようにしてもよい。この場合、車外環境に応じて、カメラの撮像方向と、カメラの視野角で撮像可能な複数の限定視野領域の１つとを対応付けて記憶した記憶手段と、車外環境に関する情報を取得する取得手段と、この取得手段で取得された車外環境に関する情報に基づき、記憶手段に記憶されている複数の限定視野領域の１つを、カメラの撮像方向ごとに選択する選択手段とが設けられる。そして、カメラは、選択手段により選択された限定視野領域を撮像する。

本発明では、信号処理部は、車両を自動運転させるための自動運転用信号を出力するようにしてもよい。

本発明では、取得手段で取得される車外環境は、たとえば道路種別の情報を含む。この場合、記憶手段は、少なくとも高速道路および一般道路の各道路種別ごとに、カメラの撮像方向と、複数の限定視野領域の１つとを対応付けて記憶しているのが好ましい。

本発明では、取得手段は、車両に備わるカーナビゲーション装置、ＥＴＣ装置、または車速センサから、道路種別の情報を取得するようにしてもよい。

本発明では、取得手段で取得される車外環境は、道路形状の情報をさらに含んでいてもよい。この場合、記憶手段は、各道路形状ごとに、カメラの撮像方向と、特定の物体または特定の方向とを対応付けて記憶しているのが好ましい。

本発明では、複数の限定視野領域は、垂直方向に並ぶ上領域、中領域、および下領域であってもよい。

本発明では、複数の限定視野領域は、水平方向に並ぶ左領域、中領域、および右領域であってもよい。

本発明では、複数のカメラを用いる場合、車両の前方を撮像する前方カメラと、車両の左側方を撮像する左側方カメラと、車両の右側方を撮像する右側方カメラと、車両の後方を撮像する後方カメラとを設けるのが好ましい。

本発明では、複数のカメラは、限定視野領域を撮像する狭い視野角を持ったカメラであってもよい。この場合、各カメラは、カメラごとに予め決められた取付高さおよび取付角度で車両に装備されることにより、限定視野領域を撮像する。

本発明では、カメラは、物体に光を投射する投光素子と、物体で反射した光を受光する受光素子とを有し、受光素子の各画素ごとに物体までの距離情報が取得される、距離画像カメラであることが好ましい。

本発明によれば、カメラで撮像した車両周辺の画像の処理負荷を低減できる車両用撮像装置を提供することができる。

本発明の第１実施形態を採用した車両を示す図であり、（ａ）は側面図、（ｂ）は上面図、（ｃ）は正面図である。 カメラに内蔵される撮像部を示す斜視図である。 受光素子の画素を模式的に示す図である。 各カメラの水平方向の視野角を示す図である。 本発明に係る車両用撮像装置のブロック図である。 第１実施形態における前方カメラの撮像領域を示す図である。 前方カメラの角度条件の根拠を説明するための図である。 前方カメラで撮像した画像の例である。 第１実施形態における側方カメラの撮像領域を示す図である。 荷台の下方に大きなスペースが存在する車両の例である。 第１実施形態における後方カメラの撮像領域を示す図である。 第１実施形態で用いるパターン表を示す図である。 限定視野領域を模式的に示す図である。 第１実施形態に係る車両用撮像装置の動作を表したフローチャートである。 限定視野領域の他の例を模式的に示す図である。 本発明の第２実施形態を採用した車両を示す図であり、（ａ）は側面図、（ｂ）は正面図である。

以下、本発明の実施形態につき、図面を参照しながら説明する。各図において、同一の部分または対応する部分には、同一符号を付してある。

最初に、第１実施形態について説明する。図１において、車両２００は乗用車であって、４台のカメラ１〜４を備えている。図中、Ｆは前方向、Ｂは後方向、Ｌは左方向、Ｒは右方向をそれぞれ表している。前方カメラ１は、車両２００の前部中央に取り付けられており、車両２００の前方を撮像する。左側方カメラ２は、車両２００の左側部の前方寄りに取り付けられており、車両２００の左側方を撮像する。右側方カメラ３は、車両２００の右側部の前方寄りに取り付けられており、車両２００の右側方を撮像する。後方カメラ４は、車両２００の後部中央に取り付けられており、車両２００の後方を撮像する。

前方カメラ１の路面Ｇからの高さＨｆは、たとえば５０ｃｍである。左側方カメラ２と、右側方カメラ３の路面Ｇからの高さＨｓは、たとえば８０ｃｍである。後方カメラ４の路面Ｇからの高さＨｒは、たとえば８０ｃｍである。これらの数値はあくまで一例であって、他の値を採用してもよい。

各カメラ１〜４は、３次元の距離情報が取得できる距離画像カメラからなる。距離画像カメラは、投光素子から投射された光が物体で反射して受光素子で受光されるまでの時間を、受光素子の各画素ごとにリアルタイムで測定することにより、距離情報を取得する。距離画像カメラを用いると、物体までの距離や物体の寸法・形状・位置関係など、撮像空間内の３次元の距離情報を、太陽光や照明環境に左右されずに取得することができる。

各カメラ１〜４には、図２に示すような撮像部１０が内蔵されている。撮像部１０は、ケース１３と、このケース１３に収納された投光素子１１および受光素子１２を有している。投光素子１１は、たとえば赤外線ＬＥＤからなり、赤外線のパルス光を、ケース１３の前面１３ａを通して物体へ向けて投射する。受光素子１２は、たとえばＣＭＯＳイメージセンサからなり、物体で反射したパルス光を、ケース１３の前面１３ａを通して受光する。

受光素子１２は、図３に示すように、ｎ個の画素（ピクセル）Ｐを有しており、各画素Ｐごとに、距離情報ｄ１、ｄ２、…ｄｎが取得される。具体的には、たとえば、各画素Ｐについて、投光パルス信号に対する受光パルス信号の位相遅れを計測することで、距離情報ｄ１、ｄ２、…ｄｎを得る（位相差法）。

各カメラ１〜４は、それぞれ図４に示すような水平方向の視野角Ｚ１〜Ｚ４を有している。前方カメラ１の視野角Ｚ１は、左側方カメラ２の視野角Ｚ２および右側方カメラ３の視野角Ｚ３と一部重なっている。後方カメラ４の視野角Ｚ４も、左側方カメラ２の視野角Ｚ２および右側方カメラ３の視野角Ｚ３と一部重なっている。各カメラ１〜４の垂直方向の視野角については後述する。

次に、本発明の車両用撮像装置の構成について、図５を参照しながら説明する。図５において、車両用撮像装置１００は、図１の車両２００に搭載されている。車両用撮像装置１００には、前述の前方カメラ１、左側方カメラ２、右側方カメラ３、および後方カメラ４と、信号処理部２０とが備わっている。各カメラ１〜４には、図２に示した撮像部１０と、ＣＰＵ１５と、メモリ１６が内蔵されている。ＣＰＵ１５は、カメラの動作を制御する制御部を構成する。メモリ１６には、カメラが撮像した画像が一時的に保存される。

信号処理部２０は、カメラ１〜４が撮像した各方向の画像に対して信号処理を行い、その結果に基づいて所定の信号を生成し、当該信号を車両制御部３０へ出力する。信号処理部２０には、ＣＰＵ２１と、メモリ２２が備わっている。ＣＰＵ２１は、信号処理部２０の動作を制御する制御部を構成する。メモリ２２には、図１２に示すようなパターン表２３があらかじめ記憶されている。このパターン表２３については、後で詳しく説明する。

車両制御部３０は、車両２００の各部を制御するコントローラを構成する。たとえば、車両制御部３０は、操舵制御ユニット４０に指令を与えて、車両２００の操舵角を制御し、エンジン制御ユニット５０に指令を与えて、エンジンの駆動・停止を制御する。図５では図示を省略しているが、車両制御部３０には、操舵制御ユニット４０とエンジン制御ユニット５０以外の制御ユニットも接続されている。なお、車両２００には自動運転機能が備わっており、自動運転時には、たとえば、前方カメラ１で路上の障害物が検出された際に、信号処理部２０から車両制御部３０へ出力される自動運転用の信号に基づき、操舵制御ユニット４０が障害物を避けるように操舵制御を行う。

信号処理部２０には、車両２００に搭載された車載機器６０からの各種信号が入力される。車載機器６０は、カーナビゲーション装置（以下「カーナビ装置」と表記）６１、ＥＴＣ（Electronic Toll Collection）装置６２、車速センサ６３、および通信装置６４を含む。実際には、車載機器６０には、上記以外の装置も含まれるが、本発明とは直接関係がないので、図示は省略している。

以上の構成において、ＣＰＵ２１（またはＣＰＵ１５）は、本発明における「取得手段」および「選択手段」の一例であり、メモリ２２（またはメモリ１６）は、本発明における「記憶手段」の一例である。

次に、車両用撮像装置１００による撮像の詳細について説明する。図６に示すように、前方カメラ１は、垂直方向の視野角がθであるカメラであって、前方垂直方向にθの撮像範囲を有している。しかし、この撮像範囲の全範囲を撮像した画像を信号処理部２０で処理すると、ＣＰＵ２１の負荷が非常に大きくなってしまう。そこで、前方カメラ１の撮像範囲を限定するために、次のような角度条件を設定する。
（ａ）低方向の角度条件：３ｍ先の路面Ｇ上にある物体Ｚ（障害物）を検知できること。
（ｂ）高方向の角度条件：前方の車両２０１を検知できること。
なお、上記の角度条件は、車両２００が高速道路または一般道路を走行する場合を想定したものである（後述の角度条件（ｃ）〜（ｆ）についても同様）。

（ａ）の条件は、次のような根拠に基づいている。図７に示すように、車両２００が緊急時などに、路肩に１ｍ程度幅寄せして停車する場合を想定すると、タイヤの操舵量は最大３０°であるのが一般的である。したがって、３ｍ先に障害物がないことが確認できれば、３０°の操舵を行うことで、車両２００は１ｍ幅寄せした状態で路肩に停車することが可能となる。

（ｂ）の条件は、前方を走る車両との車間距離を測定するために必要となる。但し、車両２０１の全体を検知する必要はなく、少なくともタイヤを検知できればよい。したがって、図６のように、前方カメラ１の取付高さを５０ｃｍとした場合、（ｂ）の条件を満たすには、高さ５０ｃｍの水平線ａより下の領域（水平線ａを含む）を撮像できればよい。

以上のことから、上記（ａ）、（ｂ）の条件を満たす前方カメラ１の撮像領域は、図６に斜線で示した領域となる。このとき、水平線ａに対する下方向の俯角（視野角）θ１は、θ１＝９．５°となる。図６のように撮像領域を設定した場合は、前方の車両がたとえばトラックであって、荷台の下方に大きな空間があったとしても、図８の画像に示されるように、少なくともタイヤＴを撮像できるので、乗用車の場合と同様に車両を検知することができる。なお、図６の斜線領域は、最小限要求される領域であって、必要に応じて、θ１の角度を９．５°より大きくして、撮像領域を拡大してもよい。また、水平線ａより上の所定領域まで撮像領域を拡大してもよい。

次に、側方カメラ２、３による撮像の詳細について説明する。以下では、右側方カメラ３を例に挙げるが、左側方カメラ２についても同様である。図９に示すように、右側方カメラ３は、垂直方向の視野角がθであるカメラであって、右側方垂直方向にθの撮像範囲を有している。この視野角θは、前方カメラ１の視野角θ（図６）と同じであるが、両者は異なっていてもよい。右側方カメラ３については、撮像範囲を限定するために、次のような角度条件を設定する。
（ｃ）低方向の角度条件：子供の歩行者、オートバイ、および自転車を検知できること。
（ｄ）高方向の角度条件：３ｍの距離で１．５ｍの高さまで撮像できること。

（ｃ）の条件については、子供Ｋの身長を８０ｃｍ以上、オートバイと自転車（図示省略）の高さを８０ｃｍ以上と想定した場合、路面Ｇから少なくとも８０ｃｍ以上の領域を撮像できればよい。したがって、図９のように、右側方カメラ３の取付高さを８０ｃｍとした場合、（ｃ）の条件を満たすには、高さ８０ｃｍの水平線ｂより上の領域（水平線ｂを含む）を撮像できればよい。

（ｄ）の条件は、側方を走るトラック２０２を確実に検知するために必要となる。図１０のように、トラック２０２の荷台が高くて、荷台の下方に大きな空間Ｓが存在する場合、撮像領域が下方に寄り過ぎると、空間Ｓしか撮像できず、トラック２０２を検知できないことがある。しかし、右側方カメラ３が、３ｍ離れた場所で１．５ｍの高さを撮像できれば、図１０のようなトラック２０２でも検知が可能となる。

以上のことから、上記（ｃ）、（ｄ）の条件を満たす右側方カメラ３の撮像領域は、図９に斜線で示した領域となる。このとき、水平線ｂに対する上方向の俯角（視野角）θ２は、θ２＝１３．１°となる。なお、図９の斜線領域は、最小限要求される領域であって、必要に応じて、θ２の角度を１３．１°より大きくして、撮像領域を拡大してもよい。また、水平線ｂより下の所定領域まで撮像領域を拡大してもよい。

次に、後方カメラ４による撮像の詳細について説明する。図１１に示すように、後方カメラ４は、垂直方向の視野角がθであるカメラであって、後方垂直方向にθの撮像範囲を有している。この視野角θは、前方カメラ１の視野角θ（図６）と同じであるが、両者は異なっていてもよい。後方カメラ４については、撮像範囲を限定するために、次のような角度条件を設定する。
（ｅ）低方向の角度条件：子供の歩行者、オートバイ、および自転車を検知できること。
（ｆ）高方向の角度条件：１０ｍの距離で３ｍの高さまで撮像できること。

（ｅ）の条件については、右側方カメラ３の場合と同様に、子供Ｋの身長を８０ｃｍ以上、オートバイと自転車（図示省略）の高さを８０ｃｍ以上と想定した場合、路面Ｇから少なくとも８０ｃｍ以上の領域を撮像できればよい。したがって、図１１のように、後方カメラ４の取付高さを８０ｃｍとした場合、（ｅ）の条件を満たすには、高さ８０ｃｍの水平線ｃより上の領域（水平線ｃを含む）を撮像できればよい。

（ｆ）の条件は、後方を走る車両の車種を特定するために、１０ｍ後方における高さ３ｍのトラック２０４を撮像する必要があることに基づいている。

以上のことから、上記（ｅ）、（ｆ）の条件を満たす後方カメラ４の撮像領域は、図１１に斜線で示した領域となる。このとき、水平線ｃに対する上方向の俯角（視野角）θ３は、θ３＝１２．４°となる。なお、図１１の斜線領域は、最小限要求される領域であって、必要に応じて、θ３の角度を１２．４°より大きくして、撮像領域を拡大してもよい。また、水平線ｃより下の所定領域まで撮像領域を拡大してもよい。

このようにして、カメラ１〜４ごとに、図６、図９、図１１で斜線で示したような、所定範囲に限定された視野領域（以下「限定視野領域」という。）が設定され、カメラ１〜４は、この限定視野領域の画像を撮像する。なお、視野領域の限定は、図３に示した受光素子１２における所定の画素Ｐを選択することにより行われる。この場合、選択された画素Ｐで構成される領域の画像のみが取得される。

各カメラ１〜４に対応する限定視野領域は、図６、図９、図１１に示した範囲に固定してもよいが、本実施形態では、図１２のパターン表２３に従って、道路種別や道路形状などの車外環境に応じて、最適の限定視野領域を選択できるようにしている。以下、この詳細について説明する。

図１２において、パターン表２３には、車外環境の大項目として、「道路種別」、「道路形状」、および「付加要因」が設定されている。「道路種別」は、さらに、「高速道路」、「一般道路」、「生活道路」、および「駐車」の小項目に分類され、これらの各小項目に対応して、パターンＡ１〜Ａ４が割り当てられている。「道路形状」は、さらに、「交差点」、「カーブ」、「分岐」、「上り坂／下り坂」の小項目に分類され、これらの各小項目に対応して、パターンＢ１〜Ｂ４が割り当てられている。「付加要因」は、さらに、「渋滞」、「工事／事故」、「緊急車両」の小項目に分類され、これらの各小項目に対応して、パターンＣ１〜Ｃ３が割り当てられている。

「道路種別」のパターンＡ１〜Ａ４に対応して、各カメラごとに「上領域」、「中領域」、「下領域」のいずれかが、限定視野領域として設定されている。つまり、カメラの撮像方向と、カメラの視野角で撮像可能な複数の限定視野領域の１つとが対応付けて記憶されている。図１３は、撮像範囲における上領域Ｘｕ、中領域Ｘｍ、下領域Ｘｄを模式的に示した図である。前述のように、受光素子１２の画素Ｐを選択することで、上領域Ｘｕ、中領域Ｘｍ、下領域Ｘｄを指定することができる。

前方カメラ１の限定視野領域は、パターンＡ１、Ａ２では中領域Ｘｍに設定され、パターンＡ３、Ａ４では下領域Ｘｄに設定されている。側方カメラ２、３の限定視野領域は、パターンＡ１、Ａ２では中領域Ｘｍに設定され、パターンＡ３、Ａ４では、下領域Ｘｄに設定されている。後方カメラ４の限定視野領域は、パターンＡ１では上領域Ｘｕに設定され、パターンＡ２では中領域Ｘｍに設定され、パターンＡ３、Ａ４では、下領域Ｘｄに設定されている。

図６、図９、図１１からわかるように、カメラ１〜４は、限定視野領域より広い領域を撮像可能な垂直方向の視野角θを有しているので、視野角θで撮像可能な範囲に、図１３のような垂直方向に並ぶ複数の限定視野領域（上領域Ｘｕ、中領域Ｘｍ、下領域Ｘｄ）が含まれる。なお、上領域Ｘｕと中領域Ｘｍ、および中領域Ｘｍと下領域Ｘｄは、一部が重なり合っている。

図１２に戻り、パターン表２３では、「道路形状」のパターンＢ１〜Ｂ４に対応して、各カメラごとに、特定の物体（車両、路面）や特定の方向（カーブ方向、分岐方向、坂方向）が設定されている。また、パターン表２３では、「付加要因」のパターンＣ１〜Ｃ３に対応して、各カメラごとに、特定の物体（車両）や特定の方向（工事／事故方向、路肩方向）が設定されている。

信号処理部２０（図５）は、車載機器６０から取得した情報に基づいて、車両２００の車外環境が、パターン表２３のどのパターンに該当するかを判別する。たとえば、「道路種別」がパターンＡ１〜Ａ４のいずれであるかは、カーナビ装置６１、ＥＴＣ装置６２、車速センサ６３から取得した情報に基づいて判別が可能である。また、「道路形状」がパターンＢ１〜Ｂ４のいずれであるかは、カーナビ装置６１から取得した情報に基づいて判別が可能である。また、「付加要因」がパターンＣ１〜Ｃ３のいずれであるかは、カーナビ装置６１や通信装置６４から取得した情報に基づいて判別が可能である。

道路種別のパターンＡ１〜Ａ４が判別されると、信号処理部２０は、そのパターンをカメラ１〜４のそれぞれに通知する。カメラ１〜４は、撮像領域が信号処理部２０から通知されたパターンに対応する限定視野領域（上領域、中領域、または下領域）となるように、受光素子１２の画素Ｐを選択することで、限定視野領域を設定し、当該領域を撮像する。

たとえば、車両２００が高速道路または一般道路を走行している場合（パターンＡ１、Ａ２）、前方カメラ１は、図６のような中領域の限定視野領域を撮像するが、車両２００が生活道路へ進入した場合（パターンＡ３）や、駐車する場合（パターンＡ４）は、前方カメラ１の限定視野領域が中領域から下領域へ切り替わる。このため、前方カメラ１の撮像範囲は下方へシフトする。

また、たとえば、車両２００が高速道路または一般道路を走行している場合（パターンＡ１、Ａ２）、側方カメラ２、３は、図９のような中領域の限定視野領域を撮像するが、車両２００が生活道路へ進入した場合（パターンＡ３）や、駐車する場合（パターンＡ４）は、側方カメラ２、３の限定視野領域が中領域から下領域へ切り替わる。このため、側方カメラ２、３の撮像範囲は下方へシフトする。

また、たとえば、車両２００が生活道路を走行している場合（パターンＡ３）や、駐車する場合（パターンＡ４）は、後方カメラ４は、下領域の限定視野領域を撮像するが、車両２００が一般道路へ進入すると（パターンＡ２）、後方カメラ４の限定視野領域が、図１１のような中領域に切り替わる。このため、後方カメラ４の撮像範囲は上方へシフトする。また、車両２００が高速道路へ進入すると（パターンＡ１）、後方カメラ４の限定視野領域が上領域へ切り替わり、後方カメラ４の撮像範囲はさらに上方へシフトする。

このようにして、道路種別のパターンＡ１〜Ａ４に応じて、各カメラ１〜４の限定視野領域は自動的に切り替わる。

信号処理部２０は、道路種別のパターンＡ１〜Ａ４の選択が終わると、次に、カーナビ装置６１から取得した情報に基づいて、道路形状のパターンＢ１〜Ｂ４の判別を行う。パターンＢ１〜Ｂ４が判別されると、信号処理部２０は、そのパターンをカメラ１〜４のそれぞれに通知する。カメラ１〜４は、パターンＡ１〜Ａ４で選択された各カメラの限定視野領域を撮像した画像において、信号処理部２０から通知されたパターンＢ１〜Ｂ４に対応する限定視野領域を切り出したり、当該領域の解像度を高くして画像を強調するなどの処理を行う。パターン表２３にある通り、パターンＢ１〜Ｂ４に対応する限定視野領域は、物体（車両、路面）や方向（カーブ方向、分岐方向、坂方向）である。

具体的には、たとえば、車両２００が一般道路を走行中で（パターンＡ２）、交差点に来た場合（パターンＢ１）、前方カメラ１は、パターンＡ２で選択された中領域の撮像画像における、対向車や路面の画像部分を切り出したり強調したりする。側方カメラ２、３と後方カメラ４も、各カメラが撮像した画像における、側方車や後方車の画像部分に対して同様の処理を行う。また、車両２００が高速道路を走行中で（パターンＡ１）、カーブに差し掛かった場合（パターンＢ２）、各カメラは、パターンＡ１で選択された限定視野領域の撮像画像における、カーブの画像部分を切り出したり強調したりする。道路形状がパターンＢ１〜Ｂ４のいずれにも該当しない場合は、上記の処理は行われない。

信号処理部２０は、次に、カーナビ装置６１や通信装置６４から取得した情報に基づいて、付加要因のパターンＣ１〜Ｃ３の判別を行う。パターンＣ１〜Ｃ３が判別されると、信号処理部２０は、そのパターンをカメラ１〜４のそれぞれに通知する。カメラ１〜４は、パターンＡ１〜Ａ４、パターンＢ１〜Ｂ４で選択された各カメラの限定視野領域を撮像した画像において、信号処理部２０から通知されたパターンＣ１〜Ｃ３に対応する限定視野領域を切り出したり、当該領域の解像度を高くして画像を強調するなどの処理を行う。パターン表２３にある通り、パターンＣ１〜Ｃ３に対応する限定視野領域は、物体（車両）や方向（工事／事故方向、路肩方向）である。パターンＣ１〜Ｃ３のいずれにも該当しない場合は、上記の処理は行われない。

以上のようにして撮像されたカメラ１〜４の画像は、信号処理部２０へ渡される。その前に、カメラ１〜４において、撮像画像に対しデータ変換などの前処理を行ってもよい。信号処理部２０は、各カメラ１〜４から取得した画像（距離画像）を解析して、物体を認識するための処理を行う。この場合、たとえば、前方カメラ１で撮像した画像において対向車を認識できれば、その後の対向車と自車との位置関係は、自車の走行情報（車速など）を用いて推定できるので、側方カメラ２、３や後方カメラ４による対向車の撮像や画像処理は不要となる。また、自動運転時に、前方カメラ１で撮像した画像から、図６のような路面上の障害物（物体Ｚ）を認識できれば、先述のように、操舵制御ユニット４０の操舵制御によって、障害物を避けることができる。

信号処理部２０は、物体認識処理の結果得られた物体情報を、出力信号として車両制御部３０へ送る。車両制御部３０は、信号処理部２０から取得した物体情報に基づいて、操舵制御ユニット４０、エンジン制御ユニット５０、および図示しないその他の制御ユニットへ指令を与え、車両２００の各部を制御する。

図１４は、車両用撮像装置１００の動作を表したフローチャートである。ステップＳ１〜Ｓ６、およびＳ９〜Ｓ１０は、信号処理部２０のＣＰＵ２１が実行し、ステップＳ７〜８は、各カメラ１〜４のＣＰＵ１５が実行する。

ステップＳ１では、信号処理部２０が、カーナビ装置６１、ＥＴＣ装置６２、車速センサ６３から、道路種別情報を取得する。ステップＳ２では、信号処理部２０が、カーナビ装置６１から道路形状情報を取得する。ステップＳ３では、信号処理部２０が、カーナビ装置６１や通信装置６４から、付加要因情報を取得する。ステップＳ１〜Ｓ３の順序は、入れ替わってもよい。

信号処理部２０は、ステップＳ４で、メモリ２２に格納されているパターン表２３を参照し、ステップＳ５で、ステップＳ１〜Ｓ３において取得した道路種別情報、道路形状情報、および付加要因情報に基づき、パターンＡ１〜Ａ４、Ｂ１〜Ｂ４、Ｃ１〜Ｃ３を選択する。

ステップＳ６では、信号処理部２０は、ステップＳ５で選択したパターンを、前方カメラ１、左側方カメラ２、右側方カメラ３、および後方カメラ４へそれぞれ送信する。

ステップＳ７では、各カメラ１〜４において、信号処理部２０から送信されたパターンに基づき、限定視野領域（上領域、中領域、下領域）を選択する。

ステップＳ８では、各カメラ１〜４が、ステップＳ７で選択した限定視野領域を撮像して、当該領域の距離画像を取得する。取得された距離画像は、カメラに内蔵されたメモリ１６に一旦格納され、所定の処理が施された後、信号処理部２０へ送られる。

ステップＳ９では、信号処理部２０が、各カメラ１〜４から取得した距離画像に基づき、物体認識処理を実行する。

ステップＳ１０では、信号処理部２０が、物体認識処理により得られた物体情報を、車両制御部３０へ送信する。その後は、前述したように、車両制御部３０による所定の制御が行われる。

上述した第１実施形態によると、カメラ１〜４ごとに限定視野領域が設定され、カメラ１〜４は、この限定視野領域の範囲の画像を撮像する。このため、カメラ１〜４の視野角θの全範囲を撮像した画像を処理する場合に比べて、信号処理部２０のＣＰＵ２１による画像処理の負荷を大幅に低減することができる。

また、各カメラ１〜４の限定視野領域は、道路種別・道路形状・付加要因などの車外環境に応じて、自動的に切り替わるので、常に最適の限定視野領域を選択することができる。これにより、データ量を低減しつつ、各方向の必要な画像を取得することが可能となる。

図１３においては、限定視野領域を、垂直方向に並ぶ上領域Ｘｕ、中領域Ｘｍ、下領域Ｘｄとしたが、図１５に示したように、限定視野領域を、水平方向に並ぶ左領域ＹＬ、中領域Ｙｍ、右領域Ｙｒとしてもよい。また、図１３と図１５のそれぞれの限定視野領域を併用してもよい。

次に、本発明の第２実施形態について説明する。図１６は、第２実施形態を採用した車両３００を示す図であり、（ａ）は側面図、（ｂ）は正面図である。上面図は、図１（ｂ）と同じであるので、図示を省略している。車両３００には、前方カメラ１、左側方カメラ２、右側方カメラ３、および後方カメラ４が装備されている。これらのカメラ１〜４は、視野角を除いて、第１実施形態のカメラ１〜４と同様である。また、図２〜図５も第２実施形態に共通している。但し、第２実施形態では、図５のパターン表２３は設けられない。

第１実施形態では、カメラ１〜４は、垂直方向の視野角θが広いカメラであり、視野角θの撮像範囲に含まれる複数の限定視野領域（上領域、中領域、下領域）を、道路種別に応じて選択できるようにした。一方、第２実施形態では、カメラ１〜４は、図１６のように、垂直方向の視野角φが狭いカメラであり、カメラごとに予め決められた取付高さＨｆ、Ｈｓ、Ｈｒ、および取付角度α、β、γで車両３００に装備される。図１６では、前方カメラ１の視野角φと、側方カメラ２、３の視野角φと、後方カメラ４の視野角φとが同じであるが、これらの視野角は異なっていてもよい。カメラ１〜４は、視野角φで限定される視野領域の画像を撮像する。

第２実施形態では、カメラ１〜４のそれぞれの限定視野領域が、カメラの視野角φと、カメラの取付高さＨｆ、Ｈｓ、Ｈｒと、カメラの取付角度α、β、γとによって、予め固定的に決められている。この場合、各方向の限定視野領域をどの範囲にするかは、第１実施形態の場合の角度条件（ａ）〜（ｆ）に従って決めてもよいし、別の基準に従って決めてもよい。

第２実施形態によれば、道路種別に応じて限定視野領域を自動的に切り替えることはできないが、視野角φの狭いカメラ１〜４を用いることで、第１実施形態と同様に、信号処理部２０における画像処理の負荷を大幅に低減することができる。また、視野角の狭いカメラは安価であるため、車両用撮像装置１００のコストも低減することができる。

本発明では、以上述べた実施形態以外にも、以下のような種々の実施形態を採用することができる。

前記の実施形態では、４個のカメラ１〜４を設けているが、カメラの個数は４個に限らず、たとえば６個であってもよい。また、第１実施形態の場合は、３６０°回転可能なカメラを用いれば、カメラは１個で済む。さらに、本発明で用いるカメラは、固定式のものに限らず、可動式のものであってもよい。

前記の実施形態では、カメラ１〜４により３次元の距離画像を取得したが、これに限らず、複数のカメラで２次元画像を取得し、視差を測定することで、距離情報を取得するようにしてもよい。

図１３および図１５では、限定視野領域として２次元の領域を示したが、カメラ１〜４で３次元の距離画像を取得できることを生かして、限定視野領域を、奥行きも考慮した３次元領域としてもよい。

図１２のパターン表２３において、「車両停車中」のパターンを追加し、車両の停車中は、画像の認識モードをジェスチャー認識モードに切り替えてもよい。この場合、たとえば、後方カメラ４が撮像した画像により、車両の後方で運転者や同乗者がリモコン型の電子キーを所持しており、ドアを開ける仕草をしたことを認識することで、ドアのロックが解除される。

図１２のパターン表２３において、「降車中」のパターンを追加し、搭乗者が車両から降車する際に、画像の認識モードを降車モードに切り替えてもよい。この場合、たとえば、車両の停止後に、搭乗者が車内からドアを開けるスイッチを操作したときに、該当ドアの可動範囲およびその前後方向の空間を限定視野領域として選択することで、降車時に開くドアと衝突する可能性のある、隣接車両や障害物、接近車両などを検知することができる。

図１２のパターン表２３において、「道路形状」の小項目として、トンネルなどを追加してもよい。トンネルの判別は、カーナビ装置６１や、照度計（図示省略）などから取得した情報に基づいて行うことができる。また、「付加要因」の小項目として、夜、朝日／夕日、雨／雪、霧などを追加してもよい。これらの判別は、カーナビ装置６１、時計（図示省略）、雨滴センサ（図示省略）などから取得した情報に基づいて行うことができる。

パターン表２３の車外環境の項目としては、これまでに述べたものに限らず、将来的に提供が見込まれる緊急車両の現在位置や、走行ルート情報などを含めてもよい。

図１４のフローチャートのステップＳ６では、ステップＳ５で選択されたパターン（Ａ１〜Ａ４、Ｂ１〜Ｂ４、Ｃ１〜Ｃ３）を各カメラ１〜４へ送信したが、選択されたパターンに応じた各カメラ１〜４の限定視野領域（上領域、中領域、下領域）を、各カメラ１〜４へ送信してもよい。

図１２のパターン表２３は、カメラ１〜４のメモリ１６に記憶させてもよい。この場合、信号処理部２０は、車載機器６０から取得した車外環境情報をそのままカメラ１〜４へ送信する。カメラ１〜４は、信号処理部２０から取得した車外環境情報に基づいてパターンの判別を行い、判別したパターンに応じた限定視野領域を選択し、当該領域を撮像する。

前記の各実施形態では、車両用撮像装置１００が搭載される車両２００、３００として、乗用車を例に挙げたが、車両はトラックやバスであってもよい。

１ 前方カメラ
２ 左側方カメラ
３ 右側方カメラ
４ 後方カメラ
１１ 投光素子
１２ 受光素子
１５、２１ ＣＰＵ（取得手段、選択手段）
１６、２２ メモリ（記憶手段）
２０ 信号処理部
２３ パターン表
６１ カーナビゲーション装置
６２ ＥＴＣ装置
６３ 車速センサ
６４ 通信装置
１００ 車両用撮像装置
２００、３００ 車両
Ｈｆ、Ｈｓ、Ｈｒ カメラの取付高さ
α、β、γ カメラの取付角度
θ、φ カメラの視野角
Ｘｕ 上領域（限定視野領域）
Ｘｍ 中領域（限定視野領域）
Ｘｄ 下領域（限定視野領域）
ＹＬ 左領域（限定視野領域）
Ｙｍ 中領域（限定視野領域）
Ｙｒ 右領域（限定視野領域）

Claims (12)

1. 車両周辺の異なる方向を撮像する単数または複数のカメラと、
   前記カメラが撮像した各方向の画像に対して信号処理を行い、所定の信号を出力する信号処理部と、を備えた車両用撮像装置において、
   前記カメラは、撮像方向ごとに撮像範囲を有し、
   前記信号処理部は、前記撮像範囲のうち所定範囲に限定された限定視野領域で取得された各画像に対して、前記信号処理を行うことを特徴とする車両用撮像装置。
2. 請求項１に記載の車両用撮像装置において、
   車外環境に応じて、前記カメラの撮像方向と、前記カメラの視野角で撮像可能な複数の限定視野領域の１つとを対応付けて記憶した記憶手段と、
   前記車外環境に関する情報を取得する取得手段と、
   前記取得手段で取得された車外環境に関する情報に基づき、前記記憶手段に記憶されている複数の限定視野領域の１つを、前記カメラの撮像方向ごとに選択する選択手段と、を備え、
   前記カメラは、前記選択手段により選択された限定視野領域を撮像することを特徴とする車両用撮像装置。
3. 請求項２に記載の車両用撮像装置において、
   前記信号処理部は、前記カメラが撮像した各画像に対して信号処理を行い、車両を自動運転させるための自動運転用信号を出力することを特徴とする車両用撮像装置。
4. 請求項２または請求項３に記載の車両用撮像装置において、
   前記取得手段で取得される車外環境は、道路種別の情報を含むことを特徴とする車両用撮像装置。
5. 請求項４に記載の車両用撮像装置において、
   前記記憶手段は、少なくとも高速道路および一般道路の各道路種別ごとに、前記カメラの撮像方向と、前記複数の限定視野領域の１つとを対応付けて記憶していることを特徴とする車両用撮像装置。
6. 請求項４または請求項５に記載の車両用撮像装置において、
   前記取得手段は、前記車両に備わるカーナビゲーション装置、ＥＴＣ装置、または車速センサから、前記道路種別の情報を取得することを特徴とする車両用撮像装置。
7. 請求項４ないし請求項６のいずれかに記載の車両用撮像装置において、
   前記取得手段で取得される車外環境は、道路形状の情報をさらに含み、
   前記記憶手段は、各道路形状ごとに、前記カメラの撮像方向と、特定の物体または特定の方向とを対応付けて記憶していることを特徴とする車両用撮像装置。
8. 請求項２ないし請求項７のいずれかに記載の車両用撮像装置において、
   前記複数の限定視野領域は、垂直方向に並ぶ上領域、中領域、および下領域であることを特徴とする車両用撮像装置。
9. 請求項２ないし請求項７のいずれかに記載の車両用撮像装置において、
   前記複数の限定視野領域は、水平方向に並ぶ左領域、中領域、および右領域であることを特徴とする車両用撮像装置。
10. 請求項１に記載の車両用撮像装置において、
    前記カメラは、車両の前方を撮像する前方カメラと、車両の左側方を撮像する左側方カメラと、車両の右側方を撮像する右側方カメラと、車両の後方を撮像する後方カメラとを含むことを特徴とする車両用撮像装置。
11. 請求項１０に記載の車両用撮像装置において、
    前記各カメラは、前記限定視野領域を撮像する狭い視野角を持ったカメラであり、カメラごとに予め決められた取付高さおよび取付角度で車両に装備されることにより、前記限定視野領域を撮像することを特徴とする車両用撮像装置。
12. 請求項１ないし請求項１１のいずれかに記載の車両用撮像装置において、
    前記カメラは、物体に光を投射する投光素子と、前記物体で反射した光を受光する受光素子とを有し、前記受光素子の各画素ごとに物体までの距離情報が取得される、距離画像カメラであることを特徴とする車両用撮像装置。

Images