JP2007147564A

JP2007147564A - 画像認識装置及び方法、並びに自車位置認識装置及び方法

Info

Publication number: JP2007147564A
Application number: JP2005345994A
Authority: JP
Inventors: Takayuki Miyajima; 孝幸宮島; Masaki Nakamura; 正樹中村
Original assignee: Aisin AW Co Ltd
Current assignee: Aisin AW Co Ltd
Priority date: 2005-11-30
Filing date: 2005-11-30
Publication date: 2007-06-14
Anticipated expiration: 2025-11-30
Also published as: JP4903426B2

Abstract

【課題】互いに異なる方向をそれぞれ撮像する複数の撮像手段を備える場合に、状況に応じて最適な撮像手段を一つ選択することができ、演算処理の負荷を低く抑えつつ、地物の認識率及び認識された地物との間の距離認識精度の向上を図る。
【解決手段】自車両に設置され、互いに異なる方向をそれぞれ撮像する複数の撮像手段Ｃ１、Ｃ２を備え、自車両の周辺に存在する地物の画像認識を行う画像認識装置１であって、自車両の位置情報を取得する自車位置情報取得手段９と、自車位置情報に基づいて、自車位置の周辺の地物情報を所定の地物データベースＤＢ２から取得する地物情報取得手段１０と、必要な撮像情報を取得するための選択規則に従い、自車位置情報及び地物情報に基づいて複数の撮像手段Ｃ１、Ｃ２の一つを選択する選択手段１３と、を備える。
【選択図】図１

Description

本発明は、複数の撮像手段を備える場合に最適な一つの撮像手段を選択して撮像情報を取得し、その画像認識を行うことが可能な画像認識装置及び画像認識方法、並びにそれらを用いた自車位置認識装置及び自車位置認識方法に関する。

自車両の周辺に存在する地物の画像認識に関する技術として、例えば下記の特許文献１には、以下のような車載用ナビゲーション装置の技術が開示されている。この装置は、車両に搭載され、車両前方の走行道路に沿った風景を補促するカメラ、カメラにより補促された風景画像より交差点シンボル又は道路のエッジ消失点を識別して交差点を検出すると共に、車両位置から交差点（交差点シンボル又は道路のエッジ消失点）までの距離を求める交差点検出部、地図データから得られる前記交差点位置から前記距離だけ離れた走行道路上のポイントに車両位置を修正する車両位置修正手段を備えている。

そして、この装置は、車載カメラにより交差点を検出し、検出交差点に基づいて車両位置を修正することにより、ミスマッチングしやすい道路上を走行している場合であっても、正しく位置修正ができるようにすることを目的としている。

また、この装置の実施例には、前記カメラとして、車両の前方を撮像するカメラと、左右側方を撮像するカメラとを備える構成が記載されている。そして、第一及び第二の実施例においては、前方を撮像するカメラのみを使用して画像認識処理を行う構成が記載されており、第三の実施例においては、左右側方を撮像するカメラのみを使用して画像認識処理を行う構成が記載されている。このように、これまでの車載カメラによる画像認識に際しては、前方、側方、又は後方等のいずれかの撮像用のカメラを単独で使用するのが通常であった。

特開平９−２４３３８９号公報（第２−５頁、第１−２図）

ところで、近年、一つの車両に前方撮像用カメラや後方撮像用カメラ等の複数のカメラを搭載することが行われるようになってきている。このように自車両に異なる方向を撮像する複数のカメラを搭載した場合、その撮像方向によって、視野の広さ、画像認識率、認識対象物との間の距離認識精度等は異なる。例えば、前方撮像用カメラは、運転者の視線に近い方向を撮像するように設置されることが多い。このため、車両前方の広い範囲を視野に納めることができ、数多くの認識対象物を撮像することができる利点があるが、近距離を撮像することが困難であるため、認識対象物との間の距離認識精度を高めにくい欠点がある。一方、後方撮像用カメラは、車両後下方の主として道路面を撮像するように設置されることが多い。このため、近距離を撮像することができ、認識対象物との間の距離認識精度を高めやすい利点があるが、視野が狭いために特に車速が高い場合に認識対象物が撮像される時間が短く、認識率が低下しやすい欠点がある。

また、複数のカメラを搭載している場合に、例えばそれらの全てのカメラからの画像情報に対して画像認識処理を行うとすると、演算処理装置に高い演算負荷がかかることになり、高性能の演算処理装置が必要となるため、装置のコストが上昇する要因となる問題がある。

本発明は、上記の課題に鑑みてなされたものであり、その目的は、互いに異なる方向をそれぞれ撮像する複数の撮像手段を備える場合に、状況に応じて最適な撮像手段を一つ選択することができ、演算処理の負荷を低く抑えつつ、地物の認識率及び認識された地物との間の距離認識精度の向上を図ることが可能な画像認識装置及び画像認識方法、並びにそれらを用いた自車位置認識装置及び自車位置認識方法を提供することにある。

上記目的を達成するための本発明に係る、自車両に設置され、互いに異なる方向をそれぞれ撮像する複数の撮像手段を備え、前記自車両の周辺に存在する地物の画像認識を行う画像認識装置の特徴構成は、前記自車両の位置情報を取得する自車位置情報取得手段と、前記自車位置情報に基づいて、自車位置の周辺の地物情報を所定の地物データベースから取得する地物情報取得手段と、必要な撮像情報を取得するための選択規則に従い、前記自車位置情報及び前記地物情報に基づいて前記複数の撮像手段の一つを選択する選択手段と、を備える点にある。

この特徴構成によれば、自車両が互いに異なる方向をそれぞれ撮像する複数の撮像手段を備える場合において、自車位置情報及び地物情報から定まる自車と地物との位置関係を含む各種の状況に基づいて、地物の画像認識に必要な撮像情報を取得するための最適な撮像手段を一つ選択することができる。したがって、画像認識を行う演算処理装置の負荷を低く抑えつつ、地物の認識率及び認識された地物と自車位置との間の距離認識精度の向上を図ることが可能となる。

ここで、前記選択手段は、前記自車位置情報と前記地物情報に含まれる各地物の配置情報とを用いて、前記複数の撮像手段のそれぞれの撮像領域内に含まれる画像認識の対象となり得る認識対象地物を抽出した結果に基づいて、前記選択規則に従い、前記撮像領域内に認識対象地物が存在する撮像手段の中から一つを選択する構成とすると好適である。

このように構成すれば、自車位置情報及び地物情報から定まる自車と地物との位置関係に基づいて、少なくとも一つ以上の認識対象地物が撮像領域内に含まれる撮像手段の中から一つの撮像手段が選択されることになる。したがって、地物の画像認識に適した撮像手段を確実に選択することができる。

また、前記自車両の運動状態に関する情報である運動状態情報を取得する運動状態情報取得手段、及び前記自車両の周辺状況に関する情報である周辺情報を取得する周辺情報取得手段の一方又は双方を更に備え、前記選択手段は、前記自車位置情報及び前記地物情報に加えて、前記運動状態情報及び前記周辺情報の一方又は双方に基づいて、前記選択規則に従い、前記複数の撮像手段の一つを選択する構成とすると好適である。

このように構成すれば、例えば自車両の旋回状態や走行速度等の運動状態情報や、例えば天候や周囲の明るさ等の周辺情報を用いて、地物の画像認識を行うために最適な撮像手段を一つ選択することができる。したがって、地物の認識率及び認識された地物と自車位置との間の距離認識精度の一層の向上を図ることが可能となる。

また、前記複数の撮像手段として、前記自車両の前方を撮像する第一撮像手段と、この第一撮像手段よりも撮像方向が下方に設定された第二撮像手段と、を備え、前記選択手段は、前記自車位置情報と前記地物情報に含まれる各地物の配置情報とを用いて、前記第一撮像手段及び前記第二撮像手段のそれぞれの撮像領域内に含まれる画像認識の対象となり得る認識対象地物を抽出した結果に基づいて、前記選択規則に従い、前記撮像領域内に前記認識対象地物が存在する前記撮像手段の中から一つを選択する構成とすると好適である。

このように構成すれば、視野が広く多くの地物を認識可能な第一撮像手段と、近距離の主として路面を撮像可能であって距離精度を高めやすい第二撮像手段とのいずれかを、自車位置情報及び地物情報から定まる自車と地物との位置関係を含む各種の状況に基づいて選択することができる。また、この際、少なくとも一つ以上の認識対象地物が撮像領域内に含まれる撮像手段の中から一つが選択される。したがって、画像認識を行う演算処理装置の負荷を低く抑えつつ、地物の認識率及び認識された地物と自車位置との間の距離認識精度の向上を図るための撮像手段の選択が可能となる。

また、前記選択手段は、前記地物情報に含まれる各地物の種別情報に従って前記各地物がペイント系地物か立体系地物かを分類した結果に基づいて、前記第二撮像手段の撮像領域に含まれる前記認識対象地物が前記立体系地物のみである場合には、前記第二撮像手段を選択対象から除外する構成とすると好適である。

このように構成すれば、主として路面を撮像する第二撮像手段による認識対象地物はペイント系地物のみとし、立体系地物は自車両の前方を撮像する第一撮像手段のみによる認識対象地物とすることができる。したがって、地物の種別に応じて最適な撮像手段の選択が可能となる。

また、前記自車両の旋回状態を検出する旋回状態検出手段を更に備え、前記選択手段は、前記自車両が旋回中である場合には、前記第一撮像手段を選択対象から除外する構成とすると好適である。

このように構成すれば、自車両の旋回中は、その旋回動作に起因して自車両の進行方向に対する撮像方向のずれが大きくなる第一撮像手段を選択しないようにすることができる。したがって、自車両の旋回状態に応じて適切な撮像手段の選択が可能となる。

また、前記自車両の周辺の天候情報を取得する天候情報取得手段、前記自車両の周辺の明るさ情報を取得する明るさ情報取得手段、及び前記自車両の車速情報を取得する車速情報取得手段のいずれか一つ以上を更に備え、前記選択手段は、前記第一撮像手段の撮像領域と前記第二撮像手段の撮像領域の双方に前記認識対象地物が存在する場合には、前記天候情報、前記明るさ情報、及び前記車速情報のいずれか一つ以上に基づいて、前記選択規則に従い、前記第一撮像手段及び前記第二撮像手段の一方を選択する構成とすると好適である。

このように構成すれば、自車両の周辺情報として天候情報及び明るさ情報を取得することができ、また自車両の運動状態情報として車速情報を取得することができ、これらの情報に基づいて、第一撮像手段及び前記第二撮像手段のいずれか最適な方を一つ選択することができる。したがって、地物の認識率及び認識された地物と自車位置との間の距離認識精度の一層の向上を図ることが可能となる。

より具体的には、前記選択手段は、前記天候情報に関して天候が悪いほど、前記明るさ情報に関して暗いほど、前記車速情報に関して車速が高いほど、前記第一撮像手段を選択する場合が多くなるように定められた前記選択規則を有している構成とすると好適である。

すなわち、天候情報に関しては、雨や雪等の天候が悪い場合には路面のペイント系地物の画像認識が困難になる場合が多いため、主として路面を撮像する第二撮像手段よりも立体系地物が撮像可能な第一撮像手段を選択する方が地物の認識率を高めることができるからである。また、明るさ情報に関しては、周囲が暗い場合にはヘッドライト等の光源を利用可能な第一撮像手段を選択する方が地物の認識率を高めることができるからである。また、車速情報に関しては、車速が高い場合には、下方を撮像する第二撮像手段では一つの地物を撮像可能な時間が短く認識率を高めることが困難であり、第一撮像手段を選択する方が地物の認識率を高めることができるからである。

本発明に係る自車位置認識装置の特徴構成は、上記の画像認識装置を備えるとともに、前記選択手段により選択された撮像手段からの撮像情報に含まれる地物の認識結果に基づいて、自車位置と前記地物との位置関係を演算する位置関係演算手段と、前記位置関係演算手段による演算結果と、前記地物データベースから取得した前記地物情報に含まれる前記地物の配置情報と、に基づいて前記自車位置情報を補正する自車位置補正手段と、を備える点にある。

この特徴構成によれば、自車両が互いに異なる方向をそれぞれ撮像する複数の撮像手段を備える場合において、自車位置情報及び地物情報から定まる自車と地物との位置関係を含む各種の状況に基づいて、地物の画像認識に必要な撮像情報を取得するための最適な撮像手段を一つ選択することができる。そして、選択された撮像手段による撮像情報から地物を認識して自車位置から地物までの距離を演算し、自車位置認識を行う。したがって、画像認識を行う演算処理装置の負荷を低く抑えつつ、高精度の自車位置認識を行うことが可能となる。

本発明に係る、自車両に設置され、互いに異なる方向をそれぞれ撮像する複数の撮像手段を用いて、前記自車両の周辺に存在する地物の画像認識を行う画像認識方法の特徴構成は、前記自車両の位置情報を取得する自車位置情報取得ステップと、前記自車位置情報に基づいて、自車位置の周辺の地物情報を所定の地物データベースから取得する地物情報取得ステップと、必要な撮像情報を取得するための選択規則に従い、前記自車位置情報及び前記地物情報に基づいて前記複数の撮像手段の一つを選択する選択ステップと、を備える点にある。

本発明に係る自車位置認識方法の特徴構成は、上記の画像認識方法の各ステップを備えるとともに、前記選択ステップにより選択された撮像手段からの撮像情報に含まれる地物の認識結果に基づいて、自車位置と前記地物との位置関係を演算する位置関係演算ステップと、前記位置関係演算ステップによる演算結果と、前記地物データベースから取得した前記地物情報に含まれる前記地物の配置情報と、に基づいて前記自車位置情報を補正する自車位置補正ステップと、を備える点にある。

本発明の実施形態について図面に基づいて説明する。
図１は、本実施形態に係る画像認識装置１を備えた自車位置認識装置２の概略構成を示すブロック図である。本実施形態においては、画像認識装置１は、互いに異なる方向をそれぞれ撮像する複数の撮像手段として、自車両３の前方を撮像するフロントカメラＣ１と、自車両３の後下方を撮像するバックカメラＣ２とを備えている（図２参照）。そして、画像認識装置１は、これらのフロントカメラＣ１及びバックカメラＣ２いずれか一方のカメラを後述する選択規則に従って選択して撮像情報を取得し、自車両３の周辺に存在する地物Ｆの画像認識を行う（図３参照）。また、自車位置認識装置２は、取得された撮像情報に含まれる地物Ｆの認識結果に基づいて、自車位置から地物Ｆまでの距離を演算する。そして、当該演算結果と、地物データベースＤＢ２から取得した地物情報に含まれる地物Ｆの配置情報と、に基づいて自車位置情報を補正することにより、高精度の自車位置の情報を出力する。

１．各部の構成
以下、本実施形態に係る画像認識装置１を備えた自車位置認識装置２の各部の構成について詳細に説明する。なお、自車位置認識装置２の各機能部、具体的には、自車位置認識演算部９、地物情報取得部１０、認識対象地物抽出部１１、地物分類処理部１２、天候判別部８、選択処理部１３、画像認識処理部１４、位置関係演算部１５、及び自車位置補正部１６は、ＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア（プログラム）或いはその両方により実装されて構成されている。

図２及び図３に示すように、フロントカメラＣ１は、自車両３の前方を撮像する撮像装置である。ここでは、自車両３の運転者が真っ直ぐ前を見る際の視線方向に近い方向を撮像するように自車両３に設置されている。したがって、ここではフロントカメラＣ１は、道路面上において、撮像位置から自車両３の前方に向かって距離ｄ１だけ離れた位置より前方の広い領域を撮像領域Ｃ１ａとしている。また、フロントカメラＣ１は、自車両３の前方の水平に近い方向を撮像方向としているので、横断歩道Ｆｐ１や停止線Ｆｐ２等のペイント系地物Ｆｐと、標識Ｆｓ１や信号機Ｆｓ２等の立体系地物Ｆｓの双方が撮像される。

バックカメラＣ２は、自車両３の後下方を撮像する撮像装置である。ここでは、フロントカメラＣ１よりも撮像方向が下方に設定されており、具体的には、自車両３の後方の比較的近い位置の道路面を撮像するように自車両３に設置されている。したがって、ここではバックカメラＣ２は、道路面上において、撮像位置から自車両３の後方に向かって距離ｄ２（ｄ２＜ｄ１）だけ離れた位置より後方のフロントカメラＣ１の撮像領域Ｃ１ａよりも狭い領域を撮像領域Ｃ２ａとしている。また、図２に示すように、バックカメラＣ２は、撮像方向が下方に設定されているので、横断歩道Ｆｐ１や停止線Ｆｐ２等のペイント系地物Ｆｐは撮像されるが、標識Ｆｓ１や信号機Ｆｓ２等の立体系地物Ｆｓは、位置的に撮像領域Ｃ２ａ内に含まれる場合であっても、その全体を撮像することができない。

これらのフロントカメラＣ１及びバックカメラＣ２は、例えばＣＣＤセンサやＣＭＯＳセンサ等の撮像素子と、この撮像素子に光を導くための光学系を構成するレンズ等を有して構成される。フロントカメラＣ１及びバックカメラＣ２により撮像された撮像情報は、それぞれ選択処理部１３へ送られる。本実施形態においては、フロントカメラＣ１が「第一撮像手段」を構成し、バックカメラＣ２が「第二撮像手段」を構成する。

また、フロントカメラＣ１により撮像された撮像情報は、天候判別部８へも送られる。天候判別部８では、送られてきたフロントカメラＣ１の撮像情報を解析し、自車両３の周辺の天候を判別する処理を行う。具体的には、天候判別部８は、道路面の反射光の状態等を検出することにより降雨の状態を検出し、道路面の白い領域の大きさ等を検出することにより降雪の状態を検出することができる。そして、天候判別部８は、このような検出結果に基づいて、晴れ（曇り）、雨、又は雪の判別を行い、その判別結果を天候情報として選択処理部１３へ出力する。なお、天候判別部８は、降雨センサからの情報や自車両３のワイパーの作動状況についての情報を取得し、当該情報を天候判別のために使用しても良い。本実施形態においては、この天候判別部８が、自車両３の周辺の天候情報を取得する「天候情報取得手段」を構成する。

照度センサ４は、自車両３の周辺の照度、すなわち明るさを検出するセンサである。この照度センサ４は、例えば、フォトトランジスタやフォトダイオード等の受光素子を有して構成される。また、照度センサ４は、図示は省略するが、自車両３のダッシュボード上等に設置される。そして、照度センサ４は、その検出結果を照度情報として選択処理部１３へ出力する。本実施形態においては、この照度センサ４が自車両の周辺の明るさ情報を取得する「明るさ情報取得手段」を構成する。また、照度センサ４から出力される照度情報が「明るさ情報」に相当する。

そして、これら「天候情報取得手段」を構成する天候判別部８、及び「明るさ情報取得手段」を構成する照度センサ４が、自車両３の周辺状況に関する情報である周辺情報を取得する「周辺情報取得手段２０」を構成する。また、これらにより取得される天候情報及び照度情報（明るさ情報）が「周辺情報」に相当する。

方位センサ５は、自車両３の進行方位又はその進行方位の変化を検出するセンサである。この方位センサ５は、例えば、ジャイロセンサ、地磁気センサ、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成される。そして、方位センサ５は、その検出結果を進行方位情報として自車位置認識演算部９及び選択処理部１３へ出力する。本実施形態においては、この方位センサ５が、自車両の旋回状態を検出する「旋回状態検出手段」を構成する。

車速センサ６は、自車両３の車速又は移動距離を検出するセンサである。この車速センサ６は、例えば、車両のドライブシャフトやホイール等が一定量回転する毎にパルス信号を出力する車速パルスセンサ、自車両３の加速度を検知するヨー・Ｇセンサ及び検知された加速度を２回積分する回路等により構成される。そして、車速センサ６は、その検出結果を車速情報として自車位置認識演算部９及び選択処理部１３へ出力する。本実施形態においては、この車速センサ６が、自車両３の車速情報を取得する「車速情報取得手段」を構成する。

そして、これら「旋回状態検出手段」を構成する方位センサ５、及び「車速情報取得手段」を構成する車速センサ６が、自車両３の運動状態に関する情報である運動状態情報を取得する「運動状態情報取得手段２１」を構成する。また、これらにより取得される進行方位情報及び車速情報が「運動状態情報」に相当する。

ＧＰＳ受信機７は、ＧＰＳ（グローバル・ポジショニング・システム）衛星からのＧＰＳ信号を受信する装置である。このＧＰＳ信号は、通常１秒おきに受信され、自車位置認識演算部９へ出力される。自車位置認識演算部９では、ＧＰＳ受信機７で受信されたＧＰＳ衛星からの信号を解析し、自車の位置（緯度及び経度）、進行方位、移動速度等の情報を取得することができる。

自車位置認識演算部９は、方位センサ５から出力される進行方位情報、車速センサ６から出力される車速情報、及びＧＰＳ受信機７から出力されるＧＰＳ信号に基づいて、公知の方法により自車両３の現在位置や進行方位を特定する演算を行う。また、自車位置認識演算部９は、後述する地図データベースＤＢ１から地図情報を取得し、それに基づいて公知のマップマッチングを行うことにより自車両３の現在位置を地図情報に示される道路上とし、進行方位を道路に沿った方向とする補正も行う。そして、この自車位置認識演算部９は、演算結果である自車両３の現在位置の情報を自車位置情報として、自車両３の進行方位の情報を自車方位情報として、それぞれ認識対象地物抽出部１１及び自車位置補正部１６へ出力する。この際、自車位置情報は、例えば、緯度及び経度で表された位置の情報として表され、自車方位情報は、例えば、真北を０°とする方位の情報として表される。

なお、自車位置認識演算部９により演算された自車位置情報の精度は、方位センサ５、車速センサ６及びＧＰＳ受信機７により受信したＧＰＳ信号の精度に大きく影響を受ける。このため、自車位置情報は数十ｍ程度の誤差を含んでいる可能性がある。また、自車方位情報については、特に自車両３の走行速度が低いときに誤差が大きくなる場合がある。
本実施形態においては、この自車位置認識演算部９が、自車両３の位置情報を取得する「自車位置情報取得手段」を構成する。

地図データベースＤＢ１は、各地の地図情報を格納したデータベースである。図４は、地図情報データベースＤＢ１に格納されている地図情報の内容を示す説明図である。この図に示すように、本実施形態に係る地図情報データベースＤＢ１には、地図情報として、道路ネットワークレイヤＬ１、道路形状レイヤＬ２、地物レイヤＬ３が格納されている。この地図情報データベースＤＢ１は、例えば、ハードディスクドライブ、ＤＶＤ−ＲＯＭを備えたＤＶＤドライブ、ＣＤ−ＲＯＭを備えたＣＤドライブ等のように、情報を記憶可能な記録媒体とその駆動手段とを有する装置をハードウエア構成として備えている。

道路ネットワークレイヤＬ１は、道路間の接続情報を示すレイヤである。具体的には、緯度及び経度で表現された地図上の位置情報を有する多数のノードＮの情報と、２つのノードＮを連結して道路を構成する多数のリンクＬの情報とを有して構成されている。また、各リンクＬは、そのリンク情報として、道路の種別（高速道路、有料道路、国道、県道等の種別）やリンク長さ等の情報を有している。
道路形状レイヤＬ２は、道路ネットワークレイヤＬ１に関連付けられて格納され、道路の形状を示すレイヤである。具体的には、２つのノードＮの間（リンクＬ上）に配置されて緯度及び経度で表現された地図上の位置情報を有する多数の道路形状補完点Ｓの情報と、各道路形状補完点Ｓにおける道路幅Ｗの情報とを有して構成されている。

地物レイヤＬ３は、道路ネットワークレイヤＬ１及び道路形状レイヤＬ２に関連付けられて格納され、道路上及び道路の周辺に設けられた各種地物Ｆの情報、すなわち地物情報が記録されているレイヤである。したがって、本実施形態においては、地図情報データベースＤＢ１の中の地物レイヤＬ３に格納されている情報が、「地物データベースＤＢ２」を構成する。

この地物レイヤＬ３に地物情報が格納される地物Ｆは、ペイント系地物Ｆｐと立体系地物Ｆｓとに大別される。ペイント系地物Ｆｐとしては、例えば、横断歩道Ｆｐ１や停止線Ｆｐ２の他、車線を分ける区画線（実線、破線、二重線等の各種区画線を含む。）、ゼブラゾーン、各レーンの進行方向を指定する進行方向別通行区分表示、速度表示等が含まれる。また、立体系地物Ｆｓとしては、例えば、各種の標識Ｆｓ１や信号機Ｆｓ２の他、陸橋、遮断機、ガードレール、建物、電柱、看板等の道路上又は道路の周辺に設けられる様々な立体物が含まれる。

また、地物レイヤＬ３に格納される地物情報は、その内容として各地物Ｆの配置情報、種別情報、形態情報を含んでいる。ここで、配置情報は、各地物Ｆの地図上の位置（緯度及び経度）及び方向の情報を含んでいる。種別情報は、各地物Ｆの種別を示す情報であって、具体的には、「横断歩道」や「停止線」等のペイント種別、「最高速度規制標識」や「駐車禁止標識」等の標識種別、「信号機」、「陸橋」等の地物自体の種別等の情報が含まれる。形態情報は、各地物Ｆの特徴的な形状や色彩等の情報の他、立体系地物Ｆｓの場合には道路面からの高さの情報も含んでいる。

地物情報取得部１０は、自車位置認識演算部９により演算された自車位置情報に示される自車位置の周辺の地物情報を、地図データベースＤＢ１に含まれる地物データベースＤＢ２から取得する処理を行う。この際、自車位置の周辺の地物情報として、地物情報取得部１０は、フロントカメラＣ１の撮像領域Ｃ１ａ及びバックカメラＣ２の撮像領域Ｃ２ａよりも広い範囲内の地物情報を取得すると好適である。例えば、地物情報取得部１０は、自車位置の前方３０〔ｍ〕の範囲内、及び後方１０〔ｍ〕の範囲内にそれぞれ存在する地物Ｆについての地物情報を取得する。ここで取得される地物情報は、上記のとおり各地物Ｆについての配置情報、種別情報、形態情報を含んでいる。本実施形態においては、この地物情報取得部１１が自車位置の周辺の地物情報を取得する「地物情報取得手段」を構成する。

認識対象地物抽出部１１は、自車位置認識演算部９により演算された自車位置情報及び自車方位情報と、地物情報取得部１０により取得された地物情報に含まれる各地物Ｆの配置情報とに基づいて、フロントカメラＣ１及びバックカメラＣ２のそれぞれの撮像領域Ｃ１ａ、Ｃ２ａ内に含まれる画像認識の対象となり得る認識対象地物Ｆを抽出する処理を行う。具体的には、自車両３を基準とするフロントカメラＣ１の撮像領域Ｃ１ａ及びバックカメラＣ２の撮像領域Ｃ２ａは予め分かっている。そこで、認識対象地物抽出部１１は、自車位置認識演算部９により演算された自車位置情報及び自車方位情報に表される位置及び方位を自車両３の位置及び方位として地図上におけるフロントカメラＣ１及びバックカメラＣ２のそれぞれの撮像領域Ｃ１ａ、Ｃ２ａを演算する。そして、認識対象地物抽出部１１は、地物情報に含まれる各地物Ｆの配置情報に基づいて各撮像領域Ｃ１ａ、Ｃ２ａ内に含まれる１又は２以上の画像認識の対象となり得る地物Ｆ、すなわち認識対象地物Ｆを抽出する。なお、以下の説明においては、各撮像領域Ｃ１ａ、Ｃ２ａ内に含まれる地物Ｆについて、特に認識対象地物Ｆという名称を用いることとする。

地物分類処理部１２は、フロントカメラＣ１の撮像領域Ｃ１ａ及びバックカメラＣ２の撮像領域Ｃ２ａのそれぞれに含まれる各認識対象地物Ｆについて、地物情報に含まれる各認識対象地物Ｆの種別情報に従って各認識対象地物Ｆがペイント系地物Ｆｐか立体系地物Ｆｓかを分類する処理を行う。具体的には、地物情報に含まれる種別情報には、上記のとおり、「横断歩道」、「停止線」、「最高速度規制標識」、「駐車禁止標識」、「信号機」、「陸橋」等の各地物Ｆの具体的な種別の情報が含まれている。そこで、地物分類処理部１２は、これらの各地物Ｆの具体的な種別をペイント系と立体系とに分けて規定した分類テーブル等を用いて、各認識対象地物Ｆをペイント系地物Ｆｐと立体系地物Ｆｓとに分類する処理を行う。

選択処理部１３は、必要な撮像情報を取得するための選択規則に従い、フロントカメラＣ１及びバックカメラＣ２のいずれか一方を選択し、その撮像情報を取得する処理を行う。本実施形態においては、選択処理部１３は、認識対象地物抽出部１１による認識対象地物Ｆの抽出結果、地物分類処理部１２による各認識対象地物Ｆの分類結果、方位センサ５から出力される進行方位情報に基づく自車両３の旋回状態、車速センサ６から出力される車速情報、天候判別部８から出力される天候情報、及び照度センサ４から出力される照度情報に基づいて、選択規則に従いカメラの選択を行う。この選択処理部１３における選択規則は、各カメラ（フロントカメラＣ１及びバックカメラＣ２）のそれぞれの撮像方向に起因する特性に応じて定められており、具体的には以下のように規定されている。

（１）認識対象地物抽出部１１による認識対象地物Ｆの抽出結果に基づいて、その撮像領域Ｃ１ａ、Ｃ２ａ内に認識対象地物Ｆが存在するカメラの中から一つを選択する。したがって、フロントカメラＣ１の撮像領域Ｃ１ａとバックカメラＣ２の撮像領域Ｃ２ａの一方のみに認識対象地物Ｆが存在する場合には、当該一方のカメラを選択する。フロントカメラＣ１の撮像領域Ｃ１ａとバックカメラＣ２の撮像領域Ｃ２ａの双方に認識対象地物Ｆが存在する場合には、他の条件に基づいていずれか一方のカメラを選択する。フロントカメラＣ１の撮像領域Ｃ１ａとバックカメラＣ２の撮像領域Ｃ２ａの双方に認識対象地物Ｆが含まれない場合には、いずれのカメラも選択しない。

（２）地物分類処理部１２による各認識対象地物Ｆの分類結果に基づいて、バックカメラＣ２の撮像領域Ｃ２ａに含まれる認識対象地物Ｆが立体系地物Ｆｓのみである場合には、バックカメラＣ２を選択対象から除外する。すなわち、バックカメラＣ２は、上記のとおり、フロントカメラＣ１よりも撮像方向が下方に設定されており、ペイント系地物Ｆｐは撮像されるが立体系地物Ｆｓは撮像されない。したがって、バックカメラＣ２の撮像領域Ｃ２ａに含まれる認識対象地物Ｆが立体系地物Ｆｓのみである場合には、バックカメラＣ２を選択せず、フロントカメラＣ１の撮像領域Ｃ１ａ内に認識対象地物Ｆが存在する場合にはフロントカメラＣ１を選択する。この際、フロントカメラＣ１の撮像領域Ｃ１ａ内に認識対象地物Ｆが存在しない場合には、いずれのカメラも選択しない。

（３）方位センサ５から出力される進行方位情報から取得される自車両３の旋回状態に基づいて、自車両３が旋回中である場合には、フロントカメラＣ１を選択対象から除外する。すなわち、フロントカメラＣ１は、自車両３の前方の水平に近い方向を撮像するように撮像方向が設定されている。このため、図５に示すように、旋回中は、フロントカメラＣ１の撮像方向は自車両３の進行方向Ｐに対して外側にずれることになり、自車両３の進行方向Ｐに存在する地物Ｆ（図５に示す例では、横断歩道Ｆｐ１）を撮像領域Ｃ１ａ内に適切に納めることができない。一方、バックカメラＣ２は、自車両３の後方の比較的近い位置の道路面を撮像するように撮像方向が設定されているので、旋回中も自車両３の走行軌跡上に存在する地物Ｆを確実に撮像することが可能である。したがって、自車両３の旋回中は、バックカメラＣ２の撮像領域Ｃ２ａ内に認識対象地物Ｆが存在する場合にはバックカメラＣ２を選択する。この際、バックカメラＣ２の撮像領域Ｃ２ａ内に認識対象地物Ｆが存在しない場合には、いずれのカメラも選択しない。

自車両３が旋回中であるか否かの判断は、例えば、方位センサ５から出力される進行方位情報に基づく自車両３の進行方位の単位時間当りの変化量、具体的には旋回角速度に基づいて行うことができる。すなわち、旋回角速度が所定の閾値以上である場合に旋回中と判定し、所定の閾値以下である場合に旋回中でないと判定することにより行うことができる。本例では、自車両３が旋回中である状態は、交差点での進路変更等のように大きく進行方位を変更している際の状態とする。したがって、旋回角度の閾値は、そのような交差点での進路変更等の際における自車両３の旋回角速度に基づいて決定される。

（４）上記（１）〜（３）の選択規則によってもフロントカメラＣ１及びバックカメラＣ２の一方が選択されない場合には、車速センサ６から出力される車速情報、天候判別部８から出力される天候情報、及び照度センサ４から出力される照度情報に基づいて、フロントカメラＣ１又はバックカメラＣ２の一方を、所定の選択基準に従って選択する。この際の選択基準は、天候情報に関して天候が悪いほど、照度情報に関して照度が低い（暗い）ほど、車速情報に関して車速が高いほど、フロントカメラＣ１を選択する場合が多くなるように定められている。本実施形態においては、天候、照度、車速の状態を総合的に表すパラメータとして状況コストＺを演算し、この状況コストＺが所定の判断閾値Ｋ以上か判断閾値Ｋ未満かによって、フロントカメラＣ１及びバックカメラＣ２のいずれか一方を選択するという選択基準を用いることとする。なお、上記「状況コストＺ」は、後述する第一状況コストＺ１及び第二状況コストＺ２の総称であり、上記「判断閾値Ｋ」は、後述する第一判断閾値Ｋ１及び第二判断閾値Ｋ２の総称である。

本実施形態においては、フロントカメラＣ１の撮像領域Ｃ１ａ内に立体系地物Ｆｓが含まれるか否かにより、含まれる場合には天候、照度及び車速の状態を総合的に表すパラメータとして第一状況コストＺ１を演算し、含まれない場合には天候を除く照度及び車速の状態を総合的に表すパラメータとして第二状況コストＺ２を演算して、それぞれ第一判断閾値Ｋ１又は第二判断閾値Ｋ２との比較により一方のカメラを選択する処理を行うこととしている。これは、天候が雨や雪の場合には、道路面が濡れていることによる光の反射や道路面に雪が積もっていることにより、ペイント系地物Ｆｐの認識率が非常に悪くなるのに対して、立体系地物Ｆｓは雨や雪の影響を受けにくいことを考慮したものである。そこで、本実施形態においては、フロントカメラＣ１の撮像領域Ｃ１ａ内に立体系地物Ｆｓが存在する場合には、天候情報を考慮にいれて天候が悪いほど、すなわち雨や雪の場合ほどフロントカメラＣ１が選択される場合が多くなるように選択基準を定める。一方、フロントカメラＣ１の撮像領域Ｃ１ａ内に立体系地物Ｆｓが存在しない場合、すなわちフロントカメラＣ１の撮像領域Ｃ１ａ内及びバックカメラＣ２の撮像領域Ｃ２ａ内の双方にペイント系地物Ｆｐのみが存在する場合には、天候によるフロントカメラＣ１とバックカメラＣ２との差が生じないため、天候情報を考慮に入れず、他の情報によりカメラ選択を行うように選択基準を定める。

また、フロントカメラＣ１は自車両３の前方を撮像するため、その撮像領域Ｃ１ａ内の地物Ｆは、周囲が暗い場合には自車両３のヘッドライトの明かりにより照らされることになるのに対して、バックカメラＣ２の撮像領域Ｃ２ａはそのような明かりを得ることができない。そこで、本実施形態においては、照度情報に関して照度が低い（暗い）ほど、フロントカメラＣ１が選択される場合が多くなるように選択基準を定める。

また、フロントカメラＣ１は、自車両３の前方の広い領域を撮像領域Ｃ１ａとしているため、自車両３の車速が高い場合においても同一の地物Ｆを長い時間撮像することが可能であり、同一地物Ｆの撮像フレーム数が多くなる。これに対して、バックカメラＣ２は、フロントカメラＣ１の撮像領域Ｃ１ａよりも狭い領域を撮像領域Ｃ２ａとしているので、自車両３の車速が高い場合には、同一の地物Ｆを撮像することができる時間がフロントカメラＣ１よりも短く、同一地物Ｆの撮像フレーム数が少なくなる。そして、画像認識処理部１４における地物Ｆの画像認識の認識率は、同一地物Ｆの撮像フレーム数が多いほど高くなる傾向がある。そこで、本実施形態においては、車速情報に関して自車両３の車速が高いほど、フロントカメラＣ１が選択される場合が多くなるように選択基準を定める。

そこで、状況コストＺ（第一状況コストＺ１、第二状況コストＺ２）は、具体的には以下のように演算される。すなわち、本実施形態においては、天候、照度、車速のそれぞれについて重み係数、すなわち天候重みＹ１、照度重みＹ２、車速重みＹ３を設定している。ここで、重み係数は、天候重みＹ１＞照度重みＹ２＞車速重みＹ３となるように設定する。例えば、天候重みＹ１＝１．４、照度重みＹ２＝１．０、車速重みＹ３＝０．８等として設定する。また、天候、照度、車速のそれぞれに対してその内容に応じたパラメータ値、すなわち天候パラメータ値ｘ１、照度パラメータ値ｘ２、車速パラメータ値ｘ３を付与する。ここで、これらのパラメータ値は、天候、照度、車速の状態を共通の指標で表すように設定する。例えば、天候パラメータ値ｘ１は、晴れ（曇りを含む）は「１０」、雨は「３」、雪は「１」の値を付与する。また、照度パラメータ値ｘ２は、照度に応じて「１０」〜「１」の範囲内で照度が高いほど大きい値を付与する。同様に、車速パラメータ値ｘ３は、車速に応じて「１０」〜「１」の範囲内で車速が低いほど大きい値を付与する。

第一状況コストＺ１は、天候、照度及び車速の全てについての重み係数及びパラメータ値を用いて、以下の式（１）に従って演算する。
Ｚ１＝Ｙ１×ｘ１＋Ｙ２×ｘ２＋Ｙ３×ｘ３・・・（１）
そして、第一状況コストＺ１が、第一判断閾値Ｋ１以上である場合（Ｚ１≧Ｋ１）にバックカメラＣ２を選択し、第一判断閾値Ｋ１未満である場合（Ｚ１＜Ｋ１）にフロントカメラＣ１を選択する。ここで、第一判断閾値Ｋ１の値は、フロントカメラＣ１とバックカメラＣ２のいずれを選択しても地物Ｆの認識率及び認識された地物との間の距離認識精度についての優劣が生じない境界付近に設定するのが好適であり、例えば、Ｋ１＝１５とする。

また、第二状況コストＺ２は、天候を除く照度及び車速についての重み係数及びパラメータ値を用いて、以下の式（２）に従って演算する。
Ｚ２＝Ｙ２×ｘ２＋Ｙ３×ｘ３・・・（２）
そして、第二状況コストＺ２が、第二判断閾値Ｋ２以上である場合（Ｚ２≧Ｋ２）にバックカメラＣ２を選択し、第二判断閾値Ｋ２未満である場合（Ｚ２＜Ｋ２）にフロントカメラＣ１を選択する。ここで、第二判断閾値Ｋ２の値は、フロントカメラＣ１とバックカメラＣ２のいずれを選択しても地物Ｆの認識率及び認識された地物との間の距離認識精度についての優劣が生じない境界付近に設定するのが好適であり、例えば、Ｋ２＝１０とする。

以上の選択規則に従った選択処理部１３によるカメラ選択処理については、後に図７に示すフローチャートに基づいて詳細に説明する。なお、本実施形態においては、この選択処理部１３が「選択手段」を構成する。

画像認識処理部１４は、選択処理部１３により選択されたフロントカメラＣ１及びバックカメラＣ２のいずれか一方から取得された撮像情報に対して、当該撮像情報に含まれる地物Ｆの画像認識処理を行う画像認識手段である。具体的には、画像認識処理部１４は、二値化処理やエッジ抽出処理等による輪郭抽出の後、パターン認識処理等により、撮像情報の中から地物Ｆの画像を抽出する処理を行う。このパターン認識処理等の際には、認識対象地物抽出部１１により抽出された認識対象地物Ｆの地物情報に含まれる形態情報が参照される。

位置関係演算部１５は、選択処理部１３により選択されたフロントカメラＣ１及びバックカメラＣ２のいずれか一方からの撮像情報に含まれる地物Ｆの画像認識処理部１４による認識結果に基づいて、自車両３と認識された地物Ｆとの位置関係を求める演算を行う。具体的には、フロントカメラＣ１又はバックカメラＣ２の自車両３での搭載位置及び撮像方向に基づいて、撮像情報を構成する画像中の各位置と自車両３との位置関係は定まる。したがって、位置関係演算部１５は、撮像情報を構成する画像中の地物Ｆの配置に基づいて、自車両３と地物Ｆとの位置関係、具体的には距離及び方向を求める演算を行う。本実施形態においては、この位置関係演算部１５が「位置関係演算手段」を構成する。

自車位置補正部１６は、位置関係演算部１５による演算結果としての自車両３と地物Ｆとの位置関係と、当該地物Ｆについての地物情報取得部１０により地物データベースＤＢ２から取得した地物情報に含まれる配置情報とに基づいて、自車位置認識演算部９で演算された自車位置情報を補正する処理を行う。すなわち、位置関係演算部１５による演算結果から、自車両３と地物Ｆとの位置関係が定まる。また、位置関係演算部１５により自車両３との位置関係が演算された地物Ｆについての地物情報に含まれる配置情報は、当該地物Ｆの地図上の正確な位置（緯度及び経度）を示している。したがって、これらの情報に基づいて、地物Ｆの地図上の正確な位置を基準とする自車両３の正確な位置を演算することができる。そして、自車位置補正部１６は、この自車両３の正確な位置の演算結果に基づいて、自車位置認識演算部９で演算された自車位置情報を補正する。これにより、自車両３の位置を高精度に特定することができる。本実施形態においては、この自車位置補正部１６が「自車位置補正手段」を構成する。この補正後の自車位置情報は、図示しないナビゲーション装置や車両制御装置に出力され、高精度の自車位置表示や操舵や加減速等といった自車両３の走行制御等に利用される。

２．動作処理
次に、本実施形態に係る画像認識装置１を備えた自車位置認識装置２による画像認識方法及び自車位置認識方法の各工程について、図６及び図７に示すフローチャートに基づいて詳細に説明する。図６は、自車位置認識装置２による自車位置認識方法の全体の処理の流れを示すフローチャートであり、図７は、図６のステップ＃０７のカメラ選択処理の詳細を示すフローチャートである。なお、図６のステップ＃０１〜＃０９が、本実施形態に係る画像認識装置１による画像認識方法に相当する。

図６に示すように、自車位置認識装置２は、まず、マップマッチング中か否かを判断する（ステップ＃０１）。マップマッチング中でない状態では（ステップ＃０１：ＮＯ）、自車位置を特定できておらず、道路に沿った地物情報を取得することができないので、処理はそのまま終了する。そして、マップマッチング中である状態で（ステップ＃０１：ＹＥＳ）、自車位置認識演算部９により演算される自車位置情報及び自車方位情報を取得する（ステップ＃０２）。次に、地物情報取得部１０により、ステップ＃０２で取得された自車位置情報に示される自車位置の周辺の地物情報を、地図データベースＤＢ１に含まれる地物データベースＤＢ２から取得する（ステップ＃０３）。その後、認識対象地物抽出部１１において、フロントカメラＣ１及びバックカメラＣ２のそれぞれの撮像領域Ｃ１ａ、Ｃ２ａ内に含まれる認識対象地物Ｆを抽出する（ステップ＃０４）。この処理は、ステップ＃０２で取得された自車位置情報及び自車方位情報と、ステップ＃０３で取得された地物情報に含まれる各地物Ｆの配置情報とに基づいて行う。

ここで、撮像領域Ｃ１ａ、Ｃ２ａ内に含まれる認識対象地物Ｆが存在しない場合には（ステップ＃０５：ＮＯ）、地物Ｆの画像認識を行うことができないので、処理を終了する。そして、撮像領域Ｃ１ａ、Ｃ２ａ内に含まれる認識対象地物Ｆが存在する場合には（ステップ＃０５：ＹＥＳ）、次に、地物分類処理部１２において、認識された１又は２以上の認識対象地物Ｆのそれぞれを立体系地物Ｆｓとペイント系地物Ｆｐとに分類する（ステップ＃０６）。その後、選択処理部１３においてカメラ選択処理を行う（ステップ＃０７）。このカメラ選択処理については、後に図７に示すフローチャートに基づいて詳細に説明する。

カメラ選択処理（ステップ＃０７）の結果、いずれのカメラも選択されなかった場合には（ステップ＃０８：ＮＯ）、処理は終了する。そして、フロントカメラＣ１及びバックカメラＣ２のいずれかのカメラが選択された場合には（ステップ＃０８：ＹＥＳ）、画像認識処理部１４において、当該選択されたカメラの撮像情報に対して、当該撮像情報に含まれる地物Ｆの画像認識処理を行う（ステップ＃０９）。次に、位置関係演算部１５により、自車両３と認識された地物Ｆとの位置関係を演算する（ステップ＃１０）。この処理は、ステップ＃０９による地物Ｆの画像認識結果に基づいて行う。そして、自車位置補正部１６において、自車位置認識演算部９で演算された自車位置情報を補正する（ステップ＃１１）。この処理は、ステップ＃１０の演算結果としての自車両３と地物Ｆとの位置関係と、ステップ＃０３で地物データベースＤＢ２から取得した地物情報に含まれる、当該地物Ｆについての配置情報とに基づいて行う。その後、補正後の自車位置情報を、ナビゲーション装置や車両制御装置等に対して出力する（ステップ＃１２）。これにより、処理は終了する。

次に、図６のステップ＃０７のカメラ選択処理の詳細について図７のフローチャートに基づいて説明する。なお、このカメラ選択処理は、選択処理部１３において上記選択規則に従って行う。

まず、ステップ＃０４の抽出結果に基づいて、フロントカメラＣ１及びバックカメラＣ２のそれぞれの撮像領域Ｃ１ａ、Ｃ２ａ内に、認識対象地物Ｆが存在するか否かについて判断する。この判断は、認識対象地物ＦがフロントカメラＣ１の撮像領域Ｃ１ａ内にのみ存在する場合（ステップ＃２１：フロントカメラ）、認識対象地物ＦがバックカメラＣ２の撮像領域Ｃ２ａ内にのみ存在する場合（ステップ＃２１：バックカメラ）、認識対象地物ＦがフロントカメラＣ１及びバックカメラＣ２の両方の撮像領域Ｃ１ａ及びＣ２ａに存在する場合（ステップ＃２１：両方）のいずれかを判別することにより行う。そして、上記選択規則（１）で説明したとおり、認識対象地物ＦがフロントカメラＣ１の撮像領域Ｃ１ａ内にのみ存在する場合には（ステップ＃２１：フロントカメラ）、フロントカメラＣ１を選択する（ステップ＃３１）。一方、認識対象地物ＦがバックカメラＣ２の撮像領域Ｃ２ａ内にのみ存在する場合には（ステップ＃２１：バックカメラ）、ステップ＃０６の分類結果に基づいて、その撮像領域Ｃ２ａ内にペイント系地物Ｆｐを含むか否かについて判定する。そして、撮像領域Ｃ２ａ内にペイント系地物Ｆｐを含む場合には（ステップ＃２２：ＹＥＳ）、バックカメラＣ２を選択する（ステップ＃３０）。上記選択規則（２）で説明したとおり、撮像領域Ｃ２ａ内にペイント系地物Ｆｐを含まない場合、すなわち、撮像領域Ｃ２ａ内に立体系地物Ｆｓのみが含まれる場合には（ステップ＃２２：ＮＯ）、いずれのカメラも選択せず、処理は終了する。これは、上記のとおり、本実施形態においては、バックカメラＣ２には立体系地物Ｆｓは撮像されない設定となっているからである。

認識対象地物ＦがフロントカメラＣ１及びバックカメラＣ２の両方の撮像領域Ｃ１ａ及びＣ２ａに存在する場合には（ステップ＃２１：両方）、自車両３及びその周辺の状況に応じて一方のカメラを選択する処理を行う。具体的には、まず、ステップ＃０６の分類結果に基づいて、バックカメラＣ２の撮像領域内にペイント系地物Ｆｐが含まれるか否かについて判断する（ステップ＃２３）。そして、上記選択規則（２）で説明したとおり、撮像領域Ｃ２ａ内にペイント系地物Ｆｐを含まない場合、すなわち、撮像領域Ｃ２ａ内に立体系地物Ｆｓのみが含まれる場合には（ステップ＃２２：ＮＯ）、フロントカメラＣ１を選択する（ステップ＃３１）。これは、上記のとおり、本実施形態においては、バックカメラＣ２には立体系地物Ｆｓは撮像されない設定となっているからである。

一方、バックカメラＣ２の撮像領域内にペイント系地物Ｆｐが含まれる場合には（ステップ＃２３：ＹＥＳ）、次に、方位センサ５から出力される進行方位情報に基づいて、自車両３が旋回中か否かについて判断する（ステップ＃２４）。上記選択規則（３）で説明したとおり、自車両３が旋回中である状態は、本例では、交差点での進路変更等のように大きく進行方位を変更している際の状態である。そして、自車両３が旋回中である場合には（ステップ＃２４：ＹＥＳ）、バックカメラＣ２を選択する（ステップ＃３０）。これは、上記のとおり、旋回中は、フロントカメラＣ１の撮像方向が自車両３の進行方向Ｐに対して外側にずれるのに対して、バックカメラＣ２は、旋回中も自車両３の走行軌跡上に存在する地物Ｆを確実に撮像することが可能であることによる。

自車両３が旋回中でない場合には（ステップ＃２４：ＹＥＳ）、車速センサ６から出力される車速情報、天候判別部８から出力される天候情報、及び照度センサ４から出力される照度情報に基づいて、上記選択規則（４）で説明したとおり、状況コストＺ（第一状況コストＺ１、第二状況コストＺ２）を演算し、それと所定の判断閾値Ｋ（第一判断閾値Ｋ１、第二判断閾値Ｋ２）との関係に基づいてカメラの選択を行う。

そこで、第一状況コストＺ１と第二状況コストＺ２のいずれを用いるかを決定するために、フロントカメラＣ１の撮像領域Ｃ１ａ内に立体系地物Ｆｓが含まれるか否かを判断する（ステップ＃２５）。そして、フロントカメラＣ１の撮像領域Ｃ１ａ内に立体系地物Ｆｓが含まれる場合には、第一状況コストＺ１を演算し（ステップ＃２６）、その演算結果としての第一状況コストＺ１が第一判断閾値Ｋ１以上である（Ｚ１≧Ｋ１）か否かについて判断する（ステップ＃２７）。そして、第一状況コストＺ１が第一判断閾値Ｋ１以上である場合（ステップ＃２７：ＹＥＳ）にはバックカメラＣ２を選択し（ステップ＃３０）、第一判断閾値Ｋ１未満である場合（ステップ＃２７：ＮＯ）にはフロントカメラＣ１を選択する（ステップ＃３１）。これにより、天候情報に関して天候が悪いほど、照度情報に関して照度が低い（暗い）ほど、車速情報に関して車速が高いほど、フロントカメラＣ１を選択する場合が多くなる。

一方、フロントカメラＣ１の撮像領域Ｃ１ａ内に立体系地物Ｆｓが含まれない場合には、第二状況コストＺ２を演算し（ステップ＃２８）、その演算結果としての第二状況コストＺ２が第二判断閾値Ｋ２以上である（Ｚ２≧Ｋ２）か否かについて判断する（ステップ＃２９）。そして、第二状況コストＺ２が第二判断閾値Ｋ２以上である場合（ステップ＃２９：ＹＥＳ）にはバックカメラＣ２を選択し（ステップ＃３０）、第二判断閾値Ｋ２未満である場合（ステップ＃２９：ＮＯ）にはフロントカメラＣ１を選択する（ステップ＃３１）。これにより、照度情報に関して照度が低い（暗い）ほど、車速情報に関して車速が高いほど、フロントカメラＣ１を選択する場合が多くなる。以上でカメラ選択処理は終了する。

３．その他の実施形態
（１）上記の実施形態においては、方位センサ５が自車両の旋回状態を検出する「旋回状態検出手段」を構成し、車速センサ６が、自車両３の車速情報を取得する「車速情報取得手段」を構成する場合について説明した。ところで、ＧＰＳ受信機７及びＧＰＳ受信機７で受信された信号を解析する自車位置認識演算部９によっても、自車両３の進行方位情報及び車速情報を取得することができる。したがって、これらの情報を選択処理部１３へ出力する構成とすることにより、方位センサ５及び車速センサ６に加えて、或いはこれらとは別に、ＧＰＳ受信機７及び自車位置認識演算部９が「旋回状態検出手段」及び「車速情報取得手段」（すなわち「運動状態情報取得手段」）を構成するようにすることも好適な実施形態の一つである。

（２）上記の実施形態においては、認識対象地物抽出部１１は、自車位置認識演算部９により演算された自車位置情報及び自車方位情報の双方を用いてフロントカメラＣ１及びバックカメラＣ２のそれぞれの撮像領域Ｃ１ａ、Ｃ２ａ内に含まれる認識対象地物を抽出する処理を行う場合について説明した。しかし、認識対象地物抽出部１１が、自車方位情報を用いず、自車方位は道路に沿った方向として自車位置情報と地物情報に含まれる各地物Ｆの配置情報とに基づいて、認識対象地物を抽出する処理を行うことも好適な実施形態の一つである。

（３）上記の実施形態においては、地物データベースＤＢ２は地図データベースＤＢ１の中の地物レイヤＬ３に格納されている情報により構成される場合を例として説明した。しかし、地物データベースＤＢ２の構成はこのようなものに限定されず、例えば、地物データベースＤＢ２を地図データベースＤＢ１とは独立して備える構成とすることも好適な実施形態の一つである。

（４）上記の実施形態においては、撮像手段として、フロントカメラＣ１とバックカメラＣ２の２個を備える場合を例として説明した。しかし、本発明の適用範囲はこれに限定されない。すなわち、３個以上のカメラ（撮像手段）を備える構成とすることも好適な実施形態の一つである。また、２個又は３個以上のカメラを備える場合において、複数のカメラの平面上の撮像方向が同一であって上下方向のみが異なる撮像方向に設置された構成とすることも好適な実施形態の一つである。そして、その場合においても、選択手段としての選択処理部１３は、必要な撮像情報を取得するために複数のカメラのそれぞれの撮像方向に起因する特性に応じて定められた選択規則に従い、複数のカメラの一つを選択して撮像情報を取得する処理を行う。この際の選択規則は、各カメラの撮像方向に起因する特性に応じて、基本的に上記の実施形態と同様に定めることができる。

本発明は、複数の撮像手段を備える車両の画像認識装置及びそれを用いた自車位置認識装置に好適に用いることができる。

本発明の実施形態に係る画像認識装置を備えた自車位置認識装置の概略構成を示すブロック図自車両に設置されたカメラの撮像領域を示す側面図自車両に設置されたカメラの撮像領域を示す平面図地図情報データベースに格納されている地図情報の内容を示す説明図交差点で旋回中の自車両におけるカメラの撮像領域を示す平面図本発明の実施形態に係る自車位置認識装置による自車位置認識方法の全体の処理の流れを示すフローチャート図６のステップ＃０７のカメラ選択処理の詳細を示すフローチャート

符号の説明

１：画像認識装置
２：自車位置認識装置
３：自車両
４：照度センサ（明るさ情報取得手段）
５：方位センサ（旋回状態検出手段）
６：車速センサ（車速情報取得手段）
８：天候判別部（天候情報取得手段）
９：自車位置認識演算部（自車位置情報取得手段）
１０：地物情報取得部（地物情報取得手段）
１３：選択処理部（選択手段）
１４：画像認識処理部
１５：位置関係演算部（位置関係演算手段）
１６：自車位置補正部（自車位置補正手段）
２０：周辺情報取得手段
２１：運動状態情報取得手段
Ｃ１：フロントカメラ（第一撮像手段）
Ｃ１ａ：フロントカメラの撮像領域
Ｃ２：バックカメラ（第二撮像手段）
Ｃ２ａ：バックカメラの撮像領域
Ｆ：地物
Ｆｐ：ペイント系地物
Ｆｓ：立体系地物
ＤＢ１：地図データベース
ＤＢ２：地物データベース

Claims

自車両に設置され、互いに異なる方向をそれぞれ撮像する複数の撮像手段を備え、前記自車両の周辺に存在する地物の画像認識を行う画像認識装置であって、
前記自車両の位置情報を取得する自車位置情報取得手段と、
前記自車位置情報に基づいて、自車位置の周辺の地物情報を所定の地物データベースから取得する地物情報取得手段と、
必要な撮像情報を取得するための選択規則に従い、前記自車位置情報及び前記地物情報に基づいて前記複数の撮像手段の一つを選択する選択手段と、
を備える画像認識装置。
前記選択手段は、前記自車位置情報と前記地物情報に含まれる各地物の配置情報とを用いて、前記複数の撮像手段のそれぞれの撮像領域内に含まれる画像認識の対象となり得る認識対象地物を抽出した結果に基づいて、前記選択規則に従い、前記撮像領域内に認識対象地物が存在する撮像手段の中から一つを選択する請求項１に記載の画像認識装置。
前記自車両の運動状態に関する情報である運動状態情報を取得する運動状態情報取得手段、及び前記自車両の周辺状況に関する情報である周辺情報を取得する周辺情報取得手段の一方又は双方を更に備え、
前記選択手段は、前記自車位置情報及び前記地物情報に加えて、前記運動状態情報及び前記周辺情報の一方又は双方に基づいて、前記選択規則に従い、前記複数の撮像手段の一つを選択する請求項１又は２に記載の画像認識装置。
前記複数の撮像手段として、前記自車両の前方を撮像する第一撮像手段と、この第一撮像手段よりも撮像方向が下方に設定された第二撮像手段と、を備え、
前記選択手段は、前記自車位置情報と前記地物情報に含まれる各地物の配置情報とを用いて、前記第一撮像手段及び前記第二撮像手段のそれぞれの撮像領域内に含まれる画像認識の対象となり得る認識対象地物を抽出した結果に基づいて、前記選択規則に従い、前記撮像領域内に前記認識対象地物が存在する前記撮像手段の中から一つを選択する請求項１に記載の画像認識装置。
前記選択手段は、前記地物情報に含まれる各地物の種別情報に従って前記各地物がペイント系地物か立体系地物かを分類した結果に基づいて、前記第二撮像手段の撮像領域に含まれる前記認識対象地物が前記立体系地物のみである場合には、前記第二撮像手段を選択対象から除外する請求項４に記載の画像認識装置。
前記自車両の旋回状態を検出する旋回状態検出手段を更に備え、
前記選択手段は、前記自車両が旋回中である場合には、前記第一撮像手段を選択対象から除外する請求項４に記載の画像認識装置。
前記自車両の周辺の天候情報を取得する天候情報取得手段、前記自車両の周辺の明るさ情報を取得する明るさ情報取得手段、及び前記自車両の車速情報を取得する車速情報取得手段のいずれか一つ以上を更に備え、
前記選択手段は、前記第一撮像手段の撮像領域と前記第二撮像手段の撮像領域の双方に前記認識対象地物が存在する場合には、前記天候情報、前記明るさ情報、及び前記車速情報のいずれか一つ以上に基づいて、前記選択規則に従い、前記第一撮像手段及び前記第二撮像手段の一方を選択する請求項４に記載の画像認識装置。
前記選択手段は、前記天候情報に関して天候が悪いほど、前記明るさ情報に関して暗いほど、前記車速情報に関して車速が高いほど、前記第一撮像手段を選択する場合が多くなるように定められた前記選択規則を有している請求項７に記載の画像認識装置。
上記請求項１から８のいずれか一項に記載の画像認識装置を備えた自車位置認識装置であって、
前記選択手段により選択された撮像手段からの撮像情報に含まれる地物の認識結果に基づいて、自車位置と前記地物との位置関係を演算する位置関係演算手段と、
前記位置関係演算手段による演算結果と、前記地物データベースから取得した前記地物情報に含まれる前記地物の配置情報と、に基づいて前記自車位置情報を補正する自車位置補正手段と、
を備える自車位置認識装置。
自車両に設置され、互いに異なる方向をそれぞれ撮像する複数の撮像手段を用いて、前記自車両の周辺に存在する地物の画像認識を行う画像認識方法であって、
前記自車両の位置情報を取得する自車位置情報取得ステップと、
前記自車位置情報に基づいて、自車位置の周辺の地物情報を所定の地物データベースから取得する地物情報取得ステップと、
必要な撮像情報を取得するための選択規則に従い、前記自車位置情報及び前記地物情報に基づいて前記複数の撮像手段の一つを選択する選択ステップと、
を備える画像認識方法。
上記請求項１０に記載の画像認識方法を含む自車位置認識方法であって、
前記選択ステップにより選択された撮像手段からの撮像情報に含まれる地物の認識結果に基づいて、自車位置と前記地物との位置関係を演算する位置関係演算ステップと、
前記位置関係演算ステップによる演算結果と、前記地物データベースから取得した前記地物情報に含まれる前記地物の配置情報と、に基づいて前記自車位置情報を補正する自車位置補正ステップと、
を備える自車位置認識方法。