JP2009104232A - 車種判別装置 - Google Patents

Abstract

【課題】車両の車種をより正確に判別する車種判別装置を提供する。
【解決手段】車両１０の車種を判別する車種判別装置１であって、車両１０を撮像するカメラ１１及びレーザレーダ１２と、カメラ１１及びレーザレーダ１２の撮像方向と異なる方向から車両１０が撮像された場合の投影面ＰＡを設定する投影面推定部１３と、カメラ１１及びレーザレーダ１２により撮像された撮像画像を、投影面推定部１３により設定された投影面ＰＡに投影して、撮像画像を変換する画像変換部１４と、画像変換部１４により変換されたフレームを複数蓄積する画像蓄積部１５と、画像蓄積部１５により蓄積された複数のフレームに基づいて車両１０のシルエットを検出して車種を判別するシルエット抽出部１６と、を備える。
【選択図】図１

Description

本発明は、車両の車種を判別する車種判別装置に関する。

従来、道路などにカメラを設置し、カメラで得られた画像に基づいて車両を認識する技術が提案されている。例えば、特許文献１には、２台のカメラにより道路を撮像して、各カメラからの画像上の特徴点を用いた三次元計測処理を行い、得られた各三次元座標を、道路の長さ方向に沿う仮想垂直平面に投影して、さらにこの投影結果に対し、大型車輌のフロントガラス部分の投影モデルを走査してマッチング処理を行い、大型車輌の先頭位置を検出する技術が開示されている。
特開平１１−２５９７９２号公報

特許文献１に記載の技術では、ステレオ法を用いた複数のカメラによる撮像の場合、その内の一のカメラが遮蔽物の存在によって撮影できないために特徴点までの距離が計測できないことから車種をより正確に判別できないおそれがある。また、特許文献１に記載の技術では、レーダによる撮像の場合、平面計測には好適だが、高分解能の空間計測を行うためには複数のレーダまたは走査可能なレーダが必要となるために車載が困難であることから車種をより正確に判別できないおそれがある。

そこで本発明は、車両の車種をより正確に判別する車種判別装置を提供することを目的とする。

すなわち、本発明に係る車種判別装置は、車両の車種を判別する車種判別装置であって、車両を撮像する撮像手段と、撮像手段の撮像方向と異なる方向から車両が撮像された場合の投影面を設定する設定手段と、撮像手段により撮像された撮像画像を、設定手段により設定された投影面に投影して、撮像画像を変換する変換手段と、変換手段により変換された変換画像を複数蓄積する蓄積手段と、蓄積手段により蓄積された複数の変換画像に基づいて車両の車体領域を検出して車種を判別する判別手段と、を備えることを特徴とする。

本発明では、撮像手段により撮像された撮像画像を、設定手段により設定された投影面に変換手段が投影して、撮像画像を変換し、変換された変換画像を蓄積手段が複数蓄積する。そして、蓄積手段により蓄積された複数の変換画像に基づいて、車両の車体領域を判別手段が検出して車種を判別する。このように、共通の投影面に投影された複数の変換画像に基づいて車体領域を検出しているため、車体領域に関する事前情報を必要とせずに車体領域を検出して、車両の車種をより正確に判別できるようになる。

また、撮像手段は、互いに異なる複数の視点から車両を撮像し、設定手段は、撮像手段により撮像された複数の撮像画像に基づいて、車両との距離が最短となる面を投影面として設定するのも好ましい。

これにより、互いに異なる複数の視点から車両が撮像手段により撮像され、撮像された複数の撮像画像に基づいて、車両との距離が最短となる面が設定手段により投影面として設定される。このように、設定手段が設定した投影面は、車両との距離が最短であるため、この投影面に投影されて変換された変換画像に基づいて車体領域を検出する際、より精度よく検出できるようになる。

また、判別手段は、蓄積手段により蓄積された複数の変換画像において共通する領域を車体領域として検出するのも好ましい。

これにより、蓄積手段により蓄積された複数の変換画像において共通する領域が、判別手段により車体領域として検出される。このため、車両が移動中であっても、判別手段は、変換画像において共通しない領域を車体領域以外として検出するとともに、変換画像において共通する領域を車体領域として容易に検出することができるようになる。

また、蓄積手段により蓄積された複数の変換画像において一致する領域が所定面積以上になるように第二の投影面を設定する第二設定手段と、撮像手段により撮像された撮像画像を、第二設定手段により設定された第二投影面に投影して、撮像画像を変換する第二変換手段と、を更に備え、判別手段は、第二変換手段により変換された第二変換画像に基づいて車両の車体領域を検出して車種を判別するのも好ましい。

これにより、複数の変換画像において一致する領域が所定面積以上になるように第二の投影面が第二設定手段により設定され、撮像手段により撮像された撮像画像が第二変換手段により第二投影面に投影されて撮像画像が変換される。そして、判別手段が、第二変換手段により変換された第二変換画像に基づいて車両の車体領域を検出して車種を判別する。このように、複数の変換画像において一致する領域が所定面積以上であるため、車体領域に関する事前情報を必要とせずに車体領域をより正確に検出して、車両の車種をより正確に判別できるようになる。

本発明によれば、車両の車種をより正確に判別する車種判別装置を提供することが可能である。

以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の符号を附し、重複する説明は省略する。

（１）第一実施形態
まず、図１を用いて、本発明の第一実施形態に係る車種判別装置１の構成について説明する。図１は、第一実施形態に係る車種判別装置１の構成概略図である。車種判別装置１は、車道などを走行する自動車などの車両を撮像して得られた画像に基づいて、その車両の車種を判別するための装置である。第一実施形態に係る車種判別装置１は、カメラ１１（撮像手段）と、レーザレーダ１２（撮像手段及び設定手段）と、投影面推定部１３（設定手段）と、画像変換部１４（変換手段）と、画像蓄積部１５（蓄積手段）と、シルエット抽出部１６（判別手段）と、を備えている。

カメラ１１は、上記した車両を撮像する撮像機器である。カメラ１１は、例えば、道路近傍に設置された電柱などの支柱の所定の高さ位置で、道路を走行する車両に向けて設置される。カメラ１１を複数設置してもよく、この場合、これら複数のカメラ１１は、互いに異なる複数の視点から上記の車両を三次元撮像する。カメラ１１は、このような撮像機器であれば特に限定されず、例えばＣＣＤカメラなどでもよい。

レーザレーダ１２は、レーザ光を用いて上記した車両の形状を計測するレーダである。レーザレーダ１２は、例えば、カメラ１１と同じ位置及び方向で設置される。レーザレーダ１２を複数設置してもよく、この場合、これら複数のレーザレーダ１２は、互いに異なる複数の視点から上記の車両の形状を計測する。

投影面推定部１３は、カメラ１１の撮像方向と異なる方向から上記した車両が撮像される（即ち、車両の像が投影される）と仮定した場合における、仮想の投影面を設定する部分である。この投影面としては、通常、車両の一側面に平行な面が設定されるが、車両の前面（即ち正面）や後面（即ち背面）に平行な面が設定されてもよい。投影面推定部１３の機能は、例えば、車両に内蔵されたＥＣＵにより実現される。

なお、上記したように、カメラ１１が複数設置された場合、投影面推定部１３は、複数のカメラ１１により撮像された複数の撮像画像に基づいて、上記の車両との距離が最短となる面を投影面として設定してもよい。また、投影面推定部１３は、投影面を複数設定してもよく、設定した複数の投影面のうち一の投影面を設定してもよい。投影面の詳細については後述する。

画像変換部１４は、上記の撮像画像が上記の投影面へ投影された結果生成される投影面上の画像に、撮像画像を変換する部分である。画像変換部１４の機能は、例えば、車両に内蔵されたＥＣＵにより実現される。なお、画像変換部１４は、カメラ１１により撮像された撮像画像を用いずに、レーザレーダ１２によって計測された車両の形状情報を用いて上記の変換処理を行ってもよい。

画像蓄積部１５は、画像変換部１４により変換された変換画像（即ち、フレーム）を複数蓄積して記憶する部分である。画像蓄積部１５は、例えば、カメラ１１によって撮像された時刻が異なる複数のフレームを蓄積してもよく、設置位置の異なる複数のカメラ１１によって撮像された複数のフレームを蓄積してもよい。画像蓄積部１５は、このような記憶が可能であれば特に限定されず、例えばＲＡＭなどでもよい。

シルエット抽出部１６は、画像蓄積部１５により蓄積された複数のフレームに基づいて、上記の車両の車体領域（即ち、シルエット）を検出して、シルエットからこの車両の車種を判別する部分である。例えば、シルエット抽出部１６は、画像蓄積部１５により蓄積された複数のフレームにおいて共通する領域を上記のシルエットとして検出するとともに、共通しない領域を上記のシルエット以外の領域（例えば、車両の背景など）として検出する。シルエット抽出部１６の機能は、例えば、車両に内蔵されたＥＣＵやＲＡＭにより実現される。

引き続き、図２を用いて、レーザレーダ１２が行う車両形状の計測処理について説明する。図２は、車両形状の計測処理が行われる様子を説明する鳥瞰図である。まず、図２（ａ）に示すように、レーザレーダ１２が車両１０に対してレーザ光を照射可能な範囲に照射することにより、車両１０における複数の照射ポイントが定まる。ここでは、９つの照射ポイントＰ１〜Ｐ９が定まったとし、照射ポイントＰ１〜Ｐ６は車両１０の側面に設定され、照射ポイントＰ６〜Ｐ９は車両１０の前面に設定されたとする。

次に、図２（ｂ）に示すように、画像変換部１４が、上記の照射ポイントＰ１〜Ｐ６は略直線上に並んでいるとみなし、この直線Ｌ１を、車両１０の側面を表す平面式として設定する。具体的には、画像変換部１４が、照射ポイントＰ１〜Ｐ６（即ち、点列）の位置座標の平均μ_ｐと共分散行列Σ_ｐとを計算してから、共分散行列Σ_ｐの固有値λ_ｐ，ｉとその固有ベクトルｘ_ｐ，ｉとを計算する。ただし、ｉは、固有値λ_ｐ，ｉと固有ベクトルｘ_ｐ，ｉとのインデックスである。ここで、固有ベクトルｘ_ｐ，ｉは、おおよそ、車両１０の側面の法線ベクトルとなっている。

また、車両１０の側面、正面、背面の推定は、車両１０の運動量と、車両１０は一般的に進行方向に細長い形状を有する事実とから、固有値λ_ｐ，ｉに基づいて画像変換部１４により推定される。そして、推定した上記の法線ベクトルに基づいて、点列と最も一致する平面式が検出される。同様に、画像変換部１４が、上記の照射ポイントＰ６〜Ｐ９は略直線上に並んでいるとみなし、この直線Ｌ２を、車両１０の前面を表す平面式として設定する。ここで設定された平面式は、投影面推定部１３による投影面の設定に用いられる。投影面の詳細については後述する。

引き続き、図３〜図５を用いて、画像変換部１４が撮像画像を投影面へ投影する原理について説明する。図３は、撮像画像の投影面への投影原理を説明する鳥瞰図である。図４及び図５のそれぞれは、撮像画像を投影面へ投影して画像変換する前後の様子を示す図である。

まず、図３（ａ）に示すように、カメラ１１の視点Ｖから車両１０を撮像する場合において、撮像された撮像画像が撮像平面Ｐａに形成されるとする。車両１０は、投影面推定部１３により略直方体とみなされ、このため、図３に示される平面図において略長方形で示されるとみなされる。このとき、この長方形の頂点である車両頂点Ａ１〜Ａ３のそれぞれは、撮像平面Ｐａにおける頂点である撮像頂点ａ１〜ａ３に対応している。また、上記の直線Ｌ１に基づいて投影面推定部１３により車両１０の側面を含む投影面ＰＡが設定され、この投影面ＰＡに平行な、視点Ｖからの直線と撮像平面Ｐａとの交点ａ０が定まる。

ここで、撮像平面Ｐａ上の撮像画像を投影面ＰＡへ投影するために、図３に示す平面において、車両頂点及びこれに対応する撮像頂点を結ぶ線分と投影面ＰＡとの交点が求められ、この交点が投影後の頂点である投影頂点となる。具体的には、例えば、車両頂点Ａ３及び撮像頂点ａ３を結ぶ線分と投影面ＰＡとの交点Ｔ３が求められ、この交点が投影頂点Ｔ３となる。

同様に、車両頂点Ａ１及び撮像頂点ａ１を結ぶ線分と投影面ＰＡとの交点である投影頂点Ｔ１が求められるとともに、車両頂点Ａ２及び撮像頂点ａ２を結ぶ線分と投影面ＰＡとの交点である投影頂点Ｔ２が求められる。ここで、車両頂点Ａ１は投影面ＰＡ上にあるため、車両頂点Ａ１は投影頂点Ｔ１と重なる。同様に、車両頂点Ａ２は投影面ＰＡ上にあるため、車両頂点Ａ２は投影頂点Ｔ２と重なる。

上記したような原理により、図４（ａ）の撮像画像が、図４（ｂ）のように投影面へ投影される。なお、このような原理に基づいて行列を用いて投影画像を求める方法の詳細については後述する。

次に、図３（ｂ）に示すように、図３（ａ）の状態から所定時間経過後に車両１０が所定距離進んだ状態でも撮像が行われ、上記したような原理で投影が行われたとする。なお、図３（ａ）における撮像頂点ａ１〜ａ３のそれぞれが、図３（ｂ）における撮像頂点ｂ１〜ｂ３に対応する。これにより、図５に示すように、撮像画像が投影面へ投影される。

ここで、図３（ａ）における投影結果と図３（ｂ）における投影結果とを比較する。図４及び図５も併せて示すように、投影面ＰＡにおける車両１０の側面のシルエットの長さＤＡは、図３（ａ）の場合と図３（ｂ）の場合とで略同じ長さである。同様に、投影面ＰＡにおける車両１０の側面のシルエットの長さＤＡは、車両１０の側面は同じ平面上にあるため、図４（ｂ）の場合と図５（ｂ）の場合とで略同じ長さである。

一方、図３（ａ）及び図４（ｂ）の場合の、投影面ＰＡにおける車両１０の前面のシルエットの長さＤａの長さに対して、図３（ｂ）及び図５（ｂ）の場合の、投影面ＰＡにおける車両１０の前面のシルエットの長さＤｂの長さの方が短くなっている。即ち、図３（ａ）及び図４（ｂ）の車両前面の投影部分は、図３（ｂ）及び図５（ｂ）において圧縮されて変換表示されている。

このため、投影面ＰＡにおける車両１０のシルエットのうち、長さＤＡの範囲にある側面部分が図４（ｂ）の場合と図５（ｂ）の場合とで共通しているため、この側面部分のみがシルエット抽出部１６によって抽出される。

引き続き、この直線Ｌ１を用いた投影面への投影の仕方について説明する。上記したように、画像変換部１４が設定した直線Ｌ１は、ｘｙ平面上における平面式として、以下に示す数式（１）で表されるとする。ただし、数式（１）中のａ，ｂ，ｄは定数であり、ｂはゼロではない。

一般的に、平面上の点の位置座標を別の平面上の点の位置座標として画像変換する場合は、以下に示す数式（２）を用いる。ただし、数式（２）中のｓ_１は定数であり、ｕ，ｖ，ｘ，ｚは変数であり、Ｐ，Ｈ_１は射影行列である。

撮像画像において数式（１）で表される平面上の点を上記の投影面に投影することにより撮像画像を変換する場合は、数式（２）から導かれる以下に示す数式（３）を用いる。ただし、数式（３）中のｓ_２は定数であり、ｕ＾，ｖ＾，ｘ，ｚは位置座標を示す変数であり、ｆは仮想的に配置したカメラ１１の焦点距離であり、Ｔは座標変換行列であり、Ｈ_２は同次変換行列である。なお、「ｕ＾」はｕの文字の上部に記号ハットが付された文字を意味しており、「ｖ＾」についても同様である。この数式（３）を用いることにより、例えば、車両１０の側面から車両１０を真正面にしてカメラから見た場合に相当するフレームが得られる。

ここで、撮像画像を投影面に投影したフレーム（即ち、車両１０の側面から見た画像）に変換するための平面射影変換行列は、数式（２）及び数式（３）を用いて、Ｈ_２Ｈ_１ ^−１により求まる。

引き続き、図６を用いて、車種判別装置１で実行される、複数のフレームを用いたシルエットの検出処理について説明する。図６は、車種判別装置１で実行されるシルエットの検出処理を説明するためのフローチャートである。まず、シルエット抽出部１６が、画像蓄積部１５により蓄積された複数のフレームの中から、未だ選択されていない二つのフレームｔ及びｔ’の組み合わせを選択する（ステップＳ０１）。

次に、シルエット抽出部１６が、フレームｔ及びフレームｔ’の互いに対応する箇所（例えば所定面積単位の画素）の輝度差ｄＩ_ｔ，ｔ’（ｕ＾，ｖ＾）を、フレーム内の全箇所に関して計算する（ステップＳ０２）。輝度差ｄＩ_ｔ，ｔ’（ｕ＾，ｖ＾）は、フレームｔにおける一箇所の画素値Ｉ_ｔ（ｕ＾，ｖ＾）とフレームｔ’における該一箇所の対応箇所の画素値Ｉ_ｔ’（ｕ＾，ｖ＾）の差分の絶対値である。即ち、輝度差ｄＩ_ｔ，ｔ’（ｕ＾，ｖ＾）は、以下の数式（４）により求められる。ここで、画素値とは、例えば、輝度値や、ＲＧＢの比率に関する値や、テクスチャー（即ち、エッジ）の強度値などを意味する。

次に、シルエット抽出部１６が、フレーム内の残りの全箇所に関して現時点までに求められた輝度差ｄＩ_ｔ，ｔ’（ｕ＾，ｖ＾）を、異なるフレームの組み合わせで互いに足し合わせた輝度差総和ｓｄＩ（ｕ＾，ｖ＾）を計算する（ステップＳ０３）。輝度差総和ｓｄＩ（ｕ＾，ｖ＾）は、フレームｔ及びｔ’のあらゆる組み合わせに関する、輝度差ｄＩ_ｔ，ｔ’（ｕ＾，ｖ＾）の総和である。即ち、輝度差総和ｓｄＩ（ｕ＾，ｖ＾）は、以下の数式（５）により求められる。

ここでは、現時点で選ばれているフレームｔ及びｔ’の組み合わせ（即ち、ステップＳ０１で選ばれたフレームｔ及びｔ’の組み合わせ）の輝度差ｄＩ_ｔ，ｔ’が、同じく現時点で既に求められている総和に足し合わされて、次のステップに移行する。既に求められている総和が無い場合はその値をゼロとして、この値（即ちゼロ）に、現時点での輝度差ｄＩ_ｔ，ｔ’を足し合わせて、次のステップに移行する。

次に、シルエット抽出部１６が、未選択のフレームの組み合わせがあるか否かを判定する（ステップＳ０４）。上記したように、ステップＳ０３で輝度差総和ｓｄＩ（ｕ＾，ｖ＾）を求めるには、フレームｔ及びｔ’のあらゆる組み合わせに関して輝度差ｄＩ_ｔ，ｔ’（ｕ＾，ｖ＾）の総和を求める必要がある。ここで、あらゆる組み合わせの代わりに、時間的に連続したフレームのみの組み合わせとしてもよい。このため、未選択のフレームの組み合わせがあるか否かが判定される。未選択のフレームの組み合わせが未だある場合は、ステップＳ０１に戻る。一方、未選択のフレームの組み合わせはもう無く、あらゆる組み合わせが尽くされた場合は、ステップＳ０５に移行する。

次に、シルエット抽出部１６が、フレームの上記の組み合わせ数Ｎを用いて、フレーム内の全箇所に関して現時点で求められている輝度差総和ｓｄＩ（ｕ＾，ｖ＾）の規格化を行う（ステップＳ０５）。規格化された輝度差総和である規格化総和ＳｄＩ（ｕ＾，ｖ＾）は、現時点で求められている輝度差総和ｓｄＩ（ｕ＾，ｖ＾）を、フレームの組み合わせ総数Ｎで除することにより求められる。即ち、規格化総和ＳｄＩ（ｕ＾，ｖ＾）は、以下の数式（６）により求められる。このように規格化することにより、フレームの組み合わせ総数Ｎに関わらず、フレームを用いた後述する判定が可能となる。

次に、シルエット抽出部１６が、フレーム内の全箇所に関して、規格化した輝度差総和ｓｄＩ（ｕ＾，ｖ＾）である規格化総和ＳｄＩ（ｕ＾，ｖ＾）が所定の閾値Ｔｈより大きいか否かを判定する（ステップＳ０６）。所定の閾値Ｔｈは、画像蓄積部１５により蓄積された複数のフレームにおいて共通する領域をシルエットとして判断するか否かを判別するための閾値である。

ここで、規格化総和ＳｄＩ（ｕ＾，ｖ＾）が閾値Ｔｈ以下である箇所がフレーム内に無ければ、即ち、全箇所において、規格化総和ＳｄＩ（ｕ＾，ｖ＾）が閾値Ｔｈより大きければ、一連の処理が終了する。ここで、規格化総和ＳｄＩ（ｕ＾，ｖ＾）が閾値Ｔｈより大きい箇所とは、フレーム間で共通しない箇所（例えば、車両１０のシルエットが含まれていない箇所や、背景が撮像されて投影変換された箇所など）を意味する。

一方、規格化総和ＳｄＩ（ｕ＾，ｖ＾）が閾値Ｔｈ以下である箇所がフレーム内にあれば、即ち、規格化総和ＳｄＩ（ｕ＾，ｖ＾）が閾値Ｔｈ以下である箇所がフレーム内にあれば、後述するステップＳ０７に移行する。ここで、規格化総和ＳｄＩ（ｕ＾，ｖ＾）が閾値Ｔｈ以下である箇所とは、フレーム間で共通する箇所（例えば、車両１０のシルエットが含まれている箇所や、背景が含まれていない箇所など）を意味する。

次に、シルエット抽出部１６が、規格化総和ＳｄＩ（ｕ＾，ｖ＾）が閾値Ｔｈ以下である箇所の全てが示す像を、車両１０のシルエットの候補として検出する（ステップＳ０７）。そして、一連の処理が終了する。なお、シルエット抽出部１６が、車両１０のシルエットの候補に基づいて、車両１０の車種を判別する。

引き続き、本実施形態の作用効果について説明する。本実施形態によれば、カメラ１１により撮像された車両１０の撮像画像を、投影面推定部１３により設定された投影面ＰＡに、画像変換部１４が投影して、撮像画像をフレームに変換し、変換されたフレームを画像蓄積部１５が複数蓄積する。そして、画像蓄積部１５により蓄積された複数のフレームに基づいて、車両１０のシルエットをシルエット抽出部１６が検出及び抽出して車両１０の車種を判別する。このように、共通の投影面ＰＡに投影された複数のフレームに基づいて車両１０のシルエットを検出しているため、車両１０のシルエットに関する情報が車種判別装置１内に事前に用意されていなくても、車両１０の車種をより正確に判別できるようになる。

また、互いに異なる複数の視点Ｖから車両１０がカメラ１１により撮像され、撮像された複数の撮像画像に基づいて、投影面推定部１３が設定しうる複数の投影面ＰＡのうち車両１０との距離が最短（又はゼロ）となる面が投影面ＰＡとして設定される。このように、投影面推定部１３が設定した投影面ＰＡは、車両１０との距離が最短（又はゼロ）であてシルエットは縮小されないため、この投影面ＰＡに投影されて変換されたフレームに基づいて車両１０のシルエットを検出する際、より精度よく検出できるようになる。

また、画像蓄積部１５により蓄積された複数のフレームにおいて共通する領域が、シルエット抽出部１６により車両１０のシルエットとして検出される。このため、車両１０が移動中であっても、シルエット抽出部１６は、フレームにおいて共通しない領域をシルエット以外として検出するとともに、フレームにおいて共通する領域をシルエットとして容易に検出することができるようになる。

上記実施形態では、図１に示すように、画像蓄積部１５が、画像変換部１４により変換されたフレームを複数蓄積して記憶する構成であるが、撮像画像を投影面ＰＡに投影してフレームを複数蓄積してからシルエットを検出する構成であれば特に限定されない。例えば、図７に示すように、別の構成を有する車種判別装置２としてもよい。車種判別装置２は、カメラ１１により撮像された複数の撮像画像を画像蓄積部１５が直接蓄積して記憶し、この撮像画像を画像変換部１４が投影面ＰＡに逐次投影してフレームを複数蓄積してからシルエットを検出する。

（２）第二実施形態
次に、図８を用いて、本発明の第二実施形態に係る車種判別装置３の構成について説明する。図８は、第二実施形態に係る車種判別装置３の構成概略図である。第二実施形態に係る車種判別装置３は、カメラ１１と、レーザレーダ１２と、第一投影面推定部１３１（設定手段）と、第二投影面推定部１３２（第二設定手段）と、第一画像変換部１４１（変換手段）と、第二画像変換部１４２（第二変換手段）と、第一画像蓄積部１５１（蓄積手段）と、第二画像蓄積部１５２（蓄積手段）と、シルエット抽出部１６と、を備えている。

カメラ１１及びレーザレーダ１２は、本発明の第一実施形態に係る車種判別装置１のものと同様の構成である。なお、レーザレーダ１２の代わりに、ミリ波レーダを用いてもよい。

第一投影面推定部１３１は、カメラ１１の撮像方向と異なる方向から車両１０が撮像される（即ち、車両１０の像が投影される）と仮定した場合における、仮想の第一投影面ＰＡ１を設定する部分である。また、第一投影面推定部１３１は、車両１０の進行方向を、車両１０の移動量やドップラー効果による速度計測により推定する。第一投影面推定部１３１の機能は、例えば、車両に内蔵されたＥＣＵにより実現される。

第一画像変換部１４１は、上記の撮像画像が上記の第一投影面ＰＡ１へ投影された結果生成される投影面上の画像に、撮像画像を変換する部分である。第一画像変換部１４１の機能は、例えば、車両１０に内蔵されたＥＣＵにより実現される。

第一画像蓄積部１５１は、第一画像変換部１４１により変換されたフレームを複数蓄積して記憶する部分である。第一画像蓄積部１５１は、このような記憶が可能であれば特に限定されず、例えばＲＡＭなどでもよい。

第二投影面推定部１３２は、第一画像蓄積部１５１により蓄積された複数のフレーム間で共通する領域が所定面積以上となるように（即ち、フレーム間における一致度が所定度以上となるように）、カメラ１１の撮像方向と異なる方向から車両１０が撮像される（即ち、車両１０の像が投影される）と仮定した場合における、仮想の第二投影面ＰＡ２を設定する部分である。なお、第二投影面ＰＡ２は、第一投影面ＰＡ１と平行に設定されるのが好ましい。第二投影面推定部１３２の機能は、例えば、車両に内蔵されたＥＣＵにより実現される。

第二画像変換部１４２は、上記の撮像画像が上記の第二投影面ＰＡ２へ投影された結果生成される第二投影面ＰＡ２上の画像に、撮像画像を変換する部分である。第二画像変換部１４２の機能は、例えば、車両１０に内蔵されたＥＣＵにより実現される。

第二画像蓄積部１５２は、第二画像変換部１４２により変換された変換フレーム（第二変換画像）を複数蓄積して記憶する部分である。第二画像蓄積部１５２は、このような記憶が可能であれば特に限定されず、例えばＲＡＭなどでもよい。

シルエット抽出部１６は、第二画像蓄積部１５２により蓄積された複数の変換フレームに基づいて、上記の車両１０のシルエットを検出して、シルエットからこの車両１０の車種を判別する部分である。例えば、シルエット抽出部１６は、第二画像蓄積部１５２により蓄積された複数の変換フレームにおいて共通する領域を上記のシルエットとして検出する。シルエット抽出部１６の機能は、例えば、車両に内蔵されたＥＣＵにより実現される。

引き続き、図９及び図１０を用いて、第一画像変換部１４１及び第二画像変換部１４２が撮像画像を投影面へ投影する原理について説明する。図９及び図１０は、撮像画像の投影面への投影原理を説明する鳥瞰図である。

まず、図９（ａ）に示すように、カメラ１１の視点Ｖから車両１０を撮像する場合において、撮像画像が撮像平面Ｐａに形成されるとする。車両１０は略直方体とみなされ、このため、図９に示される平面図において略長方形で示されるとみなされる。このとき、車両頂点Ａ１〜Ａ３のそれぞれは、撮像平面Ｐａにおける頂点である撮像頂点ａ１〜ａ３に対応している。また、上記の直線Ｌ１に平行な直線に基づいて第一投影面推定部１３１により第一投影面ＰＡ１が設定され、この第一投影面ＰＡ１に平行な、視点Ｖからの直線と撮像平面Ｐａとの交点ａ０が定まる。

ここで、上記したような原理により、撮像平面Ｐａ上の撮像画像が第一画像変換部１４１により第一投影面ＰＡへ投影されてフレームとなって、第一画像蓄積部１５１により蓄積される。この投影を行うために、車両頂点及びこれに対応する撮像頂点を結ぶ線分と第一投影面ＰＡ１との交点が求められ、この交点が投影頂点となる。具体的には、例えば、車両頂点Ａ１及び撮像頂点ａ１を結ぶ線分と第一投影面ＰＡ１との交点Ｔ１が求められ、この交点Ｔ１が投影頂点Ｔ１となる。

次に、図９（ｂ）に示すように、図９（ａ）の状態から所定時間経過後に車両１０が所定距離進んだ状態でも撮像が行われ、上記したような原理で投影が行われたとする。なお、図９（ａ）における撮像頂点ａ１〜ａ３のそれぞれが、図９（ｂ）における撮像頂点ｂ１〜ｂ３に対応する。

次に、図１０（ａ）に示すように、第二投影面ＰＡ２が第二投影面推定部１３２により設定され、上記の撮像画像がこの第二投影面ＰＡ２へ投影される。ここでは、第二投影面ＰＡ２は、第一投影面ＰＡ１を基準として車両１０から離れる位置に設定されたとする。

ここで、この撮像画像を第二投影面ＰＡ２へ投影するために、車両頂点及びこれに対応する撮像頂点を結ぶ線分と第二投影面ＰＡ２との交点が求められ、この交点が投影頂点となる。具体的には、例えば、車両頂点Ａ１及び撮像頂点ａ１を結ぶ線分と第二投影面ＰＡ２との交点Ｕ１が求められ、この交点Ｕ１が投影頂点Ｕ１となる。

次に、図１０（ｂ）に示すように、図１０（ａ）の状態から所定時間経過後に車両１０が所定距離進んだ状態でも撮像が行われ、上記したような原理で投影が行われる。

引き続き、図９及び図１０を用いて、第二投影面ＰＡ２の設定の仕方について説明する。まず、カメラ１１により撮像された撮像画像から、車両１０の進行方向ベクトルＦとしての（ｖ_ｘ，ｖ_ｙ，ｖ_ｚ）^Ｔと、車両１０が走行する道路面の法線ベクトルＲとしての（ｒ_ｘ，ｒ_ｙ，ｒ_ｚ）^Ｔとが第一投影面推定部１３１により検出される。第一投影面ＰＡ１の法線ベクトルｎ_１としての（ｎ_ｘ，１，ｎ_ｙ，１，ｎ_ｚ，１）^Ｔはこれら二つのベクトルＦ，Ｒに直交するため、法線ベクトルｎ_１は、以下に示す数式（７）のように、これら二つのベクトルの外積を第一投影面推定部１３１が求めることにより得られる。なお、道路面の法線ベクトルＲは、レーザレーダ１２などを用いて計測してもよく、また、車両１０の車高方向のベクトルを適用してもよい。

ここで、第一投影面推定部１３１が、カメラ１１により撮像された撮像画像から車両１０の重心位置Ｐｃを（ｘ_ｖ，ｙ_ｖ，ｚ_ｖ）^Ｔと推測するとともに、車両１０から距離ｄの位置にある投影面を第一投影面ＰＡ１として設定する。この距離ｄは、一般的な車両の平均的な車幅としてもよい。このため、第一投影面ＰＡ１は、以下に示す数式（８）により与えられる。ただし、数式（８）中のａ_４は、以下に示す式（９）又は式（１０）により与えられる。

このようにして、第一投影面ＰＡ１が与えられるため、上記の数式（２）及び数式（３）を用いることにより、撮像画像を第一投影面ＰＡ１に投影するために用いられる平面射影変換行列が第一投影面推定部１３１により求められる。

次に、第一投影面推定部１３１が、この平面射影変換行列を用いて撮像画像を投影するが、図９（ａ）及び図９（ｂ）に示すように、第一投影面ＰＡ１に投影されたフレームの一領域、例えば車両１０の側面の長さ（即ち大きさ）がフレーム間で異なってしまうことがある。具体的には、図９（ａ）に示される上記の側面の長さＤＡは、図９（ｂ）に示される上記の側面の長さＤＢよりも長い。

ここで、この長さの差分を補正してフレーム間で共通しているとすべき領域を正確に検出するために、第二投影面推定部１３２が、図１０に示すように、車両１０から距離ｄの位置にある第一投影面ＰＡ１を中心として距離Ａｄの範囲内（即ち、車両１０からの距離がｄ−Ａｄ以上ｄ+Ａｄ以下の範囲内）に第二投影面ＰＡ２を複数設定し、設定した複数の第二投影面ＰＡ２のそれぞれに上記の撮像画像を投影して変換フレームを生成する。そして、第二投影面推定部１３２が、変換フレーム間で一致する領域（例えば、投影後の側面の長さ）が所定面積以上（又は差分が所定度以下）になって略マッチングする（即ち、略等しくなる）ように第二投影面ＰＡ２を選択して確定する。

なお、変換フレーム間で略マッチングするか（即ち、後述する類似度Ｌが所定度以上であるか）否かの判断は、変換フレーム間の差分の絶対値の総和が所定数以下であるか否かで判断したり、変換フレーム間の差分の二乗の総和が所定数以下であるか否かで判断したり、輝度差をベクトルに見立てて内積を計算してこの内積が所定数以下であるか否かで判断したりすることができる。

例えば、図１０（ａ）及び図１０（ｂ）ともに第一投影面ＰＡ１に投影した場合における車両１０の側面の長さの差分（即ち、Ｔ１及びＴ２間の線分の長さの差）よりも、図１０（ａ）及び図１０（ｂ）ともに第二投影面ＰＡ２に投影した場合における車両１０の側面の長さの差分（即ち、Ｕ１及びＵ２間の線分の長さの差）の方が小さく、マッチングの度合は高くなっている。このため、この第二投影面ＰＡ２が第二画像変換部１４２により採用される。なお、車両１０から距離Ａｄの位置にある投影面は、上記の数式（８）により与えられ、数式（８）中のａ_４は、以下に示す式（１１）又は式（１２）により与えられる。

引き続き、図１１を用いて、車種判別装置３で実行される第二投影面ＰＡ２の設定処理について説明する。図１１は、車種判別装置３で実行される第二投影面ＰＡ２の設定処理を説明するためのフローチャートである。まず、第二投影面推定部１３２が、車両１０と第二投影面ＰＡ２との距離ｄ’を、第一投影面ＰＡ１から例えばｄ／２だけ離れた位置に設定する（ステップＳ１１）。即ち、車両１０と第一投影面ＰＡ１との距離ｄの半分の距離であるｄ／２だけ第一投影面ＰＡ１から離れた位置に第二投影面ＰＡ２を設定する。そして、第二画像変換部１４２が、この第二投影面ＰＡ２へ、撮像画像から生成されたフレームｔとフレームｔ’のそれぞれを投影する（ステップＳ１２）。

次に、第二投影面推定部１３２が、この投影後のフレームｔとフレームｔ’の類似度Ｌを計算により求める（ステップＳ１３）。この類似度Ｌとは、上記したように、変換フレーム間で一致する領域（例えば、投影後の側面の長さ）が所定面積以上（又は差分が所定度以下）になって略マッチングする（即ち、略類似する）度合である。そして、第二投影面推定部１３２が、ここで求められた類似度Ｌは直前に求められた類似度Ｌよりも大きいか否か、即ち、ここで求められた類似度Ｌは、現時点までに求められた全ての類似度Ｌの中で最大か否かを判定する（ステップＳ１４）。

ステップＳ１３で求められた類似度Ｌが、現時点までに求められた全ての類似度Ｌの中で最大でない場合、後述のステップＳ１６に移行する。一方、ステップＳ１３で求められた類似度Ｌが、現時点までに求められた類似度Ｌの中で最大である場合、第二投影面推定部１３２が、現時点で設定されている距離ｄ’を確定させて記憶する（ステップＳ１５）。

次に、第二投影面推定部１３２が、現時点で記憶されている車両１０から第二投影面ＰＡ２までの距離ｄ’はｄ／２より大きいか否かを判定する。車両１０から第二投影面ＰＡ２までの距離ｄ’がｄ／２より大きい場合、第二画像変換部１４２が、車両１０から距離ｄ’の位置にある第二投影面ＰＡ２にフレームを投影するための平面射影変換行列を求め（ステップＳ１７）、一連の処理が終了する。一方、車両１０から第二投影面ＰＡ２までの距離ｄ’がｄ／２より大きくない場合、即ち、距離ｄ’がｄ／２以下である場合、第二画像変換部１４２が、車両１０から第二投影面ＰＡ２までの距離ｄ’をｄ’＋Δｄに設定して、ステップＳ１２に戻る。ここで、Δｄは、ｄ／２以下であるのが好ましく、例えばｄ／４などである。

引き続き、本実施形態の作用効果について説明する。本実施形態によれば、まず、複数のフレームにおいて一致する領域が所定面積以上になるように第二投影面ＰＡ２が第二投影面推定部１３２により設定される。そして、カメラ１１により撮像された撮像画像から生成されたフレームが、第二画像変換部１４２により第二投影面ＰＡ２に投影された結果、撮像画像がフレームを経て変換フレームに変換される。そして、シルエット抽出部１６が、第二画像変換部１４２により変換された変換フレームに基づいて、車両１０のシルエットを検出及び抽出して車種を判別する。このように、複数の変換フレームにおいて一致する領域が所定面積以上であるため、シルエットに関する事前情報を必要とせずにシルエットをより正確に検出して、車両１０の車種をより正確に判別できるようになる。

以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。例えば、カメラ１１により撮像された複数の撮像画像を第一画像蓄積部１５１が直接蓄積して記憶し、この撮像画像を第一画像変換部１４１が第一投影面ＰＡ１に逐次投影してフレームを複数蓄積する構成としてもよい。

第一実施形態に係る車種判別装置の構成概略図である。 車両形状の計測処理が行われる様子を説明する鳥瞰図である。 撮像画像の投影面への投影原理を説明する鳥瞰図である。 撮像画像を投影面へ投影して画像変換する前の様子を示す図である。 撮像画像を投影面へ投影して画像変換した後の様子を示す図である。 車種判別装置で実行されるシルエットの検出処理を説明するためのフローチャートである。 第一実施形態に係る車種判別装置とは別の構成を有する装置の構成概略図である。 第二実施形態に係る車種判別装置の構成概略図である。 撮像画像の投影面への投影原理を説明する鳥瞰図である。 撮像画像の投影面への投影原理を説明する鳥瞰図である。 車種判別装置で実行される第二投影面の設定処理を説明するためのフローチャートである。

符号の説明

１〜３…車種判別装置、１０…車両、１１…カメラ、１２…レーザレーダ、１３…投影面推定部、１４…画像変換部、１５…画像蓄積部、１６…シルエット抽出部、１３１…第一投影面推定部、１３２…第二投影面推定部、１４１…第一画像変換部、１４２…第二画像変換部、１５１…第一画像蓄積部、１５２…第二画像蓄積部、ａ０…交点、ａ１〜ａ３，ｂ１〜ｂ３…撮像頂点、Ａ１〜Ａ３…車両頂点、Ａｄ，ｄ…距離、Ｆ，Ｒ，ｎ_１…ベクトル、Ｌ１，Ｌ２…直線、Ｐ１〜Ｐ９…照射ポイント、Ｐａ…撮像平面、ＰＡ，ＰＡ１，ＰＡ２…投影面、Ｐｃ…重心位置、Ｔ１〜Ｔ３，Ｕ１〜Ｕ３…投影頂点、Ｖ…視点。

Claims (4)

1. 車両の車種を判別する車種判別装置であって、
   前記車両を撮像する撮像手段と、
   前記撮像手段の撮像方向と異なる方向から前記車両が撮像された場合の投影面を設定する設定手段と、
   前記撮像手段により撮像された撮像画像を、前記設定手段により設定された前記投影面に投影して、前記撮像画像を変換する変換手段と、
   前記変換手段により変換された変換画像を複数蓄積する蓄積手段と、
   前記蓄積手段により蓄積された複数の前記変換画像に基づいて前記車両の車体領域を検出して前記車種を判別する判別手段と、
   を備えることを特徴とする車種判別装置。
2. 前記撮像手段は、互いに異なる複数の視点から前記車両を撮像し、
   前記設定手段は、前記撮像手段により撮像された複数の前記撮像画像に基づいて、前記車両との距離が最短となる面を前記投影面として設定することを特徴とする請求項１に記載の車種判別装置。
3. 前記判別手段は、前記蓄積手段により蓄積された複数の前記変換画像において共通する領域を前記車体領域として検出することを特徴とする請求項１または２に記載の車種判別装置。
4. 前記蓄積手段により蓄積された複数の前記変換画像において一致する領域が所定面積以上になるように第二の前記投影面を設定する第二設定手段と、
   前記撮像手段により撮像された撮像画像を、前記第二設定手段により設定された前記第二投影面に投影して、前記撮像画像を変換する第二変換手段と、
   を更に備え、
   前記判別手段は、前記第二変換手段により変換された第二変換画像に基づいて前記車両の前記車体領域を検出して前記車種を判別することを特徴とする請求項１〜３のいずれかに記載の車種判別装置。

Images