JP2007235950A - 車両位置検出方法及び装置 - Google Patents

Abstract

【目的】車両を含む所定の画像領域（関心領域ROI）から抽出した車両特徴に基づいて、ROIにおける車両位置を正確に決定する「車両位置検出方法及び装置」を提供することである。
【構成】一種以上の車両画像の特徴を用いて車両の高さ方向の対称軸を計算し、また関心領域から抽出した一種以上の車両特徴で車両の左右エッジを計算する。車両特徴は、少なくとも車下陰特徴及び／又は車体色特徴を含み、関心領域から抽出した水平エッジの投影で車両の上下エッジを計算し、関心領域内の車下陰の所定領域内の画素の階調で車両の下エッジを決定し、車体色の水平階層化変化の特徴で車両の上エッジを計算する。決定された車両の各種のエッジにより車両の画像中の位置を決定する。
【選択図】図４

Description

本発明は、マシンビジョンによる車両識別システムにおいて車両位置を決定する車両位置検出方法及び装置に関し、特に、車両を含む所定の画像領域つまり関心領域ROI（Region of Interest）から抽出した車両特徴に基づいて、ROIにおける車両位置を正確に決定する車両位置検出方法及び装置に関する。

マシンビジョンによる車両識別システムは、自車又は他の移動／固定の物体に取付けられた撮像機などの撮像装置で撮像した生画像に分割等の処理を施すことによって、所定画像領域つまり関心領域ROI(Region of Interest）の画像を得る。ROIの一例はディスプレイ画面に相当するサイズの画像領域である。ROI画像は車両画像を含んでおり、ROIでの車両位置を正確に決定することは、システムの車両識別率を向上させることに役立つ。特に、車両の下辺の位置（即ち車輪と路面との境界位置）と車両の幅を正確に決定することは、自車の周りの車両と自車との相対位置及び相対距離を得るのに重要である。たとえば、前方車両と自車間の距離がRのときの前方車両画像の左右エッジ幅をW₀、ビデオカメラの焦点距離をFとし、今回測定した前方車両画像の左右エッジ幅がWであれば、前方車両と自車間の距離R′はR′＝W₀×R／Wで計算できる。また、正確な車両位置検出は、車両追跡、車間距離の計算、車型の判断及び車両色の識別、車両の大型・小型の識別に対しても非常に重要である。

従来、主に車両の水平エッジ、垂直エッジ及び対称性などの特徴を参照して車両位置を検出している。図１は、従来技術において車両位置を検出する主な処理フローを示す。図１に示すように、ROIでの車両位置を決定するには、主に、（１）車両の高さ方向の対称軸を計算するステップ(ステップ201)と、（２）車両の左右エッジと上下エッジを決定するステップ(202−203)を含み、ステップ204においてこれら左右エッジと上下エッジ（ROI内における車両位置)を出力する。
まず、（１）車両の対称軸を計算する方法を説明する。
従来、車両の位置を検出するときに、普通、一種類の対称軸、つまり輪郭対称軸又は階調対称軸の何れか一つを計算する。輪郭対称軸は、照光により影響され難いが、路面又は建物のような背景などによるノイズにより影響されやすく、特に、対称性のある背景は、対称性判断に大きい影響を与える。また、輪郭対称軸は、車両の一部が遮られるときに、輪郭の対称性は破壊される。図２Ａに示すように、背景である建物BLは、車両より顕著な対象性があるので、建物の対称軸を車両の対称軸として不当に決定する。階調対称性は、背景により影響され難いが、照光により影響されやすい。そのため、一種類の対称軸だけを用いる計算方法では、背景、照光条件、車両画像の不完全（つまり車両が遮られるか、又は車両の車体の一部が画像の外部にある）により影響されやすく、対称軸の計算が不正確になり、車両位置を検出する精度に影響を与える。
また、従来技術には、複数の対称軸を計算する方法も開示され、主に、複数の対称軸の計算結果をまとめることによって最終の対称軸を得る。しかし、輪郭対称、階調対称、水平エッジ対称及び垂直エッジ対称を用いる方法では、水平エッジ対称と垂直エッジ対称のそれぞれは、原理上で輪郭対称の一種であるので、依然として背景、照光条件、車両画像の不完全さによる影響を避けることができない。
また、従来技術には、対称軸を計算するとき、対称軸の計算に関与する画像領域はROI全域である。そのため、計算量が大きく、一部の背景により影響されて、対称軸の計算が不正確になる問題がある。

次に、（２）車両の左右エッジと上下エッジを決定する方法を説明する。
従来技術は、一般に、垂直エッジ投影の方法で車両の左右エッジを決定し、水平エッジ投影の方法で車両の上下エッジを決定する。「垂直エッジ投影」とは図３Aを参照すると、エッジ検出演算子で画像IMの垂直エッジVEG1〜VEG4を抽出して垂直に投影することをいい、垂直エッジ画像(図３B参照)における零でないすべての画素を垂直方向に列ごとに加算し、投影値最大の画素列（垂直エッジVEG2，4の画素位置）を車両の左右エッジ位置とする。垂直エッジ投影に類似して、「水平エッジ投影」とは、エッジ検出演算子で画像IMの水平エッジHEG1〜HEG4を抽出して水平に投影することをいい、水平エッジ画像(図３C)における零でないすべての画素を水平方向に行ごとに加算し、投影値の最大の画素行(水平エッジHEG1,4の画素位置) を車両の上下エッジ位置とする。
ROI中の背景は、垂直エッジと水平エッジを有する可能性もあるので、それらの存在は、必然的に車両の左右エッジと上下エッジの決定に影響を与える。また、曇り又は晴れなどの異なる照光条件、車両の一部が遮られるか又は車両の一部が画像領域の外にある時の車両画像の不完全による影響で、車両は、そのエッジの一部を欠失する可能性があり、これも、車両の左右エッジと上下エッジの決定に影響を与え、結局、車両位置の検出精度に影響を与える。例えば、図２Ｂには、背景である建物BLの垂直エッジVEGによる影響で、車両の左右エッジの計算が間違う状況を概略に示す。図２Ｃには、背景である標識SPの水平エッジHEGによる影響で、車両の上エッジの計算が間違う状況を概略的に示す。

従来技術（特許文献1参照）には、車の下陰(車下陰という)で車両の下エッジを決定する方法が提案されている。その具体的な方法は、まず、車下陰(図2(B)、（C）のCSH)を探し出し、次に、車下陰と路面とで形成したエッジを決定し、最後に、このエッジを車両の下エッジとする。しかし、太陽（又は他の光源）の位置、撮像機の取付け高さ、道路の勾配による影響で、例えば車下へ光が漏れる場合、バックライティングのような場合、車下陰を検出できない事態が発生し、この時、車両の下エッジを決定することができない。例えば、図２Ｄには、車下の光漏れ又はバックライティングのために、車下陰を検出しない状況を概略的に示す。
特開平７−３３４７９９号公報

以上から、本発明は、従来技術の前記課題に鑑みて勘案されたものであり、車両画像を含む所定の画像領域つまりROIから抽出した車両画像の特徴に基づいて車両の左エッジ、右エッジを正確に決定して、ROIにおける車両位置を正確に決定する車両位置検出方法及び装置を提供することを目的とする。
また、本発明は、車両の下エッジ、上エッジを正確に決定して、ROIにおける車両位置を正確に決定することを他の目的とする。
また、本発明は、車両の対称性、水平及び垂直エッジ、車下陰、車体の色（又は階調）の特徴をまとめて利用して、ROIにおける車両位置を正確に決定することを他の目的とする。

・車両位置検出方法
本発明の第１態様は、車両を含む所定画像領域(関心領域ROI)における車両位置を決定する車両位置検出方法であり、前記所定画像領域から抽出した少なくとも車下陰特徴及び／又は車体色特徴を含む一種又は複数種の車両特徴により前記車両の一組又は複数組の候補左右エッジを計算し、前記候補左右エッジによって前記車両の左右エッジを決定させる左右エッジ決定ステップと、決定された各エッジで前記車両の前記画像領域での位置を決定する位置検出ステップと、を備えている。
前記車両位置検出方法は、さらに、前記左右エッジ決定ステップにおいて、算出された前記候補左右エッジが一組であるか、又は算出された複数組の候補左右エッジが同じである場合に、算出された前記候補左右エッジを車両の左右エッジとして決定し、算出された複数組の候補左右エッジが異なる場合に、所定の左右エッジ融合規則によって車両の左右エッジを決定するステップを含む。
また、前記左右エッジ決定ステップにおいて、前記車下陰特徴で前記車両の左右エッジを計算する場合、前記画像領域の車下陰の所定領域内の画素の階調によって前記車両の候補左右エッジを決定する。
また、前記左右エッジ決定ステップにおいて、前記画像領域の車下陰の所定領域内の画素の階調平均値によって、前記階調平均値より階調値の小さい画素の数が所定値以上である画素列を、前記車両の候補左右エッジとして決定する。
また、前記左右エッジ決定ステップにおいて、前記車体色特徴で前記車両の左右エッジを計算する場合に、前記画像領域の車体色の所定領域内の同色の最長水平線の左右エッジを前記車両の候補左右エッジとして決定する。
また、前記左右エッジ決定ステップは、前記画像領域から抽出した垂直エッジの投影で車両の左右エッジを計算するステップをさらに含む。それによって、本発明の車両位置検出方法によれば、車両の左右エッジを正確に決定可能であり、車両の前記画像領域での位置を正確に決定する。
前記車両位置検出方法は、前記画像領域から抽出した水平エッジの投影で前記車両の候補上下エッジをそれぞれ計算し決定する上下エッジ決定ステップをさらに含む。
また、前記上下エッジ決定ステップにおいて、前記画像領域の車下陰の所定領域内の画素の階調によって前記車両の候補下エッジを決定し、当該下エッジが、前記水平エッジの投影で算出した下エッジと異なる場合に、所定の下エッジ融合規則によって車両の下エッジを決定するステップをさらに含む。
また、前記上下エッジ決定ステップにおいて、前記画像領域の車下陰の所定領域内の画素の階調平均値によって、前記階調平均値より階調値の小さい画素の数が所定値以上である画素行を、前記車両の候補下エッジとして決定する。それによって、本発明の車両位置検出方法によれば、車両の下エッジを正確に決定可能であり、車両の前記画像領域での位置を正確に決定する。
前記車両位置検出方法は、前記上下エッジ決定ステップにおいて、さらに、前記車体色の水平階層化変化の特徴で前記車両の候補上エッジを計算し、当該上エッジが、前記水平エッジの投影で算出した上エッジと異なる場合に、所定の上エッジ融合規則によって車両の上エッジを決定する。
また、前記上下エッジ決定ステップにおいて、前記車体色の水平階層化変化の特徴で前記車両の上エッジを計算する場合に、前記画像領域の車体の所定領域内の画素行の間の階調差又は色差によって前記車両の候補上エッジを計算する。
前記車両位置検出方法は、前記画像領域から抽出した一種又は複数種の対象特徴で前記車両の高さ方向の一つ又は複数の候補対称軸を計算して、前記候補対称軸によって前記車両の対称軸を決定させる対称軸決定ステップをさらに含む。
また、前記対称軸決定ステップにおいて、算出された前記候補対称軸が一つであるか、又は算出された複数の候補対称軸が同じである場合に、算出された前記候補対称軸を車両の対称軸として決定し、算出された複数の候補対称軸が異なる場合に、所定の対称軸融合規則によって車両の対称軸を決定する。
また、前記対称軸決定ステップにおいて、前記対象特徴は、前記画像領域から抽出した輪郭対称、階調対称及びＳ分量対称の少なくとも一つを含む。また、前記輪郭対称軸を決定する画像領域が画像領域全域であり、前記階調対称軸及びＳ分量対称軸を決定する画像領域が、前記画像領域における前記車下陰の幅と、前記幅と所定の比例関係をなす高さとからなる画像領域である。それによって、本発明の車両位置検出方法は、車両の対称性、水平及び垂直エッジ、車下陰、車体の色（又は階調）の特徴をまとめて利用して、車両の前記画像領域での位置を正確に決定する。

・車両位置検出装置
本発明の第２の態様は、車両を含む所定画像領域(関心領域画像領域)における車両位置を決定する車両位置検出装置であり、前記画像領域の所定領域から抽出した少なくとも車下陰特徴及び／又は車体色特徴を含む一種又は複数種の車両特徴で前記車両の一組又は複数組の候補左右エッジを計算して、前記候補左右エッジによって前記車両の左右エッジを決定させる左右エッジ決定手段と、決定された各エッジで前記車両の前記画像領域での位置を決定する位置検出手段と、を備えることを特徴とする。前記車両位置検出装置は、前記車両位置検出方法を実現する構成を備えている。

本発明によれば、画像領域から抽出した車両画像の特徴に基づいて車両の左エッジ、右エッジを正確に決定して、車両の画像領域での位置を正確に決定することができる。
また、本発明によれば、車両の下エッジ、上エッジを正確に決定して、車両の画像領域での位置を正確に決定することができる。
また、本発明によれば、車両の対称性、水平及び垂直エッジ、車下陰、車体の色（又は階調）の特徴をまとめて利用して、画像領域における車両位置を正確に決定することができる。
また、本発明によれば、対称軸の計算が不正確であるか、又は照光、背景などにより影響が与えられても、画像領域での車両位置を正確に決定することができる。

(Ａ)車両位置検出方法
以下、図面に基づいて本発明の実施の形態を図４〜図１１を参照しながら説明する。
図４は、本発明の車両位置検出方法の主なステップを示すフローチャートである。このフローチャートでは、ビデオカメラ画像から切り取った所定画像領域ROI内に存在する車両の位置を検出し、該車両位置検出結果を出力する。
最初に、画像領域ROI内の画像を処理して車両の高さ方向の対称軸を計算し、ついで、車両の左右エッジおよび上下エッジを計算して車両の位置を決定する。

（ａ）車両の高さ方向の対称軸の計算
ステップＳ１において、輪郭対称、階調対称及びHSV色空間のS分量対称の特徴を利用して、それぞれ車両の高さ方向つまり垂直方向の対称軸を計算し、即ち、輪郭対称軸、階調対称軸及びS分量対称軸を車両の候補対称軸とする。
輪郭対称、階調対称で輪郭対称軸、階調対称軸を計算する方法は本分野の公知の技術であるので、ここでその説明を省略し、以下、S分量対称軸を計算する方法を詳しく説明する。
一般的に、HSV色空間は、色の色相(H)、飽和度(S)、輝度(V)を三つの要素として示され、人間の視覚特性に適合する色空間である。ここで、S分量つまり飽和度分量は、材料の特性に関するものである。
本発明の発明者らは、研究によって、S分量で算出したS分量対称軸が背景、照光の条件などにより影響され難いことを発見したので、前記特定の場合に車両の対称軸をより正確に決定できる。
S分量でＳ分量対称軸を計算する時に、まず、図５Aに示すようにROIにおけるS分量対称軸の計算に適用される画像領域IMAを設定する。この画像領域IMAは、ROIにおける車下陰CSHの幅Wと、該幅Wと所定の比例関係をなす高さとからなる画像領域である。図５Aは画像領域IMAの設定説明図であり、画像領域IMAの下辺を車下陰CSHの下辺が存在する行Ybc、画像領域の左右境界を車下陰CSHの左右境界X_L及びX_R、車下陰の幅WをW＝X_R−X_L、画像領域の高さHをH＝0.9Wに設定する。ここで、車下陰の下辺が存在する行Ybcの計算の詳細は、後述するステップS7を参照し、車下陰の左右境界X_L及びX_Rの計算の詳細は、ステップＳ４を参照されたい。

次に、図５Bに示すようにROIに設定された前記画像領域IMA内の第ｊ列の画素列の左右Δx範囲内のS分量の差S(j)を(1)式により計算し、S(j)が最小になる画素列jを求めれば,該j列がS分量で算出したS分量対称軸となる。ただし、Δx=1〜W/2である。

（１）
ここで、P(x，y）は、画像のS分量値である。
以上、S分量対称軸を計算する一つの好ましい実施例だけであり、本発明においてS分量対称軸を計算する方法はこれに限られなく、具体的な状況に応じて変更してもよい。
次に、ステップS2において、ステップS1で算出された輪郭対称軸、階調対称軸及びS分量対称軸のような三つの候補対称軸は、所定の対称軸融合規則によって融合されることによって、車両の高さ方向の対称軸を決定する。

対称軸を融合し決定する具体的な方法は、必要に応じて予め決めることができる。以下、図６を参照しながら対称軸融合規則の例を説明するが、本発明において複数の候補対称軸を融合する方法はこれに限られない。
図６は、本発明の三つの対称軸を融合することによって車両の高さ方向の対称軸を決定することを示すフローチャートである。
三つの候補対称軸が同じであれば、すなわち、３つの候補対称軸のX座標値（水平軸座標値）がｘ₁，ｘ₂，ｘ₃であるときｘ₁＝ｘ₂＝ｘ₃であれば、あるいは近似していれば、すなわち、任意の二つの対称軸間の距離が所定値以下であれば、三つの候補対称軸のうち中間の対称軸を車両の対称軸として決定する(ステップ１０１−１０３)。
三つの候補対称軸のうち二つの候補対称軸が同じであれば、すなわちｘ₁＝ｘ₂であれば、又は近似していれば、すなわち、二つの対称軸間の距離が所定値Δ以下であれば(｜ｘ₁―ｘ₂｜≦Δ)、この二つの候補対称軸の中心を車両の対称軸として決定する(ステップ１０４−１０５)。
三つの候補対称軸がすべて異なれば、即ち、任意の二つの候補対称軸の間の距離がいずれも所定値より大きければ、輪郭対称軸を車両の対称軸として決定する(ステップ１０６)。
前記のように、まず候補対称軸、特にS分量対称軸を算出し、次に、所定の融合規則によってそれを融合して車両の対称軸を決定する。このようにすれば、背景、照光条件などにより影響され難く、車両の対称軸の決定精度を向上させることができる。

また、従来の技術において、異なる候補対称軸を計算する時に、一般的に、対称軸の計算に関与する領域がROI全域である。ROI全域は、一部の背景画像を含む可能性があるので、ROI全域に基づいて対称軸を計算することは、対称軸の計算が不正確になる。これに対し、本発明において、状況に応じて異なる画像領域を用いて対称軸を計算する。例えば、輪郭対称軸を計算する画像領域はROI全域であり、階調対称軸及び分量対称軸を計算する画像領域は、ROIにおける車下陰の幅と、この幅と所定の比例関係をなす高さとからなる画像領域IMAである。このように、対称軸に対してROIにおける背景による影響を減少させ、計算量を減少することができる。
また、ここで、三つの候補対称軸をそれぞれ計算して車両の対称軸を決定する例を挙げたが、本発明はこれに限られなく、状況に応じて変更してもよく、例えば、必要に応じて一つだけの対称軸を計算するか、又はより多い対称軸を計算してもよく、さらに、必要に応じて適当な対称軸融合規則を決定してもよい。

(ｂ)車両の左右エッジを計算し決定する
ステップS3において、垂直エッジ投影算法で車両の左右エッジ、つまり車両の高さ方向の垂直エッジを計算する。まず、Sobelなどのエッジ検出演算子でROI内の垂直エッジを抽出する。次に、対称性の制約に基づいて濾過して、対称軸に対して対称でない画素を取り除く。それは、これら画素が車両の輪郭に属しないノイズ画像である可能性があるからである。濾過した垂直エッジ画像を得た後、垂直投影の方法で車両の左右エッジを計算し、候補の左右エッジとする。
次に、ステップＳ４において、車下陰、車体色特徴でそれぞれ車両の左右エッジを計算して、候補の左右エッジとする。ステップＳ３において、垂直エッジの投影で左右エッジを算出したが、実際的な利用において、環境及び背景の複雑性のために、垂直エッジ投影算法で車両の左右エッジを決定することは、以下の問題がある。例えば、垂直エッジ投影算法が車両の高さ方向の対称軸を利用するため、決定される対称軸が不正確である場合に、垂直投影で算出した車両の左右エッジは不正確である。かつ、対称軸を正確に計算しても、垂直エッジ投影算法が背景の垂直エッジにより影響されやすいので、車両の左右エッジを正確に決定できない場合がある。
そのため、本発明は、車下陰の左右境界、車体色特徴でそれぞれ車両の左右エッジを計算して、候補の左右エッジとする方法を提案する。

次に、車下陰の左右境界で車両の左右エッジを計算する方法を説明する。
「車下陰」とは、車の下の車陰をいう。車下陰の左右エッジを車両の左右エッジとする。通常、車下陰は、車両の垂直エッジよりも安定な車両特徴であるので、車下陰で算出した車両の左右エッジは、より安定でかつ正確である。
まず、ROIにおいて車下陰を計算するための画像領域IMB、つまりいわゆる「車下陰の所定領域」を設定する。図７に示すように、ROI全域に対して計算を行うことができるが、適当な範囲を選択することは、計算量を減少し、かつ、より正確に計算することができる。例えば、ROIの下半部を、車両の左右エッジを計算する時に用いられる画像領域IMBとして設定する。その後、この画像領域内の階調平均値を計算して、かつ、設定された領域内にこの平均値より小さい画素を、車下陰CSHを構成する画素候補としてマークする。その後、車下陰CSHの左右エッジLEG,REGを算出する。まず、前記画像領域IMB内にマークされる画素が最も多い列を算出し、この画素列においてマークされる画素の数を、車下陰の左右エッジを捜索するための閾値T_Cとする。次に、画素列においてマークされる画素の数をCcとし、設定された領域を左から右へ列ごとに捜索し、条件Cc≧Tc×α（０＜α＜１、かつαは定数であり、経験に応じて適当に設定される）を満たす第１の列は、車下陰CSHの左エッジLEGであり、X_Lとする。車下陰の右エッジREGに対する決定は、左エッジと同じであり、X_Rとする。

以上により、車下陰CSHで車両の左右エッジを計算する方法を説明した。次に、図８を参照しながら車体色で車両の左右エッジを計算する方法を説明する。図８は、車体色で車両の左右エッジを計算するフローチャートである。
「車体色の特徴で車両の左右エッジを決定する」とは、簡単に言えば、ROIにおいて車体上の最長の同色の水平線の左右境界を見つけることをいう。まず、ステップS420において、図９Aに示すようにROIにおける車体色を計算するための画像領域IMC、つまりいわゆる「車体色の所定領域」を設定する。ROI全域を計算することができるが、適当な範囲を選択することは、計算量を減少し、かつ計算をより正確にさせることができる。この画像領域IMCの下辺が、車下陰CSHの上辺が存在する画素行Ytcであると設定し、この画像領域の左右境界が車下陰CSHの左右境界X_L−Δ、X_R＋Δであると設定し、この画像領域の高さがH＝0.6W、車下陰の幅W＝X_R −X_Lと設定する。ここで、車下陰CSHの上辺が存在する行Ytcの計算の詳細は、ステップS7を参照し、車下陰の左右境界X_LとX_Rの計算の詳細はステップＳ４を参照する。

次に、ステップS421において図９Aに示すように、前記画像領域IMC、つまり車体色の所定領域内の車両対称軸の左側の領域内に、同色の水平線を捜索するための所定サイズの小窓SWDを設定する。この小窓内において、列毎に画素の階調平均値を計算し、隣接する画素列の階調平均値を比較し、平均値の差が所定の閾値より小さいと、この二つの列の色が同じであると認める。小窓内において同じ色の連続数が最大となる列を計算し、このような連続列は、この小窓内に探し出した最長の同色の水平線を代表し、この連続列の開始列と終止列は、水平線の左右端点である。前記のように、前記画像領域内に、小窓SWDが全域を移動し（下から上へ小窓を移動させる）、小窓内毎に最長水平線を取得し、すべての各小窓の最長水平線から最長の一つを見つけ、この最長の一つは、対称軸左側の領域内に探し出した最長水平線である。対称軸右側の最長水平線を探し出す方法は、左側と同じである。
最後に、ステップS422において、図９Bに示すように対称軸左側の最長水平線LHLの左端点を車両の左エッジとし、対称軸右側の最長水平線RHLの右端点を車両の右エッジとする。
以上、それぞれ車下陰、車体色の特徴で車両の左右エッジを計算する方法を説明した。その内、車体色の特徴で車両の左右エッジを計算する方法では車両対称軸を考慮したが、対称軸に対して左右の二つの画像領域を分けて計算せず、画像領域全域内の車体上の最長の同じ色の水平線の左右境界を計算することもできる。

以下、図４に戻って、算出した三対の候補左右エッジを利用して所定の左右エッジ融合規則で車両の左右エッジを決定する方法を引き続き説明する。ステップS5において、所定の左右エッジ融合規則で、ステップS3とステップS4で算出した三対の候補左右エッジを融合して、最終の車両の左右エッジを取得する。図１０は三対の候補左右エッジを融合することによって車両の左右エッジを決定する左右エッジ融合規則の処理フロー例である。この図１０に示す左右エッジ融合規則のフローチャートは、図６に示す対称軸融合規則のフローと相似するので、ここで、その詳細な説明を省略する。なお、発明の左右エッジ融合規則はこれに限られなく、状況に応じて変更することができる。

（ｃ）車両の上下エッジを計算
ステップS6において、水平エッジ投影で車両の候補上下エッジを計算する。具体的には、車両の左右エッジを決定した後、左右エッジの間に一つの垂直ストリップ領域が得られる。この垂直ストリップ領域内に、左右エッジの位置を検出する手法と類似する手法で、Sobelなどのエッジ演算子でROI内に画像の水平エッジを抽出し、従来の技術における水平投影法で車両の候補上下エッジを算出する。
次に、ステップS7において、車下陰CSHで車両の下エッジを計算する。すなわち、車下陰CSHの下エッジを車両の下エッジとする。車下陰の下エッジを決定するために、まず、図７に示した所定画像領域IMB内にマークされる画素が最も多い行を算出し、この画素行におけるマークされる画素の数を、車下陰の下エッジを捜索するための閾値Trとし、次に、ある行のマークされる画素の数をCrとし、設定された領域を下から上へ行ごとに捜索し、条件Cr≧Tr×α₁(0＜α₁＜1、かつα₁は定数であり、状況に応じて適当に設定される）を満たす第１の行は、車下陰CSHの下エッジであり、Ybcとする。
ここで、車下陰CSHの上エッジを計算する方法を簡単に説明する。マークされる画素が最も多い行から上へ捜索し、条件Cr≦Tr×β(0＜β＜1、かつβは定数であり、状況に応じて適当に設定される）を満たす第１の行は、車下陰の上エッジであり、Ytcとする。次に、ステップS8において、車体色の水平階層化変化の特徴で車両の候補上エッジを計算する。車両の上方に小さい広告看板、標識又は他の背景がある場合に、それらの水平エッジは、車両の上エッジであると不当に認めやすい。この問題を解決するために、本発明において、車両が顕著な水平構造を有する特徴、特に、これら水平構造の上下に色が変更する特徴で上エッジを決定する。車体色の水平階層化変化の概念図は、図１１である。

以下、車体色の水平階層化変化の特徴で車両の候補上エッジを計算する方法を簡単に説明する。まず、ROIにおいて車体色の水平階層化変化を計算するための画像領域IMDを設定する。ROI全域に対して計算を行うことができるが、適当な範囲を選択することは、計算量を減少し、かつ、より正確に計算することができる。この画像領域IMDの下辺は、車下陰CSHの上辺が存在する行Ytcであり、画像領域の左右境界は、ステップS5で決定した車両の左右エッジLEG、REGであり、画像領域IMDの上辺はIT＝Ytc−V_Wである(V_W は車両の幅であり、V_W＝X_L−X_R）。
次に、画像領域内の各行の画素の階調平均値を計算する。最後に、以下のように階調平均値が突然変化する画素行を算出する。即ち、画像設定領域内において、上から下までｉ行目とｉ+Δ行目の階調平均値を比較し、この二つの行の階調平均値の差が所定の閾値T1より大きけいと、この二つの行の画素を１列ずつ比較して、かつ画素の階調差が所定の閾値T1より大きい画素の数を統計し、画素の数が所定の閾値T2より大きいとｉ行目を階調突然変化の行とする。画像領域内における一番上方の第１の突然変化の行を車両の上エッジとする。

以上、水平エッジ投影、車下陰及び車体色の水平階層化変化でそれぞれ車両の候補上エッジ、候補下エッジを計算する方法を説明した。以下、図４に戻って、前記候補上下エッジで車両の上下エッジを決定する方法を説明する。
ステップＳ９において、所定の下エッジ融合規則で、算出した二つの候補下エッジから最終の車両の下エッジを決定する。下エッジ融合の規則は以下のようであるが、本発明の下エッジ融合規則はこれに限られない。
(1)車下陰CSHを検出しないと、水平投影で決定した下エッジを車両の下エッジとする。
(2)車下陰CSHの下エッジが車両の重心の下方にあると、該車下陰の下エッジを車両の下エッジとし、さもなければ、水平投影で決定した下エッジを車両の下エッジとする。
本発明で下エッジを計算することは、車両の下部が暗い場合、明らかな水平下エッジを見つけられないか、又は間違い水平下エッジを見つけるので、ステップS6の水平投影の方法だけを用いることは、車両の下辺を決定できないか、又は間違い下辺を決定する。また、車下陰CSHで車両の下エッジを決定する方法については、画像上に車下陰を検出できない場合に、車両の下エッジを決定できない。これら問題を解決するために、本発明は、水平エッジ投影及び車下陰を組み合わせる方法で車両の下エッジを決定することを提案した。

次に、ステップS10において、算出した二つの候補上エッジを、所定の上エッジ融合規則で融合して、車両の上エッジを決定する。上エッジ融合規則については、以下の例を挙げるが、本発明の上エッジ融合規則はこれに限られない。
(1)車体色の水平階層化変化の特徴で決定された上エッジは、水平エッジ投影で決定された上エッジ以上である場合に、車両のアスペクト比を満たすと、車体色の水平階層化変化の特徴で決定された上エッジを車両の上エッジとし、車両のアスペクト比を満たさないと、水平エッジ投影で決定された上エッジを車両の上エッジとする。
（2）水平エッジ投影で決定された上エッジは、車体色の水平階層化変化の特徴で決定された上エッジ以上である場合に、車両のアスペクト比を満たすと、水平エッジ投影で決定された上エッジを車両の上エッジとし、車両のアスペクト比を満たさないと、車体色の水平階層化変化の特徴で決定された上エッジを車両の上エッジとする。

（ｄ）車両の位置を決定する
ステップS11において、決定された車両の各エッジでROIにおける車両位置(たとえばディスプレイ画面における各エッジの座標値)を決定する。
図４に示す車両位置検出のフローチャートは一つの例だけであり、本発明の車両位置検出方法はこれに限られなく、状況に応じてそれを変更してもよい。例えば、図４のフローチャートにおいて、車両の対称軸、左右エッジ、上下エッジを全て決定するステップを有するが、ROIにおける車両位置の検出は、対称軸、左右エッジ、上下エッジの一部を決定するだけでも良い。例えば、車両の左右エッジは本発明方法を用いて決定し、他の車両の対称軸及び／又は車両の上下エッジは本発明と異なる別の従来技術を用いて決定することができる。又は、本発明により左右エッジ又は上下エッジだけを計算することによって車両のROIでの位置を検出してもよい。

(Ｂ)車両位置検出装置
図１２は本発明の車両位置検出装置１００の構成図である。以下、図１２を参照しながら車両位置検出装置１００の主な構成を詳しく説明する。
図１２において、車両位置検出装置１００は、対称軸決定手段１０１と、左右エッジ決定手段１０２と、上下エッジ決定手段１０３と、位置検出手段１０４とを備えるが、状況に応じて変更することができる。例えば、図１２において車両位置検出装置１００は、対称軸決定手段、左右エッジ決定手段及び上下エッジ決定手段を備えるが、対称軸決定手段を設置せず、左右エッジ決定手段又は上下エッジ決定手段だけを設置してもよい。また、本発明の車両位置検出装置１００は、基本的には既述の車両位置検出方法を実現することにより車両位置を検出するが、図では各種の融合装置を省略している。

図１２に示すように、ROI入力装置２００は、ビデオカメラ画像から所定画像領域ROI内の画像を切り取って車両位置検出装置１００に入力し、車両位置検出装置１００は該ROI内の車両位置を検出し、該車両位置検出結果を出力する。
すなわち、対称軸決定手段１０１は、ROI内の画像から抽出した一種又は複数種の対象特徴を用いて車両の高さ方向の一つ又は複数の候補対称軸を計算して、候補対称軸で車両の対称軸を決定する。ここで、対象特徴がROI内画像から抽出した輪郭対称、階調対称及びS分量対称のうち少なくとも一つを含むことは好ましい。さらに、輪郭対称軸を決定する画像領域がROI全域であり、階調対称軸及びS分量対称軸を決定する画像領域がROIにおける車下陰CSHの幅と、この幅と所定の比例関係をなす高さとからなる画像領域であることが好ましい。
左右エッジ決定手段１０２は、ROIの所定領域から抽出した一種又は複数種の車両特徴を用いて車両の一組又は複数組の候補左右エッジを計算して、候補左右エッジで車両の左右エッジを決定する。その内、車両特徴は、少なくとも車下陰特徴及び／又は車体色特徴を含む。また、左右エッジ決定手段１０２において、車下陰特徴で車両の左右エッジを計算するときに、ROIにおける車下陰の所定領域内の画素の階調で車両の候補左右エッジを決定する。また、左右エッジ決定手段１０２において、車両色の特徴で車両の左右エッジを計算するときに、ROIにおける車体色の所定領域内の最長の同じ色の水平線の左右エッジで車両の候補左右エッジを決定する。左右エッジ決定手段１０２において、ROIから抽出した垂直エッジの投影で車両の左右エッジを計算する。

上下エッジ決定手段１０３は、ROIから抽出した水平エッジの投影で車両の候補上下エッジそれぞれを計算し決定する。上下エッジ決定手段１０３において、ROIの車下陰の所定領域内の画素の階調で車両の候補下エッジを決定し、この下エッジと水平エッジの投影で算出した下エッジとが異なれば、所定の下エッジ融合規則で車両の下エッジを決定する。上下エッジ決定手段１０３において、ROIにおける車下陰の所定領域内の画素の階調平均値で、階調値が階調平均値より小さい画素の数が所定値以上である画素行を、車両の候補下エッジとして決定する。
上下エッジ決定手段１０３において、車体色の水平階層化変化の特徴で車両の候補上エッジを計算し、この上エッジが、水平エッジの投影で算出した上エッジと異なれば、所定の上エッジ融合規則によって車両の上エッジを決定する。上下エッジ決定ステップ１０３において、車体色の水平階層化変化の特徴で車両の上エッジを計算するときに、ROIにおける車体の所定領域内の画素行の間の階調差又は色差によって車両の候補上エッジを決定する。位置検出手段１０４は、決定された各エッジで車両のROI内での位置を決定して出力する。
以上の説明では、ビデオカメラ画像から切り取った車両を含む所定の画像領域をROIとして説明したが、1フレーム画面に相当する画像領域をROIとすることができる。
以上、本発明の位置検出方法及び装置によれば、車両の高さ方向の対称軸を正確に決定することができる。また、車下陰と車体色の特徴を組合せたので、対称軸の計算が不正確であっても、正確な車両左右エッジが得られる。最後に、車両の水平エッジの投影、車下陰及び車体色の水平階層化変化の特徴を組み合わせたので、上下エッジの位置検出はより正確になる。また、本発明の位置検出方法及び装置によれば、利用範囲が広く、照光、背景により影響され難く、車両画像が不完全である場合、及び、車両が曲がる時に車頭が傾斜する場合にも位置検出を行うことができる。

図１は従来技術において車両位置を検出するフローチャートである。 図２は従来技術の問題点説明図である。 垂直エッジ投影の方法で車両の左右エッジを決定し、水平エッジ投影の方法で車両の上下エッジを決定する方法の説明図である。 本発明の車両位置検出方法のフローチャートである。 S分量対称軸の計算方法説明図である。 三つの候補対称軸を融合する処理を説明するフローチャートである。 車下陰を計算するための画像領域IMBの設定方法説明図である。 車体の色で車両の左右エッジを計算するフローチャートである。 車体の色で車両の左右エッジを計算する方法の説明図である。 三組の候補左右エッジを融合することによって車両の左右エッジを決定するフローチャートである。 車体色の水平階層化変化に基づいて上エッジを決定する方法の説明図である。 本発明の車両位置検出装置における主な構成要素を示すブロック図である。

符号の説明

S１ 車両の輪郭対称、階調対称、HSV色空間のS分量対称の特徴でそれぞれの対称軸を計算するステップ
S2 三つの対称軸の融合するステップ
S3 垂直エッジ投影で車両の左右エッジを決定するステップ
S4 車下陰、車体色の特徴で車両の左右エッジをそれぞれ計算するステップ
S5 左右エッジの融合するステップ
S6 水平エッジ投影で車両の上下エッジを計算するステップ
S7 車下陰で車両の下エッジを計算するステップ
S8 車体色の水平階層化変化の特徴で車両の上エッジを計算するステップ
S9 下エッジの融合するステップ
S10 上エッジの融合するステップ
S11 位置検出結果するステップ

Claims (30)

1. 車両を含む所定画像領域における車両位置を決定する車両位置検出方法において、
   前記画像領域から抽出した少なくとも車下陰特徴及び／又は車体色特徴を含む一種又は複数種の車両特徴により前記車両の一組又は複数組の候補左右エッジを計算して、前記候補左右エッジによって前記車両の左右エッジを決定する左右エッジ決定ステップと、
   決定された各エッジで前記車両の前記画像領域における位置を決定する位置検出ステップと、
   を備えることを特徴とする車両位置検出方法。
2. 前記左右エッジ決定ステップは、前記算出された前記候補左右エッジが一組の場合、又は候補左右エッジが複数組で、前記算出された複数組の候補左右エッジが同じである場合、算出された前記候補左右エッジを車両の左右エッジとして決定するステップ、
   算出された複数組の候補左右エッジが異なる場合、所定の左右エッジ融合規則によって車両の左右エッジを決定するステップ、
   を含むことを特徴とする請求項１記載の車両位置検出方法。
3. 前記左右エッジ決定ステップにおいて、前記車下陰特徴で前記車両の左右エッジを計算する場合、前記画像領域における車下陰の所定領域内の画素の階調によって前記車両の候補左右エッジを決定する、ことを特徴とする請求項２記載の車両位置検出方法。
4. 前記左右エッジ決定ステップにおいて、前記画像領域における車下陰の所定領域内の画素の階調平均値によって、前記階調平均値より階調値の小さい画素の数が所定値以上である画素列を、前記車両の候補左右エッジとして決定する、ことを特徴とする請求項３記載の車両位置検出方法。
5. 前記左右エッジ決定ステップにおいて、前記車体色特徴で前記車両の左右エッジを計算する場合に、前記画像領域の車体色の所定領域内の同色の最長水平線の左右エッジを前記車両の候補左右エッジとして決定することを特徴とする請求項２記載の車両位置検出方法。
6. 前記左右エッジ決定ステップは、前記画像領域から抽出した垂直エッジの投影で車両の左右エッジを計算するステップをさらに含む、
   ことを特徴とする請求項１〜５の何れか一項に記載の車両位置検出方法。
7. 前記画像領域から抽出した水平エッジの投影で前記車両の候補上下エッジをそれぞれ計算して決定する上下エッジ決定ステップをさらに含む、
   ことを特徴とする請求項１〜５の何れか一項に記載の車両位置検出方法。
8. 前記上下エッジ決定ステップにおいて、前記画像領域の車下陰の所定領域内の画素の階調によって前記車両の候補下エッジを決定し、当該下エッジが、前記水平エッジの投影で算出した下エッジと異なる場合に、所定の下エッジ融合規則によって車両の下エッジを決定するステップをさらに含む、
   ことを特徴とする請求項７記載の車両位置検出方法。
9. 前記上下エッジ決定ステップにおいて、前記画像領域の車下陰の所定領域内の画素の階調平均値によって、前記階調平均値より階調値の小さい画素の数が所定値以上である画素行を、前記車両の候補下エッジとして決定する、
   ことを特徴とする請求項８記載の車両位置検出方法。
10. 前記上下エッジ決定ステップにおいて、さらに、前記車体色の水平階層化変化の特徴で前記車両の候補上エッジを計算し、当該上エッジが、前記水平エッジの投影で算出した上エッジと異なる場合、所定の上エッジ融合規則によって車両の上エッジを決定する、
    ことを特徴とする請求項７記載の車両位置検出方法。
11. 前記上下エッジ決定ステップにおいて、前記車体色の水平階層化変化の特徴で前記車の上エッジを計算する場合、前記画像領域の車体の所定領域内の画素行の間の階調差又は色差によって前記車両の候補上エッジを計算する、
    ことを特徴とする請求項１０記載の車両位置検出方法。
12. 前記画像領域から抽出した一種又は複数種の対象特徴で前記車両の高さ方向の一つ又は複数の候補対称軸を計算して、前記候補対称軸によって前記車両の対称軸を決定する対称軸決定ステップをさらに含む、
    ことを特徴とする請求項２記載の車両位置検出方法。
13. 前記対称軸決定ステップにおいて、算出された前記候補対称軸が一つであるか、又は算出された複数の候補対称軸が同じである場合に、算出された前記候補対称軸を車両の対称軸として決定し、算出された複数の候補対称軸が異なる場合に、所定の対称軸融合規則によって車両の対称軸を決定することを特徴とする請求項１２記載の車両位置検出方法。
14. 前記対称軸決定ステップにおいて、前記対象特徴は、前記画像領域から抽出した輪郭対称、階調対称及びS分量対称の少なくとも一つを含む、
    ことを特徴とする請求項１２記載の車両位置検出方法。
15. 前記輪郭対称軸を決定する画像領域が画像領域全域であり、前記階調対称軸及びS分量対称軸を決定する画像領域が、前記画像領域における前記車下陰の幅と、前記幅と所定の比例関係をなす高さとからなる画像領域である、
    ことを特徴とする請求項１４記載の車両位置検出方法。
16. 車両を含む所定画像領域における車両位置を決定する車両位置検出装置において、
    前記画像領域の所定領域から抽出した少なくとも車下陰特徴及び／又は車体色特徴を含む一種又は複数種の車両特徴で前記車両の一組又は複数組の候補左右エッジを計算して、前記候補左右エッジによって前記車両の左右エッジを決定する左右エッジ決定手段と、
    決定された各エッジで前記車両の前記画像領域における位置を決定する位置検出手段と、を備えることを特徴とする車両位置検出装置。
17. 前記左右エッジ決定手段は、前記算出された前記候補左右エッジが一組の場合、又は候補左右エッジが複数組で、前記算出された複数組の候補左右エッジが同じである場合、算出された前記候補左右エッジを車両の左右エッジとして決定し、算出された複数組の候補左右エッジが異なる場合、所定の左右エッジ融合規則によって車両の左右エッジを決定する手段をさらに含むことを特徴とする請求項１６記載の車両位置検出装置。
18. 前記左右エッジ決定手段において、前記車下陰特徴で前記車両の左右エッジを計算する場合、前記画像領域の車下陰の所定領域内の画素の階調によって前記車両の候補左右エッジを決定する、
    ことを特徴とする請求項１７記載の車両位置検出装置。
19. 前記左右エッジ決定手段において、前記画像領域の車下陰の所定領域内の画素の階調平均値によって、前記階調平均値より階調値の小さい画素の数が所定値以上である画素列を、前記車両の候補左右エッジとして決定する、
    ことを特徴とする請求項１８記載の車両位置検出装置。
20. 前記左右エッジ決定手段において、前記車体色特徴で前記車両の左右エッジを計算する場合、前記画像領域の車体色の所定領域内の同色の最長水平線の左右エッジによって前記車両の候補左右エッジを決定する、
    ことを特徴とする請求項１７記載の車両位置検出装置。
21. 前記左右エッジ決定手段は、前記画像領域から抽出した垂直エッジの投影で車両の左右エッジを計算する手段をさらに含む、
    ことを特徴とする請求項１６〜２０の何れか一項に記載の車両位置検出装置。
22. 前記画像領域から抽出した水平エッジの投影で前記車両の候補上下エッジをそれぞれ計算し決定する上下エッジ決定手段をさらに含む、
    ことを特徴とする請求項１６〜２０の何れか一項に記載の車両位置検出装置。
23. 前記上下エッジ決定手段は、前記画像領域の車下陰の所定領域内の画素の階調によって前記車両の候補下エッジを決定し、当該下エッジが、前記水平エッジの投影で算出した下エッジと異なる場合に、所定の下エッジ融合規則によって車両の下エッジを決定する手段をさらに含む、
    ことを特徴とする請求項２２記載の車両位置検出装置。
24. 前記上下エッジ決定手段において、前記画像領域の車下陰の所定領域内の画素の階調平均値によって、前記階調平均値より階調値の小さい画素の数が所定値以上である画素行を、前記車両の候補下エッジとして決定する、
    ことを特徴とする請求項２３記載の車両位置検出装置。
25. 前記上下エッジ決定手段において、さらに、前記車体色の水平階層化変化の特徴で前記車両の候補上エッジを計算し、当該上エッジが、前記水平エッジの投影で算出した上エッジと異なる場合に、所定の上エッジ融合規則によって車両の上エッジを決定する、ことを特徴とする請求項２２記載の車両位置検出装置。
26. 前記上下エッジ決定手段において、前記車体色の水平階層化変化の特徴で前記車両の上エッジを計算する場合に、前記画像領域の車体の所定領域内の画素行の間の階調差又は色差によって前記車両の候補上エッジを計算する、
    ことを特徴とする請求項２５記載の車両位置検出装置。
27. 前記画像領域から抽出した一種又は複数種の対象特徴で前記車両の高さ方向の一つ又は複数の候補対称軸を計算し、前記候補対称軸によって前記車両の対称軸を決定する対称軸決定手段をさらに含む、
    ことを特徴とする請求項１６記載の車両位置検出装置。
28. 前記対称軸決定手段において、算出された前記候補対称軸が一つであるか、又は算出された複数の候補対称軸が同じである場合に、算出された前記候補対称軸を車両の対称軸として決定し、算出された複数の候補対称軸が異なる場合に、所定の対称軸融合規則によって車両の対称軸を決定する、
    ことを特徴とする請求項２７記載の車両位置検出装置。
29. 前記対称軸決定手段において、前記対象特徴が、前記画像領域から抽出した輪郭対称、階調対称及びS分量対称の少なくとも一つを含むことを特徴とする請求項２７記載の車両位置検出装置。
30. 画像領域全域で前記輪郭対称軸の画像領域を決定し、前記画像領域における前記車下陰の幅と前記幅と所定の比例関係をなす高さとからなる画像領域で前記階調対称軸及びS分量対称軸の画像領域を決定する、
    ことを特徴とする請求項２９記載の車両位置検出装置。

Images