JP2003208692A - 車両認識方法およびこの方法を用いた交通流計測装置 - Google Patents

Abstract

(57)【要約】 【課題】 エピポーララインのずれの影響を受けにくい
３次元計測処理を行って、車両の認識精度を高める。 【解決手段】 各カメラ１ａ，１ｂは、車両の走行方向
に光軸を向けて縦並びに配備される。制御装置２では、
初期設定時に、設定用通信部１４や抽出範囲設定部１５
により、３次元計測処理の基準画像となるカメラ１ｂか
らの画像上に現れる車両の横幅成分の向きの範囲が設定
され、抽出範囲記憶部１６に登録される。交通流の計測
処理時には、特徴点特定部８は、特徴点抽出部７により
抽出された基準画像上の特徴点の中から、前記抽出範囲
記憶部１６に登録された向きの範囲に適合するエッジの
構成点を３次元計測の処理対象として特定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、道路の近傍に撮
像手段を設置して道路を撮像させ、得られた画像を処理
して前記道路上の車両を認識する方法、およびこの方法
を用いて交通流の計測処理を行う装置に関連する。

【０００２】

【従来の技術】出願人は、以前に、道路の近傍に２台の
カメラを設置し、各カメラからの画像を用いて走行中の
車両を認識する方法を提案した（特開平９−３３２３２
号）。この方法では、縦並びに配備された２台のカメラ
により走行中の車両を前方の斜め上方位置から撮像し、
各カメラにより得られた画像から車両を示す特徴点を抽
出して、その点に対応する３次元座標を算出する。つぎ
に道路に沿って設定された仮想垂直平面に各３次元座標
を投影することによって各車両の側面形状を抽出した
後、この抽出結果に車両の２次元モデルを用いたパター
ンマッチング処理を施すことにより、各車両を切り分け
て認識する。

【０００３】図９および図１０は、前記車両の認識処理
に用いられる３次元計測処理の原理を示す。図中、５０
Ｕ，５０Ｌは、各カメラの撮像面を一次元状に表したも
のであり、５１Ｕ，５１Ｌは、各カメラのレンズ、
Ｃ_U，Ｃ_Lは、撮像面５０Ｕ，５０Ｌの中心点である。ま
たＢは各カメラのレンズ中心間の距離（基線長）であ
り、ｆは各カメラの焦点距離である。

【０００４】上記のような撮像系により空間上の任意の
点Ｐｉ（ｉ＝１，２・・・）を撮像すると、各撮像面５
０Ｕ，５０Ｌ間における点Ｐｉの結像位置には所定のず
れが生じる。ここで実際の空間において、前記点Ｐｉの
各結像位置間の距離をａｉとおくと、点Ｐｉに対する各
カメラ間の視差ｄｉは、下記の（１）式により求められ
る。またこの視差ｄｉ，前記基線長Ｂ，および焦点距離
ｆを（２）式にあてはめることによって、基線から点Ｐ
ｉまでの距離Ｌｉを求めることができる。

【０００５】ｄｉ＝ａｉ−Ｂ ・・・（１） Ｌｉ＝Ｂ・ｆ／ｄｉ ・・・（２）

【０００６】３次元計測処理では、上記の原理に基づ
き、各カメラからの画像間において、空間内の同じ点を
示す特徴点を対応づけし、これら特徴点の２次元座標を
用いて３次元座標を算出するようにしている。なお、空
間内の一点Ｐが各カメラの撮像面５０Ｕ，５０Ｌに結像
する場合、各カメラにより得られる画像Ｇ_U，Ｇ_L上の像
点Ｑ_U，Ｑ_Lは、カメラの配置関係に基づく所定の直線
（エピポーラライン）上に位置する。特に、上下のカメ
ラを、各光軸を平行にし、かつ各撮像面５０Ｕ，５０Ｌ
が同一平面上に位置するような関係をもって設置する
と、図１０に示すように、エピポーララインＥＬは、各
画像Ｇ_U，Ｇ_Lのｙ軸に平行となる。

【０００７】前記した車両認識処理では、この原理に基
づき、一方の画像上の任意の特徴点につき、ｙ軸に平行
なエピポーララインＥＬを設定した後、他方の画像にお
いて、このエピポーララインＥＬに沿って前記特徴点に
対応する点を検索する。図１１は、この方法による特徴
点の対応づけ処理の具体例を示す。図示例では、下方の
カメラからの画像Ｇ_Lを基準画像として、この画像上の
所定の特徴点Ｑ_Lのｘ座標に基づいてエピポーラライン
ＥＬを設定し、上方のカメラからの画像Ｇ _U（以下、
「比較画像Ｇ_U」という。）において、このエピポーラ
ラインＥＬに沿って特徴点Ｑ_Lへの対応点Ｑ_Uを検索する
処理が行われる。なお、この検索処理では、エピポーラ
ラインＥＬに沿って所定大きさの検索領域を走査しつ
つ、検索領域内の画像データを、特徴点Ｑ_Lを中心とす
る同じ大きさの領域内の画像データと比較し、最も類似
度の高い走査位置に対応点Ｑ_Uが存在するものと判断す
る。

【０００８】

【発明が解決しようとする課題】このように理論上は、
基準画像上の特徴点のｘ座標に基づいてエピポーラライ
ンを設定し、このエピポーララインに沿って対応点の検
索処理を行うことができる。しかしながら現実には、同
じ機種のカメラを用いても、カメラ間の個体差やカメラ
の取り付け状態によって光軸や撮像面の位置に微妙なず
れが生じ、この結果、基準画像と検索画像との間のエピ
ポーララインにも、ピクセル単位のずれが生じる。この
ずれは、ソフトウェア処理によりある程度は補正するこ
とができるが、この補正には限界がある。

【０００９】このようにエピポーララインにずれが生じ
ると、前記対応点の検索処理において、検索画像では、
本来の対応点とは異なる点が抽出されてしまう。このた
め、３次元計測処理の精度が低下し、交通流を精度良く
計測できなくなる虞が生じる。

【００１０】図１２は、エッジの傾きが視差に及ぼす影
響を示す。図１２（１）（２）は、それぞれ前記図１１
の基準画像Ｇ_L上に破線で示した領域Ａ，Ｂ内の画像を
拡大したものであり、ＥＬは本来のエピポーラライン、
ＥＬ´は位置ずれして設定されたエピポーララインであ
る。

【００１１】画像領域Ａは、車両のボンネットとフロン
トガラスとの境界線の一部にかかるように設定されてお
り、この画像領域Ａ内には前記特徴点Ｑ_Lが含まれてい
る。この特徴点Ｑ_Lへの対応点を検索する場合、検索画
像Ｇ_Uでは、位置ずれしたエピポーララインＥＬ´に沿
って対応点の検索が行われる。前記したように、対応点
の検索処理では、処理対象の特徴点Ｑ_Lに周囲近傍の画
像データが類似する点を抽出するので、基準画像Ｇ_L上
においてエピポーララインＥＬ´と前記境界線との交点
にあたる点Ｑ_L´に対応する点が抽出されることにな
る。

【００１２】画像領域Ｂは、道路の白線の一部にかかる
ように設定されている。この画像領域Ｂにおいて、白線
上の一構成点Ｒ_Lへの対応点を検索した場合も同様に、
位置ずれしたエピポーララインＥＬ´と白線との交点Ｒ
_L´に対応する点が抽出されることになる。

【００１３】ところで理論上のエピポーララインがｙ軸
に平行に設定される場合、前記（１）式の視差ｄｉを求
めるための各結像点間の距離ａｉは、各結像点のｙ座標
に基づき算出される。したがって前記画像領域Ａのよう
に、ｘ軸方向に対する傾きが小さな成分の構成点を処理
対象とする場合には、エピポーララインのずれによって
対応点を誤抽出しても、その対応点のｙ座標と本来のｙ
座標との差はわずかとなり、視差の誤差を小さくするこ
とができる。これに対し、前記画像領域Ｂのように、ｘ
軸に対する傾きが大きな成分の構成点を処理対象とする
場合には、エピポーララインのずれによって誤抽出され
た対応点は、ｙ軸方向において、本来の対応点から大き
く離れることになる。このため、たとえエピポーラライ
ンのずれが僅かであっても、視差には大きな誤差が生じ
ることになる。

【００１４】ここで認識対象の特徴点を含む成分の方向
がエピポーララインＥＬに対してとる角度をγとし、エ
ピポーララインＥＬ，ＥＬ´間の距離（エピポーラ誤
差）をΔｅとすると、対応点の誤抽出により生じる視差
の誤差Δｄ_eは、つぎの（３）式のようになる。 Δｄ_e＝Δｅ＊ｃｏｓγ ・・・（３）

【００１５】また対応点検索時の相関演算など、エピポ
ーララインのずれ以外の要因によって生じる誤差の誤差
をΔｄ_otherとすると、前記（２）式により求めた距離
Ｌｉに生じる誤差ΔＬは、つぎの（４）式のようにな
る。

【００１６】

【数１】

【００１７】よって前記角度γが９０度に近づくほど、
言い換えれば前記成分の方向が水平方向に近づくほど、
視差の誤差Δｄを小さくすることができ、３次元計測処
理における誤差も小さくすることができる。

【００１８】この発明は上記の問題や原理に着目してな
されたもので、複数の撮像手段により得られた画像によ
る３次元計測処理によって道路上の車両を認識する場合
に、エピポーララインのずれの影響を受けにくい３次元
計測処理を行って、車両の認識精度を高めることを目的
とする。

【００１９】またこの発明は、複数の撮像手段により得
られた画像による３次元計測処理によって道路上の交通
流を計測する場合に、エピポーララインのずれの影響を
受けにくい３次元計測処理を行って、交通流を正確に計
測することを目的とする。

【００２０】

【課題を解決するための手段】この発明にかかる車両認
識方法では、観測対象の道路の近傍に複数台の撮像手段
を車両の走行方向に光軸を向けて並べて設置し、各撮像
手段により得られた画像を用いた３次元計測処理により
前記道路上の車両を認識する場合に、認識処理に先立
ち、いずれかの撮像手段からの画像について、前記道路
上の車両の輪郭成分のうち前記撮像手段の並び方向に直
交する方向に対応する輪郭成分が画像上で示す向きの範
囲を設定しておき、前記認識処理において、処理対象の
各画像上で前記設定された向きの範囲に適合するエッジ
の構成点を前記３次元計測処理の対象とする。

【００２１】この方法における各撮像手段は、道路を走
行する車両を前方向から撮像するように設置されるのが
望ましい。（ただし後方向から撮像しても、認識処理に
は差し支えない。）また各撮像手段の光軸を、可能な限
り平行に近くなるように設定するとともに、各撮像面を
同一平面上に可能な限り合わせて設定されるのが望まし
い。

【００２２】道路上の車両の輪郭成分とは、観測対象の
道路を走行する車両の輪郭線（車両の外形を示す輪郭線
のみならず、窓枠などの特徴部分の輪郭線も含む。）に
相当する。撮像手段の並び方向に直交する方向に対応す
る輪郭成分は、撮像手段が縦並びに配備される場合に
は、前記したボンネットとフロントガラスとの境界線の
ように、車両の横幅方向に沿い、かつ地表面に沿って延
びる成分となる（以下、この輪郭成分を「横幅成分」と
呼ぶ）。この横幅成分は、道路の幅方向にほぼ沿った方
向を向いて位置するので、撮像手段をその光軸を車両の
走行方向に向けて設置すると、画像上における横幅成分
も、水平方向（ｘ軸方向）に対する傾きが小さい成分と
して出現するようになる。

【００２３】各撮像手段を縦並びに配置して３次元計測
を行う場合には、処理対象の特徴点に対応するエッジの
水平方向（ｘ軸方向）に対する傾きが小さくなるほど、
視差の誤差を小さくすることができる。この発明では、
車両の横幅成分が画像上で示す向きの範囲を設定した上
で、この範囲に対応する方向を向くエッジの構成点を３
次元計測処理の対象とするので、画像上に現れる車両の
特徴点のうち、水平方向に対する傾きの小さいエッジの
構成点のみを用いた３次元計測処理を行うことができ、
エピポーララインのずれによる視差の誤差が大きくなる
のを防いで、精度の高い３次元計測を行うことができ
る。また横幅成分だけでも、車両の大きさや存在範囲を
示すには十分であるから、これらの成分の構成点に対応
する空間座標を精度良く求めることにより、道路上の車
両の位置や大きさの認識精度を向上することができる。

【００２４】したがって好適な車両認識方法では、観測
対象の道路の近傍に複数台の撮像手段を車両の走行方向
に光軸を向けて縦並びに設置し、前記各撮像手段により
得られた画像を用いた３次元計測処理により前記道路上
の車両を認識する場合に、認識処理に先立ち、いずれか
の撮像手段からの画像について、車両の横幅成分が画像
上で示す向きの範囲を設定しておき、認識処理におい
て、処理対象の各画像上で前記設定された向きの範囲に
適合するエッジの構成点を前記３次元計測処理の対象と
する。

【００２５】なお、撮像手段は縦並びに限らず、横並び
に設置することもできる。この場合には、前記撮像手段
の並び方向に直交する方向に対応する輪郭成分として、
車両の垂直成分（空間において垂直方向に対応する輪郭
成分）を採用することになる。

【００２６】さらに上記の車両認識方法では、前記撮像
手段の並び方向に直交する輪郭成分の向きの範囲を設定
する処理において、前記道路に設定された空間座標系に
おける前記輪郭成分の位置を示す複数点の空間座標の入
力を受け付けた後、入力された空間座標と前記各撮像手
段の設置条件とに基づき、前記いずれかの撮像手段から
の画像上で前記各空間座標に対応する点の座標を求め、
その算出結果から入力画像上における前記横幅成分の向
きの範囲を決定するようにしている。

【００２７】前記空間座標系は、車両などの実際の位置
を表すのに用いられる座標系であり、たとえば原点を地
表面（または道路面）に設定し、道路の幅方向，長さ方
向，および高さ方向に沿ってそれぞれ座標軸を定めるこ
とができる。（以下、この座標系を「地面座標系」と呼
ぶ。）この地面座標系における輪郭成分の位置を示す空
間座標は、所定の車両の３次元モデルが道路上の所定位
置にあるときの輪郭成分の空間座標によって表すことが
できる。たとえば１つの輪郭成分の各端点など、２点以
上の構成点の空間座標によって、前記輪郭成分の向きを
表すことができる。

【００２８】各撮像手段の設置条件としては、各撮像手
段により規定されるステレオ座標系の設定条件を用いる
ことができる。この設定条件は、たとえば前記地面座標
系に対するステレオ座標系の回転角度や原点のずれ量な
どであって、認識処理に先立ち、地面座標系における位
置が既知の点とこの点に対応する画像上の特徴点とを用
いたキャリブレーション処理によって求めることができ
る。

【００２９】上記の態様によれば、３次元計測処理の対
象となる輪郭成分の空間位置に基づき、この成分の複数
の構成点に対応する２次元座標を求めることができ、こ
れら２次元座標から前記輪郭成分の画像上での向きを特
定することができる。たとえば、各撮像手段が縦並びに
設置される場合には、道路の幅方向に対して車両の横幅
成分が取り得る傾きの範囲に応じて空間座標を入力する
ことにより、画像上でその傾きの範囲に対応する角度範
囲を求めることができる。このような角度範囲に適合す
るエッジの構成点は、車両の横幅成分を構成する特徴点
に相当する可能性が高いから、車両認識に必要な特徴点
を精度良く抽出することができる。なお、輪郭成分の向
きを示す空間座標の入力は、複数の向きについて行うこ
とができる。また複数のモデルを用いて、各種車両に対
応する輪郭成分の向きを入力することもできる。

【００３０】車両の輪郭成分の向きの範囲を設定する処
理においては、上記の方法のほか、画像上の道路の白線
を示す直線の方程式などから画像上における道路の幅方
向または長さ方向を認識し、これらの方向を基準として
輪郭成分の向きの範囲を設定することもできる。また撮
像手段からの画像を係員に視認させながら、この係員に
よる輪郭成分の向きの範囲の指定を受け付け、これを設
定データとして登録してもよい。

【００３１】つぎにこの発明にかかる交通流計測装置
は、観測対象の道路の近傍に車両の走行方向に光軸を向
けて並べて設置された複数の撮像手段と、前記各撮像手
段からの画像を用いた３次元計測処理を行って前記道路
上の車両を認識しつつ、その認識処理結果を順次追跡し
て前記道路上における車両の流れを計測する制御装置と
を具備する。前記制御装置は、各撮像手段からの画像を
個別に入力する画像入力手段と、いずれかの撮像手段か
らの入力画像について、前記道路上の車両の輪郭成分の
うち前記撮像手段の並び方向に直交する方向に対応する
輪郭成分が画像上で示す向きの範囲を設定する設定手段
と、前記設定手段が処理対象とした入力画像において前
記設定された向きの範囲に適合するエッジの構成点を抽
出するエッジ構成点抽出手段と、前記エッジ構成点抽出
手段により抽出されたエッジの構成点について、各入力
画像間で対応する点を特定し、特定された各点の座標を
用いた３次元計測処理を行う３次元計測手段とを含むよ
うに構成される。なお、各撮像手段は、可能な限り、各
光軸が平行であり、かつ各撮像面が同一平面上に位置す
るように調整されるのが望ましい。

【００３２】前記制御装置の画像入力手段は、各撮像手
段毎の入力インターフェース、Ａ／Ｄ変換回路、および
Ａ／Ｄ変換処理後の入力画像を格納するメモリなどを含
む。なお、撮像手段としてディジタルカメラを使用すれ
ば、Ａ／Ｄ変換回路は不要である。

【００３３】設定手段には、輪郭成分の向きの範囲の設
定に使用する設定データを入力するための入力手段や、
設定された向きの範囲を保存するための記憶手段などを
含ませることができる。また入力手段は、パーソナルコ
ンピュータのような外部機器からのデータ伝送を受け付
けるようにすることができる。

【００３４】エッジ構成点抽出手段は、たとえばいずれ
かの入力画像にエッジ抽出フィルタを走査するなどして
エッジを抽出した後、抽出されたエッジの中で前記設定
手段により設定された範囲の方向を向くエッジの構成点
を処理対象として抽出する。３次元計測手段は、たとえ
ば前記エッジ構成点抽出手段により最終的に特定された
エッジの構成点について、他の入力画像上での対応点を
抽出した後、これら対応する点の２次元座標と撮像手段
の設置条件とに基づき、地面座標系における空間座標を
求めるように構成することができる。なお、これらエッ
ジ構成点抽出手段，３次元計測手段は、コンピュータに
処理用のプログラムを組み込むことによって設定するこ
とができるが、これに限らず、一部または全ての構成
を、ハードウェアによって実現することもできる。

【００３５】上記構成の装置によれば、前記した車両認
識方法に基づき、道路上の各車両を精度良く認識するこ
とができるから、この認識処理結果に基づき、高精度の
交通流計測を行うことができる。

【００３６】好適な態様の交通流計測装置では、各撮像
手段は縦並びに設置される。この場合、設定手段は、い
ずれかの撮像手段からの入力画像について、車両の横幅
成分が画像上で示す向きの範囲を設定するように構成さ
れる。

【００３７】さらに好ましい態様の交通流計測装置で
は、前記設定手段に、前記撮像手段の並び方向に直交す
る方向に対応する輪郭成分の向きの範囲を示すデータと
して、前記道路に設定された空間座標系における前記輪
郭成分の位置を示す複数点の空間座標の入力を受け付け
る入力手段と、この入力手段により入力された空間座標
と前記各撮像手段の設置条件とに基づき、前記いずれか
の入力画像上における車両の横幅成分の向きの範囲を決
定する決定手段とを具備させることができる。

【００３８】この構成によれば、撮像手段の並び方向に
直交する方向に対応する輪郭成分の向きの範囲を示す空
間座標の入力を受け付けた後、３次元計測処理で使用す
る撮像手段の設置条件を用いて画像上における前記輪郭
成分の向きの範囲を求めることができる。なお、入力手
段をパーソナルコンピュータなどの外部機器からの入力
を受け付けるように構成すれば、パーソナルコンピュー
タに設定されたユーザインターフェースにより、前記し
た車両の３次元モデルを仮想の空間に設定するなどし
て、輪郭成分の向きを示す空間座標を簡単に求めること
ができ、効率の良い設定を行うことができる。

【００３９】

【発明の実施の形態】図１は、この発明の一実施例にか
かる交通流計測装置の設置例を示す。この交通流計測装
置３は、道路ＲＤにおける走行車両の台数や車両の移動
速度などを計測するためのもので、２台のカメラ１ａ，
１ｂおよび制御装置２により構成される。

【００４０】前記カメラ１ａ，１ｂは、道路ＲＤの近傍
に設置されたＦ字型支柱４の上方に、縦並びに設置され
る。これらのカメラ１ａ，１ｂは、焦点距離を同じくす
るレンズを有し、各光軸が平行かつ斜め下方向を向くよ
うに、また各撮像面が同一平面上に位置するように可能
な限りの調整が行われ、道路ＲＤの支柱４側の走行路を
走行する車両５を、前方の斜め上方向から撮像する。制
御装置２は、保守，点検，ならびに設置時に各種設定処
理を行う必要性から、前記支柱４の基部付近に取り付け
られる。

【００４１】図２は、前記交通流計測装置３の構成を示
す。前記制御装置２は、各カメラ１ａ，１ｂに対応する
画像入力部６ａ，６ｂ，特徴点抽出部７，特徴点特定部
８，対応付け処理部９，３次元計測部１０，認識処理部
１１，交通流計測部１２，出力部１３を主要構成として
具備する。また後記する処理対象の特徴点の特定のため
の構成として、設定用通信部１４，抽出範囲設定部１
５，抽出範囲記憶部１６などを具備する。

【００４２】各画像入力部６ａ，６ｂは、各カメラ１
ａ，１ｂからの画像信号を取り込むインターフェースや
処理対象の画像を生成するためのＡ／Ｄ変換回路などを
含む。Ａ／Ｄ変換処理後の濃淡画像データ（以下、「入
力画像」という。）は、図示しないメモリに格納され、
以下の計測処理に使用される。

【００４３】前記特徴点抽出部７および特徴点特定部８
は、基準画像となる下側のカメラ１ｂからの画像を処理
対象とする。特徴点抽出部７は、前記基準画像上にソー
ベルフィルタなどのエッジ抽出フィルタを走査して画像
上のエッジを抽出し、各エッジ構成点を黒画素とする２
値画像（エッジ画像）を生成する。さらに特徴点抽出部
は、このエッジ画像を複数の小領域に分割し、所定数以
上のエッジ構成点が含まれる領域毎に、代表点となるエ
ッジ構成点を抽出する。（以下、この代表点としてのエ
ッジ構成点を「特徴点」という。）

【００４４】特徴点特定部８は、前記特徴点抽出部７に
より抽出された特徴点の中から抽出範囲記憶部６に設定
された向きの範囲（詳細は後記する。）に適合する方向
を向くエッジの構成点を抽出し、これを以後の処理対象
の特徴点として特定する。対応付け処理部９は、特定さ
れた各特徴点につき、各入力画像間での対応づけ処理を
行う。３次元計測部１０は、対応づけられた各特徴点の
座標を三角測量の原理にあてはめて、各特徴点に対応す
る空間座標を算出する。

【００４５】図３は、実際の空間を基準として各特徴点
の空間位置を示すための地面座標系（Ｘ，Ｙ，Ｚ軸で示
す。）と、各カメラにより設定されるステレオ座標系
（Ｘ´，Ｙ´，Ｚ´軸で示す。）との関係を示す。な
お、図中のｘ_L，ｙ_Lはカメラ１ｂ側の画像Ｇ_Lにおける
２次元座標を、ｘ_U，ｙ_Uはカメラ１ａ側の画像Ｇ_Uにお
ける２次元座標を、それぞれ示す。

【００４６】地面座標系は、地面上の所定位置を原点Ｏ
として、道路の幅方向をＸ軸，長さ方向をＺ軸，高さ方
向をＹ軸とするものである。この地面座標系のＸ，Ｙ，
Ｚ軸に対し、ステレオ座標系のＸ´，Ｙ´，Ｚ´軸は、
それぞれ所定角度回転した状態にある。３次元計測処理
では、各入力画像上の対応点の座標を用いてステレオ座
標系の空間座標を求めた後、これを地面座標系の空間座
標に置き換えることになるが、この空間座標の変換処理
には、上記の３方向における回転角度やＸＺ平面から原
点Ｏ´までの距離Ｈなどのパラメータが必要となる。さ
らに原点Ｏ´がＹ軸上に位置しない場合には、原点Ｏに
対するＯ´の位置ずれ量もパラメータとして設定する必
要がある。

【００４７】この実施例の制御装置２では、装置の設置
時に、カメラ１ｂからの基準画像上において地面座標系
の位置が既知の複数の点の指定を受け付け、これら指定
点の座標と前記既知の空間座標とを用いて、上記の各パ
ラメータを算出し、その算出結果を３次元計測処理のた
めにメモリ内に登録するようにしている。（パラメータ
の算出処理の詳細については、特開平１０−１２２８１
９号を参照されたい。）

【００４８】図２に戻って、認識処理部１１は、前記３
次元計測部１０により計測された各点の空間座標を、道
路ＲＤの長さ方向（Ｚ軸方向）に沿う仮想垂直平面（Ｙ
Ｚ平面）に投影する。さらに認識処理部１１は、この投
影結果に、種々の車両の側面形状に対応する２次元モデ
ルを照合して道路上の車両を切り分けて認識する。この
認識処理結果は、メモリに逐次格納されるもので、交通
流計測部１２は、認識処理結果の時系列データを用い
て、前記車両台数や車両の移動速度などの交通流データ
を算出する。

【００４９】出力部１３は、図示しない情報センターの
管理装置などと通信を行うための通信インターフェース
を含み、前記交通流計測部１２により算出された交通流
データを取り込んで前記管理装置に送信する。

【００５０】設定用通信部１４は、ノート型のパーソナ
ルコンピュータやＰＤＡなどの外部機器１７と通信を行
って、前記した３次元計測のためのパラメータ算出や特
徴点の抽出範囲の設定のためのデータを取り込む。抽出
範囲設定部１５は、設定用通信部により取り込まれた設
定データを用いて、前記処理対象の特徴点の抽出範囲を
示すデータを作成し、これを抽出範囲記憶部１６に格納
する。

【００５１】なお、上記構成において、特徴点抽出部
７，特徴点特定部８，対応づけ処理部９，３次元計測部
１０，認識処理部１１，交通流計測部１２，抽出範囲設
定部１５の各処理部は、いずれもマイクロプロセッサ
（ＭＰＵ）またはプロセッサ（ＣＰＵ）に各処理のアル
ゴリズムを示すプログラムを実行させることによって実
現することができる。ただし一部の構成（たとえば特徴
点抽出部７，対応付け処理部９）については、フリップ
フロップ，レジスタなどを含む専用の演算回路として構
成することもできる。また抽出範囲記憶部１６は、前記
した３次元計測処理のためのパラメータを格納するのと
同一のメモリに設定することができる。

【００５２】つぎに前記設定用通信部１４や抽出範囲設
定部１５の詳細な処理について説明する。この実施例の
設定用通信部１４は、外部機器１７に対して、カメラ１
ｂからの基準画像を送信する。外部機器１７は、送信さ
れた各入力画像を表示して、その画面上で地面座標系に
おける位置が既知の点の指定を受け付ける。ここで係員
が、前記パラメータの算出のための空間座標を複数設定
すると、この指定された点の２次元座標および既知の空
間座標が設定用通信部１４に伝送される。さらにこれら
の座標は、図示しないパラメータ算出部に与えられ、３
次元計測のための各種パラメータが算出される。

【００５３】さらに設定用通信部１４は、前記特徴点の
抽出範囲を設定するためのデータとして、地面座標系に
おける車両につきカメラ１ａ，１ｂの並び方向に直交す
る方向に対応する輪郭成分、すなわち車両の横幅成分の
空間位置を示すデータの送信を受け付ける。このデータ
は、車両が地面座標系の所定位置に所定の方向を向いて
位置する場合の各種横幅成分（ボンネットとフロントガ
ラスとの間の境界線，ルーフやバンパーに対応する幅成
分など）を示す空間座標となる。

【００５４】外部機器１７では、ユーザーインターフェ
ースを用いるなどして、たとえば車両の位置や方向の指
定を受け付け、その指定に応じて車両の３次元モデルの
設定データから各横幅成分の構成点の空間座標を自動算
出する。これらの空間座標は、設定用通信部１４を介し
て抽出範囲設定部１５に与えられる。抽出範囲設定部１
５は、前記３次元計測のためのパラメータなどを用い
て、これらの空間座標が基準画像上のどの位置に対応す
るかを算出し、さらにこの算出結果を用いて基準画像に
おける前記水平成分の傾きを算出する。

【００５５】なお、道路の幅方向に対して走行中の車両
の横幅成分が取り得る傾きの範囲を設定できる場合、こ
の範囲を規定する最小の傾きと最大の傾きとに応じて、
前記横幅成分の空間座標を得ることができる。抽出範囲
設定部１５は、これらの設定データに上記の処理を実行
して、基準画像上における横幅成分の向きの範囲を求め
ることができる。たとえばこの向きを、ｘ軸に対する角
度αとして示すと、向きの範囲を表すデータとして、最
小の角度α_minと最大の角度α_maxとを設定することがで
きる。

【００５６】こうして設定された向きの範囲を示すデー
タは、前記抽出範囲記憶部１６に格納される。よって特
徴点特定部８は、前記特徴点抽出部７により抽出された
特徴点のうち、抽出範囲記憶部１６に格納された向きの
範囲に適合する方向を向くエッジの構成点を処理対象と
して特定することになるので、以後の処理では、車両の
横幅成分に対応する特徴点を用いた処理が行われること
になる。

【００５７】図４は、前記特徴点の抽出範囲の設定例を
示す。図４（１）（２）のＧ１_L，Ｇ２_Lは、いずれも基
準画像の一例であり、それぞれ道路の画像が所定の向き
をもって現れている。Ｓ１，Ｓ２は、これら基準画像Ｇ
１_L，Ｇ２_Lにおいて車両の横幅成分が取り得る向きの範
囲を、ｘ軸を基準に示したもので、画像上の道路の幅方
向の向きに対応させて、ｘ軸から時計回り方向または反
時計回り方向に所定角度までの角度範囲が設定されてい
る。

【００５８】このような角度範囲によれば、画像上の各
エッジについて、そのエッジの方向から車両の横幅成分
の向きに適合するエッジであるかどうかを容易にかつ精
度良く認識することができる。よって対応付け処理部お
よび３次元計測部では、車両の横幅成分に対応する特徴
点を処理対象とすることができる。

【００５９】この実施例のように、走行中の車両を前方
側から撮像すると、画像上の車両の横幅成分は、前記図
４に示すように、ｘ軸方向に対する傾きが小さい成分と
して現れる。したがってこの横幅成分に対応する特徴点
を３次元計測処理の対象とすれば、基準画像と処理画像
との間でエピポーララインにずれが生じても、視差の誤
差を小さく抑えることができ、その後の車両認識処理に
おいても精度の高い認識処理を行うことができる。

【００６０】図５は、横幅成分のみを処理対象とする場
合と、横幅成分以外の成分も処理対象とする場合とでの
車両認識精度の違いを示す。図５（１）は、認識対象の
車両を模式的に示したもので、●は横幅成分の特徴点
を、×は道路の奥行き方向に沿って延びる輪郭成分（以
下、「長さ成分」という。）の特徴点をそれぞれ示す。
また図５（２）（３）中に破線で示す領域ｒ１，ｒ２
は、各車両の実際の存在範囲を示す。

【００６１】図５（２）（３）は、地面座標系における
観測対象の車両と前記特徴点の３次元計測結果との関係
を示す。図５（２）では、横幅成分の特徴点のみを用い
た３次元計測の結果を示す。横幅成分の特徴点は、いず
れも視差の誤差が小さくなるから、実際の特徴点の位置
にほぼ対応する位置に空間座標を特定することができ
る。

【００６２】図５（３）では、横幅成分の特徴点ととも
に長さ成分の特徴点も用いた３次元計測が行われてい
る。道路の長さ方向に沿う長さ成分は、画像上において
は、ｘ軸に対する傾きが大きな成分として現れるので、
視差の誤差が大きくなる。このため、図５（３）の矢印
ａ〜ｅに示すように、本来の空間位置から大きく離れた
位置に空間座標が特定されるので、投影処理において
も、車両の位置や大きさを正しく抽出できなくなる。特
に、矢印ａ，ｃのように、求められた空間座標が後続の
車両の存在領域（ｒ２）に近い位置に特定されると、車
両を切り分けて認識するのが困難になる。

【００６３】よってこの実施例の交通流計測装置３によ
れば、視差の誤差を小さくすることができる横幅成分の
特徴点を処理対象とすることによって、各車両の位置や
大きさを精度良く認識することができる。さらにこの認
識結果を用いて、信頼性の高い交通流データを生成する
ことができる。

【００６４】さらにこの実施例では、車両の横幅成分の
空間座標に応じてその横幅成分の基準画像における方向
を求めているので、車両を構成する特徴点を精度良く特
定することができる。ただし、横幅成分の向きの特定は
上記の方法に限らず、たとえば、基準画像上に現れる道
路の画像からこの道路の長さ方向または幅方向を求め、
この方向に基づき、画像上に現れる車両の横幅成分の向
きの範囲を特定するようにしてもよい。

【００６５】図６は、前記制御装置２の設置時における
初期設定手順を示す。なお、この図６ならびにつぎの図
７、および以下の説明では、各処理のステップを「Ｓ
Ｔ」として示す。

【００６６】前記したように、初期設定時には、制御装
置２には外部機器１７が接続される。最初のＳＴ１で
は、各カメラ１ａ，１ｂからの画像を入力し、つぎのＳ
Ｔ２では、これら入力画像のうち、カメラ１ｂからの基
準画像の画像データを外部機器１７に送信する。

【００６７】外部機器１７では、前記したように、送信
された基準画像上で、車線の構成点などの空間座標が既
知の点の指定を受け付ける。ＳＴ３では、これら指定さ
れた点の２次元座標および既知の空間座標を入力する。
つぎのＳＴ４では、これらの座標を用いて、前記３次元
計測のためのパラメータを算出する。なお、算出された
パラメータは、制御装置２内のメモリに登録される。

【００６８】つぎに、ＳＴ５で、外部機器１７から道路
ＲＤ上における車両の横幅成分の向きの範囲を示す空間
座標が入力されると、続くＳＴ６において、これらの空
間座標や前記ＳＴ４で求めたパラメータを用いて、基準
画像における車両の横幅成分のｘ軸方向に対する角度の
範囲を算出する。さらにＳＴ７において、算出された角
度範囲を前記抽出範囲記憶部１６に格納した後、初期設
定処理を終了する。

【００６９】図７は、上記の初期設定処理後に実行され
る交通流計測処理の一連の手順を示す。なお、この手順
は、各カメラ１ａ，１ｂからの１フレーム分の画像に対
する処理手順であって、所定時間毎に繰り返し実行され
ることになる。

【００７０】まず最初のＳＴ１１では、各カメラ１ａ，
１ｂからの画像を入力し、前記したディジタル変換処理
により処理対象の入力画像を生成する。つぎのＳＴ２で
は、これら入力画像のうちの基準画像について、前記エ
ッジ抽出処理や代表点の抽出処理を実行して、車両を示
す特徴点を抽出する。さらにＳＴ１３では、抽出された
各特徴点のうち、前記抽出範囲記憶部１６に登録された
角度範囲に適合する方向を向くエッジの構成点を、処理
対象の特徴点として特定する。

【００７１】このようにして特徴点が特定されると、つ
ぎのＳＴ１４では、これら特徴点について、それぞれカ
メラ１ａから入力した比較画像上にエピポーララインを
設定して前記特徴点に対応する点を抽出する。さらにＳ
Ｔ１５では、前記３次元計測のためのパラメータを用い
てこれら対応する特徴点の座標から地面座標系における
空間座標を算出する。

【００７２】つぎのＳＴ１６では、道路の長さ方向に沿
う仮想垂直平面すなわち地面座標系のＹＺ平面に、算出
された各空間座標を投影する。ＳＴ１７では、各種車両
の２次元モデルをこの投影結果に走査して、道路ＲＤ上
の車両の位置や大きさを認識する。

【００７３】前記ＳＴ１７の認識結果は、メモリ内に蓄
積される。ＳＴ１８では、直前に得た認識結果を含む過
去所定回数の認識結果を対応づけて、個々の車両の移動
軌跡を認識する。さらにこの認識結果を用いて、車両の
移動速度，所定の基準位置を通過した車両台数などを算
出する。ＳＴ１９では、この算出結果を前記した外部の
管理装置などに出力する。

【００７４】なお、上記実施例では、２台のカメラ１
ａ，１ｂからの画像を用いた３次元計測処理により車両
を認識するようにしているが、１台のカメラからの画像
を用いた車両認識処理を行う場合にも、車両の横幅成分
に対応する特徴点のみを処理対象とすれば、データ量の
削減により処理を高速化できる。また２次元の画像処理
では、対象物の高さを特定することができないので、影
や路面上の標識などのノイズの影響を受けやすいが、車
両の横幅成分の方向として限定された角度範囲に適合す
る特徴点のみを処理対象とすることで、これらのノイズ
をかなりの割合で取り除くことができる。

【００７５】図８は、２次元の画像処理により交通流を
計測する場合の装置構成を示す。この交通流計測装置
は、カメラ２１と制御装置２２とにより構成されるもの
で、カメラ２１は、第１の実施例のカメラ１ａ，１ｂと
同様に、道路ＲＤの近傍に、走行車両を前方の斜め上方
向から撮像するように設置される。

【００７６】制御装置２２には、画像入力部２３，特徴
点抽出部２４，特徴点特定部２５，認識処理部２６，交
通流計測部２７，出力部２８，設定用通信部２９，抽出
範囲設定部３０，抽出範囲記憶部３１などが組み込まれ
る。

【００７７】設定用通信部２９は、前記第１の実施例の
設定用通信部１４と同様に外部機器１７に接続され、地
面座標系に対するカメラ２１の設置状態を示すデータ
や、特徴点の抽出範囲設定用のデータの入力を受け付け
る。抽出範囲設定部３０は、この入力データを用いて、
画像上における車両の横幅成分の向きの範囲を求め、こ
れを抽出範囲記憶部３１に格納する。

【００７８】画像入力部２３，特徴点抽出部２４，特徴
点特定部２５は、それぞれ前記第１の実施例の画像入力
部６ａ，６ｂ，特徴点抽出部７，特徴点特定部８と同様
の構成のものである。認識処理部２６は、たとえば特徴
点特定部２５により特定された特徴点のみから成るエッ
ジ画像に、車両の２次元モデルを走査するなどして、各
車両の位置などを認識する。交通流計測部２７は、毎時
の認識処理結果を用いて車両の速度や通過車両数などの
交通流データを作成する。出力部２８は、作成された交
通流データを外部の管理装置などに出力する。

【００７９】なお、この実施例では、特徴点の抽出範囲
の設定のために画像上の白線の構成点を複数指定する。
抽出範囲設定部３０は、これら指定点の座標を用いて画
像上での道路の長さ方向または幅方向の向きを特定し、
その向きの特定結果に基づき、車両の横幅成分の向きの
範囲を設定することになる。

【００８０】

【発明の効果】上記したようにこの発明では、複数台の
撮像手段を車両の走行方向に光軸を向けて並べて設置
し、各撮像手段からの画像による３次元計測処理によっ
て道路上の車両を認識する場合に、あらかじめ道路上の
車両について、撮像手段の並び方向に直交する方向に対
応する輪郭成分が画像上で示す向きの範囲を設定してお
き、この範囲の向きを持つエッジの構成点を３次元計測
処理の対象とするようにした。したがって撮像系の問題
によりエピポーララインにずれが生じても、視差の誤差
を小さくして３次元計測処理の精度を向上することがで
き、高精度の車両の認識処理を行うことができる。

【図面の簡単な説明】

【図１】この発明の一実施例にかかる交通流計測装置の
設置例を示す斜視図である。

【図２】交通流計測装置の構成を示す機能ブロック図で
ある。

【図３】ステレオ座標系と地面座標系との関係を示す説
明図である。

【図４】画像上の道路の出現状態と横幅成分の向きの範
囲の設定例とを対応づけて示す説明図である。

【図５】処理対象の特徴点が３次元計測結果に及ぼす影
響を示す説明図である。

【図６】制御装置における初期設定時の手順を示すフロ
ーチャートである。

【図７】制御装置における交通流計測処理の手順を示す
フローチャートである。

【図８】１台のカメラで交通流を計測する装置の構成を
示す機能ブロック図である。

【図９】３次元計測処理の原理を示す説明図である。

【図１０】３次元計測処理の原理を示す説明図である。

【図１１】特徴点の対応づけ処理の具体例を示す説明図
である。

【図１２】エピポーララインのずれが視差に及ぼす影響
を示す説明図である。

【符号の説明】

１ａ，１ｂ カメラ ２ 制御装置 ３ 交通流計測装置 ５ 車両 ６ａ，６ｂ 画像入力部 ７ 特徴点抽出部 ８ 特徴点特定部 ９ 対応付け処理部 １０ ３次元計測部 １１ 認識処理部 １２ 交通流計測部 １４ 設定用通信部 １５ 抽出範囲設定部 １６ 抽出範囲記憶部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 1/00 ３３０ Ｇ０８Ｇ 1/04 Ｄ 7/60 ３００ Ｇ０１Ｂ 11/24 Ｋ Ｇ０８Ｇ 1/04 Ｎ Ｆターム(参考） 2F065 AA04 AA12 AA32 AA53 BB05 CC11 EE00 FF05 FF61 JJ03 JJ05 PP01 QQ00 QQ03 QQ17 QQ21 QQ23 QQ24 QQ33 QQ38 5B057 AA16 BA02 DA13 DB03 DC05 DC08 DC16 DC36 5H180 BB04 CC04 CC24 DD01 EE07 5L096 AA09 BA04 CA05 FA06 FA52 FA66 FA67 FA69

Claims (4)

【特許請求の範囲】
1. 【請求項１】 観測対象の道路の近傍に複数台の撮像手
   段を車両の走行方向に光軸を向けて並べて設置し、前記
   各撮像手段により得られた画像を用いた３次元計測処理
   により前記道路上の車両を認識する方法において、 認識処理に先立ち、いずれかの撮像手段からの画像につ
   いて、前記道路上の車両の輪郭成分のうち前記撮像手段
   の並び方向に直交する方向に対応する輪郭成分が画像上
   で示す向きの範囲を設定しておき、 前記認識処理において、処理対象の各画像上で前記設定
   された向きの範囲に適合するエッジの構成点を前記３次
   元計測処理の対象とすることを特徴とする車両認識方
   法。
2. 【請求項２】 前記撮像手段の並び方向に直交する方向
   に対応する輪郭成分の向きの範囲を設定する処理におい
   て、前記道路に設定された空間座標系における前記輪郭
   成分の位置を示す複数点の空間座標の入力を受け付けた
   後、入力された空間座標と前記各撮像手段の設置条件と
   に基づき、前記いずれかの撮像手段からの画像上で前記
   各空間座標に対応する点の座標を求め、その算出結果か
   ら入力画像上における前記輪郭成分の向きの範囲を決定
   する請求項１に記載された車両認識方法。
3. 【請求項３】 観測対象の道路の近傍に車両の走行方向
   に光軸を向けて並べて設置された複数の撮像手段と、前
   記各撮像手段からの画像を用いた３次元計測処理を行っ
   て前記道路上の車両を認識しつつ、その認識処理結果を
   順次追跡して前記道路上における車両の流れを計測する
   制御装置とを具備し、 前記制御装置は、 各撮像手段からの画像を個別に入力する画像入力手段
   と、 いずれかの撮像手段からの入力画像について、前記道路
   上の車両の輪郭成分のうち前記撮像手段の並び方向に直
   交する方向に対応する輪郭成分が画像上で示す向きの範
   囲を設定する設定手段と、 前記設定手段が処理対象とした入力画像において前記設
   定された向きの範囲に適合するエッジの構成点を抽出す
   るエッジ構成点抽出手段と、 前記エッジ構成点抽出手段により抽出されたエッジの構
   成点について、各入力画像間で対応する点を特定し、特
   定された各点の座標を用いた３次元計測処理を行う３次
   元計測手段とを含んで成る交通流計測装置。
4. 【請求項４】 前記設定手段は、前記撮像手段の並び方
   向に直交する方向に対応する輪郭成分の向きの範囲を示
   すデータとして、前記道路に設定された空間座標系にお
   ける前記輪郭成分の位置を示す複数点の空間座標の入力
   を受け付ける入力手段と、この入力手段により入力され
   た空間座標と前記各撮像手段の設置条件とに基づき、前
   記いずれかの入力画像上における前記輪郭成分の向きの
   範囲を決定する決定手段とを具備して成る請求項３に記
   載された交通流計測装置。