JP2003030628A - 相対位置計測装置 - Google Patents

相対位置計測装置

Info

Publication number
JP2003030628A
JP2003030628A JP2001218425A JP2001218425A JP2003030628A JP 2003030628 A JP2003030628 A JP 2003030628A JP 2001218425 A JP2001218425 A JP 2001218425A JP 2001218425 A JP2001218425 A JP 2001218425A JP 2003030628 A JP2003030628 A JP 2003030628A
Authority
JP
Japan
Prior art keywords
marker
image
distance
vehicle
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001218425A
Other languages
English (en)
Other versions
JP4450532B2 (ja
Inventor
知信 ▲高▼島
Tomonobu Takashima
Daisuke Ueno
大輔 上野
Tadao Onomi
忠雄 尾身
Kozo Baba
幸三 馬場
Toshio Ito
寿雄 伊藤
Masanori Sato
正則 佐藤
Satoyuki Takahashi
智行 高橋
Koji Taguchi
康治 田口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Toyota Motor Corp
Original Assignee
Fujitsu Ltd
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd, Toyota Motor Corp filed Critical Fujitsu Ltd
Priority to JP2001218425A priority Critical patent/JP4450532B2/ja
Publication of JP2003030628A publication Critical patent/JP2003030628A/ja
Application granted granted Critical
Publication of JP4450532B2 publication Critical patent/JP4450532B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 画像認識を用いて、短時間に相対的位置の計
測を正確に行う。 【解決手段】 先行車両1の後部に、複数の軸方向に配
置されたマーカ1a〜1eが撮像手段2aで撮影され、
フレーム画像2bが得られる。そのフレーム画像2bか
ら抽出手段2cにより、マーカパターン2dが抽出され
る。そして、算出手段2eにより、マーカパターン2d
に基づいて、先行車両1との間の相対距離および相対角
度が算出される。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は画像認識により先行
車両との相対位置を計測する相対位置計測装置に関し、
特に前方車が具備するマーカを撮像して相対位置を計測
する相対位置計測装置に関する。
【0002】
【従来の技術】都市の人口増加による大都市での交通渋
滞などの交通問題を解消するために、様々な機関で高度
道路交通システム(ITS:Intelligent Transport Sys
tems)の研究が行われている。ITSは、道路交通の安
全性、輸送効率、快適性の向上等を目的とした道路交通
システムである。
【0003】最新のITS技術の中には、IMTS(In
telligent Multi-mode Transit System)とよばれる高
度中距離・中量輸送システムの技術がある。IMTS
は、たとえば、バスなどの運搬車両が自動運転および隊
列走行を行うシステムである。
【0004】IMTSにおいて隊列走行を行うために
は、後続車両において、先行車両との相対位置を計測
し、車間を一定の距離に維持する必要がある。先行車両
との相対位置の計測技術の1つに、先行車両に設置した
マーカを画像で認識し、パターンマッチングにより車間
の相対位置を導出する技術がある。
【0005】パターンマッチング計測技術では、後続車
両に、先行車両の後部に配置されたマーカの画像(テン
プレート)を記憶させておく。そして、後続車両から先
行車両後部のマーカをカメラで撮影し、撮影した画像と
予め記憶していたテンプレートとのパターンマッチング
を行うことで、先行車両の相対的位置を算出する。
【0006】
【発明が解決しようとする課題】しかし、マーカパター
ンを画像処理にて認識する場合、正しいパターンを抽出
する為に予め多数のパターンマッチング用のテンプレー
トが必要となる。すなわち、先行車両までの距離または
回転により、画像に映し出されるマーカパターンの大き
さや形状が変化する為、変化にあわせた複数のテンプレ
ートを後続車両に記憶させておく必要があり、メモリ使
用容量の増加を招く。
【0007】また、テンプレートの数が増えれば、それ
だけパターンマッチングの処理回数も増加し、多くの計
算処理が必要となる。その結果、相対的位置の計測に、
時間がかかってしまう。
【0008】IMTSの信頼性や安全性を確保するに
は、後続車両において、先行車両との相対的位置を、常
に正確に認識していることが望まれる。そのためには、
相対位置の計測は、少しでも短い時間で行われることが
要求される。
【0009】なお、特開2000−337871号公報
に記載された技術のように、先行する車両の後部にマー
カを一列に並べ、このマーカを後続車両が検出すること
により相対距離を算出する方法がある。この方法によれ
ば、相対位置の計算を短時間で行うことはできるが、先
行車両がコーナで横方向を向いた場合(ヨー角が発生し
た場合)、距離を正確に計るのが困難である。すなわ
ち、この技術は、カメラで捉えた画像におけるマーカ間
の距離に基づいて車間距離を算出するものであるが、先
行車両が横方向を向くと、車間距離が変わらなくても、
画像内でのマーカ間の距離が短くなる。その結果、測定
誤差が発生してしまう。
【0010】このように、従来の画像処理技術では、先
行車両との車間距離や相対角度を高精度に短時間で算出
することが困難であった。本発明はこのような点に鑑み
てなされたものであり、画像認識を用いて、短時間に相
対的位置の計測を正確に行うことができる相対位置計測
装置を提供することを目的とする。
【0011】
【課題を解決するための手段】本発明では上記課題を解
決するために、図1に示すような相対位置計測装置2が
提供される。本発明の相対位置計測装置2は、先行車両
1の後部に、複数の軸方向に並べられたマーカ1a〜1
eを撮像する撮像手段2aと、撮像手段2aで撮像した
フレーム画像2bから、マーカ1a〜1eを表す複数の
マーカ画像で構成されるマーカパターン2dを抽出する
抽出手段2cと、抽出手段2cで抽出したマーカパター
ン2dに基づいて、少なくとも先行車両との相対距離ま
たは相対角度を算出する算出手段2eと、を有する。
【0012】このような相対位置計測装置2によれば、
先行車両の後部の複数の軸方向に配置されたマーカ1a
〜1eが撮像手段2aで撮影され、フレーム画像2bが
得られる。そのフレーム画像2bから抽出手段2cによ
り、マーカパターン2dが抽出される。そして、算出手
段2eにより、マーカパターン2dに基づいて、先行車
両との間の相対距離または相対角度が算出される。
【0013】
【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。図1は、本発明の原理構成図であ
る。本発明の相対位置計測装置2は、先行車両1の後部
の複数の軸方向に並べられたマーカ1a〜1eを撮像す
る撮像手段2aと、撮像手段2aで撮像したフレーム画
像2bから、マーカ1a〜1eを表す複数のマーカ画像
で構成されるマーカパターン2dを抽出する抽出手段2
cと、抽出手段2cで抽出したマーカパターン2dに基
づいて、先行車両との相対距離または相対角度を算出す
る算出手段2eと、を有する。
【0014】このような相対位置計測装置によれば、先
行車両の後部の複数の軸方向に配置されたマーカ1a〜
1eが撮像手段2aで撮影され、フレーム画像2bが得
られる。そのフレーム画像2bから抽出手段2cによ
り、マーカパターン2dが抽出される。そして、算出手
段2eにより、マーカパターン2dに基づいて、先行車
両との間の相対距離または相対角度が算出される。
【0015】このように、本発明では、複数の軸方向
(たとえば、縦方向と横方向)に配置されたマーカ1a
〜1eから相対位置を算出するため、多数のテンプレー
トを記憶する必要が無くなる。その結果、メモリの使用
量を削減できるとともに、処理時間を短縮することがで
きる。しかも、マーカパターンが複数の軸方向に配置さ
れているため、先行車両のヨー角が発生しても、縦方向
に並んだマーカにより相対距離を正確に計測することが
でき、精度の高い計測結果を得ることができる。
【0016】このような相対位置計測装置は、IMTS
などの技術に適用することができる。たとえば、車両の
隊列走行を行う場合に、後続車両に本発明に係る相対位
置計測装置を搭載すれば、信頼性の高い相対位置計測が
可能である。以下、本発明をIMTSに適用した場合を
例に採り、本発明の実施の形態について具体的に説明す
る。
【0017】図2は、IMTSによる隊列走行の概要を
示す図である。IMTSでは、複数の車両10,20,
30が隊列走行を行う。車両10,20,30は、たと
えば、バスのような運搬車両である。先頭の車両10を
車両20が追尾し、車両20を車両30追尾すること
で、車両20と車両30とが自動運転で走行できる。
【0018】車両10の後部には、マーカパネル11が
取り付けられている。車両20の前には、カメラ21が
取り付けられおり、車両20の後ろには、マーカパネル
22が取り付けられている。同様に、車両30の前に
は、カメラ31が取り付けられており、車両30の後ろ
には、マーカパネル32が取り付けられている。
【0019】マーカパネル11,22,32には、複数
のマーカが所定のパターンで、複数の軸方向(たとえ
ば、横方向と縦方向)に分散配置されている。車両20
のカメラ21で先行する車両10のマーカパネル11を
撮像することで、車両20に対する車両10の相対位置
を計測することができる。また、車両30のカメラ31
で先行する車両20のマーカパネル22を撮像すること
で、車両30に対する車両20の相対的位置関係を計測
することができる。
【0020】車両20,30は、それぞれに先行する車
両との相対位置に基づいて、先行車両から一定の間距離
を保って追随するように、ハンドル、アクセル、ブレー
キ等が自動で制御される。
【0021】図3は、先行する車両を後方から見た図で
ある。先行する車両10のマーカパネル11には、5つ
のマーカ11a〜11eが配置されている。マーカ11
a〜11eは、縦方向と横方向とに分散して配置されて
いる。本実施の形態では、これらの5個のマーカ11a
〜11eによって、マーカパターンが形成されている。
【0022】マーカ11a〜11eの形状は長方形であ
る。各マーカ11a〜11eは、たとえば、多数のLE
D(Light Emitting Diode)で構成された自己発光体であ
る。なお、マーカ11a〜11eは、外観上周辺と区別
できるものであれば、自己発光していなくてもよい。た
とえば、マーカパネル11を黒色にし、マーカ11a〜
11eを白色にして、区別できるようにしてもよい。
【0023】図3の例では、5個のマーカ11a〜11
eが配置されているが、複数方向に3個以上のマーカが
分散配置されていれば、マーカパターンとしての認識が
可能である。距離は1個のマーカでも算出可能である。
【0024】図4は、マーカの配置を示す図である。図
4(A)は、マーカパネルの正面図である。図4(B)
は、図4(A)のX−X断面図である。マーカ11aは
上の左側、マーカ11bは上の右側に配置されている。
マーカ11aとマーカ11bとは水平に並べられてお
り、マーカ11aとマーカ11bとの幅はhM1である。
マーカ11cは下の左側、マーカ11dは下に右側に配
置されている。マーカ11cとマーカ11dとは水平に
並べられており、マーカ11cとマーカ11dとの幅は
M2である。上の行のマーカ11a,11bと下の行の
マーカ11c,11dとの高さの差は、VMである。
【0025】マーカ11eは、マーカパネル11の中央
の窪みの中に配置されている。マーカ11a〜11dを
基準としたときのマーカ11eの奥行きは、dMであ
る。このように、マーカ11a〜11eは、3軸方向
(縦、横、奥行き)に分散配置されている。これによ
り、先行する車両10と後続の車両20との相対位置
を、正確に計測することが可能となる。以下、マーカ1
1a〜11dを周辺マーカと呼び、マーカ11eを中央
マーカと呼ぶこととする。
【0026】マーカを奥行き方向に分散配置したこと
(マーカパネルに凹凸を設けたこと)で、ヨー角θy
高精度に算出することができる。すなわち、各マーカが
同一平面上に配置されていた場合、先行する車両10の
ヨー角の変化は、マーカパターンあるいは各マーカ画像
の縦横比の変化で検出することになる。すなわち、ヨー
角が大きくなれば、マーカパターンあるいは各マーカ画
像が横方向に縮むため、縦横比で横方向の縮度合いを判
定し、その縮み度合いでヨー角を算出することができ
る。
【0027】しかし、先行する車両10がピッチ方向
(車両の中心から横方向に定義される軸周りの方向)に
も回転する場合、ピッチ角が大きくなると、マーカパタ
ーンあるいは各マーカが、縦方向に縮む。そのため、マ
ーカパターンあるいは各マーカの縦横比だけでは、ヨー
角を正確に算出することが困難である。
【0028】そこで、本実施の形態では、マーカパター
ンに凹凸を付けることにより、ヨー角の変化が、撮像さ
れた画像(以下、フレーム画像という)内でマーカパタ
ーンを構成するマーカ画像の配置の変化に現れるように
している。
【0029】図5は、フレーム画像の例を示す図であ
る。なお、図5において、フレーム画像40の横方向を
x軸、縦方向をy軸とする。フレーム画像40には、5
つのマーカ11a〜11eそれぞれに対応するマーカ画
像41〜45が描画されている。先行する車両10の相
対ヨー角が発生することで、同一平面上にないマーカ
は、他のマーカと水平方向の方位角に差が生じる。この
方位角の差は、ヨー角の大きさに比例して大きくなる。
【0030】中央マーカ(マーカ11e)が周辺マーカ
(マーカ11a〜11d)と同一平面にあった場合に
は、マーカ画像41〜44の中央の位置P0に描画され
るが、本実施の形態では中央マーカ(マーカ11e)が
周辺マーカ(マーカ11a〜11d)より奥にある。そ
のため、位置P0よりも左方向にずれてマーカ画像45
が表示されている。
【0031】マーカ画像45の位置P0からのずれ幅に
よって、正確なヨー角を算出することができる。たとえ
ば、同一平面上に存在する周辺マーカ(マーカ11a〜
11d)の対角線46,47の交点P1のx座標と、実
際の中央マーカ(マーカ11e)のマーカ画像45のx
座標との差によって、ヨー角を算出することが可能にな
る。
【0032】図6は、車両の相対的位置の関係を示す図
である。相対位置は、後続の車両20を基準にして計測
される。相対位置は、車両間の距離d、方位角θ、およ
びヨー角θyによって特定される。車両間の距離dは、
先行する車両10の後部から、後続の車両20の前部ま
での距離である。方位角θは、後続の車両20の前後方
向に定義した軸101(車両20が直進する際の進行方
向と平行な軸)と、先行する車両10の後部と後続の車
両20の前部とを結ぶ線分102との成す角である。ヨ
ー角θyは、後続の車両20の前後方向に定義した軸1
01に平行な軸103と、先行するの車両10の前後方
向に定義した軸104(車両10が直進する際の進行方
向と平行な軸)との成す角である。
【0033】図7は、車両に搭載されている自動追尾機
能の構成を示すブロック図である。車両20は、先行す
る車両10を追尾するために、カメラ21,画像処理部
23,制御部24,メモリ25,センサ26,およびア
クチュエータ27を有している。
【0034】カメラ21は、光学系21aとCCD(Cha
rge Coupled Device)21bとで構成される。光学系2
1aは、複数のレンズによって構成され、先行する車両
10からの光をCCD21bの受光面に集光する。CC
D21bは、光学系21aによって集光された光を光電
変換によって、対応する画像信号に変換する。
【0035】画像処理部23は、CCD21bから出力
された画像信号に対して、例えば、輪郭抽出処理等を施
すことにより、マーカ画像を抽出する。制御部24は、
画像処理部23によって抽出されたマーカ画像を用い
て、車両10の相対的な位置を算出するとともに、算出
された相対位置に応じてアクチュエータ27を制御す
る。
【0036】メモリ25は、半導体メモリ等によって構
成されており、画像処理部23によって抽出されたマー
カに対応する画像を一時的に格納したり、制御部24が
所定の制御を行う場合に演算途中のデータやプログラム
等を一時的に格納したりする。更に、メモリ25は、不
揮発性メモリも具備しており、制御部24が実行する種
々のプログラムや、データ(例えば、マーカ同士の距
離)等も格納している。
【0037】センサ26は、車速、アクセルの開度、ト
ランスミッションの状態等の情報を検出して制御部24
に供給する。アクチュエータ27は、アクセルコントロ
ーラおよびブレーキコントローラ等によって構成されて
おり、制御部24からの指令に基づいて車両20の走行
状態を制御する。
【0038】なお、図7に示す画像処理部23,制御部
24およびメモリ25は、1つの制御装置として車両2
0に搭載される。次に、車両20における相対位置計算
処理について説明する。
【0039】図8は、相対位置計算処理全体の処理手順
を示すフローチャートである。以下に、図8に示す処理
をステップ番号に沿って説明する。 [ステップS11]制御部24は、初期処理を行う。初
期処理は、マーカ間の距離などの各種変数の値を初期値
に設定したり、メモリ25内に作業用の記憶領域を確保
したりする処理である。マーカ間の距離やマーカサイズ
は変更される可能性があるため、パラメータにより随時
変更可能となっている。
【0040】[ステップS12]制御部24は、マーカ
パターンの全探索処理を行う。全探索処理は、カメラ2
1で撮影されたフレーム画像内の全範囲を対象として、
マーカパターンを探索する処理である。全探索処理の詳
細は後述する。
【0041】[ステップS13]制御部24は、ステッ
プS12で探索したマーカパターンに基づいて、相対位
置を算出する。 [ステップS14]制御部24は、先行する車両が検出
されたか否かを判断する。先行する車両が検出された場
合には、処理がステップS15に進められる。先行する
車両が検出されなかった場合には、処理がステップS1
2に進められる。これにより、車両が検出されるまで、
全探索処理が繰り返し実行される。
【0042】[ステップS15]制御部24は、検出さ
れた車両までの距離が遠方か否かを判断する。距離が遠
方か否かは、検出された車両までの距離が、予め設定さ
れた閾値より遠いかどうかで判断される。距離が遠方の
場合には、処理がステップS18に進められる。距離が
遠方でない場合には、処理がステップS16に進められ
る。
【0043】[ステップS16]制御部24は、マーカ
画像の追跡処理を行う。追跡処理は、フレーム画像内の
直前にマーカ画像が検出された位置周辺をマーカ画像の
探索範囲として、マーカ画像毎の追跡を行う処理であ
る。追跡処理の詳細は後述する。
【0044】[ステップS17]制御部24は、ステッ
プS16で検出されたマーカパターンに基づいて、先行
する車両の相対位置を算出する。その後、処理がステッ
プS20に進められる。
【0045】[ステップS18]制御部24は、小領域
全探索処理を行う。小領域全探索処理は、マーカパター
ンの探索範囲を狭めたこと以外は、処理手順が全探索処
理と同様である。そのため、小領域全探索における探索
範囲の決定方法は後述することとし、小領域全探索の処
理手順の詳細をフローチャートを用いて説明することは
省略する。
【0046】[ステップS19]制御部24は、ステッ
プS18で探索されたマーカパターンに基づいて、先行
する車両の相対位置を算出する。その後、処理がステッ
プS20に進められる。
【0047】[ステップS20]制御部24は、所定時
間継続して車両が検出されていないかどうかを判断す
る。所定時間は、予め設定されている。所定時間は、た
とえば、追跡処理(ステップS16)または小領域全探
索処理(ステップS18)において、連続して車両を検
出できなかった回数で定義することができる。その回数
は、予めパラメータとして設定しておく。
【0048】所定時間継続して車両が検出されなかった
場合には、処理がステップS12に進められ、全探索処
理が行われる。所定時間内に車両が検出された場合に
は、処理がステップS15に進められ、追跡処理(ステ
ップS16)もしくは小領域全探索処理(ステップS1
8)が繰り返される。
【0049】図9は、全探索処理の手順を示すフローチ
ャートである。以下、図9に示す処理をステップ番号に
沿って説明する。 [ステップS21]制御部24は、カメラ21から取得
したフレーム画像を2値化する。2値化とは、カメラ2
1からの入力画像を、ある明るさより明るい部分を白、
暗い部分を黒に置きなおす処理である。
【0050】[ステップS22]制御部24は、ラベリ
ングを行う。ラベリングとは、2値化されたフレーム画
像に点在する白い部分(マーカ画像)に、識別番号を付
与する処理である。すなわち、フレーム画像内の高輝度
領域が、マーカ画像となる可能性のある領域である。
【0051】[ステップS23]制御部24は、マーカ
画像がマーカ条件を満たすか否かを判定し、マーカ画像
を絞り込む。第1のマーカ条件は、マーカ画像の面積が
所定範囲内であることである。マーカ画像の最大面積と
最小面積が予め設定されており、最小面積以上、最大面
積以下であることが、マーカ条件として定められてい
る。
【0052】第2のマーカ条件は、マーカ画像の縦横比
が所定範囲内であることである。マーカ画像の縦横比の
最大値と最小値とは、パラメータで指定することができ
る。第3のマーカ条件は、マーカ画像の充填率に異常が
無いことである。充填率とは、マーカ画像を囲う矩形の
領域内の、マーカ画像(白色の部分)が占める割合であ
る。充填率が異常に少ない場合、そのマーカ画像は、本
当のマーカが映し出されたものではない(偽のマーカで
ある)と判断される。
【0053】第4のマーカ条件は、マーカ候補となるマ
ーカ画像が、多すぎないことである。マーカ画像が多す
ぎると、画像的に信頼できないと判定し、以後の処理を
行わずに、エラー終了する。許容するマーカ画像の数
は、パラメータで予め指定しておくことができる。
【0054】[ステップS24]制御部24は、マーカ
画像に設定した識別番号を、マーカ画像の面積が広い順
にソートする。面積でソートし、ソートされた順番に、
マーカの判定を行うことにより、大きさが著しく異なる
マーカによるパターン判定を行わないようにすることが
でき、マーカパターン検出の精度を向上させることがで
きるとともに、処理の高速化を図ることができる。
【0055】[ステップS25]制御部24は、マーカ
パターン検出処理を行う。マーカパターン検出処理の詳
細は後述する。 [ステップS26]制御部24は、マーカパターン検出
処理により、マーカパターンが検出されたか否かを判断
する。マーカパターンが検出された場合には、処理がス
テップS27に進められる。マーカパターンが検出され
なかった場合には、処理がステップS28に進められ
る。
【0056】[ステップS27]制御部24は、検出さ
れたマーカパターンを出力して、処理を図8のステップ
S13に進める。 [ステップS28]制御部24は、先行する車両が検出
できないことを示すエラーメッセージを出力して、処理
を図8のステップS13に進める。
【0057】図10は、マーカパターン検出処理の手順
を示すフローチャートである。以下、図10に示す処理
をステップ番号に沿って説明する。 [ステップS31]制御部24は、マーカ画像の中の未
処理の3点を、ソートされた識別番号の配列の前から順
に取得する。このときの選択条件は、選択されたマーカ
画像同士の面積が、著しく異ならないことである。
【0058】たとえば、選択されたマーカ画像の中の最
もサイズが大きいマーカ画像の面積をMS1と、最もサ
イズが小さいマーカ画像の面積をMS2としたときに、
MS1/K≦MS2が満たされることが選択条件とな
る。ここで、Kは予めパラメータで設定された閾値であ
り、1以上の実数である。なお、1/Kの値をパラメー
タで設定しておいてもよい。
【0059】これにより、サイズが著しく異なるマーカ
画像同士の判定が行われなくなり、相対位置計測の精度
が向上すると共に、無駄な判定が行われないことで処理
が高速化される。
【0060】[ステップS32]制御部24は、取得し
た3点のマーカ画像が、周辺マーカの条件を満たすか否
かを判断する。3点のマーカ画像が周辺マーカであるた
めの第1の条件は、2点のマーカ画像が水平であること
である。この場合、完全に水平でなくても、2点を通る
直線の傾きが閾値以下であれば、その2点が水平である
とみなす。傾きの閾値は、パラメータで設定することが
できる。
【0061】3点のマーカ画像が周辺マーカであるため
の第2の条件は、水平な2点間の距離(画像におけるピ
クセル数)と、その2点から他の1点までの画像上での
x方向やy方向の距離との比が、予め決められている比
に近似することである。予め決められている比は、マー
カパネル11の周辺マーカ(マーカ11a〜11d)の
配置に基づいて決められている。誤差の許容範囲は、パ
ラメータで指定することができる。
【0062】周辺マーカの条件を満たした場合には、処
理がステップS33に進められる。周辺マーカの条件を
満たさない場合には、処理がステップS40に進められ
る。 [ステップS33]制御部24は、取得した3点のマー
カ画像に基づいて、他の点の位置を推測する。他の点の
位置は、マーカパネル11の各マーカ11a〜11e間
の距離の比に基づいて推測される。
【0063】[ステップS34]制御部24は、ステッ
プS33で推測した位置近くに存在するマーカ画像を、
他のマーカ画像として当てはめる。近くであるかどうか
の許容範囲は、パラメータで設定することができる。
【0064】[ステップS35]制御部24は、マーカ
パターンとして検出されたマーカ画像がN点以上か否か
を判断する。Nは、3,4,5のいずれかの値のパラメ
ータである。N点以上である場合には、処理がステップ
S36に進められ、N点未満である場合には、処理がス
テップS40に進められる。
【0065】[ステップS36]制御部24は、偽のマ
ーカ画像が含まれているか否かを判断する。たとえば、
取得した全マーカ画像の平均高さをa、取得した1つの
マーカ画像の上下方向の高さの差をbとした場合に、b
×K1<a<b×K2(K1<K2:K1,K2は正の
実数)を満たさない場合には、偽のマーカが含まれてい
るものと判断する。なお、K1とK2とは、マーカパネ
ル11におけるマーカ11a〜11eの配置に基づいて
予め設定されるパラメータである。
【0066】また、既知のマーカの大きさとマーカパタ
ーンの大きさとの比と、画像上でのマーカ画像とマーカ
パターンの大きさとの比とを比べ、その誤差が少ない場
合に、偽のマーカ画像が含まれていないと判断すること
ができる。
【0067】偽のマーカ画像が含まれていない場合に
は、処理がステップS37に進められる。偽のマーカ画
像が含まれている場合には、処理がステップS40に進
められる。
【0068】[ステップS37]制御部24は、取得し
たマーカ画像群をマーカパターンとして認識し、認識し
た車両台数の値に1を加算する。 [ステップS38]制御部24は、ステップS37で認
識したマーカパターンが、既に認識されているどのマー
カパターンよりも大きいか(最大マーカパターンか)を
判断する。マーカパターンの大きさは、たとえば、マー
カパターンの高さで判断する。カメラ21で撮影された
フレーム画像上、最大マーカパターンで示される車両
が、最も近距離の車両と判断される。
【0069】ステップS37で認識したマーカパターン
が最大マーカパターンの場合には、処理がステップS3
9に進められる。ステップS37で認識したマーカパタ
ーンが最大マーカパターンではない場合には、処理がス
テップS40に進められる。
【0070】[ステップS39]制御部24は、ステッ
プS37で認識したマーカパターンを、最近車両のマー
カパターンとして登録する。 [ステップS40]制御部24は、残りのマーカ画像の
組み合わせがあるか否かを判断する。残りの組み合わせ
がある場合には、処理がステップS31に進められる。
残りの組み合わせがない場合には、処理が図9に示すス
テップS26に進められる。
【0071】次に、追跡処理の詳細について説明する。
図11は、追跡処理の手順を示すフローチャートであ
る。以下、図11に示す処理をステップ番号に沿って説
明する。
【0072】[ステップS51]制御部24は、前回の
マーカパターン検出で検出されたマーカパターン中のマ
ーカ画像を1つ選択する。 [ステップS52]制御部24は、マーカ画像周囲の探
索範囲を取得する。探索範囲は、マーカ予測位置を中心
として、所定の範囲である。なお、マーカ位置の予測が
行われない場合には、前回のマーカの位置が中心とな
る。
【0073】前のマーカパターンの検出においてマーカ
パターンが認識されている場合、マーカパターンに含ま
れる各マーカ画像の大きさ×L(Lは正の実数)とM
(Mは正の実数)との大きい方の値を、探索範囲の半径
(あるいは探索範囲の幅と高さ)とする。
【0074】マーカパターンが未認識の場合、マーカ画
像の平均の大きさ×LとMとの大きい方の値を、探索範
囲の半径(あるいは探索範囲の幅と高さ)とする。な
お、LとMとは、パラメータで設定することができる。
【0075】[ステップS53]制御部24は、カメラ
21から取得した画像の2値化、およびラベリングを行
う。 [ステップS54]制御部24は、2値化した画像にお
ける探索範囲内からマーカ画像を取得する。ここで取得
するマーカ画像は、探索範囲の境界の上と下との両方に
接していないこと、および探索範囲の境界の右と左との
両方に接していないことが条件となる。また、探索範囲
内に複数のマーカ画像が検出された場合には、探索範囲
の中央に最も近いマーカ画像が取得される。
【0076】[ステップS55]制御部24は、マーカ
画像が見つかったか否かを判断する。マーカ画像が見つ
かった場合には処理がステップS56に進められ、マー
カ画像が見つからなかった場合には、処理がステップS
57に進められる。
【0077】[ステップS56]制御部24は、真正の
マーカ画像としての条件を判定する。真正のマーカ画像
の第1の条件は、マーカの面積が最小値以上、最大値以
下であることである。真正のマーカ画像の第2の条件
は、マーカの縦横比が閾値内であることである。真正の
マーカ画像の第3の条件は、充填率が異常でないことで
ある。これらの条件の1つでも満たしていないマーカ画
像は、偽のマーカ画像と判断される。
【0078】[ステップS57]制御部24は、他のマ
ーカ画像があるか否かを判断する。他のマーカ画像があ
る場合には処理がステップS51に進められる。他のマ
ーカ画像がない場合には、処理がステップS58に進め
られる。
【0079】[ステップS58]制御部24は、パター
ン判定を行う。パターン判定では、第1の条件として、
2点のマーカ画像が水平上にあることが評価される。水
平であることを満たすための許容範囲は予め設定されて
いる。
【0080】第2の条件として、第1の条件で水平と評
価された2点のマーカ画像と他のマーカ画像との位置関
係が評価される。すなわち、水平な2点間の距離(画像
におけるピクセル数)と、その2点から他の1点までの
画像上でのx方向やy方向の距離との比が、マーカパネ
ル11のマーカ11a〜11eの配置に基づいて予め決
められている比に近似しているかどうかが評価される。
誤差の許容範囲は、パラメータで指定することができ
る。
【0081】第3の条件として、異なる複数のマーカの
追跡において、同一のマーカ画像を検出した場合に、そ
のマーカ画像がどちらのマーカの追跡対象であるのかが
判断される。たとえば、他のマーカ画像との位置関係か
ら、各マーカのマーカ画像としての信頼性が評価され
る。具体的には、他のマーカ画像(重複して検出された
マーカ画像以外)が、前のフレーム画像における位置よ
りも左に移動していれば、重複して検出されたマーカ画
像は、その位置よりも前のフレーム画像で右側に映し出
されていたマーカのマーカ画像としての信頼性が高く評
価される。そして、信頼性の低い方のマーカの追跡対象
から、そのマーカ画像が除外される。
【0082】パターン判定による条件を満たさないマー
カ画像は、追跡対象のマーカ画像から除外される。 [ステップS59]制御部24は、追跡できなかったマ
ーカについて、そのマーカ(無効マーカ)の位置を他の
マーカ画像の位置から予測する。
【0083】[ステップS60]制御部24は、次のフ
レーム位置を予測する。たとえば、制御部24は、前回
のマーカ画像の位置と現在のマーカ画像の位置から、次
のフレームでの位置を、一次補外で予測する。ただし、
車両の振動が激しく、位置予測の信頼性が確保できない
場合には、パラメータの設定によって、位置予測機能を
停止させておくこともできる。その後、処理が図8のス
テップS17に進められる。
【0084】以上のような処理を行うことにより、フレ
ーム画像からマーカパターンが抽出され、そのマーカパ
ターンに基づいて、先行する車両との相対位置が算出さ
れる。
【0085】[相対位置計算]次に、相対位置計算手法
の詳細について説明する。図12は、先行する車両の後
部を写したフレーム画像の例を示す図である。フレーム
画像50には、車両10(図3に示す)の後部が映し出
されている。フレーム画像50内には、マーカ画像51
〜55が含まれている。マーカ画像51〜55の位置
は、たとえば、マーカ画像51〜55の重心に定義され
る。周辺マーカのマーカ画像51〜54は、台形を形成
している。
【0086】ここで、台形の上底56に配置されるマー
カ画像51,52の画面上での距離(ピクセル数)をh
1とする(画像の右側が正)。台形の下底57に配置さ
れるマーカ画像53,54の画面上での距離(ピクセル
数)をh2とする(画像の右側が正)。台形の上底56
の中点と、台形の下底57の中点との距離(ピクセル
数)を、マーカパターンの高さ(縦方向の間隔)vとす
る。台形の2つの対角線58,59の交点と、フレーム
画像50の中心点(図12中、×印で示す)との距離
(ピクセル数)をhcとする(画像の右側が正)。ま
た、中央マーカのマーカ画像55と、フレーム画像50
の中心点との距離(ピクセル数)をmcとする(画像の
右側が正)。
【0087】本実施の形態では、マーカパターンを構成
する各マーカ画像51〜55の位置から、マーカまでの
距離d,方位角θおよびヨー角θyを求める。マーカま
での距離dは、マーカ画像51〜55間の縦方向の間隔
vから求める(横方向の間隔から求めることも可能)。
方位角θはマーカ基準点(たとえば、周辺マーカのマー
カ画像51〜54の対角線58,59の交点)のフレー
ム画像50上の位置から求める。ヨー角θyは中央マー
カであるマーカ画像55の左右方向のずれ(中央マーカ
が見つからなかった場合は、マーカ間の縦方向の間隔v
と横方向の間隔)から求める。
【0088】本実施の形態のような5点のマーカ11a
〜11eによるマーカパターンの場合、周りの4点の周
辺マーカから作られる台形の上底56と下底57との長
さから横方向の間隔を求める。また、上底56と下底5
7との中点を結ぶ線の長さから縦方向の間隔vを求め
る。また、カメラ21の中心座標から周辺マーカの対角
線58,59の交点までの距離hcから方位角θを求め
る。
【0089】なお、パラメータでの指示により、マーカ
間の横方向の間隔から距離を求めることも可能である。
また、前回にマーカパターンを検出し、その車間距離が
近距離(画角からのマーカパターンの一部が外れて、3
個未満のマーカのみが画像上に写る可能性がある)と判
定している場合、マーカ2個の横方向の間隔やマーカ1
個の大きさから距離を求めることも可能である。
【0090】奥行きを持たせている中央マーカはヨー角
θyを計算する際に用いられる。すなわち、周辺マーカ
であるマーカ画像51〜54の対角線58,59の交点
と、中央マーカであるマーカ画像55までの距離mc
からヨー角θyが求められる。
【0091】5点全てのマーカのマーカ画像が認識され
ていない場合には、4点、3点、2点、1点のマーカ画
像に基づいて、相対位置を計算することができる。これ
により、天候などの外乱によりマーカを数個ロスト(検
出できないこと)しても距離や方位角などを求めること
が可能となり、先行する車両の位置の検出率が向上す
る。
【0092】具体的な距離の計算方式を次に示す。 i)図12に示すように5点すべてのマーカ画像が見つ
かった場合の計算例について説明する。まず、マーカパ
ターンの幅hを、
【0093】
【数1】h=(w11+w22)/c ・・・・(1) と定義する。ここで、w1は、上底のマーカ間の実際の
距離に応じてつけられる重みである。w2は、下底のマ
ーカ間の実際の距離に応じてつけられる重みである。た
とえば、
【0094】
【数2】w1:w2=hM1:hM2 ・・・・(2) とする。
【0095】また、cは、w1:w2とマーカパターン形
状に応じてつけられる定数であり、たとえば、
【0096】
【数3】c=w1M1+w2M2/vM ・・・・(3) と定義する。この定数cにより、ヨー角θyが0のとき
に、v=hとなる。
【0097】また、カメラ特性から決まるパラメータ
で、カメラから距離1mの平面上に置かれた長さvM
線の画像上でのピクセル数をCcとする。このとき方位
角θ,距離d,ヨー角θyは、以下の式で算出される。
【0098】
【数4】θ=−tan-1(Ccc) ・・・・(4)
【0099】
【数5】d=Cc/(vcosθ) ・・・・(5)
【0100】
【数6】 θy=−tan-1(Ccc) −sin-1((mc−hc)vMcos(−tan-1(Ccc))/(vdM))+θ ・・・・(6) ii)次に中央マーカを除く4点のマーカ画像が見つか
った場合について説明する。この場合、方位角θと距離
dとは、それぞれ式(4),式(5)で算出する。ヨー
角θyは2組の平行なマーカ画像から次の式(7)のよ
うに求め、マーカ間長さによる重み付平均をとる。
【0101】
【数7】 θy=±cos-1(dvM(p-+p+)cosθ/ccL√(1+α2))+α ・・・・(7) ここで、p+は、平行なマーカ画像のうち、左側のマー
カ画像のx座標(ピクセル)である。p-は、平行なマー
カ画像のうち、右側のマーカ画像のx座標(ピクセル)で
ある。Lは、平行なマーカ画像の実際の幅(h1または
2)である。αは、
【0102】
【数8】 α=−(p++p‐)vM/2cc・・・・(8) である。
【0103】ただし、式(7)のcos-1の引数が1より
大きい場合は、ヨー角θyは0とする。 iii)次に、周辺マーカの1点を除く4点が見つかっ
た場合について説明する。
【0104】図13は、周辺マーカの1点を除く4点が
見つかった場合のフレーム画像の例を示す図である。フ
レーム画像60には、マーカ11b〜11eに対応する
マーカ画像62〜65が含まれているが、マーカ11a
に対応するマーカ画像61が見つかっていない。そこ
で、周辺の4つのマーカ画像のうち3つまでしか見つか
らなかった場合、まず見つからなかったマーカ画像61
の位置を推定する。
【0105】まず、2つのマーカ画像63,64を通る
直線66の傾きを求める。そして、見つからなかったマ
ーカ画像61の水平方向に対になるマーカ画像62か
ら、残りの2つのマーカ画像63,64の傾きと傾きが
逆の直線67を引く。
【0106】次に、2つのマーカ画像62,64を通る
直線68の傾きを求める。そして、見つからなかったマ
ーカ画像61の垂直方向に対になるマーカ画像63か
ら、残りの2マーカ画像62,64の傾きと傾きが逆の
直線69を引く。
【0107】直線67と直線69と交点をマーカ画像6
1の推定位置とする。このように推定されたマーカ画像
61を含めて、式(4),式(5),式(6)によって
方位角θ,距離d,ヨー角θyを求める。
【0108】なお、ヨー角θyが発生せずに、ロール角
(車両の前後方向の軸周りの回転)が発生することが既
知の場合は、以下のようにして、縦方向の間隔vを求め
ることができる。
【0109】図14は、ロール角が発生するときのフレ
ーム画像の例を示す図である。フレーム画像60aに
は、周辺マーカのうちの4つのマーカ画像62a,63
a,64a,65aが含まれている。マーカ11aに対
応するマーカ画像61aは検出されていない。
【0110】ロール角が発生する場合、水平に存在する
2点のマーカ画像63a,64aを通る直線66aと、
他のマーカ画像62aとの最短距離を、縦方向の間隔v
とすることができる。これは、ロール角が発生しても、
ヨー角が発生しなければ、上辺、下辺が平行であること
を利用している。
【0111】iv)周辺マーカの3つのマーカ画像しか
見つからなかった場合には、iii)で説明したよう
に、検出できなかったもう1つの周辺マーカのマーカ画
像の位置を推定する。そして、i)と同様に、式
(4)、式(5)により、方位角θと距離dとを求め、
ii)と同様に式(7)によりヨー角θyを求める。
【0112】v)次に、周辺マーカ2つと中央マーカし
か検出できなかった場合について説明する。この場合、
周辺マーカのうち水平方向に対になる2つのマーカ画像
が検出されたときと、周辺マーカのうち水平方向に対に
なる2つのマーカ画像以外が検出されたときとに分けら
れる。
【0113】図15は、周辺マーカのうち水平方向に対
になる2つのマーカ画像が検出された場合のフレーム画
像の例を示す図である。フレーム画像70には、周辺マ
ーカに対応する2つのマーカ画像73,74と、中央マ
ーカに対応するマーカ画像75が含まれている。他の周
辺マーカに対応するマーカ画像71,72は検出されて
いない。
【0114】この場合、中央マーカのマーカ画像75か
ら水平なマーカ画像73,74を通る直線76に下ろし
た垂直線77の長さをv/2とし、その2倍(中央マー
カの垂直位置が台形の上底・下底のちょうど中間にある
場合)を縦方向の間隔vとする。横方向の間隔hに関し
ては、マーカ画像の対が存在しない側に対応する重み
(図15の例ではw1)を0としてi)と同様の方法で
距離d,方位角θ,ヨー角θyを求める。
【0115】図16は、周辺マーカのうち水平方向に対
になる2つのマーカ画像以外が検出された場合のフレー
ム画像の第1の例である。このフレーム画像80には、
周辺マーカに対応する2つのマーカ画像82,84と、
中央マーカに対応するマーカ画像85とが含まれてい
る。他の周辺マーカに対応するマーカ画像81,83は
検出されていない。
【0116】図16に示したような場合、周辺部の2つ
のマーカ画像82,84を結ぶ線分86を斜辺とする直
角三角形をつくり、直角三角形の高さを縦方向の間隔v
とする。また、直角三角形の幅h3に2vM/(hM2−h
M1)をかけたものを、横方向の間隔hとする。これによ
り周辺部マーカ4点が確認できる場合のhと等価なもの
が得られる。これらの条件から、i)と同様の方法で距
離d,方位角θ,ヨー角θyを求める。
【0117】図17は、周辺マーカのうち水平方向に対
になる2マーカ画像以外が検出された場合のフレーム画
像の第2の例である。このフレーム画像90には、周辺
マーカに対応する2つのマーカ画像92,93と、中央
マーカに対応するマーカ画像95が含まれている。他の
周辺マーカに対応するマーカ画像91,94は検出され
ていない。
【0118】図17に示したような場合、周辺部の2つ
のマーカ画像92,93を結ぶ線分96を斜辺とする直
角三角形をつくり、その高さを縦方向の間隔vとする。
また、直角三角形の幅h4に2vM/(hM2+hM1)をか
けたものを、横方向の間隔hとする。これにより周辺部
のマーカ4点が確認できる場合のhと等価なものが得ら
れる。これらの条件から、i)と同様の方法で距離d,
方位角θ,ヨー角θyを求める。
【0119】vi)マーカが2点しか見つからなかった
場合には、前回の判定で距離が近距離であると判別され
ており、かつマーカ画像が横方向の2点と判別された場
合であれば、その2個のマーカ画像の間隔から距離dを
計算する。方位角θは2つのマーカ画像の中央から求め
る。
【0120】前回の判定で距離が近距離でないと判別さ
れている場合は、距離計算を行わない。前回の判定が画
角内のマーカが3個未満であると予想されるような近距
離(例えば、3m以内の距離)の場合に限り、この検出
方法を用いることにより、太陽光などの誤検出を最小限
に抑える事ができる。近距離の場合には前方車両による
隠蔽により太陽光の影響はほとんどない。
【0121】vii)マーカが1点しか見つからなかっ
た場合、前回の判定で距離が近距離であると判別されて
いれば、その1個のマーカの大きさ(縦のサイズ)から
距離dを計算する。また、前回までの検出結果により、
検出されたマーカ画像が、どのマーカのものであるかを
特定し、方位角θを算出する。前回の判定で距離が近距
離でないと判別されている場合、距離計算を行わない。
【0122】前回の判定が画角内のマーカが2個未満で
あると予想されるような近距離(例えば、1m以内の距
離)の場合に限り、この検出方法を用いることにより、
太陽光などの誤検出を最小限に抑える事ができる。近距
離の場合には前方車両による隠蔽により太陽光の影響は
ほとんどない。
【0123】以上のように、マーカを縦方向と横方向と
に分散して配置したことにより、少ないメモリ使用量
で、先行する車両の位置を高精度に、かつ短時間で測定
することができる。しかも、周辺マーカのうち3つのマ
ーカ画像が検出されれば、他の1つの位置を推定して相
対位置を計算できるため、刻々と変化する自然環境内で
の使用にも耐え得る信頼性を確保することができる。
【0124】[重心算出]次に、重心算出方法について
説明する。本実施の形態では、重心の算出精度を高める
ために、制御部24において、複数のマーカ画像の輝度
分布情報をもとに重み付けを行う。そして、重み付けが
行われた輝度分布情報を用いマーカ画像の重心位置を算
出する。この重心位置を、マーカ画像の位置(マーカ基
準位置)とする。
【0125】図18は、マーカ画像の拡大図である。図
18に示すように、先行する車両のマーカを撮影した場
合、空気中の塵や埃などの影響を受け、マーカ画像の輪
郭はぼやける。
【0126】図19は、マーカ画像の輝度ヒストグラム
を示す図である。図19では、横軸にX座標、縦軸に輝
度値を示している。図19に示すように、マーカ画像
は、中央付近の輝度値が高い値になっており、周辺に近
づくに従い輝度値が低い値になっている。
【0127】このように、マーカが長方形の場合、中心
部分が明るく周辺部分がぼやける。外乱によるにじみ
や、マーカ自身の回転(車両のロール方向の回転)が発
生することにより、さらに影響は大きくなる。特に、自
然状況(雨、雪、霧など)により、一方向ににじむ可能
性もある。
【0128】ここで、マーカ基準位置の算出方法とし
て、以下の3つの方法が考えられる。 (1)2値画像のマーカ中心位置 (X方向最大値と最小値の中点、Y方向最大値と最小値
の中点) (2)2値画像の重心算出 (3)輝度重みを付けた重心算出 きれいな長方形マーカのマーカ画像が、デジタル化され
た時に、きれいな長方形になるのであれば、(1)で十
分である。ところが、実際には、外乱による「にじみ」
の発生や回転が発生するため、デジタル画像上は長方形
で表示されない。
【0129】図20は、マーカ画像の2値化処理の例を
示す図である。図20(A)は、2値化前のマーカ画像
のピクセル毎の輝度値を示しており、図20(B)は、
2値化後のマーカ画像のピクセル毎の輝度値を示してい
る。
【0130】図20の例では、閾値を20として2値化
処理を行っている。すなわち、2値化前の輝度値が20
未満のピクセルは、2値化後の輝度値が0となる。2値
化前の輝度値が20以上のピクセルは、2値化後の輝度
値が1となる。なお、図20(B)では、2値化後の輝
度値が1(2値化時に閾値以上)のピクセルは、白抜き
の四角で示しており、2値化後の輝度値が0(2値化時
に閾値未満)のピクセルは、黒抜きの四角で示してい
る。
【0131】図20(A)の例では、2値化前のマーカ
画像111では、中心付近に最も輝度値が高いピクセル
があり、周囲に近づくに従い輝度値が低くなっている。
このマーカ画像111が2値化されると、図20(B)
に示すように、2値化後のマーカ画像112は正確な長
方形ではなくなる。図20(B)の例では、長方形から
はみ出した位置に、輝度値が1のピクセル112aが存
在することで、マーカ画像112が歪んでしまってい
る。
【0132】このように、2値化を行うと、にじみなど
により発生した閾値以上の点(実際のマーカが存在しな
い位置において乱反射などにより発生する明るい点)に
影響を受ける。そのため、マーカ基準位置の算出方法
(1)の場合は、大きな誤差が発生する。高々1ピクセ
ルのはみ出しであっても、基準位置が0.5ピクセル単
位で影響を受けることになる。
【0133】それに比べ、マーカ基準位置の算出方法
(2)の重心算出の場合、算出方法(1)に比較して、
図20に示したような1ピクセルの影響を少なくするこ
とができ、確率的に精度は向上する。すなわち、重心算
出を行うことにより、ピクセル単位以下の精度(サブピ
クセル)による基準位置の検出が可能となる。
【0134】また、雨などにより片方向に「にじみ」が
発生することも予想される。2値化時に閾値以上となっ
た場合でも、正規のマーカ位置の輝度は高く、「にじ
み」部分の輝度は低いという特性がある。この特性を利
用し、マーカ基準位置の算出方法(3)では、各ピクセ
ルに対して、重心算出時に2値化前の輝度値による重み
付けをする。これにより、より正確にマーカ基準位置を
求めることができる。
【0135】すなわち、マーカ基準位置の算出方法
(3)では、マーカ画像の各ピクセルに対して、カメラ
21から送られた画像の輝度値に応じた重みを設定す
る。そして、各ピクセルに対して、重みに応じた仮想質
量を与え、マーカ画像の質量中心を求める。
【0136】図21は、輝度重みの重心計算例を示す図
である。図21では、マーカ画像の輝度分布を、横軸に
x座標、縦軸に輝度値を設定した輝度ヒストグラムで示
している。図中、線121は、輝度重みの重心位置を示
している。また、線122は、2値化結果の重心位置を
示している。
【0137】図21の例では、雨などにより片方向(図
中左側)ににじみが発生し、輝度の高い領域が、広がっ
てしまっている。そのため、2値化結果の重心位置は、
線122に示すように、左側にずれてしまっている。こ
こで、輝度重みを付けて、重心を求めると、線121で
示したように、輝度値の高い位置に重心が求められる。
【0138】このように、ヒストグラムが図21のグラ
フのような場合には「両端画素の中心を求める方法」
や、「2値化結果の重心を求める方法」では、重心は両
端からの中間点付近になる。しかし、マーカが遠方の場
合は映像上ではボケている部分があり、一番明るい部分
が重心に近い値になる。そのため、「輝度重みをつけた
重心」は、より実際のマーカの中心に近い位置を示す。
【0139】[マーカ条件判定と充填率]次に、マーカ
条件の判定と充填率について説明する。本実施の形態で
は、マーカ重心座標位置から予め定められたマーカを認
識する。
【0140】自然環境内で車両の隊列走行を行うと、雨
滴の影響で長方形マーカの形状が乱れることにより未検
出のマーカが発生したり、太陽光の影響によりマーカ以
外のものをマーカと誤認識したりする場合がある。この
為、本実施の形態では、マーカの形状を調べる際、次の
ことをチェックする。 ・ 高輝度領域の縦横比は実際マーカの縦横比に近い
か。 ・ 高輝度領域の形状は長方形(矩形)か。具体的に
は、高輝度領域を覆いこむ最小の長方形の面積と、高輝
度領域の面積の比(面積充填率)を求め、これが予想値、
指定値に近いかどうかを調べる。 ・ 高輝度領域のサイズが小さすぎたり、または大きす
ぎたりしないか。これは、想定車間距離範囲におけるマ
ーカサイズの最大値と最小値を予め設定しておき、高輝
度領域のサイズが、予め設定された最小値以上、最大値
以下であることを調べる。
【0141】これらの評価基準を満たすものは「マーカ
条件を満たす」とされ、マーカ画像候補とする。また、
マーカの評価基準に重み付けを行い、マーカ画像候補を
重みに応じて総合評価することで、マーカ画像とみなす
か否かを判断することができる。この場合、重み付けに
関しては、運用形態(走行コース・周辺環境・マーカ形
状等)により設定することができる。
【0142】例えば、近距離においては充填率の重みを
強くし、遠距離時には最大面積で判定することで、距離
に応じた的確な判定が可能となる。近距離においては遠
距離と異なりマーカが矩形である確立が高く、遠距離に
おいては近距離の場合と比較して、円形に近くなること
が多いという特性を反映することにより、本処理が実現
可能となる。
【0143】この判定処理により、マーカ同士の位置関
係が偶然に真のマーカパターンに近いような発光体群に
関しても誤認識を防止することが可能となる。また、マ
ーカ候補数を減らすことが可能となる為、最終的なマー
カパターン判定が高速化するという効果もある。
【0144】図22は、縦横比による判定処理結果の一
例を示す図である。図22(A)はカメラから入力され
た画像を示しており、図22(B)はラベリング結果を
示しており、図22(C)は形状判定後に抽出されたマ
ーカ画像候補を示している。
【0145】カメラ21から入力されたフレーム画像1
30には、高輝度の領域が複数存在する。図22(A)
の例では、フレーム画像130内に、楕円形の領域、三
角形の領域、および4カ所の四角形の領域が含まれる。
そこで、制御部24は、ラベリングを行い、高輝度の領
域に識別番号を付与する。図22(B)の例では、楕円
形の領域に1、三角形の領域に2、4カ所の四角形の領
域にそれぞれ、3から6の識別番号を付与している。
【0146】ここで、制御部24が縦横比の判定を行
う。実際のマーカの形状が正方形であれば、図22
(B)に示す楕円形の領域のように横に長すぎる形状
や、三角形の領域のように縦に長すぎる形状は、マーカ
画像でない(縦横比が異常である)と判断される。その
結果、図22(C)に示すように、四角形の領域のみ
が、マーカ画像候補として抽出され、それぞれに、1か
ら4の識別番号が振り直される。
【0147】図23は、充填率判定例を示す図である。
充填率を判断する場合、制御部24は、マーカ画像14
1を囲む矩形領域142を設定する。矩形領域142の
x軸方向の幅をx1、y軸方向の幅をy1、マーカ面積
S(画面上のドット数)とすると、充填率Fは、
【0148】
【数9】F=S/(x1+y1) ・・・・(9) で算出することができる。充填率Fは最大値が1であ
り、マーカ画像141が矩形に近づくほど充填率Fが1
に近づく。
【0149】以下に、実際にはマーカではないが、縦横
比のみで判定するとマーカと誤認識するような例を示
す。図24は、充填率の判断で異常とされる画像の例を
示す図である。図24(A)は、歪んだ形状の画像の例
を示し、図24(B)は、十時型の画像の例を示し、図
24(C)は、三角形の画像の例を示す。
【0150】各画像151,152,153は、縦横比
では正常と判断されるが、充填率では異常と判断され
る。マーカは矩形であっても、画像情報において一般的
に完全な矩形としてとらえることは不可能である。しか
し、撮像対象と撮像手段との間隔が近距離になるほど、
マーカ画像も矩形に近くなるという特性がある(充填率
が1に近くなる)。よって、充填率によりマーカ画像の
判定を行うことにより、高輝度領域が存在した時に、マ
ーカとマーカ以外の判定を的確に行うことができ、結果
的に誤認識の防止に効果を発揮する。
【0151】[追跡処理]次に、追跡処理について説明
する。追跡処理では、マーカパターンが具備する対象の
動きが予め定められた範囲にある場合において、マーカ
およびマーカパターンを抽出する。
【0152】図25は、マーカの探索範囲を示す図であ
る。図25の例では、画像160内におけるマーカ画像
の探索範囲161b,162b,163b,164b,
165bを前時刻のマーカ画像161a,162a,1
63a,164a,165aの基準位置により判断す
る。そして、探索範囲161b,162b,163b,
164b,165b内から、現時刻のマーカ画像161
〜165を検出する。
【0153】たとえば、前時刻のマーカ画像の基準位置
を(x2,y2)とした場合、(x2−p,y2−q)
〜(x2+p,y2+q)の範囲を、マーカ探索範囲と
する。ここで、p,qは、探索幅を示す変数であるが、
p,qの値は、前時刻でのマーカの幅などの情報に基づ
いて算出される。
【0154】図26は、探索幅の算出方法を説明する図
である。図26(A)は、マーカ探索範囲の第1の候補
を示しており、図26(B)は、マーカ探索範囲の第2
の候補を示している。
【0155】前時刻のマーカ画像161aの幅をcx、
前時刻のマーカ画像161aの高さをcyとする。ここ
で、x3=cx/2、y3=cy/2とする。マーカ探
索範囲の第1の候補161cでは、図26(A)に示す
ように、前時刻のマーカ画像161aの基準位置から横
方向にx3×n(nは、1以上の実数)、縦方向にy3
×r(rは、1以上の実数)以内の範囲が探索範囲とな
る。
【0156】マーカ探索範囲の第2の候補161dで
は、図26(B)に示すように、前時刻のマーカ画像1
61aの基準位置から横方向にx3+m(mは、正の実
数)、縦方向にy3+s(sは、正の実数)以内の範囲
が探索範囲となる。
【0157】そして、実際の探索範囲を定めるための探
索幅(p,q)は、x軸、y軸それぞれの方向におい
て、大きい方の値が採用される。たとえば、引数の値の
最大値を返す関数をmax(引数#1,引数#2,・
・)と定義すると、探索幅(p,q)を以下の様に求め
ることができる。
【0158】
【数10】p=max(x×n,x+m)・・・・(10)
【0159】
【数11】 q=max(y×r,y+s)・・・・(11) これにより、マーカ画像のサイズが大きいとき(マーカ
が近距離)には、マーカ探索範囲の第1の候補161c
で定義されるような探索範囲が決定される。また、マー
カ画像のサイズが小さいとき(マーカが遠距離)には、
マーカ探索範囲の第2の候補161dで定義されるよう
な探索範囲が決定される。これにより、近距離から遠距
離まで、距離に応じた探索範囲が決定される。
【0160】マーカ探索範囲の第2の候補161dの
「m」や「s」による加算処理は、カメラ21の撮像時
間内の画像内のマーカパターンの移動が、一定方向の場
合に有効に利用できる。たとえば、以下のような場合が
ある。 ・ 自車両のカメラの光軸回転振動(車両振動(ヨー
角、ピッチ角)、ステア機構ぶれ、 カメラ治具のぶ
れ)が有る場合。 ・ 道路が線形(正確には角度一定ではない可能性もあ
る)のときの前方車両位置が、画像上で移動する場合。 ・ オフセットマージンを設定すべき場合。
【0161】それに対して、マーカ探索範囲の第1の候
補161cの「n」や「r」による乗算処理は、撮影間
隔内での移動量が距離に反比例する場合に効果がある。
たとえば、以下のような場合に効果がある。 ・前方車両のマーカの位置変化量(横位置ずれ,ヨー角
変化、ピッチ角変化)を考慮する場合。 ・自車両の平行移動振動(横位置ずれなど)がある場
合。 ・係数マージンを設定すべき場合。
【0162】実際には、いずれかの値の大きい方(余裕
が必要な側)を採用(max値)する。これらを考慮する
と実質的に、マーカが遠点ではマーカ探索範囲の第2の
候補161dを、近点ではマーカ探索範囲の第1の候補
161cを用いることとなる。
【0163】また、n,m,s,r は、パラメータに
よって外部指定可能とすることにより、様々な走行コー
スに対応することができる。たとえば、その時点での前
方コース形状を考慮し、動的に変化させる事も可能であ
る。
【0164】上記設定値を決定するにあたっては、 ・道路線形(道路にそった車両の移動分) ・撮像手段(カメラ)のブレ ・車両の振動 ・マージン(余裕分) 等を総合的に判断する必要がある。
【0165】例えば、上記の要因に起因する縦横変化の
成分を以下のように規定する。まず、様々な要因によっ
て引き起こされるマーカパターンの位置ずれの想定量
を、道路線形(x11,y11)、カメラのブレ(x1
2,y12)、車両振動(x13,y13)、ロール
(x14,y14)、マージン(x15,y15)とす
る。このとき、最大の縦横変化の成分は以下の値として
設定する。
【0166】
【数12】 横変化の最大値=x11+x12+x13+x14+x15 ・・・・(12)
【0167】
【数13】 縦変化の最大値=y11+y12+y13+y14+y15 ・・・・(13) 一般的に道路線形はアップダウンよりも左右のカーブが
きつく(x11>y11)、カメラ21のブレはカメラ
21の水平方向への回転台を用いている場合横方向のブ
レが大きい(x12>y12)。そのため、横方向の探
索範囲を広く設定することとなる。これにより、不要な
縦方向の範囲を探索することが無くなるので、太陽光な
どの誤認識の防止に非常に効果がある。また、処理速度
の向上も期待できる。
【0168】[小領域全探索]次に、小領域全探索につ
いて説明する。小領域全探索処理では、前時刻のマーカ
パターン座標情報から、マーカパターンが存在する座標
範囲を限定・推定し、限定範囲内でマーカおよびマーカ
パターンを抽出する。
【0169】図27は、小領域全探索処理の探索範囲を
示す図である。画像170には、前時刻のマーカパター
ンを形成するマーカ画像171a,172a,173
a,174a,175aの位置に応じて、探索範囲17
6が決定される。この探索範囲176内を全探索するこ
とにより、現時刻のマーカ画像171〜175が検出さ
れ、現時刻のマーカパターンが認識される。
【0170】図28は、偽のマーカが存在する場合の画
面例を示す図である。図28の画像180には、現時刻
の小領域の探索範囲186内に、真正のマーカ画像18
1〜185が写っている。探索範囲186外には、偽の
マーカ画像187a〜187dが写っている。
【0171】制御部24は、前時刻のマーカパターンを
構成するマーカ画像の座標(基準位置)より、マーカパ
ターンの位置、大きさを算出する。そして、制御部24
は、予想される移動範囲を加味し、マーカパターン探索
範囲を決定する。制御部24は、限定したマーカパター
ンの探索範囲に対し、全探索処理を行うことにより、マ
ーカ検出、パターン検出を行う。
【0172】これにより、処理対象を限定することによ
る高速化が図れる。また、図28に示したような、様々
な要因により発生する偽のマーカ画像(マーカ以外の高
輝度領域)への誤認識を防止することができる。
【0173】ここで、小領域全探索における探索範囲の
算出方法について説明する。図29は、小領域全探索に
おける探索範囲の算出方法を説明する図である。直前の
フレーム画像190で検出されたマーカ画像191〜1
95に基づいて、制御部24は、マーカ画像191〜1
95で構成されるマーカパターンを含む最小領域196
を判断する。最小領域196のx座標とy座標との中心
を、マーカパターンの中心の位置P0(x0,y0)と
する。
【0174】ここで、マーカパターンの中心の位置P0
(x0,y0)を基準とし、(x0−p1,y0−q
1)〜(x0−p1,y0−q1)の範囲を、マーカパ
ターンの探索範囲とする。
【0175】ここで、前時刻でのマーカパターンの幅を
dx、前時刻でのマーカパターンの高さをdyとする
と、x4=dx/2、y4=dy/2と表すことができ
る。ここで、探索幅(p1,q1)を以下の様に求め
る。
【0176】
【数14】
【0177】
【数15】 n1,r1は1以上の実数であり、m1,s1は0以上
の実数である。このように、複数の値の最大値を採るよ
うにしたのは、近距離から遠距離をサポートするためで
ある。
【0178】「+m1」,「+s1」のように変数を加
算する場合は、カメラ21から見て撮像間隔内の画像上
のマーカパターンの移動方向が一定の場合に有効であ
る。たとえば、以下のような場合に有効である。 ・ 自車両のカメラの光軸回転振動(車両振動(ヨー
角、ピッチ角)、ステア機構ぶれ、 カメラ治具のぶ
れ)が有る場合。 ・ 道路が線形(正確には角度一定ではない可能性もあ
る)のときの前方車両位置が、画像上で移動する場合。 ・ オフセットマージンを設定すべき場合。
【0179】それに対して、「×n」や「×r」のよう
に変数を乗算する場合は、撮影間隔内での移動量が距離
に反比例する場合に効果がある。たとえば、以下のよう
な場合に効果がある。 ・前方車両のマーカの位置変化量(横位置ずれ,ヨー角
変化、ピッチ角変化)を考慮する場合。 ・自車両の平行移動振動(横位置ずれなど)がある場
合。 ・係数マージンを設定すべき場合。
【0180】これらの複数の値のうち余裕が必要な側を
採用(max値)する。これらを考慮すると実質的に遠点
では前者を近点では後者を用いることとなる。また、n
1,m1,s1,r1は、パラメータにより外部指定可
能とすることにより、様々な走行コースに対応する。そ
の時点での前方コース形状を考慮し、動的に変化させる
事も可能である。
【0181】上記設定値を決定するにあたっては、道路
線形、撮像手段(カメラ)のブレ、車両の振動、マージ
ン等を総合的に判断する必要がある。例えば、上記の要
因に起因する縦横変化の成分を以下のように規定する。 道路線形(x21,y21) 撮像手段のブレ(x22,y22) 車両振動(x23,y23) ロール(x24,y24) マージン(x25,y25) このとき、最大の縦横変化の成分は以下の値として設定
する。
【0182】
【数16】 横変化の最大=x21+x22+x23+x24+x25 ・・・・(16)
【0183】
【数17】 縦変化の最大=y21+y22+y23+y24+y25 ・・・・(17) 一般的に道路線形はアップダウンよりも左右のカーブが
きつく(x21>y21)、撮像手段のブレはカメラの
水平方向への回転台を用いている場合横方向のブレが大
きい(x22>y22)ため、横方向の探索範囲を広く
設定することとなる。これにより、不要な縦方向の範囲
を探索することが無くなるので、太陽光などの誤認識の
防止に非常に効果がある。また、処理速度の向上も期待
できる。
【0184】[追跡(位置予測)]次に、位置の予測処
理について説明する。制御部24は、過去のマーカ座標
情報およびマーカパターン座標情報から、次時刻のマー
カおよびマーカパターンの座標情報を推定し、抽出対象
の座標範囲を限定する。
【0185】図30は、マーカ画像の位置の予測処理を
説明する図である。直前の画像でのマーカ画像211の
位置から現在の画像でのマーカ画像212の位置までの
移動量を算出する。移動量は、たとえば、移動ベクトル
214で表すことができる。
【0186】制御部24は、前回の位置から現在の位置
までの移動量と同じだけの移動した位置に、次回のマー
カ画像213が現れると予想する。たとえば、移動ベク
トル214と同じ長さ、同じ方向の移動ベクトル215
を想定し、現在位置から移動ベクトル215で移動した
位置を、次回予想位置とする。すなわち次回のマーカ画
像の探索においては、直前の2回分のマーカ画像の位置
から、現在位置が予想されている。
【0187】なお、前回のマーカ画像の位置や、現在の
マーカ画像の位置は、たとえば、輝度に応じた重み付け
を行ったときの重心位置の計算によって算出される。ま
た、マーカ画像の追跡における探索範囲の基準位置を、
次回のマーカ画像の予想位置とすることで、マーカ発見
の確実性が向上する。
【0188】本実施の形態については、対象物(マーカ
およびマーカパターン)の等速移動の前提が守られるよ
うな場合は特に有効な手段である。位置予測処理の適用
に際しては、走行コース・撮像手段・自車挙動・先行車
挙動等の特性を考慮する必要がある。
【0189】[発光素子分離対応(画素融合処理)]複
数の発光素子から構成される自己発光マーカの場合、近
接時に発光素子が分離されて検出される虞がある。この
場合、制御部24は、画像上の分離された画素を融合す
ることで、マーカ候補領域を求める。
【0190】図31は、複数の発光素子からなるマーカ
の近接時の画像を示す図である。図31に示すように、
マーカが複数のLEDで構成される場合などには、マー
カとカメラとの距離が近すぎると、1つのマーカ画像が
分離し、複数の高輝度領域の集合として写る。ラベリン
グ処理をそのまま行うと、分離した1つ1つの高輝度領
域が、それぞれマーカ候補となってしまう。
【0191】この分離を抑えるために、制御部24にお
いて、通常は領域の膨張・画像の縮小・ぼかし処理等を
行うこともできるが、これでは時間がかかってしまう。
そこで、制御部24では、画像処理でなく、ラベリング
の途中で隣接していないが近くに存在する高輝度画素の
融合処理を行う。これによりマーカの誤認識を防止し、
処理の高速化を図ることもできる。
【0192】本実施の形態では、横方向に関しては、ラ
ベリング途中にて出現したランを用いて画素融合処理を
実施する。ランは、2値化画像の記憶容量を縮小するた
めに、領域を水平線の集合体と見なすときに用いられる
情報である。2値化後に高輝度に設定された領域の各水
平線の始点(左側)と終点(右側)座標のみを記憶する
とき、この水平線をランと呼ぶ。ランは2値画像が1ラ
イン上で横方向(水平方向)に連結している数を示す情
報であり、情報としては開始x座標、終了x座標、y座
標を持っている。
【0193】横方向の場合には、y座標が同じで、ラン
の終了x座標と次のランの開始x座標が小さい場合(パ
ラメータで数値を指定)そのランは接続しているものと
して処理する。縦方向に関しても同じように、x座標が
同じで、ランの終了y座標と次のランの開始y座標が小
さい場合(パラメータで数値を指定)そのランは接続し
ているものとして処理する。
【0194】図32は、発光素子画像結合処理の例を示
す図である。図32(A)は、発光素子の画像結合前の
2値画像を示しており、図32(B)は、発光素子の画
像結合前の2値画像を示している。
【0195】このように、発光素子毎の画像(高輝度領
域)同士の間隔は狭いため、結合処理を行うことで、1
つの高輝度領域となる。すなわち、1つのマーカ画像と
して扱われる。
【0196】画素融合に関する指定間隔のパラメータ設
定にあたっては、発光素子の特性や配置間隔等を考慮す
る必要がある。また、一般的に発光素子が分離するの
は、自己発光マーカと撮像手段が近接した場合である
が、本実施の形態を適用するか否かを、状況により判断
できるように設定することも重要である。例えば、近接
時のみ適用、距離不明時に適用、近距離または距離不明
時に適用、常時適用、常時適用なしといった指定を予め
可能にしておくことにより、発光素子特性・走行コース
・天候等幅広い運用形態に対応可能となる。
【0197】[距離モード]次に、距離モードについて
説明する。制御部24は、前時刻の対象までの距離情報
をもとに、各機能を切り替えることができる。たとえ
ば、制御部24は、前回の検出結果の距離によって、状
態を遠距離、中距離、近距離の3つのパターンに分け、
それぞれ処理方法を切り替える。距離に応じて、最適な
処理方法をダイナミックに切り替えることにより、各距
離範囲でのマーカおよびマーカパターンの誤認識を防止
し、単一距離設定では対応不可能な距離範囲を処理対象
とすることが可能になる。
【0198】なお、遠距離、近距離となる場合の距離の
区別はそれぞれパラメータで指定する。パラメータ設定
については、以下を総合的に判定し決定することによ
り、幅広い利用形態に適合可能となる。 ・マーカおよびマーカパターンサイズ ・マーカの発光素子の特性 ・道路線形(アップダウン/左右カーブ) ・車両の振動特性 ・撮像装置の挙動特性等 a)遠距離 遠距離の場合、制御部24は、マーカパターンの検索方
法として、小領域全探索を行う。小領域全探索は探索範
囲を限定し、全探索処理を行う方法である。探索範囲を
限定することで処理の高速化を図りなおかつ、マーカの
高速な移動に対応できるモードである。
【0199】マーカ毎の追跡処理では、マーカ1個毎に
探索を行うため、5個マーカ全てが高速に移動する場合
には適当ではない。それに対して小領域全探索では、マ
ーカ全体が大きく移動する場合に対応ができる。このた
め、対象が遠距離にあり、撮像機器がぶれる場合等に十
分対応できる。
【0200】ただし、対象が近くなり、検索する範囲が
大きくなると処理に時間がかかるようになるため、小領
域全探索処理は、マーカ全体が小さく見える遠距離の場
合の処理とする。
【0201】b)中距離 中距離の場合、制御部24は、マーカパターンの検索方
法として、マーカ1個毎に探索を行う追跡処理を行う。
ある程度近い距離であるため、光学上、遠距離と比較す
ると、撮像機器がぶれた場合等でも影響が少ない。
【0202】小領域全探索ではマーカパターンの探索範
囲を限定するため、遠距離でない場合は探索範囲が広く
なり、最終的には画像全体が探索範囲となり処理効率が
悪くなる。さらに不必要に広い範囲を探索することは誤
認識をまねく原因ともなってしまう。
【0203】そこで、ある程度近い距離の場合には、マ
ーカが大きくなるためマーカ1個ずつをそれぞれ探索す
る方が処理効率として向上し、総合的な探索範囲として
は狭くなるので、誤認識をまねく可能性が低くなる。
【0204】また、マーカが大きいことが判っているた
め、マーカ1個の検索として画像の間引きを実施してマ
ーカを求めることが可能になる。 c)近距離 近距離の場合、制御部24は、マーカパターンの検索方
法として、マーカ1個毎に探索を行う追跡処理を行う。
マーカが大きく見えることが判っているため、マーカ個
数が2個、1個となってもそのマーカの間隔、マーカサ
イズから距離を求めることを許可する。これにより2個
以下のマーカのみが画角内に存在する場合にも距離算出
が可能となる。近距離以外では3個以上のマーカが画角
内に存在し、また太陽光などを誤検出する可能性が高く
なる為、この方式を用いない事が望ましい。
【0205】また、近距離の場合には発光素子の分離も
考慮し、画素融合処理を重ねて実施する。さらに、近距
離の場合のみ、撮像手段(カメラ21)の露出を上げ
る。これにより、太陽光などの外乱の誤認識を最小限に
抑えながら、発光阻止の分離による誤認識を防止でき
る。
【0206】なお、本実施の形態においては、遠距離・
中距離・近距離と3種類のパターンに分けた処理となっ
ているが、距離に応じた設定の切替を、さらに細分化し
てもよい。これにより、さらに細かな距離別対応が可能
となり、結果的に誤認識防止、認識率向上を実現するこ
とができる。
【0207】[処理範囲限定]制御部24は、対象まで
の距離に応じて(距離の関数として)、マーカパターン
の探索範囲を変化させることもできる。
【0208】図33は、対象が遠距離の場合に制限され
た探索範囲について示す図である。追尾対象の車両まで
の距離が遠距離の場合、カメラ21から送られた画像2
20には、追尾すべき車両に設置されたマーカのマーカ
画像221以外にも、雲の画像222や水たまりで反射
したマーカの反射画像223などが映し出される。画像
220上部には、雲以外にも、太陽があり得る。これら
の画像は、マーカの誤認識の要因となる。
【0209】そこで、制御部24は、画像の上から所定
の範囲と、下から所定の範囲をマーカパターンの探索範
囲から除外する。従って、探索範囲224は、画像22
0の上下を除いた中央部となる。これにより、誤認識要
因を除去し、誤検出を防止することができる。
【0210】なお、コース形状(急なカーブが存在しな
いなど)により、マーカパターンが存在しうる範囲を横
方向に限定することも可能である。図34は、対象が近
距離の場合に制限された探索範囲について示す図であ
る。追尾対象の車両までの距離が近距離の場合、カメラ
21から送られる画像230には、マーカパターンを構
成するマーカ画像231が大きく映し出される。この場
合、直前の検出結果の距離に応じて、探索範囲232を
上下に広く取る。
【0211】すなわち、探索範囲は、近距離において広
く、遠距離において狭くする。これにより、近距離にお
いて、真正のマーカ画像が探索範囲から外れることがな
くなる。
【0212】[位置に応じた探索範囲制限]IMTSで
は、走行レーンに磁気レーンマーカを一定間隔で敷設
し、その磁気レーンマーカを検出することで、各車両自
身が、現在の位置を把握することができる。そこで、本
実施の形態では、車両の現在の位置に応じて、先行する
車両のマーカの探索範囲を制限する。
【0213】図35は、位置に応じた探索範囲制限を行
うための処理機能を示す機能ブロック図である。磁気レ
ーンマーカ検出部301は、走行レーンに敷設された磁
気レーンマーカを検出する。この磁気レーンマーカ検出
部301は、図7に示したセンサ26の一機能である。
【0214】位置情報取得部302は、磁気レーンマー
カ検出部301が検出した磁気レーンマーカの情報に基
づいて、現在の位置情報を取得する。探索範囲抽出部3
03は、位置情報取得部302が取得した位置情報に基
づいて、マーカ画像若しくはマーカパターンの探索範囲
を抽出する。たとえば、現在の位置と、走行レーンの地
図情報とにより、長い直線の途中を走行中であることが
分かれば、左右を制限した探索範囲を抽出する。探索範
囲抽出部303は、抽出した探索範囲をマーカ抽出部3
05とマーカパターン抽出部306に渡す。
【0215】撮像部304は、先行する車両の映像を撮
影し、画像を生成する。撮像部304は、図7に示すカ
メラ21と画像処理部23とで構成される機能である。
マーカ抽出部305は、撮像部304から撮影した画像
を受け取り、その画像における探索範囲抽出部303か
ら渡された探索範囲内から、マーカ画像を抽出する。
【0216】マーカパターン抽出部306は、マーカ抽
出部305が抽出したマーカ画像を解析し、マーカパタ
ーンを抽出する。なお、マーカパターン抽出部306
は、マーカ抽出部305において、探索範囲の制限を行
っていない場合には、探索範囲抽出部303から送られ
た探索範囲内のマーカ画像のみからマーカパターンの抽
出を行う。
【0217】相対位置算出部307は、マーカパターン
抽出部306が抽出したマーカパターンにより、先行す
る車両の相対位置を算出する。これにより、先行の車両
を追尾する車両では、磁気レーンマーカを検出すること
で、自己の現在位置を把握し、その現在位置と走行レー
ンの地図情報とを比較することで、的確に探索範囲が決
定される。そして、決定された探索範囲よりマーカパタ
ーンの検出が行われる。
【0218】これにより、探索範囲が絞られ、処理速度
が上がる。また、探索範囲の絞り込みを的確に行うこと
ができるため、ノイズを誤ってマーカと認識することを
抑制することが可能となる。
【0219】なお、位置情報取得は、GPS(Global Po
sitioning System)で行うこともできる。このとき、自
走距離やハンドルの切り幅などにより、GPSにより得
られた位置を補正することもできる。
【0220】[撮像装置の回転制御]上記の例では、撮
像装置であるカメラ21を固定的なものとして説明した
が、先行する車両との相対的位置関係に応じて、カメラ
21の位置を回転させることもできる。以下、カメラ2
1の回転手法について説明する。
【0221】図36は、回転機構を有するカメラの上面
図である。図36に示すように、車両20の先頭には、
カメラ21が回転台27aの上に設置されている。回転
台27aは、モータが内蔵されており、制御部24から
の信号に従ってモータが回転し、カメラ21を回転させ
る。すなわち、回転台27aは、アクチュエータ27の
一部である。
【0222】回転台27aの回転角は、走行レーン上の
絶対位置に応じて制御することができる。そのような制
御を行うときの制御方法について以下に説明する。図3
7は、撮像装置の回転制御機能を示す機能ブロック図で
ある。図37において、磁気レーンマーカ検出部301
と位置情報取得部302とは、図35に示した同名の構
成要素と同じである。磁気レーンマーカ検出部301と
位置情報取得部302とにより、レーン上に設けられた
磁気レーンマーカなどによりレーンマーカ情報が取得さ
れる。レーンマーカ情報は、予め定められた道路線形に
よって二次元、若しくは三次元による座標マップと対応
づけられている。
【0223】図38は、レーンマーカと座標との対応表
を示す図である。各レーンマーカには、001から順番
に番号が振られている。そして、各レーンマーカには、
X座標、Y座標、接線に対する道路線形の絶対角度(以
下、単に絶対角度という)が対応づけられている。たと
えば、k(kは自然数)番目のレーンマーカのX座標は
X(k)、Y座標はY(k)、絶対角度はφ(k)であ
る。u(uは自然数)番目のレーンマーカのX座標はX
(u)、Y座標はY(u)、絶対角度はφ(u)であ
る。
【0224】図37の説明に戻り、対象マーカ距離設定
記憶部311は、先行する車両に設定されたマーカとの
間に保持すべき距離が設定されている。制御部24は、
設定された距離に車間を保つように、アクセルやブレー
キなどを制御する。
【0225】対象マーカ距離算出部312は、先行する
車両に設定されたマーカとの距離dを算出する。撮像装
置回転角度算出部313は、位置情報取得部302から
の位置情報と、対象マーカ距離設定記憶部311からの
距離または、対象マーカ距離算出部312が算出した距
離dに基づいて、カメラ21が設置された回転台27a
の回転角度を算出する。
【0226】このような構成による撮像装置回転角の算
出方法について説明する。図39は、隊列走行をしてい
る車両を上から見た図である。なお、図39では、図中
横方向がX軸であり、縦方向がY軸である。
【0227】先行する車両10と追走する車両20と
は、走行レーン320に沿って走行している。走行レー
ン320には、多数の磁気レーンマーカ330が敷設さ
れている。図39の例では、先行する車両10は、走行
レーン320のu番目のレーンマーカ332が敷設され
た場所を走行中である。追走する車両20は、車両10
から距離dだけ離れて、走行レーン320のk番目のレ
ーンマーカ331が敷設された場所を走行中である。
【0228】図40は、図39の拡大図である。図40
には、補助線として、車両20の位置に敷設されている
k番目のレーンマーカ331における道路線形(マーカ
の位置を滑らかに結ぶ線)の接線341、車両20の前
後方向の軸342、車両10の前後方向の軸343、カ
メラ21とマーカパネル11とを結ぶ直線344が示さ
れている。
【0229】ここで、接線341と軸342との成す角
をφ1、接線341と軸343との成す角をφ2、軸3
42と直線との成す角をφaとする。自車である車両2
0は、k番目のレーンマーカ331を検出し、対象マー
カ距離設定記憶部311、若しくは対象マーカ距離算出
部312から先行の車両10までの距離dを得たとす
る。車の長さをd1、レーンマーカの間隔をd2とすれ
ば、uは式(18)によって求めることができる。
【0230】
【数18】 u=k+(d+d1)/d2・・・・(18) また、レーンマーカ間隔が不均等である場合、それぞれ
のレーンマーカ間距離の積分値で求めることもできる。
【0231】撮像装置回転角度算出については、以下を
考慮する必要がある。 1.道路線形の接線の絶対角度(φ1k,φ1u) 2.車両挙動による道路線形接線に対する車両のヨー角
(φ2k,φ2u) 3.車両の道路に対しての横位置ズレ量(x1k,y1
k)、(x1u,y1u) 4.車両内のレーンマーカセンサに対しての撮像手段位
置(dxc,dyc) 5.車両内のレーンマーカセンサに対してのマーカ位置
(dxm,dym) 撮像装置回転角度算出の手順は、以下の通りである。各
種角度の算出には一般の幾何学原理を用いる。
【0232】図41は、撮像回転角度算出処理の手順を
示すフローチャートである。以下、図41に示す処理を
ステップ番号に沿って説明する。 [ステップS101]位置情報取得部302は、磁気レ
ーンマーカより、検出されたレーンマーカの番号を取得
する。そして、位置情報取得部302は、図38に示し
たレーンマーカと座標との対応表に基づいて、道路位置
(X(k),Y(k)),(X(u),Y(u))を取
得する。また、位置情報取得部302は、および車両の
道路に対しての横位置ズレ量(x1k,y1k)、(x
1u,y1u)を磁気レーンマーカ検出部301より取
得し、車両の縦位置および横位置(レーンマーカセンサ
の位置が基準)を定める。
【0233】[ステップS102]撮像装置回転角度算
出部313は、道路線形の接線の絶対角度(φ1k,φ
1u)と、車両挙動による道路線形接線に対する車両の
ヨー角(φ2k,φ2u)とにより、車両の角度を定め
る。
【0234】
【数19】φ1=φ1k+φ2k ・・・・(19)
【0235】
【数20】φ2=φ1u+φ2u ・・・・(20) [ステップS103]撮像装置回転角度算出部313
は、ステップS101,S102および車両内のレーン
マーカに対しての撮像手段位置(dxc,dyc)によ
り、全座標内での後続車の撮像手段位置(xc,yc)
を算出する。
【0236】[ステップS104]撮像装置回転角度算
出部313は、ステップS101,S102および車両
内のレーンマーカセンサに対してのマーカ位置(dx
m,dym)により、全座標内での前方車のマーカ位置
(xm,ym)を算出する。
【0237】[ステップS105]撮像装置回転角度算
出部313は、撮像手段からマーカの絶対角度を以下の
式にて算出する。
【0238】
【数21】 [ステップS106]撮像装置回転角度算出部313
は、カメラの回転角度を、
【0239】
【数22】φc=φa−φ1・・・・(22) として算出する。
【0240】以上のようにして、カメラの回転角度を算
出することができる。なお、さらにレーンマーカ間隔で
の離散的な算出処理を車輪パルス等で補間することによ
り、より誤差の少ない、スムーズな撮像装置の回転が可
能となる。例えば、道路の曲率などを車輪パルスで線形
補間することにより緩和曲線区間(カーブのきつさが距
離で変化する部分)での誤差、不連続性を改善できる。
【0241】撮像装置回転角度算出部313は、この値
φcの角度情報を回転台27aに送信する。回転台27
aは、受け取った角度情報をもとにカメラ21を回転す
る。これにより、対象マーカをカメラ21で追尾するこ
とが可能となる。
【0242】このように、対象マーカを積極的に視野内
にとらえることで、対象マーカ以外の外乱ノイズの影響
を受けにくく、また望遠レンズを使用することができ、
より精度の高い画像処理装置、または画像処理システム
の実現が可能となる。
【0243】またφaとφ2の差の絶対値により、マー
カからカメラ21への相対角度が求まる。これにより角
度の大きい場合だけ撮像手段の露出を上げることによ
り,太陽光などの外乱の誤認識を最小限に抑えながら、
小さな半径のカーブでの検出を確保することが可能とな
る。
【0244】なお、上記の実施の形態では、先行車両と
の相対位置の計測を、後続車両の自動運転に利用する場
合について説明したが、運転の補助機能(ドライビング
アシスト)として、相対位置の計測結果を利用してもよ
い。たとえば、車間距離が短くなったときにドライバに
警告を発することができる。また、先行車両の方位角や
ヨー角の発生により、前方にコーナがあることをドライ
バにアナウンスしてもよい。
【0245】なお、上記の処理機能は、コンピュータに
よって実現することができる。その場合、制御装置が有
すべき機能の処理内容を記述したプログラムが提供され
る。そのプログラムをコンピュータで実行することによ
り、上記処理機能がコンピュータ上で実現される。処理
内容を記述したプログラムは、コンピュータで読み取り
可能な記録媒体に記録しておくことができる。コンピュ
ータで読み取り可能な記録媒体としては、磁気記録装
置、光ディスク、光磁気記録媒体、半導体メモリなどが
ある。磁気記録装置には、ハードディスク装置(HD
D)、フレキシブルディスク(FD)、磁気テープなど
がある。光ディスクには、DVD(Digital Versatile D
isc)、DVD−RAM(Random Access Memory)、CD−
ROM(Compact Disc Read Only Memory)、CD−R(Re
cordable)/RW(ReWritable)などがある。光磁気記録
媒体には、MO(Magneto-Optical disc)などがある。
【0246】プログラムを流通させる場合には、たとえ
ば、そのプログラムが記録されたDVD、CD−ROM
などの可搬型記録媒体が販売される。また、プログラム
をサーバコンピュータの記憶装置に格納しておき、ネッ
トワークを介して、サーバコンピュータから他のコンピ
ュータにそのプログラムを転送することもできる。
【0247】プログラムを実行するコンピュータは、た
とえば、可搬型記録媒体に記録されたプログラムもしく
はサーバコンピュータから転送されたプログラムを、自
己の記憶装置に格納する。そして、コンピュータは、自
己の記憶装置からプログラムを読み取り、プログラムに
従った処理を実行する。なお、コンピュータは、可搬型
記録媒体から直接プログラムを読み取り、そのプログラ
ムに従った処理を実行することもできる。
【0248】(付記1) 画像解析により先行車両との
相対位置を計測する相対位置計測装置において、前記先
行車両の後部の位置に複数の軸方向に並べられた複数の
マーカを撮像し、フレーム画像を生成する撮像手段と、
前記撮像手段が生成した前記フレーム画像から、前記複
数のマーカを表す複数のマーカ画像で構成されるマーカ
パターンを抽出する抽出手段と、前記抽出手段で抽出し
た前記マーカパターンに基づいて、前記先行車両との相
対距離および相対角度を算出する算出手段と、を有する
ことを特徴とする相対位置計測装置。
【0249】(付記2) 前記算出手段は、2つのマー
カ画像の前記フレーム画像内での距離に基づいて、前記
先行車両との相対距離を計算することを特徴とする付記
1記載の相対位置計測装置。
【0250】(付記3) 前記算出手段は、前記複数の
マーカ画像の前記フレーム画像内の位置から前記マーカ
パターンの基準位置を求め、当該基準位置に基づいて相
対角度を算出することを特徴とする付記1記載の相対位
置計測装置。
【0251】(付記4) 前記算出手段は、前記複数の
マーカ画像の前記フレーム画像内の位置から前記マーカ
パターンの基準位置を求め、前記複数のマーカ画像に対
して奥行き方向に差のある他のマーカ画像の位置と、前
記マーカパターンの基準位置との前記フレーム画像内で
の距離に基づいて、前記先行車両との相対ヨー角を計算
することを特徴とする付記1記載の相対位置計測装置。
【0252】(付記5) 前記算出手段は、前記マーカ
画像の輝度分布情報を元に、前記マーカ画像を構成する
ピクセル毎の重み付けを行い、前記ピクセルで構成され
る前記マーカ画像の重心位置を、前記マーカ画像の位置
とすることを特徴とする付記1記載の相対位置計測装
置。
【0253】(付記6) 前記抽出手段は、前記マーカ
画像の候補となる高輝度領域を囲う長方形を定義し、前
記長方形内の前記高輝度領域の占める割合である充填率
を算出し、前記充填率が所定値以上である場合にのみ、
前記高輝度領域を前記マーカ画像として抽出することを
特徴とする付記1記載の相対位置計測装置。
【0254】(付記7) 前記抽出手段は、前記マーカ
画像の候補となる高輝度領域の縦横比が所定の比率以内
の場合にのみ、前記高輝度領域を前記マーカ画像として
抽出することを特徴とする付記1記載の相対位置計測装
置。
【0255】(付記8) 前記抽出手段は、前時刻のマ
ーカパターンを構成する前時刻の各マーカ画像の位置に
基づいて、前記フレーム画像内での現時刻の各マーカ画
像の探索範囲を限定し、限定された前記探索範囲より、
現時刻の前記各マーカ画像を探索することを特徴とする
付記1記載の相対位置計測装置。
【0256】(付記9) 前記抽出手段は、前時刻のマ
ーカパターンを構成する前時刻の各マーカ画像の移動方
向と移動量とに基づいて、現時刻の各マーカ画像の位置
を推定し、推定された位置を基準とした範囲を前記各マ
ーカ画像の前記探索範囲とすることを特徴とする付記8
記載の相対位置計測装置。
【0257】(付記10) 前記抽出手段は、前時刻の
マーカパターンの位置に基づいて、前記フレーム画像内
での現時刻のマーカパターンの探索範囲を限定し、限定
された前記探索範囲より、現時刻のマーカパターンを探
索することを特徴とする付記1記載の相対位置計測装
置。
【0258】(付記11) 前記抽出手段は、前記マー
カが複数の自己発光体の集合体であり、前記先行車両に
対する相対距離が所定値以下の場合には、接近した高輝
度領域を同一の高輝度領域として認識することを特徴と
する付記1記載の相対位置計測装置。
【0259】(付記12) 前記抽出手段は、マーカ画
像またはマーカパターンの探索範囲の制限機能を複数有
し、前記先行車両との相対距離に応じて、前記探索範囲
の制限機能を選択することを特徴とする付記1記載の相
対位置計測装置。
【0260】(付記13) 前記抽出手段は、前記先行
車両との相対距離に応じて、前記マーカパターンの探索
範囲を変化させることを特徴とする付記1記載の相対位
置計測装置。
【0261】(付記14) 予め決められた走行コース
上での自らの絶対位置を取得する位置取得手段をさらに
有し、前記絶対位置付近の走行コース形状に応じて、前
記マーカパターンの探索範囲を制限することを特徴とす
る付記1記載の相対位置計測装置。
【0262】(付記15) 前記算出手段が算出した相
対角度に基づいて、前記撮像手段による撮影方向を前記
先行車両に向けることを特徴とする撮影方向制御手段を
さらに有することを特徴とする付記1記載の相対位置計
測装置。
【0263】(付記16) 画像解析により先行車両と
の相対位置を計測する相対位置計測方法において、前記
先行車両の後部の位置に、複数の軸方向に並べられた複
数のマーカを撮像し、フレーム画像を生成し、前記フレ
ーム画像から、前記複数のマーカを表す複数のマーカ画
像で構成されるマーカパターンを抽出し、前記マーカパ
ターンに基づいて、前記先行車両との相対距離および相
対角度を算出する、ことを特徴とする相対位置計測方
法。
【0264】(付記17) 画像解析により先行車両と
の相対位置を計測するためのプログラムにおいて、コン
ピュータを、前記先行車両の後部の位置に複数の軸方向
に並べられた複数のマーカを撮像し、フレーム画像を生
成する撮像手段、前記撮像手段が生成した前記フレーム
画像から、前記複数のマーカを表す複数のマーカ画像で
構成されるマーカパターンを抽出する抽出手段、前記抽
出手段で抽出した前記マーカパターンに基づいて、少な
くとも前記先行車両との相対距離または相対角度を算出
する算出手段、として機能させることを特徴とするプロ
グラム。
【0265】(付記18) 画像解析により先行車両と
の相対位置を計測するためのプログラムを記録したコン
ピュータ読み取り可能な記録媒体において、前記コンピ
ュータを、前記先行車両の後部の位置に複数の軸方向に
並べられた複数のマーカを撮像し、フレーム画像を生成
する撮像手段、前記撮像手段が生成した前記フレーム画
像から、前記複数のマーカを表す複数のマーカ画像で構
成されるマーカパターンを抽出する抽出手段、前記抽出
手段で抽出した前記マーカパターンに基づいて、少なく
とも前記先行車両との相対距離または相対角度を算出す
る算出手段、として機能させることを特徴とする記録媒
体。
【0266】(付記19) 先行車両との相対位置関係
を保って隊列走行を行う運搬車両において、前記先行車
両の後部の位置に複数の軸方向に並べられた複数のマー
カを撮像し、フレーム画像を生成するカメラと、前記カ
メラが生成した前記フレーム画像から、前記複数のマー
カを表す複数のマーカ画像で構成されるマーカパターン
を抽出し、抽出した前記マーカパターンに基づいて、少
なくとも前記先行車両との相対距離または相対角度を算
出する制御装置と、を有することを特徴とする運搬車
両。
【0267】
【発明の効果】以上説明したように本発明では、先行車
両の後部の複数の軸方向に配置された複数のマーカを撮
像して得られるフレーム画像からマーカパターンを検出
し、そのマーカパターンに基づいて相対位置を算出する
ようにしたため、多数のテンプレートを記憶せずに、相
対位置を高精度に算出できる。その結果、精度の高い相
対位置の計算を高速に行うことができる。
【図面の簡単な説明】
【図1】本発明の原理構成図である。
【図2】IMTSによる隊列走行の概要を示す図であ
る。
【図3】先行する車両を後方から見た図である。
【図4】マーカの配置を示す図である。図4(A)は、
マーカパネルの正面図である。図4(B)は、図4
(A)のX−X断面図である。
【図5】フレーム画像の例を示す図である。
【図6】車両の相対的位置の関係を示す図である。
【図7】車両に搭載されている自動追尾機能の構成を示
すブロック図である。
【図8】相対位置計算処理全体の処理手順を示すフロー
チャートである。
【図9】全探索処理の手順を示すフローチャートであ
る。
【図10】マーカパターン検出処理の手順を示すフロー
チャートである。
【図11】追跡処理の手順を示すフローチャートであ
る。
【図12】先行する車両の後部を写したフレーム画像の
例を示す図である。
【図13】周辺マーカの1点を除く4点が見つかった場
合のフレーム画像の例を示す図である。
【図14】ロール角が発生するときのフレーム画像の例
を示す図である。
【図15】周辺マーカのうち水平方向に対になる2つの
マーカ画像が検出された場合のフレーム画像の例を示す
図である。
【図16】周辺マーカのうち水平方向に対になる2つの
マーカ画像以外が検出された場合のフレーム画像の第1
の例である。
【図17】周辺マーカのうち水平方向に対になる2マー
カ画像以外が検出された場合のフレーム画像の第2の例
である。
【図18】マーカ画像の拡大図である。
【図19】マーカ画像の輝度ヒストグラムを示す図であ
る。
【図20】マーカ画像の2値化処理の例を示す図であ
る。図20(A)は、2値化前のマーカ画像のピクセル
毎の輝度値を示しており、図20(B)は、2値化後の
マーカ画像のピクセル毎の輝度値を示している。
【図21】輝度重みの重心計算例を示す図である。
【図22】縦横比による判定処理結果の一例を示す図で
ある。図22(A)はカメラから入力された画像を示し
ており、図22(B)はラベリング結果を示しており、
図22(C)は形状判定後に抽出されたマーカ画像候補
を示している。
【図23】充填率判定例を示す図である。
【図24】充填率の判断で異常とされる画像の例を示す
図である。図24(A)は、歪んだ形状の画像の例を示
し、図24(B)は、十時型の画像の例を示し、図24
(C)は、三角形の画像の例を示す。
【図25】マーカの探索範囲を示す図である。
【図26】探索幅の算出方法を説明する図である。図2
6(A)は、マーカ探索範囲の第1の候補を示してお
り、図26(B)は、マーカ探索範囲の第2の候補を示
している。
【図27】小領域全探索処理の探索範囲を示す図であ
る。
【図28】偽のマーカが存在する場合の画面例を示す図
である。
【図29】小領域全探索における探索範囲の算出方法を
説明する図である。
【図30】マーカ画像の位置の予測処理を説明する図で
ある。
【図31】複数の発光素子からなるマーカの近接時の画
像を示す図である。
【図32】発光素子画像結合処理の例を示す図である。
図32(A)は、発光素子の画像結合前の2値画像を示
しており、図32(B)は、発光素子の画像結合前の2
値画像を示している。
【図33】対象が遠距離の場合に制限された探索範囲に
ついて示す図である。
【図34】対象が近距離の場合に制限された探索範囲に
ついて示す図である。
【図35】位置に応じた探索範囲制限を行うための処理
機能を示す機能ブロック図である。
【図36】回転機構を有するカメラの上面図である。
【図37】撮像装置の回転制御機能を示す機能ブロック
図である。
【図38】レーンマーカと座標との対応表を示す図であ
る。
【図39】隊列走行をしている車両を上から見た図であ
る。
【図40】図39の拡大図である。
【図41】撮像回転角度算出処理の手順を示すフローチ
ャートである。
【符号の説明】
1 先行車両 1a〜1d マーカ 2 相対位置計測装置 2a 撮像手段 2b フレーム画像 2c 抽出手段 2d マーカパターン 2e 算出手段 10,20,30 車両 11,22,32 マーカパネル 11a〜11e マーカ 21,31 カメラ
フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G08G 1/16 G08G 1/16 E (72)発明者 上野 大輔 神奈川県川崎市中原区上小田中4丁目1番 1号 富士通株式会社内 (72)発明者 尾身 忠雄 神奈川県川崎市中原区上小田中4丁目1番 1号 富士通株式会社内 (72)発明者 馬場 幸三 大分県大分市東春日町17番58号 株式会社 富士通大分ソフトウェアラボラトリ内 (72)発明者 伊藤 寿雄 大分県大分市東春日町17番58号 株式会社 富士通大分ソフトウェアラボラトリ内 (72)発明者 佐藤 正則 群馬県前橋市問屋町1丁目8番地3 株式 会社富士通ターミナルシステムズ内 (72)発明者 高橋 智行 群馬県前橋市問屋町1丁目8番地3 株式 会社富士通ターミナルシステムズ内 (72)発明者 田口 康治 愛知県豊田市トヨタ町1番地 トヨタ自動 車株式会社内 Fターム(参考) 5B057 AA16 BA02 CA12 CA16 DA07 DB02 DC33 5H180 AA06 AA15 CC04 CC12 CC24 FF05 LL01 LL02 LL04 LL09 5L096 BA04 CA02 FA66 FA67 FA69 HA08

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 画像解析により先行車両との相対位置を
    計測する相対位置計測装置において、 前記先行車両の後部の位置に複数の軸方向に並べられた
    複数のマーカを撮像し、フレーム画像を生成する撮像手
    段と、 前記撮像手段が生成した前記フレーム画像から、前記複
    数のマーカを表す複数のマーカ画像で構成されるマーカ
    パターンを抽出する抽出手段と、 前記抽出手段で抽出した前記マーカパターンに基づい
    て、少なくとも前記先行車両との相対距離または相対角
    度を算出する算出手段と、を有することを特徴とする相
    対位置計測装置。
  2. 【請求項2】 前記算出手段は、前記複数のマーカ画像
    の前記フレーム画像内の位置から前記マーカパターンの
    基準位置を求め、前記複数のマーカ画像に対して奥行き
    方向に差のある他のマーカ画像の位置と、前記マーカパ
    ターンの基準位置との前記フレーム画像内での距離に基
    づいて、前記先行車両との相対ヨー角を計算することを
    特徴とする請求項1記載の相対位置計測装置。
  3. 【請求項3】 前記算出手段は、前記マーカ画像の輝度
    分布情報を元に、前記マーカ画像を構成するピクセル毎
    の重み付けを行い、前記ピクセルで構成される前記マー
    カ画像の重心位置を、前記マーカ画像の位置とすること
    を特徴とする請求項1記載の相対位置計測装置。
  4. 【請求項4】 前記抽出手段は、前記マーカ画像の候補
    となる高輝度領域を囲う長方形を定義し、前記長方形内
    の前記高輝度領域の占める割合である充填率を算出し、
    前記充填率が所定値以上である場合にのみ、前記高輝度
    領域を前記マーカ画像として抽出することを特徴とする
    請求項1記載の相対位置計測装置。
  5. 【請求項5】 前記抽出手段は、前記マーカ画像の候補
    となる高輝度領域の縦横比が所定の比率以内の場合にの
    み、前記高輝度領域を前記マーカ画像として抽出するこ
    とを特徴とする請求項1記載の相対位置計測装置。
  6. 【請求項6】 前記抽出手段は、前記マーカが複数の自
    己発光体の集合体であり、前記先行車両に対する相対距
    離が所定値以下の場合には、接近した高輝度領域を同一
    の高輝度領域として認識することを特徴とする請求項1
    記載の相対位置計測装置。
  7. 【請求項7】 前記抽出手段は、マーカ画像またはマー
    カパターンの探索範囲の制限機能を複数有し、前記先行
    車両との相対距離に応じて、前記探索範囲の制限機能を
    選択することを特徴とする請求項1記載の相対位置計測
    装置。
  8. 【請求項8】 前記抽出手段は、前記先行車両との相対
    距離に応じて、前記マーカパターンの探索範囲を変化さ
    せることを特徴とする請求項1記載の相対位置計測装
    置。
  9. 【請求項9】 予め決められた走行コース上での自らの
    絶対位置を取得する位置取得手段をさらに有し、前記絶
    対位置付近の走行コース形状に応じて、前記マーカパタ
    ーンの探索範囲を制限することを特徴とする請求項1記
    載の相対位置計測装置。
  10. 【請求項10】 前記算出手段が算出した相対角度に基
    づいて、前記撮像手段による撮影方向を前記先行車両に
    向けることを特徴とする撮影方向制御手段をさらに有す
    ることを特徴とする請求項1記載の相対位置計測装置。
JP2001218425A 2001-07-18 2001-07-18 相対位置計測装置 Expired - Fee Related JP4450532B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001218425A JP4450532B2 (ja) 2001-07-18 2001-07-18 相対位置計測装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001218425A JP4450532B2 (ja) 2001-07-18 2001-07-18 相対位置計測装置

Publications (2)

Publication Number Publication Date
JP2003030628A true JP2003030628A (ja) 2003-01-31
JP4450532B2 JP4450532B2 (ja) 2010-04-14

Family

ID=19052604

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001218425A Expired - Fee Related JP4450532B2 (ja) 2001-07-18 2001-07-18 相対位置計測装置

Country Status (1)

Country Link
JP (1) JP4450532B2 (ja)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005292133A (ja) * 2004-03-31 2005-10-20 Mitsutoyo Corp 位置測定装置
WO2005106639A1 (ja) * 2004-04-30 2005-11-10 Kabushiki Kaisha Dds 操作入力装置及び操作入力プログラム
JP2006072491A (ja) * 2004-08-31 2006-03-16 Nissan Motor Co Ltd 移動位置予測装置、移動位置予測方法、衝突判定装置、及び衝突判定方法
JP2006154937A (ja) * 2004-11-25 2006-06-15 Olympus Corp 画像情報処理装置、判定方法、及びコンピュータプログラム
JP2006232008A (ja) * 2005-02-23 2006-09-07 Honda Motor Co Ltd 車両用被認識装置
JP2006264403A (ja) * 2005-03-22 2006-10-05 Honda Motor Co Ltd 車両用被認識装置
JP2007143748A (ja) * 2005-11-25 2007-06-14 Sharp Corp 画像認識装置、フィットネス支援装置、フィットネス支援システム、フィットネス支援方法、制御プログラムおよび可読記録媒体
JP2007200074A (ja) * 2006-01-27 2007-08-09 Alpine Electronics Inc 周辺物体追尾装置及び周辺物体位置予測方法
JP2008176663A (ja) * 2007-01-19 2008-07-31 Toyota Central R&D Labs Inc 車両検出装置、車両検出用発光装置及び車両検出システム
JP2009266155A (ja) * 2008-04-30 2009-11-12 Toshiba Corp 移動体追跡装置及びその方法
WO2010140314A1 (ja) * 2009-06-03 2010-12-09 パナソニック株式会社 距離計測装置及び距離計測方法
JP2011069797A (ja) * 2009-09-28 2011-04-07 Saxa Inc 変位量測定装置及び変位量測定方法
US20120320206A1 (en) * 2010-12-21 2012-12-20 Chern-Horng Sim System and method for tracking a lead object
JP2014029268A (ja) * 2012-07-31 2014-02-13 Future Univ-Hakodate 半導体集積回路および物体距離計測装置
JP2015233284A (ja) * 2015-06-10 2015-12-24 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2016122381A (ja) * 2014-12-25 2016-07-07 株式会社リコー オプティカルフロー算出装置、オプティカルフロー算出方法、及びプログラム
JP2017036979A (ja) * 2015-08-10 2017-02-16 東海旅客鉄道株式会社 構造物の位置変動計測装置
JP2018002335A (ja) * 2016-06-28 2018-01-11 三菱ロジスネクスト株式会社 フォークリフト
WO2018173192A1 (ja) * 2017-03-23 2018-09-27 株式会社Fuji 多関節ロボットの平行度判定方法および多関節ロボットの傾き調整装置
JP2019139313A (ja) * 2018-02-06 2019-08-22 日立オートモティブシステムズ株式会社 隊列走行制御装置、隊列走行制御システム、隊列走行制御方法
JP2019170228A (ja) * 2018-03-28 2019-10-10 ヤンマー株式会社 作業車両の自動走行装置
JP2019215802A (ja) * 2018-06-14 2019-12-19 国立大学法人 筑波大学 自動走行システム
JP2020045682A (ja) * 2018-09-19 2020-03-26 株式会社福田組 掘削機の位置計測システム及び操作分析システム
JP2020046250A (ja) * 2018-09-18 2020-03-26 株式会社デンソーウェーブ レーザレーダ装置、レーザレーダシステムおよび雨の検出方法
JP2020086491A (ja) * 2018-11-15 2020-06-04 株式会社リコー 情報処理装置、情報処理システム及び情報処理方法
JP2020132389A (ja) * 2019-02-22 2020-08-31 東芝エレベータ株式会社 エレベータシステム
JP2020181320A (ja) * 2019-04-24 2020-11-05 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびデバイス情報導出方法
JP2020204842A (ja) * 2019-06-14 2020-12-24 株式会社デンソー 情報処理装置及び運転支援システム
JP2020204559A (ja) * 2019-06-18 2020-12-24 朝日航洋株式会社 位置調整方法、位置調整装置、及び、位置調整プログラム
WO2021010013A1 (ja) * 2019-07-17 2021-01-21 村田機械株式会社 走行車、走行車システム及び走行車検出方法
JP2022186401A (ja) * 2021-06-04 2022-12-15 プライムプラネットエナジー&ソリューションズ株式会社 対象物の変位量測定方法および変位量測定装置
WO2023153093A1 (ja) * 2022-02-14 2023-08-17 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および代表座標導出方法
WO2023153094A1 (ja) * 2022-02-14 2023-08-17 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および代表座標導出方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6928307B2 (ja) * 2017-03-28 2021-09-01 愛知製鋼株式会社 マーカ検出システム及びマーカ検出方法
JP7417130B2 (ja) * 2019-05-21 2024-01-18 日本電信電話株式会社 位置計測方法、運動制御方法及び運動制御システム

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005292133A (ja) * 2004-03-31 2005-10-20 Mitsutoyo Corp 位置測定装置
JP4729318B2 (ja) * 2004-03-31 2011-07-20 株式会社ミツトヨ 位置測定装置
JPWO2005106639A1 (ja) * 2004-04-30 2008-03-21 株式会社ディー・ディー・エス 操作入力装置及び操作入力プログラム
WO2005106639A1 (ja) * 2004-04-30 2005-11-10 Kabushiki Kaisha Dds 操作入力装置及び操作入力プログラム
JP2006072491A (ja) * 2004-08-31 2006-03-16 Nissan Motor Co Ltd 移動位置予測装置、移動位置予測方法、衝突判定装置、及び衝突判定方法
JP2006154937A (ja) * 2004-11-25 2006-06-15 Olympus Corp 画像情報処理装置、判定方法、及びコンピュータプログラム
JP2006232008A (ja) * 2005-02-23 2006-09-07 Honda Motor Co Ltd 車両用被認識装置
DE102006008279B4 (de) * 2005-02-23 2011-06-09 Honda Motor Co., Ltd. Fahrzeugerkennungsvorrichtung
JP2006264403A (ja) * 2005-03-22 2006-10-05 Honda Motor Co Ltd 車両用被認識装置
JP4548725B2 (ja) * 2005-03-22 2010-09-22 本田技研工業株式会社 自動二輪車の車両用被認識装置
JP2007143748A (ja) * 2005-11-25 2007-06-14 Sharp Corp 画像認識装置、フィットネス支援装置、フィットネス支援システム、フィットネス支援方法、制御プログラムおよび可読記録媒体
JP2007200074A (ja) * 2006-01-27 2007-08-09 Alpine Electronics Inc 周辺物体追尾装置及び周辺物体位置予測方法
JP2008176663A (ja) * 2007-01-19 2008-07-31 Toyota Central R&D Labs Inc 車両検出装置、車両検出用発光装置及び車両検出システム
JP2009266155A (ja) * 2008-04-30 2009-11-12 Toshiba Corp 移動体追跡装置及びその方法
WO2010140314A1 (ja) * 2009-06-03 2010-12-09 パナソニック株式会社 距離計測装置及び距離計測方法
JP2010281638A (ja) * 2009-06-03 2010-12-16 Panasonic Corp 距離計測装置及び距離計測方法
EP2439491A1 (en) * 2009-06-03 2012-04-11 Panasonic Corporation Distance measuring device and distance measuring method
CN102428345A (zh) * 2009-06-03 2012-04-25 松下电器产业株式会社 距离测量装置和距离测量方法
EP2439491A4 (en) * 2009-06-03 2012-12-19 Panasonic Corp DISTANCE MEASURING DEVICE AND DISTANCE MEASURING METHOD
JP2011069797A (ja) * 2009-09-28 2011-04-07 Saxa Inc 変位量測定装置及び変位量測定方法
US20120320206A1 (en) * 2010-12-21 2012-12-20 Chern-Horng Sim System and method for tracking a lead object
JP2014029268A (ja) * 2012-07-31 2014-02-13 Future Univ-Hakodate 半導体集積回路および物体距離計測装置
JP2016122381A (ja) * 2014-12-25 2016-07-07 株式会社リコー オプティカルフロー算出装置、オプティカルフロー算出方法、及びプログラム
JP2015233284A (ja) * 2015-06-10 2015-12-24 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2017036979A (ja) * 2015-08-10 2017-02-16 東海旅客鉄道株式会社 構造物の位置変動計測装置
JP2018002335A (ja) * 2016-06-28 2018-01-11 三菱ロジスネクスト株式会社 フォークリフト
WO2018173192A1 (ja) * 2017-03-23 2018-09-27 株式会社Fuji 多関節ロボットの平行度判定方法および多関節ロボットの傾き調整装置
JPWO2018173192A1 (ja) * 2017-03-23 2019-11-21 株式会社Fuji 多関節ロボットの平行度判定方法および多関節ロボットの傾き調整装置
JP2019139313A (ja) * 2018-02-06 2019-08-22 日立オートモティブシステムズ株式会社 隊列走行制御装置、隊列走行制御システム、隊列走行制御方法
JP2019170228A (ja) * 2018-03-28 2019-10-10 ヤンマー株式会社 作業車両の自動走行装置
JP7302839B2 (ja) 2018-06-14 2023-07-04 国立大学法人 筑波大学 自動走行システム
JP2019215802A (ja) * 2018-06-14 2019-12-19 国立大学法人 筑波大学 自動走行システム
JP2020046250A (ja) * 2018-09-18 2020-03-26 株式会社デンソーウェーブ レーザレーダ装置、レーザレーダシステムおよび雨の検出方法
JP2020045682A (ja) * 2018-09-19 2020-03-26 株式会社福田組 掘削機の位置計測システム及び操作分析システム
JP2020086491A (ja) * 2018-11-15 2020-06-04 株式会社リコー 情報処理装置、情報処理システム及び情報処理方法
JP2020132389A (ja) * 2019-02-22 2020-08-31 東芝エレベータ株式会社 エレベータシステム
JP7198149B2 (ja) 2019-04-24 2022-12-28 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびデバイス情報導出方法
JP2020181320A (ja) * 2019-04-24 2020-11-05 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびデバイス情報導出方法
JP2020204842A (ja) * 2019-06-14 2020-12-24 株式会社デンソー 情報処理装置及び運転支援システム
JP7196781B2 (ja) 2019-06-14 2022-12-27 株式会社デンソー 情報処理装置及び運転支援システム
JP2020204559A (ja) * 2019-06-18 2020-12-24 朝日航洋株式会社 位置調整方法、位置調整装置、及び、位置調整プログラム
WO2021010013A1 (ja) * 2019-07-17 2021-01-21 村田機械株式会社 走行車、走行車システム及び走行車検出方法
JP2022186401A (ja) * 2021-06-04 2022-12-15 プライムプラネットエナジー&ソリューションズ株式会社 対象物の変位量測定方法および変位量測定装置
JP7414772B2 (ja) 2021-06-04 2024-01-16 プライムプラネットエナジー&ソリューションズ株式会社 対象物の変位量測定方法および変位量測定装置
WO2023153093A1 (ja) * 2022-02-14 2023-08-17 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および代表座標導出方法
WO2023153094A1 (ja) * 2022-02-14 2023-08-17 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および代表座標導出方法

Also Published As

Publication number Publication date
JP4450532B2 (ja) 2010-04-14

Similar Documents

Publication Publication Date Title
JP2003030628A (ja) 相対位置計測装置
US11062155B2 (en) Monocular cued detection of three-dimensional structures from depth images
US11854272B2 (en) Hazard detection from a camera in a scene with moving shadows
US8611585B2 (en) Clear path detection using patch approach
US8605947B2 (en) Method for detecting a clear path of travel for a vehicle enhanced by object detection
US8379926B2 (en) Vision based real time traffic monitoring
CN1598610B (zh) 用于估计移动式机器人的位置和方位的装置和方法
US8890951B2 (en) Clear path detection with patch smoothing approach
JP5747549B2 (ja) 信号機検出装置及びプログラム
US8421859B2 (en) Clear path detection using a hierachical approach
US20100098297A1 (en) Clear path detection using segmentation-based method
JP6150164B2 (ja) 情報検出装置、移動体機器制御システム、移動体及び情報検出用プログラム
JP2006260098A (ja) 障害物検出装置
JP2020067896A (ja) 進行可能方向検出装置及び進行可能方向検出方法
JP3589293B2 (ja) 道路の白線検出方法
JP2020201746A (ja) 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム
Klette et al. Advance in vision-based driver assistance
CN113792634B (zh) 一种基于车载相机的目标相似性评分计算方法及系统
KR102618951B1 (ko) 시각적 매핑 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102626574B1 (ko) 카메라 및 라이다의 캘리브레이션 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
JP7334489B2 (ja) 位置推定装置及びコンピュータプログラム
JP2020077297A (ja) 位置姿勢推定装置
Langner Visual Perception for Autonomous Driving
JPH1166312A (ja) 車両認識装置
CN114463660A (zh) 一种基于视频雷达融合感知的判断车型方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090804

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100126

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100126

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130205

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130205

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140205

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees