JP2003233802A - 接近物体検出装置 - Google Patents
接近物体検出装置Info
- Publication number
- JP2003233802A JP2003233802A JP2002032654A JP2002032654A JP2003233802A JP 2003233802 A JP2003233802 A JP 2003233802A JP 2002032654 A JP2002032654 A JP 2002032654A JP 2002032654 A JP2002032654 A JP 2002032654A JP 2003233802 A JP2003233802 A JP 2003233802A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- area
- approaching
- calculated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 自車両に接近する物体が自車線上にあること
を容易に検出できるようにすること。 【解決手段】 自車両後方の画像を単眼カメラ１で撮像
して警報用コントローラ２に出力し、その警報用コント
ローラ２内で接近警報処理を実行して、入力された画像
を左右の領域に分割し、それらの領域から自車両に接近
する物体の画像を個別に検出すると共に、その個別に検
出された画像間の対称性を判断し、その判断結果に基づ
いて自車両に接近する物体が自車線上にあることを推定
する。
を容易に検出できるようにすること。 【解決手段】 自車両後方の画像を単眼カメラ１で撮像
して警報用コントローラ２に出力し、その警報用コント
ローラ２内で接近警報処理を実行して、入力された画像
を左右の領域に分割し、それらの領域から自車両に接近
する物体の画像を個別に検出すると共に、その個別に検
出された画像間の対称性を判断し、その判断結果に基づ
いて自車両に接近する物体が自車線上にあることを推定
する。
Description
【０００１】
【発明の属する技術分野】この発明は、自車両後方又は
前方の道路を監視して、自車両に接近する他車両等を検
出する接近物体検出装置。
前方の道路を監視して、自車両に接近する他車両等を検
出する接近物体検出装置。
【０００２】
【従来の技術】従来、この種の装置としては、例えば特
開２０００−３１５２５５号公報に記載されている「車
両用後側方監視装置及び車両用後側方監視警報装置」が
知られている。この従来例には、自車両後方の道路画像
を撮像し、その道路画像に対して、図９に示すように、
隣接車線に監視領域を設定し、その監視領域内にある物
体の画像のオプティカルフローを算出して、自車両の後
側方から接近してくる後続車両を検出する技術が開示さ
れている。
開２０００−３１５２５５号公報に記載されている「車
両用後側方監視装置及び車両用後側方監視警報装置」が
知られている。この従来例には、自車両後方の道路画像
を撮像し、その道路画像に対して、図９に示すように、
隣接車線に監視領域を設定し、その監視領域内にある物
体の画像のオプティカルフローを算出して、自車両の後
側方から接近してくる後続車両を検出する技術が開示さ
れている。
【０００３】
【発明が解決しようとする課題】しかしながら、上記従
来例にあっては、自車両後方の道路画像に対して、隣接
車線に監視領域を設定するようになっているため、図１
０（ａ）に示すように、例えば自車線上の後続車両が自
車両に接近して、その後続車両の画像の一部が隣接車線
の画像と重なるときには、図１０（ｂ）に示すように、
その隣接車線と重なる部分の画像のオプティカルフロー
が算出されて、当該部分が自車両の後側方から接近して
くる後続車両として検出され、隣接車線に後続車両があ
ると誤判断する恐れがあった。
来例にあっては、自車両後方の道路画像に対して、隣接
車線に監視領域を設定するようになっているため、図１
０（ａ）に示すように、例えば自車線上の後続車両が自
車両に接近して、その後続車両の画像の一部が隣接車線
の画像と重なるときには、図１０（ｂ）に示すように、
その隣接車線と重なる部分の画像のオプティカルフロー
が算出されて、当該部分が自車両の後側方から接近して
くる後続車両として検出され、隣接車線に後続車両があ
ると誤判断する恐れがあった。
【０００４】そこで本発明は上記従来の技術の未解決の
問題点に着目してなされたものであって、自車両に接近
する物体が自車線上にあることを容易に検出できる接近
物体検出装置を提供することを課題とする。
問題点に着目してなされたものであって、自車両に接近
する物体が自車線上にあることを容易に検出できる接近
物体検出装置を提供することを課題とする。
【０００５】
【課題を解決するための手段】上記課題を解決するため
に、請求項１に係る発明である接近物体検出装置は、自
車両後方又は前方の画像を撮像する撮像手段と、その撮
像手段で撮像された画像を左右の領域に分割する領域分
割手段と、その領域分割手段で分割された左右の領域か
ら自車両に接近する物体の画像を個別に検出する接近物
体検出手段と、その接近物体検出手段で個別に検出され
た画像間の対称性を判断する対称性判断手段と、その対
称性判断手段の判断結果に基づいて自車両に接近する物
体が自車線上にあることを推定する物体存在車線推定手
段と、を備えたことを特徴とする。
に、請求項１に係る発明である接近物体検出装置は、自
車両後方又は前方の画像を撮像する撮像手段と、その撮
像手段で撮像された画像を左右の領域に分割する領域分
割手段と、その領域分割手段で分割された左右の領域か
ら自車両に接近する物体の画像を個別に検出する接近物
体検出手段と、その接近物体検出手段で個別に検出され
た画像間の対称性を判断する対称性判断手段と、その対
称性判断手段の判断結果に基づいて自車両に接近する物
体が自車線上にあることを推定する物体存在車線推定手
段と、を備えたことを特徴とする。
【０００６】また、請求項２に係る発明は、請求項１に
記載の接近物体検出装置において、前記対称性判断手段
は、前記接近物体検出手段で個別に検出された画像間の
相関値を所定のしきい値と大小比較し、その結果に応じ
て、それらの画像間の対称性を判断することを特徴とす
る。
記載の接近物体検出装置において、前記対称性判断手段
は、前記接近物体検出手段で個別に検出された画像間の
相関値を所定のしきい値と大小比較し、その結果に応じ
て、それらの画像間の対称性を判断することを特徴とす
る。
【０００７】
【発明の効果】したがって、請求項１に係る発明である
接近物体検出装置にあっては、自車両後方又は前方の画
像を撮像して、その画像を左右の領域に分割し、それら
の領域から自車両に接近する物体の画像を個別に検出し
て、その個別に検出された画像間の対称性を判断し、そ
の判断結果に基づいて自車両に接近する物体が自車線上
にあることを推定するため、例えば自車両後方の画像を
撮像する場合、隣接車線上の後続車両が接近してくると
きには、その後続車両の画像が左右の領域の一方にのみ
撮像されて当該画像の対称性が小さく検出され、且つ、
自車線上の後続車両が接近してくるときには、その後続
車両の画像がほぼ中央に撮像されて当該画像の対称性が
大きく検出されるので、前記対称性の検出結果に基づい
て、自車両に接近する物体が自車線上にあることを容易
に検出することができる。
接近物体検出装置にあっては、自車両後方又は前方の画
像を撮像して、その画像を左右の領域に分割し、それら
の領域から自車両に接近する物体の画像を個別に検出し
て、その個別に検出された画像間の対称性を判断し、そ
の判断結果に基づいて自車両に接近する物体が自車線上
にあることを推定するため、例えば自車両後方の画像を
撮像する場合、隣接車線上の後続車両が接近してくると
きには、その後続車両の画像が左右の領域の一方にのみ
撮像されて当該画像の対称性が小さく検出され、且つ、
自車線上の後続車両が接近してくるときには、その後続
車両の画像がほぼ中央に撮像されて当該画像の対称性が
大きく検出されるので、前記対称性の検出結果に基づい
て、自車両に接近する物体が自車線上にあることを容易
に検出することができる。
【０００８】また、請求項２に係る発明である接近物体
検出装置にあっては、個別に検出された画像間の対称性
を判断するため、例えば左右の領域から個別に検出され
た物体の画像間で、互いに対応する画素の濃度の相関値
を算出し、その相関値を所定のしきい値と大小比較した
結果から、当該画像間の対称性を判断するというよう
に、前記画像間の対称性を容易に判断することができ
る。なお、上記のように相関値としきい値とに基づいて
判断するようにしたときは、例えば自車両後方等の画像
を撮像する撮像手段の性能に応じて当該しきい値を設定
すればよい。
検出装置にあっては、個別に検出された画像間の対称性
を判断するため、例えば左右の領域から個別に検出され
た物体の画像間で、互いに対応する画素の濃度の相関値
を算出し、その相関値を所定のしきい値と大小比較した
結果から、当該画像間の対称性を判断するというよう
に、前記画像間の対称性を容易に判断することができ
る。なお、上記のように相関値としきい値とに基づいて
判断するようにしたときは、例えば自車両後方等の画像
を撮像する撮像手段の性能に応じて当該しきい値を設定
すればよい。
【０００９】
【発明の実施の形態】以下、本発明に係る接近物体検出
装置で、自車両後側方から接近する後続車両を検出する
例を図面に基づいて説明する。図１は、本発明の一実施
形態を示す概略構成図であり、図１において、トランク
リッドの後端部内側には、車両後方の映像を撮像するＣ
ＣＤカメラ等の単眼カメラ１が埋設されており、自車両
後方の道路画像を警報用コントローラ２に出力するよう
になっている。
装置で、自車両後側方から接近する後続車両を検出する
例を図面に基づいて説明する。図１は、本発明の一実施
形態を示す概略構成図であり、図１において、トランク
リッドの後端部内側には、車両後方の映像を撮像するＣ
ＣＤカメラ等の単眼カメラ１が埋設されており、自車両
後方の道路画像を警報用コントローラ２に出力するよう
になっている。
【００１０】この警報用コントローラ２は、図示しない
マイクロコンピュータ等の離散化されたディジタルシス
テムで構成され、後述する接近警報処理を実行し、単眼
カメラ１で撮像された道路画像に基づいて、車両後側方
から接近する後続車両を検出し、車室内に設けられてい
る警報ブザー３を鳴らすようになっている。本実施の形
態における接近警報処理は、方向指示器スイッチが操作
されることによって実行される処理であって、具体的に
は、その処理の手順の概要を表すフローチャートであ
る、図２に示すように、先ずそのステップＳ１０１で
は、単眼カメラ１から車両後方の画像を読み込み、その
画像を警報用コントローラ２内の所定領域に第１画像と
して格納し、ステップＳ１０２に移行する。
マイクロコンピュータ等の離散化されたディジタルシス
テムで構成され、後述する接近警報処理を実行し、単眼
カメラ１で撮像された道路画像に基づいて、車両後側方
から接近する後続車両を検出し、車室内に設けられてい
る警報ブザー３を鳴らすようになっている。本実施の形
態における接近警報処理は、方向指示器スイッチが操作
されることによって実行される処理であって、具体的に
は、その処理の手順の概要を表すフローチャートであ
る、図２に示すように、先ずそのステップＳ１０１で
は、単眼カメラ１から車両後方の画像を読み込み、その
画像を警報用コントローラ２内の所定領域に第１画像と
して格納し、ステップＳ１０２に移行する。
【００１１】前記ステップＳ１０２では、単眼カメラ１
から画像を読み込み、その画像を警報用コントローラ２
内の所定領域に第２画像として格納し、ステップＳ１０
３に移行する。なお、このステップＳ１０２では、前記
ステップＳ１０１が実行されてから所定時間経過後に第
２画像を読み込むようになっており、前記ステップＳ１
０１を実行した直後に前記ステップＳ１０２を実行する
場合と、後述するステップＳ１０３〜Ｓ１０８を経た後
に再び前記ステップＳ１０２を実行する場合とで、第１
画像を読み込んでから第２画像を読み込むまでの時間間
隔を一定にするようになっている。
から画像を読み込み、その画像を警報用コントローラ２
内の所定領域に第２画像として格納し、ステップＳ１０
３に移行する。なお、このステップＳ１０２では、前記
ステップＳ１０１が実行されてから所定時間経過後に第
２画像を読み込むようになっており、前記ステップＳ１
０１を実行した直後に前記ステップＳ１０２を実行する
場合と、後述するステップＳ１０３〜Ｓ１０８を経た後
に再び前記ステップＳ１０２を実行する場合とで、第１
画像を読み込んでから第２画像を読み込むまでの時間間
隔を一定にするようになっている。
【００１２】前記ステップＳ１０３では、所定領域に格
納されている第１画像と第２画像とに基づいてオプティ
カルフローを算出し、ステップＳ１０４に移行する。具
体的には、第１画像を複数の小領域に分割して、各小領
域毎に、第２画像上の複数の所定地点との相関値を算出
し、それらの相関値のうちに所定の設定値以上のものが
あるときには、当該相関値が最大となる地点までの距離
と方向を算出する。
納されている第１画像と第２画像とに基づいてオプティ
カルフローを算出し、ステップＳ１０４に移行する。具
体的には、第１画像を複数の小領域に分割して、各小領
域毎に、第２画像上の複数の所定地点との相関値を算出
し、それらの相関値のうちに所定の設定値以上のものが
あるときには、当該相関値が最大となる地点までの距離
と方向を算出する。
【００１３】前記ステップＳ１０４では、前記ステップ
Ｓ１０３で算出されたオプティカルフローに基づいて第
２画像の対称性の程度を表す左右領域相関値を算出する
後述の相関値算出処理を実行し、ステップＳ１０５に移
行する。なお、相関値算出処理では、第２画像の対称性
の程度が大きいときほど左右領域相関値を小さく算出す
るようになっている。
Ｓ１０３で算出されたオプティカルフローに基づいて第
２画像の対称性の程度を表す左右領域相関値を算出する
後述の相関値算出処理を実行し、ステップＳ１０５に移
行する。なお、相関値算出処理では、第２画像の対称性
の程度が大きいときほど左右領域相関値を小さく算出す
るようになっている。
【００１４】前記ステップＳ１０５では、前記ステップ
Ｓ１０４で算出された左右領域相関値が所定のしきい値
より大きいか否か判定し、大きいときには（Ｙｅｓ）ス
テップＳ１０６に移行し、そうでないときには（Ｎｏ）
ステップＳ１０８に移行する。なお、しきい値を設定す
る方法としては、どのようなものでもよいが、例えば単
眼カメラ１の性能が低く、撮像された画像の濃度値等に
誤差が予測されるときには、当該しきい値を大きめに設
定しておけば、誤判定を抑制防止することができる。
Ｓ１０４で算出された左右領域相関値が所定のしきい値
より大きいか否か判定し、大きいときには（Ｙｅｓ）ス
テップＳ１０６に移行し、そうでないときには（Ｎｏ）
ステップＳ１０８に移行する。なお、しきい値を設定す
る方法としては、どのようなものでもよいが、例えば単
眼カメラ１の性能が低く、撮像された画像の濃度値等に
誤差が予測されるときには、当該しきい値を大きめに設
定しておけば、誤判定を抑制防止することができる。
【００１５】前記ステップＳ１０６では、前記ステップ
Ｓ１０３で算出されたオプティカルフローに基づいて、
自車両後側方から接近する後続車両を検出し、ステップ
Ｓ１０７に移行する。具体的には、第２画像上のカメラ
消失点から離れる方向に向いているオプティカルフロー
が隣接車線上にあるか検出し、そのようなオプティカル
フローが検出されたときには、自車両後側方から接近す
る後続車両があると判断する。 前記ステップＳ１０７
では、前記ステップＳ１０６で自車両後側方から接近す
る後続車両があると判断されたか否か判定し、そのよう
な後続車両があると判断されたときには警報ブザー３を
鳴らす警報処理を実行してから、ステップＳ１０８に移
行する。
Ｓ１０３で算出されたオプティカルフローに基づいて、
自車両後側方から接近する後続車両を検出し、ステップ
Ｓ１０７に移行する。具体的には、第２画像上のカメラ
消失点から離れる方向に向いているオプティカルフロー
が隣接車線上にあるか検出し、そのようなオプティカル
フローが検出されたときには、自車両後側方から接近す
る後続車両があると判断する。 前記ステップＳ１０７
では、前記ステップＳ１０６で自車両後側方から接近す
る後続車両があると判断されたか否か判定し、そのよう
な後続車両があると判断されたときには警報ブザー３を
鳴らす警報処理を実行してから、ステップＳ１０８に移
行する。
【００１６】前記ステップＳ１０８では、所定の領域に
格納されている第２画像を第１画像として格納してか
ら、前記ステップＳ１０２に移行する。次に、接近警報
処理のステップＳ１０４で実行される相関値算出処理を
図３のフローチャートに基づいて詳細に説明する。ま
ず、この処理が実行されると、ステップＳ２０１に移行
するようになっており、そのステップＳ２０１では、前
記ステップＳ１０３で算出されたオプティカルフローの
うちから任意のものを選択すると共に、選択したオプテ
ィカルフローがカメラ消失点から離れる方向に向いてい
るか否か判定し、離れる方向に向いているときには（Ｙ
ｅｓ）ステップＳ２０３に移行し、そうでないときには
（Ｎｏ）ステップＳ２０２に移行する。
格納されている第２画像を第１画像として格納してか
ら、前記ステップＳ１０２に移行する。次に、接近警報
処理のステップＳ１０４で実行される相関値算出処理を
図３のフローチャートに基づいて詳細に説明する。ま
ず、この処理が実行されると、ステップＳ２０１に移行
するようになっており、そのステップＳ２０１では、前
記ステップＳ１０３で算出されたオプティカルフローの
うちから任意のものを選択すると共に、選択したオプテ
ィカルフローがカメラ消失点から離れる方向に向いてい
るか否か判定し、離れる方向に向いているときには（Ｙ
ｅｓ）ステップＳ２０３に移行し、そうでないときには
（Ｎｏ）ステップＳ２０２に移行する。
【００１７】前記ステップＳ２０２では、前記ステップ
Ｓ２０１で選択したオプティカルフローのデータを削除
してから、前記ステップＳ２０３に移行する。前記ステ
ップＳ２０３では、前記接近警報処理のステップＳ１０
３で算出した全てのオプティカルフローに対して、前記
ステップＳ２０１の判定を実行したか否か判定し、実行
したときには（Ｙｅｓ）ステップＳ２０４に移行し、そ
うでないときには（Ｎｏ）前記ステップＳ２０１に移行
する。
Ｓ２０１で選択したオプティカルフローのデータを削除
してから、前記ステップＳ２０３に移行する。前記ステ
ップＳ２０３では、前記接近警報処理のステップＳ１０
３で算出した全てのオプティカルフローに対して、前記
ステップＳ２０１の判定を実行したか否か判定し、実行
したときには（Ｙｅｓ）ステップＳ２０４に移行し、そ
うでないときには（Ｎｏ）前記ステップＳ２０１に移行
する。
【００１８】前記ステップＳ２０４では、図４に示すよ
うに、第２画像の左端を原点とし且つ当該画像に正対し
て右方向に軸線を有するＸ座標軸を設定すると共に、前
記ステップＳ２０１〜Ｓ２０３で削除されなかったオプ
ティカルフローに対応する第２画像上の地点を算出し、
それらの地点のうちで最も大きいＸ座標値を最大Ｘ座標
として設定し、ステップＳ２０５に移行する。
うに、第２画像の左端を原点とし且つ当該画像に正対し
て右方向に軸線を有するＸ座標軸を設定すると共に、前
記ステップＳ２０１〜Ｓ２０３で削除されなかったオプ
ティカルフローに対応する第２画像上の地点を算出し、
それらの地点のうちで最も大きいＸ座標値を最大Ｘ座標
として設定し、ステップＳ２０５に移行する。
【００１９】前記ステップＳ２０５では、図５に示すよ
うに、第２画像において左側の隣接車線が撮像されてい
る領域を左側接近物体領域とすると共に、図４に示すよ
うに、その左側接近物体領域のうち前記ステップＳ２０
４で算出した最大Ｘ座標値より小さい領域を左側相関領
域とし、前記左側接近物体領域のうち前記左側相関領域
を除く領域の画素の濃度値を“−１”としてから、ステ
ップＳ２０６に移行する。
うに、第２画像において左側の隣接車線が撮像されてい
る領域を左側接近物体領域とすると共に、図４に示すよ
うに、その左側接近物体領域のうち前記ステップＳ２０
４で算出した最大Ｘ座標値より小さい領域を左側相関領
域とし、前記左側接近物体領域のうち前記左側相関領域
を除く領域の画素の濃度値を“−１”としてから、ステ
ップＳ２０６に移行する。
【００２０】前記ステップＳ２０６では、図４に示すよ
うに、前記ステップＳ２０１〜Ｓ２０３で削除されなか
ったオプティカルフローに対応する第２画像上の地点を
算出し、それらの地点のうちで最も小さいＸ座標値を最
小Ｘ座標として設定し、ステップＳ２０７に移行する。
前記ステップＳ２０７では、図５に示すように、第２画
像において右側の隣接車線が撮像されている領域を右側
接近物体領域とすると共に、図４に示すように、その右
側接近物体領域のうち前記ステップＳ２０６で算出した
最小Ｘ座標値より大きい領域を右側相関領域とし、前記
右側接近物体領域のうち前記右側相関領域を除く画素の
濃度値を“−１”としてから、ステップＳ２０６に移行
する。
うに、前記ステップＳ２０１〜Ｓ２０３で削除されなか
ったオプティカルフローに対応する第２画像上の地点を
算出し、それらの地点のうちで最も小さいＸ座標値を最
小Ｘ座標として設定し、ステップＳ２０７に移行する。
前記ステップＳ２０７では、図５に示すように、第２画
像において右側の隣接車線が撮像されている領域を右側
接近物体領域とすると共に、図４に示すように、その右
側接近物体領域のうち前記ステップＳ２０６で算出した
最小Ｘ座標値より大きい領域を右側相関領域とし、前記
右側接近物体領域のうち前記右側相関領域を除く画素の
濃度値を“−１”としてから、ステップＳ２０６に移行
する。
【００２１】前記ステップＳ２０８では、図６に示すよ
うに、カメラ消失点のＸ座標を中心として、第２画像上
の右側相関領域内にある画像を折り返して反転させた反
転画像を算出し、ステップＳ２０９に移行する。前記ス
テップＳ２０９では、前記ステップＳ２０５で設定した
左側相関領域内にある画像と、前記ステップＳ２０８で
算出した反転画像とに基づいて、第２画像の対称性の程
度を表す左右領域相関値を算出し、この演算処理を終了
する。
うに、カメラ消失点のＸ座標を中心として、第２画像上
の右側相関領域内にある画像を折り返して反転させた反
転画像を算出し、ステップＳ２０９に移行する。前記ス
テップＳ２０９では、前記ステップＳ２０５で設定した
左側相関領域内にある画像と、前記ステップＳ２０８で
算出した反転画像とに基づいて、第２画像の対称性の程
度を表す左右領域相関値を算出し、この演算処理を終了
する。
【００２２】具体的には、左側相関領域内にある画像の
Ｘ軸方向の大きさと、反転画像のＸ軸方向の大きさとを
比較し、図７に示すように、小さい方の画像をＸ軸方向
へ所定画素分移動してから、左側相関領域内にある画像
と反転画像との対応する画素間の濃度差の平均値を算出
するという手順を、その移動する画素数を変化させて繰
り返し実行し、算出された平均値のうちで最も小さいも
のを左右領域相関値とする。なお、濃度値が“−１”で
ある画素や濃度値のデータがない画素は当該平均値の算
出には利用しない。
Ｘ軸方向の大きさと、反転画像のＸ軸方向の大きさとを
比較し、図７に示すように、小さい方の画像をＸ軸方向
へ所定画素分移動してから、左側相関領域内にある画像
と反転画像との対応する画素間の濃度差の平均値を算出
するという手順を、その移動する画素数を変化させて繰
り返し実行し、算出された平均値のうちで最も小さいも
のを左右領域相関値とする。なお、濃度値が“−１”で
ある画素や濃度値のデータがない画素は当該平均値の算
出には利用しない。
【００２３】また、小さい方の画像をＸ軸方向へ所定画
素分移動するときには、同時に、左側相関領域内にある
画像の上下方向の大きさと前記ステップＳ２０８で算出
された反転画像の上下方向の大きさとを比較し、図８
（ａ）、（ｂ）に示すように、小さい方の画像を上下方
向へ所定画素分移動してから、左側相関領域内にある画
像と反転画像との対応する画素間の濃度差の平均値も算
出し、左右領域相関値の算出に利用する。
素分移動するときには、同時に、左側相関領域内にある
画像の上下方向の大きさと前記ステップＳ２０８で算出
された反転画像の上下方向の大きさとを比較し、図８
（ａ）、（ｂ）に示すように、小さい方の画像を上下方
向へ所定画素分移動してから、左側相関領域内にある画
像と反転画像との対応する画素間の濃度差の平均値も算
出し、左右領域相関値の算出に利用する。
【００２４】次に本実施形態の動作を具体的状況に基づ
いて詳細に説明する。まず、自車両を車線変更しようと
して乗員が方向指示器スイッチを操作したときに、隣接
車線上の後続車両が接近してきたとする。すると、警報
用コントローラ２で接近警報処理が実行されて、先ずそ
のステップＳ１０１で、単眼カメラ１から車両後方の画
像が読み込まれて、その画像が警報用コントローラ２内
の所定領域に第１画像として格納され、第１画像が読み
込まれてから所定時間経過後に、ステップＳ１０２で、
単眼カメラ１から画像が読み込まれて、その画像が警報
用コントローラ２内の所定領域に第２画像として格納さ
れ、ステップＳ１０３で、所定領域に格納されている第
１画像と第２画像とに基づいて、自車両後側方から接近
してくる後続車両等のオプティカルフローが算出され、
ステップＳ１０４で相関値算出処理が実行される。
いて詳細に説明する。まず、自車両を車線変更しようと
して乗員が方向指示器スイッチを操作したときに、隣接
車線上の後続車両が接近してきたとする。すると、警報
用コントローラ２で接近警報処理が実行されて、先ずそ
のステップＳ１０１で、単眼カメラ１から車両後方の画
像が読み込まれて、その画像が警報用コントローラ２内
の所定領域に第１画像として格納され、第１画像が読み
込まれてから所定時間経過後に、ステップＳ１０２で、
単眼カメラ１から画像が読み込まれて、その画像が警報
用コントローラ２内の所定領域に第２画像として格納さ
れ、ステップＳ１０３で、所定領域に格納されている第
１画像と第２画像とに基づいて、自車両後側方から接近
してくる後続車両等のオプティカルフローが算出され、
ステップＳ１０４で相関値算出処理が実行される。
【００２５】相関値算出処理が実行されると、まずステ
ップＳ２０１で、前記ステップＳ１０３で算出されたオ
プティカルフローのうちから任意のものが選択されて、
その選択されたオプティカルフローが道路標識等による
ものであって第２画像上のカメラ消失点に近づくもので
あるときには、当該ステップＳ２０１の判定が「Ｎｏ」
となり、ステップＳ２０２で、前記ステップＳ２０１で
選択されたオプティカルフローのデータが削除され、ま
たステップＳ２０３の判定が「Ｎｏ」となって、前記ス
テップＳ２０１から上記フローが繰り返し実行される。
ップＳ２０１で、前記ステップＳ１０３で算出されたオ
プティカルフローのうちから任意のものが選択されて、
その選択されたオプティカルフローが道路標識等による
ものであって第２画像上のカメラ消失点に近づくもので
あるときには、当該ステップＳ２０１の判定が「Ｎｏ」
となり、ステップＳ２０２で、前記ステップＳ２０１で
選択されたオプティカルフローのデータが削除され、ま
たステップＳ２０３の判定が「Ｎｏ」となって、前記ス
テップＳ２０１から上記フローが繰り返し実行される。
【００２６】上記フローが繰り返されて、前記接近警報
処理のステップＳ１０３で算出された全てのオプティカ
ルフローに対して、前記ステップＳ２０１の判定が実行
され、後続車両以外のものによるオプティカルフローが
全て削除されたとすると、ステップＳ２０３の判定が
「Ｙｅｓ」となり、ステップＳ２０４で、図４に示すよ
うに、前記ステップＳ２０１〜Ｓ２０３で削除されなか
ったオプティカルフローに対応する第２画像上の地点が
算出され、それらの地点のうちで最も大きいＸ座標値が
最大Ｘ座標として設定され、ステップＳ２０５で、図４
に示すように、左側接近物体領域のうち前記ステップＳ
２０４で算出された最大Ｘ座標値より小さい領域が左側
相関領域とされ、前記左側接近物体領域のうち前記左側
相関領域を除く領域の画素の濃度値が“−１”とされ
る。
処理のステップＳ１０３で算出された全てのオプティカ
ルフローに対して、前記ステップＳ２０１の判定が実行
され、後続車両以外のものによるオプティカルフローが
全て削除されたとすると、ステップＳ２０３の判定が
「Ｙｅｓ」となり、ステップＳ２０４で、図４に示すよ
うに、前記ステップＳ２０１〜Ｓ２０３で削除されなか
ったオプティカルフローに対応する第２画像上の地点が
算出され、それらの地点のうちで最も大きいＸ座標値が
最大Ｘ座標として設定され、ステップＳ２０５で、図４
に示すように、左側接近物体領域のうち前記ステップＳ
２０４で算出された最大Ｘ座標値より小さい領域が左側
相関領域とされ、前記左側接近物体領域のうち前記左側
相関領域を除く領域の画素の濃度値が“−１”とされ
る。
【００２７】また、ステップＳ２０６で、図４に示すよ
うに、前記ステップＳ２０１〜Ｓ２０３で削除されなか
ったオプティカルフローに対応する第２画像上の地点が
算出され、それらの地点のうちで最も小さいＸ座標値が
最小Ｘ座標として設定され、ステップＳ２０７で、図４
に示すように、右側接近物体領域のうち前記ステップＳ
２０６で算出された最小Ｘ座標値より大きい領域が右側
相関領域とされ、前記右側接近物体領域のうち前記右側
相関領域を除く画素の濃度値が“−１”とされ、ステッ
プＳ２０８で、図６に示すように第２画像上のカメラ消
失点のＸ座標を中心として、右側相関領域内にある画像
を折り返して反転させた反転画像が算出される。
うに、前記ステップＳ２０１〜Ｓ２０３で削除されなか
ったオプティカルフローに対応する第２画像上の地点が
算出され、それらの地点のうちで最も小さいＸ座標値が
最小Ｘ座標として設定され、ステップＳ２０７で、図４
に示すように、右側接近物体領域のうち前記ステップＳ
２０６で算出された最小Ｘ座標値より大きい領域が右側
相関領域とされ、前記右側接近物体領域のうち前記右側
相関領域を除く画素の濃度値が“−１”とされ、ステッ
プＳ２０８で、図６に示すように第２画像上のカメラ消
失点のＸ座標を中心として、右側相関領域内にある画像
を折り返して反転させた反転画像が算出される。
【００２８】そして、ステップＳ２０９では、まず左側
相関領域内にある画像と反転画像との対応する画素間の
濃度差の平均値が算出される。次いで、左側相関領域内
にある画像のＸ軸方向の大きさと、反転画像のＸ軸方向
の大きさとが比較されて、左右の隣接車線を走行してい
る後続車両の画像の大きさが比較され、図７に示すよう
に、小さい後続車両の画像がＸ軸方向へ所定画素分移動
されて、上記平均値が同様の手順で算出され、それらの
平均値のうちで最も小さいものが左右領域相関値とされ
て、この演算処理が終了される。
相関領域内にある画像と反転画像との対応する画素間の
濃度差の平均値が算出される。次いで、左側相関領域内
にある画像のＸ軸方向の大きさと、反転画像のＸ軸方向
の大きさとが比較されて、左右の隣接車線を走行してい
る後続車両の画像の大きさが比較され、図７に示すよう
に、小さい後続車両の画像がＸ軸方向へ所定画素分移動
されて、上記平均値が同様の手順で算出され、それらの
平均値のうちで最も小さいものが左右領域相関値とされ
て、この演算処理が終了される。
【００２９】このように、本実施形態では、左側相関領
域内にある画像と右側相関領域内にある画像との相関関
係に基づいて、それらの画像間の対称性を検出するよう
にしたため、前記画像間の対称性を容易に検出すること
ができる。また、小さい方の画像がＸ軸方向へ所定画素
分移動されるのと同時に、左側相関領域内にある画像の
上下方向の大きさと前記ステップＳ２０８で算出された
反転画像の上下方向の大きさとが比較され、図８
（ａ）、（ｂ）に示すように、小さい方の画像が上下方
向へ所定画素分移動されて、左側相関領域内にある画像
と反転画像との対応する画素間の濃度差の平均値も算出
され、左右領域相関値の算出に利用される。
域内にある画像と右側相関領域内にある画像との相関関
係に基づいて、それらの画像間の対称性を検出するよう
にしたため、前記画像間の対称性を容易に検出すること
ができる。また、小さい方の画像がＸ軸方向へ所定画素
分移動されるのと同時に、左側相関領域内にある画像の
上下方向の大きさと前記ステップＳ２０８で算出された
反転画像の上下方向の大きさとが比較され、図８
（ａ）、（ｂ）に示すように、小さい方の画像が上下方
向へ所定画素分移動されて、左側相関領域内にある画像
と反転画像との対応する画素間の濃度差の平均値も算出
され、左右領域相関値の算出に利用される。
【００３０】このように、本実施形態では、小さい方の
画像を上下方向に所定画素分移動することによって、単
眼カメラ１が傾いて取り付けられていても左右領域相関
値を適切に算出することができる。相関値算出処理が終
了されると接近警報処理に戻るが、自車両の後両側方か
ら後続車両が接近してくるときの画像は対称性が小さ
く、前記ステップＳ１０４で算出された左右領域相関値
は所定のしきい値より大きくなるので、ステップＳ１０
５の判定は「Ｙｅｓ」となり、ステップＳ１０６で、前
記ステップＳ１０３で算出されたオプティカルフローに
基づいて、自車両の後両側方から接近する隣接車線上の
後続車両が検出され、ステップＳ１０７の警報処理で警
報ブザー３が鳴らされ、ステップＳ１０８で、所定の領
域に格納されている第２画像が第１画像として格納され
てから、上記フローが前記ステップＳ１０２から繰り返
し実行される。
画像を上下方向に所定画素分移動することによって、単
眼カメラ１が傾いて取り付けられていても左右領域相関
値を適切に算出することができる。相関値算出処理が終
了されると接近警報処理に戻るが、自車両の後両側方か
ら後続車両が接近してくるときの画像は対称性が小さ
く、前記ステップＳ１０４で算出された左右領域相関値
は所定のしきい値より大きくなるので、ステップＳ１０
５の判定は「Ｙｅｓ」となり、ステップＳ１０６で、前
記ステップＳ１０３で算出されたオプティカルフローに
基づいて、自車両の後両側方から接近する隣接車線上の
後続車両が検出され、ステップＳ１０７の警報処理で警
報ブザー３が鳴らされ、ステップＳ１０８で、所定の領
域に格納されている第２画像が第１画像として格納され
てから、上記フローが前記ステップＳ１０２から繰り返
し実行される。
【００３１】一方、自車両を車線変更しようとして乗員
が方向指示器スイッチを操作したときに、自車線上の後
続車両が接近してきたとする。すると、警報用コントロ
ーラ２で接近警報処理が実行されて、ステップＳ１０１
〜Ｓ１０３を経て、ステップＳ１０４で相関値算出処理
が実行される。相関値算出処理が実行されると、ステッ
プＳ２０１〜Ｓ２０８を経て、ステップＳ２０９で、ま
ず自車線上の後続車両の画像がほぼ中央に撮像されてい
るときに小さい値が算出されるように、左側相関領域内
にある画像と反転画像との対応する画素間の濃度差の平
均値が算出される。次いで、左側相関領域内にある画像
のＸ軸方向の大きさと、反転画像のＸ軸方向の大きさと
が比較されて、自車線後方の後続車両の画像の大きさが
比較され、図７に示すように、小さい方の画像がＸ軸方
向へ所定画素分移動されて、上記平均値が同様の手順で
算出され、それらの平均値のうちで最も小さいものが左
右領域相関値とされて、この演算処理が終了される。
が方向指示器スイッチを操作したときに、自車線上の後
続車両が接近してきたとする。すると、警報用コントロ
ーラ２で接近警報処理が実行されて、ステップＳ１０１
〜Ｓ１０３を経て、ステップＳ１０４で相関値算出処理
が実行される。相関値算出処理が実行されると、ステッ
プＳ２０１〜Ｓ２０８を経て、ステップＳ２０９で、ま
ず自車線上の後続車両の画像がほぼ中央に撮像されてい
るときに小さい値が算出されるように、左側相関領域内
にある画像と反転画像との対応する画素間の濃度差の平
均値が算出される。次いで、左側相関領域内にある画像
のＸ軸方向の大きさと、反転画像のＸ軸方向の大きさと
が比較されて、自車線後方の後続車両の画像の大きさが
比較され、図７に示すように、小さい方の画像がＸ軸方
向へ所定画素分移動されて、上記平均値が同様の手順で
算出され、それらの平均値のうちで最も小さいものが左
右領域相関値とされて、この演算処理が終了される。
【００３２】このように、本実施形態では、小さい方の
画像をＸ軸方向に所定画素分移動するようにしたため、
自車線の後続車両が左右いずれかに偏って撮像されてい
るときにも左右領域相関値を適切に算出することができ
る。相関値算出処理が終了されると接近警報処理に戻る
が、自車線上の後続車両が接近してくるときの画像は対
称性が大きく、前記ステップＳ１０４で算出された左右
領域相関値は所定のしきい値より小さくなるので、ステ
ップＳ１０５の判定は「Ｎｏ」となり、警報ブザー３を
鳴らさずに、ステップＳ１０８を経て、上記フローが前
記ステップＳ１０２から繰り返し実行される。
画像をＸ軸方向に所定画素分移動するようにしたため、
自車線の後続車両が左右いずれかに偏って撮像されてい
るときにも左右領域相関値を適切に算出することができ
る。相関値算出処理が終了されると接近警報処理に戻る
が、自車線上の後続車両が接近してくるときの画像は対
称性が大きく、前記ステップＳ１０４で算出された左右
領域相関値は所定のしきい値より小さくなるので、ステ
ップＳ１０５の判定は「Ｎｏ」となり、警報ブザー３を
鳴らさずに、ステップＳ１０８を経て、上記フローが前
記ステップＳ１０２から繰り返し実行される。
【００３３】以上説明したように、本実施形態では、隣
接車線上の後続車両が接近してくるときには画像の対称
性が小さく検出され、且つ、自車線上の後続車両が接近
してくるときには、その後続車両の画像がほぼ中央に撮
像されて当該画像の対称性が大きく検出されるので、前
記対称性の検出結果に基づいて、自車両に接近する物体
が自車線上にあることを容易に検出することができる。
接車線上の後続車両が接近してくるときには画像の対称
性が小さく検出され、且つ、自車線上の後続車両が接近
してくるときには、その後続車両の画像がほぼ中央に撮
像されて当該画像の対称性が大きく検出されるので、前
記対称性の検出結果に基づいて、自車両に接近する物体
が自車線上にあることを容易に検出することができる。
【００３４】なお、上記実施形態では、撮像手段は単眼
カメラ１に対応し、領域分割手段はカメラ消失点に対応
し、接近物体検出手段はステップＳ１０３に対応し、対
称性判断手段及び物体存在車線推定手段はステップＳ１
０５及びＳ２０９に対応する。また、上記実施の形態は
本発明の接近物体検出装置の一例を示したものであり、
装置の構成等を限定するものではない。
カメラ１に対応し、領域分割手段はカメラ消失点に対応
し、接近物体検出手段はステップＳ１０３に対応し、対
称性判断手段及び物体存在車線推定手段はステップＳ１
０５及びＳ２０９に対応する。また、上記実施の形態は
本発明の接近物体検出装置の一例を示したものであり、
装置の構成等を限定するものではない。
【００３５】例えば、上記実施形態では、自車両後方の
画像を撮像して、接近してくる後続車両が自車線上にあ
ることを検出する例を示したが、後続車両に限定される
ものではなく、例えば自車両前方の画像を撮像して、減
速等して自車両に接近する先行車両が自車線上にあるこ
とを検出するようにしてもよい。
画像を撮像して、接近してくる後続車両が自車線上にあ
ることを検出する例を示したが、後続車両に限定される
ものではなく、例えば自車両前方の画像を撮像して、減
速等して自車両に接近する先行車両が自車線上にあるこ
とを検出するようにしてもよい。
【図１】本発明の接近物体検出装置の一実施形態を示す
概略構成図である。
概略構成図である。
【図２】図１の警報用コントローラ内で実行される接近
警報処理を示すフローチャートである。
警報処理を示すフローチャートである。
【図３】図１の警報用コントローラ内で実行される相関
値算出処理を示すフローチャートである。
値算出処理を示すフローチャートである。
【図４】Ｘ座標軸、最大Ｘ座標値、最小Ｘ座標値、左側
相関領域及び右側相関領域を説明するための説明図であ
る。
相関領域及び右側相関領域を説明するための説明図であ
る。
【図５】左側接近物体領域及び右側接近物体領域を説明
するための説明図である。
するための説明図である。
【図６】反転画像を説明するための説明図である。
【図７】左側相関領域をＸ軸方向に移動させた状態を説
明するための説明図である。
明するための説明図である。
【図８】左側相関領域を上下方向に移動させた状態を説
明するための説明図である。
明するための説明図である。
【図９】従来例の監視領域を説明するための説明図であ
る。
る。
【図１０】従来例の動作を説明するための説明図であ
る。
る。
１は単眼カメラ
２は警報用コントローラ
３は警報ブザー
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｇ０８Ｇ 1/16 Ｇ０８Ｇ 1/16 Ｃ
Ｆターム(参考） 5B057 AA16 AA19 BA02 DA07 DA15
DB02 DC08 DC30 DC34 DC36
5H180 AA01 CC04 LL04 LL07
5L096 DA03 FA34 GA19 HA03 HA04
MA05
Claims (2)
- 【請求項１】 自車両後方又は前方の画像を撮像する撮
像手段と、その撮像手段で撮像された画像を左右の領域
に分割する領域分割手段と、その領域分割手段で分割さ
れた左右の領域から自車両に接近する物体の画像を個別
に検出する接近物体検出手段と、その接近物体検出手段
で個別に検出された画像間の対称性を判断する対称性判
断手段と、その対称性判断手段の判断結果に基づいて自
車両に接近する物体が自車線上にあることを推定する物
体存在車線推定手段と、を備えたことを特徴とする接近
物体検出装置。 - 【請求項２】 前記対称性判断手段は、前記接近物体検
出手段で個別に検出された画像間の相関値を所定のしき
い値と大小比較し、その結果に応じて、それらの画像間
の対称性を判断することを特徴とする請求項１に記載の
接近物体検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002032654A JP4182665B2 (ja) | 2002-02-08 | 2002-02-08 | 接近物体検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002032654A JP4182665B2 (ja) | 2002-02-08 | 2002-02-08 | 接近物体検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003233802A true JP2003233802A (ja) | 2003-08-22 |
| JP4182665B2 JP4182665B2 (ja) | 2008-11-19 |
Family
ID=27775707
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002032654A Expired - Fee Related JP4182665B2 (ja) | 2002-02-08 | 2002-02-08 | 接近物体検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4182665B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008287692A (ja) * | 2007-04-16 | 2008-11-27 | Honda Motor Co Ltd | 障害物認識装置 |
| JP2010257229A (ja) * | 2009-04-24 | 2010-11-11 | Honda Motor Co Ltd | 車両周辺監視装置 |
| CN106952478A (zh) * | 2017-05-11 | 2017-07-14 | 南宁市正祥科技有限公司 | 一种基于对称性的车辆检测方法 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105825528B (zh) * | 2016-03-14 | 2018-07-10 | 天津工业大学 | 一种图像对称轴检测方法 |
-
2002
- 2002-02-08 JP JP2002032654A patent/JP4182665B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008287692A (ja) * | 2007-04-16 | 2008-11-27 | Honda Motor Co Ltd | 障害物認識装置 |
| JP2010257229A (ja) * | 2009-04-24 | 2010-11-11 | Honda Motor Co Ltd | 車両周辺監視装置 |
| CN106952478A (zh) * | 2017-05-11 | 2017-07-14 | 南宁市正祥科技有限公司 | 一种基于对称性的车辆检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4182665B2 (ja) | 2008-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3807331B2 (ja) | カメラの汚れ検出装置およびカメラの汚れ検出方法 | |
| CN102985957B (zh) | 车辆周围监测装置 | |
| JP2994170B2 (ja) | 車両周辺監視装置 | |
| JP2003281700A (ja) | 割り込み車両検出装置及びその方法 | |
| JP2007066003A (ja) | 停止線検出装置 | |
| JP4529768B2 (ja) | 車載物体検出装置、および物体検出方法 | |
| JPH11345392A (ja) | 障害物検出装置及び障害物検出方法 | |
| JP2003233802A (ja) | 接近物体検出装置 | |
| JP2001014595A (ja) | 車両用走行レーン検知装置 | |
| JP4321410B2 (ja) | 物体検出装置、および方法 | |
| JP3729005B2 (ja) | 車両の後方監視装置 | |
| JP2004230963A (ja) | 車両用トンネル検出方法および車両用トンネル検出装置並びに該装置を用いた車両制御装置 | |
| JP2008114627A (ja) | 車両の後側方監視装置 | |
| JP3760426B2 (ja) | 走行車線検出方法及びその装置 | |
| JP2009181310A (ja) | 道路パラメータ推定装置 | |
| KR101998256B1 (ko) | 이동물체 감지 시스템 및 방법 | |
| JP4069916B2 (ja) | 物体検出装置、および方法 | |
| JPH07239998A (ja) | 車両用周辺監視装置 | |
| JP3507857B2 (ja) | 交通流検出装置 | |
| JP2008257399A (ja) | 画像処理装置 | |
| JP3527945B2 (ja) | 走行車両検出装置及びその方法 | |
| JP2010128744A (ja) | 対応ブロック探索装置 | |
| JP4922642B2 (ja) | 車両検出装置及び車両検出方法 | |
| JP2003271968A (ja) | 移動体検出装置および移動体検出方法 | |
| JP2006078261A (ja) | 物体検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041027 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080311 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080423 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080520 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080627 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080812 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080825 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120912 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120912 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130912 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |