JP2002029421A - 列車有無判定方法および装置と監視システム - Google Patents

列車有無判定方法および装置と監視システム

Info

Publication number
JP2002029421A
JP2002029421A JP2000213437A JP2000213437A JP2002029421A JP 2002029421 A JP2002029421 A JP 2002029421A JP 2000213437 A JP2000213437 A JP 2000213437A JP 2000213437 A JP2000213437 A JP 2000213437A JP 2002029421 A JP2002029421 A JP 2002029421A
Authority
JP
Japan
Prior art keywords
train
image
area
absence determination
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000213437A
Other languages
English (en)
Other versions
JP4087045B2 (ja
Inventor
Katsumasa Onda
勝政 恩田
Yasuyuki Domoto
泰之 道本
Atsuto Mori
厚人 森
Teruo Ishida
照男 石田
Masaharu Morishita
正治 森下
Naoki Yamanashi
直樹 山梨
Yuji Suzuki
裕二 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central Japan Railway Co
Panasonic Holdings Corp
Original Assignee
Central Japan Railway Co
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central Japan Railway Co, Matsushita Electric Industrial Co Ltd filed Critical Central Japan Railway Co
Priority to JP2000213437A priority Critical patent/JP4087045B2/ja
Publication of JP2002029421A publication Critical patent/JP2002029421A/ja
Application granted granted Critical
Publication of JP4087045B2 publication Critical patent/JP4087045B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 軽い画像処理のみで “列車”と“人”とを
区別して検知し、“列車”と“人”の検知エリアを同じ
位置に設定可能にする。 【解決手段】 列車有無判定部102において、物体領域
抽出部101で画像中から抽出した物体領域の位置RGkに対
応する人体基準面積テーブル103に格納された人体基準
面積SHkと、抽出された物体領域の面積STkとの比STk/SH
k を算出し、その値が予め設定した閾値TH1より大きい
場合には、列車存在評価点Sc1に加点する処理を、現在
から過去の一定期間の物体抽出結果について行い、その
累積値が十分に大きい場合に画像中に列車が存在すると
判定する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、線路沿線に撮像装
置を取り付け、撮像装置からの映像を処理することによ
って、撮像範囲内に列車が存在するか否かを自動判定す
る列車有無判定方法および装置とその装置を利用した監
視システムに関する。
【0002】
【従来の技術】線路沿線に設置した撮像装置からの映像
をA/D変換して得られる画像を処理することによって、
画像中に存在する列車および人を検出する方法として、
特開平9-26472号公報記載の装置が知られている。以
下、この装置について図16および図17を参照して説明す
る。図16は上記特開平9-26472号公報記載の駅ホーム転
落者検知装置の構成を示している。図16において、駅ホ
−ムへ進入してくる列車を検知するためのエリアを設定
する列車検知エリア設定部1607は、赤外線カメラ部1601
により撮像される映像に対し、進入する列車を検知する
ための列車検知エリア1703を図17のように設定する。列
車検知エリア1703の設定は、画面上のXY座標を4点指
定し、囲まれる四角形の内部が検知エリアとなる。ま
た、その位置はホーム1701に隣接する線路1702の列車進
入側で、且つ、転落者が存在しないようなホーム端外部
に設定される。列車は画像において左側から進入し、列
車検知エリア1703を通過した後、転落者検知エリア1704
内へ進入する。
【0003】列車検知エリア1703に進入した列車を検知
する列車検知部1608は、2値化処理部1605により列車検
知エリア1703内で抽出された成分が列車であるかの判定
を行う。判定は設定された画素数の値と、抽出された成
分の画素数との比較により行う。設定値は、列車検知エ
リア1703内に列車が存在する場合に、それが映像上有す
る画素数をカメラの画角計算から算出して求め、実際に
抽出された成分の画素数が設定値を越える場合に、これ
を列車として検知する。列車を検知している間は連続し
て転落者検知マスク部1609に検知出力を行なう。転落者
検知マスク部1609は、列車検知部1608における列車検知
出力を受けて、転落者検知部1610の検知処理を中断する
ことにより、列車が転落者検知エリア1704に進入した場
合の誤検知を防止し、また、検知出力を受けてから一定
時間検知を中断することにより、列車が列車検知エリア
1703外に出た後、映像から消えるまでの間も転落者検知
エリア1704内における誤検知を防止する。
【0004】また、駅に進入する列車を画像処理によっ
て検知する別の方法として、特開平11-152034号公報に
記載の方法がある。以下、特開平11-152034号公報記載
の列車監視システムについて図18を参照して説明する。
図18において、カメラ1801は駅に進入する列車(電車、
機関車も含む)の先頭部を撮像するようにホームの列車
進入端側に線路上に向けて設置し、カメラ1802は駅を出
発した列車の最後部を撮像するようにホームの列車の先
頭端側に線路上に向けて設置する。 画像認識部1805
は、分配器1803または1804からの映像信号をデジタル変
換するA/D変換部1805Aと、A/D変換部1805Aからの信号に
より画像の輪郭を抽出する輪郭抽出部1805Bと、予め設
定された列車すなわち当該駅を通るすべての列車の先頭
部および最後尾の画像の輪郭を記憶するメモリ部1805C
と、輪郭抽出部1805Bからのデータをメモリ部1805Cから
読み出したデータと比較し、一致を判定する判定部1805
Dとから構成され、カメラ1801または1802からの映像信
号に基づき画像認識する。
【0005】画像認識部1805では、分配器1803または18
04からの映像信号をA/D変換部1805Aでデジタル信号に変
換し、輪郭抽出部1805Bで微分等により画像の輪郭(画
像の濃淡の段差)を抽出し、制御部1809を介し判定部18
05Dに入力し、メモリ部1805Cから読み出した列車の先頭
部の画像の輪郭と比較し、所要の一致率以上にて列車の
進入を判定する。この場合、認識すべき画像は運行され
ている列車の種類数に限られるので、判断の基準とする
一致率を低く設定できる
【0006】
【発明が解決しようとする課題】しかしながら、上記従
来の列車検知方法は、列車の検知エリアと転落者検知エ
リアを画面上で異なる位置に設定する必要があるため、
ある設定された領域内で物体を検出し、その物体が列車
であるか人であるかを識別することはできなかった。
【0007】また、上記従来の列車検知方法は、予め、
通過するすべての列車の輪郭情報を作成し内部に保持し
ておく(登録しておく)必要があるため、この作業を機
器設置時に行うこと自体手間のかかる作業であるだけで
なく、例えば列車の型式が変更された場合などには、新
規にその列車を登録しなくてはならない。また、登録さ
れたすべての列車の輪郭情報と入力画像の輪郭情報との
一致率を算出するので、非常に重い画像処理となる。さ
らに、列車の存在する位置により(列車はカメラに向か
って近づいてくる、あるいは遠ざかっていくため)、時
々刻々、列車の画像上での見かけの大きさは変化するの
で、列車の輪郭情報を作成したときの列車の位置でしか
列車を検知するタイミングがなく、このタイミングで列
車検知ミスが発生すると、この列車を見逃してしまうと
いう問題があった。
【0008】本発明は、このような従来の問題を解決す
るものであり、非常に軽い画像処理のみで “列車”と
“人”とを区別して検知することができ、また、列車の
検知エリアと人の検知エリアを同じ位置に設定すること
のできる列車有無判定方法および装置とその装置を使用
した監視システムを提供するものである。
【0009】
【課題を解決するための手段】上記課題を解決するため
に、本発明の列車有無判定方法は、画像処理によって画
像中の移動物体領域を抽出し、抽出した個々の物体につ
いて人体の基準面積に対する面積比を算出し、前記面積
比が予め設定した閾値を超えた場合に列車存在評価点に
加点する処理を現時刻から一定時間さかのぼる過去の時
刻について行い、前記列車存在評価点の大小に基づいて
列車の有無を判定することを特徴とするものであり、非
常に軽い画像処理のみで “列車”と“人”とを区別し
て検知することができ、また、列車の検知エリアと人の
検知エリアを同じ位置に設定することができることとな
る。
【0010】また、本発明の列車有無判定方法は、 画
像処理によって画像中の移動物体領域を抽出し、抽出し
た領域を画像下端に投影処理して得られる投影像の長さ
が、予め設定した閾値を超えた場合に列車存在評価点に
加点する処理を現時刻から一定時間さかのぼる過去の時
刻について行い、前記列車存在評価点の大小に基づいて
列車の有無を判定することを特徴とするものであり、非
常に軽い画像処理のみで “列車”と“人”とを区別し
て検知することができ、また、列車の検知エリアと人の
検知エリアを同じ位置に設定することができることとな
る。
【0011】また、本発明の列車有無判定方法は、上記
した二つの列車存在評価点の両方を用いて、列車の有無
を判定することを特徴とするものであり、より精度の高
い判定ができることとなる。
【0012】また、本発明の列車有無判定方法は、画像
処理によって画像中の移動物体領域を抽出し、抽出した
個々の物体の追跡処理を行うことにより物体の移動速度
を算出し、前記移動速度が予め設定した閾値以上で、か
つ、上記したいずれかの列車有無判定方法で列車ありと
判定されたときにのみ列車が存在すると判定することを
特徴とするものであり、より精度の高い判定ができるこ
ととなる。
【0013】また、本発明の列車有無判定装置は、画像
処理によって画像中の移動物体領域を抽出する物体領域
抽出手段と、予め作成された人体基準面積を格納する手
段と、前記抽出された物体領域の面積と前記予め作成さ
れた人体基準面積とを、現在から過去の一定期間の物体
抽出結果について比較することにより、入力画像中に列
車が存在するか否かを判定する列車有無判定手段とを備
えたことを特徴とするものであり、非常に軽い画像処理
のみで “列車”と“人”とを区別して検知することが
でき、また、列車の検知エリアと人の検知エリアを同じ
位置に設定することができることとなる。
【0014】また、本発明の列車有無判定装置は、画像
処理によって画像中の移動物体領域を抽出する物体領域
抽出手段と、前記抽出した領域を画像下端に投影する投
影像作成手段と、前記投影像の長さと予め設定された閾
値とを、現時刻から過去の一定時間について比較するこ
とにより、入力画像中に列車が存在するか否かを判定す
る列車有無判定手段とを備えたことを特徴とするもので
あり、非常に軽い画像処理のみで “列車”と“人”と
を区別して検知することができ、また、列車の検知エリ
アと人の検知エリアを同じ位置に設定することができる
こととなる。
【0015】また、本発明の列車有無判定装置は、画像
処理によって画像中の移動物体領域を抽出する物体領域
抽出手段と、前記抽出した領域を画像下端に投影する投
影像作成手段と、予め作成された人体基準面積を格納す
る手段と、前記抽出された物体領域の面積と前記予め作
成された人体基準面積とを、現在から過去の一定期間の
物体抽出結果について比較するとともに、前記投影像の
長さと予め設定された閾値とを、現時刻から過去の一定
時間について比較することにより、入力画像中に列車が
存在するか否かを判定する列車有無判定手段とを備えた
ことを特徴とするものであり、より精度の高い判定がで
きることとなる。
【0016】また、本発明の列車有無判定装置は、上記
したいずれかの列車有無判定装置において、前記画像処
理によって抽出した個々の物体の追跡処理を行うことに
より物体の移動速度を算出する速度算出手段を備え、前
記移動速度が予め設定した閾値以上であることを条件に
列車ありと判定することを特徴とするものであり、より
精度の高い判定ができることとなる。
【0017】また、本発明は、線路沿線に沿って配置さ
れた複数の撮像装置および警報装置と、前記それぞれの
撮像装置からの入力画像を基に列車が存在するか否かを
判定する上記のいずれかに記載の複数の列車有無判定装
置と、前記複数の警報装置および列車有無判定装置に接
続されて、前記いずれかの列車有無判定装置から列車あ
りの判定信号を受けた場合に、前記列車を撮像した撮像
装置近傍の警報装置を作動させる制御装置とを備えた監
視システムであり、線路を保安する作業員に対し列車接
近中の警報を発生することにより、作業員の安全を確保
できることとなる。
【0018】
【発明の実施の形態】以下、本発明の実施の形態につい
て、添付図面を参照して詳細に説明する。 (実施の形態1)本発明の請求項1および請求項5に対
応する実施の形態1について、図1から図6を用いて説
明する。図1は本実施の形態1における列車有無判定装
置104の構成を示しており、入力画像から移動物体を抽
出する物体領域抽出部101と、物体領域抽出部101で抽出
された物体領域から入力画像中に列車が存在するか否か
を判定する列車有無判定部102とを備えている。列車有
無判定部102では、物体領域抽出部101で抽出された物体
領域の面積と予め人体基準面積テーブル103に格納され
た人体基準面積とを比較するという処理を、現在から過
去の一定期間の物体抽出結果について行うことにより、
入力画像中に列車が存在するか否かを判定し、その結果
を外部に出力する。入力画像は、例えば図2に示すよう
に、線路201の沿線に取り付けられた撮像装置202から得
られる。
【0019】次に、各部の構成についてさらに詳細に説
明する。図3は物体領域抽出部101の構成を示してい
る。画像入力部301は、例えば撮像装置202から得られる
アナログの映像信号(例えばNTSC信号)をA/D変換
する等(必要に応じて、フィルタリング処理等が施され
ることもある)の処理を行う。画像メモリ部305には、
例えば列車や人等の物体の存在しないある時刻の画像
(例えば図3(b)の画像306)を蓄積しておく。差分処理
部302では、逐次入力される画像(例えば図3(c)の画像
307)と画像メモリ部305に蓄積された画像(例えば画像
306)との差分処理を行う。2値化処理部303では、差分
処理部302で得られた差分画像に対して2値化処理を行
い、画像の変化領域を画素単位で抽出する。ラベリング
処理部304では、2値化処理部303で得られた画素単位で
の変化領域を画素の連結情報等からある固まりごとにグ
ループ化する(例えば図3(d)の画像308、この例ではグ
ループ化された結果の概念を示しており、1つのグルー
プが検出されている例である。)という処理を行うとと
もに、抽出されたグループ毎(物体毎)にその変化画素
数309や外接矩形310を求めるという処理を行う。
【0020】人体基準面積テーブル103は、図4に示す
ように、画像上に写る人の大きさがカメラと人の位置関
係(=人が撮像される画像上での位置)により変化する
ため、あらかじめ設置環境において、撮像される画像上
の位置毎に人体の基準面積(人の画像上でのみかけの大
きさ)が設定されている。設定方法は、カメラの設置条
件(高さ、俯角等)、光学系(画角、撮像素子)の仕
様、画像入力部301のA/D変換の仕様から計算して求めて
もよいし、実際に設置環境における撮像範囲内で人を移
動させて、そのときに撮像される画像上での人の面積か
ら求めてもよい。
【0021】次に、列車有無判定部102の処理について
図5、6を用いて説明する。ある時刻Tkに物体領域抽
出部101で物体領域が図5(a)のように抽出され、その外
接矩形がRGk、面積がSTkであるとする。列車有無判定部
102では、抽出された外接矩形RGkの位置に相当する人体
基準面積SHkを人体基準面積テーブル103を参照して決定
し、前記人体基準面積SHkに対する抽出物体の面積比STk
/SHk を算出する。面積比STk/SHkが予め設定した閾値TH
1より大きい場合には、列車存在評価点Sc1に加点処理を
行う。本処理(各時刻における抽出物体の面積比が閾値
TH1より大きい場合にSc1に加点するという処理)を、現
在から過去一定期間(時刻Tk, Tk-1, Tk-2, Tk-3,…..,
Tk-(N-1))の物体抽出結果について行い、最終的に得ら
れる列車存在評価点Sc1の値が十分大きいときに画像中
に列車が存在すると判定する。
【0022】図6は列車有無判定部102の詳細な処理フ
ローを示している。図6において、配列A[i]は、各時刻
における面積比STk/SHkと閾値TH1との比較結果を格納す
る配列であり(STk/SHk>TH1のとき1、STk/SHk≦TH1の
とき0)、Nは配列A[i]の大きさを示している。A[0]に
は現時刻Tkにおける比較結果、A[1]には時刻Tk-1におけ
る比較結果、A[2]には時刻Tk-2における比較結果、…
…、A[N-1]には時刻Tk-(N-1)における比較結果が、それ
ぞれ格納される。まずステップ601では、現時刻Tkの1
つ前の時刻Tk-1を基準とした配列データ(A[0]に時刻Tk
-1の結果、A[1]に時刻Tk-2の結果、A[2]に時刻Tk-3の結
果、……が格納されている)を、現時刻Tkを基準とした
配列データ(A[0]に時刻Tkの結果、A[1]に時刻Tk-1の結
果、A[2]に時刻Tk-2の結果、……)に更新する処理を行
う。次にステップ602では、現時刻Tkの面積比STk/SHkと
閾値TH1との比較を行い、その結果を配列A[0]に格納す
る。ステップ603では、現時刻Tkから過去一定期間
(N)についての比較結果(配列A[0]〜A[N-1])から、
列車存在評価点Sc1の累積値を算出する。ステップ604で
は、列車存在評価点Sc1の累積値が十分に大きな値であ
るか否かの判定処理を行い、十分大きな値であるときに
は列車が存在すると判定する。
【0023】以上のように、本実施の形態1によれば、
列車有無判定部102において、物体領域抽出部101の処理
により画像中から抽出された物体領域の位置RGkに対応
する人体基準面積SHk(人体基準面積テーブル)と、抽
出された物体領域の面積STkとの比STk/SHk を算出し、
面積比STk/SHkが予め設定した閾値TH1より大きい場合に
は、列車存在評価点Sc1に加点するという処理を現在か
らさかのぼる過去一定期間の物体抽出結果について行
い、その累積値が十分に大きい場合に画像中に列車が存
在すると判定するので、非常に軽い画像処理のみで
“列車”と“人”とを区別して検知することができ、ま
た、列車の検知エリアと人の検知エリアを同じ位置に設
定することができる。
【0024】(実施の形態2)次に、本発明の請求項2
および請求項6に対応する実施の形態2について、図
7、図8を用いて説明する。図7は本実施の形態2にお
ける列車有無判定装置704は、実施の形態1と同様な物
体領域抽出部701と、物体領域抽出部701で抽出された物
体領域を画面下端に投影して、その投影像の長さを算出
する投影像作成部702と、投影像作成部702で算出された
投影像の長さと予め設定された閾値の値とを比較するこ
とにより、入力画像中に列車が存在するか否かを判定す
る列車有無判定部703とを備えている。列車有無判定部7
03では、投影像作成部701で算出された投影像の長さと
予め設定された閾値TH2の値とを比較するという処理
を、現在から過去の一定期間の物体抽出結果について行
うことにより、入力画像中に列車が存在するか否かを判
定し、その結果を外部に出力する。入力画像は、例えば
図2に示すように、線路201の沿線に取り付けられた撮
像装置202から得られる。
【0025】次に、各部の構成についてさらに詳細に説
明する。物体領域抽出部701については、実施の形態1
で説明したものと同じであるので、説明を省略し、投影
像作成部702について図8を用いて詳しく説明する。ま
ず、図8(a)に示すように、物体領域抽出部701では、実
施の形態1でも説明したように物体領域の外接矩形RGk
が抽出される。投影像作成部702では、抽出された外接
矩形RGkを画面下端に投影し、その投影像の長さLkを算
出する。この際、図8(b)のように物体領域が2つ存在す
る場合には、2つの外接矩形(RGk-1(A)とRGk-1(B))の
両方について投影処理を行い、それぞれの投影像の長さ
a、bを足したものをその時刻の投影像長さ(Lk-1=a+
b)とする。
【0026】列車有無判定部703では、予め設定された
閾値TH2と算出された投影像の長さLkとを比較し、Lk>T
H2 のとき列車存在評価点Sc2に加点するという処理を現
在から過去の一定期間の物体抽出結果について行い、最
終的に得られた列車存在評価点Sc2の大きさが十分に大
きいときに、画像中に列車が存在すると判定する。
【0027】図9は列車有無判定部703の詳細な処理フ
ローを示している。図9において、配列B[i]は、各時刻
における投影像長さLkと閾値TH2との比較結果を格納す
る配列であり(Lk>TH2のとき1、Lk≦TH1のとき0)、
Nは配列B[i]の大きさを示している。B[0]には現時刻Tk
における比較結果、B[1]には時刻Tk-1における比較結
果、B[2]には時刻Tk-2における比較結果、……、B[N-1]
には時刻Tk-(N-1)における比較結果が、それぞれ格納さ
れる。まずステップ901では、現時刻Tkの1つ前の時刻T
k-1を基準とした配列データ(B[0]に時刻Tk-1の結果、B
[1]に時刻Tk-2の結果、B[2]に時刻Tk-3の結果、……が
格納されている)を、現時刻Tkを基準とした配列データ
(B[0]に時刻Tkの結果、B[1]に時刻Tk-1の結果、B[2]に
時刻Tk-2の結果、……)に更新する処理を行う。次にス
テップ902では、現時刻Tkの投影像長さLkと閾値TH2との
比較を行い、その結果を配列B[0]に格納する。ステップ
903では、現時刻Tkから過去一定期間(N)についての
比較結果(配列B[0]〜B[N-1])から、列車存在評価点Sc
2の累積値を算出する。ステップ904では、列車存在評価
点Sc2の累積値が十分に大きな値であるか否かの判定処
理を行い、十分大きな値であるときには列車が存在する
と判定する。
【0028】以上のように、本実施の形態2によれば、
投影像作成部702において、物体領域抽出部701の処理に
より画像中から抽出された物体領域を画面下端に投影
し、列車有無判定部703おいて、投影像の長さLkを求
め、投影像の長さLkが閾値TH2より大きい場合には、列
車存在評価点Sc2に加点するという処理を現在からさか
のぼる過去一定期間の物体抽出結果について行い、その
累積値が十分に大きい場合に画像中に列車が存在すると
判定するので、非常に軽い画像処理のみで “列車”と
“人”とを区別して検知することができ、また、列車の
検知エリアと人の検知エリアを同じ位置に設定すること
ができる。
【0029】(実施の形態3)次に、本発明の請求項3
および請求項7に対応する実施の形態3について、図1
0、図11を用いて説明する。本実施の形態3における列
車有無判定装置1005は、実施の形態1および実施の形態
2で説明した列車有無判定装置の両方を組み合わせて列
車の有無を判定するようにしたものである。図10中、物
体領域抽出部1001、人体基準面積テーブル1003は、実施
の形態1で説明したものと同じであり、投影像作成部10
02は、実施の形態2で説明したものと同じである。入力
画像は、例えば図2に示すように、線路201の沿線に取
り付けられた撮像装置202から得られる。
【0030】次に、列車有無判定部1004について詳細に
説明する。列車有無判定部1004の処理は、基本的には、
実施の形態1で説明した列車存在評価点Sc1と、実施の
形態2で説明した列車存在評価点Sc2とを算出し、その
和Sc3(=Sc1+Sc2)が十分大きい場合に、列車が存在する
と判定するという処理を行う。
【0031】図11は列車有無判定部1004の処理フローを
示している。実施の形態1のステップ601〜603でSc1を
算出し、実施の形態2のステップ901〜903でSc2を算出
する。ステップ1101では、Sc1とSc2を加算してSc3と
し、Sc3の値が十分大きい場合に列車が存在すると判定
する。
【0032】以上のように、本実施の形態3によれば、
実施の形態1の列車存在評価点Sc1および実施の形態2
の列車存在評価点Sc2の両方を用いて、列車の有無を判
定するようにしたので、より精度の高い列車有無判定が
可能となる。
【0033】(実施の形態4)次に、本発明の請求項4
および請求項8に対応する実施の形態4について、図1
2、図13、図14を用いて説明する。本実施の形態4にお
ける列車有無判定装置1206は、実施の形態3で説明した
列車有無判定装置に、画像処理によって抽出した個々の
物体の追跡処理を行うことにより物体の移動速度を算出
する速度算出手段を付加して、移動速度が予め設定した
閾値以上であることを条件に列車ありと判定するように
したものである。図12中、物体領域抽出部1201、人体基
準面積テーブル1203は、実施の形態1で説明したものと
同じである。また、投影像作成部1202は、実施の形態2
で説明したものと同じである。入力画像は、例えば図2
に示すように、線路201の沿線に取り付けられた撮像装
置202から得られる。
【0034】次に、速度算出部1204について説明する。
速度算出部1204では、図13に示すように、各時刻におい
て抽出された物体間の追跡処理(例えば、ある時刻Tkに
抽出された物体Aと、一つ前の時刻Tk-1に抽出された物
体Bとを対応付ける処理)を行うことによって物体の移
動速度Vkを算出する。移動速度Vkの算出は、例えば、画
像上でのみかけの移動量を求めた後、これを“カメラの
設置条件”および“光学系の仕様”から実空間上での移
動量(実空間移動量と呼ぶことにする。)に変換し、前
記実空間移動量(m)を画像処理間隔(秒)で除することに
よって算出できる。
【0035】図14(a)は列車有無判定部1205の詳細処理
フローを示している。まず、実施の形態1で説明した手
順(ステップ601〜603)で列車存在評価点Sc1を算出す
るとともに、実施の形態2で説明した手順(ステップ901
〜903)で列車存在評価点Sc2を算出する。ステップ1402
では、前記Sc1およびSc2および速度算出部1204で算出さ
れた移動速度Vkの値から、列車の有無を判定する。すな
わち、前記列車存在評価点Sc1と列車存在評価点Sc2を加
算してSc3(=Sc1+Sc2)を算出し、このSc3の値が十分大き
く、しかも速度算出部1201で算出された移動速度Vkがあ
る速度より速い場合に列車が存在すると判定する。
【0036】このように移動速度Vkを使用する理由は、
図14(b)の1402のように、保守作業員が複数人数で作業
をしている時には、実施の形態1のSc1や実施の形態2
のSc2の値の大小のみでは列車と保守作業員の識別がで
きないことがあるためである。移動速度Vkを利用するこ
とにより、一般的に、移動速度の速い列車と、移動速度
の遅い人とを識別することが可能となる。
【0037】以上のように、本実施の形態4によれば、
実施の形態1の列車存在評価点Sc1および実施の形態2
の列車存在評価点Sc2の両方を用いて、さらに速度算出
部1204の処理により得られた物体の移動速度が予め設定
した閾値以上である場合に列車有りと判定するようにし
たので、大きさはほとんど同じ“列車”と“複数作業
員”を識別することが可能となり、より精度の高い列車
有無判定が可能となる。
【0038】(実施の形態5)本発明の列車有無判定方
法および装置の応用例はさまざまあるが、例えば以下の
ような監視システムの実現が可能となる。図15に示すよ
うに、線路沿線に沿って複数の撮像装置1501,1502およ
び警報装置1503,1504を配置し、それぞれの撮像装置150
1,1502からの画像を処理することによって各撮像装置の
映像信号中に列車1505が存在するか否か、かつ、保線作
業員1506が存在する否かを本発明の列車有無判定方法を
具現化する上記した実施の形態1から実施の形態4のい
ずれかに記載の列車有無判定装置1507,1508にて判定す
る。列車1505を検出した撮像装置1507付近で保線作業員
1506の存在が確認された場合、システム制御装置1509
は、保線作業員の最も近くに配置された警報装置1504か
ら保線作業員1506に対し列車接近中の警報を発生し、保
線作業員1506の安全を確保する。
【0039】
【発明の効果】以上説明したように、本発明の列車有無
判定方法および装置によれば、非常に軽い画像処理で
“列車”と“人”を区別して検知することが可能であ
り、また、列車の検知エリアと人の検知エリアを同じ位
置に設定することも可能となり、検知精度の高い安価な
装置および監視システムを実現することができる。
【図面の簡単な説明】
【図1】本発明の実施の形態1に係る列車有無判定装置
の構成を示すブロック図
【図2】本発明の実施の形態1〜4に係る撮像装置の設
置例を示す模式図
【図3】本発明の実施の形態1〜4に係る物体領域抽出
部の構成および画像例を示すブロック図
【図4】本発明の実施の形態1、3、4に係る人体基準
面積テーブルを説明するための模式図
【図5】本発明の実施の形態1、3、4に係る列車有無
判定処理を説明するための模式図
【図6】本発明の実施の形態1、3、4に係る列車有無
判定処理を示すフロー図
【図7】本発明の実施の形態2に係る列車有無判定装置
の構成を示すブロック図
【図8】本発明の実施の形態2に係る列車有無判定処理
を説明するための模式図
【図9】本発明の実施の形態2、3、4に係る列車有無
判定処理を示すフロー図
【図10】本発明の実施の形態3に係る列車有無判定装置
の構成を示すブロック図
【図11】本発明の実施の形態3に係る列車有無判定処理
を示すフロー図
【図12】本発明の実施の形態4に係る列車有無判定装置
の構成を示すブロック図
【図13】本発明の実施の形態4に係る列車有無判定処理
を説明するための模式図
【図14】本発明の実施の形態4に係る列車有無判定処理
を示すフロー図および模式図
【図15】本発明の実施の形態5に係る監視システムを説
明するための模式図
【図16】従来技術に係る駅ホーム転落者検知装置の構成
を示すブロック図
【図17】従来技術に係る駅ホーム転落者検知装置につい
て説明するための模式図
【図18】従来技術に係る列車監視システムの構成を示す
ブロック図
【符号の説明】
101…物体領域抽出部、102…列車有無判定部、103…人
体基準面積テーブル、104…列車有無判定装置 201…線
路、202…撮像装置、301…画像入力部、302…差分処理
部、303…2値化処理部、304…ラベリング処理部、305
…画像メモリ部、306…参照画像の例、307…入力画像の
例、308…物体領域抽出部の処理結果の例、309…抽出さ
れた物体の面積、310…抽出された物体の外接矩形 401
…各画像位置における人の体の基準面積 601…判定結
果の配列データA[i]を、時刻Tk-1を基準とした配列から
時刻Tkを基準とした配列へ更新する処理、602…時刻Tk
における抽出物体の面積比と閾値TH1を比較し、結果を
配列A[0]に設定する処理、603…列車存在評価点Sc1の加
点処理、604…列車存在評価点Sc1の値から列車の有無を
判定する処理 701…物体領域抽出部、702…投影像作成
部、703…列車有無判定部、704…列車有無判定装置、90
1…判定結果の配列データB[i]を、時刻Tk-1を基準とし
た配列から時刻Tkを基準とした配列へ更新する処理、90
2…時刻Tkにおける抽出物体の投影像長さLkと閾値TH2を
比較し、結果を配列B[0]に設定する処理、903…列車存
在評価点Sc2の加点処理、904…列車存在評価点Sc2の値
から列車の有無を判定する処理、1001…物体領域抽出
部、1002…投影像作成部、1003…人体基準面積テーブ
ル、1004…列車有無判定部、1005…列車有無判定装置、
1101…列車有無判定処理、1201…物体領域抽出部、1202
…投影像作成部、1203…人体基準面積テーブル、1204…
速度算出部、1205…列車有無判定部、1206…列車有無判
定装置、1401…列車存在評価点Sc1および移動速度Vkの
値から列車の有無を判定する処理、1402…複数の人、15
01、1502…撮像装置、1503、1504…警報装置、1505…列
車、1506…人、1507、1508…本発明の列車有無判定方法
を具現化する装置、1509…システム制御装置、1601…赤
外線カメラ部、1602…映像入力部、1603…画像メモリ
部、1604…差分処理部、1605…2値化処理部、1606…転
落者検知エリア設定部、1607…列車検知エリア設定部、
1608…列車検知部、1609…転落者検知マスク部、1610…
転落者検知部、1611…警報出力部、1701…ホーム、1702
…線路、1703…列車検知エリア、1704…転落者検知エリ
ア、1801、1802…カメラ、1803、1804…分配器、1805…
画像認識部、1805A…A/D変換部、1805B…輪郭抽出
部、1805C…メモリ部、1805D…判定部、1806…出力部、
1807…切替部、1808…モニタ、1809…制御部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06T 7/60 150 G06T 7/60 150J (72)発明者 道本 泰之 石川県金沢市彦三町二丁目1番45号 株式 会社松下通信金沢研究所内 (72)発明者 森 厚人 愛知県名古屋市中村区名駅一丁目1番4号 東海旅客鉄道株式会社内 (72)発明者 石田 照男 愛知県名古屋市中村区名駅一丁目1番4号 東海旅客鉄道株式会社内 (72)発明者 森下 正治 愛知県名古屋市中村区名駅一丁目1番4号 東海旅客鉄道株式会社内 (72)発明者 山梨 直樹 愛知県名古屋市中村区名駅一丁目1番4号 東海旅客鉄道株式会社内 (72)発明者 鈴木 裕二 愛知県名古屋市中村区名駅一丁目1番4号 東海旅客鉄道株式会社内 Fターム(参考) 5B057 AA16 BA02 BA11 DA08 DA11 DA15 DB02 DC04 5H161 AA01 BB01 BB20 DD20 FF07 MM02 PP12 5L096 AA09 BA02 CA02 DA03 FA38 FA59 HA03

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】 画像処理によって画像中の移動物体領域
    を抽出し、抽出した個々の物体について人体の基準面積
    に対する面積比を算出し、前記面積比が予め設定した閾
    値を超えた場合に列車存在評価点に加点する処理を現時
    刻から一定時間さかのぼる過去の時刻について行い、前
    記列車存在評価点の大小に基づいて列車の有無を判定す
    ることを特徴とする列車有無判定方法。
  2. 【請求項2】 画像処理によって画像中の移動物体領域
    を抽出し、抽出した領域を画像下端に投影処理して得ら
    れる投影像の長さが、予め設定した閾値を超えた場合に
    列車存在評価点に加点する処理を現時刻から一定時間さ
    かのぼる過去の時刻について行い、前記列車存在評価点
    の大小に基づいて列車の有無を判定することを特徴とす
    る列車有無判定方法。
  3. 【請求項3】 請求項1記載の列車存在評価点および請
    求項2記載の列車存在評価点の両方を用いて、列車の有
    無を判定することを特徴とする列車有無判定方法。
  4. 【請求項4】 画像処理によって画像中の移動物体領域
    を抽出し、抽出した個々の物体の追跡処理を行うことに
    より物体の移動速度を算出し、前記移動速度が予め設定
    した閾値以上で、かつ、請求項1または請求項2または
    請求項3のいずれかに記載の列車有無判定方法で列車あ
    りと判定されたときにのみ列車が存在すると判定するこ
    とを特徴とする列車有無判定方法。
  5. 【請求項5】 画像処理によって画像中の移動物体領域
    を抽出する物体領域抽出手段と、予め作成された人体基
    準面積を格納する手段と、前記抽出された物体領域の面
    積と前記予め作成された人体基準面積とを、現在から過
    去の一定期間の物体抽出結果について比較することによ
    り、入力画像中に列車が存在するか否かを判定する列車
    有無判定手段とを備えたことを特徴とする列車有無判定
    装置。
  6. 【請求項6】 画像処理によって画像中の移動物体領域
    を抽出する物体領域抽出手段と、前記抽出した領域を画
    像下端に投影する投影像作成手段と、前記投影像の長さ
    と予め設定された閾値とを、現時刻から過去の一定時間
    について比較することにより、入力画像中に列車が存在
    するか否かを判定する列車有無判定手段とを備えたこと
    を特徴とする列車有無判定装置。
  7. 【請求項7】 画像処理によって画像中の移動物体領域
    を抽出する物体領域抽出手段と、前記抽出した領域を画
    像下端に投影する投影像作成手段と、予め作成された人
    体基準面積を格納する手段と、前記抽出された物体領域
    の面積と前記予め作成された人体基準面積とを、現在か
    ら過去の一定期間の物体抽出結果について比較するとと
    もに、前記投影像の長さと予め設定された閾値とを、現
    時刻から過去の一定時間について比較することにより、
    入力画像中に列車が存在するか否かを判定する列車有無
    判定手段とを備えたことを特徴とする列車有無判定装
    置。
  8. 【請求項8】 前記画像処理によって抽出した個々の物
    体の追跡処理を行うことにより物体の移動速度を算出す
    る速度算出手段を備え、前記移動速度が予め設定した閾
    値以上であることを条件に列車ありと判定することを特
    徴とする請求項5から請求項7のいずれかに記載の列車
    有無判定装置。
  9. 【請求項9】 線路沿線に沿って配置された複数の撮像
    装置および警報装置と、前記それぞれの撮像装置からの
    入力画像を基に列車が存在するか否かを判定する請求項
    5から請求項8のいずれかに記載の複数の列車有無判定
    装置と、前記複数の警報装置および列車有無判定装置に
    接続されて、前記いずれかの列車有無判定装置から列車
    ありの判定信号を受けた場合に、前記列車を撮像した撮
    像装置近傍の警報装置を作動させる制御装置とを備えた
    監視システム。
JP2000213437A 2000-07-13 2000-07-13 列車有無判定方法および装置と監視システム Expired - Fee Related JP4087045B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000213437A JP4087045B2 (ja) 2000-07-13 2000-07-13 列車有無判定方法および装置と監視システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000213437A JP4087045B2 (ja) 2000-07-13 2000-07-13 列車有無判定方法および装置と監視システム

Publications (2)

Publication Number Publication Date
JP2002029421A true JP2002029421A (ja) 2002-01-29
JP4087045B2 JP4087045B2 (ja) 2008-05-14

Family

ID=18709189

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000213437A Expired - Fee Related JP4087045B2 (ja) 2000-07-13 2000-07-13 列車有無判定方法および装置と監視システム

Country Status (1)

Country Link
JP (1) JP4087045B2 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004017869A (ja) * 2002-06-19 2004-01-22 Osaka City 転落者検知システム
JP2004042777A (ja) * 2002-07-11 2004-02-12 Matsushita Electric Ind Co Ltd 障害物検知装置
JP2008298501A (ja) * 2007-05-30 2008-12-11 Kobe Steel Ltd 位置検出装置
JP2009026223A (ja) * 2007-07-23 2009-02-05 Toyota Central R&D Labs Inc 物体検出装置及びプログラム
JP2009211122A (ja) * 2008-02-29 2009-09-17 Toshiba Teli Corp 画像処理装置およびオブジェクト推定プログラム。
JP2011016421A (ja) * 2009-07-08 2011-01-27 Higashi Nippon Transportec Kk 支障物検知装置及びこれを備えたプラットホームドアシステム並びに支障物検知方法
JP2011112365A (ja) * 2009-11-24 2011-06-09 Kobe Steel Ltd 走行体の先頭位置検出方法及び装置
JP2012035762A (ja) * 2010-08-06 2012-02-23 Nippon Signal Co Ltd:The ホーム転落検知システム
GB2490218A (en) * 2011-04-19 2012-10-24 Ibm Distinguishing rail crossing events from false positives caused by detection of a train
JP2013250604A (ja) * 2012-05-30 2013-12-12 Hitachi Ltd 物体検出装置および物体検出方法
JP2016162383A (ja) * 2015-03-05 2016-09-05 株式会社日立製作所 侵入物検知システム
JP6275351B1 (ja) * 2016-12-28 2018-02-07 株式会社オプティム 事故防止システム、方法及びプログラム
JP6275350B1 (ja) * 2016-12-28 2018-02-07 株式会社オプティム 事故防止システム、方法及びプログラム
JP2018046501A (ja) * 2016-09-16 2018-03-22 株式会社東芝 情報処理装置、検出システムおよび情報処理方法
JP2020527496A (ja) * 2017-06-28 2020-09-10 比業電子(北京)有限公司B.E.A. Electronics(Beijing)Co.,Ltd. 全面スクリーンドアで使用するための安全保護装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102700569A (zh) * 2012-06-01 2012-10-03 安徽理工大学 基于图像处理的矿用电机车行人监测方法及报警系统

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004017869A (ja) * 2002-06-19 2004-01-22 Osaka City 転落者検知システム
JP2004042777A (ja) * 2002-07-11 2004-02-12 Matsushita Electric Ind Co Ltd 障害物検知装置
JP2008298501A (ja) * 2007-05-30 2008-12-11 Kobe Steel Ltd 位置検出装置
JP2009026223A (ja) * 2007-07-23 2009-02-05 Toyota Central R&D Labs Inc 物体検出装置及びプログラム
JP2009211122A (ja) * 2008-02-29 2009-09-17 Toshiba Teli Corp 画像処理装置およびオブジェクト推定プログラム。
JP4691570B2 (ja) * 2008-02-29 2011-06-01 東芝テリー株式会社 画像処理装置およびオブジェクト推定プログラム
JP2011016421A (ja) * 2009-07-08 2011-01-27 Higashi Nippon Transportec Kk 支障物検知装置及びこれを備えたプラットホームドアシステム並びに支障物検知方法
JP2011112365A (ja) * 2009-11-24 2011-06-09 Kobe Steel Ltd 走行体の先頭位置検出方法及び装置
JP2012035762A (ja) * 2010-08-06 2012-02-23 Nippon Signal Co Ltd:The ホーム転落検知システム
US8693725B2 (en) 2011-04-19 2014-04-08 International Business Machines Corporation Reliability in detecting rail crossing events
GB2490218B (en) * 2011-04-19 2013-03-20 Ibm Improving reliability in detecting rail crossing events
GB2490218A (en) * 2011-04-19 2012-10-24 Ibm Distinguishing rail crossing events from false positives caused by detection of a train
JP2013250604A (ja) * 2012-05-30 2013-12-12 Hitachi Ltd 物体検出装置および物体検出方法
US9465998B2 (en) 2012-05-30 2016-10-11 Hitachi, Ltd. Object detecting device and object detecting method
JP2016162383A (ja) * 2015-03-05 2016-09-05 株式会社日立製作所 侵入物検知システム
JP2018046501A (ja) * 2016-09-16 2018-03-22 株式会社東芝 情報処理装置、検出システムおよび情報処理方法
JP6275350B1 (ja) * 2016-12-28 2018-02-07 株式会社オプティム 事故防止システム、方法及びプログラム
JP6275351B1 (ja) * 2016-12-28 2018-02-07 株式会社オプティム 事故防止システム、方法及びプログラム
WO2018123054A1 (ja) * 2016-12-28 2018-07-05 株式会社オプティム 事故防止システム、方法及びプログラム
WO2018123053A1 (ja) * 2016-12-28 2018-07-05 株式会社オプティム 事故防止システム、方法及びプログラム
US10435051B1 (en) 2016-12-28 2019-10-08 Optim Corporation System, method, and program for preventing accidents
US10836412B2 (en) 2016-12-28 2020-11-17 Optim Corporation System, method, and program for preventing accidents
JP2020527496A (ja) * 2017-06-28 2020-09-10 比業電子(北京)有限公司B.E.A. Electronics(Beijing)Co.,Ltd. 全面スクリーンドアで使用するための安全保護装置
JP6995119B2 (ja) 2017-06-28 2022-01-14 比業電子(北京)有限公司 鉄道輸送のプラットフォームでの全面スクリーンドア用の安全保護装置

Also Published As

Publication number Publication date
JP4087045B2 (ja) 2008-05-14

Similar Documents

Publication Publication Date Title
JP2002029421A (ja) 列車有無判定方法および装置と監視システム
CN111144247B (zh) 一种基于深度学习的自动扶梯乘客逆行检测方法
US5757287A (en) Object recognition system and abnormality detection system using image processing
US7460686B2 (en) Security monitor device at station platform
CN108241844B (zh) 一种公交客流统计方法、装置及电子设备
US8655078B2 (en) Situation determining apparatus, situation determining method, situation determining program, abnormality determining apparatus, abnormality determining method, abnormality determining program, and congestion estimating apparatus
CN107679471B (zh) 基于视频监控平台的室内人员空岗检测方法
JP3831112B2 (ja) 移動物体計測装置
KR101825687B1 (ko) 차영상을 이용한 장애물 검출장치 및 그 방법
CN111738203B (zh) 一种基于自动划线区域的站台行人越线检测方法
GB2587555A (en) Video analysis device, video analysis method, and program
CN107368786B (zh) 一种基于机器视觉的乘客越过扶手带检测方法
JP2001056853A (ja) 挙動検出装置および種類識別装置、並びに挙動検出方法および挙動検出用プログラムが記録された記録媒体
KR101219407B1 (ko) 영상처리기술을 이용한 에스컬레이터 모니터링 시스템
JP4056813B2 (ja) 障害物検知装置
CN111062238B (zh) 基于人体骨架信息及多目标跟踪的扶梯流量监测方法及系统
KR100900494B1 (ko) 이동체 움직임 추적 시스템 및 그 제어방법
CN110713082B (zh) 一种电梯控制方法、系统、装置和存储介质
KR20210096754A (ko) 디지털 안전보건환경 산업 특화용 이미지 학습 모델을 이용한 안전관리 방법 및 시스템
JPH08180276A (ja) 障害物検知方法及びその装置
JPH0546771A (ja) 運動物体検出装置
JPH10265163A (ja) エスカレータ制御装置
JP2000053361A (ja) マンコンベアの乗客監視装置
JP2017019351A (ja) 転落者検知装置、転落者検知システム、転落者検知方法、および転落者検知プログラム
JP2005284652A (ja) 動きベクトルを用いた映像監視方法及び装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050601

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070911

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080220

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110228

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4087045

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110228

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120229

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130228

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130228

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees