JP2002109547A - 移動体検出測定方法、その装置および移動体検出測定プログラムを記録した記録媒体 - Google Patents

移動体検出測定方法、その装置および移動体検出測定プログラムを記録した記録媒体

Info

Publication number
JP2002109547A
JP2002109547A JP2000294283A JP2000294283A JP2002109547A JP 2002109547 A JP2002109547 A JP 2002109547A JP 2000294283 A JP2000294283 A JP 2000294283A JP 2000294283 A JP2000294283 A JP 2000294283A JP 2002109547 A JP2002109547 A JP 2002109547A
Authority
JP
Japan
Prior art keywords
slit
detection
moving object
image
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000294283A
Other languages
English (en)
Other versions
JP2002109547A5 (ja
JP3828349B2 (ja
Inventor
Yoshinobu Hagiwara
良信 萩原
Hirokazu Amamiya
廣和 雨宮
Tadashi Yamamitsu
忠 山光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2000294283A priority Critical patent/JP3828349B2/ja
Priority to US09/919,734 priority patent/US6963658B2/en
Publication of JP2002109547A publication Critical patent/JP2002109547A/ja
Publication of JP2002109547A5 publication Critical patent/JP2002109547A5/ja
Priority to US11/212,512 priority patent/US7308113B2/en
Application granted granted Critical
Publication of JP3828349B2 publication Critical patent/JP3828349B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19606—Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19652—Systems using zones in a single scene defined for different treatment, e.g. outer zone gives pre-alarm, inner zone gives alarm
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/015—Detecting movement of traffic to be counted or controlled with provision for distinguishing between two or more types of vehicles, e.g. between motor-cars and cycles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

(57)【要約】 【課題】移動体の高さを測定する際、複数の着目領域を
格子状に定義し、その検出結果を組合せて測定する場
合、検出制御が複雑になる。また、高さを測定する検出
判断において、より正確な測定を行う場合、複数の着目
領域を格子状に多数定義する必要があり、組合せ判定に
時間がかかる。 【解決手段】基本線および分割線からなる同一直線上で
定義される線状の監視領域の画像構造の変化によって映
像中の移動体を検出する手段を複数個設け、最大画像構
造変化量値のときの検出結果から得られるコードによ
り、移動体の高さをより簡単にかつ精密に検出測定す
る。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、駐車場入口の車両
の車高測定、乗物へ乗車の際の身長測定や、店舗の監
視、道路の監視などの事故、犯罪の防止のための技術に
係り、カメラにより入力された映像の解析のための、移
動体検出測定装置、その方法および移動体検出測定プロ
グラムを記録した記録媒体に関する。
【０００２】
【従来の技術】現在、駐車場の入口や遊園地の乗物の乗
車入口にて、車高や身長などの高さ制限の調査が行われ
ている。また、コンビニエンスストアなどの監視におい
ても、タイムラプスビデオに録画された事後の映像で、
目視による犯人の身長測定判断が行われている。さら
に、高さに対する侵入制限の他に、狭い道幅に対する車
両侵入規制がある。
【０００３】駐車場では、入場車両の車高を制限するポ
ールや看板がある。駐車場入口にて、この車高制限ポー
ル等に接触することにより、車両ドライバーへの警告お
よび、車両誘導者への判断情報を提供し、入場拒否や駐
車エリアの変更を行っている。遊園地乗物乗車入口で
は、乗車者の身長を制限する人の形をした身長比較看板
がある。乗り物の乗車入口にて、この身長比較看板と比
較することにより、乗車者への警告および、乗車誘導員
への判断情報を提供し、安全の為、乗車拒否を行ってい
る。また、コンビニエンスストアでは、出口に身長測定
用の色別けされたテープがあり、監視カメラおよび、タ
イムラプスビデオにより、常時監視されている。事後、
この録画された映像を目視による判断により、犯人の身
長測定の判断が行われている。さらに、狭い道幅道路に
対しても、車両や大型侵入禁止の道路標識に規制されて
いる。これらの比較看板やポール、シール、道路標識
は、特定の場所に移動する物体（以下では、移動体とい
う）の侵入を高さや幅を測定することにより、事故を未
然に防止することや測定情報の収集を目的としている。
しかし、現在、映像記録の分析は技術的な問題から人の
目視および判断に頼らざるをえない状況にある。そのた
め、コンピュータなどによる測定処理の自動化が求めら
れており、様々な方法が提案されている。
【０００４】移動体を検出する方法としては、特開平８
−２２１５７７号公報の「移動体検出・抽出装置及び方
法」が提案されている。この方法では、複雑背景下での
移動体検出・抽出と、映像処理時間の短縮とを実現して
いる。以下に図２を用いてこの方法を説明する。
【０００５】図２のうち、フレーム画像Ｆ１（２４１）
からＦ５（２４５）は、それぞれ時刻Ｔ１（２２１）か
らＴ５（２２５）での入力映像のフレーム画像である。
図２のフレーム画像中に記されている線分Ｓ（２３１）
は、入力映像中での監視を行なう着目領域を線分として
指定したものであり、以降この線分状の着目領域をスリ
ットと呼ぶことにする。図２の２０１から２０５は、そ
れぞれ時刻Ｔ１（２２１）からＴ５（２２５）までの、
スリットＳ上の画像（以降スリット画像と呼ぶ）と背景
画像を表したものである。本例では、処理開始時の背景
画像として、移動体がカメラに移っていない時の監視着
目領域の画像を設定している。
【０００６】本方法では、それぞれのフレーム画像につ
いて、次の処理を行なう。（１）ある特定のフレームに
おけるスリット画像と背景画像を抽出し、（２）スリッ
ト画像と背景画像の画像構造の変化度合いを求め、
（３）該画像構造変化量を時系列的に眺め、画像構造変
化量が山形のパターン等に従って変移していた場合、移
動体と判断し、（４）画像構造変化量の変動がなく平坦
な場合、背景画像と判断する。
【０００７】上記のステップ（３）について、図２のフ
レーム画像列を用いて説明する。本例のように、物体が
スリットを横切る場合、画像構造変化量は図２の画像構
造変化グラフ（２１１）のように山形に遷移する。
【０００８】ここで画像構造変化量とは、画像中の物体
の位置や形といった、物体の構造がどの程度変化したか
を表す度合いである。画像構造変化量は、画像の照度に
変化されない特徴量であり、画像中の画素の変化量を表
す画像変化量とは異なる。画像構造変化量の詳細な算出
方法は後述する。
【０００９】まず、物体がスリットに入る前（時刻Ｔ１
（２２１））では、スリット上の画像と背景画像はほぼ
同一（２０１）なので、画像構造変化量は小さい。次
に、物体がスリットを横切り始める（時刻Ｔ２（２２
２））と、スリット画像と背景画像は異なる（２０２）
ため、画像構造変化量は大きくなる。最後に、物体がス
リットを通り抜けると（時刻Ｔ３（２２３））、画像構
造変化量は、また小さい値に戻る。このように物体がス
リットを横切ると画像構造変化量は山形になる。したが
って、移動体を見つけるには、画像構造変化量を時系列
的に眺めて、山形になった瞬間を見つければよい。本例
では、山形になった瞬間として、画像構造変化量が、し
きい値ａ（２１３）を超えて、かつ、その後しきい値ａ
（２１３）を下回った時点を用いている。
【００１０】上記のステップ（４）について、図２のフ
レーム画像列を用いて説明する。本例のように、スリッ
ト上に荷物（２５２）などが放置されると（時刻Ｔ４
（２２４））、当初画像構造変化量が増加するが、その
後荷物（２５２）は静止したままなので、画像構造変化
量は、高どまりしたまま変動しなくなる（時刻Ｔ４（２
２４）から時刻Ｔ５（２２５））。この方法では、この
ように一定時間以上画像構造変化量の変動値が小さかっ
た場合、その時点のスリット画像を背景として、背景の
自動更新を行なっている。
【００１１】最後にステップ（２）の画像構造変化量の
算出方法について、図１３，図１４，図１５を用いて説
明する。１３は、スリット画像に対する照度変化の影響
を示したものである。まず、図１３（ａ）のように各画
素の明るさがＰ１…ＰＮで与えられるスリット１３０１
を考える。次に、横軸を画素の位置、縦軸を画素の明る
さとするグラフを考えると、図１３（ｂ）１３０５のよ
うになる。ここで、影などによって暗くなった場合な
ど、急激な照度変化が生じて、スリット画像１３０１全
体が暗くなったとすると、スリット画像１３０１中の各
画素Ｐ１…ＰＮの明るさは図１３（ｃ）のように相対的
な関係を保ったまま、１３０５から１３０７のように一
様に小さくなる。この照度変化を、スリット画像をベク
トルに見た立てて考えると次の図１４のようになる。
【００１２】図１４（ａ）のように、スリット画像１４
０１は各画素の明るさを要素とするベクトルＶ（１４０
１）と考えることができる。各画素Ｐ１…ＰＮ毎の基底
ベクトルをｂ１，ｂ２，ｂ３，…，ｂｎとすると、ベク
トルＶ（１４０１）は、図１４（ｂ）のようなｎ次元の
ベクトル空間上の一点と表すことができる。次に、この
ベクトル（１４０１）に対し、影などによって暗くなっ
た場合などによって、急激な照度変化が生じてスリット
ベクトルが変化し、図１４（ｃ）のスリットベクトル
Ｖ’（１４０３）のようになったとする。このとき、図
１３の考察から、変化したスリットベクトルＶ’（１４
０３）は、ベクトルＶ（１４０１）とほとんど同一直線
上に存在し、ベクトルＶ（１４０１）のスカラー倍にな
っていると考えることができる。このように、もとのス
リットベクトル１４０１と照度によって変化したスリッ
トベクトルＶ’（１４０３）は、ベクトル空間上での座
標位置は大きく異なってもその向きはほとんど同一であ
ることが分かる。これに対し、構造変化の生じたスリッ
トベクトルでは、座標位置だけでなく、その向きも大き
く異なると予想される。従って、スリット１３０１の照
度変化と構造変化を区別するには、ベクトルの向きを考
慮すればよい。
【００１３】図１５は、通常のスリットベクトルＶ（１
４０１）と、照度変化の影響を受けたスリットベクトル
Ｖ’（１４０３）の単位球面上への射影である。図１５
に示されるように、ベクトルＶ（１４０１）の単位球上
への射影ベクトルＰ（１５０１）と、ベクトルＶ’（１
４０３）の単位球上への射影ベクトルＱ（１５０３）と
の距離ＰＱは、元の距離ＶＶ’に比べて非常に近づく。
二つの異なるスリット画像の関係が、単なる照度差の違
いか構造変化の違いかは、単位球上でのベクトル距離が
非常に小さいかどうかで判定できるということである。
以降では、この正規化されたベクトル間の距離を、正規
化距離と呼ぶこととする。この正規化距離を用いること
によって、画像中の物体の構造変化の度合いを求めるこ
とができる。この方法では、この画像構造変化量を、ス
テップ（３）に示した移動体の検出や、ステップ（４）
に示した背景の検出・自動更新に用いている。これによ
って、従来は監視が難しかった、昼から夜、夜から昼と
いった照明条件が変化した場合や、背景位置に物体をお
かれた場合などの監視条件に対しても、それが移動体で
あるか、新しい背景であるか、それとも単なる影の変化
なのかを、正しく分類することができる。
【００１４】以上が「移動体検出・抽出装置及び方法」
の概略である。この方法では、監視を行なう着目領域と
して線分を用いることができるため、画面全体を着目領
域とするそれ以前の方法に比べ、画像構造変化量の算出
時間を大幅に短縮できる。また、この方法では、画像構
造変化量の時系列変化を見ることにより背景更新のタイ
ミングを見つけることができるため、屋外の映像などの
ように、背景が常時変更される可能性のある場所でも、
監視処理を適用できる。また、この方法では、画素の差
分量である画像変化量を用いるのではなく、画像中の物
体の構造変化の度合いを用いるため、照明条件の変化や
背景画像に構造的な変化があった場合でも、正しく背景
と移動体を区別できるまた、特開平９−２９９９４８号
公報の「移動体組合せ検出抽出装置および方法」が提案
されている。この方法では、移動体検出装置で用いる着
目領域を複数個持ち、格子状の監視着目領域により検出
された移動体検出情報の組み合わせから、移動体の位置
と移動体の大きさを判定している。以下に図３を用いて
この方法を説明する。
【００１５】図３のうち、入力されたＴＶ映像３００の
中に存在する移動体３４１の縦の位置と横の位置を、格
子状に配列されたスリット群（３１１から３１５と、３
２１から３２４）を用いて検出する。このスリット群
は、縦線の形状のスリットを複数並べた、スリットＶ１
（３１１）、スリットＶ２（３１２）、スリットＶ３
（３１３）、スリットＶ４（３１４）、スリットＶ５
（３１５）から構成される縦スリット群と、同様に横線
の形状のスリットを複数並べた、スリットＨ１（３２
１）、スリットＨ２（３２２）、スリットＨ３（３２
３）、スリットＨ４（３２４）から構成される横スリッ
ト群とを、直交に配置することによって、構成される。
縦スリット群の各々のスリットは、幅Ｌｗ（３３２）の
間隔で平行に並んでいる。同様に、横スリット群の各々
のスリットは、高さＬｈ（３３１）の間隔で平行に並ん
でいる。
【００１６】なお、図２の移動体検出手段は、画像構造
変化量がしきい値ａ（２１３）を超えている間、つまり
時刻Ｔ２（２２２）から時刻Ｔ３（２２３）までの区間
と、時刻Ｔ４（２２４）以降の区間において、常に移動
体検出イベントが発行される(例えば、一秒間に３０枚
の画面があるとすると、その１枚、１枚について移動体
があるかどうかを調べている。そして、画像構造変化量
がしきい値を越えている間移動体が検出されていること
を示す信号が発行され続ける。)ものとする。
【００１７】また、移動体検出情報のスリット識別子と
して、図３に示したスリットの一本一本を識別するため
に、“Ｖ１”、“Ｖ２”、“Ｈ１”、“Ｈ４”といった
スリットの名称に値する文字列を設定されるものとす
る。
【００１８】次に、以上で述べたスリット群を用いて移
動体の大きさを判定する方法について説明する。図３の
うち、移動体３４１の場合、縦のスリットＶ２（３１
２）とスリットＶ３（３１３）、横のスリットＨ２（３
２２）とスリットＨ２（３２２）が検出される。そし
て、縦のスリットは、Ｖ２（３１２）の左スリットであ
るＶ１（３１１）と縦のスリットＶ３（３１３）の右ス
リットであるＶ４（３１４）が検出されない。横のスリ
ットは、Ｈ２（３２２）の上スリットであるＨ１（３２
１）と横のスリットＨ３（３２３）の下スリットである
Ｈ４（３２４）が検出されない。つまり幅は検出された
縦のスリットＶ２（３１２）とスリットＶ３（３１３）
により、幅Ｌｗ（３３２）以上で、検出されなかったＶ
１（３１１）とＶ４（３１４）により、幅Ｌｗ（３３
２）×２未満であることがわかる。高さは検出された横
のスリットＨ２（３２２）とスリットＨ３（３２３）に
より、高さＬｈ（３３１）以上で、検出されなかったＨ
１（３２１）とＨ４（３２４）により、高さＬｈ（３３
１）×２未満であることがわかる。
【００１９】以上が「移動体組合せ検出抽出装置および
方法」の大きさを判定する概略である。この方法では、
入力された映像から移動体を検出する手段を格子状に定
義し、それぞれの検出を組にして、高さと幅と位置を同
時に判定している。また、この方法では、時間軸毎につ
いても判定しているため、入力されたＴＶ映像上で移動
体の追尾ができる。
【００２０】
【発明が解決しようとする課題】ところが、上記従来技
術を単純に利用する際、次のような問題点が存在する。
第一の問題点は、移動体の形状により、着目領域を通過
する有効な高さ測定を行う瞬間を判定できないことであ
る。第二の問題点は、高さを測定する際、複数の着目領
域を格子状に定義し、その検出結果を組合せてより正確
な測定をする場合、複数の着目領域を格子状に多数定義
する必要があり、組合せ判定に時間がかかることであ
る。
【００２１】
【課題を解決するための手段】本発明を構成する手段と
して、映像ならびに画像を外部より入力する手段と入力
された映像ならびに画像上に基本線および分割線からな
る同一直線上で検出対象を定義し、定義された複数の移
動体を検出する手段を設け、その検出手段から出力され
る移動体検出結果をコード化し、この検出結果のコード
と予め設定した測定コードとを比較判定を行なう移動体
測定判定手段と、検出された結果を外部に出力する手段
を有する。これによって、移動体の高さなどの測定がで
きる。
【００２２】
【発明の実施の形態】以下に本発明の実施例について細
かく説明する。
【００２３】本発明の移動体検出測定の判定手段の一例
について以下に述べる。
【００２４】図１は、移動体検出測定装置の構成図であ
る。図４は、基本線における検出での侵入予想から侵入
までの区間の画像構造変化量値の変化の例である。図５
は、移動体検出手段で用いる、リスト定義・検出情報の
列の例である。図６は、検出結果をコード化する手段で
用いる、測定コードテーブルの例である。図７と図８
は、基本線および分割線からなる同一直線上で映像を定
義する手段の例である。図９は、基本線の検出での侵入
予想から侵入までの区間の画像変化量値が最も大きい時
のフレームにおける基本線および分割線の検出結果をコ
ード化し、予め設定した測定コードとを比較判定を行う
手段の処理手順例である。
【００２５】本発明の一実施例である図１の移動体検出
測定装置（１００）の構成内容について他の図面も参照
しながら述べる。これは実際にはコンピュータにより実
現される。
【００２６】移動体検出測定装置（１００）は、以下の
手段から構成される。映像入力手段（１１１）は、ビデ
オカメラ（１１０）により構成される映像作成手段によ
って作成された映像を、移動体検出測定装置（１００）
内に読込む機能を実現している。
【００２７】この場合、ビデオカメラ（１１０）の映像
は映像入力手段（１１１）にへと入力される。次に映像
入力手段（１１１）に読込まれた映像は、映像を構成す
るフレーム画像の列として、検出位置設定手段（１１
２）に備えられた移動体検出手段１（１１３）に入力さ
れ、移動体の有無が検出される。以下同様に、ｉ番目の
移動体検出手段ｉにおいて、映像入力手段（１１１）に
読込まれた映像は、移動体検出手段ｉに入力され、移動
体の有無が検出される。移動体検出手段１（１１３）
は、入力されたある特定のフレームにおける着目領域の
データと各フレームでの着目領域のデータとの相関を算
出し、算出された少なくとも１つの相関値のパターンか
ら、移動体の存在有無や背景画像の変更などの移動体検
出イベントを判定する。この実現方法として、本実施例
では、「従来の技術」で述べた図２に示される方法を用
いるものとする。移動体検出手段１（１１３）の出力
（１１４）には、移動体が基本線スリットに触れた時点
や、移動体がスリットを抜け出た時点や、背景が更新さ
れた時点など、相関値のパターンとして求めることが可
能な、様々な移動体検出イベントを想定することができ
る。
【００２８】たとえば図２を用いて説明すると、移動体
がスリットに触れた時点は、図２の画像構造変化量があ
るしきい値ａ（２１３）を超えた時点（時刻Ｔ２（２２
２），フレーム画像Ｆ２（２４２））として検出でき
る。また同様に、移動体がスリットを抜け出た時点は、
画像構造変化量がしきい値ａ（２１３）を超えた後に、
また画像構造変化量がしきい値ａ（２１３）を下回った
時点（時刻Ｔ３（２２３），フレーム画像Ｆ３（２４
３））として検出できる。また同様に、背景が更新され
た時点は、画像構造変化量があるしきい値ａ（２１３）
を超えた後、数秒間（数フレーム間）画像構造変化量が
動かなかった時点（時刻Ｔ５（２２５），フレーム画像
Ｆ５（２４５））として検出結果を出力するものとす
る。
【００２９】本実施例ではビデオカメラ（１１０）はあ
る定位置、例えばコンビニエンスストアの出入り口や乗
り物の入場口に向かって設置されている。被写体はこの
ときコンビニエンスストアの出入り口や乗り物の入場口
といった制約された位置を通過する。したがって、ビデ
オカメラ（１１０）と被写体との距離はいつもほぼ一定
であると推定される。したがって、被写体が通る位置を
想定した上で被写体の検出のための着目領域である基本
線と各分割線を設定する。
【００３０】本実施例では検出位置設定手段（１１２）
は、映像を定義する基本線および分割線からなる同一直
線上で複数個定義される。設定は、図１の入力映像に対
して、キーボード（１１５）やマウス（１１６）で行
う。詳細な設定については、たとえば図７を用いて説明
すると、基本線および分割線からなる定義線で用いる着
目領域を、同一線上に複数分割して配置する場合、まず
始めに、基本線Ｖ０（７１０）の開始点と終了点を定義
する。次に分割線Ｖ１（７２１）から、分割線Ｖ５（７
２５）間で定義するが、基本線Ｖ０（７１０）を分割し
た線のため、以下の定義ができる。
【００３１】分割線Ｖ１（７２１）は、開始点を基本線
Ｖ０（７１０）の開始点と同じ位置にして終点を新たに
定義する。分割線Ｖ２（７２２）は、開始点を分割線Ｖ
１（７２１）の終了点と同じ位置にして終点を新たに定
義する。分割線Ｖ３（７２３）は、開始点を分割線Ｖ２
（７２２）の終了点と同じ位置にして終点を新たに定義
する。分割線Ｖ４（７２４）は、開始点を分割線Ｖ３
（７２３）の終了点と同じ位置にして終点を新たに定義
する。分割線Ｖ５（７２５）は、開始点を分割線Ｖ４
（７２４）の終了点と同じ位置にして終点を基本線Ｖ０
（７１０）の終点と同じ位置に定義する。これらは図示
の都合上基本線Ｖ０と別の位置に示してあるが、Ｖ１〜
Ｖ５までは基本線Ｖ０と同じ位置にある。
【００３２】７０１に実際の身長の検出測定を行った場
合の定義位置と測定コードおよび高さの関係を説明す
る。基本線Ｖ０の位置を０．０ｍから２．０ｍ、分割線
Ｖ１の位置を０．０ｍから１．６ｍ、分割線Ｖ２の位置
を１．６ｍから１．７ｍ、分割線Ｖ３の位置を１．７ｍ
から１．８ｍ、分割線Ｖ４の位置を１．８ｍから１．９
ｍ、分割線Ｖ５の位置を１．９ｍから２．０ｍにする。
図２の移動体検出手段を用いて取得した図５の検出種別
は、未侵入：０と侵入：１になる。フレーム画像毎に各
スリットの検出種別を図６の測定コードテーブルに渡
す。従って、測定コード「００００００」の高さに関す
る情報は「未通過」、測定コード「１１００００」の高
さに関する情報は「１．６ｍ未満」、測定コード「１１
１０００」の高さに関する情報は「１．６ｍ以上１．７
ｍ未満」、測定コード「１１１1００」の高さに関する
情報は「１．７ｍ以上１．８ｍ未満の」、測定コード
「１１１１１０」の高さに関する情報は「１．８ｍ以上
１．９ｍ未満」、測定コード「１１１１１１」の高さに
関する情報は「１．９ｍ以上」になる。
【００３３】ここで、侵入、未侵入について述べたこと
から図５について説明する。
【００３４】図５は、移動体測定判定手段（１０１）が
内部に持つ移動体検出イベントの列（スリット定義・検
出情報）である。スリット定義・検出情報は、先に述べ
た移動体検出手段が作成した移動体検出情報を、リスト
構造により複数個格納している。スリット定義・検出情
報は、その先頭を表す先頭ポインタ５００を持ち、その
リスト構造の１要素として１つの移動体検出情報を格納
し、各要素間をポインタによって連結している。図５の
例では、イベントリストの要素として、要素５０１と要
素５０２があり、それらは先頭ポインタ５００、要素５
０１の次ポインタ領域ｎｅｘｔ（５５１）などにより、
連鎖的に繋がっている。本例では、基本線は、スリット
定義・検出情報のスリットＩＤ（５５２）の手段１にな
り、各分割線は、スリット・検出情報のスリットＩＤ
（５５２）は手段２から最後の手段までになる。
【００３５】ここで、手段１、手段２などは、図１の移
動体検出手段１（１１３）、移動体検出手段ｎ（１２
３）などを意味している。
【００３６】イベントリスト（５０１）、（５０２）な
どはそれぞれ上記分割線Ｖ０〜Ｖ５の１つに対応しポイ
ンタ５５１によって順次検索されるように連結されてい
る。なお、本図で黒丸はポインタを表す。スリットＩＤ
（５５２）はＶ０〜Ｖ５の一つであることを示すもので
あり、Ｖ０から順に手段１、手段２というＩＤが付与さ
れている。検出種別（５５３）はそのスリットに移動体
が入ると侵入：１の情報が書き込まれ、そのスリットに
移動体がなければ未侵入：０の情報が書き込まれている
ものである。画像構造変化量値（５５４）はそのスリッ
トにどの程度の移動体の映像が入ったかを数値化したも
ので、全く移動体がなければ値は０であり、スリット内
の移動体の映像の量が増えるにしたがってその値は大き
くなる。
【００３７】定義モード（５５５）は図７に示すスリッ
トの定義か図８に示すスリットの定義かを示すものであ
る。分割定義数（５５６）はスリットがいくつ定義され
ているかを示す値であって、この例の場合、Ｖ０〜Ｖ５
の６個であるから６が記入してある。
【００３８】開始点Ｘ（５５７）、開始点Ｙ（５５７）
はスリットが画面上どの位置にあるかを示したものでイ
ベントリスト（５０１）の場合、画面左下を座標（０，
０）として、Ｘ方向に１６０ｃｍ、Ｙ方向に５ｃｍを開
始点としていることを示す。また、終了点Ｘ（５５
９）、終了点Ｙ（５６０）はスリットの終了点がＸ方向
に１６０ｃｍ、Ｙ方向に２３５ｃｍの点であることを示
す。イベントリスト（５０２）の場合は開始点がＸ方向
に１６０ｃｍ、Ｙ方向に１８０ｃｍ、終了点がＸ方向に
１６０ｃｍ、Ｙ方向に２３５ｃｍであることを示してい
る。これらの数字はキーボード１１５から設定可能であ
る。最新スリット画像（５６１）はスリット画像（５１
１）へのポインタであり、背景スリット画像（５６２）
は比較の対象となるスリット画像（５１２）へのポイン
タである。更に、フレーム画像（５６３）はフレーム画
像(５１３)へのポインタである。
【００３９】次に、測定コードに言及したことから図６
について説明する。
【００４０】図６は、検出結果をコード化する手段で用
いる測定コードテーブル（６００）の例である。基本線
および分割線のスリット・検出情報から、検出測定コー
ドを作成するスリット定義・検出情報の検出種別（５５
３）が検出結果の測定コードに渡される。測定コードテ
ーブル（６００）の桁数は、スリット定義・検出情報の
分割定義数（５５６）である。なお、検出種別は、未侵
入：０と侵入：１になる。本例では、スリット・検出情
報から、分割定義数は６で、基本線の検出種別は６桁
目、５桁目から１桁目は順に分割線1から分割線５の検
出種別が渡される。
【００４１】更に、番号を参照して測定コードテーブル
の構成を説明する。ビット（６１０）はスリットＶ０の
範囲のどこかに移動体が検出されたとき１がセットされ
る。同様にビット（６１１）はスリットＶ１の範囲に移
動体が検出されたときに１がセットされる。以下同様に
ビット（６１２）からビット（６１５）はそれぞれの対
応するスリットに移動体が検出されると１がセットされ
る。したがって、測定コードテーブル（６００）はそれ
ぞれのビットが一つのスリットでの侵入、未侵入を表す
ビットパターンである。
【００４２】図８は図７と分割線の設定の異なる実施形
態を示す。図８を用いて説明すると、基本線および分割
線からなる定義線で用いる着目領域を、同一線上に基準
点より長さを変えて複数重畳して配置する場合、まず初
めに、基本線Ｖ０（８１０）の開始点と終了点を定義す
る。次に分割線Ｖ１（８２１）から、分割線Ｖ５（８２
５）間で定義するが、基本線Ｖ０（８１０）の終了点が
同じであるため、以下の定義ができる。分割線Ｖ１（８
２１）は、開始点を基本線Ｖ０（８１０）の開始点と同
じ位置にして終点を基本線Ｖ０（８１０）の終点と同じ
位置に定義する。分割線Ｖ２（８２２）は、開始点を分
割線Ｖ１（８２１）より短い位置にして終点を基本線Ｖ
０（８１０）の終点と同じ位置に定義する。分割線Ｖ３
（８２３）は、開始点を分割線Ｖ２（８２２）より短い
位置にして終点を基本線Ｖ０（８１０）の終点と同じ位
置に定義する。分割線Ｖ４（８２４）は、開始点を分割
線Ｖ３（８２３）より短い位置にして終点を基本線Ｖ０
（８１０）の終点と同じ位置に定義する。分割線Ｖ５
（８２５）は、開始点を分割線Ｖ４（８２４）より短い
位置にして終点を基本線Ｖ０（８１０）の終点と同じ位
置に定義する。
【００４３】８０１に実際の身長の検出測定を行った場
合の定義位置と測定コードおよび高さの関係を説明す
る。基本線Ｖ０の位置を０．０ｍから２．０ｍ、分割線
Ｖ１の位置を０．０ｍから２．０ｍ、分割線Ｖ２の位置
を１．６ｍから２．０ｍ、分割線Ｖ３の位置を１．７ｍ
から２．０ｍ、分割線Ｖ４の位置を１．８ｍから２．０
ｍ、分割線Ｖ５の位置を１．９ｍから２．０ｍにする。
図２の移動体検出手段を用いて取得した図５の検出種別
は、未侵入：０と侵入：１になる。フレーム画像毎に各
スリット検出種別を図６の測定コードテーブルに渡す。
従って、測定コード「００００００」の高さに関する情
報は「未通過」、測定コード「１１００００」の高さに
関する情報は「１．６ｍ未満」、測定コード「１１１０
００」の高さに関する情報は「１．６ｍ以上１．７ｍ未
満」、測定コード「１１１1００」の高さに関する情報
は「１．７ｍ以上１．８ｍ未満の」、測定コード「１１
１１１０」の高さに関する情報は「１．８ｍ以上１．９
ｍ未満」、測定コード「１１１１１１」の高さに関する
情報は「１．９ｍ以上」になる。
【００４４】基本線の検出における最大画像構造変化量
値の最適フレーム情報は、たとえば図４を用いて説明す
ると、移動体がスリットに触れた時点は、図４の画像構
造変化量があるしきい値ａ（４１３）を超えた時点（フ
レーム画像Ｆ２（４４２））から、移動体がスリットを
抜け出た時点は、画像構造変化量がしきい値ａ（４１
３）を超えた後に、また画像構造変化量がしきい値ａ
（４１３）を下回った時点（フレーム画像Ｆ３（２４
３））までの間になる。つまり、この間の各フレーム毎
の画像構造変化量を比較することにより、画像構造変化
量が最大に変化した時点（フレーム画像Ｆ３（４４
３））の情報は、求めることができる。
【００４５】移動体検出手段１（１１３）から移動体検
出手段ｎ（１２３）までのそれぞれの移動体検出手段
は、検出した移動体検出イベントを、移動体検出イベン
トの種類や発生フレーム画像などの移動体検出情報とと
もに、移動体測定判定手段（１０１）に入力する。
【００４６】本例での移動体検出情報は、図５のスリッ
ト定義・検出情報のうちの１要素（５０１）に示される
ような、移動体検出手段の識別子ｉｄ（５５２）（以降
ではスリットＩＤと呼ぶ。文字列などにより実現す
る）、スリットに触れた時点や背景更新の時点などの検
出した移動体検出イベントの種類ｔｙｐｅ（５５３）、
フレーム画像毎の情報画像構造変化量値ｃｉ（５５
４）、基本線を分割線として定義するモード（分割点設
定または開始点設定）ｍｏｄｅ（５５５）基本線および
分割線の分割定義数ｔｉ（５５６）、基本線および各分
割線の開始点Ｘ ｘｂｉ（５５７）、基本線および各分
割線の開始点Ｙ ｙｂｉ（５５８）、基本線および各分
割線の終了点Ｘ ｘｅｂｉ（５５９）、基本線および各
分割線の開始点Ｙｙｅｉ（５６０）、移動体検出処理に
用いたスリット画像ｓｌｉｔ（５６１）、同じく背景画
像ｂｇｒ（５６２）、および、同じくフレーム全体の画
像ｉｍｇ（５６３）、から構成されている。
【００４７】本例では、スリット画像ｓｌｉｔ（５６
１）、背景画像ｂｇｒ（５６２）、フレーム画像ｉｍｇ
（５６３）は、実際の画像データを指すポインタとして
実現されており、それぞれ画像５１１、５１２、５１３
を指している。
【００４８】次に、移動体検出手段などから出力され
た、移動体検出イベントやそれに付随する移動体検出情
報（１１４、１２４など）は、移動体測定判定手段１０
１により、その情報をコード化され、測定コードとの比
較判定され、判定された結果が、より高度な移動体検出
イベント（１０２）となって出力される。結果出力手段
（１０３）では、より高度な移動体検出イベント（１０
２）を、ディスプレイ装置（１０４）やスピーカー（１
０５）などによって最終的な移動体検出測定結果をユー
ザに提示する。
【００４９】なお、本例では、上記の移動体検出測定装
置（１００）を、メモリと入出力装置と演算装置などか
ら構成されるコンピュータによって実現している。
【００５０】次に、図8の基本線および分割線からなる
定義線で用いる着目領域を、同一線上に基準点から長さ
を変えて複数重畳して配置する場合の手続きについて、
図９の９００でステップを追いながら説明する。
【００５１】まず、フレーム毎の基本線および分割線の
スリット・検出情報を取得する（９０１）。次に基本線
の検出種別が侵入であるか判定し（９０２）、侵入でな
ければ、測定コードをすべて０にして（９０３）、未侵
入であることを結果出力手段に渡し（９０４）、次のフ
レームのスリット・検出情報を取得する。侵入であれ
ば、基本線および分割線のスリット・検出情報から、図
６に示す検出測定コードを作成する（９０５）。次に図
５に示す基本線の画像構造変化量値が最大であるか判定
する（９０６）。最大でなければ、次のフレームのスリ
ット・検出情報を取得する。最大であれば、予め設定し
た測定コードおよび高さとの関係に関する情報を取得す
る（９０７）。次に検出測定コードと予め設定した測定
コードが同じか判定する（９０８）。同じでなければ、
次の予め設定した測定コードおよび高さに関する情報を
取得する。同じであれば、比較結果の測定情報を結果出
力手段（１０３）に渡す（９０９）。最後に、フレーム
画像の終りか判定し（９１０）、終りでなければ、次の
フレームのスリット・検出情報を取得する。終りであれ
ば、本手続きを終了する。結果出力手段（１０３）の出
力はディスプレイ（１０４）に表示され、また、スピー
カ、プリンタまたは通信装置を通して遠隔地に出力する
通信機構である外部出力手段（１０５）に与えられる。
外部出力手段は測定判断手段によって得られた結果によ
って、結果の表示や警報または案内を出力するものであ
る。
【００５２】なお、予め設定する測定コードおよび高さ
に関する情報は、測定コード毎にテーブルデータなどに
持つ。これが検出測定コードと比較される。測定コード
の設定方法については、以降の実施例において詳しく説
明する。
【００５３】本発明の他の応用例として、映像を定義す
る基本線および２本の分割線からなるスリットの検出測
定判定の結果出力方法の一例とスリットの定義の一例に
ついて以下に述べる。図１０は、基本線および分割線２
本を定義して車両の高さを測定し誘導駐車場を表示する
画面の一例である。
【００５４】ここでは自動車の車高の検査を例にしてい
る。ビデオカメラは駐車場の入り口など、非常に制限さ
れた場所を自動車が通る位置に向けて設置される。した
がって、ビデオカメラと自動車との距離や位置関係はほ
ぼ一定の関係にあると推定される。
【００５５】図１１は、基本線および分割線からなる定
義線で用いる着目領域を、同一線上に複数分割して配置
し、測定コードに対する表示内容を設定する画面の一例
である。図１２は、基本線および分割線からなる定義線
で用いる着目領域を、同一線上に基準点から長さを変え
て複数重畳して配置し、測定コードに対する表示内容を
設定する画面の一例である。
【００５６】まず、図１０は、映像を定義する基本線お
よび分割線２本からなるスリットの検出測定装置の結果
出力例方法を示している。ウィンドウ（１０００）は、
結果を表示する領域であり、コンピュータなどにより表
示される。ウィンドウ（１０００）には、入力映像を表
示する領域（１００１）と、移動体の高さの測定を開始
させる測定開始ボタン（１００３）と、同じく調査を終
了させる調査終了ボタン（１００４）と、測定線を設定
する測定線設定ボタン（１００５）と、入力映像（１０
０１）中に指定したスリット（１００２）と、移動体の
測定コードと高さと誘導駐車場と移動体の測定フレーム
画像などの一台ずつの測定結果を表示する領域（１００
６）が存在する。入力映像（１００１）のスリット（１
００２）位置の指定は、図１１と図１２で詳しく説明す
る。測定開始ボタン（１００３）を押下すると、移動体
の高さの測定処理が開始し、測定終了ボタン（１００
４）を押下すると、測定処理を終了する。
【００５７】以下に、測定処理について簡単に説明す
る。測定の開始時には、測定結果領域（１００６）のフ
レーム画像と測定コードと車両高さと誘導駐車場を初期
化して何も表示しないとする。その後移動体を検出（最
大画像構造変化量値のフレーム）するたびに、測定結果
領域（１００６）に移動体検出測定情報を追加表示す
る。
【００５８】本例では、移動体検出情報の表示方法とし
て、図中の１０２１のように、上から移動体の測定フレ
ーム画像、測定コード、車両高さ、誘導駐車場を順に表
示している。
【００５９】移動体検出測定結果出力時の処理では、こ
の他にも、測定コードを元に警告するために、測定結果
領域（１００６）の文字や画像の枠を赤色で点滅させた
り、スピーカー（１０５）から音を発生したりして、注
意を促すと更によい。
【００６０】次に、図１１の基本線および分割線からな
る定義線で用いる着目領域を、同一線上に複数分割して
配置し、測定コードに対する表示内容を設定する画面に
ついて説明する。ウィンドウ（１１００）は、スリット
と測定コードに対する表示内容を設定する領域であり、
コンピュータなどにより表示される。
【００６１】ウィンドウ（１１００）には、定義映像を
表示する領域（１１０１）と、定義方法を設定する定義
モードを指定するチェックボックス（１１０６）と、基
本線０スリットの座標位置を入力可能なエディットボッ
クス群（１１０７）と、分割線１スリットの座標位置を
入力可能なエディットボックス群（１１０８）と、分割
線２スリットの座標位置を入力可能なエディットボック
ス群（１１０９）と、定義条件である測定コード、車両
高さ、誘導駐車場を入力可能なエディットボックス群
（１１１０）と、設定の反映を表すＯＫボタン（１１１
１）と、設定を取り消すキャンセルボタン（１１１２）
から構成される。定義映像表示領域（１１０１）には、
現在指定されているスリット（１１０２）が表示され、
そのスリット上の開始点や終了点（１１０３、１１０
４、１１０５）は丸などにより強調表示される。定義モ
ードを指定するチェックボックス（１１０６）は、分割
点設定か開始点設定のどちらか１つだけが選択可能にな
るように設定されている。
【００６２】本画面では、基本線が１本と分割線２本の
スリットの条件を設定できるようになっている。次にそ
の画面の操作方法について概説する。図で白抜きの部分
は入力項目を表す。まず、定義モードのチェックボック
ス（１１０６）を分割点設定(図７のスリットの設定方
法に相当する)にすることにより、分割線１スリットの
座標位置を入力可能なエディットボックス群（１１０
８）の開始点の座標位置と分割線２スリットの座標位置
を入力可能なエディットボックス群（１１０９）の開始
点と終了点の座標位置は他の値が決まると自ずとその値
が決まるので入力の必要はないために入力できなくな
る。
【００６３】次に基本線０スリットの座標位置を画面左
下を座標の原点（０，０）とし、入力可能なエディット
ボックス群（１１０７）の開始点の座標位置Ｘ：１６
０、Ｙ：００５を入力すると、分割線１スリットの座標
位置を入力可能なエディットボックス群（１１０８）の
開始点の座標位置が自動的に反映される。基本線０スリ
ットの座標位置を入力可能なエディットボックス群（１
１０７）の終了点の座標位置Ｘ：１６０、Ｙ：２３５を
入力すると、分割線２スリットの座標位置を入力可能な
エディットボックス群（１１０９）の終了点の座標位置
が自動的に反映される。分割線１スリットの座標位置を
入力可能なエディットボックス群（１１０８）の終了点
の座標位置Ｘ：１６０、Ｙ：２１０を入力すると、分割
線２スリットの座標位置を入力可能なエディットボック
ス群（１１０９）の開始点の座標位置が自動的に反映さ
れる。
【００６４】（本例では、 予め測定し、基本線０スリ
ットの開始点（１１０３）と終了点（１１０４）の間を
「２．３ｍ」、基本線０スリットの開始点（１１０３）
と分割する点（１１０５）の間を「２．０５ｍ」として
いる。本例では車高２１０ｃｍで駐車場の振り分けを決
めることとしたものであって、この値は任意に決められ
るものである。） 次に定義条件である測定コード、車両高さ、誘導駐車場
を入力可能なエディットボックス群（１１１０）を入力
する。この３桁の測定コードは、侵入の値が１、未侵入
の値が０とする。左が基本線０スリット、中央が分割線
１スリット、右が分割線２スリットとするため、たとえ
ば、測定コード１１０は、２．１ｍ未満の車両が駐車で
きるＡ駐車場へ誘導するように指定する。測定コード１
１１は、２．１ｍ以上の車両が駐車できるＢ駐車場へ誘
導するように指定する。
【００６５】次に、図１２の基本線および分割線からな
る定義線で用いる着目領域を、同一線上に基準点より長
さ変え複数重畳して配置し、測定コードに対する表示内
容を設定する画面について説明する。これは、図８の形
式のスリットに相当する。図１１と同様に白抜き文字の
項目が入力項目である。ウィンドウ（１２００）は、図
１１のウィンドウ（１１００）基本線および分割線から
なる定義線で用いる着目領域を、同一線上に複数分割し
て配置し、測定コードに対する表示内容を設定する画面
と同じ構成である。
【００６６】本画面では、基本線が１本と分割線２本の
スリットの条件を設定できるようになっている。次にそ
の画面の操作方法について概説する。まず、定義モード
のチェックボックス（１２０６）を開始点設定にしてす
ることにより、分割線１スリットの座標位置を入力可能
なエディットボックス群（１２０８）の開始点と終了の
座標位置と分割線２スリットの座標位置を入力可能なエ
ディットボックス群（１１０９）の終了点の座標位置が
入力できなくなる。
【００６７】次に基本線０スリットの座標位置を入力可
能なエディットボックス群（１２０７）の開始点の座標
位置を画面左下を座標原点（０，０）とし、Ｘ：１６
０、Ｙ：００５と入力すると、分割線１スリットの座標
位置を入力可能なエディットボックス群（１２０８）の
開始点の座標位置が自動的に反映される。基本線０スリ
ットの座標位置を入力可能なエディットボックス群（１
２０７）の終了点の座標位置Ｘ：１６０、Ｙ：２３５を
入力すると、分割線１スリットの座標位置を入力可能な
エディットボックス群（１２０８）の終了点と分割線２
スリットの座標位置を入力可能なエディットボックス群
（１２０９）の終了点の座標位置が自動的に反映され
る。分割線２スリットの座標位置を入力可能なエディッ
トボックス群（１１０９）の開始点の座標位置Ｘ：１６
０、Ｙ：２１０を入力する。（本例では、予め測定し、
基本線０スリットの開始点（１２０３）と終了点（１２
０４）の間を「２．３ｍ」、基本線０スリットの開始点
（１２０３）と分割線２スリットの開始点（１２０５）
の間を「２．０５ｍ」としている。） 次に定義条件である測定コード、車両高さ、誘導駐車場
を入力可能なエディットボックス群（１２１０）を入力
する。この３桁の測定コードは、侵入の値が１、未侵入
の値が０とする。左が基本線０スリット、中央が分割線
１スリット、右が分割線２スリットとするため、たとえ
ば、測定コード１１０は、２．１ｍ未満の車両が駐車で
きるＡ駐車場へ誘導するように指定する。測定コード１
１１は、２．１ｍ以上の車両が駐車できるＢ駐車場へ誘
導するように指定する。
【００６８】本実施例で用いるスリット位置情報は、図
５のスリット定義検出情報に格納される。基本線０スリ
ットの情報（５０１）は、スリット定義・検出情報の先
頭ポインタ（５００）が示すリストであり、開始点の座
標位置Ｘは、開始点Ｘ（５５７）、開始点Ｙ（５５８）
に格納される。基本線０スリットの終了点の座標位置Ｘ
は、開始点Ｘ（５５９）、開始点Ｙ（５６０）に格納さ
れる。分割線１スリットの情報（５０２）は、基本スリ
ット０スリットの情報（５０１）の次ポインタ（５５
１）が示すリストに分割線１スリットの開始点と終了点
の座標位置が格納されている。分割線１スリットの情報
（５０２）には、分割線２スリットの次ポインタが示さ
れている。
【００６９】更に、他の応用例として次のものが挙げら
れる。ビデオカメラを自動車の通る入り口の真上に設置
する。そして、自動車の屋根の部分を撮像する。前記の
スリットは自動車の長さ方向に直角に設定する。する
と、車幅がどのくらいかが推定できる。これによって、
自動車の進行を中止させたり、より適当な経路に誘導す
ることが自動的に行なえる。
【００７０】
【発明の効果】本発明によれば、入力映像中に基本線お
よび分割線からなる同一直線上で定義する手段と定義さ
れた複数個の監視着目領域を設けることができるため、
ビデオカメラ画像などを含む入力映像中の移動体の高さ
などを効率よく簡単にかつ正確に測定できるようにな
る。
【図面の簡単な説明】
【図１】移動体検出測定装置の構成図。
【図２】図１の移動体検出手段の実現方法を示す図。
【図３】移動体組合せ判定手段の大きさ検出方法の例を
示す図。
【図４】移動体検出手段における最大画像構造変化量値
方法を示す図。
【図５】スリット・検出情報の実現例を示す図。
【図６】測定コードの実現例を示す図。
【図７】スリットの定義例および検出情報からの測定コ
ード作成法を示す図。
【図８】スリットの他の定義例および検出情報からの測
定コード作成法を示す図。
【図９】基本線と分割線からの情報から移動体の高さを
測定する処理を示すフローチャート。
【図１０】駐車場入口の車両高さ測定誘導システムの画
面の例を示す図。
【図１１】基本線および分割線の分割点を指定する画面
の例を示す図。
【図１２】基本線および分割線の開始点を指定する画面
の例を示す図。
【図１３】スリット画像に対する照度変化の影響の説明
図。
【図１４】スリット画像をベクトルとみなした場合の、
スリットベクトルに対する照度変化の影響を示す図。
【図１５】通常のスリットベクトルと照度変化の影響を
受けたスリットベクトルとの単位球上写像を示す図。
【符号の説明】
１００：コンピュータで実現された移動体検出測定装置 １０１：移動測定判定手段 １０２：移動測定判定手段が出力する移動体検出情報 １０３：結果出力手段 １０４：ディスプレイ １１０：ビデオカメラ １１１：映像入力手段 １１２：検出位置設定手段 １１３：１つ目の移動体検出手段 １１４：１つ目の移動体検出手段が出力する移動体検出
情報 １１５：キーボード １１６：マウス １２３：ｎ個目の移動体検出手段 １２４：ｎ個目の移動体検出手段が出力する移動体検出
情報
───────────────────────────────────────────────────── フロントページの続き (72)発明者 山光 忠 神奈川県横浜市戸塚区戸塚町5030番地 株 式会社日立製作所ソフトウェア事業部内 Ｆターム(参考） 5C054 FC13 FC15 HA05 HA26 5L096 AA06 BA02 CA02 DA03 EA18 EA35 HA03 JA16

Claims (13)

    【特許請求の範囲】
  1. 【請求項１】入力画面に対してスリット状に定義された
    第１の検出領域を持つ第１の移動体検出手段と、第１の
    検出領域と同一直線上にスリット状に定義され第１の検
    出領域と長さの異なる第２の検出領域を持つ１または複
    数の第２の移動体検出手段と、前記第１、第２の移動体
    検出手段の出力を受け前記スリットを通過する移動体の
    前記スリットの長さ方向の大きさを判定する移動体測定
    手段を備えたことを特徴とする移動体検出測定装置。
  2. 【請求項２】第２の検出領域は第１の検出領域を分割し
    て定義された１または複数の検出領域であることを特徴
    とする請求項１記載の移動体検出測定装置。
  3. 【請求項３】第２の検出領域は第１の検出領域の一端か
    ら延び第１の検出領域より長さを短くして定義された１
    または複数の検出領域であることを特徴とする請求項１
    記載の移動体検出測定装置。
  4. 【請求項４】第２の検出領域は第１の検出領域の前記画
    面上の上方の一端から延び第１の検出領域より長さを短
    く且つ互いに長さの異なるよう定義された１または複数
    の検出領域であることを特徴とする請求項３記載の移動
    体検出測定装置。
  5. 【請求項５】第１、第２の検出領域の始点および終点の
    前記画面上の座標は入力装置によって設定可能であるこ
    とを特徴とする請求項１記載の移動体検出測定装置。
  6. 【請求項６】各前記移動体検出手段は前記第１、第２の
    検出領域に移動体が侵入することにより第１の値を取
    り、非侵入のとき第２の値を取り、前記移動体検出手段
    のそれぞれの値により全移動体検出手段に対する測定コ
    ードを作成する手段を備えたことを特徴とする請求項１
    記載の移動体検出測定装置。
  7. 【請求項７】前記第１、第２の検出領域のそれぞれに対
    応して設けられ、前記第１第２の検出領域の画像構造変
    化量を記憶する記憶部を有し、前記移動体測定手段は第
    １の検出領域の前記画像構造変化量が最大のとき前記測
    定コードと予め定められたコードおよびそれに対応する
    移動体の前記スリットの長さ方向の大きさの情報と比較
    することにより移動体の前記スリットの長さ方向の大き
    さを測定することを特徴とする請求項６記載の移動体検
    出測定装置。
  8. 【請求項８】更に、前記移動体測定手段の測定結果に基
    づき警報または案内を出力する出力手段を有することを
    特徴とする請求項７記載の移動体検出測定装置。
  9. 【請求項９】映像および画像を外部より入力する手段
    と、入力された映像および画像上に基本線および分割線
    からなる同一直線上で検出対象を定義し移動体を検出す
    るものであり入力された映像および画像に対して移動体
    の有無の判定を行なう着目領域を少なくとも1つ以上設
    定する移動体検出手段と、ある特定のフレームおよび画
    像における前記着目領域のデータと各フレームおよび画
    像での着目領域のデータとの画像構造の相関を算出する
    手段と、算出された複数の画像構造の相関値のパターン
    から移動体の存在有無や背景画像の変更などの移動体検
    出イベントを決定する検出手段と、前記検出手段から出
    力される移動体検出結果をコード化し移動体検出を決定
    する手段とを備えたことを特徴とする移動体検出測定装
    置。
  10. 【請求項１０】入力画面上でスリット状の第１の検出領
    域を定義し、第１の検出領域と同一直線上に第１の検出
    領域と長さの異なるスリット状の第２の検出領域を定義
    し、第１、第２の検出領域の出力を受け前記スリットを
    通過する移動体の前記スリットの長さ方向の大きさを判
    定することを特徴とする移動体検出測定方法。
  11. 【請求項１１】更に、前記第１、第２の検出領域に前記
    移動体が侵入することにより第１の値を記憶し、非侵入
    のとき第２の値を記憶し、それぞれ記憶された値により
    測定コードを作成することを特徴とする請求項１０記載
    の移動体検出測定方法。
  12. 【請求項１２】第１の検出領域の画像構造変化量が最大
    のとき、前記測定コードと予め定められたコードとおよ
    びそれに対する前記移動体のスリットの長さ方向の大き
    さの情報と比較し、前記移動体のスリットの長さ方向の
    大きさを測定することを特徴とする請求項１１記載の移
    動体検出測定方法。
  13. 【請求項１３】コンピュータによって移動体の検出測定
    をするプログラムであって、入力画面上でスリット状の
    第１の検出領域を定義し、第１の検出領域と同一直線上
    に第１の検出領域と長さの異なるスリット状の第２の検
    出領域を定義し、第１、第２の検出領域の出力を受け前
    記スリットを通過する移動体の前記スリットの長さ方向
    の大きさを判定することを特徴とする移動体検出測定プ
    ログラムを記録した記録媒体。
JP2000294283A 2000-09-27 2000-09-27 移動体検出測定方法、その装置および移動体検出測定プログラムを記録した記録媒体 Expired - Fee Related JP3828349B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2000294283A JP3828349B2 (ja) 2000-09-27 2000-09-27 移動体検出測定方法、その装置および移動体検出測定プログラムを記録した記録媒体
US09/919,734 US6963658B2 (en) 2000-09-27 2001-07-31 Method of detecting and measuring a moving object and apparatus therefor, and a recording medium for recording a program for detecting and measuring a moving object
US11/212,512 US7308113B2 (en) 2000-09-27 2005-08-24 Method of detecting and measuring a moving object and apparatus therefor, and a recording medium for recording a program for detecting and measuring a moving object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000294283A JP3828349B2 (ja) 2000-09-27 2000-09-27 移動体検出測定方法、その装置および移動体検出測定プログラムを記録した記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2006158301A Division JP4384647B2 (ja) 2006-06-07 2006-06-07 移動体検出測定装置、移動体検出測定方法および記録媒体

Publications (3)

Publication Number Publication Date
JP2002109547A true JP2002109547A (ja) 2002-04-12
JP2002109547A5 JP2002109547A5 (ja) 2004-08-19
JP3828349B2 JP3828349B2 (ja) 2006-10-04

Family

ID=18776914

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000294283A Expired - Fee Related JP3828349B2 (ja) 2000-09-27 2000-09-27 移動体検出測定方法、その装置および移動体検出測定プログラムを記録した記録媒体

Country Status (2)

Country Link
US (2) US6963658B2 (ja)
JP (1) JP3828349B2 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3828349B2 (ja) * 2000-09-27 2006-10-04 株式会社日立製作所 移動体検出測定方法、その装置および移動体検出測定プログラムを記録した記録媒体
US8564661B2 (en) * 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US20050162515A1 (en) * 2000-10-24 2005-07-28 Objectvideo, Inc. Video surveillance system
US9892606B2 (en) 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US7424175B2 (en) 2001-03-23 2008-09-09 Objectvideo, Inc. Video segmentation using statistical pixel modeling
US7110569B2 (en) * 2001-09-27 2006-09-19 Koninklijke Philips Electronics N.V. Video based detection of fall-down and other events
JP2004133354A (ja) * 2002-10-15 2004-04-30 Seiko Epson Corp 画像表示システム、画像表示装置、画像データ出力装置、画像表示方法、画像表示プログラムおよび画像データ出力プログラム
JP2006148861A (ja) * 2004-10-21 2006-06-08 Matsushita Electric Ind Co Ltd 撮像信号処理装置及び方法
JP4122384B2 (ja) * 2005-01-31 2008-07-23 オプテックス株式会社 通行監視装置
US7920959B1 (en) * 2005-05-01 2011-04-05 Christopher Reed Williams Method and apparatus for estimating the velocity vector of multiple vehicles on non-level and curved roads using a single camera
JP4947936B2 (ja) * 2005-08-11 2012-06-06 ソニー株式会社 モニタリングシステムおよび管理装置
JP2009533778A (ja) * 2006-04-17 2009-09-17 オブジェクトビデオ インコーポレイテッド 統計的画素モデリングを使った映像セグメント化
EP1927957A1 (de) * 2006-11-29 2008-06-04 Sick Ag Vorrichtung und Verfahren zur Überwachung eines Überwachungsbereichs
ES2334617B1 (es) * 2008-02-13 2011-02-10 Jose Juan Blanch Puig Sistema y procedimiento para monitorizar la actividad de una persona en un recinto, y sensor para detectar una persona en un area predefinida.
US8842183B2 (en) * 2008-08-08 2014-09-23 Snap-On Incorporated Image-based inventory control system with automatic calibration and image correction
US9147174B2 (en) 2008-08-08 2015-09-29 Snap-On Incorporated Image-based inventory control system using advanced image recognition
EP2642463A4 (en) * 2010-11-16 2014-06-25 Honda Motor Co Ltd DEVICE FOR MONITORING THE PERIPHERY FOR A VEHICLE
US8761448B1 (en) 2012-12-13 2014-06-24 Intel Corporation Gesture pre-processing of video stream using a markered region
CN103735269B (zh) * 2013-11-14 2015-10-28 大连民族学院 一种基于视频多目标跟踪的高度测量方法
US9589179B2 (en) * 2013-12-19 2017-03-07 Microsoft Technology Licensing, Llc Object detection techniques
US10207193B2 (en) * 2014-05-21 2019-02-19 Universal City Studios Llc Optical tracking system for automation of amusement park elements
DK2960883T3 (da) * 2014-06-23 2017-11-13 Vitronic Dr -Ing Stein Bildverarbeitungssysteme Gmbh Bestemmelse af mindst én køretøjsegenskab
US20170164267A1 (en) * 2015-12-03 2017-06-08 The Trustees Of Columbia University In The City Of New York Apparatus to inhibit misuse of an electrically powered device
US10729124B2 (en) 2016-01-04 2020-08-04 The Trustees Of Columbia University In The City Of New York Apparatus to effect an optical barrier to pests

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61266551A (ja) * 1985-05-20 1986-11-26 Hitachi Metals Ltd 永久磁石合金
JPH08221577A (ja) * 1995-02-17 1996-08-30 Hitachi Ltd 移動体検出・抽出装置及び方法
JPH11134506A (ja) * 1997-10-31 1999-05-21 Hitachi Ltd 移動体組合せ検出装置および方法
JP2000090264A (ja) * 1998-09-11 2000-03-31 Omron Corp 生体照合方法およびその装置
JP2000318584A (ja) * 1999-05-12 2000-11-21 Mk Seiko Co Ltd 洗車機

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4160522A (en) * 1978-04-03 1979-07-10 Dikinis Daumantas V Automatic car identification system
EP0099453A3 (en) * 1980-02-12 1984-08-22 Supermarket Systems Machine for the deconsignment of articles, such as bottles
JP3151372B2 (ja) * 1995-04-19 2001-04-03 インターナショナル・ビジネス・マシーンズ・コーポレ−ション 移動物体速度検出装置及び方法
DE69738287T2 (de) * 1996-09-20 2008-06-12 Hitachi, Ltd. Verfahren zum Anzeigen eines sich bewegenden Objekts, dessen Bahn zu identifizieren ist, Anzeigesystem unter Verwendung dieses Verfahrens und Programmaufzeichnungsmedium dafür
DE60037360T2 (de) * 1999-05-28 2008-12-04 Nippon Telegraph And Telephone Corp. Verfahren und Vorrichtung zur Geschwindigkeitsmessung von Fahrzeugen mit ein Bildverarbeitungssystem
JP3828349B2 (ja) * 2000-09-27 2006-10-04 株式会社日立製作所 移動体検出測定方法、その装置および移動体検出測定プログラムを記録した記録媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61266551A (ja) * 1985-05-20 1986-11-26 Hitachi Metals Ltd 永久磁石合金
JPH08221577A (ja) * 1995-02-17 1996-08-30 Hitachi Ltd 移動体検出・抽出装置及び方法
JPH11134506A (ja) * 1997-10-31 1999-05-21 Hitachi Ltd 移動体組合せ検出装置および方法
JP2000090264A (ja) * 1998-09-11 2000-03-31 Omron Corp 生体照合方法およびその装置
JP2000318584A (ja) * 1999-05-12 2000-11-21 Mk Seiko Co Ltd 洗車機

Also Published As

Publication number Publication date
US20060002588A1 (en) 2006-01-05
US20020048388A1 (en) 2002-04-25
JP3828349B2 (ja) 2006-10-04
US6963658B2 (en) 2005-11-08
US7308113B2 (en) 2007-12-11

Similar Documents

Publication Publication Date Title
JP3828349B2 (ja) 移動体検出測定方法、その装置および移動体検出測定プログラムを記録した記録媒体
US6654481B2 (en) Mobile object combination detection apparatus and method
US8189049B2 (en) Intrusion alarm video-processing device
US6404455B1 (en) Method for tracking entering object and apparatus for tracking and monitoring entering object
US8553084B2 (en) Specifying search criteria for searching video data
US6999004B2 (en) System and method for vehicle detection and tracking
CN110838233B (zh) 车辆行为分析方法、装置及计算机可读存储介质
US20100202661A1 (en) Moving object detection apparatus and computer readable storage medium storing moving object detection program
US20240071215A1 (en) Detection method and apparatus of abnormal vehicle, device, and storage medium
JP6653361B2 (ja) 路面標示画像処理装置、路面標示画像処理方法及び路面標示画像処理プログラム
GB2443739A (en) Detecting image regions of salient motion
Li et al. PETS 2015: Datasets and challenge
Noh et al. Analysis of vehicle–pedestrian interactive behaviors near unsignalized crosswalk
CN112562406B (zh) 一种越线行驶的识别方法及装置
KR102351476B1 (ko) 객체 충돌 예측을 위한 장치, 시스템 및 방법
JP4384647B2 (ja) 移動体検出測定装置、移動体検出測定方法および記録媒体
JP2008152586A (ja) エリア警戒自動識別監視システム
CN114882709A (zh) 车辆拥堵检测方法、装置及计算机存储介质
CN115471804A (zh) 标注数据质检方法、装置、存储介质及电子设备
KR20190060161A (ko) 다중 분산 영상 데이터 분석 장치
JP4714872B2 (ja) 画像上重畳移動物体分割方法及び装置
KR102452570B1 (ko) Cctv 영상을 통해 교통상황에 대한 특이패턴을 감지하는 장치, 방법 및 프로그램
CN112135108B (zh) 视频流字幕检测方法、系统、设备及存储介质
KR102317311B1 (ko) 영상을 이용한 정보 분석 시스템 및 그에 관한 방법
WO2024111474A1 (ja) 計数装置、計数システム、計数方法、およびプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060411

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060607

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060706

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090714

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100714

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100714

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110714

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110714

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120714

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130714

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees