JP2000231693A - Vehicle passage monitoring/managing device - Google Patents
Vehicle passage monitoring/managing deviceInfo
- Publication number
- JP2000231693A JP2000231693A JP11032507A JP3250799A JP2000231693A JP 2000231693 A JP2000231693 A JP 2000231693A JP 11032507 A JP11032507 A JP 11032507A JP 3250799 A JP3250799 A JP 3250799A JP 2000231693 A JP2000231693 A JP 2000231693A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- picture
- template
- passing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Alarm Systems (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、道路上での交通流
を画像として提供する自動車通行監視・管理装置に関す
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a vehicle traffic monitoring / management apparatus for providing a traffic flow on a road as an image.
【０００２】[0002]
【従来の技術】道路の路上又は路側高所にカメラを設置
して、道路上の多車線の交通流を監視や管理しようとす
る試みがある。カメラで撮像した画像は、監視や管理を
行うべきセンタに送られ、交通流の計測に利用された
り、情報提供業者やタクシー会社、運送会社に提供され
る。走行中の車に搭載されたナビシステムに提供される
例もある。2. Description of the Related Art Attempts have been made to monitor and manage a multi-lane traffic flow on a road by installing a camera on the road or on a roadside high place. The images captured by the cameras are sent to a center where monitoring and management are to be performed, used for measuring traffic flow, and provided to information providers, taxi companies, and transportation companies. There is also an example provided in a navigation system mounted on a running car.
【０００３】こうした、交通流に関する従来例には、特
開平８−２２１５７７号、特開平６−４７９５号があ
る。特開平８−２２１５７７号は、車と背景との識別を
行うことで、移動する車を正確、確実に画像として得よ
うとする例である。特開平６−４７９５号は、移動する
車の画像の２値化を行い、その面積を求め、これから車
の渋滞の程度を数値化しようとするものである。Conventional examples of such traffic flow include Japanese Patent Application Laid-Open Nos. 8-221577 and 6-4795. Japanese Patent Application Laid-Open No. 8-221577 is an example in which a moving vehicle is accurately and reliably obtained as an image by identifying the vehicle and the background. Japanese Patent Application Laid-Open No. 6-4795 discloses a technique of binarizing an image of a moving car, obtaining the area of the image, and quantifying the degree of congestion of the car.
【０００４】[0004]
【発明が解決しようとする課題】交通流の監視や管理
は、特開平６−４７９５号にあるように交通流を数値化
して行う点に特徴があった。しかし、カメラで撮影した
画像をそのまま交通流情報として把握できれば、交通流
のリアリティが維持され、監視や管理に役立つ。特開平
８−２２１５７７号は、移動する車画像を、背景と区別
して、正確・確実に得ようとするものであるが、公益的
観点ではなく利益観点の強い従来例である。即ち、正確
・確実に移動体を把握しようとする点が目的であって、
道路上での交通流ではこうした把握と共に移動する車の
プライバシー保護の観点が不可欠であるが、特開平８−
２２１５７７号には、このような観点はない。理由は、
情報提供業者等の交通流の配信という際の公益性を考慮
していないことによる。The monitoring and management of the traffic flow is characterized in that the traffic flow is digitized as disclosed in Japanese Patent Application Laid-Open No. 6-4795. However, if the image taken by the camera can be grasped as it is as traffic flow information, the reality of the traffic flow is maintained, which is useful for monitoring and management. Japanese Patent Application Laid-Open No. 8-221577 discloses a moving vehicle image that is accurately and reliably obtained by distinguishing it from a background, but is a conventional example having a strong profit point rather than a public point of view. In other words, the purpose is to accurately and reliably grasp the moving object,
In traffic flow on roads, it is essential to protect the privacy of moving vehicles together with this understanding.
No. 221577 does not have such a viewpoint. Reason,
This is because the public interest in the distribution of traffic flow by information providers etc. is not considered.
【０００５】本発明の目的は、交通流の映像を画像とし
て提供すると共にその配信画像にプライバシー保護とい
う公益性を持たせて行わせるようにした自動車通行監視
・管理装置を得るものである。An object of the present invention is to provide an automobile traffic monitoring / management apparatus which provides a video of a traffic flow as an image and makes the delivered image have the public benefit of privacy protection.
【０００６】[0006]
【課題を解決するための手段】本発明は、道路上での通
行自動車を背景を含めてリアルタイムで次々に撮像する
手段と、撮像した画像の中から通行自動車画像を抽出
し、プライバシー部分を含む部分を削除又はマスクをか
け、かくして得た画像を配信用画像として出力する手段
と、を備えた自動車通行監視・管理装置を開示する。SUMMARY OF THE INVENTION The present invention includes a means for sequentially capturing images of a passing vehicle on a road including a background in real time, and extracting a passing vehicle image from the captured image and including a privacy portion. Means for deleting or masking a portion and outputting the image thus obtained as a distribution image.
【０００７】更に本発明は、道路上での通行自動車を背
景を含めてリアルタイムで次々に撮像する手段と、撮像
した画像の中から通行自動車画像を抽出し、車体フレー
ムのみの画像を得、これを配信用画像として出力する手
段と、を備えた自動車通行監視・管理装置を開示する。Further, the present invention provides a means for sequentially taking images of a passing vehicle on a road including a background in real time, extracting a passing vehicle image from the captured images, and obtaining an image of only a vehicle body frame. And a means for outputting an image as a distribution image.
【０００８】更に本発明は、道路上での通行自動車を背
景を含めて次々に撮像する手段と、撮像した画像中にサ
ーチエリアを設定し、サーチエリア内での初期の通行自
動車画像からプライバシー部分を含む部分を削除又はマ
スクをかけ、かくして得た画像をテンプレート画像と
し、その後の画面内での移動範囲に沿って変化する当該
通行自動車画像に代わってテンプレート画像又はこのテ
ンプレート画像を進行状況に応じて修正した修正画像を
配信用画像として出力する手段と、を備えた自動車通行
監視・管理装置を開示する。[0008] Further, the present invention provides a means for sequentially taking images of a passing vehicle on a road including a background, a search area being set in the taken image, and a privacy portion from an initial passing vehicle image in the search area. The part containing is deleted or masked, and the image thus obtained is used as a template image. And a means for outputting the corrected image as a distribution image.
【０００９】更に本発明は、出力する手段にあっては、
当該自動車の移動は、テンプレート画像に類似する画像
を追跡することによって行うものとした自動車通行監視
・管理装置を開示する。Further, according to the present invention, in the output means,
Disclosed is a vehicle traffic monitoring / management device in which the movement of the vehicle is performed by tracking an image similar to the template image.
【００１０】更に本発明は、出力手段にあっては、初期
のテンプレート画像又はその修正画像に代わって、その
後の画面内での当該自動車の移動に応じた撮像画像をテ
ンプレート画像として選択配信する手段を持つものとし
た自動車通行監視・管理装置を開示する。Further, according to the present invention, in the output means, instead of the initial template image or its modified image, a selected image according to the movement of the vehicle on the subsequent screen is selectively distributed as a template image. Disclosed is a vehicle traffic monitoring / management device having the following.
【００１１】更に本発明は、道路上での通行自動車を背
景を含めてリアルタイムで次々に撮像する手段と、種々
の自動車の外観画像を格納するデータベース部と、撮像
した画像の中から運行自動車画像を抽出し、該抽出した
自動車画像に同一又は類似の外観画像をデータベースか
ら選択する手段と、この選択した外観画像を配信用画像
として出力する手段と、を備えた自動車通行監視・管理
装置を開示する。Further, the present invention provides a means for sequentially capturing images of vehicles passing on a road, including the background, in real time, a database unit for storing appearance images of various vehicles, and a running vehicle image from the captured images. Discloses a vehicle traffic monitoring / management device comprising: means for extracting an appearance image identical or similar to the extracted vehicle image from a database; and means for outputting the selected appearance image as a distribution image. I do.
【００１２】[0012]
【発明の実施の形態】図３は、本発明の監視・管理シス
テムを示す図である。車道２５の上方又は側方にＴＶカ
メラ２０を設置し、その撮像画像を画像送信器２１を介
して、画像処理装置２２に送る。画像処理装置２２は、
センタ又は中継所に設置されており、画像送信器２１か
らの画像を取り込み、所定の画像を得、これをインター
ネット等の伝送系２３を通じて配信し、端末としてのデ
ィスプレイ装置２４に送り、表示を行う。画像処理装置
２２は、処理３０で、取り込みを行い、処理３１で進入
車両の検出を行い、処理３２で次の車両の特徴を抽出し
且つプライバシー部分の映像のマスク化や削除を行う。
更に、処理３３で編集を行い、処理３４で配信を行う。FIG. 3 is a diagram showing a monitoring / management system according to the present invention. The TV camera 20 is installed above or to the side of the roadway 25, and the captured image is sent to the image processing device 22 via the image transmitter 21. The image processing device 22 includes:
It is installed in a center or a relay station, takes in an image from the image transmitter 21, obtains a predetermined image, distributes this through a transmission system 23 such as the Internet, sends it to a display device 24 as a terminal, and performs display. . The image processing device 22 captures in a process 30, detects an approaching vehicle in a process 31, extracts features of the next vehicle in a process 32, and masks or deletes an image of a privacy portion.
Further, editing is performed in step 33, and distribution is performed in step.
【００１３】図１は、片側３車線の高速道路の固定設置
の交通流監視カメラ２０の映像を示す。図１（ａ）は監
視カメラを道路側方の高所に設置しての映像例、図１
（ｂ）は、監視カメラを道路中央の高所に設置しての映
像例を示す。交通流の映像による監視には、図１（ｂ）
の例が好ましい。FIG. 1 shows an image of a traffic flow monitoring camera 20 fixedly installed on a three-lane expressway. FIG. 1A is an example of an image in which a surveillance camera is installed at a high place beside a road, FIG.
(B) shows a video example in which a surveillance camera is installed at a high place in the center of a road. Fig. 1 (b)
Is preferred.
【００１４】図１（ｂ）の映像画面は、ある瞬間での撮
影画像を示すものであって、各自動車１は、次々にこの
映像エリア２に前方から入ってくると共に、次々にこの
映像エリア２から手前側へと消えてゆく。映像エリア２
内での映像の移動は、画面サイズ、視野、及び移動速度
によって定まる。１台の車の映像エリア２内での滞在時
間も同様の要因による。処理装置２２内では、映像エリ
ア２内には自動車の移動を追跡するために、図２に示す
ように上側から定間隔にサーチエリアＳＥ１〜ｎを仮想
的に設定してある。これは例えば水平走査線番号を指定
することで行う。The video screen shown in FIG. 1 (b) shows a photographed image at a certain moment, and each automobile 1 enters the video area 2 one after another from the front, and one after another. It disappears from 2 toward you. Image area 2
The movement of the video within the camera is determined by the screen size, the field of view, and the moving speed. The staying time of one vehicle in the image area 2 is also due to the same factor. In the processing device 22, search areas SE1 to SEn are virtually set at regular intervals from the upper side as shown in FIG. This is performed, for example, by designating a horizontal scanning line number.
【００１５】映像エリア２の撮像計測タイミングは、交
通流を監視可能なタイミングであればよく、正常流では
５０ｍ秒〜１００ｍ秒、渋滞流では少なくとも４００ｍ
秒程度以上といった計測タイミングとする。従って、１
台の移動車の、映像エリア内で得られる計測画像数は、
数個〜１０数個程度となる。The imaging measurement timing of the image area 2 may be any timing at which a traffic flow can be monitored, and is 50 to 100 msec for a normal flow, and at least 400 m for a congested flow.
The measurement timing is about seconds or more. Therefore, 1
The number of measurement images obtained in the image area of one mobile car is
The number is about several to several tens.
【００１６】処理３１での移動車の検知の仕方を説明す
る。図１（ｂ）に示すように、画像上方の車が進入して
くる上方の１つのサーチエリアをテンプレート画像抽出
用のサーチエリアＴＳＥとして設定する。ＳＥ１でもよ
いが、ＳＥ２かＳＥ３でもよい。サーチエリアＴＳＥ上
で、進入してくる移動車を識別する。識別方法は、サー
チエリアの縦（ｘ）と横（ｙ）とで、別々に画素値の投
影を行うことで投影画素値の大きいエリアを進入車の画
像とするやり方をとる。図１（ｃ）が、あるタイミング
でのサーチエリアＴＳＥ内での画像例であり、サーチエ
リアＴＳＥ内の画像をｘ、ｙ軸方向にそれぞれ投影し、
図１（ｄ）の如く規定しきい値となる領域である画素領
域３を選び、この画素領域３を進入車の切り出し画像領
域とする。そして、画素領域３内の画像を進入車画像と
して識別する。A method of detecting a moving vehicle in the process 31 will be described. As shown in FIG. 1 (b), one search area above the image, into which a car enters, is set as a search area TSE for extracting a template image. SE1 may be used, but SE2 or SE3 may be used. On the search area TSE, an incoming moving vehicle is identified. The identification method employs a method of separately projecting pixel values in the vertical (x) and horizontal (y) directions of the search area so that an area having a large projected pixel value is used as an image of the approaching vehicle. FIG. 1C shows an example of an image in the search area TSE at a certain timing. The image in the search area TSE is projected in the x and y axis directions, respectively.
As shown in FIG. 1D, a pixel region 3 which is a region having a prescribed threshold value is selected, and this pixel region 3 is set as a cut-out image region of an approaching vehicle. Then, the image in the pixel area 3 is identified as the approaching vehicle image.
【００１７】画素領域３は、投影画素値の中で規定値よ
りも大きい画素値となる領域を選ぶことで抽出可能であ
るが、車の特徴を反映した抽出を行うやり方がよい。進
入車の前面部は、他の部位に比べて水平縦模様が多い。
フロント部の上下の水平エッジ、バンパー部の水平エッ
ジ等があるためによる。そこで、サーチエリアＴＳＥ内
でのこうした水平エッジを抽出し、その後でｘ、ｙ軸方
向にそれぞれ投影し、規定しきい値との比較を行って、
進入車の画素領域３を選択する。The pixel area 3 can be extracted by selecting an area having a pixel value larger than a specified value from among the projected pixel values. However, it is preferable to perform an extraction reflecting the characteristics of the car. The front part of the approaching vehicle has more horizontal and vertical patterns than other parts.
This is because there are upper and lower horizontal edges of the front portion, horizontal edges of the bumper portion, and the like. Therefore, such horizontal edges in the search area TSE are extracted, and then projected in the x and y axis directions, respectively, and compared with specified threshold values.
The pixel area 3 of the approaching vehicle is selected.
【００１８】図１（ｂ）で車１１，１２は既に進入済み
であって、それ以前の撮像タイミングで、サーチエリア
ＴＳＥ上で抽出済みである。車１０は進入したばかりの
車であり、図１（ｄ）によってその画素領域が検出でき
たことになる。尚、サーチエリアＴＳＥで抽出失敗して
も、次のサーチエリアを新しいＴＳＥとして設定するこ
とで抽出するといったやり方をとれば、確実に抽出可能
である。In FIG. 1B, the vehicles 11 and 12 have already entered, and have been extracted on the search area TSE at the imaging timing before that. The vehicle 10 is a vehicle that has just entered, and its pixel area has been detected according to FIG. Incidentally, even if the extraction fails in the search area TSE, it is possible to reliably extract the data by setting the next search area as a new TSE and extracting the new search area.
【００１９】進入車の画素領域の画像から進入車の車両
テンプレート画像を抽出する。この抽出処理は、図１
（ｄ）で確定した画素領域３の中心座標を求めること、
求めた中心座標から縦横所定画素数の画像を映像エリア
２から切り出すこと、切り出した画像をテンプレート画
像とすること、の処理から成る。切り出し画素数は、例
えば、水平（ｘ）３２〜６４画素数、垂直（ｙ）１６画
素数程度である。The vehicle template image of the approaching vehicle is extracted from the image of the pixel region of the approaching vehicle. This extraction process is shown in FIG.
Obtaining the center coordinates of the pixel area 3 determined in (d);
It consists of a process of cutting out an image having a predetermined number of pixels vertically and horizontally from the image area 2 from the obtained center coordinates, and using the cut out image as a template image. The number of cut-out pixels is, for example, about 32 to 64 horizontal (x) pixels and about 16 vertical (y) pixels.
【００２０】映像エリア２上では、進入車は、サーチエ
リアＴＳＥを通り過ぎて前方から手前へと移動し、その
過程で、前述したように数回〜１０数回の撮像がなされ
る。そして、撮像タイミング毎に映像エリア上での撮影
位置及び撮像画像の形状が異なる。即ち、撮像タイミン
グの更新順に、撮影位置は手前側へと移動し、撮影画像
の形状は小から大へと変化し、且つ撮影視野角度（迎
角）も遠くの視野から近くの視野へと変化する。こうし
た位置と形状とが変化してゆく移動車に対して、すべて
の撮像タイミング毎に、前述の方法でテンプレート画像
を切り出していたのでは、情報量が膨大となり、処理時
間の負担も高くなる。In the image area 2, the approaching vehicle passes from the search area TSE to move from the front to the front, and in the process, several to several tens of images are taken as described above. Then, the shooting position on the video area and the shape of the shot image are different for each shooting timing. In other words, in the order of updating the imaging timing, the imaging position moves to the near side, the shape of the captured image changes from small to large, and the imaging viewing angle (angle of attack) also changes from a far field to a near field. I do. If the template image is cut out by the above-described method at every imaging timing for a moving vehicle whose position and shape are changing, the amount of information becomes enormous, and the processing time becomes heavy.
【００２１】そこで、映像エリア内での、進入車の動き
を映像エリア上で追跡するものとし、同一車に対して
は、サーチエリアＴＳＥで得た最初のテンプレート画像
をそのまま、その後の撮像タイミングでの画像として利
用することにする。これによって画像処理の負担を軽減
する。同一車の画像上での追跡処理を図４を利用して以
下で説明する。Therefore, it is assumed that the movement of the approaching vehicle in the image area is tracked on the image area. For the same vehicle, the first template image obtained in the search area TSE is used as it is at the subsequent imaging timing. Will be used as an image. This reduces the load on image processing. The tracking process on the image of the same vehicle will be described below with reference to FIG.
【００２２】車の移動は車の最大速度、画像の入力周期
（撮像タイミング周期）で定まる。そして、各サーチエ
リア上を次々に移動する。そこでサーチエリアＳＥ上
で、既に切り出した進入車のテンプレート画像と最も類
似の高い画像を相関処理を利用して見つける。この時、
切り出したテンプレート画像の車の進行方向を予測して
おくと、相関すべき対象画像は少なくなる。予測は、車
の速度等を考慮して行う。しかし、進路変更もある故
に、完全予測はできない。車の進行に伴って撮影画像の
形状が変化するからであり、あくまで類似の程度で同一
車か否かを判断する。The movement of the vehicle is determined by the maximum speed of the vehicle and the image input cycle (imaging timing cycle). Then, it moves on each search area one after another. Therefore, on the search area SE, an image having the highest similarity to the already extracted template image of the approaching vehicle is found by using the correlation processing. At this time,
If the traveling direction of the car of the cut-out template image is predicted, the number of target images to be correlated decreases. The prediction is performed in consideration of the vehicle speed and the like. However, complete prediction is not possible due to course changes. This is because the shape of the photographed image changes with the progress of the vehicle, and it is determined whether or not the vehicles are the same vehicle to a similar degree.
【００２３】図４には、１つの車両テンプレート画像の
抽出（切出）から配信までの処理をフローチャート形式
で示した図である。フローＦ1では、ある時刻ｔjでの撮
像画像から車両テンプレート画像ＴＰmを抽出する。時
刻ｔjとは、任意であり、ある任意の進入車両の検出が
可能な時刻との意味であり、次の時刻ｔj+1では、別の
進入車両の検出や上記時刻ｔjで検出した進入車両のそ
の後の位置を検出したりする処理を行う。従って、時刻
ｔjでも、あるサーチエリアＴＳＥ上で進入車両の検出
を行うと同時に、他のサーチエリアＳＥ上で他の車両の
移動を追跡したりする。このように、次々に撮像する画
像の中から、ＴＳＥでは進入車両の検出、ＴＳＥ以降の
ＳＥでは既に検出した進入車両の移動追跡を、併行して
行うことになる。図４では、こうした前提のもとに、あ
る１台の進入車両の進入の検出とその後（ｔj+i、但
し、ｉ＝１、２、…の任意の値）の移動検出を行う追跡
処理を示したものである。フローＦ2では、抽出した車
両テンプレート画像ＴＰmからプライバシー部分を除去
（マスクや削除）した画像ＴＰmnを得る。そして画像Ｔ
Ｐmnを送出する。このプライバシー除去の処理について
は後述する。フローＦ3では、その後の時刻ｔj+iでの撮
像画像からテンプレート画像ＴＰmに類似する画像を見
つけ出す（ここで、次のサーチエリアで類似画像が見つ
かれば、フローＦ3でのｉとはｉ＝１となり、ｉ＝１の
サーチエリアではなく、更に次のサーチエリアであれ
ば、ｉ＝２となる。ｉとはこのような意味を持つ）。こ
の見つけ出した画像は、切り出すことなく、先に抽出し
たテンプレート画像ＴＰmのプライバシー除去画像ＴＰ
mnを、代わりに送出する。FIG. 4 is a flowchart showing a process from extraction (cutout) to distribution of one vehicle template image. In the flow F 1, to extract the vehicle template image TP m from the captured image at a certain time t j. The time t j is arbitrary and means a time at which a certain arbitrary approaching vehicle can be detected. At the next time t j + 1 , another approaching vehicle is detected or detected at the time t j . A process for detecting the subsequent position of the approaching vehicle is performed. Therefore, even at time t j , detection of an approaching vehicle is performed on a certain search area TSE, and movement of another vehicle is tracked on another search area SE. As described above, from the images captured one after another, the detection of the approaching vehicle is performed in the TSE, and the movement tracking of the already detected approaching vehicle is performed in the SE after the TSE. In FIG. 4, based on such a premise, a tracking process for detecting the entry of a certain entering vehicle and detecting the movement thereafter (t j + i , where i = 1, 2,...). It is shown. In flow F 2, to obtain an image TP mn was extracted remove privacy portion from the vehicle template image TP m (mask or remove). And the image T
Send out P mn . This privacy removal processing will be described later. In the flow F 3 , an image similar to the template image TP m is found from the captured image at the subsequent time t j + i (here, if a similar image is found in the next search area, what is i in the flow F 3 is i = 1, i = 2 if the search area is not the search area of i = 1 but is the next search area (i has such a meaning). This found image is a privacy-removed image TP of the previously extracted template image TP m without being cut out.
send mn instead.
【００２４】図５は、進入車両の移動方向を予測し、そ
の予測方向領域に絞って、類似判断をするフローを示
す。そのフローがＦ5である。移動予測方向は、車両の
向きと移動速度から決定する。FIG. 5 shows a flow for estimating the moving direction of the approaching vehicle and narrowing down the prediction direction area to make a similarity determination. The flow is F 5. The movement prediction direction is determined from the direction of the vehicle and the movement speed.
【００２５】撮像タイミングが更新されるに従って、最
初のテンプレート画像と様相の異なった画像が得られ
る。従って、相関処理では、同一車か否かの判断を得に
くい場合がある。こうした場合、テンプレート画像を更
新することが必要となる。例えば、更新回数の限界値ｎ
を定めておき、１〜ｎ回までは最初のテンプレート画像
をそのまま撮像画像として利用するやり方、又、相関処
理である規定以上の差分が現れた場合、その時点（又は
次の時点）での入力画像上で新たなサーチエリアＳＥを
設定し、新しいテンプレート画像を選択するやり方等が
ある。As the imaging timing is updated, an image having a different aspect from the first template image is obtained. Therefore, in the correlation processing, it may be difficult to determine whether or not the vehicle is the same vehicle. In such a case, it is necessary to update the template image. For example, the limit value n of the number of updates
Is defined, and the first template image is used as it is as a captured image from 1 to n times, or when a difference exceeding a prescribed value, which is a correlation process, appears, input at that time (or the next time) There is a method of setting a new search area SE on an image and selecting a new template image.
【００２６】図６は、車両テンプレート画像を更新する
フローチャートを示す。フローＦ8で、その予測方向に
類似する車両画像があるか否かチェックする。フローＦ
9では規定の類似度Ｒ1とＲ2とを与えておき、Ｒ1とＲ2
との間にある車両画像を同一車両と判定し、その時の画
像を新しいテンプレート画像ＴＰm-1として抽出する。
そして、プライバシー部分を除去した画像ＴＰmn-1を
得、これを送出する。ここで、Ｒ1は類似の最大限界
値、Ｒ2は、同一とみなしうる画像の最大限界値であ
る。従って、Ｒ1以下の車両画像に対しては、元のテン
プレート画像を代わって用い、Ｒ2以上の車両画像に対
しては、別の車両として認定し、Ｒ1とＲ2との間にある
車両画像のみを、同一ではあるが元のテンプレート画像
をそのまま利用してはまずく代わりに新しくその時点で
抽出したテンプレート画像を用いるとしたのである。FIG. 6 shows a flowchart for updating the vehicle template image. In the flow F 8, a check is made to see if there is a vehicle image similar to the prediction direction. Flow F
In step 9 , prescribed similarities R 1 and R 2 are given, and R 1 and R 2
Is determined to be the same vehicle, and the image at that time is extracted as a new template image TP m-1 .
Then, an image TP mn-1 from which the privacy portion has been removed is obtained and transmitted. Here, R 1 is a similar maximum limit value, and R 2 is a maximum limit value of images that can be regarded as the same. Thus, for R 1 the following vehicle image, using instead of the original template image, for R 2 or more vehicle image, recognized as a separate vehicle, lies between R 1 and R 2 Instead of using the same, but original, template image as it is, it is difficult to use only the vehicle image instead of using the new template image extracted at that time.
【００２７】次に処理３２によるテンプレート画像か
ら、プライバシー部分を除去する処理について説明す
る。テンプレート画像は、車の前面部の撮像画像であ
り、ナンバプレートや乗車人間の映像が入り込む。これ
らは、交通流にとっては私的なプライバシーの部分であ
り、交通流を無差別に第３者が提供する場合、公益性の
高い監視・管理となることから、プライバシーの流出は
絶対に避けなければならない。そこで、テンプレート画
像からナンバプレートや乗車人間の映像を除く画像処理
が必要となる。Next, the process of removing the privacy portion from the template image by the process 32 will be described. The template image is a captured image of the front part of the car, and includes a number plate and an image of a passenger. These are private privacy aspects of the traffic flow, and if a traffic flow is provided indiscriminately by a third party, privacy monitoring and management will be performed with high public benefit, so privacy leakage must be avoided. Must. Therefore, image processing for removing the number plate and the image of the occupant from the template image is required.
【００２８】この処理の代表的なやり方には、テンプレ
ート画像について車体のフレーム部分（外側の枠の画
像）のみを抽出するやり方がある。枠の画像とは、いわ
ゆるエッジ画像のことであり、一般的なエッジ抽出処理
によって実現できる。他のやり方は、ナンバプレートや
乗車人間の映像部位を抽出して、それにマスクをかける
やり方である。かくして得たフレーム部分のみの画像や
一部マスクをかけた部位を持つ画像を配信用の正規のテ
ンプレート画像として高速大容量バッファメモリに一時
格納すると共に即座に情報提供業者等に配信する。As a typical method of this processing, there is a method of extracting only a frame portion (an image of an outer frame) of a vehicle body from a template image. The frame image is a so-called edge image, which can be realized by a general edge extraction process. Another method is to extract the number plate or the image portion of the occupant and mask it. The image of only the frame portion or the image having a part with a partial mask thus obtained is temporarily stored in a high-speed large-capacity buffer memory as a normal template image for distribution, and is immediately distributed to an information provider or the like.
【００２９】この配信される画像は、撮像タイミング毎
に得られる画像であり、基本的には、１つのサーチエリ
アＴＳＥ上では、車線毎に１台の車両ありとみて、３車
線であれば、１回のタイミングで最大３台となる。そし
て、各タイミング毎に得る画像は、処理の中では相関処
理によって同一車両として認定しているが、これはテン
プレート画像をそのまま利用するためであって、配信さ
れる画像にあっては、撮像タイミングが異なる毎に同一
車両との認識は全くなく、単に正規のテンプレート画像
が次々に送られるだけである。この点は、撮像二次元の
面上で交通流をオンラインで撮像検出して、画像配信す
るという本発明の特徴の１つである。This distributed image is an image obtained at each imaging timing. Basically, on one search area TSE, there is one vehicle per lane and if there are three lanes, The maximum is three at one time. The images obtained at each timing are identified as the same vehicle by the correlation process in the processing, but this is because the template image is used as it is, and in the delivered image, the imaging timing Is different, there is no recognition of the same vehicle at all, and only regular template images are sent one after another. This point is one of the features of the present invention in that a traffic flow is imaged and detected online on a two-dimensional imaging plane, and the image is distributed.
【００３０】図７には配信画像例を示す。１つの撮像画
像（ある時刻ｔ）で、全部で１０個のテンプレート画像
ＴＰmn1〜ＴＰm10（移動中の車両画像についてのテンプ
レート画像を含む）が得られ、その各位置を維持した二
次元状態で画像配信されることになる。但し、送信形式
がシリアルかバラレルかは任意である。FIG. 7 shows an example of a distribution image. In one captured image (a certain time t), a total of ten template images TP mn1 to TP m10 (including a template image of a moving vehicle image) are obtained, and in a two-dimensional state in which each position is maintained. The image will be distributed. However, whether the transmission format is serial or parallel is optional.
【００３１】他の実施の形態について述べる。テンプレ
ート画像は、実測した撮像画像から得ているが、車の種
別やサイズや形状は、基本的に我国にあっては、陸運局
に登録されているものである。そこで、実測した画像に
代わって、既に登録してある車について規格テンプレー
ト画像をデータベースとして登録格納しておき、実測し
た撮像画像で仮テンプレート画像を前記実施例の如きサ
ーチエリア方式で求め、この仮テンプレート画像に最も
類似した規格テンプレート画像をデータベースから見つ
け出し、それを正規テンプレート画像として配信する。Another embodiment will be described. The template image is obtained from an actually measured captured image, but the type, size, and shape of the vehicle are basically registered in the Land Transport Office in Japan. Therefore, in place of the actually measured image, a standard template image is registered and stored as a database for the already registered car, and a temporary template image is obtained from the actually measured captured image by the search area method as in the above embodiment. The standard template image most similar to the template image is found from the database and distributed as a regular template image.
【００３２】ここで、仮テンプレート画像を実測画像か
ら求めたが、車に各車の種別やサイズや形状が分かるよ
うな標識を付けておき、それを検知することで、規格テ
ンプレート画像を取り出すこともできる。この場合、デ
ータベースの検索は、その標識を目印として行うことに
なる。又、このデータベースには、同一車両に関して、
１つの規格テンプレート画像とは限らない。サイズや視
野の異なる複数の格納テンプレート画像を格納させてお
くことも可能である。これによって、同一車両に対して
位置や撮影視野の違いによる種々の現実に対応した規格
テンプレート画像を見つけ出すことができる利点があ
る。Here, the temporary template image is obtained from the actually measured image, but a mark is attached to the vehicle so that the type, size, and shape of each vehicle can be recognized, and by detecting this, the standard template image can be extracted. Can also. In this case, the search of the database is performed using the mark as a mark. Also, this database contains the same vehicle
It is not necessarily one standard template image. It is also possible to store a plurality of storage template images having different sizes and fields of view. As a result, there is an advantage that it is possible to find a standard template image corresponding to various realities depending on the position and the field of view of the same vehicle.
【００３３】更に、前記進入及び追跡及び配信の処理
は、１つのＴＶカメラからの映像としたが、数１０ｍ〜
数１００ｍ離れた２つの位置にＴＶカメラを設定して、
進入、追跡をする例にも適用できる。サーチエリアを設
定して利用したが、サーチエリアを特に定めずに検出や
追跡する例もある。Further, the processing of the approach, tracking and distribution is performed by using an image from one TV camera.
Set the TV camera at two positions several hundred meters apart,
It can also be applied to the approach and tracking example. Although a search area is set and used, there is an example in which detection and tracking are performed without particularly defining the search area.
【００３４】配信先や利用の仕方について述べる。以下
の如き例がある。 （１）、交通流情報提供業者…交通流は、現状では渋滞
度を数値化して提供している。ラジオによる提供、ナビ
ゲーションシステムでの提供等である。しかし、交通流
のみを本格的に提供する全国的又は地域的運行監視・管
理システムが開発されつつあり、こうした業者に対し
て、数値化データの他に、実映像に近い車画像が提供で
きれば、リアルティのある情報提供となり、この業者か
ら先の受け手側でもリアルティのある画像として利用価
値が高いものとなる。 （２）、輸送業者…人間を運ぶタクシーやハイヤー業
者、物を運ぶ物流業者がある。こうした業者にとって
は、交通流をリアルティに把握することは、運行管理に
とってとりわけ重要である。 （３）、ディスプレイ…カーナビゲーション用ディスプ
レイに表示する例、固定設置の地域交通流大型ディスプ
レイに表示する例、固定設置の景観表示用大型ディスプ
レイに表示する例、輸送業者の持つ大型画面に表示する
例等がある。 （４）、実測画像以外の例…道路交通シュミレーション
で車の流れを予測したりすることがある。こうした例に
対しても、適用は可能である。 （５）、数値化データの基本データとしての利用例…数
値化データを別個に検出しても良いが、上記テンプレー
ト画像から渋滞度等の数値化データを求める例に適用で
きる。The distribution destination and how to use it will be described. There are the following examples. (1) Traffic flow information provider: At present, traffic flow is provided by quantifying the degree of congestion. Provision by radio, provision by navigation system, etc. However, a nationwide or regional operation monitoring and management system that provides only traffic flow in full swing is being developed, and if such a vehicle can be provided with a car image close to the actual image in addition to the digitized data, The information is provided with realism, and the receiving side from this trader has high utility value as a realistic image. (2) Transporters: There are taxis and hire companies that carry humans, and logistics companies that carry goods. For these companies, real-time understanding of traffic flow is especially important for traffic management. (3) Display: An example of display on a car navigation display, an example of display on a fixedly installed large area traffic flow display, an example of display on a fixedly installed landscape display, or an image displayed on a large screen of a carrier There are examples. (4) Examples other than the actually measured image: The flow of a vehicle may be predicted by a road traffic simulation. The application is also applicable to such an example. (5) Example of using digitized data as basic data: Although digitized data may be detected separately, the present invention can be applied to an example of obtaining digitized data such as the degree of congestion from the template image.
【００３５】[0035]
【発明の効果】本発明によれば、実測交通流映像を基に
して、リアルティがあり、且つ公益性としてのプライバ
シーの露出のない交通流画像を得ることができた。According to the present invention, it is possible to obtain a traffic flow image that is realistic and has no privacy exposure as a public benefit based on the actually measured traffic flow image.
【図１】本発明の撮像画像例図及び車両テンプレート画
像の抽出例図である。FIG. 1 is a diagram illustrating an example of a captured image and an example of extracting a vehicle template image according to the present invention.
【図２】サーチエリアＳＥを示す図である。FIG. 2 is a diagram showing a search area SE.
【図３】本発明の監視・管理システム例図である。FIG. 3 is a diagram illustrating an example of a monitoring and management system according to the present invention.
【図４】本発明のフローチャート例図である。FIG. 4 is an example of a flowchart of the present invention.
【図５】本発明の他のフローチャート例図である。FIG. 5 is another flowchart example of the present invention.
【図６】更に他の本発明のフローチャート例図である。FIG. 6 is a flowchart illustrating another example of the present invention.
【図７】ある任意の時刻ｔでの撮像画像から得た配信画
像例図である。FIG. 7 is a diagram illustrating an example of a distribution image obtained from a captured image at an arbitrary time t.
１ 自動車（車両） ２ 道路 ３ 抽出領域 ＳＥ サーチエリア ２０ ＴＶカメラ ２２ データ処理装置 ２３ データ伝送系 Reference Signs List 1 automobile (vehicle) 2 road 3 extraction area SE search area 20 TV camera 22 data processing device 23 data transmission system
───────────────────────────────────────────────────── フロントページの続き (72)発明者 横田 孝義 茨城県日立市大みか町七丁目１番１号 株 式会社日立製作所日立研究所内 Ｆターム(参考） 5C054 AA01 AA04 CA04 CE06 CG02 CH02 EA05 FA09 FC12 FE28 FF06 GB02 GD03 HA26 5C087 AA09 AA24 AA25 BB03 BB12 BB74 BB76 DD01 DD14 EE16 EE20 FF01 FF04 FF23 GG02 GG18 GG20 GG21 GG23 GG30 GG37 GG66 GG70 5H180 AA01 AA14 AA15 CC04 DD01 EE02 FF21 FF32 FF33 ────────────────────────────────────────────────── ─── Continued on the front page (72) Inventor Takayoshi Yokota 7-1-1, Omika-cho, Hitachi City, Ibaraki Prefecture F-term in Hitachi Research Laboratory, Hitachi, Ltd. F-term (reference) 5C054 AA01 AA04 CA04 CE06 CG02 CH02 EA05 FA09 FC12 FE28 FF06 GB02 GD03 HA26 5C087 AA09 AA24 AA25 BB03 BB12 BB74 BB76 DD01 DD14 EE16 EE20 FF01 FF04 FF23 GG02 GG18 GG20 GG21 GG23 GG30 GG37 GG66 GG70 5H180 AA01 AA14 FF32FF04 FF33
Claims (6)
アルタイムで次々に撮像する手段と、 撮像した画像の中から通行自動車画像を抽出し、プライ
バシー部分を含む部分を削除又はマスクをかけ、かくし
て得た画像を配信用画像として出力する手段と、 を備えた自動車通行監視・管理装置。1. A means for sequentially imaging a passing vehicle on a road including a background in real time, extracting a passing vehicle image from the captured image, and removing or masking a portion including a privacy portion, Means for outputting the image thus obtained as an image for distribution.
アルタイムで次々に撮像する手段と、 撮像した画像の中から通行自動車画像を抽出し、車体フ
レームのみの画像を得、これを配信用画像として出力す
る手段と、 を備えた自動車通行監視・管理装置。2. A means for successively capturing images of a passing vehicle on a road including a background in real time, extracting a passing vehicle image from the captured images, obtaining an image of only a vehicle body frame, and distributing the image. Means for outputting as an image; and a vehicle traffic monitoring and management device comprising:
々に撮像する手段と、 撮像した画像中にサーチエリアを設定し、サーチエリア
内での初期の通行自動車画像からプライバシー部分を含
む部分を削除又はマスクをかけ、かくして得た画像をテ
ンプレート画像とし、その後の画面内での移動範囲に沿
って変化する当該通行自動車画像に代わってテンプレー
ト画像又はこのテンプレート画像を進行状況に応じて修
正した修正画像を配信用画像として出力する手段と、 を備えた自動車通行監視・管理装置。3. A means for successively capturing images of a passing vehicle on a road including a background, a search area set in the captured image, and a portion including a privacy portion from an initial passing vehicle image in the search area. Was deleted or masked, and the image thus obtained was used as a template image, and the template image or this template image was modified in accordance with the progress in place of the passing car image that changes along the moving range in the subsequent screen Means for outputting the corrected image as an image for distribution; and a vehicle traffic monitoring and management device comprising:
車の移動は、テンプレート画像に類似する画像を追跡す
ることによって行うものとした請求項３の自動車通行監
視・管理装置。4. The vehicle traffic monitoring / management device according to claim 3, wherein in the output unit, the movement of the vehicle is performed by tracking an image similar to a template image.
レート画像又はその修正画像に代わって、その後の画面
内での当該自動車の移動に応じた撮像画像をテンプレー
ト画像として選択配信する手段を持つものとした請求項
４の自動車通行・管理装置。5. The output means includes means for selectively distributing, as a template image, a captured image corresponding to the movement of the vehicle on a subsequent screen in place of the initial template image or its modified image. 5. The vehicle traffic / management device according to claim 4, wherein:
アルタイムで次々に撮像する手段と、 種々の自動車の外観画像を格納するデータベース部と、 撮像した画像の中から運行自動車画像を抽出し、該抽出
した自動車画像に同一又は類似の外観画像をデータベー
スから選択する手段と、 この選択した外観画像を配信用画像として出力する手段
と、 を備えた自動車通行監視・管理装置。6. A means for successively capturing images of passing vehicles on a road in real time, including a background, a database unit for storing appearance images of various vehicles, and extracting a running vehicle image from the captured images. A means for selecting, from a database, an appearance image that is the same as or similar to the extracted vehicle image, and means for outputting the selected appearance image as a distribution image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03250799A JP3605525B2 (en) | 1999-02-10 | 1999-02-10 | Vehicle traffic monitoring and management device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03250799A JP3605525B2 (en) | 1999-02-10 | 1999-02-10 | Vehicle traffic monitoring and management device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000231693A true JP2000231693A (en) | 2000-08-22 |
| JP3605525B2 JP3605525B2 (en) | 2004-12-22 |
Family
ID=12360914
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03250799A Expired - Fee Related JP3605525B2 (en) | 1999-02-10 | 1999-02-10 | Vehicle traffic monitoring and management device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3605525B2 (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007272867A (en) * | 2006-03-08 | 2007-10-18 | Univ Kinki | Road condition photographing device and road condition photography system using the same |
| JPWO2008038333A1 (en) * | 2006-09-25 | 2010-01-28 | パイオニア株式会社 | Data recording apparatus, data recording method, data recording program, and computer-readable recording medium |
| JP2010026588A (en) * | 2008-07-15 | 2010-02-04 | Mitsubishi Heavy Ind Ltd | Personal information protection device, personal information protection method, program, and monitoring system |
| JP2010134918A (en) * | 2008-10-31 | 2010-06-17 | Toshiba Corp | Image information providing system |
| JP2011018286A (en) * | 2009-07-10 | 2011-01-27 | Toshiba Corp | Traffic image information providing system |
| JP2011039983A (en) * | 2009-08-18 | 2011-02-24 | Toshiba Alpine Automotive Technology Corp | Image display device for vehicle |
| JP2011055176A (en) * | 2009-09-01 | 2011-03-17 | Rohm Co Ltd | Driving information recorder for vehicle |
| JP2014059655A (en) * | 2012-09-14 | 2014-04-03 | Toshiba Corp | Road situation-monitoring device, and road situation-monitoring method |
| JP2014203123A (en) * | 2013-04-01 | 2014-10-27 | 株式会社東芝 | Infrastructure control device |
| JP2015079497A (en) * | 2013-10-16 | 2015-04-23 | ゼロックス コーポレイションＸｅｒｏｘ Ｃｏｒｐｏｒａｔｉｏｎ | Delayed vehicle identification for privacy protection |
| JP2018124825A (en) * | 2017-02-01 | 2018-08-09 | 株式会社デンソーテン | Drive recorder, image recording method, and monitoring device |
-
1999
- 1999-02-10 JP JP03250799A patent/JP3605525B2/en not_active Expired - Fee Related
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007272867A (en) * | 2006-03-08 | 2007-10-18 | Univ Kinki | Road condition photographing device and road condition photography system using the same |
| JPWO2008038333A1 (en) * | 2006-09-25 | 2010-01-28 | パイオニア株式会社 | Data recording apparatus, data recording method, data recording program, and computer-readable recording medium |
| JP2010026588A (en) * | 2008-07-15 | 2010-02-04 | Mitsubishi Heavy Ind Ltd | Personal information protection device, personal information protection method, program, and monitoring system |
| JP2010134918A (en) * | 2008-10-31 | 2010-06-17 | Toshiba Corp | Image information providing system |
| JP2011018286A (en) * | 2009-07-10 | 2011-01-27 | Toshiba Corp | Traffic image information providing system |
| JP2011039983A (en) * | 2009-08-18 | 2011-02-24 | Toshiba Alpine Automotive Technology Corp | Image display device for vehicle |
| JP2011055176A (en) * | 2009-09-01 | 2011-03-17 | Rohm Co Ltd | Driving information recorder for vehicle |
| JP2014059655A (en) * | 2012-09-14 | 2014-04-03 | Toshiba Corp | Road situation-monitoring device, and road situation-monitoring method |
| JP2014203123A (en) * | 2013-04-01 | 2014-10-27 | 株式会社東芝 | Infrastructure control device |
| JP2015079497A (en) * | 2013-10-16 | 2015-04-23 | ゼロックス コーポレイションＸｅｒｏｘ Ｃｏｒｐｏｒａｔｉｏｎ | Delayed vehicle identification for privacy protection |
| JP2018124825A (en) * | 2017-02-01 | 2018-08-09 | 株式会社デンソーテン | Drive recorder, image recording method, and monitoring device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3605525B2 (en) | 2004-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Omer et al. | An automatic image recognition system for winter road surface condition classification | |
| JP5435306B2 (en) | Image processing system and positioning system | |
| US11380105B2 (en) | Identification and classification of traffic conflicts | |
| Angel et al. | Methods of analyzing traffic imagery collected from aerial platforms | |
| CN106462727A (en) | Systems and methods for lane end recognition | |
| Šegvić et al. | A computer vision assisted geoinformation inventory for traffic infrastructure | |
| WO2010077316A1 (en) | Multiple object speed tracking system | |
| CN109785637B (en) | Analysis and evaluation method and device for vehicle violation | |
| JP3605525B2 (en) | Vehicle traffic monitoring and management device | |
| JP2010223901A (en) | Map data error inspection system, map data error inspecting terminal device, and map data error inspection method | |
| WO2020183345A1 (en) | A monitoring and recording system | |
| Nguyen et al. | Real-time validation of vision-based over-height vehicle detection system | |
| Malinovskiy et al. | Model‐free video detection and tracking of pedestrians and bicyclists | |
| CN112562315B (en) | Method, terminal and storage medium for acquiring traffic flow information | |
| WO2020194570A1 (en) | Sign position identification system and program | |
| US20230126957A1 (en) | Systems and methods for determining fault for a vehicle accident | |
| CN115394089A (en) | Vehicle information fusion display method, sensorless passing system and storage medium | |
| JP7238821B2 (en) | Map generation system and map generation program | |
| JP7160763B2 (en) | Information processing device, information processing system, information processing method, program, and application program | |
| CN114038209A (en) | Bus lane occupation processing method, device and equipment | |
| Kolcheck et al. | Visual counting of traffic flow from a car via vehicle detection and motion analysis | |
| Eslami et al. | Automatic traffic monitoring using satellite images | |
| CN112507887A (en) | Intersection sign extracting and associating method and device | |
| Kurz et al. | Automatic traffic monitoring with an airborne wide-angle digital camera system for estimation of travel times | |
| TWI834382B (en) | Method of locking a dash cam for keeping the evidence of driving in compliance with the traffic rules |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040210 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040408 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040629 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040827 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040928 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041004 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071008 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081008 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091008 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091008 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101008 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111008 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121008 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121008 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131008 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |