JP2001184586A - Image processor, method for processing image and vehicle monitoring system - Google Patents
Image processor, method for processing image and vehicle monitoring systemInfo
- Publication number
- JP2001184586A JP2001184586A JP37029899A JP37029899A JP2001184586A JP 2001184586 A JP2001184586 A JP 2001184586A JP 37029899 A JP37029899 A JP 37029899A JP 37029899 A JP37029899 A JP 37029899A JP 2001184586 A JP2001184586 A JP 2001184586A
- Authority
- JP
- Japan
- Prior art keywords
- image
- road
- image processing
- corrected
- digital image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
Abstract
Description
【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION
【０００１】[0001]
【発明の属する技術分野】本発明は、車両監視システム
などに用いられる画像処理装置、画像処理方法及び車両
監視システムに関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing device, an image processing method, and a vehicle monitoring system used in a vehicle monitoring system and the like.
【０００２】[0002]
【従来の技術】一般に、高速道路や一般道などには、交
通の監視のため、ＣＣＴＶ（closed-circuit televisio
n）カメラが設置されている。特に、長大なトンネルな
どでは、監視死角のないように多数のカメラが設置され
ている。このカメラの出力映像は、道路管制センタなど
へ伝送され、モニタに表示されて監視員により監視され
ている。通常、カメラの設置数と同数のモニタを設置す
るのは設置スペースなどの問題により困難であるため、
カメラの設置数に対してモニタの設置数を少なくし、１
台のモニタに複数のカメラを割り当ててカメラ映像を表
示している。この場合、複数のカメラ映像を数秒おきに
順次切り替え表示する手法が採られている。2. Description of the Related Art Generally, on a highway or a general road, a CCTV (closed-circuit televisio) is used to monitor traffic.
n) Camera is installed. In particular, in a long tunnel or the like, a large number of cameras are installed so that there is no blind spot. The output image of the camera is transmitted to a road control center or the like, displayed on a monitor, and monitored by a monitor. Usually, it is difficult to install the same number of monitors as the number of cameras, due to space and other issues.
Reduce the number of monitors to the number of cameras
Multiple cameras are assigned to one monitor and camera images are displayed. In this case, a method of sequentially switching and displaying a plurality of camera images every few seconds is adopted.
【０００３】[0003]
【発明が解決しようとする課題】しかし、このような交
通監視技術にあっては、交通異常の検出が遅れるという
問題点がある。すなわち、カメラ映像を切り替えてモニ
タに表示するため、表示されないカメラ映像が存在する
こととなり、交通異常の検出が遅れるおそれがある。ま
た、カメラ映像が頻繁に切り替わることにより監視員の
疲労が多大なものとなること及び交通異常の見落としな
どの問題も指摘されている。However, such a traffic monitoring technique has a problem that detection of a traffic abnormality is delayed. That is, since the camera images are switched and displayed on the monitor, there are camera images that are not displayed, and there is a possibility that detection of a traffic abnormality is delayed. Also, it has been pointed out that problems such as frequent switching of camera images cause a great deal of fatigue for the observer and oversight of traffic abnormalities.
【０００４】このような問題点を解消すべく、画像処理
技術の導入も検討されているが、完全な精度で交通異常
の検出することは技術的に困難な状況にある。[0004] In order to solve such a problem, introduction of an image processing technique has been considered, but it is technically difficult to detect a traffic abnormality with perfect accuracy.
【０００５】そこで本発明は、以上のような問題点を解
決するためになされたものであって、交通異常の検出向
上が図れる画像処理装置、画像処理方法及び車両監視シ
ステムを提供することを目的とする。The present invention has been made to solve the above problems, and an object of the present invention is to provide an image processing apparatus, an image processing method, and a vehicle monitoring system capable of improving detection of traffic abnormalities. And
【０００６】[0006]
【課題を解決するための手段】このような目的を達成す
るために、本発明に係る画像処理装置は、道路を撮影し
た複数の映像信号を入力し、その映像信号をデジタル画
像にＡ／Ｄ変換する変換手段と、道路がデジタル画像の
縦方向又は横方向に向くようにデジタル画像を補正する
補正手段と、補正手段により補正した補正画像に撮影さ
れる各道路が連続するように、複数の補正画像を合成す
る画像合成手段とを備えて構成されている。In order to achieve the above object, an image processing apparatus according to the present invention inputs a plurality of video signals obtained by photographing a road and converts the video signals into a digital image by A / D conversion. Conversion means for converting; a correction means for correcting the digital image so that the road faces in the vertical direction or the horizontal direction of the digital image; and a plurality of roads which are photographed on the corrected image corrected by the correction means. Image synthesizing means for synthesizing the corrected image.
【０００７】また本発明に係る画像処理装置は、合成し
た画像を画像データとして蓄積する蓄積手段を備えたこ
とを特徴とする。[0007] The image processing apparatus according to the present invention is characterized in that the image processing apparatus further comprises storage means for storing the combined image as image data.
【０００８】また本発明に係る画像処理方法は、道路を
撮影した複数の映像信号を入力し、その映像信号をデジ
タル画像にＡ／Ｄ変換する変換工程と、道路がデジタル
画像の縦方向又は横方向に向くようにデジタル画像を補
正する補正工程と、補正手段により補正した補正画像に
撮影される各道路が連続するように、複数の補正画像を
合成する画像合成工程とを備えて構成されている。Further, the image processing method according to the present invention includes a step of inputting a plurality of video signals obtained by photographing a road and A / D converting the video signals into a digital image; A correcting step of correcting the digital image so as to face the direction, and an image combining step of combining a plurality of corrected images so that each road photographed on the corrected image corrected by the correcting unit is continuous. I have.
【０００９】また本発明に係る画像処理方法は、画像合
成工程の後に合成した画像を画像データとして蓄積する
蓄積工程を備えたことを特徴とする。Further, the image processing method according to the present invention is characterized in that the image processing method further comprises an accumulation step of accumulating the combined image as image data after the image combination step.
【００１０】また本発明に係る車両監視システムは、監
視すべき道路に沿って複数配設され道路を走行する車両
を撮影する撮影手段と、撮影手段により撮影された各映
像信号を入力し、各映像信号をデジタル画像にＡ／Ｄ変
換し、道路がデジタル画像の縦方向又は横方向に向くよ
うにデジタル画像を補正し、その補正したデジタル画像
に撮影される各道路が連続するように補正した画像を合
成する画像処理手段と、画像処理手段により画像処理さ
れた画像を表示する表示手段とを備えて構成されてい
る。Further, the vehicle monitoring system according to the present invention is provided with a photographing means for photographing a plurality of vehicles traveling along a road to be monitored, and each video signal photographed by the photographing means. The video signal is A / D converted to a digital image, the digital image is corrected so that the road faces in the vertical direction or the horizontal direction of the digital image, and each road photographed on the corrected digital image is corrected to be continuous. The image processing apparatus includes image processing means for synthesizing images, and display means for displaying an image processed by the image processing means.
【００１１】また本発明に係る車両監視システムは、監
視すべき道路に沿って複数配設され道路の側方から道路
を走行する車両を撮影し、その撮影光学系に広角レンズ
を備える撮影手段と、撮影手段により撮影された各映像
信号を入力し、各映像信号をデジタル画像にＡ／Ｄ変換
し、デジタル画像の広角レンズによる歪みを補正し、そ
の補正したデジタル画像に撮影される各道路が連続する
ように補正した画像を合成する画像処理手段と、画像処
理手段により画像処理された画像を表示する表示手段と
を備えて構成されている。Further, the vehicle monitoring system according to the present invention captures a plurality of vehicles running along the road to be monitored, the vehicles running on the road from the side of the road, and a photographing optical system including a wide-angle lens in the photographing optical system. Inputting each video signal photographed by the photographing means, A / D converting each video signal into a digital image, correcting distortion of the digital image by the wide-angle lens, and calculating each road photographed in the corrected digital image. The image processing apparatus includes image processing means for combining images corrected so as to be continuous, and display means for displaying an image processed by the image processing means.
【００１２】また本発明に係る車両監視システムは、前
述の表示手段が、横長な表示領域を有するプロジェクタ
であることを特徴とする。Further, in the vehicle monitoring system according to the present invention, the display means is a projector having a horizontally long display area.
【００１３】また本発明に係る車両監視システムは、前
述の画像処理手段が、合成した画像を画像データとして
蓄積することを特徴とする。Further, the vehicle monitoring system according to the present invention is characterized in that the image processing means stores the synthesized image as image data.
【００１４】これらの発明によれば、交通監視すべき道
路の全体を一つの画面に表すことが可能となる。このた
め、画面表示の切り替えを行うことなく、道路全体の監
視が行える。従って、画面切替により監視できない領域
がないため、交通異常の検出の遅延が防止でき、交通異
常の検出の迅速化が図れる。また、画面切替がないた
め、画面変化に基づいて交通異常の検出が行え、目視に
よる交通異常の検出が容易となり、監視負担の軽減が図
れる。According to these inventions, it is possible to represent the entire road to be monitored for traffic on one screen. Therefore, the entire road can be monitored without switching the screen display. Therefore, since there is no area that cannot be monitored by switching the screen, a delay in detecting the traffic abnormality can be prevented, and the detection of the traffic abnormality can be speeded up. Further, since there is no screen switching, a traffic abnormality can be detected based on a screen change, which makes it easy to visually detect a traffic abnormality and reduces the monitoring burden.
【００１５】また、広角レンズを用いて監視すべき道路
を側方から撮影することにより、画像補正を容易に行う
ことが可能となる。Further, by photographing a road to be monitored from the side using a wide-angle lens, image correction can be easily performed.
【００１６】また、補正して合成した画像データを蓄積
することにより、交通異常の発生後にその画像データを
確認して異常発生の分析などが可能となる。By storing the corrected and synthesized image data, it becomes possible to check the image data after the occurrence of a traffic abnormality and to analyze the occurrence of the abnormality.
【００１７】[0017]
【発明の実施の形態】以下、添付図面に基づき、本発明
の実施形態について説明する。尚、各図において同一要
素には同一符号を付して説明を省略する。また、図面の
寸法比率は説明のものと必ずしも一致していない。Embodiments of the present invention will be described below with reference to the accompanying drawings. In the drawings, the same elements are denoted by the same reference numerals, and the description is omitted. Also, the dimensional ratios in the drawings do not always match those described.
【００１８】（第一実施形態）図１に車両監視システム
の説明図を示す。図１に示すように、車両監視システム
は、道路の交通状態を監視するシステムであり、例え
ば、トンネル１における交通異常の検出するシステムに
用いられる。車両監視システムには、複数の監視カメラ
２を備えている。(First Embodiment) FIG. 1 is an explanatory diagram of a vehicle monitoring system. As shown in FIG. 1, the vehicle monitoring system is a system that monitors the traffic condition of a road, and is used, for example, in a system that detects a traffic abnormality in the tunnel 1. The vehicle monitoring system includes a plurality of monitoring cameras 2.
【００１９】監視カメラ２は、トンネル１内の道路を走
行する車両１１を撮影する撮影手段であり、トンネル１
内に一定の間隔で設置されている。その監視カメラ２の
設置間隔は、例えば、約２００ｍとされる。監視カメラ
２の撮影方向は、道路１０を走行する車両１１の前方又
は後方が撮影される向きとなっている。各監視カメラ２
は、分配器３に接続されている。分配器３は、トンネル
１付近に建造される施設４内に設置されており、各監視
カメラ２の撮影映像を入力して画像処理装置５に出力す
る。The surveillance camera 2 is a photographing means for photographing a vehicle 11 traveling on a road in the tunnel 1.
It is installed at regular intervals inside. The installation interval of the monitoring camera 2 is, for example, about 200 m. The shooting direction of the monitoring camera 2 is such that the front or rear of the vehicle 11 traveling on the road 10 is shot. Each surveillance camera 2
Are connected to the distributor 3. The distributor 3 is installed in a facility 4 built near the tunnel 1, and inputs a captured image of each monitoring camera 2 and outputs it to the image processing device 5.
【００２０】画像処理装置５は、監視カメラ２の映像を
入力して画像処理する画像処理手段であり、その画像処
理した画像を管制センタ６へ伝送する。画像処理装置５
は、例えば、Ａ／Ｄ変換器、ビデオフレームメモリ、画
像処理プロセッサ及び信号出力インターフェースを備え
て構成される。The image processing device 5 is an image processing means for inputting an image of the surveillance camera 2 and performing image processing, and transmits the processed image to the control center 6. Image processing device 5
Is configured to include, for example, an A / D converter, a video frame memory, an image processor, and a signal output interface.
【００２１】Ａ／Ｄ変換器は、入力された映像信号をア
ナログ信号からデジタル信号にＡ／Ｄ変換するものであ
り、例えば、ビデオＡ−Ｄコンバータなどが用いられ
る。ビデオフレームメモリは、デジタル変換された映像
信号を画像データとして記憶するものである。画像デー
タは、ｘ軸、ｙ軸の座標点ごとに濃淡値を持つ画素の集
合であり、その画素の濃淡は例えば８ビットの２５６階
調とされる。The A / D converter performs A / D conversion of an input video signal from an analog signal to a digital signal. For example, a video A / D converter is used. The video frame memory stores a digitally converted video signal as image data. The image data is a set of pixels having a gradation value for each of the x-axis and y-axis coordinate points, and the gradation of the pixel is, for example, 8-bit 256 gradation.
【００２２】画像処理プロセッサは、ビデオフレームメ
モリに記憶された画像データを画像処理するものであ
る。また、信号出力インターフェースは、画像処理プロ
セッサの指令に画像処理した画像を外部へ出力するため
のものである。The image processor is for processing the image data stored in the video frame memory. Further, the signal output interface is for outputting an image subjected to image processing in response to a command of the image processing processor to the outside.
【００２３】管制センタ６では、画像処理装置５から伝
送される画像をモニタ６１に入力し、そのモニタ６１を
通じてトンネル１内の撮影画像が表示される。この画像
を通じて、トンネル１内の車両の走行状態を監視員が目
視にて監視することができる。モニタ６１は、画像の表
示手段であり、望ましくは横長な表示領域を有するもの
が用いられ、例えばプロジェクタが用いられる。In the control center 6, an image transmitted from the image processing apparatus 5 is input to a monitor 61, and a captured image in the tunnel 1 is displayed through the monitor 61. Through this image, the traveling state of the vehicle in the tunnel 1 can be visually monitored by the observer. The monitor 61 is a means for displaying an image, and preferably has a horizontally long display area, for example, a projector.
【００２４】次に、車両監視システムの動作、画像処理
装置の動作及び画像処理方法について説明する。Next, the operation of the vehicle monitoring system, the operation of the image processing device, and the image processing method will be described.
【００２５】図１において、監視カメラ２により道路１
０を走行する車両１１が撮影され、各監視カメラ２から
映像信号が分配器３に入力される。分配器３では監視カ
メラ２の映像信号を適宜画像処理装置５に入力する。そ
して、画像処理装置５により映像信号の画像処理が行わ
れる。Referring to FIG.
The image of the vehicle 11 traveling on the vehicle 0 is captured, and a video signal is input to the distributor 3 from each monitoring camera 2. The distributor 3 inputs the video signal of the monitoring camera 2 to the image processing device 5 as appropriate. Then, image processing of the video signal is performed by the image processing device 5.
【００２６】図２に画像処理装置５における画像処理の
フローチャートを示す。FIG. 2 shows a flowchart of image processing in the image processing apparatus 5.
【００２７】図２のＳ１００に示すように、画像処理装
置５に入力された映像信号がＡ／Ｄ変換される。Ａ／Ｄ
変換は映像信号のアナログ画像をデジタル画像に変換す
る処理であり、変換後のデジタル画像はビデオフレーム
メモリに画像データとして記憶される。As shown in S100 of FIG. 2, the video signal input to the image processing device 5 is A / D converted. A / D
The conversion is a process of converting an analog image of a video signal into a digital image, and the converted digital image is stored as image data in a video frame memory.
【００２８】そして、Ｓ２００に移行し、画像補正が行
われる。画像補正は、Ａ／Ｄ変換されたデジタル画像に
おいて、そのデジタル画像に表示される道路１１が画像
の縦方向又は横方向に向くように画像データを補正する
処理である。この画像補正処理により、図３に示すデジ
タル画像が図４に示す補正画像に補正される。図３にお
いて、デジタル画像２０には道路１０が右下部分から左
上部分へ遠ざかるように表されている。このデジタル画
像２０は、図４に示すように、道路１０が画像の横向き
になるように補正され、その補正処理により補正画像２
１となる。その際、道路１０上を走行する車両１１もそ
の補正に従い画像処理される。Then, the flow shifts to S200, where image correction is performed. The image correction is a process of correcting image data in an A / D-converted digital image such that a road 11 displayed in the digital image faces in a vertical direction or a horizontal direction of the image. By this image correction processing, the digital image shown in FIG. 3 is corrected to the corrected image shown in FIG. In FIG. 3, the digital image 20 shows the road 10 moving away from the lower right part to the upper left part. As shown in FIG. 4, the digital image 20 is corrected so that the road 10 is oriented in the horizontal direction of the image.
It becomes 1. At this time, the image of the vehicle 11 traveling on the road 10 is also processed according to the correction.
【００２９】そして、Ｓ３００に移行し、画像合成が行
われる。画像合成は、画像補正された補正画像を合成す
る処理であり、例えば、各監視カメラ２で同時に撮影さ
れた映像信号に係る各補正画像２１が一つの画像に合成
される。このとき、各補正画像２１に表される道路１０
が連続するように合成処理が行われる。また、同一の車
両１１が複数表示されないように合成が行われる。図５
に合成処理された合成画像２２を示す。Then, the flow shifts to S300, where image composition is performed. The image synthesis is a process of synthesizing a corrected image subjected to image correction. For example, each corrected image 21 related to a video signal simultaneously captured by each monitoring camera 2 is synthesized into one image. At this time, the road 10 represented in each corrected image 21
Are performed in such a way as to be continuous. In addition, synthesis is performed so that the same vehicle 11 is not displayed more than once. FIG.
2 shows a composite image 22 that has been subjected to the composition processing.
【００３０】そして、画像合成処理を終了した後、合成
画像２２が管制センタ６に伝送される。そして、合成画
像２２全体が管制センタ６のモニタ６１に表示される。After completion of the image synthesizing process, the synthesized image 22 is transmitted to the control center 6. Then, the entire composite image 22 is displayed on the monitor 61 of the control center 6.
【００３１】以上のように、本実施形態に係る画像処理
装置、画像処理方法及び車両監視システムによれば、交
通監視すべき道路１０の全体を一つの画面に表すことが
可能となる。このため、画面表示の切り替えを行うこと
なく、道路全体の監視が行える。As described above, according to the image processing apparatus, the image processing method, and the vehicle monitoring system according to the present embodiment, it is possible to represent the entire road 10 to be monitored for traffic on one screen. Therefore, the entire road can be monitored without switching the screen display.
【００３２】従って、画面切替により監視できない領域
がないため、交通異常の検出の遅延が防止でき、交通異
常の検出の迅速化が図れる。また、画面切替がないた
め、画面変化に基づいて交通異常の検出が行え、目視に
よる交通異常の検出が容易となり、監視負担の軽減が図
れる。Accordingly, since there is no area that cannot be monitored by switching the screen, a delay in detecting a traffic abnormality can be prevented, and the detection of a traffic abnormality can be speeded up. Further, since there is no screen switching, a traffic abnormality can be detected based on a screen change, which makes it easy to visually detect a traffic abnormality and reduces the monitoring burden.
【００３３】なお、本実施形態に係る画像処理装置、画
像処理方法及び車両監視システムでは、合成画像２２を
管制センタ６へ伝送するものであるが、本発明に係る画
像処理装置、画像処理方法及び車両監視システムはその
ようなものに限られるものではなく、複数の補正画像２
１を管制センタ６へ伝送し管制センタ６にて画像合成を
行うものであってもよい。また、画像処理（Ａ／Ｄ変
換、画像補正、画像合成）の全てを管制センタ６で行う
ものであってもよい。In the image processing apparatus, the image processing method and the vehicle monitoring system according to the present embodiment, the composite image 22 is transmitted to the control center 6, but the image processing apparatus, the image processing method and the image processing method according to the present invention are used. The vehicle monitoring system is not limited to such a system.
1 may be transmitted to the control center 6, and the control center 6 may perform image composition. Further, all of the image processing (A / D conversion, image correction, image synthesis) may be performed by the control center 6.
【００３４】また、本実施形態に係る画像処理装置、画
像処理方法及び車両監視システムでは、トンネル１内の
道路における車両監視に関するものについて説明した
が、本発明に係る画像処理装置、画像処理方法及び車両
監視システムはそのようなものに限られるものではな
く、他の場所における道路の車両監視に関するものであ
ってもよい。The image processing apparatus, the image processing method, and the vehicle monitoring system according to the present embodiment have been described with respect to the vehicle monitoring on the road in the tunnel 1. However, the image processing apparatus, the image processing method, and the image processing method according to the present invention are described. The vehicle monitoring system is not limited to such, and may relate to vehicle monitoring of a road at another place.
【００３５】（第二実施形態）次に第二実施形態に係る
画像処理装置、画像処理方法及び車両監視システムにつ
いて説明する。(Second Embodiment) Next, an image processing apparatus, an image processing method, and a vehicle monitoring system according to a second embodiment will be described.
【００３６】本実施形態に係る画像処理装置、画像処理
方法及び車両監視システムは、第一実施形態に係る画像
処理装置、画像処理方法及び車両監視システムとほぼ同
様な構成を有するものであるが、撮影手段である監視カ
メラ３が広角レンズを有する撮影光学系を備えており、
画像処理手段である画像処理装置５が広角レンズによる
画像の歪みを補正するものである点で異なっている。The image processing apparatus, the image processing method and the vehicle monitoring system according to the present embodiment have substantially the same configuration as the image processing apparatus, the image processing method and the vehicle monitoring system according to the first embodiment. The surveillance camera 3, which is a photographing means, includes a photographing optical system having a wide-angle lens,
The difference is that the image processing device 5 as the image processing means corrects image distortion due to the wide-angle lens.
【００３７】図６は、本実施形態に係る画像処理装置、
画像処理方法及び車両監視システムにおける監視カメラ
の説明図である。図６に示すように、監視カメラ２は、
監視すべき道路１０の側方から道路１０を走行する車両
１１を撮影するように配置されている。また、監視カメ
ラ２は、撮影光学系に広角レンズを有しており、広い画
角で撮影が可能となっている。広角レンズとしては、望
ましくは、魚眼レンズが用いられる。なお、ここでいう
「広角レンズ」とは、標準レンズよりも広い画角を有す
るレンズを意味し、例えば画角６０度以上のものであれ
ばよい。FIG. 6 shows an image processing apparatus according to this embodiment.
It is an explanatory view of a surveillance camera in an image processing method and a vehicle surveillance system. As shown in FIG. 6, the surveillance camera 2
It is arranged so that the vehicle 11 traveling on the road 10 is photographed from the side of the road 10 to be monitored. The surveillance camera 2 has a wide-angle lens in the photographing optical system, and can photograph at a wide angle of view. Preferably, a fisheye lens is used as the wide-angle lens. Here, the “wide-angle lens” means a lens having an angle of view wider than the standard lens, and may be any lens having an angle of view of 60 degrees or more, for example.
【００３８】本実施形態に係る車両監視システムの動
作、画像処理装置の動作及び画像処理方法について説明
すると、第一実施形態に係る車両監視システム等と同様
に、監視カメラ２により道路１０を走行する車両１１が
撮影され、各監視カメラ２から映像信号が分配器３に入
力される。分配器３では監視カメラ２の映像信号を適宜
画像処理装置５に入力する。そして、画像処理装置５に
より映像信号の画像処理が行われる。The operation of the vehicle monitoring system, the operation of the image processing device, and the image processing method according to the present embodiment will be described. As with the vehicle monitoring system according to the first embodiment, the vehicle 10 travels on the road 10 using the monitoring camera 2. The vehicle 11 is photographed, and a video signal is input to the distributor 3 from each monitoring camera 2. The distributor 3 inputs the video signal of the monitoring camera 2 to the image processing device 5 as appropriate. Then, image processing of the video signal is performed by the image processing device 5.
【００３９】画像処理装置５における画像処理は、第一
実施形態と同様に、Ａ／Ｄ変換処理が行われる。次い
で、画像補正処理では、広角レンズを通じて撮影された
画像の歪みを取り除く補正が行われる。図７に示すよう
に、Ａ／Ｄ変換処理されたデジタル画像３０は、広角レ
ンズを通じて撮影されたものであるため、大きなたる型
の歪みを有するものとなっている。このデジタル画像３
０のたる型歪みを補正することにより、図８に示すよう
に、歪みを取り除いた補正画像３１が得られる。In the image processing in the image processing device 5, A / D conversion processing is performed as in the first embodiment. Next, in the image correction processing, correction is performed to remove distortion of an image captured through the wide-angle lens. As shown in FIG. 7, the digital image 30 that has been subjected to the A / D conversion processing has been photographed through a wide-angle lens, and therefore has large barrel distortion. This digital image 3
By correcting the barrel distortion of 0, a corrected image 31 from which distortion has been removed is obtained as shown in FIG.
【００４０】そして、画像合成処理により、各監視カメ
ラ２で同時に撮影された映像信号に係る各補正画像３１
が一つの合成画像３２に合成される。この画像合成処理
は、第一実施形態と同様に、各補正画像２１に表される
道路１０が連続するように合成処理が行われる。また、
同一の車両１１が複数表示されないように合成が行われ
る。図９に合成処理された合成画像３２を示す。Then, by the image synthesizing process, each of the corrected images 31 related to the video signals simultaneously shot by each of the monitoring cameras 2
Are combined into one combined image 32. In the image combining process, as in the first embodiment, the combining process is performed so that the roads 10 represented in the respective corrected images 21 are continuous. Also,
Synthesis is performed so that the same vehicle 11 is not displayed more than once. FIG. 9 shows a synthesized image 32 that has been synthesized.
【００４１】そして、画像合成処理を終了した後、合成
画像３２が管制センタ６に伝送される。そして、合成画
像３２全体が管制センタ６のモニタ６１に表示される。After the completion of the image synthesizing process, the synthesized image 32 is transmitted to the control center 6. Then, the entire composite image 32 is displayed on the monitor 61 of the control center 6.
【００４２】以上のように、本実施形態に係る画像処理
装置、画像処理方法及び車両監視システムによれば、第
一実施形態に係る画像処理装置、画像処理方法及び車両
監視システムと同様に、交通監視すべき道路１０の全体
を一つの画面に表すことが可能となる。このため、画面
表示の切り替えを行うことなく、道路全体の監視が行え
る。従って、画面切替により監視できない領域がないた
め、交通異常の検出の遅延が防止でき、交通異常の検出
の迅速化が図れる。また、画面切替がないため、画面変
化に基づいて交通異常の検出が行え、目視による交通異
常の検出が容易となり、監視負担の軽減が図れる。As described above, according to the image processing apparatus, the image processing method, and the vehicle monitoring system according to the present embodiment, as with the image processing apparatus, the image processing method, and the vehicle monitoring system according to the first embodiment, the traffic The entire road 10 to be monitored can be displayed on one screen. Therefore, the entire road can be monitored without switching the screen display. Therefore, since there is no area that cannot be monitored by switching the screen, a delay in detecting the traffic abnormality can be prevented, and the detection of the traffic abnormality can be speeded up. In addition, since there is no screen switching, a traffic abnormality can be detected based on a screen change, which makes it easier to visually detect a traffic abnormality and reduces the monitoring burden.
【００４３】また、広角レンズを用いて監視すべき道路
を側方から撮影することにより、画像補正を容易に行う
ことが可能となる。Further, by photographing a road to be monitored from the side using a wide-angle lens, image correction can be easily performed.
【００４４】更に、監視カメラ２の撮影光学系に広角レ
ンズを用いることにより、一台の監視カメラ２で広い範
囲を監視することが可能となり、監視カメラ２の設置台
数を低減できる。Further, by using a wide-angle lens for the photographing optical system of the surveillance camera 2, it is possible to monitor a wide range with one surveillance camera 2, and the number of surveillance cameras 2 to be installed can be reduced.
【００４５】（第三実施形態）次に第三実施形態に係る
画像処理装置、画像処理方法及び車両監視システムにつ
いて説明する。(Third Embodiment) Next, an image processing apparatus, an image processing method, and a vehicle monitoring system according to a third embodiment will be described.
【００４６】本実施形態に係る画像処理装置、画像処理
方法及び車両監視システムは、第一実施形態及び第二実
施形態に係る画像処理装置、画像処理方法及び車両監視
システムとほぼ同様な構成を有するものであるが、画像
処理手段及び画像処理工程において画像合成の後に画像
蓄積を行う点で異なっている。The image processing device, the image processing method, and the vehicle monitoring system according to the present embodiment have substantially the same configuration as the image processing device, the image processing method, and the vehicle monitoring system according to the first and second embodiments. However, the difference lies in that image storage is performed after image synthesis in the image processing means and the image processing process.
【００４７】図１０に、本実施形態に係る画像処理装
置、画像処理方法及び車両監視システムにおける画像処
理のフローチャートを示す。FIG. 10 shows a flowchart of image processing in the image processing apparatus, the image processing method, and the vehicle monitoring system according to the present embodiment.
【００４８】図１０のＳ１００のＡ／Ｄ変換、Ｓ２００
の画像補正及びＳ３００の画像合成は、第一実施形態に
て説明したものと同様であるので、その説明を省略す
る。Ｓ４００では、画像蓄積が行われる。画像蓄積は、
合成された合成画像２２又は合成画像３２をメモリなど
の記憶装置に蓄積することにより行われる。このよう
に、合成画像２２又は合成画像３２を蓄積しておくこと
により、交通異常の発生後にその合成画像を確認して異
常発生の分析が可能となる。A / D conversion of S100 in FIG. 10, S200
The image correction in step S300 and the image synthesis in step S300 are the same as those described in the first embodiment, and a description thereof will not be repeated. In S400, image storage is performed. Image storage is
This is performed by storing the synthesized image 22 or 32 in a storage device such as a memory. By storing the composite image 22 or the composite image 32 in this way, it becomes possible to check the composite image after a traffic abnormality has occurred and analyze the occurrence of the abnormality.
【００４９】[0049]
【発明の効果】以上説明したように本発明によれば、交
通監視すべき道路の全体を一つの画面に表すことが可能
となる。このため、画面表示の切り替えを行うことな
く、道路全体の監視が行える。従って、画面切替により
監視できない領域がないため、交通異常の検出の遅延が
防止でき、交通異常の検出の迅速化が図れる。As described above, according to the present invention, the entire road to be monitored for traffic can be displayed on one screen. Therefore, the entire road can be monitored without switching the screen display. Therefore, since there is no area that cannot be monitored by switching the screen, a delay in detecting the traffic abnormality can be prevented, and the detection of the traffic abnormality can be speeded up.
【００５０】また、画面切替がないため、画面変化に基
づいて交通異常の検出が行え、目視による交通異常の検
出が容易となり、監視負担の軽減が図れる。Further, since there is no screen switching, it is possible to detect a traffic abnormality based on a change in the screen, it is easy to visually detect the traffic abnormality, and the burden of monitoring can be reduced.
【００５１】また、広角レンズを用いて監視すべき道路
を側方から撮影することにより、画像補正を容易に行う
ことが可能となる。Further, by photographing the road to be monitored from the side using a wide-angle lens, image correction can be easily performed.
【００５２】また、補正して合成した画像データを蓄積
することにより、交通異常の発生後にその画像データを
確認して異常発生の分析などが可能となる。Further, by storing the corrected and combined image data, it becomes possible to check the image data after the occurrence of a traffic abnormality and to analyze the occurrence of the abnormality.
【図１】第一実施形態に係る車両監視システムの説明図
である。FIG. 1 is an explanatory diagram of a vehicle monitoring system according to a first embodiment.
【図２】画像処理装置の動作を示すフローチャートであ
る。FIG. 2 is a flowchart illustrating an operation of the image processing apparatus.
【図３】Ａ／Ｄ変換されたデジタル画像の説明図であ
る。FIG. 3 is an explanatory diagram of an A / D-converted digital image.
【図４】補正処理された補正画像の説明図である。FIG. 4 is an explanatory diagram of a corrected image subjected to a correction process.
【図５】合成処理された合成画像の説明図である。FIG. 5 is an explanatory diagram of a combined image that has been subjected to a combining process.
【図６】第二実施形態に係る車両監視システム等の説明
図である。FIG. 6 is an explanatory diagram of a vehicle monitoring system and the like according to a second embodiment.
【図７】Ａ／Ｄ変換されたデジタル画像の説明図であ
る。FIG. 7 is an explanatory diagram of a digital image subjected to A / D conversion.
【図８】補正処理された補正画像の説明図である。FIG. 8 is an explanatory diagram of a corrected image after the correction processing.
【図９】合成処理された合成画像の説明図である。FIG. 9 is an explanatory diagram of a combined image that has been subjected to a combining process.
【図１０】第三実施形態に係る車両監視システム等の説
明図である。FIG. 10 is an explanatory diagram of a vehicle monitoring system and the like according to a third embodiment.
２…監視カメラ（撮影手段）、５…画像処理装置、６１
…モニタ（表示手段）、１０…道路、１１…車両。2: surveillance camera (photographing means), 5: image processing device, 61
... Monitor (display means), 10 ... Road, 11 ... Vehicle.
フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/18 Ｇ０９Ｇ 5/36 ５２０Ｄ Ｆターム(参考） 5C054 AA01 AA05 DA01 EB05 FD00 GA04 GB01 HA26 5C076 AA17 AA19 BA03 BA04 BA06 CA02 5C082 AA12 AA27 BA20 BA34 BA35 BA41 BB22 BC02 BD01 BD02 CA55 CB03 DA63 EA15 MM02 MM05 5H180 AA01 CC04 CC07 DD01 EE11Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat II (reference) H04N 7/18 G09G 5/36 520D F-term (reference) 5C054 AA01 AA05 DA01 EB05 FD00 GA04 GB01 HA26 5C076 AA17 AA19 BA03 BA04 BA06 CA02 5C082 AA12 AA27 BA20 BA34 BA35 BA41 BB22 BC02 BD01 BD02 CA55 CB03 DA63 EA15 MM02 MM05 5H180 AA01 CC04 CC07 DD01 EE11
Claims (8)
し、その映像信号をデジタル画像にＡ／Ｄ変換する変換
手段と、 前記道路が前記デジタル画像の縦方向又は横方向に向く
ように前記デジタル画像を補正する補正手段と、 前記補正手段により補正した補正画像に撮影される各道
路が連続するように、複数の前記補正画像を合成する画
像合成手段と、を備えた画像処理装置。1. A conversion means for inputting a plurality of video signals obtained by photographing a road and A / D converting the video signals into a digital image, wherein the road is oriented in a vertical direction or a horizontal direction of the digital image. An image processing apparatus comprising: a correcting unit that corrects a digital image; and an image combining unit that combines a plurality of the corrected images so that roads photographed by the corrected image corrected by the correcting unit are continuous.
積する蓄積手段を備えたことを特徴とする請求項１に記
載の画像処理装置。2. The image processing apparatus according to claim 1, further comprising a storage unit configured to store the combined image as image data.
し、その映像信号をデジタル画像にＡ／Ｄ変換する変換
工程と、 前記道路が前記デジタル画像の縦方向又は横方向に向く
ように前記デジタル画像を補正する補正工程と、 前記補正手段により補正した補正画像に撮影される各道
路が連続するように、複数の前記補正画像を合成する画
像合成工程と、を備えた画像処理方法。3. A conversion step of inputting a plurality of video signals obtained by photographing a road and A / D converting the video signals into a digital image, wherein the road is oriented in a vertical direction or a horizontal direction of the digital image. An image processing method comprising: a correction step of correcting a digital image; and an image synthesis step of synthesizing a plurality of the corrected images so that roads photographed on the corrected image corrected by the correction unit are continuous.
像を画像データとして蓄積する蓄積工程を備えたことを
特徴とする請求項３に記載の画像処理方法。4. The image processing method according to claim 3, further comprising a storage step of storing the combined image as image data after the image combining step.
記道路を走行する車両を撮影する撮影手段と、 前記撮影手段により撮影された各映像信号を入力し、各
映像信号をデジタル画像にＡ／Ｄ変換し、前記道路が前
記デジタル画像の縦方向又は横方向に向くように前記デ
ジタル画像を補正し、その補正したデジタル画像に撮影
される各道路が連続するように前記補正した画像を合成
する画像処理手段と、 前記画像処理手段により画像処理された画像を表示する
表示手段と、を備えた車両監視システム。5. A photographing means which is arranged along a road to be monitored and which photographs a vehicle traveling on the road, and inputs each video signal photographed by the photographing means and converts each video signal into a digital image. A / D conversion is performed, the digital image is corrected so that the road faces in the vertical direction or the horizontal direction of the digital image, and the corrected image is corrected so that each road photographed on the corrected digital image is continuous. A vehicle monitoring system comprising: an image processing unit for combining; and a display unit for displaying an image processed by the image processing unit.
記道路の側方から前記道路を走行する車両を撮影し、そ
の撮影光学系に広角レンズを備える撮影手段と、 前記撮影手段により撮影された各映像信号を入力し、各
映像信号をデジタル画像にＡ／Ｄ変換し、前記デジタル
画像の前記広角レンズによる歪みを補正し、その補正し
たデジタル画像に撮影される各道路が連続するように前
記補正した画像を合成する画像処理手段と、 前記画像処理手段により画像処理された画像を表示する
表示手段と、を備えた車両監視システム。6. A photographing means provided with a plurality of vehicles arranged along a road to be monitored and traveling on the road from a side of the road, photographing means provided with a wide-angle lens in a photographing optical system, and photographing by the photographing means. Each of the obtained video signals is input, each video signal is A / D converted into a digital image, distortion of the digital image by the wide-angle lens is corrected, and each road photographed on the corrected digital image is continuous. A vehicle monitoring system, comprising: an image processing unit that combines the corrected image with the image data; and a display unit that displays the image that has been subjected to the image processing by the image processing unit.
るプロジェクタであることを特徴とする請求項５又は６
に記載の車両監視システム。7. The display device according to claim 5, wherein the display unit is a projector having a horizontally long display area.
The vehicle monitoring system according to claim 1.
を画像データとして蓄積することを特徴とする請求項５
〜７のいずれかにの車両監視システム。8. The image processing device according to claim 5, wherein the image processing unit stores the synthesized image as image data.
The vehicle monitoring system according to any one of claims 1 to 7.
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP37029899A JP3601392B2 (en) | 1999-12-27 | 1999-12-27 | Image processing apparatus, image processing method, and vehicle monitoring system |
| AT00987649T ATE294434T1 (en) | 1999-12-27 | 2000-12-20 | IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND VEHICLE MONITORING SYSTEM |
| DE60019813T DE60019813T2 (en) | 1999-12-27 | 2000-12-20 | Image processing device, image processing method and vehicle monitoring system |
| ES00987649T ES2237485T3 (en) | 1999-12-27 | 2000-12-20 | IMAGE TREATMENT DEVICE, IMAGE TREATMENT METHOD AND VEHICLE CONTROL SYSTEM. |
| PCT/JP2000/009025 WO2001048724A1 (en) | 1999-12-27 | 2000-12-20 | Image processing apparatus, image processing method, and vehicle monitoring system |
| EP00987649A EP1262933B1 (en) | 1999-12-27 | 2000-12-20 | Image processing apparatus, image processing method, and vehicle monitoring system |
| HK02109276.4A HK1047814B (en) | 1999-12-27 | 2002-12-23 | Image processing apparatus, image processing method, and vehicle monitoring system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP37029899A JP3601392B2 (en) | 1999-12-27 | 1999-12-27 | Image processing apparatus, image processing method, and vehicle monitoring system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001184586A true JP2001184586A (en) | 2001-07-06 |
| JP3601392B2 JP3601392B2 (en) | 2004-12-15 |
Family
ID=18496557
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP37029899A Expired - Fee Related JP3601392B2 (en) | 1999-12-27 | 1999-12-27 | Image processing apparatus, image processing method, and vehicle monitoring system |
Country Status (7)
| Country | Link |
|---|---|
| EP (1) | EP1262933B1 (en) |
| JP (1) | JP3601392B2 (en) |
| AT (1) | ATE294434T1 (en) |
| DE (1) | DE60019813T2 (en) |
| ES (1) | ES2237485T3 (en) |
| HK (1) | HK1047814B (en) |
| WO (1) | WO2001048724A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10239026A1 (en) * | 2002-08-21 | 2004-03-11 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Process for monitoring of road traffic conditions uses information from road side cameras to determine base characteristics |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8823797B2 (en) * | 2010-06-03 | 2014-09-02 | Microsoft Corporation | Simulated video with extra viewpoints and enhanced resolution for traffic cameras |
| CN101976341B (en) * | 2010-08-27 | 2013-08-07 | 中国科学院自动化研究所 | Method for detecting position, posture, and three-dimensional profile of vehicle from traffic images |
| EP2733677A1 (en) * | 2012-11-19 | 2014-05-21 | Kapsch TrafficCom AB | Device for tolling or telematics systems |
| FR3080701B1 (en) * | 2018-04-26 | 2020-05-15 | Transdev Group | ROAD TRAFFIC MONITORING SYSTEM WITH DISPLAY OF A VIRTUAL IMAGE OF MOVING OBJECTS MOVING IN A PORTION OF ROAD INFRASTRUCTURE |
| CN111935451A (en) * | 2020-07-16 | 2020-11-13 | 中国铁道科学研究院集团有限公司电子计算技术研究所 | Railway safety monitoring device |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB8913946D0 (en) * | 1989-06-16 | 1989-08-02 | Univ London | Method and apparatus for traffic monitoring |
| US5682198A (en) * | 1993-06-28 | 1997-10-28 | Canon Kabushiki Kaisha | Double eye image pickup apparatus |
| FR2714502A1 (en) * | 1993-12-29 | 1995-06-30 | Philips Laboratoire Electroniq | An image processing method and apparatus for constructing from a source image a target image with perspective change. |
| JP3569992B2 (en) * | 1995-02-17 | 2004-09-29 | 株式会社日立製作所 | Mobile object detection / extraction device, mobile object detection / extraction method, and mobile object monitoring system |
| JP3577895B2 (en) * | 1997-06-19 | 2004-10-20 | 松下電器産業株式会社 | Wide area monitoring device and wide area monitoring system |
| JPH1139589A (en) * | 1997-07-18 | 1999-02-12 | Fuji Electric Co Ltd | Traffic monitoring device and method |
| JPH1196494A (en) * | 1997-09-22 | 1999-04-09 | Hitachi Ltd | Method for monitoring traffic flow and device therefor |
| JP2000331279A (en) * | 1999-05-25 | 2000-11-30 | Oki Electric Ind Co Ltd | Wide area monitoring device |
-
1999
- 1999-12-27 JP JP37029899A patent/JP3601392B2/en not_active Expired - Fee Related
-
2000
- 2000-12-20 AT AT00987649T patent/ATE294434T1/en active
- 2000-12-20 WO PCT/JP2000/009025 patent/WO2001048724A1/en active IP Right Grant
- 2000-12-20 ES ES00987649T patent/ES2237485T3/en not_active Expired - Lifetime
- 2000-12-20 DE DE60019813T patent/DE60019813T2/en not_active Expired - Lifetime
- 2000-12-20 EP EP00987649A patent/EP1262933B1/en not_active Expired - Lifetime
-
2002
- 2002-12-23 HK HK02109276.4A patent/HK1047814B/en not_active IP Right Cessation
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10239026A1 (en) * | 2002-08-21 | 2004-03-11 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Process for monitoring of road traffic conditions uses information from road side cameras to determine base characteristics |
| DE10239026B4 (en) * | 2002-08-21 | 2008-04-03 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Method and device for traffic monitoring |
Also Published As
| Publication number | Publication date |
|---|---|
| ATE294434T1 (en) | 2005-05-15 |
| DE60019813D1 (en) | 2005-06-02 |
| WO2001048724A1 (en) | 2001-07-05 |
| EP1262933A4 (en) | 2004-03-31 |
| EP1262933A1 (en) | 2002-12-04 |
| HK1047814B (en) | 2005-06-24 |
| HK1047814A1 (en) | 2003-03-07 |
| JP3601392B2 (en) | 2004-12-15 |
| DE60019813T2 (en) | 2005-10-06 |
| ES2237485T3 (en) | 2005-08-01 |
| EP1262933B1 (en) | 2005-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20020018150A (en) | Object detecting method and object detecting apparatus and intruding object monitoring apparatus employing the object detecting method | |
| JP4985124B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2006229789A (en) | Camera surveillance system, image synthesizing method used therein, and image synthesizing program | |
| JP3788400B2 (en) | Image processing apparatus, image processing method, and vehicle monitoring system | |
| JP2004186922A (en) | Wide range photographing method using a plurality of cameras | |
| JP3601392B2 (en) | Image processing apparatus, image processing method, and vehicle monitoring system | |
| JP2002158999A (en) | Method and apparatus for detecting object and intruding object monitoring device | |
| JP2009077230A (en) | Image processor, micro computer and electronic equipment | |
| US6603509B1 (en) | Digital camera controllable by a program | |
| JP3467774B2 (en) | Image processing apparatus, image processing method, and vehicle monitoring system | |
| JP4853434B2 (en) | Image processing device | |
| US11922610B2 (en) | Multi-eye camera system, multi-eye photographing camera head, image processing device, multi-eye photographing program and multi-eye photographing method | |
| JP4877165B2 (en) | Monitoring system | |
| JP3354626B2 (en) | Moving object detection method | |
| JP2009044475A (en) | Monitor camera system | |
| JP3945333B2 (en) | Imaging display system | |
| JP3824344B2 (en) | Solid-state imaging device | |
| JP2006197614A (en) | Image processor, image processing method and vehicle monitoring system | |
| JPH05300440A (en) | Solid-state image pickup device | |
| JP5606774B2 (en) | Video display device and video display method | |
| JP3221004B2 (en) | Video camera | |
| JP2001245277A (en) | Image converter | |
| JP2011061588A (en) | Image processor, image processing method, and on-vehicle camera device | |
| JP3075937B2 (en) | Motion vector detection circuit and subject tracking camera device using the same | |
| JP2010118822A (en) | Camera shake correcting device and camera shake correcting method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040831 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040913 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071001 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081001 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091001 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101001 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111001 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121001 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131001 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |