JP2004240701A - Travel time measurement system, cone, vehicle number recognition system - Google Patents

Travel time measurement system, cone, vehicle number recognition system Download PDF

Info

Publication number
JP2004240701A
JP2004240701A JP2003028985A JP2003028985A JP2004240701A JP 2004240701 A JP2004240701 A JP 2004240701A JP 2003028985 A JP2003028985 A JP 2003028985A JP 2003028985 A JP2003028985 A JP 2003028985A JP 2004240701 A JP2004240701 A JP 2004240701A
Authority
JP
Japan
Prior art keywords
camera
image processing
image
processing device
cone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003028985A
Other languages
Japanese (ja)
Other versions
JP4052135B2 (en
Inventor
Tadaaki Kitamura
忠明 北村
Toru Nagai
徹 永井
Yoshiyuki Sato
良幸 佐藤
Ryusuke Kawatani
隆介 川谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2003028985A priority Critical patent/JP4052135B2/en
Publication of JP2004240701A publication Critical patent/JP2004240701A/en
Application granted granted Critical
Publication of JP4052135B2 publication Critical patent/JP4052135B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image monitoring system which can easily measuring the travel time and difficult to be perceived by drivers. <P>SOLUTION: A camera A and a video transmission device, and a camera B and a video receipt device are installed at a place and the other place, respectively, and the received video (video of the camera A) and the video of the camera B are switched at a predetermined interval to be image-processed, so that the travel time is measured. A camera, an image processor and a communication device are built in a triangular cone for construction, which is installed by the side of a road or at a pedestrian bridge. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は道路などに適用されるテレビカメラを用いた監視システムに関し、特に可搬式でナンバープレートなどを認識する監視装置に関する。
【0002】
【従来の技術】
道路上にカメラを設置し、通過する車両の番号などを自動認識する車番認識装置が普及している。ここで、車番認識の一連の流れとしては、特開平6−215293号公報記載のように、プレート切り出し、最大4桁の一連番号切り出し、各種コード(地名の陸運支局コードと車種コード,用途コード)領域切り出し、各文字の認識の手順で認識している。
【0003】
このナンバー認識によって、複数地点で計測すれば、同じ番号が通過するのに要した時間すなわち、旅行時間の計測や、盗難車などの発見が可能である。これらは通常、常設のシステムであり、門型柱や専用ポールにカメラを設置し、その近傍に画像処理装置などの路側装置を設置するのが一般的である。
【0004】
【特許文献1】
特開平6−215293号公報
【0005】
【発明が解決しようとする課題】
一方、24時間連続計測ではなく、簡易に車番を認識したい場合がある。例えば、一時的に旅行時間を計測し、道路を設計するための調査業務などを支援することや、検問時などや駐車場に出入りする車両などの車番を自動的に認識するなどである。このような仮設の場合は三脚を用いてカメラを設置し、それを道路脇や歩道橋の上あるいは駐車場の出入り口などに設置し、画像処理装置を搭載した車両にカメラ映像を引き込み、認識することが行われている。また、オンラインでの画像認識が困難な場合はカメラで映像を録画し、この映像を持ち帰りオフライン的に解析することが取られている。
【0006】
旅行時間計測の場合、少なくとも2地点で車番を認識し、その結果を照合し同一番号がどの程度遅れて通過するかを計測することになる。可搬式のナンバー読取りの場合、その場でカメラの映像を録画して、その映像を持ち帰りオフライン的に解析するか、それぞれの地点に画像処理装置を設置することになるが、それぞれの地点で認識することは、画像処理装置の数が多くなり、計測に要するコストが高くなるといった問題がある。また、カメラの設置は三脚を用いることが多く、非常に目立ちやすいため、運転者から気づきやすいと言った欠点がある。また、カメラのそばに人が立っていたのでは、更に目立ってしまう。このような三脚を使ったカメラを道路の脇などに設置すると、運転者からはカメラで撮影されていることが見えるため、脇見運転などにつながり好ましくない。
【0007】
そこで本発明は、少ない画像処理装置で旅行時間を簡易に計測することを目的とする。また、運転者から気づき難い形態でナンバー読取りを行う監視装置を提供することである。
【0008】
【課題を解決するための手段】
このような旅行時間計測は、必ずしも100%の認識率は必要なく、2地点を通過する車の一部分が認識できれば、旅行時間の計測は十分である。このため、一方の地点にはカメラAと画像伝送装置を、他方にはカメラBと、画像受信装置と画像処理装置を設置し、カメラBの映像と画像受信装置で受信した映像(カメラAの映像)とを相互に比較しながらナンバー認識することで、2箇所に1箇所の割合で画像処理装置を設置すればよく、簡易に旅行時間を計測することが可能となる。100台通過した内の何割かが2地点で照合できれば旅行時間の算出は可能であるため、このような構成で低価格な旅行時間計測システムを構築できる。
【0009】
また、運転者から気づき難い構成として、道路のいたるところに設置されている工事用の三角コーンを利用し、この工事用コーンの中に、カメラ,超小型画像処理装置と通信装置を内蔵し、認識結果などを離れた場所にいる監視員などが携帯するPDAなどに伝送することで、運転者などに気づかれ難く、しかもその場で監視結果を見ることが可能となる。
【0010】
【発明の実施の形態】
本発明の実施例を詳細に説明する。図1は簡易型旅行時間計測システムの構成を示す。地点Bにカメラ1−Bとその映像を無線伝送する無線画像伝送装置4を設置する。地点Aにはカメラ1−Aと地点Bのカメラ映像を受信する無線画像受信装置3と、画像処理装置2と、旅行時間算出装置5を設置する。画像処理装置2は、少なくとも2系統のカメラ映像を接続できるもので、2系統の画像を切り替えながら処理する。旅行時間算出装置5はノートPCやPDAなどとなるが、画像処理装置2とLAN接続によってノートPCやPDAなどに送受信することで、離れた場所で、旅行時間の計測結果を見ることが可能となる。
【0011】
通常、図2のように地点ごとに画像処理装置2を設置し、認識結果を記憶メディア6に格納したり、結果を伝送することが行われるが、旅行時間計測のためには、全ての通過車両を認識する必要は無く、図1の構成のように、2台分のカメラ映像を切り替えながら処理することができ、安価な構成で旅行時間を計測することが可能となる。
【0012】
図3に画像処理装置の構成を示す。カメラ1の映像を入力するNTSCデコーダー(A/D変換器)21が2系統あり、カメラの映像を画像処理LSI23に入力する。画像処理LSI23はRAM24,CPU25,フラッシュメモリー26,LANコントローラー28,タイマー29とバス接続されている。前述のデコーダー21を切り替えながら処理することで、2地点のカメラ映像を処理することができる。なお、RAM24には処理プログラム,フラッシュメモリ26にはOSなどの基本部が格納されている。
【0013】
図4は、旅行時間算出のフローである。まずカメラ1を選択し30、その映像を入力31し、車が来たかどうかを車両検知処理32で処理し、検知したらナンバー認識33を実行する。認識が終わると認識結果を格納し34、カメラ2に切り替えて36、再度同様な処理を実行する。カメラ1,2の認識が終わると、格納されている認識結果を基に旅行時間の算出37を実行する。
【0014】
通常、カメラ1とカメラ2は数百m〜数キロ程度離れているので、認識結果は図6のように同じ番号が数分遅れて検出される(時刻は内蔵のタイマー29で計測)。地点Aの計測結果を50、地点Bを51に示す。上記は、1台ごとにカメラを切り替える方式を説明したが、図5のように、所定台数認識したらカメラを切り替える方式や、カメラの設置間隔Lで想定できる旅行時間分(例えば5分)カメラAを処理し、その後カメラBを処理する方式もある。このように、一方に映像伝送装置、他方に映像受信装置と画像処理装置を備えることで、2地点のカメラの映像を処理し、簡易に旅行時間計測が可能となり、安価な構成が実現できる。更にいえば、2つのカメラからの出力を相互に比較しながら処理を行う方式を採用すればよく、従って別途センタを設け、カメラAとカメラBの2つの画像を取得して、同一ナンバーを認識することによって旅行時間を計測しても良い。そのときはカメラBと共に送信装置を設置し、センタに受信装置と画像処理装置を設けることとなる。
【0015】
一方、このような可搬型(簡易型)システムでは、カメラを三脚に固定することが多いが、運転者の目障りになり、脇見運転につながる虞がある。このため、各地点に設置する機器を図7のように、工事用三角コーン60(以下、コーンと称す)にカメラなどを内蔵する。このようなコーンは道路のあちらこちらに設置されており、車の運転者は特に違和感無く見過ごしている。このようなコーンを用いて監視するもので、コーンの内部にカメラ,画像処理装置,通信装置などを内蔵することで、従来の三脚を用いてカメラを設置していた方式に比べ、運転者に気づかれ難い道路用の監視装置を提供できる。コーンにはカメラ用の窓61が備わっている。
【0016】
図8はコーン内の構造を示すもので、テレビカメラ1を台座62に載せ、このカメラの映像を処理する画像処理装置2が内蔵されている。この画像処理装置は、『インテリジェント画像認識システムVP−900シリーズ(映像情報インダストリアル、2002年10月号、pp.80−83)』に記載のように、高速,小型画像処理専用LSI+CPUによりカメラサイズを実現している。従来の画像処理装置では消費電力が大きく、バッテリ駆動できなかったが、本装置ではバッテリでの駆動も可能である。本実施例は、この超小型画像処理装置を利用したものである。
【0017】
図9は、前述した無線画像伝送方式の場合のコーンの内部である。カメラ1,画像処理装置2と無線画像受信装置3が備わっている。
【0018】
また、図10は画像認識結果を無線LANなどを利用し、端末70と通信する場合の構成である。無線にすることで、カメラの近くに人を配置する必要が無く、運転者に違和感がない構成ができる。この場合の内部は図11のように、カメラ1,画像処理装置2,無線画像受信装置3、及び無線LANのアクセスポイント63が内蔵される。
【0019】
図12はコーンを背面から見た図である。内蔵装置の取り出しや、テレビカメラのピント,ズーム調整などが可能なように開閉可能な扉64を設けている(三角コーンを上からかぶせる構成の場合は不要)。
【0020】
図13は、コーンに内蔵している機器のブロック図を示す。テレビカメラ1の映像を画像処理装置2に入力し、画像処理によって一般的な認識処理を行う。画像処理装置2は無線LANアクセスポイント63とLAN接続しており、無線LANアクセスポイント63と無線LANで接続しているPDAなどの端末70でデータの送受信を行う。各機器はバッテリ81,82,83で電源供給されている。図ではバッテリを個別に設けているが、電源仕様が同じ場合は、1つのバッテリでも構わない。また、テレビカメラの映像を録画するVTR機器を設置する場合もある。この場合、市販の録画機能付ビデオカメラを用いても良い。認識結果だけでよい場合は、不要である。
【0021】
図14は画像処理装置5とPDAなどの端末装置3との通信手段を有線LANにした場合の構成である。この場合は無線LANアクセスポイント63を不要にすることができる。
【0022】
図15は、無線画像受信装置を内蔵した場合のブロック図である。無線画像受信装置3で受信した映像と、カメラ1の映像が画像処理装置2に入力され、認識結果を無線LANで伝送している。有線では機動性が低下するが、無線の場合は数十m離れた場所まで伝送することができるのでカメラの側に人を配置させる必要がないというメリットがある。
【0023】
図16は画像送信側の構成であり、カメラ1と無線画像伝送装置4が内蔵される。
【0024】
図17は夜間でも認識可能なように照明装置を内蔵した場合のブロック図である。図14などの構成に、照明装置90を設置している。ナンバープレート認識の場合は、対象が移動しているため通常テレビカメラは1/1000秒程度のシャッター速度で撮影している。このため、映像信号91を入力し、その同期信号を基準に照明を点灯するタイミングを設定する照明点灯制御回路を備えている(図示しない)。また、画像処理装置2からは点灯の有無をON/OFFする信号92を与えている。
【0025】
図18は照明を付けた場合のコーン60の外観である。61はレンズ用の窓、65は照明用の窓である。車番認識用の照明は近赤外LEDが用いられることが多いため、窓のガラスは可視光線をカットするフィルタで構成することで、内部が見えないようにすることも可能である。
【0026】
図19は認識結果をPDAなどの端末に送信する場合の端末の画面例である。画像処理装置で処理した画像を伝送し、受信した画像を表示するエリア100と、認識結果を表示するエリア101と、ナンバー認識のための視野サイズ(カメラが撮影している横幅)を設定するメニュー102と、前述の照明を点灯するか否かを設定するメニュー103と(照明がない場合は不要)、処理を開始するボタン104と、終了ボタン105で構成する。照明を点灯すると設定した場合は、前述の図6の照明ON/OFF信号がONの信号を出力することになる。
【0027】
以下、PDAを利用した場合の具体的な使用例について説明する。
【0028】
(1)旅行時間計測システムの場合
上記のようなコーンを旅行時間計測に適用する場合の使用例を説明する。旅行時間計測は、数百mから数キロ離れた地点に車番認識装置を設置し、同じ番号が検出されるまでに要した時間を計測することになる。このため、上記のようなコーンを複数地点に設置し、認識結果を端末装置(PDA)に伝送し、端末装置で受信したナンバー情報を時刻とひも付けして記憶媒体(例えばコンパクトフラッシュ(登録商標),SDカードなど)に記憶し、複数地点のナンバーを照合することで旅行時間を算出することが出来る。また、2箇所のカメラ映像を切り替えて処理する場合は、認識結果に地点番号(名)があるので、その地点ごとにナンバーを記憶しておき(図6参照)、認識結果を受信するたびに、照合処理を実行すれば旅行時間を算出できる。
【0029】
あるいは、端末装置に携帯電話などの通信手段を備えておけば、受信した結果をオンラインでセンタに送り、その情報を基に旅行時間の算出が可能である。この場合、通過したタイミングで常に送信するのは通信コストがあがるため、数分間に一度、まとめて送信するなどの工夫を設ける。
【0030】
(2)登録ナンバー検出システムの場合
図20は端末装置(PDA)の記憶媒体に予め盗難車や犯罪車両などの情報を登録しておき、この車両番号と一致した認識結果を受信した場合に、アラームを発するとともに、端末の表示画面に「登録番号にヒットしました」などと表示する。OKボタンを押すと、詳細情報が図21のように表示される。詳細情報には、登録車両の登録事由、日時、場所(警察管轄名など)などを表示する。OKボタンを押すと更に、予め登録しているセンタに緊急情報として通報するかを図22のように問いかけ、通報する場合は、端末装置に接続している携帯電話などで通報する。この場合、登録情報は秘匿性が高いので、記録媒体の盗難時に一般の人から見えないように、暗号化するなどの工夫も考えられる。
【0031】
上記カメラのレンズは、設置時にカメラのピント,ズームを調整する構成であるが、カメラのレンズをリモートでピント,ズームを調整可能なレンズとし、PDAからのパラメータ設定で、画像処理装置にデータを送信し、その値によって画像処理装置のDO出力で制御することも可能である。また、道路に設置するために、コーンが転倒する虞や、風などでカメラの向きが変化する場合が想定される。PDAなどに結果伝送する場合、認識できているときは良いが、転倒したときは映像が全く来ないため、カメラの状態がどのようになっているか分からなくなってしまう。このため、所定時間(例えば5分間)ナンバープレートを認識できなかった場合は、入力画像を端末(PDAなど)に送信し(アラームを鳴らしても良い)、監視員がその映像を見て転倒している、カメラの向きが移動しているなどの判断をし、コーン設置地点に確認に行くことが出来るようにすることも可能である。
【0032】
このようにコーンにカメラ,画像処理装置,通信装置を内蔵した可搬型とすることで、運転者に気づかれ難い監視が可能となる。
【0033】
また、可搬型で簡易にナンバープレートを認識でき、その結果を端末装置で予め登録している番号と照合することで、犯罪車両か否かの判断が瞬時に行え、犯罪車両検挙率を向上することが可能となる。
【0034】
なお、検問時などにおいては、パトカーがそばにあるので、カメラ,画像処理装置,通信装置を車に搭載し、認識結果を警察官が携帯するPDAなどに送信することも可能である。
【0035】
なお、本実施例では、車番認識を具体的例としているが、道路の監視の応用としては、画像処理装置のアプリケーションを変更することで交通流計測(歩道の上にコーンを置く)などへも容易に対応可能である。
【0036】
【発明の効果】
少ない画像処理装置で旅行時間の計測を可能とすることができる。また、運転者に気づかれ難い車番認識装置を提供することができる。
【図面の簡単な説明】
【図1】2地点を1台の画像処理装置を用いて旅行時間算出する構成を説明する図である。
【図2】各地点ごとに画像処理装置を設置する場合の構成を示す図である。
【図3】画像処理装置の構成を示す図である。
【図4】2台のカメラ映像を切り替えながら認識処理し旅行時間を算出するフローである。
【図5】2台のカメラ映像を切り替えながら認識処理し旅行時間を算出する別方式のフローである。
【図6】認識結果の格納状態を説明する図である。
【図7】カメラと画像処理装置などの機器を内蔵したコーンの外観を示す図である。
【図8】コーンの内部構成を示す図である。
【図9】無線画像受信装置を内蔵した場合のコーンの内部をしめす図である。
【図10】無線LANで端末と接続し認識結果などを端末で監視する場合の構成である。
【図11】無線LANで端末と接続し認識結果などを端末で監視する場合のコーンの内部構成である。
【図12】コーンの扉を説明する図である。
【図13】無線LAN接続の場合のコーン内蔵型のブロック構成である。
【図14】有線LAN接続の場合のコーン内蔵型のブロック構成である。
【図15】無線画像受信装置を有したブロック構成である。
【図16】無線画像伝送する場合のコーンのブロック図である。
【図17】照明装置付きの場合のコーンのブロック構成である。
【図18】照明付きのコーンの外観である。
【図19】端末装置の画面例を示す図である。
【図20】登録番号との照合をアプリケーションとした場合の画面例である。
【図21】登録番号にヒットした場合の詳細情報表示例を示す画面例である。
【図22】センタに通報する場合の画面例である。
【符号の説明】
1…カメラ、2…画像処理装置、60…工事用三角コーン、63…無線LANアクセスポイント、70…端末。
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a surveillance system using a television camera applied to a road or the like, and more particularly to a portable surveillance device that recognizes a license plate or the like.
[0002]
[Prior art]
2. Description of the Related Art A vehicle number recognition device in which a camera is installed on a road and automatically recognizes a number of a passing vehicle and the like is widely used. Here, as a series of flow of the vehicle number recognition, as described in JP-A-6-215293, a plate is cut out, a serial number is cut out at a maximum of four digits, and various codes (land transportation branch office code and vehicle type code of place name, application code) ) The region is cut out and each character is recognized in the procedure of recognition.
[0003]
If the number is measured at a plurality of points by this number recognition, the time required for the same number to pass, that is, the travel time can be measured, and a stolen vehicle or the like can be found. These are usually permanent systems, in which a camera is installed on a portal or a dedicated pole, and a roadside device such as an image processing device is generally installed near the camera.
[0004]
[Patent Document 1]
JP-A-6-215293
[Problems to be solved by the invention]
On the other hand, there is a case where it is desired to easily recognize the vehicle number instead of continuous measurement for 24 hours. For example, it temporarily measures travel time to support a survey operation for designing a road, and automatically recognizes a vehicle number of a vehicle entering or exiting a parking lot at an inspection or the like. In the case of such a temporary installation, install the camera using a tripod, install it on the side of the road, on the pedestrian bridge, at the entrance of the parking lot, etc., and pull in the camera image to the vehicle equipped with the image processing device and recognize it Has been done. When it is difficult to perform online image recognition, a video is recorded with a camera, and the video is taken back and analyzed offline.
[0006]
In the case of travel time measurement, car numbers are recognized at least at two points, the results are collated, and how long the same number passes by is measured. In the case of portable type number reading, the video of the camera is recorded on the spot and the video is taken back and analyzed offline or an image processing device is installed at each point, but it is recognized at each point However, there is a problem that the number of image processing apparatuses increases and the cost required for measurement increases. In addition, since a camera is often installed on a tripod and is very conspicuous, there is a disadvantage that the driver can easily notice it. Also, if a person stands near the camera, it will be more noticeable. If a camera using such a tripod is installed on the side of a road or the like, the driver can see that the camera is taking an image, which leads to inattentive driving or the like, which is not preferable.
[0007]
Therefore, an object of the present invention is to easily measure a travel time with a small number of image processing apparatuses. Another object of the present invention is to provide a monitoring device that reads a number in a form that is difficult for a driver to notice.
[0008]
[Means for Solving the Problems]
Such travel time measurement does not necessarily require a 100% recognition rate, and the travel time can be sufficiently measured if a part of a car passing through two points can be recognized. For this reason, a camera A and an image transmitting device are installed at one point, and a camera B, an image receiving device and an image processing device are installed at the other point, and the image of the camera B and the image received by the image receiving device (the camera A By recognizing the numbers while comparing them with each other, it is only necessary to install the image processing device at a ratio of one to two, and the travel time can be easily measured. The travel time can be calculated if some of the 100 vehicles passed can be verified at two points, so that a low-cost travel time measurement system can be constructed with such a configuration.
[0009]
In addition, as a configuration that is hard to notice from the driver, a construction triangular cone installed throughout the road is used, and a camera, a micro image processing device and a communication device are built in this construction cone, By transmitting the recognition result or the like to a PDA or the like carried by an observer or the like at a remote location, it becomes difficult for the driver or the like to notice and the monitoring result can be viewed on the spot.
[0010]
BEST MODE FOR CARRYING OUT THE INVENTION
Examples of the present invention will be described in detail. FIG. 1 shows the configuration of a simplified travel time measurement system. At the point B, the camera 1-B and the wireless image transmission device 4 for wirelessly transmitting the image are installed. At the point A, the wireless image receiving device 3 for receiving the camera images of the camera 1-A and the point B, the image processing device 2, and the travel time calculating device 5 are installed. The image processing device 2 can connect at least two systems of camera images, and performs processing while switching the two systems of images. The travel time calculation device 5 is a notebook PC, a PDA, or the like. By transmitting / receiving the image processing device 2 to / from a notebook PC, a PDA, or the like via a LAN connection, the travel time measurement result can be viewed at a remote place. Become.
[0011]
Normally, as shown in FIG. 2, the image processing apparatus 2 is installed for each point, and the recognition result is stored in the storage medium 6 and the result is transmitted. There is no need to recognize the vehicle, and processing can be performed while switching between the camera images of the two cameras, as in the configuration of FIG. 1, and the travel time can be measured with an inexpensive configuration.
[0012]
FIG. 3 shows the configuration of the image processing apparatus. There are two NTSC decoders (A / D converters) 21 for inputting the image of the camera 1, and input the image of the camera to the image processing LSI 23. The image processing LSI 23 is connected to the RAM 24, CPU 25, flash memory 26, LAN controller 28, and timer 29 by bus. By processing while switching the above-mentioned decoder 21, camera images at two points can be processed. The RAM 24 stores a processing program, and the flash memory 26 stores a basic unit such as an OS.
[0013]
FIG. 4 is a flowchart of the travel time calculation. First, the camera 1 is selected 30 and its image is input 31. The vehicle detection process 32 determines whether or not a vehicle has arrived. When the recognition is completed, the recognition result is stored 34, and the processing is switched to the camera 2 36, and the same processing is executed again. When the recognition of the cameras 1 and 2 is completed, a travel time calculation 37 is executed based on the stored recognition results.
[0014]
Normally, since the camera 1 and the camera 2 are separated from each other by several hundred meters to several kilometers, the same number is detected with a delay of several minutes as shown in FIG. 6 (the time is measured by the built-in timer 29). The measurement result at the point A is shown at 50 and the point B at 51. In the above description, the method of switching the cameras for each camera is described. However, as shown in FIG. 5, the method of switching the cameras when a predetermined number of cameras are recognized, or the travel time (for example, 5 minutes) that can be assumed at the installation interval L of the camera A And then process camera B. As described above, by providing the video transmission device on one side and the video receiving device and the image processing device on the other side, it is possible to process the images of the cameras at two points, easily measure the travel time, and realize an inexpensive configuration. Furthermore, it is only necessary to adopt a method of performing processing while comparing outputs from two cameras with each other. Therefore, a center is separately provided, and two images of camera A and camera B are acquired and the same number is recognized. By doing so, the travel time may be measured. In that case, a transmitting device is installed together with the camera B, and a receiving device and an image processing device are provided at the center.
[0015]
On the other hand, in such a portable (simplified) system, the camera is often fixed to a tripod, but this may be annoying to the driver and may lead to inattentive driving. For this reason, as shown in FIG. 7, a camera or the like is built in a construction triangular cone 60 (hereinafter, referred to as a cone) as equipment installed at each point. Such cones are installed everywhere on the road, and the driver of the car overlooks it without any particular discomfort. Monitoring is performed using such a cone. By incorporating a camera, image processing device, and communication device inside the cone, the driver can be compared with a system that uses a conventional tripod to install a camera. It is possible to provide a monitoring device for a road which is hardly noticed. The cone has a camera window 61.
[0016]
FIG. 8 shows the structure inside the cone. The television camera 1 is mounted on a pedestal 62, and an image processing device 2 for processing an image of this camera is built in. As described in “Intelligent Image Recognition System VP-900 Series (Video Information Industrial, October 2002, pp. 80-83)”, this image processing apparatus uses a high-speed, small-size image processing dedicated LSI + CPU to reduce the camera size. Has been realized. Although the conventional image processing apparatus consumes large power and cannot be driven by a battery, the present apparatus can be driven by a battery. In this embodiment, the micro image processing apparatus is used.
[0017]
FIG. 9 shows the inside of the cone in the case of the wireless image transmission method described above. A camera 1, an image processing device 2, and a wireless image receiving device 3 are provided.
[0018]
FIG. 10 shows a configuration in which the image recognition result is communicated with the terminal 70 using a wireless LAN or the like. By using wireless communication, there is no need to arrange a person near the camera, and a configuration can be provided that does not make the driver feel uncomfortable. In this case, as shown in FIG. 11, a camera 1, an image processing device 2, a wireless image receiving device 3, and a wireless LAN access point 63 are built in.
[0019]
FIG. 12 is a view of the cone as viewed from the back. An openable / closable door 64 is provided so that the built-in device can be taken out, the television camera can be focused, and the zoom can be adjusted (not necessary in the case of a configuration in which a triangular cone is covered from above).
[0020]
FIG. 13 shows a block diagram of a device built in the cone. The image of the television camera 1 is input to the image processing device 2, and general recognition processing is performed by image processing. The image processing apparatus 2 is LAN-connected to the wireless LAN access point 63, and transmits / receives data to / from a terminal 70 such as a PDA connected to the wireless LAN access point 63 by a wireless LAN. Each device is powered by batteries 81, 82, 83. In the figure, batteries are provided individually, but if the power supply specifications are the same, one battery may be used. In some cases, a VTR device for recording an image of a television camera is installed. In this case, a commercially available video camera with a recording function may be used. It is unnecessary when only the recognition result is sufficient.
[0021]
FIG. 14 shows a configuration in which the communication means between the image processing device 5 and the terminal device 3 such as a PDA is a wired LAN. In this case, the wireless LAN access point 63 can be made unnecessary.
[0022]
FIG. 15 is a block diagram in the case where the wireless image receiving device is incorporated. The image received by the wireless image receiving device 3 and the image of the camera 1 are input to the image processing device 2, and the recognition result is transmitted by wireless LAN. In the case of wired communication, the mobility is reduced, but in the case of wireless communication, transmission can be made to a place tens of meters away, so there is an advantage that it is not necessary to arrange a person on the camera side.
[0023]
FIG. 16 shows the configuration of the image transmission side, in which the camera 1 and the wireless image transmission device 4 are built.
[0024]
FIG. 17 is a block diagram in the case where a lighting device is incorporated so that it can be recognized even at night. The lighting device 90 is installed in the configuration shown in FIG. In the case of license plate recognition, since the target is moving, the television camera normally shoots at a shutter speed of about 1/1000 second. For this purpose, an illumination lighting control circuit (not shown) for inputting the video signal 91 and setting the lighting timing based on the synchronization signal is provided. Further, the image processing apparatus 2 gives a signal 92 for turning on / off the presence or absence of lighting.
[0025]
FIG. 18 is an external view of the cone 60 when lighting is provided. Reference numeral 61 denotes a window for a lens, and 65 denotes a window for illumination. Since near-infrared LEDs are often used for illumination for vehicle number recognition, the inside of the window can be made invisible by configuring the window glass with a filter that cuts visible light.
[0026]
FIG. 19 is an example of a terminal screen when a recognition result is transmitted to a terminal such as a PDA. An area for transmitting an image processed by the image processing apparatus and displaying a received image, an area 101 for displaying a recognition result, and a menu for setting a field of view (width of a camera) for number recognition. 102, a menu 103 for setting whether or not to turn on the above-mentioned lighting (not necessary if there is no lighting), a button 104 for starting the process, and an end button 105. When the lighting is set to be turned on, the lighting ON / OFF signal in FIG. 6 outputs an ON signal.
[0027]
Hereinafter, a specific usage example in the case of using the PDA will be described.
[0028]
(1) In the case of a travel time measurement system An example of use when the above-described cone is applied to travel time measurement will be described. In the travel time measurement, a car number recognition device is installed at a point several hundred meters away from a few hundred meters, and the time required until the same number is detected is measured. For this reason, the above-mentioned cones are installed at a plurality of points, the recognition result is transmitted to a terminal device (PDA), and the number information received by the terminal device is linked with the time to a storage medium (for example, Compact Flash (registered trademark)). ), An SD card, etc.), and the travel time can be calculated by comparing the numbers at a plurality of points. Further, when processing is performed by switching between two camera images, since the recognition result includes a point number (name), the number is stored for each point (see FIG. 6), and each time the recognition result is received. By executing the matching process, the travel time can be calculated.
[0029]
Alternatively, if the terminal device is provided with a communication means such as a mobile phone, the received result can be sent to the center online, and the travel time can be calculated based on the information. In this case, since transmission at the time of passing the transmission always increases communication cost, a device such as transmission once every several minutes is provided.
[0030]
(2) In the case of registration number detection system FIG. 20 shows a case where information such as a stolen vehicle or a criminal vehicle is registered in advance in a storage medium of a terminal device (PDA) and a recognition result matching this vehicle number is received. Raises an alarm and displays "Hit registration number" on the display screen of the terminal. When the OK button is pressed, detailed information is displayed as shown in FIG. The detailed information displays the registration reason, date and time, location (eg, police jurisdiction name) of the registered vehicle, and the like. When the OK button is pressed, an inquiry is made as shown in FIG. 22 as to whether or not to notify the center registered in advance as emergency information, and when notifying, the notification is made by a mobile phone or the like connected to the terminal device. In this case, since the registration information is highly confidential, a scheme such as encryption may be considered so that the registration information is not visible to a general person when the recording medium is stolen.
[0031]
The lens of the camera is configured to adjust the focus and zoom of the camera at the time of installation. The lens of the camera is a lens capable of adjusting the focus and zoom remotely, and data is transmitted to the image processing apparatus by setting parameters from the PDA. It is also possible to control the transmission by the DO output of the image processing apparatus according to the value. Further, in order to install the camera on a road, it is assumed that the cone may fall down, or the direction of the camera may change due to wind or the like. When transmitting the result to a PDA or the like, it is good when the recognition is successful, but when the camera falls, no video comes at all, so that it is difficult to know the state of the camera. For this reason, if the license plate cannot be recognized for a predetermined time (for example, 5 minutes), the input image is transmitted to a terminal (PDA or the like) (alarm may be sounded), and the observer falls down looking at the image. It is also possible to make a judgment as to whether the camera is moving or the direction of the camera is moving, so that the user can go to the cone installation point for confirmation.
[0032]
By making the cone a camera, an image processing device, and a communication device built in the portable type, monitoring that is hardly noticed by the driver can be performed.
[0033]
In addition, the license plate can be easily recognized in a portable manner, and the result is compared with the number registered in advance in the terminal device, thereby immediately determining whether or not the vehicle is a criminal vehicle, thereby improving the criminal vehicle arrest rate. It becomes possible.
[0034]
At the time of a check, for example, since a police car is nearby, it is possible to mount a camera, an image processing device, and a communication device on a car and transmit the recognition result to a PDA carried by a police officer.
[0035]
In this embodiment, the vehicle number recognition is a specific example. However, as an application of road monitoring, the application of the image processing apparatus is changed to measure traffic flow (put a cone on the sidewalk). Can be easily handled.
[0036]
【The invention's effect】
The travel time can be measured with a small number of image processing devices. Further, it is possible to provide a vehicle number recognition device that is hardly noticed by a driver.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration for calculating travel time at two points using one image processing apparatus.
FIG. 2 is a diagram illustrating a configuration in a case where an image processing apparatus is installed at each point.
FIG. 3 is a diagram illustrating a configuration of an image processing apparatus.
FIG. 4 is a flowchart for calculating a travel time by performing recognition processing while switching between two camera images.
FIG. 5 is a flowchart of another method for calculating a travel time by performing recognition processing while switching between two camera images.
FIG. 6 is a diagram illustrating a storage state of a recognition result.
FIG. 7 is a diagram illustrating an external appearance of a cone including a camera and devices such as an image processing device.
FIG. 8 is a diagram showing an internal configuration of a cone.
FIG. 9 is a diagram showing the inside of a cone in the case where a wireless image receiving device is built in.
FIG. 10 illustrates a configuration in a case where the terminal is connected to the terminal via a wireless LAN and a recognition result and the like are monitored by the terminal.
FIG. 11 shows an internal configuration of a cone when the terminal is connected to the terminal via a wireless LAN and the result of recognition and the like is monitored by the terminal.
FIG. 12 is a diagram illustrating a door of a cone.
FIG. 13 is a block configuration of a cone built-in type in the case of wireless LAN connection.
FIG. 14 is a block diagram of a built-in cone type for a wired LAN connection.
FIG. 15 is a block diagram including a wireless image receiving apparatus.
FIG. 16 is a block diagram of a cone for wireless image transmission.
FIG. 17 is a block configuration of a cone provided with a lighting device.
FIG. 18 is an external view of a cone with illumination.
FIG. 19 is a diagram illustrating an example of a screen of a terminal device.
FIG. 20 is an example of a screen in a case where an application is performed for comparison with a registration number.
FIG. 21 is a screen example showing a detailed information display example when a registration number is hit.
FIG. 22 is a screen example when notifying a center.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Camera, 2 ... Image processing apparatus, 60 ... Triangle cone for construction, 63 ... Wireless LAN access point, 70 ... Terminal.

Claims (11)

路上の所定の地点に配設された第一のテレビカメラと、第一のテレビカメラの配設地点より下流に配設された第二のテレビカメラとを有し、それらテレビカメラの情報を利用して前記路上を走行する車両の旅行時間を計測する旅行時間計測システムであって、
前記第一のテレビカメラと共に配設され、前記第一のテレビカメラの画像情報を送信する送信装置と、
それぞれ前記第二のテレビカメラと共に配設された受信装置,画像処理装置,旅行時間計測装置と、を有し、
前記受信装置は、前記第一のテレビカメラの画像情報を受信し、
前記画像処理装置は、前記各テレビカメラから得られた画像情報から前記車両のナンバーを認識し、
前記旅行時間計測装置は、二つの画像情報から前記画像処理装置によって各々認識された車両のナンバーを比較することによって前記旅行時間を計測する旅行時間計測システム。
It has a first television camera disposed at a predetermined point on the road, and a second television camera disposed downstream from the arrangement point of the first television camera, and uses information of the television cameras. A travel time measurement system that measures the travel time of the vehicle traveling on the road,
A transmission device that is disposed together with the first television camera and transmits image information of the first television camera,
Having a receiving device, an image processing device, and a travel time measuring device each arranged together with the second television camera,
The receiving device receives the image information of the first television camera,
The image processing device recognizes the number of the vehicle from image information obtained from each of the television cameras,
The travel time measuring device is a travel time measuring system that measures the travel time by comparing vehicle numbers respectively recognized by the image processing device from two pieces of image information.
テレビカメラと、
該テレビカメラの映像を処理する画像処理装置と、
該画像処理装置の認識結果を外部の端末機器に伝送する通信装置と、を内蔵することを特徴とするコーン。
TV camera,
An image processing device for processing the image of the television camera,
A communication device for transmitting a recognition result of the image processing device to an external terminal device.
請求項2において、
LEDアレー照明と、
前記テレビカメラのシャッター開放タイミングに合わせ、前記LEDアレー照明を点灯する点灯制御装置と、を有し、
前記画像処理装置は、前記LEDアレー照明が点灯している状態で撮影した前記テレビカメラの映像を処理し、
前記通信装置は、前記画像処理装置によって処理された結果を前記端末機器に伝送することを特徴とするコーン。
In claim 2,
LED array lighting,
A lighting control device that lights the LED array illumination in accordance with a shutter release timing of the television camera,
The image processing device processes an image of the television camera taken in a state where the LED array illumination is turned on,
The communication device transmits a result processed by the image processing device to the terminal device.
請求項2において、
前記画像処理装置は、車のナンバープレートを認識する機能を備え、
前記テレビカメラの映像を記録する録画装置をコーン内に内蔵することを特徴とするコーン。
In claim 2,
The image processing device has a function of recognizing a license plate of a car,
A cone, wherein a recording device for recording an image of the television camera is built in the cone.
請求項2において、
前記画像処理装置は、車のナンバープレートを認識する機能を備え、
前記通信装置は、前記端末機器からの要求に応じて、データを前記端末機器に送信し、
前記画像処理装置から前記端末機器に伝送する前記データは、少なくとも処理結果映像,入力画像,認識結果であることを特徴とするコーン。
In claim 2,
The image processing device has a function of recognizing a license plate of a car,
The communication device transmits data to the terminal device in response to a request from the terminal device,
The cone, wherein the data transmitted from the image processing device to the terminal device is at least a processing result video, an input image, and a recognition result.
請求項2において、
前記画像処理装置は、所定時間ナンバープレートが認識できなかった場合に、入力した画像を前記端末機器に送信することを特徴とするコーン。
In claim 2,
The cone according to claim 1, wherein the image processing device transmits the input image to the terminal device when the license plate has not been recognized for a predetermined time.
コーン型カメラと、該コーン型カメラとは独立の端末機器と、を備えた車番認識システムであって、
前記コーン型カメラは、テレビカメラと、該カメラの映像を前記端末機器に無線伝送する伝送装置と、を有し、
前記端末機器は、前記伝送装置から伝送された映像を受ける受信部と、受信した画像を処理する画像処理装置と、を有することを特徴とする車番認識システム。
A cone number camera, a car number recognition system including a terminal device independent of the cone type camera,
The cone-type camera has a television camera and a transmission device that wirelessly transmits an image of the camera to the terminal device,
The vehicle number recognition system, wherein the terminal device includes a receiving unit that receives a video transmitted from the transmission device, and an image processing device that processes the received image.
請求項7において、
前記画像処理装置は、車のナンバープレートを認識する機能を備え、
前記端末機器は、通信機能を有したPDAまたはノートPCで構成し、
無線LANによる通信が可能なように、前記伝送装置及び前記受信部を構成することを特徴とする車番認識システム。
In claim 7,
The image processing device has a function of recognizing a license plate of a car,
The terminal device includes a PDA or a notebook PC having a communication function,
The vehicle number recognition system, wherein the transmission device and the reception unit are configured to enable communication by a wireless LAN.
請求項7において、
前記画像処理装置は、車のナンバープレートを認識する機能を備え、
前記端末機器は、記録メディアを備え、前記受信部で受信したデータを受信した時刻と共に前記記録メディアに記憶することを特徴とする車番認識システム。
In claim 7,
The image processing device has a function of recognizing a license plate of a car,
The vehicle number recognition system, wherein the terminal device includes a recording medium, and stores the data received by the receiving unit in the recording medium together with a reception time.
請求項7において、
前記コーン型カメラは、LEDアレー照明と、前記テレビカメラのシャッター開放タイミングに合わせ、前記LEDアレー照明を点灯する点灯制御装置と、を有し、
前記画像処理装置は、前記LEDアレー照明が点灯している状態で撮影した前記テレビカメラの映像を処理することを特徴とする車番認識システム。
In claim 7,
The cone-shaped camera has an LED array illumination, and a lighting control device that lights the LED array illumination in accordance with a shutter release timing of the television camera,
The vehicle number recognition system, wherein the image processing device processes an image of the television camera taken in a state where the LED array illumination is turned on.
請求項7において、
前記端末機器は、盗難車両などのナンバープレート情報を登録したデータベースを備えると共に、前記画像処理装置は、車のナンバープレートを認識する機能を備え、前記画像処理装置によって認識したナンバープレートの認識結果と前記データベースに登録されたナンバープレート情報が一致した場合には、警報を発する機能及び/又は所定の場所に通報する機能を有することを特徴とする車番認識システム。
In claim 7,
The terminal device has a database in which license plate information such as a stolen vehicle is registered, and the image processing device has a function of recognizing a license plate of a car, and a license plate recognition result recognized by the image processing device. A vehicle number recognition system having a function of issuing an alarm and / or notifying a predetermined place when license plate information registered in the database matches.
JP2003028985A 2003-02-06 2003-02-06 Travel time measurement system, cone, car number recognition system Expired - Fee Related JP4052135B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003028985A JP4052135B2 (en) 2003-02-06 2003-02-06 Travel time measurement system, cone, car number recognition system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003028985A JP4052135B2 (en) 2003-02-06 2003-02-06 Travel time measurement system, cone, car number recognition system

Publications (2)

Publication Number Publication Date
JP2004240701A true JP2004240701A (en) 2004-08-26
JP4052135B2 JP4052135B2 (en) 2008-02-27

Family

ID=32956285

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003028985A Expired - Fee Related JP4052135B2 (en) 2003-02-06 2003-02-06 Travel time measurement system, cone, car number recognition system

Country Status (1)

Country Link
JP (1) JP4052135B2 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006221237A (en) * 2005-02-08 2006-08-24 Omron Corp Travel time calculation system
JP2006218954A (en) * 2005-02-09 2006-08-24 Honda Motor Co Ltd Parking assist system for vehicle
CN103325256A (en) * 2013-06-29 2013-09-25 佘若凡 Binocular video road traffic incident detection system
ITMI20121271A1 (en) * 2012-07-23 2014-01-24 Paolo Enrico Porchera MOBILE CONE OF VIDEO SURVEILLANCE AND PERIMETER OR SINGLE ALARM
JP2015090500A (en) * 2013-11-05 2015-05-11 株式会社リコー Image recognition device, image recognition program, image recognition method, and imaging device
WO2016132677A1 (en) * 2015-02-20 2016-08-25 パナソニックIpマネジメント株式会社 Wearable camera system, wearable camera, server, and recording control method
CN108898831A (en) * 2018-06-25 2018-11-27 广州市市政工程设计研究总院有限公司 Section condition evaluation method and system based on road high definition bayonet data
JP2022040981A (en) * 2020-08-31 2022-03-11 東日本電信電話株式会社 Safety management system
US20220148421A1 (en) * 2021-09-03 2022-05-12 Esther S. Massengill Instrumented Traffic Cones for 5G/6G Networking

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006221237A (en) * 2005-02-08 2006-08-24 Omron Corp Travel time calculation system
JP4692000B2 (en) * 2005-02-08 2011-06-01 オムロン株式会社 Travel time calculation system and travel time calculation method
JP2006218954A (en) * 2005-02-09 2006-08-24 Honda Motor Co Ltd Parking assist system for vehicle
JP4574378B2 (en) * 2005-02-09 2010-11-04 本田技研工業株式会社 Vehicle parking support system
ITMI20121271A1 (en) * 2012-07-23 2014-01-24 Paolo Enrico Porchera MOBILE CONE OF VIDEO SURVEILLANCE AND PERIMETER OR SINGLE ALARM
CN103325256A (en) * 2013-06-29 2013-09-25 佘若凡 Binocular video road traffic incident detection system
JP2015090500A (en) * 2013-11-05 2015-05-11 株式会社リコー Image recognition device, image recognition program, image recognition method, and imaging device
WO2016132677A1 (en) * 2015-02-20 2016-08-25 パナソニックIpマネジメント株式会社 Wearable camera system, wearable camera, server, and recording control method
JP2016154300A (en) * 2015-02-20 2016-08-25 パナソニックIpマネジメント株式会社 Wearable camera system, wearable camera, server and video recording method
CN108898831A (en) * 2018-06-25 2018-11-27 广州市市政工程设计研究总院有限公司 Section condition evaluation method and system based on road high definition bayonet data
JP2022040981A (en) * 2020-08-31 2022-03-11 東日本電信電話株式会社 Safety management system
JP7164575B2 (en) 2020-08-31 2022-11-01 東日本電信電話株式会社 Safety management system
US20220148421A1 (en) * 2021-09-03 2022-05-12 Esther S. Massengill Instrumented Traffic Cones for 5G/6G Networking

Also Published As

Publication number Publication date
JP4052135B2 (en) 2008-02-27

Similar Documents

Publication Publication Date Title
US9767675B2 (en) Mobile autonomous surveillance
US8503972B2 (en) Multi-functional remote monitoring system
KR101146583B1 (en) Smart computer camera for identifying vehicles in parking area
KR100963028B1 (en) Apparatus for Notifying Accident
US20140253733A1 (en) Networked modular security and lighting device grids and systems, methods and devices thereof
JP6567483B2 (en) Street information processing system, client and server applied to street information processing system, and methods and programs thereof
KR101685900B1 (en) Monitoring system for Intersection detection accident
WO2004100103A1 (en) Event detection system
KR20160079291A (en) A multi-function signal lamp device and a method for operating thereof
KR100997808B1 (en) The traffic surveillance system of detecting violation of traffic regulations, collecting traffic information and preventing of crimes
JP4052135B2 (en) Travel time measurement system, cone, car number recognition system
CN106482931A (en) road light source monitoring device, monitoring method and monitoring system
KR20160080781A (en) Apparatus for safety crosswalk
JP4415766B2 (en) Vehicle perimeter monitoring system
KR102170233B1 (en) Apparatus for preventing unauthorized access of highway
TWI694419B (en) Security control method, traffic warning system, user terminal, and monitor device
KR100825225B1 (en) System and method for regulating illegally parked vehicle having function of overspeeding vehicle detection and crime prevention
KR101769040B1 (en) Individual vehicle recognition and vehicle parking management system using a composite video sensor nodes
JP2004140586A (en) Intrusion supervisory system, control apparatus thereof, supervisory terminal, and intrusion supervisory program
KR20180013076A (en) System and Method for Sensing Obstacle
JP2003022493A (en) Signal system, information providing and gathering method using signal, information providing and gathering program using signal, and computer-readable recording medium
JP2003256961A (en) Network type emergency report system
JP2004280696A (en) Imaging method of damaged vehicle
JP2011258068A (en) Traffic information provision system
JP6661858B2 (en) System, program, imaging device, and software

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050520

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060420

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070712

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071126

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111214

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111214

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121214

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131214

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees