JP2004069711A - 管路調査システム - Google Patents

管路調査システム Download PDF

Info

Publication number
JP2004069711A
JP2004069711A JP2003302037A JP2003302037A JP2004069711A JP 2004069711 A JP2004069711 A JP 2004069711A JP 2003302037 A JP2003302037 A JP 2003302037A JP 2003302037 A JP2003302037 A JP 2003302037A JP 2004069711 A JP2004069711 A JP 2004069711A
Authority
JP
Japan
Prior art keywords
television camera
pipeline
image
displayed
survey
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003302037A
Other languages
English (en)
Other versions
JP4293862B2 (ja
Inventor
Hisahiro Arita
有田 尚弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
QI KK
Original Assignee
QI KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by QI KK filed Critical QI KK
Priority to JP2003302037A priority Critical patent/JP4293862B2/ja
Publication of JP2004069711A publication Critical patent/JP2004069711A/ja
Application granted granted Critical
Publication of JP4293862B2 publication Critical patent/JP4293862B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】 管路内部の状況を正確に把握することができる調査報告を表示又は作成するための管路調査システムの提供を目的とする。
【解決手段】 撮影情報処理装置に表示されているファンクションボタン101の動画面保存・終了ボタンをワンタッチで選択することにより、テレビカメラヘッドが下水管の内壁面を直視した状態で回転したときの撮影画像を側視動画像データとしてMO等に記録する。また、ファンクションボタン101の展開画面作成・保存ボタンを選択して、下水管の内壁面の展開静止画像を作成し、MO等に記録する。
【選択図】 図6

Description

発明の詳細な説明
 本発明は、地中埋設管等の管路の内部を調査して調査結果又は調査報告を記録あるいは表示する管路調査システムに関する。
 ガス管や下水管等の地中に埋設された管路には、長期間の使用や地盤の圧力などによってクラック等の異常が発生してしまう。したがって、下水管等の内部を定期的に調査して調査報告を作成することが必要となる。このような管路調査には、図14(a)に示すような、走行手段を有するテレビカメラ装置Aが使用されていて、テレビカメラ装置Aを管路B内に挿入して、管路Bに沿って移動させながら管路B内を撮影する。そして、このテレビカメラ装置Aから送られた管路B内の映像又は画像を、図14(b)に示すモニターCに表示させ、この映像又は画像を観察しながら管路B内の異常個所等の状況を把握して、調査結果又は調査報告を作成する。
 さらに、テレビカメラ装置Aによって撮影された管路B内の画像をプリンタで印刷し、例えば写真形式で調査報告に添付するといったことも行われている。また最近では、パーソナルコンピュータに、管路構成図も含めて調査報告又は調査報告書式を記録しておき、テレビカメラ装置Aの撮影画像を静止画像としてこのパーソナルコンピュータに取り込んで、撮影画像を含んだ調査報告データ又は調査報告表示データを作成し、このようなデータが格納された調査報告記録媒体を下水管理者に配布するといった調査方式も採用されている。
発明が解決しようとする課題
 このような調査方式の採用により、調査報告の作成作業を円滑に進行させることが可能となるが、調査報告には、単純な静止画像が追加されるだけなので、調査報告により管路内部の状況を正確に把握することが困難な場合が多い。
 そこで本発明は、管路内部の状況を正確に把握することができる調査報告を表示又は作成するための管路調査システムの提供を目的とする。
課題を解決するための手段
 この目的を達成するための本発明の管路調査システムは、管路の内部を撮影するテレビカメラ装置と、このテレビカメラ装置による管路内部の撮影結果に基づく調査報告を表示部に表示する調査報告表示装置と、を備えた管路調査システムであって、前記テレビカメラ装置は、管路内を移動できるように構成された本体と、この本体に取り付けられて、管路の内部を撮影するテレビカメラヘッドと、を有し、このテレビカメラヘッドは、管路の長さ方向軸を中心として回転可能に、かつ管路の横断方向軸を中心として揺動(チルト)可能に構成されていて、前記調査報告表示装置は、前記テレビカメラヘッドを、管路内壁面を直視する状態で管路の長さ方向軸を中心として回転させたときの管路内壁面の撮影画像(撮影画像から生成される画像を含む:あるいはテレビカメラヘッドを管路内壁面を直視する状態で管路の長さ方向軸を中心として回転させて得ることのできる画像)を前記表示部に調査報告として表示し、前記表示部に調査報告として表示される管路内壁面の前記撮影画像は、管路内壁面の撮影動画像と、管路内壁面の展開静止画像と、を含んでいるものである。管路内壁面を直視する状態でのテレビカメラヘッドによる管路内壁面の撮影画像は、管路内壁面の状態を正確に伝達するので、この状態でテレビカメラヘッドを管路の長さ方向軸を中心として回転させたときの撮影動画像を調査報告(調査報告の一部)として表示すれば、管路長さ方向の特定位置の管路内壁面状態を長い周方向距離にわたって又は全周にわたって正確に把握することができる。管路内壁面の撮影動画像の表示は、作業員が直接、管路内壁面を目視により観察しているような状況を創り出すが、管路内壁面の長い周方向距離にわたる又は全周にわたる状況を一目で確認させるものではないので、撮影動画像(撮影動画像データ)又は連続的な複数の静止画像(静止画像データ)から展開静止画像(展開静止画像データ)を生成するといったように展開静止画像を得て、この展開静止画像も調査報告として表示する。このような構成により、管路長さ方向の特定位置の管路内壁面状態を効果的に把握できる。展開静止画像は、管路内壁面を直視する状態でテレビカメラヘッドを回転させることにより、例えば、管路内壁面を直視する状態でテレビカメラヘッドを回転させて得られた撮影動画像に基づき生成されるので、簡単に生成でき、かつ正確なものとなる。
 調査報告表示装置は通常、管路管理者が所有するパーソナルコンピュータである。したがって、調査現場で、テレビカメラ装置による管路内部の撮影画像を記録媒体に記録しておき、この記録媒体から(通常は、この記録媒体に基づき、又はこの記録媒体を読み込んで作成した調査報告記録媒体から)調査報告表示装置が表示画像情報を読み込んで調査報告を表示できるように構成する必要がある。記録媒体に撮影画像を記録するための本発明の管路調査システムは、管路の内部を撮影するテレビカメラ装置と、このテレビカメラ装置による管路内部の撮影結果(撮影画像又は撮影画像情報)を受け取って調査報告用に処理する撮影情報処理装置と、を備えた管路調査システムであって、前記テレビカメラ装置は、管路内を移動できるように構成された本体と、この本体に取り付けられて、管路の内部を撮影するテレビカメラヘッドと、を有し、このテレビカメラヘッドは、管路の長さ方向軸を中心として回転可能に、かつ管路の横断方向軸を中心として揺動(チルト)可能に構成されていて、前記撮影情報処理装置は、前記テレビカメラヘッドを、管路内壁面を直視する状態で管路の長さ方向軸を中心として回転させたときの管路内壁面の撮影画像(撮影画像から生成される画像を含む:あるいはテレビカメラヘッドを管路内壁面を直視する状態で管路の長さ方向軸を中心として回転させて得ることのできる画像)を調査報告用の表示画像情報として記録媒体に記録し、前記記録媒体に表示画像情報として記録される管路内壁面の前記撮影画像は、管路内壁面の撮影動画像と、管路内壁面の展開静止画像と、を含んでいるものである。記録媒体は、記憶容量の大きいMO(光磁気ディスク)又はMiniDV(小型デジタルビデオカセットテープ)であることが好ましい。場合によっては、撮影動画像をMiniDVに記録し、その他の撮影画像をMOに記録する。
 テレビカメラ装置による管路内部の撮影画像情報又は撮影画像をリアルタイムに表示させ、表示された撮影画像情報又は撮影画像を確認しながら、撮影情報処理装置による撮影画像の記録操作を行うことができるようにすれば、常に的確な撮影画像の格納ができる。画像情報又は画像のリアルタイムな表示は、撮影情報処理装置の表示部で行うことができる。
 静止画像を表示するときに、例えばクラック等の異常個所を指し示す矢印、および説明文字あるいは説明文などが合成表示されていれば、管路内壁面の状態を迅速かつ正確に把握できる。したがって、記録媒体から直接又は調査報告記録媒体を介して静止画像を読み出して表示したときにこの静止画像に合成されて表示される文字等の識別あるいは確認情報を、入力部から入力できるように構成するのが効果的である。この場合に、リアルタイ厶に表示された静止画像を確認しながら、例えば、表示された静止画像上に、入力された識別あるいは確認情報を合成表示しながら、識別あるいは確認情報を入力できるように構成すれば、記録媒体から読み出して表示したときの画像状態を確認しながら入力作業を行うことができる。入力部は表示部に表示されたタッチパネルによって構成されるのが好ましい。
 テレビカメラ装置の移動距離を計測する距離計測手段と、テレビカメラ装置の本体の長さ方向傾斜角度を計測するピッチ角計測手段と、をさらに備え、撮影情報処理装置が、距離計測手段及びピッチ角計測手段の計測値又はこの計測値から生成した管路傾斜情報を記録媒体に記録するように構成しておけば、管路の内部状態だけでなく、管路の埋設状態も把握することが可能となる。
 テレビカメラヘッドは調査実行中にたえず揺動する。したがって常にクリアな撮影画像を得るためには、テレビカメラヘッドの揺動にともなって、テレビカメラヘッド(テレビカメラ)のフォーカスやアイリス、ライト照度を適当に調整する必要がある。そこで所定揺動(チルト)角度のときのテレビカメラヘッド(テレビカメラ)のフォーカス値、アイリス値あるいはライト照度を予め記憶でき、かつ、調査実行時のテレビカメラヘッドの揺動(チルト)角度情報を受信するように構成されていて、さらに予め記憶しているフォーカス値、アイリス値あるいはライト照度から、受信した揺動角度の又は揺動角度に適したところのフォーカス値、アイリス値あるいはライト照度を導き出して、テレビカメラ装置に制御指令信号として送信するように構成しておくことが必要である。
 以下、本発明の実施の形態を図面を参照して説明する。
 図1は本発明の管路調査システムを用いて下水管内を調査する場合を説明する図である。
 管路調査システム1は、下水管D内を撮影するためのテレビカメラ装置3と、テレビカメラ装置3を操作するための、調査車5に搭載された操作装置7と、テレビカメラ装置3から下水管D内の撮影画像を受け取り、調査報告用に処理する、やはり調査車5に搭載された撮影情報処理装置9と、を備えている。調査車5にはまた、ドラムコントローラ11により操作されるケーブルドラム13が搭載され、このケーブルドラム13に巻かれた電力・信号ケーブル15は、マンホールEを通過してテレビカメラ装置3に接続されていて、電力・信号ケーブル15のケーブルドラム13からの繰出し長さはエンコーダ17(距離計測手段)によって計測され、このエンコーダ17の計測結果により、下水管D内でのテレビカメラ装置3の位置を確認又は判定することができる。テレビカメラ装置3による下水管D内の撮影画像は、電力・信号ケーブル15を介して操作装置7に送信され、操作装置7のモニター19にリアルタイムに表示される。したがって、モニター19に表示される下水管D内の撮影画像を確認しながら操作装置7によりテレビカメラ装置3の作動を的確に操作することができる。テレビカメラ装置3による下水管D内の撮影画像はまた、電力・信号ケーブル15を介して撮影情報処理装置9に送信される。なお、図中符号21、23は電力・信号ケーブル15を支える支持ローラ装置である。
 図2はテレビカメラ装置3の斜視図、図3はテレビカメラ装置3の正面図である。
 テレビカメラ装置3は、制御本体25(本体)と、この制御本体25の前側に位置して制御本体25に取り付けられたテレビカメラヘッド27と、を備え、制御本体25は、駆動部29と、この駆動部29の左右両側に設けられた一対の走行部31、31と、駆動部29の前側に位置して駆動部29に取り付けられた制御部33と、から構成されていて、テレビカメラヘッド27は、この制御部33の前側に位置して制御部33にブラケット35を介して回転可能に取り付けられている。
 ブラケット35は、前後方向軸又は下水管Dの長さ方向軸を中心として回転できるように制御部33の前端面に取り付けられた基部37と、この基部37の両側に設けられた一対の支持部39、39と、から形成されたコ字状体であって、制御部33内に設けられたモータ(図示せず)によって駆動され、前後方向軸を中心としてエンドレスに回転できるように構成されている(矢印F参照)。テレビカメラヘッド27は、ブラケット35の支持部39、39間に配置され、幅方向軸あるいは長さ方向と直交する方向軸又は下水管Dの横断方向軸を中心として回転(チルト又は揺動)できるように支持部39、39に支えられていて、制御部33内又はブラケット35内に設けられたモータ(図示せず)によって駆動され、幅方向軸を中心として、水平状態あるいは前面が前方を向いている状態から一方側に110度及び他方側に110度、すなわち220度回転(揺動)できるように構成されている(矢印G参照)。テレビカメラヘッド27の前面はほぼ正方形状に形成されていて、この前面の中央部にはカメラレンズ41が設けられ、このカメラレンズ41を囲むように、前面の角部付近に、主に撮影箇所を照明するための4つのライト43が設けられている。
 制御部33は、駆動部29の下面側に固定された、この駆動部29よりも前方に突出する支持部材45に固定されることにより駆動部29に取り付けられている。支持部材45は、駆動部29の下面側に固定された底板部47と、この底板部47の、駆動部29よりも前方に突出する部分の幅方向両側から一体的に上方に延びる一対の側板部49、49と、を有し、駆動部29の前方に位置する支持部材45の部分は断面コ字状に形成されていて、制御部33は、側板部49、49間に配置された状態で、側板部49を貫通して固定ボルト51をねじ込むことにより、支持部材45に固定されて支えられている。側板部49には、前後方向に間隔を設けて2つのE字状の調整スリット53、53が形成されていて、固定ボルト51はそれぞれのE字状の調整スリット53の水平部を貫通して制御部33にねじ込まれている。したがって、固定ボルト51をゆるめ、調整スリット53の別の水平部にこの固定ボルト51を位置させて再び締め込むことにより、支持部材45に対する制御部33の取付高さを変化させることができる。なお、図中55は、ライト43だけでは十分な照明を得れない場合に、サブライトを取り付けるためのジョイント孔である。
 制御部33には、下水管Dの長さ方向軸を中心としたテレビカメラヘッド27の回転角度、すなわちブラケット35の回転角度を計測するブラケット回転角センサ40が内蔵され、また、ブラケット35には、下水管Dの横断方向軸を中心としたテレビカメラヘッド27の回転角度(チルト角度又は揺動角度)を計測するカメラヘッド回転角センサ42が内蔵されていて、制御部33にはさらに、制御本体25又はテレビカメラ装置3のロール角度(下水管Dの長さ方向軸を中心とした回転角度)を計測するロール角センサ44と、制御本体25又はテレビカメラ装置3のピッチ角度(制御本体25又はテレビカメラ装置3の長さ方向の水平軸又は水平方向からの傾斜角度)を計測するピッチ角センサ46(ピッチ角計測手段)と、が内蔵されている。ブラケット回転角センサ40としては、例えば、ブラケット35の回転駆動軸に噛み合わされ、この回転駆動軸の回転量からブラケット35の回転角度を計測するポテンショメータを用いることができ、カメラヘッド回転角センサ42としては、例えば、テレビカメラヘッド27の回転(揺動)駆動軸に噛み合わされ、この回転駆動軸の回転量からテレビカメラヘッド27の回転角度(チルト角度又は揺動角度)を計測するポテンショメータを使用することができる。そして、ロール角センサ44及びピッチ角センサ46としては、例えば、ホールICや磁気抵抗素子等を用いて構成されたものを適用することができる。
 走行部31は、支持カバー57と、この支持カバー57に前後方向に沿って4つ取り付けられた車輪59と、を有し、それぞれの車輪59は、車軸61が支持カバー57に回転可能に支持されることにより、この支持カバー57に取り付けられていて、支持カバー57は、間隔調整部材63を介してボルト65により駆動部29の側面に固定されている。したがって、間隔調整部材63として厚さの異なるものを用いることにより、左右一対の走行部31あるいは車輪59の間隔を変化させることができる。支持カバー57内には、それぞれの車輪59を回転駆動させるための駆動機構(図示せず)が構成され、この駆動機構は、駆動部29内のモータによる回転軸67の回転により作動して車輪59を回転させる。
 それぞれの車輪59は、内側の薄い円盤状部69と、この円盤状部69の外周縁から外側に向って縮径する第1截頭円錐状部71と、この第1截頭円錐状部71の外端面の外周縁内方側から外側に向って縮径する第2截頭円錐状部73と、から形成されていて、円盤状部69の外周面から第1截頭円錐状部71の外周面の先端にかけて、多数本の滑り止め溝75が放射状に形成されている。なお、図中77は電力・信号ケーブル15の接続部材である。
 テレビカメラ装置3は、テレビカメラヘッド27のカメラレンズ41が、下水管Dの管軸と一致するように(カメラレンズ41が真っ直ぐ前方を向いている場合)、走行部31の間隔が調整され、かつ、支持部材45に対する制御部33の取付高さ位置が調整されて下水管D内に配置される。テレビカメラ装置3は、操作装置7によって作動が操作され、車輪59の回転により下水管D内を走行するとともに、車輪59の回転が止まることにより、下水管D内の適当位置に停止する。また、テレビカメラ装置3は、操作装置7によって作動が操作され、テレビカメラヘッド27が前方を直視した状態で下水管D内をカメラレンズ41を通して撮影できるとともに、ブラケット35に対してテレビカメラヘッド27が回転(チルト又は揺動)し、あるいは、ブラケット35に対してテレビカメラヘッド27が回転し、かつ、ブラケット35が回転することにより、テレビカメラヘッド27が下水管Dの長さ方向からずれた方向を向いた状態で下水管D内をカメラレンズ41を通して撮影できる。したがって、テレビカメラ装置3は例えば、テレビカメラヘッド27が下水管Dの内壁面を真正面とした状態で下水管D内を撮影できるし、テレビカメラヘッド27が下水管Dの内壁面を真正面とした状態で周方向に回転して下水管D内を撮影できる。
 図4は撮影情報処理装置9の構成を示すブロック図である。
 撮影情報処理装置9は、例えば液晶パネルディスプレイである表示入力手段79(表示部又は入力部)と、例えばレーザープリンタである出力部81と、例えばハードディスクである補助記憶部83と、例えばMOドライブ及びMiniDVデッキである外部記憶部85と、CPU(中央演算処理ユニット)87と、をバス89に接続して構成されている。撮影情報処理装置9はまた、カメラレンズ41を通してテレビカメラ装置3により撮影された撮影画像を取り込むための画像キャプチャ91と、テレビカメラ装置3のブラケット回転角センサ40、カメラヘッド回転角センサ42、ロール角センサ44、ピッチ角センサ46及びエンコーダ17の計測結果(検出値)を受け取るセンサ情報入力部92と、操作装置7にテレビカメラ装置3の操作指令信号を送るための操作装置出力部94と、メニュー起動部93(補助記憶部83に記憶され、RAMに展開されてCPU87により実行されるメニュー起動プログラム)と、テレビカメラ装置3により撮影された撮影画像を処理する画像処理部95(補助記憶部83に記憶され、RAMに展開されてCPU87により実行される画像処理プログラム)と、調査報告情報を作成する報告情報作成部97(補助記憶部83に記憶され、RAMに展開されてCPU87により実行される報告情報作成プログラム)と、をさらに備えている。
 図5は管路調査システム1を用いた下水管Dの調査方法の一例を説明するための工程図、図6はメニュー起動部93を起動した場合の表示入力手段79に表示されるメニュー画面を示す図である。
 管路調査システム1を用いた下水管Dの調査は通常、隣り合うマンホールE、E間を調査単位として行われる。調査に際してはまず、テレビカメラ装置3をマンホールEから下水管D内に配置し、撮影情報処理装置9のメニュー起動部93を起動して表示入力手段79にメニュー画面99を表示させる。メニュー起動部93は撮影情報処理装置9を立ち上げると自動的に起動するように設定されている。メニュー画面99は、画面上側にファンクションボタン101、ファンクションボタン101の下側に、下水管Dの状態を表示するための予め登録された単語をワンタッチで入力するワンタッチボタン103、ワンタッチボタン103の左下側に特殊入力ボタン105、そして特殊入力ボタン105の右側にカーソル移動ボタン107を表示し、タッチパネルを形成して入力手段(入力部)を構成する。
 次に、テレビカメラ装置3による撮影画像を操作装置7のモニター19にリアルタイムに表示させるとともに(モニター19への撮影画像の表示がメニュー画面99の表示に先行する場合もある)、撮影情報処理装置9の表示入力手段79に表示されているファンクションボタン101の自動直側切替設定ボタンをワンタッチで選択する。自動直側切替設定ボタンが選択されると、表示入力手段79に自動直側切替設定画面108が表示されるので(図7参照:図7は撮影情報処理装置9の表示入力手段79に表示された自動直側切替設定画面108を示す図)、モニター19に表示される下水管D内の撮影画像を確認しながら、表示入力手段79に表示された自動直側切替設定画面108でテレビカメラ装置3のカメラレンズ41のフォーカス及びアイリス、そしてライト43の明るさを入力設定する。カメラレンズ41のフォーカス及びアイリス、ライト43の明るさの設定は、テレビカメラヘッド27が下水管Dの前方を直視した直視状態、テレビカメラヘッド27が下水管Dの管軸と45度ずれた斜め方向を向いた45度状態、およびテレビカメラヘッド27が下水管Dの径方向を向いた、あるいは内壁面を直視している側視の状態の3点でそれぞれ行われる。自動直側切替設定画面108でカメラ方向自動切替ボタン110を選択すると、テレビカメラヘッド27は、選択されたボタンに応じて「直視」、「45度」又は「側視」状態に自動的に切り替わる。そして、テレビカメラヘッド27のそれぞれの状態で、フォーカス、アイリス及びライト43の明るさを設定しておく。テレビカメラヘッド27の3つの状態のフォーカス、アイリス及びライトの明るさを設定したら、保存ボタンを選択して設定値を保存する。保存に際しては、管径及び管種を入力しておく。そうすると、同一の管径及び管種の調査に際しては、ここでの設定値をそのまま使用することができる。
 ここで、テレビカメラ装置3による撮影調査が開始されると、テレビカメラヘッド27の向く方向は変化するが、このテレビカメラヘッド27の変化情報は、センサ情報入力部92で受け取られ、操作装置出力部94で処理される。操作装置出力部94は、すでに設定されている3点(直視、45度及び側視)でのフォーカス値に基づき、テレビカメラヘッド27の向き(センサ情報入力部92で情報として受け取られている)に対応するフォーカス値を算出する。同様にして、アイリス値及びライト43の明るさを算出して、これらの情報を制御指令信号として操作装置7を介してテレビカメラ装置3に送信する。テレビカメラ装置3では、受け取った制御指令信号に基づき、テレビカメラヘッド27のフォーカス、アイリス及びライト43の明るさが制御される。
 次に、表示入力手段79に再びメニュー画面99を表示させ、ファンクションボタン101の画面読込ボタンをワンタッチで選択する。画面読込ボタンが選択されると、画像処理部95が起動され、テレビカメラ装置3による撮影画像が画像キャプチャ91によりデジタル画像データに変換されて表示入力手段79にリアルタイムに表示される(S−1)。撮影画像の表示入力手段79での表示は、メニュー画面99の一部と重なる画像ウインドウを開くことにより行われるなど、メニュー画面99の操作が可能な態様で行われる。なお、メニュー画面99でファンクションボタン101の計測表示設定ボタンを選択して計測結果が表示されるように設定しておけば、センサ情報入力部92が受け取ったブラケット回転角センサ40の計測結果、カメラヘッド回転角センサ42の計測結果、ロール角センサ44の計測結果、ピッチ角センサ46の計測結果及びエンコーダ17の計測結果を、適当な態様で撮影画像とともに表示入力手段79に表示することができる。こういった状態で、モニター19に表示される下水管D内の撮影画像を確認しながら、操作装置7により走行部31の駆動を制御してテレビカメラ装置3を前進させる(S−2)。そして、テレビカメラ装置3による撮影画像の保存(記録)が必要な個所でテレビカメラ装置3の移動を停止させ、テレビカメラ装置3による下水管D内の撮影画像を静止画像又は静止画像データとして外部記憶部85にセットされている例えばMOに記録する(記録は調査報告用データの入力記録時とすることもできる)。記録されるテレビカメラ装置3の撮影画像には、テレビカメラヘッド27が前方を直視した状態での撮影画像(直視静止画像)、テレビカメラヘッド27が下水管Dの管軸とずれた方向を向いた状態での撮影画像(傾斜静止画像)、およびテレビカメラヘッド27が下水管Dの径方向を向いた状態、すなわち下水管Dの内壁面を直視した状態での撮影画像(側視静止画像)を含ませることができる。例えば、下水管Dの内壁面にクラックが生じていることを確認した場合、あるいは下水管Dの接続部に差し掛かった場合には、テレビカメラ装置3の移動を停止させ、そのままの状態の撮影画像、すなわち直視静止画像を保存する。さらに、直視静止画像だけではクラックの状態を十分に把握することができないとき、あるいは接続部に環状溝が形成されていて、この環状溝内の状態を確認したいときには、操作装置7によりテレビカメラヘッド27を回転(チルト又は揺動)させ、側視静止画像又は傾斜静止画像を撮影し保存する(この場合には、テレビカメラヘッド27がクラック又は環状溝を真正面から撮影できるように、テレビカメラ装置3を多少前進させる場合がある)。
 静止画像又は静止画像データの記録は、エンコーダ17の計測結果(検出値)と関連付けて行われる。ところで、ロール角センサ44の計測結果を用いると、テレビカメラヘッド27が、テレビカメラ装置3とともに回転傾斜してしまうのを阻止し、テレビカメラヘッド27の上下方向が常に垂直方向と一致するようにテレビカメラヘッド27を位置させておくことができる。したがって、テレビカメラ装置3の下水管D内での撮影個所の状態を正確に把握することが可能となる。また、静止画像又は静止画像データの記録は、クラックや接続部等の異常態様と関連付けて行われる場合もある。
 静止画像データの記録に際しては、静止画像再生時に、静止画像と合成されて表示される文字等の識別あるいは確認情報が、静止画像データと関連付けて外部記憶部85にセットされている例えばMOに記録される(記録は調査報告用データの入力記録時とすることもできる)。識別あるいは確認情報は、表示入力手段79に表示されている撮影画像上に、静止画像再生時と同様の態様で表示されるが、例えば撮影個所情報のように自動的に表示され、かつ記録される情報と、オペレータにより入力表示され、かつ記録される情報とを含んでいる。オペレータの入力作業は、表示入力手段79に表示されているメニュー画面99を操作することにより行われる(S−3)。表示入力手段79の撮影画像上にはカーソルが表示されていて、このカーソルはカーソル移動ボタン107を選択操作することにより、表示されている撮影画像上で移動させることができるが、カーソルを適当位置に移動させて、例えば、ワンタッチボタン103を選択することにより、該当する単語を表示入力手段79の撮影画像上のカーソル位置に表示でき、表示された単語は、静止画像データの記録時に、この静止画像データ(表示位置データを含む)と関連付けて記録される。また、カーソルを適当位置に移動させて特殊入力ボタン105を選択すると、選択された特殊入力ボタン105に対応する情報が表示入力手段79の撮影画像上のカーソル位置に表示され、表示された情報は、静止画像データの記録時に、この静止画像データ(表示位置データを含む)と関連付けて記録される。例えば、ワンタッチボタン103のうちのクラックボタンや特殊入力ボタン105のうちの矢印入力ボタンを選択すると、カーソル位置にクラックの文字や矢印が表示されるし、特殊入力ボタン105のうちの異常コメントボタンや数値入力ボタンなどを選択して必要な入力を行うと(必要な入力もタッチパネル形式の文字ボタン又は数値ボタンにより行うことができる)、カーソル位置にコメントや数値が表示される。そして、必要な識別あるいは確認情報を入力表示した後に、静止画面保存ボタンを選択し、静止画面保存指令を入力して、画像処理部95により静止画像データ及び識別あるいは確認情報を記録する(S−4)。なお、表示入力手段79に撮影画像を表示させないで、モニター19に表示された撮影画像にカーソルや識別あるいは確認情報を表示するようにしてもよい。
 ところで、下水管Dの接続部に環状溝が形成されている場合などには、側視位置での周方向角度を変えて撮影された複数の側視静止画像を記録することで、環状溝内の状態などを全周にわたって一応は調査・記録することができるのであるが、環状溝等に沿って移動しながら環状溝などを全体的に撮影した動画像を記録しておけば、この動画像を再生して観察することにより、環状溝内の状態などをより正確に把握することができる。したがって、撮影情報処理装置9では、表示入力手段79に表示されているファンクションボタン101の動画面保存・終了ボタンをワンタッチで選択することにより、画像処理部95を用いてテレビカメラ装置3による撮影画像を動画像データとして外部記憶部85にセットされている例えばMiniDVに記録することができる(S−5)。例えば環状溝の撮影動画像を保存する場合は、操作装置7を操作してテレビカメラヘッド27を側視方向に向ける。そして、動画面保存・終了ボタンを選択して動画像保存開始指令を入力したら、操作装置7によりブラケット35を回転させる(図8の矢印F参照:図8は撮影動画像を保存する場合のテレビカメラヘッド27の動作の一例を説明する図であり、クラックH及びIが生じ、接続部Jが位置している内壁面K部分を撮影する場合を示す図)。そうすると、再び動画面保存・終了ボタンが選択されて動画像保存終了指令が入力されるまでの間に撮影された動画像が側視動画像データとして撮影位置に関連付けられてMiniDVに記録される。動画像データの記録は、異常態様と関連付けできるように構成される場合がある。
 例えば側視動画像データを保存した場合には、表示入力手段79に表示されているファンクションボタン101の展開画面作成・保存ボタンを選択して展開画面作成指令を入力することにより、画像処理部95により、例えば保存された側視動画像データあるいは側視静止画像データから、下水管Dの内壁面の展開静止画像データ又は展開静止画像を生成することができる(S−6)。展開静止画像データは、例えば、側視動画像データを構成する静止画像フレームを適当に抽出し、抽出したそれぞれの静止画像フレームを結合処理して順次つなぎ合わせることにより生成することができる。展開静止画像データはまた、側視静止画像データを結合処理して生成することもできる。生成された展開静止画像データ又は展開静止画像は自動的に表示入力手段79に表示される(図9参照:図9は内壁面K部分の展開静止画像を示す図である)。展開静止画像はモニター19に表示されるように構成してもよい。そして、通常の静止画像データの記録時と同様に、文字等の識別あるいは確認情報が展開静止画像に合成表示されるように構成することができる。文字等の識別あるいは確認情報は、撮影位置情報のように自動的に表示される情報と、クラック表示のようにオペレータにより入力される情報とを含んでいるのが一般的である。そして、展開画面作成・保存ボタンを再び選択して展開画面保存指令を入力すると、画像処理部95により、展開静止画像データは、例えば、基礎となった側視動画像データあるいは側視静止画像データと関連付けられて、外部記憶部85にセットされている例えばMOあるいはMiniDVに記録され、また、展開静止画像再生時に、展開静止画像と合成されて表示される文字等の識別あるいは確認情報も展開静止画像データ(表示位置データを含む)に関連付けられて、外部記憶部85にセットされている例えばMOあるいはMiniDVに記録される(S−7)。そして、テレビカメラ装置3による下水管D内の調査を終了したら、調査結果に基づき調査報告を作成する(S−8)。
 なお、表示入力手段79にメニュー画面99を表示させ、ファンクションボタン101の原点復帰ボタンをワンタッチで選択すれば、操作装置出力部94から操作装置7を介してテレビカメラ装置3に原点復帰信号が送られ、ブラケット35及びテレビカメラヘッド27が、水平状態に自動復帰するように制御される。
 図10は撮影情報処理装置9の表示入力手段79に表示された調査報告の調査表を示す図、図11は撮影情報処理装置9の表示入力手段79に表示された調査報告の画像を示す図である。
 調査報告の作成又は調査報告用データの入力は、メニュー画面99のファンクションボタン101の報告書入力ボタンを選択し、報告情報作成部97を起動して行われる。
 報告書入力ボタンを選択すると、終了した調査の調査名入力画面が表示される。調査名を入力すると、調査下水管Dの路線番号、マンホール情報、本管情報、取付管情報及び異常情報等の調査報告に必要な情報入力画面が表示されるので、これらの情報を入力し、外部記憶部85にセットされている例えばMO又はMiniDVに記録する。入力は、表示入力手段79に表示されたタッチパネルにより行われる。
 調査報告に必要な情報を入力したら、確認のために表示入力手段79に調査報告(概略的な調査報告)を表示する。調査報告の表示は、報告情報作成部97によって行われる。表示される調査報告は、管路構成図109を有する調査表111を含んでいる。調査表111では、管路構成図109の下側に、入力した異常情報の内容を表示する異常内容欄113が設けられていて、異常内容欄113は、管路構成図109の接続部(継手部)あるいは隣接する接続部間に対応して構成されている。異常がある下水管D個所又は異常内容欄113に表示がある下水管D個所を示す管路構成図109位置にはイラストが記入されていて、このイラストを、例えばマウスあるいは表示入力手段79に表示されたタッチパネルを操作することにより選択すると、異常状態の撮影画像が表示入力手段79に表示される。例えば、まず、直視静止画像115及び側視角度を変えた3枚の側視静止画像117、119、121が表示される(識別あるいは確認情報も合成表示される)。次に、画面下側の次画面表示ボタン123(符号125は前画面表示ボタン)を選択すると、下水管Dの内壁面の展開静止画像126が表示され、ここで再び次画面表示ボタン123を選択すると、展開静止画像の基となった側視動画像又は側視静止画像117、119、121が表示される。調査報告に誤り等が発見された場合には、ここで訂正する。
 管路調査システム1では、下水管Dの埋設傾斜状況を調査することができる。下水管Dの埋設傾斜状況は、ピッチ角センサ46の計測値及びエンコーダ17の計測値を用いて表示することができる。ここでは、図12に示すような、任意の複数の測定点(番号1、2、3・・・)でのピッチ角センサ46及びエンコーダ17の計測値を拾い、各測定点に対して距離(エンコーダ17の計測値から導かれる)、傾斜角(ピッチ角センサ46の計測値から導かれる)、レベル(上下方向のずれ)及び勾配(ともにピッチ角センサ46及びエンコーダ17の計測値から導かれる)を入力した傾斜状況表120と、横軸を距離、縦軸をレベルとし、下水管Dの調査開始位置を基準点とするとともに、この調査開始位置と下水管Dの調査終了位置のグラフ上の点とを直線で結んで表示した設計勾配グラフ122と、横軸を設計勾配距離、縦軸を勾配とし、各測定点での勾配の値を結んで表示した測定勾配グラフ124と、を例えばMOに記録し、あるいは調査報告CD又はDVDに出力することができる(図12は下水管Dの埋設傾斜状況を表すグラフを示す)。特に、測定勾配グラフ124により下水管Dの埋設傾斜状況を把握することができるが、測定勾配グラフ124の正確度は、設計勾配グラフ122との一致度によって検証することができる。
 図13は調査報告表示装置の構成を示すブロック図である。
 調査報告用データ(下水管Dの傾斜状況データを含む)が記録された例えばMO又はMiniDVは、調査報告作成装置(通常のパーソナルコンピュータの構成を有する:図示せず)の外部記憶部であるMOドライブ又はMiniDVデッキにセットされる。調査報告作成装置は、MO又はMiniDVから調査報告用データを読み取り、必要なデータを加えて調査報告データを作成し、調査報告CD又はDVDに出力する。
 調査報告表示装置127は、例えばCRTディスプレイである表示部129と、例えばキーボード及びマウスである入力部131と、例えばレーザープリンタである出力部133と、例えばハードディスクである補助記憶部135と、外部記憶部あるいはCDドライブ又はDVDドライブ137と、CPU(中央演算処理ユニット)139と、をバス141に接続して構成されていて、通常のパーソナルコンピュータシステムのハードウェア構成を備えている。そして、DVDドライブ137にセットされている調査報告CD又はDVDに記録された調査報告又は調査報告データを読み出し、表示部129に表示する。なお、調査報告表示装置127は、調査報告を修正する機能を有していることが好ましい。また、調査報告は、出力部133によってプリントすることができる(動画像は除く)。
発明の効果
 以上説明したように、本発明の管路調査システムを用いれば、テレビカメラヘッドが管路の内壁面を直視する状態で回転したときに得られる撮影動画像及び展開静止画像を調査報告として表示できるので、管路内部の状況を直ちにかつ正確に把握することができる。
 本発明の管路調査システムを用いて下水管内を調査する場合を説明する図である。  テレビカメラ装置の斜視図である。  テレビカメラ装置の正面図である。  撮影情報処理装置の構成を示すブロック図である。  管路調査システムを用いた下水管の調査方法の一例を説明するための工程図である。  メニュー起動部を起動した場合の表示入力手段に表示されるメニュー画面を示す図である。  撮影情報処理装置の表示入力手段に表示された自動直側切替設定画面を示す図である。  撮影動画像を保存する場合のテレビカメラヘッドの動作の一例を説明する図である。  展開静止画像を示す図である。  撮影情報処理装置の表示入力手段に表示された調査報告の調査表を示す図である。  撮影情報処理装置の表示入力手段に表示された調査報告の画像を示す図である。  下水管の埋設傾斜状況を表すグラフを示す図である。  調査報告表示装置の構成を示すブロック図である。  従来のテレビカメラ装置を用いた管路調査システムを示す図である。
符号の説明
1         管路調査システム
3         テレビカメラ装置
25        制御本体(本体)
27        テレビカメラヘッド
126       展開静止画像
127       調査報告表示装置
129       表示部
D         下水管

Claims (7)

  1.  管路の内部を撮影するテレビカメラ装置と、このテレビカメラ装置による管路内部の撮影結果に基づく調査報告を表示部に表示する調査報告表示装置と、を備えた管路調査システムであって、
     前記テレビカメラ装置は、管路内を移動できるように構成された本体と、この本体に取り付けられて、管路の内部を撮影するテレビカメラヘッドと、を有し、このテレビカメラヘッドは、管路の長さ方向軸を中心として回転可能に、かつ管路の横断方向軸を中心として揺動可能に構成されていて、
     前記調査報告表示装置は、前記テレビカメラヘッドを、管路内壁面を直視する状態で管路の長さ方向軸を中心として回転させたときの管路内壁面の撮影画像を前記表示部に調査報告として表示し、
     前記表示部に調査報告として表示される管路内壁面の前記撮影画像は、管路内壁面の撮影動画像と、管路内壁面の展開静止画像と、を含んでいる、ことを特徴とする管路調査システム。
  2.  管路の内部を撮影するテレビカメラ装置と、このテレビカメラ装置による管路内部の撮影結果を受け取って調査報告用に処理する撮影情報処理装置と、を備えた管路調査システムであって、
     前記テレビカメラ装置は、管路内を移動できるように構成された本体と、この本体に取り付けられて、管路の内部を撮影するテレビカメラヘッドと、を有し、このテレビカメラヘッドは、管路の長さ方向軸を中心として回転可能に、かつ管路の横断方向軸を中心として揺動可能に構成されていて、
     前記撮影情報処理装置は、前記テレビカメラヘッドを、管路内壁面を直視する状態で管路の長さ方向軸を中心として回転させたときの管路内壁面の撮影画像を調査報告用の表示画像情報として記録媒体に記録し、
     前記記録媒体に表示画像情報として記録される管路内壁面の前記撮影画像は、管路内壁面の撮影動画像と、管路内壁面の展開静止画像と、を含んでいる、ことを特徴とする管路調査システム。
  3.  前記撮影情報処理装置は、前記記録媒体から前記撮影画像を読み出して表示したときにこの撮影画像に合成されて表示される文字等の識別あるいは確認情報を、入力部から入力できるように構成されている、ことを特徴とする請求項2記載の管路調査システム。
  4.  前記入力部はタッチパネルによって構成されている、ことを特徴とする請求項3記載の管路調査システム。
  5.  前記テレビカメラ装置の移動距離を計測する距離計測手段と、前記テレビカメラ装置の前記本体の長さ方向傾斜角度を計測するピッチ角計測手段と、をさらに備え、
     前記撮影情報処理装置は、前記距離計測手段及び前記ピッチ角計測手段の計測値又はこの計測値から生成した管路傾斜情報を前記記録媒体に記録する、ことを特徴とする請求項2、3又は4記載の管路調査システム。
  6.  前記撮影情報処理装置は、所定揺動角度のときの前記テレビカメラヘッドのフォーカス値、アイリス値あるいはライト照度を予め記憶でき、かつ、調査実行時の前記テレビカメラヘッドの揺動角度の情報を受信するように構成されていて、さらに予め記憶しているフォーカス値、アイリス値あるいはライト照度から、受信した揺動角度のフォーカス値、アイリス値あるいはライト照度を導き出して、前記テレビカメラ装置に制御指令信号として送信する、ことを特徴とする請求項2、3、4又は5記載の管路調査システム。
  7.  前記記録媒体はMO又は/及びMiniDVである、ことを特徴とする請求項2、3、4、5又は6記載の管路調査システム。
JP2003302037A 2002-07-22 2003-07-21 管路調査システム Expired - Lifetime JP4293862B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003302037A JP4293862B2 (ja) 2002-07-22 2003-07-21 管路調査システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002213205 2002-07-22
JP2003302037A JP4293862B2 (ja) 2002-07-22 2003-07-21 管路調査システム

Publications (2)

Publication Number Publication Date
JP2004069711A true JP2004069711A (ja) 2004-03-04
JP4293862B2 JP4293862B2 (ja) 2009-07-08

Family

ID=32032675

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003302037A Expired - Lifetime JP4293862B2 (ja) 2002-07-22 2003-07-21 管路調査システム

Country Status (1)

Country Link
JP (1) JP4293862B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008503736A (ja) * 2004-06-23 2008-02-07 リコ.ゲゼルシャフト.フューア.ミクロエレクトローニク.エムベハー パイプ検査システムの制御方法および検査データの評価方法
JP2009031259A (ja) * 2007-07-27 2009-02-12 Water Resources Engineering Corp 不断水管路撮影装置及びそのシステム
JP2010066070A (ja) * 2008-09-09 2010-03-25 Sekisui Chem Co Ltd 管路内作業装置モニタシステム
JP2018151540A (ja) * 2017-03-14 2018-09-27 公益財団法人鉄道総合技術研究所 筒状部材の検査装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102306056B1 (ko) * 2020-10-26 2021-09-28 주식회사 한국지중정보 하수 관거 내부 손상 영역의 크기 측정 방법 및 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63293445A (ja) * 1987-05-27 1988-11-30 Toshiba Corp 機器内部診断装置
JPH01117757U (ja) * 1988-01-29 1989-08-09
JPH06300698A (ja) * 1993-04-19 1994-10-28 Toshiba Eng Co Ltd Ptpシート外観検査装置
JPH08128960A (ja) * 1994-11-01 1996-05-21 Nabco Ltd 筒体検査機
JPH08136464A (ja) * 1994-11-02 1996-05-31 Japan Steel Works Ltd:The 円筒内面検視方法および円筒内面検視装置
JPH08262332A (ja) * 1995-03-27 1996-10-11 Toa Gurauto Kogyo Kk 管渠内壁面観測装置
JPH11125604A (ja) * 1997-10-22 1999-05-11 Ritsumeikan 異物検出方法及び異物検出装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63293445A (ja) * 1987-05-27 1988-11-30 Toshiba Corp 機器内部診断装置
JPH01117757U (ja) * 1988-01-29 1989-08-09
JPH06300698A (ja) * 1993-04-19 1994-10-28 Toshiba Eng Co Ltd Ptpシート外観検査装置
JPH08128960A (ja) * 1994-11-01 1996-05-21 Nabco Ltd 筒体検査機
JPH08136464A (ja) * 1994-11-02 1996-05-31 Japan Steel Works Ltd:The 円筒内面検視方法および円筒内面検視装置
JPH08262332A (ja) * 1995-03-27 1996-10-11 Toa Gurauto Kogyo Kk 管渠内壁面観測装置
JPH11125604A (ja) * 1997-10-22 1999-05-11 Ritsumeikan 異物検出方法及び異物検出装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008503736A (ja) * 2004-06-23 2008-02-07 リコ.ゲゼルシャフト.フューア.ミクロエレクトローニク.エムベハー パイプ検査システムの制御方法および検査データの評価方法
JP2009031259A (ja) * 2007-07-27 2009-02-12 Water Resources Engineering Corp 不断水管路撮影装置及びそのシステム
JP2010066070A (ja) * 2008-09-09 2010-03-25 Sekisui Chem Co Ltd 管路内作業装置モニタシステム
JP2018151540A (ja) * 2017-03-14 2018-09-27 公益財団法人鉄道総合技術研究所 筒状部材の検査装置

Also Published As

Publication number Publication date
JP4293862B2 (ja) 2009-07-08

Similar Documents

Publication Publication Date Title
JP4375555B2 (ja) X線ct装置
JP5302766B2 (ja) 監視画像表示装置
JP5891783B2 (ja) 調査装置、調査プログラムおよび調査方法
JP2007113240A (ja) カメラセンサと距離センサによるロボットの自己位置検知方法及び装置
JP4614492B2 (ja) 製紙機に於ける巻き取り紙破損監視システム
JP4293862B2 (ja) 管路調査システム
JP2004132881A (ja) 配列構造物の検査方法
US20070297752A1 (en) CCTV pipeline inspection system data management system and computer-based monitoring/action application
JPH1166316A (ja) 管渠内面展開図化装置
JP5330778B2 (ja) 管路内作業装置モニタシステム
JP3554128B2 (ja) 記録情報表示システム及び記録情報表示方法
JP2004037140A (ja) 推進工法における測量方法
JP5139740B2 (ja) テールクリアランス自動計測システムおよびテールクリアランス自動計測方法
JPH02127976A (ja) 自動溶接機の制御方法
JP2786007B2 (ja) 管路の探査装置
JP2515823B2 (ja) 管内ライニング後の枝管開口位置の削孔方法及び削孔装置
JP2006329894A (ja) 建築土木構造物の異状調査撮影装置
JP2529153B2 (ja) 孔曲自動監視システム
KR102356888B1 (ko) 지하도관의 자동 진단 시스템 및 그에 따른 보수 위치의 확인 방법
JP2003035538A (ja) 画面表示薄型セオドライト
JP2006090793A (ja) X線透視装置
JP2996868B2 (ja) 印刷紙面検査装置
JP2004336287A (ja) 孔壁展開画像生成方法及び装置
JP2009115679A (ja) 車載用ナビゲーション装置
JPH0742093Y2 (ja) 移動体の位置検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060718

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090310

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090407

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120417

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4293862

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120417

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130417

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140417

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term