JP2003057188A - 人工建造物の欠陥検出方法 - Google Patents
人工建造物の欠陥検出方法Info
- Publication number
- JP2003057188A JP2003057188A JP2002105270A JP2002105270A JP2003057188A JP 2003057188 A JP2003057188 A JP 2003057188A JP 2002105270 A JP2002105270 A JP 2002105270A JP 2002105270 A JP2002105270 A JP 2002105270A JP 2003057188 A JP2003057188 A JP 2003057188A
- Authority
- JP
- Japan
- Prior art keywords
- image
- man
- defects
- detection
- made structure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Working Measures On Existing Buildindgs (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Geophysics And Detection Of Objects (AREA)
- Control Or Security For Electrophotography (AREA)
Abstract
(57)【要約】
【課題】 現存の人工建造物に欠陥があるかどうかを判
断する方法を提供する。 【解決手段】 本発明による欠陥検出方法は、現存する
人工建造物の少なくとも１つの画像を撮像し、その人工
建造物における１以上の欠陥の存在を検出する方法であ
る。その方法は、現存する人工建造物の表面または内部
に、検出可能な材料を、その一部が人工建造物の１以上
の欠陥に存在するように提供する提供ステップと、画像
センサによって、人工建造物の少なくとも１つのデジタ
ル画像を撮像する撮像ステップと、撮像された１以上の
デジタル画像を処理して、人工建造物の視覚画像を提供
し、人工建造物における１以上の欠陥の存在を判断する
処理ステップとから成る。また、上述の画像センサは、
人工建造物の少なくとも１つの画像を撮像し、１以上の
欠陥における検出可能な材料の存在の有無により、１以
上の欠陥を識別する。
断する方法を提供する。 【解決手段】 本発明による欠陥検出方法は、現存する
人工建造物の少なくとも１つの画像を撮像し、その人工
建造物における１以上の欠陥の存在を検出する方法であ
る。その方法は、現存する人工建造物の表面または内部
に、検出可能な材料を、その一部が人工建造物の１以上
の欠陥に存在するように提供する提供ステップと、画像
センサによって、人工建造物の少なくとも１つのデジタ
ル画像を撮像する撮像ステップと、撮像された１以上の
デジタル画像を処理して、人工建造物の視覚画像を提供
し、人工建造物における１以上の欠陥の存在を判断する
処理ステップとから成る。また、上述の画像センサは、
人工建造物の少なくとも１つの画像を撮像し、１以上の
欠陥における検出可能な材料の存在の有無により、１以
上の欠陥を識別する。
Description
【０００１】
【発明の属する技術分野】本発明は、現存の人工建造物
における欠陥の存在の検出に関する。
における欠陥の存在の検出に関する。
【０００２】
【従来の技術】地形調査は当業界で周知である。地形調
査を行う場合は、しばしば、航空機または衛星が電荷結
合素子（ＣＣＤ）等の撮像素子を備える。地形調査にお
いては、道路、配管、送電系統、および、それらに該当
する他の人工建造物等の人間が作った対象物に欠陥があ
るかどうかを検出することが強く望まれる。検出される
と、改善すべきかどうかの判断がなされる。しばしば、
欠陥があるかどうかを判断するために、領域を車で若し
くは歩いて行き来する陸上部隊によって、地形の外観検
査が行われる。また、隣接地を撮像する航空写真システ
ムも使用できる。これらの画像は、その後、欠陥がある
かどうかを判断するために再検討される。
査を行う場合は、しばしば、航空機または衛星が電荷結
合素子（ＣＣＤ）等の撮像素子を備える。地形調査にお
いては、道路、配管、送電系統、および、それらに該当
する他の人工建造物等の人間が作った対象物に欠陥があ
るかどうかを検出することが強く望まれる。検出される
と、改善すべきかどうかの判断がなされる。しばしば、
欠陥があるかどうかを判断するために、領域を車で若し
くは歩いて行き来する陸上部隊によって、地形の外観検
査が行われる。また、隣接地を撮像する航空写真システ
ムも使用できる。これらの画像は、その後、欠陥がある
かどうかを判断するために再検討される。
【０００３】
【発明が解決しようとする課題】多くの場合、これらの
調査は、地形実地調査、すなわち、個人がこれらの場所
を訪れて、現場で計測するまたは他の形式のデータを得
ることによって実施されなければならない。この処理
は、面倒であり、コストが高く、かつ、不便である。ま
た、この処理は、多くの場合、遠隔地に存在する危険、
および、労働者の疲労やその他の要因による潜在的な間
違った解釈によって、信頼性がなく、かつ、安全性に欠
ける。さらに、遠隔地は、しばしば、到達することが困
難な山岳、砂漠および森林であり、頻繁な調査は、全体
の費用に加えて、常設のメンテナンス部隊や調査部隊の
配置を必要とする。
調査は、地形実地調査、すなわち、個人がこれらの場所
を訪れて、現場で計測するまたは他の形式のデータを得
ることによって実施されなければならない。この処理
は、面倒であり、コストが高く、かつ、不便である。ま
た、この処理は、多くの場合、遠隔地に存在する危険、
および、労働者の疲労やその他の要因による潜在的な間
違った解釈によって、信頼性がなく、かつ、安全性に欠
ける。さらに、遠隔地は、しばしば、到達することが困
難な山岳、砂漠および森林であり、頻繁な調査は、全体
の費用に加えて、常設のメンテナンス部隊や調査部隊の
配置を必要とする。
【０００４】従って、本発明の目的は、現存の人工建造
物において欠陥があるかどうかを判断する方法を改善す
ることである。
物において欠陥があるかどうかを判断する方法を改善す
ることである。
【０００５】
【課題を解決するための手段】本発明の目的は、以下の
方法によって達成できる。本発明においては、現存の人
工建造物の欠陥に存在する場合に画像センサによって検
出できる材料を使用する。
方法によって達成できる。本発明においては、現存の人
工建造物の欠陥に存在する場合に画像センサによって検
出できる材料を使用する。
【０００６】本発明に係る欠陥検出方法は、現存する人
工建造物の少なくとも１つの画像を撮像し、その人工建
造物における１以上の欠陥の存在を検出する方法であ
る。この方法は、（ａ）現存する人工建造物の表面また
は内部に、検出可能な材料を、その一部が前記の人工建
造物の１以上の欠陥に存在するように提供する提供ステ
ップと、（ｂ）画像センサによって、前記の人工建造物
の少なくとも１つのデジタル画像を撮像する撮像ステッ
プと、（ｃ）撮像された前記の１以上のデジタル画像を
処理して、前記の人工建造物の視覚画像を提供し、前記
の人工建造物における１以上の欠陥の存在を判断する処
理ステップとから成る。また、前記の画像センサは、前
記の人工建造物の少なくとも１つの画像を撮像し、１以
上の欠陥における前記の検出可能な材料の存在の有無に
より、前記の１以上の欠陥を識別する。
工建造物の少なくとも１つの画像を撮像し、その人工建
造物における１以上の欠陥の存在を検出する方法であ
る。この方法は、（ａ）現存する人工建造物の表面また
は内部に、検出可能な材料を、その一部が前記の人工建
造物の１以上の欠陥に存在するように提供する提供ステ
ップと、（ｂ）画像センサによって、前記の人工建造物
の少なくとも１つのデジタル画像を撮像する撮像ステッ
プと、（ｃ）撮像された前記の１以上のデジタル画像を
処理して、前記の人工建造物の視覚画像を提供し、前記
の人工建造物における１以上の欠陥の存在を判断する処
理ステップとから成る。また、前記の画像センサは、前
記の人工建造物の少なくとも１つの画像を撮像し、１以
上の欠陥における前記の検出可能な材料の存在の有無に
より、前記の１以上の欠陥を識別する。
【０００７】好ましくは、前記の欠陥検出方法におい
て、前記の１以上のデジタル画像は、地上の固定建造
物、または、飛行機および衛星を含む移動構造体に位置
される撮像素子によって撮像される。
て、前記の１以上のデジタル画像は、地上の固定建造
物、または、飛行機および衛星を含む移動構造体に位置
される撮像素子によって撮像される。
【０００８】好ましくは、前記の欠陥検出方法におい
て、前記の処理ステップは、検出されるべき種々の欠陥
をメモリに記憶するステップと、撮像された前記のデジ
タル画像と前記の欠陥とを比較して、欠陥の存在および
そのような欠陥の位置を判断するステップとを含む。
て、前記の処理ステップは、検出されるべき種々の欠陥
をメモリに記憶するステップと、撮像された前記のデジ
タル画像と前記の欠陥とを比較して、欠陥の存在および
そのような欠陥の位置を判断するステップとを含む。
【０００９】
【発明の実施の形態】以下に、添付の図面を参照して、
本発明の実施の形態について説明する。本発明の特徴
は、欠陥が発生した後の検出に特に適した検出用化学製
品、検出用薬剤、または、欠陥に関連する化学変化が、
現存の人工建造物の表面または内部に存在するように与
えられることである。
本発明の実施の形態について説明する。本発明の特徴
は、欠陥が発生した後の検出に特に適した検出用化学製
品、検出用薬剤、または、欠陥に関連する化学変化が、
現存の人工建造物の表面または内部に存在するように与
えられることである。
【００１０】検出可能な物質が建造物の表面または内部
に存在するように与えられる（以下、「適用」と表現さ
れる。）場合、その物質の適用には費用が発生する。道
路の場合、その物質は、コンクリートまたはアスファル
ト等の道路建設材料自体に加えられてもよい。問題は、
現存の道路にある。検出される検出可能な物質を安く運
搬する方法が必要とされる。例えば、もし、検出用化学
物質または検出用薬剤が、材料欠陥がある場合に、欠陥
がない場合と対照的な違いを提供するなら、その検出用
化学物質または検出用薬剤を適用する安価な運搬システ
ムが使用される。また、検出可能な物質が、短命、また
は、ある程度生物分解性であることが好ましい。本発明
は、カプセル化された染料または蛍光体を使用できる。
そのような染料または蛍光体は、より簡単な運搬のため
に、ポリマー基複合材またはセラミック基複合材の中に
封入されてよい。すなわち、その物質は、画像が撮像さ
れるときのためだけに存在する。
に存在するように与えられる（以下、「適用」と表現さ
れる。）場合、その物質の適用には費用が発生する。道
路の場合、その物質は、コンクリートまたはアスファル
ト等の道路建設材料自体に加えられてもよい。問題は、
現存の道路にある。検出される検出可能な物質を安く運
搬する方法が必要とされる。例えば、もし、検出用化学
物質または検出用薬剤が、材料欠陥がある場合に、欠陥
がない場合と対照的な違いを提供するなら、その検出用
化学物質または検出用薬剤を適用する安価な運搬システ
ムが使用される。また、検出可能な物質が、短命、また
は、ある程度生物分解性であることが好ましい。本発明
は、カプセル化された染料または蛍光体を使用できる。
そのような染料または蛍光体は、より簡単な運搬のため
に、ポリマー基複合材またはセラミック基複合材の中に
封入されてよい。すなわち、その物質は、画像が撮像さ
れるときのためだけに存在する。
【００１１】図１を参照すると、現存する人工建造物に
おいて欠陥を識別するために撮像において採用されるセ
ンサシステム１は、航空運航計器システム２１、衛星２
６、および地上運航計器システム２８のいずれかに取り
付けできる。道路、配管、電力線、農地、採掘地、不動
産、および、それらに類似するもの等の種々の現存する
人工建造物を含む土地の画像は、このセンサシステム１
によって撮像される。連続する画像が、デジタル形式で
撮像され、航空運航計器システム２１、衛星２６または
地上運航計器システム２８に記憶されて、後に制御地上
局に転送されるか、または、無線リンクを経由して制御
地上局に送信される。撮像素子２は、結像光学系と共に
電子的形態でシーンの写真を撮像する電子センサを含
む。電子センサは、一般的に、ＣＣＤまたは相補型金属
酸化膜半導体（ＣＭＯＳ）イメージングアレイである。
いくつかの例において、入射される光の波長をフィルタ
リングするするために、ＣＣＤまたはＣＭＯＳ検出器へ
の入力部に特定の光学フィルタ３が取り付けられる。こ
の光学フィルタ３は、特定の種類の欠陥を検出するため
に、信号対雑音比を最大にするように選択される。代わ
りに、地面位置画像は、従来の写真カメラによって撮像
されてもよい。フィルム画像は、その後、画像センサを
含む画像スキャナによってデジタル画像に変換されなけ
ればならない。また、システム１は、撮像素子２の操作
を順番付ける撮像制御回路４を備える。図１から明らか
になるように、システム１に示される種々の構成要素の
操作は、制御コンピュータ３１の制御下にある。撮像制
御回路４は、撮像素子２を制御し、位置および方位記憶
回路５に、各々の撮像画像と共に、位置および方位情報
を送る。その現存する人工建造物の位置を識別するため
に、空間座標の形式の位置情報が提供される。そのよう
な位置情報も、位置および方位記憶回路５に記憶され
る。位置および方位データは、撮像画像において現存の
人工建造物の位置を示すために、あらかじめ決められた
座標位置と共に使用される。制御コンピュータ３１は、
画像データを、画像記憶装置６に記憶させる。その画像
データは、画像処理回路７において、シーンの特徴を識
別するために処理される。また、処理シーケンスは、制
御コンピュータ３１によって指示される。画像処理回路
７は、１以上の欠陥の存在、１以上の欠陥の種類、およ
び、１以上の欠陥の位置を判断するために、撮像された
デジタル画像との比較のための検出されるべき種々の欠
陥を含む記憶メモリ（図示されない）を備える。撮像素
子２を除いて、システム１の種々の構成要素は、遠隔プ
ラットフォームおよび地上局位置のいずれかに設置可能
である。その上、上述の構成要素の多くが、制御コンピ
ュータ３１内で理解されるソフトウェアで具体化でき
る。撮像素子２は、航空運航計器システム、衛星および
地上運航計器システムのいずれかに設置される。
おいて欠陥を識別するために撮像において採用されるセ
ンサシステム１は、航空運航計器システム２１、衛星２
６、および地上運航計器システム２８のいずれかに取り
付けできる。道路、配管、電力線、農地、採掘地、不動
産、および、それらに類似するもの等の種々の現存する
人工建造物を含む土地の画像は、このセンサシステム１
によって撮像される。連続する画像が、デジタル形式で
撮像され、航空運航計器システム２１、衛星２６または
地上運航計器システム２８に記憶されて、後に制御地上
局に転送されるか、または、無線リンクを経由して制御
地上局に送信される。撮像素子２は、結像光学系と共に
電子的形態でシーンの写真を撮像する電子センサを含
む。電子センサは、一般的に、ＣＣＤまたは相補型金属
酸化膜半導体（ＣＭＯＳ）イメージングアレイである。
いくつかの例において、入射される光の波長をフィルタ
リングするするために、ＣＣＤまたはＣＭＯＳ検出器へ
の入力部に特定の光学フィルタ３が取り付けられる。こ
の光学フィルタ３は、特定の種類の欠陥を検出するため
に、信号対雑音比を最大にするように選択される。代わ
りに、地面位置画像は、従来の写真カメラによって撮像
されてもよい。フィルム画像は、その後、画像センサを
含む画像スキャナによってデジタル画像に変換されなけ
ればならない。また、システム１は、撮像素子２の操作
を順番付ける撮像制御回路４を備える。図１から明らか
になるように、システム１に示される種々の構成要素の
操作は、制御コンピュータ３１の制御下にある。撮像制
御回路４は、撮像素子２を制御し、位置および方位記憶
回路５に、各々の撮像画像と共に、位置および方位情報
を送る。その現存する人工建造物の位置を識別するため
に、空間座標の形式の位置情報が提供される。そのよう
な位置情報も、位置および方位記憶回路５に記憶され
る。位置および方位データは、撮像画像において現存の
人工建造物の位置を示すために、あらかじめ決められた
座標位置と共に使用される。制御コンピュータ３１は、
画像データを、画像記憶装置６に記憶させる。その画像
データは、画像処理回路７において、シーンの特徴を識
別するために処理される。また、処理シーケンスは、制
御コンピュータ３１によって指示される。画像処理回路
７は、１以上の欠陥の存在、１以上の欠陥の種類、およ
び、１以上の欠陥の位置を判断するために、撮像された
デジタル画像との比較のための検出されるべき種々の欠
陥を含む記憶メモリ（図示されない）を備える。撮像素
子２を除いて、システム１の種々の構成要素は、遠隔プ
ラットフォームおよび地上局位置のいずれかに設置可能
である。その上、上述の構成要素の多くが、制御コンピ
ュータ３１内で理解されるソフトウェアで具体化でき
る。撮像素子２は、航空運航計器システム、衛星および
地上運航計器システムのいずれかに設置される。
【００１２】現存する人工建造物において１以上の欠陥
を検出する全過程が図２のフローチャートに示される。
そのフローチャートは、ブロック図の形態であり、当業
者は、その機能の多くが、制御コンピュータ３１によっ
て制御されることを理解するであろう。最初の処理は、
撮像素子８および画像記憶装置６を初期化して前に撮像
された全てのシーンデータを消去することを含む。次
に、ブロック９において、顧客によって供給された位置
情報を用いて新しいシーンが撮像され、画像の記録を始
める。その画像データは、他の時に撮影された同じシー
ンとの比較を容易にするために、現在のシーンが記憶さ
れた位置および時間を識別するために必要な位置および
時間情報と共に記憶される。近い将来にそのような比較
を実施するために、画像データおよび他のデータが、シ
ーンデータベース１０に記憶される。次に、そのシーン
における変化を識別し、かつ、そのシーンに現れる現存
の人工建造物の欠陥の識別を容易にするために、画像解
析１１が実行される。最新のシーン画像は、先にシーン
データベース１０に記憶された画像データと比較され
る。もし欠陥が検出されないなら、この過程は終了す
る。欠陥の検出は、必要に応じて、さらなる画像解析１
２を開始することができる。識別過程は、解析装置１３
の結果の通信で終了する。結果の通信は、例えば、欠陥
の検出の可聴または可視アラーム、電話接触またはｅメ
ール通知等の多くの形式をとりうる。この過程における
最終ステップは、その欠陥を修正することである。
を検出する全過程が図２のフローチャートに示される。
そのフローチャートは、ブロック図の形態であり、当業
者は、その機能の多くが、制御コンピュータ３１によっ
て制御されることを理解するであろう。最初の処理は、
撮像素子８および画像記憶装置６を初期化して前に撮像
された全てのシーンデータを消去することを含む。次
に、ブロック９において、顧客によって供給された位置
情報を用いて新しいシーンが撮像され、画像の記録を始
める。その画像データは、他の時に撮影された同じシー
ンとの比較を容易にするために、現在のシーンが記憶さ
れた位置および時間を識別するために必要な位置および
時間情報と共に記憶される。近い将来にそのような比較
を実施するために、画像データおよび他のデータが、シ
ーンデータベース１０に記憶される。次に、そのシーン
における変化を識別し、かつ、そのシーンに現れる現存
の人工建造物の欠陥の識別を容易にするために、画像解
析１１が実行される。最新のシーン画像は、先にシーン
データベース１０に記憶された画像データと比較され
る。もし欠陥が検出されないなら、この過程は終了す
る。欠陥の検出は、必要に応じて、さらなる画像解析１
２を開始することができる。識別過程は、解析装置１３
の結果の通信で終了する。結果の通信は、例えば、欠陥
の検出の可聴または可視アラーム、電話接触またはｅメ
ール通知等の多くの形式をとりうる。この過程における
最終ステップは、その欠陥を修正することである。
【００１３】図３は、データベースからの画像データフ
ァイルを処理し、もし、欠陥が生じているならそれらを
識別するために使用されるアルゴリズムを示す。アルゴ
リズムは、ユーザとの相互作用を可能にするエキスパー
トシステムを具体化できる。２つの別個のデータファイ
ル、シーン（１）１４およびシーン（２）１５は、比較
のために利用される。両方のデータファイルは、同じシ
ーンコンテンツを含む。しかし、それらは、一般的に、
異なった時期に撮影された画像を記録する。すなわち、
２つの画像を撮像した時間の時間差は、時間Δｔであ
る。両方の画像ファイルおよびシーンは、正射投影作成
記録の過程１６、すなわち、シーンが記録された時点の
位置および角度の変化量の補償を経る。この過程は、シ
ーンまたは画像の要素の正確なピクセル毎の補償を可能
にするために実行される。各々のシーンが記録された時
点では、照明１７における差のために、各々のシーンに
おいてデータを修正することが必要であるかどうかは分
からない。そのシーンにおける変化は、ブロック１８に
おいて識別される。そのシーンにおける変化は、比較さ
れる２つのシーンの画素コンテンツにおける差をソフト
ウェアを用いて検出することにより、制御コンピュータ
３１によって使用される。そのような変化は、画素の輝
度または被写体の形状に反映でき、それは画素の有限の
集まりに相当する。画素または被写体の変化を識別する
そのような方法は、当業者に周知である。そのような画
素変化に基づいて、ブロック１９において欠陥の種類が
識別され、その欠陥の存在の通知２０が伝えられる。
ァイルを処理し、もし、欠陥が生じているならそれらを
識別するために使用されるアルゴリズムを示す。アルゴ
リズムは、ユーザとの相互作用を可能にするエキスパー
トシステムを具体化できる。２つの別個のデータファイ
ル、シーン（１）１４およびシーン（２）１５は、比較
のために利用される。両方のデータファイルは、同じシ
ーンコンテンツを含む。しかし、それらは、一般的に、
異なった時期に撮影された画像を記録する。すなわち、
２つの画像を撮像した時間の時間差は、時間Δｔであ
る。両方の画像ファイルおよびシーンは、正射投影作成
記録の過程１６、すなわち、シーンが記録された時点の
位置および角度の変化量の補償を経る。この過程は、シ
ーンまたは画像の要素の正確なピクセル毎の補償を可能
にするために実行される。各々のシーンが記録された時
点では、照明１７における差のために、各々のシーンに
おいてデータを修正することが必要であるかどうかは分
からない。そのシーンにおける変化は、ブロック１８に
おいて識別される。そのシーンにおける変化は、比較さ
れる２つのシーンの画素コンテンツにおける差をソフト
ウェアを用いて検出することにより、制御コンピュータ
３１によって使用される。そのような変化は、画素の輝
度または被写体の形状に反映でき、それは画素の有限の
集まりに相当する。画素または被写体の変化を識別する
そのような方法は、当業者に周知である。そのような画
素変化に基づいて、ブロック１９において欠陥の種類が
識別され、その欠陥の存在の通知２０が伝えられる。
【００１４】図４は、現存する建造物に検出用化学物質
または検出用薬剤を適用する方法を示す図である。図示
される実施の形態において、検出用化学物質または検出
用薬剤４０は、塩、砂、灰またはその他と混合され、一
般に、トラック４４によって道路４２に適用される。検
出用化学物質または検出用薬剤４０は、凍結防止用の
塩、砂または灰と混合されてカプセル化される蛍光染料
であってよい。故に、塩、砂または灰が、道路４２に適
用されるとき、その染料は、その塩等と共に道路表面に
散布される。もし、水溶性の染料が使用されるなら、そ
れらは、塩等と共に容易に道路表面に散布されるだろ
う。例えば、塩が適用された後、その塩は、図５に示さ
れるように、ひび２７に集まる傾向がある。故に、染料
は、これらの道路の欠陥領域を目立たせる。この操作形
態で使用されるときは、しばしば、センサとして、黄色
を放出するリン酸蛍光体が取り付けられる。
または検出用薬剤を適用する方法を示す図である。図示
される実施の形態において、検出用化学物質または検出
用薬剤４０は、塩、砂、灰またはその他と混合され、一
般に、トラック４４によって道路４２に適用される。検
出用化学物質または検出用薬剤４０は、凍結防止用の
塩、砂または灰と混合されてカプセル化される蛍光染料
であってよい。故に、塩、砂または灰が、道路４２に適
用されるとき、その染料は、その塩等と共に道路表面に
散布される。もし、水溶性の染料が使用されるなら、そ
れらは、塩等と共に容易に道路表面に散布されるだろ
う。例えば、塩が適用された後、その塩は、図５に示さ
れるように、ひび２７に集まる傾向がある。故に、染料
は、これらの道路の欠陥領域を目立たせる。この操作形
態で使用されるときは、しばしば、センサとして、黄色
を放出するリン酸蛍光体が取り付けられる。
【００１５】図５は、現存する人工建造物において欠陥
を検出する助けになる検出用化学物質または検出用薬剤
４０の使用法を示す。航空運航計器システム２１は、上
述の方法で、人工建造物（この場合には、道路４２）の
撮像２２を実行する。また、図５は、分離した欠陥２４
をもつ道路４２の撮像を示す。この例において、欠陥の
検出は、化学的画像コントラスト強調検出用化学物質ま
たは検出用薬剤４０の存在によって増大される。検出用
化学物質または検出用薬剤４０を欠陥２４と関連させる
ことは、結果として、より容易に検出できる物理的／化
学的変化２４ａにつながる。
を検出する助けになる検出用化学物質または検出用薬剤
４０の使用法を示す。航空運航計器システム２１は、上
述の方法で、人工建造物（この場合には、道路４２）の
撮像２２を実行する。また、図５は、分離した欠陥２４
をもつ道路４２の撮像を示す。この例において、欠陥の
検出は、化学的画像コントラスト強調検出用化学物質ま
たは検出用薬剤４０の存在によって増大される。検出用
化学物質または検出用薬剤４０を欠陥２４と関連させる
ことは、結果として、より容易に検出できる物理的／化
学的変化２４ａにつながる。
【００１６】図６の（１）に示されるもう１つの使用シ
ナリオにおいて、検出用化学物質または検出用薬剤５４
は、テープ５０の形態で、現存する人工建造物に組み込
まれる。その検出用化学物質または検出用薬剤５４は、
道路４２の幅に渡って適用され、自動車５２がテープ５
０上を進行するとき活性化する。その検出用化学物質ま
たは検出用溶剤５４は、自動車のタイヤ５６に付着し、
道路表面に渡って散布される。他の運搬技術は、図６の
（２）に示されるタイヤ浴槽５８である。例えば、タイ
ヤ浴槽５８は、図示されない料金所に設置されてよい。
自動車５２が、料金を支払うために停止するとき、タイ
ヤ５６は、タイヤ浴槽５８を通過する。タイヤ浴槽５８
は、検出用化学物質または検出用薬剤５４を含む。検出
用化学物質または検出用薬剤５４は、その後、タイヤ５
６によって道路４２に渡って散布される。この実施の形
態において、検出用化学物質または検出用薬剤５４は、
図７に示されるひび２７およびくぼみ６０に蓄積されな
いように、道路４２の表面に付着する。ひび２７および
くぼみ６０等の欠陥２４の存在は、検出用化学物質また
は検出用薬剤５４が存在しないことによって明白にな
る。そのような検出用化学物質または検出用薬剤５４
は、可視スペクトル領域および赤外スペクトル領域のい
ずれかにおいて蛍光成分または道路表面の反射を強調す
る成分を含むことができる。さらに、検出用化学物質ま
たは検出用薬剤５４は、スペクトルの可視領域および非
可視領域において使用するように選択できる。検出用化
学物質または検出用薬剤５４は、ランタニドとして知ら
れる材料の系統であってよい。ランタニドは、ハロゲン
元素と結合されて、検出可能なハロゲン化物質を形成す
る。さらに、検出用化学物質または検出用薬剤５４は、
コレステロールの特性をもつように選択できる。それら
の配向変化は、周囲との熱的平衡に基づくので、種々の
色を表示する。その種々の色は、適切に選択されたセン
サによって検出できる。
ナリオにおいて、検出用化学物質または検出用薬剤５４
は、テープ５０の形態で、現存する人工建造物に組み込
まれる。その検出用化学物質または検出用薬剤５４は、
道路４２の幅に渡って適用され、自動車５２がテープ５
０上を進行するとき活性化する。その検出用化学物質ま
たは検出用溶剤５４は、自動車のタイヤ５６に付着し、
道路表面に渡って散布される。他の運搬技術は、図６の
（２）に示されるタイヤ浴槽５８である。例えば、タイ
ヤ浴槽５８は、図示されない料金所に設置されてよい。
自動車５２が、料金を支払うために停止するとき、タイ
ヤ５６は、タイヤ浴槽５８を通過する。タイヤ浴槽５８
は、検出用化学物質または検出用薬剤５４を含む。検出
用化学物質または検出用薬剤５４は、その後、タイヤ５
６によって道路４２に渡って散布される。この実施の形
態において、検出用化学物質または検出用薬剤５４は、
図７に示されるひび２７およびくぼみ６０に蓄積されな
いように、道路４２の表面に付着する。ひび２７および
くぼみ６０等の欠陥２４の存在は、検出用化学物質また
は検出用薬剤５４が存在しないことによって明白にな
る。そのような検出用化学物質または検出用薬剤５４
は、可視スペクトル領域および赤外スペクトル領域のい
ずれかにおいて蛍光成分または道路表面の反射を強調す
る成分を含むことができる。さらに、検出用化学物質ま
たは検出用薬剤５４は、スペクトルの可視領域および非
可視領域において使用するように選択できる。検出用化
学物質または検出用薬剤５４は、ランタニドとして知ら
れる材料の系統であってよい。ランタニドは、ハロゲン
元素と結合されて、検出可能なハロゲン化物質を形成す
る。さらに、検出用化学物質または検出用薬剤５４は、
コレステロールの特性をもつように選択できる。それら
の配向変化は、周囲との熱的平衡に基づくので、種々の
色を表示する。その種々の色は、適切に選択されたセン
サによって検出できる。
【００１７】図８に示される本発明の別の実施の形態に
おいて、検出用化学物質または検出用薬剤７０は、支持
部８４によって保持される水道管８０を通って流れる材
料に追加される。その検出用化学物質または検出用薬剤
７０は、液体または固溶体に提供されうるが、水道管８
０中を流れることが可能であるように選択されねばなら
ない。例えば、検出用化学物質または検出用薬剤７０を
オイルに追加することによって、水道管８０の洩れまた
は水道管８０からのこぼれ８２を引き起こすひび２７等
の欠陥２４が、容易に、遠隔検出および記録できる。可
視波長の蛍光を発する濃度の低い油溶性材料は、オイル
洩れの検出を相当増大できる。そのような材料の使用は
当業者に周知であり、遠隔検出用途において、単独で、
または、組み合せて使用できる。
おいて、検出用化学物質または検出用薬剤７０は、支持
部８４によって保持される水道管８０を通って流れる材
料に追加される。その検出用化学物質または検出用薬剤
７０は、液体または固溶体に提供されうるが、水道管８
０中を流れることが可能であるように選択されねばなら
ない。例えば、検出用化学物質または検出用薬剤７０を
オイルに追加することによって、水道管８０の洩れまた
は水道管８０からのこぼれ８２を引き起こすひび２７等
の欠陥２４が、容易に、遠隔検出および記録できる。可
視波長の蛍光を発する濃度の低い油溶性材料は、オイル
洩れの検出を相当増大できる。そのような材料の使用は
当業者に周知であり、遠隔検出用途において、単独で、
または、組み合せて使用できる。
【００１８】以上のような検出用化学物質または検出用
薬剤７０は、図１の光学フィルタ３と組み合わされて、
信号対雑音比を相当改善し、遠隔検出の検出可能性を増
大させる。光学フィルタ伝達機能と、欠陥の結果として
検出される色変化との組み合せは、各々の用途のために
最適化される。この最適化方法は当業者に周知である。
薬剤７０は、図１の光学フィルタ３と組み合わされて、
信号対雑音比を相当改善し、遠隔検出の検出可能性を増
大させる。光学フィルタ伝達機能と、欠陥の結果として
検出される色変化との組み合せは、各々の用途のために
最適化される。この最適化方法は当業者に周知である。
【００１９】
【発明の効果】本発明の効果は、遠隔プラットフォーム
から撮像される画像を自動的に処理することにより、現
存の人工建造物における１以上の欠陥を判断するより効
果的な方法を提供できることである。この自動処理は、
先に検出された画像との比較を含んでもよい。また、こ
の自動処理は、予測的方法で作動するアルゴリズムおよ
びエキスパートシステムを含んでもよい。
から撮像される画像を自動的に処理することにより、現
存の人工建造物における１以上の欠陥を判断するより効
果的な方法を提供できることである。この自動処理は、
先に検出された画像との比較を含んでもよい。また、こ
の自動処理は、予測的方法で作動するアルゴリズムおよ
びエキスパートシステムを含んでもよい。
【図１】 航空機、衛星または地上運航計器システムを
用いた本発明による撮像システムを示す図。
用いた本発明による撮像システムを示す図。
【図２】 現存する人工建造物の欠陥を検出する撮像お
よび画像処理方法のフローチャートの図。
よび画像処理方法のフローチャートの図。
【図３】 図１に示されたシステムで使用できる画像処
理アルゴリズムのフローチャートの図。
理アルゴリズムのフローチャートの図。
【図４】 現存する人工対象物において欠陥を検出する
助けとなる化学物質または化学薬剤を、トラックを用い
て道路に適用する方法を示す図。
助けとなる化学物質または化学薬剤を、トラックを用い
て道路に適用する方法を示す図。
【図５】 本発明による検出用化学物質または検出用化
学薬剤を適用する別の方法を示す図。
学薬剤を適用する別の方法を示す図。
【図６】 自動車を用いて検出用物質または検出用薬剤
を適用および散布する本発明による方法を示す図。
を適用および散布する本発明による方法を示す図。
【図７】 現存する人工建造物において欠陥を検出する
助けとなる化学物質または化学薬剤の存在を利用する本
発明の別の実施の形態を示す図。
助けとなる化学物質または化学薬剤の存在を利用する本
発明の別の実施の形態を示す図。
【図８】 パイプラインにおいて洩れを検出する助けに
なる化学物質または化学薬剤を使用する本発明の別の実
施の形態を示す図。
なる化学物質または化学薬剤を使用する本発明の別の実
施の形態を示す図。
１ センサシステム
２ 撮像素子
４ 撮像制御回路
５ 位置および方位記憶回路
６ 画像記憶装置
７ 画像処理回路
２１ 航空運航計器システム
２６ 衛星
２８ 地上運航計器システム
３１ 制御コンピュータ
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 グスタボ・ロベルト・パズ−プジャルト
アメリカ合衆国14618ニューヨーク州ロチ
ェスター、チェルムズフォード・ロード
146番
(72)発明者 ジョン・フィリップ・スプーンハウアー
アメリカ合衆国14580ニューヨーク州ウェ
ブスター、ハードウッド・レイン1245番
Ｆターム(参考） 2E176 AA01 AA07 AA09 BB38
2F065 AA49 CC14 CC40 DD06 FF04
JJ26 LL21 QQ03 QQ24 QQ31
TT07
2G051 AA90 AB02 CA04 EA12 EA14
EC01
5B057 AA14 BA02 DA03 DB02 DB06
DB09 DC22 DC25 DC33
5C054 AA01 AA05 EA07 FC01 GA00
GB02 GB12 GB13 GB15 HA05
HA37
Claims (3)
- 【請求項１】 現存する人工建造物の少なくとも１つの
画像を撮像し、その人工建造物における１以上の欠陥の
存在を検出する方法であって、 （ａ）現存する人工建造物の表面または内部に、検出可
能な材料を、その一部が前記人工建造物の１以上の欠陥
に存在するように提供する提供ステップと、 （ｂ）画像センサによって、前記人工建造物の少なくと
も１つのデジタル画像を撮像する撮像ステップと、 （ｃ）撮像された前記１以上のデジタル画像を処理し
て、前記人工建造物の視覚画像を提供し、前記人工建造
物における１以上の欠陥の存在を判断する処理ステップ
とから成り、 前記画像センサは、前記人工建造物の少なくとも１つの
画像を撮像し、１以上の欠陥における前記検出可能な材
料の存在の有無により、前記１以上の欠陥を識別する欠
陥検出方法。 - 【請求項２】 前記１以上のデジタル画像が、地上の固
定建造物、または、飛行機および衛星を含む移動構造体
に位置される撮像素子によって撮像される請求項１に記
載の欠陥検出方法。 - 【請求項３】 前記処理ステップが、検出されるべき種
々の欠陥をメモリに記憶するステップと、撮像された前
記デジタル画像と前記欠陥とを比較して、欠陥の存在お
よびそのような欠陥の位置を判断するステップとを含む
請求項１に記載の欠陥検出方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/828010 | 2001-04-06 | ||
| US09/828,010 US6952487B2 (en) | 2001-04-06 | 2001-04-06 | Detecting the presence of failure(s) in existing man-made structures |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003057188A true JP2003057188A (ja) | 2003-02-26 |
| JP4149725B2 JP4149725B2 (ja) | 2008-09-17 |
Family
ID=25250702
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002105270A Expired - Fee Related JP4149725B2 (ja) | 2001-04-06 | 2002-04-08 | 人工建造物の欠陥検出方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6952487B2 (ja) |
| EP (1) | EP1248074B1 (ja) |
| JP (1) | JP4149725B2 (ja) |
| DE (1) | DE60225614T2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005283519A (ja) * | 2004-03-31 | 2005-10-13 | Hitachi Zosen Corp | 塗膜劣化診断システム |
| JP2017031740A (ja) * | 2015-08-05 | 2017-02-09 | ローム株式会社 | 構造物の点検方法 |
| CN113252699A (zh) * | 2021-06-28 | 2021-08-13 | 武汉飞恩微电子有限公司 | 用于压力传感器的故障诊断方法、装置、设备及存储介质 |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6842534B1 (en) | 2000-09-28 | 2005-01-11 | Itt Manufacturing Enterprises, Inc. | Detecting material failures in ground locations |
| US9875414B2 (en) | 2014-04-15 | 2018-01-23 | General Electric Company | Route damage prediction system and method |
| US7424133B2 (en) * | 2002-11-08 | 2008-09-09 | Pictometry International Corporation | Method and apparatus for capturing, geolocating and measuring oblique images |
| US20090200467A1 (en) * | 2008-02-12 | 2009-08-13 | Gray Paul C | Automatic image-based volumetric detection of an object in a space |
| US20090240554A1 (en) * | 2008-03-24 | 2009-09-24 | Pinpoint Geotech, Llc | System and method for providing identification and location information of certain items |
| US9365217B2 (en) * | 2013-06-03 | 2016-06-14 | Booz Allen Hamilton Inc. | Mobile pothole detection system and method |
| US9921584B2 (en) * | 2014-04-03 | 2018-03-20 | General Electric Company | Route examination system and method |
| US9575007B2 (en) * | 2014-04-03 | 2017-02-21 | General Electric Company | Route examination system and method |
| US20150285688A1 (en) * | 2014-04-03 | 2015-10-08 | General Electric Company | Thermographic route examination system and method |
| DE102016011512A1 (de) | 2015-10-20 | 2017-05-04 | Green Excellence GmbH | Inspektion von Isolatoren von Freileitungen unter Nutzung von autonom fliegenden Drohnen (Multikoptern, Flächenfliegern oder UAV, UAS) |
| DE102016011492A1 (de) | 2015-10-20 | 2017-06-29 | Green Excellence GmbH | Detektion von Funk-Störquellen an Freileitungen unter Nutzung von Drohnen (oder Multikoptern, Flächenfliegern, UAV oder UAS) |
| DE102016011511A1 (de) | 2015-10-20 | 2017-05-04 | Green Excellence GmbH | Inspektion von Freileitungen unter Nutzung von autonom fliegenden Drohnen (oder Multikoptern, Flächenfliegern, UAV oder UAS) |
| JP6238254B2 (ja) * | 2016-05-12 | 2017-11-29 | 株式会社明治 | 固液分離装置の固液分離カラム内における固液分布検出方法及び検出装置 |
| CN109739239B (zh) * | 2019-01-21 | 2021-09-21 | 天津迦自机器人科技有限公司 | 一种用于巡检机器人的不间断仪表识别的规划方法 |
| DE102019134021A1 (de) * | 2019-12-11 | 2021-06-17 | Endress+Hauser Process Solutions (Deutschland) GmbH | Verfahren zum Überwachen einer Anlage der Automatisierungstechnik |
| US11255057B2 (en) * | 2020-03-07 | 2022-02-22 | Brian Gallagher | Screed assembly for road paving machines, and a method for repaving road surfaces |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3511086A (en) * | 1966-11-23 | 1970-05-12 | Boeing Co | Nondestructive testing with liquid crystals |
| US4037189A (en) * | 1975-10-20 | 1977-07-19 | Western Gear Corporation | Method and apparatus for determining the profile of an underwater pipeline |
| US4653316A (en) * | 1986-03-14 | 1987-03-31 | Kabushiki Kaisha Komatsu Seisakusho | Apparatus mounted on vehicles for detecting road surface conditions |
| GB8619910D0 (en) | 1986-08-15 | 1986-09-24 | British Aerospace | Detection of damage in structural materials |
| US5126654A (en) * | 1989-02-10 | 1992-06-30 | New York Gas Group | Non-invasive, high resolution detection of electrical currents and electrochemical impedances at spaced localities along a pipeline |
| US5042055A (en) * | 1990-03-12 | 1991-08-20 | Art Wirt | X-ray threaded pipe joint analysis system |
| JP3225660B2 (ja) * | 1992-12-28 | 2001-11-05 | 大同特殊鋼株式会社 | 螢光磁粉式自動探傷装置 |
| US5444241A (en) * | 1993-10-01 | 1995-08-22 | The Regents Of The University Of California | Emissivity corrected infrared method for imaging anomalous structural heat flows |
| DE4403664A1 (de) | 1994-02-07 | 1995-08-10 | Basf Ag | Verwendung von im IR-Bereich absorbierenden und fluoreszierenden Verbindungen als Riß-Prüfmittel |
| JP3376090B2 (ja) * | 1994-04-14 | 2003-02-10 | 株式会社常盤産業 | 包装体のシール不良検査方法 |
| FR2730058A1 (fr) * | 1995-01-27 | 1996-08-02 | Gec Alsthom Syst Et Serv | Procede de controle non destructif d'une surface, en particulier en milieu hostile |
| US6535141B1 (en) * | 1996-06-07 | 2003-03-18 | John A. Doherty | Vehicle mounted travel surface and weather condition monitoring system |
| US5657003A (en) * | 1996-02-26 | 1997-08-12 | Fuentes; Alfredo | Structure movement monitoring and emergency alarm system |
| US5656786A (en) * | 1996-05-03 | 1997-08-12 | Ico, Inc. | Oilfield tubular inspection method and apparatus |
| AUPP107597A0 (en) * | 1997-12-22 | 1998-01-22 | Commonwealth Scientific And Industrial Research Organisation | Road pavement deterioration inspection system |
| US6309728B1 (en) * | 1999-01-27 | 2001-10-30 | Fuji Photo Film Co., Ltd. | Method for producing optical information-recording medium and optical information-recording medium |
| DE29902218U1 (de) | 1999-02-08 | 1999-06-24 | Tiede GmbH + Co Rissprüfanlagen, 73457 Essingen | Rißprüfanlage, insbesondere nach dem Farbeindringverfahren oder magnetischen Verfahren |
| JP2000249688A (ja) * | 1999-03-01 | 2000-09-14 | Kobe Steel Ltd | 湿式蛍光磁粉探傷法 |
| US6842534B1 (en) | 2000-09-28 | 2005-01-11 | Itt Manufacturing Enterprises, Inc. | Detecting material failures in ground locations |
-
2001
- 2001-04-06 US US09/828,010 patent/US6952487B2/en not_active Expired - Lifetime
-
2002
- 2002-03-25 EP EP02076164A patent/EP1248074B1/en not_active Expired - Fee Related
- 2002-03-25 DE DE60225614T patent/DE60225614T2/de not_active Expired - Lifetime
- 2002-04-08 JP JP2002105270A patent/JP4149725B2/ja not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005283519A (ja) * | 2004-03-31 | 2005-10-13 | Hitachi Zosen Corp | 塗膜劣化診断システム |
| JP2017031740A (ja) * | 2015-08-05 | 2017-02-09 | ローム株式会社 | 構造物の点検方法 |
| CN113252699A (zh) * | 2021-06-28 | 2021-08-13 | 武汉飞恩微电子有限公司 | 用于压力传感器的故障诊断方法、装置、设备及存储介质 |
| CN113252699B (zh) * | 2021-06-28 | 2021-11-30 | 武汉飞恩微电子有限公司 | 用于压力传感器的故障诊断方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20020146150A1 (en) | 2002-10-10 |
| EP1248074A3 (en) | 2003-11-05 |
| US6952487B2 (en) | 2005-10-04 |
| DE60225614T2 (de) | 2009-04-16 |
| DE60225614D1 (de) | 2008-04-30 |
| JP4149725B2 (ja) | 2008-09-17 |
| EP1248074A2 (en) | 2002-10-09 |
| EP1248074B1 (en) | 2008-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4149725B2 (ja) | 人工建造物の欠陥検出方法 | |
| US6987877B2 (en) | Superimposing graphic representations of ground locations onto ground location images after detection of failures | |
| US11514564B2 (en) | System for detecting image abnormalities | |
| US7027924B2 (en) | Detecting natural gas pipeline failures | |
| US8385672B2 (en) | System for detecting image abnormalities | |
| US6842534B1 (en) | Detecting material failures in ground locations | |
| KR101625573B1 (ko) | 차량 번호판 인식과 차량 하부 검색을 동시에 이용한 입출차 보안 시스템 | |
| JP2011248404A (ja) | 検査システムおよび検査方法 | |
| US11385105B2 (en) | Techniques for determining emitted radiation intensity | |
| Merkle et al. | Evaluation of thermography-based automated delamination and cavity detection in concrete bridges | |
| KR102673902B1 (ko) | 무선주파수인식 태그 기반의 오브젝트 스캐닝 장치 및 이를 이용한 실내 차량관리 시스템 및 그 방법 | |
| KR20160064060A (ko) | 차량 하부검색과 차량 번호판 인식을 동시에 이용한 입출차 보안 시스템 | |
| JP2020027067A (ja) | コンテナ損傷検査装置およびコンテナ損傷検査方法 | |
| Orduyilmaz et al. | Multisensor fusion for mini-UAV platforms | |
| Egorov et al. | The monitoring system based on date spaceborn photos territory |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20050127 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20050127 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050323 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070123 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070410 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070911 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071127 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080527 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080626 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110704 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110704 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120704 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120704 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130704 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130704 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130704 Year of fee payment: 5 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |