JP2008500471A - 表面変更機械のコントロール方法 - Google Patents

表面変更機械のコントロール方法 Download PDF

Info

Publication number
JP2008500471A
JP2008500471A JP2007513784A JP2007513784A JP2008500471A JP 2008500471 A JP2008500471 A JP 2008500471A JP 2007513784 A JP2007513784 A JP 2007513784A JP 2007513784 A JP2007513784 A JP 2007513784A JP 2008500471 A JP2008500471 A JP 2008500471A
Authority
JP
Japan
Prior art keywords
point
points
information
actual
surface points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007513784A
Other languages
English (en)
Other versions
JP4971146B2 (ja
JP2008500471A5 (ja
Inventor
ヴーン、クレメント
アー ステグマイヤー、ペーター
シュナイダー、クラウス
ニクス、マルティン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Geosystems AG
Original Assignee
Leica Geosystems AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Geosystems AG filed Critical Leica Geosystems AG
Publication of JP2008500471A publication Critical patent/JP2008500471A/ja
Publication of JP2008500471A5 publication Critical patent/JP2008500471A5/ja
Application granted granted Critical
Publication of JP4971146B2 publication Critical patent/JP4971146B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/76Graders, bulldozers, or the like with scraper plates or ploughshare-like elements; Levelling scarifying devices
    • E02F3/80Component parts
    • E02F3/84Drives or control devices therefor, e.g. hydraulic drive systems
    • E02F3/841Devices for controlling and guiding the whole machine, e.g. by feeler elements and reference lines placed exteriorly of the machine
    • E02F3/842Devices for controlling and guiding the whole machine, e.g. by feeler elements and reference lines placed exteriorly of the machine using electromagnetic, optical or photoelectric beams, e.g. laser beams
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/2045Guiding machines along a predetermined path
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30Polynomial surface description

Abstract

【課題】本発明は、表面変更機械をコントロールする方法に関する。
【解決手段】地面の所望の状態および実際の状態の情報を提供し、その状態の比較に基づき、機械をコントロールする命令を導出するのに使用する。実際の状態の情報は、点集団により不連続な表面の点の空間分布として表示される。コントロールコマンドの導出に、各点集団から少なくとも2つの表面の点が、水平位置に使用され、
種々の面の識別を可能とする所望の状態の情報を導出する。
【選択図】図11

Description

本発明は、表面変更機械のコントロール方法に関し、およびコンピュータプログラムに関する。
表面の整備に、多数の表面変更機械、装置および方法が使用されている。以下では、「建設機械」の用語は、特別な機械に限定するものではない。このような機械は、表面または地形の整備または形成(直接的には平坦化そして間接的には爆破)の全ての装置を意味する。本発明の方法は、原理的には、所望の表面の整備または変更に関し、および、坑内採鉱またはトンネル工事の囲まれた空間内にも関する。表面の変更は、除去および充填で達成され、また適切な方法、例えば爆破、掘削、水圧方式で行なわれる。作業の最終結果では、経済的および技術的基準に適合した所望の条件を達成するのが望ましい。
これらの方法に対する1つの手法として、変更する表面の所望のモデルの仕様で、建設機械をコントロールすることである。所望のモデルに対して、コントロールコマンドのベースになる差異を、連続的または不連続に導出する。所望のモデルは、一般には、電子形式のCAD処理の結果で与えられる。
もし機械が、実際の位置および所望の状態と実際の状態の差異を、現在位置または次の又はそれに続く作業地域で認知している場合、この差異を低減する適切に最適化したコントロールが達成できる。
US 5,631,658は、記憶された2次元モデルで、切盛り機械をコントロールする装置および方法を開示している。第1のモデルは、整備する表面の所望の状態を記述する。第2のモデルは、実際の状態を描いている。第2のモデルは、建設機械の3次元位置の測定で連続的に更新されている。建設機械および/または建設道具の位置から、整備する表面の地形を描くことができる。建設機械は、第1のモデル及び第2のモデル間の差異を評価してコントロールされ、この差異を低減しようとする。
この手法は、存在する差異を低減するために、建設用地の所望および実際の状態を表す2つの根本的に類似したモデルを使用している。2つのモデルは、不連続な位置の2次元配置から成り、垂直の値を高さに指定している。従って、垂直の寸法と水平の位置には、一対一の関係がある。実際のモデルに対して、建設機械自身の測定で記録がなされる。
このモデルは、幾つかの不利な点を備えている。先ず第1に、実際のモデルが、建設機械の位置測定で更新される設計が必要である。この場合、特に非接触測定または変形し得る領域の記録を妨げる。つまり負荷負担能力が低く、機械がその上を走行するのが困難な場合である。状況により、この領域は、建設機械では整備できないが、この領域の実際の表面等高線が、重要な場合がある。例えば、機械で整備される部分が、変形し得るかつ不安定な表面に適用される場合である。
更に困難さは、最初の第2のモデルの準備にある。従来技術において、第2のモデルは、建設機械の位置で更新する必要がある。例えば、走査調査による他の測地情報が、予備変換をしないで使用ができない。特に走査情報の更新は、その方法を用いて今日まで建設機械では達成できない。
WO 01/04576は、地上で動く機械をコントロールする方法を開示している。実際の状態は、表面をスキャナで走査して取得している。建設機械のコントロールに、取得した点集団の個別の点の高さの値を、所望の状態のモデルの対応する所望の値と比較し、取得した差異からコントロールコマンドを導出している。
この手法は、点集団で実際の状態を表現している。しかし、コントロールコマンドの導出は、分離した点の選択および次の比較で達成される。実際および所望の状態を記述する分布の点を指定する必要がある。さらに整備中の点集団の更新は無い。
従来技術の2つの手法は、モデルまたは点集団の情報量を、一対一の関係の使用に関して、減少させている。これは、表面の変化が、不連続な水平位置の分解能で発生するからである。高さの微細な構造または変化は、コントロールコマンドの導出には考慮されない。非常に構造化した表面、例えば草地または森林地形の場合、この手法は、根本的な問題を引き起こす。地面の平面または茂みの先端の何れかを、各位置で座標化する必要がある。この従来技術では、それぞれの他の情報が失われる。また非常に尖った角の岩の表面は、測定できない。従って、従来技術の手法は、高さの記述を超える情報の使用ができない。高さは、部分的に状況にのみ対応し、所定のランダムさで決定される。
本発明の目的は、整備する表面の実際の状態に対して、所望の状態の情報の使用を可能にする方法である。その情報は、表面の明確なモデル、または、所望および実際のモデルの個々の点の対応する関連に変換しない。
本発明の目的は、この情報のベースまたはデータベースの更新を可能とすることである。
本発明の目的は、整備する表面の使用可能な情報の量を拡張することである。
本発明の目的は、建設機械が直接に到達することが出来ない領域からの情報を使用することである。
これらの目的は、請求項1および従属項の特性を備えた実施形態で達成され、またこれらの解決を更に発展させている。
本発明は、表面または可動範囲の目標とする変更で、表面変更の建設機械または他の機械をコントロールする方法に関する。表面の実際の状態の明確なモデル化の手間を省く。1つの垂直の量を、各水平の位置に関連させる。
実際の状態を表すために、複数の点から成る点集団を使用し、複数の点の各々は検討する表面の点に対応する。ここで表面は、操作に関する境界層と理解される。これは、他方の上に一方がある2つ以上の境界層も含む。これは、砂地表面が水で覆われている場合で、操作には、水平面および砂地表面の両方が知られているのが好ましい。伸び過ぎた又は非常に亀裂のある形状も実施例となる。茂みの高さおよびその下の地面の両方知っているのが好ましい。
本発明では、実際および所望の状態の表示から、それぞれの個々の点を配置座標化する代わりに、所望のモデルの位置を、実際の状態の複数の点にリンクさせ、リンクする点の選択の変更を可能とする。
実際の状態を記述する点集団は、例えば空上または地上ベースの走査処理で与えられる。地上ベースでの記録は、WO 01/04576に記載されている。特に、走査距離測定装置、例えばライダー(LIDAR: Light Detection and Ranging)が、この目的に使用できる。この装置で、個々の表面の点の距離測定から点集団を生成できる。WO 97/40342は、固定点にセットした走査装置で地形を記録する地上ベースの方法を記載している。このシステムでは、モータで行なう走査処理の基準となる固定した設定点を選択する。それぞれの表面の点の3次元の位置情報は、測定点までの距離、測定時の角度位置、および走査装置の既知の位置から導出される。
同様にWO 97/40342に記載されているように、3次元モデルは点集団から導出できる。しかし、情報不足と相まって時間が要求される。機械のコントロールに使用する空間の点に、それぞれの最も近い表面の点の指定によるモデル化では、情報の一部が不要である。この例では、表面の点と空間点の間の距離である。
点集団の更新は、走査装置の位置に対して、輸送手段の走査処理でできる。全ての領域の再走査または単に一部領域を記録する。部分領域を合わせるのは、画像処理方法またはパターン認識法の使用、または走査装置の固定点を測量して達成できる。これはモデル化の中間ステップ無しで更新の実行を可能となる。特に、水平位置と高さを一対一の指定にする場合である。従って、点集団の全情報内容が保持される。さらにモデル化ステップの省略は、要求される計算時間を削減する。
本発明の方法では、コントロールコマンドは、所望の状態と点集団との比較で導出する。所望の状態は、原理的には、点集団で表されるが、一般には3次元モデルである。表面の処理は、操作の精度で達成される。不連続の水平位置が、実施例により純粋にその精度で座標化される。分解能は、固定または変えることが出来る。例えば、平らな領域では粗い格子を使用し、急峻な傾斜領域では、細かい分解能の水平位置が好ましい。同様に、コンロールコマンドを特定する不連続な水平位置の代わりに、例えば、トンネル構造物に垂直位置を使用することも可能である。または連続または擬似的連続のコントロールが達成される。
使用する各空間または水平位置に対して、所望の状態と実際の状態との比較を行う。各ケースにおいて、点集団からの表面の点は、水平位置で座標化される。最も単純な場合、空間の最も近い点の幾つかを選択し、その位置情報を、集合体に採用する。この指定が、各水平位置に対して実行、記憶されると、記憶された結果は、実際の状態の3次元モデルとなる。
本発明の方法によれば、点集団からの複数の表面の点は、位置に有利に座標化され、モデル化の中間ステップによる情報損失を伴わない。複数の点は、検討する位置に対して異なる情報の導出を可能にする。1つの可能性は、例えば、重み関数の手段による集合体の計算である。従って、複数の表面の点の位置の値は、コントロールコマンドを引き起こす格子点の水平位置からの距離で重みが付けられ、そして合計され、高さの情報が、複数の値の平均を表す。従来技術の一対一の指定は、原理的にはエラーになり、本発明と比較して不完全である。各位置に対して各ケースで記録される値は、対応する情報無しの極端な値かもしれない。その状況のベースで、評価および必要に応じて訂正を行う。
さらに複数の点の使用は、例として最小自乗法による直線または平面の形成にある。従来技術の方法とは対照的に、部分的な傾斜または高く引き出たものが、考慮している点に対して得られる。最適化、パターン認識または画像処理の領域で本来知られている多数の方法は、本発明の複数の点情報の使用に可能である。従って、平面は、ファジー理論、神経ネットワーク、発見的解決法を用いても確定できる。例えば、神経ネットワークを用いたパターン認識で、点集団での表面形状を認識することができ、点集団の整備計画は、発見的方法で決定できる。例えば、地面の性質または材質、水量、または、表面粗さの情報は、この発見的方法で使用できる。機械のコントロール命令は、所望の高さと実際の高さとの部分的な比較をベースにして達成されない。しかし走査した表面の全情報の使用で、モデル化を省いたインテリジェント法の使用も可能である。コントロール命令で実行するプロセスは、任意の所望の方向を有する表面の変更に関する。特に、これは地面の平坦化、窪みの掘削、傾斜地の成形に関する。他の例として、露天掘りまたは坑内採鉱で使用される機械による爆破作業である。コントロール命令は、電気的または機械的に直接変換でき、ユーザ対話にすることも出来る。本発明のコントロール命令は、掘削する爆破穴の位置の視覚投影も含む。
表面の点の水平位置の特別なケースへの指定は、点集団の分離または重なり、従って複数の位置に対する点の共有を含む。従って、表面の平滑化が出来るのは、各位置に座標化される表面の点の数が、各位置に座標化される表面の点の平均値を越える場合である。隣接する位置の点の情報は、各位置に対して使用される。
ある位置に対して、点の高さバラツキから、複数の可能な高さのレベルを導出できる選択肢がある。従って、茂みと土壌、または、水域の表面と水域の底の区別が、測定した表面の点のバラツキから測定できる。
高さのバラツキを時間の関数で解釈することも可能である。高さの差異は、走査処理の時間範囲内での同一対象物の移動から起因、または、2つの連続した走査処理に起因する。高さのバラツキから表面に関する結論が引出せる。
点集団が、区別可能な表面の点のサブセットから成る場合、点集団の追加的な情報も使用できる。特性量が、それぞれのサブセットに関連付けされる場合、その特性量は、例えば、記録の異なるスペクトル領域に存在する。従って、異なるスペクトル領域の2つの測定は、記憶の際に特徴付けされる。対象物の異なる反射の性質を基本にして、簡単な指定、例えば、1つ以上の可能なレベル、が作成できる。時間に関わる差異で好都合なのは、同じ地形が、素早く連続して記録され、記録の時間特性で共通の点集団に一体化して記憶される場合である。時間の目印をベースにする場合、サブセットは、各位置に対して分離され、移動する要素に識別および指定を容易にする。これらは、例えば、風で動く葉または液体の表面で、地表面および茂みの分離が、時間の記号をベースに促進される。高さのバラツキは、整備プロセスの細かいコントロールにも使用される。従って、変形し得る物質の山に対して、刃先の高さを導出し、小高い部分の除去および窪地の盛土を同時にすることが出来る。
本発明の手法の1つは、整備する全領域に自動的に適用はできない。どちらかといえば、各ケースで変わる手法を、個々の領域または個々の位置に採用する。従って、それぞれの位置での傾斜地の測定は、平坦な地域では不要である。しかし、傾斜地またはその派生物は、急に上昇または変化する区域では、各位置に対して常に計算される。
本発明の方法は、表面変更の不連続な処理にも使用できる。この処理は、時間に対し分離またはずらした操作から成る。例えば、掘削、測定、比較または掘削、爆破、測定、比較の順となる。
点集団の記録は、多様な装置の走査方法でできる。一般には、地上または空上ベースの手段に使用されるレーザ走査が使用される。地上ベースの装置の場合、記録は、1つ以上の固定位置から行なう。この位置は、既知または未知でもよい。空上ベースの装置の場合、位置は連続して変化するが、走査した表面の点は、既知の3次元位置の点と連続してリンクさせる。従って、両ケースにおいて、少なくとも既知の絶対位置を持つ基準点が存在する。その基準点に対し、全ての測定する表面の点および空間の指定に対する参照が可能となる。点集団内の空間の順番が決定される。
点集団では、記録された表面の点の数は、コントロールコマンドを導出する位置の記録した数よりも多い。表面の点の分布は、記録処理により、位置に対して均一ではない。走査処理の幾何学的な条件により、表面の点の密度は変化し、そして、一部領域で、例えば走査装置から映写される領域で、空間位置の数よりも低くなることもある。表面の点の数は、一般には平均して、要求または明示される空間位置の数よりも極めて多い。
整備した領域の更新は、都合の良い位置に設置した走査装置による定期的または計画的な走査処理で達成できる。その結果、複数の建設機械で共同で使用されたデータベースが更新される。変わりにまたは更に、走査装置、例えば直線走査装置を建設機械自身に搭載することもできる。これにより各ケースで整備された部分は、機械自身で測定される。点集団の使用は、各ケースで測定した領域を、パターン認識方法を用いて、全体の点集団に整合させることが出来る。従って明らかに識別できる構造、例えば、道端、堤防、道、路線などが基準構造として有利に使用できる。モデルの使用とは対照的に、表面の点の絶対方向または位置の測定を必要としない。記録された表面の点の全体を点集団に総括して整合させる。結果として生ずる矛盾を低減または削除するために、建設用地または表面全体を完全に走査する処理を定期的に実施する。
本発明の方法は、データの使用およびその更新を可能とし、機械が直接に整備また走行する表面に限定されない。更新は、測定するそれぞれの点上に、建設機械を位置付けすることを要求しない。従って、走行される領域外に位置する構造または表面も使用および更新される。
本発明による方法を、概略的に示す図を参照しつつ、実施例により、以下に詳細に記載する。
図1は、従来技術による実際の状態1aを画像化するモデルを示す。整備される地面の表面は、非常に多数の第1の点2aから成るモデルで、実際の状態1aに描かれている。第1の点2aは、各々、高さ情報を含み、水平位置Pで座標化されている。従って、実際の状態1aは、高さ情報の格子で表わされ、高さの値は、各々の格子点で特定される。同様に、所望の状態もモデルで表わされる。
図2は、従来技術の方法によるコントロールコマンドの導出を説明する。この例では、建設機械3が、用地を平らにするのに使用されている。所望の状態1bは、斜線で示される平面で、第2の点2bとして格子ノードで表示されている。実際の状態1aは、格子状に配置された第1の点2aで記述され、実際の状態1aと所望の状態2aの水平位置の格子は一致する。建設機械3に対する局所的なコントロールコマンドは、第1の点2aと第2の点2bの差異Dから導く。この差異Dから、凹部を埋めることが、指定された位置で行なわれる。
従来技術よる表面整備の方法の全体の順序を図3に概略的に示す。建設機械3は、整備する表面4の上を複数回走行する。その表面は、実際の状態1aおよび所望の状態1bのモデルをベースにして整備される。建設機械3の操作中、機械の位置が連続的に測定され、実際の状態1aのモデルを更新するのに使用される。コンピュータは、2つのモデルを比較し、差異をベースにしてコントロールコマンドを生成する。モデルの更新は、更新される点上の建設機械の位置を必要とする。所定の通過または整備サイクルの後で、実際の状態1aと所望の状態1bのモデル間の差異が、消滅または所定の限界以下に落ちると、操作は完成したとみなされる。この方法では、建設機械3のコントロールで走行不可または走行しなかった領域の実際の情報を使用することができない。
図4a−4dは、実際の状態および所望の状態の異なる表示の模式図を示す。図4aは、格子状に配置された高さ情報を備える実際の状態のモデルを示す。同一の構成を持つ(図4b参照)所望の状態のモデルを、実際の状態のモデルで調整させる。下にある格子の各点に対して比較し、コントロールコマンドをその差異から導出することができる。図4cは、第1の点2aを多数の表面の点5による取り替えを概略的に示している。表面の点5は、光学走査処理、例えばLIDAR(Laser Detction and Ranging)または写真測量法で得られる。もし表示する全表面が表面の点5で取り替えられる場合、図4dに概略的に示す点集団1cとなる。従来技術の場合、個々の表面の点5を、所望のモデルの個々の点と比較し、コントロールコマンドを高さ情報から導出している。本発明では、個々の表面の点5は、コントロールコマンドを導出する働きをする個々の格子位置と明白に整合されていない。しかし、個々の表面の点5は、その配置において、走査処理の固定点Bで与えられる空間の関係を備えている。各表面の点5の固定点Bに対する、水平および垂直の角度、距離は知られている。従って、固定点Bの絶対位置の情報で、表面の点5の個々の位置を確定することができる。各格子点が、点集団1cのサブセット用いてコントロールコマンドを導出する情報を得ることができる。図4aおよび4bのモデルとは対照的に、点集団1cの情報内容は、モデル化により低減されない。従って、実際の状態は、格子をベースに不連続に水平位置に対して記述される。しかし多数の表面の点は、各水平位置で座標化され、平均してその全体にわたる水平位置は、1より大きく、一般に1より大きい。
本発明で使用するモデルおよび座標系は、直交座標系表示に限定されない。原理的には、全ての適応する座標表示が可能で、選択する座標系は、整備する表面形状に往々にして依存する。従って、トンネルの構造には曲座標表示が考えられる。
図5は、複数の指定された表面の点5からの情報導出を図式的に示す。従来技術のモデルの点も説明の為に図示している。整備する表面の凹部または凸部を埋めるまたは除去するために、従来技術では、所望の状態と実際の状態の高さの差異および近隣の格子点に対してのみ考慮される。各々のケースで、空間の差異−この場合は、高さの差異−の比較を、個々の点の間でなされる。本発明の方法では、曲線または領域を、多数の表面の点5を通して横たえる。その曲線または領域は、表面に優れた近似を与え、変更情報の最適化された導出を可能にする。そこからコントロールコマンドを生成する。領域および曲線は、多数の既知の方法を使用して導出し、特に微分を考慮する。図5に、単に例として、第1の直線6aおよび第2の直線6bの点集団サブセットの表面の点5への挿入を表示している。曲線または直線の生成は、例えば、最小二乗法で達成され、さらには適切な方法として、ファジー理論法、画像処理方法、パターン認識および発見的方法である。
この手法の適切な工程は、一般的には適当な表面の点5の選択である。この選択は、簡単な選択方法で達成でき、例えば水平位置に対して最も近い表面の点5を考慮する。またパターン認識で選択できる。認識される構造に属する全ての表面の点5を、領域を導出するのに使用する。一方、図6は、本発明の方法の表面の点の変数の指定の概略図を示す。点Pの所定の半径にある全ての表面の点5を、水平位置の下にある格子の各位置Pで座標化する。従って相当するキャッチメント領域7は、点集団のサブセットを確定する。例えば、包含され水平位置に座標化された表面の点5を一体にできる。これは特に重み関数を用いて、その平均値をその位置で座標化する。キャッチメント領域7の選択は、全てのサブセットの合計が、全ての点集団よりも小さくなる。代わりにより大きいキャッチメント領域7’を選択することもできる。この場合、隣接する位置Pと重なり、幾つかの表面の点5は、複数のサブセットに同時に含まれる。従って、実際の状態の少なくとも2つの水平位置の表面の点は、所望の状態の各々の水平位置に対して使用される。1つの位置に使用される表面の点5の個数も可変で、それぞれの表面構造に依存する。
図7は、本発明の方法によるコントロールコマンド導出の概略図を示す。土木工事で変形し得る物質の山を考える。物質の山の断面は、表面の点5のトレースで表示されている。点集団の多数の表面の点5は、従来技術と比較して、表面の輪郭の高い精度を可能にする。従来技術では、変形し得る表面の場合、変形させずに建設機械を走行できず、従って測定ができない。本発明では、物質の粒状、および、高さD1の除去および凹部D2の穴埋めは、表面の点5の高さのバラツキから導出できる。建設機械に導入した装置は、点集団またはトレースから、表面を整備する刃先8の先端の最適な高さHを導出できる。この結果、従来技術と比較して、整備に必要な通過の数を小さくできる。
図8は、単純化できない点集団の情報内容の使用例を概略図で示す。複数の指定された表面の点5の高さのバラツキから、異なる面の誘導を模式的に示す。整備するまたは整備で使用する領域が、植物9で繁茂している場合、走査プロセスは、通常、多数の表面の点5を与える。表面の点5は、地面および植物9(特に植物の先端)の両方からの反射で発生する。点集団の表面の点5から、2つのサブセットを選ぶことが出来る。第1サブセットA1は、地面への測定から成り、第2サブセットA2は、植物9の先端への測定から成る。地面または茂みの上端は、2つのサブセットから導出できる。この手法で、繁茂したアクセスできない領域の地面を得ることが可能で、その領域の平地または傾斜地の平坦化を行なう。建設機械のコントロールコマンドは、繁茂する領域の地面の輪郭の知識をベースにして導出する。高さのバラツキまたは高さの値をベースにした表面の点の分離に加えて、付加的な特性量を、早ければ、点集団の記録中に導入することが出来る。この特性量をベースにして、点集団をサブセットに分離することが出来る。この実施例は、走査または走査プロセスで、異なる時間または異なるスペクトル領域で行なわれる。異なる時間またはスペクトル領域に対して、特性量が役に立つ。従って、植物に関連付けされる表面の点5は、地面と比較してスペクトル的に異なる挙動をベースにして分離することが出来る。各表面の点5は、この特性量を使用して更に割り当てることができる。
図9は、空上手段で記録した点集団の例の図を示す。整備する表面の上を航空機で飛ばし、LIDARで走査する。記録した点集団は、初期の実際の状態として使用される。次の更新は、さらなる飛行または地上での整備または補助装置で行なわれる。地上ベースの手段による更新は、通常、点集団の部分のみに関連する。従って、全体の点集団への調整が必要となる。調整は、パターン認識で達成するか、または直接に、基準点に対して、各表面の点の絶対的または相対的な位置の知識で達成できる。
図10は、地上で支持される手段で記録される点集団の第1の例を示す。視界は、複数のレールおよび関連する頭上の線から成る線路をカバーしている。右の領域には、著しい繁茂が認められる。この状況では、従来技術の方法は、軌道下または繁茂下の地面の確定は出来ない。建設機械を、直接に軌道または繁茂下の地面に位置させることが出来ないからである。さらに、表面との直接および持続的な接触は、安全面から往々にして禁じられている。
図11は、空上手段により記録された点集団に対する第2の例で、構造の識別性およびコントロールコマンドの導出を説明する。道床10を備えたレール部分および土提11が図示されている。土提11は、左に隣接し、緩やかな下向きの構造の地形が続いている。この例では、道路12をレール部分に平行にし、道路の高さを道床10に一致させることを意図している。土提11の、一部繁茂している、最も高い点に関して、最小の横の距離を維持し、道路から道床10の移行は、連続的に傾斜に適合させる。土提11は、道路12の敷設で、同時に幾つかの場所で、補充または改造が必要となる。安全面から、線路および土提11の上の走行はできない。
従来技術とは対照的に、アクセスできない領域でも更新される記録された点集団をベースに、これらの制約に応じるコントロールコマンドを導出できる。従って、例えば、線路の道床10を測定する場合、先ずパターン認識の手段で、線路に関係する全ての表面の点を除外する。道床10を近似する対応平面が、点集団の残りのサブセットに横たわる。
本発明によると、点集団からのサブセットの分離の各種手法は、互いの組み合わせが可能で、特に個々の工程の繰り返しと組合せる。従って図11において、線路を、金属によるスペクトル反射の性質をベースに分離することも可能である。または所定の高さの帯域外にある全ての表面点を使用しないで道床10を導出する。同様に、土提11を、そこに存在する繁茂から分離することができる。特に分離の手法は、異なる分離力または閾値による複数の通過で適用でき、従って、階段的な選択および分離が行なわれる。
図12は、本発明に使用される点集団1cの記録または更新の種々のシステムを示している。コントロールコマンドの導出に、整備する表面を、コントロールコマンドが要求または望まれる水平位置Pの格子で覆う。実際の位置の情報の担体となる点集団1cを、これらの水平位置Pに重ね合わせる。この点集団1cが、航空機13または地上走査装置14で記録または更新される。実際の状態を表示する点集団が存在する場合、特に、変更が整備工程でされている場合、建設機械3の整備装置で、更新は達成できる。好都合な解決は、建設機械3の後部にライン走査装置15を搭載することで、垂直または斜め方向の走査が可能となる。結果として、建設機械3が、建設機械自身で変更した領域を記録し、その領域を点集団1cに合致させて更新を行なう。しかし、原理的には、最初の点集団1cも、この方法で搭載した建設機械3で記録することも可能である。この場合、建設機械を、全体の関連する領域を走行させおよび/またはライン走査装置15を適切に動かす。
図示するモデル、点集団、表面および使用される装置は、単に概略的に示している。特に、記録、記憶、分析または画像処理またはパターン認識のサイズの関係または詳細は明らかに関係しない。例示した表面の点または従来技術のモデルの点も、より複雑な構造または点集団に多数の表面の点を示す。
従来技術による実際の状態を画像化するモデルの模式図である。 従来技術によるコントロールコマンド導出の模式図である。 従来技術による表面整備の方法の模式図である。 実際および所望の状態の異なる表示の模式図(図4a〜図4d)である。 本発明の方法による、複数の指定表面の点から情報を導出する模式図である。 本発明の方法による、表面の点に変数を指定する模式図である。 本発明の方法による、コントロールコマンドの導出の模式図である。 本発明の方法による、複数の指定された表面の点の高さのバラツキから異なる面を導出する模式図である。 空上手段で記録された点集団の例の模式図である。 地上手段で記録された点集団の第1の例の模式図である。 地上ベースの手段で記録された点集団の第2の例で、構造の識別を示す。 本発明に使用される点集団を記録する各種装置の模式図を示す。

Claims (11)

  1. 表面変更機械(3)をコントロールする方法が、
    整備する表面の所望の状態に関する情報を用意する、
    距離測定の走査装置で、不連続な表面の点(5)の空間分布として記録された点集団(1c)および表面の実際の状態に関する情報を用意する、
    所望の状態と点集団(1c)の比較で、機械(3)に対するコントロール命令を導出する、
    導出したコントロール命令で機械(3)をコントロールする、ここで空間位置(P)に対して、所望の位置と点集団(1c)の比較に、点集団(1c)の少なくとも2つの表面の点(5)を使用し、特に、表面の点を互いにリンクさせてコントロール命令を導出する、
    工程から成る、ことを特徴とする方法。
  2. 所望の状態の各空間位置(P)に対する所望の状態と点集団(1c)の比較に、実際の状態の少なくとも2つの空間位置(P)の表面の点(5)を使用して、コントロール命令を導出する、ことを特徴とする請求項1記載の方法。
  3. 実際の状態の可能な実際の表面を表す、または近似する少なくとも1つの表面、特に1つの平面が、少なくとも2つの表面の点(5)で座標化される、ことを特徴とする請求項1または2記載の方法。
  4. 指定された表面が、最小自乗法、ファジー理論法、画像処理方法、パターン認識方法、発見的方法の少なくとも1つの方法で導出される、ことを特徴とする請求項3記載の方法。
  5. 実際の状態の各空間位置(P)に対して、少なくとも2つの指定した表面の点(5)の空間の差異、特に高さの差異を使用してコントロール命令を導出する、ことを特徴とする請求項1〜4の何れか1項記載の方法。
  6. 点集団(1c)の用意が、前記方法を実施中に、整備された表面部分の走査、好ましくはLIDAR走査による点集団(1c)の更新を含む、ことを特徴とする請求項1〜5の何れか1項記載の方法。
  7. 点集団(1c)の用意で、整備された表面の部分を点集団(1c)に整合させるのを、画像処理方法および/またはパターン認識方法および/または走査の固定点の絶対基準化で行なう、ことを特徴とする請求項6記載の方法。
  8. 点集団(1c)が、表面の点(5)の識別できるサブセットから成り、特に特性量、例えば時間マークまたはスペクトル範囲が、それぞれのサブセットで関連付けされている、ことを特徴とする請求項1〜7の何れか1項記載の方法。
  9. 空間位置(P)で座標化される表面の点(5)の数が可変で、特に時間または位置の関数である、ことを特徴とする請求項1〜8の何れか1項記載の方法。
  10. 空間位置(P)で座標化される表面の点(5)が、特に重み関数の使用で集合される、ことを特徴とする請求項1〜9の何れか1項記載の方法。
  11. 記録媒体への記録またはデータ信号の形式で、請求項1〜10の何れか1項記載の方法を実施するコンピュータプログラム。
JP2007513784A 2004-05-24 2005-05-24 表面変更機械のコントロール方法 Active JP4971146B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP04012226.9 2004-05-24
EP04012226A EP1600564A1 (de) 2004-05-24 2004-05-24 Verfahren zur Steuerung einer oberflächenverändernden Maschine
PCT/EP2005/005595 WO2005116348A1 (de) 2004-05-24 2005-05-24 Verfahren zur steuerung einer oberflächenverändernden maschine

Publications (3)

Publication Number Publication Date
JP2008500471A true JP2008500471A (ja) 2008-01-10
JP2008500471A5 JP2008500471A5 (ja) 2011-11-04
JP4971146B2 JP4971146B2 (ja) 2012-07-11

Family

ID=34925104

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007513784A Active JP4971146B2 (ja) 2004-05-24 2005-05-24 表面変更機械のコントロール方法

Country Status (7)

Country Link
US (1) US7899598B2 (ja)
EP (2) EP1600564A1 (ja)
JP (1) JP4971146B2 (ja)
CN (1) CN1957145B (ja)
AU (1) AU2005248053B2 (ja)
CA (1) CA2567752C (ja)
WO (1) WO2005116348A1 (ja)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7509198B2 (en) * 2006-06-23 2009-03-24 Caterpillar Inc. System for automated excavation entry point selection
CA2682256C (en) 2007-03-21 2017-01-03 Commonwealth Scientific And Industrial Research Organisation Method for planning and executing obstacle-free paths for rotating excavation machinery
US8090507B2 (en) * 2008-01-23 2012-01-03 Gradient Inc. Pitch plow and method of controlling an elevation of a cutting edge of a pitch plow
US9670641B2 (en) * 2009-09-04 2017-06-06 Philip Paull Valve systems and method for enhanced grading control
US20110148856A1 (en) * 2009-12-18 2011-06-23 Caterpillar Inc. Parameter Visualization System
US8760447B2 (en) * 2010-02-26 2014-06-24 Ge Inspection Technologies, Lp Method of determining the profile of a surface of an object
US20120150573A1 (en) * 2010-12-13 2012-06-14 Omar Soubra Real-time site monitoring design
US10586341B2 (en) 2011-03-04 2020-03-10 General Electric Company Method and device for measuring features on or near an object
US9875574B2 (en) 2013-12-17 2018-01-23 General Electric Company Method and device for automatically identifying the deepest point on the surface of an anomaly
US10019812B2 (en) 2011-03-04 2018-07-10 General Electric Company Graphic overlay for measuring dimensions of features using a video inspection device
US9984474B2 (en) 2011-03-04 2018-05-29 General Electric Company Method and device for measuring features on or near an object
US10157495B2 (en) 2011-03-04 2018-12-18 General Electric Company Method and device for displaying a two-dimensional image of a viewed object simultaneously with an image depicting the three-dimensional geometry of the viewed object
CN102682136B (zh) * 2011-03-10 2015-11-25 鸿富锦精密工业(深圳)有限公司 产品段差及间隙分析系统及方法
EP2562309B1 (de) * 2011-08-22 2014-04-02 Joseph Vögele AG Straßenfertiger mit Messvorrichtung
US20130255977A1 (en) * 2012-03-27 2013-10-03 Caterpillar, Inc. Control for Motor Grader Curb Operations
CN102937397B (zh) * 2012-11-27 2014-05-21 武汉大学 一种基于近景摄影测量技术的台阶爆破动态设计方法
US9412189B2 (en) 2013-05-13 2016-08-09 General Electric Company Method and system for detecting known measurable object features
US9074868B2 (en) * 2013-05-13 2015-07-07 General Electric Company Automated borescope measurement tip accuracy test
US9818039B2 (en) 2013-12-17 2017-11-14 General Electric Company Method and device for automatically identifying a point of interest in a depth measurement on a viewed object
US9842430B2 (en) 2013-12-17 2017-12-12 General Electric Company Method and device for automatically identifying a point of interest on a viewed object
US9600928B2 (en) 2013-12-17 2017-03-21 General Electric Company Method and device for automatically identifying a point of interest on the surface of an anomaly
WO2015106799A1 (en) * 2014-01-14 2015-07-23 Sandvik Mining And Construction Oy Mine vehicle, mine control system and mapping method
US9404239B2 (en) * 2014-06-09 2016-08-02 Caterpillar Inc. Sub-bin refinement for autonomous machines
US20160029547A1 (en) * 2014-07-30 2016-02-04 Deere & Company Sensing the soil profile behind a soil-engaging implement
JP6272269B2 (ja) * 2015-04-28 2018-01-31 三菱電機株式会社 横断スキャンデータ補正装置および横断スキャンデータ補正プログラム
US10066346B2 (en) * 2015-08-12 2018-09-04 Topcon Positioning Systems, Inc. Point cloud based surface construction
JP6616149B2 (ja) * 2015-10-05 2019-12-04 株式会社小松製作所 施工方法、作業機械の制御システム及び作業機械
US9903078B2 (en) 2016-02-08 2018-02-27 The Florida International University Board Of Trustees Three dimensional paving
WO2018176290A1 (en) 2017-03-29 2018-10-04 SZ DJI Technology Co., Ltd. Light detection and ranging (lidar) signal processing circuitry
EP3602122A4 (en) 2017-03-29 2020-03-18 SZ DJI Technology Co., Ltd. LIDAR SENSOR SYSTEM WITH A SMALL SHAPE FACTOR
WO2018176291A1 (en) 2017-03-29 2018-10-04 SZ DJI Technology Co., Ltd. Hollow motor apparatuses and associated systems and methods
CN113702991A (zh) 2017-04-28 2021-11-26 深圳市大疆创新科技有限公司 光检测和测距装置及其校准系统
WO2018195999A1 (en) 2017-04-28 2018-11-01 SZ DJI Technology Co., Ltd. Calibration of laser and vision sensors
EP3616159A4 (en) 2017-04-28 2020-05-13 SZ DJI Technology Co., Ltd. CALIBRATION OF LASER SENSORS
CN110574078B (zh) * 2017-07-14 2023-03-28 株式会社小松制作所 显示控制装置、显示控制方法、记录介质以及显示系统
EP3455645A4 (en) 2017-07-20 2019-04-24 SZ DJI Technology Co., Ltd. SYSTEMS AND METHOD FOR OPTICAL SPACING MEASUREMENT
EP3631508A4 (en) * 2017-07-31 2020-06-24 SZ DJI Technology Co., Ltd. MOTION-BASED PRECISION CORRECTION IN POINT CLOUDS
CN111033312A (zh) 2017-08-31 2020-04-17 深圳市大疆创新科技有限公司 光学距离测量设备的延迟时间校准及相关联的系统和方法
US11761173B2 (en) * 2018-06-26 2023-09-19 Caterpillar Inc. Systems and methods for building a pad
US11002075B1 (en) 2018-07-31 2021-05-11 J.H. Fletcher & Co. Mine drilling system and related method
CN109360271B (zh) * 2018-10-16 2022-03-22 长江水利委员会长江科学院 一种具有可重复性的基于河段尺度的平滩水位确定方法
US11591757B2 (en) * 2019-04-17 2023-02-28 Caterpillar Paving Products Inc. System and method for machine control
DE102019209429A1 (de) * 2019-06-28 2020-12-31 Zf Friedrichshafen Ag Vorrichtung zum Anpassen einer Fahrstrategie eines Fahrzeugs
DE102019135225B4 (de) 2019-12-19 2023-07-20 Wirtgen Gmbh Verfahren zum Abfräsen von Verkehrsflächen mit einer Fräswalze, sowie Fräsmaschine zur Durchführung des Verfahrens zum Abfräsen von Verkehrsflächen
US11530526B2 (en) * 2020-03-27 2022-12-20 Cnh Industrial America Llc System and method for performing an earthmoving operation
EP4170280A4 (en) * 2020-06-18 2024-03-13 Turboscan Llc METHOD AND DEVICE FOR MONITORING THE SHAPE OF DIFFICULT TO WASH-OUT COMPONENTS

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02190712A (ja) * 1989-01-19 1990-07-26 K & K Syst:Kk 地形測量自動処理方式
JPH1038537A (ja) * 1996-07-19 1998-02-13 Taisei Corp 三次元形状認識方法及びその装置
JPH1047951A (ja) * 1996-08-05 1998-02-20 Taisei Corp 三次元形状自動認識方法及びその装置
JPH10170260A (ja) * 1996-12-05 1998-06-26 Caterpillar Inc 三角形不規則ネットワークで表された作業現場の地点の高さを求めるための方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR1605054A (ja) * 1963-02-27 1973-01-12
US5471391A (en) * 1993-12-08 1995-11-28 Caterpillar Inc. Method and apparatus for operating compacting machinery relative to a work site
ZA948824B (en) * 1993-12-08 1995-07-11 Caterpillar Inc Method and apparatus for operating geography altering machinery relative to a work site
ZA952853B (en) * 1994-04-18 1995-12-21 Caterpillar Inc Method and apparatus for real time monitoring and co-ordination of multiple geography altering machines on a work site
US5404661A (en) * 1994-05-10 1995-04-11 Caterpillar Inc. Method and apparatus for determining the location of a work implement
US5988862A (en) * 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
US6047227A (en) * 1996-11-19 2000-04-04 Caterpillar Inc. Method and apparatus for operating geography altering machinery relative to a work site
US5987383C1 (en) * 1997-04-28 2006-06-13 Trimble Navigation Ltd Form line following guidance system
US6016118A (en) * 1998-03-05 2000-01-18 Trimble Navigation Limited Real time integration of a geoid model into surveying activities
US6191732B1 (en) * 1999-05-25 2001-02-20 Carlson Software Real-time surveying/earth moving system
US6619406B1 (en) * 1999-07-14 2003-09-16 Cyra Technologies, Inc. Advanced applications for 3-D autoscanning LIDAR system
CA2400975C (en) * 2000-03-16 2008-11-04 The Johns Hopkins University Light detection and ranging (lidar) mapping system
EP1272968A4 (en) * 2000-04-06 2005-01-19 Solid Terrain Modeling HIGH-QUALITY THREE-DIMENSIONAL TOPOGRAPHIC MODELING DEVICE
EP1279136A4 (en) * 2000-04-06 2005-02-09 Solid Terrain Modeling HIGH-RESOLUTION THREE-DIMENSIONAL PICTURE DEVICE FOR TOPOGRAPHIC AND 3D MODELS
US6608913B1 (en) * 2000-07-17 2003-08-19 Inco Limited Self-contained mapping and positioning system utilizing point cloud data
JP4727068B2 (ja) * 2001-05-29 2011-07-20 株式会社トプコン 施工監視システム、施工管理方法
US7023432B2 (en) * 2001-09-24 2006-04-04 Geomagic, Inc. Methods, apparatus and computer program products that reconstruct surfaces from data point sets
WO2003032129A2 (en) * 2001-10-11 2003-04-17 Laser Projection Technologies Inc. A Delaware Corporation Method and system for visualizing surface errors
US6725142B2 (en) * 2002-07-09 2004-04-20 Caterpillar Inc Control system for a work machine digging assembly
US6943728B2 (en) * 2003-07-02 2005-09-13 Thales North America, Inc. Enhanced rapid real time kinematics determination method and apparatus
US7065449B2 (en) * 2004-03-05 2006-06-20 Bell Geospace, Inc. Method and system for evaluating geophysical survey data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02190712A (ja) * 1989-01-19 1990-07-26 K & K Syst:Kk 地形測量自動処理方式
JPH1038537A (ja) * 1996-07-19 1998-02-13 Taisei Corp 三次元形状認識方法及びその装置
JPH1047951A (ja) * 1996-08-05 1998-02-20 Taisei Corp 三次元形状自動認識方法及びその装置
JPH10170260A (ja) * 1996-12-05 1998-06-26 Caterpillar Inc 三角形不規則ネットワークで表された作業現場の地点の高さを求めるための方法

Also Published As

Publication number Publication date
CA2567752A1 (en) 2005-12-08
AU2005248053B2 (en) 2009-09-24
EP1753921B1 (de) 2013-07-10
AU2005248053A1 (en) 2005-12-08
EP1753921A1 (de) 2007-02-21
CN1957145A (zh) 2007-05-02
US20070214687A1 (en) 2007-09-20
US7899598B2 (en) 2011-03-01
JP4971146B2 (ja) 2012-07-11
CA2567752C (en) 2012-10-16
EP1600564A1 (de) 2005-11-30
CN1957145B (zh) 2010-07-21
WO2005116348A1 (de) 2005-12-08

Similar Documents

Publication Publication Date Title
JP2008500471A (ja) 表面変更機械のコントロール方法
JP2008500471A5 (ja)
Petzold et al. Laser scanning—surveying and mapping agencies are using a new technique for the derivation of digital terrain models
Zêzere et al. Integration of spatial and temporal data for the definition of different landslide hazard scenarios in the area north of Lisbon (Portugal)
US8073791B2 (en) Vertical curve system for surface grading
AU2005218195A1 (en) Method and apparatus of managing wireless communication in a worksite
JPH08506870A (ja) 作業場所に対して地形変更マシンを操作する方法と装置
CN111428306A (zh) 一种道路精细化设计方法
CA2998111C (en) Open terrain navigation systems and methods
CN102635059B (zh) 一种桥梁勘察方法
MX2014010380A (es) Estudio y zanjeo automatizado de vias.
CN108012608A (zh) 一种基于gnss的土地平整方法
CN106202648A (zh) 隧道洞口位置自动化比选的bim设计方法
CN113256588B (zh) 露天矿无人驾驶中的排土场及排土边缘线实时更新方法
KR100949788B1 (ko) 항공레이저 측량 자료의 품질검사 방법
KR101770774B1 (ko) 굴삭기 버킷위치와 현재 굴삭면 간 연직거리 지형도 시스템 및 연직거리 계산 방법
KR20090067790A (ko) 레이저와 gps-ins통합시스템을 이용한 도로면 정보추출방법
KR100715460B1 (ko) 레이저 스캐닝 데이터를 이용한 정밀 수치표고모델 제작장치 및 그 제작 방법
JP7046469B1 (ja) ケーソンの状態予測システム及びプログラム
JP7393575B1 (ja) 自動計算装置及び自動計算プログラム
Villalobos et al. Earthwork Surface Creation and Volume Computation Using UAV 3D Mapping
Carneiro et al. Incorporation of morphological properties of buildings’ descriptors computed from GIS and LIDAR data on an urban multi-agent vector based geo-simulator
Battulwar Flight Path Planning and Optimization for High-Resolution Imaging in Open Pit Mines by UAVs
Koch Semantically correct integration of a digital terrain model and a 2D topographic vector data set
JP2022075195A (ja) 地物高付与装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080318

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20091015

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20091021

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091021

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20101228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110316

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110615

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110622

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110714

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110722

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110816

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110823

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20110915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110916

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120307

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120405

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150413

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4971146

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250