JP2009527751A - 旋回可能なセンサ装置を用いた物体検出方法 - Google Patents

旋回可能なセンサ装置を用いた物体検出方法 Download PDF

Info

Publication number
JP2009527751A
JP2009527751A JP2008555737A JP2008555737A JP2009527751A JP 2009527751 A JP2009527751 A JP 2009527751A JP 2008555737 A JP2008555737 A JP 2008555737A JP 2008555737 A JP2008555737 A JP 2008555737A JP 2009527751 A JP2009527751 A JP 2009527751A
Authority
JP
Japan
Prior art keywords
measurement point
measurement
distance
classified
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008555737A
Other languages
English (en)
Other versions
JP4971369B2 (ja
Inventor
ポーク ゼバスティアン
ゾイカ マルティン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of JP2009527751A publication Critical patent/JP2009527751A/ja
Application granted granted Critical
Publication of JP4971369B2 publication Critical patent/JP4971369B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本発明はスキャンセンサ(2)を内蔵した旋回可能なセンサ装置(1)を用いて物体を検出する方法に関するものであり、a)前記スキャンセンサ(2)からスキャン平面内のスキャン範囲に物体検出のための検出ビーム(LB)を放射し、その際、スキャン平面の位置を前記センサ装置(1)の旋回により旋回範囲内で変更することで複数の検出平面が生じさせ、b)検出ビーム(LB)により前記センサ装置(1)の周囲の物体の検出点を前記検出平面内で検出し、c)各検出平面の検出点から直線(L1,L2,L3)を抽出し、d)前記直線(L1,L2,L3)と1つまたは複数の予め決められた測定平面(M)との交点を測定点(P)として求め、e)分類すべき測定点(P)に関して、既に有るブロック(B1,...,B5)に含まれており、かつ予め決められた距離基準を満たしている測定点(P)のうち、分類すべき測定点(P)までの距離が最小である測定点(P)を選択し、分類すべき測定点(P)を選択された測定点(P)を含むブロック(B1,...,B5)内で選択された測定点(P)の近傍に入れることにより、各測定平面(M)の測定点(P)をブロック(B1,...,B5)に分類し、ただし、前記距離基準が満たされるのは、分類すべき測定点(P)から各測定点(P)までの距離が、各測定点(P)から各ブロック(B1,...,B5)の近傍測定点(P)までの距離に依存する距離測度よりも小さいときであり、f)ステップe)で形成したブロック(B1,...,B5)の測定点(P)からブロックごとに直線(L1,L2,L3)を抽出することにより、測定平面(M)内の物体の構造を調べることを特徴とする。

Description

本発明は、スキャンセンサを内蔵した旋回可能なセンサ装置を用いて物体を検出する方法および相応する装置に関する。
今日では、無人運転の輸送車両をナビゲートする場合、走行距離計とジャイロスコープによる測定がよく用いられる。これらの測定では、車両上の相応するセンサを用いて車両の位置が求められる。とりわけ、車両の走行距離が車輪に取り付けられたセンサを介して検出される。しかし、使用されるセンサは測定の不正確さに影響されるため、車両走行中に位置の誤差が生じる。この誤差のため、無人運転の輸送車両のナビゲーションは走行距離計とジャイロスコープだけでは不可能である。それゆえ、車両位置の推定を改善する方法の使用が必要である。
位置推定を改善するこの種の方法では、例えばレーザスキャナが使用される。これに関して、公知の方法では、車両の床領域におけるレーザスキャナの2次元スキャン平面において物体が検出される。この場合、スキャン平面は実質的に床に平行であるため、床領域における物体しかナビゲーションのために参照することができない。これは、産業分野で、特に倉庫で無人運転の輸送システムを使用する場合に不利である。この場合、物体が倉庫内で位置を変えることが多いので、とりわけ、物体がもはや存在しない、または新たな物体が現れたために、無人運転輸送車両がもはや方向決定をすることができなくなるという問題が存在する。
従来技術からは、いま述べた2次元ナビゲーションシステムの他に、レーザシステムを介して車両周囲の3次元測定を行う装置も公知である。この装置では、車両周囲の特徴がいわゆる3D散布図内に現れる。ナビゲーションのために、この散布図は予め求められた散布図と比較され、自車両の位置が決定される。この方法は非常にコスト高である。
それゆえ、本願発明の課題は、公知の方法よりも簡単で、かつ、床領域および車高方向における物体位置が頻繁に変化する環境でも使用することのできる物体検出方法を提供することである。
この課題は独立請求項により解決される。本発明のさらなる実施形態は従属請求項に定められている。
本発明による方法では、スキャンセンサが検出ビームを発し、スキャン平面内のスキャン領域内に存在する物体を検出する。その際、スキャン平面の位置がセンサ装置の旋回により旋回領域内で変化することで、多数の検出平面が生じる。検出ビームにより、検出平面内にセンサ装置の周囲の物体の検出点が検出される。そして、各検出平面の検出点から直線が抽出される。このために、特に従来技術から公知の直線抽出方法、例えばいわゆる分割統治法が使用される。分割統治法については、発明の詳細な説明において詳細に解説する。この方法の目的は周囲の物体の平坦面を検出することである。なお、この平坦面は検出平面内では直線として表される。次のステップでは、前もって決められた1つまたは複数の測定平面と直線との交点が測定点として求められる。
本発明による方法の目的は、直線抽出方法を用いて測定平面内で再び直線を抽出することができるように、これらの測定点を処理することである。これを達成するために、各測定平面内の測定点が下記のようにしてブロックに分類される。
− 分類すべき測定点に関して、既に有るブロックに含まれており、かつ予め決められた距離基準を満たしている測定点のうち、分類すべき測定点までの距離が最小である測定点を選択する。なお、前記距離基準が満たされるのは、分類すべき測定点から各測定点までの距離が、各測定点から各ブロックの近傍測定点までの距離に依存する距離測度よりも小さいときである。
− 分類すべき測定点を選択された測定点を含むブロック内で選択された測定点の近傍に入れる。
発明者が開発した距離基準は特にある測定点から近傍測定点までの距離を考慮するものであるが、この距離基準により、スキャンセンサの同一の観測領域に属する点を適切にブロックにまとめるための適切な基準が得られる。その後は、再びブロックごとに、形成されたブロックの測定点から直線を抽出することができる。これにより、従来技術から公知の直線抽出方法を測定平面内で使用することが可能になる。
本発明の方法によれば、本来の測定平面で測定をせずに、いわゆる「仮想測定平面」内で非常に簡単に物体を検出することができる。測定平面はむしろ全ての検出平面の交差により形成される。この場合、特に、センサ装置はセンサ装置よりも高い所にある物体も検出することができる。とりわけ、倉庫の天井領域にある物体を検出することができる。そのため、床領域での物体の位置が常に変化する倉庫でのナビゲーションが可能になる。というのも、このような床領域の物体はナビゲーションの際に参照されないからである。むしろ、普通はまったく位置を変えないか、またはめったに位置を変えない天井領域の物体のみが考慮される。
本発明の1つの有利な実施形態では、分類すべき測定点を選択された測定点よりも後ろにソートすると有利であることが明らかになっている。
本発明による方法において、分類すべき測定点に関して、既存ブロック内では本発明の基準による分類が可能でないとなった場合には、分類すべき測定点のために新たなブロックが形成される。同様に、方法の開始時にまだブロックが存在していない場合にも、分類すべき測定点と分類すべき測定点までの距離が最小である測定点とによってブロックが形成される。
本発明による方法の特に有利な1つの実施形態では、分類すべき測定点から各ブロックの近傍測定点の対の各測定点までの距離が前記対の測定点の間の距離にある係数を乗じた距離よりも小さい場合に、分類すべき測定点に関する予め決められた距離基準が満たされる。ただし、前記係数は1以上である。
特に有利な実施形態では、前記係数は2よりも小さい、有利には実質的に1.5である。係数をこの範囲に選ぶことにより、測定点をブロックに分類する際に非常に良い結果が得られることが示された。特に、後続の直線抽出法が非常に良く機能する。
別の実施形態では、さらに、絶対距離が大き過ぎない測定点のみが分類の際に考慮されることが保証される。それゆえ、本方法の1つの実施形態では、分類すべき測定点が選択された測定点を含むブロックに分類されるのは、選択された測定点から分類すべき測定点までの距離が所定の絶対測度よりも小さい場合だけである。
本発明の方法は、ブロックの測定点と分類すべき測定点とを通る近似された最適当てはめ直線と分類すべき測定点との間の距離が所定の値を下回った場合にのみ、分類すべき測定点を選択された測定点を含むブロックに分類するようにすると、特に良好に機能するものであることが明らかになっている。
本発明の方法において、1つの測定点のみからなるブロックも適切に考慮されるように、このブロックの測定点はつねに予め決められた距離基準を満たす測定点として扱われる。つまり、1つの測定点だけを含むブロックは新たな測定点を分類する際につねに考慮される。
特に有利な1つの実施形態では、測定点を分類するステップは、センサ装置の旋回と検出ビームによる検出の最中に並行して進行する。このようにして、仮想測定平面からの直線を抽出するリアルタイムの方法が得られる。
無人運転の車両にこの方法を使用する場合、ことによっては、旋回開始時に抽出される直線が旋回終了時に抽出される直線と同じ物体に該当するように車両が動く場合が生じうる。それゆえ、本発明による方法の特に有利な1つの実施形態では、センサ装置がある旋回領域から別の旋回領域へと旋回した後、形成されたブロックをより大きなブロックに統合することができるか否かが距離基準に基づいて検査される。
本発明による方法は有利には無人運転車両のナビゲーションに使用される。この場合、抽出された直線は、前もって検出してメモリに格納されていた物体の直線と比較され、比較が一致した場合には、この直線の位置データを用いて車両が位置特定される。車両の位置の推定および計算には、例えば従来技術から周知のカルマンフィルタが使用される。
有利には、本発明による方法では、検出平面は実質的に垂直方向に延びる平面であり、センサ系は実質的に垂直軸回りに旋回する。これにより非常に大きな検出領域が保証される。測定平面は有利にはセンサ系の上方に位置する水平面である。旋回領域は例えば実質的に90°の角度範囲を含み、スキャン領域は例えば少なくとも180°、特に実質的に190°の角度範囲内としてよい。検出領域内の物体を非常に良好に検出するために、スキャンセンサは旋回時に垂直旋回軸に対してある傾斜角で、有利には実質的に45°の傾斜角で上を向いている。さらに、特に正確な位置測定はレーザスキャナの形態のスキャンセンサにより得られる。
上に説明した方法の他に、本発明はさらに本発明による方法を実行することのできる物体検出装置にも関している。特に、この装置は本発明による方法に従って直線の抽出、交点の計算および測定点の分類を行う計算ユニットを含む。
この装置の特に有利な適用分野は無人車両での使用である。この場合、この装置は車両の無人ナビゲーションのために使用され、この無人ナビゲーションは、各測定平面内の抽出された直線を前もって検出されてメモリに格納されていた物体の直線と比較することで為される。ここで、車両は有利にはロボット、特に自走式フォークリフトまたは自走式清掃機械である。
以下では本発明の実施例を添付の図面に基づき詳細に説明する。
図1は、本発明による方法の実施形態で使用されるセンサ装置の側面図であり、
図2は、検出点の位置を求めるために本発明による方法で実行される変換を説明する概略図であり、
図3は、本発明による方法の1つのステップにおいて垂直検出平面内で抽出される直線の透視図であり、
図4は、本発明による方法で使用される検出点ないし測定点からの直線の抽出法の概略図であり、
図5は、本発明による方法によって解決される問題を説明する概略図であり、
図6および図7は、測定点をブロックに分類するために本発明の方法で使用される手法を説明する概略図である。
後で説明する本発明の実施形態では、ロボットナビゲーションのための方法、すなわち、限られた空間的領域内で機械の無人運転を行うための方法が使用される。この方法は、この場合、特に産業分野で使用されるロボット、例えば工場内を無人で走行するフォークリフトに使用される。工場内では非常に頻繁に物体が動き、変位するため、ロボットにとって未知の新しい物体がつねに検出されるので、ロボットが工場の下部領域の空間的特徴によって自分の位置を確かめるのに難儀するという問題がある。したがって、ロボットは非常に不正確にしか自らの位置を特定することができない。その結果、ロボットは与えられた走行計画に従って任務を果たすために自律的に倉庫内をナビゲートすることができない。
いま述べた問題を解決するために、本明細書に記載した実施形態では、本発明による方法に従い、センサ装置はふつうは変化しない倉庫の天井領域を検出するようにロボットに取り付けられる。図1によれば、天井を検出するために、レーザ源2aを備えたレーザスキャナ2を有するセンサ装置1が使用される。ここで、レーザ源は垂直のスキャン平面(すなわち、図1の紙面に、より正確には190°のスキャン範囲内にレーザビームを発生させるものである。レーザスキャナ2は台座3に固定されており、台座3はその上面に水平面に対して45°の角度で傾斜したプレート3aを有している。台座は旋回モータを用いて垂直軸V回りに90°の旋回範囲で旋回可能である。図1に示された構成によれば、レーザスキャナ2は上を向いており、スキャン範囲も広く190°あるため、倉庫の天井領域が検出される。ロボットとロボットに固定されたセンサ装置1はこの天井領域の中を動き回る。ロボットをナビゲートするには天井領域の既知の物体(特徴とも呼ばれる)を使用しなければならないので、水平測定平面内の物体を天井領域で検出することができなければならない。これは、以下でより詳細に説明するように、本発明による方法によって行われる。
ロボットのナビゲーションの原理は、図1に示されているレーザスキャナを用いた距離測定によりロボットが自分にとって既知の空間内の物体を求め、これを通して記憶されている地図中での自分の位置を確定することに基づいている。これを可能にするために、ロボットはワールド座標系Wとも呼ばれる固定された基準座標系内で自らの位置を求めなければならない。このワールド座標系は、ロボットがその中を動き回るところの大域的な参照系であり、ロボットはこの参照系内で自らの位置を特定する。さらに、ロボットの局所参照系であるいわゆるロボット座標系Rも存在している。ロボット座標系内でのロボットのモデル化は原点の設定に応じて行われる。レーザ距離測定値の評価もロボット座標系内で行われる。さらに、いわゆるレーザ座標系Lも存在している。この座標系は、レーザスキャナ2によるレーザ距離測定値を記述する参照系である。距離測定値を有意に処理することができるように、これらの測定値はまず極座標からレーザ座標系のデカルト座標に変換される。このために、第1の変換ステップでは、求めた距離とレーザビーム間の角度増分とからデカルト座標内の点が計算される。これらのデータを本発明による方法で物体検出のために行われる特徴抽出に役立てるためには、さらに別の変換ステップが必要である。これらの変換はレーザスキャナ2のロボットへの取付位置をモデル化するために使用されるものであり、モデル化の際にレーザスキャナの旋回モータへの取付位置、レーザスキャン時点での旋回モータの位置、および旋回モータのロボットへの取付位置を考慮する。レーザスキャナにより検出された物体をワールド座標系内で指定することができるためには、以下の変換ステップが必要である。
LTH:検出された障害物Hの極座標からデカルト座標への、すなわち、レーザ座標系内の点への変換。換算は測定された距離と個々のレーザビームの間の角度差とに基づいて行われる。この差は一定であり、本明細書に記載した実施形態で使用されるレーザスキャナでは0.36°である。
M2TL:この変換は旋回モータの旋回可能な座標系M2を基準としたレーザスキャナの取付位置を表す。レーザスキャナの取付位置は測定系の構造によって固定的に設定されている。
M1TM2:この変換はモータの基準座標系M1を基準とした旋回モータのモータ位置を表す。この変換は可変の角度しか含まない。この角度は旋回モータを制御する関数により定まる。
RTM1 :この変換はロボット座標系Rを基準とした旋回モータの取付位置M1を表す。
WTR:この変換はワールド座標系W内でのロボット位置を計算するために用いられる。この変換を求めることでロボットの位置を特定することができる。ワールド座標系の原点は本明細書に記載した実施形態ではロボットのスタート地点である。
WTH:この変換は距離測定の検出物体(障害物)をワールド座標系に直すために用いられる。
測定値をワールド座標系で表すには、以下の計算規則に従う。
WTH = WTRRTM1M1TM2M2TLLTH
図2には、個々の座標系W,R,M1,M2およびLの相互の位置と、上で述べた座標系間の変換が再び概略的に示されている。説明のため、座標系Lにおいてもワールド座標系Wにおいても、2つの物体H1およびH2のそれぞれに対して距離直線Dの束が描かれている。
本発明による方法では、物体の特性は直線の形態で把握される。ここで、1つの直線は実質的に1つの平らな面、すなわち、ロボットの周囲の壁を表す。直線抽出に使用されるレーザスキャナの検出点の個数を制限するために、直線抽出はそれぞれつねにセンサ系のプロセスにおいて旋回範囲の端から端までの間に検出される検出点の集合に対してのみ適用される。旋回範囲の端から端までの運動はここではモータ旋回とも呼ばれる。さらにモータ旋回中には走行するロボットの位置も変化するので、旋回中に検出されたデータは共通の参照系に変換されなければならない。ここでは、この共通の参照系の原点として、旋回モータの方向が変化した時点のロボット位置R0が選ばれる。これに続くスキャンiはまず、変化したロボット位置のロボット座標Riで行われる。それゆえ、ロボット位置Riでレーザスキャナにより検出された位置に対して、ロボット座標系Riにおける座標をロボット座標系R0に変換する変換R0TRiが適用される。ロボット座標をワールド座標に変換する上で述べた変換WTRを用いれば、ロボット座標系Riからロボット座標系R0への変換は、以下のように、ロボット座標系R0からワールド座標系Wへの変換とロボット座標系R0からワールド座標系Wへの変換の逆変換とによって表すことができる。
R0TRi = (WTR0)-1WTRi
このようにして、モータ旋回中に求められたすべての検出点について共通の参照系が定められるので、これらの検出点の参照系R0における3次元位置を求めることができる。
検出点の量をさらに減らすために、いわゆる直線抽出法を用いて、スキャンの際にスキャン平面内で求められた直線が抽出される。なお、直線抽出法については、以下でさらに詳しく説明する。ここで、直線は検出された平坦面を表している。本明細書に記載した本発明による方法の実施形態では、検出の際、スキャン平面は垂直方向に延びているため、つねに垂直なスキャン平面内を走る直線(以下では「垂直線」とも呼ばれる)が抽出される。
図3には、工場内で周囲の検出をする際にこのようにしてレーザスキャナの旋回によって求められた垂直線が具体的に示されている。例として、参照記号L1,L2およびL3の付された3つの直線が示されている。
図4には、スキャン平面または以下でより詳しく説明する測定平面Mの内部でどのようにして直線抽出法により検出点ないし測定点から直線を形成することができるのかが概略的に示されている。このために用いられる方法は従来技術から周知の方法であり、「分割統治法」の名前でも知られている。図4では、個々の線図1.)、2.)および3.)にこの方法のステップが図示されている。図4には、検知された多数の検出点ないし測定点Pが示されているが、この検出点ないし測定点PはコーナーEを通る壁W1と壁W1から距離dだけ離れた壁W2である。見易さのため、参照記号Pは測定点のうちの幾つかにしか付与されていない。
直線抽出の際、測定点はまず可変数の測定点を有するセグメントに分割される。2つの点の間の距離が最大値を超えると、測定点の集合の中で2つのセグメントが区別される。レーザビームによってスキャン平面内の点を検出した場合、測定点は例えばレーザビームの出射角に従った順序でソートされている。各セグメントについて、セグメントの開始点と終了点とをつなぐセグメント直線が定められる。このセグメント化はステップ1.)および2.)に示されている。初めは、セグメント直線SAにより表されたただ1つのセグメントAが存在している。つぎに、ソートされた個々の点の間の距離が検査される。図4の場合、セグメント点P1とP2の間の距離dは予め決められた最大値を超えている。続いて、セグメント直線SBとSCにより表される2つのセグメントBとCが形成される。
最後に、セグメント内での直線抽出が再帰法によって行われる。これは各セグメントに対して行われ、セグメントをさらに小さなセグメントに分割する。その際、まずセグメントのすべての測定点を通る最適当てはめ直線が計算される。最適当てはめ直線はセグメントの測定点にわたって平均された直線であり、例えば線形回帰により求められる。つぎに、最適当てはめ直線からセグメント内の個々の測定点までの距離が求められる。測定点から最適当てはめ直線までの距離が決められた最大距離を超えていれば、セグメントはこの点で分割される。こうして、新しい2つのセグメントができる。以降の処理では、このようにしてできたすべてのセグメントに対してこのプロセスが再帰的に繰り返される。方法は分解可能なセグメントがもはや存在しなくなったときに終了する。セグメントは、セグメント内のどの点も最適当てはめ直線までの最大距離を超えていない場合またはセグメントが点の最小個数を下回っている場合に、もはや分解不可能である。後者の場合、方法は失敗で終了する、すなわち、直線を抽出することができない。
このような再帰的処理の結果が図4の線図3.)に示されている。この図からは、セグメント直線SBを有するセグメントはすでに抽出された直線であることが見て取れる。というのも、計算された最適当てはめ直線までの距離が決められた最大値よりも小さいからである。これに対して、セグメントCに適用された再帰は2つの新しいセグメントDおよびEを生じさせている。なお、セグメントDおよびEのセグメント直線はSDおよびSEで表されている。図4にはさらに最適当てはめ直線GEとGDも示されている。アルゴリズムは相応する直線を抽出することによって壁W1およびW2の流れを正しく求めていることが分かる。
いま説明したセグメント化方法は、どのようにしたら複数の測定点から直線を抽出することができるかということの1つの例に過ぎない。場合によっては、従来技術から公知の別の方法を用いて直線抽出を行ってもよい。
本発明による方法では、まず従来技術の手法により、それも例えば図4に示されている方法により垂直線が抽出される。つぎに天井領域の物体を検出するために、これらの直線は天井領域でロボットよりも上方の高度面と交差する。その結果、多数の交点が各高度面に生じる。これらの交点は測定点と呼ばれるが、本来の意味での測定された点ではなく、むしろ仮想点である。ここで問題が生じる。それは、測定点がソートされていないため、上で説明した直線抽出のための方法をそのままでは水平な高度面に適用することができないという問題である。特に問題なのは、垂直線と高度面の交差により、相応する高度面での実際のスキャンでは検出されないような上下に重なり合う測定点も検出されてしまうことである。この問題については、図5において、鋸屋根状に形成された倉庫の天井を基にして説明する。図5の線図2には、このような鋸屋根状の天井4の横断面が示されている。さらに、以前に抽出された直線と交差する高度面Mの位置も示されている。これにより多数の測定点Pが求められる。図4ではさらに、これら測定点の各々についてレーザビームLBが記入されている。レーザビームLBは垂直方向にスキャンをしたときにこれらの点を検出する役目をもっている。
図5の線図1には、線図2と同じシナリオを上から見た図が示されている。ここでは、レーザビームLBはロボット上のレーザスキャナの取付位置0から発している。個々の測定点Pの順序はソートされておらず、異なる観察角度に属しているので、従来の直線抽出法をそのまま適用することはできない。むしろ、まずどの点が同じ観察角度に属するかを確かめなければならない。この問題は、本発明による方法では、所定の基準に従って点を個々のブロックに分類することで解決される。なお、ソート基準はブロック内のすべての点が実質的に同じ観察方向に従うように選ばれている。
図5の線図1には、本発明による方法に従って形成された相応するブロックB1,B2,B3,B4およびB5が示されている。各ブロックは鋸屋根の短い辺に対応しているので、個々のブロック内の個々の測定点は適切にソートすれば再び従来技術による直線抽出法で抽出することができる。
ブロックB1〜B5へのこのような分割を達成するために、発明者は適切な方法を開発した。この方法によれば、スキャン時に測定平面M内の新たに加わる測定点がブロックに分類されるので、測定点はブロック内で番号により順序付けられる。この方法については、図6および図7を基に説明する。方法の開始時にはそもそもまだブロックは存在しない。第1のブロックは、例えば、互いの間の距離が所定の値を下回る2つの測定点により形成される。測定点が付け加わる場合、付加される測定点から第1のブロックの2つの点までの距離が第1のブロックのこれらの点の間の距離の1.5倍よりも小さいのか否かが検査される。1.5倍よりも小さければ、付加された測定点は、分類すべき測定点までの距離が最小である測定点の後ろにソートされる。ただし、これはこの最小距離が予め決められた最大値よりも小さい場合に限る。上記の距離基準が満たされない、または最大値が超過された場合には、測定点のために新たなブロックが形成される。つぎに、新たに加わる測定点に関して、この新たな測定点がどの測定点に対して最小の距離を有するかが検査される。この最小距離が新たな測定点と複数の測定点からなる既存ブロック内のある1つの測定点との間に成立するならば、新たな測定点はこの複数の測定点からなる既存ブロックに分類される。ただし、これは、最小距離が最大値よりも小さく、かつブロック内の測定点とその近傍点の間の距離の1.5倍よりも小さい場合に限る。そうでなければ、測定点は新たな測定点のみを含むブロックに分類される。これは、これらの測定点の間の距離が最小であるか、または、複数の測定点からなるブロックの測定点に関して近傍点までの距離の1.5倍という基準が満たされない場合である。この場合さらに、分類すべき測定点と単独の測定点からなるブロックの測定点との間の距離が最大値を下回っていなければならない。これも満たされない場合には、再び個々の測定点によって新たなブロックが形成される。
図6には、分類された測定点Pi-2,Pi-1,PiおよびPi+1からなる既存ブロックの1つのセクションに基づいた測定点の分類が示されている。分類されるべき新しい測定点Pjはこのブロックに分類されうるものであるか否か検査される。このために、測定点Pi-2とPi-1の間の距離di-2,i-1、測定点Pi-1とPiの間の距離di-1,iおよび測定点PiとPi+1の間の距離di,i+1が考察される。それぞれの距離について、点Pjからそれぞれの距離の両方の端点までの距離がそれぞれの距離自体の1.5倍よりも小さいか否かが検査される。この基準は距離di-2,i-1とdi-1,iに関しては満たされていない。
距離dijは、距離di,i+1については、di,i+1の1.5倍よりも小さいという基準を満たしている。距離di+1,jはこの基準を満たしていない。というのも、di,i+1の1.5倍よりも長いからである。本明細書に記載した本発明による方法の実施形態によれば、点PjはPjまでの距離が最短である点の後ろにソートされる、つまり、点PjはPiとPi+1の間にソートされる。
図7には、図6と同様のシナリオが示されており、図7でも、測定点Pi-2,Pi-1,PiおよびPi+1からなるブロックの1つのセクションが考察される。点の間の距離については、図6の場合と同じ記号が用いられている。図6と同様に、距離di-2,i-1とdi-1,iに関しては、点Pjから各距離の両端点までの距離は各距離そのものの1.5倍よりも小さくなければならないという距離基準が満たされていない。距離di,i+1に関しては、距離基準は満たされているものの、それは距離dijに対してではなく、距離di+1,jに対してである。それゆえ、図6とは異なり、点PjはPiとPi+1の間にソートされるのではなく、Pi+1の後ろに加わる。
上に述べた距離基準の利点は、個別的に生じる不正確さのせいでブロックがあまりに早急に中断されてしまうということがないという点にある。ただし、許容差が大きすぎるために、点が誤ってブロックに分類されてしまうことも時にはある。これらの点が或るブロックに関して計算された最適当てはめ直線から遠く離れていれば、それ以降ブロックに適用される直線抽出器はこの点で直線を打ち切る。この場合、信頼できる1つの抽出直線の代わりに、より大きな確率的不確定性を伴った2つの直線が生じる。それゆえ、本発明の特に有利な実施形態では、点をブロックに割り当てるに際して別の限定的な基準が用いられる。この基準によれば、まず新たな点が加わるたびに最適当てはめ直線が繰り返し新たに計算される。この最適当てはめ直線から遠く離れた点はブロックに取り入れられない。ブロックに取り入れられないこのような点に対しては、新たなブロックが形成される。
上記方法の別の特に有利な実施形態では、さらに、モータ旋回の実行後、形成されたブロックを相互に結合することが試みられる。これは、モータ旋回の開始時に面が検出され、その後見失われ、モータ旋回の終了時に再度検出されるような場合に必要である。まれではあるが見られるケースでは、このようにして生じた2つのブロックのうちの一方のブロックの開始点と他方のブロックの終了点とが互いにつながることがある。
上に説明した方法に従ってブロックを形成した後、今度は従来技術による直線抽出法が個々のブロックに適用される。これが可能なのは、今や個々の点がソートされて並んでいるからである。ここで、例えば図4を基に説明した抽出法が用いられる。
上に述べた本発明による方法は大きな利点を有している。すなわち、この方法では、いわゆる「仮想測定平面」内で点を検出することができるため、本発明による方法を用いることで、センサ装置より上方の測定点、特に天井領域の測定点を求めることが可能になるのである。このため、本発明による方法は倉庫内でのロボットナビゲーションに非常に適している。というのも、倉庫内には非常に頻繁に位置を変える貨物が存在しているため、倉庫では低い高度でのナビゲーションは不可能であることが多いからである。
本発明による方法の実施形態で使用されるセンサ装置を示す。 検出点の位置を求めるために本発明による方法で実行される変換を示す。 本発明による方法の1つのステップにおいて垂直検出平面内で抽出される直線を示す。 本発明による方法で使用される検出点ないし測定点からの直線の抽出法を示す。 本発明による方法によって解決される問題を示す。 測定点をブロックに分類するために本発明の方法で使用される手法を示す 測定点をブロックに分類するために本発明の方法で使用される手法を示す。

Claims (25)

  1. スキャンセンサ(2)を内蔵した旋回可能なセンサ装置(1)を用いて物体を検出する方法において、
    a)前記スキャンセンサ(2)からスキャン平面内のスキャン範囲に物体検出のための検出ビーム(LB)を放射し、その際、スキャン平面の位置を前記センサ装置(1)の旋回により旋回範囲内で変更することで複数の検出平面が生じさせ、
    b)検出ビーム(LB)により前記センサ装置(1)の周囲の物体の検出点を前記検出平面内で検出し、
    c)各検出平面の検出点から直線(L1,L2,L3)を抽出し、
    d)前記直線(L1,L2,L3)と1つまたは複数の予め決められた測定平面(M)との交点を測定点(P)として求め、
    e)分類すべき測定点(P)に関して、既に有るブロック(B1,...,B5)に含まれており、かつ予め決められた距離基準を満たしている測定点(P)のうち、分類すべき測定点(P)までの距離が最小である測定点(P)を選択し、分類すべき測定点(P)を選択された測定点(P)を含むブロック(B1,...,B5)内で選択された測定点(P)の近傍に入れることにより、各測定平面(M)の測定点(P)をブロック(B1,...,B5)に分類し、ただし、前記距離基準が満たされるのは、分類すべき測定点(P)から各測定点(P)までの距離が、各測定点(P)から各ブロック(B1,...,B5)の近傍測定点(P)までの距離に依存する距離測度よりも小さいときであり、
    f)ステップe)で形成したブロック(B1,...,B5)の測定点(P)からブロックごとに直線(L1,L2,L3)を抽出することにより、測定平面(M)内の物体の構造を調べる、ことを特徴とする物体検出方法。
  2. ステップe)において、分類すべき測定点(P)を選択された測定点(P)の後ろにソートする、請求項1記載の方法。
  3. 請求項1のステップe)において選択されるべき測定点(P)を求めることができない場合、分類すべき測定点(P)のために新たなブロック(B1,...,B5)を形成する、請求項1または2記載の方法。
  4. ステップe)においてまだブロック(B1,...,B5)が存在していない場合、分類すべき測定点(P)と分類すべき測定点(P)までの距離が最小である測定点(P)とによってブロック(B1,...,B5)を形成する、請求項1から3のいずれか1項記載の方法。
  5. 分類すべき測定点(P)から各ブロック(B1,...,B5)の近傍測定点(P)の対の各測定点(P)までの距離が前記対の測定点(P)の間の距離にある係数を乗じた距離よりも小さい場合に、分類すべき測定点(P)に関する所定の距離基準が満たされる、ただし、前記係数は1以上である、請求項1から4のいずれか1項記載の方法。
  6. 前記係数が2よりも小さい、有利には実質的に1.5である、請求項5記載の方法。
  7. ステップe)において、選択された測定点(P)から分類すべき測定点(P)までの距離が所定の絶対測度よりも小さい場合にのみ、分類すべき測定点(P)を選択された測定点を含むブロック(B1,...,B5)に分類する、請求項1から6のいずれか1項記載の方法。
  8. ステップe)において、ブロック(B1,...,B5)の測定点(P)と分類すべき測定点(P)とを通る近似された最適当てはめ直線と分類すべき測定点(P)との間の距離が所定の値を下回った場合にのみ、分類すべき測定点を選択された測定点を含むブロック(B1,...,B5)に分類する、請求項1から7のいずれか1項記載の方法。
  9. 各ブロック(B1,...,B5)が1つの測定点(P)のみから成る場合、前記ブロック(B1,...,B5)の測定点(P)を前記所定の距離基準を満たす測定点(P)として評価する、請求項1から8のいずれか1項記載の方法。
  10. ステップe)およびf)をステップa)〜d)と並行して実行する、なお、ステップd)において新たな測定点(P)を求める際には、直接ステップe)を実行する、請求項1から9のいずれか1項記載の方法。
  11. 前記センサ装置が旋回範囲の一方の端から旋回範囲の他方の端まで旋回した後で、形成されたブロック(B1,...,B5)をより大きなブロック(B1,...,B5)に包摂しうるか否かを距離基準に基づいて検査する、請求項1から10のいずれか1項記載の方法。
  12. 請求項1のステップc)および/またはステップf)における直線(L1,L2,L3)の抽出を分割統治法を用いて実行する、請求項1から11のいずれか1項記載の方法。
  13. ステップf)で抽出された直線(L1,L2,L3)は予め検出してメモリに格納しておいた物体からの直線と比較され、一致した場合には、前記センサ装置(1)の配置された車両の位置が特定され、運転者不在でナビゲーションが行われる、請求項1から12のいずれか1項記載の方法。
  14. 前記車両の位置特定にカルマンフィルタを用いる、請求項13記載の方法。
  15. 前記検出平面は実質的に垂直方向に延びる平面であり、前記センサ系(1)は実質的に垂直軸(V)回りに旋回する、請求項1から14のいずれか1項記載の方法。
  16. 前記測定平面(M)は実質的に水平方向に延びる平面である、請求項1から15のいずれか1項記載の方法。
  17. 前記測定平面は前記センサ系(1)よりも上方に位置している、請求項16記載の方法。
  18. 前記旋回範囲は実質的に90°の角度範囲を含む、請求項1から17のいずれか1項記載の方法。
  19. 前記スキャン範囲は少なくとも180°の角度範囲、特に実質的に190°の角度範囲含む、請求項1から18のいずれか1項記載の方法。
  20. 前記スキャンセンサ(2)は旋回時に垂直旋回軸(V)に対して或る傾斜角で上を向いている、請求項1から19のいずれか1項記載の方法。
  21. 前記傾斜角は実質的に45°である、請求項20記載の方法。
  22. スキャンセンサとしてレーザスキャナを使用する、請求項1から21のいずれか1項記載の方法。
  23. 物体を検出する装置であって、スキャンセンサ(2)を内蔵した旋回可能なセンサ装置(1)と計算ユニットを有しており、前記スキャンセンサ(2)は動作時に物体検出のための検出ビーム(LB)をスキャン平面内のスキャン範囲に放射し、その際、スキャン平面の位置が前記センサ装置(1)の旋回により旋回範囲内で変化させられることで複数の検出平面が生じ、検出ビーム(LB)により前記センサ装置(1)の周囲の物体の検出点が前記検出平面内で検出され、前記計算ユニットは、下記のステップ、すなわち、
    i)各検出平面の検出点から直線(L1,L2,L3)を抽出し、前記直線(L1,L2,L3)と1つまたは複数の予め決められた測定平面(M)との交点を測定点(P)として求めるステップ、
    ii)分類すべき測定点(P)に関して、既に有るブロック(B1,...,B5)に含まれており、かつ予め決められた距離基準を満たしている測定点(P)のうち、分類すべき測定点(P)までの距離が最小である測定点(P)を選択し、分類すべき測定点(P)を選択された測定点(P)を含むブロック(B1,...,B5)内で選択された測定点(P)の近傍に入れることにより、各測定平面(M)の測定点(P)をブロック(B1,...,B5)に分類するステップ、ただし、前記距離基準が満たされるのは、分類すべき測定点(P)から各測定点(P)までの距離が、各測定点(P)から各ブロック(B1,...,B5)の近傍測定点(P)までの距離に依存する距離測度よりも小さいときであり、
    iii)形成されたブロック(B1,...,B5)の測定点(P)からブロックごとに直線(L1,L2,L3)を抽出するステップを実行するように構成されている、ことを特徴とする物体検出装置。
  24. 請求項23記載の装置を内蔵した無人運転車両であって、抽出された直線(L1,L2,L3)を予め検出してメモリに格納しておいた物体からの直線と比較することにより前記装置を運転者不在での車両ナビゲーションに使用することを特徴とする、無人運転車両。
  25. 前記車両がロボット、とりわけ、自走式フォークリフトまたは自走式清掃機械である、請求項24記載の車両。
JP2008555737A 2006-02-22 2007-02-01 旋回可能なセンサ装置を用いた物体検出方法 Expired - Fee Related JP4971369B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102006008275A DE102006008275A1 (de) 2006-02-22 2006-02-22 Verfahren zur Detektion von Objekten mit einer schwenkbaren Sensoreinrichtung
DE102006008275.3 2006-02-22
PCT/EP2007/050980 WO2007096240A1 (de) 2006-02-22 2007-02-01 Verfahren zur detektion von objekten mit einer schwenkbaren sensoreinrichtung

Publications (2)

Publication Number Publication Date
JP2009527751A true JP2009527751A (ja) 2009-07-30
JP4971369B2 JP4971369B2 (ja) 2012-07-11

Family

ID=37888035

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008555737A Expired - Fee Related JP4971369B2 (ja) 2006-02-22 2007-02-01 旋回可能なセンサ装置を用いた物体検出方法

Country Status (5)

Country Link
US (1) US7864302B2 (ja)
EP (1) EP1987371B1 (ja)
JP (1) JP4971369B2 (ja)
DE (2) DE102006008275A1 (ja)
WO (1) WO2007096240A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008058828B4 (de) 2008-04-25 2012-10-04 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Lokalisation eines mobilen Objekts
DE102008057139A1 (de) 2008-04-25 2009-11-12 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur rechnergestützten Auswahl von Landmarken aus einer räumlichen Umgebung zur Lokalisation eines mobilen Objekts und entsprechendes Computerprogrammprodukt
KR101495333B1 (ko) * 2008-07-02 2015-02-25 삼성전자 주식회사 장애물 검출 장치 및 방법
CN102782600B (zh) * 2009-11-27 2015-06-24 丰田自动车株式会社 自动移动体及其控制方法
US20110232719A1 (en) * 2010-02-17 2011-09-29 Freda Robert M Solar power system
DE102011054852A1 (de) * 2011-07-30 2013-01-31 Götting KG Verfahren zur Erfassung und Bewertung einer Ebene
DE102011053212B3 (de) * 2011-09-02 2012-10-04 Sick Ag Optoelektronischer Sensor und Verfahren zur Erfassung von Objekten in einem Überwachungsbereich
DE102013101561B4 (de) * 2013-02-15 2020-02-13 Götting KG Fahrerloses Transportfahrzeug mit einem Sensor
US9406138B1 (en) 2013-09-17 2016-08-02 Bentley Systems, Incorporated Semi-automatic polyline extraction from point cloud
US9412110B2 (en) 2013-11-12 2016-08-09 Globalfoundries Inc. Mobile image acquisition
CA2951220C (en) * 2014-06-30 2019-02-26 Bodidata, Inc. Handheld multi-sensor system for sizing irregular objects
DE102014218351A1 (de) * 2014-09-12 2016-03-17 Robert Bosch Gmbh Verfahren und System zur Positionsbestimmung
US10352689B2 (en) 2016-01-28 2019-07-16 Symbol Technologies, Llc Methods and systems for high precision locationing with depth values
DE102019101737A1 (de) * 2019-01-24 2020-07-30 Sick Ag Verfahren zur Überwachung eines Schutzbereichs
CN110471086B (zh) * 2019-09-06 2021-12-03 北京云迹科技有限公司 一种雷达测障系统及方法
CN116235074A (zh) * 2020-10-26 2023-06-06 Vega格里沙贝两合公司 用于在过程自动化中确定位置的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06293236A (ja) * 1992-12-22 1994-10-21 Mitsubishi Electric Corp 走行環境監視装置
JP2000056019A (ja) * 1998-08-07 2000-02-25 Honda Motor Co Ltd 物体検知装置
US6466946B1 (en) * 2000-06-07 2002-10-15 Hewlett-Packard Company Computer implemented scalable, incremental and parallel clustering based on divide and conquer
WO2005088244A1 (ja) * 2004-03-17 2005-09-22 Sony Corporation 平面検出装置、平面検出方法、及び平面検出装置を搭載したロボット装置
JP2007121258A (ja) * 2005-02-23 2007-05-17 Matsushita Electric Works Ltd 自律移動装置及び平面状障害物認識方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000003311A2 (de) * 1998-07-08 2000-01-20 Siemens Aktiengesellschaft Verfahren und anordnung zur ermittlung eines ähnlichkeitsmasses einer ersten struktur mit mindestens einer vorgegebenen zweiten struktur
FI112402B (fi) * 1999-10-28 2003-11-28 Diware Oy Menetelmä puustotunnusten määrittämiseksi sekä tietokoneohjelma menetelmän suorittamiseksi
DE10113219A1 (de) * 2001-03-19 2002-10-17 Siemens Ag Verfahren zur schnellen Segmentierung von Objektoberflächen aus Tiefendaten
US7046841B1 (en) * 2003-08-29 2006-05-16 Aerotec, Llc Method and system for direct classification from three dimensional digital imaging

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06293236A (ja) * 1992-12-22 1994-10-21 Mitsubishi Electric Corp 走行環境監視装置
JP2000056019A (ja) * 1998-08-07 2000-02-25 Honda Motor Co Ltd 物体検知装置
US6466946B1 (en) * 2000-06-07 2002-10-15 Hewlett-Packard Company Computer implemented scalable, incremental and parallel clustering based on divide and conquer
WO2005088244A1 (ja) * 2004-03-17 2005-09-22 Sony Corporation 平面検出装置、平面検出方法、及び平面検出装置を搭載したロボット装置
JP2007121258A (ja) * 2005-02-23 2007-05-17 Matsushita Electric Works Ltd 自律移動装置及び平面状障害物認識方法

Also Published As

Publication number Publication date
US20090310117A1 (en) 2009-12-17
DE502007003304D1 (de) 2010-05-12
JP4971369B2 (ja) 2012-07-11
US7864302B2 (en) 2011-01-04
DE102006008275A1 (de) 2007-08-23
WO2007096240A1 (de) 2007-08-30
EP1987371A1 (de) 2008-11-05
EP1987371B1 (de) 2010-03-31

Similar Documents

Publication Publication Date Title
JP4971369B2 (ja) 旋回可能なセンサ装置を用いた物体検出方法
CN108007452B (zh) 根据障碍物更新环境地图的方法、装置及机器人
US8467902B2 (en) Method and apparatus for estimating pose of mobile robot using particle filter
CN107766405A (zh) 自动车辆道路模型定义系统
US11493930B2 (en) Determining changes in marker setups for robot localization
CN112880694B (zh) 确定车辆的位置的方法
JP4944840B2 (ja) 誘導システム及び誘導方法
CN113661505A (zh) 用于校准与物料搬运车辆相关的传感器的姿态的系统和方法
JP4539388B2 (ja) 障害物検出装置
US11931900B2 (en) Method of predicting occupancy of unseen areas for path planning, associated device, and network training method
JP2022089828A (ja) 情報処理装置
Rosas-Cervantes et al. 3D localization of a mobile robot by using Monte Carlo algorithm and 2D features of 3D point cloud
Beinschob et al. Advances in 3d data acquisition, mapping and localization in modern large-scale warehouses
CN115436955A (zh) 室内外环境定位方法
JP5433289B2 (ja) 自動走行車両及び道路形状認識装置
CN113030997B (zh) 一种基于激光雷达的露天矿区可行驶区域检测方法
JP7114867B2 (ja) 自律走行システム、これを備えた車両及び自律走行方法
Kolu et al. A mapping method tolerant to calibration and localization errors based on tilting 2D laser scanner
CN115755888A (zh) 多传感器数据融合的agv障碍物检测系统及避障方法
WO2021246170A1 (ja) 情報処理装置、情報処理システム、および方法、並びにプログラム
Hwang et al. Robust 3D map building for a mobile robot moving on the floor
US20220229186A1 (en) Object shape detection apparatus and method
JP7257431B2 (ja) 移動体の制御方法、移動体及びプログラム
JP7396353B2 (ja) 地図作成システム、信号処理回路、移動体および地図作成方法
US20230110609A1 (en) Self-localization device

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20101228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110720

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120307

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120405

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150413

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees