JP2009110250A - 自律走行移動体の走行経路決定用地図作成装置及び走行経路決定用地図作成方法 - Google Patents

自律走行移動体の走行経路決定用地図作成装置及び走行経路決定用地図作成方法 Download PDF

Info

Publication number
JP2009110250A
JP2009110250A JP2007281633A JP2007281633A JP2009110250A JP 2009110250 A JP2009110250 A JP 2009110250A JP 2007281633 A JP2007281633 A JP 2007281633A JP 2007281633 A JP2007281633 A JP 2007281633A JP 2009110250 A JP2009110250 A JP 2009110250A
Authority
JP
Japan
Prior art keywords
laser range
range finder
data
coordinate system
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007281633A
Other languages
English (en)
Other versions
JP5105596B2 (ja
Inventor
Munehiko Maeda
宗彦 前田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IHI Corp
Original Assignee
IHI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IHI Corp filed Critical IHI Corp
Priority to JP2007281633A priority Critical patent/JP5105596B2/ja
Publication of JP2009110250A publication Critical patent/JP2009110250A/ja
Application granted granted Critical
Publication of JP5105596B2 publication Critical patent/JP5105596B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】高速の自律走行に適した走行経路決定用地図を安価で且つシンプルに作成できる自律走行移動体の走行経路決定用地図作成装置及び作成方法を提供する。
【解決手段】レーザレンジファインダ11,12、ステレオカメラ13を具備した外界計測部10と、自己位置計測部20と、データ解析部30と、各種データを基にベース地図を作成する地図作成モジュール42及び走行経路を決める走行経路決定モジュール43を有する地図作成部40を備え、地図作成モジュール42は、レーザレンジファインダ11,12の段差領域抽出データ及び未計測点のステレオカメラ13の画像による平面領域抽出データを反映させつつ、レーザレンジファインダ11,12の段差領域抽出データは、過去のものは保持し、ベース地図上の同一地点に新規の計測があった場合は逐次更し、ステレオカメラ13の画像処理データは常に最新のものに更新してベース地図を作成する。
【選択図】図1

Description

本発明は、自律して走行する移動体の走行経路を決めるのに用いる自律走行移動体の走行経路決定用地図作成装置及び走行経路決定用地図作成方法に関するものである。
従来、上記した自律走行移動体としては、例えば、車両の前部に配置された少なくとも三個の距離センサと、車両の後部に配置された少なくとも一個の距離センサと、走査角度を変更可能な距離センサと、車両の両サイドに配置された超音波センサと、車両の前後部に配置された少なくとも一個のカメラを備えた自律走行車両がある。
この自律走行車両では、車両の前後左右に配置された多数の距離センサや超音波センサやカメラで得た外界情報に基づいて、走行経路を決める地図を作成するようになっている(例えば、特許文献1参照)。
特開平11-212640号
ところが、従来にあっては、自律走行車両の走行経路決定用地図を作成するために、自律走行車両に搭載した距離センサや超音波センサやカメラなどの多数のセンサを用いなければならず、その分だけシステムが複雑になるのに加えて、コストも高くついてしまうという問題があり、この問題を解決することが従来の課題となっていた。
本発明は、上述した従来の課題に着目してなされたもので、シンプルで且つ低コストであるにもかかわらず、高速の自律走行に適した走行経路決定用地図を作成することが可能である自律走行移動体の走行経路決定用地図作成装置及び走行経路決定用地図作成方法を提供することを目的としている。
本発明の請求項1に係る発明は、自律して高速で走行する移動体の走行経路を決めるのに用いる地図(移動体近傍約100m四方の地図)の作成装置であって、最高速度(概ね時速50km/h)で走行する前記移動体の少なくとも急制動停止可能位置よりも前方の路面上で且つ当該移動体の進行方向に対して直交する方向に光軸を走査する水平スキャンレーザレンジファインダと、前記移動体の前方に光軸を走査しつつその走査方向と直交する方向に揺動させる立体スキャンレーザレンジファインダと、前記移動体近傍から遠方にかけての平面の領域を抽出するステレオカメラと、前記レーザレンジファインダ及びステレオカメラの各光軸のロール角度及びピッチ角度を計測する補正手段を具備した外界計測部と、デッドレコニングなどの手段により前記移動体の自己位置と方向を求める自己位置計測部と、前記外界計測部のレーザレンジファインダで得たセンサ座標系データを前記補正手段で計測した光軸のロール角度及びピッチ角度に基づいて鉛直方向上向きの軸を一軸とする機体座標系に補正変換して、前記移動体の前方における段差領域の有無を判定処理すると共に、前記ステレオカメラで得た画像内の平面領域抽出処理及び前記補正手段で計測した光軸のロール角度及びピッチ角度に基づいて鉛直方向上向きの軸を一軸とする機体座標系に補正変換する平面法線補正処理を行うデータ解析部と、このデータ解析部から得た段差領域抽出データ及び平面領域抽出データの地上座標系(移動体がスタートした位置及び方向を原点とする座標系)への座標変換を行う座標変換モジュールと、この座標変換により得た段差領域抽出データ及び平面領域抽出データに前記自己位置計測部からの地上座標系自己位置データを加えてベース地図を作成する地図作成モジュールと、前記ベース地図に基づいて前記移動体の走行経路を決める走行経路決定モジュールを具備した地図作成部を備え、前記地図作成部の地図作成モジュールは、前記レーザレンジファインダによる段差領域抽出データ及びレーザレンジファインダの未計測点に対するステレオ画像による平面領域抽出データを反映させたベース地図を作成し、前記レーザレンジファインダの段差領域抽出データは、過去のものは保持すると共にベース地図上の同一地点に新規の計測あった場合には最新のものに逐次更新し、前記ステレオカメラの画像処理データは常に最新のものに逐次更新するものとしてある構成としたことを特徴としており、この自律走行移動体の走行経路決定用地図作成装置の構成を前述の従来の課題を解決するための手段としている。
本発明の請求項2に係る発明は、請求項1に係る発明と同じく、自律して高速で走行する移動体の走行経路を決めるのに用いる地図の作成装置であって、最高速度で走行する前記移動体の少なくとも急制動停止可能位置よりも前方の路面上で且つ当該移動体の進行方向に対して直交する方向に光軸を走査する水平スキャンレーザレンジファインダと、前記移動体の前方に光軸を走査しつつその走査方向と直交する方向に揺動させる立体スキャンレーザレンジファインダと、前記移動体近傍から遠方にかけての平面の領域を抽出するステレオカメラと、鉛直方向上向きの軸を一軸とする機体座標系で前記レーザレンジファインダ及びステレオカメラを水平に保つ水平保持手段を具備した外界計測部と、デッドレコニングなどの手段により前記移動体の自己位置を求める自己位置計測部と、前記外界計測部の水平保持手段により水平に保たれたレーザレンジファインダで得たセンサ座標系データを機体座標系に補正変換して、前記移動体の前方における段差領域の有無を判定処理すると共に、前記ステレオカメラで得た画像内の平面領域抽出処理を行うデータ解析部と、このデータ解析部から得た段差領域抽出データ及び平面領域抽出データの地上座標系への座標変換を行う座標変換モジュールと、この座標変換により得た段差領域抽出データ及び平面領域抽出データに前記自己位置計測部からの地上座標系自己位置データを加えてベース地図を作成する地図作成モジュールと、前記ベース地図に基づいて前記移動体の走行経路を決める走行経路決定モジュールを具備した地図作成部を備え、前記地図作成部の地図作成モジュールは、前記レーザレンジファインダによる段差領域抽出データ及びレーザレンジファインダの未計測点に対するステレオ画像による平面領域抽出データを反映させたベース地図を作成し、前記レーザレンジファインダの段差領域抽出データは、過去のものは保持すると共にベース地図上の同一地点に新規の計測あった場合には最新のものに逐次更新し、前記ステレオカメラの画像処理データは常に最新のものに逐次更新するものとしてある構成としたことを特徴としており、この自律走行移動体の走行経路決定用地図作成装置の構成を前述の従来の課題を解決するための手段としている。
前記レーザレンジファインダは、移動体の近傍から遠方までの距離を正確に計測することが可能であるが、現在実用的なものは、一本〜数本のレーザ光を機械的及び/又は光学的にスキャンさせることにより、計測視野を確保するようにしている。つまり、広い視野の計測を行う場合には、遠方における計測点が疎になる。
また、ステレオカメラは、アレイ状に配置された受光素子から一度に得られた二枚以上のデジタル画像に基づいて、三角測量の原理により距離を算出する。つまり、一度に広い視野の計測が可能であるものの、測距については、精度が距離の二乗に比例して悪化し、加えて、計測対象のテクスチャに大きく依存するため、レーザレンジファインダと比較して精度及び信頼性が低い。
本発明に係る自律走行移動体の走行経路決定用地図作成装置では、これらのセンサ類の配置及びこれらのセンサ類から得られるデータの適切な処理を行うことにより、高速自律走行に適した走行経路決定用地図をシンプル且つ低コストで作成可能としている。
本発明の請求項1に係る自律走行移動体の走行経路決定用地図作成装置において、レーザレンジファインダは、移動体の車体に固定して設置する。ただし、そのままでは、レーザレンジファインダの光軸方向が不明となり、移動体が揺れた場合には、どの方向を計測しているのかが判別できなくなるため、レーザレンジファインダ近傍にリジッドに設置したバーチカルジャイロを用いて、レーザレンジファインダの光軸のロール角度及びピッチ角度を計測し、座標変換によって鉛直方向上向きの軸を一軸とする機体座標系にセンサ座標系のデータを補正変換する。
一方、本発明の請求項2に係る自律走行移動体の走行経路決定用地図作成装置では、ジンバル機構等の水平保持手段により、鉛直方向上向きの軸を一軸とする機体座標系でレーザレンジファインダ及びステレオカメラを水平に保つようにしている。
本発明に係る自律走行移動体の走行経路決定用地図作成装置において、水平スキャンレーザレンジファインダは、最高速度で走行する前記移動体の少なくとも急制動停止可能位置よりも前方の路面上で且つ当該移動体の進行方向に対して直交する方向に光軸を走査するようにしているが、光軸を遠方に走査するように成せばなるほど、車体の僅かな揺れにより大きく計測位置が変化してしまう。また、バーチカルジャイロを用いていると、このジャイロの精度誤差の影響も受けやすくなるので、水平スキャンレーザレンジファインダの光軸は、車体前方の中距離(20m程度)とする。
この水平スキャンレーザレンジファインダによれば、図5に示すように、車体Cの矢印方向への進行に伴って走査線Lも矢印方向へ前進することとなるので、光軸と前方の路面の交点付近を密に計測可能である。具体的には、スキャンレートが100Hz、車速度が50km/h(13.8m/s)であれば、進行方向の計測密度は138mmになるが、車体が一方向に直進する場合には、同一地点を一度しか計測することができない。
また、本発明に係る自律走行移動体の走行経路決定用地図作成装置において、立体スキャンレーザレンジファインダは、車体前方を広範囲で計測するもので、光軸スキャンの解像度は一定である。つまり、空間的に、数mの近傍では密なデータ取得が可能であるが、遠方では非常に疎なデータとなり、この立体スキャンレーザレンジファインダによれば、同一地点を複数回計測することが可能である。
これらのレーザレンジファインダの各データから走行の可否を判定する場合、すなわち、走行中に両レーザレンジファインダでそれぞれ取得された距離データから、正しい前方領域の三次元データを再構成するためには、レーザレンジファインダの位置の回転及び並進の6自由度を正しく計測する必要がある。
しかし、回転方向についてはジャイロの誤差により、また、並進方向についてはオドメトリやGPS(グローバル・ポジショニング・システム)の誤差により、センサ座標系から地上座標系への正しい座標変換が困難となり、その誤差が障害物検出精度に影響を与える。
したがって、本発明の請求項3に係る自律走行移動体の走行経路決定用地図作成装置では、上記問題を解決するために、両レーザレンジファインダにおいて、一回のスキャン分のデータに対してのみ解析を行うこととした。
両レーザレンジファインダのスキャンは、通常100Hz(10msec)程度で終了し、車体の揺動は数十°/秒であることから、車体の揺動がある場合であったとしても、一回のスキャン分のデータに含まれる相対的な距離値には車体の揺動の影響が少ないものとなる。
すなわち、本発明の請求項3に係る自律走行移動体の走行経路決定用地図作成装置において、前記レーザレンジファインダで得たセンサ座標系データを鉛直方向上向きの軸を一軸とする機体座標系に補正変換して、前記移動体の前方における段差領域の有無を判定処理するデータ解析部は、前記レーザレンジファインダの一回のスキャン分のセンサ座標系データを機体座標系に変換し、そのデータ中に前記移動体の走破特性を考慮した相対的な高さの連続性の変化及び勾配に閾値を設定し、前記レーザレンジファインダによる計測値が前記閾値を越えた場合を障害物領域として判定処理すると共に、前記レーザレンジファインダによる計測値が前記閾値を越えない場合を走行可能領域として判定処理し、前記レーザレンジファインダによる未計測部分を不明領域として判定処理するものとしてある構成としている。
ここで、ステレオカメラから得られる画像に対しては、車体前方の路面画像中から平面領域を抽出するアルゴリズムを適用する。これにより、車体前方50m程度までの平面領域の抽出が可能であり、これも上記立体スキャンレーザレンジファインダと同様に同一地点を複数回計測可能である。
なお、ステレオカメラ画像から平面を検出するアルゴリズムについては、ブロックマッチングで距離画像に変換した後、二次元ハフ変換によって平面抽出を行ってもよいほか、ステレオカメラ画像を同次変換してそれらのマッチングを取ることにより平面領域を抽出してもよい。また、色やテクスチャなどにより、車体近傍から連続的に広がる領域を平面領域としてもよい。
ステレオカメラの画像処理で抽出された平面領域は、走行可能とし、それ以外は不明とする。この際、ステレオカメラ画像を用いる手法は、一般的にレーザレンジファインダと比較して測距の精度及び信頼性が低い。
移動体の走行において、遠方の情報については、位置精度はそれほど重要ではなく、ステレカメラによるデータに基づいて、大まかに障害物の有無が認識できれば事足りるので、大まかな回避動作の準備や減速動作を行うことができる。
近傍の情報については、高い位置精度が必要とされるため、計測精度の良いレーザレンジファインダのデータが優先され、ステレオカメラの計測結果の誤差は除去されるので、高い精度での障害物回避が可能となる。
これらの手法は、走行する環境が静止している場合において最適化されているが、水平スキャンレーザレンジファインダは、同一地点を複数回計測することができないので、移動障害物が存在する場合において、水平スキャンレーザレンジファインダが移動障害物を検出した後に障害物が移動して、その移動後の領域が再び走行可能となったとしても、それが認識されない。これは一般的にゴーストと呼ばれる。
この際、ステレオカメラから得られるデータよりも、常にレーザレンジファインダのデータが優先されるため、ステレオカメラによるゴースト除去はできない。また、立体スキャンレーザレンジファインダは、同一地点を複数回計測することができるものの、遠方では計測密度が疎であることから、迅速にゴーストを除去することができない。
ただし、ゴーストが発生した領域に接近すると、計測点は密となるため、立体スキャンレーザレンジファインダであってもゴーストを除去することができるが、ゴースト領域には徐行で接近しなくてはならないため、運用効率が低下する。
そこで、水平スキャンレーザレンジファインダ及びステレオカメラからそれぞれ得られるデータに対して、一定の時間閾値より過去に計測された水平スキャンレーザレンジファインダのデータよりも、新しいステレオカメラによるデータを優先することとした。
このとき、水平スキャンレーザレンジファインダは計測精度が高く、100mm以下の路面の縁石程度の障害物も検出可能であるが、ステレオカメラでは誤差に埋もれる恐れがある。したがって、移動障害物として想定し得る人や車輌の一般的な高さ1mを移動障害物の高さとして設定し、水平スキャンレーザレンジファインダにより計測された1m以上の高さの障害物に対してのみ上記処理を行うこととする。
すなわち、本発明の請求項4に係る自律走行移動体の走行経路決定用地図作成装置において、前記地図作成部の地図作成モジュールは、前記外界測定部の水平スキャンレーザレンジファインダが高さ約1mの障害物を捕らえた場合において、前記水平スキャンレーザレンジファインダの過去の段差領域抽出データのうちの一定の時間閾値よりも過去に計測した段差領域抽出データよりも新しい前記ステレオカメラによる画像処理データを優先してベース地図を作成する構成としている。
これにより、最新データに対して水平スキャンレーザレンジファインダの信頼性の高さが反映され、また一定の時間が経過した後には、ステレオカメラによるデータにより更新可能となるため、移動障害物のゴースト除去がより効率よく行われることとなり、移動障害物が存在する環境下においても、シンプル且つ低コストな機器構成で、性能の高い自律走行に適した走行経路決定用地図を作成し得ることとなる。
なお、上記時間閾値は、それぞれのセンサの走行可否領域検出センサとしてのS/Nデータと、実際に移動障害物の計測を行った際の障害物位置と検出結果とを取得し、全てのセンサを統合した結果の障害物可否領域検出センサとしてのS/Nが最大となるよう決定する。
一方、本発明の請求項5に係る発明は、自律して走行する移動体の走行経路を決めるのに用いる地図の作成方法であって、水平スキャンレーザレンジファインダによって、最高速度で走行する前記移動体の少なくとも急制動停止可能位置よりも前方の路面上で且つ当該移動体の進行方向に対して直交する方向に光軸を走査すると共に、立体スキャンレーザレンジファインダにより、前記移動体の前方に光軸を走査しつつその走査方向と直交する方向に揺動させ、且つ、ステレオカメラで前記移動体近傍から遠方にかけての平面の領域を抽出し、前記レーザレンジファインダで得たセンサ座標系データを鉛直方向上向きの軸を一軸とする機体座標系に補正変換して、前記移動体の前方における段差領域の有無を判定処理すると共に、前記ステレオカメラで得た画像内の平面領域抽出処理及びセンサ座標系データを鉛直方向上向きの軸を一軸とする機体座標系に補正変換する平面法線補正処理を行い、これらの処理による段差領域抽出データ及び平面領域抽出データの地上座標系への座標変換により得た各種データに地上座標系自己位置データを加えた後、前記レーザレンジファインダによる段差領域抽出データ及びレーザレンジファインダの未計測点に対するステレオ画像による平面領域抽出データを反映させつつ、前記レーザレンジファインダの段差領域抽出データは、過去のものは保持すると共にベース地図上の同一地点に新規の計測あった場合には最新のものに逐次更新し、前記ステレオカメラの画像処理データは常に最新のものに逐次更新してベース地図を作成し、このベース地図に基づいて前記移動体の走行経路を決める構成としている。
本発明の請求項6に係る自律走行移動体の走行経路決定用地図作成方法は、前記レーザレンジファインダで得たセンサ座標系データを鉛直方向上向きの軸を一軸とする機体座標系に補正変換して、前記移動体の前方における段差領域の有無を判定処理するに際して、前記レーザレンジファインダの一回のスキャン分のセンサ座標系データを機体座標系に変換し、そのデータ中に前記移動体の走破特性を考慮した相対的な高さの連続性の変化及び勾配に閾値を設定し、前記レーザレンジファインダによる計測値が前記閾値を越えた場合を障害物領域として判定処理すると共に、前記レーザレンジファインダによる計測値が前記閾値を越えない場合を走行可能領域として判定処理し、前記レーザレンジファインダによる未計測部分を不明領域として判定処理する構成としている。
本発明の請求項7に係る自律走行移動体の走行経路決定用地図作成方法は、前記水平スキャンレーザレンジファインダが高さ約1mの障害物を捕らえた場合において、前記水平スキャンレーザレンジファインダの過去の段差領域抽出データのうちの一定の時間閾値よりも過去に計測した段差領域抽出データよりも新しい前記ステレオカメラによる画像処理データを優先してベース地図を作成する構成としている。
本発明の請求項1,2に係る自律走行移動体の走行経路決定用地図作成装置及び請求項5に係る自律走行移動体の走行経路決定用地図作成方法では、それぞれ上記した構成としたから、シンプルで且つ低コストを実現したうえで、高速の自律走行に適した走行経路決定用地図を作成することが可能であるという非常に優れた効果がもたらされる。
また、本発明の請求項3に係る自律走行移動体の走行経路決定用地図作成装置及び請求項6に係る自律走行移動体の走行経路決定用地図作成方法では、それぞれ上記した構成としているので、ジャイロの誤差やGPSの誤差にかかわらず高い精度で障害物を検出することが可能であるという非常に優れた効果がもたらされる。
さらに、本発明の請求項4に係る自律走行移動体の走行経路決定用地図作成装置及び請求項7に係る自律走行移動体の走行経路決定用地図作成方法では、それぞれ上記した構成としているので、移動障害物が存在する環境下においても、シンプル且つ低コストな機器構成で、性能の高い自律走行に適した走行経路決定用地図を作成することが可能であるという非常に優れた効果がもたらされる。
以下、本発明に係る自律走行移動体の走行経路決定用地図作成装置及び走行経路決定用地図作成方法を図面に基づいて説明する。
図1〜図8は、本発明に係る自律走行移動体の走行経路決定用地図作成装置の一実施形態を示しており、この実施形態では、自律走行移動体が自律走行車である場合を例に挙げて説明する。
図1及び図2に示すように、この走行経路決定用地図作成装置1は、最高速度(概ね時速50km/h)で走行する自律走行車Cの少なくとも急制動停止可能位置よりも前方(自律走行車Cの前方20m付近)で且つこの自律走行車Cの進行方向に対して直交する方向に光軸を走査する水平スキャンレーザレンジファインダ11,自律走行車Cの前方に光軸を走査しつつその走査方向と直交する方向に揺動させる立体スキャンレーザレンジファインダ12及び自律走行車C近傍から遠方にかけての平面の領域を抽出するステレオカメラ13を具備した外界計測部10と、デッドレコニング用のホイルオドメータ21,ヨーレートセンサ22及びGPS23を具備して自律走行車Cの自己位置と方向を求める自己位置計測部20と、外界計測部10で得たセンサ座標系外界データ及び自己位置計測部20で得た地上座標系(自律走行車Cがスタートした位置及び方向を原点とする座標系) 自己位置データが入出力回路2を介して入力されるデータ解析部30と、このデータ解析部30とLAN3を介して接続する地図作成部40を備えている。
この場合、外界計測部10は自律走行車Cの前端部(図2左端部)に搭載され、一方、自己位置計測部20はデータ解析部30,地図作成部40及び後述する車体制御部60とともに自律走行車Cの後端部(図2右端部)に搭載されており、この自律走行車Cの後端部にはGPS23用のアンテナ24が配置してある。
そして、自律走行車Cにおける車体駆動部50の操舵手段51は、ドライバ52及び入出力回路4を介して車体制御部60と接続していると共に、車体駆動部50の車速制御手段53は、コンバータ54及び入出力回路4を介して車体制御部60と接続しており、この車体制御部60には、地図作成部40からの制御信号がLAN3を介して入力されるようになっている。
また、外界計測部10のレーザレンジファインダ11,12及びステレオカメラ13は、図4に示すように、レーザレンジファインダ11,12の各光軸のロール角度及びピッチ角度を計測するバーチカルジャイロ(補正手段)14とともにベース15上に固定してある。
上記データ解析部30は、図3に示すように、外界計測部10のレーザレンジファインダ11,12で得たセンサ座標系データをバーチカルジャイロ14で計測した光軸のロール角度及びピッチ角度に基づいて鉛直方向上向きの軸を一軸とする機体座標系に補正変換する座標変換モジュール31と、この座標変換モジュール31で得た機体座標系データから自律走行車Cの前方における段差領域の有無を判定処理する段差抽出モジュール32と、ステレオカメラ13で得た画像内の平面領域抽出処理モジュール33及びセンサ座標系データをバーチカルジャイロ14で計測した光軸のロール角度及びピッチ角度に基づいて鉛直方向上向きの軸を一軸とする機体座標系に補正変換する平面法線補正処理モジュール34を有している。
また、この走行経路決定用地図作成装置1において、図6及び図7に示すように、レーザレンジファインダ11,12で得たセンサ座標系データを鉛直方向上向きの軸を一軸とする機体座標系に補正変換して、自律走行車Cの前方における段差領域の有無を判定処理するデータ解析部30は、レーザレンジファインダ11,12の一回のスキャン分のセンサ座標系データを機体座標系に変換し、そのデータ中に自律走行車Cの走破特性を考慮した相対的な高さの連続性の変化及び勾配に閾値を設定し、レーザレンジファインダ11,12による計測値が閾値を越えた場合を障害物領域(図7黒部分)として判定処理すると共に、レーザレンジファインダ11,12による計測値が閾値を越えない場合を走行可能領域(図7白部分)として判定処理し、レーザレンジファインダ11,12による未計測部分を不明領域(図7グレー部分)として判定処理するものとしてある。
さらに、上記地図作成部40は、データ解析部30から得た段差領域抽出データ及び平面領域抽出データの地上座標系への座標変換を行う座標変換モジュール41と、この座標変換により得た段差領域抽出データ及び平面領域抽出データに自己位置計測部20からの地上座標系自己位置データを加えてベース地図を作成する地図作成モジュール42と、このベース地図に基づいて自律走行車Cの走行経路を決める走行経路決定モジュール43を具備している。
この実施形態において、地図作成部40の地図作成モジュール42は、レーザレンジファインダ11,12による段差領域抽出データ及びレーザレンジファインダ11,12の未計測点に対するステレオカメラ13の画像による平面領域抽出データを反映させたベース地図を作成し、レーザレンジファインダ11の過去の段差領域抽出データは保持すると共に、レーザレンジファインダ12の段差領域抽出データはベース地図上の同一地点に新規の計測があった場合に最新のものに逐次更し、ステレオカメラ13の画像処理データは常に最新のものに逐次更新するものとしてある。
さらにまた、この走行経路決定用地図作成装置1において、地図作成部40の地図作成モジュール42は、図8に示すように、ステップS1で外界測定部10の水平スキャンレーザレンジファインダ11が高さ約1mの障害物を捕らえた場合に、ステップS2において一定の時間閾値(t秒)よりも過去に計測した水平スキャンレーザレンジファインダ11の段差領域抽出データよりも新しいステレオカメラ13から出力された障害物なしの画像処理データを優先し、ステップS3においてt秒間のうちに水平スキャンレーザレンジファインダ11が障害物を認識しないときは、ステップS4に進んでその領域は移動障害物の通過後の領域と判断して走行可能領域とし、ステップS3においてt秒間のうちに水平スキャンレーザレンジファインダ11が障害物を認識したときは、ステップS5においてこの水平スキャンレーザレンジファインダ11の処理データを優先してベース地図を作成するようにしている。
次に、上記した自律走行車Cの走行経路決定用地図の作成要領を説明する。
まず、自律走行車Cの停止時に、立体スキャンレーザレンジファインダ12とステレオカメラ13で前方の計測を行い、走行可能領域を検出する。
次いで、自律走行車Cの走行を開始すると、外界計測部10の水平スキャンレーザレンジファインダ11によって、最高速度で走行する自律走行車Cの少なくとも急制動停止可能位置よりも前方の路面上で且つ自律走行車Cの進行方向に対して直交する方向に光軸を走査すると共に、立体スキャンレーザレンジファインダ12により、自律走行車Cの前方に光軸を走査しつつその走査方向と直交する方向に揺動させ、且つ、ステレオカメラ13で自律走行車C近傍から遠方にかけての平面の領域を抽出する。
このとき、遠方については、ステレオカメラ13により大まかな計測が可能であるため、走行可能領域を優先的に選択し、また不明領域が広がる場合には、あらかじめ車速を落として水平スキャンレーザレンジファインダ11による計測に委ねる。
走行中、データ解析部30では、レーザレンジファインダ11,12で得たセンサ座標系データを鉛直方向上向きの軸を一軸とする機体座標系に補正変換して、自律走行車Cの前方における段差領域の有無を判定処理すると共に、ステレオカメラ13で得た画像内の平面領域抽出処理及びセンサ座標系データを鉛直方向上向きの軸を一軸とする機体座標系に補正変換する平面法線補正処理を行う。
このとき、データ解析部30は、レーザレンジファインダ11,12の一回のスキャン分のセンサ座標系データを機体座標系に変換し、そのデータ中に自律走行車Cの走破特性を考慮した相対的な高さの連続性の変化及び勾配に閾値を設定し、レーザレンジファインダ11,12による計測値が閾値を越えた場合を障害物領域(図7黒部分)として判定処理すると共に、レーザレンジファインダ11,12による計測値が閾値を越えない場合を走行可能領域(図7白部分)として判定処理し、レーザレンジファインダ11,12による未計測部分を不明領域(図7グレー部分)として判定処理する。
地図作成部40では、これらの処理による段差領域抽出データ及び平面領域抽出データの地上座標系への座標変換により得た各種データに地上座標系自己位置データを加えた後、レーザレンジファインダ11,12による段差領域抽出データ及びレーザレンジファインダ11,12の未計測点に対するステレオカメラ13の画像による平面領域抽出データを反映させつつ、水平スキャンレーザレンジファインダ11の過去の段差領域抽出データを保持すると共に、立体スキャンレーザレンジファインダ12の段差領域抽出データ及びステレオカメラ13の画像処理データをいずれも最新のものに逐次更新してベース地図を作成し、このベース地図に基づいて前記移動体の走行経路を決めると、自律走行車Cの走行経路Rに沿った自律走行が成されることとなる。
ここで、地図作成部40において、図8に示すように、ステップS1で外界測定部10の水平スキャンレーザレンジファインダ11が高さ約1mの障害物を捕らえた場合には、ステップS2において一定の時間閾値(t秒)よりも過去に計測した水平スキャンレーザレンジファインダ11の段差領域抽出データよりも新しいステレオカメラ13から出力された障害物なしの画像処理データを優先し、ステップS3においてt秒間のうちに水平スキャンレーザレンジファインダ11が障害物を認識しないときは、ステップS4に進んでその領域は移動障害物の通過後の領域と判断して走行可能領域とし、ステップS3においてt秒間のうちに水平スキャンレーザレンジファインダ11が障害物を認識したときは、ステップS5においてこの水平スキャンレーザレンジファインダ11の処理データを優先してベース地図を作成する。
上記した一実施形態では、自律走行移動体が自律走行車である場合を示したが、これに限定されるものではない。
本発明に係る自律走行移動体の走行経路決定用地図作成装置の一実施形態を示すブロック図である。 図1における走行経路決定用地図作成装置を搭載した自律走行車の側面説明図である。 図1における走行経路決定用地図作成装置の地図作成フローを示すブロック図である。 図1における走行経路決定用地図作成装置の外界計測部のレーザレンジファインダ及びステレオカメラのレイアウトを示す斜視説明図である。 図1における走行経路決定用地図作成装置の外界計測部におけるレーザレンジファインダのスキャン動作を示す斜視説明図である。 図1における走行経路決定用地図作成装置の外界計測部におけるレーザレンジファインダスキャン動作及びステレオカメラの計測動作を示す平面説明図(a)及び側面説明図(b)である。 図1における走行経路決定用地図作成装置のデータ解析部による判定処理の一例を示す説明図である。 図1における走行経路決定用地図作成装置の地図作成部による移動障害物を捕らえた場合の地図作成要領を示すフローチャートである。
符号の説明
1 自律走行移動体の走行経路決定用地図作成装置
10 外界計測部
11 水平スキャンレーザレンジファインダ
12 立体スキャンレーザレンジファインダ
13 ステレオカメラ
14 バーチカルジャイロ(補正手段)
20 自己位置計測部
30 データ解析部
40 地図作成部
41 座標変換モジュール
42 地図作成モジュール
43 走行経路決定モジュール
C 自律走行車(自律走行移動体)

Claims (7)

  1. 自律して走行する移動体の走行経路を決めるのに用いる地図の作成装置であって、
    最高速度で走行する前記移動体の少なくとも急制動停止可能位置よりも前方の路面上で且つ当該移動体の進行方向に対して直交する方向に光軸を走査する水平スキャンレーザレンジファインダと、前記移動体の前方に光軸を走査しつつその走査方向と直交する方向に揺動させる立体スキャンレーザレンジファインダと、前記移動体近傍から遠方にかけての平面の領域を抽出するステレオカメラと、前記レーザレンジファインダ及びステレオカメラの各光軸のロール角度及びピッチ角度を計測する補正手段を具備した外界計測部と、
    デッドレコニングなどの手段により前記移動体の自己位置と方向を求める自己位置計測部と、
    前記外界計測部のレーザレンジファインダで得たセンサ座標系データを前記補正手段で計測した光軸のロール角度及びピッチ角度に基づいて鉛直方向上向きの軸を一軸とする機体座標系に補正変換して、前記移動体の前方における段差領域の有無を判定処理すると共に、前記ステレオカメラで得た画像内の平面領域抽出処理及び前記補正手段で計測した光軸のロール角度及びピッチ角度に基づいて鉛直方向上向きの軸を一軸とする機体座標系に補正変換する平面法線補正処理を行うデータ解析部と、
    このデータ解析部から得た段差領域抽出データ及び平面領域抽出データの地上座標系への座標変換を行う座標変換モジュールと、この座標変換により得た段差領域抽出データ及び平面領域抽出データに前記自己位置計測部からの地上座標系自己位置データを加えてベース地図を作成する地図作成モジュールと、前記ベース地図に基づいて前記移動体の走行経路を決める走行経路決定モジュールを具備した地図作成部を備え、
    前記地図作成部の地図作成モジュールは、前記レーザレンジファインダによる段差領域抽出データ及びレーザレンジファインダの未計測点に対するステレオ画像による平面領域抽出データを反映させたベース地図を作成し、前記レーザレンジファインダの段差領域抽出データは、過去のものは保持すると共にベース地図上の同一地点に新規の計測あった場合には最新のものに逐次更新し、前記ステレオカメラの画像処理データは常に最新のものに逐次更新するものとしてあることを特徴とする自律走行移動体の走行経路決定用地図作成装置。
  2. 自律して走行する移動体の走行経路を決めるのに用いる地図の作成装置であって、
    最高速度で走行する前記移動体の少なくとも急制動停止可能位置よりも前方で且つ当該移動体の進行方向に対して直交する方向に光軸を走査する水平スキャンレーザレンジファインダと、前記移動体の前方に光軸を走査しつつその走査方向と直交する方向に揺動させる立体スキャンレーザレンジファインダと、前記移動体近傍から遠方にかけての平面の領域を抽出するステレオカメラと、鉛直方向上向きの軸を一軸とする機体座標系で前記レーザレンジファインダ及びステレオカメラを水平に保つ水平保持手段を具備した外界計測部と、
    デッドレコニングなどの手段により前記移動体の自己位置を求める自己位置計測部と、
    前記外界計測部の水平保持手段により水平に保たれたレーザレンジファインダで得たセンサ座標系データを機体座標系に補正変換して、前記移動体の前方における段差領域の有無を判定処理すると共に、前記ステレオカメラで得た画像内の平面領域抽出処理を行うデータ解析部と、
    このデータ解析部から得た段差領域抽出データ及び平面領域抽出データの地上座標系への座標変換を行う座標変換モジュールと、この座標変換により得た段差領域抽出データ及び平面領域抽出データに前記自己位置計測部からの地上座標系自己位置データを加えてベース地図を作成する地図作成モジュールと、前記ベース地図に基づいて前記移動体の走行経路を決める走行経路決定モジュールを具備した地図作成部を備え、
    前記地図作成部の地図作成モジュールは、前記レーザレンジファインダによる段差領域抽出データ及びレーザレンジファインダの未計測点に対するステレオ画像による平面領域抽出データを反映させたベース地図を作成し、前記レーザレンジファインダの段差領域抽出データは、過去のものは保持すると共にベース地図上の同一地点に新規の計測あった場合には最新のものに逐次更新し、前記ステレオカメラの画像処理データは常に最新のものに逐次更新するものとしてあることを特徴とする自律走行移動体の走行経路決定用地図作成装置。
  3. 前記レーザレンジファインダで得たセンサ座標系データを鉛直方向上向きの軸を一軸とする機体座標系に補正変換して、前記移動体の前方における段差領域の有無を判定処理するデータ解析部は、
    前記レーザレンジファインダの一回のスキャン分のセンサ座標系データを機体座標系に変換し、そのデータ中に前記移動体の走破特性を考慮した相対的な高さの連続性の変化及び勾配に閾値を設定し、前記レーザレンジファインダによる計測値が前記閾値を越えた場合を障害物領域として判定処理すると共に、前記レーザレンジファインダによる計測値が前記閾値を越えない場合を走行可能領域として判定処理し、前記レーザレンジファインダによる未計測部分を不明領域として判定処理するものとしてある請求項1又は2に記載の自律走行移動体の走行経路決定用地図作成装置。
  4. 前記地図作成部の地図作成モジュールは、前記外界測定部の水平スキャンレーザレンジファインダが高さ約1mの障害物を捕らえた場合において、前記水平スキャンレーザレンジファインダの過去の段差領域抽出データのうちの一定の時間閾値よりも過去に計測した段差領域抽出データよりも新しい前記ステレオカメラによる画像処理データを優先してベース地図を作成する請求項1〜3のいずれか一つの項に記載の自律走行移動体の走行経路決定用地図作成装置。
  5. 自律して走行する移動体の走行経路を決めるのに用いる地図の作成方法であって、
    水平スキャンレーザレンジファインダによって、最高速度で走行する前記移動体の少なくとも急制動停止可能位置よりも前方の路面上で且つ当該移動体の進行方向に対して直交する方向に光軸を走査すると共に、立体スキャンレーザレンジファインダにより、前記移動体の前方に光軸を走査しつつその走査方向と直交する方向に揺動させ、且つ、ステレオカメラで前記移動体近傍から遠方にかけての平面の領域を抽出し、
    前記レーザレンジファインダで得たセンサ座標系データを鉛直方向上向きの軸を一軸とする機体座標系に補正変換して、前記移動体の前方における段差領域の有無を判定処理すると共に、前記ステレオカメラで得た画像内の平面領域抽出処理及びセンサ座標系データを鉛直方向上向きの軸を一軸とする機体座標系に補正変換する平面法線補正処理を行い、
    これらの処理による段差領域抽出データ及び平面領域抽出データの地上座標系への座標変換により得た各種データに地上座標系自己位置データを加えた後、
    前記レーザレンジファインダによる段差領域抽出データ及びレーザレンジファインダの未計測点に対するステレオ画像による平面領域抽出データを反映させつつ、前記レーザレンジファインダ段差領域抽出データは、過去のものは保持すると共にベース地図上の同一地点に新規の計測があった場合には最新のものに逐次更新し、前記ステレオカメラの画像処理データを常に最新のものに逐次更新してベース地図を作成し、
    このベース地図に基づいて前記移動体の走行経路を決める
    ことを特徴とする自律走行移動体の走行経路決定用地図作成方法。
  6. 前記レーザレンジファインダで得たセンサ座標系データを鉛直方向上向きの軸を一軸とする機体座標系に補正変換して、前記移動体の前方における段差領域の有無を判定処理するに際して、
    前記レーザレンジファインダの一回のスキャン分のセンサ座標系データを機体座標系に変換し、そのデータ中に前記移動体の走破特性を考慮した相対的な高さの連続性の変化及び勾配に閾値を設定し、前記レーザレンジファインダによる計測値が前記閾値を越えた場合を障害物領域として判定処理すると共に、前記レーザレンジファインダによる計測値が前記閾値を越えない場合を走行可能領域として判定処理し、前記レーザレンジファインダによる未計測部分を不明領域として判定処理する請求項5に記載の自律走行移動体の走行経路決定用地図作成方法。
  7. 前記水平スキャンレーザレンジファインダが高さ約1mの障害物を捕らえた場合において、前記水平スキャンレーザレンジファインダの過去の段差領域抽出データのうちの一定の時間閾値よりも過去に計測した段差領域抽出データよりも新しい前記ステレオカメラによる画像処理データを優先してベース地図を作成する請求項5又は6に記載の自律走行移動体の走行経路決定用地図作成方法。
JP2007281633A 2007-10-30 2007-10-30 自律走行移動体の走行経路決定用地図作成装置及び走行経路決定用地図作成方法 Active JP5105596B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007281633A JP5105596B2 (ja) 2007-10-30 2007-10-30 自律走行移動体の走行経路決定用地図作成装置及び走行経路決定用地図作成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007281633A JP5105596B2 (ja) 2007-10-30 2007-10-30 自律走行移動体の走行経路決定用地図作成装置及び走行経路決定用地図作成方法

Publications (2)

Publication Number Publication Date
JP2009110250A true JP2009110250A (ja) 2009-05-21
JP5105596B2 JP5105596B2 (ja) 2012-12-26

Family

ID=40778685

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007281633A Active JP5105596B2 (ja) 2007-10-30 2007-10-30 自律走行移動体の走行経路決定用地図作成装置及び走行経路決定用地図作成方法

Country Status (1)

Country Link
JP (1) JP5105596B2 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011008320A (ja) * 2009-06-23 2011-01-13 Toyota Motor Corp 自律移動体、自己位置推定装置、およびプログラム
JP2011134226A (ja) * 2009-12-25 2011-07-07 Ihi Aerospace Co Ltd 移動ロボットの遠方環境認識装置及び方法
CN103777637A (zh) * 2014-02-13 2014-05-07 苏州工业园区艾吉威自动化设备有限公司 无反射板激光自主导航agv小车及其导航方法
JP2016015628A (ja) * 2014-07-02 2016-01-28 三菱重工業株式会社 構造物の屋内監視システム及び方法
WO2016121688A1 (ja) * 2015-01-29 2016-08-04 日立建機株式会社 運搬用車両の障害物検出装置
WO2019124463A1 (ja) * 2017-12-19 2019-06-27 株式会社クボタ 自動走行作業機、自動走行草刈機、草刈機及び草刈機自動走行システム
JP2019106939A (ja) * 2017-12-19 2019-07-04 株式会社クボタ 自動走行作業機
CN111667545A (zh) * 2020-05-07 2020-09-15 东软睿驰汽车技术(沈阳)有限公司 高精度地图生成方法、装置、电子设备及存储介质
CN111879287A (zh) * 2020-07-08 2020-11-03 河南科技大学 基于多传感器的低速车辆的前向地形三维构建方法
CN111914961A (zh) * 2019-05-07 2020-11-10 东芝泰格有限公司 信息处理装置及信息处理方法
JP2021077361A (ja) * 2019-11-12 2021-05-20 ネクストヴイピーユー(シャンハイ)カンパニー リミテッドNextvpu(Shanghai)Co.,Ltd. 移動ロボット
CN113050103A (zh) * 2021-02-05 2021-06-29 上海擎朗智能科技有限公司 一种地面检测方法、装置、电子设备、系统及介质
US11054838B2 (en) 2019-11-12 2021-07-06 NextVPU (Shanghai) Co., Ltd. Mobile robot
US11427218B2 (en) 2017-08-04 2022-08-30 Sony Corporation Control apparatus, control method, program, and moving body

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11212640A (ja) * 1997-11-03 1999-08-06 Volkswagen Ag <Vw> 自律走行車両及び自律走行車両を制御する方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11212640A (ja) * 1997-11-03 1999-08-06 Volkswagen Ag <Vw> 自律走行車両及び自律走行車両を制御する方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011008320A (ja) * 2009-06-23 2011-01-13 Toyota Motor Corp 自律移動体、自己位置推定装置、およびプログラム
JP2011134226A (ja) * 2009-12-25 2011-07-07 Ihi Aerospace Co Ltd 移動ロボットの遠方環境認識装置及び方法
CN103777637A (zh) * 2014-02-13 2014-05-07 苏州工业园区艾吉威自动化设备有限公司 无反射板激光自主导航agv小车及其导航方法
CN106200643A (zh) * 2014-02-13 2016-12-07 苏州艾吉威机器人有限公司 无反射板激光自主导航agv小车
US10359778B2 (en) 2014-07-02 2019-07-23 Mitsubishi Heavy Industries, Ltd. Indoor monitoring system and method for structure
JP2016015628A (ja) * 2014-07-02 2016-01-28 三菱重工業株式会社 構造物の屋内監視システム及び方法
WO2016121688A1 (ja) * 2015-01-29 2016-08-04 日立建機株式会社 運搬用車両の障害物検出装置
US11427218B2 (en) 2017-08-04 2022-08-30 Sony Corporation Control apparatus, control method, program, and moving body
JP2019106939A (ja) * 2017-12-19 2019-07-04 株式会社クボタ 自動走行作業機
WO2019124463A1 (ja) * 2017-12-19 2019-06-27 株式会社クボタ 自動走行作業機、自動走行草刈機、草刈機及び草刈機自動走行システム
CN111914961A (zh) * 2019-05-07 2020-11-10 东芝泰格有限公司 信息处理装置及信息处理方法
JP2021077361A (ja) * 2019-11-12 2021-05-20 ネクストヴイピーユー(シャンハイ)カンパニー リミテッドNextvpu(Shanghai)Co.,Ltd. 移動ロボット
US11054838B2 (en) 2019-11-12 2021-07-06 NextVPU (Shanghai) Co., Ltd. Mobile robot
CN111667545A (zh) * 2020-05-07 2020-09-15 东软睿驰汽车技术(沈阳)有限公司 高精度地图生成方法、装置、电子设备及存储介质
CN111667545B (zh) * 2020-05-07 2024-02-27 东软睿驰汽车技术(沈阳)有限公司 高精度地图生成方法、装置、电子设备及存储介质
CN111879287A (zh) * 2020-07-08 2020-11-03 河南科技大学 基于多传感器的低速车辆的前向地形三维构建方法
CN111879287B (zh) * 2020-07-08 2022-07-15 河南科技大学 基于多传感器的低速车辆的前向地形三维构建方法
CN113050103A (zh) * 2021-02-05 2021-06-29 上海擎朗智能科技有限公司 一种地面检测方法、装置、电子设备、系统及介质

Also Published As

Publication number Publication date
JP5105596B2 (ja) 2012-12-26

Similar Documents

Publication Publication Date Title
JP5105596B2 (ja) 自律走行移動体の走行経路決定用地図作成装置及び走行経路決定用地図作成方法
JP7432285B2 (ja) レーンマッピング及びナビゲーション
JP6931096B2 (ja) オンボードセンサの外部パラメータを較正する方法及び装置、並びに関連する車両
US11953599B2 (en) Vehicle navigation based on aligned image and LIDAR information
KR102483649B1 (ko) 차량 위치 결정 방법 및 차량 위치 결정 장치
CN109313031B (zh) 车载处理装置
JP7082545B2 (ja) 情報処理方法、情報処理装置およびプログラム
Rose et al. An integrated vehicle navigation system utilizing lane-detection and lateral position estimation systems in difficult environments for GPS
EP2133662B1 (en) Methods and system of navigation using terrain features
RU2668459C1 (ru) Устройство оценки положения и способ оценки положения
EP3137850B1 (en) Method and system for determining a position relative to a digital map
KR102420476B1 (ko) 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
KR101454153B1 (ko) 가상차선과 센서 융합을 통한 무인 자율주행 자동차의 항법시스템
US20200353914A1 (en) In-vehicle processing device and movement support system
US10955857B2 (en) Stationary camera localization
CN112189225B (zh) 车道线信息检测装置、方法以及存储被编程为执行该方法的计算机程序的计算机可读记录介质
KR101888171B1 (ko) 무인 수상정의 자세정보 기반 환경인식 장치 및 방법
JP2002511614A (ja) 物体位置の追跡・検知方法
JP2001331787A (ja) 道路形状推定装置
JP2008002906A (ja) 測位装置
CN112698306A (zh) 一种多激光雷达结合相机解决地图构建盲区的系统和方法
JP5429986B2 (ja) 移動ロボットの遠方環境認識装置及び方法
CN112455502B (zh) 基于激光雷达的列车定位方法及装置
JP2016080460A (ja) 移動体
JP2007278813A (ja) 車両位置測位装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20090702

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100729

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120919

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121001

R150 Certificate of patent or registration of utility model

Ref document number: 5105596

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151012

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250