JP2010225126A - 移動経路計画装置、移動体制御装置及び移動体 - Google Patents
移動経路計画装置、移動体制御装置及び移動体 Download PDFInfo
- Publication number
- JP2010225126A JP2010225126A JP2009074796A JP2009074796A JP2010225126A JP 2010225126 A JP2010225126 A JP 2010225126A JP 2009074796 A JP2009074796 A JP 2009074796A JP 2009074796 A JP2009074796 A JP 2009074796A JP 2010225126 A JP2010225126 A JP 2010225126A
- Authority
- JP
- Japan
- Prior art keywords
- voting
- area
- pixel
- trace
- detection target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 143
- 238000000034 method Methods 0.000 claims description 140
- 230000008569 process Effects 0.000 claims description 121
- 238000001514 detection method Methods 0.000 claims description 116
- 238000001914 filtration Methods 0.000 claims description 25
- 238000005259 measurement Methods 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 18
- 238000003384 imaging method Methods 0.000 abstract description 14
- 230000006870 function Effects 0.000 description 10
- 230000037303 wrinkles Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 244000025254 Cannabis sativa Species 0.000 description 3
- 235000014676 Phragmites communis Nutrition 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003958 fumigation Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 239000004071 soot Substances 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 244000273256 Phragmites communis Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005428 wave function Effects 0.000 description 1
Landscapes
- Studio Devices (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
【解決手段】移動体の進行方向を撮影する撮影手段と、前記撮影手段から得られる撮影画像を基に所定の画像処理を行うことにより、前記撮影画像に存在する通行痕跡を検出する画像処理手段と、前記画像処理手段によって検出された通行痕跡を基に前記移動体の移動経路を計画する経路計画手段とを備える。
【選択図】図1
Description
は、2次元ガボールフィルタであることを特徴とする。
さらに、本発明では、移動体に係る解決手段として、上記の第1または第2の解決手段を有する移動体制御装置を搭載することを特徴とする。
図1は、本実施形態に係る移動体制御装置を搭載した移動体の構成概略図である。本実施形態では、移動体として移動体制御装置の制御によって自律走行する車両Cを例示して説明する。なお、図1(a)は車両Cの側面図であり、図1(b)は車両Cの上面図である。また、以下では、図1に示すように、車両Cの進行方向をX軸、X軸と直交する車両Cの幅方向をY軸、XY平面(水平面)に垂直な方向(車両Cの高さ方向)をZ軸とするXYZ直交座標系を設定して説明する。
なお、nの値は入力画像の解像度や信号処理装置2cの処理能力に応じて適宜変更すれば良いが、例えばデジタル処理を考慮して8の倍数である32〜96の範囲で設定することが望ましい。
3次元計測装置3(3次元計測手段)は、車両Cの進行方向の3次元形状を計測するレーザ・レンジ・ファインダ(LRF)であり、車両Cの上部中央において下向きに所定角度傾けて設置されている。このようなLFRは、X軸方向の首振り(スイング)機構を有しており、図1(b)に示す走査平面SP上を走査するようにレーザ光Lを照射し、そのレーザ光Lの照射点P1、P2、・・・、Pnまでの距離データd1、d2・・・、dnと、そのスイング角度データα1、α2、・・・、αnとを、3次元形状計測結果として地図作成装置4に出力する。
また、地図作成装置4としては、3次元マップ生成装置以外にも、荒さ・起伏マップ作成装置を利用することもでき、この場合には起伏の量を計測した地面の高さを微分した値を、上空から見た鳥瞰図的な座標にプロットして地図を作成する。
まず、画像処理装置2による通行痕跡検出動作について説明する。移動体制御装置の動作中において、撮影装置1a、1bは、所定のカメラレートで車両Cの進行方向を撮影し、撮影画像を示す信号(画像信号)を画像処理装置2に出力する。画像処理装置2に入力された画像信号は、A/Dコンバータ2aによって入力画像データに変換された後、信号処理装置2cに転送される。
まず、信号処理装置2cは、ステップS4aの投票処理として、入力画像における各画素のそれぞれを投票元画素として順次選択し、当該投票元画素を起点としそのテクスチャ方向に平行な直線上に存在する画素に対して投票を行う。具体的には、信号処理装置2cは、まず、図7に示すように、RAM2dのメモリ空間上に、投票回数を集計するための投票集計領域を入力画像と同サイズ(つまり、640×480画素数分の投票回数を集計可能なサイズ)で確保する。
続いて、信号処理装置2cは、ステップS4bの消失点特定処理として、図10に示すように、投票処理による投票結果(つまり、RAM40上の投票集計領域に集計された投票回数)を基に、投票回数が最も大きい画素を入力画像における消失点として特定する。轍などの通行痕跡の波模様は車両Cから見ると完全に平行ではないが同じ消失点を共有していると推測される。このため、上記のような投票処理によって消失点と推測される位置(画素)に投票を行い、統計的に通行痕跡と平行している波模様が多い検出結果を活用することにより、消失点を特定することができる。
続いて、信号処理装置2cは、ステップS4cの有効投票画素抽出処理として、消失点の投票元画素を有効投票画素として抽出する。つまり、消失点を向いているテクスチャ方向を有する画素が有効投票画素として抽出されることになる。図11に、有効投票画素の抽出結果を示す。図11において白領域が有効投票画素の集合領域である。
続いて、信号処理装置2cは、ステップS4dの痕跡領域特定処理として、図12に示すように、入力画像において消失点を頂点とする領域(この領域は円弧状でも良いし、三角形状でも良い)を複数の小領域に分割し、各小領域の内、有効投票画素の比率が所定の閾値を超えた小領域を通行痕跡が存在すると推定される痕跡領域として特定する。ここで、有効投票画素の比率は、小領域と有効投票画素との面積比率、つまり、小領域に含まれる有効投票画素数を小領域に含まれる全画素数で除算することで求めることができる。
続いて、地図作成装置4による3次元マップ作成動作について説明する。移動体制御装置の動作中において、3次元計測装置3(LRF)は、図1(b)に示す走査平面SP上を走査するようにレーザ光Lを照射し、そのレーザ光Lの照射点P1、P2、・・・、Pnまでの距離データd1、d2・・・、dnと、そのスイング角度データα1、α2、・・・、αnとを、3次元形状計測結果として地図作成装置4に出力する。ここで、図16(a)に示すように、車両Cを走行させながらレーザ光Lを走査することで3次元形状を計測しても良いし、LFRをZ軸方向にスイングさせながらレーザ光Lを走査することで3次元形状を計測しても良い。
続いて、経路計画装置5による経路計画動作について説明する。経路計画装置5は、画像処理装置2から得られる通行痕跡検出結果と、地図作成装置4から得られる3次元マップデータとを基に、轍(通行痕跡)に沿った方向、且つ轍から一定以内の距離を保つ範囲の中という条件の下、周囲の3次元形状から最適な移動経路を計画する。
以上のような手法により、経路計画装置5は、図17に示すような車両Cの移動経路を計画し、その経路計画データを運動制御装置9に出力する。
続いて、位置・姿勢推定装置8による車両Cの現在位置及び姿勢の推定動作について説明する。移動体制御装置の動作中において、GPS受信機6は、車両Cの位置に関する情報として経度、緯度、高度を取得し、その取得結果を車両位置データとして位置・姿勢推定装置8に出力する。また、ジャイロ7は、車両CのX軸回り(ピッチ)の回転角度及び角速度と、Y軸回り(ロール)の回転角度及び角速度と、Z軸回り(ヨー)の回転角度及び角速度とを、車両Cの姿勢情報として取得し、その取得結果を車両姿勢データとして位置・姿勢推定装置8に出力する。さらに、アクチュエータ10の各種センサによって計測されたデータは、車両Cの移動量に関するフィードバックデータとして位置・姿勢推定装置8にフィードバックされる。
続いて、運動制御装置9による車両Cの運動制御動作について説明する。運動制御装置9は、経路計画装置5から得られる経路計画データと、位置・姿勢推定装置8から得られる現在位置・姿勢データとを基に、車両Cが計画された移動経路に沿って移動するように、且つ移動経路を中心とする所定の許容範囲内を移動するようにアクチュエータ10を制御する。
なお、移動経路に対するズレ量が大きくなった場合には、経路計画装置5に対して移動経路の再計画を指示し、以前の移動経路に依存せずに、現在位置からスムーズな移動経路を計画することが望ましい。
(1)上記実施形態では、各ガボールフィルタGF1〜GFnの周波数パラメータ(角周波数u0)を固定値とする場合を例示した。これは、通路の撮影エリアが奥行き方向に10mから20mの領域である場合、角周波数u0が視野中の3度に相当するように設定すると、撮影対象上での波の山から谷間での距離は25cm〜50cmとなり、車輪よりやや大きいサイズとなり、複数回車輪が通過した結果にできる車輪跡に近いサイズとなるためである。しかしながら、図3の入力画像からわかるように、轍などの通行痕跡の幅は、奥行き方向の位置によって変化する。そこで、入力画像における奥行き方向の位置に応じて、各ガボールフィルタGF1〜GFnの周波数パラメータを変更することが望ましい。
Claims (12)
- 移動体の進行方向を撮影する撮影手段と、
前記撮影手段から得られる撮影画像を基に所定の画像処理を行うことにより、前記撮影画像に存在する通行痕跡を検出する画像処理手段と、
前記画像処理手段によって検出された通行痕跡を基に前記移動体の移動経路を計画する経路計画手段と、
を備えることを特徴とする移動経路計画装置。 - 移動体の進行方向の3次元形状を計測する3次元計測手段と、
前記3次元計測手段から得られる3次元形状の計測結果を基に地図を作成する地図作成手段と、をさらに備え、
前記経路計画手段は、前記地図作成手段によって作成された地図及び前記画像処理手段によって検出された通行痕跡を基に前記移動体の移動経路を計画することを特徴とする請求項1記載の移動経路計画装置。 - 前記画像処理手段は、幅を有する帯状の模様を前記通行痕跡として検出することを特徴とする請求項1または2に記載の移動経路計画装置。
- 前記画像処理手段は、幅を有し、途中で断続的になっている帯状の模様が複数、3次元空間上で平行になっている部分を前記通行痕跡として検出することを特徴とする請求項1または2に記載の移動経路計画装置。
- 前記画像処理手段は、幅を有し、途中で断続的になっている帯状の部分を前記撮影画像中から見つけ出し、最も多数の帯状部分が共有する消失点に向かっている帯状部分を前記通行痕跡として絞り込むことを特徴とする請求項1または2に記載の移動経路計画装置。
- 前記画像処理手段は、
方向パラメータの異なる複数の空間周波数フィルタを用いて、前記撮影画像における検出対象領域をフィルタリングすることにより、前記検出対象領域についての各方向の強度分布データを生成するフィルタリング処理と、
前記フィルタリング処理によって生成された前記強度分布データを基に前記検出対象領域における各画素の模様方向を特定する模様方向特定処理と、
前記模様方向特定処理による前記模様方向の特定結果を基に所定の統計処理を行うことにより、前記検出対象領域において通行痕跡が存在すると推定される痕跡領域を検出する痕跡領域検出処理と、を行う
ことを特徴とする請求項1または2に記載の移動経路計画装置。 - 前記画像処理手段は、
方向パラメータの異なる複数の空間周波数フィルタを用いて、前記撮影画像における検出対象領域をフィルタリングすることにより、前記検出対象領域についての各方向の強度分布データを生成するフィルタリング処理と、
前記フィルタリング処理によって生成された前記強度分布データを基に前記検出対象領域における各画素の模様方向を特定する模様方向特定処理と、
前記検出対象領域を奥行き方向に沿って複数に分割して得られる副検出対象領域ごとに、前記模様方向特定処理による前記模様方向の特定結果に基づいて所定の統計処理を行うことにより、前記副検出対象領域において通行痕跡が存在すると推定される痕跡領域を検出する痕跡領域検出処理と、を行う
ことを特徴とする請求項1または2に記載の移動経路計画装置。 - 前記画像処理手段は、前記痕跡領域検出処理における前記統計処理として、
前記検出対象領域における各画素のそれぞれを投票元画素として選択し、前記投票元画素を起点としてその模様方向に平行な直線上に存在する画素、または前記投票元画素を起点としてその模様方向に沿うように設定された投票対象領域に含まれる画素に対して投票を行う投票処理と、
前記投票処理による投票結果を基に投票回数が最も大きい画素を消失点として特定する消失点特定処理と、
前記消失点の投票元画素を有効投票画素として抽出する有効投票画素抽出処理と、
前記検出対象領域において前記消失点を頂点とする領域を複数の小領域に分割し、各小領域の内、前記有効投票画素の比率が所定の閾値を超えた小領域を前記痕跡領域として特定する痕跡領域特定処理と、を行う
ことを特徴とする請求項6記載の移動経路計画装置。 - 前記画像処理手段は、前記痕跡領域検出処理における前記統計処理として、
前記副検出対象領域における各画素のそれぞれを投票元画素として選択し、前記投票元画素を起点としてその模様方向に平行な直線上に存在する画素、または前記投票元画素を起点としてその模様方向に沿うように設定された投票対象領域に含まれる画素に対して投票を行う投票処理と、
前記投票処理による投票結果を基に投票回数が最も大きい画素を消失点として特定する消失点特定処理と、
前記消失点の投票元画素を有効投票画素として抽出する有効投票画素抽出処理と、
前記副検出対象領域において前記消失点を頂点とする領域を複数の小領域に分割し、各小領域の内、前記有効投票画素の比率が所定の閾値を超えた小領域を前記痕跡領域として特定する痕跡領域特定処理と、を行う
ことを特徴とする請求項7記載の移動経路計画装置。 - 請求項1〜9のいずれか一項に記載の移動経路計画装置と、
移動体の動力を発生するアクチュエータと、
前記移動経路計画装置によって計画された移動経路に沿って移動体が移動するように前記アクチュエータを制御する運動制御手段と、
を備えることを特徴とする移動体制御装置。 - 前記移動体の位置に関する情報を取得する位置情報取得手段と、
前記移動体の姿勢に関する情報を取得する姿勢情報取得手段と、
前記位置情報取得手段及び前記姿勢情報取得手段によって取得された情報を基に前記移動体の現在位置及び姿勢を推定する位置・姿勢推定手段を備え、
前記運動制御手段は、前記位置・姿勢推定手段によって推定された移動体の現在位置及び姿勢を基に前記移動体が前記移動経路を中心とする所定の許容範囲内を移動するように前記アクチュエータを制御することを特徴とする請求項10記載の移動体制御装置。 - 請求項10または11に記載の移動体制御装置を搭載することを特徴とする移動体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009074796A JP5375249B2 (ja) | 2009-03-25 | 2009-03-25 | 移動経路計画装置、移動体制御装置及び移動体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009074796A JP5375249B2 (ja) | 2009-03-25 | 2009-03-25 | 移動経路計画装置、移動体制御装置及び移動体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010225126A true JP2010225126A (ja) | 2010-10-07 |
JP5375249B2 JP5375249B2 (ja) | 2013-12-25 |
Family
ID=43042210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009074796A Active JP5375249B2 (ja) | 2009-03-25 | 2009-03-25 | 移動経路計画装置、移動体制御装置及び移動体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5375249B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013196401A (ja) * | 2012-03-21 | 2013-09-30 | Hitachi Automotive Systems Ltd | 道路環境認識装置 |
WO2015004855A1 (ja) * | 2013-07-11 | 2015-01-15 | ヤマハ発動機株式会社 | ナビゲーション装置、シミュレーション装置、移動装置およびナビゲーション方法 |
WO2016093311A1 (ja) * | 2014-12-11 | 2016-06-16 | 福田 敏男 | 作業車両 |
JP2019045892A (ja) * | 2017-08-29 | 2019-03-22 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、及び、移動体 |
JP2019204324A (ja) * | 2018-05-24 | 2019-11-28 | シンフォニアテクノロジー株式会社 | 移動装置 |
CN115562296A (zh) * | 2022-10-26 | 2023-01-03 | 宝开(上海)智能物流科技有限公司 | 一种基于混合控制策略的机器人调度方法、系统及装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003123058A (ja) * | 2001-10-17 | 2003-04-25 | Hitachi Ltd | 走行レーン認識装置 |
-
2009
- 2009-03-25 JP JP2009074796A patent/JP5375249B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003123058A (ja) * | 2001-10-17 | 2003-04-25 | Hitachi Ltd | 走行レーン認識装置 |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013196401A (ja) * | 2012-03-21 | 2013-09-30 | Hitachi Automotive Systems Ltd | 道路環境認識装置 |
US9885580B2 (en) | 2013-07-11 | 2018-02-06 | Yamaha Hatsudoki Kabushiki Kaisha | Navigation apparatus, simulation apparatus, moving device and navigation method |
WO2015004855A1 (ja) * | 2013-07-11 | 2015-01-15 | ヤマハ発動機株式会社 | ナビゲーション装置、シミュレーション装置、移動装置およびナビゲーション方法 |
JP2015017914A (ja) * | 2013-07-11 | 2015-01-29 | ヤマハ発動機株式会社 | ナビゲーション装置、シミュレーション装置、移動装置およびナビゲーション方法 |
US10274963B2 (en) | 2014-12-11 | 2019-04-30 | Yanmar Co., Ltd. | Work vehicle |
KR20170091110A (ko) * | 2014-12-11 | 2017-08-08 | 얀마 가부시키가이샤 | 작업 차량 |
EP3232290A4 (en) * | 2014-12-11 | 2018-08-08 | Yanmar Co., Ltd. | Work vehicle |
WO2016093311A1 (ja) * | 2014-12-11 | 2016-06-16 | 福田 敏男 | 作業車両 |
KR102017965B1 (ko) * | 2014-12-11 | 2019-09-03 | 얀마 가부시키가이샤 | 작업 차량 |
JP2019045892A (ja) * | 2017-08-29 | 2019-03-22 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、及び、移動体 |
US11288860B2 (en) | 2017-08-29 | 2022-03-29 | Sony Corporation | Information processing apparatus, information processing method, program, and movable object |
JP7043755B2 (ja) | 2017-08-29 | 2022-03-30 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム、及び、移動体 |
JP2019204324A (ja) * | 2018-05-24 | 2019-11-28 | シンフォニアテクノロジー株式会社 | 移動装置 |
JP7207645B2 (ja) | 2018-05-24 | 2023-01-18 | シンフォニアテクノロジー株式会社 | 移動装置 |
CN115562296A (zh) * | 2022-10-26 | 2023-01-03 | 宝开(上海)智能物流科技有限公司 | 一种基于混合控制策略的机器人调度方法、系统及装置 |
CN115562296B (zh) * | 2022-10-26 | 2023-05-26 | 宝开(上海)智能物流科技有限公司 | 一种基于混合控制策略的机器人调度方法、系统及装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5375249B2 (ja) | 2013-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6931096B2 (ja) | オンボードセンサの外部パラメータを較正する方法及び装置、並びに関連する車両 | |
US10860871B2 (en) | Integrated sensor calibration in natural scenes | |
US10863166B2 (en) | Method and apparatus for generating three-dimensional (3D) road model | |
JP7082545B2 (ja) | 情報処理方法、情報処理装置およびプログラム | |
RU2668459C1 (ru) | Устройство оценки положения и способ оценки положения | |
RU2720140C1 (ru) | Способ оценки собственной позиции и устройство оценки собственной позиции | |
WO2017124901A1 (zh) | 一种数据处理方法、装置及终端 | |
CN111060946B (zh) | 用于估计位置的方法和装置 | |
US10909411B2 (en) | Information processing apparatus, information processing method, and computer program product | |
TWI827649B (zh) | 用於vslam比例估計的設備、系統和方法 | |
US11143511B2 (en) | On-vehicle processing device | |
JP5375249B2 (ja) | 移動経路計画装置、移動体制御装置及び移動体 | |
CN108733039A (zh) | 一种机器人室内导航定位的方法与装置 | |
JP2023021098A (ja) | マップ構築方法、装置及び記憶媒体 | |
US12055413B2 (en) | Apparatus and method for updating detailed map | |
Kellner et al. | Road curb detection based on different elevation mapping techniques | |
JP6838365B2 (ja) | 自己位置推定方法及び自己位置推定装置 | |
JP6834401B2 (ja) | 自己位置推定方法及び自己位置推定装置 | |
CN106240454B (zh) | 提供车辆碰撞预警的系统及车载设备 | |
US20220155455A1 (en) | Method and system for ground surface projection for autonomous driving | |
KR101700764B1 (ko) | 자율 이동 방법 및 그 장치 | |
JP2021047744A (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
CN111258306B (zh) | 基于成像设备的车辆定位方法及装置 | |
JP2024102524A (ja) | 区画線認識装置 | |
Zuev et al. | Mobile system for road inspection and 3D modelling |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130108 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130308 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130827 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130909 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5375249 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |