JP2011022644A - 車線認識装置、及び車線認識方法 - Google Patents
車線認識装置、及び車線認識方法 Download PDFInfo
- Publication number
- JP2011022644A JP2011022644A JP2009164587A JP2009164587A JP2011022644A JP 2011022644 A JP2011022644 A JP 2011022644A JP 2009164587 A JP2009164587 A JP 2009164587A JP 2009164587 A JP2009164587 A JP 2009164587A JP 2011022644 A JP2011022644 A JP 2011022644A
- Authority
- JP
- Japan
- Prior art keywords
- curvature
- road curvature
- turning
- road
- degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
【解決手段】画像から道路曲率ρを算出し(ステップS1)、旋回挙動から旋回曲率κを算出する(ステップS2)。そして、道路曲率ρと旋回曲率κとの差分が閾値th1よりも大きく、且つ旋回曲率κに対して道路曲率ρが接近傾向にあれば(ステップS4又はS9の判定が“Yes”)、道路曲率ρに対するノイズの影響度合が小さく、単なる応答遅れであると判断し、道路曲率ρに対する平滑度合を弱める(ステップS5、S10)。一方、旋回曲率κに対して道路曲率ρが離間傾向にあれば(ステップS4又はS9の判定が“No”)、道路曲率ρに対するノイズの影響度合が大きく、単なる応答遅れではないと判断し、道路曲率ρに対する平滑度合を強める(ステップS6、S11)。
【選択図】図2
Description
本発明の課題は、車線認識による道路曲率の算出において、ノイズの影響を抑制しつつ運転者に違和感を与えずに、算出した道路曲率を車両制御に適用した場合には車両制御の応答性を向上させうる車線認識装置又は車線認識方法を提供することである。
《第1実施形態》
《構成》
図1は、車両の概略構成図である。
カメラ11は、自車両の前方を撮像する例えばプログレッシブスキャン式の3CMOSカメラである。画像処理装置12は、カメラ11で撮像した画像データに基づいて、通行区分線(以下、レーンと称す)の認識を行う。
車速センサ13は、自車両の車速Vを検出し、実測ヨーレートを検出するヨーレートセンサ14は、自車両のヨーレートγを検出し、舵角センサ15は、運転者の操舵角θを検出する。
コントローラ16は、画像処理装置12が認識したレーン、及び各種センサの検出値を入力して旋回曲率の演算を行い、レーンに沿った走行を実現するために、操舵アクチュエータ17を駆動制御する。
図2は、曲率算出処理を示すフローチャートである。
先ずステップS1では、カメラ11で撮像した画像データに基づいてレーンを認識し、そのレーン曲率ρ(以下、道路曲率ρと称す)を算出する。
レーンの認識、及び道路曲率ρの算出については、何れも周知の技術であるため、ここでは説明を省略するが、例えば特開2004−252827号公報や、特開2004−318618号公報に記載された技術を用いる。
R=(γ/V)
κ=(1/R)=(γ/V) ………(1)
ρ(n) ← D1×ρ(n-1)+N1×ρ(n) ………(2)
ρ(n) ← D2×ρ(n-1)+N2×ρ(n) ………(3)
ステップS7では、道路曲率ρ(n)を警報・制御系に出力してから所定のメインプログラムに復帰する。
一方、ステップS8では、今回の旋回曲率κ(n)から道路曲率の前回値ρ(n-1)を減じた値(κ(n)−ρ(n-1))が、予め定められた閾値−th1より小さいか否かを判定する。ここで、判定結果が(κ(n)−ρ(n-1))<−th1であれば、旋回曲率κに対する道路曲率ρのオーバー方向の差が大きいと判断してステップS9に移行する。一方、判定結果が(κ(n)−ρ(n-1))≧−th1であれば、旋回曲率κに対する道路曲率ρのオーバー方向の差は無い又は小さいと判断して後述するステップS12に移行する。
ステップS10では、前記(2)式に示すように、弱い平滑処理を行ってから前記ステップS7に移行する。
ステップS11では、前記(3)式に示すように、強い平滑処理を行ってから前記ステップS7に移行する。
ρ(n) ← D3×ρ(n-1)+N3×ρ(n) ………(4)
ボッツドッツ(道路鋲)のある道路や降雪路など、視認性の悪い道路でも、走行車線を高精度に認識するには、自車両の近傍に限定した領域、つまりカメラ画像内の下部領域で画像処理をする必要がある。しかしながら、自車両の近傍に限定した画像処理では、道路曲率ρの算出において、車両制御の応答が鈍くなるので、ノイズによる影響度合を判断し、ノイズによる影響度合が小さければ道路曲率ρに対する平滑度合を弱め、逆にノイズによる影響度合が大きければ道路曲率ρに対する平滑度合を強めることが望ましい。
なお、本実施形態では、道路曲率ρを平滑処理する際に、前回値ρ(n-1)の反映率と今回値ρ(n)の反映率とを決定することで、道路曲率ρの変動に対する制限度合を決定しているが、これに限定されるものではない。例えば、複数の過去値ρ(n-1)、ρ(n-2)、ρ(n-3)、…と、今回値ρ(n)との平均を取ることで、道路曲率ρを平滑処理してもよい。この場合、平滑処理を強めるには過去値の個数を増加させ、平滑処理を弱めるには過去値の個数を減少させればよい。また、前回値ρ(n-1)から今回値ρ(n)への変化率(演算周期毎の変化量=時間変化量)を上限値以下に制限することで、道路曲率ρを平滑処理してもよい。この場合、平滑処理を強めるには上限値を減少させ、平滑処理を弱めるには上限値を増加させればよい。すなわち、道路曲率ρを複数回算出するものであれば、どのような処理を施してもよい。このように、道路曲率ρの変動に対する制限度合を決定変更できれば、任意の手法を用いることができる。
以上より、カメラ11が「撮像手段」に対応し、ステップS1の処理が「道路曲率算出手段」に対応し、ステップS3〜S6、S8〜S12の処理が「制限手段」に対応し、車速センサ13、ヨーレートセンサ14が「旋回挙動検出手段」に対応し、ステップS2の処理が「旋回曲率算出手段」に対応する。
このように、旋回曲率と道路曲率との差分、及び道路曲率の変化方向に基づいて、道路曲率に対するノイズの影響度合を判断し、それに応じて道路曲率の変動に制限をかけるので、運転者に操作の違和感を与えることなく車両制御の応答性を向上させることができる。
このように、旋回曲率と道路曲率との差分、及び道路曲率の変化方向に基づいて、道路曲率に対するノイズの影響度合が小さいことを判断し、制限度合を弱めることで、車両制御の応答性を向上させることができる。
このように、ノイズの影響度合が大きいことを判断し、制限度合を強めることで、ノイズの影響を抑制することができる。
自車両の当該走行車線での旋回挙動を検出し、検出した旋回挙動に基づいて自車両の旋回曲率を算出し、当該走行車線での前記旋回曲率と前記道路曲率との差分、及び前記道路曲率の前記旋回曲率に対する変化方向に基づいて、当該走行車線での道路曲率に対するノイズ影響度合を判断し、判断したノイズ影響度合に応じて前記道路曲率の変動を制限する。
このように、旋回曲率と道路曲率との差分、及び道路曲率の変化方向に基づいて、道路曲率に対するノイズの影響度合を判断し、それに応じて道路曲率の変動に制限をかけるので、ノイズの影響を抑制しつつ、車両制御の応答性を向上させることができる。
《構成》
本実施形態は、主に画像認識の精度に起因した問題として、ノイズの影響度合を正しく判断できるか否かを判定し、正しく判断できないときには、通常の平滑処理を施すものであり、
図3は、第二実施形態の曲率算出処理を示すフローチャートである。
ここでは、前記ステップS2の後に、新たなステップS21、S22を追加したことを除いては、前述した第一実施形態と同様の処理を実行する。
ステップS21では、左右一対となる通行区分のための道路標示(白線やボッツドッツ)の両方を検出できているか否かを判定する。左右両側の道路標示を検出できていれば、ノイズの影響度合を正しく判断できると判断してステップS22に移行する。一方、左右の何れか一方でも検出できていなければ、ノイズの影響度合を正しく判断できないと判断して前記ステップS12に移行する。
先ず、左右両側にある通行区分のための道路標示のうち、何れか一方でも検出できていなければ(ステップS21の判定が“No”)、画像認識の精度が低下している可能性がある。このときには、ノイズの影響度合を正しく判断できないものとし、道路曲率ρn)に対して通常の平滑処理を施す(ステップS12)。
これにより、安定してレーンマーカを検出できない状態で、ノイズの影響度合を誤って判断してしまうことを防止できる。
また、画像から算出したヨー角の絶対値|φ|が閾値th2よりも大きいときには(ステップS22の判定が“No”)、レーンに対する自車両の横位置の時間変化が大きくなるので、画像認識結果に遅れなどの不確定要素が入る虞がある。したがって、ノイズの影響度合を正しく判断できないものとし、道路曲率ρn)に対して通常の平滑処理を施す(ステップS12)。
これにより、例えばレーンチェンジのように、自車両の旋回曲率κを規範値として扱えない状態で、ノイズの影響を誤って判断してしまうことを防止できる。
以上より、ステップS21、S22の処理が「制限手段」に含まれる。
(1)前記道路曲率算出手段は、前記画像から左右一対となる通行区分のための道路標示を検出し、検出した道路標示に基づいて前記道路曲率を算出し、前記制限手段は、前記道路標示のうち、左右の何れか一方でも検出できないときには、前記制限度合を前記基準制限度合に決定する。
これにより、ノイズの影響度合を誤って判断してしまうことを防止できる。
(2)前記制限手段は、前記画像から自車両の走行車線に対するヨー角を算出し、算出したヨー角が、予め定められた第二の閾値よりも大きいときには、前記制限度合を前記基準制限度合に決定する。
このように、画像から算出したヨー角の算出精度が低下している状態では、ノイズ影響の判断を中止することで、誤判断を防止することができる。
《構成》
本実施形態は、主に車両挙動の検出精度に起因した問題として、ノイズの影響度合を正しく判断できるか否かを判定し、正しく判断できないときには、通常の平滑処理を施すものである。
図4は、第三実施形態の曲率算出処理を示すフローチャートである。
ここでは、前記ステップS22の後に、新たなステップS31〜S33を追加すると共に、前記ステップS3、S8を、新たなステップS34、S35に変更したことを除いては、前述した第二実施形態と同様の処理を実行する。
sgn{φ'(n)}×sgn{φ'(n-1)}<0 ………(5)
|φ'(n)−φ'(n-1)|>th4 ………(6)
上記(5)式のsgn{a}はシグナム関数であり、a>0のときに+1となり、a<0のときに−1となる。したがって、上記(5)式では、画像から算出したヨー角変化速度の前回値φ'(n-1)から今回値φ'(n)への移行で符号が反転したか否かを判定する。
ここで、判定結果が(5)式、及び(6)式を共に満たす場合には、ノイズは大きいと判断してステップS33に移行する。一方、判定結果が(5)式、又は(6)式の何れか一方でも満たさなければ、ノイズの影響度合を正しく判断できないと判断して前記ステップS12に移行する。
先ず、操舵角から推定したヨーレートγeと、実測したヨーレートγとの差分が、閾値th5より大きいときには(ステップS31の判定結果が“No”)、ヨーレートセンサ14の検出精度が低下している可能性がある。したがって、ノイズの影響度合を正しく判断できないと判断し、道路曲率ρに対する平滑度合を通常にする(ステップS12)。
このように、ヨーレートセンサ14の検出精度が低下している状態では、ノイズ影響の判断を中止することで、誤判断を防止することができる。
これにより、実際の旋回挙動に対して画像から算出した旋回挙動の差分を、容易に算出することができる。
なお、本実施形態では、ステップS34、S35の処理で、実測したヨーレートγと、画像から算出したヨー角変化速度φ'とを比較しているが、実測したヨーレートγの代わりに、運転者の操舵角から推定した推定ヨーレートγeとヨー角変化速度φ'とを比較してもよい。すなわち、ステップS34、S35を処理する段階では、既にステップS31の処理を経ており、実測したヨーレートγと、操舵角から推定した推定ヨーレートγeとの差分が閾値th3よりも小さいことが明らかだからである。
(1)前記旋回挙動検出手段は、少なくとも運転者のステアリング操作から推定した推定ヨーレートと、センサで実測した実測ヨーレートとを検出し、前記制限手段は、前記推定ヨーレートと前記実測ヨーレートとの差分が、予め定められた第三の閾値よりも大きいときには、前記制限度合を前記基準制限度合に決定する。
このように、実測したヨーレートの検出精度が低下している状態では、ノイズ影響の判断を中止することで、誤判断を防止することができる。
前記制限手段は、前記各画像から自車両の走行車線に対するヨー角を各々を算出し、更に前記各ヨー角からヨー角変化速度を算出し、前記実測ヨーレートと前記ヨー角変化速度との差分が、予め定められた第五の閾値よりも大きいときに、前記旋回曲率と前記道路曲率との差分が前記第一の閾値よりも大きいと判断する。
このように、実際の旋回挙動に対して画像から算出した旋回挙動の差分を、容易に算出することができる。
12 画像処理装置
13 車速センサ(旋回挙動検出手段)
14 ヨーレートセンサ(旋回挙動検出手段)
15 舵角センサ
16 コントローラ (道路曲率算出手段、旋回曲率算出手段、制限手段)
Claims (8)
- 自車両の進路を撮像する撮像手段と、該撮像手段が撮像した画像に基づいて走行車線の道路曲率を算出する道路曲率算出手段と、該道路曲率算出手段が算出した当該走行車線での道路曲率の変動を制限する制限手段と、
自車両の旋回挙動を検出する旋回挙動検出手段と、該旋回挙動検出手段が検出した当該走行車線での旋回挙動に基づいて自車両の旋回曲率を算出する旋回曲率算出手段と、を備え、
前記制限手段は、前記旋回曲率と前記道路曲率との差分、及び前記道路曲率の前記旋回曲率に対する変化方向に基づいて、前記道路曲率の変動に対する制限度合を決定することを特徴とする車線認識装置。 - 前記制限手段は、前記旋回曲率と前記道路曲率との差分が予め定められた第一の閾値よりも小さいときには、当該制限度合を基準制限度合に決定し、前記旋回曲率と前記道路曲率との差分が予め定められた第一の閾値よりも大きく、且つ前記旋回曲率に対して前記道路曲率が接近傾向にあれば、当該制限度合を前記基準制限度合より弱める方向に決定することを特徴とする請求項1に記載の車線認識装置。
- 前記制限手段は、前記旋回曲率と前記道路曲率との差分が予め定められた第一の閾値よりも小さいときには、当該制限度合を基準制限度合に決定し、前記旋回曲率と前記道路曲率との差分が予め定められた第一の閾値よりも大きく、且つ前記旋回曲率に対して前記道路曲率が離間傾向にあれば、当該制限度合を前記基準制限度合より強める方向に決定することを特徴とする請求項1又は2に記載の車線認識装置。
- 前記道路曲率算出手段は、前記画像から左右一対となる通行区分のための道路標示を検出し、検出した道路標示に基づいて前記道路曲率を算出し、
前記制限手段は、前記道路標示のうち、左右の何れか一方でも検出できないときには、前記制限度合を前記基準制限度合に決定することを特徴とする請求項2又は3に記載の車線認識装置。 - 前記制限手段は、前記画像から自車両の走行車線に対するヨー角を算出し、算出したヨー角が、予め定められた第二の閾値よりも大きいときには、前記制限度合を前記基準制限度合に決定することを特徴とする請求項2〜4の何れか一項に記載の車線認識装置。
- 前記旋回挙動検出手段は、少なくとも運転者のステアリング操作から推定した推定ヨーレートと、センサで実測した実測ヨーレートとを検出し、
前記制限手段は、前記推定ヨーレートと前記実測ヨーレートとの差分が、予め定められた第三の閾値よりも大きいときには、前記制限度合を前記基準制限度合に決定することを特徴とする請求項2〜5の何れか一項に記載の車線認識装置。 - 前記旋回挙動検出手段は、少なくともセンサによる実測した実測ヨーレートを検出し、
前記制限手段は、前記各画像から自車両の走行車線に対するヨー角を各々を算出し、更に前記各ヨー角からヨー角変化速度を算出し、前記実測ヨーレートと前記ヨー角変化速度との差分が、予め定められた第五の閾値よりも大きいときに、前記旋回曲率と前記道路曲率との差分が前記第一の閾値よりも大きいと判断することを特徴とする請求項2〜6の何れか一項に記載の車線認識装置。 - 自車両の進路を撮像し、撮像した画像に基づいて走行車線の道路曲率を算出し、
自車両の当該走行車線での旋回挙動を検出し、検出した旋回挙動に基づいて自車両の旋回曲率を算出し、
当該走行車線での前記旋回曲率と前記道路曲率との差分、及び前記道路曲率の前記旋回曲率に対する変化方向に基づいて、当該走行車線での道路曲率に対するノイズ影響度合を判断し、判断したノイズ影響度合に応じて前記道路曲率の変動を制限することを特徴とする車線認識方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009164587A JP5453970B2 (ja) | 2009-07-13 | 2009-07-13 | 車線認識装置、及び車線認識方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009164587A JP5453970B2 (ja) | 2009-07-13 | 2009-07-13 | 車線認識装置、及び車線認識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011022644A true JP2011022644A (ja) | 2011-02-03 |
JP5453970B2 JP5453970B2 (ja) | 2014-03-26 |
Family
ID=43632691
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009164587A Expired - Fee Related JP5453970B2 (ja) | 2009-07-13 | 2009-07-13 | 車線認識装置、及び車線認識方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5453970B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170015317A1 (en) * | 2015-07-13 | 2017-01-19 | Cruise Automation, Inc. | Method for image-based vehicle localization |
JP2019194037A (ja) * | 2018-05-01 | 2019-11-07 | 三菱電機株式会社 | 区画線認識装置 |
CN115303280A (zh) * | 2022-08-04 | 2022-11-08 | 清智汽车科技(苏州)有限公司 | 冗余低延迟的车辆行驶道路的识别方法和装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001010518A (ja) * | 1999-06-25 | 2001-01-16 | Honda Motor Co Ltd | 車両用操舵制御装置 |
JP2001266163A (ja) * | 2000-03-17 | 2001-09-28 | Nissan Motor Co Ltd | 車両用画像処理装置 |
JP2005346304A (ja) * | 2004-06-01 | 2005-12-15 | Toyota Motor Corp | 道路パラメータ算出装置および車両挙動制御装置 |
JP2006318044A (ja) * | 2005-05-10 | 2006-11-24 | Toyota Motor Corp | 道路曲率検出装置及び道路カーブ半径検出装置 |
JP2006347461A (ja) * | 2005-06-17 | 2006-12-28 | Toyota Motor Corp | 道路曲率検出装置およびこれを用いた操舵支援装置 |
-
2009
- 2009-07-13 JP JP2009164587A patent/JP5453970B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001010518A (ja) * | 1999-06-25 | 2001-01-16 | Honda Motor Co Ltd | 車両用操舵制御装置 |
JP2001266163A (ja) * | 2000-03-17 | 2001-09-28 | Nissan Motor Co Ltd | 車両用画像処理装置 |
JP2005346304A (ja) * | 2004-06-01 | 2005-12-15 | Toyota Motor Corp | 道路パラメータ算出装置および車両挙動制御装置 |
JP2006318044A (ja) * | 2005-05-10 | 2006-11-24 | Toyota Motor Corp | 道路曲率検出装置及び道路カーブ半径検出装置 |
JP2006347461A (ja) * | 2005-06-17 | 2006-12-28 | Toyota Motor Corp | 道路曲率検出装置およびこれを用いた操舵支援装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170015317A1 (en) * | 2015-07-13 | 2017-01-19 | Cruise Automation, Inc. | Method for image-based vehicle localization |
US9884623B2 (en) * | 2015-07-13 | 2018-02-06 | GM Global Technology Operations LLC | Method for image-based vehicle localization |
JP2019194037A (ja) * | 2018-05-01 | 2019-11-07 | 三菱電機株式会社 | 区画線認識装置 |
CN115303280A (zh) * | 2022-08-04 | 2022-11-08 | 清智汽车科技(苏州)有限公司 | 冗余低延迟的车辆行驶道路的识别方法和装置 |
CN115303280B (zh) * | 2022-08-04 | 2023-08-15 | 清智汽车科技(苏州)有限公司 | 冗余低延迟的车辆行驶道路的识别方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5453970B2 (ja) | 2014-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9542606B2 (en) | Lane line recognition apparatus | |
JP6036839B2 (ja) | 運転支援装置及び運転支援方法 | |
JP4400316B2 (ja) | 運転意図推定装置、車両用運転操作補助装置および車両用運転操作補助装置を備えた車両 | |
US9708004B2 (en) | Method for assisting a driver in driving an ego vehicle and corresponding driver assistance system | |
JP6965739B2 (ja) | 車両制御装置 | |
CN107209998B (zh) | 车道线识别装置以及车道线识别方法 | |
JP6600995B2 (ja) | 車両制御装置及びプログラム | |
WO2014129312A1 (ja) | 車線境界線逸脱抑制装置 | |
JP2006338200A (ja) | 車両逸脱防止制御装置 | |
KR20130021999A (ko) | 차량의 차선 유지 지원 시스템 및 그 방법 | |
JP2006213073A (ja) | 先行車認識装置 | |
JP6379510B2 (ja) | 運転診断装置および保険料算定方法 | |
JP2009252198A (ja) | 走行環境推測装置、方法及びプログラム並びに車線逸脱警報装置及び操舵アシスト装置 | |
JP5453970B2 (ja) | 車線認識装置、及び車線認識方法 | |
CN111483459B (zh) | 车辆控制装置 | |
JP6408935B2 (ja) | 走行区画線認識装置 | |
JP2007153203A (ja) | 車両用後側方警報装置及びその方法 | |
JP6606472B2 (ja) | 走路形状認識装置、走路形状認識方法 | |
JP6963490B2 (ja) | 車両制御装置 | |
JP2006213276A (ja) | 運転意図推定装置、車両用運転操作補助装置および車両用運転操作補助装置を備えた車両 | |
JP6154348B2 (ja) | 走行経路生成装置 | |
JP6040638B2 (ja) | 車両走行制御装置及びその方法 | |
JP2010224788A (ja) | 車線逸脱予測装置 | |
JP2008275344A (ja) | ヨーレートセンサの出力判定装置および追従先行車判定装置 | |
JP5682302B2 (ja) | 走行道路推定装置、方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120525 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130830 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130903 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131004 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131210 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131223 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5453970 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |