JP2015101199A - 運転支援装置及び記号登録装置 - Google Patents
運転支援装置及び記号登録装置 Download PDFInfo
- Publication number
- JP2015101199A JP2015101199A JP2013242977A JP2013242977A JP2015101199A JP 2015101199 A JP2015101199 A JP 2015101199A JP 2013242977 A JP2013242977 A JP 2013242977A JP 2013242977 A JP2013242977 A JP 2013242977A JP 2015101199 A JP2015101199 A JP 2015101199A
- Authority
- JP
- Japan
- Prior art keywords
- symbol
- parking frame
- line
- host vehicle
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
「第1実施形態」
(構成)
車両は、制動力を発生する制動装置、及び駆動力を発生する駆動装置を備える。
制動装置は、図1に示すように、車輪11に設けられるブレーキ装置12と、その各ブレーキ装置12に接続する配管を含む流体圧回路13と、ブレーキコントローラ14とを備える。ブレーキコントローラ14は、流体圧回路13を介して各ブレーキ装置12で発生する制動力を、制動力指令値に応じた値に制御する。ブレーキ装置12は、流体圧で制動力を付与する装置に限定されず、電動ブレーキ装置等であっても良い。
ブレーキコントローラ14とエンジンコントローラ16は、それぞれ上位コントローラである走行制御コントローラ10からの制動指令、駆動指令(加速指令値)の各指令値を受け付ける構成とする。ブレーキコントローラ14とエンジンコントローラ16は、加減速制御装置を構成する。
周囲環境認識センサ1は、自車両MM周囲の障害物や路面を認識し、認識した周囲の状態を走行制御コントローラ10に出力する。本実施形態の周囲環境認識センサ1は、車両周囲を撮像可能な1又は2台以上のカメラから構成される。カメラ1は例えばサイドミラーの位置や、車両の前部、後部、屋根部などに設けられる。各カメラ1は、予め設定した撮像間隔時間毎に車両周囲の路面を撮像して撮像画像を取得する。
操舵角センサ3は、ステアリングホイール20の操舵角を検出し、検出した操舵角情報を走行制御コントローラ10に出力する。操舵角センサ3は、ステアリング軸などに設けられる。操向輪の転舵角を操舵角情報として検出しても良い。
ブレーキ操作検出センサ5は、ブレーキペダル18の操作の有無や操作量を検出する。検出されたブレーキペダル操作量は走行制御コントローラ10に出力される。ブレーキペダル18は、運転者が操作する減速指示用の操作子である。
ナビゲーション装置7は、GPS受信機、地図データベース、および表示モニタ等を備えており、経路探索および経路案内等を行う装置である。ナビゲーション装置7は、GPS受信機を通じて得られる自車両MMの現在位置と地図データベースに格納された道路情報に基づいて、自車両MMが走行する道路の種別や道路幅員等の情報を取得することができる。
情報呈示装置は、走行制御コントローラ10からの制御信号に応じて警報その他の呈示を音声や画像によって出力する。情報呈示装置は、例えば、ブザー音や音声により運転者への情報提供を行うスピーカと、画像やテキストの表示により情報提供を行う表示ユニットとを備える。表示ユニットは、例えばナビゲーション装置7の表示モニタを流用しても良い。
周囲環境認識情報演算部10Aは、周囲環境認識センサ1が撮像した撮像画像に基づき車両周囲の路面環境を認識する。周囲環境認識情報演算部10Aは、図5に示すように、駐車枠線情報処理部110と、登録記号情報処理部120とを有する。
操舵角演算部10Cは、操舵角センサ3からの信号に基づき操舵角を演算する。
操舵角速度演算部10Dは、操作角センサからの信号を微分処理することで操舵角速度を演算する。
シフトポジション演算部10Eは、シフトポジションセンサ4からの信号に基づき、シフト位置を判定する。
アクセル操作量演算部10Gは、アクセル操作検出センサ6からの信号に基づきアクセルペダル19の操作量を演算する。
アクセル操作速度演算部10Hは、アクセル操作検出センサ6からの信号を微分処理することでアクセルペダル19の操作速度を演算する。
次に、駐車枠線情報処理部110の処理について、図6を参照しながら説明する。駐車枠線情報処理部110は、図6に示す処理を予め設定したサンプリング時間毎に行う。
駐車枠線情報処理部110は、ステップS10にて、周囲環境認識センサ1が撮像した撮像画像を取得する。本実施形態では、図7に示すように、自車両進行方向の領域ARA1を撮像した撮像画像を使用する。
なお、俯瞰画像の取得は、例えば、取得した撮像画像から、自車周囲に予め設定した俯瞰エリアとする部分の画像部分を切り出し(図7参照)、その切り出した画像を俯瞰変換して、図8に示すような俯瞰画像を得る。撮像画像では、遠方の領域の物体ほど小さく映ることから、平行な線であっても、図7のように非平行線として映っている。これを俯瞰変換することで、図8に示すように、俯瞰画像上では平行な線として検出される。なお、俯瞰変換は、各カメラが撮像した撮像画像毎に、そのカメラが担当する俯瞰エリア部分の画像を俯瞰変換して俯瞰画像を取得するようにしても良い。
次に、ステップS30にて、俯瞰画像上に存在する線を検出する。具体的には、ステップS20で取得した俯瞰画像のうち、自車両の進行方向に沿った方向の路面の俯瞰画像部分(以下、路面俯瞰画像とも呼ぶ。)に対して線の抽出を行うための画像処理を行う。画像処理は、路面俯瞰画像に対してエッジ処理等の公知の線検出処理を行って当該路面俯瞰画像上に存在する線を検出する。本実施形態では車両前方を車両の進行方向とした場合を例示している。
属性付与処理を次に説明する。
検出した各線に対して、下記のような属性に該当するか判定し、該当する場合には、その属性を検出した線に対して付与する。各属性毎に付与判定を行う。
付与する属性の一例を次に示す。
・立体物線(立体物を示す線)
・輝度対称性(検出した線の幅方向両端部の輝度の対称性)
・路面との輝度差
・左右輝度差(検出した線の幅方向両端部外側の輝度の対称性)
・固着物(長)(汚れによって線が分断された端点発生:分断が長い場合)
・固着物(短)(汚れによって線が分断された端点発生:分断が短い場合)
・固着物(レンズ)(レンジへの付着物によってエッジ発生)
ここでは、属性付与処理部の処理として、放射状の線(放射状線とも呼ぶ)及び立体物線の属性処理について説明する。
ここで、直前に処理した俯瞰画面と今回処理した俯瞰画面が同じと判定した場合には、次の放射状線の属性付与の処理は実施しないようにしても良い。直前の俯瞰画面と今回の俯瞰画面とが同じ場合とは、車両が停止している場合、実質車両が停止していると見なせる場合である。すなわち、例えば車両移動が実質止まっていると推定される速度か否かで、直前に処理した俯瞰画面と今回処理した俯瞰画面が同じか判定可能である。
このとき、撮像誤差を考慮して、放射状の線か否かは次のように判定する。すなわち、図12のように、路面俯瞰画像上における線の上端点と撮像中心とを結ぶ直線との差が予め設定した放射状線判定閾値角θ以内の場合には、放射状の線L3と判定する。撮像誤差は、車両挙動変化(ピッチングなど)によって発生する。
また、自車両周囲の路面が反射し易いか否かを判定し、反射が起こり易い路面状態の場合には、放射状線判定閾値角θとして、上述のような初期値の角度よりも大きな角度を使用する。若しくは、連続照合判定(後述のステップS65)のカウントnの閾値として小さな値を使用する。例えば、オン閾値角(例えば±7度)、オフ閾値角(例えば±8度)とする。
・降雨、降雪などでワイパー作動時(例えばワイパー検出センサ8からの信号で判定できる)。
・μが低くなっている(例えばスリップ量で判定出来る)。
・太陽光がレンズに入射している(例えば画像の輝度で判定できる)。
一方、放射状線と判定した線L3が、直前の路面俯瞰画像でも検出されていると判定した場合には、その線L3に放射状線属性FF(n)が付与されているか判定し(ステップS41d)、付与されていると判定した場合には、放射状線の属性FF(n)のカウンタ値nをカウントアップする。すなわち当該線に放射状線FF(n+1)の属性を付与する(ステップS41e)。
また、連続して放射状線(n)の属性と判定された線に対し、その線が映っている2枚の路面俯瞰画像での当該線の位置間の差分(線状の特定の位置での差分)と、車両運動の情報とに基づき、車両運動に沿ってその線が路面上の表示として移動していると判定すると、その線に対し放射状線として見なさない処理を追加しても良い。
連続して取得する路面俯瞰画像に基づき、線の両端部のうち少なくとも上端若しくは下端が検出できた線について、その検出した端部を基準として特定される当該線上の2点をトラッキングする点として選定し(ステップS42a)、車両の移動に伴う当該2点の各移動量を算出する(ステップS42b)。移動量は、自車両の移動に伴い取得した2つの俯瞰画像間での2点の変位量を各移動量とすればよい。そして、その2点の移動量の関係が車両の移動に伴う立体物に沿った移動と判定し(ステップS42c)、その判定条件を満足した場合には、当該線に対して立体物線の属性FR=1を付与する(ステップS42d)。立体物は、静止した車両や壁などの静止物とする。トラッキングする2点の移動量の関係が、例えば自車両に近い側の点(下側の点)の移動量が相対的に遠い点(上側の点)の移動量よりも小さい場合に、立体物の線と判定する。立体物の線は、通常は、立体物のエッジ部分の線である。
次に、ステップS52では、線の補間処理を行う。これは線のかすれを補間する処理である。すなわち、同一の仮想の直線上に沿って検出された複数の線、つまり同一線の可能性がある線同士の補間処理を行う。
まず、同一仮想線上に沿って互いに隣り合う2本の線の間の空白の長さ(途切れ長さとも呼ぶ。)が予め設定した補間長さ以下か判定し(ステップS110)、途切れ長さが補間長さ以下の場合には、線の補間を行ってその2本の線の一本の線と見なす処理を行う(ステップS120)。補間長さは、踏切における線路幅(線路を通過する車輪分の余裕代を含む。)よりも短い値に設定する。補間長さは例えば20cmに設定する。
まず途切れ長さが予め設定した最大補間長さ(例えば1m)を超えるか判定して(ステップS130)、最大補間長さをこえ場合には、補間処理を行わない。すなわち別の線として処理する。
一方、途切れ長さが20cmより長く且つ最大補間長さ以内の線間について、次のような補間処理の適否の判断を行う。
次に、駐車線レベルFLVLが1以上の線、つまり対を成す枠線候補の線が検出されている場合には、空白を構成する2本の線のうちの両端が分かる側の線(検討線と呼ぶ。)について、その線と対(ペア)をなすペア線との比較を行う。検討線は、通常は先に検出された線である。
ここでは、下記に示すような予め設定した駐車枠条件を満足するか否かで判定する。枠線候補の線か否かの処理は、例えば、自車両に対して予め設定した駐車枠存在判定領域(例えば自車両を中心とした半径10m以内の領域)に位置する線に対して行う。
・線が直線と推定される線である。
・線幅が予め設定した線の範囲(駐車枠の線と見なされる線の太さの範囲、例えば2cm〜4cm)である。
・予め設定した離隔範囲(駐車枠の対となる線と見なすことができる範囲、例えば1.5m〜2.5m))に対となる線が存在する。
・対となる線の対応する端部が検出されている場合に、その両方の端点における線の延長方向のズレ量が予め設定したズレ量(例えば50cm)以下である。
・対となる線同士の線幅寸法の差が予め設定した値(例えば8mm)以下である。
・非枠線候補の情報を有しない線である。
ここで、駐車枠の線として検出する線は、車両を駐車した場合における当該車両の前後方向に沿った方向の線(駐車時に車両の側方に存在する線)と推定される線である。なお、線幅を確認しているので、線の端部の形状などは検出可能である。
次に、ステップS65では、駐車線レベルFLVLが「1(n)」の線について、変数nが予め設定した閾値以上(例えば、サンプリング周期100msecでn=3以上)か否かを判定する。そして、線がその条件を満足する場合には、ステップS70にて、予め設定した閾値以上の線について、駐車線レベルFLVLを2に設定変更する。予め設定した閾値は、例えば線の長さとして予め設定した長さ(例えば2m)以上検出可能な値に設定する。ここで、カウンタnの大きさで判定する代わりに、線の長さが予め設定した長さ以上まで検出したか否かで判定し、線の長さが予め設定した長さ(例えば2m)以上まで検出できたと推定された線であって駐車線レベルFLVLが「1(n)」の場合に、駐車線レベルFLVLを2に設定変更するようにしても良い。または車両の移動距離が予め設定した設定移動距離の間、同一の直線と判定した場合に、駐車線レベルFLVLが「1(n)」の線を、駐車線レベルFLVL2に設定変更するようにしても良い。
次に、ステップS75では、駐車線レベルFLVLが2の線について、その両端部の一方が検出されている場合にはステップS80に移行して、当該ステップS80にて駐車線レベルFLVLを3に変更する。
次に、ステップS85では、駐車線レベルFLVLが3の線について、その両端部がともに検出されている場合には、ステップS90に移行し、当該ステップS90にて駐車線レベルFLVLを4に変更する。
ここで、特定の記号が登録されている記号記憶部22を備える。特定の記号は、駐車枠があることを示す記号として記号記憶部22に記憶(登録)されている。特定の記号としては、図15に示すような記号が例示出来る。この記号のうち、図15(a)の記号である「EV」は電気自動車用の駐車枠であることを示す記号である。図15(b)の記号は、「障害者等駐車枠」であることを示す記号である。「EV」及び図15(b)の記号は、その記号自体に、記号が記載された駐車枠に駐車可能な車両タイプを特定する情報を有する。図15(c)の記号は、駐車枠が存在することを示す記号である。図15(d)の記号は、電気自動車用の駐車枠が存在することを示す記号である。
記号抽出部120Aは、自車両周囲の路面を含む撮像画像から、路面上に位置する記号を抽出する。
駐車枠推定部120Cは、記号抽出部120Aが抽出した記号と同じ記号が記憶されていると判定すると、その記号の位置から抽出した記号に対応する駐車枠の位置を推定する。駐車枠推定部120Cは、特定駐車枠判定部120Ca、及び駐車枠特定部120Cbを備える。
確信度算出部120Dは、駐車枠推定部120Cが抽出した駐車枠に駐車する可能性の確信度を求める。確信度算出部120Dは、例えば、自車両の車両タイプが電気自動車であり、記号抽出部120Aが抽出した記号が電気自動車を特定する記号の場合に、自車両に搭載の車輪駆動用のバッテリの充電量に基づき、充電量を低いほど確信度を高く設定する。確信度は、自車両に搭載の車輪駆動用のバッテリの充電量が予め設定した基準充電量(例えば50%の充電量)以下になった場合に、確信度を変更するようにしても良い。
記号抽出部120Aは、ステップS210にて、上述の駐車枠線情報処理部110がステップS10及びS20の処理によって取得した俯瞰画像を定期的に入力する。
次にステップS220にて、入力した俯瞰画像中における路面上と推定されるエリア内にある記号を抽出する。なお、抽出出来ない場合には、駐車記号レベルPSLVLを「0」として、処理を終了する。
ステップS250では、抽出した記号が電気自動車用の駐車ポイントを示す記号か判定する。抽出した記号が電気自動車用の駐車ポイントの場合には、ステップS310に移行する。
ステップS270では、駐車記号レベルPSLVLに「3」を設定する。
ステップS310では、自車両が電気自動車か否かを判定する。自車両が電気自動車の場合には、ステップS320にて駐車記号レベルPSLVLに「3」を設定してステップS330に移行する。一方、自車両が電気自動車では無い場合には、駐車記号レベルPSLVLに「2」を設定して、ステップS350に移行する。
また、ナビ情報に基づき、記号が駐車場内の路面に記載されていると判定した場合に、駐車記号レベルPSLVLの値をカウントアップするようにしても良い。
ステップS350では、駐車記号レベルPSLVLが2以上と判定し、「2」以上の場合には、ステップS360にて、その抽出した記号の位置に基づき、当該記号を含む、予め設定した範囲を仮想の駐車枠として抽出する。駐車枠が存在することを示す記号は、通常駐車枠の中央近傍に記載されている。これを考慮して、例えば、図31の破線のように、記号の位置を中心に予め設定した範囲を駐車枠と推定する。例えば記号の位置の中心から前後方向及び左右方向に2mずつ離れた位置に仮想の駐車枠の線を設定する。なお、記号の前後の向きを駐車枠の前後方向と推定する。
次に、加速抑制作動条件判断部10Jaの処理について、図面を参照しながら説明する。加速抑制作動条件判断部10Jaは、図17に示す処理を予め設定したサンプリング時間毎に行う。
ステップS512では、現在検出している記号に基づき設定された仮想の駐車枠の線位置に対して、駐車線レベルFLVLとして駐車記号レベルPSLVLの値を設定して、ステップS530に移行する。
次にステップS520では、ステップS110で取得した枠線情報に基づいて、駐車枠の有無を判断する。駐車線レベルFLVLが2以上の枠線情報がある場合には駐車枠が有ると判断してステップS530に移行する。一方、駐車線レベルFLVLが2以上の枠線情報が無いため、信頼性の高い駐車枠が無いと判断した場合には、ステップS590に移行し、ステップS590において、加速抑制作動条件判断結果(=加速抑制作動条件非成立)を加速度制限値演算部に出力する。
次にステップS540では、ステップS530で取得した自車両車速に基づいて、自車両車速条件判断を行う。例えば自車両車速が予め設定した値未満の場合にはステップS550に移行し、自車両車速が予め設定した値以上の場合には、加速抑制作動条件非成立と判断してステップS590に移行し、ステップS590にて加速抑制作動条件判断結果(=加速抑制作動条件非成立)を加速抑制量演算部10Jbに出力する。予め設定した値は、例えば15[km/h]とする。
次にステップS560では、ステップS550で取得したブレーキペダル操作情報に基づいて、ブレーキペダル操作の判断を行う。ブレーキペダル操作がないと判断した場合にはステップS570に移行する。一方、ブレーキペダル操作があると判断した場合には、加速抑制作動条件非成立と判断してステップS590に移行し、ステップS590にて、加速抑制作動条件判断結果(=加速抑制作動条件非成立)を加速抑制量演算部10Jbに出力する。
次にステップS580では、ステップS570で取得したアクセル操作量に基づいて、アクセル操作量の判断を行う。例えばアクセル操作量が予め設定した値以上の場合は加速抑制作動条件成立と判断する。一方、アクセルペダル操作が予め設定した値未満の場合には、加速抑制作動条件非成立と判断してステップS590に移行し、ステップS590にて、加速抑制作動条件判断結果を加速抑制量演算部10Jbに出力する。ここで、予め設定した値は、例えば、アクセルペダル19のアクセル開度の3[%]に相当する操作量に設定する。
具体的には、ステップS583では、操舵角演算部10Cから操舵角を取得する。またステップS583では、周囲環境認識情報演算部10Aが演算した自車両周囲画像に基づき、自車両MMと駐車枠L0の角度α、自車両MMと駐車枠L0の距離Dを取得する。ここで、自車両MMと駐車枠L0の角度αは、例えば、図18に示すように、車両の中心を通る車両の前後方向の直線(進行方向に延びる直線)Xと、駐車枠L0に駐車が完了した際に車両の前後方向と平行若しくは略平行になる駐車枠L0部分の枠線L1及びその延長線からなる駐車枠L0側の線との交角の絶対値とする。また、自車両MMと駐車枠L0の距離Dは、例えば、図19に示すように、自車両前端面の中心点と駐車枠L0の入り口L2の中心点との距離とする。但し、自車両MMと駐車枠L0の距離Dは、自車両前端面が駐車枠L0の入り口L2を通過した後は、負の値とする。自車両MMと駐車枠L0の距離Dは、自車両前端面が駐車枠L0の入り口L2を通過した後は、ゼロに設定しても良い。
このように、ステップS583では、駐車枠進入判断情報として、操舵角、自車両MMと駐車枠L0の角度α、及び自車両MMと駐車枠L0の距離Dを取得する。
a:ステップS583で検出した操舵角が予め設定した設定舵角値(例えば45[deg])以上の値となってから予め設定した設定時間(例えば20[sec])以内
b:自車両MMと駐車枠L0の角度αが予め設定した設定角度(例えば40[deg])以下
c:自車両MMと駐車枠L0の距離Dが予め設定した設定距離(例えば3[m])
ここでは、駐車枠進入判断に複数の条件を使用した場合を例示したが、条件の中の1つ以上の条件で判断を行っても良い。また自車両MMの車速の状態によって駐車枠L0への進入か否かを判定しても良い。
ステップS610では、加速抑制作動条件判断部10Jaから加速抑制作動条件判断結果を取得する。
次にステップS620では、加速抑制処理選択情報を取得する。ステップS620は、例えばアクセル操作量演算部10Gからアクセル操作量を、アクセル操作速度演算部10Hからアクセル操作速度を、加速抑制作動条件判断部10Jaから加速抑制作動条件判断結果を取得する。
まずステップS631において、前回の制御サイクルでの判定処理時に第2加速抑制処理が作動していたか否かを判断する。前回の制御サイクルでの判定で第2加速抑制処理が作動していた場合にはステップS633へ移行する。前回の制御サイクルでの判定で第2加速抑制処理が作動していなかった場合にはステップS635へ移行する。
ステップS637では、第2加速抑制処理作動条件の判断を行う。例えば、下記条件(d〜f)を全て満足する場合には、第2加速抑制処理の作動を行うと判定してステップS640に移行する。それ以外の場合はステップS650に移行する。
e:ステップS620で取得したアクセル操作量が予め設定した設定操作量(例えばアクセル開度が50[%])以上
f:アクセル操作速度が予め設定した操作速度(例えば200[%/sec])以上
そして、図19におけるステップS640では、ステップS620で取得した情報に基づいて第2加速抑制量を演算し、ステップS670に移行する。
またステップS660では、アクセルの操作に対して加速抑制を行わない加速抑制量を演算し、ステップS670に移行する。本実施形態では、加速抑制を行わない加速抑制量はゼロに設定する。
次に、目標スロットル開度演算部10Jcの処理について、図面を参照しながら説明する。目標スロットル開度演算部10Jcは、図23に示す処理を予め設定したサンプリング時間毎に行う。
次にステップS720では、アクセル操作量演算部10Gから、アクセル操作量を取得する。
次にステップS730では、加速抑制量演算部10Jbから、加速抑制量を取得する。
θ* = θ1−Δθ
ここで、θ1は、アクセル操作量に応じたスロットル開度を示し、Δθは、加速抑制量を示す。
次にステップS750では、ステップS340で演算された目標スロットル開度θ*をエンジンコントローラ16に出力する。
次に、記号登録装置23について説明する。
記号登録装置23は、図24に示すように、記号画像取得部23A、登録可否判定部23B、登録処理部23C、及び排除記号記憶部24を備える。
登録可否判定部23Bは、記号画像取得部23Aが取得した画像について、排除記号記憶部24に登録されている標示排除記号と一致するものがあるか照合を行う。排除記号記憶部24に登録されている標示排除記号と一致する場合には、その旨の報知を行う。。排除記号記憶部24に登録されている標示排除記号と一致しない場合には、登録指令を登録処理部23Cに出力する。
ここで、記号登録装置23は車両に搭載されていても良いし、搭載されていない専用の装置としてもよい。
本実施形態の処理によるタイムチャートの例を図25に示す。
この例は、駐車枠進入操作検出処理が、自車両MMと駐車枠L0の角度α(条件b)、及び自車両MMと駐車枠L0の距離D(条件c)に基づいて駐車枠L0への進入操作を検出する例である。
ここで予め設定した確からしさ(確信度)を有する駐車枠L0を検出する際に、図11に示すような放射状線の属性FF(n)を持つ線、及び立体物線の属性を持つ線(立体物のエッジの線)を除外して、駐車枠判定を行っている。
同様に立体物のエッジ線についても駐車枠候補から外すことで、立体物の映り込みによる誤認識が抑制されて駐車枠判定の精度が向上する。ここで立体物のエッジ線は、図26に示すように、車両の移動に伴う、見かけ上の線の移動が、路面上に描かれた線の移動の場合とは異なる。これによって立体物の線か否かを判定することが出来る。
このとき、線間の途切れがかすれによるとは考え難いほど離れていても、対を成す線が共に近似した長さで且つ途切れ長さの間隔も近似している場合には、その途切れ部分を補間して2本の線を同一の線と見なすと共に非枠候補として扱う。
ここで、本実施形態の駐車枠判定で駐車枠として検出される例を図30に示す。
また、記号から駐車枠を推定して当該駐車枠を抽出した場合の例を、図31に示す。図31中、破線は、推定した駐車枠の横線及び縦線の位置を示す。図31のように、特定の記号の位置に応じて、その記号の周囲に駐車枠が存在すると推定する。図31の例では、特定の記号として「EV」が例示されている。また駐車枠の抽出は、例えば、記号の向きによって駐車枠の前後方向を特定し、その記号を含む特定範囲を駐車枠内と特定する。なお、この特定される駐車枠は、通常駐車枠として想定される大きさより若干大きめに設定しても良い。また、駐車枠線情報処理部110の処理結果を参照して、駐車枠線情報処理部110が駐車枠の線の可能性があるとする線が、特定の記号から予め設定した距離に存在する場合には、その線と特定記号の向きとに応じて特定した線に基づいて駐車枠を抽出するようにしても良い。
この加速抑制の作動状態のときに、運転者がアクセル操作を行うと、そのアクセル操作に応じた加速指令値(スロットル開度)を抑制する。更に、この加速抑制を実施している状態で、アクセル操作量が予め設定した操作量以上となると(t5)、加速指令値の抑制量を増大する。本実施形態では、予め設定したスロットル開度以下抑えるように加速抑制を行う結果、図32に示すように、アクセル操作量が予め設定した操作量を越える前に比較して、実際のスロットル開度が小さく抑制される。この結果、運転者によるアクセルペダル19の誤操作に対する加速抑制がより有効に実行されることとなる。
以上のように、予め設定した確信度以上の駐車枠としての確からしさを有する駐車枠L0への進入操作を検出、つまり自車両MMが駐車枠L0に進入することを検出することを、加速抑制の作動条件とする。この結果、自車両MMが例えば道路から外れて駐車場に進入しても、駐車枠L0への進入操作を検出するまでは加速抑制を行わないので、その分、運転性の低下を抑えることが出来る。更に、駐車枠L0への進入操作をした後は、加速抑制を行うことで、アクセルペダル誤操作時の加速抑制効果の高い加速抑制を実現することが可能となる。
また、駐車枠L0に進入している状態でも、加速操作量に応じてスロットル開度が大きくなるが、通常よりスロットル開度が小さくなるように加速抑制を行う。すなわち、加速操作量が大きくなるにつれて加速抑制量を大きくすることで、運転性の低下が少なく、加速の抑制効果の高い加速抑制を行うことが可能となる。加速操作が小さい状態では加速抑制量が小さいので運転性低下が少なく、加速操作が大きい状態で加速抑制量が大きくなって加速抑制効果が高くなる。
また、自車両MMの車速と、自車両MMの操舵角と、自車両MMと駐車枠L0の角度α、自車両MMのいずれかのポイントと駐車枠L0の入り口L2の距離D、から駐車枠L0への進入操作を検出することによって、運転者が駐車枠L0を通り過ぎる走行をしているのか、駐車枠L0に駐車しようとしているのかを周囲環境認識処理から区別することができ、より運転性の低下の少ない駐車支援が可能となる。
また記号登録装置23を使用することで、記号記憶部22に使用者が駐車ポイントとして認識したい記号を個別に追加することも出来る。
(1)上記実施形態では、駐車枠の位置を特定する「EV」などの記号の位置から、その記号に対応する駐車枠の位置を推定した場合を例示した。自車両進行方向に上記記号を検出し、その記号自体に予め設定した距離(例えば記号から2m)以内に自車両が近づいたと判定したら、上記加速抑制制御を実行するようにしても良い。
(3)また、上記実施形態では、ステップS586で、駐車枠進入判断として、駐車枠進入有りか無しかの2値化で加速抑制制御の開始判定を行っている。これに対し、駐車枠進入有りの場合について、その駐車枠への進入の確からしさを示す進入確信度ALVLを使用して複数段階で駐車枠への進入の確からしさを判定しても良い。そして、その進入確信度ALVLと駐車線レベルFLVLに応じて、加速抑制制御の内容を変更しても良い。
図34に示す駐車支援の制御は、総合確信度TLVLが「極低」の場合には、アクセル開度が80%以上となると加速抑制を開始して、予め設定した量(小さい量)だけアクセル抑制を行う。また、総合確信度TLVLが「低」の場合には、アクセル開度が80%以上となると加速抑制を開始して、予め設定した量(総合確信度TLVLが「極低」よりも大きな値)だけアクセル抑制を行うと共に運転者へのアクセル抑制の報知処理を行う。また、総合確信度TLVLが「高」の場合には、アクセル開度が50%以上となると加速抑制を開始して、予め設定した量(総合確信度TLVLが「極低」よりも大きな値)だけアクセル抑制を行うと共に運転者へのアクセル抑制の報知処理を行う。また、総合確信度TLVLが「極高」の場合には、アクセル開度が50%以上となると加速抑制を開始して、予め設定した量(総合確信度TLVLが「高」よりも大きな値)だけアクセル抑制を行うと共に運転者へのアクセル抑制の報知処理を行う。図34に示される加速抑制実施条件(アクセル開度)のパーセントは例示である。
また検出した駐車枠への進入支援のための制駆動力制御に限定されない。検出した駐車枠に基づく制駆動力制御は、検出した駐車枠からの車両の発進制御であっても良い。
ここで、周囲環境認識情報演算部10Aは撮像部を構成する。ステップS20は俯瞰画像取得部を構成する。記号判定部120Bは記号判定部を構成する。図16において、ステップS210〜S230、S310は、記号抽出部120Aを構成する。ステップS235は、記号判定部120Bを構成する。ステップS360は駐車枠推定部120Cを構成する。ステップS240〜S280は特定駐車枠判定部120Caを構成する。ステップS300は駐車枠特定部120Cbを構成する。ステップS320〜S340は確信度算出部120Dを構成する。
本実施形態によれば、次の効果を奏する。
(1)記号記憶部22は、1又は2以上の特定の記号を駐車枠があることを示す記号として記憶している。記号抽出部120Aは、自車両周囲の路面を含む撮像画像から路面上に位置する記号を抽出する。記号判定部120Bは、抽出した記号と同じ記号が記号記憶部22に記憶されているか否かを判定する。走行制御コントローラ10は、記号判定部120Bの判定結果に基づき、記号記憶部22に記憶されている記号と同じ記号が自車両の進行方向前方に存在すると判定した場合、加速操作子の操作量に応じ自車両の発生させる加速度を低減制御する。
そして、特定の記号によって駐車枠の位置を推定出来る結果、駐車枠に対して進行しているときに、踏み間違いの可能性が高い場合には、自車両の加速が低減される。このため、運転者へ違和感を与える可能性を低くすることができる。ここで、本実施形態における上記特定の記号は、通常、駐車枠内の中央若しくはその近傍に標示されている。
例えば駐車枠に進入する際に、仮にブレーキペダルとアクセルペダルを踏み間違えても、自車両の加速が抑制される。
この構成によれば、特定の記号に対応する駐車枠に自車両が駐車する可能性が高いほど大きく加速抑制を行うことで、より確実に駐車における運転支援を行うことが可能となる。
この構成によれば、自車両が電気自動車であって、記号が電気自動車用の駐車ポイントを示す記号の場合に、より確実に、自車両が、記号から特定される駐車枠に駐車するか否かを判定することが出来る。
バッテリ充電量が低いほど、駐車して充電を行うことが予想される。したがって、この構成によれば、より確実に、自車両が、記号から特定される駐車枠に駐車するか否かを判定することが出来る。
記号画像取得部23Aは、登録する記号の画像を取得する。排除記号記憶部24には、車道に標示される交通法規上の標示排除記号として登録されている。そして、記号登録装置23は、記号画像取得部23Aが取得した画像の記号が、排除記号記憶部24に登録されている標示排除記号と一致する場合には、記号記憶部22への上記号画像取得部23Aが取得した画像の記号の登録を拒否する。
この構成によれば、記号記憶部22への交通法規上の記号が登録されることを防止することが出来る。また、運転者が良く使用する駐車枠の記号を個別に追加することが可能となる。
この構成によれば、より確実に反射線に対応する線を検出可能となる。これによって、駐車枠検出の信頼性が向上して、駐車に対する運転支援の精度を向上させることが可能となる。
これによって、路面反射の線をより確実に検出可能となる。これによって、駐車枠検出の信頼性が向上して、駐車に対する運転支援の精度を向上させることが可能となる。
(9)走行制御コントローラ10は、予め設定した時間毎に俯瞰画像から放射状の線を抽出し、線検出部が検出した線が、放射状線検出部で放射状の線でないとして抽出されると、その線に非放射状線情報を付加する。そして、駐車枠判定部は、ノイズ情報判断部がノイズ情報を付加した線であっても、そのノイズ情報が付加される前に非放射状線情報が付加されている場合には、その線を駐車枠線の候補の線として駐車枠判定の処理を行う。
これによって、路面で反射した線で無い線を路面で反射した線と誤認することを抑制可能となる。
これによって、同一画面上で線検出と反射線の検出を行うので、検出した線と反射したと推定した線の照合に座標変換などが不要となり、当該照合処理等が簡易となる。
また、俯瞰画像での線の判定の為、他の線との平行性などの判定も簡易となる。
(11)走行制御コントローラ10は、周囲環境認識センサの検出情報(カメラが撮像した画像情報)に基づき自車両周囲の環境を認識する。走行制御コントローラ10は、運転者が加速指示するために操作する加速操作子(アクセルペダル)の状態から加速操作量を検出する。走行制御コントローラ10は、自車両MMの状態を検出する。走行制御コントローラ10は、周囲環境と自車両MMの走行状態とに基づいて、自車両MMが駐車枠L0に進入することを検出する。走行制御コントローラ10は、自車両MMが駐車枠L0に進入すると判定すると、加速操作子の操作量に応じた加速指令値(スロットル開度)を抑制する。走行制御コントローラ10は、加速指令値を抑制しているときに予め設定した設定加速操作量以上の加速操作を検出したら、加速指令値の抑制を増大する。
また、駐車枠L0に進入する場合と、進入操作後さらに加速操作が行われた場合との2段階に分けて加速抑制を行うことによって、運転性の低下を抑えながらアクセルペダル誤操作時の加速抑制効果がより高い加速抑制を行うことが可能となる。
この構成によれば、運転者が大きな加速操作を行っても、その加速操作による加速指令値を、予め設定した値以上には大きくならないように加速抑制を行う、これによって、加速操作の誤操作によって運転者の意図しない加速が発生することを抑制できる。この結果、より駐車枠L0内への駐車を支援可能となる。
この構成によれば、加速操作量として、アクセルペダル19の操作量及びアクセルペダル操作の操作速度を検出する。これによって、加速操作の誤操作と通常操作との区別をより精度良く行うことができる。この結果、運転性の低下が少なく、加速の抑制効果の高い加速抑制を実現することが可能となる。
この構成によれば、自車両MMの進行方向と駐車枠L0への駐車方向とのなす角度αを自車両MMと駐車枠L0の角度αとすることにより、検出している駐車枠L0への進入操作の進行具合を検出することが可能となる。従って、その検出値によって、自車両MMが駐車枠L0に駐車しようとしているか否かを精度よく判断することができる。この結果、運転性の低下が少なく、加速の抑制効果の高い運転支援を実現することが可能となる。
次に、第2実施形態について図面を参照して説明する。ここで、第1実施形態と同様な構成には同一の符号を付して説明する。
(構成)
第2実施形態の基本構成は、第1実施形態と同様である。ただし、第2実施形態は、自車両MMの予想軌道と駐車枠L0の入り口位置、枠範囲に基づいて駐車枠L0への進入判断を行う場合の例である。
次に、その構成の相違点について説明する。
加速抑制作動条件判断部10Jaにおいて、ステップS583は、操舵角、操舵角速度、自車両MMの車速、シフトポジション、駐車枠線位置、駐車枠L0の入り口位置を取得する。
本実施形態のステップS586は、図35に示すように、S586A〜S586Dの処理からなる。
ステップS586Aでは、自車両予想軌道を演算する。例えばステップS580Aで取得した操舵角、操舵角速度、シフトポジションに基づいて自車両予想軌道を演算する。ここで、自車両の予想軌道の演算方法は種々存在しており、本実施形態では、特に自車両の予想軌道の演算方法について限定しない。例えばシフトポジションにて自車両MMの進行方向を特定し、現在の操舵角、操舵角速度で特定される操向輪の向きによって、自車両MMの予想軌道を求める。
ステップS586Dでは、ステップS586Bで演算された自車両予想軌道枠線重複率と、ステップS586Cで演算された自車両予想軌道駐車枠入り口重複率とに基づいて、自車両駐車枠進入判断を行う。
例えば、自車両予想軌道枠線重複率が予め設定した値以上であり、かつ、自車両予想軌道駐車枠入り口重複率が予め設定した値以上の場合に、自車両MMが駐車枠L0に進入すると判断する。具体的には自車両予想軌道枠線重複率が40[%]以上、自車両予想軌道駐車枠入り口重複率が30[%]以上の場合に、自車両MMが駐車枠L0に進入すると判断する。ここで、自車両予想軌道枠線重複率と自車両予想軌道駐車枠入り口重複率の何れかのみで自車両駐車枠進入の判断を行う構成としてもよい。
また自車両予想軌道枠線重複率によって、駐車枠への進入の確からしさを示す進入確信度ALVLを2以上の段階で設定するようにしても良い。
その他の構成は、第1実施形態と同様である。
本実施形態の処理によるタイムチャートの例を図38に示す。
この例は、走行制御コントローラ10が、自車両MMの予測軌道と駐車枠L0との位置関係に基づいて駐車枠L0への進入操作を検出する例である。
この図38に示す例では、予め設定した確からしさ(確信度)を有する駐車枠L0を検出し(t1)且つ車速が予め設定した設定速度以下の状態になると(t2)、駐車枠L0への進入操作の判定を行う。そして、図38に示す例では、自車両予想軌道枠線重複率が予め設定した値以上となり(t3)、且つ自車両予想軌道駐車枠入り口重複率が予め設定した値以上となったことを検出すると(t7)、駐車枠L0への進入操作と判定して加速抑制の作動状態となる。
本実施形態では、自車両予想軌道枠線重複率と自車両予想軌道駐車枠入り口重複率に基づいて駐車枠進入判断を行うことにより、より正確に駐車操作を検出することができ、より運転性の低下が少ない支援システムを実現することが可能となる。
第2実施形態によれば、第1実施形態による効果に加えて次の効果を奏する。
(1)走行制御コントローラ10は、自車両MMの操舵角、自車両MMの操舵角速度、自車両MMの車速、及び自車両MMのシフトポジションの情報と、駐車枠L0の枠線位置及び駐車枠L0の入り口位置の少なくとも1つの情報とに基づいて、自車両MMの予想軌道と駐車枠L0の位置関係を検出し、検出した自車両MMの予想軌道と駐車枠L0の位置関係に基づいて駐車枠L0への進入操作を検出する。
これによって、重なり度合が大きいほど、自車両MMが駐車枠L0に向かっていることが検出できるので、より精度良く自車両MMの駐車枠L0への進入操作を検出することができる。
重なり度合によって、自車両MMが駐車枠L0に向けて移動していることが検出出来る。この結果、より精度良く自車両MMの駐車枠L0への進入操作を検出することができる。
1a 受光部
8 ワイパー検出センサ
10 走行制御コントローラ
10A 周囲環境認識情報演算部
110 駐車枠線情報処理部
120 登録記号情報処理部
120B 記号判定部(記号判定部)
120C 駐車枠推定部
120Ca 特定駐車枠判定部
120Cb 駐車枠特定部
120D 確信度算出部
10 走行制御コントローラ
10A 周囲環境認識情報演算部
10B 自車両車速演算部
10C 操舵角演算部
10D 操舵角速度演算部
10E シフトポジション演算部
10F ブレーキペダル操作情報演算部
10G アクセル操作量演算部
10H アクセル操作速度演算部
10J 制駆動力制御部
10Ja 加速抑制作動条件判断部
10Jb 加速抑制量演算部
10Jc 目標スロットル開度演算部
22 記号記憶部
23 記号登録装置
23A 記号画像取得部
23B 登録可否判定部
23C 登録処理部
24 排除記号記憶部
ALVL 進入確信度
FLVL 駐車線レベル
PSLVL 駐車記号レベル
TLVL 総合確信度
ARA1〜4 俯瞰画像とする領域
FF 放射状線属性
FR 立体物線の属性
L0 駐車枠
Claims (6)
- 運転者が加速指示するために操作する加速操作子と、
上記加速操作子の加速操作量を検出する加速操作量検出部と、
上記加速操作量検出部が検出した加速操作量に応じた加速を自車両に発生させる制駆動力制御部と、
1又は2以上の特定の記号を、駐車枠が存在することを示す記号として記憶した記号記憶部と、
自車両の進行方向前方の路面を含む撮像画像を取得する撮像部と、
上記撮像画像の中に上記特定の記号が存在するか否かを判定する記号判定部と、
上記記号判定部の判定結果に基づき、上記記号記憶部に記憶されている記号と同じ記号が自車両の進行方向前方に存在すると判定した場合、上記制駆動力制御部が制御する上記加速を低減させる加速抑制部と、
を備えることを特徴とする運転支援装置。 - 上記撮像画像から記号を抽出する記号抽出部を更に備え、
上記記号判定部は、上記記号抽出部が抽出した記号と同じ記号が上記記号記憶部に記憶されているか否かを判定することで、上記特定の記号が存在するか否かを判定することを特徴とする請求項1に記載した運転支援装置。 - 上記記号記憶部に記憶されている記号の少なくとも一部の記号は、駐車可能な車両タイプを特定する記号、又は駐車可能な車両タイプを特定する情報が付加されて記憶された記号であり、
更に、上記抽出した記号の路面位置に対応する駐車枠に自車両が駐車する可能性の確信度を求める確信度算出部と、
上記記号抽出部が抽出した記号と同じ記号が上記記号記憶部に記憶されていると判定すると、上記抽出された記号から特定される駐車枠に上記自車両が駐車しても良い駐車枠であるか否かを判定する特定駐車枠判定部と、を備え、
上記特定駐車枠判定部は、上記記号抽出部が抽出した記号から特定される駐車可能な車両タイプと自車両の車両タイプとが一致する場合に、上記自車両が駐車しても良い駐車枠であると判定し、
上記確信度算出部は、上記自車両が駐車しても良い駐車枠であると判定された場合、上記自車両が駐車しても良い駐車枠で無いと判定された場合に比べて、上記確信度を高く設定し、
上記加速抑制部は、上記自車両の進行方向前方に存在すると判定した記号に対する上記確信度が高いほど、上記加速を低減させる低減量を大きくすることを特徴とする請求項2に記載した運転支援装置。 - 上記記号記憶部に、上記駐車可能な車両タイプとして電気自動車用の駐車枠を特定する記号が記憶され、
上記特定駐車枠判定部は、自車両の車両タイプが電気自動車であり、上記記号抽出部が抽出した記号が電気自動車を特定する記号の場合に、上記自車両が駐車しても良い駐車枠があると判定することを特徴とする請求項3に記載した運転支援装置。 - 上記確信度算出部は、自車両の車両タイプが電気自動車であり、且つ上記記号抽出部が抽出した記号が電気自動車を特定する記号の場合に、自車両に搭載の車輪駆動用のバッテリの充電量が低いほど上記確信度を高く算出することを特徴とする請求項4に記載した運転支援装置。
- 請求項1〜請求項5のいずれか1項に記載の運転支援装置の上記記号記憶部に記号を登録する記号登録装置であって、
登録する記号の画像を取得する記号画像取得部と、
車道に標示される交通法規上の標示記号を標示排除記号として記憶した排除記号記憶部と、を備え、
上記記号画像取得部が取得した画像の記号が、上記排除記号記憶部に記憶されている標示排除記号と一致する場合には、上記記号記憶部への上記号画像取得部が取得した画像の記号の登録を拒否することを特徴とする記号登録装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013242977A JP6287106B2 (ja) | 2013-11-25 | 2013-11-25 | 運転支援装置及び記号登録装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013242977A JP6287106B2 (ja) | 2013-11-25 | 2013-11-25 | 運転支援装置及び記号登録装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015101199A true JP2015101199A (ja) | 2015-06-04 |
JP6287106B2 JP6287106B2 (ja) | 2018-03-07 |
Family
ID=53377285
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013242977A Active JP6287106B2 (ja) | 2013-11-25 | 2013-11-25 | 運転支援装置及び記号登録装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6287106B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017021747A (ja) * | 2015-07-15 | 2017-01-26 | クラリオン株式会社 | 車両用駐車支援装置 |
JP2019188958A (ja) * | 2018-04-23 | 2019-10-31 | クラリオン株式会社 | 駐車支援装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009205191A (ja) * | 2008-02-26 | 2009-09-10 | Hitachi Ltd | 駐車スペース認識装置 |
JP2012250673A (ja) * | 2011-06-06 | 2012-12-20 | Nissan Motor Co Ltd | 車両用加速抑制装置及び車両用加速抑制方法 |
-
2013
- 2013-11-25 JP JP2013242977A patent/JP6287106B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009205191A (ja) * | 2008-02-26 | 2009-09-10 | Hitachi Ltd | 駐車スペース認識装置 |
JP2012250673A (ja) * | 2011-06-06 | 2012-12-20 | Nissan Motor Co Ltd | 車両用加速抑制装置及び車両用加速抑制方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017021747A (ja) * | 2015-07-15 | 2017-01-26 | クラリオン株式会社 | 車両用駐車支援装置 |
JP2019188958A (ja) * | 2018-04-23 | 2019-10-31 | クラリオン株式会社 | 駐車支援装置 |
JP7075273B2 (ja) | 2018-04-23 | 2022-05-25 | フォルシアクラリオン・エレクトロニクス株式会社 | 駐車支援装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6287106B2 (ja) | 2018-03-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5904286B2 (ja) | 運転支援装置 | |
JP5994865B2 (ja) | 車両用加速抑制装置及び車両用加速抑制方法 | |
JP6129268B2 (ja) | 車両用運転支援システムおよび運転支援方法 | |
CN111741876B (zh) | 驻车辅助装置 | |
JP2017147629A (ja) | 駐車位置検出システム及びそれを用いた自動駐車システム | |
WO2022138123A1 (en) | Available parking space identification device, available parking space identification method, and program | |
JPH1069598A (ja) | 車両の衝突防止装置 | |
JP5900651B2 (ja) | 運転支援装置及び運転支援方法 | |
JP6299171B2 (ja) | 運転支援装置 | |
JP2012234373A (ja) | 運転支援装置 | |
JP6287106B2 (ja) | 運転支援装置及び記号登録装置 | |
CN109195849B (zh) | 摄像装置 | |
CN110869245B (zh) | 泊车辅助方法以及泊车辅助装置 | |
US20230347939A1 (en) | Driving assistance device | |
JP2018079929A (ja) | 運転支援装置 | |
JP5900649B2 (ja) | 運転支援装置 | |
JP6273789B2 (ja) | 運転支援装置 | |
JP2021075117A (ja) | 車両制御方法及び車両制御装置 | |
JP2007286873A (ja) | 車載周辺他車検出装置 | |
JP7473087B2 (ja) | 駐車支援装置、駐車支援方法 | |
CN115050203B (zh) | 地图生成装置以及车辆位置识别装置 | |
WO2023002863A1 (ja) | 運転支援装置、運転支援方法 | |
JP2019185219A (ja) | 経路生成装置、経路生成方法、およびプログラム | |
JP2022123581A (ja) | 管制装置 | |
JP6240553B2 (ja) | 対象物検知装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160926 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170619 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170627 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170814 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180122 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6287106 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |