JP2016004521A - 操舵支援制御装置 - Google Patents

操舵支援制御装置 Download PDF

Info

Publication number
JP2016004521A
JP2016004521A JP2014126147A JP2014126147A JP2016004521A JP 2016004521 A JP2016004521 A JP 2016004521A JP 2014126147 A JP2014126147 A JP 2014126147A JP 2014126147 A JP2014126147 A JP 2014126147A JP 2016004521 A JP2016004521 A JP 2016004521A
Authority
JP
Japan
Prior art keywords
intersection
lane
steering assist
steering
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014126147A
Other languages
English (en)
Other versions
JP6325365B2 (ja
Inventor
明博 渡邉
Akihiro Watanabe
明博 渡邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Heavy Industries Ltd filed Critical Fuji Heavy Industries Ltd
Priority to JP2014126147A priority Critical patent/JP6325365B2/ja
Publication of JP2016004521A publication Critical patent/JP2016004521A/ja
Application granted granted Critical
Publication of JP6325365B2 publication Critical patent/JP6325365B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】交差点での操舵支援機能の不要作動や、運転者が感じる煩わしさ等を低減させる。【解決手段】自車両の前方を撮像した撮像画像を得る撮像部と、撮像画像を用いて操舵支援機能の作動条件の判定を行う画像処理部と、画像処理部によって判定される作動条件を少なくとも含む、1又は複数の所定の作動条件の判定結果に基づいて、操舵支援制御を行う操舵支援制御部とを備える。画像処理部は、自車両が交差点に進入する直前と判定される交差点直前タイミングで、撮像画像からの横断歩道の検出結果と車線の非存在距離の検出結果を用いて、操舵支援機能を停止させる支援不実行交差点であるか否かの判定を行い、当該判定結果を反映した作動条件の判定を行う。これにより操舵支援機能の作動/停止に交差点状況が反映されるようにする。【選択図】図7

Description

本発明は自動車に搭載される操舵支援制御装置についての技術分野に関する。
特開2013−246640号公報
操舵支援機能として、自動車が車線を認識し、中央を走行するように継続してステアリング操作を支援するレーンキープ機能が知られている。
この操舵支援として、車載カメラにより車線を認識し、また作動させるタイミングを決定し、それらに基づいてステアリングを制御するシステムが実用化されている。なお「車線」とは、走行路(レーン)を規定するいわゆる白線の意味で用いる。
なお特許文献1には、車載カメラで取得した画像から自車両の左右の車線と横断歩道を検出し、これらから交差点や分岐合流点を検知する技術が開示されている。
操舵支援機能について、交差点においては、車線の途切れや横断歩道その他の各種の白線の存在などにより次のような不都合が生ずる可能性がある。
まず車線の有無を適切に認識しにくい状況であることから、誤認識に基づく不要動作が発生することがある。通常、操舵支援機能は、適切に車線を認識している状態で作動し、車線が認識できないときは機能を停止させるようにしている。路面に多数の白線が存在する交差点でレーンを規定する車線以外のものを、車線と誤認識してしまって操舵支援機能が作動すると、不適切なアシスト動作が行われる恐れがある。
また、車線の認識状態で操舵支援機能が作動/停止されるが、特に交差点内では作動/停止の切り替えが発生しやすく、運転者にとって操舵支援機能の作動と停止に統一感がなく感じられ、操舵支援機能の状態がわかりずらい。即ち車線認識の不安定さにより、交差点内で操舵支援機能の作動や停止のタイミングがまちまちで、ハンチングも起こりやすい。また交差点の直前で作動した際に、交差点に進入直後に作動がキャンセルされることも生じることもある。
これらのことから運転者に不安定感を与えてしまったり、煩わしく感じさせたりすることがある。
そこで、本発明は操舵支援機能について特に交差点での状況に応じた制御を行うことで、交差点での不要作動や、運転者が感じる煩わしさ等を低減させることを目的とする。
第1に、本発明に係る操舵支援制御装置は、自車両の前方を撮像した撮像画像を得る撮像部と、前記撮像画像を用いて操舵支援機能の作動条件の判定を行う画像処理部と、前記画像処理部によって判定される作動条件を少なくとも含む、1又は複数の所定の作動条件の判定結果に基づいて、操舵支援制御を行う操舵支援制御部とを備え、前記画像処理部は、自車両が交差点に進入する直前と判定される交差点直前タイミングで、前記撮像画像からの横断歩道の検出結果と車線の非存在距離の検出結果を用いて、操舵支援機能を停止させる支援不実行交差点であるか否かの判定を行い、当該判定結果を反映した作動条件の判定を行うものである。
交差点内では撮像画像による車線認識は各種要因により精度が低下する。そのため、交差点では操舵支援機能は停止させることが考えられるが、実際の交差点は、その広さや横断歩道の有無など多様であり、一概に交差点で操舵支援機能を停止させることが最適とはいえない。そこで、横断歩道の検出結果と車線の非存在距離の検出結果を用いて、操舵支援機能を停止させる支援不実行交差点であるか否かの判定を行うようにする。車線の非存在距離とは、車線が途切れている距離であり、交差点の広さを表す値となる。
第2に、上記した本発明に係る操舵支援制御装置においては、前記画像処理部は、前記交差点直前タイミングにおいて、横断歩道が検出されており、かつ操舵支援機能が作動中であるときは、車線の非存在距離が所定距離以上であれば、支援不実行交差点と判定するとともに操舵支援機能の作動復帰を抑制する処理を行い、また前記交差点直前タイミングにおいて、横断歩道が検出されており、かつ操舵支援機能が停止中であるときは、車線の非存在距離に関わらず、操舵支援機能の作動復帰を抑制する処理を行うことが望ましい。
車線が途切れていることが検出された場合に、横断歩道が検出されれば、その場所は交差点である可能性が高い。そのため車線の非存在距離が長い、広い交差点では、車線の誤認識回避のために操舵支援機能を継続して停止させることが好適である。そこで、交差点進入直前の時点で操舵支援機能が作動中であれば、操舵支援機能を停止させ、かつ復帰抑制して、交差点内で操舵支援機能が作動状態に復帰しないようにする。また交差点進入直前の時点で操舵支援機能が停止中であれば、停止状態のままで復帰抑制して、交差点内で操舵支援機能が復帰しないようにする。
第3に、上記した本発明に係る操舵支援制御装置においては、前記画像処理部は、前記交差点直前タイミングにおいて、横断歩道が検出されておらず、かつ操舵支援機能が作動中であるときは、車線の非存在距離が所定距離以上であれば、支援不実行交差点と判定するとともに操舵支援機能の作動復帰を抑制する処理を行い、また前記交差点直前タイミングにおいて、横断歩道が検出されておらず、かつ操舵支援機能が停止中であるときは、車線の非存在距離が所定距離以上であれば、操舵支援機能の作動復帰を抑制する処理を行うことが望ましい。
車線の途切れが検出されても、横断歩道が検出されない場合、その場所は交差点ではない可能性もある。しかし車線の非存在距離が所定距離以上に長い場合は、交差点と考えてもよく、また車線認識も不安定になるため、車線誤認識による誤作動回避のために操舵支援を停止することが適切である。
この考え方に基づき、交差点進入直前の時点で操舵支援機能が作動中であれば、操舵支援機能を停止させ、かつ復帰抑制して、交差点内で操舵支援機能が復帰しないようにする。
また交差点進入直前の時点で操舵支援機能が停止中であれば、車線の非存在距離が所定距離以上で交差点の可能性が大きければ、停止状態のままで復帰抑制する。但し車線の非存在距離が所定距離未満であれば、交差点ではない可能性も高く、また途切れた先の車線が観測できるため、車線認識が不安定になる可能性は小さい。そこで復帰抑制はしない。
第4に、上記した本発明に係る操舵支援制御装置においては、前記画像処理部は、前記交差点直前タイミングにおいて、横断歩道が検出されており、かつ操舵支援機能が作動中であるときは、車線の非存在距離が所定距離未満であれば、支援不実行交差点との判定を行わず、また前記交差点直前タイミングにおいて、横断歩道が検出されておらず、車線の非存在距離が所定距離未満であれば、支援不実行交差点との判定を行わないことが望ましい。
車線の途切れが検出され、横断歩道の存在により交差点と推定される場合、車線の非存在距離が所定距離未満の小さい交差点では、誤認識の可能性少ないため、操舵支援機能が作動中ならそのまま操舵支援を可能とする。
車線が途切れていても、横断歩道がなく交差点ではない可能性がある場合は、車線の非存在距離が所定距離未満の小さい交差点では、車線の誤認識の可能性少ないため、操舵支援機能が作動中ならそのまま操舵支援を可能とし、操舵支援停止中であっても操舵支援機能を作動可能とする。
第5に、上記した本発明に係る操舵支援制御装置においては、前記画像処理部は、操舵支援機能の作動復帰を抑制する処理として、一定時間、操舵支援機能の作動条件を充足させないようにする処理を行うことが望ましい。
一定時間とは、例えば交差点を通過するまで復帰させないために必要な時間とする。
本発明によれば交差点内での操舵支援機能のハンチングや不要作動等の発生を低減又は回避でき、また操舵支援機能の安定性を向上させることで運転者が感じる煩わしさや不安感を軽減させることができる。
本発明の実施の形態の操舵支援制御装置を説明するためのブロック図である。 各種の交差点状況の説明図である。 各種の交差点状況の説明図である。 実施の形態の交差点内での操舵支援機能の作動状態の説明図である。 実施の形態の操舵支援制御部の処理のフローチャートである。 実施の形態の画像処理部の処理のフローチャートである。 実施の形態の交差点状況判定処理のフローチャートである。 実施の形態の車線条件情報出力処理のフローチャートである。
以下、実施の形態を図面を参照して説明する。図1は実施の形態の操舵支援制御装置を含む車載システムの要部を示している。
実施の形態の操舵支援制御装置は、撮像ユニット10と操舵支援制御部20により構成される。また図1では、この操舵支援制御装置によって操舵支援制御が行われる対象としてのステアリング機構30、モータ駆動部21を示し、また、操舵支援制御に用いるセンサ類として、車速センサ15、ヨーレートセンサ16、横加速度センサ17を示している。さらに操舵支援制御の関連部位として表示部22、発音部23を示している。
撮像ユニット10は、車両において進行方向(前方)を撮像可能に設置された2台の撮像部11L、11Rと画像処理部12を備えている。
撮像部11L,11Rは、いわゆるステレオ法による測距が可能となるように、例えば自車両のフロントガラスの上部付近において車幅方向に所定間隔を空けて配置されている。撮像部11L,11Rの光軸は平行とされ、焦点距離はそれぞれ同値とされる。また、フレーム周期は同期し、フレームレートも一致している。撮像素子の画素数は例えば1280×960程度である。
撮像部11L,11Rの各撮像素子で得られた電気信号(撮像画像信号)はそれぞれA/D変換され、画素単位で所定階調による輝度値を表すデジタル画像信号(撮像画像データ)とされる。撮像画像データは例えばカラー画像データとされ、従って1画素につきR(赤)、G(緑)、B(青)の3つのデータ(輝度値)が得られる。輝度値の階調は、例えば256階調とされる。
画像処理部12は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)及びワークエリアとしてのRAM(Random Access Memory)を備えたマイクロコンピュータで構成され、ROMに格納されたプログラムに従った各種の処理を実行する。
画像処理部12は、撮像部11L、11Rが自車両の前方を撮像して得た撮像画像データとしての各フレーム画像データを内部メモリに格納していく。そして各フレームとしての2つの撮像画像データに基づき、外部環境として車両前方に存在する物体を認識するための各種処理を実行する。例えば前方車両や障害物等の立体物の認識を行うが、本実施の形態の処理に関しては、特に車線認識や横断歩道認識を行う。
この画像処理部12における撮像画像データの処理は、例えば次のように行われる。画像処理部12は、先ず撮像部11L,11Rで撮像した自車両の進行方向の1組の画像(それぞれの1フレームの画像)に対して、対応する位置のずれ量から距離情報を求め、距離画像を生成する。
車線(白線)の認識において画像処理部12は、車線が道路面と比較して高輝度であることから、道路の幅方向の画素の輝度変化を評価して、画像平面における左右の車線候補点の位置を画像平面上で特定する。この車線候補点の実空間上の位置(x,y,z)は、画像平面上の位置(i,j)と、この位置に関して算出された視差(すなわち、距離情報)とに基づいて、周知の座標変換式により算出される。自車両の位置を基準に設定された実空間の座標系は、例えば、右側の撮像部11Rの中央真下の道路面を原点とし、車幅方向をx軸、車高方向をy軸、車長方向をz軸として定義される。実空間の座標系に変換された各車線候補点は、例えば、互いに近接する点列毎にグループ化され、最小自乗法等を用いて二次曲線(車線近似線)に近似される。そして画像処理部12は、自車両の前方に延在する左右の車線に基づいて自車進行路の推定を行う。
横断歩道の認識についても、同様に道路の幅方向の画素の輝度変化を評価していくことで実現可能である。特に横断歩道の場合は、幅方向に濃淡の変化が規則的に繰り返されるという状態を検出することで、横断歩道の存在を認識可能である。
また、側壁や立体物データの認識において、画像処理部12は、距離画像上のデータと、予め記憶しておいた3次元的な側壁データ、立体物データ等の枠(ウインドウ)とを比較し、道路に沿って延在するガードレール、縁石等の側壁データを抽出するとともに、立体物を、自転車、二輪車、歩行者、電柱等その他の立体物に分類して抽出する。立体物データの抽出において、画像処理部12は、それぞれの自車両との距離(相対距離)の時間的変化の割合から自車両との相対速度を演算し、この相対速度と自車速とを加算することにより各々の立体物の速度を算出する。この際、特に車両として分類された立体物は、その速度から、自車両の前方方向を正として、速度が略0の車両は停止車両、速度が正(自車両と同じ方向に進む車両)で自車両に最も近い車両は先行車、速度が負の車両(自車両に向かってくる車両)は対向車として分類して認識される。
以上のような立体物や車線、横断歩道等の画像認識結果は、各種の運転支援制御に用いられる。例えば車間距離制御、衝突回避制御などである。
本実施の形態の操舵支援機能に関しては、検出された車線データ(自車進行路等を含む)、道路に沿って存在するガードレール、縁石等の側壁データ、及び、立体物データ(種別、距離、速度、自車両との相対速度、先行車情報等)の各データは操舵支援制御部20に入力される。
さらに画像処理部12は、後述するように操舵支援機能の作動条件の判定も行い、その判定結果も操舵支援制御部20に供給する。
操舵支援制御部20は、上述の各入力信号を基に、自動操舵制御等の操舵支援を行う。すなわち、操舵支援制御部20は、例えば、自車前方の車線に基づいて、操舵角をドライバとは独立して設定することにより、自車両を自車進行路の中央に維持する車線維持制御や、自車両の自車進路からの逸脱(自車進行路を規定する白線に対する自車両の逸脱)を防止する車線逸脱制御等の操舵支援を行うことが可能である。
操舵支援制御部20は、各種の操舵支援機能の作動条件を判断し、作動条件が満たされている場合に操舵支援制御を実行する。操舵支援機能が作動可か否かは、運転者の操作情報SD、画像処理部12からの情報、各センサからの情報などに基づいて行う。詳しくは後述する。なお、運転者の操作情報SDとは、ここではACC(Adaptive Cruise Control)スイッチや操舵支援実行スイッチのオン/オフ操作などの操作情報を包括的に示すものとする。
操舵支援制御部20及び画像処理部12には、例えば車速を検出する車速センサ15、ヨーレートを検出するヨーレートセンサ16、及び、横加速度を検出する横加速度センサ17等が接続されている。
操舵支援制御の対象となるステアリング機構30は例えば次のように構成される。この例では、ステアリング機構30は操舵角をドライバ入力と独立して設定自在な電動パワーステアリング装置として示している。
ステアリング機構30は、ステアリング軸32が、図示しない車体フレームにステアリングコラム33を介して回動自在に支持されている。ステアリング軸32の一端は運転席側に延出され、このステアリング軸32の一端部には、ステアリングホイール34が取り付けられている。ステアリング軸32の他端はエンジンルーム側に延出され、このステアリング軸32の他端部にはピニオン軸35が連結されている。
エンジンルームには、車幅方向へ延出するステアリングギヤボックス36が配設され、このステアリングギヤボックス36には、ラック軸37が往復移動自在に挿通支持されている。ラック軸37の途中にはラック(図示せず)が設けられ、このラックに対し、ピニオン軸35に設けられたピニオン(図示せず)が噛合することにより、ラックアンドピニオン式のステアリングギヤ機構が構成されている。
また、ラック軸37の左右両端はステアリングギヤボックス36から各々突出されており、その端部に、タイロッド38を介してフロントナックル39が連設されている。このフロントナックル39は、操舵輪としての左右輪40L,40Rを回動自在に支持するとともに、キングピン(図示せず)を介して車体フレームに連打自在に支持されている。従って、ステアリングホイール34を操作し、ステアリング軸32、ピニオン軸35を回動させると、このピニオン軸35の回転によりラック軸37が左右方向へ移動し、その移動によりフロントナックル39がキングピン(図示せず)を中心に回動して、左右輪40L、40Rが左右方向へ転舵される。
また、ピニオン軸35にはアシスト伝達機構41を介して電動モータ42が連設されており、この電動モータ42にて、ステアリングホイール34に加える操舵トルクのアシスト、及び、設定された操舵角となるような操舵トルクの付加が行われる。電動モータ42は、操舵支援制御部20で設定する操舵トルク(制御量)となるようにモータ駆動部21を介して駆動される。
操舵支援機能としては、このような操舵トルクのアシスト機能も含むが、さらに走行路における車線逸脱に対する警告や操舵支援に関する通知も行う。そのため図示するように表示部22や発音部23に対して、操舵支援制御部20が表示情報や発音指示情報を供給する。
表示部22は、例えばマイクロコンピュータによる表示制御ユニットと表示デバイスを包括的に示している。表示デバイスとは、例えば運転者の前方に設置されたメータパネル内に設けられるスピードメータやタコメータ等の各種メータやMFD(Multi Function Display)、その他運転者に情報提示を行うためのデバイスである。表示部22では操舵支援機能に関しては、警告表示や操舵支援の作動/停止を運転者に提示する表示が行われる。
発音部23は、例えばマイクロコンピュータによる発音制御ユニットと、アンプ/スピーカ等の発音デバイスを包括的に示している。発音部23では、操舵支援機能に関しては、警告音出力や操舵支援の作動/停止を運転者に知らせる通知音の出力が行われる。
以上の構成による実施の形態の操舵支援制御に関する動作例を説明する。
まず図2,図3は、各種の道路状況を示したものである。まず図2は横断歩道95が存在する状況を模式的に示している。図2Aは自車両100の左右の車線90が途切れている場合、図2Bは自車両100の左右のうち一方の車線90が途切れている場合、図2Cは自車両100の左右の車線90が途切れていない場合である。
ここで図2A、図2Bは、画像処理部12で比較的小さい交差点と推定される場合である。交差点の大小は、車線90の非存在距離DLの長さによる。車線90の非存在距離DLは、自車両100の左右の車線90の途切れ位置PC1から、その先の車線90の開始位置PC2の間の距離としている。非存在距離DLが所定距離以上だと大きな交差点、所定距離未満だと小さな交差点と推定する。所定距離とは、例えば20〜30mなどとする。例えばこれは撮像ユニット10による安定した画像認識が可能な距離として設定すればよい。
図2Cは車線90が途切れていないが、横断歩道95により交差点の可能性があると推定される場所である。
また、図2Dは自車両100の左右の車線90が途切れている場合、図2Eは自車両100の左右のうち一方の車線90が途切れている場合、図2Fは自車両100の左右の車線90が途切れていない場合である。これらのうち図2D,図2Eは非存在距離DLが所定距離以上で大きな交差点と推定される場所である。図2Fは車線90が途切れていないが、横断歩道95により交差点の可能性があると推定される場所である。
一方、図3は横断歩道95が存在しない場所を例示している。図3A〜図3Eのそれぞれは、図2A〜図2Eと同様の車線状態において横断歩道95が存在しない場合としている。
通常、十字路、T字路等の交差点では、車線90の途切れがある。また横断歩道95が存在する場合は、交差点の可能性が高く、或いは実際には交差点ではないとしても、横断歩道95により車線認識が不安定になる可能性のある場所といえる。
本実施の形態では、図2,図3のような各種の交差点状況(必ずしも交差点とは限らないが交差点の可能性のある道路状況)において、操舵支援制御を適切化する。特には、
・交差点内での操舵支援機能の作動/停止の切り替えやハンチングを抑える
・車線誤認識の可能性の高い交差点での誤作動を防ぐため操舵支援機能を停止させる
・交差点での作動/停止の決定タイミングを統一する
という考え方に基づいて、操舵支援機能の作動状態を設定する。なお「交差点」とは、実際に交差点であるか否かではなく、画像処理上で交差点の可能性があると認識される場所のことをいう。
図4に各場合の交差点内での操舵支援機能の作動状態の遷移を示している。○は操舵支援の作動状態、×は操舵支援の停止状態を示す。表中の車線についての「両側」「片側」とは車線が途切れているのが両側で有るか片側であるかの別である。なお、この例では、片側の途切れであっても両側の途切れと同様に扱い、実際上、制御の差はない。「間隔大」「間隔小」とは、車線90の非存在距離DLが所定値以上か所定値未満かの別である。
進入前作動状態とは、交差点進入直前の状態で操舵支援機能を作動させているか否か(作動中/停止中)の別である。
まず図2各図のような場所を想定し、横断歩道95が検出された場合を図4Aに示す。
横断歩道95が検出された場合、交差点進入直前で操舵支援機能停止中(以下、単に「停止中」という)であれば、交差点内で作動状態に復帰させないようにする(復帰抑制)。従って車線90の状況がいずれの場合も、交差点内では操舵支援機能の停止状態が継続される。
一方、交差点進入直前で操舵支援機能作動中(以下、単に「作動中」という)であれば、間隔大の交差点では停止状態とさせ、また復帰抑制する。但し間隔小の交差点では、停止させず、作動を継続させる。間隔小の交差点は、前方の車線90が認識可能であり、車線認識の安定性は比較的高いためである。
なお、図2C、図2Fのように車線90の途切れがない場合、横断歩道95の検出により交差点の可能性が認められるが、車線認識の安定性は比較的高いため、交差点進入直前で作動中であれば、そのまま継続して作動させれば良い。但し、横断歩道95の影響による誤認識の可能性もないとはいえないため、交差点直前で停止中であれば、そのまま停止中を維持するように復帰抑制する。なお、この場合については復帰抑制を行わないという考え方もあり得る。
図4Bは図3各図のような横断歩道95が検出されない場所を想定した場合である。
横断歩道95がない交差点の場合、交差点進入直前で停止中であれば、間隔大の場合は復帰抑制を行う。間隔小の場合は、交差点でない可能性も高く、また前方の車線90が認識可能であり、車線認識の安定性は比較的高いため、作動可能とする。つまり車線認識が通常に実行できたら、操舵支援機能を作動させる。
また横断歩道95がない交差点の場合で、交差点進入直前で作動中であれば、間隔大の場合は停止状態とさせ、かつ復帰抑制を行う。間隔小の場合は、交差点でない可能性も高く、また前方の車線90が認識可能であり、車線認識の安定性は比較的高いため、作動状態を継続する。
なお、横断歩道95が検出されず、車線90の途切れもない図3Cのような場合、交差点の可能性は非常に低い。換言すれば通常の道路である。そのため特に交差点状態に応じた動作停止や復帰抑制は行われず、作動中であればそのまま作動が継続され、停止中であっても車線認識に応じて作動する(後述の他の作動条件による)。
例えば以上のような交差点状況に応じた操舵支援機能の作動/停止を実現するための処理を、以下説明する。
まず図5は操舵支援制御部20の操舵支援作動条件処理を示している。操舵支援制御部20は、この図5の処理により、操舵支援機能の作動/停止を決定している。
操舵支援制御部20はステップS101で、操作情報SDによってACCオンであるか否か、つまり運転者による運転支援モードが指示されているか否かを確認する。
操舵支援制御部20はステップS102で、操作情報SDによって操舵支援オンであるか否か、つまり運転者による操舵支援実行が指示されているか否かを確認する。
操舵支援制御部20はステップS103で、車速条件がOKであるか否かを確認する。例えば操舵支援機能は、車速が一定速度以上の場合(例えば65Km/h以上の場合)に作動させるとする条件が設定されている。操舵支援制御部20は車速センサ15の情報から、現在一定速度以上であるか否かを判断する。なお、画像処理部12が車速センサ15の情報から車速条件を判定し、操舵支援制御部20はその判定結果を確認するような処理でも良い。
操舵支援制御部20はステップS104で横加速度条件がOKであるか否かを確認する。例えば操舵支援機能は、横加速度が一定以内の場合(例えば2.0G以内など)に作動させるとする条件が設定されている。操舵支援制御部20は横加速度センサ17の情報から、現在横加速度が一定以内であるか否かを判断する。これも、画像処理部12が横加速度センサ17の情報から横加速度条件を判定し、操舵支援制御部20はその判定結果を確認するような処理としても良い。
操舵支援制御部20はステップS105で、車線条件がOKであるか否かを確認する。この例では画像処理部12からの車線条件の判定結果を参照する処理としている。なおここでの「車線条件」とは、以下の各条件を包括的に示す言葉として用いている。
・車線認識条件:画像処理により車線が認識できている。
・曲率条件:進行路のカーブの曲率が一定以内である。
・道幅条件:道幅が所定範囲内(例えば3m以上、4m未満など)である。
・交差点状況による作動条件:上記図4のような各交差点状況に応じた作動可否(後述の支援不実行交差点と判定されていないこと)
画像処理部12は、車線認識条件、曲率条件、道幅条件、交差点状況による作動条件の全てが満たされて作動可能と判定する場合、車線条件OK(車線条件充足)という情報を送信してくる。一方、各条件が1つでも満たされない場合、或いは全てが満たされていても復帰抑制されている場合は、車線条件NG(車線条件非充足)という情報を送信してくる。操舵支援制御部20はこのような車線条件情報をステップS105で確認する。
操舵支援制御部20は、ステップS101〜S105の全てでOK(条件充足)の結果が得られた場合のみ、ステップS106で操舵支援作動と決定し、操舵支援制御を実行する。一方、ステップS101〜S105のいずれかでNG(条件非充足)となったら、ステップS107で操舵支援停止と決定し、操舵支援制御を停止する。
このような操舵支援制御部20に対して、画像処理部12は図6、図7、図8の処理を行って作動条件の1つである車線条件情報を送信する。画像処理部12は例えば撮像画像データが得られる各フレームタイミング毎、又は間欠的なフレームタイミング毎に操舵支援機能の作動条件判定として図6の処理を行う。
画像処理部12は、まずステップS201でフレーム画像処理を行う。これは上述したように左右の撮像部11L,11Rで得られた各1フレームの撮像画像データを用いた上述の前方認識処理である。操舵支援機能に関しては、特に車線認識、横断歩道認識を行うことになる。車線認識については、車線90の途切れが認識された際には、非存在距離DL(途切れた車線の間隔)の長さも求める。
なお、撮像画像データ上で全く車線90が認識できない場合もある。そもそも道路上に車線90が存在しない場合や、車線90の摩滅が激しい場合、雨や雪の影響で認識困難となっている場合などである。車線90が全く認識できなかった場合は、以下のステップS202〜S204は実質的には行われず、ステップS205で車線条件NGとなる。
画像処理部12はステップS202で曲率条件判定を行う。画像処理部12は例えばヨーレートセンサ16と車速センサ15の検出情報を用いて道路の曲率を求める。もちろん撮像画像上で認識される進行路(車線)のカーブの曲率を算出してもよい。曲率を求めたら、それが操舵支援機能に許容される曲率であるか否かを判定する。
画像処理部12はステップS203で道幅条件判定を行う。例えば撮像画像データから道幅、つまり左右の車線間の幅を算出し、それが操舵支援機能に許容される範囲であるか否かを判定する。
画像処理部12はステップS204で交差点状況判定を行う。これは図2,図3に示したような交差点状況に応じて、操舵支援に関し図4のような作動/停止を設定するための処理である。処理の詳細を図7に示すが、交差点状況判定は具体的には、操舵支援を作動させないことが望ましい「支援不実行交差点」であるか否かの判定を行い、また状況に応じて復帰抑制を行う処理となる。
図7のステップS301として、画像処理部12は交差点直前タイミングであるか否かを確認する。例えば画像処理部12は、車線90が途切れていること、或いは横断歩道95が存在することで交差点の可能性があると判定する。
車線90の途切れが発見された場合、その途切れ位置(図2の位置PC1)を基準として所定距離手前を通過するタイミングを交差点直前タイミングとする。或いは横断歩道95が検出された場合は、横断歩道の所定距離手前を通過するタイミングを交差点直前タイミングとしてもよい。
このような交差点直前タイミングとなった時点のみ、図7のステップS302以降の処理が行われる。従って交差点以外の道路上や、交差点の通過中、通過後、さらには進入前であっても上記の交差点直前タイミング以外の時点では、この図7の交差点状況判定処理は実質的には行われない。
交差点直前タイミングにおいては、画像処理部12はステップS302で横断歩道95の有無を確認する。なお横断歩道95の検出は図6のステップS201で行われているため、その結果に応じて処理を分岐することになる。
まず横断歩道95が認識されている場合、ステップS303で操舵支援機能の作動許可中であるか否かを確認する。この確認のために操舵支援制御部20から作動中か否かの情報を受け取るようにしてもよいが、画像処理部12が直近の図8の処理で車線条件OKを出力していたか否かを確認する処理としても良い。図5で説明したように車線条件のみで操舵支援機能が作動されるわけではないが、あくまで交差点状況による車線誤認識による機能の不安定は、車線条件OK/NGが不適切に行われることが大きな原因であるためである。つまり図4A、図4Bで述べた進入前作動状態の「停止中」「作動中」とは、図5のステップS101〜S104の条件は満たされているという前提で考え、車線条件がOK/NGに応じての作動中/停止中と考えれば良いためである。
交差点直前タイミングにおいて作動許可中であれば画像処理部12はステップS304で、車線の途切れの間隔が大であるか、つまり非存在距離DLが所定距離以上であるか否かを確認する。間隔大ではない場合(図4でいう「間隔小」の場合)、そのまま図7の処理を抜ける。間隔大の場合は、画像処理部12はステップS305で支援不実行交差点と判定し、さらにステップS306で復帰抑制を開始する。例えば復帰抑制する期間を規定する内部カウンタのカウントを開始する。
またステップS303で作動許可中でない場合、画像処理部12はステップS306で復帰抑制を開始する。
横断歩道95が認識されていない場合は、画像処理部12はステップS302からS307に進み、操舵支援機能の作動許可中であるか否かを確認する。
そして作動許可中であれば画像処理部12はステップS309で、車線の途切れの間隔が大であるか、つまり非存在距離DLが所定距離以上であるか否かを確認する。間隔大ではない場合(「間隔小」の場合)、そのまま図7の処理を抜ける。間隔大の場合は、画像処理部12はステップS305で支援不実行交差点と判定し、さらにステップS306で復帰抑制を開始する。
またステップS307で作動許可中でない場合、画像処理部12はステップS308で非存在距離DLが所定距離以上であるか否かを確認する。間隔大ではない場合、そのまま処理を抜ける。間隔大の場合は、画像処理部12はステップS306で復帰抑制を開始する。
この図7のような交差点状況判定を行った後、画像処理部12は図6のステップS205で車線条件情報出力を行う。詳細を図8に示す。
画像処理部12は、ステップS401で車線認識条件を確認する。図6のステップS201の画像処理で車線90が認識できていない状態であったら、そもそも操舵支援を行わないため、ステップS407で車線条件NGという車線条件情報を操舵支援制御部20に出力する。
車線が認識できている場合は、画像処理部12は以下のようにする。ステップS402、S403では、それぞれ図6のステップS202,S203の判定結果で処理を分岐する。即ち曲率条件、道幅条件の判定結果を参照する。
またステップS404では、ステップS204の交差点状況判定において、図7のステップS305の処理(支援不実行交差点判定)が行われたか否かを確認する。
曲率条件、道幅条件のいずれかがNGである場合、あるいは支援不実行交差点に該当する場合は、ステップS407で車線条件NGという車線条件情報を操舵支援制御部20に出力する。
また画像処理部12はステップS405で復帰抑制中であるか否かを確認する。車線認識条件、曲率条件、道幅条件の全てがOKで、かつ支援不実行交差点に該当しない場合であっても、復帰抑制中であれば、ステップS407で車線条件NGという車線条件情報を操舵支援制御部20に出力する。
画像処理部12は、車線認識条件、曲率条件、道幅条件の全てがOKで、かつ支援不実行交差点に該当せず、さらに復帰抑制中でないとした場合のみ、ステップS405からS406に進み、車線条件OKという車線条件情報を操舵支援制御部20に出力することになる。
復帰抑制について説明する。例えば画像処理部12は、図7のステップS306で復帰抑制カウントを開始した場合、所定時間のカウントを完了するまでの期間、内部フラグとして復帰抑制フラグを立てる。その復帰抑制フラグ=オンの期間は、図8のステップS405で復帰抑制中と判断する。従って、図7のステップS306で復帰抑制カウントが開始されたら、一定時間は、各種条件が満たされていても、車線条件NGとしての車線条件情報が操舵支援制御部20に供給されることになる。
操舵支援制御部20は図5の処理で理解されるように、ACCオン、操舵支援オン、車速条件OK、横加速度条件OK、車線条件OKの場合のみに操舵支援機能を作動させるため、復帰抑制中は、車線条件が満たされず、ステップS107で操舵支援は停止することになる。つまり実質的には各条件が満たされたとしても作動状態に復帰しない。
以上の実施の形態の動作により、次のような効果が得られる。
実施の形態の操舵支援制御装置は、自車両の前方を撮像した撮像画像を得る撮像部11L、11Rと、撮像画像を用いて操舵支援機能の作動条件(車線条件)の判定を行う画像処理部12と、画像処理部12によって判定される作動条件(車線条件)を少なくとも含む、複数の所定の作動条件(図5のステップS101〜S105の条件)の判定結果に基づいて、操舵支援制御を行う操舵支援制御部20とを備える。そして画像処理部20は、自車両が交差点に進入する直前と判定される交差点直前タイミングで図7の処理により、撮像画像からの横断歩道95の検出結果と車線10の非存在距離DLの検出結果を用いて、操舵支援機能を停止させる支援不実行交差点であるか否かの判定を行い、当該判定結果を反映した作動条件(車線条件)判定を行うようにしている。
これによって交差点の状況(支援不実行交差点であるか否か)に応じた操舵支援機能の作動/停止が実現され、交差点内での作動状態の安定性を維持できる。例えば車線の誤認識に起因する不要作動を解消又は低減できる。
また交差点直前タイミングでの支援不実行交差点判定や復帰抑制のための処理を行うため、交差点内でむやみに操舵支援機能の作動/停止が切り替わることも生じず、ハンチング発生も回避される。
乗員にとっては、操舵支援機能の作動/停止の切換の表示や音声が煩わしく感じることも低減される。
さらに作動の停止や復帰は、交差点直前タイミングで行われることになるため、運転者が作動/停止の切り替わりのタイミングを理解しやすく、安心感も得られやすい。
より具体的には、上記図7の処理例によれば以下の動作が実現される。
交差点直前タイミングにおいて、横断歩道95が検出されており、かつ操舵支援機能が作動中であるときは、車線90の非存在距離DVが所定距離以上であれば、支援不実行交差点と判定するとともに操舵支援機能の復帰抑制処理を行う(S301→S302→S303→S304→S305→S306)。車線90が途切れ、横断歩道95が検出されれば、その場所は交差点である可能性が高い。そのため車線90の非存在距離が長い、広い交差点では、操舵支援を停止させることで、車線90の誤認識を回避でき、また復帰抑制を行うことで、交差点内での作動状態の切り替わりも発生しない。
また交差点直前タイミングにおいて、横断歩道95が検出されており、かつ操舵支援機能が停止中であるときは、非存在距離DV(間隔大/間隔小)に関わらず、操舵支援機能の復帰抑制処理を行う(S301→S302→S303→S306)。これにより交差点内での作動状態の切り替わりが発生しない。
また、交差点直前タイミングにおいて、横断歩道95が検出されておらず、かつ操舵支援機能が作動中であるときは、非存在距離DVが所定距離以上であれば、支援不実行交差点と判定するとともに復帰抑制処理を行う(S301→S302→S307→S309→S305→S306)。車線90の途切れが検出されても、横断歩道95が検出されない場合、その場所は交差点ではない可能性もある。しかし車線の非存在距離DVが所定距離以上で長い場合は、交差点であるか否かによらず車線認識が不安定になるため、操舵支援を停止することで誤認識を回避でき、また復帰抑制を行うことで交差点内での作動状態の切り替わりも一定時間発生しないようにできる。
また前記交差点直前タイミングにおいて、横断歩道95が検出されておらず、かつ操舵支援機能が停止中であるときは、非存在距離DVが所定距離以上であれば、復帰抑制処理を行う(S301→S302→S307→S308→S306)。これにより交差点内での作動状態の切り替わりが一定時間発生しないようにできる。
但し車線90の非存在距離DVが所定距離未満であれば、交差点ではない可能性も高く、また途切れた先の車線が観測できるため、車線認識が不安定になる可能性は小さい。そこで復帰抑制はしないことで操舵支援機能を有効に発揮させることができる。
また交差点直前タイミングにおいて、横断歩道95が検出されており、かつ操舵支援機能が作動中であるときは、非存在距離DVが所定距離未満であれば、支援不実行交差点との判定を行わない(S301→S302→S303→S304→図6のS205)。車線10の途切れが検出され、横断歩道95の存在により交差点と推定される場合、非存在距離DVが所定距離未満の小さい交差点では、誤認識の可能性は少ない。そのため、操舵支援作動中ならそのまま操舵支援を可能とすることで操舵支援機能を有効に発揮させることができる。
また交差点直前タイミングにおいて、横断歩道95が検出されておらず、車線の非存在距離が所定距離未満であれば、作動中、停止中に関わらず支援不実行交差点との判定を行わない(S301→S302→S307→S308(又はS309)→図6のS205)。車線90が途切れていても、横断歩道95がなく交差点ではない可能性がある場合は、非存在距離DVが所定距離未満の小さい交差点では誤認識の可能性は少ない。そこで操舵支援作動中ならそのまま操舵支援を可能とし、操舵支援停止中であっても操舵支援を作動可能とすることで操舵支援機能を有効に発揮させることができる。
また画像処理部12は、操舵支援機能の復帰抑制処理として、一定時間、操舵支援機能の作動条件を充足させないようにする処理を行うようにしている。一定時間を自車両が交差点を通過するまで復帰させないために必要な時間とすることで、交差点内でのハンチングや不要作動を適切に回避できる。
なお本発明は実施の形態の構成や処理に限定されず、各種の変形例が考えられる。
例えば復帰抑制に関しては、復帰抑制を解除するまでのカウント時間は、固定的な時間としても良いが、例えばそのときの車速に応じて可変してもよい。
或いは車線90の非存在距離DVに応じてカウント時間を可変設定してもよいし、非存在距離DVと車速から、交差点通過に適切な時間を設定してもよい。
また、時間カウントにより復帰抑制を解除するのではなく、車線が確実に検出された状態が一定時間継続したことが確認されたら解除するような手法も考えられる。
また図4、図7で説明した処理では、車線90の途切れが両側である場合と片側である場合では処理内容を変えていないが、両側か片側かで処理内容を変化させることも考えられる。
また図1のような構成を実現するハードウエア構成は多様に考えられる。例えば図7のような支援不実行交差点の判断の処理を画像処理部12としてのマイクロコンピュータ以外で行っても良いし、画像処理部12や操舵支援制御部20が、複数のマイクロコンピュータで構成されたり、画像処理部12や操舵支援制御部20が一体のマイクロコンピュータで形成されても良い。あくまで本発明の請求項でいう撮像部、画像処理部、操舵支援制御部として評価できる機能部位が存在するものであればハードウエア構成がいかなる態様でも本発明を構成するものとなる。
また図6、図7、図8の処理では、画像処理部12が、車線認識条件、曲率条件、道幅条件、交差点状況による作動条件(支援不実行交差点か否か)の全てが満たされ、かつ復帰抑制中でなければ車線条件OKとする車線条件情報を出力するものとしたが、これら各条件の判定結果や復帰抑制フラグ情報を、個別に操舵支援制御部20に出力し、操舵支援制御部20側でこれらを作動条件判断に用いるような処理でもよい。
また車線認識条件、交差点状況による作動条件、復帰抑制情報以外の作動条件として、曲率条件、道幅条件、操作条件(ACCオン、操舵支援オン)、車速条件、横加速度条件を挙げたが、これらは例示に過ぎず、これらの条件が全て必要とは限らないし、例えば自車両が左右の車線内に位置しているという車両位置条件など、他の作動条件があってもよい。
また曲率条件、操作条件、車速条件、横加速度条件は、画像処理部12で判定しても操舵支援制御部20で判定しても、或いは他の部位で判定してもよい。最終的に操舵支援制御部20が判定結果を反映した操舵支援制御を行えればよい。
10…撮像ユニット、11L,11R…撮像部、12…画像処理部、15…車速センサ、16…ヨーレートセンサ、17…横加速度センサ、20…操舵制御部、21…モータ駆動部、30…ステアリング機構

Claims (5)

  1. 自車両の前方を撮像した撮像画像を得る撮像部と、
    前記撮像画像を用いて操舵支援機能の作動条件の判定を行う画像処理部と、
    前記画像処理部によって判定される作動条件を少なくとも含む、1又は複数の所定の作動条件の判定結果に基づいて、操舵支援制御を行う操舵支援制御部とを備え、
    前記画像処理部は、自車両が交差点に進入する直前と判定される交差点直前タイミングで、前記撮像画像からの横断歩道の検出結果と車線の非存在距離の検出結果を用いて、操舵支援機能を停止させる支援不実行交差点であるか否かの判定を行い、当該判定結果を反映した作動条件の判定を行う
    操舵支援制御装置。
  2. 前記画像処理部は、前記交差点直前タイミングにおいて、横断歩道が検出されており、かつ操舵支援機能が作動中であるときは、車線の非存在距離が所定距離以上であれば、支援不実行交差点と判定するとともに操舵支援機能の作動復帰を抑制する処理を行い、
    また前記交差点直前タイミングにおいて、横断歩道が検出されており、かつ操舵支援機能が停止中であるときは、車線の非存在距離に関わらず、操舵支援機能の作動復帰を抑制する処理を行う
    請求項1に記載の操舵支援制御装置。
  3. 前記画像処理部は、前記交差点直前タイミングにおいて、横断歩道が検出されておらず、かつ操舵支援機能が作動中であるときは、車線の非存在距離が所定距離以上であれば、支援不実行交差点と判定するとともに操舵支援機能の作動復帰を抑制する処理を行い、
    また前記交差点直前タイミングにおいて、横断歩道が検出されておらず、かつ操舵支援機能が停止中であるときは、車線の非存在距離が所定距離以上であれば、操舵支援機能の作動復帰を抑制する処理を行う
    請求項1又は請求項2に記載の操舵支援制御装置。
  4. 前記画像処理部は、前記交差点直前タイミングにおいて、横断歩道が検出されており、かつ操舵支援機能が作動中であるときは、車線の非存在距離が所定距離未満であれば、支援不実行交差点との判定を行わず、
    また前記交差点直前タイミングにおいて、横断歩道が検出されておらず、車線の非存在距離が所定距離未満であれば、支援不実行交差点との判定を行わない
    請求項1乃至請求項3のいずれかに記載の操舵支援制御装置。
  5. 前記画像処理部は、操舵支援機能の作動復帰を抑制する処理として、一定時間、操舵支援機能の作動条件を充足させないようにする処理を行う
    請求項2又は請求項3に記載の操舵支援制御装置。
JP2014126147A 2014-06-19 2014-06-19 操舵支援制御装置 Active JP6325365B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014126147A JP6325365B2 (ja) 2014-06-19 2014-06-19 操舵支援制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014126147A JP6325365B2 (ja) 2014-06-19 2014-06-19 操舵支援制御装置

Publications (2)

Publication Number Publication Date
JP2016004521A true JP2016004521A (ja) 2016-01-12
JP6325365B2 JP6325365B2 (ja) 2018-05-16

Family

ID=55223725

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014126147A Active JP6325365B2 (ja) 2014-06-19 2014-06-19 操舵支援制御装置

Country Status (1)

Country Link
JP (1) JP6325365B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018147353A (ja) * 2017-03-08 2018-09-20 三菱電機株式会社 交差点検出装置、計測車両、交差点検出プログラムおよびデータ管理装置
JP2019159736A (ja) * 2018-03-13 2019-09-19 パイオニア株式会社 出力装置、出力方法、およびコンピュータプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003040127A (ja) * 2001-07-27 2003-02-13 Mitsubishi Motors Corp 走行レーン逸脱防止装置
JP2011159147A (ja) * 2010-02-02 2011-08-18 Toyota Motor Corp 運転支援装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003040127A (ja) * 2001-07-27 2003-02-13 Mitsubishi Motors Corp 走行レーン逸脱防止装置
JP2011159147A (ja) * 2010-02-02 2011-08-18 Toyota Motor Corp 運転支援装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018147353A (ja) * 2017-03-08 2018-09-20 三菱電機株式会社 交差点検出装置、計測車両、交差点検出プログラムおよびデータ管理装置
JP2019159736A (ja) * 2018-03-13 2019-09-19 パイオニア株式会社 出力装置、出力方法、およびコンピュータプログラム

Also Published As

Publication number Publication date
JP6325365B2 (ja) 2018-05-16

Similar Documents

Publication Publication Date Title
US9669760B2 (en) Warning device
JP7103753B2 (ja) 衝突回避装置
CN110050301B (zh) 车辆控制装置
US10293690B2 (en) Vehicle information projecting system and vehicle information projecting method
US9902399B2 (en) Vehicle travelling control device for controlling a vehicle in traffic
US9862416B2 (en) Automatic parking control device, and parking assistance device
CN111226267B (zh) 驾驶辅助车辆的行驶控制方法及行驶控制装置
JP5888407B2 (ja) 運転支援装置
US10173680B2 (en) Vehicle speed control device
US7663475B2 (en) Vehicle surrounding monitoring system
WO2014167680A1 (ja) 車両運転支援装置
WO2019008764A1 (ja) 駐車支援方法及び駐車支援装置
JP2018097648A (ja) 車両における衝突回避装置および衝突回避方法
JP6607826B2 (ja) 走行制御装置
US10640035B2 (en) Out-of-vehicle notification device
JP6377942B2 (ja) 運転支援装置
JP5210064B2 (ja) 車両の衝突防止装置
US11130488B2 (en) Vehicle control device and vehicle control method
JP2016224712A (ja) 車両の運転支援装置、及び運転支援方法
JP6325365B2 (ja) 操舵支援制御装置
JP5440292B2 (ja) 車両制御装置
JP6044429B2 (ja) 駐車支援装置、及び駐車支援方法
JP5459002B2 (ja) 車両制御装置
JP2014524382A (ja) 自動車ドライバの運転操作を支援する方法及び装置
JP6404609B2 (ja) 操舵支援制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170308

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180320

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180412

R150 Certificate of patent or registration of utility model

Ref document number: 6325365

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250