JP2014013450A - 車線逸脱判定装置,車線逸脱警報装置及びそれらを使った車両制御システム - Google Patents

車線逸脱判定装置,車線逸脱警報装置及びそれらを使った車両制御システム Download PDF

Info

Publication number
JP2014013450A
JP2014013450A JP2012149863A JP2012149863A JP2014013450A JP 2014013450 A JP2014013450 A JP 2014013450A JP 2012149863 A JP2012149863 A JP 2012149863A JP 2012149863 A JP2012149863 A JP 2012149863A JP 2014013450 A JP2014013450 A JP 2014013450A
Authority
JP
Japan
Prior art keywords
lane
vehicle
road
distance
departure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012149863A
Other languages
English (en)
Other versions
JP6035064B2 (ja
Inventor
Masato Imai
正人 今井
Masayuki Takemura
雅幸 竹村
Shoji Muramatsu
彰二 村松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2012149863A priority Critical patent/JP6035064B2/ja
Priority to US14/411,946 priority patent/US10625675B2/en
Priority to EP13812543.0A priority patent/EP2871628B1/en
Priority to PCT/JP2013/066576 priority patent/WO2014007052A1/ja
Priority to CN201380035252.1A priority patent/CN104471626B/zh
Publication of JP2014013450A publication Critical patent/JP2014013450A/ja
Application granted granted Critical
Publication of JP6035064B2 publication Critical patent/JP6035064B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Processing (AREA)

Abstract

【課題】車両が道路を逸脱しやすい状態になった場合にも適切な逸脱判定を行うことが可能な車線逸脱判定装置および車線逸脱警報装置を提供する。
【解決手段】撮像装置が車外を撮像して出力した画像情報から区画線を検出する区画線検出部と、前記区画線から前記撮像装置の光軸までの距離を所定周期ごとに演算する距離演算部と、前記区画線に対する前記車両のヨー角を演算するヨー角演算部と、前記車両が走行中の道路の特性を表す道路パラメータに基づいて、前記ヨー角演算部により演算された前記ヨー角を補正し、前記距離演算部により演算された前記区画線から前記光軸までの距離と、補正された前記ヨー角と、に基づいて前記区画線に対する前記車両の逸脱判定を行う逸脱判定部と、を備える車線逸脱判定装置。
【選択図】図1

Description

本発明は、車線逸脱判定装置および車線逸脱警報装置に関する。
従来、車載カメラにより走行路を認識し、車両が走行車線を逸脱することを報知する車線逸脱警報装置が知られている。例えば特許文献1には、路面を撮影する走行路認識カメラなどを用いて自車両の車線からの逸脱傾向を予測し、自車両が車線から逸脱する可能性が高くなっていると判定した場合に警報器による報知を行う車線逸脱警報装置が記載されている。
特開2004−268845号公報
しかしながら、従来技術には、例えば、車線幅が狭い道路のように、車両が道路を逸脱しやすい状態になった場合に逸脱警報が頻繁に発せられてしまうという問題があった。本発明は、上記事情を鑑みてなされたもので、その目的とするところは、車両が道路を逸脱しやすい状態になった場合にも適切な逸脱判定を行うことにある。
請求項1に記載の車線逸脱判定装置は、撮像装置が車外を撮像して出力した画像情報から区画線を検出し、車両が区画線を逸脱するか否かを車両と区画線との距離に基づいて判定する車線逸脱判定装置であって、検出された区画線に対する車両の角度が同一で、所定の幅より広い区画線幅を有する道路と所定の幅より狭い区画線幅を有する道路とを車両が走行する場合で、逸脱判定するときの車両と区画線との距離が異なる構成とする。
また、撮像装置が車外を撮像して出力した画像情報から区画線を検出し、車両が区画線を逸脱するか否かを車両と区画線との距離に基づいて判定する車線逸脱判定装置であって、検出された区画線に対する車両の角度が同一で、所定の曲率半径より大きい道路と所定の曲率半径より小さい道路とを車両が走行する場合で、逸脱判定するときの車両と区画線との距離が異なる構成とする。
また、撮像装置が車外を撮像して出力した画像情報から区画線を検出する区画線検出部と、区画線から撮像装置の光軸までの距離を所定周期ごとに演算する距離演算部と、区画線に対する車両のヨー角を演算するヨー角演算部と、車両が走行中の道路の特性を表す道路パラメータに基づいて、ヨー角演算部により演算されたヨー角を補正し、距離演算部により演算された区画線から光軸までの距離と、補正されたヨー角と、に基づいて区画線に対する車両の逸脱判定を行う逸脱判定部と、を備える構成とする。
本発明によれば、車両が道路を逸脱しやすい状態になった場合にも適切な逸脱判定を行うことができる。
第1の実施形態に係る車線逸脱判定装置100の構成を示すブロック図である。 車線逸脱判定装置100の処理内容を示すフローチャートである。 撮像装置1から取り込まれた画像データと区画線検出部4により検出されたエッジ強度とを示す図である。 撮像装置1から取り込まれた画像データ(a)と、その画像データが撮像された際の車両および道路を上空から見た平面図(b)とを示す図である。 車両501が2本の区画線502および503の存在する道路を走行している様子を模式的に示した平面図である。 道路パラメータと補正係数α1,α2との対応関係を示すグラフである。 第2の実施形態に係る車線逸脱判定装置200の構成を示すブロック図である。 後方距離振れ量と補正係数α3との対応関係を示すグラフである。 本発明の車線逸脱判定装置を用いて車線逸脱警報装置を構成したときのブロック図である。 本発明の車線逸脱判定装置を用いて車両制御システムを構成したときのブロック図である。
以下、本発明の実施形態について、図面を用いて詳細に説明する。
(第1の実施の形態)
図1は、第1の実施形態に係る車線逸脱判定装置100の構成を示すブロック図である。車線逸脱判定装置100は、区画線検出部4,道路パラメータ演算部5,補正係数設定部6,ヨー角演算部7,後方距離演算部8,前方距離演算部9,および逸脱判定部10により構成される。車線逸脱判定装置100は、不図示のコンピュータに所定の制御プログラムを実行させることにより、これらの各部の機能を実現している。
車線逸脱判定装置100には、撮像装置1,ヨーレート検出部2,および車速検出部3が接続されている。車線逸脱判定装置100は、撮像装置1から入力された画像データと、ヨーレート検出部2から入力された車両のヨーレートと、車速検出部3から入力された車両の速度とを用いて、車両が走行中の車線から逸脱するおそれの有無を判定し、判定結果を外部に出力する構成となっている。つまり、車線逸脱判定装置100は、撮像装置が車外を撮像して出力した画像情報から区画線である車線を検出し、車両が区画線を逸脱するか否かを車両と区画線との距離に基づいて判定している。
本発明は、この検出された区画線に対する車両の角度が同一で、所定の幅より広い区画線幅(車線幅)を有する道路と所定の幅より狭い区画線幅(車線幅)を有する道路とを車両が走行する場合で、逸脱判定するときの車両と区画線との距離が異なる。また、検出された区画線に対する車両の角度が同一で、車両が区画線を逸脱する場合、所定の幅より広い区画線幅を有する道路の方が所定の幅より狭い区画線幅を有する道路に比べて、逸脱判定する時間が早くしている。また、検出された区画線に対する車両の角度が同一で、所定の曲率半径より大きい道路と所定の曲率半径より小さい道路とを車両が走行する場合で、逸脱判定するときの車両と区画線との距離が異なる。また、検出された区画線に対する車両の角度が同一で、車両が区画線を逸脱する場合、所定の曲率半径より大きい道路の方が所定の曲率半径より小さい道路に比べて、逸脱判定する時間が早くしている。
車載用の撮像装置1は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子によって自車外を撮像し、得られた画像をアナログデータのまま、もしくはデジタル処理してコンピュータで扱える画像データに変換して専用線などを用いて車線逸脱判定装置100(の区画線検出部4)に出力する。撮像装置1は、車両後方の路面が撮像範囲に含まれるように車両後方に設置される。
ヨーレート検出部2は、例えばジャイロスコープ等の出力を用いて車両のヨーレート(旋回方向への回転速度)を検出する。
車速検出部3は、例えば車両の前後左右各輪に装着された車輪速センサにより得られる値を平均したり、自車に搭載する加速度センサにより得られる自車の加速度の値を積分したりすることによって、車両が進行する速度を検出する。
区画線検出部4は、撮像装置1が車外を撮像して作成した画像データ(画像情報)を解析することにより、道路上にペイントされている区画線(例えば自車の左右にある一対の左右線や車道外側線など)を所定の処理周期ごとに検出する。
道路パラメータ演算部5は、車線幅や曲率半径など、走行中の道路の特性を表す道路パラメータを演算する。車線幅は、区画線検出部4により検出された区画線の位置から演算される。また、走行中の道路の曲率半径は、ヨーレート検出部2により検出されたヨーレートから演算される。
補正係数設定部6は、道路パラメータ演算部5によって演算された道路パラメータから、後述する補正係数を設定する。
ヨー角演算部7は、区画線検出部4により検出された区画線の位置や車速検出部3により検出された車速などに基づいて、区画線に対する車両のヨー角を演算する。
後方距離演算部8は、車両後方の所定位置において、区画線検出部4で検出された区画線と撮像装置1の光軸との距離(光軸から区画線までの距離)を算出する。
前方距離演算部9は、区画線検出部4で検出された区画線と車両の前輪との距離(車両の前輪から区画線までの距離)を算出する。
逸脱判定部10は、前方距離演算部9により算出された前輪から区画線までの距離に基づいて、車両が車線から逸脱するおそれがあるか否かを判定する。なお、ここでの車線逸脱判定は、JIS規格(JIS D 0804)に基づく車両逸脱警報に利用することを想定している。つまり、逸脱判定部10はヨー角演算部7により演算された車両のヨー角と、前方距離演算部9により算出された区画線と車両前輪との間の距離と、に基づいて車線から逸脱するおそれがあるか否かを判断する。
上記のJIS規格では、車両前輪の外側と区画線までの距離に基づいて車両逸脱警報の要否を判定することが規定されている。他方、撮像装置1は、車両後方の映像を撮像するように設置されている。本実施形態の前方距離演算部9は、上記のJIS規格に対応するために、後方距離演算部8により算出された車両後方における区画線までの距離を、ヨー角演算部7により演算された車両のヨー角に基づいて、車両前輪の外側から区画線までの距離に補正する。
次に、車線逸脱判定装置100全体の処理内容について説明する。
図2は、車線逸脱判定装置100の処理内容を示すフローチャートである。図2に示す処理は、所定の処理周期ごとに繰り返し実行される。
まずステップS100において、区画線検出部4が、撮像装置1により撮像されデジタル処理が施された画像データを取り込む。
次のステップS110では、区画線検出部4が、ステップS100で取り込んだ画像データから道路上にペイントされている区画線を検出する。以下、ステップS110における区画線の検出処理について具体例を挙げて説明する。
図3は、撮像装置1から取り込まれた画像データと区画線検出部4により検出されたエッジ強度とを示す図である。いま、図3(a)のように、2本の区画線301および302が存在する画像データが取り込まれた状態を考える。本実施形態の区画線検出部4は、これらの区画線を検出するための一手法として、画像内のエッジ強度を計算して区画線を抽出する方法を用いる。ここで、エッジとは画像中で輝度値が急激に変わる点である。
図3(b)は、図3(a)のA点からB点に向かってエッジ強度を検出した結果である。A点およびB点は、撮像範囲内に予め定められた点であり、区画線検出部4はA点とB点とを結ぶ直線上においてエッジ強度を検出して区画線を検出する。図3(b)に示すエッジ検出結果は、道路から区画線に変わる点(輝度値が暗から明に急変する点)をそれぞれ表すピーク303、305と、区画線から道路に変わる点(輝度値が明から暗に急変する点)をそれぞれ表すピーク304および306を含む。区画線検出部4は、図3(b)に示したピーク303とピーク304の組み合わせ、およびピーク305とピーク306の組み合わせを見つけることによって、それぞれの組み合わせに対応する区画線301および区画線302を検出する。
図2のフローチャートの説明に戻ると、ステップS120において後方距離演算部8が、撮像装置1の光軸からステップS110で検出した区画線までの距離を演算する。以下、ステップS120における当該距離の演算処理について具体例を挙げて説明する。
図4は、撮像装置1から取り込まれた画像データ(a)と、その画像データが撮像された際の車両および道路を上空から見た平面図(b)とを示す図である。図4には、右区画線401および左区画線402が存在する道路を走行している様子を示している。また、矢印403は撮像装置1の光軸である。なお、撮像装置1は車両の後方に設置されているので、図4の左側に見える区画線401は車両の走行方向に対して右側に存在する右区画線であり、図4の右側に見える区画線402は車両の走行方向に対して左側に存在する左区画線である。
図4(a)において、光軸403から左区画線402までの距離d1(以下、左後方距離d1と称する)は、区画線検出部4により検出された左区画線402の位置から演算することができる。後方距離演算部8は、A点とB点とを結ぶ直線と左区画線402の内側のエッジとが交差する点であるC点の座標を、区画線検出部4が検出したエッジ強度のピークから求める。そして、その座標を図4(b)の実際の座標系に変換することにより、左後方距離d1を演算する。区画線検出部4は更に同様の演算を行い、光軸403から右区画線401までの距離d2(以下、右後方距離d2と称する)も演算する。
なお、上記の説明では、左後方距離d1を光軸403から左区画線402の内側までの距離とし、左区画線402の内側のエッジ上のC点の座標を用いて左後方距離d1を演算しているが、これを左区画線402の外側もしくは中心までの距離としてもよく、一貫して同じ定義であればよい。また、区画線までの距離(左後方距離d1,右後方距離d2)は画像内の各区画線(左区画線402,右区画線401)に対して1つずつではなく、各区画線に対して複数個(例えば、10個)算出する構成としても良い。例えば、A点とB点の組と同様に、一対の点を撮像範囲内に複数設けて、それらの各々についてエッジ検出を行い、光軸403と当該エッジとの距離を算出してもよい。
次のステップS130において、道路パラメータ演算部5が、ヨーレート検出部2により検出された車両のヨーレートを取得する。車両のヨーレートは前述の通り車両の旋回方向への回転速度であり、例えばジャイロスコープなどの周知技術により検出される。
次のステップS140では、道路パラメータ演算部5が、区画線検出部4により検出された区画線やヨーレート検出部2により検出された車両のヨーレートに基づいて、走行中の道路の道路パラメータを演算する。本実施形態における道路パラメータは、車線幅と道路の曲率半径の2つである。
例えば図3において、道路パラメータ演算部5はピーク304とピーク305の間の距離(区画線検出部4により検出された2つの区画線の間の距離)を車線幅として演算する。具体的な演算方法は、ステップS120で説明したものと同様である。
また、本実施形態の道路パラメータ演算部5は、ヨーレート検出部2から入力されたヨーレートに基づいて道路の曲率半径を演算する。具体的には、N度/秒のヨーレートがMメートルの曲率半径に対応すると仮定し(M,Nはそれぞれ所定の数値)、検出されたヨーレートにM/Nを乗算して曲率半径を演算する。なお、例えばまっすぐな道路を走行中であっても、車両のハンドルを切ればヨーレートとして一定の値が検出されるが、そのような場合にも上記の演算結果を道路の曲率半径と見なして差し支えない。
次のステップS150では、補正係数設定部6が、道路パラメータ演算部5により演算された道路パラメータに基づいて補正係数を設定する。補正係数の定義や補正係数設定部6による補正係数の設定方法については後に詳述する。
次のステップS160で、ヨー角演算部7は、後方距離演算部8により演算された左後方距離d1,右後方距離d2,および車速検出部3により検出された車両速度に基づいて、車両のヨー角を演算する。例えば、時刻t1に演算された左後方距離d1と、時刻t2に演算された左後方距離d1と、時刻t1から時刻t2の間における車両の進行距離とから、車両のヨー角を演算する。ここで、時刻t2は最後に左後方距離d1を演算した時刻であり、時刻t1は時刻t2より前の時刻である。また、時刻t1から時刻t2の間における車両の進行距離は、車速検出部3により検出された車両速度から求められる。
なお、過去に演算された左後方距離d1を2つ以上用いることで、より精緻に車両のヨー角を演算することができる。具体的には、それら複数の左後方距離d1に対して最小二乗法により回帰直線を求め、この回帰直線と車両の進行距離とから車両のヨー角を演算すればよい。車両のヨー角を演算する方法は、これらのものに限らず、任意の方法を利用することができる。
次のステップS170では、前方距離演算部9が、左後方距離d1,右後方距離d2,および車両ヨー角θに基づいて、車両前前輪から区画線までの距離を演算する。以下、ステップS170における車両前輪から区画線までの距離の演算処理について具体例を挙げて説明する。
図5は、車両501が2本の区画線502および503の存在する道路を走行している様子を模式的に示した平面図である。図5において、ヨー角θはヨー角演算部7により演算され既知である。また、左後方距離d1および右後方距離d2は、後方距離演算部8により演算され既知である。更に、撮像装置1から車両の左前輪の外側までの距離C1と、撮像装置1から車両の右前輪の外側までの距離C2と、左後方距離d1が演算された地点(図4の点Aと点Bとを結ぶ直線)から車両前輪までの距離Lと、は撮像装置1の設置位置に基づいて予め車線逸脱判定装置100に入力されている。
前方距離演算部9は、車両左前輪の外側から左区画線までの距離D1(以下、左前方距離D1と称する)を、左後方距離d1と、左後方距離d1が算出された地点から車両前輪までの距離Lと、撮像装置1から車両左前輪の外側までの距離C1と、車両ヨー角θとを用いて、下記(1)式により演算する。
D1=d1−L×tan(αθ)−C1 …(1)
ここでαは、補正係数設定部6により設定された補正係数である。補正係数αは、補正係数設定部6により0以上1以下の値が設定される。補正係数αが1のとき、上式(1)により演算される左前方距離D1は、図5に矢印で示した距離D1の幾何的な長さと一致する。また、補正係数αが0のとき、実際の車両ヨー角θの値は無視され、車両が道路と同一方向を向いている状態を仮定して左前方距離D1が演算される。つまり、補正係数設定部6が設定する補正係数αは、左前方距離D1の演算において、車両ヨー角θを実際の角度より小さく補正して扱うための係数である。
前方距離演算部9は同様に、車両右前輪の外側から右区画線までの距離D2(以下、右前方距離D2と称する)を、下記(2)式に基づいて演算する。
D2=d2+L×tan(αθ)−C2 …(2)
図2のフローチャートの説明に戻ると、次のステップS180では逸脱判定部10が、ステップS170で演算された左前方距離D1および右前方距離D2を用いて、車両が車線を逸脱するおそれがあるか否かを判定する。具体的には、左前方距離D1と右前方距離D2のどちらか一方が予め定めた距離以下となった場合、逸脱判定部10は車線を逸脱するおそれがあると判定する。
以上に説明した処理によって、車線逸脱判定装置100からは、車両が車線を逸脱するおそれがあるか否かを判定した結果が出力される。この車線逸脱判定装置100を用いることで、JIS規格(JIS D 0804)に対応する車線逸脱警報装置を実現することができる。具体的には、左前方距離D1または右前方距離D2が所定の範囲内(例えば、5cm以内)になった場合に、スピーカーから発せられる音声やディスプレイに表示されるメッセージ等により警報を発生する。なお、警報を解除するタイミングは警報を発生して所定時間経過後(例えば、2秒後)とすればよい。
次に、補正係数設定部6による補正係数の設定方法について説明する。
補正係数αが存在しない式(1)および(2)によって左前方距離D1および右前方距離D2を演算した場合、走行中の道路の特性によっては、車両が車線を逸脱するおそれがある、という判定が頻繁になされることがある。例えば走行中の車線の幅が狭い場合、車両と区画線の間の余裕が少ないために、車両ヨー角θの変化が逸脱判定の結果を頻繁に変動させる。また、走行中の道路の曲率半径が小さい場合(きついカーブを走行中の場合)も、車両と区画線の間の余裕が少ないため、同様の結果が生じる。補正係数αは、このような逸脱判定結果の振動を抑止するために、左前方距離D1および右前方距離D2の演算において、車両ヨー角θを実際よりも小さい値に補正する係数である。
本実施形態の補正係数設定部6は、まず、車線幅および曲率半径という2つの道路パラメータの各々について、対応する補正係数α1,α2を演算する。そして、それら複数の補正係数α1,α2の算術平均を演算することにより、最終的な補正係数αを設定する。
図6は、道路パラメータと補正係数α1,α2との対応関係を示すグラフの一例である。
図6(a)に示すように、補正係数設定部6は、車線幅が2.5メートル未満の場合には補正係数α1を0に設定し、車線幅が3メートルより大きい場合には補正係数α1を1に設定する。また、車線幅が2.5メートル以上3メートル以下の場合には、0〜1の値域を有する一次関数により補正係数α1を設定する。
また、図6(b)に示すように、補正係数設定部6は、曲率半径が400メートル未満の場合には補正係数α2を0に設定し、曲率半径が800メートルより大きい場合には補正係数α2を1に設定する。また、曲率半径が400メートル以上800メートル以下の場合には、0〜1の値域を有する一次関数により補正係数α2を設定する。
上述した第1の実施の形態による車線逸脱判定装置によれば、次の作用効果が得られる。
(1)区画線検出部4は、撮像装置1が車外を撮像して出力した画像情報から区画線を検出する。後方距離演算部8は、区画線から撮像装置1の光軸403までの距離を所定周期ごとに演算する。ヨー角演算部7は、後方距離演算部8により演算された距離と所定期間の間に車両が進行した車両進行距離とに基づいて、区画線に対する車両のヨー角を演算する。補正係数設定部6は、道路パラメータ演算部5により演算された、車両が走行中の道路の特性を表す道路パラメータに基づいて補正係数を設定する。前方距離演算部9は、ヨー角演算部7により演算されたヨー角を設定された補正係数によって補正し、後方距離演算部8により演算された区画線から光軸403までの距離と、補正されたヨー角とに基づいて、車両前輪から区画線までの距離を演算する。逸脱判定部10は、前方距離演算部9により演算された車両前輪から区画線までの距離に基づいて、区画線に対する車両の逸脱判定を行う。このようにしたので、車両が道路を逸脱しやすい状態になった場合にも適切な逸脱判定を行うことができる。
(2)逸脱判定部10は、道路の車線幅と、道路の曲率半径と、の道路パラメータに基づいて逸脱判定を行う。このようにしたので、道路の特性に応じた適切な逸脱判定を行うことが可能になる。
(第2の実施の形態)
図7は、第2の実施形態に係る車線逸脱判定装置200の構成を示すブロック図である。車線逸脱判定装置200は、第1の実施形態に係る車線逸脱判定装置100を構成する各部に加えて、更に後方距離振れ量演算部11を備えている。
後方距離振れ量演算部11は、後方距離演算部8により演算された左後方距離d1および右後方距離d2の時系列的な振れ量(後方距離振れ量)を演算する。補正係数設定部6は、この振れ量の大きさに応じた補正係数α3を演算し、第1の実施形態で説明した補正係数α1,α2と併せた3つの値に基づいて補正係数αを設定する。
後方距離振れ量が大きいということはすなわち、区画線検出部4により検出された区画線の位置には大きなばらつきがあるということである。換言すれば、区画線検出部4による検出結果に大きなばらつきがあるということであり、区画線検出部4による区画線の検出がそれだけ安定していない(不正確である)ことを表している。補正係数設定部6は、後方距離振れ量が大きいほど、すなわち区画線検出部4による区画線の検出が不安定であるほど、補正係数α3を小さく演算する。
図8は、後方距離振れ量と補正係数α3との対応関係を示すグラフの一例である。
本実施形態の後方距離振れ量演算部11は、所定の期間において検出された区画線の位置(または所定の回数だけ連続して検出された区画線の位置)の標準偏差を、上記の後方距離振れ量として演算する。そして、後方距離振れ量の大小に応じた振れレベルを補正係数設定部6に出力する。振れレベルは後方距離振れ量の大きさを表す0以上の整数であり、後方距離振れ量が大きいほど大きな値を採る。補正係数設定部6は、後方距離振れ量演算部11から出力された振れレベルが0の場合には補正係数α3を1に設定する。また、振れレベルが1の場合には補正係数α3を0.5に、2以上の場合には0に、それぞれ設定する。
なお、後方距離振れ量に応じた離散的な値である振れレベルの代わりに、連続的な値である振れ指標を用いて補正係数を設定してもよい。例えば、上述した補正係数α3の代わりに、図8(b)に示す振れ指標に基づく補正係数α4を演算し、補正係数α1,α2,α4に基づいて補正係数αを設定するようにしてもよい。
上述した第2の実施の形態による車線逸脱判定装置によれば、次の作用効果が得られる。
(1)車線逸脱判定装置200は、後方距離演算部8により演算された区画線から光軸403までの距離の、時系列的なばらつきの大きさを演算する後方距離振れ量演算部11を備える。補正係数設定部6は、後方距離振れ量演算部11により演算されたばらつきの大きさと道路パラメータとに基づいて補正係数αを設定する。前方距離演算部9は、補正係数αによってヨー角を補正し、補正されたヨー角に基づいて車両前輪から区画線までの距離を演算する。逸脱判定部10は演算されたこの距離に基づいて逸脱判定を行う。このようにしたので、区画線の検出精度によらず適切な逸脱判定を行うことが可能になる。
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
(変形例1)
補正係数設定部6による補正係数αの設定方法は、上述したものに限定されない。例えば、車線幅から車両の幅を引いた値に基づいて補正係数を設定してもよい。また、個々の道路パラメータから演算された補正係数α1,α2から補正係数αを演算する方法は、算術平均でなく、例えば所定の重みに基づく加重平均などであってもよい。更に、道路パラメータごとに個別に補正係数α1,α2を演算した後に補正係数αを設定するのではなく、複数の道路パラメータから補正係数αを直接演算してもよい。更には、個々の道路パラメータから演算された補正係数α1,α2から小さい値を選択して補正係数αとしてもよい。
(変形例2)
上述の各実施例においては、車両後方を撮像する撮像装置1を用いて説明したが、車両前方を撮像する撮像装置1でもよく、また、撮像装置1の取付角度や取付位置が各実施例と異なっていてもよい。
(変形例3)
上述の各実施例においては、後方距離演算部8により演算された区画線までの距離に基づいて、前方距離演算部9が車両前輪の外側から区画線までの距離を演算していた。これを、例えば車両前方の角から区画線までの距離など、任意の場所における区画線までの距離を演算するように構成してもよい。
(変形例4)
道路パラメータは、上述した道路の車線幅と曲率半径に限定されない。また、必ずしもこれら2つの道路パラメータを用いなくてもよい。例えば、道路の車線幅のみを用いて補正係数αが設定されるようにしてもよい。更に、道路パラメータ演算部5が、道路の車線幅を区画線検出部4により演算された車線幅以外の情報から演算してもよく、また、道路の曲率半径をヨーレート検出部2により検出されたヨーレート以外の情報から演算するようにしてもよい。例えば、GPS受信機等により検出された車両の現在地と、HDD等の記憶装置に記憶されている道路情報とから、現在走行中の道路の車線幅や曲率半径を演算するようにしてもよい。
また、本発明の車線逸脱判定装置を用いて外部に車線逸脱時の警報信号を出力する車線逸脱警報装置を構成してもよい。具体的には、図9に示すように、車線逸脱警報装置900は、第1の実施形態に係る車線逸脱判定装置100又は第2の実施形態に係る車線逸脱判定装置200,警報出力部20により構成される。
車線逸脱警報装置900は、車線逸脱判定装置100又は200で車両が区画線を逸脱するか否かを判定し、車両が区画線を逸脱すると判定された場合に警報出力部20で車線逸脱警報信号を外部に出力する。なお、警報出力部20では、警報抑制条件が成立している場合は車線逸脱警報信号を外部に出力しない構成とする。ここで、警報抑制条件とは、ウィンカー操作中、ウィンカー操作終了後所定時間内(例えば、2秒間)、車速が所定値以下(例えば、70km/h以下)、道路曲率半径が所定値以下(例えば、200m以下)などがある。
さらに、車線逸脱警報装置900を用いて車両制御システムを構成してもよい。具体的には、図10に示すように、車両制御システム1000は、少なくとも、撮像装置1,車線逸脱警報装置900,警報報知部30により構成される。
車両制御システム1000は、車線逸脱警報装置900で車線逸脱警報信号が出力された場合に警報報知部30により運転者や乗員に対して車線逸脱警報を報知する。なお、警報報知部30は、音で情報を伝えるスピーカーや、視覚的に情報を伝えるディスプレイ,メーターパネル,警告灯などで構成される。
以上説明したように、本発明の車線逸脱判定装置を用いて車線逸脱警報装置を構成し、さらには、これらを用いた車両制御システムを構成することで、車線逸脱判定装置の適切な車線逸脱判定に基づいて車線逸脱警報の報知ができるため、運転者や乗員に対して安心感や信頼性を向上させることが可能となる。
本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。
1…撮像装置、2…ヨーレート検出部、3…車速検出部、4…区画線検出部、5…道路パラメータ演算部、6…補正係数設定部、7…ヨー角演算部、8…後方距離演算部、9…前方距離演算部、10…逸脱判定部、100,200…車線逸脱判定装置、1000…車両制御システム

Claims (9)

  1. 撮像装置が車外を撮像して出力した画像情報から区画線を検出し、前記車両が前記区画線を逸脱するか否かを前記車両と前記区画線との距離に基づいて判定する車線逸脱判定装置であって、
    検出された前記区画線に対する前記車両の角度が同一で、所定の幅より広い区画線幅を有する道路と所定の幅より狭い区画線幅を有する道路とを前記車両が走行する場合で、逸脱判定するときの前記車両と前記区画線との距離が異なることを特徴とする車線逸脱判定装置。
  2. 請求項1に記載の車線逸脱判定装置において、
    検出された前記区画線に対する前記車両の角度が同一で、前記車両が前記区画線を逸脱する場合、所定の幅より広い区画線幅を有する道路の方が所定の幅より狭い区画線幅を有する道路に比べて、逸脱判定する時間が早いことを特徴とする車線逸脱判定装置。
  3. 撮像装置が車外を撮像して出力した画像情報から区画線を検出し、前記車両が前記区画線を逸脱するか否かを前記車両と前記区画線との距離に基づいて判定する車線逸脱判定装置であって、
    検出された前記区画線に対する前記車両の角度が同一で、所定の曲率半径より大きい道路と所定の曲率半径より小さい道路とを前記車両が走行する場合で、逸脱判定するときの前記車両と前記区画線との距離が異なることを特徴とする車線逸脱判定装置。
  4. 請求項3に記載の車線逸脱判定装置において、
    検出された前記区画線に対する前記車両の角度が同一で、前記車両が前記区画線を逸脱する場合、所定の曲率半径より大きい道路の方が所定の曲率半径より小さい道路に比べて、逸脱判定する時間が早いことを特徴とする車線逸脱判定装置。
  5. 撮像装置が車外を撮像して出力した画像情報から区画線を検出する区画線検出部と、
    前記区画線から前記撮像装置の光軸までの距離を所定周期ごとに演算する距離演算部と、
    前記区画線に対する前記車両のヨー角を演算するヨー角演算部と、
    前記車両が走行中の道路の特性を表す道路パラメータに基づいて、前記ヨー角演算部により演算された前記ヨー角を補正し、前記距離演算部により演算された前記区画線から前記光軸までの距離と、補正された前記ヨー角と、に基づいて前記区画線に対する前記車両の逸脱判定を行う逸脱判定部と、
    を備えることを特徴とする車線逸脱判定装置。
  6. 請求項5に記載の車線逸脱判定装置において、
    前記逸脱判定部は、前記道路の車線幅と、前記道路の曲率半径と、の少なくとも一方の前記道路パラメータに基づいて前記ヨー角を補正することを特徴とする車線逸脱判定装置。
  7. 請求項5または6に記載の車線逸脱判定装置において、
    前記距離演算部により演算された前記区画線から前記光軸までの距離の、時系列的なばらつきの大きさを演算する振れ量演算部を更に備え、
    前記逸脱判定部は、前記振れ量演算部により演算された前記ばらつきの大きさと前記道路パラメータとに基づいて、前記ヨー角演算部により演算された前記ヨー角を補正し、前記距離演算部により演算された前記区画線から前記光軸までの距離と、補正された前記ヨー角と、に基づいて前記逸脱判定を行うことを特徴とする車線逸脱判定装置。
  8. 請求項1〜7のいずれか一項に記載の車線逸脱判定装置と、
    前記車線逸脱判定装置による逸脱判定の結果に基づいて車線逸脱の警報信号を出力する警報出力部と、
    を備えることを特徴とする車線逸脱警報装置。
  9. 請求項8に記載の車線逸脱警報装置と、
    前記車線逸脱警報装置による警報信号の出力結果に基づいて警報を報知する警報報知部と、
    を備えることを特徴とする車両制御システム。
JP2012149863A 2012-07-03 2012-07-03 車線逸脱判定装置,車線逸脱警報装置及びそれらを使った車両制御システム Active JP6035064B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012149863A JP6035064B2 (ja) 2012-07-03 2012-07-03 車線逸脱判定装置,車線逸脱警報装置及びそれらを使った車両制御システム
US14/411,946 US10625675B2 (en) 2012-07-03 2013-06-17 Lane departure judgment apparatus, lane departure warning apparatus and vehicle control system using the same
EP13812543.0A EP2871628B1 (en) 2012-07-03 2013-06-17 Lane departure determination apparatus, lane departure warning apparatus, and vehicle control system using same
PCT/JP2013/066576 WO2014007052A1 (ja) 2012-07-03 2013-06-17 車線逸脱判定装置,車線逸脱警報装置及びそれらを使った車両制御システム
CN201380035252.1A CN104471626B (zh) 2012-07-03 2013-06-17 车道脱离判定装置、车道脱离警报装置以及使用它们的车辆控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012149863A JP6035064B2 (ja) 2012-07-03 2012-07-03 車線逸脱判定装置,車線逸脱警報装置及びそれらを使った車両制御システム

Publications (2)

Publication Number Publication Date
JP2014013450A true JP2014013450A (ja) 2014-01-23
JP6035064B2 JP6035064B2 (ja) 2016-11-30

Family

ID=49881812

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012149863A Active JP6035064B2 (ja) 2012-07-03 2012-07-03 車線逸脱判定装置,車線逸脱警報装置及びそれらを使った車両制御システム

Country Status (5)

Country Link
US (1) US10625675B2 (ja)
EP (1) EP2871628B1 (ja)
JP (1) JP6035064B2 (ja)
CN (1) CN104471626B (ja)
WO (1) WO2014007052A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112519773A (zh) * 2020-11-30 2021-03-19 南通路远科技信息有限公司 一种智能驾驶汽车的车道保持方法、装置及汽车
JP2022104108A (ja) * 2020-12-28 2022-07-08 本田技研工業株式会社 車両制御システム及び区画線推定方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9852633B2 (en) * 2011-02-28 2017-12-26 Toyota Jidosha Kabushiki Kaisha Travel assist apparatus and travel assist method
US9547805B1 (en) * 2013-01-22 2017-01-17 The Boeing Company Systems and methods for identifying roads in images
TW201538369A (zh) * 2014-04-09 2015-10-16 Papago Inc 結合駕駛行爲之車道偏移警示系統及方法
JP2016007894A (ja) * 2014-06-23 2016-01-18 トヨタ自動車株式会社 注意喚起装置及び走行制御装置
JP6771999B2 (ja) * 2016-08-26 2020-10-21 シャープ株式会社 自動走行装置及び自動走行システム
JP6759928B2 (ja) * 2016-09-26 2020-09-23 いすゞ自動車株式会社 車線逸脱抑制装置及び車線逸脱抑制方法
JP6547969B2 (ja) * 2016-11-30 2019-07-24 トヨタ自動車株式会社 車両運転支援装置
KR102589967B1 (ko) * 2017-12-29 2023-10-16 삼성전자주식회사 차선을 검출하는 방법 및 장치
US10586456B2 (en) 2018-04-27 2020-03-10 TuSimple System and method for determining car to lane distance
JP7131131B2 (ja) * 2018-06-29 2022-09-06 マツダ株式会社 車両用ライン検出装置および該方法
CN111216740A (zh) * 2018-11-08 2020-06-02 株式会社万都 驾驶员辅助设备及其控制方法以及驾驶员辅助系统
JP7189088B2 (ja) * 2019-06-06 2022-12-13 本田技研工業株式会社 車両制御装置、車両、車両制御装置の動作方法およびプログラム
CN112817303B (zh) 2019-11-18 2024-04-30 富联精密电子(天津)有限公司 自走三角警示架及其行进控制方法
CN116495000B (zh) * 2023-06-28 2023-09-01 交通运输部公路科学研究所 极低能见度条件下的车辆偏航检测方法和辅助驾驶系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11348696A (ja) * 1998-06-15 1999-12-21 Toyota Motor Corp 進行路形状推定装置及びこれを用いた走行支援装置
JP2003337998A (ja) * 2002-05-21 2003-11-28 Aisin Seiki Co Ltd 車線逸脱判定装置
JP2004038487A (ja) * 2002-07-02 2004-02-05 Toyota Motor Corp 車線逸脱警報装置
JP2009006880A (ja) * 2007-06-28 2009-01-15 Nissan Motor Co Ltd 車線逸脱防止装置
JP2010076539A (ja) * 2008-09-25 2010-04-08 Fuji Heavy Ind Ltd 車両逸脱防止装置
JP2011192227A (ja) * 2010-03-17 2011-09-29 Clarion Co Ltd 車両姿勢角算出装置及びそれを用いた車線逸脱警報システム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2606203B2 (ja) 1987-03-03 1997-04-30 株式会社デンソー 車両の走行方向異常警告装置
JP2001010518A (ja) * 1999-06-25 2001-01-16 Honda Motor Co Ltd 車両用操舵制御装置
JP3603768B2 (ja) * 2000-09-06 2004-12-22 日産自動車株式会社 車線逸脱判定装置
US6888622B2 (en) * 2002-03-12 2005-05-03 Nissan Motor Co., Ltd. Method for determining object type of reflective object on track
EP1504276B1 (en) * 2002-05-03 2012-08-08 Donnelly Corporation Object detection system for vehicle
JP3922194B2 (ja) * 2003-03-11 2007-05-30 日産自動車株式会社 車線逸脱警報装置
JP3873919B2 (ja) * 2003-03-20 2007-01-31 日産自動車株式会社 車線逸脱防止装置
JP3900099B2 (ja) * 2003-03-20 2007-04-04 日産自動車株式会社 車線逸脱防止装置
JP4235026B2 (ja) * 2003-04-28 2009-03-04 トヨタ自動車株式会社 駐車支援装置
US7444224B2 (en) * 2003-11-14 2008-10-28 Nissan Motor Co., Ltd. Lane departure prevention apparatus
DE102004037298A1 (de) * 2004-07-31 2006-03-23 Robert Bosch Gmbh Verfahren zur Spurbreitenadaption bei einem Spurhaltesystem
JP4534754B2 (ja) * 2004-12-21 2010-09-01 日産自動車株式会社 車線逸脱防止装置
CN100486845C (zh) * 2004-12-27 2009-05-13 日产自动车株式会社 车道偏离防止系统
WO2007063397A1 (en) * 2005-12-01 2007-06-07 Toyota Jidosha Kabushiki Kaisha Driving assistance system and driving assistance method
JP4747935B2 (ja) * 2006-04-28 2011-08-17 日産自動車株式会社 車線逸脱防止装置
JP2008250904A (ja) 2007-03-30 2008-10-16 Toyota Motor Corp 車線区分線情報検出装置、走行車線維持装置、車線区分線認識方法
US8055445B2 (en) * 2008-09-24 2011-11-08 Delphi Technologies, Inc. Probabilistic lane assignment method
JP5146243B2 (ja) 2008-10-10 2013-02-20 トヨタ自動車株式会社 車線逸脱抑制装置
JP4692609B2 (ja) * 2008-11-13 2011-06-01 日産自動車株式会社 車線逸脱防止装置
JP4692613B2 (ja) * 2008-11-28 2011-06-01 トヨタ自動車株式会社 車載装置、及び当該装置で用いられる方法
DE112008004200B4 (de) * 2008-12-26 2023-02-09 Toyota Jidosha Kabushiki Kaisha Fahrtroutenschätzvorrichtung und Fahrtroutenschätzverfahren, das in dieser Vorrichtung verwendet wird
KR101163446B1 (ko) * 2009-03-18 2012-07-18 기아자동차주식회사 가상 차선을 이용하는 차선 이탈 경보 방법 및 그에 따른 시스템
JP5424111B2 (ja) 2009-12-07 2014-02-26 トヨタ自動車株式会社 車線逸脱防止支援装置
JP5510254B2 (ja) * 2010-10-01 2014-06-04 トヨタ自動車株式会社 走行支援装置及び方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11348696A (ja) * 1998-06-15 1999-12-21 Toyota Motor Corp 進行路形状推定装置及びこれを用いた走行支援装置
JP2003337998A (ja) * 2002-05-21 2003-11-28 Aisin Seiki Co Ltd 車線逸脱判定装置
JP2004038487A (ja) * 2002-07-02 2004-02-05 Toyota Motor Corp 車線逸脱警報装置
JP2009006880A (ja) * 2007-06-28 2009-01-15 Nissan Motor Co Ltd 車線逸脱防止装置
JP2010076539A (ja) * 2008-09-25 2010-04-08 Fuji Heavy Ind Ltd 車両逸脱防止装置
JP2011192227A (ja) * 2010-03-17 2011-09-29 Clarion Co Ltd 車両姿勢角算出装置及びそれを用いた車線逸脱警報システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112519773A (zh) * 2020-11-30 2021-03-19 南通路远科技信息有限公司 一种智能驾驶汽车的车道保持方法、装置及汽车
CN112519773B (zh) * 2020-11-30 2022-08-05 南通路远科技信息有限公司 一种智能驾驶汽车的车道保持方法、装置及汽车
JP2022104108A (ja) * 2020-12-28 2022-07-08 本田技研工業株式会社 車両制御システム及び区画線推定方法

Also Published As

Publication number Publication date
US10625675B2 (en) 2020-04-21
US20150336510A1 (en) 2015-11-26
EP2871628A4 (en) 2016-03-16
WO2014007052A1 (ja) 2014-01-09
JP6035064B2 (ja) 2016-11-30
CN104471626A (zh) 2015-03-25
EP2871628B1 (en) 2019-01-09
CN104471626B (zh) 2017-01-25
EP2871628A1 (en) 2015-05-13

Similar Documents

Publication Publication Date Title
JP6035064B2 (ja) 車線逸脱判定装置,車線逸脱警報装置及びそれらを使った車両制御システム
JP5350297B2 (ja) 車両姿勢角算出装置及びそれを用いた車線逸脱警報システム
US9280824B2 (en) Vehicle-surroundings monitoring device
JP5887219B2 (ja) 車線逸脱警報装置
JP5389864B2 (ja) 車線逸脱警報装置
WO2015111344A1 (ja) 特異走行箇所検出装置および特異走行箇所検出方法
JP2012171562A (ja) 車線逸脱警報装置および車線逸脱警報システム
JP5938518B2 (ja) 衝突安全制御装置
JP6008050B2 (ja) 運転状態推定装置
JPWO2018173907A1 (ja) 車両制御装置
JP2010003086A (ja) ドライブレコーダー
JP4865096B1 (ja) 車線逸脱警報制御装置
JP5625094B2 (ja) 車両姿勢角算出装置
JP2017102832A (ja) 車両ピッチ角推定装置
KR20180007211A (ko) 차량의 후방 추돌경보시스템
US20230382299A1 (en) Driving support device, driving support unit, storage medium, and driving support method
JP2008250489A (ja) 人と車両の能力判定装置
JP7127282B2 (ja) 運転状態判定装置及び運転状態判定方法
JP6686865B2 (ja) 運転状態判定装置
JP2016016676A (ja) 車載表示装置
JP2015076057A (ja) 車両用情報提供装置
KR20190012967A (ko) 긴급 제동 시스템의 제어 장치 및 방법
JP2009208533A (ja) 運転支援システム
KR20180079747A (ko) 차량 주행경로 알림 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161031

R150 Certificate of patent or registration of utility model

Ref document number: 6035064

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250