JP2016043837A - 道路形状認識装置 - Google Patents

道路形状認識装置 Download PDF

Info

Publication number
JP2016043837A
JP2016043837A JP2014170392A JP2014170392A JP2016043837A JP 2016043837 A JP2016043837 A JP 2016043837A JP 2014170392 A JP2014170392 A JP 2014170392A JP 2014170392 A JP2014170392 A JP 2014170392A JP 2016043837 A JP2016043837 A JP 2016043837A
Authority
JP
Japan
Prior art keywords
distance
road
road shape
recognition
curve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014170392A
Other languages
English (en)
Other versions
JP6285321B2 (ja
Inventor
直輝 川嵜
Naoteru Kawasaki
直輝 川嵜
洋平 増井
Yohei Masui
洋平 増井
豊晴 勝倉
Toyoharu Katsukura
豊晴 勝倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Soken Inc
Original Assignee
Denso Corp
Nippon Soken Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Nippon Soken Inc filed Critical Denso Corp
Priority to JP2014170392A priority Critical patent/JP6285321B2/ja
Priority to US15/506,614 priority patent/US10176387B2/en
Priority to PCT/JP2015/073679 priority patent/WO2016031753A1/ja
Publication of JP2016043837A publication Critical patent/JP2016043837A/ja
Application granted granted Critical
Publication of JP6285321B2 publication Critical patent/JP6285321B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • B60W40/072Curvature of the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/08Lane monitoring; Lane Keeping Systems
    • B60T2201/085Lane monitoring; Lane Keeping Systems using several actuators; Coordination of the lane keeping system with other control systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2210/00Detection or estimation of road or environment conditions; Detection or estimation of road shapes
    • B60T2210/20Road shapes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2210/00Detection or estimation of road or environment conditions; Detection or estimation of road shapes
    • B60T2210/20Road shapes
    • B60T2210/24Curve radius
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/05Type of road, e.g. motorways, local streets, paved or unpaved roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】認識範囲よりも遠方の道路形状を、精度よく推定することができる道路形状認識装置を提供する。【解決手段】車両に搭載された道路画像取得手段10により道路画像を取得し、その道路画像を用いて道路形状を求める道路形状認識装置20であって、認識範囲内の道路画像に基づいて道路形状を認識する認識処理手段21と、認識範囲内の道路形状に基づいて、認識範囲外の道路形状を推定する推定処理手段22と、を備え、推定処理手段22は、認識範囲外であり、且つ、第1距離D1以内の道路形状を、曲率変化率が一定である曲線として推定し、第1距離D1以遠の道路形状を、曲率が一定である曲線として推定することを特徴とする。【選択図】図1

Description

本発明は、撮像された道路画像に基づいて、道路の形状を認識する道路形状認識装置に関する。
従来、撮像された道路画像に基づいて、走行区画線等により道路形状を認識する装置として、特許文献1に記載されたものがある。特許文献1に記載された装置では、撮像された道路画像から道路の曲率及びクロソイドパラメータ(曲率変化率が一定であるパラメータ)を算出しており、算出されたクロソイドパラメータを用いて、車両の挙動を予測している。
特開2001−10524号公報
ところで、撮像された道路画像により道路形状を認識した際に、認識した道路形状を用いて認識範囲外の道路形状を推定することが可能である。しかしながら、画像認識により得られるクロソイドパラメータの精度は低く、遠方の道路形状をクロソイドパラメータにより推定する場合には、実際の道路形状と推定された道路形状との乖離が増大することが問題となる。
本発明は、上記課題を解決するためになされたものであり、その主たる目的は、認識範囲よりも遠方の道路形状を、精度よく推定することができる道路形状認識装置を提供することにある。
本発明は、車両に搭載された道路画像取得手段により道路画像を取得し、その道路画像を用いて道路形状を求める道路形状認識装置であって、認識範囲内の道路画像に基づいて道路形状を認識する認識処理手段と、認識範囲内の道路形状に基づいて、認識範囲外の道路形状を推定する推定処理手段と、を備え、推定処理手段は、認識範囲外であり、且つ、第1距離以内の道路形状を、曲率変化率が一定である曲線として推定し、第1距離以遠の道路形状を、曲率が一定である曲線として推定することを特徴とする。
道路形状の推定を、パラメータの推定精度が低い曲率変化率が一定である曲線を用いて行う場合、認識範囲から遠方であるほど誤差が大きくなる。上記構成では、パラメータの推定精度が低い曲率変化率が一定の曲線による道路形状の推定を第1距離までとし、第1距離以遠を曲率が一定の曲線としている。そのため、推定された道路形状と実際の道路形状との乖離を小さくすることができる。
加えて、実際の道路のカーブ区間の形状は、曲率変化率が一定であるクロソイド曲線に基づいて設定される緩和区間を経て、曲率が一定の区間へと移行する。この点、上記構成では、第1距離D1までは曲率変化率を一定とし、第1距離以遠は曲率を一定としているため、認識範囲以遠の道路形状を、実際の道路形状に近似する形状として推定することができる。
道路形状認識装置の構成を示す図である。 車載カメラにより撮像される範囲を示す図である。 道路形状認識装置が実行する処理を示すフローチャートである。 (a)が撮像される道路を示す概略図であり、(b)が白線認識処理を示す図である。 (a)が曲率変化率を一定として推定した白線形状を示す図であり、(b)が、第1距離以遠の曲率を一定として推定した白線形状を示す図である。 第2実施形態における、第1距離までは曲率変化率を一定とし、第2距離までは曲率を一定とし、第2距離以遠を直線として推定した白線形状を示す図である。 (a)は、通常時に撮像される道路を示す概略図であり、(b)及び(c)が、認識距離が短くなる例を示している。 (a)〜(c)は、それぞれ、図7(a)〜(c)の場合における認識距離を示している。 第3実施形態における、認識距離と第1距離及び第2距離との関係を示している。 第3実施形態における、認識距離が第1距離よりも小さく第2距離よりも大きい場合に推定される白線形状を示す図である。 第1距離及び第2距離の設定方法の変形例を示す図である。
<第1実施形態>
以下、本実施形態に係る道路形状認識装置について、図面を参照しつつ説明する。本実施形態に係る道路形状認識装置は車両に搭載され、道路形状認識装置により認識された、道路幅や道路の曲率を含む道路形状は、例えば、車両が白線等の走行区画線から逸脱しないように制御するレーンキーピングアシストに用いられる。なお、本実施形態における道路形状認識装置は、道路上の白線の形状(白線形状)により道路形状を認識するものとしている。
まず、図1を参照して、本実施形態に係る道路形状認識装置20の構成について説明する。本実施形態に係る道路形状認識装置20は、白線認識部21(認識処理手段)及び白線推定部22(推定処理手段)を備え、車載カメラ10(道路画像取得手段)から入力された画像を処理して得られた白線形状を、車両制御装置30に送信するように構成されている。
車載カメラ10は、CCDカメラ、CMOSイメージセンサ、近赤外線カメラ等であり、図2(a)及び図2(b)に示すように、車両40の前方の走行路を撮像するように、車両40に搭載されている。詳しくは、車載カメラ10は、車両40の車幅方向の中央、例えばルームミラーに取り付けられており、車両前方へ向けて所定角度範囲で広がる領域(図2(a)及び図2(b)のハッチング領域)を撮像する。
道路形状認識装置20は、CPU、メモリ等を備えたコンピュータとして構成されている。CPUが、メモリに記憶されているプログラムを実行することにより、白線認識部21及び白線推定部22の機能を実現する。
白線認識部21が認識した白線形状、及び、白線推定部22が推定した遠方白線形状は、車両制御装置30へ入力される。車両制御装置30は、図示しない各種センサから入力された車速やヨーレート等と、白線形状及び遠方白線形状とに基づいて制御を行う。すなわち、車速及びヨーレートにより車両40の将来の位置を予測し、予測した将来の位置と白線形状及び遠方白線形状とを用いて、車両40が白線を逸脱するおそれがあるか否かを判断する。そして、例えば、車両制御装置30が警報機能を有していれば、車両40が白線を逸脱するおそれがあると判断した場合、車両40が備えるディスプレイにより警告表示を行ったり、車両40が備えるスピーカにより警告音を発生させたりする。また、車両制御装置30が運転補助機能を有していれば、車両40が白線を逸脱するおそれがあると判断した場合、ステアリングに操舵力を加える。
図3は、道路形状認識装置20が実行する一連の処理を示すフローチャートであり、この処理は所定の制御周期で繰り返し実行される。また、図4(a)は撮像された画像の例を示しており、図4(b)は、図3のフローチャートにより白線が検出される過程を示している。
まず、道路画像の輝度情報に基づきエッジ点Pを抽出し(S101)、抽出したエッジ点Pに対してハフ変換を行う(S102)。S102では、エッジ点Pが複数個連続して並ぶ直線又は曲線の抽出が行われる。直線又は曲線の抽出がなされれば、その直線又は曲線を白線候補として、特徴量を算出する(S103)。その白線候補の中から、特徴量を用いて、車両40の進行方向へと延びる一対の直線又は曲線を白線候補として絞り込む(S104)。
続いて、エッジ点Pの鳥瞰変換を行う(S105)。図4で示すとおり、道路は鳥瞰視点で撮像されため、抽出される白線も鳥瞰図として取得される。そこで、取得した白線候補のエッジ点Pに対して、車載カメラ10の取り付け位置及び取り付け角度を用いて座標変換を行い、平面図へと変換する。このとき、平面図において、車載カメラ10により撮像された範囲のうち、白線を認識することができた範囲を認識範囲と定義する。すなわち、認識することができた白線の、車両40から最も離間した位置が、認識範囲の端部となる。そして、平面図へと変換された白線形状を特定するパラメータを推定するために、その形状を多項式により近似する(S106)。そして、近似に用いた多項式を、認識範囲外へ延長させることで、認識範囲外の遠方白線形状を推定する(S107)。
続いて、図3のフローチャートにおける白線パラメータ推定処理(S106)、及び、遠方白線形状推定処理(S107)について詳述する。これらの処理は、白線推定部22が実行する処理である。
白線推定部22は、まず、白線認識部21が認識した白線のパラメータを算出する。白線のパラメータを算出する際には、道路のカーブ区間が、クロソイドパラメータを用いたクロソイド曲線として設計されていることを利用する。すなわち、道路のカーブ区間は、曲率の増加率が一定であるクロソイド曲線により定義される緩和区間、曲率が一定である区間、曲率の減少率が一定であるクロソイド曲線により定義される緩和区間の順に経て、直線区間へと移行する。
ところで、曲率変化率が一定であるクロソイド曲線は、3次曲線で近似できることが知られている。そのため、3次曲線を示す下記数式1を用いて、認識範囲内の白線のパラメータを近似する。なお、数式1において、xは車両40の進行方向の座標を示しており、f(x)は車両40の進行方向に垂直に交差する方向の座標を示しており、また、a、b、c、dはそれぞれ定数である。
Figure 2016043837
そして、認識範囲の端部から所定距離離間した距離である第1距離D1に至るまでの白線を、上記数式1を用いて推定する。すなわち、認識範囲外の白線形状が、第1距離D1まで上記数式1に従って変化するものと仮定し、認識範囲外の白線の形状を上記数式1に従う曲線とする。なお、第1距離D1は、白線形状を3次曲線により近似した場合に、実際の形状とのずれが小さいと認められる距離として定義され、道路形状認識装置20のメモリに記憶されている。
続いて、第1距離D1以遠の白線形状を推定する。この時、第1距離D1におけるx座標をx1とすると、上記数式1により推定された白線の、第1距離D1における曲率を示すCは下記数式2で表される。
Figure 2016043837
そして、上記数式2で曲率として求められたCに基づく曲率一定の曲線として、第1距離D1以遠の白線形状が推定される。
図5(a)は、認識範囲外の白線形状を、曲率が一定の曲率変化率で増加する曲線として推定した例を示している。一方、図5(b)は、本実施形態に係る処理により求められた、第1距離D1までは曲率が一定の曲率変化率で増加する曲線として推定される第1区間αとし、第1距離D1以遠は曲率が一定である曲線として推定される第2区間βとした白線形状を示している。図5(a)及び(b)において、車両40を頂点とした三角形の内部が認識範囲であり、認識範囲内の白線、すなわち、白線認識部21が認識した白線を実線で示しており、認識範囲外の白線、すなわち、白線推定部22が推定した白線を破線で示している。図5(a)は、全認識範囲外で曲率変化率が一定であるため、遠方において曲率が過剰に大きくなっている。一方、図5(b)では、第1区間αでは曲率が増加し、且つ、第2区間βでは曲率が一定である曲線となるため、遠方において曲率が過剰に増大するおそれが低減する。
上記構成により、本実施形態に係る道路形状認識装置20は以下の効果を奏する。
・白線形状の推定を、パラメータの推定精度が低い曲率変化率が一定である曲線を用いて行う場合、認識範囲から遠方であるほど誤差が大きくなる。本実施形態では、パラメータの推定精度が低い曲率変化率が一定の曲線による白線形状の推定を第1距離D1までとし、第1距離D1以遠を曲率が一定の曲線としている。そのため、推定された白線形状と実際の白線形状との乖離を小さくすることができる。
・第1区間αにおける白線の第1距離D1における曲率を、第2区間βにおける曲率として用いている。そのため、第1区間αの曲線と第2区間βの曲線とを連続的に変化する曲線とすることができる。
・実際の道路のカーブ区間の形状は、曲率変化率が一定であるクロソイド曲線に基づいて設定される緩和区間を経て、曲率が一定の区間へと移行する。この点、本実施形態では、第1距離D1までは曲率変化率が一定である第1区間αとし、第1距離D1以遠は曲率が一定である第2区間βとして推定している。そのため、本実施形態では、認識範囲以遠の白線形状を、実際の道路における白線形状に近似する形状として推定することができる。
<第2実施形態>
本実施形態は、第1実施形態と全体構成は共通しており、白線推定部22が実行する処理が異なっている。本実施形態では、道路形状認識装置20のメモリには、第1距離D1に加えて第1距離D1よりも大きい値である第2距離D2も記憶されている。
本実施形態では、認識範囲外の白線形状について、第1距離D1までは、曲率変化率が一定の曲線とし、第1距離D1以遠であり、且つ、第2距離D2までは、曲率が一定の曲線とし、第2距離D2以遠は直線とする。
図6は、本実施形態において、白線推定部22が推定する、認識範囲外の白線形状を示している。認識範囲外であり、且つ、第1距離D1までは、第1実施形態と同様に、曲率変化率が一定の曲線として白線形状が推定される第1区間αである。第1距離D1から第2距離D2までは、第1実施形態と同様に、第1距離D1における曲率を用いて、曲率が一定である曲線として白線形状が推定される第2区間βである。さらに、第2距離D2以遠は、第2区間βの曲率が一定である曲線の、第2距離D2における接線の延長線である直線として、白線形状が推定される第3区間γとなる。
本実施形態は、上記構成により、第1実施形態が奏する効果に加えて以下の効果を奏する。
・第1距離D1以遠における実際の白線形状との乖離を抑制すべく、第1距離D1以遠の白線形状を曲率が一定の曲線として推定した場合においても、認識範囲から遠方になるほど、その乖離幅は大きくなる。そのため、本実施形態では、第1距離D1に加えて第2距離D2を設け、第2距離D2以遠については、白線の形状を直線として推定しているため、実際の白線の形状と推定された白線の形状との乖離を抑制することができる。
・本実施形態では、第2距離D2以遠の白線形状を直線として推定しているため、第2距離D2以遠の白線形状を算出する上での、道路形状認識装置20の処理負荷を抑制することができる。
<第3実施形態>
本実施形態に係る道路形状認識装置20は、全体構成は第2実施形態と共通しており、白線推定部22が実行する処理が一部異なっている。
本実施形態では、白線認識部21が認識した白線形状に基づいて、認識距離Drecを決定する。この認識距離Drecは、認識範囲内の白線の長さとして求められる。
認識距離Drecが変化する状況について、図7及び図8を用いて説明する。図7(a)は、前方車両が存在せず、且つ、一定の照度がある場合に撮像される道路を示しており、図7(b)は、前方車両が存在し、前方車両により白線の一部が隠蔽される場合に撮像される道路を示しており、図7(c)は、夜間であり、車両40のヘッドライトにより道路を照射しているものの、撮像される道路の範囲が照射領域内に制限される場合を示している。図8(a)〜(c)は、それぞれ、図7(a)〜(c)の場合における、認識距離Drecを示している。図7(b)では白線の一部が前方車両により隠蔽されており、図7(c)では照射領域内の白線のみが認識可能となっている。そのため、図8(b)及び図8(c)で示す認識距離Drecは、図8(a)で示す認識距離Drecと比較して短くなっている。すなわち、様々な条件により、撮像された道路画像から認識される白線の長さは変化する。
ところで、上記第1実施形態で記載したように、認識範囲内の白線に対して三次曲線で近似を行い、その3次曲線を用いて第1距離D1までの白線を推定している。このとき、認識距離Drecが短いほど、白線形状に対する三次曲線の近似の際の誤差が大きくなる。一方、近似の際に誤差が生じている場合、第1距離D1が遠方であるほど、その誤差の影響による実際の白線との乖離が大きくなる。第1距離D1以遠の曲率が一定の曲線についても、第1距離D1における曲率を用いるため、同様に乖離が大きくなる。そこで、本実施形態では、認識距離Drecを用いて、第1距離D1及び第2距離D2を可変に設定する。
図9に、認識距離Drecと、第1距離D1及び第2距離D2との関係を示す。ここでは、車両40から認識距離Drec離間した地点を、第1距離D1及び第2距離D2のゼロ点と定義している。すなわち、第1距離D1及び/又は第2距離D2がゼロである場合、第1距離D1及び/又は第2距離D2は、車両40から認識距離Drecだけ離間した位置に設定される。第1距離D1は、認識距離Drecの第1閾値Dtsd1(>0)においてゼロであり、認識距離Drecに比例して増加する関数である。また、第2距離D2は、第1閾値Dtsd1よりも小さい値である第2閾値Dtsd2(>0)においてゼロであり、認識距離Drecに比例して増加する関数である。すなわち、認識距離Drecが長いほど、曲率変化率が一定である曲線により近似される範囲が大きくなる。
なお、第1距離D1及び第2距離D2のゼロ点を、車両40から認識距離Drec離間した地点として定義したが、車両40の位置を第1距離D1及び第2距離D2のゼロ点としてもよい。この場合には、認識距離Drecが第1閾値Dtsd1以下である場合には、第1距離D1は認識距離Drecと等しい値に設定されればよく、認識距離Drecが第2閾値Dtsd2以下である場合には、第1距離D1及び第2距離D2は認識距離Drecと等しい値に設定されればよい。また、認識距離Drecが第1閾値Dtsd1以下である場合には、第1距離D1が設定されないものとしてもよく、認識距離Drecが第2閾値Dtsd2以下である場合には、第1距離D1及び第2距離D2が設定されないものとしてもよい。
認識距離Drecが第1閾値Dtsd1よりも大きい場合には、認識範囲以遠において、第1距離D1までは、曲率変化率が一定であると推定される第1区間αとなる。第1距離D1から第2距離D2までは、曲率が一定であると推定される第2区間βとなる。加えて、第2距離D2以遠は、直線であると推定される第3区間γとなる。
一方、認識距離Drecが第1閾値Dtsd1よりも小さく、且つ、第2閾値Dtsd2よりも大きい場合には、第1距離D1は用いられず、認識範囲以遠において、第2距離D2までは、曲率が一定であると推定される第2区間βとなり、第2距離D2以遠は、直線であると推定される第3区間γとなる。このとき、第2区間βにおける白線形状を推定するための曲率が一定の曲線は、例えば、認識範囲内の白線を二次曲線で近似する、若しくは、認識範囲内における曲率を算出することにより、求められる。
加えて、認識距離Drecが第2閾値Dtsd2よりも小さい場合とは、認識された白線が短く、曲線として近似することが困難な場合である。そのため、認識距離Drecが第2閾値Dtsd2よりも小さい場合には、認識範囲以遠を、直線として推定する第3区間γとする。
図10は、認識距離Drecが第1閾値Dtsd1よりも小さく、且つ、第2閾値Dtsd2よりも大きい場合に推定される、白線形状を示している。この場合、曲率変化率が一定である第1区間αは設けられず、認識範囲外であり且つ第2距離D2までが曲率が一定である第2区間βとなり、第2距離D2以遠は白線が直線であるとされる第3区間γとなる。
なお、本実施形態では、第1距離D1及び第2距離D2を用いる第2実施形態を変形して、第1距離D1及び第2距離D2が認識距離Drecに応じて変化するものとした。しかしながら、第1実施形態のごとく、第2距離D2を用いず、第1距離D1までは曲率変化率が一定である第1区間αとし、第1距離D1以遠を曲率が一定である第2区間βとするものについても同様に適用できる。
上記構成により、本実施形態に係る道路形状認識装置20は以下の効果を奏する。
・認識範囲が小さいほど、白線形状を3次曲線で近似する際の誤差が大きくなる。そして、その誤差は、認識範囲外の白線形状を推定する際に、遠方になるほど、実際の白線形状との乖離が大きくなる。本実施形態では、認識範囲内における白線の長さを認識距離Drecとして求め、認識距離Drecが短いほど第1距離D1を短く設定し、認識距離Drecが長いほど第1距離D1を長く設定している。そのため、認識距離Drecが長く、白線形状を3次曲線で近似した際の誤差が小さい場合には、より遠方まで曲率変化率が一定である曲線として推定することができる。一方、認識距離Drecが短く、白線形状を3次曲線で近似した際の誤差が大きい場合には、曲率変化率が一定である曲線として推定する区間を短くすることができる。
<変形例>
・上記第3実施形態では、認識距離Drecに応じて第1距離D1及び第2距離D2が変化するものとしたが、認識距離Drec以外を用いて第1距離D1及び/又は第2距離D2を変化させてもよい。高速道路、自動車専用道路、幹線道路等は、カーブ区間にクロソイドパラメータが用いられている場合が多い。そのため、第1距離D1を遠方に設定し、認識範囲内の白線形状に近似する3次曲線により認識範囲外の白線形状を推定しても、実際の形状との乖離は小さくなる。一方、市街地や山間部では、カーブ区間にクロソイドパラメータが用いられていない場合も多い。そのため、道路の曲率は多様に変化し、認識範囲内の白線形状を用いて認識範囲外の白線形状を推定する場合に、その乖離が大きくなる。そこで、以下の(a)〜(d)に示す条件(第1条件)を用いて道路の種類を判別し、第1距離D1及び/又は第2距離D2を変化させてもよい。なお、以下の(a)〜(d)は、それぞれ同時に用いることができ、また、上記第3実施形態と同時に用いることもできる。
(a)道路形状認識装置20が、車両40が備えるセンサから車速を取得し、車速に基づいて第1距離D1及び/又は第2距離D2を変化させる。この場合、例えば、車両40の平均車速を取得する。車速が大きければ、高速道路、自動車専用道路、幹線道路等を走行している可能性が高く、車速が小さければ、市街地や山間部を走行している可能性が高い。そのため、車速に比例するように、第1距離D1及び/又は第2距離D2を変化させる。
(b)道路形状認識装置20の白線認識部21が、認識した一対の白線形状に基づいて、白線間の距離(道路の幅)を算出する。そして、算出された距離に基づいて第1距離D1及び/又は第2距離D2を変化させる。一般的に、高速道路、自動車専用道路、幹線道路等は道路幅が大きく、市街地や山間部は道路幅が小さい。そのため、道路幅に比例するように、第1距離D1及び/又は第2距離D2を変化させる。
(c)道路形状認識装置20が地図情報及び車両40の現在の位置を取得し、取得した地図情報と車両40の位置とに応じて第1距離D1及び/又は第2距離D2を変化させる。例えば、車両40が高速道路、自動車専用道路、幹線道路等を走行している場合には、第1距離D1及び/又は第2距離D2を大きくし、車両40が市街地や山間部を走行している場合には、第1距離D1及び/又は第2距離D2を小さく、若しくは、ゼロとすればよい。地図情報は、車両40が備えるナビゲーション装置等から取得して使用すればよいが、これに限られることはなく、例えば、道路形状認識装置20がメモリ内に地図情報を格納していてもよく、ナビゲーション装置とメモリを共有し、共有のメモリから地図情報を読み出すものとしてもよい。なお、この場合には、道路形状認識装置20は地図情報取得手段及び車両位置取得手段としても機能する。
(d)道路形状認識装置20が車両40の過去の走行履歴及び車両40の現在の位置を取得し、取得した走行履歴と車両40の現在の位置とに応じて第1距離D1及び/又は第2距離D2を変化させる。このとき、走行履歴は、高速道路、自動車専用道路、幹線道路等を走行していると判断される履歴や、市街地、山間部等を走行していると判断される履歴等に区別されている。そして、車両40の現在の位置が高速道路、自動車専用道路、幹線道路等を走行している場合には、第1距離D1及び/又は第2距離D2を大きくし、車両40が市街地や山間部を走行している場合には、第1距離D1及び/又は第2距離D2を小さく、若しくは、ゼロとすればよい。なお、この場合には、道路形状認識装置20は走行履歴取得手段及び車両位置取得手段としても機能する。
・上記各実施形態では、推定する距離について上限を設け、上限以遠の白線については推定しないものとしてもよい。
・上記各実施形態では、第1距離D1及び/又は第2距離D2を車両40の進行方向に定めたが、図11に示すように、道路の延びる方向に定められてもよい。
・上記各実施形態では、白線を認識することにより道路形状を求めるものとしたが、白線以外の走行区画線を認識して道路形状を求めるものとしてもよい。また、ガードレールや中央分離帯など、道路に沿って設けられる道路上の構造物を認識して道路形状を求めるものとしてもよい。
・上記各実施形態では、車載カメラ10により道路画像を取得するものとしたが、レーザセンサ等を用いて道路画像を取得するものとしてもよい。
・上記第3実施形態では、認識距離Drecに基づいて第1距離D1及び第2距離D2を求める際に、比例定数を同じものとしているが、異なっていてもよい。
・上記第3実施形態では、認識距離Drecに、第1距離D1及び第2距離D2が比例するものとしたが、段階的に変化するものとしてもよい。上記各変形例についても、第1距離D1及び第2距離D2が段階的に変化するものとしてもよい。
・上記各実施形態では、カーブの曲率が増加するものを示したが、カーブの出口等の、曲率が減少する場合においても同様に実施することができる。すなわち、曲率が一定の変化率で減少し、徐々に直線に近づくものとする。この場合には、第1距離D1以前に曲率がゼロとなった場合には、その地点以遠を直線として推定する。
ところで、山間部の道路では、S字カーブが多く設けられている。そのため、山間部の道路では、曲率がゼロとなるまで曲率変化率が一定の曲線とし、さらに、曲率がゼロとなった以降も、第1距離D1まで曲率変化率が一定の曲線としてもよい。この処理についても、上記(a)〜(d)の変形例に準ずる条件(第2条件)を用いて、山間部を走行しているか否かの判断を行うことができる。例えば、上記(a)の変形例を用いて、車両40の速度が所定値よりも小さい場合に、山間部を走行していると判断するものとしてもよい。
10…車載カメラ、20…道路形状認識装置、21…白線認識部、22…白線推定部、40…車両、D1…第1距離、D2…第2距離、Drec…認識距離。

Claims (15)

  1. 車両(40)に搭載された道路画像取得手段(10)により道路画像を取得し、その道路画像を用いて道路形状を求める道路形状認識装置(20)であって、
    認識範囲内の道路画像に基づいて道路形状を認識する認識処理手段(21)と、
    前記認識範囲内の前記道路形状に基づいて、認識範囲外の道路形状を推定する推定処理手段(22)と、を備え、
    前記推定処理手段は、前記認識範囲外であり、且つ、第1距離(D1)以内の前記道路形状を、曲率変化率が一定である曲線として推定し、前記第1距離以遠の前記道路形状を、曲率が一定である曲線として推定することを特徴とする道路形状認識装置。
  2. 前記第1距離以遠の前記道路形状は、前記第1距離における前記曲線の曲率を用いて推定されることを特徴とする請求項1に記載の道路形状認識装置。
  3. 前記第1距離は、第1条件に基づいて可変に設定されることを特徴とする請求項1又は2に記載の道路形状認識装置。
  4. 前記第1距離よりも遠方の第2距離(D2)以遠の前記道路形状を、直線として推定することを特徴とする請求項1〜3のいずれか1項に記載の道路形状認識装置。
  5. 前記第2距離以遠の前記道路形状は、前記第2距離における前記曲線の接線である直線として推定されることを特徴とする請求項4に記載の道路形状認識装置。
  6. 前記第2距離は、第1条件に基づいて可変に設定されることを特徴とする請求項4又は5に記載の道路形状認識装置。
  7. 前記第1条件は、前記認識範囲内の前記道路の長さを示す認識距離(Drec)であることを特徴とする請求項3又は6に記載の道路形状認識装置。
  8. 前記推定処理手段は、前記認識距離が所定値(Dtsd1)よりも大きい場合に、前記認識範囲外であり、且つ、前記第1距離以内の前記道路形状を、曲率変化率が一定である曲線として推定し、前記認識距離が所定値よりも小さい場合に、前記認識範囲外の前記道路形状を、曲率が一定の曲線として推定する手段をさらに備えることを特徴とする請求項7に記載の道路形状認識装置。
  9. 前記第1条件は、前記車両が走行する道路の種類であることを特徴とする請求項3、6〜8のいずれか1項に記載の道路形状認識装置。
  10. 前記道路の種類を、前記車両の速度により判別することを特徴とする請求項9に記載の道路形状認識装置。
  11. 前記道路の種類を、前記認識処理手段が認識した前記道路の幅により判別することを特徴とする請求項9又は10に記載の道路形状認識装置。
  12. 前記車両の位置を取得する車両位置取得手段をさらに備え、
    前記道路の種類を、前記位置により判別することを特徴とする請求項9〜11のいずれか1項に記載の道路形状認識装置。
  13. 前記推定処理手段は、前記曲率変化率が負の値である場合には、前記曲率がゼロとなるまで前記曲率変化率が一定である曲線として前記道路形状を推定し、前記曲率がゼロであると推定された地点以遠の前記道路形状を直線として推定することを特徴とする請求項1〜12のいずれか1項に記載の道路形状認識装置。
  14. 前記推定処理手段は、第2条件に基づいて、前記曲率がゼロとなった後も、前記曲率変化率が一定である曲線として前記道路形状を推定する手段を備えることを特徴とする請求項13に記載の道路形状認識装置。
  15. 前記第2条件は、前記車両の速度であることを特徴とする請求項14に記載の道路形状認識装置。
JP2014170392A 2014-08-25 2014-08-25 道路形状認識装置 Active JP6285321B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014170392A JP6285321B2 (ja) 2014-08-25 2014-08-25 道路形状認識装置
US15/506,614 US10176387B2 (en) 2014-08-25 2015-08-24 Road shape recognition apparatus
PCT/JP2015/073679 WO2016031753A1 (ja) 2014-08-25 2015-08-24 道路形状認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014170392A JP6285321B2 (ja) 2014-08-25 2014-08-25 道路形状認識装置

Publications (2)

Publication Number Publication Date
JP2016043837A true JP2016043837A (ja) 2016-04-04
JP6285321B2 JP6285321B2 (ja) 2018-02-28

Family

ID=55399643

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014170392A Active JP6285321B2 (ja) 2014-08-25 2014-08-25 道路形状認識装置

Country Status (3)

Country Link
US (1) US10176387B2 (ja)
JP (1) JP6285321B2 (ja)
WO (1) WO2016031753A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018013955A (ja) * 2016-07-21 2018-01-25 いすゞ自動車株式会社 画像処理装置及び画像処理方法
JP2018055222A (ja) * 2016-09-27 2018-04-05 日産自動車株式会社 走路検出方法及び走路検出装置
US10176387B2 (en) * 2014-08-25 2019-01-08 Denso Corporation Road shape recognition apparatus
US10339393B2 (en) 2015-01-21 2019-07-02 Denso Corporation Demarcation line recognition apparatus
US11634176B2 (en) 2018-09-26 2023-04-25 Mitsubishi Electric Corporation Traveling route generation device and vehicle control device

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6540482B2 (ja) * 2015-12-04 2019-07-10 株式会社デンソー 情報処理システム、情報処理装置及び出力制御方法
JP6511406B2 (ja) * 2016-02-10 2019-05-15 クラリオン株式会社 キャリブレーションシステム、キャリブレーション装置
US10782704B2 (en) * 2017-01-30 2020-09-22 Toyota Motor Engineering & Manufacturing North America, Inc. Determination of roadway features
KR102254973B1 (ko) * 2017-04-25 2021-05-24 현대모비스 주식회사 주행 차선 안내 장치 및 그 제어 방법
JP6937218B2 (ja) * 2017-10-19 2021-09-22 株式会社東芝 情報処理装置、情報処理方法、およびプログラム
US10824155B2 (en) * 2018-08-22 2020-11-03 Ford Global Technologies, Llc Predicting movement intent of objects
DE102019102922A1 (de) * 2019-02-06 2020-08-06 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Multi-Sensor-Datenfusion für automatisierte und autonome Fahrzeuge
US20210001861A1 (en) * 2019-07-05 2021-01-07 Byton North America Corporation Road type recognition
CN114127826B (zh) * 2019-07-18 2023-10-31 三菱电机株式会社 车道形状识别系统以及车道形状识别方法
JP7323493B2 (ja) * 2020-06-22 2023-08-08 株式会社Soken 道路形状認識装置
JP7468311B2 (ja) * 2020-11-19 2024-04-16 トヨタ自動車株式会社 車両運転支援装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09218937A (ja) * 1996-02-08 1997-08-19 Nippon Soken Inc 区画線検出装置
JP2009140192A (ja) * 2007-12-05 2009-06-25 Zhencheng Hu 道路白線検出方法、道路白線検出プログラムおよび道路白線検出装置
JP2010221909A (ja) * 2009-03-24 2010-10-07 Hitachi Automotive Systems Ltd 走行環境認識装置および車両制御装置
JP2011028659A (ja) * 2009-07-29 2011-02-10 Hitachi Automotive Systems Ltd 道路形状認識装置
WO2012137354A1 (ja) * 2011-04-08 2012-10-11 トヨタ自動車株式会社 道路形状推定システム
JP2014109795A (ja) * 2012-11-30 2014-06-12 Toyota Motor Corp 車両位置推定装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3753893B2 (ja) 1999-06-29 2006-03-08 本田技研工業株式会社 走行車両の制御装置
JP3521860B2 (ja) * 2000-10-02 2004-04-26 日産自動車株式会社 車両の走行路認識装置
US6819779B1 (en) * 2000-11-22 2004-11-16 Cognex Corporation Lane detection system and apparatus
US6718259B1 (en) * 2002-10-02 2004-04-06 Hrl Laboratories, Llc Adaptive Kalman filter method for accurate estimation of forward path geometry of an automobile
JP4860391B2 (ja) * 2006-07-27 2012-01-25 本田技研工業株式会社 車両の走行安全装置
DE102006038018A1 (de) * 2006-08-14 2008-02-21 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrerassistenz durch Erzeugung von Spurinformationen zur Unterstützung oder zum Ersatz von Spurinformationen einer videobasierten Spurinformationseinrichtung
JP4869858B2 (ja) * 2006-10-05 2012-02-08 クラリオン株式会社 車両の走行制御システム
JP4931714B2 (ja) * 2007-07-11 2012-05-16 株式会社デンソー 車速制御装置及び車速制御プログラム
JP5359516B2 (ja) * 2008-07-29 2013-12-04 日産自動車株式会社 車両運転支援装置及び車両運転支援方法
JP5618744B2 (ja) * 2010-05-26 2014-11-05 三菱電機株式会社 道路形状推定装置及びコンピュータプログラム及び道路形状推定方法
EP2695786A4 (en) * 2011-04-08 2016-08-24 Toyota Motor Co Ltd DRIVER ASSISTANCE SYSTEM
US8577552B1 (en) * 2012-08-13 2013-11-05 Ford Global Technologies, Llc Forward collision warning system with road-side target filtering
WO2014070448A1 (en) * 2012-10-31 2014-05-08 Tk Holdings, Inc. Vehicular path sensing system and method
KR101502510B1 (ko) * 2013-11-26 2015-03-13 현대모비스 주식회사 차량의 차선 유지 제어 장치 및 방법
JP5874756B2 (ja) * 2014-02-07 2016-03-02 トヨタ自動車株式会社 区画線検出システム及び区画線検出方法
JP6285321B2 (ja) * 2014-08-25 2018-02-28 株式会社Soken 道路形状認識装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09218937A (ja) * 1996-02-08 1997-08-19 Nippon Soken Inc 区画線検出装置
JP2009140192A (ja) * 2007-12-05 2009-06-25 Zhencheng Hu 道路白線検出方法、道路白線検出プログラムおよび道路白線検出装置
JP2010221909A (ja) * 2009-03-24 2010-10-07 Hitachi Automotive Systems Ltd 走行環境認識装置および車両制御装置
JP2011028659A (ja) * 2009-07-29 2011-02-10 Hitachi Automotive Systems Ltd 道路形状認識装置
WO2012137354A1 (ja) * 2011-04-08 2012-10-11 トヨタ自動車株式会社 道路形状推定システム
JP2014109795A (ja) * 2012-11-30 2014-06-12 Toyota Motor Corp 車両位置推定装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
清水 彰一、外4名: ""視線誘導標を用いた夜間の道路構造認識"", 電気学会論文誌C, vol. 129, no. 5, JPN6015040565, 1 May 2009 (2009-05-01), JP, pages 932 - 939, ISSN: 0003708607 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10176387B2 (en) * 2014-08-25 2019-01-08 Denso Corporation Road shape recognition apparatus
US10339393B2 (en) 2015-01-21 2019-07-02 Denso Corporation Demarcation line recognition apparatus
JP2018013955A (ja) * 2016-07-21 2018-01-25 いすゞ自動車株式会社 画像処理装置及び画像処理方法
JP2018055222A (ja) * 2016-09-27 2018-04-05 日産自動車株式会社 走路検出方法及び走路検出装置
JP7024176B2 (ja) 2016-09-27 2022-02-24 日産自動車株式会社 走路検出方法及び走路検出装置
US11634176B2 (en) 2018-09-26 2023-04-25 Mitsubishi Electric Corporation Traveling route generation device and vehicle control device

Also Published As

Publication number Publication date
JP6285321B2 (ja) 2018-02-28
WO2016031753A1 (ja) 2016-03-03
US10176387B2 (en) 2019-01-08
US20170270373A1 (en) 2017-09-21

Similar Documents

Publication Publication Date Title
JP6285321B2 (ja) 道路形状認識装置
JP6622148B2 (ja) 周辺環境認識装置
US10832061B2 (en) Traveling road boundary estimation apparatus and traveling assistance system using same
US10503983B2 (en) Lane recognition apparatus and lane recognition method
JP6538547B2 (ja) 道路曲率計測装置
JP6140658B2 (ja) 走行区画線認識装置、走行区画線認識プログラム
JP6272204B2 (ja) 道路区画線情報取得装置
JP6096723B2 (ja) 走行区画線認識装置及び走行区画線認識プログラム
JP6132359B2 (ja) 走行区画線認識装置
CN107209998B (zh) 车道线识别装置以及车道线识别方法
JP5852036B2 (ja) 車載装置
JP6449627B2 (ja) 走行区画線認識装置
JP6838285B2 (ja) レーンマーカ認識装置、自車両位置推定装置
WO2016159364A1 (ja) 歩行者判定装置
US20150285614A1 (en) Travel path estimation apparatus and travel path estimation program
JP2015069289A (ja) 車線認識装置
JP2009252198A (ja) 走行環境推測装置、方法及びプログラム並びに車線逸脱警報装置及び操舵アシスト装置
US10926760B2 (en) Information processing device, information processing method, and computer program product
JP2016018521A (ja) 走行区画線認識装置及び走行区画線認識プログラム
JP2015069287A (ja) 自車位置認識装置
JP5039013B2 (ja) 車両走行支援装置、車両、車両走行支援プログラム
JP2018206071A (ja) 区画線認識装置
JP6631226B2 (ja) 自車線情報推定装置
JP2018067236A (ja) 区画線認識装置
JP2020053069A (ja) 車載用電子制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180201

R150 Certificate of patent or registration of utility model

Ref document number: 6285321

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250