JP2014228300A - 路面状態推定装置 - Google Patents
路面状態推定装置 Download PDFInfo
- Publication number
- JP2014228300A JP2014228300A JP2013105920A JP2013105920A JP2014228300A JP 2014228300 A JP2014228300 A JP 2014228300A JP 2013105920 A JP2013105920 A JP 2013105920A JP 2013105920 A JP2013105920 A JP 2013105920A JP 2014228300 A JP2014228300 A JP 2014228300A
- Authority
- JP
- Japan
- Prior art keywords
- road surface
- reflection intensity
- surface state
- intensity value
- road
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010801 machine learning Methods 0.000 claims abstract description 19
- 230000003746 surface roughness Effects 0.000 claims description 45
- 238000004458 analytical method Methods 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000001678 irradiating effect Effects 0.000 abstract 1
- 239000010426 asphalt Substances 0.000 description 46
- 238000000034 method Methods 0.000 description 19
- 238000000354 decomposition reaction Methods 0.000 description 14
- 238000005259 measurement Methods 0.000 description 13
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 13
- 238000012545 processing Methods 0.000 description 10
- 238000012360 testing method Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000010521 absorption reaction Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 239000011324 bead Substances 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000005461 lubrication Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
- B60W40/068—Road friction coefficient
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
- B60W40/064—Degree of grip
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/55—Specular reflectivity
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Electromagnetism (AREA)
- Regulating Braking Force (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】
機械学習を用いた新しい路面状態推定装置を提供する。
【解決手段】
路面上を走査するようにレーザ光を照射する投光部と、路面上の各照射点に対応する反射強度値を取得する受光部と、反射強度値を用いて路面状態を判別する路面状態判別器と、を備える。路面上の各照射点に対応して取得された反射強度値のセット（「多点反射強度値セット」という）は、路面状態に依存する投光部を基準とした遠近方向の照射位置と反射強度値との関係を規定している。前記路面状態判別器は、既知の異なる路面状態を備えた複数の路面についてそれぞれ取得された複数の多点反射強度値セットを学習データとして用いた機械学習により生成され、路面状態が未知の路面について取得された多点反射強度値セットを入力として、路面状態を判別して出力する。
【選択図】図２
機械学習を用いた新しい路面状態推定装置を提供する。
【解決手段】
路面上を走査するようにレーザ光を照射する投光部と、路面上の各照射点に対応する反射強度値を取得する受光部と、反射強度値を用いて路面状態を判別する路面状態判別器と、を備える。路面上の各照射点に対応して取得された反射強度値のセット（「多点反射強度値セット」という）は、路面状態に依存する投光部を基準とした遠近方向の照射位置と反射強度値との関係を規定している。前記路面状態判別器は、既知の異なる路面状態を備えた複数の路面についてそれぞれ取得された複数の多点反射強度値セットを学習データとして用いた機械学習により生成され、路面状態が未知の路面について取得された多点反射強度値セットを入力として、路面状態を判別して出力する。
【選択図】図２
Description
本発明は、車両が走行する路面の状態を推定する路面状態推定装置に関するものである。
省エネルギー技術の開発の一環として、エネルギーITS(Intelligent Transportation Systems)プロジェクトが進められており、その中の一つに自動隊列走行の技術開発がある（特許文献１、非特許文献１〜３）。本プロジェクトは、隊列走行における車間距離を短くすることにより、空気抵抗を減少させ、省エネルギー化を図ることを目的としている。本プロジェクトにおける白線認識アルゴリズム（特許文献１、非特許文献２）は、短い車間距離による省燃費効率を得るために、隊列における前後車両の横位置ずれを所定範囲内に制御すること等に用いられる。
自動操舵や自動速度制御を伴う自動隊列走行における車間距離制御の実用化において、路面状態の急変に対応した制動制御が必要となる。自動隊列走行において、例えば、路面状態に応じてチューニングした制御ゲインを作成しておき、トンネルから出た際に、走行環境が乾燥路面から湿潤・冠水・凍結路面などに変化した場合に路面状態の変化に対応して制御ゲインを瞬時に変更することは、安全確保上有用である。
一般に、自動車などの車両の駆動力・制動力や操舵力は路面とタイヤの摩擦に依存しており、路面状態を推定することは、走行性能の確保や安全性の向上にとって有益な技術である。路面推定技術としては、これまでに様々な手法、例えば、レーザレーダ反射強度を活用する方法、カメラ画像を活用する方法などが提案されている（非特許文献４〜７）。しかしながら、特に、自動運転走行車両に適切な手法は確立されていなかった。
青木啓二，森田康裕：自動運転・隊列走行システムの開発（第１報）-エネルギーITS推進事業-，自動車技術会2009秋季大会学術講演会前刷集，No.20095509，pp.1-4 (2009)
松浦充保，磯貝俊樹，川合健夫：隊列走行におけるレーザレーダ白線検知システム（第2報）-エネルギーITS推進事業-，自動車技術会2010秋季大会学術講演会前刷集，No.20105632，pp.1-4 (2010)
安藝雅彦，中野公彦，須田義大，岸波友紀，高須賀直一，磯貝俊樹，川合健夫，小野口一則，青木啓二：トレーラ型トラックの専用道路における自動運転に向けた長期計測試験，第11回ITSシンポジウム，CD-ROM(2012)
佐藤祐輔，景山一郎：レーザレーダを用いた前方路面状態認識技術に関する研究，日本機械学会第14回交通物流部門大会，pp. 373-376 (2005)
高木聖和，森川勝博，小川高志，佐分利誠：レーザレーダによる走行環境認識技術，デンソーテクニカルレビュー，Vol.12, No.1, pp.29-34 (2007)
M. Yamada, T. Oshima, K. Ueda,I. Horiba, and S. Yamamoto: A study of the road Surface Condition Detection Techniquefor Deployment on a Vehicle, JSAE Review 24, p.183-188 (2003).
S. Kawai, K. Shibata, Y. Horita:Distinction of Road Surface Conditions at Night-time Using Car-mounted Camera VideoIncluding Illuminated Areas by Street Lamps, Proceedings of SICE AnnualConference, CD-ROM (2012)
本発明者らは、自動運転・隊列走行における白線認識に用いられるレーザレーダを活用した新しい路面状態推定技術の開発を行った。従来レーザレーダを用いた路面状態推定法は反射強度のみを利用する手法が採用されているのに対して、本発明は、多点反射強度値を用いることで位置関係とレーザ光反射の路面状態に依存する機械的性質を考慮するものである。本発明は、白線認識技術に関連して創案されたものであるが、本発明に係る技術思想は、自動隊列走行や白線認識技術に限定されるものではなく、路面状態推定技術として一般化され、路面状態の推定全般に適用され得るものである。
本発明は、機械学習を用いた新しい路面状態推定装置を提供するものである。
本発明の目的の１つは、自動運転走行車両に良好に適用し得る路面状態推定装置を提供することになる。
本発明の他の目的やより具体的な目的は、本明細書の記載および図面から明らかとなる。
本発明の目的の１つは、自動運転走行車両に良好に適用し得る路面状態推定装置を提供することになる。
本発明の他の目的やより具体的な目的は、本明細書の記載および図面から明らかとなる。
本発明が採用した路面状態推定装置は、
路面上を走査するようにレーザ光を照射する投光部と、
路面上の各照射点に対応する反射強度値を取得する受光部と、
反射強度値を用いて路面状態を判別する路面状態判別器と、
を備え、
路面上の各照射点に対応して取得された反射強度値のセット（「多点反射強度値セット」という）は、路面状態に依存する投光部を基準とした遠近方向の照射位置と反射強度値との関係を規定しており、
前記路面状態判別器は、既知の異なる路面状態を備えた複数の路面についてそれぞれ取得された複数の多点反射強度値セットを学習データとして用いた機械学習により生成され、
前記路面状態判別器は、路面状態が未知の路面について取得された多点反射強度値セットを入力として、路面状態を判別して出力する。
路面上を走査するようにレーザ光を照射する投光部と、
路面上の各照射点に対応する反射強度値を取得する受光部と、
反射強度値を用いて路面状態を判別する路面状態判別器と、
を備え、
路面上の各照射点に対応して取得された反射強度値のセット（「多点反射強度値セット」という）は、路面状態に依存する投光部を基準とした遠近方向の照射位置と反射強度値との関係を規定しており、
前記路面状態判別器は、既知の異なる路面状態を備えた複数の路面についてそれぞれ取得された複数の多点反射強度値セットを学習データとして用いた機械学習により生成され、
前記路面状態判別器は、路面状態が未知の路面について取得された多点反射強度値セットを入力として、路面状態を判別して出力する。
本発明の原理上、レーザ光の照射・走査方向は限定されないが、１つの態様では、前記路面状態推定装置は、路面上を走行する車両に搭載されており、前記レーザ光は、路面を横切る方向に走査するように照射される。
１つの態様では、レーザ光の照射範囲には、路面の走行方向に延びる区画線（典型的な例では白線）が含まれており、
路面状態が未知の路面について取得された多点反射強度値セットには、前記区画線に対応する反射強度値が含まれており、
前記路面状態判別器は、前記取得された多点反射強度値セットから前記区画線に対応する反射強度値を除いた反射強度値セットを用いて路面状態の判別を行う。
この場合、１つの態様では、除去したデータを補間した上で、判別を行う。データ補間法（内挿、外挿）は当業者に既知であるため、説明は省略する。あるいは、除去したデータが欠落したままで路面状態の判別を行ってもよい。
また、前記区画線に対応する反射強度値から得られた特徴量（例えば、白線部分と白線以外の部分との反射強度値の差、白線部分における路面粗さ指標等）を利用してもよい。
１つの態様では、レーザ光の照射範囲には、路面の走行方向に延びる区画線（典型的な例では白線）が含まれており、
路面状態が未知の路面について取得された多点反射強度値セットには、前記区画線に対応する反射強度値が含まれており、
前記路面状態判別器は、前記取得された多点反射強度値セットから前記区画線に対応する反射強度値を除いた反射強度値セットを用いて路面状態の判別を行う。
この場合、１つの態様では、除去したデータを補間した上で、判別を行う。データ補間法（内挿、外挿）は当業者に既知であるため、説明は省略する。あるいは、除去したデータが欠落したままで路面状態の判別を行ってもよい。
また、前記区画線に対応する反射強度値から得られた特徴量（例えば、白線部分と白線以外の部分との反射強度値の差、白線部分における路面粗さ指標等）を利用してもよい。
１つの態様では、前記多点反射強度値セット解析することで路面状態に依存した路面粗さ指標を取得する解析手段を備え、
前記学習データには、既知の異なる路面状態を備えた複数の路面についてそれぞれ取得された複数の路面粗さ指標が含まれており、
前記路面状態判別器は、路面状態が未知の路面について取得された多点反射強度値セット及び路面粗さ指標を入力として、路面状態を判別して出力する。
１つの態様では、前記解析手段は、離散ウェーブレット解析である。
離散ウェーブレット解析に比べて処理速度が遅いものの、連続ウェーブレット解析を用いることも可能である。また、フーリエ解析によって路面粗さ指標を取得してもよい。
このように、１つの態様では、第１特徴量として「多点反射強度値セット」、第２特徴量として「路面粗さ指標」を用いるが、本発明において、第２特徴量は好ましい任意情報であって、必須情報ではない。路面状態に依存した第２特徴量として路面粗さ指標以外の指標を用いることは妨げない。すなわち、第２特徴量は、情報の種類・数を任意に選択することが可能であり、複数の特徴量を第２特徴量として採用してもよい。
また、路面推定技術は長年に亘って研究されていることから様々な知見が得られており、本発明に対して他の推定手段や知見を組み合わせることは任意である。
前記学習データには、既知の異なる路面状態を備えた複数の路面についてそれぞれ取得された複数の路面粗さ指標が含まれており、
前記路面状態判別器は、路面状態が未知の路面について取得された多点反射強度値セット及び路面粗さ指標を入力として、路面状態を判別して出力する。
１つの態様では、前記解析手段は、離散ウェーブレット解析である。
離散ウェーブレット解析に比べて処理速度が遅いものの、連続ウェーブレット解析を用いることも可能である。また、フーリエ解析によって路面粗さ指標を取得してもよい。
このように、１つの態様では、第１特徴量として「多点反射強度値セット」、第２特徴量として「路面粗さ指標」を用いるが、本発明において、第２特徴量は好ましい任意情報であって、必須情報ではない。路面状態に依存した第２特徴量として路面粗さ指標以外の指標を用いることは妨げない。すなわち、第２特徴量は、情報の種類・数を任意に選択することが可能であり、複数の特徴量を第２特徴量として採用してもよい。
また、路面推定技術は長年に亘って研究されていることから様々な知見が得られており、本発明に対して他の推定手段や知見を組み合わせることは任意である。
１つの態様では、前記路面状態判別器は、ナイーブ・ベイズ推定器から構成されている。
１つの態様では、前記路面状態判別器は、ニューラルネットワークから構成されている。
本発明の路面状態判別器に適用し得る機械学習としては、「教師信号つき機械学習」の手法であれば、適用可能であり、例えば、クラスタリング、判別分析（線形判別関数やマハラノビス距離）、ロジスティック回帰分析、サポートベクターマシン、決定木などが適用可能である。
１つの態様では、前記路面状態判別器は、ニューラルネットワークから構成されている。
本発明の路面状態判別器に適用し得る機械学習としては、「教師信号つき機械学習」の手法であれば、適用可能であり、例えば、クラスタリング、判別分析（線形判別関数やマハラノビス距離）、ロジスティック回帰分析、サポートベクターマシン、決定木などが適用可能である。
１つの態様では、前記路面状態判別器は、少なくとも、乾燥状態と、湿潤状態と、を判別する。
１つの態様では、前記路面状態判別器は、さらに、冠水状態を判別する。
１つの態様では、前記路面状態判別器は、さらに、路面の劣化状態を判別する。
１つの態様では、上記状態の組み合わせてなる６つの路面状態を判別する。
典型的な態様では、前記路面はアスファルト舗装面である。
本発明の対象となる路面状態や路面の材質は、これらのものに限定されない。本発明は、機械学習により生成される路面状態判別器を用いるので、路面状態の種類や路面の材質に限定されずに、ある状態のある路面について取得した学習データを用いて路面状態判別器を生成すればよい。
１つの態様では、前記路面状態判別器は、さらに、冠水状態を判別する。
１つの態様では、前記路面状態判別器は、さらに、路面の劣化状態を判別する。
１つの態様では、上記状態の組み合わせてなる６つの路面状態を判別する。
典型的な態様では、前記路面はアスファルト舗装面である。
本発明の対象となる路面状態や路面の材質は、これらのものに限定されない。本発明は、機械学習により生成される路面状態判別器を用いるので、路面状態の種類や路面の材質に限定されずに、ある状態のある路面について取得した学習データを用いて路面状態判別器を生成すればよい。
本発明は、機械学習を用いた新しい路面状態推定装置を提供するものである。
本発明に係る路面状態推定装置は車両に搭載することができ、車両走行中に反射強度データを取得ながらリアルタイムで路面状態を推定することができ、自動運転走行車両に良好に適用し得るものである。
本発明では、所定の路面状態の学習データを取得して路面状態判別器を生成することで、後述する実施形態のように、アスファルト路面の劣化状況、水による潤滑状況、水膜の存在といった摩擦係数に依存する状態を、レーザレーダによって取得した反射強度を用いて判別することができる。
本発明はまた、白線をレーザレーダで認識し、自動走行を行う車両において、白線検出用のレーザレーダ装置の出力を利用して、路面状態を推定することができる。
本発明に係る路面状態推定装置は車両に搭載することができ、車両走行中に反射強度データを取得ながらリアルタイムで路面状態を推定することができ、自動運転走行車両に良好に適用し得るものである。
本発明では、所定の路面状態の学習データを取得して路面状態判別器を生成することで、後述する実施形態のように、アスファルト路面の劣化状況、水による潤滑状況、水膜の存在といった摩擦係数に依存する状態を、レーザレーダによって取得した反射強度を用いて判別することができる。
本発明はまた、白線をレーザレーダで認識し、自動走行を行う車両において、白線検出用のレーザレーダ装置の出力を利用して、路面状態を推定することができる。
［Ａ］本発明の概要
本発明に係る路面状態推定装置は、路面上を走査するようにレーザ光を照射する投光部と、路面上の各照射点に対応する反射強度値を取得する受光部と、反射強度値を用いて路面状態を判別する路面状態判別器と、を備えている。路面状態推定装置は、ハードウェア構成としては、２次元スキャン式のレーザレーダ（ＬＩＤＡＲ）と、コンピュータ（入力部、出力部、ＲＡＭ、ＲＯＭ等の記憶部、ＣＰＵを主体とする処理部等を備える）と、から構成することができる。
本発明に係る路面状態推定装置は、路面上を走査するようにレーザ光を照射する投光部と、路面上の各照射点に対応する反射強度値を取得する受光部と、反射強度値を用いて路面状態を判別する路面状態判別器と、を備えている。路面状態推定装置は、ハードウェア構成としては、２次元スキャン式のレーザレーダ（ＬＩＤＡＲ）と、コンピュータ（入力部、出力部、ＲＡＭ、ＲＯＭ等の記憶部、ＣＰＵを主体とする処理部等を備える）と、から構成することができる。
レーザレーダは、投光部と受光部とを備え、投光部は、レーザダイオード、レーザダイオードからレーザ光を出射させるための駆動部、走査用の光学系（ミラー等）、を備え、受光部は、測定対象（路面）からの反射光を検出する光検出器（フォトダイオード）を備え、フォトダイオードの出力から反射強度が取得される。レーザレーダ自体の構成は、当業者によく知られているので、詳細な説明は省略する。
路面状態判別器はコンピュータから構成することができる。路面状態判別器は、既知の異なる路面状態を備えた複数の路面についてそれぞれ取得された複数の多点反射強度値セットを学習データとして用いた機械学習により生成され、路面状態が未知の路面について取得された多点反射強度値セットを入力として、路面状態を判別して出力する。
路面上の連続状の各照射点（後述する実施形態での走査間隔は0.0045mである。さらに細かくして分解能を上げてもよい）に対応して取得された連続状の反射強度値からなる多点反射強度値セット（後述する実施形態では、171点における反射強度値）は、路面状態に依存する投光部を基準とした遠近方向（走査線に沿った）の照射位置と反射強度値との関係を規定している。本発明においては、多数の照射点における多数の反射強度値（多点反射強度値セット）を機械学習に用いて、同じく多点反射強度値セットからなる計測データを入力として、路面状態のクラス分けを行う点に特徴の一つがある。
［Ｂ］レーザレーダを利用した路面状態の推定
［Ｂ−１］路面状態推定手法の概要
本発明の一実施形態について詳細に説明する。本実施形態は、リアルタイムで乾燥・湿潤判定を行うことを目的とし、自動運転・隊列走行における白線認識に用いるレーザレーダを活用して路面状態を推定するものである。本実施形態では、レーザレーダ反射強度および反射強度の路面粗さ成分情報を用いて機械学習により路面の乾燥・湿潤を判定する路面状態推定アルゴリズムを提案し、このアルゴリズムを用いて路面状態推定実験を行った。
［Ｂ−１］路面状態推定手法の概要
本発明の一実施形態について詳細に説明する。本実施形態は、リアルタイムで乾燥・湿潤判定を行うことを目的とし、自動運転・隊列走行における白線認識に用いるレーザレーダを活用して路面状態を推定するものである。本実施形態では、レーザレーダ反射強度および反射強度の路面粗さ成分情報を用いて機械学習により路面の乾燥・湿潤を判定する路面状態推定アルゴリズムを提案し、このアルゴリズムを用いて路面状態推定実験を行った。
図１右図に示すように、レーザレーダを車両に搭載し、投光部から車両の横幅方向に斜め下方に向けてレーザ光を走査させながら路面に照射する。レーザ光は、車両の側方に向かって路面を横切る方向に、白線の幅を含む所定範囲に亘ってスキャン送信される。路面で反射されたレーザ反射光は受光部によって受光され、レーザ光の各照射位置に対応する反射強度が取得される。この反射強度情報を活用することで白線認識と路面認識の双方を行う統合システムを構築する。
自動運転隊列走行の技術開発において、レーザレーダを用いて白線の反射強度を計測することで白線認識を実施している（特許文献１、非特許文献２）。この白線認識は、白線と道路アスファルトでは反射率が異なるため、反射強度の差を利用して白線を検知するものである。白線はガラスビーズが混入されているためガラスビーズの再帰性反射により白線部分の反射強度は、アスファルト部分の反射強度よりも大きくなる。したがって、横軸に横方向距離（走査方向）、縦軸に反射強度をとると、図１左図のようになる。なお、横方向距離Ｘは、レーザレーダ設置高さをHとしたとき、X = H * tan(レーザレーダ取り付け角＋スキャン角度)で計算できる。白線認識の詳細については、特許文献１、非特許文献２を参照することができる。本実施形態においては、白線認識において取得された情報を用いて、同時に路面状態の推定を行うことができ、新たな装置や部品を必要としない。
図２に示すように、本実施形態に係る路面状態推定手法は、レーザレーダ反射強度およびその反射強度から抽出した路面粗さ成分を活用するものであり、路面粗さ成分の抽出にはウェーブレット分解を、路面判別には機械学習を用いる。路面状態として乾燥・湿潤・冠水の3種類、路面の質として新アスファルト・経年アスファルトの2種類、計6種類の判別を目指す。機械学習を用いた路面状態判別器の全体図を図３に示す。
本実施形態に係る路面推定手法は、計測範囲に含まれる多点反射強度値を用いることで位置関係とレーザ光反射の機械的性質を考慮するものである。路面状態によっては、異なる路面間で複数個所で反射強度値が近づくことが考えられるため、さらに路面粗さ成分を指標として特徴量を増やし、この路面粗さ指標として、路面の空間周波数で分類するためウェーブレットを用いて算出したものを定義した。
このようにして用意された特徴量に対して、機械学習法としてナイーブ・ベイズ推定器を用いることで路面推定を行う。走行中、白線の有無によって路面推定に用いる多点反射強度値の特徴量のデータ数が異なり得るが（後述するように、白線がある場合には、白線に対応する特徴量データが取り除かれる）、ナイーブ・ベイズ推定器は特徴量データの部分的な欠落があっても良好に適用され得る。
［Ｂ−２］路面推定特徴量
(1)レーザレーダ反射強度（第１特徴量）
レーザレーダ反射強度は、路面の質・状態や路面への入射角度によって異なることが知られている。そこでまずレーザレーダ反射強度の機械的性質について整理する。レーザレーダは車両の進行方向に対して横方向下向きに路面をスキャンする。このときのレーザ光の水膜による反射、水膜への吸収、路面の新旧による反射の3点から考察する。
(1)レーザレーダ反射強度（第１特徴量）
レーザレーダ反射強度は、路面の質・状態や路面への入射角度によって異なることが知られている。そこでまずレーザレーダ反射強度の機械的性質について整理する。レーザレーダは車両の進行方向に対して横方向下向きに路面をスキャンする。このときのレーザ光の水膜による反射、水膜への吸収、路面の新旧による反射の3点から考察する。
第１に、レーザ光の水膜による反射特性について述べる。乾燥路面においてはレーザ光は散乱効果により全方位に反射するが、水膜に覆われた路面においては散乱効果に加えて正反射が加わることで反射光は方向性を持つ。したがって遠位（光源から遠い側）において反射強度は低くなるが、近位（光源に近い側）においては正反射による強いレーザ光反射が生じる。この反射強度特性を図４に示す。
第２に、水膜への吸収反射特性について述べる。乾燥路面においては水膜への吸収はないため反射強度は高い値を示すが、水膜に覆われた路面においては遠位および近位を問わずレーザ光が水膜へ吸収されるため、乾燥路面よりも反射強度は低い値を示す。この反射強度特性を図５に示す。
第３に、路面の新旧による反射特性について述べる。アスファルト敷設当初は粒子が大きく路面の凹凸が存在していたものが、車両走行を経ることでアスファルト粒子の凹凸が均されてゆく。それに伴い、アスファルト敷設当初は凹凸によってレーザ光が散逸して反射強度が低いものが、経年アスファルトになることによって凹凸によるレーザ光散逸が減ることで反射強度が高くなる。この反射強度特性を図６に示す。
このように路面の機械的性質によって反射状態が異なる。経年アスファルト、新アスファルトのそれぞれに対して、乾燥、湿潤、冠水、また車両遠位領域および車両近位領域で整理する。先ず、新アスファルトと経年アスファルトを比較すると、上述のように、経年アスファルトに対して新アスファルトの方が反射強度が高くなる。また、乾燥路面に比べて湿潤路面では、水膜へのレーザの吸収が生ずるため反射強度は低下するが、さらに水膜が厚くなり冠水路面となると正反射に近づくため湿潤路面よりも反射強度が上昇する。また、これらの特性に加えて、基本的にレーザレーダのレーザ光の出射部から遠方になるほど反射強度が緩やかに低下する傾向となるが、正反射に近づく路面状態（冠水・経年アスファルト、湿潤・新アスファルト、冠水・新アスファルト）では遠方になるほど反射強度の低下は顕著となる。これらの関係をまとめたものが図７である。これを反射強度とスキャニング位置との関係をグラフに整理したものが図８である。この図８において有効データ範囲内で最も遠位のデータを原点にとり、レーザレーダ位置までを横軸の範囲とする。このように反射強度は路面の機械的性質により位置の関数として表現することが可能である。
(2)路面粗さ指標（第２特徴量）
路面粗さの凹凸によってレーザ反射角度に差が生じ、結果として反射強度値にも、スキャニング方向に向かって路面波長に応じた波長成分が含まれることになる。より具体的には、「マクロになる程、路面全体のうねり」、「ミクロになる程、路面のミクロな（粒子）凹凸」という空間周波数の特徴によって（さらレーザ反射特性も加わって）、スキャニング方向に反射強度値の凸凹の大きさの違いとして計測される（図１５参照）。この波長成分は反射強度値を離散ウェーブレット分解することによって抽出される（図９Ａ〜Ｄ）。連続ウェーブレット解析を用いて路面粗さ指標を取得することも可能であり、本発明の権利範囲に含まれるが、離散ウェーブレット解析を用いることで、連続ウェーブレット解析に比べて計算量を低減することができる。計算量の低減は、処理コストの低減をもたらす。本実施形態に係る離散ウェーブレット解析ではMallatアルゴリズムが用いられる。
路面粗さの凹凸によってレーザ反射角度に差が生じ、結果として反射強度値にも、スキャニング方向に向かって路面波長に応じた波長成分が含まれることになる。より具体的には、「マクロになる程、路面全体のうねり」、「ミクロになる程、路面のミクロな（粒子）凹凸」という空間周波数の特徴によって（さらレーザ反射特性も加わって）、スキャニング方向に反射強度値の凸凹の大きさの違いとして計測される（図１５参照）。この波長成分は反射強度値を離散ウェーブレット分解することによって抽出される（図９Ａ〜Ｄ）。連続ウェーブレット解析を用いて路面粗さ指標を取得することも可能であり、本発明の権利範囲に含まれるが、離散ウェーブレット解析を用いることで、連続ウェーブレット解析に比べて計算量を低減することができる。計算量の低減は、処理コストの低減をもたらす。本実施形態に係る離散ウェーブレット解析ではMallatアルゴリズムが用いられる。
図９Ａは、信号の分解を説明する図である。Ａは低周波数信号、Ｄは高周波数信号である。図９Ｂは、フィルタバンクを用いた多段信号分解を示す。各段階において、低周波成分と高周波成分が分離される。オリジナルのウェーブレットが３回分離された時の各分解段階において分離される周波数帯を図９Ｃに示す。ｆnは、マザーウェーブレットの中心周波数である。ウェーブレット周波数は、通常、スケールに応じた疑似周波数から計算される。周波数とスケールの関係は以下の通りである。
Fa：疑似周波数、Fn：ウェーブレットの中心周波数（‘db2’では0.66667Hz）、a：スケール、
Δ：サンプリング周期(各走査位置間の距離は0.0045m)、である。
図９Ｄに、本実施形態に係る離散ウェーブレット解析による反射強度（乾燥状態）の分解を示す。ここでは、５回の分解を行う。信号Ｄ１は、細かい詳細における路面粗さを表し、信号Ｄ５は低い分解能における路面粗さを表す。各高周波数信号に含まれる空間周波数を表３（後述する）に示す。
なお、ウェーブレット分解されたデータを路面粗さ指標算出に用いるだけでなく、白線のエッジ検出に利用することで、この一連の計測によって白線検知も統合することが可能である。
Fa：疑似周波数、Fn：ウェーブレットの中心周波数（‘db2’では0.66667Hz）、a：スケール、
Δ：サンプリング周期(各走査位置間の距離は0.0045m)、である。
図９Ｄに、本実施形態に係る離散ウェーブレット解析による反射強度（乾燥状態）の分解を示す。ここでは、５回の分解を行う。信号Ｄ１は、細かい詳細における路面粗さを表し、信号Ｄ５は低い分解能における路面粗さを表す。各高周波数信号に含まれる空間周波数を表３（後述する）に示す。
なお、ウェーブレット分解されたデータを路面粗さ指標算出に用いるだけでなく、白線のエッジ検出に利用することで、この一連の計測によって白線検知も統合することが可能である。
本実施形態では路面粗さとして含まれるべき波長帯の総和を取ることで路面粗さ指標とした。したがって各スキャンで反射強度値がn個のデータが得られるのに対して、路面粗さは1個のデータが得られることになる。路面特徴量としてこの路面粗さ指標を多点反射強度値の後の変数として加えることで路面推定精度向上を図る。表１に、６つの路面状態についてのレーザ光の吸収、全反射、路面粗さ指標をまとめる。
［Ｂ−３］ナイーブ・ベイズ推定器による路面認識
ナイーブ・ベイズ推定器は教師あり機械学習として用いられているものであり、判別すべきクラスごとでベイズ分布に従うデータが得られるときに有効な推定手法である。
ナイーブ・ベイズ推定器は教師あり機械学習として用いられているものであり、判別すべきクラスごとでベイズ分布に従うデータが得られるときに有効な推定手法である。
まず教師データを作成するために下記の手順を取る。
（1）得られたレーザレーダデータより反射強度値とそれを離散ウェーブレット分解した結果得られる路面粗さ指標を算出する。
(2)分類すべき6つのクラスのそれぞれに対して、特徴変数（fi）の平均値μiと標準偏差σiを算出する（i = 1〜N，N = n + m）。このとき、nは反射強度数、mは路面粗さ指標数であり、今回はそれぞれn＝171，m＝1である。このとき171点の多点反射強度値は遠位から近位までのスキャニング位置と反射強度を関数値として表現している。なおスキャニング範囲内に白線が含まれない時が171データであり、スキャニング範囲内に白線が含まれた場合には白線に該当するスキャニング位置の白線強度を推定範囲から外す処理を行う。このように特徴変数の数が変更し得ることから、それに対応しうる機械学習法としてナイーブ・ベイズ推定器を用いた。さらに、多点反射強度値の後に路面粗さ指標を加えることで推定精度向上を目指す。
（1）得られたレーザレーダデータより反射強度値とそれを離散ウェーブレット分解した結果得られる路面粗さ指標を算出する。
(2)分類すべき6つのクラスのそれぞれに対して、特徴変数（fi）の平均値μiと標準偏差σiを算出する（i = 1〜N，N = n + m）。このとき、nは反射強度数、mは路面粗さ指標数であり、今回はそれぞれn＝171，m＝1である。このとき171点の多点反射強度値は遠位から近位までのスキャニング位置と反射強度を関数値として表現している。なおスキャニング範囲内に白線が含まれない時が171データであり、スキャニング範囲内に白線が含まれた場合には白線に該当するスキャニング位置の白線強度を推定範囲から外す処理を行う。このように特徴変数の数が変更し得ることから、それに対応しうる機械学習法としてナイーブ・ベイズ推定器を用いた。さらに、多点反射強度値の後に路面粗さ指標を加えることで推定精度向上を目指す。
以上のように得られた教師データを用い、リアルタイムで式(1)、(2)を算出することにより計測路面が分類される。
［Ｂ−４］路面状態推定システム
路面状態推定は各スキャンデータを用いてリアルタイムに行う。データ処理の流れを図１０に示す。
路面状態推定は各スキャンデータを用いてリアルタイムに行う。データ処理の流れを図１０に示す。
(1)まずレーザレーダより得られた路面および白線反射強度値を元に白線位置を認識する（特許文献１、非特許文献２）。
(2)特許文献１、非特許文献２に基づく白線検知によって得られた白線位置情報を元に白線部分を路面推定領域から除外する。具体的には今回のスキャニング範囲に含まれるデータ数（171点のデータ）から、白線が含まれる場合には白線領域分のデータ数（l個）分を引いておく。その結果決定された多点反射強度値の数が、まずその時刻において定義される特徴量数とする。
(3)計測データより反射強度値（n-l個, ここにlは白線上のデータ数）と、それを元にした路面粗さ指標（m）と、を算出する。
(4)最後にナイーブ・ベイズ推定器によって路面の分類が行われる。
(2)特許文献１、非特許文献２に基づく白線検知によって得られた白線位置情報を元に白線部分を路面推定領域から除外する。具体的には今回のスキャニング範囲に含まれるデータ数（171点のデータ）から、白線が含まれる場合には白線領域分のデータ数（l個）分を引いておく。その結果決定された多点反射強度値の数が、まずその時刻において定義される特徴量数とする。
(3)計測データより反射強度値（n-l個, ここにlは白線上のデータ数）と、それを元にした路面粗さ指標（m）と、を算出する。
(4)最後にナイーブ・ベイズ推定器によって路面の分類が行われる。
［Ｃ］宇部興産専用道における路面推定試験
［Ｃ−１］計測環境の構築
エネルギーITSプロジェクトにおけるセンサ系評価のため宇部興産専用道において約6か月間にわたる計測試験を実施した(非特許文献３)。その中で、レーザレーダによる路面推定試験を実施した。試験装置の全体構成図を図１２に示す。フェールセーフECU(FS-ECU)からの情報、レーザレーダを用いた白線認識装置（アクティブ方式）からの情報、レーザデータを用いた路面状態推定装置からの情報、画像処理を用いた白線認識装置（パッシブ方式）からの情報、ＧＰＳからの情報、ＷＥＢカメラからの情報、温湿度計からの情報、がデータ処理装置に入力される。データ処理装置はコンピュータ（入力部、出力部、記憶部、演算部等のハードウェア構成と、所定のソフトウェアを備える）から構成することができ、試験では、以下に述べるように、主として各種データを記憶するデータ記憶装置としての役割を有する。試験では、レーザレーダ路面状態推定システムとこれらデータを収集するデータロガー装置をトレーラ型トラックに搭載し、営業走行中の計測を実施した。白線認識および路面推定に用いられるレーザレーダはトラクタの天井部分に設置されている。また長期計測を行うにあたっての環境記録用にGPS受信機、気象記録用カメラ、温湿度センサを設置してこれらデータをデータロガーに記録する。
［Ｃ−１］計測環境の構築
エネルギーITSプロジェクトにおけるセンサ系評価のため宇部興産専用道において約6か月間にわたる計測試験を実施した(非特許文献３)。その中で、レーザレーダによる路面推定試験を実施した。試験装置の全体構成図を図１２に示す。フェールセーフECU(FS-ECU)からの情報、レーザレーダを用いた白線認識装置（アクティブ方式）からの情報、レーザデータを用いた路面状態推定装置からの情報、画像処理を用いた白線認識装置（パッシブ方式）からの情報、ＧＰＳからの情報、ＷＥＢカメラからの情報、温湿度計からの情報、がデータ処理装置に入力される。データ処理装置はコンピュータ（入力部、出力部、記憶部、演算部等のハードウェア構成と、所定のソフトウェアを備える）から構成することができ、試験では、以下に述べるように、主として各種データを記憶するデータ記憶装置としての役割を有する。試験では、レーザレーダ路面状態推定システムとこれらデータを収集するデータロガー装置をトレーラ型トラックに搭載し、営業走行中の計測を実施した。白線認識および路面推定に用いられるレーザレーダはトラクタの天井部分に設置されている。また長期計測を行うにあたっての環境記録用にGPS受信機、気象記録用カメラ、温湿度センサを設置してこれらデータをデータロガーに記録する。
レーザレーダは、共願者である株式会社デンソー製のスキャン式のレーザレーダを用いた。レーザレーダの仕様は以下の通りである。これらの仕様は、本発明に用いられ得るレーザレーダの一例に過ぎないことに留意されたい。
レーザレーダの最大検知エリア（±18[deg]）の１本の走査線上の走査点の数は４５１点であるが、本実施形態では、図１２に示すように、17.02-3.42[deg]の照射角度に対応する171点のデータが取得される。171点に対応する横方向の距離は0.7641mである。171点の各点（照射位置）に対応する反射光が受光され、171点の反射強度が取得される。
計測車両は上記路面を50-60km/hで走行し、レーザレーダのサンプリング周波数は10Hzである。このときレーザレーダにより路面を計測した反射強度結果の例を図 に示す。横軸は横方向距離、縦軸は時間である。反射強度は実際にはカラースケール（輝度値）で表示されているが、特許図面の限界からグレースケールとなっている。図１３は、経年アスファルト・乾燥路面上での10秒間の走行中に取得された100回の走査で得られた反射強度マップである。濃度の高い部分が白線部分からの反射強度を表している。
今回の試験において推定する路面6条件は、「経年アスファルト・乾燥路面」、「経年アスファルト・湿潤路面」、「経年アスファルト・冠水路面」、「新アスファルト・乾燥路面」、「新アスファルト・湿潤路面」、「新アスファルト・冠水路面」の6種類である。
(1)反射強度
図１３のようにして得られた反射強度を横軸にスキャン位置・縦軸に反射強度にまとめたものを図１４に示す。6条件の路面における反射強度はスキャン位置に対してこのような値を示している。乾燥・新アスファルトと湿潤・経年アスファルトの反射強度、および湿潤・新アスファルトと冠水・新アスファルトの反射強度が近い値を示しているが、それ以外の条件では分離されていることが確認できる。
図１３のようにして得られた反射強度を横軸にスキャン位置・縦軸に反射強度にまとめたものを図１４に示す。6条件の路面における反射強度はスキャン位置に対してこのような値を示している。乾燥・新アスファルトと湿潤・経年アスファルトの反射強度、および湿潤・新アスファルトと冠水・新アスファルトの反射強度が近い値を示しているが、それ以外の条件では分離されていることが確認できる。
(2)路面粗さ指標
図１４のように反射強度のみでは路面条件間の判別が困難な場合があることから、路面粗さ指標を追加することでより精確な判別を行えるようにする。今回、路面粗さ指標は1つとし、n個の反射強度値に追加する。この路面粗さ指標は各スキャンにより得られる生データからリアルタイムで算出する。各スキャンにおける粗さデータを、離散ウェーブレット分解によって抽出し、粗さ指標を算出する。このときの路面粗さ波長はD1〜D4に相当するものを採用し、これらの総和を取ることで路面粗さ指標とした。D1〜D4の総和として算出された結果を図１５に示す。路面粗さ指標はこの図１５における横方向に総和を取るものであり、反射強度のばらつきの面積を取ることに相当する。
図１４のように反射強度のみでは路面条件間の判別が困難な場合があることから、路面粗さ指標を追加することでより精確な判別を行えるようにする。今回、路面粗さ指標は1つとし、n個の反射強度値に追加する。この路面粗さ指標は各スキャンにより得られる生データからリアルタイムで算出する。各スキャンにおける粗さデータを、離散ウェーブレット分解によって抽出し、粗さ指標を算出する。このときの路面粗さ波長はD1〜D4に相当するものを採用し、これらの総和を取ることで路面粗さ指標とした。D1〜D4の総和として算出された結果を図１５に示す。路面粗さ指標はこの図１５における横方向に総和を取るものであり、反射強度のばらつきの面積を取ることに相当する。
［Ｃ−２］路面状態認識結果
路面状態認識は1000[sec]の走行データを用い、6つの路面状態の認識を行った。路面状態は、カメラ画像から取得した。各クラスにおける平均値及び標準偏差は、クラスごとに1000個の訓練データから計算した。路面特徴量として多点反射強度値(171点の反射強度値)のみを用いてナイーブ・ベイズ推定器による路面認識した結果を表4に示す。判別に用いた計算式は以下の通りである。
多点反射強度値(171点の反射強度値)に路面粗さ指標を加えたパラメータを路面特徴量としてナイーブ・ベイズ推定器による路面認識した結果を表5に示す。判別に用いた計算式は以下の通りである。
上記式において、RI1-171 ：各反射強度値、F：路面粗さ指標、Class：路面状態、Z：定数、である。
路面状態認識は1000[sec]の走行データを用い、6つの路面状態の認識を行った。路面状態は、カメラ画像から取得した。各クラスにおける平均値及び標準偏差は、クラスごとに1000個の訓練データから計算した。路面特徴量として多点反射強度値(171点の反射強度値)のみを用いてナイーブ・ベイズ推定器による路面認識した結果を表4に示す。判別に用いた計算式は以下の通りである。
多点反射強度値(171点の反射強度値)に路面粗さ指標を加えたパラメータを路面特徴量としてナイーブ・ベイズ推定器による路面認識した結果を表5に示す。判別に用いた計算式は以下の通りである。
上記式において、RI1-171 ：各反射強度値、F：路面粗さ指標、Class：路面状態、Z：定数、である。
反射強度値のみを用いた場合には湿潤・経年アスファルトが27.26%、冠水・新アスファルトが21.86%と低認識率であったものが、反射強度値と路面粗さ指標を組み合わせた場合には湿潤・経年アスファルトが93.21%，冠水・新アスファルトが56.43%と大幅に認識率が向上しており、路面特徴量として路面粗さ指標を加える効果が確認できた。
その結果、本実施形態で目的とされていた乾燥・湿潤の判別は92%以上の認識率であることが確認された。さらに路面の質まで考慮した場合には新アスファルトで92%以上、経年アスファルトで93%以上の認識率であることが確認された。冠水・新アスファルトの認識率が低くなっているが、これは路面状態の正解データの判別を天候カメラデータから行ったため、湿潤から冠水への切り替わりにおける水膜厚さの判別に実際とのずれが生じたためと考えられる。また、この時のデータ処理時間として0.06 [sec/scanned data]であることから、リアルタイム処理としても問題なく行えることが確認された。
以上述べたように、本実施形態では自動運転・隊列走行における白線認識に活用しているレーザレーダを活用した路面状態推定技術の開発を目指し、レーザレーダ反射強度および路面粗さ指標を用い、機械学習としてナイーブ・ベイズ推定器を用いることで路面のDry/Wetを判定するアルゴリズム開発を行った。本手法の特徴として、第１に従来レーザレーダを用いた路面推定法は反射強度のみを利用しているのに対し、計測範囲に含まれる多点反射強度値を用いることで位置関係とレーザ光反射の機械的性質が考慮できるようにしたことが挙げられる。第２に推定精度向上のため路面粗さ成分を指標として特徴量を増やし、この路面粗さ指標に路面の空間周波数で分類するためウェーブレット分解を用い路面粗さに関係するうねり成分を算出した。このようにして用意された特徴量に対して、機械学習法としてナイーブ・ベイズ推定器を用いることで路面推定を行うことにする。走行中、白線の有無によって路面推定に用いる多点反射強度値の特徴量数が異なってくる。このように特徴量数が変化し得る推定対象にも適用できる機械学習法としてナイーブ・ベイズ推定器を選定した。隊列走行に必要とされる路面情報はアスファルトのDry / Wet情報であるが、実車計測により得られた結果を用い、路面をDry/Wetだけではなく乾燥・湿潤・冠水およびアスファルトの新旧まで条件を拡大した6路面にて路面判別を実施した。その結果、本プロジェクトで必要とされる乾燥・湿潤の判別は92%以上の認識率という結果が得られた。さらにアスファルトの新旧という質まで判別が行えることも確認できた。
上記実施形態は、本発明を具現化する構成を例示する態様に過ぎず、本発明の技術思想を逸脱しない範囲で、各種変更、改良が可能であることが当業者に理解される。
Claims (8)
- 路面上を走査するようにレーザ光を照射する投光部と、
路面上の各照射点に対応する反射強度値を取得する受光部と、
反射強度値を用いて路面状態を判別する路面状態判別器と、
を備え、
路面上の各照射点に対応して取得された反射強度値のセット（「多点反射強度値セット」という）は、路面状態に依存する投光部を基準とした遠近方向の照射位置と反射強度値との関係を規定しており、
前記路面状態判別器は、既知の異なる路面状態を備えた複数の路面についてそれぞれ取得された複数の多点反射強度値セットを学習データとして用いた機械学習により生成され、
前記路面状態判別器は、路面状態が未知の路面について取得された多点反射強度値セットを入力として、路面状態を判別して出力する、
路面状態推定装置。 - 前記路面状態推定装置は、路面上を走行する車両に搭載されており、
前記レーザ光は、路面を横切る方向に走査するように照射される、請求項１に記載の路面状態推定装置。 - レーザ光の照射範囲には、路面の走行方向に延びる区画線が含まれており、
路面状態が未知の路面について取得された多点反射強度値セットには、前記区画線に対応する反射強度値が含まれており、
前記路面状態判別器は、前記取得された多点反射強度値セットから前記区画線に対応する反射強度値を除いた反射強度値セットを用いて路面状態の判別を行う、
請求項２に記載の路面状態推定装置。 - 前記多点反射強度値セットを解析することで路面状態に依存した路面粗さ指標を取得する解析手段を備え、
前記学習データには、既知の異なる路面状態を備えた複数の路面についてそれぞれ取得された複数の路面粗さ指標が含まれており、
前記路面状態判別器は、路面状態が未知の路面について取得された多点反射強度値セット及び路面粗さ指標を入力として、路面状態を判別して出力する、
請求項１〜３いずれか１項に記載の路面状態推定装置。 - 前記解析手段は、離散ウェーブレット解析である、請求項４に記載の路面状態推定装置。
- 前記路面状態判別器は、ナイーブ・ベイズ推定器から構成されている、請求項１〜５いずれか１項に記載の路面状態推定装置。
- 前記路面状態判別器は、ニューラルネットワークから構成されている、請求項１〜５いずれか１項に記載の路面状態推定装置。
- 前記路面状態判別器は、少なくとも、乾燥状態と、湿潤状態と、を判別する、請求項１〜７いずれか１項に記載の路面状態推定装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013105920A JP6040096B2 (ja) | 2013-05-20 | 2013-05-20 | 路面状態推定装置 |
| PCT/JP2014/063388 WO2014189059A1 (ja) | 2013-05-20 | 2014-05-20 | 路面状態推定装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013105920A JP6040096B2 (ja) | 2013-05-20 | 2013-05-20 | 路面状態推定装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014228300A true JP2014228300A (ja) | 2014-12-08 |
| JP6040096B2 JP6040096B2 (ja) | 2016-12-07 |
Family
ID=51933612
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013105920A Active JP6040096B2 (ja) | 2013-05-20 | 2013-05-20 | 路面状態推定装置 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6040096B2 (ja) |
| WO (1) | WO2014189059A1 (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018180081A1 (ja) * | 2017-03-29 | 2018-10-04 | パイオニア株式会社 | 劣化地物特定装置、劣化地物特定システム、劣化地物特定方法、劣化地物特定プログラム及び劣化地物特定プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| CN109689463A (zh) * | 2016-09-13 | 2019-04-26 | 松下知识产权经营株式会社 | 路面状态预测系统、驾驶支援系统、路面状态预测方法以及数据分发方法 |
| CN110441269A (zh) * | 2019-08-13 | 2019-11-12 | 江苏东交工程检测股份有限公司 | 标线反光检测方法、装置、设备及存储介质 |
| WO2019216393A1 (ja) * | 2018-05-10 | 2019-11-14 | パナソニックＩｐマネジメント株式会社 | 路面状態推定方法、路面状態推定装置および路面状態推定システム |
| KR20200073247A (ko) * | 2017-10-13 | 2020-06-23 | 더 리젠츠 오브 더 유니버시티 오브 미시건 | 재질-센싱 광 이미징, 디텍션 및 레인징(lidar) 시스템 |
| JPWO2019107353A1 (ja) * | 2017-11-30 | 2020-12-17 | パイオニア株式会社 | 地図データのデータ構造 |
| WO2021106935A1 (ja) * | 2019-11-28 | 2021-06-03 | 国立研究開発法人宇宙航空研究開発機構 | 情報処理システム、情報処理装置、情報処理方法、及びプログラム |
| JP7021798B1 (ja) | 2020-12-04 | 2022-02-17 | 国立研究開発法人土木研究所 | 学習済みモデル生成方法、路面滑り摩擦係数推定装置、路面滑り摩擦係数推定プログラムおよび路面滑り摩擦係数推定方法 |
| KR20220107645A (ko) * | 2021-01-25 | 2022-08-02 | 한남대학교 산학협력단 | 인공신경망을 사용한 노면 확인 시스템 |
| WO2023192515A1 (en) * | 2022-03-31 | 2023-10-05 | Zoox, Inc. | Ground profile estimation for sensor data |
| US11874225B2 (en) | 2018-07-26 | 2024-01-16 | The University Of Tokyo | Measurement device, measurement system, measurement program, and measurement method |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6613624B2 (ja) * | 2015-05-27 | 2019-12-04 | いすゞ自動車株式会社 | 判別方法及び判別装置 |
| DE112015006613T5 (de) * | 2015-06-12 | 2018-03-01 | Mitsubishi Electric Corporation | Fahrassistenzvorrichtung und Fahrassistenzverfahren |
| JP2017100656A (ja) * | 2015-12-04 | 2017-06-08 | 株式会社デンソー | 走行制御装置 |
| WO2017220705A1 (en) * | 2016-06-24 | 2017-12-28 | Jaguar Land Rover Limited | Control system for a vehicle |
| CN107784261B (zh) * | 2016-08-31 | 2020-04-28 | 北京万集科技股份有限公司 | 一种路面状态检测方法及装置 |
| KR101876063B1 (ko) * | 2016-10-04 | 2018-07-06 | 현대자동차주식회사 | 차량 데이터 기반의 노면 판단 방법 |
| KR101961776B1 (ko) * | 2017-02-13 | 2019-07-17 | 공주대학교 산학협력단 | 라인 스캐닝 도로 노면 기상 상태 측정 장치 및 방법 |
| US10460053B2 (en) | 2017-04-24 | 2019-10-29 | Toyota Research Institute, Inc. | Systems and methods for surface property identification using waveform classification |
| KR101958931B1 (ko) * | 2017-10-24 | 2019-07-02 | 인천대학교 산학협력단 | 레이더 검출 데이터를 이용한 도로 상태 식별 장치 및 이의 동작 방법 |
| EP3536574A1 (en) * | 2018-03-06 | 2019-09-11 | Pablo Alvarez Troncoso | Vehicle control system |
| CN111114550B (zh) * | 2018-10-30 | 2021-11-23 | 长城汽车股份有限公司 | 车辆控制方法和控制装置及车辆和存储介质 |
| JP6811913B2 (ja) * | 2018-11-22 | 2021-01-13 | 三菱電機株式会社 | 障害物検知装置 |
| JP7273505B2 (ja) * | 2018-12-28 | 2023-05-15 | スタンレー電気株式会社 | 路面状態検知システム及び路面状態検知方法 |
| US11630209B2 (en) * | 2019-07-09 | 2023-04-18 | Waymo Llc | Laser waveform embedding |
| US11718304B2 (en) | 2020-03-06 | 2023-08-08 | Deere & Comoanv | Method and system for estimating surface roughness of ground for an off-road vehicle to control an implement |
| US11684005B2 (en) | 2020-03-06 | 2023-06-27 | Deere & Company | Method and system for estimating surface roughness of ground for an off-road vehicle to control an implement |
| US11678599B2 (en) | 2020-03-12 | 2023-06-20 | Deere & Company | Method and system for estimating surface roughness of ground for an off-road vehicle to control steering |
| US11667171B2 (en) * | 2020-03-12 | 2023-06-06 | Deere & Company | Method and system for estimating surface roughness of ground for an off-road vehicle to control steering |
| US11685381B2 (en) | 2020-03-13 | 2023-06-27 | Deere & Company | Method and system for estimating surface roughness of ground for an off-road vehicle to control ground speed |
| US11753016B2 (en) | 2020-03-13 | 2023-09-12 | Deere & Company | Method and system for estimating surface roughness of ground for an off-road vehicle to control ground speed |
| CN112841742B (zh) * | 2021-01-18 | 2023-11-21 | 河南中烟工业有限责任公司 | 基于预抽吸动作捕捉的加热使能控制方法 |
| CN113311444B (zh) * | 2021-06-22 | 2022-08-02 | 山东高速建设管理集团有限公司 | 一种水膜识别与处理装置及其使用方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0454600A (ja) * | 1990-06-21 | 1992-02-21 | Mazda Motor Corp | 車両用警報装置 |
| JP2009199154A (ja) * | 2008-02-19 | 2009-09-03 | Ihi Corp | 水溜まり検出装置、無人走行車両及び水溜まり検出方法 |
| WO2011095605A1 (en) * | 2010-02-04 | 2011-08-11 | Delta Dansk Elektronik, Lys & Akustik | Apparatus and method for measuring retroreflectivity of a surface |
| JP2011174794A (ja) * | 2010-02-24 | 2011-09-08 | Kyushu Institute Of Technology | 路面状態検出装置及び方法 |
| WO2011158306A1 (ja) * | 2010-06-18 | 2011-12-22 | 本田技研工業株式会社 | 路面反射率分類のためのシステム |
-
2013
- 2013-05-20 JP JP2013105920A patent/JP6040096B2/ja active Active
-
2014
- 2014-05-20 WO PCT/JP2014/063388 patent/WO2014189059A1/ja active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0454600A (ja) * | 1990-06-21 | 1992-02-21 | Mazda Motor Corp | 車両用警報装置 |
| JP2009199154A (ja) * | 2008-02-19 | 2009-09-03 | Ihi Corp | 水溜まり検出装置、無人走行車両及び水溜まり検出方法 |
| WO2011095605A1 (en) * | 2010-02-04 | 2011-08-11 | Delta Dansk Elektronik, Lys & Akustik | Apparatus and method for measuring retroreflectivity of a surface |
| JP2011174794A (ja) * | 2010-02-24 | 2011-09-08 | Kyushu Institute Of Technology | 路面状態検出装置及び方法 |
| WO2011158306A1 (ja) * | 2010-06-18 | 2011-12-22 | 本田技研工業株式会社 | 路面反射率分類のためのシステム |
Non-Patent Citations (1)
| Title |
|---|
| JPN6014034723; 松浦充保、外２名: '隊列走行におけるレーザレーザ白線検知システム（第２報）' 自動車技術会 学術講演会前刷集 Ｎｏ．１４５-１０, 20100929, 第１頁-第４頁 * |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109689463A (zh) * | 2016-09-13 | 2019-04-26 | 松下知识产权经营株式会社 | 路面状态预测系统、驾驶支援系统、路面状态预测方法以及数据分发方法 |
| CN109689463B (zh) * | 2016-09-13 | 2022-03-15 | 松下知识产权经营株式会社 | 路面状态预测系统、驾驶支援系统、路面状态预测方法以及数据分发方法 |
| EP3591381A4 (en) * | 2017-03-29 | 2021-01-13 | Pioneer Corporation | DEVICE FOR IDENTIFYING A deteriorated GROUND-BASED OBJECT, SYSTEM FOR IDENTIFYING a deteriorated GROUND-BASED OBJECT, METHOD FOR IDENTIFYING a deteriorated GROUND-BASED OBJECT, PROGRAM FOR IDENTIFYING a deteriorated GROUND BASED POINTS AND COMPUTER READABLE RECORDING MEDIUM WITH recorded thereon PROGRAM FOR IDENTIFYING a deteriorated GROUND BASED POINTS |
| JP2022016460A (ja) * | 2017-03-29 | 2022-01-21 | パイオニア株式会社 | 劣化地物特定装置、劣化地物特定システム、劣化地物特定方法、劣化地物特定プログラム及び劣化地物特定プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JPWO2018180081A1 (ja) * | 2017-03-29 | 2020-05-21 | パイオニア株式会社 | 劣化地物特定装置、劣化地物特定方法、劣化地物特定プログラム及び劣化地物特定プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| WO2018180081A1 (ja) * | 2017-03-29 | 2018-10-04 | パイオニア株式会社 | 劣化地物特定装置、劣化地物特定システム、劣化地物特定方法、劣化地物特定プログラム及び劣化地物特定プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| US11157752B2 (en) | 2017-03-29 | 2021-10-26 | Pioneer Corporation | Degraded feature identification apparatus, degraded feature identification system, degraded feature identification method, degraded feature identification program, and computer-readable recording medium recording degraded feature identification program |
| KR20200073247A (ko) * | 2017-10-13 | 2020-06-23 | 더 리젠츠 오브 더 유니버시티 오브 미시건 | 재질-센싱 광 이미징, 디텍션 및 레인징(lidar) 시스템 |
| KR102595436B1 (ko) * | 2017-10-13 | 2023-10-27 | 더 리젠츠 오브 더 유니버시티 오브 미시건 | 재질-센싱 광 이미징, 디텍션 및 레인징(lidar) 시스템 |
| JP2020537146A (ja) * | 2017-10-13 | 2020-12-17 | ザ・リージェンツ・オブ・ザ・ユニバーシティ・オブ・ミシガンＴｈｅ Ｒｅｇｅｎｔｓ Ｏｆ Ｔｈｅ Ｕｎｉｖｅｒｓｉｔｙ Ｏｆ Ｍｉｃｈｉｇａｎ | 材料感知光画像化、検出、及び測距（ｌｉｄａｒ）システム |
| JP2023038227A (ja) * | 2017-10-13 | 2023-03-16 | ザ・リージェンツ・オブ・ザ・ユニバーシティ・オブ・ミシガン | 材料感知光画像化、検出、及び測距（ｌｉｄａｒ）システム |
| JP2022121579A (ja) * | 2017-11-30 | 2022-08-19 | パイオニア株式会社 | 地図データのデータ構造 |
| JPWO2019107353A1 (ja) * | 2017-11-30 | 2020-12-17 | パイオニア株式会社 | 地図データのデータ構造 |
| WO2019216393A1 (ja) * | 2018-05-10 | 2019-11-14 | パナソニックＩｐマネジメント株式会社 | 路面状態推定方法、路面状態推定装置および路面状態推定システム |
| US11874225B2 (en) | 2018-07-26 | 2024-01-16 | The University Of Tokyo | Measurement device, measurement system, measurement program, and measurement method |
| CN110441269A (zh) * | 2019-08-13 | 2019-11-12 | 江苏东交工程检测股份有限公司 | 标线反光检测方法、装置、设备及存储介质 |
| WO2021106935A1 (ja) * | 2019-11-28 | 2021-06-03 | 国立研究開発法人宇宙航空研究開発機構 | 情報処理システム、情報処理装置、情報処理方法、及びプログラム |
| JP7383247B2 (ja) | 2019-11-28 | 2023-11-20 | 国立研究開発法人宇宙航空研究開発機構 | 情報処理システム、情報処理装置、情報処理方法、及びプログラム |
| JP2022089676A (ja) * | 2020-12-04 | 2022-06-16 | 国立研究開発法人土木研究所 | 学習済みモデル生成方法、路面滑り摩擦係数推定装置、路面滑り摩擦係数推定プログラムおよび路面滑り摩擦係数推定方法 |
| JP7021798B1 (ja) | 2020-12-04 | 2022-02-17 | 国立研究開発法人土木研究所 | 学習済みモデル生成方法、路面滑り摩擦係数推定装置、路面滑り摩擦係数推定プログラムおよび路面滑り摩擦係数推定方法 |
| KR20220107645A (ko) * | 2021-01-25 | 2022-08-02 | 한남대학교 산학협력단 | 인공신경망을 사용한 노면 확인 시스템 |
| KR102593030B1 (ko) | 2021-01-25 | 2023-10-23 | 한남대학교 산학협력단 | 인공신경망을 사용한 노면 확인 시스템 |
| WO2023192515A1 (en) * | 2022-03-31 | 2023-10-05 | Zoox, Inc. | Ground profile estimation for sensor data |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6040096B2 (ja) | 2016-12-07 |
| WO2014189059A1 (ja) | 2014-11-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6040096B2 (ja) | 路面状態推定装置 | |
| CN105717514B (zh) | 利用激光雷达传感器的路面反射性检测 | |
| US11340332B2 (en) | Method and apparatus for processing radar data | |
| EP2118818B1 (en) | Video-based road departure warning | |
| JP4993322B2 (ja) | 車両周辺にある光点のカメラによる識別及び分類 | |
| CN102782478B (zh) | 用于借助光谱学进行雾识别的方法和装置 | |
| KR20170026857A (ko) | 레이저 거리 센서를 이용한 바닥 장애물 검출 방법 | |
| CN103886757A (zh) | 用于自动分类运动中的车辆的方法 | |
| Vatani Nezafat et al. | Transfer learning using deep neural networks for classification of truck body types based on side-fire lidar data | |
| CN105184263A (zh) | 使用纹理分析的基于视觉的潮湿道路表面检测 | |
| KR102401382B1 (ko) | 라이다를 이용한 노면 검출 시스템 및 그를 이용한 노면의 검출 방법 | |
| Bystrov et al. | Sensors for automotive remote road surface classification | |
| Tatebe et al. | Pedestrian detection from sparse point-cloud using 3DCNN | |
| KR100962329B1 (ko) | 스테레오 카메라 영상으로부터의 지면 추출 방법과 장치 및이와 같은 방법을 구현하는 프로그램이 기록된 기록매체 | |
| CN113269889B (zh) | 一种基于椭圆域的自适应点云目标聚类方法 | |
| Li et al. | A novel processing methodology for traffic-speed road surveys using point lasers | |
| CN116587978A (zh) | 一种基于车载显示屏的碰撞预警方法及系统 | |
| Yasin et al. | Travel time measurement in real-time using automatic number plate recognition for Malaysian environment | |
| Segawa et al. | Preceding vehicle detection using stereo images and non-scanning millimeter-wave radar | |
| KR20180117660A (ko) | 적어도 하나의 물체를 포착하는 방법, 센서 장치의 디바이스, 센서 장치 및 적어도 하나의 센서 장치를 구비한 운전자 보조 시스템 | |
| KR20220128787A (ko) | 라이다 센서를 이용한 객체 추적 방법 및 장치와, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체 | |
| Certad et al. | Road Markings Segmentation from LIDAR Point Clouds using Reflectivity Information | |
| US11867835B2 (en) | System and method for classifying pulses generated by a sensor | |
| CN112014822B (zh) | 车载雷达测量数据识别方法、装置、介质和电子装置 | |
| WO2024065685A1 (zh) | 一种处理点云的方法和雷达 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160126 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20160126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160802 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160930 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161021 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161107 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6040096 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |