JP2012234398A - Arousal degree estimation apparatus - Google Patents

Arousal degree estimation apparatus Download PDF

Info

Publication number
JP2012234398A
JP2012234398A JP2011102995A JP2011102995A JP2012234398A JP 2012234398 A JP2012234398 A JP 2012234398A JP 2011102995 A JP2011102995 A JP 2011102995A JP 2011102995 A JP2011102995 A JP 2011102995A JP 2012234398 A JP2012234398 A JP 2012234398A
Authority
JP
Japan
Prior art keywords
data
term
estimation
arousal level
wakefulness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011102995A
Other languages
Japanese (ja)
Other versions
JP5671408B2 (en
Inventor
Motoya Ogawa
原也 小川
Katsuyuki Kise
勝之 喜瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Heavy Industries Ltd filed Critical Fuji Heavy Industries Ltd
Priority to JP2011102995A priority Critical patent/JP5671408B2/en
Publication of JP2012234398A publication Critical patent/JP2012234398A/en
Application granted granted Critical
Publication of JP5671408B2 publication Critical patent/JP5671408B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To reduce time delay when acquiring frequency characteristic of steering wheel operation data by a driver and surely detect reduction of arousal degree in a short period.SOLUTION: Steering angle data for 25.6 seconds from the present to the past is folded to create steering angle data for 25.6 seconds of the future, and an FFT operation is performed by setting a range of 25.6 seconds of the past and a range of 25.6 seconds of the future to the segments of a window function. Thereby, at the point of time when the FFT operation terminates, estimation of an arousal degree under the significant consideration of data near the center of the window function, that is, data near the present can be performed, and influence of time delay can be reduced as compared with a conventional method in which a frequency component is calculated from past data.

Description

本発明は、ドライバによるハンドル操作データの周波数特性に基づいてドライバの覚醒度を推定する覚醒度推定装置に関する。   The present invention relates to a wakefulness estimation device that estimates a driver's wakefulness based on frequency characteristics of steering operation data by a driver.

自動車等の車両においては、前方衝突警報や衝突軽減ブレーキ、車線逸脱警報等の予防安全システムの実用化が進む中、ドライバの状態を考慮して警報や自動ブレーキ等による制御介入とのタイミングを最適化する必要性が高まっている。このようなドライバ状態を示す指標の一つとして、ドライバの覚醒度があり、従来から、覚醒度を推定する技術が各種提案されている。   In vehicles such as automobiles, the timing of control intervention by alarms, automatic brakes, etc. is optimized in consideration of the driver's condition as preventive safety systems such as forward collision warnings, collision mitigation brakes, and lane departure warnings are being put into practical use. There is a growing need for One index indicating such a driver state is a driver's arousal level. Conventionally, various techniques for estimating the arousal level have been proposed.

例えば、カメラによるドライバの視線・開眼状況等からドライバの覚醒度を推定する技術や、ドライバの脳波や心拍等の生体情報からドライバの覚醒度を推定する技術が提案されている。しかしながら、これらの技術は、カメラや心拍、脳波の計測のためのセンサを車両に搭載しなければならず、コストアップを招いてしまう。   For example, a technique for estimating a driver's arousal level from a driver's line of sight, eye open state, and the like by a camera, and a technique for estimating a driver's arousal level from biological information such as a driver's brain wave and heartbeat have been proposed. However, these technologies require that a camera, a heartbeat sensor, and a sensor for measuring brain waves be mounted on the vehicle, resulting in an increase in cost.

このため、最近では、ドライバの運転操作データから覚醒度を推定する技術が提案されている。例えば、特許文献１には、ハンドル角の変動がないことから居眠り状態を検出する技術が提案されている。また、特許文献２には、ハンドル操作データの特定周波数のパワーが大きくなったことで低覚醒状態を検出する技術が提案されている。   For this reason, recently, a technique for estimating the arousal level from the driving operation data of the driver has been proposed. For example, Patent Document 1 proposes a technique for detecting a dozing state because there is no change in the handle angle. Patent Document 2 proposes a technique for detecting a low wakefulness state by increasing the power of a specific frequency of handle operation data.

特開平５−３１９１３４号公報JP-A-5-319134 特開平６−１９７８９１号公報JP-A-6-197891

しかしながら、特許文献１に開示の技術では、ハンドル角の変動が存在する低覚醒状態まで検出するのは困難である。また、特許文献２に開示の技術では、過去の所定期間の操作データを用いて周波数特性を取得していることから、推定する覚醒度に時間遅れが生じてしまい、短期間での覚醒度の低下を見逃す虞がある。   However, with the technique disclosed in Patent Document 1, it is difficult to detect even a low arousal state in which a change in the handle angle exists. Further, in the technique disclosed in Patent Document 2, since the frequency characteristic is acquired using the operation data of a predetermined period in the past, a time delay occurs in the estimated arousal level, and the arousal level in a short period of time is generated. There is a risk of overlooking the decline.

本発明は上記事情に鑑みてなされたもので、ドライバによるハンドル操作データの周波数特性を取得する際の時間遅れを低減し、短期間の覚醒度低下をも確実に検出することのできる覚醒度推定装置を提供することを目的としている。   The present invention has been made in view of the above circumstances, and it is possible to reduce the time delay when acquiring the frequency characteristics of the steering operation data by the driver, and to be able to reliably detect a short-term decrease in arousal level. The object is to provide a device.

本発明による覚醒度推定装置は、ドライバによるハンドル操作データの周波数特性に基づいてドライバの覚醒度を推定する覚醒度推定装置であって、現在から過去の所定区間のハンドル操作データを用いて現在から未来の所定区間のハンドル操作データを生成し、これらの区間のデータを対象とする周波数変換により周波数パワーを求める周波数変換処理部と、設定範囲の前記周波数パワーの積分値に基づいて短期的な覚醒度を推定する短期覚醒度推定部と、前記設定範囲で前記周波数パワーを時間的に平均化処理し、この平均化処理した周波数パワーの積分値に基づいて中期的な覚醒度を推定する中期覚醒度推定部と、前記短期覚醒度推定部の推定結果と前記中期覚醒度推定部の推定結果とを統合してドライバの覚醒度を推定する覚醒度推定部とを備えたものである。   A wakefulness level estimation device according to the present invention is a wakefulness level estimation device that estimates a driver's wakefulness level based on frequency characteristics of steering wheel operation data by a driver. A short-term awakening based on a frequency conversion processing unit that generates handle operation data of predetermined future sections and obtains frequency power by frequency conversion for the data of these sections, and an integrated value of the frequency power in the set range A short-term arousal level estimation unit that estimates a degree, and a medium-term awakening level that averages the frequency power in the set range in time and estimates a medium-term arousal level based on an integrated value of the averaged frequency power An arousal estimation unit that estimates the driver's arousal level by integrating the estimation result of the short-term arousal level estimation unit and the estimation result of the mid-term arousal level estimation unit It is obtained by a part.

本発明によれば、ドライバによるハンドル操作データの周波数特性を取得する際の時間遅れを低減し、短期間の覚醒度低下をも確実に検出することができる。   ADVANTAGE OF THE INVENTION According to this invention, the time delay at the time of acquiring the frequency characteristic of the steering wheel operation data by a driver can be reduced, and the wakefulness fall for a short period can also be detected reliably.

覚醒度推定装置の構成図Configuration diagram of wakefulness estimation device ハンドル角の周波数成分と覚醒度との関係を示す説明図Explanatory diagram showing the relationship between the frequency component of the steering wheel angle and the arousal level ＦＦＴの窓関数を示す説明図Explanatory drawing showing the window function of FFT ＦＦＴ演算における時間遅れの説明図Explanatory drawing of time delay in FFT calculation アクセル補正量の説明図Explanatory diagram of accelerator correction amount ブレーキ補正量の説明図Illustration of brake correction amount 運転操作データ入力処理のフローチャートFlow chart of driving operation data input processing ＦＦＴ演算処理のフローチャートFlow chart of FFT calculation processing 短期覚醒度及び中期覚醒度推定処理のフローチャートFlow chart of short-term and medium-term arousal level estimation processing 覚醒度推定処理のフローチャートFlow chart of wakefulness estimation process 覚醒度の短期推定結果及び中期推定結果を示すグラフGraph showing short-term and medium-term estimation results of arousal level 覚醒度の推定結果を示すグラフA graph showing the estimation result of arousal level

以下、図面を参照して本発明の実施の形態を説明する。
本実施の形態における覚醒度推定装置は、ドライバのハンドル操作データの周波数特性からドライバの覚醒度を推定する装置であり、図１に示すように、ＣＡＮ（Controller Area Network；コントローラ・エリア・ネットワーク）等からなる車内ネットワーク１００に接続されるマイクロコンピュータからなる電子制御装置（ＥＣＵ）１０によって構成され、専用の装置、或いは車両制御装置の一部として構成される。このＥＣＵ１０による覚醒度推定装置は、特徴的には、車両走行中の短期的な覚醒度変化を遅れなく検出する機能と、中期的な覚醒度の推移を安定的に検出する機能とを有している。 Embodiments of the present invention will be described below with reference to the drawings.
The arousal level estimation apparatus in the present embodiment is an apparatus that estimates a driver's arousal level from the frequency characteristics of the driver's handle operation data. As shown in FIG. 1, a CAN (Controller Area Network) is used. It is comprised by the electronic controller (ECU) 10 which consists of a microcomputer connected to the in-vehicle network 100 which consists of etc., and is comprised as a part of exclusive apparatus or a vehicle control apparatus. Characteristically, the awakening level estimation device by the ECU 10 has a function of detecting a short-term change in the awakening level while the vehicle is running without delay, and a function of stably detecting a transition of the awakening level in the medium term. ing.

このため、ＥＣＵ１０は、覚醒度推定装置の機能として、運転操作データ入力部１１、ＦＦＴ入力データ生成・タイプ判定部１２、ＦＦＴ演算部１３、短期覚醒度推定部１４、中期覚醒度推定部１５、覚醒度補正量設定部１６、覚醒度推定部１７を備えている。概略的には、ＥＣＵ１０は、車内ネットワーク１００を通じて取得したハンドル角データの周波数特性をＦＦＴ（Fast Fourie Transform;高速フーリエ変換）によって解析し、パワースペクトルの分布からドライバの覚醒度を推定する。   For this reason, the ECU 10 functions as a wakefulness estimation device as a driving operation data input unit 11, an FFT input data generation / type determination unit 12, an FFT calculation unit 13, a short-term wakefulness estimation unit 14, a medium-term wakefulness estimation unit 15, An arousal level correction amount setting unit 16 and an arousal level estimation unit 17 are provided. Schematically, the ECU 10 analyzes the frequency characteristics of the steering wheel angle data acquired through the in-vehicle network 100 by FFT (Fast Fourie Transform), and estimates the driver's arousal level from the distribution of the power spectrum.

すなわち、図２に示すように、ハンドル角データの周波数特性は、同図中に破線で示すドライバが覚醒状態にあるときの特性に対して、ドライバの覚醒度が低下すると、同図中に実線で示すように、特定の低周波数域でのパワー成分（振幅）が突出して大きくなることが実験的に確認されている。従って、ハンドル角データの特定周波数域での周波数パワーを調べることにより、ドライバの覚醒度を推定することができる。本実施の形態においては、現在のハンドル角データから０．１Ｈｚ付近の周波数パワーを調べて短期的な覚醒度を時間遅れなく検出すると共に、短期的な覚醒度の推定結果を中期的な覚醒度の推定結果と統合することで、ノイズの影響を除去しつつ瞬間的な覚醒度の低下を検出可能としている。   That is, as shown in FIG. 2, the frequency characteristic of the steering wheel angle data is shown by a solid line in FIG. 2 when the driver's arousal level is lower than the characteristic when the driver indicated by the broken line is in the awake state. As shown by the above, it has been experimentally confirmed that the power component (amplitude) in a specific low frequency region protrudes and becomes large. Therefore, the driver's arousal level can be estimated by examining the frequency power in a specific frequency range of the steering wheel angle data. In the present embodiment, the frequency power in the vicinity of 0.1 Hz is checked from the current steering angle data to detect the short-term arousal level without a time delay, and the short-term arousal level estimation result is the medium-term arousal level. By integrating with the estimation result, it is possible to detect an instantaneous decrease in arousal level while removing the influence of noise.

詳細には、運転操作データ入力部１１は、車内ネットワーク１００を介して取得するドライバの運転操作データとして、ハンドル角を所定のサンプリング間隔で入力し、その他、ブレーキ圧力、アクセル開度データを入力する。ブレーキ圧力とアクセル開度の各データは、後述するように、ハンドル角には現れない高覚醒時のドライバ操作の特徴を検出し、ハンドル角の周波数特性から推定した覚醒度を補正するために用いられる。   Specifically, the driving operation data input unit 11 inputs a steering wheel angle at a predetermined sampling interval as driving operation data of the driver acquired through the in-vehicle network 100, and inputs brake pressure and accelerator opening data. . As will be described later, the brake pressure and accelerator opening data are used to detect driver operation characteristics during high awakening that do not appear at the steering wheel angle, and to correct the arousal level estimated from the frequency characteristics of the steering wheel angle. It is done.

ＦＦＴ入力データ生成・タイプ判定部１２は、ＦＦＴ演算部１３と共に周波数変換処理部を構成し、ＦＦＴ演算の前処理として、運転操作データ入力部１１から入力されたハンドル角データをＦＦＴ演算に使用するデータ（ＦＦＴ入力データ）に変換すると共に、ＦＦＴ入力データのタイプを判定してタイプ情報を付加する。具体的には、取得したハンドル角データに所定の窓関数を乗じて所定区間のＦＦＴ入力データを作成する。窓関数は、周知のようにＦＦＴの前提である連続性を維持しながら有限区間でのデータ切取りを可能とするものであり、例えば、図３に示すようなハミング窓を用いる。   The FFT input data generation / type determination unit 12 constitutes a frequency conversion processing unit together with the FFT calculation unit 13 and uses the handle angle data input from the driving operation data input unit 11 for the FFT calculation as preprocessing of the FFT calculation. While converting into data (FFT input data), the type of FFT input data is determined and type information is added. Specifically, FFT input data for a predetermined section is created by multiplying the acquired handle angle data by a predetermined window function. As is well known, the window function is capable of cutting out data in a finite section while maintaining the continuity that is the premise of FFT. For example, a Hamming window as shown in FIG. 3 is used.

本実施の形態においては、間隔０．１秒でサンプリングした５１２個のハンドル角データを用いてＦＦＴ演算を行うようにしている。その際、通常のＦＦＴのように現在から過去の５１２個のデータの範囲（過去の５１．２秒間のデータ範囲）でＦＦＴ演算を行うのではなく、過去のデータを用いて擬似的に未来のデータを作成し、現在のデータに一番の重みをかけたＦＦＴ演算を行うようにしている。   In the present embodiment, the FFT operation is performed using 512 handle angle data sampled at intervals of 0.1 seconds. At that time, instead of performing the FFT calculation in the past 512 data range (the past 51.2 second data range) as in the normal FFT, the past data is used to simulate the future Data is created and an FFT operation is performed by applying the highest weight to the current data.

すなわち、通常のＦＦＴ演算では、図４（ａ）に示すように、図中に細線で示すハンドル角データに対して、現在から過去５１．２秒間のデータ範囲（窓関数の区間）で図中に太線で示すＦＦＴの入力データを作成し、この入力データを用いてＦＦＴ演算を行っている。従って、ＦＦＴ演算を終了した時点で覚醒度の推定処理を行うものとすると、窓関数の中心付近のデータ、すなわち現在から略２６秒前の過去のデータを重視した覚醒度の推定を行うことになり、時間遅れが生じることになる。   That is, in the normal FFT operation, as shown in FIG. 4A, the handle angle data indicated by a thin line in the figure is shown in the data range (window function section) for the past 51.2 seconds from the present. FFT input data indicated by a thick line is created, and FFT calculation is performed using this input data. Therefore, assuming that the arousal level estimation process is performed when the FFT operation is completed, the arousal level is estimated with emphasis on the data near the center of the window function, that is, the past data about 26 seconds before the present. Therefore, there will be a time delay.

このため、本実施の形態においては、過去の２５．６秒間のデータを用いて擬似的に未来の２５．６秒間のデータを作成する。例えば、ＦＦＴに入力するデータ列を、Ｆ(n)（n=0,1,…,1023)とすると、n＜５１２では、Ｆ(511)に現時刻のハンドル角，Ｆ(509)に０．１秒前のデータ，…，Ｆ(0)に２５．６秒前のデータを入力する。そして、n≧512では、Ｆ(n)＝Ｆ(1023-n)となるようにデータを入力する。   For this reason, in this embodiment, data for the future 25.6 seconds is created in a pseudo manner using data for the past 25.6 seconds. For example, if the data string input to the FFT is F (n) (n = 0, 1,..., 1023), when n <512, the handle angle at the current time is F (511) and 0 is set to F (509). .. Data before 1 second, ... 25.6 seconds before is input to F (0). When n ≧ 512, data is input so that F (n) = F (1023-n).

つまり、図４（ｂ）に示すように、図中に細線で示すハンドル角データに対して、現在から過去の２５．６秒間のデータを折り返して未来の２５．６秒間のデータを作成し、この過去の２５．６秒の範囲と未来の２５．６秒の範囲とを窓関数の区間として、図中に太線で示すＦＦＴ入力データを用いてＦＦＴ演算を行う。これにより、ＦＦＴ演算を終了した時点で、窓関数の中心付近のデータすなわち現在付近のデータを重視した覚醒度の推定を行うことができ、過去のデータから周波数成分を算出する従来の手法に比べ、時間遅れの影響を軽減することが可能となる。   In other words, as shown in FIG. 4B, the past 25.6 seconds of data from the present to the handle angle data indicated by a thin line in the figure is folded back to create the future 25.6 seconds of data, Using the past 25.6 seconds range and the future 25.6 seconds range as the window function interval, FFT calculation is performed using the FFT input data indicated by the bold line in the figure. As a result, at the time when the FFT operation is completed, it is possible to estimate the arousal level with emphasis on the data near the center of the window function, that is, the data near the present, and compared with the conventional method of calculating the frequency component from the past data It becomes possible to reduce the influence of time delay.

その際、ＦＦＴ入力データには、データタイプを判別したタイプ情報が付加される。ここでは、ＦＦＴ入力データの作成に用いた過去２５．６秒間のハンドル角データを用いて平均及び分散を算出し、平均及び分散が予め設定した条件（例えば、平均が±５度以内、分散は１０以内）に当てはまっている場合は”０”、そうでない場合は”１”のタイプ情報を、生成したＦＦＴ入力データに付加する。これは、カーブ走行時等の道路環境に応じたハンドル操作を識別し、覚醒度推定の精度悪化を引き起こす可能性があるデータ（データタイプ１）かどうかを判別していることになる。   At that time, type information for determining the data type is added to the FFT input data. Here, the average and variance are calculated using the handle angle data for the past 25.6 seconds used to create the FFT input data, and the average and variance are set in advance (for example, the average is within ± 5 degrees, the variance is (10 or less), the type information of “0” is added to the generated FFT input data. This means that the steering operation according to the road environment such as when driving on a curve is identified, and it is determined whether or not the data (data type 1) may cause a deterioration in the accuracy of the arousal level estimation.

次に、ＦＦＴ演算部１３は、ＦＦＴ入力データ生成・タイプ判定部１２で作成したＦＦＴ入力データを用いてＦＦＴ演算を行い、周波数パワー（振幅）Ｐを計算する。更に、周波数をｘ、時刻ｔで得られた周波数パワーをＰ(x,t)とすると、以下の（１）式による変換を行い、周波数パワーＰを平準化する。
Ｐ(x,t)←Ｐ(x,t)・ｘn …（１） Next, the FFT operation unit 13 performs an FFT operation using the FFT input data created by the FFT input data generation / type determination unit 12 to calculate the frequency power (amplitude) P. Further, assuming that the frequency is x and the frequency power obtained at time t is P (x, t), conversion according to the following equation (1) is performed, and the frequency power P is leveled.
P (x, t) ← P (x, t) · x n (1)

尚、（１）式におけるべき数ｎは、本出願人による特許第４１９７３８１号に開示されているように、２．０≦ｎ≦３．０であり、本実施の形態においては、ｎ＝２．５としている。これは、ハンドル角のふらつきによる車両のふらつきは、自然界に多く存在する揺らぎの一つであると考えた場合、その振幅は１／ｆであり、パワーは１／ｆ2となることから、（１）式におけるべき数ｎは理論的には２．０でよいが、実験結果よりｎ＝２．５が最も好ましいことが判明しているからである。 The power number n in the equation (1) is 2.0 ≦ n ≦ 3.0 as disclosed in Japanese Patent No. 4197381 by the present applicant, and in this embodiment, n = 2. .5. This is because when the vehicle wobble due to the steering wheel wobble is considered to be one of the fluctuations existing in nature, the amplitude is 1 / f and the power is 1 / f 2. This is because the power number n in the equation (1) may theoretically be 2.0, but it has been found from experiments that n = 2.5 is most preferable.

ＦＦＴ演算部１３で算出された周波数データは、短期覚醒度推定部１４と中期覚醒度推定部１５とに入力され、それぞれにおいて、短期的な覚醒度を表現する短期覚醒度Ｄs(t)、中期的な覚醒度を表現する中期覚醒度Ｄm(t)が算出される。短期覚醒度Ｄs(t)、中期覚醒度Ｄm(t)、及び後述する覚醒度Ｄ(t)は、覚醒度が低いほど大きな値をとる。   The frequency data calculated by the FFT calculation unit 13 is input to the short-term arousal level estimation unit 14 and the medium-term arousal level estimation unit 15, and the short-term arousal level Ds (t) representing the short-term arousal level, A mid-term arousal level Dm (t) expressing a typical arousal level is calculated. The short-term arousal level Ds (t), the medium-term awakening level Dm (t), and the awakening level D (t) described later take larger values as the awakening level is lower.

短期覚醒度Ｄs(t)は、ＦＦＴ演算によって得られたハンドル角の周波数データを用いて、以下の（２）式に示すように、設定範囲の周波数領域内の周波数パワーの積分値Ｐrange(t)と設定範囲外の周波数領域の周波数パワーの積分値Ｐout(t)との比で算出される。但し、ＦＦＴに使用したデータタイプが１の場合は、推定の信頼度が低いとして、Ｄs(t)＝０とする。また、設定範囲の周波数領域は、低覚醒時のハンドル角のふらつきが顕著となる領域、本実施の形態においては０．１Ｈｚ前後の０．０５〜０．２５Ｈｚの範囲の領域としている。
Ｄs(t)＝Ｐrange(t)／Ｐout(t) …（２） The short-term arousal level Ds (t) is obtained by using the frequency data of the handle angle obtained by the FFT calculation, as shown in the following equation (2), the integral value Prange (trange of the frequency power in the frequency range of the set range. ) And the integral value Pout (t) of the frequency power in the frequency region outside the set range. However, when the data type used for FFT is 1, it is assumed that the estimation reliability is low and Ds (t) = 0. In addition, the frequency range of the set range is a region where the steering wheel angle fluctuation is remarkable at the time of low awakening, in this embodiment, a region of 0.05 to 0.25 Hz around 0.1 Hz.
Ds (t) = Prange (t) / Pout (t) (2)

（２）式による短期覚醒度Ｄs(t)は、現在のハンドル角データを中心として時間遅れを生じることなく覚醒度を推定することができるが、本来、存在しない未来のハンドル角を擬似的に生成して用いているため、周波数計算時に通常よりノイズが乗りやすい。そこで、より安定した覚醒度推定を行うため、短期覚醒度Ｄs(t)に加えて中期的な覚醒度Ｄm(t)も算出する。   The short-term arousal level Ds (t) according to the formula (2) can estimate the arousal level without causing a time delay around the current handle angle data. Since it is generated and used, it is easier to get noise than usual when calculating the frequency. Therefore, in order to perform a more stable arousal level estimation, a medium-term arousal level Dm (t) is calculated in addition to the short-term arousal level Ds (t).

この中期覚醒度Ｄm(t)は、短期覚醒度Ｄs(t)を時系列に平均したものではなく、ＦＦＴ演算によって得られたハンドル角の周波数領域のデータを時間的に平均化処理して算出される。具体的には、以下の（３）式に示すように、中期覚醒度Ｄm(t)は、設定周波数領域内の平均周波数パワーの積分値Ｐrange_ave(t)と設定周波数領域外の平均周波数パワーの積分値Ｐout_ave(t)との比で算出される。
Ｄm(t)＝Ｐrange_ave(t)／Ｐout_ave(t) …（３） This medium-term arousal level Dm (t) is not the average of the short-term arousal level Ds (t) in time series, but is calculated by temporally averaging the frequency data of the handle angle obtained by the FFT calculation. Is done. Specifically, as shown in the following equation (3), the medium-term arousal level Dm (t) is calculated by integrating the average value Prange_ave (t) of the average frequency power within the set frequency region and the average frequency power outside the set frequency region. It is calculated as a ratio to the integral value Pout_ave (t).
Dm (t) = Prange_ave (t) / Pout_ave (t) (3)

ここで、時刻ｔでの平均周波数パワーをＰ_ave(x,t)とすると、平均周波数パワーＰ_ave(x,t)は、ＦＦＴ入力データのデータタイプに応じて、以下の（４）式或いは（５）式により算出される。但し、初回はＰ(x)を代入することとする（初期化）。また、（４）式におけるｗは、数分間の推定結果が反映できるように設定された重みであり、例えば、覚醒度計算を１秒毎に行う場合、ｗ＝０．０１とする。
Ｐ_ave(x,t)＝(１-ｗ)・Ｐ_ave(x,t-1)＋ｗ・Ｐ(x,t) ：データタイプ０ …（４）
Ｐ_ave(x,t)＝Ｐ_ave(x,t-1) ：データタイプ１ …（５） Here, assuming that the average frequency power at time t is P_ave (x, t), the average frequency power P_ave (x, t) is expressed by the following equation (4) or (5) according to the data type of the FFT input data: ). However, P (x) is substituted for the first time (initialization). Further, w in the equation (4) is a weight set so that an estimation result for several minutes can be reflected. For example, when arousal calculation is performed every second, w = 0.01.
P_ave (x, t) = (1-w) * P_ave (x, t-1) + w * P (x, t): Data type 0 (4)
P_ave (x, t) = P_ave (x, t-1): Data type 1 (5)

以上の短期覚醒度Ｄs(t)、中期覚醒度Ｄm(t)は、主として低覚醒時に現れるハンドル操作の特徴を検出するものであり、ドライバがアクセルやブレーキの頻繁な操作を行っている場合には、ドライバが周囲の環境を認知して運転操作を行っていると考えられるため、ドライバは高覚醒状態であると考えられる。従って、覚醒度補正量設定部１６において、ブレーキやアクセルの操作データを用いてハンドル角には現れない高覚醒時のドライバ操作の特徴を検出し、推定した覚醒度の補正量を設定する。   The above short-term arousal level Ds (t) and medium-term awakening level Dm (t) mainly detect the characteristics of the steering operation that appears during low arousal, and when the driver frequently operates the accelerator and brakes. Since it is considered that the driver recognizes the surrounding environment and performs the driving operation, the driver is considered to be in a high arousal state. Therefore, the arousal level correction amount setting unit 16 detects the characteristics of the driver operation during high awakening that does not appear at the steering wheel angle using the brake or accelerator operation data, and sets the estimated correction level of the arousal level.

すなわち、時刻ｔでのアクセル操作による補正量（アクセル補正量）をＡh(t)、時刻ｔでのブレーキ操作による補正量（ブレーキ補正量）をＢh(t)とすると、先ず、ＦＦＴ計算用のデータを取得する区間（本実施の形態においては、現在から２５．６秒前までのデータ区間）におけるアクセル開度データの分散Ｖａとブレーキ圧力データの分散Ｖｂとを求め、これらの分散Ｖａ，Ｖｂを用いて、アクセル補正量Ａh，ブレーキ補正量Ｂhを設定する。アクセル開度データの分散Ｖａとアクセル補正量Ａhとの関係、ブレーキ圧力データの分散Ｖｂとブレーキ補正量Ｂhとの関係は、それぞれ、図５，図６に示され、予め実験等により求められた最適値のマップとしてシステム内に保存されている。   That is, assuming that the correction amount (acceleration correction amount) by the accelerator operation at time t is Ah (t) and the correction amount by the brake operation at time t (brake correction amount) is Bh (t), first, for FFT calculation The variance Va of the accelerator opening data and the variance Vb of the brake pressure data in the zone where data is acquired (in this embodiment, the data zone from the present to 25.6 seconds before) are obtained, and these variances Va and Vb are obtained. Is used to set the accelerator correction amount Ah and the brake correction amount Bh. The relationship between the variance Va of the accelerator opening data and the accelerator correction amount Ah, and the relationship between the variance Vb of the brake pressure data and the brake correction amount Bh are shown in FIG. 5 and FIG. It is stored in the system as a map of optimum values.

図５の例では、アクセル操作による補正は、アクセル開度データの分散Ｖａが閾値ＴhrA以下の場合、Ａh＝１〜０．５に設定され、分散Ｖａが閾値ＴhrAを超えている場合には、Ａh＝０．５の一定の値に設定される。また、ブレーキ操作による補正は、アクセル操作の場合より明らかに覚醒度が高いと考えられるため、図６の例では、ブレーキ圧力データの分散Ｖｂが閾値ＴhrB以下の場合、Ｂh＝１〜０．２に設定され、Ｖｂが閾値ＴhrBを超えている場合には、Ｂh＝０．２の一定の値に設定され、アクセル補正量Ａhに比較して補正の度合いを大きくしている。   In the example of FIG. 5, the correction by the accelerator operation is set to Ah = 1 to 0.5 when the variance Va of the accelerator opening data is equal to or less than the threshold value ThrA, and when the variance Va exceeds the threshold value ThrA, Ah is set to a constant value of 0.5. Further, since the correction by the brake operation is considered to have a clearly higher arousal level than the case of the accelerator operation, in the example of FIG. 6, when the variance Vb of the brake pressure data is equal to or less than the threshold ThrB, Bh = 1 to 0.2. When Vb exceeds the threshold value ThrB, a constant value of Bh = 0.2 is set, and the degree of correction is increased compared to the accelerator correction amount Ah.

そして、最終的に、覚醒度推定部１７では、時刻ｔにおける推定覚醒度Ｄ(t)を、短期覚醒度Ｄs(t)、中期覚醒度Ｄm(t)、アクセル補正量Ａh(t)，ブレーキ補正量Ｂh(t)を用いて、以下の（６）式に従って算出する。
Ｄ(t)＝Ｄm(t)・(１＋Ｋ・Ｄs(t))・Ａh(t)・Ｂh(t) …（６） Finally, the awakening level estimation unit 17 determines the estimated awakening level D (t) at time t as the short-term awakening level Ds (t), the mid-term awakening level Dm (t), the accelerator correction amount Ah (t), the brake The correction amount Bh (t) is used for calculation according to the following equation (6).
D (t) = Dm (t). (1 + K.Ds (t)). Ah (t) .Bh (t) (6)

ここで、（６）式における係数Ｋは、例えばＫ＝０．５として、短期推定結果の項（１＋Ｋ・Ｄs(t)）を１以上の値に重み付けして中期推定結果に掛けることにより、最終的に算出される覚醒度Ｄ(t)に短期推定結果を反映している。これにより、中期推定による推定結果の安定性確保と、短期推定結果の反映による推定の時間遅れ低減が可能となる。   Here, the coefficient K in the equation (6) is, for example, K = 0.5, and the term (1 + K · Ds (t)) of the short-term estimation result is weighted to a value of 1 or more and multiplied by the medium-term estimation result, The short-term estimation result is reflected in the finally calculated arousal level D (t). Thereby, it is possible to ensure the stability of the estimation result by the medium-term estimation and reduce the time delay of the estimation by reflecting the short-term estimation result.

以上の処理は、具体的には、図７〜図１０のフローチャートで示すプログラム処理によって実施される。次に、これらのプログラム処理の流れについて説明する。尚、ここでは、覚醒度の推定処理を１秒毎に行うものとする。   Specifically, the above processing is performed by the program processing shown in the flowcharts of FIGS. Next, the flow of these program processes will be described. Here, it is assumed that the arousal level estimation process is performed every second.

図７は、ドライバのハンドル操作、アクセル操作、ブレーキ操作による運転操作データの入力処理を示す。このデータ入力処理では、先ず、最初のステップＳ１において、ハンドル角、アクセル開度、ブレーキ圧力の各データを入力する。次に、ステップＳ２へ進み、過去の２６秒（２５．６秒）間のデータを保持し、本処理を抜ける。この過去２６秒間のハンドル角データは、図８に示すＦＦＴ演算処理にて周波数データに変換される。   FIG. 7 shows a driving operation data input process by the driver's steering wheel operation, accelerator operation, and brake operation. In this data input process, first, in the first step S1, data on the steering wheel angle, the accelerator opening, and the brake pressure are input. Next, the process proceeds to step S2, data for the past 26 seconds (25.6 seconds) is held, and the process is exited. The handle angle data for the past 26 seconds is converted into frequency data by the FFT calculation process shown in FIG.

図８のＦＦＴ演算処理では、最初のステップＳ１１において、過去２６秒間のハンドル角データを入力する。次いで、ステップＳ１２へ進んでハンドル角データの平均及び分散を計算し、平均及び分散が設定条件に当てはまるか否かを調べてデータタイプを判定する。   In the FFT calculation process of FIG. 8, in the first step S11, handle angle data for the past 26 seconds is input. Next, the process proceeds to step S12, where the average and variance of the handle angle data are calculated, and it is determined whether or not the average and variance satisfy the set condition to determine the data type.

次に、ステップＳ１３では、過去の２６秒（−２６秒）間のハンドル角データから未来の２６秒（＋２６秒）間のハンドル角データを生成し、ステップＳ１４でハミング関数（窓関数）を乗算してＦＦＴ入力データとする。尚、このＦＦＴ入力データには、ステップＳ１２で判定したデータタイプのタイプ情報が付加される。そして、ステップＳ１５においてＦＦＴ演算を行い、周波数ｘ，時刻ｔにおける周波数パワーＰ(x,t)を算出し、ステップＳ１６で前述の（１）式によるパワー変換を行って本処理を抜ける。   Next, in step S13, handle angle data for the future 26 seconds (+26 seconds) is generated from the handle angle data for the past 26 seconds (−26 seconds), and in step S14, the Hamming function (window function) is multiplied. To provide FFT input data. Note that type information of the data type determined in step S12 is added to the FFT input data. In step S15, an FFT operation is performed to calculate frequency power P (x, t) at frequency x and time t. In step S16, power conversion is performed according to the above-described equation (1), and the process is exited.

ＦＦＴ演算で得られたハンドル角データの周波数成分は、図９に示す短期覚醒度及び中期覚醒度推定処理で用いられ、短期覚醒度及び中期覚醒度が推定される。この処理では、最初のステップＳ２１においてＦＦＴ演算処理で得られた周波数パワーＰ(x,t)のデータを入力し、ステップＳ２２でデータタイプを判定する。   The frequency component of the handle angle data obtained by the FFT calculation is used in the short-term arousal level and medium-term arousal level estimation processing shown in FIG. In this process, the data of the frequency power P (x, t) obtained by the FFT calculation process in the first step S21 is input, and the data type is determined in step S22.

その結果、データタイプが”１”であり、覚醒度の推定精度を悪化させる可能性のあるデータである場合には、ステップＳ２５で短期覚醒度Ｄs(t)を０としてステップＳ２６へ進む。一方、データタイプが”０”である場合には、ステップＳ２２からステップＳ２３へ進み、前述の（２）式に基づいて、設定範囲の周波数領域内の周波数パワーの積分値Ｐrange(t)と設定範囲外の周波数領域の周波数パワーの積分値Ｐout(t)との比から短期覚醒度Ｄs(t)を算出し、ステップＳ２４で平均周波数パワーＰ_ave(x,t)を更新してステップＳ２６へ進む。   As a result, if the data type is “1” and the data is likely to deteriorate the estimation accuracy of the arousal level, the short-term arousal level Ds (t) is set to 0 in step S25 and the process proceeds to step S26. On the other hand, when the data type is “0”, the process proceeds from step S22 to step S23, and the integrated value Prange (t) of the frequency power in the frequency region of the setting range is set based on the above-described equation (2). The short-term arousal level Ds (t) is calculated from the ratio with the integral value Pout (t) of the frequency power in the frequency region outside the range, the average frequency power P_ave (x, t) is updated in step S24, and the process proceeds to step S26. .

ステップＳ２６では、前述の（３）式に基づいて、設定周波数領域内の平均周波数パワーの積分値Ｐrange_ave(t)と設定周波数領域外の平均周波数パワーの積分値Ｐout_ave(t)との比から中期覚醒度Ｄm(t)を算出し、本処理を抜ける。ここで算出された短期覚醒度Ｄs(t)と中期覚醒度Ｄm(t)は、図１０に示す覚醒度推定処理にて統合され、最終的な覚醒度がＤ(t)が算出される。   In step S26, based on the above-described equation (3), the middle period is calculated from the ratio between the integrated value Prange_ave (t) of the average frequency power within the set frequency region and the integrated value Pout_ave (t) of the average frequency power outside the set frequency region. The awakening degree Dm (t) is calculated, and the process is exited. The short-term arousal degree Ds (t) and the medium-term arousal degree Dm (t) calculated here are integrated by the arousal degree estimation process shown in FIG. 10, and the final arousal degree is calculated as D (t).

図１０の覚醒度推定処理では、最初のステップＳ３１において過去２６秒間のアクセル開度及びブレーキ圧力のデータを入力する。次に、ステップＳ３２で各データの分散Ｖａ，Ｖｂを算出し、ステップＳ３３で、これらの分散Ｖａ，Ｖｂを用いて、マップ参照等により、アクセル補正量Ａh，ブレーキ補正量Ｂhを算出する。そして、ステップＳ３４で、前述の（６）式に基づいて、時刻ｔにおける推定覚醒度Ｄ(t)を、短期覚醒度Ｄs(t)，中期覚醒度Ｄm(t)，アクセル補正量Ａh(t)，ブレーキ補正量Ｂh(t)を用いて算出し、本処理を抜ける。   In the arousal level estimation process of FIG. 10, data on the accelerator opening and the brake pressure for the past 26 seconds are input in the first step S31. Next, in step S32, the variances Va and Vb of each data are calculated. In step S33, the accelerator correction amount Ah and the brake correction amount Bh are calculated by using these variances Va and Vb by referring to a map or the like. In step S34, based on the above equation (6), the estimated awakening level D (t) at time t is changed to the short-term awakening level Ds (t), the mid-term awakening level Dm (t), and the accelerator correction amount Ah (t). ), The brake correction amount Bh (t) is used for calculation, and the process is exited.

図１１，図１２は、それぞれ、短期覚醒度及び中期覚醒度の推定結果、短期覚醒度及び中期覚醒度を統合した推定結果を示している。各データは、オーバル型のテストコースにおいて一定車速で単調走行を行ったときのものであり、時間経過による覚醒度の変化が捉えられている。   FIGS. 11 and 12 show the estimation results of the short-term arousal level and the mid-term arousal level, and the estimation results obtained by integrating the short-term awakening level and the mid-term arousal level, respectively. Each data is obtained when the vehicle runs monotonously at a constant vehicle speed on an oval type test course, and changes in arousal level over time are captured.

具体的には、１０００秒付近で一回眠りに落ちそうになり、すぐに覚醒努力をしていることがわかる。また、１３００秒付近では覚醒努力もしなくなり、非常に眠気が高い状態となっていることがわかる。すなわち、中期的な覚醒度推定により、時間が経過するにつれ眠気が増していることを捕えており、１０００秒付近の瞬間的な覚醒度の変化は、短期推定により捉えられていることがわかる。尚、１７００秒付近では、同乗者に注意喚起を受けるというイベントが起こっている。   Specifically, it can be seen that the person is about to fall asleep around 1000 seconds and is making an effort to wake up immediately. Also, it can be seen that in the vicinity of 1300 seconds, no awakening effort is made and the sleepiness is very high. That is, it is understood that the sleepiness increases as time passes by the medium-term arousal level estimation, and the instantaneous change in the arousal level around 1000 seconds is captured by the short-term estimation. In the vicinity of 1700 seconds, an event occurs in which a passenger is alerted.

１０ 電子制御装置（覚醒度推定装置）
１１ 運転操作データ入力部
１２ ＦＦＴ入力データ生成・タイプ判定部
１３ ＦＦＴ演算部
１４ 短期覚醒度推定部
１５ 中期覚醒度推定部
１６ 覚醒度補正量設定部
１７ 覚醒度推定部
Ａh アクセル補正量
Ｂh ブレーキ補正量
Ｄm 中期覚醒度
Ｄs 短期覚醒度
Ｄ 覚醒度
Ｐ 周波数パワー 10 Electronic control device (wakefulness estimation device)
DESCRIPTION OF SYMBOLS 11 Driving operation data input part 12 FFT input data generation and type determination part 13 FFT operation part 14 Short-term arousal degree estimation part 15 Medium term arousal degree estimation part 16 Arousal degree correction amount setting part 17 Arousal degree estimation part Ah Acceleration correction amount Bh Brake correction Amount Dm Medium awakening level Ds Short-term awakening level D Awakening level P Frequency power

Claims (3)

ドライバによるハンドル操作データの周波数特性に基づいてドライバの覚醒度を推定する覚醒度推定装置であって、
現在から過去の所定区間のハンドル操作データを用いて現在から未来の所定区間のハンドル操作データを生成し、これらの区間のデータを対象とする周波数変換により周波数パワーを求める周波数変換処理部と、
設定範囲の前記周波数パワーの積分値に基づいて短期的な覚醒度を推定する短期覚醒度推定部と、
前記設定範囲で前記周波数パワーを時間的に平均化処理し、この平均化処理した周波数パワーの積分値に基づいて中期的な覚醒度を推定する中期覚醒度推定部と、
前記短期覚醒度推定部の推定結果と前記中期覚醒度推定部の推定結果とを統合してドライバの覚醒度を推定する覚醒度推定部と
を備えたことを特徴とする覚醒度推定装置。 A wakefulness estimation device that estimates a driver's wakefulness based on frequency characteristics of steering operation data by a driver,
A frequency conversion processing unit that generates handle operation data of a predetermined section from the present to the future using handle operation data of a predetermined section from the present to the present, and obtains frequency power by frequency conversion for the data of these sections; and
A short-term arousal estimation unit that estimates a short-term arousal based on an integrated value of the frequency power in a setting range;
A mid-term arousal level estimation unit that averages the frequency power in the setting range in time and estimates a mid-term arousal level based on an integrated value of the averaged frequency power;
A wakefulness estimation device comprising: a wakefulness estimation unit that estimates a driver's wakefulness by integrating the estimation result of the short-term wakefulness estimation unit and the estimation result of the medium-term wakefulness estimation unit. 更に、前記所定区間におけるアクセル操作データの分散値とブレーキ操作データの分散値とに基づいて、覚醒度の推定結果を補正する補正量を設定する覚醒度補正量設定部を備えることを特徴とする請求項１記載の覚醒度推定装置。   And a wakefulness correction amount setting unit that sets a correction amount for correcting the estimated result of the wakefulness based on the variance value of the accelerator operation data and the variance value of the brake operation data in the predetermined section. The arousal level estimation apparatus according to claim 1. 前記覚醒度推定部は、前記短期覚醒度推定部の推定結果を重み付けして前記中期覚醒度に掛け合わせることにより、統合した覚醒度に前記短期覚醒度推定部の推定結果を反映させることを特徴とする請求項１又は２記載の覚醒度推定装置。   The arousal level estimation unit weights the estimation result of the short-term awakening level estimation unit and multiplies it by the medium-term arousal level, thereby reflecting the estimation result of the short-term awakening level estimation unit in the integrated arousal level. The arousal level estimation apparatus according to claim 1 or 2.
JP2011102995A 2011-05-02 2011-05-02 Awakening level estimation device Expired - Fee Related JP5671408B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011102995A JP5671408B2 (en) 2011-05-02 2011-05-02 Awakening level estimation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011102995A JP5671408B2 (en) 2011-05-02 2011-05-02 Awakening level estimation device

Publications (2)

Publication Number Publication Date
JP2012234398A true JP2012234398A (en) 2012-11-29
JP5671408B2 JP5671408B2 (en) 2015-02-18

Family

ID=47434653

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011102995A Expired - Fee Related JP5671408B2 (en) 2011-05-02 2011-05-02 Awakening level estimation device

Country Status (1)

Country Link
JP (1) JP5671408B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5798695A (en) * 1997-04-02 1998-08-25 Northrop Grumman Corporation Impaired operator detection and warning system employing analysis of operator control actions
JP2000185575A (en) * 1998-10-16 2000-07-04 Fuji Heavy Ind Ltd Awakening degree estimation device for vehicle and method of same
JP2006202396A (en) * 2005-01-20 2006-08-03 Sony Corp Device and method for reproducing content
JP2009006839A (en) * 2007-06-28 2009-01-15 Hitachi Ltd Fatigue level detection device
JP2009289251A (en) * 2008-04-30 2009-12-10 Toyota Central R&D Labs Inc Consciousness deterioration driving detection device, driving support apparatus, and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5798695A (en) * 1997-04-02 1998-08-25 Northrop Grumman Corporation Impaired operator detection and warning system employing analysis of operator control actions
JP2000185575A (en) * 1998-10-16 2000-07-04 Fuji Heavy Ind Ltd Awakening degree estimation device for vehicle and method of same
JP2006202396A (en) * 2005-01-20 2006-08-03 Sony Corp Device and method for reproducing content
JP2009006839A (en) * 2007-06-28 2009-01-15 Hitachi Ltd Fatigue level detection device
JP2009289251A (en) * 2008-04-30 2009-12-10 Toyota Central R&D Labs Inc Consciousness deterioration driving detection device, driving support apparatus, and program

Also Published As

Publication number Publication date
JP5671408B2 (en) 2015-02-18

Similar Documents

Publication Publication Date Title
US8576081B2 (en) Physiological condition estimation device and vehicle control device
US9840275B2 (en) Method and system for detecting steering wheel contact
JP5038222B2 (en) Biological state estimation device, program, and recording medium
EP2694344B1 (en) Estimation of road inclination
JP5585894B2 (en) Driver status determination device
EP3174046B1 (en) Vehicle approach alert device
JP5084701B2 (en) Unconscious driving detection device, driving support device, and program
CN109781279B (en) Train axle box temperature monitoring method and device
KR20140147233A (en) Apparatus and method for judging drowsiness drive using driving pattern of vehicle
JP2018165070A (en) Occupant state estimation device and method of estimating occupant state
JP6754228B2 (en) Methods and devices for supplying reference levels for eye opening
WO2018120831A1 (en) Doppler effect-based vehicle safety forewarning system and method
JP5478334B2 (en) Driver state determination device and program
JP4197381B2 (en) Awakening degree estimation device and awakening degree estimation method for vehicle
US9970839B2 (en) Tire pressure decrease detection apparatus, method, and program
JP5671408B2 (en) Awakening level estimation device
JP5688811B2 (en) Driver state estimation device
JP2010184067A (en) Biological state prediction device
CN111345799A (en) Vital sign measuring method and device
JP2008301957A (en) Mental state inference device
JP2009266100A (en) Driver state estimation apparatus and program
US9820687B2 (en) Method for determining drowsiness
KR20160038158A (en) Detecting system and Method of dangerous driving for driver tendency
WO2012011163A1 (en) Vehicle-like sound generation device and vehicle-like sound generation method
JP5688810B2 (en) Driver state estimation device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131018

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140729

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141219

R150 Certificate of patent or registration of utility model

Ref document number: 5671408

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees