JP2010134533A - Drowsiness detector - Google Patents
Drowsiness detector Download PDFInfo
- Publication number
- JP2010134533A JP2010134533A JP2008307455A JP2008307455A JP2010134533A JP 2010134533 A JP2010134533 A JP 2010134533A JP 2008307455 A JP2008307455 A JP 2008307455A JP 2008307455 A JP2008307455 A JP 2008307455A JP 2010134533 A JP2010134533 A JP 2010134533A
- Authority
- JP
- Japan
- Prior art keywords
- standard deviation
- heartbeat
- heart rate
- value
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、車両の運転者の眠気を検出する眠気検出装置に関するものである。 The present invention relates to a drowsiness detection device that detects drowsiness of a driver of a vehicle.
従来の眠気検出装置としては、例えば特許文献1に記載されているものが知られている。特許文献1に記載の眠気検出装置は、運転者の眠気を判断するための体調を表す指標(心拍等)を計測し、この指標から運転者の眠気に応じて変化する特徴量を抽出し、この特徴量を閾値と比較することで、運転者が居眠り状態にあるかどうかを判定するというものである。心拍から特徴量を抽出する場合には、心拍周期の時系列データに対してフーリエ変換を施して振幅パワースペクトルを生成し、この振幅パワースペクトルに対して積分処理を施して心拍ゆらぎの時系列データを取得し、この心拍ゆらぎの時系列データに対して微分処理を施し、心拍ゆらぎの微分値の平均値及び標準偏差から閾値を算出し、心拍ゆらぎの微分値が当該閾値を越えたものを特徴量として抽出する。
しかしながら、上記従来技術においては、車両の運転中に運転者がごく浅い眠気を我慢しているときは、運転者が眠気状態にあることを正確に判定することができない可能性がある。 However, in the above-described prior art, when the driver is extremely drowsy while driving the vehicle, it may not be possible to accurately determine that the driver is drowsy.
本発明の目的は、運転者の浅い眠気を高精度に検出することができる眠気検出装置を提供することである。 An object of the present invention is to provide a drowsiness detection device that can detect a driver's shallow drowsiness with high accuracy.
本発明は、車両の運転者の眠気を検出する眠気検出装置であって、運転者から計測した心拍または脈拍から心拍特徴量を抽出し、心拍特徴量の標準偏差を求める標準偏差算出手段と、車両の走行環境に応じて心拍特徴量の標準偏差を心拍特徴量で補正し、補正後の心拍特徴量の標準偏差の分布を用いて運転者の眠気度を判定する眠気度判定手段とを備えることを特徴とするものである。 The present invention is a drowsiness detection device for detecting drowsiness of a driver of a vehicle, which extracts a heart rate feature amount from a heart rate or a pulse measured from a driver and obtains a standard deviation of the heart rate feature amount, A sleepiness level determination unit that corrects the standard deviation of the heartbeat feature value with the heartbeat feature value according to the driving environment of the vehicle, and determines the driver's sleepiness level using the distribution of the standard deviation of the heartbeat feature value after correction; It is characterized by this.
浅い眠気を検出するには、眠気発生と関連する自律神経活動の影響を受ける心拍数や心拍ゆらぎ等の心拍特徴量に着目することが有効である。特に心拍特徴量の標準偏差は、浅い眠気との相関があると考えられる。従って、本発明の眠気検出装置においては、運転者の心拍または脈拍を計測し、その心拍または脈拍から心拍特徴量を抽出し、心拍特徴量の標準偏差を求め、心拍特徴量の標準偏差の分布を用いて運転者の眠気度を判定する。 In order to detect shallow sleepiness, it is effective to focus on heart rate features such as heart rate and heart rate fluctuation that are affected by autonomic nervous activity related to the occurrence of sleepiness. In particular, the standard deviation of the heartbeat feature amount is considered to have a correlation with shallow sleepiness. Therefore, in the sleepiness detection device of the present invention, the heartbeat or pulse of the driver is measured, the heartbeat feature amount is extracted from the heartbeat or pulse, the standard deviation of the heartbeat feature amount is obtained, and the standard deviation distribution of the heartbeat feature amount is obtained. Is used to determine the driver's sleepiness.
ここで、心拍特徴量は運転者毎に異なるため、心拍特徴量の標準偏差も運転者毎に異なってくる。このため、眠気検出結果が運転者によって異なる場合がある。従って、心拍特徴量の標準偏差を心拍特徴量で補正することにより、運転者毎の心拍特徴量の違いによる眠気度の判定誤差を排除する。このとき、眠気に伴う心拍特徴量の変化は、比較的長い時間継続して起こる。また、車両の走行環境が変化しても心拍特徴量が変化し、その走行環境の変化に伴う心拍特徴量の変化は瞬間的に起こる。このため、走行環境の変化に伴う心拍特徴量の変化は、心拍特徴量の標準偏差の補正を実施する際にノイズ(眠気誤検出)の要因となり得る。 Here, since the heartbeat feature amount differs for each driver, the standard deviation of the heartbeat feature amount also differs for each driver. For this reason, the sleepiness detection result may differ depending on the driver. Therefore, by correcting the standard deviation of the heartbeat feature amount with the heartbeat feature amount, the sleepiness degree determination error due to the difference in the heartbeat feature amount for each driver is eliminated. At this time, the change of the heartbeat feature amount due to sleepiness occurs continuously for a relatively long time. Further, even if the running environment of the vehicle changes, the heart rate feature value changes, and the change in the heart rate feature value accompanying the change in the running environment occurs instantaneously. For this reason, the change in the heartbeat feature amount accompanying the change in the running environment can cause noise (false sleepiness detection) when correcting the standard deviation of the heartbeat feature amount.
そこで本発明では、車両の走行環境に応じて心拍特徴量の標準偏差を心拍特徴量で補正する。具体的には、車両の走行環境の変化に伴う瞬間的な心拍特徴量の変化をノイズとして除去し、運転者の体内の状態変化に起因して心拍特徴量が変化した場合にのみ、心拍特徴量の標準偏差を心拍特徴量で補正する。これにより、運転者の浅い眠気を高精度に検出することができる。 Therefore, in the present invention, the standard deviation of the heartbeat feature amount is corrected with the heartbeat feature amount in accordance with the traveling environment of the vehicle. Specifically, the heartbeat feature is changed only when the heartbeat feature changes due to changes in the driver's body condition, by removing the instantaneous heartbeat feature changes associated with changes in the driving environment of the vehicle as noise. The standard deviation of the quantity is corrected with the heartbeat feature quantity. Thereby, the driver's shallow sleepiness can be detected with high accuracy.
好ましくは、眠気度判定手段は、車両が市街地、カーブ路、走行経験の無い道路、交差点の何れかを走行することが検知されたときは、心拍特徴量の標準偏差の補正を実行しないようにする。車両が市街地、カーブ路、走行経験の無い道路、交差点を走行するときは、瞬間的な心拍特徴量の変化が発生しやすくなる。従って、そのような場合には、心拍特徴量の標準偏差の補正を実行しないようにすることで、運転者の浅い眠気を確実に高精度に検出することができる。 Preferably, the drowsiness level determination means does not execute correction of the standard deviation of the heartbeat feature amount when it is detected that the vehicle travels in an urban area, a curved road, a road with no traveling experience, or an intersection. To do. When the vehicle travels in an urban area, a curved road, a road with no traveling experience, or an intersection, an instantaneous change in heart rate feature amount is likely to occur. Therefore, in such a case, the correction of the standard deviation of the heart rate feature amount is not executed, so that the driver's shallow drowsiness can be reliably detected with high accuracy.
また、眠気度判定手段は、車両の周囲に移動体が存在することが検知されたときは、心拍特徴量の標準偏差の補正を実行しないようにしても良い。車両の周囲に他車両や歩行者等の移動体が存在するときは、瞬間的な心拍特徴量の変化が発生しやすくなる。従って、そのような場合には、心拍特徴量の標準偏差の補正を実行しないようにすることで、運転者の浅い眠気を確実に高精度に検出することができる。 Further, the sleepiness level determination means may not execute correction of the standard deviation of the heartbeat feature amount when it is detected that a moving body is present around the vehicle. When a moving body such as another vehicle or a pedestrian exists around the vehicle, an instantaneous change in the heart rate feature amount is likely to occur. Therefore, in such a case, the correction of the standard deviation of the heart rate feature amount is not executed, so that the driver's shallow drowsiness can be reliably detected with high accuracy.
また、眠気度判定手段は、車両に同乗者が乗っており且つ運転者が体を動かしていることが検知されたときは、心拍特徴量の標準偏差の補正を実行しないようにしても良い。車両に同乗者が乗っており且つ運転者が体を動かしているときは、瞬間的な心拍特徴量の変化が発生しやすくなる。従って、そのような場合には、心拍特徴量の標準偏差の補正を実行しないようにすることで、運転者の浅い眠気を確実に高精度に検出することができる。 Further, the sleepiness level determination means may not perform correction of the standard deviation of the heartbeat feature amount when it is detected that the passenger is on the vehicle and the driver is moving the body. When a passenger is on the vehicle and the driver moves his / her body, an instantaneous change in the heart rate feature amount is likely to occur. Therefore, in such a case, the correction of the standard deviation of the heart rate feature amount is not executed, so that the driver's shallow drowsiness can be reliably detected with high accuracy.
また、本発明の眠気検出装置は、注意意識が活性化しやすい走行環境で取得される心拍特徴量を除外して得られた心拍特徴量により心拍特徴量の標準偏差を補正することを特徴とするものである。 The drowsiness detection device of the present invention is characterized in that the standard deviation of the heartbeat feature amount is corrected by the heartbeat feature amount obtained by excluding the heartbeat feature amount acquired in a driving environment in which attention consciousness is likely to be activated. Is.
本発明によれば、運転者の浅い眠気を高精度に検出することができる。これにより、運転者が運転中に浅い眠気を催している場合に、その時点で例えば正常な意識回復または休息を促すことが可能となる。 According to the present invention, it is possible to detect a driver's shallow sleepiness with high accuracy. Thereby, when the driver is drowsy while driving, for example, normal recovery of consciousness or rest can be promoted at that time.
以下、本発明に係わる眠気検出装置の好適な実施形態について、図面を参照して詳細に説明する。 DESCRIPTION OF EMBODIMENTS Hereinafter, preferred embodiments of a drowsiness detection device according to the present invention will be described in detail with reference to the drawings.
図1は、本発明に係わる眠気検出装置の一実施形態の概略構成を示すブロック図である。同図において、本実施形態の眠気検出装置1は、車両に搭載され、車両の運転者の眠気を検出する装置である。眠気検出装置1は、生理指標計測器2と、ナビゲーション3と、周囲環境認識センサ4と、乗員検知センサ5と、眠気検出ECU(Electronic Control Unit)6と、警報器7とを備えている。
FIG. 1 is a block diagram showing a schematic configuration of an embodiment of a drowsiness detection apparatus according to the present invention. In the figure, a
生理指標計測器2は、運転者の生理指標を計測する機器である。具体的には、生理指標計測器2としては、例えば心拍を計測する心電図計、指先や前腕等から脈拍を計測する脈波計等が挙げられる。
The physiological
ナビゲーション3は、GPS(全地球測位システム)を利用して自車両の現在位置を検出したり、内蔵メモリに記憶された道路地図情報から自車両が走行している道路情報等を取得する機器である。
The
周囲環境認識センサ4は、自車両の周囲に他車両、歩行者、自転車等の移動体が存在しているかどうかを認識するセンサである。周囲環境認識センサ4としては、カメラ等の画像センサ、レーダセンサ、超音波センサや、他車両との間で無線通信を行って他車両情報を受信する車車間通信機等が用いられる。
The surrounding
乗員検知センサ5は、同乗者が乗っているかどうか、運転者が体を動かしているかどうかを検知するセンサである。乗員検知センサ5としては、カメラ等の画像センサ、ナビゲーション3等の操作状態を検出する接触センサ等が用いられる。
The
眠気検出ECU6は、CPU、ROMやRAM等のメモリ、入出力回路等により構成されている。眠気検出ECU6は、生理指標計測器2の出力データ(計測データ)、ナビゲーション3の情報、周囲環境認識センサ4及び乗員検知センサ5の出力データを入力し、所定の処理を行い、運転者が弱い眠気状態にあるかどうかを判定する。
The
警報器7は、音(ブザー音)、画像(画面表示)及び振動(バイブレータ)等により警報を行い、眠気の発生を運転者に知らせる機器である。
The
図2は、眠気検出ECU6により実行される眠気検出処理手順の詳細を示すフローチャートである。ここでは、生理指標計測器2として心電図計により運転者の心拍を計測する場合を例にとって説明する。
FIG. 2 is a flowchart showing details of the drowsiness detection processing procedure executed by the
同図において、まず生理指標計測器2の計測データ(心拍生データ)を取得し(手順S11)、その計測データの前処理を行う(手順S12)。具体的には、まず心拍生データのノイズを除去すべく、心拍生データに対してバンドパスフィルタ(BPF)処理を施し、所定の通過帯域(例えば0.1Hz〜30Hz)の成分を取り出す。
In the figure, first, measurement data (heartbeat data) of the physiological
続いて、図3に示すように、BPF処理が施された心拍データの波形を予め設定された閾値と比較することで2値化する。このとき、心拍データの波形のうち各R波部分が最大値となるタイミングで「1」となるように2値化を行う(図3中の拡大図参照)。 Subsequently, as shown in FIG. 3, the waveform of the heartbeat data subjected to the BPF process is binarized by comparing with a preset threshold value. At this time, binarization is performed so that each R wave portion of the waveform of the heartbeat data becomes “1” at the timing when it reaches the maximum value (see the enlarged view in FIG. 3).
続いて、図4(A)に示すように、2値化データにおいて「1」となる各タイミングの区間幅(時間間隔)tを求め、各区間幅tを縦軸としたグラフを生成する。このとき、区間幅tが運転者の心拍周期に相当する。 Subsequently, as shown in FIG. 4A, a section width (time interval) t at each timing at which the binary data becomes “1” is obtained, and a graph with each section width t as a vertical axis is generated. At this time, the section width t corresponds to the heartbeat cycle of the driver.
続いて、図4(B)に示すように、上記心拍周期のグラフを補間して心拍周期の曲線(破線参照)を求め、心拍周期の時系列データを得る。そして、図5に示すように、心拍周期の時系列データの縦軸単位を例えば1分当たりの心拍数に変換する。これにより、運転者の心拍数値が心拍特徴量の1つとして得られることとなる。 Subsequently, as shown in FIG. 4B, the heartbeat cycle graph (see the broken line) is obtained by interpolating the graph of the heartbeat cycle to obtain time-series data of the heartbeat cycle. Then, as shown in FIG. 5, the vertical axis unit of the time-series data of the heartbeat cycle is converted into, for example, the heart rate per minute. As a result, the heart rate value of the driver is obtained as one of the heart rate feature values.
次いで、運転者の他の心拍特徴量として心拍ゆらぎの抽出を行う(手順S13)。具体的には、心拍周期の時系列データ(図5参照)について、図6に示すように、基準時間T(任意のタイムスタンプ)前の解析単位区間幅Ttermに対して高速フーリエ変換(FFT)を施し、周波数成分に対するパワー(振幅)スペクトルを得る。 Next, heart rate fluctuation is extracted as another heartbeat feature amount of the driver (step S13). Specifically, with respect to time-series data of the cardiac cycle (see FIG. 5), as shown in FIG. 6, fast Fourier transform (FFT) is applied to the analysis unit interval width T term before the reference time T (arbitrary time stamp). ) To obtain a power (amplitude) spectrum for the frequency component.
続いて、図7に示すように、高速フーリエ変換によって解析単位区間幅Tterm毎に得られたパワースペクトルに対して、2つの周波数帯帯域(低周波成分及び高周波成分)を設定する。これらの周波数帯帯域は、心拍のゆらぎ(変化)が現れやすい帯域とする。そして、各周波数帯帯域毎に振幅スペクトルを積分する。 Subsequently, as shown in FIG. 7, two frequency band bands (low frequency component and high frequency component) are set for the power spectrum obtained for each analysis unit interval width T term by the fast Fourier transform. These frequency band bands are bands in which heartbeat fluctuations (changes) are likely to appear. Then, the amplitude spectrum is integrated for each frequency band.
上記の高速フーリエ変換処理、周波数帯帯域の設定処理及び積分処理を繰り返し行うことにより、図8に示すように、各周波数帯帯域毎の振幅スペクトルパワーの時系列データが得られる。この振幅スペクトルパワーの時系列データが心拍ゆらぎの時系列データである。これにより、交感神経の動きを表す心拍ゆらぎ低周波成分値と、副交感神経の動きを表す心拍ゆらぎ高周波成分値とが得られる。また、心拍ゆらぎ低周波成分値を心拍ゆらぎ高周波成分値で除することで、心拍ゆらぎ低周波成分値と心拍ゆらぎ高周波成分値との比(心拍ゆらぎ比値)が得られる。 By repeating the fast Fourier transform process, the frequency band setting process, and the integration process, time series data of the amplitude spectrum power for each frequency band is obtained as shown in FIG. The time series data of the amplitude spectrum power is the time series data of heartbeat fluctuation. Thereby, the heartbeat fluctuation low frequency component value representing the movement of the sympathetic nerve and the heartbeat fluctuation high frequency component value representing the movement of the parasympathetic nerve are obtained. Further, by dividing the heartbeat fluctuation low frequency component value by the heartbeat fluctuation high frequency component value, a ratio (heartbeat fluctuation ratio value) between the heartbeat fluctuation low frequency component value and the heartbeat fluctuation high frequency component value is obtained.
次いで、心拍特徴量の標準偏差を得るために参照する心拍特徴量の参照区間幅(参照時間幅)を設定する(手順S14)。参照区間幅の設定は、心拍数値、心拍ゆらぎ低周波成分値、心拍ゆらぎ高周波成分値及び心拍ゆらぎ比値について各々行う。参照区間幅の設定の具体的手法を、心拍数値について行う場合を例にとって以下に説明する。 Next, the reference interval width (reference time width) of the heartbeat feature value referred to obtain the standard deviation of the heartbeat feature value is set (step S14). The reference interval width is set for the heart rate value, the heart rate fluctuation low frequency component value, the heart rate fluctuation high frequency component value, and the heart rate fluctuation ratio value. A specific method for setting the reference interval width will be described below by taking as an example a case where the reference interval width is applied to a heart rate value.
即ち、まず図9(A)に示すように、心拍数値の時系列データ(図5参照)を任意の長さ(数分程度)m毎に分けて、参照時間幅決め用データ格納バッファに格納する。 That is, as shown in FIG. 9A, first, time-series data of heart rate values (see FIG. 5) are divided into arbitrary lengths (about several minutes) m and stored in a reference time width determining data storage buffer. To do.
そして、データ格納バッファに格納された心拍数値に対して高速フーリエ変換(FFT)演算を行うことで、図9(B)に示すような周波数解析結果を得る。ここで、Fは周波数範囲であり、fmaxは周波数範囲Fの最大値であり、fminは周波数範囲Fの最小値であり、Aは周波数範囲F内における心拍数値の振幅スペクトルパワーの最大値であり、fpeakは、振幅スペクトルパワーの最大値Aとなる周波数である。周波数範囲Fは、個人毎の眠気に対応するものとして統計分析により得られた範囲であり、周波数fpeakは、心拍数値の中で特に眠気の変化が出やすい周波数である。 Then, by performing a fast Fourier transform (FFT) operation on the heart rate value stored in the data storage buffer, a frequency analysis result as shown in FIG. 9B is obtained. Here, F is the frequency range, f max is the maximum value of the frequency range F, f min is the minimum value of the frequency range F, and A is the maximum value of the amplitude spectrum power of the heart rate value in the frequency range F. F peak is a frequency at which the maximum value A of the amplitude spectrum power is obtained. The frequency range F is a range obtained by statistical analysis as corresponding to sleepiness for each individual, and the frequency f peak is a frequency at which changes in sleepiness are particularly likely to occur in the heart rate value.
続いて、そのような周波数fpeakを用いた下記計算式から、心拍数値の参照区間幅を求める。
心拍数値の参照区間幅=1/fpeak
Subsequently, the reference interval width of the heart rate value is obtained from the following calculation formula using such a frequency f peak .
Reference interval width of heart rate value = 1 / f peak
このように周波数範囲F内のピーク値周波数fpeakを眠気が顕著に表れる箇所として抽出することにより、データノイズの影響を除去して眠気状態を判定する(後述)ことが可能となる。 Thus, by extracting the peak value frequency f peak in the frequency range F as a place where sleepiness appears prominently, it becomes possible to remove the influence of data noise and determine the sleepiness state (described later).
次いで、心拍数値、心拍ゆらぎ低周波成分値、心拍ゆらぎ高周波成分値及び心拍ゆらぎ比値をそれぞれ参照区間幅(データ総数:N個)で切り出し、この区間での平均値を計算する(手順S15)。
切り出された心拍数値={X1,X2,X3,…XN}
切り出された心拍ゆらぎ低周波成分値={Y1,Y2,Y3,…YN}
切り出された心拍ゆらぎ高周波成分値={Z1,Z2,Z3,…ZN}
切り出された心拍ゆらぎ比値={W1,W2,W3,…WN}
Next, the heart rate value, the heart rate fluctuation low frequency component value, the heart rate fluctuation high frequency component value, and the heart rate fluctuation ratio value are each cut out with the reference interval width (total number of data: N), and the average value in this interval is calculated (step S15). .
Cut out heart rate value = {X 1 , X 2 , X 3 ,... X N }
Cut out the heartbeat fluctuation low frequency component value = {Y 1, Y 2, Y 3, ... Y N}
The extracted heartbeat fluctuation high-frequency component value = {Z 1 , Z 2 , Z 3 ,... Z N }
The extracted heartbeat fluctuation ratio value = {W 1 , W 2 , W 3 ,... W N }
次いで、上記と同様に心拍数値、心拍ゆらぎ低周波成分値、心拍ゆらぎ高周波成分値及び心拍ゆらぎ比値をそれぞれ参照区間幅で切り出し、この区間での標準偏差値を計算する(手順S16)。 Next, in the same manner as described above, the heart rate value, the heart rate fluctuation low frequency component value, the heart rate fluctuation high frequency component value, and the heart rate fluctuation ratio value are each cut out with the reference interval width, and the standard deviation value in this interval is calculated (step S16).
心拍数値の標準偏差の計算式は、以下の通りである。
N:切り出された心拍数値データの総数
i:心拍数値の番号
Xi:i番目の心拍数値
Xave:心拍数値N個の平均値
The calculation formula for the standard deviation of the heart rate value is as follows.
N: Total number of cut out heart rate data
i: Number of heart rate value
Xi: i-th heart rate value
X ave : Average value of N heart rate values
心拍ゆらぎ低周波成分値の標準偏差の計算式は、以下の通りである。
N:切り出された心拍ゆらぎ低周波成分値データの総数
i:心拍ゆらぎ低周波成分値の番号
Yi:i番目の心拍ゆらぎ低周波成分値
Yave:心拍ゆらぎ低周波成分値N個の平均値
The calculation formula of the standard deviation of the heartbeat fluctuation low frequency component value is as follows.
N: Total number of extracted heartbeat fluctuation low frequency component value data
i: Number of heartbeat fluctuation low frequency component value
Yi: i-th heartbeat fluctuation low frequency component value
Y ave : Average value of N heartbeat fluctuation low frequency component values
心拍ゆらぎ高周波成分値の標準偏差の計算式は、以下の通りである。
N:切り出された心拍ゆらぎ高周波成分値データの総数
i:心拍ゆらぎ高周波成分値の番号
Zi:i番目の心拍ゆらぎ高周波成分値
Zave:心拍ゆらぎ高周波成分値N個の平均値
The calculation formula of the standard deviation of the heartbeat fluctuation high-frequency component value is as follows.
N: Total number of extracted heartbeat fluctuation high-frequency component value data
i: Number of heartbeat fluctuation high frequency component value
Zi: i-th heartbeat fluctuation high-frequency component value
Zave : Average value of N heartbeat fluctuation high frequency component values
心拍ゆらぎ比値の標準偏差の計算式は、以下の通りである。
N:切り出された心拍ゆらぎ比値データの総数
i:心拍ゆらぎ比値の番号
Wi:i番目の心拍ゆらぎ比値
Wave:心拍ゆらぎ比値N個の平均値
The calculation formula of the standard deviation of the heart rate fluctuation ratio value is as follows.
N: Total number of extracted heart rate fluctuation ratio value data
i: Heart rate fluctuation ratio number
Wi: i-th heart rate fluctuation ratio value
W ave : Average value of N heart rate fluctuation ratio values
次いで、心拍数値、心拍ゆらぎ低周波成分値、心拍ゆらぎ高周波成分値及び心拍ゆらぎ比値の標準偏差値を補正する(手順S17)。この手順S17の処理を実行する機能ブロックを図10に示す。 Next, the standard deviation values of the heart rate value, the heart rate fluctuation low frequency component value, the heart rate fluctuation high frequency component value, and the heart rate fluctuation ratio value are corrected (step S17). FIG. 10 shows a functional block for executing the process of step S17.
図10において、心拍数値、心拍ゆらぎ低周波成分値、心拍ゆらぎ高周波成分値及び心拍ゆらぎ比値の標準偏差値の補正を行うための機能としては、補正対象標準偏差値格納バッファ11、環境情報取得部12、環境条件データベース13、補正実施判断部14及び標準偏差補正計算部15がある。
In FIG. 10, the functions for correcting the standard deviation values of the heart rate value, the heart rate fluctuation low frequency component value, the heart rate fluctuation high frequency component value, and the heart rate fluctuation ratio value include the correction target standard deviation
補正対象標準偏差値格納バッファ11は、補正対象となる心拍特徴量標準偏差値と、補正に使う瞬時値(現在時刻の心拍特徴量値)とを格納する。心拍特徴量標準偏差値は、手順S16で得られた心拍数標準偏差値、心拍ゆらぎ低周波成分標準偏差値、心拍ゆらぎ高周波成分標準偏差値、心拍ゆらぎ比標準偏差値である。補正に使う瞬時値は、現在時刻の心拍数値、心拍ゆらぎ低周波成分値、心拍ゆらぎ高周波成分値、心拍ゆらぎ比値である。
The correction target standard deviation
環境情報取得部12は、ナビゲーション3の情報、周囲環境認識センサ4及び乗員検知センサ5の出力データに基づいて、自車両の走行環境情報を取得する。自車両の走行環境情報としては、自車両が走行する道路の情報、自車両の周囲環境の情報、運転者を含む乗員の情報が挙げられる。自車両が走行する道路の情報は、ナビゲーション3より取得され、自車両の周囲環境の情報は、周囲環境認識センサ4の出力データに基づいて取得され、乗員の情報は、乗員検知センサ5の出力データに基づいて取得される。
The environment
環境条件データベース13には、心拍特徴量標準偏差値の補正を行わない環境条件が記憶保持されている。心拍特徴量標準偏差値の補正を行わない環境条件とは、自車両が市街地、カーブ路、運転者が走行した経験の無い道路、交差点の何れかを走行するという条件、自車両の周囲に他車両、歩行者、自転車等の移動体が存在するという条件、自車両に同乗者が乗っており且つ運転者が何らかの目的をもって体を動かしているという条件など、注意意識が活性化しやすい環境のことである。
The
補正実施判断部14は、環境情報取得部12で取得された自車両の走行環境情報と環境条件データベース13に記憶された環境条件とを比較し、自車両の走行環境情報が環境条件データベース13に記憶された環境条件と一致するときは、心拍特徴量標準偏差値の補正処理を行わないものとする。つまり、自車両が市街地、カーブ路、運転者が走行した経験の無い道路、交差点の何れかを走行するとき、自車両の周囲に移動体が存在するとき、自車両に同乗者が乗っており且つ運転者が体を動かしているときは、心拍特徴量標準偏差値の補正処理を行わないこととする。一方、自車両の走行環境情報が環境条件データベース13に記憶された環境条件と一致しないときは、心拍特徴量標準偏差値の補正処理を行うものとする。
The correction
標準偏差補正計算部15は、補正実施判断部14で心拍特徴量標準偏差値の補正を行うと判断されたときに、下記計算式を用いて、心拍数標準偏差値、心拍ゆらぎ低周波成分標準偏差値、心拍ゆらぎ高周波成分標準偏差値及び心拍ゆらぎ比標準偏差値を補正して、心拍数標準偏差補正値、心拍ゆらぎ低周波成分標準偏差補正値、心拍ゆらぎ高周波成分標準偏差補正値及び心拍ゆらぎ比標準偏差補正値を得る。
ここで、補正対象標準偏差値格納バッファ11に格納された時刻毎の心拍数標準偏差値及び心拍数値の一例を図11(A)に示す。この場合、上記式により算出された心拍数標準偏差補正値は、図11(B)に示す通りとなる。
Here, an example of the heart rate standard deviation value and the heart rate value for each time stored in the correction target standard deviation
図2に戻り、上述したような手順S17を実行した後、心拍数標準偏差補正値、心拍ゆらぎ低周波成分標準偏差補正値、心拍ゆらぎ高周波成分標準偏差補正値及び心拍ゆらぎ比標準偏差補正値を用いて、運転者に浅い眠気があるかどうかを判定する(手順S18)。 Returning to FIG. 2, after executing step S17 as described above, the heart rate standard deviation correction value, the heart rate fluctuation low frequency component standard deviation correction value, the heart rate fluctuation high frequency component standard deviation correction value, and the heart rate fluctuation ratio standard deviation correction value are obtained. It is used to determine whether the driver has shallow sleepiness (step S18).
心拍ゆらぎ低周波成分標準偏差補正値により眠気を判定する方法の一例を図12に示す。同図に示す方法では、心拍ゆらぎ低周波成分標準偏差補正値を予め設定された浅い眠気用検出閾値と比較し、心拍ゆらぎ低周波成分標準偏差補正値が浅い眠気用検出閾値よりも高いときは、浅い眠気がある状態であると判定され、心拍ゆらぎ低周波成分標準偏差補正値が浅い眠気用検出閾値よりも低いときは、眠気がない状態であると判定される。 FIG. 12 shows an example of a method for determining drowsiness based on the heartbeat fluctuation low frequency component standard deviation correction value. In the method shown in the figure, the heartbeat fluctuation low frequency component standard deviation correction value is compared with a preset shallow drowsiness detection threshold, and when the heartbeat fluctuation low frequency component standard deviation correction value is higher than the shallow drowsiness detection threshold, When it is determined that there is shallow sleepiness and the heartbeat fluctuation low frequency component standard deviation correction value is lower than the shallow sleepiness detection threshold, it is determined that there is no sleepiness.
なお、心拍数標準偏差補正値、心拍ゆらぎ高周波成分標準偏差補正値及び心拍ゆらぎ比標準偏差補正値を用いる場合についても、同様にして浅い眠気の有無を判定することができる。 It should be noted that the presence or absence of shallow sleepiness can also be determined in the same manner when using the heart rate standard deviation correction value, the heart rate fluctuation high frequency component standard deviation correction value, and the heart rate fluctuation ratio standard deviation correction value.
手順S18において上記の手法により眠気がないと判定されたときは、手順S11に戻り、手順S11〜S18の処理を繰り返し実行する。一方、手順S18において浅い眠気があると判定されたときは、警報器7を制御して眠気の発生を運転者に知らせ(手順S19)、その後で手順S11に戻る。
When it is determined in step S18 that there is no drowsiness by the above method, the process returns to step S11 and the processes of steps S11 to S18 are repeatedly executed. On the other hand, when it is determined in step S18 that there is shallow sleepiness, the
以上において、生理指標計測器2は、運転者の心拍または脈拍を計測する計測手段を構成する。眠気検出ECU6における上記手順S11〜S13は、運転者の心拍または脈拍から心拍特徴量を抽出する心拍特徴量抽出手段を構成する。同手順S14〜S16は、心拍特徴量の標準偏差を求める標準偏差算出手段を構成する。ナビゲーション3、周囲環境認識センサ4及び乗員検知センサ5と眠気検出ECU6における上記手順S17の環境情報取得部12とは、車両の走行環境を検知する走行環境検知手段を構成する。眠気検出ECU6における上記手順S17の補正対象標準偏差値格納バッファ11、環境条件データベース13、補正実施判断部14及び標準偏差補正計算部15は、車両の走行環境に応じて心拍特徴量の標準偏差を心拍特徴量で補正する補正手段を構成する。同手順S18は、補正手段により得られた補正後の心拍特徴量の標準偏差の分布を用いて運転者の眠気度を判定する眠気度判定手段を構成する。
In the above, the physiological
以上のように本実施形態にあっては、眠気発生と関連する自律神経活動の影響を受ける心拍に着目し、運転者の心拍または脈拍を計測して心拍数及び心拍ゆらぎを抽出し、これらの心拍数及び心拍ゆらぎの標準偏差値を求め、この標準偏差値を用いて運転者の眠気判定を行う。このとき、運転者の眠気度を、眠気に耐えて覚醒状態へ戻そうとする浅い眠気を催しながら運転する時の生理状態の指標として判定することができる。 As described above, in the present embodiment, focusing on the heart rate affected by the autonomic nervous activity related to the occurrence of sleepiness, the heart rate and heart rate fluctuation are extracted by measuring the heart rate or pulse of the driver, The standard deviation value of the heart rate and the heart rate fluctuation is obtained, and the driver's sleepiness is determined using the standard deviation value. At this time, the drowsiness level of the driver can be determined as an index of the physiological state when driving while having shallow drowsiness to endure drowsiness and return to the awake state.
ところで、心拍数値や心拍数標準偏差値には個人差があるため、心拍数標準偏差値をそのまま眠気判定に使用すると、その判定結果が運転者により異なる場合があるが、心拍数標準偏差値を運転者毎に補正することにより、運転者毎の心拍数値の変動が眠気判定結果に与える影響が排除されるようになる。心拍ゆらぎ低周波成分値、心拍ゆらぎ高周波成分値及び心拍ゆらぎ比値についても、同様のことが言える。 By the way, since there are individual differences in heart rate values and heart rate standard deviation values, if the heart rate standard deviation value is used as it is for drowsiness determination, the determination result may vary depending on the driver. By correcting for each driver, the influence of the fluctuation of the heart rate value for each driver on the sleepiness determination result is eliminated. The same applies to the heartbeat fluctuation low frequency component value, the heartbeat fluctuation high frequency component value, and the heartbeat fluctuation ratio value.
このとき、心拍数等の心拍特徴量が変動する要因としては、眠気に影響を与える運転者の体内状態によるものと、車両の走行環境の変化によるものとがある。眠気に伴う心拍特徴量の変化は、体内で数分〜数時間程度継続するが、車両の走行環境の変化が原因で起こる心拍特徴量の変化は、数秒〜数十秒程度と瞬間的なものである。具体的には、自車両が市街地、カーブ路、走行経験の無い道路、交差点を走行する場合や、自車両の周囲に移動体が存在する場合等には、運転者の心拍数等が急激に上昇することがある。このため、車両の走行環境の変化が原因で起こる心拍特徴量の変化は、心拍特徴量の標準偏差値を補正する際のノイズ(眠気誤検出)の要因となる。従って、心拍特徴量が変動する要因が運転者の体内状態による場合に限り、心拍特徴量の標準偏差値の補正を行う必要がある。 At this time, factors that cause fluctuations in the heart rate characteristic amount such as the heart rate are due to a driver's internal condition that affects sleepiness and due to a change in the driving environment of the vehicle. Changes in heart rate features associated with sleepiness last for several minutes to several hours in the body, but changes in heart rate features caused by changes in the driving environment of the vehicle are instantaneous, ranging from several seconds to several tens of seconds. It is. Specifically, the driver's heart rate, etc., suddenly increases when the vehicle travels in urban areas, curved roads, roads with no driving experience, intersections, or when there are moving objects around the vehicle. May rise. For this reason, the change in the heart rate feature amount caused by the change in the running environment of the vehicle causes noise (false sleepiness detection) when correcting the standard deviation value of the heart rate feature amount. Therefore, it is necessary to correct the standard deviation value of the heartbeat feature amount only when the factor that causes the heartbeat feature amount to change depends on the state of the driver.
本実施形態では、ナビゲーション3の情報、周囲環境認識センサ4及び乗員検知センサ5の出力データに基づいて自車両の走行環境情報を取得し、自車両が市街地、カーブ路、走行経験の無い道路、交差点の何れかを走行すると判断されたとき、自車両の周囲に移動体が存在すると判断されたとき、自車両に同乗者が乗っており且つ運転者が体を動かしていると判断されたときには、心拍特徴量の標準偏差値の補正を行わないようにする。これにより、運転者の浅い眠気を高精度に且つ運転者に因らずに検出することができる。従って、浅い眠気がある時点で、運転者に対して正常な意識回復または休息を促すことで、居眠り運転を効果的に防止することが可能となる。
In the present embodiment, the travel environment information of the host vehicle is acquired based on the information of the
なお、本発明は、上記実施形態に限定されるものではない。例えば上記実施形態では、心拍数値、心拍ゆらぎ低周波成分値、心拍ゆらぎ高周波成分値及び心拍ゆらぎ比値という4つの心拍特徴量を用いて運転者の眠気判定を行うものとしたが、これら4つの心拍特徴量のうち少なくとも1つを用いれば良い。 The present invention is not limited to the above embodiment. For example, in the above embodiment, the driver's drowsiness determination is performed using four heart rate feature values of a heart rate value, a heart rate fluctuation low frequency component value, a heart rate fluctuation high frequency component value, and a heart rate fluctuation ratio value. At least one of the heartbeat feature values may be used.
1…眠気検出装置、2…生理指標計測器(計測手段)、3…ナビゲーション(走行環境検知手段)、4…周囲環境認識センサ(走行環境検知手段)、5…乗員検知センサ(走行環境検知手段)、6…眠気検出ECU(心拍特徴量抽出手段、標準偏差算出手段、補正手段、眠気度判定手段)、11…補正対象標準偏差値格納バッファ(補正手段)、12…環境情報取得部(走行環境検知手段)、13…環境条件データベース(補正手段)、14…補正実施判断部(補正手段)、15…標準偏差補正計算部(補正手段)。
DESCRIPTION OF
Claims (5)
前記運転者から計測した心拍または脈拍から心拍特徴量を抽出し、前記心拍特徴量の標準偏差を求める標準偏差算出手段と、
前記車両の走行環境に応じて前記心拍特徴量の標準偏差を前記心拍特徴量で補正し、補正後の前記心拍特徴量の標準偏差の分布を用いて前記運転者の眠気度を判定する眠気度判定手段とを備えることを特徴とする眠気検出装置。 A drowsiness detection device for detecting drowsiness of a driver of a vehicle,
A standard deviation calculating means for extracting a heartbeat characteristic amount from a heartbeat or a pulse measured from the driver and obtaining a standard deviation of the heartbeat characteristic amount;
The sleepiness degree is determined by correcting the standard deviation of the heartbeat feature quantity with the heartbeat feature quantity in accordance with the driving environment of the vehicle, and determining the sleepiness degree of the driver using the distribution of the standard deviation of the heartbeat feature quantity after the correction. A drowsiness detection device comprising: a determination unit.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008307455A JP2010134533A (en) | 2008-12-02 | 2008-12-02 | Drowsiness detector |
US13/001,774 US8140149B2 (en) | 2008-07-04 | 2009-07-02 | Drowsiness detector |
PCT/JP2009/062131 WO2010001962A1 (en) | 2008-07-04 | 2009-07-02 | Drowsiness detector |
CN2009801202402A CN102046086B (en) | 2008-07-04 | 2009-07-02 | Drowsiness detector |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008307455A JP2010134533A (en) | 2008-12-02 | 2008-12-02 | Drowsiness detector |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010134533A true JP2010134533A (en) | 2010-06-17 |
Family
ID=42345802
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008307455A Pending JP2010134533A (en) | 2008-07-04 | 2008-12-02 | Drowsiness detector |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010134533A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014021664A (en) * | 2012-07-17 | 2014-02-03 | Toyota Motor Corp | Wobble determining device |
JP2016182242A (en) * | 2015-03-26 | 2016-10-20 | パイオニア株式会社 | Drowsiness calculation device |
JP2017042262A (en) * | 2015-08-25 | 2017-03-02 | マツダ株式会社 | Driver state detection device |
DE112016006426T5 (en) | 2016-03-16 | 2018-10-31 | Mitsubishi Electric Corporation | DEVICE ON A VEHICLE, METHOD FOR PREVENTING SLEEPY DRIVING AND A PROGRAM FOR PREVENTING SLEEPING DRIVING |
CN112336330A (en) * | 2020-11-06 | 2021-02-09 | 广东电网有限责任公司电力科学研究院 | Safety supervision device based on heart rate change and equipment thereof |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01126206U (en) * | 1988-02-18 | 1989-08-29 | ||
JPH03272745A (en) * | 1990-02-21 | 1991-12-04 | Toyota Motor Corp | Judging method for awakening degree |
JPH05228121A (en) * | 1992-02-19 | 1993-09-07 | Matsushita Electric Ind Co Ltd | Human body information sensor |
JPH06278495A (en) * | 1993-03-29 | 1994-10-04 | Aisin Seiki Co Ltd | Device to prevent dozing at the wheel |
JP2003245357A (en) * | 2002-02-22 | 2003-09-02 | Toyota Central Res & Dev Lab Inc | Mental/physical state-maintaining apparatus |
JP2005080970A (en) * | 2003-09-10 | 2005-03-31 | Toyota Central Res & Dev Lab Inc | Mind and body condition determining device for driver, and driving support apparatus for driver |
JP2005095408A (en) * | 2003-09-25 | 2005-04-14 | Matsushita Electric Ind Co Ltd | Biological condition judgement apparatus and supporting system |
JP2005312653A (en) * | 2004-04-28 | 2005-11-10 | Denso Corp | Driver's state detector and program |
JP2006223635A (en) * | 2005-02-18 | 2006-08-31 | Daihatsu Motor Co Ltd | Drowsy driving detecting device and method |
JP2007006970A (en) * | 2005-06-28 | 2007-01-18 | Toyota Motor Corp | Device for judging physiologic or psychological state, method to judge physiologic or psychological state, device for creating reference data and method to create reference data |
JP2007044154A (en) * | 2005-08-08 | 2007-02-22 | Toyota Motor Corp | Awaking-degree judging method |
JP2007105111A (en) * | 2005-10-11 | 2007-04-26 | Daikin Ind Ltd | Sleeping state detector |
WO2008069337A1 (en) * | 2006-12-04 | 2008-06-12 | Toyota Jidosha Kabushiki Kaisha | Device for judging degree of awakening and method for judging degree of awakening |
JP2008188108A (en) * | 2007-02-01 | 2008-08-21 | Toyota Motor Corp | Vigilance estimation apparatus |
WO2008114865A1 (en) * | 2007-03-22 | 2008-09-25 | Equos Research Co., Ltd. | State evaluation device, and state evaluation program |
-
2008
- 2008-12-02 JP JP2008307455A patent/JP2010134533A/en active Pending
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01126206U (en) * | 1988-02-18 | 1989-08-29 | ||
JPH03272745A (en) * | 1990-02-21 | 1991-12-04 | Toyota Motor Corp | Judging method for awakening degree |
JPH05228121A (en) * | 1992-02-19 | 1993-09-07 | Matsushita Electric Ind Co Ltd | Human body information sensor |
JPH06278495A (en) * | 1993-03-29 | 1994-10-04 | Aisin Seiki Co Ltd | Device to prevent dozing at the wheel |
JP2003245357A (en) * | 2002-02-22 | 2003-09-02 | Toyota Central Res & Dev Lab Inc | Mental/physical state-maintaining apparatus |
JP2005080970A (en) * | 2003-09-10 | 2005-03-31 | Toyota Central Res & Dev Lab Inc | Mind and body condition determining device for driver, and driving support apparatus for driver |
JP2005095408A (en) * | 2003-09-25 | 2005-04-14 | Matsushita Electric Ind Co Ltd | Biological condition judgement apparatus and supporting system |
JP2005312653A (en) * | 2004-04-28 | 2005-11-10 | Denso Corp | Driver's state detector and program |
JP2006223635A (en) * | 2005-02-18 | 2006-08-31 | Daihatsu Motor Co Ltd | Drowsy driving detecting device and method |
JP2007006970A (en) * | 2005-06-28 | 2007-01-18 | Toyota Motor Corp | Device for judging physiologic or psychological state, method to judge physiologic or psychological state, device for creating reference data and method to create reference data |
JP2007044154A (en) * | 2005-08-08 | 2007-02-22 | Toyota Motor Corp | Awaking-degree judging method |
JP2007105111A (en) * | 2005-10-11 | 2007-04-26 | Daikin Ind Ltd | Sleeping state detector |
WO2008069337A1 (en) * | 2006-12-04 | 2008-06-12 | Toyota Jidosha Kabushiki Kaisha | Device for judging degree of awakening and method for judging degree of awakening |
JP2008161664A (en) * | 2006-12-04 | 2008-07-17 | Toyota Motor Corp | Device for judging degree of awakening and method of judging degree of awakening |
JP2008188108A (en) * | 2007-02-01 | 2008-08-21 | Toyota Motor Corp | Vigilance estimation apparatus |
WO2008114865A1 (en) * | 2007-03-22 | 2008-09-25 | Equos Research Co., Ltd. | State evaluation device, and state evaluation program |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014021664A (en) * | 2012-07-17 | 2014-02-03 | Toyota Motor Corp | Wobble determining device |
JP2016182242A (en) * | 2015-03-26 | 2016-10-20 | パイオニア株式会社 | Drowsiness calculation device |
JP2017042262A (en) * | 2015-08-25 | 2017-03-02 | マツダ株式会社 | Driver state detection device |
DE112016006426T5 (en) | 2016-03-16 | 2018-10-31 | Mitsubishi Electric Corporation | DEVICE ON A VEHICLE, METHOD FOR PREVENTING SLEEPY DRIVING AND A PROGRAM FOR PREVENTING SLEEPING DRIVING |
DE112016006426B4 (en) | 2016-03-16 | 2019-12-19 | Mitsubishi Electric Corporation | DEVICE ON A VEHICLE, METHOD FOR PREVENTING SLEEPY DRIVING, AND PROGRAM FOR PREVENTING SLEEPY DRIVING |
CN112336330A (en) * | 2020-11-06 | 2021-02-09 | 广东电网有限责任公司电力科学研究院 | Safety supervision device based on heart rate change and equipment thereof |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2010001962A1 (en) | Drowsiness detector | |
US11375338B2 (en) | Method for smartphone-based accident detection | |
JP4882766B2 (en) | Awakening level calculation device | |
JP4803490B2 (en) | Driver state estimation device and driving support device | |
US9050045B2 (en) | Psychological state estimation device | |
CN110575163B (en) | Method and device for detecting driver distraction | |
JP2008217274A (en) | Driver status determination device and operation support device | |
JP5940972B2 (en) | Dozing operation alarm device and dozing operation alarm method | |
US6686845B2 (en) | Driver's arousal level estimating apparatus for vehicle and method of estimating arousal level | |
JP2009087122A (en) | Awake state estimation device | |
JP2010134533A (en) | Drowsiness detector | |
JP5862407B2 (en) | Biological information processing apparatus and biological information processing method | |
JP4701694B2 (en) | Arousal level determination device and arousal level determination method | |
JP4952688B2 (en) | Sleep determination device and sleep determination method | |
CN114423343A (en) | Cognitive function estimation device, learning device, and cognitive function estimation method | |
JP5744780B2 (en) | Random state judgment device | |
JP6991717B2 (en) | Biometric information detection device | |
JP2006199159A (en) | Operation behavior recognition device | |
JP2008301957A (en) | Mental state inference device | |
JP2010102538A (en) | Drowse determining device | |
JP4609539B2 (en) | Sleepiness detection device | |
JP2010131061A (en) | Drowsiness detector | |
JP2017138725A (en) | Risk determination device, risk determination method and risk determination program | |
JP2018081622A (en) | Driving support apparatus and driving support method | |
CN113561989B (en) | Dangerous driving state detection method and equipment based on electrocardiosignals and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100518 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100921 |