JP4973551B2 - Driver status determination device - Google Patents

Driver status determination device Download PDF

Info

Publication number
JP4973551B2
JP4973551B2 JP2008062638A JP2008062638A JP4973551B2 JP 4973551 B2 JP4973551 B2 JP 4973551B2 JP 2008062638 A JP2008062638 A JP 2008062638A JP 2008062638 A JP2008062638 A JP 2008062638A JP 4973551 B2 JP4973551 B2 JP 4973551B2
Authority
JP
Japan
Prior art keywords
biological
driver
vehicle
determination
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008062638A
Other languages
Japanese (ja)
Other versions
JP2009213768A (en
Inventor
克昌 西井
剛 中川
一泰 酒井
幸樹 二ツ山
真也 松永
敏之 森下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2008062638A priority Critical patent/JP4973551B2/en
Publication of JP2009213768A publication Critical patent/JP2009213768A/en
Application granted granted Critical
Publication of JP4973551B2 publication Critical patent/JP4973551B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Description

本発明は、運転中の運転者の生体状態を判定する運転者状態判定装置に関する。   The present invention relates to a driver state determination device that determines a biological state of a driver who is driving.

従来より、特別な時間を割くことなく体調管理を行うために、例えば被測定者の指から脈波や心電位をそれぞれ検出する脈波センサや心電センサ等(以下、生体センサと総称する)が車両のステアリングに設置された体調管理装置が知られている。なお、この体調管理装置では、被測定者が運転中にステアリングを握ることによって得られる生体センサからの検出信号(脈波,心電位等)や、その検出信号から算出される脈拍数または心拍数等(以下、生体情報と総称する)を記録している。ちなみに、生体情報は、脈拍数や心拍数の他に、自律神経活動量や血圧、脈波伝播速度等であってもよい。   2. Description of the Related Art Conventionally, in order to perform physical condition management without taking a special time, for example, a pulse wave sensor or an electrocardiographic sensor that detects a pulse wave or an electrocardiogram from a finger of a measurement person (hereinafter collectively referred to as a biosensor) There is known a physical condition management device installed in the steering of a vehicle. In this physical condition management device, a detection signal (pulse wave, cardiac potential, etc.) from a biosensor obtained by grasping the steering wheel while the subject is driving, a pulse rate or a heart rate calculated from the detection signal Etc. (hereinafter collectively referred to as biometric information). Incidentally, the biological information may be an autonomic nerve activity amount, blood pressure, pulse wave propagation speed, etc. in addition to the pulse rate and heart rate.

この体調管理装置の一例として、走行環境や車両挙動を検出する他の車載装置から取得する各種情報を、生体情報の測定環境として記憶しておき、運転中に得られた生体情報を、同じ測定環境下で過去に記憶した生体情報(以下、判定基準値という)と比較することによって、運転者の体調を判定する体調判定装置が提案されている(例えば、特許文献1参照)。   As an example of this physical condition management device, various types of information acquired from other in-vehicle devices that detect the driving environment and vehicle behavior are stored as a measurement environment for biological information, and the biological information obtained during driving is the same measurement. A physical condition determination device that determines the physical condition of a driver by comparing with biological information (hereinafter referred to as a determination reference value) stored in the past under an environment has been proposed (for example, see Patent Document 1).

なお、この体調判定装置では、運転者の体調に異常があると判定した場合、警告画面の表示や音声メッセージによって運転者に車両の停止を促したり、車両を停止させるよう自動的にブレーキを作動させて車両を徐々に減速させたりする安全確保制御を行っている。
特開2007−290504号公報
In addition, in this physical condition determination device, when it is determined that the driver's physical condition is abnormal, the brake is automatically activated to prompt the driver to stop the vehicle or to stop the vehicle by displaying a warning screen or a voice message. Safety control is performed to gradually decelerate the vehicle.
JP 2007-290504 A

ところで、単なる体調異常の場合だけでなく、運転中の運転者が、眠気を帯びた状態(以下、眠気状態という)、又は、興奮しすぎる状態(以下、興奮状態という)にある場合にも、上記の安全確保制御を行うことができれば、そのような状態の運転者の身を守ることができると共に、運転者が運転していた車両が更なる重大な事故を引き起こしてしまうことを防止することができる。   By the way, not only when the physical condition is abnormal, but also when the driving driver is in a sleepy state (hereinafter referred to as a sleepy state) or too excited (hereinafter referred to as an excited state) If the above safety control can be performed, it is possible to protect the driver in such a state and to prevent the vehicle that the driver was driving from causing a further serious accident. Can do.

一方、従来の体調判定装置では、過去と同じ測定環境下においても、運転前の体調や運転中の時間経過などに起因する運転者の疲労度合(例えば、サーカディアンリズムの変化による影響)に応じて生じる生体情報の変化にも対応させるために、判定基準値を含む正常範囲(体調が正常であるとみなせる範囲)を同じ測定環境下ごとに広めに設定しておかなければならなかった。   On the other hand, in the conventional physical condition determination device, even under the same measurement environment as in the past, depending on the driver's fatigue level (for example, the influence of circadian rhythm change) due to physical condition before driving or time elapsed during driving, etc. In order to cope with the change in the biological information that occurs, the normal range including the criterion value (the range in which the physical condition can be considered normal) has to be set wider for each measurement environment.

このため、従来の体調判定装置によって、眠気状態や興奮状態を含む運転者の体調(以下、生体状態という)の判定(以下、運転者状態判定という)を行おうとすると、正常範囲内での急激な脈拍(心拍)数の変化や、車両挙動の変化に応じた脈拍(心拍)数の微妙な変化を看過してしまい、適切な運転者状態判定を行うことができない可能性があるという問題があった。   For this reason, when a conventional physical condition determination device tries to determine a driver's physical condition (hereinafter referred to as a “biological condition”) including a sleepy state or an arousal state (hereinafter referred to as a “driver condition determination”), the driver suddenly falls within a normal range. There is a problem that it may be impossible to make an appropriate driver state determination by overlooking the slight change in the pulse (heart rate) and the subtle change in the pulse (heart rate) according to the change in vehicle behavior. there were.

本発明は、上記問題点を解決するために、運転中の運転者の生体状態の変化に応じて精度よく運転者状態判定を行うことが可能な運転者状態判定装置を提供することを目的とする。   In order to solve the above-described problems, an object of the present invention is to provide a driver state determination device capable of accurately determining a driver state according to a change in a biological state of a driver during driving. To do.

上記目的を達成するためになされた請求項1に記載の運転者状態判定装置は、検出手段が、車両の運転者から生体信号を検出し、挙動取得手段が、車両が走行または停止のいずれの状態であるかを示す挙動情報を取得する。なお、検出手段は、車両の構成要素(例えば、ステアリングや、シート等)に設けられるものでもよいし、車両の外でも使用可能な携帯型のもの、或いは、運転者に非接触な状態で計測するための車内カメラ等を利用してもよい。   The driver state determination apparatus according to claim 1, which has been made to achieve the above object, wherein the detection means detects a biological signal from the driver of the vehicle, and the behavior acquisition means determines whether the vehicle is running or stopped. Get the behavior information that shows whether it is in a state. The detection means may be provided on a vehicle component (for example, a steering wheel, a seat, etc.), a portable device that can be used outside the vehicle, or measured without contact with the driver. An in-vehicle camera or the like may be used.

そして、算出手段が、検出手段により検出した生体信号に基づく生体情報と、挙動取得手段により取得した挙動情報とに基づいて、車両の走行時に対応する生体情報(以下、走行時生体情報という)と、車両の停止時に対応する生体情報(以下、停止時生体情報という)とを設定し、この走行時生体情報と停止時生体情報との変化の度合を表す生体変化値を算出する。   Then, based on the biological information based on the biological signal detected by the detecting unit and the behavior information acquired by the behavior acquiring unit, the calculating unit corresponds to biological information corresponding to the traveling time of the vehicle (hereinafter referred to as traveling biological information). Then, biometric information corresponding to the stop of the vehicle (hereinafter referred to as biometric information at the time of stop) is set, and a biometric change value representing the degree of change between the biometric information at the time of travel and the biometric information at the time of stop is calculated.

最後に、判定手段が、算出手段により算出した生体変化値に基づいて、運転者の生体状態を判定する。なお、生体状態とは、眠気状態や興奮状態を含む運転者の体調のことをいう。   Finally, the determination unit determines the biological state of the driver based on the biological change value calculated by the calculation unit. The biological state refers to the physical condition of the driver including a sleepy state and an excited state.

したがって、本発明の運転者状態判定装置によれば、運転状態(走行,停止)における生体情報の変化の度合(生体変化値)を判定対象とするため、個々の生体情報が正常範囲内の値であっても、正常範囲内での急激な生体情報の変化を捉えて、精度よく運転者の生体状態(以下、運転者状態という)の判定を行うことができる
ここで、本発明の運転者状態判定装置において、算出手段は、車両が停止してから運転者が落ち着くために予め確保された規定時間経過時に、検出手段により検出された生体信号に基づく生体情報を、停止時生体情報として設定する。
したがって、本発明の運転者状態判定装置によれば、車両の停止直後のものに比べてより安定した生体情報を、停止時生体情報として設定することができ、例えば車両の停止時における運転者状態の誤判定を防止することができる。
Therefore, according to the driver state determination device of the present invention, since the degree of change (biological change value) of the biological information in the driving state (running, stop) is set as a determination target, each biological information is a value within the normal range. Even so, it is possible to accurately determine the biological state of the driver (hereinafter referred to as the driver state) by capturing a sudden change in biological information within the normal range .
Here, in the driver state determination apparatus according to the present invention, the calculation means is the biological information based on the biological signal detected by the detection means when a predetermined time has passed so that the driver can settle after the vehicle stops. Is set as biometric information at the time of stop.
Therefore, according to the driver state determination device of the present invention, more stable biometric information than that immediately after the vehicle stops can be set as the biometric information at the time of stop. For example, the driver state at the time of stop of the vehicle Can be prevented.

なお、生体信号は、請求項2に記載のように、心拍数または脈拍数を表す心電位または脈波であってもよいし、血圧値や皮膚温度であってもよい。また、生体変化値は、請求項3に記載のように、走行時生体情報と停止時生体情報との差であればよい。   The biological signal may be a cardiac potential or a pulse wave representing a heart rate or a pulse rate, or a blood pressure value or a skin temperature, as described in claim 2. Further, the biological change value may be a difference between the traveling biological information and the stopping biological information as described in claim 3.

ところで、運転中の運転者状態が正常であれば、車両の走行中では停止中に比べて緊張するため運転者の脈拍(心拍)数等が高くなり、車両の停止中では走行中に比べてリラックスするため運転者の脈拍(心拍)数等が低くなることが知られている。   By the way, if the driver's condition during driving is normal, the driver's pulse (heart rate) becomes higher when the vehicle is traveling than when the vehicle is stopped, and the driver's pulse (heart rate) is higher than when the vehicle is traveling. It is known that the driver's pulse rate (heart rate) and the like are lowered in order to relax.

このため、判定手段は、請求項4に記載のように、生体変化値が予め規定された第1の判定閾値以下である場合、運転者の生体状態が異常であると判定することが望ましい。なお、ここで用いる第1の判定閾値は、走行時生体情報と停止時生体情報とが同じ値であるとみなすことが可能な値であればよい。   For this reason, as described in claim 4, it is desirable that the determination means determine that the driver's biological condition is abnormal when the biological change value is equal to or less than a first determination threshold value defined in advance. Note that the first determination threshold value used here may be a value that allows the running biological information and the stopped biological information to be regarded as the same value.

このように構成された運転者状態判定装置によれば、運転者状態の異常のうち、眠気状態(過度なリラックス状態)または興奮状態(過度な緊張状態)を確実に捉えることができる。   According to the driver state determination device configured as described above, a sleepy state (excessive relaxed state) or an excited state (excessive tension state) can be reliably captured among the abnormalities of the driver state.

或いは、運転者状態判定装置は、請求項5に記載のように、記憶手段が生体変化値を記憶し、判定手段が、記憶手段により記憶した生体変化値を判定基準値として設定し、生体変化値と判定基準値との変化の度合が予め設定された第2の判定閾値を超える場合、運転者の生体状態が異常であると判定してもよい。なお、ここで用いる第2の判定閾値は、生体変化値と判定基準値とが大きく異なるとみなすことが可能な値であればよい。   Alternatively, as described in claim 5, in the driver state determination device, the storage unit stores the biological change value, the determination unit sets the biological change value stored by the storage unit as the determination reference value, and the biological state change When the degree of change between the value and the determination reference value exceeds a preset second determination threshold, the driver's biological state may be determined to be abnormal. Note that the second determination threshold value used here may be a value that can be considered that the biological change value and the determination reference value are greatly different.

このように構成された運転者状態判定装置によれば、現在の生体変化値と過去の生体変化値とを比較することにより判定するため、生体変化値が第1の判定閾値を上回っている場合であっても、運転者の急激な脈拍(心拍)数等の変化を捉えることができ、ひいては、運転者状態の判定精度を向上させることができる。   According to the driver state determination device configured as described above, since the determination is made by comparing the current biological change value and the past biological change value, the biological change value exceeds the first determination threshold value. Even so, changes in the driver's rapid pulse (heart rate) and the like can be captured, and as a result, the determination accuracy of the driver state can be improved.

なお、判定手段は、請求項6に記載のように、前回の判定手段による判定時に使用した生体変化値を判定基準値として設定してもよい。
この場合、運転中の運転者状態を連続的に判定するため、運転状態に応じて生じる生体情報の変化により即して、運転者状態の判定を行うことができる。
Note that, as described in claim 6, the determination unit may set the biological change value used at the time of the determination by the previous determination unit as the determination reference value.
In this case, since the driver state during driving is continuously determined, it is possible to determine the driver state in accordance with changes in biological information that occur according to the driving state.

また、運転者状態判定装置は、請求項7に記載のように、環境取得手段が、車両の走行環境を表す環境情報を取得し、記憶手段が、生体変化値を、環境取得手段により取得した環境情報に対応づけて記憶する。そして、判定手段が、環境取得手段により取得した環境情報に対応づけられている生体変化値を、判定基準値として設定してもよい。   In the driver state determination device, as described in claim 7, the environment acquisition unit acquires environment information representing a driving environment of the vehicle, and the storage unit acquires the biological change value by the environment acquisition unit. Store it in association with environmental information. Then, the determination unit may set the biological change value associated with the environment information acquired by the environment acquisition unit as the determination reference value.

この場合、現在の生体変化値と過去の生体変化値との測定条件を揃えて比較するため、運転者状態の判定精度をより向上させることができる。
ちなみに、走行環境としては、車両が走行中の道路種別(高速道路,一般道路)や、車両の外部環境(時間帯,天候),車両の内部環境(室内温度,湿度)等が挙げられるが、請求項8に記載のように、車両の周囲に他車両が存在するか否かであることであってもよい。
In this case, since the measurement conditions of the current biological change value and the past biological change value are aligned and compared, the determination accuracy of the driver state can be further improved.
Incidentally, examples of the driving environment include the type of road on which the vehicle is traveling (highway, general road), the external environment of the vehicle (time zone, weather), the internal environment of the vehicle (indoor temperature, humidity), etc. As described in claim 8, it may be whether there is another vehicle around the vehicle.

この場合、運転者の緊張(ストレス)の度合いに応じて、判定基準を変更することができる。
ところで、算出手段は、請求項9に記載のように、一定時間内に検出手段により検出された生体信号から抽出された抽出生体値に基づく生体情報を、走行時生体情報および停止時生体情報として設定することが望ましい。
In this case, the determination criterion can be changed according to the degree of tension of the driver.
By the way, as described in claim 9, the calculating means uses the biological information based on the extracted biological value extracted from the biological signal detected by the detecting means within a predetermined time as the biological information at the time of travel and the biological information at the time of stop. It is desirable to set.

具体的に言うと、抽出生体値は、請求項10に記載のように、一定時間内における生体信号の最大値であってもよいし、請求項11に記載のように、一定時間内における生体信号の平均値であってもよい。   Specifically, the extracted biological value may be the maximum value of the biological signal within a certain time as described in claim 10, or the biological value within a certain time as described in claim 11. It may be an average value of the signal.

両者の場合共に、走行時生体情報および停止時生体情報の設定条件を揃えることによって、走行時生体情報と停止時生体情報との変化を表す生体変化値の測定環境をより近づけることができ、ひいては、運転者状態の判定精度をさらに向上させることができる。   In both cases, the measurement environment of the biological change value representing the change between the biological information when traveling and the biological information when stopped can be made closer by aligning the setting conditions of the biological information when traveling and the biological information when stopped. Further, the determination accuracy of the driver state can be further improved.

また、運転者状態判定装置は、請求項12に記載のように、異常報知手段が、判定手段により運転者の生体状態が異常であると判定した場合、運転者の生体状態が異常であることを報知するようにしてもよい。 In addition, as described in claim 12 , the driver state determination device is configured such that when the abnormality notification unit determines that the driver's biological state is abnormal by the determination unit, the driver's biological state is abnormal. May be notified.

このように構成された運転者状態判定装置によれば、例えば車両が停止中に行う場合、運転者を落ち着かせてから、運転者状態が異常である旨の報知(異常報知)を行うことができる。   According to the driver state determination device configured as described above, for example, when the vehicle is stopped, after the driver is calmed, notification that the driver state is abnormal (abnormal notification) may be performed. it can.

或いは、運転者状態判定装置は、請求項13に記載のように、車両制御手段が、判定手段により運転者の生体状態が異常であると判定した場合、挙動情報に応じた車両制御を行うことが望ましい。 Alternatively, as described in claim 13 , the driver state determination device performs vehicle control according to the behavior information when the vehicle control unit determines that the biological state of the driver is abnormal by the determination unit. Is desirable.

具体的に言うと、車両制御手段は、警告音による報知を車両制御として行うようにしてもよいし、請求項14に記載のように、車載エアコンの温度調整、又は、車載オーディオ装置の音量調整を車両制御として行うようにしてもよい。 Specifically, the vehicle control means may perform notification by warning sound as vehicle control, or adjust the temperature of the in-vehicle air conditioner or adjust the volume of the in-vehicle audio device as described in claim 14. May be performed as vehicle control.

前者の場合、例えば眠気状態にある運転者を覚醒させることができ、後者の場合、例えば興奮状態にある運転者を落ち着かせることが可能な空間を提供することができる。
さらに、運転者状態判定装置は、請求項15に記載のように、正常報知手段が、車両制御手段による車両制御後に、判定手段により運転者の生体状態が正常であると判定した場合、運転者の生体状態が正常であることを報知することが望ましい。
In the former case, for example, a driver in a sleepy state can be awakened, and in the latter case, for example, a space that can calm down a driver in an excited state can be provided.
Further, as described in claim 15 , the driver state determination device is configured such that when the normal notification unit determines that the biological state of the driver is normal by the determination unit after the vehicle control by the vehicle control unit, It is desirable to notify that the biological state is normal.

この場合、運転者状態が正常に戻った旨を報知することによって、運転者に安心して運転させることができる。
なお、運転者状態判定装置は、請求項16に記載のように、座席検出手段が、運転者の座席位置を検出し、禁止手段が、座席検出手段により運転者が所定位置を外れて着座していることを検出した場合、判定手段による生体状態の判定を禁止することが望ましい。
In this case, by notifying that the driver state has returned to normal, the driver can drive with confidence.
In the driver state determination device, as described in claim 16 , the seat detection means detects the driver's seat position, and the prohibition means causes the seat detection means to cause the driver to sit out of the predetermined position. When it is detected, it is desirable to prohibit the determination of the biological state by the determination means.

この場合、運転者が移動することによって判定誤差が生じてしまうことを防止することができる。   In this case, it is possible to prevent a determination error from occurring due to the movement of the driver.

以下に、本発明の実施形態を図面と共に説明する。
<全体構成>
図1は、本発明が適用された運転者状態判定装置の構成、及び、運転者状態判定装置が接続される車内LANの概要を示すブロック図である。
Embodiments of the present invention will be described below with reference to the drawings.
<Overall configuration>
FIG. 1 is a block diagram showing a configuration of a driver state determination device to which the present invention is applied and an outline of an in-vehicle LAN to which the driver state determination device is connected.

図1に示すように、運転者状態判定装置1が接続される車内LAN(Local Area Network)10には、車両の走行制御を実行する走行電子制御装置(以下、電子制御装置のことをECUという)2や、車両に搭載された空調機器(エアコン)14を制御するエアコンECU3等の各種ECUと共に、ナビゲーション装置4が接続されている。   As shown in FIG. 1, an in-vehicle LAN (Local Area Network) 10 to which the driver state determination device 1 is connected has a travel electronic control device (hereinafter referred to as an ECU) that executes vehicle travel control. 2) and various ECUs such as an air conditioner ECU 3 for controlling an air conditioner (air conditioner) 14 mounted on the vehicle, a navigation device 4 is connected.

このうち、走行ECU2は、車速センサ11、加速度センサ12、車両の外部周辺を撮像する周辺カメラ13からの検出データに基づいて、先行車との車間距離や自車両の速度を制御すると共に、車両が走行または停止のいずれの状態であるかを示す挙動情報や、車両の外部周辺に他車両が存在するか否かを示す周辺情報などを、車内LAN10を介して運転者状態判定装置1に送信するように構成されている。   Among these, the travel ECU 2 controls the inter-vehicle distance from the preceding vehicle and the speed of the host vehicle based on the detection data from the vehicle speed sensor 11, the acceleration sensor 12, and the peripheral camera 13 that captures the outside periphery of the vehicle. Is transmitted to the driver state determination device 1 via the in-vehicle LAN 10, such as behavior information indicating whether the vehicle is running or stopped, and peripheral information indicating whether or not another vehicle exists outside the vehicle. Is configured to do.

エアコンECU3は、車室内の温度を最適に制御する自動温度制御を実行すると共に、車室内の温度を示す温度情報を、車内LAN10を介して運転者状態判定装置1に送信する。また、エアコンECU3は、エアコン14が、停止している状態、又は、運転者により温度/風量が設定された状態であっても、車内LAN10を介して温度調整を指示するコマンドを受信すると、自動温度制御を実行するように構成されている。   The air conditioner ECU 3 performs automatic temperature control for optimally controlling the temperature in the vehicle interior, and transmits temperature information indicating the temperature in the vehicle interior to the driver state determination device 1 via the in-vehicle LAN 10. Further, the air conditioner ECU 3 automatically receives a command for instructing temperature adjustment via the in-vehicle LAN 10 even when the air conditioner 14 is stopped or the temperature / air volume is set by the driver. It is configured to perform temperature control.

ナビゲーション装置4は、GPS装置15からの検出データ、及び、地図データ入力器16からの入力データに基づいて、車両周辺の地図表示や、設定された目的地までの経路設定、音声による案内制御などを実行すると共に、車両の現在位置における道路種別(一般道路,高速道路)を示す道路情報などを、車内LAN10を介して運転者状態判定装置1に送信するように構成されている。   Based on the detection data from the GPS device 15 and the input data from the map data input device 16, the navigation device 4 displays a map around the vehicle, sets a route to a set destination, and controls guidance by voice. And road information indicating the road type (general road, highway) at the current position of the vehicle is transmitted to the driver state determination device 1 via the in-vehicle LAN 10.

なお、ナビゲーション装置4は、ナビゲーション機能と共に、CDやDVD、TV、FM/AMラジオ等の各種メディアの再生といったAV機能を実現する周知のものであり、車内LAN10を介して音量調整を指示するコマンドを受信すると、各種メディアの再生音量を低くする音量制御を実行するように構成されている。   The navigation device 4 is a well-known device that realizes an AV function such as reproduction of various media such as CD, DVD, TV, FM / AM radio, etc. in addition to the navigation function, and a command for instructing volume adjustment via the in-vehicle LAN 10. Is received, volume control is performed to lower the playback volume of various media.

<運転者状態判定装置の構成>
運転者状態判定装置1は、運転者の手が触れる位置に設けられて運転者の生体状態を検出するための生体センサ群21と、車体のうち車室外に設けられて車両の外部環境を検出するための外部センサ群22と、車体のうち車室内に設けられて運転者の座席位置を検出するための座席センサ群23と、車内LAN10を介して各種データを送受信するバスコントローラ24と、各センサ群21〜23及びバスコントローラ24を介して入力した各種データを記憶する不揮発性のメモリ(例えば、EEPROM)25と、画像を表示するための表示部26と、音声を出力するための音声出力部27と、各部21〜24からの入力に応じて各種処理を実行し、表示部26および音声出力部27を制御する制御部20とを備えている。
<Configuration of driver state determination device>
The driver state determination device 1 is provided at a position where the driver's hand touches to detect a biological sensor group 21 for detecting the biological state of the driver, and is provided outside the passenger compartment of the vehicle body to detect the external environment of the vehicle. An external sensor group 22 for performing the operation, a seat sensor group 23 provided in the passenger compartment of the vehicle body for detecting the seat position of the driver, a bus controller 24 for transmitting and receiving various data via the in-vehicle LAN 10, A non-volatile memory (for example, EEPROM) 25 for storing various data input via the sensor groups 21 to 23 and the bus controller 24, a display unit 26 for displaying an image, and an audio output for outputting audio And a control unit 20 that executes various processes in accordance with inputs from the units 21 to 24 and controls the display unit 26 and the audio output unit 27.

このうち、生体センサ群21は、運転者の心電位を表す心電信号を出力する心電センサ21aと、運転者の脈波を表す脈波信号を出力する脈波センサ21bとから構成される。なお、心電センサ21aは、ステアリングの周方向に沿って設置された一対の電極からなり、この一対の電極に被測定者の左右の手がそれぞれ接触することによって発生する電位差を検出し、この電位差に基づく信号を心電信号として出力する。また、脈波センサ21bは、ステアリングの表面内側の所定位置に設置された光電素子からなり、この光電素子に被測定者の指先が接触することによって生じる受光量の変化(即ち、運転者の血流量の変化)を検出し、この受光量の変化に基づく信号を脈波信号として出力する。   Among these, the biosensor group 21 includes an electrocardiogram sensor 21a that outputs an electrocardiogram signal that represents the driver's electrocardiogram, and a pulse wave sensor 21b that outputs a pulse wave signal that represents the driver's pulse wave. . The electrocardiographic sensor 21a is composed of a pair of electrodes installed along the circumferential direction of the steering, and detects a potential difference generated when the left and right hands of the person to be measured are in contact with the pair of electrodes. A signal based on the potential difference is output as an electrocardiogram signal. Further, the pulse wave sensor 21b is composed of a photoelectric element installed at a predetermined position inside the steering surface, and a change in the amount of light received when the fingertip of the person to be measured comes into contact with the photoelectric element (that is, the blood of the driver). Change in flow rate) is detected, and a signal based on the change in the amount of received light is output as a pulse wave signal.

外部センサ群22は、車室外の照度を検出するライトセンサ22aと、車室外の雨滴を検出するレインセンサ22bとから構成され、これらのセンサの検出結果である外部情報を出力する。また、座席センサ群23は、運転座席における被測定者の着座の有無を検出するシートセンサ23aと、運転座席における被測定者を撮像するための室内カメラ23bとから構成され、これらのセンサ及びカメラの検出結果である座席情報を出力する。   The external sensor group 22 includes a light sensor 22a that detects illuminance outside the passenger compartment and a rain sensor 22b that detects raindrops outside the passenger compartment, and outputs external information as detection results of these sensors. The seat sensor group 23 includes a seat sensor 23a that detects whether or not the measurement subject is seated in the driver seat, and an indoor camera 23b that captures the measurement subject in the driver seat. The seat information that is the detection result is output.

表示部26は、カラー表示装置であり、周知の半透過型の液晶ディスプレイ,一般的な液晶ディスプレイ,有機ELディスプレイ,CRT,ヘッドアップディスプレイなどがあるが、そのいずれを用いてもよい。また、表示部26は、当該装置に専用のものを設けてもよいし、ナビゲーション装置4のために既に設置されているものを使用してもよい。   The display unit 26 is a color display device, and includes a known transflective liquid crystal display, a general liquid crystal display, an organic EL display, a CRT, a head-up display, and the like, any of which may be used. The display unit 26 may be provided with a dedicated device for the device, or may be a device already installed for the navigation device 4.

メモリ25には、生体センサ群21からの検出信号(心電信号,脈波信号;以下、生体信号という)が示す信号データ(以下、生体信号データという)を、予め設定された保持期間分だけ記憶するための領域(以下、生体信号領域という)が設けられている。また、メモリ25には、後述する生体情報を記憶するための領域(以下、生体情報領域という)や、後述する生体変化値を記憶するための領域(以下、生体変化領域という)等が設けられている。   In the memory 25, signal data (hereinafter referred to as biological signal data) indicated by a detection signal (electrocardiographic signal, pulse wave signal; hereinafter referred to as biological signal) from the biological sensor group 21 is stored for a preset retention period. An area for storage (hereinafter referred to as a biological signal area) is provided. Further, the memory 25 is provided with an area for storing biometric information described later (hereinafter referred to as a biometric information area), an area for storing biometric change values described later (hereinafter referred to as a biochange area), and the like. ing.

制御部20は、CPU,ROM,RAM,I/O及びこれらの構成要素を接続するバスライン等からなる周知のマイクロコンピュータを中心に構成されており、ROMに記憶されたプログラムに基づいて、以下で説明する運転者支援処理を実行する他に、生体センサ群21から生体信号を入力すると、生体信号データをメモリ25の生体信号領域に書き込むための処理(以下、データ書込処理という)を実行するように構成されている。   The control unit 20 is configured around a well-known microcomputer including a CPU, ROM, RAM, I / O, a bus line connecting these components, and the like based on a program stored in the ROM. In addition to executing the driver support process described in the above, when a biological signal is input from the biological sensor group 21, a process for writing the biological signal data in the biological signal area of the memory 25 (hereinafter referred to as a data writing process) is executed. Is configured to do.

<運転者支援処理>
ここで、制御部20のCPUが実行する運転者支援処理を、図2に示すフローチャートに沿って詳細に説明する。なお、本処理は、運転者状態判定装置1に電源が投入されると起動されてその後繰り返し実行され、電源が遮断されるまでデータ書込処理と並列実行される。
<Driver support processing>
Here, the driver assistance processing executed by the CPU of the control unit 20 will be described in detail along the flowchart shown in FIG. This process is started when the driver state determination device 1 is turned on and then repeatedly executed, and is executed in parallel with the data writing process until the power is turned off.

まず、本処理が起動されると、S110では、運転者の眠気状態や興奮状態を含む体調(生体状態)を判定する運転者状態判定処理を実行する。
続くS120では、S110における判定結果に基づく車両制御を行うための車両制御処理を実行し、本処理を終了する。
First, when this process is started, in S110, a driver state determination process for determining a physical condition (biological state) including a driver's sleepiness state and arousal state is executed.
In continuing S120, the vehicle control process for performing vehicle control based on the determination result in S110 is performed, and this process is complete | finished.

<運転者状態判定処理>
次に、運転者支援処理のS110で実行される運転者状態判定処理を、図3に示すフローチャートに沿って詳しく説明する。
<Driver status determination process>
Next, the driver state determination process executed in S110 of the driver assistance process will be described in detail along the flowchart shown in FIG.

まず、本処理が開始されると、S205では、座席センサ群23から座席情報を取得し、この座席情報に基づいて、運転座席における運転者の位置が、生体信号の測定条件を揃えるよう予め設定された所定位置であるか否かを判断し、肯定判断した場合にはS210に進み、否定判断した場合には同ステップを繰り返す。なお、本実施形態では、座席センサ群23から取得した座席情報のうち、シートセンサ23aの検出結果に基づいて、運転席における運転者の着座の有無を判断すると共に、室内カメラ23bの検出結果に基づいて、運転者の位置が所定位置であるか否かを判断している。   First, when this process is started, in S205, seat information is acquired from the seat sensor group 23, and based on the seat information, the position of the driver in the driver seat is set in advance so as to align the measurement conditions of the biological signal. It is determined whether or not the predetermined position has been set. If an affirmative determination is made, the process proceeds to S210. If a negative determination is made, the same step is repeated. In the present embodiment, the seat information acquired from the seat sensor group 23 is used to determine whether or not the driver is seated in the driver seat based on the detection result of the seat sensor 23a, and to the detection result of the indoor camera 23b. Based on this, it is determined whether or not the position of the driver is a predetermined position.

S210では、走行ECU2から車内LAN10を介して受信した挙動情報に基づいて、車両が走行中であるか否かを判断し、肯定判断した場合にはS230に進み、否定判断した場合には、車両が停止中であるとみなし、S215に進む。   In S210, based on the behavior information received from the travel ECU 2 via the in-vehicle LAN 10, it is determined whether or not the vehicle is traveling. If an affirmative determination is made, the process proceeds to S230. Is stopped, and the process proceeds to S215.

S215では、車両が停止してから運転者が落ち着くために予め確保された規定時間(例えば、3秒)が経過し、且つ、S210における挙動情報に基づいて、車両が停止した状態のままであるか否かを判断し、肯定判断した場合にはS220に進み、否定判断した場合にはS205に戻る。   In S215, a predetermined time (for example, 3 seconds) secured in advance for the driver to settle down after the vehicle stops, and the vehicle remains stopped based on the behavior information in S210. If the determination is affirmative, the process proceeds to S220. If the determination is negative, the process returns to S205.

S220では、運転状態を表す運転フラグを、車両が停止中であることを示す1に設定し、S225に進む。
S225では、データ書込処理によってメモリ25の生体信号領域に記憶された生体信号データのうち、S215における規定時間経過時のデータに基づいて、運転者の脈拍(心拍)数や自律神経活動量、血圧値、脈波伝播速度等を表す生体情報を算出する。
In S220, the driving flag indicating the driving state is set to 1 indicating that the vehicle is stopped, and the process proceeds to S225.
In S225, among the vital sign data stored in the vital sign area of the memory 25 by the data writing process, based on the data when the specified time has passed in S215, the driver's pulse (heart rate), autonomic nerve activity, Biological information representing a blood pressure value, a pulse wave velocity, and the like is calculated.

なお、脈波伝播速度は、脈波センサ21aとして、被測定者の手首に巻かれるベルト式のものや指に装着するものを用いて、その検出結果と心電センサ21aにより得られる心拍伝播速度とから求められる。また、血圧値は、脈波伝播速度や脈波信号に基づいて算出(推定)することが可能である。   The pulse wave propagation speed is obtained by using a belt-type sensor wound around the wrist of the person to be measured or a sensor worn on a finger as the pulse wave sensor 21a, and the heartbeat propagation speed obtained by the electrocardiographic sensor 21a. It is demanded from. The blood pressure value can be calculated (estimated) based on the pulse wave velocity and the pulse wave signal.

そして、ここで算出した生体情報である停止時生体情報を、外部センサ群22及び車内LAN10を介して取得した各種情報(以下、環境情報という)に対応づけて、メモリ25の生体情報領域に記憶し、S240に進む。   The biometric information at the time of stop, which is the biometric information calculated here, is stored in the biometric information area of the memory 25 in association with various information (hereinafter referred to as environmental information) acquired via the external sensor group 22 and the in-vehicle LAN 10. Then, the process proceeds to S240.

なお、環境情報には、走行ECU2からの周辺情報や、エアコンECU3からの温度情報、ナビゲーション装置4からの道路情報、外部センサ群22からの外部情報が含まれている。また、生体情報は、心電信号または脈波信号の少なくとも一方の生体信号データ(即ち、両方の生体信号データであってもよい)に基づいて算出される。   The environmental information includes peripheral information from the traveling ECU 2, temperature information from the air conditioner ECU 3, road information from the navigation device 4, and external information from the external sensor group 22. The biological information is calculated based on at least one biological signal data (that is, both biological signal data may be used) of an electrocardiogram signal or a pulse wave signal.

一方、先のS210で車両が走行中であると判断した場合に進むS230では、運転フラグを、車両が走行中であることを示す0に設定し、S235に進む。
S235では、データ書込処理によってメモリ25の生体信号領域に記憶された生体信号データのうち、一定時間内における最大値に基づいて生体情報を算出して、ここで算出した生体情報である走行時生体情報を環境情報に対応づけて、メモリ25の生体情報領域に記憶し、S240に進む。
On the other hand, in S230 that is performed when it is determined that the vehicle is traveling in S210, the driving flag is set to 0 indicating that the vehicle is traveling, and the process proceeds to S235.
In S235, the biological information is calculated based on the maximum value within a predetermined time among the biological signal data stored in the biological signal area of the memory 25 by the data writing process, and the calculated biological information is the travel time. The biometric information is associated with the environment information and stored in the biometric information area of the memory 25, and the process proceeds to S240.

S240では、メモリ25の生体情報領域に記憶されている生体情報から、最新の走行時生体情報と停止時生体情報とを抽出し、この走行時生体情報と停止時生体情報との差を求め、その求めた結果である生体変化値を環境情報に対応づけて、メモリ25の生体変化領域に記憶し、S245に進む。   In S240, the latest running biometric information and stop biometric information are extracted from the biometric information stored in the biometric information area of the memory 25, and the difference between the running biometric information and the stop biometric information is obtained. The biochange value as the obtained result is associated with the environment information and stored in the biochange area of the memory 25, and the process proceeds to S245.

S245では、S240で記憶した生体変化値が予め規定された第1判定閾値以下であるか否かを判断し、肯定判断した場合にはS285に進み、否定判断した場合にはS250に進む。なお、第1判定閾値は、最新の走行時生体情報と停止時生体情報とが同じ値であるとみなすことが可能な値(即ち、ゼロ近傍値)をいう。   In S245, it is determined whether or not the biological change value stored in S240 is equal to or less than a first determination threshold value that is defined in advance. If an affirmative determination is made, the process proceeds to S285, and if a negative determination is made, the process proceeds to S250. Note that the first determination threshold is a value (that is, a value near zero) that allows the latest running biometric information and stop biometric information to be regarded as the same value.

S250では、メモリ25の生体変化領域に記憶されている生体変化値に対応づけられている環境情報のうち、前回の本処理で記憶した生体変化値(以下、前回変化値という)に対応するものと、S240で記憶した生体変化値に対応するものとが一致するか否かを判断する。ここで、両者の環境情報が、一致した場合には、走行環境に変化がないものとみなしてS255に進み、一方、一致しない場合には、走行環境に変化があるものとみなしてS260に進む。   In S250, among the environment information associated with the biological change value stored in the biological change area of the memory 25, the information corresponding to the biological change value stored in the previous main process (hereinafter referred to as the previous change value). And whether the one corresponding to the biological change value stored in S240 matches. Here, if the two pieces of environmental information match, it is considered that there is no change in the driving environment, and the process proceeds to S255. On the other hand, if they do not match, the driving environment is assumed to have changed, and the process proceeds to S260. .

S255では、前回変化値を、運転者の生体状態を判定するための比較基準となる判定基準値に設定し、S265に進む。
一方、S260では、メモリ25の生体変化領域に記憶されている生体変化値の中から、S240で記憶した生体変化値と同一の環境情報が対応付けられているもの(以下、環境変化値という)を抽出して、この環境変化値を判定基準値に設定し、S265に進む。
In S255, the previous change value is set to a determination reference value serving as a comparison reference for determining the biological state of the driver, and the process proceeds to S265.
On the other hand, in S260, the biometric change values stored in the biometric change area of the memory 25 are associated with the same environmental information as the biometric change values stored in S240 (hereinafter referred to as environment change values). Is extracted, and this environmental change value is set as the criterion value, and the process proceeds to S265.

S265では、S240で記憶した生体変化値が、S255又はS260で設定された判定基準値を下回るか否かを判断し、肯定判断した場合にはS285に進み、否定判断した場合にはS270に進む。   In S265, it is determined whether or not the biological change value stored in S240 is lower than the determination reference value set in S255 or S260. If an affirmative determination is made, the process proceeds to S285. If a negative determination is made, the process proceeds to S270. .

S270では、S240で記憶した生体変化値と、S255又はS260で設定された判定基準値との差が、予め設定された第2判定閾値を超えるか否かを判断し、肯定判断した場合にはS285に進み、否定判断した場合にはS275に進む。なお、第2判定閾値は、生体変化値と判定基準値とが大きく異なるとみなすことが可能な値(例えば、過去の判定基準値の平均値から1〜3割減じた値)をいう。   In S270, it is determined whether the difference between the biological change value stored in S240 and the determination reference value set in S255 or S260 exceeds a preset second determination threshold value. The process proceeds to S285, and if a negative determination is made, the process proceeds to S275. The second determination threshold is a value that can be regarded as a difference between the biological change value and the determination reference value (for example, a value obtained by subtracting 10 to 30% from the average value of past determination reference values).

S275では、運転者の状態を表す状態フラグが、運転者の生体状態が正常であることを示す0に設定されているか否かを判断し、肯定判断した場合にはS205に戻り、否定判断した場合には、状態フラグが1に設定されているものとみなしてS280に進む。   In S275, it is determined whether or not the state flag indicating the driver's state is set to 0 indicating that the driver's biological state is normal. If an affirmative determination is made, the process returns to S205 and a negative determination is made. In this case, it is assumed that the status flag is set to 1, and the process proceeds to S280.

S280では、状態フラグを0に設定(変更)し、本処理を終了する。
一方、先のS245又はS270で肯定判断した場合に進むS285では、状態フラグを、運転者の生体状態が異常であることを示す1に設定し、本処理を終了する。
In S280, the status flag is set (changed) to 0, and this process ends.
On the other hand, in S285 that proceeds when an affirmative determination is made in the previous S245 or S270, the state flag is set to 1 indicating that the driver's biological state is abnormal, and the present process ends.

つまり、本処理では、図4に示すように、車両の走行時には、走行時の生体情報と、車両の前回停止時の生体情報との差(以下、走行時測定差という)を、前回の本処理で記憶した走行時測定差に基づいて判定し、車両の停止時には、停止時の生体情報と、車両の前回走行時の生体情報との差(以下、停止時測定差という)を、前回の本処理で記憶した停止時測定差に基づいて判定することになる。   That is, in this process, as shown in FIG. 4, when the vehicle is traveling, the difference between the biological information at the time of traveling and the biological information at the time of the previous stop of the vehicle (hereinafter referred to as a measurement difference during traveling) is calculated. Judgment is made based on the measurement difference at the time of traveling stored in the processing. When the vehicle is stopped, the difference between the biological information at the time of stopping and the biological information at the time of the previous driving of the vehicle (hereinafter referred to as the measurement difference at the time of stopping) The determination is made based on the measurement difference at the time of stop stored in this process.

また、本処理では、同じ走行環境下であれば、生体変化値(走行時測定差,停止時測定差)が第1判定閾値(ゼロ近傍値)以下である場合、又は、生体変化値が判定基準値を下回り、且つ、生体変化値と判定基準値との差が第2判定閾値(判定基準値の7〜9割)を超える場合に、運転者の生体状態が異常であると判定している。   Further, in this process, if the same driving environment is used, the living body change value (running measurement difference, stop measurement difference) is equal to or less than the first determination threshold (near zero value), or the living body change value is determined. When the difference between the biological change value and the determination reference value exceeds the reference value and exceeds the second determination threshold (70 to 90% of the determination reference value), it is determined that the driver's biological condition is abnormal Yes.

<車両制御処理>
次に、運転者支援処理のS120で実行される車両制御処理を、図5に示すフローチャートに沿って詳しく説明する。
<Vehicle control processing>
Next, the vehicle control process executed in S120 of the driver assistance process will be described in detail along the flowchart shown in FIG.

まず、本処理が開始されると、S310では、先の運転者支援処理で設定された状態フラグが1であるか否かを判断し、肯定判断した場合には、運転者の生体状態が異常であるとみなしてS320に進み、否定判断した場合には、運転者の生体状態が異常から正常に変化したとみなしてS360に進む。   First, when this process is started, in S310, it is determined whether or not the state flag set in the previous driver assistance process is 1, and if the determination is affirmative, the biological state of the driver is abnormal. If the determination is negative and the driver's biological condition has changed from abnormal to normal, the process proceeds to S360.

S320では、先の運転者支援処理で設定された運転フラグが0であるか否かを判断し、肯定判断した場合には、車両が走行中であるとみなしてS330に進み、否定判断した場合には、車両が停止中であるとみなしてS340に進む。   In S320, it is determined whether or not the driving flag set in the previous driver assistance process is 0. If the determination is affirmative, it is considered that the vehicle is traveling and the process proceeds to S330 and a negative determination is made. If the vehicle is stopped, the process proceeds to S340.

S330では、音声出力部27を介して警告音による報知を行い、S350に進む。
一方、S340では、車内LAN10を介して、温度調整を指示するコマンドをエアコンECU3に送信すると共に、音量調整を指示するコマンドをナビゲーション装置4に送信し、S350に進む。
In S330, a warning sound is notified through the audio output unit 27, and the process proceeds to S350.
On the other hand, in S340, a command for instructing temperature adjustment is transmitted to the air conditioner ECU 3 via the in-vehicle LAN 10, and a command for instructing volume adjustment is transmitted to the navigation device 4, and the process proceeds to S350.

S350では、表示部26および音声出力部27を介して、運転者の生体状態が異常であることを報知して、本処理を終了する。
一方、先のS310で運転者の生体状態が異常から正常に変化したとみなした場合に進むS360では、表示部26および音声出力部27を介して、運転者の生体状態が正常であることを報知して、本処理を終了する。なお、このステップ(S360)は、必要に応じて行わずに本処理を終了してもよい。
In S350, it is informed through the display part 26 and the audio | voice output part 27 that a driver | operator's biological condition is abnormal, and this process is complete | finished.
On the other hand, in S360 which proceeds when it is considered that the driver's biological state has changed from abnormal to normal in S310, it is confirmed that the driver's biological state is normal via the display unit 26 and the voice output unit 27. The notification is made and the process is terminated. Note that this step (S360) may be terminated without being performed as necessary.

なお、上記実施形態において、生体センサ群21が検出手段、車速センサ11が挙動取得手段、メモリ25が記憶手段、外部センサ群22,走行ECU2,エアコンECU3,ナビゲーション装置4が環境取得手段、座席センサ群23が座席検出手段、S210〜S240が算出手段、S245〜S285が判定手段、S310〜S340が車両制御手段、S350が異常報知手段、S360が正常報知手段、S205が禁止手段に相当する。   In the above embodiment, the biosensor group 21 is the detection means, the vehicle speed sensor 11 is the behavior acquisition means, the memory 25 is the storage means, the external sensor group 22, the travel ECU 2, the air conditioner ECU 3, the navigation device 4 is the environment acquisition means, and the seat sensor. The group 23 corresponds to seat detection means, S210 to S240 correspond to calculation means, S245 to S285 correspond to determination means, S310 to S340 correspond to vehicle control means, S350 corresponds to abnormality notification means, S360 corresponds to normal notification means, and S205 corresponds to prohibition means.

<本実施形態の効果>
以上説明したように、本実施形態の運転者状態判定装置1では、運転者状態判定処理によって、運転状態(走行,停止)に応じて当然異なるべき生体情報がほぼ同じである場合、運転者の生体状態(運転者状態)が異常であると判定する。
<Effect of this embodiment>
As described above, in the driver state determination device 1 of the present embodiment, when the biological information that should be different according to the driving state (running, stop) is substantially the same in the driver state determination process, It is determined that the biological state (driver state) is abnormal.

したがって、本実施形態の運転者状態判定装置1によれば、個々の生体情報(走行時生体情報,停止時生体情報)が正常範囲内の値であっても、正常範囲内での生体情報の変化を捉えることができ、ひいては、精度よく運転者状態の判定を行うことができる。   Therefore, according to the driver state determination device 1 of the present embodiment, even if each piece of biological information (biological information at the time of travel, biological information at the time of stoppage) is a value within the normal range, The change can be captured, and as a result, the driver state can be determined with high accuracy.

また、運転者状態判定処理では、走行環境が似ていればあまり変わるはずのない生体変化値(走行時生体情報と停止時生体情報との差)が大きく異なる場合にも、運転者状態が異常であると判定する。このため、走行時生体情報と停止時生体情報とが異なる値である場合であっても、運転者状態の異常を捉えることができ、ひいては、運転者状態の判定精度を向上させることができる。   In addition, in the driver state determination process, the driver state is abnormal even when the biological change value (the difference between the biological information at the time of traveling and the biological information at the time of stoppage) that should not change much if the driving environment is similar is greatly different. It is determined that For this reason, even if it is a case where the biometric information at the time of driving | running | working and the biometric information at the time of a stop are different values, abnormality of a driver | operator state can be caught, and the determination precision of a driver | operator state can be improved by extension.

なお、運転者状態判定処理では、車両の走行環境(道路種別,車両外部の照度)に変化があれば、過去に記憶した生体変化値の中から、同一の環境情報が対応づけられているもの(環境測定値)を判定基準値に設定するため、測定条件を揃えて現在の生体変化値と過去の生体変化値とを比較することができ、ひいては、運転者状態の判定精度をより向上させることができる。   In the driver state determination process, if there is a change in the driving environment of the vehicle (road type, illuminance outside the vehicle), the same environmental information is associated with the biometric change value stored in the past. Since the (environmental measurement value) is set as the determination reference value, it is possible to compare the current biological change value and the past biological change value by aligning the measurement conditions, thereby further improving the determination accuracy of the driver state. be able to.

[他の実施形態]
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
[Other Embodiments]
As mentioned above, although embodiment of this invention was described, this invention is not limited to the said embodiment, In the range which does not deviate from the summary of this invention, it is possible to implement in various aspects.

例えば、上記実施形態の運転者状態判定処理では、走行時生体情報を算出するための生体信号データとして、一定時間内における最大値を用いているが、これに限らず、一定時間内における平均値を用いてもよいし、標準偏差により表されるトレンド値を用いてもよい。   For example, in the driver state determination process of the above embodiment, the maximum value within a certain time is used as the biological signal data for calculating the traveling biological information. However, the present invention is not limited to this, and the average value within the certain time is used. Or a trend value represented by a standard deviation may be used.

一方、上記実施形態の運転者状態判定処理では、停止時生体情報を算出するための生体信号データとして、規定時間経過時の値を用いているが、これに限らず、車両停止後の一定時間内における値(最大値,平均値,トレンド値)を用いてもよい。   On the other hand, in the driver state determination process of the above embodiment, the value at the time when the specified time has elapsed is used as the biological signal data for calculating the biological information at the time of stop. Values within the range (maximum value, average value, trend value) may be used.

また、上記実施形態の運転者状態判定処理では、走行環境に変化がない場合の判定基準値として、前回測定値を設定しているが、これに限らず、初回に本処理で記憶した生体変化値(初回測定値)を設定してもよい。   In the driver state determination process of the above-described embodiment, the previous measurement value is set as the determination reference value when there is no change in the driving environment. A value (initial measurement value) may be set.

なお、上記実施形態の運転者状態判定処理では、走行環境に変化がある場合の判定基準値である環境測定値として、生体変化値と同一の環境情報が対応付けられているものを用いているが、これに限らず、環境情報が極力近似するものを用いてもよい。   In the driver state determination process of the above-described embodiment, the environment measurement value that is the determination reference value when there is a change in the driving environment is associated with the same environment information as the biological change value. However, the present invention is not limited to this, and environmental information that approximates as much as possible may be used.

ちなみに、上記実施形態の環境情報は、周辺情報(車両の有無),温度情報,道路情報(道路種別),外部情報であるが、これに限定されるものではなく、例えば、周辺情報としての歩行者の有無や、地図情報としての郊外地/市街地の違い、ウインドガラスの曇りの有無、挙動情報としての車両挙動(加減速/定速,高速/低速)の違いなどであってもよい。   Incidentally, the environmental information of the above embodiment is surrounding information (presence / absence of vehicle), temperature information, road information (road type), and external information, but is not limited to this, for example, walking as surrounding information The presence / absence of a person, the difference between suburban areas / urban areas as map information, the presence / absence of fogging of wind glass, and the difference in vehicle behavior (acceleration / deceleration / constant speed, high speed / low speed) as behavior information may be used.

ところで、上記実施形態の運転者状態判定処理では、走行環境に変化がないときに運転者状態が異常であると判定するための条件として、生体変化値と判定基準値との差が第2判定基準値を超える場合であれば、生体変化値が判定基準値を下回ることを必須としているが、これに限定されるものではなく、生体変化値が判定基準値を上回ることを加えてもよい。   By the way, in the driver state determination process of the above embodiment, the difference between the biological change value and the determination reference value is the second determination as a condition for determining that the driver state is abnormal when there is no change in the driving environment. If it exceeds the reference value, it is essential that the biological change value falls below the determination reference value. However, the present invention is not limited to this, and it may be added that the biological change value exceeds the determination reference value.

この場合、車両の走行時における運転者の過度な緊張を検出することができる。このため、車両制御処理としては、警告音による報知の代わりに、警告画面の表示や音声メッセージによって運転者に車両の停止を促したり、車両を停止させるよう自動的にブレーキを作動させて車両を徐々に減速させたりする安全確保制御を行ってもよい。或いは、エアコンの温度調整やオーディオの音量調整を行なってもよい。   In this case, it is possible to detect an excessive tension of the driver when the vehicle is traveling. For this reason, as a vehicle control process, instead of notifying by warning sound, the driver is prompted to stop the vehicle by displaying a warning screen or a voice message, or the brake is automatically operated to stop the vehicle. You may perform safety ensuring control which decelerates gradually. Alternatively, the temperature of the air conditioner and the volume of the audio may be adjusted.

さらに言うと、上記実施形態の運転者状態判定処理では、運転者の生体状態の判定を、走行時生体情報と停止時生体情報との差(生体変化値)や、生体変化値と判定基準値との差に基づいて行っているが、これらに限定されるものではなく、走行時生体情報と停止時生体情報との比や、生体変化値と判定基準値との比に基づいて行ってもよい。   Furthermore, in the driver state determination process of the above embodiment, the determination of the biological state of the driver is performed by using a difference (biological change value) between the biological information when traveling and the biological information when stopped, or a biological change value and a determination reference value. However, the present invention is not limited to these, and it may be performed based on the ratio between the biological information when traveling and the biological information when stopped, or the ratio between the biological change value and the determination reference value. Good.

また、上記実施形態の車両制御処理では、車両の停止時には温度調整や音量調整を行うための制御を行っているが、これに限定されるものではなく、例えば、リラックス効果のある香りを放出する芳香装置や運転座席を振動させる振動装置に対して、それぞれアクチュエートさせるための制御を行ってもよい。さらに、走行前の運転者を覚醒させるための音声出力を行ってもよい。   Further, in the vehicle control process of the above embodiment, control for performing temperature adjustment and volume adjustment is performed when the vehicle is stopped. However, the present invention is not limited to this. For example, a relaxing scent is emitted. Control for actuating each of the vibration device that vibrates the fragrance device or the driver's seat may be performed. Furthermore, you may perform the audio | voice output for awakening the driver | operator before driving | running | working.

なお、上記実施形態の生体センサ群21は、ステアリングに設置されているが、これに限定されるものではなく、例えば被測定者の手首に巻かれるように形成されたベルト式のものであってもよいし、シート内蔵式などの非接触型のものを用いて他の車載装置に設置されてもよい。   In addition, although the biosensor group 21 of the said embodiment is installed in steering, it is not limited to this, For example, it is a belt-type thing formed so that it might be wound around a wrist of a to-be-measured person. Alternatively, a non-contact type such as a seat built-in type may be used and installed in another in-vehicle device.

また、上記実施形態の座席センサ群23は、シートセンサ23aと室内カメラ23bとから構成されているが、運転者の座席位置を検出するものであればよく、例えば赤外線を用いた距離センサやイメージセンサ等で構成されてもよい。或いは、生体センサ群21が座席センサ群23の機能を実現するように構成されていてもよい。   In addition, the seat sensor group 23 of the above-described embodiment includes the seat sensor 23a and the indoor camera 23b. However, the seat sensor group 23 only needs to detect a driver's seat position. For example, a distance sensor or an image using infrared rays. You may comprise with a sensor etc. Alternatively, the biological sensor group 21 may be configured to realize the function of the seat sensor group 23.

本発明が適用された運転者状態判定装置の構成、及び、運転者状態判定装置が接続される車内LANの概要を示すブロック図The block diagram which shows the outline | summary of the structure of the driver state determination apparatus to which this invention was applied, and the in-vehicle LAN to which a driver state determination apparatus is connected 制御部20のCPUが実行する運転者支援処理の詳細を示すフローチャート。The flowchart which shows the detail of the driver | operator assistance process which CPU of the control part 20 performs. 運転者支援処理で実行される運転者状態判定処理の詳細を示すフローチャート。The flowchart which shows the detail of the driver | operator state determination process performed by a driver | operator assistance process. 運転者状態判定処理による判定方法を説明するためのグラフ。The graph for demonstrating the determination method by a driver state determination process. 運転者支援処理で実行される車両制御処理の詳細を示すフローチャート。The flowchart which shows the detail of the vehicle control process performed by a driver | operator assistance process.

符号の説明Explanation of symbols

1…運転者状態判定装置、2…走行ECU、3…エアコンECU、4…ナビゲーション装置、10…車内LAN、11…車速センサ、12…加速度センサ、13…周辺カメラ、14…エアコン、15…GPS装置、16…地図データ入力器、20…制御部、21…生体センサ群、21a…心電センサ、21b…脈波センサ、22…外部センサ群、22a…ライトセンサ、22b…レインセンサ、23…座席センサ群、23a…シートセンサ、23b…室内カメラ、24…バスコントローラ、25…メモリ、26…表示部、27…音声出力部。   DESCRIPTION OF SYMBOLS 1 ... Driver state determination apparatus, 2 ... Traveling ECU, 3 ... Air conditioner ECU, 4 ... Navigation apparatus, 10 ... In-vehicle LAN, 11 ... Vehicle speed sensor, 12 ... Acceleration sensor, 13 ... Peripheral camera, 14 ... Air conditioner, 15 ... GPS Device: 16 ... Map data input device, 20 ... Control unit, 21 ... Biosensor group, 21a ... Electrocardiographic sensor, 21b ... Pulse wave sensor, 22 ... External sensor group, 22a ... Light sensor, 22b ... Rain sensor, 23 ... Seat sensor group, 23a ... seat sensor, 23b ... indoor camera, 24 ... bus controller, 25 ... memory, 26 ... display unit, 27 ... audio output unit.

Claims (16)

車両の運転者からの生体信号を検出する検出手段と、
前記車両が走行または停止のいずれの状態であるかを示す挙動情報を取得する挙動取得手段と、
前記検出手段により検出した前記生体信号に基づく生体情報と、前記挙動取得手段により取得した前記挙動情報とに基づいて、前記車両の走行時に対応する前記生体情報である走行時生体情報と、前記車両の停止時に対応する前記生体情報である停止時生体情報とを設定し、該走行時生体情報と該停止時生体情報との変化の度合を表す生体変化値を算出する算出手段と、
前記算出手段により算出した前記生体変化値に基づいて、前記運転者の生体状態を判定する判定手段と、
を備え
前記算出手段は、前記車両が停止してから前記運転者が落ち着くために予め確保された規定時間経過時に、前記検出手段により検出された前記生体信号に基づく前記生体情報を、前記停止時生体情報として設定することを特徴とする運転者状態判定装置。
Detecting means for detecting a biological signal from a driver of the vehicle;
Behavior acquisition means for acquiring behavior information indicating whether the vehicle is running or stopped;
Based on the biological information based on the biological signal detected by the detection means and the behavior information acquired by the behavior acquisition means, the biological information at the time of traveling, which is the biological information corresponding to the traveling time of the vehicle, and the vehicle Calculation means for setting biometric information at the time of stop corresponding to the biometric information at the time of stopping, and calculating a biometric change value representing a degree of change between the biometric information at the time of travel and the biometric information at the time of stop;
A determination unit that determines a biological state of the driver based on the biological change value calculated by the calculation unit;
Equipped with a,
The calculation means calculates the biological information based on the biological signal detected by the detection means when the specified time has elapsed in advance so that the driver can settle down after the vehicle stops. A driver state determination device characterized by being set as follows.
前記生体信号は、心電位または脈波であることを特徴とする請求項1に記載の運転者状態判定装置。   The driver state determination apparatus according to claim 1, wherein the biological signal is a cardiac potential or a pulse wave. 前記生体変化値は、前記走行時生体情報と前記停止時生体情報との差であることを特徴とする請求項1または請求項2に記載の運転者状態判定装置。   The driver state determination device according to claim 1, wherein the biological change value is a difference between the traveling biological information and the stopping biological information. 前記判定手段は、前記生体変化値が予め規定された第1の判定閾値以下である場合、前記運転者の生体状態が異常であると判定することを特徴とする請求項3に記載の運転者状態判定装置。   4. The driver according to claim 3, wherein the determination unit determines that the biological state of the driver is abnormal when the biological change value is equal to or less than a first determination threshold value defined in advance. State determination device. 前記生体変化値を記憶する記憶手段を備え、
前記判定手段は、前記記憶手段により記憶した前記生体変化値を判定基準値として設定し、前記生体変化値と前記判定基準値との変化の度合が、予め設定された第2の判定閾値を超える場合、前記運転者の生体状態が異常であると判定することを特徴とする請求項3に記載の運転者状態判定装置。
Storage means for storing the biological change value;
The determination means sets the biological change value stored by the storage means as a determination reference value, and the degree of change between the biological change value and the determination reference value exceeds a preset second determination threshold value. In this case, it is determined that the driver's biological condition is abnormal.
前記判定手段は、前回の前記判定手段による判定時に使用した前記生体変化値を、前記判定基準値として設定することを特徴とする請求項5に記載の運転者状態判定装置。   The driver state determination device according to claim 5, wherein the determination unit sets the biological change value used at the time of the previous determination by the determination unit as the determination reference value. 前記車両の走行環境を表す環境情報を取得する環境取得手段を備え、
前記記憶手段は、前記生体変化値を、前記環境取得手段により取得した前記環境情報に対応づけて記憶し、
前記判定手段は、前記環境取得手段により取得した前記環境情報に対応づけられている前記生体変化値を、前記判定基準値として設定することを特徴とする請求項5に記載の運転者状態判定装置。
Comprising environment acquisition means for acquiring environment information representing the traveling environment of the vehicle;
The storage means stores the biological change value in association with the environment information acquired by the environment acquisition means,
6. The driver state determination device according to claim 5, wherein the determination unit sets the biological change value associated with the environment information acquired by the environment acquisition unit as the determination reference value. .
前記走行環境は、前記車両の周囲に他車両が存在するか否かであることを特徴とする請求項7に記載の運転者状態判定装置。   8. The driver state determination apparatus according to claim 7, wherein the traveling environment is whether or not another vehicle exists around the vehicle. 前記算出手段は、一定時間内に前記検出手段により検出された前記生体信号から抽出された抽出生体値に基づく前記生体情報を、前記走行時生体情報および前記停止時生体情報として設定することを特徴とする請求項1ないし請求項8のいずれかに記載の運転者状態判定装置。   The calculating means sets the biological information based on the extracted biological value extracted from the biological signal detected by the detecting means within a predetermined time as the running biological information and the stopped biological information. The driver state determination device according to any one of claims 1 to 8. 前記抽出生体値は、前記一定時間内における前記生体信号の最大値であることを特徴とする請求項9に記載の運転者状態判定装置。   The driver state determination apparatus according to claim 9, wherein the extracted biological value is a maximum value of the biological signal within the predetermined time. 前記抽出生体値は、前記一定時間内における前記生体信号の平均値であることを特徴とする請求項9に記載の運転者状態判定装置。   The driver state determination apparatus according to claim 9, wherein the extracted biological value is an average value of the biological signals within the predetermined time. 前記判定手段により前記運転者の生体状態が異常であると判定した場合、前記運転者の生体状態が異常であることを報知する異常報知手段を備えることを特徴とする請求項1ないし請求項11のいずれかに記載の運転者状態判定装置。 If by the determining means biological condition of the driver is determined to be abnormal, claims 1 to 11, characterized in that it comprises an abnormality informing means for informing that the biological condition of the driver is abnormal The driver state determination apparatus in any one of. 前記判定手段により前記運転者の生体状態が異常であると判定した場合、前記挙動情報に応じた車両制御を行う車両制御手段を備えることを特徴とする請求項1ないし請求項11のいずれかに記載の運転者状態判定装置。 If the biological condition of the driver is determined to be abnormal by the determining means, to any of claims 1 to 11, characterized in that it comprises a vehicle control unit for performing vehicle control according to the behavior information The driver state determination device described. 前記車両制御手段は、車載エアコンの温度調整、又は、車載オーディオ装置の音量調整を前記車両制御として行うことを特徴とする請求項13に記載の運転者状態判定装置。 The driver state determination device according to claim 13 , wherein the vehicle control unit performs temperature adjustment of an in-vehicle air conditioner or volume adjustment of an in-vehicle audio device as the vehicle control. 前記車両制御手段による前記車両制御後に、前記判定手段により前記運転者の生体状態が正常であると判定した場合、前記運転者の生体状態が正常であることを報知する正常報知手段を備えることを特徴とする請求項13または請求項14に記載の運転者状態判定装置。 After the vehicle control by the vehicle control means, provided with a normal notification means for notifying that the driver's biological condition is normal when the determination means determines that the driver's biological condition is normal. The driver state determination apparatus according to claim 13 or 14 , 前記運転者の座席位置を検出する座席検出手段と、
前記座席検出手段により前記運転者が所定位置を外れて着座していることを検出した場合、前記判定手段による前記生体状態の判定を禁止する禁止手段と、
を備えることを特徴とする請求項1ないし請求項15のいずれかに記載の運転者状態判定装置。
Seat detection means for detecting the driver's seat position;
A prohibiting unit that prohibits the determination of the biological state by the determination unit when the seat detection unit detects that the driver is sitting out of a predetermined position;
The driver state determination apparatus according to any one of claims 1 to 15 , further comprising:
JP2008062638A 2008-03-12 2008-03-12 Driver status determination device Expired - Fee Related JP4973551B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008062638A JP4973551B2 (en) 2008-03-12 2008-03-12 Driver status determination device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008062638A JP4973551B2 (en) 2008-03-12 2008-03-12 Driver status determination device

Publications (2)

Publication Number Publication Date
JP2009213768A JP2009213768A (en) 2009-09-24
JP4973551B2 true JP4973551B2 (en) 2012-07-11

Family

ID=41186287

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008062638A Expired - Fee Related JP4973551B2 (en) 2008-03-12 2008-03-12 Driver status determination device

Country Status (1)

Country Link
JP (1) JP4973551B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104427936A (en) * 2012-07-26 2015-03-18 日产自动车株式会社 Driver state estimation device and driver state estimation method

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5083284B2 (en) * 2009-08-11 2012-11-28 株式会社デンソー State estimation device
JP5607912B2 (en) * 2009-11-02 2014-10-15 株式会社吉田製作所 Medical equipment
JP5673122B2 (en) * 2011-01-19 2015-02-18 国立大学法人広島大学 Biological information detection apparatus and biological information detection method
JP5668524B2 (en) * 2011-02-22 2015-02-12 日産自動車株式会社 In-vehicle biological information measuring device
JP5640882B2 (en) * 2011-05-02 2014-12-17 富士通株式会社 Signal processing apparatus, signal processing method, and signal processing program
JP5720462B2 (en) * 2011-07-20 2015-05-20 日産自動車株式会社 Driver fatigue estimation device
JP5858157B2 (en) * 2012-06-27 2016-02-10 日産自動車株式会社 Stress state estimation device
US20150164400A1 (en) * 2012-07-26 2015-06-18 Nissan Motor Co., Ltd. Driver's fatigue degree estimation apparatus and driver's fatigue degree estimation method
JP6352028B2 (en) * 2014-04-01 2018-07-04 積水化学工業株式会社 Physical condition judging device
JP6345582B2 (en) * 2014-12-02 2018-06-20 アルパイン株式会社 Information presenting apparatus and information presenting method
US10716502B2 (en) * 2015-07-22 2020-07-21 Panasonic Intellectual Property Corporation Of America Method for predicting arousal level and arousal level prediction apparatus
CN106361270B (en) 2015-07-22 2021-05-07 松下电器(美国)知识产权公司 Arousal level prediction method and arousal level prediction device
KR102529123B1 (en) * 2015-12-30 2023-05-09 한국전자통신연구원 Apparatus and method for preventing car accident
JP6854208B2 (en) * 2017-07-26 2021-04-07 パラマウントベッド株式会社 Evaluation system
JP2019079691A (en) * 2017-10-24 2019-05-23 株式会社東芝 System and method for determining illumination lamp state

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11151231A (en) * 1997-11-20 1999-06-08 Nissan Motor Co Ltd Mental fatigue level judgement device for vehicle
JP2002065650A (en) * 2000-09-04 2002-03-05 Nissan Motor Co Ltd Fatigue determination device
JP2003070775A (en) * 2001-09-07 2003-03-11 Tachi S Co Ltd Methods to discriminate sitting posture and fatigue on vehicle seat and posture/fatigue alarm thereof
JP4252268B2 (en) * 2002-08-29 2009-04-08 パイオニア株式会社 Fatigue level determination system, fatigue level determination method, and fatigue level determination program
JP2005230381A (en) * 2004-02-23 2005-09-02 Nissan Motor Co Ltd Apparatus for judging psychological state of driver
JP2008029491A (en) * 2006-07-27 2008-02-14 Hino Motors Ltd Arousal level judging apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104427936A (en) * 2012-07-26 2015-03-18 日产自动车株式会社 Driver state estimation device and driver state estimation method

Also Published As

Publication number Publication date
JP2009213768A (en) 2009-09-24

Similar Documents

Publication Publication Date Title
JP4973551B2 (en) Driver status determination device
JP6482096B2 (en) System and method for responding to driver behavior
JP6342856B2 (en) Vehicle control device
US9558414B1 (en) Method for calculating a response time
US9776644B2 (en) On-vehicle situation detection apparatus and method
WO2017018133A1 (en) Automatic driving system for vehicles
WO2016047063A1 (en) Onboard system, vehicle control device, and program product for vehicle control device
WO2014148025A1 (en) Travel control device
US10198952B2 (en) Operator alertness monitor
US20130194099A1 (en) Driving assistance apparatus
KR102272774B1 (en) Audio navigation device, vehicle having the same, user device, and method for controlling vehicle
JP6756174B2 (en) Vehicle control device
JP2017219885A (en) Driver condition monitoring device
JP2020098468A (en) Alert device
JP2008084219A (en) Alarm device for curve in front
WO2018211966A1 (en) Driver monitoring device, driver monitoring method and program for monitoring driver
JP2010102538A (en) Drowse determining device
JP2007061484A (en) Attention attracting system
JP4760113B2 (en) Driver state estimation device
JP2018151765A (en) Visual recognition support device, method and program
JP2009277145A (en) Drowsiness awakening device
WO2018163536A1 (en) Driver body condition recovery support device, method and program
JP2018094294A (en) State estimation system
JP2018151818A (en) Failure determination device, method, and program
JP2018149942A (en) Concentration level determination device, concentration level determination method, and program for determining concentration level

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120313

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120326

R151 Written notification of patent or utility model registration

Ref document number: 4973551

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150420

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees