JP2008197821A - Doze warning device and warning method for it - Google Patents
Doze warning device and warning method for it Download PDFInfo
- Publication number
- JP2008197821A JP2008197821A JP2007030937A JP2007030937A JP2008197821A JP 2008197821 A JP2008197821 A JP 2008197821A JP 2007030937 A JP2007030937 A JP 2007030937A JP 2007030937 A JP2007030937 A JP 2007030937A JP 2008197821 A JP2008197821 A JP 2008197821A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- warning
- dozing
- detected
- seat
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、運転者の居眠りが検知された場合に運転者を覚醒させる居眠り警告装置、居眠り警告装置の警告方法に関する。 The present invention relates to a drowsiness warning device for awakening a driver when a driver's drowsiness is detected, and a warning method for a drowsiness warning device.
車両の運転者の居眠りが検知された場合、警告ランプを点灯したりブザーを吹鳴して運転者を覚醒させることが考えられるが、警告ランプやブザーは運転者が音楽をかけていたり周囲の雑音に紛れた場合等に効果がない場合がある。そこで、運転者の居眠りが検知された場合に、窓の開放、シートベルトの引き締め、ステアリングハンドル・シート振動、空調制御、等を実行する居眠り警告装置が提案されている(例えば、特許文献1参照。)。
しかしながら、窓の開放や空調の制御は元々車両の窓が開放している状態では効果がなく、オープンカーの場合には適用できない。また、シートベルトの引き締めにより一時的に覚醒したとしてもそのまま再度居眠り状態に陥る可能性がある。また、ステアリングハンドル・シートの振動は、舗装されていない路面を走行する場合や、厚手の服装をしている場合には効果が低減する。すなわち、特許文献1記載の居眠り警告装置はいずれも適用しうる範囲が狭いという問題がある。 However, the opening of windows and the control of air conditioning are not effective when the windows of the vehicle are originally open, and cannot be applied to an open car. Moreover, even if the user is temporarily awakened by tightening the seat belt, the person may fall into a dozing state again. In addition, the vibration of the steering wheel / seat is less effective when traveling on an unpaved road surface or when wearing thick clothes. That is, there is a problem that the range of applicability of any of the dozing alarm devices described in Patent Document 1 is narrow.
本発明は、上記課題に鑑み、より確実に運転者を覚醒させることができる居眠り警告装置、居眠り警告装置の警告方法を提供することを目的とする。 In view of the above problems, an object of the present invention is to provide a drowsiness warning device and a warning method for a drowsiness warning device that can wake a driver more reliably.
上記課題に鑑み、本発明は、運転者の眠気を検知した場合に運転者を覚醒させる居眠り警告装置において、運転姿勢に係る車載装置(例えば、ステアリングコンピュータ15、ステアリング装置16、パワーシートコンピュータ17,パワーシート18)と、運転者の眠気が検知された場合、車載装置に運転姿勢の変更を要求する警告制御手段と、有することを特徴とする。
In view of the above-described problems, the present invention provides an in-vehicle device (for example, a
本発明によれば、運転姿勢を変更することで身体に違和感を感じさせるので、音や振動等と異なり車両環境に関わらず確実に覚醒を促すことができる。 According to the present invention, since the body feels uncomfortable by changing the driving posture, unlike a sound or vibration, awakening can be surely promoted regardless of the vehicle environment.
また、本発明の一形態において、シートの座面高さ又は前後位置の少なくとも一方の変更を要求するシート制御部を有することを特徴とする。本発明によれば、運転姿勢をシートの座面高さ又は前後位置により変更することができる。 In one embodiment of the present invention, a seat control unit that requests a change in at least one of a seat seat height or a front-rear position is provided. According to the present invention, the driving posture can be changed depending on the seat seat height or the front-rear position.
また、本発明の一形態において、ステアリングのテレスコピック位置又はチルト位置の少なくとも一方の変更を要求するステアリング制御部を有する、ことを特徴とする。 In one embodiment of the present invention, a steering control unit that requests a change in at least one of a telescopic position and a tilt position of the steering is provided.
本発明によれば、運転姿勢をステアリングのテレスコピック位置又はチルト位置により変更することができる。シート位置を変更する場合と比較して、車載装置と運転者との距離は変化しないので、運転者が体を動かして車載装置との距離を比較する必要がなく、すぐに車両を操作することができる。 According to the present invention, the driving posture can be changed by the telescopic position or the tilt position of the steering. Compared to changing the seat position, the distance between the in-vehicle device and the driver does not change, so the driver does not have to move the body and compare the distance to the in-vehicle device, and operate the vehicle immediately Can do.
より確実に運転者を覚醒させることができる居眠り警告装置、居眠り警告装置の警告方法を提供することができる。 It is possible to provide a drowsiness warning device and a drowsiness warning device warning method that can wake the driver more reliably.
以下、本発明を実施するための最良の形態について、図面を参照しながら実施例を挙げて説明する。 Hereinafter, the best mode for carrying out the present invention will be described with reference to the accompanying drawings.
本実施形態の居眠り警告装置10は、運転者の居眠りを検知した場合、運転姿勢を変更させたり又は室温を調整したりすることで、運転者に違和感を感じさせ覚醒を促す。運転姿勢は直接運転者に作用するものなので、警報音や振動などと異なり車両環境に関わらず確実に警告することができる。なお、運転姿勢には運転者のシートの調整により定まるものだけでなく、ステアリング位置の調整により定まるものを含む。
The
図1は、本実施形態の居眠り警告装置10のブロック図の一例を示す。居眠り警告装置10は居眠り検知装置20及び警告装置30を備え、居眠り検知装置20は、居眠り又は眠気を検知した場合に警告装置30に運転者への警告を要求することで、実施例において説明する運転者への警告を実行する。なお、居眠りは比較的眠気の強い状態を、眠気は比較的眠気の弱い状態をいうことが多いが、本実施形態ではいずれも居眠りという。
FIG. 1 shows an example of a block diagram of a
始めに、居眠り検知装置20について説明する。居眠り検知装置20は、カメラ11、画像処理ECU12、生体センサ13及びドライビングサポートECU(DSS ECU(Electronic Control Unit)。以下、単にDSSという。)14を有する。
First, the
カメラ11は、例えばステアリングコラムに運転者の顔を臨むように配置される。カメラ11はCCD(Charge Coupled Device)等の光電変換素子を有し、入射した光をその強度に応じて光を光電変換し、所定の輝度階調(例えば、256階調)のデジタル画像(顔画像)を出力する。生体センサ13は、運転者の眠気を検知するためのセンサであり、例えば、脳波計、脈拍センサ、体温センサ、皮膚電位センサ等である。生体センサ13は、顔画像の画像処理を補足して居眠り検知の精度を向上させたり、単体で居眠りを検知する。
The
画像処理ECU12及びDSS14は、プログラムを実行するCPU、プログラム実行の作業領域となりまた一時的にデータを記憶するRAM、イグニションオフしてもデータを保持するEEPROM(Electronically Erasable and Programmable Read Only Memory)、データのインターフェイスとなる入出力インターフェイス、他のECUと通信する通信コントローラ、及び、プログラムを記憶するROM等がバスにより接続されたマイコンにより構成される。CPUがプログラム実行することで、顔向き検出手段12a、開閉検出手段12b、居眠り検知手段14a及び警告制御手段14bが実現される。
The
顔画像の処理による居眠り検知について簡単に説明する。図2は顔画像の画像処理例を示す図である。顔向き検出手段12aは、順次入力される顔画像から、顔の輪郭と中央線を検出し、また、開閉検出手段12bは、鼻孔位置、眼の位置を含む所定の眼球追跡領域を順に設定し、眼球追跡領域の中の眼の開閉を顔画像毎に検出する。 A brief description will be given of detection of dozing by processing of a face image. FIG. 2 is a diagram illustrating an example of face image processing. The face orientation detection means 12a detects the outline and center line of the face from the sequentially inputted face images, and the open / close detection means 12b sequentially sets a predetermined eyeball tracking region including the nostril position and the eye position. The eye opening / closing in the eyeball tracking area is detected for each face image.
顔向き検出手段12aは、顔画像から顔のおよその位置を決定するため顔の輪郭を検出する。例えば、顔向き検出手段12aは、顔画像に対し背景が静止していることを利用して、順次入力される顔画像の間で画素毎に、画素値(輝度)が所定以上に変化する画素の画素値を記憶しておく。そして、所定数の顔画像について同じ位置の画素値の差をカウントして、カウントした値の縦方向のヒストグラムを作りその積分値のピークを横方向の顔の輪郭位置とする。
The face orientation detection means 12a detects the outline of the face in order to determine the approximate position of the face from the face image. For example, the face
また、顔向き検出手段12aは、エッジ情報から顔の上下方向の輪郭を検出する。エッジ情報により、顔のパーツである、眉、まぶた、鼻孔、口角、上下の唇の境、など、肌に比べ輝度の変化の大きい画素が検出される。人の顔のパーツは左右対称に配置されているので、顔向き検出手段12aは左右のエッジ情報の数がほぼ均等になるように顔の中央線を検出する。得られた中央線を追跡することで、運転者が顔を向いている方向を示す顔向き度が検出される。 The face direction detecting means 12a detects the contour of the face in the vertical direction from the edge information. Based on the edge information, the face parts such as eyebrows, eyelids, nostrils, mouth corners, upper and lower lip borders, and the like are detected. Since the parts of the human face are arranged symmetrically, the face direction detection means 12a detects the center line of the face so that the number of left and right edge information is substantially equal. By tracking the obtained center line, the degree of face orientation indicating the direction in which the driver is facing the face is detected.
そして、得られた顔の中央線から眉と推定される連続黒領域(エッジ情報で囲まれた領域)を、中央線の左右対象に検出し、これを上側の輪郭と決定する。また、眉よりも下側であって顔の中央線を跨ぎ所定以上に連続したエッジ情報を上下の唇の境とみなし、顔の下側の輪郭として決定する。このようにして、顔の輪郭位置が得られる。 Then, a continuous black region (region surrounded by edge information) estimated as eyebrows from the center line of the obtained face is detected as the left and right objects of the center line, and this is determined as the upper contour. Further, the edge information below the eyebrows and straddling the center line of the face and continuing more than a predetermined amount is regarded as the boundary between the upper and lower lips and determined as the lower contour of the face. In this way, the face contour position is obtained.
顔の輪郭が検出されたら開閉検出手段12bは、鼻孔位置に基づき眼球追跡領域を設定する。鼻孔位置は、顔の中心線をとおるやや縦長の鼻孔検出領域を2値化して、鼻孔の特徴(形状、大きさ、水平に2つ存在)を備える連続した黒画素の領域を鼻孔位置として決定する。そして、開閉検出手段12bは、鼻孔と眼の位置の関係の統計データを利用して、鼻孔位置を基準に所定の領域を眼球追跡領域として設定する。いったん、眼球追跡領域が設定された後は、その中から眼の開閉を検出することとし、眼の開閉が検出されない状態が継続すると改めて顔の輪郭から検出をやり直す。 When the face outline is detected, the open / close detection means 12b sets an eye tracking region based on the nostril position. The nostril position is determined by binarizing a slightly longer nostril detection area along the center line of the face, and determining a continuous black pixel area having nostril characteristics (shape, size, two horizontally present) as the nostril position. To do. Then, the open / close detection means 12b uses the statistical data of the relationship between the nostril and the eye position to set a predetermined area as an eyeball tracking area based on the nostril position. Once the eyeball tracking area is set, eye opening / closing is detected from the eye tracking area, and if the state where eye opening / closing is not detected continues, detection is performed again from the contour of the face.
そして、開閉検出手段12bは、眼球追跡領域の上瞼と下瞼を監視することで眼の開閉を検出する。開閉検出手段12bは、眼球追跡領域のエッジ情報を検出し、眼球追跡領域の左の画素列から順に、上から下向きに向かってエッジ情報を検索し、エッジ情報が検索できたら1つ右の画素列について同様の検索を行っていく。したがって、この検索が右端まで終われば、上瞼の画素位置が得られる。同様に、眼球追跡領域を下から上向きに向かって検索することで、下瞼の画素位置が得られる。 Then, the open / close detection means 12b detects the open / close of the eye by monitoring the upper eyelid and the lower eyelid of the eyeball tracking area. The open / close detection means 12b detects edge information of the eyeball tracking region, searches for edge information from the top to the bottom in order from the left pixel row of the eyeball tracking region, and if the edge information can be searched, the right-right pixel Do the same search for the column. Therefore, if this search is completed to the right end, the upper pixel position is obtained. Similarly, the pixel position of the lower eyelid is obtained by searching the eyeball tracking area from the bottom upward.
なお、このようにして検出された上瞼の位置が、所定数の顔画像が得られる間に大きく変わるか否かにより上瞼の位置を決定してもよい。これは、覚醒状態の運転者は所定時間毎にまばたきするが、上瞼の位置は他の眼の部分(例えば下瞼や、眉毛やメガネのフレーム)に比べてより大きく動くものであるため、上瞼の位置が大きく動く場合は上瞼の位置を正確に検出していると考えられるからである。 Note that the position of the upper eyelid may be determined based on whether or not the position of the upper eyelid detected in this way changes greatly while a predetermined number of face images are obtained. This is because the driver in an awake state blinks every predetermined time, but the position of the upper eyelid moves more compared to other eye parts (for example, lower eyelids, eyebrows and eyeglass frames) This is because it is considered that the position of the upper eyelid is accurately detected when the position of the upper eyelid moves greatly.
開閉検出手段12bは、上瞼と下瞼の画素位置の差(上下の距離)を左から順に算出し、最大となる画素数を眼の開度とする。なお、運転者が目を閉じている場合も上下の瞼の位置から同様な処理過程により眼の開度が検出される。 The open / close detection means 12b calculates the difference (vertical distance) between the upper and lower eyelid pixel positions in order from the left, and sets the maximum number of pixels as the eye opening. Even when the driver closes his eyes, the eye opening is detected from the upper and lower eyelid positions through the same process.
DSS14は顔画像毎に眼の開度を受信するので、居眠り検知手段14aは、眼の開閉を判定するための閾値と眼の開度を比較して、閾値以上であれば開状態、閾値より小さければ閉状態と判定し、閉眼が連続した場合は閉眼時間を継続して計測する。
Since the
そして、居眠り検知手段14aは閉眼時間が所定時間Ts以上となると、運転者が居眠り状態であると判定する。なお、運転者が覚醒状態から居眠り状態に移行する過程では、所定時間Tsには至らないが閉眼の頻度が徐々に増大するものであるため、所定時間(例えば30秒)間の閉眼回数をカウントし、閉眼回数が所定値以上となった場合に、居眠り又は眠気有りと判定してもよい。 Then, the dozing detection unit 14a determines that the driver is dozing when the eye-closing time is equal to or longer than the predetermined time Ts. In the process of the driver transitioning from the awake state to the dozing state, the frequency of closing the eyes gradually increases although the predetermined time Ts is not reached, so the number of times the eyes are closed for a predetermined time (for example, 30 seconds) is counted. When the number of closed eyes becomes equal to or greater than a predetermined value, it may be determined that there is a drowsiness or drowsiness.
警告装置30について説明する。警告装置30はステアリング装置16を制御するステアリングコンピュータ15、運転席のパワーシート18を駆動制御するパワーシートコンピュータ17及び警報音を吹鳴するブザー出力器21や警告ランプ22を制御するメータECU19を有する。
The
図3はステアリング装置16の概略図を示す。ステアリング装置16は電動チルト・テレスコピック機能を備え、チルト位置及びテレスコピック位置をそれぞれ独立に可変する。
FIG. 3 shows a schematic view of the
ステアリングホイール31から延びたステアリングシャフト32は、アッパコラム33,ミドルコラム39及びロアコラム38により回転可能に保持されている。アッパコラム33は、ミドルコラム39の後端に形成されたフォーク部34にチルトヒンジピン34aを介してチルト可能に取り付けられていて、アッパコラム33を、チルトヒンジピン34aを支点として適宜揺動させることにより、ステアリングホイール31のチルト位置(角度)を調節することができる。
A steering
ミドルコラム39はロアコラム38に内挿され、アッパコラム33と共に軸線方向に摺動可能になっている。したがって、車体側に固定されたロアコラム38に対してミドルコラム39を摺動させることにより、ステアリングホイール31のテレスコピック位置(高さ)を調節することができる。
The
ステアリングホイール31のチルト位置は、電動チルトアクチュエータ40によって調節される。電動チルトアクチュエータ40の電動モータ41が回転すると電動チルトアクチュエータ40が伸縮して、チルトヒンジピン34aを支点としてアッパコラム33を揺動する。
The tilt position of the
ステアリングホイール31のテレスコピック位置は、電動チルトアクチュエータ40と同じ構造の電動テレスコピックアクチュエータ35によって調節される。電動テレスコピックアクチュエータ35の電動モータ36が回転すると、電動テレスコピックアクチュエータ35が伸縮してロアコラム38と接続部であるピン37を支点にミドルコラム39がロアコラム38に対し摺動する。
The telescopic position of the
したがって、電動チルトアクチュエータ40を制御することでチルト位置が、電動テレスコピックアクチュエータ35を制御することでテレスコピック位置が、それぞれ調整される。なお、矢印A方向をチルトアップ、B方向をチルトダウン、C方向をテレスコロング、D方向をテレスコショートと称する。
Therefore, the tilt position is adjusted by controlling the
図4はパワーシート18の概略図を示す。パワーシート18は、前後位置、シートバック45のリクライニング角度、及び、シートボトム46の座面高さ(以下、これらをまとめてシート位置という)をそれぞれ制御可能になっている。
FIG. 4 shows a schematic diagram of the
前後位置調整機構47は、車体フロア47aに固定した左右一対のロアレール47bと、ロアレール47bに前後方向へ摺動可能に組付けたアッパレール47cを備え、アッパレール47cにシートボトム46が固定されている。1対のアッパレール47cにはスクリュウシャフトが同軸に配設され、1対のアッパレール47cに、伝動機構を介してシートスライドモータ47dとスクリュウシャフトが連結されている。一方、ロアレール47bにはスクリュウシャフトに螺合するナットが回転不能に取付けられている。したがって、シートスライドモータ48dを回転するとスクリュウシャフトが回転し、スクリュウシャフトと一体にアッパレール47cも前後方向へ移動する。
The front-rear
高さ調整機構48は、上枠48aと下枠48bとがX状のリンク機構48cにスライド可能に連結された構造を有し、このスライド量の範囲で車幅方向に1対のリンク機構48cがピン48eを中心にパンダグラフのように作用することで上枠48aと下枠48bの距離、すなわち高さが調整可能となっている。1対のリンク機構48cを互いに接続する軸に、ボールネジを介してバーティカルモータ48dの回転軸が接続されている。このボールネジにより、バーティカルモータ48dの回転が上枠48aの昇降動作に変換される。
The
リクライニング機構49は1対のアッパレール47に固定したロアアーム49a、ギヤボックス49cを介してロアアーム49aに前後方向へ回動可能に組付けたアッパアーム49b、アッパアーム49bに固定したリクライニングモータ49dを備え、リクライニングモータ49dを駆動することによりロアアーム49aに対してアッパアーム49bが前後方向へ回動し、これによりシートバック45のリクライニング角度を調整することができるように構成されている。
The
図1に戻り、メータECU19は、各種センサの信号、スイッチ類の信号、及び、各ECUからの要求に基づき、速度やエンジン回転数などの車両状態、半ドアなど警告をインストルメントパネルのメータ類に表示したり所定のランプを点灯して運転者に知らせる。また、ブザー出力器21は、ブザーなどの警報音を出力するための音源回路及びスピーカであり、警告ランプ22は運転者の居眠りが検知された場合に、点灯するインストルメントパネル上のランプ又はHUD(Head Up Display)の投光装置など運転者に視覚的に注意喚起するものである。
Returning to FIG. 1, the
本実施形態の居眠り警告装置10は、居眠りが検知された場合に警報音や警告ランプ22により警告すると共に、ステアリング位置又はシート位置を制御することで運転者に直接的に違和感を感じさせ覚醒を促す。
The
ところで、車両は、ミリ波レーダ装置等により、自車両の前方又は後方の障害物を検出し、ミリ波レーダを照射してから障害物に反射して帰ってくるまでの時間により障害物までの距離を、反射波の周波数変化により障害物との相対速度を検出することができる。DSS14は、障害物が検出され衝突の可能性が高くなると、ブザー出力器21による警報音の吹鳴や警告ランプ22の点灯により運転者に警告を発すると同時に、比較的小さな減速度となる制動を車両に加え注意喚起する(以下、これらを単に初期警告という)。そしてさらに衝突の可能性が増し衝突が不可避になるとシートベルトを巻き上げたり、車両を緊急制動して衝撃から乗員を保護する。
By the way, the vehicle detects obstacles in front of or behind the host vehicle with a millimeter wave radar device, etc., and the distance from the irradiation of the millimeter wave radar to the obstacle is reflected by the obstacle. The distance and the relative velocity with the obstacle can be detected by the change in the frequency of the reflected wave. When an obstacle is detected and the possibility of a collision becomes high, the
障害物が前方に存在する場合に運転者が居眠りしていると、初期警告により仮に運転者が覚醒してもすぐには対処しにくいため、居眠りが検知された場合、DSS14は初期警告を早出しする。 If the driver is asleep when there is an obstacle ahead, it will be difficult to deal with the driver immediately if the driver wakes up due to the initial warning. Take it out.
本実施例では運転姿勢の変更により運転者に違和感を与え、覚醒を促す居眠り警告装置10について説明する。
In the present embodiment, a dozing
〔シート位置の変更〕
図5は、居眠り警告装置10が居眠りを検知した場合にシート位置により運転者を覚醒させる制御手順のフローチャート図を示す。図5のフローチャート図は、例えば居眠り警告装置10がオンに設定された場合にスタートする。
[Change of seat position]
FIG. 5 shows a flowchart of a control procedure for awakening the driver based on the seat position when the
居眠り検知手段14aは、顔画像毎に検出された眼の開度を所定のしきい値と比較し閉眼状態か否かを判定し、これに基づき居眠り検知されたか否かを判定する(S10)。ここでの居眠り検知は、例えば、比較的軽い居眠りである(眠気)である。 The dozing detection means 14a compares the eye opening detected for each face image with a predetermined threshold value to determine whether the eye is closed, and based on this, determines whether the dozing is detected (S10). . The dozing detection here is, for example, a relatively light dozing (sleepiness).
居眠りが検知されない場合(S10のNo)、居眠り警告装置10はステップS10の判定を眼の開度を検出するたびに繰り返す。
When dozing is not detected (No in S10), the dozing
居眠りが検知された場合(S10のYes)、警告制御手段14bはパワーシートコンピュータ17にシート位置の変更を要求する(S20)。
When dozing is detected (Yes in S10), the warning control unit 14b requests the
シート位置の変更は、前後位置(前方又は後方)、座面高さ(高又は低)、又は、リクライニング角度(垂直に対し傾斜小又は傾斜大)、のいずれか又はこの組み合わせであってもよいが、前後位置を前方にした場合又はリクライニング角度を傾斜角小にした場合は運転者に窮屈感を感じさせることができるため好適である。 The change of the seat position may be any of the front and rear positions (front or rear), the seat height (high or low), or the reclining angle (small inclination or large inclination with respect to the vertical) or a combination thereof. However, when the front-rear position is set to the front or the reclining angle is set to a small inclination angle, it is preferable because the driver can feel a tight feeling.
また、例えば、前後位置であれば、より後方に変更することでステアリングホイール31を操作する腕がのび、より前方に変更することでステアリングホイール31を操作する腕が縮み、いずれの場合も運転者に違和感を与えることができる。また、座面高さであれば、より高い位置に変更することで視点が高くなり、より低い位置に変更することで視点が低くなり、いずれの場合も運転者に違和感を与えることができる。また、リクライニング角度であれば、より傾斜角を大きく変更することでステアリングホイール31を操作する腕がのび、より傾斜角を小さく変更することでステアリングホイール31を操作する腕が縮み、いずれの場合も運転者に違和感を与えることができる。シート位置の変更により運転者が違和感を感じた場合、運転者はシート位置を調整するスイッチを操作すると考えられるので、操作による運転者の覚醒が期待できる。
Further, for example, at the front and rear positions, the arm for operating the
なお、シート位置の変更は、前後位置、座面高さ、又は、リクライニング角度をいずれか一方に変更するのでなく、位置の変更方向を所定時間毎に交互又はランダムに切り替えてもよい。これにより、継続的にシート位置が変わることになり、運転者を効果的に覚醒させることができる。 Note that the change of the seat position may be performed alternately or randomly at every predetermined time, instead of changing the front / rear position, the seat surface height, or the reclining angle to any one of them. Accordingly, the seat position is continuously changed, and the driver can be effectively awakened.
ついで、居眠り検知手段14aは、シート位置を変更してもまだ閉眼状態が検出されるか否かを判定する(S30)。この閉眼状態は、シート位置の変更の効果がないと判定される程度の眠気に相当する閉眼である。閉眼状態が検出されない場合(S30のNo)、シート位置の変更により運転者は覚醒したと考えられるので処理を終了する。 Next, the dozing detection unit 14a determines whether or not the closed eye state is still detected even when the seat position is changed (S30). This closed eye is a closed eye corresponding to sleepiness that is determined to have no effect of changing the seat position. When the closed eye state is not detected (No in S30), it is considered that the driver has been awakened by the change of the seat position, and thus the process is terminated.
閉眼状態が検出される場合(S30のYes)、警告制御手段14bはブザー出力器21による警報音の吹鳴をメータECU19に要求する(S40)。したがって、シート位置の変更により運転者が覚醒しない場合、警報音により覚醒を促すことができる。
When the closed eye state is detected (Yes in S30), the warning control unit 14b requests the
以上のように、シート位置を変更することで、直接的に運転者に警告するので、周囲の騒音や音楽に関わらず運転者に違和感を感じさせ覚醒を促すことができる。 As described above, since the driver is directly warned by changing the seat position, the driver can feel a sense of incongruity regardless of surrounding noise and music, and can be awakened.
〔ステアリング位置の変更〕
次に、居眠り警告装置10が居眠りを検知した場合にステアリング位置により運転者を覚醒させる制御手順を図6のフローチャート図に基づき説明する。図6のフローチャート図は、例えば居眠り警告装置10がオンに設定された場合にスタートする。
[Change of steering position]
Next, a control procedure for awakening the driver by the steering position when the dozing
居眠り検知手段14aは、顔画像毎に検出された眼の開度を所定のしきい値と比較し閉眼状態か否かを判定し、これに基づき居眠り検知されたか否かを判定する(S10)。ここでの居眠り検知は、例えば、比較的軽い居眠りである(眠気)である。 The dozing detection means 14a compares the eye opening detected for each face image with a predetermined threshold value to determine whether the eye is closed, and based on this, determines whether the dozing is detected (S10). . The dozing detection here is, for example, a relatively light dozing (sleepiness).
居眠りが検知されない場合(S10のNo)、居眠り警告装置10はステップS10の判定を眼の開度を検出するたびに繰り返す。
When dozing is not detected (No in S10), the dozing
居眠りが検知された場合(S10のYes)、警告制御手段14bはステアリングコンピュータ15にステアリング位置の変更を要求する(S21)。
When dozing is detected (Yes in S10), the warning control unit 14b requests the
ステアリング位置の変更は、チルトアップ、チルトダウン、テレスコロング、テレスコショートのいずれ又はこの組み合わせであってもよいが、チルトアップ及びテレスコロングの少なくともいずれかに変更した場合は運転者に窮屈感を感じさせることができるため好適である。 The change in the steering position may be tilt up, tilt down, telesco long, telesco short, or a combination of these, but when changing to at least one of tilt up and telesco long, the driver feels cramped. This is preferable.
また、例えば、チルトアップ又はチルトダウンすれば、ステアリングホイール31を回転面と腕の操作方向の関係が変わるので、運転者に違和感を感じさせることができる。また、テレスコロングした場合には、ステアリングホイール31を操作する腕が縮むので、運転者に違和感を与えることができる。また、テレスコショートした場合には、ステアリングホイール31を操作する腕が伸びるので、運転者に違和感を与えることができる。なお、テレスコロングした場合、シート位置をより後方に変更した場合と比較して、ブレーキペダル等との距離は一定のままであるため、運転者はブレーキペダルに対する脚位置を調整することなく減速操作が可能である。
Further, for example, if the tilt up or the tilt down is performed, the relationship between the
ステアリング位置の変更は、チルトアップとチルトダウン、テレスコロングとテレスコショートを交互又はランダムに切り替えてもよい。これにより、運転者に継続的に違和感を感じさせ、運転者を効果的に覚醒させることができる。 The change of the steering position may be switched alternately or randomly between tilt up and tilt down, telescopic long and telescopic short. As a result, the driver can continuously feel a sense of incongruity and the driver can be effectively awakened.
ついで、居眠り検知手段14aは、ステアリング位置を変更してもまだ閉眼状態が検出されるか否かを判定する(S30)。この閉眼状態は、ステアリング位置の変更の効果がないと判定される程度の眠気に相当する閉眼である。閉眼状態が検出されない場合(S30のNo)、ステアリング位置の変更により運転者は覚醒したと考えられるので処理を終了する。 Next, the dozing detection unit 14a determines whether or not the closed eye state is still detected even when the steering position is changed (S30). This closed eye state is an eye closed corresponding to drowsiness to the extent that it is determined that there is no effect of changing the steering position. If the closed eye state is not detected (No in S30), it is considered that the driver has awakened due to the change in the steering position, and thus the process is terminated.
閉眼状態が検出される場合(S30のYes)、警告制御手段14bはブザー出力器21による警報音の吹鳴をメータECU19に要求する(S40)。したがって、ステアリング位置の変更により運転者が覚醒しない場合、警報音により覚醒を促すことができる。
When the closed eye state is detected (Yes in S30), the warning control unit 14b requests the
以上のように、ステアリング位置を変更することで、直接的に運転者に警告するので、周囲の騒音や音楽に関わらず運転者に違和感を感じさせ覚醒を促すことができる。なお、シート位置とステアリング位置のいずれかでなくこれらを組み合わせて変更してもよい。 As described above, since the driver is directly warned by changing the steering position, the driver feels uncomfortable regardless of the surrounding noise and music, and can be awakened. The seat position and the steering position may be changed in combination.
本実施例の居眠り警告装置10は、直接的に運転者に違和感を感じさせ覚醒を促すことができる。運転姿勢の変更は、警報音やランプ点灯と異なり他の乗員に知られずに実行できるので、同乗者に煩わしさを感じさせることが防止できる。
The
また、シート位置又はステアリング位置の変更後、運転者が覚醒したらこれらを元の位置に戻すように制御するのであれば、若干の眠気を検知した段階で警告したり、居眠りの誤検知があってもそれほど運転者が煩わしく感じないので、比較的眠気の軽い居眠りに対する警告として有効である。また、ステアリング装置16やパワーシート18をそのまま警告手段として利用できるので、覚醒のためだけに用いる新たな装置が必要なくコスト増を抑制できる。
In addition, if the driver is awakened after changing the seat position or steering position, if the control is to return these to the original position, there will be a warning when some sleepiness is detected, or there will be a false detection of dozing However, since the driver does not feel so troublesome, it is effective as a warning for a drowsiness that is relatively drowsy. Further, since the
本実施例では、室温の変更により運転者に違和感を与え、覚醒を促す居眠り警告装置10について説明する。
In the present embodiment, a
図7は、本実施例における居眠り警告装置10のブロック図の一例を示す。なお、図7において図1と同一構成部には同一の符号を付しその説明は省略する。図7の居眠り警告装置10は、警告装置30がエアコンECU23、ウィンドウモータ25を制御するボディECU24を備える。
FIG. 7 shows an example of a block diagram of the
エアコンECU23は、車内や車外の温度、設定温度、日射量、エバポレータ温度等に基づき、温度、風量、吹き出し口、コンプレッサ能力等を制御する。また、ボディECU24にはドアウィンドウ26の開閉の動力源となるウィンドウアクチュエータ25が接続されている。ウィンドウアクチュエータ25は、操作スイッチが開閉操作されている間、開方向又は閉方向にドアウィンドウ26を開閉する。また、ウィンドウアクチュエータ25はウィンドウモータの回転パルスにより位置(ガラスの上端)を検出しており、ドアウィンドウ26が上死点又は下死点に達するとドアウィンドウ26を停止する。
The
図8は、居眠り警告装置10が室温を制御して運転者に違和感を与え覚醒を促す制御手順のフローチャート図である。図8のフローチャート図は、例えば居眠り警告装置10がオンに設定された場合にスタートする。
FIG. 8 is a flowchart of a control procedure in which the
居眠り検知手段14aは、顔画像毎に検出された眼の開度を所定のしきい値と比較し閉眼状態か否かを判定し、これに基づき居眠り検知されたか否かを判定する(S10)。ここでの居眠り検知は、例えば、所定時間当たりの閉眼回数が所定値以上が否かに基く、覚醒状態から居眠り状態に移行する過程の居眠りである。 The dozing detection means 14a compares the eye opening detected for each face image with a predetermined threshold value to determine whether the eye is closed, and based on this, determines whether the dozing is detected (S10). . The dozing detection here is dozing in the process of shifting from the awake state to the dozing state based on whether or not the number of closed eyes per predetermined time is not less than a predetermined value.
居眠りが検知されない場合(S10のNo)、居眠り警告装置10はステップS10の判定を眼の開度を検出するたびに繰り返す。
When dozing is not detected (No in S10), the dozing
居眠りが検知された場合(S10のYes)、警告制御手段14bはエアコンECU23又はボディECU24に室温の変更を要求する(S22)。
When dozing is detected (Yes in S10), the warning control unit 14b requests the
室温の変更は、運転者に違和感を与えるような変更であり、エアコンを利用してもよいし、ドアウィンドウ26の開閉を利用してもよい。違和感を与えるためには不快な方向に室温を変更することが好ましいので、初夏や夏など暑さを感じやすい季節であれば、エアコンECU23は設定室温よりも室温を高く制御する。また、秋、初冬や冬など寒さを感じやすい季節であれば、エアコンECU23は設定室温よりも室温を低く制御する。
The change in the room temperature is a change that makes the driver feel uncomfortable, and an air conditioner may be used or the opening / closing of the
また、ボディECU24は、初夏や夏など暑さを感じやすい季節にドアウィンドウ26が開状態であればドアウィンドウ26を閉め、また、秋、初冬や冬など寒さを感じやすい季節にドアウィンドウ26が閉状態であればドアウィンドウ26を開放する。ドアウィンドウ26の開閉はエアコンによる室温制御よりも短時間に実行可能なので即効性が高い。なお、ドアウィンドウ26の開閉は、運転席だけでなく開閉可能な全てのドアウィンドウ26を制御することが好適である。また、降雨状態の場合、運転席のドアウィンドウ26を開放して雨音や雨滴の跳ね返りにより運転者の覚醒を促してもよい。
The
ついで、居眠り検知手段14aは、室温を制御してもまだ閉眼状態が検出されるか否かを判定する(S30)。閉眼状態が検出されない場合(S30のNo)、室温制御により運転者は覚醒したと考えられるので処理を終了する。 Next, the dozing detection unit 14a determines whether or not the closed eye state is still detected even when the room temperature is controlled (S30). If the closed eye state is not detected (No in S30), it is considered that the driver has been awakened by the room temperature control, and thus the process ends.
閉眼状態が検出される場合(S30のYes)、警告制御手段14bはブザー出力器21による警報音の吹鳴をメータECU19に要求する(S40)。したがって、室温の制御により運転者が覚醒しない場合、警報音により覚醒を促すことができる。
When the closed eye state is detected (Yes in S30), the warning control unit 14b requests the
以上のように、室温を変更することで、運転者に違和感を感じさせ覚醒を促すことができる。なお、シート位置、ステアリング位置の変更と室温制御を組み合わせて、運転者を覚醒してもよい。 As described above, by changing the room temperature, the driver can feel uncomfortable and can be awakened. In addition, the driver may be awakened by combining the change of the seat position and the steering position and the room temperature control.
本実施形態の居眠り警告装置10は、運転者に違和感を感じさせることで、確実に運転者を覚醒させることができる。
The dozing
10 居眠り警告装置
12 画像処理ECU
13 生体センサ
14 ドライビングサポートECU
14a 居眠り検知手段
14b 警告制御手段
15 ステアリングコンピュータ
16 ステアリング装置
17 パワーシートコンピュータ
18 パワーシート
19 メータECU
20 居眠り検知装置
23 エアコンECU
24 ボディECU
26 ドアウィンドウ
30 警告装置
10
13
14a Dozing detection means 14b Warning control means 15
20
24 body ECU
26
Claims (4)
運転姿勢に係る車載装置と、
運転者の眠気が検知された場合、前記車載装置に運転姿勢の変更を要求する警告制御手段と、
有することを特徴とする居眠り警告装置。 In the doze warning device that awakens the driver when the driver's sleepiness is detected,
An in-vehicle device related to the driving posture;
When the driver's sleepiness is detected, warning control means for requesting the on-vehicle device to change the driving posture;
A drowsiness warning device comprising:
居眠り検知手段が、運転者の眠気を検知するステップと、
運転者の眠気が検知された場合、警告制御手段が、運転姿勢に係る車載装置に運転姿勢の変更を要求するステップと、
有することを特徴とする居眠り警告装置の警告方法。
In the warning method of the dozing warning device that wakes up the driver when the driver's sleepiness is detected,
A step in which the drowsiness detection means detects the driver's sleepiness;
When the driver's drowsiness is detected, the warning control means requests the in-vehicle device related to the driving posture to change the driving posture; and
A drowsiness warning device warning method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007030937A JP4935398B2 (en) | 2007-02-09 | 2007-02-09 | Dozing warning device, warning method of dozing warning device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007030937A JP4935398B2 (en) | 2007-02-09 | 2007-02-09 | Dozing warning device, warning method of dozing warning device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008197821A true JP2008197821A (en) | 2008-08-28 |
JP4935398B2 JP4935398B2 (en) | 2012-05-23 |
Family
ID=39756718
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007030937A Expired - Fee Related JP4935398B2 (en) | 2007-02-09 | 2007-02-09 | Dozing warning device, warning method of dozing warning device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4935398B2 (en) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102988067A (en) * | 2012-11-01 | 2013-03-27 | 奇瑞汽车股份有限公司 | Method and device for detecting fatigue driving |
WO2016206831A1 (en) * | 2015-06-22 | 2016-12-29 | Robert Bosch Gmbh | Method and device for distinguishing blinking events and instrument glances by using an eye opening width |
JP2017197011A (en) * | 2016-04-27 | 2017-11-02 | 本田技研工業株式会社 | Vehicle control system, vehicle control method, and vehicle control program |
JP2017200822A (en) * | 2011-02-18 | 2017-11-09 | 本田技研工業株式会社 | System and method responding to driver's behavior |
JP2019006331A (en) * | 2017-06-28 | 2019-01-17 | 矢崎総業株式会社 | Vehicle roof mounting system |
US10246098B2 (en) | 2013-03-15 | 2019-04-02 | Honda Motor Co., Ltd. | System and method for responding to driver state |
DE102018117622A1 (en) | 2017-09-29 | 2019-04-04 | Subaru Corporation | ARRANGEMENT FOR PASSENGERS |
WO2020184581A1 (en) * | 2019-03-13 | 2020-09-17 | いすゞ自動車株式会社 | Vehicle control device |
US10875536B2 (en) | 2011-02-18 | 2020-12-29 | Honda Motor Co., Ltd. | Coordinated vehicle response system and method for driver behavior |
CN113570824A (en) * | 2021-07-23 | 2021-10-29 | 衡阳国脉电子科技有限公司 | Driver face recognition fatigue driving early warning equipment based on three dimensions |
US11447095B2 (en) * | 2018-12-25 | 2022-09-20 | Toyota Jidosha Kabushiki Kaisha | Alert device |
WO2023208792A1 (en) * | 2022-04-25 | 2023-11-02 | Brose Fahrzeugteile Se & Co. Kommanditgesellschaft, Bamberg | Method for operating an electromotive adjustment drive |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06297980A (en) * | 1993-04-16 | 1994-10-25 | Toyoda Gosei Co Ltd | Doze preventing device for automobile |
JP2004344613A (en) * | 2003-05-21 | 2004-12-09 | Delta Tooling Co Ltd | Seat system for driver's seat and wakefulness-restoring device |
JP2005162173A (en) * | 2003-12-05 | 2005-06-23 | Fujitsu Ten Ltd | Vehicle control system |
JP2005329800A (en) * | 2004-05-19 | 2005-12-02 | Denso Corp | In-vehicle equipment control device |
-
2007
- 2007-02-09 JP JP2007030937A patent/JP4935398B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06297980A (en) * | 1993-04-16 | 1994-10-25 | Toyoda Gosei Co Ltd | Doze preventing device for automobile |
JP2004344613A (en) * | 2003-05-21 | 2004-12-09 | Delta Tooling Co Ltd | Seat system for driver's seat and wakefulness-restoring device |
JP2005162173A (en) * | 2003-12-05 | 2005-06-23 | Fujitsu Ten Ltd | Vehicle control system |
JP2005329800A (en) * | 2004-05-19 | 2005-12-02 | Denso Corp | In-vehicle equipment control device |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11377094B2 (en) | 2011-02-18 | 2022-07-05 | Honda Motor Co., Ltd. | System and method for responding to driver behavior |
US10875536B2 (en) | 2011-02-18 | 2020-12-29 | Honda Motor Co., Ltd. | Coordinated vehicle response system and method for driver behavior |
JP2017200822A (en) * | 2011-02-18 | 2017-11-09 | 本田技研工業株式会社 | System and method responding to driver's behavior |
CN102988067A (en) * | 2012-11-01 | 2013-03-27 | 奇瑞汽车股份有限公司 | Method and device for detecting fatigue driving |
US10752252B2 (en) | 2013-03-15 | 2020-08-25 | Honda Motor Co., Ltd. | System and method for responding to driver state |
US10759438B2 (en) | 2013-03-15 | 2020-09-01 | Honda Motor Co., Ltd. | System and method for responding to driver state |
US11383721B2 (en) | 2013-03-15 | 2022-07-12 | Honda Motor Co., Ltd. | System and method for responding to driver state |
US10246098B2 (en) | 2013-03-15 | 2019-04-02 | Honda Motor Co., Ltd. | System and method for responding to driver state |
US10780891B2 (en) | 2013-03-15 | 2020-09-22 | Honda Motor Co., Ltd. | System and method for responding to driver state |
US10759437B2 (en) | 2013-03-15 | 2020-09-01 | Honda Motor Co., Ltd. | System and method for responding to driver state |
US10308258B2 (en) | 2013-03-15 | 2019-06-04 | Honda Motor Co., Ltd. | System and method for responding to driver state |
US10759436B2 (en) | 2013-03-15 | 2020-09-01 | Honda Motor Co., Ltd. | System and method for responding to driver state |
WO2016206831A1 (en) * | 2015-06-22 | 2016-12-29 | Robert Bosch Gmbh | Method and device for distinguishing blinking events and instrument glances by using an eye opening width |
CN107809952A (en) * | 2015-06-22 | 2018-03-16 | 罗伯特·博世有限公司 | For watching the method and apparatus made a distinction to blink event and instrument in the case where using eyes opening width |
US10278619B2 (en) | 2015-06-22 | 2019-05-07 | Robert Bosch Gmbh | Method and device for distinguishing blinking events and instrument gazes using an eye opening width |
JP2018526045A (en) * | 2015-06-22 | 2018-09-13 | ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング | Method and apparatus for distinguishing between blink event and instrument line of sight using opening width |
CN107809952B (en) * | 2015-06-22 | 2022-05-27 | 罗伯特·博世有限公司 | Method and apparatus for distinguishing between blinking events and instrumental viewing using eye openness |
JP2017197011A (en) * | 2016-04-27 | 2017-11-02 | 本田技研工業株式会社 | Vehicle control system, vehicle control method, and vehicle control program |
JP2019006331A (en) * | 2017-06-28 | 2019-01-17 | 矢崎総業株式会社 | Vehicle roof mounting system |
US10363870B2 (en) | 2017-09-29 | 2019-07-30 | Subaru Corporation | Passenger wake-up apparatus |
DE102018117622A1 (en) | 2017-09-29 | 2019-04-04 | Subaru Corporation | ARRANGEMENT FOR PASSENGERS |
US11447095B2 (en) * | 2018-12-25 | 2022-09-20 | Toyota Jidosha Kabushiki Kaisha | Alert device |
WO2020184581A1 (en) * | 2019-03-13 | 2020-09-17 | いすゞ自動車株式会社 | Vehicle control device |
CN113570824A (en) * | 2021-07-23 | 2021-10-29 | 衡阳国脉电子科技有限公司 | Driver face recognition fatigue driving early warning equipment based on three dimensions |
CN113570824B (en) * | 2021-07-23 | 2022-08-26 | 衡阳国脉电子科技有限公司 | Driver face recognition fatigue driving early warning equipment based on three dimensions |
WO2023208792A1 (en) * | 2022-04-25 | 2023-11-02 | Brose Fahrzeugteile Se & Co. Kommanditgesellschaft, Bamberg | Method for operating an electromotive adjustment drive |
Also Published As
Publication number | Publication date |
---|---|
JP4935398B2 (en) | 2012-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4935398B2 (en) | Dozing warning device, warning method of dozing warning device | |
JP6860271B2 (en) | Systems and methods that respond to driver behavior | |
US11713048B2 (en) | Integration of occupant monitoring systems with vehicle control systems | |
US8412410B2 (en) | Feedback control method and unit of a servo controlled system which affects the psychophysical state of a user | |
JPH09301054A (en) | Headlight device for vehicle | |
US10653350B2 (en) | Data processing device, monitoring system, awakening system, data processing method, and data processing program | |
JP2009274482A (en) | Driving support device and driving support method | |
JP4677963B2 (en) | Dozing detection device, dozing detection method | |
JP7035810B2 (en) | Awakening maintenance device | |
JP6756174B2 (en) | Vehicle control device | |
JP4773080B2 (en) | Visibility improvement support device | |
JP2005329800A (en) | In-vehicle equipment control device | |
JP5136321B2 (en) | Awakening device and awakening method | |
JP7087286B2 (en) | Awakening maintenance device | |
JP2021132999A (en) | Vehicle control device | |
WO2021020449A1 (en) | Vehicular display control device | |
JP2008197820A (en) | Doze warning device and warning method for it | |
JP2009277145A (en) | Drowsiness awakening device | |
JP2007204032A (en) | On-vehicle warning device | |
JP2021020671A (en) | Vehicle display control device | |
WO2019026553A1 (en) | Alertness maintenance device | |
JP7276083B2 (en) | Driver state estimation device | |
JP7342635B2 (en) | Driver state estimation device and driver state estimation method | |
JP7322667B2 (en) | Driver state estimation device | |
JP6773075B2 (en) | Awakening maintenance device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090601 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110111 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110524 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110721 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120124 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120206 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150302 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150302 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |