JP2016167189A - Drunken state detector and room mirror device - Google Patents
Drunken state detector and room mirror device Download PDFInfo
- Publication number
- JP2016167189A JP2016167189A JP2015046937A JP2015046937A JP2016167189A JP 2016167189 A JP2016167189 A JP 2016167189A JP 2015046937 A JP2015046937 A JP 2015046937A JP 2015046937 A JP2015046937 A JP 2015046937A JP 2016167189 A JP2016167189 A JP 2016167189A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- drunk
- time
- pupil
- light reflection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、酒気帯びを検知する酒気帯び検知装置及びこれを備えるルームミラー装置に関し、特には、瞳孔の対光反射を利用した酒気帯び検知装置及びこれを備えるルームミラー装置に関する。 The present invention relates to a drunk detection device that detects drunkness and a room mirror device including the same, and more particularly to a drunk detection device that uses light reflection of a pupil and a room mirror device including the same.
近年、自動車業界では、衝突回避機能、衝突軽減機能及び自動駐車機能等、自動車の安全運転を支援する安全運転支援機能の開発競争が盛んに行われている。しかし、これら機能は、あくまで自動車の安全運転を支援するための補助的な機能であり、根本的なヒューマンエラーの防止には至っていない。 In recent years, in the automobile industry, development competitions for safe driving support functions for supporting safe driving of automobiles such as a collision avoidance function, a collision reduction function, and an automatic parking function have been actively performed. However, these functions are only auxiliary functions for supporting safe driving of automobiles, and have not led to fundamental human error prevention.
一方、ヒューマンエラーに起因する自動車事故、特に、ドライバの飲酒運転に起因する自動車事故は、年々、増加傾向にある。そのため、飲酒運転に起因する自動車事故を未然に防止するためにも、運転前のドライバの飲酒の有無を検査することは重要となる。 On the other hand, automobile accidents caused by human errors, particularly automobile accidents caused by drunk driving by drivers, are increasing year by year. Therefore, in order to prevent a car accident caused by drunk driving, it is important to inspect whether the driver has drunk before driving.
ここで、従来の一般的な飲酒検知方法として、ドライバの呼気を採取し、呼気中のアルコール濃度を測定することで飲酒の有無を判断するアルコール成分検出装置が知られている(例えば、特許文献1参照)。 Here, as a conventional general drinking detection method, there is known an alcohol component detection device that determines the presence or absence of drinking by collecting the breath of a driver and measuring the alcohol concentration in the breath (for example, Patent Documents). 1).
しかしながら、特許文献1に記載のアルコール成分検出装置は、ドライバの呼気を採取する作業が必要であり、飲酒の有無の判断に時間が掛かるという問題がある。特に、運転前にドライバにこのような作業を行わせることは、ドライバにとって大変煩雑であり、ドライバがアルコール成分検出装置を用いて飲酒検知を行うことなく運転を開始してしまうおそれがある。 However, the alcohol component detection device described in Patent Document 1 requires a task of collecting the breath of the driver, and there is a problem that it takes time to determine whether or not alcohol is consumed. In particular, it is very troublesome for the driver to cause the driver to perform such work before driving, and the driver may start driving without performing alcohol detection using the alcohol component detection device.
そこで、本発明は、簡単に運転席に座った人物の酒気帯びを検知可能な酒気帯び検知装置及びこれを備えるルームミラー装置を提供することを目的とする。 Therefore, an object of the present invention is to provide a drunk detection device capable of easily detecting drunkness of a person sitting in a driver's seat and a room mirror device including the same.
本発明は、酒気帯び検知装置において、運転席に座った人物の目を撮影する目撮影手段と、前記運転席に座った人物の目に向けて閃光を発する閃光発射手段と、前記目撮影手段により撮影された人物の目の映像から瞳孔を検出し、前記閃光発射手段により閃光が発せられた瞳孔の対光反射時間に基づいて、前記運転席に座った人物の酒気帯びを判断する酒気帯び判断手段と、を備えたことを特徴とする。 The present invention relates to an eye picking device for photographing the eyes of a person sitting in a driver's seat, a flash emitting means for emitting a flash toward the eyes of the person sitting in the driver's seat, and the eye photographing means Detecting a pupil from a video image of a person's eyes photographed by the step, and determining an alcoholic state of a person sitting in the driver's seat based on a light reflection time of a pupil emitted by the flash emission means And a judging means.
また、本発明は、ルームミラー装置において、上述した酒気帯び検知装置と、車両の後方を映すルームミラー本体と、を備えたことを特徴とする。 In addition, the present invention is characterized in that the room mirror device includes the above-described drunkenness detection device and a room mirror body that reflects the rear of the vehicle.
本発明によれば、簡単に運転席に座った人物の酒気帯びを検知可能な酒気帯び検知装置及びこれを備えるルームミラー装置を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the drunk detection apparatus which can detect the drunk of the person who sat in the driver's seat easily, and a room mirror apparatus provided with the same can be provided.
以下、本発明の実施形態に係る酒気帯び検知装置について、図面を参照しながら説明する。以下の実施形態においては、酒気帯び検知装置の一例として、酒気帯び検知機能付きのルームミラー(以下、「ルームミラー装置」という)1を用いて説明する。 Hereinafter, a drunk detection device according to an embodiment of the present invention will be described with reference to the drawings. In the following embodiments, a description will be given using a room mirror (hereinafter, referred to as “room mirror device”) 1 with a drunk detection function as an example of a drunk detection device.
まず、本実施形態に係るルームミラー装置1の概略構成について、図1及び図2を参照しながら説明する。図1は、本発明の実施形態に係るルームミラー装置1の模式図である。図2は、本実施形態に係るルームミラー装置1の機能ブロック図である。 First, a schematic configuration of the room mirror device 1 according to the present embodiment will be described with reference to FIGS. 1 and 2. FIG. 1 is a schematic diagram of a room mirror device 1 according to an embodiment of the present invention. FIG. 2 is a functional block diagram of the room mirror device 1 according to the present embodiment.
図1に示すように、ルームミラー装置1は、車内から車両後方の車外を映すルームミラー本体10と、運転席に座った人物(以下、運転席に座った人物のことを「ドライバ」という)の酒気帯び状態を検知可能な酒気帯び検知モジュール20と、を備えている。
As shown in FIG. 1, the rearview mirror device 1 includes a
ルームミラー本体10は、略矩形状のミラー筐体11と、ミラー筐体11の正面に取り付けられた略矩形状のミラー12と、を備えている。なお、ミラー筐体11の正面とは、運転席に座ったドライバと対向する面、即ち、車両の後方を向いた面をいう。
The
ミラー筐体11は、取付け具13を介して車両のフロントガラス14に取り付けられており、取付け具13は、ミラー筐体11に取り付けられたミラー12の向きを調整可能にミラー筐体11を支持している。つまり、ルームミラー本体10は、ドライバがミラー12を見ながら取付け具13を介してミラー筐体11を動かすことで、ミラー12に映る車両後方の見やすい位置にミラー筐体11を調整可能に構成されている。
The
酒気帯び検知モジュール20は、モジュール本体21と、モジュール本体21を作動させる作動スイッチ22と、モジュール本体21と車両とを接続する接続部23と、モジュール本体21を制御する制御部(酒気帯び判断手段)24と、を備えている。
The
モジュール本体21は、ミラー筐体11の正面における運転席側の下方に配設されており、ドライバから見ると、ルームミラー本体10の右下に位置している。モジュール本体21をルームミラー本体10の右下に位置させることで、車両後方をミラー12に映す場合においても、モジュール本体21が干渉して車両後方が見えにくくなることを低減させることができる。
The module
なお、モジュール本体21は、ルームミラー本体10のミラー12をマジックミラーにして、ミラー12の裏側(ミラー筐体11とミラー12との間)に配設する構成にしてもよい。ミラー12をマジックミラーにしてモジュール本体21をミラー12の裏側に配設することで、モジュール本体21がミラー12による後方視認に干渉することが防止される。この場合、モジュール本体21は、ミラー12の略中央部の裏側に配置するとよい。ミラー12の略中央部の裏側に配置することで、ドライバがミラー12の向きを調整(以下、単に「ミラー調整」という)する際に、ドライバが間接的にモジュール本体21を見ることになり、ドライバの瞳孔の検出が容易となる。
The module
モジュール本体21は、ドライバの目を撮影する目撮影部(目撮影手段、人物特定手段)25と、ドライバに向けて閃光を発するフラッシュ光源(閃光発射手段)26と、ドライバの顔を撮影する顔撮影部(人物特定手段)27と、所定の警告音を出力するスピーカ28と、を備えている。
The module
目撮影部25は、ドライバの目に向けて近赤外線を放射する複数の近赤外線LED(赤外線光源)25aと、近赤外線が放射されたドライバの目(瞳孔や虹彩等)を撮影する近赤外線カメラ(赤外線カメラ)25bと、を備えている。複数の近赤外線LED25aは、近赤外線カメラ25bの周囲を囲むように配置されている。本実施形態においては、近赤外線カメラ25bを中央に配置し、その周りを囲むように複数の近赤外線LED25aが配設されている。目撮影部25は、近赤外線カメラ25bを囲むように複数の近赤外線LED25aを配置することで、周囲の明るさに影響されることなく、近赤外線カメラ25bでドライバの目を撮影することができる。
The eye photographing unit 25 is a near-infrared camera that photographs a plurality of near-infrared LEDs (infrared light sources) 25a that radiate near-infrared rays toward the eyes of the driver and the eyes (pupil, iris, etc.) of the driver that radiates near-infrared rays. (Infrared camera) 25b. The plurality of near-
フラッシュ光源26は、目撮影部25に隣接配置されている。顔撮影部27は、目撮影部25及びフラッシュ光源26の下方に隣接配置されている。スピーカ28は、顔撮影部27に隣接配置されている。このように、モジュール本体21は、目撮影部25、フラッシュ光源26、顔撮影部27及びスピーカ28が隣接配置されており、全体として小型化されている。
The
作動スイッチ22は、ミラー筐体11に取り付けられており、ミラー調整の際にドライバによって容易に押下可能となるように、ミラー筐体11の左側の上面から、上方に突出するように配設されている。また、作動スイッチ22は、ドライバにより押下されると、作動信号を制御部24に出力する。
The
接続部23は、車両に接続可能に構成されており、車両に接続することで、モジュール本体21に電力を供給したり、制御部24に車両情報(例えば、エンジンのオン、オフ)を提供したりすることができるようになっている。また、接続部23を車両に接続することで、制御部24による車両のエンジン始動の制限を実行することができるようになっている。
The
図2に示すように、制御部24は、セットアップ処理部24aと、瞳孔パラメータ検出部24bと、アイリス認証判定処理部24cと、正常瞳孔パラメータ保持部24dと、差分判定部24eと、エンジン停止判定部24fと、ドライバ判定部24gと、を備えている。
As shown in FIG. 2, the
セットアップ処理部24aは、作動スイッチ22が押下されることで作動スイッチ22から出力される作動信号を入力すると、瞳孔パラメータ検出部24b及びアイリス認証判定処理部24cに所定の信号を出力する。具体的には、セットアップ処理部24aは、瞳孔パラメータ検出部24bに対光反射時間測定信号を出力し、アイリス認証判定処理部24cにアイリス認証信号を出力する。
When the operation signal output from the
瞳孔パラメータ検出部24bは、セットアップ処理部24aが出力した対光反射時間測定信号を入力すると、ドライバの瞳孔の対光反射時間(瞳孔パラメータ)を計測する。具体的には、モジュール本体21の目撮影部25にドライバの目を撮影させ、ドライバの瞳孔を検出させる。なお、瞳孔の検出については、後に詳しく説明する。瞳孔が検出されると、瞳孔を撮影した状態で、フラッシュ光源26にドライバの目に向けて閃光を発射させ、瞳孔の対光反射時間を計測する。瞳孔の対光反射時間を計測すると、瞳孔パラメータ検出部24bは、計測した瞳孔の対光反射時間を差分判定部24eに出力する。
When the pupil
アイリス認証判定処理部24cは、セットアップ処理部24aが出力したアイリス認証信号を入力すると、モジュール本体21の目撮影部25にドライバの目を撮影させ、ドライバの眼球に現れる虹彩のパターンを識別し、ドライバを特定する。そして、特定したドライバのドライバ識別信号を正常瞳孔パラメータ保持部24dに出力する。なお、アイリス認証判定処理部24cは、モジュール本体21の顔撮影部27にドライバの顔を撮影させることでドライバを特定し、特定したドライバのドライバ識別信号を正常瞳孔パラメータ保持部24dに出力する構成であってもよい。
When the iris authentication determination processing unit 24c receives the iris authentication signal output from the
正常瞳孔パラメータ保持部24dは、アイリス認証判定処理部24cが出力したドライバ識別信号を入力すると、予め計測した複数の正常時の対光反射時間の中から、特定したドライバの正常時の対光反射時間を抽出する。また、正常瞳孔パラメータ保持部24dは、特定したドライバの正常時の対光反射時間がなかった場合(データとして保持していなかった場合)は、予め計測した複数の正常時の対光反射時間の平均時間を抽出する。正常瞳孔パラメータ保持部24dは、特定したドライバの正常時の対光反射時間又は正常時の対光反射平均時間を抽出すると、差分判定部24eに出力する。
When the normal pupil parameter holding unit 24d receives the driver identification signal output from the iris authentication determination processing unit 24c, the normal pupil light reflection of the identified driver is selected from a plurality of normal light reflection times measured in advance. Extract time. Further, the normal pupil parameter holding unit 24d, when there is no normal light reflection time of the identified driver (when it is not held as data), a plurality of normal light reflection times measured in advance. Extract the average time. When the normal pupil parameter holding unit 24d extracts the normal light reflection time or the normal light reflection average time of the identified driver, the normal pupil parameter holding unit 24d outputs the extracted time to the
差分判定部24eは、瞳孔パラメータ検出部24bが出力した対光反射時間と、正常瞳孔パラメータ保持部24dが出力した正常時の対光反射時間又は正常時の対光反射平均時間と、の差分を算出する。そして、差分が所定時間よりも長い場合は、ドライバが酒気帯び状態であると判定し、酒気帯び検知信号をエンジン停止判定部24fに出力する。なお、対光反射時間に基づく酒気帯び状態である旨の判定については、後に詳しく説明する。また、差分判定部24eは、ドライバが酒気帯び状態でないと判定した場合には、ドライバ判定部24gに顔認証信号を出力する。
The
エンジン停止判定部24fは、差分判定部24eが出力した酒気帯び検知信号を入力すると、車両のエンジンが稼働している場合には、エンジンを停止させ、その後のエンジン始動を制限する。
When the engine stop determination unit 24f receives the alcohol detection signal output from the
ドライバ判定部24gは、差分判定部24eが出力した顔認証信号を入力すると、顔撮影部27にドライバの顔を撮影させて、ドライバの顔を認証する。そして、ドライバ判定部24gは、ドライバが変わった場合には、セットアップ処理部24aにドライバ変更信号を出力し、セットアップ処理部24aに上述した酒気帯び検知を実行させる。
When the face determination signal output from the
ここで、上述した瞳孔の検出方法及び対光反射時間に基づく酒気帯び状態である旨の判定について、図3及び図4を参照しながら説明する。まず、撮影した目100の映像から瞳孔101を検出する瞳孔検出方法について、図3を参照しながら説明する。図3は、撮影した目100の映像から瞳孔101を検出する方法を説明する説明図である。
Here, the detection method of the above-mentioned pupil and the determination that the state is drunk based on the light reflection time will be described with reference to FIGS. 3 and 4. FIG. First, a pupil detection method for detecting the
本実施形態においては、ドライバの目100に近赤外線を照射することにより発生する角膜反射を利用して、ドライバの瞳孔101を検出する。以下、ドライバの瞳孔101の検出方法について、具体的に説明する。
In the present embodiment, the driver's
まず、複数の近赤外線LED25aでドライバの目100に向けて近赤外線を放射し、近赤外線カメラ25bでドライバの目100を撮影する。次に、図3に示すように、近赤外線カメラ25bで撮影したドライバの目100の画像から、ドライバの目100の中にある白くて丸に近い形をしたもの(略白丸)を、角膜反射の候補102a〜102dとして抽出する。このとき、角膜反射の候補として可能性のあるものはすべて抽出する。
First, near infrared rays are emitted toward the driver's
同様に、近赤外線カメラ25bで撮影したドライバの目100の画像から、ドライバの目100の中にある黒くて丸に近い形をしたもの(略黒丸)を、瞳孔の候補101a、101bとして抽出する。
Similarly, from the image of the driver's
角膜反射の候補102a〜102dを抽出すると、複数の近赤外線LED25a、近赤外線カメラ25b及び顔の位置、過去に特定した角膜反射の位置、大きさ及び形、メガネ反射等から、明らかに違うと思われる角膜反射の候補102b〜102dを削除し、最後に残った角膜反射の候補102aを角膜反射102として特定する。
When the
次に、抽出した瞳孔の候補101a、101bの中から、複数の近赤外線LED25a、近赤外線カメラ25b及び顔の位置、過去に特定した瞳孔の位置、大きさ及び形等から、明らかに違うと思われる瞳孔の候補101bを削除すると共に、特定した角膜反射102の近傍に位置する瞳孔の候補101aを瞳孔101として特定する。
Next, among the extracted
上述した方法を用いることで、例えば、ドライバの目を撮影する際に、小型で安価な近赤外線カメラ及び近赤外線LEDを用いた場合、ドライバの目を撮影した画像が暗く、不鮮明になり、瞳孔の検出が困難となる場合があるが、小型で安価な近赤外線カメラ及び近赤外線LEDを用いた場合でも、容易に瞳孔を検出することができる。 By using the above-described method, for example, when photographing a driver's eyes, if a small and inexpensive near-infrared camera and near-infrared LED are used, the image captured by the driver's eyes becomes dark and unclear, and the pupil However, the pupil can be easily detected even when a small and inexpensive near-infrared camera and near-infrared LED are used.
次に、対光反射時間に基づく酒気帯び状態である旨の判定(対光反射時間に基づく酒気帯び検知)について、図4を参照しながら説明する。図4は、対光反射における瞳孔の変化を示す図である。 Next, the determination that the state is drunken based on the light reflection time (detection of drunkenness based on the light reflection time) will be described with reference to FIG. FIG. 4 is a diagram showing changes in the pupil in the light reflection.
ここで、対光反射とは、瞳孔に光刺激が瞬間的に与えられた時、縮瞳した後に散瞳する一連の反応のことをいう。この瞳孔の挙動は、神経活動と密接に関係しており、交感神経と副交感神経それぞれの制御で行うことが知られている。 Here, the light reflection refers to a series of reactions in which the pupil is dilated after miosis when a light stimulus is momentarily given to the pupil. It is known that the behavior of the pupil is closely related to nerve activity and is performed by controlling each of the sympathetic nerve and the parasympathetic nerve.
図4は、フラッシュ光源26の照射により変化する瞳孔径と、その変化時間と、を示しており、各パラメータを以下のように規定している。
初期瞳孔径:Sinit(フラッシュ光源照射前の瞳孔の大きさ)
最大縮瞳量:ΔS(フラッシュ光源照射から最も小さい瞳孔径)
総縮瞳時間:T1(ΔSとなるまでの時間)
瞳孔径復帰時間:T2(元の瞳孔径に戻るまでの時間)
中間散瞳時間:T3(最小瞳孔径から元の瞳孔径となる過程での中間時間)
FIG. 4 shows the pupil diameter that changes due to the irradiation of the
Initial pupil diameter: Sinit (pupil size before flash light source irradiation)
Maximum pupil size: ΔS (smallest pupil diameter from flash light source irradiation)
Total miosis time: T 1 (time until ΔS)
Pupil diameter return time: T 2 (Time to return to the original pupil diameter)
Intermediate mydriatic time: T 3 (intermediate time in the process from the smallest pupil diameter to the original pupil diameter)
上記パラメータのうち、飲酒時は、特に、瞳孔径復帰時間T2及び中間散瞳時間T3が緩慢になり、正常時より反応が鈍くなる。そこで、本実施形態においては、検出した瞳孔径復帰時間T2と正常時の瞳孔径復帰時間T2´との差分、及び、検出した中間散瞳時間T3と正常時の中間散瞳時間T3´との差分、が正常時の時間の60%以上になった場合に、ドライバが酒気帯び状態であると判断する。 Of the above parameters, when drinking, especially, it slowed the pupil diameter return time T 2 and the intermediate mydriasis time T 3, the reaction is sluggish than normal. Therefore, in the present embodiment, the difference between the detected pupil diameter return time T 2 and the normal pupil diameter return time T 2 ′, and the detected intermediate mydriatic time T 3 and the normal intermediate mydriatic time T When the difference from 3 ′ is 60% or more of the normal time, the driver is determined to be drunk.
次に、上述のように構成されたルームミラー装置1の使用方法について、図5を参照しながら図6に示すフローチャートに沿って説明する。なお、ルームミラー装置1は、車両2のフロントガラス14に予め取り付けられている。また、酒気帯び検知モジュール20は、接続部23が予め車両2に接続されており、車両2のエンジンが稼働していない状態でも起動可能な状態となっている。図5は、本実施形態に係るルームミラー装置1の使用状態を模式的に示す図である。図6は、本実施形態に係るルームミラー装置1による酒気帯び検知を示すフローチャートである。
Next, a method of using the room mirror device 1 configured as described above will be described along the flowchart shown in FIG. 6 with reference to FIG. The room mirror device 1 is attached to the
図5に示すように、ドライバが運転席3に座ると、ドライバはミラー筐体11に取り付けられた作動スイッチ22を押下する。そして、ドライバはミラー筐体11を動かしながらミラー調整を行う。ドライバがミラー調整を行うことで、ドライバはミラー12を直視することになる。つまり、モジュール本体21は、ドライバと対面した状態になる。
As shown in FIG. 5, when the driver sits on the driver's
作動スイッチが押下されると、モジュール本体21が起動し、酒気帯び検知が開始される。具体的には、まず、複数の近赤外線LED25aがミラー12を見ているドライバの目に向かって、近赤外線を放射する(ステップS1)。近赤外線が放射されると、近赤外線カメラ25bがドライバの目を撮影し(ステップS2)、撮影した目の映像から瞳孔を検出する(ステップS3)。瞳孔は、上述した方法で特定される。このとき、複数の近赤外線LED25aが近赤外線カメラを囲むように配設されているので、近赤外線カメラ25bは周囲の光に影響されることなくドライバの目(瞳孔)を撮影することができる。
When the operation switch is pressed, the module
瞳孔が検出されると、フラッシュ光源26がドライバの目に向けて、閃光を発する(ステップS4)。閃光が発せられることでドライバの瞳孔は対光反射を行い、近赤外線カメラが撮影する瞳孔の映像から、対光反射の時間を計測する(ステップS5)。
When the pupil is detected, the
また、近赤外線カメラ25bによるドライバの目の映像による瞳孔の特定とは別に、ドライバの目の映像から、ドライバの虹彩のパターンを検出する(ステップS6)。虹彩パターンを検出すると、検出した虹彩パターンからドライバを特定し(ステップS7のYES)、特定したドライバの正常時の対光反射時間を抽出する(ステップS8)。一方、ドライバが特定できなかった場合には(ステップS7のNO)、予め記憶された正常時の対光反射時間の平均時間(正常時の対光反射平均時間)を抽出する(ステップS9)。 Further, apart from specifying the pupil from the driver's eye image by the near-infrared camera 25b, the driver's iris pattern is detected from the driver's eye image (step S6). When the iris pattern is detected, a driver is identified from the detected iris pattern (YES in step S7), and the normal light reflection time of the identified driver is extracted (step S8). On the other hand, if the driver cannot be identified (NO in step S7), the average time of normal light reflection time (normal light reflection average time) stored in advance is extracted (step S9).
次に、計測した対光反射時間と、特定したドライバの正常時の対光反射時間又は正常時の対光反射平均時間と、の差分から、上述した方法を用いて、ドライバが酒気帯び状態であるか否かを判定する(ステップS10、S11)。ここで、ドライバが酒気帯び状態であると判断されると(ステップS11のYES)、モジュール本体21のスピーカ28から所定の警告音が出力される(ステップS12)。これにより、ドライバは、自分が酒気帯び状態であると認識する。
Next, from the difference between the measured light reflection time and the normal light reflection time or the normal light reflection average time of the specified driver, the driver is in a drunken state using the method described above. It is determined whether or not there is (steps S10 and S11). Here, if it is determined that the driver is drunk (YES in step S11), a predetermined warning sound is output from the
そして、車両2のエンジンがかかっている状態の場合(ステップS13のYES)、車両2のエンジンをきり、エンジン始動を規制することでエンジンがかからないようにする(ステップS14、15)。一方、車両のエンジンがかかっていない状態の場合には(ステップS13のNO)、エンジン始動の規制のみを行う。これにより、ドライバが酒気帯び状態の場合には、車両の運転ができない状態になり、酒気帯び検知を終了する。
If the engine of the
一方、ドライバが酒気帯び状態でないと判断された場合(ステップS11のNO)、エンジン始動の規制等を行うことなく、酒気帯び検知を終了する。つまり、ドライバは、そのまま車両のエンジンをかけて、運転可能になる。 On the other hand, when it is determined that the driver is not in a drunk state (NO in step S11), the drunk detection is terminated without restricting engine starting or the like. That is, the driver can drive the vehicle engine as it is.
以上説明したように、本実施形態に係るルームミラー装置1は、運転席3に座った人物の瞳孔の対光反射時間に基づいて酒気帯びを検知可能になっている。そのため、例えば、運転席3に座った人物の呼気等を採取する等の作業を行うことなく、酒気帯びを検知することができる。また、呼気を吹きかけてから数分待つ等の煩わしさを解消することができる。これにより、例えば、運転席3に座った人物が酒気帯び検知を行うことなく、車両を運転してしまうことを防止することができる。その結果、ドライバによる酒気帯び運転を防止可能になり、交通事故を減少させることができる。
As described above, the room mirror device 1 according to the present embodiment is capable of detecting drunkness based on the light reflection time of the pupil of the person sitting in the driver's
また、ルームミラー装置1は、運転席3に座った人物の瞳孔の対光反射時間に基づいて酒気帯びを検知するため、個人差による酒気帯び検知のばらつきが生じにくい。つまり、安定した酒気帯び検知を行うことができる。その結果、ドライバによる酒気帯び運転を好適に防止可能になり、交通事故を減少させることができる。
In addition, since the room mirror device 1 detects alcoholic beverages based on the light reflection time of the pupil of the person sitting in the driver's
また、ルームミラー装置1は、車両の後方を映すルームミラー本体10にモジュール本体21及び作動スイッチ22が取り付けられている。そのため、例えば、運転席3に座った人物がミラー調整を行う際に、同時に酒気帯び検知を行うことができる。つまり、運転席3に座った人物が、運転前に行う通常の動作をするだけで酒気帯び検知を行うことができる。これにより、例えば、運転席3に座った人物が酒気帯び検知を行うことなく、車両を運転してしまうことを防止することができる。
In the rearview mirror device 1, a module
また、ルームミラー装置1は、酒気帯び検知モジュール20がルームミラー本体10に設けられているため、酒気帯び検知モジュール20を目立たなくすることができる。また、酒気帯び検知モジュール20を設けるための新たな場所を必要としない。
Further, the room mirror device 1 can make the
また、ルームミラー装置1は、近赤外線を放射した際の角膜反射を利用して瞳孔を検出する。そのため、例えは、安価な近赤外線カメラ及び近赤外線LED等を用いた場合でも、瞳孔を検出することができる。つまり、瞳孔を検出するに当たり、高価又は高精度な赤外線カメラや赤外線光源を用いることなく酒気帯び検知を行うことができる。これにより、安価な酒気帯び検知装置を提供することができる。 Moreover, the room mirror apparatus 1 detects a pupil using corneal reflection when near infrared rays are emitted. Therefore, for example, the pupil can be detected even when an inexpensive near-infrared camera, a near-infrared LED, or the like is used. That is, when detecting the pupil, it is possible to detect drunk without using an expensive or highly accurate infrared camera or infrared light source. Thereby, an inexpensive drunk detection device can be provided.
また、ルームミラー装置1は、酒気帯び検知のパラメータとして、瞳孔径復帰時間T2及び中間散瞳時間T3を用いている。瞳孔径復帰時間T2及び中間散瞳時間T3は、飲酒直後のみならず、飲酒後数時間以上経過しても飲酒状態を顕著に示すパラメータである。そのため、ドライバによる酒気帯び運転を好適に防止可能になり、交通事故を減少させることができる。 Also, room mirror device 1, as a parameter of drunk detection uses a pupil diameter return time T 2 and the intermediate mydriasis time T 3. Pupil diameter return time T 2 and the intermediate mydriasis time T 3 is not only immediately after drinking, even after more than a few hours after drinking is a parameter significantly indicating the drinking level. Therefore, drunk driving by the driver can be suitably prevented, and traffic accidents can be reduced.
また、ルームミラー装置1は、複数の近赤外線LED25aが近赤外線カメラ25bの周囲を囲むように配置されている。そのため、周囲の明るさ(例えば、太陽光、街灯や夜間走行中の車両の光源等の外乱光)に影響されることなく、近赤外線カメラ25bでドライバの目を撮影することができる。また、モジュール本体21も小型化することができる。
Moreover, the room mirror apparatus 1 is arrange | positioned so that the some near-infrared LED25a may surround the circumference | surroundings of the near-infrared camera 25b. Therefore, the driver's eyes can be photographed by the near-infrared camera 25b without being affected by ambient brightness (for example, ambient light such as sunlight, streetlights, and light sources of vehicles running at night). Further, the module
また、ルームミラー装置1は、ドライバの顔を撮影してドライバを認証する顔撮影部を有している。そのため、例えば、運転席に座った人物が入れ替わった場合においても、容易に酒気帯び検知を行うことができる。これにより、例えば、酒気帯び検知を行った後に、不要にドライバが入れ替わって酒気帯び検知を免れることを防止することができる。 The room mirror device 1 also includes a face photographing unit that photographs the driver's face and authenticates the driver. Therefore, for example, even when a person sitting in the driver's seat is changed, it is possible to easily detect drunkenness. Thereby, for example, it is possible to prevent the driver from being unnecessarily replaced and avoiding the detection of drunkness after performing drunk detection.
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されない。 As mentioned above, although embodiment of this invention was described, this invention is not limited to embodiment mentioned above. In addition, the effects described in the embodiments of the present invention only list the most preferable effects resulting from the present invention, and the effects of the present invention are not limited to those described in the embodiments of the present invention.
例えば、本実施形態においては、酒気帯び検知装置の一例として、ルームミラー装置1を用いて説明したが、本発明はこれに限定されない。酒気帯び検知装置は、車内におけるルームミラー以外の他の部分(例えば、ハンドルやメータ周り)に酒気帯び検知モジュールを設ける構成であってもよい。また、酒気帯び検知装置は、例えば、ダッシュボード上、サンバイザ、既設のルームミラー、Aピラー及びフロントガラス等に直接取り付け可能な構成であってもよい。 For example, in the present embodiment, the room mirror device 1 has been described as an example of a drunk detection device, but the present invention is not limited to this. The configuration for detecting the alcoholic beverage may have a configuration in which an alcoholic beverage detection module is provided in a portion other than the room mirror in the vehicle (for example, around the handle or the meter). Moreover, the structure which can be directly attached to a drunk detection apparatus, for example on a dashboard, a sun visor, an existing room mirror, A pillar, a windshield, etc. may be sufficient.
また、本実施形態においては、ルームミラー装置により酒気帯びと判断された場合、車両のエンジンを停止させたり、エンジンを始動できなくさせたりする構成を用いて説明したが、本発明はこれに限定されない。酒気帯びと判断された場合は、ドライバが車両を運転できなくなる構成であればよく、例えば、ブレーキをかけた状態やハンドル又はシフトレバーをロックさせた状態にしてもよい。 Further, in the present embodiment, the description has been given using the configuration in which the engine of the vehicle is stopped or the engine cannot be started when it is determined that the room mirror device is drunk, but the present invention is not limited thereto. Not. If it is determined that the driver is drunk, any configuration may be used as long as the driver cannot drive the vehicle. For example, the vehicle may be in a braked state or a handle or shift lever locked.
また、本実施形態においては、顔撮影部27を有するモジュール本体21を用いて説明したが、本発明はこれに限定されない。モジュール本体21は、顔撮影部27を有さない構成であってもよい。
In the present embodiment, the module
また、本実施形態においては、検出した瞳孔径復帰時間T2と正常時の瞳孔径復帰時間T2´との差分、及び、検出した中間散瞳時間T3と正常時の中間散瞳時間T3´との差分、を用いて酒気帯び判断を行ったが、本発明はこれに限定されない。酒気帯び判断は、例えば、検出した瞳孔径復帰時間T2と正常時の瞳孔径復帰時間T2´との差分、又は、検出した中間散瞳時間T3と正常時の中間散瞳時間T3´との差分、を用いて行う構成としてもよい。 Further, in the present embodiment, the difference between the detected pupil diameter return time T 2 and the normal pupil diameter return time T 2 ′, and the detected intermediate mydriatic time T 3 and the normal intermediate mydriatic time T The difference between 3 ′ and the alcoholic taste was determined using the difference, but the present invention is not limited to this. For example, the difference between the detected pupil diameter return time T 2 and the normal pupil diameter return time T 2 ′ or the detected intermediate mydriatic time T 3 and the normal intermediate mydriatic time T 3 It is good also as a structure performed using the difference with '.
また、本実施形態においては、検出した瞳孔径復帰時間T2と正常時の瞳孔径復帰時間T2´との差分、及び、検出した中間散瞳時間T3と正常時の中間散瞳時間T3´との差分、が正常時の時間の60%以上になった場合に、ドライバが酒気帯び状態であると判断しているが、本発明はこれに限定されない。例えば、検出した瞳孔径復帰時間T2が正常時の瞳孔径復帰時間T2´よりも長い場合、及び/又は、検出した中間散瞳時間T3が正常時の中間散瞳時間T3´よりも長い場合に、酒気帯びと判断するように構成してもよい。また、正常時の時間に対する割合(本実施形態においては60%)は、適宜変更してもよい。 Further, in the present embodiment, the difference between the detected pupil diameter return time T 2 and the normal pupil diameter return time T 2 ′, and the detected intermediate mydriatic time T 3 and the normal intermediate mydriatic time T When the difference from 3 ′ is 60% or more of the normal time, it is determined that the driver is drunken, but the present invention is not limited to this. For example, when the detected pupil diameter return time T 2 is longer than the normal pupil diameter return time T 2 ′ and / or the detected intermediate pupil time T 3 is longer than the normal intermediate pupil time T 3 ′. If it is too long, it may be determined to be drunk. Further, the ratio to the normal time (60% in the present embodiment) may be changed as appropriate.
1 ルームミラー装置
3 運転席
10 ルームミラー本体
11 ミラー筐体
12 ミラー
20 酒気帯び検知モジュール(酒気帯び検知装置)
24 制御部(酒気帯び判断手段)
25 目撮影部(目撮影手段)
25a 近赤外線LED(赤外線光源)
25b 近赤外線カメラ(赤外線カメラ)
26 フラッシュ光源(閃光発射手段)
27 顔撮影部(人物特定手段)
100 目
101 瞳孔
DESCRIPTION OF SYMBOLS 1
24 control unit (means to determine alcohol)
25 Eye photographing part (eye photographing means)
25a Near-infrared LED (infrared light source)
25b Near-infrared camera (infrared camera)
26 Flash light source (flash emission means)
27 Face shooting unit (person identification means)
100
Claims (10)
前記運転席に座った人物の目に向けて閃光を発する閃光発射手段と、
前記目撮影手段により撮影された人物の目の映像から瞳孔を検出し、前記閃光発射手段により閃光が発せられた瞳孔の対光反射時間に基づいて、前記運転席に座った人物の酒気帯びを判断する酒気帯び判断手段と、を備えた、
ことを特徴とする酒気帯び検知装置。 Eye photographing means for photographing the eyes of a person sitting in the driver's seat;
Flash emission means for emitting a flash toward the eyes of the person sitting in the driver's seat;
A pupil is detected from an image of a person's eye photographed by the eye photographing means, and a person sitting in the driver's seat is intoxicated based on the light reflection time of the pupil emitted by the flash emission means. With a determination of alcohol
A drunk detection device characterized by that.
ことを特徴とする請求項1に記載の酒気帯び検知装置。 The drunk determination means measures the light reflection time of the pupil when the flash is emitted by the flash emission means from the image of the pupil imaged by the eye photographing means, and the measured light reflection time is calculated in advance. If it is longer than the measured normal reflection time, the person sitting in the driver's seat is determined to be drunk,
The drunkenness detection device according to claim 1.
ことを特徴とする請求項2に記載の酒気帯び検知装置。 When the difference between the measured light reflection time and the normal light reflection time measured in advance is longer than a predetermined time, the person who is sitting in the driver's seat is drunk. Judge that it is in a state,
The drunk detection device according to claim 2, wherein
前記酒気帯び判断手段は、前記赤外線光源から発せられた赤外線が反射することで、前記運転席に座った人物の目に映る略白丸を角膜反射の候補として抽出し、抽出した角膜反射の候補の中から所定の条件に基づいて角膜反射を特定し、特定した角膜反射の近傍にある略黒丸を瞳孔として特定する、
ことを特徴とする請求項1から3の何れか1項に記載の酒気帯び検知装置。 The eye photographing means has an infrared camera for photographing the eyes of a person sitting in the driver's seat,
The drunk determination means extracts, as a candidate for corneal reflection, an approximate white circle that appears in the eyes of a person sitting in the driver's seat by reflecting infrared rays emitted from the infrared light source. Identify the corneal reflection based on a predetermined condition from the inside, identify a substantially black circle near the identified corneal reflection as the pupil,
The alcoholic beverage detection device according to any one of claims 1 to 3.
前記赤外線光源は、前記赤外線カメラの周囲を囲むように配置されている、
ことを特徴とする請求項1から4の何れか1項に記載の酒気帯び検知装置。 The eye photographing means has an infrared light source that emits infrared light toward the eyes of a person sitting in the driver's seat,
The infrared light source is disposed so as to surround the infrared camera.
The drunk detection device according to any one of claims 1 to 4, wherein
ことを特徴とする請求項1から5の何れか1項に記載の酒気帯び検知装置。 The liquor determination means uses the pupil diameter return time and / or the intermediate mydriatic time of the light reflection time to determine the drunkness of the person sitting in the driver's seat,
The alcoholic beverage detection device according to any one of claims 1 to 5, characterized in that:
前記酒気帯び判断手段は、前記人物特定手段により特定された人物の前記予め計測した正常時の対光反射時間を抽出し、抽出した正常時の対光反射時間と、計測した対光反射時間と、の差分が所定時間よりも長い場合に、前記運転席に座った人物が酒気帯び状態であると判断する、
ことを特徴とする請求項1から6の何れか1項に記載の酒気帯び検知装置。 Comprising a person identifying means capable of identifying a person sitting in the driver seat;
The drunk determination means extracts the normal light reflection time measured in advance of the person specified by the person specifying means, the extracted normal light reflection time, and the measured light reflection time When the difference between is longer than a predetermined time, the person sitting in the driver's seat is determined to be drunk.
The drunk detection device according to any one of claims 1 to 6, wherein
ことを特徴とする請求項7に記載の酒気帯び検知装置。 The drunkenness determination means extracts the average time of the normal light reflection time when there is no normal light reflection time measured in advance for the specified person, and extracts the extracted normal average light reflection time When the difference between the time and the measured light reflection time is longer than a predetermined time, it is determined that the person sitting in the driver's seat is in a drunk state.
The drunk detection device according to claim 7.
車両の後方を映すルームミラー本体と、を備えた、
ことを特徴とするルームミラー装置。 The drunk detection device according to any one of claims 1 to 8,
A rearview mirror body that reflects the back of the vehicle,
A room mirror device.
前記ミラーがマジックミラーにより構成され、前記酒気帯び検知装置が前記ミラーの裏側に配置される、
ことを特徴とする請求項9に記載のルームミラー装置。
The room mirror body has a mirror that reflects the back of the vehicle, and a mirror housing to which the mirror is attached.
The mirror is constituted by a magic mirror, and the drunkenness detection device is disposed on the back side of the mirror;
The room mirror device according to claim 9.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015046937A JP6567842B2 (en) | 2015-03-10 | 2015-03-10 | Liquor detection device and room mirror device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015046937A JP6567842B2 (en) | 2015-03-10 | 2015-03-10 | Liquor detection device and room mirror device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016167189A true JP2016167189A (en) | 2016-09-15 |
JP6567842B2 JP6567842B2 (en) | 2019-08-28 |
Family
ID=56898514
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015046937A Active JP6567842B2 (en) | 2015-03-10 | 2015-03-10 | Liquor detection device and room mirror device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6567842B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6246403B1 (en) * | 2017-03-13 | 2017-12-13 | 株式会社A−スタイル | Admission management system |
JP2019131105A (en) * | 2018-02-01 | 2019-08-08 | 株式会社Subaru | Vehicle occupant monitoring device |
WO2020059116A1 (en) * | 2018-09-21 | 2020-03-26 | 三菱電機株式会社 | Poor physical condition detection device and poor physical condition detection method |
WO2022107288A1 (en) * | 2020-11-19 | 2022-05-27 | 日本電信電話株式会社 | Estimation device, estimation method, and estimation program |
WO2023139505A1 (en) * | 2022-01-19 | 2023-07-27 | Gentex Corporation | Rearview assembly incorporating high-transmittance nir film |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007522003A (en) * | 2004-02-02 | 2007-08-09 | ペーター ブラウン,ウベ | Device for measuring the driving ability of a driver in a car |
JP3137375U (en) * | 2007-09-10 | 2007-11-22 | 株式会社ニューオプト | Pupil imaging device |
JP2009116797A (en) * | 2007-11-09 | 2009-05-28 | Aisin Seiki Co Ltd | Face imaging apparatus, face imaging method, and program of the same |
WO2010050012A1 (en) * | 2008-10-29 | 2010-05-06 | 京セラ株式会社 | Camera module mounted on a car |
JP2014028552A (en) * | 2012-07-31 | 2014-02-13 | Stanley Electric Co Ltd | Driving propriety determination device |
JP2014191474A (en) * | 2013-03-26 | 2014-10-06 | Fujitsu Ltd | Concentration ratio determination program, concentration ratio determination apparatus and concentration ratio determination method |
-
2015
- 2015-03-10 JP JP2015046937A patent/JP6567842B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007522003A (en) * | 2004-02-02 | 2007-08-09 | ペーター ブラウン,ウベ | Device for measuring the driving ability of a driver in a car |
JP3137375U (en) * | 2007-09-10 | 2007-11-22 | 株式会社ニューオプト | Pupil imaging device |
JP2009116797A (en) * | 2007-11-09 | 2009-05-28 | Aisin Seiki Co Ltd | Face imaging apparatus, face imaging method, and program of the same |
WO2010050012A1 (en) * | 2008-10-29 | 2010-05-06 | 京セラ株式会社 | Camera module mounted on a car |
JP2014028552A (en) * | 2012-07-31 | 2014-02-13 | Stanley Electric Co Ltd | Driving propriety determination device |
JP2014191474A (en) * | 2013-03-26 | 2014-10-06 | Fujitsu Ltd | Concentration ratio determination program, concentration ratio determination apparatus and concentration ratio determination method |
Non-Patent Citations (2)
Title |
---|
神道圭造 毛利佳之 渡辺達也 山本修身 中野倫明 山田宗男 山本新: "瞳孔径挙動による酒気帯び状態の検知可能性", 電子情報通信学会技術研究報告, vol. 109, no. 64, JPN6018047939, 21 May 2009 (2009-05-21), JP, pages 165 - 169, ISSN: 0003932662 * |
神道圭造 毛利佳之 渡辺達也 山本修身 中野倫明 山田宗男 山本新: "瞳孔径挙動による酒気帯び状態の検知可能性", 電子情報通信学会技術研究報告, vol. 109, no. 64, JPN6019008507, 21 May 2009 (2009-05-21), JP, pages 165 - 169, ISSN: 0003994177 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6246403B1 (en) * | 2017-03-13 | 2017-12-13 | 株式会社A−スタイル | Admission management system |
JP2018151838A (en) * | 2017-03-13 | 2018-09-27 | 株式会社A−スタイル | Entrance management system |
JP2019131105A (en) * | 2018-02-01 | 2019-08-08 | 株式会社Subaru | Vehicle occupant monitoring device |
US10592758B2 (en) | 2018-02-01 | 2020-03-17 | Subaru Corporation | Occupant monitoring device for vehicle |
WO2020059116A1 (en) * | 2018-09-21 | 2020-03-26 | 三菱電機株式会社 | Poor physical condition detection device and poor physical condition detection method |
WO2022107288A1 (en) * | 2020-11-19 | 2022-05-27 | 日本電信電話株式会社 | Estimation device, estimation method, and estimation program |
JP7444286B2 (en) | 2020-11-19 | 2024-03-06 | 日本電信電話株式会社 | Estimation device, estimation method, and estimation program |
WO2023139505A1 (en) * | 2022-01-19 | 2023-07-27 | Gentex Corporation | Rearview assembly incorporating high-transmittance nir film |
Also Published As
Publication number | Publication date |
---|---|
JP6567842B2 (en) | 2019-08-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6567842B2 (en) | Liquor detection device and room mirror device | |
JP6303907B2 (en) | Driver monitoring device | |
RU2453884C1 (en) | Driver imaging device and method of driver imaging | |
CA2554905C (en) | Device for determining the driving capability of a driver in a vehicle | |
JP5923180B2 (en) | Biological information measuring device and input device using the same | |
JP5233322B2 (en) | Information processing apparatus and method, and program | |
JP4793269B2 (en) | Sleepiness detection device | |
JP2006252138A (en) | Apparatus for photographing driver and apparatus for monitoring driver | |
JP7290930B2 (en) | Occupant modeling device, occupant modeling method and occupant modeling program | |
JP2006248365A (en) | Back monitoring mirror of movement body, driver photographing device, driver monitoring device and safety driving support device | |
WO2007092512A2 (en) | Driver drowsiness and distraction monitor | |
JP2014026047A (en) | State monitor and optical member | |
JP2011087006A (en) | Display device for vehicle | |
US11881054B2 (en) | Device and method for determining image data of the eyes, eye positions and/or a viewing direction of a vehicle user in a vehicle | |
JP2017126151A (en) | Sight line detection device and sight line detection method | |
WO2020175144A1 (en) | Control device and photographing system | |
US11772563B2 (en) | In-vehicle multi-monitoring device for vehicle | |
JP2017095008A (en) | Control device, control method and program | |
US20220272302A1 (en) | In-vehicle monitoring device for vehicle | |
JP2008238925A (en) | Visible laser beam irradiation system, and method for mounting visible laser beam irradiation apparatus on vehicle | |
KR102320030B1 (en) | Camera system for internal monitoring of the vehicle | |
JP7441417B2 (en) | Driver state estimation device | |
JP6593713B2 (en) | Crew photographing device | |
JP5182567B2 (en) | Crew monitoring device | |
JP2008166926A (en) | Backlight judging apparatus, and object imaging method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20160923 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20170710 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190312 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190509 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190709 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190801 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6567842 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |