JP2009125154A - Blinking measuring instrument - Google Patents

Blinking measuring instrument Download PDF

Info

Publication number
JP2009125154A
JP2009125154A JP2007300876A JP2007300876A JP2009125154A JP 2009125154 A JP2009125154 A JP 2009125154A JP 2007300876 A JP2007300876 A JP 2007300876A JP 2007300876 A JP2007300876 A JP 2007300876A JP 2009125154 A JP2009125154 A JP 2009125154A
Authority
JP
Japan
Prior art keywords
eyelid
eye opening
eye
time
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007300876A
Other languages
Japanese (ja)
Other versions
JP5301815B2 (en
Inventor
Kazutaka Suzuki
一隆 鈴木
Haruyoshi Toyoda
晴義 豊田
Naotoshi Hakamata
直俊 袴田
Yoshiko Nakamura
芳子 中村
Shigeru Kinoshita
茂 木下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Priority to JP2007300876A priority Critical patent/JP5301815B2/en
Publication of JP2009125154A publication Critical patent/JP2009125154A/en
Application granted granted Critical
Publication of JP5301815B2 publication Critical patent/JP5301815B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a blinking measuring instrument capable of calculating a fatigue degree based on a sure correlation between the fatigue degree and eye movement. <P>SOLUTION: This blinking measuring instrument 1 includes an imaging section 5 for capturing an image of a subject's eye 100, and eye opening speed calculation means (an eyelid extraction process section 6 and an eyelid opening/closing measuring section 7) for calculating an eye opening speed when blinking or a numerical value corresponding to the eye opening speed based on image data captured by the imaging section 5; and calculates the eye opening speed or the numerical value corresponding to the eye opening speed as a numerical value indicating the fatigue degree. This constitution can calculate the fatigue degree based on the sure correlation between the fatigue degree and the eye movement. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、瞬目計測装置に関するものである。   The present invention relates to a blink measurement apparatus.

近年、ＶＤＴ作業等による眼疲労や車の運転等の作業による疲労と、眼の運動との関係が注目を集めている。例えば、特許文献１には、眼疲労の状態（眼疲労度）を推定するパラメータとして、瞬き（瞬目）の開始時の速度および加速度を利用することが記載されている。また、特許文献２には、眼疲労度を推定するパラメータとして、瞬きの回数や頻度を利用することが記載されている。また、非特許文献１には、車を運転するドライバの意識低下状態（特に眠気）を検知・推定するためのパラメータとして、瞬き開始から閉眼状態を経て再び開眼（すなわち瞬きの完了）するまでの時間を利用している。
特開平８−２８９３２７号公報 特許第３３４８９５６号公報 足立和正、他３名、「ドライバの意識低下検知のための動画像処理によるまばたき計測」、電気学会論文誌Ｃ（電子・情報・システム部門誌）、電気学会、２００４年、第１２４巻、第３号、ｐ．７７６−７８３ In recent years, attention has been drawn to the relationship between eye fatigue caused by VDT work or the like, or fatigue caused by work such as driving a car, and eye movement. For example, Patent Document 1 describes that the speed and acceleration at the start of blinking (blink) are used as parameters for estimating the state of eye fatigue (eye fatigue level). Patent Document 2 describes that the number and frequency of blinks are used as parameters for estimating the degree of eye fatigue. In Non-Patent Document 1, as a parameter for detecting / estimating a driver's consciousness reduction state (especially sleepiness) from a blink start to a closed eye state until the eyes are opened again (that is, blink complete). Use time.
JP-A-8-289327 Japanese Patent No. 3348956 Kazumasa Adachi, 3 others, “Blink measurement by moving image processing for detection of driver consciousness decline”, IEEJ Transactions C (Electronics, Information and Systems Division), IEEJ, 2004, Vol. 124, Vol. 3, p. 776-783

特許文献１，２および非特許文献１に記載された装置は、ＣＣＤカメラにより取得した顔画像に基づいて各パラメータを算出している。しかし、現在の一般的なＣＣＤカメラは３０フレーム／秒といった低速での撮像しかできない。この場合、１フレーム当たりの所要時間は約３３ミリ秒である。一方、人間の瞬きに要する時間（瞬き開始から閉眼状態を経て再び開眼するまで）は１００〜３００ミリ秒程度であり、ＣＣＤカメラでは３〜１０フレームの画像しか得られないので、眼の運動を精度良く計測することは困難である。したがって、特許文献１，２または非特許文献１に記載されたパラメータが、疲労度を正確に推定できるものであるかといった信頼性には疑問があり、これらの文献による疲労度の推定は、疲労度と眼の運動との正確な相関に基づいているとは言い難い。   The devices described in Patent Documents 1 and 2 and Non-Patent Document 1 calculate each parameter based on a face image acquired by a CCD camera. However, current general CCD cameras can only perform imaging at a low speed of 30 frames / second. In this case, the required time per frame is about 33 milliseconds. On the other hand, the time required for human blinking (from the blinking start until the eye is opened again after the closed eye state) is about 100 to 300 milliseconds, and the CCD camera can only obtain an image of 3 to 10 frames. It is difficult to measure with high accuracy. Therefore, there is a question about the reliability of whether the parameters described in Patent Documents 1 and 2 or Non-Patent Document 1 can accurately estimate the degree of fatigue. It is hard to say that it is based on an accurate correlation between degree and eye movement.

本発明は、上記した問題点を鑑みてなされたものであり、疲労度と眼の運動とのより確かな相関に基づいて疲労度を算出することができる瞬目計測装置を提供することを目的とする。   The present invention has been made in view of the above-described problems, and an object of the present invention is to provide a blink measurement device that can calculate the fatigue level based on a more reliable correlation between the fatigue level and the eye movement. And

本発明者らは、１ｋＨｚ以上といった極めて高速なフレームレートを有する撮像装置を用いて眼の運動を計測することによって、疲労度と目の運動との関係について、これまで知られていなかった事実を突き止めた。すなわち、瞬きにおける閉眼状態の後、開眼する際の開眼速度と疲労度との間には有意な相関が存在しており、疲労度が増すほど開眼速度が低下し、閉眼状態から開眼状態へ移行する為の所要時間が疲労度に応じて長くなるという事実である。   By measuring the eye movement using an imaging device having an extremely high frame rate of 1 kHz or higher, the present inventors have found that the relationship between fatigue level and eye movement has not been known so far. I found it. In other words, there is a significant correlation between the eye opening speed and the degree of fatigue when the eyes are opened after the eye is closed during blinking, and the eye opening speed decreases as the degree of fatigue increases, and the eye shifts from the eye closed state to the eye open state. The fact is that the time required to do this becomes longer depending on the degree of fatigue.

そこで、本発明による瞬目計測装置は、計測対象者の眼を撮像する撮像手段と、撮像手段により撮像された画像に基づいて、瞬きの際の開眼速度または開眼速度に相当する数値を算出する開眼速度算出手段と、を備え、開眼速度または開眼速度に応じた数値を疲労度を示す数値として算出することを特徴としている。このように、開眼速度または開眼速度に応じた数値を疲労度を示す数値として算出することにより、疲労度と眼の運動とのより確かな相関に基づいて疲労度を算出することが可能となる。   Therefore, the blink measurement apparatus according to the present invention calculates an eye opening speed at the time of blinking or a numerical value corresponding to the eye opening speed based on an imaging unit that images the eye of the measurement subject and an image captured by the imaging unit. Eye opening speed calculating means, and calculating the eye opening speed or a numerical value corresponding to the eye opening speed as a numerical value indicating the degree of fatigue. Thus, by calculating the eye opening speed or a numerical value corresponding to the eye opening speed as a numerical value indicating the fatigue level, it becomes possible to calculate the fatigue level based on a more reliable correlation between the fatigue level and the eye movement. .

また、瞬目計測装置は、開眼速度算出手段が、画像における眼瞼の縁部を検出して眼瞼位置情報を生成する眼瞼位置検出部と、眼瞼位置情報の時間変化に基づいて開眼速度または開眼速度に相当する数値を算出する演算部とを有することを特徴としてもよい。これにより、瞬きの際の開眼速度または開眼速度に相当する数値を画像に基づいて好適に算出することができる。   Further, the eye blink measuring device includes an eyelid position detecting unit that generates an eyelid position information by detecting an edge of the eyelid in the image, and an eye opening speed or an eye opening speed based on a temporal change of the eyelid position information. It is good also as having the calculating part which calculates the numerical value corresponded to. Thereby, the eye opening speed at the time of blinking or a numerical value corresponding to the eye opening speed can be suitably calculated based on the image.

また、瞬目計測装置は、眼瞼位置検出部が、画像において最も暗い暗部領域を抽出し、該暗部領域を通り眼瞼の開閉方向を長手方向とする領域の輝度分布に基づいて眼瞼位置情報を生成することを特徴としてもよい。これにより、画像における眼瞼の縁部を精度良く検出して眼瞼位置情報を生成できる。   Also, in the blink measurement apparatus, the eyelid position detection unit extracts the darkest dark area in the image, and generates eyelid position information based on the luminance distribution of the area passing through the dark area and having the eyelid opening / closing direction as the longitudinal direction. It may be characterized by. Thereby, the edge part of the eyelid in an image can be detected accurately and eyelid position information can be generated.

また、瞬目計測装置は、眼瞼位置検出部が、上眼瞼の縁部を検出して眼瞼位置情報を生成することを特徴としてもよい。瞬きの際には上眼瞼の運動量が下眼瞼より大きいので、このように上眼瞼の縁部を検出して眼瞼位置情報を生成することにより、眼瞼位置情報を更に精度良く生成できる。   The blink measurement device may be characterized in that the eyelid position detection unit detects the edge of the upper eyelid and generates eyelid position information. Since the momentum of the upper eyelid is larger than that of the lower eyelid when blinking, the eyelid position information can be generated with higher accuracy by detecting the edge of the upper eyelid and generating the eyelid position information in this way.

また、瞬目計測装置は、演算部が、瞬きの際の開眼開始時から開眼完了時までの期間における眼瞼の縁部の最大移動速度を開眼速度として算出することを特徴としてもよい。或いは、演算部が、瞬きの際の開眼開始時から開眼完了時までの期間において、眼瞼の縁部の移動速度が最大となる時刻を含む所定期間での眼瞼の縁部の移動距離を開眼速度に相当する数値として算出することを特徴としてもよい。或いは、演算部が、瞬きの際の開眼開始時から開眼完了時までの期間における眼瞼の縁部の移動速度の半値幅を開眼速度に相当する数値として算出することを特徴としてもよい。演算部がこれらのうち何れかの演算を行うことによって、疲労度を示す数値として開眼速度または開眼速度に応じた数値を好適に算出することができる。   The blink measurement device may be characterized in that the calculation unit calculates the maximum movement speed of the edge of the eyelid during the period from the start of eye opening at the time of blinking to the completion of eye opening as the eye opening speed. Alternatively, in the period from the start of eye opening at the time of blinking to the time when eye opening is completed, the calculation unit calculates the movement distance of the edge of the eyelid in a predetermined period including the time when the movement speed of the edge of the eyelid becomes maximum. It may be calculated as a numerical value corresponding to. Alternatively, the calculation unit may calculate a half value width of the movement speed of the edge of the eyelid during a period from the start of eye opening at the time of blinking to the completion of eye opening as a numerical value corresponding to the eye opening speed. When the calculation unit performs any of these calculations, the eye opening speed or a numerical value corresponding to the eye opening speed can be suitably calculated as a numerical value indicating the degree of fatigue.

本発明による瞬目計測装置によれば、疲労度と眼の運動とのより確かな相関に基づいて疲労度を算出することができる。   According to the blink measuring device of the present invention, the fatigue level can be calculated based on a more reliable correlation between the fatigue level and the eye movement.

以下、添付図面を参照しながら本発明による瞬目計測装置の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。   DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments of a blink measuring device according to the present invention will be described in detail with reference to the accompanying drawings. In the description of the drawings, the same elements are denoted by the same reference numerals, and redundant description is omitted.

図１は、本発明による瞬目計測装置の一実施形態を示す概略図である。図１を参照すると、本実施形態による瞬目計測装置１は、照明２、ダイクロイックミラー３、集光レンズ４、撮像部５、瞼抽出処理部６、及び瞼開閉計測部７を備えている。撮像部５は本実施形態における撮像手段である。また、瞼抽出処理部６は本実施形態における瞼位置検出部であり、瞼開閉計測部７は本実施形態における演算部である。瞼抽出処理部６及び瞼開閉計測部７は、本実施形態において開眼速度算出手段を構成している。なお、集光レンズ４、撮像部５、瞼抽出処理部６、及び瞼開閉計測部７は、カメラ８の内部に収容されている。   FIG. 1 is a schematic view showing an embodiment of a blink measuring device according to the present invention. Referring to FIG. 1, the blink measurement apparatus 1 according to the present embodiment includes an illumination 2, a dichroic mirror 3, a condenser lens 4, an imaging unit 5, a cocoon extraction processing unit 6, and a cocoon opening / closing measurement unit 7. The imaging unit 5 is an imaging unit in this embodiment. In addition, the eyelid extraction processing unit 6 is a eyelid position detecting unit in the present embodiment, and the eyelid opening / closing measuring unit 7 is an arithmetic unit in the present embodiment. The eyelid extraction processing unit 6 and eyelid opening / closing measurement unit 7 constitute eye opening speed calculating means in the present embodiment. The condensing lens 4, the imaging unit 5, the eyelid extraction processing unit 6, and the eyelid opening / closing measuring unit 7 are housed inside the camera 8.

照明２は、計測対象者の眼１００およびその周辺を照らす照明手段であり、例えば赤外光を発生する複数のＬＥＤによって好適に構成される。照明２が眼１００およびその周辺へ赤外光Ｌ１を照射することにより、眼１００およびその周辺において赤外光Ｌ１が反射して光像Ｌ２が生じる。なお、照明２としては赤外光ＬＥＤに限らず他の光源を用いることができるが、高速撮像時には、眼１００の様子などを照らし出すのに充分な光量の可視光を発光すると被験者にとって眩しいため、赤外光源を用いることが好ましい。   The illumination 2 is illumination means for illuminating the measurement subject's eye 100 and its surroundings, and is preferably composed of, for example, a plurality of LEDs that generate infrared light. When the illumination 2 irradiates the eye 100 and its surroundings with the infrared light L1, the infrared light L1 is reflected at the eye 100 and its surroundings to generate a light image L2. The illumination 2 is not limited to the infrared LED, but other light sources can be used. At the time of high-speed imaging, it is dazzling for the subject to emit a sufficient amount of visible light to illuminate the state of the eye 100 and the like. It is preferable to use an infrared light source.

ダイクロイックミラー３は、眼１００およびその周辺からの光像Ｌ２を透過して、該光像Ｌ２を撮像部５の光検出部５１に入射させるように配置されている。また、ダイクロイックミラー３は、眼１００と撮像部５とを結ぶ光軸の脇に設置された視標９を計測対象者が視認可能なように、視標９と眼１００とを光学的に結合している。視標９は、例えば可視光を発生するＬＥＤとピンホールマスクとを組み合わせて輝点パターンを発生するように構成されるとよい。ダイクロイックミラー３は、視標９から出射された可視光Ｌ３を眼１００へ向けて反射する。これにより、視標９を計測対象者に提示して眼１００の角膜位置を一定に維持しつつ、眼１００およびその周辺を撮像することができる。なお、視標９とダイクロイックミラー３との間には、視力調整用のレンズ９ａが設けられていると尚良い。   The dichroic mirror 3 is disposed so as to transmit the light image L2 from the eye 100 and its periphery and to cause the light image L2 to enter the light detection unit 51 of the imaging unit 5. In addition, the dichroic mirror 3 optically couples the visual target 9 and the eye 100 so that the measurement target can visually recognize the visual target 9 installed beside the optical axis connecting the eye 100 and the imaging unit 5. is doing. The visual target 9 may be configured to generate a bright spot pattern by combining, for example, an LED that generates visible light and a pinhole mask. The dichroic mirror 3 reflects the visible light L3 emitted from the visual target 9 toward the eye 100. Accordingly, the eye 100 and its periphery can be imaged while the target 9 is presented to the measurement subject and the corneal position of the eye 100 is maintained constant. It should be noted that a lens 9 a for visual acuity adjustment is preferably provided between the visual target 9 and the dichroic mirror 3.

集光レンズ４は、光像Ｌ２を集光して撮像部５の光検出部５１上に結像させるためのレンズである。集光レンズ４は、ダイクロイックミラー３と撮像部５との間に配置されている。本実施形態の集光レンズ４は、後述する撮像部５が眼１００の全体を含む画像を取得できるように、眼１００の眼窩全体が撮像部５の画角に入るように構成されている。   The condensing lens 4 is a lens for condensing the light image L2 to form an image on the light detection unit 51 of the imaging unit 5. The condenser lens 4 is disposed between the dichroic mirror 3 and the imaging unit 5. The condensing lens 4 of the present embodiment is configured such that the entire orbit of the eye 100 falls within the angle of view of the imaging unit 5 so that the imaging unit 5 described later can acquire an image including the entire eye 100.

撮像部５は、眼１００からの光像Ｌ２を撮像するための手段である。撮像部５は、二次元状に配列された複数の画素を含む光検出部５１を有しており、光検出部５１に入射した光像Ｌ２を各画素において電気信号に変換することにより、光像Ｌ２に関する画素毎の入射光量を示す画像データを生成する。撮像部５は、生成した画像データを表示装置や映像出力端子といった出力手段へ出力するとともに、画像データを瞼抽出処理部６に提供する。   The imaging unit 5 is means for capturing the light image L2 from the eye 100. The imaging unit 5 includes a light detection unit 51 including a plurality of pixels arranged in a two-dimensional shape, and converts the light image L2 incident on the light detection unit 51 into an electrical signal in each pixel. Image data indicating the amount of incident light for each pixel relating to the image L2 is generated. The imaging unit 5 outputs the generated image data to output means such as a display device or a video output terminal, and provides the image data to the eyelid extraction processing unit 6.

瞼抽出処理部６は、撮像部５から提供された画像データに基づいて、該画像データにおける眼瞼の縁部１０１を検出して眼瞼位置情報を生成する。また、瞼開閉計測部７は、瞼抽出処理部６から提供された眼瞼位置情報の時間変化に基づいて、瞬きにおける閉眼状態の後の開眼速度、もしくは開眼速度に相当する数値を算出する。瞼抽出処理部６及び瞼開閉計測部７は、電気回路として実現されてもよいし、中央演算処理装置やメモリを有するコンピュータ内部でソフトウェアとして実現されてもよい。   Based on the image data provided from the imaging unit 5, the eyelid extraction processing unit 6 detects the eyelid edge 101 in the image data and generates eyelid position information. Further, the eyelid opening / closing measuring unit 7 calculates the eye opening speed after the eye-closed state in blinking or a numerical value corresponding to the eye opening speed based on the time change of the eyelid position information provided from the eyelid extraction processing unit 6. The cocoon extraction processing unit 6 and the cocoon opening / closing measuring unit 7 may be realized as an electric circuit, or may be realized as software inside a computer having a central processing unit and a memory.

図２は、本実施形態において用いられる撮像部５の内部構成を示す図である。本実施形態の撮像部５は、１ｋＨｚ以上といった極めて高速なフレームレートを有する撮像装置であり、このような撮像装置としては、例えば浜松ホトニクス製のインテリジェントビジョンシステム（ＩＶＳ）カメラが挙げられる。撮像部５は、光検出部５１、増幅部５３、Ａ／Ｄ変換部５５、及びスイッチ部５７を有している。本実施形態においては、光検出部５１はいわゆるＭＯＳ型の撮像素子であり、二次元状（ｍ行×ｎ列）に配列された複数の画素５１ａを有している。複数の画素５１ａのそれぞれは、入射した光の光量に応じた電荷Ｑを生成する。   FIG. 2 is a diagram illustrating an internal configuration of the imaging unit 5 used in the present embodiment. The imaging unit 5 of the present embodiment is an imaging device having an extremely high frame rate of 1 kHz or more, and examples of such an imaging device include an intelligent vision system (IVS) camera manufactured by Hamamatsu Photonics. The imaging unit 5 includes a light detection unit 51, an amplification unit 53, an A / D conversion unit 55, and a switch unit 57. In the present embodiment, the light detection unit 51 is a so-called MOS type imaging device, and includes a plurality of pixels 51a arranged in a two-dimensional shape (m rows × n columns). Each of the plurality of pixels 51a generates a charge Q corresponding to the amount of incident light.

増幅部５３は、光検出部５１の行数に対応するｍ個のアンプ５３ａを有している。ｍ個のアンプ５３ａは、それぞれ光検出部５１の画素５１ａの対応する行と電気的に接続されており、ｎ列の画素５１ａから電荷Ｑを順次受け取る。そして、アンプ５３ａは、電荷Ｑを増幅するとともに電荷Ｑを電圧信号である画像信号Ｓ1に変換する。また、ｍ個のアンプ５３ａは、それぞれ図示しない制御部と電気的に接続されており、該制御部からの増幅率制御信号Ｓ3に従って、電荷Ｑを画像信号Ｓ1に変換する際の増幅率を変化させることができる。 The amplifying unit 53 includes m amplifiers 53 a corresponding to the number of rows of the light detecting unit 51. The m amplifiers 53a are electrically connected to the corresponding rows of the pixels 51a of the light detection unit 51, respectively, and sequentially receive the charges Q from the n columns of pixels 51a. Then, the amplifier 53a converts the charge Q amplifies the charge Q to the image signals S 1 is a voltage signal. Each of the m amplifiers 53a is electrically connected to a control unit (not shown), and the amplification factor when converting the charge Q into the image signal S 1 in accordance with the amplification factor control signal S 3 from the control unit. Can be changed.

Ａ／Ｄ変換部５５は、光検出部５１の行数に対応するｍ個のＡ／Ｄ変換器５５ａを有している。ｍ個のＡ／Ｄ変換器５５ａは、対応するｍ個のアンプ５３ａとそれぞれ電気的に接続されており、電圧信号（アナログ信号）である画像信号Ｓ1をアンプ５３ａから受けてディジタル信号である画像データＳ2に変換する。なお、本実施形態ではディジタル信号に変換された画像データＳ2を撮像部５からの画像データとしているが、アナログ信号である画像信号Ｓ1を撮像部５からの画像データとして用いてもよい。 The A / D converter 55 has m A / D converters 55 a corresponding to the number of rows of the light detector 51. m-number of A / D converters 55a, respectively and the corresponding m pieces of amplifier 53a are electrically connected, is a digital signal receiving image signals S 1 is a voltage signal (analog signal) from the amplifier 53a into image data S 2. In the present embodiment, the image data S 2 converted into a digital signal is used as the image data from the imaging unit 5, but the image signal S 1 that is an analog signal may be used as the image data from the imaging unit 5.

スイッチ部５７は、光検出部５１の行数に対応するｍ個のスイッチ５７ａを有している。ｍ個のスイッチ５７ａは、対応するｍ個のＡ／Ｄ変換器５５ａと瞼抽出処理部６との間に設けられており、Ａ／Ｄ変換器５５ａと瞼抽出処理部６との接続／非接続を制御する。スイッチ５７ａが接続状態になると、Ａ／Ｄ変換器５５ａからの画像データＳ2が瞼抽出処理部６へ提供される。ｍ個のスイッチ５７ａはそれぞれ瞼抽出処理部６と電気的に接続されており、個別に接続／非接続が制御される。 The switch unit 57 includes m switches 57 a corresponding to the number of rows of the light detection unit 51. The m switches 57a are provided between the corresponding m A / D converters 55a and the soot extraction processing unit 6, and the connection / non-connection between the A / D converter 55a and the soot extraction processing unit 6 is provided. Control the connection. When the switch 57a is in the connected state, the image data S 2 from the A / D converter 55a is provided to the eyelid extraction processing unit 6. Each of the m switches 57a is electrically connected to the soot extraction processing unit 6, and connection / disconnection is individually controlled.

ここで、光検出部５１及びその周辺回路についてさらに詳しく説明する。図３は、光検出部５１と、アンプ５３ａ、Ａ／Ｄ変換器５５ａ、及び瞼抽出処理部６との電気的接続関係を示す図である。図３を参照すると、光検出部５１は、フォトダイオードといった光電変換素子により構成される複数の画素５１ａを有している。そして、光検出部５１は、複数の画素５１ａに対応する複数のコンデンサ５１ｂ及び複数の読み出し用スイッチ５１ｃを有している。画素５１ａの光電変換素子とコンデンサ５１ｂとは互いに並列に接続されており、光電変換素子及びコンデンサ５１ｂの一端に読み出し用スイッチ５１ｃの一端が接続されている。読み出し用スイッチ５１ｃの他端は、同一行に含まれる他の読み出し用スイッチ５１ｃの他端と共に、アンプ５３ａの入力端に接続されている。読み出し用スイッチ５１ｃは、それぞれ図示しない制御部と電気的に接続されており、該制御部からの制御信号Ｓ4に従って個別に接続／非接続が制御される。アンプ５３ａの出力端はＡ／Ｄ変換器５５ａの入力端と電気的に接続されており、Ａ／Ｄ変換器５５ａの出力端は瞼抽出処理部６の入力端と電気的に接続されている。 Here, the light detection unit 51 and its peripheral circuits will be described in more detail. FIG. 3 is a diagram illustrating an electrical connection relationship between the light detection unit 51, the amplifier 53 a, the A / D converter 55 a, and the soot extraction processing unit 6. Referring to FIG. 3, the light detection unit 51 includes a plurality of pixels 51 a configured by photoelectric conversion elements such as photodiodes. The light detection unit 51 includes a plurality of capacitors 51b and a plurality of readout switches 51c corresponding to the plurality of pixels 51a. The photoelectric conversion element of the pixel 51a and the capacitor 51b are connected in parallel to each other, and one end of a readout switch 51c is connected to one end of the photoelectric conversion element and the capacitor 51b. The other end of the read switch 51c is connected to the input end of the amplifier 53a together with the other end of the other read switch 51c included in the same row. Reading switches 51c is connected to the control unit electrically not shown, respectively, individually connected / disconnected according to the control signal S 4 from the control unit is controlled. The output terminal of the amplifier 53a is electrically connected to the input terminal of the A / D converter 55a, and the output terminal of the A / D converter 55a is electrically connected to the input terminal of the soot extraction processing unit 6. .

図３に示した光検出部５１及びその周辺回路の動作は、次のとおりである。光検出部５１に光像Ｌ２が入射すると、各画素５１ａ毎の光像Ｌ２の入射光量に応じた電荷がコンデンサ５１ｂに蓄積される。制御部からの指示に応じて読み出し用スイッチ５１ｃが各行において順次接続されると、コンデンサ５１ｂに蓄積された電荷Ｑがアンプ５３ａに順次送られる。電荷Ｑは、アンプ５３ａによって電圧信号に変換されるとともに増幅されて画像信号Ｓ1となる。画像信号Ｓ1は、Ａ／Ｄ変換器５５ａによってアナログ信号からディジタル信号へ変換されて画像データＳ2となる。画像データＳ2は、瞼抽出処理部６へ提供される。 The operation of the light detection unit 51 and its peripheral circuits shown in FIG. 3 is as follows. When the light image L2 is incident on the light detection unit 51, a charge corresponding to the incident light amount of the light image L2 for each pixel 51a is accumulated in the capacitor 51b. When the read switches 51c are sequentially connected in each row in accordance with an instruction from the control unit, the charges Q accumulated in the capacitors 51b are sequentially sent to the amplifier 53a. Charge Q becomes amplified image signals S 1 while being converted into a voltage signal by the amplifier 53a. The image signal S 1 is converted from an analog signal to a digital signal by the A / D converter 55a to become image data S 2 . The image data S 2 is provided to the soot extraction processing unit 6.

なお、瞼抽出処理部６における演算を高速に行うために、例えば撮像部５が各画素５１ａのそれぞれに対応する並列演算回路をさらに有することが好ましい。このような並列演算回路は、例えばＡ／Ｄ変換器５５ａの後段に接続される。   In order to perform the calculation in the cocoon extraction processing unit 6 at high speed, for example, the imaging unit 5 preferably further includes a parallel calculation circuit corresponding to each of the pixels 51a. Such a parallel arithmetic circuit is connected to, for example, a subsequent stage of the A / D converter 55a.

図４（ａ）及び（ｂ）は、瞼抽出処理部６における、画像データＳ2に基づく眼瞼の縁部の検出方法を示す図である。図４（ａ）は画像データＳ2を示しており、画像データＳ2には図１に示した眼１００に対応する画像Ｄ1が含まれている。本実施形態の瞼抽出処理部６は、まず、画像データＳ2において最も暗い暗部領域Ｄ2を抽出する。この暗部領域Ｄ2は、画像データＳ2において眼１００の角膜（もしくは瞳孔）に相当する領域である。暗部領域Ｄ2の抽出は、例えば図４（ａ）に示すように眼瞼の開閉方向（すなわち顔の上下方向）を長手方向とする領域Ａ1及びＡ2を設定し、領域Ａ1及びＡ2における輝度ヒストグラム（輝度分布）の相互比較に基づいて行うとよい。図４（ｂ）は、領域Ａ1及びＡ2における輝度ヒストグラムの一例を示すグラフである。図４（ｂ）において、グラフＧ１は領域Ａ1における輝度ヒストグラムを示しており、グラフＧ２は領域Ａ2における輝度ヒストグラムを示している。瞼抽出処理部６は、図４（ｂ）におけるグラフＧ１及びＧ２を比較することにより、グラフＧ１に含まれる暗部領域Ｄ2を判定することができる。 FIGS. 4A and 4B are diagrams illustrating a method for detecting the edge of the eyelid based on the image data S 2 in the eyelid extraction processing unit 6. Figure 4 (a) shows the image data S 2, the image data S 2 contains the image D 1 corresponding to the eye 100 shown in FIG. The haze extraction processing unit 6 of the present embodiment first extracts the darkest dark area D 2 in the image data S 2 . This dark area D 2 is an area corresponding to the cornea (or pupil) of the eye 100 in the image data S 2 . Extraction dark region D 2 sets an area A 1 and A 2 to 4 the closing direction of the lid as shown in (a) (i.e. the vertical direction of the face) and the longitudinal direction, for example, regions A 1 and A 2 It may be performed based on mutual comparison of luminance histograms (luminance distributions). FIG. 4B is a graph showing an example of a luminance histogram in the areas A 1 and A 2 . 4 (b), the graph G1 shows the luminance histogram in the region A 1, the graph G2 shows the luminance histogram in the region A 2. Eyelid extraction processing unit 6, by comparing the graphs G1 and G2 in FIG. 4 (b), the can determine dark region D 2 included in the graph G1.

続いて、瞼抽出処理部６は、暗部領域Ｄ2を通り眼瞼の開閉方向を長手方向とする領域（本実施形態では領域Ａ1）の輝度ヒストグラムに基づいて、眼瞼の縁部１０１（図１参照）に相当する画像部分Ｄ3、Ｄ4を検出する。本実施形態の瞼抽出処理部６は、図４（ｂ）に示すグラフＧ１において輝度が急激に変化するエッジ部分Ｅ1、Ｅ2を抽出することにより、このような画像部分Ｄ3、Ｄ4を検出する。そして、眼瞼の開閉方向における画像部分Ｄ3、Ｄ4の位置を、眼瞼位置情報として瞼開閉計測部７へ提供する。なお、瞬きの際には上眼瞼の運動量が下眼瞼より大きいので、瞼抽出処理部６は、上眼瞼の縁部（画像部分Ｄ3）を検出して眼瞼位置情報を生成することが好ましい。これにより、眼瞼位置情報をより精度良く生成できる。 Subsequently, the eyelid extraction processing unit 6 performs the eyelid edge 101 (FIG. 1) based on the luminance histogram of the region (region A 1 in this embodiment) that passes through the dark region D 2 and has the eyelid opening / closing direction as the longitudinal direction. The image portions D 3 and D 4 corresponding to (see) are detected. The soot extraction processing unit 6 of the present embodiment extracts such image portions D 3 and D 4 by extracting edge portions E 1 and E 2 whose luminance changes rapidly in the graph G1 shown in FIG. 4B. Is detected. Then, the positions of the image portions D 3 and D 4 in the eyelid opening / closing direction are provided to the eyelid opening / closing measuring unit 7 as eyelid position information. Since the momentum of the upper eyelid is larger than that of the lower eyelid during blinking, it is preferable that the eyelid extraction processing unit 6 detects the edge (image portion D 3 ) of the upper eyelid to generate the eyelid position information. Thereby, eyelid position information can be generated more accurately.

また、眼瞼位置に関するその他の判定方法として、例えば、図４（ｂ）に示すグラフＧ１，Ｇ２において、輝度ヒストグラムが急峻に変化するエッジ部分Ｅ１，Ｅ２の位置を相互に比較し、輝度ヒストグラムがグラフＧ１及びＧ２に共通の位置で変化している場合に、当該位置を瞼位置として瞼抽出処理部６が判定しても良い。この場合、輝度値ヒストグラム（Ｇ１、Ｇ２）の変化分が、あらかじめ設定された閾値ｔｈと比較されることにより、上瞼位置及び下瞼位置を抽出することが可能となる。 As another determination method related to the eyelid position, for example, in the graphs G1 and G2 shown in FIG. 4B, the positions of the edge portions E 1 and E 2 at which the luminance histogram changes sharply are compared with each other, and the luminance histogram is obtained. Is changing at a position common to the graphs G1 and G2, the wrinkle extraction processing unit 6 may determine the position as the wrinkle position. In this case, it is possible to extract the upper eyelid position and the lower eyelid position by comparing the change of the luminance value histogram (G1, G2) with a preset threshold th.

図５〜図７は、眼瞼位置情報の時間変化に基づいて瞼開閉計測部７が開眼速度または開眼速度に相当する数値を算出する際の算出方法の例を示す図である。図５〜図７において、（ａ）は上眼瞼の縁部の位置の時間変化を示しており、（ｂ）は上眼瞼の縁部の移動速度の時間変化（すなわち（ａ）に示すグラフの時間微分値）を示している。また、これらの図において、時刻ｔ1は瞬きにおける閉眼開始タイミングを示し、時刻ｔ2は閉眼完了タイミングを示し、時刻ｔ3は開眼開始タイミングを示し、時刻ｔ4は開眼完了タイミングを示す。また、期間Ｔ5は閉眼期間であり、眼瞼は閉じた状態となっている。 5-7 is a figure which shows the example of the calculation method when the eyelid opening-and-closing measuring part 7 calculates the numerical value equivalent to an eye opening speed or an eye opening speed based on the time change of eyelid position information. 5 to 7, (a) shows the time change of the position of the edge of the upper eyelid, and (b) shows the time change of the moving speed of the edge of the upper eyelid (that is, the graph shown in (a)). Time derivative). In these figures, time t 1 indicates the eye closing start timing in blinking, time t 2 indicates the eye closing completion timing, time t 3 indicates the eye opening start timing, and time t 4 indicates the eye opening completion timing. Period T 5 is a closed eye period, and the eyelid is in a closed state.

例えば、図５（ａ）及び（ｂ）に示すように、瞼開閉計測部７は、瞬きの際の開眼開始時（時刻ｔ3）から開眼完了時（時刻ｔ4）までの期間Ｔ6における眼瞼の縁部の最大移動速度を算出し、これを開眼速度として提示する。具体的には、瞼開閉計測部７は、図５（ａ）に示す眼瞼位置情報を微分することにより、上眼瞼の縁部の移動速度についての遷移情報（図５（ｂ））を求める。そして、この遷移情報の期間Ｔ6における移動速度の最大値Ｖmaxを、開眼速度として外部に提示する。なお、閉眼開始タイミング（時刻ｔ1）および開眼完了タイミング（時刻ｔ4）は、例えば上眼瞼の位置が図５（ａ）に示す開眼閾値Ｚth1を下回る（または上回る）ことによって知ることができる。また、閉眼完了タイミング（時刻ｔ2）および開眼開始タイミング（時刻ｔ3）は、例えば上眼瞼の位置が図５（ａ）に示す閉眼閾値Ｚth2（＜Ｚth1）を下回る（または上回る）ことによって知ることができる。 For example, as shown in FIG. 5 (a) and (b), the eyelid opening measurement section 7, in the period T 6 from the time of eye opening start during blinking (time t 3) until the open-eye completion (time t 4) The maximum movement speed of the edge of the eyelid is calculated and presented as the eye opening speed. Specifically, eyelid opening / closing measuring unit 7 obtains transition information (FIG. 5B) regarding the movement speed of the edge of the upper eyelid by differentiating the eyelid position information shown in FIG. Then, the maximum value V max of the moving speed in the transition information period T 6 is presented to the outside as the eye opening speed. The eye closing start timing (time t 1 ) and the eye opening completion timing (time t 4 ) can be known, for example, when the position of the upper eyelid is below (or above) the eye opening threshold Z th1 shown in FIG. . In addition, the eye closing completion timing (time t 2 ) and the eye opening start timing (time t 3 ) are such that, for example, the position of the upper eyelid falls below (or exceeds) the closing eye threshold Z th2 (<Z th1 ) shown in FIG. Can know by.

或いは、図６（ａ）及び（ｂ）に示すように、瞼開閉計測部７は、期間Ｔ6において、眼瞼の縁部の移動速度が最大となる時刻ｔvmaxを含む所定期間ＴAでの眼瞼の縁部の移動距離ΔＺを、開眼速度に相当する数値として算出してもよい。具体的には、瞼開閉計測部７は、図６（ａ）に示す眼瞼位置情報を微分することにより、上眼瞼の縁部の移動速度についての遷移情報（図６（ｂ））を求める。そして、この遷移情報の期間Ｔ6において移動速度の最大値Ｖmaxが得られる時刻ｔvmaxを中心に、ｔvmax±Δｔ（Δｔは所定の時間）以内の期間を上記所定期間ＴAに設定し、この所定期間ＴAにおける上眼瞼の縁部の移動距離ΔＺを、開眼速度に相当する数値として外部に提示するとよい。 Alternatively, as shown in FIG. 6 (a) and (b), the eyelid opening measurement section 7, in the period T 6, the moving speed of the edge of the eyelid at a given time T A including time t vmax which maximizes The movement distance ΔZ of the edge of the eyelid may be calculated as a numerical value corresponding to the eye opening speed. Specifically, eyelid opening / closing measuring unit 7 obtains transition information (FIG. 6B) regarding the movement speed of the edge of the upper eyelid by differentiating the eyelid position information shown in FIG. Then, a period within t vmax ± Δt (Δt is a predetermined time) is set as the predetermined period T A around the time t vmax at which the maximum value V max of the moving speed is obtained in the transition information period T 6 . The movement distance ΔZ of the edge of the upper eyelid during the predetermined period T A may be presented to the outside as a numerical value corresponding to the eye opening speed.

或いは、図７（ａ）及び（ｂ）に示すように、瞼開閉計測部７は、期間Ｔ6における眼瞼の縁部の移動速度の半値幅を、開眼速度に相当する数値として算出してもよい。具体的には、瞼開閉計測部７は、図７（ａ）に示す眼瞼位置情報を微分することにより、上眼瞼の縁部の移動速度についての遷移情報（図７（ｂ））を求める。そして、この遷移情報の期間Ｔ6において移動速度の最大値Ｖmaxが得られる時刻ｔvmaxを基準として、最大値Ｖmaxの半値が得られる時刻ｔFWHM1、ｔFWHM2をそれぞれ求め、その時間差（ｔFWHM2−ｔFWHM1）または所定の係数を乗じた時間を、開眼速度に相当する数値として外部に提示するとよい。 Alternatively, as shown in FIG. 7 (a) and (b), the eyelid opening measurement section 7, the half-width of the moving speed of the edge of the eyelid in the period T 6, be calculated as a value corresponding to the eye opening rate Good. Specifically, eyelid opening / closing measuring unit 7 obtains transition information (FIG. 7B) regarding the movement speed of the edge of the upper eyelid by differentiating the eyelid position information shown in FIG. Then, based on the time t vmax maximum value V max of the moving speed is obtained in the period T 6 of this transition information, obtains a time t FWHM1, t FWHM2 to half of the maximum value V max is obtained, respectively, the time difference (t FWHM2− t FWHM1 ) or a time multiplied by a predetermined coefficient may be presented to the outside as a numerical value corresponding to the eye opening speed.

或いは、瞼開閉計測部７は、開眼速度に相当する数値として、閉眼速度と開眼速度との比、すなわち［開眼速度］／［閉眼速度］もしくは［閉眼速度］／［開眼速度］を算出してもよい。閉眼速度は、図５に基づき、開眼速度の算出手順と同様の手順により、瞬きの際の閉眼開始時（時刻ｔ1）から閉眼完了時（時刻ｔ2）までの期間における眼瞼の縁部の最大移動速度（移動速度の絶対値の最大値）として算出される。また、図６に基づいて算出された上瞼の縁部の移動距離ΔＺ、及び図７に基づいて算出された時間差（ｔFWHM2−ｔFWHM1）の算出手順と同様の手順により、閉眼時におけるこれらの数値を算出し、開眼時および閉眼時におけるこれらの数値の比を算出して、開眼速度に相当する数値としてもよい。これにより、個人差や計測バラツキなどの影響を抑えた疲労度の計測が可能となる。 Alternatively, the eyelid opening / closing measuring unit 7 calculates a ratio between the eye closing speed and the eye opening speed, that is, [eye opening speed] / [eye closing speed] or [eye closing speed] / [eye opening speed] as a numerical value corresponding to the eye opening speed. Also good. The eye closing speed is calculated based on FIG. 5 by the same procedure as that for calculating the eye opening speed, at the edge of the eyelid in the period from the eye closing start time (time t 1 ) to the eye closing completion time (time t 2 ). Calculated as the maximum moving speed (the maximum absolute value of the moving speed). Further, the movement distance ΔZ of the upper eyelid edge calculated based on FIG. 6 and the time difference (t FWHM2 −t FWHM1 ) calculated based on FIG. It is also possible to calculate a numerical value corresponding to the eye opening speed by calculating a ratio of these values when the eyes are opened and when the eyes are closed. This makes it possible to measure the degree of fatigue while suppressing the influence of individual differences and measurement variations.

開眼速度に相当する数値の他の例について、図８を参照しながら説明する。図８に示すグラフＧ３は瞼位置の遷移（左目盛）であり、グラフＧ４は瞼速度の遷移（右目盛）である。本実施形態に係る瞬目計測装置１は、瞬目時の瞼の詳細な位置情報を計測値として出力できるため、図８のように、瞼の位置ならびに開眼及び閉眼の速度を計測情報として得ることができる。そこで、以下のような特徴量を算出し、これらを開眼速度に相当する数値として利用してもよい。具体的には、
１．瞬目前瞼位置：閉眼前における瞼位置、すなわち閉眼前の瞼速度が０の時刻における瞼位置
２．完全閉眼時瞼位置：閉眼動作と開眼動作との間における瞼位置、すなわち閉眼完了タイミングと閉眼開始タイミングとの間に挟まれた瞼速度が０の時刻における瞼位置
３．瞬目後瞼位置：開眼後における瞼位置、すなわち開眼後の瞼速度が０の時刻における瞼位置
４．閉眼時最大速度時刻（ｔa）：閉眼速度の絶対値が最大となる時刻
５．閉眼／開眼時極小速度時刻（ｔb）：閉眼動作から開眼動作へ移る際の、瞼位置および瞼速度が極小となる時刻
６．開眼時最大速度時刻（ｔc）：開眼速度の絶対値が最大となる時刻
７．閉眼時１０％時刻（ｔd10）：瞼位置が、閉眼前の瞼位置から閉眼後の瞼位置までの距離の１０％に達した時刻
８．閉眼時５０％時刻（ｔd50）：瞼位置が、閉眼前の瞼位置から閉眼後の瞼位置までの距離の５０％に達した時刻
９．閉眼時９０％時刻（ｔd90）：瞼位置が、閉眼前の瞼位置から閉眼後の瞼位置までの距離の９０％に達した時刻
１０．開眼時１０％時刻（ｔe10）：瞼位置が、開眼前の瞼位置から開眼後の瞼位置までの距離の１０％に達した時刻
１１．開眼時５０％時刻（ｔe50）：瞼位置が、開眼前の瞼位置から開眼後の瞼位置までの距離の５０％に達した時刻
１２．開眼時９０％時刻（ｔe90）：瞼位置が、開眼前の瞼位置から開眼後の瞼位置までの距離の９０％に達した時刻 Another example of a numerical value corresponding to the eye opening speed will be described with reference to FIG. The graph G3 shown in FIG. 8 is the transition of the heel position (left scale), and the graph G4 is the transition of the heel speed (right scale). Since the blink measurement apparatus 1 according to the present embodiment can output detailed position information of the eyelid at the time of blinking as a measurement value, the eyelid position and the speed of eye opening and closing are obtained as measurement information as shown in FIG. be able to. Therefore, the following feature amounts may be calculated and used as numerical values corresponding to the eye opening speed. In particular,
1. 1. Eyelid position before blink: Eyelid position before closing eyelid, that is, eyelid position at time when eyelid speed before closing eye is 0 2. Eyelid position when fully closed: Eyelid position between the eye-closing operation and the eye-opening operation, that is, the eyelid position at the time when the eyelid velocity sandwiched between the eye closing completion timing and the eye closing start timing is 0. 3. Eyelid position after blinking: Eyelid position after eye opening, that is, eyelid position at time when eyelid speed after eye opening is zero Maximum speed time during the closed-eye (t a): time 5 the absolute value of the closed-eye speed is maximized. 5. Closed / open eye minimum speed time (t b ): Time when the eyelid position and eyelid speed become minimum when moving from the closed eye movement to the eye opening movement. 6. Maximum eye opening time (t c ): Time at which the absolute value of the eye opening speed is maximized 10% time when eyes are closed (t d10 ): Time when eyelid position reaches 10% of distance from eyelid position before eyes closed to eyelid position after eyes closed 8. 50% time when eye is closed (t d50 ): Time when eyelid position reaches 50% of distance from eyelid position before eyes closed to eyelid position after eyes closed 9. 90% time when eyes are closed (t d90 ): Time when eyelid position reaches 90% of distance from eyelid position before eyes closed to eyelid position after eyes closed 10. 10% time at eye opening (t e10 ): Time when eyelid position reaches 10% of distance from eyelid position before eye opening to eyelid position after eye opening Time of eye opening 50% (t e50 ): Time when eyelid position reaches 50% of distance from eyelid position before eye opening to eyelid position after eye opening 12. 90% time at eye opening (t e90 ): time at which the eyelid position reaches 90% of the distance from the eyelid position before eye opening to the eyelid position after eye opening

さらに、上記各時刻より、下記の特徴量を算出することも可能となる。
１３．閉眼時間：（閉眼時１０％時刻（ｔd10）と閉眼時９０％時刻（ｔd90）との時間差）
１４．開眼時間：（開眼時１０％時刻（ｔe10）と開眼時９０％時刻（ｔe90）との時間差） Further, the following feature quantities can be calculated from the above times.
13. Closed eye time: (time difference between 10% time (t d10 ) when closed and 90% time (t d90 ) when closed))
14 Eye opening time: (time difference between 10% time (t e10 ) at the time of eye opening and 90% time (t e90 ) at the time of eye opening)

また、閉眼／開眼時の特徴を示すために、下記の特徴量を算出することも可能となる。
１５．閉眼時の比：（ｔd50−ｔd90）／（ｔd10−ｔd50）
１６．開眼時の比：（ｔe50−ｔe90）／（ｔe10−ｔe50） In addition, in order to show the characteristics when the eyes are closed / open, the following feature amounts can be calculated.
15. Closed eye ratio: (t d50 -t d90 ) / (t d10 -t d50 )
16. Ratio at the time of eye opening: ( te50- te90 ) / ( te10- te50 )

瞬目計測装置１は、このようにして算出された開眼速度または前記開眼速度に応じた数値を、疲労度（主に眼疲労度）を示す数値として外部に提示する。提示先としては、例えば表示装置（ディスプレイ）や各種の疲労軽減装置（ＶＤＴのコントラストや輝度等を調整する装置など）が挙げられる。   The blink measurement apparatus 1 presents the eye opening speed calculated in this way or a numerical value corresponding to the eye opening speed to the outside as a numerical value indicating the degree of fatigue (mainly the degree of eye fatigue). Examples of the presentation destination include a display device (display) and various types of fatigue reduction devices (devices that adjust the contrast, brightness, etc. of VDT).

図９は、瞬目計測装置１の動作に関するフローチャートである。図９に示すように、瞬目計測装置１では、まず図１に示した眼１００及びその周辺の撮影を撮像部５が行い、画像データを取得する（ステップＳ１０）。次に、図４（ａ）に示した暗部領域Ｄ2を瞼抽出処理部６が抽出し（ステップＳ１１）、暗部領域Ｄ2を通り眼瞼の開閉方向を長手方向とする領域Ａ1の輝度ヒストグラム（図４（ｂ））を作成する（ステップＳ１２）。そして、瞼抽出処理部６は、この輝度ヒストグラムに基づいて、眼瞼の縁部１０１（図１参照）に相当する画像部分Ｄ3を検出し、画像部分Ｄ3の位置を示す眼瞼位置情報を作成する（ステップＳ１３）。続いて、瞼開閉計測部７は、この眼瞼位置情報の時間変化に基づいて、開眼速度または開眼速度に相当する数値を算出する（ステップＳ１４）。 FIG. 9 is a flowchart regarding the operation of the blink measurement apparatus 1. As shown in FIG. 9, in the blink measurement apparatus 1, first, the imaging unit 5 captures the eye 100 and its surroundings shown in FIG. 1, and acquires image data (step S10). Next, FIGS. 4 (a) to a dark region D 2 eyelid extracting section 6 extracts shown (step S11), and the luminance histogram of the region A 1 in which the opening and closing direction of the street eyelids dark region D 2 to the longitudinal direction (FIG. 4B) is created (step S12). The eyelid extraction processing unit 6 detects an image part D 3 corresponding to the edge part 101 (see FIG. 1) of the eyelid based on the luminance histogram, and creates eyelid position information indicating the position of the image part D 3. (Step S13). Subsequently, eyelid opening / closing measuring unit 7 calculates the eye opening speed or a numerical value corresponding to the eye opening speed based on the time change of the eyelid position information (step S14).

本実施形態の瞬目計測装置１により得られる効果について、以下に説明する。従来より、ＣＣＤカメラにより取得した顔画像に基づいて瞬きに関するパラメータを算出し、このパラメータと疲労度との相関について研究がなされてきた。しかし、ＣＣＤカメラの撮像速度は３０フレーム／秒（１フレーム当たり約３３ミリ秒）程度であるため、１００〜３００ミリ秒程度といわれている人間の瞬きをＣＣＤカメラを用いて精度良く撮像することは困難である。したがって、上記パラメータは疲労度を正確に推定できるものであるか疑いがある。   The effects obtained by the blink measurement device 1 of the present embodiment will be described below. Conventionally, a parameter relating to blinking is calculated based on a face image acquired by a CCD camera, and research has been conducted on the correlation between this parameter and the degree of fatigue. However, since the imaging speed of the CCD camera is about 30 frames / second (about 33 milliseconds per frame), it is possible to accurately capture human blinks, which are said to be about 100 to 300 milliseconds, using the CCD camera. It is difficult. Therefore, there is a suspicion that the above parameters can accurately estimate the degree of fatigue.

なお、瞬きを計測する方法としては、画像処理の他に、眼電図（ＥＯＧ：Electrooculogram）や筋電図（ＥＭＧ：Electromyography）を用いる計測方法がある。しかし、ＥＯＧやＥＭＧは電極を眼の周囲の所定位置に貼り付ける必要があり、簡便性を欠いてしまう。特に、ＶＤＴ作業や車の運転などの作業中においては、非接触での計測が可能な撮像による計測が望ましい。また、ＥＯＧのような筋電位計測では、瞼位置の絶対値を正確に計測することは困難である。そのため、非接触かつ高精度の瞬目計測のツールとして、上記実施形態のような２次元センサ、特に固体撮像素子を用いた高速センシングが非常に有効な手段となる。   As a method for measuring blinks, there is a measurement method using an electrooculogram (EOG) or an electromyogram (EMG) in addition to image processing. However, EOG and EMG require the electrodes to be attached at predetermined positions around the eyes, and lack simplicity. In particular, during work such as VDT work and car driving, measurement by imaging capable of non-contact measurement is desirable. Further, in the EMG measurement such as EOG, it is difficult to accurately measure the absolute value of the heel position. Therefore, as a tool for non-contact and high-accuracy blink measurement, high-speed sensing using the two-dimensional sensor as in the above-described embodiment, particularly a solid-state imaging device, is a very effective means.

本発明者らは、１ｋＨｚ以上といった極めて高速なフレームレートを有する撮像装置（ＩＶＳカメラ）を用いて眼の運動を計測することによって、疲労度と目の運動との関係について、これまで知られていなかった事実を突き止めた。すなわち、瞬きにおける閉眼状態（図５〜図７に示した期間Ｔ5）の後、開眼する際の開眼速度と疲労度との間には有意な相関が存在しており、疲労度が増すほど開眼速度が低下し、閉眼状態から開眼状態へ移行する為の所要時間が疲労度に応じて長くなるという事実である。 The present inventors have so far known the relationship between the degree of fatigue and eye movement by measuring eye movement using an imaging device (IVS camera) having an extremely high frame rate of 1 kHz or higher. I found out the fact that was not there. That is, there is a significant correlation between the eye opening speed and the degree of fatigue at the time of eye opening after the eye-closed state in blinking (period T 5 shown in FIGS. 5 to 7), and the degree of fatigue increases. This is the fact that the eye opening speed decreases and the time required for shifting from the closed eye state to the open eye state becomes longer depending on the degree of fatigue.

図１０は、本発明者らが実際に行った実験の結果を示すグラフである。図１０には、ＶＤＴ作業直前、ＶＤＴ作業を３０分継続した直後、およびＶＤＴ作業を６０分継続した直後のそれぞれにおける、閉眼所要時間（図５〜図７におけるｔ2−ｔ1）および開眼所要時間（図５〜図７におけるｔ4−ｔ3）の計測結果が示されている。図１０を参照すると、ＶＤＴ作業の直前では開眼所要時間が約１５０ミリ秒であるが、ＶＤＴ作業を３０分継続した直後では開眼所要時間が約２００ミリ秒と長くなり、ＶＤＴ作業を６０分継続した直後では開眼所要時間が約２３０ミリ秒と更に長くなった。すなわち、１時間のＶＤＴ作業によって開眼所要時間が１．５倍になったのである。 FIG. 10 is a graph showing the results of experiments actually conducted by the inventors. FIG. 10 shows the time required for closing the eye (t 2 -t 1 in FIGS. 5 to 7) and eye opening required immediately before the VDT work, immediately after continuing the VDT work for 30 minutes, and immediately after continuing the VDT work for 60 minutes. time of measurement results (t 4 -t 3 in FIG. 5 to FIG. 7) is shown. Referring to FIG. 10, the eye opening time is about 150 milliseconds immediately before the VDT work, but immediately after the VDT work is continued for 30 minutes, the eye opening time is increased to about 200 milliseconds and the VDT work is continued for 60 minutes. Immediately after the opening, the eye opening time was further increased to about 230 milliseconds. That is, the required eye opening time is 1.5 times as long as one hour of VDT work.

なお、図１０から明らかなように、開眼動作及び閉眼動作は、その所要時間が５０ミリ秒から２５０ミリ秒程度という極めて高速な現象であり、これらの特徴量を計測するには、好ましくは、それらの１／１０倍程度（５０ミリ秒の現象を捉える場合には５ミリ秒すなわち２００Ｈｚ）のサンプリング周期での計測が必要となる。このため、従来のＣＣＤカメラ（３０フレーム／秒）では、開眼や閉眼の現象を高精度かつ正確に計測することは困難であった。上記実施形態では、高いフレームレートを有する撮像装置としてＭＯＳ型の撮像装置を例示したが、これに限定されるものではない。例えば、ＣＣＤカメラの部分読み出し機能（高速部分読み出し）や、まとめ読み出し（ビニング機能）を利用すれば、高フレームレートを実現することが可能となる。   As is clear from FIG. 10, the eye opening operation and the eye closing operation are extremely fast phenomena in which the required time is about 50 milliseconds to 250 milliseconds. In order to measure these feature amounts, It is necessary to measure at a sampling period of about 1/10 times (5 milliseconds, that is, 200 Hz when capturing a phenomenon of 50 milliseconds). For this reason, it has been difficult to accurately and accurately measure the phenomenon of eye opening and closing with a conventional CCD camera (30 frames / second). In the above embodiment, the MOS type imaging device is exemplified as the imaging device having a high frame rate, but the present invention is not limited to this. For example, a high frame rate can be realized by using a partial reading function (high-speed partial reading) or a collective reading (binning function) of a CCD camera.

そこで、本実施形態の瞬目計測装置１は、図１に示したように、計測対象者の眼１００を撮像する撮像部（撮像手段）５と、撮像部５により撮像された画像データに基づいて、瞬きの際の開眼速度または開眼速度に相当する数値を算出する開眼速度算出手段（瞼抽出処理部６、瞼開閉計測部７）とを備えており、開眼速度または開眼速度に応じた数値を疲労度を示す数値として算出する。このように、開眼速度または開眼速度に応じた数値を疲労度を示す数値として算出することにより、疲労度と眼の運動とのより確かな相関に基づいて疲労度を算出することができる。   Therefore, as shown in FIG. 1, the blink measuring apparatus 1 according to the present embodiment is based on the imaging unit (imaging unit) 5 that images the eye 100 of the measurement target person and the image data captured by the imaging unit 5. And eye opening speed calculating means (an eyelid extraction processing unit 6 and an eyelid opening / closing measuring unit 7) for calculating an eye opening speed at the time of blinking or a numerical value corresponding to the eye opening speed, and a numerical value corresponding to the eye opening speed or the eye opening speed. Is calculated as a numerical value indicating the degree of fatigue. Thus, by calculating the eye opening speed or a numerical value corresponding to the eye opening speed as a numerical value indicating the fatigue level, the fatigue level can be calculated based on a more reliable correlation between the fatigue level and the eye movement.

また、本実施形態のように、開眼速度算出手段は、画像データにおける眼瞼の縁部を検出して眼瞼位置情報を生成する瞼抽出処理部（眼瞼位置検出部）６と、眼瞼位置情報の時間変化に基づいて開眼速度または開眼速度に相当する数値を算出する瞼開閉計測部（演算部）７とを有するとよい。これにより、瞬きの際の開眼速度または開眼速度に相当する数値を画像データに基づいて好適に算出することができる。   Further, as in the present embodiment, the eye opening speed calculating means detects the edge of the eyelid in the image data and generates eyelid position information 6, and the time of the eyelid position information It is good to have eyelid opening / closing measuring part (calculation part) 7 which calculates the numerical value equivalent to eye opening speed or eye opening speed based on change. Thereby, the eye opening speed at the time of blinking or a numerical value corresponding to the eye opening speed can be suitably calculated based on the image data.

また、本実施形態のように、瞼抽出処理部６は、画像データにおいて最も暗い暗部領域Ｄ2（図４（ａ）参照）を抽出し、該暗部領域Ｄ2を通り眼瞼の開閉方向を長手方向とする領域Ａ1の輝度分布（例えば図４（ｂ）のグラフＧ１）に基づいて、眼瞼位置情報を生成するとよい。これにより、画像データにおける眼瞼の縁部を精度良く検出して眼瞼位置情報を生成できる。 Also, as in the present embodiment, the eyelid extraction processing unit 6, the darkest dark region D 2 in the image data to extract (see FIG. 4 (a)), the opening and closing direction of the street eyelids dark region D 2 longitudinal based on the luminance distribution of the region a 1 to the direction (e.g. G1 graph of FIG. 4 (b)), may generate an eyelid position information. Thereby, the edge part of the eyelid in image data can be detected accurately, and eyelid position information can be generated.

本実施形態による瞬目計測装置１は、次のような応用が可能である。例えば、ＶＤＴ作業や車の運転、製品検査等に従事する者の眼を計測し、開眼速度または開眼速度に相当する数値が所定の閾値を越えた場合に警告を発して休息を促す等、疲労度モニタとして応用できる。また、瞬目計測装置１により計測される開眼速度または開眼速度に相当する数値に応じて、環境パラメータ（例えば、ＶＤＴ作業時であれば画面のコントラストや輝度、作業時の部屋の明るさなど）を調整することにより、作業者の疲労度に応じた作業環境の調整を行うことも可能である。また、瞬目計測装置１は小型に構成でき且つ非接触計測が可能なので、携帯電話のカメラ機能やパソコンのＷＥＢカメラなどに組み合わせて手軽な健康度計測装置として利用することもできる。   The blink measurement apparatus 1 according to the present embodiment can be applied as follows. For example, the eyes of a person engaged in VDT work, driving a car, product inspection, etc. are measured, and when the eye opening speed or a numerical value corresponding to the eye opening speed exceeds a predetermined threshold, a warning is issued to encourage rest. It can be applied as a degree monitor. In addition, according to the eye opening speed measured by the blink measurement device 1 or a numerical value corresponding to the eye opening speed, environmental parameters (for example, the contrast and brightness of the screen during VDT work, the brightness of the room during work, etc.) It is also possible to adjust the work environment according to the worker's fatigue level by adjusting the. In addition, since the blink measurement device 1 can be configured in a small size and can perform non-contact measurement, it can be used as a simple health measurement device in combination with a camera function of a mobile phone or a WEB camera of a personal computer.

本発明による瞬目計測装置は、上記した実施形態に限られるものではなく、他に様々な変形が可能である。例えば、上記実施形態では撮像手段として１ｋＨｚ以上のフレームレートを有する撮像装置（ＩＶＳカメラ）を使用したが、エリアセンサやラインセンサを使用してもよい。ラインセンサを使用する場合、瞬きに伴う眼瞼の位置の変化を検出するために、ラインセンサの長手方向が眼瞼の開閉方向に沿うようにラインセンサを設置するとよい。また、開眼速度または開眼速度に相当する数値は上述した３つの数値（最大移動速度、最大移動速度となる時刻を含む所定期間での移動距離、移動速度の半値幅）に限られるものではなく、開眼速度に関わる他の数値を算出／提示してもよい。   The blink measuring device according to the present invention is not limited to the above-described embodiment, and various other modifications are possible. For example, in the above embodiment, an imaging device (IVS camera) having a frame rate of 1 kHz or more is used as the imaging unit, but an area sensor or a line sensor may be used. When using a line sensor, in order to detect a change in the position of the eyelid accompanying blinking, the line sensor may be installed so that the longitudinal direction of the line sensor is along the opening / closing direction of the eyelid. Further, the eye opening speed or a numerical value corresponding to the eye opening speed is not limited to the above-described three numerical values (maximum moving speed, moving distance in a predetermined period including the time when the maximum moving speed is reached, and the half-value width of the moving speed) Other numerical values related to the eye opening speed may be calculated / presented.

本発明による瞬目計測装置の一実施形態を示す概略図である。It is the schematic which shows one Embodiment of the blink measurement apparatus by this invention. 本実施形態において用いられる撮像部５の内部構成を示す図である。It is a figure which shows the internal structure of the imaging part 5 used in this embodiment. 光検出部と、アンプ、Ａ／Ｄ変換器、及び瞼抽出処理部との電気的接続関係を示す図である。It is a figure which shows the electrical connection relationship between a photon detection part, an amplifier, an A / D converter, and a soot extraction process part. （ａ）（ｂ）瞼抽出処理部における、画像データに基づく眼瞼の縁部の検出方法を示す図である。(A) (b) It is a figure which shows the detection method of the edge part of the eyelid based on image data in a eyelid extraction process part. 眼瞼位置情報の時間変化に基づいて瞼開閉計測部が開眼速度または開眼速度に相当する数値を算出する際の算出方法の例を示す図である。（ａ）は上眼瞼の縁部の位置の時間変化を示しており、（ｂ）は上眼瞼の縁部の移動速度の時間変化を示している。It is a figure which shows the example of the calculation method at the time of the eyelid opening-and-closing measurement part calculating the numerical value equivalent to an eye opening speed or an eye opening speed based on the time change of eyelid position information. (A) has shown the time change of the position of the edge part of an upper eyelid, (b) has shown the time change of the moving speed of the edge part of an upper eyelid. 眼瞼位置情報の時間変化に基づいて瞼開閉計測部が開眼速度または開眼速度に相当する数値を算出する際の算出方法の例を示す図である。（ａ）は上眼瞼の縁部の位置の時間変化を示しており、（ｂ）は上眼瞼の縁部の移動速度の時間変化を示している。It is a figure which shows the example of the calculation method at the time of the eyelid opening-and-closing measurement part calculating the numerical value equivalent to an eye opening speed or an eye opening speed based on the time change of eyelid position information. (A) has shown the time change of the position of the edge part of an upper eyelid, (b) has shown the time change of the moving speed of the edge part of an upper eyelid. 眼瞼位置情報の時間変化に基づいて瞼開閉計測部が開眼速度または開眼速度に相当する数値を算出する際の算出方法の例を示す図である。（ａ）は上眼瞼の縁部の位置の時間変化を示しており、（ｂ）は上眼瞼の縁部の移動速度の時間変化を示している。It is a figure which shows the example of the calculation method at the time of the eyelid opening-and-closing measurement part calculating the numerical value equivalent to an eye opening speed or an eye opening speed based on the time change of eyelid position information. (A) has shown the time change of the position of the edge part of an upper eyelid, (b) has shown the time change of the moving speed of the edge part of an upper eyelid. 眼瞼位置情報の時間変化に基づいて算出される、開眼速度に相当する数値の他の例について説明するための図である。It is a figure for demonstrating the other example of the numerical value corresponded to the eye opening speed calculated based on the time change of eyelid position information. 瞬目計測装置の動作に関するフローチャートである。It is a flowchart regarding operation | movement of a blink measurement apparatus. 本発明者らが実際に行った実験の結果を示すグラフである。It is a graph which shows the result of the experiment which the present inventors actually conducted.

符号の説明Explanation of symbols

１…瞬目計測装置、２…照明、３…ダイクロイックミラー、４…集光レンズ、５…撮像部、６…瞼抽出処理部、７…瞼開閉計測部、８…カメラ、９…視標、５１…光検出部、５１ａ…画素、５３…増幅部、５３ａ…アンプ、５５…変換部、５５ａ…変換器、５７…スイッチ部、５７ａ…スイッチ、Ｄ2…暗部領域、Ｅ1，Ｅ2…エッジ部分、Ｌ１…赤外光、Ｌ２…光像、Ｌ３…可視光。 DESCRIPTION OF SYMBOLS 1 ... Blink measuring device, 2 ... Illumination, 3 ... Dichroic mirror, 4 ... Condensing lens, 5 ... Imaging part, 6 ... Haze extraction process part, 7 ... Opening / closing measuring part, 8 ... Camera, 9 ... Target, 51 ... photodetecting section, 51a ... pixel 53 ... amplifier unit, 53a ... amplifier, 55 ... conversion unit, 55a ... transducer, 57 ... switch unit, 57a ... switch, D 2 ... dark region, E 1, E 2 ... Edge portion, L1 ... infrared light, L2 ... light image, L3 ... visible light.

Claims (7)

計測対象者の眼を撮像する撮像手段と、
前記撮像手段により撮像された画像に基づいて、瞬きの際の開眼速度または開眼速度に相当する数値を算出する開眼速度算出手段と、
を備え、
前記開眼速度または前記開眼速度に応じた数値を疲労度を示す数値として算出することを特徴とする、瞬目計測装置。 An imaging means for imaging the eye of the measurement subject;
An eye opening speed calculating means for calculating an eye opening speed at the time of blinking or a numerical value corresponding to the eye opening speed based on an image captured by the image capturing means;
With
An eye blink measuring device, wherein the eye opening speed or a numerical value corresponding to the eye opening speed is calculated as a numerical value indicating a degree of fatigue. 前記開眼速度算出手段は、
前記画像における眼瞼の縁部を検出して眼瞼位置情報を生成する眼瞼位置検出部と、
前記眼瞼位置情報の時間変化に基づいて前記開眼速度または前記開眼速度に相当する数値を算出する演算部と
を有することを特徴とする、請求項１に記載の瞬目計測装置。 The eye opening speed calculating means includes
An eyelid position detector for detecting eyelid edge information in the image and generating eyelid position information;
The blink measurement apparatus according to claim 1, further comprising: an arithmetic unit that calculates the eye opening speed or a numerical value corresponding to the eye opening speed based on a time change of the eyelid position information. 前記眼瞼位置検出部は、前記画像において最も暗い暗部領域を抽出し、該暗部領域を通り眼瞼の開閉方向を長手方向とする領域の輝度分布に基づいて前記眼瞼位置情報を生成することを特徴とする、請求項２に記載の瞬目計測装置。   The eyelid position detection unit extracts the darkest dark area in the image, and generates the eyelid position information based on a luminance distribution of an area that passes through the dark area and has an eyelid opening / closing direction as a longitudinal direction. The blink measurement apparatus according to claim 2. 前記眼瞼位置検出部は、上眼瞼の縁部を検出して前記眼瞼位置情報を生成することを特徴とする、請求項２または３に記載の瞬目計測装置。   The eyelid position detection unit according to claim 2 or 3, wherein the eyelid position detection unit detects an edge of an upper eyelid and generates the eyelid position information. 前記演算部は、瞬きの際の開眼開始時から開眼完了時までの期間における眼瞼の縁部の最大移動速度を前記開眼速度として算出することを特徴とする、請求項１〜４のいずれか一項に記載の瞬目計測装置。   The said calculating part calculates the maximum moving speed of the edge part of the eyelid in the period from the eye opening start time at the time of eye opening completion in the case of blinking as said eye opening speed. The blink measurement apparatus according to item. 前記演算部は、瞬きの際の開眼開始時から開眼完了時までの期間において、眼瞼の縁部の移動速度が最大となる時刻を含む所定期間での眼瞼の縁部の移動距離を前記開眼速度に相当する数値として算出することを特徴とする、請求項１〜４のいずれか一項に記載の瞬目計測装置。   The calculation unit calculates a movement distance of the edge of the eyelid in a predetermined period including a time at which the movement speed of the edge of the eyelid becomes maximum in a period from the start of eye opening to the time of completion of eye opening when blinking. The blink measurement device according to claim 1, wherein the blink measurement device calculates the value as a numerical value corresponding to. 前記演算部は、瞬きの際の開眼開始時から開眼完了時までの期間における眼瞼の縁部の移動速度の半値幅を前記開眼速度に相当する数値として算出することを特徴とする、請求項１〜４のいずれか一項に記載の瞬目計測装置。   The said calculating part calculates the half value width of the moving speed of the edge part of the eyelid in the period from the eye opening start time at the time of eye opening completion in the case of blinking as a numerical value equivalent to the said eye opening speed. The blink measurement apparatus as described in any one of -4.
JP2007300876A 2007-11-20 2007-11-20 Blink measurement device Active JP5301815B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007300876A JP5301815B2 (en) 2007-11-20 2007-11-20 Blink measurement device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007300876A JP5301815B2 (en) 2007-11-20 2007-11-20 Blink measurement device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012101436A Division JP2012139562A (en) 2012-04-26 2012-04-26 Blinking measuring instrument

Publications (2)

Publication Number Publication Date
JP2009125154A true JP2009125154A (en) 2009-06-11
JP5301815B2 JP5301815B2 (en) 2013-09-25

Family

ID=40816672

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007300876A Active JP5301815B2 (en) 2007-11-20 2007-11-20 Blink measurement device

Country Status (1)

Country Link
JP (1) JP5301815B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011050676A (en) * 2009-09-04 2011-03-17 Topcon Corp Ophthalmologic imaging apparatus
JP2011229741A (en) * 2010-04-28 2011-11-17 Toyota Motor Corp Instrument for estimating sleepiness and method for estimating sleepiness
JP2012010798A (en) * 2010-06-29 2012-01-19 Nidek Co Ltd Ophthalmologic device
JP2014121410A (en) * 2012-12-20 2014-07-03 National Institute Of Advanced Industrial & Technology Fatigue determination device, fatigue determination method and program
WO2017033516A1 (en) * 2015-08-24 2017-03-02 富士フイルム株式会社 Radiograph interpretation assistance device and method
JPWO2019069633A1 (en) * 2017-10-05 2020-12-17 コニカミノルタ株式会社 Two-dimensional flicker measuring device and two-dimensional flicker measuring method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11806078B1 (en) 2022-05-01 2023-11-07 Globe Biomedical, Inc. Tear meniscus detection and evaluation system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07313459A (en) * 1994-05-20 1995-12-05 Toyota Central Res & Dev Lab Inc Detecting device for opening extent of eyelid
JP2001198113A (en) * 2000-01-18 2001-07-24 Toyota Central Res & Dev Lab Inc Fatigue degree arithmetically operating device
WO2006092022A1 (en) * 2005-03-04 2006-09-08 Sleep Diagnostics Pty. Ltd Measuring alertness

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07313459A (en) * 1994-05-20 1995-12-05 Toyota Central Res & Dev Lab Inc Detecting device for opening extent of eyelid
JP2001198113A (en) * 2000-01-18 2001-07-24 Toyota Central Res & Dev Lab Inc Fatigue degree arithmetically operating device
WO2006092022A1 (en) * 2005-03-04 2006-09-08 Sleep Diagnostics Pty. Ltd Measuring alertness

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011050676A (en) * 2009-09-04 2011-03-17 Topcon Corp Ophthalmologic imaging apparatus
JP2011229741A (en) * 2010-04-28 2011-11-17 Toyota Motor Corp Instrument for estimating sleepiness and method for estimating sleepiness
JP2012010798A (en) * 2010-06-29 2012-01-19 Nidek Co Ltd Ophthalmologic device
JP2014121410A (en) * 2012-12-20 2014-07-03 National Institute Of Advanced Industrial & Technology Fatigue determination device, fatigue determination method and program
WO2017033516A1 (en) * 2015-08-24 2017-03-02 富士フイルム株式会社 Radiograph interpretation assistance device and method
JPWO2017033516A1 (en) * 2015-08-24 2018-06-07 富士フイルム株式会社 Interpretation support apparatus and method
US10456072B2 (en) 2015-08-24 2019-10-29 Fujifilm Corporation Image interpretation support apparatus and method
JPWO2019069633A1 (en) * 2017-10-05 2020-12-17 コニカミノルタ株式会社 Two-dimensional flicker measuring device and two-dimensional flicker measuring method
JP7310606B2 (en) 2017-10-05 2023-07-19 コニカミノルタ株式会社 Two-dimensional flicker measuring device and two-dimensional flicker measuring method

Also Published As

Publication number Publication date
JP5301815B2 (en) 2013-09-25

Similar Documents

Publication Publication Date Title
JP5301815B2 (en) Blink measurement device
JP5642945B2 (en) Blink measurement device
US7380938B2 (en) Apparatus to detect and measure saccade and pupilary changes
TWI466655B (en) Image controlling system for detecting electrooculography (eog)
US7496395B2 (en) Laser doppler perfusion imaging with a plurality of beams
JP5145555B2 (en) Pupil detection method
US8267517B2 (en) Eyeball motion measurement apparatus
US8480579B2 (en) Instrument and method for high-speed perfusion imaging
JP6998529B2 (en) Imaging device
US20080177185A1 (en) Skin Area Detection Imaging Device
US20130296715A1 (en) Instrument and method for high-speed perfusion imaging
JP2002513176A (en) Apparatus and method for monitoring a subject&#39;s eye using two different wavelengths of light
CN110621212A (en) System for assessing health condition of user
CN111948798B (en) Endoscope system and method for detecting contact of tip of endoscope with tissue
JP2012139562A (en) Blinking measuring instrument
JP5825588B2 (en) Blink measurement device and blink measurement method
JP5399777B2 (en) Blink measurement device and blink measurement method
US11144755B2 (en) Support glint for remote eye tracking
JP4322693B2 (en) Eye movement measurement device
JPWO2019240300A1 (en) Eye imaging device and eye imaging system
CN112041783A (en) Exposure time control
JP2008132160A (en) Pupil detecting device and pupil detecting method
KR20210004637A (en) Nystagmus test device and test method for the diagnosis of benign paroxysmal positional vertigo
WO2013179178A1 (en) Monitoring eye fatigue
Xia et al. A new method for evaluating postural hand tremor based on cmos camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100803

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121030

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130618

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130620

R150 Certificate of patent or registration of utility model

Ref document number: 5301815

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250