JP2016220801A - Binocular measurement device, binocular measurement method, and binocular measurement program - Google Patents
Binocular measurement device, binocular measurement method, and binocular measurement program Download PDFInfo
- Publication number
- JP2016220801A JP2016220801A JP2015108367A JP2015108367A JP2016220801A JP 2016220801 A JP2016220801 A JP 2016220801A JP 2015108367 A JP2015108367 A JP 2015108367A JP 2015108367 A JP2015108367 A JP 2015108367A JP 2016220801 A JP2016220801 A JP 2016220801A
- Authority
- JP
- Japan
- Prior art keywords
- feature amount
- value
- eye
- feature
- calculation unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 92
- 238000000691 measurement method Methods 0.000 title claims description 8
- 210000001508 eye Anatomy 0.000 claims abstract description 225
- 238000004364 calculation method Methods 0.000 claims abstract description 109
- 210000001747 pupil Anatomy 0.000 claims description 37
- 238000001514 detection method Methods 0.000 claims description 27
- 238000000034 method Methods 0.000 description 49
- 210000000744 eyelid Anatomy 0.000 description 48
- 230000008859 change Effects 0.000 description 43
- 210000005252 bulbus oculi Anatomy 0.000 description 30
- 238000012545 processing Methods 0.000 description 27
- 230000006399 behavior Effects 0.000 description 23
- 230000000193 eyeblink Effects 0.000 description 23
- 230000004397 blinking Effects 0.000 description 21
- 230000004424 eye movement Effects 0.000 description 20
- 230000006870 function Effects 0.000 description 15
- 238000005286 illumination Methods 0.000 description 15
- 238000011156 evaluation Methods 0.000 description 13
- 206010044565 Tremor Diseases 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 230000002123 temporal effect Effects 0.000 description 8
- 230000002911 mydriatic effect Effects 0.000 description 7
- 230000003925 brain function Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 239000006185 dispersion Substances 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000003547 miosis Effects 0.000 description 5
- 208000019736 Cranial nerve disease Diseases 0.000 description 4
- 208000014826 cranial nerve neuropathy Diseases 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000004438 eyesight Effects 0.000 description 4
- 230000004459 microsaccades Effects 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 230000008602 contraction Effects 0.000 description 3
- 210000004087 cornea Anatomy 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000008685 targeting Effects 0.000 description 3
- 206010027646 Miosis Diseases 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004434 saccadic eye movement Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000014644 Brain disease Diseases 0.000 description 1
- 206010061818 Disease progression Diseases 0.000 description 1
- 208000018737 Parkinson disease Diseases 0.000 description 1
- 206010034960 Photophobia Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000036995 brain health Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000005750 disease progression Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 230000004399 eye closure Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000003565 oculomotor Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 210000003786 sclera Anatomy 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
- A61B3/112—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
- A61B3/145—Arrangements specially adapted for eye photography by video means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
- A61B3/08—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing binocular or stereoscopic vision, e.g. strabismus
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Ophthalmology & Optometry (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Computation (AREA)
- Signal Processing (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Geometry (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Eye Examination Apparatus (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
本発明の一側面は、対象者の両眼を計測する両眼計測装置、両眼計測方法、及び両眼計測プログラムに関する。 One aspect of the present invention relates to a binocular measurement device, a binocular measurement method, and a binocular measurement program for measuring both eyes of a subject.
眼は生物が成長する過程で脳から分化してできた器官であり、脳に直結した臓器の中で唯一対外から非侵襲に観察できる器官である。そのため、眼部の挙動を定量化することで脳の健康を数値化できると考えられている。従来から、脳機能を定量評価する際には、PET(ポジトロン断層法)、CT、MRIといった大掛かりな設備を用いて行われてきている。このような評価手法は、一定の信頼度を得られている一方、費用面で負担が大きいという問題や、診断に専門知識を有した医師が必要であるなど、より簡便な方法による評価の確立が要望されている。 The eye is an organ that has been differentiated from the brain as the organism grows, and is the only organ that is directly connected to the brain that can be observed noninvasively from the outside. Therefore, it is considered that the brain health can be quantified by quantifying the behavior of the eye. Conventionally, quantitative evaluation of brain function has been performed using large facilities such as PET (positron tomography), CT, and MRI. Such an evaluation method has a certain level of reliability, but has a high cost burden, and requires a doctor with specialized knowledge in diagnosis to establish evaluation by a simpler method. Is desired.
一方で、従来から、脳機能の計測方法の1つとして、被験者の眼の挙動を検査する手法が知られている。例えば、被験者の瞬目を計測する手法(下記非特許文献1参照。)や、被験者の固視微動を計測する手法(下記非特許文献2参照。)が、簡便な脳機能疾患の抽出やスクリーニング手法の1つとして検討されている。
On the other hand, conventionally, as one method for measuring brain function, a method for examining the behavior of the eye of a subject is known. For example, a technique for measuring blinks of a subject (see
しかしながら、上記非特許文献1に記載の手法では、複数の電極を備える誘発電位記録装置を用いて電気刺激による反射性瞬目を計測しており、検査時の被験者の負担が大きくなりがちである。また、上記非特許文献1及び非特許文献2に記載の手法によっては、被験者の両眼の挙動の違いを適切に評価することは難しい。
However, in the method described in
そこで、本発明の一側面は、かかる課題に鑑みて為されたものであり、被験者の両眼の挙動の違いを簡易かつ適切に評価することが可能な両眼計測装置及び両眼計測方法を提供することを目的とする。 Therefore, one aspect of the present invention has been made in view of such a problem, and a binocular measurement device and a binocular measurement method capable of simply and appropriately evaluating a difference in behavior of both eyes of a subject. The purpose is to provide.
上記課題を解決するため、本願発明者らは、パーキンソン病等の各種病気の患者と健常者との両眼の挙動の違いを定量評価する手法について検討を進めた。その結果、本願発明者らは、右眼の動きを基に算出した特徴量と、左目の動きを基に算出した特徴量とを比較した比較値を評価することによって、脳疾患患者と健常者の区別や、疲労作業の前後の状態を定量評価できる新たな指標になることを見い出した。 In order to solve the above-mentioned problems, the inventors of the present application have studied a technique for quantitatively evaluating the difference in behavior of both eyes between patients with various diseases such as Parkinson's disease and healthy subjects. As a result, the inventors of the present application evaluated a comparison value comparing the feature amount calculated based on the movement of the right eye and the feature amount calculated based on the movement of the left eye, thereby enabling a patient with a brain disease and a healthy person. It has been found that it becomes a new index that can quantitatively evaluate the state before and after fatigue work.
すなわち、本発明の一形態に係る両眼計測装置は、対象者の右眼及び左眼からの光を検出し、当該光の検出信号を出力する光検出器と、検出信号に基づいて、右眼に対応した第1の特徴量と左眼に対応した第2の特徴量とを算出する特徴量算出部と、第1の特徴量及び第2の特徴量を基に、第1の特徴量と第2の特徴量とを比較した比較値を算出する比較値算出部と、を備える。 That is, the binocular measurement device according to an aspect of the present invention detects light from the right eye and left eye of the subject and outputs a detection signal of the light based on the detection signal. A first feature amount based on the first feature amount and the second feature amount; a feature amount calculation unit that calculates a first feature amount corresponding to the eye and a second feature amount corresponding to the left eye; And a comparison value calculation unit that calculates a comparison value comparing the second feature amount.
或いは、本発明の他の形態に係る両眼計測方法は、光検出器を用いて、対象者の右眼及び左眼からの光を検出し、当該光の検出信号を出力するステップと、検出信号に基づいて、右眼に対応した第1の特徴量と左眼に対応した第2の特徴量とを算出するステップと、第1の特徴量及び第2の特徴量を基に、第1の特徴量と第2の特徴量とを比較した比較値を算出するステップと、を備える。 Alternatively, the binocular measurement method according to another aspect of the present invention uses a photodetector to detect light from the right and left eyes of the subject and output a detection signal of the light, Based on the signal, the first feature amount corresponding to the right eye and the second feature amount corresponding to the left eye are calculated, and the first feature amount and the second feature amount are used to calculate the first feature amount. Calculating a comparison value obtained by comparing the feature amount and the second feature amount.
或いは、本発明の他の形態に係る両眼計測プログラムは、対象者の右眼及び左眼を含む部位の画像を用いて、対象者の両眼を計測する両眼計測装置に備えられるプロセッサを、画像に基づいて、右眼に対応した第1の特徴量と左眼に対応した第2の特徴量とを算出する特徴量算出部、及び第1の特徴量及び第2の特徴量を基に、第1の特徴量と第2の特徴量とを比較した比較値を算出する比較値算出部、として機能させる。 Alternatively, a binocular measurement program according to another aspect of the present invention includes a processor provided in a binocular measurement device that measures both eyes of a subject using an image of a part including the right eye and left eye of the subject. A feature amount calculation unit that calculates a first feature amount corresponding to the right eye and a second feature amount corresponding to the left eye based on the image, and based on the first feature amount and the second feature amount. And a comparison value calculation unit that calculates a comparison value obtained by comparing the first feature value and the second feature value.
上記形態の両眼計測装置、両眼計測方法、及び両眼計測プログラムによれば、右眼及び左眼からの光の検出信号(画像)を基に、右眼に関する第1の特徴量と左眼に関する第2の特徴量が算出され、その第1の特徴量と第2の特徴量とを比較した比較値が算出される。これにより、対象者の眼の挙動に関する評価値を、対象者に負担を課すことなく、かつ、簡易な装置構成によって取得することができる。さらには、この評価値によって対象者の眼の挙動を適切に評価することができる。 According to the binocular measurement device, the binocular measurement method, and the binocular measurement program of the above embodiment, the first feature amount and the left of the right eye based on the detection signals (images) of light from the right eye and the left eye A second feature amount relating to the eye is calculated, and a comparison value is calculated by comparing the first feature amount with the second feature amount. Thereby, the evaluation value regarding the behavior of the subject's eyes can be acquired with a simple apparatus configuration without imposing a burden on the subject. Furthermore, it is possible to appropriately evaluate the behavior of the eye of the subject using this evaluation value.
比較値算出部は、第1の特徴量と第2の特徴量との差或いは比に基づいた比較値を算出する、ことが好適である。かかる構成を備えれば、簡易な計算によって対象者の眼の挙動を適切に評価することができる。 It is preferable that the comparison value calculation unit calculates a comparison value based on a difference or ratio between the first feature value and the second feature value. With such a configuration, it is possible to appropriately evaluate the behavior of the eye of the subject by simple calculation.
また、特徴量算出部は、第1の特徴量及び第2の特徴量として、瞬目に関する特徴量を算出してもよいし、第1の特徴量及び第2の特徴量として、固視微動に関する特徴量を算出してもよく、第1の特徴量及び第2の特徴量として、瞳孔に関する特徴量を算出してもよい。このような特徴量を基にした評価値を得ることにより、対象者の眼の挙動を適切に評価することができる。 In addition, the feature amount calculation unit may calculate a feature amount related to blinks as the first feature amount and the second feature amount, or may perform fixed eye movement as the first feature amount and the second feature amount. The feature amount relating to the pupil may be calculated as the first feature amount and the second feature amount. By obtaining an evaluation value based on such a feature amount, the behavior of the eye of the subject can be appropriately evaluated.
さらに、光検出器は、複数の画素が2次元配列された受光面を有する2次元光検出器を含む、ことも好適である。かかる2次元光検出器を備えれば、右眼及び左眼の特徴量を精度よく得ることができ、その結果、眼の挙動の評価精度を高めることができる。 Furthermore, it is also preferable that the photodetector includes a two-dimensional photodetector having a light receiving surface in which a plurality of pixels are two-dimensionally arranged. With such a two-dimensional photodetector, it is possible to obtain the right eye and left eye feature quantities with high accuracy, and as a result, it is possible to improve the evaluation accuracy of the behavior of the eyes.
本発明の一側面によれば、被験者の両眼の挙動の違いを簡易かつ適切に評価することができる。 According to one aspect of the present invention, it is possible to easily and appropriately evaluate a difference in behavior of both eyes of a subject.
以下、図面を参照しつつ本発明の一側面に係る両眼計測装置、両眼計測方法、及び両眼計測プログラムの好適な実施形態について詳細に説明する。なお、図面の説明においては同一又は相当部分には同一符号を付し、重複する説明を省略する。 Hereinafter, preferred embodiments of a binocular measurement device, a binocular measurement method, and a binocular measurement program according to one aspect of the present invention will be described in detail with reference to the drawings. In the description of the drawings, the same or corresponding parts are denoted by the same reference numerals, and redundant description is omitted.
図1は、本発明の好適な一実施形態に係る両眼計測システム1の概略構成を示すブロック図である。図1に示す両眼計測システム1は、所定のフレームレートで時間的に連続して被験者(対象者)の右眼ER及び左眼ELからの光を検出し、被験者の左右の眼の挙動の違いを定量化して出力するように構成されている。この両眼計測システム1は、対象者の右眼ER及び左眼ELに対して照明光を照射する光源3R,3Lと、光源3R,3Lを制御する照明制御装置5と、右眼ER及び左眼ELからの光を検出する光検出器7と、光検出器7から出力される検出信号を処理するプロセッサ9とを備えている。
FIG. 1 is a block diagram showing a schematic configuration of a
光源3R,3Lは、被験者の右眼ER及び左眼ELのそれぞれをその周辺を含めて照らす照明手段であり、例えば赤外光を発生させるLEDによって好適に構成される。光源3R,3Lが眼ER,EL及びそれらの周辺に赤外光を照射することにより、眼ER,EL及びそれらの周辺において赤外光が反射して光像が生じる。なお、光源3R,3Lとしては赤外光LEDに限らず他の種類の光源を用いることができる。例えば、近赤外光を発する光源であってもよいし、ランプ光源に赤外光或いは近赤外光を通過させるフィルムを組み合わせた構成であってもよいし、安全基準を満たしたレーザー光を直接光として或いは間接光として利用する構成であってもよい。また、適切な照度を実現するための構成として、複数の照明を併用した構成のほか、発光部にレンズが組み込まれた構成によって、照明光の散乱を抑え、所望の領域を効率よく照明するように構成されてもよい。また、空間変調デバイスを用いてレーザー光のエネルギーを所望の照明形状に整え、効率的な眼部照明を行う構成を採用してもよい。
照明制御装置5は、被験者の右眼ER及び左眼ELのそれぞれを所定の明るさで照らすように光源3R,3Lの光量を制御する制御ユニットである。併せて、照明制御装置5は、被験者の右眼ER及び左眼ELを対象にした検出内容に適した光量、照明光波長、反射光形状が得られるように、光源3R,3Lの光量及び発光波長を調整及び制御する。さらに、照明制御装置5は、プロセッサ9と電気的に接続されており、プロセッサ9による同期制御により、被験者の右眼ER及び左眼ELのそれぞれに対する発光タイミングを制御する。また、照明制御装置5は、プロセッサ9或いは光検出器7によって被験者の右眼ER及び左眼ELが光検出器7の計測範囲内に収まっていることを判定可能にするために、あるいは、プロセッサ9或いは光検出器7による被験者の右眼ER及び左眼ELの位置合わせの機能を実現するために、光源3R,3Lの照明光を計測開始前に点滅させるように制御してもよい。
光検出器7は、複数の画素が2次元配列された受光面を有し、所定のフレームレートで右眼ER及び左眼ELからの反射光を検出して二次元の画像信号(検出信号)を生成及び出力する撮像装置である。このような撮像装置としては、画像の取得から画像処理まで行うビジョンチップを有するビジョンカメラが挙げられる。このような光検出器7は、2台で被験者の右眼ER及び左眼ELのそれぞれを個別に撮影してもよいし、1台で被験者の右眼ER及び左眼ELを同時に撮影してもよい。また、光検出器7は、被験者の検出内容である眼球運動、固視微動、瞬目、及び瞳孔のそれぞれに最適な仕様又は設定(例えば、波長感度、光量感度、レンズの画角、レンズの倍率、及びフレームレート等)を有する複数の撮像装置を組み合わせて構成されていてもよい。
なお、光検出器7は、一般的なビデオカメラよりも高速なフレームレートでの撮影が可能な構成であることが好ましく、被験者の検出内容の運動周波数の2倍の周波数以上のフレームレートに設定された構成であることが好ましい。例えば、固視微動のトレモアを検出内容とする場合には、トレモアは100Hzほどの動きとされているため、200Hz以上のフレームレートのものが用いられる。また、マイクロサッカードを検出内容とする場合には、マイクロサッカードは約20msecで行われることが多いため、100Hz以上のフレームレートのものが用いられる。瞬目時の眼瞼動作は200msecほどで行われるため、フレームレートが10Hz程であれば大まかな眼瞼動作の挙動を捉えることができるが、瞬目動作時の細かな変則的動作を検出可能にするためには、高速なフレームレートのみでなく高精度の計測が要求される。そのため、瞬目時の眼瞼動作を検出内容とする場合には、高速なフレームレートのみでなく、高解像度の撮影が可能な構成が用いられる。
Note that the
ここで、光検出器7としては、ビデオカメラ以外を用いてもよい。眼球運動や固視微動を検出内容とする場合であって、光検出器7としてビデオカメラを用いる場合には、画像信号から角膜反射光を検出し、重心演算によって眼球位置の経時変化が求められる。その代わりに、光検出器7として、プロファイルセンサ等の輝点の位置を検出して位置情報を出力するセンサのほか、フォトダイオード、フォトディテクタ、リニアセンサ、或いはエリアセンサなどのより簡易なセンサを用いてもよい。瞬目を検出内容とする場合であって、光検出器7としてビデオカメラを用いる場合には、エッジ抽出やハフ変換等の画像処理技術を用いた眼瞼位置抽出処理、又は、画像信号から計算した輝度プロファイルから眼瞼位置を求める処理等が行われる。その代わりに、光検出器7として、線状あるいはそれに類する形状のマーカーを眼部に照射・投影する照明部(例えば、ラインレーザー、LEDアレイ等)と、皮膚上での散乱光を捉えることなく眼表面上での反射を捉えることで瞼位置を抽出する検出部(例えば、プロファイルセンサ、フォトダイオード、フォトディテクタ、リニアセンサ、エリアセンサ等)とを含む構成を採用してもよい。瞳孔を検出内容とする場合であって、光検出器7としてビデオカメラを用いる場合には、瞳孔に対して正面から照明光を照射した際に生じる反射光によって明るくなった部分を画像処理の二値化によって抽出することにより、瞳孔領が抽出される。その代わりに、フォトダイオードやフォトディテクタを用いて、明るくなった部位の明るさの総和を検出することにより瞳孔領の時間変化の情報を取得してもよい。このとき検出される明るさの総和は、瞳孔領と比例関係にある。
Here, other than the video camera may be used as the
プロセッサ9は、光検出器7から出力された画像信号を処理するCPUとRAM及びROM等のメモリとを内蔵する画像処理プロセッサであり、パーソナルコンピュータ、又はスマートフォン、タブレット側コンピュータに代表される携帯端末等によって構成される。このプロセッサ9は、機能的な構成要素として、特徴量算出部11、比較値算出部13、結果出力部15、及び同期制御部17を含んでいる。これらの特徴量算出部11、比較値算出部13、結果出力部15、及び同期制御部17は、プロセッサ9内のハードウェアによって実現されてもよいし、プロセッサ9内に記憶されたソフトウェア(両眼計測プログラム)によって実現されてもよい。また、特徴量算出部11、比較値算出部13、結果出力部15、及び同期制御部17の機能は、同じプロセッサで実現してもよいし、異なるプロセッサによって実現してもよい。プロセッサ9を特徴量算出部11、比較値算出部13、結果出力部15、及び同期制御部17として機能させるプログラムは、プロセッサ9内の記憶装置(記憶媒体)に記憶されてもよいし、プロセッサ9と電気的に接続される記憶媒体に記憶されてもよい。
The
プロセッサ9の特徴量算出部11は、光検出器7から出力された画像信号に基づいて、被験者の右眼ERに対応した右眼特徴量と被験者の左眼ELに対応した左眼特徴量とを算出する。例えば、特徴量算出部11は、右眼特徴量及び左眼特徴量として、瞬目に関する特徴量、固視微動に関する特徴量、及び瞳孔に関する特徴量を算出する。このとき、特徴量算出部11は、これらの3種類の特徴量を全て算出してもよいし、いずれか一部を算出してもよい。特徴量の算出対象の固視微動には、100Hz前後の周波数の1μm程度(20〜40秒角)の振幅の微細な動きであるトレモア、ゆっくりとずれていく動きであるドリフト、ドリフト後に発生する0.04度角〜2分角の衝動性の眼球運動(跳躍運動)であるフリック(マイクロサッカードともいう。)が含まれる。
Feature
プロセッサ9の比較値算出部13は、特徴量算出部11によって算出された右眼特徴量及び左眼特徴量を基に、右眼特徴量と左眼特徴量とを比較した比較値を算出する。なお、比較値算出部13は、右眼特徴量と左眼特徴量とから直接比較値を算出してもよいし、右眼特徴量と左眼特徴量とのそれぞれから統計量を算出し、それらの統計量の比較値を算出してもよい。このような統計量としては、平均、分散、標準偏差、尖度、歪度などの高次モーメントから求められる統計量、中央値、四分位点、最大値、最小値、最頻値、最大値と最小値の差等が挙げられる。このとき、比較値算出部13は、右眼特徴量と左眼特徴量との差の絶対値、又は、右眼特徴量と左眼特徴量との比を、比較値として算出する。
The comparison
プロセッサ9の結果出力部15は、比較値算出部13によって算出された比較値をディスプレイ等の出力装置に出力する。このとき、結果出力部15は、比較値を無線通信、有線通信等を用いて外部に出力してもよいし、内部のメモリに出力してもよい。結果出力部15は、比較値に代表される数値データのほか、テキストデータや、取得画像そのものを出力してもよいし、比較値を表す数値データの統計値を出力してもよい。このような統計量としては、平均、分散、標準偏差、尖度、歪度などの高次モーメントから求められる統計量、中央値、四分位点、最大値、最小値、最頻値、最大値と最小値の差等が挙げられる。また、結果出力部15は、比較値を集計した平均値等の集計値を出力してもよいし、閾値を設定して比較値が閾値を超えた期間やそれに類するデータ、頻度等を出力してもよい。
The
プロセッサ9の同期制御部17は、両眼計測システム1における各装置及び各機能部の動作の同期を制御する。例えば、同期制御部17は、光検出器7による撮影(検出)タイミングと光源3R,3Lの発光タイミングとの同期を制御する。また、同期制御部17は、光検出器7による画像信号の出力タイミングに応じて、特徴量算出部11、比較値算出部13、及び結果出力部15の動作タイミングを制御する。なお、プロセッサ9は、同期制御部17の代わりに共有メモリを利用して、各装置及び各機能部を非同期で動作させる構成が採用されてもよい。例えば、光検出器7は、共有メモリに画像信号を基にした画像データを随時保存し、特徴量算出部11は、共有メモリに画像データが新たに保存されたか否かを随時監視し、保存を検出したタイミングで右眼特徴量及び左眼特徴量を算出して共有メモリにそれぞれ保存する。同時に、比較値算出部13は、共有メモリに右眼特徴量及び左眼特徴量が新たに保存されたか否かを常時監視し、新たな右眼特徴量及び左眼特徴量の保存を検出したタイミングでそれらを対象に比較値を算出して共有メモリに保存する。同様に、結果出力部15は、共有メモリに比較値が保存されたか否かを常時監視し、新たな比較値の保存を検出したタイミングで比較値及びそれに関連するデータを出力する。また、結果出力部15は、光検出器7、特徴量算出部11、及び比較値算出部13からの処理終了の信号を受けたタイミングで比較値を出力してもよい。この場合、照明制御装置5の制御は、光検出器7から行ってもよいし、プロセッサ9内の特徴量算出部11又は比較値算出部13から行ってもよい。
The
ここで、上述した照明制御装置5は、光検出器7又はプロセッサ9内に内蔵されてもよい。例えば、光検出器7として演算機能を有するビジョンカメラが用いられた場合には、光検出器7は、画像処理機能のほか処理結果や外部制御信号を出力する機能等を備えている。このような光検出器7を用いて、画像処理と並行した光源3R,3Lの点滅制御等のリアルタイム制御を行ってもよい。
Here, the above-described
同様に、プロセッサ9の一部或いは全部の機能部は、光検出器7に内蔵されていてもよい。例えば、光検出器7は画像信号の出力までの処理を行い後段の処理をプロセッサ9で実行する形態であってもよいし、光検出器7で特徴量算出部11の一部の処理までを行いそれ以降の処理をプロセッサ9で実行する形態であってもよいし、光検出器7で特徴量算出部11の特徴量算出処理までを行いそれ以降の処理をプロセッサ9で実行する形態であってもよい。
Similarly, some or all of the functional units of the
また、光検出器7或いはプロセッサ9は、被験者の右眼ER及び左眼ELが光検出器7の計測範囲内に収まっていることを判定する機能を有していてもよい。具体的には、プロセッサ9が、照明制御装置5によって計測開始前に光源3R,3Lを一定周期で点滅させるように制御すると同時に、光検出器7で取得された画像信号中で所定周期及び所定明度で点滅する箇所の有無を判定することにより、計測範囲内に眼部が存在しているか否かを判定する。これは、被験者において、照明光が皮膚や毛では散乱し眼部では反射する結果、画像信号において眼部が明るく映ることを利用している。また、プロセッサ9は、2つの光源3R,3Lをそれぞれ異なる周期で点滅させるように制御することにより、右眼ER及び左眼ELのそれぞれの位置を把握することもできる。両眼ER,ELの位置が把握できることにより、光検出器7としてビデオカメラを用いた場合、画像信号中の眼部に相当する部分のみを部分読み出しすることで、計測時のフレームレートをより高速に設定したり、画像データ保存用のデータ領域のファイルサイズを抑えることが可能となる。
Further, the
以下、プロセッサ9による特徴量及び比較値の算出機能について詳細に説明する。本実施形態のプロセッサ9は、被験者の瞬目を検出内容としている。
Hereinafter, the feature amount and comparison value calculation function by the
プロセッサ9の特徴量算出部11は、光検出器7から出力された画像信号を基に、上瞼位置の時間変化を算出する。上瞼位置は、画像信号を対象にしたエッジ抽出やハフ変換等の画像処理、又は、画像信号から計算した輝度プロファイルから眼瞼位置を求める処理(特開2012-085691号公報参照)によって算出される。加えて、特徴量算出部11は、上瞼位置の時間変化に基づいて、上瞼速度の時間変化を算出する。図2(a)は、特徴量算出部11によって算出された上瞼位置の時間変化の一例を示すグラフ、図2(b)は、特徴量算出部11によって算出された上瞼速度の時間変化の一例を示すグラフである。図2(b)に示す±Vthは瞬目動作検出閾値を表す。本閾値を上回る速度で上瞼が動いている期間を本例では瞬目期間と定義し、図2(a)に示すように、被験者の瞬目動作に応じて上瞼位置の下降および上昇が検出され、図2(b)に示すように、上瞼位置の下降中の速度のピーク、及び上瞼位置の上昇中の速度のピークが検出される。このように、開眼状態では上に位置していた上瞼が瞬目によって下がっていき、下がり切ったところでしばらく閉眼状態を維持した後に開眼していく状態が示される。また、閉眼時には下向きに上瞼速度が変化し、開眼時には上向きに上瞼速度が変化していく状態が示される。特徴量算出部11は、上瞼位置の時間変化及び上瞼速度の時間変化を右眼ER及び左眼ELのそれぞれについて別々に算出する。
The feature
さらに、特徴量算出部11は、算出した上瞼位置の時間変化及び上瞼速度の時間変化を基に、瞬目に関する特徴量である瞬目特徴量を、右眼ER及び左眼ELのそれぞれについて別々に算出する。まず、特徴量算出部11は、上瞼速度の時間変化を予め設定された負の速度閾値−Vthと比較することによって、瞬目開始から上瞼速度が速度閾値−Vthを超えた時刻を閉瞬目の期間T1の開始時刻t1として特定し、時刻t1の後に上瞼速度が再度速度閾値−Vthを下回り始めた時刻を閉瞬目の期間T1の終了時刻t2、かつ、閉眼期間T2の開始時刻t2として特定する。さらに、特徴量算出部11は、上瞼速度の時間変化において、時刻t2の後に上瞼速度が予め設定された正の速度閾値+Vthを上回り始めた時刻を閉眼期間T2の終了時刻t3、かつ開瞬目の期間T3の開始時刻t3として特定し、時刻t3の後に上瞼速度が再度速度閾値+Vthを下回り始めた時刻を開瞬目の期間T3の終了時刻t4として特定する。そして、特徴量算出部11は、瞬目特徴量として、「前の瞬目との時間間隔」、「閉瞬目時の上眼瞼移動量」、「閉瞬目の期間」、「閉瞬目最大速度」、「閉瞬目最大速度の時刻」、「閉眼期間」、「開瞬目時の上眼瞼移動量」、「開瞬目の期間」、「開瞬目最大速度」、及び「開瞬目最大速度の時刻」のうちの少なくとも1つを算出する。「前の瞬目との時間間隔」は、前回の瞬目動作時に検出された開始時刻t1と今回検出された開始時刻t1との期間T0として算出される。「閉瞬目時の上眼瞼移動量」は、閉瞬目の期間T1における上瞼の移動量ΔP1として算出され、「閉瞬目の期間」は、期間T1の長さとして算出され、「閉瞬目最大速度」は、期間T1における最大速度として算出され、「閉瞬目最大速度の時刻」は、その速度が検出された時刻として算出され、「閉眼期間」は、期間T2の長さとして算出される。さらに、「開瞬目時の上眼瞼移動量」は、開瞬目の期間T3における上瞼の移動量ΔP2として算出され、「開瞬目の期間」は、期間T3の長さとして算出され、「開瞬目最大速度」は、期間T3における最大速度として算出され、「開瞬目最大速度の時刻」は、その速度が検出された時刻として算出される。
Further, the feature
プロセッサ9の比較値算出部13は、特徴量算出部11によって算出された右眼ER及び左眼ELのそれぞれについての瞬目特徴量を用いて、比較値を算出する。2つの瞬目特徴量から直接比較値を算出してもよいし、2つの瞬目特徴量から統計量を算出し、それらの統計量の比較値を算出してもよい。比較値算出部13は、統計値を算出する場合には、右眼ER及び左眼ELのそれぞれについて、計測中に時間的に連続して得られる複数の特徴量を対象に平均値等の統計値を計算する。
また、プロセッサ9の結果出力部15は、比較値算出部13によって算出された比較値に基づいて、数値データ、テキストデータ、又は取得画像を出力する。ここで、結果出力部15は、比較値そのものを示すデータを出力してもよいし、比較値を表す数値データの統計値を出力してもよい。その場合、結果出力部15は、計測中に時間的に連続して得られる複数の比較値を対象に平均値等の統計値を計算する。
In addition, the
次に、両眼計測システム1による比較値の計測動作の詳細手順について説明するとともに、本実施形態に係る両眼計測方法について詳述する。図3及び図4は、両眼計測システム1による比較値の計測動作の手順を示すフローチャートである。図3は、右眼ER及び左眼ELの画像を同時取得して瞬目特徴量の比較値を対象に統計値を算出する場合の手順であり、図4は、右眼ER及び左眼ELの画像を別々に取得して、瞬目特徴量及びその統計値を右眼ER及び左眼ELについて別々に算出し、2つの統計値の比較値を算出する場合の手順である。両眼計測システム1にはいずれか一方の機能が実装されていればよい。
Next, the detailed procedure of the comparison value measurement operation by the
まず、図3を参照して、計測動作が開始されると、光検出器7により右眼ER及び左眼ELの画像信号が時間的に連続して同時取得される(ステップS01)。次に、特徴量算出部11によって、画像信号を基に被験者の右眼ER及び左眼ELの上瞼位置の時間変化が算出される(ステップS02)。そして、特徴量算出部11により、右眼ER及び左眼ELの上瞼位置の時間変化に基づいて、右眼ER及び左眼ELのそれぞれの瞬目特徴量が時間的に連続して算出される(ステップS03)。その後、比較値算出部13により、右眼ER及び左眼ELのそれぞれの瞬目特徴量の比較値が時間的に連続して算出される(ステップS04)。次に、結果出力部15により、時間的に連続して得られた比較値の統計値が算出される(ステップS05)。そして、それらの統計値の集計値が算出されて出力される(ステップS06)。このステップS05、S06では、比較値の統計値を計算しないで比較値の集計値がそのまま出力されてもよい。
First, referring to FIG. 3, the measuring operation is started, the image signal of the right eye E R and the left eye E L by the
図4を参照して、計測動作が開始されると、光検出器7により右眼ER及び左眼ELの画像信号が時間的に連続して別々に取得される(ステップS11,S12)。次に、特徴量算出部11によって、画像信号を基に被験者の右眼ER及び左眼ELの上瞼位置の時間変化が別々に算出される(ステップS13)。そして、特徴量算出部11により、右眼ER及び左眼ELの上瞼位置の時間変化に基づいて、右眼ER及び左眼ELのそれぞれの瞬目特徴量が時間的に連続して算出される(ステップS14)。その後、比較値算出部13により、右眼ER及び左眼ELのそれぞれの瞬目特徴量の統計値が別々に算出される(ステップS15)。次に、比較値算出部13により、右眼ER及び左眼ELの統計値の比較値が算出され。結果出力部15により、それらの比較値が出力される(ステップS16)。このステップS11〜S15では、右眼ER及び左眼ELの画像信号を蓄積してからまとめて計算する手順を採用しているが、右眼ERについての画像取得及び計算処理を行った後に、左眼ELについての画像取得及び計算処理を行ってもよい。
4, when the measuring operation is started, the image signal of the right eye E R and the left eye E L by the
以上説明した両眼計測システム1によれば、右眼ER及び左眼ELからの反射光の画像信号を基に、右眼ERに関する瞬目特徴量と左眼ELに関する瞬目特徴量が算出され、その2つの瞬目特徴量を比較した比較値が算出される。これにより、被験者の眼の挙動に関する評価値を、被験者に負担を課すことなく、かつ、簡易な装置構成を用いた簡易な計算処理によって取得することができる。さらには、この評価値によって被験者の眼の挙動を適切に評価することができる。具体的には、眼の挙動から非侵襲かつ容易に脳機能の定量化を行うことができる。
According to the
さらに、検出対象として2次元画像を生成する撮像装置によって得られる画像信号を用いることにより、右眼ER及び左眼ELの特徴量を精度よく得ることができ、その結果、眼の挙動の評価精度を高めることができる。 Furthermore, by using an image signal obtained by the imaging device for generating a two-dimensional image as a detection target, the right eye E R and the left eye E L characteristic quantity can be obtained accurately, so that the behavior of the eye Evaluation accuracy can be increased.
次に、本実施形態の両眼計測システム1によって得られる計測データの例について示す。
Next, an example of measurement data obtained by the
図5(a)には、1人の被験者が1時間のVDT作業を行った前後における閉瞬目最大速度の時刻の左右差の頻度値を示し、図5(b)には、1人の被験者が1時間のVDT作業を行った前後における閉瞬目最大速度の左右差の頻度値を示している。ここでは、左右差を右眼の数値から左眼の数値を引いた値としており、正の値であれば右眼が左眼よりも大きな値であることを意味する。図5(a)の結果から、VDT作業後はVDT作業前よりも左右の閉瞬目最大速度の時刻の差が大きくなっていること、VDT後には左眼が右眼よりも先に最大速度に達することが分かる。図5(b)の結果も同様な傾向を示している。つまり、VDT作業前よりもVDT作業後のほうが左右の閉瞬目最大速度の差が大きくなり、VDT前には右眼の速度のほうが速かったのに対して、VDT後には左眼のほうが速い瞬目が頻発するようになっている。両眼計測システム1において、健常者データベース、疾患データベースを設け、それらのデータベースと計測データとのマハラノビス距離を算出することにより、計測データが健常者群と疾患群のいずれに近いかを判断するなど、目の機能を定量化する新たな特徴量として、使用することができる。
FIG. 5 (a) shows the frequency value of the left-right difference in the time of the maximum closed blink speed before and after one subject performs the VDT work for 1 hour, and FIG. 5 (b) shows the frequency value of one person. The frequency value of the left-right difference of the closed blink maximum speed before and after the test subject performed the VDT work for 1 hour is shown. Here, the left-right difference is a value obtained by subtracting the value of the left eye from the value of the right eye. If the value is positive, it means that the right eye is larger than the left eye. From the result of FIG. 5A, after VDT work, the time difference between the left and right closed blink maximum speeds is larger than before VDT work. After VDT, the left eye reaches the maximum speed before the right eye. You can see that The result of FIG.5 (b) also shows the same tendency. In other words, the difference between the left and right maximum closed eye blink speed is larger after VDT work than before VDT work, and the speed of the right eye is faster before VDT, whereas the speed of the left eye is faster after VDT. Blinks occur frequently. In the
図6(a)には、3名の被験者のVDT作業前後における閉瞬目最大速度の時刻の左右差の平均値を示し、図6(b)には、3名の被験者のVDT作業前後における閉瞬目最大速度の時刻の左右差の分散値を示している。図6(a)に示すように、VDT作業後、3名の被験者のいずれにも閉瞬目最大速度の時刻の左右差が大きくなる傾向にあることがわかる。また、図6(b)に示すように、VDT作業後、3名の被験者のいずれにも閉瞬目最大速度の時刻の左右差のばらつきが大きくなる傾向にあることがわかる。 FIG. 6A shows the average value of the left and right difference of the maximum closing blink speed before and after the VDT work of the three subjects, and FIG. 6B shows the time before and after the VDT work of the three subjects. The variance value of the left-right difference of the time of the closed blink maximum speed is shown. As shown in FIG. 6 (a), it can be seen that after the VDT work, the difference between the left and right time of the maximum closing blink maximum time tends to increase in all three subjects. Moreover, as shown in FIG.6 (b), after VDT work, it turns out that the dispersion | variation in the right-and-left difference of the time of the closed blink maximum speed tends to become large in all three subjects.
図7(a)には、3名の被験者のVDT作業前後における閉瞬目最大速度の時刻の左右差の標準偏差を示し、図7(b)には、3名の被験者のVDT作業前後における閉瞬目最大速度の時刻の左右差の最大値と最小値の差を示している。図7(a)に示すように、VDT作業後、3名の被験者のいずれにも閉瞬目最大速度の時刻の左右差のばらつきが大きくなる傾向にあることがわかる。また、図7(b)に示すように、VDT作業後、3名の被験者のいずれにも閉瞬目最大速度の時刻の左右差のばらつきが大きくなる傾向にあることがわかる。 FIG. 7 (a) shows the standard deviation of the left-right difference in the time of the maximum blinking speed before and after the VDT work of three subjects, and FIG. 7 (b) shows the time difference before and after the VDT work of three subjects. It shows the difference between the maximum value and the minimum value of the left / right difference in the time of the maximum closing blink speed. As shown in FIG. 7A, it can be seen that after the VDT work, the three subjects have a tendency to increase the variation in the left-right difference in the time of the maximum closed blink speed. Moreover, as shown in FIG.7 (b), after VDT work, it turns out that the dispersion | variation in the right-and-left difference of the time of the closing blink maximum speed tends to become large in all three subjects.
図8(a)には、3名の被験者のVDT作業前後における閉瞬目最大速度の時刻の左右差の最大値を示し、図8(b)には、3名の被験者のVDT作業前後における閉瞬目最大速度の時刻の左右差の最小値を示している。図8(a)に示すように、VDT作業後、3名の被験者のいずれにも閉瞬目最大速度の時刻の左右差が大きくなる傾向にあることがわかる。また、図8(b)に示すように、VDT作業後、3名の被験者のいずれにも閉瞬目最大速度の時刻の左右差が短くなる(左右差が零になる場合もある)瞬目が発生することが分かる。 FIG. 8A shows the maximum value of the left-right difference in the time of the maximum closed blink speed before and after the three subjects' VDT work, and FIG. 8B shows the three subjects before and after the VDT work. It shows the minimum value of the left / right difference in the time of the maximum closing blink speed. As shown in FIG. 8 (a), it can be seen that after the VDT work, the right and left differences in the time of the closed blink maximum speed tend to increase in all three subjects. Also, as shown in FIG. 8 (b), after VDT work, the left-right difference in the time of the closed blink maximum speed is shortened for all three subjects (the left-right difference may be zero). It can be seen that occurs.
図9(a)には、3名の被験者のVDT作業前後における閉瞬目最大速度の左右差の平均値を示し、図9(b)には、3名の被験者のVDT作業前後における閉瞬目最大速度の左右差の分散値を示している。図9(a)に示すように、VDT作業後、3名の被験者のいずれにも閉瞬目最大速度の左右差が大きくなる傾向にあることがわかる。また、図9(b)に示すように、VDT作業後、3名の被験者のいずれにも閉瞬目最大速度の左右差のばらつきが大きくなる傾向にあることがわかる。 FIG. 9 (a) shows the average value of the left-right difference of the maximum closing blink speed before and after the VDT work of three subjects, and FIG. 9 (b) shows the closing blink before and after the VDT work of three subjects. The dispersion value of the left-right difference of the maximum eye speed is shown. As shown in FIG. 9 (a), it can be seen that after the VDT work, the right and left difference in the maximum closed eye blink rate tends to increase in all three subjects. Moreover, as shown in FIG.9 (b), after VDT work, it turns out that the dispersion | variation in the right-and-left difference of the closed eye blink maximum speed tends to become large in all three subjects.
図10(a)には、3名の被験者のVDT作業前後における閉瞬目最大速度の左右差の標準偏差を示し、図10(b)には、3名の被験者のVDT作業前後における閉瞬目最大速度の左右差の最大値と最小値の差を示している。図10(a)に示すように、VDT作業後、3名の被験者のいずれにも閉瞬目最大速度の左右差のばらつきが大きくなる傾向にあることがわかる。また、図10(b)に示すように、VDT作業後、3名の被験者のいずれにも閉瞬目最大速度の左右差のばらつきが大きくなる傾向にあることがわかる。 FIG. 10 (a) shows the standard deviation of the left-right difference of the maximum closing blink speed before and after the VDT work of three subjects, and FIG. 10 (b) shows the closing blink before and after the VDT work of three subjects. The difference between the maximum value and the minimum value of the left-right difference in the maximum eye speed is shown. As shown in FIG. 10 (a), it can be seen that after the VDT work, the variation in the left-right difference in the maximum closed-eye blink rate tends to increase in all three subjects. Moreover, as shown in FIG.10 (b), after VDT work, it turns out that the dispersion | variation in the right-and-left difference of the closing eye blink maximum speed tends to become large in all three subjects.
図11(a)には、3名の被験者のVDT作業前後における閉瞬目最大速度の左右差の最大値を示し、図11(b)には、3名の被験者のVDT作業前後における閉瞬目最大速度の左右差の最小値を示している。図11(a)に示すように、VDT作業後、3名の被験者のいずれにも閉瞬目最大速度の左右差が大きくなる傾向にあることがわかる。また、図11(b)に示すように、VDT作業後、3名の被験者のいずれにも閉瞬目最大速度の左右差が大きくなる傾向があることが分かる。 FIG. 11A shows the maximum value of the difference between the left and right maximum blinking speeds of three subjects before and after the VDT work, and FIG. 11B shows the closing blinks before and after the VDT work of three subjects. The minimum value of the left-right difference of the maximum eye speed is shown. As shown in FIG. 11 (a), it can be seen that after the VDT work, the right and left difference in the maximum closed eye blink rate tends to increase in all three subjects. Moreover, as shown in FIG.11 (b), after VDT work, it turns out that all the three test subjects have the tendency for the right-and-left difference of the closed blink maximum speed to become large.
図12には、健常者及び脳神経疾患患者を含む複数の被験者を対象にして、瞬目特徴量の統計値を左右それぞれについて算出した後にそれらの統計値の比較値を算出した例であり、図12(a)には、左眼の閉瞬目最大速度の平均値の分布、図12(b)には、右眼の閉瞬目最大速度の平均値の分布、図12(c)には、閉瞬目最大速度の平均値の左右差の分布がそれぞれ示されている。この結果より、脳神経疾患患者は健常者に比較して、閉瞬目最大速度の平均値の左右差が大きくなる傾向があることが分かる。 FIG. 12 is an example in which a comparative value of the statistical values is calculated after calculating the statistical value of the blink feature amount for each of the left and right for a plurality of subjects including a healthy person and a patient with cranial nerve disease. 12 (a) shows the distribution of the average value of the maximum closed eye blink speed of the left eye, FIG. 12 (b) shows the distribution of the average value of the maximum closed eye blink speed of the right eye, and FIG. The distribution of the left-right difference of the average value of the maximum closing blink speed is shown. From this result, it can be seen that patients with cranial nerve disease tend to have a greater left-right difference in the average value of the maximum closed eye blink speed than healthy individuals.
図13(a)には、3名の被験者のVDT作業前後における閉瞬目最大速度の時刻の左右差の平均値及び標準偏差を示し、図13(b)には、3名の被験者のVDT作業前後における閉瞬目最大速度の左右差の平均値及び標準偏差を示している。それぞれのグラフにおいて、平均値は丸印で標準偏差はバーの長さで示している。図13(a)に示すように、3名いずれもがVDT作業前よりも後のほうが時間差が大きくなるとともにその差のばらつきが大きくなることが分かった。また、図13(b)に示すように、3名いずれもがVDT作業前よりも後のほうが速度差が大きくなるとともにその差のばらつきが大きくなることが分かった。 FIG. 13 (a) shows the average value and standard deviation of the time difference of the maximum closing blink speed before and after the VDT work of three subjects, and FIG. 13 (b) shows the VDT of the three subjects. The average value and the standard deviation of the left-right difference of the closing blink maximum speed before and after the work are shown. In each graph, the average value is indicated by a circle and the standard deviation is indicated by the length of the bar. As shown in FIG. 13 (a), it was found that all three persons had a larger time difference and a larger variation in the difference after the VDT work than before. Further, as shown in FIG. 13 (b), it was found that all three persons had a larger speed difference and a larger variation in the difference after the VDT work than before.
図14及び図15には、健常者及び脳神経疾患患者を含む複数の被験者を対象にして、瞬目特徴量の統計値の左右差の頻度を算出した例を示しており、図14(a)には閉瞬目時の上眼瞼移動量の平均値の左右差、図14(b)には閉瞬目期間の平均値の左右差、図14(c)には閉眼期間の平均値の左右差、図15(a)には開瞬目時の上眼瞼移動量、図15(b)には開瞬目期間の平均値の左右差、図15(c)には開瞬目最大速度の平均値の左右差をそれぞれ示している。これらの検出結果においても、脳神経疾患患者は健常者に比較して、左右差が大きくなる傾向があることが分かる。 FIG. 14 and FIG. 15 show an example in which the frequency of the left-right difference of the statistic value of the blink feature amount is calculated for a plurality of subjects including healthy subjects and cranial nerve disease patients. Is the left-right difference of the average value of the upper eyelid movement amount at the closing eye blink, FIG. 14B is the left-right difference of the average value of the closing eye-blink period, and FIG. FIG. 15 (a) shows the amount of upper eyelid movement at the time of the blinking eye, FIG. 15 (b) shows the left-right difference of the average value of the blinking eye period, and FIG. The left-right difference of the average value is shown. Also in these detection results, it can be seen that patients with cranial nerve disease tend to have a greater left-right difference than healthy individuals.
なお、本発明は、前述した実施形態に限定されるものではない。 In addition, this invention is not limited to embodiment mentioned above.
上述した両眼計測システム1が検出対象とする被験者の検出内容は、他の種類のものであってもよい。
The detection content of the subject to be detected by the
例えば、両眼計測システム1は被験者の固視微動を検出してもよい。この場合の変形例にかかる両眼計測システム1の構成について、上述した両眼計測システム1との相違点を中心に説明する。
[固視微動の検出のための構成]
For example, the
[Configuration for detection of fixed eye movements]
光検出器7としてビデオカメラ等の撮像装置、又はプロファイルセンサを用いる場合、両眼計測システム1は、被験者の角膜反射光、瞳孔径、又は瞳孔中心を計測する。光検出器7としてフォトディテクタ等の光センサ、又はプロファイルセンサを利用する場合、強膜反射光を計測してもよい。角膜反射光を検出する場合、プロセッサ9の特徴量算出部11は、輝点画像を重心演算することで眼球位置を求める。光検出器7或いはプロセッサ9は、計測前に被験者の角膜の曲率の違いに起因する移動量の違いを較正してもよいし、所定の輝点を表示させて輝点間のサッカードを促し、移動量の較正のための補正係数を反映させる機能を有していてもよい。ただし、サッカードの検出中も常に被験者が固視微動を行っており輝点注視時の眼球位置が揺らぐため、輝点を点滅させる制御、安定した補正係数が得られるまで較正処理を続ける制御を行うことも好ましい。例えば、光検出器7としてビジョンカメラを用いる場合、被験者の画像信号の取得を続けながら所定のフレームレートでリアルタイムに眼球位置を演算できるため、サッカードによる移動幅が所定のばらつき幅(標準偏差などの統計値)に収まるまで輝点制御及び画像信号取得を続けてもよい。強膜反射光を検出する場合、光検出器7或いはプロセッサ9は、光センサの出力値と眼球移動量の較正処理を行う。
When an imaging device such as a video camera or a profile sensor is used as the
プロセッサ9の特徴量算出部11は、光検出器7から出力された画像信号を基に、眼球位置の時間変化を算出する。加えて、特徴量算出部11は、眼球位置の時間変化に基づいて、眼球位置の移動速度(眼球運動速度)の時間変化を算出する。図16(a)には、特徴量算出部11によって算出された眼球運動速度の時間変化を示し、図16(b)は、特徴量算出部11によって算出された眼球位置の時間変化を示している。図16(b)に示す丸印のそれぞれは、各フレームでの眼球位置を示しており、例えば時間間隔1ミリ秒で算出される。特徴量算出部11は、眼球運動速度を横方向の速度の2乗と縦方向の速度の2乗の輪の平方根を計算することにより得る。速度は眼球位置の時間変化の1次微分によって得る。図16(a)に示すように、被験者のフリックに応じて眼球運動速度のピークが観測され、そのピークの前後においてドリフト運動及びトレモア運動に伴った眼球位置のゆっくりとした移動が検出され、図16(b)に示すように、それらの運動に対応した眼球位置の変化が検出される。
The feature
そして、特徴量算出部11は、算出した眼球位置の時間変化及び眼球運動速度の時間変化を基に、固視微動に関する特徴量である固視微動特徴量を、右眼ER及び左眼ELのそれぞれについて別々に算出する。まず、特徴量算出部11は、眼球運動速度の時間変化を予め設定された速度閾値Vth1と比較することによって、速度閾値Vth1を超えた期間T5をフリック期間と特定し、それ以外の期間T6をドリフト運動及びトレモア運動の期間と特定する。さらに、特徴量算出部11は、固視微動特徴量として、「フリック期間」、「フリック最大速度」、「フリック開始時刻」、「フリック終了時刻」、「フリック最大速度時刻」、「フリック頻度」、「最大速度時のフリック角度」、「フリック期間の角度」、「フリック移動距離」、及び「フリック幅」などを算出する。「フリック期間」は、観測されたフリック期間T5の長さとして算出され、「フリック最大速度」はフリック期間における眼球運動速度の最大値として算出され、「フリック最大速度の時刻」はその最大値が観測された時刻として算出され、「フリック頻度」は所定期間におけるフリックの発生頻度として算出される。「フリック期間」は、フリック最大速度の四分位点を用い、例えば最大速度の半値幅の2倍の期間として求めたものであってもよいし、速度閾値を超えた区間の前後の所定の期間とされてもよいし、速度波形に対してバイパスフィルタなどを適用して、トレモアやドリフトの影響を低減したうえで抽出されたものであってもよい。また、図17(a)に示すように、「フリック幅」は、フリック開始時刻における眼球位置X1とフリック終了時刻における眼球位置X2との間の距離として計算され、図17(b)に示すように、「フリック移動距離」は、フリック開始位置X1からフリック終了位置X2までの各観測位置間の距離を合計した値として計算され、図17(c)に示すように、「最大速度時のフリック角度」は、最大速度が検出された時点での眼球位置X3の前後の点を結んだベクトルの角度θ1として計算され、図17(d)に示すように、「フリック期間の角度」は、眼球位置X1,X2を結んだベクトルの角度θ2として計算される。
Then, the feature
ここで、特徴量算出部11は、フリックに関する固視微動特徴量に代えて、又はそれに加えて、トレモアに関する固視微動特徴量を算出してもよい。トレモアに関する特徴量を算出する際には、フリック期間を除いた期間の眼球位置の時間変化から50Hz以上の周波数成分を抽出し、その周波数成分を対象に特徴量を算出する。特徴量算出部11は、トレモアに関する固視微動特徴量として、「周波数解析によるピーク周波数」、「周波数解析結果の周波数パワー総和」、及び「振幅」など、微小振動であるトレモアの周波数特徴量や振動の振幅に関する特徴量を算出する。周波数解析とは、「DFT(Discrete Fourier Transform)」や、「Wavelet解析」などであり、DFTをFFT(Fast Fourier Transform)で代行してもよい。「ピーク周波数」とは各周波数解析によって得られた周波数スペクトルの中で最も高いパワー値を示した周波数を示し、「周波数パワー総和」は、任意周波数帯域の周波数スペクトルのパワー値の総和として算出され、「振幅」はトレモアによる眼球位置の移動量の総和や、運動方向が反転するまでの期間の移動量として算出される。
Here, the feature
また、特徴量算出部11は、フリック或いはトレモアに関する固視微動特徴量に代えて、又はそれに加えて、ドリフトに関する固視微動特徴量を算出してもよい。ドリフトに関する特徴量を算出する際には、フリック期間を除いた期間の眼球位置の時間変化から50Hz未満の周波数成分を抽出し、その周波数成分を対象に特徴量を算出する。特徴量算出部11は、ドリフトに関する固視微動特徴量として、「フラクタル次元」、「ピーク周波数」、「周波数パワー総和」、及び「振幅」などを算出する。「フラクタル次元」は、抽出した周波数成分を対象にフラクタル次元を算出することにより得られ、「ピーク周波数」は、抽出した周波数成分を基に算出したペクトルのピーク周波数として算出され、「振幅」はドリフトによる眼球位置の移動量の総和として算出される。
The feature
図18〜図22は、両眼計測システム1による比較値の計測動作の手順を示すフローチャートである。図18は、右眼ER及び左眼ELの画像を同時取得して固視微動特徴量の比較値を対象に統計値を算出する場合の手順であり、図22は、右眼ER及び左眼ELの画像を別々に取得して、固視微動特徴量及びその統計値を右眼ER及び左眼ELについて別々に算出し、2つの統計値の比較値を算出する場合の手順、図19〜図21は固視微動の解析処理の詳細の手順である。両眼計測システム1には図18及び図22に示す機能のうちいずれか一方の機能が実装されていればよい。図18及び図22の手順は、処理対象を固視微動特徴量とした以外は図3及び図4に示した手順と同様である。
FIG. 18 to FIG. 22 are flowcharts showing the procedure of the comparison value measurement operation by the
図19を参照して、右眼ER及び左眼ELのそれぞれに関してフリックに関する特徴量を算出する際には、プロセッサ9の特徴量算出部11は、まず、眼球位置の時間変化を算出する(ステップS31)。次に、特徴量算出部11は、眼球運動速度の時間変化を利用して、フリック区間を検出する(ステップS32)。そして、特徴量算出部11は、フリック区間における眼球位置の時間変化及び眼球運動速度の時間変化を利用してフリックに関する特徴量を算出する(ステップS33)。
Referring to FIG. 19, when calculating the feature amount relating flick for each of the right eye E R and the left eye E L, the feature
図20を参照して、右眼ER及び左眼ELのそれぞれに関してトレモアに関する特徴量を算出する際には、プロセッサ9の特徴量算出部11は、まず、眼球位置の時間変化を算出する(ステップS41)。次に、特徴量算出部11は、眼球運動速度の時間変化を利用してフリック区間を検出し、フリック区間以外の時間変化の信号を抽出する(ステップS42)。その後、特徴量算出部11は、抽出した信号から50Hz以上の周波数成分を抽出する(ステップS43)。そして、特徴量算出部11は、抽出された眼球位置の時間変化を利用してトレモアに関する特徴量を算出する(ステップS33)。
Referring to FIG. 20, when calculating the feature amount relating to tremor for each of the right eye E R and the left eye E L, the feature
図21を参照して、右眼ER及び左眼ELのそれぞれに関してドリフトに関する特徴量を算出する際には、プロセッサ9の特徴量算出部11は、まず、眼球位置の時間変化を算出する(ステップS51)。次に、特徴量算出部11は、眼球運動速度の時間変化を利用してフリック区間を検出し、フリック区間以外の時間変化の信号を抽出する(ステップS52)。その後、特徴量算出部11は、抽出した信号から50Hz未満の周波数成分を抽出する(ステップS43)。そして、特徴量算出部11は、抽出された眼球位置の時間変化を利用してドリフトに関する特徴量を算出する(ステップS33)。
Referring to FIG. 21, when calculating the feature amount relating to drift with respect to each of the right eye E R and the left eye E L, the feature
上記変形例に係る両眼計測システム1によっても、被験者の眼の挙動に関する評価値を、被験者に負担を課すことなく、かつ、簡易な装置構成を用いた簡易な計算処理によって取得することができる。さらには、この評価値によって被験者の眼の挙動を適切に評価することができ、眼の挙動から非侵襲かつ容易に脳機能の定量化を行うことができる。
Also with the
次に、本変形例の両眼計測システム1によって得られた計測データの例について示す。
Next, an example of measurement data obtained by the
図23(a)には、1名の被験者のVDT作業前後におけるフリック最大速度の左右差を示し、図23(b)には、1名の被験者のVDT作業前後におけるフリック最大速度時刻の左右差を示し、図23(c)には、6名の被験者のVDT作業前後におけるフリック最大速度の左右差を示している。これらの結果に示すように、VDT作業前よりも後のほうが左右差が大きくなるとともにその差のばらつきが大きくなることが分かった。 FIG. 23A shows the left-right difference in the maximum flick speed before and after the VDT work of one subject, and FIG. 23B shows the left-right difference in the maximum flick time before and after the VDT work of one subject. FIG. 23C shows the left-right difference in the maximum flick speed before and after the VDT work of the six subjects. As shown in these results, it was found that the difference between the left and right becomes larger and the variation of the difference becomes larger after the VDT work than before.
図24(a)には、VDT作業前後におけるフリック幅の左右差の頻度値を示し、図24(b)には、VDT作業前後におけるフリック移動距離の左右差の頻度値を示し、図24(c)には、VDT作業前後における最大速度時のフリック角度の左右差の頻度値を示し、図24(d)には、VDT作業前後におけるフリック期間の角度の左右差の頻度値を示している。これらの結果から、VDT作業後は特徴量の左右差が大きくなっていることがわかる。 FIG. 24A shows the frequency value of the left-right difference in the flick width before and after the VDT work. FIG. 24B shows the frequency value of the left-right difference in the flick movement distance before and after the VDT work. c) shows the frequency value of the left / right difference in the flick angle at the maximum speed before and after the VDT work, and FIG. 24 (d) shows the frequency value of the left / right difference in the angle of the flick period before and after the VDT work. . From these results, it can be seen that the left-right difference in the feature amount is large after the VDT operation.
図25(a)には、VDT作業前後におけるトレモアの横運動周波数の左右差の平均値及び標準偏差を示し、図25(b)には、VDT作業前後におけるトレモアの縦運動周波数の左右差の平均値及び標準偏差を示している。図25(a)に示すように、横運動周波数については、VDT作業前よりも後のほうが差が大きくなるとともにその差のばらつきが大きくなることが分かった。図25(b)に示すように、縦運動周波数については、VDT作業前よりも後のほうが差が小さくなっているが、その差のばらつきは大きくなることが分かった。 FIG. 25 (a) shows the average value and standard deviation of the lateral motion frequency of tremore before and after the VDT work, and FIG. 25 (b) shows the left / right difference of the tremor longitudinal motion frequency before and after the VDT work. Average values and standard deviations are shown. As shown in FIG. 25 (a), regarding the lateral motion frequency, it was found that the difference was larger and the variation of the difference was larger after the VDT work than before. As shown in FIG. 25 (b), with respect to the longitudinal motion frequency, the difference is smaller after the VDT work than before, but the variation of the difference is large.
また、両眼計測システム1は被験者の瞳孔を検出してもよい。この場合の変形例にかかる両眼計測システム1の構成について、上述した両眼計測システム1との相違点を中心に説明する。
[瞳孔検出のための構成]
Further, the
[Configuration for pupil detection]
本変形例にかかる両眼計測システム1は、被験者の瞳孔面積或いは瞳孔直径等を計測する。すなわち、プロセッサ9の特徴量算出部11は、光検出器7から出力された画像信号を基に、瞳孔面積或いは瞳孔直径の時間変化を算出する。
The
具体的には、特徴量算出部11は、画像信号に輝度閾値を設定し、輝度閾値に比較して輝度の低い画素の輝度値をそのまま維持し、輝度閾値に比較して輝度の高い画素の輝度値を輝度閾値以上の所定値(例えば、最大値の「255」)に変更する。この場合の閾値の設定方法としては、画像信号を小領域に分割し、各領域毎の輝度値の総和を算出し、暗部群と明部群とを分ける閾値を適応的に求める方法や、画像信号の全領域の輝度値のヒストグラムを生成し、暗い方から画素数を累積し、所定の画素数を満たした輝度値を閾値とする方法や、瞼位置より上部の最低輝度値や平均輝度値に標準偏差を加味した輝度値を閾値に設定する方法や、固定値を用いる方法などがある。このとき、画像処理の2値化処理を行い、瞳孔部を残すように処理してもよい。その後、特徴量算出部11は、画像信号に対して画像処理手法の収縮(Erosion)と膨張(Dilation)を複数回適用するなどし、角膜反射光と瞳孔部以外のノイズを除去する。なお、角膜反射光部は眼表面の涙液量や眼内レンズの影響などにより散乱・拡大する場合があり、その場合は、収縮と膨張だけでは除去できない場合がある。そのため収縮と膨張のあとに暗部中の明部の存在を画像処理のラベリングなどを適用し求め、直接明部を塗りつぶすことが好ましい。そして、特徴量算出部11は、閾値未満の輝度値の画素数を数え、それを瞳孔面積として計算する。さらに、特徴量算出部11は、暗部中の明部の角膜反射光の重心座標を横切る直線を求め、上記の収縮と膨張によるノイズ除去後に得られた閾値未満の輝度値の画素群とこの直線の交わる長さを求め、それを瞳孔直径として計算する。他の計算方法として、上記画素群と上記直線の交点の左右境界の輝度情報を用いて重心演算を行い、左右それぞれの境界の一次元座標を求め、その距離を瞳孔直径とする方法や、閾値を複数適用して求めて得た瞳孔直径を平均するなどしてもよい。
Specifically, the feature
そして、特徴量算出部11は、算出した瞳孔直径の時間変化を基に、瞳孔に関する特徴量である瞳孔特徴量を、右眼ER及び左眼ELのそれぞれについて別々に算出する。特徴量算出部11は、瞳孔特徴量として、「散瞳ピーク時刻から縮瞳ピーク時刻までの所要時間」、「縮瞳ピーク時刻から散瞳ピーク時刻までの所要時間」、「縮瞳ピークの瞳孔径・面積から散瞳ピークの瞳孔径・面積への変化率」、及び「散瞳ピークの瞳孔径・面積から縮瞳ピークの瞳孔径・面積への変化率」のうちの少なくとも1つを算出する。図26(a)には、特徴量算出部11によって算出された瞳孔直径の時間変化の一例を示しており、図26(b)には、特徴量算出部11によって検出された散瞳ピークの時刻及び縮瞳ピークの時刻を示している。このように、特徴量算出部11によって、瞳孔直径の時間変化の極小値に対応する時刻が縮瞳ピークの時刻として検出され、瞳孔直径の時間変化の極大値に対応する時刻が散瞳ピークの時刻として検出される。
Then, the feature
図27及び図28は、両眼計測システム1による比較値の計測動作の手順を示すフローチャートである。図27は、右眼ER及び左眼ELの画像を同時取得して瞳孔特徴量の比較値を対象に統計値を算出する場合の手順であり、図28は、右眼ER及び左眼ELの画像を別々に取得して、瞳孔特徴量及びその統計値を右眼ER及び左眼ELについて別々に算出し、2つの統計値の比較値を算出する場合の手順である。両眼計測システム1には図27及び図28に示す機能のうちいずれか一方の機能が実装されていればよい。図27及び図28の手順は、処理対象を瞳孔特徴量とした以外は図3及び図4に示した手順と同様である。
FIG. 27 and FIG. 28 are flowcharts showing the procedure of the comparison value measurement operation by the
上記変形例に係る両眼計測システム1によっても、被験者の眼の挙動に関する評価値を、被験者に負担を課すことなく、かつ、簡易な装置構成を用いた簡易な計算処理によって取得することができる。さらには、この評価値によって被験者の眼の挙動を適切に評価することができ、眼の挙動から非侵襲かつ容易に脳機能の定量化を行うことができる。
Also with the
上述した実施形態に係る両眼計測システム1においては、比較値として差或いは比を算出するが、その際瞬目などによって計測できていなかった区間は対象外として集計値に反映させることが好ましい。また、瞳孔直径の安定した検出が難しい場合には瞳孔領の面積、楕円近似した結果の面積或いは直径を利用してもよい。
In the
上述した実施形態に係る両眼計測システム1の応用例としては、病院での病状の診断用途、病気の進行の判断や治療後の経過観察の用途等が想定される。また、個人が各自の健康を確認するためのヘルスケア用途、研究室での生理学実験や視覚実験の用途も想定される。
As an application example of the
1…両眼計測システム、3R,3L…光源、5…照明制御装置、7…光検出器、9…プロセッサ、11…特徴量算出部、13…比較値算出部、15…結果出力部、17…同期制御部、EL…左眼、ER…右眼。
DESCRIPTION OF
Claims (8)
前記検出信号に基づいて、前記右眼に対応した第1の特徴量と前記左眼に対応した第2の特徴量とを算出する特徴量算出部と、
前記第1の特徴量及び前記第2の特徴量を基に、前記第1の特徴量と前記第2の特徴量とを比較した比較値を算出する比較値算出部と、
を備える両眼計測装置。 A light detector that detects light from the right eye and left eye of the subject and outputs a detection signal of the light;
A feature amount calculation unit that calculates a first feature amount corresponding to the right eye and a second feature amount corresponding to the left eye based on the detection signal;
A comparison value calculation unit that calculates a comparison value comparing the first feature value and the second feature value based on the first feature value and the second feature value;
A binocular measurement device.
請求項1記載の両眼計測装置。 The comparison value calculation unit calculates a comparison value based on a difference or ratio between the first feature value and the second feature value;
The binocular measurement device according to claim 1.
請求項1又は2記載の両眼計測装置。 The feature amount calculation unit calculates a feature amount related to blinks as the first feature amount and the second feature amount.
The binocular measurement device according to claim 1 or 2.
請求項1又は2記載の両眼計測装置。 The feature amount calculation unit calculates a feature amount relating to fixation micromotion as the first feature amount and the second feature amount;
The binocular measurement device according to claim 1 or 2.
請求項1又は2記載の両眼計測装置。 The feature amount calculation unit calculates a feature amount related to a pupil as the first feature amount and the second feature amount;
The binocular measurement device according to claim 1 or 2.
請求項1〜5のいずれか1項に記載の両眼計測装置。 The photodetector includes a two-dimensional photodetector having a light receiving surface in which a plurality of pixels are two-dimensionally arranged.
The binocular measurement device according to any one of claims 1 to 5.
前記検出信号に基づいて、前記右眼に対応した第1の特徴量と前記左眼に対応した第2の特徴量とを算出するステップと、
前記第1の特徴量及び前記第2の特徴量を基に、前記第1の特徴量と前記第2の特徴量とを比較した比較値を算出するステップと、
を備える両眼計測方法。 Detecting light from the right and left eyes of the subject using a photodetector and outputting a detection signal of the light;
Calculating a first feature amount corresponding to the right eye and a second feature amount corresponding to the left eye based on the detection signal;
Calculating a comparison value comparing the first feature value and the second feature value based on the first feature value and the second feature value;
A binocular measurement method comprising:
前記画像に基づいて、前記右眼に対応した第1の特徴量と前記左眼に対応した第2の特徴量とを算出する特徴量算出部、及び
前記第1の特徴量及び前記第2の特徴量を基に、前記第1の特徴量と前記第2の特徴量とを比較した比較値を算出する比較値算出部、
として機能させる両眼計測プログラム。 A processor provided in a binocular measurement device that measures both eyes of the subject using an image of a part including the right eye and the left eye of the subject,
A feature amount calculation unit that calculates a first feature amount corresponding to the right eye and a second feature amount corresponding to the left eye based on the image; and the first feature amount and the second feature amount A comparison value calculation unit that calculates a comparison value by comparing the first feature value and the second feature value based on the feature value;
Binocular measurement program to function as.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015108367A JP6530239B2 (en) | 2015-05-28 | 2015-05-28 | Binocular measurement apparatus, binocular measurement method, and binocular measurement program |
CN201680030746.4A CN107613847B (en) | 2015-05-28 | 2016-03-30 | Binocular measuring device, binocular measurement method and binocular process of measurement |
US15/575,856 US10893800B2 (en) | 2015-05-28 | 2016-03-30 | Binocular measurement device, binocular measurement method, and binocular measurement program |
PCT/JP2016/060517 WO2016189966A1 (en) | 2015-05-28 | 2016-03-30 | Binocular measurement device, binocular measurement method, and binocular measurement program |
US17/099,993 US11723534B2 (en) | 2015-05-28 | 2020-11-17 | Binocular measurement device, binocular measurement method, and binocular measurement program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015108367A JP6530239B2 (en) | 2015-05-28 | 2015-05-28 | Binocular measurement apparatus, binocular measurement method, and binocular measurement program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016220801A true JP2016220801A (en) | 2016-12-28 |
JP6530239B2 JP6530239B2 (en) | 2019-06-12 |
Family
ID=57392702
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015108367A Active JP6530239B2 (en) | 2015-05-28 | 2015-05-28 | Binocular measurement apparatus, binocular measurement method, and binocular measurement program |
Country Status (4)
Country | Link |
---|---|
US (2) | US10893800B2 (en) |
JP (1) | JP6530239B2 (en) |
CN (1) | CN107613847B (en) |
WO (1) | WO2016189966A1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017202048A (en) * | 2016-05-10 | 2017-11-16 | 日本電信電話株式会社 | Feature amount extraction device, estimation device, method for the same and program |
WO2019117165A1 (en) * | 2017-12-14 | 2019-06-20 | オムロン株式会社 | Pupil detection device and detection system |
JP2021514275A (en) * | 2017-12-08 | 2021-06-10 | ビヨンド 700 ピーティーワイ リミテッド | Method based on lacrimal membrane behavior |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6227996B2 (en) * | 2013-12-18 | 2017-11-08 | 浜松ホトニクス株式会社 | Measuring device and measuring method |
DE102015213935B4 (en) * | 2015-07-23 | 2019-02-14 | Siemens Healthcare Gmbh | A medical imaging device having a positioning unit and a method for determining a position on a positioning surface |
JP6406171B2 (en) * | 2015-08-25 | 2018-10-17 | トヨタ自動車株式会社 | Blink detection device |
US20180125406A1 (en) * | 2016-11-08 | 2018-05-10 | International Business Machines Corporation | Mental state estimation using relationship of pupil dynamics between eyes |
US10660517B2 (en) | 2016-11-08 | 2020-05-26 | International Business Machines Corporation | Age estimation using feature of eye movement |
WO2018097204A1 (en) * | 2016-11-22 | 2018-05-31 | 国立研究開発法人宇宙航空研究開発機構 | System, method, and program for predicting diminished attentiveness state, and storage medium on which program is stored |
US10796147B1 (en) * | 2016-12-12 | 2020-10-06 | Keith Hanna | Method and apparatus for improving the match performance and user convenience of biometric systems that use images of the human eye |
JP7107725B2 (en) * | 2018-04-10 | 2022-07-27 | 浜松ホトニクス株式会社 | Eye Movement Feature Quantity Calculation System, Eye Movement Feature Quantity Calculation Method, and Eye Movement Feature Quantity Calculation Program |
US10827922B2 (en) * | 2018-10-22 | 2020-11-10 | Zongqi Hu | Apparatus and method for objective visual acuity measurement using dynamic velocity threshold filter in optokinetic response processing |
JP7264257B2 (en) * | 2019-09-04 | 2023-04-25 | 日本電気株式会社 | Control device, control method and program |
CN111568368B (en) * | 2020-05-25 | 2023-06-06 | 歌尔科技有限公司 | Eyeball movement abnormality detection method, device and equipment |
US11803237B2 (en) * | 2020-11-14 | 2023-10-31 | Facense Ltd. | Controlling an eye tracking camera according to eye movement velocity |
US11899468B2 (en) * | 2020-12-22 | 2024-02-13 | Waymo Llc | Sensor for flashing light detection |
SE545345C2 (en) * | 2021-06-30 | 2023-07-11 | Tobii Ab | Method and system for alignment of data |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07303608A (en) * | 1994-05-11 | 1995-11-21 | Nippon Koden Corp | Device for measuring eyeball movement |
JPH09175224A (en) * | 1995-12-25 | 1997-07-08 | Nippon Hoso Kyokai <Nhk> | Pupil measuring device |
JP2008246143A (en) * | 2007-03-30 | 2008-10-16 | Hamamatsu Photonics Kk | Pupillometer |
JP2012196328A (en) * | 2011-03-22 | 2012-10-18 | Panasonic Corp | Both eyes pupil testing apparatus |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3771973B2 (en) * | 1996-09-26 | 2006-05-10 | オリンパス株式会社 | 3D image display device |
US8333474B2 (en) * | 2007-10-19 | 2012-12-18 | Wavetec Vision Systems, Inc. | Optical instrument alignment system |
-
2015
- 2015-05-28 JP JP2015108367A patent/JP6530239B2/en active Active
-
2016
- 2016-03-30 US US15/575,856 patent/US10893800B2/en active Active
- 2016-03-30 CN CN201680030746.4A patent/CN107613847B/en active Active
- 2016-03-30 WO PCT/JP2016/060517 patent/WO2016189966A1/en active Application Filing
-
2020
- 2020-11-17 US US17/099,993 patent/US11723534B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07303608A (en) * | 1994-05-11 | 1995-11-21 | Nippon Koden Corp | Device for measuring eyeball movement |
JPH09175224A (en) * | 1995-12-25 | 1997-07-08 | Nippon Hoso Kyokai <Nhk> | Pupil measuring device |
JP2008246143A (en) * | 2007-03-30 | 2008-10-16 | Hamamatsu Photonics Kk | Pupillometer |
JP2012196328A (en) * | 2011-03-22 | 2012-10-18 | Panasonic Corp | Both eyes pupil testing apparatus |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017202048A (en) * | 2016-05-10 | 2017-11-16 | 日本電信電話株式会社 | Feature amount extraction device, estimation device, method for the same and program |
JP2021514275A (en) * | 2017-12-08 | 2021-06-10 | ビヨンド 700 ピーティーワイ リミテッド | Method based on lacrimal membrane behavior |
WO2019117165A1 (en) * | 2017-12-14 | 2019-06-20 | オムロン株式会社 | Pupil detection device and detection system |
JP2019103745A (en) * | 2017-12-14 | 2019-06-27 | オムロン株式会社 | Pupil detection device and detection system |
Also Published As
Publication number | Publication date |
---|---|
CN107613847A (en) | 2018-01-19 |
JP6530239B2 (en) | 2019-06-12 |
CN107613847B (en) | 2019-05-21 |
WO2016189966A1 (en) | 2016-12-01 |
US20210068653A1 (en) | 2021-03-11 |
US20180125357A1 (en) | 2018-05-10 |
US10893800B2 (en) | 2021-01-19 |
US11723534B2 (en) | 2023-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6530239B2 (en) | Binocular measurement apparatus, binocular measurement method, and binocular measurement program | |
US11903720B2 (en) | System and method for detecting neurological disease | |
Otero-Millan et al. | Knowing what the brain is seeing in three dimensions: A novel, noninvasive, sensitive, accurate, and low-noise technique for measuring ocular torsion | |
JP2004283609A (en) | Pupillometer with pupil irregularity detection, pupil tracking, and pupil response detection capability, glaucoma screening capability, corneal topography measurement capability, intracranial pressure detection capability, and ocular aberration measurement capability | |
EP2510761A1 (en) | Assessment of microvascular circulation | |
JPWO2005084526A1 (en) | Optical measurement method and apparatus for retinal function | |
Nowak et al. | System and measurement method for binocular pupillometry to study pupil size variability | |
US20180249941A1 (en) | Oculometric Neurological Examination (ONE) Appliance | |
US11642068B2 (en) | Device and method to determine objectively visual memory of images | |
US20220361744A1 (en) | Systems and methods for evaluating pupillary responses | |
US11445904B2 (en) | Joint determination of accommodation and vergence | |
Margalit et al. | New method for remote and repeatable monitoring of intraocular pressure variations | |
CN104739366A (en) | Portable binocular pupil detection device | |
Hirota et al. | Automatic recording of the target location during smooth pursuit eye movement testing using video-oculography and deep learning-based object detection | |
CN110680275A (en) | Binocular multispectral pupil light reflex quantitative measuring instrument | |
JP7107725B2 (en) | Eye Movement Feature Quantity Calculation System, Eye Movement Feature Quantity Calculation Method, and Eye Movement Feature Quantity Calculation Program | |
Tsai et al. | Design of synchronizing pupillometer for observing nerve conduction by pupillary responses | |
Szmigiel et al. | Distribution of parameters of elliptic approximation of the human pupil | |
Lee et al. | Development of pupillography using image processing. | |
Fülep et al. | Far-field infrared system for the high-accuracy in-situ measurement of ocular pupil diameter | |
Leal et al. | Development of an instrument to measure pupil dynamics in subjects suffering from Neuro-Ophthalmologic disorders | |
TW201642800A (en) | Head-mounted system for visual physology | |
Różanowski et al. | Pupillometric sleepiness measurements PST with concurrent video optic sensor of pupillary size | |
Torii et al. | Real Time Measurement and Processing of Pupillary Light Reflex for Early Detection of Disease. | |
RU2261650C1 (en) | Method for detecting ectopic degree of macular area against optic disk |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180409 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190308 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190514 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190516 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6530239 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |