CN105792730B - 测量装置和测量方法 - Google Patents
测量装置和测量方法 Download PDFInfo
- Publication number
- CN105792730B CN105792730B CN201480065934.1A CN201480065934A CN105792730B CN 105792730 B CN105792730 B CN 105792730B CN 201480065934 A CN201480065934 A CN 201480065934A CN 105792730 B CN105792730 B CN 105792730B
- Authority
- CN
- China
- Prior art keywords
- reflection image
- tester
- light
- measurement apparatus
- eyelid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0008—Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
平板电脑终端(1A)是对被验者的眼睑位置进行测量的测量装置,具有:显示部(3),生成在被验者的眼球的角膜表面上形成反射像的纵长的发光区域;摄像机(5),对由显示部(3)形成的反射像进行摄像;和运算电路(7),以由摄像机(5)获得的反射像的图像数据为基础,导出与反射像的尺寸或者位置有关的反射像信息,根据反射像信息对眼睑位置进行测量。
Description
技术领域
本发明涉及对被验者的眼睑位置进行测量的测量装置和测量方法。
背景技术
一直以来,通过测量被验者的眼球动作而以各种各样的疾病的诊断等为目的的测量方法的开发正在推进。例如,在下述专利文献1所记载的装置中,将由摄像机(camera)获得的被验者的眼睛图像作为对象,在上下方向上观测浓度值的变化,利用眼睑与眼球之间浓度值变化而测量眼睑位置。另外,在下述专利文献2所记载的装置中,由摄像机获得被验者的动态图像,以该动态图像的明暗为基础提取成为上睑和下睑的组合的候选的边缘线,在下述专利文献3所记载的装置中,从被验者的眼睛图像,根据亮度分布提取表示浓淡变化的一维图像,以该一维图像为基础检测眼睑和眼球的边界点。这些装置都是通过对被验者的图像进行处理,从而检测眼睑位置的装置。
另一方面,在下述专利文献4所记载的装置中,由传感器检测接触到被验者的眼睛的光的反射光和散射光的强度,由此生成表示眼睑是睁开的状态还是闭合的状态的信号。在该装置中,具有内置发射器和传感器的检测器件,利用在眼睛的表面上返回光弱而在眼睑的表面上返回光强,来判断眼睑是睁开的状态还是闭合的状态。
现有技术文献
专利文献
专利文献1:日本特开2000-102510号公报
专利文献2:日本特开2008-226047号公报
专利文献3:日本特开平7-313459号公报
专利文献4:日本特表2007-531579号公报
发明内容
发明所要解决的课题
然而,在上述的专利文献1~3所记载的装置的测量方法中,以亮度值的变化测量眼睑的位置时,由于眼睑中的散射光的发生的影响或者睫毛的影响,存在难以正确地进行眼睑位置的测量的倾向。另外,在专利文献4所记载的装置中,眼睑中的光的散射条件因肌肉的状态或化妆等而发生变化,因此正确地对眼睑位置进行测量是困难的。另外,在该装置中,由于检测了睫毛的散射光,因此正确性下降。
因此,本发明是鉴于以上的课题而完成的发明,其目的在于,提供能够更加正确地测量被验者的眼睑位置的测量装置和测量方法。
解决课题的技术手段
为了解决上述课题,本发明的一个方式所涉及的测量装置是对被验者的眼睑位置进行测量的测量装置,具有:发光体,生成在被验者的眼球的角膜表面上形成反射像的纵长的发光区域;摄像部,对由发光体形成的反射像进行摄像;和运算部,以由摄像部获得的反射像的图像数据为基础,导出与反射像的尺寸或者位置有关的反射像信息,根据反射像信息对眼睑位置进行测量。
或者,本发明的另一个方式所涉及的测量方法是对被验者的眼睑位置进行测量的测量方法,包括:照明步骤,使用生成纵长的发光区域的发光体,在被验者的眼球的角膜表面上形成反射像;摄像步骤,对由照明步骤形成的反射像进行摄像;和运算步骤,以由摄像步骤获得的反射像的图像数据为基础,导出与反射像的尺寸或者位置有关的反射像信息,根据反射像信息对眼睑位置进行测量。
根据这样的测量装置或者测量方法,对应于纵长的发光区域的发光而在被验者的角膜表面上形成反射像,该反射像被摄像。然后,从获得的反射像的图像数据导出反射像信息,从该反射像信息测量眼睑位置。这样,通过利用角膜表面上的反射像,与利用被验者上的散射光的情况比较,图像比较容易变得明亮,因此提高了眼睑位置的检测精度。另外,不容易受到睫毛的影响、光的散射条件的变化的影响。因此,能够利用简单的装置结构进行更高精度的眼睑位置的检测。
发明的效果
根据本发明,能够更加正确地测量被验者的眼睑位置。
附图说明
图1是表示作为本发明的优选的一个实施方式所涉及的测量装置的平板电脑(tablet)终端1A的功能结构的方块图。
图2是表示图1的平板电脑终端1A的外观的俯视图。
图3是表示相对于从图1的显示部3照射的散射光相对于被验者的眼睛的各种入射角度的散射光向摄像机5的反射状态的侧视图。
图4是表示相对于被验者的眼睑的闭合状态小的情况下的从显示部3照射的散射光相对于被验者的眼睛的各种入射角度的散射光向摄像机5的反射状态的侧视图。
图5是表示相对于被验者的眼睑的闭合状态大的情况下的从显示部3照射的散射光相对于被验者的眼睛的各种入射角度的发散光向摄像机5的反射状态的侧视图。
图6是表示通过图1的平板电脑终端1A控制的平板电脑终端1A相对于被验者S的配置状态的概念图。
图7是表示通过图1的平板电脑终端1A控制的平板电脑终端1A相对于被验者S的配置状态的概念图。
图8是表示利用图1的平板电脑终端1A进行眼睑位置测量处理的动作顺序的流程图。
图9是表示利用图1的运算电路7处理的被验者的眼睛图像的一个例子的图。
图10是表示在图1的显示部3中显示的测量结果的一个例子的图。
图11是表示在图1的显示部3中显示的测量结果和外部接收信息的一个例子的图。
图12是表示在图1的平板电脑终端1A的显示部3中生成的发光区域13的形状的例子的图。
图13是表示本发明的变形例所涉及的测量装置1B的外观结构的图。
图14是表示本发明的变形例所涉及的测量装置1C的外观结构的图。
图15是表示本发明的变形例所涉及的测量装置1D的外观结构的图。
具体实施方式
以下,参照附图,对本发明的测量装置和测量方法的实施方式进行详细的说明。另外,在附图的说明中,对相同的要素标注相同的符号,省略重复的说明。另外,各附图是为了说明用而制作的图,以特别强调说明的对象部位的方式绘制。因此,附图中的各部件的尺寸比率不一定与实际的情况一致。
图1是表示作为本发明的优选的一个实施方式所涉及的测量装置的平板电脑终端1A的功能结构的方块图,图2是表示平板电脑终端1A的外观的俯视图。该平板电脑终端1A是可以测量被验者的眼睑位置的信息处理终端,构成为具有:作为发光体而发挥功能的显示部3;内置摄像元件的摄像机(摄像部)5;运算电路(运算部)7;对在运算电路7中处理的数据在与外部之间进行发送接收的数据收发部9;和对在运算电路7中处理的数据进行存储的数据存储部11。
显示部3是所谓触摸面板显示装置,是可以在配置于平板电脑终端1A的筐体14的外面中央的画面3a上利用使用者的手指进行画面操作并且可以在画面3a上显示数据、图像等的显示装置。该显示部3将通过画面操作输入的数据或者指示信号提交给运算电路7,并且从运算电路7接收显示对象的文字数据、数值数据和图像数据。另外,在执行被验者的眼睑位置测量时,该显示部3根据从运算电路7接收的数据,在画面3a上显示图2所示那样的图像。即,在画面的中央生成纵长的带状的亮度高的发光区域13,并且显示用于调整测量时的被验者的注视点的标记(指标)15。由此,在眼睑位置测量时从发光区域13照射亮度高的散射光。
摄像机5是内置CMOS、CCD等摄像元件和用于在摄像元件上成像的光学元件的摄像装置,配置在筐体14的表面上的画面3a的外侧,以其摄像光轴从筐体14的表面大致垂直地朝向外侧的方式设定。该摄像机5在眼睑位置测量时对被验者的眼睛进行摄像并连续地获得眼睛图像。摄像机5,其动作利用运算电路7控制,并将与获得的眼睛图像有关的图像数据输出至运算电路7。
运算电路7是对各种数据进行运算处理的电路部,在眼睑位置测量时,以利用摄像机5获得的图像数据为对象进行运算(以下称为“眼睑位置测量处理”。)并生成测量结果。具体而言,运算电路7以图像数据为基础,对在被验者的眼球的角膜表面上形成的反射像进行特定,导出与该反射像的眼睛图像上的尺寸或者位置有关的反射像信息。再有,运算电路7以导出的反射像信息为基础对眼睑位置进行测量,对该眼睑位置按时间序列进行解析,从而算出眨眼特征量,之后获得与该眨眼特征量相对应的测量结果。另外,运算电路7可以将生成的测量结果显示在显示部3,或者也可以经由数据收发部9发送到互联网等外部。
数据收发部9利用移动通信、无线LAN通信等无线通信将利用运算电路7生成的测量结果等数据发送到互联网等外部。另外,数据收发部9也可以通过无线通信从外部接收针对测量结果的诊断结果等数据,将该数据提交给运算电路7。数据存储部11是存储利用运算电路7进行运算处理时所参照的数据和利用该运算处理生成的数据的存储器(存储装置)。
接着,对在平板电脑终端1A中用于对被验者的角膜表面上的反射像进行摄像的配置条件进行叙述。
图3是从被验者的侧面侧观看相对于从显示部3照射的散射光相对于被验者的眼睛的各种入射角度的散射光向摄像机5的反射状态的侧视图。如同图所示,在眼睑位置测量时,摄像机5的摄像光轴以靠近连结摄像机5和被验者的眼球E的角膜C的中心点C0的线L0的方式设定。此时,如果假定从被验者的眼球E的上侧照射散射光LBU的情况,则利用这些散射光LBU在角膜C的表面上形成的反射像经由比线L0更上侧的路径RU1而在摄像机5中成像。因此,由摄像机5摄像的散射光LBU的反射像出现在被验者的眼睛图像中的眼球的上方。另一方面,如果假定从被验者的眼球E的下侧照射散射光LBD的情况,则利用这些散射光LBD在角膜C的表面上形成的反射像经由比线L0更下侧的路径RD1而在摄像机5中成像。因此,由摄像机5摄像的散射光LBD的反射像出现在被验者的眼睛图像中的眼球的下方。
图4是表示相对于被验者的眼睑的闭合状态小的情况下的散射光相对于被验者的眼睛的各种入射角度的散射光向摄像机5的反射状态的侧视图,图5是表示相对于被验者的眼睑的闭合状态大的情况下的散射光相对于被验者的眼睛的各种入射角度的散射光向摄像机5的反射状态的侧视图。如图4所示,在被验者的眼睑稍微闭合的情况下,散射光LBU的反射光的路径RU2的上方被遮挡,因此由摄像机5摄像的散射光LBU的反射像其上方缺少与眼睑的位置相对应的长度。另外,如图5所示,在被验者的眼睑闭合大的情况下,散射光LBU的反射光全部被遮挡而未被摄像机5检测出。此时,散射光LBD的反射光的路径RD2的上方被遮挡,因此由摄像机5摄像的散射光LBD的反射像其上方缺少与眼睑的位置相对应的长度。
考虑上述的散射光LBU、LBD的反射状态,在利用平板电脑终端1A的眼睑位置检测时,为了更高精度地测量眼睑位置,如下所述设定平板电脑终端1A相对于被验者的配置状态。即,在事前检测出被验者的上眼睑处于比瞳孔中心更上方的位置时,设定为从比被验者的正面方向更上侧照射来自显示部3的散射光。与此相对,在事前检测出被验者的上眼睑处于比瞳孔中心更下方的位置时,设定为从比被验者的正面方向更下侧照射来自显示部3的散射光。由此,能够对应于眼睑位置使在摄像机5中成像的被验者的角膜表面上的反射像的大小和形状发生变化。
对这样的平板电脑终端1A的配置状态的控制进行具体的说明。图6和图7是表示通过平板电脑终端1A控制的平板电脑终端1A相对于被验者S的配置状态的概念图。如图6所示,在利用由摄像机5获得的图像数据检测出被验者S的上眼睑Ta的位置处于比瞳孔中心更下方的位置时,通过来自平板电脑终端1A的指示,以从被验者S看,将摄像机5配置在上侧、将显示部3配置在下侧的方式控制平板电脑终端1A的握持法。详细而言,以相对于连结显示部3生成的发光区域13的中心和眼球E的轴L2,摄像机的摄像光轴L1在眼球E的角膜表面上倾斜地取向的方式,并且以相对于被验者S的正面方向从下侧照射来自发光区域13的散射光的方式进行控制。与此相对,如图7所示,在利用由摄像机5获得的图像数据检测出被验者S的上眼睑Ta的位置处于比瞳孔中心更上方的位置时,通过来自平板电脑终端1A的指示,以从被验者S看,将摄像机5配置在下侧、将显示部3配置在上侧的方式控制平板电脑终端1A的握持法。详细而言,以相对于连结显示部3生成的发光区域13的中心和眼球E的轴L2,摄像机的摄像光轴L1在眼球E的角膜表面上倾斜地取向的方式,并且以相对于被验者S的正面方向从上侧照射来自发光区域13的散射光的方式进行控制。
以下,对利用上述的平板电脑终端1A进行眼睑位置测量处理的动作顺序进行说明,并对本实施方式的测量方法进行详细说明。图8是表示利用平板电脑终端1A进行眼睑位置测量处理的动作顺序的方块图。
首先,在通过被验者,平板电脑终端1A以摄像机5位于眼部的正面的方式被保持的状态下,以规定的操作为契机利用摄像机5获得眼睛周围的图像数据,之后,利用运算电路7,从图像数据中特定眼部并提取该眼部的图像数据(步骤S01)。作为该眼部的特定方法,可以举出利用显示部3以一定周期使照明光闪烁并对与此对应地按时间序列获得的图像数据中的同步且亮度变亮的部位进行特定的方法。此时,对具有既定的阈值以上的亮度的部位进行特定,并在设定了区域尺寸之后进行眼部的搜索,由此能够提高搜索速度。或者,也可以通过图像处理进行利用运算电路7的眼部的特定。即,利用运算电路7,以利用摄像机5获得的被验者的彩色图像为对象,对眉毛的部位与鼻或者口的部位之间的眼部的区域进行特定。此时,眉毛的部位作为RGB的亮度都暗且横向较长地延伸的部位而被检测出,口的部位作为R的亮度比GB的亮度明亮且具有一定的面积的部位而被检测出。另外,也可以利用运算电路7,以被验者的黑白图像为对象,在施行二进制处理和边缘提取处理等之后,通过与面部的特征信息进行对照而提取眼部。
接着,利用运算电路7,以包括提取的眼部的图像数据为对象,对上眼睑和瞳孔的位置进行检测,判定上眼睑是否处于瞳孔中心的上侧(步骤S02)。通过该判定,能够获得被验者的日常的眼睑位置的特征。此时,利用上眼睑的亮度比眼部的亮度明亮的特征对上眼睑的位置进行检测。另外,在此处的判定中,也可以判定覆盖眼球表面的上眼睑的面积相对于眼球的面积的比例。眼睑与眼部的区别,可以如上所述根据亮度进行,也可以通过霍夫变换或边缘提取那样的图像处理进行。该判定的结果,在判定为上眼睑处于瞳孔中心的上侧时(步骤S02:是),利用运算电路7,相对于被验者,指示以显示部3为上、摄像机5为下的方式(以成为图7所示的配置状态的方式)握持(步骤S03)。另一方面,在判定为上眼睑处于瞳孔中心的下侧时(步骤S02:否),利用运算电路7,相对于被验者,指示以摄像机5为上、显示部3为下的方式(以成为图6所示的配置状态的方式)握持(步骤S04)。这样的指示,通过利用显示部3的显示输出、利用扬声器的声音输出来进行。另外,运算电路7进行生成角膜反射光的发光,其结果,若生成角膜反射光,则也可以判定为眼睑睁开(向上)的状态,若没有生成,则也可以判定为眼睑闭合(向下)的状态。
之后,利用运算电路7,开始来自显示部3的发光区域13的散射光的发光,并开始利用摄像机5的被验者的眼部的摄像,判定利用摄像机5获得的图像数据是否处于能够进行眼睑位置测量的状态(步骤S05)。其中,对获得的被验者的图像的焦点是否一致、眼睛图像中的散射光的反射像是否处于能够测量的位置(是否处于眼睛图像中的散射光的反射像未过于靠近角落且能够进行继续的测量的位置)等进行判定。判定的结果,在判定为图像数据不在能够测量的状态时(步骤S05:否),为了调整图像的焦点和摄像轴,利用运算电路7,指示将被验者与摄像机5的距离和位置关系最优化(步骤S10)。另外,利用运算电路7,变更显示部3的画面3a上的标记15的位置,相对于被验者,指示将注视点变更为将眼睛图像中的反射像的位置最优化那样的位置(步骤S11)。步骤S10、S11中的指示,可以通过利用显示部3的显示输出来进行,也可以通过利用扬声器的声音输出来进行。接着,为了能够稳定地进行眼睛图像中的反射像的测量,利用运算电路7,调整显示部3中的发光区域13的亮度和形状(步骤S12)。为了将来自反射光的眼睑位置检测平均地稳定化,优选将发光区域13的形状纵长地调粗,将其亮度调亮,但是,根据被验者的眼球的状态(例如,利用手术插入了眼球透镜的情况等),不受该限制。因此,变更发光区域13的粗细、亮度和形状,使得能够稳定地测量。此时,为了确保稳定的测量,以任意的设定期间内的反射像的位置或者亮度的变动幅度为基础来调整发光区域13。另外,在形状的调整时,可以实时地一边参照反射像的形状一边对发光区域13的形状进行变更,也可以将发光区域13的形状变更为预先设定的形状。之后,处理返回到步骤S05。
另一方面,步骤S05中的判定的结果,在判定为图像数据处于能够测量的状态时(步骤S05:是),利用运算电路7,以图像数据为对象开始眼睑位置测量处理(步骤S06)。即,以图像数据为基础对在被验者的眼球的角膜表面上形成的反射像进行特定,导出与该反射像的眼睛图像上的尺寸或者位置有关的反射像信息(步骤S07)。在图9中,表示利用运算电路7处理的被验者的眼睛图像的一个例子。在同图(a)中,表示在被验者的上眼睑Ta睁开的状态下获得的反射像Gr的一个例子,在同图(b)中,表示在被验者的上眼睑Ta较小地闭合的状态下获得的反射像Gr的一个例子,在同图(c)中,表示在被验者的上眼睑Ta较大地闭合的状态下获得的反射像Gr的一个例子。这样,在眼睛图像中,在黑眼珠图像Gb的内侧形成纵长的大致长方形的反射像Gr,该反射像Gr的上端的欠缺情况与上眼睑的闭合状态相对应。
为了利用这样的性质对眼睑位置进行测量,运算电路7导出反射像信息。例如,作为这样的反射像信息,可以举出反射像Gr的面积、整体的光量(发光强度)、纵向的长度、右边与左边的长度之比、上底与下底的长度之比、纵横比、随时间经过的纵向的长度之比(纵向的长度的变化)、重心坐标(特征点)、或者顶点坐标的平均值(特征点)。另外,作为反射像信息,运算电路7也可以求出将反射像Gr近似为梯形时的上述数值、或者近似为梯形时的上述数值的近似值与上述数值的实测值的差。另外,作为反射像信息,运算电路7也可以求出将反射像Gr近似为椭圆时的重心坐标、将反射像Gr近似为椭圆时的长边与短边的长度之比、或者、将反射像Gr近似为椭圆时的面积的近似值与面积的实测值的差。
接着,运算电路7以导出的反射像信息为基础对眼睑位置进行测量,以按时间序列获得的图像数据为对象对该眼睑位置进行解析,从而计算出眨眼特征量(步骤S08)。之后,运算电路7以该眨眼特征量为基础,参照存储于数据存储部11中的数据库,获得与眨眼相对应的测量结果,使测量结果显示在显示部3中(步骤S09)。在图10中,表示在显示部3中显示的测量结果的一个例子。另外,运算电路7也可以经由数据收发部9将测量结果发送到外部,与其相对应地使从外部接收的外部接收信息显示在显示部3中。在图11中,表示在显示部3中显示的测量结果和外部接收信息的一个例子。另外,作为眨眼特征量,可以使用以下的任一算出值的平均值、中值或者标准偏差等的合计值。
·眼睑的移动距离
·移动时的最大速度
·移动期间
·眨眼动作的间隔
或者,也可以使用通过以下的任一条件选择的眨眼的次数作为眨眼特征量。
·比眨眼时的眼睑移动距离阈值短的移动量的眨眼
·比眨眼时的眼睑速度阈值慢的眨眼
·在比眨眼时的期间阈值短的期间内进行的眨眼
根据以上说明的平板电脑终端1A和使用其的眼睑位置测量方法,对应于纵长的发光区域13的发光而在被验者的角膜表面上形成反射像,该反射像被摄像。然后,从获得的反射像的图像数据导出反射像信息,从该反射像信息测量眼睑位置。这样,通过利用大致球面的角膜表面上的反射像,与利用被验者上的散射光的情况比较,图像容易变得比较明亮,因此提高了眼睑位置的检测精度。通过利用比散射光明亮的反射光,例如,在室内测量时反射光的明亮度变得比包括其他的眼部的周边部明亮,关系到眼睑位置的测量的稳定性。另外,不容易受到化妆的眼线和金属线的影响、皮肤的横皱纹的影响、睫毛的影响、因眼内透镜等而导致的光的散射条件的变化的影响。因此,能够利用简单的装置结构进行更高精度的眼睑位置的检测。
另外,平板电脑终端1A在显示部3上生成带状的面状发光体即发光区域13。这样,通过使用面光源,能够使在被验者的角膜表面上形成的反射像的大小和形状对应于眼睑位置而变化,能够利用简单的结构高精度地求出眼睑位置。与此相对,在利用点光源时,在角膜表面上只形成光点,只对遮挡该光点的振幅的眨眼进行测量,不仅不能对检测的眨眼动作进行适当地变更,而且如果因睫毛而遮挡了光点,就会妨碍正确的测量。
另外,在眼睑位置测量处理中,运算电路7导出反射像信息,因此可以对在角膜表面上的反射像中因眼睑而隐藏的部分的比例进行评价,能够利用简单的评价方法正确地测量眼睑位置。另外,运算电路7也可以利用反射像的重心坐标、顶点坐标等特征点的坐标作为反射像信息。即使是这种情况,也可以对在角膜表面上的反射像中因眼睑而隐藏的部分的比例进行评价,能够利用简单的评价方法正确地测量眼睑位置。
另外,通过平板电脑终端1A的控制,能够最优地引导被验者的平板电脑终端1A的握持法。即,摄像机5的光轴以相对于连结发光区域13和眼球的轴在角膜表面上倾斜地取向的方式设定,并且,对应于被验者的日常的眼睑位置设定相对于被验者的来自发光区域13的散射光的照射方向。据此,能够利用摄像机5确实地捕捉角膜表面上的反射像。另外,不需要测量辅助人员等的辅助,通过被验者1个人就可以进行眼睑位置的测量。
另外,利用运算电路7,引导被验者的视线,使得眼睛图像中的反射像的位置最优化。由此,能够将相对于连结摄像机5和被验者的眼部的中心的轴的上眼睑位置引导至最优的位置,能够更正确地测量相对于眼部的眼睑位置。
另外,本发明并不限于上述的实施方式。例如,也可以采用固定型或者笔记本型的计算机终端、手机、智能手机等的具有摄像机和数据通信功能的其他的信息处理终端来代替平板电脑终端1A。另外,在本实施方式中实现的运算功能可以通过软件实现,也可以以运算电路等硬件实现。作为以硬件实现的例子,例如,可以使用浜松光子学株式会社制的智能视觉传感器(IVS)。
另外,作为在平板电脑终端1A的显示部3中生成的发光区域13的形状,只要是纵长的,就可以变更为各种各样的形状和大小。在图12(a)~(e)中,分别在上部表示发光区域的形状,在下部表示与其相对应而获得的眼睛图像上的反射像的形状。例如,作为发光区域13的形状,可以举出图12(a)所示那样的长方形,图12(b)所示那样的带的中央变细的形状,图12(c)所示那样的椭圆形状,图12(d)、(e)所示那样的三角形。通过形成这样的三角形的发光区域,不仅能够由反射像的纵向的长度来测量眼睑位置,也能够由横向宽度测量眼睑位置,从而能够实现降低了身体活动、装置位置、视线的移动的影响的高精度的测量。
另外,本发明也可以是固定型装置等的用于眼睑位置测量的专用装置。在图13和图14中,表示本发明的变形例所涉及的测量装置1B、1C的外观结构,在各图中,(a)是主视图,(b)是侧视图。图13所示的测量装置1B构成为具有内置处理图像数据的运算部的CMOS摄像机等的摄像机5B和在摄像机5B的摄像透镜的上下分离设置的面发光源3B。图14所示的测量装置1C是将测量装置1B的面发光源3B置换为分离成多个的线状的发光源3C的例子。如这些测量装置1B、1C那样,能够以在角膜表面上获得最优的反射像的方式对相对于摄像机5B、5C的摄像光轴的发光源3B、3C的照射角度进行各种调整。另外,将面发光源3B、发光源3C的发光波长以对被验者的影响少的方式设定在红外区域。
另外,本发明也可以是眼镜型的测量装置。在图15中,表示本发明的变形例所涉及的眼镜型测量装置1D的结构。该眼镜型测量装置1D具有:发光部3D,设置于太阳穴的部分并向眼镜透镜19的内侧照射红外光等照明光;散射膜17,在眼镜透镜19的内侧纵长地形成,通过将从发光部3D照射的照明光进行散射,从而形成朝向被验者的眼球E的散射光;和摄像机5D,固定在桥接件附近并获得被验者的眼睛图像。即,通过发光部3D和散射膜17的组合,作为生成纵长的发光区域的发光体而发挥功能。另外,该散射膜17,可以变更为对来自发光部3D的照明光进行散射的槽,也可以在眼镜透镜19的内侧设置有机EL(Electro-Luminescence(电激发光))那样的自发光体来代替发光部3D和散射膜17。
另外,在上述的实施方式中,除用于形成眼睑位置检测用的反射像的发光体以外,也可以另外设置用于生成角膜反射像的LED等光源。这样,能够在眼睑位置测量处理中以该角膜反射像为参照点相对地计算出反射像的上端位置。其结果,可以实现降低了身体活动、装置位置、视线的移动的影响的高精度的测量。
另外,在上述的实施方式的测量装置中,也可以内置加速度传感器、地磁传感器或者陀螺传感器等各种传感器,以传感器的检测结果为基础对眼睑位置的测量结果进行修正。例如,使用通过传感器获得的装置的倾斜等检测信息,进行因测量中的身体活动、装置的倾斜或者视线移动引起的对反射光位置的影响的分离分析,通过修正这些影响的误差,从而能够提高测定精度。
其中,在上述的测量装置中,优选运算部导出反射像的面积、强度、长度以及长度之比中的至少1个来作为反射像信息。据此,可以对在角膜表面上的反射像中因眼睑而隐藏的部分的比例进行评价,因此能够利用简单的评价方法正确地测量眼睑位置。
另外,优选运算部导出反射像的特征点的坐标来作为反射像信息。利用该运算部的结构,也可以对在角膜表面上的反射像中因眼睑而隐藏的部分的比例进行评价,因此能够利用简单的评价方法正确地测量眼睑位置。
优选发光体生成带状的发光区域。如果采用这样的结构,就能够利用简单的发光体的结构正确地测量眼睑位置。
另外,优选摄像部的光轴以相对于连结发光体和眼球的轴在角膜表面上倾斜地取向的方式设定。据此,能够利用摄像部确实地捕捉角膜表面上的反射像。
另外,优选作为具有摄像部和作为发光体的显示装置的终端装置,显示装置在画面上生成发光区域而作为发光体来发挥功能。如果采用这样的结构,不在终端装置中追加复杂的功能部,就能够简单地测量眼睑位置。
产业上的可利用性
本发明将测量被验者的眼睑位置的测量装置和测量方法作为使用用途,能够更加正确地测量被验者的眼睑位置。
符号的说明
1…被验者、1A…平板电脑终端(测量装置)、1B、1C、1D…测量装置、3…显示部(发光体)、3B、3C…发光源(发光体)、3D…发光部(发光体)、5、5B、5C、5D…摄像机(摄像部)、7…运算电路(运算部)、13…发光区域、17…散射膜(发光体)、E…眼球、L1…摄像光轴、L2…轴、S…被验者、Ta…上眼睑。
Claims (7)
1.一种测量装置,其特征在于,
是对被验者的眼睑位置进行测量的测量装置,
具有:
发光体,生成在被验者的眼球的角膜表面上形成纵长的反射像的纵长的发光区域;
摄像部,对由所述发光体形成的所述反射像进行摄像;和
运算部,以由所述摄像部获得的所述反射像的图像数据为基础,导出与所述反射像的尺寸或者位置有关的反射像信息,根据所述反射像信息对所述眼睑位置进行测量,
所述测量装置是具有所述摄像部和作为所述发光体的显示装置的终端装置,
所述显示装置通过在画面上生成所述发光区域而作为所述发光体来发挥功能。
2.如权利要求1所述的测量装置,其特征在于,
所述运算部导出作为所述反射像信息的所述反射像的面积、强度、长度以及长度之比中的至少1个。
3.如权利要求1所述的测量装置,其特征在于,
所述运算部导出作为所述反射像信息的所述反射像的特征点的坐标。
4.如权利要求1~3中任一项所述的测量装置,其特征在于,
所述发光体生成带状的发光区域。
5.如权利要求1~3中任一项所述的测量装置,其特征在于,
所述摄像部的光轴以相对于连结所述发光体和所述眼球的轴在所述角膜表面上倾斜地取向的方式设定。
6.如权利要求4所述的测量装置,其特征在于,
所述摄像部的光轴以相对于连结所述发光体和所述眼球的轴在所述角膜表面上倾斜地取向的方式设定。
7.一种测量方法,其特征在于,
是使用测量装置,对被验者的眼睑位置进行测量的测量方法,
包括:
照明步骤,使用生成纵长的发光区域的发光体,在被验者的眼球的角膜表面上形成纵长的反射像;
摄像步骤,使用摄像部,对由所述照明步骤形成的所述反射像进行摄像;和
运算步骤,以由摄像步骤获得的所述反射像的图像数据为基础,导出与所述反射像的尺寸或者位置有关的反射像信息,根据所述反射像信息对所述眼睑位置进行测量,
所述测量装置是具有所述摄像部和作为所述发光体的显示装置的终端装置,
所述显示装置通过在画面上生成所述发光区域而作为所述发光体来发挥功能。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013-250378 | 2013-12-03 | ||
JP2013250378A JP6462209B2 (ja) | 2013-12-03 | 2013-12-03 | 計測装置及び計測方法 |
PCT/JP2014/080238 WO2015083524A1 (ja) | 2013-12-03 | 2014-11-14 | 計測装置及び計測方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105792730A CN105792730A (zh) | 2016-07-20 |
CN105792730B true CN105792730B (zh) | 2018-03-20 |
Family
ID=53273291
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480065934.1A Active CN105792730B (zh) | 2013-12-03 | 2014-11-14 | 测量装置和测量方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10722112B2 (zh) |
JP (1) | JP6462209B2 (zh) |
CN (1) | CN105792730B (zh) |
WO (1) | WO2015083524A1 (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6227996B2 (ja) * | 2013-12-18 | 2017-11-08 | 浜松ホトニクス株式会社 | 計測装置及び計測方法 |
DE102015211444A1 (de) * | 2015-06-22 | 2016-12-22 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Unterscheiden von Blinzelereignissen und Instrumentenblicken unter Verwendung einer Augenöffnungsweite |
JP6917708B2 (ja) * | 2016-02-29 | 2021-08-11 | 株式会社デンソー | 運転者監視システム |
CN107224292B (zh) * | 2017-05-27 | 2019-12-31 | 西南交通大学 | 一种调度员的注意广度的测试方法和系统 |
JP7109193B2 (ja) * | 2018-01-05 | 2022-07-29 | ラピスセミコンダクタ株式会社 | 操作判定装置及び操作判定方法 |
KR20200144196A (ko) | 2019-06-17 | 2020-12-29 | 삼성전자주식회사 | 전자 장치 및 각막 이미지를 이용한 전자 장치의 기능 제공 방법 |
KR102281927B1 (ko) * | 2019-11-27 | 2021-07-26 | 고큐바테크놀로지 주식회사 | 다양한 상태의 눈을 위한 동공 추적 방법 및 이를 이용한 건강 진단 시스템 |
JP7421436B2 (ja) * | 2020-07-14 | 2024-01-24 | 株式会社日立製作所 | 位置検出装置 |
CN112568992A (zh) * | 2020-12-04 | 2021-03-30 | 上海交通大学医学院附属第九人民医院 | 基于3d扫描眼睑参数测量方法、装置、设备和介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11225966A (ja) * | 1998-02-19 | 1999-08-24 | Topcon Corp | 眼科測定装置 |
CN1960670A (zh) * | 2004-04-01 | 2007-05-09 | 威廉·C·托奇 | 用于监控眼睛运动的生物传感器、通信器、和控制器及其使用方法 |
CN101209207A (zh) * | 2006-12-26 | 2008-07-02 | 爱信精机株式会社 | 睑检测装置、睑检测方法及其程序 |
CN101264007A (zh) * | 2007-03-14 | 2008-09-17 | 爱信精机株式会社 | 眼睑检测装置及其程序 |
CN101266647A (zh) * | 2007-03-15 | 2008-09-17 | 爱信精机株式会社 | 眼睑检测装置、眼睑检测方法及其程序 |
WO2011050734A1 (zh) * | 2009-10-30 | 2011-05-05 | 深圳市汉华安道科技有限责任公司 | 疲劳驾驶检测方法、装置及汽车 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS59186538A (ja) * | 1983-04-07 | 1984-10-23 | キヤノン株式会社 | 眼科装置 |
JPH02150202A (ja) * | 1988-11-29 | 1990-06-08 | Konan Camera Kenkyusho:Kk | 視標使用による眼球運動撮影装置 |
JP3143819B2 (ja) | 1994-05-20 | 2001-03-07 | 株式会社豊田中央研究所 | まぶたの開度検出装置 |
US6542081B2 (en) * | 1996-08-19 | 2003-04-01 | William C. Torch | System and method for monitoring eye movement |
AUPP528498A0 (en) * | 1998-08-14 | 1998-09-10 | Lions Eye Institute Of Western Australia Incorporated, The | Surgical visual feedback and eye fixation method and apparatus |
JP3383594B2 (ja) | 1998-09-29 | 2003-03-04 | 沖電気工業株式会社 | 眼の開度測定装置 |
JP3660145B2 (ja) * | 1998-11-27 | 2005-06-15 | 株式会社ニデック | 眼科装置 |
JP4848301B2 (ja) | 2007-03-14 | 2011-12-28 | アイシン精機株式会社 | 瞼検出装置及びプログラム |
JP2009134276A (ja) * | 2007-11-05 | 2009-06-18 | Panasonic Corp | 表示装置、表示方法、表示プログラム、集積回路、眼鏡型ヘッドマウントディスプレイ、自動車、単眼鏡、及び据置型ディスプレイ |
US7747160B2 (en) * | 2008-01-04 | 2010-06-29 | Sony Ericsson Mobile Communications Ab | Intelligent red eye removal |
US8570176B2 (en) * | 2008-05-28 | 2013-10-29 | 7352867 Canada Inc. | Method and device for the detection of microsleep events |
EP2237237B1 (en) * | 2009-03-30 | 2013-03-20 | Tobii Technology AB | Eye closure detection using structured illumination |
JP5642945B2 (ja) * | 2009-05-29 | 2014-12-17 | 浜松ホトニクス株式会社 | 瞬目計測装置 |
MX2012013189A (es) * | 2010-05-25 | 2012-12-17 | Sharp Kk | Dispositivo de iluminacion, dispositivo de presentacion y receptor de television. |
JP5569357B2 (ja) * | 2010-11-19 | 2014-08-13 | 富士通株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
US8911087B2 (en) * | 2011-05-20 | 2014-12-16 | Eyefluence, Inc. | Systems and methods for measuring reactions of head, eyes, eyelids and pupils |
US9857971B2 (en) * | 2013-12-02 | 2018-01-02 | Industrial Technology Research Institute | System and method for receiving user input and program storage medium thereof |
-
2013
- 2013-12-03 JP JP2013250378A patent/JP6462209B2/ja active Active
-
2014
- 2014-11-14 WO PCT/JP2014/080238 patent/WO2015083524A1/ja active Application Filing
- 2014-11-14 CN CN201480065934.1A patent/CN105792730B/zh active Active
- 2014-11-14 US US15/101,169 patent/US10722112B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11225966A (ja) * | 1998-02-19 | 1999-08-24 | Topcon Corp | 眼科測定装置 |
CN1960670A (zh) * | 2004-04-01 | 2007-05-09 | 威廉·C·托奇 | 用于监控眼睛运动的生物传感器、通信器、和控制器及其使用方法 |
CN101209207A (zh) * | 2006-12-26 | 2008-07-02 | 爱信精机株式会社 | 睑检测装置、睑检测方法及其程序 |
CN101264007A (zh) * | 2007-03-14 | 2008-09-17 | 爱信精机株式会社 | 眼睑检测装置及其程序 |
CN101266647A (zh) * | 2007-03-15 | 2008-09-17 | 爱信精机株式会社 | 眼睑检测装置、眼睑检测方法及其程序 |
WO2011050734A1 (zh) * | 2009-10-30 | 2011-05-05 | 深圳市汉华安道科技有限责任公司 | 疲劳驾驶检测方法、装置及汽车 |
Also Published As
Publication number | Publication date |
---|---|
US10722112B2 (en) | 2020-07-28 |
JP6462209B2 (ja) | 2019-01-30 |
US20160302662A1 (en) | 2016-10-20 |
JP2015107155A (ja) | 2015-06-11 |
CN105792730A (zh) | 2016-07-20 |
WO2015083524A1 (ja) | 2015-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105792730B (zh) | 测量装置和测量方法 | |
US10643088B2 (en) | Systems and methods of biometric analysis with a specularity characteristic | |
JP4783018B2 (ja) | 眼及びその凝視方向を検知し、追跡する方法と装置 | |
ES2957329T3 (es) | Sistemas y métodos para el seguimiento ocular en aplicaciones de realidad virtual y de realidad aumentada | |
US10264998B2 (en) | Blood vessel imaging apparatus and personal authentication system | |
KR101415287B1 (ko) | 라이브니스 검출을 위한 방법, 컴퓨터 판독가능한 저장 디바이스 및 컴퓨팅 디바이스 | |
US9557811B1 (en) | Determining relative motion as input | |
KR101393717B1 (ko) | 얼굴 인식 기술 | |
JP6577454B2 (ja) | 軸上視線追跡システム及び方法 | |
CN103827780B (zh) | 用于虚拟输入设备的方法和系统 | |
EP1594085A1 (en) | Unauthorized person detection device and unauthorized person detection method | |
CN107077593A (zh) | 用于显示屏增强的系统和方法 | |
CN107949863A (zh) | 使用生物体信息的认证装置以及认证方法 | |
CN106175801A (zh) | 眨眼测量方法、眨眼测量装置及眨眼测量程序 | |
CN107003752A (zh) | 信息处理装置、信息处理方法以及程序 | |
CN108573203A (zh) | 身份认证方法和装置及存储介质 | |
CN106663183A (zh) | 眼睛跟踪及用户反应探测 | |
CN108140114A (zh) | 虹膜识别 | |
CN105828701B (zh) | 测量装置和测量方法 | |
CN109964230A (zh) | 用于眼睛度量采集的方法和设备 | |
KR20150139183A (ko) | 정맥인식이 가능한 손목용 웨어러블 장치 | |
JP2006318374A (ja) | 眼鏡判別装置および認証装置ならびに眼鏡判別方法 | |
JP2002000567A (ja) | 瞳孔中心位置計測方法及び視点位置検出方法 | |
JP2020140637A (ja) | 瞳孔検出装置 | |
CN107784255B (zh) | 头戴式用户虹膜信息采集设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |