CN105828701B - 测量装置和测量方法 - Google Patents

测量装置和测量方法 Download PDF

Info

Publication number
CN105828701B
CN105828701B CN201480068600.XA CN201480068600A CN105828701B CN 105828701 B CN105828701 B CN 105828701B CN 201480068600 A CN201480068600 A CN 201480068600A CN 105828701 B CN105828701 B CN 105828701B
Authority
CN
China
Prior art keywords
light
tester
image
eyelid
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480068600.XA
Other languages
English (en)
Other versions
CN105828701A (zh
Inventor
松井克宜
铃木隆
铃木一隆
丰田晴义
宅见宗则
袴田直俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Publication of CN105828701A publication Critical patent/CN105828701A/zh
Application granted granted Critical
Publication of CN105828701B publication Critical patent/CN105828701B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0008—Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

眨眼测量系统(10)是对被验者的眼睑位置进行测量的测量装置，具有：照明装置(1)，照射从被验者的眼睛区域(E)的上睑遍及到下睑而延伸的光；和图像测量装置(2)，在使包括光的照射光轴(La)的面以沿着向被验者照射的光的轴(A1)为中心仅旋转规定的角度(θ)后的面上具有光轴(Ia)，根据所摄像的图像中的光的光像的位置而获得高度信息，并根据高度信息对眼睑位置进行测量。

Description

测量装置和测量方法
技术领域
本发明涉及对被验者的眼睑位置进行测量的测量装置和测量方法。
背景技术
目前，通过测量被验者的眼球动作而进行以各种各样的疾病的诊断等为目的的测量方法的开发。例如，在下述专利文献1所记载的装置中，将利用摄像机获得的被验者的眼睛图像作为对象，在上下方向观测浓度值的变化，利用眼睑与眼球之间浓度值的变化而测量眼睑位置。另外，在下述专利文献2所记载的装置中，由摄像机获得被验者的动态图像，以该动态图像的明暗为基础提取成为上睑和下睑的组合的候选的边缘线，在下述专利文献3所记载的装置中，从被验者的眼睛图像，根据亮度分布提取表示浓淡变化的一维图像，以该一维图像为基础检测眼睑和眼球的边界点。另外，在下述专利文献4所记载的装置中，由传感器检测接触到被验者的眼睛的光的反射光和散射光的强度，由此产生表示眼睑是睁开的状态还是闭合的状态的信号。
现有技术文献
专利文献
专利文献1：日本特开2000－102510号公报
专利文献2：日本特开2008－226047号公报
专利文献3：日本特开平7－313459号公报
专利文献4：日本特表2007－531579号公报
发明内容
发明所要解决的课题
然而，在上述的专利文献1～3所记载的装置的测量方法中，以亮度值的变化测量眼睑的位置时，由于干扰光的影响或者睫毛的影响，存在难以正确地进行眼睑位置的测量的倾向。在专利文献4所记载的装置中，因肌肉的状态或化妆等的影响而使反射光和散射光的强度产生各种变化，所以正确地对眼睑位置进行测量是困难的。另外，在该装置中，由于测量时包括因睫毛而导致的散射光成分的影响，因此正确性下降。
因此，本发明是鉴于以上的课题而完成的发明，本发明的目的在于提供能够更加正确地测量被验者的眼睑位置的测量装置和测量方法。
解决课题的方案
为了解决上述课题，本发明的一个方式所涉及的测量装置是对被验者的眼睑位置进行测量的测量装置，其具有：照明部，照射从被验者的上睑遍及到下睑而延伸的光；摄像装置，在使包括光的光轴的面以沿着向被验者照射的光的轴为中心仅旋转规定的角度后的面上具有光轴；和运算部，根据利用摄像装置摄像到的图像中的光像的位置而获得高度信息，并根据高度信息对眼睑位置进行测量。
或者，本发明的另一个方式所涉及的测量方法是对被验者的眼睑位置进行测量的测量方法，其包括：照明步骤，照射从被验者的上睑遍及到下睑而延伸的光；摄像步骤，在使包括光的光轴的面以沿着向被验者照射的光的轴为中心仅旋转规定的角度后的面上设定摄像光轴，获得被验者的图像；和运算步骤，根据在摄像步骤中获得的图像中的光像的位置获得高度信息，根据高度信息对眼睑位置进行测量。
根据这样的测量装置或者测量方法，在设定相对于利用照明部从上睑直到下睑照射的光仅旋转规定的角度后的摄像光轴的状态下，获得被验者的图像，以该图像中的光像的位置为基础获得高度信息，根据该高度信息测量眼睑位置。其结果，不容易受到干扰光的影响或睫毛的影响、或者因肌肉的状态或化妆等而导致的反射光和散射光的强度变化的影响，能够更加正确地进行眼睑位置的测量。
发明的效果
根据本发明，能够更加正确地测量被验者的眼睑位置。
附图说明
图1是表示作为本发明的优选的一个实施方式所涉及的测量装置的眨眼测量系统的概略结构的俯视图。
图2是表示在被验者的区域E中利用图1的照明装置1的照明状态的主视图。
图3是表示图像测量装置2相对于照明装置1的配置位置所导致的、区域E内的眼睑和白眼珠中的光像的状态的水平剖面图。
图4是表示图像测量装置2相对于照明装置1的配置位置所导致的、区域E中的图像影像的图。
图5是表示图1的图像测量装置2的详细结构的概略结构图。
图6是表示利用图1的图像测量装置2在被验者睁开眼睑时摄像到的图像数据的一个例子的图。
图7是从被验者睁开眼睑时的区域E的横向看的剖面图。
图8是表示利用图1的图像测量装置2在被验者闭合眼睑时摄像到的图像数据的一个例子的图。
图9是从被验者闭合眼睑时的区域E的横向看的剖面图。
图10是表示利用图5的图像运算部7处理的时间序列的图像数据的一个例子的图。
图11是表示对利用图5的图像测量装置2摄像到的时间序列的图像数据，利用图像运算部7进行一维重心运算的结果的图表。
图12是表示图5的图像运算部7获得的上睑的边界位置的时间变化的例子的图表。
图13是表示本发明的变形例所涉及的眨眼测量系统10A的配置关系的概略结构图。
图14是表示本发明的另一个变形例所涉及的眨眼测量系统10B的配置关系的概略结构图。
图15是在本发明的变形例中，相对于被验者的区域E倾斜地照射光L时的主视图。
图16是在本发明的变形例中，相对于被验者的区域E照射多束光L时的主视图。
具体实施方式
以下，参照附图对本发明的测量装置和测量方法的实施方式进行详细地说明。另外，在附图的说明中，对相同的要素标注相同的符号，省略重复的说明。另外，各附图是为了说明用而制作的图，以特别强调说明的对象部位的方式绘制。因此，附图中的各部件的尺寸比率不一定与实际的情况一致。
图1是表示作为本发明的优选的一个实施方式所涉及的测量装置的眨眼测量系统10的概略结构的俯视图。在同一附图中，表示眨眼测量系统10的各构成要素的从被验者的头上看的位置关系。该眨眼测量系统10是以面对包括被验者的眼睛的区域E的方式配置、按时间序列测量被验者的眼睑位置而获得与被验者的眨眼有关的参数的测量系统，构成为具有照射光的照明装置(照明部)1、配置在照明装置1与被验者的区域E之间的滤光器3和对通过摄像区域E的光像而获得的图像数据进行处理的图像测量装置2。
照明装置1是以正对被验者的区域E的方式配置、照射从被验者的上睑遍及到下睑而延伸的光的光源。例如，照明装置1从被验者的上睑遍及到下睑照射带状的线光。图2是表示在被验者的区域E中的利用照明装置1的照明状态的主视图。如同一附图所示，照明装置1将包括具有上睑Eu、下睑Ed、瞳孔Ep、巩膜(白眼珠)Es和虹膜Ei的眼睛的区域E作为对象，在包括从上睑Eu到下睑Ed的、长度Lh的范围内直线状地照射上下横穿的宽度Lw的光L。也就是说，照明装置1在包括照明装置1的发光中心和被验者的区域E的平面上具有照射光轴La，产生从被验者的上睑Eu直到下睑Ed照射的光L。其中，照明装置1，以长度Lh和宽度Lw的值分别成为最适于测量的值的方式进行调整，特别而言，照射的光L的宽度Lw的值以成为人类的睫毛的平均粗细即0.1mm以上的方式进行调整。另外，照明装置1以其发光中心从被验者的区域E仅离开距离WD的方式配置。该距离WD以照射于区域E的光L的宽度Lw变成最细的方式、且以与关于照明装置1预先规定的动作距离相一致的方式设定。另一方面，为了对照射到区域E的光L的宽度Lw进行调整，也可以将照明装置1配置为以从动作距离起在任意的范围内增减其距离WD的方式移动。
作为这样的照明装置1，例如由LD(Laser Diode(激光二极管))、SLD(SuperLuminescent Diode(超辐射发光二极管))等光源和包括圆柱透镜和准直透镜等的透镜构成，但是如果满足上述条件，也可以由LED(Light Emitting Diode(发光二极管))和狭缝板构成。另外，为了抑制被验者因直接感受光而导致的刺眼或者不安感所导致的对眨眼动作的影响，照明装置1的发光波长优选为作为不可见波长区域的近红外区域或者红外区域的波长，例如，设定为750nm以上的波长区域。因此，从被验者的眼睛的保护的观点考虑，将照明装置1的发光强度设定为充分小的值。
返回到图1，滤光器3是以使利用照明装置1产生的光束通过的方式配置、出于保护被验者的眼睛的目的对向被验者照射的光L的强度进行调整的ND(Neutral Density)滤光器(减光滤光器)。滤光器3可以是单一的滤光器，也可以是多个滤光器的组合。
图像测量装置2构成为在将沿着照射在眼睛区域E上的光L的轴A1作为中心、使包括照射光轴La的垂直面(沿光束的面)仅旋转规定角度θ后的面上具有其摄像光轴Ia。也就是说，关于图像测量装置2，将其摄像光轴Ia设定在包括使照射光轴La仅旋转角度θ后的轴的面上，相对于正对方向从倾斜的方向对区域E进行摄像。
图3是表示图像测量装置2相对于照明装置1的配置位置所导致的、区域E内的眼睑Eu和白眼珠Es的光像的状态的水平剖面图，图4是表示图像测量装置2相对于照明装置1的配置位置所导致的、区域E中的图像影像的图。
如图3所示，相对于照射光轴La，摄像光轴Ia仅旋转角度θ。因此，相对于从照明装置1的位置观看区域E中的光L的照射位置的视线V1，从图像测量装置2的位置观看区域E中的光L的照射位置的视线V2也仅旋转角度θ。在图3中，由于眼睑Eu存在于比白眼珠Es更前面的位置，因此在区域E内，存在于照射光轴La上的眼睑Eu中的光L的散射位置PO1位于比存在于照射光轴La上的白眼珠Es中的光L的散射位置PO2更跟前的位置。此时，在将图像测量装置2设置在与照明装置1相同的轴上、即在照射光轴La上设置图像测量装置2的情况下，图像测量装置2变成从视线V1观看光L的照射部分。在这种情况下，由于摄像光轴Ia和照射光轴La存在于同轴上，因此来自2个位置PO1、PO2的散射光成分所引起的图像面GS上的光像的投影位置都变成GP0而一致。另一方面，在将图像测量装置2设置为相对于照明装置1仅旋转角度θ的情况下，图像测量装置2变成从视线V2观看光L的照射部分。在这种情况下，来自位置PO1的散射光成分所引起的图像面GS上的光像的投影位置变成GP1，仅以从摄像光轴Ia和照射光轴La所成的角度θ进行几何学计算的直线距离ΔL1从图像面GS的中心位置向右方向移动。同样地，来自位置PO2的散射光成分所引起的图像面GS上的光像的投影位置变成GP2，仅以从摄像光轴Ia和照射光轴La所成的角度θ进行几何学计算的直线距离ΔL2从图像面GS的中心位置向左方向移动。也就是说，利用设置在从照明装置1向水平方向仅旋转角度θ的位置上的图像测量装置2摄像到的光像的、图像面GS中的投影位置的偏移量表示区域E中的眼睑Eu与白眼珠Es的高低差。
具体而言，如图4(a)所示，在与照射光轴La相同的轴上具有摄像光轴Ia时获得的图像中，来自在区域E中存在于由光L照明的部分的眼睑Eu、Ed和白眼珠Es的各部分的散射光成分所引起的光像全部存在于同一直线上。与此相对，如图4(b)所示的本实施方式那样，在相对于照射光轴La摄像光轴Ia向水平方向仅旋转角度θ时获得的图像中，来自在区域E中存在于由光L照明的部分的眼睑Eu、Ed和白眼珠Es的各部分的散射光成分所引起的光像，仅移动(偏移)与眼睑Eu、Ed和白眼珠Es的各边界部分的高低差相对应的量。更详细而言，相对于照射光轴La，摄像光轴Ia沿逆时针方向仅旋转角度θ时，相对于眼睑Eu、Ed中的光L的散射光成分所引起的光像的位置，白眼珠Es中的光L的散射光成分所引起的光像的位置在图像面中向水平方向左侧移动(偏移)。该移动量与眼睑Eu、Ed和白眼珠Es的高低差成比例。因此，通过以图像数据的1像素以下的子像素单位求出该移动量，能够高精度地求出区域E中的高度信息。
接着，参照图5对图像测量装置2的详细结构进行说明。
如同一附图所示，图像测量装置2由摄像透镜5、图像传感器(摄像装置)6、图像运算部7和控制通信部8构成。摄像透镜5具有覆盖包括从被验者的上睑Eu到下睑Ed的区域E的视角，对利用照明装置1照射的光L的反射光和散射光成分进行聚光并在图像传感器6上成像。图像传感器6将利用摄像透镜5聚光的反射光成分和散射光成分按每个像素进行光电转换，从而按时间序列产生表示图像面上的光像的亮度的二维分布的图像信号(电信号)。另外，图像传感器6将产生的图像信号转送给图像运算部7。图像运算部7对在图像传感器6中产生的图像信号进行信号处理，获得被验者的区域E中的沿水平方向(光L的照射方向)的高度信息，然后以高度信息为基础对被验者的眼睑位置进行测量。具体而言，图像运算部7对图像信号执行平滑化处理、一维重心运算处理和相邻像素差分处理等，获得光L的照射位置的高度信息和亮度信息，以这些信息为基础进行眼睑位置的检测。控制通信部8控制图像传感器6和图像运算部7的动作，并将图像运算部7的运算结果发送到外部。作为构成这样的图像测量装置2的装置，例如，可以举出具有高速二维CMOS传感器和高速并列图像处理机构的浜松光子学株式会社制的智能视觉系统(IVS)等。另外，在摄像透镜5中，为了抑制干扰光对测量的影响，可以安装仅使照明装置1的发光波长通过的、遮断其以外的波长带的带域通过滤光器4。带域通过滤光器4可以是单一的滤光器，也可以是多个滤光器的组合。
在图6中，表示利用图像测量装置2在被验者睁开眼睑时摄像到的图像数据的一个例子，在图7中，表示从此时的被验者的区域E的横向看的剖面图。如图7所示，跨越上睑Eu、下睑Ed和眼球的白眼珠、黑眼珠部分照射带状的光L。此时，如图6所示，在图像数据中，出现上睑Eu和下睑Ed的散射光P1、P2、白眼珠Es的散射光S1、S2。散射光S1、S2的图像数据上的位置根据上睑Eu和下睑Ed与白眼珠Es的高低差，相对于散射光P1、P2向左方向移动。另外，由于黑眼珠部分的散射光成分的强度与白眼珠部分相比相对地变弱，因此在图6所示的图像数据上，没有出现黑眼珠部分的散射光I。
另外，在图8中，表示利用图像测量装置2在被验者闭合眼睑时摄像到的图像数据的一个例子，在图9中，表示从此时的被验者的区域E的横向看的剖面图。如图9所示，以上睑Eu因闭合眼睑而伸长且与下睑Ed重合的状态照射光L。此时，如图8所示，在图像数据中，出现上睑Eu和下睑Ed的散射光P1、P2。由于闭合眼睑时上睑Eu与下睑Ed之上部分重合，因此在散射光P1与P2之间产生高低差。因此，散射光P2的图像数据上的位置仅向左方向移动与散射光P1的高低差相对应的移动量。
通过利用这样的性质，图像测量装置2的图像运算部7能够求出与光L的伸长的方向垂直的方向、即水平方向的光L的光像的位置偏移，从而在睁开眼睑时和闭合眼睑时都能够求出眼球部分与眼睑部分的高低差信息。另外，图像运算部7以求出的眼球部分与眼睑部分的高低差信息为基础，在睁开眼睑时从眼球与上下睑之间的高度的变化点推定眼睑位置，在闭合眼睑时从上下睑间的高度的变化点推定眼睑位置。
对图像测量装置2的眼睑位置推定处理的顺序进行更详细地说明。首先，以使被验者的区域E正对照明装置1的状态向区域E照射光L。在该状态下利用图像测量装置2对区域E进行摄像，按时间序列获得图像数据，产生时间序列图像数据。之后，利用图像测量装置2的图像运算部7，对时间序列图像数据执行眼睑位置的推定处理。具体而言，图像运算部7通过对图像数据在横向(水平方向)上进行一维重心运算，从而获得光L的光像的正确的横向位置。然后，图像运算部7从利用一维重心运算获得的光L的光像的横向位置获得其光像的横方向的移动量、即高低差信息。另外，图像运算部7通过对时间序列图像数据进行连续地处理，从而求出高低差信息的时间变化。然后，图像运算部7从纵向(垂直方向)的高低差信息的变化推定眼睑位置，获得眼睑位置的时间性的位置变化。另外，关于区域E的黑眼珠部分，由于散射光成分强度与白眼珠部分相比相对地变弱，存在因一维重心运算时的阈值设定而不能成为运算对象的情况。此时，该部分的高低差信息的值成为零。
在图10中，表示利用图像运算部7处理的时间序列的图像数据的一个例子。同时，在左侧，按时间序列(时间t＝T1＜T2＜T3＜T4)表示区域E中的光L的照射状态，在右侧，表示对应于各照射状态由图像测量装置2获得的图像数据上的光L的光像。如同一附图所示，可知在从睁开眼睑状态(t＝T1)向闭合眼睑状态(t＝T4)移行的期间，在上睑和白眼珠的边界表示的光L的光像移动在纵向(垂直方向)Y的变化点向下方移动。另外，有时在图像数据上来自眼睛的周边部或睫毛、眉毛的散射光作为背景而存在，但是在该图像数据的例子中，为便于说明仅表示光L的光像。图像运算部7通过求出光L的移动的变化点而对上睑位置进行测量，并从其上睑位置的时间变化对眨眼动作进行解析。
图11表示对于利用图像测量装置2摄像到的时间序列的图像数据、利用图像运算部7进行一维重心运算的结果。在同一附图中，以颜色的明暗表示高低差，越接近白色表示高度越高，越接近黑色表示高度越低。横向(t)是时间轴，利用大约4秒时间进行测量，测量4次左右的眼睑的开闭。从同一附图的结果，在睁开眼睑时(图中表示为“开”的位置)，在上睑部分Eu与黑眼珠部分Ei、Ep和白眼珠部分Es中，表示各部分的高低差的颜色的明暗存在明显差异。另外，图像运算部7从该结果在纵向(Y)上获得相邻的像素彼此的差分，将在纵向上差分值的变化大的位置作为上睑位置而获得。另外，在闭合眼睑时(图中表示为“闭”的位置)，在上睑部分Eu和下睑部分Ed中颜色的明暗也存在差异，因此在纵向上获得相邻像素彼此的差分，将差分值变化大的位置作为上睑和下睑的边界位置而获得。
另外，在图12中，如上所述，表示图像运算部7获得的上睑的边界位置的时间变化的例子。能够从这样获得的数据获得被验者的眨眼的睁眼速度、闭眼速度和闭眼时间等参数。
根据以上说明的眨眼测量系统10或者使用该系统的测量方法，相对于利用照明装置1从被验者的上睑直到下睑照射的光L的照射光轴La，设定仅倾斜角度θ的摄像光轴Ia，在该状态下获得被验者的图像，以该图像中的光L的散射光的光像的位置为基础获得高低差信息，根据其高低差信息测量眼睑位置。其结果，不容易受到眼睑等的散射光的发生的影响、睫毛的影响或者散射条件的变化的影响，能够更加正确地测量眼睑位置。由此，可以实现被验者的眨眼动作的正确解析。
其中，图像测量装置2的图像运算部7，根据与光L的光像延伸的方向垂直的方向上的其光像的位置，获得沿着光L的照射方向的区域E的高度信息，因此能够更高精度地检测从被验者的上睑直到下睑的相对高度，作为其结果，能够更加正确地测量被验者的眼睑位置。
另外，照明装置1以正对被验者的方式沿着照射光轴La配置，图像测量装置2沿着从照射光轴La仅旋转角度θ的摄像光轴Ia配置。根据这样的配置结构，能够更高精度地检测从被验者的上睑直到下睑的相对高度。
另外，本发明并不限于上述的实施方式。例如，关于从照明装置1照射的光L，若是从被验者的上睑遍及到下睑而延伸的光，则不特别限定其形状，例如，可以是矩形形状，也可以是梯形形状。但是，若是带状的线光，则根据利用图像测量装置2获得的光像的位置易于获得高度信息，因此测量精度上升。
另外，可以对照明装置1与图像测量装置2的配置关系进行各种变更。
图13是表示本发明的变形例所涉及的眨眼测量系统10A的配置关系的概略结构图。在同一附图所示的眨眼测量系统10A中，图像测量装置2以正对被验者的区域E的方式沿着摄像光轴Ia配置，图像测量装置2构成为沿着从照明装置1的照射光轴La仅旋转角度θ的摄像光轴Ia而配置。利用这样的结构，也可以根据照射到区域E的光L的光像的位置获得区域E的高低差信息，因此能够更高精度地检测从被验者的上睑直到下睑的相对高度。
另外，图14是表示本发明的另一个变形例所涉及的眨眼测量系统10B的配置关系的概略结构图。在同一附图所示的眨眼测量系统10B中，照明装置1沿着相对于被验者的区域E的中心线C仅旋转角度θLa的照射光轴La而设置。另外，图像测量装置2沿着相对于被验者的区域E的中心线C仅旋转角度θIa的摄像光轴Ia而设置。利用这样的结构，也可以根据照射到区域E的光L的光像的位置获得区域E的高低差信息，因此能够更高精度地检测从被验者的上睑直到下睑的相对高度。
另外，照明装置1并不限于向被验者的区域E垂直地照射单一的光L。图15是相对于对被验者的区域E倾斜地照射光L时的主视图。另外，图16是相对于被验者的区域E照射多束光L时的主视图。关于光L，如图15所示，可以按顺时针方向或者逆时针方向仅旋转规定的角度θ对区域E进行照射，另外，如图16所示，也可以保持任意的间隔对区域E照射多束。另外，图15和图16所示的2种方法也可以进行组合。在任一种情况下，即使是被验者在测量中活动的情况或者存在照射位置的皮肤状态或睫毛等影响的情况，都能够更高精度地进行测量。另外，从照明装置1照射的光只要是从上睑Eu遍及到下睑Ed而延伸即可，没有必要以包括瞳孔Ep、巩膜(白眼珠)Es和虹膜Ei的全部的方式延伸。
其中，在上述的测量装置中，优选运算部根据与光像延伸的方向垂直的方向上的光像的位置而获得高度信息。如果这样，就能够更高精度地检测从被验者的上睑直到下睑的相对高度，作为其结果，能够更加正确地测量眼睑位置。
照明部也可以以正对被验者的方式配置，摄像装置也可以是在使沿着光的光轴的面从被验者的正对方向仅旋转规定的角度后的面上具有光轴的装置。另外，摄像装置也可以以正对被验者的方式配置，照明部也可以构成为包括光轴的面成为使包括被验者的正对方向的面仅旋转规定的角度后的面上。另外，摄像装置和照明部也可以以倾斜地朝向被验者的方式配置。在任一种情况下，都能够更高精度地检测从被验者的上睑直到下睑的相对高度。
产业上的可利用性
本发明将测量被验者的眼睑位置的测量装置和测量方法作为使用用途，能够更加正确地测量被验者的眼睑位置。
符号的说明
1…照明装置(照明部)、2…图像测量装置、6…图像传感器(摄像装置)、7…图像运算部(运算部)、10、10A、10B…眨眼测量系统、E…区域、Ia…摄像光轴、L…光、La…照射光轴。

Claims (6)

1.一种测量装置，其特征在于，
是对被验者的眼睑位置进行测量的测量装置，
具有：
照明部，照射从被验者的上睑遍及到下睑而延伸的光；
摄像装置，在使包含所述光的光轴的面以沿着照射于所述被验者的所述光的轴为中心仅旋转规定的角度后的面上具有光轴；和
运算部，根据由所述摄像装置摄像的图像中的光像的位置的偏移而获得关于沿所述光的照射方向的高低差的高度信息，并根据所述高度信息对所述眼睑位置进行测量。
2.如权利要求1所述的测量装置，其特征在于，
所述运算部根据与所述光像延伸的方向垂直的方向上的所述光像的位置，获得所述高度信息。
3.如权利要求1或2所述的测量装置，其特征在于，
所述照明部以正对所述被验者的方式配置，
所述摄像装置在使沿着所述光的光轴的面从所述被验者的正对方向仅旋转规定的角度后的面上具有光轴。
4.如权利要求1或2所述的测量装置，其特征在于，
所述摄像装置以正对所述被验者的方式配置，
所述照明部构成为包含所述光轴的面成为使包含所述被验者的正对方向的面仅旋转所述规定的角度后的面上。
5.如权利要求1或2所述的测量装置，其特征在于，
所述摄像装置和所述照明部以相对于所述被验者倾斜地朝向的方式配置。
6.一种测量方法，其特征在于，
是对被验者的眼睑位置进行测量的测量方法，
包括：
照明步骤，照射从被验者的上睑遍及到下睑而延伸的光；
摄像步骤，在使包含所述光的光轴的面以沿着照射于所述被验者的所述光的轴为中心仅旋转规定的角度后的面上设定摄像光轴，获得所述被验者的图像；和
运算步骤，根据在所述摄像步骤中获得的图像中的光像的位置的偏移而获得关于沿所述光的照射方向的高低差的高度信息，并根据所述高度信息对所述眼睑位置进行测量。
CN201480068600.XA 2013-12-18 2014-11-14 测量装置和测量方法 Active CN105828701B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013261251A JP6227996B2 (ja) 2013-12-18 2013-12-18 計測装置及び計測方法
JP2013-261251 2013-12-18
PCT/JP2014/080239 WO2015093202A1 (ja) 2013-12-18 2014-11-14 計測装置及び計測方法

Publications (2)

Publication Number Publication Date
CN105828701A CN105828701A (zh) 2016-08-03
CN105828701B true CN105828701B (zh) 2018-02-13

Family

ID=53402558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480068600.XA Active CN105828701B (zh) 2013-12-18 2014-11-14 测量装置和测量方法

Country Status (4)

Country Link
US (1) US10478063B2 (zh)
JP (1) JP6227996B2 (zh)
CN (1) CN105828701B (zh)
WO (1) WO2015093202A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6316941B2 (ja) * 2013-05-01 2018-04-25 エムユーエスシー ファウンデーション フォー リサーチ ディベロップメント 神経機能状態の監視
EP3157433B1 (en) * 2014-06-20 2022-11-23 Sdip Holdings Pty Ltd Monitoring drowsiness
JP6255470B1 (ja) * 2016-12-27 2017-12-27 株式会社Ｑｄレーザ 網膜走査型検眼装置、網膜走査型検眼システム、網膜走査型検眼方法、網膜走査型アイウェア提供システム、網膜走査型アイウェア提供方法及び網膜走査型アイウェア
JP7370570B2 (ja) 2019-09-09 2023-10-30 株式会社トーメーコーポレーション 眼科装置及びコンピュータプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000102510A (ja) * 1998-09-29 2000-04-11 Oki Electric Ind Co Ltd 眼の開度測定方法および装置
JP2000157493A (ja) * 1998-11-27 2000-06-13 Nidek Co Ltd 眼科装置
CN101266647A (zh) * 2007-03-15 2008-09-17 爱信精机株式会社 眼睑检测装置、眼睑检测方法及其程序
JP2010273954A (ja) * 2009-05-29 2010-12-09 Hamamatsu Photonics Kk 瞬目計測装置及び瞬目計測方法
CN102068237A (zh) * 2004-04-01 2011-05-25 威廉·C·托奇 监控眼睛运动的系统及方法、控制计算装置的系统及方法
CN102375974A (zh) * 2010-08-06 2012-03-14 佳能株式会社 信息处理设备和信息处理方法
CN102752458A (zh) * 2012-07-19 2012-10-24 北京理工大学 一种驾驶员疲劳检测手机与检测单元

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59186538A (ja) * 1983-04-07 1984-10-23 キヤノン株式会社 眼科装置
US4933756A (en) * 1988-04-12 1990-06-12 Kabushiki Kaisha Topcon Eye fundus camera
JP3143819B2 (ja) 1994-05-20 2001-03-07 株式会社豊田中央研究所 まぶたの開度検出装置
JP3539813B2 (ja) * 1995-11-30 2004-07-07 株式会社ニデック 眼科装置
JP4111592B2 (ja) * 1998-06-18 2008-07-02 コニカミノルタセンシング株式会社 ３次元入力装置
JP2002122899A (ja) * 2000-10-16 2002-04-26 Matsushita Electric Ind Co Ltd 虹彩撮像装置
JP2003323607A (ja) * 2002-04-30 2003-11-14 Matsushita Electric Ind Co Ltd 虹彩撮像装置
JP4549109B2 (ja) * 2004-06-14 2010-09-22 キヤノン株式会社 照明装置及び撮影装置
JP4710679B2 (ja) * 2006-03-23 2011-06-29 日産自動車株式会社 開閉眼判定方法及びその装置
JP2007319174A (ja) * 2006-05-30 2007-12-13 Matsushita Electric Ind Co Ltd 撮影装置およびそれを用いた認証装置
JP4331197B2 (ja) * 2006-11-06 2009-09-16 トヨタ自動車株式会社 眼開度検出装置及び方法
JP4895797B2 (ja) * 2006-12-26 2012-03-14 アイシン精機株式会社 瞼検出装置、瞼検出方法及びプログラム
JP4888127B2 (ja) * 2007-01-17 2012-02-29 コニカミノルタセンシング株式会社 三次元測定装置及び携帯型計測器
JP4309926B2 (ja) * 2007-03-13 2009-08-05 アイシン精機株式会社 顔特徴点検出装置、顔特徴点検出方法及びプログラム
JP4848301B2 (ja) 2007-03-14 2011-12-28 アイシン精機株式会社 瞼検出装置及びプログラム
JP4307496B2 (ja) * 2007-03-19 2009-08-05 株式会社豊田中央研究所 顔部位検出装置及びプログラム
US8106783B2 (en) * 2008-03-12 2012-01-31 Denso Corporation Input apparatus, remote controller and operating device for vehicle
US9965681B2 (en) * 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
JP5221436B2 (ja) * 2009-04-02 2013-06-26 トヨタ自動車株式会社 顔特徴点検出装置及びプログラム
JP5180997B2 (ja) * 2010-07-14 2013-04-10 株式会社豊田中央研究所 まぶた検出装置及びプログラム
JP5879825B2 (ja) * 2010-09-30 2016-03-08 株式会社ニデック 角膜内皮細胞撮影装置
KR101046677B1 (ko) * 2011-03-15 2011-07-06 동국대학교 산학협력단 눈 위치 추적방법 및 이를 이용한 의료용 헤드램프
WO2013008304A1 (ja) * 2011-07-11 2013-01-17 トヨタ自動車株式会社 瞼検出装置
RU2612500C2 (ru) * 2011-07-14 2017-03-09 Конинклейке Филипс Н.В. Система и способ для удаленного измерения оптического фокуса
EP2551636A1 (de) * 2011-07-25 2013-01-30 Leica Geosystems AG Berührungslos bedienbare Vermessungsvorrichtung und Steuerverfahren für eine solche
CA2750287C (en) * 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
EP2768379B1 (en) * 2011-10-17 2019-09-11 Eyedeal Scanning LLC Apparatus for determining eye topography
EP2767221B1 (en) * 2011-11-02 2018-09-05 Nidek Co., Ltd. Corneal imaging device
US8942434B1 (en) * 2011-12-20 2015-01-27 Amazon Technologies, Inc. Conflict resolution for pupil detection
US8824779B1 (en) * 2011-12-20 2014-09-02 Christopher Charles Smyth Apparatus and method for determining eye gaze from stereo-optic views
US8988519B2 (en) * 2012-03-20 2015-03-24 Cisco Technology, Inc. Automatic magnification of data on display screen based on eye characteristics of user
US9201512B1 (en) * 2012-04-02 2015-12-01 Google Inc. Proximity sensing for input detection
JP6292799B2 (ja) * 2012-10-26 2018-03-14 キヤノン株式会社 眼科装置およびその制御方法
US20140267668A1 (en) * 2013-03-15 2014-09-18 Lumetrics, Inc. Portable fundus camera
US10379609B2 (en) * 2013-05-22 2019-08-13 National University Corporation Kobe University Line-of-sight measurement device, line-of-sight measurement method and line-of-sight measurement program
KR20150005094A (ko) * 2013-07-04 2015-01-14 삼성전자주식회사 전자 디바이스 및 전자 디바이스에서 눈 영역 검출 방법
US9795290B2 (en) * 2013-11-15 2017-10-24 Tearscience, Inc. Ocular tear film peak detection and stabilization detection systems and methods for determining tear film layer characteristics
JP6462209B2 (ja) * 2013-12-03 2019-01-30 浜松ホトニクス株式会社 計測装置及び計測方法
KR101613091B1 (ko) * 2014-04-24 2016-04-20 한국과학기술연구원 시선 추적 장치 및 방법
EP3218844A4 (en) * 2014-11-13 2018-07-04 Intel Corporation Spoofing detection in image biometrics
KR101638095B1 (ko) * 2015-01-16 2016-07-20 한국과학기술원 시선 인식 및 생체 신호를 이용한 헤드 마운트 디스플레이를 통해 사용자 인터페이스를 제공하는 방법, 이를 이용한 장치 및 컴퓨터 판독 가능한 기록 매체
JP6530239B2 (ja) * 2015-05-28 2019-06-12 浜松ホトニクス株式会社 両眼計測装置、両眼計測方法、及び両眼計測プログラム
JP6231541B2 (ja) * 2015-06-25 2017-11-15 株式会社Ｑｄレーザ 画像投影装置
JP2017131550A (ja) * 2016-01-29 2017-08-03 キヤノン株式会社 画像処理装置及び画像処理方法
US10796608B2 (en) * 2016-11-18 2020-10-06 Gaumard Scientific Comapny, Inc. Interactive education system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000102510A (ja) * 1998-09-29 2000-04-11 Oki Electric Ind Co Ltd 眼の開度測定方法および装置
JP2000157493A (ja) * 1998-11-27 2000-06-13 Nidek Co Ltd 眼科装置
CN102068237A (zh) * 2004-04-01 2011-05-25 威廉·C·托奇 监控眼睛运动的系统及方法、控制计算装置的系统及方法
CN101266647A (zh) * 2007-03-15 2008-09-17 爱信精机株式会社 眼睑检测装置、眼睑检测方法及其程序
JP2010273954A (ja) * 2009-05-29 2010-12-09 Hamamatsu Photonics Kk 瞬目計測装置及び瞬目計測方法
CN102375974A (zh) * 2010-08-06 2012-03-14 佳能株式会社 信息处理设备和信息处理方法
CN102752458A (zh) * 2012-07-19 2012-10-24 北京理工大学 一种驾驶员疲劳检测手机与检测单元

Also Published As

Publication number Publication date
US20160317033A1 (en) 2016-11-03
US10478063B2 (en) 2019-11-19
JP2015118523A (ja) 2015-06-25
WO2015093202A1 (ja) 2015-06-25
CN105828701A (zh) 2016-08-03
JP6227996B2 (ja) 2017-11-08

Similar Documents

Publication Publication Date Title
US10943138B2 (en) Systems and methods of biometric analysis to determine lack of three-dimensionality
JP4750721B2 (ja) カスタム眼鏡の製造方法
US9552064B2 (en) Eye tracking and user reaction detection
JP4783018B2 (ja) 眼及びその凝視方向を検知し、追跡する方法と装置
US10441168B2 (en) Computer-implemented method for detecting a corneal vertex
CN110235052B (zh) 用于确定居中参数的计算机实施的方法
CN105828701B (zh) 测量装置和测量方法
EP3371781B1 (en) Systems and methods for generating and using three-dimensional images
US10722112B2 (en) Measuring device and measuring method
CN107270818B (zh) 一种利用监测ccd实时测定激光探头与被照射面间距离和角度的方法
JPH0782539B2 (ja) 瞳孔画像撮影装置
CN110546552A (zh) 用于确定居中参数以便调整眼镜的装置
CN109964230A (zh) 用于眼睛度量采集的方法和设备
CN205561764U (zh) 一种视觉定位照明装置及定位系统
JP6555707B2 (ja) 瞳孔検出装置、瞳孔検出方法及び瞳孔検出プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant