CN110353626B - 眼球运动特征量计算系统、眼球运动特征量计算方法及眼球运动特征量计算程序 - Google Patents

眼球运动特征量计算系统、眼球运动特征量计算方法及眼球运动特征量计算程序 Download PDF

Info

Publication number
CN110353626B
CN110353626B CN201910275986.6A CN201910275986A CN110353626B CN 110353626 B CN110353626 B CN 110353626B CN 201910275986 A CN201910275986 A CN 201910275986A CN 110353626 B CN110353626 B CN 110353626B
Authority
CN
China
Prior art keywords
period
movement
eyeball
feature amount
movement state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910275986.6A
Other languages
English (en)
Other versions
CN110353626A (zh
Inventor
铃木一隆
丰田晴义
冈田裕之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Publication of CN110353626A publication Critical patent/CN110353626A/zh
Application granted granted Critical
Publication of CN110353626B publication Critical patent/CN110353626B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/145—Arrangements specially adapted for eye photography by video means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064—Evaluating the brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Neurology (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Physiology (AREA)
  • Neurosurgery (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

一种眼球运动特征量计算系统，其中，具备：移动状态输入部，其输入表示受试者的眼球的移动状态的时间序列的移动状态值；跳跃期间提取部，其基于移动状态值的时间序列的变化，提取眼球进行跳跃运动的跳跃期间；特征量计算部，其将包含所提取的跳跃期间的至少一部分的期间分割为多个期间，基于分割的期间计算受试者的眼球运动的特征量。

Description

眼球运动特征量计算系统、眼球运动特征量计算方法及眼球 运动特征量计算程序
技术领域
本发明涉及一种计算对象者的眼球运动的特征量的眼球运动特征量计算系统、眼球运动特征量计算方法及眼球运动特征量计算程序。
背景技术
目前提出了一种检测眼球的固视微动的一种即微跳视(microsaccade)的技术。例如，非专利文献1，即，铃木一隆、丰田晴义、花山良平、石井胜弘的“使用智能视觉传感器的双眼同时固视微动测量装置的开发和微跳视的左右差的评价”、《生物医学工程杂志》、53、5、第247－254页、2015中公开了：检测受试者的左右双眼的微跳视并解析它们的差的技术。
发明内容
[发明要解决的技术问题]
通过早期发现和适当的治疗能够避免患认知症导致的患者本人及其家庭的生活水平的降低。PET(正电子成像术：Positron Emission Tomography)检查对认知症的早期发现是有效的。但是，能够接受PET检查的设施数量有限，并且，因检查费用或所需时间等的原因，出现需要检查的所有人不能够都受诊的情况。可以进行检查设施的高效利用，并且客观地表示受诊的必要性、优先级的预筛选技术能够改善该情况。
眼是在胎儿成长的过程中从脑中分化而成的与脑直接相连的器官。示意脑的异常和眼球运动的关系的现有技术例有很多。因此，考虑通过非专利文献1所示的微跳视对认知症等脑的障碍进行预筛选。另外，在非专利文献1以外的现有研究中，在微跳视的评价中使用的有最大速度、期间、移动距离、跳跃方向。但是，对微跳视进行检测，并仅使用这些特征量的话，不能进行充分的预筛选。
本发明是鉴于上述问题而完成的，其目的在于提供一种眼球运动特征量计算系统、眼球运动特征量计算方法及眼球运动特征量计算程序，它们能够计算可更适当地用于脑的状态的判定等的眼球运动的特征量。
[用于解决技术问题的技术方案]
为了实现上述目的，本发明的一实施方式的眼球运动特征量计算系统具备：移动状态输入单元，其输入表示对象者的眼球的移动状态的时间序列的移动状态值；跳跃期间提取单元，其基于由移动状态输入单元输入的移动状态值的时间序列的变化，提取眼球进行跳跃运动的跳跃期间；以及特征量计算单元，其将包含由跳跃期间提取单元提取的跳跃期间的至少一部分的期间分割为多个期间，基于分割的期间计算对象者的眼球运动的特征量。
在本发明的一实施方式的眼球运动特征量计算系统中，基于包含跳跃期间的至少一部分的期间被分割成的多个期间，计算对象者的眼球运动的特征量。本发明人发现：通过使用基于上述那样被分割的期间的特征量，与使用例如基于跳跃期间整体的特征量时相比，能够更适当地进行脑的状态的判定等。因此，根据本发明的一实施方式的眼球运动特征量计算系统，能够计算出能够更适当地用于脑的状态的判定等的眼球运动的特征量。
特征量计算单元也可以是，基于跳跃期间的移动状态值的时间序列的变化，将包含该跳跃期间的至少一部分的期间分割为多个期间。另外，具体而言，特征量计算单元也可以是，将期间分割为在跳跃期间移动状态值为最大值的时刻的前半期间和后半期间。根据该结构，能够适当且可靠地进行期间的分割，能够计算出能够更适当地用于脑的状态的判定等的眼球运动的特征量。
特征量计算单元也可以是，计算针对每个分割的期间的基于移动状态值的值，对计算的针对每个该期间的值进行比较而计算对象者的眼球运动的特征量。根据该结构，能够计算出能够更适当地用于脑的状态的判定等的眼球运动的特征量。
移动状态输入单元也可以是，输入表示眼球的速度的值作为移动状态值。根据该结构，能够适当且可靠地计算眼球运动的特征量。
眼球运动特征量计算系统也可以是，还具备判定单元，所述判定单元基于由特征量计算单元计算的特征量对对象者的脑的状态进行判定。根据该结构，能够使用计算的特征量，适当地对对象者的脑的状态进行判定。
眼球运动特征量计算系统也可以是，还具备移动状态测量单元，所述移动状态测量单元对对象者的眼球的移动状态进行测量而生成移动状态值。根据该结构，能够可靠地输入移动状态值，能够可靠地实施本发明的一实施方式。
然而，本发明除了可以像上述那样作为眼球运动特征量计算系统的发明进行描述之外，也可以如下所述作为眼球运动特征量计算方法及眼球运动特征量计算程序的发明进行描述。这些仅是类别上不同，实质上为相同的发明，实现同样的作用及效果。
即，本发明的一实施方式的眼球运动特征量计算方法包括如下步骤：移动状态输入步骤，输入表示对象者的眼球的移动状态的时间序列的移动状态值；跳跃期间提取步骤，基于移动状态输入步骤中输入的移动状态值的时间序列的变化，提取眼球进行跳跃运动的跳跃期间；以及特征量计算步骤，将包含跳跃期间提取步骤中提取的跳跃期间的至少一部分的期间分割为多个期间，基于分割的期间计算对象者的眼球运动的特征量。
即，本发明的一实施方式的眼球运动特征量计算程序是，使计算机作为如下单元发挥作用：移动状态输入单元，其输入表示对象者的眼球的移动状态的时间序列的移动状态值；跳跃期间提取单元，其基于由移动状态输入单元输入的移动状态值的时间序列的变化，提取眼球进行跳跃运动的跳跃期间；以及特征量计算单元，其将包含由跳跃期间提取单元提取的跳跃期间的至少一部分的期间分割为多个期间，基于分割的期间计算对象者的眼球运动的特征量。
[发明效果]
根据本发明的一实施方式，能够计算出能够更适当地用于脑的状态的判定等的眼球运动的特征量。
附图说明
图1是表示本发明的实施方式的眼球运动特征量计算系统的结构的图。
图2是时间序列的眼球运动速度的坐标图。
图3A是眼球的运动正常的情况下的时间序列的眼球运动速度的坐标图。
图3B及图3C是眼球的运动不正常的情况下的时间序列的眼球运动速度的坐标图。
图4A、图4B及图4C是分别表示健全人及脑病患者的特征量满足一定条件的频率的坐标图。
图5是表示由本发明的实施方式的眼球运动特征量计算系统执行的处理(眼球运动特征量计算方法)的流程图。
图6是表示分别根据本实施方式及现有技术进行健全人和脑病患者的分离时的分离度的坐标图。
图7是与记录介质一同表示本发明的实施方式的眼球运动特征量计算程序的结构的图。
具体实施方式
下面，参照附图，对本发明的眼球运动特征量计算系统、眼球运动特征量计算方法及眼球运动特征量计算程序的实施方式进行详细说明。此外，在附图的说明中，对相同的要素标注相同的标号，并省略重复的说明。
图1中表示本实施方式的眼球运动特征量计算系统1。眼球运动特征量计算系统1包含摄像机10和计算机20而构成。本实施方式的眼球运动特征量计算系统1为对受试者(对象者)的眼球运动进行测量，并计算出眼球运动的特征量的系统(装置)。另外，眼球运动特征量计算系统1基于计算的特征量对受试者的脑的状态进行判定。
该判定是，例如，对脑功能是否出现了某些障碍而进行的判定。具体而言，该判定是对受试者是否出现了认知症、抑郁、高级脑功能障碍或早老性痴呆症等脑功能疾病进行的判定。为了准确地进行上述疾病的判定，通常需要PET检查等检查。通过本实施方式的眼球运动特征量计算系统1进行的判定，例如，作为是否需要这种检查的预筛选而进行。
由本实施方式的眼球运动特征量计算系统1测量的眼球运动为冲动性眼球运动即微小的跳跃运动(微小跳跃运动)，例如，是固视中的无意识地进行的固视微动的一种即微跳视(微颤(flick))。
摄像机10为拍摄受试者的眼球的拍摄装置。另外，摄像机10为对受试者的眼球的移动状态进行测量，并生成表示受试者的眼球的移动状态的时间序列的移动状态值的移动状态测量单元。摄像机10进行连续拍摄，以对受试者的眼球运动进行检测。作为摄像机10，能够使用以往的摄像机，例如，能够使用能够以能够检测微跳视程度的高速的帧率进行拍摄的摄像机。微跳视多以约20毫秒(msec)进行，因此，能够使用例如能够以几百Hz～1000Hz左右进行拍摄的摄像机10。但是，也可以使用以上述以外的帧率进行拍摄的摄像机10。
通过摄像机10进行的拍摄可以为仅拍摄单眼(仅测量单眼)的摄像机，也可以为同时拍摄双眼(同时测量双眼)的摄像机。在同时拍摄双眼的情况下，可以使用为了同时拍摄双眼的动作而被设为同步的、或已被确认能够进行同步测量的两台以上的摄像机10单独拍摄左右眼，也可以通过一台摄像机10同时拍摄双眼。
通过使用例如浜松光子学株式会社制智能视觉传感器(IVS)的多眼IVS摄像机系统，能够以实现了两台摄像机的拍摄时刻的同步的状态，同时对受试者的左右眼的眼球运动进行测量。另外，即使独立地使用两台高分辨率类型，IVS摄像机的时钟的偏差也为10ppm以下。一般而言，对于在称为微跳视的发生频率的2秒加上1秒余量的3秒钟测量来说，该值相当于0.03毫秒以下。因此，能够以充分的时间精度进行同时测量。从IVS摄像机输出的动态图像数据可能会偏移最大0.5帧，但低于1帧，不会成为问题。
在通过一台摄像机进行双眼测量时，例如，可以使用浜松光子学株式会社制CMOS区域图像传感器S13101而实现。S13101具有以前的IVS摄像机的4倍的像素分辨率，能够仅高速地读出所需部位的图像。通过使用一台S13101对使用两台IVS摄像机拍摄的区域进行拍摄的同时，仅输出眼部图像，能够实现长时间的高速测量。
例如，从由摄像机10拍摄的图像中，可以检测到由角膜反射的角膜反射光的位置作为眼球位置。因此，在使用摄像机10进行拍摄时，也可以准备用于生成角膜反射光的照明。在角膜的位置的检测时，也可以调节该照明的光量及发射波长等，以使反射光像的亮度分布成为高斯状态。另外，也可以准备用于拍摄眼部且可以进行眼部和摄像机10的相对位置的调整的照明。准备多个照明的原因在于，有时仅通过角膜反射光生成用照明不能变成能够辨识眼部整体的光量。也可以在能够辨识眼部整体的状态下，进行受试者和摄像机10的相对位置的调整。其原因在于，在利用高速摄像机时，仅使用一个角膜反射光生成用照明的话，光量会不足。但是，如果摄像机10有充足的感光度，则无需多个照明。另外，通过在调整受试者和摄像机10的相对位置时降低摄像机10的帧率且在测量时提高帧率，也无需准备多个照明。
在测量中，通过受试者注视设置于正面的视标，能够视线不漂移地实现稳定的测量。使用例如芯片LED(发光二极管)作为视标。通过将透镜配置于LED和受试者的眼之间，且设置调整透镜和LED的距离的机构，能够在不受受试者的视力的影响下实现能够无限远地感知LED的视标。另外，将视标LED配置于受试者的正面四角和中央，能够计算出用于根据点亮各LED时的角膜反射光的位置变化求出不受角膜的曲率的影响的眼球位置的变化量的系数。
在使用摄像机10进行受试者的眼部的拍摄时，也可以同时对脸的动作进行测量。也可以采用增加一台脸的动作测量用摄像机的方法，或也可以使用既有的眼部测量用摄像机。在脸的动作的测量中，可以追踪皮肤的皱纹、眉毛、睫毛、伤口、黑痣或雀斑等，也可以将接近于角膜的曲率半径的透镜贴于眉间等，将该反射光的位置变化作为脸的动作进行计算。测量的脸的动作用于例如根据脸的动作对眼球位置进行修正。
摄像机10根据拍摄的图像对受试者的眼球的移动状态进行检测，生成表示受试者的眼球的移动状态的时间序列的移动状态值。移动状态值为表示移动状态的物理量，在本实施方式中为眼球的速度(眼球运动速度)。摄像机10具备进行图像处理的处理器等(例如，IVS)，且以如下方式计算眼球的速度。
摄像机10根据拍摄的各图像(各帧)对眼球位置(图像中的坐标位置)进行检测(测量)。如上所述，将角膜反射光的位置作为眼球位置进行检测。关于眼球位置的检测，能够通过以往的任意方法进行。此时，也可以进行根据脸的动作等的眼球位置的修正。关于眼球位置的修正，能够通过以往的任意方法进行。摄像机10根据眼球位置的时间变化，计算眼球运动速度。例如，摄像机10针对根据各图像计算的眼球位置，计算距根据一个时刻前的时刻的图像(一个帧前的帧)计算的眼球位置的距离，且通过该距离除以帧间的时间而计算出眼球运动速度。通过针对各图像计算眼球运动速度，成为时间序列的眼球运动速度。图2的坐标图表示计算出的眼球运动速度的例子。在图2的坐标图中，横轴为时刻(毫秒：msec)(例如，距拍摄开始时刻的经过时间)，纵轴为眼球运动速度(度/秒)。图2的坐标图中的各点与各图像对应。
使用摄像机10进行的拍摄例如也可以持续进行预先设定的时间(例如，几十秒)。或者，也可以通过后述的计算机20的功能进行至能够提取预先设定的次数(例如，五次)的微跳视为止。
摄像机10和计算机20通过线缆等连接，能够相互进行信息的发送和接收。摄像机10将表示已经计算出的时间序列的眼球运动速度的信息发送给计算机20。此外，眼球运动速度的计算不一定必须由摄像机10来进行，也可以由计算机20来进行。在该情况下，将拍摄的图像从摄像机10输出给计算机20。
此外，眼球位置的检测及眼球运动速度的计算不一定必须通过上述结构进行，也可以通过以往的任意方法进行。例如，测量对象可以不是上述的角膜反射光，可以以瞳孔区为近似椭圆的中心，也可以将其设为瞳孔直径的中点、或瞳孔中心或重心等。
计算机20为基于来自摄像机10的输入，计算眼球运动的特征量，并对受试者的脑的状态进行判定的装置。计算机20包含CPU(中央处理器(Central Processing Unit))、存储器，通信模块等硬件而构成。就计算机20的后述的各功能而言，这些构成要素通过程序等进行工作而实现这些功能。具体而言，计算机20为服务器装置或PC(个人计算机)等。另外，计算机20也可以由FPGA(现场可编程门阵列(Field Programmable Gate Array))或微型计算机等构成。另外，计算机20也可以为智能手机或平板终端等移动终端。当移动终端具有上述的摄像机的功能的情况下，也可以将移动终端作为眼球运动特征量计算系统1。
如图1所示，从功能上来讲，计算机20具备移动状态输入部21、跳跃期间提取部22、特征量计算部23、判定部24而构成。
移动状态输入部21为输入表示受试者的时间序列的眼球运动速度的信息的移动状态输入单元。移动状态输入部21接收并输入由摄像机10发送的表示时间序列的眼球运动速度的信息。移动状态输入部21将输入的表示眼球运动速度的信息输出到跳跃期间提取部22。
跳跃期间提取部22为，基于通过由移动状态输入部21输入的信息表示的眼球运动速度的时间序列的变化，提取眼球进行微跳视的跳跃期间的跳跃期间提取单元。跳跃期间提取部22例如以如下方式提取跳跃期间。
跳跃期间提取部22从移动状态输入部21输入表示时间序列的眼球运动速度的信息。跳跃期间提取部22对各时刻的眼球运动速度和阈值进行比较。跳跃期间提取部22将眼球运动速度连续超过阈值的期间作为一次微跳视的跳跃期间而进行提取。就阈值而言，也可以预先设定为一定的值并存储于跳跃期间提取部22。或者，也可以是：跳跃期间提取部22在本次测量前进行用于设定阈值的测量，基于时间序列的眼球运动速度计算阈值。例如，如非专利文献1中所述，也可以将时间序列的眼球运动速度的标准偏差的5倍设为阈值。这是用于不受针对每次测量不同的固视微动的漂移导致的眼球位置的变动量及头部的动作导致的变动量等影响，而稳定地对微跳视进行检测的值。
通常，微跳视持续一定时间以上，因此，跳跃期间提取部22也可以将根据阈值提取的期间不是预先设定的一定长度以上的期间设为噪声而非跳跃期间。另外，在根据阈值提取的期间中可能包含特征量的计算对象(测量对象)的眼球运动以外的眼球运动的期间。因此，跳跃期间提取部22也可以基于提取的期间中的眼球运动速度等，从该期间提取进行特征量的计算对象的眼球运动的期间(即，也可以除去特征量的计算对象的眼球运动以外的眼球运动的期间)。如上所述，在本实施方式中，以无意识的眼球运动即微跳视作为特征量的计算对象。但是，在根据阈值提取的期间中，可能会包含有意识的眼球运动(例如，有意识的跳视)的期间。通常，与无意识的微跳视相比，有意识的跳视的跳跃时的最大速度大。因此，能够根据最大速度对两者进行区别。例如，跳跃期间提取部22也可以是，将提取的期间的眼球运动速度中的最大速度超过预先设定的阈值的期间，作为特征量的计算对象的眼球运动以外的眼球运动的期间而排除，以此提取微跳视的跳跃期间。
跳跃期间提取部22将从移动状态输入部21输入的时间序列的眼球运动速度、以及表示提取的跳跃期间的信息输出到特征量计算部23。在能够从一系列的时间序列的眼球运动速度提取出多个跳跃期间的情况下，跳跃期间提取部22针对多个跳跃期间中的每个将提取的表示跳跃期间的信息输出到特征量计算部23。
特征量计算部23是，将包含由跳跃期间提取部22提取的跳跃期间的至少一部分的期间分割为多个期间，基于分割的期间计算受试者的眼球运动的特征量的特征量计算单元。即，特征量计算部23对跳跃运动中的路途信息进行量化。特征量计算部23也可以是，基于由跳跃期间提取部22提取的跳跃期间的眼球运动速度的时间序列的变化，将包含该跳跃期间的至少一部分的期间分割为多个期间。特征量计算部23也可以将期间分割为，在跳跃期间眼球运动速度为最大值(最大速度)的时刻的前半期间和后半期间。另外，特征量计算部23也可以基于分割的期间的眼球运动速度来计算特征量。另外，特征量计算部23也可以是，计算针对每个分割的期间的基于眼球运动速度的值，对计算的针对每个该期间的值进行比较而计算特征量。特征量计算部23例如以如下方式计算特征量。
特征量计算部23从跳跃期间提取部22输入表示时间序列的眼球运动速度及跳跃期间的信息。特征量计算部23设定成为分割对象的包含跳跃期间的至少一部分的期间。成为分割对象的期间例如为跳跃期间本身。或者，成为分割对象的期间也可以是，成为眼球运动速度的最大速度的半高宽的期间即半值期间(半高全宽(full width at halfmaximum)期间)。如图2所示，特征量计算部23将成为分割对象的期间分割为眼球运动速度成为最大速度的时刻的前半期间和后半期间。另外，特征量计算部23也可以是，将半值期间的前半期间向前半侧(追溯时间的方向)延伸两倍的前半期间、和将半值期间的后半期间向后半侧(时间经过的方向)延伸两倍的后半期间，设为分割后的期间。在该情况下，将该前半期间和该后半期间合计的期间(即，半值期间的两倍的期间)为成为分割对象的期间。
根据阈值得到的跳跃期间是现有研究中也使用的表示一般的期间的量，但受阈值的大小的影响。设定阈值时会考虑噪声而设定，因此，超过阈值的期间存在成为跳跃运动的一部分的期间的趋势，必然不适于评价动作期间。因此，如上所述，与跳跃期间相比，作为用于对跳跃运动的整体进行量化的期间，也可以使用上述半值期间及半值期间的两倍的期间。前者的半值期间表示眼球进行高速移动的期间。能够从最大速度和其前后的半值这三个特征点推测速度的变化趋势。当最大速度高且半值期间短时，表示为瞬时结束的脉冲信号状的运动；当低速且半值期间短时，表示为仅一瞬间的信号。后者的半值期间的两倍的期间表示跳跃运动整体的期间。与跳跃期间及半值期间相比，是还包含低速移动期间的期间。
此外，如图2所示，也可以将各期间的开始时刻和结束时刻设为采样点(拍摄图像的时刻)。另外，也可以采用如下方法：通过使用阈值、最大速度的半值、半值期间、各值的前后的值的比等，能够求出摄像机10的时间分辨率(帧率)以上的精度的开始时刻和结束时刻。另外，期间的分割不一定必须像上述那样进行，例如，也可以将期间二等分，将其分割为前半期间和后半期间。
特征量计算部23计算上述前半期间及后半期间的特征量。作为计算的特征量，例如，也可以将其设为跳跃距离、期间的长度、眼球运动速度的平均速度、眼球运动速度的标准偏差及加速度的标准偏差等。另外，作为计算的特征量，也可以计算眼球运动速度的起伏的有无、个数及最大速度。眼球运动速度的起伏是指，原先处于增加趋势的眼球运动速度转换为减少趋势的瞬间、和原先处于减少趋势的眼球运动速度转换为增加趋势的瞬间。这一特征能够通过探索眼球运动加速度的符号的反转来进行检测。或者，也可以是：参照在提取时眼球运动加速度的符号发生反转的时刻、及其前后的眼球运动速度，来判定是否提取，在此基础上进行提取。在观测到改变提取条件而提取的眼球运动速度的起伏、多个起伏的情况下，也可以计算这些的最大速度的速度比及速度差、从最大速度时刻到起伏最大速度为止的时间间隔等作为特征量。上述特征量中，除了期间的长度外，其他均可以基于各期间的时间序列的眼球运动速度来计算。
另外，也可以使用眼球运动速度以外的移动状态值来计算特征量。例如，如果使用时间序列的眼球位置，则也可以计算跳跃方向、跳跃方向的标准偏差、跳跃方向的变化量的总和、以及最大速度时刻的跳跃方向等作为特征量。在该情况下，与眼球运动速度一同将表示时间序列的眼球位置的信息从摄像机10发送到计算机20。
特征量计算部23对上述特征量进行比较而计算新的特征量，即，特征量计算部23也可以计算多个特征量的比或差等作为新的特征量。例如，对于同一种类的特征量，特征量计算部23也可以将前半期间的特征量和后半期间的特征量的比值设为新的特征量。或者，对于同一期间，特征量计算部23也可以将不同种类的特征量的比值(例如，期间的长度和眼球运动速度的最大速度的比)设为新的特征量。
此外，就上述的分割后的期间及特征量而言，无需使用全部，只要使用其一部分即可。另外，也可以计算有关分割对象的期间(跳跃期间、半值期间及半值期间的两倍的期间)的特征量。特征量计算部23将计算出的特征量输出到判定部24。
判定部24为基于由特征量计算部23计算的特征量对受试者的脑的状态进行判定的判定单元。判定部24使用由特征量计算部23计算的特征量进行的判定，是基于本发明人发现的如下见解来进行的。与现有研究相比，该见解是通过高速及高精度的眼球运动的测量而被发现的。
微跳视为瞬时开始跳跃，眼球运动速度单调增加，达到最大速度后，转换为单调减少而收敛的动作。通常，微跳视呈现图3A所示的眼球运动速度在最大速度时刻的前后对称性高的动作。但是，也可以观测到如图3B及图3C所示的对称性低且不正常地眨动的微跳视。不正常的微跳视中有如下模式，例如：达到最大速度后，运动不是迅速收敛而是在眼球位置继续变化一定时间后收敛的模式；眼球运动速度不是单调增加而是进行增减，直至达到最大速度的模式；以及，在最大速度后眼球运动速度不是单调减小，而是在反复进行增减的同时减少的模式等。就该对称性低且不正常的动作的微跳视而言，与健全人相比，多在脑功能出现了障碍的脑病患者的眼球运动测量数据中观测到。本发明的一实施方式是着眼于上述不正常的眼球运动而创建的。上述的使用分割后的期间的特征量对上述不正常的眼球运动进行了量化。即，与使用分割前的期间的情况相比，上述的使用分割后的期间的特征量强烈反映了上述不正常的眼球运动。
图4A、图4B及图4C为使用本实施方式的特征量对22位健全人和27位脑病患者的不同进行了评价的例子。针对每一特征量设置分类阈值，对根据分类阈值提取的人的频率(比例)进行了统计。作为分类阈值，采用健全人和脑病患者中累积频率分布的大小关系发生了逆转的值。图4A为半值期间的前半期间的长度和后半期间的长度的比(后半期间的长度/前半期间的长度)为1.3以上的人的频率。表示值越接近1则前半期间和后半期间的长度越相等，越大于1则后半期间比前半期间越长。该特征量表示：微跳视在最大速度下在前后各半期间，是进行了正相反的动作，还是进行了非对称动作。其结果，与健全人相比，脑病患者的微跳视存在半值期间的后半比前半长的趋势。通过将其结果与眼球运动速度的起伏的有无的统计结果一起进行比较，从而能够确认是否为微跳视中的不正常的动作。
图4B表示，在半值期间的两倍的期间的后半期间，存在低于最大速度的半值的眼球运动速度的起伏的频率。可知：脑病患者比健全人更多地发生眼球运动速度不正常地变化的微跳视。图4C表示，在根据阈值提取的跳跃期间，在最大速度时刻后(即，后半期间)存在眼球运动速度的起伏的频率。健全人中未观测到的该不正常的微跳视在脑病患者的7％中被观测到。
如上所述，根据由特征量计算部23计算的特征量，能够进行受试者的脑功能是否出现了障碍的判定。判定部24例如以如下方式进行判定。判定部24从特征量计算部23输入特征量。判定部24基于特征量计算用于进行判定的得分。例如，设定为：得分表示值越大，则脑功能出现了某些障碍的可能性越高。判定部24对各个特征量和阈值进行比较，在比较的结果表示脑功能出现了某种障碍的可能性高的情况下，将得分增加(例如，+1)。判定部24在比较的结果不表示脑功能出现了某种障碍的可能性高的情况下，将得分减小(例如，－1)。也可以根据特征量的种类而预先设定阈值并将其存储于判定部24。例如，将阈值设为：根据健全人和脑病患者的眼球的测量结果得到的特征量中，健全人和脑病患者中累积频率分布的大小关系发生了逆转的值。
在计算多种特征量的情况下，判定部24也可以针对这些特征量中的每一个计算特征量，并取它们的和、或分别以它们为特征量进行处理。在从一次眼球的测量提取了多个微跳视的情况下，针对每个微跳视计算特征量，并以取它们的平均的值为该受试者的综合得分。即，综合得分根据下述计算式计算。
此外，在提取了多个微跳视的情况下，也可以不取平均值，而使用累计的值(没有除以上述式中的全部微跳视的数量的值)作为综合得分。
判定部24对计算出的综合得分和阈值进行比较，并基于比较结果进行判定。阈值被预先设定并存储于判定部24。当综合得分为阈值以上时，判定部24判定受试者的脑功能出现了某种障碍。另外，当综合得分低于阈值时，判定部24判定受试者的脑功能没有出现某种障碍。
此外，综合得分也可以通过上述以外的方法来进行计算。例如，综合得分由基于特征量的多数决定，也可以通过使用主成分分析等多变量解析的方法来进行计算。
判定部24输出判定结果。例如，判定部24将表示判定结果的信息显示于计算机20具备的显示装置中。例如，眼球运动特征量计算系统1的用户可参照该显示。此外，判定部24进行的输出也可以以上述以外的方式进行。例如，也可以通过TCP/IP协议(传输控制协议/互联网协议：Transmission Control Protoco1/lnternet Protocol)经由以太网(注册商标)等网络将判定结果发送并输出到外部的服务器装置或PC。另外，此时，也可以一起发送拍摄的图像及计算的特征量等。
另外，判定部24进行的判定也可以通过上述方法以外的方法进行。例如，将根据健全人和脑病患者的眼球的测量结果得到的特征量预先存储于数据库。也可以是：对于各个存储于数据库的健全人组的特征量及脑病患者组的特征量、和由特征量计算部23计算出的受试者的特征量，计算马氏距离(Mahalanobis distance)等用于进行聚类分析(Clusteranalysis)时使用的距离，并基于该距离进行判定。此外，数据库也可以为保持于计算机20的外部的方式。在该情况下，判定部24经由因特网等网络参照该数据库。以上就是眼球运动特征量计算系统1的结构。
接着，使用图5的流程图，对由本实施方式的眼球运动特征量计算系统1执行的处理(眼球运动特征量计算系统1进行的动作方法)进行说明。首先，通过摄像机10进行受试者的眼球运动的测量(S01、移动状态测量步骤)。具体而言，通过摄像机10拍摄受试者的眼球，并根据拍摄的图像计算时间序列的眼球运动速度。将表示所计算的时间序列的眼球运动速度的信息，从摄像机10发送到计算机20。在计算机20中，通过移动状态输入部21接收并输入表示时间序列的眼球运动速度的信息(S02、移动状态输入步骤)。
接着，通过跳跃期间提取部22基于眼球运动速度的时间序列的变化，提取眼球进行微跳视的跳跃期间(S03、跳跃期间提取步骤)。接着，通过特征量计算部23将包含跳跃期间的至少一部分的期间分割为多个期间(S04、特征量计算步骤)。接着，通过特征量计算部23基于分割的期间计算受试者的眼球运动的特征量(S05、特征量计算步骤)。接着，基于计算出的特征量，通过判定部24对受试者的脑的状态进行判定(S07)。接着，通过判定部24输出判定结果(S07)。以上就是由本实施方式的眼球运动特征量计算系统1执行的处理。
如上所述，通过使用基于分割的期间的特征量，与例如使用基于跳跃期间整体的特征量，能够更适当地进行脑的状态的判定等。因此，根据本实施方式，能够计算出能够更适当地用于脑的状态的判定等的眼球运动的特征量。
图6中示出了：使用本实施方式的特征量进行健全人和脑病患者的分离时的分离度，和不使用本实施方式的特征量而使用以往的特征量(基于未分割的期间的特征量)进行分离时的分离度。分离度的定量评价中使用ROC(受试者工作特征：Receiver OperatingCharacteristic)曲线的AUC(曲线下面积：Area Under the Curve)值。AUC值取0.5～1.0的值，数值越大两组的分离度越高。具体以如下方式设定：在AUC值为0.5～0.7的情况下，两组的分离度为低；在AUC值为0.7～0.9的情况下，两组的分离度为中；在AUC值为0.9～1.0的情况下，两组的分离度为高。评价的结果是，在基于以往的特征量的综合得分上AUC值为0.58，与此相对，在增加了本实施方式的特征量的结果，AUC值上升至0.73。通过使用本实施方式的特征量，可得到实用性的分离度。
另外，对于像本实施方式这样的期间的分割，也可以基于眼球运动速度的时间序列的变化来进行。具体而言，也可以在眼球运动速度的最大速度的前后对期间进行分割。根据该结构，能够适当且可靠地进行期间的分割，能够计算出能够更适当地用于脑的状态的判定等的眼球运动的特征量。但是，期间的分割不一定必须以上述方式进行，例如，也可以对分割对象的期间进行等分。
另外，也可以是，将对每个像本实施方式这样分割的期间的值进行了比较的值，例如，比值或差值设为特征量。根据该结构，能够计算出能够更适当地用于脑的状态的判定等的眼球运动的特征量。
另外，像本实施方式这样作为移动状态值，也可以使用眼球运动速度。根据该结构，能够适当且可靠地计算眼球运动的特征量。但是，如果是表示眼球的移动状态的时间序列的值的话，也可以使用眼球运动速度以外的值作为移动状态值。例如，作为移动状态值，可以使用移动距离、移动方向或加速度等。另外，也可以组合使用多个种类的移动状态值。
另外，也可以使用像本实施方式这样计算的特征量对受试者的脑的状态进行判定。根据该结构，能够使用所计算出的特征量，适当地对受试者的脑的状态进行判定。但是，不一定必须进行上述判定，在眼球运动特征量计算系统1中，也可以仅进行特征量的计算。在该情况下，脑的状态的判定也可以通过眼球运动特征量计算系统1以外的系统或装置进行。或者，该判定也可以由医生等专家来进行。另外，由眼球运动特征量计算系统1计算出的特征量也可以用于脑的状态的判定以外的用途。例如，由眼球运动特征量计算系统1计算的特征量也可以用于眼球的跳跃运动的定量评价。
另外，像本实施方式这样，也可以通过例如摄像机10对眼球的移动状态进行测量，从而计算眼球运动速度。根据该结构，能够可靠地输入眼球运动速度，能够可靠地实施本发明的一实施方式。但是，本发明能够输入眼球运动速度即可，眼球运动特征量计算系统1也可以仅由本实施方式的计算机20构成。即，眼球运动速度的计算也可以通过眼球运动特征量计算系统1以外的系统或装置来进行。
此外，在本实施方式中，将由眼球运动特征量计算系统1测量的眼球运动设为微跳视(microsaccade)，但也可以将微跳视以外的跳跃运动设为测量对象即特征量的计算对象。例如，也可以将称为方波跳动(square wave jerks)的眼球运动设为测量对象。
接着，对用于执行上述的一系列的由计算机20进行的处理的眼球运动特征量计算程序进行说明。如图7所示，眼球运动特征量计算程序40被存储于程序存储区域31内，该程序存储区域31是插入于计算机中而被接入的、或形成于计算机具备的记录介质30中的程序存储区域。
眼球运动特征量计算程序40具备移动状态输入模块41、跳跃期间提取模块42、特征量计算模块43、判定模块44而构成。通过执行移动状态输入模块41、跳跃期间提取模块42、特征量计算模块43、判定模块44而实现的功能，分别与上述的计算机20的移动状态输入部21、跳跃期间提取部22、特征量计算部23、判定部24的功能相同。
此外，眼球运动特征量计算程序40也可以是如下结构：其一部分或全部经由通信线路等传输介质传输，被其它设备接收并记录(包含安装)。另外，眼球运动特征量计算程序40的各模块也可以不是被安装于一个计算机，而是被安装于多个计算机中的任意个。在该情况下，通过基于该多个计算机的计算机系统进行上述的一系列的眼球运动特征量计算程序40的处理。

Claims (8)

1.一种眼球运动特征量计算系统，其中，
具备：
移动状态输入单元，其输入表示对象者的眼球的移动状态的时间序列的移动状态值；
跳跃期间提取单元，其基于由所述移动状态输入单元输入的移动状态值的时间序列的变化，提取眼球进行跳跃运动的跳跃期间；以及
特征量计算单元，其设定包含由所述跳跃期间提取单元提取的跳跃期间的至少一部分、并且对应于该跳跃期间或由该跳跃期间中的移动状态值表示的眼球的最大速度的半高宽的长度的期间，将所设定的期间分割为多个期间，基于分割的期间计算所述对象者的眼球运动的特征量，
所述特征量计算单元计算针对每个所述分割的期间的基于移动状态值的值，对计算的针对每个该期间的基于移动状态值的值进行比较而计算所述对象者的眼球运动的特征量。
2.根据权利要求1所述的眼球运动特征量计算系统，其中，
所述特征量计算单元基于所述跳跃期间的移动状态值的时间序列的变化，将包含该跳跃期间的至少一部分的期间分割为多个期间。
3.根据权利要求2所述的眼球运动特征量计算系统，其中，
所述特征量计算单元将期间分割为在所述跳跃期间移动状态值为最大值的时刻的前半期间和后半期间。
4.根据权利要求1～3中任一项所述的眼球运动特征量计算系统，其中，
所述移动状态输入单元输入表示所述眼球的速度的值作为移动状态值。
5.根据权利要求1～3中任一项所述的眼球运动特征量计算系统，其中，
还具备判定单元，所述判定单元基于由所述特征量计算单元计算的特征量对所述对象者的脑的状态进行判定。
6.根据权利要求1～3中任一项所述的眼球运动特征量计算系统，其中，
还具备移动状态测量单元，所述移动状态测量单元对所述对象者的眼球的移动状态进行测量而生成移动状态值。
7.一种眼球运动特征量计算方法，其中，
包括如下步骤：
移动状态输入步骤，输入表示对象者的眼球的移动状态的时间序列的移动状态值；
跳跃期间提取步骤，基于所述移动状态输入步骤中输入的移动状态值的时间序列的变化，提取眼球进行跳跃运动的跳跃期间；以及
特征量计算步骤，设定包含所述跳跃期间提取步骤中提取的跳跃期间的至少一部分、并且对应于该跳跃期间或由该跳跃期间中的移动状态值表示的眼球的最大速度的半高宽的长度的期间，将所设定的期间分割为多个期间，基于分割的期间计算所述对象者的眼球运动的特征量，
在所述特征量计算步骤中，计算针对每个所述分割的期间的基于移动状态值的值，对计算的针对每个该期间的基于移动状态值的值进行比较而计算所述对象者的眼球运动的特征量。
8.一种存储介质，其中，
存储有眼球运动特征量计算程序，
所述眼球运动特征量计算程序使计算机作为如下单元发挥作用：
移动状态输入单元，其输入表示对象者的眼球的移动状态的时间序列的移动状态值；
跳跃期间提取单元，其基于由所述移动状态输入单元输入的移动状态值的时间序列的变化，提取眼球进行跳跃运动的跳跃期间；以及
特征量计算单元，其设定包含由所述跳跃期间提取单元提取的跳跃期间的至少一部分、并且对应于该跳跃期间或由该跳跃期间中的移动状态值表示的眼球的最大速度的半高宽的长度的期间，将所设定的期间分割为多个期间，基于分割的期间计算所述对象者的眼球运动的特征量，
所述特征量计算单元计算针对每个所述分割的期间的基于移动状态值的值，对计算的针对每个该期间的基于移动状态值的值进行比较而计算所述对象者的眼球运动的特征量。
CN201910275986.6A 2018-04-10 2019-04-08 眼球运动特征量计算系统、眼球运动特征量计算方法及眼球运动特征量计算程序 Active CN110353626B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-075388 2018-04-10
JP2018075388A JP7107725B2 (ja) 2018-04-10 2018-04-10 眼球運動特徴量算出システム、眼球運動特徴量算出方法及び眼球運動特徴量算出プログラム

Publications (2)

Publication Number Publication Date
CN110353626A CN110353626A (zh) 2019-10-22
CN110353626B true CN110353626B (zh) 2024-04-05

Family

ID=68096121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910275986.6A Active CN110353626B (zh) 2018-04-10 2019-04-08 眼球运动特征量计算系统、眼球运动特征量计算方法及眼球运动特征量计算程序

Country Status (3)

Country Link
US (1) US10977806B2 (zh)
JP (1) JP7107725B2 (zh)
CN (1) CN110353626B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913471B (zh) * 2022-07-18 2023-09-12 深圳比特微电子科技有限公司 一种图像处理方法、装置和可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1561179A (zh) * 2001-11-08 2005-01-05 睡眠诊断学公司 警觉力监视器
JP2015131069A (ja) * 2014-01-16 2015-07-23 日本電信電話株式会社 印象推定装置、その方法、及びプログラム
CN106175801A (zh) * 2015-05-28 2016-12-07 浜松光子学株式会社 眨眼测量方法、眨眼测量装置及眨眼测量程序
JP2017202047A (ja) * 2016-05-10 2017-11-16 日本電信電話株式会社 特徴量抽出装置、推定装置、それらの方法、およびプログラム
JP2017215963A (ja) * 2016-05-30 2017-12-07 日本電信電話株式会社 注目範囲推定装置、学習装置、それらの方法およびプログラム
CN107613847A (zh) * 2015-05-28 2018-01-19 浜松光子学株式会社 双目测量装置、双目测量方法以及双目测量程序

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11490809B2 (en) * 2013-01-25 2022-11-08 Wesley W. O. Krueger Ocular parameter-based head impact measurement using a face shield
US10575726B2 (en) * 2013-03-14 2020-03-03 Virginia Commonwealth University Automated analysis system for the detection and screening of neurological disorders and defects
JP6343808B2 (ja) * 2013-08-08 2018-06-20 パナソニックＩｐマネジメント株式会社 視野算出装置および視野算出方法
US20150073575A1 (en) * 2013-09-09 2015-03-12 George Sarkis Combination multimedia, brain wave, and subliminal affirmation media player and recorder
US11850420B2 (en) * 2016-09-19 2023-12-26 Nyx Technologies Ltd. Multifunctional closed loop neuro feedback stimulating device and methods thereof
JP7532249B2 (ja) * 2017-08-23 2024-08-13 ニューラブル インコーポレイテッド 高速視標追跡機能を有する脳－コンピュータインタフェース
JPWO2020188629A1 (zh) * 2019-03-15 2020-09-24

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1561179A (zh) * 2001-11-08 2005-01-05 睡眠诊断学公司 警觉力监视器
JP2015131069A (ja) * 2014-01-16 2015-07-23 日本電信電話株式会社 印象推定装置、その方法、及びプログラム
CN106175801A (zh) * 2015-05-28 2016-12-07 浜松光子学株式会社 眨眼测量方法、眨眼测量装置及眨眼测量程序
CN107613847A (zh) * 2015-05-28 2018-01-19 浜松光子学株式会社 双目测量装置、双目测量方法以及双目测量程序
JP2017202047A (ja) * 2016-05-10 2017-11-16 日本電信電話株式会社 特徴量抽出装置、推定装置、それらの方法、およびプログラム
JP2017215963A (ja) * 2016-05-30 2017-12-07 日本電信電話株式会社 注目範囲推定装置、学習装置、それらの方法およびプログラム

Also Published As

Publication number Publication date
US20190311484A1 (en) 2019-10-10
JP2019180831A (ja) 2019-10-24
CN110353626A (zh) 2019-10-22
JP7107725B2 (ja) 2022-07-27
US10977806B2 (en) 2021-04-13

Similar Documents

Publication Publication Date Title
US20240215818A1 (en) Mobile device application for ocular misalignment measurement
JP5841538B2 (ja) 関心度推定装置および関心度推定方法
US7380938B2 (en) Apparatus to detect and measure saccade and pupilary changes
CN107427233B (zh) 脉波检测装置、以及脉波检测程序
JP6308161B2 (ja) 脈波検出装置、及び脈波検出プログラム
JP6521845B2 (ja) 心拍に連動する周期的変動の計測装置及び計測方法
US6669651B1 (en) Non-invasive brain function examination
US11328533B1 (en) System, method and apparatus for detecting facial expression for motion capture
WO2017062777A1 (en) Method and system for diagnostic pupillometric assessment of traumatic brain injury
JP6455761B2 (ja) 脈波検出装置、及び脈波検出プログラム
CN110353626B (zh) 眼球运动特征量计算系统、眼球运动特征量计算方法及眼球运动特征量计算程序
EP3900638A1 (en) Device for diagnosing brain disease
JP2004337348A (ja) 眼球運動解析システム
WO2021182455A1 (ja) 情報処理方法、コンピュータプログラム、情報処理装置及び情報処理システム
US20220287607A1 (en) Systems and methods for evaluating pupillary response
Shinde et al. Facial features based prediction of Parkinson's disease
Malasinghe et al. Remote heart rate extraction using microsoft kinecttm V2. 0
Talukder et al. Eye-tracking architecture for biometrics and remote monitoring
WO2023195473A1 (ja) 睡眠状態計測システム、睡眠状態計測方法、睡眠状態計測プログラム
US20240277224A1 (en) Optical coherence tomography (oct) self-testing system, optical coherence tomography method, and eye disease monitoring system
AYYAPAN et al. Drowsiness State Detection of Driver Using Eyelid Movement
Petridis et al. Unobtrusive low-cost physiological monitoring using visual information
WO2022256877A1 (en) Prediction of human subject state via hybrid approach including ai classification and blepharometric analysis, including driver monitoring systems
CN118576207A (zh) 一种基于眼动追踪的阿尔茨海默病智能筛查系统
Hillege Mind Spy: Unobtrusive Mental Workload State Detection Exploiting Heart Rate-and Posture Movement-Features using Machine Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant