CN108495584A - 用于通过触觉界面确定眼球运动的装置和方法 - Google Patents

用于通过触觉界面确定眼球运动的装置和方法 Download PDF

Info

Publication number
CN108495584A
CN108495584A CN201680078892.4A CN201680078892A CN108495584A CN 108495584 A CN108495584 A CN 108495584A CN 201680078892 A CN201680078892 A CN 201680078892A CN 108495584 A CN108495584 A CN 108495584A
Authority
CN
China
Prior art keywords
image
storage
degraded
contact point
touch display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680078892.4A
Other languages
English (en)
Other versions
CN108495584B (zh
Inventor
安吉拉·西里古
让-勒内·迪阿梅尔
吉尧姆·利奥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Centre National de la Recherche Scientifique CNRS
Universite Claude Bernard Lyon 1 UCBL
Original Assignee
Centre National de la Recherche Scientifique CNRS
Universite Claude Bernard Lyon 1 UCBL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Centre National de la Recherche Scientifique CNRS, Universite Claude Bernard Lyon 1 UCBL filed Critical Centre National de la Recherche Scientifique CNRS
Publication of CN108495584A publication Critical patent/CN108495584A/zh
Application granted granted Critical
Publication of CN108495584B publication Critical patent/CN108495584B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0033—Operational features thereof characterised by user input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/024—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for determining the visual field, e.g. perimeter types
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Physics & Mathematics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Pathology (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种用于确定眼球运动的装置(1)，包括：‑触摸显示器(11)；‑数字存储器(14)，其存储包括至少一个兴趣点的图像；‑处理装置(13)，其被配置为重复实施以下步骤：确定接触点(11)的位置并在当前显示在触摸显示器上的图像中定位相应的位置；基于存储的图像生成降质图像，其中降质图像：在包括所确定的接触点的位置及其周围部分的清晰区域中与存储的图像基本上相同；在清晰区域之外利用周边降质参数进行降质；在触摸显示器(11)上显示生成的降质图像；记录触摸显示器(11)的接触点的连续位置。

Description

用于通过触觉界面确定眼球运动的装置和方法
本发明涉及对眼球运动的跟踪，并特别涉及旨在精确记录眼球运动的装置。
人眼借助于凝视的快速运动(称为眼睛扫视)来探索视觉空间，其与相对长期的注视交替进行。这些运动是必要的，因为在给定的时间，视网膜图像仅在几度的视角范围内是清晰的，对应于视网膜的中心区域，其被称为中央凹。大的、有色的和详细的约120°角的视野的主观感受实际上是由大脑皮层中进行的构造处理所产生的，其整合了借助于视觉或眼睛探索行为获得的连续视图。
视觉探索是一种由人眼连续不断地进行的自然且无约束的任务。优化视觉探索需要很多感知、运动和认知能力。因此，如果一种疾病导致了典型的视觉探索，则记录、量化和分析眼睛行为是一种特别适用于检测该疾病的方法。
举例而言：
-以避免眼神接触为特征的行为可能表示自闭症谱系障碍；以及
-关注场景的一半的视觉探索可能表示单侧性空间忽视。
因此，从临床观点来看，眼睛测量方法(oculometry)是一种对于诊断和监测神经-精神学疾病具有巨大潜力的方法。
除医学领域外，还观察到视觉和观察行为通常是用于预测未来行动的良好手段。特别地，通常在拾取对象之前会先观察该对象，以及同样地，没有被观察的对象则不会被拾取。该简单的示例使眼睛测量方法成为人体工程学中广泛使用的工具，特别是以优化人机界面、产品包装或宣传文件。
在已知的用于通过观察者或受试者精确分析视觉探索的工具中，可以提及眼睛测量方法装置。眼睛测量方法装置通常采用记录观察者的眼球运动的系统，该系统包括显示器、一个或更多个高速摄像机、一个或更多个红外照明器、计算处理器和合适的软件套件。这种眼睛测量方法装置对眼睛探索进行精确地测量，但具有非常高的购置成本和使用成本。因此，这种眼睛测量方法装置不能为一般公众所接受。由于使用这些装置的限制，很难用足够数量的观察者进行研究以保证其可靠性。
此外，这种眼睛测量方法装置必须在受控环境中使用，其中校准阶段对观察者的运动设置约束，这些条件有时与某些具有疾病的观察者或与具有短的注意力集中度的观察者(例如儿童)不相容。观察者尤其必须经常位于距显示器的受控距离处，并且仍然保持在使用直视下巴托架设定的位置中。
文献US2011270123涉及一种在医疗应用中使用眼睛检测设备的方法和设备。通过执行认知和视觉步骤为用户校准眼睛检测设备。确定了用户的工作流程的视觉文件，并创建了用户特定数据库。
文献US2011205167描述了一种用于检测运动员的大脑功能下降的方法和设备，其指示脑震荡的发病率。屏幕上显示移动图标。运动员必须特别地在视觉上跟随图标。将运动员的表现与他的历史测试结果进行比较。
文献US5668622描述了一种用于测量眼睛在视频屏幕上的固定点的位置的装置。该装置包括靠近眼睛设置的移动支架，该移动支架配备有照明系统和视频摄像机。
本发明旨在解决这些缺点中的一个或更多个。因此，本发明涉及一种例如在所附权利要求中限定的用于确定眼球运动的装置。本发明还涉及例如所附权利要求中所限定的方法。
本领域的技术人员将理解，从属权利要求的特征中的每个可以与独立权利要求的特征独立地结合，而不形成中间概括。
通过完全非限制性的表示并参照附图，从下文给出的描述中，本发明的其他特征和优点将变得更加显而易见，其中：
-图1是人眼的示意性横截面图；
-图2是相对视敏度随着相对于中央凹的角度变化的曲线图；
-图3至图6示出了基于图像的兴趣中心的眼球运动的图像和示例；
-图7示出了当在关注兴趣中心时图3的图像的瞬时感知的示例；
-图8是根据本发明的一个示例性实施例的用于确定眼球运动的装置的示意图。
-图9是存储在用于确定眼球运动的装置中的图像的示例的表示；
-图10是根据图9中的存储的图像生成的完全模糊图像的表示；
-图11是基于用户与用于确定眼球运动的装置的接触点显示的图像的示例的表示；
-图12是根据包含字母数字信息的图像生成的降质图像的示例；
-以及，图13是示出了通过装置确保优化眼睛探索的参数的图。
图1是人眼9的示意性横截面图。发光信息经由角膜94投入到眼球中，在到达包含感光细胞的视网膜91之前穿过眼房水95、晶状体93和玻璃体液96。盲点98限定在视神经97的水平高度处。
人类视觉在双眼视觉中约120°视角的宽区域上延伸。然而，人类仅能在其视野的一小部分中完全感知细节和颜色，这一部分称为中央凹区域。中央凹区域(由突起92示出的视网膜91的区域)占据了具有1°到2°之间的锥形半角的区域。在中央凹区域之外，首先是在延伸直到大约5°的锥形半角的中央凹周围的区域中，然后在锥形半角大于5°的周边区域中，覆盖人类视网膜的感光细胞的密度大大降低。
图2中示出了人眼的感光细胞密度的曲线图的示例。y轴表示相对视敏度，并且x轴表示相对于中央凹区域的角度。人类视觉具有区别中央凹区域之外的相对普通的细节的能力，就好像观察到的场景是模糊的。
尽管如此，人类对环境的感知还是有色彩的且非常详细的。特别地，为了认识周围空间，眼睛连续不断地移动来捕获多个图像。然后由大脑拼装这些各种图像。因此，人类意识到的整体图像实际上是动眼神经系统对环境的连续不断地探索的整合结果。因此通过记录眼球运动获得了关于可能的认知障碍的大量信息。
特别地，尽管视网膜中的感光细胞的密度迅速降低，但人类动眼神经系统能够从周边区域提取大量信息以引导动眼神经的探索行为。
图3示出了包括多个兴趣点的示例性图像8。这里主要的兴趣点是成年猴的脸81和幼猴的脸82。图4至图6示出了基于这些兴趣点的眼球运动的示例。
在图4中，图像8被呈现给受试者。在成年猴的脸81上捕获到受试者的注意力和视线。在包括脸81的区域83中，受试者的视觉清晰且详细，并且对应于中央凹区域。区域83被中央凹周围的区域84包围，在中央凹周围的区域84中，视觉分辨率明显较低。在中央凹周围的区域84外部的周边视觉具有甚至更低的分辨率。图7示出了当中央凹区域83集中在脸81上时，受试者对图3的图像8的感知89。中央凹区域83是清晰的，感觉到中央凹周围的区域84略微模糊，并且感觉到周边区域更加模糊。
在图5中，基于中央凹区域83的高分辨率信息和其周边视觉的低分辨率信息，受试者能够确定图像8中幼猴的脸82是另一个兴趣点。
如图6中所示，为了获得该另一兴趣点的详细视觉，称为扫视的快速眼球运动允许中央凹区域83移动到脸82。
本发明旨在基于所存储的、例如对应于图3的图像，在触摸屏上显示降质图像，例如对应于图7的图像。降质图像旨在再现中央凹区域和周边区域之间的视敏度的降质。
在图8中示出了用于实施本发明的用于确定眼球运动的装置1的示例。装置1例如以手机或触摸板的形式来实施。装置1包括触摸显示器11。装置1包括存储一个或更多个图像的数字存储器14。每个存储的图像包括一个或更多个兴趣点。图像可以由远程服务器传送并且仅暂时存储在数字存储器14中。装置1还包括处理装置13，例如处理装置13以由软件应用控制的处理器的形式来实施。处理装置13能够读取存储在数字存储器14中的图像。装置1还包括通信接口12，通信接口12用于控制触摸显示器11的显示并且用于收集与触摸显示器11接触的点的坐标。通信接口连接到处理装置13。因此可以使用具有普通和常规的硬件结构的装置1，从而允许利用具有低成本价格的装置来实施本发明。
图9示出了存储在装置的存储装置14中的图像300的简化示例。图像300包括兴趣点301。例如，兴趣点301相对于图像300的背景302具有小的面积和颜色或光对比度。在图示的示例中，兴趣点301是曲线内部的区域，该区域比点线的背景302更暗且更小。这里仅通过图示的方式提供了图像300，以本领域技术人员自身已知的方式，包括一个或更多个感兴趣点的任何其他图像也是可用的。
图10图示了根据所存储的图像300生成的整体降质图像310。整体降质意味着图像310的100％的区域被降质。这里，降质图像310是通过使图像300的全部区域模糊而产生的特定情况。因此，整体降质图像310包括对应于使图像300的兴趣点301模糊的模糊区域311，以及对应于使背景302模糊的模糊区域312。
为了借助于对触摸探索的测量来确定视觉探索，整体降质图像310可以是在触摸显示器11上显示的第一图像。因此，该图像310可以用来发起触摸探索，受试者可能会区分对应于兴趣点301的模糊区域311。因此，受试者的第一接触点很可能设置在模糊区域311中。
图11示出了根据所存储的图像300生成的部分降质图像320。部分降质图像320包括清晰区域324，该清晰区域324中图像320与所存储的图像300基本相同；特别地，区域326对应于兴趣点301的存在于清晰区域324中的部分。确定最后接触点325相对于当前正在显示的图像的位置。清晰区域324设置为包括最后确定的接触点325的位置及其周围部分。出于人体工程学的原因，清晰区域324这里设置在接触点325的上方，使得清晰区域324不被受试者的手指遮蔽。下面，将描述用受试者的手指限定的接触点325；然而，也可以想到用触笔或任何其他指向装置限定的接触点。
部分降质图像320包括在清晰区域324周边的降质区域323。降质区域321对应于兴趣点301的存在于降质区域323中的模糊区域311。区域324的降质允许：
-显示关于兴趣点301的其他区域的并且对应于待显示的周边视觉的信息，期望发现包含在该显示器中的信息激发了探索行为；并且
-受试者不得不对降质区域323进行触摸探索以便发现该信息，因此触摸运动确实对应于眼睛探索。如果周边图像是清晰的，则用户可以在不移动他的手指的情况下对所显示的图像进行视觉探索。
区域323旨在，例如，使图像的微观结构不易察觉而保留其宏观结构。特别地，所显示的图像的宏观结构在周边视觉中是可检测的并且激发了对该图像的视觉探索。
实际上，装置1可以实施以下方法：
-通过在触摸显示器11上显示图像310来发动对眼球运动的确定；
-一旦已经确定了与触摸显示器11的接触点325，则定位相对于图像310的相应位置。该第一接触的确定可选地触发倒计时以限制方法的持续时间；
-根据所存储的图像300生成第一降质图像320，清晰区域324包括确定的接触点325的位置及其周围部分，降质区域323对应于利用周边降质参数对图像300的降质；
-重复以下连续步骤：
-确定与触摸显示器11的最后的接触点325的位置，并在当前显示的降质图像中定位相应的位置；
-记录与触摸显示器11的最后的接触点325的位置；
-根据存储的图像300生成新的降质图像320，新的降质图像在包括最后的接触点325的位置及其周围部分的清晰区域324中与存储的图像300基本相同，降质区域323对应于利用周边降质参数对图像300的降质；
-在触摸显示器11上显示新的降质图像320；以及
-验证是否已满足结束测试的条件(例如，触摸探索持续时间是否已达到预设阈值或触摸探索距离是否已达到预设阈值)。
存储的图像300和降质图像320之间的降质可以借助于SSIM指数来确定，使用由Zhou Wang女士等人发表的于2004年4月4日在“IEEE图像处理汇刊”第13卷第4期出版的标题为“Image Quality Assessment:From Error Visibility to Structural Similarity(图像质量评估：从错误可见性到结构相似性)”的文献中描述的方法。
图像320的清晰区域324基本与存储的图像300的同一区域相同。如果在降质图像320的清晰区域324和存储的图像300的对应区域之间计算的平均SSIM指数至少等于0.9，则这两个区域可以例如被认为是基本相同的。
如果在模糊区域311和兴趣点301之间(或者，在区域323的兴趣点区域321和图像300中对应的兴趣点301的区域之间)计算的平均SSIM指数有利地为0.4到0.8，优选为0.4到0.7，并且例如在0.45到0.65之间，则区域323还可以被认为使用对应于周边视觉的优化降质参数，以促进视觉探索。这种降质特别保证了周边区域包含足够的信息以激发视觉和触觉探索，而不是包含过量的信息，使得周边区域确实表示视敏度的相应降低。
太低的平均SSIM指数从区域323中移除太多信息而不能激发优化探索。太高的平均SSIM指数没有从区域323中移除足够的信息以确保受试者用他的手指进行如实再现他的眼睛探索的探索。
在兴趣点301和降质区域311之间的平均SSIM指数以下将被称为SSIMm指数。例如，对于一组兴趣点301，SSIMm指数将如下计算：
-在图像300中选择由显著区构成的一组兴趣区域301。例如，在照片的情况下，这是相机聚焦在哪个区域的问题。进行视觉探索的受试者通常对模糊和/或均匀区域不太感兴趣。图像310的模糊区域311对应于这些兴趣区域301；
-兴趣区域301和模糊区域311被转换为有限数量的亮度级别，例如256个亮度级别；
-使用11×11像素大小和1.5像素标准偏差的对称且圆形的高斯加权窗口，利用参数K1＝0.01和K2＝0.03局部计算SSIM指数；
-将获得的SSIM指数的映射Issim内插到兴趣区域301和模糊区域311的尺寸。因此，每个像素获得一个SSIM指数值；并且
-在兴趣区域中计算SSIM指数值的平均值SSIMm。
有利地，清晰区域324的面积足够小，使得受试者的手指的运动如实地再现了他的眼球运动。例如在触摸显示器11上显示的，如果S1表示清晰区域324的面积并且S2表示降质图像320的面积，则比值S1/S2优选地最多等于0.5，或者甚至最多等于0.15，使得视觉探索需要移动手指的接触点。优选地，S1至多等于60cm2，并优选地至多等于25cm2。除了这些尺寸之外，清晰区域324可能被认为相对于中央凹视域具有太大的面积。
比值S1/S2优选地至少等于0.01，或者甚至至少等于0.02，以便清晰区域324能够由受试者充分地辨别，并且使得对于受试者而言视觉调整不是过度费力的。对于儿童，或者用触笔分析文本时，比值S1/S2可以更低。清晰区域324的这种尺寸也适用于具有相对低分辨率的小尺寸的触摸显示器11。优选地，S1至少等于2cm2，并优选至少等于3cm2。清晰区域324优选地包括在接触点325上方的直径至少为8mm(并且优选地至少为12mm)的圆。
图13是示意性示出了通过装置确保优化眼睛探索的参数的图。图中x轴示出了比值S1/S2且y轴示出了参数SSIMm(在兴趣点301和模糊区域311之间)。对应于标记55的区域允许手指运动和眼球运动之间的具有良好保真度的优化视觉探索。区域50对应于清晰区域324的面积不超过最大值的要求，引起如实地再现视觉探索的触摸探索。区域51对应于清晰区域324，该清晰区域324对于触摸探索太大而不能如实地对应视觉探索。区域52对应于区域323中的降质，该降质不足以导致如实对应于视觉探索的触摸探索。区域53对应于适用于移除兴趣点301的微观结构而保留主要结构的降质。这种降质证明为适用于请求触摸探索。区域54对应于区域323中的图像的过度降质，例如对应于区域321中的宏观结构的损失。这种过度降质会对视觉探索和触摸探索有不利影响。
可以使用非常广泛的图像降质方法。特别可以设想通过应用高斯模糊、通过应用平均滤波器、通过应用子采样或通过具有非常高压缩度的JPEG编码，来降质存储的图像300以生成降质区域323。
图12示意性地示出了部分降质图像400，其中，存储的图像的兴趣点是字母数字字符。图像400包括清晰区域404，清晰区域404包括受试者与触摸显示器的接触点405。在区域404内可以看到清晰的字母数字字符。在清晰区域404的外部，有包括降质的字母数字字符406的降质区域403。这里字符406是可辨认的，但是在实践中有利地进行降质以使它们可定位但不可读，以便激发探索。清晰区域404的尺寸可以调整为字母数字字符的尺寸，清晰区域可能例如总共包括1到20个字母数字字符。清晰区域404的大小可以是可参数化的，例如以便允许提示受试者并且激发他阅读文本。
已经进行了测试以证实通过眼睛测量法测量的眼睛探索与通过根据本发明的方法测量的触摸探索之间的极好相关性。为了做到这一点，将利用根据本发明的用于确定眼球运动的方法的触摸探索与利用参考眼睛测量方法装置执行的眼睛探索进行比较。
参考眼睛探索实验的参数如下，其中通过眼睛测量法来测量眼睛探索。该参考眼睛探索实验利用以商品名TOBII系列50销售的系统，以及联合以商品名Clearview销售的数据预处理软件包来进行。对5名健康受试者进行测试。
呈现多个测试图像的协议遵循以下程序：
-1-在屏幕上显示固定十字叉，然后在一段时间后受试者通过按钮触发实验；
-2-在屏幕上预先显示固定十字叉1s；
-3-显示并自由探索非模糊测试图像6s；以及
-4-返回步骤1。
在1280×1024像素分辨率的屏幕上，以60cm的眼睛-屏幕距离(即，约40像素/40度视角)向每个受试者呈现总共66个图像。在1280x 1024和1366x 768分辨率的屏幕上，优化每个图像的分辨率以供显示而无需修改。
选择刺激物或兴趣点以包括表示人类社会场景(32个图像)或各种物种的猴子的社会场景(34个图像)的两个系列的图像。
选择人类社会场景是由于多个原因：
-对社会场景的良好理解需要可预测且可易于量化的特定眼睛探索行为；
-对社会场景的最优的眼睛探索需要完整的认知能力；
-对社会场景的不良眼睛探索可能指示潜在的障碍性认知紊乱；
-在许多精神疾病和神经疾病(广发性发育障碍，自闭症，精神分裂症，痴呆症等)中存在对建立的社会场景的理解困难。
使用预处理软件包，利用扫视/注视模型对眼球运动进行建模。在分析中仅保持持续时间为100ms或更长的注视。对于每个受试者和每个图像，通过核密度估计(也称为Parzen-Rosenblatt方法)使用由注视时间加权的500像素方差(σ≈22.4像素≈0.5°的视角)的高斯核来估计热图。最后，针对每个刺激计算热图作为标准化的各个热图的平均值。
获得的热图确实是社会场景的眼睛探索的特征。社会场景的各个主角都被健康的受试者正确地检测到。通常，在适当的情况下，受试者倾向于关注眼睛的区域。
如下实施通过触摸探索对眼球运动的确定。每个图像显示在分辨率为1366x 768像素的触摸屏上。对于每个存储的图像，生成降质图像，以模拟中央凹视觉、中央凹周围的视觉和周边视觉之间的空间分辨率的降低。这种空间分辨率降低的模拟是在保留接触点处及其周围中的清晰区域的同时进行的，以模拟中央凹视觉。清晰区域的尺寸确定为对应于相对于受试者的眼睛的2°的锥形半角，即对应于半径为80像素的圆。在该示例中，通过应用标准偏差为2°或80像素的高斯窗口来生成清晰区域，以及因此的中央凹区域和中央凹周围的区域。通过应用高斯模糊来模拟周边视觉，高斯模糊在中央凹周围的区域的外部具有1°的标准偏差。
出于人体工程学的原因，在降质图像中，将清晰区域设置在略高于(25个像素)所确定的与触摸屏的接触点的位置。颜色信息整体保留在降质图像中。
利用以下参数记录触摸探索：
-每个接触点的x轴和y轴坐标；以及
-在该接触点处连续接触的持续时间。
当在接触点处的接触保持长于一个采样周期Tr的时间长度时，可以确定为眼睛伪注视。可以记录每个伪注视，以及其位置及其接触持续时间。
如果接触点连续变化，则以对应于采样周期Tr的间隔记录接触点的连续坐标。
采样周期Tr的值可以是一方面实现良好记录触摸运动所需的时间分辨率，和另一方面记录装置的触摸能力之间的折衷。20到30ms的采样周期Tr证明是合适的；例如，可以设想10到50ms的采样周期。对于具有低图像刷新率和/或高处理能力的装置，可以使用低得多的采样周期值。
对受试者与触摸屏的接触点的测量确实使得可以表征手指在降质图像上的运动以非常好的相关性对应于视觉探索行为。
根据本发明的触摸探索揭示了比由眼睛测量方法测量的眼球运动慢的手指运动。每个图像的相应探索时间适于两种类型的探索，以使它们可以比较。例如，在比眼睛测量方法测试中使用的预设时间长的预设时间之后，可以中断触摸探索。触摸探索持续时间有利地至少等于2秒并且例如至少5秒。
还可以设想通过仅当已经超过触摸探索距离阈值时中断触摸探索来限定触摸探测的持续时间。该距离阈值可以例如以锥形半角或多个像素来表示。可以基于在6秒的时间长度中由一组受试者覆盖的平均视觉探索距离来设置触摸探索距离。在所进行的测试中，该距离例如估计为每个图像2500个像素，具有约500像素的标准偏差。
对于每个受试者和每个图像，计算每个伪注视的速度指数(除了第一个)。通过将两个连续的伪注视(例如指数n-1和n)之间所覆盖的距离除以这两个伪注视中的最后一个(在该示例中为指数n的持续时间)的持续时间来执行该计算。
对于每个图像，可以设想从分析中排除非常快速的伪注视，以优化计算时间。特别地，可以估计非常快速的伪注视对应于提供很少信息的伪扫视。对于每个图像，例如可以设想从分析中排除最快的20％的伪注视。
类似于眼睛测量方法测试，对于每个受试者和每个图像，通过核密度估计(也称为Parzen-Rosenblatt方法)使用由伪注视时间来加权的500像素方差(σ≈22.4像素≈0.5°的视角)的高斯核来估计热图。最后，针对每个刺激计算热图作为标准化的各个热图的平均值。针对每个刺激计算热图作为该图像的每个受试者的热图中的每个的平均值。
观察到通过眼睛测量方法和通过触摸探索获得的热图非常相似。特别是观察到，两种方法的热图清晰地反映了图像的相同的兴趣点上的伪注视。
使用第一定量指数来量化使用两种方法获得的热图。该第一指数是使用两种方法获得的热图之间的相关性的简单测量值。对于人类社会场景的图像，观察到0.341到0.849之间的相关值。对于猴子社会场景的图像，观察到0.385到0.893之间的相关值。这样的相关值足够高以保证相对于眼睛探索的触摸探索的保真度。通常，示出多个生物的图像将有利于测试，以便包括社会场景，特别是用于应用到紊乱的识别。
因此，根据本发明的触摸探索如实地再现了眼睛探索，特别是因为触摸探索使用了仿生方法，模拟在受试者的视网膜中进行的处理。
相比于这两种方法之间的探索行为的真实差异，相关性得分的可变性似乎与测试图像的复杂度更加相关。特别是，图像越复杂，受试者就越倾向于在他的图像发现策略中进行随机运动。

Claims (10)

1.一种用于确定眼球运动的装置(1)，其特征在于，其包括：
-触摸显示器(11)；
-数字存储器(14)，其存储包括至少一个兴趣点(301)的图像(300)；
-处理装置(13)，其被配置为重复实施以下步骤：
-确定用户与所述触摸显示器(11)的接触点(325)的位置，并且在当前显示在所述触摸显示器上的图像(320)中定位相应的位置；
-根据存储的图像生成降质图像(320)，所述降质图像：
-在包括所确定的接触点的位置及其周围部分的清晰区域(324)中与所述存储的图像基本上相同；并且
-在所述清晰区域之外利用周边降质参数进行降质；
-在所述触摸显示器(11)上显示生成的降质图像(320)；以及
-记录所述触摸显示器(11)的所述接触点(325)的连续位置。
2.一种用于确定眼球运动的方法，包括：
-提供包括触摸显示器(11)和数字存储器(14)的装置(1)，所述数字存储器(14)存储包括至少一个兴趣点(301)的图像(300)；
-重复如下步骤：
-确定用户与所述触摸显示器(11)的接触点(325)的位置，并且在当前显示在所述触摸显示器上的图像(320)中定位相应的位置；
-根据存储的图像生成降质图像(320)，所述降质图像：
-在包括所确定的接触点(325)的位置及其周围部分的清晰区域(324)中与所述存储的图像基本上相同；并且
-在所述清晰区域之外利用周边降质参数进行降质(323)；
-在所述触摸显示器上显示生成的降质图像(320)；以及
-记录所述触摸显示器的所述接触点的连续位置。
3.根据权利要求2所述的用于确定眼球运动的方法，其中，通过在所述清晰区域(324)之外使所述存储的图像(300)模糊来生成所述降质图像(320)。
4.根据权利要求2或3所述的用于确定眼球运动的方法，其中，根据所述存储的图像进行的所述降质图像(320)的生成被配置为使得所述存储的图像(300)和所述降质图像(320)之间的平均SSIM指数为0.4到0.8，并且其中，所述清晰区域(324)的面积与生成的所述降质图像(320)的面积之间的比值为0.01到0.5。
5.根据权利要求4所述的用于确定眼球运动的方法，其中，根据所述存储的图像进行的所述降质图像(320)的生成被配置为使得所述存储的图像(300)和所述降质图像(320)之间的平均SSIM指数为0.4到0.7，并且其中，所述清晰区域(324)的面积与生成的所述降质图像(320)的面积之间的比值为0.01到0.15。
6.根据权利要求2至5中任一项所述的用于确定眼球运动的方法，其中，所述清晰区域(324)包括在所述接触点(325)上方的直径至少为8mm的圆。
7.根据权利要求2至6中任一项所述的用于确定眼球运动的方法，其中，以10到50ms的周期对所述用户与所述触摸显示器(11)的接触点(325)的位置进行采样。
8.根据权利要求2至7中任一项所述的用于确定眼球运动的方法，其中，步骤的所述重复执行至少等于5秒的时间长度。
9.根据权利要求2至8中任一项所述的用于确定眼球运动的方法，其中，所述存储的图像(300)示出了多个生物，每个生物形成了至少一个兴趣点。
10.一种用于确定视觉探索异常的方法，包括：
-执行根据权利要求2至9中任一项所述的用于确定眼球运动的方法；
-将记录的接触点的连续位置和参考视觉探索路径进行比较；以及
-当所记录的所述接触点的连续位置偏离所述参考视觉探索路径超出某一阈值时，确定视觉探索异常。
CN201680078892.4A 2016-01-15 2016-12-27 用于通过触觉界面确定眼球运动的装置和方法 Active CN108495584B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16305042.0 2016-01-15
EP16305042.0A EP3192434B1 (fr) 2016-01-15 2016-01-15 Dispositif et procédé de détermination des mouvements oculaires par interface tactile
PCT/EP2016/082730 WO2017121617A1 (fr) 2016-01-15 2016-12-27 Dispositif et procede de determination des mouvements oculaires par interface tactile

Publications (2)

Publication Number Publication Date
CN108495584A true CN108495584A (zh) 2018-09-04
CN108495584B CN108495584B (zh) 2020-10-30

Family

ID=55357947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680078892.4A Active CN108495584B (zh) 2016-01-15 2016-12-27 用于通过触觉界面确定眼球运动的装置和方法

Country Status (7)

Country Link
US (1) US10779726B2 (zh)
EP (1) EP3192434B1 (zh)
JP (1) JP6911034B2 (zh)
CN (1) CN108495584B (zh)
CA (1) CA3049134C (zh)
ES (1) ES2702484T3 (zh)
WO (1) WO2017121617A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3970624A4 (en) * 2019-06-20 2022-06-29 JVCKenwood Corporation Evaluation device, evaluation method, and evaluation program

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108733203A (zh) * 2017-04-20 2018-11-02 上海耕岩智能科技有限公司 一种眼球追踪操作的方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5668622A (en) * 1995-03-24 1997-09-16 Commissariat A L'energie Atomique Device for measuring the position of the fixing point of an eye on a target, method for illuminating the eye and application for displaying images which change according to the movements of the eye
CN101657846A (zh) * 2007-04-13 2010-02-24 耐克国际有限公司 视觉认知和协调性测试与训练
US20110205167A1 (en) * 2007-06-13 2011-08-25 Massengill Family Trust Brain concussion screening method & apparatus
US20110270123A1 (en) * 2008-11-03 2011-11-03 Bruce Reiner Visually directed human-computer interaction for medical applications

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH074345B2 (ja) * 1992-08-12 1995-01-25 株式会社エイ・ティ・アール視聴覚機構研究所 注視点マスキングによる医療診断装置
JP4635179B2 (ja) * 2004-09-24 2011-02-16 独立行政法人情報通信研究機構 認識能力測定装置及び認識能力測定方法
FR2952517B1 (fr) * 2009-11-13 2012-07-20 Essilor Int Procede et dispositif de mesure automatique d'au moins une caracteristique de refraction des deux yeux d'un individu
KR20140111298A (ko) * 2011-12-20 2014-09-18 아이체크 헬스 커넥션, 인크. 녹내장에서의 시야 손실을 모니터링하기 위한 비디오 게임
US9216133B2 (en) * 2013-01-16 2015-12-22 Elwha Llc Using a 3D display to train a weak eye
US10254863B2 (en) * 2014-12-19 2019-04-09 Lg Electronics Inc. Mobile terminal
WO2016103259A1 (en) * 2014-12-22 2016-06-30 Improved Vision Systems (I.V.S.) Ltd. System and method for improved display

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5668622A (en) * 1995-03-24 1997-09-16 Commissariat A L'energie Atomique Device for measuring the position of the fixing point of an eye on a target, method for illuminating the eye and application for displaying images which change according to the movements of the eye
CN101657846A (zh) * 2007-04-13 2010-02-24 耐克国际有限公司 视觉认知和协调性测试与训练
US20110205167A1 (en) * 2007-06-13 2011-08-25 Massengill Family Trust Brain concussion screening method & apparatus
US20110270123A1 (en) * 2008-11-03 2011-11-03 Bruce Reiner Visually directed human-computer interaction for medical applications

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3970624A4 (en) * 2019-06-20 2022-06-29 JVCKenwood Corporation Evaluation device, evaluation method, and evaluation program

Also Published As

Publication number Publication date
US10779726B2 (en) 2020-09-22
CN108495584B (zh) 2020-10-30
CA3049134C (fr) 2023-08-01
JP2019505294A (ja) 2019-02-28
US20190021589A1 (en) 2019-01-24
EP3192434A1 (fr) 2017-07-19
ES2702484T3 (es) 2019-03-01
JP6911034B2 (ja) 2021-07-28
CA3049134A1 (fr) 2017-07-20
WO2017121617A1 (fr) 2017-07-20
EP3192434B1 (fr) 2018-10-03

Similar Documents

Publication Publication Date Title
EP2829221B1 (en) Asperger's diagnosis assistance device
US10610093B2 (en) Method and system for automatic eyesight diagnosis
Wang et al. The sensitivity of different methodologies for characterizing drivers’ gaze concentration under increased cognitive demand
CN104254281B (zh) 测量注意力的方法
KR101785255B1 (ko) 형상 구별 시력 평가 및 추적 시스템
CN110801237A (zh) 一种基于眼动和脑电特征的认知能力评估系统及其方法
US11426107B2 (en) Roadside impairment sensor
US20150282705A1 (en) Method and System of Using Eye Tracking to Evaluate Subjects
CN110495895B (zh) 一种基于眼动跟踪的疲劳检测方法与系统
CN113693552A (zh) 视觉疲劳监测方法、装置、电子设备及可读存储介质
KR102344493B1 (ko) 인공 지능 기반의 스마트 안진 검사 시스템, 방법 및 프로그램
CN106725531B (zh) 基于视线的儿童专注力测试分析系统和方法
CN104185020A (zh) 一种检测立体视觉疲劳度的系统及方法
CN108495584A (zh) 用于通过触觉界面确定眼球运动的装置和方法
US20210074389A1 (en) System and method for collecting, analyzing, and utilizing cognitive, behavioral, neuropsychological, and biometric data from a user's interaction with a smart device with either physically invasive or physically non-invasive means
Oyekoya Eye tracking: A perceptual interface for content based image retrieval
CA3176116A1 (en) Cognitive impairment diagnostic device and cognitive impairment diagnostic program
Stein Air Traffic Controller Scanning and Eye Movements in Search of Information: A Literature Review
Razeghi Usability of eye tracking as a user research technique in geo-information processing and dissemination
Kovesdi et al. Visual efficiency detection index: A new composite measure of visual search
WO2023196186A1 (en) Improved systems and methods for testing peripheral vision
Parit et al. Eye tracking based human computer interaction
JP2020198921A (ja) 脳機能状態計測装置及び脳機能状態を判別するためのプログラム
TW201429444A (zh) 視力測驗系統
Augustyniak Exploring the knowledge of human expert beyond his willing expression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant