CN104173063B - 一种视觉注意的检测方法及系统 - Google Patents

一种视觉注意的检测方法及系统 Download PDF

Info

Publication number
CN104173063B
CN104173063B CN201410441421.8A CN201410441421A CN104173063B CN 104173063 B CN104173063 B CN 104173063B CN 201410441421 A CN201410441421 A CN 201410441421A CN 104173063 B CN104173063 B CN 104173063B
Authority
CN
China
Prior art keywords
attention
pupil diameter
stage
note
change curve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410441421.8A
Other languages
English (en)
Other versions
CN104173063A (zh
Inventor
栗觅
吕胜富
王静
钟宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201410441421.8A priority Critical patent/CN104173063B/zh
Publication of CN104173063A publication Critical patent/CN104173063A/zh
Priority to US15/324,677 priority patent/US20170251968A1/en
Priority to PCT/CN2015/073706 priority patent/WO2016033950A1/zh
Application granted granted Critical
Publication of CN104173063B publication Critical patent/CN104173063B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1072—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1075—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions by non-invasive methods, e.g. for determining thickness of tissue layer
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Developmental Disabilities (AREA)
  • Ophthalmology & Optometry (AREA)
  • Signal Processing (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Physiology (AREA)
  • Human Computer Interaction (AREA)
  • Power Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明提供了一种视觉注意的检测方法和系统。所述方法和系统通过采集视觉注意过程中各个注视点的时间序列和对应的瞳孔直径序列，根据所述时间序列和瞳孔直径序列的对应关系绘制注意变化曲线，根据预设时间参数和预设瞳孔直径参数将所述注意变化曲线划分为四个注意阶段，进而基于持续时间和瞳孔变化率对每个所述注意阶段进行数值分析，可以实现对视觉注意的各个阶段进行定量计算，能够全面、系统、定量地刻画注意的变化过程。

Description

一种视觉注意的检测方法及系统
技术领域
本发明涉及认知科学、认知心理学和量化分析领域，特别涉及一种视觉注意的检测方法及系统。
背景技术
众所周知，眼睛是心灵的窗口，是我们获取外界信息的重要方式，人类的信息加工在很大程度上依赖于视觉通道。有研究表明，人类通过眼睛获取的外界信息高达80％-90％。因此可以认为眼球运动的研究是研究人的认知活动(注意、记忆、推理、阅读等)规律最有效的手段。早在19世纪就有人通过人的眼球运动来研究人的认知活动(注意、记忆、推理、阅读等)规律。近年来，一些精密眼动仪的相继问世，为通过分析记录到的眼动数据研究眼动与人的认知活动(注意、记忆、推理、阅读等)的关系提供了新的有效工具。
但是，现有的针对人的注意力的研究，普遍采用定性描述的方式，存在缺乏定量刻画、整体性、动态性和定量性刻画的不足。
发明内容
本发明的目的是提供一种视觉注意的检测方法和系统，该方法和系统可以对视觉注意的各个阶段进行定量计算，能够全面、系统、定量地刻画注意的变化过程。
为实现上述目的，本发明的一个方面提供了一种视觉注意的检测方法，包括如下步骤：采集视觉注意过程中各个注视点的时间序列和对应的瞳孔直径序列；根据所述时间序列和瞳孔直径序列的对应关系绘制注意变化曲线；根据预设时间参数和预设瞳孔直径参数将所述注意变化曲线划分为四个注意阶段；基于持续时间和瞳孔变化率对每个所述注意阶段进行数值分析。
其中，所述将所述注意变化曲线划分为四个注意阶段的步骤进一步包括：根据预设时间参数和预设瞳孔直径参数在所述注意变化曲线上选取五个注意点；根据所述五个注意点将所述注意变化曲线划分为四个注意阶段；其中，所述五个注意点依次为注意开始点、注意过程中瞳孔直径最小的点、注意过程中瞳孔直径最大的点、注意结束点和注意结束后瞳孔直径达到平稳阶段的点，所述四个注意阶段依次为注意准备阶段、注意处理阶段、注意保持阶段和注意解除阶段。
其中，所述对所述注意准备阶段进行数值分析的步骤包括：计算所述注意准备阶段的注意准备时间和注意准备速率，
tAB＝tB-tA，
RAB＝(PB-PA)/(tB-tA)，
其中，tA为注意开始点对应时刻，PA为tA时刻的瞳孔直径大小，tB为注意准备结束点对应时刻，PB为tB时刻的瞳孔直径大小，tAB为注意准备时间，RAB为注意准备速率。
其中，所述对所述注意处理阶段进行数值分析的步骤包括：计算所述注意处理阶段的注意处理时间和注意处理速率，
tBC＝tC-tB，
RBC＝(PC-PB)/(tC-tB)，
其中，tB为注意准备结束点对应时刻，即注意处理开始点对应时刻，PB为tB时刻的瞳孔直径大小，tC为注意处理结束点对应时刻，PC为tC时刻的瞳孔直径大小，tBC为注意处理时间，RBC为注意处理速率。
其中，所述对所述注意保持阶段进行数值分析的步骤包括：计算所述注意保持阶段的注意保持时间和注意力变化率，
tCD＝tD-tC，
RCD＝PCD/(tD-tC)，
其中，tC为注意处理结束点对应时刻，即注意保持开始点对应时刻，tD为注意保持结束点对应时刻，tCD为注意保持时间，i＝1,2,3，…，n，Pi是注意保持阶段第i个注视点的瞳孔直径，RCD为注意力变化率。
其中，所述对所述注意解除阶段进行数值分析的步骤包括：计算所述注意解除阶段的注意恢复时间和注意恢复速率，
tDE＝tE-tD，
RDE＝(PE-PD)/(tE-tD)，
其中，tD为注意保持结束点对应时刻，tE为注意解除恢复完成点对应时刻，tDE为注意恢复时间，PD为tD时刻的瞳孔直径大小，PE为tE时刻的瞳孔直径大小，RDE为注意恢复速率。
如上所述，根据本发明提供的视觉注意的检测方法，对注意过程可以动态、系统地用注意变化曲线表示，而且可以比较注意的动态变化过程和注意变化曲线相结合来细化研究注意的过程，更加全面、系统地刻画注意规律。同时，本发明对于注意的各个阶段进行定量计算，能够全面、系统、定量地刻画注意的变化过程，为注意的研究提供了新的视角和方法，采用定量刻画、整体性、动态性方式，为认知科学和认知心理研究提供了新的方法。
本发明的又一目的是提供一种视觉注意的检测系统，该系统可以对于注意的各个阶段进行定量计算，能够全面、系统、定量地刻画注意的变化过程。
所述一种视觉注意的检测系统，包括：刺激提供装置1，用于设置视觉刺激任务并提供给测试者；眼动采集装置2，用于视觉注意过程中各个注视点的时间序列和对应的瞳孔直径序列；注意变化曲线生成装置3，连接到眼动采集装置2，其用于根据所述时间序列和瞳孔直径序列的对应关系生成注意变化曲线；和数值分析装置4，连接到所述注意变化曲线生成装置3，用于基于持续时间和瞳孔变化率对注意变化曲线进行数值分析。
其中，所述注意变化曲线生成装置3以时间序列为横轴，瞳孔直径序列为纵轴生成注意变化曲线。
其中，所述数值分析装置4通过下述方式对注意变化曲线进行处理：根据预设时间参数和预设瞳孔直径参数在所述注意变化曲线上选取五个注意点；根据所述五个注意点将所述注意变化曲线划分为四个注意阶段；其中，所述五个注意点依次为注意开始点、注意过程中瞳孔直径最小的点、注意过程中瞳孔直径最大的点、注意结束点和注意结束后瞳孔直径达到平稳阶段的点，所述四个注意阶段依次为注意准备阶段、注意处理阶段、注意保持阶段和注意解除阶段。
其中，所述数值分析装置4通过下述操作对注意变化曲线进行数值分析：计算所述注意准备阶段的注意准备时间和注意准备速率；计算所述注意处理阶段的注意处理时间和注意处理速率；计算所述注意保持阶段的注意保持时间和注意力变化率；以及计算所述注意解除阶段的注意恢复时间和注意恢复速率。
如上所述，本发明实施方式提供的视觉注意的检测系统，对注意过程可以动态、系统地用注意变化曲线表示，而且可以比较注意的动态变化过程和注意变化曲线相结合来细化研究注意的过程，更加全面、系统地刻画注意规律。同时，本发明对于注意的各个阶段进行定量计算，能够全面、系统、定量地刻画注意的变化过程，为注意的研究提供了新的视角和方法，采用定量刻画、整体性、动态性方式，为认知科学和认知心理研究提供了新的方法。
附图说明
图1是根据本发明优选实施方式的视觉注意的检测方法流程图；
图2是根据本发明优选实施方式的注意变化曲线的确定流程图；
图3是根据本发明示例性实施方式的用户注意变化曲线图；
图4是根据本发明优选实施方式的视觉注意的检测系统的结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
在对人的注意过程进行分析时，普遍认为注意包括4个亚成分：注意定向、选择注意、分散注意和维持注意。在大量认知心理学和生物学研究基础上提出了注意的网络学说，认为在认知、神经网络和神经递质等水平上，注意可以分为三个注意网络：分别为执行注意的警觉、定向和执行控制功能。警觉是指实现并维持一种警醒的状态，定向是从感觉输入中选择信息，执行控制是指在反应之间解决冲突。这就说明注意并不是整体性的，而是可以细化的。
本发明针对上述情况，通过眼动采集装置记录到的眼动数据将注意细化并绘制成了注意变化曲线。
图1是根据本发明优选实施方式的视觉注意的检测方法流程图；
步骤S1，采集视觉注意过程中各个注视点的时间序列和对应的瞳孔直径序列。
首先需要说明的是，在注意过程中，注意的变化会引起瞳孔直径的变化。本发明采用瞳孔直径曲线定量表示注意变化曲线，注意的动态变化特征可以用瞳孔直径的动态变化特征进行表示。
基于上述理论，本步骤首先设置引起瞳孔直径变化的视觉刺激任务，包括如下步骤：
首先，从图片库中任意选取4幅图片。由于被选出来的4幅图片的大小、亮度和灰度均可能存在差异，需要对图片进行规范化处理。在本发明中，采用图像处理软件(例如，Photoshop软件)将每一幅图片都处理成为相同大小、相同亮度和相同灰度的图片。其中，规范化处理后的图片的大小可以为200*200像素。
其次，将上述规范化处理后的4幅图片按照4个象限不重叠地紧密地组合在一起，从而构成一个视觉刺激任务。
然后，将上述视觉刺激任务呈现给用户。具体地，首先，向用户呈现5秒黑屏(黑屏中央呈现一个“+”号)；然后，把视觉刺激任务呈现在屏幕中央(水平视角和垂直视角都为12°)，让被测试者观看5秒钟；最后向用户呈现5秒黑屏(黑屏中央呈现一个“+”号)。在这个过程中，使用眼动采集装置同步采集用户的各个注视点的时间序列t1、t2、…、tn，以及对应的瞳孔直径序列P1、P2、…、Pn，其中，n为注视点数，瞳孔直径P1为t1时刻的用户瞳孔直径，瞳孔直径P2为t2时刻的用户瞳孔直径，以此类推，不再赘述。
在本发明的实施方式中，可以采用型号为Tobii T120的非侵入式眼动仪，以120Hz的采样频率记录用户在观看图片时的注意变化曲线。
步骤S2，根据所述时间序列和瞳孔直径序列的对应关系绘制注意变化曲线。
具体地，以时间序列为横轴，瞳孔直径序列为纵轴绘制瞳孔直径随时间变化曲线，即用户的注意变化曲线。
步骤S3，根据预设时间参数和预设瞳孔直径参数将注意变化曲线划分为四个注意阶段。
具体地，在本步骤中，根据预设时间参数和预设瞳孔直径参数，从注意变化曲线上选取五个注意点。其中，预设时间参数包括注意开始点、注意结束点。预设瞳孔直径参数包括注意过程中瞳孔直径最小的点、注意过程中瞳孔直径最大的点和注意结束后瞳孔直径达到平稳阶段的点。
在本发明的实施方式中，五个注意点包括注意开始点、注意过程中瞳孔直径最小的点、注意过程中瞳孔直径最大的点、注意结束点和注意结束后瞳孔直径达到平稳阶段的点。
然后，根据上述五个注意点，以上述五个注意点中任意相邻两个点之间的过程为一个注意阶段，将注意变化曲线划分为四个注意阶段。其中，四个注意阶段包括：注意准备阶段、注意处理阶段、注意保持阶段和注意解除阶段。
图2是根据本发明优选实施方式的注意变化曲线的确定流程图。
下面参考图2对步骤S2中注意变化曲线5点选取和4个注意阶段的确定方法进行说明。
从图2中可以看出，图2所示的变化曲线由5个注意点(A、B、C、D、E)和4个注意阶段(AB、BC、CD、DE)组成。
A点：注意开始点；
B点：注意过程中瞳孔直径最小的点；
C点：注意过程中瞳孔直径最大的点；
D点：注意结束时的点；
E点：注意结束后瞳孔直径达到平稳阶段的点。
上述5个注意点(A、B、C、D、E)将注意变化曲线分成了4个注意阶段。
AB段：注意准备阶段，该阶段包括注意警醒和注意定向两种注意成分。
BC段：注意处理阶段，该阶段包括选择注意、处理注意和转移注意三个注意成分。注意处理过程是首先选择一个注意，然后对于选择的注意进行加工处理，注意处理完成后，转移注意到被选择的下一个注意。三个注意成分如此循环，直到所有的注意都处理完成。
CD段：注意保持阶段，该阶段为注意处理完成后，一直保持注意直至注意结束的过程。
DE段：注意解除阶段，该阶段是注意恢复阶段，即注意从保持恢复到没有注意的静息阶段。
步骤S4，基于持续时间和瞳孔变化率对每个注意阶段进行数值分析。
下面分别对步骤S3中设置的四个注意阶段：注意准备阶段、注意处理阶段、注意保持阶段和注意解除阶段的数值分析分别进行描述。
为方便描述，下面仍以图2所示的由5个注意点(A、B、C、D、E)和4个注意阶段(AB、BC、CD、DE)组成的注意变化曲线进行说明。
(1)注意准备阶段
注意准备阶段是注意的第一个阶段，对应瞳孔直径变化的AB段，A是注意的开始点，也是注意准备的起始点，B是注意准备结束点，也是注意处理开始点。本发明中，建立了参数注意准备时间tAB和注意准备速率RAB来描述注意准备阶段，如式(1)所示。
对注意准备阶段进行数值分析，包括：计算注意准备阶段的注意准备时间和注意准备速率。
tAB＝tB-tA；
RAB＝(PB-PA)/(tB-tA)，(1)
其中，tA为注意开始点A对应时刻，PA为tA时刻的瞳孔直径大小，tB为注意准备结束点B对应时刻，PB为tB时刻的瞳孔直径大小，tAB为注意准备时间，RAB为注意准备速率，即AB段斜率，RAB<0。
注意准备阶段是注意的警醒过程，并伴随着注意定向。注意警醒是从非注意状态到注意状态的转换，注意定向是注意状态达到后持续确定的状态。在非注意状态下，瞳孔直径大；在注意状态下，瞳孔直径小。因此，注意准备阶段是瞳孔直径从大到小逐渐调节过程，为注意处理做准备，注意准备阶段的注意准备速率RAB<0，RAB的绝对值大小表示注意准备的快慢，RAB为负时表示注意准备时瞳孔直径是缩小的。
(2)注意处理阶段
注意处理阶段是注意的第二个阶段，对应瞳孔直径变化的BC段，B是注意准备结束点，也是注意处理阶段开始点，C是注意处理完成点，也是注意保持开始点。本发明中，通过构建参数注意处理时间为tBC和注意处理速率为RBC来描述注意处理阶段，如式(2)所示。
对注意处理阶段进行数值分析，包括：计算注意处理阶段的注意处理时间和注意处理速率。
tBC＝tC-tB；
RBC＝(PC-PB)/(tC-tB)，(2)
其中，tB为注意处理开始点B对应时刻，PB为tB时刻的瞳孔直径大小，tC为注意处理结束点C对应时刻，PC为tC时刻的瞳孔直径大小，tBC为注意处理时间，RBC为注意处理速率，即BC段斜率，RBC>0。
注意处理阶段包括三个注意成分：选择注意、处理注意和转移注意。随着注意处理的增加，心理负荷逐渐增大，瞳孔直径也从注意处理开始的PB逐渐增大到注意处理结束的PC，因此，注意处理阶段的瞳孔直径的变化率RBC>0。
(3)注意保持阶段
注意保持阶段是注意的第三个阶段，对应瞳孔直径变化的CD段，C是注意保持开始点，也就是注意处理结束点，D是注意保持结束点，也是注意解除开始点，本发明中，通过构建参数注意保持时间为tDC和注意力变化率RCD来描述注意保持阶段，如式(3)所示。
对注意保持阶段进行数值分析，包括：计算所述注意保持阶段的注意保持时间和注意力变化率，
tCD＝tD-tC；
RCD＝PCD/(tD-tC)，(3)
其中，tC为注意保持开始点C对应时刻，tD为注意保持结束点D对应时刻，tCD为注意保持时间，i＝1,2,3，…，n，Pi是注意保持阶段CD段第i个注视点的瞳孔直径，RCD为注意力变化率。
注意保持阶段反映了注意保持能力，即注意力，注意力变化率RCD是指注意保持阶段平均瞳孔直径的大小与注意保持时间的比率，注意力变化率越小表示注意力越强。
(4)注意解除阶段
注意解除阶段是注意的第四个阶段，注意解除阶段就是注意的恢复过程，注意从注意保持恢复到非注意状态。注意解除阶段对应瞳孔直径变化的DE段，D是注意保持结束点，也是注意解除开始点，E是注意解除恢复完成点。本发明中，通过构建参数注意恢复时间tDE和注意恢复速率RDE来描述注意解除阶段，如式(4)所示。
对注意解除阶段进行数值分析，包括：计算所述注意解除阶段的注意恢复时间和注意恢复速率，
tDE＝tE-tD；
RDE＝(PE-PD)/(tE-tD)，(4)
其中，tD为注意解除开始点D对应时刻，tE为注意解除恢复完成点E对应时刻，tDE为注意恢复时间，PD为tD时刻的瞳孔直径大小，PE为tE时刻的瞳孔直径大小，RDE为注意恢复速率，即DE段斜率，RDE>0。
注意解除阶段就是注意的恢复过程，注意从注意保持恢复到非注意状态，瞳孔直径也从注意保持的PD逐渐增大到非注意状态的PE，因此，注意解除阶段的瞳孔直径的变化率RDE>0。
图3是根据本发明示例性实施方式的用户注意变化曲线图。
其中，图3(a)为用户1的注意变化曲线，图3(b)为用户2的注意变化曲线。参见图3(a)和图3(b)，以用户1和用户2的注意变化曲线为例对本发明的视觉注意的检测方法进行描述。参考步骤S3和图2中确定5个注意点(即A点、B点、C点、D点、E点)和4个注意阶段(AB、BC、CD、DE)的划分方式对用户1和用户2的注意变化曲线进行标注。
根据图3(a)和图3(b)所示5个注意点和4个注意阶段对应的时间和瞳孔直径参数，采用步骤S4中方式对每个注意阶段进行数值分析，得到每个注意阶段的数值分析结果。表1示出了用户1和用户2的各个注意阶段所需时间和注意特征。
表1
参考表1，从注意准备阶段来看，用户1的注意准备时间(tAB＝1982ms)大于用户2的注意准备时间(tAB＝766ms)，用户1的注意准备速率的绝对值(|RAB|＝0.06)小于用户2的绝对值(|RAB|＝0.20)，这表示用户1的注意准备效率低于用户2的注意准备效率。
从注意处理阶段来看，用户1的注意处理时间(tBC＝1515ms)大于用户2的注意处理时间(tBC＝1215ms)，用户1的注意处理速率(RBC＝0.03)小于用户2的注意处理速率(RBC＝0.08)，这表示用户1的注意处理效率低于用户2的注意处理效率。
从注意保持阶段来看，用户1的注意保持时间(tCD＝1411ms)小于用户2的注意保持时间(tCD＝3171ms)，用户1的注意力变化率(RCD＝0.23)大于用户2的注意力变化率(RCD＝0.12)，注意力变化率越大，注意保持所付出的努力越大，这表示用户1的注意力低于用户2的注意力。
从注意解除阶段来看，用户1的注意恢复时间(tDE＝3113ms)大于用户2的注意恢复时间(tDE＝2830ms)，用户1的注意恢复速率(RDE＝0.03)与用户2的注意恢复速率(RDE＝0.03)基本相同，这表示用户1的注意解除效率低于用户2的注意解除效率。
总体来说，综合上述各个阶段的比较，用户1的注意能力低于用户2。
根据本发明实施方式的视觉注意的检测方法，对注意过程可以动态、系统地用注意变化曲线表示，而且可以比较注意的动态变化过程和注意变化曲线相结合来细化研究注意的过程，更加全面、系统地刻画注意规律。同时，本发明对于注意的各个阶段进行定量计算，能够全面、系统、定量地刻画注意的变化过程，为注意的研究提供了新的视角和方法，采用定量刻画、整体性、动态性方式，为认知科学和认知心理研究提供了新的方法。
图4是根据本发明优选实施方式的视觉注意的检测系统的结构图。
如图4所示，发明实施方式提供的视觉注意的检测系统，包括：刺激提供装置1、眼动采集装置2、注意变化曲线生成装置3和数值分析装置4。
首先需要说明的是，在注意过程中，注意的变化会引起瞳孔直径的变化。本发明采用瞳孔直径曲线定量表示注意变化曲线，注意的动态变化特征可以用瞳孔直径的动态变化特征进行表示。
具体来说，刺激提供装置1用于设置视觉刺激任务并提供给测试者。首先，刺激提供装置1从图片库中任意选取4幅图片。由于被选出来的4幅图片的大小、亮度和灰度均可能存在差异，需要对图片进行规范化处理。在本发明中，采用图像处理软件(例如，Photoshop软件)将每一幅图片都处理成为相同大小、相同亮度和相同灰度的图片。其中，规范化处理后的图片的大小可以为200*200像素。
其次，刺激提供装置1将上述规范化处理后的4幅图片按照4个象限不重叠地紧密地组合在一起，从而构成一个视觉刺激任务。
然后，刺激提供装置1将上述视觉刺激任务呈现给用户。具体地，首先，向用户呈现5秒黑屏(黑屏中央呈现一个“+”号)；然后，把视觉刺激任务呈现在屏幕中央(水平视角和垂直视角都为12°)，让被测试者观看5秒钟；最后向用户呈现5秒黑屏(黑屏中央呈现一个“+”号)。
由此可知，刺激提供装置1可以采用具有图片选取、处理和显示功能的装置。
眼动采集装置2用于采集视觉注意过程中各个注视点的时间序列和对应的瞳孔直径序列。
眼动采集装置2同步采集用户的各个注视点的时间序列t1、t2、…、tn，以及对应的瞳孔直径序列P1、P2、…、Pn，其中，n为注视点数瞳孔直径n1为t1时刻的用户瞳孔直径，瞳孔直径P2为t2时刻的用户瞳孔直径，以此类推，不再赘述。
在本发明的实施方式中，眼动采集装置2可以采用型号为Tobii T120的非侵入式眼动仪，以120Hz的采样频率记录用户在观看图片时的注意变化曲线。
注意变化曲线生成装置3与眼动采集装置2相连，用于根据时间序列和瞳孔直径序列的对应关系绘制注意变化曲线。具体地，注意变化曲线生成装置3以时间序列为横轴，瞳孔直径序列为纵轴生成瞳孔直径随时间变化曲线，即用户的注意变化曲线。
注意变化曲线生成装置3的工作原理与前述步骤S2的描述类似，请参见上文，在此不再赘述。
数值分析装置4连接到注意变化曲线生成装置3，用于基于持续时间和瞳孔变化率对注意变化曲线的各个阶段进行数值分析。
具体来说，数值分析装置4对注意变化曲线设置五个注意点，包括注意开始点、注意过程中瞳孔直径最小的点、注意过程中瞳孔直径最大的点、注意结束点和注意结束后瞳孔直径达到平稳阶段的点。进一步，数值分析装置4将上述五个注意点中任意相邻两个点之间的过程设置为一个注意阶段，将注意变化曲线划分为四个注意阶段。其中，四个注意阶段包括：注意准备阶段、注意处理阶段、注意保持阶段和注意解除阶段。进一步，数值分析装置4分别计算上述四个注意阶段的持续时间和瞳孔变化率，以用于分析并判断测试者所处的注意阶段。
数值分析装置4的工作原理与前述步骤S3的描述类似，请参见上文，在此不再赘述。
如上所述，根据本发明实施方式的视觉注意的检测系统，对注意过程可以动态、系统地用注意变化曲线表示，而且可以比较注意的动态变化过程和注意变化曲线相结合来细化研究注意的过程，更加全面、系统地刻画注意规律。同时，本发明对于注意的各个阶段进行定量计算，能够全面、系统、定量地刻画注意的变化过程，为注意的研究提供了新的视角和方法，采用定量刻画、整体性、动态性方式，为认知科学和认知心理研究提供了新的方法。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种视觉注意的检测方法，包括如下步骤：
采集视觉注意过程中各个注视点的时间序列和对应的瞳孔直径序列；
根据所述时间序列和瞳孔直径序列的对应关系生成注意变化曲线；
根据预设时间参数和预设瞳孔直径参数将所述注意变化曲线划分为四个注意阶段；
基于持续时间和瞳孔变化率对每个所述注意阶段进行数值分析。
2.根据权利要求1所述的方法，其特征在于，所述将所述注意变化曲线划分为四个注意阶段的步骤进一步包括：
根据预设时间参数和预设瞳孔直径参数在所述注意变化曲线上选取五个注意点；
根据所述五个注意点将所述注意变化曲线划分为四个注意阶段；
其中，所述五个注意点依次为注意开始点、注意过程中瞳孔直径最小的点、注意过程中瞳孔直径最大的点、注意结束点和注意结束后瞳孔直径达到平稳阶段的点，所述四个注意阶段依次为注意准备阶段、注意处理阶段、注意保持阶段和注意解除阶段。
3.根据权利要求2所述的方法，其特征在于，所述对所述注意准备阶段进行数值分析的步骤包括：
计算所述注意准备阶段的注意准备时间和注意准备速率，
tAB＝tB-tA，
RAB＝(PB-PA)/(tB-tA)，
其中，tA为注意开始点对应时刻，PA为tA时刻的瞳孔直径大小，tB为注意准备结束点对应时刻，PB为tB时刻的瞳孔直径大小，tAB为注意准备时间，RAB为注意准备速率。
4.根据权利要求2所述的方法，其特征在于，所述对所述注意处理阶段进行数值分析的步骤包括：
计算所述注意处理阶段的注意处理时间和注意处理速率，
tBC＝tC-tB，
RBC＝(PC-PB)/(tC-tB)，
其中，tB为注意准备结束点对应时刻，即注意处理开始点对应时刻，PB为tB时刻的瞳孔直径大小，tC为注意处理结束点对应时刻，PC为tC时刻的瞳孔直径大小，tBC为注意处理时间，RBC为注意处理速率。
5.根据权利要求2所述的方法，其特征在于，所述对所述注意保持阶段进行数值分析的步骤包括：
计算所述注意保持阶段的注意保持时间和注意力变化率，
tCD＝tD-tC，
RCD＝PCD/(tD-tC)，
其中，tC为注意处理结束点对应时刻，即注意保持开始点对应时刻，tD为注意保持结束点对应时刻，tCD为注意保持时间，i＝1,2,3，…，n，Pi是注意保持阶段第i个注视点的瞳孔直径，RCD为注意力变化率。
6.根据权利要求2所述的方法，其特征在于，所述对所述注意解除阶段进行数值分析的步骤包括：
计算所述注意解除阶段的注意恢复时间和注意恢复速率，
tDE＝tE-tD，
RDE＝(PE-PD)/(tE-tD)，
其中，tD为注意保持结束点对应时刻，tE为注意解除恢复完成点对应时刻，tDE为注意恢复时间，PD为tD时刻的瞳孔直径大小，PE为tE时刻的瞳孔直径大小，RDE为注意恢复速率。
7.一种视觉注意的检测系统，包括：
刺激提供装置(1)，用于设置视觉刺激任务并提供给测试者；
眼动采集装置(2)，用于采集视觉注意过程中各个注视点的时间序列和对应的瞳孔直径序列；
注意变化曲线生成装置(3)，连接到眼动采集装置(2)，其用于根据所述时间序列和瞳孔直径序列的对应关系生成注意变化曲线；和
数值分析装置(4)，连接到所述注意变化曲线生成装置(3)，用于根据预设时间参数和预设瞳孔直径参数将所述注意变化曲线划分为四个注意阶段，并基于持续时间和瞳孔变化率对注意变化曲线进行数值分析。
8.根据权利要求7所述的系统，其特征在于，所述注意变化曲线生成装置(3)以时间序列为横轴，瞳孔直径序列为纵轴生成注意变化曲线。
9.根据权利要求7所述的系统，其特征在于，所述数值分析装置(4)通过下述方式对注意变化曲线进行处理：
根据预设时间参数和预设瞳孔直径参数在所述注意变化曲线上选取五个注意点；
根据所述五个注意点将所述注意变化曲线划分为四个注意阶段；
其中，所述五个注意点依次为注意开始点、注意过程中瞳孔直径最小的点、注意过程中瞳孔直径最大的点、注意结束点和注意结束后瞳孔直径达到平稳阶段的点，所述四个注意阶段依次为注意准备阶段、注意处理阶段、注意保持阶段和注意解除阶段。
10.根据权利要求9所述的系统，其特征在于，所述数值分析装置(4)通过下述操作对注意变化曲线进行数值分析：
计算所述注意准备阶段的注意准备时间和注意准备速率；
计算所述注意处理阶段的注意处理时间和注意处理速率；
计算所述注意保持阶段的注意保持时间和注意力变化率；以及
计算所述注意解除阶段的注意恢复时间和注意恢复速率。
CN201410441421.8A 2014-09-01 2014-09-01 一种视觉注意的检测方法及系统 Active CN104173063B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201410441421.8A CN104173063B (zh) 2014-09-01 2014-09-01 一种视觉注意的检测方法及系统
US15/324,677 US20170251968A1 (en) 2014-09-01 2015-03-05 A method and system for detecting visual attention
PCT/CN2015/073706 WO2016033950A1 (zh) 2014-09-01 2015-03-05 一种视觉注意的检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410441421.8A CN104173063B (zh) 2014-09-01 2014-09-01 一种视觉注意的检测方法及系统

Publications (2)

Publication Number Publication Date
CN104173063A CN104173063A (zh) 2014-12-03
CN104173063B true CN104173063B (zh) 2015-08-12

Family

ID=51954603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410441421.8A Active CN104173063B (zh) 2014-09-01 2014-09-01 一种视觉注意的检测方法及系统

Country Status (3)

Country Link
US (1) US20170251968A1 (zh)
CN (1) CN104173063B (zh)
WO (1) WO2016033950A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104173063B (zh) * 2014-09-01 2015-08-12 北京工业大学 一种视觉注意的检测方法及系统
CN107411761B (zh) * 2017-07-28 2020-08-18 北京航空航天大学 一种基于手指振动触觉刺激的定向注意力测量系统及方法
CN107468259B (zh) * 2017-07-28 2020-07-28 北京航空航天大学 一种基于手指振动触觉刺激的执行控制注意力测量系统及方法
CN107569245B (zh) * 2017-07-28 2020-07-28 北京航空航天大学 一种基于手指振动触觉刺激的警觉注意力测量系统及方法
CN109215435B (zh) * 2018-09-28 2020-08-28 昆明理工大学 一种老年驾驶人有效视野能力的测试与训练系统及方法
CN109522815B (zh) * 2018-10-26 2021-01-15 深圳博为教育科技有限公司 一种专注度评估方法、装置及电子设备
CN109222888B (zh) * 2018-11-05 2021-03-23 温州职业技术学院 一种基于眼动技术判断心理测试可靠性的方法
CN112034977B (zh) * 2019-06-04 2022-07-19 陈涛 Mr智能眼镜内容交互、信息输入、应用推荐技术的方法
CN110623629B (zh) * 2019-07-31 2022-05-10 毕宏生 一种基于眼球运动的视觉注意检测方法及系统
CN112331003B (zh) * 2021-01-06 2021-03-23 湖南贝尔安亲云教育有限公司 一种基于差异化教学的习题生成方法和系统
CN113838086B (zh) * 2021-08-23 2024-03-22 广东电网有限责任公司 注意力评估测试方法、装置、电子设备及存储介质
CN115844404B (zh) * 2023-03-01 2023-05-12 中国民航大学 一种基于眼动数据的管制员注意力特征评价方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6162186A (en) * 1994-07-25 2000-12-19 Beth Israel Deaconess Medical Center Non-invasive method for diagnosing alzheimer's disease in a patient
WO2007125794A1 (ja) * 2006-04-27 2007-11-08 Konica Minolta Holdings, Inc. データ測定装置及びデータ測定方法
CN101686815A (zh) * 2007-06-27 2010-03-31 松下电器产业株式会社 人的状态推定装置以及方法
CN102253714A (zh) * 2011-07-05 2011-11-23 北京工业大学 基于视觉决策的选择触发方法
JP2012050759A (ja) * 2010-09-03 2012-03-15 Hitachi Ltd 視覚疲労度検出装置、視覚疲労度制御装置及び視覚疲労度検出方法
CN103169485A (zh) * 2013-02-01 2013-06-26 广东平成广告有限公司 一种基于视频的认知曲线生成系统和生成方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070015989A1 (en) * 2005-07-01 2007-01-18 Avantis Medical Systems, Inc. Endoscope Image Recognition System and Method
JP2007289657A (ja) * 2006-03-28 2007-11-08 Fujifilm Corp 画像記録装置、画像記録方法、および画像記録プログラム
US20100010370A1 (en) * 2008-07-09 2010-01-14 De Lemos Jakob System and method for calibrating and normalizing eye data in emotional testing
US20110109879A1 (en) * 2009-11-09 2011-05-12 Daphna Palti-Wasserman Multivariate dynamic profiling system and methods
CN104173063B (zh) * 2014-09-01 2015-08-12 北京工业大学 一种视觉注意的检测方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6162186A (en) * 1994-07-25 2000-12-19 Beth Israel Deaconess Medical Center Non-invasive method for diagnosing alzheimer's disease in a patient
WO2007125794A1 (ja) * 2006-04-27 2007-11-08 Konica Minolta Holdings, Inc. データ測定装置及びデータ測定方法
CN101686815A (zh) * 2007-06-27 2010-03-31 松下电器产业株式会社 人的状态推定装置以及方法
JP2012050759A (ja) * 2010-09-03 2012-03-15 Hitachi Ltd 視覚疲労度検出装置、視覚疲労度制御装置及び視覚疲労度検出方法
CN102253714A (zh) * 2011-07-05 2011-11-23 北京工业大学 基于视觉决策的选择触发方法
CN103169485A (zh) * 2013-02-01 2013-06-26 广东平成广告有限公司 一种基于视频的认知曲线生成系统和生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Motivation modulates visual attention: evidence from pupillometry;Agnieszka W, et al,;《Frontiers in Psychology》;20130212;第4卷;1-12 *
Shamsi T et al,.Towards an Index of Opportunity: Understanding Changes in Mental Workload during Task Execution.《CHI 2005 papers:Take a Number, Stand in Line (Interruptions & Attention 1)》.2005,311-320. *

Also Published As

Publication number Publication date
WO2016033950A1 (zh) 2016-03-10
CN104173063A (zh) 2014-12-03
US20170251968A1 (en) 2017-09-07

Similar Documents

Publication Publication Date Title
CN104173063B (zh) 一种视觉注意的检测方法及系统
EP2942776B1 (en) System and method for enhancing displayed images
Foulsham et al. Asymmetries in the direction of saccades during perception of scenes and fractals: Effects of image type and image features
CN106875361B (zh) 一种基于深度卷积神经网络去除泊松噪声的方法
US10048206B2 (en) Fluorescence viewing device and fluorescence viewing method
Setiawan et al. Color retinal image enhancement using CLAHE
Castelhano et al. Viewing task influences eye movement control during active scene perception
Yates et al. Does emotion processing require attention? The effects of fear conditioning and perceptual load.
Freeth et al. The influence of visual saliency on fixation patterns in individuals with Autism Spectrum Disorders
CN110619301A (zh) 一种基于双模态信号的情绪自动识别方法
Kwon et al. Contour enhancement benefits older adults with simulated central field loss
Enns et al. The role of clarity and blur in guiding visual attention in photographs.
Brandl et al. Brain–computer interfacing under distraction: an evaluation study
JP2012050759A (ja) 視覚疲労度検出装置、視覚疲労度制御装置及び視覚疲労度検出方法
Stratton et al. Snoddy (1926) revisited: time scales of motor learning
Ponzio et al. A human-computer interface based on the “voluntary” pupil accommodative response
JP6411597B2 (ja) 蛍光観察装置及び蛍光観察方法
JP2022521136A (ja) 歯の骨年齢を決定するための装置、方法及び命令を記録した記録媒体
Geuzebroek et al. Eccentricity scale independence for scene perception in the first tens of milliseconds
CN102274037A (zh) 图像处理方法和使用了该图像处理方法的放射线摄影装置
Peyrin et al. Semantic and physical properties of peripheral vision are used for scene categorization in central vision
de Jong et al. Implicit perceptual memory modulates early visual processing of ambiguous images
CA3049134A1 (fr) Dispositif et procede de determination des mouvements oculaires par interface tactile
Costela et al. An implementation of Bubble Magnification did not improve the video comprehension of individuals with central vision loss
Lévêque et al. Video quality perception in telesurgery

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant