CN112241971A - 一种使用熵和眼动数据衡量运动预测能力的方法 - Google Patents

一种使用熵和眼动数据衡量运动预测能力的方法 Download PDF

Info

Publication number
CN112241971A
CN112241971A CN202011056428.XA CN202011056428A CN112241971A CN 112241971 A CN112241971 A CN 112241971A CN 202011056428 A CN202011056428 A CN 202011056428A CN 112241971 A CN112241971 A CN 112241971A
Authority
CN
China
Prior art keywords
gaze
entropy
gte
eye movement
testee
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011056428.XA
Other languages
English (en)
Inventor
徐庆
王一琛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202011056428.XA priority Critical patent/CN112241971A/zh
Publication of CN112241971A publication Critical patent/CN112241971A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种使用熵和眼动数据衡量运动预测能力的方法，利用凝视转移熵GTE依据给定的眼球当前位置，预测眼球运动的下一个固定位置，步骤1、对受测者眼动行为分多次采集眼动数据；步骤2、对每次数据作出以下分析：计算ROI、分割对受测者进行测试的场景中小球自由运动时间段、分别计算凝视转移熵GTE；步骤3、分别对每位受测者述测试多次，对多次测量结果所得的每段时间段内的凝视转移熵取平均值；步骤4、从眼球当前位置通过条件概预测后续的注视位置，利用转移矩阵表征限定的空间区域之间的过渡固定的速度，而静止的分布描述凝视的整体空间分散。与现有技术相比，本发明实现了衡量眼球在凝视中自顶向下的控制能力的有效方法。

Description

一种使用熵和眼动数据衡量运动预测能力的方法
技术领域
本发明属于眼球运动预测技术，特别是涉及一种使用熵和眼动数据衡量运动预测能力的方法。
背景技术
人们在凝视过程中的眼球运动的产生既受到关注的物体运动时的轨迹输入(自下而上)，又受到人脑预测物体接下来运动的神经控制(自上而下)。对人脑的预测控制可以实现人的注意力能力的评估。
通过跟踪眼球运动的模式可能会揭示导致眼球运动的常见策略。跟踪过程的眼球运动变化实际也是由凝视目标的运动和大脑预测目标之后的运动共同影响的。人们如何能够一次成功地跟踪多个物体仍然是一个有争议的问题。学术界最初理论是，头脑中有限的注意力前视觉指标代表了目标的位置，并随着目标的移动而动态更新。集中注意力通过使用视觉索引作为指针来访问有关目标的信息，但是一次只能分配给一个位置。另一种说法是将多个关注点同时分配给多个位置。注意力在多个显着位置的表示之间进行划分，既可以独立地进行，也可以将目标作为一个对象进行分组。这些理论并未提出大脑会对跟踪过程中的视线位置做出预测。眼球运动的频繁控制是由分布在脑皮层和小脑区域的神经网络发生。目光控制主要是指眼球发生明显的空间注意力转移。空间注意的隐性和显性转移共享相同的潜在大脑区域和机制，这表明可能由来自其他网络的输入独立调节的共同起源。根据综合竞争假设，注意力是一种分布状态，在此状态下，大脑的众多网络解决了来自感官输入(自下而上的输入)和运动系统对神经表示的竞争需求，其中感觉信息的显着性和自上而下的控制可能使竞争产生偏差。注意力也可以秘密地或者在眼球没有运动的情况下进行转移。这表明，注视时的眼动行为是一系列动作产生的时间序列，目的是通过对视觉信息的连续采样来优化感知推断(自上而下的控制)。因此，注视点的选择并不仅仅是自上而下或自下而上直接命令的结果，而是在视觉环境内部解释的证据积累过程中对预测和纠错的贡献。因此，大脑通过自上而下的控制和自下而上的输入，共同形成凝视控制，以此作为空间预测系统，不断的误差修正优化下一步的选择性视觉采样。
信息熵是在结果出来之前对可能产生的信息量的期望——考虑该随机变量的所有可能取值，即所有可能发生事件所带来的信息量的期望。信息熵H(X)的计算公式如下：
Figure BDA0002710996870000021
其中，p(x)为随机事件x的概率。
条件熵为给定条件X下，Y的条件概率分布的熵对X的数学期望。
条件熵H(Y|X)的表达式如下：
Figure BDA0002710996870000022
其中，条件熵H(Y|X)表示在已知随机变量X的条件下随机变量Y的不确定性，随机变量X给定的条件下随机变量Y的条件熵H(Y|X)。
发明内容
针对现有方法中存在的问题和不足，本发明提出一种使用熵和眼动数据衡量运动预测能力的方法，通过查看条件熵的变化来预测眼球凝视中自顶向下的控制能力。
本发明的一种使用熵和眼动数据衡量运动预测能力的方法，利用凝视转移熵GTE依据给定的眼球当前位置，预测眼球运动的下一个固定位置，该方法具体包括以下处理：
步骤1、建立小球运动测试场景，对受测者眼动行为分多次采集眼动数据；
步骤2、对每次数据作出以下分析：
2-1、计算ROI：将作为背景区域得小球运动范围分割成10*10个区域，给每个区域一个编号，将每一时刻下受测者的注视坐标映射到一个对应区域，该区域即为当前时刻的ROI；
2-2、分割对受测者进行测试的场景中小球自由运动时间段；
2-3、为各个时间分别计算凝视转移熵GTE，获取测量者对随凝视行为的继续预测能力的变化，再进一步推断出测量者对凝视下个位置的预测能力；
步骤3、分别对每位受测者述测试多次，对多次测量结果所得的每段时间段内的凝视转移熵取平均值，观察每个受测者的GTE的变化过程：
如果GTE呈现上升趋势，且上升斜率越大，则表示受测者的大脑对运动预测的能力越好；反之，GTE呈现下降趋势，且下降斜率越大，则表示受测者的大脑对运动预测的能力越差；
与现有技术相比，本发明实现了衡量眼球在凝视中自顶向下的控制能力的有效方法；相对于凝视的整体空间分散性，提供了视觉扫描模式中复杂性或随机性水平的总体估计。
附图说明
图1为本发明的一种使用熵和眼动数据衡量运动预测能力的方法整体流程图；
图2为本发明实施例的进行跟踪眼球运动方式时的测量过程示意图；
图3为测量过程的场景示意图；
附图标记：
1、白色小球，2、黄色小球，3、绿色小球。
具体实施方式
以下结合附图和实施例对本发明进行详细说明，此处描述的具体实施方式仅用于解释说明本发明，并不作为限制本发明的依据。
如图1所示，为本发明的一种使用熵和眼动数据衡量运动预测能力的方法整体流程图，将条件熵应用于凝视数据中(称之为凝视转移熵(gaze transition entropy，GTE))，利用GTE，可以依据给定的眼球当前位置，预测眼球运动的下一个固定位置时估计不确定性，即GTE表达的是在已知当前注视位置的条件下，注视位置变化的混乱程度、无规律程度，此度量提供了视觉扫描模式中复杂性或随机性水平的总体估计，其中较高的GTE表明预测性较低，扫视时更加无规律。该方法具体包括以下处理：
步骤1、建立小球运动测试场景，对受测者眼动行为分多次采集眼动数据；
步骤2、对每次数据作出以下分析：
2-1、计算ROI(region of interest，感兴趣区域)：小球运动范围(即背景区域)分割成10*10个区域，给每个区域一个编号，将每一时刻下受测者的注视坐标映射到一个对应区域，该区域即为当前时刻的ROI
2-2、分割对受测者进行测试的场景中小球自由运动时间段；
2-3、为各个时间分别计算凝视转移熵GTE，获取测量者对随凝视行为的继续预测能力的变化，再进一步推断出测量者对凝视下个位置的预测能力；
步骤3、分别对每位受测者述测试多次，对多次测量结果所得的每段时间段内的凝视转移熵取平均值，观察每个受测者的GTE的变化过程：
如果GTE呈现上升趋势，且上升斜率越大，则表示受测者的大脑对运动预测的能力越好；反之，GTE呈现下降趋势，且下降斜率越大，则表示受测者的大脑对运动预测的能力越差。
如图2、3所示，为本发明实施例的进行跟踪眼球运动方式时的测量过程和测量过程的场景示意图；
(1)场景设计：选择使用经典的多目标跟踪(MOT，Multiple Object Tracking)实验作为测量眼球在做跟踪行为时的运动方式的手段。
整个测量过程分为三个阶段：
阶段一、在黑色板子上出现十个小球，其中五个黄色小球2、五个白色小球1，这一过程共持续2秒。
阶段二、黄色小球2变成白色，并开始随机运动。受测者被要求跟踪这五个黄色小球2，这一过程共持续8秒。)
阶段三、受测者需指出之前被标记为黄色的五个小球。受测者会得到即时的反馈，被告知所选中的五个球有多少被选对了，被选中的小球会变成绿色小球3。
用Unity3D制作以上实验场景，并使用眼动以采集眼动数据。
(2)数据分析：对于每次数据做出以下分析。
1)计算ROI：小球运动范围分割成10*10个区域，将每一时刻下首测者的注视坐标映射到一个对应区域；
2)分割时间段：将小球自由运动的8秒分为三段，分别是0～4秒，2～6秒，和4～8秒
3)计算GTE：为三段时间分别计算凝视转移熵；
对每位受测者进行上述测试共5次，对每段时间段内的凝视转移熵取平均值，观察每个受测者的GTE的变化过程。
如果GTE呈现上升趋势，且上升斜率越大，则表示受测者的大脑对运动预测的能力越好；反之，GTE呈现下降趋势，且下降斜率越大，则表示受测者的大脑对运动预测的能力越差。
通过11名志愿者的实验记录结果，通过anova在统计上获得了显著性，证明了本方法正确，为认知计算领域提供了贡献。

Claims (1)

1.一种使用熵和眼动数据衡量运动预测能力的方法，利用凝视转移熵GTE依据给定的眼球当前位置，预测眼球运动的下一个固定位置，其特征在于，该方法具体包括以下处理：
步骤1、建立小球运动测试场景，对受测者眼动行为分多次采集眼动数据；
步骤2、对每次数据作出以下分析：
2-1、将作为背景区域得小球运动范围分割成10*10个区域，给每个区域一个编号，将每一时刻下受测者的注视坐标映射到一个对应区域，该区域即为当前时刻的ROI
2-2、分割对受测者进行测试的场景中小球自由运动时间段；
2-3、为各个时间分别计算凝视转移熵GTE，获取测量者对随凝视行为的继续预测能力的变化，再进一步推断出测量者对凝视下个位置的预测能力；
步骤3、分别对每位受测者述测试多次，对多次测量结果所得的每段时间段内的凝视转移熵取平均值，观察每个受测者的GTE的变化过程：
如果GTE呈现上升趋势，且上升斜率越大，则表示受测者的大脑对运动预测的能力越好；反之，GTE呈现下降趋势，且下降斜率越大，则表示受测者的大脑对运动预测的能力越差。
CN202011056428.XA 2020-09-30 2020-09-30 一种使用熵和眼动数据衡量运动预测能力的方法 Pending CN112241971A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011056428.XA CN112241971A (zh) 2020-09-30 2020-09-30 一种使用熵和眼动数据衡量运动预测能力的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011056428.XA CN112241971A (zh) 2020-09-30 2020-09-30 一种使用熵和眼动数据衡量运动预测能力的方法

Publications (1)

Publication Number Publication Date
CN112241971A true CN112241971A (zh) 2021-01-19

Family

ID=74172177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011056428.XA Pending CN112241971A (zh) 2020-09-30 2020-09-30 一种使用熵和眼动数据衡量运动预测能力的方法

Country Status (1)

Country Link
CN (1) CN112241971A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104997582A (zh) * 2015-07-30 2015-10-28 沈阳工业大学 基于眼部和下颌肌电信号对智能假肢的控制装置及方法
WO2018017767A1 (en) * 2016-07-19 2018-01-25 Akili Interactive Labs, Inc. Platforms to implement signal detection metrics in adaptive response-deadline procedures
CN109117711A (zh) * 2018-06-26 2019-01-01 西安交通大学 基于眼动数据的分层特征提取与融合的专注度检测装置及方法
TWI679558B (zh) * 2018-11-25 2019-12-11 國立臺灣師範大學 一種眼動凝視之即時辨識方法及採用該方法之眼動凝視即時辨識系統
CN111427150A (zh) * 2020-03-12 2020-07-17 华南理工大学 用于虚拟现实头戴式显示下的眼动信号处理方法及可穿戴设备
CN111712193A (zh) * 2018-02-14 2020-09-25 塞勒尼恩有限公司 用于脑电图测量的设备和方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104997582A (zh) * 2015-07-30 2015-10-28 沈阳工业大学 基于眼部和下颌肌电信号对智能假肢的控制装置及方法
WO2018017767A1 (en) * 2016-07-19 2018-01-25 Akili Interactive Labs, Inc. Platforms to implement signal detection metrics in adaptive response-deadline procedures
CN111712193A (zh) * 2018-02-14 2020-09-25 塞勒尼恩有限公司 用于脑电图测量的设备和方法
CN109117711A (zh) * 2018-06-26 2019-01-01 西安交通大学 基于眼动数据的分层特征提取与融合的专注度检测装置及方法
TWI679558B (zh) * 2018-11-25 2019-12-11 國立臺灣師範大學 一種眼動凝視之即時辨識方法及採用該方法之眼動凝視即時辨識系統
CN111427150A (zh) * 2020-03-12 2020-07-17 华南理工大学 用于虚拟现实头戴式显示下的眼动信号处理方法及可穿戴设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHENG PENG ETAL.: ""Eye Movement-Based Analysis on Methodologies and Efficiency in the Process of Image Noise Evaluation"", 《SPRINGER》 *
KRZYSZTOF KREJTZ ETAL.: ""Gaze Transition Entropy"", 《ACM》 *

Similar Documents

Publication Publication Date Title
Akdoğan et al. Are you early or late?: Temporal error monitoring.
US10677686B2 (en) Method and apparatus for autonomous system performance and grading
KR101984995B1 (ko) 인공지능 시야분석 방법 및 장치
KR20200031265A (ko) 우울증 조기 진단 방법 및 장치
CN113133769A (zh) 基于运动想象脑电信号的设备控制方法、装置及终端
CN118228130B (zh) 一种基于设备健康状态的监测方法、系统和存储介质
JPH0765168A (ja) 関数近似装置及び方法
Guo et al. EMFN: enhanced multi-feature fusion network for hard exudate detection in fundus images
JP5746480B2 (ja) 解析結果表示装置および解析結果表示方法
Xiong et al. Predicting separation errors of air traffic controllers through integrated sequence analysis of multimodal behaviour indicators
CN112241971A (zh) 一种使用熵和眼动数据衡量运动预测能力的方法
Amadori et al. Decision anticipation for driving assistance systems
Tian et al. Glaucoma Progression Detection and Humphrey Visual Field Prediction Using Discriminative and Generative Vision Transformers
CN112022172A (zh) 一种基于多模态生理数据的压力检测方法和装置
CN111124124A (zh) 一种基于眼动追踪技术的人机功效评估方法
Furia et al. Exploring Early Stress Detection from Multimodal Time Series with Deep Reinforcement Learning
Zhou Enhanced feature extraction for machinery condition monitoring using recurrence plot and quantification measure
CN112989604B (zh) 一种基于贝叶斯网络的致因场景安全性定量评价方法
Bennett et al. Universal neurophysiological interpretation of EEG brain-computer interfaces
Meitzler et al. Predicting the probability of target detection in static infrared and visual scenes using the fuzzy logic approach
Amadori et al. User-Aware Multi-Level Cognitive Workload Estimation from Multimodal Physiological Signals
Johnson et al. Using Process Tracing Data to Define and Test Process Models 1
CN117577299B (zh) 认知障碍筛查系统及设备
CN117933815B (zh) 装甲车乘员的认知绩效实时评估方法、装置及系统
US11966511B2 (en) Method, system and computer program product for mapping a visual field

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20231013