CN112735192A - 一种基于专家眼动信号指导的图像判读能力训练系统及方法 - Google Patents
一种基于专家眼动信号指导的图像判读能力训练系统及方法 Download PDFInfo
- Publication number
- CN112735192A CN112735192A CN202011434308.9A CN202011434308A CN112735192A CN 112735192 A CN112735192 A CN 112735192A CN 202011434308 A CN202011434308 A CN 202011434308A CN 112735192 A CN112735192 A CN 112735192A
- Authority
- CN
- China
- Prior art keywords
- expert
- gazing
- module
- picture
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 101
- 230000004424 eye movement Effects 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012800 visualization Methods 0.000 claims abstract description 43
- 230000000694 effects Effects 0.000 claims abstract description 37
- 238000004458 analytical method Methods 0.000 claims abstract description 30
- 238000011156 evaluation Methods 0.000 claims abstract description 26
- 238000013500 data storage Methods 0.000 claims abstract description 23
- 238000009826 distribution Methods 0.000 claims description 50
- 238000010586 diagram Methods 0.000 claims description 29
- 238000009499 grossing Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 4
- 210000001508 eye Anatomy 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 210000005252 bulbus oculi Anatomy 0.000 claims description 3
- 210000004087 cornea Anatomy 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 210000001747 pupil Anatomy 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 4
- 238000005259 measurement Methods 0.000 abstract 1
- 230000000638 stimulation Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Rehabilitation Tools (AREA)
Abstract
本发明公开了一种基于专家眼动信号指导的图像判读能力训练系统及方法，系统包括：控制模块、图片判读训练模块、眼动信号获取模块、注视特征分析模块、数据存储模块、训练效果评估模块和结果可视化模块；方法包括如下步骤：(1)眼动信号的特征获取和可视化；(2)基于专家信号的判读能力训练。本发明通过眼动仪测量专家和学员的判读方法和策略，可以真实客观地获取专家和学员的判读特征，实现对判读方法和技巧的直观化、数值化、可视化；利用专家的眼动信号特征来指导学员判读训练，具有直观、稳定、可重复等优点，有利于提高训练效果；利用专家和学员的眼动特征对比，直观地反映训练效果；利用学员不同阶段的训练数据对比可以有效评估训练进阶效果。
Description
技术领域
本发明涉及认知神经科学和图像处理交叉技术领域，尤其是一种基于专家眼动信号指导的图像判读能力训练系统及方法。
背景技术
对图片进行判读过程中，实施信息加工从中获取重要的特征和信息，在生产、科研、军事、医疗等领域具有广泛的应用需求。对于非专业人员进行判读水平训练，提高其图片信息加工和特征提取能力，具有重要意义。
现有的对判读人员的训练大多基于专业人员的经验传授，受训人员需对传授的经验先进行内化过程才能实现训练目的，经验内化存在过程复杂、主观性强、效果无法客观评估等局限性。
对图片进行判读过程中，眼动信号是一个直接反映判读人员视觉加工过程的生理信号。判读专家的眼动信号在某种程度上可以反映其有别于常人的视觉加工方法和策略。将专家眼动信号叠加在图片上供受训人员观看，可以为受训人员提供直观的判读方法和策略的体验，将有助于提高判读水平训练效果。
发明内容
本发明所要解决的技术问题在于，提供一种基于专家眼动信号指导的图像判读能力训练系统及方法，面向对非专业人员进行图片判读能力训练的需求，利用眼动信号分析方法，提取专家判读方法的特征并可视化，用于指导学员提高判读能力。
为解决上述技术问题，本发明提供一种基于专家眼动信号指导的图像判读能力训练系统，包括：控制模块、图片判读训练模块、眼动信号获取模块、注视特征分析模块、数据存储模块、训练效果评估模块和结果可视化模块；控制模块根据用户选择确认当前用户是专家或者学员身份，由数据存储模块读取判读图片至图片判读训练模块进行显示，由眼动信号获取模块获取用户针对当前显示图片的注视点信号并传输至注视特征分析模块，注视特征分析模块将分析结果根据用户身份保存至数据存储模块中的专家或学员数据库，由控制模块根据用户选择的学员练习或专家指导模态选择训练效果评估模块的数据来源，在学员练习模态下读取学员数据库中训练结果，并传输至结果可视化模块生成可视化结果传输至图片判读训练模块回显，在专家指导模态下读取专家和学员数据库中训练结果进行差异分析和统计，并传输至结果可视化模块生成可视化结果传输至图片判读训练模块回显。
优选的，图片判读训练模块具有专家和学员两种角色，对于专家只单独呈现各个图片由专家自由判读；而对于学员，又分为学员练习和专家指导两种模态，学员练习模态下，呈现各个图片由学员自由判读，并在图片显示完毕后，基于结果可视化模块的输出实施回显，即在各图片上叠加呈现专家的注视区、注视时长、注视时序指标的统计结果；而在专家指导模态下，基于结果可视化模块的输出实施回显，即在各图片上分别叠加呈现学员和专家的注视区、注视时长、注视时序指标差异的统计结果，该结果作为学员训练效果评估结果。
优选的，眼动信号获取模块针对图片判读训练模块呈现的图片刺激，采用眼动仪获取判读人员各个时刻所对应的目光注视点坐标作为眼动信号。
优选的，注视特征分析模块基于眼动信号获取模块获取的判读人员眼动信号，基于高斯平滑算法、自适应矩形窗算法和阈值法形成当前注视图片上对应注视区分布图，统计各个注视区对应的注视时长，分析各个注视区的时间顺序，最终形成当前注视图片上对应的注视区、注视时长、注视时序。
优选的，数据存储模块存储图片判读训练模块刺激呈现所用图片库；并存储各个图片对应的专家和学员的注视区、注视时长、注视时序的数据，分别生成专家数据库和学员数据库。并存储专家指导模态下基于训练效果评估模块得到的学员训练效果评估结果至学员库。
优选的，训练效果评估模块针对同一图片，分析学员与专家在注视区、注视时长、注视时序三个指标上的差异，并对学员历次的训练效果做纵向比较，上述结果均作为对学员训练效果评估指标并保存至学员数据库。
优选的，结果可视化模块基于训练效果评估模块输出的学员与专家在注视区、注视时长、注视时序三个指标上的差异，将上述数值叠加显示在对应的图片上。
相应的，一种基于专家眼动信号指导的图像判读能力训练方法，包括如下步骤：
(1)眼动信号的特征获取和可视化；
(2)基于专家信号的判读能力训练。
优选的，步骤(1)中，眼动信号的特征获取和可视化具体包括如下步骤：
(11)完成基于红外摄像头的眼球追踪参数设置，并分别获取瞳孔和角膜反射斑，获得注视点对应的眼动坐标；
(12)进行注视点校准，在屏幕的上下左右四边的中点，以及屏幕的四角分别显示标定点，采集观察者注视标定点的时的眼动坐标，建立屏幕与眼动范围的映射关系；计算观察者注视点与标定点之间的偏差，当平均偏差小于视角1度时，完成校准工作，否则继续校准过程直至满足误差要求；
(13)眼动仪每隔2ms采样一次注视点坐落在图片内的坐标直至观察者按键结束当前图片观察；以500ms为时窗，采用高斯平滑算法生成该500ms时窗内的注视点分布热图；
(14)设定热图阈值，将低于阈值的注视点分布区域置零；将该图片观察时间内的各个500ms的时窗的注视点热图叠加，得到该图片对应的注视点叠加热图；
(15)得到上述注视点叠加热图内各个连通区域中x，y坐标的最大值和最小值(左上角对应x和y的零点)；定义每个连通区域的最小外接矩形框，即矩形框左上角坐标由该区域的最小x坐标和最小y坐标组成；矩形框的长为最大x坐标减最小x坐标；矩形框的宽为最大y坐标减最小y坐标。利用上述自适应矩形窗算法计算邻近的注视点连通区域的面积；设定面积阈值，将面积大于阈值的矩形区域定义为注视区，以该区域的中心为注视区坐标，以该坐标为圆心，以固定半径画圆，生成当前观察图片所对应的注视区分布图；
(16)基于(15)得到的注视区坐标，以该坐标对应的注视区分布区域内的注视时长总和为半径画圆，生成该图片对应的注视区时长分布图；
(17)基于(15)得到的注视区坐标，获取该坐标对应的注视区分布区域的注视时刻，按时间顺序连接各个注视区分布区域，并在注视区域周围显示该区域对应的注视顺序，生成该图片对应的注视区时序分布图。
优选的，步骤(2)中，基于专家信号的判读能力训练具体包括如下步骤：
(21)由专家对各幅图片进行判读，由眼动信号获取模块和注视特征分析模块获取专家对于每幅图片的注视区、注视时长、注视时序信号，由数据存储模块将上述数据保存至专家数据库；
(22)由学员对各幅图片进行判读，首先使用学员练习模态由学员自行练习，由眼动信号获取模块和注视特征分析模块获取学员对于每幅图片的注视区、注视时长、注视时序信号。由数据存储模块将上述学员练习数据保存至学员数据库；
(23)当用户选择专家指导模态，系统将基于专家数据对学员进行指导，系统调取数据存储模块中学员和专家数据库中保存的学员和专家数据，将学员和专家的注视区、注视时长、注视时序的分析结果利用结果可视化模块在对应的图片上叠加显示，学员根据自身数据与专家数据之间的差异，进行判读技术的学习。
本发明的有益效果为：(1)通过眼动仪测量专家和学员的判读方法，可以真实客观地获取专家和学员的判读特征，实现对判读方法和技巧的直观化、数值化、可视化；(2)利用专家的眼动信号特征来指导学员判读训练，具有直观、稳定、可重复等优点，有利于提高训练效果；同时，对专家信号的获取和保存有助于构建专家库；(3)利用专家和学员的眼动特征对比，可以直观地反映训练效果；利用学员不同阶段的训练数据对比可以有效评估训练进阶效果。
附图说明
图1为本发明的系统结构示意图。
图2为本发明的系统信号流程示意图。
图3为本发明的专家注视区分布示意图。
图4为本发明的专家注视区对应时长分布示意图。
图5为本发明的专家注视区对应时序示意图。
图6为本发明的学员注视区分布示意图。
图7为本发明的学员注视区对应时长分布示意图。
图8为本发明的学员注视区对应时序示意图。
图9(a)为本发明的专家与学员的注视区差异图。
图9(b)为本发明的专家与学员的注视区统计结果示意图。
图10(a)为本发明的专家与学员的注视区时长差异图。
图10(b)为本发明的专家与学员的注视区时长统计结果示意图。
图11为本发明的专家与学员的注视区时序差异图。
具体实施方式
如图1和2所示，一种基于专家眼动信号指导的图像判读能力训练系统，包括：控制模块、图片判读训练模块、眼动信号获取模块、注视特征分析模块、数据存储模块、训练效果评估模块和结果可视化模块；控制模块根据用户选择确认当前用户是专家或者学员身份，由数据存储模块读取判读图片至图片判读训练模块进行显示，由眼动信号获取模块获取用户针对当前显示图片的注视点信号并传输至注视特征分析模块，注视特征分析模块将分析结果根据用户身份保存至数据存储模块中的专家或学员数据库，由控制模块根据用户选择的学员练习或专家指导模态选择训练效果评估模块的数据来源，在学员练习模态下读取学员数据库中训练结果，并传输至结果可视化模块生成可视化结果传输至图片判读训练模块回显，在专家指导模态下读取专家和学员数据库中训练结果进行差异分析和统计，并传输至结果可视化模块生成可视化结果传输至图片判读训练模块回显。
图片判读训练模块具有专家和学员两种角色，对于专家只单独呈现各个图片由专家自由判读；而对于学员，又分为学员练习和专家指导两种模态，学员练习模态下，呈现各个图片由学员自由判读，并在图片显示完毕后，基于结果可视化模块的输出实施回显，即在各图片上叠加呈现专家的注视区、注视时长、注视时序等指标的统计结果；而在专家指导模态下，基于结果可视化模块的输出实施回显，即在各图片上分别叠加呈现学员和专家的注视区、注视时长、注视时序等指标差异的统计结果，该结果作为学员训练效果评估结果；图片训练模块显示图片由数据存储模块中图片库导入。
眼动信号获取模块针对图片判读训练模块呈现的图片刺激，采用眼动仪获取判读人员各个时刻所对应的目光注视点坐标作为眼动信号。
注视特征分析模块基于眼动信号获取模块获取的判读人员眼动信号，基于高斯平滑算法、自适应矩形窗算法和阈值法形成当前注视图片上对应注视区热图；统计各个注视区对应的注视时长；分析各个注视区的时间顺序；最终形成当前注视图片上对应的注视区、注视时长、注视时序。
高斯平滑算法为：将图片显示时间分为若干个500ms片段，采用高斯平滑算法处理这些片段内的所有眼动信号以生成对应片段内的注视点热图。将上述若干个500ms片段所对应的热图进行叠加，保留高于设定阈值的热图生成注视点叠加热图。
自适应矩形窗算法为：得到上述注视点叠加热图内各个连通区域中x，y坐标的最大值和最小值(左上角对应x和y的零点)；定义每个连通区域的最小外接矩形框，即矩形框左上角坐标由该区域的最小x坐标和最小y坐标组成；矩形框的长为最大x坐标减最小x坐标；矩形框的宽为最大y坐标减最小y坐标。利用自适应矩形窗算法计算邻近的注视点连通区域的面积。
阈值法为：1)设定阈值，保留高于设定阈值的热图生成注视点叠加热图；2)设定阈值，将面积大于阈值的矩形区域定义为注视区。
数据存储模块存储图片判读训练模块刺激呈现所用图片库；并存储各个图片对应的专家和学员的注视区、注视时长、注视时序的数据，分别生成专家数据库和学员数据库。并存储专家指导模态下基于训练效果评估模块得到的学员训练效果评估结果至学员库。
控制模块根据当前用户角色是学员或是专家，由控制模块控制注视特征分析模块输出结果保存至对应的学员数据库或专家数据库；此外，在当前用户角色是学员时，如果学员用户选择的是专家指导模态，则由控制模块将对应的学员数据库和专家数据库数据导入训练效果评估模块。
训练效果评估模块针对同一图片，分析学员与专家在注视区、注视时长、注视时序三个指标上的差异；并可对学员历次的训练效果做纵向比较；上述结果均作为对学员训练效果评估指标并保存至学员数据库。
结果可视化模块基于训练效果评估模块输出的学员与专家在注视区、注视时长、注视时序三个指标上的差异，将上述数值叠加显示在对应的图片上。
相应的，一种基于专家眼动信号指导的图像判读能力训练方法，包括如下步骤：
(1)眼动信号的特征获取和可视化；
(2)基于专家信号的判读能力训练。
步骤(1)中，眼动信号的特征获取和可视化具体包括如下步骤：
(11)完成基于红外摄像头的眼球追踪参数设置，并分别获取瞳孔和角膜反射斑，获得注视点对应的眼动坐标；
(12)进行注视点校准，在屏幕的上下左右四边的中点，以及屏幕的四角分别显示标定点，采集观察者注视标定点的时的眼动坐标，建立屏幕与眼动范围的映射关系；计算观察者注视点与标定点之间的偏差，当平均偏差小于视角1度时，完成校准工作，否则继续校准过程直至满足误差要求；
(13)眼动仪每隔2ms采样一次注视点坐落在图片内的坐标直至观察者按键结束当前图片观察；以500ms为时窗，采用高斯平滑算法生成该500ms时窗内的注视点分布热图；
(14)设定热图阈值，将低于阈值的注视点分布区域置零；将该图片观察时间内的各个500ms的时窗的注视点热图叠加，得到该图片对应的注视点叠加热图；
(15)得到上述注视点叠加热图内各个连通区域中x，y坐标的最大值和最小值(左上角对应x和y的零点)；定义每个连通区域的最小外接矩形框，即矩形框左上角坐标由该区域的最小x坐标和最小y坐标组成；矩形框的长为最大x坐标减最小x坐标；矩形框的宽为最大y坐标减最小y坐标。利用上述自适应矩形窗算法计算邻近的注视点连通区域的面积；设定面积阈值，将面积大于阈值的矩形区域定义为注视区，以该区域的中心为注视区坐标，以该坐标为圆心，以固定半径画圆，生成当前观察图片所对应的注视区分布图；
(16)基于(15)得到的注视区坐标，以该坐标对应的注视区分布区域内的注视时长总和为半径画圆，生成该图片对应的注视区时长分布图；
(17)基于(15)得到的注视区坐标，获取该坐标对应的注视区分布区域的注视时刻，按时间顺序连接各个注视区分布区域，并在注视区域周围显示该区域对应的注视顺序，生成该图片对应的注视区时序分布图。
步骤(2)中，基于专家信号的判读能力训练具体包括如下步骤：
(21)由专家对各幅图片进行判读，由眼动信号获取模块和注视特征分析模块获取专家对于每幅图片的注视区、注视时长、注视时序信号，由数据存储模块将上述数据保存至专家数据库；
(22)由学员对各幅图片进行判读，首先使用学员练习模态由学员自行练习，由眼动信号获取模块和注视特征分析模块获取学员对于每幅图片的注视区、注视时长、注视时序信号。由数据存储模块将上述学员练习数据保存至学员数据库；
(23)当用户选择专家指导模态，系统将基于专家数据对学员进行指导，系统调取数据存储模块中学员和专家数据库中保存的学员和专家数据，将学员和专家的注视区、注视时长、注视时序的分析结果利用结果可视化模块在对应的图片上叠加显示，学员根据自身数据与专家数据之间的差异，进行判读技术的学习。
图3为专家注视区分布图。在专家用户身份下，获取专家注视点坐标；以500ms为时窗，采用高斯平滑算法生成该500ms时窗内的注视点分布热图；设定热图阈值，将低于阈值的注视点分布区域置零；之后，将当前图片观察时间内的各个500ms的时窗的注视点热图叠加，得到当前图片对应的注视点叠加热图；通过自适应矩形窗算法，得到注视点叠加热图内各个连通区域对应的最小外接矩形，利用该方法将邻近的注视点进行聚类得到注视点矩形区域；设定注视点矩形区域面积阈值，将面积大于阈值的矩形区域定义为注视区，以该区域的中心为注视区坐标，以该坐标为圆心，以固定半径画圆圈，生成当前图片对应的专家注视区分布图。
图4为专家注视区对应时长分布图。在专家用户身份下，基于图3所述技术方法获得专家注视区坐标，以该坐标对应的注视区分布区域内的注视时长总和为半径画圆圈，生成该图片对应的专家注视区时长分布图。
图5为专家注视区对应时序图。在专家用户身份下，基于图3所述技术方法获得专家注视区坐标，获取该坐标对应的注视区分布区域的注视时刻，按时间顺序连接各个注视区分布区域，并在注视区域周围显示该区域对应的注视顺序，生成该图片对应的专家注视区时序分布图。
图6为学员注视区分布图。在学员用户身份下，采用如图3说明中同样技术方法，以注视区坐标为圆心，以固定半径画圆圈，生成当前图片对应的学员注视区分布图。
图7为学员注视区对应时长分布图。在学员用户身份下，基于图3所述技术方法获得学员注视区坐标，以该坐标对应的注视区分布区域内的注视时长总和为半径画圆圈，生成该图片对应的学员注视区时长分布图。
图8为学员注视区对应时序图。在学员用户身份下，基于图3所述技术方法获得学员注视区坐标，获取该坐标对应的注视区分布区域的注视时刻，按时间顺序连接各个注视区分布区域，并在注视区域周围显示该区域对应的注视顺序，生成该图片对应的学员注视区时序分布图。
图9(a)和图9(b)为专家与学员的注视区差异图及统计结果。在专家指导模态下读取专家和学员数据库中眼动数据，基于图3和图6所述技术方法分别绘制专家和学员的注视区分布图，并对专家和学员的注视区个数进行统计。
图10(a)和图10(b)为专家与学员的注视区时长差异图及统计结果。在专家指导模态下读取专家和学员数据库中眼动数据，基于图4和图7所述技术方法分别绘制专家和学员的注视区时长分布图，并对专家和学员在各个注视区上的注视时长进行统计。
图11为专家与学员的注视区时序差异图及统计结果。在专家指导模态下分别读取专家和学员数据库中眼动数据，基于图5和图8所述技术方法分别绘制专家和学员的注视区时序图。
Claims (10)
1.一种基于专家眼动信号指导的图像判读能力训练系统，其特征在于，包括：控制模块、图片判读训练模块、眼动信号获取模块、注视特征分析模块、数据存储模块、训练效果评估模块和结果可视化模块；控制模块根据用户选择确认当前用户是专家或者学员身份，由数据存储模块读取判读图片至图片判读训练模块进行显示，由眼动信号获取模块获取用户针对当前显示图片的注视点信号并传输至注视特征分析模块，注视特征分析模块将分析结果根据用户身份保存至数据存储模块中的专家或学员数据库，由控制模块根据用户选择的学员练习或专家指导模态选择训练效果评估模块的数据来源，在学员练习模态下读取学员数据库中训练结果，并传输至结果可视化模块生成可视化结果传输至图片判读训练模块回显，在专家指导模态下读取专家和学员数据库中训练结果进行差异分析和统计，并传输至结果可视化模块生成可视化结果传输至图片判读训练模块回显。
2.如权利要求1所述的基于专家眼动信号指导的图像判读能力训练系统，其特征在于，图片判读训练模块具有专家和学员两种角色，对于专家只单独呈现各个图片由专家自由判读；而对于学员，又分为学员练习和专家指导两种模态，学员练习模态下，呈现各个图片由学员自由判读，并在图片显示完毕后，基于结果可视化模块的输出实施回显，即在各图片上叠加呈现专家的注视区、注视时长、注视时序指标的统计结果；而在专家指导模态下，基于结果可视化模块的输出实施回显，即在各图片上分别叠加呈现学员和专家的注视区、注视时长、注视时序指标差异的统计结果，该结果作为学员训练效果评估结果。
3.如权利要求1所述的基于专家眼动信号指导的图像判读能力训练系统，其特征在于，眼动信号获取模块针对图片判读训练模块呈现的图片刺激，采用眼动仪获取判读人员各个时刻所对应的目光注视点坐标作为眼动信号。
4.如权利要求1所述的基于专家眼动信号指导的图像判读能力训练系统，其特征在于，注视特征分析模块基于眼动信号获取模块获取的判读人员眼动信号，基于高斯平滑算法、自适应矩形窗算法和阈值法形成当前注视图片上对应注视区分布图，统计各个注视区对应的注视时长，分析各个注视区的时间顺序，最终形成当前注视图片上对应的注视区、注视时长、注视时序。
5.如权利要求1所述的基于专家眼动信号指导的图像判读能力训练系统，其特征在于，数据存储模块存储图片判读训练模块刺激呈现所用图片库；并存储各个图片对应的专家和学员的注视区、注视时长、注视时序的数据，分别生成专家数据库和学员数据库，并存储专家指导模态下基于训练效果评估模块得到的学员训练效果评估结果至学员库。
6.如权利要求1所述的基于专家眼动信号指导的图像判读能力训练系统，其特征在于，训练效果评估模块针对同一图片，分析学员与专家在注视区、注视时长、注视时序三个指标上的差异，并对学员历次的训练效果做纵向比较，上述结果均作为对学员训练效果评估指标并保存至学员数据库。
7.如权利要求1所述的基于专家眼动信号指导的图像判读能力训练系统，其特征在于，结果可视化模块基于训练效果评估模块输出的学员与专家在注视区、注视时长、注视时序三个指标上的差异，将上述数值叠加显示在对应的图片上。
8.一种基于专家眼动信号指导的图像判读能力训练方法，其特征在于，包括如下步骤：
(1)眼动信号的特征获取和可视化；
(2)基于专家信号的判读能力训练。
9.如权利要求8所述的基于专家眼动信号指导的图像判读能力训练方法，其特征在于，步骤(1)中，眼动信号的特征获取和可视化具体包括如下步骤：
(11)完成基于红外摄像头的眼球追踪参数设置，并分别获取瞳孔和角膜反射斑，获得注视点对应的眼动坐标；
(12)进行注视点校准，在屏幕的上下左右四边的中点，以及屏幕的四角分别显示标定点，采集观察者注视标定点的时的眼动坐标，建立屏幕与眼动范围的映射关系；计算观察者注视点与标定点之间的偏差，当平均偏差小于视角1度时，完成校准工作，否则继续校准过程直至满足误差要求；
(13)眼动仪每隔2ms采样一次注视点坐落在图片内的坐标直至观察者按键结束当前图片观察；以500ms为时窗，采用高斯平滑算法生成该500ms时窗内的注视点分布热图；
(14)设定热图阈值，将低于阈值的注视点分布区域置零；将该图片观察时间内的各个500ms的时窗的注视点热图叠加，得到该图片对应的注视点叠加热图；
(15)得到上述注视点叠加热图内各个连通区域中x，y坐标的最大值和最小值；定义每个连通区域的最小外接矩形框，即矩形框左上角坐标由该区域的最小x坐标和最小y坐标组成；矩形框的长为最大x坐标减最小x坐标；矩形框的宽为最大y坐标减最小y坐标，利用上述自适应矩形窗算法计算邻近的注视点连通区域的面积；设定面积阈值，将面积大于阈值的矩形区域定义为注视区，以该区域的中心为注视区坐标，以该坐标为圆心，以固定半径画圆，生成当前观察图片所对应的注视区分布图；
(16)基于(15)得到的注视区坐标，以该坐标对应的注视区分布区域内的注视时长总和为半径画圆，生成该图片对应的注视区时长分布图；
(17)基于(15)得到的注视区坐标，获取该坐标对应的注视区分布区域的注视时刻，按时间顺序连接各个注视区分布区域，并在注视区域周围显示该区域对应的注视顺序，生成该图片对应的注视区时序分布图。
10.如权利要求8所述的基于专家眼动信号指导的图像判读能力训练方法，其特征在于，步骤(2)中，基于专家信号的判读能力训练具体包括如下步骤：
(21)由专家对各幅图片进行判读，由眼动信号获取模块和注视特征分析模块获取专家对于每幅图片的注视区、注视时长、注视时序信号，由数据存储模块将上述数据保存至专家数据库；
(22)由学员对各幅图片进行判读，首先使用学员练习模态由学员自行练习，由眼动信号获取模块和注视特征分析模块获取学员对于每幅图片的注视区、注视时长、注视时序信号，由数据存储模块将上述学员练习数据保存至学员数据库；
(23)当用户选择专家指导模态，系统将基于专家数据对学员进行指导，系统调取数据存储模块中学员和专家数据库中保存的学员和专家数据，将学员和专家的注视区、注视时长、注视时序的分析结果利用结果可视化模块在对应的图片上叠加显示，学员根据自身数据与专家数据之间的差异，进行判读技术的学习。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011434308.9A CN112735192A (zh) | 2020-12-10 | 2020-12-10 | 一种基于专家眼动信号指导的图像判读能力训练系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011434308.9A CN112735192A (zh) | 2020-12-10 | 2020-12-10 | 一种基于专家眼动信号指导的图像判读能力训练系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112735192A true CN112735192A (zh) | 2021-04-30 |
Family
ID=75598719
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011434308.9A Pending CN112735192A (zh) | 2020-12-10 | 2020-12-10 | 一种基于专家眼动信号指导的图像判读能力训练系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112735192A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113805695A (zh) * | 2021-08-26 | 2021-12-17 | 东北大学 | 阅读理解水平的预测方法及装置、电子设备和存储介质 |
| CN115273600A (zh) * | 2022-07-27 | 2022-11-01 | 山东心法科技有限公司 | 一种飞行员驾驶技能智能辅助训练方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105069304A (zh) * | 2015-08-18 | 2015-11-18 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种基于机器学习的评估预测asd的方法 |
| CN107515677A (zh) * | 2017-08-31 | 2017-12-26 | 杭州极智医疗科技有限公司 | 注意力检测方法、装置和存储介质 |
| CN107519622A (zh) * | 2017-08-21 | 2017-12-29 | 南通大学 | 基于虚拟现实与眼动追踪的空间认知康复训练系统和方法 |
| CN107929007A (zh) * | 2017-11-23 | 2018-04-20 | 北京萤视科技有限公司 | 一种利用眼动追踪和智能评估技术的注意力和视觉能力训练系统及方法 |
| TW202020625A (zh) * | 2018-11-25 | 2020-06-01 | 國立臺灣師範大學 | 一種眼動凝視之即時辨識方法及採用該方法之眼動凝視即時辨識系統 |
| CN111325109A (zh) * | 2020-01-22 | 2020-06-23 | 福建中医药大学 | 一种注意力训练方法 |
-
2020
- 2020-12-10 CN CN202011434308.9A patent/CN112735192A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105069304A (zh) * | 2015-08-18 | 2015-11-18 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种基于机器学习的评估预测asd的方法 |
| CN107519622A (zh) * | 2017-08-21 | 2017-12-29 | 南通大学 | 基于虚拟现实与眼动追踪的空间认知康复训练系统和方法 |
| CN107515677A (zh) * | 2017-08-31 | 2017-12-26 | 杭州极智医疗科技有限公司 | 注意力检测方法、装置和存储介质 |
| CN107929007A (zh) * | 2017-11-23 | 2018-04-20 | 北京萤视科技有限公司 | 一种利用眼动追踪和智能评估技术的注意力和视觉能力训练系统及方法 |
| TW202020625A (zh) * | 2018-11-25 | 2020-06-01 | 國立臺灣師範大學 | 一種眼動凝視之即時辨識方法及採用該方法之眼動凝視即時辨識系統 |
| CN111325109A (zh) * | 2020-01-22 | 2020-06-23 | 福建中医药大学 | 一种注意力训练方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113805695A (zh) * | 2021-08-26 | 2021-12-17 | 东北大学 | 阅读理解水平的预测方法及装置、电子设备和存储介质 |
| CN113805695B (zh) * | 2021-08-26 | 2024-04-05 | 深圳静美大健康科技有限公司 | 阅读理解水平的预测方法及装置、电子设备和存储介质 |
| CN115273600A (zh) * | 2022-07-27 | 2022-11-01 | 山东心法科技有限公司 | 一种飞行员驾驶技能智能辅助训练方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107929007B (zh) | 一种利用眼动追踪和智能评估技术的注意力和视觉能力训练系统及方法 | |
| EP1799105B1 (en) | System and method for mental workload measurement based on rapid eye movement | |
| US7347818B2 (en) | Standardized medical cognitive assessment tool | |
| US20220044821A1 (en) | Systems and methods for diagnosing a stroke condition | |
| US20150079565A1 (en) | Automated intelligent mentoring system (aims) | |
| KR20080005798A (ko) | 모션트랙킹 기술과 증강현실 기법을 활용한 인지 및행동장애 재활 지원시스템 | |
| CN109925678A (zh) | 一种基于眼动追踪技术的训练方法、训练装置及设备 | |
| CN111292850A (zh) | 一种adhd儿童注意力智能康复系统 | |
| CN110197169A (zh) | 一种非接触式的学习状态监测系统及学习状态检测方法 | |
| KR102155309B1 (ko) | 인지 장애 예측 방법 및 이를 구현한 서버, 사용자 단말 및 어플리케이션 | |
| CN112735192A (zh) | 一种基于专家眼动信号指导的图像判读能力训练系统及方法 | |
| CN111325109A (zh) | 一种注意力训练方法 | |
| CN109044314A (zh) | 一种基于欧拉视频放大的非接触式心率监测方法 | |
| CN113470820A (zh) | 一种艾灸机器人智能控制方法 | |
| CN105224809A (zh) | 一种基于Kinect的自助体检系统及方法 | |
| CN115607153B (zh) | 一种基于眼动追踪的心理量表回答质量评估系统及方法 | |
| CN113521723B (zh) | 一种基于虚拟现实的认知功能评估系统及方法 | |
| CN111248851A (zh) | 一种视功能自测方法 | |
| CN109700472A (zh) | 一种疲劳检测方法、装置、设备和存储介质 | |
| CN110495895A (zh) | 一种基于眼动跟踪的疲劳检测方法与系统 | |
| CN111297378A (zh) | 一种注意力评估方法及系统 | |
| CN116229793A (zh) | 一种基于虚拟现实技术的培训考核系统 | |
| CN116211306A (zh) | 基于眼动和心电信号的心理健康自评估系统 | |
| Popelka et al. | Advanced map optimalization based on eye-tracking | |
| Augustyniak et al. | Assessment of electrocardiogram visual interpretation strategy based on scanpath analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210430 |
|
| RJ01 | Rejection of invention patent application after publication |