CN109712710A - 一种基于三维眼动特征的婴幼儿发育障碍智能评估方法 - Google Patents
一种基于三维眼动特征的婴幼儿发育障碍智能评估方法 Download PDFInfo
- Publication number
- CN109712710A CN109712710A CN201811504045.7A CN201811504045A CN109712710A CN 109712710 A CN109712710 A CN 109712710A CN 201811504045 A CN201811504045 A CN 201811504045A CN 109712710 A CN109712710 A CN 109712710A
- Authority
- CN
- China
- Prior art keywords
- optical axis
- dimensional
- eye movement
- binocular
- movement characteristics
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004424 eye movement Effects 0.000 title claims abstract description 77
- 230000008131 children development Effects 0.000 title claims abstract description 31
- 238000011156 evaluation Methods 0.000 title claims abstract description 23
- 230000003287 optical effect Effects 0.000 claims abstract description 81
- 210000001508 eye Anatomy 0.000 claims abstract description 25
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 239000000284 extract Substances 0.000 claims abstract description 6
- 238000004458 analytical method Methods 0.000 claims abstract description 5
- 238000004140 cleaning Methods 0.000 claims abstract description 5
- 230000004064 dysfunction Effects 0.000 claims abstract description 5
- 238000009412 basement excavation Methods 0.000 claims abstract description 4
- 238000003860 storage Methods 0.000 claims abstract description 4
- 210000003128 head Anatomy 0.000 claims description 24
- 230000000007 visual effect Effects 0.000 claims description 13
- 230000001815 facial effect Effects 0.000 claims description 12
- 210000003786 sclera Anatomy 0.000 claims description 12
- 210000004087 cornea Anatomy 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 9
- 208000029257 vision disease Diseases 0.000 claims description 9
- 206010028347 Muscle twitching Diseases 0.000 claims description 8
- 210000000744 eyelid Anatomy 0.000 claims description 8
- 208000012239 Developmental disease Diseases 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 230000000153 supplemental effect Effects 0.000 claims description 6
- 210000000216 zygoma Anatomy 0.000 claims description 6
- 208000004350 Strabismus Diseases 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 206010003805 Autism Diseases 0.000 claims description 3
- 208000020706 Autistic disease Diseases 0.000 claims description 3
- 208000020358 Learning disease Diseases 0.000 claims description 3
- 241000746998 Tragus Species 0.000 claims description 3
- 201000010099 disease Diseases 0.000 claims description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 3
- 230000008921 facial expression Effects 0.000 claims description 3
- 210000001061 forehead Anatomy 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 201000003723 learning disability Diseases 0.000 claims description 3
- 208000013521 Visual disease Diseases 0.000 claims description 2
- 230000008859 change Effects 0.000 claims description 2
- 238000003759 clinical diagnosis Methods 0.000 claims description 2
- 238000012986 modification Methods 0.000 claims description 2
- 230000004048 modification Effects 0.000 claims description 2
- 210000001747 pupil Anatomy 0.000 claims description 2
- 238000001228 spectrum Methods 0.000 claims description 2
- 238000012706 support-vector machine Methods 0.000 claims description 2
- 230000007547 defect Effects 0.000 claims 1
- 230000001537 neural effect Effects 0.000 claims 1
- 238000011161 development Methods 0.000 abstract description 9
- 230000018109 developmental process Effects 0.000 abstract description 9
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000007418 data mining Methods 0.000 abstract description 2
- 230000003930 cognitive ability Effects 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 5
- 230000004438 eyesight Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 208000006096 Attention Deficit Disorder with Hyperactivity Diseases 0.000 description 3
- 208000036864 Attention deficit/hyperactivity disease Diseases 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 208000015802 attention deficit-hyperactivity disease Diseases 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008133 cognitive development Effects 0.000 description 2
- 230000006998 cognitive state Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000003447 ipsilateral effect Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 201000009487 Amblyopia Diseases 0.000 description 1
- 241001416181 Axis axis Species 0.000 description 1
- 208000035976 Developmental Disabilities Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 208000029560 autism spectrum disease Diseases 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000004641 brain development Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 210000002189 macula lutea Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 206010029864 nystagmus Diseases 0.000 description 1
- 230000003565 oculomotor Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 230000021317 sensory perception Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000004382 visual function Effects 0.000 description 1
Landscapes
- Eye Examination Apparatus (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种基于三维眼动特征的婴幼儿发育障碍智能评估方法，该方法主要包括建立眼球光轴、双目视轴以及头眼间相对空间关系的双球体模型、三维眼动特征提取和婴幼儿发育障碍智能识别三个部分。双球体模型是从三维眼球数据推测光轴，结合对面部特征点的匹配，获得双目视轴以及头眼间的相对关系；三维眼动特征提取是指三维建模后得到新的眼动参数；婴幼儿发育障碍智能识别是指应用算法对海量眼动数据进行智能化清洗、存储、分析、挖掘与展示,得到典型参数与特定发育功能障碍存在的关联,从而判断障碍类型。本发明克服了眼动特征获取的局限性,应用数据挖掘和人工智能技术，为更加客观、全面地评价婴幼儿认知能力的发展提供了新的技术手段。
Description
技术领域
本发明涉及婴幼儿发育评估领域，特别是一种基于三维眼动特征的婴幼儿发育障碍智能 评估方法。
背景技术
视觉发育可塑性机制、眼球运动控制机制的研究一直是小儿眼科研究的热点。然而随着 视觉发育科学的进展，其临床应用已经从眼科(眼部疾病、斜视和弱视)越来越多地延伸和 交叉到发育儿科学领域。视觉是人类获取信息的主要渠道，在统合其它感知觉工作中有着重 要的作用。由于婴幼儿的语言和动作尚未完全成熟，因此在能够完整进行口语表达前，视觉 成为了解婴幼儿脑发育和认知发育水平的重要途径之一。
21世纪是脑科学时代，研究者尤其对儿童发育行为呈现浓厚的兴趣，目前孤独症谱系障 碍(autism spectrum disorders，ASD)、发育迟缓、视力障碍、注意缺陷多动障碍(attention deficit hyperactivity disorder，ADHD)、学习障碍等相关发育障碍已成临床热点，而准确、 便捷的评估技术是研究儿童发育障碍的核心。
在国外，关于眼动的研究非常广泛，从基础生理到认知水平以及应用水平，都有大量的 文献和书籍。眼动研究不但可以完整地还原被试者在各个任务界面下的注视轨迹，还可以通 过划分兴趣区分析被试者在各区域内容的关注度。近年来也有相关研究表明对眼动的研究已 经从对眼动表象的描述转入到内部加工机制特别是高级加工机制的揭示上，探索眼动指标在 视觉加工中是怎样体现的，以及视觉认知与眼动模式的关系等；因此通过三维眼动特征窥视 儿童早期甚至婴幼儿期发育和认知状态，并探究二者的深层联系和对应关系，进而转化为临 床上婴幼儿相关发育障碍的早期发现、早期诊断和早期干预的新技术方法。
眼动已广泛应用于学龄儿童、青少年及成人的行为和认知发育评估，但是关于婴幼儿这 个群体的眼动研究及其在发育障碍中的认识尚缺乏。对婴幼儿的评估和成年人有很大不同, 目前市面上的眼动研究很多只采用二维眼动数据来进行研究,而且在三维修正双目视轴的方 法的测量误差较本发明更大。成年人拥有较强的自我表达能力，可以在很大程度上准确描述 自己的感受，在接受仪器检测时也能够很好地进行主动配合。而接受视功能障碍评估与康复 的患儿往往仍处于婴幼儿时期，尚无法通过语言等形式进行准确的表达，且容易受恐惧、害 羞等情绪的影响不配合评估，即使采用仪器进行检测也效果不佳。由于这些问题的存在,则需 要建立专门针对婴幼儿的三维眼动特征模型。而且传统上医师可以展示特定的图形或动画， 对患儿进行视觉刺激，肉眼观察眼动，虽然简单易行，但只能对眼动进行比较粗略的了解， 无法准确客观地反映眼动情况,容易导致对发育障碍的诊断发生偏差。
发明内容
为了解决上述背景技术提出的技术问题，本发明旨在提供一种基于三维眼动特征的婴幼 儿发育障碍智能评估方法,利用该方法可以建立眼球光轴、双目视轴以及头眼间相对空间关系 建立三维眼动模型,并利用非约束捕获实现对婴幼儿的三维眼动特征参数进行提取,同时对 眼动数据进行清洗和大数据挖掘,对发育障碍进行识别。
为了实现上述技术目的，本发明的技术方案为：
一种基于三维眼动特征的婴幼儿发育障碍智能评估方法，具体包含如下步骤：
步骤1，通过三维眼球数据推测眼球光轴，结合对面部特征点的匹配，获得双目视轴以 及头眼间的相对关系；
步骤2，提取包括双目视轴交点与目标物体三维空间关系、双目视轴与面部法向量三维 空间关系和双目视轴与面部法向量在大范围目标物追踪过程中的夹角变化关系；
步骤3，对海量眼动数据进行智能化清洗、存储、分析、挖掘与展示，进而得到典型参 数与特定发育功能障碍存在的关联，从而判断障碍类型。
作为本发明一种基于三维眼动特征的婴幼儿发育障碍智能评估方法的进一步优选方案， 所述步骤1具体包含如下步骤:
步骤1.1，通过对巩膜与角膜的三维形貌测量，可分别拟合出2个部分重叠的球体，其 中，巩膜、角膜各自所在球体的球心连线即为眼球的光轴；
步骤1.2，通过RGB-D相机获得部分巩膜和角膜的上百个深度信息数据点,进而获得光轴 与双目视轴；
步骤1.3，选用具有显著三维空间特征,且不易受面部表情影像的标志点对被观测对象 头部姿态进行估计，由于额头易受头发遮挡，特征点均选取自眉弓以下的区域，其中，鼻梁 点、鼻尖点、下巴凸起、颧骨点基本处于头部的正面，为核心特征点；耳屏点、下巴角处于 面部的2侧，为辅助特征点，当核心特征点处于RGB-D相机观测视场内时，以核心特征点实 现头部姿态重构，当被观测对象头部偏转角度较大，遮挡部分核心特征点时，辅助特征点往 往处于较好的观测角度，此时可借由核心特征点与辅助特征点间的空间关系，实现对头部姿 态的推测，连接鼻梁点和下巴凸起点做三维空间中的一条直线，连接左右颧骨点做三维空间 中的另一条直线，过鼻尖点生成一条垂直于上述2条直线的向量，作为对头部正面法向量的 估计，则根据该法向量，可修正眼球模型得到的光轴，获得对双目双目视轴的准确估计，进 而通过双目视轴与头部正面法向量间的空间联动关系，对斜视、视场狭小等视功能障碍进行 评估；
步骤1.4、将步骤1.1、步骤1.2、步骤1.4结合起来，实现眼球光轴到双目视轴的精确 修正，进而建立一个精确的眼球光轴、双目视轴以及头眼间相对空间关系的模型。
作为本发明一种基于三维眼动特征的婴幼儿发育障碍智能评估方法的进一步优选方案， 在步骤2中，
根据面部的深度以及步骤1获取的眼球光轴、双目双目视轴以及头眼间相对空间关系的 模型,得到双目双目视轴交点与目标物体三维空间关系、双目双目视轴与面部法向量三维空间 关系和双目双目视轴与面部法向量在大范围目标物追踪过程中的夹角变化这三个新的三维眼 动参数。
作为本发明一种基于三维眼动特征的婴幼儿发育障碍智能评估方法的进一步优选方案， 眼动数据包含总注视次数、兴趣区内注视次数、注视持续时间、首次注视时间、凝视时间、 注视的空间密度、目标注视率、注视顺序、眼跳次数、眼跳幅度、回视型眼跳、方向改变型 眼跳、扫描持续时间、扫描路径长度、瞳孔直径变化、双目视轴交点与目标物体三维空间关 系、双目视轴与面部法向量在大范围目标物追踪过程中夹角变化、反向眼跳错误率、眼震、 凝视点数、反应探索评分。
作为本发明一种基于三维眼动特征的婴幼儿发育障碍智能评估方法的进一步优选方案， 所述步骤3具体包含如下步骤：
步骤4.1，采集和记录临床诊断明确的婴幼儿发育障碍，提取其三维眼动特征；
步骤4.2，采用聚类分析，将属性约简后的婴幼儿眼动数据加上专家的诊断结果标签， 形成可供后续分类器训练的标准样本；
步骤4.3，将标准样本送入支持向量机方法中进行训练，获取SVM模型,从而智能化地给 出对被观测对象是否存在发育障碍的判断；
步骤4.4，若出现对面部微表情等难以进行建模表述的信息的提取时,采用卷积神经网 络,训练后不仅能够学习到图像中的特征，并且完成对图像特征的提取和分类。
作为本发明一种基于三维眼动特征的婴幼儿发育障碍智能评估方法的进一步优选方案， 在步骤1.1中，双目双目视轴与眼球光轴存在一定的夹角,称为kappa角,该kappa角在水平 方向上的夹角为5°,垂直方向上的夹角为2～3°。
作为本发明一种基于三维眼动特征的婴幼儿发育障碍智能评估方法的进一步优选方案， 在步骤4.1中，婴幼儿发育障碍包含孤独症谱系障碍、发育迟缓、视力障碍、注意缺陷多动 障碍、学习障碍组。
作为本发明一种基于三维眼动特征的婴幼儿发育障碍智能评估方法的进一步优选方案， 在步骤4.2中，诊断结果标签为是否患病，若患病，其疾病类型及患病阶段。
本发明采用上述技术方案带来的有益效果：
1、本发明通过分析三维眼动特征窥视婴幼儿期的发育和认知状态,丰富了对发育本质的 理解；
2、本发明采用了非约束式捕捉眼动特征的方法,解决婴幼儿眼动数据获取的难题，降低 眼动研究的技术成本；
3、本发明建立了眼球光轴、双目视轴以及头眼间相对空间关系的模型,更加精准地获知 双目球体视觉关注点与目标物体之间的空间对应关系,从而提取出了不同于二维的三维眼动 特征；
4、本发明应用数据挖掘和人工智能技术，实现了对海量眼动数据进行典型参数与特定发 育障碍关联的识别,可以用于构建一个婴幼儿智能化地三维眼动评估平台，并应用在婴幼儿相 关发育障碍早期筛查、评估中，作为临床的辅助诊断方法，为个体化、精准训练与康复指导 提供依据，并推广运用到基层，以达到发育障碍的早期筛查和早期干预，实现功能康复的最 大化。
附图说明
图1是本发明的系统组成示意图；
图2(a)是简化的双球体眼球模型；
图2(b)是非约束式三维眼动特征捕获平台；
图2(c)是被观测对象面部三维特征点的选取；
图2(d)是基于三维特征点的头部姿势估计模型；
图2(e)是关于双目视轴交点与目标物体空间关系的评估模型；
图3是三维眼动数据的SVM分类器结构。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明：
如图1所示是本发明的系统组成示意图，包括建立眼球光轴、双目视轴以及头眼间相对 空间关系的模型、三维眼动特征提取和对眼动特征参数进行识别三个部分。
双球体模型可以从三维眼球数据推测光轴，结合对面部特征点的匹配，获得双目视轴以 及头眼间的相对关系；三维眼动特征提取是指在三维建模后,发现了三个新的眼动参数；婴幼 儿发育障碍智能识别是指应用算法对海量眼动数据进行智能化清洗、存储、分析、挖掘与展 示,得到典型参数与特定发育功能障碍存在的关联,从而判断障碍类型。
所述在国内实现对婴幼儿三维眼动特征的捕获,其非约束特性特别适合0-3岁低龄儿童, 解决了婴幼儿眼动数据获取的难题。所述非约束式捕获的平台搭建需采用RGB-D相机、显示 屏和主控计算机。其中显示屏正对被观测对象面部，可在计算机控制下显示静态图片或动态 画面，实现受控的视觉刺激。RGB-D相机与显示器大致处于同侧，观察被观测对象的面部， 同时获得深度与纹理信息。显示屏与RGB-D相机的空间关系可通过标定获得，且在设备安装 后保持固定。
其中建模的具体操作和依据如图3所示:
图2(a)展示了对人眼解剖模型简化后的双球体眼球模型。由于黄斑、中央凹深藏在眼球 内部，因此通常无法从外部对其进行观测从而直接获取双目视轴。但是从眼球的外部形貌是 可以推算其光轴的。这里我们近似认为巩膜所包含的眼球部分为一个圆球，而角膜则是另一 个较小圆球暴露在巩膜之外的部分。因此通过对巩膜与角膜的三维形貌测量，就可以分别拟 合出2个部分重叠的球体。而巩膜、角膜各自所在球体的球心连线即为眼球的光轴。由于中 央凹并不在人眼光轴轴线上，所以双目视轴与光轴方向存在一定的夹角,也称为kappa角。 Kappa角的取值因人而异，通常认为眼睛双目视轴与光轴在水平方向上的夹角大约为5°，垂 直方向上的夹角大约为2～3°。根据这一经验取值，只要获得了被观测对象眼球的光轴和头 部姿态，就可以很好地估计出其真正的双目视轴参数。
图2(b)展示了非约束式三维眼动特征捕获平台,其核心部件为RGB-D相机、显示屏以及 主控计算机。其中显示屏正对被观测对象面部，可在计算机控制下显示静态图片或动态画面， 实现受控的视觉刺激。RGB-D相机与显示器大致处于同侧，观察被观测对象的面部，同时获 得深度与纹理信息。其中纹理信息可借鉴传统的影像分析方法，提取二维眼动特征。显示屏 与RGB-D相机的空间关系可通过标定获得，且在设备安装后保持固定。基于非约束式捕 获,RGB-D相机就可以获得了部分巩膜和角膜的上百个深度信息数据点,由于任意4个点足以 确定球体的方程,从而可以拟合出巩膜和角膜各自所在的球体方程,可以获得光轴与双目视 轴。
根据上述模型,得到双目视轴交点与目标物体三维空间关系、双目视轴与面部法向量三 维空间关系和双目视轴与面部法向量在大范围目标物追踪过程中的夹角变化这三个新的三维 眼动参数,且进行医学论证后确实与婴幼儿发育功能障碍有关系。
图2(c)展示了被观测对象面部三维特征点的选取。由于Kappa角在垂直和水平2个方向 上并不一致，因此只有获得被观测对象的头部姿态，才能够实现光轴到双目视轴的精确修正。 选用具有显著三维空间特征,且不易受面部表情影像的标志点对被观测对象头部姿态进行估 计。由于额头易受头发遮挡，特征点均选取自眉弓以下的区域。其中鼻梁点、鼻尖点、下巴 凸起、颧骨点基本处于头部的正面，为核心特征点。耳屏点、下巴角处于面部的2侧，为辅 助特征点。当核心特征点处于RGB-D相机观测视场内时，以核心特征点实现头部姿态重构。 当被观测对象头部偏转角度较大，遮挡部分核心特征点时。辅助特征点往往处于较好的观测 角度。此时可借由核心特征点与辅助特征点间的空间关系，实现对头部姿态的推测。
图2(d)展示了基于三维特征点的头部姿势估计模型。连接鼻梁点和下巴凸起点做三维空 间中的一条直线，连接左右颧骨点做三维空间中的另一条直线。过鼻尖点生成一条垂直于上 述2条直线的向量，作为对头部正面法向量的估计。则根据该法向量，可以修正眼球模型得 到的光轴，获得对双目视轴的准确估计。且可以进而通过双目视轴与头部正面法向量间的空 间联动关系，对斜视、视场狭小等视功能障碍进行评估。
图2(e)展示了由上述图三中的(a)(b)(c)(d)中的原理整合而成的关于双目视轴交点与目 标物体空间关系的评估模型。
图3展示了三维眼动数据的SVM分类器结构。如图1所示,眼动参数与特定视功能障碍存 在关联,但是这并不意味着一定能够准确地基于眼动参数实现对视功能障碍的准确识别。参与 决策的参数越多，原理上类型识别的准确性就可以越高，但是确定各个参数间关系与权重的 工作量也就同步地呈几何量地增长。为了解决这一问题，我们需要采用一种适合三维眼动数 据的属性约简算法。我们可以采用类似聚类的这种方法进行约简。通过聚类完分析实现对三 维眼动数据的预分析后，就要进一步进行构建智能化的分类器。在这里，可以采用SVM的这 样方法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小 化，从而在样本量较少的情况下，也可以获得良好的训练效果。因此也设计了一种针对三维 眼动数据的SVM分类器。在训练阶段，来自三维眼动数据库的标准训练样本经过预处理与特 征提取，配合专业医师的评估结论，作为眼动分类器模型的训练输入参数。分类器的训练一 旦完成，则可以接收经过新采集得到且经过预处理的三维眼动数据，在没有人工参与的情况 下，智能化地给出对被观测对象是否存在视功能障碍的判断，对于存在视功能障碍的患儿， 还将进一步给出对疾病类型和发展阶段的评估结果。
在采集三维眼动特征的过程中,不仅能够获得被测对象面部的深度信息，还能够同步获得 其在可见光波段的成像结果。对成像数据进行分析，可以获得诸如微表情等额外的信息，从 而对三维深度信息形成很好的补充。这就涉及到二维图像特征的提取与分类。在这里，我们 可以采用卷积神经网络(Convolutional Neural Network，CNN)的这样方法，提供了一种端 到端的学习模型，模型中的参数可以通过传统的梯度下降方法进行训练，经过训练的卷积神 经网络能够学习到图像中的特征，并且完成对图像特征的提取和分类。作为神经网络领域的 一个重要研究分支，卷积神经网络的特点在于其每一层的特征都由上一层的局部区域通过共 享权值的卷积核激励得到。这一特点使得卷积神经网络相比于其他神经网络方法更适合应用 于图像特征的学习与表达。因而该方案特别适合对面部微表情等难以进行建模表述的信息的 提取。
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明 提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。
Claims (8)
1.一种基于三维眼动特征的婴幼儿发育障碍智能评估方法，其特征在于:具体包含如下步骤：
步骤1，通过三维眼球数据推测眼球光轴，结合对面部特征点的匹配，获得双目视轴以及头眼间的相对关系；
步骤2，提取包括双目视轴交点与目标物体三维空间关系、双目视轴与面部法向量三维空间关系和双目视轴与面部法向量在大范围目标物追踪过程中的夹角变化关系；
步骤3，对海量眼动数据进行智能化清洗、存储、分析、挖掘与展示，进而得到典型参数与特定发育功能障碍存在的关联，从而判断障碍类型。
2.根据权利要求1所述的一种基于三维眼动特征的婴幼儿发育障碍智能评估方法，其特征在于，所述步骤1具体包含如下步骤:
步骤1.1，通过对巩膜与角膜的三维形貌测量，可分别拟合出2个部分重叠的球体，其中，巩膜、角膜各自所在球体的球心连线即为眼球的光轴；
步骤1.2，通过RGB-D相机获得部分巩膜和角膜的上百个深度信息数据点,进而获得光轴与双目视轴；
步骤1.3，选用具有显著三维空间特征,且不易受面部表情影像的标志点对被观测对象头部姿态进行估计，由于额头易受头发遮挡，特征点均选取自眉弓以下的区域，其中，鼻梁点、鼻尖点、下巴凸起、颧骨点基本处于头部的正面，为核心特征点；耳屏点、下巴角处于面部的2侧，为辅助特征点，当核心特征点处于RGB-D相机观测视场内时，以核心特征点实现头部姿态重构，当被观测对象头部偏转角度较大，遮挡部分核心特征点时，辅助特征点往往处于较好的观测角度，此时可借由核心特征点与辅助特征点间的空间关系，实现对头部姿态的推测，连接鼻梁点和下巴凸起点做三维空间中的一条直线，连接左右颧骨点做三维空间中的另一条直线，过鼻尖点生成一条垂直于上述2条直线的向量，作为对头部正面法向量的估计，则根据该法向量，可修正眼球模型得到的光轴，获得对双目双目视轴的准确估计，进而通过双目视轴与头部正面法向量间的空间联动关系，对斜视、视场狭小等视功能障碍进行评估；
步骤1.4、将步骤1.1、步骤1.2、步骤1.4结合起来，实现眼球光轴到双目视轴的精确修正，进而建立一个精确的眼球光轴、双目视轴以及头眼间相对空间关系的模型。
3.根据权利要求2所述的一种基于三维眼动特征的婴幼儿发育障碍智能评估方法，其特征在于：在步骤2中，
根据面部的深度以及步骤1获取的眼球光轴、双目双目视轴以及头眼间相对空间关系的模型,得到双目双目视轴交点与目标物体三维空间关系、双目双目视轴与面部法向量三维空间关系和双目双目视轴与面部法向量在大范围目标物追踪过程中的夹角变化这三个新的三维眼动参数。
4.根据权利要求1所述的一种基于三维眼动特征的婴幼儿发育障碍智能评估方法，其特征在于，眼动数据包含总注视次数、兴趣区内注视次数、注视持续时间、首次注视时间、凝视时间、注视的空间密度、目标注视率、注视顺序、眼跳次数、眼跳幅度、回视型眼跳、方向改变型眼跳、扫描持续时间、扫描路径长度、瞳孔直径变化、双目视轴交点与目标物体三维空间关系、双目视轴与面部法向量在大范围目标物追踪过程中夹角变化、反向眼跳错误率、眼震、凝视点数、反应探索评分。
5.根据权利要求1所述的一种基于三维眼动特征的婴幼儿发育障碍智能评估方法，其特征在于，所述步骤3具体包含如下步骤：
步骤4.1，采集和记录临床诊断明确的婴幼儿发育障碍，提取其三维眼动特征；
步骤4.2，采用聚类分析，将属性约简后的婴幼儿眼动数据加上专家的诊断结果标签，形成可供后续分类器训练的标准样本；
步骤4.3，将标准样本送入支持向量机方法中进行训练，获取SVM模型,从而智能化地给出对被观测对象是否存在发育障碍的判断；
步骤4.4，若出现对面部微表情等难以进行建模表述的信息的提取时,采用卷积神经网络,训练后不仅能够学习到图像中的特征，并且完成对图像特征的提取和分类。
6.根据权利要求2所述的一种基于三维眼动特征的婴幼儿发育障碍智能评估方法，其特征在于，在步骤1.1中，双目双目视轴与眼球光轴存在一定的夹角,称为kappa角,该kappa角在水平方向上的夹角为5°,垂直方向上的夹角为2～3°。
7.根据权利要求5所述的一种基于三维眼动特征的婴幼儿发育障碍智能评估方法，其特征在于，在步骤4.1中，婴幼儿发育障碍包含孤独症谱系障碍、发育迟缓、视力障碍、注意缺陷多动障碍、学习障碍组。
8.根据权利要求5所述的一种基于三维眼动特征的婴幼儿发育障碍智能评估方法，其特征在于，在步骤4.2中，诊断结果标签为是否患病，若患病，其疾病类型及患病阶段。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810384663 | 2018-04-26 | ||
| CN2018103846636 | 2018-04-26 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109712710A true CN109712710A (zh) | 2019-05-03 |
| CN109712710B CN109712710B (zh) | 2023-06-20 |
Family
ID=66255606
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811504045.7A Active CN109712710B (zh) | 2018-04-26 | 2018-12-10 | 一种基于三维眼动特征的婴幼儿发育障碍智能评估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109712710B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110786868A (zh) * | 2019-10-18 | 2020-02-14 | 天津大学 | 一种面向asd筛查的非入侵式检测及眼动分析方法 |
| CN110970130A (zh) * | 2019-12-30 | 2020-04-07 | 段新 | 一种注意缺陷多动障碍的数据处理方法 |
| CN111528867A (zh) * | 2020-05-13 | 2020-08-14 | 湖州维智信息技术有限公司 | 用于儿童adhd筛查评估系统的表情特征向量确定方法 |
| CN111528859A (zh) * | 2020-05-13 | 2020-08-14 | 浙江大学人工智能研究所德清研究院 | 基于多模态深度学习技术的儿童adhd筛查评估系统 |
| CN111714080A (zh) * | 2020-06-30 | 2020-09-29 | 重庆大学 | 一种基于眼动信息的疾病分类系统 |
| CN111966724A (zh) * | 2020-06-29 | 2020-11-20 | 北京津发科技股份有限公司 | 基于人机交互界面区域自动识别技术的交互行为数据采集、分析方法及装置 |
| TWI831178B (zh) * | 2022-04-13 | 2024-02-01 | 國立中央大學 | 注意力不足過動症的分析裝置、診斷系統及分析方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB8701829D0 (en) * | 1986-01-28 | 1987-03-04 | Pavlidis G | Detecting dyslexia |
| CN105069304A (zh) * | 2015-08-18 | 2015-11-18 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种基于机器学习的评估预测asd的方法 |
| US20160262613A1 (en) * | 2013-10-17 | 2016-09-15 | Children's Healthcare Of Atlanta, Inc. | Systems and methods for assessing infant and child development via eye tracking |
-
2018
- 2018-12-10 CN CN201811504045.7A patent/CN109712710B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB8701829D0 (en) * | 1986-01-28 | 1987-03-04 | Pavlidis G | Detecting dyslexia |
| US20160262613A1 (en) * | 2013-10-17 | 2016-09-15 | Children's Healthcare Of Atlanta, Inc. | Systems and methods for assessing infant and child development via eye tracking |
| CN105069304A (zh) * | 2015-08-18 | 2015-11-18 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种基于机器学习的评估预测asd的方法 |
Non-Patent Citations (2)
| Title |
|---|
| 孙宾宾等: "孤独症谱系障碍儿童动态眼动系统预测模型建立研究", 《中国实用儿科杂志》 * |
| 李婷婷等: "南京市学龄前儿童发育性眼动评估本土化常模的研究", 《中国儿童保健杂志》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110786868A (zh) * | 2019-10-18 | 2020-02-14 | 天津大学 | 一种面向asd筛查的非入侵式检测及眼动分析方法 |
| CN110970130A (zh) * | 2019-12-30 | 2020-04-07 | 段新 | 一种注意缺陷多动障碍的数据处理方法 |
| CN111528867A (zh) * | 2020-05-13 | 2020-08-14 | 湖州维智信息技术有限公司 | 用于儿童adhd筛查评估系统的表情特征向量确定方法 |
| CN111528859A (zh) * | 2020-05-13 | 2020-08-14 | 浙江大学人工智能研究所德清研究院 | 基于多模态深度学习技术的儿童adhd筛查评估系统 |
| CN111528859B (zh) * | 2020-05-13 | 2023-04-18 | 浙江大学人工智能研究所德清研究院 | 基于多模态深度学习技术的儿童adhd筛查评估系统 |
| CN111966724A (zh) * | 2020-06-29 | 2020-11-20 | 北京津发科技股份有限公司 | 基于人机交互界面区域自动识别技术的交互行为数据采集、分析方法及装置 |
| CN111714080A (zh) * | 2020-06-30 | 2020-09-29 | 重庆大学 | 一种基于眼动信息的疾病分类系统 |
| TWI831178B (zh) * | 2022-04-13 | 2024-02-01 | 國立中央大學 | 注意力不足過動症的分析裝置、診斷系統及分析方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109712710B (zh) | 2023-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109712710A (zh) | 一种基于三维眼动特征的婴幼儿发育障碍智能评估方法 | |
| CN106037627B (zh) | 一种婴幼儿全自动视力检查方法及装置 | |
| Richter et al. | Distinct neural mechanisms underlie the success, precision, and vividness of episodic memory | |
| US20140364761A1 (en) | An apparatus and method for psychiatric evaluation | |
| CN110428908B (zh) | 一种基于人工智能的眼睑运动功能评估系统 | |
| CN111933275A (zh) | 一种基于眼动与面部表情的抑郁评估系统 | |
| US20210045628A1 (en) | Methods, systems, and computer readable media for testing visual function using virtual mobility tests | |
| Ong et al. | Neuro-ophthalmic imaging and visual assessment technology for spaceflight associated neuro-ocular syndrome (SANS) | |
| Zhang et al. | A human-in-the-loop deep learning paradigm for synergic visual evaluation in children | |
| CN106725531A (zh) | 基于视线的儿童专注力测试分析系统和方法 | |
| CN114816060A (zh) | 基于视觉追踪的用户注视点估计和精度评估方法 | |
| CN205866721U (zh) | 一种婴幼儿全自动视力检查装置 | |
| Garcia-Marin et al. | Patch-based CNN for corneal segmentation of AS-OCT images: Effect of the number of classes and image quality upon performance | |
| KR101955293B1 (ko) | 시각 피로도 분석 장치 및 그 방법 | |
| CN110403631A (zh) | 一种基于连续超声图像的无创颅内压测量方法 | |
| CN105608675A (zh) | 一种眼底组织oct图像运动伪差的矫正方法 | |
| CN108665474A (zh) | 一种基于b-cosfire的眼底图像视网膜血管分割方法 | |
| Domic-Siede et al. | A Visuospatial Planning Task Coupled with Eye-Tracker and Electroencephalogram Systems | |
| Kepler et al. | Biomechanical modelling of the human eye | |
| CN113011286B (zh) | 基于视频的深度神经网络回归模型的斜视判别方法及系统 | |
| Pascolo et al. | Dynamical models of the human eye and strabismus | |
| Molina et al. | Concurrent Multimodal Data Acquisition During Brain Scanning is within Reach | |
| Kosikowski et al. | Computer based system for strabismus and amblyopia therapy | |
| Soto | Examining Face-Sensitive Brain Potentials in Natural Environments Using Mobile EEG | |
| Ather | Imaging the visual pathway in human albinism |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |