CN109820524B - 基于fpga的自闭症眼动特征采集与分类可穿戴系统 - Google Patents
基于fpga的自闭症眼动特征采集与分类可穿戴系统 Download PDFInfo
- Publication number
- CN109820524B CN109820524B CN201910221972.6A CN201910221972A CN109820524B CN 109820524 B CN109820524 B CN 109820524B CN 201910221972 A CN201910221972 A CN 201910221972A CN 109820524 B CN109820524 B CN 109820524B
- Authority
- CN
- China
- Prior art keywords
- glasses
- frame
- layer
- eye
- autism
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 206010003805 Autism Diseases 0.000 title claims abstract description 60
- 208000020706 Autistic disease Diseases 0.000 title claims abstract description 60
- 230000004424 eye movement Effects 0.000 title claims abstract description 20
- 239000011521 glass Substances 0.000 claims abstract description 107
- 238000012545 processing Methods 0.000 claims abstract description 34
- 230000006870 function Effects 0.000 claims abstract description 8
- 210000001508 eye Anatomy 0.000 claims description 68
- 238000013528 artificial neural network Methods 0.000 claims description 40
- 230000004418 eye rotation Effects 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 20
- 210000002569 neuron Anatomy 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 16
- 210000005252 bulbus oculi Anatomy 0.000 claims description 15
- 238000000034 method Methods 0.000 claims description 13
- 238000009432 framing Methods 0.000 claims description 10
- 208000024891 symptom Diseases 0.000 claims description 9
- 210000003128 head Anatomy 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 230000008451 emotion Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 238000007635 classification algorithm Methods 0.000 claims description 2
- 239000004020 conductor Substances 0.000 claims description 2
- 210000005069 ears Anatomy 0.000 claims description 2
- 230000005284 excitation Effects 0.000 claims description 2
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims 2
- 239000002904 solvent Substances 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 13
- 230000004379 myopia Effects 0.000 description 4
- 208000001491 myopia Diseases 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 208000029560 autism spectrum disease Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 206010020675 Hypermetropia Diseases 0.000 description 1
- 208000012202 Pervasive developmental disease Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000004305 hyperopia Effects 0.000 description 1
- 201000006318 hyperopia Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
Images
Abstract
本发明提供了一种基于FPGA的自闭症眼动特征采集与分类可穿戴系统，首先给出了该可穿戴系统的结构，包括可拆卸式眼镜框架、夹片组、数据采集模块、数据分类模块、结果显示模块、电源模块以及内部导线几个部件，并给出了上述各部件之间的连接关系以及作用，通过使用简单的可穿戴式系统和移动终端快速采集自闭症眼动特征，并由此进行自闭症分类，移动终端中的客户端实时显示分类结果。本发明提供的可穿戴系统可有效降低被测者对传统医学仪器的抵触心理，并且该可穿戴式仪器轻便简洁，通用性强，采用FPGA作为处理平台，使得数据处理效果好、工作性能高。
Description
技术领域
本发明涉及电子设备技术领域，尤其涉及一种基于FPGA的自闭症眼动特征采集与分类可穿戴系统。
背景技术
自闭症是广泛性发育障碍的一种亚型。目前眼球的凝视行为已成为自闭症检测的重要依据之一。但现有医学仪器存在数据采集不易，数据分析较复杂，易受环境影响等问题。
随着眼镜的普及，眼镜已不限于近视或远视者佩戴，其已成为一种装饰，人们对眼镜的接受度也越来高。因此将自闭症眼动特征采集与分类系统做成眼镜式的可穿戴结构是一种很好的选择。
鉴于一般眼镜结构的主要承重在使用者的鼻梁上，本发明提供的基于FPGA的自闭症眼动特征采集与分类可穿戴系统特将较重模块嵌在镜腿，能有效缓解鼻梁上的压力，避免使用者感到不适，该系统采用穿戴方式的主要目的之一就是让患有视力问题的被测者可以在佩戴原有眼镜时进行检测，方便使用，其可适用于各种型号眼镜，成人儿童均可使用。该系统追踪视线方便快捷，对被测者的影响较小，可以根据眼球凝视数据提取特征值，并送入现场可编程门阵列(FPGA)处理，为自闭症诊断提供参考。
发明内容
本发明目的在于提供一种基于FPGA的可穿戴系统，用于采集并处理自闭症特征数据。考虑到目前患有近视的人数较多，使用传统眼镜式眼球追踪器会给近视眼镜佩戴者带来极大不便，而使用本发明的基于FPGA的自闭症眼动特征采集与分类可穿戴系统，被测者可根据自身佩戴的眼镜大小或头部大小调整可穿戴系统的外观，从而满足近视眼镜佩戴者以及视力正常者佩戴的通用性。
为满足上述目的，本发明采用如下技术方案：
一种基于FPGA的自闭症眼动特征采集与分类可穿戴系统包括：可拆卸式眼镜框架、夹片组、内部导线、数据采集模块、数据分类模块、结果显示模块以及电源模块；
所述可拆卸式眼镜框架，用于安装数据采集模块、数据分类模块、结果显示模块、电源模块以及内部导线，并根据被测者自身佩戴的眼镜大小或头部大小调整可拆卸式眼镜框架的外观，以满足近视眼镜佩戴者或视力正常佩戴者的需求；
所述夹片组配合使用，用于将被测者自身佩戴的眼镜固定连接在所述可拆卸式眼镜框架上；
所述内部导线内置于可拆卸式眼镜框架中，用于连接数据采集模块、数据分类模块、结果显示模块和电源模块；
所述数据采集模块，用于采集被测者前方的外部环境视频流数据和被测者左、右眼转动和凝视视频流数据，并将其通过内部导线传输给数据分类模块；
所述数据分类模块，用于对外部环境视频流数据和左、右眼转动和凝视视频流数据进行特征提取，并将提取的特征代入预先训练好的分类器进行分类后得到自闭症分类结果；
所述结果显示模块，用于通过所述结果显示模块内置的蓝牙芯片将所述自闭症分类结果传送给结果显示模块，并显示在手机界面上；
所述电源模块，通过内部导线与数据采集模块、数据分类模块以及结果显示模块相连接，为可穿戴系统的运行提供电能。
进一步地，一种基于FPGA的自闭症眼动特征采集与分类可穿戴系统包括：可拆卸式眼镜框架、夹片组、数据采集模块、数据分类模块、结果显示模块、电源模块以及内部导线；
所述可拆卸式眼镜框架包括伸缩装置、鼻托、镜腿，
所述伸缩装置包括连接器和眼镜支架，所述连接器用于连接左、右镜片夹；所述眼镜支架的长度可调节以适应不同被测者头部大小及自身佩戴习惯；
所述鼻托可折叠，用于根据被测者佩戴眼镜与否调节鼻托的折叠状态；
所述镜腿可拆卸，用于根据被测者佩戴眼镜与否调节镜腿的拆卸状态；
所述夹片组包括镜片夹和镜腿夹，
所述镜片夹包括左镜片夹、右镜片夹，用于在被测者佩戴眼镜时分别夹持被测者佩戴的眼镜的左、右镜片；
所述镜腿夹包括左、右两个镜腿夹，分别位于所述眼镜支架的左、右两侧，用于在被测者佩戴眼镜时将被测者佩戴的眼镜的镜腿与眼镜支架固定连接；
所述夹片组配合使用，用于将被测者所佩戴的眼镜固定连接在所述可拆卸式眼镜框架上；
所述数据采集模块包括1个前置摄像头和2个内置摄像头，
所述1个前置摄像头用于拍摄被测者前方的外部环境视频流数据；
所述2个内置摄像头包括第一眼球摄像头和第二眼球摄像头，分别对应于被测者的左右两眼设置，各自拍摄左眼转动和凝视视频流数据，以及右眼转动和凝视视频流数据；
所述数据分类模块包括FPGA芯片和DSP核，
所述FPGA芯片中内置的预设特征分类算法，用于对被测者的外部环境视频流数据和左、右眼转动和凝视视频流数据进行特征提取以及对提取出的特征首先进行预处理和控制器处理；
所述DSP核然后将进行了预处理和控制器处理的特征进行首次注视前时间、注视时间和首次注视持续时间3类眼部特征提取，并将所述3类眼部特征和由眼动仪中的软件包自动提取的前注视点数目、注视次数这2类眼部特征共同用于进行自闭症分类；
所述结果显示模块包括蓝牙芯片和手机端APP，
所述蓝牙芯片与手机蓝牙相连接，用于将数据分类模块得到的自闭症分类结果传送给结果显示模块；
所述手机端APP用于显示自闭症分类结果；
所述电源模块包括USB接口和电源，
所述USB接口用于连接所述电源模块与外界电源，通过外界电源向所述电源模块进行充电；
所述电源用于为可穿戴系统的运行提供电能以及在外界电源向所述电源模块充电时存储外界电源输送至所述可穿戴系统的电能；
所述内部导线包括电源线和数据线，
所述电源线分别连接到所述2个内置摄像头、1个前置摄像头、数据采集模块、数据分类模块以及结果显示模块，为所述可穿戴系统的运行提供电能；
所述数据线用于将所述可穿戴系统的2个内置摄像头、1个前置摄像头、数据采集模块、数据分类模块以及结果显示模块连接起来，保证所述可穿戴系统正常工作。
本发明提供了一种基于FPGA的自闭症眼动特征采集与分类可穿戴系统，通过使用简单的可穿戴式系统和移动终端可以快速采集自闭症眼动特征，并由此进行自闭症分类，移动终端中的客户端可实时显示分类结果。本发明提供的可穿戴系统可有效降低儿童被测者对于传统医学仪器的抵触心理；并且提供的两种穿戴方式充分考虑了被测者是否自身佩戴有眼镜的情况，既能满足视力正常者的使用，更能满足眼镜佩戴者的使用，具有通用性；该可穿戴式仪器轻便简洁，方便携带；同时，采用FPGA作为处理平台，使得数据处理效果好、工作性能高。
附图说明
图1是本发明的基于FPGA的自闭症眼动特征采集与分类的可穿戴式系统的模块组成
图2是本发明的可穿戴式系统的眼镜框架
图3是本发明的眼镜框架组成示意图
图4是本发明的可穿戴式系统的眼球摄像头
图5是本发明的可穿戴式系统的前置摄像头
图6是本发明的可穿戴式系统在使用者佩戴眼镜情况下的组成，此图为可穿戴式系统的后视图
图7是本发明的可穿戴式系统在使用者未佩戴眼镜情况下的组成
图8是本发明的可穿戴式系统的数据分类模块
图9是本发明的可穿戴式系统的电源模块
图10是本发明的可穿戴式系统中导线示意图
图11是本发明的可穿戴式系统中电源模块和数据分类模块都位于带有齿轮滑道的框架支条示意
图12是本发明的可穿戴式系统在使用者佩戴眼镜情况下的组成，此图为可穿戴式系统的整体示意图
图13是本发明的可穿戴式系统各项模块的具体组成
图14是本发明的可穿戴式系统的整体工作流程图
图15是本发明的可穿戴式系统特征提取与分类的深度神经网络的示意图
图16是本发明的可穿戴式系统中深度神经网络的组成示意
图17是本发明的可穿戴式系统的FPGA用于特征提取与分类的示意图
图18是本发明的可穿戴式系统与手机蓝牙的连接示意图
图19是本发明的可穿戴式系统的特征数据查看示意图
图20是本发明的可穿戴式系统的分类结果
具体实施方式
为使本发明目的，实施方式，技术方案及优点更加清楚明白，以下结合附图及具体实施方式，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅以用以解释本发明，并不用于限定本发明。
一种基于FPGA的自闭症眼动特征采集与分类可穿戴系统，参阅图1、13，其包括可拆卸式眼镜框架、夹片组、数据采集模块、数据分类模块、结果显示模块、电源模块901、内部导线，如图2、3所示，所述可拆卸式眼镜框架包括伸缩装置、鼻托303、镜腿304，所述伸缩装置包括连接器201和眼镜支架202，所述连接器201用于连接左、右镜片夹301和302，所述眼镜支架202的长度可调节以适应不同被测者头部大小及自身佩戴习惯；所述鼻托303可折叠，用于根据被测者佩戴眼镜与否调节鼻托的折叠状态；所述镜腿304可拆卸，用于根据被测者佩戴眼镜与否调节镜腿的拆卸状态；
所述夹片组包括镜片夹和镜腿夹；所述镜片夹包括左镜片夹301、右镜片夹302，用于在被测者佩戴眼镜时分别夹持被测者佩戴的眼镜的左、右镜片；所述镜腿夹包括左、右两个镜腿夹602，分别位于所述眼镜支架202的左、右两侧，用于在被测者佩戴眼镜时将被测者佩戴的眼镜的镜腿与眼镜支架202固定连接；所述夹片组配合使用，用于将被测者所佩戴的眼镜固定连接在所述可拆卸式眼镜框架上；
所述数据采集模块包括1个前置摄像头和2个内置摄像头，
所述1个前置摄像头用于拍摄被测者前方的外部环境视频流数据；
所述2个内置摄像头包括第一眼球摄像头401和第二眼球摄像头402，分别对应于被测者的左右两眼设置，各自拍摄左眼转动和凝视视频流数据，以及右眼转动和凝视视频流数据；
如图1、8所示，所述数据分类模块801包括内置的FPGA芯片和DSP核，
首先，所述数据分类模块将所述数据采集模块所采集到的外部环境视频流数据和左、右眼转动和凝视视频流数据进行分帧处理，每秒15帧图像，得到分帧图像；然后所述数据分类模块采用FPGA芯片和DSP核协同作业的架构，利用特征提取算法对所述分帧图像提取特征值，将提取出的所述特征值首先导入FPGA芯片进行预处理和控制器处理，然后导入DSP核进行3类眼部特征提取，即提取首次注视前时间、注视时间、首次注视持续时间，并将5类眼部特征组合，即将上述3类眼部特征和由Tobii120眼动仪中的软件包自动提取的前注视点数目、注视次数这2类眼部特征共同输入由TensorFlow所生成的深度神经网络的全连接层，进行自闭症分类处理。
所述结果显示模块包括蓝牙芯片和手机端APP，
所述蓝牙芯片与手机蓝牙相连接，用于将数据分类模块得到的自闭症分类处理结果传送给结果显示模块；
所述手机端APP用于显示上述自闭症分类处理结果；
如图9所示，所述电源模块901包括USB接口902和电源，
所述USB接口902用于连接所述电源模块901与外界电源，通过外界电源向所述电源模块901进行充电；
所述电源用于为可穿戴系统的运行提供电能以及在外界电源向所述电源模块901充电时存储外界电源输送至所述可穿戴系统的电能。
如图10所示，所述内部导线内置于眼镜框架中，包括数据线和电源线，
所述电源模块901通过所述电源线分别连接到所述2个内置摄像头、1个前置摄像头、数据采集模块、数据分类模块以及结果显示模块，为所述可穿戴系统的运行提供电能；参阅图10，整个可穿戴系统通过所述数据线连接2个内置摄像头、1个前置摄像头、数据采集模块、数据分类模块以及结果显示模块，保证可穿戴系统的正常工作。
如图5所示，所述数据采集模块中的1个前置摄像头固定镶嵌在所述可拆卸式眼镜框架的连接器201的中间位置；如图4所示，2个内置摄像头401和402分别内置于左、右镜片夹301和302中；如图11所示，所述数据分类模块和所述电源模块分别位于所述可拆卸式眼镜框架的眼镜支架202的两侧，所述眼镜支架202带有齿轮滑道1101，被测者可在眼镜支架202上滑动所述数据分类模块或所述电源模块，从而找到佩戴的舒适位置，并保持整个可穿戴系统的平衡。
如图3、7所示，当被测者未佩戴眼镜时，由于原有的可拆卸式眼镜框架没有镜片，所以不便于直接佩戴在被测者头部，因此需要在眼镜支架202上设置左、右两个平光镜片，分别由左镜片夹301和右镜片夹302所夹持，两个可折叠的鼻托303置于被测者鼻梁上，并且所述可拆卸式眼镜框架中的两个可拆卸的镜腿304置于被测者耳朵上，以此佩戴所述可拆卸式眼镜框架。
如图6、12所示，当被测者自身佩戴眼镜601时，将所述可拆卸式眼镜框架中的两个可折叠的鼻托303向上折叠，将两个可拆卸的镜腿304拆卸不用，左、右镜片夹301和302用于分别夹持被测者佩戴的眼镜601的左、右镜片，左、右两个镜腿夹602将被测者佩戴的眼镜601的镜腿与眼镜支架202固定连接，以此将被测者佩戴的眼镜601固定连接在所述可拆卸式眼镜框架上并进行佩戴。
参阅图17，先在PC端采用tensorflow对图15所示的神经网络进行训练，之后使用测试集进行测试，测试的正确率达到99％以上，然后将上述训练好的神经网络结构参数导入图15所示的神经网络。
参阅图18，为所述可穿戴系统与手机的蓝牙相连接的示意图。
参阅图19，为所述可穿戴系统通过手机的蓝牙将获取到的5类眼部特征传输到手机中的客户端的示意图。
参阅图20，为所述可穿戴系统将自闭症分类处理结果显示在手机中的客户端上的示意图。
所述可穿戴系统整体工作流程如图14所示，
用户在手机上启动已安装的手机端APP，开始自闭症眼动特征采集与分类操作；
被测者佩戴可拆卸式眼镜框架，通过所述可拆卸式眼镜框架中的1个前置摄像头采集外部环境视频流数据，同时通过所述可拆卸式眼镜框架中的2个内置摄像头分别采集左、右眼转动和凝视视频流数据；其中，所述外部环境视频流数据包括被测者所视物体以及被测者与人交流的画面；左、右眼转动和凝视视频流数据是针对传统医学诊断仪器的不足，根据被测者在观察物体、与人交流时的眼球注视时间和注视轨迹等显著特性采集得到的；
判断采集的所述外部环境视频流数据和左、右眼转动和凝视视频流数据是否均为有效数据：若是，采用所述数据分类模块对采集的所述外部环境视频流数据和所述左、右眼转动和凝视视频流数据进行特征提取和分类处理分析；若否，则继续通过所述可拆卸式眼镜框架中的1个前置摄像头采集外部环境视频流数据，同时通过所述可拆卸式眼镜框架中的2个内置摄像头分别采集左、右眼转动和凝视视频流数据；
所述特征提取和分类处理分析的方法包括：首先，所述数据分类模块将所述数据采集模块所采集到的当前外部环境视频流数据和当前左、右眼转动和凝视视频流数据进行分帧处理，每秒15帧图像，得到当前分帧图像；然后所述数据分类模块采用FPGA芯片和DSP核协同作业的架构，利用特征提取算法对所述当前分帧图像提取特征值，将提取出的特征值首先导入FPGA芯片进行预处理和控制器处理，然后导入DSP核进行3类眼部特征提取，即提取首次注视前时间、注视时间、首次注视持续时间，并将5类眼部特征组合，即将上述3类眼部特征和由Tobii120眼动仪中的软件包自动提取的前注视点数目、注视次数这2类眼部特征共同输入全连接层，进行自闭症分类处理。
通过所述结果显示模块内置的蓝牙芯片将自闭症分类处理结果传送给结果显示模块，并显示在手机端APP上；
结束本次自闭症眼动特征采集与分类操作，并关闭手机端APP。
所述数据分类模块的特征提取和分类处理分析方法基于深度神经网络，具体包括如下步骤：
S1)设计深度神经网络的结构图：
如图15、16所示，所述深度神经网络包括输入层、特征提取层、特征组合层和全连接层，其中全连接层包括全连接输入层、全连接中间隐含层和全连接输出层。
S11)输入层：共设置512×512个神经元，预输入的分帧图像尺寸为512×512×3，即输入分帧图像大小为512×512，即水平方向有512个像素点，垂直方向有512个像素点，分帧图像的深度为3，即共有3个通道，分别为代表红色的R通道、代表绿色的G通道和代表蓝色的B通道。
S12)特征提取层：设置卷积核的大小为3×3，卷积核移动步长为1，所述卷积核对从输入层输出的分帧图像处理后，得到输出特征图像，对所述输出特征图像进一步采用ReLu函数作为激励函数处理、并采用最大池化(maxpooling)对经过ReLu函数处理之后的所述输出特征图像进行特征提取，得到首次注视前时间、注视时间和首次注视持续时间这3类眼部特征，其中，该ReLu函数f(x)表示为：
f(x)＝max(0,x)(2)
其中，x表示所述输出特征图像；
S13)特征组合层：将所述特征提取层中提取的3类眼部特征与由Tobii 120眼动仪中的软件包Tobii兴趣区自动提取的前注视点数目和注视次数这2类眼部特征相组合，最终得到用于辅助诊断自闭症的5类眼部特征。运用三帧差法，每帧图像共获取5类眼部特征，故该特征组合层共15个锁存单元，分3组，这是由于每帧图像共5类眼部特征，并且三帧差法中每帧图像要和前后两帧图像进行比较，也就是前后提取的两帧图像要保存，前后两帧图像每帧图像有5类眼部特征，共10类眼部特征，当前帧提取5类眼部特征，前、当前和后三帧加起来共15个眼部特征。将上述得到的眼部特征分时锁存到对应的组中，即每次锁存使用3个锁存单元，用于锁存同一类眼部特征，然后轮询，将3个锁存单元中的对应值进行相或操作，5类眼部特征最终得到5组值，送给全连接层输入层。
S14)全连接层：全连接输入层1层，共包括5个神经元，分别对应所述特征组合层得到的5组值；全连接中间隐含层1层，全连接中间隐含层的神经元个数m的计算公式如(3)所示，全连接输出层1层，共4个神经元，分别对应4类诊断结果，健康、轻度自闭症症状、中度自闭症症状和重度自闭症症状四个类别，
其中n表示全连接输入层的神经元个数，l表示全连接输出层的神经元个数，α表示1-10之间的常数。我们选取α＝2，得到全连接中间隐含层的神经元个数为5个。
其中，得到首次注视前时间、注视时间和首次注视持续时间这3类眼部特征的具体方法为：将所述数据采集模块中的1个前置摄像头和2个内置摄像头分别采集到的外部环境视频流数据和左、右眼转动和凝视视频流数据进行每秒15帧图像的分帧处理，并利用所述数据分类模块中内置的特征提取算法对外部环境视频流数据和左、右眼转动和凝视视频流数据进行分帧处理后得到的分帧图像作为输入，送入深度神经网络，经过特征提取层处理最终得到首次注视前时间、注视时间和首次注视持续时间这3类眼部特征；得到前注视点数(FB)和注视次数(FC)的具体方法为：采用Tobii兴趣区，即Tobii 120眼动仪所使用的一种提取眼部特征的软件包，采用所述1个前置摄像头和所述2个内置摄像头共同直接自动提取前注视点数(FB)和注视次数(FC)这2类眼部特征(7～10岁自闭症谱系障碍儿童对情绪面孔的觉察与加工，陈顺森、白学军、沈德立等，心理发展与教育，2011年第5期，第27卷，第449-458页，2012年04月21日)：
1)首次注视前时间(TFF)，即从图像开始出现到被测者首次注视到嵌入物之间的时间：通过所述1个前置摄像头开始观测到嵌入物时计算时间，直到被测者的注视点集中在嵌入物兴趣区内，该时间为首次注视前时间(TFF)。其中，嵌入物为：测试者在被测试者进行测试之前，在图片中所嵌入的人脸情绪面孔图片，嵌入物兴趣区为：嵌入人脸情绪面孔图片所处的区域即为嵌入物兴趣区。
2)注视时间(FFT)，即被测者从首次注视目标到目光离开目标的时间：再次运用三帧差法，将相邻两帧的左眼或右眼转动和凝视视频流数据进行分帧处理后得到的分帧图像的灰度相减，从而得到相邻两帧的分帧图像中每个像素点的差值，然后分别计算第k帧与第(k-1)帧和(k+1)帧分帧图像中每个像素点的像素差值，如果在一张分帧图像中有少于400个像素点不小于预设阈值，则可以认为在此相邻两帧分帧图像中眼球无明显移动，即注视点并未移动；反之，若在一张分帧图像中超过400个像素点差值不小于预设阈值，则在此相邻两帧中眼球有明显移动，即使用者的注视点有变化。通过找出一段时间内注视点并未移动的帧数，再乘以分帧的时间，则可以得到被测者的注视时间。
FFT＝t×n (1)
其中，t为分帧的时间，此处，t＝1/15，n为被测者注视点未移动的帧数。
3)首次注视持续时间(FFD)，即被测者首次注视目标的持续时间：
当所述1个前置摄像头第一次检测到嵌入物时，即当嵌入物第一次出现在被测者可见范围内时，被测者注视该嵌入物的时间为首次注视持续时间。
4)前注视点数(FB)，即从图片呈现到被测试者首次注视到嵌入物之间的注视点数量。
5)注视次数(FC)，即被测者从首次注视目标到目光离开目标的注视点数量。
S2)深度神经网络具体训练过程：
S21)初始化深度神经网络：随机生成全连接输入层到全连接中间隐含层的权重矩阵为
全连接中间隐藏层到全连接输出层的权重矩阵为
其中i1表示权重矩阵
的行数，j1表示权重矩阵
的列数，其中i2表示权重矩阵
的行数，j2表示权重矩阵
的列数，随机给深度神经网络指定一个非零的权重矩阵
和
并且给卷积核随机初始化3×3的矩阵；
S22)将若干预先经过分帧处理的分帧图像作为训练集，用于深度神经网络的学习：输入所述训练集中的一组训练样本到深度神经网络的输入层，在特征提取层得到的3类眼部特征与通过眼动仪自动提取的2类眼部特征在特征组合层组合后输入全连接输入层，用于深度神经网络的学习，由此计算出深度神经网络全连接层中每层神经元的输入和输出值；
S23)判断经过步骤S22)处理的深度神经网络的全连接输出层的实际输出与该组训练样本的标签值是否一致：若一致则进入步骤S24)，若不一致则进入S25)；
S24)输入下一组训练样本用于深度神经网络的学习，然后进入步骤S26)；
S25)设定深度神经网络的学习率和整个深度神经网络的迭代次数，并根据计算得到的深度神经网络每层的局部梯度值采用梯度下降法修正深度神经网络的权重矩阵
和
然后进入步骤S22)；
S26)判断是否达到整个深度神经网络的迭代次数：若是则进入步骤S27)；若不是则进入步骤S22)；
S27)结束训练，得到最终训练完成的深度神经网络。
本发明提供了一种基于FPGA的自闭症眼动特征采集与分类可穿戴系统，通过使用简单的可穿戴式系统和移动终端可以快速采集自闭症眼动特征，并由此进行自闭症分类，移动终端中的客户端可实时显示分类结果。本发明提供的可穿戴系统可有效降低儿童被测者对于传统医学仪器的抵触心理，并且提供的两种穿戴方式充分考虑了被测者是否自身佩戴有眼镜的情况，既能满足视力正常者的使用，更能满足眼镜佩戴者的使用，具有通用性，并且该可穿戴式仪器轻便简洁，方便携带，采用FPGA作为处理平台，使得数据处理效果好、工作性能高。
以上描述了本发明的具体实施方式，但仅仅是举例说明，相关界面图均为示意图。在不背离本发明的原理和实质的前提下，在实际应用中可对这些实施方式做出多种修改。凡采用等同替换或等效替换，这些变化是显而易见，一切利用本发明构思的发明创造均在保护之列。
Claims (4)
1.一种基于FPGA的自闭症眼动特征采集与分类可穿戴系统，其特征在于，该系统包括：可拆卸式眼镜框架、夹片组、内部导线、数据采集模块、数据分类模块、结果显示模块以及电源模块；
所述可拆卸式眼镜框架，用于安装数据采集模块、数据分类模块、结果显示模块、电源模块以及内部导线，并根据被测者自身佩戴的眼镜大小或头部大小调整可拆卸式眼镜框架的外观，以满足近视眼镜佩戴者或视力正常佩戴者的需求；
所述夹片组用于将被测者自身佩戴的眼镜固定连接在所述可拆卸式眼镜框架上；
所述内部导线内置于可拆卸式眼镜框架中，用于连接数据采集模块、数据分类模块、结果显示模块和电源模块；
所述数据采集模块，用于采集被测者前方的外部环境视频流数据和被测者左、右眼转动和左、右眼凝视视频流数据，并将其通过内部导线传输给数据分类模块；
所述数据分类模块，用于对外部环境视频流数据和左、右眼转动和左、右眼凝视视频流数据进行特征提取，并将提取的特征代入预先训练好的分类器进行分类后得到自闭症分类结果；
所述结果显示模块，用于显示自闭症分类结果；
所述电源模块，通过内部导线与数据采集模块、数据分类模块以及结果显示模块相连接，为可穿戴系统的运行提供电能；
具体地，
所述可拆卸式眼镜框架包括伸缩装置、鼻托、镜腿；所述伸缩装置包括连接器和眼镜支架，所述连接器用于连接左、右镜片夹；所述眼镜支架的长度可调节以适应不同被测者头部大小及自身佩戴习惯；所述鼻托可折叠，用于根据被测者佩戴眼镜与否调节鼻托的折叠状态；所述镜腿可拆卸，用于根据被测者佩戴眼镜与否调节镜腿的拆卸状态；
所述夹片组包括镜片夹和镜腿夹；所述镜片夹包括左镜片夹和右镜片夹，用于在被测者佩戴眼镜时分别夹持被测者佩戴的眼镜的左、右镜片；所述镜腿夹包括左、右两个镜腿夹，分别位于所述眼镜支架的左、右两侧，用于在被测者佩戴眼镜时将被测者佩戴的眼镜的镜腿与眼镜支架固定连接；
所述数据采集模块包括1个前置摄像头和2个内置摄像头；所述1个前置摄像头用于拍摄被测者前方的外部环境视频流数据；所述2个内置摄像头包括第一眼球摄像头和第二眼球摄像头，分别对应于被测者的左右两眼设置，各自拍摄左眼转动和凝视视频流数据，以及右眼转动和凝视视频流数据；
所述数据分类模块包括FPGA芯片和DSP核；所述FPGA芯片中内置的预设特征分类算法，用于对被测者的外部环境视频流数据和左、右眼转动和左、右眼凝视视频流数据进行特征提取以及对提取出的特征首先进行预处理和控制器处理；所述DSP核然后将进行了预处理和控制器处理的特征进行首次注视前时间、注视时间和首次注视持续时间3类眼部特征提取，并将所述3类眼部特征和由眼动仪中的软件包自动提取的前注视点数目、注视次数这2类眼部特征共同用于进行自闭症分类；
其中，
1）首次注视前时间（TFF），即从嵌入物开始出现到被测者首次注视到嵌入物之间的时间：通过所述1个前置摄像头开始观测到嵌入物时计算时间，直到被测者的注视点集中在嵌入物兴趣区内，该时间为首次注视前时间（TFF），其中，嵌入物为：测试者在被测试者进行测试之前，在图片中所嵌入的人脸情绪面孔图片，嵌入物兴趣区为：嵌入人脸情绪面孔图片所处的区域即为嵌入物兴趣区；
2）注视时间（FFT），即被测者从首次注视嵌入物到目光离开嵌入物的时间：运用三帧差法，将相邻两帧的左眼转动和凝视视频流数据或右眼转动和凝视视频流数据进行分帧处理后得到的分帧图像的灰度相减，从而得到相邻两帧的分帧图像中每个像素点的差值，然后分别计算第k帧与第（k-1）帧和（k+1）帧分帧图像中每个像素点的像素差值，如果在一张分帧图像中有少于400个像素点不小于预设阈值，则可以认为在此相邻两帧分帧图像中眼球无明显移动，即注视点并未移动；反之，若在一张分帧图像中超过400个像素点差值不小于预设阈值，则在此相邻两帧中眼球有明显移动，即使用者的注视点有变化，通过找出一段时间内注视点并未移动的帧数，再乘以分帧的时间，则可以得到被测者的注视时间：
其中，
为分帧的时间，此处，t=1/15，
为被测者注视点未移动的帧数；
3）首次注视持续时间（FFD），即被测者首次注视嵌入物的持续时间：
当所述1个前置摄像头第一次检测到嵌入物时，即当嵌入物第一次出现在被测者可见范围内时，被测者注视该嵌入物的时间为首次注视持续时间；
4）前注视点数（FB），即从嵌入物呈现开始到被测试者首次注视到嵌入物之间的注视点数量；
5）注视次数（FC），即被测者从首次注视嵌入物到目光离开嵌入物的注视点数量；
所述结果显示模块包括蓝牙芯片和手机端APP；所述蓝牙芯片与手机蓝牙相连接，用于将数据分类模块得到的自闭症分类结果传送给手机端APP；所述手机端APP用于显示自闭症分类结果；
所述电源模块包括USB接口和电源；所述USB接口用于连接所述电源模块与外界电源，通过外界电源向所述电源模块进行充电；所述电源用于为可穿戴系统的运行提供电能以及在外界电源向所述电源模块充电时存储外界电源输送至所述可穿戴系统的电能；
所述内部导线包括电源线和数据线；所述电源线分别连接到所述2个内置摄像头、1个前置摄像头、数据采集模块、数据分类模块以及结果显示模块，为所述可穿戴系统的运行提供电能；所述数据线用于将所述可穿戴系统的2个内置摄像头、1个前置摄像头、数据采集模块、数据分类模块以及结果显示模块连接起来，使得所述可穿戴系统正常工作；
所述数据采集模块中的1个前置摄像头固定镶嵌在所述可拆卸式眼镜框架的连接器的中间位置，2个内置摄像头分别内置于左、右镜片夹中；所述数据分类模块和所述电源模块分别位于所述可拆卸式眼镜框架的眼镜支架的两侧，所述眼镜支架带有齿轮滑道，被测者可在眼镜支架上滑动所述数据分类模块或所述电源模块，从而找到佩戴的舒适位置，并保持整个可穿戴系统的平衡；
当被测者未佩戴眼镜时，眼镜支架上设有左、右两个平光镜片，分别由左镜片夹和右镜片夹所夹持，两个可折叠的鼻托置于使用者鼻梁上，并且所述可拆卸式眼镜框架中的两个可拆卸的镜腿置于被测者耳朵上，以此佩戴所述可拆卸式眼镜框架；
当被测者佩戴眼镜时，将所述可拆卸式眼镜框架中的两个可折叠的鼻托向上折叠，将两个可拆卸的镜腿拆卸不用，左、右镜片夹用于分别夹持被测者佩戴的眼镜的左、右镜片，左右两个镜腿夹将被测者佩戴的眼镜的镜腿与眼镜支架固定连接，以此将被测者佩戴的眼镜固定连接在所述可拆卸式眼镜框架上并进行佩戴；
所述数据分类模块基于深度神经网络进行自闭症分类，该深度神经网络包括输入层、特征提取层、特征组合层和全连接层，其中全连接层进一步包括全连接输入层、全连接中间隐含层和全连接输出层；
所述自闭症分类具体包括：
首先，所述数据分类模块将所述数据采集模块所采集到的当前外部环境视频流数据和当前左眼转动和凝视视频流数据、当前右眼转动和凝视视频流数据中的两者之一进行分帧处理，每秒15帧图像，得到当前分帧图像，并将所述当前分帧图像输入到所述输入层；
然后，所述特征提取层对从所述输入层输入的所述当前分帧图像处理后，得到当前分帧图像中每帧图像的首次注视前时间、注视时间和首次注视持续时间3类眼部特征；
最后，所述特征组合层将通过所述特征提取层得到的当前分帧图像中每帧图像的3类眼部特征与由眼动仪自动提取的对应帧图像的前注视点数目和注视次数这2类眼部特征相组合，得到用于自闭症分类的当前分帧图像中每帧图像的5类眼部特征，并运用所述三帧差法将当前分帧图像中每帧图像和其前后两帧图像进行比较，将比较结果送给全连接层，完成自闭症分类。
2.根据权利要求1所述的可穿戴系统，其特征在于，运用所述三帧差法将每帧图像和其前后两帧图像进行比较的具体步骤包括：对所述特征组合层共设置15个锁存单元，分成3个锁存单元组，将当前帧的5类眼部特征和其前后两帧的5类眼部特征、共15个眼部特征分时锁存到对应的锁存单元组中，每次使用3个锁存单元用于锁存当前帧和其前后两帧的同一类眼部特征，然后轮询，将3个锁存单元中同一类眼部特征的对应值进行相或操作，得到1组值，5类眼部特征最终得到5组值，将所述5组值送入全连接层输入层；
将比较结果送给全连接层，完成自闭症分类的具体步骤为：设置全连接输入层1层，共包括5个神经元，分别对应所述5组值，全连接中间隐含层1层，并设置全连接中间隐含层的神经元个数
，全连接输出层1层，共4个神经元，分别对应4类分类结果，健康、轻度自闭症症状、中度自闭症症状和重度自闭症症状，其中，全连接中间隐含层的神经元个数
的计算公式为
，其中
表示全连接输入层的神经元个数，
表示全连接输出层的神经元个数，
为1-10之间的常数；
送入全连接层输入层的所述5组值经过全连接中间隐含层处理后，在全连接输出层输出相应的自闭症分类结果，所述自闭症分类结果为健康、轻度自闭症症状、中度自闭症症状和重度自闭症症状4类分类结果中的一类。
3.根据权利要求2所述的可穿戴系统，其特征在于，所述深度神经网络的具体训练过程为：
S1）初始化深度神经网络：设置所述输入层共
个神经元，预输入的分帧图像大小为，深度为3；
所述特征提取层中的卷积核随机初始化为
的矩阵，设置所述卷积核移动步长为1，采用ReLu函数作为激励函数；
随机生成所述全连接输入层到所述全连接中间隐含层的权重矩阵为
，所述全连接中间隐藏层到所述全连接输出层的权重矩阵为
，其中
表示权重矩阵
的行数，
表示权重矩阵
的列数，
表示权重矩阵
的行数，
表示权重矩阵
的列数，随机给所述深度神经网络分别指定一个非零的权重矩阵
和
；
S2）将若干预先经过分帧处理的分帧图像作为训练集，用于深度神经网络的学习：输入所述训练集中的一组训练样本到所述输入层，在所述特征提取层得到的3类眼部特征与通过眼动仪自动提取的2类眼部特征在所述特征组合层组合后输入所述全连接输入层，用于深度神经网络的学习，由此计算出所述深度神经网络全连接层中每层神经元的输入和输出值；
S3）判断经过步骤S2）处理的所述深度神经网络的所述全连接输出层的实际输出与该组训练样本的标签值是否一致：若一致则进入步骤S4），若不一致则进入S5）；
S4）输入下一组训练样本用于所述深度神经网络的学习，然后进入步骤S6）；
S5）设定所述深度神经网络的学习率和整个深度神经网络的迭代次数，并根据计算得到的所述深度神经网络每层的局部梯度值采用梯度下降法修正深度神经网络的权重矩阵
和
，然后进入步骤S2）；
S6）判断是否达到设定的整个深度神经网络的迭代次数：若是则进入步骤S7）；若不是则进入步骤S2）；
S7）结束训练，得到最终训练完成的所述深度神经网络。
4.根据权利要求2或3所述的可穿戴系统，其特征在于，
的取值为2，得到的所述全连接中间隐含层的神经元个数
为5。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910221972.6A CN109820524B (zh) | 2019-03-22 | 2019-03-22 | 基于fpga的自闭症眼动特征采集与分类可穿戴系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910221972.6A CN109820524B (zh) | 2019-03-22 | 2019-03-22 | 基于fpga的自闭症眼动特征采集与分类可穿戴系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109820524A CN109820524A (zh) | 2019-05-31 |
| CN109820524B true CN109820524B (zh) | 2020-08-11 |
Family
ID=66871167
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910221972.6A Expired - Fee Related CN109820524B (zh) | 2019-03-22 | 2019-03-22 | 基于fpga的自闭症眼动特征采集与分类可穿戴系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109820524B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11393251B2 (en) | 2018-02-09 | 2022-07-19 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
| WO2019154511A1 (en) | 2018-02-09 | 2019-08-15 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters using a neural network |
| WO2019154509A1 (en) | 2018-02-09 | 2019-08-15 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
| US11676422B2 (en) | 2019-06-05 | 2023-06-13 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
| CN112890815A (zh) * | 2019-12-04 | 2021-06-04 | 中国科学院深圳先进技术研究院 | 一种基于深度学习的孤独症辅助评估系统和方法 |
| CN111081374B (zh) * | 2019-12-16 | 2022-09-13 | 华南师范大学 | 基于共同注意力范式的孤独症辅助诊断装置 |
| CN111968725A (zh) * | 2020-07-22 | 2020-11-20 | 黄山学院 | 基于眼动数据的教师情绪觉察训练系统及方法 |
| CN113067966A (zh) * | 2021-02-03 | 2021-07-02 | 深兰科技（上海）有限公司 | 目标图像采集设备及方法 |
| CN113139519B (zh) * | 2021-05-14 | 2023-12-22 | 陕西科技大学 | 一种基于全可编程片上系统的目标检测系统 |
| CN114129164B (zh) * | 2021-11-05 | 2022-09-16 | 山东心法科技有限公司 | 一种自闭症谱系障碍风险检测系统、检测终端及云服务器 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107065224A (zh) * | 2017-06-12 | 2017-08-18 | 哈尔滨理工大学 | 基于大数据的眼疲劳识别方法及其智能眼镜 |
| CN107212851A (zh) * | 2017-07-28 | 2017-09-29 | 温州市人民医院 | 一种无线眼动仪 |
| CN108922617A (zh) * | 2018-06-26 | 2018-11-30 | 电子科技大学 | 一种基于神经网络的自闭症辅助诊断方法 |
-
2019
- 2019-03-22 CN CN201910221972.6A patent/CN109820524B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107065224A (zh) * | 2017-06-12 | 2017-08-18 | 哈尔滨理工大学 | 基于大数据的眼疲劳识别方法及其智能眼镜 |
| CN107212851A (zh) * | 2017-07-28 | 2017-09-29 | 温州市人民医院 | 一种无线眼动仪 |
| CN108922617A (zh) * | 2018-06-26 | 2018-11-30 | 电子科技大学 | 一种基于神经网络的自闭症辅助诊断方法 |
Non-Patent Citations (1)
| Title |
|---|
| 动态情境任务中自闭症儿童社交定向的眼动研究;林云强等;《中国特殊教育》;20131231(第9期);第33-39页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109820524A (zh) | 2019-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109820524B (zh) | 基于fpga的自闭症眼动特征采集与分类可穿戴系统 | |
| CN106233328B (zh) | 用于改进、提高或增强视觉的设备和方法 | |
| US10194793B2 (en) | Imaging for local scaling | |
| CN109645955B (zh) | 基于vr和眼动追踪的多功能视觉功能检测装置及方法 | |
| CN104306102A (zh) | 针对视觉障碍患者的头戴式视觉辅助系统 | |
| WO2017053871A2 (en) | Methods and devices for providing enhanced visual acuity | |
| CN103501406B (zh) | 图像采集系统及图像采集方法 | |
| CN104090371B (zh) | 一种3d眼镜及3d显示系统 | |
| CN104570347B (zh) | 头戴式显示装置及其成像方法 | |
| US10376439B2 (en) | Audio-feedback computerized system and method for operator-controlled eye exercise | |
| CN206387961U (zh) | 头戴显示设备 | |
| CN103499885A (zh) | 成像装置和方法 | |
| CN106291931A (zh) | 一种眼球屈光度测试虚拟现实眼镜 | |
| CN104382552B (zh) | 一种综合视觉功能检测设备 | |
| CN107260506B (zh) | 基于眼动的3d视觉训练系统、智能终端及头戴设备 | |
| CN108922617B (zh) | 一种基于神经网络的自闭症辅助诊断方法 | |
| CN109758108A (zh) | 一种ar眼镜式视觉功能检查装置 | |
| CN110141185A (zh) | 一种视力预防监测并具备视力训练功能的穿戴设备 | |
| CN104483754A (zh) | 针对视觉障碍患者的头戴式多媒体终端辅助观看系统 | |
| CN107229125A (zh) | Vr镜片控制方法及装置 | |
| CN104767972B (zh) | 一种视觉缺陷帮助系统及方法 | |
| CN105962885A (zh) | 一种利用软件硬件结合检测视力的方法 | |
| CN109491107A (zh) | 一种液晶眼镜、眼镜度数的调节方法及显示装置 | |
| US20220409041A1 (en) | Spectrally adjustable ocular photosensitivity analyzer | |
| CN110279406B (zh) | 一种基于摄像头的无接触式的脉率测量方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200811 |