CN108714020A - 便携自适应心理调节仪、实时眼动延时求取方法及存储有计算机程序的计算机可读存储介质 - Google Patents

便携自适应心理调节仪、实时眼动延时求取方法及存储有计算机程序的计算机可读存储介质 Download PDF

Info

Publication number
CN108714020A
CN108714020A CN201810481118.9A CN201810481118A CN108714020A CN 108714020 A CN108714020 A CN 108714020A CN 201810481118 A CN201810481118 A CN 201810481118A CN 108714020 A CN108714020 A CN 108714020A
Authority
CN
China
Prior art keywords
image
eye movement
eye
pupil center
eyes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810481118.9A
Other languages
English (en)
Other versions
CN108714020B (zh
Inventor
高洁
晁志超
冯正权
何为
乔梁
杨策
李森
王永堂
刘媛
王莉
李清晖
龙在云
伍亚民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese Peoples Liberation Army Army Specialized Medical Center
Original Assignee
Third Affiliated Hospital of PLA Army Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Third Affiliated Hospital of PLA Army Medical University filed Critical Third Affiliated Hospital of PLA Army Medical University
Priority to CN201810481118.9A priority Critical patent/CN108714020B/zh
Publication of CN108714020A publication Critical patent/CN108714020A/zh
Application granted granted Critical
Publication of CN108714020B publication Critical patent/CN108714020B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103Detecting eye twinkling
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M21/02Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Physiology (AREA)
  • Anesthesiology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Pain & Pain Management (AREA)
  • Hematology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种便携自适应心理调节仪、实时眼动延时求取方法及存储有计算机程序的计算机可读存储介质,包括:输出引导目标;对脸部图像进行眼部特征点识别,得到眼部图像;对眼部图像进行图像增强和自适应阈值分割处理,得到眼睛的虹膜图像;对虹膜图像采用投影积分法和模板匹配法定位出瞳孔中心位置,当睁眼模板匹配的相关值大于设定阈值时,进行瞳孔中心位置的定位并记录该帧对应的瞳孔中心位置,对获得的序列帧人眼瞳孔中心位置运动数据进行平滑滤波和差分滤波,以眼动延时为状态量,以引导目标的运动数据和序列帧的瞳孔中心位置数据为观测数据,建立卡尔曼滤波方程,计算眼动位置数据与引导目标运动数据之间的时间延迟。

Description

便携自适应心理调节仪、实时眼动延时求取方法及存储有计 算机程序的计算机可读存储介质
技术领域
本发明属于便携式医疗器械,具体涉及一种便携自适应心理调节仪、实时眼动延时求取方法及存储有计算机程序的计算机可读存储介质。
背景技术
眼睛的功能就是将外界的信息或者活动情况进行加工,然后传导到人类的大脑中,眼动行为记录着认知加工的过程和水平,眼动是反映情绪变化的一项关键生理指标。认知心理学认为,视觉系统是最为复杂的感觉系统,古希腊人最终相信视觉是认识世界的首要方式。眼睛通过眼球运动表达内在情感时是无法伪装和掩饰的,更具有客观性,可更准确真实地反应出人的内心情感体验。在临床研究中也发现帕金森和老年痴呆病人早期眼睛的运动可反映其识别、注意、记忆及再认、回忆比较等认知功能的改变。
眼动脱敏和再加工作为国际心理协会和各国军队推荐的心理创伤受害者的首选治疗方法。这种方法操作简单,效果明显。但需要心理师使用两根手指引导求助者眼睛向不同方向运动,每次需要往返平均20-30次的重复操作,在此操作中,心理师通常由于频繁的运动引发肩部不适可直接影响心理调适工作,同时也由于在不同工作环境以及心理师的操作需要有待进一步规范,比如有咨询师或心理师以手中的笔或其他物体来代替手指,有的会因为咨询师与受助者的身高差异,手指晃动位置不合适;有的心理师手指的速度调整并不能很快地让受助者适应等都会影响眼动脱敏的心理调试效果。同时由于心理调试需要就诊预约、会面以及多次的地域往返,给咨询师/心理师造成就诊压力,给求助者也造成不小的经济支出。因此有必要设计发明可供心理师灵活操作,又可以让使用者在掌握方法后按照心理师的心理作业自行操作,通过仪器反馈或者心理师的后台评估以指导,提高心理师工作效率,也节省被调试者费用。同时因为眼动脱敏再处理的评估数据一直仅以分析心理量表,而这是只有咨询师才能做的,如果有眼动调试的及时反馈数据,这样便于受助者自我客观评估和自我管理,也有利于心理师后续整理数据做临床科研。
此外帕金森、老年痴呆等患者在早期存在图像记忆、注意过程以及抑制控制方面的异常表现,眼动行为以及观察与训练反馈对于帕金森、老年痴呆等早期患者可发挥及时调整情绪改善认知功能以有利于延缓心智退化。
目前,市面上流行的主流眼动仪器主要是:加拿大SR公司生成的Eyelink眼动仪、瑞典Tobii公司眼动仪、德国SMI公司遥测眼动仪等,因为仪器生产商对仪器设计参数众多、仪器精细、价格十分昂贵(目前报价人民币30万-120万不等),国内一般主要应用于科学研究和飞行、体育训练等高投入的专业项目,目前暂未在大众化的心理咨询与认知退化防治中予以使用。
因此,有必要开发一种新的便携自适应心理调节仪。
发明内容
本发明的目的是提供一种便携自适应心理调节仪,能对眼动反应予以客观的数据分析。
本发明的另一目的是提供一种实时延时和眨眼求取方法及存储有计算机程序的计算机可读存储介质。
本发明所述的便携自适应心理调节仪,包括:
用于实时获取脸部图像的采集装置,用于接收所述脸部图像的智能终端机,所述智能终端机被编程以执行如下步骤:
输出引导眼睛运动的引导目标,并触发采集装置采集图像;
对所述脸部图像进行眼部特征点识别,得到眼部图像;
对所述眼部图像进行图像增强和自适应阈值分割处理,得到眼睛的虹膜图像;
对所述虹膜图像采用投影积分法和模板匹配法定位出瞳孔中心位置,当睁眼模板匹配的相关值小于等于设定阈值时,则认为眼睛为闭合状态,此时不进行瞳孔中心位置的定位并丢弃该帧图像,同时统计测试时间内的眨眼次数;当睁眼模板匹配的相关值大于设定阈值时,则进行瞳孔中心位置的定位并记录该帧对应的瞳孔中心位置,对获得的序列帧人眼瞳孔中心位置运动数据进行平滑滤波和差分滤波,并以眼动延时为状态量,以引导目标的运动数据和序列帧的瞳孔中心位置数据为观测数据,建立卡尔曼滤波方程,计算出眼动位置数据与引导目标运动数据之间的时间延迟;
在所述智能终端机中实时动态显示眼动方向、眼动次数、眼动幅度、眼动波宽,眨眼频次以及眼动延迟统计分析。
进一步,利用人脸标注算法从所述脸部图像获得眼部特征点,进而获得对应的眼部图像。
进一步,所述瞳孔中心位置的坐标为(xt,yt),其中,xt表示t时刻瞳孔中心所在位置的横坐标,yt表示t时刻瞳孔中心所在位置的纵坐标,在智能终端机中实时显示横、纵坐标xt,yt,即输出实时眼睛动态图像,该眼睛动态图像包含眼动方向、眼动幅度以及眼动波宽。
进一步,所述引导目标的类型分别图像刺激、声音刺激以及图像声音结合刺激。
进一步,所述智能终端机还被编程以执行如下步骤:根据评价模块评判使用者此时的心理状态,所述评价模块包含焦虑、抑郁、创伤应激障碍、状态-特质自评量表、蒙特利尔认知量表、自我痛苦评价、生活事件和SCL-90中的一种或多种。
本发明所述的一种实时延时和眨眼求取方法,包括以下步骤:
输出引导目标以引导使用者的眼睛运动,并在输出引导目标的同时发出触发采集装置工作的指令,并实时获取采集装置所采集的使用者的脸部图像;
对所述脸部图像进行眼部特征点识别,得到眼部图像;
对所述眼部图像进行图像增强和自适应阈值分割处理,得到眼睛的虹膜图像;
对所述虹膜图像采用投影积分法和模板匹配法定位出瞳孔中心位置,当睁眼模板匹配的相关值小于等于设定阈值时,则认为眼睛为闭合状态,此时不进行瞳孔中心位置的定位并丢弃该帧图像;同时统计测试时间内的眨眼次数;当睁眼模板匹配的相关值大于设定阈值时,则进行瞳孔中心位置的定位并记录该帧对应的瞳孔中心位置,对获得的序列帧人眼瞳孔中心位置运动数据进行平滑滤波和差分滤波,并以眼动延时为状态量,以引导目标的运动数据和序列帧的瞳孔中心位置数据为观测数据,建立卡尔曼滤波方程,计算出眼动位置数据与引导目标运动数据之间的时间延迟。
本发明所述的存储有计算机程序的计算机可读存储介质,所述计算机程序使计算机执行如本发明所述实时延时和眨眼求取方法的步骤。
本发明具有以下优点:
(1)实时显示眼动的方向,眼动的次数,眼动的波幅和波宽及眼动延迟等数据,并且根据心理师和受助者意愿,统计分析出关键指标(比如:眼动延迟);
(2)能够实时根据心理师和受助者意愿选择视觉、声音或视觉和声音相结合的刺激模式,并且根据受助者意愿或者心理调节实效个性化选择引导速度;
(3)通过图像采集装置(比如:摄像头)来精确采集使用者的人脸图像(有效排除咨询环境中其他不相关人脸),使用者头位无需固定,因此体位自由、无束缚感,更容易让肢体放松;
(4)操作界面简单直观,能够提高心理师的工作效率以及节省被调试者的费用;
(5)亦可用于帕金森和老年痴呆等早期/轻度认知功能障碍病人自我操作的认知衰退延缓训练;
(6)可以与心率、脉搏、睡眠监控等穿戴式传感器联用;
(7)同时可以根据焦虑、抑郁、创伤应激障碍、状态-特质自评量表、蒙特利尔认知量表、自我痛苦评价、生活事件、SCL-90等量表可量化评判使用者此时的心理状态,从而有助于心理治疗师或者咨询师标准化处理心理问题以及普通人的自我心理管理。
附图说明
图1为本发明所述的便携自适应心理调节仪的流程图;
图2为本发明中人脸特征标注的示意图
图3为本发明中睁眼模板的示意图;
图4为本发明中调试者双眼眼动的实时采集图;
图5为本发明中调试者眼动平均延迟分析图;
图6为本发明中调试者左右眼动的像素图形;
图7为本实施例中求助者应激性抑郁状态身心数据和使用便携自适应心理调节仪后求助者心里平静后身心数据对比图(皮电-皮温-呼吸-脉搏-心电);
图8为便携自适应心理调节仪的操作界面图。
具体实施方式
下面结合附图对本发明作进一步说明。
如图1所示,本发明所述的便携自适应心理调节仪,包括:用于实时获取脸部图像的采集装置,用于接收所述脸部图像的智能终端机,所述智能终端机被编程以执行如下步骤:
输出引导眼睛运动的引导目标,并触发采集装置采集图像。利用人脸标注算法从所述脸部图像获得眼部特征点,参见图2,进而获得对应的眼部图像。对所述眼部图像进行图像增强和自适应阈值分割处理,得到眼睛的虹膜图像。对所述虹膜图像采用投影积分法和模板匹配法定位出瞳孔中心位置,当睁眼模板匹配的相关值小于等于设定阈值时,则认为眼睛为闭合状态,此时不进行瞳孔中心位置的定位并丢弃该帧图像,同时统计测试时间内的眨眼次数;当睁眼模板(参见图3)匹配的相关值大于设定阈值时,则进行瞳孔中心位置的定位并记录该帧对应的瞳孔中心位置,对获得的序列帧人眼瞳孔中心位置运动数据进行平滑滤波和差分滤波,并以眼动延时为状态量,以引导目标的运动数据和序列帧的瞳孔中心位置数据为观测数据,建立卡尔曼滤波方程,计算出眼动位置数据与引导目标运动数据之间的时间延迟。
如图8所示,在所述智能终端机(比如:计算机、平板电脑)中显示眼动方向、眼动次数、眼动幅度、眼动波宽,眨眼频次以及眼动延迟等统计分析。同时可以根据根据焦虑、抑郁、创伤应激障碍、状态-特质自评量表、蒙特利尔认知量表、自我痛苦评价、生活事件、SCL-90等量表评判使用者此时的心理状态,从而有助于心理治疗师/咨询师、标准化、批量处理心理求助者以及普通人的自我心理管理所用。
本发明能够很好地跟踪和显示人眼匹配运动,具有较好的心理调试实用性。本发明能够提供移动图标的视觉刺激、声音刺激以及两者相结合的三种激发模式,根据使用者通过镜面自我观察眼动反应与心理舒适度调节,同时便于让咨询师观察与咨询,通过制定/编辑个性化的积极信念、引导脱敏语境和思维沟通实现个性化引导和脱敏、通过在线的认知分析评价与再评估,及时对求助者的各种心理不适应行眼动脱敏再处理的精准心理调试和指导。同时对神经系统疾患诸如老年痴呆和帕金森病等患者实施眼动训练与评估以促进心智的恢复或延缓智力退化。
以下对平滑滤波、差分滤波、卡尔曼滤波处理过程进行说明:设t时刻引导目标的位置为rG(t),测试人员眼睛虹膜的位置为rP(t)。
(1)为了消除噪声干扰,首先进行平滑滤波:将t时刻以及t时刻前面的N个(程序中N=6)时刻之间的数值进行平均后再输出,即:rP’(t)=[rP(t)+rP(t-1)+…+rP(t-N)]/(N+1)。
rG(t)的处理同理。
(2)为了增强数据的变化强度,再进行差分滤波:求取t时刻前面M(程序中M=3)个时刻的数值与t时刻后面M个时刻的数值的差作为输出,即:rP”(t)=[rP’(t-1)+rP’(t-2)+…+rP’(t-M)-rP’(t+1)-rP’(t+2)-…-rP’(t+M)]/(M)。
rG’(t)的处理同理。
(3)为了求出眼动与引导标志运动之间的时间差,再对上面差分滤波后得到的眼动位置数据和引导目标运动数据进行卡尔曼滤波,其中卡尔曼滤波的状态量X=(f,td)T,f表示眼动位置数据和引导目标运动数据大小的比率,td即为两者之间的时间差;经过平滑滤波和差分滤波后的引导标志运动数据rG”(t)、眼动位置数据rP”(t)为卡尔曼滤波的输入:
后验估计状态量:Xpost;
先验估计状态量:Xpri;
状态方程:Xpri=Xpost;
量测方程:Z=rP”(t)-f*rG”(t+td);
增益:K;
后验估计状态量方差:Ppost;
先验估计状态量方差:Ppri;
动态方程噪声方差:Q;
量测值输入:Z(0)=rP”(0)-f*rG”(td);
状态预测估计:Xpri=Xpost;
状态预测方差估计:Pri=Post+Q;
量测方程梯度估计:Hx=-[rG”(t);f*(rG”(t+dt)-rG”(t))/dt];
滤波增益估计:K=(P+Q)*HxT/(Hx*(P+Q)*HxT+R);
滤波计算:X=X-K*(rP”-f*rG”);
方差修正:P=(I-K*Hx)*(P+Q);
其中Q为动态方程噪声方差,R为量测方程噪声方差。
(4)每采集一帧图像进来,重复上述步骤,直至td和f的变化量小于设定的阈值,即可认为滤波结果已经收敛,输出td的值即为眼动位置数据与引导运动数据之间的时间差。
本实施例中,所述瞳孔中心位置的坐标为(xt,yt),其中,xt表示t时刻瞳孔中心所在位置的横坐标,yt表示t时刻瞳孔中心所在位置的纵坐标,在智能终端机中实时显示横、纵坐标xt,yt,即输出实时眼睛动态图像(含眼动方向、眼动幅度以及眼动波宽)。
利用本发明进行眼动脱敏再加工调试时的步骤如下:
咨询师或心理师根据心理诊段编辑安装目录中的“InitialParam.xml”文件,导引语句,可针对性的编辑具有阶段性或递进性心理能量的十句导引语句与信念植入。受助者/自我调试者以舒适地方式出现在电脑屏幕前(推荐放松坐姿)。
选择眼动引导类型,有三种模式,分别为图像刺激、声音刺激、图像声音结合刺激,展现形式表现为左右、上下闪现和往返引导。选择引导速度,根据受助者舒适度有1-10级别从慢到快的速度选择,刺激出现次数默认为30次。
选择“打开摄像头”,有单摄像头和多摄像头模式(便于不同环境中的精确选择)。选择受助者眼睛区域(可根据有无他人干扰和受助者喜好选择),按住鼠标左键可以拖动矩形框,滚动鼠标滚轮可以缩放矩形框大小,按住Ctrl键或空格键可以分别横向/纵向缩放该矩形框。
选择“跟踪双眼”,等待仪器出现双眼区域的光标框(如果捕获不成功,可以稍微晃动头部,或者换一个避光环境);咨询师引导或者自我调试者注视捕捉区,深呼吸两次后,开始。
选择“开始测量”(注:自动测量眼动延时;如果中途对测量结果不满意,可以先中止测量,然后点击“清空当前数据”按钮清空之前数据,从而可以重新开始测量)。
测量完成后,选择“保存当前数据”,可以保存当前的测量数据到xml文件中,从而方便使用者自我管理或者心理师后续分析。
打开软件后,可以利用“打开历史数据”按钮直接打开之前已经测量过的历史数据,查看眼动延时情况。
根据预实验发现,眼动信号的捕捉非常精准。
以下为利用本发明所述的便携自适应心理调节仪对病人进行眼动测试及心理治疗:
(一)求助者,女,43岁,已婚,博士,汉族,某三甲医院招聘人员,夫妻关系尚可。与自己父母同住,自幼身体健康,家族无精神病遗传史。近期因父亲罹患癌症晚期,因父亲症状严重和经济压力,自父亲确诊后出现入睡困难、早醒、无心工作、食欲减退、不自主流泪,遂来求助。求助者衣着整齐,神情黯然,言语表达流利,谈及父亲病情流泪满面。从患者心理问题的持续时间和严重程度分析,求助者的生活应激事件和症状明显,持续时间为6月,量表采用症状自评量表(SCL-90)123分,无阳性因子;状态-特质焦虑量表分别是46,43,根据ICD-10症状标准,虽然与临床抑郁症诊断非常符合,但咨询师考虑其父亲癌症应激时间刺激明显,有泛化,持续时间超过2月,无冲突变形,因此诊断为严重心理问题,临床表现为应激性应激情绪。从2018.3月20日首次会谈,每周咨询2次,每次50分钟,在咨询中采用一对一的会谈方式,共咨询4次。咨询师采用眼动脱敏再处理理论和方法。眼动脱敏再处理由咨询师使用眼动自适应心理调节仪实施,并有所配备心理量表状态-特质焦虑量表和生活事件量表评估。
咨询师在详细说明与介绍后,首先以眼动来进行心理舒缓。由眼动心理调试仪来实施修通与信念植入等八步骤。
请求助者(使用者)采取坐位,由心理师讲解使用方法,将信念植入语录分别是:了父心愿尽孝心、平静忍耐慰母心。选择:图像刺激或者声音刺激模式,如果选择图像刺激,有往返和闪现模式,则选择光点移动速度9项(快、中、慢不同共9档),移动方向(上下/左右),共9个选项),引导图像出现默认为30次,然后摁-开始测量按钮。使用者的眼睛随着引导图像上下或者左右移动。同步实时出现分析眼动结果:眼动方向、眼动次数、眼动幅度、眼动波宽以及眼动平均延迟和方差。教会求助者,带回家自行实施,每周2次,4月17日做面对面咨询评估。
如图4所示,求助者眼动的实时扫描图情况,从上到下,分别是引导图像的实时移动轨迹图、左右眼虹膜追踪引导图像的时间移动曲线图,可直观显示左右眼的运动轨迹波动动态。
如图5所示,求助者双眼实时扫描平均延时情况,其中,双眼相对于跟踪引导图像平均延时,可以反应认知的专注力与脑信息处理反应速度,特别是引导图像下方的导语信念的心理矫正。如果对于新的信念或导语阻抗大,眼动延迟会增大;如果阻抗小,双眼可以很顺利地追踪引导图像,甚至运动提前于引导图像。
如图6所示,求助者双眼追踪实时像素图情况,可以直接反应眼睛的运动灵活性,这有利于非专业人士(比如求助者本人、认知功能退化使用者及其家属),直观表明眼睛与引导图像的匹配度,具有傻瓜型图示作用。
如图8所示,携式便携自适应心理调节仪的工作界面图。
如表1所示,为求助者使用心理调节仪经4次眼动脱敏再处理治疗后量表评分改变
表1.求助者施心理调试前后SCL-90量表和STAI量表检测因子分比较
表2求助者施眼动脱敏治疗前后身心指标比较
如表2所示:求助者咨询前和第4次咨询后眼动脱敏再处理后的生理-心理数据,表明:经过4次眼动仪治疗后,求助者的生理-心理状态明显提高,具体表现抑郁情绪明显改善且趋于正常平静状态,皮电下降最明显从2.58us下降为0.50us,交感与副交感频率指数从6.16下降1.98,表明情绪稳定。由此可见,通过澳大利亚ADI公司Superlab仪器的精确检测,多项身心指标表明:求助者经历眼动脱敏的自适应心理调节仪的使用与反馈心理管理,应激性抑郁情绪明显缓解,能平和地应对新工作与家庭琐事。
如图7所示,求助者应激性抑郁状态身心数据和使用便携自适应心理调节仪后求助者心里平静后身心数据对比图(皮电-皮温-呼吸-脉搏-心电)。
(二)轻度老年痴呆眼动灵活性训练个案
求助者,男性,79岁,高中文化,家人陪同,两年前出现迷路,记忆衰退。2017年体检无重大器官障碍。当地医院诊断为老年痴呆轻度。咨询师病史收集,情绪、行为、认知的反应判断,情绪抑郁,重复刻板行为偶有,与人交流回应淡漠,简明智能精神评定量表、社会自主生活能力、汉密尔顿抑郁量表分别为16,44和11分,综合分析符合老年痴呆精神障碍的范畴。咨询师以丰富环境理论指导下的心理干预,特别强调日常生活对求助老年人的尊重与耐心,同时试着以眼动自适应治疗仪行镜像眼睛追踪训练,每日三次,饭前由家人和颜悦色(重点)帮助实施,每次以视觉和听觉结合模式30次,30天为一个周期。
一个周期(眼动追踪训练,3次/日,连续30天)后由咨询师以量表面对面评估,结果如下:求助者的无意识刻板行为明显减少,与家人的互动交流回应正确率提高,能用眼神扫视说话者的脸部,并能集中于嘴部,表情会应时而变。眼动的延迟匹配反应值从332.31±335.74到53.18±229.18(毫秒)。社会自主生活能力及汉密尔顿抑郁量表检测分别为23.39和9分,情绪虽然依然抑郁,但已经下降明显,注意力可持续9分钟,定向力提高3分。虽然情绪依然由其老伴的情绪控制,无法建立新的社会关系,但可以与家庭成员做平和的互动回应,表明该治疗是有利于延缓/改善认知退化。
本发明所述的一种实时延时和眨眼求取方法,包括以下步骤:输出引导目标以引导使用者的眼睛运动,并在输出引导目标的同时发出触发采集装置工作的指令,并实时获取采集装置所采集的使用者的脸部图像。利用人脸标注算法从所述脸部图像获得眼部特征点,进而获得对应的眼部图像。对所述眼部图像进行图像增强和自适应阈值分割处理,得到眼睛的虹膜图像。对所述虹膜图像采用投影积分法和模板匹配法定位出瞳孔中心位置,当睁眼模板匹配的相关值小于等于设定阈值时,则认为眼睛为闭合状态,此时不进行瞳孔中心位置的定位并丢弃该帧图像;同时统计测试时间内的眨眼次数;当睁眼模板匹配的相关值大于设定阈值时,则进行瞳孔中心位置的定位并记录该帧对应的瞳孔中心位置,对获得的序列帧人眼瞳孔中心位置运动数据进行平滑滤波和差分滤波,并以眼动延时为状态量,以引导目标的运动数据和序列帧的瞳孔中心位置数据为观测数据,建立卡尔曼滤波方程,计算出眼动位置数据与引导目标运动数据之间的时间延迟。该方法实现了眼动虹膜追踪匹配的眼动延迟和眨眼注意的实时显示与统计。
本发明所述的存储有计算机程序的计算机可读存储介质,所述计算机程序使计算机执行如本发明所述实时延时和眨眼求取方法的步骤。

Claims (10)

1.一种便携自适应心理调节仪,其特征在于:包括:
用于实时获取脸部图像的采集装置,用于接收所述脸部图像的智能终端机,所述智能终端机被编程以执行如下步骤:
输出引导眼睛运动的引导目标,并触发采集装置采集图像;
对所述脸部图像进行眼部特征点识别,得到眼部图像;
对所述眼部图像进行图像增强和自适应阈值分割处理,得到眼睛的虹膜图像;
对所述虹膜图像采用投影积分法和模板匹配法定位出瞳孔中心位置,当睁眼模板匹配的相关值小于等于设定阈值时,则认为眼睛为闭合状态,此时不进行瞳孔中心位置的定位并丢弃该帧图像,同时统计测试时间内的眨眼次数;当睁眼模板匹配的相关值大于设定阈值时,则进行瞳孔中心位置的定位并记录该帧对应的瞳孔中心位置,对获得的序列帧人眼瞳孔中心位置运动数据进行平滑滤波和差分滤波,并以眼动延时为状态量,以引导目标的运动数据和序列帧的瞳孔中心位置数据为观测数据,建立卡尔曼滤波方程,计算出眼动位置数据与引导目标运动数据之间的时间延迟;
在所述智能终端机中显示眼动方向、眼动次数、眼动幅度、眼动波宽,眨眼频次以及眼动延迟统计分析。
2.根据权利要求1所述的便携自适应心理调节仪,其特征在于:利用人脸标注算法从所述脸部图像获得眼部特征点,进而获得对应的眼部图像。
3.根据权利要求2所述的便携自适应心理调节仪,其特征在于:所述瞳孔中心位置的坐标为(xt,yt),其中,xt表示t时刻瞳孔中心所在位置的横坐标,yt表示t时刻瞳孔中心所在位置的纵坐标,在智能终端机中实时显示横、纵坐标xt,yt,即输出实时眼睛动态图像,该眼睛动态图像包含眼动方向、眼动幅度以及眼动波宽。
4.根据权利要求1至3任一所述的便携自适应心理调节仪,其特征在于:所述引导目标的类型分别图像刺激、声音刺激以及图像声音结合刺激。
5.根据权利要求4所述的便携自适应心理调节仪,其特征在于:所述智能终端机还被编程以执行如下步骤:根据评价模块评判使用者此时的心理状态,所述评价模块包含焦虑、抑郁、创伤应激障碍、状态-特质自评量表、蒙特利尔认知量表、自我痛苦评价、生活事件和SCL-90中的一种或多种。
6.一种实时延时和眨眼求取方法,其特征在于,包括以下步骤:
输出引导目标以引导使用者的眼睛运动,并在输出引导目标的同时发出触发采集装置工作的指令,并实时获取采集装置所采集的使用者的脸部图像;
对所述脸部图像进行眼部特征点识别,得到眼部图像;
对所述眼部图像进行图像增强和自适应阈值分割处理,得到眼睛的虹膜图像;
对所述虹膜图像采用投影积分法和模板匹配法定位出瞳孔中心位置,当睁眼模板匹配的相关值小于等于设定阈值时,则认为眼睛为闭合状态,此时不进行瞳孔中心位置的定位并丢弃该帧图像;同时统计测试时间内的眨眼次数;当睁眼模板匹配的相关值大于设定阈值时,则进行瞳孔中心位置的定位并记录该帧对应的瞳孔中心位置,对获得的序列帧人眼瞳孔中心位置运动数据进行平滑滤波和差分滤波,并以眼动延时为状态量,以引导目标的运动数据和序列帧的瞳孔中心位置数据为观测数据,建立卡尔曼滤波方程,计算出眼动位置数据与引导目标运动数据之间的时间延迟。
7.根据权利要求6所述的实时延时和眨眼求取方法,其特征在于:利用人脸标注算法从所述脸部图像获得眼部特征点,进而获得对应的眼部图像。
8.根据权利要求6或7所述的实时延时和眨眼求取方法,其特征在于:所述瞳孔中心位置的坐标为(xt,yt),其中,xt表示t时刻瞳孔中心所在位置的横坐标,yt表示t时刻瞳孔中心所在位置的纵坐标,在智能终端机中实时显示横、纵坐标xt,yt,即输出实时眼睛动态图像,该眼睛动态图像包含眼动方向、眼动幅度以及眼动波宽。
9.根据权利要求8所述的实时延时和眨眼求取方法,其特征在于:所述引导目标的类型分别图像刺激、声音刺激以及图像声音结合刺激。
10.一种存储有计算机程序的计算机可读存储介质,其特征在于:所述计算机程序使计算机执行如权利要求6至9任一所述的步骤。
CN201810481118.9A 2018-05-18 2018-05-18 自适应心理调节仪、实时眼动延时求取方法及存储介质 Active CN108714020B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810481118.9A CN108714020B (zh) 2018-05-18 2018-05-18 自适应心理调节仪、实时眼动延时求取方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810481118.9A CN108714020B (zh) 2018-05-18 2018-05-18 自适应心理调节仪、实时眼动延时求取方法及存储介质

Publications (2)

Publication Number Publication Date
CN108714020A true CN108714020A (zh) 2018-10-30
CN108714020B CN108714020B (zh) 2020-07-07

Family

ID=63899979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810481118.9A Active CN108714020B (zh) 2018-05-18 2018-05-18 自适应心理调节仪、实时眼动延时求取方法及存储介质

Country Status (1)

Country Link
CN (1) CN108714020B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109620266A (zh) * 2018-12-29 2019-04-16 中国科学院深圳先进技术研究院 个体焦虑水平的检测方法和系统
CN110051319A (zh) * 2019-04-23 2019-07-26 七鑫易维(深圳)科技有限公司 眼球追踪传感器的调节方法、装置、设备及存储介质
CN110083799A (zh) * 2019-03-12 2019-08-02 江苏明月光电科技有限公司 一种基于眼动技术的眼镜佩戴舒适度评价方法
CN113100768A (zh) * 2021-04-14 2021-07-13 中国人民解放军陆军特色医学中心 一种基于计算机视觉失能毁伤效应评估系统
CN115770050A (zh) * 2022-12-02 2023-03-10 重庆医科大学附属第二医院 癫痫检测方法及系统
CN117975545A (zh) * 2023-11-24 2024-05-03 深圳昊瑞达电子有限公司 一种通讯模组调用系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408990A (zh) * 2014-11-14 2015-03-11 上海交通大学 一种飞行员告警延迟测试系统
CN105193377A (zh) * 2015-10-15 2015-12-30 中国人民解放军第三军医大学第三附属医院 石墨烯眼动片、眼动心理调节仪及眼动测试方法
CN106691476A (zh) * 2017-01-16 2017-05-24 清华大学 基于眼动特征的图像认知心理分析系统
CN107233104A (zh) * 2017-05-27 2017-10-10 西南交通大学 认知分心测评方法和系统
WO2017186721A1 (en) * 2016-04-25 2017-11-02 Koninklijke Philips N.V. Eye movement monitoring system
CN108030498A (zh) * 2017-12-13 2018-05-15 上海青研科技有限公司 一种基于眼动数据的心理干预系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408990A (zh) * 2014-11-14 2015-03-11 上海交通大学 一种飞行员告警延迟测试系统
CN105193377A (zh) * 2015-10-15 2015-12-30 中国人民解放军第三军医大学第三附属医院 石墨烯眼动片、眼动心理调节仪及眼动测试方法
WO2017186721A1 (en) * 2016-04-25 2017-11-02 Koninklijke Philips N.V. Eye movement monitoring system
CN106691476A (zh) * 2017-01-16 2017-05-24 清华大学 基于眼动特征的图像认知心理分析系统
CN107233104A (zh) * 2017-05-27 2017-10-10 西南交通大学 认知分心测评方法和系统
CN108030498A (zh) * 2017-12-13 2018-05-15 上海青研科技有限公司 一种基于眼动数据的心理干预系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
OLEG V.KOMOGORTSEV ET AL.: "Eye movement prediction by oculomotor plant Kalman filter with brainstem control", 《J CONTROL THEORY APPL》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109620266A (zh) * 2018-12-29 2019-04-16 中国科学院深圳先进技术研究院 个体焦虑水平的检测方法和系统
CN109620266B (zh) * 2018-12-29 2021-12-21 中国科学院深圳先进技术研究院 个体焦虑水平的检测方法和系统
CN110083799A (zh) * 2019-03-12 2019-08-02 江苏明月光电科技有限公司 一种基于眼动技术的眼镜佩戴舒适度评价方法
CN110083799B (zh) * 2019-03-12 2022-12-30 明月镜片股份有限公司 一种基于眼动技术的眼镜佩戴舒适度评价方法
CN110051319A (zh) * 2019-04-23 2019-07-26 七鑫易维(深圳)科技有限公司 眼球追踪传感器的调节方法、装置、设备及存储介质
CN113100768A (zh) * 2021-04-14 2021-07-13 中国人民解放军陆军特色医学中心 一种基于计算机视觉失能毁伤效应评估系统
CN113100768B (zh) * 2021-04-14 2022-12-16 中国人民解放军陆军特色医学中心 一种基于计算机视觉失能毁伤效应评估系统
CN115770050A (zh) * 2022-12-02 2023-03-10 重庆医科大学附属第二医院 癫痫检测方法及系统
CN115770050B (zh) * 2022-12-02 2023-09-08 重庆医科大学附属第二医院 癫痫检测方法及系统
CN117975545A (zh) * 2023-11-24 2024-05-03 深圳昊瑞达电子有限公司 一种通讯模组调用系统及方法
CN117975545B (zh) * 2023-11-24 2024-08-30 陕西东泽瑞科技开发有限公司 一种通讯模组调用系统及方法

Also Published As

Publication number Publication date
CN108714020B (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
CN108714020A (zh) 便携自适应心理调节仪、实时眼动延时求取方法及存储有计算机程序的计算机可读存储介质
Dornhege Toward brain-computer interfacing
CN109640785A (zh) 用于获得、聚集和分析视觉数据以评估人的视力性能的方法和系统
WO2006045223A1 (fr) Procede pour surveiller et analyser l'etat de sante et systeme correctif correspondant
Rattanyu et al. Emotion monitoring from physiological signals for service robots in the living space
CN108814565A (zh) 一种基于多传感器信息融合和深度学习的智能中医健康检测梳妆台
Lock et al. Prosthesis-guided training for practical use of pattern recognition control of prostheses
Welch Physiological signals of autistic children can be useful
Chanel Emotion assessment for affective computing based on brain and peripheral signals
Zheng et al. Multi-modal physiological signals based fear of heights analysis in virtual reality scenes
Shahraki et al. The Impact of Brain–Computer Interface on Lifestyle of Elderly People
Molina Direct brain-computer communication through scalp recorded EEG signals
Alhamid et al. A multi-modal intelligent system for biofeedback interactions
Lenhardt A Brain-Computer Interface for robotic arm control
Kaspersen Objective measurement of the experience of agency during myoelectric pattern recognition based prosthetic limb control using eye-tracking
Sano et al. Mobile sensing of alertness, sleep and circadian rhythm: Hardware & software platforms
Davis-Stewart Stress Detection: Stress Detection Framework for Mission-Critical Application: Addressing Cybersecurity Analysts Using Facial Expression Recognition
Alzoubi Automatic affect detection from physiological signals: Practical issues
Gao A digital signal processing approach for affective sensing of a computer user through pupil diameter monitoring
Tébar Saiz Análisis de respuestas fisiológicas a estímulos emocionales
Vasiljevas Human-assistive interface model of physiological computing systems
Rincon et al. Towards a cognitive assistant system for elderly
Benedicto et al. Real-Time Emotion Detection System’s Impact on Pivotal Response Training Protocol
Polo Multimodal assessment of emotional responses by physiological monitoring: novel auditory and visual elicitation strategies in traditional and virtual reality environments
Torres Inherent Noise Hidden in Nervous Systems’ Rhythms Leads to New Strategies for Detection and Treatments of Core Motor Sensing Traits in ASD

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 400042, Daping Changjiang Road 10, Yuzhong District, Chongqing

Patentee after: CHINESE PEOPLE'S LIBERATION ARMY ARMY SPECIALIZED MEDICAL CENTER

Address before: 400000 No. 10, Daping Changjiang Branch Road, Yuzhong District, Chongqing

Patentee before: THE THIRD AFFILIATED TO ARMY MEDICAL University (RESEARCH INSTITUTE OF SURGERY)

CP03 Change of name, title or address