CN112826442A - 基于眼底图像的心理状态识别方法及设备 - Google Patents

基于眼底图像的心理状态识别方法及设备 Download PDF

Info

Publication number
CN112826442A
CN112826442A CN202011618426.5A CN202011618426A CN112826442A CN 112826442 A CN112826442 A CN 112826442A CN 202011618426 A CN202011618426 A CN 202011618426A CN 112826442 A CN112826442 A CN 112826442A
Authority
CN
China
Prior art keywords
image
parameters
psychological state
feature information
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011618426.5A
Other languages
English (en)
Inventor
付萌
郭立平
邱庭轩
熊健皓
赵昕
和超
张大磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eaglevision Medical Technology Co Ltd
Original Assignee
Shanghai Eaglevision Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eaglevision Medical Technology Co Ltd filed Critical Shanghai Eaglevision Medical Technology Co Ltd
Priority to CN202011618426.5A priority Critical patent/CN112826442A/zh
Publication of CN112826442A publication Critical patent/CN112826442A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Psychiatry (AREA)
  • Evolutionary Computation (AREA)
  • Ophthalmology & Optometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明提供一种基于眼底图像的心理状态识别方法及设备，所述方法包括获取视网膜血管管径参数和眼底图像；利用特征提取网络对所述眼底图像提取特征信息；根据所述特征信息和所述参数得到融合特征信息；利用输出网络对所述融合特征信息进行识别得到关于心理状态的识别结果。

Description

基于眼底图像的心理状态识别方法及设备
技术领域
本发明涉及图像识别领域，具体涉及一种基于眼底图像的心理状态识别方法及设备。
背景技术
心理健康问题被认为主要是由于家庭、社会环境等外在原因，和患者自身的生理遗 传因素、神经生化因素等内在原因相互作用所导致的心理活动、行为、及其神经系统功能紊乱为主要特征的病症。现今心理健康问题已经成为日益突出的社会问题，常见的心 理健康问题有抑郁、焦虑等。患有抑郁症和焦虑症的人患心血管疾病的风险增加,及时 筛查、并引导患者就医时阻止病态发展至关重要的一个环节。
现有的心理状态评估方案主要有两类，第一类是通过人的生理信号分析心理状态， 比如通过心率信号和血氧饱和度信号等等，这些生理信号容易受到外界干扰，比如人的 情绪不稳定时会发生明显变化，导致分析结果不准确；第二类是借助心理测评量表评估心理状态，这种方案容易受主观因素的影响，为了提高准确性，量表中通常设置大量的 问题和答案选项，被测者需要花费大量时间回答量表中的问题，导致测评效率比较低。
发明内容
有鉴于此，本发明提供一种基于眼底图像的心理状态识别方法，包括：
获取视网膜血管管径参数和眼底图像；
利用特征提取网络对所述眼底图像提取特征信息；
根据所述特征信息和所述参数得到融合特征信息；
利用输出网络对所述融合特征信息进行识别得到关于心理状态的识别结果。
本发明还提供一种心理状态识别模型训练方法，包括：
获取训练数据，所述训练数据包括视网膜血管管径参数、眼底图像及心理状态标签；
利用所述训练数据对机器学习模型进行训练，所述模型包括特征提取网络、融合模 块和输出网络，其中所述特征提取网络用于对所述眼底图像提取特征信息，所述融合模块用于根据所述特征信息和所述参数得到融合特征信息，所述输出网络用于对所述融合特征信息进行识别得到关于心理状态的识别结果，所述模型根据所述识别结果与所述心理状态标签的差异优化自身的参数。
可选地，获取视网膜血管管径参数具体包括：
利用分割网络在所述眼底图像中的分割出视盘图像；
根据所述视盘图像的位置在所述眼底图像中截取部分图像；
利用分割网络在所述部分图像中分割出血管图像；
根据所述血管图像确定所述视网膜血管管径参数。
可选地，根据所述血管图像识别所述视网膜血管管径参数具体包括：
在所述视盘图像中确定视盘中心位置和视盘半径；
基于所述视盘中心位置和视盘半径在所述部分图像中确定所述视盘图像外周的环 状区域；
根据所述环状区域内的血管图像确定所述视网膜血管管径参数。
可选地，根据所述特征信息和所述参数得到融合特征信息具体包括：对所述参数进 行扩展，以增加其在融合特征信息中的占比；将所述特征信息与扩展后的所述参数进行拼接，得到所述融合特征信息。
可选地，所述输出网络包括分类器，用于对所述融合特征信息进行分类，输出关于心理状态的分类结果。
可选地，所述分类结果包括抑郁症的分级结果、焦虑症的分级结果、心理健康风险的分级结果中的至少一种。
可选地，所述视网膜血管管径参数包括视网膜中央动脉直径等效值和视网膜中央静 脉直径等效值。
相应地，本发明提供一种心理状态识别设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行 的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述心理 状态识别方法。
相应地，本发明提供一种心理状态识别模型训练设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处 理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行 上述心理状态识别模型训练方法。
本发明提供的心理状态识别方法及设备利用神经网络提取眼底图像的特征信息，并 将图像的特征信息与视网膜血管管径参数进行融合，再利用神经网络对融合的特征信息 进行识别得到心理状态的识别结果，由于眼底图像和血管管径参数不会受到外界因素和 人的主观因素影响，由此提高了心理状态识别结果的准确性，并且整个识别过程由计算机自动化完成，不需要被测者填写量表或提供辅助信息，本方案具有较高的效率。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述 中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性 劳动的前提下，还可以根据这些附图获得其他的附图。
图1为眼底图像；
图2为本发明实施例中的心理状态识别方法的流程图；
图3为本发明实施例中的心理状态识别方法的过程示意图；
图4为本发明实施例中的血管管径参数计算方式的示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通 技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的 范围。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成 冲突就可以相互结合。
本发明实施例提供一种心理状态识别模型训练方法，该方法可以由计算机或服务器 等电子设备执行，该方法包括如下步骤：
S1A，获取训练数据，训练数据包括视网膜血管管径参数、眼底图像及心理状态标签。眼底图像是通过眼底相机拍摄的如图1所示的视网膜图像，眼底图像包含丰富的视 网膜血管信息，可用于评估微循环的健康状况。现有研究成果表明，在青春期和成年早 期的人群中，抑郁与焦虑等心理症状与视网膜血管管径是相关联的。在校正了其他心血 管危险因素后，抑郁和焦虑症状也与视网膜小动脉口径变宽相关。鉴于抑郁和焦虑症状 与生命早期视网膜微脉管系统中的可测量体征相关，本方案将通过提取视网膜图像的特 征，对被拍摄者的心理健康风险进行预测。
考虑到仅通过眼底图像判断心理状态的准确性不够高，本方案还引入了视网膜血管 管径参数，作为一种更加直观的生理参数。口径参数可以是视网膜动脉和静脉的直径或者二者的比值等等。测量视网膜血管管径参数的方法可分为两种，即直接测量法和间接 测量法。直接测量法是指由人工对眼底图像中的血管边界进行标识，再测量出血管的宽 度；间接测量法是指借助计算机图像识别算法在眼底图像中识别血管并测量尺寸，然后 使用Parr-Hubbard公式或者改良的Parr-Hubbard-Knudtson公式进行视网膜口径等效 参数的计算。
在具体的实施例中，采用中央视网膜动脉等效值(central retinal arteriolarequivalent,CRAE)和中央视网膜静脉等效值(central retinal venular equivalent,CRVE)，其中中央视网膜动脉等效值和中央视网膜静脉等效值分别代表视网膜动脉和静 脉的直径。具体计算方法如下：
Figure BDA0002875491000000041
Figure BDA0002875491000000042
其中Wc动脉为视网膜中央动脉直径等效值、Wc静脉为视网膜中央静脉直径等效值，其中w1为较细的动脉或静脉分支直径；w2为较粗的动脉或静脉分支直径。
心理状态标签用于表示被拍者的心理状态，比如心理是否健康、是否为抑郁症、是否为焦虑症，也可以是更细致的分级信息，如心理健康的风险等级(程度)、抑郁等级 (程度)、焦虑等级(程度)等等。可以借助心理学诊断法来确定心理状态，比如通过 心理健康量表来确定标签内容。本申请所述标签可以是用于分类任务的标签，也可是用 于回归预测的标签。用于分类的标签通常采用0或1来表示相应的类别，用于回归预测 的标签内容为数值，即通过数值表示相应的等级或程度。
S2A，利用训练数据对机器学习模型进行训练。采用大量训练数据训练模型，每一个训练数据分别包括一个人的眼底图像、视网膜血管管径参数及其心理状态，模型被配 置为根据眼底图像和视网膜血管管径参数输出识别结果，然后根据识别结果与心理状态 标签的差异优化自身的参数。
具体地，模型包括特征提取网络、融合模块和输出网络，其中特征提取网络(卷积神经网络)用于对眼底图像提取特征信息，融合模块用于根据特征信息和参数得到融合 特征信息，输出网络用于对融合特征信息进行识别得到关于心理状态的识别结果。
关于融合模块，其具体可采用的融合方式有多种，比如可以直接将特征信息和参数 进行拼接。作为举例，特征信息通常是高维向量，记为X,X＝[x1,x2,……x1024]，表示其为1024维特征向量，血管管径参数也被视为向量，比如[Wc动脉,Wc静脉]，表示其 为2维特征向量。直接将这两个向量进行拼接，得到的融合特征信息则为[X， Wc动脉,Wc静脉]。
对眼底图像提取的特征信息的维度通常远高于血管管径参数的维度，直接拼接的方 式将导致血管管径参数在最终的融合特征信息中的占比太小，模型不能有效地使用血管 管径参数的特征。为了解决此问题，可以采取如下优选的融合方式，即对参数进行扩展，以增加其在融合特征信息中的占比；将特征信息与扩展后的所述参数进行拼接，得到所 述融合特征信息。其中所述扩展可以是重复多次使用这些参数，重复次数可根据特征信 息的维度等实际情况进行设定，比如设定重复三次使用这些参数，则得到的融合特征信 息为[X，Wc动脉,Wc静脉，Wc动脉,Wc静脉，Wc动脉,Wc静脉]，即血管管径参数被使 用三次。由此可以使模型更有效地使用血管管径参数，提高模型识别准确性。
本申请所述模型执行的可以是分类任务或者回归预测任务，因此最终输出的识别结果可以是一个分类结果，也可是回归预测结果。对于执行不同任务的模型来说，输 出网络的结构不同，执行分类任务的模型的输出网络包括分类器，用于对融合特征信 息进行分类，输出关于心理状态的分类结果。
经过训练后，模型即可用于识别(预测)心理状态。本实施例提供一种优选的心理状态识别方法，如图2所示该方法包括如下步骤：
S1B，获取视网膜血管管径参数和眼底图像。与训练过程类似地，可参照步骤S1A获得这两个输入数据。在本实施例中心理状态是未知的，是最终的识别结果。
作为优选的实施例，本实施例使用视网膜中央血管管径参数，并且通过眼底图像获 得上述参数。请参见图3，本方案只需要获得用户的眼底图像31，利用分割网络在眼底图像31中分割出视盘图像，具体可以使用经典的分割网络如Unet,、DeepLab系列等对 眼底图像中的视盘部分进行分割，得到分割出视盘的眼底图像32，其中用虚线段标出了 视盘图像。
然后利用分割网络在眼底图像中分割出血管图像。在本实施例中，为了减少分割血 管的计算量，首先对眼底图像进行剪切。具体是根据视盘图像的位置在眼底图像中截取部分图像，本实施例是将视盘图像近似为圆形并识别出中心点位置(x,y)和半径值r， 以中心点位置(x,y)为中心，在眼底图像中截取边长为8r的正方形图像(部分图像)。 在其它实施例中也可以不进行剪切，直接对眼底图像进行血管分割。
进一步地，利用分割网络在剪切的部分图像中分割出血管图像。在本实施例中使用 另一个分割网络对眼底图像中的血管进行分割，得到血管分割结果图像。由于本实施例需要使用动脉和静脉口径参数，因此分割网络被配置为区分分割动脉和静脉。
上述过程中所使用的分割网络应当在使用前进行训练，对于视盘和血管的分割网络 的训练方法可采用现有技术，此处不再赘述。
最终根据血管图像确定视网膜血管管径参数。具体来说，是基于视盘中心位置和视盘半径在图像中确定视盘图像外周的环状区域，参见图3中标记环形区域的眼底图像33；然后根据环状区域内的血管图像确定视网膜血管管径参数，参见图3中截取环线区域内的血管图像34。
下面结合图4介绍一种优选的技术血管管径参数的方式，本实施例以视盘中心点位 置(x,y)为圆心，分别以2r、3r为半径确定圆形区域(图4中的实线圆环)，将两个 圆形区域之间的圆环部分作为为口径测量区域，以(x,y)为中心，在圆环区域内再均匀 形成n个圆(图4中实线圆环内的虚线圆环)，每个圆与圆环内的动、静脉血管相交， 取相交处的血管管径作为此血管的抽样管径，得到此血管的n个抽样管径值后取平均值， 则得到此血管的管径值。通过以上方法，可以得到圆环区域内所需的全部血管管径值。 然后再使用改良的Parr-Hubbard-Knudtson公式进行视网膜口径等效参数的计算。
使用上述公式计算直径等效值，首先要在圆环区域内选取最粗的六根动脉血管和最 粗的六根静脉血管，分别用来计算动脉静脉等效值，具体计算方法是迭代的选择最粗和最细的血管直径，使用上述公式进行计算，直到仅剩一个数值。举例说明，如果选取最 粗的六根动脉血管直径从大到小排列为100,90,80,70,60,50微米，首先选择100，50 使用公式
Figure BDA0002875491000000061
w1＝100、w2＝50，计算得到98.4微米，同 时利用90和60得到95.2微米、利用80和70得到93.5微米，得到三个数值分别为 98.4,95.2,93.5；然后进行下一轮迭代，利用上一轮计算的结果98.4和93.5计算得到 119.4微米；再进入下一轮迭代利用119.4和95.2得到134.4微米，作为最终的视网膜 中央动脉等效值。对静脉参数的计算与此类似，此处不再展开介绍。
另外需要说明的是，上述测量血管管径参数的方式只是一种可选的方案并非唯一可 行的方案，本发明也可以采用现有的血管参数测量方式来计算视网膜中央血管管径参数。
S2B，利用特征提取网络对眼底图像提取特征信息，在本实施例中采用卷积神经网络对整个眼底图像进行特征提取，得到的信息为高维特征向量。在其它实施例中，也可 以利用特征提取网络只对眼底图像的一部分进行特征提取，比如只对剪切的部分图像进 行特征提取而非整个眼底图像；还可以在对整个眼底图像进行特征提取的基础上，增加 一个特征提取网络，同时对剪切的部分图像进行特征提取。
S3B，根据特征信息和参数得到融合特征信息。具体参照上述训练方法实施例中的融合方案，此处不再赘述。
S4B，利用输出网络对融合特征信息进行识别得到关于心理状态的识别结果。本实施例采用分类器，根据训练时所配置的标签情形，在此输出的分类结果可以是抑郁症的 分级结果、焦虑症的分级结果、心理健康风险的分级结果中的至少一种。
本发明实施例提供的心理状态识别方法利用神经网络提取眼底图像的特征信息，并 将图像的特征信息与视网膜血管管径参数进行融合，再利用神经网络对融合的特征信息 进行识别得到心理状态的识别结果，由于眼底图像和血管管径参数不会受到外界因素和 人的主观因素影响，由此提高了心理状态识别结果的准确性，并且整个识别过程由计算机自动化完成，不需要被测者填写量表或提供辅助信息，本方案具有较高的效率。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面 的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的 计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计 算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每 一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些 计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备 的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的 指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中 指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定 方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指 令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算 机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或 其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变 化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种基于眼底图像的心理状态识别方法，其特征在于，包括：
获取视网膜血管管径参数和眼底图像；
利用特征提取网络对所述眼底图像提取特征信息；
根据所述特征信息和所述参数得到融合特征信息；
利用输出网络对所述融合特征信息进行识别得到关于心理状态的识别结果。
2.一种心理状态识别模型训练方法，其特征在于，包括：
获取训练数据，所述训练数据包括视网膜血管管径参数、眼底图像及心理状态标签；
利用所述训练数据对机器学习模型进行训练，所述模型包括特征提取网络、融合模块和输出网络，其中所述特征提取网络用于对所述眼底图像提取特征信息，所述融合模块用于根据所述特征信息和所述参数得到融合特征信息，所述输出网络用于对所述融合特征信息进行识别得到关于心理状态的识别结果，所述模型根据所述识别结果与所述心理状态标签的差异优化自身的参数。
3.根据权利要求1或2所述的方法，其特征在于，获取视网膜血管管径参数具体包括：
利用分割网络在所述眼底图像中的分割出视盘图像；
根据所述视盘图像的位置在所述眼底图像中截取部分图像；
利用分割网络在所述部分图像中分割出血管图像；
根据所述血管图像确定所述视网膜血管管径参数。
4.根据权利要求3所述的方法，其特征在于，根据所述血管图像识别所述视网膜血管管径参数具体包括：
在所述视盘图像中确定视盘中心位置和视盘半径；
基于所述视盘中心位置和视盘半径在所述部分图像中确定所述视盘图像外周的环状区域；
根据所述环状区域内的血管图像确定所述视网膜血管管径参数。
5.根据权利要求1或2所述的方法，其特征在于，根据所述特征信息和所述参数得到融合特征信息具体包括：
对所述参数进行扩展，以增加其在所述融合特征信息中的占比；
将所述特征信息与扩展后的所述参数进行拼接，得到所述融合特征信息。
6.根据权利要求1所述的方法，其特征在于，所述输出网络包括分类器，用于对所述融合特征信息进行分类，输出关于心理状态的分类结果。
7.根据权利要求6所述的方法，其特征在于，所述分类结果包括抑郁症的分级结果、焦虑症的分级结果、心理健康风险的分级结果中的至少一种。
8.根据权利要求1-7中任一项所述的方法，其特征在于，所述视网膜血管管径参数包括视网膜中央动脉直径等效值和视网膜中央静脉直径等效值。
9.一种心理状态识别设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1、3-8中任意一项所述的心理状态识别方法。
10.一种心理状态识别模型训练设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求2-8中任意一项所述的心理状态识别模型训练方法。
CN202011618426.5A 2020-12-31 2020-12-31 基于眼底图像的心理状态识别方法及设备 Pending CN112826442A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011618426.5A CN112826442A (zh) 2020-12-31 2020-12-31 基于眼底图像的心理状态识别方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011618426.5A CN112826442A (zh) 2020-12-31 2020-12-31 基于眼底图像的心理状态识别方法及设备

Publications (1)

Publication Number Publication Date
CN112826442A true CN112826442A (zh) 2021-05-25

Family

ID=75925613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011618426.5A Pending CN112826442A (zh) 2020-12-31 2020-12-31 基于眼底图像的心理状态识别方法及设备

Country Status (1)

Country Link
CN (1) CN112826442A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115620384A (zh) * 2022-12-19 2023-01-17 北京鹰瞳科技发展股份有限公司 模型训练方法、眼底图像预测方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376621A (zh) * 2018-09-30 2019-02-22 北京七鑫易维信息技术有限公司 一种样本数据生成方法、装置以及机器人
CN109829942A (zh) * 2019-02-21 2019-05-31 韶关学院 一种眼底图像视网膜血管管径自动量化方法
WO2020080275A1 (ja) * 2018-10-15 2020-04-23 国立大学法人大阪大学 網膜および／または光受容に関連する症状の改善または予防用医薬ならびに網膜および／または光受容に関連する症状を改善または予防する物質のスクリーニング方法
WO2020118160A1 (en) * 2018-12-07 2020-06-11 University Of Miami Systems and method for detecting cognitive impairment
CN111340789A (zh) * 2020-02-29 2020-06-26 平安科技（深圳）有限公司 眼底视网膜血管识别及量化方法、装置、设备及存储介质
CN111402184A (zh) * 2018-12-13 2020-07-10 福州依影健康科技有限公司 一种实现远程眼底筛查和健康服务的方法和系统
CN111507932A (zh) * 2019-01-31 2020-08-07 福州依影健康科技有限公司 高特异性的糖尿病性视网膜病变特征检测方法及存储设备
CN111655151A (zh) * 2018-01-25 2020-09-11 国立大学法人大阪大学 压力状态的检测方法以及压力检测装置
JP6779446B1 (ja) * 2019-08-20 2020-11-04 株式会社アウレオ 眼疲労検査装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111655151A (zh) * 2018-01-25 2020-09-11 国立大学法人大阪大学 压力状态的检测方法以及压力检测装置
CN109376621A (zh) * 2018-09-30 2019-02-22 北京七鑫易维信息技术有限公司 一种样本数据生成方法、装置以及机器人
WO2020080275A1 (ja) * 2018-10-15 2020-04-23 国立大学法人大阪大学 網膜および／または光受容に関連する症状の改善または予防用医薬ならびに網膜および／または光受容に関連する症状を改善または予防する物質のスクリーニング方法
WO2020118160A1 (en) * 2018-12-07 2020-06-11 University Of Miami Systems and method for detecting cognitive impairment
CN111402184A (zh) * 2018-12-13 2020-07-10 福州依影健康科技有限公司 一种实现远程眼底筛查和健康服务的方法和系统
CN111507932A (zh) * 2019-01-31 2020-08-07 福州依影健康科技有限公司 高特异性的糖尿病性视网膜病变特征检测方法及存储设备
CN109829942A (zh) * 2019-02-21 2019-05-31 韶关学院 一种眼底图像视网膜血管管径自动量化方法
JP6779446B1 (ja) * 2019-08-20 2020-11-04 株式会社アウレオ 眼疲労検査装置
CN111340789A (zh) * 2020-02-29 2020-06-26 平安科技（深圳）有限公司 眼底视网膜血管识别及量化方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LING-JUN LI: "Antenatal Mental Health and Retinal Vascular Caliber in Pregnant Women", TVST, vol. 2, no. 2, pages 1 - 10 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115620384A (zh) * 2022-12-19 2023-01-17 北京鹰瞳科技发展股份有限公司 模型训练方法、眼底图像预测方法及装置

Similar Documents

Publication Publication Date Title
EP3730040A1 (en) Method and apparatus for assisting in diagnosis of cardiovascular disease
Saba et al. Automatic detection of papilledema through fundus retinal images using deep learning
US20190221313A1 (en) Diagnosis assistance system and control method thereof
KR20200005406A (ko) 진단 보조 시스템
EP4162870A1 (en) Systems and methods for estimating healthy lumen diameter and stenosis quantification in coronary arteries
Leontidis et al. A new unified framework for the early detection of the progression to diabetic retinopathy from fundus images
US20160166141A1 (en) Quantifying a blood vessel reflection parameter of the retina
WO2020013302A1 (ja) 精神・神経系疾患の推定システム、推定プログラムおよび推定方法
US9934426B2 (en) System and method for inspecting emotion recognition capability using multisensory information, and system and method for training emotion recognition using multisensory information
WO2019180742A1 (en) System and method for retinal fundus image semantic segmentation
KR20200023029A (ko) 진단 보조 시스템 및 그 제어 방법
TWI698225B (zh) 血管狀態評估方法與血管狀態評估裝置
CN110874409A (zh) 病情分级预测系统、方法、电子设备及可读存储介质
Hu et al. Automatic artery/vein classification using a vessel-constraint network for multicenter fundus images
CN115578783B (zh) 基于眼部图像进行眼部疾病识别的装置、方法及相关产品
CN111789572A (zh) 从视网膜脉管系统图像中确定高血压水平
EP4045138A1 (en) Systems and methods for monitoring the functionality of a blood vessel
CN113850812A (zh) 一种眼底动静脉图像分割方法、装置和设备
CN112826442A (zh) 基于眼底图像的心理状态识别方法及设备
US11670323B2 (en) Systems and methods for detecting impairment of an individual
US20220378300A1 (en) Systems and methods for monitoring the functionality of a blood vessel
JP2021520250A (ja) 体液の流れを検出するシステムおよび方法
US20220061920A1 (en) Systems and methods for measuring the apposition and coverage status of coronary stents
CN112259232A (zh) 一种基于深度学习的vte风险自动评估系统
Shyamalee et al. Automated Tool Support for Glaucoma Identification with Explainability Using Fundus Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination