CN115620384B - 模型训练方法、眼底图像预测方法及装置 - Google Patents
模型训练方法、眼底图像预测方法及装置 Download PDFInfo
- Publication number
- CN115620384B CN115620384B CN202211633628.6A CN202211633628A CN115620384B CN 115620384 B CN115620384 B CN 115620384B CN 202211633628 A CN202211633628 A CN 202211633628A CN 115620384 B CN115620384 B CN 115620384B
- Authority
- CN
- China
- Prior art keywords
- fundus image
- fundus
- image
- sample
- anxiety
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 145
- 238000012549 training Methods 0.000 title claims abstract description 68
- 238000001514 detection method Methods 0.000 claims abstract description 116
- 208000019901 Anxiety disease Diseases 0.000 claims abstract description 103
- 230000036506 anxiety Effects 0.000 claims abstract description 103
- 230000008569 process Effects 0.000 claims abstract description 74
- 208000020401 Depressive disease Diseases 0.000 claims abstract description 62
- 230000008451 emotion Effects 0.000 claims abstract description 43
- 238000012216 screening Methods 0.000 claims abstract description 39
- 238000012545 processing Methods 0.000 claims description 31
- 238000013145 classification model Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 3
- 208000024891 symptom Diseases 0.000 abstract description 32
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 2
- 238000003908 quality control method Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 206010010144 Completed suicide Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本申请提供了一种模型训练方法、眼底图像预测方法及装置。所述方法包括:获取初始眼底图像;调用预设模型对所述初始眼底图像进行处理,筛选出所述初始眼底图像中符合模型训练条件的样本眼底图像;所述样本眼底图像标注有真实情绪类别;基于所述样本眼底图像对待训练焦虑抑郁检测模型进行训练,得到所述待训练焦虑抑郁检测模型输出的所述样本眼底图像对应的预测类别概率;基于所述真实情绪类别和所述预测类别概率,计算得到所述待训练焦虑抑郁检测模型的损失值;在所述损失值处于预设范围内的情况下,将训练后的待训练焦虑抑郁检测模型作为最终的目标焦虑抑郁检测模型。本申请可以避免错误信息的干扰,提高焦虑抑郁症状的预测效率和准确率。
Description
技术领域
本申请涉及人工智能技术领域,尤其涉及一种模型训练方法、眼底图像预测方法及装置。
背景技术
焦虑抑郁是一种严重的、常见的心理健康状况,包括悲伤或绝望的感觉,患病率会随着年龄的增长而增加,并与更高水平的发病率、自杀、自我忽视和身体、认知和社会功能下降有关。因此,识别患有抑郁症或有焦虑情绪的人,对确保提供适当的治疗变得越来越重要。
目前,在进行抑郁症或有焦虑情绪的识别时,通常是采用下述方式:
1、焦虑抑郁症状的识别需由心理测评量表分数和心理专业医生共同决定,其中心理测评量表为了提高准确性,通常会设置大量的问题和答案选项,被测者需要花费大量时间回答量表中的问题,导致测评效率比较低。
2、通过眼底图像识别,然而,由于在拍摄过程中容易出现干扰物或亮度问题,导致焦虑抑郁症状的识别准确率较低。
发明内容
本申请实施例提供一种模型训练方法、眼底图像预测方法及装置,以解决相关技术中识别焦虑抑郁症状的效率和准确率均较低的问题。
为了解决上述技术问题,本申请实施例是这样实现的:
第一方面,本申请实施例提供了一种模型训练方法,所述方法包括:
获取初始眼底图像;
调用预设模型对所述初始眼底图像进行处理,筛选出所述初始眼底图像中符合模型训练条件的样本眼底图像;所述样本眼底图像标注有真实情绪类别;
基于所述样本眼底图像对待训练焦虑抑郁检测模型进行训练,得到所述待训练焦虑抑郁检测模型输出的所述样本眼底图像对应的预测类别概率;
基于所述真实情绪类别和所述预测类别概率,计算得到所述待训练焦虑抑郁检测模型的损失值;
在所述损失值处于预设范围内的情况下,将训练后的待训练焦虑抑郁检测模型作为最终的目标焦虑抑郁检测模型。
可选地,所述调用预设模型对所述初始眼底图像进行处理,筛选出所述初始眼底图像中符合模型训练条件的样本眼底图像,包括:
对所述初始眼底图像进行预处理,生成预处理眼底图像;
调用眼底图像识别模型对所述预处理眼底图像进行处理,得到所述预处理眼底图像对应的虚拟眼底图像;
调用图像质量等级分类模型对所述预处理眼底图像进行处理,得到所述预处理眼底图像属于各个预设质量等级的概率;
根据所述虚拟眼底图像和所述预处理眼底图像的相似度,确定所述初始眼底图像是否为标准眼底图像;
在所述眼底图像为标准眼底图像的情况下,根据所述概率,从所述初始眼底图像中筛选出符合模型训练条件的样本眼底图像。
可选地,所述待训练焦虑抑郁检测模型包括:输入层、卷积层、残差网络层和输出层,
所述基于所述样本眼底图像对待训练焦虑抑郁检测模型进行训练,得到所述待训练焦虑抑郁检测模型输出的所述样本眼底图像对应的预测类别概率,包括:
对所述样本眼底图像进行数据增强操作,得到增强样本图像;
将所述增强样本图像输入至所述待训练焦虑抑郁检测模型;
调用所述输入层对所述增强样本图像进行尺寸转换处理,得到所述增强样本图像对应的特征图;
调用所述卷积层对所述特征图进行卷积处理,以提取所述特征图内的眼底特征;
调用所述残差网络层对所述眼底特征进行特征优化处理,得到所述眼底特征对应的优化眼底特征;
调用所述输出层对所述优化眼底特征进行处理,输出所述样本眼底图像对应的预测类别概率。
可选地,所述基于所述真实情绪类别和所述预测类别概率,计算得到所述待训练焦虑抑郁检测模型的损失值,包括:
获取本次模型训练的所述样本眼底图像的图像数量;
基于每个所述样本眼底图像对应的真实情绪类别和所述预测类别概率,计算得到每个所述样本眼底图像对应的交叉熵损失值;
基于所述图像数量、所述交叉熵损失值、所述真实情绪类别和所述预测类别概率,计算得到所述待训练焦虑抑郁检测模型的损失值。
第二方面,本申请实施例提供了一种眼底图像方法,所述方法包括:
获取目标用户的多幅眼底图像;
调用预设模型对所述多幅眼底图像进行处理,筛选出所述多幅眼底图像中符合模型推理条件的目标眼底图像;
调用目标焦虑抑郁检测模型对所述目标眼底图像进行处理,得到所述目标用户对应的目标预测类别概率;
基于所述目标预测类别概率,预测所述目标眼底图像是否为存在焦虑抑郁状况的图像。
第三方面,本申请实施例提供了一种模型训练装置,所述装置包括:
初始图像获取模块,用于获取初始眼底图像;
样本图像筛选模块,用于调用预设模型对所述初始眼底图像进行处理,筛选出所述初始眼底图像中符合模型训练条件的样本眼底图像;所述样本眼底图像标注有真实情绪类别;
预测类别获取模块,用于基于所述样本眼底图像对待训练焦虑抑郁检测模型进行训练,得到所述待训练焦虑抑郁检测模型输出的所述样本眼底图像对应的预测类别概率;
损失值计算模块,用于基于所述真实情绪类别和所述预测类别概率,计算得到所述待训练焦虑抑郁检测模型的损失值;
目标模型获取模块,用于在所述损失值处于预设范围内的情况下,将训练后的待训练焦虑抑郁检测模型作为最终的目标焦虑抑郁检测模型。
可选地,所述样本图像筛选模块包括:
预处理图像生成单元,用于对所述初始眼底图像进行预处理,生成预处理眼底图像;
虚拟图像获取单元,用于调用眼底图像识别模型对所述预处理眼底图像进行处理,得到所述预处理眼底图像对应的虚拟眼底图像;
等级概率获取单元,用于调用图像质量等级分类模型对所述预处理眼底图像进行处理,得到所述预处理眼底图像属于各个预设质量等级的概率;
标准图像确定单元,用于根据所述虚拟眼底图像和所述预处理眼底图像的相似度,确定所述初始眼底图像是否为标准眼底图像;
样本图像筛选单元,用于在所述眼底图像为标准眼底图像的情况下,根据所述概率,从所述初始眼底图像中筛选出符合模型训练条件的样本眼底图像。
可选地,所述待训练焦虑抑郁检测模型包括:输入层、卷积层、残差网络层和输出层,
所述预测类别获取模块包括:
增强样本图像获取单元,用于对所述样本眼底图像进行数据增强操作,得到增强样本图像;
样本图像输入单元,用于将所述增强样本图像输入至所述待训练焦虑抑郁检测模型;
特征图获取单元,用于调用所述输入层对所述增强样本图像进行尺寸转换处理,得到所述增强样本图像对应的特征图;
眼底特征提取单元,用于调用所述卷积层对所述特征图进行卷积处理,以提取所述特征图内的眼底特征;
优化特征获取单元,用于调用所述残差网络层对所述眼底特征进行特征优化处理,得到所述眼底特征对应的优化眼底特征;
预测类别输出单元,用于调用所述输出层对所述优化眼底特征进行处理,输出所述样本眼底图像对应的预测类别概率。
可选地,所述损失值计算模块包括:
图像数量获取单元,用于获取本次模型训练的所述样本眼底图像的图像数量;
交叉熵损失值计算单元,用于基于每个所述样本眼底图像对应的真实情绪类别和所述预测类别概率,计算得到每个所述样本眼底图像对应的交叉熵损失值;
损失值计算单元,用于基于所述图像数量、所述交叉熵损失值、所述真实情绪类别和所述预测类别概率,计算得到所述待训练焦虑抑郁检测模型的损失值。
第四方面,本申请实施例提供了一种眼底图像预测装置,所述装置包括:
眼底图像获取模块,用于获取目标用户的多幅眼底图像;
目标图像筛选模块,用于调用预设模型对所述多幅眼底图像进行处理,筛选出所述多幅眼底图像中符合模型推理条件的目标眼底图像;
目标预测类别获取模块,用于调用目标焦虑抑郁检测模型对所述目标眼底图像进行处理,得到所述目标用户对应的目标预测类别概率;
眼底图像预测模块,用于基于所述目标预测类别概率,预测所述目标眼底图像是否为存在焦虑抑郁状况的图像。
第五方面,本申请实施例提供了一种电子设备,包括:
存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现上述任一项所述的模型训练方法,或者上述眼底图像预测方法。
第六方面,本申请实施例提供了一种可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述任一项所述的模型训练方法,或者上述眼底图像预测方法。
在本申请实施例中,通过获取初始眼底图像,调用预设模型对初始眼底图像进行处理,筛选出初始眼底图像中符合模型训练条件的样本眼底图像,样本眼底图像标注有真实情绪类别。基于样本眼底图像对待训练焦虑抑郁检测模型进行训练,得到样本眼底图像对应的预测类别概率。基于真实情绪类别和预测类别概率,计算得到待训练焦虑抑郁检测模型的损失值。在值处于预设范围内的情况下,将训练后的待训练焦虑抑郁检测模型作为最终的目标焦虑抑郁检测模型。本申请实施例通过结合预设模型对初始眼底图像进行筛选,从而可以筛选出质量较高的眼底图像进行模型学习,可以避免出现错误信息(如干扰物或亮度等信息)的干扰,能够提高模型学习的精度。同时,结合训练得到的模型进行焦虑抑郁症状的预测,相较于人工预测的方式,能够提高焦虑抑郁症状的预测效率。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种模型训练方法的步骤流程图;
图2为本申请实施例提供的一种样本眼底图像筛选方法的步骤流程图;
图3为本申请实施例提供的一种预测类别概率输出方法的步骤流程图;
图4为本申请实施例提供的一种损失值计算方法的步骤流程图;
图5为本申请实施例提供的一种眼底图像预测方法的步骤流程图;
图6为本申请实施例提供的一种模型处理流程的示意图;
图7为本申请实施例提供的一种模型训练装置的结构示意图;
图8为本申请实施例提供的一种眼底图像预测装置的结构示意图;
图9为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
参照图1,示出了本申请实施例提供的一种模型训练方法的步骤流程图,如图1所示,该设备控制方法可以包括:步骤101、步骤102、步骤103、步骤104和步骤105。
步骤101:获取初始眼底图像。
本申请实施例可以应用于结合预设模型进行样本眼底图像的筛选,并根据筛选的样本眼底图像对待训练焦虑抑郁检测模型进行训练的场景中。
在训练焦虑抑郁检测模型时,可以获取初始眼底图像。
在某些示例中,初始眼底图像可以为从医学图像数据库中抽取的眼底图像。例如,在某医疗机构内设置有医学图像数据库,在进行焦虑抑郁检测模型时,可以从该医学图像数据库中下载眼底图像,以作为初始眼底图像等。
在某些示例中,初始眼底图像可以为对患有焦虑抑郁症状的患者临床拍照得到的眼底图像。例如,在对患有焦虑抑郁症状的患者进行眼底图像拍摄时,可以保存拍摄得到的该患者的眼底图像以作为初始眼底图像等。
可以理解地,上述示例仅是为了更好地理解本申请实施例的技术方案而列举的示例,本实施例对于初始眼底图像的获取方式不加以限制。
在获取到初始眼底图像之后,执行步骤102。
步骤102:调用预设模型对所述初始眼底图像进行处理,筛选出所述初始眼底图像中符合模型训练条件的样本眼底图像;所述样本眼底图像标注有真实情绪类别。
预设模型是指用于筛选符合模型训练条件的样本眼底图像的模型。
在获取到初始眼底图像之后,可以调用预设模型对初始眼底图像进行处理,以筛选出初始眼底图像中符合模型训练条件的样本眼底图像。
在本示例中,预设模型可以包括:眼底图像识别模型和图像质量等级分类模型,其中,眼底图像识别模型可以识别初始眼底图像是否为标准眼底图像。图像质量等级分类模型可以预测初始眼底图像在预设质量等级的概率,进而可以根据上述两个模型的输出进行样本眼底图像的筛选。对于该实现过程可以结合图2进行如下详细描述。
参照图2,示出了本申请实施例提供的一种样本眼底图像筛选方法的步骤流程图,如图2所示,该样本眼底图像筛选方法可以包括:步骤201、步骤202、步骤203、步骤204和步骤205。
步骤201:对所述初始眼底图像进行预处理,生成预处理眼底图像。
在本实施例中,在获取到初始眼底图像之后,可以对初始眼底图像进行预处理,以生成预处理眼底图像。具体地,可以对初始眼底图像进行去噪、去重等操作,以得到预处理眼底图像。
在对初始眼底图像进行预处理生成预处理图像之后,执行步骤202和步骤203。
步骤202:调用眼底图像识别模型对所述预处理眼底图像进行处理,得到所述预处理眼底图像对应的虚拟眼底图像。
虚拟眼底图像是指采用眼底图像识别模型对预处理图像进行处理之后得到的图像。
在对初始眼底图像进行预处理生成预处理图像之后,可以调用眼底图像识别模型对预处理眼底图像进行处理,得到预处理眼底图像对应的虚拟眼底图像。
在调用眼底图像识别模型对预处理眼底图像进行处理得到预处理眼底图像对应的虚拟眼底图像之后,执行步骤204。
步骤203:调用图像质量等级分类模型对所述预处理眼底图像进行处理,得到所述预处理眼底图像属于各个预设质量等级的概率。
在对初始眼底图像进行预处理生成预处理图像之后,可以调用图像质量等级分类模型对预处理眼底图像进行处理,以得到预处理眼底图像属于各个预设质量等级的概率。
在本示例中,预设质量等级可以划分为三个等级,分别为:非眼底图像等级、模糊眼底图像等级、高质量眼底图像等级。
图像质量等级分类模型可以对预处理眼底图像进行处理,以得到预处理眼底图像属于各个预设质量等级的概率,该概率可以用于指示预处理眼底图像属于哪个质量等级。
在调用图像质量等级分类模型对预处理眼底图像进行处理得到预处理眼底图像属于各个预设质量等级的概率之后,执行步骤205。
步骤204:根据所述虚拟眼底图像和所述预处理眼底图像的相似度,确定所述初始眼底图像是否为标准眼底图像。
在调用眼底图像识别模型对预处理眼底图像进行处理得到预处理眼底图像对应的虚拟眼底图像之后,可以计算虚拟眼底图像和预处理眼底图像之间的相似度。在具体实现中,可以通过提取虚拟眼底图像的图像特征和预处理眼底图像的图像特征,并计算两个图像匹配的图像特征的余弦距离(或欧式距离等),以计算得到虚拟眼底图像和预处理眼底图像的相似度。当然,不仅限于此,在具体实现中,还可以采用其它方式获取虚拟眼底图像和预处理眼底图像之间的相似度,如图像相似度预测模型等,本实施例对于虚拟眼底图像和预处理眼底图像之间的相似度的获取方式不加以限制。
在获取到虚拟眼底图像和预处理眼底图像的相似度之后,可以根据虚拟眼底图像和预处理眼底图像的相似度,确定初始眼底图像是否为标准眼底图像。
在本示例中,结合虚拟眼底图像和预处理眼底图像的相似度,可以剔除初始眼底图像中的非眼底图像,如面部图像,或无非提取眼底特征的图像等。
在根据虚拟眼底图像和预处理眼底图像的相似度确定出初始眼底图像是否为标准眼底图像之后,执行步骤205。
步骤205:在所述眼底图像为标准眼底图像的情况下,根据所述概率,从所述初始眼底图像中筛选出符合模型训练条件的样本眼底图像。
在根据虚拟眼底图像和预处理眼底图像的相似度确定出初始眼底图像为标准眼底图像之后,可以根据得到的预处理眼底图像所属各个预设质量等级的概率,从初始眼底图像中筛选出符合模型训练条件的样本眼底图像。具体地,可以根据预处理眼底图像所属各个预设质量等级的概率,确定出预处理眼底图像所属的质量等级,然后,筛选隶属于高质量等级的初始眼底图像作为样本眼底图像,以进行后续的模型训练过程。
在本实施例中,在筛选出样本眼底图像之后,还可以为样本眼底图像添加情绪类别标注,即每个样本眼底图像对应于一个真实情绪类别。
本申请实施例通过结合眼底图像识别模型和图像质量等级分类模型,可以获取较为准确的眼底图像质量分类的同时,过滤掉非眼底图的干扰,提高了眼底图像质量控制的准确率,从而提高了焦虑抑郁预测模型的训练精度。
在调用预设模型对初始眼底图像进行处理,筛选出初始眼底图像中符合模型训练条件的样本眼底图像之后,执行步骤103。
步骤103:基于所述样本眼底图像对待训练焦虑抑郁检测模型进行训练,得到所述待训练焦虑抑郁检测模型输出的所述样本眼底图像对应的预测类别概率。
在调用预设模型对初始眼底图像进行处理,筛选出初始眼底图像中符合模型训练条件的样本眼底图像之后,可以将样本眼底图像输入至待训练焦虑抑郁检测模型,以对待训练焦虑抑郁检测模型进行训练。
在将样本眼底图像输入至待训练焦虑抑郁检测模型之后,可以调用待训练焦虑抑郁检测模型对样本眼底图像进行处理,并输出样本眼底图像对应的预测类别概率,该预测类别概率可以用于指示样本眼底图像对应的用户是否存在焦虑或抑郁等情绪类别。
在本示例中,待训练焦虑抑郁检测模型可以采用ResNet-50模型,ResNet的结构可以极快地加速神经网络的训练,模型的准确率也有比较大的提升。当然,不仅限于此,在具体实现中,待训练焦虑抑郁检测模型还可以采用其它模型结构,本实施例对此不加以限制。
在本示例中,待训练焦虑抑郁检测模型可以包括:输入层、卷积层、残差网络层和输出层,在将样本眼底图像输入至待训练焦虑抑郁检测模型之后,可以调用上述各个网络层对样本眼底图像进行处理。具体地处理过程可以结合图3进行如下详细描述。
参照图3,示出了本申请实施例提供的一种预测类别概率输出方法的步骤流程图,如图3所示,该预测类别概率输出方法可以包括:步骤301.步骤302、步骤303、步骤304、步骤305和步骤306。
步骤301:对所述样本眼底图像进行数据增强操作,得到增强样本图像。
在本实施例中,在获取到样本眼底图像之后,可以对样本眼底图像进行数据增强操作,以得到增强样本图像。在具体实现中,可以对样本眼底图像进行随机裁剪、随机旋转(如±30°等)、随机水平翻转等操作,以得到增强样本图像。
本申请实施例通过对样本眼底图像进行数据增强操作,可以丰富图像数据类型,补充图像细节,提高训练的模型的鲁棒性。
在对样本眼底图像进行数据增强操作得到增强样本图像之后,执行步骤302。
步骤302:将所述增强样本图像输入至所述待训练焦虑抑郁检测模型。
待训练焦虑抑郁检测模型可以包括:输入层、卷积层、残差网络层和输出层。
其中,输入层可以由一个尺寸为7×7,步长为2的大卷积核,以及一个尺寸为3×3,步长为2的最大池化层组成。该输入层可以将一个224×224的输入图像转换为56×56大小的特征图,以极大程度地降低存储所需大小。
卷积层可以为一个3×3的卷积层,以提取特征图内与焦虑抑郁关联的眼底特征。
残差网络层可以包括两路结构,一路为两个3×3的卷积层,另一路直接短接,二者相加经过ReLU函数输出,解决了深层网络中梯度弥散和精度下降的问题,使网络能够越来越深,既保证了模型精度,又控制了速度。
输出层即为池化层,可以通过全局自适应平滑池化,把所有的特征图拉成1×1,然后连接全连接层输出,保持输出节点个数与预测类别个数的一致。
在得到增强样本图像之后,可以将增强样本图像输入至待训练焦虑抑郁检测模型。
在将增强样本图像输入至待训练焦虑抑郁检测模型之后,执行步骤303。
步骤303:调用所述输入层对所述增强样本图像进行尺寸转换处理,得到所述增强样本图像对应的特征图。
在将增强样本图像输入至待训练焦虑抑郁检测模型之后,可以调用待训练焦虑抑郁检测模型的输入层对增强样本图像进行尺寸转换处理,得到增强样本图像对应的特征图。即将输入的224×224的增强样本图像转换为56×56的特征图,以极大程度的降低存储所需大小。
在调用输入层对增强样本图像进行尺寸转换处理得到增强样本图像对应的特征图之后,执行步骤304。
步骤304:调用所述卷积层对所述特征图进行卷积处理,以提取所述特征图内的眼底特征。
在调用输入层对增强样本图像进行尺寸转换处理得到增强样本图像对应的特征图之后,可以调用卷积层对特征图进行卷积处理,以提取特征图内的眼底特征。具体地,可以采用3×3的卷积层提取特征图内与焦虑抑郁关联的眼底特征。
在调用卷积层对特征图进行卷积处理提取出特征图内的眼底特征之后,执行步骤305。
步骤305:调用所述残差网络层对所述眼底特征进行特征优化处理,得到所述眼底特征对应的优化眼底特征。
在调用卷积层对特征图进行卷积处理提取出特征图内的眼底特征之后,可以调用残差网络层对眼底特征进行特征优化处理,以得到眼底特征对应的优化眼底特征。具体地,可以调用两路结构,一路为两个3×3的卷积层,另一路直接短接,两路对特征图分别进行处理,二路的输出相加经过ReLU函数输出,即可得到优化眼底特征。
在调用残差网络层对眼底特征进行特征优化处理得到眼底特征对应的优化眼底特征之后,执行步骤306。
步骤306:调用所述输出层对所述优化眼底特征进行处理,输出所述样本眼底图像对应的预测类别概率。
在调用残差网络层对眼底特征进行特征优化处理得到眼底特征对应的优化眼底特征之后,可以调用输出层对优化眼底特征进行处理,以输出样本眼底图像对应的预测类别概率,该预测类别概率可以用于指示样本眼底图像对应的用户隶属于焦虑抑郁症状类别的概率。具体地,可以通过全局自适应平滑池化,将残差网络层输出的特征图拉成1×1,然后连接全连接层输出预测类别概率。
在基于样本眼底图像对待训练焦虑抑郁检测模型进行训练得到待训练焦虑抑郁检测模型输出的样本眼底图像对应的预测类别概率之后,执行步骤104。
步骤104:基于所述真实情绪类别和所述预测类别概率,计算得到所述待训练焦虑抑郁检测模型的损失值。
在获取到样本眼底图像对应的预测类别概率之后,可以基于真实情绪类别和预测类别概率,计算得到待训练焦虑抑郁检测模型的损失值。
在本示例中,在对待训练焦虑抑郁检测模型进行训练时,每次训练输入的样本眼底图像的数量并非一个,而是多个,在进行损失值计算时,可以结合真实情绪类别和预测类别概率,以及本次模型训练的样本眼底图像的数量,计算得到待训练焦虑抑郁检测模型的损失值。对于该实现过程可以结合图4进行如下详细描述。
参照图4,示出了本申请实施例提供的一种损失值计算方法的步骤流程图,如图4所示,该损失值计算方法可以包括:步骤401、步骤402和步骤403。
步骤401:获取本次模型训练的所述样本眼底图像的图像数量。
在本实施例中,可以获取本次模型训练的样本眼底图像的图像数量,该图像数量即为本次进行模型训练时输入至待训练焦虑抑郁检测模型的样本眼底图像的数量。
步骤402:基于每个所述样本眼底图像对应的真实情绪类别和所述预测类别概率,计算得到每个所述样本眼底图像对应的交叉熵损失值。
在获取到每个样本眼底图像对应的预测类别概率之后,可以基于每个样本眼底图像对应的真实情绪类别和预测类别概率,计算得到每个样本眼底图像对应的交叉熵损失值。对于交叉熵损失值的计算方式可以下述公式(1)所示:
在基于每个样本眼底图像对应的真实情绪类别和预测类别概率,计算得到每个样本眼底图像对应的交叉熵损失值之后,执行步骤403。
步骤403:基于所述图像数量、所述交叉熵损失值、所述真实情绪类别和所述预测类别概率,计算得到所述待训练焦虑抑郁检测模型的损失值。
在基于每个样本眼底图像对应的真实情绪类别和预测类别概率,计算得到每个样本眼底图像对应的交叉熵损失值之后,可以基于图像数量、交叉熵损失值、真实情绪类别和预测类别概率,计算得到待训练焦虑抑郁检测模型的损失值。对于损失值的计算方式可以下述公式(2)所示:
在计算得到待训练焦虑抑郁检测模型的损失值之后,执行步骤105。
步骤105:在所述损失值处于预设范围内的情况下,将训练后的待训练焦虑抑郁检测模型作为最终的目标焦虑抑郁检测模型。
在计算得到待训练焦虑抑郁检测模型的损失值之后,可以判断该损失值是否处于预设范围内。
若该损失值未处于预设范围内,则表示待训练焦虑抑郁检测模型未收敛,不能满足焦虑抑郁症状预测的需求,此时,可以结合样本眼底图像继续对待训练焦虑抑郁检测模型进行训练。
若该损失值处于预设范围内,则表示待训练焦虑抑郁检测模型已收敛,此时,可以将训练后的待训练焦虑抑郁检测模型作为最终的目标焦虑抑郁检测模型,该目标焦虑抑郁检测模型可以用于后续的焦虑抑郁症状的预测场景中。
本申请实施例训练得到的目标焦虑抑郁检测模型可以应用于医疗机构(如医院等),以协助医护工作者判决患者是否存在焦虑抑郁症状。也可以应用于家庭、工作等场景中,以协助判决家庭成员、或员工是否存在焦虑抑郁症状等。
本申请实施例提供的模型训练方法,通过获取初始眼底图像,调用预设模型对初始眼底图像进行处理,筛选出初始眼底图像中符合模型训练条件的样本眼底图像,样本眼底图像标注有真实情绪类别。基于样本眼底图像对待训练焦虑抑郁检测模型进行训练,得到样本眼底图像对应的预测类别概率。基于真实情绪类别和预测类别概率,计算得到待训练焦虑抑郁检测模型的损失值。在值处于预设范围内的情况下,将训练后的待训练焦虑抑郁检测模型作为最终的目标焦虑抑郁检测模型。本申请实施例通过结合预设模型对初始眼底图像进行筛选,从而可以筛选出质量较高的眼底图像进行模型学习,可以避免出现错误信息(如干扰物或亮度等信息)的干扰,能够提高模型学习的精度。同时,结合训练得到的模型进行焦虑抑郁症状的预测,相较于人工预测的方式,能够提高焦虑抑郁症状的预测效率。
参照图5,示出了本申请实施例提供的一种眼底图像预测方法的步骤流程图,如图5所示,该眼底图像预测方法可以包括:步骤501、步骤502、步骤503和步骤504。
步骤501:获取目标用户的多幅眼底图像。
本申请实施例可以应用于结合上述实施例训练得到的目标焦虑抑郁检测模型进行焦虑抑郁症状预测的场景中。
在预测目标用户是否存在焦虑抑郁症状时,可以获取目标用户的多幅眼底图像。具体地,可以采用单目相机拍摄目标用户的眼底图像等。
在获取到目标用户的多幅眼底图像之后,执行步骤502。
步骤502:调用预设模型对所述多幅眼底图像进行处理,筛选出所述多幅眼底图像中符合模型推理条件的目标眼底图像。
在获取到目标用户的多幅眼底图像之后,可以调用预设模型对多幅眼底图像进行处理,筛选出多幅眼底图像中符合模型推理条件的目标眼底图像。具体地,预设模型可以包括:眼底图像识别模型和图像质量等级分类模型,其中,眼底图像识别模型可以识别多幅眼底图像是否为标准眼底图像。图像质量等级分类模型可以预测多幅眼底图像在预设质量等级的概率,进而可以根据上述两个模型的输出进行目标眼底图像的筛选。如图6所示,在得到多幅眼底图像之后,可以将多幅眼底图像输入至质量控制模型,以进行目标眼底图像的筛选。对于该实现过程可以参考上述实施例中图2部分的描述,本实施例在此不再加以赘述。
在调用预设模型对多幅眼底图像进行处理筛选出多幅眼底图像中符合模型推理条件的目标眼底图像之后,执行步骤503。
步骤503:调用目标焦虑抑郁检测模型对所述目标眼底图像进行处理,得到所述目标用户对应的目标预测类别概率。
在调用预设模型对多幅眼底图像进行处理筛选出多幅眼底图像中符合模型推理条件的目标眼底图像之后,可以调用目标焦虑抑郁检测模型对目标眼底图像进行处理,得到目标用户对应的目标预测类别概率,该目标预测类别概率可以用于指示目标用户隶属于焦虑抑郁症状的概率。如图6所示,在筛选出目标眼底图像之后,则可以将目标眼底图像输入至焦虑抑郁模型(即本示例中的目标焦虑抑郁检测模型),通过焦虑抑郁模型对目标眼底图像进行处理,以得到预测结果(即目标用户对应的目标预测类别概率)。对于目标焦虑抑郁检测模型的推理过程类似于上述实施例中图3部分所示的模型训练过程,具体实现过程可以参照上述实施例中图3部分的描述,本实施例在此不再加以赘述。
在调用目标焦虑抑郁检测模型对目标眼底图像进行处理得到目标用户对应的目标预测类别概率之后,执行步骤504。
步骤504:基于所述目标预测类别概率,预测所述目标眼底图像是否为存在焦虑抑郁状况的图像。
在调用目标焦虑抑郁检测模型对目标眼底图像进行处理得到目标用户对应的目标预测类别概率之后,可以基于目标预测类别概率,预测目标眼底图像是否为存在焦虑抑郁状况的图像。在具体实现中,可以预先设置一个概率阈值,在获取到目标用户对应的目标预测类别概率之后,可以比较目标预测类别概率与概率阈值的大小关系。在目标预测类别概率大于等于概率阈值时,则表示该目标眼底图像为存在焦虑抑郁状况的图像。在目标预测类别概率小于概率阈值时,则表示该目标眼底图像为不存在焦虑抑郁状况的图像。
本申请实施例通过采用目标焦虑抑郁检测模型进行焦虑抑郁症状的预测,相较于人工预测的方式,能够提高焦虑抑郁症状的预测效率。同时,结合预设模型筛选出质量较高的眼底图像进行症状识别,可以提高焦虑抑郁症状的预测精度。
本申请实施例提供的眼底图像预测方法,通过获取目标用户的多幅眼底图像。调用预设模型对多幅眼底图像进行处理,筛选出多幅眼底图像中符合模型推理条件的目标眼底图像。调用目标焦虑抑郁检测模型对目标眼底图像进行处理,得到目标用户对应的目标预测类别概率。基于目标预测类别概率,预测目标眼底图像是否为存在焦虑抑郁状况的图像。本申请实施例通过采用预设模型筛选出质量较高的眼底图像进行症状识别,可以避免出现错误信息(如干扰物或亮度等信息)的干扰,能够提高焦虑抑郁症状的预测准确率。同时,结合训练得到的模型进行焦虑抑郁症状的预测,相较于人工预测的方式,能够提高焦虑抑郁症状的预测效率。
参照图7,示出了本申请实施例提供的一种模型训练装置的结构示意图,如图7所示,该模型训练装置700可以包括以下模块:
初始图像获取模块710,用于获取初始眼底图像;
样本图像筛选模块720,用于调用预设模型对所述初始眼底图像进行处理,筛选出所述初始眼底图像中符合模型训练条件的样本眼底图像;所述样本眼底图像标注有真实情绪类别;
预测类别获取模块730,用于基于所述样本眼底图像对待训练焦虑抑郁检测模型进行训练,得到所述待训练焦虑抑郁检测模型输出的所述样本眼底图像对应的预测类别概率;
损失值计算模块740,用于基于所述真实情绪类别和所述预测类别概率,计算得到所述待训练焦虑抑郁检测模型的损失值;
目标模型获取模块750,用于在所述损失值处于预设范围内的情况下,将训练后的待训练焦虑抑郁检测模型作为最终的目标焦虑抑郁检测模型。
可选地,所述样本图像筛选模块720包括:
预处理图像生成单元,用于对所述初始眼底图像进行预处理,生成预处理眼底图像;
虚拟图像获取单元,用于调用眼底图像识别模型对所述预处理眼底图像进行处理,得到所述预处理眼底图像对应的虚拟眼底图像;
等级概率获取单元,用于调用图像质量等级分类模型对所述预处理眼底图像进行处理,得到所述预处理眼底图像属于各个预设质量等级的概率;
标准图像确定单元,用于根据所述虚拟眼底图像和所述预处理眼底图像的相似度,确定所述初始眼底图像是否为标准眼底图像;
样本图像筛选单元,用于在所述眼底图像为标准眼底图像的情况下,根据所述概率,从所述初始眼底图像中筛选出符合模型训练条件的样本眼底图像。
可选地,所述待训练焦虑抑郁检测模型包括:输入层、卷积层、残差网络层和输出层,
所述预测类别获取模块730包括:
增强样本图像获取单元,用于对所述样本眼底图像进行数据增强操作,得到增强样本图像;
样本图像输入单元,用于将所述增强样本图像输入至所述待训练焦虑抑郁检测模型;
特征图获取单元,用于调用所述输入层对所述增强样本图像进行尺寸转换处理,得到所述增强样本图像对应的特征图;
眼底特征提取单元,用于调用所述卷积层对所述特征图进行卷积处理,以提取所述特征图内的眼底特征;
优化特征获取单元,用于调用所述残差网络层对所述眼底特征进行特征优化处理,得到所述眼底特征对应的优化眼底特征;
预测类别输出单元,用于调用所述输出层对所述优化眼底特征进行处理,输出所述样本眼底图像对应的预测类别概率。
可选地,所述损失值计算模块740包括:
图像数量获取单元,用于获取本次模型训练的所述样本眼底图像的图像数量;
交叉熵损失值计算单元,用于基于每个所述样本眼底图像对应的真实情绪类别和所述预测类别概率,计算得到每个所述样本眼底图像对应的交叉熵损失值;
损失值计算单元,用于基于所述图像数量、所述交叉熵损失值、所述真实情绪类别和所述预测类别概率,计算得到所述待训练焦虑抑郁检测模型的损失值。
本申请实施例提供的模型训练装置,通过获取初始眼底图像,调用预设模型对初始眼底图像进行处理,筛选出初始眼底图像中符合模型训练条件的样本眼底图像,样本眼底图像标注有真实情绪类别。基于样本眼底图像对待训练焦虑抑郁检测模型进行训练,得到样本眼底图像对应的预测类别概率。基于真实情绪类别和预测类别概率,计算得到待训练焦虑抑郁检测模型的损失值。在值处于预设范围内的情况下,将训练后的待训练焦虑抑郁检测模型作为最终的目标焦虑抑郁检测模型。本申请实施例通过结合预设模型对初始眼底图像进行筛选,从而可以筛选出质量较高的眼底图像进行模型学习,可以避免出现错误信息(如干扰物或亮度等信息)的干扰,能够提高模型学习的精度。同时,结合训练得到的模型进行焦虑抑郁症状的预测,相较于人工预测的方式,能够提高焦虑抑郁症状的预测效率。
参照图8,示出了本申请实施例提供的一种眼底图像预测装置的结构示意图,如图8所示,该眼底图像预测装置800可以包括以下模块:
眼底图像获取模块810,用于获取目标用户的多幅眼底图像;
目标图像筛选模块820,用于调用预设模型对所述多幅眼底图像进行处理,筛选出所述多幅眼底图像中符合模型推理条件的目标眼底图像;
目标预测类别获取模块830,用于调用目标焦虑抑郁检测模型对所述目标眼底图像进行处理,得到所述目标用户对应的目标预测类别概率;
眼底图像预测模块840,用于基于所述目标预测类别概率,预测所述目标眼底图像是否为存在焦虑抑郁状况的图像。
本申请实施例提供的眼底图像预测装置,通过获取目标用户的多幅眼底图像。调用预设模型对多幅眼底图像进行处理,筛选出多幅眼底图像中符合模型推理条件的目标眼底图像。调用目标焦虑抑郁检测模型对目标眼底图像进行处理,得到目标用户对应的目标预测类别概率。基于目标预测类别概率,预测目标眼底图像是否为存在焦虑抑郁状况的图像。本申请实施例通过采用预设模型筛选出质量较高的眼底图像进行症状识别,可以避免出现错误信息(如干扰物或亮度等信息)的干扰,能够提高焦虑抑郁症状的预测准确率。同时,结合训练得到的模型进行焦虑抑郁症状的预测,相较于人工预测的方式,能够提高焦虑抑郁症状的预测效率。
另外地,本申请实施例还提供了一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现上述模型训练方法,或者上述眼底图像预测方法。
图9示出了本发明实施例的一种电子设备900的结构示意图。如图9所示,电子设备900包括中央处理单元(CPU)901,其可以根据存储在只读存储器(ROM)902中的计算机程序指令或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序指令,来执行各种适当的动作和处理。在RAM 903中,还可存储电子设备900操作所需的各种程序和数据。CPU 901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
电子设备900中的多个部件连接至I/O接口905,包括:输入单元906,例如键盘、鼠标、麦克风等;输出单元907,例如各种类型的显示器、扬声器等;存储单元908,例如磁盘、光盘等;以及通信单元909,例如网卡、调制解调器、无线通信收发机等。通信单元909允许电子设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理,可由处理单元901执行。例如,上述任一实施例的方法可被实现为计算机软件程序,其被有形地包含于计算机可读介质,例如存储单元908。在一些实施例中,计算机程序的部分或者全部可以经由ROM902和/或通信单元909而被载入和/或安装到电子设备900上。当计算机程序被加载到RAM903并由CPU901执行时,可以执行上文描述的方法中的一个或多个动作。
本申请实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述模型训练方法实施例,或者上述眼底图像预测方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
本领域普通技术人员可以意识到,结合本申请实施例中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (8)
1.一种模型训练方法,其特征在于,所述方法包括:
获取初始眼底图像;
调用预设模型对所述初始眼底图像进行处理,筛选出所述初始眼底图像中符合模型训练条件的样本眼底图像;所述样本眼底图像标注有真实情绪类别;
基于所述样本眼底图像对待训练焦虑抑郁检测模型进行训练,得到所述待训练焦虑抑郁检测模型输出的所述样本眼底图像对应的预测类别概率;
基于所述真实情绪类别和所述预测类别概率,计算得到所述待训练焦虑抑郁检测模型的损失值;所述损失值是根据模型训练的所述样本眼底图像的图像数量、交叉熵损失值、所述真实情绪类别和所述预测类别概率计算得到的,所述交叉熵损失值为基于每个所述样本眼底图像对应的真实情绪类别和所述预测类别概率计算得到的;
在所述损失值处于预设范围内的情况下,将训练后的待训练焦虑抑郁检测模型作为最终的目标焦虑抑郁检测模型;
所述调用预设模型对所述初始眼底图像进行处理,筛选出所述初始眼底图像中符合模型训练条件的样本眼底图像,包括:
对所述初始眼底图像进行预处理,生成预处理眼底图像;
调用眼底图像识别模型对所述预处理眼底图像进行处理,得到所述预处理眼底图像对应的虚拟眼底图像;
调用图像质量等级分类模型对所述预处理眼底图像进行处理,得到所述预处理眼底图像属于各个预设质量等级的概率;
根据所述虚拟眼底图像和所述预处理眼底图像的相似度,确定所述初始眼底图像是否为标准眼底图像;
在所述初始眼底图像为标准眼底图像的情况下,根据所述预处理眼底图像属于各个预设质量等级的概率,从所述初始眼底图像中筛选出符合模型训练条件的样本眼底图像。
2.根据权利要求1所述的方法,其特征在于,所述待训练焦虑抑郁检测模型包括:输入层、卷积层、残差网络层和输出层,
所述基于所述样本眼底图像对待训练焦虑抑郁检测模型进行训练,得到所述待训练焦虑抑郁检测模型输出的所述样本眼底图像对应的预测类别概率,包括:
对所述样本眼底图像进行数据增强操作,得到增强样本图像;
将所述增强样本图像输入至所述待训练焦虑抑郁检测模型;
调用所述输入层对所述增强样本图像进行尺寸转换处理,得到所述增强样本图像对应的特征图;
调用所述卷积层对所述特征图进行卷积处理,以提取所述特征图内的眼底特征;
调用所述残差网络层对所述眼底特征进行特征优化处理,得到所述眼底特征对应的优化眼底特征;
调用所述输出层对所述优化眼底特征进行处理,输出所述样本眼底图像对应的预测类别概率。
3.一种眼底图像预测方法,其特征在于,所述方法包括:
获取目标用户的多幅眼底图像;
调用预设模型对所述多幅眼底图像进行处理,筛选出所述多幅眼底图像中符合模型推理条件的目标眼底图像;
调用目标焦虑抑郁检测模型对所述目标眼底图像进行处理,得到所述目标用户对应的目标预测类别概率;所述目标焦虑抑郁检测模型是基于权利要求1至2中任一项所述的方法训练得到的;
基于所述目标预测类别概率,预测所述目标眼底图像是否为存在焦虑抑郁状况的图像。
4.一种模型训练装置,其特征在于,所述装置包括:
初始图像获取模块,用于获取初始眼底图像;
样本图像筛选模块,用于调用预设模型对所述初始眼底图像进行处理,筛选出所述初始眼底图像中符合模型训练条件的样本眼底图像;所述样本眼底图像标注有真实情绪类别;
预测类别获取模块,用于基于所述样本眼底图像对待训练焦虑抑郁检测模型进行训练,得到所述待训练焦虑抑郁检测模型输出的所述样本眼底图像对应的预测类别概率;
损失值计算模块,用于基于所述真实情绪类别和所述预测类别概率,计算得到所述待训练焦虑抑郁检测模型的损失值;所述损失值是根据模型训练的所述样本眼底图像的图像数量、交叉熵损失值、所述真实情绪类别和所述预测类别概率计算得到的,所述交叉熵损失值为基于每个所述样本眼底图像对应的真实情绪类别和所述预测类别概率计算得到的;
目标模型获取模块,用于在所述损失值处于预设范围内的情况下,将训练后的待训练焦虑抑郁检测模型作为最终的目标焦虑抑郁检测模型;
所述样本图像筛选模块包括:
预处理图像生成单元,用于对所述初始眼底图像进行预处理,生成预处理眼底图像;
虚拟图像获取单元,用于调用眼底图像识别模型对所述预处理眼底图像进行处理,得到所述预处理眼底图像对应的虚拟眼底图像;
等级概率获取单元,用于调用图像质量等级分类模型对所述预处理眼底图像进行处理,得到所述预处理眼底图像属于各个预设质量等级的概率;
标准图像确定单元,用于根据所述虚拟眼底图像和所述预处理眼底图像的相似度,确定所述初始眼底图像是否为标准眼底图像;
样本图像筛选单元,用于在所述初始眼底图像为标准眼底图像的情况下,根据所述预处理眼底图像属于各个预设质量等级的概率,从所述初始眼底图像中筛选出符合模型训练条件的样本眼底图像。
5.根据权利要求4所述的装置,其特征在于,所述待训练焦虑抑郁检测模型包括:输入层、卷积层、残差网络层和输出层,
所述预测类别获取模块包括:
增强样本图像获取单元,用于对所述样本眼底图像进行数据增强操作,得到增强样本图像;
样本图像输入单元,用于将所述增强样本图像输入至所述待训练焦虑抑郁检测模型;
特征图获取单元,用于调用所述输入层对所述增强样本图像进行尺寸转换处理,得到所述增强样本图像对应的特征图;
眼底特征提取单元,用于调用所述卷积层对所述特征图进行卷积处理,以提取所述特征图内的眼底特征;
优化特征获取单元,用于调用所述残差网络层对所述眼底特征进行特征优化处理,得到所述眼底特征对应的优化眼底特征;
预测类别输出单元,用于调用所述输出层对所述优化眼底特征进行处理,输出所述样本眼底图像对应的预测类别概率。
6.一种眼底图像预测装置,其特征在于,所述装置包括:
眼底图像获取模块,用于获取目标用户的多幅眼底图像;
目标图像筛选模块,用于调用预设模型对所述多幅眼底图像进行处理,筛选出所述多幅眼底图像中符合模型推理条件的目标眼底图像;
目标预测类别获取模块,用于调用目标焦虑抑郁检测模型对所述目标眼底图像进行处理,得到所述目标用户对应的目标预测类别概率;所述目标焦虑抑郁检测模型是基于权利要求4至5中任一项所述的装置训练得到的;
眼底图像预测模块,用于基于所述目标预测类别概率,预测所述目标眼底图像是否为存在焦虑抑郁状况的图像。
7.一种电子设备,其特征在于,包括:
存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至2中任一项所述的模型训练方法,或者,权利要求3所述的眼底图像预测方法。
8.一种可读存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行权利要求1至2中任一项所述的模型训练方法,或者,权利要求3所述的眼底图像预测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211633628.6A CN115620384B (zh) | 2022-12-19 | 2022-12-19 | 模型训练方法、眼底图像预测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211633628.6A CN115620384B (zh) | 2022-12-19 | 2022-12-19 | 模型训练方法、眼底图像预测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115620384A CN115620384A (zh) | 2023-01-17 |
CN115620384B true CN115620384B (zh) | 2023-06-06 |
Family
ID=84880943
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211633628.6A Active CN115620384B (zh) | 2022-12-19 | 2022-12-19 | 模型训练方法、眼底图像预测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115620384B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116994101A (zh) * | 2023-09-28 | 2023-11-03 | 北京鹰瞳科技发展股份有限公司 | 模型训练方法、装置、电子设备及存储介质 |
CN116994100B (zh) * | 2023-09-28 | 2023-12-22 | 北京鹰瞳科技发展股份有限公司 | 模型训练方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109101883A (zh) * | 2018-07-09 | 2018-12-28 | 山东师范大学 | 一种抑郁倾向评价装置及系统 |
CN112674771A (zh) * | 2020-12-22 | 2021-04-20 | 北京科技大学 | 基于图像注视差异的抑郁人群鉴别方法及装置 |
CN114255433A (zh) * | 2022-02-24 | 2022-03-29 | 首都师范大学 | 一种基于面部视频的抑郁识别方法、装置及存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105559802B (zh) * | 2015-07-29 | 2018-11-02 | 北京工业大学 | 基于注意和情感信息融合的抑郁诊断系统及数据处理方法 |
EP4000511A1 (en) * | 2020-11-12 | 2022-05-25 | Koninklijke Philips N.V. | Apparatus for determining and/or assess depression severity of a patient |
CN112614583A (zh) * | 2020-11-25 | 2021-04-06 | 平安医疗健康管理股份有限公司 | 抑郁等级测试系统 |
CN112826442B (zh) * | 2020-12-31 | 2024-06-25 | 上海鹰瞳医疗科技有限公司 | 基于眼底图像的心理状态识别方法及设备 |
CN115444423A (zh) * | 2022-10-18 | 2022-12-09 | 上海耐欣科技有限公司 | 一种预测系统、预测方法、装置、设备及存储介质 |
-
2022
- 2022-12-19 CN CN202211633628.6A patent/CN115620384B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109101883A (zh) * | 2018-07-09 | 2018-12-28 | 山东师范大学 | 一种抑郁倾向评价装置及系统 |
CN112674771A (zh) * | 2020-12-22 | 2021-04-20 | 北京科技大学 | 基于图像注视差异的抑郁人群鉴别方法及装置 |
CN114255433A (zh) * | 2022-02-24 | 2022-03-29 | 首都师范大学 | 一种基于面部视频的抑郁识别方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115620384A (zh) | 2023-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114913565B (zh) | 人脸图像检测方法、模型训练方法、装置及存储介质 | |
CN115620384B (zh) | 模型训练方法、眼底图像预测方法及装置 | |
EP3916627A1 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
Bird et al. | Cifake: Image classification and explainable identification of ai-generated synthetic images | |
CN111444826B (zh) | 视频检测方法、装置、存储介质及计算机设备 | |
CN111310705A (zh) | 图像识别方法、装置、计算机设备及存储介质 | |
CN114820584B (zh) | 肺部病灶定位装置 | |
CN111986202B (zh) | 青光眼辅助诊断装置、方法及存储介质 | |
CN112257728A (zh) | 图像处理方法、装置、计算机设备以及存储介质 | |
CN112183449A (zh) | 一种驾驶员身份验证方法、装置、电子设备及存储介质 | |
CN111694954B (zh) | 图像分类方法、装置和电子设备 | |
CN111784665A (zh) | 基于傅里叶变换的oct图像质量评估方法、系统及装置 | |
CN106250871A (zh) | 城市管理案件分类方法及装置 | |
CN115620054A (zh) | 一种缺陷分类方法、装置、电子设备及存储介质 | |
CN116994101A (zh) | 模型训练方法、装置、电子设备及存储介质 | |
CN113506274B (zh) | 基于视觉显著性差异图的用于人体认知状况的检测系统 | |
CN113723310B (zh) | 基于神经网络的图像识别方法及相关装置 | |
CN114708493A (zh) | 一种中医裂纹舌诊便携设备及使用方法 | |
CN114091551A (zh) | 色情图像识别方法、装置、电子设备及存储介质 | |
CN111598144A (zh) | 图像识别模型的训练方法和装置 | |
CN113657293B (zh) | 活体检测方法、装置、电子设备、介质及程序产品 | |
CN116469177A (zh) | 混合精度的活体目标检测方法和活体检测模型的训练方法 | |
CN114118203A (zh) | 图像特征提取匹配的方法、装置和电子设备 | |
CN116994100B (zh) | 模型训练方法、装置、电子设备及存储介质 | |
CN112070022A (zh) | 人脸图像识别方法、装置、电子设备和计算机可读介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |