CN114882014B - 基于双模型的眼底图像质量评价方法、装置及相关介质 - Google Patents

基于双模型的眼底图像质量评价方法、装置及相关介质 Download PDF

Info

Publication number
CN114882014B
CN114882014B CN202210687064.8A CN202210687064A CN114882014B CN 114882014 B CN114882014 B CN 114882014B CN 202210687064 A CN202210687064 A CN 202210687064A CN 114882014 B CN114882014 B CN 114882014B
Authority
CN
China
Prior art keywords
image quality
image
information
quality evaluation
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210687064.8A
Other languages
English (en)
Other versions
CN114882014A (zh
Inventor
岳广辉
李苑
汪天富
周天薇
武泓吕
魏佩珊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202210687064.8A priority Critical patent/CN114882014B/zh
Publication of CN114882014A publication Critical patent/CN114882014A/zh
Application granted granted Critical
Publication of CN114882014B publication Critical patent/CN114882014B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了基于双模型的眼底图像质量评价方法、装置及相关介质，该方法包括：获取批量眼底图像，并选取目标图像；利用ResNet50网络对目标图像提取第一局部信息，以及利用ViT网络对目标图像提取第一全局信息；基于第一局部信息和第一全局信息预测得到目标图像的图像质量评价结果，以此构建图像质量评价模型；利用图像质量评价模型对下一图像进行评价，得到图像质量差异信息；利用损失函数分别对所述图像质量评价结果和图像质量差异信息进行约束。本发明基于双模型对眼底图像进行多任务学习，以通过局部和全局相结合的方式对眼底图像进行评价，同时利用不同眼底图像之间的差异信息，从而提高对于眼底图像的质量评价效果。

Description

基于双模型的眼底图像质量评价方法、装置及相关介质
技术领域
本发明涉及图像处理技术领域，特别涉及基于双模型的眼底图像质量评价方法、装置及相关介质。
背景技术
眼底图像由眼科医生通过专业的眼底相机拍摄得到，包含了视杯、视盘，黄斑、渗出物和视网膜血管等生理结构，是一种重要的医学影像，被广泛的应用于辅助医疗诊断中。当前在临床上对眼底疾病的诊断，主要是通过眼科医生对患者眼底图像或眼球进行观察分析做出主观判断，通过观察眼底图像上是否存在硬渗出物、软渗出物、微动脉瘤和出血等可以辅助判断患者是否患有糖尿病视网膜病变，青光眼则可以则通过观察眼底图像中视杯视盘的大小和位置来进行判断，观察眼底图像上黄斑的变化可以提前预测老年性黄斑病变，全身性的心血管疾病也可以通过观察眼底图像中的视网膜结构来进行辅助诊断。然而眼底图像质量往往受到设备、操作人员和环境变化的影响，导致眼底图像质量不同程度的退化，而眼底图像的质量退化将会影响临床医生对眼底疾病的诊断产生影响。因此，如何提高眼底图像评价质量，以使眼底图像更好地辅助医疗诊断，是本领域技术人员需要解决的问题。
发明内容
本发明实施例提供了一种基于双模型的眼底图像质量评价方法、装置、计算机设备及存储介质，旨在提高对于眼底图像的质量评价效果。
第一方面，本发明实施例提供了一种基于双模型的眼底图像质量评价方法，包括：
获取批量眼底图像，并选取其中一张作为目标图像；
利用ResNet50网络对所述目标图像提取第一局部信息，以及利用ViT网络对所述目标图像提取第一全局信息；
基于所述第一局部信息和第一全局信息预测得到所述目标图像的图像质量评价结果，以此构建图像质量评价模型；
利用所述图像质量评价模型对所述目标图像的下一图像进行评价，得到所述目标图像的图像质量差异信息；
利用损失函数分别对所述图像质量评价结果和图像质量差异信息进行约束。
第二方面，本发明实施例提供了一种基于双模型的眼底图像质量评价装置，包括：
图像获取单元，用于获取批量眼底图像，并选取其中一张作为目标图像；
第一信息提取单元，用于利用ResNet50网络对所述目标图像提取第一局部信息，以及利用ViT网络对所述目标图像提取第一全局信息；
模型构建单元，用于基于所述第一局部信息和第一全局信息预测得到所述目标图像的图像质量评价结果，以此构建图像质量评价模型；
差异信息获取单元，用于利用所述图像质量评价模型对所述目标图像的下一图像进行评价，得到所述目标图像的图像质量差异信息；
第一约束单元，用于利用损失函数分别对所述图像质量评价结果和图像质量差异信息进行约束。
第三方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于双模型的眼底图像质量评价方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的基于双模型的眼底图像质量评价方法。
本发明实施例提供了一种基于双模型的眼底图像质量评价方法、装置、计算机设备及存储介质，该方法包括：获取批量眼底图像，并选取其中一张作为目标图像；利用ResNet50网络对所述目标图像提取第一局部信息，以及利用ViT网络对所述目标图像提取第一全局信息；基于所述第一局部信息和第一全局信息预测得到所述目标图像的图像质量评价结果，以此构建图像质量评价模型；利用所述图像质量评价模型对所述目标图像的下一图像进行评价，得到所述目标图像的图像质量差异信息；利用损失函数分别对所述图像质量评价结果和图像质量差异信息进行约束。本发明实施例基于ResNet50网络和ViT网络双模型对眼底图像进行多任务学习，以通过局部和全局相结合的方式对眼底图像进行评价，同时利用不同眼底图像之间的差异信息，对模型进行约束，从而提高对于眼底图像的质量评价效果。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于双模型的眼底图像质量评价方法的流程示意图；
图2为本发明实施例提供的一种基于双模型的眼底图像质量评价方法的子流程示意图；
图3为本发明实施例提供的一种基于双模型的眼底图像质量评价方法的模型架构示意图；
图4为本发明实施例提供的一种基于双模型的眼底图像质量评价装置的示意性框图；
图5为本发明实施例提供的一种基于双模型的眼底图像质量评价装置的子示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
下面请参见图1，图1为本发明实施例提供的一种基于双模型的眼底图像质量评价方法的流程示意图，具体包括：步骤S101～S105。
S101、获取批量眼底图像，并选取其中一张作为目标图像；
S102、利用ResNet50网络对所述目标图像提取第一局部信息，以及利用ViT网络对所述目标图像提取第一全局信息；
S103、基于所述第一局部信息和第一全局信息预测得到所述目标图像的图像质量评价结果，以此构建图像质量评价模型；
S104、利用所述图像质量评价模型对所述目标图像的下一图像进行评价，得到所述目标图像的图像质量差异信息；
S105、利用损失函数分别对所述图像质量评价结果和图像质量差异信息进行约束。
本实施例中，对于从批量眼底图像中选取的目标图像，分别利用ResNet50网络和ViT网络提取其对应的第一局部信息和第一全局信息，并根据该第一局部信息和第一全局信息预测得到对应的图像质量评价结果，以此实现图像质量评价模型的搭建。然后，利用该图像质量评价模型对下一图像继续进行评价，并对应得到目标图像的图像质量差异信息，接着通过损失函数分别对图像质量评价结果和图像质量差异信息进行约束，以提高图像质量评价模型的评价效果。
本实施例基于ResNet50网络和ViT网络双模型对眼底图像进行多任务学习，以通过局部和全局相结合的方式对眼底图像进行评价，同时利用不同眼底图像之间的差异信息，对模型进行约束，从而提高对于眼底图像的质量评价效果。
卷积神经网络(Convolutional Neural Networks，CNN)和Vision Transformer(ViT)网络可以将特征提取与分类端到端相结合，在图像分类、目标检测、语义分割等任务上取得了重大突破，同时被广泛应用于眼底图像质量评价等任务中。CNN中的卷积运算具有强大的局部信息特征提取能力和表征能力，但是在捕获全局特征表示方面还有一定的局限性；而Vision Transformer中的级联自注意力模块可以捕获长距离的特征依赖，但会忽略局部特征细节。同时眼底图像经常受到拍摄设备、操作者和环境变化的影响，导致图像产生不同程度的质量退化，而部分眼底图像由于受到个人的眼底屈光间质(如晶状体、角膜和玻璃体等)或者拍摄时聚焦等问题，对图像造成全局的退化，部分图像由于曝光不足或凝胶覆盖造成局部退化。故根据眼底图像的特点，本实施例提出了一种基于多任务学习的双模型深度学习网络，即网络结合CNN和Vision Transformer设计并发结构，以提高对于眼底图像的质量评价效果。
在一实施例中，所述步骤S102包括：
利用ResNet50网络的输入层对所述目标图像依次进行卷积、批量正则化、Relu激活函数和最大池化处理，以获取所述目标特征对应的特征图；
通过ResNet50网络的中间层的多个3*3卷积对所述特征图进行局部特征提取，并由输出层输出对应的第一局部信息。
本实施例中，所述ResNet50网络对输入的目标图像，通过网络输入部分(即所述输入层)的卷积、批量正则化、Relu激活函数和最大池化获得特征图，随后通过网络中间卷积部分(即所述中间层)3*3卷积的堆叠来提取得到所述目标图像的第一局部信息，接着通过所述输出层输出该第一局部信息。
在一实施例中，所述步骤S102还包括：
利用ViT网络将所述目标图像划分为多个图像块；
对每一图像块进行线性映射和展开操作，以获取对应的预处理特征；
基于预处理特征对每一图像块的相对位置进行位置编码；
将经过位置编码的图像块输入至transformer编码器中，并由所述transformer编码器输出对应的第一全局信息。
本实施例中，通过所述ViT网络对输入的目标图像进行分块，并对划分的每一图像块进行线性映射和展平操作获得预处理特征，对每个图像块的相对位置进行位置编码，随后送入到transformer编码器中获得目标图像的第一全局信息。
在一实施例中，如图2所示，所述步骤S103包括：步骤S201～S203。
S201、通过全连接层对所述第一局部信息和第一全局信息分别进行线性映射，对应得到第一局部特征向量和第一全局特征向量；
S202、通过softmax函数对所述第一局部特征向量和第一全局特征向量进行归一化处理；
S203、将归一化处理后的所述第一局部特征向量和第一全局特征向量相加取均值，得到所述目标图像的图像质量评价结果。
本实施例中，结合图3，在通过ResNet50网络和ViT网络分别提取得到所述目标图像的第一局部信息和第一全局信息后，利用全连接层(FC)分别对第一局部信息和第一全局信息进行线性映射，以得到与质量相关的第一局部特征向量和第一全局特征向量，接着通过softmax函数对得到的特征向量进行归一化处理，然后对其进行相加取均值，计算得到的均值结果即为所述图像质量评价结果。
在一实施例中，所述步骤S104包括：
分别利用ResNet50网络和ViT网络提取下一图像的第二局部信息和第二全局信息；
通过全连接层对第二局部信息和第二全局信息分别进行线性映射，得到第二局部特征向量和第二全局特征向量；
通过softmax函数对所述第二局部特征向量和第二全局特征向量进行归一化处理；
将归一化处理后的所述第二局部特征向量和第二全局特征向量相减，得到所述目标图像的图像质量差异信息。
本实施例中，结合图3，与得到图像质量评价结果相似，在获取图像质量差异信息过程中，同样通过ResNet50网络和ViT网络分别提取得到所述下一图像的第二局部信息和第二全局信息，并利用全连接层对第二局部信息和第二全局信息提取得到对应的第二局部特征向量和第二全局特征向量，以及通过softmax函数对其进行归一化处理。可以理解的是，为了获取图像质量差异信息，因此对所述第二局部特征向量和第二全局特征向量进行相减计算。
在一实施例中，所述步骤S105包括：
利用CE loss损失函数对所述图像质量评价结果和所述目标图像对应的标签进行约束；以及
计算所述目标图像对应的标签和下一图像对应的标签之间的标签差值，利用CEloss损失函数对所述图像质量差异信息和所述标签差值进行约束。
本实施例中，使用Cross-Entropy loss(CE loss)作为损失函数来约束目标图像的标签和网络预测结果(即所示图像质量评价结果)之间的差异，以及使用CE loss作为损失函数实现两图像标签差值和质量差异信息之间的约束
本实施例采用CE loss损失函数分别对质量分数和质量差异信息进行约束，CEloss在网络训练过程中作为约束，随着loss减小进行梯度回传逐渐实现网络质量预测效果的提升，loss又随即减小，实现损失函数的约束过程。利用了图像的差异信息提高网络对眼底图像质量的预测效果。
在一实施例中，所述基于双模型的眼底图像质量评价方法还包括：
采用SGD优化器对所述图像质量评价模型进行优化，以及采用Accuracy准确率系数对所述图像质量评价模型进行评价。
本实施例中，所述的图像质量评价模型在Pytorch平台上实现，图像为png格式，因为数据集中图片尺寸不统一，对图片进行了数据预处理，并统一裁剪成224*224的大小，输入至模型中，并融合局部特征和全局特征相来进行信息互补以训练网络。所述的图像质量评价模型使用SGD优化器，具体的，设置学习率为0.01，网络使用批量大小为8，迭代次数为100。所述的图像质量评价模型采用的评价指标可以是图像分类度量指标：Accuracy准确率系数。Accuracy的值越接近于1，表示算法预测的分级效果越好，能够对各个级别的图片进行准确分级。
在具体的实施例中，利用EyeQ数据集对所述的图像质量评价模型进行测试。实验结果表明，所述的图像质量评价模型的Accuracy为0.80。选择眼底图像质量评估(Eye-QualityAssessment Dataset，EyeQ)数据集来评估和比较本发明实施例所提供的眼底图像质量评价方法的性能。EyeQ是对EyePACS数据集进行重新注释而产生的眼底图像质量评估数据集。它由28729张眼底图像组成，包括12543张训练图像和16249张测试图像。图像尺寸范围从211*320到3456*5184。所有的图像都由两位专家按三类进行标记分为质量良好的图像、可用的图像的和不合格的图像。
图4为本发明实施例提供的一种基于双模型的眼底图像质量评价装置400的示意性框图，该装置400包括：
图像获取单元401，用于获取批量眼底图像，并选取其中一张作为目标图像；
第一信息提取单元402，用于利用ResNet50网络对所述目标图像提取第一局部信息，以及利用ViT网络对所述目标图像提取第一全局信息；
模型构建单元403，用于基于所述第一局部信息和第一全局信息预测得到所述目标图像的图像质量评价结果，以此构建图像质量评价模型；
差异信息获取单元404，用于利用所述图像质量评价模型对所述目标图像的下一图像进行评价，得到所述目标图像的图像质量差异信息；
第一约束单元405，用于利用损失函数分别对所述图像质量评价结果和图像质量差异信息进行约束。
在一实施例中，所述第一信息提取单元402包括：
特征图获取单元，用于利用ResNet50网络的输入层对所述目标图像依次进行卷积、批量正则化、Relu激活函数和最大池化处理，以获取所述目标特征对应的特征图；
局部特征提取单元，用于通过ResNet50网络的中间层的多个3*3卷积对所述特征图进行局部特征提取，并由输出层输出对应的第一局部信息。
在一实施例中，所述第一信息提取单元402还包括：
图像划分单元，用于利用ViT网络将所述目标图像划分为多个图像块；
预处理特征获取单元，用于对每一图像块进行线性映射和展开操作，以获取对应的预处理特征；
位置编码单元，用于基于预处理特征对每一图像块的相对位置进行位置编码；
信息输出单元，用于将经过位置编码的图像块输入至transformer编码器中，并由所述transformer编码器输出对应的第一全局信息。
在一实施例中，如图5所示，所述模型构建单元403包括：
第一线性映射单元501，用于通过全连接层对所述第一局部信息和第一全局信息分别进行线性映射，对应得到第一局部特征向量和第一全局特征向量；
第一归一化处理单元502，用于通过softmax函数对所述第一局部特征向量和第一全局特征向量进行归一化处理；
均值计算单元503，用于将归一化处理后的所述第一局部特征向量和第一全局特征向量相加取均值，得到所述目标图像的图像质量评价结果。
在一实施例中，所述差异信息获取单元404包括：
第二信息提取单元，用于分别利用ResNet50网络和ViT网络提取下一图像的第二局部信息和第二全局信息；
第二线性映射单元，用于通过全连接层对第二局部信息和第二全局信息分别进行线性映射，得到第二局部特征向量和第二全局特征向量；
第二归一化处理单元，用于通过softmax函数对所述第二局部特征向量和第二全局特征向量进行归一化处理；
向量相减单元，用于将归一化处理后的所述第二局部特征向量和第二全局特征向量相减，得到所述目标图像的图像质量差异信息。
在一实施例中，所述第一约束单元405包括：
第二约束单元，用于利用CE loss损失函数对所述图像质量评价结果和所述目标图像对应的标签进行约束；以及
第三约束单元，用于计算所述目标图像对应的标签和下一图像对应的标签之间的标签差值，利用CE loss损失函数对所述图像质量差异信息和所述标签差值进行约束。
在一实施例中，所述基于双模型的眼底图像质量评价装置400还包括：
优化评价单元，用于采用SGD优化器对所述图像质量评价模型进行优化，以及采用Accuracy准确率系数对所述图像质量评价模型进行评价。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
本发明实施例还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供了一种计算机设备，可以包括存储器和处理器，存储器中存有计算机程序，处理器调用存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然计算机设备还可以包括各种网络接口，电源等组件。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (8)

1.一种基于双模型的眼底图像质量评价方法，其特征在于，包括：
获取批量眼底图像，并选取其中一张作为目标图像；
利用ResNet50网络对所述目标图像提取第一局部信息，以及利用ViT网络对所述目标图像提取第一全局信息；
基于所述第一局部信息和第一全局信息预测得到所述目标图像的图像质量评价结果，以此构建图像质量评价模型；
所述基于所述第一局部信息和第一全局信息预测得到所述目标图像的图像质量评价结果，包括：
通过全连接层对所述第一局部信息和第一全局信息分别进行线性映射，对应得到第一局部特征向量和第一全局特征向量；
通过softmax函数对所述第一局部特征向量和第一全局特征向量进行归一化处理；
将归一化处理后的所述第一局部特征向量和第一全局特征向量相加取均值，得到所述目标图像的图像质量评价结果；
利用所述图像质量评价模型对所述目标图像的下一图像进行评价，得到所述目标图像的图像质量差异信息；
所述利用所述图像质量评价模型对所述目标图像的下一图像进行评价，得到所述目标图像的图像质量差异信息，包括：
分别利用ResNet50网络和ViT网络提取下一图像的第二局部信息和第二全局信息；
通过全连接层对第二局部信息和第二全局信息分别进行线性映射，得到第二局部特征向量和第二全局特征向量；
通过softmax函数对所述第二局部特征向量和第二全局特征向量进行归一化处理；
将归一化处理后的所述第二局部特征向量和第二全局特征向量相减，得到所述目标图像的图像质量差异信息；
利用损失函数分别对所述图像质量评价结果和图像质量差异信息进行约束。
2.根据权利要求1所述的基于双模型的眼底图像质量评价方法，其特征在于，所述利用ResNet50网络对所述目标图像提取第一局部信息，包括：
利用ResNet50网络的输入层对所述目标图像依次进行卷积、批量正则化、Relu激活函数和最大池化处理，以获取所述目标图像对应的特征图；
通过ResNet50网络的中间层的多个3*3卷积对所述特征图进行局部特征提取，并由输出层输出对应的第一局部信息。
3.根据权利要求1所述的基于双模型的眼底图像质量评价方法，其特征在于，所述利用ViT网络对所述目标图像提取第一全局信息，包括：
利用ViT网络将所述目标图像划分为多个图像块；
对每一图像块进行线性映射和展开操作，以获取对应的预处理特征；
基于预处理特征对每一图像块的相对位置进行位置编码；
将经过位置编码的图像块输入至transformer编码器中，并由所述transformer编码器输出对应的第一全局信息。
4.根据权利要求1所述的基于双模型的眼底图像质量评价方法，其特征在于，所述利用损失函数分别对所述图像质量评价结果和图像质量差异信息进行约束，包括：
利用CEloss损失函数对所述图像质量评价结果和所述目标图像对应的标签进行约束；以及
计算所述目标图像对应的标签和下一图像对应的标签之间的标签差值，利用CEloss损失函数对所述图像质量差异信息和所述标签差值进行约束。
5.根据权利要求1所述的基于双模型的眼底图像质量评价方法，其特征在于，还包括：
采用SGD优化器对所述图像质量评价模型进行优化，以及采用Accuracy准确率系数对所述图像质量评价模型进行评价。
6.一种基于双模型的眼底图像质量评价装置，其特征在于，包括：
图像获取单元，用于获取批量眼底图像，并选取其中一张作为目标图像；
第一信息提取单元，用于利用ResNet50网络对所述目标图像提取第一局部信息，以及利用ViT网络对所述目标图像提取第一全局信息；
模型构建单元，用于基于所述第一局部信息和第一全局信息预测得到所述目标图像的图像质量评价结果，以此构建图像质量评价模型；
所述模型构建单元包括：
第一线性映射单元，用于通过全连接层对所述第一局部信息和第一全局信息分别进行线性映射，对应得到第一局部特征向量和第一全局特征向量；
第一归一化处理单元，用于通过softmax函数对所述第一局部特征向量和第一全局特征向量进行归一化处理；
均值计算单元，用于将归一化处理后的所述第一局部特征向量和第一全局特征向量相加取均值，得到所述目标图像的图像质量评价结果；
差异信息获取单元，用于利用所述图像质量评价模型对所述目标图像的下一图像进行评价，得到所述目标图像的图像质量差异信息；
所述差异信息获取单元包括：
第二信息提取单元，用于分别利用ResNet50网络和ViT网络提取下一图像的第二局部信息和第二全局信息；
第二线性映射单元，用于通过全连接层对第二局部信息和第二全局信息分别进行线性映射，得到第二局部特征向量和第二全局特征向量；
第二归一化处理单元，用于通过softmax函数对所述第二局部特征向量和第二全局特征向量进行归一化处理；
向量相减单元，用于将归一化处理后的所述第二局部特征向量和第二全局特征向量相减，得到所述目标图像的图像质量差异信息；
第一约束单元，用于利用损失函数分别对所述图像质量评价结果和图像质量差异信息进行约束。
7.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的基于双模型的眼底图像质量评价方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的基于双模型的眼底图像质量评价方法。
CN202210687064.8A 2022-06-16 2022-06-16 基于双模型的眼底图像质量评价方法、装置及相关介质 Active CN114882014B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210687064.8A CN114882014B (zh) 2022-06-16 2022-06-16 基于双模型的眼底图像质量评价方法、装置及相关介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210687064.8A CN114882014B (zh) 2022-06-16 2022-06-16 基于双模型的眼底图像质量评价方法、装置及相关介质

Publications (2)

Publication Number Publication Date
CN114882014A CN114882014A (zh) 2022-08-09
CN114882014B true CN114882014B (zh) 2023-02-03

Family

ID=82681620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210687064.8A Active CN114882014B (zh) 2022-06-16 2022-06-16 基于双模型的眼底图像质量评价方法、装置及相关介质

Country Status (1)

Country Link
CN (1) CN114882014B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926460B (zh) * 2022-07-19 2022-10-25 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 眼底图像分类模型的训练方法、眼底图像分类方法及系统
CN115830028B (zh) * 2023-02-20 2023-05-23 阿里巴巴达摩院(杭州)科技有限公司 图像评价方法、设备、系统及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862678A (zh) * 2017-10-19 2018-03-30 宁波大学 一种眼底图像无参考质量评价方法
CN109308692A (zh) * 2018-07-30 2019-02-05 西北大学 基于改进Resnet与SVR混合模型的OCT图像质量评价方法
CN109377472A (zh) * 2018-09-12 2019-02-22 宁波大学 一种眼底图像质量评价方法
CN111489328A (zh) * 2020-03-06 2020-08-04 浙江工业大学 一种基于血管分割和背景分离的眼底图像质量评价方法
AU2020102385A4 (en) * 2020-09-23 2020-11-05 Dembrani, Mahesh Bhimsham DR Edge preserving image smoothing benchmark system with deep convolutional neural network
CN113780149A (zh) * 2021-09-07 2021-12-10 北京航空航天大学 一种基于注意力机制的遥感图像建筑物目标高效提取方法
CN114078111A (zh) * 2020-08-13 2022-02-22 顺天乡大学校产学协力团 利用迁移学习的眼底图像质量评价装置及方法
CN114170411A (zh) * 2021-12-06 2022-03-11 国能大渡河大岗山发电有限公司 一种融合多尺度信息的图片情感识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110189291A (zh) * 2019-04-09 2019-08-30 浙江大学 一种基于多任务卷积神经网络的通用无参考图像质量评价方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862678A (zh) * 2017-10-19 2018-03-30 宁波大学 一种眼底图像无参考质量评价方法
CN109308692A (zh) * 2018-07-30 2019-02-05 西北大学 基于改进Resnet与SVR混合模型的OCT图像质量评价方法
CN109377472A (zh) * 2018-09-12 2019-02-22 宁波大学 一种眼底图像质量评价方法
CN111489328A (zh) * 2020-03-06 2020-08-04 浙江工业大学 一种基于血管分割和背景分离的眼底图像质量评价方法
CN114078111A (zh) * 2020-08-13 2022-02-22 顺天乡大学校产学协力团 利用迁移学习的眼底图像质量评价装置及方法
AU2020102385A4 (en) * 2020-09-23 2020-11-05 Dembrani, Mahesh Bhimsham DR Edge preserving image smoothing benchmark system with deep convolutional neural network
CN113780149A (zh) * 2021-09-07 2021-12-10 北京航空航天大学 一种基于注意力机制的遥感图像建筑物目标高效提取方法
CN114170411A (zh) * 2021-12-06 2022-03-11 国能大渡河大岗山发电有限公司 一种融合多尺度信息的图片情感识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Speech Emotion Recognition with a ResNet-CNN-Transformer Parallel Neural Network;Siqi Han 等;《CISCE 2021》;20211231;第803-807页 *
基于增强特征融合网络的行人再识别;邓滔 等;《计算机应用研究》;20210430;第38卷(第4期);第1224-1229页 *
基于多尺度特征逐层融合深度神经网络的无参考图像质量评价方法;杨春玲 等;《华南理工大学学报（自然科学版）》;20220430;第50卷(第4期);第81-89、141页 *

Also Published As

Publication number Publication date
CN114882014A (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
CN114882014B (zh) 基于双模型的眼底图像质量评价方法、装置及相关介质
CN111862020B (zh) 一种眼前节生理年龄预测方法、装置、服务器及存储介质
CN110648303B (zh) 眼底图像分析方法、计算机设备和存储介质
CN110276763A (zh) 一种基于可信度和深度学习的视网膜血管分割图生成方法
CN111612756B (zh) 冠状动脉特异性钙化检测方法及装置
WO2023087917A1 (zh) 基于多维分层漂移扩散模型的认知决策评估方法及系统
CN111696100A (zh) 基于眼底影像确定吸烟程度的方法及设备
CN111428655A (zh) 一种基于深度学习的头皮检测方法
CN112132801A (zh) 一种基于深度学习的肺大泡病灶检测方法及系统
CN112869697A (zh) 同时识别糖尿病视网膜病变的分期和病变特征的判断方法
CN114429468A (zh) 骨龄测量方法、系统与电子设备及计算机可读存储介质
CN112741651B (zh) 一种内窥镜超声影像的处理方法及系统
CN111528918B (zh) 消融术后肿瘤体积变化趋势图生成装置、设备及存储介质
CN117338234A (zh) 一种屈光度与视力联合检测方法
CN117152827A (zh) 一种近视预测模型的训练方法、近视预测方法及装置
CN116977253B (zh) 用于内窥镜的清洁度检测方法及装置、电子设备和介质
CN113705595A (zh) 异常细胞转移程度的预测方法、装置和存储介质
CN115170492A (zh) 一种基于ai技术的白内障患者术后视力智能预测评估系统
CN113240677B (zh) 一种基于深度学习的视网膜视盘分割方法
George et al. A two-stage CNN model for the classification and severity analysis of retinal and choroidal diseases in OCT images
CN112381767A (zh) 角膜反射图像的筛选方法、装置、智能终端及存储介质
Zhong et al. CeCNN: Copula-enhanced convolutional neural networks in joint prediction of refraction error and axial length based on ultra-widefield fundus images
CN114550860B (zh) 一种基于流程数据与智能网络模型的就医满意度评估方法
CN117617888B (zh) 一种近视屈光度的预测系统及方法
CN116738352B (zh) 视网膜血管阻塞疾病的视杆细胞异常分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant