CN117095449A - 一种针对眼底无灌注区的自动识别方法及装置 - Google Patents

一种针对眼底无灌注区的自动识别方法及装置 Download PDF

Info

Publication number
CN117095449A
CN117095449A CN202310996855.3A CN202310996855A CN117095449A CN 117095449 A CN117095449 A CN 117095449A CN 202310996855 A CN202310996855 A CN 202310996855A CN 117095449 A CN117095449 A CN 117095449A
Authority
CN
China
Prior art keywords
image
feature
segmentation
model
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310996855.3A
Other languages
English (en)
Inventor
冯伟
赵怡然
王斌
陈羽中
张大磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Airdoc Technology Co Ltd
Original Assignee
Beijing Airdoc Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Airdoc Technology Co Ltd filed Critical Beijing Airdoc Technology Co Ltd
Priority to CN202310996855.3A priority Critical patent/CN117095449A/zh
Publication of CN117095449A publication Critical patent/CN117095449A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种针对眼底无灌注区的自动识别方法及装置，一具体实施方式中所述方法包括：首先，将携带无灌注区标注的眼底荧光血管造影FFA图像作为训练样本；其次，利用图像编码器中的自适应编码器特征融合模型学习所述训练样本不同尺度特征的权重，得到第一融合特征图像；利用图像解码器中的空洞卷积空间金字塔池化ASPP模型对所述第一融合特征图像进行图像处理，得到分割预测结果；利用多层深度监督损失函数对所述分割预测结果进行约束处理，生成多层深度损失函数；最后，基于每个所述训练样本对应的多层深度损失函数对模型进行调整，生成分割模型。由此，提高了分割模型对NPA区域识别的准确率。

Description

一种针对眼底无灌注区的自动识别方法及装置
技术领域
本发明属于图像处理技术领域，尤其涉及一种针对眼底无灌注区的自动识别方法及装置。
背景技术
糖尿病视网膜病变(Diabetic Retinopathy,缩写DR)是糖尿病的常见并发症，也是许多国家劳动年龄人群可避免失明的最主要原因。DR的发病机制是由于血糖升高导致视网膜血管内环境改变，从而引起微血管损伤；该损伤的典型临床病变表现为视网膜血管出现无灌注区(Non-perfusion Area,缩写NPA)。NPA是由于血管壁损伤继发的血液分流和黏度改变而引起的毛细血管无灌注斑块，表现为损伤处毛细血管阻塞，相邻毛细血管扩张。NPA的检测和量化在对DR严重程度的判断、疾病进展预测，甚至指导治疗方案等方面均具有重要意义。因此，对NPA的准确检测和量化十分重要。
目前，对于NPA的检测主要有两种方法，分别是荧光素钠血管造影(FluoresceinSodium Angiography,缩写FFA)及光学相干断层血管成像(Optical Coherencetomography angiography,缩写OCTA)。由于OCTA价格较为昂贵且存在伪影校正等问题，因此限制了OCTA技术的应用。FFA仍然是NPA检测的金标准，然而现有技术在利用FFA进行NPA检测时需要人工标注NPA，该过程十分耗时耗力，因此FFA图像中NPA的自动量化对于实际应用具有重要价值。已有研究提出了基于图像处理的NPA自动检测算法，这类方法主要是通过对NPA区域进行过度分割或利用NPA的形状特征建立模型，然而由于这类方法十分依赖图像的光照强度以及图像质量，因此在实际应用中稳定性较差。近年来，也有少量研究将深度学习技术应用于NPA的检测与分割，例如：使用DenseNet、ResNet50和VGG16等不同的深度学习模型对FFA图像中的NPA区域进行识别。但上述方法仍存在一定的局限性，例如：1)通常FFA图像中非灌注区的形状和大小多为不规则形且弥散于各处微血管，模型经常会遗漏一些小的NPA区；2)FFA图像中NPA区域与周围区域的对比度较小时，模型难以进行准确识别。
发明内容
针对现有技术存在的上述问题，本发明实施例提供了一种针对眼底无灌注区的自动识别方法及装置，能够基于分割模型从FFA图像中自动识别NPA区域，提高了NPA区域识别的准确率。
根据本发明实施例第一方面，提供一种针对眼底无灌注区的自动识别方法，所述方法包括：将携带无灌注区标注的眼底荧光血管造影FFA图像作为训练样本；利用图像编码器中的自适应编码器特征融合模型学习所述训练样本不同尺度特征的权重，得到第一融合特征图像；利用图像解码器中的空洞卷积空间金字塔池化ASPP模型对所述第一融合特征图像进行图像处理，得到分割预测结果；利用多层深度监督损失函数对所述分割预测结果进行约束处理，生成多层深度损失函数；基于每个所述训练样本对应的多层深度损失函数对模型进行调整，生成分割模型。
可选的，所述的方法还包括：对所述携带无灌注区标注的FFA图像进行对比度增强处理，得到处理后图像；将所述处理后图像划分为多个图像块，并将划分后每个所述图像块作为一个训练样本。
可选的，所述的方法还包括：利用所述分割模型对待测FFA图像进行识别预测，生成无灌注区的分割预测结果。
可选的，所述利用图像编码器中的自适应编码器特征融合模型学习所述训练样本不同尺度特征的权重，得到第一融合特征图像；包括：将所述训练样本经过图像分割网络的编码器进行编码处理，生成N个多尺度特征图像；其中，N为≥4的自然数；将所述N个多尺度特征图像进行自适应特征融合处理，得到第一融合特征图像。
可选的，所述将所述N个多尺度特征图像进行自适应特征融合处理，得到第一融合特征图像；包括：以所述第N个多尺度特征图像为基准，将所述前N-1个多尺度特征图像缩放到所述基准的尺寸，得到处理后的多尺度特征图；对处理后的多尺度特征图进行自适应加权处理，得到第一融合特征图像。
可选的，所述利用图像解码器中的空洞卷积空间金字塔池化ASPP模型对所述第一融合特征图像进行图像处理，得到分割预测结果；包括：将所述第一融合特征图像经过图像分割网络的解码器进行解码处理，得到M个不同分辨率的特征图像；其中，M为≥4的自然数；将第M个特征图像经过空洞卷积空间金字塔池化ASPP模型处理，得到第二融合特征图像；将所述第二融合特征图像经过分类层处理，生成分割预测结果。
可选的，所述将第M个特征图像经过空洞卷积空间金字塔池化ASPP模型处理，得到第二融合特征图像；包括：将第M个特征图像经过不同扩张率的卷积层处理，得到多尺度特征表示；将所述多尺度特征表示进行融合处理，得到第二融合特征图像。
可选的，所述利用所述分割模型对待测FFA图像进行识别预测，生成无灌注区的分割预测结果；包括：获取待测FFA图像；对所述待测FFA图像进行预处理，得到若干待测图像块；针对所述若干待测图像块中任一所述待测图像块：利用分割模型对所述待测图像块进行无灌注区识别预测，生成第一分割结果；将所述若干待测图像块中每个所述待测图像块对应的第一分割结果进行拼接处理，生成无灌注区的分割预测结果。
根据本发明实施例第二方面，还提供一种针对眼底无灌注区的自动识别装置，所述装置包括：训练样本模块，用于将携带无灌注区标注的眼底荧光血管造影FFA图像作为训练样本；生成模块，用于利用图像编码器中的自适应编码器特征融合模型学习所述训练样本不同尺度特征的权重，得到第一融合特征图像；利用图像解码器中的空洞卷积空间金字塔池化ASPP模型对所述第一融合特征图像进行图像处理，得到分割预测结果；利用多层深度监督损失函数对所述分割预测结果进行约束处理，生成多层深度损失函数；调整模块，用于基于每个所述训练样本对应的多层深度损失函数对模型进行调整，生成分割模型。根据本发明实施例第三方面，还提供一种电子设备，所述电子设备包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如第一方面所述的方法。
根据本发明实施例第四方面，还提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如第一方面所述的方法。
本发明实施例提供一种针对眼底无灌注区的自动识别方法及装置，所述方法包括：首先，将携带无灌注区标注的眼底荧光血管造影FFA图像作为训练样本；其次，利用图像编码器中的自适应编码器特征融合模型学习所述训练样本不同尺度特征的权重，得到第一融合特征图像；利用图像解码器中的空洞卷积空间金字塔池化ASPP模型对所述第一融合特征图像进行图像处理，得到分割预测结果；利用多层深度监督损失函数对所述分割预测结果进行约束处理，生成多层深度损失函数；最后，基于每个所述训练样本对应的多层深度损失函数对模型进行调整，生成分割模型。本实施方式通过引入自适应编码器特征融合模型、多层深度监督损失函数以及ASPP模型，对Unet神经网络进行优化，以自适应利用多尺度特征表示和上下文信息来增强分割模型对于不同形状大小的NPA区域的识别能力；解决了传统深度学习方法无法处理不同尺寸的NPA的局限性，提高了分割模型的识别准确率。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：
图1为本发明一实施例提供的针对眼底无灌注区的自动识别方法的流程示意图；
图2为本发明一实施例中自适应编码器特征融合模型的结构示意图；
图3为本发明一实施例中空洞卷积空间金字塔池化ASPP模型的结构示意图；
图4为本发明另一实施例提供的针对眼底无灌注区的自动识别方法的流程示意图；
图5为本发明一实施例提供的针对眼底无灌注区的自动识别装置的结构示意图；
图6为本发明一实施例中分割模型的整体结构示意图。
具体实施方式
为使本发明的目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，为本发明一实施例提供的针对眼底无灌注区的自动识别方法的流程示意图。
一种针对眼底无灌注区的自动识别方法，所述方法至少包括如下步骤：
S101，将携带无灌注区标注的眼底荧光血管造影FFA图像作为训练样本；
S102，利用图像编码器中的自适应编码器特征融合模型学习训练样本不同尺度特征的权重，得到第一融合特征图像；利用图像解码器中的空洞卷积空间金字塔池化ASPP模型对第一融合特征图像进行图像处理，得到分割预测结果；利用多层深度监督损失函数对分割预测结果进行约束处理，生成多层深度损失函数；
S103，基于每个训练样本对应的多层深度损失函数对模型进行调整，生成分割模型。
在FFA图像中，NPA区域通常呈扩散状，其形状大小不一，而且形状不规则；传统的深度学习方法无法有效处理不同形状大小的NPA区域。本实施方式通过引入自适应编码器特征融合模块、多层深度监督损失模块以及空洞卷积空间金字塔池化模块，对Unet神经网络进行优化。
在S101中，FFA图像均是来源于临床医疗数据，由专业医生通过临床诊断后对所述FFA图像标注无灌注区，从而得到训练样本；
在S102和S103中，首先，基于图像编码器中的自适应编码器特征融合(AdaptiveEncoder Feature Fusion，缩写AEFF)模型、多层深度监督损失模型以及图像解码器中的空洞卷积空间金字塔池化(Atrous Spatial Pyramid Pooling，缩写ASPP)模型对Unet神经网络进行优化处理，并基于优化处理后的模型对训练样本的无灌注区进行有监督的深度学习；其次，基于多层深度监督损失对分割预测结果的生成过程进行监督损失计算，生成多层深度监督损失函数；当多层深度监督损失函数趋于最小时，得到模型参数；最后，基于模型参数调整模型；由此，基于每个训练样本的子训练样本所对应的模型参数不断迭代优化模型，得到分割模型。
多层深度监督损失函数如公式(1)所示：
其中，Lbce二元交叉熵损失函数，用来对预测的类别概率y′i和地面真实标注yi计算损失值，Ldice是dice损失，用于缓解不平衡现象，提升分割模型对于NPA区域的识别性能；i表示监督的层数。
由此，本实施方式通过引入多层深度监督损失函数，能够有效利用多尺度特征提高分割模型的识别性能，从而提高了分割模型训练的准确性。
本实施方式通过引入自适应编码器特征融合模块、多层深度监督损失模块以及ASPP模型，对Unet神经网络进行优化，以自适应利用多尺度特征表示和上下文信息来增强分割模型对于不同形状大小的NPA区域的识别能力；解决了传统深度学习方法无法处理不同尺寸的NPA的局限性，提高了分割模型的识别准确率。
在本实施例优选的一实施方式中，所述方法还包括：对所述携带无灌注区标注的FFA图像进行对比度增强处理，得到处理后图像；将所述处理后图像划分为多个图像块，并将划分后每个所述图像块作为一个训练样本。
具体地，对携带无灌注区标注的FFA图像进行对比度增强处理，得到增强处理后FFA图像；对比度增强处理可以是限制对比度自适应直方图均衡化处理、线性变换、伽马变换、直方图正规化等。由于增强处理后FFA图像的分辨率较高，图像数量较少，因此若直接将增强处理后FFA图像缩放为小尺寸图像，会丢失大量细节信息。为此，将增强处理后FFA图像进行裁剪处理，得到若干图像块。
例如：对所述训练样本进行对比度增强处理，得到处理后图像；包括：对所述FFA图像进行限制对比度自适应直方图均衡化处理，得到处理后图像。
本实施方式中将训练样本进行对比度增强处理，能够增加训练样本的对比度，从而有利于模型识别NPA区域；将增强处理后FFA图像进行裁剪处理，不仅能够保留原图像中的细节信息，而且能够增加训练样本的数据集大小，从而有利于模型的训练；由此解决了现有技术中由于FFA图像中NPA区域与周围区域的对比度较小导致模型难以进行准确识别的问题；提高了分割模型训练的准确性。
在本实施例优选的另一实施方式中，所述的方法还包括：利用所述分割模型对待测FFA图像进行识别预测，生成无灌注区的分割预测结果。
具体地，获取待测FFA图像；对所述待测FFA图像进行预处理，得到若干待测图像块；针对所述若干待测图像块中任一所述待测图像块：利用分割模型对所述待测图像块进行无灌注区识别预测，生成第一分割结果；将所述若干待测图像块中每个所述待测图像块对应的第一分割结果进行拼接处理，生成无灌注区的分割预测结果。
在本实施例优选的又一实施方式中，如图2所示，为本发明一实施例中自适应编码器特征融合模型的结构示意图。
利用图像编码器中自适应编码器特征融合模型学习所述训练样本不同尺度特征的权重，得到第一融合特征图像；包括：将所述训练样本经过图像分割网络的编码器进行编码处理，生成N个多尺度特征图像；其中，N为≥4的自然数；将所述N个多尺度特征图像进行自适应特征融合处理，得到第一融合特征图像。
示例性的，将所述N个多尺度特征图像进行自适应特征融合处理，得到第一融合特征图像；包括：以所述第N个多尺度特征图像为基准，将所述前N-1个多尺度特征图像缩放到所述基准的尺寸，得到处理后的多尺度特征图；对处理后的多尺度特征图进行自适应加权处理，得到第一融合特征图像。具体地，自适应编码器特征融合模块，该模块融合了不同编码器层产生的多尺度特征图像，能够自适应地学习不同尺度特征的权重。例如：由于不同编码器提取的特征图像的分辨率和尺度不同，为此通过卷积层和池化层，将多个编码器提取的特征图像都统一缩放到最后一层编码器提取的特征图像的大小；之后通过引入一个自适应加权层来融合不同尺度的特征图像，从而得到第一融合特征图像。
更具体地，编码器第一层输出的多尺度特征图像依次经过两个卷积层和池化层处理后输出B×32×H/2×W/2的W4特征图像；编码器第2层输出的多尺度特征图像依次经过卷积层和池化层处理后输出B×256×H/4×W/4的W3特征图像；编码器第3层输出的多尺度特征图像经过卷积层处理后输出B×512×H/8×W/8的W2特征图像。W4特征图像、W3特征图像和W2特征图像分别与W1特征图像具有相同的分辨率和尺度，例如：B×64×H/16×W/16。最后将W4特征图像、W3特征图像和W2特征图像分别与W1特征图像进行融合处理，生成B×64×H/16×W/16的融合特征。在优选的又一实施方式中，如图3所示，为本发明一实施例中空洞卷积空间金字塔池化ASPP模型的结构示意图。
所述利用图像解码器中的空洞卷积空间金字塔池化ASPP模型对所述第一融合特征图像进行图像处理，得到分割预测结果；包括：将所述第一融合特征图像经过图像分割网络的解码器进行解码处理，得到M个不同分辨率的特征图像；其中，M为≥4的自然数；将第M个特征图像经过不同扩张率的卷积层处理，得到多尺度特征表示；将所述多尺度特征表示进行融合处理，得到第二融合特征图像；将所述第二融合特征图像经过分类层处理，生成分割预测结果。例如：将B×64×H/16×W/16的融合特征(即深层特征图)经过图像分割网络的解码器进行解码处理后输出四个不同尺度的特征表示；将四个不同尺度的特征表示进行融合处理，输出第二融合特征图。
为了进一步利用多尺度特征来提高分割模型的分割性能，引入了多层深度监督损失。具体地：在每个解码器之后插入一个预测分支，不同的解码器能够产生不同尺度的分割结果。
本发明可以端到端地进行训练和预测，能够快速便捷地识别出输入的FFA图像中的NPA区域，有助于对后期NPA的自动识别和量化提供帮助。
下面结合具体应用对本实施例提供的针对眼底无灌注区的自动识别方法进行详细说明。如图4所示，为本发明另一实施例中针对眼底无灌注区的自动识别方法的流程示意图。
一种针对眼底无灌注区的自动识别方法，至少包括如下步骤：
S401，对眼底荧光血管造影FFA图像进行限制对比度自适应直方图均衡化处理，得到处理后图像；将处理后图像划分为不同的图像块，并将划分后每个所述图像块作为一个训练样本；
S402，将训练样本经过Unet神经网络的编码器进行编码处理，生成N个多尺度特征图像；其中，N为≥4的自然数；
S403，以第N个多尺度特征图像为基准，将前N-1个多尺度特征图像缩放到基准的尺寸，得到处理后的多尺度特征图；对处理后的多尺度特征图进行自适应加权处理，得到第一融合特征图像；
S404，将第一融合特征图像经过Unet神经网络的解码器进行解码处理，得到M个不同分辨率的特征图像；其中，M为≥4的自然数；将第M个预设分辨率的特征图像经过不同扩张率的卷积层处理，得到多尺度特征表示；并将多尺度特征表示进行融合处理，得到第二融合特征图像；将第二融合特征图像经过分类层处理，生成分割预测结果；
S405，基于多层深度监督损失对所述分割预测结果的生成过程进行监督损失计算，生成多层深度监督损失函数；当多层深度监督损失函数趋于最小值时，确定模型参数，生成分割模型；
S406，获取待测FFA图像；对待测FFA图像进行预处理，得到若干待测图像块；针对若干待测图像块中任一待测图像块：利用分割模型对待测图像块进行无灌注区识别预测，生成第一分割结果；将若干待测图像块中每个待测图像块对应的第一分割结果进行拼接处理，生成无灌注区的分割预测结果。
如图6所示，为本发明一实施例中分割模型的整体结构示意图。
分割模型是一个U型结构的编码器-解码器结构，总共包含四个编码器(例如：Endoder1、Endoder2、Endoder3以及Endoder4)和四个相应的解码器(例如：Decoder1、Decoder2、Decoder3以及Decoder4)，最后是一个分类层和一个softmax函数来输出模型的预测值。每个编码器或解码器都包含一个卷积层、一个BN层，以及一个drop out层；其中，drop out层的drop rate为0.2。drop out层用于减少模型过拟合，BN层用于加速收敛。四个编码器的通道数分别为64、256、512和1024。每个编码器后都有一个步长为2x2的池化层来减少特征图像，而在解码过程中则采用上采样层来放大特征图像。此外，跳跃连接Skipconnection被用来将每个编码器提取的特征图与相应的解码器的特征图相结合。
对输入input的训练样本进行裁剪Patch处理，得到若干子训练样本；针对任一子训练样本：将子训练样本依次经过Endoder1、Endoder2、Endoder3以及Endoder4编码处理，将Endoder1、Endoder2，以及Endoder3输出的特征图像缩放到Endoder4输出特征图的尺寸，得到处理后的多尺度特征图；然后利用AEFF对处理后的多尺度特征图进行自适应加权处理，得到第一融合特征图像；之后将第一融合特征图像依次经过Decoder1、Decoder2、Decoder3以及Decoder4处理，得到预设分辨率的特征图像；将预设分辨率的特征图像经过ASPP处理后，得到第二融合特征图像；将第二融合特征图像经过分类层处理，输出Output分割预测结果。
本实施例中基于深度学习的分割模型能够客观且规范地对NPA区域进行自动识别；而且相较于目前使用的人工分割方法或其他半自动识别方法更快且效率更高；从而为精确描述NPA区域提供了丰富的特征。
如图5所示，为本发明一实施例提供的针对眼底无灌注区的自动识别装置的结构示意图。
一种针对眼底无灌注区的自动识别装置；所述装置500包括：训练样本模块501，用于将携带无灌注区标注的眼底荧光血管造影FFA图像作为训练样本；生成模块502，用于利用图像编码器中的自适应编码器特征融合模型学习所述训练样本不同尺度特征的权重，得到第一融合特征图像；利用图像解码器中的空洞卷积空间金字塔池化ASPP模型对所述第一融合特征图像进行图像处理，得到分割预测结果；利用多层深度监督损失函数对所述分割预测结果进行约束处理，生成多层深度损失函数；调整模块503，用于基于每个所述训练样本对应的多层深度损失函数对模型进行调整，生成分割模型。
在优选的实施方式中，所述装置还包括：对比度增强处理模块，用于对所述携带无灌注区标注的FFA图像进行对比度增强处理，得到处理后图像；子样本模块，用于将所述处理后图像划分为多个图像块，并将划分后每个所述图像块作为一个训练样本。
在优选的实施方式中，所述装置还包括：预测模块，用于利用所述分割模型对待测FFA图像进行识别预测，生成无灌注区的分割预测结果。
在优选的实施方式中，所述生成模块包括：编码单元，用于将所述训练样本经过图像分割网络的编码器进行编码处理，生成N个多尺度特征图像；其中，N为≥4的自然数；融合单元，用于将所述N个多尺度特征图像进行自适应特征融合处理，得到第一融合特征图像。
在优选的实施方式中，融合单元包括：缩放子单元，用于以所述第N个多尺度特征图像为基准，将所述前N-1个多尺度特征图像缩放到所述基准的尺寸，得到处理后的多尺度特征图；加权子单元，用于对处理后的多尺度特征图进行自适应加权处理，得到第一融合特征图像。
在优选的实施方式中，生成模块还包括：解码单元，用于将所述第一融合特征图像经过图像分割网络的解码器进行解码处理，得到M个不同分辨率的特征图像；其中，M为≥4的自然数；ASPP处理单元，用于将第M个特征图像经过空洞卷积空间金字塔池化ASPP模型处理，得到第二融合特征图像；分类单元，用于将所述第二融合特征图像经过分类层处理，生成分割预测结果。
在优选的实施方式中，ASPP处理单元包括：卷积处理子单元，用于将第M个特征图像经过不同扩张率的卷积层处理，得到多尺度特征表示；融合处理子单元，用于将所述多尺度特征表示进行融合处理，得到第二融合特征图像。
在优选的实施方式中，预测模块包括：获取单元，用于获取待测FFA图像；预处理单元，用于对所述待测FFA图像进行预处理，得到若干待测图像块；预测单元，用于针对所述若干待测图像块中任一所述待测图像块：利用分割模型对所述待测图像块进行无灌注区识别预测，生成第一分割结果；拼接单元，用于将所述若干待测图像块中每个所述待测图像块对应的第一分割结果进行拼接处理，生成无灌注区的分割预测结果。
上述装置可执行本发明一实施例所提供的针对眼底无灌注区的自动识别方法，具备执行针对眼底无灌注区的自动识别方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明一实施例所提供的针对眼底无灌注区的自动识别方法。
本发明还提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本发明所述的针对眼底无灌注区的自动识别方法。
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请如下各实施例的方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种针对眼底无灌注区的自动识别方法，其特征在于，包括：
将携带无灌注区标注的眼底荧光血管造影FFA图像作为训练样本；
利用图像编码器中的自适应编码器特征融合模型学习所述训练样本不同尺度特征的权重，得到第一融合特征图像；利用图像解码器中的空洞卷积空间金字塔池化ASPP模型对所述第一融合特征图像进行图像处理，得到分割预测结果；利用多层深度监督损失函数对所述分割预测结果进行约束处理，生成多层深度损失函数；
基于每个所述训练样本对应的多层深度损失函数对模型进行调整，生成分割模型。
2.根据权利要求1所述的方法，其特征在于，还包括：
对所述携带无灌注区标注的FFA图像进行对比度增强处理，得到处理后图像；
将所述处理后图像划分为多个图像块，并将划分后每个所述图像块作为一个训练样本。
3.根据权利要求1所述的方法，其特征在于，还包括：
利用所述分割模型对待测FFA图像进行识别预测，生成无灌注区的分割预测结果。
4.根据权利要求1所述的方法，其特征在于，所述利用图像编码器中的自适应编码器特征融合模型学习所述训练样本不同尺度特征的权重，得到第一融合特征图像；包括：
将所述训练样本经过图像分割网络的编码器进行编码处理，生成N个多尺度特征图像；其中，N为≥4的自然数；
将所述N个多尺度特征图像进行自适应特征融合处理，得到第一融合特征图像。
5.根据权利要求4所述的方法，其特征在于，所述将所述N个多尺度特征图像进行自适应特征融合处理，得到第一融合特征图像；包括：
以所述第N个多尺度特征图像为基准，将所述前N-1个多尺度特征图像缩放到所述基准的尺寸，得到处理后的多尺度特征图；
对处理后的多尺度特征图进行自适应加权处理，得到第一融合特征图像。
6.根据权利要求4所述的方法，其特征在于，所述利用图像解码器中的空洞卷积空间金字塔池化ASPP模型对所述第一融合特征图像进行图像处理，得到分割预测结果；包括：
将所述第一融合特征图像经过图像分割网络的解码器进行解码处理，得到M个不同分辨率的特征图像；其中，M为≥4的自然数；
将第M个特征图像经过空洞卷积空间金字塔池化ASPP模型处理，得到第二融合特征图像；
将所述第二融合特征图像经过分类层处理，生成分割预测结果。
7.根据权利要求6所述的方法，其特征在于，所述将第M个特征图像经过空洞卷积空间金字塔池化ASPP模型处理，得到第二融合特征图像；包括：
将第M个特征图像经过不同扩张率的卷积层处理，得到多尺度特征表示；
将所述多尺度特征表示进行融合处理，得到第二融合特征图像。
8.根据权利要求3所述的方法，其特征在于，所述利用所述分割模型对待测FFA图像进行识别预测，生成无灌注区的分割预测结果；包括：
获取待测FFA图像；
对所述待测FFA图像进行预处理，得到若干待测图像块；
针对所述若干待测图像块中任一所述待测图像块：利用分割模型对所述待测图像块进行无灌注区识别预测，生成第一分割结果；
将所述若干待测图像块中每个所述待测图像块对应的第一分割结果进行拼接处理，生成无灌注区的分割预测结果。
9.一种针对眼底无灌注区的自动识别装置，其特征在于，包括：
训练样本模块，用于将携带无灌注区标注的眼底荧光血管造影FFA图像作为训练样本；
生成模块，用于利用图像编码器中的自适应编码器特征融合模型学习所述训练样本不同尺度特征的权重，得到第一融合特征图像；利用图像解码器中的空洞卷积空间金字塔池化ASPP模型对所述第一融合特征图像进行图像处理，得到分割预测结果；利用多层深度监督损失函数对所述分割预测结果进行约束处理，生成多层深度损失函数；
调整模块，用于基于每个所述训练样本对应的多层深度损失函数对模型进行调整，生成分割模型。
10.一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如权利要求1-8中任一项所述的方法。
CN202310996855.3A 2023-08-08 2023-08-08 一种针对眼底无灌注区的自动识别方法及装置 Pending CN117095449A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310996855.3A CN117095449A (zh) 2023-08-08 2023-08-08 一种针对眼底无灌注区的自动识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310996855.3A CN117095449A (zh) 2023-08-08 2023-08-08 一种针对眼底无灌注区的自动识别方法及装置

Publications (1)

Publication Number Publication Date
CN117095449A true CN117095449A (zh) 2023-11-21

Family

ID=88782364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310996855.3A Pending CN117095449A (zh) 2023-08-08 2023-08-08 一种针对眼底无灌注区的自动识别方法及装置

Country Status (1)

Country Link
CN (1) CN117095449A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117994509A (zh) * 2023-12-26 2024-05-07 徐州市第一人民医院 一种基于交互式的眼底图像无灌注区域智能识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117994509A (zh) * 2023-12-26 2024-05-07 徐州市第一人民医院 一种基于交互式的眼底图像无灌注区域智能识别方法
CN117994509B (zh) * 2023-12-26 2024-07-12 徐州市第一人民医院 一种基于交互式的眼底图像无灌注区域智能识别方法

Similar Documents

Publication Publication Date Title
CN111784671B (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
CN110458833B (zh) 基于人工智能的医学图像处理方法、医学设备和存储介质
CN110490927B (zh) 用于为图像中的对象生成中心线的方法、装置和系统
CN113205524B (zh) 基于U-Net的血管图像分割方法、装置和设备
US11816870B2 (en) Image processing method and device, neural network and training method thereof, storage medium
CN112396605B (zh) 网络训练方法及装置、图像识别方法和电子设备
CN112288731A (zh) 一种血管狭窄分析方法及装置
CN113689954B (zh) 高血压风险预测方法、装置、设备及介质
CN113393469A (zh) 基于循环残差卷积神经网络的医学图像分割方法和装置
CN110969632B (zh) 一种深度学习模型的训练方法、图像处理方法及装置
CN112465834A (zh) 一种血管分割方法及装置
CN117095449A (zh) 一种针对眼底无灌注区的自动识别方法及装置
CN114742802B (zh) 基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法
US11636603B2 (en) System and methods for segmentation and assembly of cardiac MRI images
CN117132774B (zh) 一种基于pvt的多尺度息肉分割方法及系统
CN113902945A (zh) 一种多模态乳腺磁共振图像分类方法及系统
CN114972211B (zh) 图像分割模型的训练方法、分割方法、装置、设备和介质
CN114821070A (zh) 一种基于改进U-Net型网络的心脏MRI分割方法
CN110599444B (zh) 预测血管树的血流储备分数的设备、系统以及非暂时性可读存储介质
CN115330669A (zh) 预测解剖结构的疾病量化参数的计算机实现的方法、系统及存储介质
CN116797554A (zh) 图像处理方法以及装置
CN111179277A (zh) 一种无监督自适应乳腺病变分割方法
CN117523204A (zh) 面向医疗场景的肝脏肿瘤图像分割方法、装置和可读存储介质
CN117576383A (zh) 一种基于注意力解码的可信息肉分割方法及系统
CN117746201A (zh) 基于交叉Transformer和MLIF的多模态融合生存预后方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination