CN113421259A - 基于分类网络的octa图像的分析方法 - Google Patents

基于分类网络的octa图像的分析方法 Download PDF

Info

Publication number
CN113421259A
CN113421259A CN202110957657.7A CN202110957657A CN113421259A CN 113421259 A CN113421259 A CN 113421259A CN 202110957657 A CN202110957657 A CN 202110957657A CN 113421259 A CN113421259 A CN 113421259A
Authority
CN
China
Prior art keywords
image
octa
feature map
network
shallow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110957657.7A
Other languages
English (en)
Other versions
CN113421259B (zh
Inventor
孙光民
李侨宇
李煜
朱美龙
李佳璇
周诗淇
张敬玥
郭辰宇
田添
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202110957657.7A priority Critical patent/CN113421259B/zh
Publication of CN113421259A publication Critical patent/CN113421259A/zh
Application granted granted Critical
Publication of CN113421259B publication Critical patent/CN113421259B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本公开实施例涉及一种基于分类网络的OCTA图像的分析方法，方法包括：对待分析的OCTA图像进行滤波处理，获得滤波后的OCTA浅层图像和滤波后的OCTA深层图像；OCTA图像为对用户眼部视网膜区域拍摄的包括两个不同深度的OCTA浅层图像和OCTA深层图像；采用预先训练的图像分割网络对滤波后的OCTA浅层图像进行分割处理，得到采用不同标识标记各区域的OCTA分割图像；将OCTA分割图像、滤波后的OCTA深层图像、滤波后的OCTA浅层图像进行融合处理，得到OCTA融合图像；采用训练的分类网络对OCTA融合图像进行分类处理，得到分类结果。本分析方法为基于视网膜的OCTA图像的疾病筛查提供了依据，并具有较高的分类准确度。

Description

基于分类网络的OCTA图像的分析方法
技术领域
本申请属于图像处理技术领域，具体涉及一种基于分类网络的OCTA图像的分析方法。
背景技术
当前，获取患者的超声图片或者三维图片，对图片进行分析以区分糖尿病肾病与非糖尿病肾病成为业界研究的热点。
例如，光学相干断层成像血管造影术（Optical Coherence TomographyAngiography，OCTA）是近些年来较为新兴的一种非侵入式成像方法，可以有效展示人体视网膜神经丛中毛细血管网络的细微变化。该方法通过对同一位置进行快速重复拍摄，探测视野中细胞的运动并进行分析，从而得到毛细血管网络图像。对视网膜浅层神经丛拍摄的图像为OCTA浅层图像，对视网膜深层神经丛拍摄的图像为OCTA深层图像，二者包含不同的血管信息。
另外，业内人士发现可以从OCTA图像分析出多种医学临床视网膜疾病，如黄斑毛细血管扩张、灌注受损、微动脉瘤、毛细血管重塑等，因此OCTA已被用于一系列视网膜血管疾病的评估，包括糖尿病视网膜病变、视网膜静脉阻塞、葡萄膜炎、视网膜动脉阻塞和年龄相关性黄斑变性等。其中，目前有较多研究的是OCTA用于视网膜病变的诊断，即通过OCTA图像判断患者是否患有糖尿病性视网膜疾病。
糖尿病视网膜疾病与糖尿病肾病都属于糖尿病最主要的微血管并发症，一直以来都有学者试图探索二者之间是否存在一定的相关性。为此，如何对OCTA图像进行分析，确定是否存在异常为实现疾病筛查提供依据成为当前亟需解决的技术问题。
发明内容
（一）要解决的技术问题
鉴于现有技术的上述缺点、不足，本申请提供一种基于深度神经网络的OCTA图像的分析方法。
（二）技术方案
为达到上述目的，本申请采用如下技术方案：
第一方面，本申请提供一种基于分类网络的OCTA图像的分析方法，该方法包括：
A10、对待分析的OCTA图像中的浅层图像进行滤波处理，获得滤波后的OCTA浅层图像，对待分析的OCTA图像中的深层图像进行滤波处理，获得滤波后的OCTA深层图像；
所述OCTA图像为对用户眼部视网膜区域拍摄的包括两个不同深度的OCTA浅层图像和OCTA深层图像；
A20、采用预先训练的图像分割网络对滤波后的OCTA浅层图像进行分割处理，得到采用不同标识标记各区域的OCTA分割图像；
A30、将所述OCTA分割图像、滤波后的OCTA深层图像、滤波后的OCTA浅层图像进行融合处理，得到OCTA融合图像；
A40、采用训练的分类网络对所述OCTA融合图像进行分类处理，得到分类结果；
所述训练的分类网络为在ResNet50基础上增加分组特征提取模块和先验注意力机制模块的网络。
第二方面，本申请提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上第一方面任一项所述的基于分类网络的OCTA图像的分析方法的步骤。
第三方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上第一方面任一项所述的基于分类网络的OCTA图像的分析方法的步骤。
（三）有益效果
本申请提供的技术方案可以包括以下有益效果：
本发明的方法对人体视网膜的OCTA图像进行分析，在临床上为各类基于眼部图像的疾病分析提供了一种无创辅助的分析方法。
具体地，先对OCTA图像进行滤波处理以去除孤立噪声点，使得后续分析更加准确，接着基于图像分割网络获取标记各区域的OCTA分割图像，以便较好的区分OCTA图像中的区域信息；再将浅层、深层和分割图像进行融合，输入到添加有先验注意力信息的第二分类网络中，实现对OCTA图像的分类，实现在OCTA图像处理上具有较高的鲁棒性，且在处理中由于先验注意力信息的增加，约束了第二分类网络的关注范围，提升了处理效率。
在具体实现中，采用图像分割网络对OCTA图像的中心凹区域和血管区域进行划分，为图像分类提供专家信息，并将该信息与OCTA深层、浅层图像的特征相结合，对于特征不明显的OCTA图像来说，极大地提高了分类准确度。
本发明使用分类网络对分类结果进行了解释，为视网膜OCTA图像用于疾病筛查初分类提供了图像学依据。
也就是说，本发明中将人体视网膜OCTA图像应用于肾病的分析中。其中，图像分割网络自动提取OCTA图像特征，在像素级别上划分出图像中的黄斑中心凹区域和血管区域，以此作为专家信息融合进深层、浅层神经丛OCTA图像中，提高了对OCTA图像的疾病筛查初分类的准确率，并通过先验注意力信息对分类结果提供了可解释的图像学依据。该技术可应用于临床疾病辅助诊断，为相关医学研究提供重要思路和方法。
附图说明
图1为OCTA浅层图像和OCTA浅层图像对应的视网膜位置的示例图；
图2为OCTA深层图像和OCTA深层图像对应的视网膜位置的示例图；
图3为本发明一实施例提供的OCTA浅层图像预处理结果的示意图；
图4为本发明一实施例提供的图像分割网络的输出结果的示意图；
图5为本发明一实施例提供的图像分割网络的结构示意图；
图6为本发明一实施例提供的OCTA融合图像的生成过程的示意图；
图7（a）为第二分类网络的整体结构的示意图；
图7（b）为第二分类网络中卷积块的结构的示意图；
图7（c）为第二分类网络中恒等残差块的结构的示意图；
图7（d）为第一分类网络的整体结构示意图；
图8为本发明一实施例提供的平均权重热力图的示意图；
图9为本发明一实施例提供的可视化结果的示意图；
图10为本发明一实施例提供的分析方法的整体流程示意图。
具体实施方式
为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。可以理解的是，以下所描述的具体的实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合；为了便于描述，附图中仅示出了与发明相关的部分。
实施例一
本发明实施例提供一种基于分类网络的OCTA图像的分析方法，其特征在于，该方法包括：
A10、对待分析的OCTA图像中的浅层图像进行滤波处理，获得滤波后的OCTA浅层图像，对对待分析的OCTA图像中的深层图像进行滤波处理，获得滤波后的OCTA深层图像；
所述OCTA图像为对用户眼部视网膜区域拍摄的包括两个不同深度的OCTA浅层图像和OCTA深层图像。
举例来说，可采用滑窗方式对待分析的OCTA浅层图像进行滤波处理，获取去除孤立噪声点的OCTA浅层图像作为滤波后的OCTA浅层图像；
采用滑窗方式对待分析的OCTA深层图像进行滤波处理，获取去除孤立噪声点的OCTA深层图像作为滤波后的OCTA深层图像。
即实现了有效特征在图像中所占比例，同时不降低图像质量，还可以基于连通区 域的滤波算法对孤立噪声点进行图像滤波，滤波算法使用滑窗对图像逐像素运算，滤除滑 窗范围内的孤立连通像素区域，滑窗被定义为：
Figure 651959DEST_PATH_IMAGE001
其中，
Figure 37941DEST_PATH_IMAGE002
表示中心像素坐标，
Figure 224202DEST_PATH_IMAGE003
表示当前滑窗范围内的连通区域。
A20、采用预先训练的图像分割网络对滤波后的OCTA浅层图像进行分割处理，得到采用不同标识标示各区域的OCTA分割图像。
例如，可将滤波后的OCTA浅层图像输入训练后的图像分割网络；可对滤波后的 OCTA浅层进行连续的多次卷积、上采样和堆叠处理，得到
Figure 150570DEST_PATH_IMAGE004
的特征图；X为依据卷积处 理策略确定的尺寸；
对
Figure 870002DEST_PATH_IMAGE004
的特征图执行Softmax操作，以使
Figure 223623DEST_PATH_IMAGE004
的特征图中每个像素点分别属 于黄斑中心凹、血管和背景三个类别的概率，再经过argmax运算将所述概率转换成每个像 素具体所属的类别，并对分割结果的图像的尺寸还原为输入图像的大小，得到最终的OCTA 分割图像。
可理解的是，本实施例中使用深层卷积神经网络的图像分割网络，通过编码-解码结构提取预处理后的图像特征并在像素级别上对输入图像进行区域分割，标记出OCTA图像中央位置的黄斑中心凹区域与四周的血管区域。
其中，编码部分使用卷积层与池化层实现。通过多个卷积层、池化层对输入图像提取特征，并对所提取的特征进行编码，将大尺寸、低维度的原始OCTA图像映射为小尺寸、高维度的特征图像。
解码部分使用上采样层实现，同时需要通道堆叠操作的配合。当特征图经过上采样层处理后，当前特征图的长和宽均会扩大至原来尺寸的两倍，此时特征图的尺寸发生变化，但维度不变，当前特征图携带有经过多次编码的高级语义信息；将上采样后的特征图与上一级别同尺寸的特征图进行通道堆叠，此时将带有更多全局特征的低级别特征信息与带有更多局部特征的高级别语义信息进行叠加，使得新的特征图中同时带有二者的特征，并且特征图的尺寸扩大为原来尺寸的两倍，此时特征图的通道数也发生改变。重复上采样操作与通道堆叠操作，直至将最终特征层的尺寸扩大至输入图像的一半。使用Softmax激活函数输出像素分类器的分类概率结果，通过argmax函数映射出像素点所属的实际类别，即黄斑中心凹区域或血管区域，得到OCTA标记图像。
A30、将所述OCTA分割图像、滤波后的OCTA深层图像、滤波后的OCTA浅层图像进行融合处理，得到OCTA融合图像。
举例来说，将OCTA分割图像与滤波后的OCTA浅层图像、滤波后的OCTA深层图像分别转换成单通道八位灰度图像；
将得到的三张灰度图像作为三个独立的通道进行堆叠，得到一张三通道的OCTA融合图像，以使OCTA融合图像中携带有不同的特征信息。
A40、采用训练的分类网络对所述OCTA融合图像进行分类处理，得到分类结果。
特别说明的是，本实施例中训练后的分类网络可为图7（a）所示的包括：分组特征提取和先验注意力机制的基于ResNet50架构的网络，下述成为第二分类网络。
例如，该步骤A40可包括下述A41至A44的子步骤：
A41、将OCTA融合图像输入第二分类网络的分组特征提取模块，以使三通道的OCTA融合图像被通道分离，得到单通道的OCTA浅层图像、OCTA深层图像和OCTA分割图像，对分离后的图像分别卷积，得到三个特征图，将该三个特征图在通道维度上进行堆叠，得到一张新的特征图；
A42、将新的特征图输入第二分类网络的先验注意力机制模块，以使新的特征图和预先获取的权重热力图逐点相乘，使得所述预先获取的权重热力图中的先验注意力信息加入所述新的特征图中并进行池化处理，得到待处理的特征图；
应说明的是，预先获取的权重热力图可为训练阶段训练集对应的所有权重热力图的平均热力图。或者，在其他实施例中，预先获取的权重热力图还可以是采用第一分类网络获取的待分析的OCTA图像的权重热力图。
A43、将待处理的特征图输入第二分类网络的特征提取模块，以进行多次卷积和恒 等残差处理，得到
Figure 162760DEST_PATH_IMAGE005
的特征图；
A44、将
Figure 892819DEST_PATH_IMAGE005
的特征图变换为全连接层，以进行Softmax运算和argmax运算， 得到分类结果。
当然，在实际应用中，可在前述步骤A10之前，建立图像分割网络和第一分类网络；获取训练数据集，所述训练数据集用于对建立的图像分割网络进行训练处理，以及对建立的第一分类网络进行训练处理；
采用所述训练数据集对建立的图像分割网络和建立的第一分类网络分别进行训练，获得训练后的图像分割网络和训练后的第一分类网络、及在训练后的第一分类网络的基础上增加先验注意力机制模块的第二分类网络。如图10所示，在训练完成之后，针对待分析的OCTA图像进行分割、灰度映射、融合、分类使用。
本实施例的方法为视网膜OCTA图像用于多疾病初分类提供了图像学依据。上述方法可基于视网膜OCTA图像实现对应糖尿肾病和非糖尿肾病、视网膜疾病或肾病等多种疾病初分类的依据。
实施例二
结合图10所示的整个流程图进行说明，在上述实施例一中获取待分析的OCTA图像，其包括被检测对象的OCTA浅层图像和OCTA深层图像各一张。
一、训练阶段
1、获取训练数据集。在本实施例中，训练数据集中共有N个被检测对象样本，即有N张OCTA浅层图像，N张OCTA深层图像。
特别说明的是，用于为具体一种疾病筛查的初分类，则训练数据集可使用对应该类疾病的数据集。该实施例二是针对肾病分类举例说明的，则训练数据集中的标签图像可为对应肾病分类的标签图像，当然测试集也是针对肾病分类的测试集。
2、划分训练数据集。将这N个被检测对象样本进行数据集划分，0.8N个样本划分为训练集，用于训练阶段；0.2N个样本划分为测试集，用于预测阶段。
3、在训练阶段，训练集中的0.8N张OCTA浅层图像经过直方图均衡化、二值化、手工标注黄斑中心凹区域等预处理方式得到图像分割标签图像。
训练图像分割网络（前述步骤A20中使用的图像分割网络），训练好的图像分割网络已具有图像分割能力。
将这0.8N张OCTA浅层图像输入训练好的图像分割网络，得到0.8N张OCTA分割图像。
将训练集中的OCTA浅层图像、OCTA深层图像和OCTA分割图像进行通道融合，得到0.8N张OCTA融合图像。
使用这些OCTA融合图像训练分类网络，其中，分类网络包含分组特征提取模块和先验注意力机制模块。训练好的分类神经网络已具有分类能力。
进一步地，并对第一分类网络输出的每一个OCTA图像的可视化特征进行处理，得到后续具有先验注意力信息的权重热力图，分析分类网络做出该分类结果的图像学依据。
在具体应用中，上述训练阶段，训练集中的0.8N张OCTA浅层图像经过直方图均衡化、二值化、手工标注黄斑中心凹区域等预处理方式得到图像分割标签图像，可具体处理过程如下：
对每一张OCTA浅层图像进行滤波，滤波的目的是为了去除图像上的孤立噪声点，孤立噪声点意为不与其他区域连通的微小区域，使用滑窗遍历图像，当滑窗范围内存在此类微小区域时将其滤除，滤波后的图像更清晰，便于后续处理。
对滤波后的OCTA浅层图像进行直方图均衡化，由于OCTA浅层图像的对比度较低，需要使用直方图均衡化提高其对比度，以保证后续的图像二值化结果，直方图均衡化的结果如图3的左侧（a）图所示，其示出了直方图均衡化后的结果；
将直方图均衡化后的OCTA浅层图像进行图像二值化处理，目的是为了制作图像分割网络的训练数据集，由于直方图均衡化后的OCTA浅层图像中只有血管区域呈白色和灰色，所以图像二值化后血管区域均是灰度值为255的白色，背景区域为灰度为0的黑色，如图3的中间（b）图所示，其示出了图像二值化的结果；
再使用绘图工具手工将黄斑中心凹区域绘制成灰度值为127的灰色，制作出如图3中右侧（c）图所示的图像分割标签图像，即示出了手工标注黄斑中心凹区域的结果。
结合图5说明该图像分割标签图像在训练阶段的功能或作用。图像分割标签图像用于图像分割网络的训练过程，训练过程首先用一张图像进行说明：
从训练数据集的训练集中选出一张OCTA浅层图像X，这张X在训练数据集中对应着一张图像分割标签图像Y，（Y也在训练集里，简称标签图像Y）。标签图像Y中的白色部分（如图3的右侧（c）图）对应着X中的血管部分，灰色部分对应着X中的黄斑中心凹区域。
将图像X输入训练阶段的图像分割网络中，经过多次的卷积层、池化层、上采样、跳 跃连接等之后，得到右边倒数第二个尺寸为
Figure 968222DEST_PATH_IMAGE006
的特征图（Softmax之前的，这个记 为特征图1），之后将这张特征图1经过Softmax运算，得到新的尺寸为
Figure 492745DEST_PATH_IMAGE006
的特征图 （记为特征图2）。Softmax运算的功能在于得到每个像素点属于各个类别的概率。
举例来说：特征图1的尺寸是
Figure 653599DEST_PATH_IMAGE006
，前两个数是特征图的长和宽，第三个数3 是因为当前待分割的OCTA浅层图像X中一共有三个类别：血管、黄斑中心凹和背景，这也正 好对应着标签图像Y中一共有3种颜色标记：白色、灰色和黑色。当特征图1经过Softmax运算 后，得到的就是这
Figure 656190DEST_PATH_IMAGE007
个像素点分别属于上述这三个类别的概率，这个概率的表示方 式是一个3维向量，例如其中一个像素点的概率是
Figure 108072DEST_PATH_IMAGE008
，假设这三个值分别对应 的是背景、黄斑中心凹、血管，那么表示的就是这个像素点属于背景的概率是97%，黄斑中心 凹的概率是1%，属于血管的概率是2%。特征图1上的每一个像素点都有这样的一个3维向量， 因此特征图2的尺寸是
Figure 69075DEST_PATH_IMAGE009
。
需要说明的是：由于Softmax函数的特性，要求Softmax的输入和输出具有相同的 尺寸，因此，由于必须要求输出是
Figure 576280DEST_PATH_IMAGE009
（因为3个类别），所以需要特征图1也要是
Figure 257928DEST_PATH_IMAGE009
这个尺寸。
特征图2的每一个像素点都是一个3维向量，还是用
Figure 432557DEST_PATH_IMAGE008
举例，这种情 况下，显然这个像素点属于背景的概率是最大的。另外，argmax运算中argmax的作用是找到 一个向量中数值最大的那个元素的索引，对于上面那个向量来说，0.97是向量的第一个数， 对应的索引是0，则argmax的输出就是0，这样就预测出了这个像素点所属的类别，它是属于 0这个类，也就是属于背景。对特征图2的
Figure 174248DEST_PATH_IMAGE010
个像素点都进行argmax运算，就得到了每 一个像素点所属的类别。最后由于当前输出的尺寸是
Figure 434328DEST_PATH_IMAGE010
，进行resize（图像大小变 换），将尺寸放大到
Figure 654088DEST_PATH_IMAGE011
，就和输入的X和标签图像Y的长宽一样了，得到输出特征图Z。 说明的是，此时得到的是
Figure 683224DEST_PATH_IMAGE011
的输出图像，不是图5中的使用过程的
Figure 359931DEST_PATH_IMAGE012
的输 出图像。
训练过程，就是不断让输出特征图Z中的像素点向着标签图像Y中对应位置的像素点进行逼近，类似于分类网络的训练过程。也就是说，其实图像分割就是对每一个像素点进行分类，图像分割标签图像Y上的每个像素点的值实际上就是X的每一个对应位置像素点的分类标签。
另外，图像分割网络在优化过程是基于多分类交叉熵函数设计的，结合输入图像的尺寸得到图像分割网络在训练中所优化的损失函数：
Figure 576149DEST_PATH_IMAGE013
其中
Figure 989812DEST_PATH_IMAGE014
为输入图像的高度，
Figure 748821DEST_PATH_IMAGE015
为输入图像的宽度，
Figure 222528DEST_PATH_IMAGE016
为像素分类结果的 真实值，由标签图像给出，
Figure 66987DEST_PATH_IMAGE017
为网络的预测结果，由图像分割网络计算得出。其中
Figure 18762DEST_PATH_IMAGE018
是图像像素的坐标，
Figure 897857DEST_PATH_IMAGE019
为纵坐标，
Figure 542465DEST_PATH_IMAGE020
为横坐标。
本实施例的第一分类网络在优化过程基于交叉熵函数设计：
Figure 372755DEST_PATH_IMAGE021
其中，
Figure 128222DEST_PATH_IMAGE022
为图像分类结果的真实值，由标签图像给出，
Figure 330664DEST_PATH_IMAGE023
为网络的预测 结果，由第一分类网络计算得出。其中，
Figure 146173DEST_PATH_IMAGE024
是类别，
Figure 965225DEST_PATH_IMAGE025
是总共的类别数，通常取2，在本申请中 是两个类别，如糖尿病肾病和非糖尿病肾病两类，
Figure 258803DEST_PATH_IMAGE026
在上述公式的计算中分别表示糖尿病 肾病和非糖尿病肾病两类别。
4、在预测阶段，从0.2N个样本中选出任意一组图像。
其中，将OCTA浅层图像输入训练好的图像分割网络，得到OCTA分割图像，将OCTA浅层图像、OCTA深层图像和OCTA分割图像进行通道融合，得到一张OCTA融合图像。
将这张OCTA融合图像输入训练好的第二分类网络中，得到分类结果。
二、分类网络使用阶段
1、OCTA图像的获取及预处理。
OCTA技术对眼部视网膜区域的同一横断面进行快速重复拍摄，可视化地观察红细胞运动并检测眼底血管中的血流变化，高分辨率地呈现出视网膜中的血管图像。按照图像采集设备对视网膜区域的拍摄位置不同，通常可以将OCTA图像分成两类：OCTA浅层图像和OCTA深层图像。OCTA浅层图像如图1的左侧（a）图所示，白色部分为血管，中间被血管环绕的黑色部分为黄斑中心凹。人的视网膜后侧有一直径约2mm的小凹陷区被称作“黄斑”，黄斑中央有一小凹陷，因此称为“黄斑中心凹”，黄斑中心凹没有血管，因此在OCTA图像上呈黑色，OCTA浅层图像的拍摄区域如图1的右侧（b）图所示，其示出了OCTA浅层图像对应的视网膜位置。同样的，OCTA深层图像如图2的左侧（a）图所示，其拍摄区域如图2的右侧（b）图所示，其示出了OCTA深层图像对应的视网膜位置。
在本实施例中，同一被拍摄对象提供OCTA浅层图像和OCTA深层图像各一张，并且这两张图像均被用于后续的分类任务中。
其中，OCTA浅层图像由于黄斑中心凹的边界相对明显，血管相对清晰，因此被用于后续的图像分割处理中，将OCTA浅层图像的黄斑中心凹区域和血管区域分割出来；OCTA深层图像黄斑中心凹的边界较模糊，且血管分布杂乱，使用图像分割处理的效果不好，因此不用于图像分割处理。
对于OCTA浅层图像和OCTA深层图像的预处理，包括：基于连通区域筛选的图像滤波。其中，滤波的目的是为了去除图像上的孤立噪声点，孤立噪声点意为不与其他区域连通的微小区域，使用滑窗遍历图像，当滑窗范围内存在此类微小区域时将其滤除，滤波后的图像更清晰，便于后续处理。
在预处理过程中，输入的是OCTA浅层图像和OCTA深层图像，输出滤波后的OCTA浅层图像、滤波后的OCTA深层图像。
、对OCTA浅层图像的图像分割。
使用图4所示的图像分割网络对滤波后的OCTA浅层图像进行分割处理，得到带有黄斑中心凹区域与血管区域标记的OCTA分割图像，如图5所示。其中，黄色部分为血管，红色部分为黄斑中心凹。
具体过程为，将滤波后的OCTA浅层图像输入图像分割网络后先经过两次卷积，得 到尺寸为
Figure 971544DEST_PATH_IMAGE027
的特征图；
将该
Figure 567741DEST_PATH_IMAGE028
的特征图进行两次卷积，得到尺寸为
Figure 998723DEST_PATH_IMAGE029
的特征图；
将该
Figure 204314DEST_PATH_IMAGE030
的特征图进行两次卷积，得到尺寸为
Figure 37141DEST_PATH_IMAGE031
的特征图；
将该
Figure 663294DEST_PATH_IMAGE032
的特征图进行七次卷积，得到尺寸为
Figure 456938DEST_PATH_IMAGE033
的特征图；
将该
Figure 357898DEST_PATH_IMAGE034
的特征图进行上采样，得到尺寸为
Figure 920597DEST_PATH_IMAGE035
的特征图，再通过跳 跃连接与之前得到的尺寸为
Figure 983231DEST_PATH_IMAGE036
的特征图在通道维度上进行堆叠，得到尺寸为
Figure 998591DEST_PATH_IMAGE037
的特征图；
对该
Figure 703242DEST_PATH_IMAGE038
的特征图进行卷积，得到尺寸为
Figure 618983DEST_PATH_IMAGE039
的特征图；将该
Figure 118098DEST_PATH_IMAGE040
的特征图进行上采样，得到尺寸为
Figure 620755DEST_PATH_IMAGE041
的特征图，再通过跳跃连接与 之前得到的尺寸为
Figure 863517DEST_PATH_IMAGE042
的特征图在通道维度上进行堆叠，得到尺寸为
Figure 135230DEST_PATH_IMAGE043
的特征图；
对该
Figure 946191DEST_PATH_IMAGE044
的特征图进行卷积，得到尺寸为
Figure 795198DEST_PATH_IMAGE045
的特征图；将该
Figure 576072DEST_PATH_IMAGE045
的特征图进行上采样，得到尺寸为
Figure 200826DEST_PATH_IMAGE046
的特征图，再通过跳跃连接 与之前得到的尺寸为
Figure 41743DEST_PATH_IMAGE047
的特征图在通道维度上进行堆叠，得到尺寸为
Figure 518992DEST_PATH_IMAGE048
的特征图；对该
Figure 103557DEST_PATH_IMAGE048
的特征图进行卷积，得到尺寸为
Figure 208917DEST_PATH_IMAGE049
的特 征图。
上述过程中的卷积次数以及卷积使用的卷积核数量是通过实验调参的结果，以保证得到最优分割性能。本实施例中不限定卷积次数，上述的卷积过程仅为举例说明。
由于OCTA图像上共包含黄斑中心凹、血管和背景共3个类别，所以对最后尺寸为
Figure 96101DEST_PATH_IMAGE050
的特征图进行卷积，得到
Figure 60646DEST_PATH_IMAGE051
的特征图。对此
Figure 448902DEST_PATH_IMAGE051
的特征图执行 Softmax操作，得到特征图中每个像素点分别属于上述3个类别的概率，再经过argmax运算 将概率转换成每个像素具体所属的类别，最后对分割结果的图像的尺寸还原为输入图像的 大小，得到最终的OCTA分割图像。
、获取OCTA融合图像。
如图6所示，将OCTA分割图像与第1步中滤波后的OCTA浅层图像、滤波后的OCTA深层图像全部分别转换成单通道八位灰度图像，将这三张灰度图像作为三个独立的通道进行堆叠，得到一张三通道的OCTA融合图像。
本实施例中这样做的目的是，在OCTA融合图像中，OCTA分割图像包含了黄斑中心凹区域与血管区域的边界信息与形状信息，此过程可替代医生对图像的初步划分过程；为了避免分割过程中出现的分割误差，未经分割处理的OCTA浅层图像中的原始特征同样被添加进融合过程中；此外，OCTA浅层图像与OCTA深层图像是对视网膜中同一区域不同深度的位置分别拍摄得到的，二者拍摄的区域类似，但不同深度环境下的血管分布于黄斑中心凹的拍摄精度往往不同，因此，OCTA深层图像中包含的深层环境血管信息，对于后续的分类任务同样是至关重要的。这样，图像中携带有不同的特征信息，可充分发挥卷积神经网络对于颜色与形状特征强大的提取能力。
、使用带有分组特征提取模块和先验注意力机制模块的第二分类网络实现对OCTA融合图像的分类。
第二分类网络的结构如图7（a）所示。其中，分组特征提取模块和先验注意力机制模块为基于ResNet50结构的第二分类网络中增加的模块；其后面的特征提取模块及之后的全连接层、Softmax层、argmax操作可采用ResNet50结构中的各模块及层结构实现。
4.1 将OCTA融合图像输入分组特征提取模块：
三通道的OCTA融合图像被通道分离，得到单通道的OCTA浅层图像、OCTA深层图像和OCTA分割图像，对这三张图像分别卷积，得到三个特征图，将这三个特征图在通道维度上进行堆叠，得到一张新的特征图。
4.2 将4.1中得到的这张特征图输入先验注意力机制模块，与预先获取的权重热力图相结合：将权重热力图与上述的特征图逐点相乘，以此将权重热力图中的先验注意力信息加入分类网络的特征图中。
本实施例中，可预先获取权重热力图作为先验注意力信息，这样做的原因和目的由后面给出。将加入了先验注意力信息的特征图进行最大池化，目的是为了降低第二分类网络中的参数量。预先获取的权重热力图可以是预先通过第一分类网络对待分析的OCTA图像进行处理获取的，或者预先获取的权重热力图为训练阶段获取的所有训练集中OCTA图像对应的一张平均权重热力图。
4.3 将4.2中得到的特征图输入特征提取模块。
特征提取模块主要由四个阶段的卷积结构组成，每个阶段的卷积结构由一个卷积块和若干个恒等残差块组成，其中，卷积块如图7（b）所示，恒等残差块如图7（c）所示。
第一阶段的卷积结构由一个卷积块和两个恒等残差块组成，三个块的输出均为
Figure 48248DEST_PATH_IMAGE052
；
第二阶段的卷积结构由一个卷积块和三个恒等残差块组成，四个块的输出均为
Figure 965389DEST_PATH_IMAGE053
；
第三阶段的卷积结构由一个卷积块和五个恒等残差块组成，六个块的输出均为
Figure 541864DEST_PATH_IMAGE054
；
第四阶段的卷积结构由一个卷积块和两个恒等残差块组成，三个块的输出均为
Figure 343598DEST_PATH_IMAGE055
。
可理解的是，将先验注意力机制模块输出的特征图依次经过4个阶段的卷积结构 的处理，得到
Figure 157970DEST_PATH_IMAGE055
的特征图，对该
Figure 652536DEST_PATH_IMAGE055
的特征图进行平均池化，得到
Figure 185149DEST_PATH_IMAGE056
的 特征图。
将该
Figure 915207DEST_PATH_IMAGE056
的特征图变换为全连接层，并且由于最终分类结果是非糖尿病肾 病和糖尿病肾病2个类别，因此在第二分类网络最后加入神经元个数为二的全连接层。将上 述的特征图变换为神经元个数为二的全连接层经过Softmax运算，得到输入图像分别属于 非糖尿病肾病和糖尿病肾病两个类别的概率，最终经过argmax运算，得到最终的分类结果， 如图10所示。
三、第二分类网络中使用的权重热力图的说明
在一种可能的实现方式中，权重热力图可为预先在训练阶段获取的。
该权重热力图的获取过程具体说明如下：
在训练阶段对训练集中所有的OCTA的融合图像进行可视化操作，其发现大多数图像的权重热力图的红色区域集中于中心区域，即黄斑中心凹附近。
为此，针对训练阶段训练集得到的每一OCTA的融合图像经由训练模式的分类网络（称作第一分类网络）处理；该训练模式的分类网络（即第一分类网络）包括：分组特征提取模块和特征提取模块，并无附加先验注意力机制模块。如图7（d）所示。
每一OCTA的融合图像，在训练模式的分类网络的特征提取模块提取到
Figure 725032DEST_PATH_IMAGE057
后，将每一OCTA的融合图像的
Figure 515133DEST_PATH_IMAGE057
特征图作为可视化特征图，并采用该可视化特征图 计算权重热力图；
例如，采用下述公式（1）进行计算：
Figure 174522DEST_PATH_IMAGE058
（1）
其中，
Figure 177113DEST_PATH_IMAGE059
是可视化特征图（粉色特征图）中第h个通道的图像，
Figure 107023DEST_PATH_IMAGE060
是对Softmax层的 输出，
Figure 68026DEST_PATH_IMAGE061
是可视化特征图上的像素点的坐标，
Figure 450597DEST_PATH_IMAGE062
是可视化特征图上第h个通道的坐标为
Figure 522458DEST_PATH_IMAGE063
的像素点，
Figure 431508DEST_PATH_IMAGE064
为当前特征图上的像素点个数，T为神经网络激活函数，使用修正线性 单元激活函数。
Figure 173199DEST_PATH_IMAGE065
是权重热力图，
Figure 433279DEST_PATH_IMAGE065
不再是分类网络中的一个特征图，而是分类网络之外 的一个图像。这个公式主要是对
Figure 151574DEST_PATH_IMAGE066
这个可视化特征图进行计算，可视化特征图
Figure DEST_PATH_IMAGE068A
是分类网络 中的一个特征图。
Figure 852814DEST_PATH_IMAGE069
中的C有无都可以，它表示的是当前分类网络预测出的类别。
通过公式（1）得到训练集中每一OCTA图像的权重热力图；
接着，将训练集对应的所有权重热力图在像素点维度上求算术平均值，得到一张权重热力图（如图8所示），其用于使用阶段的分类网络（称作第二分类网络）中先验注意力机制模块中。
当然，还可以对上述求算术平均值的过程重复多次，其避免实验的偶然性，得到的最终的权重热力图可以认为是使用所有OCTA图像的。
进而在使用第二分类网络进行分类时，如图7（a）所示，将上述最终的权重热力图加入到先验注意力机制模块，进而在第二分类网络分组特征提取模块之后经过先验注意力机制模块的处理再到特征提取模块。由此，可以约束第二分类网络的关注范围，进而提升提取特征的效率。
在第二种可能的实现方式中，权重热力图可为在使用阶段预先经过训练模式的分类网络（即第一分类网络）获取，再依据获取的权重热力图和OCTA融合图像输入第二分类网络执行分类处理。
即采用第一分类网络对上述OCTA融合图像（第二节分类使用阶段的第3点的OCTA 融合图像）进行处理，获取第四阶段的卷积结构输出的
Figure 890040DEST_PATH_IMAGE070
的可视化特征图，进而使 用上述的公式（1），获取该可视化特征图的权重热力图，将此时获取的权重热力图作为第二 分类网络的先验注意力机制模块中使用的权重热力图。
在本发明实施例中，将第四阶段的卷积结构输出的
Figure 512783DEST_PATH_IMAGE070
作为可视化特征图 用于获取权重热力图，是因为越深的特征层中具有的位置信息越准确，所以选择最深的
Figure 926446DEST_PATH_IMAGE070
作为可视化特征图。
在第二分类网络中附加权重热力图之后，可参见图9所示，图9示出的是权重热力图和OCTA图像叠加的示意图，此时可以看出第二分类网络的感兴趣区域（Region ofInterest, ROI），其去除其他非感兴趣区域，进而约束第二分类网络的关注范围，进而提升提取特征的效率。
本实施例在第二分类网络中加入权重热力图的原因和目的：通过对所有OCTA融合图像进行可视化，发现大多数权重热力图的红色区域集中于中心区域，即黄斑中心凹附近；只有少数图像的权重热力图出现在图像四周，且分布无规律。故将权重热力图的该注意力信息图像在上述步骤作为先验注意力机制模块加入第二分类网络中，可以约束第二分类网络的关注范围，提升提取特征的效率。
即将权重热力图作为先验信息，作为一个独立通道与输入图像进行堆叠，并与输入图像同时经过卷积层提取特征，以提高第二分类网络对重点区域的响应。
实施例三
本申请第三方面通过实施例三提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上实施例中任意一项所述的基于分类网络的OCTA图像的分析方法的步骤。
本实施例的电子设备可包括：至少一个处理器、至少一个存储器、至少一个网络接口和其他的用户接口。电子设备中的各个组件通过总线系统耦合在一起。可理解，总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。其中，用户接口可以包括显示器、键盘或者点击设备等。
可以理解，本实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
在本发明实施例中，处理器通过调用存储器存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器用于执行第一方面所提供的方法步骤。
上述本发明实施例揭示的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。另外，结合上述实施例中的基于分类网络的OCTA图像的分析方法，本发明实施例可提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上方法实施例中的任意一种基于分类网络的OCTA图像的分析方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。
显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。

Claims (10)

1.一种基于分类网络的OCTA图像的分析方法，其特征在于，该方法包括：
A10、对待分析的OCTA图像中的浅层图像进行滤波处理，获得滤波后的OCTA浅层图像，对待分析的OCTA图像中的深层图像进行滤波处理，获得滤波后的OCTA深层图像；
所述OCTA图像为对用户眼部视网膜区域拍摄的包括两个不同深度的OCTA浅层图像和OCTA深层图像；
A20、采用预先训练的图像分割网络对滤波后的OCTA浅层图像进行分割处理，得到采用不同标识标记各区域的OCTA分割图像；
A30、将所述OCTA分割图像、滤波后的OCTA深层图像、滤波后的OCTA浅层图像进行融合处理，得到OCTA融合图像；
A40、采用训练的分类网络对所述OCTA融合图像进行分类处理，得到分类结果；
所述训练的分类网络为在ResNet50基础上增加分组特征提取模块和先验注意力机制模块的网络。
2.根据权利要求1所述的方法，其特征在于，所述A10包括：
A11、采用滑窗方式对待分析的OCTA浅层图像进行滤波处理，获取去除孤立噪声点的OCTA浅层图像作为滤波后的OCTA浅层图像；
采用滑窗方式对待分析的OCTA深层图像进行滤波处理，获取去除孤立噪声点的OCTA深层图像作为滤波后的OCTA深层图像。
3.根据权利要求1所述的方法，其特征在于，所述A10之前，还包括：
建立图像分割网络和第一分类网络，所述第一分类网络是在ResNet50基础上增加分组特征提取模块的网络；
获取训练数据集，所述训练数据集用于对建立的图像分割网络进行训练处理，以及对建立的第一分类网络进行训练处理；训练数据集包括训练集和测试集；
采用所述训练数据集对建立的图像分割网络和建立的第一分类网络分别进行训练和测试，获得训练后的图像分割网络、训练后的第一分类网络、第二分类网络；
所述第二分类网络是在训练后的第一分类网络的基础上增加先验注意力机制模块的网络。
4.根据权利要求3所述的方法，其特征在于，获取训练数据集包括：
获取用于训练的所有OCTA图像，并对所有的OCTA图像中的浅层图像和深层图像分别进行滤波处理，获取滤波后的浅层OCTA图像和滤波后的深层OCTA图像；
以及，对训练集中每一张滤波后的OCTA浅层图像依次进行直方图均衡化和图像二值化处理，并采用人工标注方式对二值化处理的图像进行标注，获取图像分割标签图像；
其中，针对训练集中的每一张OCTA图像，图像分割网络输出的该张OCTA图像的特征图中的像素点和该张OCTA图像的图像分割标签图像中对应位置的像素点进行比较，以获取训练后的图像分割网络。
5.根据权利要求1所述的方法，其特征在于，所述A20包括：
将滤波后的OCTA浅层图像输入训练后的图像分割网络；
对滤波后的OCTA浅层进行连续的多次卷积、上采样和堆叠处理，得到
Figure 889643DEST_PATH_IMAGE001
的特征图； X为依据卷积处理策略确定的尺寸；
对
Figure 742062DEST_PATH_IMAGE001
的特征图执行Softmax操作，以使
Figure 965233DEST_PATH_IMAGE001
的特征图中每个像素点分别属于黄 斑中心凹、血管和背景三个类别的概率，再经过argmax运算将所述概率转换成每个像素具 体所属的类别，并对分割结果的图像的尺寸还原为输入图像的大小，得到最终的OCTA分割 图像；
或者，
将滤波后的OCTA浅层图像输入训练后的图像分割网络；
对滤波后的OCTA浅层进行连续的两次以上的卷积处理，得到尺寸为
Figure 30141DEST_PATH_IMAGE002
的第一 特征图；
将该第一特征图进行上采样处理，得到尺寸为
Figure 22367DEST_PATH_IMAGE003
的第二特征图，
将第二特征图通过跳跃连接与多次卷积中得到的尺寸为
Figure 717791DEST_PATH_IMAGE004
的特征图在通道维 度上进行堆叠，得到尺寸为
Figure 284383DEST_PATH_IMAGE005
的第三特征图；对该第三特征图进行卷积处理，得到 尺寸为
Figure 28348DEST_PATH_IMAGE006
的第四特征图；将该第四特征图进行上采样，得到尺寸为
Figure 265294DEST_PATH_IMAGE007
的 第五特征图，再通过跳跃连接与多次卷积中得到的尺寸为
Figure 866040DEST_PATH_IMAGE008
的特征图在通道维 度上进行堆叠，得到尺寸为
Figure 63803DEST_PATH_IMAGE009
的第六特征图；对该第六特征图进行卷积，得到尺 寸为
Figure 470514DEST_PATH_IMAGE010
的第七特征图；将该第七特征图进行上采样，得到尺寸为
Figure 437333DEST_PATH_IMAGE011
的 第八特征图，再通过跳跃连接与多次卷积中得到的尺寸为
Figure 208979DEST_PATH_IMAGE012
的特征图在通道维度 上进行堆叠，得到尺寸为
Figure 18673DEST_PATH_IMAGE013
的第九特征图；对该第九特征图进行卷积，得到尺寸 为
Figure 104440DEST_PATH_IMAGE014
的第十特征图并卷积处理，得到
Figure 50399DEST_PATH_IMAGE015
的第十一特征图；
对第十一特征图执行Softmax操作，以使第十一特征图中每个像素点分别属于黄斑中心凹、血管和背景三个类别的概率，再经过argmax运算将所述概率转换成每个像素具体所属的类别，并对分割结果的图像的尺寸还原为输入图像的大小，得到最终的OCTA分割图像。
6.根据权利要求1所述的方法，其特征在于，所述A30包括：
将OCTA分割图像与滤波后的OCTA浅层图像、滤波后的OCTA深层图像分别转换成单通道八位灰度图像；
将得到的三张灰度图像作为三个独立的通道进行堆叠，得到一张三通道的OCTA融合图像，以使OCTA融合图像中携带有不同的特征信息。
7.根据权利要求3所述的方法，其特征在于，所述A40包括：
A41、将OCTA融合图像输入第二分类网络的分组特征提取模块，以使三通道的OCTA融合图像被通道分离，得到单通道的OCTA浅层图像、OCTA深层图像和OCTA分割图像，对分离后的图像分别卷积，得到三个特征图，将该三个特征图在通道维度上进行堆叠，得到一张新的特征图；
A42、将新的特征图输入第二分类网络的先验注意力机制模块，以使新的特征图和预先获取的权重热力图逐点相乘，使得所述预先获取的权重热力图中的先验注意力信息加入所述新的特征图中并进行池化处理，得到待处理的特征图；
A43、将待处理的特征图输入第二分类网络的特征提取模块，以进行多次卷积和恒等残 差处理，得到
Figure 258527DEST_PATH_IMAGE016
的特征图；M为特征图的通道个数；
A44、将
Figure 165303DEST_PATH_IMAGE016
的特征图变换为全连接层，以进行Softmax运算和argmax运算，得到分类 结果。
8.根据权利要求7所述的方法，其特征在于，A43包括：
将待处理的特征图输入第二分类网络的特征提取模块，特征提取模块包括四个阶段的卷积结构；每个阶段的卷积结构由一个卷积块和若干个恒等残差块组成，
第一阶段的卷积结构包括：一个卷积块和两个恒等残差块，第一阶段的卷积结构对待 处理的特征图进行处理，输出为
Figure 913816DEST_PATH_IMAGE017
的特征图；
第二阶段的卷积结构包括：一个卷积块和三个恒等残差块，第二阶段的卷积结构对
Figure 855227DEST_PATH_IMAGE017
的特征图进行处理，输出为
Figure 968677DEST_PATH_IMAGE018
的特征图；
第三阶段的卷积结构包括：一个卷积块和五个恒等残差块，第三阶段的卷积结构对
Figure 487383DEST_PATH_IMAGE018
的特征图进行处理，输出为
Figure 914953DEST_PATH_IMAGE019
的特征图；
第四阶段的卷积结构包括：一个卷积块和两个恒等残差块，第四阶段的卷积结构对
Figure 835505DEST_PATH_IMAGE019
的特征图进行处理，输出为
Figure 385435DEST_PATH_IMAGE020
的特征图；
对
Figure 1224DEST_PATH_IMAGE020
的特征图进行平均池化，得到
Figure 360049DEST_PATH_IMAGE021
的特征图；
将
Figure 10473DEST_PATH_IMAGE021
的特征图变换为两个全连接层，并经过Softmax运算，得到输入图像分别属 于非糖尿病肾病和糖尿病肾病两个类别的概率，再经过argmax运算，得到最终的分类结果。
9.根据权利要求7所述的方法，其特征在于，A42之前，还包括：
获取待分析的OCTA图像对应的权重热力图，将该权重热力图作为预先获取的权重热力图；
具体地，获取待分析的OCTA图像对应的权重热力图，包括：
待分析的OCTA图像经由图像分割网络后得到的OCTA融合图像输入第一分类网络中，将 第一分类网络的特征提取模块输出
Figure 731304DEST_PATH_IMAGE022
的特征图之前的最后一个特征图作为可视化特 征图；
采用下述公式（1）对该可视化特征图进行计算，得到权重热力图
Figure 224602DEST_PATH_IMAGE023
；
Figure 993975DEST_PATH_IMAGE024
（1）
其中，
Figure 295644DEST_PATH_IMAGE025
是可视化特征图中第
Figure 515272DEST_PATH_IMAGE026
个通道的图像，
Figure 105654DEST_PATH_IMAGE027
是Softmax层的输出，
Figure 803351DEST_PATH_IMAGE028
是可视 化特征图上的像素点的坐标，
Figure 428368DEST_PATH_IMAGE029
是可视化特征图上第
Figure 491001DEST_PATH_IMAGE026
个通道的坐标为
Figure 427733DEST_PATH_IMAGE030
的像素点，
Figure 70067DEST_PATH_IMAGE031
为当前特征图上的像素点个数，
Figure DEST_PATH_IMAGE032
为第一分类网络的激活函数；
或者，
A42之前，还包括：
获取预设的权重热力图，将该权重热力图作为预先获取的权重热力图；
所述预设的权重热力图为训练阶段训练集中每一OCTA图像对应的权重热力图进行平均，获得最终的权重热力图；
训练集中每一OCTA图像对应的权重热力图获取方式包括：
针对每一OCTA图像，该OCTA图像经由图像分割网络后得到的OCTA融合图像输入第一分类网络中，将第一分类网络的特征提取模块输出1×1×M的特征图之前的最后一个特征图作为可视化特征图；
采用下述公式（1）对该可视化特征图进行计算，得到权重热力图
Figure 939803DEST_PATH_IMAGE023
；
Figure 376601DEST_PATH_IMAGE024
（1）
其中，
Figure 800629DEST_PATH_IMAGE025
是可视化特征图中第
Figure 512233DEST_PATH_IMAGE026
个通道的图像，
Figure 111842DEST_PATH_IMAGE027
是Softmax层的输出，
Figure 578595DEST_PATH_IMAGE028
是可视 化特征图上的像素点的坐标，
Figure 630865DEST_PATH_IMAGE029
是可视化特征图上第
Figure 471126DEST_PATH_IMAGE026
个通道的坐标为
Figure 925241DEST_PATH_IMAGE030
的像素点，
Figure 500579DEST_PATH_IMAGE031
为当前特征图上的像素点个数，
Figure 899199DEST_PATH_IMAGE032
为第一分类网络的激活函数。
10.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上权利要求1至9任一项所述的基于分类网络的OCTA图像的分析方法的步骤。
CN202110957657.7A 2021-08-20 2021-08-20 基于分类网络的octa图像的分析方法 Active CN113421259B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110957657.7A CN113421259B (zh) 2021-08-20 2021-08-20 基于分类网络的octa图像的分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110957657.7A CN113421259B (zh) 2021-08-20 2021-08-20 基于分类网络的octa图像的分析方法

Publications (2)

Publication Number Publication Date
CN113421259A true CN113421259A (zh) 2021-09-21
CN113421259B CN113421259B (zh) 2021-11-16

Family

ID=77719171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110957657.7A Active CN113421259B (zh) 2021-08-20 2021-08-20 基于分类网络的octa图像的分析方法

Country Status (1)

Country Link
CN (1) CN113421259B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114648802A (zh) * 2022-05-19 2022-06-21 深圳市海清视讯科技有限公司 用户面部表情识别方法、装置和设备
CN114882315A (zh) * 2022-05-23 2022-08-09 北京百度网讯科技有限公司 样本生成方法、模型训练方法、装置、设备及介质
CN116310352A (zh) * 2023-01-20 2023-06-23 首都医科大学宣武医院 一种阿尔兹海默病mri图像多分类方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109300121A (zh) * 2018-09-13 2019-02-01 华南理工大学 一种心血管疾病诊断模型的构建方法、系统及该诊断模型
CN109859171A (zh) * 2019-01-07 2019-06-07 北京工业大学 一种基于计算机视觉和深度学习的楼面缺陷自动检测方法
CN110232394A (zh) * 2018-03-06 2019-09-13 华南理工大学 一种多尺度图像语义分割方法
CN111932553A (zh) * 2020-07-27 2020-11-13 北京航空航天大学 基于区域描述自注意力机制的遥感图像语义分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110232394A (zh) * 2018-03-06 2019-09-13 华南理工大学 一种多尺度图像语义分割方法
CN109300121A (zh) * 2018-09-13 2019-02-01 华南理工大学 一种心血管疾病诊断模型的构建方法、系统及该诊断模型
CN109859171A (zh) * 2019-01-07 2019-06-07 北京工业大学 一种基于计算机视觉和深度学习的楼面缺陷自动检测方法
CN111932553A (zh) * 2020-07-27 2020-11-13 北京航空航天大学 基于区域描述自注意力机制的遥感图像语义分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DEYIN LI 等: "Pyramid Pooling Channel Attention Network for esophageal tissue segmentation on OCT images", 《2020 IEEE 19TH INTERNATIONAL CONFERENCE ON TRUST, SECURITY AND PRIVACY IN COMPUTING AND COMMUNICATIONS (TRUSTCOM)》 *
K. ALSAIH 等: "Classification of Retinal Cysts on SD-OCT Images Using Stacked Auto-Encoder", 《 2018 INTERNATIONAL CONFERENCE ON INTELLIGENT AND ADVANCED SYSTEM (ICIAS)》 *
冯爽朗: "基于CNN的视网膜OCT图像水肿区域分割", 《中国优秀博硕士学位论文全文数据库(硕士) 医药卫生科技刊》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114648802A (zh) * 2022-05-19 2022-06-21 深圳市海清视讯科技有限公司 用户面部表情识别方法、装置和设备
CN114648802B (zh) * 2022-05-19 2022-08-23 深圳市海清视讯科技有限公司 用户面部表情识别方法、装置和设备
CN114882315A (zh) * 2022-05-23 2022-08-09 北京百度网讯科技有限公司 样本生成方法、模型训练方法、装置、设备及介质
CN114882315B (zh) * 2022-05-23 2023-09-01 北京百度网讯科技有限公司 样本生成方法、模型训练方法、装置、设备及介质
CN116310352A (zh) * 2023-01-20 2023-06-23 首都医科大学宣武医院 一种阿尔兹海默病mri图像多分类方法及装置
CN116310352B (zh) * 2023-01-20 2024-04-12 首都医科大学宣武医院 一种阿尔兹海默病mri图像多分类方法及装置

Also Published As

Publication number Publication date
CN113421259B (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
CN113421259B (zh) 基于分类网络的octa图像的分析方法
JP7058373B2 (ja) 医療画像に対する病変の検出及び位置決め方法、装置、デバイス、及び記憶媒体
KR102058884B1 (ko) 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법
CN108198184B (zh) 造影图像中血管分割的方法和系统
dos Santos Ferreira et al. Convolutional neural network and texture descriptor-based automatic detection and diagnosis of glaucoma
Chan et al. Texture-map-based branch-collaborative network for oral cancer detection
Liu et al. A framework of wound segmentation based on deep convolutional networks
CN111325725A (zh) 视网膜图像识别方法及装置、电子设备、存储介质
CN109919915A (zh) 基于深度学习的视网膜眼底图像异常区域检测方法及设备
CN112927243B (zh) 一种基于卷积神经网络的微出血病灶分割方法
Yamanakkanavar et al. MF2-Net: A multipath feature fusion network for medical image segmentation
JP6578058B2 (ja) 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
CN114511502A (zh) 一种基于人工智能的胃肠道内窥镜图像息肉检测系统、终端及存储介质
Lei et al. Automated detection of retinopathy of prematurity by deep attention network
CN111784686A (zh) 一种内窥镜出血区域的动态智能检测方法、系统及可读存储介质
CN115294075A (zh) 一种基于注意力机制的octa图像视网膜血管分割方法
CN114399510A (zh) 结合图像和临床元数据的皮肤病灶分割和分类方法及系统
Tania et al. Computational complexity of image processing algorithms for an intelligent mobile enabled tongue diagnosis scheme
Lima et al. A semiautomatic segmentation approach to corneal lesions
KR102476888B1 (ko) 디지털 병리이미지의 인공지능 진단 데이터 처리 장치 및 그 방법
CN112242193B (zh) 一种基于深度学习的自动血管穿刺方法
Khalid et al. FGR-Net: Interpretable fundus image gradeability classification based on deep reconstruction learning
Fiedler et al. Deep face segmentation for improved heart and respiratory rate estimation from videos
CN111598870A (zh) 基于卷积神经网络端对端推理计算冠状动脉钙化比的方法
Harika et al. Pneumonia Detection Using Deep Learning Based On Convolutional Neural Network (CNN) Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant