CN111784665A

CN111784665A - 基于傅里叶变换的oct图像质量评估方法、系统及装置

Info

Publication number: CN111784665A
Application number: CN202010618087.4A
Authority: CN
Inventors: 王瑞; 王立龙; 吕传峰
Original assignee: Ping An Technology Shenzhen Co Ltd
Current assignee: Ping An Technology Shenzhen Co Ltd
Priority date: 2020-06-30
Filing date: 2020-06-30
Publication date: 2020-10-16
Also published as: WO2021114818A1

Abstract

本发明涉及人工智能，提供一种基于傅里叶变换的OCT图像质量评估方法，包括：对具有已知图像标签的眼底OCT图像样本集中的各眼底OCT图像样本进行傅里叶变换，以建立相应的频谱图像样本集；创建多模态分类网络模型，并通过眼底OCT图像样本集和频谱图像样本集对多模态分类网络模型进行训练；多模态分类网络模型训练完毕后，将待分类眼底OCT图像以及与待分类眼底OCT图像对应的待分类频谱图像输入至多模态分类网络模型，通过多模态分类网络模型对待分类眼底OCT图像进行质量评估。本发明还涉及区块链技术，眼底OCT图像样本存储于区块链中。本发明提供技术方案既能够实现眼底OCT图像的质量评估的自动化，又能够显著提高评估精度。

Description

基于傅里叶变换的OCT图像质量评估方法、系统及装置

技术领域

本发明涉及图像识别技术领域，尤其涉及一种基于傅里叶变换的OCT图像质量评估方法、系统、装置及存储介质。

背景技术

光学相干断层扫描(Optical Coherence Tomography，OCT)是一种可用于诊断眼底疾病的成像技术。由于其可以精准反应病人眼底的疾病，且成像方便快捷，因此广泛应用于人工智能(Artificial Intelligence，AI)筛查和辅助诊断领域。现阶段眼底OCT质量评估方法，主要基于质量指数(Quality Index，QI)和信号强度指数(Signal StrengthIndicator，SSI)去判断眼底OCT图像质量是否合格。但是这种方法只能反应一个OCT图像序列的整体质量，无法判断单张眼底OCT图像质量是否可用，且此种方法很难应用于人工智能领域。

然而，传统AI图像质量评估方法通常是将图像输入神经网络中进行图像分类，这种方式只考虑图像空间域信息而不会考虑图像的频域信息，但OCT图像为较为简单，图像域信息较为单一，因此传统AI图像质量评估方法很难得到一个较好的结果。对于眼底OCT质量的评估，使用这种传统的AI图像质量评估方法显然也得不到较好的质量评估结果。

基于以上问题，亟需一种高效且高质量的眼底OCT图像的质量评估方法。

发明内容

本发明提供一种基于傅里叶变换的OCT图像质量评估方法、系统、电子装置以及计算机存储介质，其主要目的在于解决现有的眼底OCT图像方法效率低质量差的问题。

为实现上述目的，本发明提供一种基于傅里叶变换的OCT图像质量评估方法，该方法包括如下步骤：

对具有已知图像标签的眼底OCT图像样本集中的各眼底OCT图像样本进行傅里叶变换，以建立相应的频谱图像样本集；

创建多模态分类网络模型，并通过所述眼底OCT图像样本集和所述频谱图像样本集对所述多模态分类网络模型进行训练；

所述多模态分类网络模型训练完毕后，将待分类眼底OCT图像以及与所述待分类眼底OCT图像对应的待分类频谱图像输入至所述多模态分类网络模型，通过所述多模态分类网络模型对所述待分类眼底OCT图像进行质量评估。

可选地，所述眼底OCT图像样本存储于区块链中，对所述眼底OCT图像样本进行傅里叶变换的过程包括：

依次对各眼底OCT图像分别进行灰度处理；

对灰度处理后的各眼底OCT图像进行快速傅里叶变换生成相应的频域样本；

根据所述频域样本建立所述频谱图像样本集。

另外，本发明还提供一种基于傅里叶变换的OCT图像质量评估系统，所述系统包括：

样本集建立单元，用于对具有已知图像标签的眼底OCT图像样本集中的各眼底OCT图像样本进行傅里叶变换，以建立相应的频谱图像样本集；

模型训练单元，用于创建多模态分类网络模型，并通过所述眼底OCT图像样本集和所述频谱图像样本集对所述多模态分类网络模型进行训练；

模型应用单元，用于在所述多模态分类网络模型训练完毕后，将待分类眼底OCT图像以及与所述待分类眼底OCT图像对应的待分类频谱图像输入至所述多模态分类网络模型，通过所述多模态分类网络模型对所述待分类眼底OCT图像进行质量评估。

另外，为实现上述目的，本发明还提供一种电子装置，该电子装置包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的基于傅里叶变换的OCT图像质量评估程序，所述基于傅里叶变换的OCT图像质量评估程序被所述处理器执行时实现如下步骤：

另外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有基于傅里叶变换的OCT图像质量评估程序，所述基于傅里叶变换的OCT图像质量评估程序被处理器执行时，实现如上述基于傅里叶变换的OCT图像质量评估方法的步骤。

本发明提出的基于傅里叶变换的OCT图像质量评估方法、电子装置及计算机可读存储介质，使用傅里叶变换的方式获取眼底OCT图像样本集的频谱图像样本集，根据眼底OCT图像样本集和频谱图像样本集对多模态分类网络模型进行训练，通过利用人工智能中的图像识别技术进行自动地OCT图像质量评估，既能够提高OCT图像质量评估的效率，又能够显著提高模型对图像的分类效果，进而提高OCT图像质量评估。

附图说明

图1为根据本发明实施例的基于傅里叶变换的OCT图像质量评估方法的较佳实施例流程图；

图2为根据本发明实施例的电子装置的较佳实施例结构示意图；

图3为根据本发明实施例的基于傅里叶变换的OCT图像质量评估程序的内部逻辑示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。

以下将结合附图对本申请的具体实施例进行详细描述。

实施例1

为了说明本发明提供的基于傅里叶变换的OCT图像质量评估方法，图1示出了根据本发明提供的基于傅里叶变换的OCT图像质量评估方法的流程。

如图1所示，本发明提供的基于傅里叶变换的OCT图像质量评估方法，包括：

S110：对具有已知图像标签的眼底OCT图像样本集中的各眼底OCT图像样本进行傅里叶变换，以建立相应的频谱图像样本集。

需要说明的是，为了更好的实现眼底OCT图像的质量评估，可以为眼底OCT图像类数据设立至少三种类别标签，例如good，poor和usable。其中，good对应图像质量好，视网膜、脉络膜清晰，不影响医生进行疾病诊断的图形；usable对应视网膜，脉络膜有一定模糊或缺失，但不影响医生诊断，图像质量勉强可用的图像；poor对应图像质量较差，视网膜、脉络膜模糊或大部分缺失，影像医生诊断的图像。

需要说明的是，一个已知图像标签的眼底OCT图像样本的标签一般是由医学专家评估后作出的，需要评估出的三个标签各占的概率值，一般取标签概率值最大的标签作为该已知图像标签的眼底OCT图像样本的类别。具体地，例如，可以预先选择多个(一般不少于二十个)医学专家对该眼底OCT图像进行打分，0至50分为图像质量较差，视网膜、脉络膜模糊或大部分缺失，影像医生诊断的图像，其中分数越低图像质量越差，50至80分为视网膜、脉络膜有一定模糊或缺失，但不影响医生诊断的图片，80至100分图像质量好，视网膜、脉络膜清晰的图片，最终取平均分所在的分段对应的标签作为该样本的已知标签，各分分段医生所占的比例为对应分段(各标签)的概率值。需要说明的是，本发明的创新点在于后期模型的构建，从而实现使用人工智能来模拟医生对图片进行辨认的过程，进而实现眼底OCT图像的质量评估的自动化，省去医生的辨认过程。

需要进一步说明的是，由于不同的医生的辨别能力各有不同，为提高最终模型的精度，可以尽量选用职称较高的医生进行前期的样本标签确定过程。此外，标签的种类、评判标准可以根据实际情况进行调整，本发明主要是通过设定的新的模型使用样本去模拟医生的OCT图像的质量评估能力，主要在于后期模型的学习训练过程，关于前期的标签设定过程，并不是本发明的重点，在此不再赘述。

对于步骤S110中的涉及的具有已知图像标签的眼底OCT图像样本集，即为根据预设评估规则评估后确定标签的眼底OCT图像样本组成的样本集，为更好的模拟现实生活中眼底OCT图像存在的标签比例，在该样本集中，总样本数一般不少于10000件，且good、poor和usable三类OCT图像样本所占的比例为3：4：3，该比例根据实际数据经统计后确定。

具体的，对具有已知图像标签的眼底OCT图像样本集进行傅里叶变换的过程包括如下步骤：

步骤1：依次对每一个眼底OCT图像分别进行灰度处理，以提高后期傅里叶变化时的数据抓取精度和转换效率。

具体地，本方案采用的灰度处理方法为分量法，在图像处理中，一般用RGB三个分量(R：Red，G：Green，B：Blue)，即红、绿、蓝三原色来表示真彩色，R分量，G分量，B分量的取值范围均为0～255，比如电脑屏幕上的一个红色的像素点的三个分量的值分别为：255，0，0。像素点是最小的图像单元，一张图片由好多的像素点构成，因为一个像素点的颜色是由RGB三个值来表现的，所以一个像素点矩阵对应三个颜色向量矩阵，分别是R矩阵，G矩阵，B矩阵，以尺寸是800*800的图像为例，对应的三个矩阵也都是800*800大小的矩阵。每个矩阵的第一行第一列的值对应分量值，比如每个矩阵的第一行第一列的值分别为：R：240，G：223，B：204，所以这个像素点的颜色就是(240，223，204)。

具体的灰度处理过程就是让像素点矩阵中的每一个像素点都满足下面的关系：R＝G＝B(就是红色变量的值，绿色变量的值，和蓝色变量的值，这三个值相等，，此时的这个值即为灰度值，具体可以做如下赋值：灰度化后的R＝处理前的R*0.3+处理前的G*0.59+处理前的B*0.11，灰度化后的G＝处理前的R*0.3+处理前的G*0.59+处理前的B*0.11，灰度化后的B＝处理前的R*0.3+处理前的G*0.59+处理前的B*0.11。

此外，为提高图像的灰度处理效果，还可以对灰度处理后的图像进行二值化处理，具体过程为：设定一个阈值，比如127，计算像素点矩阵中的所有像素点的灰度值的平均值avg，然后将平均值与该阈值进行比较，若平均值大于阈值，这像素点最终设定为白色，若平均值小于该阈值，则该像素点最终设定为黑色。

步骤2：对灰度处理后的各眼底OCT图像进行快速傅里叶变换生成相应的频域样本。

步骤3：根据所述频域样本建立所述频谱图像样本集。

此处需要说明的是，关于眼底OCT图像样本集的傅里叶变换(为提高效率，一般选用快速傅里叶变化)，为图像处理领域的常用技术手段，本发明的创新点在于对OCT图像的频域信息的使用，因此，对傅里叶变换的具体过程在此不再赘述。

另外，需要强调的是，为进一步保证上述待稽核数据的私密和安全性，所述眼底OCT图像样本可以存储于区块链的节点中。

S120：创建多模态分类网络模型，并通过所述眼底OCT图像样本集和所述频谱图像样本集对所述多模态分类网络模型进行训练。

具体地，本发明设计的多模态分类网络模型至少包括三条支路，Deep stream分支、shallow stream分支以及Simple Modal Image stream分支，(前两个为称为主干路)这三条分支平行设置，均为常用的分类模型。

其中，Deep stream支路的卷积层较多，主要用于通过所述眼底OCT图像样本集进行训练，并提取医学图像(比如眼底OCT图像)的深层特征，并根据所述深层特征对所述眼底OCT图像样本进行一次分类，以获取相应的第一分类结果；shallow stream分支的卷积层较少，主要用于通过所述眼底OCT图像样本集进行训练，并提取医学图像的浅层特征，然后根据所述浅层特征对所述眼底OCT图像样本进行二次分类，以获取相应的第二分类结果。

此外为提高模型的识别精度，可以为shallow stream分支的卷积层加入注意力模块，专注于提取图像浅层特征。通过Deep stream分路与shallow stream分支的配合，可以达到丰富图像特征维度的效果，帮助提高特征获取的精度。

Simple Modal Image stream分支主要用于通过所述频谱图像样本集进行训练，以对各频谱图像样本的频域浅层特征进行提取，然后根据所述频域浅层特征对待频谱图像样本进行三次分类，以获取相应的第三分类结果。此处需要说明的是，Simple Modal Imagestream只需要提取图像的频域浅层特征，便可用分类。

需要说明的是，Deep stream分支是一个深层特征提取网络，由经典卷积神经网络作为backbone组成，与现有的ResNet，DenseNet等网络相类似，通过将图像输入，最终输出多维图像特征图，并在此得到一个深层分支预测概率。Shallow stream是一个浅层特征提取网络，主要由两个模块组成，下采样模块和注意力集中模块；其中，下采样模块由一个卷积层，一个激活层和一个归一化层组成，可以在提取图像特征的同时，完成下采样操作；注意力集中模块由spatial attention模块和channel attention模块组成，分别关注图像的空间特征和通道特征，数据样本通过该分支后可以输出图像的浅层特征图，并在此得到一个浅层分支预测概率。而Simple Modal Image stream分支结构与shallow stream分支相同，只是输入的图像不同，Simple Modal Image stream分支需要输入傅里叶变换后的频域样本数据。

具体地，以Deep Stream分支为例(其他分支相同)，眼底OCT图像在通过DeepStream分支后，网络会输出n个概率值，n是所需分类的类别个数，需要预先设定。举例来说，比如我要分三类，(对应上述good、poor和usable)，则通过Deep stream分支后，先提取出眼底OCT图像的深层特征，然后根据这些深层特征对该眼底OCT图像进行一次分类，便会输出三个概率值(对应上述good、poor和usable)，这三个概率值相加为1，我们通常认为概率最大的那个值所对应的类别为该分支输出的第一分类结果。

此外，为进一步提高多模态分类网络模型的识别精度，还对三个分支进行了级联融合；具体地，首先自所述深层特征、所述浅层特征以及所述频域浅层特征进行级联以获得级联特征；然后所述多模态分类网络模型根据所述级联特征对所述眼底OCT图像样本进行级联分类，以获取相应的级联分类结果。

需要说明的是，级联融合就是进行Concatanate操作，是将图像的不同维度进行级联，即在通道维度，将不同支路得到的feature map特征图(对应各支路提取的特征)进行级联，级联后形成该眼底OCT图像一组新的级联特征，根据该级联特征输出相应的级联分类结果。

在多模态分类网络模型训练完毕，并通过该多模态分类网络模型对所述待分类眼底OCT图像进行分类识别时，以上述联级分类结果为多模态分类网络模型输出的最终分类结果。

多模态分类网络模型训练的最后，根据Deep stream分支、Simple Modal Imagestream分支以及Simple Modal Image stream分支(甚至联级分支，可以根据实际需求确定是否使用)的分类结果，计算相应的损失函数Loss。

具体地，根据第一分类结果、第二分类结果以及第三分类结果计算相应的损失函数；然后根据所计算出的损失函数确定所述多模态分类网络模型的总损失函数，当总损失函数收敛到最小时，认定多模态分类网络模型训练完毕。

在实际计算过程中，损失函数的计算公式为：

其中，p为标签的概率值，q为分类结果输出的预测概率值，x_i代表第u个类别，n代表类别数；

总损失函数的计算公式为：

Loss_总＝0.3×Loss_D+0.3×Loss_S+0.4×Loss_P，其中，

Loss_D为第一分类结果的损失函数，Loss_S为第二分类结果的损失函数，Loss_P为第三分类结果的损失函数。

其中，各损失函数前的参数是根据效果和医学经验来设定的，在反向传播过程中，突出了第一分类结果的权重，同时考虑了另外两个分类结果的权重，当整个网络收敛到最小后，(即损失函数收敛)，最后选择第一分类结果(有级联分类结果的去级联分类结果)去作为本模型输出最终结果。

如此，使用眼底OCT图像样本集配合所述频谱图像样本集，即可实现对多模态分类网络模型的训练，当眼底OCT图像样本集和所述频谱图像样本集的样本均使用完毕后，默认模型训练完毕。

S130：在多模态分类网络模型训练完毕后，将待分类眼底OCT图像以及与待分类眼底OCT图像对应的待分类频谱图像输入至多模态分类网络模型，通过多模态分类网络模型对所述待分类眼底OCT图像进行分类，并根据分类结果进行质量评估。需要说明的是，由于前期的分类类型与眼底OCT图像的质量有关，因此，当分类结束后，使用该分类结果即可实现质量评估，由于在知道分类结果后进行质量评估的过程为本领域的常用手段，在此不再赘述。

其中，待分类眼底OCT图像为没有标签且需要进行自动分类的OCT图像，待分类频谱图像为该待分类眼底OCT图像经傅里叶变换得到的频域图像。

需要说明的是，该待分类眼底OCT图像的傅里叶变换的过程与步骤S110中的傅里叶变换过程相同，因此该处不做赘述。

需要说明的是，待分类眼底OCT图像输入至Deep stream分支以及shallow stream分支，待分类频谱图像输入至Deep stream分支，经多模态分类网络模型处理后，最终输入多个相应的分类结果(包括第一分类结果、第二分类结果、第三分类以及联级分类结果)，通常情况下，取联级分类结果中概率最大的分类结果作为最后的分类识别结果。

此外，由于该处多模态分类网络模型对于数据处理的过程与步骤S120中的步骤类似，只是取消了使用损失函数进行训练的过程，因此，对于该处多模态分类网络模型待分类眼底OCT图像的具体处理过程在此不再赘述。

需要说明的是，在实际应用过程中，在对待分类的眼底OCT图像进行识别之前，可以先使用未知类别信息的眼底OCT图像对该多模态分类网络模型进行测试，具体测试过程与步骤S130的步骤相似，在此不再赘述，得到测试结果后，通过医生评估等手段判断该测试结果的正确性，若测试结果与医生的评估结果相同，则使用该多模态分类网络模型对待分类眼底OCT图像进行识别，若测试结果与医生的评估结果不同，则再次增加训练样本，继续对多模态分类网络模型进行训练，直至所述测试结果与医生的评估结果相同。

最后，需要说明的是，当没有设定级联分类结果时，以第一分类结果为模型的输出结果。当设定了定级联分类结果时，以级联分类结果为模型最终的分类结果。

此外，在另一实施例中，还可以仅对Deep stream分支和shallow stream分支进行融合联级，输出的结果作为对Deep stream分支的分类结果、然后后续的过程与步骤S120相同。

通过上述技术方案的表述可知，本发明提供的基于傅里叶变换的OCT图像质量评估方法，通过利用人工智能中的图像识别技术进行自动地OCT图像质量评估，能够大大节约医生的工作时间，提高医生的工作效率；此外，通过引入快速傅里叶变换，可以从多个维度对图像进行特征提取，显著提高图像质量评估的精度；此外，通过为多模态分类网络模型设定多条分支，不同的分支提取不同的特征信息，然后通过计算总损失函数的方式确定最终模型，能够显著提高模型的识别精度；另外，通过特征联级的方式，得到联级分类结果，并将联级分类结果作为最终的模型输出结果，能够进一步提供模型的分类效果，进而提高提高OCT图像质量评估。最后，在眼底智能筛查领域，由于眼底OCT图像的质量评估，是眼底检查是否有意义的关键，因此该眼底OCT图像的质量评估方法能够在眼底智能筛查时，显著提高工作效率。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

实施例2

与上述方法相对应，本申请还提供一种基于傅里叶变换的OCT图像质量评估系统，该系统包括：

模型训练单元，创建多模态分类网络模型，并通过所述眼底OCT图像样本集和所述频谱图像样本集对所述多模态分类网络模型进行训练；

实施例3

本发明还提供一种电子装置70。参照图2所示，该图为本发明提供的电子装置70的较佳实施例结构示意图。

在本实施例中，电子装置70可以是服务器、智能手机、平板电脑、便携计算机、桌上型计算机等具有运算功能的终端设备。

该电子装置70包括：处理器71以及存储器72。

存储器72包括至少一种类型的可读存储介质。至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器等的非易失性存储介质。在一些实施例中，可读存储介质可以是该电子装置70的内部存储单元，例如该电子装置70的硬盘。在另一些实施例中，可读存储介质也可以是电子装置1的外部存储器，例如电子装置70上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。

在本实施例中，存储器72的可读存储介质通常用于存储安装于电子装置70的基于傅里叶变换的OCT图像质量评估程序73。存储器72还可以用于暂时地存储已经输出或者将要输出的数据。

处理器72在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行存储器72中存储的程序代码或处理数据，例如基于傅里叶变换的OCT图像质量评估程序73等。

在一些实施例中，电子装置70为智能手机、平板电脑、便携计算机等的终端设备。在其他实施例中，电子装置70可以为服务器。

图2仅示出了具有组件71-73的电子装置70，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

可选地，该电子装置70还可以包括用户接口，用户接口可以包括输入单元比如键盘(Keyboard)、语音输入装置比如麦克风(microphone)等具有语音识别功能的设备、语音输出装置比如音响、耳机等，可选地用户接口还可以包括标准的有线接口、无线接口。

可选地，该电子装置70还可以包括显示器，显示器也可以称为显示屏或显示单元。在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode，OLED)触摸器等。显示器用于显示在电子装置70中处理的信息以及用于显示可视化的用户界面。

可选地，该电子装置70还可以包括触摸传感器。触摸传感器所提供的供用户进行触摸操作的区域称为触控区域。此外，这里的触摸传感器可以为电阻式触摸传感器、电容式触摸传感器等。而且，触摸传感器不仅包括接触式的触摸传感器，也可包括接近式的触摸传感器等。此外，触摸传感器可以为单个传感器，也可以为例如阵列布置的多个传感器。

此外，该电子装置70的显示器的面积可以与触摸传感器的面积相同，也可以不同。可选地，将显示器与触摸传感器层叠设置，以形成触摸显示屏。该装置基于触摸显示屏侦测用户触发的触控操作。

可选地，该电子装置70还可以包括射频(Radio Frequency，RF)电路，传感器、音频电路等等，在此不再赘述。

在图2所示的装置实施例中，作为一种计算机存储介质的存储器72中可以包括操作系统、以及基于傅里叶变换的OCT图像质量评估程序73；处理器71执行存储器72中存储基于傅里叶变换的OCT图像质量评估程序73时实现如下步骤：

在该实施例中，图3为根据本发明实施例的基于傅里叶变换的OCT图像质量评估程序的内部逻辑示意图，如图3所示，基于傅里叶变换的OCT图像质量评估程序73还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器72中，并由处理器71执行，以完成本发明。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。参照图3所示，为图2中基于傅里叶变换的OCT图像质量评估程序73较佳实施例的程序模块图。基于傅里叶变换的OCT图像质量评估程序73可以被分割为：样本集建立模块74、模型训练模块75以及模型应用模块76。模块74-76所实现的功能或操作步骤均与上文类似，此处不再详述，示例性地，例如，其中：

样本集建立模块74，用于对具有已知图像标签的眼底OCT图像样本集中的各眼底OCT图像样本进行傅里叶变换，以建立相应的频谱图像样本集；

模型训练单模块75，用于创建多模态分类网络模型，并通过所述眼底OCT图像样本集和所述频谱图像样本集对所述多模态分类网络模型进行训练；

模型应用模块76，用于在所述多模态分类网络模型训练完毕后，将待分类眼底OCT图像以及与所述待分类眼底OCT图像对应的待分类频谱图像输入至所述多模态分类网络模型，通过所述多模态分类网络模型对所述待分类眼底OCT图像进行质量评估。

实施例4

本发明还提供一种计算机可读存储介质，计算机可读存储介质中存储有基于傅里叶变换的OCT图像质量评估程序73，基于傅里叶变换的OCT图像质量评估程序73被处理器执行时实现如下操作：

本发明提供的计算机可读存储介质的具体实施方式与上述基于傅里叶变换的OCT图像质量评估方法、电子装置的具体实施方式大致相同，在此不再赘述。

需要说明的是，本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

需要进一步说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种基于傅里叶变换的OCT图像质量评估方法，应用于电子装置，其特征在于，所述方法包括：

2.根据权利要求1所述的基于傅里叶变换的OCT图像质量评估方法，其特征在于，所述眼底OCT图像样本集存储于区块链中，对所述眼底OCT图像样本进行傅里叶变换的过程包括：

依次对各眼底OCT图像分别进行灰度处理；

根据所述频域样本建立所述频谱图像样本集。

3.根据权利要求1或2所述的基于傅里叶变换的OCT图像质量评估方法，其特征在于，所述多模态分类网络模型包括Deep stream分支、shallow stream分支以及Simple ModalImage stream分支；其中，

在训练所述多模态分类网络模型的过程中，

所述Deep stream分支用于通过所述眼底OCT图像样本集进行训练，以对所述眼底OCT图像样本集中的各眼底OCT图像样本的深层特征进行提取；

所述Shallow stream分支用于通过所述眼底OCT图像样本集进行训练，以对所述眼底OCT图像样本集中的各眼底OCT图像样本的浅层特征进行提取；

所述Simple Modal Image stream分支用于通过所述频谱图像样本集进行训练，以对所述眼底OCT图像样本集中的各频谱图像样本的频域浅层特征进行提取。

4.根据权利要求3所述的基于傅里叶变换的OCT图像质量评估方法，其特征在于，在训练所述多模态分类网络模型的过程中，

所述Deep stream分支还用于根据所述深层特征对所述眼底OCT图像样本进行一次分类，以获取相应的第一分类结果；

所述Shallow stream分支还用于根据所述浅层特征对所述眼底OCT图像样本进行二次分类，以获取相应的第二分类结果；

所述Simple Modal Image stream分支还用于根据所述频域浅层特征对述待频谱图像样本进行三次分类，以获取相应的第三分类结果。

5.根据权利要求4所述的基于傅里叶变换的OCT图像质量评估方法，其特征在于，在训练所述多模态分类网络模型的过程中，

根据所述第一分类结果、所述第二分类结果以及所述第三分类结果计算相应的损失函数；

根据所述损失函数计算所述多模态分类网络模型的总损失函数，当所述总损失函数收敛至最小时，认定所述多模态分类网络模型训练完毕。

6.根据权利要求5所述的基于傅里叶变换的OCT图像质量评估方法，其特征在于，

所述损失函数的计算公式为：

其中，p为标签的概率值，q为分类结果输出的预测概率值，x_i代表第i个类别，n代表类别数；

所述总损失函数的计算公式为：

Loss_总＝0.3×Loss_D+0.3×Loss_S+0.4×Loss_P，其中，

Loss_D为所述第一分类结果的损失函数，Loss_S为所述第二分类结果的损失函数，Loss_P为所述第三分类结果的损失函数。

7.根据权利要求6所述的基于傅里叶变换的OCT图像质量评估方法，其特征在于，在训练所述多模态分类网络模型的过程中，

对所述深层特征、所述浅层特征以及所述频域浅层特征进行级联以获得级联特征；

所述多模态分类网络模型根据所述级联特征对所述眼底OCT图像样本进行级联分类，以获取与所述眼底OCT图像样本相对应的级联分类结果；

在所述多模态分类网络模型训练完毕，并通过所述多模态分类网络模型对所述待分类眼底OCT图像进行分类识别时，以所述联级分类结果为所述多模态分类网络模型输出的最终分类结果。

8.一种基于傅里叶变换的OCT图像质量评估系统，其特征在于，所述系统包括：

9.一种电子装置，其特征在于，所述电子装置包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的基于傅里叶变换的OCT图像质量评估程序，所述基于傅里叶变换的OCT图像质量评估程序被所述处理器执行时实现如下步骤：

获取具有已知图像标签的眼底OCT图像样本集并对各眼底OCT图像样本进行傅里叶变换，以建立相应的频谱图像样本集；

所述多模态分类网络模型训练完毕后，将待分类眼底OCT图像以及所述待分类眼底OCT图像对应的待分类频谱图像输入至所述多模态分类网络模型，通过所述多模态分类网络模型对所述待分类眼底OCT图像进行分类识别。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有基于傅里叶变换的OCT图像质量评估程序，所述基于傅里叶变换的OCT图像质量评估程序被处理器执行时，实现如权利要求1至7中任一项所述的基于傅里叶变换的OCT图像质量评估方法的步骤。