CN112700390B - 一种基于机器学习的白内障oct图像修复方法及系统 - Google Patents

Abstract

本发明公开了一种基于机器学习的白内障OCT图像修复方法及系统，发明引入光学信息处理技术，通过光学空间滤波器改变物体的频谱，对输入的图像进行振幅，相位或复合滤波，将图像进行模糊处理，实现白内障OCT模糊图像的模拟，将中性密度衰减片加到OCT扫描仪镜头上扫描健康眼球，得出来眼底OCT模糊图像去模拟白内障图像，再扫描同一个人未加衰减片的OCT清晰图像，将白内障视网膜OCT模糊图片还原清晰图片，还原的图片能清晰的看到十层视网膜结构；减少了网络模型的个数，以减少工作量和总训练时间，仅用Pix2pix模型去实现将模糊图像还原清晰的技术。

Description

一种基于机器学习的白内障OCT图像修复方法及系统

技术领域

本发明涉及光学相干断层扫描图像处理技术领域，具体涉及一种基于机器学习的白内障OCT图像修复方法及系统。

背景技术

白内障是全世界造成视力损害最常见的原因之一，据估计全世界有1600万人患有白内障。而利用眼底检查镜对白内障患者进行视网膜成像是一项非常具有挑战性的工作，因为眼底介质浑浊而引起的光散射会严重影响成像质量。造成图像模糊，对比度低，所以医生很难去评估白内障患者的眼底情况，进而进行有效的治疗。因此开发一种将白内障视网膜模糊图像还原清晰的技术是非常重要且具有临床意义的。目前比较传统的方法有基于对比度限制的自适应直方图均衡化和HSV颜色空间的亮度增益矩阵的方法对视网膜图像进行彩色增强，这些方法虽然对图像的对比度和亮度有益，但与视网膜图像的恶化机制没有关系，并不是针对白内障视网膜图像的。人工智能在医学检测领域的发展，给满负荷运转的医疗系统带来了新的动力，(1)斯坦福大学的一个研究团队提出了根据皮肤图像来诊断皮肤癌罹患概率的新方法，虽然这并不是第一个能自动识别病变的算法，但在深度学习的帮助下确是目前最稳定可靠的方法。(2)基于深度学习的分类和目标检测算法在医疗领域中也得到了广泛的应用。计算机辅助自动诊断为医疗影像分析开辟了一个新的研究方向。弥散光源影像的积累为小儿白内障病灶定位的自动检测提供了数据支持，使得基于卷积神经网络计算机算法进行准确的小儿白内障病灶定位和识别成为了可能。其在正常晶体状，患病晶体状，病灶致密和病灶非致密四个类别的检测准确率均已达到了很高的标准。(3)jiang等提出了一个小儿白内障自动诊断系统，使用Canny算子和霍夫变换提取晶状体感兴趣区域，输入到CNN提取高层特征，使用SVM和SOFTMAX分类器进行分类。(4)ce zheng等人评估了生成对抗网络是否能合成现实光学相干断层扫描(OCT)图像，去作为专家的教育图像，结果也是令人满意的。综上所述，基于深度学习的医学检测都取得了不错的成果。白内障眼底疾病的分类，识别，预测，合成以及自动诊断技术层出不穷，然而依旧缺少将白内障眼底模糊图像恢复清晰以便于应用于临床的技术。尤其在医疗设备紧张，资源短缺的地区和医院，这项技术则更加重要。现有的相关技术是Yuhao Luo等人提出了基于深度学习不可配对的生成对抗网络对白内障眼底图像的去雾处理。经过处理的图像与同一患者白内障术后的图像有比较高的结构相似性和保真度。但还存在很多缺陷。Yuhao Luo等人提出了基于深度学习不可配对的生成对抗网络对白内障眼底图像的去雾处理。该技术基于生成对抗网络(GAN)的概念，设计了两种神经网络：CataractSimGAN和CataractDehazeNet(参见参考文献：Yuhao Luo,Kun Chen,Lei Liu,Jicheng Liu,Jianbo Mao,Genjie Ke and Mingzhai Sun,“Dehaze of Cataractous Retinal Images using an Unpaired GenerativeAdversarial Network”，2168-2194(c)2020IEEE)。CataractSimGAN的目的是通过没有配对的清晰视网膜图像和白内障图像合成白内障样图像。CataractDehazeNet是通过监督学习对合成的白内障样图像和相应的清晰图像进行训练。总共收集了400张无白内障的视网膜图像和400张白内障患者的模糊图像作为训练数据集。50张白内障图像和相同患者术后的清晰图像组成的测试数据集。并以术后的清晰图像作为参考，评价此技术的效果。现有技术方案第一步：利用CataractSimGAN将清晰图像和白内障图像合成模糊的白内障样图像。第二步：将生成的模糊样图以及原本的清晰图像作为训练集去训练CataractDehazeNet去雾网络。第三步：通过不断优化得到基于深度学习不可配对的生成对抗网络对白内障眼底图像的去雾处理的算法模型。第四步：取同一个人术前术后的图像来测试模型。

现有技术的缺点为以下几点：

(1)由于缺乏同一个人清晰和白内障图像进行成对的监督训练，现有技术的数据集采用的是将清晰图像和白内障图像合成白内障样图作为模糊训练集，将清晰图像作为标签，合成的白内障样图与真实的白内障图像虽然有一定的相似性，但却不是完全相同的，也不是同一个人术前术后成对的图像，会较大程度的影响结果。此为数据集的不足。

(2)CataractDehazeNet网络架构和pix2pix网络(Image-to-Image Translationwith Conditional Adversarial Networks)相同，而根据pix2pix模型原理，成对的训练数据效果会更好。此为网络架构选择的不足点。

(3)选择的图像数据是眼底彩照，主要观察的是血管和视盘。眼底视网膜结构基本被划分为十层，如果需要看清视网膜更深层次的结构则比较困难。

发明内容

本发明的目的在于提出一种基于机器学习的白内障OCT图像修复方法及系统，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。

本发明引入光学信息处理技术，通过光学空间滤波器改变物体的频谱，对输入的图像进行振幅，相位或复合滤波，将图像进行模糊处理。利用计算机技术很方便的研究创新型滤波器算法对图像的处理。实现白内障OCT模糊图像的模拟。

利用眼底检查镜对白内障患者进行视网膜成像是一项非常具有挑战性的工作，因为眼底介质浑浊而引起的光散射会严重影响成像质量。而中性密度衰减片的原理是一束光中含有不同的波长的光，光通过这种衰减片后，不同波长均按同一比例衰减。所以根据光学原理，本专利将中性密度衰减片加到OCT扫描仪镜头上扫描健康眼球，得出来眼底OCT模糊图像去模拟白内障图像。再扫描同一个人未加衰减片的OCT清晰图像。将模糊图像和清晰图像一一对应形成训练数据集。为了将白内障患者眼底介质浑浊而引起的光散射造成的模糊成像还原并应用于临床，本发明公开了得到白内障患者眼底清晰图像的具体技术方案。并解决了现有技术的缺陷。

为了实现上述目的，根据本发明的一方面，提供一种基于机器学习的白内障OCT图像修复方法，所述方法包括以下步骤：

S100，用OCT扫描仪采集原图并判断图像质量是否符合标准；其中，当OCT干涉信号的信号强度大于预设信号强度时扫描得到的图像质量符合标准；预设信号强度的值设置为8；

S200，将符合标准的图像保存为清晰样本，并给OCT扫描仪加上滤光片去采集原图的同一数据源得到模糊样本图像以模拟白内障模糊图像，组成成对的清晰对应模糊的训练数据集以及测试数据集；测试数据集用于检验训练网络的训练效果；

其中，未给OCT扫描仪加上滤光片之前是清晰的眼底图，给OCT扫描仪加上滤光片是为了模拟白内障图像与清晰的健康眼底图组成训练数据对；

S300，将得到的训练数据集训练改进的Pix2pix网络模型，每训练一次利用测试数据集测试一次模型，并将训练好的网络模型保存下来；Pix2pix网络模型为以GAN为基础的衍生网络Pix2pix网络模型；

S400，利用多个白内障患者的术前术后图像组成验证数据集，将术前图像输入训练好的网络模型用于验证训练好的网络模型，得到白内障患者模糊OCT图像还原清晰的生成结果图；

S500，对比生成的结果图与术后的清晰图像的峰值信噪比得到结构相似性以及残差图。

其中，将生成的结果图与术后的清晰图像做对比对比峰值信噪比，结构相似性以及残差图相差多少，相差越小，结果越好；

进一步地，利用OCT图像分层软件分析生成图像与术后图像的厚度信息。

进一步地，在S200中，并给OCT扫描仪加上滤光片去采集同一数据源的方法中数据源的获得方法也可以通过以下模拟方式获得：将白内障手术前后的OCT图像傅里叶变换到频域，之后比较两幅图像的差异，写出健康人的清晰眼底图变成白内障模糊图的频域处理算法，之后将健康人的OCT图像变换到频域进行算法处理，处理完成之后再进行傅里叶反变换生成白内障疾病模拟图作为数据集；具体过程包括以下步骤：

设术前术后白内障的图像尺寸为M×N的函数pixel(x,y)的DFT变换为：

其中，u＝0,1,2...,M-1,v＝0,1,2...,N-1；其中，j为虚数单位，M×N为图像的像素大小(图像中的像素在图像矩阵中行列数量)；u、v为频域自变量；P(u,v)指图像经过傅里叶变换后频域函数；pixel(x,y)表示图像像素值的函数，表示图像；

术前术后白内障的图像为预先采集的多个患者在白内障手术的术前术后白内障的图像；

首先将图像从空间域根据上式(1)变换到频域；

首先将图像低频部分移到频谱图的中心位置，然后令:

u∈(h_mid+n,h_mid-n),v∈(w_mid+n,w_mid-n),P(u,v)＝0

h_mid为图像1/2的高；w_mid为图像1/2的宽；P(u,v)是频域函数；

其中，n为观察频谱图后取得的经验值，按照疾病的严重程度不同，则值不同n的范围按经验值取(150,250)，u与v给出范围是指在该范围内随机生成k个随机值，k仍根据疾病的严重程度不同取经验值，k的取值范围为(10000,20000)，上述则完成了计算机模拟白内障图像随机滤掉部分低频，同理，滤掉部分高频也按照此原理；

局部范围内打乱频谱，将频域数值换位置，达到打乱频谱的目的将(u+nn,v+nn)位置的值与(u，v)位置处的频谱值交换，局部范围内打乱频谱的方法即：P(u,v)＝P_new(u+nn,v+nn)；

其中，nn取随机值，nn的值根据计算机实际模拟情况决定，nn的取值范围(0,128)；

降低图像暗度；

降低图像暗度的方法为：获取图像亮度平均值，并设置图像亮度为亮度平均值的0.8倍。

将上述四步完成之后，将频谱高低频从中心位置移回到原位置，得到交换后的频谱值P_new(u,v)再做傅里叶逆变换得到模拟的白内障OCT图像pixel(x,y)；

注：x＝0,1,2...,M-1,y＝0,1,2...,N-1。

进一步地，在S300中，所述Pix2pix网络模型是应用于有监督的图像到图像翻译的经典模型，这种网络模型由生成器和判别器两部分组成，是GAN很重要的一个应用方向。图像到图像翻译就是基于一张输入图像得到想要的输出图像的过程，也可以看作图像与图像之间的一种映射。是指通过添加条件以及特征信息来指导图像生成，学习输入图像到输出图像之间的映射，利用损失函数，优化函数将生成的图像优化处理，从而得到指定的图像。

进一步地，在S300中，在训练网络时，首先输入模糊图像x，以及图像对应的清晰的真实图像Y，以x作为生成器G的输入得到生成图像G(x),将G(x)与x基于通道维度合并作为判别器D的输入，然后判别器D输出预测值，预测值的范围为[0,1]，0代表判断图像为清晰的真实图像的概率为0，1代表判断图像为清晰的真实图像的概率为1,若输出预测值在[0,1]范围里越接近1，说明判别器判断生成的图像为清晰的真实图像的概率值越大，说明判别器判断错误，根据损失函数调整优化判别器参数，使判别器可以分辨生成的图像并不是清晰的真实图像；若输出预测值在[0,1]范围里越接近0，说明生成器生成的图像没有达到清晰的真实的图像的效果，没有以假乱真干扰判别器的判断，则优化生成器，使生成的图像与清晰的真实图像一致，最终判别器无法判别生成的图像是真还是假；此外将清晰的真实图像Y与输入图像x也基于通道维度合并在一起作为判别器的输入得到预测值，要使此时的输出预测值在[0,1]范围里接近1，如果接近0，说明判别器将清晰的真实图像判断错误，则优化判别器。

进一步地，在S300中，网络的判别器D的训练目标就是在输入为x模糊图像与生成图像G(x)时输出概率值在[0,1]范围里接近0，在输入是为x模糊图像与清晰的真实图像Y时输出的概率值在[0,1]范围里接近1；生成器G的训练目标就是使得生成的G(x)和x作为判别器D的输入时，判别器D输出的概率值在[0,1]范围里接近1。

进一步地，在S300中，网络的判别器D的训练目标就是在输入不是一对真实图像(x和G(x))时输出小的概率值(比如最小是0)，在输入是一对真实图像(x和y)时输出大的概率值(比如最大是1)。生成器G的训练目标就是使得生成的G(x)和x作为判别器D的输入时，判别器D输出的概率值在[0,1]的范围里接近1。

进一步地，在S300中，网络的损失函数是评价网络模型的指标，也可以看作是对网络模型施加约束，训练网络的目标是令损失函数达到全局最小值，未经过训练的神经网络中，各个神经元接受上一层输入的权重都是随机初始化的，这样随机的参数并不能使神经网络达到设想的功能，需要设置合适的目标函数对神经网络的优化加以约束，并以结合梯度下降法的寻优过程使目标函数取得极值，在有监督训练的过程中，每一步训练得到的输出与真实样本的误差会反向传播给各级神经元，修正各级权重，使得神经网络最后收敛达到设计的预期效果。改进的Pix2pix网络模型的目标函数如下：

其中λ₁和λ₂分别是L1距离和边缘损失的加权系数，λ₁的取值范围为(82,118)、λ₂的取值范围为(0.8，1.1)以保证优化过程的稳定和收敛；生成器G的目的是让自己生成的图像接近真实的图像，即D(G(x))的值越大越好，此时

会变小，所以式子中G是取最小，判别器D的目的是能的辨别清晰的真实图像和模糊的图像，此时D(x)应该越大，D(G(x))应该越小，此时

会变大，所以式子中D是取最大；在

中，arg是变元(即自变量argument)的英文缩写；

即当G取最小值时x的取值，

即D取最大值时的x的取值。

首先为了解决将图像还原清晰还能清晰保留边缘的问题，在目标函数中引入对边缘信息敏感的边缘损失：

其中i，j在式(3)中表示图像的横向和纵向的坐标，即G(x)_i,j表示生成图像第i行第j列的像素值的大小，y_i,j表示真实图像第i行第j列的像素值的大小；E_x,y表示数学期望；

L_cGAN(G,D)＝E_x,y[logD(x,y)]+E_x[log(1-D(x,G(x)))] (4)；

式(4)第一项E_x,y[logD(x,y)]指判别器判断真实图像为真的概率值，第二项E_x[log(1-D(x,G(x))]指判别器判断生成图像为真实图像的概率值；E_x,y表示数学期望；E_x表示数学期望；

L_L1(G)＝E_x,y[||y-G(x)||₁] (5)；

式(5)为了使生成的图像更接近于标准，在目标函数里引入L1距离约束；

其中y-G(x)指真实图像与生成图像在像素点上的距离<1；||y-G(x)||₁指向量各分量的模；

式(2)由式(4)的GAN损失函数，式(5)的L1距离约束损失函数，式(3)的边缘损失组成，其中λ为经验参数，取在100左右使式(2)中前后两项数量级相等；其中，x为输入图像x，即经滤光片处理过后的模糊眼底OCT图像；y为真实图像Y即未经滤光片处理的清晰眼底OCT图像；G为生成器；D(x,y)为判别器，缩写为D；G(x)为生成图像，即输入x用生成器G生成图像G(x)。

pix2pix模型中采用的是Adam优化方法。Adam是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重，Adam由OpenAI的Diederik Kingma和多伦多大学的Jimmy Ba在提交到2015年ICLR论文(Adam:A Method forStochastic Optimization)中提出。

本发明还提供了一种基于机器学习的白内障OCT图像修复系统，所述系统包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下系统的单元中：

原图采集单元，用于用OCT扫描仪采集原图并判断图像质量是否符合标准；

数据集划分单元，用于将符合标准的图像保存为清晰样本，并给OCT扫描仪加上滤光片去采集原图的同一数据源得到模糊样本图像组成成对的训练数据集以及测试数据集；

网络训练单元，用于将得到的训练数据集训练以GAN为基础的衍生网络Pix2pix网络模型，每训练一次测试一下模型，并将训练好的最优的模型保存下来；

模型验证单元，用于利用白内障患者的术前术后图像组成验证数据集去验证模型，得到白内障患者模糊OCT图像还原清晰的生成结果图；

图像对比单元，用于将生成的结果图与术后的清晰图像做对比，通过MATLAB软件计算两张图的峰值信噪比，结构相似性以及残差图；

图像分析单元，用于利用OCT图像分层软件分析生成图像与术后图像的厚度信息。

本发明的有益效果为：本发明提供一种基于机器学习的白内障OCT图像修复方法及系统，将白内障视网膜OCT模糊图像还原清晰图像，还原的图像能清晰的看到十层视网膜结构，应用于临床；减少了网络模型的个数，以减少工作量和总训练时间，仅用Pix2pix模型去实现将模糊图像还原清晰的技术；解决数据不成对的问题，利用中性密度衰减片衰减后的模糊图像以及同一个人的清晰图像作为训练集,解决数据量少很难成对训练的问题；其中，通过模拟得到的数据源训练出来的模型泛化性能强,解决了加上滤光片去采集原图的位置难以对应的问题。

附图说明

通过对结合附图所示出的实施方式进行详细说明，本发明的上述以及其他特征将更加明显，本发明附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：

图1所示为一种基于机器学习的白内障OCT图像修复方法的流程图；

图2所示为加滤光片去采集原图作为输入图像、真实图像和生成的清晰图的对比图；

图3所示为频域算法的仿真图像作为输入图像、真实图像和生成的清晰图的对比图；

图4所示为一种基于机器学习的白内障OCT图像修复系统结构图。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

如图1所示为根据本发明的一种基于机器学习的白内障OCT图像修复方法的流程图，下面结合图1来阐述根据本发明的实施方式的一种基于机器学习的白内障OCT图像修复方法。

本发明提出一种基于机器学习的白内障OCT图像修复方法，具体包括以下步骤：

S100，用OCT扫描仪采集原图并判断图像质量是否符合标准；其中，当OCT干涉信号的信号强度大于预设信号强度时扫描得到的图像质量符合标准；预设信号强度的值设置为8；

S200，将符合标准的图像保存为清晰样本，并给OCT扫描仪加上滤光片去采集原图的同一数据源得到模糊样本图像组成成对的训练数据集以及测试数据集；

其中，未给OCT扫描仪加上滤光片之前是清晰的眼底图，给OCT扫描仪加上滤光片是为了模拟白内障图像与清晰的健康眼底图组成训练数据对；

S300，将得到的训练数据集训练改进的Pix2pix网络模型，每训练一次测试一下模型，并将训练好的网络模型保存下来；Pix2pix网络模型为以GAN为基础的衍生网络Pix2pix网络模型；

S400，利用多个白内障患者的术前术后图像组成验证数据集去验证训练好的网络模型，得到白内障患者模糊OCT图像还原清晰的生成结果图；

S500，对比生成的结果图与术后的清晰图像的峰值信噪比得到结构相似性以及残差图；

其中，将生成的结果图与术后的清晰图像做对比对比峰值信噪比，结构相似性以及残差图相差多少，相差越小，结果越好。

进一步地，利用OCT图像分层软件分析生成图像与术后图像的厚度信息。

进一步地，在S200中，并给OCT扫描仪加上滤光片去采集同一数据源的方法为：利用计算机技术将白内障手术前后的OCT图像傅里叶变换到频域，之后比较两幅图像的差异，做出相应的算法设计，将健康人的OCT频域图像进行处理，再进行傅里叶反变换生成白内障疾病模拟图作为数据集；具体过程包括以下步骤：

设图像尺寸为M×N的函数pixel(x,y)的DFT变换为：

其中，u＝0,1,2...,M-1,v＝0,1,2...,N-1；

将图像从空间域变换到频域后对其进行算法处理：

首先将图像低频部分移到频谱图的中心位置。然后令

i∈(h_mid+n,h_mid-n),j∈(w_mid+n,w_mid-n),P(i,j)＝0

注：n为观察频谱图后取得的经验值，按照疾病的严重程度不同，则值不同，i与j是指在该范围内随机生成k个随机值，k仍根据疾病的严重程度不同取经验值，上述则完成了计算机模拟白内障图像随机滤掉部分低频，同理，滤掉部分高频也按照此原理；

局部范围内打乱频谱，即P(u,v)＝P_new(u+nn,v+nn)；

注：nn取随机值，值根据计算机实际模拟情况决定；

降低图像暗度；

将上述四步完成之后，将频谱高低频从中心位置移回到原位置，得到P_new(u,v)再做傅里叶逆变换得到模拟的白内障OCT图像，如pixel(x,y)；

注：x＝0,1,2...,M-1,y＝0,1,2...,N-1；

进一步地，在S300中，所述Pix2pix网络模型是应用于有监督的图像到图像翻译的经典模型，这种网络模型由生成器和判别器两部分组成，是GAN很重要的一个应用方向。图像到图像翻译就是基于一张输入图像得到想要的输出图像的过程，也可以看作图像与图像之间的一种映射。是指通过添加条件以及特征信息来指导图像生成，学习输入图像到输出图像之间的映射，利用损失函数，优化函数将生成的图像优化处理，从而得到指定的图像。

进一步地，在S300中，在训练网络时，首先输入图像x以及图像对应的真实图像Y，以x作为生成器G的输入得到生成图像G(x),将G(x)与x基于通道维度合并作为判别器D的输入，然后判别器D输出预测值，若判断值接近1，则判断图像为真实的，说明判别器判断错误，根据损失函数调整优化判别器参数；若接近0，则判断图像为假，则优化生成器，最大程度使生成的图像与真实图像一致；将真实图像Y与输入图像x也基于通道维度合并在一起作为判别器的输入得到预测值。要使此时的判断尽可能为1。如果不接近1，则优化判别器。

进一步地，在S300中，网络的判别器D的训练目标就是在输入不是一对真实图像(x和G(x))时输出小的概率值(比如最小是0)，在输入是一对真实图像(x和y)时输出大的概率值(比如最大是1)。生成器G的训练目标就是使得生成的G(x)和x作为判别器D的输入时，判别器D输出的概率值在[0，1]范围里接近1。

进一步地，在S300中，网络的损失函数是评价网络模型的指标，也可以看作是对网络模型施加约束，训练网络的目标是令损失函数达到全局最小值，未经过训练的神经网络中，各个神经元接受上一层输入的权重都是随机初始化的，这样随机的参数并不能使神经网络达到设想的功能，需要设置合适的目标函数对神经网络的优化加以约束，并以结合梯度下降法的寻优过程使目标函数取得极值，在有监督训练的过程中，每一步训练得到的输出与真实样本的误差会反向传播给各级神经元，修正各级权重，使得神经网络最后收敛达到设计的预期效果。pix2pix模型的目标函数如下：

L_cGAN(G,D)＝E_x,y[logD(x,y)]+E_x[log(1-D(x,G(x))] (2)

L_L1(G)＝E_x,y[‖y-G(x)‖₁] (3)

式(1)由式(2)GAN损失函数和式(3)L1损失函数组成，其中λ为经验参数，取在100左右使式(1)中前后两项数量级相等；其中，x为输入图像x，即经滤光片处理过后的模糊眼底OCT图像；y为真实图像Y即未经滤光片处理的清晰眼底OCT图像；G为生成器；D为判别器；G(x)：生成图像。

pix2pix模型中采用的是Adam优化方法。Adam是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重，Adam由OpenAI的Diederik Kingma和多伦多大学的Jimmy Ba在提交到2015年ICLR论文(Adam:A Method forStochastic Optimization)中提出。

通过上述计算机技术对健康眼底图像进行处理，模拟出模糊的白内障OCT图像，并组成健康对应疾病的成对数据集。作为本专利另一组数据集去训练模型，训练完成之后保存模型，用白内障手术前后的OCT图像去验证模型，取得了非常不错的结果。并解决了现有研究中数据集不足的问题，该算法处理方法也将继续优化完善，目前取得的结果，如图2和图3所示，图2所示为加滤光片去采集原图作为输入图像x、真实图像Y和生成的清晰图G(x)的对比图；图3所示为频域算法的仿真图像作为输入图像x、真实图像Y和生成的清晰图G(x)的对比图。

本发明的实施例提供的一种基于机器学习的白内障OCT图像修复系统，如图4所示为本发明的一种基于机器学习的白内障OCT图像修复系统结构图，该实施例的一种基于机器学习的白内障OCT图像修复系统包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种基于机器学习的白内障OCT图像修复系统实施例中的步骤。

所述系统包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下系统的单元中：

原图采集单元，用于用OCT扫描仪采集原图并判断图像质量是否符合标准；

数据集划分单元，用于将符合标准的图像保存为清晰样本，并给OCT扫描仪加上滤光片去采集原图的同一数据源得到模糊样本图像组成成对的训练数据集以及测试数据集；

网络训练单元，用于将得到的训练数据集训练以GAN为基础的衍生网络Pix2pix网络模型，每训练一次测试一下模型，并将训练好的最优的模型保存下来；

模型验证单元，用于利用白内障患者的术前术后图像组成验证数据集去验证模型，得到白内障患者模糊OCT图像还原清晰的生成结果图；

图像对比单元，用于将生成的结果图与术后的清晰图像做对比，通过MATLAB软件计算两张图的峰值信噪比，结构相似性以及残差图；

图像分析单元，用于利用OCT图像分层软件分析生成图像与术后图像的厚度信息。

所述一种基于机器学习的白内障OCT图像修复系统可以运行于桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备中。所述一种基于机器学习的白内障OCT图像修复系统，可运行的系统可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述例子仅仅是一种基于机器学习的白内障OCT图像修复系统的示例，并不构成对一种基于机器学习的白内障OCT图像修复系统的限定，可以包括比例子更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种基于机器学习的白内障OCT图像修复系统还可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种基于机器学习的白内障OCT图像修复系统运行系统的控制中心，利用各种接口和线路连接整个一种基于机器学习的白内障OCT图像修复系统可运行系统的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种基于机器学习的白内障OCT图像修复系统的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，从而有效地涵盖本发明的预定范围。此外，上文以发明人可预见的实施例对本发明进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。

Claims (6)

1.一种基于机器学习的白内障OCT图像修复方法，其特征在于，所述方法包括以下步骤：

S100，用OCT扫描仪采集原图并判断图像质量是否符合标准；其中，当OCT干涉信号的信号强度大于预设信号强度时扫描得到的图像质量符合标准；

S200，将符合标准的图像保存为清晰样本，将白内障手术前后的OCT图像傅里叶变换到频域，之后比较两幅图像的差异，写出健康人的清晰眼底图变成白内障模糊图的频域处理算法，之后将健康人的OCT图像变换到频域进行算法处理，处理完成之后再进行傅里叶反变换生成白内障疾病模拟图作为数据集，组成成对的清晰对应模糊的训练数据集以及测试数据集；

S300，将得到的训练数据集训练改进的Pix2pix网络模型，每训练一次利用测试数据集测试一次模型，并将训练好的网络模型保存下来；

S400，利用多个白内障患者的术前术后图像组成验证数据集，将术前图像输入训练好的网络模型用于验证训练好的网络模型，得到白内障患者模糊OCT图像还原清晰的生成结果图；

S500，对比生成的结果图与术后的清晰图像的峰值信噪比得到结构相似性以及残差图；

在S200中，将白内障手术前后的OCT图像傅里叶变换到频域，之后比较两幅图像的差异，写出健康人的清晰眼底图变成白内障模糊图的频域处理算法，之后将健康人的OCT图像变换到频域进行算法处理，处理完成之后再进行傅里叶反变换生成白内障疾病模拟图作为数据集，包括以下步骤：

设图像尺寸为M×N的函数pixel(x,y)的DFT变换为：

其中，u＝0,1,2...,M-1,v＝0,1,2...,N-1；其中，j为虚数单位，M×N为图像的像素大小；u、v为频域自变量；P(u,v)指图像经过傅里叶变换后频域函数；pixel(x,y)表示图像像素值的函数，表示图像；

首先将图像从空间域根据式(1)变换到频域；

之后将图像低频部分移到频谱图的中心位置，然后令:

u∈(h_mid+n,h_mid-n),v∈(w_mid+n,w_mid-n),P(u,v)＝0

h_mid为图像1/2的高；w_mid为图像1/2的宽；P(u,v)是频域函数；

其中，n为观察频谱图后取得的经验值，u与v给出范围是指在该范围内随机生成k个随机值，k仍根据疾病的严重程度不同取经验值，完成了计算机模拟白内障图像随机滤掉部分低频，同理可得滤掉部分高频；

局部范围内打乱频谱，将频域数值换位置，达到打乱频谱的目的将(u+nn,v+nn)位置的值与(u，v)位置处的频谱值交换，即P(u,v)＝P_new(u+nn,v+nn)；

nn取随机值，nn的值根据计算机实际模拟情况决定，nn的取值范围(0,128)；

降低图像暗度；

降低图像暗度的方法为：获取图像亮度平均值，并设置图像亮度为亮度平均值的0.8倍；

将频谱高低频从中心位置移回到原位置，得到交换后的频谱值P_new(u,v)再做傅

里叶逆变换得到模拟的白内障OCT图像pixel(x,y)；

2.根据权利要求1所述的一种基于机器学习的白内障OCT图像修复方法，其特征在于，在S300中，所述Pix2pix网络模型是应用于有监督的图像到图像翻译的经典模型，由生成器和判别器两部分组成，图像到图像翻译就是基于一张输入图像得到想要的输出图像的过程，也可以看作图像与图像之间的一种映射，是指通过添加条件以及特征信息来指导图像生成，学习输入图像到输出图像之间的映射，利用损失函数，优化函数将生成的图像优化处理，从而得到指定的图像。

3.根据权利要求2所述的一种基于机器学习的白内障OCT图像修复方法，其特征在于，在S300中，在训练网络时，首先输入模糊图像x，以及图像对应的清晰的真实图像Y，以x作为生成器G的输入得到生成图像G(x),将G(x)与x基于通道维度合并作为判别器D的输入，然后判别器D输出预测值，预测值的范围为[0,1]，0代表判断图像为清晰的真实图像的概率为0，1代表判断图像为清晰的真实图像的概率为1,若输出预测值在[0,1]范围里越接近1，说明判别器判断生成的图像为清晰的真实图像的概率值越大，说明判别器判断错误，根据损失函数调整优化判别器参数，使判别器可以分辨生成的图像并不是清晰的真实图像；若输出预测值在[0,1]范围里越接近0，说明生成器生成的图像没有达到清晰的真实的图像的效果，没有以假乱真干扰判别器的判断，则优化生成器，尽可能使生成的图像与清晰的真实图像一致，最终判别器无法判别生成的图像是真还是假；此外将清晰的真实图像Y与输入图像x也基于通道维度合并在一起作为判别器的输入得到预测值，要使此时的输出预测值在[0,1]范围里接近1，如果接近0，说明判别器将清晰的真实图像判断错误，则优化判别器。

4.根据权利要求3所述的一种基于机器学习的白内障OCT图像修复方法，其特征在于，在S300中，网络的判别器D的训练目标就是在输入为x模糊图像与生成图像G(x)时输出概率值在[0,1]范围里接近0，在输入是为x模糊图像与清晰的真实图像Y时输出的概率值在[0,1]范围里接近1；生成器G的训练目标就是使得生成的G(x)和x作为判别器D的输入时，判别器D输出的概率值在[0,1]范围里接近1。

5.根据权利要求4所述的一种基于机器学习的白内障OCT图像修复方法，其特征在于，在S300中，网络的损失函数是评价网络模型的指标，也可以看作是对网络模型施加约束，训练网络的目标是令损失函数达到全局最小值，未经过训练的神经网络中，各个神经元接受上一层输入的权重都是随机初始化的，这样随机的参数并不能使神经网络达到设想的功能，需要设置合适的目标函数对神经网络的优化加以约束，并以结合梯度下降法的寻优过程使目标函数取得极值，在有监督训练的过程中，每一步训练得到的输出与真实样本的误差会反向传播给各级神经元，修正各级权重，使得神经网络最后收敛达到设计的预期效果，改进的Pix2pix网络模型的目标函数如下：

其中λ₁和λ₂分别是L1距离和边缘损失的加权系数，λ₁的取值范围为(82,118)、λ₂的取值范围为(0.8，1.1)以保证优化过程的稳定和收敛；生成器G的目的是让自己生成的图像为清晰的图像，即D(G(x))的值越大越好，此时

会变小，所以式子中G是取最小，判别器D是取最大；在

中，arg是变元的英文缩写；

即当G取最小值时x的取值，

即D取最大值时的x的取值；

首先为了解决将图像还原清晰还能清晰保留边缘的问题，在目标函数中引入对边缘信息敏感的边缘损失：

其中，i，j在式(3)中表示图像的横向和纵向的坐标，即G(x)_i,j表示生成图像第i行第j列的像素值的大小，y_i,j表示真实图像第i行第j列的像素值的大小；E_x,y表示数学期望；

L_cGAN(G,D)＝E_x,y[log D(x,y)]+E_x[log(1-D(x,G(x)))] (4)；

式(4)第一项指判别器判断真实图像为真的概率值，第二项指判别器判断生成图像为真实图像的概率值；E_x,y表示数学期望；E_x表示数学期望；

L_L1(G)＝E_x,y[||y-G(x)||₁] (5)；

式(5)为了使生成的图像更接近于标准，在目标函数里引入L1距离约束；

其中y-G(x)指真实图像与生成图像在像素点上的距离<1；||y-G(x)||₁指向量各分量的模；

式(2)由式(4)的GAN损失函数，式(5)的L1距离约束损失函数，式(3)的边缘损失组成，其中，x为输入图像x，即经滤光片处理过后的模糊眼底OCT图像；y为真实图像Y即未经滤光片处理的清晰眼底OCT图像；G为生成器；D(x,y)为判别器，缩写为D；G(x)为生成图像。

6.一种基于机器学习的白内障OCT图像修复系统，其特征在于，所述系统包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下系统的单元中：

原图采集单元，用于用OCT扫描仪采集原图并判断图像质量是否符合标准；

数据集划分单元，用于将符合标准的图像保存为清晰样本，将白内障手术前后的OCT图像傅里叶变换到频域，之后比较两幅图像的差异，写出健康人的清晰眼底图变成白内障模糊图的频域处理算法，之后将健康人的OCT图像变换到频域进行算法处理，处理完成之后再进行傅里叶反变换生成白内障疾病模拟图作为数据集，组成成对的清晰对应模糊的训练数据集以及测试数据集；

网络训练单元，用于将得到的训练数据集训练以GAN为基础的衍生网络Pix2pix网络模型，每训练一次测试一下模型，并将训练好的最优的模型保存下来；

模型验证单元，用于利用白内障患者的术前术后图像组成验证数据集去验证模型，得到白内障患者模糊OCT图像还原清晰的生成结果图；

图像对比单元，用于将生成的结果图与术后的清晰图像做对比，通过MATLAB软件计算两张图的峰值信噪比，结构相似性以及残差图；

图像分析单元，用于利用OCT图像分层软件分析生成图像与术后图像的厚度信息；

将白内障手术前后的OCT图像傅里叶变换到频域，之后比较两幅图像的差异，写出健康人的清晰眼底图变成白内障模糊图的频域处理算法，之后将健康人的OCT图像变换到频域进行算法处理，处理完成之后再进行傅里叶反变换生成白内障疾病模拟图作为数据集，包括以下步骤：

设图像尺寸为M×N的函数pixel(x,y)的DFT变换为：

其中，u＝0,1,2...,M-1,v＝0,1,2...,N-1；其中，j为虚数单位，M×N为图像的像素大小；u、v为频域自变量；P(u,v)指图像经过傅里叶变换后频域函数；pixel(x,y)表示图像像素值的函数，表示图像；

首先将图像从空间域根据式(1)变换到频域；

之后将图像低频部分移到频谱图的中心位置，然后令:

u∈(h_mid+n,h_mid-n),v∈(w_mid+n,w_mid-n),P(u,v)＝0

h_mid为图像1/2的高；w_mid为图像1/2的宽；P(u,v)是频域函数；

其中，n为观察频谱图后取得的经验值，u与v给出范围是指在该范围内随机生成k个随机值，k仍根据疾病的严重程度不同取经验值，完成了计算机模拟白内障图像随机滤掉部分低频，同理可得滤掉部分高频；

局部范围内打乱频谱，将频域数值换位置，达到打乱频谱的目的将(u+nn,v+nn)位置的值与(u，v)位置处的频谱值交换，即P(u,v)＝P_new(u+nn,v+nn)；

nn取随机值，nn的值根据计算机实际模拟情况决定，nn的取值范围(0,128)；

降低图像暗度；

降低图像暗度的方法为：获取图像亮度平均值，并设置图像亮度为亮度平均值的0.8倍；

将频谱高低频从中心位置移回到原位置，得到交换后的频谱值P_new(u,v)再做傅里叶逆变换得到模拟的白内障OCT图像pixel(x,y)；

Images