CN112155511A - 一种基于深度学习补偿oct采集过程中人眼抖动的方法 - Google Patents

Abstract

本发明公开了一种基于深度学习补偿OCT采集过程中人眼抖动的方法，通过提前训练好的深度神经网络模型直接得到两个图像之间的偏移量，从而减少OCT系统显示高质量图像的时间；相比于传统的补偿算法，基于深度学习提出的方法不需要重复计算最优偏移量，而是直接根据训练好的神经网络模型得到两幅OCT图像之间的偏移量。降低了补偿偏移量过程所消耗的时间，使得OCT技术在实际临床应用过程中能更快速的呈现高质量的图像。

Description

一种基于深度学习补偿OCT采集过程中人眼抖动的方法

技术领域

本发明涉及OCT成像技术领域，具体涉及一种基于深度学习补偿OCT采集过程中人眼抖动的方法。

背景技术

光学相干层析成像技术(optical coherence tomography,OCT)是一种无接触，非侵入式的实时三维成像技术。广泛应用于光学检测、工业检测、医学、生物诊断等领域。更是作为临床检测人眼视网膜相关生理指标的重要工具。其利用光的低相干干涉原理获得深度方向的层析能力，通过扫描可以重构出生物组织内部结构的二维或三维图像。随着技术的深入发展与OCT技术的商用化，人们使用OCT作为人眼视网膜生理指标的检测手段越来越频繁，无接触的成像特点与传统的荧光造影对比，OCT成像图片信息更加丰富，对受测者无损害。然而，在采集过程中人眼的抖动将会影响到系统采集到的图像质量。

在现有的消除OCT采集过程中人眼抖动的技术中，在发明申请号为CN201610874103.X的发明中，常规的眼动消除通常利用相关性的原理进行配准，或者利用二分法多次计算两张图片的偏移量，根据特定条件选取一个最优偏移量。另外，在发明申请号CN201580006926.4的发明中，提到了一种基于两帧图之间的相位信息进行偏移量计算。在这两种方法中，都是利用到了OCT采集图像的某些特定信息进行图像配准，以此达到补偿人眼抖动导致的图像质量下降问题。

这些方式的缺点是需要对每一帧图都进行重复的最优偏移量计算，例如发明申请号为CN201610874103.X的发明中，它们解决人眼抖动的问题是采用，计算配准图与待配准图之间的相关性，通过不断的调整这两帧图片之间的位置，求得一个最优偏移量。这个过程需要对所有时间序列上的图像进行两两之间的最优偏移量计算。这将会耗费更多的机器运算资源，并且所消耗时间相比于不消除眼动的成像方式长了十几倍。而发明申请号CN201580006926.4的发明中，它们所采用的方法是计算配准图与待配准图之间的相位信息之间的关系，同样会需要多次求两两图像之间的最优偏移量问题。然而，在临床眼科的病理OCT诊断中，一次的数据采集，结果可能并不能完全使医生了解到病情。多次的重复采集需求是存在且十分必要的。因此，能提供同样成像图像质量的前提下，更少的采集次数，更短的采集时间将更利于OCT系统在临床上的应用。

发明内容

本发明的目的在于提出一种基于深度学习补偿OCT采集过程中人眼抖动的方法，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。

本发明提出了一种基于深度学习补偿OCT采集过程中人眼抖动的方法，本发明通过提前训练好的深度神经网络模型直接得到两个图像之间的偏移量，从而减少OCT系统显示高质量图像的时间，所述方法包括以下步骤：

步骤1，通过OCT系统扫描眼球得到视网膜断层的图像序列；

步骤2，通过经采集的图像序列训练深度神经网络得到训练好的深度神经网络；

步骤3，将视网膜断层的图像序列输入到训练好的深度神经网络中得到各个图像之间的相对偏移量；

步骤4，根据相对偏移量进行图像运动补偿得到运动补偿图像；

步骤5，使用运动补偿图像计算出视网膜断层的血流信息图像。

进一步地，在步骤1中，所述OCT(Optical Coherence Tomography)系统至少包括光源、光纤耦合器、参考臂、样本臂、信号收集器五个部分构成，光源发出一束光，经过光纤耦合器分成两束光，一束光进入由一个平面镜构成的参考臂，一束光经过由X-Y扫描振镜与透镜组构成的样品臂，通过调整X-Y扫描振镜的位置，对视网膜不同断层位置进行扫描；参考臂和样品臂的回光经过光纤耦合器后进入信号收集器部分从而得到OCT图像。

进一步地，在步骤2中，通过经采集的图像序列训练深度神经网络得到训练好的深度神经网络的方法为：

步骤2.1，抽取任意一段随机大小(即图像序列中包含的图像帧数)的已经采集的图像序列，通过人工标定所述图像序列中每两帧图像之间的相对偏移量(dx,dz)；

步骤2.2，依次将图像序列中所有的两帧具有标定的相对偏移量的图像都合并成一张图像作为训练数据，以标定的相对偏移量作为该组训练数据的标签；

步骤2.3，将所有带有标签的训练数据，依次送入设计的深度神经网络中进行训练得到训练好的深度神经网络；所述深度神经网络为残差神经网络ResNet架构，ResNet架构由降采样残差模块与残差模块构成，深度神经网络的输出即为图像序列的各个图像之间的相对偏移量；

进一步地，在步骤3中，将视网膜断层的图像序列输入到训练好的深度神经网络中得到各个图像之间的相对偏移量的方法为：

步骤3.1，通过OCT系统扫描眼球在视网膜同一断层位置采集视网膜断层的图像序列；

步骤3.2，计算图像序列中的两两图像之间的互相关值P；互相关值P的计算公式为：

其中，P代表互相关值，C₁和C₂代表图像序列中相邻的两张图像，x和z代表图像中的像素位置；

步骤3.3，当P值小于阈值T的时候，使用训练好的深度神经网络得到两张图像的相对偏移量(dx,dz)；其中，阈值T＝0.9。

进一步地，在步骤5中，使用运动补偿图像计算出视网膜断层的血流信息图像的方法为：

通过公式

计算出视网膜断层的血流信息图像；

其中，Flow代表血流信息图像；C_i代表图像序列中第i个图像；N为图像序列中图像的总帧数；i代表第i张图像；x和z代表在图像中像素位置。

本发明的有益效果为：提供了一种补偿OCT采集过程中人眼抖动造成的图像特征偏移的方法。相比于传统的补偿算法，基于深度学习提出的方法不需要重复计算最优偏移量，而是直接根据训练好的神经网络模型得到两幅OCT图像之间的偏移量。降低了补偿偏移量过程所消耗的时间，使得OCT技术在实际临床应用过程中能更快速的呈现高质量的图像。使用该方法进行的专家标定数据进行神经网络的训练，理论上仅需要一次就可以了。搭载该算法的OCT采集过程在补偿人眼抖动时，不涉及任何人为主观操作。

附图说明

通过对结合附图所示出的实施方式进行详细说明，本发明的上述以及其他特征将更加明显，本发明附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：

图1为本发明的方法流程图；

图2为OCT系统的设计图；

图3为深度学习模型的输入图像示意图；

图4为深度学习模型的残差神经网络框架示意图；

图5为OCT图像提取血流信息过程中的示意图。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。

为了实现上述目的，根据本发明的一方面，本发明提出了一种补偿OCT采集过程中人眼抖动造成的图像特征偏移的方法，图1为本实施例中的方法流程图，所述方法包括以下步骤：

本发明中使用的基于光谱域OCT(SD-OCT)的OCT系统，如图2所示。

步骤1，搭建OCT系统；

步骤1.1，一个光学相干层析成像(Optical Coherence Tomography,OCT)系统，由光源，光纤耦合器，参考臂，样本臂，信号收集五个部分构成，如图2所示。其基本原理是，光源发出一束光，经过光纤耦合器分成两束光，一束光进入由一个平面镜构成的参考臂，一束光经过由X-Y扫描振镜与透镜组构成的样品臂。通过调整X-Y扫描振镜的位置，对视网膜不同断层位置进行扫描。参考臂和样品臂的回光经过光纤耦合器后进入信号收集部分，通过信号分析算法得到OCT图像。

步骤2，训练深度学习模型

步骤2.1，构建深度神经网络模型，模型的输入是由两张OCT图像组成，如图3所示。采用残差神经网络(ResNet)架构，其主要由降采样残差模块与残差模块构成，如图4所示。模型的输出为图像之间的相对偏移量。

步骤2.2，收集10K组视网膜OCT图像，每一组OCT数据为一个人在同一视网膜断层位置采集的8张图像。并邀请专家进行每两帧图像之间的相对偏移量标定(dx,dz)。

步骤2.3，将两帧具有标定偏移量的图像合并成一张图像作为训练数据，专家标定偏移值作为该组训练数据的标签。

步骤2.4，将专家标定好的10K组视网膜数据依次放入残差神经网络的模型中，得到经过训练的网络模型。

步骤3，制作人眼视网膜血流图像

步骤3.1，通过控制X-Y扫描振镜，在视网膜同一断层位置采集8张图像。根据公式：

(式中，P代表互相关值，C₁,C₂代表两张OCT图像，x，z代在图像中像素位置)计算两两图像之间的互相关指标P，当P值大于或等于阈值0.9的时候保留图像，小于0.9的时候，使用训练好的深度学习模型得到两张图像的相对偏移量(dx,dz)。根据相对偏移量进行图像运动补偿，使两图中的视网膜轮廓特征对齐。(P小于0.9的两张图，是因人眼抖动从而两图像特征位置没有对齐导致的。本发明中，通过使用深度学习模型计算出这个偏差，并进行运动补偿。一般常规的方法会对P小于0.9的图像进行舍弃，然后重新采集一组图像。或者，直接放弃对这个断层区域进行血流成像。前者将会加大采集次数，后者将会影响最后的图像质量。)

步骤3.2，使用补偿后的N张采集图像，并结合公式

(式中，Flow代表血流图像；C代表OCT图像；N为OCT图像的总数；i代表第i张OCT图像；x，z代表图像中的像素位置)，计算出该视网膜断层的血流信息图，如图5所示。

在一个实施例中，分为两大部分进行，①通过10K组带有偏移量标签的OCT数据进行深度学习模型的训练。②在实际人眼视网膜OCT采集过程中，通过测量两图像之间的PNCC指标判断图像是否进行偏移量计算，对P小于T值的两图像使用训练好的深度学习模型进行运动补偿。

尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，从而有效地涵盖本发明的预定范围。此外，上文以发明人可预见的实施例对本发明进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。

Claims (5)

1.一种基于深度学习补偿OCT采集过程中人眼抖动的方法，其特征在于，所述方法包括：

步骤1，通过OCT系统扫描眼球得到视网膜断层的图像序列；

步骤2，通过经采集的图像序列训练深度神经网络得到训练好的深度神经网络；

步骤3，将视网膜断层的图像序列输入到训练好的深度神经网络中得到各个图像之间的相对偏移量；

步骤4，根据相对偏移量进行图像运动补偿得到运动补偿图像；

步骤5，使用运动补偿图像计算出视网膜断层的血流信息图像。

2.根据权利要求1所述的一种基于深度学习补偿OCT采集过程中人眼抖动的方法，其特征在于，在步骤1中，所述OCT系统至少包括光源、光纤耦合器、参考臂、样本臂、信号收集器五个部分构成，光源发出一束光，经过光纤耦合器分成两束光，一束光进入由一个平面镜构成的参考臂，一束光经过由X-Y扫描振镜与透镜组构成的样品臂，通过调整X-Y扫描振镜的位置，对视网膜不同断层位置进行扫描；参考臂和样品臂的回光经过光纤耦合器后进入信号收集器部分从而得到OCT图像。

3.根据权利要求1所述的一种基于深度学习补偿OCT采集过程中人眼抖动的方法，其特征在于，在步骤2中，通过经采集的图像序列训练深度神经网络得到训练好的深度神经网络的方法为：

步骤2.1，抽取任意一段随机大小的已经采集的图像序列，通过人工标定所述图像序列中每两帧图像之间的相对偏移量(dx,dz)；

步骤2.2，依次将图像序列中所有的两帧具有标定的相对偏移量的图像都合并成一张图像作为训练数据，以标定的相对偏移量作为这组训练数据的标签；

步骤2.3，将所有带有标签的训练数据，依次送入设计的深度神经网络中进行训练得到训练好的深度神经网络；所述深度神经网络为残差神经网络ResNet架构，ResNet架构由降采样残差模块与残差模块构成，深度神经网络的输出即为图像序列的各个图像之间的相对偏移量。

4.根据权利要求3所述的一种基于深度学习补偿OCT采集过程中人眼抖动的方法，其特征在于，在步骤3中，将视网膜断层的图像序列输入到训练好的深度神经网络中得到各个图像之间的相对偏移量的方法为：

步骤3.1，通过OCT系统扫描眼球在视网膜同一断层位置采集视网膜断层的图像序列；

步骤3.2，计算图像序列中的两两图像之间的互相关值P；互相关值P的计算公式为：

其中，P代表互相关值，C₁和C₂代表图像序列中相邻的两张图像，x和z代表图像中的像素位置；

步骤3.3，当P值小于阈值T的时候，使用训练好的深度神经网络得到两张图像的相对偏移量(dx,dz)；其中，阈值T＝0.9。

5.根据权利要求4所述的一种基于深度学习补偿OCT采集过程中人眼抖动的方法，其特征在于，在步骤5中，使用运动补偿图像计算出视网膜断层的血流信息图像的方法为：

通过公式

计算出视网膜断层的血流信息图像；

其中，Flow代表血流信息图像；C_i代表图像序列中第i个图像；N为图像序列中图像的总帧数；i代表第i张图像；x和z代表在图像中像素位置。

Images