CN102934986B

CN102934986B - 基于gpu平台的眼科频域oct系统和处理方法

Info

Publication number: CN102934986B
Application number: CN201210513156.0A
Authority: CN
Inventors: 李跃杰; 赵金城; 徐秋晶; 刘巧艳; 王立伟
Original assignee: TIANJIN MEDA MEDICAL TECHNOLOGY Co Ltd
Current assignee: TIANJIN MEDA MEDICAL TECHNOLOGY Co Ltd
Priority date: 2012-12-04
Filing date: 2012-12-04
Publication date: 2014-08-27
Anticipated expiration: 2032-12-04
Also published as: CN102934986A

Abstract

一种基于GPU平台的眼科频域OCT系统和处理方法，系统包括：依次连接的SLD光源、光循环器、光纤分束器、第一偏振控制器和参考臂，光循环器或光纤分束器还连接第二偏振控制器，第二偏振控制器又依次连接光谱仪、高速相机数据线、高速图像采集卡和计算机，光纤分束器还依次连接第三偏振控制器和与被测眼相连的样品臂，计算机分别连接样品臂和图像显示单元以及GPU图像处理器。方法是首先规定：FrameNumber代表帧数，要处理的数据块的大小为FrameNumber个B-scan数据量，每个B-scan由batch个A-scan组成；采样数据f(λ,y)是由光谱仪采集并经A/D转换的波长的函数，其中横坐标为波长λ，纵坐标为数值y。本发明达到了临床2D实时成像的要求。

Description

基于GPU平台的眼科频域OCT系统和处理方法

技术领域

本发明涉及一种眼科OCT系统。特别是涉及一种能够解决眼科OCT系统实时成像问题的基于GPU平台的眼科频域OCT系统和处理方法

背景技术

光学相干层析成像技术（Optical Coherence Tomography，OCT）由于其具有高分辨率、高灵敏度、非接触性、无损实时活体成像等优点，自上世纪90年代被成功应用于眼科疾病诊断领域之后得到了迅速发展，其技术也由时域OCT阶段发展到频域OCT阶段；技术领域也由组织结构成像向组织功能成像发展；而应用领域也由眼科诊断领域扩展到心血管、皮肤、口腔、组织工程等领域。

随着超高速CMOS线阵扫描相机的发展，频域OCT光谱谱线转换及线采样率已经可以达到300k线/秒[7]，为临床OCT系统实时成像提供了前提。目前影响商用眼科OCT系统实时成像和显示的技术瓶颈是需要先将采样数据进行频谱域空间（λ空间）到波数空间（K空间）变换、插值变换和FFT变换，然后再将变换后的数据进行2D或3D成像。由于成像的数据量很大，特别是进行C模式扫描成像（如眼底视网膜en-face成像模式）时，需要先将获得的3D图像数据进行处理后，再将得到的数据成像。因此，如何提高数据处理速度进而达到临床图像实时处理及图像实时显示要求，是眼科OCT系统实现实时成像的关键。

发明内容

本发明所要解决的技术问题是，提供一种实现以低成本硬件配置实现仪器性能的大幅度提高，解决了眼科OCT系统实时成像问题的基于GPU平台的眼科频域OCT系统和处理方法。

本发明所采用的技术方案是：一种基于GPU平台的眼科频域OCT系统和处理方法。基于GPU平台的眼科频域OCT系统，包括：依次连接的SLD光源、光循环器、光纤分束器、第一偏振控制器和参考臂，所述的光循环器或光纤分束器还连接第二偏振控制器，第二偏振控制器又依次连接光谱仪、高速相机数据线、高速图像采集卡和计算机，所述的光纤分束器还依次连接第三偏振控制器和与被测眼相连的样品臂，所述的计算机分别连接样品臂和图像显示单元，所述的计算机还连接GPU图像处理器。

所述的计算机是通过PCIE总线连接GPU图像处理器。

所述的参考臂包括有依次连接的第一准直镜、参考臂光学组件和反射镜，其中，所述的第一准直镜的另一端连接第一偏振控制器。

所述的样品臂包括有依次连接的第二准直镜、3D扫描振镜和眼部监测光学组件，其中，所述的第二准直镜另一端连接第三偏振控制器，所述的眼部监测光学组件用于连接被测眼。

所述的光谱仪包括有依次连接的第三准直镜、光栅、光谱仪透镜组件和线阵相机，其中，所述的第三准直镜还连接第二偏振控制器，所述的线阵相机连接高速相机数据线。

一种基于GPU平台的眼科频域OCT系统的处理方法，首先规定：FrameNumber代表帧数，要处理的数据块的大小为FrameNumber个B-scan数据量，每个B-scan由batch个A-scan组成；假设一次处理n*batch个A-scan，即n个B-scan，则共需要处理FrameNumber/n次；采样数据f(λ,y)是由光谱仪里的线阵相机采集到、并经计算机里的图像采集卡进行A/D转换后的数据，是波长的函数，其中横坐标为波长λ，纵坐标为数值y；该方法包括如下步骤：

1）对采样数据f(λ,y)进行λ空间到k空间转换，求出k值和kes值，将采样数据块f(k,y)、k和kes存储在计算机内存中，为结果数据reslut分配内存；

2）初始化设j为1，j代表第j次处理，假设每次处理n*batch个A-Scan；

3）第j次处理开始时，为n个B-Scan所包含的n*batch个A-Scan的k、kes和f_ij(k,y)分配device端显存空间，将k、kes和f_ij(k,y)从host端内存拷贝到device端显存；为device端计算过程中的中间变量分配显存；i为第j次处理的第i个A-Scan的序数；

4）并行将n*batch个A-Scan的f_ij(k,y)进行数据类型转换和去噪运算，得到f_ij′(k,y)；

5）并行将n*batch个A-Scan的f_ij′(k,y)进行三次样条插值运算优化，通过迭代参量的预处理，将参与迭代运算的中间常量数组直接由内存导入迭代过程，经插值运算得到k空间等间隔化的值f_ij′(kes,y′)；

6）调用CUFFT库函数并行对n*batch个A-Scan的f_ij′(kes,y′)进行FFT变换，得到相应的F_ij′(kes,Y′)；

7）并行对n*batch个F_ij′(kes,Y′)取模取对数进行归一化，得到相应的log10|F_ij′(kes,Y′)|,并将其按顺序存储在体积数组log10|F′(kes,Y′)|中，释放device端计算过程中的中间变量空间；

8）设j=j+1；

9）判断j>FrameNumber/n，是则进入下一步骤，否则返回第3）步骤；

10）根据不同成像平面的需要，抽取体积数组数据或对体积数组数据计算作为GPU结果数据result；

11）将result从device端拷贝回host端，并送到显示器显示，释放所有未释放的内存和显卡空间。

步骤1）所述的是：首先对采样数据f(λ,y)的横坐标波长λ进行波长空间λ到波数空间k的转换，转换式为k=2π/λ；由于λ是等间隔的，转换后k为非等间隔的，再将k进行等间隔化得到均匀化的k空间横坐标值kes；设定计算出来的结果数据为result，并为采样数据f(k,y)、非等间隔k空间横坐标k、等间隔k空间横坐标kes和结果数据result分配计算机内存空间。

步骤4）所述的去噪运算是指将采集到的每个A-Scan的数据取平均值作为噪声数组，然后每个A-Scan相应像素位置上的采样值都减去相应位置上的噪声数组的数值。

步骤9）所述的是：重复2-8步骤，直到处理完整个采样数据，并将处理结果依次存放在体积数组log10|F′(kes,Y′)|中。

步骤10）和步骤11）所述的是：根据不同成像平面的需要对log10|F′(kes,Y′)|数组进行抽取或者求和计算，得到所需方位成像平面的单层或复合层的成像的结果数据result，并将结果数据result通过PCIE×16总线从设备端即device端传输回计算机即host端，并送到显示器显示，释放所有未释放的内存和显卡空间。

本发明的基于GPU平台的眼科频域OCT系统和处理方法，利用计算机通用显卡GPU，并将基于GPU的统一计算设备架构（CUDA）引入到眼科OCT系统成像中的数据处理过程，借助GPU强大的并行数据处理能力和浮点计算能力，用CUDA对OCT系统数据处理过程进行改写，使得眼科OCT系统的成像速度较之前基于CPU平台处理成像速度提高了数十倍，达到了临床2D实时成像的要求。

附图说明

图1是本发明的系统构成示意图；

图2是本发明的数据处理流程图；

图3是视网膜B扫描成像效果图；

其中：图a为采用三次样条插值算法在CPU模式下系统成像图像；图b为采用三次样条插值算法在CPU+GPU模式下系统成像。

图中

1：SLD光源 2：光循环器

3：光纤分束器 4：第一偏振控制器

5：参考臂 6：第二偏振控制器

7：第三偏振控制器 8：样品臂

9：被测眼 10：光谱仪

14：高速相机数据线 15：高速图像采集卡

16：计算机 17：图像显示单元

18：GPU图像处理器 51：第一准直镜

52：参考臂光学组件 53：反射镜

81：第二准直镜82：3D扫描振镜

83：眼部监测光学组件 101：第三准直镜

102：光栅 103：光谱仪透镜组件

104：线阵相机

具体实施方式

下面结合实施例和附图对本发明的基于GPU平台的眼科频域OCT系统和处理方法做出详细说明。

本发明的基于GPU平台的眼科频域OCT系统，包括：依次连接的SLD光源1、光循环器2、光纤分速器3、第一偏振控制器4和参考臂5，所述的光循环器2或光纤分束器3还连接第二偏振控制器6，第二偏振控制器6又依次连接光谱仪10、高速相机数据线14、高速图像采集卡15和计算机16，所述的光纤分束器3还依次连接第三偏振控制器7和与被测眼9相连的样品臂8，所述的计算机16分别连接样品臂8和图像显示单元17，所述的计算机16还连接GPU图像处理器18。

所述的参考臂5包括有依次连接的第一准直镜51、参考臂光学组件52和反射镜53，其中，所述的第一准直镜51的另一端连接第一偏振控制器4。

所述的样品臂8包括有依次连接的第二准直镜81、3D扫描振镜82和眼部监测光学组件83，其中，所述的第二准直镜81另一端连接第三偏振控制器7，所述的眼部监测光学组件83用于连接被测眼9。

所述的光谱仪10包括有依次连接的第三准直镜101、光栅102、光谱仪透镜组件103和线阵相机104，其中，所述的第三准直镜101还连接第二偏振控制器6，所述的线阵相机104连接高速相机数据线14。

本发明的基于GPU平台的眼科频域OCT系统的工作原理：

光源发出的光经过2×2的光纤分束器后，被分成两束光，分别进入OCT系统的参考臂和样品臂。从样品臂反射回来的信号光和从参考臂返回的参考光再次经过光纤分束器汇合后发生干涉。包含样品不同深度信息的干涉信号光谱经光谱仪的CMOS线阵扫描相机采集，并通过相机数据线传输到计算机，由计算机里面的图像采集卡对干涉信号光谱进行A/D转换，并将转换结果存储到计算机内存中作为采样数据。将采样数据通过PCIE总线传输到GPU显存，借助GPU强大的并行数据处理能力进行数据处理，并将处理好的结果数据送回计算机进行图像的显示。显示的图像包含了检测样品不同深度的结构信息。

本发明的基于GPU平台的眼科频域OCT系统的处理方法是基于CUDA(Compute UnifiedDevice Architecture)，CUDA是一种由NVIDIA公司推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题。在CUDA架构下，开发人员可以通过CUDA C语言（CUDA C语言是对标准C语言的一种简单扩展）对GPU编程。

在CUDA架构中，将CPU作为主机（Host），GPU作为协处理器或者设备（Device）。在一个系统中可以存在一个主机和多个设备。CPU主要负责进行逻辑性强的事物处理和串行计算，GPU则专注于执行高度线程化的并行处理任务。CPU、GPU各自拥有相互独立的存储器地址空间：主机端的内存和设备端的显存。在CUDA程序中，将运行在GPU上一个可以被并行执行的步骤称为kernel（内核函数）。

在频域OCT系统中，采样数据是通过对OCT的光路系统扫描由相机采集到的，扫描一次得到一列数据（一个A-SCAN）。处理时是一列一列数据进行处理的。针对每列数据彼此相互独立、可以并行处理的特点，利用CUDA架构将OCT系统整个数据处理过程改写成适合在GPU上执行的kernel函数，大大提高数据处理速度，从而达到系统实时成像的要求。

本发明的基于GPU平台的眼科频域OCT系统的处理方法，首先规定：FrameNumber代表帧数，要处理的数据块的大小为FrameNumber个B-scan数据量，每个B-scan由batch个A-scan组成；假设一次处理n*batch个A-scan，即n个B-scan，则共需要处理FrameNumber/n次；采样数据f(λ,y)是由光谱仪里的线阵相机采集到、并经计算机里的图像采集卡进行A/D转换后的数据，是波长的函数，其中横坐标为波长λ，纵坐标为数值y；

采样数据f(k,y)由f_ij(k,y)组成；体积数组log10|F′(kes,Y′)|由log10|F_ij′(kes,Y′)|组成；j代表的是第几批次对采样数据进行处理，i为第j次处理的第i个A-Scan的序数；i、j均为序号；

该方法包括如下步骤：

首先对采样数据f(λ,y)的横坐标波长λ进行波长空间λ到波数空间k的转换，转换式为k=2π/λ；由于λ是等间隔的，转换后k为非等间隔的，再将k进行等间隔化得到均匀化的k空间横坐标值kes；设定计算出来的结果数据为result，并为采样数据f(k,y)、非等间隔k空间横坐标k、等间隔k空间横坐标kes和结果数据result分配计算机内存空间。

2）初始化设j为1(j代表第j次处理，假设每次处理n*batch个A-Scan)；

3)第j次处理开始时，为n个B-Scan所包含的n*batch个A-Scan的k、kes和f_ij(k,y)分配device端显存空间，将k、kes和f_ij(k,y)从host端内存拷贝到device端显存；为device端计算过程中的中间变量分配显存；i为第j次处理的第i个A-Scan的序数；；假设一次能处理n*batch个A-scan，即n个B-scan，f_ij(k,y)代表第j次处理的第i个A-Scan的采样数据，为f_ij(k,y)、非等间隔k空间横坐标k、等间隔k空间横坐标kes和在计算过程中的一些中间变量分配显存空间，并通过PCIE×16总线将f_i(k,y)、k和kes由计算机（host端）传输到设备端（device端，即显卡）。

数据类型转换的目的是为了提高采样数据的精度，一般相机采集到的数据精度较低，在进行其它数据处理之前，一般都需要将采样数据的数据类型提升（转换成float类型或者double类型），以满足数据计算精度的要求。

所述的去噪运算是指将采集到的每个A-Scan的数据取平均值作为噪声数组，然后每个A-Scan相应像素位置上的采样值都减去相应位置上的噪声数组的数值。

5）并行将n*batch个A-Scan的f_ij′(k,y)进行三次样条插值运算优化，通过迭代参量的预处理，将参与迭代运算的中间常量数组直接由内存导入迭代过程，，经插值运算得到k空间等间隔化的值f_ij′(kes,y′)；

6）调用CUFFT库函数并行对n*batch个A-Scan的f_ij′(kes,y′)进行FFT，得到相应的F_ij′(kes,Y′)；

8）设j=j+1；

即是重复2～8步骤，直到处理完整个采样数据，并将处理结果依次存放在体积数组log10|F′(kes,Y′)|中。

上述步骤10）和步骤11）所述的是：根据不同成像平面的需要对log10|F′(kes,Y′)|数组进行抽取或者求和计算，得到所需方位成像平面的单层或复合层的成像的结果数据result，并将结果数据result通过PCIE×16总线从设备端即device端传输回计算机即host端，并送到显示器显示，释放所有未释放的内存和显卡空间。

本发明的基于GPU平台的眼科频域OCT系统和处理方法与现有的CPU系统的数据处理过程的相同点和不同点如下：

相同点：对采样数据的数据处理过程一样，都经过了数据类型变换，去噪运算，λ到k空间的变换，插值运算，FFT和对FFT结果取模取对数并进行归一化变换。

不同点：

1、CPU系统数据的处理全部由CPU执行，CPU-GPU系统数据的处理由CPU和GPU协同执行，在CPU-GPU系统中CPU主要负责程序串行计算部分，包括在kernel启动前进行数据的准备（包括采样数据和一些在GPU计算过程中要用到的不依赖于具体采样数据的中间变量（数据优化））和设备初始化的工作，及在kernel之间进行一些串行计算，GPU主要负责进行程序并行部分的计算工作；

2、在GPU系统每个数据处理模块中，可以根据GPU本身的硬件资源和每个数据处理模块的算法来进行grid和block维度设计。使用CUDA profiler对CUDA程序进行性能测试，对耗时长的模块进行算法优化。算法优化指的是在所有可以实现数据相同处理功能的算法中，选择一种效果好耗时短的算法，并对该算法进行优化设计（譬如尽量减少中间变量个数或在CPU中预先计算准备好每个模块计算过程中所需要的一些中间变量，这些中间变量不依赖于具体的采样数据，仅跟具体算法有关）；

3、数据处理模式不一样。CPU系统每个数据处理模块内部对数据的处理是以一个A-scan为单位串行的方式进据处理的，CPU系统同一个时间只能对一个A-scan进行处理；GPU系统每个数据处理模块内部对数据的处理是以多个A-scan为单位并行的方式进据处理的，GPU系统同一时间可以对n*batch个A-Scan进行并行处理。

采用本发明的基于GPU平台的眼科频域OCT系统和处理方法的B扫描模式成像：

B扫描模式成像图像能提供视网膜断层结构图像，能清晰地显示视网膜各层细微结构及病理改变，并作出定性或定量分析，目前已成为视网膜疾病和青光眼强有力的诊断工具。

例如：采用100帧共计195Mbytes数据（每帧数据大小为500线×2048像素/线×2字节/像素）进行B扫描模式成像。分别采用线性插值算法和三次样条插值算法，利用CUDA提供的计时函数分别对CPU模式和CPU-GPU模式下系统单帧B扫描模式图像成像时间进行计时(计算100帧图像成像时间取平均)，实验表明采用GPU+CPU模式执行成像数据处理的速度较CPU模式执行同样数据处理的速度提高超过数十倍，其中采用线性插值算法速度提高了60倍，采用三次样条插值算法速度提高了35倍。如图3所示，图a为采用三次样条插值算法在CPU模式下系统成像图像，图b为采用三次样条插值算法在CPU+GPU模式下系统成像。

本发明设计基于GPU平台的眼科频域OCT系统，利用计算机通用显卡GPU，并将基于GPU的统一计算设备架构（CUDA）引入到眼科OCT系统成像中的数据处理过程，借助GPU强大的并行数据处理能力和浮点计算能力，用CUDA对OCT系统数据处理过程进行改写，使得眼科OCT系统的成像速度较之前基于CPU平台处理成像速度提高了数十倍，达到了临床2D实时成像的要求。

Claims

1.一种基于GPU平台的眼科频域OCT系统的处理方法，基于GPU平台的眼科频域OCT系统，包括：依次连接的SLD光源(1)、光循环器(2)、光纤分束器(3)、第一偏振控制器(4)和参考臂(5)，所述的光循环器(2)或光纤分束器(3)还连接第二偏振控制器(6)，第二偏振控制器(6)又依次连接光谱仪(10)、高速相机数据线(14)、高速图像采集卡(15)和计算机(16)，所述的光纤分束器(3)还依次连接第三偏振控制器(7)和与被测眼(9)相连的样品臂(8)，所述的计算机(16)分别连接样品臂(8)和图像显示单元(17)，所述的计算机(16)还连接GPU图像处理器(18)，其特征在于，处理方法是，首先规定：FrameNumber代表帧数，要处理的数据块的大小为FrameNumber个B-scan数据量，每个B-scan由batch个A-scan组成；假设一次处理n*batch个A-scan，即n个B-scan，则共需要处理FrameNumber/n次；采样数据f(λ,y)是由光谱仪里的线阵相机采集到、并经计算机里的图像采集卡进行A/D转换后的数据，是波长的函数，其中横坐标为波长λ，纵坐标为数值y；该方法包括如下步骤：

1)对采样数据f(λ,y)进行λ空间到k空间转换，求出k值和kes值，将采样数据块f(k,y)、k和kes存储在计算机内存中，为结果数据reslut分配内存，首先对采样数据f(λ,y)的横坐标波长λ进行波长空间λ到波数空间k的转换，转换式为k＝2π/λ；由于λ是等间隔的，转换后k为非等间隔的，再将k进行等间隔化得到均匀化的k空间横坐标值kes；设定计算出来的结果数据为result，并为采样数据f(k,y)、非等间隔k空间横坐标k、等间隔k空间横坐标kes和结果数据result分配计算机内存空间；

2)初始化设j为1，j代表第j次处理，假设每次处理n*batch个A-Scan；

3)第j次处理开始时，为n个B-Scan所包含的n*batch个A-Scan的k、kes和f_ij(k,y)分配device端显存空间，将k、kes和f_ij(k,y)从host端内存拷贝到device端显存；为device端计算过程中的中间变量分配显存；i为第j次处理的第i个A-Scan的序数；

4)并行将n*batch个A-Scan的f_ij(k,y)进行数据类型转换和去噪运算，得到f_ij′(k,y)；

5)并行将n*batch个A-Scan的f_ij′(k,y)进行三次样条插值运算优化，通过迭代参量的预处理，将参与迭代运算的中间常量数组直接由内存导入迭代过程，经插值运算得到k空间等间隔化的值f_ij′(kes,y′)；

6)调用CUFFT库函数并行对n*batch个A-Scan的f_ij′(kes,y′)进行FFT变换，得到相应的F_ij′(kes,Y′)；

7)并行对n*batch个F_ij′(kes,Y′)取模取对数进行归一化，得到相应的log10|F_ij′(kes,Y′)|,并将其按顺序存储在体积数组log10|F′(kes,Y′)|中，释放device端计算过程中的中间变量空间；

8)设j＝j+1；

9)判断j>FrameNumber/n，是则进入下一步骤，否则返回第3)步骤；

10)根据不同成像平面的需要，抽取体积数组数据或对体积数组数据计算作为GPU结果数据result；

11)将result从device端拷贝回host端，并送到显示器显示，释放所有未释放的内存和显卡空间。

2.根据权利要求1所述的基于GPU平台的眼科频域OCT系统的处理方法，其特征在于，步骤4)所述的去噪运算是指将采集到的每个A-Scan的数据取平均值作为噪声数组，然后每个A-Scan相应像素位置上的采样值都减去相应位置上的噪声数组的数值。

3.根据权利要求1所述的基于GPU平台的眼科频域OCT系统的处理方法，其特征在于，步骤9)所述的是：重复2-8步骤，直到处理完整个采样数据，并将处理结果依次存放在体积数组log10|F′(kes,Y′)|中。

4.根据权利要求1所述的基于GPU平台的眼科频域OCT系统的处理方法，其特征在于，步骤10)和步骤11)所述的是：根据不同成像平面的需要对log10|F′(kes,Y′)|数组进行抽取或者求和计算，得到所需方位成像平面的单层或复合层的成像的结果数据result，并将结果数据result通过PCIE×16总线从设备端即device端传输回计算机即host端，并送到显示器显示，释放所有未释放的内存和显卡空间。