CN110033422B - 一种眼底oct图像融合方法及装置 - Google Patents

一种眼底oct图像融合方法及装置 Download PDF

Info

Publication number
CN110033422B
CN110033422B CN201910284263.2A CN201910284263A CN110033422B CN 110033422 B CN110033422 B CN 110033422B CN 201910284263 A CN201910284263 A CN 201910284263A CN 110033422 B CN110033422 B CN 110033422B
Authority
CN
China
Prior art keywords
image
fundus oct
oct image
fundus
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910284263.2A
Other languages
English (en)
Other versions
CN110033422A (zh
Inventor
班晓娟
朱宇
黄厚斌
马博渊
王宇
陈泽华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
General Hospital of Chinese PLA Hainan Branch
Original Assignee
University of Science and Technology Beijing USTB
General Hospital of Chinese PLA Hainan Branch
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB, General Hospital of Chinese PLA Hainan Branch filed Critical University of Science and Technology Beijing USTB
Priority to CN201910284263.2A priority Critical patent/CN110033422B/zh
Publication of CN110033422A publication Critical patent/CN110033422A/zh
Application granted granted Critical
Publication of CN110033422B publication Critical patent/CN110033422B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Abstract

本发明提供一种眼底OCT图像融合方法及装置，能够解决眼底检查中存在的局部模糊问题。所述方法包括：获取连续拍摄的N张眼底OCT图像序列，其中，OCT表示光相干断层扫描成像；配准所述N张眼底OCT图像序列，得到第2张至第N张图像相对于第1张图像的偏移量；基于得到的第2张至第N张图像相对于第1张图像的偏移量，采用2个特征提取分支的眼底OCT图像融合网络，融合N张图像中各自清晰的部分，得到清晰的融合结果图。本发明涉及眼底成像技术领域。

Description

一种眼底OCT图像融合方法及装置
技术领域
本发明涉及眼底成像技术领域，特别是指一种眼底OCT图像融合方法及装置。
背景技术
光相干断层成像(Optical Coherence Tomography，OCT)技术是近年来现代生物医学成像领域的一种新型无损光学成像技术，具有非侵入、活体检测和高分辨率等优点，已成功应用于视网膜疾病诊断等眼科临床应用，具有重要作用。但同时也正是由于其高分辨率的活体检测特性，使得OCT成像系统可能因成像过程中眼球的轻微移动或成像设备的限制而造成图像局部模糊，进而会对最终图像质量造成影响，而低质量的OCT图像无法满足临床诊断中鉴别细微组织的实际需求。因此，如何保证在有效抑制局部模糊的同时尽量减少对图像细节结构的影响成为OCT成像问题中的一个重要研究问题。
发明内容
本发明要解决的技术问题是提供一种眼底OCT图像融合方法及装置，以解决现有技术所存在的眼底OCT图像局部模糊，无法满足临床诊断中鉴别细微组织的实际需求的问题。
为解决上述技术问题，本发明实施例提供一种眼底OCT图像融合方法，包括：
获取连续拍摄的N张眼底OCT图像序列，其中，OCT表示光相干断层扫描成像；
配准所述N张眼底OCT图像序列，得到第2张至第N张图像相对于第1张图像的偏移量；
基于得到的第2张至第N张图像相对于第1张图像的偏移量，采用2个特征提取分支的眼底OCT图像融合网络，融合N张图像中各自清晰的部分，得到清晰的融合结果图。
进一步地，所述配准所述N张眼底OCT图像序列，得到第2张至第N张图像相对于第1张图像的偏移量包括：
确定第1张图像的特征点，并确定第1张图像特征点的特征描述符；
确定第2张至第N张图像的特征点及其特征描述符，并分别与第1张图像进行特征配准；
根据特征配准结果，对第2张至第N张图像进行仿射变换，得到第2张至第N张图像相对于第1张图像的偏移量。
进一步地，采用的特征点搜索方法包括：SIFT特征搜索方法、SURF特征搜索方法、ORB特征搜索方法中的一种或多种。
进一步地，采用的特征配准方法包括：K近邻配准、最小和次小距离比配准方法中的一种或多种。
进一步地，所述基于得到的第2张至第N张图像相对于第1张图像的偏移量，采用2个特征提取分支的眼底OCT图像融合网络，融合N张图像中各自清晰的部分，得到清晰的融合结果图包括：
根据得到的第2张至第N张图像相对于第1张图像的偏移量，确定第1张图像相对于第2张至第N张图像的重合区域；
构建基于深度学习的采用2个特征提取分支的眼底OCT图像融合网络，并训练所述眼底OCT图像融合网络；
利用训练完成后的所述眼底OCT图像融合网络，依次融合第1张图像相对于第2张至第N张图像的重合区域，得到清晰的融合结果图。
进一步地，所述构建基于深度学习的采用2个特征提取分支的眼底OCT图像融合网络，并训练所述眼底OCT图像融合网络包括：
构建基于深度学习的采用2个特征提取分支的眼底OCT图像融合网络；
获取预先设置的训练数据集，将训练数据集输入到眼底OCT图像融合网络，采用随机梯度下降优化器训练眼底OCT图像融合网络，直到眼底OCT图像融合网络的误差小于预设的阈值，得到训练完成后的眼底OCT图像融合网络，其中，所述训练数据集包括：配准后的多张眼底OCT图像的重合区域。
进一步地，所述眼底OCT图像融合网络包括：编码阶段和解码阶段；
所述编码阶段包括：2个特征提取分支，每个特征提取分支包括：M个卷积模块，所述M个卷积模块用于分级提取图像特征，所述卷积模块包括：下采样操作和卷积操作；
所述解码阶段包括：M-1个跳层连接操作、M-1个反卷积模块、若干个卷积操作和若干个反卷积操作，其中，每个反卷积模块包括：卷积操作和反卷积操作。
进一步地，所述编码阶段，用于将配准后的两张图像的重合区域分别输入至各自对应的特征提取分支，每个特征提取分支通过M个卷积模块提取相应级别的图像特征，将2个特征提取分支提取的属于同一级的图像特征相加融合后，以通道连接的形式发送至解码阶段；
所述解码阶段，用于将接收到的特征融合后的结果恢复至原图尺寸。
进一步地，采用无监督的结构相似损失函数计算眼底OCT图像融合网络的误差。
本发明实施例还提供一种眼底OCT图像融合装置，包括：
获取模块，用于获取连续拍摄的N张眼底OCT图像序列，其中，OCT表示光相干断层扫描成像；
配准模块，用于配准所述N张眼底OCT图像序列，得到第2张至第N张图像相对于第1张图像的偏移量；
融合模块，用于基于得到的第2张至第N张图像相对于第1张图像的偏移量，采用2个特征提取分支的眼底OCT图像融合网络，融合N张图像中各自清晰的部分，得到清晰的融合结果图。
本发明的上述技术方案的有益效果如下：
上述方案中，获取连续拍摄的N张眼底OCT图像序列，其中，OCT表示光相干断层扫描成像；配准所述N张眼底OCT图像序列，得到第2张至第N张图像相对于第1张图像的偏移量；基于得到的第2张至第N张图像相对于第1张图像的偏移量，采用2个特征提取分支的眼底OCT图像融合网络，融合N张图像中各自清晰的部分，得到清晰的融合结果图，能够解决眼底检查中存在的局部模糊问题，并能够辅助医疗人员观测患者精细的眼部结构，提高眼科影像检查准确率，从而降低误症率，减少重复检查，提升医疗服务水平。
附图说明
图1为本发明实施例提供的眼底OCT图像融合方法的流程示意图；
图2为本发明实施例提供的连续拍摄的50张存在不同程度偏移和模糊的眼底OCT图像序列示意图；
图3为本发明实施例提供的配准后两张图像的重合区域示意图；
图4为本发明实施例提供的眼底OCT图像融合网络结构示意图；
图5为本发明实施例提供的眼底OCT图像融合装置的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有的眼底OCT图像局部模糊，无法满足临床诊断中鉴别细微组织的实际需求的问题，提供一种眼底OCT图像融合方法及装置。
实施例一
如图1所示，本发明实施例提供的眼底OCT图像融合方法，包括：
S101，获取连续拍摄的N张眼底OCT图像序列，其中，OCT表示光相干断层扫描成像，其中，N为预设值；
S102，配准所述N张眼底OCT图像序列，得到第2张至第N张图像相对于第1张图像的偏移量；
S103，基于得到的第2张至第N张图像相对于第1张图像的偏移量，采用2个特征提取分支的眼底OCT图像融合网络，融合N张图像中各自清晰的部分，得到清晰的融合结果图。
本发明实施例所述的眼底OCT图像融合方法，获取连续拍摄的N张眼底OCT图像序列，其中，OCT表示光相干断层扫描成像；配准所述N张眼底OCT图像序列，得到第2张至第N张图像相对于第1张图像的偏移量；基于得到的第2张至第N张图像相对于第1张图像的偏移量，采用2个特征提取分支的眼底OCT图像融合网络，融合N张图像中各自清晰的部分，得到清晰的融合结果图，能够解决眼底检查中存在的局部模糊问题，并能够辅助医疗人员观测患者精细的眼部结构，提高眼科影像检查准确率，从而降低误症率，减少重复检查，提升医疗服务水平。
本实施例中，获取的眼底OCT图像是指采用光相干断层扫描成像机理拍摄的图像。
本实施例中，由于患者无法长时间固视，往往造成获取连续拍摄的N张眼底OCT图像间存在不同程度的偏移和模糊，如图2所示，图2是按照5行每行10张图像的格式展示存在不同程度的偏移和模糊的眼底OCT图像序列；需要说明的是，图2所示的图像序列中图像数目并不构成对本发明的限定，图像序列中可包括比图2中更多或更少的图像。
在前述眼底OCT图像融合方法的具体实施方式中，进一步地，所述配准所述N张眼底OCT图像序列，得到第2张至第N张图像相对于第1张图像的偏移量包括：
确定第1张图像的特征点，并确定第1张图像特征点的特征描述符；
确定第2张至第N张图像的特征点及其特征描述符，并分别与第1张图像进行特征配准；
根据特征配准结果，对第2张至第N张图像进行仿射变换，得到第2张至第N张图像相对于第1张图像的偏移量。
本实施例中，采用的特征点搜索方法包括：SIFT特征搜索方法、SURF特征搜索方法、ORB特征搜索方法等一切特征点搜索方法。
本实施例中，采用的特征配准方法包括：K近邻配准、最小和次小距离比配准方法等一切特征点配准方法。
在前述眼底OCT图像融合方法的具体实施方式中，进一步地，所述基于得到的第2张至第N张图像相对于第1张图像的偏移量，采用2个特征提取分支的眼底OCT图像融合网络，融合N张图像中各自清晰的部分，得到清晰的融合结果图包括：
根据得到的第2张至第N张图像相对于第1张图像的偏移量，确定第1张图像相对于第2张至第N张图像的重合区域，如图3所示，其中透明区域为根据偏移量计算得到的重合区域；
构建基于深度学习的采用2个特征提取分支的眼底OCT图像融合网络，并训练所述眼底OCT图像融合网络；
利用训练完成后的所述眼底OCT图像融合网络，依次融合第1张图像相对于第2张至第N张图像的重合区域，得到清晰的融合结果图。
在前述眼底OCT图像融合方法的具体实施方式中，进一步地，所述构建基于深度学习的采用2个特征提取分支的眼底OCT图像融合网络，并训练所述眼底OCT图像融合网络包括：
构建基于深度学习的采用2个特征提取分支的眼底OCT图像融合网络；
获取预先设置的训练数据集，将训练数据集输入到眼底OCT图像融合网络，采用随机梯度下降优化器训练眼底OCT图像融合网络，直到眼底OCT图像融合网络的误差小于预设的阈值，得到训练完成后的眼底OCT图像融合网络，所述训练数据集包括：配准后的多张眼底OCT图像的重合区域。
本实施例中，所述眼底OCT图像融合网络包括：编码阶段和解码阶段；所述编码阶段包括：2个特征提取分支，每个特征提取分支包括：M个卷积模块，所述M个卷积模块用于分级提取图像特征，所述卷积模块包括：下采样操作和卷积操作；所述解码阶段包括：M-1个跳层连接操作、M-1个反卷积模块、若干个卷积操作和若干个反卷积操作，其中，每个反卷积模块包括：卷积操作和反卷积操作。
本实施例中，所述编码阶段，用于将配准后的两张图像的重合区域分别输入至各自对应的特征提取分支，每个特征提取分支通过M个卷积模块提取相应级别的图像特征，将2个特征提取分支提取的属于同一级的图像特征相加融合后，以通道连接的形式发送至解码阶段；所述解码阶段，用于将接收到的特征融合后的结果恢复至原图尺寸。
本实施例中，假设，所述编码阶段的每个特征提取分支包括：5个卷积模块，每个卷积模块包括1个下采样操作和2个卷积操作；则在编码阶段，可以将配准后的两张图像的重合区域分别输入至各自对应的特征提取分支，每个特征提取分支通过5个卷积模块提取相应级别的图像特征，将2个特征提取分支提取的属于同一级的图像特征相加融合后，以通道连接的形式发送至解码阶段。
本实施例中，假设，所述解码阶段包括：4个跳层连接操作、4个反卷积模块、1个反卷积操作和1个卷积操作，其中，每个反卷积模块包括：2个卷积操作和1个反卷积操作，每个反卷积操作将特征尺寸放大两倍。
本实施例中，所述眼底OCT图像融合网络的整体结构为类U形网络。
本实施例中，下采样操作为核尺寸为2×2且步长为2的最大池化，卷积操作和反卷积操作的核尺寸均为3×3，反卷积操作可将特征图尺寸放大两倍，并将特征图数缩小1倍。
本实施例中，所有卷积和反卷积操作默认连接线性整流函数(ReLU)。在卷积和反卷积操作过程中，特征图边界以0填充。
本实施例中，如图4所示，所述眼底OCT图像融合网络的工作流程包括：
将配准后的两张图像的重合区域分别输入权值相同的各个特征提取分支的第1卷积组(Conv_Block_1)获得一级特征F11和F21(Conv_Block_1包括一个下采样操作和两个卷积操作，该卷积操作输入输出通道数分别为1-64和64-64)，再将特征F11和F21进行叠加，得到融合的特征F1；
分别将特征F11和F21输入权值相同的各个特征提取分支的第2卷积组(Conv_Block_2)获得二级特征F12和F22(Conv_Block_2包括一个下采样操作和两个卷积操作，该卷积操作输入输出通道数分别为64-128和128-128)，将特征F12和F22进行叠加，得到融合的特征F2；
分别将特征F12和F22输入权值相同的各个特征提取分支的第3卷积组(Conv_Block_3)获得三级特征F13和F23(Conv_Block_3包括一个下采样操作和两个卷积操作，该卷积操作输入输出通道数分别为128-256和256-256)，将特征F13和F23进行叠加，得到融合的特征F3；
分别将特征F13和F23输入权值相同的各个特征提取分支的第4卷积组(Conv_Block_4)获得四级特征F14和F24(Conv_Block_4包括一个下采样操作和两个卷积操作，该卷积操作输入输出通道数分别为256-512和512-512)，将特征F14和F24进行叠加，得到融合的特征F4；
将特征F4输入第5卷积组(Conv_Block_5)获得五级特征F5(Conv_Block_5包括一个下采样操作和两个卷积操作，该卷积操作输入输出通道数分别为512-1024和1024-1024)；
将特征F5进行反卷积上采样(反卷积操作后输出通道数为512)，得到四级上采样特征FU4，将特征FU4和F4采用跳层连接操作在通道上串联并输入至第1反卷积组(Deconv_Block_1)获得特征FU3(Deconv_Block_1包括两个卷积操作和一个反卷积操作，该卷积操作输入输出通道数分别为1024-512和512-512，反卷积操作后输出通道数为256)；
将特征FU3和F3采用跳层连接操作在通道上串联并输入至第2反卷积组(Deconv_Block_2)获得特征FU2(Deconv_Block_2包括两个卷积操作和一个反卷积操作，该卷积操作输入输出通道数分别为512-256和256-256，反卷积操作后输出通道数为128)；
将特征FU2和F2采用跳层连接操作在通道上串联并输入至第3反卷积组(Deconv_Block_3)获得特征FU1(Deconv_Block_3包括两个卷积操作和一个反卷积操作，该卷积操作输入输出通道数分别为256-128和128-128，反卷积操作后输出通道数为64)；
将特征FU1和F1采用跳层连接操作在通道上串联并输入至第4反卷积组(Deconv_Block_4)获得特征FU0(Deconv_Block_4包括两个卷积操作和一个反卷积操作，该卷积操作输入输出通道数分别为128-64和64-64，反卷积操作后输出通道数为32)；
将特征FU0通过一个卷积操作，其卷积操作输入输出通道数为32-1。
本实施例中，所述眼底OCT图像融合网络，能够融合不同层次(高层和低层)间的图像特征信息，在提高网络收敛速度的同时，提升融合视觉效果。
需要说明的是，图4所示的眼底OCT图像融合网络中卷积模块数目、卷积核尺寸、卷积核参数、反卷积模块数目、每个模块中卷积数目、下采样数目、下采样核尺寸、下采样核参数、跳层连接数目、反卷积数目、反卷积核尺寸和反卷积核参数并不构成对本发明的限定，在实际操作过程中，根据图像大小和复杂程度，网络中可包括比图示更多或更少的各操作数目。
本实施例中，将训练数据集输入到眼底OCT图像融合网络，采用随机梯度下降优化器训练眼底OCT图像融合网络，直到眼底OCT图像融合网络的误差小于预设的阈值，得到训练完成后的眼底OCT图像融合网络，其中，可以采用无监督的结构相似损失函数计算眼底OCT图像融合网络的误差。
本实施例中，结构相似损失函数计算方法如下：
将两张配准后待融合图像的重合区域分别等分成Q个图像块(patch)，假设，图像块大小为64×64，用
Figure BDA0002022740340000091
分别代表两张配准后待融合图像的重合区域中同一位置的两个图像块中像素点强度值组成的待融合向量，用
Figure BDA0002022740340000092
表示融合结果中同一位置的由像素强度值组成的结果向量；
Figure BDA0002022740340000093
的分解形式如公式(1)所示，即将
Figure BDA0002022740340000094
分解为对比度分量
Figure BDA0002022740340000095
结构分量
Figure BDA0002022740340000096
和亮度分量
Figure BDA0002022740340000097
Figure BDA0002022740340000098
其中，‖·‖表示向量l2范数，
Figure BDA0002022740340000099
表示图像块中像素强度的均值，
Figure BDA00020227403400000910
是
Figure BDA00020227403400000911
的简写形式。
通过式(2)可计算两个待融合向量的对比度分量的最大值
Figure BDA00020227403400000912
其代表融合结果中期望得到的对比度分量，式(2)表示为：
Figure BDA00020227403400000913
通过式(3)可计算两个待融合向量的结构分量的
Figure BDA00020227403400000914
其代表融合结果中期望得到的结构分量，式(3)表示为：
Figure BDA00020227403400000915
式(3)中的
Figure BDA00020227403400000916
的计算方法见式(4)(5)(6)(7)：
Figure BDA00020227403400000917
Figure BDA00020227403400000918
Figure BDA00020227403400000919
Figure BDA00020227403400000920
其中，权重函数
Figure BDA00020227403400000921
用于调节结构选择，其计算依赖于t值，t值为权重调节因子，根据向量连续性获得，而向量连续性则通过
Figure BDA0002022740340000101
的大小来体现，
Figure BDA0002022740340000102
值越大表示两个待融合的归一化的图像块
Figure BDA0002022740340000103
和
Figure BDA0002022740340000104
越相似,其中
Figure BDA0002022740340000105
的取值范围为(0,1)，因此t的取值范围为(0,+∞)，通过权重调节因子t的作用，使得灰度变化
Figure BDA0002022740340000106
较大的图像块具有较大的权值，灰度变化
Figure BDA0002022740340000107
较小的图像块具有较小的权值，因此可保留清晰的图像特征。
融合结果中期望得到为
Figure BDA0002022740340000108
由式(8)计算得：
Figure BDA0002022740340000109
然后，计算所述结果向量
Figure BDA00020227403400001010
的分值，如式(9)所示：
Figure BDA00020227403400001011
式(9)中的
Figure BDA00020227403400001012
和
Figure BDA00020227403400001013
分别代表
Figure BDA00020227403400001014
的方差、
Figure BDA00020227403400001015
的方差以及
Figure BDA00020227403400001016
与
Figure BDA00020227403400001017
的协方差，C是正数的稳定性常数，C的公式为：
C＝(0.03×D)2 (9)
其中，D为图像灰度变化范围，对于8bit图像，D取值为255，故本发明实施例中C取值为58.5225；
最后，经过式(10)计算出损失(Loss)：
Figure BDA00020227403400001018
本实施例中，所述损失函数的计算方法并不构成对本发明的限定，在实际操作过程中，可采用其他损失函数训练网络。
实施例二
本发明还提供一种眼底OCT图像融合装置的具体实施方式，由于本发明提供的眼底OCT图像融合装置与前述眼底OCT图像融合方法的具体实施方式相对应，该眼底OCT图像融合装置可以通过执行上述方法具体实施方式中的流程步骤来实现本发明的目的，因此上述眼底OCT图像融合方法具体实施方式中的解释说明，也适用于本发明提供的眼底OCT图像融合装置的具体实施方式，在本发明以下的具体实施方式中将不再赘述。
如图5所示，本发明实施例还提供一种眼底OCT图像融合装置，包括：
获取模块11，用于获取连续拍摄的N张眼底OCT图像序列，其中，OCT表示光相干断层扫描成像；
配准模块12，用于配准所述N张眼底OCT图像序列，得到第2张至第N张图像相对于第1张图像的偏移量；
融合模块13，用于基于得到的第2张至第N张图像相对于第1张图像的偏移量，采用2个特征提取分支的眼底OCT图像融合网络，融合N张图像中各自清晰的部分，得到清晰的融合结果图。
本发明实施例所述的眼底OCT图像融合装置，获取连续拍摄的N张眼底OCT图像序列，其中，OCT表示光相干断层扫描成像；配准所述N张眼底OCT图像序列，得到第2张至第N张图像相对于第1张图像的偏移量；基于得到的第2张至第N张图像相对于第1张图像的偏移量，采用2个特征提取分支的眼底OCT图像融合网络，融合N张图像中各自清晰的部分，得到清晰的融合结果图，能够解决眼底检查中存在的局部模糊问题，并能够辅助医疗人员观测患者精细的眼部结构，提高眼科影像检查准确率，从而降低误症率，减少重复检查，提升医疗服务水平。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种眼底OCT图像融合方法，其特征在于，包括：
获取连续拍摄的N张眼底OCT图像序列，其中，OCT表示光相干断层扫描成像；
配准所述N张眼底OCT图像序列，得到第2张至第N张图像相对于第1张图像的偏移量；
基于得到的第2张至第N张图像相对于第1张图像的偏移量，采用2个特征提取分支的眼底OCT图像融合网络，融合N张图像中各自清晰的部分，得到清晰的融合结果图；
其中，所述基于得到的第2张至第N张图像相对于第1张图像的偏移量，采用2个特征提取分支的眼底OCT图像融合网络，融合N张图像中各自清晰的部分，得到清晰的融合结果图包括：
根据得到的第2张至第N张图像相对于第1张图像的偏移量，确定第1张图像相对于第2张至第N张图像的重合区域；
构建基于深度学习的采用2个特征提取分支的眼底OCT图像融合网络，并训练所述眼底OCT图像融合网络；
利用训练完成后的所述眼底OCT图像融合网络，依次融合第1张图像相对于第2张至第N张图像的重合区域，得到清晰的融合结果图；
所述构建基于深度学习的采用2个特征提取分支的眼底OCT图像融合网络，并训练所述眼底OCT图像融合网络包括：
构建基于深度学习的采用2个特征提取分支的眼底OCT图像融合网络；
获取预先设置的训练数据集，将训练数据集输入到眼底OCT图像融合网络，采用随机梯度下降优化器训练眼底OCT图像融合网络，直到眼底OCT图像融合网络的误差小于预设的阈值，得到训练完成后的眼底OCT图像融合网络，其中，所述训练数据集包括：配准后的多张眼底OCT图像的重合区域；
所述眼底OCT图像融合网络包括：编码阶段和解码阶段；
所述编码阶段包括：2个特征提取分支，每个特征提取分支包括：M个卷积模块，所述M个卷积模块用于分级提取图像特征，所述卷积模块包括：下采样操作和卷积操作；
所述解码阶段包括：M-1个跳层连接操作、M-1个反卷积模块、若干个卷积操作和若干个反卷积操作，其中，每个反卷积模块包括：卷积操作和反卷积操作；
所述编码阶段，用于将配准后的两张图像的重合区域分别输入至各自对应的特征提取分支，每个特征提取分支通过M个卷积模块提取相应级别的图像特征，将2个特征提取分支提取的属于同一级的图像特征相加融合后，以通道连接的形式发送至解码阶段；
所述解码阶段，用于将接收到的特征融合后的结果恢复至原图尺寸。
2.根据权利要求1所述的眼底OCT图像融合方法，其特征在于，所述配准所述N张眼底OCT图像序列，得到第2张至第N张图像相对于第1张图像的偏移量包括：
确定第1张图像的特征点，并确定第1张图像特征点的特征描述符；
确定第2张至第N张图像的特征点及其特征描述符，并分别与第1张图像进行特征配准；
根据特征配准结果，对第2张至第N张图像进行仿射变换，得到第2张至第N张图像相对于第1张图像的偏移量。
3.根据权利要求2所述的眼底OCT图像融合方法，其特征在于，采用的特征点搜索方法包括：SIFT特征搜索方法、SURF特征搜索方法、ORB特征搜索方法中的一种或多种。
4.根据权利要求2所述的眼底OCT图像融合方法，其特征在于，采用的特征配准方法包括：K近邻配准、最小和次小距离比配准方法中的一种或多种。
5.根据权利要求1所述的眼底OCT图像融合方法，其特征在于，采用无监督的结构相似损失函数计算眼底OCT图像融合网络的误差。
6.一种眼底OCT图像融合装置，其特征在于，包括：
获取模块，用于获取连续拍摄的N张眼底OCT图像序列，其中，OCT表示光相干断层扫描成像；
配准模块，用于配准所述N张眼底OCT图像序列，得到第2张至第N张图像相对于第1张图像的偏移量；
融合模块，用于基于得到的第2张至第N张图像相对于第1张图像的偏移量，采用2个特征提取分支的眼底OCT图像融合网络，融合N张图像中各自清晰的部分，得到清晰的融合结果图；
其中，所述基于得到的第2张至第N张图像相对于第1张图像的偏移量，采用2个特征提取分支的眼底OCT图像融合网络，融合N张图像中各自清晰的部分，得到清晰的融合结果图包括：
根据得到的第2张至第N张图像相对于第1张图像的偏移量，确定第1张图像相对于第2张至第N张图像的重合区域；
构建基于深度学习的采用2个特征提取分支的眼底OCT图像融合网络，并训练所述眼底OCT图像融合网络；
利用训练完成后的所述眼底OCT图像融合网络，依次融合第1张图像相对于第2张至第N张图像的重合区域，得到清晰的融合结果图；
所述构建基于深度学习的采用2个特征提取分支的眼底OCT图像融合网络，并训练所述眼底OCT图像融合网络包括：
构建基于深度学习的采用2个特征提取分支的眼底OCT图像融合网络；
获取预先设置的训练数据集，将训练数据集输入到眼底OCT图像融合网络，采用随机梯度下降优化器训练眼底OCT图像融合网络，直到眼底OCT图像融合网络的误差小于预设的阈值，得到训练完成后的眼底OCT图像融合网络，其中，所述训练数据集包括：配准后的多张眼底OCT图像的重合区域；
所述眼底OCT图像融合网络包括：编码阶段和解码阶段；
所述编码阶段包括：2个特征提取分支，每个特征提取分支包括：M个卷积模块，所述M个卷积模块用于分级提取图像特征，所述卷积模块包括：下采样操作和卷积操作；
所述解码阶段包括：M-1个跳层连接操作、M-1个反卷积模块、若干个卷积操作和若干个反卷积操作，其中，每个反卷积模块包括：卷积操作和反卷积操作；
所述编码阶段，用于将配准后的两张图像的重合区域分别输入至各自对应的特征提取分支，每个特征提取分支通过M个卷积模块提取相应级别的图像特征，将2个特征提取分支提取的属于同一级的图像特征相加融合后，以通道连接的形式发送至解码阶段；
所述解码阶段，用于将接收到的特征融合后的结果恢复至原图尺寸。
CN201910284263.2A 2019-04-10 2019-04-10 一种眼底oct图像融合方法及装置 Expired - Fee Related CN110033422B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910284263.2A CN110033422B (zh) 2019-04-10 2019-04-10 一种眼底oct图像融合方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910284263.2A CN110033422B (zh) 2019-04-10 2019-04-10 一种眼底oct图像融合方法及装置

Publications (2)

Publication Number Publication Date
CN110033422A CN110033422A (zh) 2019-07-19
CN110033422B true CN110033422B (zh) 2021-03-23

Family

ID=67237825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910284263.2A Expired - Fee Related CN110033422B (zh) 2019-04-10 2019-04-10 一种眼底oct图像融合方法及装置

Country Status (1)

Country Link
CN (1) CN110033422B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI746287B (zh) * 2020-11-26 2021-11-11 宏碁股份有限公司 影像處理系統及影像處理方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787943A (zh) * 2016-03-03 2016-07-20 西安电子科技大学 基于多尺度图像块特征和稀疏表示的sar图像配准方法
CN106651827A (zh) * 2016-09-09 2017-05-10 浙江大学 一种基于sift特征的眼底图像配准方法
CN108198211A (zh) * 2017-11-20 2018-06-22 海纳医信（北京）软件科技有限责任公司 眼底图像的处理方法及装置、存储介质、处理器
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN108765285A (zh) * 2018-05-08 2018-11-06 北京科技大学 一种基于视频清晰度融合的大尺寸显微图像生成方法
CN108771530A (zh) * 2017-05-04 2018-11-09 深圳硅基仿生科技有限公司 基于深度神经网络的眼底病变筛查系统
CN108986050A (zh) * 2018-07-20 2018-12-11 北京航空航天大学 一种基于多分支卷积神经网络的图像和视频增强方法
CN109345449A (zh) * 2018-07-17 2019-02-15 西安交通大学 一种基于融合网络的图像超分辨率及去非均匀模糊方法
CN109360171A (zh) * 2018-10-26 2019-02-19 北京理工大学 一种基于神经网络的视频图像实时去模糊方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787943A (zh) * 2016-03-03 2016-07-20 西安电子科技大学 基于多尺度图像块特征和稀疏表示的sar图像配准方法
CN106651827A (zh) * 2016-09-09 2017-05-10 浙江大学 一种基于sift特征的眼底图像配准方法
CN108771530A (zh) * 2017-05-04 2018-11-09 深圳硅基仿生科技有限公司 基于深度神经网络的眼底病变筛查系统
CN108198211A (zh) * 2017-11-20 2018-06-22 海纳医信（北京）软件科技有限责任公司 眼底图像的处理方法及装置、存储介质、处理器
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN108765285A (zh) * 2018-05-08 2018-11-06 北京科技大学 一种基于视频清晰度融合的大尺寸显微图像生成方法
CN109345449A (zh) * 2018-07-17 2019-02-15 西安交通大学 一种基于融合网络的图像超分辨率及去非均匀模糊方法
CN108986050A (zh) * 2018-07-20 2018-12-11 北京航空航天大学 一种基于多分支卷积神经网络的图像和视频增强方法
CN109360171A (zh) * 2018-10-26 2019-02-19 北京理工大学 一种基于神经网络的视频图像实时去模糊方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DeepFuse: A Deep Unsupervised Approach for Exposure Fusion with Extreme Exposure Image Pairs;K. Ram Prabhakar等;《2017 IEEE International Conference on Computer Vision》;20171225;正文第三节，图2 *
DenseFuse: A Fusion Approach to Infrared and Visible Images;Hui Li等;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20181218;全文 *

Also Published As

Publication number Publication date
CN110033422A (zh) 2019-07-19

Similar Documents

Publication Publication Date Title
Shen et al. Modeling and enhancing low-quality retinal fundus images
US20240119719A1 (en) Identification and tracking of a predefined object in a set of images from a medical image scanner during a surgical procedure
Hasan et al. DRNet: Segmentation and localization of optic disc and Fovea from diabetic retinopathy image
CN109191476A (zh) 基于U-net网络结构的生物医学图像自动分割新方法
CN108764342B (zh) 一种对于眼底图中视盘和视杯的语义分割方法
CN110751636B (zh) 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法
CN113076987B (zh) 骨赘识别方法、装置、电子设备及存储介质
CN112164043A (zh) 一种用于多眼底图像拼接的方法及系统
Manakov et al. Noise as domain shift: Denoising medical images by unpaired image translation
CN116309648A (zh) 一种基于多注意力融合的医学图像分割模型构建方法
CN109767459A (zh) 新型眼底图配准方法
CN107633482A (zh) 一种基于序列图像的超分辨率重建方法
Ye et al. Depth super-resolution with deep edge-inference network and edge-guided depth filling
Zhang et al. Two-step registration on multi-modal retinal images via deep neural networks
CN110610480B (zh) 基于Attention机制的MCASPP神经网络眼底图像视杯视盘分割模型
CN111696042B (zh) 基于样本学习的图像超分辨重建方法
CN112037304A (zh) 基于swi相位图像的两阶段的边缘增强qsm重建方法
CN116563916A (zh) 基于注意力融合的循环人脸超分辨率方法及系统
CN110033422B (zh) 一种眼底oct图像融合方法及装置
Li et al. Region focus network for joint optic disc and cup segmentation
CN111105354A (zh) 基于多源深度残差网络的深度图像超分辨率方法及装置
CN114372962A (zh) 基于双粒度时间卷积的腹腔镜手术阶段识别方法与系统
Guo et al. Bridging synthetic and real images: a transferable and multiple consistency aided fundus image enhancement framework
CN112085717B (zh) 一种用于腹腔镜手术的视频预测方法及其系统
CN113610842A (zh) 基于CAS-Net的OCT图像视网膜脱离和劈裂自动分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210323