CN110033422A - 一种眼底oct图像融合方法及装置 - Google Patents
一种眼底oct图像融合方法及装置 Download PDFInfo
- Publication number
- CN110033422A CN110033422A CN201910284263.2A CN201910284263A CN110033422A CN 110033422 A CN110033422 A CN 110033422A CN 201910284263 A CN201910284263 A CN 201910284263A CN 110033422 A CN110033422 A CN 110033422A
- Authority
- CN
- China
- Prior art keywords
- image
- eyeground
- oct image
- oct
- converged network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 24
- 238000012014 optical coherence tomography Methods 0.000 claims abstract description 141
- 238000000605 extraction Methods 0.000 claims abstract description 45
- 230000004927 fusion Effects 0.000 claims abstract description 37
- 210000001508 eye Anatomy 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000003384 imaging method Methods 0.000 claims abstract description 6
- 238000005070 sampling Methods 0.000 claims description 15
- 238000013135 deep learning Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 238000003325 tomography Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims 1
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 238000002577 ophthalmoscopy Methods 0.000 abstract description 3
- 239000013598 vector Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000003759 clinical diagnosis Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001727 in vivo Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- XCWPUUGSGHNIDZ-UHFFFAOYSA-N Oxypertine Chemical compound C1=2C=C(OC)C(OC)=CC=2NC(C)=C1CCN(CC1)CCN1C1=CC=CC=C1 XCWPUUGSGHNIDZ-UHFFFAOYSA-N 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 208000017442 Retinal disease Diseases 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明提供一种眼底OCT图像融合方法及装置，能够解决眼底检查中存在的局部模糊问题。所述方法包括：获取连续拍摄的N张眼底OCT图像序列，其中，OCT表示光相干断层扫描成像；配准所述N张眼底OCT图像序列，得到第2张至第N张图像相对于第1张图像的偏移量；基于得到的第2张至第N张图像相对于第1张图像的偏移量，采用2个特征提取分支的眼底OCT图像融合网络，融合N张图像中各自清晰的部分，得到清晰的融合结果图。本发明涉及眼底成像技术领域。
Description
技术领域
本发明涉及眼底成像技术领域，特别是指一种眼底OCT图像融合方法及装置。
背景技术
光相干断层成像(Optical Coherence Tomography，OCT)技术是近年来现代生物医学成像领域的一种新型无损光学成像技术，具有非侵入、活体检测和高分辨率等优点，已成功应用于视网膜疾病诊断等眼科临床应用，具有重要作用。但同时也正是由于其高分辨率的活体检测特性，使得OCT成像系统可能因成像过程中眼球的轻微移动或成像设备的限制而造成图像局部模糊，进而会对最终图像质量造成影响，而低质量的OCT图像无法满足临床诊断中鉴别细微组织的实际需求。因此，如何保证在有效抑制局部模糊的同时尽量减少对图像细节结构的影响成为OCT成像问题中的一个重要研究问题。
发明内容
本发明要解决的技术问题是提供一种眼底OCT图像融合方法及装置，以解决现有技术所存在的眼底OCT图像局部模糊，无法满足临床诊断中鉴别细微组织的实际需求的问题。
为解决上述技术问题，本发明实施例提供一种眼底OCT图像融合方法，包括：
获取连续拍摄的N张眼底OCT图像序列，其中，OCT表示光相干断层扫描成像；
配准所述N张眼底OCT图像序列，得到第2张至第N张图像相对于第1张图像的偏移量；
基于得到的第2张至第N张图像相对于第1张图像的偏移量，采用2个特征提取分支的眼底OCT图像融合网络，融合N张图像中各自清晰的部分，得到清晰的融合结果图。
进一步地，所述配准所述N张眼底OCT图像序列，得到第2张至第N张图像相对于第1张图像的偏移量包括：
确定第1张图像的特征点，并确定第1张图像特征点的特征描述符；
确定第2张至第N张图像的特征点及其特征描述符，并分别与第1张图像进行特征配准；
根据特征配准结果，对第2张至第N张图像进行仿射变换，得到第2张至第N张图像相对于第1张图像的偏移量。
进一步地，采用的特征点搜索方法包括：SIFT特征搜索方法、SURF特征搜索方法、ORB特征搜索方法中的一种或多种。
进一步地，采用的特征配准方法包括：K近邻配准、最小和次小距离比配准方法中的一种或多种。
进一步地，所述基于得到的第2张至第N张图像相对于第1张图像的偏移量，采用2个特征提取分支的眼底OCT图像融合网络，融合N张图像中各自清晰的部分，得到清晰的融合结果图包括：
根据得到的第2张至第N张图像相对于第1张图像的偏移量，确定第1张图像相对于第2张至第N张图像的重合区域；
构建基于深度学习的采用2个特征提取分支的眼底OCT图像融合网络，并训练所述眼底OCT图像融合网络；
利用训练完成后的所述眼底OCT图像融合网络，依次融合第1张图像相对于第2张至第N张图像的重合区域，得到清晰的融合结果图。
进一步地，所述构建基于深度学习的采用2个特征提取分支的眼底OCT图像融合网络，并训练所述眼底OCT图像融合网络包括：
构建基于深度学习的采用2个特征提取分支的眼底OCT图像融合网络；
获取预先设置的训练数据集，将训练数据集输入到眼底OCT图像融合网络，采用随机梯度下降优化器训练眼底OCT图像融合网络，直到眼底OCT图像融合网络的误差小于预设的阈值，得到训练完成后的眼底OCT图像融合网络，其中，所述训练数据集包括：配准后的多张眼底OCT图像的重合区域。
进一步地，所述眼底OCT图像融合网络包括：编码阶段和解码阶段；
所述编码阶段包括：2个特征提取分支，每个特征提取分支包括：M个卷积模块，所述M个卷积模块用于分级提取图像特征，所述卷积模块包括：下采样操作和卷积操作；
所述解码阶段包括：M-1个跳层连接操作、M-1个反卷积模块、若干个卷积操作和若干个反卷积操作，其中，每个反卷积模块包括：卷积操作和反卷积操作。
进一步地，所述编码阶段，用于将配准后的两张图像的重合区域分别输入至各自对应的特征提取分支，每个特征提取分支通过M个卷积模块提取相应级别的图像特征，将2个特征提取分支提取的属于同一级的图像特征相加融合后，以通道连接的形式发送至解码阶段；
所述解码阶段，用于将接收到的特征融合后的结果恢复至原图尺寸。
进一步地，采用无监督的结构相似损失函数计算眼底OCT图像融合网络的误差。
本发明实施例还提供一种眼底OCT图像融合装置，包括：
获取模块，用于获取连续拍摄的N张眼底OCT图像序列，其中，OCT表示光相干断层扫描成像；
配准模块，用于配准所述N张眼底OCT图像序列，得到第2张至第N张图像相对于第1张图像的偏移量；
融合模块，用于基于得到的第2张至第N张图像相对于第1张图像的偏移量，采用2个特征提取分支的眼底OCT图像融合网络，融合N张图像中各自清晰的部分，得到清晰的融合结果图。
本发明的上述技术方案的有益效果如下：
上述方案中，获取连续拍摄的N张眼底OCT图像序列，其中，OCT表示光相干断层扫描成像；配准所述N张眼底OCT图像序列，得到第2张至第N张图像相对于第1张图像的偏移量；基于得到的第2张至第N张图像相对于第1张图像的偏移量，采用2个特征提取分支的眼底OCT图像融合网络，融合N张图像中各自清晰的部分，得到清晰的融合结果图，能够解决眼底检查中存在的局部模糊问题，并能够辅助医疗人员观测患者精细的眼部结构，提高眼科影像检查准确率，从而降低误症率，减少重复检查，提升医疗服务水平。
附图说明
图1为本发明实施例提供的眼底OCT图像融合方法的流程示意图；
图2为本发明实施例提供的连续拍摄的50张存在不同程度偏移和模糊的眼底OCT图像序列示意图；
图3为本发明实施例提供的配准后两张图像的重合区域示意图；
图4为本发明实施例提供的眼底OCT图像融合网络结构示意图；
图5为本发明实施例提供的眼底OCT图像融合装置的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有的眼底OCT图像局部模糊，无法满足临床诊断中鉴别细微组织的实际需求的问题，提供一种眼底OCT图像融合方法及装置。
实施例一
如图1所示，本发明实施例提供的眼底OCT图像融合方法，包括：
S101，获取连续拍摄的N张眼底OCT图像序列，其中，OCT表示光相干断层扫描成像，其中，N为预设值；
S102，配准所述N张眼底OCT图像序列，得到第2张至第N张图像相对于第1张图像的偏移量；
S103，基于得到的第2张至第N张图像相对于第1张图像的偏移量，采用2个特征提取分支的眼底OCT图像融合网络，融合N张图像中各自清晰的部分，得到清晰的融合结果图。
本发明实施例所述的眼底OCT图像融合方法，获取连续拍摄的N张眼底OCT图像序列，其中，OCT表示光相干断层扫描成像；配准所述N张眼底OCT图像序列，得到第2张至第N张图像相对于第1张图像的偏移量；基于得到的第2张至第N张图像相对于第1张图像的偏移量，采用2个特征提取分支的眼底OCT图像融合网络，融合N张图像中各自清晰的部分，得到清晰的融合结果图，能够解决眼底检查中存在的局部模糊问题，并能够辅助医疗人员观测患者精细的眼部结构，提高眼科影像检查准确率，从而降低误症率，减少重复检查，提升医疗服务水平。
本实施例中，获取的眼底OCT图像是指采用光相干断层扫描成像机理拍摄的图像。
本实施例中，由于患者无法长时间固视，往往造成获取连续拍摄的N张眼底OCT图像间存在不同程度的偏移和模糊，如图2所示，图2是按照5行每行10张图像的格式展示存在不同程度的偏移和模糊的眼底OCT图像序列；需要说明的是，图2所示的图像序列中图像数目并不构成对本发明的限定，图像序列中可包括比图2中更多或更少的图像。
在前述眼底OCT图像融合方法的具体实施方式中，进一步地，所述配准所述N张眼底OCT图像序列，得到第2张至第N张图像相对于第1张图像的偏移量包括：
确定第1张图像的特征点，并确定第1张图像特征点的特征描述符；
确定第2张至第N张图像的特征点及其特征描述符，并分别与第1张图像进行特征配准；
根据特征配准结果，对第2张至第N张图像进行仿射变换，得到第2张至第N张图像相对于第1张图像的偏移量。
本实施例中，采用的特征点搜索方法包括：SIFT特征搜索方法、SURF特征搜索方法、ORB特征搜索方法等一切特征点搜索方法。
本实施例中，采用的特征配准方法包括：K近邻配准、最小和次小距离比配准方法等一切特征点配准方法。
在前述眼底OCT图像融合方法的具体实施方式中，进一步地，所述基于得到的第2张至第N张图像相对于第1张图像的偏移量，采用2个特征提取分支的眼底OCT图像融合网络，融合N张图像中各自清晰的部分，得到清晰的融合结果图包括：
根据得到的第2张至第N张图像相对于第1张图像的偏移量，确定第1张图像相对于第2张至第N张图像的重合区域，如图3所示，其中透明区域为根据偏移量计算得到的重合区域；
构建基于深度学习的采用2个特征提取分支的眼底OCT图像融合网络，并训练所述眼底OCT图像融合网络；
利用训练完成后的所述眼底OCT图像融合网络，依次融合第1张图像相对于第2张至第N张图像的重合区域，得到清晰的融合结果图。
在前述眼底OCT图像融合方法的具体实施方式中，进一步地，所述构建基于深度学习的采用2个特征提取分支的眼底OCT图像融合网络，并训练所述眼底OCT图像融合网络包括：
构建基于深度学习的采用2个特征提取分支的眼底OCT图像融合网络；
获取预先设置的训练数据集，将训练数据集输入到眼底OCT图像融合网络，采用随机梯度下降优化器训练眼底OCT图像融合网络，直到眼底OCT图像融合网络的误差小于预设的阈值，得到训练完成后的眼底OCT图像融合网络，所述训练数据集包括：配准后的多张眼底OCT图像的重合区域。
本实施例中，所述眼底OCT图像融合网络包括：编码阶段和解码阶段；所述编码阶段包括：2个特征提取分支，每个特征提取分支包括：M个卷积模块，所述M个卷积模块用于分级提取图像特征，所述卷积模块包括：下采样操作和卷积操作；所述解码阶段包括：M-1个跳层连接操作、M-1个反卷积模块、若干个卷积操作和若干个反卷积操作，其中，每个反卷积模块包括：卷积操作和反卷积操作。
本实施例中，所述编码阶段，用于将配准后的两张图像的重合区域分别输入至各自对应的特征提取分支，每个特征提取分支通过M个卷积模块提取相应级别的图像特征，将2个特征提取分支提取的属于同一级的图像特征相加融合后，以通道连接的形式发送至解码阶段；所述解码阶段，用于将接收到的特征融合后的结果恢复至原图尺寸。
本实施例中，假设，所述编码阶段的每个特征提取分支包括：5个卷积模块，每个卷积模块包括1个下采样操作和2个卷积操作；则在编码阶段，可以将配准后的两张图像的重合区域分别输入至各自对应的特征提取分支，每个特征提取分支通过5个卷积模块提取相应级别的图像特征，将2个特征提取分支提取的属于同一级的图像特征相加融合后，以通道连接的形式发送至解码阶段。
本实施例中，假设，所述解码阶段包括：4个跳层连接操作、4个反卷积模块、1个反卷积操作和1个卷积操作，其中，每个反卷积模块包括：2个卷积操作和1个反卷积操作，每个反卷积操作将特征尺寸放大两倍。
本实施例中，所述眼底OCT图像融合网络的整体结构为类U形网络。
本实施例中，下采样操作为核尺寸为2×2且步长为2的最大池化，卷积操作和反卷积操作的核尺寸均为3×3，反卷积操作可将特征图尺寸放大两倍，并将特征图数缩小1倍。
本实施例中，所有卷积和反卷积操作默认连接线性整流函数(ReLU)。在卷积和反卷积操作过程中，特征图边界以0填充。
本实施例中，如图4所示，所述眼底OCT图像融合网络的工作流程包括：
将配准后的两张图像的重合区域分别输入权值相同的各个特征提取分支的第1卷积组(Conv_Block_1)获得一级特征F11和F21(Conv_Block_1包括一个下采样操作和两个卷积操作，该卷积操作输入输出通道数分别为1-64和64-64)，再将特征F11和F21进行叠加，得到融合的特征F1；
分别将特征F11和F21输入权值相同的各个特征提取分支的第2卷积组(Conv_Block_2)获得二级特征F12和F22(Conv_Block_2包括一个下采样操作和两个卷积操作，该卷积操作输入输出通道数分别为64-128和128-128)，将特征F12和F22进行叠加，得到融合的特征F2；
分别将特征F12和F22输入权值相同的各个特征提取分支的第3卷积组(Conv_Block_3)获得三级特征F13和F23(Conv_Block_3包括一个下采样操作和两个卷积操作，该卷积操作输入输出通道数分别为128-256和256-256)，将特征F13和F23进行叠加，得到融合的特征F3；
分别将特征F13和F23输入权值相同的各个特征提取分支的第4卷积组(Conv_Block_4)获得四级特征F14和F24(Conv_Block_4包括一个下采样操作和两个卷积操作，该卷积操作输入输出通道数分别为256-512和512-512)，将特征F14和F24进行叠加，得到融合的特征F4；
将特征F4输入第5卷积组(Conv_Block_5)获得五级特征F5(Conv_Block_5包括一个下采样操作和两个卷积操作，该卷积操作输入输出通道数分别为512-1024和1024-1024)；
将特征F5进行反卷积上采样(反卷积操作后输出通道数为512)，得到四级上采样特征FU4，将特征FU4和F4采用跳层连接操作在通道上串联并输入至第1反卷积组(Deconv_Block_1)获得特征FU3(Deconv_Block_1包括两个卷积操作和一个反卷积操作，该卷积操作输入输出通道数分别为1024-512和512-512，反卷积操作后输出通道数为256)；
将特征FU3和F3采用跳层连接操作在通道上串联并输入至第2反卷积组(Deconv_Block_2)获得特征FU2(Deconv_Block_2包括两个卷积操作和一个反卷积操作，该卷积操作输入输出通道数分别为512-256和256-256，反卷积操作后输出通道数为128)；
将特征FU2和F2采用跳层连接操作在通道上串联并输入至第3反卷积组(Deconv_Block_3)获得特征FU1(Deconv_Block_3包括两个卷积操作和一个反卷积操作，该卷积操作输入输出通道数分别为256-128和128-128，反卷积操作后输出通道数为64)；
将特征FU1和F1采用跳层连接操作在通道上串联并输入至第4反卷积组(Deconv_Block_4)获得特征FU0(Deconv_Block_4包括两个卷积操作和一个反卷积操作，该卷积操作输入输出通道数分别为128-64和64-64，反卷积操作后输出通道数为32)；
将特征FU0通过一个卷积操作，其卷积操作输入输出通道数为32-1。
本实施例中，所述眼底OCT图像融合网络，能够融合不同层次(高层和低层)间的图像特征信息，在提高网络收敛速度的同时，提升融合视觉效果。
需要说明的是，图4所示的眼底OCT图像融合网络中卷积模块数目、卷积核尺寸、卷积核参数、反卷积模块数目、每个模块中卷积数目、下采样数目、下采样核尺寸、下采样核参数、跳层连接数目、反卷积数目、反卷积核尺寸和反卷积核参数并不构成对本发明的限定，在实际操作过程中，根据图像大小和复杂程度，网络中可包括比图示更多或更少的各操作数目。
本实施例中，将训练数据集输入到眼底OCT图像融合网络，采用随机梯度下降优化器训练眼底OCT图像融合网络，直到眼底OCT图像融合网络的误差小于预设的阈值，得到训练完成后的眼底OCT图像融合网络，其中，可以采用无监督的结构相似损失函数计算眼底OCT图像融合网络的误差。
本实施例中，结构相似损失函数计算方法如下：
将两张配准后待融合图像的重合区域分别等分成Q个图像块(patch)，假设，图像块大小为64×64，用分别代表两张配准后待融合图像的重合区域中同一位置的两个图像块中像素点强度值组成的待融合向量，用表示融合结果中同一位置的由像素强度值组成的结果向量；
的分解形式如公式(1)所示，即将分解为对比度分量结构分量和亮度分量
其中，‖·‖表示向量l2范数，表示图像块中像素强度的均值，是的简写形式。
通过式(2)可计算两个待融合向量的对比度分量的最大值其代表融合结果中期望得到的对比度分量，式(2)表示为：
通过式(3)可计算两个待融合向量的结构分量的其代表融合结果中期望得到的结构分量，式(3)表示为：
式(3)中的的计算方法见式(4)(5)(6)(7)：
其中，权重函数用于调节结构选择，其计算依赖于t值，t值为权重调节因子，根据向量连续性获得，而向量连续性则通过的大小来体现，值越大表示两个待融合的归一化的图像块和越相似,其中的取值范围为(0,1)，因此t的取值范围为(0,+∞)，通过权重调节因子t的作用，使得灰度变化较大的图像块具有较大的权值，灰度变化较小的图像块具有较小的权值，因此可保留清晰的图像特征。
融合结果中期望得到为由式(8)计算得：
然后，计算所述结果向量的分值，如式(9)所示：
式(9)中的和分别代表的方差、的方差以及与的协方差，C是正数的稳定性常数，C的公式为：
C＝(0.03×D)2 (9)
其中，D为图像灰度变化范围，对于8bit图像，D取值为255，故本发明实施例中C取值为58.5225；
最后，经过式(10)计算出损失(Loss)：
本实施例中，所述损失函数的计算方法并不构成对本发明的限定，在实际操作过程中，可采用其他损失函数训练网络。
实施例二
本发明还提供一种眼底OCT图像融合装置的具体实施方式，由于本发明提供的眼底OCT图像融合装置与前述眼底OCT图像融合方法的具体实施方式相对应，该眼底OCT图像融合装置可以通过执行上述方法具体实施方式中的流程步骤来实现本发明的目的，因此上述眼底OCT图像融合方法具体实施方式中的解释说明，也适用于本发明提供的眼底OCT图像融合装置的具体实施方式，在本发明以下的具体实施方式中将不再赘述。
如图5所示，本发明实施例还提供一种眼底OCT图像融合装置，包括：
获取模块11，用于获取连续拍摄的N张眼底OCT图像序列，其中，OCT表示光相干断层扫描成像；
配准模块12，用于配准所述N张眼底OCT图像序列，得到第2张至第N张图像相对于第1张图像的偏移量；
融合模块13，用于基于得到的第2张至第N张图像相对于第1张图像的偏移量，采用2个特征提取分支的眼底OCT图像融合网络，融合N张图像中各自清晰的部分，得到清晰的融合结果图。
本发明实施例所述的眼底OCT图像融合装置，获取连续拍摄的N张眼底OCT图像序列，其中，OCT表示光相干断层扫描成像；配准所述N张眼底OCT图像序列，得到第2张至第N张图像相对于第1张图像的偏移量；基于得到的第2张至第N张图像相对于第1张图像的偏移量，采用2个特征提取分支的眼底OCT图像融合网络，融合N张图像中各自清晰的部分，得到清晰的融合结果图，能够解决眼底检查中存在的局部模糊问题，并能够辅助医疗人员观测患者精细的眼部结构，提高眼科影像检查准确率，从而降低误症率，减少重复检查，提升医疗服务水平。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种眼底OCT图像融合方法，其特征在于，包括：
获取连续拍摄的N张眼底OCT图像序列，其中，OCT表示光相干断层扫描成像；
配准所述N张眼底OCT图像序列，得到第2张至第N张图像相对于第1张图像的偏移量；
基于得到的第2张至第N张图像相对于第1张图像的偏移量，采用2个特征提取分支的眼底OCT图像融合网络，融合N张图像中各自清晰的部分，得到清晰的融合结果图。
2.根据权利要求1所述的眼底OCT图像融合方法，其特征在于，所述配准所述N张眼底OCT图像序列，得到第2张至第N张图像相对于第1张图像的偏移量包括：
确定第1张图像的特征点，并确定第1张图像特征点的特征描述符；
确定第2张至第N张图像的特征点及其特征描述符，并分别与第1张图像进行特征配准；
根据特征配准结果，对第2张至第N张图像进行仿射变换，得到第2张至第N张图像相对于第1张图像的偏移量。
3.根据权利要求2所述的眼底OCT图像融合方法，其特征在于，采用的特征点搜索方法包括：SIFT特征搜索方法、SURF特征搜索方法、ORB特征搜索方法中的一种或多种。
4.根据权利要求2所述的眼底OCT图像融合方法，其特征在于，采用的特征配准方法包括：K近邻配准、最小和次小距离比配准方法中的一种或多种。
5.根据权利要求1所述的眼底OCT图像融合方法，其特征在于，所述基于得到的第2张至第N张图像相对于第1张图像的偏移量，采用2个特征提取分支的眼底OCT图像融合网络，融合N张图像中各自清晰的部分，得到清晰的融合结果图包括：
根据得到的第2张至第N张图像相对于第1张图像的偏移量，确定第1张图像相对于第2张至第N张图像的重合区域；
构建基于深度学习的采用2个特征提取分支的眼底OCT图像融合网络，并训练所述眼底OCT图像融合网络；
利用训练完成后的所述眼底OCT图像融合网络，依次融合第1张图像相对于第2张至第N张图像的重合区域，得到清晰的融合结果图。
6.根据权利要求5所述的眼底OCT图像融合方法，其特征在于，所述构建基于深度学习的采用2个特征提取分支的眼底OCT图像融合网络，并训练所述眼底OCT图像融合网络包括：
构建基于深度学习的采用2个特征提取分支的眼底OCT图像融合网络；
获取预先设置的训练数据集，将训练数据集输入到眼底OCT图像融合网络，采用随机梯度下降优化器训练眼底OCT图像融合网络，直到眼底OCT图像融合网络的误差小于预设的阈值，得到训练完成后的眼底OCT图像融合网络，其中，所述训练数据集包括：配准后的多张眼底OCT图像的重合区域。
7.根据权利要求6所述的眼底OCT图像融合方法，其特征在于，所述眼底OCT图像融合网络包括：编码阶段和解码阶段；
所述编码阶段包括：2个特征提取分支，每个特征提取分支包括：M个卷积模块，所述M个卷积模块用于分级提取图像特征，所述卷积模块包括：下采样操作和卷积操作；
所述解码阶段包括：M-1个跳层连接操作、M-1个反卷积模块、若干个卷积操作和若干个反卷积操作，其中，每个反卷积模块包括：卷积操作和反卷积操作。
8.根据权利要求7所述的眼底OCT图像融合方法，其特征在于，所述编码阶段，用于将配准后的两张图像的重合区域分别输入至各自对应的特征提取分支，每个特征提取分支通过M个卷积模块提取相应级别的图像特征，将2个特征提取分支提取的属于同一级的图像特征相加融合后，以通道连接的形式发送至解码阶段；
所述解码阶段，用于将接收到的特征融合后的结果恢复至原图尺寸。
9.根据权利要求6所述的眼底OCT图像融合方法，其特征在于，采用无监督的结构相似损失函数计算眼底OCT图像融合网络的误差。
10.一种眼底OCT图像融合装置，其特征在于，包括：
获取模块，用于获取连续拍摄的N张眼底OCT图像序列，其中，OCT表示光相干断层扫描成像；
配准模块，用于配准所述N张眼底OCT图像序列，得到第2张至第N张图像相对于第1张图像的偏移量；
融合模块，用于基于得到的第2张至第N张图像相对于第1张图像的偏移量，采用2个特征提取分支的眼底OCT图像融合网络，融合N张图像中各自清晰的部分，得到清晰的融合结果图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910284263.2A CN110033422B (zh) | 2019-04-10 | 2019-04-10 | 一种眼底oct图像融合方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910284263.2A CN110033422B (zh) | 2019-04-10 | 2019-04-10 | 一种眼底oct图像融合方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110033422A true CN110033422A (zh) | 2019-07-19 |
| CN110033422B CN110033422B (zh) | 2021-03-23 |
Family
ID=67237825
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910284263.2A Expired - Fee Related CN110033422B (zh) | 2019-04-10 | 2019-04-10 | 一种眼底oct图像融合方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110033422B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI746287B (zh) * | 2020-11-26 | 2021-11-11 | 宏碁股份有限公司 | 影像處理系統及影像處理方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105787943A (zh) * | 2016-03-03 | 2016-07-20 | 西安电子科技大学 | 基于多尺度图像块特征和稀疏表示的sar图像配准方法 |
| CN106651827A (zh) * | 2016-09-09 | 2017-05-10 | 浙江大学 | 一种基于sift特征的眼底图像配准方法 |
| CN108198211A (zh) * | 2017-11-20 | 2018-06-22 | 海纳医信（北京）软件科技有限责任公司 | 眼底图像的处理方法及装置、存储介质、处理器 |
| CN108268870A (zh) * | 2018-01-29 | 2018-07-10 | 重庆理工大学 | 基于对抗学习的多尺度特征融合超声图像语义分割方法 |
| CN108765285A (zh) * | 2018-05-08 | 2018-11-06 | 北京科技大学 | 一种基于视频清晰度融合的大尺寸显微图像生成方法 |
| CN108771530A (zh) * | 2017-05-04 | 2018-11-09 | 深圳硅基仿生科技有限公司 | 基于深度神经网络的眼底病变筛查系统 |
| CN108986050A (zh) * | 2018-07-20 | 2018-12-11 | 北京航空航天大学 | 一种基于多分支卷积神经网络的图像和视频增强方法 |
| CN109345449A (zh) * | 2018-07-17 | 2019-02-15 | 西安交通大学 | 一种基于融合网络的图像超分辨率及去非均匀模糊方法 |
| CN109360171A (zh) * | 2018-10-26 | 2019-02-19 | 北京理工大学 | 一种基于神经网络的视频图像实时去模糊方法 |
-
2019
- 2019-04-10 CN CN201910284263.2A patent/CN110033422B/zh not_active Expired - Fee Related
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105787943A (zh) * | 2016-03-03 | 2016-07-20 | 西安电子科技大学 | 基于多尺度图像块特征和稀疏表示的sar图像配准方法 |
| CN106651827A (zh) * | 2016-09-09 | 2017-05-10 | 浙江大学 | 一种基于sift特征的眼底图像配准方法 |
| CN108771530A (zh) * | 2017-05-04 | 2018-11-09 | 深圳硅基仿生科技有限公司 | 基于深度神经网络的眼底病变筛查系统 |
| CN108198211A (zh) * | 2017-11-20 | 2018-06-22 | 海纳医信（北京）软件科技有限责任公司 | 眼底图像的处理方法及装置、存储介质、处理器 |
| CN108268870A (zh) * | 2018-01-29 | 2018-07-10 | 重庆理工大学 | 基于对抗学习的多尺度特征融合超声图像语义分割方法 |
| CN108765285A (zh) * | 2018-05-08 | 2018-11-06 | 北京科技大学 | 一种基于视频清晰度融合的大尺寸显微图像生成方法 |
| CN109345449A (zh) * | 2018-07-17 | 2019-02-15 | 西安交通大学 | 一种基于融合网络的图像超分辨率及去非均匀模糊方法 |
| CN108986050A (zh) * | 2018-07-20 | 2018-12-11 | 北京航空航天大学 | 一种基于多分支卷积神经网络的图像和视频增强方法 |
| CN109360171A (zh) * | 2018-10-26 | 2019-02-19 | 北京理工大学 | 一种基于神经网络的视频图像实时去模糊方法 |
Non-Patent Citations (2)
| Title |
|---|
| HUI LI等: "DenseFuse: A Fusion Approach to Infrared and Visible Images", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
| K. RAM PRABHAKAR等: "DeepFuse: A Deep Unsupervised Approach for Exposure Fusion with Extreme Exposure Image Pairs", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI746287B (zh) * | 2020-11-26 | 2021-11-11 | 宏碁股份有限公司 | 影像處理系統及影像處理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110033422B (zh) | 2021-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109166126A (zh) | 一种基于条件生成式对抗网络在icga图像上分割漆裂纹的方法 | |
| Li et al. | Applications of deep learning in fundus images: A review | |
| CN109345538A (zh) | 一种基于卷积神经网络的视网膜血管分割方法 | |
| CN109448006A (zh) | 一种注意力机制u型密集连接视网膜血管分割方法 | |
| CN106650794B (zh) | 一种受物体表面高光反射影响的图像高光消除方法及系统 | |
| CN106780439B (zh) | 一种筛选眼底图像的方法 | |
| CN106530283A (zh) | 一种基于svm的医疗图像血管识别方法 | |
| CN107369160A (zh) | 一种oct图像中脉络膜新生血管分割算法 | |
| CN110490860A (zh) | 糖尿病视网膜病变识别方法、装置及电子设备 | |
| CN110473188A (zh) | 一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法 | |
| CN107292877A (zh) | 一种基于眼底图像特征的左右眼识别方法 | |
| Luo et al. | Dehaze of cataractous retinal images using an unpaired generative adversarial network | |
| Cao et al. | Gastric cancer diagnosis with mask R-CNN | |
| CN106446805B (zh) | 一种眼底照中视杯的分割方法及系统 | |
| CN110969633A (zh) | 一种心脏ct成像自动最优相位识别方法 | |
| CN113724206A (zh) | 一种基于自监督学习的眼底图像血管分割方法及系统 | |
| CN110033422A (zh) | 一种眼底oct图像融合方法及装置 | |
| Prentasic et al. | Weighted ensemble based automatic detection of exudates in fundus photographs | |
| CN114066846A (zh) | 一种基于深度学习的ctp非急性闭塞缺血评估方法和系统 | |
| Yamuna et al. | Detection of abnormalities in retinal images | |
| Xia et al. | A CNN-transformer hybrid network for joint optic cup and optic disc segmentation in fundus images | |
| CN111292285B (zh) | 一种基于朴素贝叶斯与支持向量机的糖网病自动筛查方法 | |
| CN116503422A (zh) | 一种基于注意力机制与多尺度特征融合的视杯视盘分割方法 | |
| Moukalled | Segmentation of laryngeal high-speed videoendoscopy in temporal domain using paired active contours | |
| Wang et al. | An efficient hierarchical optic disc and cup segmentation network combined with multi-task learning and adversarial learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210323 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |