CN115393239A - 一种多模态眼底图像配准和融合方法及系统 - Google Patents
一种多模态眼底图像配准和融合方法及系统 Download PDFInfo
- Publication number
- CN115393239A CN115393239A CN202211053619.XA CN202211053619A CN115393239A CN 115393239 A CN115393239 A CN 115393239A CN 202211053619 A CN202211053619 A CN 202211053619A CN 115393239 A CN115393239 A CN 115393239A
- Authority
- CN
- China
- Prior art keywords
- fundus image
- fundus
- feature
- fusion
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims description 15
- 238000000034 method Methods 0.000 claims abstract description 42
- 230000004927 fusion Effects 0.000 claims abstract description 28
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 claims abstract description 9
- 238000002372 labelling Methods 0.000 claims abstract description 4
- 230000009466 transformation Effects 0.000 claims description 37
- 230000011218 segmentation Effects 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000012216 screening Methods 0.000 claims description 13
- FCQJEPASRCXVCB-UHFFFAOYSA-N flavianic acid Chemical class C1=C(S(O)(=O)=O)C=C2C(O)=C([N+]([O-])=O)C=C([N+]([O-])=O)C2=C1 FCQJEPASRCXVCB-UHFFFAOYSA-N 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 230000008901 benefit Effects 0.000 abstract description 8
- 210000004204 blood vessel Anatomy 0.000 description 20
- 230000000694 effects Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000013534 fluorescein angiography Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000017531 blood circulation Effects 0.000 description 4
- 238000012014 optical coherence tomography Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 3
- 238000009795 derivation Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- GNBHRKFJIUUOQI-UHFFFAOYSA-N fluorescein Chemical compound O1C(=O)C2=CC=CC=C2C21C1=CC=C(O)C=C1OC1=CC(O)=CC=C21 GNBHRKFJIUUOQI-UHFFFAOYSA-N 0.000 description 3
- 229940020947 fluorescein sodium Drugs 0.000 description 3
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 3
- 229960004657 indocyanine green Drugs 0.000 description 3
- FCKYPQBAHLOOJQ-UHFFFAOYSA-N Cyclohexane-1,2-diaminetetraacetic acid Chemical compound OC(=O)CN(CC(O)=O)C1CCCCC1N(CC(O)=O)CC(O)=O FCKYPQBAHLOOJQ-UHFFFAOYSA-N 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 206010012689 Diabetic retinopathy Diseases 0.000 description 1
- 208000017442 Retinal disease Diseases 0.000 description 1
- 208000014139 Retinal vascular disease Diseases 0.000 description 1
- 206010038923 Retinopathy Diseases 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000003161 choroid Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 208000027866 inflammatory disease Diseases 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 208000002780 macular degeneration Diseases 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration by non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种多模态眼底图像配准和融合方法及系统，包括：获取眼底图像集；对眼底图像集进行预处理，得到处理眼底图像集；对处理眼底图像集的大血管进行分割，得到大血管特征；对大血管特征进行特征标记；对特征标记进行配准和融合，得到眼底图像融合结果。有效地融合了源图像与待配准图像，呈现了更加自然的融合图像且有效提高了融合图像的信噪比；将同种检测模式的不同厂家、规格、型号的机器所得的同模式影像进行兼容，可用于对比不同设备的优劣，具有显著的现实意义。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种多模态眼底图像配准和融合方法及系统。
背景技术
眼底疾病种类繁多,常见的眼底疾病有视网膜血管病变,炎症性病变,黄斑性病变,视网膜病变等。眼底疾病十分影响人们的日常生活，给人们日常生活带来了极大的不便。
各种眼底影像各有优势和局限，其中，普通眼底照相和宽视野眼底照相中眼底血管和背景的对比度较大，适合用来检测视网膜表层结构。光学相干断层扫描图像可以将眼底的视网膜和脉络膜各层结构进行分层显示，光学相干断层血流成像还可以分层显示各层结构的微血流状态以及新生血管等信息。荧光素钠眼底血管造影图像和吲哚菁绿眼底血管造影图像是分别通过向病人的静脉注射荧光素钠和吲哚菁绿后拍摄得到的。在血液循环时，荧光素钠和吲哚菁绿流动到眼底血管从而使眼底不同层面的血管发出荧光，根据荧光注射时间的长短，可将荧光眼底血管造影图分为前期，中期和晚期，其中中期荧光分布最多，最能观察眼底结构形态，判断有无新生血管，由各个时期动态的荧光形态变化也可以诊断眼底血管血液流动是否正常，诊断如眼底血管出血，渗漏等一些无法从其他眼底影像上观察到的病灶信息。单一的眼底影像模态存在各自不同的固有局限性，面对复杂的眼底疾病，难以满足精准诊疗的高标准，高要求。单一的眼底影像所携带的信息有限，而综合多种图像的信息能更全面的诊断眼底疾病，将不同优势信息互补。然而目前在诊断时，临床医生采用的方式是通过脑海“人工剪影”的方式融合同模态和多模态的眼底图像信息，来诊断病灶类型和病灶位置。这种方式对医生的要求很高，而且效率不高，也容易发生误诊，漏诊等情况。融合影像技术将多种医学影像相互叠加、覆盖，在精准配准的基础上，例如：一方面利用OCT，OCTA清晰度高的优势，有效克服了眼底荧光造影存在无法分层检查，分辨力低的缺点。另一方面，基于眼底荧光造影的动态性的优势，实现OCT，OCTA从静态到实时动态的飞跃。通过优势互补，带来颠覆性的医学成像效果，为实施精准的微创治疗和评估提供有利条件。
其次，目前临床上同一类型的检查机器还有多种规格和型号，不同规格和型号的检测仪器得到的眼底图像也有不同差异。
发明内容
为解决上述现有技术中所存在的问题，本发明提供一种多模态眼底图像配准和融合方法及系统，通过同一眼眼底血管的相同形状和走形特征，将不同模式的影像进行融合，呈现了更加自然的融合图像且有效提高了融合图像的信噪比；将同种检测模式的不同厂家、规格、型号的机器所得的同模式影像进行兼容，可用于对比不同设备的优劣，具有显著的现实意义。
为了实现上述技术目的，本发明提供了一种多模态眼底图像配准和融合方法，包括：
获取眼底图像集；
对所述眼底图像集进行预处理，得到处理眼底图像集；
对所述处理眼底图像集的大血管进行分割，得到大血管特征；
对所述大血管特征进行特征标记；
对所述特征标记进行配准和融合，得到眼底图像融合结果。
可选地，所述眼底图像集包括同一眼睛不同模态的眼底图像和相同模态不同检测时间点的眼底图像。
可选地，所述预处理包括滤波和增强。
可选地，采用改进的DNNS血管分割网络和像素取反法对所述处理眼底图像集的大血管进行分割。
可选地，采用SIFT方法和D2net-Reject方法对所述特征标记进行配准和融合。
可选地，所述SIFT方法包括：
检测所述特征标记，得到特征点；
基于所述特征点，建立特征点描述子；
根据所述特征点描述子的相似程度匹配所述特征标记，得到匹配结果；
对所述匹配结果的误匹配点对进行剔除，并基于剔除所述误匹配点对后的所述匹配结果构建变换矩阵；
采用所述变换矩阵对待配准眼底图像进行空间变换，基于空间变换后的所述待配准眼底图像和源眼底图像，采用双线性插值法，得到眼底图像融合结果。
可选地，所述D2net-Reject方法包括：
采用D2net特征提取网络提取所述特征标记，得到特征点和特征描述符；
基于所述特征点和所述特征描述符，采用最近邻匹配法，得到匹配对；
采用平均距离匹配对粗筛选法对所述匹配对进行匹配对粗筛选；
采用Reject匹配对筛选网络剔除误匹配点对，结合变换模型，得到最终匹配点对；
基于所述最终匹配点对计算模型参数矩阵，结合透视变换模型，得到待配准图像和源图像的坐标映射关系；
基于所述坐标映射关系，采用双线性插值法，得到变换图像；
将所述变换图像与所述源图像进行融合，得到眼底图像融合结果。
可选地，所述大血管特征包括血管形态、走行特征以及血管交叉点位。
为了实现上述技术目的，本发明还提供了一种多模态眼底图像配准和融合系统，包括：
获取模块、预处理模块、分割模块、特征标记模块、配准融合模块；
所述获取模块用于获取眼底图像集；
所述预处理模块用于对所述眼底图像集进行预处理，得到处理眼底图像集；
所述分割模块用于对所述处理眼底图像集的大血管进行分割，得到大血管特征；
所述特征标记模块用于对所述大血管特征进行特征标记；
所述配准融合模块用于对所述特征标记进行配准和融合，得到眼底图像融合结果。
本发明具有如下技术效果：
本发明通过同一眼眼底血管的相同形状和走形特征，将不同模式的影像进行融合，呈现了更加自然的融合图像且有效提高了融合图像的信噪比；将同种检测模式的不同厂家、规格、型号的机器所得的同模式影像进行兼容，可用于对比不同设备的优劣，具有显著的现实意义。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一多模态眼底图像配准和融合方法的流程框图；
图2为本发明实施例一经过直方图规定化之后的眼底图像；
图3为本发明实施例一经过滤波后的眼底图像；
图4为本发明实施例一DNNS血管分割网络框架示意图；
图5为本发明实施例一同模态眼底图像特征点匹配结果示意图；
图6为本发明实施例一同模态眼底图像融合结果示意图；
图7为本发明实施例一Reject匹配对细筛选网络框架示意图；
图8为本发明实施例一不同模态眼底图像融合结果示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
如图1所示，本发明公开一种多模态眼底图像配准和融合方法，包括：
S1，获取眼底图像集；
眼底图像集包括同一眼睛不同模态的眼底图像和相同模态不同检测时间点的眼底图像。同一眼睛不同模态的眼底图像由来自上海市第十人民医院采集的120名糖尿病视网膜病变患者的241对由彩色眼底图像(CF)和荧光素血管造影图像(FA)构成，其中彩色眼底图像的图像分辨率为3216×3216，荧光素血管造影图像为768×768。其中有27对图像中CF图像或FA图像部分信息缺失，将这27对图像剔除，故同一眼睛不同模态的眼底图像共214对。相同模态不同检测时间点的眼底图像包括134组彩色眼底图像对，图像分辨率为2912×2912像素。
S2，对眼底图像集进行增强和滤波预处理，得到处理眼底图像集；
(1)图像增强，提高对比度，具体处理过程为：
首先，对眼底图像集进行灰度变换，根据图像中每个点的灰度值，采用非线性伽马变换计算得到变换后的新的灰度值，用新的灰度值替换初始灰度，位置不变。然后，对灰度变换的结果进行直方图规定化修整，以使眼底图像集的图像灰度密度均匀分布，即P(s)s＝1，经过直方图规定化后的眼底图像如图2所示。直方图均衡化的具体过程包括：
令ni表示灰度i的出现频度，则灰度级为i的像素出现概率为：
式中，L为灰度数目，n为像素数目，p为眼底图像的直方图，被归一化到[0,1]域。
令c为对应于p的累计概率函数，定义为：
c为图像的累计归一化直方图。
建立形式为y＝T(x)的变化，以便给出原始眼底图像中的任何一个值就可以计算出一个y，从而使y的累计概率函数线性的涵盖整个范围，转换公式为：
yi＝T(xi)＝c(i)
通过T，不同的等级被映射到了[0,1]域，要将这些值逆映射回它们原始域，可以使用如下变换：
y′i＝yi(max-min)+min
(2)图像平滑滤波，消除噪声，具体处理过程为：
经过图像增强后的眼底图像，图像质量明显增强，边缘清晰，不同的组织间更容易区分,但是噪声问题依然存在，因此，需要对图像增强后的眼底图像集进行频域滤波，去除噪声，首先对图像增强后的眼底图像进行傅立叶变换，对傅立叶变换的结果和滤波器的系数相乘，将频率中心平移，得到滤波后的眼底图像，如图3所示，即处理眼底图像集。
S3，对处理眼底图像集的大血管进行分割，得到大血管特征；
同一眼睛不同模态的眼底图像由彩色眼底图像和荧光素血管造影图像构成，血管在彩色眼底图像与荧光素血管造影图像中具有较大的差异性，彩色眼底图像中动静脉血管有显著的差异，而荧光素血管造影图像动静脉血管没有太大的差异。另外，荧光素血管造影图像中背景与前景的对比度较为明显。因此，采用改进的DNNS血管分割网络对荧光素血管造影图像进行大血管分割，采用像素取反的方法对彩色眼底图像进行大血管分割。
改进的DNNS血管分割网络框架如图4所示，框架有两个组成部分：(1)跨模态转移，用于从彩色眼底图像(CF)生成荧光素血管造影图像(FA)的初始训练数据集；(2)人在回路学习(human-in-the-loop learning)方法，迭代改进DNNs(Deep Neural Networks)并加快手动标注血管标签过程。
跨模态转移(图4左侧虚线框)利用不同视角的CF和FA图像，结合DNNS分割CF图像中的大血管，DNNs在有真实血管标签的CF图像上训练，并根据训练得到的模型对没有血管标签的CF图像进行血管分割。将分割得到的CF血管图与通过形态学方法的得到的初步的FA血管图像通过稳健的倒角距离匹配方法进行几何对齐，同时将血管图间的对齐关系应用到FA原图上得到一组FA训练数据(图4中的“FATraining Data”)，并将其用作初始标记数据。然后，采用人在回路学习(human-in-the-loop learning)方法进行相应的校正，首先对DNNs网络进行初始化，该DNNs是在从跨模态转移生成的(近似真实标签)标记数据上进行训练。然后，在每一次迭代中根据估计的血管图像与训练的血管图像之间的差异利用标注器进行校正以生成更为准确的血管图标签，这些改进的标签都被纳入到训练数据集中并应用到下一次迭代中以提高DNNs性能。对这个网络进行多次迭代，直到网络性能显着提高且标记数据的变化越来越少，并得到最终训练好的改进的DNNs和准确标记的大血管特征图。利用像素去反法将CF图像转换到近似FA图像后再利用改进的DNNs网络进行大血管分割。
S4，对大血管特征进行特征标记；
大血管特征包括血管形态、走行特征以及血管交叉点位，对S3得到分割得到的大血管特征，采用多边形标注方法对血管形态和走行特征进行特征标记，采用关键点标注方法对血管交叉点位进行特征标记。
S5，对特征标记进行配准和融合，得到眼底图像融合结果；
(1)采用SIFT方法对相同模态不同检测时间点的眼底图像(彩色眼底图像)对特征标记进行配准和融合，具体过程为：
(1.1)检测所述特征标记，得到特征点；SIFT构建高斯尺度空间来检测特征标记，高斯尺度空间的计算公式为：
L(x,y,σ)＝G(x,y,σ)*I(x,y)
G(x,y,σ)为尺度σ下的高斯卷积核，I(x,y)为尺度σ下的眼底图像，x,y为特征标记的坐标。
SIFT建立高斯差分尺度空间(DOG)，计算公式为：
D(x,y,σ)＝G(x,y,kσ)-G(x,y,σ)*I(x,y)＝L(x,y,kσ)-L(x,y,σ)
D(x,y,σ)为尺度因子为σ时的高斯差分尺度图像。
DOG中的每个极值点均可作为候选特征点，包括最大值和最小值，可通过比较像素在当前和相邻尺度的3*3邻域区域共26个像素得到。对极值点位置进行进一步调整，对尺度空间函数的二次泰勒展开式进行求导，使求导值为0，即可得到精确的极值点坐标和尺度构成的向量
求导公式为：
将精确定位后的极值点坐标和尺度带入上式，得到特征点精确定位后的灰度值，去除灰度值较小的特征点，防止噪声干扰。高斯差分函数在图像边缘处有很强的边缘效应，边缘效应产生的点位于图像的边缘，极大地干扰图像配准，需除去由边缘效应产生的候选特征点。边缘效应产生的候选特征点主曲率沿着边缘方向的时候比较大，沿着其它方向的比较小，根据以下公式的矩阵H可估计出该特征点的主曲率：
Tr(H)＝Dxx+Dyy＝α+β
|H|＝DxxDyy-(Dxy)2＝αβ
要检查特征点是否是边缘效应点，只需检查上式的最后一个公式是否乘积即可。其中，阈值r为10，去除最大主曲率与最小主曲率比值大于或等于10的候选特征点，去除边缘效应点，即可得到特征点。
(1.2)基于特征点，建立特征点描述子；首先将特征点周围采样点(16×16邻域内)的梯度减去特征点主方向，然后分别统计特征点周围16个等分模块中的8维梯度直方图，综合所有模块的梯度直方图得到128维的特征描述子，梯度计算公式为：
式中，L(x,y)为尺度空间下的灰度值，x,y为特征点的坐标。
(1.3)根据特征点描述子的相似程度匹配特征标记，得到匹配结果；采用欧氏距离法测量描述子之间的相似性，将最小欧式距离和次小欧式距离的比值大于0.8的点舍弃。
(1.4)对匹配结果的误匹配点对进行剔除，消除误匹配之后的匹配结果如图5所示，并基于剔除误匹配点对后的匹配结果构建变换矩阵；
采用一致采样算法(RANSAC)消除误匹配，其通过对随机采样匹配点对估计变换模型来寻找内点，内点的数量越多说明这个变换模型越符合这个图像的变换。RANSAC消除误匹配的实现步骤为：根据眼底图像的成像特点选择透视变换模型作为变换模型，从眼底图像所有的匹配点对中随机选择4对不共线的匹配点来确定透视变换模型的参数，得到空间变换矩阵。然后将待配准图中的所有特征点根据空间变换矩阵投影到源图中，计算所有特征点投影的坐标与参考图中匹配点的均方差，若误差小于阈值，则为该变换模型的内点。继续迭代进行上面的步骤，迭代次数的迭代次数k的值并不是固定不变的，迭代结束后则选择内点个数最多的变换矩阵作为最优变换矩阵。k的计算公式如下：
式中，w为内点个数占匹配点对数的比例，p为置信度。
(1.5)采用变换矩阵对待配准眼底图像进行空间变换，基于空间变换后的待配准眼底图像和源眼底图像，采用双线性插值法，得到眼底图像融合结果；
待匹配的眼底图像根据得到的变换矩阵进行空间变换后，得到的新坐标有可能是小同模态与多模态的眼底图像配准数，所以对变换后的图像需进一步进行图像插值处理，本实施例采用双线性插值法，将待配准图像放在经插值结束后得到的新的坐标位置，与源图像拼接起来，得到眼底图像融合的结果，融合结果如图6所示。
(2)采用D2net-Reject方法对同一眼睛不同模态的眼底图像进行配准和融合；
(2.1)采用D2net特征提取网络提取特征标记，得到特征点和特征描述符；
D2net特征提取网络是在ImageNet上预训练的VGG16网络结构改进的，网络的结构主要包含卷积层、池化层、激活函数层等，截取VGG16网络中conv4_3及之前的卷积层来用于初始化D2net特征提取网络，D2net能够提取特征点的同时进行特征描述，即能够同时得到特征点和特征描述符。
(2.2)基于特征点和特征描述符，采用最近邻匹配法，得到匹配对，最近邻匹配法的计算公式为：
式中，D(i,j1)为最近邻距离，D(i,j2)为次近邻距离，pi(k)为多维向量中指定的某个元素。
(2.3)采用平均距离匹配对粗筛选法对匹配对进行匹配对粗筛选；利用上述最近邻匹配算法得出最近邻和次近邻的特征点，并对所有最近邻和次近邻求差，将差值的平均即平均距离作为阈值，若最近距离与次近距离的比值小于该阈值，则认为最近距离的特征点是一个好的匹配点。
(2.4)采用Reject匹配对筛选网络剔除误匹配点对，结合变换模型，得到最终匹配点对；
Reject匹配对筛选网络网络框架如图7所示，主体是一个12层的ResNet，其中每一层包含两个连续的块，包括：128个神经元共享每个对应关系的权重感知器、上下文归一化层、批归一化层和RELU。在最后一个感知器之后，应用RELU，然后应用tanh激活函数以强制输出在范围[0，1]内，tanh相对于Sigmoid等其他激活函数，使得网络可以容易地输出ωi＝0(权重为0)以完全去除离群值。
Reject匹配对筛选网络网络将两个2D特征点(4×N values)之间的对应关系作为输入，并为每个对应关系产生一个权重，将其权重可能性编码为内层。每个对应关系都由权重共享感知机(P)独立处理，从而使网络对输入的排列保持不变。Reject匹配对筛选网络网络在每个感知器之后，根据特征图的分布对其进行归一化。因此，可以单独处理每一个对应关系，同时将其框定在由其余部分定义的全局上下文中。
(2.5)通过特征匹配后得到最终用于计算模型参数矩阵的匹配对，结合透视变换模型，得到待配准图像和源图像的坐标映射关系；基于所述坐标映射关系，采用双线性插值法，得到变换图像；将变换图像与源图像进行融合，得到眼底图像融合结果，多模态眼底图像融合结果如图8所示。
实施例二
本发明还公开一种多模态眼底图像配准和融合系统，包括：获取模块、预处理模块、分割模块、特征标记模块、配准融合模块；
获取模块用于获取眼底图像集；
预处理模块用于对眼底图像集进行预处理，得到处理眼底图像集；
分割模块用于对处理眼底图像集的大血管进行分割，得到大血管特征；
特征标记模块用于对大血管特征进行特征标记；
配准融合模块用于对特征标记进行配准和融合，得到眼底图像融合结果。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (9)
1.一种多模态眼底图像配准和融合方法，其特征在于，包括以下步骤：
获取眼底图像集；
对所述眼底图像集进行预处理，得到处理眼底图像集；
对所述处理眼底图像集的大血管进行分割，得到大血管特征；
对所述大血管特征进行特征标记；
对所述特征标记进行配准和融合，得到眼底图像融合结果。
2.根据权利要求1所述的多模态眼底图像配准和融合方法，其特征在于，所述眼底图像集包括同一眼睛不同模态的眼底图像和相同模态不同检测时间点的眼底图像。
3.根据权利要求1所述的多模态眼底图像配准和融合方法，其特征在于，所述预处理包括滤波和增强。
4.根据权利要求1所述的多模态眼底图像配准和融合方法，其特征在于，采用改进的DNNS血管分割网络和像素取反法对所述处理眼底图像集的大血管进行分割。
5.根据权利要求1所述的多模态眼底图像配准和融合方法，其特征在于，采用SIFT方法和D2net-Reject方法对所述特征标记进行配准和融合。
6.根据权利要求5所述的多模态眼底图像配准和融合方法，其特征在于，所述SIFT方法包括：
检测所述特征标记，得到特征点；
基于所述特征点，建立特征点描述子；
根据所述特征点描述子的相似程度匹配所述特征标记，得到匹配结果；
对所述匹配结果的误匹配点对进行剔除，并基于剔除所述误匹配点对后的所述匹配结果构建变换矩阵；
采用所述变换矩阵对待配准眼底图像进行空间变换，基于空间变换后的所述待配准眼底图像和源眼底图像，采用双线性插值法，得到眼底图像融合结果。
7.根据权利要求5所述的多模态眼底图像配准和融合方法，其特征在于，所述D2net-Reject方法包括：
采用D2net特征提取网络提取所述特征标记，得到特征点和特征描述符；
基于所述特征点和所述特征描述符，采用最近邻匹配法，得到匹配对；
采用平均距离匹配对粗筛选法对所述匹配对进行匹配对粗筛选；
采用Reject匹配对筛选网络剔除误匹配点对，结合变换模型，得到最终匹配点对；
基于所述最终匹配点对计算模型参数矩阵，结合透视变换模型，得到待配准图像和源图像的坐标映射关系；
基于所述坐标映射关系，采用双线性插值法，得到变换图像；
将所述变换图像与所述源图像进行融合，得到眼底图像融合结果。
8.根据权利要求1所述的多模态眼底图像配准和融合方法，其特征在于，所述大血管特征包括血管形态、走行特征以及血管交叉点位。
9.一种多模态眼底图像配准和融合系统，其特征在于，包括：获取模块、预处理模块、分割模块、特征标记模块、配准融合模块；
所述获取模块用于获取眼底图像集；
所述预处理模块用于对所述眼底图像集进行预处理，得到处理眼底图像集；
所述分割模块用于对所述处理眼底图像集的大血管进行分割，得到大血管特征；
所述特征标记模块用于对所述大血管特征进行特征标记；
所述配准融合模块用于对所述特征标记进行配准和融合，得到眼底图像融合结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211053619.XA CN115393239A (zh) | 2022-08-30 | 2022-08-30 | 一种多模态眼底图像配准和融合方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211053619.XA CN115393239A (zh) | 2022-08-30 | 2022-08-30 | 一种多模态眼底图像配准和融合方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115393239A true CN115393239A (zh) | 2022-11-25 |
Family
ID=84123676
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211053619.XA Pending CN115393239A (zh) | 2022-08-30 | 2022-08-30 | 一种多模态眼底图像配准和融合方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115393239A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116645349A (zh) * | 2023-05-29 | 2023-08-25 | 沈阳工业大学 | 一种提高血管三维显示效果的图像处理方法及系统 |
-
2022
- 2022-08-30 CN CN202211053619.XA patent/CN115393239A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116645349A (zh) * | 2023-05-29 | 2023-08-25 | 沈阳工业大学 | 一种提高血管三维显示效果的图像处理方法及系统 |
| CN116645349B (zh) * | 2023-05-29 | 2024-03-19 | 沈阳工业大学 | 一种提高血管三维显示效果的图像处理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107369160B (zh) | 一种oct图像中脉络膜新生血管分割算法 | |
| CN110390650B (zh) | 基于密集连接和生成对抗网络的oct图像去噪方法 | |
| WO2018082084A1 (zh) | 融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法 | |
| CN109272507B (zh) | 基于结构随机森林模型的相干光断层图像的层分割方法 | |
| Motta et al. | Vessel optimal transport for automated alignment of retinal fundus images | |
| CN111178369B (zh) | 一种医学影像的识别方法及系统、电子设备、存储介质 | |
| CN113826143A (zh) | 特征点检测 | |
| CN108618749B (zh) | 基于便携式数字化眼底照相机的视网膜血管三维重建方法 | |
| Hu et al. | Automated segmentation of 3-D spectral OCT retinal blood vessels by neural canal opening false positive suppression | |
| CN113643353B (zh) | 眼底图像的血管管径的增强分辨率的测量方法 | |
| CN112164043A (zh) | 一种用于多眼底图像拼接的方法及系统 | |
| CN113012173A (zh) | 基于心脏mri的心脏分割模型和病理分类模型训练、心脏分割、病理分类方法及装置 | |
| CN112102385A (zh) | 一种基于深度学习的多模态肝脏磁共振影像配准系统 | |
| Sakthivel et al. | An automated detection of glaucoma using histogram features | |
| Rodrigues et al. | Retinal vessel segmentation using parallel grayscale skeletonization algorithm and mathematical morphology | |
| CN114627067A (zh) | 一种基于图像处理的伤口面积测量及辅助诊疗方法 | |
| Senthilkumaran et al. | Brain image segmentation | |
| Biswal et al. | Robust retinal optic disc and optic cup segmentation via stationary wavelet transform and maximum vessel pixel sum | |
| CN115393239A (zh) | 一种多模态眼底图像配准和融合方法及系统 | |
| Hassan et al. | Automated segmentation and extraction of posterior eye segment using OCT scans | |
| CN108665474B (zh) | 一种基于b-cosfire的眼底图像视网膜血管分割方法 | |
| Krishnamoorthi et al. | Hybrid feature vector based detection of Glaucoma | |
| CN109919098B (zh) | 目标对象的识别方法和装置 | |
| Ullah et al. | Histogram equalization based enhancement and mr brain image skull stripping using mathematical morphology | |
| CN114627136B (zh) | 一种基于特征金字塔网络的舌象分割与对齐方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |