CN115409689A - 一种多模态视网膜眼底图像的配准方法及装置 - Google Patents
一种多模态视网膜眼底图像的配准方法及装置 Download PDFInfo
- Publication number
- CN115409689A CN115409689A CN202110590979.2A CN202110590979A CN115409689A CN 115409689 A CN115409689 A CN 115409689A CN 202110590979 A CN202110590979 A CN 202110590979A CN 115409689 A CN115409689 A CN 115409689A
- Authority
- CN
- China
- Prior art keywords
- image
- retinal fundus
- registered
- blood vessel
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 210000001525 retina Anatomy 0.000 title description 12
- 230000002207 retinal effect Effects 0.000 claims abstract description 93
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 59
- 238000012216 screening Methods 0.000 claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 44
- 230000009466 transformation Effects 0.000 claims abstract description 38
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 31
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000001914 filtration Methods 0.000 claims description 20
- 238000012163 sequencing technique Methods 0.000 claims description 9
- 238000000746 purification Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 230000004256 retinal image Effects 0.000 claims 2
- 238000004422 calculation algorithm Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 8
- 238000003491 array Methods 0.000 description 6
- 230000006872 improvement Effects 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000002146 bilateral effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 206010012689 Diabetic retinopathy Diseases 0.000 description 1
- 208000010412 Glaucoma Diseases 0.000 description 1
- 208000017442 Retinal disease Diseases 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 206010064930 age-related macular degeneration Diseases 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 208000002780 macular degeneration Diseases 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000001210 retinal vessel Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
- G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Eye Examination Apparatus (AREA)
Abstract
提供了一种多模态视网膜眼底图像的配准方法及装置。该方法包括：获取多模态的基准视网膜眼底图像和待配准的视网膜眼底图像；对获取的多模态的基准视网膜眼底图像和待配准的视网膜眼底图像进行血管提取，得到基准血管图和待配准血管图；对得到的基准血管图和待配准血管图进行配准操作，所述配准操作包括通过筛选操作得到正确配对的多个特征点；进行配准后处理操作，其中根据配准操作的结果，对待配准的视网膜眼底图像进行仿射变换得到变换后的视网膜眼底图像；将基准视网膜眼底图像与变换后的视网膜眼底图像用棋盘格显示模式进行显示，输出到显示设备。
Description
技术领域
本发明涉及计算机图像处理领域，具体而言，涉及一种多模态视网膜眼底图像配准的处理方法及装置。
背景技术
研究表明，糖尿病视网膜病变、老年性黄斑病变和青光眼等是导致人类视力障碍和老龄化人群失明的主要原因。而眼底图像中的视网膜血管是人体中可见的血管，因此视网膜眼底图像是辅助诊断视网膜疾病的重要依据，是眼科医生常用的一种标准的诊断影像，由各种眼底相机获取。在对视网膜眼底图像进行分析时，针对同一患者，会获取其在不同时期获取的同一模态或者不同模态的视网膜眼底图像，医生需要对这些不同模态的视网膜眼底图像进行分析来获取全面的患者信息，从而提高医疗诊断准确性。当定量分析这些图像时，要解决的第一个问题就是这些图像的配准问题。医学图像配准指的是通过寻求一种(或一系列)空间变换，使得两幅医学图像或者多幅医学图像上的对应点在空间位置上达到完全一致。因此需要对这些多模态的视网膜眼底图像进行配准，为后续的眼底病变检测和诊断做准备。
现有的视网膜眼底图像配准的方法主要分为基于灰度的方法和基于特征的方法。前者通常利用图像的灰度信息之间的差异来实现图像的配准，但是这种方法容易陷入一个局部极小值，同时对于两幅或者多幅不同模态的视网膜眼底图像来说，其灰度不在同一个灰度级内，因此这种方法不适用于多模态之间的图像配准；后者则是通过对基准图像和待配准图像进行特征提取，通过计算特征点之间的匹配程度来达到配准的目的，如提取图像的Harris角点特征或者提取图像的SIFT特征等，这类方法也存在配准精度差的问题，比如基于SIFT特征的方法对于特征点候选点的检测条件比较严格，在实际应用中，会导致检测出来的特征点数目太少，影响最终的配准精度，同时运行速度也会较长；而基于Harris的方法则是会出现较多的误判进而影响最终的配准精度。除此之外，这些方法大多是基于单一模态的视网膜眼底图像进行配准处理，比如用于彩色视网膜眼底图像，在多模态图像之间配准精度会很差。
总而言之，需要一种能够应用于多模态视网膜眼底图像的配准方法；当其应用于辅助医疗时，对辅助眼底疾病的早期发现、及时发现以及诊断有着重要意义。
发明内容
为解决上述问题，本发明的目的在于提供一种高精度的快速的能够用于不同模态视网膜眼底图像之间的配准方法，对来自同一患者的不同模态的视网膜眼底图像进行配准处理，以提供更加全面的患者信息给医生，辅助医生进行准确诊断。
为实现上述目的，需要建立起一种多模态视网膜眼底图像配准模型。本发明提供了一种多模态视网膜眼底图像的配准方法，其特征在于，包括以下步骤：一种多模态视网膜眼底图像的配准方法，其特征在于，包括以下步骤：步骤1，获取多模态/不同模态的基准视网膜眼底图像和待配准的视网膜眼底图像；对获取的多模态/不同模态的基准视网膜眼底图像和待配准的视网膜眼底图像进行血管提取，得到基准血管图和待配准血管图；步骤2，对得到的基准血管图和待配准血管图进行配准操作，所述配准操作包括通过一次或多次筛选操作得到正确配对的多个特征点；步骤3，进行配准后处理操作；所述配准后处理操作包括根据所得到的正确配对的多个特征点，得到仿射变换矩阵，对待配准的视网膜眼底图像进行仿射变换得到变换后的视网膜眼底图像；步骤4，将基准视网膜眼底图像与变换后的视网膜眼底图像用棋盘格显示模式进行显示，输出到显示设备。
作为本发明进一步的改进，步骤2的配准操作包括以下步骤：步骤2.1，对基准血管图和待配准血管图进行降采样，长宽各缩小一半；步骤2.2，根据ORB算法，提取所述降采样后的基准血管图中的多个Fast特征点和对应的BRIEF描述子组成第一组Fast特征点集合和第一组BRIEF描述子集合，同样根据ORB算法提取所述降采样后的待配准血管图中的相同数目的Fast特征点和对应的BRIEF描述子组成第二组Fast特征点集合和第二组BRIEF描述子集合，其中每一组的Fast特征点和BRIEF描述子是一一对应的；步骤2.3，建立用于保存最终Fast特征点的第一数组和第二数组，第一数组中的每个特征点和第二数组中的每个特征点是一一对应的；步骤2.4，进行筛选操作，根据BFMatcher算法，计算第一组BRIEF描述子集合中的BRIEF描述子和第二组BRIEF描述子中的BRIEF描述子的相似度，得到一组相似度分数；步骤2.5，对得到的一组相似度分数进行排序，排序方向为从大到小；步骤2.6，判断是否是第一次筛选，如果是，根据排序后的相似度分数的集合，获取排序为前35％的相似度分数对应的两组BRIEF描述子，这两组BRIEF描述子是一一对应的；如果否，根据排序后的相似度分数的集合，获取排序为前70％的相似度分数对应的两组BRIEF描述子；步骤2.7，根据获取的两组BRIEF描述子，分别获取对应的Fast特征点，所获取的两组Fast特征点是一一对应的；步骤2.8，根据RANSAC算法，对步骤2.7获取的两组Fast特征点进行提纯处理，筛选其中正确配对的特征点，分别放入所述第一数组和所述第二数组中；步骤2.9，判断上一步中剩余的每组Fast特征点个数是否小于阈值，如果大于阈值，则进行再一次的筛选，跳转到步骤2.4继续执行；如果小于阈值，就停止筛选。
作为本发明进一步的改进，步骤3的配准后处理操作包括以下步骤：步骤3.1，根据RANSAC算法，对步骤2.9筛选后得到的第一组Fast特征点和第二组Fast特征点进行最后一次提纯，避免遗漏错误配对的特征点；步骤3.2，对经过最后一次提纯的第一组Fast特征点和第二组Fast特征点中每个特征点对应的坐标(x,y)进行变换操作，其中变换操作为x和y的大小乘以2，得到两组变换后的坐标，其中两组变换后的坐标是一一对应的；步骤3.3，根据FindHomography函数对两组变换后的坐标进行计算，得到仿射变换矩阵；步骤3.4，根据步骤3.2得到的仿射变换矩阵对待配准的视网膜眼底图像进行仿射变换，得到变换后的视网膜眼底图像。
作为本发明进一步的改进，步骤1的血管提取包括以下步骤：对基准视网膜图像和待配准的视网膜图像进行灰度化处理，得到基准灰度图和待配准灰度图；对基准灰度图和待配准灰度图进行伽马变换；用对比度受限的自适应直方图均衡化对伽马变换后的图像进行处理，增强血管与背景之间的对比度；采用滤波操作来处理增强后的图像；使用匹配滤波将经过滤波操作处理后的图像进行最终处理，得到提取的基准血管图和待配准血管图。其中的滤波处理可以是先经过双边滤波，再经过高斯滤波。
其中提取的Fast特征点具备计算速度快，可提取数量多的特点：
其中步骤2中采用多次筛选的方式能够获取足够数量的且正确配对的两组特征点用来进行配准，并且多次筛选所需的时间能够满足应用的需求。
其中步骤2中采用多次筛选的方式能够用后续筛选来对前面筛选获取的特征点进行处理，删除其中错误配对的特征点，留下正确配对的特征点。
作为本发明进一步的改进，所述棋盘格显示模式，能够清晰呈现出配准效果，具体操作为建立一个显示图像模板，将模板分为N*N个相同大小的图像块(N为大于0的自然数)，然后分块依次显示基准视网膜眼底图像和变换后的视网膜眼底图像。所显示的可以是基准视网膜眼底图像和变换后的视网膜眼底图像中的感兴趣部分。
其中用棋盘格显示模式进行显示，是将图像输出到外部显示设备上。
本发明还提供了一种多模态视网膜眼底图像配准装置，其特征在于，包括：血管提取装置，获取多模态的基准视网膜眼底图像和待配准的视网膜眼底图像；对获取的多模态基准视网膜眼底图像和待配准的视网膜眼底图像进行血管提取，得到基准血管图和待配准血管图；配准装置，对得到的基准血管图和待配准血管图进行配准操作，所述配准操作包括通过一次或多次筛选操作得到正确配对的多个特征点；配准后处理装置，进行配准后处理操作；所述配准后处理操作包括根据所得到的正确配对的多个特征点，得到仿射变换矩阵，对待配准的视网膜眼底图像进行仿射变换得到变换后的视网膜眼底图像；显示装置，将基准视网膜眼底图像与变换后的视网膜眼底图像用棋盘格显示模式进行显示，输出到显示设备。
作为本发明进一步的改进，提供一种计算机存储介质，介质中存储有若干指令，当处理器执行上述指令时执行本申请各实施例所述方法的全部或部分步骤。
作为本发明进一步的改进，提供一种计算机设备，包括存储器、处理器及存储在存储器上被可在处理器上运行的计算机程序，所述处理器执行所述程序时执行本申请各实施例所述方法的全部或部分步骤。
本发明的有益效果为：本发明通过设计一种血管提取方法对多模态视网膜图像进行血管提取，并对ORB算法进行改进，首先保证能够提取到足够的特征点来进行配准，其次提高图像配准的运行速度满足应用需求，最后能够保证配准的精度。
附图说明
图1为本发明实施例所述的一种多模态视网膜眼底图像的配准方法的处理流程图。
图2示出了本发明实施例所述的血管提取阶段的处理流程图。
图3示出了本发明实施例所述的配准阶段的处理流程图。
图4示出了本发明实施例所述的配准后处理的处理流程图。
图5是本发明实施例生成的Fast特征点配对结果图。
图6是本发明实施例最终得到的配准效果图。
图7和图8是直接使用ORB算法进行配准得到的Fast特征点配对结果图以及配准效果图。
具体实施方式
下面将结合本发明实施例中的附图，对发明所公开的实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开所保护的范围。
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，在本发明的描述中，所用术语仅用于说明目的，并非旨在限制本公开的范围。术语“包括”和/或“包含”用于指定元件、步骤、操作和/或组件的存在，但并不排除存在或添加一个或多个其他元件、步骤、操作和/或组件的情况。术语“第一”、“第二”等可能用于描述各种元件，不代表顺序，且不对这些元件起限定作用。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个及两个以上。这些术语仅用于区分一个元素和另一个元素。结合以下附图，这些和/或其他方面变得显而易见，并且，本领域普通技术人员更容易理解关于本发明实施例的说明。附图仅出于说明的目的用来描绘本公开实施例。本领域技术人员将很容易地从以下说明中认识到，在不背离本公开原理的情况下，可以采用本发明所示结构和方法的替代实施例。
本发明一个实施例中的一种多模态视网膜眼底图像配准的处理方法的处理流程图，如图1所示。配准模型的处理流程共分为血管提取、配准、配准后处理三个主要阶段。
血管提取阶段的处理流程图，如图2所示，其具体流程为：获取多模态的基准视网膜眼底图像和待配准的视网膜眼底图像，将获取的图像都进行灰度化处理。对灰度化处理后的图像进行伽马(Gamma)变换。用对比度受限的自适应直方图均衡化(Contrast LimitedAdaptive Histogram Equalization,CLAHE)对Gamma变换处理后的图像进行处理，增强血管与背景之间的对比度。采用双边滤波以及高斯滤波处理增强后的图像，其中可以是先执行双边滤波，然后执行高斯滤波。使用匹配滤波将经过两次滤波处理后的图像进行最终处理，得到提取的血管图。
配准阶段的处理流程图，如图3所示，其具体流程为：
对提取到的血管图进行降采样处理，降采样为原尺寸大小的四分之一，即长宽各缩小一半。根据ORB(Oriented Fast and Rotated Brief)算法，提取基准血管图的多个Fast(Features from Accelerated Segment Test)特征点以及对应的多个BRIEF描述子得到第一组Fast特征点集合以及对应的BRIEF描述子集合。对待配准的血管图进行同样操作，得到第二组Fast特征点集合以及对应的BRIEF描述子集合。
建立用于保存最终特征点的两个数组A和B，A和B中每个特征点都是一一对应的。第一次筛选，首先根据BFMatcher算法计算两组BRIEF描述子的相似度，得到一组相似度分数。对得到的相似度分数进行排序处理，排序方向为从大到小。根据排序后的相似度分数，选择排序为前35％的相似度分数对应的两组BRIEF描述子，选择的这两组BRIEF描述子是一一对应的。并根据BRIEF描述子获取对应的Fast特征点，获取的这两组Fast特征点同样是一一对应的。根据RANSAC算法，对上一步获取的两组Fast特征点进行提纯处理，筛选其中正确配准的特征点，分别放入A和B中。判断上一步剩下的其中一组Fast特征点个数是否小于阈值。若大于阈值，则对剩下的两组Fast特征点以及对应的BRIEF描述子进行再次筛选；若小于阈值，则停止筛选。其中第二次筛选以及后续的筛选中，除了根据相似度分数选择排序为前70％的相似度分数对应的两组BRIEF描述子，其余步骤均与第一次筛选过程一致。
配准后处理的处理流程图，如图4所示，其具体流程为：根据RANSAC算法，对上一步获取的两组特征点进行最后一次提纯处理，筛选其中正确配对的特征点。对经过最后一次筛选后的两组数据A和B中每个特征点对应的坐标X和Y进行变换，即X和Y均乘以2。根据FindHomography函数对经过变换后的两组特征点数据A和B进行计算，得到仿射变换矩阵。根据仿射变换矩阵，对待配准原始视网膜眼底图像进行仿射变换得到变换后的视网膜眼底图像，具体操作为将待配准图像中的像素坐标根据公式(1)进行计算，得到变换后的新坐标。
其中公式(1)如下式所示：
若仿射变换矩阵表示为3*3的向量[a b c；d e f；g h i]，则将待转换坐标点的坐标转换到新的坐标点的坐标转换公式为：
point2.x＝(point1.x*a+point1.y*b+c)/(point1.x*g+point1.y*h+i)；
point2.y＝(point1.x*d+point1.y*e+f)/(point1.x*g+point1.y*h+i)；
其中point1为待配准图像中的待转换坐标点，point2为配准后图像的新的坐标点；x为x轴坐标，y为y轴坐标；a，b，c，d，e，f，g，h，i为仿射变换矩阵中的参数值。
使用棋盘格显示模式来显示最终配准结果，具体操作为建立一个图像模板，将模板分为8*8个相同大小的图像块，然后分块依次显示视网膜眼底图像和变换后的视网膜眼底图像。
配准的效果图如图5、图6、图7和图8所示：
其中图5是本方法生成的Fast特征点配对结果图；图6是本方法最终得到的配准效果图；图7和图8是直接使用ORB算法进行配准得到的Fast特征点配对结果图以及配准效果图。
根据本发明一个实施例中的一种多模态视网膜眼底图像配准的处理方法，具体的流程如下：
本实施例使用来自同一患者的两种不同模态的视网膜眼底图像，待配准图像为医院拍摄的彩色视网膜眼底图像，基准图像为来自南京博视医疗科技有限公司的SLO眼底图像。其中彩色视网膜眼底图像的分辨率为1908*1810，SLO眼底图像的分辨率为1024*1024(这里的单位是像素点)。
1、血管提取：
1.1、首先对输入的待配准图像和基准图像这两幅图像进行灰度化处理，转化为灰度图像。
1.2、对两幅灰度图像进行Gamma变换，sigma值为1.1。
1.3、用对比度受限的自适应直方图均衡化(CLAHE)对Gamma变换后的图像进行处理，增强血管与背景之间的对比度。
1.4、使用双边滤波、高斯滤波对增强后的图像进行滤波处理。
1.5、使用匹配滤波进行滤波处理得到提取的基准血管图和待配准血管图。
2、配准：
2.1、对提取到两幅血管图进行降采样处理，长宽分别缩小为原尺寸大小的一半。
2.2、根据ORB算法，提取所述降采样后的基准血管图中的4000个Fast特征点和对应的BRIEF描述子组成第一组Fast特征点集合和第一组BRIEF描述子集合，同样提取所述降采样后的待配准血管图中的相同数目的Fast特征点和对应的BRIEF描述子组成第二组Fast特征点集合和第二组BRIEF描述子集合，其中每一组的Fast特征点和BRIEF描述子是一一对应的。
2.3、建立用于保存最终特征点的两个数组A和B，A和B中每个特征点都是一一对应的。
2.4、第一次筛选，首先根据BFMatcher算法(该算法为OpenCV算法库的算法，可以直接调用)计算两组BRIEF描述子的相似度，得到一组相似度分数，例如两组BRIEF描述子中的一对特征点描述子如下：
a:10101011
b:10101010
则该对特征点描述子的相似度分数为0.875。
2.5、对得到的相似度分数进行排序处理，排序方向为从大到小。
2.6、根据排序后的相似度分数，选择排序为前35％的相似度分数对应的两组BRIEF描述子，所选择的这两组BRIEF描述子是一一对应的。
2.7、根据所选择的BRIEF描述子获取对应的Fast特征点，获取的这两组Fast特征点同样是一一对应的。根据RANSAC算法，对上一步获取的两组Fast特征点进行提纯处理，筛选其中正确配准的特征点，分别放入数组A和B中。
2.8、判断上一步剩下的其中一组Fast特征点的个数是否小于10。若大于10，则对剩下的两组Fast特征点以及对应的BRIEF描述子进行再次筛选；若小于10，则停止筛选。其中第二次筛选以及后续的筛选中，除了根据相似度分数选择排序为前70％的相似度分数对应的两组BRIEF描述子，其余步骤均与第一次筛选过程一致。关于阈值选择为10，是因为如果剩下的个数过少，则无法满足提纯处理的基本需求。
3、配准后处理：
3.1、根据RANSAC算法，对上一步获取的两组特征点进行最后一次提纯处理，筛选其中正确配对的特征点。对经过最后一次筛选后的两组数据A和B中每个特征点对应的坐标X和Y进行变换，即X和Y均乘以2.
3.2、根据FindHomography函数对经过变换后的两组特征点数组A和B进行计算，得到仿射变换矩阵。仿射变换矩阵与数组A和B之间的关系如下式所示：
其中(X’,Y’)表示数组A中的特征点的坐标，(X,Y)表示数据B中的特征点坐标，H为仿射变换矩阵，H是一个3*3大小的矩阵。
根据仿射变换矩阵，对待配准的原始视网膜眼底图像进行仿射变换得到变换后的视网膜眼底图像。
3.3、使用棋盘格显示模式来显示最终配准结果，具体操作为建立一个图像模板，将模板分为4*4个相同大小的图像块，然后分块依次显示视网膜眼底图像和变换后的视网膜眼底图像。所显示的可以是基准视网膜眼底图像和变换后的视网膜眼底图像中的感兴趣部分。
采用本发明所述的实施例，具有以下特点：本发明设计一种图像配准方法，能够对来自同一患者的同一模态或者不同模态的视网膜眼底图像进行配准处理，提供更加全面的患者信息给医生进行准确诊断。与现有只进行一次筛选就配准的技术相比，本方法通过多次筛选的方式来保证获取足够的正确配对的特征点用于配准的仿射变换，并且后续筛选能够将前面的筛选获取的特征点中错误配对的特征点进行删除，与提取SIFT特征的方法相比，本方法使用Fast特征点来进行配准，第一Fast特征点计算速度快，第二能够获取足够的Fast特征点用于筛选处理。除此之外，能够快速提取的Fast特征以及本方法采用多次递减的筛选方式，即每一次都从上次剩下的特征点中选取部分特征点进行筛选，在保证能够筛选到足够的正确配对的特征点的同时，保证方法的运行时间满足实际应用的需求。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本公开的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
此外，本领域普通技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本领域技术人员应理解，尽管已经参考示例性实施例描述了本公开，但是在不脱离本发明的范围的情况下，可进行各种改变并可用等同物替换其元件。另外，在不脱离本发明的实质范围的情况下，可进行许多修改以使特定情况或材料适应本发明的教导。因此，本发明不限于所公开的特定实施例，而是本发明将包括落入所附权利要求范围内的所有实施例。
Claims (10)
1.一种多模态视网膜眼底图像的配准方法，其特征在于，包括以下步骤：
步骤1，获取多模态的基准视网膜眼底图像和待配准的视网膜眼底图像；对获取的多模态的基准视网膜眼底图像和待配准的视网膜眼底图像进行血管提取，得到基准血管图和待配准血管图；
步骤2，对得到的基准血管图和待配准血管图进行配准操作，所述配准操作包括通过一次或多次筛选操作得到正确配对的多个特征点；
步骤3，进行配准后处理操作；所述配准后处理操作包括根据所得到的正确配对的多个特征点，得到仿射变换矩阵，对待配准的视网膜眼底图像进行仿射变换得到变换后的视网膜眼底图像；
步骤4，将基准视网膜眼底图像与变换后的视网膜眼底图像输出到显示设备。
2.根据权利要求1所述的多模态视网膜眼底图像的配准方法，其特征在于，步骤2的配准操作包括以下步骤：
步骤2.1，对基准血管图和待配准血管图进行降采样；
步骤2.2，提取所述降采样后的基准血管图中的多个Fast特征点和对应的BRIEF描述子组成第一组Fast特征点集合和第一组BRIEF描述子集合，提取所述降采样后的待配准血管图中的相同数目的Fast特征点和对应的BRIEF描述子组成第二组Fast特征点集合和第二组BRIEF描述子集合；
步骤2.3，建立用于保存最终Fast特征点的第一数组和第二数组，第一数组中的每个特征点和第二数组中的每个特征点是一一对应的；
步骤2.4，计算第一组BRIEF描述子集合中的BRIEF描述子和第二组BRIEF描述子中的BRIEF描述子的相似度，得到一组相似度分数；
步骤2.5，对得到的一组相似度分数进行排序，排序方向为从大到小；
步骤2.6，判断是否是第一次筛选，如果是，根据排序后的相似度分数的集合，获取排序为前第一预定百分比的相似度分数对应的两组BRIEF描述子，这两组BRIEF描述子是一一对应的；如果否，根据排序后的相似度分数的集合，获取排序为前第二预定百分比的相似度分数对应的两组BRIEF描述子；
步骤2.7，根据获取的两组BRIEF描述子，分别获取对应的Fast特征点，所获取的两组Fast特征点是一一对应的；
步骤2.8，对步骤2.7获取的两组Fast特征点进行提纯处理，筛选其中正确配对的特征点，分别放入所述第一数组和所述第二数组中；
步骤2.9，判断上一步中剩余的每组Fast特征点个数是否小于阈值，如果大于阈值，则进行再一次的筛选，跳转到步骤2.4继续执行；如果小于阈值，就停止筛选。
3.根据权利要求2所述的多模态视网膜眼底图像的配准方法，其特征在于，步骤3的配准后处理操作包括以下步骤：
步骤3.1，对步骤2.9停止筛选后得到的第一组Fast特征点和第二组Fast特征点进行最后一次提纯；
步骤3.2，对经过最后一次提纯的第一组Fast特征点和第二组Fast特征点中每个特征点对应的坐标进行变换操作，得到两组变换后的坐标；
步骤3.3，对两组变换后的坐标进行计算，得到仿射变换矩阵；
步骤3.4，根据步骤3.3得到的仿射变换矩阵对待配准的视网膜眼底图像进行仿射变换，得到变换后的视网膜眼底图像。
4.根据权利要求1所述的多模态视网膜眼底图像的配准方法，其特征在于，步骤1的血管提取包括以下步骤：
对基准视网膜图像和待配准的视网膜图像进行灰度化处理，得到基准灰度图和待配准灰度图；
对基准灰度图和待配准灰度图进行伽马变换；
用对比度受限的自适应直方图均衡化对伽马变换后的图像进行处理，增强血管与背景之间的对比度；
采用滤波操作来处理增强后的图像；
使用匹配滤波将经过滤波操作处理后的图像进行最终处理，得到提取的基准血管图和待配准血管图。
5.根据权利要求1所述的多模态视网膜眼底图像的配准方法，其特征在于，步骤4中，将视网膜眼底图像使用棋盘格显示模式进行显示，具体操作为：建立一个显示图像模板，将模板分为N*N个相同大小的图像块，然后分块依次显示基准视网膜眼底图像和变换后的视网膜眼底图像。
6.根据权利要求2所述的多模态视网膜眼底图像的配准方法，其特征在于，所述前第一预定百分比为前35％，所述前第二预定百分比为前70％。
7.根据权利要求3所述的多模态视网膜眼底图像的配准方法，其特征在于，所述仿射变换矩阵表示为3*3的向量[a b c；d e f；g h i]，其中a，b，c，d，e，f，g，h，i为仿射变换矩阵中的参数值。
8.一种多模态视网膜眼底图像的配准装置，其特征在于，包括：
血管提取装置，获取多模态的基准视网膜眼底图像和待配准的视网膜眼底图像；对获取的多模态基准视网膜眼底图像和待配准的视网膜眼底图像进行血管提取，得到基准血管图和待配准血管图；
配准装置，对得到的基准血管图和待配准血管图进行配准操作，所述配准操作包括通过一次或多次筛选操作得到正确配对的多个特征点；
配准后处理装置，进行配准后处理操作；所述配准后处理操作包括根据所得到的正确配对的多个特征点，得到仿射变换矩阵，对待配准的视网膜眼底图像进行仿射变换得到变换后的视网膜眼底图像；
显示装置，用于对基准视网膜眼底图像与变换后的视网膜眼底图像进行显示。
9.根据权利要求8所述的多模态视网膜眼底图像的配准装置，其特征在于，配准装置的配准操作包括以下步骤：
步骤2.1，对基准血管图和待配准血管图进行降采样；
步骤2.2，提取所述降采样后的基准血管图中的多个Fast特征点和对应的BRIEF描述子组成第一组Fast特征点集合和第一组BRIEF描述子集合，提取所述降采样后的待配准血管图中的相同数目的Fast特征点和对应的BRIEF描述子组成第二组Fast特征点集合和第二组BRIEF描述子集合；
步骤2.3，建立用于保存最终Fast特征点的第一数组和第二数组，第一数组中的每个特征点和第二数组中的每个特征点是一一对应的；
步骤2.4，计算第一组BRIEF描述子集合中的BRIEF描述子和第二组BRIEF描述子中的BRIEF描述子的相似度，得到一组相似度分数；
步骤2.5，对得到的一组相似度分数进行排序，排序方向为从大到小；
步骤2.6，判断是否是第一次筛选，如果是，根据排序后的相似度分数的集合，获取排序为前第一预定百分比的相似度分数对应的两组BRIEF描述子，这两组BRIEF描述子是一一对应的；如果否，根据排序后的相似度分数的集合，获取排序为前第二预定百分比的相似度分数对应的两组BRIEF描述子；
步骤2.7，根据获取的两组BRIEF描述子，分别获取对应的Fast特征点，所获取的两组Fast特征点是一一对应的；
步骤2.8，对步骤2.7获取的两组Fast特征点进行提纯处理，筛选其中正确配对的特征点，分别放入所述第一数组和所述第二数组中；
步骤2.9，判断上一步中剩余的每组Fast特征点个数是否小于阈值，如果大于阈值，则进行再一次的筛选，跳转到步骤2.4继续执行；如果小于阈值，就停止筛选。
10.根据权利要求9所述的多模态视网膜眼底图像的配准装置，其特征在于，配准后处理装置的配准后处理操作包括以下步骤：
步骤3.1，对步骤2.9停止筛选后得到的第一组Fast特征点和第二组Fast特征点进行最后一次提纯；
步骤3.2，对经过最后一次提纯的第一组Fast特征点和第二组Fast特征点中每个特征点对应的坐标进行变换操作，得到两组变换后的坐标；
步骤3.3，对两组变换后的坐标进行计算，得到仿射变换矩阵；
步骤3.4，根据步骤3.3得到的仿射变换矩阵对待配准的视网膜眼底图像进行仿射变换，得到变换后的视网膜眼底图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110590979.2A CN115409689B (zh) | 2021-05-28 | 2021-05-28 | 一种多模态视网膜眼底图像的配准方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110590979.2A CN115409689B (zh) | 2021-05-28 | 2021-05-28 | 一种多模态视网膜眼底图像的配准方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115409689A true CN115409689A (zh) | 2022-11-29 |
| CN115409689B CN115409689B (zh) | 2023-09-29 |
Family
ID=84155275
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110590979.2A Active CN115409689B (zh) | 2021-05-28 | 2021-05-28 | 一种多模态视网膜眼底图像的配准方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115409689B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030190091A1 (en) * | 2002-04-08 | 2003-10-09 | Stewart Charles V. | Dual bootstrap iterative closest point method and algorithm for image registration |
| CN103839265A (zh) * | 2014-02-26 | 2014-06-04 | 西安电子科技大学 | 基于sift和归一化互信息的sar图像配准方法 |
| US20150049174A1 (en) * | 2013-08-13 | 2015-02-19 | Korea Institute Of Science And Technology | System and method for non-invasive patient-image registration |
| CN107610164A (zh) * | 2017-09-11 | 2018-01-19 | 北京空间飞行器总体设计部 | 一种基于多特征混合的高分四号影像配准方法 |
| CN108182686A (zh) * | 2017-12-28 | 2018-06-19 | 山东师范大学 | 基于曲线群匹配的oct眼底图像半自动分割方法和装置 |
| CN110415216A (zh) * | 2019-07-01 | 2019-11-05 | 南京理工大学 | 基于sd-oct和octa视网膜图像的cnv自动检测方法 |
| CN110827332A (zh) * | 2019-10-09 | 2020-02-21 | 哈尔滨工程大学 | 一种基于卷积神经网络的sar图像的配准方法 |
| WO2020106792A1 (en) * | 2018-11-21 | 2020-05-28 | University Of Washington | System and method for retina template matching in teleophthalmology |
| CN111553939A (zh) * | 2020-04-21 | 2020-08-18 | 东南大学 | 一种多目摄像机的图像配准算法 |
| CN111833237A (zh) * | 2020-01-19 | 2020-10-27 | 宁波大学 | 基于卷积神经网络和局部单应性变换的图像配准方法 |
| CN112330638A (zh) * | 2020-11-09 | 2021-02-05 | 苏州大学 | 一种视网膜oct图像水平配准和图像增强方法 |
-
2021
- 2021-05-28 CN CN202110590979.2A patent/CN115409689B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030190091A1 (en) * | 2002-04-08 | 2003-10-09 | Stewart Charles V. | Dual bootstrap iterative closest point method and algorithm for image registration |
| US20150049174A1 (en) * | 2013-08-13 | 2015-02-19 | Korea Institute Of Science And Technology | System and method for non-invasive patient-image registration |
| CN103839265A (zh) * | 2014-02-26 | 2014-06-04 | 西安电子科技大学 | 基于sift和归一化互信息的sar图像配准方法 |
| CN107610164A (zh) * | 2017-09-11 | 2018-01-19 | 北京空间飞行器总体设计部 | 一种基于多特征混合的高分四号影像配准方法 |
| CN108182686A (zh) * | 2017-12-28 | 2018-06-19 | 山东师范大学 | 基于曲线群匹配的oct眼底图像半自动分割方法和装置 |
| WO2020106792A1 (en) * | 2018-11-21 | 2020-05-28 | University Of Washington | System and method for retina template matching in teleophthalmology |
| CN110415216A (zh) * | 2019-07-01 | 2019-11-05 | 南京理工大学 | 基于sd-oct和octa视网膜图像的cnv自动检测方法 |
| CN110827332A (zh) * | 2019-10-09 | 2020-02-21 | 哈尔滨工程大学 | 一种基于卷积神经网络的sar图像的配准方法 |
| CN111833237A (zh) * | 2020-01-19 | 2020-10-27 | 宁波大学 | 基于卷积神经网络和局部单应性变换的图像配准方法 |
| CN111553939A (zh) * | 2020-04-21 | 2020-08-18 | 东南大学 | 一种多目摄像机的图像配准算法 |
| CN112330638A (zh) * | 2020-11-09 | 2021-02-05 | 苏州大学 | 一种视网膜oct图像水平配准和图像增强方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张二虎西安交通大学生命科学与技术学院, 卞正中, 张燕, 段敬红, 吴学毅: "基于ICP和SVD的视网膜图像特征点配准算法", 小型微型计算机系统, no. 10, pages 1811 - 1813 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115409689B (zh) | 2023-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108198184B (zh) | 造影图像中血管分割的方法和系统 | |
| Niemeijer et al. | Segmentation of the optic disc, macula and vascular arch in fundus photographs | |
| Zhao et al. | Saliency driven vasculature segmentation with infinite perimeter active contour model | |
| Tian et al. | Multi-path convolutional neural network in fundus segmentation of blood vessels | |
| Diniz et al. | Detection of white matter lesion regions in MRI using SLIC0 and convolutional neural network | |
| US11783488B2 (en) | Method and device of extracting label in medical image | |
| CN110838114B (zh) | 肺结节检测方法、装置及计算机存储介质 | |
| EP2624009B1 (en) | Method and apparatus for obtaining symmetry information of objects | |
| CN110738643A (zh) | 脑出血的分析方法、计算机设备和存储介质 | |
| Sun et al. | A magnified adaptive feature pyramid network for automatic microaneurysms detection | |
| Zhao et al. | Attention residual convolution neural network based on U-net (AttentionResU-Net) for retina vessel segmentation | |
| WO2020114346A1 (zh) | 中医舌诊舌尖红检测装置、方法及计算机存储介质 | |
| Onkaew et al. | Automatic extraction of retinal vessels based on gradient orientation analysis | |
| CN108665474A (zh) | 一种基于b-cosfire的眼底图像视网膜血管分割方法 | |
| Kim et al. | Automatic localization of anatomical landmarks in cardiac MR perfusion using random forests | |
| Lima et al. | A semiautomatic segmentation approach to corneal lesions | |
| Shyla et al. | Glaucoma detection and classification using modified level set segmentation and pattern classification neural network | |
| Liu et al. | Retinal vessel segmentation using densely connected convolution neural network with colorful fundus images | |
| CN115409689B (zh) | 一种多模态视网膜眼底图像的配准方法及装置 | |
| Yang et al. | Detection of microaneurysms and hemorrhages based on improved Hessian matrix | |
| Rodtook et al. | Optic disc localization using graph traversal algorithm along blood vessel in polar retinal image | |
| Akram et al. | Microaneurysm detection for early diagnosis of diabetic retinopathy | |
| Medhi et al. | Automatic detection of fovea using property of vessel free region | |
| Xiang et al. | Segmentation of retinal blood vessels based on divergence and bot-hat transform | |
| Nazari et al. | Segmentation of retinal blood vessels by top-hat multi-scale detection for optic disc removal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |