CN109658393B - 眼底图像拼接方法及系统 - Google Patents

眼底图像拼接方法及系统 Download PDF

Info

Publication number
CN109658393B
CN109658393B CN201811485535.7A CN201811485535A CN109658393B CN 109658393 B CN109658393 B CN 109658393B CN 201811485535 A CN201811485535 A CN 201811485535A CN 109658393 B CN109658393 B CN 109658393B
Authority
CN
China
Prior art keywords
image
blood vessel
fundus
registered
optimal reference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811485535.7A
Other languages
English (en)
Other versions
CN109658393A (zh
Inventor
高孟娣
姜泓羊
杨康
代黎明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhizhen Health Technology Co ltd
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201811485535.7A priority Critical patent/CN109658393B/zh
Publication of CN109658393A publication Critical patent/CN109658393A/zh
Application granted granted Critical
Publication of CN109658393B publication Critical patent/CN109658393B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种眼底图像拼接方法及系统，方法包括：读取采集到的多张眼底图像，由多张眼底图像中选取一张眼底图像作为图像配准的最佳基准图；采用基于Segnet图像分割模型的血管提取算法，对最佳基准图进行血管影像提取，获取相应的最佳基准血管影像，并对其余的每一张眼底图像均进行血管影像提取，获取相应的眼底血管影像作为待配准图；基于对数极坐标，对每一张待配准图均与最佳基准血管影像进行图像配准，得到相应的配准影像图；对于多张配准影像图，采用基于距离矩阵的像素值加权融合方法，对多张配准影像图进行加权融合，得到最终的眼底图像拼接图。其有效提高了拼接图的质量，解决了传统的眼底图像拼接方法具有一定局限性的问题。

Description

眼底图像拼接方法及系统
技术领域
本发明涉及医学图像处理技术领域，特别是涉及一种眼底图像拼接方法及系统。
背景技术
新生儿眼底图像在新生儿眼科是一个客观、标准的辅助诊断方法，作为全身唯一可直接观察到的血管，视网膜血管是评估全身微血管功能的有效指标，且检查方法简单、无创。因此，拍摄出的新生儿眼底图像不仅可以记录新生儿出生时的眼部情况，同时便于远程会诊并保留循证医学依据，为新生儿眼病筛查、视网膜疾病诊断治疗以及病理机制探索提供了丰富的信息。在拍摄眼底图像过程中，由于新生儿眼底的视网膜色泽较成人浅，整个眼底呈轻度豹纹状，视盘面积小，形态不规则，动静脉血管区分不明显，弯曲度大，黄斑周边部突翘，呈球状，中央凹反光，玻璃体动脉残留等特点，所拍摄出来的眼底图像往往模糊失真，噪声污染，图像对比度不高等，因此，需要进行多个角度的眼底成像，通过数量弥补质量的缺陷。
但是，采用多个角度拍摄眼底图像，通过数量弥补质量的缺陷时，仍不可避免的出现眼底影像信息的丢失，难以保证眼底影像信息的完整性。并且，在诊疗过程中医生观测多张影像，不仅降低了医生的阅片效率，而且可能忽略某些内在因素而造成误诊。因此，为了扩大视野，更有助于根据眼底图像对病理进行分析和诊断，通常需要对多张眼底图像进行拼接。
目前，所采用的眼底图像拼接方法大多基于相位相关法及数学形态学方法的眼底图像自动拼接，或采用基于图像特征点拼接的方法。但是，基于相位相关法及数学形态学方法的眼底图像自动拼接无法考虑两幅图像之间相对旋转的问题，基于图像特征点拼接的方法则需要依赖于血管或交叉特征提取的精度，这就限制了上述方法在临床上的应用，并且影响了眼底图像的准确性。
发明内容
基于此，有必要针对传统的眼底图像拼接方法具有一定的局限性的问题，提供一种眼底图像拼接方法及系统。
基于上述目的，本发明提供的一种眼底图像拼接方法，包括如下步骤：
读取采集到的多张眼底图像，由多张所述眼底图像中选取一张眼底图像作为图像配准的最佳基准图；
采用基于Segnet图像分割模型的血管提取算法，对所述最佳基准图进行血管影像提取，获取相应的最佳基准血管影像，并对其余的每一张所述眼底图像均进行血管影像提取，获取相应的眼底血管影像作为待配准图；
基于对数极坐标，对每一张所述待配准图均与所述最佳基准血管影像进行图像配准，得到相应的配准影像图；
对于多张所述配准影像图，采用基于距离矩阵的像素值加权融合方法，对多张所述配准影像图进行加权融合，得到最终的眼底图像拼接图。
在其中一个实施例中，所述由多张所述眼底图像中选取一张眼底图像作为图像配准的最佳基准图，包括如下步骤：
获取每一张所述眼底图像的图像中心点，并使用目标检测模型定位出每一张所述眼底图像的视盘中心点；
计算每一张所述眼底图像中，所述视盘中心点与所述图像中心点的欧式距离关系；
根据每一张所述眼底图像的所述欧式距离关系确定所述最佳基准图。
在其中一个实施例中，所述根据每一张所述眼底图像的所述欧式距离关系确定所述最佳基准图，包括如下步骤：
对计算获取的多个所述欧式距离关系进行大小顺序的排列；
按照排列顺序确定多个所述欧式距离关系中的最小距离值；
选取所述最小距离值对应的所述眼底图像作为所述最佳基准图。
在其中一个实施例中，所述采用基于Segnet图像分割模型的血管提取算法，对所述最佳基准图进行血管影像提取，获取相应的最佳基准血管影像，包括如下步骤：
采用限制对比度自适应直方图增强法对所述最佳基准图进行增强处理，获取最佳基准增强图；
使用Segnet图像语义分割网络训练带有血管金标注的眼底图像得到相应的所述Segnet图像分割模型，并使用所述Segnet图像分割模型对所述最佳基准增强图进行血管分割，得到血管分割后的所述最佳基准增强图；
使用基于形态学算子的细化和毛刺去除算法对血管分割后的所述最佳基准增强图进行血管细化和毛刺去除，得到所述最佳基准血管影像。
在其中一个实施例中，所述基于对数极坐标，对每一张所述待配准图均与所述最佳基准血管影像进行图像配准，得到相应的配准影像图，包括如下步骤：
通过快速傅里叶变换，将所述最佳基准血管影像和所述待配准图变换到频域空间上，得到频域空间下的所述最佳基准血管影像和所述待配准图；
将所述频域空间下的所述最佳基准血管影像和所述待配准图从笛卡尔直角坐标系变换到极坐标系下，得到极坐标系下的所述最佳基准血管影像和所述极坐标系下的所述待配准图，并通过相位相关法，计算出所述极坐标系下的所述待配准图相对于所述极坐标系下的所述最佳基准血管影像的旋转角度θ和缩放系数ρ；
基于计算出的所述旋转角度θ和所述缩放系数ρ，将所述频域空间下的所述待配准图旋转-θ，并缩放至1/ρ尺寸，得到旋转缩放后的所述待配准图；
将旋转缩放后的所述待配准图进行逆快速傅里叶变换，得到逆变换待配准图，并在直角坐标系下，通过所述相位相关法，计算出所述逆变换待配准图相对于所述最佳基准血管影像的水平距离分量Δx和垂直距离分量Δy；
根据计算得到的所述旋转角度、所述缩放系数、所述水平距离分量和所述垂直距离分量，对所述待配准图与所述最佳基准血管影像进行图像配准，得到相应的所述配准影像图。
在其中一个实施例中，所述对于多张所述配准影像图，采用基于距离矩阵的像素值加权融合方法，对多张所述配准影像图进行加权融合，得到最终的眼底图像拼接图，包括如下步骤：
根据公式：
Figure BDA0001894384970000041
f(Iref,Isense,x,y)＝wref(x,y)·Iref(x,y)+wsense(x,y)·Isense(x,y)；
Figure BDA0001894384970000042
Figure BDA0001894384970000043
对所述配准影像图进行加权融合，得到所述眼底图像拼接图；
其中，Iref表征多张所述配准影像图中待加权融合的第一配准影像图；Isense表征多张所述配准影像图中待加权融合的第二配准影像图；Imerge表征加权融合后的所述眼底图像拼接图；dref(x,y)表征点(x，y)到所述第一配准影像图的轮廓的最短欧式距离；dsense(x,y)表征点(x，y)到所述第二配准影像图的轮廓的最短欧式距离；wref表征第一加权系数，wsense表征第二加权系数，且wref+wsense＝1。
相应的，基于同一发明构思，本发明还提供了一种眼底图像拼接系统，包括图像选取模块、血管提取模块、图像配准模块和图像拼接模块；
其中，所述图像选取模块，用于读取采集到的多张眼底图像，由多张所述眼底图像中选取一张眼底图像作为图像配准的最佳基准图；
所述血管提取模块，用于采用基于Segnet图像分割模型的血管提取算法，对所述最佳基准图进行血管影像提取，获取相应的最佳基准血管影像，并对其余的每一张所述眼底图像均进行血管影像提取，获取相应的眼底血管影像作为待配准图；
所述图像配准模块，用于基于对数极坐标，对每一张所述待配准图均与所述最佳基准血管影像进行图像配准，得到相应的配准影像图；
所述图像拼接模块，用于对于多张所述配准影像图，采用基于距离矩阵的像素值加权融合方法，对多张所述配准影像图进行加权融合，得到最终的眼底图像拼接图。
在其中一个实施例中，所述图像选取模块包括视盘定位子模块、欧式距离计算子模块和最佳基准图确定子模块；
所述视盘定位子模块，用于获取每一张所述眼底图像的图像中心点，并使用目标检测模型定位出每一张所述眼底图像的视盘中心点；
所述欧式距离计算子模块，用于计算每一张所述眼底图像中，所述视盘中心点与所述图像中心点的欧式距离关系；
所述最佳基准图确定子模块，用于根据每一张所述眼底图像的所述欧式距离关系确定所述最佳基准图。
在其中一个实施例中，所述血管提取模块包括图像增强子模块、血管分割子模块和细化去除子模块；
其中，所述图像增强子模块，用于采用限制对比度自适应直方图增强法对所述最佳基准图进行增强处理，获取最佳基准增强图；
所述血管分割子模块，用于使用Segnet图像语义分割网络训练带有血管金标注的眼底图像得到相应的所述Segnet图像分割模型，并使用所述Segnet图像分割模型对所述最佳基准增强图进行血管分割，得到血管分割后的所述最佳基准增强图；
所述细化去除子模块，用于使用基于形态学算子的细化和毛刺去除算法对血管分割后的所述最佳基准增强图进行血管细化和毛刺去除，得到所述最佳基准血管影像。
在其中一个实施例中，所述图像配准模块包括傅里叶变换子模块、第一计算子模块、旋转缩放子模块、第二计算子模块和图像配准子模块；
其中，所述傅里叶变换子模块，用于通过快速傅里叶变换，将所述最佳基准血管影像和所述待配准图变换到频域空间上，得到频域空间下的所述最佳基准血管影像和所述待配准图；
所述第一计算子模块，用于将所述频域空间下的所述最佳基准血管影像和所述待配准图从笛卡尔直角坐标系变换到极坐标系下，得到极坐标系下的所述最佳基准血管影像和所述极坐标系下的所述待配准图，并通过相位相关法，计算出所述极坐标系下的所述待配准图相对于所述极坐标系下的所述最佳基准血管影像的旋转角度θ和缩放系数ρ；
所述旋转缩放子模块，用于基于计算出的所述旋转角度θ和所述缩放系数ρ，将所述频域空间下的所述待配准图旋转-θ，并缩放至1/ρ尺寸，得到旋转缩放后的所述待配准图；
所述第二计算子模块，用于将旋转缩放后的所述待配准图进行逆快速傅里叶变换，得到逆变换待配准图，并在直角坐标系下，通过所述相位相关法，计算出所述逆变换待配准图相对于所述最佳基准血管影像的水平距离分量Δx和垂直距离分量Δy；
所述图像配准子模块，用于根据计算得到的所述旋转角度、所述缩放系数、所述水平距离分量和所述垂直距离分量，对所述待配准图与所述最佳基准血管影像进行图像配准，得到相应的所述配准影像图。
上述眼底图像拼接方法，通过由多张眼底图像中选取一张眼底图像作为图像配准的最佳基准图后，采用基于Segnet图像分割模型的血管提取算法，对最佳基准图和其余的每一张眼底图像均进行血管影像提取，获取相应的最佳基准血管影像和相应的眼底血管影像作为待配准图。然后再基于对数极坐标对每一张待配准图与最佳基准血管影像进行图像配准，最后再在配准后的基础上，采用基于距离矩阵的像素值加权融合方法，对多张配准影像图进行加权融合，从而得到最终的眼底图像拼接图。其通过设置选取最佳基准图作为图像配准的标准图，并基于对数极坐标变换，结合选取的最佳基准图对多张眼底图像进行图新配准，同时还结合基于距离矩阵的像素值加权融合算法进行多张配准影像图的加权融合，使得最终得到的眼底图像拼接图在边界处、重叠区域更加自然流畅，从而有效提高了眼底图像拼接图的质量，最终有效解决了传统的眼底图像拼接方法具有一定的局限性的问题。
附图说明
图1为本发明的眼底图像拼接方法的一具体实施例的流程图；
图2为本发明的眼底图像拼接方法的一具体实施例中选取最佳基准图的流程示意图；
图3为采用本发明的眼底图像拼接方法的一具体实施例对眼底图像进行血管分割后的效果图；
图4为采用本发明的眼底图像拼接方法的一具体实施例对眼底图像进行血管细化和毛刺去除后的效果图；
图5为本发明的眼底图像拼接方法的一具体实施例中进行图像配准的流程图；
图6为本发明的眼底图像拼接系统的一具体实施例的结构示意图；
图7为本发明的眼底图像拼接系统的另一具体实施例的结构示意图。
具体实施方式
为使本发明技术方案更加清楚，以下结合具体实施例对本发明做进一步详细说明。其中，应当说明的是，以下描述包括帮助理解的各种具体细节，但是这些细节将被视为仅是示例性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可对本文所述的各种实施例进行各种改变和修改。另外，为了清晰和简洁，公知功能和构造的描述可被省略。
以下描述和权利要求书中所使用的术语和词汇不限于文献含义，而是仅由发明人用来使本公开能够被清晰和一致地理解。因此，对于本领域技术人员而言应该明显的是，提供以下对本公开的各种实施例的描述仅是为了示例性目的，而非限制由所附权利要求及其等同物限定的本公开的目的。
应该理解，除非上下文明确另外指示，否则单数形式也包括复数指代。因此，例如，对“组件表面”的引用包括对一个或更多个这样的表面的引用。
参见图1，作为本发明的眼底图像拼接方法的一具体实施例，其首先包括步骤S100，读取采集到的多张眼底图像，由多张眼底图像中选取一张眼底图像作为图像配准的最佳基准图。此处，需要说明的是，读取到的多张眼底图像包括不同角度或不同方位所拍摄的眼底图像。其中，图像配准效果的好坏主要取决于图像质量，而配准基准图的图像质量则决定了整个眼底图像拼接的最终效果。因此，由多张眼底图像中选取并确定一张眼底图像作为图像配准的最佳基准图尤为重要。
作为本发明的眼底图像拼接方法的一具体实施例，最佳基准图的选取和确定则主要是就与视盘定位的最佳配准基准图的选择法。即，选择视盘位置距离图像几何中心最近的那张眼底图像作为配准的最佳基准图。
具体的，参见图2，通常情况下，新生儿在做眼底筛查时每只眼睛需要连续拍摄至少6张眼底图像，需要选择其中一张眼底图像作为最佳基准图来与其他眼底图像进行配准。理想情况下，配准基准图最好为视盘位于中央的眼底图像。因此，在由多张眼底图像中选取确定最佳基准图时，首先通过步骤S110，读取采集到的多张眼底图像。其中，所读取的多张眼底图像可为一组新生儿眼底图像。
然后，通过步骤S120，使用目标检测模型对每一张眼底图像进行视盘位置的定位，获取每一张眼底图像的视盘中心位置(即，视盘中心点)。同时，还获取每一张眼底图像的图像中心点。然后，再通过步骤S130，对于每一张眼底图像，均计算出视盘中心点与图像中心点的欧式距离关系，欧式距离公式如下所示：
Figure BDA0001894384970000081
其中，点(xo,yo)为视盘的中心点，点(xI,yI)为图像的中心点，D为点(xo,yo)和点(xI,yI)的欧式距离，根据公式可以得到一组视盘定位结果及相应的欧氏距离关系。最后，再通过步骤S140，根据每一张眼底图像的欧式距离关系进行最佳基准图的确定。即，对所得到的一组视盘位置结果所对应的欧氏距离关系进行比对。进而再通过步骤S150，根据比对结果确定配准的最佳基准图。
其中，优选的，参见图2，目标检测模型采用基于卷积神经网络设计的端到端训练的经典的faster rcnn模型。由于每一张眼底图像中最多只有一处视盘影像，因此不需要设置faster rcnn中的非极大值抑制的阈值，只需要选择评分最高的目标即可。在本实施例中，评分的阈值设置为0.7，即，评分超过0.7的区域被视为目标候选区域(即，视盘位置候选区域)。
同时，在上述步骤S140，根据每一张眼底图像的欧式距离关系进行最佳基准图的确定时，具体包括：首先，通过步骤S141，对计算获取的多个欧式距离关系进行大小顺序的排列，以实现多个欧式距离关系的大小比对。进而，再通过步骤S142，按照排列顺序确定多个欧式距离关系中的最小距离值。即，由多个欧式距离关系中选取出最小欧式距离关系。最后，再通过步骤S143，选取最小距离值对应的那张眼底图像作为最佳基准图。
当通过上述步骤确定最佳基准图后，即可进行图像的配准。但是，为了提高配准效果，在本发明的眼底图像拼接方法的一具体实施例中，其需要先对眼底图像进行预处理。
其中，一般彩色眼底图像大致分为视网膜、视盘、黄斑和血管等主要部分。其中，血管影像呈深红色，与视网膜背景清晰可分，并且布满整个眼底图。对于新生儿眼底图像来说，血管影像具有较强的抗噪声能力，因此利用血管影像进行图像配准可以大大降低整幅眼底图像中噪声的干扰。由此，在本发明的眼底图像拼接方法的一具体实施例中，其在进行图像的配准时主要采取根据眼底图像中的血管影像来进行配准。即，在配准之前，先进行新生儿眼底图像血管影像的分割提取。在分割提取之前，为了更进一步的保证血管影像提取的完整性和准确性，本实施例中先对眼底图像进行了增强处理，以便血管影像能够清晰可见。
具体的，参见图3、图4和图5，首先，通过步骤S210，采用限制对比度自适应直方图增强法对最佳基准图进行增强处理，获取最佳基准增强图。其通过该眼底图像增强处理方法，能够有效提高眼底血管与背景的对比度。
然后，再执行步骤S220，使用图像语义分割领域中经典的Segnet图像分割网络训练带有血管金标注的眼底图像得到参数最优化的Segnet图像分割模型，并使用Segnet图像分割模型对最佳基准增强图进行血管分割，得到血管分割后的最佳基准增强图。即，使用Segnet图像语义分割网络训练带有血管金标注的眼底图像，其中，训练样本为200张，训练周期为100个epoch，学习率为0.001，学习率衰减为0.96，并且以vgg16在ImageNet上精训的参数作为初始化参数进行迁移学习。Segnet网络训练完成后，再使用该模型对每一张眼底图像进行血管分割。其中，采用本实施例得到的分割效果参见图3。
进一步的，在图像配准过程中，由于眼底图像毛细血管分支影像具有不稳定性，因此在本实施例中仅使用主血管分支进行图像配准。因此，在执行完上述步骤S220后，即可执行步骤S230，分别使用形态学算子“thin”(细化处理)和“spur”(毛刺处理)对血管分割后的最佳基准增强图进行血管细化和毛刺去除，得到最佳基准血管影像Vref。同时，还参见图4，为本实施例中使用基于形态学算子的细化和毛刺去除算法，先进行细化操作，再进行毛刺去除后的效果图。
同理，对于多张眼底图像(即，一组新生儿眼底图像)中除确定的最佳基准图外其余的每一张眼底图像也同样采用上述步骤进行血管影像提取，以获取相应的眼底血管影像作为待配准图Vsense。由于对其余每一张眼底图像进行血管影像的提取过程与对最佳基准图进行血管影像提取的过程相同或相似，因此重复之处不再赘述。
当通过上述步骤对眼底图像进行预处理后，原始的最佳基准图Iref和待配准图Isense均转换成只有血管影像的最佳基准图Vref和待配准图Vsense。由此，即可进行图像的配准。
应当说明的是，在本实施例中，进行图像的配准时主要是基于对数极坐标。具体的，参见图5，其首先包括步骤S310，通过快速傅里叶变换，将最佳基准血管影像和待配准图变换到频域空间上，得到频域空间下的最佳基准血管影像和待配准。即，通过快速傅里叶变换，将基准图Vref和待配准图的血管图Vsense变换到频域空间上，得到Vref_FFT和Vsense_FFT。
然后，再通过步骤S320，将频域空间下的最佳基准血管影像和待配准图从笛卡尔直角坐标系变换到极坐标系下，得到极坐标系下的最佳基准血管影像和极坐标系下的待配准图，并通过相位相关法，计算出极坐标系下的待配准图相对于极坐标系下的最佳基准血管影像的旋转角度θ和缩放系数ρ。即，将图像Vref_FFT和Vsense_FFT从笛卡尔直角坐标系变换到极坐标系下，得到图像Vref_FFT_trans和Vsense_FFT_trans。通过相位相关法，将图像Vsense_FFT_trans相对于图像Vref_FFT_trans的旋转角度θ和缩放系数ρ计算出来。
进而，再执行步骤S330，基于计算出的旋转角度θ和缩放系数ρ，将频域空间下的待配准图旋转θ，并缩放至1/ρ尺寸，得到旋转缩放后的待配准图。即，基于计算出的旋转角度θ和缩放系数ρ，将待配准图像Vsense_FFT旋转-θ，同时缩放至1/ρ尺寸，得到图像Vsense_FFT_con。
接着，再通过步骤S340，将旋转缩放后的待配准图进行逆快速傅里叶变换，得到逆变换待配准图，并在直角坐标系下，通过相位相关法，计算出逆变换待配准图相对于最佳基准血管影像的水平距离分量Δx和垂直距离分量Δy。即，将图像Vsense_FFT_con进行逆快速傅里叶变换，得到图像Vsense_iFFT_con。在直角坐标系下，通过相位相关法，计算出图像Vsense_iFFT_con相对于图像Vref的水平距离分量Δx和垂直距离分量Δy。
最后，再执行步骤S350，根据计算得到的旋转角度、缩放系数、水平距离分量和垂直距离分量，对待配准图与最佳基准血管影像进行图像配准，得到相应的配准影像图。即，最终，得出待配准图Isense相对于基准图Iref的旋转角度θ、缩放系数ρ以及平面位移量Δx和Δy等参数，完成图像配准。
图像拼接技术需要在图像完成配准的基础上进行，通过上述步骤，一组新生儿眼底图像便可以完成待配准图与基准图的配准。为了使得两幅图之间重合部分在拼接时更加自然，本实施例采用了一种基于距离矩阵的图像融合技术，其公式如下所示：
Figure BDA0001894384970000111
其中，Iref和Isense分别表示两张需要融合的图，Imerge表示融合后的图。由公式可知，本实施例只针对拼接后重叠区域做像素值融合处理，其公式如下所示：
f(Iref,Isense,x,y)＝wref(x,y)·Iref(x,y)+wsense(x,y)·Isense(x,y)
Figure BDA0001894384970000112
Figure BDA0001894384970000113
其中，dref(x,y)表示点(x,y)到图Iref的轮廓的最短欧式距离；dsense(x,y)表示点(x,y)到图Isense的轮廓的最短欧式距离；wref和wsense分别表示加权系数，且wref+wsense＝1。该像素值加权融合方法能够使得拼接后的图像更加接近实拍的图像，便于医生对整体新生儿眼底影像进行诊断。
本发明的眼底图像拼接方法，通过在对新生儿图像配准时，基于目标检测模型定位出眼底图像中视盘位置，并通过视盘位置比对找出最佳基准图像，以便提高图像配准算法的效果；同时，还使用眼底血管影像特征进行图像配准，其中眼底血管影像的分割算法采用的是鲁棒性较强的Segnet模型；并基于对数极坐标变换对眼底图像进行图像配准，以及基于距离矩阵的像素值加权融合方法得出最终的拼接图，有效提高了拼接图的质量，保证了拼接图的准确性，从而使得得到的拼接图能够应用于临床诊断，这也就解决了传统的拼接方法所得到的拼接图具有一定局限性的问题。
相应的，为了实现上述任一种眼底图像拼接方法，本发明还提供了一种眼底图像拼接系统。由于本发明提供的眼底图像拼接系统的工作原理与本发明提供的眼底图像拼接方法的原理相同或相似，因此重复之处不再赘述。
参见图6，作为本发明的眼底图像拼接系统100的一具体实施例，其包括图像选取模块110、血管提取模块120、图像配准模块130和图橡拼接模块140。其中，图像选取模块110，用于读取采集到的多张眼底图像，由多张眼底图像中选取一张眼底图像作为图像配准的最佳基准图。血管提取模块120，用于采用基于Segnet图像分割模型的血管提取算法，对最佳基准图进行血管影像提取，获取相应的最佳基准血管影像，并对其余的每一张眼底图像均进行血管影像提取，获取相应的眼底血管影像作为待配准图。图像配准模块130，用于基于对数极坐标，对每一张待配准图均与最佳基准血管影像进行图像配准，得到相应的配准影像图。图像拼接模块140，用于对于多张配准影像图，采用基于距离矩阵的像素值加权融合方法，对多张配准影像图进行加权融合，得到最终的眼底图像拼接图。
具体的，参见图7，图像选取模块110包括视盘定位子模块111、欧式距离计算子模块112和最佳基准图确定子模块113。其中，视盘定位子模块111，用于获取每一张眼底图像的图像中心点，并使用目标检测模型定位出每一张眼底图像的视盘中心点。欧式距离计算子模块112，用于计算每一张眼底图像中，视盘中心点与图像中心点的欧式距离关系。最佳基准图确定子模块113，用于根据每一张眼底图像的欧式距离关系确定最佳基准图。
进一步的，血管提取模块120包括图像增强子模块121、血管分割子模块122和细化去除子模块123。其中，图像增强子模块121，用于采用限制对比度自适应直方图增强法对最佳基准图进行增强处理，获取最佳基准增强图。血管分割子模块122，用于使用Segnet图像语义分割网络训练带有血管金标注的眼底图像得到相应的Segnet图像分割模型，并使用Segnet图像分割模型对最佳基准增强图进行血管分割，得到血管分割后的最佳基准增强图。细化去除子模块123，用于使用基于形态学算子的细化和毛刺去除算法对血管分割后的最佳基准增强图进行血管细化和毛刺去除，得到最佳基准血管影像。
优选的，图像配准模块130包括傅里叶变换子模块、第一计算子模块、旋转缩放子模块、第二计算子模块和图像配准子模块(图中未示出)。其中，傅里叶变换子模块，用于通过快速傅里叶变换，将最佳基准血管影像和待配准图变换到频域空间上，得到频域空间下的最佳基准血管影像和待配准图。第一计算子模块，用于将频域空间下的最佳基准血管影像和待配准图从笛卡尔直角坐标系变换到极坐标系下，得到极坐标系下的最佳基准血管影像和极坐标系下的待配准图，并通过相位相关法，计算出极坐标系下的待配准图相对于极坐标系下的最佳基准血管影像的旋转角度θ和缩放系数ρ。旋转缩放子模块，用于基于计算出的旋转角度θ和缩放系数ρ，将频域空间下的待配准图旋转-θ，并缩放至1/ρ尺寸，得到旋转缩放后的待配准图。第二计算子模块，用于将旋转缩放后的待配准图进行逆快速傅里叶变换，得到逆变换待配准图，并在直角坐标系下，通过相位相关法，计算出逆变换待配准图相对于最佳基准血管影像的水平距离分量Δx和垂直距离分量Δy。图像配准子模块，用于根据计算得到的旋转角度、缩放系数、水平距离分量和垂直距离分量，对待配准图与最佳基准血管影像进行图像配准，得到相应的配准影像图。
本发明提供的眼底图像拼接系统100，通过设置图像选取模块110，由图像选取模块110在图像配准模块130对新生儿图像进行配准时，基于目标检测模型定位出眼底图像中视盘位置，并通过视盘位置比对找出最佳基准图像，以便提高图像配准算法的效果；同时，还设置血管提取模块120采用鲁棒性较强的Segnet模型进行眼底血管的分割提取，从而使得图像配准模块130能够使用眼底血管影像特征进行图像配准，并基于对数极坐标变换对眼底图像进行图像配准；同时还设置图像融合模块基于距离矩阵的像素值加权融合方法得出最终的拼接图，有效提高了拼接图的质量，保证了拼接图的准确性，从而使得得到的拼接图能够应用于临床诊断，这也就解决了传统的拼接方法所得到的拼接图具有一定局限性的问题。
另外，还需要说明的是，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种眼底图像拼接方法，其特征在于，包括如下步骤：
读取采集到的多张眼底图像，由多张所述眼底图像中选取一张眼底图像作为图像配准的最佳基准图；
采用基于Segnet图像分割模型的血管提取算法，对所述最佳基准图进行血管影像提取，获取相应的最佳基准血管影像，并对其余的每一张所述眼底图像均进行血管影像提取，获取相应的眼底血管影像作为待配准图；
基于对数极坐标，对每一张所述待配准图均与所述最佳基准血管影像进行图像配准，得到相应的配准影像图；
对于多张所述配准影像图，采用基于距离矩阵的像素值加权融合方法，对多张所述配准影像图进行加权融合，得到最终的眼底图像拼接图。
2.根据权利要求1所述的眼底图像拼接方法，其特征在于，所述由多张所述眼底图像中选取一张眼底图像作为图像配准的最佳基准图，包括如下步骤：
获取每一张所述眼底图像的图像中心点，并使用目标检测模型定位出每一张所述眼底图像的视盘中心点；
计算每一张所述眼底图像中，所述视盘中心点与所述图像中心点的欧式距离关系；
根据每一张所述眼底图像的所述欧式距离关系确定所述最佳基准图。
3.根据权利要求2所述的眼底图像拼接方法，其特征在于，所述根据每一张所述眼底图像的所述欧式距离关系确定所述最佳基准图，包括如下步骤：
对计算获取的多个所述欧式距离关系进行大小顺序的排列；
按照排列顺序确定多个所述欧式距离关系中的最小距离值；
选取所述最小距离值对应的所述眼底图像作为所述最佳基准图。
4.根据权利要求1所述的眼底图像拼接方法，其特征在于，所述采用基于Segnet图像分割模型的血管提取算法，对所述最佳基准图进行血管影像提取，获取相应的最佳基准血管影像，包括如下步骤：
采用限制对比度自适应直方图增强法对所述最佳基准图进行增强处理，获取最佳基准增强图；
使用Segnet图像语义分割网络训练带有血管金标注的眼底图像得到相应的所述Segnet图像分割模型，并使用所述Segnet图像分割模型对所述最佳基准增强图进行血管分割，得到血管分割后的所述最佳基准增强图；
使用基于形态学算子的细化和毛刺去除算法对血管分割后的所述最佳基准增强图进行血管细化和毛刺去除，得到所述最佳基准血管影像。
5.根据权利要求1所述的眼底图像拼接方法，其特征在于，所述基于对数极坐标，对每一张所述待配准图均与所述最佳基准血管影像进行图像配准，得到相应的配准影像图，包括如下步骤：
通过快速傅里叶变换，将所述最佳基准血管影像和所述待配准图变换到频域空间上，得到频域空间下的所述最佳基准血管影像和所述待配准图；
将所述频域空间下的所述最佳基准血管影像和所述待配准图从笛卡尔直角坐标系变换到极坐标系下，得到极坐标系下的所述最佳基准血管影像和所述极坐标系下的所述待配准图，并通过相位相关法，计算出所述极坐标系下的所述待配准图相对于所述极坐标系下的所述最佳基准血管影像的旋转角度θ和缩放系数ρ；
基于计算出的所述旋转角度θ和所述缩放系数ρ，将所述频域空间下的所述待配准图旋转-θ，并缩放至1/ρ尺寸，得到旋转缩放后的所述待配准图；
将旋转缩放后的所述待配准图进行逆快速傅里叶变换，得到逆变换待配准图，并在直角坐标系下，通过所述相位相关法，计算出所述逆变换待配准图相对于所述最佳基准血管影像的水平距离分量Δx和垂直距离分量Δy；
根据计算得到的所述旋转角度、所述缩放系数、所述水平距离分量和所述垂直距离分量，对所述待配准图与所述最佳基准血管影像进行图像配准，得到相应的所述配准影像图。
6.根据权利要求1至5任一项所述的眼底图像拼接方法，其特征在于，所述对于多张所述配准影像图，采用基于距离矩阵的像素值加权融合方法，对多张所述配准影像图进行加权融合，得到最终的眼底图像拼接图，包括如下步骤：
根据公式：
Figure FDA0001894384960000031
f(Iref,Isense,x,y)＝wref(x,y)·Iref(x,y)+wsense(x,y)·Isense(x,y)；
Figure FDA0001894384960000032
Figure FDA0001894384960000033
对所述配准影像图进行加权融合，得到所述眼底图像拼接图；
其中，Iref表征多张所述配准影像图中待加权融合的第一配准影像图；Isense表征多张所述配准影像图中待加权融合的第二配准影像图；Imerge表征加权融合后的所述眼底图像拼接图；dref(x,y)表征点(x，y)到所述第一配准影像图的轮廓的最短欧式距离；dsense(x,y)表征点(x，y)到所述第二配准影像图的轮廓的最短欧式距离；wref表征第一加权系数，wsense表征第二加权系数，且wref+wsense＝1。
7.一种眼底图像拼接系统，其特征在于，包括图像选取模块、血管提取模块、图像配准模块和图像拼接模块；
其中，所述图像选取模块，用于读取采集到的多张眼底图像，由多张所述眼底图像中选取一张眼底图像作为图像配准的最佳基准图；
所述血管提取模块，用于采用基于Segnet图像分割模型的血管提取算法，对所述最佳基准图进行血管影像提取，获取相应的最佳基准血管影像，并对其余的每一张所述眼底图像均进行血管影像提取，获取相应的眼底血管影像作为待配准图；
所述图像配准模块，用于基于对数极坐标，对每一张所述待配准图均与所述最佳基准血管影像进行图像配准，得到相应的配准影像图；
所述图像拼接模块，用于对于多张所述配准影像图，采用基于距离矩阵的像素值加权融合方法，对多张所述配准影像图进行加权融合，得到最终的眼底图像拼接图。
8.根据权利要求7所述的眼底图像拼接系统，其特征在于，所述图像选取模块包括视盘定位子模块、欧式距离计算子模块和最佳基准图确定子模块；
所述视盘定位子模块，用于获取每一张所述眼底图像的图像中心点，并使用目标检测模型定位出每一张所述眼底图像的视盘中心点；
所述欧式距离计算子模块，用于计算每一张所述眼底图像中，所述视盘中心点与所述图像中心点的欧式距离关系；
所述最佳基准图确定子模块，用于根据每一张所述眼底图像的所述欧式距离关系确定所述最佳基准图。
9.根据权利要求7所述的眼底图像拼接系统，其特征在于，所述血管提取模块包括图像增强子模块、血管分割子模块和细化去除子模块；
其中，所述图像增强子模块，用于采用限制对比度自适应直方图增强法对所述最佳基准图进行增强处理，获取最佳基准增强图；
所述血管分割子模块，用于使用Segnet图像语义分割网络训练带有血管金标注的眼底图像得到相应的所述Segnet图像分割模型，并使用所述Segnet图像分割模型对所述最佳基准增强图进行血管分割，得到血管分割后的所述最佳基准增强图；
所述细化去除子模块，用于使用基于形态学算子的细化和毛刺去除算法对血管分割后的所述最佳基准增强图进行血管细化和毛刺去除，得到所述最佳基准血管影像。
10.根据权利要求7所述的眼底图像拼接系统，其特征在于，所述图像配准模块包括傅里叶变换子模块、第一计算子模块、旋转缩放子模块、第二计算子模块和图像配准子模块；
其中，所述傅里叶变换子模块，用于通过快速傅里叶变换，将所述最佳基准血管影像和所述待配准图变换到频域空间上，得到频域空间下的所述最佳基准血管影像和所述待配准图；
所述第一计算子模块，用于将所述频域空间下的所述最佳基准血管影像和所述待配准图从笛卡尔直角坐标系变换到极坐标系下，得到极坐标系下的所述最佳基准血管影像和所述极坐标系下的所述待配准图，并通过相位相关法，计算出所述极坐标系下的所述待配准图相对于所述极坐标系下的所述最佳基准血管影像的旋转角度θ和缩放系数ρ；
所述旋转缩放子模块，用于基于计算出的所述旋转角度θ和所述缩放系数ρ，将所述频域空间下的所述待配准图旋转-θ，并缩放至1/ρ尺寸，得到旋转缩放后的所述待配准图；
所述第二计算子模块，用于将旋转缩放后的所述待配准图进行逆快速傅里叶变换，得到逆变换待配准图，并在直角坐标系下，通过所述相位相关法，计算出所述逆变换待配准图相对于所述最佳基准血管影像的水平距离分量Δx和垂直距离分量Δy；
所述图像配准子模块，用于根据计算得到的所述旋转角度、所述缩放系数、所述水平距离分量和所述垂直距离分量，对所述待配准图与所述最佳基准血管影像进行图像配准，得到相应的所述配准影像图。
CN201811485535.7A 2018-12-06 2018-12-06 眼底图像拼接方法及系统 Active CN109658393B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811485535.7A CN109658393B (zh) 2018-12-06 2018-12-06 眼底图像拼接方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811485535.7A CN109658393B (zh) 2018-12-06 2018-12-06 眼底图像拼接方法及系统

Publications (2)

Publication Number Publication Date
CN109658393A CN109658393A (zh) 2019-04-19
CN109658393B true CN109658393B (zh) 2022-11-22

Family

ID=66111795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811485535.7A Active CN109658393B (zh) 2018-12-06 2018-12-06 眼底图像拼接方法及系统

Country Status (1)

Country Link
CN (1) CN109658393B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110327013B (zh) * 2019-05-21 2022-02-15 北京至真互联网技术有限公司 眼底图像检测方法、装置及设备和存储介质
CN110211111B (zh) * 2019-05-31 2024-08-30 上海联影医疗科技股份有限公司 一种血管提取的方法、装置、图像处理设备及存储介质
CN113643353B (zh) * 2020-09-04 2024-02-06 深圳硅基智能科技有限公司 眼底图像的血管管径的增强分辨率的测量方法
CN112164001B (zh) * 2020-09-29 2024-06-07 南京理工大学智能计算成像研究院有限公司 一种数字显微镜图像快速拼接融合方法
CN112220447B (zh) * 2020-10-14 2022-02-15 上海鹰瞳医疗科技有限公司 眼底相机及眼底图像拍摄方法
CN112220448B (zh) * 2020-10-14 2022-04-22 北京鹰瞳科技发展股份有限公司 眼底相机及眼底图像合成方法
CN113012180B (zh) * 2021-02-08 2023-08-11 北京百度网讯科技有限公司 图像的成像设备确定方法、装置、设备及存储介质
CN114897678B (zh) * 2022-03-29 2023-05-16 中山大学中山眼科中心 婴幼儿眼底视网膜全景影像生成采集反馈方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008073280A (ja) * 2006-09-22 2008-04-03 Institute Of National Colleges Of Technology Japan 眼底画像処理装置
CN106651827B (zh) * 2016-09-09 2019-05-07 浙江大学 一种基于sift特征的眼底图像配准方法

Also Published As

Publication number Publication date
CN109658393A (zh) 2019-04-19

Similar Documents

Publication Publication Date Title
CN109658393B (zh) 眼底图像拼接方法及系统
CN110197493B (zh) 眼底图像血管分割方法
CN112465772B (zh) 眼底彩照图像血管评估方法、装置、计算机设备和介质
AU2021202217B2 (en) Methods and systems for ocular imaging, diagnosis and prognosis
CN110400289A (zh) 眼底图像识别方法、装置、设备和存储介质
CN106780439B (zh) 一种筛选眼底图像的方法
Abdullah et al. A new and effective method for human retina optic disc segmentation with fuzzy clustering method based on active contour model
CN109671049B (zh) 一种医学图像处理方法、系统、设备、存储介质
Aljazaeri et al. Faster R-CNN and DenseNet regression for glaucoma detection in retinal fundus images
Ding et al. Multi-scale morphological analysis for retinal vessel detection in wide-field fluorescein angiography
Wang et al. A workflow for computer-aided diagnosis of glaucoma
Almotiri et al. An automated region-of-interest segmentation for optic disc extraction
Li et al. The Arteriovenous Classification in Retinal Images by U-net and Tracking Algorithm
Xu Simultaneous automatic detection of optic disc and fovea
Ghorab et al. Computer-Based Detection of Glaucoma Using Fundus Image Processing
Suwandoko et al. An optimized segmentation of optic disc and optic cup in retinal fundus images based on multimap localization and conventional U-Net
CN117876801B (zh) 基于眼底血管特征和人工智能预测糖尿病肾病的方法
Gobinath et al. Deep convolutional neural network for glaucoma detection based on image classification
Chalakkal Automatic Retinal Image Analysis to Triage Retinal Pathologies
Mohammadali Pishnamaz Retinal Fundus image processing and ensemble learning: optic disc and optic cup detection
Manjushree et al. Automated detection of diabetic retinopathy using deep learning in retinal fundus images: analysis
Abualigah et al. Hybrid Classification Approach Utilizing DenseUNet+ for Diabetic Macular Edema Disorder Detection.
Gende et al. Fully Automatic Epiretinal Membrane Segmentation in OCT Scans Using Convolutional Networks
Jose et al. Automated Detection of Microaneurysm using Textural Analysis
Motevali Towards non-vascular fundus image analysis and disease detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231223

Address after: Room 707, Unit 1, Building 1, Courtyard 1, Longyu Middle Street, Huilongguan Town, Changping District, Beijing, 100085

Patentee after: Beijing Zhizhen Health Technology Co.,Ltd.

Address before: 100085 room 1210, Building 29, yard 9, anningzhuang West Road, Haidian District, Beijing

Patentee before: Dai Liming