CN112164043A - 一种用于多眼底图像拼接的方法及系统 - Google Patents
一种用于多眼底图像拼接的方法及系统 Download PDFInfo
- Publication number
- CN112164043A CN112164043A CN202011006145.4A CN202011006145A CN112164043A CN 112164043 A CN112164043 A CN 112164043A CN 202011006145 A CN202011006145 A CN 202011006145A CN 112164043 A CN112164043 A CN 112164043A
- Authority
- CN
- China
- Prior art keywords
- image
- fundus
- images
- splicing
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000004927 fusion Effects 0.000 claims abstract description 38
- 230000009466 transformation Effects 0.000 claims abstract description 21
- 238000010586 diagram Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000012937 correction Methods 0.000 claims description 54
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 7
- 238000005286 illumination Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000007500 overflow downdraw method Methods 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 230000008054 signal transmission Effects 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 description 8
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 210000004204 blood vessel Anatomy 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 210000001525 retina Anatomy 0.000 description 4
- 230000002207 retinal effect Effects 0.000 description 3
- 210000003161 choroid Anatomy 0.000 description 2
- 238000003759 clinical diagnosis Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004256 retinal image Effects 0.000 description 2
- 230000009885 systemic effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 210000004127 vitreous body Anatomy 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 208000017442 Retinal disease Diseases 0.000 description 1
- 206010038923 Retinopathy Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 210000001736 capillary Anatomy 0.000 description 1
- 208000027129 choroid disease Diseases 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 208000030172 endocrine system disease Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000720 eyelash Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 208000014951 hematologic disease Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 210000001328 optic nerve Anatomy 0.000 description 1
- 208000020911 optic nerve disease Diseases 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 210000001210 retinal vessel Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000003786 sclera Anatomy 0.000 description 1
- 230000000472 traumatic effect Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Epidemiology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种用于多眼底图像拼接的方法，包括以下步骤：步骤s1、对输入的眼底图像进行预处理；步骤s2、提取SURF特征点；步骤s3、对上述特征点进行暴力匹配得到粗匹配点，估计粗匹配点中正确匹配对的数量，并利用正确匹配特征点对间连线的特点获得最终匹配对；步骤s4、采用RANSAC算法计算变换模型参数，将其他视场的眼底图像进行空间变换到参考图像的坐标系下完成多幅眼底图像配准；步骤s5、检测拼接缝线，并获得拼接缝位置图；步骤s6、对当前像素值进行改正，消除拼接缝完成图像融合，得到最终的拼接图像；步骤s7、保存并输出拼接后的眼底图像；本发明解决了多幅眼底图像的配准、融合、拼接的问题。
Description
技术领域
本发明属于眼底图像拼接处理技术领域，尤其是涉及一种用于多眼底图像拼接的方法及系统。
背景技术
眼睛是人的视觉器官，在眼科的临床诊断和治疗中，眼底图像具有重要的参考价值。目前，对于数字眼底图像的获取，通常是借助眼底血管造影术和专业数码相机以及专门的摄取设备来获取高分辨率的眼底图像。临床上，眼底指的是由视网膜、脉络膜、巩膜和视神经球内段所组成的眼球壁以及与之联系密切的玻璃体的总称。眼底视网膜血管是人体唯一可以非创伤性直接观察的血管，包含了人体内的三大血管：动脉、静脉、毛细血管。人体的健康好坏都可以通过血管反映出来。因此，眼底检查不仅是检查玻璃状体、视网膜、脉络膜、视神经疾病时的重要手段，也是某些颅脑、心血管、血液、内分泌等全身病时的重要手段，其检查对某些全身病的诊断、预见有一定的参考价值。
在临床的诊断和治疗中，眼科医生经常需要对同一患者不同时间拍摄的两幅或者多福眼底视网膜图像进行比较分析，但由于成像角度和成像环境的不同，仅靠医生肉眼观察比较准确率不高且效率低，因此需要对多幅图像进行高精度的配准。另外，由于眼睛的特殊结构和眼底相机的视角问题，单次所拍到的眼底图像信息是有限的，只能观察到局部的眼底，为了获得完整的眼底视网膜图像，需要将多幅图像进行图像拼接以满足临床对扩大视野、疾病跟踪以及辅助诊断等应用需求。因此，眼底视网膜图像拼接是眼底视网膜病变检测的重要环节，对提高眼科医生疾病诊断的准确性具有重要的意义。
眼底视网膜图像拼接技术主要包括图像配准和图像融合两部分。其中眼底图像配准又主要分为两类：基于灰度信息的图像配准和基于特征的图像配准。经过几十年的发展，眼底图像配准算法已经取得了很大的进展，现有的方法各有优缺点。如何提高视网膜眼底图像配准算法的精度和速度，拓展算法的适用性和解决因两幅视网膜眼底图像重叠区域小或信噪比低导致无法配准的问题一直是视网膜眼底图像配准算法研究的重点。在眼底图像融合方面，眼底图像融合的主要目的是完成图像间平滑过渡的同时保留眼底图像信息。目前，如何更好地对多幅眼底图像进行融合处理一直是眼底图像融合的重点和难点。
在现有的SURF特征点配准算法中不能兼顾匹配对数量和正确率，因此对于一些重叠区域少或信噪比低的图像中常出现因为匹配对数量过少而导致无法配准的问题，或者因为误匹配点对过多导致匹配参数求解有误的问题。目前图像融合算法的研究都集中在两幅图像，融合时只考虑了在两幅图像的重叠区域进行融合。但当进行三幅及以上的图像拼接时，移动图像除了和参考图像重叠还可能和其它的移动图像重叠产生新的拼接缝，只针对移动图像和参考图像的重叠区域进行处理具有一定的局限性。
发明内容
本发明目的是：提供一种用于多眼底图像拼接的方法及系统，包含图像配准和图像融合两部分；在眼底图像配准中提出了一种改进的SURF特征点匹配法，该算法提高了估计正确匹配对数量的准确性，并将它与正确匹配点对连线的特点相结合以克服原先算法的问题；同时在图像融合中还提出了一种多幅眼底图像快速无缝拼接的方法，首先通过最大值融合的方法将多幅图像镶嵌成一张具有完整视野的图像，解决了多幅图像的重叠区域复杂难于确定的问题，然后通过改进基于相邻像素灰度改正比的方法消除拼接缝。
本发明的技术方案是：一种用于多眼底图像拼接的方法，包括以下步骤：
步骤s1、对输入的眼底图像进行预处理；
步骤s2、提取SURF特征点；
步骤s3、对上述特征点进行暴力匹配得到粗匹配点，估计粗匹配点中正确匹配对的数量，并利用正确匹配特征点对间连线的特点获得最终匹配对；
步骤s4、选取中央视场的眼底图像作为参考图像，采用RANSAC算法计算变换模型参数，将其他视场的眼底图像进行空间变换到参考图像的坐标系下完成多幅眼底图像配准；
步骤s5、检测拼接缝线，并获得拼接缝位置图；
步骤s6、依次确定拼接缝的方向、改正宽度、拼接两侧的基准改正比值和拼接缝处的基准改正比值、改正区域中像素的改正比值，并对当前像素值进行改正，消除拼接缝完成图像融合，得到最终的拼接图像；
步骤s7、保存并输出拼接后的眼底图像。
作为优选的技术方案，步骤s1中眼底图像预处理的具体方法如下:
步骤s11、读入眼底的参考图像和移动图像；
步骤s12、选择彩色眼底图像的红色通道作为待检测图像；
步骤s13、采用对比度受限的自适应直方图均衡化算法完成眼底图像增强预处理。
作为优选的技术方案，步骤s2中利用Hessian矩阵提取SURF特征点，其具体方法如下：
将图像I中像素点p(x,y)的尺度为σ的Hessian矩阵H(p，σ)定义为：
式(1)中Lxx(p,σ)为高斯二阶偏导数
在点p处与图像I的卷积；Lxy(p,σ)为高斯二阶偏导数
在点p处与图像I的卷积；Lyx(p,σ)为高斯二阶偏导数
在点p处与图像I的卷积；Lyy(p,σ)为高斯二阶偏导数
在点p处与图像I的卷积；
若该点Hessian矩阵行列式的值符号为正，则判定为候选特征点。
作为优选的技术方案，步骤s3中获得最终匹配对的具体方法如下：
步骤s31、在移动图像中找到与参考图像的特征点描述符合欧氏距离最近的特征点作为粗匹配点；
步骤s32、对参考图像中所有特征点的最近邻与次近邻欧氏距离比值进行从小到大的排序；
步骤s33、选取最近邻与次近邻欧氏距离比值最小的前十个特征点匹配对作为最优匹配对，计算这些匹配对间连线对应的斜率和距离并求出它们距离和斜率的均值，记为udistance，uslope；
步骤s34、估计出粗匹配结果中正确匹配对的数量NG；
步骤s35、计算粗匹配对中所有匹配对间连线的距离distsnce和斜率slope；
步骤s36、将马氏距离最小的前NG个匹配对作为最终匹配对。
作为优选的技术方案，步骤s5中获得拼接缝位置图的具体方法如下：
S51、根据变换矩阵将每幅移动图像的边界线变换到参考图像的坐标系下，并与参考图像的边界线一起显示在绘图板上，称为边界图；
S52、使用Canny算子检测每个输入图像的边缘；然后去除图像边界产生的边缘得到每幅图像的边缘检测图；根据在图像配准中获得的变换矩阵将每个移动图像的边缘图变换到参考图像边缘图的坐标系下；同时采用最大值融合方法将所有输入图像的边缘图融合在一起，以获得完整的边缘图；
S53、用Canny算子检测获得的融合结果图中的边缘，获得另一个完整的边缘图；
S54、将有缝边缘图减去无缝边缘图，确定所有拼接缝的大致位置，通过使用Hough变换，找出拼接缝线的参数；通过Hough变换检测到的拼接缝线和步骤S51中生成的边界图执行“与”运算，获得最终的拼接缝位置图。
作为优选的技术方案，步骤s6中消除拼接缝的具体方法如下：
S61、确定拼接缝的方向：
通过比较水平和垂直方向的平均灰度差来确定拼接缝的方向，如果垂直方向上的差异大于水平方向上的差异，则为水平拼接缝；否则为垂直拼接缝；
S62、确定改正宽度：
假设f1和f2分别是拼接缝两侧相邻10个像素的平均值，而f3表示拼接缝处像素的灰度值；则改正宽度w的计算公式如下：
w＝k×|f1-f2| (3)
其中k是根据经验确定的常数，范围为1.2到2.0；
S63、确定拼接的两侧的基准改正比值和拼接缝处的基准改正比值分别为：
其中，
式中，f1和f2分别是拼接缝两侧的基准改正比值，而f3是拼接缝本身的基基准改正比值；
S64、确定改正区域中像素的改正比值：
水平拼接缝和垂直拼接缝的改正比值分别根据公式(6)和(7)确定：
i0,j0为拼接缝所在的行列坐标,i,j是当前像素点的坐标，w是根据(3)式改正范围的宽度；
S65、在改正区域中改正像素值：
在改正范围内改正像素值之前，根据前面所述的准则对所考虑的像素判断是否需要改正；如果需要进行改正，则按照以下公式对当前像素值进行改正：
I(i,j)＝k(i,j)×I0(i,j) (8)
式中I(i,j)为改正后的像素灰度值，I0(i,j)为像素的原始灰度值。
一种用于多眼底图像拼接的系统，包括眼底照明模组，光学镜头模组，图像传感器，信号处理、保存、传输电路，以及图像显示模块；其中所述眼底照明模组利用特定波段光束照明眼底，经过光学镜头模组和图像传感器获取眼底图像，并通过转动对眼底不同位置的图像进行采集；信号处理、保存、传输电路以FPGA器件为核心对采集到的多幅眼底图像采用如权利要求1至7任一项所述的用于多眼底图像拼接的方法进行拼接处理并通过DICOM标准格式进行保存和传输，同时控制图像显示模块输出拼接后的眼底图像。
作为优选的技术方案，所述FPGA器件包括：图像传感器接口模块，主控模块，DDR内存读写模块，多个配准模块，图像融合模块，显示接口模块，以及通信接口模块；其中所述图像传感器接口模块与图像传感器连接，并接收多幅眼底图像；所述主控模块将图像传感器接口模块接收到的多幅眼底图像分配到多个配准模块进行并行图像配准，然后通过图像融合模块完成多幅眼底图像的融合；所述显示接口模块与图像融合模块连接，并将融合后的眼底图像输出到图像显示模块；所述通信接口模块与图像融合模块连接，并将融合后的眼底图像通过通信接口模块向外输出；所述DDR内存读写模块对融合后的眼底图像进行数据保存。
本发明的优点是：
1.本发明用于多眼底图像拼接的方法及系统，包含图像配准和图像融合两部分；在眼底图像配准中提出了一种改进的SURF特征点匹配法，该算法提高了估计正确匹配对数量的准确性，并将它与正确匹配点对连线的特点相结合以克服原有算法的问题；同时在图像融合中还提出了一种多幅眼底图像快速无缝拼接的方法，首先通过最大值融合的方法将多幅图像镶嵌成一张具有完整视野的图像，解决了多幅图像的重叠区域复杂难于确定的问题，然后通过改进基于相邻像素灰度改正比的方法消除拼接缝。
附图说明
下面结合附图及实施例对本发明作进一步描述：
图1为本发明用于多眼底图像拼接的系统框图；
图2为本发明的FPGA器件内部结构框图；
图3为本实施例所采用的匹配算法结果示意图：
图4为本实施例所输入的灰度眼底图像序列示意图一；
图5为图4中灰度眼底图像序列融合后拼接缝消除结果示意图一；
图6为本实施例所输入的彩色眼底图像序列示意图二；
图7为图6中彩色眼底图像序列融合后拼接缝消除结果示意图二；
图8为部分重叠图像的划分区域示意图。
具体实施方式
实施例1：一种用于多眼底图像拼接的方法，包括以下步骤：
步骤s1、对输入的眼底图像进行预处理；
步骤s2、提取SURF特征点；
步骤s3、对上述特征点进行暴力匹配得到粗匹配点，估计粗匹配点中正确匹配对的数量，并利用正确匹配特征点对间连线的特点获得最终匹配对；
步骤s4、选取中央视场的眼底图像作为参考图像，采用RANSAC算法计算变换模型参数，将其他视场的眼底图像进行空间变换到参考图像的坐标系下完成多幅眼底图像配准；
步骤s5、检测拼接缝线，并获得拼接缝位置图；
步骤s6、依次确定拼接缝的方向、改正宽度、拼接两侧的基准改正比值和拼接缝处的基准改正比值、改正区域中像素的改正比值，并对当前像素值进行改正，消除拼接缝完成图像融合，得到最终的拼接图像；
步骤s7、保存并输出拼接后的眼底图像。
本实施例1中步骤s1中眼底图像预处理的具体方法如下:
步骤s11、读入眼底的参考图像和移动图像；
步骤s12、与绿色通道和蓝色通道相比，红色通道的眼底图像受眼睫毛影响较小，而且亮度也较好，因此本实施例中选择彩色眼底图像的红色通道作为待检测图像；
步骤s13、为了增强眼底图像血管与背景区域的对比度并限制噪音放大，本实施例中采用对比度受限的自适应直方图均衡化(Contrast Limited Adaptive HistogramEqualization，CLAHE)算法完成眼底图像增强预处理。
本实施例1中步骤s2中利用Hessian矩阵提取SURF特征点，其具体方法如下：
将图像I中像素点p(x,y)的尺度为σ的Hessian矩阵H(p，σ)定义为：
式(1)中Lxx(p,σ)为高斯二阶偏导数
在点p处与图像I的卷积；Lxy(p,σ)为高斯二阶偏导数
在点p处与图像I的卷积；Lyx(p,σ)为高斯二阶偏导数
在点p处与图像I的卷积；Lyy(p,σ)为高斯二阶偏导数
在点p处与图像I的卷积；
若该点Hessian矩阵行列式的值符号为正，则判定为候选特征点。
本实施例1中步骤s3中获得最终匹配对的具体方法如下：
步骤s31、在移动图像中找到与参考图像的特征点描述符合欧氏距离最近的特征点作为粗匹配点；
步骤s32、对参考图像中所有特征点的最近邻与次近邻欧氏距离比值进行从小到大的排序；
步骤s33、选取最近邻与次近邻欧氏距离比值最小的前十个特征点匹配对作为最优匹配对，计算这些匹配对间连线对应的斜率和距离并求出它们距离和斜率的均值，记为udistance，uslope；
步骤s34、估计出粗匹配结果中正确匹配对的数量NG，具体估计方法如下：
步骤s341、假设图像I1、图像I2的两个特征序列分别为pi,…,pN和qi,…,qN；N为特征序列的总长度；假设其中正确匹配对数量为NG，错误匹配对数量为NB；初始匹配对表示为：M＝{(pi,qj)}；pi表示将图像I1的特征序列按X轴排序后的第i个特征点，qj表示将图像I2的特征序列按X轴排序后的第j个特征点；匹配集M代表了两个序列：[N]＝<1,…N>和σ，其中(pi,qσ(i))∈M，即匹配对可由序列σ(i)表示；
步骤s342、使用排列上的距离度量Kendall距离来分析以排列表示的图像对中匹配特征的空间顺序；Kendall距离定义为两个序列N和σ的逆序数量。设两个特征点匹配对分别是m(i)＝(pi,qσ(i))和m(j)＝(pj,qσ(j)),它们的逆序数ησ(i,j)的数学表达式如下：
则序列N和σ的Kendall距离的求解公式如下：
将k([N],σ)分解为三部分组成即：k＝kG+kB+kGB (23)
其中，KG表示正确匹配对间的逆序数，KB表示错误匹配间的逆序数，KGB表示正确匹配与错误匹配间的逆序数。通过序列逆序数的最大值对它们归一化得到
将k，kG，kB，kGB分别用含有它们的表达式表示并代入方程(23)可以得到关于NG的二次方程，如下：
方程中，N是已知的，
可通过公式(22)根据匹配集M计算得出，根据假设a可以得到
根据假设b可以得出
是
的期望值。
对于完全重叠序列
将它们代入方程(24)便可得到仅有NG一个未知数的二次方程如下：
上面的方程存在两个解：当
时，取NG＝0；当
时，选取范围在[0,N]的解。
对于部分重叠图像对，通过估计重叠区域来计算NG；如图8所示，将参考图像和移动图像都分成左，中，右三个区域，中间区域为它们的重叠区域，即序列[N]被划分成三个区间：L1,O1,R1。
设在I1中正确匹配特征点序列的最低和最高索引分别为：l1,h1,定义输入图像的重叠区域为O1＝[l1,h1],类似的，定义O2＝[l2,h2]。根据重叠区域定义完全重叠序列，
因此N，NG和
可表示为关于
的函数。w是完全重叠子序列，因此可根据式(21-25)求解NG。只要确定两图像的重叠区域w*便可确定NG(w*)，可以证明使NG(w)取得最大值的w就是两图像的重叠区域w*。
为了确定重叠区域，考虑如下由参数q定义的区间子集：
遍历I1和I2中的所有q区间，计算每个w∈Sq×Sq的NG(w)的值，搜索到的最大值NG(w*)就是估计的正确匹配对数量，此算法称为k2算法。
为了提高效率，依次计算I1的q区间和I2整个序列的最大值，然后修正在I1中检测到的最优q区间[l1 *,l2 *],搜索I2的所有q区间，得到最终的w*和NG(w*),此算法称为k1算法。
步骤s343、假设区间查找得到的重叠区域为
其中
在式(2)的w中对NG(w)进行抽样：
式中，σ(l),σ(h)分别是l和h匹配特征的索引，即对k1算法或k2算法找到的最优w*的前后单个q区间内搜索NG(w)的最大值，提高正确匹配对数量NG估计的准确性。
步骤s35、计算粗匹配对中所有匹配对间连线的距离distsnce和斜率slope；
步骤s36、将马氏距离最小的前NG个匹配对作为最终匹配对。
本实施例1中步骤s5中获得拼接缝位置图的具体方法如下：
S51、根据变换矩阵将每幅移动图像的边界线变换到参考图像的坐标系下，并与参考图像的边界线一起显示在绘图板上，称为边界图；
S52、使用Canny算子检测每个输入图像的边缘；然后去除图像边界产生的边缘得到每幅图像的边缘检测图；根据在图像配准中获得的变换矩阵将每个移动图像的边缘图变换到参考图像边缘图的坐标系下；同时采用最大值融合方法将所有输入图像的边缘图融合在一起，以获得完整的边缘图；
S53、用Canny算子检测获得的融合结果图中的边缘，获得另一个完整的边缘图；
S54、将有缝边缘图减去无缝边缘图，确定所有拼接缝的大致位置，通过使用Hough变换，找出拼接缝线的参数；通过Hough变换检测到的拼接缝线和步骤S51中生成的边界图执行“与”运算，获得最终的拼接缝位置图。
本实施例1中步骤s6中消除拼接缝的具体方法如下：
S61、确定拼接缝的方向：
通过比较水平和垂直方向的平均灰度差来确定拼接缝的方向，如果垂直方向上的差异大于水平方向上的差异，则为水平拼接缝；否则为垂直拼接缝；
S62、确定改正宽度：
假设f1和f2分别是拼接缝两侧相邻10个像素的平均值，而f3表示拼接缝处像素的灰度值；则改正宽度w的计算公式如下：
w＝k×|f1-f2| (3)
其中k是根据经验确定的常数，范围为1.2到2.0；
S63、确定拼接的两侧的基准改正比值和拼接缝处的基准改正比值分别为：
其中，
式中，f1和f2分别是拼接缝两侧的基准改正比值，而f3是拼接缝本身的基基准改正比值；
S64、确定改正区域中像素的改正比值：
水平拼接缝和垂直拼接缝的改正比值分别根据公式(6)和(7)确定：
i0,j0为拼接缝所在的行列坐标,i,j是当前像素点的坐标，w是根据(3)式改正范围的宽度；
S65、在改正区域中改正像素值：
在改正范围内改正像素值之前，根据前面所述的准则对所考虑的像素判断是否需要改正；如果需要进行改正，则按照以下公式对当前像素值进行改正：
I(i,j)＝k(i,j)×I0(i,j) (8)
式中I(i,j)为改正后的像素灰度值，I0(i,j)为像素的原始灰度值。
本发明用于多眼底图像拼接的方法，包含图像配准和图像融合两部分，图像配准是图像融合的基础，图像融合使拼接图像具有良好的视觉效果。
其中图像配准的目的是准确找出移动图像和参考图像在重叠区域的对应位置，确定两幅图像间的变换关系；同时在眼底图像配准中提出了一种改进的SURF特征点匹配法，该算法提高了估计正确匹配对数量的准确性，并将它与正确匹配点对连线的特点相结合以克服原有算法的问题。
其中图像融合的目的是消除在输入图像重叠区域由于它们的光照，视角或分辨率的不同产生的明显拼接缝；同时在图像融合中还提出了一种多幅眼底图像快速无缝拼接的方法，首先通过最大值融合的方法将多幅图像镶嵌成一张具有完整视野的图像，解决了多幅图像的重叠区域复杂难于确定的问题，然后通过改进基于相邻像素灰度改正比的方法消除拼接缝。
参照图3所示，为本发明所采用的匹配算法结果示意图；
下表1为与比率阈值方法对比结果：
| 算法 | 匹配对数量 | 正确匹配对数量 | 正确率 |
| 0.6比率阈值匹配 | 148 | 125 | 0.84 |
| 0.7比率阈值匹配 | 157 | 120 | 0.76 |
| 本发明算法 | 140 | 124 | 0.88 |
通过图3和表1可以看出本发明的特征匹配正确率得到了提升。
参照图4至图7所示，从上述图中可以看出本发明中的算法能够很好地消除整个拼接缝，且过渡平滑自然，达到了较好的视觉效果。
实施例2：参照图1所示，一种用于多眼底图像拼接的系统，包括眼底照明模组，光学镜头模组，图像传感器，信号处理、保存、传输电路，以及图像显示模块；其中所述眼底照明模组利用特定波段光束照明眼底，经过光学镜头模组和图像传感器获取眼底图像，并通过转动对眼底不同位置的图像进行采集；信号处理、保存、传输电路以FPGA器件为核心对采集到的多幅眼底图像采用上述的用于多眼底图像拼接的方法进行拼接处理并通过DICOM标准格式进行保存和传输，同时控制图像显示模块输出拼接后的眼底图像。
本实施例2在本发明中需要对多幅图像进行预处理以及两两之间进行配准和融合计算，利用了FPGA器件的并行处理能力，提高了处理速度，参照图2所示，所述FPGA器件包括：图像传感器接口模块，主控模块，DDR内存读写模块，n个配准模块，图像融合模块，显示接口模块，以及通信接口模块；其中所述图像传感器接口模块与图像传感器连接，并接收多幅眼底图像；所述主控模块将图像传感器接口模块接收到的多幅眼底图像分配到多个配准模块进行并行图像配准，然后通过图像融合模块完成多幅眼底图像的融合；所述显示接口模块与图像融合模块连接，并将融合后的眼底图像输出到图像显示模块；所述通信接口模块与图像融合模块连接，并将融合后的眼底图像通过通信接口模块向外输出；所述DDR内存读写模块对融合后的眼底图像进行数据保存。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (8)
1.一种用于多眼底图像拼接的方法，其特征在于，包括以下步骤：
步骤s1、对输入的眼底图像进行预处理；
步骤s2、提取SURF特征点；
步骤s3、对上述特征点进行暴力匹配得到粗匹配点，估计粗匹配点中正确匹配对的数量，并利用正确匹配特征点对间连线的特点获得最终匹配对；
步骤s4、选取中央视场的眼底图像作为参考图像，其他视场的眼底图像作为移动图像，采用RANSAC算法计算变换模型参数，将移动图像进行空间变换到参考图像的坐标系下完成多幅眼底图像配准；
步骤s5、检测拼接缝线，并获得拼接缝位置图；
步骤s6、依次确定拼接缝的方向、改正宽度、拼接两侧的基准改正比值和拼接缝处的基准改正比值、改正区域中像素的改正比值，并对当前像素值进行改正，消除拼接缝完成图像融合，得到最终的拼接图像；
步骤s7、保存并输出拼接后的眼底图像。
2.根据权利要求1所述的用于多眼底图像拼接的方法，其特征在于，步骤s1中眼底图像预处理的具体方法如下:
步骤s11、读入眼底的参考图像和移动图像；
步骤s12、选择彩色眼底图像的红色通道作为待检测图像；
步骤s13、采用对比度受限的自适应直方图均衡化算法完成眼底图像增强预处理。
3.根据权利要求2所述的用于多眼底图像拼接的方法，其特征在于，步骤s2中利用Hessian矩阵提取SURF特征点，其具体方法如下：
将图像I中像素点p(x,y)的尺度为σ的Hessian矩阵H(p，σ)定义为：
式(1)中Lxx(p,σ)为高斯二阶偏导数
在点p处与图像I的卷积；Lxy(p,σ)为高斯二阶偏导数
在点p处与图像I的卷积；Lyx(p,σ)为高斯二阶偏导数
在点p处与图像I的卷积；Lyy(p,σ)为高斯二阶偏导数
在点p处与图像I的卷积；
若该点Hessian矩阵行列式的值符号为正，则判定为候选特征点。
4.根据权利要求3所述的用于多眼底图像拼接的方法，其特征在于，步骤s3中获得最终匹配对的具体方法如下：
步骤s31、在移动图像中找到与参考图像的特征点描述符合欧氏距离最近的特征点作为粗匹配点；
步骤s32、对参考图像中所有特征点的最近邻与次近邻欧氏距离比值进行从小到大的排序；
步骤s33、选取最近邻与次近邻欧氏距离比值最小的前十个特征点匹配对作为最优匹配对，计算这些匹配对间连线对应的斜率和距离并求出它们距离和斜率的均值，记为udistance，uslope；
步骤s34、估计出粗匹配结果中正确匹配对的数量NG；
步骤s35、计算粗匹配对中所有匹配对间连线的距离distsnce和斜率slope；
步骤s36、将马氏距离最小的前NG个匹配对作为最终匹配对。
5.根据权利要求4所述的用于多眼底图像拼接的方法，其特征在于，步骤s5中获得拼接缝位置图的具体方法如下：
S51、根据变换矩阵将每幅移动图像的边界线变换到参考图像的坐标系下，并与参考图像的边界线一起显示在绘图板上，称为边界图；
S52、使用Canny算子检测每个输入图像的边缘；然后去除图像边界产生的边缘得到每幅图像的边缘检测图；根据在图像配准中获得的变换矩阵将每个移动图像的边缘图变换到参考图像边缘图的坐标系下；同时采用最大值融合方法将所有输入图像的边缘图融合在一起，以获得完整的边缘图；
S53、用Canny算子检测获得的融合结果图中的边缘，获得另一个完整的边缘图；
S54、将有缝边缘图减去无缝边缘图，确定所有拼接缝的大致位置，通过使用Hough变换，找出拼接缝线的参数；通过Hough变换检测到的拼接缝线和步骤S51中生成的边界图执行“与”运算，获得最终的拼接缝位置图。
6.根据权利要求5所述的用于多眼底图像拼接的方法，其特征在于，步骤s6中消除拼接缝的具体方法如下：
S61、确定拼接缝的方向：
通过比较水平和垂直方向的平均灰度差来确定拼接缝的方向，如果垂直方向上的差异大于水平方向上的差异，则为水平拼接缝；否则为垂直拼接缝；
S62、确定改正宽度：
假设f1和f2分别是拼接缝两侧相邻10个像素的平均值，而f3表示拼接缝处像素的灰度值；则改正宽度w的计算公式如下：
w＝k×|f1-f2| (3)
其中k是根据经验确定的常数，范围为1.2到2.0；
S63、确定拼接的两侧的基准改正比值和拼接缝处的基准改正比值分别为：
其中，
式中，f1和f2分别是拼接缝两侧的基准改正比值，而f3是拼接缝本身的基基准改正比值；
S64、确定改正区域中像素的改正比值：
水平拼接缝和垂直拼接缝的改正比值分别根据公式(6)和(7)确定：
i0,j0为拼接缝所在的行列坐标,i,j是当前像素点的坐标，w是根据(3)式改正范围的宽度；
S65、在改正区域中改正像素值：
在改正范围内改正像素值之前，根据前面所述的准则对所考虑的像素判断是否需要改正；如果需要进行改正，则按照以下公式对当前像素值进行改正：
I(i,j)＝k(i,j)×I0(i,j) (8)
式中I(i,j)为改正后的像素灰度值，I0(i,j)为像素的原始灰度值。
7.一种用于多眼底图像拼接的系统，其特征在于，包括眼底照明模组，光学镜头模组，图像传感器，信号处理、保存、传输电路，以及图像显示模块；其中所述眼底照明模组利用特定波段光束照明眼底，经过光学镜头模组和图像传感器获取眼底图像，并通过转动对眼底不同位置的图像进行采集；信号处理、保存、传输电路以FPGA器件为核心对采集到的多幅眼底图像采用如权利要求1至7任一项所述的用于多眼底图像拼接的方法进行拼接处理并保存和传输，同时控制图像显示模块输出拼接后的眼底图像。
8.根据权利要求7所述的用于多眼底图像拼接的系统，其特征在于，所述FPGA器件包括：图像传感器接口模块，主控模块，DDR内存读写模块，多个配准模块，图像融合模块，显示接口模块，以及通信接口模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011006145.4A CN112164043A (zh) | 2020-09-23 | 2020-09-23 | 一种用于多眼底图像拼接的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011006145.4A CN112164043A (zh) | 2020-09-23 | 2020-09-23 | 一种用于多眼底图像拼接的方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112164043A true CN112164043A (zh) | 2021-01-01 |
Family
ID=73863348
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011006145.4A Pending CN112164043A (zh) | 2020-09-23 | 2020-09-23 | 一种用于多眼底图像拼接的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112164043A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113344782A (zh) * | 2021-05-31 | 2021-09-03 | 浙江大华技术股份有限公司 | 图像拼接方法、装置、存储介质及电子装置 |
| CN113436070A (zh) * | 2021-06-20 | 2021-09-24 | 四川大学 | 一种基于深度神经网络的眼底图像拼接方法 |
| CN114862760A (zh) * | 2022-03-30 | 2022-08-05 | 中山大学中山眼科中心 | 一种早产儿视网膜病变检测方法及装置 |
| CN114897678A (zh) * | 2022-03-29 | 2022-08-12 | 中山大学中山眼科中心 | 婴幼儿眼底视网膜全景影像生成采集反馈方法及系统 |
| CN114998353A (zh) * | 2022-08-05 | 2022-09-02 | 汕头大学·香港中文大学联合汕头国际眼科中心 | 一种自动检测玻璃体混浊斑飘动范围的系统 |
| CN116228545A (zh) * | 2023-04-04 | 2023-06-06 | 深圳市眼科医院(深圳市眼病防治研究所) | 基于视网膜特征点的眼底彩色照相图像拼接方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107968916A (zh) * | 2017-12-04 | 2018-04-27 | 国网山东省电力公司电力科学研究院 | 一种适用于非固定场景的快速视频稳像方法 |
| CN108022228A (zh) * | 2016-10-31 | 2018-05-11 | 天津工业大学 | 基于SIFT变换和Otsu匹配的彩色眼底图像拼接方法 |
| CN111080529A (zh) * | 2019-12-23 | 2020-04-28 | 大连理工大学 | 一种加强鲁棒性的无人机航拍图像拼接方法 |
-
2020
- 2020-09-23 CN CN202011006145.4A patent/CN112164043A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108022228A (zh) * | 2016-10-31 | 2018-05-11 | 天津工业大学 | 基于SIFT变换和Otsu匹配的彩色眼底图像拼接方法 |
| CN107968916A (zh) * | 2017-12-04 | 2018-04-27 | 国网山东省电力公司电力科学研究院 | 一种适用于非固定场景的快速视频稳像方法 |
| CN111080529A (zh) * | 2019-12-23 | 2020-04-28 | 大连理工大学 | 一种加强鲁棒性的无人机航拍图像拼接方法 |
Non-Patent Citations (2)
| Title |
|---|
| JINGWEI XI ET AL.: "Multi-retinal Images Stitching Based on the Maximum Fusion and Correction Ratio of Gray Average", 《CONFERENCE PROCEEDINGS OF THE 3RD INTERNATIONAL SYMPOSIUM ON IMAGE COMPUTING AND DIGITAL MEDICINE (ISICDM 2019)》 * |
| LIOR TALKER ET AL.: "Estimating the Number of Correct Matches Using Only Spatial Order", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113344782A (zh) * | 2021-05-31 | 2021-09-03 | 浙江大华技术股份有限公司 | 图像拼接方法、装置、存储介质及电子装置 |
| CN113436070A (zh) * | 2021-06-20 | 2021-09-24 | 四川大学 | 一种基于深度神经网络的眼底图像拼接方法 |
| CN113436070B (zh) * | 2021-06-20 | 2022-05-17 | 四川大学 | 一种基于深度神经网络的眼底图像拼接方法 |
| CN114897678A (zh) * | 2022-03-29 | 2022-08-12 | 中山大学中山眼科中心 | 婴幼儿眼底视网膜全景影像生成采集反馈方法及系统 |
| CN114862760A (zh) * | 2022-03-30 | 2022-08-05 | 中山大学中山眼科中心 | 一种早产儿视网膜病变检测方法及装置 |
| CN114998353A (zh) * | 2022-08-05 | 2022-09-02 | 汕头大学·香港中文大学联合汕头国际眼科中心 | 一种自动检测玻璃体混浊斑飘动范围的系统 |
| CN114998353B (zh) * | 2022-08-05 | 2022-10-25 | 汕头大学·香港中文大学联合汕头国际眼科中心 | 一种自动检测玻璃体混浊斑飘动范围的系统 |
| CN116228545A (zh) * | 2023-04-04 | 2023-06-06 | 深圳市眼科医院(深圳市眼病防治研究所) | 基于视网膜特征点的眼底彩色照相图像拼接方法及系统 |
| CN116228545B (zh) * | 2023-04-04 | 2023-10-03 | 深圳市眼科医院(深圳市眼病防治研究所) | 基于视网膜特征点的眼底彩色照相图像拼接方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112164043A (zh) | 一种用于多眼底图像拼接的方法及系统 | |
| Hernandez-Matas et al. | FIRE: fundus image registration dataset | |
| US8194936B2 (en) | Optimal registration of multiple deformed images using a physical model of the imaging distortion | |
| Yin et al. | Vessel extraction from non-fluorescein fundus images using orientation-aware detector | |
| Narasimha-Iyer et al. | Robust detection and classification of longitudinal changes in color retinal fundus images for monitoring diabetic retinopathy | |
| Lu et al. | Automatic optic disc detection from retinal images by a line operator | |
| US8855386B2 (en) | Registration method for multispectral retinal images | |
| CN102908120B (zh) | 眼底图像的配准方法、眼底图像中视盘神经、血管的测量方法及眼底图像的拼接方法 | |
| Lupascu et al. | Automated detection of optic disc location in retinal images | |
| Bian et al. | Optic disc and optic cup segmentation based on anatomy guided cascade network | |
| CN113826143A (zh) | 特征点检测 | |
| Narasimha-Iyer et al. | Integrated analysis of vascular and nonvascular changes from color retinal fundus image sequences | |
| CN107644411A (zh) | 超声宽景成像方法及装置 | |
| CN111488912B (zh) | 一种基于深度学习神经网络的喉部疾病诊断系统 | |
| CN111797900A (zh) | 一种oct-a图像的动静脉分类方法及装置 | |
| CN115393239A (zh) | 一种多模态眼底图像配准和融合方法及系统 | |
| CN113192074B (zh) | 一种适用于octa图像的动静脉自动化分割方法 | |
| Hu et al. | Multi-image stitching for smartphone-based retinal fundus stitching | |
| Czepita et al. | Image processing pipeline for the detection of blood flow through retinal vessels with subpixel accuracy in fundus images | |
| CN115456974A (zh) | 基于人脸关键点的斜视检测系统、方法、设备及介质 | |
| CN113112473B (zh) | 一种人体扩张型心肌病的自动诊断系统 | |
| KR102380560B1 (ko) | 영상 처리를 기반으로 하는 각막궤양 검출 장치 및 그 방법 | |
| Xu et al. | Auto-adjusted 3-D optic disk viewing from low-resolution stereo fundus image | |
| Tascini et al. | Retina vascular network recognition | |
| Chen et al. | Determination of blood flow characteristics in eye vessels in video sequence |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |