CN113674157B - 眼底图像拼接方法、计算机装置和存储介质 - Google Patents
眼底图像拼接方法、计算机装置和存储介质 Download PDFInfo
- Publication number
- CN113674157B CN113674157B CN202111223927.8A CN202111223927A CN113674157B CN 113674157 B CN113674157 B CN 113674157B CN 202111223927 A CN202111223927 A CN 202111223927A CN 113674157 B CN113674157 B CN 113674157B
- Authority
- CN
- China
- Prior art keywords
- fundus image
- image
- vector
- fundus
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 239000013598 vector Substances 0.000 claims abstract description 119
- 238000005286 illumination Methods 0.000 claims description 40
- 238000004364 calculation method Methods 0.000 claims description 22
- 210000005036 nerve Anatomy 0.000 claims description 19
- 238000013519 translation Methods 0.000 claims description 19
- 210000004204 blood vessel Anatomy 0.000 claims description 18
- 210000001508 eye Anatomy 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 10
- 210000005252 bulbus oculi Anatomy 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000030214 innervation Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 9
- 230000000694 effects Effects 0.000 abstract description 6
- 230000014616 translation Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 12
- 238000004590 computer program Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 210000001328 optic nerve Anatomy 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 210000004087 cornea Anatomy 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 210000004220 fundus oculi Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241001640034 Heteropterys Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明公开了一种眼底图像拼接方法、计算机装置和存储介质,眼底图像拼接方法包括获取第一眼底图像和第二眼底图像,根据图像特征确定第一向量和第二向量,旋转眼底图像,使第一向量与第二向量之间的夹角小于预设阈值,在第一眼底图像和第二眼底图像中确定第一区域和第二区域,旋转、平移第一眼底图像或第二眼底图像,使第一区域与第二区域重合,对第一眼底图像和第二眼底图像之间的重叠部分进行融合等步骤。本发明通过计算第一向量和第二向量,对眼底图像之间的位置关系进行粗调,根据第一区域和第二区域进行微调,能够获得高精度的拼接效果,降低眼底图像中包含的噪音带来的影响,并且数据处理量小。本发明广泛应用于图像处理技术领域。
Description
技术领域
本发明涉及图像处理技术领域,尤其是一种眼底图像拼接方法、计算机装置和存储介质。
背景技术
眼底图像是利用眼底镜对眼球内壁进行拍摄得到的图像,眼球内壁又可以称为眼底,因此拍摄所得的图像被称为眼底图像。眼底图像经过数字化存入计算机,可通过对眼底图像的分析,为各种疾病的诊断提供参考依据。
由于眼底镜的视野有限,每次拍摄只能拍摄到眼球内壁的局部,而医生一般需要观察眼球内壁不同地方的情况,所以需要对眼球内壁进行拍摄,获取多张眼底图像,以进行综合诊断,因此产生了将多张眼底图像拼接在一起的需求。
目前眼底图像拼接的相关技术,包括解析两张待拼接眼底图像上的特征细节,两张待拼接眼底图像上特征细节相同的区域就是需要拼接融合的区域,将这两个区域融合在一起,从而实现两张待拼接眼底图像的拼接,这种方法的缺点是高度依赖对特征细节的分析,容易受到噪音的干扰而出现漏判或错判;另一种技术是使用人工智能对两张待拼接眼底图像进行处理,输出两张待拼接眼底图像之间的相同区域,从而确定需要拼接融合的区域,这种技术的缺点是需要运行人工智能模型,对计算机资源的要求较高,消耗的计算资源和时间也较多,不利于实时拼接。
发明内容
针对上述眼底图像拼接的相关技术存在的容易受噪音干扰、占用资源多、时间消耗大等至少一个技术问题,本发明的目的在于提供一种眼底图像拼接方法、计算机装置和存储介质。
一方面,本发明实施例包括一种眼底图像拼接方法,包括:
获取第一眼底图像和第二眼底图像;所述第一眼底图像对应的拍摄区域与所述第二眼底图像对应的拍摄区域是眼底的相邻且部分重叠的区域;
根据所述第一眼底图像所带有的第一图像特征,确定第一向量,根据所述第二眼底图像所带有的第二图像特征,确定第二向量;所述第二图像特征与所述第一图像特征为相同类型的图像特征;
保持所述第一眼底图像与所述第一向量之间的位置关系不变,以及保持所述第二眼底图像与所述第二向量之间的位置关系不变,旋转所述第一眼底图像或所述第二眼底图像,使所述第一向量与所述第二向量之间的夹角小于预设阈值;
在所述第一眼底图像中确定第一区域,在所述第二眼底图像中确定第二区域;
旋转或平移所述第一眼底图像和所述第二眼底图像中的至少一个图像,使所述第一区域与所述第二区域重合;
对所述第一眼底图像和所述第二眼底图像之间的重叠部分进行融合。
进一步地,所述获取第一眼底图像和第二眼底图像,包括:
对被拍摄眼球的眼底部分施加辅助光照;所述辅助光照对所述眼底部分的照射点,位于所述第一眼底图像和所述第二眼底图像的拍摄区域以外;
对被拍摄眼球的眼底部分进行拍摄,获取所述第一眼底图像和所述第二眼底图像。
进一步地,所述根据所述第一眼底图像所带有的第一图像特征,确定第一向量,根据所述第二眼底图像所带有的第二图像特征,确定第二向量,包括:
获取所述第一眼底图像的亮度分布luminance 1 (x,y)作为所述第一图像特征;其中,luminance 1 (x,y)表示所述第一眼底图像内坐标(x,y)处由所述辅助光照产生的光照亮度;
获取所述第二眼底图像的亮度分布luminance 2 (x,y)作为所述第二图像特征;其中,luminance 2 (x,y)表示所述第二眼底图像内坐标(x,y)处由所述辅助光照产生的光照亮度;
计算所述第一图像特征的梯度和所述第二图像特征的梯度,所述第一图像特征的梯度和所述第二图像特征的梯度的计算公式为:
根据所述第一图像特征的梯度、所述第二图像特征的梯度、所述第一眼底图像所在的区域和所述第二眼底图像所在的区域,计算所述第一向量和所述第二向量,所述第一向量和所述第二向量的计算公式为:
进一步地,所述根据所述第一眼底图像所带有的第一图像特征,确定第一向量,根据所述第二眼底图像所带有的第二图像特征,确定第二向量,包括:
对第一眼底图像进行预处理,提取所述第一眼底图像中的血管分布和神经分布,对第二眼底图像进行预处理,提取所述第二眼底图像中的血管分布和神经分布;
获取所述血管分布和神经分布在所述第一眼底图像内部的末端点分布point 1 (x i , y i ),获取所述第一眼底图像的亮度分布luminance 1 (x,y);其中,point 1 (x i ,y i )和luminance 1 (x,y)作为所述第一图像特征,point 1 (x i ,y i )表示所述第一眼底图像内部第i个末端点的坐标为(x i ,y i ),luminance 1 (x,y)表示所述第一眼底图像内坐标(x,y)处由所述辅助光照产生的光照亮度;
获取所述血管分布和神经分布在所述第二眼底图像内部的末端点分布point 2 (x j , y j ),获取所述第二眼底图像的亮度分布luminance 2 (x,y);其中,point 2 (x j ,y j )和luminance 2 (x,y)作为所述第二图像特征,point 2 (x j ,y j )表示所述第二眼底图像内部第j个末端点的坐标为(x j ,y j ),luminance 2 (x,y)表示所述第二眼底图像内坐标(x,y)处由所述辅助光照产生的光照亮度;
根据所述血管分布和神经分布在所述第一眼底图像内部的末端点分布point 1 (x i , y i )、所述第一眼底图像的亮度分布luminance 1 (x,y)和所述第一眼底图像的中心点计算所述第一向量,所述第一向量的计算公式为:
其中,为所述第一向量,M为所述第一眼底图像内部的末端点总数,luminance 1 (x i ,y i )为luminance 1 (x,y)中坐标(x i ,y i )对应的光照亮度,||为模大小求取符号;
根据所述血管分布和神经分布在所述第二眼底图像内部的末端点分布point 2 (x j , y j )、所述第二眼底图像的亮度分布luminance 2 (x,y)和所述第二眼底图像的中心点计算所述第二向量,所述第二向量的计算公式为:
其中,为所述第二向量,N为所述第二眼底图像内部的末端点总数,luminance 2 (x j ,y j )为luminance 2 (x,y)中坐标(x j ,y j )对应的光照亮度,||为模大小求取符号。
进一步地,所述在所述第一眼底图像中确定第一区域,在所述第二眼底图像中确定第二区域,包括:
确定连接所述第一眼底图像的中心点与所述第二眼底图像的中心点的连线;
在所述第一眼底图像内确定第一区域;
在所述第二眼底图像内确定第二区域;所述第一区域和所述第二区域均将所述连线包含在内。
进一步地,所述旋转或平移所述第一眼底图像和所述第二眼底图像中的至少一个图像,使所述第一区域与所述第二区域重合,包括:
获取所述第一区域g 1 (x,y)和所述第二区域g 2 (x,y);
计算所述第一区域的傅里叶变换结果以及所述第二区域的傅里叶变换结果;所述第一区域的傅里叶变换结果的计算公式为G 1 (u,v)=F[g 1 (x,y)],所述第二区域的傅里叶变换结果的计算公式为G 2 (u,v)=F[g 2 (x,y)];其中,F[]表示傅里叶变换,u和v表示经过傅里叶变换后的变量;
计算G 1 (u,v)的能量E 1 (u,v),以及G 2 (u,v)的能量E 2 (u,v);
以θ 0 为旋转角,对所述第二区域g 2 (x,y)进行旋转。
进一步地,所述旋转或平移所述第一眼底图像和所述第二眼底图像中的至少一个,使所述第一区域与所述第二区域重合,还包括:
通过公式g 3 (x,y)=g 2 (xcosθ 0 +ysinθ 0 ,-xsinθ 0 +ycosθ 0 )对所述第二区域g 2 (x,y)以θ 0 为旋转角旋转,其中g 3 (x,y)为所述第二区域g 2 (x,y)以θ 0 为旋转角旋转后所得的图像;
计算g 3 (x,y)的傅里叶变换结果;所述第一区域的傅里叶变换结果的计算公式为G 3 (u,v)=F[g 3 (x,y)];其中,F[]表示傅里叶变换,u和v表示经过傅里叶变换后的变量;
以(x 0 ,y 0 )为平移向量,对所述第二区域g 2 (x,y)进行平移。
进一步地,所述对所述第一眼底图像和所述第二眼底图像之间的重叠部分进行融合,包括:
获取所述第一眼底图像上各点的像素值,以及所述第二眼底图像上各点的像素值;
以所述第一眼底图像上的点的像素值,与所述第二眼底图像上的相应点的像素值的平均值,作为所述重叠部分上相应点的平均值。
另一方面,本发明还包括一种计算机装置,所述计算机装置包括存储器和处理器,所述存储器用于存储至少一个程序,所述处理器用于加载所述至少一个程序以执行实施例中的眼底图像拼接方法。
另一方面,本发明还包括一种存储介质,所述存储介质中存储有处理器可执行的程序,所述处理器可执行的程序在由处理器执行时用于执行实施例中的眼底图像拼接方法。
本发明的有益效果是:实施例中的眼底图像拼接方法,通过第一眼底图像所带有的第一图像特征确定第一向量,通过第二眼底图像所带有的第二图像特征确定第二向量,通过第一向量和第二向量之间的位置关系来调整第一眼底图像和第二眼底图像之间的位置关系,在调整了位置关系的第一眼底图像和第二眼底图像中,容易寻找到包含相同内容的第一区域和第二区域,能够减少数据处理量,上述过程相当于粗调过程;由于第一区域和第二区域分别是第一眼底图像和第二眼底图像中的部分内容,根据第一区域和第二区域来确定旋转量和平移量,能够避免根据第一眼底图像和第二眼底图像整体来确定旋转量和平移量,进一步减少数据处理量,上述过程相当于微调过程;通过上述粗调和微调,能够获得高精度的拼接效果,并且由于根据图像特征进行的调整过程只是粗调过程,能够避免进行眼底图像的位置关系调整时过度依赖对图像特征的分析结果,因此能够降低眼底图像中包含的噪音带来的影响。
附图说明
图1为实施例中眼底图像拼接方法的流程图;
图2为实施例中眼底区域的形态示意图;
图3为实施例中第一眼底图像的形态示意图;
图4为实施例中第二眼底图像的形态示意图;
图5为实施例中第一眼底图像中的光照亮度梯度场分布示意图;
图6为实施例中第二眼底图像中的光照亮度梯度场分布示意图;
图7为实施例中第一眼底图像中的血管分布和神经分布形成的向量示意图;
图8为实施例中第二眼底图像中的血管分布和神经分布形成的向量示意图;
图9为实施例中纠正相对位置关系后的第一眼底图像和第二眼底图像的示意图;
图10为实施例中查找第一区域和第二区域的示意图;
图11为实施例中第一眼底图像和第二眼底图像的拼接效果示意图。
具体实施方式
本实施例中,参照图1,眼底图像拼接方法包括以下步骤:
S1.获取第一眼底图像和第二眼底图像;
S2.根据第一眼底图像所带有的第一图像特征,确定第一向量,根据第二眼底图像所带有的第二图像特征,确定第二向量;
S3.保持第一眼底图像与第一向量之间的位置关系不变,以及保持第二眼底图像与第二向量之间的位置关系不变,旋转第一眼底图像或第二眼底图像,使第一向量与第二向量之间的夹角小于预设阈值;
S4.在第一眼底图像中确定第一区域,在第二眼底图像中确定第二区域;
S5.旋转、平移第一眼底图像、第二眼底图像中的至少一个,使第一区域与第二区域重合;
S6.对第一眼底图像和第二眼底图像之间的重叠部分进行融合。
步骤S1中,对图2所示的眼底区域进行拍摄。图2中,线条表示眼底的视神经和血管,本实施例中不区分视神经和血管,图2中的线条既可以只表示视神经,也可以只表示血管,还可以部分线条表示视神经、部分线条表示血管。图2中的圆形区域表示视神经汇聚穿出眼球的区域。
图2中,使用辅助光照对眼底区域进行照明。图2中的100表示辅助光照的光源。步骤S1中,可以使用可见光拍摄技术进行拍摄,也可以使用红外拍摄技术进行拍摄,并将拍摄结果转换成可见光显示的图像。研究表明,波长超过1140μm的红外线容易被人眼的角膜吸收,而且对人眼无害,因此本实施例中可以使用波长超过1140μm的红外线进行辅助光照,具体可以使用波长超过1154μm的红外线进行辅助光照。由于使用超过1140μm的红外线进行辅助光照,人眼的角膜容易吸收光线,因此容易在眼底形成更明显的亮度梯度分布,方便本实施例中执行后续步骤进行图像处理。
本实施例中,辅助光照对眼底部分的照射点,位于第一眼底图像和第二眼底图像的拍摄区域以外,也就是拍摄第一眼底图像和第二眼底图像时,不把辅助光照对眼底的照射点拍摄在内,因此第一眼底图像和第二眼底图像中拍摄到的,是辅助光照对眼底的照射点在眼底反射开的光强分布。
本实施例中,第一眼底图像对应的拍摄区域与第二眼底图像对应的拍摄区域是眼底的相邻区域。也就是在拍摄的时候,针对眼底中的第一拍摄区域拍摄获得第一眼底图像,针对眼底中与第一拍摄区域相邻的第二拍摄区域拍摄获得第二眼底图像,而且第一拍摄区域与第二拍摄区域之间部分重叠,这样拍摄所得的第一眼底图像和第二眼底图像就有相重叠的部分。
本实施例中,拍摄所得的第一眼底图像如图3所示,拍摄所得的第二眼底图像如图4所示,其中椭圆形边框表示视野的边界。
由于拍摄角度的问题,图3所示的第一眼底图像与图4所示的第二眼底图像之间存在位置差异。要将图3所示的第一眼底图像与图4所示的第二眼底图像拼接在一起,关键是找到第一眼底图像和第二眼底图像之间的重叠部分,通过旋转和平移来使得第一眼底图像和第二眼底图像的重叠部分重合,然后将第一眼底图像和第二眼底图像的重叠部分融合起来。
步骤S2中,根据第一眼底图像所带有的第一图像特征,确定第一向量;根据第二眼底图像所带有的第二图像特征,确定第二向量。其中,第二图像特征与第一图像特征为相同类型的图像特征。
本实施例中,第一图像特征和第二图像特征的具体内容有两种情况。
第一种情况中,第一图像特征是指由于辅助光照在第一眼底图像上产生的亮度场强分布,第二图像特征是指由于辅助光照在第二眼底图像上产生的亮度场强分布。由于辅助光照在眼底上有一个照射点,因此辅助光照在眼底上产生了亮度场强的分布。将第一眼底图像内坐标(x,y)处由辅助光照产生的光照亮度表示为luminance 1 (x,y),那么就可以用luminance 1 (x,y)表示第一图像特征;将第二眼底图像内坐标(x,y)处由辅助光照产生的光照亮度表示为luminance 2 (x,y),那么就可以用luminance 2 (x,y)表示第二图像特征。
本实施例中,计算对第一眼底图像面积的平均值,可以反映出第一眼底图
像上由于辅助光照引起的光强变化的总方向,计算对第二眼底图像面积的平均值,
可以反映出第二眼底图像上由于辅助光照引起的光强变化的总方向。具体的计算方式为以及,其中S 1 为第一眼底图像所在的区域,S 2 为第二眼
底图像所在的区域。
在第一种情况下计算出的第一向量和第二向量,能够反映出第一眼底图像和
第二眼底图像上由于辅助光照引起的光强变化的总方向。由于在拍摄第一眼底图像和第二
眼底图像时是使用同一辅助光照光源,因此第一向量和第二向量能够指示辅助光照在
眼底上的照射点的方向,从而为第一眼底图像和第二眼底图像的拼接提供参考方向。
第二种情况中,第一图像特征是指由于辅助光照在第一眼底图像上产生的亮度场强分布,以及第一眼底图像中的血管和神经的末端点分布;第二图像特征是指由于辅助光照在第二眼底图像上产生的亮度场强分布,以及第二眼底图像中的血管和神经的末端点分布。
具体地,可以对第一眼底图像和第二眼底图像进行图像腐蚀、膨胀等预处理,从而消除第一眼底图像和第二眼底图像中的背景颜色,将第一眼底图像和第二眼底图像中的血管分布和神经分布显示出来。经过预处理,第一眼底图像和第二眼底图像中的血管分布和神经分布显示为如图2中的线条,从而突出第一眼底图像和第二眼底图像中的血管、神经与其他内容之间的区别,方便识别和处理。
参照图7,获取血管分布和神经分布在第一眼底图像内部的M个末端点分布point 1 (x i ,y i ),以及血管分布和神经分布在第二眼底图像内部的N个末端点分布point 2 (x j ,y j )。具体地,point 1 (x i ,y i )表示第一眼底图像内部第i个末端点的坐标为(x i ,y i ),point 2 (x j ,y j )表示第二眼底图像内部第j个末端点的坐标为(x j ,y j )。
第二种情况中,如同第一种情况一样,获取第一眼底图像的亮度分布luminance 1
(x,y)以及第二眼底图像的亮度分布luminance 2 (x,y)。参照图7,在第一眼底图像中,以为出发点,分别向各末端点point 1 (x i ,y i )引出向量,所获
得的M个向量如图7中的虚线箭头所示;参照图8,在第二眼底图像中,以为出发
点,分别向各末端点point 2 (x j ,y j )引出向量,所获得的N个向量如图8
中的虚线箭头所示。
在获得各向量后,可以计算各向量的平均值。具体地,将图7所示的第一眼底图像
中M个向量,以向量的末端所在的点对应的亮度为权重进行加权求和,获得第一向量,即;将图8所示的第二眼底图像中N个向量,以向
量的末端所在的点对应的亮度为权重进行加权求和,获得第二向量,即。其原理在于:同一眼底中,血管和神经的延
伸是有确定的大体方向的,因此向量的平均值和向量的平均值应指向相同的方向;由于亮度高的地方噪声更低,亮度低
的地方血管和神经的轨迹容易被噪声掩盖或者干扰,通过以亮度为权重进行加权,可以减
少噪声带来的影响,所获得的第一向量和第二向量能够为第一眼底图像和第二眼底图
像的拼接提供参考方向。
无论通过第一种情况获得的第一向量和第二向量,还是通过第二种情况获得
的第一向量和第二向量,都可以用来执行步骤S3,也就是保持第一眼底图像与第一向
量之间的位置关系不变,以及保持第二眼底图像与第二向量之间的位置关系不变,旋转第
一眼底图像或第二眼底图像,使第一向量与第二向量之间的夹角小于预设阈值,或者使第
一向量与第二向量转到一致的方向。
例如,对于图5所示的第一向量和图6所示的第二向量,它们都是通过第一种
情况获得的,通过保持第一眼底图像与第一向量之间的位置关系不变,以及保持第二眼底
图像与第二向量之间的位置关系不变,旋转第一眼底图像或第二眼底图像,使第一向量与
第二向量之间的夹角小于预设阈值,或者使第一向量与第二向量转到一致的方向,可以将
图5和图6的不同朝向关系,纠正到如图9所示的朝向关系。
步骤S4中,参照图10,在第一眼底图像中确定第一区域,在第二眼底图像中确定第二区域。具体地,以第一眼底图像的中心点与第二眼底图像的中心点,确定一条连线,该连线如图10中的虚线直线所示。然后,在第一眼底图像内确定第一区域,在第二眼底图像内确定第二区域,其中,第一区域如图10中的位于右下方的圆形虚线所示,第二区域如图10中的位于坐上方的圆形虚线所示。第一区域和第二区域均将连线包含在内,也就是第一区域和第二区域都在连线附近。具体地,可以设置第一区域和第二区域具有相同的形状和大小,并且使得第一区域的边缘与第一眼底图像的边缘内切,第二区域的边缘与第二眼底图像的边缘内切,这样更容易寻找到包含相同内容的第一区域和第二区域。
步骤S5中,旋转、平移第一眼底图像、第二眼底图像中的至少一个,使第一区域与第二区域重合。本实施例中,可以保持第一眼底图像不动,只旋转、平移第二眼底图像,使得第一区域与第二区域重合。在旋转、平移第二眼底图像之前,需要考虑旋转、平移的数量大小,也就是将第二眼底图像旋转多少角度、平移多少像素。
考虑到以下原理:
(1)在第一眼底图像和第二眼底图像之间仅需通过平移可以得到的情况下,那么
第一区域和第二区域之间也仅需通过平移可以得到。对于第一区域g 1 (x,y)和第二区域g 2
(x,y),有g 2 (x,y)=g 1 (x-x 0 ,y-y 0 ),对该等式两边同时进行傅里叶变换,有;二者之间的互功率谱为,
其中G * 1 (u,v)为G 1 (u,v)的复共轭。对进行傅里叶反变换,可以得
到,因此只需找到冲激函数δ(x-x 0 ,y-y 0 )的峰值对应的坐
标,便可以确定第一区域g 1 (x,y)和第二区域g 2 (x,y)之间的平移量(x 0 ,y 0 )。
(2)在先旋转第二眼底图像、再平移旋转后的第二眼底图像获得第一眼底图像的
情况下那么对第二区域进行相同的旋转和平移也可以得到第一区域。对于第一区域g 1 (x,y)和第二区域g 2 (x,y),有g 2 (x,y)=g 1 (xcosθ 0 +ysinθ 0 -x 0 ,-xsinθ 0 +ycosθ 0 -y 0 ),对该等式两
边同时进行傅里叶变换,可以得到;
设E 1 (u,v)表示G 1 (u,v)的能量,E 2 (u,v)表示G 2 (u,v)的能量,那么有,将E 1 (u,v)和E 2 (u,v)从直角坐标系下转换到极坐标系
进行表示,可以得到E 1 (r,θ)=E 2 (r,θ-θ 0 ),该式的形式与原理(1)中的g 2 (x,y)=g 1 (x-x 0 ,y- y 0 )相似,因此可以对E 1 (r,θ)=E 2 (r,θ-θ 0 )应用原理(1)来解得θ 0 。
根据上述原理(1)和(2),执行步骤S5时,可以执行以下步骤:
S501.获取第一区域g 1 (x,y)和第二区域g 2 (x,y);
S502.计算G 1 (u,v)=F[g 1 (x,y)]和G 2 (u,v)=F[g 2 (x,y)];其中,F[]表示傅里叶变换;
S503.计算G 1 (u,v)的能量E 1 (u,v),以及G 2 (u,v)的能量E 2 (u,v);
S505.以θ 0 为旋转角,对第二区域g 2 (x,y)进行旋转。
上述步骤S501-S505是基于原理(1),确定第二区域g 2 (x,y)如果要通过旋转得到第一区域g 1 (x,y),所要旋转的角度θ 0 。
在执行完步骤S501-S505后,可以执行以下步骤:
S506.获取g 3 (x,y)=g 2 (xcosθ 0 +ysinθ 0 ,-xsinθ 0 +ycosθ 0 );其中,g 3 (x,y)为第二区域g 2 (x,y)以θ 0 为旋转角旋转后所得的图像;
S507.计算G 3 (u,v)=F[g 3 (x,y)];
S509.以(x 0 ,y 0 )为平移向量,对第二区域g 2 (x,y)进行平移。
上述步骤S506-S509是在执行步骤S501-S505,将第二区域g 2 (x,y)旋转后的图像表示为g 3 (x,y),然后基于原理(1),确定旋转后的第二区域g 2 (x,y)如果要通过平移得到第一区域g 1 (x,y),所要平移的量(x 0 ,y 0 )。
通过执行上述步骤S501-S509,可以确定旋转量θ 0 和平移量(x 0 ,y 0 )。将第二眼底图像旋转角度θ 0 后,沿着向量(x 0 ,y 0 )的方向和大小平移,则可以将第二眼底图像转换到一个位置,在该位置上,如图11所示,第二眼底图像与第一眼底图像上表示相同内容的部分重叠。图11中的200表示第二眼底图像与第一眼底图像的重叠部分。
步骤S6中,第一眼底图像和第二眼底图像的重叠部分上的每个像素点,都可以视为是第一眼底图像上的对应像素点和第二眼底图像的对应像素点融合而成。本实施例中,可以通过求像素值平均值来进行像素点融合,即对于图11,其中的重叠部分上的一个像素点的像素值,等于这个像素点在第一眼底图像上的对应像素点的像素值,与第二眼底图像上的对应像素点的像素值的平均值。第一眼底图像上非重叠部分的各点,以及第二眼底图像上非重叠部分的各点仍保持原先的像素值,重叠部分的各点的像素值被替换成上述计算所得的像素值平均值,从而实现了第一眼底图像和第二眼底图像中重叠部分的融合,最终实现第一眼底图像和第二眼底图像的拼接。
本实施例中,像素值可以是指像素点的亮度值。如果第一眼底图像和第二眼底图像是彩色图像,那么可以分成三个颜色通道,分别计算相同颜色通道中的像素值平均值。
本实施例中的眼底图像拼接方法,通过第一眼底图像所带有的第一图像特征确定第一向量,通过第二眼底图像所带有的第二图像特征确定第二向量,通过第一向量和第二向量之间的位置关系来调整第一眼底图像和第二眼底图像之间的位置关系,在调整了位置关系的第一眼底图像和第二眼底图像中,容易寻找到包含相同内容的第一区域和第二区域,能够减少数据处理量,上述过程相当于粗调过程;由于第一区域和第二区域分别是第一眼底图像和第二眼底图像中的部分内容,根据第一区域和第二区域来确定旋转量和平移量,能够避免根据第一眼底图像和第二眼底图像整体来确定旋转量和平移量,进一步减少数据处理量,上述过程相当于微调过程;通过上述粗调和微调,能够获得高精度的拼接效果,并且由于根据图像特征进行的调整过程只是粗调过程,能够避免进行眼底图像的位置关系调整时过度依赖对图像特征的分析结果,因此能够减轻眼底图像中包含的噪音带来的影响。
可以根据本实施例中的眼底图像拼接方法编写计算机程序,将计算机程序写入计算机装置的存储器或者独立的存储介质中,当计算机程序被读取出来后可以指令处理器执行实施例中的眼底图像拼接方法,从而实现与方法实施例相同的技术效果。
需要说明的是,如无特殊说明,当某一特征被称为“固定”、“连接”在另一个特征,它可以直接固定、连接在另一个特征上,也可以间接地固定、连接在另一个特征上。此外,本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。此外,除非另有定义,本实施例所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本实施例说明书中所使用的术语只是为了描述具体的实施例,而不是为了限制本发明。本实施例所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。
应当理解,尽管在本公开可能采用术语第一、第二、第三等来描述各种元件,但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如,在不脱离本公开范围的情况下,第一元件也可以被称为第二元件,类似地,第二元件也可以被称为第一元件。本实施例所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例,并且除非另外要求,否则不会对本发明的范围施加限制。
应当认识到,本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现,其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而,若需要,该程序可以以汇编或机器语言实现。在任何情况下,该语言可以是编译或解释的语言。此外,为此目的该程序能够在编程的专用集成电路上运行。
此外,可按任何合适的顺序来执行本实施例描述的过程的操作,除非本实施例另外指示或以其他方式明显地与上下文矛盾。本实施例描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行,并且可作为共同地在一个或多个处理器上执行的代码(例如,可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步,所述方法可以在可操作地连接至合适的任何类型的计算平台中实现,包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现,无论是可移动的还是集成至计算平台,如硬盘、光学读取和/或写入存储介质、RAM、ROM等,使得其可由可编程计算机读取,当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外,机器可读代码,或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时,本实施例所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时,本发明还包括计算机本身。
计算机程序能够应用于输入数据以执行本实施例所述的功能,从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中,转换的数据表示物理和有形的对象,包括显示器上产生的物理和有形对象的特定视觉描绘。
以上所述,只是本发明的较佳实施例而已,本发明并不局限于上述实施方式,只要其以相同的手段达到本发明的技术效果,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。
Claims (8)
1.一种眼底图像拼接方法,其特征在于,所述眼底图像拼接方法包括:
获取第一眼底图像和第二眼底图像;所述第一眼底图像对应的拍摄区域与所述第二眼底图像对应的拍摄区域是眼底的相邻且部分重叠的区域;
根据所述第一眼底图像所带有的第一图像特征,确定第一向量,根据所述第二眼底图像所带有的第二图像特征,确定第二向量;所述第二图像特征与所述第一图像特征为相同类型的图像特征;
保持所述第一眼底图像与所述第一向量之间的位置关系不变,以及保持所述第二眼底图像与所述第二向量之间的位置关系不变,旋转所述第一眼底图像或所述第二眼底图像,使所述第一向量与所述第二向量之间的夹角小于预设阈值;
在所述第一眼底图像中确定第一区域,在所述第二眼底图像中确定第二区域;
旋转或平移所述第一眼底图像和所述第二眼底图像中的至少一个图像,使所述第一区域与所述第二区域重合;
对所述第一眼底图像和所述第二眼底图像之间的重叠部分进行融合;
所述旋转或平移所述第一眼底图像和所述第二眼底图像中的至少一个图像,使所述第一区域与所述第二区域重合,包括:
获取所述第一区域g 1 (x,y)和所述第二区域g 2 (x,y);
计算所述第一区域的傅里叶变换结果以及所述第二区域的傅里叶变换结果;所述第一区域的傅里叶变换结果的计算公式为G 1 (u,v)=F[g 1 (x,y)],所述第二区域的傅里叶变换结果的计算公式为G 2 (u,v)=F[g 2 (x,y)];其中,F[]表示傅里叶变换,u和v表示经过傅里叶变换后的变量;
计算G 1 (u,v)的能量E 1 (u,v),以及G 2 (u,v)的能量E 2 (u,v);
以θ 0 为旋转角,对所述第二区域g 2 (x,y)进行旋转;
通过公式g 3 (x,y)=g 2 (xcosθ 0 +ysinθ 0 ,-xsinθ 0 +ycosθ 0 )对所述第二区域g 2 (x,y)以θ 0 为旋转角旋转,其中g 3 (x,y)为所述第二区域g 2 (x,y)以θ 0 为旋转角旋转后所得的图像;
计算g 3 (x,y)的傅里叶变换结果;所述第一区域的傅里叶变换结果的计算公式为G 3 (u,v)=F[g 3 (x,y)];其中,F[]表示傅里叶变换,u和v表示经过傅里叶变换后的变量;
以(x 0 ,y 0 )为平移向量,对所述第二区域g 2 (x,y)进行平移。
2.根据权利要求1所述的眼底图像拼接方法,其特征在于,所述获取第一眼底图像和第二眼底图像,包括:
对被拍摄眼球的眼底部分施加辅助光照;所述辅助光照对所述眼底部分的照射点,位于所述第一眼底图像和所述第二眼底图像的拍摄区域以外;
对被拍摄眼球的眼底部分进行拍摄,获取所述第一眼底图像和所述第二眼底图像。
3.根据权利要求2所述的眼底图像拼接方法,其特征在于,所述根据所述第一眼底图像所带有的第一图像特征,确定第一向量,根据所述第二眼底图像所带有的第二图像特征,确定第二向量,包括:
获取所述第一眼底图像的亮度分布luminance 1 (x,y)作为所述第一图像特征;其中,luminance 1 (x,y)表示所述第一眼底图像内坐标(x,y)处由所述辅助光照产生的光照亮度;
获取所述第二眼底图像的亮度分布luminance 2 (x,y)作为所述第二图像特征;其中,luminance 2 (x,y)表示所述第二眼底图像内坐标(x,y)处由所述辅助光照产生的光照亮度;
计算所述第一图像特征的梯度和所述第二图像特征的梯度,所述第一图像特征的梯度和所述第二图像特征的梯度的计算公式为:
根据所述第一图像特征的梯度、所述第二图像特征的梯度、所述第一眼底图像所在的区域和所述第二眼底图像所在的区域,计算所述第一向量和所述第二向量,所述第一向量和所述第二向量的计算公式为:
4.根据权利要求2所述的眼底图像拼接方法,其特征在于,所述根据所述第一眼底图像所带有的第一图像特征,确定第一向量,根据所述第二眼底图像所带有的第二图像特征,确定第二向量,包括:
对第一眼底图像进行预处理,提取所述第一眼底图像中的血管分布和神经分布,对第二眼底图像进行预处理,提取所述第二眼底图像中的血管分布和神经分布;
获取所述血管分布和神经分布在所述第一眼底图像内部的末端点分布point 1 (x i ,y i ),获取所述第一眼底图像的亮度分布luminance 1 (x,y);其中,point 1 (x i ,y i )和luminance 1 (x,y)作为所述第一图像特征,point 1 (x i ,y i )表示所述第一眼底图像内部第i个末端点的坐标为(x i ,y i ),luminance 1 (x,y)表示所述第一眼底图像内坐标(x,y)处由所述辅助光照产生的光照亮度;
获取所述血管分布和神经分布在所述第二眼底图像内部的末端点分布point 2 (x j ,y j ),获取所述第二眼底图像的亮度分布luminance 2 (x,y);其中,point 2 (x j ,y j )和luminance 2 (x,y)作为所述第二图像特征,point 2 (x j ,y j )表示所述第二眼底图像内部第j个末端点的坐标为(x j ,y j ),luminance 2 (x,y)表示所述第二眼底图像内坐标(x,y)处由所述辅助光照产生的光照亮度;
根据所述血管分布和神经分布在所述第一眼底图像内部的末端点分布point 1 (x i ,y i )、
所述第一眼底图像的亮度分布luminance 1 (x,y)和所述第一眼底图像的中心点
计算所述第一向量,所述第一向量的计算公式为:
其中,为所述第一向量,M为所述第一眼底图像内部的末端点总数,luminance 1 (x i , y i )为luminance 1 (x,y)中坐标(x i ,y i )对应的光照亮度,||为模大小求取符号;
根据所述血管分布和神经分布在所述第二眼底图像内部的末端点分布point 2 (x j ,y j )、
所述第二眼底图像的亮度分布luminance 2 (x,y)和所述第二眼底图像的中心点
计算所述第二向量,所述第二向量的计算公式为:
5.根据权利要求1所述的眼底图像拼接方法,其特征在于,所述在所述第一眼底图像中确定第一区域,在所述第二眼底图像中确定第二区域,包括:
确定连接所述第一眼底图像的中心点与所述第二眼底图像的中心点的连线;
在所述第一眼底图像内确定第一区域;
在所述第二眼底图像内确定第二区域;所述第一区域和所述第二区域均将所述连线包含在内。
6.根据权利要求1所述的眼底图像拼接方法,其特征在于,所述对所述第一眼底图像和所述第二眼底图像之间的重叠部分进行融合,包括:
获取所述第一眼底图像上各点的像素值,以及所述第二眼底图像上各点的像素值;
以所述第一眼底图像上的点的像素值,与所述第二眼底图像上的相应点的像素值的平均值,作为所述重叠部分上相应点的平均值。
7.一种计算机装置,其特征在于,包括存储器和处理器,所述存储器用于存储至少一个程序,所述处理器用于加载所述至少一个程序以执行权利要求1-6任一项所述方法。
8.一种存储介质,所述存储介质中存储有处理器可执行的程序,其特征在于,所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-6任一项所述方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111223927.8A CN113674157B (zh) | 2021-10-21 | 2021-10-21 | 眼底图像拼接方法、计算机装置和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111223927.8A CN113674157B (zh) | 2021-10-21 | 2021-10-21 | 眼底图像拼接方法、计算机装置和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113674157A CN113674157A (zh) | 2021-11-19 |
CN113674157B true CN113674157B (zh) | 2022-02-22 |
Family
ID=78550658
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111223927.8A Active CN113674157B (zh) | 2021-10-21 | 2021-10-21 | 眼底图像拼接方法、计算机装置和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113674157B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114862760B (zh) * | 2022-03-30 | 2023-04-28 | 中山大学中山眼科中心 | 一种早产儿视网膜病变检测方法及装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111080577A (zh) * | 2019-11-27 | 2020-04-28 | 北京至真互联网技术有限公司 | 眼底影像质量评估方法和系统、设备及存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8837862B2 (en) * | 2013-01-14 | 2014-09-16 | Altek Corporation | Image stitching method and camera system |
CN104933678B (zh) * | 2015-06-30 | 2018-04-10 | 西安理工大学 | 一种基于像素强度的图像超分辨率重建方法 |
CN105809626A (zh) * | 2016-03-08 | 2016-07-27 | 长春理工大学 | 一种自适应光线补偿的视频图像拼接方法 |
CN108022228A (zh) * | 2016-10-31 | 2018-05-11 | 天津工业大学 | 基于SIFT变换和Otsu匹配的彩色眼底图像拼接方法 |
CN109509146B (zh) * | 2017-09-15 | 2023-03-24 | 腾讯科技(深圳)有限公司 | 图像拼接方法及装置、存储介质 |
CN109600543B (zh) * | 2017-09-30 | 2021-01-22 | 京东方科技集团股份有限公司 | 用于移动设备拍摄全景图像的方法以及移动设备 |
CN109493319B (zh) * | 2018-10-10 | 2021-06-22 | 武汉联影医疗科技有限公司 | 融合图像效果量化方法、装置、计算机设备和存储介质 |
-
2021
- 2021-10-21 CN CN202111223927.8A patent/CN113674157B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111080577A (zh) * | 2019-11-27 | 2020-04-28 | 北京至真互联网技术有限公司 | 眼底影像质量评估方法和系统、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113674157A (zh) | 2021-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10111583B1 (en) | System, method, and non-transitory computer-readable storage media related to correction of vision defects using a visual display | |
CN106774863B (zh) | 一种基于瞳孔特征实现视线追踪的方法 | |
Kolar et al. | Hybrid retinal image registration using phase correlation | |
JP6651074B2 (ja) | 眼球の運動を検出する方法、そのプログラム、そのプログラムの記憶媒体、及び、眼球の運動を検出する装置 | |
EP3453317B1 (en) | Pupil radius compensation | |
US9814385B2 (en) | Ophthalmoscope | |
US11941788B2 (en) | Image processing method, program, opthalmic device, and choroidal blood vessel image generation method | |
WO2015013022A1 (en) | Method and computations for calculating an optical axis vector of an imaged eye | |
CN109766007B (zh) | 一种显示设备的注视点补偿方法及补偿装置、显示设备 | |
EP3067865A1 (en) | Image processing apparatus and image processing method | |
WO2021075062A1 (ja) | 画像処理方法、画像処理装置、及びプログラム | |
CN114937024A (zh) | 图像评估方法、装置和计算机设备 | |
CN113674157B (zh) | 眼底图像拼接方法、计算机装置和存储介质 | |
US11200713B2 (en) | Systems and methods for enhancing vision | |
WO2013054590A1 (ja) | 眼底画像解析装置、眼底画像解析方法及びプログラム | |
De Zanet et al. | Retinal slit lamp video mosaicking | |
CN113658243B (zh) | 眼底三维模型建立方法、眼底照相机、装置和存储介质 | |
Marrugo et al. | Restoration of retinal images with space-variant blur | |
WO2022018271A1 (en) | Method for determining a coronal position of an eye relative to the head | |
Karaaslan et al. | A new method based on deep learning and image processing for detection of strabismus with the Hirschberg test | |
CN111539940A (zh) | 超广角眼底图像生成方法及设备 | |
Marrugo et al. | Blind restoration of retinal images degraded by space-variant blur with adaptive blur estimation | |
Vinodhini et al. | Swarm Based Enhancement Optimization Method for Image Enhancement for Diabetic Retinopathy Detection | |
CN117670862A (zh) | 基于人工智能自动化分析的眼底病变诊断系统 | |
Du et al. | A method for extracting corneal reflection images from multiple eye images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Fundus image mosaic method, computer device and storage medium Effective date of registration: 20230228 Granted publication date: 20220222 Pledgee: Bank of China Limited by Share Ltd. Foshan branch Pledgor: GUANGDONG WEIREN MEDICAL TECHNOLOGY Co.,Ltd. Registration number: Y2023980033590 |
|
PE01 | Entry into force of the registration of the contract for pledge of patent right |