CN115829851A

CN115829851A - 便携式眼底相机图像缺陷消除方法、系统及存储介质

Info

Publication number: CN115829851A
Application number: CN202211097355.8A
Authority: CN
Inventors: 张瀚文; 何明鑫; 沈小厚; 刘建坤
Original assignee: Nanjing Tongxin Huitu Medical Technology Co ltd
Current assignee: Nanjing Tongxin Huitu Medical Technology Co ltd
Priority date: 2022-09-08
Filing date: 2022-09-08
Publication date: 2023-03-21

Abstract

本发明公开了便携式眼底相机图像缺陷消除方法、系统及存储介质，属于图像处理领域。针对现有技术中存在的现有算法没有针对眼底图像中的杂散光缺陷进行修复的方法问题，本发明提供了便携式眼底相机图像缺陷消除方法、系统及存储介质，首先对相机空拍图像进行预处理，避免噪声对后续处理的影响。然后，根据相机空拍图像确定补偿模板并定位缺陷区域。利用缺陷区域和眼底图像，进一步确定眼底图像的补偿权重。最后，通过调整权重后的补偿模板对眼底图像的缺陷区域进行补偿。它可以实现使用相机拍摄图像，将拍摄所得的原图和空拍图像使用算法处理，进而对原图进行恢复。

Description

便携式眼底相机图像缺陷消除方法、系统及存储介质

技术领域

本发明涉及图像处理领域，更具体地说，涉及便携式眼底相机图像缺陷消除方法、系统及存储介质。

背景技术

眼底图像中典型的图像缺陷包括中央白斑、阴影区、雾化区等，现有算法没有针对眼底图像中的杂散光缺陷。一般情况下，可以通过图像增强来减少微弱或部分失真缺陷的干扰，可以通过图像修补来修复严重失真的区域。

图像增强

眼底图像杂散光的视觉特征与常见的图像雾化现象有一定的相似性，可以作为去除杂散光的参考。常用的去雾算法可以分为基于图像增强的算法和基于图像恢复的算法。

典型的图像增强方法包括：直方图均衡化、自适应直方图均衡化、对比度限制自适应直方图均衡化(CLAHE)、Retinex算法、小波变换等等。直方图均衡化(HLE)主要是通过改变图像的直方图来改变图像中每个像素的灰度水平，来增强动态范围小的图像的对比度。自适应直方图均衡化(AHE)可以通过改变局部直方图来获得更多的图像细节。CLAHE通过对每个小区域的对比度进行限制，克服了AHE中的放大噪声问题。

基于Retinex的方法利用颜色感知的一致性，消除了环境光照明的影响，增强了图像的反射信息。二色反射模型用于去除物体高光。

基于图像增强的去雾算法主要采用大气退化模型。典型的算法有暗通道去雾算法和基于引导滤波的去雾算法。其他具有代表性的算法包括：单一图像去雾算法、快速图像恢复算法、贝叶斯去雾算法。

暗通道先验理论指出，在无雾图像中，每个像素的一个颜色通道总是有一个很低的灰度值，因此整个暗原色中所有像素的灰度值都近似为0。去雾模型为：I(x)＝J(x)t(x)+A(1-t(x))，其中I(x)为待去雾的现有图像，J(x)为待恢复的原始无雾图像，A为全球大气光学成分，t(x)为透视率。

传统的自然环境去雾算法可以借鉴，但它是在雾均匀分布的假设下进行的。因此，它在大多数情况下不能直接用于消除分布不均匀的杂散光雾化现象。

图像修复

现有的图像修复工作可分为两大类。第一类包括传统的基于扩散或基于patch的低维特征的方法，第二类是基于深度学习的。

传统的扩散或基于patch的方法，通常使用变分算法或patch相似度将信息从背景区域传播到缺失区域。例如利用已知区域，通过像素块的优先级来填充缺失区域；使用快速的最近邻域算法。近年来，基于深度学习的图像修复方法在图像修复领域取得了很大的进展。

最初的工作训练卷积神经网络去噪和修复小区域。上下文编码器在图像修复工作中使用了全连接层。在此基础上引入了残差学习和PatchGAN提升性能。利用上下文注意力机制，空洞卷积、部分卷积和门卷积帮助网络更好地学习特征。

但由于便携式眼底相机内置硬件资源的限制，深度学习方法并不适用，传统的图像处理方法更加友好。此外，典型缺陷如中心暗环、中心暗斑、中心白斑等还没有过多的研究，定制化缺陷修复算法有待进一步探索。

发明内容

1.要解决的技术问题

针对现有技术中存在的现有算法没有针对眼底图像中的杂散光缺陷进行修复的方法问题，本发明提供了便携式眼底相机图像缺陷消除方法、系统及存储介质，它可以实现使用相机拍摄图像，将拍摄所得的原图和空拍图像使用算法处理，进而对原图进行恢复。

2.技术方案

本发明的目的通过以下技术方案实现。

一种便携式眼底相机图像缺陷消除方法，步骤如下，

获取眼底图像原图及空拍图；

预处理眼底图像原图，进行有效区域提取和图像增强；

根据空拍图生成得补偿模板；

根据补偿模板补偿预处理后的眼底图像，获得优化后的眼底图像。

更进一步的，所述的空拍图为眼底相机在纯色背景和暗室中拍摄的图像，

更进一步的，空拍图的背景为黑色纯色背景。

更进一步的，补偿方式为，

I_result＝I-w×I_mask (1)

其中I_result为眼底图像的优化结果，I为原始眼底图像，I_mask为空拍图像生成的补偿模板，参数w是补偿模板的调整权重，出现为亮斑的缺陷对应于I_mask中的正值，以阴影形式出现的缺陷对应于I_mask中的负值。

更进一步的，补偿模板的亮斑和阴影权重系数分别为w_bright，w_dark。

更进一步的，亮斑和阴影权重系数根据眼底图像和空拍图像对应位置的亮度差异进行调整。

更进一步的，亮斑和阴影权重系数调整具体方式为，

是空拍图中参考区域Area_ref的平均像素值，C是该区域的像素总数，在空拍图像的缺陷区域，进行阈值分割，定位眼底图像的成像亮斑Area_bright和阴影区域Area_dark，(i，j)为像素坐标，D_bright为亮斑区域坐标集合，D_dark为阴影区域坐标集合；

其中E为空拍图像，w_bright为亮斑区域权重，w_dark为阴影区域权重，根据Area_bright和Area_dark在图像中的位置，可以得到缺陷区域和参考区域的亮度差异。

更进一步的，根据这些缺陷区域和参考区域在眼底图像中的位置，计算出area_bright和area_dark在眼底图像中的亮度差diff，并根据此差值调整权重w_bright和w_dark：

其中m为Area内的像素总数，G()为高斯滤波函数，M()用于获取平均值。

一种便携式眼底相机图像缺陷消除系统，包括眼底相机及控制系统，控制系统设置在眼底相机内部或外部，控制系统执行上述所述的方法。

一种可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述所述的方法。

3.有益效果

相比于现有技术，本发明的优点在于：

本方案相比于其他方法，实现简单同时效果更好，且保持了缺陷区域和正常区域的色彩一致性，使用资源较少，可以使用在相机硬件上。比如便携式的相机，方法简单，只需要给每个相机拍摄一组空拍图像，即可以完成，效率高。

附图说明

图1为本发明的流程示意图；

图2为补偿模板示意图。

具体实施方式

下面结合说明书附图和具体的实施例，对本发明作详细描述。

实施例1

基于现有技术的问题，我们提出了一种基于相机空拍图的图像缺陷修复算法，为眼底图像的缺陷修复和优化提供了一种新的解决方案。如图1所示。利用空拍图像可以从混叠图像信号中分离出有效的图像信息。首先对相机空拍图像进行预处理，避免噪声(尤其是高亮噪声)对后续处理的影响。然后，根据相机空拍图像确定补偿模板并定位缺陷区域。利用缺陷区域和眼底图像，进一步确定眼底图像的补偿权重。最后，通过调整权重后的补偿模板对眼底图像的缺陷区域进行补偿。

获取空拍图，用眼底相机在纯色背景和暗室中拍摄的图像称为相机空拍图像。每台相机出厂前只需要捕捉一次空拍图像进行校准。没有拍摄环境造成的明显的光照失衡，也没有被摄主体本身的反射失衡。可以认为，空拍图像主要反映了硬件和光路设计对相机成像能力的影响。理想情况下，空拍图像也应该是纯色图像。空拍图像中的亮区会作为亮斑出现在眼底图像中。空拍图像中的暗区会在眼底图像中以阴影的形式出现。不同RGB通道的彩色背景呈现相似的像素分布特性。对于不同色卡的空拍图结果，可以得出除了拍摄黑色色卡，拍摄其他色卡会会引入相应的色彩信息。因此，优选的，我们通常使用从黑色背景捕获的相机空拍图像。

生成补偿模板，由于杂散光主要是由相机系统引起的，所以区域相对固定。根据眼底图像和空拍图像，能够看出，缺陷区域(空拍图中像素分布不均区域)在图像中心，半径为0.2倍宽的区域内，因此我们可以大致定位到杂散光出现的缺陷区域。图2展示了RGB通道的补偿模板，蓝色和红色的强度表示眼底图中需要补偿的大小。

参考区域选择在杂散光区域外，参考区域像素合理。眼底图像中参考区域的像素被认为是正常的。缺陷区域在眼底图像中会出现异常杂散光，其中像素明显高于或低于空拍图像中的参考值。因此，可以根据相机空拍图像生成补偿模板，该模板可用于补偿相机拍摄到的眼底图像。补偿方式如下：

I_result＝I-w×I_mask (1)

其中I_result为眼底图像的优化结果，I为原始眼底图像，I_mask为空拍图像生成的补偿模板，参数w是补偿模板的调整权重，出现为亮斑的缺陷对应于I_mask中的正值，以阴影形式出现的缺陷对应于I_mask中的负值。通过减法，眼底图像中的亮斑被削弱，阴影被增强。

调整补偿权重，相机在拍摄眼底图像时，由于光线条件、受试者的镜头屈光度和视网膜反射能力不同，杂散光强度也会不同。很难找到一个固定的通用补偿模板。因此，我们需要根据眼底图像的实际情况来调整补偿模板。

相机成像问题主要分为相机中心的亮斑和亮斑周围的阴影环。补偿模板可根据亮斑和阴影进行调整。设置不同的亮斑和阴影权重系数w_bright，w_dark。

光斑和阴影主要是由光路设计引起的。尽管这些设备之间存在一些差异，但分布大致相似。

是空拍图中参考区域Area_ref的平均像素值。C是该区域的像素总数。在空拍图像的缺陷区域，进行阈值分割，定位眼底图像的成像亮斑Area_bright和阴影区域Area_dark，(i，j)为像素坐标，D_bright为亮斑区域坐标集合，D_dark为阴影区域坐标集合；

其中E为空拍图像，w_bright为亮斑区域权重，w_dark为阴影区域权重。根据Area_bright和Area_dark在图像中的位置，可以得到缺陷区域和参考区域的亮度差异。w_bright和w_dark根据眼底图像和空拍图像对应位置的亮度差异进行调整。

根据这些区域在眼底图像中的位置，计算出area_bright和area_dark在眼底图像中的亮度差diff，并根据此差值调整权重w_bright和w_dark：

其中m为Area内的像素总数，G()为高斯滤波函数，M()用于获取平均值。调整权重根据眼底图像和空拍图像对应位置的比例进行调整。过亮和过暗的像素将会获得更大的调整权重，从而获得更多的补偿。相应补偿前，需要对眼底图像原图进行预处理，进行有效区域提取和图像增强；具体的有效区域提取和图像增强方式如背景技术的现有技术，或者其他现有技术即可，在此不多做赘述。

本方案可以采用软件进行控制，每个相机都需要拍摄其对应的空拍图像。在相机光学系统屈光度为0度的情况下，通过拍摄黑色色卡在暗室中采集到每个相机空拍图像。

基于上述方法给构建一个消除系统，包括眼底相机及控制系统，控制系统设置在眼底相机内部或外部，即具体的处理可以在相机内部的系统进行，也可以外部设置独立系统进行处理，控制系统执行上述方法。

对应的设计一种可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行所述的方法。

本方案基于相机的空拍图结果，设置缺陷区域和参考区域。使用相机拍摄图像，将拍摄所得的原图和空拍图像使用算法处理，算法根据空拍图和原图自动生成初始补偿模板和自适应补偿权重，进而对原图进行恢复，修复效果好，方便简单。

以上示意性地对本发明创造及其实施方式进行了描述，该描述没有限制性，在不背离本发明的精神或者基本特征的情况下，能够以其他的具体形式实现本发明。附图中所示的也只是本发明创造的实施方式之一，实际的结构并不局限于此，权利要求中的任何附图标记不应限制所涉及的权利要求。所以，如果本领域的普通技术人员受其启示，在不脱离本创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本专利的保护范围。此外，“包括”一词不排除其他元件或步骤，在元件前的“一个”一词不排除包括“多个”该元件。产品权利要求中陈述的多个元件也可以由一个元件通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。