CN113808054A - 用于对眼底图像的视盘区域进行修复的方法和相关产品 - Google Patents

Abstract

本公开涉及一种用于对眼底图像的视盘区域进行修复的方法和相关产品。所述方法包括：获取对应于高曝光度眼底图像的第一视盘区域图像和对应于低曝光度眼底图像的第二视盘区域图像；将所述第二视盘区域图像与所述第一视盘区域图像进行图像对齐，以生成与所述第一视盘区域图像对齐后的对齐视盘区域图像；根据所述第一视盘区域图像和所述对齐视盘区域图像确定最终视盘区域图像；以及利用所述最终视盘区域图像对所述第一视盘区域图像进行修复。利用本公开的方案，不仅可以有效解决眼底图像的视盘过曝区域的信息缺失问题，还可以保留眼底图像的真实色彩。

Description

用于对眼底图像的视盘区域进行修复的方法和相关产品

技术领域

本公开一般地涉及图像处理技术领域。更具体地，本公开涉及一种用于对眼底图像的视盘区域进行修复的方法、设备以及计算机可读存储介质。

背景技术

视盘（optic disc），其全称为视神经盘，也可以称作视神经乳头。视盘位于视网膜由黄斑向鼻侧约3毫米（“mm”）处，为一境界清楚的直径约1.5mm的淡红色圆盘状结构。在对眼底视网膜图像进行采集时，其视盘区域往往由于反射率过高会产生过曝现象，而视盘过曝会造成眼底图像视盘区域的信息缺失。当前主流的图像修复增强技术为高动态范围成像（High Dynamic Range Imaging，“HDR”）技术，该HDR技术在数字图像处理中可以用来实现比普通数位图像技术更大曝光动态范围（即更大的明暗差别）。

然而，对于经过图像信号处理（Image Signal Processing，“ISP”）单元处理后的图像而言，ISP单元处理后的不同曝光图像之间的亮度空间线性关系被破坏，无法使用HDR技术进行亮度建模来对图像进行修复。因此，如何对经ISP单元处理后的图像进行修复增强成为亟需解决的技术问题。

发明内容

为了至少部分地解决背景技术中提到的技术问题，本公开的方案提供了一种用于对眼底图像的视盘区域进行修复的方案。利用本公开的方案，可以有效地对视盘过曝区域进行修复增强。为此，本公开在如下的多个方面提供解决方案。

在一个方面中，本公开提供一种用于对眼底图像的视盘区域进行修复的方法，包括：获取对应于高曝光度眼底图像的第一视盘区域图像和对应于低曝光度眼底图像的第二视盘区域图像；将所述第二视盘区域图像与所述第一视盘区域图像进行图像对齐，以生成与所述第一视盘区域图像对齐后的对齐视盘区域图像；根据所述第一视盘区域图像和所述对齐视盘区域图像确定最终视盘区域图像；以及利用所述最终视盘区域图像对所述第一视盘区域图像进行修复。

在一个实施例中，其中获取所述第一视盘区域图像和第二视盘区域图像包括：对所述低曝光度眼底图像执行视盘检测算法，以确定其对应的初始视盘区域；以及基于所述初始视盘区域分别对所述高曝光度眼底图像和所述低曝光度眼底图像执行图像截取操作，以获取所述第一视盘区域图像和所述第二视盘区域图像。

在另一个实施例中，其中根据所述第一视盘区域图像和所述对齐视盘区域图像确定最终视盘区域图像包括：基于所述第一视盘区域图像和所述对齐视盘区域图像对所述对齐视盘区域图像进行亮度修正，以获得修正后的对齐视盘区域图像；根据所述第一视盘区域图像和所述修正后的对齐视盘区域图像确定与最终视盘区域图像相关联的合成系数；以及基于所述合成系数、所述第一视盘区域图像和所述修正后的对齐视盘区域图像确定最终视盘区域图像。

在又一个实施例中，其中基于所述第一视盘区域图像和所述对齐视盘区域图像对所述对齐视盘区域图像进行亮度修正，以获得修正后的对齐视盘区域图像包括：将所述第一视盘区域图像和所述对齐视盘区域图像转换至HSV颜色空间，以确定对应于所述第一视盘区域图像的第一明度数据和对应于所述对齐视盘区域图像的第二明度数据；对所述第一明度数据执行二值化操作，以确定所述第一视盘区域图像的蒙版区域；根据所述第一视盘区域图像的蒙版区域执行边缘检测操作，以生成所述蒙版区域的边缘；以及基于所述第一明度数据、所述第二明度数据以及所述蒙版区域的边缘对所述对齐视盘区域图像进行亮度修正，以获得修正后的对齐视盘区域图像。

在又一个实施例中，其中基于所述第一明度数据、所述第二明度数据以及所述蒙版区域的边缘对所述对齐视盘区域图像进行亮度修正，以获得修正后的对齐视盘区域图像包括：计算所述第一明度数据和所述第二明度数据分别在所述蒙版区域的边缘处对应的第一明度平均值和第二明度平均值；计算所述第一明度平均值与第二明度平均值之间的差值；以及根据所述第二明度数据与所述差值的加和结果对齐视盘区域图像进行亮度修正，以获得修正后的对齐视盘区域图像。

在又一个实施例中，其中根据所述第二明度数据与所述差值的加和结果对齐视盘区域图像进行亮度修正，以获得修正后的对齐视盘区域图像包括：响应于所述加和结果大于预设阈值，将所述预设阈值作为修正后的第二明度数据进行亮度修正，以获得修正后的对齐视盘区域图像；或者响应于所述加和结果小于预设阈值，将所述加和结果作为修正后的第二明度数据进行亮度修正，以获得修正后的对齐视盘区域图像。

在又一个实施例中，其中根据所述第一视盘区域图像和修正后的对齐视盘区域图像确定与最终视盘区域图像相关联的合成系数包括：根据所述第一视盘区域图像和修正后的对齐视盘区域图像各自与所述蒙版区域的中心之间的距离以及所述蒙版区域的半径确定与所述最终视盘区域图像相关联的合成系数。

在又一个实施例中，其中基于所述合成系数、所述第一视盘区域图像和修正后的对齐视盘区域图像确定最终视盘区域图像包括：利用所述合成系数将所述第一视盘区域图像和修正后的对齐视盘区域图像在RGB颜色空间上进行合成，以生成所述最终视盘区域图像。

在另一个方面，本公开还提供用于对眼底图像的视盘区域进行修复的设备，包括：处理器；以及与所述处理器相连接的存储器，所述存储器中存储有计算机程序代码，当所述计算机程序代码被执行时，使得所述处理器执行前述多个实施例。

在又一个方面，本公开还提供一种计算机可读存储介质，其上存储有用于对眼底图像的视盘区域进行修复的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现如前述的多个实施例。

通过本公开的方案，通过将低曝光度眼底图像对应的视盘区域图像与高曝光度眼底图像对应的视盘区域图像对齐获得对齐视盘区域图像，进而通过对齐视盘区域图像和高曝光度眼底图像对应的视盘区域确定的最终视盘区域图像对高曝光度眼底图像对应的视盘区域图像进行修复增强，从而能够解决高曝光度眼底图像对应的视盘区域图像由于过曝而导致信息缺失的问题，以便获取高质量的图像。进一步地，本公开方案将图像转换至HSV颜色空间和RGB颜色空间下进行处理，能够保留眼底图像的真实色彩，便于用于后续对眼底的诊断和治疗。

附图说明

通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，并且相同或对应的标号表示相同或对应的部分其中：

图1是示出根据本公开实施例的用于对眼底图像的视盘区域进行修复的方法的示例性流程框图；

图2是示出根据本公开实施例的高曝光度眼底图像和低曝光度眼底图像的示例性示意图；

图3是示出根据本公开实施例的低曝光度眼底图像的初始视盘区域以及执行图像截取后确定的视盘区域图像的示例性示意图；

图4是示出根据本公开实施例的获得修正后的对齐视盘区域图像的示例性流程图；

图5是示出根据本公开实施例的获得修正后的对齐视盘区域图像的又一示例性流程图；

图6是示出根据本公开实施例的确定合成系数的示例性示意图；

图7是示出根据本公开实施例的修复增强后的眼底图像的示例性示意图；

图8是示出根据本公开实施例的用于对眼底图像的视盘区域进行修复的整体示例性流程框图；以及

图9是示出根据本公开实施例的用于对眼底图像的视盘区域进行修复的设备的框图。

具体实施方式

下面将结合附图对本公开实施例中的技术方案进行清楚和完整地描述。应当理解的是本说明书所描述的实施例仅是本公开为了便于对方案的清晰理解和符合法律的要求而提供的部分实施例，而并非可以实现本公开的所有实施例。基于本说明书公开的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

图1是示出根据本公开实施例的用于对眼底图像的视盘区域进行修复的方法100的示例性流程框图。如图1中所示，在步骤S102处，获取对应于高曝光度眼底图像的第一视盘区域图像和对应于低曝光度眼底图像的第二视盘区域图像。在一个实施例中，前述高曝光度眼底图像和低曝光度眼底图像可以通过例如眼科仪器眼底照相机进行采集。可以理解，前述高曝光度眼底图像是指整体曝光（也即亮度）正常，而视盘区域过曝的眼底图像（例如图2中左图所示）。前述低曝光度眼底图像是指整体亮度偏暗，而视盘区域正常（清晰）的眼底图像（例如图2中右图所示）。基于采集的高曝光度眼底图像和低曝光度眼底图像，可以获取其各自对应的第一视盘区域图像和第二视盘区域图像。具体地，首先可以对低曝光度眼底图像执行视盘检测算法，以确定其对应的初始视盘区域（例如图3中所示的矩形框）。接着，可以基于初始视盘区域分别对高曝光度眼底图像和低曝光度眼底图像执行图像截取操作，以获取第一视盘区域图像和第二视盘区域图像。稍后将结合图3详细描述前述视盘检测和图像截取。

在获得第一视盘区域图像和第二视盘区域图像后，在步骤S104处，将第二视盘区域图像与第一视盘区域图像进行图像对齐，以生成与第一视盘区域图像对齐后的对齐视盘区域图像。在一个实施例中，可以使用例如OpenCV软件库来前述图像对齐操作。特别地，通常使用OpenCV中基于特征的图像对齐方法来实现前述图像对齐操作。在本公开实施例中，基于特征的图像对齐方法是指分别提取第二视盘区域图像和第一视盘区域图像的特征点，接着将第二视盘区域图像的特征点和第一视盘区域图像的特征点进行匹配。根据匹配结果计算一个转换规则（例如图像相似变化矩阵），进而基于前述转换规则将第二视盘区域图像映射至第一视盘区域图像，最终获得与第一视盘区域图像对齐后的对齐视盘区域图像。可选地或附加地，可以使用OpenCV软件库中的AlignMTB执行图像对齐操作。

基于上述获得的对齐视盘区域图像，方法100前进至步骤S106。在该步骤处，根据第一视盘区域图像和对齐视盘区域图像确定最终视盘区域图像。在一个实施例中，首先可以基于第一视盘区域图像和对齐视盘区域图像对对齐视盘区域图像进行亮度修正，以获得修正后的对齐视盘区域图像。接着，根据第一视盘区域图像和修正后的对齐视盘区域图像确定与最终视盘区域图像相关联的合成系数，进而基于合成系数、第一视盘区域图像和修正后的对齐视盘区域图像确定最终视盘区域图像。稍后将结合图4-图5详细描述前述最终视盘区域图像的确定过程。

最后，在步骤S108处，利用最终视盘区域图像对第一视盘区域图像进行修复。具体而言，利用获得的最终视盘区域图像（也即修复增强后的正常视盘区域图像）替换（或者补入到）高曝光度眼底图像截取的第一视盘区域图像（例如图7中左图所示），从而获得修复增强后的眼底图像（例如图7中右图所示）。

结合上述描述可知，本公开的方案通过利用整体亮度偏暗，而视盘区域正常（清晰）的眼底图像（即低曝光度眼底图像）来对整体曝光（也即亮度）正常，而视盘区域过曝的眼底图像（即高曝光度眼底图像）进行修复增强，解决了视盘区域过曝而导致视盘区域信息缺失的问题，从而获得高质量的眼底图像，以便用于后续对眼底的诊断和治疗。

图2是示出根据本公开实施例的高曝光度眼底图像和低曝光度眼底图像的示例性示意图。如图2中左图所示为高曝光度眼底图像，可以看出该高曝光度眼底图像整体亮度正常，而视盘区域过曝（例如图2中左图中箭头所指向的圆形区域）。图2图中右图所示为低曝光度眼底图像，可以看出该低曝光度眼底图像整体亮度偏暗，而视盘区域清晰（例如图2中右图中箭头所指向的圆形区域）。如前所述，对低曝光度眼底图像执行视盘检测算法可以确定其对应的初始视盘区域。进一步地，基于初始视盘区域分别对高曝光度眼底图像和低曝光度眼底图像执行图像截取操作能够获取高曝光度眼底图像对应的第一视盘区域图像和低曝光度眼底图像对应的第二视盘区域图像。在一个实施例中，可以采用深度学习检测算法中例如YOLO检测网络对低曝光度眼底图像执行视盘检测算法，以确定初始视盘区域，例如图3中示出的矩形框。

图3是示出根据本公开实施例的低曝光度眼底图像的初始视盘区域以及执行图像截取后确定的视盘区域图像的示例性示意图。如图3中上方左图所示为高曝光度眼底图像，其中矩形框表示经对低曝光度眼底图像执行视盘检测算法（例如YOLO检测网络）获得的初始视盘区域。使用该初始视盘区域（也即矩形框）对高曝光度眼底图像进行图像截取，可以获得如图3中上方右图所示的视盘区域图像，也即高曝光度眼底图像对应的第一视盘区域图像。与之类似地，图3中下方左图所示为低曝光度眼底图像，使用初始视盘区域（也即矩形框）对其进行图像截取，可以获得如图3中下方右图所示的视盘区域图像，也即低曝光度眼底图像对应的第二视盘区域图像。进一步地，将第二视盘区域图像与第一视盘区域图像进行图像对齐获得对齐视盘区域图像，根据获得的第一视盘区域图像和对齐视盘区域图像可以确定最终视盘区域图像，以便利用最终视盘区域图像修复高曝光度眼底图像对应的第一视盘区域图像。

根据前文描述可知，首先可以基于第一视盘区域图像和对齐视盘区域图像对对齐视盘区域图像进行亮度修正，以获得修正后的对齐视盘区域图像。下面将结合图4详细描述如何获得修正后的对齐视盘区域图像。

图4是示出根据本公开实施例的获得修正后的对齐视盘区域图像的示例性流程图。需要理解的是，图4是上述图1中方法100的一个具体实施例，因此上述关于图1所作的描述同样适用于图4。

如图4中所示，在步骤S402处，将第一视盘区域图像和对齐视盘区域图像转换至HSV颜色空间，以确定对应于第一视盘区域图像的第一明度数据和对应于对齐视盘区域图像的第二明度数据。可以理解，第一视盘区域图像和对齐视盘区域图像初始是位于RGB颜色空间，由此本公开实施例将第一视盘区域图像和对齐视盘区域图像由RGB颜色空间转化至HSV颜色空间。在一个实现场景中，可以采用例如OpenCV工具将RGB颜色空间转换至HSV颜色空间，从而确定第一视盘区域图像对应的第一明度数据（即HSV颜色空间中的明度V）和对齐视盘区域图像对应的第二明度数据。

基于获得的第一明度数据，在步骤S404处，对第一明度数据执行二值化操作，以确定第一视盘区域图像的蒙版区域。具体地，可以根据第一明度数据选取合适的明度阈值（例如明度阈值为245），接着将低于该明度阈值的第一明度数据置为“0”，而将高于该明度阈值的第一明度数据置为“1”，由此对第一明度数据实现二值化。其中第一明度数据置为“1”的图像区域即为第一视盘区域图像的蒙版区域（例如图6中圆圈内类似“云”形状所示区域）。

在获得第一视盘区域图像的蒙版区域后，在步骤S406处，根据第一视盘区域图像的蒙版区域执行边缘检测操作，以生成蒙版区域的边缘。在一个实施例中，可以采用例如Sobel算子、Canny算子或者Laplacian算子等边缘检测算子对蒙版区域进行边缘检测，从而获得蒙版区域的边缘。本领域技术人员可根据实现场景选择合适的边缘检测算子，本公开实施例在此不作任何限制。

根据上述获得的第一明度数据、第二明度数据和蒙版区域的边缘，该步骤前进至步骤S408。在该步骤处，基于第一明度数据、第二明度数据以及蒙版区域的边缘对上述对齐视盘区域图像进行亮度修正，以获得修正后的对齐视盘区域图像。下面将结合图5详细描述如何基于第一明度数据、第二明度数据和蒙版区域的边缘获得修正后的对齐视盘区域图像。

图5是示出根据本公开实施例的获得修正后的对齐视盘区域图像的又一示例性流程图。可以理解，图5是上述图4中步骤S408的一个具体实现方式，因此上述关于图4所作的描述同样适用于图5。

如图5中所示，在步骤S502处，分别计算第一明度数据和第二明度数据在蒙版区域的边缘处对应的第一明度平均值和第二明度平均值。基于获得的第一明度平均值和第二明度平均值，在步骤S504处，计算第一明度平均值与第二明度平均值之间的差值。在一个示例性场景中，假设第一明度平均值记为

，第二明度平均值记为

，则第一明度平均值与第二明度平均值之间的差值可以记为

。进一步地，在步骤S506处，根据第二明度数据与差值的加和结果对齐视盘区域图像进行亮度修正，以获得修正后的对齐视盘区域图像。可以理解，前述加和结果是指对齐视盘区域图像中每个像素点的第二明度数据与前述差值之和，也即将每个像素点的第二明度数据加上（增加）该差值后的结果。

在一个实施例中，响应于上述加和结果大于预设阈值，将预设阈值作为修正后的第二明度数据进行亮度修正，以获得修正后的对齐视盘区域图像。以预设阈值为250为例，当加和结果大于250时，将预设阈值250作为修正后的第二明度数据。当加和结果小于250时，将该加和结果（第二明度数据与差值之和）作为修正后的第二明度数据进行亮度修正，从而获得修正后的对齐视盘区域图像。基于前述亮度修正操作，可以使得修正后的对齐视盘区域图像的整体亮度接近于第一视盘区域图像的整体亮度，以便修复增强后的眼底图像能够保留真实的色彩。

在获得修正后的对齐视盘区域图像后，可以根据第一视盘区域图像和修正后的对齐视盘区域图像确定与最终视盘区域图像相关联的合成系数。具体来说，可以根据第一视盘区域图像和修正后的对齐视盘区域图像各自与蒙版区域（即上述图4所示步骤S404中获得的蒙版区域）的中心之间的距离以及蒙版区域的半径确定与最终视盘区域相关联的合成系数。下面将结合图6详细描述如何确定合成系数。

图6是示出根据本公开实施例的确定合成系数的示例性示意图。如图6中所示，假设矩形所示区域为第一视盘区域图像，其内部圆圈内类似“云”形状所示区域为蒙版区域，蒙版区域内的实心圆点表示蒙版区域的中心点。通过对该蒙版区域进行处理，使得距离该蒙版区域中心较远处，第一视盘区域图像所占权重（系数）较大，而距离该蒙版区域中心较近处，修正后的对齐视盘区域图像所占权重（系数）较大，并且第一视盘区域图像所占权重与修正后的对齐视盘区域图像所占权重（系数）之和为1，由此来确定与最终视盘区域图像相关联的合成系数。基于前述处理方式，在一个示例性场景中，本公开实施例将前述合成系数与距离该蒙版区域中心的图像距离以及蒙版区域的半径通过如下式子表示：

f(d)=d^2/R^2 （1）

其中，R表示该蒙版区域的半径为R，d表示与蒙版区域中心的距离；f(d)表示合成系数。

根据上述获得的合成系数、第一视盘区域图像和修正后的对齐视盘区域图像，可以确定最终视盘区域图像。在一个实施例中，可以利用合成系数将第一视盘区域图像和修正后的对齐视盘区域图像在RGB颜色空间上进行合成，以生成最终视盘区域图像。根据前文知，第一视盘区域图像和修正后的对齐视盘区域图像位于RGB颜色空间。在一个实现场景中，可以基于如下公式将第一视盘区域图像和修正后的对齐视盘区域图像在RGB颜色空间上进行合成：

R(x,y)=R1(x,y)*f(d) + R2(x,y)*(1-f(d)) （2）

其中，R(x,y)表示最终视盘区域图像中位于坐标位置为（x,y）的像素点所对应的像素值（红色通道值），R1(x,y)表示第一视盘区域图像中位于坐标位置为（x,y）的像素点的像素值（红色通道值），R2(x,y) 表示修正后的对齐视盘区域图像中位于坐标位置为（x,y）的像素点的像素值（红色通道值），f(d)表示合成系数，d表示与蒙版区域中心的距离。

基于上述公式（2）获得最终视盘区域图像后，利用该最终视盘区域图像替换高曝光度眼底图像的第一视盘区域图像可以获得修复增强后的眼底图像，例如图7所示。

图7是示出根据本公开实施例的修复增强后的眼底图像的示例性示意图。如图7中左图上方所示为最终区域图像，图7中左图下方所示为高曝光度眼底图像，其中矩形框所示的区域即为高曝光度眼底图像对应的第一视盘区域图像。在实现场景中，利用图7中左图上方所示的最终区域图像替换图7中左图下方所示的矩形框内的区域（即第一视盘区域图像），即可获得图7中右图所示的修复增强后的眼底图像，从而实现对高曝光度眼底图像的第一视盘区域图像的修复增强。

基于上述描述可知，本公开实施例通过利用低曝光度眼底图像对高曝光度眼底图像进行修复增强，从而能够解决眼底图像的视盘区域过曝而导致视盘区域信息缺失的问题。进一步地，本公开实施例通过将视盘区域图像转化至HSV颜色空间进行处理，能够保留眼底图像的真实色彩，使得修复增强效果更佳并且修复增强后的眼底图像的质量更高。使用修复后的高质量眼底图像，有利于后续对眼底的诊断和治疗。

图8是示出根据本公开实施例的用于对眼底图像的视盘区域进行修复的整体示例性流程框图。如图8中所示，在步骤S801处和步骤S802处，通过例如眼科仪器眼底照相机采集高曝光度眼底图像A和低曝光度眼底图像B。基于采集的高曝光度眼底图像A和低曝光度眼底图像B，首先在步骤S803处，对低曝光度眼底图像B执行视盘检测算法，以确定初始视盘区域（例如图3中所示矩形框）。在一个实施例中，前述视盘检测算法可以包括但不限于YOLO检测网络算法。在确定初始视盘区域后，在步骤S804和步骤S805处，基于前述初始视盘区域分别对高曝光度眼底图像A和低曝光度眼底图像B执行图像截取操作，进而获得高曝光度眼底图像A对应的第一视盘区域图像C和低曝光度眼底图像B对应的第二视盘区域图像D。接着，在步骤S806处，将第二视盘区域图像D与第一视盘区域图像C进行图像对齐，以获得与第一视盘区域图像C对齐后的对齐视盘区域图像E。对第一视盘区域图像C和对齐视盘区域图像E进行处理即可确定最终视盘区域图像。利用前述最终视盘区域图像可以对高曝光度眼底图像A的第一视盘区域图像C进行修复。

根据上述获得第一视盘区域图像C和对齐视盘区域图像E，在步骤S807和步骤S808处，将第一视盘区域图像C和对齐视盘区域图像E分别转换至HSV颜色空间，获得与第一视盘区域图像C对应的第一明度数据以及与对齐视盘区域图像E对应的第二明度数据。接着在步骤S809处，对第一明度数据执行二值化操作，以确定第一视盘区域图像C的蒙版区域，并且在步骤S810处，利用边缘检测算子对蒙版区域执行边缘检测操作，以获得蒙版区域的边缘。基于前述获得的第一明度数据、第二明度数据以及蒙版区域的边缘，在步骤S811处，可以根据第一明度数据、第二明度数据以及蒙版区域的边缘确定与最终视盘区域图像相关联的合成系数。关于合成系数的确定可以参考上述图4-图6所描述的内容，本公开在此不再赘述。

获得合成系数后，流程前进至步骤S812处，利用获得合成系数将上述获得的第一视盘区域图像C和对齐视盘区域图像E进行合成，以确定最终视盘区域图像。根据前文可知，可以基于上述公式（2）将第一视盘区域图像C和对齐视盘区域图像E进行合成，以确定最终视盘区域图像。最后，利用最终视盘区域图像对高曝光度眼底图像A的第一视盘区域图像C进行修复增强，以生成修复增强后的眼底图像。前述修复增强过程可以参考上述图7所描述的内容，本公开在此不再赘述。

图9是示出根据本公开实施例的用于对眼底图像的视盘区域进行修复的设备900的框图。可以理解的是，实现本公开方案的设备可以是单一的设备（例如计算设备）或包括各种外围设备的多功能设备。

如图9中所示，本公开的设备可以包括中央处理器或中央处理单元（“CPU”）911，其可以是通用CPU、专用CPU或者其他信息处理以及程序运行的执行单元。进一步，设备900还可以包括大容量存储器912和只读存储器（“ROM”）913，其中大容量存储器912可以配置用于存储各类数据，包括各种与待修复的眼底图像、算法数据、中间结果和运行设备900所需要的各种程序。ROM 913可以配置成存储对于设备900的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统所需的数据和指令。

可选地，设备900还可以包括其他的硬件平台或组件，例如示出的张量处理单元（“TPU”）914、图形处理单元（“GPU”）915、现场可编程门阵列（“FPGA”）916和机器学习单元（“MLU”）917。可以理解的是，尽管在设备900中示出了多种硬件平台或组件，但这里仅仅是示例性的而非限制性的，本领域技术人员可以根据实际需要增加或移除相应的硬件。例如，设备900可以仅包括CPU、相关存储设备和接口设备来实现本公开的用于对眼底图像的视盘区域进行修复的方法。

在一些实施例中，为了便于数据与外部网络的传递和交互，本公开的设备900还包括通信接口918，从而可以通过该通信接口918连接到局域网/无线局域网（“LAN/WLAN”）905，进而可以通过该LAN/WLAN连接到本地服务器906或连接到因特网（“Internet”）907。替代地或附加地，本公开的设备900还可以通过通信接口918基于无线通信技术直接连接到因特网或蜂窝网络，例如基于第3代（“3G”）、第4代（“4G”）或第5代（“5G”）的无线通信技术。在一些应用场景中，本公开的设备900还可以根据需要访问外部网络的服务器908和数据库909，以便获得各种已知的图像模型、数据和模块，并且可以远程地存储各种数据，例如用于呈现例如图像对齐、视盘检测、边缘检测等的各类数据或指令。

设备900的外围设备可以包括显示装置902、输入装置903和数据传输接口904。在一个实施例中，显示装置902可以例如包括一个或多个扬声器和/或一个或多个视觉显示器，其配置用于对本公开的修复眼底图像的视盘区域的过程或者最终结果进行语音提示和/或图像视频显示。输入装置903可以包括例如键盘、鼠标、麦克风、姿势捕捉相机等其他输入按钮或控件，其配置用于接收眼底图像的输入和/或用户指令。数据传输接口904可以包括例如串行接口、并行接口或通用串行总线接口（“USB”）、小型计算机系统接口（“SCSI”）、串行ATA、火线（“FireWire”）、PCI Express和高清多媒体接口（“HDMI”）等，其配置用于与其他设备或系统的数据传输和交互。根据本公开的方案，该数据传输接口904可以接收来自于眼底照相机采集的眼底图像，并且向设备900传送包括眼底图像或各种其他类型的数据或结果。

本公开的设备900的上述CPU 911、大容量存储器912、ROM 913、TPU 914、GPU 915、FPGA 916、MLU 917和通信接口918可以通过总线919相互连接，并且通过该总线与外围设备实现数据交互。在一个实施例中，通过该总线919，CPU 911可以控制设备900中的其他硬件组件及其外围设备。

以上结合图9描述了可以用于执行本公开的用于对眼底图像的视盘区域进行修复的设备。需要理解的是这里的设备结构或架构仅仅是示例性的，本公开的实现方式和实现实体并不受其限制，而是可以在不偏离本公开的精神下做出改变。

根据上述结合附图的描述，本领域技术人员也可以理解本公开的实施例还可以通过软件程序来实现。由此本公开还提供了一种计算机程序产品。该计算机程序产品可以用于实现本公开结合附图l- 8所描述的用于对眼底图像的视盘区域进行修复的方法。

应当注意，尽管在附图中以特定顺序描述了本公开方法的操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

应当理解，当本公开的权利要求、当说明书及附图中使用到术语“第一”、“第二”、“第三”和“第四”等时，其仅用于区别不同对象，而不是用于描述特定顺序。本公开的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本公开说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本公开。如在本公开说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本公开说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

虽然本公开的实施方式如上，但所述内容只是为便于理解本公开而采用的实施例，并非用以限定本公开的范围和应用场景。任何本公开所述技术领域内的技术人员，在不脱离本公开所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本公开的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种用于对眼底图像的视盘区域进行修复的方法，包括：

获取对应于高曝光度眼底图像的第一视盘区域图像和对应于低曝光度眼底图像的第二视盘区域图像；

将所述第二视盘区域图像与所述第一视盘区域图像进行图像对齐，以生成与所述第一视盘区域图像对齐后的对齐视盘区域图像；

根据所述第一视盘区域图像和所述对齐视盘区域图像确定最终视盘区域图像；以及

利用所述最终视盘区域图像对所述第一视盘区域图像进行修复。

2.根据权利要求1所述的方法，其中获取所述第一视盘区域图像和第二视盘区域图像包括：

对所述低曝光度眼底图像执行视盘检测算法，以确定其对应的初始视盘区域；以及

基于所述初始视盘区域分别对所述高曝光度眼底图像和所述低曝光度眼底图像执行图像截取操作，以获取所述第一视盘区域图像和所述第二视盘区域图像。

3.根据权利要求1所述的方法，其中根据所述第一视盘区域图像和所述对齐视盘区域图像确定最终视盘区域图像包括：

基于所述第一视盘区域图像和所述对齐视盘区域图像对所述对齐视盘区域图像进行亮度修正，以获得修正后的对齐视盘区域图像；

根据所述第一视盘区域图像和所述修正后的对齐视盘区域图像确定与最终视盘区域图像相关联的合成系数；以及

基于所述合成系数、所述第一视盘区域图像和所述修正后的对齐视盘区域图像确定最终视盘区域图像。

4.根据权利要求3所述的方法，其中基于所述第一视盘区域图像和所述对齐视盘区域图像对所述对齐视盘区域图像进行亮度修正，以获得修正后的对齐视盘区域图像包括：

将所述第一视盘区域图像和所述对齐视盘区域图像转换至HSV颜色空间，以确定对应于所述第一视盘区域图像的第一明度数据和对应于所述对齐视盘区域图像的第二明度数据；

对所述第一明度数据执行二值化操作，以确定所述第一视盘区域图像的蒙版区域；

根据所述第一视盘区域图像的蒙版区域执行边缘检测操作，以生成所述蒙版区域的边缘；以及

基于所述第一明度数据、所述第二明度数据以及所述蒙版区域的边缘对所述对齐视盘区域图像进行亮度修正，以获得修正后的对齐视盘区域图像。

5.根据权利要求4所述的方法，其中基于所述第一明度数据、所述第二明度数据以及所述蒙版区域的边缘对所述对齐视盘区域图像进行亮度修正，以获得修正后的对齐视盘区域图像包括：

计算所述第一明度数据和所述第二明度数据分别在所述蒙版区域的边缘处对应的第一明度平均值和第二明度平均值；

计算所述第一明度平均值与第二明度平均值之间的差值；以及

根据所述第二明度数据与所述差值的加和结果对齐视盘区域图像进行亮度修正，以获得修正后的对齐视盘区域图像。

6.根据权利要求5所述的方法，其中根据所述第二明度数据与所述差值的加和结果对齐视盘区域图像进行亮度修正，以获得修正后的对齐视盘区域图像包括：

响应于所述加和结果大于预设阈值，将所述预设阈值作为修正后的第二明度数据进行亮度修正，以获得修正后的对齐视盘区域图像；或者

响应于所述加和结果小于预设阈值，将所述加和结果作为修正后的第二明度数据进行亮度修正，以获得修正后的对齐视盘区域图像。

7.根据权利要求5所述的方法，其中根据所述第一视盘区域图像和修正后的对齐视盘区域图像确定与最终视盘区域图像相关联的合成系数包括：

根据所述第一视盘区域图像和修正后的对齐视盘区域图像各自与所述蒙版区域的中心之间的距离以及所述蒙版区域的半径确定与所述最终视盘区域图像相关联的合成系数。

8.根据权利要求3所述的方法，其中基于所述合成系数、所述第一视盘区域图像和修正后的对齐视盘区域图像确定最终视盘区域图像包括：

利用所述合成系数将所述第一视盘区域图像和修正后的对齐视盘区域图像在RGB颜色空间上进行合成，以生成所述最终视盘区域图像。

9.一种用于对眼底图像的视盘区域进行修复的设备，包括：

处理器；以及

与所述处理器相连接的存储器，所述存储器中存储有计算机程序代码，当所述计算机程序代码被执行时，使得所述处理器执行如权利要求1-8中任意一项所述的方法。

10.一种计算机可读存储介质，其上存储有用于对眼底图像的视盘区域进行修复的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现如权利要求1-8中任意一项所述的方法。

Images