CN113376182A - 增强眼科透镜边缘缺陷检测和其他缺陷的计算机实现方法 - Google Patents

Abstract

本发明涉及增强眼科透镜边缘缺陷检测和其他缺陷的计算机实现方法。更具体地，本发明旨在提高接触透镜中边缘检查的可靠性和分类精确度。本发明是表示软件架构的计算机实现的方法，该软件架构包括表示应用程序的核心功能模块的软件部件及其相互依赖性。本发明的系统和方法捕获高分辨率图像，将透镜的圆形边缘变换为表示圆形边缘的水平线，通过消除边缘周围的像素信息来限制图像尺寸，将水平边缘图像划分为交叠部分，并将提取的图像垂直堆叠，以形成单个高分辨率图像，该图像非常适合在用生成式对抗网络生成的新图像对原始图像数据集进行增强之后由卷积神经网络进行处理和分析，以实现对缺陷的精确分类。

Description

增强眼科透镜边缘缺陷检测和其他缺陷的计算机实现方法

技术领域

本发明涉及通过提取特定的相关像素数据并去除不相关数据来实现和保持接触透镜的高分辨率图像，从而在精确度和速度方面提高图像分类过程的效率。效率的提高是通过重新布置和重建图像来实现的，这有助于使用神经网络快速训练检查系统，并在自动化系统中的接触透镜检查期间应用经训练的决策模型。

背景技术

接触透镜缺陷检查系统和方法继续朝着提高效率同时降低成本的方向发展。模式识别、图像相关、直方图均衡、抖动等是检查方法中常用的一些常用图像处理算法。随着缺陷检查标准变得更加严格，实现了另外的算法以改进检查效率但以时间为代价。每个另外的算法增加了检查时间，导致较低的生产率。CPU速度、高级GPU(图形处理单元)、高速存储器等方面的技术改进有助于提高图像处理速度，但是从高分辨率摄像装置获取的图像的不断增加的尺寸仅加剧了生产率的降低。因此，认真研究重新配置高分辨率图像的软件方法以辅助检查过程以实现高精确度和可重复性是至关重要的。

神经网络提供了在不牺牲检查系统的质量和生产率的情况下提高检查质量的新途径。然而，随着图像大小的显著增加，图像压缩算法被引入以使像素数据最小化，而这导致关键缺陷数据的劣化。因此，检查质量受到影响，并且下一过程的效率也受到损害。神经网络对中等尺寸的图像更有效率。图像尺寸的增加会对神经网络和深度学习方法的性能产生负面影响。

当前的技术在不损害检测质量的前提下使用软件方法方面是缺乏的，特别是在微缺陷识别和特征提取是处理高分辨率图像时检查系统的基本要求的情况下。

发明内容

本发明主张通过结合由高性能CPU支持的高分辨率摄像装置、由GPU辅助的高速存取存储器来使用计算机实现的方法，以通过识别和丢弃不重要的像素数据并且仅保留用于检测缺陷(即，边缘)的重要区域来分析和处理优化图像。计算机实现的方法提供了优化图像，该优化图像未被压缩但是可以经预处理，以使冗余像素数据减少到最小限度，并且对未压缩图像应用平滑技术以增强缺陷候选，从而使得能够进行更好的检测。在识别透镜内的缺陷的情况下，将高分辨率图像划分为若干最佳且预定大小的图像，这些图像更适合于由包括若干神经网络模块的用于特征提取和特征分类的深度学习模块进行快速处理。重要的是要注意，即使在透镜内的缺陷识别的情况下，当从原始图像重新布置或提取图像时也不会应用图像压缩。

减少或重新排列图像的优点之一是消除了透镜边缘周围的冗余像素。随后，通过将图像同时划分为易于由深度学习模块处理的预定大小的图像以用于获得速度和精确度方面的增强缺陷检测。

本发明的目的之一是在不会压缩或扭曲像素数据的情况下提供接触透镜的圆形边缘的高分辨率和优化的预处理图像。

本发明的另一方面是以帮助更快地处理图像的方式来重建和重新布置接触透镜的圆形边缘。这是通过检测圆形接触透镜的边缘、展开所述边缘并且将边缘转换为水平边缘来实现的。通过删除边缘周围的冗余像素数据以使图像大小减少到最小限度，来进一步优化该图像。

将像素布置为水平边缘和垂直边缘的优点之一改进了处理，并且这有助于算法更快地处理图像。换句话说，处理速度大幅度提高。该算法可以为边缘检测算法。

垂直堆叠预定大小的图像(图像区域段)以形成方形图像的另一优点是该方形图像的长度和宽度相同。例如，当逐像素扫描方形图像时，与扫描矩形图像相比，将需要更少的计算。优点是计算的速度，而不是更少的计算次数。例如，与矩形图像相比，处理方形图像显著更快。

本发明的另一目的是进一步重新布置被划分为彼此交叠的较小长度的水平边缘并且将水平边缘彼此堆叠，以生成具有边缘数据的方形图像，该方形图像适合于任何神经网络的输入层的需求，并且避免使用冗余黑像素数据填充图像以实现方形大小。

本发明的另一目的是创建一组分析模块，以在配置检查系统以用于机器学习期间帮助训练计算机实现的方法。

本发明的另一目的是应用生成式对抗网络算法以对经划分的图像进行进一步变换，以生成类似于原始缺陷的若干新的、实际的缺陷特征。利用新生成的图像以在配置检查系统以用于机器学习期间进一步增强对计算机实现的方法的训练。

本发明的其他方面包括本发明的前述方面中的一个或更多个方面的各种组合，以及如在以下详细描述中找到的或者可以从其得出的本发明的各个实施方式的一个或更多个的组合。应当理解的是，本发明的前述方面也具有相应的计算机实现的方法，其也是本发明的方面。还应当理解的是，本领域的普通技术人员可以从以下对本发明的特定实施方式的详细描述以及从根据本发明的系统的描述和特定实施方式中得出本发明的其他实施方式。

附图说明

关于以下描述、所附权利要求书和附图，将更好地理解本发明的特定特征、方面和优点，在附图中：

图1是描述用于实现本发明的一个实施方式的训练接触透镜检查系统以识别接触透镜边缘周围的缺陷及其根据不同标准的后续分类的步骤的流程图。

图1a是描述用于实现本发明的另一实施方式的训练接触透镜检查系统以识别接触透镜内的缺陷及其根据不同标准下的后续分类的步骤的流程图。

图2是接触透镜边缘的图像的图示。

图2a是在极坐标变换之后的接触透镜边缘的图像的图示。

图3是以特定序列堆叠的图2a中的边缘的提取区域的图像的图示。

图4是适合于镜片内的缺陷检查的接触透镜的高分辨率图像的图像的图示。

图5是在识别要提取的区域之后图4中的图像的图示。

图6是在提取要用作下一过程的输入的各个交叠区域之后图5的图像的图示。

具体实施方式

在对本发明的优选实施方式的以下描述中，参照形成本发明的一部分的附图，并且在附图中通过图示的方式示出了可以实践本发明的特定实施方式。应当理解，在不脱离本发明的范围的情况下，可以利用其他实施方式并且可以进行结构上的改变。

在图1中示出了根据本发明的系统和方法的一般流程图。系统10开始于在获取过程动作12中获取接触透镜的高分辨率图像。然后在提取过程动作14中对所获取的图像进行处理以提取透镜圆形边缘。然后在转换过程动作16中将所提取的圆形边缘转换为水平图像。在消除过程动作18中，消除水平边缘周围的不相关像素数据，以使图像的大小最小化。随后在划分过程动作20中将水平边缘图像划分为若干交叠图像。在堆叠过程步骤22中将经划分的图像组一个在另一个之上地顺序地堆叠，以形成接触透镜边缘的高分辨率图像，以便容易地分析。在堆叠过程步骤22中重建和重新布置的图像随后可以用作深度学习模块的输入，以用于训练和分析。过程流程在步骤24中结束。

在图1a中示出了根据本发明的系统和方法的另一实施方式的一般流程图。系统30开始于在获取过程动作32中获取接触透镜的高分辨率图像。然后在定位过程动作33中对图像进行处理以定位透镜圆形边缘。在绘制过程步骤34中绘制紧密地包围接触透镜的圆形边缘的正方形。在填充过程步骤35中利用暗像素来填充透镜的圆形边缘的预定区域之外的像素数据。预定区域可以是16×16像素至128×128像素。然后在可编制划分过程动作36中将接触透镜图像划分为具有交叠图像的预定大小。预定大小以为相等的大小。替选地，预定大小可以为不同的大小。在深度学习提取过程动作38中，提取并单独地存储图像中的标记区域，以作为输入应用于深度学习模块，以用于训练和分析。过程流程在步骤40中结束。

已经描述了根据本发明的一般系统和方法，接下来的段落提供上述过程动作的细节。

图2是图1中的过程流程图的图形表示。在图2中，透镜50表示接触透镜的高分辨率图像。在图2中，缺陷51表示撕裂缺陷并且在策略上被定位成使得本领域技术人员能够理解透镜的圆形边缘的展开概念，该展开概念将在下文中进行讨论。如图2a所示，从A1至A2开始将透镜50展开或转换为水平图像，这是透镜50与图2的黑色阴影内圆510之间的区域。图2中的外圆如图2a中的像素区域段500、502、504、506和508所示的那样被水平地转换。像素区域可以为相等的大小或具有不同(但均等)的大小。如图2a所示，图2a的图像区域段500在位置A1至A2之前开始并且在与图像区域段502交叠的位置52之后结束。图2a中的图像区域段502在图像区域段500中的位置52之前开始并且在交叠至图像区域段504中的位置53之后结束。图2a中的图像区域段504在图像区域段502中的位置53之前开始并且在交叠至图像区域段506中的位置54之后结束。图2a中的图像区域段506在图像区域段504中的位置54之前开始并且在交叠至图像区域段508中的位置55之后结束。图2a中的图像区域段508在图像区域段506中的位置55之前开始并且在交叠至图像区域段500中的位置A1至A2之后结束。交叠至相邻段的这种方法的一个优点是，不会丢失或忽略图像的边缘周围的区域。重要的是要注意缺陷51在图2a所示的未展开图像中的位置。在图3中，图像58包括图像区域段500、502、504、506和508，其中图像区域段500、502、504、506和508由于交叠而在垂直方向上包含较大的区域。如图3所示，图像区域段500、502、504、506和508一个在另一个之上地顺序地堆叠，以形成方形图像58。自动地计算段的数目和每个段的宽度，以在堆叠时产生方形图像。重要的是要注意图像58的方形形状由随后的过程步骤决定。如果下一个过程步骤需要不同地配置的图像形状或大小，则将在图像的布置期间满足相同要求。图3中的图像是接触透镜边缘的重建的高分辨率图像。图3中的图像可以作为输入图像被应用于由神经网络组成的深度学习模块，这些深度学习模块帮助快速训练和分析。此外，重要的是要注意撕裂缺陷51在图3所示的堆叠图像58中的位置。

在图4中示出了接触透镜的图像。图4是图1a中的过程流程图的图形表示。在图4中，66表示被定位成包围在方形图像65内的接触透镜的高分辨率图像。首先检测接触透镜的外边缘，并且然后绘制外边界，并且随后在透镜的外边界与外边缘之间填充暗像素。由透镜66的圆形边缘和方形65所界定的区域被填充暗像素，因为它对于检查而言不重要。一旦通过边缘检测算法识别出透镜边缘，则将图4中的大小为图5中的X1、Y1的接触透镜的高分辨率图像划分为彼此交叠的多个图像段。图像可以为相等的大小或不同的大小。图像分割可以以若干方式来实现。一种方式是限定和绘制图像的边界，一旦绘制了边界，则可以计算整个图像的大小。出于说明的目的，图5中的大小为X1、Y1的高分辨率图像被划分为九个相等的部分，即600、602、604、606、608、610、612、614、616。每个经划分的图像优选地为适于由图形处理单元和深度学习软件模块进行的高速处理的特定大小。经划分的图像大小X’、Y’被预先确定成满足在训练神经网络之前对缺陷特征的更好地分析以及提高的效率。图6的70中示出了大小为X’、Y’的典型的划分的图像。

现在已经描述了本发明的一些实施方式，对于本领域技术人员应当明显的是，前述内容仅是示例性的而非限制性的，其仅通过示例的方式呈现。许多修改和其他实施方式在本领域普通技术人员的范围内，并且被认为落入由所附权利要求及其等同物所限定的本发明的范围内。

Claims (10)

1.一种计算机实现的方法，用于使用神经网络创建对象检测模型以提高检查效率，包括至少一个高性能处理器、快速存取存储器和若干并行图形处理单元，所述方法包括：

获取对象的未压缩的高分辨率图像；

通过应用平滑算法对图像进行预处理，以在未对像素数据进行压缩的情况下增强缺陷信息；

对经预处理的图像进行分割，并且通过将其重建为最适用于输入至所述图形处理单元的方形区域来执行尺寸标准化；

将深度学习算法应用于经优化的图像来提取每个图像中的特征信息，以帮助机器学习和训练；

通过应用神经网络将所提取的且校准的特征信息分类为若干类别；

将来自新图像的提取特征的类别重新分类，所述新图像是通过将生成式对抗网络应用于经优化的且未压缩的图像而生成的；

创建在所述图像中检测到的提取特征的广泛数据库，以用于未压缩图像中的微缺陷检查；

结合领域知识数据库来应用神经网络，以快速且高效地检查新器件。

2.根据权利要求1所述的计算机实现的方法，还包括：去除与正在检查的缺陷无关的冗余数据。

3.根据权利要求1所述的计算机实现的方法，还包括：去除冗余数据并且用暗像素替换所述冗余数据，以增强所述神经网络的精确度。

4.根据权利要求1所述的计算机实现的方法，还包括通过如下步骤来提取圆形对象的边缘并且将所述圆形对象的边缘水平地变换为具有交叠区域：提取所述圆形对象的边缘并且将所述圆形对象的边缘展开为水平线，并且然后，将所述水平线划分为具有交叠区域的多个段，以在结合两个相邻边缘时不会丢失任何像素信息。

5.根据权利要求4所述的计算机实现的方法，还包括以下过程：将每个水平区域彼此堆叠来创建标准化的方形图像以用于进一步分析。

6.根据权利要求5所述的计算机实现的方法，其中，使用深度学习模块来处理所述图像，所述深度学习模块用于根据在任何给定时间处的处理步骤而用于所述对象的检查、分析或者训练。

7.根据权利要求1所述的计算机实现的方法，还包括：追踪圆形对象的轮廓，并且将圆形区域划分为针对向所述图形处理单元的输入而优化的若干交叠的方形。

8.根据权利要求7所述的计算机实现的方法，其中，执行下述过程以提高精确度：提取交叠的方形区域并且用黑像素填充圆形边缘外部的所有冗余像素。

9.根据权利要求8所述的计算机实现的方法，其中，执行下述过程以进一步增强积累的领域知识数据库的效力：对所提取的特征和缺陷的特性进行分析和分类。

10.根据权利要求9所述的计算机实现的方法，其中，在制造中使用通过深度学习模块建立的领域知识执行对新对象的缺陷检测，以实现高速下的高精确度和可重复性。

Images