CN115810008A

CN115810008A - 一种基于深度学习的人工角膜镜柱质量检测方法

Info

Publication number: CN115810008A
Application number: CN202310052881.0A
Authority: CN
Inventors: 翟嘉洁; 殷晨; 翟舒平
Original assignee: Guangdong Jiayue Meishi Biotechnology Co ltd
Current assignee: Guangdong Jiayue Meishi Biotechnology Co ltd
Priority date: 2023-02-03
Filing date: 2023-02-03
Publication date: 2023-03-17
Anticipated expiration: 2043-02-03
Also published as: CN115810008B

Abstract

本发明公开了一种基于深度学习的人工角膜镜柱质量检测方法，属于数据识别技术领域；包括以下步骤：获取人工角膜镜柱的合格图像数据集和不合格图像数据集；依次获取多个第一子类别的不合格图像；获取扩充后的多个第二子类别的不合格图像；获取扩充或删除后的每个合格图像类别；获取更新后的不合格图像数据集和合格图像数据集；获取训练好的神经网络；将待检测的人工角膜镜柱图像通过训练好的神经网络进行质量识别。本发明通过对没有缺陷的背景图像和有缺陷的前景图像进行一对一的对比学习，有效提升神经网络对不同缺陷类别识别率，从而提高了神经网络的鲁棒性。

Description

一种基于深度学习的人工角膜镜柱质量检测方法

技术领域

本发明涉及数据识别技术领域，具体涉及一种基于深度学习的人工角膜镜柱质量检测方法。

背景技术

人工角膜套件适用于角膜移植高危排斥患者。镜柱是人工角膜套件中的重要植入部件，用于构建眼球的光学通路。在包装前需要对人工角膜镜柱的质量进行过程检测，保证镜柱在出厂前无缺陷、光学特性优良、物理化学性质稳定。目前对人工角膜镜柱进行过程检测时，通常由检验人员观察显微镜下半成品镜柱图像并人工判断当前所采集人工角膜镜柱的图像是否存在缺陷，人工质量检验有检测效率低、职业技能要求高、经验依赖度高、检测标准量化难、误检率高的缺点。

部分企业尝试使用了基于神经网络的方式来进行部件缺陷的自动化检验。但是，对于检测人工角膜镜柱质量所用的神经网络来说，在训练的过程中，由于采集的训练数据集不平衡,检测的人工角膜镜柱缺陷精度较低。

为了实现上述目的，本领域技术人员通过采集人工角膜镜柱的质量不合格的图像数据集与质量合格的图像数据集，则采集的图像数据量明显偏小，往往通过对不合格数据集进行各种操作，例如：旋转、平移、缩放、裁剪等方式来实现不合格数据集的扩充，但现有方法是对所有的不合格数据集进行相同或随机的扩充，不一定能使得不同缺陷类别的识别率提高，例如：缺陷数据集中第一个缺陷的数据量很大，而第二个缺陷的数据量很小，则训练好的神经网络对第一个缺陷的识别率往往会大于第二个缺陷，对第一个缺陷识别的精度较低；从而导致训练好的神经网络对人工角膜镜柱质量检测不精准。

发明内容

为了解决现有技术中的不足，本发明提供一种基于深度学习的人工角膜镜柱质量检测方法，该方法通过对其不同缺陷的不合格图像类别进行扩充，同时对合格图像数据集的不同类别的数量也进行相应调整，使得神经网络可以对没有缺陷的背景图像和有缺陷的前景图像进行一对一的对比学习，有效提升神经网络对不同缺陷类别识别率，从而提高了神经网络的鲁棒性。

本发明的目的是提供一种基于深度学习的人工角膜镜柱质量检测方法，包括以下步骤：

获取人工角膜镜柱的合格图像数据集和不合格图像数据集；

对不合格图像数据集依据检验内控标准和因子分析法通过因子分析将不合格图像数据集中所有不合格图像划分为多个类别的不合格图像；根据每个类别中不合格图像上的缺陷将同一缺陷的不合格图像划分至同一个第一子类别中，依次获取多个第一子类别的不合格图像；

根据每个类别中对应第一子类别的数量和每个第一子类别中不合格图像数量，及合格数据集中合格图像数量，获取每个第一子类别中对应不合格图像的扩充数量；通过对每个第一子类别进行扩充对应扩充数量的不合格图像获取扩充后的多个第二子类别的不合格图像；

根据每个第二子类别的不合格图像与每个合格图像的相似性，将合格图像数据集中的合格图像划分成与每个第二子类别对应的合格图像类别；

将每个合格图像类别中所对应的合格图像扩充或删除至与对应第二子类别中图像数据量相同的数量，并获取扩充或删除后的每个合格图像类别；

根据扩充后的多个第二子类别，及扩充或删除后的每个合格图像类别，获取更新后的不合格图像数据集和合格图像数据集；将更新后的不合格图像数据集和合格图像数据集中的所有图像作为训练集对神经网络进行训练，获取训练好的神经网络；

将待检测的人工角膜镜柱图像通过训练好的神经网络进行质量识别。

在一实施例中，多个类别的不合格图像是按照以下步骤获取：

将不合格图像数据集中的每个不合格图像转化成一维向量，获取向量数据集；

将向量数据集通过因子分析获取所有一维向量的公共因子和每个一维向量对应的特殊因子；

获取任意两个特殊因子之间的余弦相似度，通过层次分析方法将不合格图像数据集中的不合格图像划分多个类别的不合格图像。

在一实施例中，多个第一子类别的不合格图像是按照以下步骤获取：

将每个类别中的每个不合格图像通过字典学习算法获取每个不合格图像对应的字典矩阵；通过计算每个类别中任意两个不合格图像对应字典矩阵的相似度对所述类别中的不合格图像进行分类获取每个类别中多个初始子类别的不合格图像；

获取每个初始子类别中不合格图像相对于所在类别中不合格图像的置信度；

根据每个初始子类别对应的置信度获取每个初始子类别中不合格图像为同一缺陷的子类别，将不合格图像为同一缺陷的初始子类别作为第一子类别；

依次获取多个第一子类别的不合格图像。

在一实施例中，每个初始子类别中不合格图像相对于所在类别中不合格图像的置信度是按照以下方法获取：

获取每个类别中所有不合格图像对应的公共因子和每个不合格图像对应的特殊因子；将每个类别中不合格图像对应的特殊因子的均值作为每个类别的平均特殊因子；

获取每个初始子类别中所有不合格图像对应的公共因子和每个不合格图像对应的特殊因子；将每个初始子类别中不合格图像对应的特殊因子的均值作为每个初始子类别的平均特殊因子；

根据每个类别对应的公共因子和平均特殊因子，以及所述类别中的每个初始子类别对应的公共因子和平均特殊因子，获取每个初始子类别相对于所在类别的置信度。

在一实施例中，每个初始子类别中不合格图像为同一缺陷的子类别是按照以下步骤获取：

对获取的每个初始子类别中不合格图像相对于所在类别中不合格图像的置信度进行归一化处理，当归一化后的置信度大于0.7时，则该置信度对应的每个初始子类别中不合格图像作为同一缺陷的子类别。

在一实施例中，每个类别中任意两个不合格图像对应字典矩阵的相似度是按照以下步骤获取：

获取任意两个不合格图像对应字典矩阵中对应位置元素的比值，其中，比值是两个字典矩阵对应位置的元素小的值除以元素大的值的商值；

将任意两个不合格图像对应字典矩阵中对应位置元素的所有比值的均值作为任意两个不合格图像对应字典矩阵的相似度。

在一实施例中，每个第二子类别的不合格图像与每个合格图像的相似性是按照以下步骤获取：

获取合格图像数据集中每个合格图像的灰度直方图；并将每个第二子类别中不合格图像的灰度直方图的均值灰度直方图作为每个第二子类别的灰度直方图；

将每个第二子类别的灰度直方图与每个合格图像的灰度直方图的相似性作为每个第二子类别的不合格图像与每个合格图像的相似性。

在一实施例中，每个第二子类别的灰度直方图与每个合格图像的灰度直方图的相似性是按照以下步骤获取：

获取每个第二子类别的灰度直方图中的灰度值从左至右所对应的第一频数序列；

将第一频数序列作为每个第二子类别的灰度直方图对应的第一频数向量；

同理，获取每个合格图像的灰度直方图对应的第二频数向量；

将每个第一频数向量与每个第二频数向量之间的余弦相似度作为每个第二子类别的灰度直方图与每个合格图像的灰度直方图的相似性。

在一实施例中，根据计算每个第二子类别的灰度直方图与每个合格图像的灰度直方图的相似性，通过层次分析方法将合格图像数据集中合格图像划分成与每个第二子类别对应的合格图像类别。

在一实施例中，所述神经网络为生成对抗卷积神经网络；并基于交叉熵损失函数对神经网络进行训练，其中，网络输入为更新后的不合格图像数据集和合格图像数据集中的所有图像；网络输出为当前网络输入图像对应的人工角膜镜柱合格或者不合格。

本发明的有益效果是：

本发明提供的一种基于深度学习的人工角膜镜柱质量检测方法，该方法通过不合格图像数据集中的缺陷类别对不合格图像进行分类，并对其不同缺陷的不合格图像类别进行扩充对应不合格图像的数量，同时结合合格数据集数量对不同类别进行相应的数量扩充，使得训练数据集均衡，有助于提高神经网络对不同缺陷类别的识别率，不会造成对某种缺陷识别率高，对某种缺陷识别率低的问题。

本发明还通过不合格图像类别与合格图像类别的对应关系，对合格图像数据集的不同类别的数量也进行相应调整，使得神经网络可以对没有缺陷的背景图像和有缺陷的前景图像进行一对一的对比学习，有效提升神经网络对不同缺陷类别识别率，从而提高了神经网络的鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种基于深度学习的人工角膜镜柱质量检测方法的实施例总体步骤的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明主要针对采用生成对抗深度卷积神经网络（GANCNN）对人工角膜镜柱质量进行检测，但是现有技术对神经网络训练来说，数据集不平衡问题，采用旋转、平移、缩放等方法对数据量较少数据集进行扩充达到数据平衡的方法中，对数据集进行的扩充选择的数据较为随机，只能达到表面上的数据量的平衡，对最终的神经网络缺陷识别的精度提高不一定有较好的效果这个问题。

本发明首先通过不合格图像数据集中的缺陷类别对不合格图像进行分类，结合合格图像数据集数量对不同类别进行相应的数量扩充，通过不合格图像类别与合格图像类别的对应关系，对合格图像数据集的不同类别的数量也进行相应调整，使得神经网络可以对没有缺陷的背景图像和有缺陷的前景图像进行一对一的对比学习，增加了神经网络对不同缺陷类别识别率的提高，提高了神经网络的鲁棒性。

本发明提供的一种基于深度学习的人工角膜镜柱质量检测方法，参见图1所示，包括以下步骤：

S1、获取人工角膜镜柱的合格图像数据集和不合格图像数据集；

需要说明的是，本实施例是通过对特定的数据进行扩充使得神经网络对不同缺陷的识别率均较高，为此，针对人工角膜镜柱的合格图像及不合格图像，在进行人工检验时采集各种有关人工角膜镜柱的合格图像数据集和不合格图像数据集，并进行标注。

S2、获取多个类别的不合格图像；

对不合格图像数据集通过因子分析将不合格图像数据集中所有不合格图像划分为多个类别的不合格图像；其中，多个类别的不合格图像是按照以下步骤获取：

需要说明的是，因子分析是一种对多个相同大小的向量进行分析得到这些向量的共有特征和每个向量的独立特征的方法，本实施例为了通过选择不合格图像数据集中的不同缺陷类别的数据进行扩充达到提高神经网络对不同缺陷类别的识别精度均较高的效果，首先通过对不合格图像数据集中的所有不合格图像进行因子分析得到每个向量数据的特殊因子，并参考检验内控标准，进而得到不同的缺陷类别；具体如下：

由于因子分析针对的是向量数据，因此首先需要把不合格图像数据集中的每个不合格图像数据转化为向量数据，将每个不合格图像数据通过从左到右、从上到下的顺序对像素灰度值进行排列，得到每个不合格图像矩阵数据转化后的一维向量数据。

将不合格图像数据集中的每个不合格图像数据转化为了一维向量数据后，称之为向量数据集，对向量数据集通过因子分析的方法得到所有向量的公共因子和每个一维向量的特殊因子，特殊因子是一个向量，另外，为了区分进行因子分析的向量和因子分析结果中的特殊因子，将进行因子分析的向量称之为初始向量，不同初始向量数据对应的特殊因子的相似性越大，对应初始向量属于同一个缺陷类别的概率越大；

因此通过计算不同特殊因子的余弦相似度，通过层次分析的方法，将余弦相似度相近的特殊因子划分为相同类别，进而也就得到了初始向量的分类结果。同一个类别内的不同初始向量与不同类别内的初始向量相比，属于同一个缺陷类别的概率较大。为此，将不合格图像数据集中的所有不合格图像按照对应初始向量的分类结果划分成多个类别的不合格图像。

S3、获取多个第一子类别的不合格图像；

根据每个类别中不合格图像上的缺陷将同一缺陷的不合格图像划分至同一个第一子类别中，依次获取多个第一子类别的不合格图像；

其中，每个类别中任意两个不合格图像对应字典矩阵的相似度是按照以下步骤获取：

需要说明的是，通过因子分析得到的同类别的不合格图像只能保证特殊因子的相似程度，但不能保证特征的相近，就像：两个图像矩阵的熵值相同，并不能保证两个图像相同，因此还需要对得到的每个类别进行进一步的分析，使得最终类别中每个类别的特征相近，则每个类别中的不同初始向量才真正属于同一个缺陷类别。

在本实施例中，基于字典学习算法（K-SVD）是一种可以对单个图像矩阵的特征进行分析的方法，分析结果包括字典矩阵和稀疏矩阵，字典矩阵表示的是图像的本质特征，例如：图像中有花、草地和树木三种地物特征，为此，对于同一类别中的不合格图像通过K-SVD进行二次分类，得到多个不同子类别。

具体多个第一子类别的不合格图像是按照以下步骤获取：

依次获取多个第一子类别的不合格图像。

在本实施例中，对每个类别中的每个不合格图像矩阵格式的数据通过K-SVD分析得到字典矩阵，若两字典矩阵相似则缺陷类型相近，由于同种缺陷，往往也会有不同的分布，例如：第一图像和第二图像上均是凹坑缺陷，但第一图像上有一个大凹坑，第二图像上有多个小凹坑，第一图像和第二图像的字典矩阵相近，但稀疏矩阵相差较大，因此通过字典矩阵对每个类别进行二次分类，而不考虑稀疏矩阵；同时属于同一个缺陷类别的不合格图像，与类别相比，公共因子变大，特殊因子变小。为此，首先通过字典矩阵相似性进行二次分类得到多个第一子类别的不合格图像，由于不合格图像中存在各种噪声的干扰，进而根据公共因子和独立因子的变化程度对每个第一子类别的置信度进行评估，所述置信度是指每个第一子类别中的不合格图像确实属于同一个子类别的可信度。

进一步，每个初始子类别中不合格图像相对于所在类别中不合格图像的置信度是按照以下方法获取：

根据每个类别对应的公共因子和平均特殊因子，以及所述类别中的每个初始子类别对应的公共因子和平均特殊因子，获取每个初始子类别相对于所在类别的置信度。需要说明的是，将分别每个公共因子向量和每个平均特殊因子中所有元素的均值作为该向量的信息量的表征值。

在本实施例中，每个初始子类别相对于所在类别的置信度计算公式如下：

式中，

表示每个初始子类别相对于所在类别的置信度；

表示每个类别对应的公共因子中的所有元素的均值；

表示每个类别对应的平均特殊因子中的所有元素的均值；

表示每个初始子类别对应的公共因子中的所有元素的均值；

表示每个初始子类别对应的平均特殊因子中的所有元素的均值；需要说明的是，通过二次分类得到的初始子类别确实是同一个缺陷类别的话，由

~

是变大，由

~

是变小。二次分类的初始子类别的公共因子的变大程度越大，特殊因子的变小程度越大，则该二次分类的初始子类别属于同一个类别的置信度越大。

更进一步，每个初始子类别中不合格图像为同一缺陷的子类别是按照以下步骤获取：

对获取的每个初始子类别中不合格图像相对于所在类别中不合格图像的置信度进行归一化处理，当归一化后的置信度大于0.7时，则该置信度对应的每个初始子类别中不合格图像作为同一缺陷的子类别。其中，0.7是根据经验而设置。

在本实施例中，计算得到每个初始子类别的置信度后，对所述置信度进行归一化，将归一化后值大于0.7的保留，认为是同一个缺陷的子类别。至此，根据每个初始子类别对应的置信度获取每个初始子类别中不合格图像为同一缺陷的子类别，将不合格图像为同一缺陷的初始子类别作为第一子类别；依次获取多个第一子类别的不合格图像。

将第一子类别的数量用

表示，将小于0.7的认为是单独一个类别，即将不合格图像共分为了

+1个子类别。

S4、获取扩充后的多个第二子类别的不合格图像；

在本实施例中，得到多个第一子类别后，首先计算得到每个第一子类别中的不合格图像数量，用

表示，然后将合格图像数据集的数量记为

，则每个第一子类别中对应不合格图像的扩充数量的计算公式如下：

式中，

表示每个第一子类别中不合格图像数量；

表示合格数据集中合格图像数量；

表示每个类别中对应第一子类别的数量；则

表示每个类别中所有子类别的数量；

表示每个第一子类别中对应不合格图像的扩充数量；即每个第一子类别的数量按照合格图像数据集的数量扩充后，每个第一子类别应该扩充多少数据。例如：合格图像数据集有 1000幅图像，不合格图像数据集中有四个第一子类别：a、b、c、d，对应不合格图像数量分别为：20、30、10和40，则第一子类别a的扩充数量为：250-20=230，其它类别计算方法相同。

S5、获取扩充或删除后的每个合格图像类别；

需要说明的是，根据不合格图像数据集中的同一个缺陷的第二子类别后，计算每个第二子类别不合格图像对应的无缺陷类别合格图像，即不合格图像数据集中每个第二子类别与合格数据集中每个类别的对应关系。所述对应关系是指合格图像数据集中的图像作为不合格数据集中的图像的背景，例如：合格图像中的图像A是不合格图像中的图像B的背景，即A是标准的，没有缺陷的，B是以A为背景图像，前景为缺陷图像，即所述对应关系中，当合格图像数据集中的图像和不合格图像数据集中的图像对应时，合格图像数据集中的图像是不合格图像数据集中图像的背景，即如果不合格图像中的缺陷区域不存在，则合格图像和不合格图像是同一幅图像。

为了提高神经网络的识别率，通过将背景和前景图像的数量比重相同达到这个目的，使得在神经网络训练中，神经网络可以更多地学习到合格图像和不合格图像的一对一的对比关系，有助于提高神经网络的鲁棒性。

其中，每个第二子类别的不合格图像与每个合格图像的相似性是按照以下步骤获取：

进一步，每个第二子类别的灰度直方图与每个合格图像的灰度直方图的相似性是按照以下步骤获取：

更进一步，根据计算每个第二子类别的灰度直方图与每个合格图像的灰度直方图的相似性，通过层次分析方法将合格图像数据集中合格图像划分成与每个第二子类别对应的合格图像类别。

在本实施例中，考虑到对应关系中，合格图像是不合格图像的背景，因此通过计算直方图的相似性，得到不合格图像中不同类别在合格图像中的对应图像，进而对合格图像中的不同对应图像的数量进行调整。具体的调整过程如下：

首先对不合格图像中的每个第二子类别计算得到一个类别直方图，所述第二子类别直方图和该类别是一对一的关系，所述第二子类别直方图的计算方法如下：将该第二子类别中所有不合格图像的直方图的均值直方图作为该第二子类别的类别直方图，计算得到每个第二子类别的直方图后，计算合格图像中每幅图像的直方图与每个第二子类别直方图的相近程度，结合层次分析的方法将合格图像划分为了不同类别，然后计算每个合格图像类别的类别数量与平均类别数量，即每个合格图像类别数据量与

的差值，根据所述差值对每个合格图像类别中的图像数量进行扩充和删除。

为此，通过对不合格图像数据集按照第二子类别数量进行扩充和对合格图像数据集进行扩充和删除，得到了更新后的合格图像数据集和不合格图像数据集。

S6、获取训练好的神经网络；

将更新后的不合格图像数据集和合格图像数据集中的所有图像作为训练集对神经网络进行训练，获取训练好的神经网络；所述神经网络为深度卷积神经网络（CNN）；并基于交叉熵损失函数对神经网络进行训练，其中，神经网络训练的具体过程如下：

网络输入为更新后的不合格图像数据集和合格图像数据集中的所有图像；网络输出为当前网络输入图像对应的人工角膜镜柱合格或者不合格；

网络训练所用的数据为获取的更新后的不合格图像数据集和合格图像数据集中的所有图像；

网络的标签为图像所对应的人工角膜镜柱合格或者不合格。

S7、将待检测的人工角膜镜柱图像通过训练好的神经网络进行质量识别。

在本实施例中，通过采集待检测的人工角膜镜柱的图像，将该图像作为网络的输入，通过训练好的CNN神经网络，若过该图像存在缺陷，则网络输出的为不合格记为0；若该图像不存在缺陷，则网络输出为合格记为1；从而根据网络的输出结果来判断网络输入的图像是否有缺陷，从而能够准确地判断出待检测的人工角膜镜柱质量是否合格。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于深度学习的人工角膜镜柱质量检测方法，其特征在于，包括以下步骤：

获取人工角膜镜柱的合格图像数据集和不合格图像数据集；

对不合格图像数据集通过因子分析依据检验内控标准和因子分析法将不合格图像数据集中所有不合格图像划分为多个类别的不合格图像；根据每个类别中不合格图像上的缺陷将同一缺陷的不合格图像划分至同一个第一子类别中，依次获取多个第一子类别的不合格图像；

2.根据权利要求1所述的基于深度学习的人工角膜镜柱质量检测方法，其特征在于，多个类别的不合格图像是按照以下步骤获取：

3.根据权利要求2所述的基于深度学习的人工角膜镜柱质量检测方法，其特征在于，多个第一子类别的不合格图像是按照以下步骤获取：

依次获取多个第一子类别的不合格图像。

4.根据权利要求3所述的基于深度学习的人工角膜镜柱质量检测方法，其特征在于，每个初始子类别中不合格图像相对于所在类别中不合格图像的置信度是按照以下方法获取：

5.根据权利要求3所述的基于深度学习的人工角膜镜柱质量检测方法，其特征在于，每个初始子类别中不合格图像为同一缺陷的子类别是按照以下步骤获取：

6.根据权利要求3所述的基于深度学习的人工角膜镜柱质量检测方法，其特征在于，

每个类别中任意两个不合格图像对应字典矩阵的相似度是按照以下步骤获取：

7.根据权利要求1所述的基于深度学习的人工角膜镜柱质量检测方法，其特征在于，每个第二子类别的不合格图像与每个合格图像的相似性是按照以下步骤获取：

8.根据权利要求7所述的基于深度学习的人工角膜镜柱质量检测方法，其特征在于，每个第二子类别的灰度直方图与每个合格图像的灰度直方图的相似性是按照以下步骤获取：

9.根据权利要求1所述的基于深度学习的人工角膜镜柱质量检测方法，其特征在于，根据计算每个第二子类别的灰度直方图与每个合格图像的灰度直方图的相似性，通过层次分析方法将合格图像数据集中合格图像划分成与每个第二子类别对应的合格图像类别。

10.根据权利要求1所述的基于深度学习的人工角膜镜柱质量检测方法，其特征在于，所述神经网络为卷积神经网络；并基于交叉熵损失函数对神经网络进行训练，其中，网络输入为更新后的不合格图像数据集和合格图像数据集中的所有图像；网络输出为当前网络输入图像对应的人工角膜镜柱合格或者不合格。