CN117953573A - 基于深度学习的自动眼前节图像的处理方法、介质和设备 - Google Patents

Abstract

本发明公开了一种基于深度学习的自动眼前节图像的处理方法、介质和设备，所述方法包括：接收移动终端上传的待处理的眼前节图像；将所述眼前节图像输入训练完成的深度学习模型中，输出针对所述眼前节图像的图像特征分析结果，所述图像特征分析结果包括判断所述待处理的眼前节图像的图像质量是否符合预设图像质量要求，若不符合则发出第一提示信息至所述移动终端。上述方案通过深度学习模型自动完成对移动终端上传的待处理的眼前节图像的质量评估，能够有效提升图像质量评估速度，并统一质量审查标准，降低后续诊断评估模型的计算成本。

Description

基于深度学习的自动眼前节图像的处理方法、介质和设备

技术领域

本申请涉及人工智能技术领域，具体涉及一种基于深度学习的自动眼前节图像的处理方法、介质和设备。

背景技术

随着计算机硬件、算法和计算能力的进步，人工智能近年来取得了显著的进展，对于处理大量复杂多样的医疗数据显示出巨大的潜力。眼科作为一个医学领域，在此过程中因其易于获取的眼部图像和多种成像数据在诊断和治疗眼部疾病中的重要作用，成为人工智能应用最广泛的医学领域之一。

目前，人工智能技术在眼科领域的应用仍需依赖医护人员和医疗设备，患者无法自主进行疾病筛查。移动终端收集眼前节图像有助于远程医疗服务的提供。患者可以通过移动终端拍摄眼睛图像，并将其发送给医生或眼科专家进行远程诊断和咨询。尤其是在偏远地区或医疗资源不足的地方，这种方式可以提供及时的眼科护理。利用移动终端收集眼前节图像还能够进行眼部健康状况的快速筛查和监测，为医生提供更多个性化的治疗方案。因此，利用移动终端等移动设备获取患者的医学信息，实现患者独立操作即可完成疾病的诊断，或将成为未来眼科人工智能发展的重要方向。

然而，在医疗设备或移动终端设备中，图像质量对模型的准确性和性能有着巨大影响。因此，确保输入图像的质量至关重要。目前，用于模型训练的图像质量控制通常是依赖于人工来完成，这需要耗费大量时间和精力，并且缺乏标准化的质量控制标准。特别是在移动终端设备拍摄的情况下，由于拍摄人员的操作手法缺乏统一标准、移动终端品牌的多样性和光照环境的不确定性等因素，使得移动终端拍摄患者的眼前节图像变得更加困难。如果对输入图像不进行质量控制，将会增加计算成本，导致无效和垃圾数据的堆积以及增加存储设备的压力。

发明内容

鉴于上述问题，本申请提供了一种基于深度学习的自动眼前节图像的技术方案，以解决现有的眼前节图像的图像质量评估依赖于人工完成，效率低下，标准不统一，增加后续诊断模型的计算成本的技术问题。

为实现上述目的，在第一方面，本申请提供了一种基于深度学习的自动眼前节图像的处理方法，所述方法包括：

接收移动终端上传的待处理的眼前节图像；

将所述眼前节图像输入训练完成的深度学习模型中，输出针对所述眼前节图像的图像特征分析结果，所述图像特征分析结果包括判断所述待处理的眼前节图像的图像质量是否符合预设图像质量要求，若不符合则发出第一提示信息至所述移动终端。

进一步的，所述判断所述待处理的眼前节图像的图像质量是否符合预设图像质量要求包括以下种类中的任一项或多项：

判断所述待处理的眼前节图像是否为眼部图像；

判断所述待处理的眼前节图像是否包含预设的若干眼部结构特征；

判断所述待处理的眼前节图像的清晰度是否符合预设清晰度；

判断所述待处理的眼前节图像的曝光度是否符合在预设曝光度范围内；

判断所述待处理的眼前节图像的眼球视线是否符合预设基准角度；

判断所述待处理的眼前节图像中的预设的若干眼部结构特征是否被眼睑遮挡。

进一步的，所述第一提示信息用于提示当前移动终端上传的眼前节图像不符合预设图像质量要求以及不符合预设图像质量要求的类型。

进一步的，所述深度学习模型根据以下方式进行训练：

获取样本数据集，并将所述样本数据集按照预设比例随机划分为训练集、验证集和测试集，所述样本数据集包含眼部特征正常的眼前节图像和不同病变类型的眼前节图像；

构建初始的深度学习模型，将所述训练集输入所述初始的深度学习模型进行训练，输出相应的图像特征分析结果，迭代训练多次，将所述验证集输入至经过多次迭代训练后的深度学习模型中，对训练过程中的神经网络参数进行调整，得到训练完成的深度学习模型；

所述方法还包括：

将所述测试集输入至训练完成的深度学习模型，对所述训练完成的深度学习模型的性能进行评估，输出评估指标，所述评估指标包括准确率、F1分数、召回率、精确率中的任一项或多项。

进一步的，所述深度学习模型为MobileEye网络模型，所述MobileEye网络模型包含Start Stage模块、Middle Stage模块和Last Stage模块；

所述Start Stage模块通过3×3的卷积操作来提取输入的眼前节图像的图像特征；

所述Middle Stage模块包括多个bneck块，不同所述bneck块所包含的卷积层的数量和参数各不相同，所述bneck块用于提升模型对Start Stage模块提取的图像特征的关注程度；

所述Last Stage模块用于输出所述眼前节图像的图像特征分析结果。

进一步的，所述方法还包括：

提取所述待处理的眼前节图像的不同位置的图像特征，将符合预设图像质量要求的第一图像特征存储于第一存储单元中；

在判定当前待处理的第一眼前节图像的图像质量不符合预设图像质量要求后，获取所述移动终端重新上传的待处理的第二眼前节图像，将所述第二眼前节图像输入训练完成的深度学习模型中，输出针对所述第二眼前节图像的图像特征分析结果；

若所述第二眼前节图像的不符合预设图像质量要求，则根据特定位置的眼部特征判断所述第一眼前节图像和所述第二眼前节图像是否为属于同一患者相同眼睛的图像，若是则判断所述第一存储单元中是否存储有所述第二眼前节图像中被判定为不符合预设图像质量要求的相应眼部位置的第一图像特征，若是则获取第一图像特征与所述第二眼前节图像进行特征融合，生成第三眼前节图像；

将所述第三眼前节图像输入训练完成的深度学习模型中，输出针对所述第三眼前节图像的图像特征分析结果。

进一步的，所述方法还包括：

在每一次接收到符合预设图像质量要求的眼前节图像后，将符合预设图像质量要求的所述眼前节图像存储于云端并记录上传日期；

获取上传日期在本次上传日期之前的若干所述眼前节图像的图像特征，将本次获取的眼前节图像的图像特征与获取的上传日期在本次之前的若干眼前节图像的图像特征进行叠加，分析相应图像特征的变化趋势，并利用AR技术以动画方式可视化呈现所述变化趋势和可能恶化的病情走向。

进一步的，所述方法还包括：

在判定所述待处理的眼前节图像的图像质量符合预设图像质量要求后，将所述眼前节图像传输给诊断评估模型，以输出诊断建议结果。

在第二方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如本申请第一方面所述的基于深度学习的自动眼前节图像的处理方法。

在第三方面，本申请提供了一种电子设备，其上存储有计算机程序，包括处理器和存储介质，所述存储介质上存储有计算机程序，所述计算机程序被所述处理器执行时实现如本申请第一方面所述的基于深度学习的自动眼前节图像的处理方法

区别于现有技术，上述技术方案中的基于深度学习的自动眼前节图像的处理方法、介质和设备，所述方法包括：接收移动终端上传的待处理的眼前节图像；将所述眼前节图像输入训练完成的深度学习模型中，输出针对所述眼前节图像的图像特征分析结果，所述图像特征分析结果包括判断所述待处理的眼前节图像的图像质量是否符合预设图像质量要求，若不符合则发出第一提示信息至所述移动终端。上述方案通过深度学习模型自动完成对移动终端上传的待处理的眼前节图像的质量评估，能够有效提升图像质量评估速度，并统一质量审查标准，降低后续诊断评估模型的计算成本。

上述发明内容相关记载仅是本申请技术方案的概述，为了让本领域普通技术人员能够更清楚地了解本申请的技术方案，进而可以依据说明书的文字及附图记载的内容予以实施，并且为了让本申请的上述目的及其它目的、特征和优点能够更易于理解，以下结合本申请的具体实施方式及附图进行说明。

附图说明

附图仅用于示出本发明具体实施方式以及其他相关内容的原理、实现方式、应用、特点以及效果等，并不能认为是对本申请的限制。

在说明书附图中：

图1为本申请第一示例性实施例所述的基于深度学习的自动眼前节图像的处理方法的流程图；

图2为本申请第二示例性实施例所述的基于深度学习的自动眼前节图像的处理方法的流程图；

图3为本申请第三示例性实施例所述的基于深度学习的自动眼前节图像的处理方法的流程图；

图4为本申请第四示例性实施例所述的基于深度学习的自动眼前节图像的处理方法的流程图；

图5为本申请第五示例性实施例所述的基于深度学习的自动眼前节图像的处理方法的流程图；

图6本申请第六示例性实施例所述的基于深度学习的自动眼前节图像的处理方法的流程图；

图7为本申请一示例性实施例所述的MobileEye网络模型的示意图；

图8为本申请一示例性实施例所述的Last Stage模块的示意图；

图9为本申请一示例性实施例所述的电子设备的示意图；

图10为本申请一示例性实施例所述的图像分类装置的示意图；

上述各附图中涉及的附图标记说明如下：

10、电子设备；

620、处理器；

102、存储介质；

6、图像分类装置；

610、存储器；

620、处理器；

630、输入输出接口；

640、网络接口；

650、存储接口；

660、总线。

具体实施方式

为详细说明本申请可能的应用场景，技术原理，可实施的具体方案，能实现目的与效果等，以下结合所列举的具体实施例并配合附图详予说明。本文所记载的实施例仅用于更加清楚地说明本申请的技术方案，因此只作为示例，而不能以此来限制本申请的保护范围。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中各个位置出现的“实施例”一词并不一定指代相同的实施例，亦不特别限定其与其它实施例之间的独立性或关联性。原则上，在本申请中，只要不存在技术矛盾或冲突，各实施例中所提到的各项技术特征均可以以任意方式进行组合，以形成相应的可实施的技术方案。

除非另有定义，本文所使用的技术术语的含义与本申请所属技术领域的技术人员通常理解的含义相同；本文中对相关术语的使用只是为了描述具体的实施例，而不是旨在限制本申请。

在本申请的描述中，用语“和/或”是一种用于描述对象之间逻辑关系的表述，表示可以存在三种关系，例如A和/或B，表示：存在A，存在B，以及同时存在A和B这三种情况。另外，本文中字符“/”一般表示前后关联对象是一种“或”的逻辑关系。

在本申请中，诸如“第一”和“第二”之类的用语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何实际的数量、主次或顺序等关系。

在没有更多限制的情况下，在本申请中，语句中所使用的“包括”、“包含”、“具有”或者其他类似的开放式表述，意在涵盖非排他性的包含，这些表述并不排除在包括所述要素的过程、方法或者产品中还可以存在另外的要素，从而使得包括一系列要素的过程、方法或者产品中不仅可以包括那些限定的要素，而且还可以包括没有明确列出的其他要素，或者还包括为这种过程、方法或者产品所固有的要素。

与《审查指南》中的理解相同，在本申请中，“大于”、“小于”、“超过”等表述理解为不包括本数；“以上”、“以下”、“以内”等表述理解为包括本数。此外，在本申请实施例的描述中“多个”的含义是两个以上(包括两个)，与之类似的与“多”相关的表述亦做此类理解，例如“多组”、“多次”等，除非另有明确具体的限定。

在本申请实施例的描述中，所使用的与空间相关的表述，诸如“中心”“纵向”“横向”“长度”“宽度”“厚度”“上”“下”“前”“后”“左”“右”“竖直”“水平”“垂直”“顶”“底”“内”“外”“顺时针”“逆时针”“轴向”“径向”“周向”等，所指示的方位或位置关系是基于具体实施例或附图所示的方位或位置关系，仅是为了便于描述本申请的具体实施例或便于读者理解，而不是指示或暗示所指的装置或部件必须具有特定的位置、特定的方位、或以特定的方位构造或操作，因此不能理解为对本申请实施例的限制。

除非另有明确的规定或限定，在本申请实施例的描述中，所使用的“安装”“相连”“连接”“固定”“设置”等用语应做广义理解。例如，所述“连接”可以是固定连接，也可以是可拆卸连接，或成一体设置；其可以是机械连接，也可以是电连接，也可以是通信连接；其可以是直接相连，也可以通过中间媒介间接相连；其可以是两个元件内部的连通或两个元件的相互作用关系。对于本申请所属技术领域的技术人员而言，可以根据具体情况理解上述用语在本申请实施例中的具体含义。

如图1所示，在第一方面，本申请提供了一种基于深度学习的自动眼前节图像的处理方法，所述方法包括：

首先进入步骤S101接收移动终端上传的待处理的眼前节图像；

而后进入步骤S102将所述眼前节图像输入训练完成的深度学习模型中，输出针对所述眼前节图像的图像特征分析结果，所述图像特征分析结果包括判断所述待处理的眼前节图像的图像质量是否符合预设图像质量要求；

而后进入步骤S103若不符合则发出第一提示信息至所述移动终端。

在步骤S101中，所述移动终端设备可以是手机、平板电脑、笔记本电脑、可穿戴设备、智能家居设备或其他智能设备。所述待处理的眼前节图像可以通过所述移动终端实时拍摄上传，也可以是事先拍摄好存储于移动终端中，再由移动终端自定义上传。

在步骤S102中，所述深度学习模型是指由多层神经网络构成的机器学习模型，它可以通过大量数据自动学习特征，从而实现各种任务，例如分类、聚类、预测等。深度学习模型通常包含输入层、隐藏层和输出层，其中隐藏层可以有多层，每个隐藏层都会对输入数据进行一次非线性变换，并把结果传递到下一层。这些非线性变换的基本单元称为神经元，神经元的输出是由输入值与相关权重乘积和偏差加和经过一个激活函数计算得到的。深度学习模型通常使用反向传播算法(backpropagation)来进行训练，该算法可以计算损失函数关于权重和偏差的梯度，从而更新模型参数，使得模型的预测结果与实际结果尽可能接近。

在深度学习模型中，常见的架构包括卷积神经网络(Convolutional NeuralNetworks，CNN)、循环神经网络(Recurrent Neural Networks，RNN)和变形自编码器(Variational Autoencoder，VAE)等。深度学习模型具有参数量大、计算量大、需要大量数据进行训练等特点，但在许多场景中都能取得非常出色的效果。

所述图像特征分析结果可以包括对图像本身环境参数的评估结果，例如图像是否清晰，图像的曝光度是否符合预设范围，也可以包括对图像所包含的图像特征的评估结果，例如图像上是否包含有完整的眼前节部位的图像特征，如包括角膜、结膜、晶状体、虹膜、眼睑和泪腺等。

优选的，所述预设图像质量要求可以根据实际需要进行设定，基于使用用途的不同(例如作为判断依据的疾病类型的不同)，预设图像质量要求中对于图像本身环境参数或者图像特征的相关要求(包括种类、具体参数等)也可以设置为不同。例如多种眼表疾病的诊断需要全景眼部图像的标准，白内障疾病的诊断需要过度曝光图像的标准，翼状胬肉疾病需要全景与眼睛位置不正常图像相结合的控制标准等。

在步骤S103中，所述第一提示信息可以是声音提示、发光提示、震动提示、或是在显示装置的显示界面上的文字、图形提示等。

上述方案通过深度学习模型自动完成对移动终端上传的待处理的眼前节图像的质量评估，能够有效提升图像质量评估速度，并统一质量审查标准，降低后续诊断评估模型的计算成本。

在某些实施例中，所述判断所述待处理的眼前节图像的图像质量是否符合预设图像质量要求包括以下种类中的任一项或多项：

(1)判断所述待处理的眼前节图像是否为眼部图像；

(2)判断所述待处理的眼前节图像是否包含预设的若干眼部结构特征；

(3)判断所述待处理的眼前节图像的清晰度是否符合预设清晰度；

(4)判断所述待处理的眼前节图像的曝光度是否符合在预设曝光度范围内；

(5)判断所述待处理的眼前节图像的眼球视线是否符合预设基准角度；

(6)判断所述待处理的眼前节图像中的预设的若干眼部结构特征是否被眼睑遮挡。

优选的，在某些实施例中，所述第一提示信息用于提示当前移动终端上传的眼前节图像不符合预设图像质量要求以及不符合预设图像质量要求的类型，即说明当前待处理的眼前节图像是属于哪种不符合质量要求的分类。

在种类(1)中，如果所述待处理的眼前节图像为非眼睛图像(即移动终端上传的是眼睛以外的物体的图像)，则会向移动终端发出第一提示信息。具体的，所述第一提示信息可以被设置为“上传图像不满足要求，该图像为非眼部图像，请重新上传符合要求的眼部图像。”

在种类(2)中，预设的若干眼部结构特征包括角膜、结膜、晶状体、虹膜、眼睑和泪腺中的任一项或多项。若存在部分或全部预设的眼部结构缺失，则会向移动终端发出第一提示信息，提醒移动终端重新上传图像。此时，所述第一提示信息可以被设置为“上传图像不满足要求，该图像的XX眼部结构特征缺失(XX具体为缺失的部分眼部结构名称)，请重新上传符合要求的眼部图像。”

在种类(3)中，图像散焦或晃动都会导致眼球结构不清晰，使得待处理的眼前节图像变得模糊，影响图像后续的分类。因而当判定所述待处理的眼前节图像的清晰度没有达到预设清晰度时，可以向移动终端发出第一提示信息，提醒移动终端重新上传图像。此时，所述第一提示信息可以被设置为“上传图像不满足要求，该图像为模糊图像，请重新上传符合要求的眼部图像。”

在种类(4)中，如果图像在拍摄时光照不足将会导致眼部结构不清晰，如果在拍摄时过度曝光则会导致眼部结构特征的丧失，因而需要将拍摄的待处理的眼前节图像的曝光度控制在预设曝光度范围内。当光照不足图像被设定为不合格图像时，若检测到图像的光照不足，则会向移动终端发出第一提示信息，所述第一提示信息用于提示“上传图像不满足要求，该图像为光照不足图像，请调节亮度重新上传眼部图像。”当过度曝光图像被设定为不合格图像时，若检测到图像为过度曝光图像，则会向移动终端发出第一提示信息，第一提示信息用于提示“上传图像不满足要求，该图像为过度曝光图像，请调节亮度重新上传眼部图像。”

在种类(5)中，预设基准角度可以被设定为要求用户直视前方，当眼睛位置不正常图像被设定为不合格图像时，若判定待处理的眼前节图像为眼睛位置不正常图像时，则会向移动终端返回第一提示信息，所述第一提示信息用于提示“上传图像不满足要求，该图像为眼睛位置不正常图像，请调整眼位重新上传眼部图像。”

在种类(6)中，所述眼部结构特征包括角膜特征。当眼睛位置不正常图像被设定为不完全的角膜暴露图像时，若判定待处理的眼前节图像为不完全的角膜暴露图像，则会向移动终端返回第一提示信息，所述第一提示信息用于提示“上传图像不满足要求，该图像为不完全的角膜暴露图像，请尽量睁大眼睛重新上传眼部图像。”

在某些实施例中，如图2所示，所述深度学习模型根据以下方式进行训练：

首先进入步骤S201获取样本数据集，并将所述样本数据集按照预设比例随机划分为训练集、验证集和测试集，所述样本数据集包含眼部特征正常的眼前节图像和不同病变类型的眼前节图像；

而后进入步骤S202构建初始的深度学习模型，将所述训练集输入所述初始的深度学习模型进行训练，输出相应的图像特征分析结果，迭代训练多次，将所述验证集输入至经过多次迭代训练后的深度学习模型中，对训练过程中的神经网络参数进行调整，得到训练完成的深度学习模型；

所述方法在步骤S202后还可以进入步骤S203将所述测试集输入至训练完成的深度学习模型，对所述训练完成的深度学习模型的性能进行评估，输出评估指标，所述评估指标包括准确率、F1分数、召回率、精确率中的任一项或多项。

在步骤S201中，训练集、验证集和测试集是机器学习和深度学习中常用的数据集划分方式，用于开发和评估模型的性能。具体的，训练集(Training Set)：训练集是用来训练模型的数据集。它包含了大量的样本数据，模型通过对这些样本进行学习和调整参数来逐渐提高其性能。在训练过程中，模型的参数会根据训练集中的数据进行优化。验证集(Validation Set)：验证集是用来对模型进行调优和选择超参数的数据集。在训练过程中，我们可以使用验证集来评估模型在未见过的数据上的性能，并根据评估结果调整模型的超参数(如学习率、正则化参数等)，以提升模型的泛化能力。通过在验证集上进行多次迭代和调优，可以选择出最佳的模型。测试集(Test Set)：测试集是用来评估模型性能的数据集。在模型完成训练和调优后，我们将模型应用于测试集上，以获得最终的性能指标。测试集的样本是模型在整个训练过程中从未见过的，因此可以用来评估模型在真实情况下的泛化能力，即对未知数据的预测能力。测试集的结果可以用来评估模型的性能，并与其他模型进行比较。

需要说明的是，划分数据集时应确保训练集、验证集和测试集之间的样本是互斥的，避免数据重复使用。所述预设比例可以被设定为将数据集的大约60-80％作为训练集，10-20％作为验证集，10-20％作为测试集。划分比例可以根据具体任务和数据集的大小进行调整。

优选的，在本申请中，所述深度学习模型为MobileEye网络模型。MobileNet是一种轻量级的卷积神经网络(Convolutional Neural Network，CNN)模型，被用于图像分类和目标检测任务。它是由Google的工程师提出的，旨在在计算资源有限的移动设备上提供高效的图像识别和分析能力。MobileNet主要的特点是通过一系列的深度可分离卷积层(Depthwise Separable Convolution)来减少参数量和计算量，以此来实现轻量化。深度可分离卷积层将标准的卷积操作分为两个步骤：深度卷积和逐点卷积。深度卷积在输入的每个通道上进行卷积操作，而逐点卷积则在每个通道上应用1x1的卷积核。这种方式可以显著降低计算量，同时减少了参数数量，使得模型更加轻量级。MobileNet模型还通过使用全局平均池化层来减少参数量。这种池化操作可以将每个特征图的空间维度降为1x1，然后再通过全连接层进行分类或回归等任务。MobileNet的结构灵活，可以根据需要调整深度和宽度参数，以便在不同的应用场景中进行平衡。例如，MobileNetV2在MobileNet的基础上进行了改进，加入了残差连接(Residual Connection)和线性瓶颈(Linear Bottleneck)等技术，提高了模型的准确性和效率。

如图6所示，在某些实施例中，眼前节图像质量控制分类包括以下步骤：

S21：收集手机拍摄的眼前节图像数据集，其中包括正常眼前节图像和不同眼科疾病病变的图像。手机拍摄的眼前节数据集按8:1:1的比例随机划分为训练集、验证集和测试集。训练集和验证集被用于模型训练和参数调整，而测试集则被用来评估模型的性能。

具体的，我们对收集到的图像数据进行预处理，我们将图像标准化为224×224像素。随后，使用了图像增强技术，如RandomFlip、RandomErasing和AutoAugment来增强训练效果。数据增强后的训练集的数据均调整为统一大小224*224。

S22：使用基于深度学习的特征提取方法(卷积神经网络)，MobileEye模型主要采用倒残差结构、深度可分离卷积以及ECA(Efficient Channel Attention)机制来提取图像特征。

步骤S23：MobileEye中采用了Efficient Head的分类器结构，它由多个轻量级的卷积层和h-swish激活函数组成。

步骤S22和步骤S23共同构成MobileEye算法的核心。在这个阶段，依赖眼前节图像任务的性质和特点来训练参数，以获得最佳的模型性能。网络的参数通过Root MeanSquare Propagation(RMSprop)进行优化，设置了权重衰减为1e-5，动量为0.9，批次大小为32。初始学习率设为0.016，并以线性衰减率0.973逐渐减小学习率。训练时共进行了150个epochs，最终保存训练效果最好轮次的权重。所有模型均采用PyTorch工具包实现。通过计算参数(Params)、浮点运算(FLOPs)、每秒帧数(FPS)来评估的模型本身的性能。对训练好的网络模型进行预测，分别使用准确率Accuracy、F1分数、召回率Recall、精确率Precision作为评判网络性能的评价指标，评价模型在手机眼前节图像任务上的性能。

具体地，将步骤S21的测试集送入训练好的网络模型中进行预测，评价网络的好坏，分别使用准确率Accuracy、F1分数、召回率Recall、精确率Precision作为评判网络性能的评价指标。在评估模型性能时，这些指标可以提供关于模型对不同类别样本的识别准确性和整体性能表现的信息。准确率描述了分类任务的整体表现，Precision和Recall则更专注于单个类别的性能，并且F1分数提供了综合Precision和Recall的度量。以下为各个评价指标的计算公式：

其中，TP，FN，FP和TN分别代表真正例(True Positive)、假负例(FalseNegative)、假正例(False Positive)和真负例(True Negative)。

步骤S24：为了实现眼前节图像质量控制任务，需要进行图像分类，输出7个类别(这7类类别具体包括当前眼前节图像所属的质量类型，具体是非眼睛图像、全景眼部图像、模糊图像、光照不足图像、过度曝光图像、眼睛位置不正常图像以及不完全的角膜暴露图像)。将其整合到眼前节图像质量控制系统中，能够有效地协助医生和专业人员对眼部健康状况进行评估和监控。

在某些实施例中，如图7所示，所述MobileEye网络模型包含Start Stage模块、Middle Stage模块和Last Stage模块；

所述Start Stage模块通过3×3的卷积操作来提取输入的眼前节图像的图像特征；

所述Middle Stage模块包括多个bneck块，不同所述bneck块所包含的卷积层的数量和参数各不相同，所述bneck块用于提升模型对Start Stage模块提取的图像特征的关注程度；

所述Last Stage模块用于输出所述眼前节图像的图像特征分析结果。进一步的，Last Stage模块在提前使用Avg Pooling(平均池化)后，采用两个1×1的卷积层代替传统的全连接层，最终输出类别信息。

如图8所示，图8(a)为本发明一实施例中Start Stage的具体结构示意图，所述Start Stage为MobileEye网络模型结构的第一个卷积层，具体的，其包括3个部分，即3×3卷积层、BN层(批量归一化层)和h-swish激活层。其中h-swish是非线性激活层，公式如下：

ReLU6＝min(6,max(0,x))

h-swish激活函数通过简单的乘法和加法操作，结合了ReLU6函数的计算高效性，以达到在维持性能的同时降低计算复杂度的目的。ReLU6是ReLU函数的一种变体，它可以将负数的输出直接截断为0，同时将正数的输出限制在6以内。具体地说，ReLU6函数的表达式如下：

f(x)＝min(max(x,0),6)；

其中，min和max分别表示取最小值和最大值的函数。

ReLU6函数被广泛应用于神经网络中，特别是移动设备等计算资源有限的场景中。相比于标准的ReLU函数，ReLU6可以进一步缩小神经网络的规模和计算量，同时还可以增加模型的鲁棒性和泛化能力，减少过拟合的问题。因此，ReLU6已经成为了许多轻量化卷积神经网络(如MobileNet、ShuffleNet等)以及目标检测、人脸识别等领域的标配激活函数之一。

如图8(b)所示为本发明一实施例中Middle Stage的具体结构示意图，以第一个bneck为实例，其含有三个必要步骤：

1.输入通道转换：将输入通道转换为膨胀通道，包含3个部分，1×1卷积层，BN层和ReLU层。

2.膨胀通道：包含2个部分，3×3深度卷积层，BN层，使用步长stride。

3.输出通道转换：将膨胀通道转换为输出通道，包含3个部分，1×1卷积层，BN层和ReLU层。

如图8(b)所示为本发明实施例中Middle Stage的具体结构示意图，具体的以第一个bneck为实例，含有两个可选步骤：

1.ECA结构：使用一维的全局平均池化操作和轻量级卷积核生成每个通道的权重，以提高模型对有用特征的关注程度，抑制对任务无关特征的影响。

2.残差结构：使用Residual残差连接操作，步长为1，输入通道和输出通道相同，最终的输出与原值相加。

如图8(c)所示为本发明实施例中Last Stage的具体结构示意图，具体的，所述Last Stage通过将Avg Pooling提前并将Squeeze操作省略和直接使用1×1的卷积，大大减少了计算量。该实例中含有三个步骤：

1.第一个卷积操作：包含4个部分，1×1卷积，ECA层，BN层，h-swish层。

2.Avg Pooling操作。

3.第二个卷积操作：包含3个部分，1×1卷积层，h-swish层，1×1卷积层。

此外，模型最后通过调用resize方法，将Cx1x1转换为类别，从而得到最终的分类结果。

在结果验证方面，本申请选取近年来主流的神经网络模型进行实验对比，使用6个轻量化网络模型EfficientNet，EfficientV2，MobileOne，MobileViT，MobileNetV2和MobileNetV3以及经典的卷积神经网络模型DenseNet-121，ResNet-50，ResNet-101，SwinTransformer和VGG-11作为本发明的对比实验。使用步骤S21的训练集、验证集和测试集进行训练，验证和测试，将网络模型修改为对比实验的网络模型重复上述步骤S21，S22，S23和S24得到实验结果并比较，实验结果如表1所示，并结果最好的评估值进行加粗标记。从表1可以看出，本发明的针对眼前节图像的分类任务中，MobileEye模型与其他模型在各个指标上效果都达到最好，Accuracy达到了出色的97.73％。其结果证明了本发明所提出MobileEye网络模型在手机眼前节图像分类上的有效性。

在本实施例中，为了证明MobileEye模型的性能，本申请还在裂隙灯眼前节数据集上进行了泛化验证，实验结果如表2所示，并对最好的评估值进行加粗标记。从表2可以看出，本发明的针对眼前节图像任务的MobileEye模型在裂隙灯任务上同样出色，Accuracy准确率仅仅比MobileOne的最高值低了0.16％，F1分数仅仅比ResNet-101的最高值低了0.18％，Recall仅仅比DenseNet-121的最高值低了0.42％，但是其他指标上表现最好，在轻量化方面上依旧最为出色。

表1.不同深度学习模型在手机眼前节图像数据集上的性能比较。

表2.不同深度学习模型在裂隙灯眼前节图像数据集上的性能比较。

如图3所示，在某些实施例中，所述方法还包括：

首先进入步骤S301提取所述待处理的眼前节图像的不同位置的图像特征，将符合预设图像质量要求的第一图像特征存储于第一存储单元中；

而后进入步骤S302在判定当前待处理的第一眼前节图像的图像质量不符合预设图像质量要求后，获取所述移动终端重新上传的待处理的第二眼前节图像，将所述第二眼前节图像输入训练完成的深度学习模型中，输出针对所述第二眼前节图像的图像特征分析结果；

而后进入步骤S303若所述第二眼前节图像的不符合预设图像质量要求，则根据特定位置的眼部特征判断所述第一眼前节图像和所述第二眼前节图像是否为属于同一患者相同眼睛的图像，若是则进入步骤S304判断所述第一存储单元中是否存储有所述第二眼前节图像中被判定为不符合预设图像质量要求的相应眼部位置的第一图像特征，若是则进入步骤S305获取第一图像特征与所述第二眼前节图像进行特征融合，生成第三眼前节图像。

进一步的，在步骤S305以后还可以进入以下步骤：将所述第三眼前节图像输入训练完成的深度学习模型中，输出针对所述第三眼前节图像的图像特征分析结果。

通过上述方式，在接收移动终端上传的眼前节图像后，只要存在某些符合要求、质量过关的特征部分，就会将这部分特征提取出来进行保留，例如某一眼前节图像的质量合格要求眼睑和晶状体完全露出，用户第一次上传了眼睑露出但是晶状体被部分遮挡的图片，第二次上传了晶状体完全露出但眼睑部分缺失的图像。如果采用上述方案，当发现第一次和第二次上传的图像属于同一患者的同一只眼睛时，就可以获取第一存储单元中第一次校验质量合格的眼睑特征图像与第二次图像中的晶状体图像进行特征融合，从而弥补第二次上传的图像中眼睑特征缺失的问题。这样做的好处是尽可能地复用用户上传图像中的有用特征，而非要求用户一次次重新上传图像，提升质量评估的效率。当然，为了提升安全性，还可以设定一定的时间有效期，定期对第一存储单元中的图像特征进行覆盖更新。

如图4所示，在某些实施例中，所述方法还包括：

首先进入步骤S401在每一次接收到符合预设图像质量要求的眼前节图像后，将符合预设图像质量要求的所述眼前节图像存储于云端并记录上传日期；

而后进入步骤S402获取上传日期在本次上传日期之前的若干所述眼前节图像的图像特征，将本次获取的眼前节图像的图像特征与获取的上传日期在本次之前的若干眼前节图像的图像特征进行叠加，分析相应图像特征的变化趋势，并利用AR技术以动画方式可视化呈现所述变化趋势和可能恶化的病情走向。

通过这一方式，可以让患者更加了解自身的眼前节图像存在的问题和变化趋势，意识到问题的严重性，从而有效遵照医嘱，改变生活习惯。医护人员也可以根据图像特征的变化趋势给出更加合理的诊疗建议。

在某些实施例中，所述方法还包括：在判定所述待处理的眼前节图像的图像质量符合预设图像质量要求后，将所述眼前节图像传输给诊断评估模型，以输出诊断建议结果。

如图5所示，在某些实施例中，所述方法包括：

步骤S1：通过智能手机设备摄像头拍摄的眼前节图像经过此模块上传，图像可以是实时拍摄也可以是历史拍照记录。

步骤S2：系统接收上传的手机眼前节图像，并存储在服务器或云端数据库中；使用图像处理和计算机视觉技术，运用MobileEye模型，对图像质量进行评估并将分类结果输出到下一步骤。

步骤S3：设定图像质量合格的标准，根据质量评估结果进行判定。将经过评估的图像质量与预设的筛选标准进行比较。如果图像质量符合要求，则进入后续眼科疾病智能诊断系统；否则返回用户需重新上传的提示。

步骤S10：由S1，S2和S3三个步骤共同组成手机眼前节图像质量控制系统的整体模块，完成用户上传图像和判断图像是否满足后续诊断系统的质量标准的功能。

步骤S20：眼科疾病智能诊断系统将接收符合质量要求的眼前节图像，并对眼前节图像进行眼科疾病诊断和分析，将诊断建议结果返回给用户。需要说明的是，返回的是针对眼前节图像的病况分析和相应的诊疗建议，并非直接的诊疗结果。

在第二方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如本发明第一方面所述的基于深度学习的自动眼前节图像的处理方法。

其中，所述计算机可读存储介质可以是易失性存储器或非易失性存储器，也可以包括易失性和非易失性存储器两者。

所述非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD ROM，Compact Disc Read Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。

所述易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，DynamicRandom Access Memory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic RandomAccess Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data RateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的计算机可读存储介质旨在包括这些和任意其它适合类型的存储器。

如图9所示，在第三方面，本发明提供了一种电子设备10，包括处理器620和存储介质102，所述存储介质上存储有计算机程序，所述计算机程序被所述处理器执行时实现如本发明第一方面所述的基于深度学习的自动眼前节图像的处理方法。

在一些实施例中，所述处理器可以通过软件、硬件、固件或者其组合实现，可以使用电路、单个或多个为特定用途集成电路(Application Specific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(DigitalSignal Processing Device，DSPD)、可编程逻辑装置(Programmable Logic Device，PLD)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、中央处理器(CentralProcessing Unit，CPU)、控制器、微控制器、微处理器中的至少一种，从而使得该处理器可以执行本申请的各个实施例中的所述的基于深度学习的自动眼前节图像的处理方法中的部分步骤或全部步骤或其中步骤的任意组合。

如图10所示，为本发明一实施例涉及的图像分类装置6的示意图。如图10所示，该实施例的图像分类装置6包括：存储器610和与其耦合的处理器620。处理器620被配置为基于存储在存储器610中的指令，执行前述任意一个实施例中用于图像分类的方法。

存储器610可能包括系统存储器、固定非易失性存储介质等。系统存储器存储了操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。

图像分类装置6还可能包括输入输出接口630、网络接口640、存储接口650等。输入输出接口630、网络接口640、存储接口650分别可以通过总线660与存储器610、处理器620连接。其中，输入输出接口630提供连接接口，用于显示器、鼠标、键盘、触摸屏等输入输出设备。网络接口640提供连接接口，用于各种联网设备。存储接口650提供连接接口，用于SD卡、U盘等外置存储设备。

最后需要说明的是，尽管在本申请的说明书文字及附图中已经对上述各实施例进行了描述，但并不能因此限制本申请的专利保护范围。凡是基于本申请的实质理念，利用本申请说明书文字及附图记载的内容所作的等效结构或等效流程替换或修改产生的技术方案，以及直接或间接地将以上实施例的技术方案实施于其他相关的技术领域等，均包括在本申请的专利保护范围之内。

Claims (10)

1.一种基于深度学习的自动眼前节图像的处理方法，其特征在于，所述方法包括：

接收移动终端上传的待处理的眼前节图像；

将所述眼前节图像输入训练完成的深度学习模型中，输出针对所述眼前节图像的图像特征分析结果，所述图像特征分析结果包括判断所述待处理的眼前节图像的图像质量是否符合预设图像质量要求，若不符合则发出第一提示信息至所述移动终端。

2.如权利要求1所述的深度学习的自动眼前节图像的处理方法，其特征在于，所述判断所述待处理的眼前节图像的图像质量是否符合预设图像质量要求包括以下种类中的任一项或多项：

判断所述待处理的眼前节图像是否为眼部图像；

判断所述待处理的眼前节图像是否包含预设的若干眼部结构特征；

判断所述待处理的眼前节图像的清晰度是否符合预设清晰度；

判断所述待处理的眼前节图像的曝光度是否符合在预设曝光度范围内；

判断所述待处理的眼前节图像的眼球视线是否符合预设基准角度；

判断所述待处理的眼前节图像中的预设的若干眼部结构特征是否被眼睑遮挡。

3.如权利要求2所述的深度学习的自动眼前节图像的处理方法，其特征在于，所述第一提示信息用于提示当前移动终端上传的眼前节图像不符合预设图像质量要求以及不符合预设图像质量要求的类型。

4.如权利要求1所述的深度学习的自动眼前节图像的处理方法，其特征在于，所述深度学习模型根据以下方式进行训练：

获取样本数据集，并将所述样本数据集按照预设比例随机划分为训练集、验证集和测试集，所述样本数据集包含眼部特征正常的眼前节图像和不同病变类型的眼前节图像；

构建初始的深度学习模型，将所述训练集输入所述初始的深度学习模型进行训练，输出相应的图像特征分析结果，迭代训练多次，将所述验证集输入至经过多次迭代训练后的深度学习模型中，对训练过程中的神经网络参数进行调整，得到训练完成的深度学习模型；

所述方法还包括：

将所述测试集输入至训练完成的深度学习模型，对所述训练完成的深度学习模型的性能进行评估，输出评估指标，所述评估指标包括准确率、F1分数、召回率、精确率中的任一项或多项。

5.如权利要求1或4所述的深度学习的自动眼前节图像的处理方法，其特征在于，所述深度学习模型为MobileEye网络模型，所述MobileEye网络模型包含Start Stage模块、Middle Stage模块和Last Stage模块；

所述Start Stage模块通过3×3的卷积操作来提取输入的眼前节图像的图像特征；

所述Middle Stage模块包括多个bneck块，不同所述bneck块所包含的卷积层的数量和参数各不相同，所述bneck块用于提升模型对Start Stage模块提取的图像特征的关注程度；

所述Last Stage模块用于输出所述眼前节图像的图像特征分析结果。

6.如权利要求1所述的深度学习的自动眼前节图像的处理方法，其特征在于，所述方法还包括：

提取所述待处理的眼前节图像的不同位置的图像特征，将符合预设图像质量要求的第一图像特征存储于第一存储单元中；

在判定当前待处理的第一眼前节图像的图像质量不符合预设图像质量要求后，获取所述移动终端重新上传的待处理的第二眼前节图像，将所述第二眼前节图像输入训练完成的深度学习模型中，输出针对所述第二眼前节图像的图像特征分析结果；

若所述第二眼前节图像的不符合预设图像质量要求，则根据特定位置的眼部特征判断所述第一眼前节图像和所述第二眼前节图像是否为属于同一患者相同眼睛的图像，若是则判断所述第一存储单元中是否存储有所述第二眼前节图像中被判定为不符合预设图像质量要求的相应眼部位置的第一图像特征，若是则获取第一图像特征与所述第二眼前节图像进行特征融合，生成第三眼前节图像；

将所述第三眼前节图像输入训练完成的深度学习模型中，输出针对所述第三眼前节图像的图像特征分析结果。

7.如权利要求1所述的深度学习的自动眼前节图像的处理方法，其特征在于，所述方法还包括：

在每一次接收到符合预设图像质量要求的眼前节图像后，将符合预设图像质量要求的所述眼前节图像存储于云端并记录上传日期；

获取上传日期在本次上传日期之前的若干所述眼前节图像的图像特征，将本次获取的眼前节图像的图像特征与获取的上传日期在本次之前的若干眼前节图像的图像特征进行叠加，分析相应图像特征的变化趋势，并利用AR技术以动画方式可视化呈现所述变化趋势和可能恶化的病情走向。

8.如权利要求1所述的深度学习的自动眼前节图像的处理方法，其特征在于，所述方法还包括：

在判定所述待处理的眼前节图像的图像质量符合预设图像质量要求后，将所述眼前节图像传输给诊断评估模型，以输出诊断建议结果。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至8任一项所述的基于深度学习的自动眼前节图像的处理方法。

10.一种电子设备，其上存储有计算机程序，其特征在于，包括处理器和存储介质，所述存储介质上存储有计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至8任意一项所述的基于深度学习的自动眼前节图像的处理方法。