CN115631367B - 基于神经网络模型的眼科超声图像分类方法以及装置 - Google Patents
基于神经网络模型的眼科超声图像分类方法以及装置 Download PDFInfo
- Publication number
- CN115631367B CN115631367B CN202211217804.8A CN202211217804A CN115631367B CN 115631367 B CN115631367 B CN 115631367B CN 202211217804 A CN202211217804 A CN 202211217804A CN 115631367 B CN115631367 B CN 115631367B
- Authority
- CN
- China
- Prior art keywords
- feature
- ophthalmic
- ultrasonic image
- sample
- classified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003062 neural network model Methods 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000004927 fusion Effects 0.000 claims abstract description 63
- 238000013145 classification model Methods 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000002604 ultrasonography Methods 0.000 claims description 87
- 230000006870 function Effects 0.000 claims description 50
- 238000010586 diagram Methods 0.000 claims description 42
- 238000012545 processing Methods 0.000 claims description 39
- 230000004913 activation Effects 0.000 claims description 35
- 238000000605 extraction Methods 0.000 claims description 31
- 238000010606 normalization Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 230000002779 inactivation Effects 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 201000010099 disease Diseases 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 206010038848 Retinal detachment Diseases 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 230000004264 retinal detachment Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 208000000318 vitreous detachment Diseases 0.000 description 3
- 208000034777 Vitreous degeneration Diseases 0.000 description 2
- 208000034698 Vitreous haemorrhage Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 230000009849 deactivation Effects 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008961 swelling Effects 0.000 description 2
- 201000011288 vitreous syneresis Diseases 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 241000255925 Diptera Species 0.000 description 1
- 208000037060 Hyalosis asteroid Diseases 0.000 description 1
- 208000017442 Retinal disease Diseases 0.000 description 1
- 206010047513 Vision blurred Diseases 0.000 description 1
- 235000009754 Vitis X bourquina Nutrition 0.000 description 1
- 235000012333 Vitis X labruscana Nutrition 0.000 description 1
- 240000006365 Vitis vinifera Species 0.000 description 1
- 235000014787 Vitis vinifera Nutrition 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000005786 degenerative changes Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 201000001670 scleral staphyloma Diseases 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000472 traumatic effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
Abstract
本发明涉及眼科超声图像分类技术领域，特别涉及一种基于神经网络模型的眼科超声图像分类方法，包括：获取若干个样本眼科超声图像，并对样本眼科超声图像进行类别标签标注，获取标签标注后的样本眼科超声图像集；将样本眼科超声图像集输入至预设的神经网络模型中进行训练，获得眼科超声图像分类模型，响应于分类指令，获取待分类的眼科超声图像，将待分类的眼科超声图像输入至眼科超声图像分类模型中，获得待分类的眼科超声图像的第一特征图以及第二特征图，将第一特征图以及第二特征图进行特征融合，获得待分类的眼科超声图像的融合特征图，将待分类的眼科超声图像的融合特征图输入至分类模块，获得待分类的眼科超声图像的分类结果。
Description
技术领域
本发明涉及眼科超声图像分类技术领域，特别涉及是一种基于神经网络模型的眼科超声图像分类方法、装置、设备以及存储介质。
背景技术
视网膜脱离、玻璃体积血、玻璃体后脱离是三种最常见的眼科疾病，患者可能会出现突发性且无痛的视力模糊、单眼视力丧失、视野中的闪光和飞蚊症。有研究表明，急性、自发性、非创伤性玻璃体后脱离伴玻璃体积血与视网膜脱离的发生具有相关性。后巩膜葡萄肿是病理性近视退行性改变发生的最重要因素和重要的标志性病变，常见于高龄及眼球过度轴向伸长人群。星状玻璃体变性是一种良性疾病，但眼底能见度差可能导致视网膜疾病的漏诊，是进行完全有效的眼底检查的重大障碍。因此，及时完成对这几类眼科疾病的筛选识别并采取治疗措施能够预防或延缓疾病恶化，有效减少视力损伤。
临床上常见的眼科诊断设备主要包括光学设备和超声设备两大类。相较于光学诊断方式，眼科超声检查几乎成为屈光间质混浊后唯一可以显示眼内疾病的诊疗手段，在眼后节临床辅助检查中具有无法替代的重要作用。然而，眼科超声图像处理过程中，经常需要人工提取特征，通常呈现低再现性和高差异，准确率较低，无法为医生提供高可信度的辅助诊断信息。
发明内容
基于此，本发明的目的在于，提供一种基于神经网络模型的眼科超声图像分类方法、装置、设备以及存储介质，采用深度学习方法，构建眼科超声图像分类模型，通过所述眼科超声图像分类模型，提取眼科超声图像的不同层次的特征信息，进行特征融合，根据获得的融合特征信息以及分类器，实现了对眼科超声图像的分类，提高了分类的精准性以及效率性。
第一方面，本申请实施例提供了一种基于神经网络模型的眼科超声图像分类方法，包括以下步骤：
获取样本眼科超声图像集以及相应的样本标签集，其中，所述样本眼科超声图像集包括若干个样本眼科超声图像，所述样本标签集包括若干个样本眼科超声图像对应的若干个预设类别的样本标签数据；
将所述样本眼科超声图像集输入至预设的神经网络模型中进行训练，获得眼科超声图像分类模型，其中，所述眼科超声图像分类模型包括特征提取模块以及分类模块，所述特征提取模块包括第一特征模块以及第二特征模块；
获取待分类的眼科超声图像，将所述待分类的眼科超声图像输入至所述眼科超声图像分类模型中，根据所述特征提取模块中的第一特征模块以及第二特征模块，获得所述待分类的眼科超声图像的第一特征图以及第二特征图；
将所述第一特征图以及第二特征图进行特征融合，获得所述待分类的眼科超声图像的融合特征图，将所述待分类的眼科超声图像的融合特征图输入至所述分类模块，获得所述待分类的眼科超声图像的分类结果。
第二方面，本申请实施例提供了一种基于神经网络模型的眼科超声图像分类装置，包括：
获取模块，用于获取样本眼科超声图像集以及相应的样本标签集，其中，所述样本眼科超声图像集包括若干个样本眼科超声图像，所述样本标签集包括若干个样本眼科超声图像对应的若干个预设类别的样本标签数据；
训练模块，用于将所述样本眼科超声图像集输入至预设的神经网络模型中进行训练，获得眼科超声图像分类模型，其中，所述眼科超声图像分类模型包括特征提取模块以及分类模块，所述特征提取模块包括第一特征模块以及第二特征模块；
特征提取模块，获取待分类的眼科超声图像，将所述待分类的眼科超声图像输入至所述眼科超声图像分类模型中，根据所述特征提取模块中的第一特征模块以及第二特征模块，获得所述待分类的眼科超声图像的第一特征图以及第二特征图；
分类模块，用于将所述第一特征图以及第二特征图进行特征融合，获得所述待分类的眼科超声图像的融合特征图，将所述待分类的眼科超声图像的融合特征图输入至所述分类模块，获得所述待分类的眼科超声图像的分类结果。
第三方面，本申请实施例提供了一种计算机设备，包括：处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述计算机程序被所述处理器执行时实现如第一方面所述基于神经网络模型的眼科超声图像分类方法的步骤。
第四方面，本申请实施例提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的基于神经网络模型的眼科超声图像分类方法的步骤。
在本申请实施例中，提供一种基于神经网络模型的眼科超声图像分类方法、装置、设备以及存储介质，采用深度学习方法，构建眼科超声图像分类模型，能够准确、快速地对所述待分类的眼科超声图像的进行分类。
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
图1为本申请第一实施例提供的基于神经网络模型的眼科超声图像分类方法的流程示意图；
图2为本申请第二实施例提供的基于神经网络模型的眼科超声图像分类方法的流程示意图；
图3为本申请一个实施例提供的基于神经网络模型的眼科超声图像分类方法中S2的流程示意图；
图4为本申请第一实施例提供的基于神经网络模型的眼科超声图像分类方法中S3的流程示意图；
图5为本申请第一实施例提供的基于神经网络模型的眼科超声图像分类方法中S32的流程示意图；
图6为本申请第三实施例提供的基于神经网络模型的眼科超声图像分类方法的流程示意图；
图7为本申请第四实施例提供的基于神经网络模型的眼科超声图像分类装置的结构示意图；
图8为本申请第五实施例提供的计算机设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”/“若”可以被解释成为“在……时”或“当……时”或“响应于确定”。
请参阅图1，图1为本申请第一实施例提供的基于神经网络模型的眼科超声图像分类方法的流程示意图，所述方法包括如下步骤：
S1：获取样本眼科超声图像集以及相应的样本标签集。
所述基于神经网络模型的眼科超声图像分类方法的执行主体为基于神经网络模型的眼科超声图像分类方法的分类设备(以下简称分类设备)，在一个可选的实施例中，所述分类设备可以是一台计算机设备可以是服务器，或是多台计算机设备联合而成的服务器机群。
所述样本眼科超声图像集包括若干个样本眼科超声图像，所述样本标签集包括若干个样本眼科超声图像对应的若干个预设类别的样本标签数据。
在本实施例中，分类设备可以获取用户输入的若干个样本眼科超声图像，也可以通过眼科A/B型超声诊断仪采集人眼后节结构的进行图像采集，获取若干个样本眼科超声图像，构建所述样本眼科超声图像集，并对所述若干个样本眼科超声图像进行类别标签标注，获得若干个样本眼科超声图像对应的若干个预设类别的样本标签数据，构建所述样本标签集。
具体地，所述类别包括正常、AH(asteroid hyalosis，星状玻璃体变性)、PVD(posterior vitreous detachment，玻璃体后脱离)、VH(vitreous hemorrhage，玻璃体积血)、、PSS(posterior scleral staphyloma，后巩膜葡萄肿)、以及RD(retinaldetachment，视网膜脱离)及以上异常组成的混合疾病。
在一个可选的实施例中，分类设备将所述若干个样本眼科超声图像进行脱敏处理，获得脱敏处理后的若干个样本眼科超声图像，以便于人工进行类别标签标注。
S2：将所述样本眼科超声图像集输入至预设的神经网络模型中进行训练，获得眼科超声图像分类模型。
所述眼科超声图像分类模型包括特征提取模块以及分类模块，其中，所述特征提取模块包括第一特征模块以及第二特征模块，在一个可选的实施例中，所述第一特征模块采用Inception-v3神经网络模型，Inception-v3神经网络模型为非对称卷积网络模型的一种，以迁移学习的方式实现局部特征图的提取。所述第二特征模块采用Xception神经网络模型，Xception神经网络模型为基于Inception-v3神经网络模型进行改进后的非对称卷积网络模型。
所述分类模块采用分类器，用于根据获得的特征图进行预设类别的分类识别。
在本实施例中，分类设备将所述样本眼科超声图像集输入至预设的神经网络模型中进行训练，获得眼科超声图像分类模型中进行训练，获得眼科超声图像分类模型。
请参阅图2，图2为本申请第二实施例提供的基于神经网络模型的眼科超声图像分类方法的流程示意图，包括步骤S5，所述步骤S5在步骤S2之前，具体如下：
S5：对所述样本眼科超声图像集中的若干个样本眼科超声图像进行图像增强处理，获取图像增强处理后的样本眼科超声图像集。
在本实施例中，分类设备对所述样本眼科超声图像集中的若干个样本眼科超声图像进行图像增强处理，获取图像增强处理后的样本眼科超声图像集，以图像增强的方式扩大用于训练的样本眼科超声图像集的大小，以增强训练后的模型的泛化性。在一个可选的实施例中，所述图像增强处理包括剪切、旋转、反射、翻转变换、缩放变换、平移变换、尺度变换、对比度变换、噪声扰动、颜色变换等一种或多种组合数据增强变换的方式来增加数据集的大小
所述第一特征模块以及第二特征模块均包括卷积层以及分类层；请参阅图3，图3为本申请一个实施例提供的基于神经网络模型的眼科超声图像分类方法中S2的流程示意图，包括步骤S21～S25，具体如下：
S21：将所述样本眼科超声图像集分别输入至所述第一特征模块以及第二特征模块中，获得所述第一特征模块输出的第一样本特征图集，以及所述第二特征模块输出的第二样本特征图集。
在本实施例中，分类设备将所述样本眼科超声图像集分别输入至所述第一特征模块以及第二特征模块中进行特征提取，获得所述第一特征模块输出的第一样本特征图集，以及所述第二特征模块输出的第二样本特征图集，其中，所述第一样本特征图集包括若干个样本眼科超声图像对应的第一特征图，所述第二样本特征图集包括若干个样本眼科超声图像对应的第二特征图。
S22：分别将所述第一样本特征图集、第二样本特征图集作为输入特征图集，对于每个像素位置点，分别将所述输入特征图集的若干个输入特征图按照预设类别对应的加权系数进行加权求和，获得所述输入特征图集对应的若干个预设类别的类激活图；对每个像素位置点，将所述输入特征图集的若干个输入特征图的值进行求和，获得所述输入特征图集对应的预设类别无关的热力图。
在本实施例中，分类设备分别将所述第一样本特征图集、第二样本特征图集作为输入特征图集，对于每个像素位置点，分别将所述输入特征图集的若干个输入特征图按照预设类别对应的加权系数进行加权求和，获得所述输入特征图集对应的若干个预设类别的类激活图，具体如下：
式中，CAMi(x,y)为第i个预设类别的类激活图中坐标为(x，y)对应的值，k表示第k个输入特征图，为第k个输入特征图的第i个预设类别的对应的加权系数，fk(x,y)为第k个输入特征图中坐标为(x，y)对应的值。
对每个像素位置点，将所述输入特征图集的若干个输入特征图的值进行求和，获得所述输入特征图集对应的预设类别无关的热力图，具体如下：
式中，CAAM(x,y)为预设类别无关的热力图中坐标为(x，y)对应的值。
S23：分别对所述输入特征图集对应的若干个预设类别的类激活图以及预设类别无关的热力图进行归一化处理，获得归一化处理后的输入特征图集对应的若干个预设类别的类激活图以及预设类别无关的热力图，根据所述归一化处理后的输入特征图集对应的若干个预设类别的类激活图以及预设类别无关的热力图，构建第一损失函数。
在本实施例中，分类设备分别对所述输入特征图集对应的若干个预设类别的类激活图以及预设类别无关的热力图进行归一化处理，获得归一化处理后的输入特征图集对应的若干个预设类别的类激活图以及预设类别无关的热力图，具体如下：
式中，CAAM′(x,y)为归一化处理后的所述预设类别无关的热力图中坐标为(x，y)对应的值，CAMi′(x,y)为归一化处理后的第i个预设类别的类激活图中坐标为(x，y)对应的值，min(CAAM(y))为CAAM(x,y)所在列的最小值，max(CAAM(y))为CAAM(x,y)所在列的最大值，min(CAMi(y))为CAMi(x,y)所在列的最小值，max(CAMi(y))为CAMi(x,y)所在列的最大值。
分类设备根据所述归一化处理后的输入特征图集对应的若干个预设类别的类激活图以及预设类别无关的热力图，通过计算同一个输入特征图对应的若干个预设类别的类激活图与预设类别无关的热力图之间的损失项，并利用该损失项来构建第一损失函数，其中，所述第一损失函数为：
式中，LossCAM为所述第一损失函数，H和W分别为所述输入特征图的高度参数以及宽度参数，i表示第i个预设类别，x和y分别为横坐标参数和纵坐标参数，CAAM′(x,y)为归一化处理后的所述预设类别无关的热力图中坐标为(x，y)对应的值，CAMi′(x,y)为归一化处理后的第i个预设类别的类激活图中坐标为(x，y)对应的值，l1为预设的曼哈顿距离参数。
S24：将所述输入特征图集输入至所述分类模块中，获得所述输入特征图集对应的预测概率数据集，所述预测概率数据集包括所述若干个样本眼科超声图像对应的预测概率数据，根据所述预测概率数据集以及样本标签数据集，构建第二损失函数。
在本实施例中，分类设备将所述输入特征图集输入至所述分类模块中，获得所述输入特征图集对应的预测概率数据集，根据所述预测概率数据集以及样本标签数据集，通过计算同一输入特征图对应的预测概率数据以及样本标签数据的损失项，并利用该损失项来构建第二损失函数，其中，所述第二损失函数为：
式中，LossBCE为所述第二损失函数，C为所述预设类别数目，yi为第i个预设类别的样本标签数据，pi为第i个预设类别的预测概率数据；
S25：根据所述第一损失函数以及第二损失函数，构建所述神经网络模型的总损失函数，根据所述总损失函数，对所述神经网络模型的第一特征模块以及第二特征模块进行训练，获得所述眼科超声图像分类模型。
所述总损失函数为：
Lossall＝αLossBCE+LossCAM
式中，Lossall为所述总损失函数，α为预设的可训练参数。
在本实施例中，分类设备根据所述第一损失函数以及第二损失函数，构建所述神经网络模型的总损失函数，根据所述总损失函数，对所述神经网络模型的第一特征模块以及第二特征模块进行训练，获得所述眼科超声图像分类模型。具体地，分类设备根据预设的迭代次数，基于所述总损失函数，对所述神经网络模型的第一特征模块以及第二特征模块的模块参数进行不断调整，获得所述眼科超声图像分类模型。
S3：获取待分类的眼科超声图像，将所述待分类的眼科超声图像输入至所述眼科超声图像分类模型中，根据所述特征提取模块中的第一特征模块以及第二特征模块，获得所述待分类的眼科超声图像的第一特征图以及第二特征图。
在本实施例中，分类设备获取待分类的眼科超声图像，将所述待分类的眼科超声图像输入至所述眼科超声图像分类模型中，根据所述特征提取模块中的第一特征模块以及第二特征模块，获得所述待分类的眼科超声图像的第一特征图以及第二特征图。
在一个可选的实施例中，所述分类模块包括依次相连的卷积层、全局平均池化层、全连接层以及分类层。请参阅图4，图4为本申请第一实施例提供的基于神经网络模型的眼科超声图像分类方法中S3的流程示意图，包括步骤S31～S33，具体如下：
S31：将所述待分类的眼科超声图像的融合特征图输入至所述卷积层中进行特征提取，获得所述待分类的眼科超声图像的第一融合特征图。
所述卷积层包括128个5×5的卷积核，在本实施例中，分类设备将所述待分类的眼科超声图像的融合特征图输入至所述卷积层中进行特征提取，获得所述待分类的眼科超声图像的第一融合特征图，以进一步提取所述融合特征图中的语义信息，提高分类的精准性。
S32：将所述待分类的眼科超声图像的第一融合特征图输入至所述全局平均池化层中进行平均池化处理，获得所述待分类的眼科超声图像的第二融合特征图；将所述待分类的眼科超声图像的第二融合特征图输入至所述全连接层，获得所述待分类的眼科超声图像的第三融合特征图。
在本实施例中，分类设备将所述待分类的眼科超声图像的第一融合特征图输入至所述全局平均池化层中进行平均池化处理，获得所述待分类的眼科超声图像的第二融合特征图，使所述眼科超声图像分类模型实现结构上的正则化，防止模型参数量，有效地抑制过拟合，提高所述眼科超声图像分类模型的分类性能。
将所述待分类的眼科超声图像的第二融合特征图输入至所述全连接层，获得所述待分类的眼科超声图像的第三融合特征图，以保证目标域与源域差异较大时的识别效果。
S33：将所述待分类的眼科超声图像的第三融合特征图输入至所述分类层，根据预设的预测概率数据计算算法，获得所述待分类的眼科超声图像的若干个预设类别的预测概率数据，根据所述若干个预设类别的预测概率数据，获得所述待分类的眼科超声图像的分类结果。
所述预测概率数据计算算法为：
pi＝sigmoid(z)
式中，pi为第i个预设类别的预测概率数据，sigmoid()为激活函数，z为所述第三融合特征图。
在本实施例中，分类设备将所述待分类的眼科超声图像的第三融合特征图输入至所述分类层，根据预设的预测概率数据计算算法，获得所述待分类的眼科超声图像的若干个预设类别的预测概率数据，根据所述若干个预设类别的预测概率数据，将值最高的预测概率数据对应的类别作为分类结果，获得所述待分类的眼科超声图像的分类结果。
在一个可选的实施例中，所述全连接层包括依次相连的若干个子全连接层，所述若干个子全连接层均连接有随机失活层，所述随机失活层与下一层的子连接层连接。请参阅图5，图5为本申请第一实施例提供的基于神经网络模型的眼科超声图像分类方法中S32的流程示意图，包括步骤S321～S323，具体如下：
S321：将所述待分类的眼科超声图像的第二融合特征图输入至子连接层，对所述待分类的眼科超声图像的第二融合特征图进行线性变换，获得所述待分类的眼科超声图像的第二子融合特征图。
在本实施例中，分类设备将所述待分类的眼科超声图像的第二融合特征图输入至子连接层，对所述待分类的眼科超声图像的第二融合特征图进行线性变换，获得所述待分类的眼科超声图像的第二子融合特征图。
具体地，所述若干个子全连接层均引入非线性的激活函数，可以增加所述全连接层中各个子全连接层之间的非线性关系，以提高所述眼科超声图像分类模型的非线性拟合能力，从而提高分类的精准性。
S322：将所述待分类的眼科超声图像的第二子融合特征图输入至所述子连接层连接的随机失活层中，对所述待分类的眼科超声图像的第二子融合特征图进行修正处理，获得修正处理后的所述待分类的眼科超声图像的第二子融合特征图。
在本实施例中，分类设备将所述待分类的眼科超声图像的第二子融合特征图输入至所述子连接层连接的随机失活层中，对所述待分类的眼科超声图像的第二子融合特征图进行修正处理，获得修正处理后的所述待分类的眼科超声图像的第二子融合特征图。
通过让某个神经元的激活值以一定的概率停止工作，对所述待分类的眼科超声图像的第二子融合特征图中的部分特征进行随机舍弃，以降低所述眼科超声图像分类模型对局部特征的依赖性，使所述眼科超声图像分类模型泛化性更强。
S323：获得最后一层的所述子全连接层连接的随机失活层输出的修正处理后的所述待分类的眼科超声图像的第二子融合特征图，作为所述第三融合特征图。
在本实施例中，分类设备获得最后一层的所述子全连接层连接的随机失活层输出的修正处理后的所述待分类的眼科超声图像的第二子融合特征图，作为所述第三融合特征图。
S4：将所述第一特征图以及第二特征图进行特征融合，获得所述待分类的眼科超声图像的融合特征图，将所述待分类的眼科超声图像的融合特征图输入至所述分类模块，获得所述待分类的眼科超声图像的分类结果。
在本实施例中，分析设备将所述第一特征图以及第二特征图进行特征融合，获得所述待分类的眼科超声图像的融合特征图，将所述待分类的眼科超声图像的融合特征图输入至所述分类模块，获得所述待分类的眼科超声图像的分类结果。通过所述眼科超声图像分类模型，提取眼科超声图像的不同层次的特征信息，进行特征融合，根据获得的融合特征信息以及分类器，实现了对眼科超声图像的分类，提高了分类的精准性以及效率性。
请参阅图6，图6为本申请第三实施例提供的基于神经网络模型的眼科超声图像分类方法的流程示意图，包括步骤S6，具体如下：
S6：响应于显示指令，根据所述待分类的眼科超声图像的分类结果，获取所述待分类的眼科超声图像对应的分类结果的相应的类激活图，将所述待分类的眼科超声图像以及类激活图进行重叠，作为所述待分类的眼科超声图像的病灶显示图像，在预设的显示界面上进行显示。
所述显示指令是用户发出，分析设备接收的。
在本实施例中，分类设备响应于显示指令，根据所述待分类的眼科超声图像的分类结果，获取所述待分类的眼科超声图像对应的分类结果的相应的类激活图，将所述待分类的眼科超声图像以及类激活图进行重叠，作为所述待分类的眼科超声图像的病灶显示图像，在预设的显示界面上进行显示。
请参考图7，图7为本申请第四实施例提供的基于神经网络模型的眼科超声图像分类装置的结构示意图，该装置可以通过软件、硬件或两者的结合实现基于神经网络模型的眼科超声图像分类装置的全部或一部分，该装置7包括：
获取模块71，用于获取样本眼科超声图像集以及相应的样本标签集，其中，所述样本眼科超声图像集包括若干个样本眼科超声图像，所述样本标签集包括若干个样本眼科超声图像对应的若干个预设类别的样本标签数据；
训练模块72，用于将所述样本眼科超声图像集输入至预设的神经网络模型中进行训练，获得眼科超声图像分类模型，其中，所述眼科超声图像分类模型包括特征提取模块以及分类模块，所述特征提取模块包括第一特征模块以及第二特征模块；
特征提取模块73，用于获取待分类的眼科超声图像，将所述待分类的眼科超声图像输入至所述眼科超声图像分类模型中，根据所述特征提取模块中的第一特征模块以及第二特征模块，获得所述待分类的眼科超声图像的第一特征图以及第二特征图；
分类模块74，用于将所述第一特征图以及第二特征图进行特征融合，获得所述待分类的眼科超声图像的融合特征图，将所述待分类的眼科超声图像的融合特征图输入至所述分类模块，获得所述待分类的眼科超声图像的分类结果。
在本申请实施例中，通过获取模块，获取样本眼科超声图像集以及相应的样本标签集，其中，所述样本眼科超声图像集包括若干个样本眼科超声图像，所述样本标签集包括若干个样本眼科超声图像对应的若干个预设类别的样本标签数据；通过训练模块，将所述样本眼科超声图像集输入至预设的神经网络模型中进行训练，获得眼科超声图像分类模型，其中，所述眼科超声图像分类模型包括特征提取模块以及分类模块，所述特征提取模块包括第一特征模块以及第二特征模块；通过特征提取模块，获取待分类的眼科超声图像，将所述待分类的眼科超声图像输入至所述眼科超声图像分类模型中，根据所述特征提取模块中的第一特征模块以及第二特征模块，获得所述待分类的眼科超声图像的第一特征图以及第二特征图；通过分类模块，将所述第一特征图以及第二特征图进行特征融合，获得所述待分类的眼科超声图像的融合特征图，将所述待分类的眼科超声图像的融合特征图输入至所述分类模块，获得所述待分类的眼科超声图像的分类结果。采用深度学习方法，构建眼科超声图像分类模型，通过所述眼科超声图像分类模型，提取眼科超声图像的不同层次的特征信息，进行特征融合，根据获得的融合特征信息以及分类器，实现了对眼科超声图像的分类，提高了分类的精准性以及效率性。
请参考图8，图8为本申请第五实施例提供的计算机设备的结构示意图，计算机设备8包括：处理器81、存储器82以及存储在存储器82上并可在处理器81上运行的计算机程序83；计算机设备可以存储有多条指令，指令适用于由处理器81加载并执行上述图1至图6所示实施例的方法步骤，具体执行过程可以参见图1至图6所示实施例的具体说明，在此不进行赘述。
其中，处理器81可以包括一个或多个处理核心。处理器81利用各种接口和线路连接服务器内的各个部分，通过运行或执行存储在存储器82内的指令、程序、代码集或指令集，以及调用存储器82内的数据，执行基于神经网络模型的眼科超声图像分类装置7的各种功能和处理数据，可选的，处理器81可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programble Logic Array，PLA)中的至少一个硬件形式来实现。处理器81可集成中央处理器81(Central Processing Unit，CPU)、图像处理器81(Graphics Processing Unit，GPU)和调制解调器等中的一个或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责触摸显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器81中，单独通过一块芯片进行实现。
其中，存储器82可以包括随机存储器82(Random Access Memory，RAM)，也可以包括只读存储器82(Read-Only Memory)。可选的，该存储器82包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器82可用于存储指令、程序、代码、代码集或指令集。存储器82可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控指令等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器82可选的还可以是至少一个位于远离前述处理器81的存储装置。
本申请实施例还提供了一种存储介质，所述存储介质可以存储有多条指令，所述指令适用于由处理器加载并执行上述图1至图6所示实施例的方法步骤，具体执行过程可以参见图1至图6所示实施例的具体说明，在此不进行赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束算法。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。
本发明并不局限于上述实施方式，如果对本发明的各种改动或变形不脱离本发明的精神和范围，倘若这些改动和变形属于本发明的权利要求和等同技术范围之内，则本发明也意图包含这些改动和变形。
Claims (8)
1.一种基于神经网络模型的眼科超声图像分类方法，其特征在于，包括以下步骤：
获取样本眼科超声图像集以及相应的样本标签集，其中，所述样本眼科超声图像集包括若干个样本眼科超声图像，所述样本标签集包括若干个样本眼科超声图像对应的若干个预设类别的样本标签数据；
将所述样本眼科超声图像集以及样本标签集输入至预设的神经网络模型中，所述眼科超声图像分类模型包括特征提取模块以及分类模块，所述特征提取模块包括第一特征模块以及第二特征模块；获得所述第一特征模块输出的第一样本特征图集，以及所述第二特征模块输出的第二样本特征图集，其中，所述第一样本特征图集包括若干个样本眼科超声图像对应的第一特征图，所述第二样本特征图集包括若干个样本眼科超声图像对应的第二特征图；
分别将所述第一样本特征图集、第二样本特征图集作为输入特征图集，对于每个像素位置点，分别将所述输入特征图集的若干个输入特征图按照预设类别对应的加权系数进行加权求和，获得所述输入特征图集对应的若干个预设类别的类激活图；对每个像素位置点，将所述输入特征图集的若干个输入特征图的值进行求和，获得所述输入特征图集对应的预设类别无关的热力图；
分别对所述输入特征图集对应的若干个预设类别的类激活图以及预设类别无关的热力图进行归一化处理，获得归一化处理后的输入特征图集对应的若干个预设类别的类激活图以及预设类别无关的热力图，根据所述归一化处理后的输入特征图集对应的若干个预设类别的类激活图以及预设类别无关的热力图，构建第一损失函数，其中，所述第一损失函数为：
式中，LossCAM为所述第一损失函数，H和W分别为所述输入特征图的高度参数以及宽度参数，i表示第i个预设类别，x和y分别为横坐标参数和纵坐标参数，CAAM′(x,y)为归一化处理后的所述预设类别无关的热力图中坐标为(x，y)对应的值，CAMi′(x,y)为归一化处理后的第i个预设类别的类激活图中坐标为(x，y)对应的值，l1为预设的曼哈顿距离参数；
将所述输入特征图集输入至所述分类模块中，获得所述输入特征图集对应的预测概率数据集，所述预测概率数据集包括所述若干个样本眼科超声图像对应的预测概率数据，根据所述预测概率数据集以及样本标签数据集，构建第二损失函数，其中，所述第二损失函数为：
式中，LossBCE为所述第二损失函数，C为所述预设类别数目，yi为第i个预设类别的样本标签数据，pi为第i个预设类别的预测概率数据；
根据所述第一损失函数以及第二损失函数，构建所述神经网络模型的总损失函数，根据所述总损失函数，对所述神经网络模型的第一特征模块以及第二特征模块进行训练，获得眼科超声图像分类模型，其中，所述总损失函数为：
Lossa1l＝αLossBCE+LossCAM
式中，Lossall为所述总损失函数，α为预设的可训练参数；
获取待分类的眼科超声图像，将所述待分类的眼科超声图像输入至所述眼科超声图像分类模型中，根据所述特征提取模块中的第一特征模块以及第二特征模块，获得所述待分类的眼科超声图像的第一特征图以及第二特征图；
将所述第一特征图以及第二特征图进行特征融合，获得所述待分类的眼科超声图像的融合特征图，将所述待分类的眼科超声图像的融合特征图输入至所述分类模块，获得所述待分类的眼科超声图像的分类结果。
2.根据权利要求1所述的基于神经网络模型的眼科超声图像分类方法，其特征在于：所述分类模块包括依次相连的卷积层、全局平均池化层、全连接层以及分类层；
所述将所述待分类的眼科超声图像的融合特征图输入至所述分类模块，获得所述待分类的眼科超声图像的分类结果，包括步骤：
将所述待分类的眼科超声图像的融合特征图输入至所述卷积层中进行特征提取，获得所述待分类的眼科超声图像的第一融合特征图；
将所述待分类的眼科超声图像的第一融合特征图输入至所述全局平均池化层中进行平均池化处理，获得所述待分类的眼科超声图像的第二融合特征图；将所述待分类的眼科超声图像的第二融合特征图输入至所述全连接层，获得所述待分类的眼科超声图像的第三融合特征图；
将所述待分类的眼科超声图像的第三融合特征图输入至所述分类层，根据预设的预测概率数据计算算法，获得所述待分类的眼科超声图像的若干个预设类别的预测概率数据，根据所述若干个预设类别的预测概率数据，获得所述待分类的眼科超声图像的分类结果，其中，所述预测概率数据计算算法为：
pi＝sigmoid(z)
式中，pi为第i个预设类别的预测概率数据，sigmoid()为激活函数，z为所述第三融合特征图。
3.根据权利要求2所述的基于神经网络模型的眼科超声图像分类方法，其特征在于：所述全连接层包括若干个子全连接层，所述若干个子全连接层均连接有随机失活层，所述随机失活层与下一层的子连接层连接；
所述将所述待分类的眼科超声图像的第二融合特征图输入至所述全连接层，获得所述待分类的眼科超声图像的第三融合特征图，包括步骤：
将所述待分类的眼科超声图像的第二融合特征图输入至子连接层，对所述待分类的眼科超声图像的第二融合特征图进行线性变换，获得所述待分类的眼科超声图像的第二子融合特征图；
将所述待分类的眼科超声图像的第二子融合特征图输入至所述子连接层连接的随机失活层中，对所述待分类的眼科超声图像的第二子融合特征图进行修正处理，获得修正处理后的所述待分类的眼科超声图像的第二子融合特征图；
获得最后一层的所述子全连接层连接的随机失活层输出的修正处理后的所述待分类的眼科超声图像的第二子融合特征图，作为所述第三融合特征图。
4.根据权利要求1所述的基于神经网络模型的眼科超声图像分类方法，其特征在于，还包括步骤：
响应于显示指令，根据所述待分类的眼科超声图像的分类结果，获取所述待分类的眼科超声图像对应的分类结果的相应的类激活图，将所述待分类的眼科超声图像以及类激活图进行重叠，作为所述待分类的眼科超声图像的病灶显示图像，在预设的显示界面上进行显示。
5.根据权利要求1所述的基于神经网络模型的眼科超声图像分类方法，其特征在于，所述将所述样本眼科超声图像集输入至预设的神经网络模型中进行训练之前，包括步骤：
对所述样本眼科超声图像集中的若干个样本眼科超声图像进行图像增强处理，获取图像增强处理后的样本眼科超声图像集。
6.一种基于神经网络模型的眼科超声图像分类装置，其特征在于，包括：
获取模块，用于获取样本眼科超声图像集以及相应的样本标签集，其中，所述样本眼科超声图像集包括若干个样本眼科超声图像，所述样本标签集包括若干个样本眼科超声图像对应的若干个预设类别的样本标签数据；
训练模块，用于将所述样本眼科超声图像集以及样本标签集输入至预设的神经网络模型中，所述眼科超声图像分类模型包括特征提取模块以及分类模块，所述特征提取模块包括第一特征模块以及第二特征模块；获得所述第一特征模块输出的第一样本特征图集，以及所述第二特征模块输出的第二样本特征图集，其中，所述第一样本特征图集包括若干个样本眼科超声图像对应的第一特征图，所述第二样本特征图集包括若干个样本眼科超声图像对应的第二特征图；
分别将所述第一样本特征图集、第二样本特征图集作为输入特征图集，对于每个像素位置点，分别将所述输入特征图集的若干个输入特征图按照预设类别对应的加权系数进行加权求和，获得所述输入特征图集对应的若干个预设类别的类激活图；对每个像素位置点，将所述输入特征图集的若干个输入特征图的值进行求和，获得所述输入特征图集对应的预设类别无关的热力图；
分别对所述输入特征图集对应的若干个预设类别的类激活图以及预设类别无关的热力图进行归一化处理，获得归一化处理后的输入特征图集对应的若干个预设类别的类激活图以及预设类别无关的热力图，根据所述归一化处理后的输入特征图集对应的若干个预设类别的类激活图以及预设类别无关的热力图，构建第一损失函数，其中，所述第一损失函数为：
式中，LossCAM为所述第一损失函数，H和W分别为所述输入特征图的高度参数以及宽度参数，i表示第i个预设类别，x和y分别为横坐标参数和纵坐标参数，CAAM′(x,y)为归一化处理后的所述预设类别无关的热力图中坐标为(x，y)对应的值，CAMi′(x,y)为归一化处理后的第i个预设类别的类激活图中坐标为(x，y)对应的值，l1为预设的曼哈顿距离参数；
将所述输入特征图集输入至所述分类模块中，获得所述输入特征图集对应的预测概率数据集，所述预测概率数据集包括所述若干个样本眼科超声图像对应的预测概率数据，根据所述预测概率数据集以及样本标签数据集，构建第二损失函数，其中，所述第二损失函数为：
式中，LossBCE为所述第二损失函数，C为所述预设类别数目，yi为第i个预设类别的样本标签数据，pi为第i个预设类别的预测概率数据；
根据所述第一损失函数以及第二损失函数，构建所述神经网络模型的总损失函数，根据所述总损失函数，对所述神经网络模型的第一特征模块以及第二特征模块进行训练，获得眼科超声图像分类模型，其中，所述总损失函数为：
Lossall＝αLossBCE+LossCAM
式中，Lossall为所述总损失函数，α为预设的可训练参数；
特征提取模块，获取待分类的眼科超声图像，将所述待分类的眼科超声图像输入至所述眼科超声图像分类模型中，根据所述特征提取模块中的第一特征模块以及第二特征模块，获得所述待分类的眼科超声图像的第一特征图以及第二特征图；
分类模块，用于将所述第一特征图以及第二特征图进行特征融合，获得所述待分类的眼科超声图像的融合特征图，将所述待分类的眼科超声图像的融合特征图输入至所述分类模块，获得所述待分类的眼科超声图像的分类结果。
7.一种计算机设备，其特征在于，包括：处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的基于神经网络模型的眼科超声图像分类方法的步骤。
8.一种存储介质，其特征在于：所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的基于神经网络模型的眼科超声图像分类方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211217804.8A CN115631367B (zh) | 2022-09-30 | 2022-09-30 | 基于神经网络模型的眼科超声图像分类方法以及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211217804.8A CN115631367B (zh) | 2022-09-30 | 2022-09-30 | 基于神经网络模型的眼科超声图像分类方法以及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115631367A CN115631367A (zh) | 2023-01-20 |
| CN115631367B true CN115631367B (zh) | 2024-03-05 |
Family
ID=84904272
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211217804.8A Active CN115631367B (zh) | 2022-09-30 | 2022-09-30 | 基于神经网络模型的眼科超声图像分类方法以及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115631367B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116205913A (zh) * | 2023-04-28 | 2023-06-02 | 中国医学科学院生物医学工程研究所 | 眼科超声图像的处理方法、装置、设备以及存储介质 |
| CN116363740B (zh) * | 2023-05-31 | 2023-08-01 | 武汉大学人民医院（湖北省人民医院） | 基于深度学习的眼科疾病类别智能分析方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019200535A1 (zh) * | 2018-04-17 | 2019-10-24 | 深圳华大生命科学研究院 | 基于人工智能的眼科疾病诊断建模方法、装置及系统 |
| CN111862009A (zh) * | 2020-07-02 | 2020-10-30 | 清华大学深圳国际研究生院 | 一种眼底oct图像的分类方法及计算机可读存储介质 |
| CN111986211A (zh) * | 2020-08-14 | 2020-11-24 | 武汉大学 | 一种基于深度学习的眼科超声自动筛查方法及系统 |
| WO2022188489A1 (zh) * | 2021-03-12 | 2022-09-15 | 北京邮电大学 | 多模态多病种长尾分布眼科疾病分类模型训练方法和装置 |
-
2022
- 2022-09-30 CN CN202211217804.8A patent/CN115631367B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019200535A1 (zh) * | 2018-04-17 | 2019-10-24 | 深圳华大生命科学研究院 | 基于人工智能的眼科疾病诊断建模方法、装置及系统 |
| CN111862009A (zh) * | 2020-07-02 | 2020-10-30 | 清华大学深圳国际研究生院 | 一种眼底oct图像的分类方法及计算机可读存储介质 |
| CN111986211A (zh) * | 2020-08-14 | 2020-11-24 | 武汉大学 | 一种基于深度学习的眼科超声自动筛查方法及系统 |
| WO2022188489A1 (zh) * | 2021-03-12 | 2022-09-15 | 北京邮电大学 | 多模态多病种长尾分布眼科疾病分类模型训练方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 孔小函 ; 檀韬 ; 包凌云 ; 王广志 ; .基于卷积神经网络和多信息融合的三维乳腺超声分类方法.中国生物医学工程学报.2018,(04),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115631367A (zh) | 2023-01-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115631367B (zh) | 基于神经网络模型的眼科超声图像分类方法以及装置 | |
| Gour et al. | Multi-class multi-label ophthalmological disease detection using transfer learning based convolutional neural network | |
| US12114929B2 (en) | Retinopathy recognition system | |
| US11636601B2 (en) | Processing fundus images using machine learning models | |
| Hacisoftaoglu et al. | Deep learning frameworks for diabetic retinopathy detection with smartphone-based retinal imaging systems | |
| Mayya et al. | Automated microaneurysms detection for early diagnosis of diabetic retinopathy: A Comprehensive review | |
| CN112233087A (zh) | 一种基于人工智能的眼科超声疾病诊断方法和系统 | |
| WO2020176039A1 (en) | System and method for classifying eye images | |
| US11887299B2 (en) | Image processing system and image processing method | |
| CN111862009A (zh) | 一种眼底oct图像的分类方法及计算机可读存储介质 | |
| CN108416371A (zh) | 一种糖尿病性视网膜病变自动检测方法 | |
| Wu et al. | Deep learning-based risk classification and auxiliary diagnosis of macular edema | |
| Qayyum et al. | Single-shot retinal image enhancement using untrained and pretrained neural networks priors integrated with analytical image priors | |
| CN115409764A (zh) | 一种基于域自适应的多模态眼底血管分割方法及装置 | |
| Sable et al. | Network for Cross-Disease Attention to the Severity of Diabetic Macular Edema and Joint Retinopathy | |
| Li et al. | Development of a deep learning-based image quality control system to detect and filter out ineligible slit-lamp images: a multicenter study | |
| Saini et al. | An efficient deep learning model for eye disease classification | |
| US20240032784A1 (en) | Integrated analysis of multiple spectral information for ophthalmology applications | |
| JP7525851B2 (ja) | 活動性甲状腺眼症の医学的治療のための病院訪問ガイダンスのための方法、及びこれを実行するためのシステム | |
| CN112734701A (zh) | 眼底病灶检测方法、检测装置及终端设备 | |
| Alhajim et al. | Application of optimized Deep Learning mechanism for recognition and categorization of retinal diseases | |
| US20240104731A1 (en) | System for Integrated Analysis of Multi-Spectral Imaging and Optical Coherence Tomography Imaging | |
| Beirão | Classification of Keratitis from Eye Corneal Photographs using Deep Learning: A Comparative Study on Amoeba, Bacteria, and Fungi | |
| Elangovan et al. | An improved approach for classification of glaucoma stages from color fundus images using Efficientnet-b0 convolutional neural network and recurrent neural network | |
| CN115588100B (zh) | 基于深度学习的豹纹斑自动分级方法、系统及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |