CN111754457A - 一种基于角膜共聚焦图像的菌丝筛查系统 - Google Patents

一种基于角膜共聚焦图像的菌丝筛查系统 Download PDF

Info

Publication number
CN111754457A
CN111754457A CN202010413560.5A CN202010413560A CN111754457A CN 111754457 A CN111754457 A CN 111754457A CN 202010413560 A CN202010413560 A CN 202010413560A CN 111754457 A CN111754457 A CN 111754457A
Authority
CN
China
Prior art keywords
image
hypha
detected
corneal
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010413560.5A
Other languages
English (en)
Other versions
CN111754457B (zh
Inventor
梁姗姗
袁进
钟培勋
钟菁
李新宇
张军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Sun Yat Sen University
Original Assignee
National Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Sun Yat Sen University filed Critical National Sun Yat Sen University
Priority to CN202010413560.5A priority Critical patent/CN111754457B/zh
Publication of CN111754457A publication Critical patent/CN111754457A/zh
Application granted granted Critical
Publication of CN111754457B publication Critical patent/CN111754457B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种基于角膜共聚焦图像的菌丝筛查系统，包括：图像获取模块、诊断模块和菌丝可视化模块；图像获取模块用于获取待检测角膜共聚焦图像；诊断模块用于将待检测角膜共聚焦图像输入至预设的菌丝诊断模型中，以使菌丝诊断模型，对待检测角膜共聚焦图像进行图像特征提取，并根据所提取的图像特征判断检测角膜共聚焦图像是否均在菌丝；菌丝可视化模块用于在判断待检测角膜共聚焦图像存在菌丝时，从待检测角膜共聚焦图像提取菌丝区域，生成包含菌丝区域的可视化图像。通过实施本发明实施例，能自动进行对角膜进行菌丝检测，并在有菌丝时进行可视化展示；一方面提高了检测效率，另一方面无需依赖医生经验，避免了由于经验不足造成的误诊。

Description

一种基于角膜共聚焦图像的菌丝筛查系统
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于角膜共聚焦图像的菌丝筛查系统。
背景技术
真菌性角膜炎(fungal keratitis)是一种严重的致盲性眼病，是由真菌感染角膜引起，目前已发现有70余种真菌可引起角膜感染。在我国，真菌性角膜炎的致病菌种主要以镰刀菌和曲霉菌为主，镰刀菌是首位致病菌，占28％～65％，其次为曲霉菌，占11％～49％，接下来是青霉属占3.6％～11.6％，这些都是丝状菌，它们都会产生特征性的细长分支的菌丝。所以，观察有无菌丝，就成为了我国眼科医生诊断角膜是否真菌感染的一个重要且直观的指标之一，临床上一旦发现了有菌丝，一般就可以判断为真菌性角膜感染，可以作进一步的菌种检查和治疗。
共焦显微镜检查是另一种快速、有效、无创伤的活体检查手段，能动态观察角膜组织中的菌丝和孢子，目前在真菌性角膜炎的诊断中已得到了广泛的应用。目前主要还是依靠有经验的眼科医师通过共焦显微镜初步检查，之后进行角膜刮片镜检及培养，检查周期长，检测效率较低；且由于需要依靠医生的经验，不同眼科医师的临床经验不同，诊断的准确率不同，容易由于主观经验造成误诊。
发明内容
本发明实施例提供一种基于角膜共聚焦图像的菌丝筛查系统，能自动进行对角膜进行菌丝检测，并在有菌丝时进行可视化展示；一方面提高了检测效率，另一方面无需依赖医生经验，避免了由于经验不足造成的误诊。
本发明一实施例提供一种基于角膜共聚焦图像的菌丝筛查系统，包括：
图像获取模块、诊断模块和菌丝可视化模块；
所述图像获取模块，用于获取待检测角膜共聚焦图像；
所述诊断模块，用于将所述待检测角膜共聚焦图像输入至预设的菌丝诊断模型中，以使所述菌丝诊断模型，对所述待检测角膜共聚焦图像进行图像特征提取，并根据所提取的图像特征判断所述检测角膜共聚焦图像是否存在菌丝；
所述菌丝可视化模块，用于在判断所述待检测角膜共聚焦图像存在菌丝时，从所述待检测角膜共聚焦图像提取菌丝区域，生成包含所述菌丝区域的可视化图像。
进一步的，还包括，菌丝诊断模型构建模块；所述菌丝诊断模型构建模块，用于构建所述菌丝诊断模型；其中，所述菌丝诊断模型的构建方法包括：
获取图像数据集；其中，所述图像数据集中包括若干有菌丝的角膜共聚焦图像和若干无菌丝的角膜共聚焦图像；
将所述图像数据集中的所有图像进行图像预处理，并按预设比例从所述图像数据集中，提取训练数据集；
将所述训练数据集输入至预设的卷积神经网络，以使所述卷积神经网络对所述训练数据集中的图像进行特征提取，并根据所提取的图像特征进行迭代训练，生成所述菌丝诊断模型。
进一步的，所述卷积神经网络包括主分支网络和辅助分支网络；
通过所述主分支网络提取角膜共聚焦图像的基本特征；
通过所述辅助分支网络提取角膜共聚焦图像的先验知识特征；其中，提取角膜共聚焦图像的先验知识特征，具体包括：
统计所述训练数据集中所有角膜共聚焦图像的R通道平均灰度值、G通道平均灰度值以及B通道平均灰度值；
提取选定角膜共聚焦图像的R通道值、G通道值以及B通道值，继而计算所述R通道值与所述R通道平均灰度值间的差值、所述G通道值与所述G通道平均灰度值间的差值以及所述B通道值与所述B通道平均灰度值间的差值，获得所述选定角膜共聚焦图像的先验知识特征。
进一步的，所述菌丝诊断模型的构建方法还包括：
按预设比例从所述图像数据集中，提取验证数据集和测试数据集，继而在所述卷积神经网络进行迭代训练时，通过所述验证数据集对所述神经网络的进行参数调整，通过所述测试数据集验证所述卷积神经网络的泛化性能进行验证。
进一步的，所述对所述待检测角膜共聚焦图像进行图像特征提取，具体包括：
提取所述待检测角膜共聚焦图像的基本特征和先验知识特征；其中，提取所述待检测角膜共聚焦图像的先验知识特征，具体包括：
统计训练数据集中所有角膜共聚焦图像的R通道平均灰度值、G通道平均灰度值以及B通道平均灰度值；
提取所述待检验角膜共聚焦图像的R通道值、G通道值以及B通道值，继而计算所述R通道值与所述R通道平均灰度值间的差值、所述G通道值与所述G通道平均灰度值间的差值以及所述B通道值与所述B通道平均灰度值间的差值，获得所述待检验角膜共聚焦图像的先验知识特征。
进一步的，所述从所述待检测角膜共聚焦图像提取菌丝区域，生成包含所述菌丝区域的可视化图像，具体包括：
对所述待检测角膜共聚焦图像进行相干滤波，获得第一滤波图像；
对所述第一滤波图像进行双边滤波，获得第二滤波图像；
对所述第二滤波图像进行全局阈值二值化操作，生成二值图像，并对所述二值图像进行全局阈值分割，获得初始菌丝区域二值图像；
对所述二值图像进行形态学操作，并将进行形态学操作后的二值图像与所述初始菌丝区域二值图像作差，获得细化菌丝区域二值图像；
将所述细化菌丝区域二值图像进行颜色映射，获得彩色化菌丝区域图像；将所述彩色化菌丝区域图像与所述待检测角膜共聚焦图像进行叠加，生成包含所述菌丝区域的可视化图像。
进一步的，还包括，菌丝占比计算模块和感染程度分级模块；
所述菌丝占比计算模块，用于在判断所述待检测角膜共聚焦图像存在菌丝时，计算所述菌丝区域与所述待检测角膜共聚焦图像的面积比，生成菌丝占比；
所述感染程度分级模块，用于根据所述菌丝占比确定角膜的感染程度等级。
进一步的，还包括：菌丝彩图生成模块；
所述菌丝彩图生成模块，用于将所述待检测角膜共聚焦图像与所述细化菌丝区域二值图像做逐元素与运算，获得菌丝区域图像；
将所述菌丝区域图像进行相干滤波及彩色化，获得菌丝彩图。进一步的，还包括，诊断报告生成模块；
所述诊断报告生成模块，用于生成诊断报告；所述诊断报告内包含，所述待检测角膜共聚焦图像、所述彩色化菌丝区域图像、所述视化图像、所述菌丝占比数据以及所述感染程度等级。
通过实施本发明的实施例具有如下有益效果：
本发明实施例提供了一种基于角膜共聚焦图像的菌丝筛查系统，包括了图像获取模块、诊断模块和菌丝可视化模块；通过图像获取模块，获取待检测角膜共聚焦图像后，由诊断模块将其输入到菌丝诊断模型中，从而判断出待检测角膜共聚焦图像中是否存在菌丝，如果存在由菌丝可视化模块从待检测角膜共聚焦图像提取菌丝区域，生成包含所述菌丝区域的可视化图像，进行展示。通过实施本发明的实施，医生直接获悉患者的角膜是否被真菌所感染，并可以通过可视化图像直接获悉菌丝在角膜的具体位置和形态，提高了诊断效率并降低了误诊率。
附图说明
图1是本发明一实施例提供的一种基于角膜共聚焦图像的菌丝筛查系统的系统架构图。
图2是本发明一实施例提供的菌丝诊断模型的构建流程示意图。
图3是本发明一实施例提供的菌丝可视化模块的工作流程示意图。
图4是本发明一实施例提供的菌丝诊断模型的模型测试ROC曲线线下面积示意图。
图5是本发明一实施例提供的菌丝诊断模型的模型测试PR曲线线下面积示意图。
图6是本发明一实施例提供的菌丝诊断模型的模型测试混淆矩阵示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，是本发明一种基于角膜共聚焦图像的菌丝筛查系统，包括：
图像获取模块、诊断模块和菌丝可视化模块；
所述图像获取模块，用于获取待检测角膜共聚焦图像；
所述诊断模块，用于将所述待检测角膜共聚焦图像输入至预设的菌丝诊断模型中，以使所述菌丝诊断模型，对所述待检测角膜共聚焦图像进行图像特征提取，并根据所提取的图像特征判断所述检测角膜共聚焦图像是否均在菌丝；
所述菌丝可视化模块，用于在判断所述待检测角膜共聚焦图像存在菌丝时，从所述待检测角膜共聚焦图像提取菌丝区域，生成包含所述菌丝区域的可视化图像。
以下对每个模块实现的功能进行逐一的说明：
对于图像获取模块，待检测角膜共聚焦图像是存放在计算机文件系统中的，那么可以根据待检测角膜共聚焦图像存放的文件路径，获取到该待检测角膜共聚焦图像；在一个优选的实施例中，在获取到待检测角膜共聚焦图像后，还对待检测共聚焦图像进行图像预处理，如缩放到长宽为224 x 224；
其次在对诊断模块进行说明之前，先对菌丝诊断模型进行说明：
在一个优选的实施例中，基于角膜共聚焦图像的菌丝筛查系统还包括：菌丝诊断模型构建模块；所述菌丝诊断模型构建模块，用于构建所述菌丝诊断模型；其中，所述菌丝诊断模型的构建方法包括：
获取图像数据集；其中，所述图像数据集中包括若干有菌丝的角膜共聚焦图像和若干无菌丝的角膜共聚焦图像；
将所述图像数据集中的所有图像进行图像预处理，并按预设比例从所述图像数据集中，提取训练数据集；
将所述训练数据集输入至预设的卷积神经网络，以使所述卷积神经网络对所述训练数据集中的图像进行特征提取，并根据所提取的图像特征进行迭代训练，生成所述菌丝诊断模型。
优选的，所述卷积神经网络包括主分支网络和辅助分支网络；
通过所述主分支网络提取角膜共聚焦图像的基本特征；
通过所述辅助分支网络提取角膜共聚焦图像的先验知识特征；其中，提取角膜共聚焦图像的先验知识特征，具体包括：
统计所述训练数据集中所有角膜共聚焦图像的R通道平均灰度值、G通道平均灰度值以及B通道平均灰度值；
提取选定角膜共聚焦图像的R通道值、G通道值以及B通道值，继而计算所述R通道值与所述R通道平均灰度值间的差值、所述G通道值与所述G通道平均灰度值间的差值以及所述B通道值与所述B通道平均灰度值间的差值，获得所述选定角膜共聚焦图像的先验知识特征。
优选的，所述菌丝诊断模型的构建方法还包括：按预设比例从所述图像数据集中，提取验证数据集和测试数据集，继而在所述卷积神经网络进行迭代训练时，通过所述验证数据集对所述神经网络的进行参数调整，通过所述测试数据集验证所述卷积神经网络的泛化性能进行验证。
以下例举一个示意性的例子，对菌丝诊断诊断模型构建模块，在进行模型构建时的具体方法进行进一步的说明：
如图2所示：
步骤A、获取并导入图像数据集；根据文件路径名找到计算机内部图像数据集的存储地址，并加载入系统进行CNN网络模型训练。本系统所使用的图像数据集共有7278张角膜共聚焦图像，其中无菌丝有3416张，有菌丝是3862张；
步骤B、图像预处理：对输入的角膜共聚焦图像做图像预处理操作，进行缩放到长宽为224 x 224；
步骤C、划分数据集：对图像预处理后的数据集按照6：2:2的比例划分成训练数据集、验证数据集和测试数据集，准备开始训练CNN网络模型。
步骤D、初始化网络参数：对于本系统的卷积神经网络模型，我们把网络的初始学习率设为1e-4,训练周期为100，并让学习率随训练周期线性下降，训练批量大小为8，并使用交叉验证。
步骤E、迭代训练CNN诊断模型：批量加载角膜共聚焦图像，训练CNN网络模型，前向传递提取图像特征，后向传播，更新权重参数，在训练周期内迭代并执行步骤F,根据损失函数公式计算每个周期的损失,最小化损失函数(代价函数),同时计算每次迭代的模型评估指标。
需要说明的是，在本申请所公开的CNN网络模型不需要过多的图像预处理，只需要简单的对原图像进行缩放，之后就可以送入网络进行筛查，该网络模型是一个并行的网络结构，有两个分支，主分支网络用于对缩放后的图像进行自动的特征提取，辅助分支网络是用于提取菌丝区域先验知识特征，在两个分支提取完特征后，在分类器之前的全连接层把提取到的两个特征向量拼接起来，之后送入softmax分类器分类。两个分支的骨干网络可以选取现有经典的CNN结构，如VGG16、Resnet50及其变种网络，主辅分支基本网络可以是相同的网络结构，也可以选取不同的网络，一般情况下主分支网络需要稍微更强大一点的网络结构，如Resnet50及其变种网络。这里，模型选择了Googlenet作为主分支骨干网络，辅分支骨干网络选择了VGG16。菌丝区域先验知识(即本发明上述的先验知识特征)的提取是根据菌丝在共焦图像的亮度会比背景高且一般都是白色或米白色这一特点，通过统计整个训练数据集的所有图像的R、G、B三个通道的平均灰度值，这是代表了整个图像的低频信息，也就背景信息，把每张图像的对应的3个颜色通道减去这3个颜色通道平均值(低频信息)，就能获得该图像中的高频信息，也就是可能的菌丝区域，通过上述方法提取图像的先验知识特征，并嵌入到辅助分支网络前面，做的端到端的诊断模型。通过上述方式设计的卷积神经网络结构，在充分学习到训练集有效特征的同时，增强了自身的鲁棒性，提高了在测试集上的菌丝自动诊断和分类精确度和敏感度、特异性。
步骤F、模型评估：在有效的周期内迭代训练CNN网络模型，并计算每个周期的损失和评估指标，若达到要求精度或超出有效周期则完成模型训练，保存训练好的模型权重，否则，执行步骤G，调整学习率等参数，继续训练。
在训练网络模型的时候需要最小化损失函数(代价函数)，这里因为内部数据集各类别图像数量不均衡，有类不均衡情况，所以我们选用了加权二值交叉熵损失(weightedBinary Crossentropy)来不断优化模型。
加权二值交叉熵损失函数(weighted Binary Crossentropy)如下：
Figure BDA0002494205410000091
Figure BDA0002494205410000092
其中，frequencyt是第t类(t等于0或1)在数据中出现的频率。
诊断模型模型的好坏，需要有特定的模型评估指标来衡量，因为自动筛查实质上是分类识别任务，所以在本发明中使用多个分类任务上较经典的模型评估指标：准确率(Accuracy)、精确率/精度(Precision)、假阳率(FPR)、特异性(Specificity)、召回率/敏感度(Recall/Sensitive)、F1得分(F1-Scores)以及接收者操作特征曲线(receiveroperating characteristic curve，或者叫ROC曲线)的线下面积AUC值(area undercurve)和PR曲线(Precision–Recall)的线下面积AUC值来多角度衡量设计的菌丝诊断模型的性能。
为更好的说明上述模型的评估指标，以下以二分类为例引入下述的四格表：
Figure BDA0002494205410000093
TP:(真正、True Positive)被模型预测为正的正样本，可以称作判断为真的正确率；
TN:(真负,True Negative)被模型预测为负的负样本,可以称作判断为假的正确率；
FP:(假正,False Positive)被模型预测为正的负样本,可以称作误报率；
FN:(假负,False Negative)被模型预测为负的正样本,可以称作漏报率；
则准确率(Accuracy)的计算公式为：
Figure BDA0002494205410000101
精确率(Precision)的计算公式为：
Figure BDA0002494205410000102
也叫查准率，表示被分为正例的示例中实际为正例的比例。
假阳率(FRP)的计算公式为：
Figure BDA0002494205410000103
表示负例被分为正例占实际负例的比例，也叫误报率，越小越好。
召回率/敏感度(Recall/Sensitive)的计算公式为：
Figure BDA0002494205410000104
也叫查全率，表示实际的正样本中被预测分为正样本的比例。
真阴率/特异性(TNR/Specificity)的计算公式为：
Figure BDA0002494205410000105
表示被分为负例的示例中实际为负例的比例。
F1-Scores(综合考虑了精确率和召回率)的计算公式为：
Figure BDA0002494205410000106
以上这些评估指标中准确率、精确率、敏感度、特异性、F1得分都是值越大代表网络模型的性能越好，而假阳率是值越小代表网络模型的性能越好。
本发明实施例提供的菌丝诊断模型的各评估指标的示意图，如图4-6所示；
经过验证本发明所提供的菌丝诊断模型有无菌丝诊断准确率为0.9773，精确率为0.9868，假阳率最小为0.0146，敏感度为0.9702，诊断特异性为0.9854，F1得分为0.9784，ROC曲线线下面积为0.993，PR曲线下面积为0.994，
步骤G、调整网络参数：调整初始学习率(Initial Learning Rate),训练周期epoch)，训练批量大小(Batchsize)等网络参数，并重复执行步骤F,直至达到要求的精度。
对于诊断模块，将待检测角膜共聚焦图像输入到由菌丝诊断模型构建模块构建好的菌丝诊断模型中，由菌丝诊断模型对待检测角膜共聚焦图像进行图像特征提取，并判断是否均在菌丝。与构建菌丝诊断模型相同，在对待检检测角膜共聚焦图像进行特征提取时，也提取两个方面的特征，一个是图像的基本特征，一个是图像的先验知识特征，具体的提取所述待检测角膜共聚焦图像的先验知识特征，具体包括：
统计训练数据集中所有角膜共聚焦图像的R通道平均灰度值、G通道平均灰度值以及B通道平均灰度值；
提取所述待检验角膜共聚焦图像的R通道值、G通道值以及B通道值，继而计算所述R通道值与所述R通道平均灰度值间的差值、所述G通道值与所述G通道平均灰度值间的差值以及所述B通道值与所述B通道平均灰度值间的差值，获得所述待检验角膜共聚焦图像的先验知识特征。
对于菌丝可视化模块，在确定待检测角膜共聚焦图像内具有菌丝时，对菌丝区域进行可视化操作，以便医生对直观的获悉菌丝的具体位置和形状。
如图3所示：在一个优选的实施例中，所述从所述待检测角膜共聚焦图像提取菌丝区域，生成包含所述菌丝区域的可视化图像，具体包括：
步骤S1、对所述待检测角膜共聚焦图像进行相干滤波，获得第一滤波图像；
步骤S2、对所述第一滤波图像进行双边滤波，获得第二滤波图像；
步骤S3、对所述第二滤波图像进行全局阈值二值化操作，生成二值图像，并对所述二值图像进行全局阈值分割，获得初始菌丝区域二值图像；
步骤S4、对所述二值图像进行形态学操作，并将进行形态学操作后的二值图像与所述初始菌丝区域二值图像作差，获得细化菌丝区域图像；；
步骤S5、将所述细化菌丝区域二值图像进行颜色映射，获得彩色化菌丝区域图像；
步骤S6、将所述彩色化菌丝区域图像与所述待检测角膜共聚焦图像进行叠加，生成包含所述菌丝区域的可视化图像。
具体的，首先对待检测角膜共聚焦图像进行相干滤波操作(各异向性滤波)，强化菌丝边缘，模糊非菌丝区域，接着进行双边滤波操作，进一步在模糊非目标区域(非菌丝区域)的同时，保留菌丝的边缘信息，然后进行全局阈值二值化操作生成二值图像，再对二值图像然后进行全局阈值分割，初步得到菌丝区域的二值图像(即初始菌丝区域二值图像)紧接着对二值图像进行腐蚀与膨胀的形态学开运算操作，然后与前面阈值分割得到的初始菌丝区域二值图像做差(异或)运算得到细化后的菌丝区域二值图像，即上述细化菌丝区域二值图像；
之后将细化菌丝区域二值图像进行颜色映射，获得彩色化菌丝区域图像；
最后，将彩色化菌丝区域图像和原待检测角膜共聚焦图像做叠加，生成最终的成包含所述菌丝区域的可视化图像。
在一个优选的实施例中，基于角膜共聚焦图像的菌丝筛查系统还包括，菌丝占比计算模块和感染程度分级模块；
所述菌丝占比计算模块，用于在判断所述待检测角膜共聚焦图像存在菌丝时，计算所述菌丝区域与所述待检测角膜共聚焦图像的面积比，生成菌丝占比；
所述感染程度分级模块，用于根据所述菌丝占比确定角膜的感染程度等级。
需要说明的是，可以提前设定每个感染程度等级对应的菌丝占比阈值范围，从而实现根据所述菌丝占比确定角膜的感染程度等级。
在一个优选的实施例中，还包括菌丝彩图生成模块；所述菌丝彩图生成模块，用于将所述待检测角膜共聚焦图像与所述细化菌丝区域二值图像做逐元素与运算，获得菌丝区域图像；
将所述菌丝区域图像进行相干滤波及彩色化，获得菌丝彩图。
需要说明的是此处的菌丝彩图与上述彩色化菌丝区域图像有区别，彩色化菌区域图像是基于菌丝区域二值图像生成的；而菌丝彩图是基于待检测角膜共聚焦图像(即原图)对其中的菌丝区域进行彩色化生成的，彩色化菌丝区域图像能够使得用户更直观的了解到菌丝形态和位置但是不能够表示菌丝的强度；而菌丝彩图处理能够展示菌丝形态和位置之外，还能够体现出菌丝区域中不同子区域的菌丝的感染程度，感染程度不同颜色的灰度值不同(感染程度越高，对应的颜色就越深，可类比人口热力图)
在一个优选的实施例中，基于角膜共聚焦图像的菌丝筛查系统还包括，诊断报告生成模块；所述诊断报告生成模块，用于生成诊断报告；所述诊断报告内包含，所述待检测角膜共聚焦图像、所述彩色化菌丝区域图像、所述菌丝彩图和所述视化图像、所述菌丝占比数据以及所述感染程度等级。
医生通过诊断报告，直接能够获悉诊断的具体结果，方便快捷。
在一个优选的实施例中，基于角膜共聚焦图像的菌丝筛查系统还包括，系统模式选择模块；系统模式选择模块，用于在响应用户选择初始化模式时，控制菌丝诊断模型构建模块工作实现菌丝诊断模型的构建，实现初始化；在响应用户选择自动诊断模式时控制图像获取模块、诊断模块和菌丝可视化模块工作，实现角膜共聚焦图像的菌丝筛查和可视化。
通过实施本发明上述实施例，一方面在构建菌丝诊断模型时采用并行网络结构，主分支用于提取图像的基本特征，辅助分支是用于提取图像的菌丝区域先验知识特征，然后在分类器之前把提取到的两个特征向量拼接起来，送入分类器，提高了模型的精确度；另一方面能够实现自动化的菌丝筛查和可是化，医生可直接获悉患者的角膜是否被真菌所感染，以及菌丝在角膜的具体位置即形态，提高了诊断效率并降低了误诊率。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (9)

1.一种基于角膜共聚焦图像的菌丝筛查系统，其特征在于，包括：图像获取模块、诊断模块和菌丝可视化模块；
所述图像获取模块，用于获取待检测角膜共聚焦图像；
所述诊断模块，用于将所述待检测角膜共聚焦图像输入至预设的菌丝诊断模型中，以使所述菌丝诊断模型，对所述待检测角膜共聚焦图像进行图像特征提取，并根据所提取的图像特征判断所述检测角膜共聚焦图像是否存在菌丝；
所述菌丝可视化模块，用于在判断所述待检测角膜共聚焦图像存在菌丝时，从所述待检测角膜共聚焦图像提取菌丝区域，生成包含所述菌丝区域的可视化图像。
2.如权利要求1所述的基于角膜共聚焦图像的菌丝筛查系统，其特征在于，还包括，菌丝诊断模型构建模块；所述菌丝诊断模型构建模块，用于构建所述菌丝诊断模型；其中，所述菌丝诊断模型的构建方法包括：
获取图像数据集；其中，所述图像数据集中包括若干有菌丝的角膜共聚焦图像和若干无菌丝的角膜共聚焦图像；
将所述图像数据集中的所有图像进行图像预处理，并按预设比例从所述图像数据集中，提取训练数据集；
将所述训练数据集输入至预设的卷积神经网络，以使所述卷积神经网络对所述训练数据集中的图像进行特征提取，并根据所提取的图像特征进行迭代训练，生成所述菌丝诊断模型。
3.如权利要求2所述的基于角膜共聚焦图像的菌丝筛查系统，其特征在于，所述卷积神经网络包括主分支网络和辅助分支网络；
通过所述主分支网络提取角膜共聚焦图像的基本特征；其中，所述基本特征包括所述角膜共聚焦图像的颜色、纹理及亮度；
通过所述辅助分支网络提取角膜共聚焦图像的先验知识特征；其中，提取角膜共聚焦图像的先验知识特征，具体包括：
统计所述训练数据集中所有角膜共聚焦图像的R通道平均灰度值、G通道平均灰度值以及B通道平均灰度值；
提取选定角膜共聚焦图像的R通道值、G通道值以及B通道值，继而计算所述R通道值与所述R通道平均灰度值间的差值、所述G通道值与所述G通道平均灰度值间的差值以及所述B通道值与所述B通道平均灰度值间的差值，获得所述选定角膜共聚焦图像的先验知识特征。
4.如权利要求3所述的基于角膜共聚焦图像的菌丝筛查系统，其特征在于，所述菌丝诊断模型的构建方法还包括：
按预设比例从所述图像数据集中，提取验证数据集和测试数据集，继而在所述卷积神经网络进行迭代训练时，通过所述验证数据集对所述神经网络的进行参数调整，通过所述测试数据集验证所述卷积神经网络的泛化性能进行验证。
5.如权利要求1所述的基于角膜共聚焦图像的菌丝筛查系统，其特征在于，所述对所述待检测角膜共聚焦图像进行图像特征提取，具体包括：
提取所述待检测角膜共聚焦图像的基本特征和先验知识特征；其中，提取所述待检测角膜共聚焦图像的先验知识特征，具体包括：
统计训练数据集中所有角膜共聚焦图像的R通道平均灰度值、G通道平均灰度值以及B通道平均灰度值；
提取所述待检验角膜共聚焦图像的R通道值、G通道值以及B通道值，继而计算所述R通道值与所述R通道平均灰度值间的差值、所述G通道值与所述G通道平均灰度值间的差值以及所述B通道值与所述B通道平均灰度值间的差值，获得所述待检验角膜共聚焦图像的先验知识特征。
6.如权利要求1所述的基于角膜共聚焦图像的菌丝筛查系统，其特征在于，所述从所述待检测角膜共聚焦图像提取菌丝区域，生成包含所述菌丝区域的可视化图像，具体包括：
对所述待检测角膜共聚焦图像进行相干滤波，获得第一滤波图像；
对所述第一滤波图像进行双边滤波，获得第二滤波图像；
对所述第二滤波图像进行全局阈值二值化操作，生成二值图像，并对所述二值图像进行全局阈值分割，获得初始菌丝区域二值图像；
对所述二值图像进行形态学操作，并将进行形态学操作后的二值图像与所述初始菌丝区域二值图像作差，获得细化菌丝区域二值图像；
将所述细化菌丝区域二值图像进行颜色映射，获得彩色化菌丝区域图像；
将所述彩色化菌丝区域图像与所述待检测角膜共聚焦图像进行叠加，生成包含所述菌丝区域的可视化图像。
7.如权利要求6所述的基于角膜共聚焦图像的菌丝筛查系统，其特征在于，还包括，菌丝占比计算模块和感染程度分级模块；
所述菌丝占比计算模块，用于在判断所述待检测角膜共聚焦图像存在菌丝时，计算所述菌丝区域与所述待检测角膜共聚焦图像的面积比，生成菌丝占比；
所述感染程度分级模块，用于根据所述菌丝占比确定角膜的感染程度等级。
8.如权利要求7所述的基于角膜共聚焦图像的菌丝筛查系统，其特征在于，还包括：菌丝彩图生成模块；
所述菌丝彩图生成模块，用于将所述待检测角膜共聚焦图像与所述细化菌丝区域二值图像做逐元素与运算，获得菌丝区域图像；
将所述菌丝区域图像进行相干滤波及彩色化，获得菌丝彩图。
9.如权利要求8所述的基于角膜共聚焦图像的菌丝筛查系统，其特征在于，还包括，诊断报告生成模块；
所述诊断报告生成模块，用于生成诊断报告；所述诊断报告内包含，所述待检测角膜共聚焦图像、所述彩色化菌丝区域图像、所述菌丝彩图、所述可视化图像、所述菌丝占比数据以及所述感染程度等级。
CN202010413560.5A 2020-05-15 2020-05-15 一种基于角膜共聚焦图像的菌丝筛查系统 Active CN111754457B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010413560.5A CN111754457B (zh) 2020-05-15 2020-05-15 一种基于角膜共聚焦图像的菌丝筛查系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010413560.5A CN111754457B (zh) 2020-05-15 2020-05-15 一种基于角膜共聚焦图像的菌丝筛查系统

Publications (2)

Publication Number Publication Date
CN111754457A true CN111754457A (zh) 2020-10-09
CN111754457B CN111754457B (zh) 2023-08-18

Family

ID=72673837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010413560.5A Active CN111754457B (zh) 2020-05-15 2020-05-15 一种基于角膜共聚焦图像的菌丝筛查系统

Country Status (1)

Country Link
CN (1) CN111754457B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381768A (zh) * 2020-10-28 2021-02-19 中山大学中山眼科中心 一种基于角膜共聚焦图像的菌丝筛查系统以及菌丝筛查方法
CN112633370A (zh) * 2020-12-22 2021-04-09 中国医学科学院北京协和医院 一种针对丝状真菌形态的检测方法、装置、设备及介质
CN113591601A (zh) * 2021-07-08 2021-11-02 北京大学第三医院（北京大学第三临床医学院） 角膜共聚焦图像中菌丝识别方法及装置
CN114445408A (zh) * 2022-04-11 2022-05-06 山东仕达思生物产业有限公司 一种基于改进的循环导向滤波算法的提升病原体检测方法、设备及存储介质
CN114581909A (zh) * 2022-02-28 2022-06-03 广西壮族自治区人民医院 联合深度学习和角膜活体共聚焦显微镜检查的感染性角膜病活体病原菌属检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080212026A1 (en) * 2006-09-06 2008-09-04 Eye Marker Systems, Inc. Noninvasive ocular monitor and method for measuring and analyzing physiological data
CN104956226A (zh) * 2013-01-25 2015-09-30 艾克斯赛尔生物科学公司 用于选择性富集靶细胞的方法、组合物、试剂盒及系统
CN110310282A (zh) * 2019-07-31 2019-10-08 广西壮族自治区人民医院 一种利用活体共聚焦显微镜图像智能分析角膜神经纤维的系统
CN110796661A (zh) * 2018-08-01 2020-02-14 华中科技大学 基于卷积神经网络的真菌显微图像分割检测方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080212026A1 (en) * 2006-09-06 2008-09-04 Eye Marker Systems, Inc. Noninvasive ocular monitor and method for measuring and analyzing physiological data
CN104956226A (zh) * 2013-01-25 2015-09-30 艾克斯赛尔生物科学公司 用于选择性富集靶细胞的方法、组合物、试剂盒及系统
CN110796661A (zh) * 2018-08-01 2020-02-14 华中科技大学 基于卷积神经网络的真菌显微图像分割检测方法及系统
CN110310282A (zh) * 2019-07-31 2019-10-08 广西壮族自治区人民医院 一种利用活体共聚焦显微镜图像智能分析角膜神经纤维的系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LIJIE DENG 等: "Automatic segmentation of corneal ulcer area based on ocular staining images", 《SPIE》, pages 1 - 8 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381768A (zh) * 2020-10-28 2021-02-19 中山大学中山眼科中心 一种基于角膜共聚焦图像的菌丝筛查系统以及菌丝筛查方法
CN112633370A (zh) * 2020-12-22 2021-04-09 中国医学科学院北京协和医院 一种针对丝状真菌形态的检测方法、装置、设备及介质
CN113591601A (zh) * 2021-07-08 2021-11-02 北京大学第三医院（北京大学第三临床医学院） 角膜共聚焦图像中菌丝识别方法及装置
CN113591601B (zh) * 2021-07-08 2024-02-02 北京大学第三医院（北京大学第三临床医学院） 角膜共聚焦图像中菌丝识别方法及装置
CN114581909A (zh) * 2022-02-28 2022-06-03 广西壮族自治区人民医院 联合深度学习和角膜活体共聚焦显微镜检查的感染性角膜病活体病原菌属检测方法
CN114445408A (zh) * 2022-04-11 2022-05-06 山东仕达思生物产业有限公司 一种基于改进的循环导向滤波算法的提升病原体检测方法、设备及存储介质

Also Published As

Publication number Publication date
CN111754457B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN111754457A (zh) 一种基于角膜共聚焦图像的菌丝筛查系统
Li et al. A large-scale database and a CNN model for attention-based glaucoma detection
Akram et al. Multilayered thresholding-based blood vessel segmentation for screening of diabetic retinopathy
Dey et al. FCM based blood vessel segmentation method for retinal images
CN110555845A (zh) 眼底oct图像识别方法及设备
US20060257031A1 (en) Automatic detection of red lesions in digital color fundus photographs
US20050225724A1 (en) Corneal topography analysis system
KR102313143B1 (ko) 딥러닝에 기반한 당뇨망막병증 검출 및 증증도 분류장치 및 그 방법
Li et al. Vessel recognition of retinal fundus images based on fully convolutional network
Arjmand et al. Deep learning in liver biopsies using convolutional neural networks
Agrawal et al. A survey on automated microaneurysm detection in diabetic retinopathy retinal images
Mohan et al. Exudate localization in retinal fundus images using modified speeded up robust features algorithm
Yugha et al. An automated glaucoma detection from fundus images based on deep learning network
Du et al. Retinal microaneurysm detection based on transformation splicing and multi-context ensemble learning
CN115731203A (zh) 白内障图像识别方法、装置、计算机设备和可读存储介质
Jaafar et al. Decision support system for the detection and grading of hard exudates from color fundus photographs
CN113158821B (zh) 基于多模态的眼部检测数据的处理方法、装置及终端设备
CN112634221A (zh) 基于图像和深度的角膜层次识别及病变定位方法和系统
Li et al. Class-aware attention network for infectious keratitis diagnosis using corneal photographs
Ali et al. Optic Disc Localization in Retinal Fundus Images Based on You Only Look Once Network (YOLO).
Desiani et al. A robust techniques of enhancement and segmentation blood vessels in retinal image using deep learning
Purwanithami et al. Hemorrhage diabetic retinopathy detection based on fundus image using neural network and FCM segmentation
Priya et al. A new eyenet model for diagnosis of diabetic retinopathy
Ayub et al. Differentiation of blood vessels in retina into arteries and veins using neural network
Anggraeni et al. Detection of the emergence of exudate on the image of retina using extreme learning machine method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant