CN111653365B - 一种鼻咽癌辅助诊断模型构建和辅助诊断方法及系统 - Google Patents

一种鼻咽癌辅助诊断模型构建和辅助诊断方法及系统 Download PDF

Info

Publication number
CN111653365B
CN111653365B CN202010715688.7A CN202010715688A CN111653365B CN 111653365 B CN111653365 B CN 111653365B CN 202010715688 A CN202010715688 A CN 202010715688A CN 111653365 B CN111653365 B CN 111653365B
Authority
CN
China
Prior art keywords
image
module
nasopharyngeal carcinoma
characteristic
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010715688.7A
Other languages
English (en)
Other versions
CN111653365A (zh
Inventor
文译辉
龙宇栋
项毅帆
文卫平
雷文斌
林浩添
肖钧
郭翀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
First Affiliated Hospital of Sun Yat Sen University
Zhongshan Ophthalmic Center
Original Assignee
First Affiliated Hospital of Sun Yat Sen University
Zhongshan Ophthalmic Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by First Affiliated Hospital of Sun Yat Sen University, Zhongshan Ophthalmic Center filed Critical First Affiliated Hospital of Sun Yat Sen University
Priority to CN202010715688.7A priority Critical patent/CN111653365B/zh
Publication of CN111653365A publication Critical patent/CN111653365A/zh
Application granted granted Critical
Publication of CN111653365B publication Critical patent/CN111653365B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Epidemiology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Primary Health Care (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种鼻咽癌辅助诊断模型构建和辅助诊断方法及系统，涉及医疗数据处理技术领域。其中鼻咽癌辅助诊断模型构建方法，包括：样本获取：获取鼻内镜图像，所述鼻内镜图像包含鼻咽癌组和非鼻咽癌组；预处理：对所述鼻内镜图像进行预处理；模型训练：将预处理后的鼻内镜图像输入卷积神经网络中，对所述卷积神经网络进行训练，获得鼻咽癌辅助诊断模型。本发明能对鼻内镜图像进行分析并实时输出预测患病概率以辅助医师进行鼻咽癌诊断，可有效提高鼻咽癌诊断的准确率，提高活检的检出率，从而实现鼻咽癌早筛早诊早治，改善患者的治疗效果和预后的目的。

Description

一种鼻咽癌辅助诊断模型构建和辅助诊断方法及系统
技术领域
本发明涉及医疗数据处理技术领域，具体涉及一种鼻咽癌辅助诊断模型构建和辅助诊断方法及系统。
背景技术
鼻咽癌是中国南方地区，尤其是广东省最常见的头颈部恶性肿瘤之一，在我国每年的发病率约为25-50/10万。鼻内镜检查与组织活检是发现和诊断早期头鼻咽癌的关键手段，早期鼻咽癌患者经联合放化疗后可取得较好疗效。I、II期患者的5年生存期可达86-93％，而III、IV期患者的5年生存率降低至63-80％。因此，早发现、早诊断、早治疗对鼻咽癌患者的诊治尤为重要。
使用鼻内镜拍摄患者的鼻内镜图像进行病变活检，是筛查和诊断鼻咽癌患者的重要方式。目前，对可疑病灶的定性和取材选择主要依赖于内镜医师依靠其临床和工作经验，对鼻内镜图像进行分析，其准确性和敏感性受到内镜医师专业技术水平的影响。如，典型的粘膜下鼻咽癌或侧方咽隐窝内的鼻咽癌难以与周围正常粘膜相鉴别，在肉眼下容易被内镜医师漏诊。又如，腺样体肥大等鼻咽腔内的共患病易造成重复活检，降低鼻咽癌的活检检出率，造成诊疗费用增加以及治疗的延迟。研究表明，经验丰富的专家医生经鼻内镜图像诊断鼻咽癌，其准确率和特异度可达80.5％及70.8％，但经验稍欠的住院医师仅达72.8％及55.5％。即现有技术中，仅依靠医生的临床和工作经验分析鼻内镜图像诊断鼻咽癌，其诊断的准确率和特异度远远不能满足鼻咽癌患者早筛早诊早治的需求，导致部分患者无法得到及时有效的治疗，严重影响了患者的治疗效果和预后。
近年来，随着数据处理技术的发展，运用人工智能进行图像识别、图像分析的技术快速发展，为实现人工智能分析鼻内镜图像辅助诊断的构想提供了可能。因而，结合人工智能技术，提出一种能对鼻内镜图像进行分析以辅助医师诊断鼻咽癌的方案，是可行且很有必要的。
名词解释
卷积神经网络(Convolutional Neural Networks,CNN)：卷积神经网络是深度学习中的一类经典网络。卷积核是其核心，经典的CNN的卷积核由较小的二维方阵构成，通过不同的步长和不同的边界处理方式对二维数据进行处理，再使用池化操作进行压缩数据。
ResNet：残差网络。随着神经网络的加深，出现了在训练集上准确率下降的情况，我们可以确定不是由于过拟合造成的。为了解决这个问题提出了ResNet。其主要特点在于shortcut连接，网络上表现为输入直接连接到输出的形式。
VGGNet：VGGNet是卷积神经网络(CNN)的一种，主要特点是对于CNN卷积核的重复使用。根据不同的重复单元的结构可以构造不同的VGGNet网络，同时VGGNet在迁移学习中表现良好，多用于提取特征。缺点在于参数量巨大。
GoogLeNet：GoogLeNet提出最直接提升深度神经网络的方法就是增加深度和宽度，但是网络的加深和拓宽会导致过拟合风险的升高以及计算资源的增加，为此GoogLeNet提出Inception结构，使用稀疏表示代替全连接的思想来缓解这两个问题。
Inception：Inception模块直观上可以理解为对输入图像并行地执行多个卷积运算或池化操作，并将所有输出结果拼接为一个囊括多尺度特征的特征图。Inception-V4是其第四个版本。
Inception-Resnet-V2：Inception-Resnet-V2是Inception-V4和ResNet相结合的产物。不同的卷积运算与池化操作可以获得输入图像的不同信息，并行处理这些运算并结合所有结果将获得更好的图像表征。同时shortcut结构能够一定程度上缓解在深层网络中梯度消失带来的影响。
stem模块：stem模块特指Inception-Resnet-V2中的stem结构，其通过对输入数据进行多层卷积以及多支路的池化和卷积操作提取不同尺寸上的卷积特征。
Inception-Resnet-A模块：Inception-Resnet-A模块特指Inception-Resnet-V2中的Inception-Resnet-A结构。其通过具有不同卷积核大小的多支路对输入特征图进行卷积，并融合Resnet的shortcut思想以进一步提取特征。
Inception-Resnet-B模块：与Inception-Resnet-A模块的结构和功能相似。
Inception-Resnet-C模块：与Inception-Resnet-A模块的结构和功能相似。
Reduction-A模块：Reduction-A通过多支路融合池化和不同步长的卷积核对Inception-Resnet-A模块提取的特征进行降维处理。
Reduction-B模块：Reduction-B通过多支路融合池化和不同步长的卷积核对Inception-Resnet-B模块提取的特征进行降维处理。
Average Pooling层：Average Pooling层，即池化层对输入的特征图进行压缩，一方面使特征图变小，简化网络计算复杂度；一方面进行特征压缩，提取主要特征。
Dropout层：Dropout层是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃，目的是防止过拟合。
Softmax层：逻辑回归层，用于将分类结果进行归一化。
发明内容
为了解决上述现有技术存在的问题，本发明目的在于提供一种鼻咽癌辅助诊断模型构建和辅助诊断方法及系统。本发明能对鼻内镜图像进行分析并实时输出预测患病概率以辅助医师进行鼻咽癌诊断，可有效提高鼻咽癌诊断的准确率，提高活检的检出率，从而实现鼻咽癌早筛早诊早治，改善患者的治疗效果和预后的目的。
本发明所述的一种鼻咽癌辅助诊断模型构建方法，包括以下步骤：
S01、样本获取：获取鼻内镜图像，所述鼻内镜图像包含鼻咽癌组和非鼻咽癌组；
S02、预处理：对所述鼻内镜图像进行预处理；
S03、模型训练：将预处理后的鼻内镜图像输入卷积神经网络中，对所述卷积神经网络进行训练，获得鼻咽癌辅助诊断模型；
所述步骤S02预处理中，包括以下步骤：
S021、对鼻内镜图像进行筛选，剔除失焦、模糊或过曝光的不合格图像，保留显像清晰的合格图像；
S022、将所述合格图像进行旋转、平移、剪切、放缩和通道转移的操作进行数据扩增，以增加样本量；
S023、将所述合格图像分为训练数据集和验证数据集；
所述步骤S03模型训练中，所述卷积神经网络为Inception ResNet v2，所述Inception ResNet v2包括stem模块、Inception ResNet模块、Reduction模块、AveragePooling层、Dropout层和Softmax层；
所述步骤S03模型训练包括以下步骤：
S031、将所述训练数据集中的某张鼻内镜图像输入所述stem模块中，通过所述stem模块对所述鼻内镜图像进行卷积计算、最大池化操作和特征拼接，以初步提取所述鼻内镜图像的特征获得特征图像Y；
S032、将所述特征图像Y输入所述Inception ResNet模块和所述Reduction模块中，通过所述Inception ResNet模块对所述特征图像Y进行Relu激活、卷积计算、线性卷积激活、特征拼接操作进一步提取特征，通过所述Reduction模块减小图像尺寸，将所述特征图像Y转化为图像特征矩阵Z；
S033、将所述图像特征矩阵Z输入所述Average Pooling层进行均值池化操作抽象为特征向量F；将所述特征向量F依次通过所述Dropout层进行随机失活操作、所述Softmax层进行逻辑回归操作，使所述特征向量F转化为二分类输出P，所述二分类输出P∈(0,1)，用于表示预测患病概率；
S034、通过交叉熵计算公式计算所述二分类输出P与该鼻内镜图像真实标签之间的交叉熵损失；将所述交叉熵损失通过梯度下降算法反向传播至所述卷积神经网络，用于更新所述卷积神经网络的网络参数；
S035、将所述验证数据集中的某张鼻内镜图像输入所述卷积神经网络中，根据输出的预测患病概率计算分类结果评价指标对本轮模型训练效果进行内部测试；
S036、依次输入多张不同的鼻内镜图像，重复所述步骤S031-S35，不断更新优化所述卷积神经网络的网络参数，使所述卷积神经网络的二分类输出P不断逼近真实标签；在完成指定的迭代周期后，或者当内部测试的分类结果评价指标在指定的迭代周期内不再上升时，所述鼻咽癌辅助诊断模型训练完成；
所述步骤S03模型训练之后还包括步骤S04外部测试，所述步骤S04外部测试具体为：将所述验证数据集中的某张鼻内镜图像输入所述鼻咽癌辅助诊断模型中，根据输出的预测患病概率计算分类结果评价指标来反映该鼻咽癌辅助诊断模型预测的准确性。
优选地，所述步骤S01样本获取中，根据拍摄鼻内镜图像时所用光源的种类，将所述鼻内镜图像分为WLI模式图像集和NBI模式图像集；
所述步骤S03模型训练中，分别将所述WLI模式图像集和所述NBI模式图像集输入卷积神经网络中，获得WLI模式鼻咽癌辅助诊断模型和NBI模式鼻咽癌辅助诊断模型。
优选地，所述stem模块包含多个卷积模块，所述Inception ResNet模块包含Inception ResNet-A模块、Inception ResNet-B模块和Inception ResNet-C模块；所述Reduction模块包含Reduction-A模块和Reduction-B模块；
所述步骤S031具体包括以下步骤：
S0311、将某张鼻内镜图像处理为299*299*3的3通道图像输入所述stem模块中，通过所述stem模块中的核大小为3*3*32的卷积模块提取出149*149*32大小的特征图像Y1；
S0312、将所述特征图像Y1通过连续两次3*3的卷积计算得到特征图像Y2；
S0313、对所述特征图像Y2进行核大小为3*3、步长为2的最大池化操作得到特征图像Y21，将所述特征图像Y2通过3*3的卷积计算得到特征图像Y22，将所述特征图像Y21和所述特征图像Y22进行特征拼接，得到特征尺寸大小不变、通道数增加的特征图像Y3；
S0314、将所述特征图像Y3依次通过1*1、3*3的卷积计算得到特征图像Y31，将所述特征图像Y3依次通过1*1、7*1、1*7、3*3的卷积计算得到特征图像Y32，将所述特征图像Y31和所述特征图像Y32进行特征拼接，得到71*71*192大小的特征图像Y4；
S0315、对所述特征图像Y4进行核大小为3*3、步长为2的最大池化操作得到特征图像Y41，将所述特征图像Y4通过3*3的卷积计算得到特征图像Y42，将所述特征图像Y41和所述特征图像Y42进行特征拼接，得到所述特征图像Y，所述特征图像Y的大小为35*35*256；
所述步骤S032具体包括以下步骤：
S0321、将所述特征图像Y输入所述Inception ResNet-A模块，所述InceptionResNet-A模块对所述特征图像Y进行Relu激活得到特征图像Y51，随后将所述特征图像Y51分别进行3路卷积计算，将3路卷积计算输出的特征图像进行1*1线性卷积激活得到特征图像Y52，将所述特征图像Y51和所述特征图像Y52进行特征拼接，然后通过Relu激活得到35*35*256大小的特征图像Y6；
S0322、将所述特征图像Y6输入所述Reduction-A模块中，所述Reduction-A模块对所述特征图像Y6进行3路卷积计算和最大池化操作，将所述特征图像Y6进一步抽象提取为17*17*896大小的特征图像Y7；
S0323、将所述特征图像Y7输入所述Inception ResNet-B模块中，所述InceptionResNet-B模块对所述特征图像Y7进行7*7卷积计算以拆分一维卷积形式，获得特征图像Y8；
S0324、将所述特征图像Y8输入所述Reduction-B模块中，所述Reduction-B模块对所述特征图像Y8进行3路卷积计算和最大池化操作，将所述特征图像Y8进一步抽象提取为17*17*896大小的特征图像Y9；
S0325、将所述特征图像Y9输入所述Inception ResNet-C模块中，所述InceptionResNet-C模块对所述特征图像Y9进行3*3卷积计算以拆分一维卷积形式，获得所述图像特征矩阵Z。
一种鼻咽癌辅助诊断方法，包括：
获取被检测者的鼻内镜图像；
将所述鼻内镜图像输入到如上所述的鼻咽癌辅助诊断模型构建方法所构建的鼻咽癌辅助诊断模型中，得到预测患病概率。
一种鼻咽癌辅助诊断模型构建系统，包括：
样本获取模块，用于获取鼻内镜图像；
预处理模块，用于对所述鼻内镜图像进行预处理；
模型训练模块，用于将预处理后的鼻内镜图像输入卷积神经网络中，对所述卷积神经网络进行训练，获得鼻咽癌辅助诊断模型；
对所述鼻内镜图像进行预处理包括以下步骤：
对鼻内镜图像进行筛选，剔除失焦、模糊或过曝光的不合格图像，保留显像清晰的合格图像；
将所述合格图像进行旋转、平移、剪切、放缩和通道转移的操作进行数据扩增，以增加样本量；
将所述合格图像分为训练数据集和验证数据集；
模型训练中，所述卷积神经网络为Inception ResNet v2，所述Inception ResNetv2包括stem模块、Inception ResNet模块、Reduction模块、Average Pooling层、Dropout层和Softmax层；
模型训练包括以下步骤：
将所述训练数据集中的某张鼻内镜图像输入所述stem模块中，通过所述stem模块对所述鼻内镜图像进行卷积计算、最大池化操作和特征拼接，以初步提取所述鼻内镜图像的特征获得特征图像Y；
将所述特征图像Y输入所述Inception ResNet模块和所述Reduction模块中，通过所述Inception ResNet模块对所述特征图像Y进行Relu激活、卷积计算、线性卷积激活、特征拼接操作进一步提取特征，通过所述Reduction模块减小图像尺寸，将所述特征图像Y转化为图像特征矩阵Z；
将所述图像特征矩阵Z输入所述Average Pooling层进行均值池化操作抽象为特征向量F；将所述特征向量F依次通过所述Dropout层进行随机失活操作、所述Softmax层进行逻辑回归操作，使所述特征向量F转化为二分类输出P，所述二分类输出P∈(0,1)，用于表示预测患病概率；
通过交叉熵计算公式计算所述二分类输出P与该鼻内镜图像真实标签之间的交叉熵损失；将所述交叉熵损失通过梯度下降算法反向传播至所述卷积神经网络，用于更新所述卷积神经网络的网络参数；
将所述验证数据集中的某张鼻内镜图像输入所述卷积神经网络中，根据输出的预测患病概率计算分类结果评价指标对本轮模型训练效果进行内部测试；
依次输入多张不同的鼻内镜图像，重复上述步骤，不断更新优化所述卷积神经网络的网络参数，使所述卷积神经网络的二分类输出P不断逼近真实标签；在完成指定的迭代周期后，或者当内部测试的分类结果评价指标在指定的迭代周期内不再上升时，所述鼻咽癌辅助诊断模型训练完成；
在模型训练之后还包括外部测试，外部测试具体为：将所述验证数据集中的某张鼻内镜图像输入所述鼻咽癌辅助诊断模型中，根据输出的预测患病概率计算分类结果评价指标来反映该鼻咽癌辅助诊断模型预测的准确性。
一种鼻咽癌辅助诊断系统，包括：
图像获取模块，用于获取被检测者的鼻内镜图像；
诊断模块，用于将所述鼻内镜图像输入到如上所述的鼻咽癌辅助诊断模型构建方法所构建的鼻咽癌辅助诊断模型中，得到预测患病概率。
优选地，所述鼻咽癌辅助诊断系统包括：
上位机和显示装置，所述图像获取模块和所述显示装置均与所述上位机通信连接；
所述图像获取模块为电子鼻内镜；
所述诊断模块搭载在所述上位机上；
所述图像获取模块拍摄被检测者的鼻内镜图像并自动传输到所述上位机，所述上位机通过所述诊断模块输出该鼻内镜图像的预测患病概率并即时传输到所述显示装置上进行显示。
一种电子设备，包括：
处理器、存储器以及存储在所述存储器上且可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时实现如上所述的鼻咽癌辅助诊断模型构建方法的步骤，或如上所述的鼻咽癌辅助诊断方法的步骤。
一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令在被处理器执行时实现如上所述的鼻咽癌辅助诊断模型构建方法的步骤，或如上所述的鼻咽癌辅助诊断方法的步骤。
本发明所述的一种鼻咽癌辅助诊断模型构建和辅助诊断方法及系统，其优点在于，本发明通过输入鼻咽癌组和非鼻咽癌组两组图像数据对卷积神经网络训练，获得鼻咽癌辅助诊断模型。在临床诊断时，将被检测者的鼻内镜图像输入所得鼻咽癌辅助诊断模型中，鼻咽癌辅助诊断模型对输入图像进行分析运算，实时输出预测患病概率。医师可参考输出的预测患病概率并结合自身的经验对病变组织的性质作出判断，决定是否进行取材活检及后续处理。本发明可根据输入的鼻内镜图像输出该鼻内镜图像的预测患病概率以供医师参考诊断，可辅助医师的鼻咽癌诊断过程，可有效提高鼻咽癌诊断的准确率，弥补内镜医师的技术和经验不足，提高后续活检的检出率，从而实现鼻咽癌早筛早诊早治，改善患者的治疗效果和预后的目的，预测结果较为准确，对于鼻咽癌的诊断过程有良好的辅助作用。
附图说明
图1是本发明所述一种鼻咽癌辅助诊断模型构建方法的流程图；
图2是本发明所述一种鼻咽癌辅助诊断方法的流程图；
图3是本发明所述一种鼻咽癌辅助诊断模型构建系统的结构示意图；
图4是本发明所述一种鼻咽癌辅助诊断系统的结构示意图；
图5是本发明所述电子设备的结构示意图；
图6是本发明所述Inception ResNet v2卷积神经网络的架构图。
具体实施方式
本案发明人在实际从业过程中发现，对被检测者的鼻内镜图像进行分析是判断被检测者是否罹患鼻咽癌的可靠手段，而现有技术中，往往是由内镜医师根据自身的临床经验对鼻内镜图像进行分析，以此判断是否对目标组织进行活检。这种诊断方式仅依赖于内镜医师自身的临床经验，对于低年资的内镜医师来说，存在着判断准确率较低，容易出现漏诊的问题。基于这一技术问题，本案发明人注意到人工智能在图像分类领域的潜力。进一步深入研究发现，卷积神经网络是深度学习的代表算法之一，在图像分析、图像分类领域有着广泛的应用，结合卷积神经网络在图像分类领域的应用实例，本案发明人提出构建鼻咽癌辅助诊断模型的构思，该鼻咽癌辅助诊断模型可应用于实际的鼻咽癌诊断过程中，将被检测者的鼻内镜图像输入该模型中，该模型对应的输出该鼻内镜图像的预测患病概率，以供内镜医师参考判断。为了获得上述鼻咽癌辅助诊断模型，本案发明人提出了如下的鼻咽癌辅助诊断模型构建方法，该鼻咽癌辅助诊断模型构建方法可通过具有数据处理能力的终端实现，如PC、笔记本电脑、智能手机、pad等，也可通过单个服务器或多个服务器组成的服务器集群实现。
如图1所示，本实施例所述的一种鼻咽癌辅助诊断模型构建方法，包括以下步骤：
S01、样本获取：获取鼻内镜图像，所述鼻内镜图像包含鼻咽癌组和非鼻咽癌组；
具体的，获取一定数量的鼻内镜图像，如8000张，根据病例活检结果将上述鼻内镜图像分为鼻咽癌组和非鼻咽癌，例如可将鼻咽癌组的图像数量设定为4000张，将非鼻咽癌组的图像数量设定为4000张。另外，上述的鼻内镜图像取自中山大学附属第一医院所采集的鼻咽部内镜图像。
S02、预处理，对鼻内镜图像进行预处理；
具体的，首先将获取的鼻内镜图像进行筛选，排除不合格图像，即无法被卷积神经网络分析提取的图像，保留可被卷积神经网络分析提取的合格图像，随后可对合格图像进行数据扩增，以增加样本量。
S03、模型训练。将预处理后的鼻内镜图像输入到卷积神经网络中，对卷积神经网络进行训练，获得鼻咽癌辅助诊断模型；
具体的，将鼻内镜图像输入到卷积神经网络中，卷积神经网络提取鼻内镜图像的特征进行学习，所述鼻内镜图像的特征包含黏膜表面突出显示的微血管形态、黏膜纹路、黏膜颜色等图片颜色和形态信息。卷积神经网络提取上述的图像特征，根据输出结果反向传播对卷积神经网络的网络参数进行更新优化训练，训练结束即获得鼻咽癌辅助诊断模型。
本发明通过输入鼻咽癌组和非鼻咽癌组两组图像数据对卷积神经网络训练，获得鼻咽癌辅助诊断模型。在临床诊断时，将被检测者的鼻内镜图像输入所得鼻咽癌辅助诊断模型中，鼻咽癌辅助诊断模型对输入图像进行分析运算，随即输出预测患病概率。医师可参考输出的预测患病概率并结合自身的经验对病变组织的性质作出判断，决定是否进行取材活检及后续处理。本发明可根据输入的鼻内镜图像输出该鼻内镜图像的预测患病概率以供医师参考诊断，可辅助医师的鼻咽癌诊断过程，可有效提高鼻咽癌诊断的准确率，弥补内镜医师的技术和经验不足，提高后续活检的检出率，从而实现鼻咽癌早筛早诊早治，改善患者的治疗效果和预后的目的，预测结果较为准确，对于鼻咽癌的诊断过程有良好的辅助作用。
进一步的，现有技术中，电子鼻咽喉镜在拍摄鼻内镜图像时所采用的光源一般有两种，一种为普通白光(White Light Interferometry，WLI)，另一种为采用窄带成像(Narrow Band Imaging，NBI)技术使用窄谱滤光片，将普通内镜中的红光去掉，只释放出中心波长为415nm(蓝光)和540nm(绿光)两种波长的光作为照明光。即电子鼻咽喉镜在工作时，根据其采用光源的不同，具有两种不同的工作模式，分别为WLI模式和NBI模式。本实施例中，根据鼻内镜图像的这一成像特点，在上述步骤S01样本获取过程中，根据拍摄鼻内镜图像时所用的光源的种类，将鼻内镜图像对应的分为WLI模式图像集和NBI模式图像集。在上述步骤S03模型训练过程中，分别将WLI模式图像集和NBI模式图像集输入卷积神经网络中，获得两个各自独立的WLI模式鼻咽癌辅助诊断模型和NBI模式鼻咽癌辅助诊断模型。在实际诊断时，根据待检测的鼻内镜图像成像时所用光源的种类，输入到对应模式的鼻咽癌辅助诊断模型中，获取预测患病概率。本实施例中，根据鼻内镜图像的成像特点，预先将鼻内镜图像按成像时所用光源进行分类，然后对应训练获得不同模式的诊断模型。在实际诊断时使用对应模式的诊断模型对鼻内镜图像进行诊断，使得诊断模型与鼻内镜图像的特征更加匹配，使预测患病概率的准确率更高。
进一步的，选用的卷积神经网络是获得鼻咽癌辅助诊断模型的关键，卷积神经网络的种类对图像特征提取过程及后续模型预测患病概率的准确率有很大的影响，因而选用何种类型的卷积神经网络是整个模型构建过程的关键因素之一。根据现有技术中常用于图像分类的卷积神经网络，本案发明人拟从如下几种卷积神经网络类型中进行选择，分别为：ResNet、VGGNet、GoogLeNet、Inception以及Inception的变体Inception ResNet。本案发明人通过输入鼻内镜图像进行训练的方式逐一对上述的各种卷积神经网络进行测试，测试发现ResNet、VGGNet、GoogLeNet的网络结构相似，这几种卷积神经网络虽然能提取鼻内镜图像特征，但是其存在着一些缺陷，如评估网络计算量大、训练所需时间长、所需训练数据量大、容易过拟合、应用难度大、容易发生梯度弥散等。Inception相较于上述几种网络，一定程度上优化了上述几种网络存在的缺陷，能良好的应用于鼻咽癌辅助诊断模型的构建过程中。在Inception的基础上，将Inception与ResNet的结构进行结合，ResNet的结构可极大地加速训练，同时网络性能也有所提升，即得到了本实施例所最终采用的Inception ResNetv2卷积神经网络。本实施例中，本案发明人根据鼻内镜图像特征和鼻咽癌辅助诊断模型构建过程中的特点，通过对各种类型的卷积神经网络进行测试，最终选定Inception ResNetv2作为本实施例训练所用的卷积神经网络，使得最终获得的鼻咽癌辅助诊断模型的预测患病概率准确率高，且训练过程所需时间少。
进一步的，本实施例中，上述步骤S02预处理中，包括以下步骤：
S021、对鼻内镜图像进行筛选，剔除失焦、模糊或过曝光的不合格图像，保留显像清晰的合格图像；
具体的，对收集的鼻内镜图像进行人工筛选，剔除其中无法被卷积神经网络识别和提取特征的不合格图像，如失焦、模糊或过曝光的图像，保留显像清晰的合格图像。
S022、将所述合格图像进行旋转、平移、剪切、放缩和通道转移的操作进行数据扩增，以增加样本量。
S023、将所述合格图像分为训练数据集和验证数据集；
具体的，可将80％的合格图像作为训练数据集，将剩余20％的合格图像作为验证数据集。
具体的，如图6所示，Inception ResNet v2包括stem模块、Inception ResNet模块、Reduction模块、Average Pooling层、Dropout层和Softmax层。
上述步骤S03模型训练包括以下步骤：
S031、将所述训练数据集中的某张鼻内镜图像输入所述stem模块中，通过所述stem模块对所述鼻内镜图像进行卷积计算、最大池化操作和特征拼接，以初步提取所述鼻内镜图像的特征获得特征图像Y；
S032、将所述特征图像Y输入所述Inception ResNet模块和所述Reduction模块中，通过所述Inception ResNet模块对所述特征图像Y进行Relu激活、卷积计算、线性卷积激活、特征拼接操作进一步提取特征，通过所述Reduction模块减小图像尺寸降维，将所述特征图像Y转化为图像特征矩阵Z；
S033、将所述图像特征矩阵Z输入所述Average Pooling层进行均值池化操作抽象为特征向量F；将所述特征向量F依次通过所述Dropout层进行随机失活操作、所述Softmax层进行逻辑回归操作，使所述特征向量F转化为二分类输出P，所述二分类输出P∈(0,1)，用于表示预测患病概率；
具体的，二分类输出P的计算公式如下：
Figure GDA0004154909500000111
其中，Z表示图像特征矩阵。
S034、通过交叉熵计算公式计算所述二分类输出P与该鼻内镜图像真实标签之间的交叉熵损失；将所述交叉熵损失通过梯度下降算法反向传播至所述卷积神经网络，用于更新所述卷积神经网络的网络参数；
具体的，交叉熵计算公式为：
Figure GDA0004154909500000121
其中Q表示第i个样本的真实标签，P表示第i个样本的预测患病概率。
S035、将所述验证数据集中的某张鼻内镜图像输入所述卷积神经网络中，根据输出的预测患病概率计算分类结果评价指标对本轮模型训练效果进行内部测试；
具体的，从验证数据集中任选一张鼻内镜图像，输入到卷积神经网络中，卷积神经网络输出一个对应的预测患病概率，计算该预测患病概率与该鼻内镜图像真实标签之间的偏差，通过该偏差，计算分类结果评价指标对本轮模型训练效果进行内部测试。常用的分类结果评价指标包括准确率、特异度、敏感度、AUC值、损失值曲线中至少一项或任意几项的组合。
具体的，准确率的计算方式为：准确率＝((正确预测出的阳性个数+正确预测出的阴性个数)/总测定个数)*100％。准确率越高则说明本轮模型训练效果越好。
特异度的计算方式为：特异度＝真阴性人数/(真阴性人数+假阳性人数)*100％，特异度的范围为0-1，其表示的是模型正确判断正常鼻内镜图像的能力，该值越高，表示模型判断的准确性越高。
灵敏度的计算方式为：灵敏度＝真阳性人数/(真阳性人数+假阴性人数)*100％，灵敏度的范围为0-1，其表示的是模型正确判断患病鼻内镜图像的能力，该值越高，表示模型判断的准确性越高。
AUC值是ROC曲线(receiver operating characteristic curve，接受者操作特性曲线)下的面积，用于表征模型的整体性能效果，ROC曲线采用不同阈值下的特异度和灵敏度的变化曲线。在多轮模型训练过程中，AUC值应不断变大，表征模型性能越来越好，反之则代表本轮模型训练效果较差。一般AUC值的大小为0.5-1。
损失值曲线是由一系列损失值建立的曲线，损失值是模型的训练指标，每一轮迭代过程中都会通过损失函数来计算损失值，进而决定下一次模型参数梯度更新的方向和大小，常见的损失函数有交叉熵、二值化交叉熵和均方误差等。
通过该分类结果评价指标可以较为准确地反映本轮模型训练效果，使得操作者在模型训练过程中可以掌握每轮模型训练的训练效果，根据训练效果，可及时对模型训练过程做出调整。比如当分类结果评价指标明显异常时，操作者可以及时发现，并对模型训练过程进行检查，如输入的鼻内镜图像是否清晰，卷积神经网络是否正常运行等。通过引入内部测试过程，使得操作者能及时的掌握每轮模型训练的效果，在训练异常时能及时发现，能保证模型训练过程的正确顺畅进行，且能保证最终获得的鼻咽癌辅助诊断模型具有较高的准确率。
S036、依次输入多张不同的鼻内镜图像，重复所述步骤S031-S35，不断更新优化所述卷积神经网络的网络参数，使所述卷积神经网络的二分类输出P不断逼近真实标签；在完成指定的迭代周期如100次后，或者当内部测试的分类结果评价指标在指定的迭代周期如100次内不再上升时，所述鼻咽癌辅助诊断模型训练完成；
所述步骤S03模型训练之后还包括步骤S04外部测试，所述步骤S04外部测试具体为：将所述验证数据集中的某张鼻内镜图像输入所述鼻咽癌辅助诊断模型中，根据输出的预测患病概率计算分类结果评价指标来反映该鼻咽癌辅助诊断模型预测的准确性；
具体的，从验证数据集中任选一张鼻内镜图像，输入到训练完成的鼻咽癌辅助诊断模型中，鼻咽癌辅助诊断模型对输入的鼻内镜图像进行特征提取和计算，然后输出该鼻内镜图像的预测患病概率。计算该预测患病概率与该鼻内镜图像真实标签之间的偏差，通过该偏差，计算分类结果评价指标，通过该分类结果评价指标来反映该鼻咽癌辅助诊断模型预测的准确性。常用的分类结果评价指标包括准确率、特异度、敏感度、AUC值、损失值曲线中至少一项或任意几项的组合。在模型训练完成后，对训练完成的鼻咽癌辅助诊断模型的预测能力进行外部测试，以获得该鼻咽癌辅助诊断模型预测的准确性。
外部测试时的准确率、特异度、敏感度、AUC值、损失值曲线的计算方式与内部测试过程相似，在此不再赘述。外部测试时，通过上述至少一项或任意几项的组合来反映模型的整体性能效果，主要为预测结果的准确性。通常来说，准确率、特异度、敏感度这三个数值越高，代表模型预测结果的准确性越高，模型越可靠。而AUC值一般为0.5-1。损失值曲线的变化趋势应逐渐变小，代表预测结果逐渐逼近真实标签。
在实际应用过程中，以准确率这一分类结果评价指标为例，可以设置一个准确率阈值，比如当鼻咽癌辅助诊断模型预测的准确率到达90％以上时，该鼻咽癌辅助诊断模型视为合格，可用于临床诊断中，否则视为不合格，需要重新进行模型训练。通过设置外部测试步骤，在鼻咽癌辅助诊断模型训练完成后对其预测的准确性进行计算评估，保证了应用于实际诊断过程中的鼻咽癌辅助诊断模型预测的准确性和可靠性。
具体的，所述stem模块包含多个卷积模块，所述Inception ResNet模块包含Inception ResNet-A模块、Inception ResNet-B模块和Inception ResNet-C模块；所述Reduction模块包含Reduction-A模块和Reduction-B模块；
所述步骤S031具体包括以下步骤：
S0311、将某张鼻内镜图像处理为299*299*3的3通道图像输入所述stem模块中，通过所述stem模块中的核大小为3*3*32的卷积模块提取出149*149*32大小的特征图像Y1；
S0312、将所述特征图像Y1通过连续两次3*3的卷积计算得到特征图像Y2；
S0313、对所述特征图像Y2进行核大小为3*3、步长为2的最大池化操作得到特征图像Y21，将所述特征图像Y2通过3*3的卷积计算得到特征图像Y22，将所述特征图像Y21和所述特征图像Y22进行特征拼接，得到特征尺寸大小不变、通道数增加的特征图像Y3；
S0314、将所述特征图像Y3依次通过1*1、3*3的卷积计算得到特征图像Y31，将所述特征图像Y3依次通过1*1、7*1、1*7、3*3的卷积计算得到特征图像Y32，将所述特征图像Y31和所述特征图像Y32进行特征拼接，得到71*71*192大小的特征图像Y4；
S0315、对所述特征图像Y4进行核大小为3*3、步长为2的最大池化操作得到特征图像Y41，将所述特征图像Y4通过3*3的卷积计算得到特征图像Y42，将所述特征图像Y41和所述特征图像Y42进行特征拼接，得到所述特征图像Y，所述特征图像Y的大小为35*35*256；
所述步骤S032具体包括以下步骤：
S0321、将所述特征图像Y输入所述Inception ResNet-A模块，所述InceptionResNet-A模块对所述特征图像Y进行Relu激活得到特征图像Y51，随后将所述特征图像Y51分别进行1*1，1*1、3*3和1*1、3*3、3*3的3路卷积计算，将3路卷积计算输出的特征图像进行1*1线性卷积激活得到特征图像Y52，将所述特征图像Y51和所述特征图像Y52进行特征拼接，然后通过Relu激活得到35*35*256大小的特征图像Y6；
具体的，Relu激活函数为如下常用公式：
F(x)＝max(0,x)
其中，x为输入。
S0322、将所述特征图像Y6输入所述Reduction-A模块中，所述Reduction-A模块对所述特征图像Y6进行3路卷积计算和最大池化操作，将所述特征图像Y6进一步抽象提取为17*17*896大小的特征图像Y7；
S0323、将所述特征图像Y7输入所述Inception ResNet-B模块中，所述InceptionResNet-B模块对所述特征图像Y7进行7*7卷积计算以拆分一维卷积形式，获得特征图像Y8；
S0324、将所述特征图像Y8输入所述Reduction-B模块中，所述Reduction-B模块对所述特征图像Y8进行3路卷积计算和最大池化操作，将所述特征图像Y8进一步抽象提取为17*17*896大小的特征图像Y9；
S0325、将所述特征图像Y9输入所述Inception ResNet-C模块中，所述InceptionResNet-C模块对所述特征图像Y9进行3*3卷积计算以拆分一维卷积形式，获得所述图像特征矩阵Z。
上述各个卷积计算的计算公式如下：
Figure GDA0004154909500000151
其中，
Figure GDA0004154909500000152
表示第i层第j个特征图像在(x,y)处的值，Pi和Qi是第i层使用的卷积核的尺寸大小；/>
Figure GDA0004154909500000153
表示连接第i-1层第m个特征图像与第i层第j个特征图像在(P,Q)处的卷积核在(x+p,y+q)点的权重大小。
本实施例还提供了一种鼻咽癌辅助诊断方法，包括以下步骤：
获取被检测者的鼻内镜图像；
具体的，通过电子鼻内镜进入被检测者的鼻咽腔内对局部粘膜进行拍摄，包括鼻咽腔顶壁、侧壁、咽隐窝等鼻咽癌高发部位，以及肉眼判断的可疑病变部位，拍摄完成后即可获得被检测者的鼻内镜图像。
将获得的鼻内镜图像输入到由上述鼻咽癌辅助诊断模型构建方法所构建的鼻咽癌辅助诊断模型中，鼻咽癌辅助诊断模型对输入的鼻内镜图像进行特征提取和运算，输出该鼻咽癌图像的预测患病概率。内镜医师获取该预测患病概率，结合自身的临床经验，判断目标组织是否为可以病变，若是则对目标组织进行活检，否则可对下一组织进行拍摄诊断。本实施例所述鼻咽癌辅助诊断方法通过引入鼻咽癌辅助诊断模型辅助内镜医师进行诊断，提高内镜医师鼻咽癌诊断的准确率，使鼻咽癌诊断过程更加准确高效。
进一步的，针对电子鼻内镜拍摄时采用光源不同的特点，在实际诊断过程中，鼻咽癌辅助诊断模型通常同时搭载两个，分别为WLI模式鼻咽癌辅助诊断模型和NBI模式鼻咽癌辅助诊断模型，上述两个诊断模型分别采用WLI模式图像集和NBI模式图像集输入卷积神经网络中训练获得。在实际诊断过程中，内镜医师根据拍摄部位选用合适的光源模式(WLI模式和NBI模式)，在选择合适的光源模式之后将自动切换至对应模式的鼻咽癌辅助诊断模型，使得拍摄获得的鼻内镜图像能输入到对应模式的鼻咽癌辅助诊断模型中，使诊断过程更加智能，诊断准确率更高。
如图3所示，本实施例还提供了一种鼻咽癌辅助诊断模型构建系统，包括：
样本获取模块，用于获取鼻内镜图像；
预处理模块，用于对所述鼻内镜图像进行预处理；
模型训练模块，用于将预处理后的鼻内镜图像输入卷积神经网络中，对所述卷积神经网络进行训练，获得鼻咽癌辅助诊断模型。
所述的鼻咽癌辅助诊断模型构建系统，用于执行如上所述的鼻咽癌辅助诊断模型构建方法，获得鼻咽癌辅助诊断模型。
如图4所示，本实施例还提供了一种鼻咽癌辅助诊断系统，包括：
图像获取模块，用于获取被检测者的鼻内镜图像；
诊断模块，用于将所述鼻内镜图像输入到由上述的鼻咽癌辅助诊断模型构建方法所构建的鼻咽癌辅助诊断模型中，得到预测患病概率。
进一步的，所述的鼻咽癌辅助诊断系统包括上位机和显示装置，图像获取模块和显示装置均与上位机通信连接。图像获取模块具体为电子鼻内镜，电子鼻内镜包含鼻内镜本体(如可直接购买的ENF-VH、Olympus Medical Systems Corp)、内窥镜系统(如可直接购买的OTV-S190、Olympus Medical Systems Corp)和内窥镜冷光源(如可直接购买的CLV-S190；、Olympus Medical Systems Corp)。
诊断模块和内窥镜系统搭载在上位机上，上位机具体可以为PC、笔记本电脑、智能手机、pad等具有数据处理能力的智能终端。显示装置具体可为显示屏(如可直接购买的OEV-261H、Olympus Medical Systems Corp)，还可以搭配键盘、鼠标、触摸屏等输入设备用于向上位机输入控制指令。
图像获取模块拍摄被检测者的鼻内镜图像并传输到上位机，上位机通过诊断模块输出该鼻内镜图像的预测患病概率并传输到显示装置上进行显示，内镜医师通过显示装置获取预测患病概率。
以下将结合应用实例，详细地阐述上述的鼻咽癌辅助诊断系统的实际使用过程。
内镜医师将鼻内镜本体伸入患者的鼻咽腔内，通过电子鼻内镜手柄进行调焦和光源模式切换，使电子鼻内镜显像清晰，再通过脚踏开关控制电子鼻内镜对鼻咽腔内进行拍照，获取患者的鼻内镜图像。
拍摄获得的鼻内镜图像自动上传至上位机处，上位机将鼻内镜图像输入到诊断模块中，诊断模块实时输出辅助诊断结果至显示装置上进行显示，辅助诊断结果包括预测患病概率以及对病变部位范围的勾勒，具体的，上位机将鼻内镜图像中判断为患病的病变部位采用不同颜色填充，并在其边沿轮廓处采用线条勾勒，以便于内镜医师观察区分。
内镜医师通过显示装置观察获得该鼻内镜图像的辅助诊断结果，并结合自身临床经验，判断是否进行活检以及活检的具体部位。
内镜医师在拍摄鼻内镜图像时，可以选择WLI模式和NBI模式两种光源模式进行拍摄。在实际诊断过程中，优选是对同一部位分别采用两种光源模式进行两次拍摄，获得两种光源模式下的鼻内镜图像进行实时辅助诊断，当其中一种模式下的鼻内镜图像判断为鼻咽癌时，则需进行活检。两种光源模式同时诊断的方式，可进一步提高鼻咽癌诊断的准确性。
上述的鼻咽癌辅助诊断系统，可设置在内镜医师的科室中，可以实时地对鼻内镜图像进行辅助分析诊断，可良好的辅助内镜医师进行鼻咽癌诊断，提高内镜医师鼻咽癌诊断的准确率，使鼻咽癌诊断过程更加高效。
本实施例还提供了一种电子设备，包括处理器和存储器。处理器与存储器可以通过通信总线或者其他方式连接，图5中以通信总线连接为例。
处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的鼻咽癌辅助诊断模型构建方法或鼻咽癌辅助诊断方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述实施例中的方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器中，当被所述处理器执行时，执行如上所述的鼻咽癌辅助诊断模型构建方法的步骤，或如上所述的鼻咽癌辅助诊断方法的步骤。上述电子设备的具体细节可对应参阅如上所述实施例中对应的相关描述和效果进行理解，在此不再赘述。
本实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，该计算机指令在被处理器执行时实现如上所述的鼻咽癌辅助诊断模型构建方法的步骤，或如上所述的鼻咽癌辅助诊断方法的步骤。其中，所述计算机可读存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(FlashMemory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述计算机可读存储介质还可以包括上述种类的存储器的组合。
在本申请的描述中，需要理解的是，方位词如“前、后、上、下、左、右”、“横向、竖向、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，在未作相反说明的情况下，这些方位词并不指示和暗示所指的系统或元件必须具有特定的方位或者以特定的方位构造和操作，因此不能理解为对本申请保护范围的限制。
为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系，应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括在“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位(旋转90°或处于其他方位)，并且对这里所使用的空间相对描述作出相应解释。
此外，需要说明的是，使用“第一”、“第二”等词语来限定零部件，仅仅是为了便于对相应零部件进行区别，如没有另行声明，上述词语并没有特殊含义，因此不能理解为对本申请保护范围的限制。
对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims (9)

1.一种鼻咽癌辅助诊断模型构建方法，其特征在于，包括以下步骤：
S01、样本获取：获取鼻内镜图像，所述鼻内镜图像包含鼻咽癌组和非鼻咽癌组；
S02、预处理：对所述鼻内镜图像进行预处理；
S03、模型训练：将预处理后的鼻内镜图像输入卷积神经网络中，对所述卷积神经网络进行训练，获得鼻咽癌辅助诊断模型；
所述步骤S02预处理中，包括以下步骤：
S021、对鼻内镜图像进行筛选，剔除失焦、模糊或过曝光的不合格图像，保留显像清晰的合格图像；
S022、将所述合格图像进行旋转、平移、剪切、放缩和通道转移的操作进行数据扩增，以增加样本量；
S023、将所述合格图像分为训练数据集和验证数据集；
所述步骤S03模型训练中，所述卷积神经网络为InceptionResNetv2，所述InceptionResNetv2包括stem模块、InceptionResNet模块、Reduction模块、AveragePooling层、Dropout层和Softmax层；
所述步骤S03模型训练包括以下步骤：
S031、将所述训练数据集中的某张鼻内镜图像输入所述stem模块中，通过所述stem模块对所述鼻内镜图像进行卷积计算、最大池化操作和特征拼接，以初步提取所述鼻内镜图像的特征获得特征图像Y；
S032、将所述特征图像Y输入所述InceptionResNet模块和所述Reduction模块中，通过所述InceptionResNet模块对所述特征图像Y进行Relu激活、卷积计算、线性卷积激活、特征拼接操作进一步提取特征，通过所述Reduction模块减小图像尺寸，将所述特征图像Y转化为图像特征矩阵Z；
S033、将所述图像特征矩阵Z输入所述AveragePooling层进行均值池化操作抽象为特征向量F；将所述特征向量F依次通过所述Dropout层进行随机失活操作、所述Softmax层进行逻辑回归操作，使所述特征向量F转化为二分类输出P，所述二分类输出P∈(0,1)，用于表示预测患病概率；
S034、通过交叉熵计算公式计算所述二分类输出P与该鼻内镜图像真实标签之间的交叉熵损失；将所述交叉熵损失通过梯度下降算法反向传播至所述卷积神经网络，用于更新所述卷积神经网络的网络参数；
S035、将所述验证数据集中的某张鼻内镜图像输入所述卷积神经网络中，根据输出的预测患病概率计算分类结果评价指标对本轮模型训练效果进行内部测试；
S036、依次输入多张不同的鼻内镜图像，重复所述步骤S031-S35，不断更新优化所述卷积神经网络的网络参数，使所述卷积神经网络的二分类输出P不断逼近真实标签；在完成指定的迭代周期后，或者当内部测试的分类结果评价指标在指定的迭代周期内不再上升时，所述鼻咽癌辅助诊断模型训练完成；
所述步骤S03模型训练之后还包括步骤S04外部测试，所述步骤S04外部测试具体为：将所述验证数据集中的某张鼻内镜图像输入所述鼻咽癌辅助诊断模型中，根据输出的预测患病概率计算分类结果评价指标来反映该鼻咽癌辅助诊断模型预测的准确性。
2.根据权利要求1所述鼻咽癌辅助诊断模型构建方法，其特征在于，所述步骤S01样本获取中，根据拍摄鼻内镜图像时所用光源的种类，将所述鼻内镜图像分为WLI模式图像集和NBI模式图像集；
所述步骤S03模型训练中，分别将所述WLI模式图像集和所述NBI模式图像集输入卷积神经网络中，获得WLI模式鼻咽癌辅助诊断模型和NBI模式鼻咽癌辅助诊断模型。
3.根据权利要求1所述鼻咽癌辅助诊断模型构建方法，其特征在于，所述stem模块包含多个卷积模块，所述InceptionResNet模块包含InceptionResNet-A模块、InceptionResNet-B模块和InceptionResNet-C模块；所述Reduction模块包含Reduction-A模块和Reduction-B模块；
所述步骤S031具体包括以下步骤：
S0311、将某张鼻内镜图像处理为299*299*3的3通道图像输入所述stem模块中，通过所述stem模块中的核大小为3*3*32的卷积模块提取出149*149*32大小的特征图像Y1；
S0312、将所述特征图像Y1通过连续两次3*3的卷积计算得到特征图像Y2；
S0313、对所述特征图像Y2进行核大小为3*3、步长为2的最大池化操作得到特征图像Y21，将所述特征图像Y2通过3*3的卷积计算得到特征图像Y22，将所述特征图像Y21和所述特征图像Y22进行特征拼接，得到特征尺寸大小不变、通道数增加的特征图像Y3；
S0314、将所述特征图像Y3依次通过1*1、3*3的卷积计算得到特征图像Y31，将所述特征图像Y3依次通过1*1、7*1、1*7、3*3的卷积计算得到特征图像Y32，将所述特征图像Y31和所述特征图像Y32进行特征拼接，得到71*71*192大小的特征图像Y4；
S0315、对所述特征图像Y4进行核大小为3*3、步长为2的最大池化操作得到特征图像Y41，将所述特征图像Y4通过3*3的卷积计算得到特征图像Y42，将所述特征图像Y41和所述特征图像Y42进行特征拼接，得到所述特征图像Y，所述特征图像Y的大小为35*35*256；
所述步骤S032具体包括以下步骤：
S0321、将所述特征图像Y输入所述InceptionResNet-A模块，所述Inception ResNet-A模块对所述特征图像Y进行Relu激活得到特征图像Y51，随后将所述特征图像Y51分别进行3路卷积计算，将3路卷积计算输出的特征图像进行1*1线性卷积激活得到特征图像Y52，将所述特征图像Y51和所述特征图像Y52进行特征拼接，然后通过Relu激活得到35*35*256大小的特征图像Y6；
S0322、将所述特征图像Y6输入所述Reduction-A模块中，所述Reduction-A模块对所述特征图像Y6进行3路卷积计算和最大池化操作，将所述特征图像Y6进一步抽象提取为17*17*896大小的特征图像Y7；
S0323、将所述特征图像Y7输入所述InceptionResNet-B模块中，所述InceptionResNet-B模块对所述特征图像Y7进行7*7卷积计算以拆分一维卷积形式，获得特征图像Y8；
S0324、将所述特征图像Y8输入所述Reduction-B模块中，所述Reduction-B模块对所述特征图像Y8进行3路卷积计算和最大池化操作，将所述特征图像Y8进一步抽象提取为17*17*896大小的特征图像Y9；
S0325、将所述特征图像Y9输入所述InceptionResNet-C模块中，所述InceptionResNet-C模块对所述特征图像Y9进行3*3卷积计算以拆分一维卷积形式，获得所述图像特征矩阵Z。
4.一种鼻咽癌辅助诊断方法，其特征在于，包括：
获取被检测者的鼻内镜图像；
将所述鼻内镜图像输入到如权利要求1-3任一项所述的鼻咽癌辅助诊断模型构建方法所构建的鼻咽癌辅助诊断模型中，得到预测患病概率。
5.一种鼻咽癌辅助诊断模型构建系统，其特征在于，包括：
样本获取模块，用于获取鼻内镜图像；
预处理模块，用于对所述鼻内镜图像进行预处理；
模型训练模块，用于将预处理后的鼻内镜图像输入卷积神经网络中，对所述卷积神经网络进行训练，获得鼻咽癌辅助诊断模型；
对所述鼻内镜图像进行预处理包括以下步骤：
对鼻内镜图像进行筛选，剔除失焦、模糊或过曝光的不合格图像，保留显像清晰的合格图像；
将所述合格图像进行旋转、平移、剪切、放缩和通道转移的操作进行数据扩增，以增加样本量；
将所述合格图像分为训练数据集和验证数据集；
模型训练中，所述卷积神经网络为InceptionResNetv2，所述InceptionResNet v2包括stem模块、InceptionResNet模块、Reduction模块、AveragePooling层、Dropout层和Softmax层；
模型训练包括以下步骤：
将所述训练数据集中的某张鼻内镜图像输入所述stem模块中，通过所述stem模块对所述鼻内镜图像进行卷积计算、最大池化操作和特征拼接，以初步提取所述鼻内镜图像的特征获得特征图像Y；
将所述特征图像Y输入所述InceptionResNet模块和所述Reduction模块中，通过所述InceptionResNet模块对所述特征图像Y进行Relu激活、卷积计算、线性卷积激活、特征拼接操作进一步提取特征，通过所述Reduction模块减小图像尺寸，将所述特征图像Y转化为图像特征矩阵Z；
将所述图像特征矩阵Z输入所述AveragePooling层进行均值池化操作抽象为特征向量F；将所述特征向量F依次通过所述Dropout层进行随机失活操作、所述Softmax层进行逻辑回归操作，使所述特征向量F转化为二分类输出P，所述二分类输出P∈(0,1)，用于表示预测患病概率；
通过交叉熵计算公式计算所述二分类输出P与该鼻内镜图像真实标签之间的交叉熵损失；将所述交叉熵损失通过梯度下降算法反向传播至所述卷积神经网络，用于更新所述卷积神经网络的网络参数；
将所述验证数据集中的某张鼻内镜图像输入所述卷积神经网络中，根据输出的预测患病概率计算分类结果评价指标对本轮模型训练效果进行内部测试；
依次输入多张不同的鼻内镜图像，重复上述步骤，不断更新优化所述卷积神经网络的网络参数，使所述卷积神经网络的二分类输出P不断逼近真实标签；在完成指定的迭代周期后，或者当内部测试的分类结果评价指标在指定的迭代周期内不再上升时，所述鼻咽癌辅助诊断模型训练完成；
在模型训练之后还包括外部测试，外部测试具体为：将所述验证数据集中的某张鼻内镜图像输入所述鼻咽癌辅助诊断模型中，根据输出的预测患病概率计算分类结果评价指标来反映该鼻咽癌辅助诊断模型预测的准确性。
6.一种鼻咽癌辅助诊断系统，其特征在于，包括：
图像获取模块，用于获取被检测者的鼻内镜图像；
诊断模块，用于将所述鼻内镜图像输入到如权利要求1-3任一项所述的鼻咽癌辅助诊断模型构建方法所构建的鼻咽癌辅助诊断模型中，得到预测患病概率。
7.根据权利要求6所述鼻咽癌辅助诊断系统，其特征在于，包括：
上位机和显示装置，所述图像获取模块和所述显示装置均与所述上位机通信连接；
所述图像获取模块为电子鼻内镜；
所述诊断模块搭载在所述上位机上；
所述图像获取模块拍摄被检测者的鼻内镜图像并自动传输到所述上位机，所述上位机通过所述诊断模块输出该鼻内镜图像的预测患病概率并即时传输到所述显示装置上进行显示。
8.一种电子设备，其特征在于，包括：
处理器、存储器以及存储在所述存储器上且可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时实现如权利要求1-3中任一项所述的鼻咽癌辅助诊断模型构建方法的步骤，或权利要求4所述的鼻咽癌辅助诊断方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令在被处理器执行时实现如权利要求1-3中任一项所述的鼻咽癌辅助诊断模型构建方法的步骤，或权利要求4所述的鼻咽癌辅助诊断方法的步骤。
CN202010715688.7A 2020-07-23 2020-07-23 一种鼻咽癌辅助诊断模型构建和辅助诊断方法及系统 Active CN111653365B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010715688.7A CN111653365B (zh) 2020-07-23 2020-07-23 一种鼻咽癌辅助诊断模型构建和辅助诊断方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010715688.7A CN111653365B (zh) 2020-07-23 2020-07-23 一种鼻咽癌辅助诊断模型构建和辅助诊断方法及系统

Publications (2)

Publication Number Publication Date
CN111653365A CN111653365A (zh) 2020-09-11
CN111653365B true CN111653365B (zh) 2023-06-23

Family

ID=72352620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010715688.7A Active CN111653365B (zh) 2020-07-23 2020-07-23 一种鼻咽癌辅助诊断模型构建和辅助诊断方法及系统

Country Status (1)

Country Link
CN (1) CN111653365B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287843A (zh) * 2020-10-30 2021-01-29 西安工程大学 一种手术过程中医生护士交互手势识别方法
CN112885464B (zh) * 2021-03-12 2022-10-04 华东师范大学 一种基于Att-Res2-CE-Net的鼻内部疾病实时辅助诊疗系统
CN113284613A (zh) * 2021-05-24 2021-08-20 暨南大学 一种基于深度学习的人脸诊断系统
CN113159238B (zh) * 2021-06-23 2021-10-26 安翰科技(武汉)股份有限公司 内窥镜影像识别方法、电子设备及存储介质
CN113611410B (zh) * 2021-09-08 2023-03-24 温州医科大学附属第一医院 一种脂肪性肝炎风险诊断设备、系统及其残差网络的训练方法
CN113920309B (zh) * 2021-12-14 2022-03-01 武汉楚精灵医疗科技有限公司 图像检测方法、装置、医学图像处理设备及存储介质
CN113935993B (zh) * 2021-12-15 2022-03-01 武汉楚精灵医疗科技有限公司 肠镜图像识别系统、终端设备及存储介质
CN115049666B (zh) * 2022-08-16 2022-11-08 浙江卡易智慧医疗科技有限公司 基于彩色小波协方差深度图模型的内镜虚拟活检装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919948A (zh) * 2019-02-26 2019-06-21 华南理工大学 基于深度学习的鼻咽癌病灶分割模型训练方法及分割方法
CN110175989A (zh) * 2019-05-08 2019-08-27 常州市第二人民医院 影像数据处理方法及其装置
CN110097974A (zh) * 2019-05-15 2019-08-06 天津医科大学肿瘤医院 一种基于深度学习算法的鼻咽癌远端转移预测系统
CN110739070A (zh) * 2019-09-26 2020-01-31 南京工业大学 一种基于3d卷积神经网络的脑疾病诊断方法

Also Published As

Publication number Publication date
CN111653365A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
CN111653365B (zh) 一种鼻咽癌辅助诊断模型构建和辅助诊断方法及系统
CN113011485B (zh) 多模态多病种长尾分布眼科疾病分类模型训练方法和装置
CN109670510A (zh) 一种基于深度学习的胃镜活检病理数据筛查系统和方法
US20140233826A1 (en) Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images
CN109948671B (zh) 图像分类方法、装置、存储介质以及内窥镜成像设备
KR102176139B1 (ko) 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치 및 그 방법
Bai et al. Automatic segmentation of cervical region in colposcopic images using K-means
Qiu et al. GFANet: Gated fusion attention network for skin lesion segmentation
CN114372951A (zh) 基于图像分割卷积神经网络的鼻咽癌定位分割方法和系统
Ji et al. A multi-scale recurrent fully convolution neural network for laryngeal leukoplakia segmentation
JP6578058B2 (ja) 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
Senthilkumaran et al. Brain image segmentation
CN113112449A (zh) 一种肠癌辅助诊断模型构建和辅助诊断方法及系统
CN114398979A (zh) 一种基于特征解耦的超声图像甲状腺结节分类方法
Ay et al. Automated classification of nasal polyps in endoscopy video-frames using handcrafted and CNN features
Kanwal et al. Detection and localization of melanoma skin cancer in histopathological whole slide images
Hassan et al. A dilated residual hierarchically fashioned segmentation framework for extracting gleason tissues and grading prostate cancer from whole slide images
CN112741651B (zh) 一种内窥镜超声影像的处理方法及系统
KR101118211B1 (ko) 점막하 종양의 초음파 내시경 영상 분석에 의한 질병의 진단 방법
CN113205111A (zh) 适用于肝脏肿瘤的识别方法、装置及电子设备
Xue et al. A deep clustering method for analyzing uterine cervix images across imaging devices
CN115953781A (zh) 基于热层析影像的乳腺人工智能分析系统及方法
Zheng et al. Image segmentation of intestinal polyps using attention mechanism based on convolutional neural network
CN111242168B (zh) 一种基于多尺度注意力特征的人体皮肤图像病变分类方法
CN114764855A (zh) 基于深度学习的膀胱镜下肿瘤智能分割方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant