CN112750111B - 一种牙齿全景片中疾病识别与分割方法 - Google Patents

一种牙齿全景片中疾病识别与分割方法 Download PDF

Info

Publication number
CN112750111B
CN112750111B CN202110048048.XA CN202110048048A CN112750111B CN 112750111 B CN112750111 B CN 112750111B CN 202110048048 A CN202110048048 A CN 202110048048A CN 112750111 B CN112750111 B CN 112750111B
Authority
CN
China
Prior art keywords
map
feature map
feature
convolution
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110048048.XA
Other languages
English (en)
Other versions
CN112750111A (zh
Inventor
郝鹏翼
郑宇祥
吴冬恩
张凡
吴福理
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202110048048.XA priority Critical patent/CN112750111B/zh
Publication of CN112750111A publication Critical patent/CN112750111A/zh
Application granted granted Critical
Publication of CN112750111B publication Critical patent/CN112750111B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542—Evaluating the mouth, e.g. the jaw
    • A61B5/4547—Evaluating teeth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Public Health (AREA)
  • Software Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Fuzzy Systems (AREA)
  • Multimedia (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)

Abstract

本发明公开了一种牙齿全景片中疾病识别与分割方法，首先训练得到准确率较高的多任务、多疾病的第一网络，然后将牙齿全景片输入至第二网络和训练好的第一网络，对第一网络中间层的特征图特征进行精炼、边缘特征精炼，对第一网络分类的预测结果进行标签软化学习疾病之间相似度的暗知识，用来指导第二网络的进一步学习。本发明通过多层特征精炼，将内在知识传递到第二网络，可使第二网络更加优秀，进而提升最终识别和分割的性能。经过多种特征精炼的第二网络，分类准确度、分割精确度高，体积小，特别适合部署在移动应用。

Description

一种牙齿全景片中疾病识别与分割方法
技术领域
本发明属于医疗图像处理领域，尤其涉及了一种牙齿全景片中疾病识别与分割方法。
背景技术
口腔疾病目前已成为世界上大部分人群的健康问题之一。据世界卫生组织最新统计，口腔疾病已被列为继癌症和脑血管疾病之后的第三大疾病。随着经济增长，我国全民的口腔健康状况虽得到逐步改善，但患各种口腔疾病的人群在全体居民中占比高达97.6％，其中除牙列不齐外，龋病、牙周病、牙齿残缺等是我国患病率最高的口腔疾病。
根据第三次全国口腔健康流行病学调查结果，龋病是最普遍的口腔疾病，我国有3亿9千万居民患有龋病，35～44岁、65～74岁年龄组的患龋率分别达到88.1％、98.4％。此外我国约1亿人患有牙周病，在我国占人口比重最高的35～44岁人群中牙龈出血检出率分别高达77.3％；牙石检出率分别高达97.3％；牙周袋检出率达40.9％。牙齿残缺方面，我国患牙齿残缺人数近3500万，35～44岁年龄组有牙齿缺失的比例为37.0％，老年人群平均牙齿缺失的比例为86.1％，由此以上调查可见牙齿疾病已成为我国最为普遍健康问题之一。
口腔全景片具有对比度可调、辐射小、成像快并可实现多角度观察等优点，口腔全景片可观察牙齿数量、牙周组织情况、牙胚发育情况以及是否存在冠根发育畸形、阻生齿和先天牙缺失。口腔全景片在口腔科牙周、牙根疾病和龋齿诊断过程中价值突出，目前在口腔科临床诊治中得到广泛应用。
专利标题，基于深度学习的口腔全景片龋齿深度识别方法，申请号为CN111784639A，申请日期为2020.06.05；专利记载了深度学习的口腔全景片龋齿深度识别方法，该方法采用阈值分割方法提取ROI，分离口腔全景片中的背景区域和目标区域，再采用迁移学习和梯度下降法构建并训练卷积神经网络，最后利用训练好的卷积神经网络提取ROI图像高维特征，进行龋齿深度自动识别。
现有技术集中于单一任务的牙齿疾病区域分割，在牙齿疾病区域识别并进行多任务分割的问题上尚未提出有效策略以增加网络的适用场景，此外网络的参数大小也没有足够重视，没有考虑到庞大网络对部署设备性能的硬性需求，导致其难以部署在移动应用平台上。
发明内容
本申请的目的是提供一种牙齿全景片中疾病识别与分割方法，用以克服现有技术在进行全景片分析牙齿疾病时不能同时进行多种疾病诊断、网络参数量过大等问题。
为了实现上述目的，本申请技术方案如下：
一种牙齿全景片中疾病识别与分割方法，所述牙齿全景片中疾病识别与分割方法，包括：
将牙齿全景片样本Ioriginal输入已构建且训练后的第一网络Uteacher中，得到第一疾病分类预测向量logitsT以及第一特征图列表FeatsT；
将牙齿全景片样本Ioriginal输入已构建的第二网络Ustudent中，得到第二特征图列表FeatsS、当前疾病分类结果和当前病灶分割结果/>
将第一特征图列表FeatsT和第二特征图列表FeatsS进行深度特征提炼，得到深度特征提炼损失Lfeat；
将第一疾病分类预测向量logitsT和当前疾病分类结果进行标签软化，得到软化标签损失Lsoft；
将第一特征图列表FeatsT中的前两张特征图和第二特征图列表FeatsS中的前两张特征图/>进行边缘特征提炼，得到边缘提炼损失Ledge；
将病灶分割标签Labelseg和当前病灶分割结果进行交叉熵计算得到病灶分割损失Lseg，将疾病分类标签Labelclassify和当前疾病分类结果/>进行交叉熵计算得到疾病分类损失Lhard；
将Lsoft、Lfeat、Ledge、Lseg、Lhard五种损失函数加权求和，得到总的损失函数Ltotal，将Ltotal进行反向传播，迭代更新第二网络Ustudent内的参数，直至第二网络Ustudent收敛；
将待检测牙齿全景片输入至已训练完成的第二网络Ustudent中，得到疾病分类结果和病灶分割结果。
进一步的，所述第一网络Uteacher包括一个共享编码器N个解码器/>和一个全连接层/>i∈N，N是疾病种类数；
所述共享编码器由一个卷积操作和四个残差模块/> 组成；所述/>由3个残差块组成，每个残差块由2组串行的卷积操作、批量归一操作、激活操作组成，所述/>由4个残差块组成，每个残差块由2组串行的卷积操作、批量归一操作、激活操作组成，所述/>由6个残差块组成，每个残差块由2组串行的卷积操作、批量归一操作、激活操作组成，所述/>由3个残差块组成，每个残差块由2组串行的卷积操作、批量归一操作、激活操作组成；
所述解码器由四个卷积块/>组成，其中每个卷积块包含两个卷积操作。
进一步的，所述将牙齿全景片样本Ioriginal输入已构建且训练后的第一网络Uteacher中，得到第一疾病分类预测向量logitsT以及第一特征图列表FeatsT，包括：
将牙齿全景片样本Ioriginal经过共享编码器的卷积操作，得到特征图/>
特征图池化后经过残差模块/>得到特征图/>
特征图经过残差模块/>得到特征图/>
特征图经过残差模块/>得到特征图/>
特征图经过残差模块/>得到特征图/>
特征图经过平均池化后输入至N维全连接层/>得到预测向量logitsT；
特征图经过卷积块/>后得到特征图/>
特征图经过卷积块/>后得到特征图/>
特征图经过卷积块/>后得到特征图/>
特征图经过卷积块/>后得到特征图/>
将特征图和/>这8张特征图组合成列表，得到第一特征图列表FeatsT。
进一步的，所述第二网络Ustudent包括一个编码器一个解码器/>一个卷积块/>和一个全卷积层/>所述编码器/>包含4个卷积块/>每个卷积块由2组串行的卷积操作、批量归一化操作、激活操作组成，所述解码器/>包含4个卷积块/> 每个卷积块由2组串行的卷积操作、批量归一操作、激活操作组成，全卷积层/>由一个卷积操作组成。
进一步的，所述将牙齿全景片样本Ioriginal输入已构建的第二网络Ustudent中，得到第二特征图列表FeatsS、当前疾病分类结果和当前病灶分割结果/>包括：
将牙齿全景片样本Ioriginal经过编码器的卷积块/>得到输出特征图/>
特征图池化后经过卷积块/>得到特征图/>
特征图池化后经过卷积块/>得到特征图/>
特征图池化后经过卷积块/>得到特征图/>
特征图池化后经过卷积/>得到特征图/>
特征图平均池化后输入至N维全连接层/>得到预测向量logitsS，全连接层维度由疾病种类N决定；
将logitsS输入softmax函数，得到当前疾病分类结果softmax函数表达式如下；
zi是预测向量logitsS中的元素值，qi是zi经过softmax函数后得到的对应结果，qi组合成N维向量得到
将特征图进行上采样后和/>进行特征拼接，再经过/>中的卷积块/>后得到特征图/>
将特征图进行上采样后和/>进行特征拼接，再经过/>中的卷积块/>后得到特征图/>
将特征图进行上采样后和/>进行特征拼接，再经过/>中的卷积块/>后得到特征图/>
将特征图输入/>中的卷积块/>得到特征图/>对/>的每一通道均用sigmoid函数进行激活，得到/>上每个像素点属于病灶区域的概率，将其乘以255得到当前病灶的分割结果/>
将特征图和/>这8张特征图组合成列表，得到第二特征图列表FeatsS。
进一步的，所述将第一特征图列表FeatsT和第二特征图列表FeatsS进行深度特征提炼，得到深度特征提炼损失Lfeat，包括：
步骤3.1、计算FeatsT特征图列表长度，得到列表长度Length，根据Length进行循环，其中第i次循环操作如下，i∈Length：
从FeatsT中获取第i张特征图经过margin ReLU函数得到/>margin ReLU函数定义如下：
是一个小于0的数，定义是负响应的逐通道期望值，计算方法如下：
表示/>中的通道数/>表示特征图/>每一个通道中的像素点；
步骤3.2、从FeatsS中获取第i张特征图经过一个卷积操作得到/>计算和/>的/>距离，将计算得到的/>距离进行叠加得到总体深度特征提炼损失L′total，/>距离和L′ftotal计算公式如下：
步骤3.3、循环结束后将总体深度特征提炼损失L′ftotal除以列表长度Length，得到深度特征提炼损失Lfeat，Lfeat计算公式如下：
进一步的，所述将第一疾病分类预测向量logitsT和当前疾病分类结果进行标签软化，得到软化标签损失Lsoft，包括：
步骤4.1、将预测向量logitsT经过标签软化函数，得到软化标签Labelsoft，标签软化函数如下：
zi是预测向量logitsT中的元素值，T是设定的温度值，用来缩小不同疾病间标签的差距，是经过zi标签软化函数后得到的对应结果，/>组合成N维向量得到软化标签Labelsoft；
步骤4.2、将当前疾病分类结果和软化标签Labelsoft进行交叉熵损失计算，得到软化损失Lsoft，Lsoft计算公式如下；
进一步的，所述将第一特征图列表FeatsT中的前两张特征图和第二特征图列表Featss中的前两张特征图/>进行边缘特征提炼，得到边缘提炼损失Ledge，包括：
步骤5.1、将FeatsT中的前两张特征图和/>分别进行两个卷积操作，得到特征图/>和特征图/>
步骤5.2、将特征图和特征图/>融合，得到边缘特征图/>
步骤5.3、将FeatsS中的前两张特征图和/>分别经过两个卷积操作，得到特征图/>和特征图/>
步骤5.4、将特征图和特征图/>融合，得到边缘特征图/>
步骤5.5、将边缘特征图和边缘分割图/>进行交叉熵计算，得到边缘提炼损失Ledge，Ledge计算公式如下：
进一步的，所述将病灶分割标签Labelseg和当前病灶分割结果进行交叉熵计算得到病灶分割损失Lseg，将疾病分类标签Labelclassify和当前疾病分类结果进行交叉熵计算得到疾病分类损失Lhard，包括：
步骤6.1、将疾病分割标签Labelseg和当前病灶分割结果进行交叉熵计算，得到分割损失Lseg，计算公式如下：
步骤6.2、将疾病分类标签Labelclassify和当前疾病分类结果进行交叉熵计算，得到分类损失Lhard，计算公式如下：
进一步的，所述将Lsoft、Lfeat、Ledge、Lseg、Lhard，五种损失函数加权求和，得到总的损失函数Ltotal，将Ltotal进行反向传播，迭代更新第二网络Ustudent内的参数，直至第二网络Ustudent收敛，包括：
步骤7.1、将Lsoft、Lfeat、Ledge、Lseg、Lhard，五种损失函数加权求和，得到总的损失函数Ltotal；
Ltotal＝αLsoft+βLhard+γLfeat+δLseg+εLedge；
步骤7.2、将Ltotal进行反向传播，迭代更新Ustudent内的参数。
本申请提出的一种牙齿全景片中疾病识别与分割方法，首先对第一网络进行预训练，得到准确率较高的多任务、多疾病的分类分割网络；然后将牙齿全景片样本输入至第一网络和第二网络，在第二网络训练的同时获得中间层的特征，进行特征精炼，学习中间层知识，另外从第一网络的预测结果上学习包含疾病之间相似度的暗知识，得到第二网络。本申请先获取精确但庞大的第一网络，再获取精确度较低但体积很小的第二网络，通过多层特征精炼，将内在知识传递到第二网络，可使第二网络更加优秀，进而提升最终识别和分割的性能。本申请经过多种特征精炼得到的第二网络，分类准确度、分割精确度高，体积小，特别适合部署在移动应用。
附图说明
图1是本申请牙齿全景片中疾病识别与分割方法流程图；
图2是本申请牙齿全景片中疾病识别与分割方法流程框图；
图3是本申请的Uteacher网络结构示意图；
图4是本申请的Ustudent网络结构示意图.
图5是本申请深度特征提取示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1、图2所示，提供了一种牙齿全景片中疾病识别与分割方法，包括：
步骤S1、将牙齿全景片样本Ioriginal输入已构建且训练后的第一网络Uteacher中，得到第一疾病分类预测向量logitsT以及第一特征图列表FeatsT。
本申请将传统的编码器-解码器结构扩展到1个编码器对应多个解码器以实现多种牙齿疾病的分割，同时添加全连接层来实现牙齿疾病的多分类。
本申请Uteacher由一个N个/>(∈N，N表示疾病种类)和一个/>构成，/>是共享编码器，用来提取各类疾病中相似的特征，/>(∈N，N表示疾病种类)是分割第i类(∈N，N表示疾病种类)疾病所使用的解码器，/>是一个全连接层，将分布式特征表示映射到样本标记空间，得到第一疾病分类预测向量logitsT。
具体的，如图3所示，所述共享编码器由一个卷积操作和四个残差模块组成。所述/>由3个残差块组成，所述/>由4个残差块组成，所述/>由6个残差块组成，所述/>由3个残差块组成。每个残差块由2组串行的卷积操作、批量归一操作、激活操作组成。
所述解码器由四个卷积块/>组成，其中每个卷积块包含两个卷积操作。
具体的，所述将牙齿全景片样本Ioriginal输入已构建且训练后的第一网络Uteacher中，得到第一疾病分类预测向量logitsT以及第一特征图列表FeatsT，包括：
将牙齿全景片样本Ioriginal经过共享编码器的卷积操作，得到特征图/>
特征图池化后经过残差模块/>得到特征图/>
特征图经过残差模块/>得到特征图/>
特征图经过残差模块/>得到特征图/>
特征图经过残差模块/>得到特征图/>
特征图经过平均池化后输入至N维全连接层/>得到预测向量logitsT；
特征图经过卷积块/>后得到特征图/>
特征图经过卷积块/>后得到特征图/>
特征图经过卷积块/>后得到特征图/>
特征图经过卷积块/>后得到特征图/>
将特征图和/>这8张特征图组合成列表，得到第一特征图列表FeatsT。
步骤S2、将牙齿全景片样本Ioriginal输入已构建的第二网络Ustudent中，得到第二特征图列表FeatsS、当前疾病分类结果和当前病灶分割结果/>
如图4所示，本申请第二网络Ustudent包括一个编码器一个解码器/>一个卷积块/>和一个全卷积层/>所述编码器/>包含4个卷积块/>每个卷积块由2组串行的卷积操作、批量归一化操作、激活操作组成，所述解码器/>包含4个卷积块/> 每个卷积块由2组串行的卷积操作、批量归一操作、激活操作组成，全卷积层/>由一个卷积操作组成。
具体的，所述将牙齿全景片样本Ioriginal输入已构建的第二网络Ustudent中，得到第二特征图列表FeatsS、当前疾病分类结果和当前病灶分割结果/>包括：
将牙齿全景片样本Ioriginal经过编码器的卷积块/>得到输出特征图
特征图池化后经过卷积块/>得到特征图/>
特征图池化后经过卷积块/>得到特征图/>
特征图池化后经过卷积块/>得到特征图/>
特征图池化后经过卷积/>得到特征图/>
特征图平均池化后输入至N维全连接层/>得到预测向量logitss，全连接层维度由疾病种类N决定；
将logitss输入softmax函数，得到当前疾病分类结果softmax函数表达式如下；
zi是预测向量logitsS中的元素值，qi是zi经过softmax函数后得到的对应结果，qi组合成N维向量得到
将特征图进行上采样后和/>进行特征拼接，再经过/>中的卷积块/>后得到特征图/>
将特征图进行上采样后和/>进行特征拼接，再经过/>中的卷积块/>后得到特征图/>
将特征图进行上采样后和/>进行特征拼接，再经过/>中的卷积块/>后得到特征图/>
将特征图输入/>中的卷积块/>得到特征图/>对/>的每一通道均用sigmoid函数进行激活，得到/>上每个像素点属于病灶区域的概率，将其乘以255得到当前病灶的分割结果/>
将特征图和/>这8张特征图组合成列表，得到第二特征图列表FeatsS。
步骤S3、将第一特征图列表FeatsT和第二特征图列表Featss进行深度特征提炼，得到深度特征提炼损失Lfeat。
本申请深度特征提炼损失Lfeat用来指导Ustudent学习Uteacher的中间层的多种特征，提高分类和分割任务的准确率。
本申请将第一特征图列表FeatsT和第二特征图列表Featss进行深度特征提炼，得到深度特征提炼损失Lfeat，包括：
步骤3.1、计算FeatsT特征图列表长度，得到列表长度Length，根据Length进行循环，其中第i次循环操作如下，i∈Length：
从FeatsT中获取第i张特征图经过margin ReLU函数得到/>margin ReLU函数定义如下：
是一个小于0的数，定义是负响应的逐通道期望值，计算方法如下：
表示/>中的通道数/>表示特征图/>每一个通道中的像素点；
步骤3.2、从Featss中获取第i张特征图经过一个卷积操作得到/>计算和/>的/>距离，将计算得到的/>距离进行叠加得到总体深度特征提炼损失L′total，/>距离和L′ftotal计算公式如下：
步骤3.3、循环结束后将总体深度特征提炼损失L′ftotal除以列表长度Length，得到深度特征提炼损失Lfeat，Lfeat计算公式如下：
本申请进行深度特征提炼如图5所示，对于第一特征图列表中的特征图，需要经过margin ReLU函数，对于第二特征图列表中的特征图需要经过卷积核大小为1×1的卷积核进行图像大小转换。
步骤S4、将第一疾病分类预测向量logitsT和当前疾病分类结果进行标签软化，得到软化标签损失Lsoft。
本申请软化标签损失Lsoft用来学习标签中隐含的暗知识，指导Ustudent分类任务的学习，提高分类任务的准确性。
具体的，本申请将第一疾病分类预测向量logitsT和当前疾病分类结果进行标签软化，得到软化标签损失Lsoft，包括：
步骤4.1、将预测向量logitsT经过标签软化函数，得到软化标签Labelsoft，标签软化函数如下：
zi是预测向量logitsT中的元素值，T是设定的阈值，用来缩小不同疾病间标签的差距，是zi经过标签软化函数后得到的对应结果，/>组合成N维向量得到软化标签Labelsoft；
步骤4.2、将当前疾病分类结果和软化标签Labelsoft进行交叉熵损失计算，得到软化损失Lsoft，Lsoft计算公式如下；
需要说明的是，步骤4.1中所述T是设定的温度值，设定为100，用来缩小不同类型疾病之间的概率差异。
步骤S5、将第一特征图列表FeatsT中的前两张特征图和第二特征图列表Featss中的前两张特征图/>进行边缘特征提炼，得到边缘提炼损失Ledge。
本申请边缘提炼损失Ledge用来指导Ustudent学习Uteacher的中间层提取到的病灶边缘特征，提升Ustudent对病灶边缘的分割能力。
具体的，所述将第一特征图列表FeatsT中的前两张特征图和第二特征图列表FeatsS中的前两张特征图/>进行边缘特征提炼，得到边缘提炼损失Ledge，包括：
步骤5.1、将FeatsT中的前两张特征图和/>分别进行两个卷积操作，得到特征图/>和特征图/>
步骤5.2、将特征图和特征图/>融合，得到边缘特征图/>/>
步骤5.3、将FeatsS中的前两张特征图和/>分别经过两个卷积操作，得到特征图/>和特征图/>
步骤5.4、将特征图和特征图/>融合，得到边缘特征图/>
步骤5.5、将边缘特征图和边缘分割图/>进行交叉熵计算，得到边缘提炼损失Ledge，Ledge计算公式如下：
步骤S6、将病灶分割标签Labelseg和当前病灶分割结果进行交叉熵计算得到病灶分割损失Lseg，将疾病分类标签Labelclassify和当前疾病分类结果/>进行交叉熵计算得到疾病分类损失Lhard。
具体的，包括：
步骤6.1、将疾病分割标签Labelseg和当前病灶分割结果进行交叉熵计算，得到分割损失Lseg，计算公式如下：
步骤6.2、将疾病分类标签Labelclassify和当前疾病分类结果进行交叉熵计算，得到分类损失Lhard，计算公式如下：
步骤S7、将Lsoft、Lfeat、Ledge、Lseg、Lhard五种损失函数加权求和，得到总的损失函数Ltotal，将Ltotal进行反向传播，迭代更新第二网络Ustudent内的参数，直至第二网络Ustudent收敛。
具体的，包括：
步骤7.1、将Lsoft、Lfeat、Ledge、Lseg、Lhard，五种损失函数加权求和，得到总的损失函数Ltotal；
Ltotal＝αLsoft+βLhard+γLfeat+δLseg+εLedge；
步骤7.2、将Ltotal进行反向传播，迭代更新Ustudent内的参数。
在训练出第二网络后，将待检测牙齿全景片输入至已训练完成的第二网络Ustudent中，得到疾病分类结果和病灶分割结果。
本申请在第一网络中，利用共享编码器提取病灶间相似的特征，将提取到的特征输入到两处，一是输入到用于将特征映射到样本标签空间的全连接层，二是输入到用来完成不同疾病分割任务的各独立解码器，得到准确率较高的多任务、多疾病的第二网络。然后将牙齿全景片输入至第二网络和训练好的第一网络，对第一网络中间层的特征图特征进行精炼、边缘特征精炼，对第一网络分类的预测结果进行标签软化学习疾病之间相似度的暗知识，用来指导第二网络的进一步学习。本申请先获取准确度较高但参数量过大的第一网络，再获取精确度较低但参数量小的第二网络，通过多层特征精炼，将内在知识传递到第二网络，可使第二网络更加优秀，进而提升最终识别和分割的性能。本申请经过多种特征精炼得到的第二网络，分类准确度、分割精确度高，体积小，特别适合部署在移动应用。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种牙齿全景片中疾病识别与分割方法，其特征在于，所述牙齿全景片中疾病识别与分割方法，包括：
将牙齿全景片样本Ioriginal输入已构建且训练后的第一网络Uteacher中，得到第一疾病分类预测向量logitsT以及第一特征图列表FeatsT；
将牙齿全景片样本Ioriginal输入已构建的第二网络Ustudent中，得到第二特征图列表FeatsS、当前疾病分类结果和当前病灶分割结果/>
将第一特征图列表FeatsT和第二特征图列表FeatsS进行深度特征提炼，得到深度特征提炼损失Lfeat；
将第一疾病分类预测向量logitsT和当前疾病分类结果进行标签软化，得到软化标签损失Lsoft；
将第一特征图列表FeatsT中的前两张特征图和第二特征图列表FeatsS中的前两张特征图/>进行边缘特征提炼，得到边缘提炼损失Ledge；
将病灶分割标签Labelseg和当前病灶分割结果进行交叉熵计算得到病灶分割损失Lseg，将疾病分类标签Labelclassify和当前疾病分类结果/>进行交叉熵计算得到疾病分类损失Lhard；
将Lsoft、Lfeat、Ledge、Lseg、Lhard五种损失函数加权求和，得到总的损失函数Ltotal，将Ltotal进行反向传播，迭代更新第二网络Ustudent内的参数，直至第二网络Ustudent收敛；
将待检测牙齿全景片输入至已训练完成的第二网络Ustudent中，得到疾病分类结果和病灶分割结果。
2.根据权利要求1所述的牙齿全景片中疾病识别与分割方法，其特征在于，所述第一网络Uteacher包括一个共享编码器N个解码器/>和一个全连接层/>N是疾病种类数；
所述共享编码器由一个卷积操作和四个残差模块/> 组成；所述/>由3个残差块组成，每个残差块由2组串行的卷积操作、批量归一操作、激活操作组成，所述/>由4个残差块组成，每个残差块由2组串行的卷积操作、批量归一操作、激活操作组成，所述/>由6个残差块组成，每个残差块由2组串行的卷积操作、批量归一操作、激活操作组成，所述/>由3个残差块组成，每个残差块由2组串行的卷积操作、批量归一操作、激活操作组成；
所述解码器由四个卷积块/>组成，其中每个卷积块包含两个卷积操作。
3.根据权利要求2所述的牙齿全景片中疾病识别与分割方法，其特征在于，所述将牙齿全景片样本Ioriginal输入已构建且训练后的第一网络Uteacher中，得到第一疾病分类预测向量logitsT以及第一特征图列表FeatsT，包括：
将牙齿全景片样本Ioriginal经过共享编码器的卷积操作，得到特征图/>
特征图池化后经过残差模块/>得到特征图/>
特征图经过残差模块/>得到特征图/>
特征图经过残差模块/>得到特征图/>
特征图经过残差模块/>得到特征图/>
特征图经过平均池化后输入至N维全连接层/>得到预测向量logitsT；
特征图经过卷积块/>后得到特征图/>
特征图经过卷积块/>后得到特征图/>
特征图经过卷积块/>后得到特征图/>
特征图经过卷积块/>后得到特征图/>
将特征图和/>这8张特征图组合成列表，得到第一特征图列表FeatsT。
4.根据权利要求1所述的牙齿全景片中疾病识别与分割方法，其特征在于，所述第二网络Ustudent包括一个编码器一个解码器/>一个卷积块/>和一个全卷积层所述编码器/>包含4个卷积块/>每个卷积块由2组串行的卷积操作、批量归一化操作、激活操作组成，所述解码器/>包含4个卷积块/> 每个卷积块由2组串行的卷积操作、批量归一操作、激活操作组成，全卷积层/>由一个卷积操作组成。
5.根据权利要求4所述的牙齿全景片中疾病识别与分割方法，其特征在于，所述将牙齿全景片样本Ioriginal输入已构建的第二网络Ustudent中，得到第二特征图列表FeatsS、当前疾病分类结果和当前病灶分割结果/>包括：
将牙齿全景片样本Ioriginal经过编码器的卷积块/>得到输出特征图/>
特征图池化后经过卷积块/>得到特征图/>
特征图池化后经过卷积块/>得到特征图/>
特征图池化后经过卷积块/>得到特征图/>
特征图池化后经过卷积/>得到特征图/>
特征图平均池化后输入至N维全连接层/>得到预测向量logitsS，全连接层维度由疾病种类N决定；
将logitsS输入softmax函数，得到当前疾病分类结果softmax函数表达式如下；
zi是预测向量logitsS中的元素值，qi是zi经过softmax函数后得到的对应结果，qi组合成N维向量得到
将特征图进行上采样后和/>进行特征拼接，再经过/>中的卷积块/>后得到特征图/>
将特征图进行上采样后和/>进行特征拼接，再经过/>中的卷积块/>后得到特征图/>
将特征图进行上采样后和/>进行特征拼接，再经过/>中的卷积块/>后得到特征图/>
将特征图输入/>中的卷积块/>得到特征图/>对/>的每一通道均用sigmoid函数进行激活，得到/>上每个像素点属于病灶区域的概率，将其乘以255得到当前病灶的分割结果/>
将特征图和/>这8张特征图组合成列表，得到第二特征图列表FeatsS。
6.根据权利要求1所述的牙齿全景片中疾病识别与分割方法，其特征在于，所述将第一特征图列表FeatsT和第二特征图列表FeatsS进行深度特征提炼，得到深度特征提炼损失Lfeat，包括：
步骤3.1、计算FeatsT特征图列表长度，得到列表长度Length，根据Length进行循环，其中第i次循环操作如下，i∈Length：
从FeatsT中获取第i张特征图经过margin ReLU函数得到/>margin ReLU函数定义如下：
是一个小于0的数，定义是负响应的逐通道期望值，计算方法如下：
表示/>中的通道数/>Pi j表示特征图/>每一个通道中的像素点；
步骤3.2、从FeatsS中获取第i张特征图经过一个卷积操作得到/>计算/>和/>的/>距离，将计算得到的/>距离进行叠加得到总体深度特征提炼损失L′total，/>距离和L′ftotal计算公式如下：
步骤3.3、循环结束后将总体深度特征提炼损失L′ftotal除以列表长度Length，得到深度特征提炼损失Lfeat，Lfeat计算公式如下：
7.根据权利要求1所述的牙齿全景片中疾病识别与分割方法，其特征在于，所述将第一疾病分类预测向量logitsT和当前疾病分类结果进行标签软化，得到软化标签损失Lsoft，包括：
步骤4.1、将预测向量logitsT经过标签软化函数，得到软化标签Labelsoft，标签软化函数如下：
zi是预测向量logitsT中的元素值，T是设定的温度值，用来缩小不同疾病间标签的差距，是zi经过标签软化函数后得到的对应结果，/>组合成N维向量得到软化标签Labelsoft；
步骤4.2、将当前疾病分类结果和软化标签Labelsoft进行交叉熵损失计算，得到软化损失Lsoft，Lsoft计算公式如下；
8.根据权利要求1所述的牙齿全景片中疾病识别与分割方法，其特征在于，所述将第一特征图列表FeatsT中的前两张特征图和第二特征图列表FeatsS中的前两张特征图进行边缘特征提炼，得到边缘提炼损失Ledge，包括：
步骤5.1、将FeatsT中的前两张特征图和/>分别进行两个卷积操作，得到特征图/>和特征图/>
步骤5.2、将特征图和特征图/>融合，得到边缘特征图/>
步骤5.3、将FeatsS中的前两张特征图和/>分别经过两个卷积操作，得到特征图/>和特征图/>
步骤5.4、将特征图和特征图/>融合，得到边缘特征图/>
步骤5.5、将边缘特征图和边缘分割图/>进行交叉熵计算，得到边缘提炼损失Ledge，Ledge计算公式如下：
9.根据权利要求1所述的牙齿全景片中疾病识别与分割方法，其特征在于，所述将病灶分割标签Labelseg和当前病灶分割结果进行交叉熵计算得到病灶分割损失Lseg，将疾病分类标签Labelclassify和当前疾病分类结果/>进行交叉熵计算得到疾病分类损失Lhard，包括：
步骤6.1、将疾病分割标签Labelseg和当前病灶分割结果进行交叉熵计算，得到分割损失Lseg，计算公式如下：
步骤6.2、将疾病分类标签Labelclassify和当前疾病分类结果进行交叉熵函数计算，得到分类损失Lhard，计算公式如下：
10.根据权利要求1所述的牙齿全景片中疾病识别与分割方法，其特征在于，所述将Lsoft、Lfeat、Ledge、Lseg、Lhard，五种损失函数加权求和，得到总的损失函数Ltotal，将Ltotal进行反向传播，迭代更新第二网络Ustudent内的参数，直至第二网络Ustudent收敛，包括：
步骤7.1、将Lsoft、Lfeat、Ledge、Lseg、Lhard，五种损失函数加权求和，得到总的损失函数Ltotal；
Ltotal＝αLsoft+βLhard+γLfeat+δLseg+εLedge；
步骤7.2、将Ltotal进行反向传播，迭代更新Ustudent内的参数。
CN202110048048.XA 2021-01-14 2021-01-14 一种牙齿全景片中疾病识别与分割方法 Active CN112750111B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110048048.XA CN112750111B (zh) 2021-01-14 2021-01-14 一种牙齿全景片中疾病识别与分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110048048.XA CN112750111B (zh) 2021-01-14 2021-01-14 一种牙齿全景片中疾病识别与分割方法

Publications (2)

Publication Number Publication Date
CN112750111A CN112750111A (zh) 2021-05-04
CN112750111B true CN112750111B (zh) 2024-02-06

Family

ID=75651818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110048048.XA Active CN112750111B (zh) 2021-01-14 2021-01-14 一种牙齿全景片中疾病识别与分割方法

Country Status (1)

Country Link
CN (1) CN112750111B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408471B (zh) * 2021-07-02 2023-03-28 浙江传媒学院 一种基于多任务深度学习的无绿幕人像实时抠图算法
CN115073170A (zh) * 2022-06-13 2022-09-20 成都高新区正通特种材料厂 一种氧化锆义齿及其制备工艺和使用方法
CN117252825A (zh) * 2023-09-08 2023-12-19 深圳市罗湖区人民医院 基于口腔全景片图像的龋齿识别方法和装置
CN117456289B (zh) * 2023-12-25 2024-03-08 四川大学 一种基于深度学习的颌骨病变分割分类系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN112085028A (zh) * 2020-08-31 2020-12-15 浙江工业大学 基于特征图扰动以及边界监督的牙齿全景片语义分割方法
CN112183635A (zh) * 2020-09-29 2021-01-05 南京农业大学 一种多尺度反卷积网络实现植物叶部病斑分割与识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN112085028A (zh) * 2020-08-31 2020-12-15 浙江工业大学 基于特征图扰动以及边界监督的牙齿全景片语义分割方法
CN112183635A (zh) * 2020-09-29 2021-01-05 南京农业大学 一种多尺度反卷积网络实现植物叶部病斑分割与识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
密集挤压激励网络的多标签胸部X光片疾病分类;张智睿;李锵;关欣;;中国图象图形学报(第10期);全文 *

Also Published As

Publication number Publication date
CN112750111A (zh) 2021-05-04

Similar Documents

Publication Publication Date Title
CN112750111B (zh) 一种牙齿全景片中疾病识别与分割方法
CN111563887B (zh) 一种口腔图像的智能分析方法与装置
CN111985536B (zh) 一种基于弱监督学习的胃镜病理图像分类方法
CN110544264B (zh) 一种基于3d深监督机制的颞骨关键解剖结构小目标分割方法
CN111242288B (zh) 一种用于病变图像分割的多尺度并行深度神经网络模型构建方法
CN110084318B (zh) 一种结合卷积神经网络和梯度提升树的图像识别方法
CN112488234B (zh) 一种基于注意力池化的端到端组织病理图像分类方法
CN115082747B (zh) 基于组块对抗的零样本胃溃疡分类系统
CN114399465B (zh) 良恶性溃疡识别方法及系统
Yue et al. Automated endoscopic image classification via deep neural network with class imbalance loss
CN114511508A (zh) 融合卷积与多层感知机神经网络的结直肠息肉分割方法
CN113222957A (zh) 一种基于胶囊镜图像的多类别病灶高速检测方法及系统
CN114782760A (zh) 一种基于多任务学习的胃部疾病图片分类系统
CN113223005A (zh) 一种甲状腺结节自动分割及分级的智能系统
CN115294075A (zh) 一种基于注意力机制的octa图像视网膜血管分割方法
CN113516181A (zh) 一种数字病理图像的表征学习方法
CN113160151B (zh) 基于深度学习及注意力机制的全景片龋齿深度识别方法
CN113643297B (zh) 一种基于神经网络的计算机辅助牙龄分析方法
CN115937576A (zh) 基于多尺度融合和注意力机制的肺癌病理图像分类系统
CN113538422B (zh) 一种基于染色强度矩阵的病理图像自动分类方法
CN110766665A (zh) 基于强监督算法和深度学习网络的舌象数据分析方法
CN112085742B (zh) 一种基于上下文注意力的nafld超声视频诊断方法
CN112085028B (zh) 基于特征图扰动以及边界监督的牙齿全景片语义分割方法
CN112837278B (zh) 基于深度边界监督的牙齿全景片龋齿识别方法
CN110992309B (zh) 基于深层信息传递网络的眼底图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant