CN112750111A - 一种牙齿全景片中疾病识别与分割方法 - Google Patents

一种牙齿全景片中疾病识别与分割方法 Download PDF

Info

Publication number
CN112750111A
CN112750111A CN202110048048.XA CN202110048048A CN112750111A CN 112750111 A CN112750111 A CN 112750111A CN 202110048048 A CN202110048048 A CN 202110048048A CN 112750111 A CN112750111 A CN 112750111A
Authority
CN
China
Prior art keywords
characteristic diagram
feature map
loss
network
obtaining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110048048.XA
Other languages
English (en)
Other versions
CN112750111B (zh
Inventor
郝鹏翼
郑宇祥
吴冬恩
张凡
吴福理
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202110048048.XA priority Critical patent/CN112750111B/zh
Publication of CN112750111A publication Critical patent/CN112750111A/zh
Application granted granted Critical
Publication of CN112750111B publication Critical patent/CN112750111B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542—Evaluating the mouth, e.g. the jaw
    • A61B5/4547—Evaluating teeth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computing Systems (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Psychiatry (AREA)
  • Fuzzy Systems (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)
  • Multimedia (AREA)
  • Physical Education & Sports Medicine (AREA)

Abstract

本发明公开了一种牙齿全景片中疾病识别与分割方法，首先训练得到准确率较高的多任务、多疾病的第一网络，然后将牙齿全景片输入至第二网络和训练好的第一网络，对第一网络中间层的特征图特征进行精炼、边缘特征精炼，对第一网络分类的预测结果进行标签软化学习疾病之间相似度的暗知识，用来指导第二网络的进一步学习。本发明通过多层特征精炼，将内在知识传递到第二网络，可使第二网络更加优秀，进而提升最终识别和分割的性能。经过多种特征精炼的第二网络，分类准确度、分割精确度高，体积小，特别适合部署在移动应用。

Description

一种牙齿全景片中疾病识别与分割方法
技术领域
本发明属于医疗图像处理领域，尤其涉及了一种牙齿全景片中疾病识别与分割方法。
背景技术
口腔疾病目前已成为世界上大部分人群的健康问题之一。据世界卫生组织最新统计，口腔疾病已被列为继癌症和脑血管疾病之后的第三大疾病。随着经济增长，我国全民的口腔健康状况虽得到逐步改善，但患各种口腔疾病的人群在全体居民中占比高达97.6％，其中除牙列不齐外，龋病、牙周病、牙齿残缺等是我国患病率最高的口腔疾病。
根据第三次全国口腔健康流行病学调查结果，龋病是最普遍的口腔疾病，我国有3亿9千万居民患有龋病，35～44岁、65～74岁年龄组的患龋率分别达到88.1％、98.4％。此外我国约1亿人患有牙周病，在我国占人口比重最高的35～44岁人群中牙龈出血检出率分别高达77.3％；牙石检出率分别高达97.3％；牙周袋检出率达40.9％。牙齿残缺方面，我国患牙齿残缺人数近3500万，35～44岁年龄组有牙齿缺失的比例为37.0％，老年人群平均牙齿缺失的比例为86.1％，由此以上调查可见牙齿疾病已成为我国最为普遍健康问题之一。
口腔全景片具有对比度可调、辐射小、成像快并可实现多角度观察等优点，口腔全景片可观察牙齿数量、牙周组织情况、牙胚发育情况以及是否存在冠根发育畸形、阻生齿和先天牙缺失。口腔全景片在口腔科牙周、牙根疾病和龋齿诊断过程中价值突出，目前在口腔科临床诊治中得到广泛应用。
专利标题，基于深度学习的口腔全景片龋齿深度识别方法，申请号为CN111784639A，申请日期为2020.06.05；专利记载了深度学习的口腔全景片龋齿深度识别方法，该方法采用阈值分割方法提取ROI，分离口腔全景片中的背景区域和目标区域，再采用迁移学习和梯度下降法构建并训练卷积神经网络，最后利用训练好的卷积神经网络提取ROI图像高维特征，进行龋齿深度自动识别。
现有技术集中于单一任务的牙齿疾病区域分割，在牙齿疾病区域识别并进行多任务分割的问题上尚未提出有效策略以增加网络的适用场景，此外网络的参数大小也没有足够重视，没有考虑到庞大网络对部署设备性能的硬性需求，导致其难以部署在移动应用平台上。
发明内容
本申请的目的是提供一种牙齿全景片中疾病识别与分割方法，用以克服现有技术在进行全景片分析牙齿疾病时不能同时进行多种疾病诊断、网络参数量过大等问题。
为了实现上述目的，本申请技术方案如下：
一种牙齿全景片中疾病识别与分割方法，所述牙齿全景片中疾病识别与分割方法，包括：
将牙齿全景片样本Ioriginal输入已构建且训练后的第一网络Uteacher中，得到第一疾病分类预测向量logitsT以及第一特征图列表FeatsT；
将牙齿全景片样本Ioriginal输入已构建的第二网络Ustudent中，得到第二特征图列表FeatsS、当前疾病分类结果
Figure BDA0002898166110000021
和当前病灶分割结果
Figure BDA0002898166110000022
将第一特征图列表FeatsT和第二特征图列表FeatsS进行深度特征提炼，得到深度特征提炼损失Lfeat；
将第一疾病分类预测向量logitsT和当前疾病分类结果
Figure BDA0002898166110000023
进行标签软化，得到软化标签损失Lsoft；
将第一特征图列表FeatsT中的前两张特征图
Figure BDA0002898166110000024
和第二特征图列表FeatsS中的前两张特征图
Figure BDA0002898166110000025
进行边缘特征提炼，得到边缘提炼损失Ledge；
将病灶分割标签Labelseg和当前病灶分割结果
Figure BDA0002898166110000026
进行交叉熵计算得到病灶分割损失Lseg，将疾病分类标签Labelclassify和当前疾病分类结果
Figure BDA0002898166110000027
进行交叉熵计算得到疾病分类损失Lhard；
将Lsoft、Lfeat、Ledge、Lseg、Lhard五种损失函数加权求和，得到总的损失函数Ltotal，将Ltotal进行反向传播，迭代更新第二网络Ustudent内的参数，直至第二网络Ustudent收敛；
将待检测牙齿全景片输入至已训练完成的第二网络Ustudent中，得到疾病分类结果和病灶分割结果。
进一步的，所述第一网络Uteacher包括一个共享编码器
Figure BDA0002898166110000031
N个解码器
Figure BDA0002898166110000032
和一个全连接层
Figure BDA0002898166110000033
i∈N，N是疾病种类数；
所述共享编码器
Figure BDA0002898166110000034
由一个卷积操作和四个残差模块
Figure BDA0002898166110000035
Figure BDA0002898166110000036
组成；所述
Figure BDA0002898166110000037
由3个残差块组成，每个残差块由2组串行的卷积操作、批量归一操作、激活操作组成，所述
Figure BDA0002898166110000038
由4个残差块组成，每个残差块由2组串行的卷积操作、批量归一操作、激活操作组成，所述
Figure BDA0002898166110000039
由6个残差块组成，每个残差块由2组串行的卷积操作、批量归一操作、激活操作组成，所述
Figure BDA00028981661100000310
由3个残差块组成，每个残差块由2组串行的卷积操作、批量归一操作、激活操作组成；
所述解码器
Figure BDA00028981661100000311
由四个卷积块
Figure BDA00028981661100000312
组成，其中每个卷积块包含两个卷积操作。
进一步的，所述将牙齿全景片样本Ioriginal输入已构建且训练后的第一网络Uteacher中，得到第一疾病分类预测向量logitsT以及第一特征图列表FeatsT，包括：
将牙齿全景片样本Ioriginal经过共享编码器
Figure BDA00028981661100000313
的卷积操作，得到特征图
Figure BDA00028981661100000314
特征图
Figure BDA00028981661100000315
池化后经过残差模块
Figure BDA00028981661100000316
得到特征图
Figure BDA00028981661100000317
特征图
Figure BDA00028981661100000318
经过残差模块
Figure BDA00028981661100000319
得到特征图
Figure BDA00028981661100000320
特征图
Figure BDA00028981661100000321
经过残差模块
Figure BDA00028981661100000322
得到特征图
Figure BDA00028981661100000323
特征图
Figure BDA00028981661100000324
经过残差模块
Figure BDA00028981661100000325
得到特征图
Figure BDA00028981661100000326
特征图
Figure BDA00028981661100000327
经过平均池化后输入至N维全连接层
Figure BDA00028981661100000328
得到预测向量logitsT；
特征图
Figure BDA00028981661100000329
经过卷积块
Figure BDA00028981661100000330
后得到特征图
Figure BDA00028981661100000331
特征图
Figure BDA00028981661100000332
经过卷积块
Figure BDA00028981661100000333
后得到特征图
Figure BDA00028981661100000334
特征图
Figure BDA00028981661100000335
经过卷积块
Figure BDA00028981661100000336
后得到特征图
Figure BDA00028981661100000337
特征图
Figure BDA0002898166110000041
经过卷积块
Figure BDA0002898166110000042
后得到特征图
Figure BDA0002898166110000043
将特征图
Figure BDA0002898166110000044
和
Figure BDA0002898166110000045
这8张特征图组合成列表，得到第一特征图列表FeatsT。
进一步的，所述第二网络Ustudent包括一个编码器
Figure BDA0002898166110000046
一个解码器
Figure BDA0002898166110000047
一个卷积块
Figure BDA0002898166110000048
和一个全卷积层
Figure BDA0002898166110000049
所述编码器
Figure BDA00028981661100000410
包含4个卷积块
Figure BDA00028981661100000411
每个卷积块由2组串行的卷积操作、批量归一化操作、激活操作组成，所述解码器
Figure BDA00028981661100000412
包含4个卷积块
Figure BDA00028981661100000413
Figure BDA00028981661100000414
每个卷积块由2组串行的卷积操作、批量归一操作、激活操作组成，全卷积层
Figure BDA00028981661100000415
由一个卷积操作组成。
进一步的，所述将牙齿全景片样本Ioriginal输入已构建的第二网络Ustudent中，得到第二特征图列表FeatsS、当前疾病分类结果
Figure BDA00028981661100000416
和当前病灶分割结果
Figure BDA00028981661100000417
包括：
将牙齿全景片样本Ioriginal经过编码器
Figure BDA00028981661100000418
的卷积块
Figure BDA00028981661100000419
得到输出特征图
Figure BDA00028981661100000420
特征图
Figure BDA00028981661100000421
池化后经过卷积块
Figure BDA00028981661100000422
得到特征图
Figure BDA00028981661100000423
特征图
Figure BDA00028981661100000424
池化后经过卷积块
Figure BDA00028981661100000425
得到特征图
Figure BDA00028981661100000426
特征图
Figure BDA00028981661100000427
池化后经过卷积块
Figure BDA00028981661100000428
得到特征图
Figure BDA00028981661100000429
特征图
Figure BDA00028981661100000430
池化后经过卷积
Figure BDA00028981661100000431
得到特征图
Figure BDA00028981661100000432
特征图
Figure BDA00028981661100000433
平均池化后输入至N维全连接层
Figure BDA00028981661100000434
得到预测向量logitsS，全连接层维度由疾病种类N决定；
将logitsS输入softmax函数，得到当前疾病分类结果
Figure BDA00028981661100000435
softmax函数表达式如下；
Figure BDA00028981661100000436
zi是预测向量logitsS中的元素值，qi是zi经过softmax函数后得到的对应结果，qi组合成N维向量得到
Figure BDA00028981661100000437
将特征图
Figure BDA00028981661100000438
进行上采样后和
Figure BDA00028981661100000439
进行特征拼接，再经过
Figure BDA00028981661100000440
中的卷积块
Figure BDA00028981661100000441
后得到特征图
Figure BDA00028981661100000442
将特征图
Figure BDA0002898166110000051
进行上采样后和
Figure BDA0002898166110000052
进行特征拼接，再经过
Figure BDA0002898166110000053
中的卷积块
Figure BDA0002898166110000054
后得到特征图
Figure BDA0002898166110000055
将特征图
Figure BDA0002898166110000056
进行上采样后和
Figure BDA0002898166110000057
进行特征拼接，再经过
Figure BDA0002898166110000058
中的卷积块
Figure BDA0002898166110000059
后得到特征图
Figure BDA00028981661100000510
将特征图
Figure BDA00028981661100000511
输入
Figure BDA00028981661100000512
中的卷积块
Figure BDA00028981661100000513
得到特征图
Figure BDA00028981661100000514
对
Figure BDA00028981661100000515
的每一通道均用sigmoid函数进行激活，得到
Figure BDA00028981661100000516
上每个像素点属于病灶区域的概率，将其乘以255得到当前病灶的分割结果
Figure BDA00028981661100000517
Figure BDA00028981661100000518
将特征图
Figure BDA00028981661100000519
和
Figure BDA00028981661100000520
这8张特征图组合成列表，得到第二特征图列表FeatsS。
进一步的，所述将第一特征图列表FeatsT和第二特征图列表FeatsS进行深度特征提炼，得到深度特征提炼损失Lfeat，包括：
步骤3.1、计算FeatsT特征图列表长度，得到列表长度Length，根据Length进行循环，其中第i次循环操作如下，i∈Length：
从FeatsT中获取第i张特征图
Figure BDA00028981661100000521
经过margin ReLU函数得到
Figure BDA00028981661100000522
margin ReLU函数定义如下：
Figure BDA00028981661100000523
Figure BDA00028981661100000537
是一个小于0的数，定义是负响应的逐通道期望值，计算方法如下：
Figure BDA00028981661100000524
Figure BDA00028981661100000525
表示
Figure BDA00028981661100000526
中的通道数
Figure BDA00028981661100000527
表示特征图
Figure BDA00028981661100000528
每一个通道中的像素点；
步骤3.2、从FeatsS中获取第i张特征图
Figure BDA00028981661100000529
经过一个卷积操作得到
Figure BDA00028981661100000530
计算
Figure BDA00028981661100000531
和
Figure BDA00028981661100000532
的
Figure BDA00028981661100000533
距离，将计算得到的
Figure BDA00028981661100000534
距离进行叠加得到总体深度特征提炼损失L′total，
Figure BDA00028981661100000535
距离和L′ftotal计算公式如下：
Figure BDA00028981661100000536
Figure BDA0002898166110000061
步骤3.3、循环结束后将总体深度特征提炼损失L′ftotal除以列表长度Length，得到深度特征提炼损失Lfeat，Lfeat计算公式如下：
Figure BDA0002898166110000062
进一步的，所述将第一疾病分类预测向量logitsT和当前疾病分类结果
Figure BDA0002898166110000063
进行标签软化，得到软化标签损失Lsoft，包括：
步骤4.1、将预测向量logitsT经过标签软化函数，得到软化标签Labelsoft，标签软化函数如下：
Figure BDA0002898166110000064
zi是预测向量logitsT中的元素值，T是设定的温度值，用来缩小不同疾病间标签的差距，
Figure BDA0002898166110000065
是经过zi标签软化函数后得到的对应结果，
Figure BDA0002898166110000066
组合成N维向量得到软化标签Labelsoft；
步骤4.2、将当前疾病分类结果
Figure BDA0002898166110000067
和软化标签Labelsoft进行交叉熵损失计算，得到软化损失Lsoft，Lsoft计算公式如下；
Figure BDA0002898166110000068
进一步的，所述将第一特征图列表FeatsT中的前两张特征图
Figure BDA0002898166110000069
和第二特征图列表Featss中的前两张特征图
Figure BDA00028981661100000610
进行边缘特征提炼，得到边缘提炼损失Ledge，包括：
步骤5.1、将FeatsT中的前两张特征图
Figure BDA00028981661100000611
和
Figure BDA00028981661100000612
分别进行两个卷积操作，得到特征图
Figure BDA00028981661100000613
和特征图
Figure BDA00028981661100000614
步骤5.2、将特征图
Figure BDA00028981661100000615
和特征图
Figure BDA00028981661100000616
融合，得到边缘特征图
Figure BDA00028981661100000617
步骤5.3、将FeatsS中的前两张特征图
Figure BDA00028981661100000618
和
Figure BDA00028981661100000619
分别经过两个卷积操作，得到特征图
Figure BDA00028981661100000620
和特征图
Figure BDA00028981661100000621
步骤5.4、将特征图
Figure BDA00028981661100000622
和特征图
Figure BDA00028981661100000623
融合，得到边缘特征图
Figure BDA00028981661100000624
步骤5.5、将边缘特征图
Figure BDA00028981661100000625
和边缘分割图
Figure BDA00028981661100000626
进行交叉熵计算，得到边缘提炼损失Ledge，Ledge计算公式如下：
Figure BDA00028981661100000627
进一步的，所述将病灶分割标签Labelseg和当前病灶分割结果
Figure BDA00028981661100000628
进行交叉熵计算得到病灶分割损失Lseg，将疾病分类标签Labelclassify和当前疾病分类结果
Figure BDA0002898166110000071
进行交叉熵计算得到疾病分类损失Lhard，包括：
步骤6.1、将疾病分割标签Labelseg和当前病灶分割结果
Figure BDA0002898166110000072
进行交叉熵计算，得到分割损失Lseg，计算公式如下：
Figure BDA0002898166110000073
步骤6.2、将疾病分类标签Labelclassify和当前疾病分类结果
Figure BDA0002898166110000074
进行交叉熵计算，得到分类损失Lhard，计算公式如下：
Figure BDA0002898166110000075
进一步的，所述将Lsoft、Lfeat、Ledge、Lseg、Lhard，五种损失函数加权求和，得到总的损失函数Ltotal，将Ltotal进行反向传播，迭代更新第二网络Ustudent内的参数，直至第二网络Ustudent收敛，包括：
步骤7.1、将Lsoft、Lfeat、Ledge、Lseg、Lhard，五种损失函数加权求和，得到总的损失函数Ltotal；
Ltotal＝αLsoft+βLhard+γLfeat+δLseg+εLedge；
步骤7.2、将Ltotal进行反向传播，迭代更新Ustudent内的参数。
本申请提出的一种牙齿全景片中疾病识别与分割方法，首先对第一网络进行预训练，得到准确率较高的多任务、多疾病的分类分割网络；然后将牙齿全景片样本输入至第一网络和第二网络，在第二网络训练的同时获得中间层的特征，进行特征精炼，学习中间层知识，另外从第一网络的预测结果上学习包含疾病之间相似度的暗知识，得到第二网络。本申请先获取精确但庞大的第一网络，再获取精确度较低但体积很小的第二网络，通过多层特征精炼，将内在知识传递到第二网络，可使第二网络更加优秀，进而提升最终识别和分割的性能。本申请经过多种特征精炼得到的第二网络，分类准确度、分割精确度高，体积小，特别适合部署在移动应用。
附图说明
图1是本申请牙齿全景片中疾病识别与分割方法流程图；
图2是本申请牙齿全景片中疾病识别与分割方法流程框图；
图3是本申请的Uteacher网络结构示意图；
图4是本申请的Ustudent网络结构示意图.
图5是本申请深度特征提取示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1、图2所示，提供了一种牙齿全景片中疾病识别与分割方法，包括：
步骤S1、将牙齿全景片样本Ioriginal输入已构建且训练后的第一网络Uteacher中，得到第一疾病分类预测向量logitsT以及第一特征图列表FeatsT。
本申请将传统的编码器-解码器结构扩展到1个编码器对应多个解码器以实现多种牙齿疾病的分割，同时添加全连接层来实现牙齿疾病的多分类。
本申请Uteacher由一个
Figure BDA0002898166110000081
N个
Figure BDA0002898166110000082
(∈N，N表示疾病种类)和一个
Figure BDA0002898166110000083
构成，
Figure BDA0002898166110000084
是共享编码器，用来提取各类疾病中相似的特征，
Figure BDA0002898166110000085
(∈N，N表示疾病种类)是分割第i类(∈N，N表示疾病种类)疾病所使用的解码器，
Figure BDA0002898166110000086
是一个全连接层，将分布式特征表示映射到样本标记空间，得到第一疾病分类预测向量logitsT。
具体的，如图3所示，所述共享编码器
Figure BDA0002898166110000087
由一个卷积操作和四个残差模块
Figure BDA0002898166110000088
组成。所述
Figure BDA0002898166110000089
由3个残差块组成，所述
Figure BDA00028981661100000810
由4个残差块组成，所述
Figure BDA00028981661100000811
由6个残差块组成，所述
Figure BDA00028981661100000812
由3个残差块组成。每个残差块由2组串行的卷积操作、批量归一操作、激活操作组成。
所述解码器
Figure BDA00028981661100000813
由四个卷积块
Figure BDA00028981661100000814
组成，其中每个卷积块包含两个卷积操作。
具体的，所述将牙齿全景片样本Ioriginal输入已构建且训练后的第一网络Uteacher中，得到第一疾病分类预测向量logitsT以及第一特征图列表FeatsT，包括：
将牙齿全景片样本Ioriginal经过共享编码器
Figure BDA0002898166110000091
的卷积操作，得到特征图
Figure BDA0002898166110000092
特征图
Figure BDA0002898166110000093
池化后经过残差模块
Figure BDA0002898166110000094
得到特征图
Figure BDA0002898166110000095
特征图
Figure BDA0002898166110000096
经过残差模块
Figure BDA0002898166110000097
得到特征图
Figure BDA0002898166110000098
特征图
Figure BDA0002898166110000099
经过残差模块
Figure BDA00028981661100000910
得到特征图
Figure BDA00028981661100000911
特征图
Figure BDA00028981661100000912
经过残差模块
Figure BDA00028981661100000913
得到特征图
Figure BDA00028981661100000914
特征图
Figure BDA00028981661100000915
经过平均池化后输入至N维全连接层
Figure BDA00028981661100000916
得到预测向量logitsT；
特征图
Figure BDA00028981661100000917
经过卷积块
Figure BDA00028981661100000918
后得到特征图
Figure BDA00028981661100000919
特征图
Figure BDA00028981661100000920
经过卷积块
Figure BDA00028981661100000921
后得到特征图
Figure BDA00028981661100000922
特征图
Figure BDA00028981661100000923
经过卷积块
Figure BDA00028981661100000924
后得到特征图
Figure BDA00028981661100000925
特征图
Figure BDA00028981661100000926
经过卷积块
Figure BDA00028981661100000927
后得到特征图
Figure BDA00028981661100000928
将特征图
Figure BDA00028981661100000929
和
Figure BDA00028981661100000930
这8张特征图组合成列表，得到第一特征图列表FeatsT。
步骤S2、将牙齿全景片样本Ioriginal输入已构建的第二网络Ustudent中，得到第二特征图列表FeatsS、当前疾病分类结果
Figure BDA00028981661100000931
和当前病灶分割结果
Figure BDA00028981661100000932
如图4所示，本申请第二网络Ustudent包括一个编码器
Figure BDA00028981661100000933
一个解码器
Figure BDA00028981661100000934
一个卷积块
Figure BDA00028981661100000935
和一个全卷积层
Figure BDA00028981661100000936
所述编码器
Figure BDA00028981661100000937
包含4个卷积块
Figure BDA00028981661100000938
每个卷积块由2组串行的卷积操作、批量归一化操作、激活操作组成，所述解码器
Figure BDA00028981661100000939
包含4个卷积块
Figure BDA00028981661100000940
Figure BDA00028981661100000941
每个卷积块由2组串行的卷积操作、批量归一操作、激活操作组成，全卷积层
Figure BDA00028981661100000942
由一个卷积操作组成。
具体的，所述将牙齿全景片样本Ioriginal输入已构建的第二网络Ustudent中，得到第二特征图列表FeatsS、当前疾病分类结果
Figure BDA00028981661100000943
和当前病灶分割结果
Figure BDA00028981661100000944
包括：
将牙齿全景片样本Ioriginal经过编码器
Figure BDA00028981661100000945
的卷积块
Figure BDA00028981661100000946
得到输出特征图
Figure BDA00028981661100000947
特征图
Figure BDA0002898166110000101
池化后经过卷积块
Figure BDA0002898166110000102
得到特征图
Figure BDA0002898166110000103
特征图
Figure BDA0002898166110000104
池化后经过卷积块
Figure BDA0002898166110000105
得到特征图
Figure BDA0002898166110000106
特征图
Figure BDA0002898166110000107
池化后经过卷积块
Figure BDA0002898166110000108
得到特征图
Figure BDA0002898166110000109
特征图
Figure BDA00028981661100001010
池化后经过卷积
Figure BDA00028981661100001011
得到特征图
Figure BDA00028981661100001012
特征图
Figure BDA00028981661100001013
平均池化后输入至N维全连接层
Figure BDA00028981661100001014
得到预测向量logitss，全连接层维度由疾病种类N决定；
将logitss输入softmax函数，得到当前疾病分类结果
Figure BDA00028981661100001015
softmax函数表达式如下；
Figure BDA00028981661100001016
zi是预测向量logitsS中的元素值，qi是zi经过softmax函数后得到的对应结果，qi组合成N维向量得到
Figure BDA00028981661100001017
将特征图
Figure BDA00028981661100001018
进行上采样后和
Figure BDA00028981661100001019
进行特征拼接，再经过
Figure BDA00028981661100001020
中的卷积块
Figure BDA00028981661100001021
后得到特征图
Figure BDA00028981661100001022
将特征图
Figure BDA00028981661100001023
进行上采样后和
Figure BDA00028981661100001024
进行特征拼接，再经过
Figure BDA00028981661100001025
中的卷积块
Figure BDA00028981661100001026
后得到特征图
Figure BDA00028981661100001027
将特征图
Figure BDA00028981661100001028
进行上采样后和
Figure BDA00028981661100001029
进行特征拼接，再经过
Figure BDA00028981661100001030
中的卷积块
Figure BDA00028981661100001031
后得到特征图
Figure BDA00028981661100001032
将特征图
Figure BDA00028981661100001033
输入
Figure BDA00028981661100001034
中的卷积块
Figure BDA00028981661100001035
得到特征图
Figure BDA00028981661100001036
对
Figure BDA00028981661100001037
的每一通道均用sigmoid函数进行激活，得到
Figure BDA00028981661100001038
上每个像素点属于病灶区域的概率，将其乘以255得到当前病灶的分割结果
Figure BDA00028981661100001039
Figure BDA00028981661100001040
将特征图
Figure BDA00028981661100001041
和
Figure BDA00028981661100001042
这8张特征图组合成列表，得到第二特征图列表FeatsS。
步骤S3、将第一特征图列表FeatsT和第二特征图列表Featss进行深度特征提炼，得到深度特征提炼损失Lfeat。
本申请深度特征提炼损失Lfeat用来指导Ustudent学习Uteacher的中间层的多种特征，提高分类和分割任务的准确率。
本申请将第一特征图列表FeatsT和第二特征图列表Featss进行深度特征提炼，得到深度特征提炼损失Lfeat，包括：
步骤3.1、计算FeatsT特征图列表长度，得到列表长度Length，根据Length进行循环，其中第i次循环操作如下，i∈Length：
从FeatsT中获取第i张特征图
Figure BDA0002898166110000111
经过margin ReLU函数得到
Figure BDA0002898166110000112
margin ReLU函数定义如下：
Figure BDA0002898166110000113
Figure BDA0002898166110000114
是一个小于0的数，定义是负响应的逐通道期望值，计算方法如下：
Figure BDA0002898166110000115
Figure BDA0002898166110000116
表示
Figure BDA0002898166110000117
中的通道数
Figure BDA0002898166110000118
表示特征图
Figure BDA0002898166110000119
每一个通道中的像素点；
步骤3.2、从Featss中获取第i张特征图
Figure BDA00028981661100001110
经过一个卷积操作得到
Figure BDA00028981661100001111
计算
Figure BDA00028981661100001112
和
Figure BDA00028981661100001113
的
Figure BDA00028981661100001114
距离，将计算得到的
Figure BDA00028981661100001115
距离进行叠加得到总体深度特征提炼损失L′total，
Figure BDA00028981661100001116
距离和L′ftotal计算公式如下：
Figure BDA00028981661100001117
Figure BDA00028981661100001118
步骤3.3、循环结束后将总体深度特征提炼损失L′ftotal除以列表长度Length，得到深度特征提炼损失Lfeat，Lfeat计算公式如下：
Figure BDA00028981661100001119
本申请进行深度特征提炼如图5所示，对于第一特征图列表中的特征图，需要经过margin ReLU函数，对于第二特征图列表中的特征图需要经过卷积核大小为1×1的卷积核进行图像大小转换。
步骤S4、将第一疾病分类预测向量logitsT和当前疾病分类结果
Figure BDA00028981661100001120
进行标签软化，得到软化标签损失Lsoft。
本申请软化标签损失Lsoft用来学习标签中隐含的暗知识，指导Ustudent分类任务的学习，提高分类任务的准确性。
具体的，本申请将第一疾病分类预测向量logitsT和当前疾病分类结果
Figure BDA0002898166110000121
进行标签软化，得到软化标签损失Lsoft，包括：
步骤4.1、将预测向量logitsT经过标签软化函数，得到软化标签Labelsoft，标签软化函数如下：
Figure BDA0002898166110000122
zi是预测向量logitsT中的元素值，T是设定的阈值，用来缩小不同疾病间标签的差距，
Figure BDA0002898166110000123
是zi经过标签软化函数后得到的对应结果，
Figure BDA0002898166110000124
组合成N维向量得到软化标签Labelsoft；
步骤4.2、将当前疾病分类结果
Figure BDA0002898166110000125
和软化标签Labelsoft进行交叉熵损失计算，得到软化损失Lsoft，Lsoft计算公式如下；
Figure BDA0002898166110000126
需要说明的是，步骤4.1中所述T是设定的温度值，设定为100，用来缩小不同类型疾病之间的概率差异。
步骤S5、将第一特征图列表FeatsT中的前两张特征图
Figure BDA0002898166110000127
和第二特征图列表Featss中的前两张特征图
Figure BDA0002898166110000128
进行边缘特征提炼，得到边缘提炼损失Ledge。
本申请边缘提炼损失Ledge用来指导Ustudent学习Uteacher的中间层提取到的病灶边缘特征，提升Ustudent对病灶边缘的分割能力。
具体的，所述将第一特征图列表FeatsT中的前两张特征图
Figure BDA0002898166110000129
和第二特征图列表FeatsS中的前两张特征图
Figure BDA00028981661100001210
进行边缘特征提炼，得到边缘提炼损失Ledge，包括：
步骤5.1、将FeatsT中的前两张特征图
Figure BDA00028981661100001211
和
Figure BDA00028981661100001212
分别进行两个卷积操作，得到特征图
Figure BDA00028981661100001213
和特征图
Figure BDA00028981661100001214
步骤5.2、将特征图
Figure BDA00028981661100001215
和特征图
Figure BDA00028981661100001216
融合，得到边缘特征图
Figure BDA00028981661100001217
步骤5.3、将FeatsS中的前两张特征图
Figure BDA00028981661100001218
和
Figure BDA00028981661100001219
分别经过两个卷积操作，得到特征图
Figure BDA00028981661100001220
和特征图
Figure BDA00028981661100001221
步骤5.4、将特征图
Figure BDA00028981661100001222
和特征图
Figure BDA00028981661100001223
融合，得到边缘特征图
Figure BDA00028981661100001224
步骤5.5、将边缘特征图
Figure BDA0002898166110000131
和边缘分割图
Figure BDA0002898166110000132
进行交叉熵计算，得到边缘提炼损失Ledge，Ledge计算公式如下：
Figure BDA0002898166110000133
步骤S6、将病灶分割标签Labelseg和当前病灶分割结果
Figure BDA0002898166110000134
进行交叉熵计算得到病灶分割损失Lseg，将疾病分类标签Labelclassify和当前疾病分类结果
Figure BDA0002898166110000135
进行交叉熵计算得到疾病分类损失Lhard。
具体的，包括：
步骤6.1、将疾病分割标签Labelseg和当前病灶分割结果
Figure BDA0002898166110000136
进行交叉熵计算，得到分割损失Lseg，计算公式如下：
Figure BDA0002898166110000137
步骤6.2、将疾病分类标签Labelclassify和当前疾病分类结果
Figure BDA0002898166110000138
进行交叉熵计算，得到分类损失Lhard，计算公式如下：
Figure BDA0002898166110000139
步骤S7、将Lsoft、Lfeat、Ledge、Lseg、Lhard五种损失函数加权求和，得到总的损失函数Ltotal，将Ltotal进行反向传播，迭代更新第二网络Ustudent内的参数，直至第二网络Ustudent收敛。
具体的，包括：
步骤7.1、将Lsoft、Lfeat、Ledge、Lseg、Lhard，五种损失函数加权求和，得到总的损失函数Ltotal；
Ltotal＝αLsoft+βLhard+γLfeat+δLseg+εLedge；
步骤7.2、将Ltotal进行反向传播，迭代更新Ustudent内的参数。
在训练出第二网络后，将待检测牙齿全景片输入至已训练完成的第二网络Ustudent中，得到疾病分类结果和病灶分割结果。
本申请在第一网络中，利用共享编码器提取病灶间相似的特征，将提取到的特征输入到两处，一是输入到用于将特征映射到样本标签空间的全连接层，二是输入到用来完成不同疾病分割任务的各独立解码器，得到准确率较高的多任务、多疾病的第二网络。然后将牙齿全景片输入至第二网络和训练好的第一网络，对第一网络中间层的特征图特征进行精炼、边缘特征精炼，对第一网络分类的预测结果进行标签软化学习疾病之间相似度的暗知识，用来指导第二网络的进一步学习。本申请先获取准确度较高但参数量过大的第一网络，再获取精确度较低但参数量小的第二网络，通过多层特征精炼，将内在知识传递到第二网络，可使第二网络更加优秀，进而提升最终识别和分割的性能。本申请经过多种特征精炼得到的第二网络，分类准确度、分割精确度高，体积小，特别适合部署在移动应用。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种牙齿全景片中疾病识别与分割方法，其特征在于，所述牙齿全景片中疾病识别与分割方法，包括：
将牙齿全景片样本Ioriginal输入已构建且训练后的第一网络Uteacher中，得到第一疾病分类预测向量logitsT以及第一特征图列表FeatsT；
将牙齿全景片样本Ioriginal输入已构建的第二网络Ustudent中，得到第二特征图列表FeatsS、当前疾病分类结果
Figure FDA0002898166100000011
和当前病灶分割结果
Figure FDA0002898166100000012
将第一特征图列表FeatsT和第二特征图列表FeatsS进行深度特征提炼，得到深度特征提炼损失Lfeat；
将第一疾病分类预测向量logitsT和当前疾病分类结果
Figure FDA0002898166100000013
进行标签软化，得到软化标签损失Lsoft；
将第一特征图列表FeatsT中的前两张特征图
Figure FDA0002898166100000014
和第二特征图列表FeatsS中的前两张特征图
Figure FDA0002898166100000015
进行边缘特征提炼，得到边缘提炼损失Ledge；
将病灶分割标签Labelseg和当前病灶分割结果
Figure FDA0002898166100000016
进行交叉熵计算得到病灶分割损失Lseg，将疾病分类标签Labelclassify和当前疾病分类结果
Figure FDA0002898166100000017
进行交叉熵计算得到疾病分类损失Lhard；
将Lsoft、Lfeat、Ledge、Lseg、Lhard五种损失函数加权求和，得到总的损失函数Ltotal，将Ltotal进行反向传播，迭代更新第二网络Ustudent内的参数，直至第二网络Ustudent收敛；
将待检测牙齿全景片输入至已训练完成的第二网络Ustudent中，得到疾病分类结果和病灶分割结果。
2.根据权利要求1所述所述的牙齿全景片中疾病识别与分割方法，其特征在于，所述第一网络Uteacher包括一个共享编码器
Figure FDA0002898166100000018
N个解码器
Figure FDA0002898166100000019
和一个全连接层
Figure FDA00028981661000000110
i∈N，N是疾病种类数；
所述共享编码器
Figure FDA00028981661000000111
由一个卷积操作和四个残差模块
Figure FDA00028981661000000112
Figure FDA00028981661000000113
组成；所述
Figure FDA00028981661000000114
由3个残差块组成，每个残差块由2组串行的卷积操作、批量归一操作、激活操作组成，所述
Figure FDA0002898166100000021
由4个残差块组成，每个残差块由2组串行的卷积操作、批量归一操作、激活操作组成，所述
Figure FDA0002898166100000022
由6个残差块组成，每个残差块由2组串行的卷积操作、批量归一操作、激活操作组成，所述
Figure FDA0002898166100000023
由3个残差块组成，每个残差块由2组串行的卷积操作、批量归一操作、激活操作组成；
所述解码器
Figure FDA0002898166100000024
由四个卷积块
Figure FDA0002898166100000025
组成，其中每个卷积块包含两个卷积操作。
3.根据权利要求2所述的牙齿全景片中疾病识别与分割方法，其特征在于，所述将牙齿全景片样本Ioriginal输入已构建且训练后的第一网络Uteacher中，得到第一疾病分类预测向量logitsT以及第一特征图列表FeatsT，包括：
将牙齿全景片样本Ioriginal经过共享编码器
Figure FDA0002898166100000026
的卷积操作，得到特征图
Figure FDA0002898166100000027
特征图
Figure FDA0002898166100000028
池化后经过残差模块
Figure FDA0002898166100000029
得到特征图
Figure FDA00028981661000000210
特征图
Figure FDA00028981661000000211
经过残差模块
Figure FDA00028981661000000212
得到特征图
Figure FDA00028981661000000213
特征图
Figure FDA00028981661000000214
经过残差模块
Figure FDA00028981661000000215
得到特征图
Figure FDA00028981661000000216
特征图
Figure FDA00028981661000000217
经过残差模块
Figure FDA00028981661000000218
得到特征图
Figure FDA00028981661000000219
特征图
Figure FDA00028981661000000220
经过平均池化后输入至N维全连接层
Figure FDA00028981661000000221
得到预测向量logitsT；
特征图
Figure FDA00028981661000000222
经过卷积块
Figure FDA00028981661000000223
后得到特征图
Figure FDA00028981661000000224
特征图
Figure FDA00028981661000000225
经过卷积块
Figure FDA00028981661000000226
后得到特征图
Figure FDA00028981661000000227
特征图
Figure FDA00028981661000000228
经过卷积块
Figure FDA00028981661000000229
后得到特征图
Figure FDA00028981661000000230
特征图
Figure FDA00028981661000000231
经过卷积块
Figure FDA00028981661000000232
后得到特征图
Figure FDA00028981661000000233
将特征图
Figure FDA00028981661000000234
和
Figure FDA00028981661000000235
这8张特征图组合成列表，得到第一特征图列表FeatsT。
4.根据权利要求1所述的牙齿全景片中疾病识别与分割方法，其特征在于，所述第二网络Ustudent包括一个编码器
Figure FDA00028981661000000236
一个解码器
Figure FDA00028981661000000237
一个卷积块
Figure FDA00028981661000000238
和一个全卷积层
Figure FDA00028981661000000239
所述编码器
Figure FDA00028981661000000240
包含4个卷积块
Figure FDA00028981661000000241
每个卷积块由2组串行的卷积操作、批量归一化操作、激活操作组成，所述解码器
Figure FDA00028981661000000242
包含4个卷积块
Figure FDA00028981661000000243
Figure FDA0002898166100000031
每个卷积块由2组串行的卷积操作、批量归一操作、激活操作组成，全卷积层
Figure FDA0002898166100000032
由一个卷积操作组成。
5.根据权利要求4所述的牙齿全景片中疾病识别与分割方法，其特征在于，所述将牙齿全景片样本Ioriginal输入已构建的第二网络Ustudent中，得到第二特征图列表FeatsS、当前疾病分类结果
Figure FDA0002898166100000033
和当前病灶分割结果
Figure FDA0002898166100000034
包括：
将牙齿全景片样本Ioriginal经过编码器
Figure FDA0002898166100000035
的卷积块
Figure FDA0002898166100000036
得到输出特征图
Figure FDA0002898166100000037
特征图
Figure FDA0002898166100000038
池化后经过卷积块
Figure FDA0002898166100000039
得到特征图
Figure FDA00028981661000000310
特征图
Figure FDA00028981661000000311
池化后经过卷积块
Figure FDA00028981661000000312
得到特征图
Figure FDA00028981661000000313
特征图
Figure FDA00028981661000000314
池化后经过卷积块
Figure FDA00028981661000000315
得到特征图
Figure FDA00028981661000000316
特征图
Figure FDA00028981661000000317
池化后经过卷积
Figure FDA00028981661000000318
得到特征图
Figure FDA00028981661000000319
特征图
Figure FDA00028981661000000320
平均池化后输入至N维全连接层
Figure FDA00028981661000000321
得到预测向量logitsS，全连接层维度由疾病种类N决定；
将logitsS输入softmax函数，得到当前疾病分类结果
Figure FDA00028981661000000322
softmax函数表达式如下；
Figure FDA00028981661000000323
zi是预测向量logitsS中的元素值，qi是zi经过softmax函数后得到的对应结果，qi组合成N维向量得到
Figure FDA00028981661000000324
将特征图
Figure FDA00028981661000000325
拄行上采样后和
Figure FDA00028981661000000326
进行特征拼接，再经过
Figure FDA00028981661000000327
中的卷积块
Figure FDA00028981661000000328
后得到特征图
Figure FDA00028981661000000329
将特征图
Figure FDA00028981661000000330
进行上采样后和
Figure FDA00028981661000000331
进行特征拼接，再经过
Figure FDA00028981661000000332
中的卷积块
Figure FDA00028981661000000333
后得到特征图
Figure FDA00028981661000000334
将特征图
Figure FDA00028981661000000335
进行上采样后和
Figure FDA00028981661000000336
进行特征拼接，再经过
Figure FDA00028981661000000337
中的卷积块
Figure FDA00028981661000000338
后得到特征图
Figure FDA00028981661000000339
将特征图
Figure FDA00028981661000000340
输入
Figure FDA00028981661000000341
中的卷积块
Figure FDA00028981661000000342
得到特征图
Figure FDA00028981661000000343
对
Figure FDA00028981661000000344
的每一通道均用sigmoid函数进行激活，得到
Figure FDA0002898166100000041
上每个像素点属于病灶区域的概率，将其乘以255得到当前病灶的分割结果
Figure FDA0002898166100000042
Figure FDA0002898166100000043
将特征图
Figure FDA0002898166100000044
和
Figure FDA0002898166100000045
这8张特征图组合成列表，得到第二特征图列表FeatsS。
6.根据权利要求1所述的牙齿全景片中疾病识别与分割方法，其特征在于，所述将第一特征图列表FeatsT和第二特征图列表FeatsS进行深度特征提炼，得到深度特征提炼损失Lfeat，包括：
步骤3.1、计算FeatsT特征图列表长度，得到列表长度Length，根据Length进行循环，其中第i次循环操作如下，i∈Length：
从FeatsT中获取第i张特征图
Figure FDA0002898166100000046
经过margin ReLU函数得到
Figure FDA0002898166100000047
margin ReLU函数定义如下：
Figure FDA0002898166100000048
Figure FDA0002898166100000049
是一个小于0的数，定义是负响应的逐通道期望值，计算方法如下：
Figure FDA00028981661000000410
Figure FDA00028981661000000411
表示
Figure FDA00028981661000000412
中的通道数
Figure FDA00028981661000000413
Figure FDA00028981661000000414
表示特征图
Figure FDA00028981661000000415
每一个通道中的像素点；
步骤3.2、从FeatsS中获取第i张特征图
Figure FDA00028981661000000416
经过一个卷积操作得到
Figure FDA00028981661000000417
计算
Figure FDA00028981661000000418
和
Figure FDA00028981661000000419
的
Figure FDA00028981661000000420
距离，将计算得到的
Figure FDA00028981661000000421
距离进行叠加得到总体深度特征提炼损失L′total，
Figure FDA00028981661000000422
距离和L′ftotal计算公式如下：
Figure FDA00028981661000000423
Figure FDA00028981661000000424
步骤3.3、循环结束后将总体深度特征提炼损失L′ftotal除以列表长度Length，得到深度特征提炼损失Lfeat，Lfeat计算公式如下：
Figure FDA00028981661000000425
7.根据权利要求1所述的牙齿全景片中疾病识别与分割方法，其特征在于，所述将第一疾病分类预测向量logitsT和当前疾病分类结果
Figure FDA0002898166100000051
进行标签软化，得到软化标签损失Lsoft，包括：
步骤4.1、将预测向量logitsT经过标签软化函数，得到软化标签Labelsoft，标签软化函数如下：
Figure FDA0002898166100000052
zi是预测向量logitsT中的元素值，T是设定的温度值，用来缩小不同疾病间标签的差距，
Figure FDA0002898166100000053
是zi经过标签软化函数后得到的对应结果，
Figure FDA0002898166100000054
组合成N维向量得到软化标签Labelsoft；
步骤4.2、将当前疾病分类结果
Figure FDA0002898166100000055
和软化标签Labelsoft进行交叉熵损失计算，得到软化损失Lsoft，Lsoft计算公式如下；
Figure FDA0002898166100000056
8.根据权利要求1所述的牙齿全景片中疾病识别与分割方法，其特征在于，所述将第一特征图列表FeatsT中的前两张特征图
Figure FDA0002898166100000057
和第二特征图列表FeatsS中的前两张特征图
Figure FDA0002898166100000058
进行边缘特征提炼，得到边缘提炼损失Ledge，包括：
步骤5.1、将FeatsT中的前两张特征图
Figure FDA0002898166100000059
和
Figure FDA00028981661000000510
分别进行两个卷积操作，得到特征图
Figure FDA00028981661000000511
和特征图
Figure FDA00028981661000000512
步骤5.2、将特征图
Figure FDA00028981661000000513
和特征图
Figure FDA00028981661000000514
融合，得到边缘特征图
Figure FDA00028981661000000515
步骤5.3、将FeatsS中的前两张特征图
Figure FDA00028981661000000516
和
Figure FDA00028981661000000517
分别经过两个卷积操作，得到特征图
Figure FDA00028981661000000518
和特征图
Figure FDA00028981661000000519
步骤5.4、将特征图
Figure FDA00028981661000000520
和特征图
Figure FDA00028981661000000521
融合，得到边缘特征图
Figure FDA00028981661000000522
步骤5.5、将边缘特征图
Figure FDA00028981661000000523
和边缘分割图
Figure FDA00028981661000000524
进行交叉熵计算，得到边缘提炼损失Ledge，Ledge计算公式如下：
Figure FDA00028981661000000525
9.根据权利要求1所述的牙齿全景片中疾病识别与分割方法，其特征在于，所述将病灶分割标签Labelseg和当前病灶分割结果
Figure FDA00028981661000000526
进行交叉熵计算得到病灶分割损失Lseg，将疾病分类标签Labelclassify和当前疾病分类结果
Figure FDA00028981661000000527
进行交叉熵计算得到疾病分类损失Lhard，包括：
步骤6.1、将疾病分割标签Labelseg和当前病灶分割结果
Figure FDA0002898166100000061
进行交叉熵计算，得到分割损失Lseg，计算公式如下：
Figure FDA0002898166100000062
步骤6.2、将疾病分类标签Labelclassify和当前疾病分类结果
Figure FDA0002898166100000063
进行交叉熵函数计算，得到分类损失Lhard，计算公式如下：
Figure FDA0002898166100000064
10.根据权利要求1所述的牙齿全景片中疾病识别与分割方法，其特征在于，所述将Lsoft、Lfeat、Ledge、Lseg、Lhard，五种损失函数加权求和，得到总的损失函数Ltotal，将Ltotal进行反向传播，迭代更新第二网络Ustudent内的参数，直至第二网络Ustudent收敛，包括：
步骤7.1、将Lsoft、Lfeat、Ledge、Lseg、Lhard，五种损失函数加权求和，得到总的损失函数Ltotal；
Ltotal＝αLsoft+βLhard+γLfeat+δLseg+εLedge；
步骤7.2、将Ltotal进行反向传播，迭代更新Ustudent内的参数。
CN202110048048.XA 2021-01-14 2021-01-14 一种牙齿全景片中疾病识别与分割方法 Active CN112750111B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110048048.XA CN112750111B (zh) 2021-01-14 2021-01-14 一种牙齿全景片中疾病识别与分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110048048.XA CN112750111B (zh) 2021-01-14 2021-01-14 一种牙齿全景片中疾病识别与分割方法

Publications (2)

Publication Number Publication Date
CN112750111A true CN112750111A (zh) 2021-05-04
CN112750111B CN112750111B (zh) 2024-02-06

Family

ID=75651818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110048048.XA Active CN112750111B (zh) 2021-01-14 2021-01-14 一种牙齿全景片中疾病识别与分割方法

Country Status (1)

Country Link
CN (1) CN112750111B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408471A (zh) * 2021-07-02 2021-09-17 浙江传媒学院 一种基于多任务深度学习的无绿幕人像实时抠图算法
CN114972297A (zh) * 2022-06-15 2022-08-30 北京理工大学 口腔健康监测方法及装置
CN115073170A (zh) * 2022-06-13 2022-09-20 成都高新区正通特种材料厂 一种氧化锆义齿及其制备工艺和使用方法
CN117252825A (zh) * 2023-09-08 2023-12-19 深圳市罗湖区人民医院 基于口腔全景片图像的龋齿识别方法和装置
CN117456289A (zh) * 2023-12-25 2024-01-26 四川大学 一种基于深度学习的颌骨病变分割分类系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN112085028A (zh) * 2020-08-31 2020-12-15 浙江工业大学 基于特征图扰动以及边界监督的牙齿全景片语义分割方法
CN112183635A (zh) * 2020-09-29 2021-01-05 南京农业大学 一种多尺度反卷积网络实现植物叶部病斑分割与识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN112085028A (zh) * 2020-08-31 2020-12-15 浙江工业大学 基于特征图扰动以及边界监督的牙齿全景片语义分割方法
CN112183635A (zh) * 2020-09-29 2021-01-05 南京农业大学 一种多尺度反卷积网络实现植物叶部病斑分割与识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张智睿;李锵;关欣;: "密集挤压激励网络的多标签胸部X光片疾病分类", 中国图象图形学报, no. 10 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408471A (zh) * 2021-07-02 2021-09-17 浙江传媒学院 一种基于多任务深度学习的无绿幕人像实时抠图算法
CN115073170A (zh) * 2022-06-13 2022-09-20 成都高新区正通特种材料厂 一种氧化锆义齿及其制备工艺和使用方法
CN114972297A (zh) * 2022-06-15 2022-08-30 北京理工大学 口腔健康监测方法及装置
CN117252825A (zh) * 2023-09-08 2023-12-19 深圳市罗湖区人民医院 基于口腔全景片图像的龋齿识别方法和装置
CN117456289A (zh) * 2023-12-25 2024-01-26 四川大学 一种基于深度学习的颌骨病变分割分类系统
CN117456289B (zh) * 2023-12-25 2024-03-08 四川大学 一种基于深度学习的颌骨病变分割分类系统

Also Published As

Publication number Publication date
CN112750111B (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
CN112750111A (zh) 一种牙齿全景片中疾病识别与分割方法
CN112150478B (zh) 一种构建半监督图像分割框架的方法及系统
CN110223281B (zh) 一种数据集中含有不确定数据时的肺结节图像分类方法
CN107247971B (zh) 一种超声甲状腺结节风险指标的智能分析方法及系统
CN108268870B (zh) 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN111563887B (zh) 一种口腔图像的智能分析方法与装置
CN108806792B (zh) 深度学习面诊系统
CN110084318B (zh) 一种结合卷积神经网络和梯度提升树的图像识别方法
CN109063643B (zh) 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法
CN112085742B (zh) 一种基于上下文注意力的nafld超声视频诊断方法
CN116311483B (zh) 基于局部面部区域重构和记忆对比学习的微表情识别方法
CN113284136A (zh) 一种双损失函数训练的残差网络和XGBoost的医学图像分类方法
CN115294075A (zh) 一种基于注意力机制的octa图像视网膜血管分割方法
CN115457049A (zh) 一种基于迁移学习和注意力机制的肺部ct图像分割方法
CN113610118A (zh) 一种基于多任务课程式学习的眼底图像分类方法、装置、设备及介质
CN114399465A (zh) 良恶性溃疡识别方法及系统
CN114882008A (zh) 一种基于病理图像特征检测肿瘤驱动基因差异表达算法
CN114549470A (zh) 基于卷积神经网络和多粒度注意力的手骨关键性区域获取方法
CN113643297B (zh) 一种基于神经网络的计算机辅助牙龄分析方法
CN114792385A (zh) 一种金字塔分离双注意力的少样本细粒度图像分类方法
CN113160151B (zh) 基于深度学习及注意力机制的全景片龋齿深度识别方法
CN110766665A (zh) 基于强监督算法和深度学习网络的舌象数据分析方法
CN112837278B (zh) 基于深度边界监督的牙齿全景片龋齿识别方法
CN112085028B (zh) 基于特征图扰动以及边界监督的牙齿全景片语义分割方法
CN110992309B (zh) 基于深层信息传递网络的眼底图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant