CN113469987A - 基于深度学习的牙科x射线图像病变区域定位系统 - Google Patents

基于深度学习的牙科x射线图像病变区域定位系统 Download PDF

Info

Publication number
CN113469987A
CN113469987A CN202110790916.1A CN202110790916A CN113469987A CN 113469987 A CN113469987 A CN 113469987A CN 202110790916 A CN202110790916 A CN 202110790916A CN 113469987 A CN113469987 A CN 113469987A
Authority
CN
China
Prior art keywords
dental
lesion
ray image
deep learning
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110790916.1A
Other languages
English (en)
Inventor
韩民
万军
曾令芳
秦倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202110790916.1A priority Critical patent/CN113469987A/zh
Publication of CN113469987A publication Critical patent/CN113469987A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了基于深度学习的牙科X射线图像病变区域定位系统，包括：数据采集模块，其被配置为：获取待定位牙科X射线图像；病变定位模块，其被配置为：将待定位牙科X射线图像，输入到训练后的深度学习模型中，输出待定位牙科X射线图像病变区域定位结果。通过病变区域定位，可以识别存在多种病变的牙科X射线图像，克服了当前技术仅能识别单一病变的弊端，能够更加准确、全面、客观的识别病变类型。对病变区域进行定位，能够准确告知患者病变位置，保证用药位置的准确性；通过计算病变区域的面积，实现定量分析，保证治疗方案的针对性与准确性。

Description

基于深度学习的牙科X射线图像病变区域定位系统
技术领域
本发明涉及医学影像图像处理技术领域，特别是涉及基于深度学习的牙科X射线图像病变区域定位系统。
背景技术
本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。
医学影像是临床疾病筛查、诊断、治疗引导和评估的重要工具。常用的医学影像技术包括：X射线，超声，计算机断层扫描(Computed Tomography,CT),核磁共振(MagneticResonance Imaging,MRI)。而随着医学成像技术的发展，海量的医学影像应运而生，如何从海量医学图像数据中挖掘出有用信息，已成为业界的研究热点。
牙科X射线图像是诊断牙源性疾病的重要方法，尤其是牙体缺损、根尖病变和牙槽骨吸收等。牙体缺损最常见的原因是龋齿，龋齿一种由口腔中多种因素复合作用所导致的牙齿硬组织进行性病损，随病程发展而从色泽改变到形成实质性病损的演变过程。其特点是发病率高，分布广，是口腔主要的常见病，也是人类最普遍的疾病之一，世界卫生组织已将其与癌肿和心血管疾病并列为人类三大重点防治疾病。根尖病变的常见病变为根尖周炎，是指牙根尖周组织的急性或慢性炎症。牙髓炎发展到晚期，牙髓组织大部或全部坏死时，或有细菌感染，引起根尖周组织发炎；牙齿受到急剧的外力撞击时，根尖周组织也受到猛烈的创伤而造成根尖周炎；治疗过程中医源性感染也可引起根尖周炎。常规的牙源性疾病诊断依赖于医生的水平和经验，主观性较强、耗费精力较多，并且就诊过程中需要耗费大量时间去排队、等待，耗时耗力。对于牙科X射线图像的判读，需要新的智能技术介入。
深度学习是利用深度神经网络，通过模拟人脑自动地学习数据各个层次的抽象特征，从而更好地反映数据的本质特征。近年来，深度学习在图像识别、语音识别、自然语言处理、计算机视觉等领域取得了巨大的成功。在医学图像处理领域，以卷积神经网络(Convolutional Neural Network，CNN)为主的深度学习已成为主流研究方法，例如乳腺癌识别、肺结节检测、糖尿病视网膜病变检测、脑肿瘤分割、阿兹海默检测等。
利用深度学习进行牙源性疾病诊断的研究仍处于起步阶段，有研究通过神经网络进行根尖X线片龋齿分类和牙周病变分类。现有研究都是对牙科X射线图像进行病变类别判读，即仅能进行定性分析；对于牙源性疾病的治疗，需根据病变类型、病变区域位置及大小进行治疗方案的制定，而现有技术对于病变区域的位置及病变区域的大小无法进行识别，即缺乏定量分析。现有智能诊断技术存在的另一个不足是：一张牙科X射线图像只能输出一种病变结果。而牙源性病变多为并发病变，例如当龋齿病变不能及时治疗时，继而引发牙髓炎和根尖周炎，此类问题呈现在牙科X射线图像上的特征便是：一张图像上存在多种病变。现有技术对于此类图像仅能识别一种病变，无法准确、全面的识别出所有病变。
现有的牙源性疾病的诊断存在以下3点不足：1)常规诊断依赖于诊断人员的技术水平与经验，存在着主观性强、重复性低的问题，对于缺乏诊断经验的患者而言，无法利用自身常识进行病变诊断；2)智能诊断技术仅能识别单一病变类型，对于存在多种病变的图像无法实现准确、全面的判读；3)无论常规诊断还是智能诊断，都仅能实现定性判读，无法进行定量分析。
发明内容
针对现有诊断技术存在的缺乏定量分析、无法准确全面的识别病变的问题，本发明提出基于深度学习的牙科X射线图像病变区域定位系统，主要进行以下2方面改进：1)使用深度学习的目标检测算法识别定位牙科X射线图像中的病变区域，不仅能够识别图像中存在的多种病变类型，同时也能准确定位病变区域，便于患者更加全面的了解病变情况；2)根据牙科X射线图像成像的参数设置，获得图像与实际尺寸之间的大小比例，进而计算病变区域的大小，实现牙源性病变的定量分析。
本发明提供了基于深度学习的牙科X射线图像病变区域定位系统；
基于深度学习的牙科X射线图像病变区域定位系统，包括：
数据采集模块，其被配置为：获取待定位牙科X射线图像；
病变定位模块，其被配置为：将待定位牙科X射线图像，输入到训练后的深度学习模型中，输出待定位牙科X射线图像病变区域定位结果。
与现有技术相比，本发明的有益效果是：
1)通过病变区域定位，可以识别存在多种病变的牙科X射线图像，克服了当前技术仅能识别单一病变的弊端，能够更加准确、全面、客观的识别病变类型；
2)对病变区域进行定位，能够准确告知患者病变位置，保证用药位置的准确性；
3)通过计算病变区域的面积，实现定量分析，保证治疗方案的针对性与准确性。
本发明附加方面的优点将在下面的描述中部分给出，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例一的基于深度学习牙科X射线图像病变区域定位的方法的流程图；
图2是本发明实施例一的YOLOV5网络结构图；
图3(a)～图3(e)是本发明实施例一的训练集训练结果图；
图4(a)～图4(c)是本发明实施例一的验证集训练结果图；
图5是本发明实施例一的GIOUloss计算逻辑图；
图6是本发明实施例一的DIOU计算逻辑图；
图7是本发明实施例一的一张随机抽取龋齿图像的模型预测结果。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
本实施例所有数据的获取都在符合法律法规和用户同意的基础上，对数据的合法应用。
实施例一
本实施例提供了基于深度学习的牙科X射线图像病变区域定位系统；
如图1所示，基于深度学习的牙科X射线图像病变区域定位系统，包括：
数据采集模块，其被配置为：获取待定位牙科X射线图像；
病变定位模块，其被配置为：将待定位牙科X射线图像，输入到训练后的深度学习模型中，输出待定位牙科X射线图像病变区域定位结果。
进一步地，所述深度学习模型为YOLOV5网络。
进一步地，所述训练后的深度学习模型，训练过程包括：
构建第一训练集和第一验证集；所述第一训练集和第一验证集，均包括：已知根尖炎病变位置、类型与边框的牙科X射线图像，和已知龋齿病变位置、类型与边框的牙科X射线图像；
将第一训练集和第一验证集输入神经网络模型中，第一训练集用来调整网络参数，第一验证集用来衡量训练结果的好与坏；
当验证结果的精确率和召回率均大于等于设定阈值；且，当验证结果的边框损失函数、分类损失函数和置信度损失函数均小于设定阈值时，停止训练，得到训练后的网络模型。
进一步地，所述构建第一训练集和第一验证集，具体过程包括：
从医院获取若干个已知病变区域和正常的牙科X射线图像；其中，已知病变区域是指已知根尖周炎病变区域和龋齿病变区域；
对获取的每个牙科X射线图像，进行图像归一化处理；
对每个压缩后的牙科X射线图像进行图像扩充处理；
对图像扩充处理后的牙科X射线图像，进行标签标记处理；所述标签包括：病变区域的边框中心点横坐标、病变区域的边框中心点纵坐标、病变区域边框的宽、病变区域边框的高、病变置信度和病变类别；
将标签标记处理后的图像，按照设定比例划分为第一训练集和第一验证集。
示例性的，所述从医院获取若干个已知病变区域和正常的牙科X射线图像；具体包括：
本发明实施例所使用的数据均来自实际就诊过程中拍摄的牙科X射线图像，共计200余张。由于部分数据相对模糊，筛选出包含根尖周炎和龋齿病变的图像，以及未发生病变的图像，共计获得115张原始图像，根据图像中存在的病变数量，将原始图像分为3类：正常图像、单一病变图像、多病变图像。
示例性的，由于本发明的目的是进行病变区域的定位，因此只把正常图像作为测试数据。对于包含病变的图像，按照0.85:0.15的比例划分为第一训练集和第一验证集，第一训练集数据68张，第一验证集数据18张。
由于从医院中获得的原始图像存在以下3点问题：数据维度较大，对硬件要求及训练时间要求较高；数据大小不一致，无法直接输入网络进行训练；原始数据数量较少，需扩充数据；因此需要对原始数据进行图像以下预处理：
数据归一化，使用OpenCV工具库将原始图像归一化为640×640的图像，既能保留图像的原始特征，同时也能降低对硬件的要求以及提高训练速度；
数据扩充，采用镜像、旋转、平移、随机扣取等数据扩充方式，扩充后训练数据总数量为461张；验证集数据总数量为82张。
示例性的，所述进行标签标记处理，采用LabelImg工具进行数据标记，并将标记转换为YOLOV5的标签。
YOLOV5的标签中包含三部分：边框信息、置信度、类别信息。边框信息是指包含病变区域的边框的中心横坐标、中心纵坐标、宽、高，用4个值来表征：(x,y,w,h)，四个值的大小均在[0,1]范围，其中x,y是边界的中心坐标，而w和h是边框的宽与高。置信度用c表征，其包含两个方面，一是该边界框含有目标的可能性大小，二是这个边界框的准确度，在进行标签标注时，由于仅框选出病变区域，对于正常区域不进行标注，因此标签中的置信度均为1。类别信息是指该边框中的目标所属的病变类型，使用独热编码格式进行类别标注，即根尖周炎的类别为[1,0]，龋齿的类别为[0,1]。
综合上述，根尖周炎病变对应的标签为(x,y,w,h,c,1,0)，龋齿病变对应的标签为(x,y,w,h,c,0,1)。
示例性的，将第一训练集数据和第一验证集数据输入YOLOV5网络模型中进行训练，该网络模型结构如图2所示。输入图像大小设置为640×640×3，学习率设置为0.001，训练批次设置为32，训练轮次设置为100，梯度下降优化器选择Adam优化算法。模型训练过程均在Windows10系统下运行完成，编程语言使用Python，编译器使用Pycharm，网络框架选择Pytorch。实验所用计算机处理器型号为intel CORE i5-10400，GPU型号为NVDIA RTX2060。网络训练过程中训练集结果如图3(a)～图3(e)所示，验证集结果如图4(a)～图4(c)所示。
训练结果评价指标为：精确率、召回率、边框损失、分类损失和置信度损失。
1)精确率的计算公式为：
Figure BDA0003160879610000081
式中TP表示正阳率，FP代表假阳率。该评价指标主要是用来评价二分类网络的指标，对于YOLO算法，更直观的解释是：所有检测出的边界框中，检测正确的边界框所占的比例即为精确率。
2)召回率的计算公式为：
Figure BDA0003160879610000082
式中TP表示正阳率，FN代表假阴率。对于YOLO算法，更直观的解释是：检测正确的边界框的数量与标记的边界框的数量的比值即为召回率。
3)边框损失为GIOUloss，其计算逻辑如图5所示。交集面积为I，并集面积为U，差集面积为C，GIOU的计算公式为：
Figure BDA0003160879610000083
而GIOUloss的计算公式为GIOUloss＝1-GIOU。
4)分类损失函数为二分类交叉熵损失函数，计算公式为：
Figure BDA0003160879610000084
式中pij(n)表示输出的第i个特征图的第j个边界框中的第n个类别的真实概率值，
Figure BDA0003160879610000085
为预测值。当该检测框的类别不属于第n个类别时，则pij(n)＝0；反之，pij(n)＝1。由公式可知，对每一个预测框中的每一种类别的预测结果进行损失计算，然后将所有类别的损失进行相加获得当前检测框的分类损失，将每一个检测框的损失相加获得当前图像的分类损失。
5)置信度损失函数为二分类交叉熵损失函数，其计算公式为：
Figure BDA0003160879610000091
式中，Cij为第i个特征图的第j个边界框的真实置信度，
Figure BDA0003160879610000092
为预测置信度。当该边界框包含检测的目标时，则Cij＝1；反之，则Cij＝0。
进一步地，所述训练后的深度学习模型，训练过程还包括：
构建测试集；所述测试集，包括：已知正常牙科X射线图像和已知病变位置、类型与边框的牙科X射线图像；
将测试集输入到训练完成的网络模型中，对训练完成的模型进行测试，获得其在测试集上的精确率和召回率，根据测试结果评估网络模型：当测试结果中的精确率和召回率高于设定阈值时，则该网络模型为最终模型；当测试结果中的精确率和召回率低于设定阈值时，则进行网络的二次训练。
进一步地，所述二次训练，过程包括：
构建第二训练集和第二验证集；其中，所述第二训练集和第二验证集，是将测试集的病变牙科X射线图像、第一训练集和第一验证集的数据进行数据整合后，按照设定比例重新划分得到的；
将第二训练集和第二验证集输入神经网络模型中，第二训练集用来调整网络参数，第二验证集数据用来衡量训练结果的好与坏；
当验证结果的精确率和召回率均大于等于设定阈值；且，当验证结果的边框损失函数、分类损失函数和置信度损失函数均小于设定阈值时，停止训练，得到最终训练完成的网络模型。
示例性的，将31张正常图像和81张病变图像作为测试集输入训练完成的网络模型中进行模型测试，根据测试结果评估网络模型。将测试集中病变图像、第一训练集数据、第一验证集数据重新整合，重新划分出第二训练集和第二验证集，并将第二训练集和第二验证集输入获得的网络模型，进行二次训练，获得最终模型。
由于本实施例中的数据有限，将测试集数据与训练集数据整合，能够在数据有限的基础上丰富数据分布。在数据足够丰富的前提下，可直接在原始训练集和验证集上进行二次训练，最终获得网络模型。
进一步地，所述将待定位牙科X射线图像，输入到训练后的深度学习模型中，输出待定位牙科X射线图像病变区域定位结果；具体包括：
将待定位牙科X射线图像，输入到训练后的深度学习模型中，输出所有的边界框和每个边界框对应的病变类型；
从所有边界框中找到置信度最大的边界框；
逐个计算置信度最大的边界框与剩余边界框的距离交并比DIOU(DistanceIntersection over Union)；
将每个距离交并比与设定的距离交并比DIOU阈值进行比较，如果超过设定的距离交并比DIOU阈值，则剔除当前边界框；否则，保留当前边界框；
所有被保留边界框的中心点，均作为病变区域的位置定位点；
根据所有被保留边界框中所占像素和每个像素所占面积，计算出待定位牙科X射线图像病变区域面积大小。
示例性的，从医院获取最新牙科X射线图像，将其输入训练后的网络模型，进行模型预测。通过设置的置信度阈值剔除低于该阈值的检测框。
YOLOV5算法的预测过程最主要的方法是非极大值抑制算法(non maximumsuppression,NMS)。NMS算法主要解决的是一个目标被多次检测的问题，根据计算IOU的方法不同，又分为IOU_NMS、GIOU_NMS、DIOU_NMS、CIOU_NMS。YOLOV5使用的是DIOU_NMS，其DIOU的计算逻辑如图6所示。
采用该算法可以实现以下效果：首先从所有的边界框中找到置信度最大的边界框，然后逐个计算其与剩余框的DIOU，如果其值大于一定阈值(重合度过高)，则剔除该框；然后对剩余边界框重复上述过程，直至计算完所有边界框。
模型预测时设置的置信度阈值为0.5，DIOU阈值为0.45，图7为一张随机抽取根尖周炎图像的模型预测结果。
根据牙科X射线图像对应的实际尺寸大小，计算每个像素所占的面积；根据预测边框信息，计算边框所占像素；将每个像素所占面积与边框所占像素相乘获得病变区域面积大小。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于深度学习的牙科X射线图像病变区域定位系统，其特征是，包括：
数据采集模块，其被配置为：获取待定位牙科X射线图像；
病变定位模块，其被配置为：将待定位牙科X射线图像，输入到训练后的深度学习模型中，输出待定位牙科X射线图像病变区域定位结果。
2.如权利要求1所述的基于深度学习的牙科X射线图像病变区域定位系统，其特征是，所述深度学习模型为YOLOV5网络。
3.如权利要求1所述的基于深度学习的牙科X射线图像病变区域定位系统，其特征是，所述训练后的深度学习模型，训练过程包括：
构建第一训练集和第一验证集；所述第一训练集和第一验证集，均包括：已知根尖炎病变位置、类型与边框的牙科X射线图像，和已知龋齿病变位置、类型与边框的牙科X射线图像；
将第一训练集和第一验证集输入神经网络模型中，第一训练集用来调整网络参数，第一验证集用来衡量训练结果的好与坏；
当验证结果的精确率和召回率均大于等于设定阈值；且，当验证结果的边框损失函数、分类损失函数和置信度损失函数均小于设定阈值时，停止训练，得到训练后的网络模型。
4.如权利要求3所述的基于深度学习的牙科X射线图像病变区域定位系统，其特征是，所述构建第一训练集和第一验证集，具体过程包括：
从医院获取若干个已知病变区域和正常的牙科X射线图像；其中，已知病变区域是指已知根尖周炎病变区域和龋齿病变区域；
对获取的每个牙科X射线图像，进行图像归一化处理；
对每个压缩后的牙科X射线图像进行图像扩充处理；
对图像扩充处理后的牙科X射线图像，进行标签标记处理；所述标签包括：病变区域的边框中心点横坐标、病变区域的边框中心点纵坐标、病变区域边框的宽、病变区域边框的高、病变置信度和病变类别；
将标签标记处理后的图像，按照设定比例划分为第一训练集和第一验证集。
5.如权利要求3所述的基于深度学习的牙科X射线图像病变区域定位系统，其特征是，所述训练后的深度学习模型，训练过程还包括：
构建测试集；所述测试集，包括：已知正常牙科X射线图像和已知病变位置、类型与边框的牙科X射线图像；
将测试集输入到训练完成的网络模型中，对训练完成的模型进行测试，获得其在测试集上的精确率和召回率，根据测试结果评估网络模型：当测试结果中的精确率和召回率高于设定阈值时，则该网络模型为最终模型；当测试结果中的精确率和召回率低于设定阈值时，则进行网络的二次训练；
所述二次训练，过程包括：
构建第二训练集和第二验证集；其中，所述第二训练集和第二验证集，是将测试集的病变牙科X射线图像、第一训练集和第一验证集的数据进行数据整合后，按照设定比例重新划分得到的；
将第二训练集和第二验证集输入神经网络模型中，第二训练集用来调整网络参数，第二验证集用来衡量训练结果的好与坏；
当验证结果的精确率和召回率均大于等于设定阈值；且，当验证结果的边框损失函数、分类损失函数和置信度损失函数均小于设定阈值时，停止训练，得到最终训练完成的网络模型。
6.如权利要求1所述的基于深度学习的牙科X射线图像病变区域定位系统，其特征是，所述将待定位牙科X射线图像，输入到训练后的深度学习模型中，输出待定位牙科X射线图像病变区域定位结果；具体包括：
将待定位牙科X射线图像，输入到训练后的深度学习模型中，输出所有的边界框和每个边界框对应的病变类型；
从所有边界框中找到置信度最大的边界框；
逐个计算置信度最大的边界框与剩余边界框的距离交并比DIOU；
将每个距离交并比与设定的距离交并比DIOU阈值进行比较，如果超过设定的距离交并比DIOU阈值，则剔除当前边界框；否则，保留当前边界框；
所有被保留边界框的中心点，均作为病变区域的位置定位点；
根据所有被保留边界框中所占像素和每个像素所占面积，计算出待定位牙科X射线图像病变区域面积大小。
7.如权利要求3所述的基于深度学习的牙科X射线图像病变区域定位系统，其特征是，精确率Precision的计算公式为：
Figure FDA0003160879600000031
其中，TP表示正阳率，FP代表假阳率。
8.如权利要求3所述的基于深度学习的牙科X射线图像病变区域定位系统，其特征是，召回率Recall的计算公式为：
Figure FDA0003160879600000032
其中，TP表示正阳率，FN代表假阴率。
9.如权利要求3所述的基于深度学习的牙科X射线图像病变区域定位系统，其特征是，边框损失函数GIOUloss的计算公式为：
GIOUloss＝1-GIOU；
Figure FDA0003160879600000041
其中，I为交集面积，U为并集面积，C为差集面积。
10.如权利要求3所述的基于深度学习的牙科X射线图像病变区域定位系统，其特征是，
分类损失函数为二分类交叉熵损失函数，计算公式为：
Figure FDA0003160879600000042
其中，pij(n)表示输出的第i个特征图的第j个边界框中的第n个类别的真实概率值，
Figure FDA0003160879600000045
为预测值；当该检测框的类别不属于第n个类别时，则pij(n)＝0；反之，pij(n)＝1；
或者，
置信度损失函数为二分类交叉熵损失函数，其计算公式为：
Figure FDA0003160879600000043
其中，Cij为第i个特征图的第j个边界框的真实置信度，
Figure FDA0003160879600000044
为预测置信度；当该边界框包含检测的目标时，则Cij＝1；反之，则Cij＝0。
CN202110790916.1A 2021-07-13 2021-07-13 基于深度学习的牙科x射线图像病变区域定位系统 Pending CN113469987A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110790916.1A CN113469987A (zh) 2021-07-13 2021-07-13 基于深度学习的牙科x射线图像病变区域定位系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110790916.1A CN113469987A (zh) 2021-07-13 2021-07-13 基于深度学习的牙科x射线图像病变区域定位系统

Publications (1)

Publication Number Publication Date
CN113469987A true CN113469987A (zh) 2021-10-01

Family

ID=77880289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110790916.1A Pending CN113469987A (zh) 2021-07-13 2021-07-13 基于深度学习的牙科x射线图像病变区域定位系统

Country Status (1)

Country Link
CN (1) CN113469987A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI807809B (zh) * 2022-05-04 2023-07-01 國立東華大學 利用深度學習之卷積神經網路輔助辨識牙周病及齲齒之系統、電腦程式及電腦可讀取媒體

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085013A (zh) * 2020-09-07 2020-12-15 上海视可电子科技有限公司 一种牙齿图像采集装置以及图像处理方法
CN112287899A (zh) * 2020-11-26 2021-01-29 山东捷讯通信技术有限公司 基于yolo v5的无人机航拍图像河流排污口检测方法及系统
CN112668668A (zh) * 2021-01-25 2021-04-16 四川可示见科技有限公司 一种术后医学影像评估方法、装置、计算机设备及存储介质
CN112767357A (zh) * 2021-01-20 2021-05-07 沈阳建筑大学 一种基于Yolov4的混凝土结构病害检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085013A (zh) * 2020-09-07 2020-12-15 上海视可电子科技有限公司 一种牙齿图像采集装置以及图像处理方法
CN112287899A (zh) * 2020-11-26 2021-01-29 山东捷讯通信技术有限公司 基于yolo v5的无人机航拍图像河流排污口检测方法及系统
CN112767357A (zh) * 2021-01-20 2021-05-07 沈阳建筑大学 一种基于Yolov4的混凝土结构病害检测方法
CN112668668A (zh) * 2021-01-25 2021-04-16 四川可示见科技有限公司 一种术后医学影像评估方法、装置、计算机设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI807809B (zh) * 2022-05-04 2023-07-01 國立東華大學 利用深度學習之卷積神經網路輔助辨識牙周病及齲齒之系統、電腦程式及電腦可讀取媒體

Similar Documents

Publication Publication Date Title
Hu et al. Parallel deep learning algorithms with hybrid attention mechanism for image segmentation of lung tumors
ES2914387T3 (es) Estudio inmediato
CN1663530B (zh) 用于处理图像数据以帮助检测疾病的方法和装置
Berdouses et al. A computer-aided automated methodology for the detection and classification of occlusal caries from photographic color images
CN111932559B (zh) 基于深度学习的新冠肺炎肺部病灶区域分割系统
CN111028224A (zh) 数据标注、模型训练和图像处理方法、装置及存储介质
US8290568B2 (en) Method for determining a property map of an object, particularly of a living being, based on at least a first image, particularly a magnetic resonance image
WO2012074039A1 (ja) 医用画像処理装置
CN109190540A (zh) 活检区域预测方法、图像识别方法、装置和存储介质
CN1934589A (zh) 为医学成像提供自动决策支持的系统和方法
CN111862075A (zh) 一种基于深度学习的肺部图像分析系统及其分析方法
Jannin et al. Validation in medical image processing.
CN109509177A (zh) 一种脑部影像识别的方法及装置
US8331635B2 (en) Cartesian human morpho-informatic system
CN112907581A (zh) 一种基于深度学习的mri多类脊髓肿瘤分割方法
JP2022546344A (ja) 脳卒中特徴取得のための画像処理
WO2020067005A1 (ja) セファロ画像における計測点の自動認識方法
CN113469987A (zh) 基于深度学习的牙科x射线图像病变区域定位系统
CN113688942A (zh) 基于深度学习的头侧片腺样体图像自动评估方法和装置
CN113362289A (zh) 一种胸部dr图像上异物自动检测的方法
CN112508943A (zh) 基于超声影像的乳腺肿瘤识别方法
CN209770401U (zh) 医学图像快速分析处理系统
CN112633404A (zh) 基于DenseNet的COVID-19患者的CT影像分类方法及装置
CN112116559A (zh) 一种基于深度学习的数字病理图像智能分析方法
CN113688788B (zh) 基于深度学习的头侧片上气道图像自动识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination