CN110246580B - 基于神经网络和随机森林的颅侧面影像分析方法和系统 - Google Patents

基于神经网络和随机森林的颅侧面影像分析方法和系统 Download PDF

Info

Publication number
CN110246580B
CN110246580B CN201910541470.1A CN201910541470A CN110246580B CN 110246580 B CN110246580 B CN 110246580B CN 201910541470 A CN201910541470 A CN 201910541470A CN 110246580 B CN110246580 B CN 110246580B
Authority
CN
China
Prior art keywords
model
craniofacial
neural network
cranial
random forest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910541470.1A
Other languages
English (en)
Other versions
CN110246580A (zh
Inventor
杜鑫
陈毅
朱露
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ueg Medical Imaging Equipment Co ltd
Original Assignee
Shanghai Ueg Medical Imaging Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Ueg Medical Imaging Equipment Co ltd filed Critical Shanghai Ueg Medical Imaging Equipment Co ltd
Priority to CN201910541470.1A priority Critical patent/CN110246580B/zh
Publication of CN110246580A publication Critical patent/CN110246580A/zh
Application granted granted Critical
Publication of CN110246580B publication Critical patent/CN110246580B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开了一种基于神经网络和随机森林的颅侧面影像分析方法和系统。成像设备(一般是口腔颌面断层成像设备，简称CBCT)完成对患者颅侧面曝光和图片合成后，将成像结果输入到颅侧面解剖特征标记模块中，经过一系列计算机自动识别和标记流程，完成对图像上重要解剖结构的标记工作，输出特征点的高精度位置；之后颅侧面报告生成模块接收颅侧面解剖特征标记模块经人工校验和调整后的各解剖特征点的位置，完成颅面医学分析，得到最终的颅侧面分析报告作为医生后续诊断的依据。本发明解决了对颅侧面影像进行快速自动化分析的难题，大幅减少医生在颅侧面影像分析过程中的体力劳动，缩短诊断周期；同时提高系统预测的稳定性，防止异常结果出现。

Description

基于神经网络和随机森林的颅侧面影像分析方法和系统
技术领域
本发明属于计算机辅助诊断技术领域，涉及一种颅侧面X射线影像自动分析方法和系统，尤其涉及一种基于随机森林技术和神经网络技术的颅侧面X射线影像（下称颅侧面影像）自动分析方法和系统。
背景技术
X射线颅侧位成像 (X-ray Cephalometry) 技术是利用X射线对患者头部进行射线投影，从而获得患者头部侧透视图的一种成像技术；其功能特点在于使用较小的辐射剂量，获得头部骨骼和组织的截面影像数据，为临床医生的诊断提供依据。在颅脑的侧位成像结果中，有一些生理结构所指示的特征点，这些特征点可以为医生的诊断提供辅助信息，或成为诊断的依据。数据显示，牙科医生完成整次颅面影像分析过程需要20分钟以上的时间。为尽量缩短医生手动标记的耗时，减小医生的体力劳动，提高问诊效率， 采用基于计算机数据分析和图像识别技术的自动标记技术日益成为趋势。颅面影像标记技术便是整个自动分析过程中重要的一环。
颅侧面影像自动标记技术的基本实现思路主要分为四种：基于特征提取的回归技术（参见C. Chu, C. Chen, L.-P. Nolte and G. Zheng, ”Fully Automatic Cephalo-metric X-Ray Landmark Detection Using Random Forest Regression and Sparseshape composition,” in Proc. ISBI International Symposium on BiomedicalImaging 2014: Automatic Cephalometric X-Ray Landmark Detection Challenge,2014；C. Chen and G. Zheng, ”Fully-Automatic Landmark Detection inCephalometric X-Ray Images by Data-Driven Image Displacement Estima- tion,”in Proc. ISBI International Symposium on Biomedical Imaging 2014: AutomaticCephalometric X-Ray Landmark Detection Challenge, 2014）、基于特征提取的区域分类技术（参见R. Vandaele, R. Marée, S. Jodogne, and P. Geurts, ”AutomaticCephalo- metric X-Ray Landmark Detection Challenge 2014: A tree-based ap-proach,” in Proc. ISBI International Symposium on Biomedical Imaging 2014:Automatic Cephalometric X-Ray Landmark Detection Challenge, 2014.）、形状匹配技术（参见B. Ibragimov, B. Likar, F. Pernuˇ s and T. Vrtovec, ”Automaticcephalo- metric X-ray landmark detection by applying game theory and randomforests,” in Proc. ISBI International Symposium on Biomedical Imaging 2014:Automatic Cephalometric X-Ray Landmark Detection Challenge, 2014.）、基于深度学习的位置估计技术（Arik, Sercan Ö., Bulat Ibragimov, and Lei Xing. "Fullyautomated quantitative cephalometry using convolutional neural networks."Journal of Medical Imaging 4.1 (2017): 014501.）。前三种思路中，特征提取和形状匹配在构建时需要大量手动干预和领域专业知识，构建过程费时、不可靠，更新难度高；而第四种基于深度学习的自动标记技术随着深度学习领域的整体高速发展，近年来受到广泛关注。实际搭建自动标记系统时，往往采取其中的两种相互配合，以同时提高精度和系统稳定性。
深度学习技术的特点在于能从数据集中自动提取特征，能有效避免人工干预。随着如RCNN、Masked-RCNN、残差神经网络、生成式对抗网络等深度学习模型的出现，深度学习方法已经在高精度目标识别、低剂量CT图像降噪、图像超分辨率等领域展现出超过传统机器学习方法的性能。因此，将深度学习技术，尤其是卷积神经网络技术应用到颅侧位成像自动标记任务上，是进一步提升颅面图像自动标记精度的一种高效思路。然而，在目前为止的研究中，深度学习本身存在的预测不稳定问题尚未解决。例如，中国发明专利申请CN201810948956公开了基于卷积神经网络与随机森林组合的白内障自动分级方法，虽然其采用卷积神经网络和随机森林的组合，但是该专利中使用随机森林模型单纯出于提高分级精度的目的，其仍然存在预测不稳定的问题。
因此，本领域亟需研发一种能克服上述缺陷，提高系统（尤其是卷积神经网络模型）的稳定性，防止异常结果出现的新的基于神经网络和随机森林的颅侧面影像分析方法和系统。
发明内容
本发明要解决的技术问题是提供一种基于神经网络和随机森林的颅侧面影像分析系统，解决了现有自动标记技术存在的问题，解决了对颅侧面影像进行快速自动化分析的难题，大幅减少医生在颅侧面影像分析过程中的体力劳动，缩短诊断周期。本发明将神经网络和随机森林技术相结合，设计了一种不借助领域专业知识的多模型混合颅侧面影像处理系统；提高系统（尤其是卷积神经网络模型）预测的稳定性，防止异常结果出现，在实现更高标记精度和可靠性的同时，借助Fast-Regional 卷积技术实现了自动标记耗时的大幅缩短，提高了处理效率。为此，本发明还提供基于神经网络和随机森林的颅侧面影像分析方法。
在本发明的第一方面，提出了一种基于神经网络和随机森林的颅侧面影像分析系统，该系统包括成像设备、颅侧面解剖特征标记模块和颅侧面报告生成模块；
所述成像设备作为数据来源及最终分析报告展示载体；
所述颅侧面解剖特征标记模块与所述成像设备连接，用于接收成像设备生成的颅侧面影像作为输入，经过一系列计算机自动识别和标记流程，完成对图像上重要解剖结构的标记工作，输出特征点的高精度位置；所述颅侧面解剖特征标记模块包括神经网络模型、随机森林模型和合成模型；所述神经网络模型用于对特征点位置进行第一次估计，输出特征点在原2D图像各个位置出现的概率热度图；所述随机森林模型根据各特征点之间的几何关系推测各特征点大致应处的位置范围；所述合成模型将结合随机森林模型的输出结果对其进行修正，最终预测各特征点坐标；
所述颅侧面报告生成模块用于接收所述颅侧面解剖特征标记模块经人工校验和调整后的各解剖特征点的位置，完成进一步颅面医学分析，得到最终的颅侧面分析报告。
作为本发明优选的技术方案，所述成像设备为口腔颌面断层成像设备CBCT。
作为本发明优选的技术方案，所述人工校验和调整在本地计算机进行。
作为本发明优选的技术方案，该系统还包括中心服务器；所述中心服务器通过通信模块与所述成像设备连接；成像设备将所需信息发送至中心服务器；所述颅侧面解剖特征标记模块的工作转移至所述中心服务器上完成，在中心服务器完成分析过程后接收分析报告；所述通信模块，在本地计算机不具备图像自动分析所需的计算能力或环境情况下，将所述成像设备的必要信息与中心服务器通信，以将上述工作部分或全部转移到中心服务器中完成。
作为本发明优选的技术方案，所述神经网络模型由多个不同尺度的RCNN模型并行排列而成；一个RCNN模型由多个CNN层按顺序排列组成；所述CNN层包括卷积层、批归一化层、激活层、池化层中的多种或全部；所述RCNN模型，其输入为一张单通道2D图片，输出为一张较小的多通道图片，每个通道对应一个特征点的概率热度图；概率热度图中的每个像素对应模型输入图片的一个区域：如果特征点落在原图该区域中心位置，那么模型的输出中对应像素亮度值应接近1，否则该亮度值应接近0；该亮度值代表某特征点落在模型输入中对应区域中心的概率。
作为本发明优选的技术方案，所述多个RCNN模型堆叠，各个RCNN模型输出的概率热度图叠加作为神经网络模型输出的概率热度图。
在本发明的第二方面，提出了一种颅侧面影像自动标记方法。
本发明采用具体的颅侧面影像自动标记方法，该方法结合神经网络技术（或称深度学习技术）和随机森林技术，自动处理2D颅侧面X射线图像，得到颅侧面重要解剖结构的位置信息。在可能的一种实现中，所述的自动标记方法能够自动完成对颅侧面关键结构点的标记工作。该方法实现了相对传统方法更高的标记精度和稳定性。该方法包括如下步骤：
步骤A，图片预处理：对颅侧面影像的基本处理，包括亮度、对比度调整，图片降噪，图片风格转换操作；
步骤B，神经网络模型估计：识别预处理过后的图片，估计标记需求中的涉及的解剖结构特征点在全图各个位置的出现概率，并根据出现概率得到初步的特征点位置坐标；
步骤C，随机森林模型估计：根据从数据中学习到的颅侧面各特征点互相之间的几何关系，检测上述神经网络模块所输出的位置坐标中的异常坐标，并输出对应的特征点的正确坐标应处的大致范围；
步骤D，合成模型估计：结合所述随机森林模块的范围估计结果，和所述神经网络模块得到的特征点概率分布结果，做出特征点位置坐标的最终估计。
作为本发明优选的技术方案，步骤B中，所述神经网络模型的参数初始化使用xavier初始化方法；在神经网络的训练过程中，每次从训练样本集中选取一批图片和对应的特征点坐标，随后进行以下步骤：
步骤1，对图片进行预处理，添加适当的随机噪声，并随机旋转一定角度；计算特征点经以上变换后的坐标，并按照坐标计算对应的目标概率热度图，其中特征点对应的位置的一个半径为 r1 的圆形区域内均设为1，其外区域均设为0，设r1=2 mm=20 像素；
步骤2，将预处理后的图片 p 输入神经网络模型 NN 得到输出的概率热度图 NN(p)，并计算输出的概率热度图与目标概率热度图 q 之间的像素平均交叉熵 loss：
Figure DEST_PATH_IMAGE001
其中，h 和 w 分别为概率热度图在高度和宽度方向上的像素数，qij为目标概率热度图在第i行第j列的像素亮度，NN(p)ij为神经网络模型所估计得到概率热度图在第i行第j列的像素亮度（注：概率热度图上的像素亮度值均在0到1之间）；
步骤3，根据 loss 反向传播方法计算各层可训练参数的数值梯度，并根据梯度更新各层的参数；采用Adam优化方法；神经网络模型的训练过程采取提早停止的方式，即在训练过程中记录多个时间点时模型的状态，结束后，选取测试数据集分类正确率最高的中间状态作为最终模型。
在本发明的第三方面，提供一种基于神经网络和随机森林的颅侧面影像分析方法，该方法适用于“离线状态”，其采用所述的基于神经网络和随机森林的颅侧面影像分析系统，该系统包括成像设备、颅侧面解剖特征标记模块和颅侧面报告生成模块；该方法包括如下步骤：
第一步，成像设备将颅侧面影像信息传输至颅侧面解剖特征标记模块；
第二步，颅侧面解剖特征标记模块进行颅侧面影像自动标记，该颅侧面影像自动标记采用如权利要求7或8所述的方法；
第三步，在本地计算机对各特征点位置坐标进行人工校验和调整；
第四步，颅侧面报告生成模块完成进一步颅面医学分析，得到最终的颅侧面分析报告；
或者，该方法适用于“在线状态”，其采用所述的基于神经网络和随机森林的颅侧面影像分析系统，该系统包括成像设备、颅侧面解剖特征标记模块、颅侧面报告生成模块和中心服务器；包括如下步骤：
第一步，成像设备通过通信模块将颅侧面影像信息传输至中心服务器；
第二步，中心服务器调用颅侧面解剖特征标记模块，颅侧面解剖特征标记模块进行颅侧面影像自动标记，该颅侧面影像自动标记采用如权利要求7或8所述的方法；
第三步，在本地操作屏对中心服务器的各特征点位置坐标进行人工校验和调整；
第四步，颅侧面报告生成模块完成进一步颅面医学分析，得到最终的颅侧面分析报告。
作为本发明优选的技术方案，第四步中，所述颅侧面报告生成模块由各特征点的位置信息计算出各投影测量项目的测量值；然后，输出测量值和标准值的比较结果，并对与标准值差异较大的异常结果进行提示。
与现有技术相比，特别是与中国发明专利申请CN201810948956相比，本发明的有益效果在于：
1. 关于随机森林模型：
虽然都是卷积神经网络和随机森林的组合，但是中国发明专利申请CN201810948956中使用随机森林模型单纯出于提高分级精度的目的，而本发明结合随机森林模型是为了提高系统（尤其是卷积神经网络模型）的稳定性，防止异常结果的出现，达到了中国发明专利申请CN201810948956所预料不到的技术效果。
2. 关于模型/系统的可扩展性：
中国发明专利申请CN201810948956每次训练好模型后只能处理固定大小/长宽比的图片；而本发明由于卷积神经网络结构设计的优势，可以处理不同大小/长宽比的图片输入，同时丝毫不影响模型的精度。
3. 关于模型对硬件水平的要求：
本发明中对神经网络模型的设计思路支持本模型运行在具备不同储存能力的处理器上。换句话说可以在不影响精度的前提下，以牺牲少量运行时间为代价，降低对内存大小的要求。而中国发明专利申请CN201810948956则由于模型设计的缺陷，在模型训练完成后，便对内存大小存在固定要求。另外，本发明中提出的处理系统中，包含云端中心服务器代为处理数据的模式，可以进一步降低对使用端处理设备的要求，这也是中国发明专利申请CN201810948956不具备的。
4. 关于应用场景方面：
中国发明专利申请CN201810948956的应用场景（白内障自动分级）可归为分类问题；而本发明的应用场景是一个位置估计问题，两者无论在问题本身和对问题的处理思路上差别都很大。
5、本发明能提高系统（尤其是卷积神经网络模型）预测的稳定性，防止异常结果出现。此外，在实现更高标记精度和可靠性的同时，借助Fast-Regional 卷积技术实现了自动标记耗时的大幅缩短，提高了处理效率。
6、本发明解决了对颅侧面影像进行快速自动化分析的难题，大幅减少医生在颅侧面影像分析过程中的体力劳动，缩短诊断周期。
7、本发明采用具体的颅侧面影像自动标记方法，该方法结合神经网络技术（或称深度学习技术）和随机森林技术，自动处理2D颅侧面X射线图像，得到颅侧面重要解剖结构的位置信息。在可能的一种实现中，所述的自动标记方法能够自动完成对颅侧面关键结构点的标记工作。该方法实现了相对传统方法更高的标记精度和稳定性。
附图说明
下面结合附图和实施例对本发明做进一步的详细说明。
图1为本发明一个实施例的实施环境的示意图。
图2A为本发明一个实施例中的基于本地计算机的颅侧面影像自动分析流程图（离线状态）。
图2B为本发明一个实施例中的基于中心服务器的颅侧面影像自动分析流程图（在线状态）。
图3为本发明一个实施例中颅侧面解剖特征标记模块的具体运行流程图。
图4为本发明一个实施例中神经网络模型的网络结构示意图。
图5为本发明涉及的神经网络模型中“CNN层”的分解结构图。
图6为本发明一个实施例中随机森林模型对神经网络模型输出结果的修正流程图。
图7A为本发明一个实施例中，神经网络模型输出结果修正前的示意图。
图7B 为本发明一个实施例中，神经网络模型输出结果修正后的示意图。
图7C 为本发明一个实施例中，神经网络模型输出结果的修正过程示意图。
图8为本发明一个实施例中，颅侧面解剖特征标记模块的最终标记结果的示意图。
图9为本发明一个实施例中，颅侧面报告生成模块的诊断过程示意图。
图中附图标记说明如下：
110为成像设备，120为中心服务器，210为“离线状态”，211为颅侧面解剖特征标记模块，212为颅侧面报告生成模块，220为“在线状态”，221为通信模块，310为神经网络模型，320为随机森林模型，330为合成模型，410为RCNN模型，411为CNN层，510为卷积层，520为批归一化层（Batch Normalization, BN），530为激活层，540为池化层，600为“概率图修正”，610为颅面特征点遮罩。
具体实施方式
下面结合具体实施例，进一步解释本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
如图1所示，本发明实施例公开的基于神经网络和随机森林的颅侧面影像自动分析系统，是以成像设备110作为数据来源及最终分析报告展示载体，同时以中心服务器120为可选的辅助处理载体构成的完整系统。成像设备110可以为口腔颌面断层成像设备（CBCT）。在一种可称为“离线状态”的实施例中，成像设备110中包含用于颅侧面分析的计算环境；在此情况下，中心服务器120不参与分析过程，整个特征点标记以及分析报告的生成均在成像设备110中完成。在另一种可称为“在线状态”的实施例中，成像设备110不具备或不启用颅侧面分析所需的计算环境；在此情况下，成像设备110将所需信息发送至中心服务器120，并在中心服务器120完成分析过程后接收分析报告，并展示在成像设备110附带的显示装置中。
以上“离线状态”和“在线状态”的实施例中具体的数据处理过程分别对应于图2A和图2B中的描述。如图2A所示，在“离线状态”210中，数据处理系统可分为颅侧面解剖特征标记模块211和颅侧面报告生成模块212两部分：颅侧面影像先经由颅侧面解剖特征标记模块211的标记生成一份各解剖特征点估计的位置坐标（以及估计的可信程度），经过人工校验和调整后再由颅侧面报告生成模块212完成进一步颅面医学分析，得到最终的颅侧面分析报告。颅侧面报告生成模块212，根据解剖结构特征点的位置，计算口腔颌面解剖结构的尺寸、角度，完成对患者颅侧面整体状况的分析，生成相应的分析报告和矫治方案，将分析结果以分析报告的方式输出，作为医生后续诊断的依据。分析报告和矫治方案包括但不限于患者颅面生长发育状况评估报告，牙合颅面畸形的诊断分析报告，矫治设计方案，矫治前后牙合颅面的形态变化评估报告，以及下颌功能分析报告。如图2B所示，在“在线状态”220中，整个流程与“离线状态”210大致相同，另需借助通信模块221完成成像设备110和中心服务器120之间的信息传递，从而将颅侧面解剖特征标记模块211的工作转移至中心服务器120上完成。所述通信模块221，在本地计算机不具备图像自动分析所需的计算能力或环境情况下，将所述成像设备110的必要信息与中心服务器120通信，以将上述工作部分或全部转移到中心服务器120中完成。
图3详细描述了颅侧面解剖特征标记模块211内部的运行原理，也即本发明所要求的“颅侧位X射线影像自动标记方法”的主要部分。该模块共包括三个子模型：神经网络模型310，随机森林模型320和合成模型330。
首先，神经网络模型310对特征点位置进行第一次估计，输出特征点在原2D图像各个位置出现的概率热度图，神经网络模型310的细节将在后面对图4和图5的介绍时具体描述。接下来，需要利用概率热度图得到最终对各特征点的坐标估计。在本发明的一种可能实现中，系统直接从概率热度图中选取概率最大的点作为对特征点的估计。虽然这种实现在大多数估计中取得了理想的精度，但受限于神经网络模型310对异常点敏感的固有弱点，在该实现的实际使用中往往会出现部分特征点坐标估计结果大幅偏离真实坐标的情况。为克服这个弱点，本发明提出了另一种改进实现，即依靠随机森林模型320和合成模型330识别潜在的异常估计，并对其进行修正（随机森林模型320根据各特征点之间的几何关系推测各特征点大致应处的位置范围，合成模型330最终预测的各特征点坐标），确保最终输出的特征点估计结果的可靠性。
图6演示了随机森林模型320对神经网络模型310的输出进行修正的过程，也即图中所示“概率图修正”600的过程。在获取神经网络模型310输出的特征点的概率热度图后，随机森林模型320从概率热度图中一次或多次采样，得到各特征点的估计坐标；随后，每次通过从19个特征点中去掉关注特征点（也即添加颅面特征点遮罩610）的方式，借助从数据样本中学习到的特征点之间的几何关系找到关注特征点应位于的范围；在本发明的一种实现中，神经网络模型310输出的概率热度图中概率最大的位置被定义为该关注特征点的初步估计位置，若该位置大幅偏离前述位置范围，则认为该估计是异常估计；若在某特征点位置估计被检测为异常估计，合成模型330将结合随机森林模型320的输出结果对其进行修正。
修正后的概率热度图将被传送至合成模型330，以完成对特征点位置的最终预测。该模型的一个实施例如下：首先以随机森林模型320的预测结果为中心设定一个矩形区域，其长宽通过超参数选择方法获得；随后将概率热度图中落在矩形区域外的概率值修正为0。在另一个实施例中，将落在矩形区域外的概率值按距离的远近做一定缩减，而非直接削减为0。最后，以某种策略从修正后的概率热度图中选取可能性最高的位置作为特征点的最终估计位置。
下面进一步介绍本实施例中的神经网络模型310和随机森林模型320。本实施例是针对19个关键标志点的自动标记。其他颅侧位临床分析方法可能包含更多标志点，可以通过调整神经网络的输出通道数来实现。
如图4所示，本实施例中涉及的神经网络模型310基于RCNN（RegionalConvolutional Neural Network）模型，一个神经网络模型310由多个不同尺度的RCNN模型410并行排列而成。一个RCNN模型410由多个CNN（Convolutional Neural Network）层411按顺序排列组成。在某一个RCNN模型410的实现中，其输入为一张单通道2D图片，尺寸为2400x1935x1；输出为一张较小的多通道图片，尺寸为280x222x19，每个通道对应一个特征点的概率热度图；概率热度图中的每个像素对应模型输入图片的一个区域：如果特征点落在原图该区域中心位置，那么模型的输出中对应像素亮度值应接近1，否则该亮度值应接近0；该亮度值代表某特征点落在模型输入中对应区域中心的概率。为了抽取颅侧位图片不同尺度的局部特征，本实施例中采用了多个RCNN模型410堆叠，各个RCNN模型410输出的概率热度图叠加作为神经网络模型310输出的概率热度图。
RCNN模型中的每个CNN层411的结构如图5所示，由四种常见的神经网络层中的几种或全部组成，包括卷积层510、批归一化层（Batch Normalization, BN）520、激活层530、池化层540。在本实施例中，其中一个RCNN模型的结构和超参数选择结果如下表1所示：
表1：RCNN模型的结构和超参数选择
Figure 459027DEST_PATH_IMAGE002
Figure 376167DEST_PATH_IMAGE003
其中，“same”描述在卷积过程前，先对图像进行边缘填补，使得卷积结果和原图片尺寸一致；“valid”描述卷积过程前，不对图像进行边缘填补；“relu”描述函数
Figure 359166DEST_PATH_IMAGE004
；“sigmoid”描述函数
Figure 739331DEST_PATH_IMAGE005
。
神经网络模型的参数初始化可以使用xavier初始化方法。在神经网络的训练过程中，每次从训练样本集中选取一批图片和对应的特征点坐标，随后进行以下步骤：
步骤1，对图片进行预处理，添加适当的随机噪声，并随机旋转一定角度；计算特征点经以上变换后的坐标，并按照坐标计算对应的目标概率热度图，其中特征点对应的位置的一个半径为 r1 的圆形区域内均设为1，其外区域均设为0。在本实现中设r1=2 mm=20 像素。
步骤2，将预处理后的图片 p 输入神经网络模型 NN 得到输出的概率热度图 NN(p)，并计算输出的概率热度图与目标概率热度图 q 之间的像素平均交叉熵 loss：
Figure 553703DEST_PATH_IMAGE006
其中，h 和 w 分别为概率热度图在高度和宽度方向上的像素数，
qij为目标概率热度图在第i行第j列的像素亮度，NN(p)ij为神经网络模型所估计得到概率热度图在第i行第j列的像素亮度（注：概率热度图上的像素亮度值均在0到1之间）。
步骤3，根据 loss 反向传播方法计算各层可训练参数的数值梯度，并根据梯度更新 各层的参数。在本实现中采用了Adam优化方法。神经网络模型的训练过程采取提早停止的方式，即在训练过程中记录多个时间点时模型的状态，结束后，选取测试数据集分类正确率最高的中间状态作为最终模型。
本实施例中涉及的随机森林（Random Forest）模型是一种基于决策树（DecisionTree）的集成回归模型，其最终决策结果由多个决策树的结果共同决定。随机森林中的每棵决策树采取所有特征中的随机一部分进行训练，因此对异常特征和异常点有一定抵抗能力。在本实施例中，由于神经网络模型的不稳定性，对特征点坐标的第一次估计中可能存在少数显著错误的特征点。此种场景适合利用随机森林模型进行异常点的检测和修正。在本实施例中，使用的决策树数量为50。
我们采取Automatic Cephalometric X-Ray Landmark Detection Challenge2014 提供的400组标记数据，取前300组为训练集，后100组为测试集用于模型训练。在本实施例中，上述颅侧位影像自动标记方法与此前文献中记载的方法效果对比如表2所示。
表2：自动标记方法效果对比
Figure 579428DEST_PATH_IMAGE007
注：“-”表示文献中没有记录对应的数据结果。
图7A、7B、7C记录了一个完整的特征点自动标记及修正流程的图示。图7A描述了一张预处理后的颅侧面2D图像，及神经网络模型310对该图像上各特征点位置的初步估计结果。可以发现，在其他标记点位置估计基本符合要求的同时，标记点11与标记点14均出现了大幅偏离正确位置的问题。图7B展示了随机森林模型320和合成模型330对该特征点估计值的修复结果。图7C详细描述了从图7A到图7B的修复过程，图中矩形框标注的区域描述了该实施例中随机森林模型320对各标记点合理位置范围的估计和限定。
图8展示了本实施例中颅侧面解剖特征标记模块211的最终输出形式，即各标记点的位置信息。需要注意的是，本发明中上述的位置信息包括但不仅限于各标记点的坐标信息，还包括例如位置信息的可信程度值等，以便于后续人工干预，以及分析报告自动生成的其他项目。
如图9所示，在颅侧面报告生成模块212中，由各特征点的位置信息可计算出各投影测量项目的测量值（如测量解剖结构的尺寸、角度等），这些测量值包括但不仅限于不同特征点的连线的距离和连线之间的角度。最后，输出测量值和标准值的比较结果，测量值和标准值以图表和文字的形式呈现在生成的诊断报告中。对于与标准值差异较大的测量项目，诊断报告还会自动加以文字提示。

Claims (10)

1.基于神经网络和随机森林的颅侧面影像分析系统，其特征在于，该系统包括成像设备、颅侧面解剖特征标记模块和颅侧面报告生成模块；
所述成像设备作为数据来源及最终分析报告展示载体；
所述颅侧面解剖特征标记模块与所述成像设备连接，用于接收成像设备生成的颅侧面影像作为输入，经过一系列计算机自动识别和标记流程，完成对图像上重要解剖结构的标记工作，输出特征点的高精度位置；所述颅侧面解剖特征标记模块包括神经网络模型、随机森林模型和合成模型；所述神经网络模型用于对特征点位置进行第一次估计，输出特征点在原2D图像各个位置出现的概率热度图；所述随机森林模型根据各特征点之间的几何关系推测各特征点大致应处的位置范围，是基于决策树的集成回归模型，其最终决策结果由多个决策树的结果共同决定；每棵决策树采取所有特征中的随机一部分进行训练；所述合成模型将结合随机森林模型的输出结果对概率热度图进行修正，最终预测各特征点坐标，具体为：所述随机森林模型从所述概率热度图中一次或多次采样，得到各特征点的估计坐标；每次通过从总特征点中去掉关注特征点的方式，借助从数据样本中学习到的特征点之间的几何关系找到关注特征点应位于的范围；所述神经网络模型输出的所述概率热度图中概率最大的位置被定义为该关注特征点的初步估计位置，若该位置大幅偏离前述位置范围，则认为该估计是异常估计；若在某特征点位置估计被检测为异常估计，所述合成模型将结合所述随机森林模型的输出结果对其进行修正；
所述颅侧面报告生成模块用于接收所述颅侧面解剖特征标记模块经人工校验和调整后的各解剖特征点的位置，完成进一步颅面医学分析，得到最终的颅侧面分析报告。
2.如权利要求1所述的基于神经网络和随机森林的颅侧面影像分析系统，其特征在于，所述成像设备为口腔颌面断层成像设备CBCT。
3.如权利要求1所述的基于神经网络和随机森林的颅侧面影像分析系统，其特征在于，所述人工校验和调整在本地计算机进行。
4.如权利要求1所述的基于神经网络和随机森林的颅侧面影像分析系统，其特征在于，该系统还包括中心服务器；所述中心服务器通过通信模块与所述成像设备连接；成像设备将所需信息发送至中心服务器；所述颅侧面解剖特征标记模块的工作转移至所述中心服务器上完成，而成像设备在中心服务器完成分析过程后接收分析报告；所述通信模块，在本地计算机不具备图像自动分析所需的计算能力或环境情况下，将所述成像设备的必要信息与中心服务器通信，以将上述工作部分或全部转移到中心服务器中完成。
5.如权利要求1所述的基于神经网络和随机森林的颅侧面影像分析系统，其特征在于，所述神经网络模型由多个不同尺度的RCNN模型并行排列而成；一个RCNN模型由多个CNN层按顺序排列组成；所述CNN层包括卷积层、批归一化层、激活层、池化层中的多种或全部；所述RCNN模型，其输入为一张单通道2D图片，输出为一张较小的多通道图片，每个通道对应一个特征点的概率热度图；概率热度图中的每个像素对应模型输入图片的一个区域：如果特征点落在原图该区域中心位置，那么模型的输出中对应像素亮度值应接近1，否则该亮度值应接近0；该亮度值代表某特征点落在模型输入中对应区域中心的概率。
6.如权利要求5所述的基于神经网络和随机森林的颅侧面影像分析系统，其特征在于，所述多个RCNN模型堆叠，各个RCNN模型输出的概率热度图叠加作为神经网络模型输出的概率热度图。
7.一种颅侧面影像自动标记方法，其特征在于，包括如下步骤：
步骤A，图片预处理：对颅侧面影像的基本处理，包括亮度、对比度调整，图片降噪，图片风格转换操作；
步骤B，神经网络模型估计：识别预处理过后的图片，估计标记需求中的涉及的解剖结构特征点在全图各个位置的出现概率，并根据出现概率得到初步的特征点位置坐标；
步骤C，随机森林模型估计：根据从数据中学习到的颅侧面各特征点互相之间的几何关系，检测上述神经网络模块所输出的位置坐标中的异常坐标，并输出对应的特征点的正确坐标应处的大致范围；所述随机森林模型是基于决策树的集成回归模型，其最终决策结果由多个决策树的结果共同决定；每棵决策树采取所有特征中的随机一部分进行训练；
步骤D，合成模型估计：结合所述随机森林模块的范围估计结果，和所述神经网络模块得到的特征点概率分布结果，做出特征点位置坐标的最终估计，具体为：所述随机森林模型从所述概率热度图中一次或多次采样，得到各特征点的估计坐标；每次通过从总特征点中去掉关注特征点的方式，借助从数据样本中学习到的特征点之间的几何关系找到关注特征点应位于的范围；所述神经网络模型输出的所述概率热度图中概率最大的位置被定义为该关注特征点的初步估计位置，若该位置大幅偏离前述位置范围，则认为该估计是异常估计；若在某特征点位置估计被检测为异常估计，所述合成模型将结合所述随机森林模型的输出结果对其进行修正。
8.如权利要求7所述的方法，其特征在于，步骤B中，所述神经网络模型的参数初始化使用xavier初始化方法；在神经网络的训练过程中，每次从训练样本集中选取一批图片和对应的特征点坐标，随后进行以下步骤：
步骤1，对图片进行预处理，添加适当的随机噪声，并随机旋转一定角度；计算特征点经以上变换后的坐标，并按照坐标计算对应的目标概率热度图，其中特征点对应位置的一个半径为r1的圆形区域内均设为1，其外区域均设为0，设r1＝2mm＝20像素；
步骤2，将预处理后的图片p输入神经网络模型NN得到输出的概率热度图NN(p)，并计算输出的概率热度图与目标概率热度图q之间的像素平均交叉熵loss：
Figure FDA0003096243700000031
其中，h和w分别为概率热度图在高度和宽度方向上的像素数，qij为目标概率热度图在第i行第j列的像素亮度，NN(p)ij为神经网络模型所估计得到概率热度图在第i行第j列的像素亮度，概率热度图上的像素亮度值均在0到1之间；
步骤3，根据loss反向传播方法计算各层可训练参数的数值梯度，并根据梯度更新各层的参数；采用Adam优化方法；神经网络模型的训练过程采取提早停止的方式，即在训练过程中记录多个时间点时模型的状态，结束后，选取测试数据集分类正确率最高的中间状态作为最终模型。
9.一种基于神经网络和随机森林的颅侧面影像分析方法，其特征在于，该方法适用于“离线状态”，其采用如权利要求1所述的基于神经网络和随机森林的颅侧面影像分析系统，该方法包括如下步骤：
第一步，成像设备将颅侧面影像信息传输至颅侧面解剖特征标记模块；
第二步，颅侧面解剖特征标记模块进行颅侧面影像自动标记，该颅侧面影像自动标记采用如权利要求7或8所述的方法；
第三步，在本地计算机对各特征点位置坐标进行人工校验和调整；
第四步，颅侧面报告生成模块完成进一步颅面医学分析，得到最终的颅侧面分析报告；
或者，该方法适用于“在线状态”，其采用如权利要求4所述的基于神经网络和随机森林的颅侧面影像分析系统，包括如下步骤：
第一步，成像设备通过通信模块将颅侧面影像信息传输至中心服务器；
第二步，中心服务器调用颅侧面解剖特征标记模块进行颅侧面影像自动标记，该颅侧面影像自动标记采用如权利要求7或8所述的方法；
第三步，在本地操作屏对中心服务器的各特征点位置坐标进行人工校验和调整；
第四步，颅侧面报告生成模块完成进一步颅面医学分析，得到最终的颅侧面分析报告。
10.如权利要求9所述的方法，其特征在于，第四步中，所述颅侧面报告生成模块由各特征点的位置信息计算出各投影测量项目的测量值；然后，输出测量值和标准值的比较结果，并对与标准值差异较大的异常结果进行提示。
CN201910541470.1A 2019-06-21 2019-06-21 基于神经网络和随机森林的颅侧面影像分析方法和系统 Active CN110246580B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910541470.1A CN110246580B (zh) 2019-06-21 2019-06-21 基于神经网络和随机森林的颅侧面影像分析方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910541470.1A CN110246580B (zh) 2019-06-21 2019-06-21 基于神经网络和随机森林的颅侧面影像分析方法和系统

Publications (2)

Publication Number Publication Date
CN110246580A CN110246580A (zh) 2019-09-17
CN110246580B true CN110246580B (zh) 2021-10-15

Family

ID=67888696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910541470.1A Active CN110246580B (zh) 2019-06-21 2019-06-21 基于神经网络和随机森林的颅侧面影像分析方法和系统

Country Status (1)

Country Link
CN (1) CN110246580B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110634571A (zh) * 2019-09-20 2019-12-31 四川省人民医院 肝移植术后预后预测系统
CN111243026B (zh) * 2020-01-19 2023-09-22 武汉联影智融医疗科技有限公司 解剖标记点定位方法、装置、计算机设备和存储介质
CN111599432B (zh) * 2020-05-29 2024-04-02 上海优医基医疗影像设备有限公司 一种三维颅面影像特征点标记分析系统及方法
CN113065552A (zh) * 2021-03-29 2021-07-02 天津大学 自动定位头影测量标志点的方法
CN113256488B (zh) * 2021-06-21 2021-09-24 四川大学 预测模型的生成方法、装置，侧貌预测方法及电子设备
CN115796306B (zh) * 2023-02-07 2023-04-18 四川大学 一种恒牙成熟度分级模型的训练及恒牙成熟度分级方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700118A (zh) * 2015-03-18 2015-06-10 中国科学院自动化研究所 基于卷积神经网络的肺结节良恶性预测方法
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
CN107563383A (zh) * 2017-08-24 2018-01-09 杭州健培科技有限公司 一种医学影像辅助诊断及半监督样本生成系统
CN108920893A (zh) * 2018-09-06 2018-11-30 南京医科大学 一种基于人工智能的颅颌面骨骼和软组织形态预测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190043487A1 (en) * 2017-08-02 2019-02-07 Veritone, Inc. Methods and systems for optimizing engine selection using machine learning modeling

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700118A (zh) * 2015-03-18 2015-06-10 中国科学院自动化研究所 基于卷积神经网络的肺结节良恶性预测方法
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
CN107563383A (zh) * 2017-08-24 2018-01-09 杭州健培科技有限公司 一种医学影像辅助诊断及半监督样本生成系统
CN108920893A (zh) * 2018-09-06 2018-11-30 南京医科大学 一种基于人工智能的颅颌面骨骼和软组织形态预测方法

Also Published As

Publication number Publication date
CN110246580A (zh) 2019-09-17

Similar Documents

Publication Publication Date Title
CN110246580B (zh) 基于神经网络和随机森林的颅侧面影像分析方法和系统
Torosdagli et al. Deep geodesic learning for segmentation and anatomical landmarking
US11464467B2 (en) Automated tooth localization, enumeration, and diagnostic system and method
US10049457B2 (en) Automated cephalometric analysis using machine learning
US10318839B2 (en) Method for automatic detection of anatomical landmarks in volumetric data
CN104637024B (zh) 医用图像处理装置以及医用图像处理方法
CN102096917B (zh) 胶囊内窥镜冗余图像数据的自动剔除方法
US20220157047A1 (en) Feature Point Detection
CN107203998B (zh) 一种对锥束ct图像进行牙列分割的方法
CN110503652B (zh) 下颌智齿与邻牙及下颌管关系确定方法、装置、存储介质及终端
WO2021061611A1 (en) Method, system and computer readable storage media for registering intraoral measurements
KR102461343B1 (ko) 금속 인공 음영이 포함된 의료영상에서 치아 랜드마크 자동 검출 방법 및 시스템
Lee et al. Deep learning based cephalometric landmark identification using landmark-dependent multi-scale patches
CN115797730B (zh) 模型训练方法及装置、头影测量关键点定位方法及装置
WO2020110774A1 (ja) 画像処理装置、画像処理方法、及びプログラム
EP4184433A2 (en) System and methods for medical image quality assessment using deep neural networks
EP4191528A1 (en) Methods and systems for image registration
Chen et al. Detection of various dental conditions on dental panoramic radiography using Faster R-CNN
Viviers et al. Advancing 6-DoF Instrument Pose Estimation in Variable X-Ray Imaging Geometries
Hwang et al. SinusC-Net for automatic classification of surgical plans for maxillary sinus augmentation using a 3D distance-guided network
KR102545906B1 (ko) 학습 모델을 이용한 데이터 처리 방법
US20240062367A1 (en) Detecting abnormalities in an x-ray image
WO2022172817A1 (ja) 学習装置、学習方法、学習済みモデル、及びプログラム
CN116168097A (zh) 构建cbct勾画模型和勾画cbct图像的方法、装置、设备及介质
Du et al. Anatomical landmarks annotation on 2D lateral cephalograms with channel attention

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant