CN114511548A - 基于深度学习的多阶段多层次骨赘检测方法 - Google Patents
基于深度学习的多阶段多层次骨赘检测方法 Download PDFInfo
- Publication number
- CN114511548A CN114511548A CN202210143210.0A CN202210143210A CN114511548A CN 114511548 A CN114511548 A CN 114511548A CN 202210143210 A CN202210143210 A CN 202210143210A CN 114511548 A CN114511548 A CN 114511548A
- Authority
- CN
- China
- Prior art keywords
- osteophyte
- detection
- deep learning
- tibia
- femur
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000008558 Osteophyte Diseases 0.000 title claims abstract description 222
- 201000010934 exostosis Diseases 0.000 title claims abstract description 217
- 238000001514 detection method Methods 0.000 title claims abstract description 137
- 238000013135 deep learning Methods 0.000 title claims abstract description 29
- 210000002303 tibia Anatomy 0.000 claims abstract description 77
- 210000000689 upper leg Anatomy 0.000 claims abstract description 73
- 238000012549 training Methods 0.000 claims abstract description 39
- 238000013136 deep learning model Methods 0.000 claims abstract description 38
- 230000006870 function Effects 0.000 claims abstract description 21
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims description 28
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 description 6
- 210000000629 knee joint Anatomy 0.000 description 6
- 230000009471 action Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 210000004872 soft tissue Anatomy 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 210000001694 thigh bone Anatomy 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种基于深度学习的多阶段多层次骨赘检测方法，通过获取骨赘的Dr图像；根据所述Dr图像，分别提取股骨和胫骨的掩码，并对股骨和胫骨进行分割；基于所述股骨和胫骨的掩码，设定骨赘检测目标，并采用预设深度学习模型对所述骨赘检测目标进行多层次检测，获得骨赘区域；预设提取条件，从所述骨赘区域中提取得到骨赘点。能够对股骨和胫骨进行分割，提取到股骨和胫骨的连接附近的ROI区域，将骨赘检测聚焦在此区域中，同时提高骨赘点的检测准确性。在多层次骨赘检测模块中，建立父子矩形框，逐步降低父矩形框的损失函数的权重，逐步提高模型对骨赘点子目标的关注度的同时提高训练效率。
Description
技术领域
本公开涉及医学图像处理领域，尤其涉及一种基于深度学习的多阶段多层次骨赘检测方法、装置和检测系统。
背景技术
深度学习在自然图像领域取得了巨大的成功，每年都有新的模型和架构提出来，图像分类检测和分割的精度也不断的被刷新。在自然图像领域的成功，也引起了研究者的思考，能否将深度学习在自然图像领域的研究方法，引入到医学影像中，辅助医生对疾病进行分析和诊断。
但医学图像相比自然图像存在的一个巨大的难题是：数据量少，标注成本高，场景复杂。这也为深度学习在医学图像领域的应用提出了巨大的挑战，需要采用比自然图像领域更精细化的分析方法对医学图像进行处理。
此外，在医学的骨赘检测技术中，因骨赘位于膝关节股骨和胫骨的连接处附近，目标较小，特征相对于邻域的像素点不十分明显；若是基于传统角点检测方法，骨赘点会淹没在大量的背景噪声中，导致检测误差较大。
若是采用单阶段的深度学习的检测方法，由于骨赘相对于整张图像占比较小，模型下采样几次后，骨赘的特征点信息会完全丢失，增加了模型特征提取的难度，模型训练到一定的阶段，收敛到局部极值点后，就不再下降，模型的性能较差。
发明内容
有鉴于此，本公开提出了一种基于深度学习的多阶段多层次骨赘检测方法、装置和检测系统，以基于深度学习算法，对膝关节X线影像数据的股骨和胫骨进行分割，同时完成骨赘识别、测量等分析，进而基于这些关键参考值分析获得方程式函数，利用AI模型最终获得切除骨赘带来软组织的松解值和可能获得的截骨间隙增加量，进而在术前给出膝关节股骨和胫骨截骨量调整参考，为医生提供术前软组织评估和截骨规划，对膝关节的分割以及骨赘的识别，在膝关节手术规划中，具有重要的参考意义。
根据本公开的一方面，提供了一种基于深度学习的多阶段多层次骨赘检测方法，其特征在于，包括如下步骤：
S100、获取骨赘的Dr图像；
S200、根据所述Dr图像，分别提取股骨和胫骨的掩码，并对股骨和胫骨进行分割；
S300、基于所述股骨和胫骨的掩码，设定骨赘检测目标，并采用预设深度学习模型对所述骨赘检测目标进行多层次检测，获得骨赘区域；
S400、预设提取条件，从所述骨赘区域中提取得到骨赘点。
在一种可能的实现方式中，可选地，在步骤S300中，所述基于所述股骨和胫骨的掩码，设定骨赘检测目标，并采用预设深度学习模型对所述骨赘检测目标进行多层次检测，获得骨赘区域，包括：
S301、预设掩码参考点，分别获取所述股骨和胫骨的掩码坐标；
S302、根据所述股骨和胫骨的掩码坐标，计算获得两个掩码坐标之间的中心点坐标；
S303、预设第一像素值，以中心点坐标为中心，在所述Dr图像中获得符合所述第一像素值的矩形区域，作为骨赘检测的ROI区域。
在一种可能的实现方式中，可选地，在步骤S300中，所述基于所述股骨和胫骨的掩码，设定骨赘检测目标，并采用预设深度学习模型对所述骨赘检测目标进行多层次检测，获得骨赘区域，还包括：
S310、预设第二像素值，在所述ROI区域中获得满足第二像素值的矩形区域，作为所述骨赘点的最小包围矩形框；
S320、获取所述掩码坐标所代表的每个骨赘点的最小包围矩形框，并以此建立父矩形框；以及，获取以每个骨赘点为中心像素点建立的子矩形框；
S330、将所述父矩形框和子矩形框作为多层次检测的目标。
在一种可能的实现方式中，可选地，在步骤S300中，所述基于所述股骨和胫骨的掩码，设定骨赘检测目标，并采用预设深度学习模型对所述骨赘检测目标进行多层次检测，获得骨赘区域，还包括：
S340、根据骨赘的矩形区域，计算得到宽高比和骨赘的矩形区域相对于检测的全图的面积比，并以此得到预设的anchor box；
S350、基于隔行采样方法，在每个像素点，制定预设数量的目标检测区域；
S360、基于所述预设深度学习模型，分别对制得的所述目标检测区域进行检测。
在一种可能的实现方式中，可选地，所述预设深度学习模型，为：HRNet深度学习模型；其中，损失函数采用与SSD相同的bbox回归和分类的置信度损失函数。
在一种可能的实现方式中，可选地，在步骤S300中，所述基于所述股骨和胫骨的掩码，设定骨赘检测目标，并采用预设深度学习模型对所述骨赘检测目标进行多层次检测，获得骨赘区域，还包括：
S311、根据所述ROI区域，获得股骨和胫骨的掩码作用在ROI上得到的特征图；
S321、将所述股骨和胫骨的掩码、所述ROI区域和特征图并成三通道图像，以此作为骨赘区域的上下野融合到所述深度学习模型；
S331、根据所述三通道图像，引导模型训练。
在一种可能的实现方式中，可选地，步骤S340中，在对子矩形框提取的模型进行训练时，还包括：
S341、获取通过所述子矩形框提取的模型中的子区域图像；
S342、采样图像擦除方式，随机对所述子区域图像中的某个骨赘点子区域擦除；
S343、对经过图像擦除后的模型进行训练。
在一种可能的实现方式中，可选地，步骤S340中，在对所述父矩形框进行训练时，还包括：
S344、在所述父矩形框的anchorbox中，根据缩减策略，逐步降低父节点对应的损失函数的权重训练策略；
S345、根据降低后的权重训练策略，对通过所述父矩形框提取的模型进行迭代训练；
S346、预设权重阈值，当权重训练策略的权重达到权重阈值时，停止迭代，并不再对父节点对应的anchorbox进行提取和计算。
根据本公开的另一方面，提供了一种实现上述所述的基于深度学习的多阶段多层次骨赘检测方法的装置，包括：
股骨和胫骨分割模块，用于根据Dr图像，分别提取股骨和胫骨的掩码，并对股骨和胫骨进行分割；
多层次骨赘检测模块，用于基于所述股骨和胫骨的掩码，设定骨赘检测目标，并采用预设深度学习模型对所述骨赘检测目标进行多层次检测，获得骨赘区域；
骨赘提取模块，用于预设提取条件，从所述骨赘区域中提取得到骨赘点。
根据本公开的另一方面，还提供了一种检测系统，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现上述所述的基于深度学习的多阶段多层次骨赘检测方法。
本申请的技术效果：
本发明通过获取骨赘的Dr图像；根据所述Dr图像，分别提取股骨和胫骨的掩码，并对股骨和胫骨进行分割；基于所述股骨和胫骨的掩码，设定骨赘检测目标，并采用预设深度学习模型对所述骨赘检测目标进行多层次检测，获得骨赘区域；预设提取条件，从所述骨赘区域中提取得到骨赘点。能够对股骨和胫骨进行分割，提取到股骨和胫骨的连接附近的ROI区域，将骨赘检测聚焦在此区域中，同时提高骨赘点的检测准确性。在多层次骨赘检测模块中，建立父子矩形框，逐步降低父矩形框的损失函数的权重，到一定阶段停止对父矩形框的训练，逐步提高模型对骨赘点子目标的关注度的同时提高训练效率。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1示出为本发明基于深度学习的多阶段多层次骨赘检测方法的实施流程图；
图2示出为本发明股骨和胫骨分割的算法流程示意图；
图3示出为本发明骨赘检测模块的检测结果示意图；
图4示出为本发明骨赘预测结果示意图(白色的点为检测的骨赘点)；
图5示出为本发明实施例2的装置系统构成示意图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
实施例1
如图1所示，根据本公开的一方面，提供了一种基于深度学习的多阶段多层次骨赘检测方法，其特征在于，包括如下步骤：
S100、获取骨赘的Dr图像；
Dr图像可以通过医学DR图像系统获得，通过图像系统对骨赘进行扫描检测，即可获得目标骨赘的Dr图像。
S200、根据所述Dr图像，分别提取股骨和胫骨的掩码，并对股骨和胫骨进行分割；
如图2所示，采用股骨和胫骨分割模块分别提取股骨和胫骨的掩码，获得不同股骨和胫骨的图像区域。作为一种优选方式，可以采用以编码器和解码器为基本结构的深度学习模型，并以Dice为损失函数，从Dr图像中提取股骨和胫骨的掩码。在下述实施中，分割的股骨和胫骨的掩码图像点，将被深度学习模型训练后的父子矩形框提取，同时会通过逐级收缩策略而逐步提高模型对骨赘点子目标的关注度，最后提取得到准确的骨赘点。
S300、基于所述股骨和胫骨的掩码，设定骨赘检测目标，并采用预设深度学习模型对所述骨赘检测目标进行多层次检测，获得骨赘区域；
在对股骨和胫骨影像数据进行分割后，需要设定完成骨赘识别、测量等分析的目标区域，便于利用AI模型最终获得切除骨赘带来软组织的松解值和可能获得的截骨间隙增加量，进而在术前给出膝关节股骨和胫骨截骨量调整参考。
首先，基于股骨和胫骨分割模块得到的前景掩码，根据预设条件(用户自定义)在原图裁剪一个矩形区域，作为骨赘检测的ROI即骨赘检测目标(感兴趣区域)，由提取股骨和胫骨得到的掩码和掩码在原图上作用形成的特征图，作为先验知识，引导模型对骨赘存在区域的关注。
其次，再对现有图像数据进行分析，获取检测骨赘点的最小包围矩形框。并以此构建所需求的OI区域，即作为股骨和胫骨的连接附近点区域，这样能保留骨赘的信息不丢失。
如附图3所示，构建完毕，以所选择的骨赘点的最小包围矩形框的父矩形框，以及以每个骨赘点为中心像素点建立的子矩形框，经过深度学习模型检测后，得到作为骨赘检测目标的骨赘区域。
通过先对骨赘区域的检测，再从骨赘区域中提取得到骨赘点的方式，能够实现在DR图像上由粗到细的多阶段多层次关系的骨赘检测。
S400、预设提取条件，从所述骨赘区域中提取得到骨赘点。
在检测出骨赘区域后，在该小的区域中提取出骨赘点即可。
常规的方法是直接提取预测的子目标矩形的中心点，但是这种方法并没有利用到模型对骨赘点的关注度。
如附图4所示的骨赘预测结果，本申请采取一种平衡的方法，在多层次骨赘检测模块预测矩形框前一个特征图上提取对应骨赘点的矩形框的位置处的特征图，选择该区域上模型的关注点(也即特征图上值最大的点)与子目标的矩形框中心计算平均作为骨赘点的坐标。同时参考模型的关注点和预测矩形框的中心点，提高骨赘点提取的准确率。
下面将具体对上述步骤进行实施说明。
在一种可能的实现方式中，可选地，在步骤S300中，所述基于所述股骨和胫骨的掩码，设定骨赘检测目标，并采用预设深度学习模型对所述骨赘检测目标进行多层次检测，获得骨赘区域，包括：
S301、预设掩码参考点，分别获取所述股骨和胫骨的掩码坐标；
S302、根据所述股骨和胫骨的掩码坐标，计算获得两个掩码坐标之间的中心点坐标；
S303、预设第一像素值，以中心点坐标为中心，在所述Dr图像中获得符合所述第一像素值的矩形区域，作为骨赘检测的ROI区域。
掩码参考点，是便于用户选择掩码坐标的参考坐标，这个可以由用户进行选择设定。
本实施例，基于股骨和胫骨分割模块得到的前景掩码，以股骨掩码的最下沿为初始的y1点，以股骨掩码的质心的x坐标为初始的x1点，得到(x1，y1)点。同理，对胫骨选取胫骨的掩码的最上沿为初始的y2点，以胫骨的掩码的质心的x点为初始的x2点，得到(x2，y2)，以这两点的中心为中心，以宽高512像素在原图裁剪一个矩形区域，作为骨赘检测的ROI(感兴趣区域)，由提取股骨和胫骨得到的掩码和掩码在原图上作用形成的特征图，作为先验知识，引导模型对骨赘存在区域的关注。
进一步的，检测骨赘点的最小包围矩形框：基于对现有图像数据分析得到，骨赘最小包围矩形的宽高最大为128像素，因此取宽高为512像素即第一像素值作为ROI区域，即作为股骨和胫骨的连接附近点区域即骨赘检测的ROI区域，能保留骨赘的信息不丢失。
在一种可能的实现方式中，可选地，在步骤S300中，所述基于所述股骨和胫骨的掩码，设定骨赘检测目标，并采用预设深度学习模型对所述骨赘检测目标进行多层次检测，获得骨赘区域，还包括：
S310、预设第二像素值，在所述ROI区域中获得满足第二像素值的矩形区域，作为所述骨赘点的最小包围矩形框；
S320、获取所述掩码坐标所代表的每个骨赘点的最小包围矩形框，并以此建立父矩形框；以及，获取以每个骨赘点为中心像素点建立的子矩形框；
S330、将所述父矩形框和子矩形框作为多层次检测的目标。
本实施例，采用由粗到细的多阶段多层次关系的骨赘检测方案，设定骨赘检测的区域目标为：四个骨赘点的最小包围矩形框的父矩形框，以及以每个骨赘点为中心像素点建立的子矩形框。
本实施例，选择子目标宽高为20像素，以此构建矩形框。此处，选择其他的较小的矩形框也可行，只需保证每个最小矩形框能将能骨赘隔离(骨赘的最小矩形框之间的IOU小于0.5)，但同时不至于太小，而在下采样过程中，会丢失掉目标信息，造成骨赘点检测失败。由用户进行选择即可，不做限制。
在一种可能的实现方式中，可选地，在步骤S300中，所述基于所述股骨和胫骨的掩码，设定骨赘检测目标，并采用预设深度学习模型对所述骨赘检测目标进行多层次检测，获得骨赘区域，还包括：
S340、根据骨赘的矩形区域，计算得到宽高比和骨赘的矩形区域相对于检测的全图的面积比，并以此得到预设的anchor box；
S350、基于隔行采样方法，在每个像素点，制定预设数量的目标检测区域；
S360、基于所述预设深度学习模型，分别对制得的所述目标检测区域进行检测。
父子矩形框构建完毕，后续将用作骨赘检测模型。因此，需要采用深度学习模型对父子矩形框进行训练。
本实施例，采用anchorbox的方法对父子矩形框提取模型进行训练。
对骨赘的最小包围矩形框的父矩形框进行分析发现，80％的矩形框的宽高比在0.25-0.75之间，面积和ROI的面积比在0.01-0.1之间，因此分别在512/256/128上取anchorbox的宽高比(1/4，1/3，1/2，2/3，3/4)和面积比为(0.01，0.02，0.03，0.04)，(0.05，0.06，0.07，0.08)，(0.09，0.1)对父矩形框进行检测。考虑到在512/256/128上如果在每个像素点设置anchorbox，将产生6717440个anchorbox，计算量较大，若在较低分辨率设置anchorbox，则会造成信息丢失，较小的骨赘最小包围矩形框检测失败。
为解决分辨率和计算量的矛盾，本申请提出了一种隔行采样设置anchorbox设置方法，anchorbox的数量降低为之前的1/16，为419840，极大的减少了计算量，同时最大程度的保证了预测的精度。同时由于骨赘点的最小包围矩形框的目标较小，对子目标的矩形框即子矩形框，只在512的分辨率上进行检测，类似父矩形框的检测思路，子目标在512分辨上采用宽高比为1，面积比为0.0015的预设65536个anchorbox。对四个骨赘点子目标分别设定标签为2/3/4/5，父目标标签为1。在多层次骨赘检测模块中，建立父子矩形框，逐步降低父矩形框的损失函数的权重，迭代到一定阶段停止对父矩形框的训练，逐步提高模型对骨赘点子目标的关注度的同时提高训练效率。
在一种可能的实现方式中，可选地，所述预设深度学习模型，为：HRNet深度学习模型；其中，损失函数采用与SSD相同的bbox回归和分类的置信度损失函数。
采用HRNet深度学习模型对骨赘区域进行检测，以最大程度的维持图像的分辨率，减少信息损失。损失函数采用与SSD相同的bbox回归和分类的置信度损失函数。
在一种可能的实现方式中，可选地，在步骤S300中，所述基于所述股骨和胫骨的掩码，设定骨赘检测目标，并采用预设深度学习模型对所述骨赘检测目标进行多层次检测，获得骨赘区域，还包括：
S311、根据所述ROI区域，获得股骨和胫骨的掩码作用在ROI上得到的特征图；
S321、将所述股骨和胫骨的掩码、所述ROI区域和特征图并成三通道图像，以此作为骨赘区域的上下野融合到所述深度学习模型；
S331、根据所述三通道图像，引导模型训练。
在检测过程中，参考医生的多视野疾病诊断的思路，从原图裁剪出256/128图像作为骨赘区域的上下野融合到模型中，增强模型对骨赘点的识别能力；由于骨赘点位于股骨胫骨上，在股骨和胫骨的连接处附近ROI。因此，本申请将股骨和胫骨提取的ROI区域、对应的掩码以及掩码作用在ROI得到的特征图并成三通道图像输入到模型中，引导模型训练。
在一种可能的实现方式中，可选地，步骤S340中，在对子矩形框提取的模型进行训练时，还包括：
S341、获取通过所述子矩形框提取的模型中的子区域图像；
S342、采样图像擦除方式，随机对所述子区域图像中的某个骨赘点子区域擦除；
S343、对经过图像擦除后的模型进行训练。
由于各个骨赘点在特征上较为相似，对骨赘点检测的子目标进行训练过程中，相邻的骨赘点的干扰会造成损失函数较难下降，模型优化较差。
因此，在本申请中，采用了图像擦除的方法，随机将其中某个骨赘点子区域擦除，对模型进行训练，增加模型的鲁棒性；父目标为相对较大的目标，较容易训练。
在一种可能的实现方式中，可选地，步骤S340中，在对所述父矩形框进行训练时，还包括：
S344、在所述父矩形框的anchorbox中，根据缩减策略，逐步降低父节点对应的损失函数的权重训练策略；
S345、根据降低后的权重训练策略，对通过所述父矩形框提取的模型进行迭代训练；
S346、预设权重阈值，当权重训练策略的权重达到权重阈值时，停止迭代，并不再对父节点对应的anchorbox进行提取和计算。
父目标的训练也是为引导模型对骨赘子区域的关注，进而提高单个骨赘点的检测性能。因此，采取逐步降低父节点对应的损失函数的权重训练策略，训练到一定的迭代次数，在本实施例中，选择迭代300轮，将对应的权重降至0。在前向计算时，不再对父节点对应的anchorbox进行提取和计算，提高了模型的训练速度，在模型的一个较优的权重上增加对子骨赘点的关注，提高模型对骨赘点子目标检测的性能。最终骨赘区域的预测结果如附图3所示。
在检测出骨赘区域后，在多层次骨赘检测模块预测矩形框前一个特征图上提取对应骨赘点的矩形框的位置处的特征图，选择该区域上模型的关注点(也即特征图上值最大的点)与子目标的矩形框中心计算平均作为骨赘点的坐标。同时参考模型的关注点和预测矩形框的中心点，提取骨赘点。
需要说明的是，尽管以HRNet深度学习模型作为示例介绍如上父子训练模型示意，但本领域技术人员能够理解，本公开应不限于此。事实上，用户完全可根据个人喜好和/或实际应用场景灵活设定训练模型，只要可以实现本技术中的父子矩形框训练即可。
这样，通过建立父子矩形框，逐步降低父矩形框的损失函数的权重，到一定阶段停止对父矩形框的训练，逐步提高模型对骨赘点子目标的关注度的同时提高训练效率；由提取股骨和胫骨得到的掩码和掩码在原图上作用形成的特征图，作为先验知识，引导模型对骨赘存在区域的关注，能够实现在DR图像上由粗到细的多阶段多层次关系的骨赘检测。
实施例2
基于实施例1的实施，本实施，如图5所示，根据本公开的另一方面，提供了一种实现上述所述的基于深度学习的多阶段多层次骨赘检测方法的装置，包括：
股骨和胫骨分割模块，用于根据Dr图像，分别提取股骨和胫骨的掩码，并对股骨和胫骨进行分割；
多层次骨赘检测模块，用于基于所述股骨和胫骨的掩码，设定骨赘检测目标，并采用预设深度学习模型对所述骨赘检测目标进行多层次检测，获得骨赘区域；
骨赘提取模块，用于预设提取条件，从所述骨赘区域中提取得到骨赘点。
首先需要获取Dr图像，Dr图像通过医学图像系统获取即可。
其次，各个模块/硬件的功能和实施原理，具体参见上述实施例的描述，本处不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
实施例3
更进一步地，根据本公开的另一方面，还提供了一种检测系统，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现上述所述的基于深度学习的多阶段多层次骨赘检测方法。
本公开实施例检测系统包括处理器以及用于存储处理器可执行指令的存储器。其中，处理器被配置为执行可执行指令时实现前面任一所述的一种基于深度学习的多阶段多层次骨赘检测方法。
此处，应当指出的是，处理器的个数可以为一个或多个。同时，在本公开实施例的检测系统中，还可以包括输入装置和输出装置。其中，处理器、存储器、输入装置和输出装置之间可以通过总线连接，也可以通过其他方式连接，此处不进行具体限定。
存储器作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序和各种模块，如：本公开实施例的一种基于深度学习的多阶段多层次骨赘检测方法所对应的程序或模块。处理器通过运行存储在存储器中的软件程序或模块，从而执行检测系统的各种功能应用及数据处理。
输入装置可用于接收输入的数字或信号。其中，信号可以为产生与设备/终端/服务器的用户设置以及功能控制有关的键信号。输出装置可以包括显示屏等显示设备。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (10)
1.一种基于深度学习的多阶段多层次骨赘检测方法，其特征在于，包括如下步骤：
S100、获取骨赘的Dr图像；
S200、根据所述Dr图像，分别提取股骨和胫骨的掩码，并对股骨和胫骨进行分割；
S300、基于所述股骨和胫骨的掩码，设定骨赘检测目标，并采用预设深度学习模型对所述骨赘检测目标进行多层次检测，获得骨赘区域；
S400、预设提取条件，从所述骨赘区域中提取得到骨赘点。
2.根据权利要求1所述的基于深度学习的多阶段多层次骨赘检测方法，其特征在于，在步骤S300中，所述基于所述股骨和胫骨的掩码，设定骨赘检测目标，并采用预设深度学习模型对所述骨赘检测目标进行多层次检测，获得骨赘区域，包括：
S301、预设掩码参考点，分别获取所述股骨和胫骨的掩码坐标；
S302、根据所述股骨和胫骨的掩码坐标，计算获得两个掩码坐标之间的中心点坐标；
S303、预设第一像素值，以中心点坐标为中心，在所述Dr图像中获得符合所述第一像素值的矩形区域，作为骨赘检测的ROI区域。
3.根据权利要求2所述的基于深度学习的多阶段多层次骨赘检测方法，其特征在于，在步骤S300中，所述基于所述股骨和胫骨的掩码，设定骨赘检测目标，并采用预设深度学习模型对所述骨赘检测目标进行多层次检测，获得骨赘区域，还包括：
S310、预设第二像素值，在所述ROI区域中获得满足第二像素值的矩形区域，作为所述骨赘点的最小包围矩形框；
S320、获取所述掩码坐标所代表的每个骨赘点的最小包围矩形框，并以此建立父矩形框；以及，获取以每个骨赘点为中心像素点建立的子矩形框；
S330、将所述父矩形框和子矩形框作为多层次检测的目标。
4.根据权利要求3所述的基于深度学习的多阶段多层次骨赘检测方法，其特征在于，在步骤S300中，所述基于所述股骨和胫骨的掩码，设定骨赘检测目标，并采用预设深度学习模型对所述骨赘检测目标进行多层次检测，获得骨赘区域，还包括：
S340、根据骨赘的矩形区域，计算得到宽高比和骨赘的矩形区域相对于检测的全图的面积比，并以此得到预设的anchor box；
S350、基于隔行采样方法，在每个像素点，制定预设数量的目标检测区域；
S360、基于所述预设深度学习模型，分别对制得的所述目标检测区域进行检测。
5.根据权利要求1所述的基于深度学习的多阶段多层次骨赘检测方法，其特征在于，所述预设深度学习模型，为：HRNet深度学习模型；其中，损失函数采用与SSD相同的bbox回归和分类的置信度损失函数。
6.根据权利要求2所述的基于深度学习的多阶段多层次骨赘检测方法，其特征在于，在步骤S300中，所述基于所述股骨和胫骨的掩码，设定骨赘检测目标，并采用预设深度学习模型对所述骨赘检测目标进行多层次检测，获得骨赘区域，还包括：
S311、根据所述ROI区域，获得股骨和胫骨的掩码作用在ROI上得到的特征图；
S321、将所述股骨和胫骨的掩码、所述ROI区域和特征图并成三通道图像，以此作为骨赘区域的上下野融合到所述深度学习模型；
S331、根据所述三通道图像，引导模型训练。
7.根据权利要求4所述的一种基于深度学习的多阶段多层次骨赘检测方法，其特征在于，步骤S340中，在对子矩形框提取的模型进行训练时，还包括：
S341、获取通过所述子矩形框提取的模型中的子区域图像；
S342、采样图像擦除方式，随机对所述子区域图像中的某个骨赘点子区域擦除；
S343、对经过图像擦除后的模型进行训练。
8.根据权利要求6所述的一种基于深度学习的多阶段多层次骨赘检测方法，其特征在于，步骤S340中，在对所述父矩形框进行训练时，还包括：
S344、在所述父矩形框的anchorbox中，根据缩减策略，逐步降低父节点对应的损失函数的权重训练策略；
S345、根据降低后的权重训练策略，对通过所述父矩形框提取的模型进行迭代训练；
S346、预设权重阈值，当权重训练策略的权重达到权重阈值时，停止迭代，并不再对父节点对应的anchorbox进行提取和计算。
9.一种实现权利要求1-8中任一项所述的基于深度学习的多阶段多层次骨赘检测方法的装置，其特征在于，包括：
股骨和胫骨分割模块，用于根据Dr图像，分别提取股骨和胫骨的掩码，并对股骨和胫骨进行分割；
多层次骨赘检测模块，用于基于所述股骨和胫骨的掩码，设定骨赘检测目标，并采用预设深度学习模型对所述骨赘检测目标进行多层次检测，获得骨赘区域；
骨赘提取模块，用于预设提取条件，从所述骨赘区域中提取得到骨赘点。
10.一种检测系统，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现权利要求1至8中任意一项所述的基于深度学习的多阶段多层次骨赘检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210143210.0A CN114511548A (zh) | 2022-02-16 | 2022-02-16 | 基于深度学习的多阶段多层次骨赘检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210143210.0A CN114511548A (zh) | 2022-02-16 | 2022-02-16 | 基于深度学习的多阶段多层次骨赘检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114511548A true CN114511548A (zh) | 2022-05-17 |
Family
ID=81552428
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210143210.0A Pending CN114511548A (zh) | 2022-02-16 | 2022-02-16 | 基于深度学习的多阶段多层次骨赘检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114511548A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102737250A (zh) * | 2011-01-14 | 2012-10-17 | 西门子公司 | 3d医学图像数据中对脊椎骨损伤自动检测的方法和系统 |
| CN113076987A (zh) * | 2021-03-29 | 2021-07-06 | 北京长木谷医疗科技有限公司 | 骨赘识别方法、装置、电子设备及存储介质 |
-
2022
- 2022-02-16 CN CN202210143210.0A patent/CN114511548A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102737250A (zh) * | 2011-01-14 | 2012-10-17 | 西门子公司 | 3d医学图像数据中对脊椎骨损伤自动检测的方法和系统 |
| CN113076987A (zh) * | 2021-03-29 | 2021-07-06 | 北京长木谷医疗科技有限公司 | 骨赘识别方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Curve-like structure extraction using minimal path propagation with backtracking | |
| US7756316B2 (en) | Method and system for automatic lung segmentation | |
| Saha et al. | Relative fuzzy connectedness among multiple objects: theory, algorithms, and applications in image segmentation | |
| US9471989B2 (en) | Vascular anatomy modeling derived from 3-dimensional medical image processing | |
| CN112489005B (zh) | 骨分割方法及装置、骨折检出方法及装置 | |
| US8103077B2 (en) | Method and system for locating opaque regions in chest X-ray radiographs | |
| EP2320379B1 (en) | Image processing device, object tracking device, and image processing method | |
| WO2018180386A1 (ja) | 超音波画像診断支援方法、およびシステム | |
| US9042611B2 (en) | Automated vascular region separation in medical imaging | |
| JP5197140B2 (ja) | Ｘ線透視装置、動画処理方法、プログラム及び記憶媒体 | |
| US9269139B2 (en) | Rib suppression in radiographic images | |
| JP2002500795A (ja) | 輪郭検出段階を含む画像処理方法及びシステム | |
| EP3951433A1 (en) | Line structure extraction device, method and program, and learned model | |
| JP5510619B1 (ja) | 画像処理装置 | |
| CN110310280A (zh) | 肝胆管及结石的图像识别方法、系统、设备及存储介质 | |
| CN110555860A (zh) | 医学图像中肋骨区域标注的方法、电子设备和存储介质 | |
| CN111918611B (zh) | 胸部x线图像的异常显示控制方法、记录介质及装置 | |
| US9672600B2 (en) | Clavicle suppression in radiographic images | |
| CN105374023A (zh) | 一种分割目标区域方法，及其图像重建方法和装置 | |
| CN112200780B (zh) | 骨组织定位方法、装置、计算机设备和存储介质 | |
| WO1985004090A1 (en) | X-ray ct image processor | |
| CN114511548A (zh) | 基于深度学习的多阶段多层次骨赘检测方法 | |
| JP4379706B2 (ja) | 領域抽出方法 | |
| CN114494235A (zh) | 基于Dr图像实现由粗到细的多阶段骨赘集成检测方法 | |
| JP7519933B2 (ja) | オブジェクト検出装置及び方法、並びに学習データ収集装置、並びにプログラム及び記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |