CN115661138A - 基于dr影像的人体骨骼轮廓检测方法 - Google Patents
基于dr影像的人体骨骼轮廓检测方法 Download PDFInfo
- Publication number
- CN115661138A CN115661138A CN202211592204.XA CN202211592204A CN115661138A CN 115661138 A CN115661138 A CN 115661138A CN 202211592204 A CN202211592204 A CN 202211592204A CN 115661138 A CN115661138 A CN 115661138A
- Authority
- CN
- China
- Prior art keywords
- image
- detection model
- contour
- human skeleton
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 112
- 238000002372 labelling Methods 0.000 claims abstract description 35
- 230000011218 segmentation Effects 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 13
- 238000012805 post-processing Methods 0.000 claims abstract description 7
- 210000000988 bone and bone Anatomy 0.000 claims description 42
- 230000000694 effects Effects 0.000 abstract description 3
- 206010020718 hyperplasia Diseases 0.000 abstract description 3
- 238000013075 data extraction Methods 0.000 abstract description 2
- 206010013183 Dislocation of vertebra Diseases 0.000 abstract 1
- 230000007547 defect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 238000000034 method Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 239000012528 membrane Substances 0.000 description 2
- 210000000115 thoracic cavity Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于DR影像的人体骨骼轮廓检测方法，解决了现有技术中AI检测系统数据提取损失大，存在“失真”现象及数据集检测效果的可靠性和鲁棒性较差的问题，包括以下步骤：获取人体骨骼轮廓DR影像，采用与人体骨骼轮廓近似的几何形状对人体骨骼轮廓DR影像进行标注；基于所述训练样本集对人体骨骼轮廓DR影像检测模型进行训练，基于训练完成的人体骨骼DR影像检测模型，对未标注的人体骨骼轮廓DR影像进行检测，获取具有骨骼候选框的特征区域，以及置信度、语义分割结果；基于置信度以及语义分割结果进行后处理得到人体骨骼轮廓。本发明可以对颈椎至腰椎各段检测，对脊椎骨的增生、错位及与骶骨、股骨头连接区域的识别具有更高的准确度。
Description
技术领域
本发明涉及医学影像智能识别技术领域，具体涉及一种基于DR影像的人体骨骼轮廓检测方法。
背景技术
临床上通过DR影像获取人体骨骼轮廓，存在耗时长和受主观判断影响大的问题。一方面，临床中对于DR影像进行全面的临床指标分析费时费力，降低了诊疗效率；另一方面，DR影像中往往存在骨骼边界模糊甚至部分缺失的问题，仅仅凭借医生的经验进行想象和主观判断，为诊断引入了人为误差，降低了诊断准确率。
现有技术中，已有的用AI检测方法虽然降低了对医生的经验依赖度和诊断的人为误差，但存在以下缺陷：骨骼检测适用范围窄，例如脊椎检测只专注于腰椎部分，对椎骨密集的颈椎和胸椎识别准确率较差；AI检测系统数据提取损失较大，存在“失真”现象，数据集检测效果的可靠性和鲁棒性较差。
发明内容
鉴于上述分析，为解决现有技术中骨骼检测方法检测准确率低、可靠性及鲁棒性差的技术问题，本发明提供了一种基于DR影像的人体骨骼轮廓检测方法，所述方法包括：
获取人体骨骼轮廓DR影像，采用与人体骨骼轮廓近似的几何形状对人体骨骼轮廓DR影像进行标注，获得标注信息，将所述DR影像和标注信息作为训练样本集；
基于所述训练样本集对人体骨骼轮廓DR影像检测模型进行训练，直至损失函数收敛，获得训练完成的人体骨骼轮廓DR影像检测模型；基于训练完成的人体骨骼DR影像检测模型，对未标注的人体骨骼轮廓DR影像进行检测，获取检测模型输出的具有骨骼候选框的特征区域，以及每个特征区域中候选框的置信度、语义分割结果；
基于各特征区域候选框的置信度以及语义分割结果进行后处理得到人体骨骼轮廓。
进一步的，所述人体骨骼轮廓DR影像检测模型，包括：脊椎骨轮廓DR影像检测模型、骶骨轮廓DR影像检测模型和股骨头轮廓DR影像检测模型；
所述采用与人体骨骼轮廓近似的几何形状对人体骨骼轮廓DR影像进行标注，获得标注信息包括：
采用矩形对DR影像中的脊椎骨进行标注，各脊椎骨对应的矩形的四个顶点坐标作为脊椎骨标注信息；采用三角形对DR影像中的骶骨进行标注，三角形的三个顶点坐标作为骶骨标注信息；
采用圆形对股骨头进行标注，取圆形弧线上多个离散点坐标作为股骨头标注信息。
进一步的，对所述人体骨骼轮廓DR影像检测模型进行训练时，利用所述RD影像和脊椎骨标注信息对脊椎骨轮廓DR影像检测模型进行训练，利用所述RD影像和骶骨标注信息对骶骨轮廓DR影像检测模型进行训练，利用所述RD影像和股骨头标注信息对股骨头轮廓DR影像检测模型进行训练。
进一步的，所述语义分割结果包括矩形掩膜、三角形掩膜以及圆形掩膜，所述脊椎骨轮廓DR影像检测模型对应的语义分割结果为矩形掩膜，所述骶骨轮廓DR影像检测模型对应的语义分割结果为三角形掩膜，所述股骨头轮廓DR影像检测模型对应的语义分割结果为圆形掩膜。
进一步的，基于各特征区域候选框的置信度以及语义分割结果进行后处理得到人体骨骼轮廓包括：
S11、基于脊椎骨轮廓DR影像检测模型、骶骨轮廓DR影像检测模型和股骨头轮廓DR影像检测模型的置信度阈值，选择置信度大于相应置信度阈值的特征区域作为上述三个模型的候选特征区域；
S12、对于脊椎骨：基于候选特征区域中的矩形掩膜，获取矩形掩膜的顶点坐标，并根据所述顶点坐标形成各候选特征区域的矩形；
对于骶骨：选取置信度最高的候选特征区域作为骶骨区域，基于骶骨区域中的三角形掩膜，获取三角形掩膜的顶点坐标，并根据所述顶点坐标形成三角形；
对于股骨头：选取置信度最高的候选特征区域作为股骨头区域，基于股骨头区域中的圆形掩膜，获取圆形掩膜的圆心坐标；
S13、将所述矩形、三角形以及圆心按坐标排列，得到人体骨骼轮廓。
进一步的，对于脊椎骨，在步骤S12和步骤S13之间还包括如下步骤；
根据矩形的顶点坐标，计算任意两个矩形的IOU值；
获取IOU值大于IOU阈值的矩形，形成待选矩形集合；
根据除待选矩形集合之外的其他矩形的左下/左上坐标拟合第一曲线，根据除待选矩形集合之外的其他矩形的右上/右下坐标拟合第二曲线；
计算待选矩形集合中各待选矩形在第一曲线和第二曲线形成的中间区域中的面积，选择面积大的待选矩形作为被选矩形；
将待选矩形集合之外的其他矩形和被选矩形作为输出。
进一步的，所述待选矩形集合的IOU满足：IOU≥0.5。
进一步的，所述损失函数L满足以下公式：
其中，Lcls为分数分类器损失函数，Lbox为回归分类器损失函数， Lmask为掩膜参数损失函数。
进一步的，所述回归分类器损失函数Lbox，满足以下公式：
其中，intersection（）为对两个区域求交集面积；Union（）为对两个区域求并集面积；P预测为特征区域的预测框；P真实为特征区域对应的原始标注区域；smoothL1为离散点损失函数；
为特征区域对应原始标准坐标特征集，
为特征区域预测坐标特征集。
进一步的，所述脊椎骨轮廓DR影像检测模型、骶骨轮廓DR影像检测模型和股骨头轮廓DR影像检测模型结构相同，均采用Cascade Mask R-CNN网络。
本发明具有以下技术效果：
（1）本发明采用对不同骨骼给予接近其轮廓的几何图形进行标注，较现有技术采用骨骼中心点对所有类型骨骼标注方式，可以更好的记录和反映骨骼的姿态和位置关系，对人体骨骼DR影像识别具有更高的准确度；具体的，本发明对不同区域骨骼的轮廓采用矩形、三角形顶点标注和圆形标注，较现有技术采用骨骼中心点进行标注的方式，有利于准确记录和反映骨骼的姿态和骨骼间相对位置关系，克服了现有技术中中心点标注对脊椎骨相对位置关系不敏感、对骶骨和脊椎骨连接区域区分度较差和对骶骨和股骨头连接区域区分度较差的缺陷，对脊椎骨的增生、错位及骶骨和股骨头连接区域和骶骨和脊椎骨连接区域的识别具有更高的准确度。
（2）与现有技术相比，本发明基于预测的骨骼区域与标注的骨骼区域的坐标构建回归分类器损失函数，模型整体的损失函数包括分数分类器损失函数、回归分类器损失函数以及掩膜参数损失函数，通过上述损失函数能够训练出更优化的模型参数，使得模型预测准确率大幅提高。
（3）本发明采用IOU相关损失函数作为回归分类器损失函数，较现有技术增加了特征区域与原始标注区域的IOU损失；IOU损失是基于特征区域与原始标注区域交集区域和并集区域面积比值，不受到特征区域的变量相关性影响，因而克服了现有技术中回归分类器损失函数的缺陷。
进一步地，本发明的回归分类器损失函数Lbox在引入IOU损失同时保留了基于特征区域变量相互独立假设的smoothL1损失函数，弥补了IOU损失在特征区域与原始标注区域无交集时，IOU损失无法表征Lbox的缺陷。
（4）本发明对脊椎骨轮廓DR影像检测模型的检测数据引入了构建高置信度特征区域的脊椎拟合曲线，利用拟合曲线对重叠的特征区域进行筛选，克服了现有技术根据置信度评分筛选特征区域容易“失真”的缺陷。
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书中所特别指出的内容来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制。其中：
图1为本发明一种基于DR影像的人体骨骼轮廓检测方法的流程图；
图2为本发明一种实施方式中DR影像的人体骨骼轮廓训练标注示意图；
图3为本发明一种实施方式中DR影像的脊椎骨轮廓矩形掩膜及其外接候选框的示意图；
图4为本发明一种实施方式中DR影像的脊椎骨、骶骨及股骨头轮廓检测结果示意图；
图5为本发明一种实施方式中脊椎骨轮廓预测模型输出的置信度大于置信度阈值的矩形轮廓示意图；
图6为本发明一种实施方式中拟合出的第一曲线和第二曲线示意图。
具体实施方式
下面对本发明的优选实施方式进行具体描述，其用于阐释本发明的原理，并非用于限定本发明的范围。
为了准确阐述本发明的实施方案，对相关专业术语做进一步的说明：
Cascade Mask R-CNN网络结构模型
Cascade Mask R-CNN沿用了Faster RCNN的思想，特征提取采用ResNNet-FPN的架构，输出端增加了对掩膜参数预测，可以完成对图像中特定区域识别。
候选框提取网络（RPN）
候选框提取网络（RPN）全称是Region Proposal Network，用来提取候选框的网络，在Faster RCNN网络结构模型用于对特征图片的构建候选框识别区域。
本发明公开一种基于DR影像的人体骨骼轮廓检测方法，如图1所示，包含以下步骤：
步骤1：获取人体骨骼轮廓DR影像，采用与人体骨骼轮廓近似的几何形状对人体骨骼轮廓DR影像进行标注，获得标注信息，将所述DR影像和标注信息作为训练样本集；
步骤2：基于所述训练样本集对人体骨骼轮廓DR影像检测模型进行训练，直至损失函数收敛，获得训练完成的人体骨骼轮廓DR影像检测模型；基于训练完成的人体骨骼DR影像检测模型，对未标注的人体骨骼轮廓DR影像进行检测，获取检测模型输出的具有骨骼候选框的特征区域，以及每个特征区域中候选框的置信度、语义分割结果；
步骤3：基于各特征区域候选框的置信度以及语义分割结果进行后处理得到人体骨骼轮廓；具体的，基于各特征区域候选框的置信度以及语义分割结果获得各特征区域候选框和原始标注信息偏差较大的结果，将优选后的特征区特征区域构建完整的人体骨骼轮廓。
与现有技术相比，本发明对不同骨骼给予接近其轮廓的几何图形进行标注，较现有技术采用骨骼中心点对所有类型骨骼标注方式，有利于准确记录和反映骨骼的姿态和骨骼间相对位置关系，对人体骨骼DR影像轮廓识别具有更高的准确度。
与现有技术相比，本发明基于各特征区域候选框的置信度以及语义分割结果获得各特征区域候选框和原始标注信息偏差较小的结果，可以有效改善特征区域检测数据与对应的目标坐标区域真实数据值的偏差，提高人体骨骼DR影像检测模型的检测准确率。
具体的，步骤S1中，根据人体骨骼在其DR影像中轮廓线，得到与骨骼轮廓最接近的几何图形，采用与骨骼轮廓最接近的几何图形对其进行标注；
具体的，步骤S1中采用与人体骨骼轮廓近似的几何形状对人体骨骼轮廓DR影像进行标注，获得标注信息，包括：
a、采用矩形对DR影像中的脊椎骨进行标注，各椎骨对应的矩形的四个顶点坐标作为脊椎骨标注信息。
具体的，以脊椎骨轮廓线中相距最远的一组端点作为对角顶点，选取脊椎骨轮廓线中另一组端点作为第二组对角顶点。
与现有技术相比，本发明对脊椎骨的轮廓采用矩形的四个顶点坐标标注，较现有技术采用骨骼中心点进行标注的方式，有利于准确记录和反映脊椎骨的姿态和骨骼间相对位置关系，克服了现有技术中中心点标注对脊椎骨相对位置关系不敏感的缺陷，对脊椎骨的增生、错位等问题的识别具有更高的准确度。
b、采用三角形对DR影像中的骶骨进行标注，三角形的三个顶点坐标作为骶骨标注信息；
具体的，选取距离骶骨轮廓中心最远三个端点作为三角形三个顶点。
与现有技术相比，本发明对骶骨的轮廓采用三角形的三个顶点坐标标注，较现有技术采用骨骼中心点进行标注的方式，有利于准确记录和反映骶骨的姿态和骨骼间相对位置关系，克服了现有技术中中心点标注对骶骨和脊椎骨连接区域区分度较差的缺陷，对骶骨和脊椎骨连接区域的识别具有更高的准确度。
c、采用圆形对股骨头进行标注，取圆形弧线上多个离散点坐标作为股骨头标注信息。
具体的，以股骨头中心为圆心，以距离股骨头中心距离最大的轮廓线端点和圆心的距离为半径作圆，取圆形弧线上多个离散点坐标作为股骨头标注信息。
与现有技术相比，本发明对股骨头的轮廓采用圆形弧线上多个离散点坐标标注，较现有技术采用骨骼中心点进行标注的方式，有利于准确记录和反映股骨头的姿态和骨骼间相对位置关系，克服了现有技术中中心点标注对骶骨和股骨头连接区域区分度较差的缺陷，对骶骨和股骨头连接区域的识别具有更高的准确度。
具体的，如图2所示，展示了对各个骨骼的标注。
可以理解的，由于脊椎骨中的颈椎、胸椎、腰椎在DR影像中呈现出矩形轮廓，所以采用矩形对脊椎骨进行标注；骶骨在DR影像中呈现出三角形轮廓，所以采用三角形对骶骨进行标注；股骨头在DR影像中呈现出圆形轮廓，因此采用圆形对股骨头进行标注。
实施时，将上述脊椎骨标注信息、骶骨标注信息以及股骨头标注信息采用CoCo数据集的形式进行存储。
具体的，所述人体骨骼轮廓DR影像检测模型包括：脊椎骨轮廓DR影像检测模型、骶骨轮廓DR影像检测模型和股骨头轮廓DR影像检测模型；上述三个子模型分别用于检测脊椎骨、骶骨、股骨头的轮廓。
具体的，步骤2中对所述人体骨骼轮廓DR影像检测模型进行训练时，利用所述DR影像和不同骨骼标注信息对对应的骨骼轮廓DR影像检测模型进行训练；
具体的，利用所述DR影像和脊椎骨标注信息对脊椎骨轮廓DR影像检测模型进行训练；利用所述DR影像和骶骨标注信息对骶骨轮廓DR影像检测模型进行训练；利用所述DR影像和股骨头标注信息对股骨头轮廓DR影像检测模型进行训练。
可以理解的，当对人体骨骼轮廓DR影像检测模型进行训练时，输入到三个子模型的DR图像是相同的，只是标注信息不同。
实施时，所述三个子模型即脊椎骨轮廓DR影像检测模型、骶骨轮廓DR影像检测模型和股骨头轮廓DR影像检测模型的结构相同，均采用Cascade Mask R-CNN网络。
所述Cascade Mask R-CNN网络结构设有CNN卷积网络、与CNN卷积网络连接的RPN网络、以及与CNN卷积网络及RPN网络连接的RoIAlign layer、与RoIAlign layer连接的全连接层和掩膜预测模块。
具体的，CNN卷积网络用于提取DR影像的特征，输出特征图；RPN网络用于生成特征图的候选框；所述RoIAlign layer基于所述候选框和特征图，输出具有固定尺寸的特征区域，所述全连接层基于所述固定尺寸的特征区域，生成特征区域的置信度以及掩膜的外接矩形的坐标，所述掩膜预测模型基于所述固定尺寸的特征区域生成该区域的掩膜。
具体的，DR影像经过所述Cascade Mask R-CNN网络后，在输出端会输出多个具有骨骼候选框的特征区域，以及每个特征区域中候选框的置信度、语义分割结果；
具体的，所述置信度是指该候选框框出的区域是真实骨骼的概率，置信度越高，说明该区域为骨骼区域的概率越大；所述语义分割结果包括矩形掩膜、三角形掩膜以及圆形掩膜；
可以理解的，所述脊椎骨轮廓DR影像检测模型对应的语义分割结果为矩形掩膜；所述骶骨轮廓DR影像检测模型对应的语义分割结果为三角形掩膜；所述股骨头轮廓DR影像检测模型对应的语义分割结果为圆形掩膜。
如图3所示，脊椎骨轮廓DR影像检测模型输出的特征区域中，所述矩形掩膜如图中所示的实心矩形区域，所述矩形掩膜所在位置即为脊椎骨所在区域，所述候选框是指矩形掩膜的外接四边形，模型输出还包括外接四边形的四个顶点坐标；
对于骶骨轮廓DR影像检测模型和股骨头轮廓DR影像检测模型，掩膜分别为三角形掩膜和圆形掩膜，所述候选框是指三角形、圆形的外接四边形，模型输出还包括外接四边形的四个顶点坐标。
与现有技术相比，本发明通过设立三个子模型分别预测不同骨骼的区域，对同一DR影像中不同骨骼区域（脊椎、骶骨和股骨头）实现骨轮廓DR影像检测，拓展了骨骼检测范围。
具体的，步骤S3基于各特征区域候选框的置信度以及语义分割结果进行后处理得到人体骨骼轮廓，包括：
S31、基于脊椎骨轮廓DR影像检测模型、骶骨轮廓DR影像检测模型和股骨头轮廓DR影像检测模型的置信度阈值，选择置信度大于相应置信度阈值的特征区域作为上述三个模型的候选特征区域；
具体的，可以根据三个子模型的检测精度分别设置三个子模型对应的置信度阈值，示例性的，将脊椎骨模型轮廓DR影像检测模型的置信度阈值设置为0.8，将骶骨轮廓DR影像检测模型和股骨头轮廓DR影像检测模型的置信度阈值设置为0.9；
通过利用置信度阈值对特征区域筛选，能够去除非骨骼区域的特征区域，从而保留具有骨骼区域的特征区域作为候选特征区域。
S32、对于脊椎骨：基于候选特征区域中的矩形掩膜，获取矩形掩膜的顶点坐标，并根据所述顶点坐标形成各候选特征区域的矩形；
对于骶骨：选取置信度最高的候选特征区域作为骶骨区域，基于骶骨区域中的三角形掩膜，获取三角形掩膜的顶点坐标，并根据所述顶点坐标形成三角形；
对于股骨头：选取置信度最高的候选特征区域作为股骨头区域，基于股骨头区域中的圆形掩膜，获取圆形掩膜的圆心坐标；
S33、将所述矩形、三角形以及圆心按坐标排列，得到人体骨骼轮廓。
具体的，在步骤2所述未标注的人体骨骼轮廓DR影像构建和步骤1所述人体骨骼轮廓DR影像相同的坐标系；
在得到人体骨骼轮廓后，可将上述骨骼轮廓数据即得到的各矩形、三角形的顶点坐标以及圆形掩膜的圆心坐标显示在DR影像上，即将矩形、三角形以及圆形掩膜的圆心的坐标在步骤3所述未标注的人体骨骼轮廓DR影像中依次标出获得圆形掩膜的圆心及矩形、三角形的各顶点；将同一矩形和三角形中各顶点连接获得相应的特征区域，如图4所示：矩形特征区域表示脊椎；三角形特征区域表示骶骨；圆形掩膜的圆心表示股骨头。
由于脊椎骨数量为24块，所以可能存在候选区域中的矩形相重叠的情况，即对于一块椎体存在两个对应的矩形，所以要从相重叠的两个矩形中选取一个作为骨骼所在区域，因此优选的，对于脊椎骨在步骤S32和步骤S33之间还包括如下步骤：
S321、根据矩形的顶点坐标，计算任意两个矩形的IOU值；
具体的，IOU满足以下公式：
IOU=S交/S并，其中S交为两个矩形的交集面积，S并为两个矩形的并集面积；
S322、获取IOU值大于IOU阈值的矩形，形成待选矩形集合；具体的，IOU阈值设置为0.5；
具体的，如果两个矩形不存在重叠则其IOU值为零，如果两个矩形存在重叠，则IOU值大于零；如图5所示，由于矩形a和矩形b存在重叠，因此矩形a和矩形b的IOU值大于阈值0.5，因此根据IOU阈值能够筛选出矩形a和矩阵b，矩形a和矩形b形成待选矩形集合。
S323、根据除待选矩形集合之外的其他矩形的左下/左上坐标拟合第一曲线；根据除待选矩形集合之外的其他矩形的右上/右下坐标拟合第二曲线；
具体的，如图6所示，根据除矩形a和b之外的其他矩形拟合出两条曲线，即代表了脊柱的走向曲线；示例性的，当脊柱曲线如图6所示时，以各矩形的左下坐标拟合出第一条曲线，以各矩形的右上坐标拟合出第二曲线；当脊柱曲线沿相反方向弯曲时，则以各矩形的左上坐标你和第一曲线，以各矩形的右下坐标拟合第二曲线；
S324、计算待选矩形集合中各待选矩形在第一曲线和第二曲线形成的中间区域中的面积，选择面积大的待选矩形作为被选矩形；
具体的，根据待选矩形的四个顶点坐标和第一曲线和第二曲线的拟合函数获取待选矩形在第一曲线和第二曲线形成的中间区域中的面积。如图6所示，根据计算得到矩形a在两个曲线形成的中间区域的面积比矩形b在两个曲线形成的中间区域的面积要大，因此选择a作为被选矩形，舍弃矩形b；
S325、将待选矩形集合之外的其他矩形和被选矩形作为输出。
若采用现有技术中的极大值抑制方法NMS，则会选取置信度较大的矩形b作为被选矩形，本发明通过对脊椎骨轮廓DR影像检测模型的检测数据拟合脊柱曲线，选择出符合脊柱曲线走势的矩形a，因此能够获得更符合脊椎自然弯曲的脊椎骨轮廓DR影像检测数据，使得检测数据更加精确。
与现有技术相比，本发明对脊椎骨轮廓DR影像检测模型的检测数据引入了构建高置信度特征区域的脊椎拟合曲线，利用拟合曲线对重叠矩形进行筛选，克服了现有技术根据置信度评分筛选特征区域容易“失真”的缺陷。
具体的，步骤2中所述损失函数L，满足以下公式：
其中，Lcls为分数分类器损失函数，Lbox为回归分类器损失函数， Lmask为掩膜参数损失函数。
具体的，Lcls满足以下公式：
其中，P（x）为真实置信度；q（x）为预测置信度，x为RoIAlign layer输入的固定尺寸的特征图。
具体的，Lmsk满足以下公式：
其中，k=1，
为位置(i，j)的mask值（0，1二值表示），数据
为预测mask值；i表示像素横坐标，j表示像素纵坐标； m表示掩膜区域外接矩形的边长；
其中yij满足以下公式：
具体的，回归分类器损失函数Lbox，满足以下公式：
其中，intersection（）为对两个区域求交集面积；Union（）为对两个区域求并集面积；P预测为特征区域的预测框；P真实为特征区域对应的原始标注区域；smoothL1为离散点损失函数；
为特征区域对应原始标准坐标特征集，
为特征区域预测坐标特征集；
其中，
满足以下公式：
其中，
其中，
满足以下公式：
其中，
为特征区域的掩膜区域最小外接矩形的中心点坐标 ，
为特征区域的掩膜区域最小外接矩形的长度，
为特征区域的掩膜区域最小外接矩形的宽度；
为Cascade Mask R-CNN结构R-CNN单元中anchors集合中特征区域对应的候选框中心点坐标，
为Cascade Mask 结构R-CNN单元中anchors集合中特征区域对应的候选框的长度， 
为Cascade Mask R-CNN结构RPN单元中anchors集合中特征区域对应的候选框的宽度；
为回归分类器前连的全连接层输出的特征区域中心点预测坐标，
为回归分类器前连的全连接层输出的特征区域长度，
为回归分类器前连的全连接层输出的特征区域宽度。
现有技术中，回归分类器损失函数Lbox通过回归表征一个特征区域的四个变量，并假设特征区域的四个变量相互独立，从而进行线性回归预测。实际上，特征区域的四个变量之间是相互关联的，现有技术采用的简单的分开计算每个变量的回归loss得方法无法反映这种相关性，因而在计算损失函数时无法客观反映模型训练程度，降低了模型最终预测准确度。
与现有技术相比，本发明采用IOU相关损失函数作为回归分类器损失函数，较现有技术增加了特征区域与原始标注区域的IOU损失；IOU损失是基于特征区域与原始标注区域交集区域和并集区域面积比值，不受到特征区域的变量相关性影响，因而克服了现有技术回归分类器损失函数的缺陷。
进一步地，本发明的回归分类器损失函数Lbox在引入IOU损失同时保留了基于特征区域变量相互独立假设的smoothL1损失函数，弥补了IOU损失在特征区域与原始标注区域无交集时，IOU损失无法表征Lbox的缺陷。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
Claims (10)
1.基于DR影像的人体骨骼轮廓检测方法，其特征在于，包含以下步骤：
获取人体骨骼轮廓DR影像，采用与人体骨骼轮廓近似的几何形状对人体骨骼轮廓DR影像进行标注，获得标注信息，将所述DR影像和标注信息作为训练样本集；
基于所述训练样本集对人体骨骼轮廓DR影像检测模型进行训练，直至损失函数收敛，获得训练完成的人体骨骼轮廓DR影像检测模型；基于训练完成的人体骨骼DR影像检测模型，对未标注的人体骨骼轮廓DR影像进行检测，获取检测模型输出的具有骨骼候选框的特征区域，以及每个特征区域中候选框的置信度、语义分割结果；
基于各特征区域候选框的置信度以及语义分割结果进行后处理得到人体骨骼轮廓。
2.根据权利要求1所述的检测方法，其特征在于，所述人体骨骼轮廓DR影像检测模型，包括：脊椎骨轮廓DR影像检测模型、骶骨轮廓DR影像检测模型和股骨头轮廓DR影像检测模型；
所述采用与人体骨骼轮廓近似的几何形状对人体骨骼轮廓DR影像进行标注，获得标注信息包括：
采用矩形对DR影像中的脊椎骨进行标注，各脊椎骨对应的矩形的四个顶点坐标作为脊椎骨标注信息；采用三角形对DR影像中的骶骨进行标注，三角形的三个顶点坐标作为骶骨标注信息；
采用圆形对股骨头进行标注，取圆形弧线上多个离散点坐标作为股骨头标注信息。
3.根据权利要求2所述的检测方法，其特征在于，对所述人体骨骼轮廓DR影像检测模型进行训练时，利用所述RD影像和脊椎骨标注信息对脊椎骨轮廓DR影像检测模型进行训练，利用所述RD影像和骶骨标注信息对骶骨轮廓DR影像检测模型进行训练，利用所述RD影像和股骨头标注信息对股骨头轮廓DR影像检测模型进行训练。
4.根据权利要求3所述的检测方法，其特征在于，所述语义分割结果包括矩形掩膜、三角形掩膜以及圆形掩膜，所述脊椎骨轮廓DR影像检测模型对应的语义分割结果为矩形掩膜，所述骶骨轮廓DR影像检测模型对应的语义分割结果为三角形掩膜，所述股骨头轮廓DR影像检测模型对应的语义分割结果为圆形掩膜。
5.根据权利要求4所述的检测方法，其特征在于，基于各特征区域候选框的置信度以及语义分割结果进行后处理得到人体骨骼轮廓包括：
S11、基于脊椎骨轮廓DR影像检测模型、骶骨轮廓DR影像检测模型和股骨头轮廓DR影像检测模型的置信度阈值，选择置信度大于相应置信度阈值的特征区域作为上述三个模型的候选特征区域；
S12、对于脊椎骨：基于候选特征区域中的矩形掩膜，获取矩形掩膜的顶点坐标，并根据所述顶点坐标形成各候选特征区域的矩形；
对于骶骨：选取置信度最高的候选特征区域作为骶骨区域，基于骶骨区域中的三角形掩膜，获取三角形掩膜的顶点坐标，并根据所述顶点坐标形成三角形；
对于股骨头：选取置信度最高的候选特征区域作为股骨头区域，基于股骨头区域中的圆形掩膜，获取圆形掩膜的圆心坐标；
S13、将所述矩形、三角形以及圆心按坐标排列，得到人体骨骼轮廓。
6.根据权利要求5所述的检测方法，其特征在于，对于脊椎骨，在步骤S12和步骤S13之间还包括如下步骤；
根据矩形的顶点坐标，计算任意两个矩形的IOU值；
获取IOU值大于IOU阈值的矩形，形成待选矩形集合；
根据除待选矩形集合之外的其他矩形的左下/左上坐标拟合第一曲线，根据除待选矩形集合之外的其他矩形的右上/右下坐标拟合第二曲线；
计算待选矩形集合中各待选矩形在第一曲线和第二曲线形成的中间区域中的面积，选择面积大的待选矩形作为被选矩形；
将待选矩形集合之外的其他矩形和被选矩形作为输出。
7.根据权利要求6所述的检测方法，其特征在于，所述待选矩形集合的IOU满足：IOU≥0.5。
8.根据权利要求1所述的检测方法，其特征在于，所述损失函数L满足以下公式：
其中，Lcls为分数分类器损失函数，Lbox为回归分类器损失函数， Lmask为掩膜参数损失函数。
9.根据权利要求8所述的检测方法，其特征在于，所述回归分类器损失函数Lbox，满足以下公式：
其中，intersection（）为对两个区域求交集面积；Union（）为对两个区域求并集面积；P预测为特征区域的预测框；P真实为特征区域对应的原始标注区域；smoothL1为离散点损失函数；
为特征区域对应原始标准坐标特征集，
为特征区域预测坐标特征集。
10.根据权利要1-9中任一项所述的检测方法，其特征在于，所述脊椎骨轮廓DR影像检测模型、骶骨轮廓DR影像检测模型和股骨头轮廓DR影像检测模型结构相同，均采用CascadeMask R-CNN网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211592204.XA CN115661138B (zh) | 2022-12-13 | 2022-12-13 | 基于dr影像的人体骨骼轮廓检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211592204.XA CN115661138B (zh) | 2022-12-13 | 2022-12-13 | 基于dr影像的人体骨骼轮廓检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115661138A true CN115661138A (zh) | 2023-01-31 |
| CN115661138B CN115661138B (zh) | 2023-03-21 |
Family
ID=85018082
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211592204.XA Active CN115661138B (zh) | 2022-12-13 | 2022-12-13 | 基于dr影像的人体骨骼轮廓检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115661138B (zh) |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108764143A (zh) * | 2018-05-29 | 2018-11-06 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN109785437A (zh) * | 2018-12-14 | 2019-05-21 | 华南理工大学 | 一种基于六面体自动生成的三维人体温度场计算方法 |
| CN111047572A (zh) * | 2019-12-10 | 2020-04-21 | 南京安科医疗科技有限公司 | 一种基于Mask RCNN的医学图像中脊柱自动定位方法 |
| CN112084872A (zh) * | 2020-08-10 | 2020-12-15 | 浙江工业大学 | 一种融合语义分割与边缘的高分遥感目标精准检测方法 |
| US20210174074A1 (en) * | 2019-09-27 | 2021-06-10 | Beijing Sensetime Technology Development Co., Ltd. | Human detection method and apparatus, computer device and storage medium |
| CN113610809A (zh) * | 2021-08-09 | 2021-11-05 | 北京百度网讯科技有限公司 | 骨折检测方法、装置、电子设备以及存储介质 |
| WO2021240848A1 (ja) * | 2020-05-29 | 2021-12-02 | 株式会社PocketRD | ３次元アバター生成装置、３次元アバター生成方法及び３次元アバター生成プログラム |
| CN114119907A (zh) * | 2020-08-27 | 2022-03-01 | 北京陌陌信息技术有限公司 | 一种人体模型的拟合方法、设备和存储介质 |
| CN114140668A (zh) * | 2021-12-09 | 2022-03-04 | 深圳市资福医疗技术有限公司 | 胃部部位识别模型训练方法、部位识别方法及装置 |
| CN114494192A (zh) * | 2022-01-26 | 2022-05-13 | 西南交通大学 | 一种基于深度学习的胸腰椎骨折识别分割与检测定位方法 |
| CN114638828A (zh) * | 2022-05-18 | 2022-06-17 | 数聚(山东)医疗科技有限公司 | 一种基于计算机视觉的放射影像智能分割方法 |
| CN114795258A (zh) * | 2022-04-18 | 2022-07-29 | 浙江大学 | 一种儿童髋关节发育不良诊断系统 |
| CN114972390A (zh) * | 2022-07-13 | 2022-08-30 | 河海大学常州校区 | 一种融合骨架线的复杂骨骼模型自动分割方法 |
| CN114998591A (zh) * | 2022-06-16 | 2022-09-02 | 河海大学 | 一种人体骨骼语义分割模型的半监督学习方法 |
| CN115471656A (zh) * | 2022-09-16 | 2022-12-13 | 常州工程职业技术学院 | 一种具有医学解剖语义的股骨点云模型分割方法 |
-
2022
- 2022-12-13 CN CN202211592204.XA patent/CN115661138B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108764143A (zh) * | 2018-05-29 | 2018-11-06 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN109785437A (zh) * | 2018-12-14 | 2019-05-21 | 华南理工大学 | 一种基于六面体自动生成的三维人体温度场计算方法 |
| US20210174074A1 (en) * | 2019-09-27 | 2021-06-10 | Beijing Sensetime Technology Development Co., Ltd. | Human detection method and apparatus, computer device and storage medium |
| CN111047572A (zh) * | 2019-12-10 | 2020-04-21 | 南京安科医疗科技有限公司 | 一种基于Mask RCNN的医学图像中脊柱自动定位方法 |
| WO2021240848A1 (ja) * | 2020-05-29 | 2021-12-02 | 株式会社PocketRD | ３次元アバター生成装置、３次元アバター生成方法及び３次元アバター生成プログラム |
| CN112084872A (zh) * | 2020-08-10 | 2020-12-15 | 浙江工业大学 | 一种融合语义分割与边缘的高分遥感目标精准检测方法 |
| CN114119907A (zh) * | 2020-08-27 | 2022-03-01 | 北京陌陌信息技术有限公司 | 一种人体模型的拟合方法、设备和存储介质 |
| CN113610809A (zh) * | 2021-08-09 | 2021-11-05 | 北京百度网讯科技有限公司 | 骨折检测方法、装置、电子设备以及存储介质 |
| CN114140668A (zh) * | 2021-12-09 | 2022-03-04 | 深圳市资福医疗技术有限公司 | 胃部部位识别模型训练方法、部位识别方法及装置 |
| CN114494192A (zh) * | 2022-01-26 | 2022-05-13 | 西南交通大学 | 一种基于深度学习的胸腰椎骨折识别分割与检测定位方法 |
| CN114795258A (zh) * | 2022-04-18 | 2022-07-29 | 浙江大学 | 一种儿童髋关节发育不良诊断系统 |
| CN114638828A (zh) * | 2022-05-18 | 2022-06-17 | 数聚(山东)医疗科技有限公司 | 一种基于计算机视觉的放射影像智能分割方法 |
| CN114998591A (zh) * | 2022-06-16 | 2022-09-02 | 河海大学 | 一种人体骨骼语义分割模型的半监督学习方法 |
| CN114972390A (zh) * | 2022-07-13 | 2022-08-30 | 河海大学常州校区 | 一种融合骨架线的复杂骨骼模型自动分割方法 |
| CN115471656A (zh) * | 2022-09-16 | 2022-12-13 | 常州工程职业技术学院 | 一种具有医学解剖语义的股骨点云模型分割方法 |
Non-Patent Citations (5)
| Title |
|---|
| JUSTUS SCHOCK ET AL.: "A Method for Semantic Knee Bone and Cartilage Segmentation with Deep 3D Shape Fitting Using Data from the Osteoarthritis Initiative" * |
| VAN LUAN TRAN ET AL.: "BiLuNet：A Multi-path Network for Semantic Segmentation on X-ray Images" * |
| 刘云鹏 等: "应用图像块和全卷积神经网络的肩关节MRI自动分割" * |
| 张铁: "基于深度学习的人体语义分割理论及应用" * |
| 陈永辉 等: "鲁棒的点云曲线骨骼提取算法" * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115661138B (zh) | 2023-03-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022037548A1 (zh) | 一种基于深度学习的脊椎mri影像关键点检测方法 | |
| CN114287915A (zh) | 一种基于背部彩色图像的无创脊柱侧弯筛查方法及系统 | |
| CN112037200A (zh) | 一种医学影像中解剖特征自动识别与模型重建方法 | |
| CN108062525A (zh) | 一种基于手部区域预测的深度学习手部检测方法 | |
| WO2019196099A1 (zh) | 医学图像内目标对象的边界定位方法、存储介质及终端 | |
| CN112802019B (zh) | 一种基于脊柱AIS影像的lenke分型方法 | |
| CN114022554B (zh) | 一种基于yolo的按摩机器人穴位检测与定位方法 | |
| CN113537408B (zh) | 一种超声图像处理方法、装置、设备及存储介质 | |
| CN112001889A (zh) | 医学影像处理方法、装置及医学影像显示方法 | |
| CN112349391A (zh) | 一种优化肋骨自动标号方法 | |
| CN111563492A (zh) | 一种跌倒检测方法、跌倒检测装置及存储装置 | |
| CN114037665A (zh) | 下颌神经管的分割方法、装置、电子设备及存储介质 | |
| CN115252233B (zh) | 基于深度学习的全髋关节置换术中髋臼杯的自动化规划方法 | |
| CN106780492B (zh) | 一种ct骨盆图像的关键帧提取方法 | |
| WO2024124790A1 (zh) | 一种骨骼矢状位平衡参数检测系统 | |
| CN111145226A (zh) | 基于ct影像的三维肺部特征提取方法 | |
| CN115661138B (zh) | 基于dr影像的人体骨骼轮廓检测方法 | |
| CN115187606A (zh) | 一种青少年特发性脊柱侧凸pumc分型方法 | |
| CN108846342A (zh) | 一种唇裂手术标志点识别系统 | |
| CN115937163B (zh) | 一种spect肺灌注成像的目标区域提取方法与系统 | |
| CN115797307B (zh) | 一种骨骼冠状位平衡参数检测系统 | |
| CN116630163A (zh) | 一种自适应内窥镜图像超分辨率重建的方法 | |
| CN113633304B (zh) | 一种颞骨ct影像中颈静脉球窝骨壁缺失检测方法 | |
| CN116434277A (zh) | 一种基于级联深度神经网络的穴位精准定位方法 | |
| CN114549396A (zh) | 一种基于图神经网络的脊椎交互式与自动分割细化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |