CN112614092A - 脊柱检测方法和装置 - Google Patents
脊柱检测方法和装置 Download PDFInfo
- Publication number
- CN112614092A CN112614092A CN202011457805.0A CN202011457805A CN112614092A CN 112614092 A CN112614092 A CN 112614092A CN 202011457805 A CN202011457805 A CN 202011457805A CN 112614092 A CN112614092 A CN 112614092A
- Authority
- CN
- China
- Prior art keywords
- spine
- target
- module
- detection model
- spine detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 142
- 230000004927 fusion Effects 0.000 claims abstract description 50
- 238000000605 extraction Methods 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 13
- 239000013598 vector Substances 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 22
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 230000003902 lesion Effects 0.000 description 5
- 230000004807 localization Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 208000020307 Spinal disease Diseases 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
- G06T2207/30012—Spine; Backbone
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种脊柱检测方法和装置，该方法包括：将目标脊柱的影像数据输入到脊柱检测模型的特征提取模块，获取特征；将特征输入到脊柱检测模型的颈部网络模块，获取多尺度融合特征；将多尺度融合特征输入到脊柱检测模型的粗定位模块，获取影像数据中目标脊柱的初始位置；根据多尺度融合特征、目标脊柱的初始位置和脊柱检测模型的细回归模块，获取目标脊柱的优化位置。本发明使用的脊柱检测模型中只有编码模块，没有解码模块，从而使得该脊柱检测模型的参数量和检测时间均更少，提高了检测效率；另外，将脊柱检测分为粗定位和细回归两个阶段，即使在数据量比较少的情况下，脊柱检测模型也能有较高的训练精度，从而提高了脊柱检测精度。
Description
技术领域
本发明涉及图像处理和人工智能技术领域，尤其涉及一种脊柱检测方法和装置。
背景技术
脊柱问题已经呈现年轻化趋势，并且越来越多人面临脊柱疾病的困扰。然而一般每一位患者的脊柱图像会包含多个序列，每一个序列又包含多个切片，需要医生在数十个甚至上百个切片中寻找可能病变的切片和位置，而后再进行逐个椎体和椎间盘的病变分析。寻找可能病变区域的过程虽然较为简单但工作量比较大，可以通过自动化的辅助技术提高提升在这一部分的工作效率。
随着计算机技术的不断发展，过去一二十年，各种计算机辅助技术已经被用来辅助医生对脊柱的椎体和椎间盘可能病变区域的定位，例如梯度直方图、概率模型、GrowCut等等。例如，某现有技术通过基于手工特征、回归森林和生成模型，提出一种两阶段方法为CT种的椎体进行定位和识别。
但随着近年来深度学习的快速发展，基于深度学习的各种方法被证明具有更好的性能，因此逐步取代了传统计算机视觉方法，并被广泛用作计算机辅助技术提高医生的工作效率。例如，现有技术采用基于深度学习的联合学习模型J-CNN提高了椎体识别的准确率。另一现有技术首先提取基于强度的特征，而后使用深度神经网络定位椎体。现有技术U-Net被证明了在少量数据下能够达到精确的分割效果，某现有技术采用该模型在CT和X-ray图像上进行椎体分割，再根据分割结果进行定位，也取得了不错的效果。另一现有技术开发了多任务VGG-M架构，用来辅助医生为多种脊柱疾病进行分级。另一项有技术提出一种端到端的三阶段的自动模型，用来直接在3D CT空间中进行椎体的定位和识别。又一现有技术基于大量数据和人工标注，采用分割模型对椎体和椎间盘进行预测，而后基于分割预测结果构建多输入、多输出分类器，为椎体和椎间盘分配类别。
上述方法由于复杂的模型，从而很难提供实时性的预测，对于医生的辅助有限。相比上述方法，本发明开发了一种能够在小数据量的数据中进行充分学习，并且精度和效率都更高的模型，从而能够有效地辅助医生进一步提高工作效率。
发明内容
本发明提供一种脊柱检测方法和装置，用以解决现有技术中脊柱检测方法工作量大、耗时长的缺陷，实现耗时短、精度高的脊柱检测。
本发明提供一种脊柱检测方法，包括：
将目标脊柱的影像数据输入到脊柱检测模型的特征提取模块，获取特征；
将所述特征输入到所述脊柱检测模型的颈部网络模块，获取多尺度融合特征；
将所述多尺度融合特征输入到所述脊柱检测模型的粗定位模块，获取所述影像数据中所述目标脊柱的初始位置；
根据所述多尺度融合特征、所述目标脊柱的初始位置和所述脊柱检测模型的细回归模块，获取所述目标脊柱的优化位置；
其中，所述脊柱检测模型是基于样本影像以及样本标签训练得到的。
根据本发明提供一种的脊柱检测方法，还包括：
将所述多尺度融合特征输入到所述脊柱检测模型的分类模块，获取所述影像数据中脊柱的椎体和椎间盘的生长情况分类。
根据本发明提供一种的脊柱检测方法，所述将所述多尺度融合特征输入到所述脊柱检测模型的粗定位模块，获取所述影像数据中所述目标脊柱的初始位置，具体包括：
所述粗定位中网格对应所述影像数据中S×S的区域，所述网格的取值为所述网格的中心点到所述目标脊柱预测点之间的关系度量；
将关系度量大于预设阈值的网格作为所述目标脊柱的初始位置。
根据本发明提供一种的脊柱检测方法，所述根据所述多尺度融合特征、所述目标脊柱的初始位置和所述脊柱检测模型的细回归模块，获取所述目标脊柱的优化位置，具体包括：
获取所述网格的中心点到所述目标脊柱预测点在x轴方向上的偏移量；
获取所述网格的中心点到所述目标脊柱预测点在y轴方向上的偏移量；
根据x轴方向上的偏移量、y轴方向上的偏移量和所述目标脊柱预测点，获取所述目标脊柱的优化位置。
根据本发明提供一种的脊柱检测方法，所述特征提取模块为ResNet18的前四个特征提取层。
根据本发明提供一种的脊柱检测方法，所述将所述多尺度融合特征输入到所述脊柱检测模型的分类模块，获取所述影像数据中脊柱的椎体和椎间盘的生长情况分类，具体包括：
将每个网格对应一个分类向量，根据所述分类向量，对所述影像数据进行分类，得到所述脊柱和所述椎间盘的生长情况分类。
本发明还提供一种脊柱检测装置，包括：
特征提取模块，用于将目标脊柱的影像数据输入到脊柱检测模型的特征提取模块，获取特征；
多尺度融合模块，用于将所述特征输入到所述脊柱检测模型的颈部网络模块，获取多尺度融合特征；
粗定位模块，用于将所述多尺度融合特征输入到所述脊柱检测模型的粗定位模块，获取所述影像数据中所述目标脊柱的初始位置；
细回归模块，用于根据所述多尺度融合特征、所述目标脊柱的初始位置和所述脊柱检测模型的细回归模块，获取所述目标脊柱的优化位置；
其中，所述脊柱检测模型是基于样本影像以及样本标签训练得到的。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述脊柱检测方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述脊柱检测方法的步骤。
本发明提供的一种脊柱检测方法和装置，使用的脊柱检测模型中只有编码模块，没有解码模块，从而使得该脊柱检测模型中的参数比较少，使得脊柱检测模型更加容易收敛，提高了检测效率，减少了检测时间；另外，将脊柱检测分为粗定位和细回归两个阶段，即使在数据量比较少的情况下，脊柱检测模型也能有较高的训练精度，提高了脊柱检测精度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种脊柱检测方法的流程图；
图2为本发明提供的一种脊柱检测方法的流程框图；
图3为本发明对目标脊柱进行粗定位的示意图；
图4为本发明细回归过程示意图；
图5为本发明中脊柱检测方法的检测效果图之一；
图6为本发明中脊柱检测方法的检测效果图之二；
图7为本发明中脊柱检测方法的检测效果图之三；
图8为本发明中脊柱检测方法的检测效果图之四；
图9为本发明中脊柱检测方法的检测效果图之五；
图10为本发明提供的一种脊柱检测装置的结构示意图；
图11为本发明提供的一种电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种脊柱检测方法，如图1所示，该方法包括：
如图2所示，该流程可以分为特征提取模块、颈部网络模块、粗定位模块、细回归模块和分类模块，其中，特征提取模块的输出和颈部网络模块的输入连接，颈部网络模块的输出分别同时与粗定位模块、细回归模块和分类模块连接。粗定位模块、细回归模块和分类模块为三个独立并列的模块，在训练过程中是并行优化的，其参数并不共享。
S1，将目标脊柱的影像数据输入到脊柱检测模型的特征提取模块，获取特征；
提取目标脊柱的影像数据，该影像数据为CT影像数据，将该CT影像数据的原图输入到脊柱检测模型的特征提取模块中，得到特征。
本发明实施例中，特征提取模块采用ResNet18的前四个特征提取层作为特征提取模块，可以获得原图16倍下采样分辨率的特征。原始的ResNet18有五个特征提取层，本发明实施例中只提取前4个特征提取层，从而减少了脊柱检测模型的传输参数，4个特征提取层提取的特征是原图的16倍下采样，此处的16对应上文中提到的S，也即是特征图上的每一个网格对应原图S×S的区域，在这个比较小的区域内进行细回归，使得脊柱检测模型能够达到更高的性能。同时16倍下采样之后也确保了提取的特征具备足够的信息。
S2，将所述特征输入到所述脊柱检测模型的颈部网络模块，获取多尺度融合特征；
然后将获取的特征输入到脊柱检测模型的颈部网络模块，得到多尺度融合特征及扩大模型感受野。
S3，将所述多尺度融合特征输入到所述脊柱检测模型的粗定位模块，获取所述影像数据中所述目标脊柱的初始位置；
将该多尺度融合特征输入到脊柱检测模型的粗定位模块中，得到影像数据中目标脊柱的初始位置，该目标脊柱的初始位置即为目标脊柱的大致所在位置，也就是粗定位的过程。
S4，根据所述多尺度融合特征、所述目标脊柱的初始位置和所述脊柱检测模型的细回归模块，获取所述目标脊柱的优化位置；
另外，再将多尺度融合特征、目标脊柱的初始位置和脊柱检测模型的细回归模块，对目标脊柱的初始位置进行优化，得到目标脊柱的优化位置。
其中，所述脊柱检测模型是基于样本影像以及样本标签训练得到的。
脊柱检测模型是通过样本影像和样本标签训练得到的，样本标签是审阅人员对样本进行标注得到的。
本发明提供的一种脊柱检测方法，使用的脊柱检测模型中只有编码模块，没有解码模块，从而使得该脊柱检测模型中的参数比较少，使得脊柱检测模型更加容易收敛，提高了检测效率，减少了检测时间；另外，将脊柱检测分为粗定位和细回归两个阶段，优化脊柱初始检测位置，提高了脊柱检测精度。
在上述实施例的基础上，优选地，还包括：
将所述多尺度融合特征输入到所述脊柱检测模型的分类模块，获取所述影像数据中所述目标脊柱的不同部位对应的类别。
具体地，将多尺度融合特征输入到脊柱检测模型的分类模块中，得到影像数据中目标脊柱不同部位对应的类别。比如，本发明实施例中，目标脊柱可以看作是由5个椎体和6个椎间盘组成，每个椎体对应两个类别，正常或者不正常，椎间盘对应4个类别，正常椎间盘、膨出椎间盘、突出椎间盘和脱出椎间盘，此外，椎间盘的是否是锥体内疝出这一类别是可以与上述四个类别的任一个类别并存的。
在上述实施例的基础上，优选地，所述将所述多尺度融合特征输入到所述脊柱检测模型的粗定位模块，获取所述影像数据中所述目标脊柱的初始位置，具体包括：
所述粗定位中网格对应所述影像数据中S×S的区域，所述网格的取值为所述网格的中心点到所述目标脊柱预测点之间的关系度量；
将关系度量大于预设阈值的网格作为所述目标脊柱的初始位置。
如图3所示，为了对目标脊柱上的5个椎体和6个椎间盘进行11个关键点的定位，以第K个关键点为例，见图中的黑点所示，可以用一个网格图来描述粗定位，网格图的分辨率为原图分辨率的16倍下采样，也即每个网格对应原影像数据中16×16的小区域，网格的值被定义为中心点到目标关键点之间的关系度量，离目标关键点越近的网格，其取值应该越高，相应的在图中应该越亮。
具体地，图中的关键点坐标可以表示为：
网格的大小为16×16，网格的中心点为：
网格的值为：
11个关键点粗定位的网格图维度为：
R∈11×H×W。
在上述实施例的基础上，优选地，所述根据所述多尺度融合特征、所述目标脊柱的初始位置和所述脊柱检测模型的细回归模块，获取所述目标脊柱的优化位置，具体包括：
获取所述网格的中心点到所述目标脊柱预测点在x轴方向上的偏移量；
获取所述网格的中心点到所述目标脊柱预测点在y轴方向上的偏移量；
根据x轴方向上的偏移量、y轴方向上的偏移量和所述目标脊柱预测点，获取所述目标脊柱的优化位置。
如图4所示，仅仅只有粗定位是不够的，即使正确找到关键点所在的网格，其中心点与目标关键点之间仍然存在偏移误差，这个误差向量在2D空间可以进一步分解为在x轴和在y轴上的两个偏移量，本发明实施例中采用与粗定位同等分辨率的两个细回归图来描述这两个方向上的偏移量，每个网格的值定义为网格中心点到目标关键点在相应方向上的偏移量。
此种情况下，关键点坐标为：
网格的大小为16×16，网格的中心点为：
y轴方向细回归网格图中网格的值：
x轴方向细回归网格图中网格的值：
11个关键点在x轴和y轴上细回归的网格图维度为：
Oy∈11×H×W，
Ox∈11×H×W，
在上述实施例的基础上，优选地，所述将所述多尺度融合特征输入到所述脊柱检测模型的分类模块，获取所述影像数据中脊柱的椎体和椎间盘，具体包括：
将每个网格对应一个分类向量，根据所述分类向量，对所述影像数据进行分类，得到所述脊柱和所述椎间盘。
对于关键点分类，本发明实施例采用网格图来描述，每一个网格对应一个分类向量。采用5维度的分类向量描述5个椎体的二分类任务，采用24维度的向量描述6个椎间盘的四分类任务，采用额外的6个向量描述椎间盘是否存在锥体内疝出的二分类任务(该类别可以和其余四个类别共存)。
另外，在对脊柱检测模型进行训练时，将损失函数分为第k个关键点粗定位的损失函数、第k个关键点细回归(y轴方向)的损失函数、第k个关键点细回归(x轴方向)的损失函数、第k个关键点分类的损失函数。
具体地，第k个关键点粗定位的损失函数如下：
第k个关键点细回归(y轴方向)的损失函数如下：
第k个关键点细回归(x轴方向)的损失函数如下：
第k个关键点分类的损失函数：
11个关键点定位和分类的总损失函数：
损失函数由上述几个部分构成，对于粗定位直接采用MSELoss进行回归，对于细回归，只过滤出与目标关键点有高相关的网格，所谓高相关，是指激活值大于0.6的网格，只计算这部分网格的损失，对于分类，同样也只计算高相关网格上的二分类或者四分类损失。最终的损失是上面几部分损失的加权求和。
为了对本发明实施例中提出的一种脊柱检测方法的效果，采用https://tianchi.aliyun.com/dataset/dataDetail？dataId＝79463中的数据集进行验证，表1为本发明实施例中脊柱检测模型在不同硬件资源上面的推理速度，表1所示：
表1
如图5至图9所示，本发明实施例中脊柱检测模型的输出结果不会直接作为临床上的诊断结果，只是为医生过滤出可能产生病变的切片，并且提供初步的病变类型预测，减少医生的人工过滤时间。最终的诊断结果是需要医生在此基础上进行人工核查和修正的。
本发明实施例提供一种脊柱检测装置，如图10所示，该装置包括特征提取模块1001、多尺度融合模块1002、粗定位模块1003和细回归模块1004，其中：
特征提取模块1001用于将目标脊柱的影像数据输入到脊柱检测模型的特征提取模块，获取特征；
多尺度融合模块1002用于将所述特征输入到所述脊柱检测模型的颈部网络模块，获取多尺度融合特征；
粗定位模块1003用于将所述多尺度融合特征输入到所述脊柱检测模型的粗定位模块，获取所述影像数据中所述目标脊柱的初始位置；
细回归模块1004用于根据所述多尺度融合特征、所述目标脊柱的初始位置和所述脊柱检测模型的细回归模块，获取所述目标脊柱的优化位置；
其中，所述脊柱检测模型是基于样本影像以及样本标签训练得到的。
本实施例为与上述方法相对应的系统实施例，详情请参考上述方法实施例，本系统实施例在此不再赘述。
本发明实施例提供的一种电子设备，如图11所示，该电子设备可以包括：处理器(processor)1110、通信接口(Communications Interface)1120、存储器(memory)1130和通信总线1140，其中，处理器1110，通信接口1120，存储器1130通过通信总线1140完成相互间的通信。处理器1110可以调用存储器1130中的逻辑指令，以执行一种脊柱检测方法，该方法包括：
将目标脊柱的影像数据输入到脊柱检测模型的特征提取模块，获取特征；
将所述特征输入到所述脊柱检测模型的颈部网络模块，获取多尺度融合特征；
将所述多尺度融合特征输入到所述脊柱检测模型的粗定位模块，获取所述影像数据中所述目标脊柱的初始位置；
根据所述多尺度融合特征、所述目标脊柱的初始位置和所述脊柱检测模型的细回归模块，获取所述目标脊柱的优化位置；
其中，所述脊柱检测模型是基于样本影像以及样本标签训练得到的。
此外，上述的存储器1130中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的一种脊柱检测方法，该方法包括：
将目标脊柱的影像数据输入到脊柱检测模型的特征提取模块，获取特征；
将所述特征输入到所述脊柱检测模型的颈部网络模块，获取多尺度融合特征；
将所述多尺度融合特征输入到所述脊柱检测模型的粗定位模块，获取所述影像数据中所述目标脊柱的初始位置；
根据所述多尺度融合特征、所述目标脊柱的初始位置和所述脊柱检测模型的细回归模块，获取所述目标脊柱的优化位置；
其中，所述脊柱检测模型是基于样本影像以及样本标签训练得到的。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的一种脊柱检测方法，该方法包括：
将目标脊柱的影像数据输入到脊柱检测模型的特征提取模块，获取特征；
将所述特征输入到所述脊柱检测模型的颈部网络模块，获取多尺度融合特征；
将所述多尺度融合特征输入到所述脊柱检测模型的粗定位模块，获取所述影像数据中所述目标脊柱的初始位置；
根据所述多尺度融合特征、所述目标脊柱的初始位置和所述脊柱检测模型的细回归模块，获取所述目标脊柱的优化位置；
其中，所述脊柱检测模型是基于样本影像以及样本标签训练得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种脊柱检测方法，其特征在于，包括：
将目标脊柱的影像数据输入到脊柱检测模型的特征提取模块，获取特征；
将所述特征输入到所述脊柱检测模型的颈部网络模块，获取多尺度融合特征；
将所述多尺度融合特征输入到所述脊柱检测模型的粗定位模块，获取所述影像数据中所述目标脊柱的初始位置；
根据所述多尺度融合特征、所述目标脊柱的初始位置和所述脊柱检测模型的细回归模块，获取所述目标脊柱的优化位置；
其中，所述脊柱检测模型是基于样本影像以及样本标签训练得到的。
2.根据权利要求1所述的脊柱检测方法，其特征在于，还包括：
将所述多尺度融合特征输入到所述脊柱检测模型的分类模块，获取所述影像数据中脊柱的椎体和椎间盘的生长情况分类。
3.根据权利要求1所述的脊柱检测方法，其特征在于，所述将所述多尺度融合特征输入到所述脊柱检测模型的粗定位模块，获取所述影像数据中所述目标脊柱的初始位置，具体包括：
所述粗定位中网格对应所述影像数据中S×S的区域，所述网格的取值为所述网格的中心点到所述目标脊柱预测点之间的关系度量；
将关系度量大于预设阈值的网格作为所述目标脊柱的初始位置。
4.根据权利要求1所述的脊柱检测方法，其特征在于，所述根据所述多尺度融合特征、所述目标脊柱的初始位置和所述脊柱检测模型的细回归模块，获取所述目标脊柱的优化位置，具体包括：
获取所述网格的中心点到所述目标脊柱预测点在x轴方向上的偏移量；
获取所述网格的中心点到所述目标脊柱预测点在y轴方向上的偏移量；
根据x轴方向上的偏移量、y轴方向上的偏移量和所述目标脊柱预测点，获取所述目标脊柱的优化位置。
5.根据权利要求1至4任一所述的脊柱检测方法，其特征在于，所述特征提取模块为ResNet18的前四个特征提取层。
6.根据权利要求2所述的脊柱检测方法，其特征在于，所述将所述多尺度融合特征输入到所述脊柱检测模型的分类模块，获取所述影像数据中脊柱的椎体和椎间盘的生长情况分类，具体包括：
将每个网格对应一个分类向量，根据所述分类向量，对所述影像数据进行分类，得到所述脊柱和所述椎间盘的生长情况分类。
7.一种脊柱检测装置，其特征在于，包括：
特征提取模块，用于将目标脊柱的影像数据输入到脊柱检测模型的特征提取模块，获取特征；
多尺度融合模块，用于将所述特征输入到所述脊柱检测模型的颈部网络模块，获取多尺度融合特征；
粗定位模块，用于将所述多尺度融合特征输入到所述脊柱检测模型的粗定位模块，获取所述影像数据中所述目标脊柱的初始位置；
细回归模块，用于根据所述多尺度融合特征、所述目标脊柱的初始位置和所述脊柱检测模型的细回归模块，获取所述目标脊柱的优化位置；
其中，所述脊柱检测模型是基于样本影像以及样本标签训练得到的。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述脊柱检测方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述脊柱检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011457805.0A CN112614092A (zh) | 2020-12-11 | 2020-12-11 | 脊柱检测方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011457805.0A CN112614092A (zh) | 2020-12-11 | 2020-12-11 | 脊柱检测方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112614092A true CN112614092A (zh) | 2021-04-06 |
Family
ID=75233312
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011457805.0A Pending CN112614092A (zh) | 2020-12-11 | 2020-12-11 | 脊柱检测方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112614092A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113327235A (zh) * | 2021-06-04 | 2021-08-31 | 杭州健培科技有限公司 | 基于ct影像肌少症评估的图像处理方法和装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110599508A (zh) * | 2019-08-01 | 2019-12-20 | 平安科技（深圳）有限公司 | 基于人工智能的脊柱影像处理方法及相关设备 |
| CN111428875A (zh) * | 2020-03-11 | 2020-07-17 | 北京三快在线科技有限公司 | 图像识别方法、装置及相应模型训练方法、装置 |
-
2020
- 2020-12-11 CN CN202011457805.0A patent/CN112614092A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110599508A (zh) * | 2019-08-01 | 2019-12-20 | 平安科技（深圳）有限公司 | 基于人工智能的脊柱影像处理方法及相关设备 |
| CN111428875A (zh) * | 2020-03-11 | 2020-07-17 | 北京三快在线科技有限公司 | 图像识别方法、装置及相应模型训练方法、装置 |
Non-Patent Citations (1)
| Title |
|---|
| DEEPFAN: "Spark"数字人体"AI挑战赛_脊柱疾病智能诊断大赛_GPU赛道亚军比赛攻略_triple-Z团队", 《天池技术圈HTTPS://TIANCHI.ALIYUN.COM/FORUM/POSTDETAIL?POSTID=135747》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113327235A (zh) * | 2021-06-04 | 2021-08-31 | 杭州健培科技有限公司 | 基于ct影像肌少症评估的图像处理方法和装置 |
| CN113327235B (zh) * | 2021-06-04 | 2022-07-01 | 杭州健培科技有限公司 | 基于ct影像肌少症评估的图像处理方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111476292B (zh) | 医学图像分类处理人工智能的小样本元学习训练方法 | |
| CN109886273B (zh) | 一种cmr图像分割分类系统 | |
| US10452899B2 (en) | Unsupervised deep representation learning for fine-grained body part recognition | |
| Zhang et al. | Automatic skin lesion segmentation by coupling deep fully convolutional networks and shallow network with textons | |
| CN109544518B (zh) | 一种应用于骨骼成熟度评估的方法及其系统 | |
| US20220198230A1 (en) | Auxiliary detection method and image recognition method for rib fractures based on deep learning | |
| WO2022127500A1 (zh) | 基于多个神经网络的mri图像分割方法、装置及设备 | |
| CN115063425B (zh) | 基于读片知识图谱的结构化检查所见生成方法及系统 | |
| CN111652175A (zh) | 应用于机器人辅助手术视频分析的实时手术工具检测方法 | |
| Ogiela et al. | Natural user interfaces in medical image analysis | |
| Han et al. | Learning generative models of tissue organization with supervised GANs | |
| Shan et al. | SCA-Net: A spatial and channel attention network for medical image segmentation | |
| CN114757908A (zh) | 基于ct影像的图像处理方法、装置、设备及存储介质 | |
| CN117237351B (zh) | 一种超声图像分析方法以及相关装置 | |
| Mahapatra et al. | CT image synthesis using weakly supervised segmentation and geometric inter-label relations for COVID image analysis | |
| CN112420170B (zh) | 一种提高计算机辅助诊断系统图片分类准确度的方法 | |
| CN113781387A (zh) | 模型训练方法、图像处理方法、装置、设备及存储介质 | |
| CN112614092A (zh) | 脊柱检测方法和装置 | |
| Adegun et al. | Deep convolutional network-based framework for melanoma lesion detection and segmentation | |
| Wang et al. | Optic disc detection based on fully convolutional neural network and structured matrix decomposition | |
| CN114821205A (zh) | 一种基于多维特征的图像处理方法、装置及设备 | |
| CN111369564B (zh) | 一种图像处理的方法、模型训练的方法及装置 | |
| CN117036658A (zh) | 一种图像处理方法及相关设备 | |
| CN113822846A (zh) | 医学图像中确定感兴趣区域的方法、装置、设备及介质 | |
| Al-Eiadeh | Automatic Lung Field Segmentation using Robust Deep Learning Criteria |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210406 |
|
| RJ01 | Rejection of invention patent application after publication |