CN112184664B - 一种椎骨检测方法及计算机设备 - Google Patents

一种椎骨检测方法及计算机设备 Download PDF

Info

Publication number
CN112184664B
CN112184664B CN202011033905.0A CN202011033905A CN112184664B CN 112184664 B CN112184664 B CN 112184664B CN 202011033905 A CN202011033905 A CN 202011033905A CN 112184664 B CN112184664 B CN 112184664B
Authority
CN
China
Prior art keywords
rib
key point
vertebra
rib key
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011033905.0A
Other languages
English (en)
Other versions
CN112184664A (zh
Inventor
石磊
华铱炜
柏慧屏
杨忠程
余沛玥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yitu Healthcare Technology Co ltd
Original Assignee
Hangzhou Yitu Healthcare Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yitu Healthcare Technology Co ltd filed Critical Hangzhou Yitu Healthcare Technology Co ltd
Priority to CN202011033905.0A priority Critical patent/CN112184664B/zh
Publication of CN112184664A publication Critical patent/CN112184664A/zh
Application granted granted Critical
Publication of CN112184664B publication Critical patent/CN112184664B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开椎骨检测方法，包括：获取第k根椎骨的kz。在经Z＝kz的横断面上检测获得第k根椎骨的kx。在经X＝kx的矢状面上检测获得第k根椎骨位置。获取第i根椎骨的iz。在经Z＝iz的横断面上检测获得第i根椎骨的ix。在经X＝ix的矢状面上检测获得第i根椎骨位置、第i‑1、i+1根椎骨的(i‑1)z、(i+1)z。在经Z＝(i‑1)z的横断面上检测获得第i‑1根椎骨的(i‑1)x，在经X＝(i‑1)x的矢状面上检获得第i‑1根椎骨的位置。在经Z＝(i+1)z的横断面上检测获得第i+1根椎骨的(i+1)x，在经X＝(i+1)x的矢状面上检测获得第i+1根椎骨的位置。本方案椎骨定位速度快且准确。

Description

一种椎骨检测方法及计算机设备
技术领域
本发明涉及医疗技术领域，特别涉及一种椎骨检测方法及计算机设备。
背景技术
椎骨又称脊柱骨，有33块，根据它们在人体的位置具体可分为7块颈椎，12块胸椎，5块腰椎，5块骶椎和4块尾椎。胸椎，位于脊柱胸段，共12个。从上向下，椎体逐渐增大。胸椎参与支持肋和构成胸廓的作用。
研究表明目前在我国大约有80％的人深受脊椎疾病的困扰，而脊柱成像中的椎骨定位是图像诊断，手术规划以及脊柱疾病如椎骨退化、椎骨骨折、脊柱侧凸和脊柱狭窄评估的关键组成部分。此外，脊椎定位还是脊柱分割、多模态配准等技术的预处理步骤。目前，主要由医生根据其经验来判断医学影像中的胸椎为第几椎。采用人工的方式进行椎骨定位，效率较低且存在较大的主观性，可能会出现误判或漏判的情况，进而影响后续的诊断。
因此，如何能够快速准确的实现椎骨的自动定位，成为目前亟待解决的问题之一。
发明内容
本发明提供一种椎骨检测方法、计算机设备及计算机可读存储介质，以自动准确的实现椎骨定位，一方面，避免了因医生主观判断导致的误判或漏判，提高了椎骨定位的速度和准确度，在一定程度上提高了医生的诊断效率和诊断的准确度。另一方面，也在一定程度上提高后续基于该椎骨定位进行相关诊断的精准度。
本发明提供一种椎骨检测方法，包括：
获取第k根椎骨在Z轴的位置kz；
在经过Z＝kz的横断面上检测椎骨以获得第k根椎骨在X轴的位置kx；
在经过X＝kx的矢状面上检测椎骨以获得第k根椎骨的位置；
获取第i根椎骨在Z轴的位置iz；
在经过Z＝iz的横断面上检测椎骨以获得第i根椎骨在X轴的位置ix；
在经过X＝ix的矢状面上检测椎骨以获得第i根椎骨的位置、第i-1根椎骨在Z轴的位置(i-1)z、第i+1根椎骨在Z轴的位置(i+1)z；
在经过Z＝(i-1)z的横断面上检测椎骨以获得第i-1根椎骨在X轴的位置(i-1)x，在经过X＝(i-1)x的矢状面上检测椎骨以获得第i-1根椎骨的位置；
在经过Z＝(i+1)z的横断面上检测椎骨以获得第i+1根椎骨在X轴的位置(i+1)x，在经过X＝(i+1)x的矢状面上检测椎骨以获得第i+1根椎骨的位置；
其中，i≠k，Z轴与横断面垂直，X轴与矢状面垂直；
获取第k根椎骨在Z轴的位置kz包括：
获取第k根椎骨上的肋骨关键点的位置；
基于第k根椎骨上的肋骨关键点在Z轴的位置以获得第k根椎骨在Z轴的位置kz；
获取第i根椎骨在Z轴的位置iz包括：
获取第i根椎骨上的肋骨关键点的位置；
基于第i根椎骨上的肋骨关键点在Z轴的位置以获得第i根椎骨在Z轴的位置iz；
获取椎骨上的肋骨关键点的位置包括：
获取三维胸部影像中的第一定位点和第二定位点，其中，所述第一定位点位于左肺内，第二定位点位于右肺内；
确定第一轴和第二轴，其中，所述第一轴经过所述第一定位点且与横断面垂直，所述第二轴经过所述第二定位点且与横断面垂直；
以过所述第一轴且以所述第一轴为边界的切面切分所述三维胸部影像，以获得多个第一切平面；
以过所述第二轴且以所述第二轴为边界的切面切分所述三维胸部影像，以获得多个第二切平面；
对多个第一切平面和多个第二切平面进行检测以获得肋骨关键点；
基于所述肋骨关键点的位置确定属于同一根椎骨上的肋骨关键点；
连接属于同一根椎骨上的肋骨关键点以生成肋骨连线；
基于三维胸部影像和所述肋骨连线在投影面的投影确定所述肋骨的类别；
采用第一检测模型对每一个第一切平面上的左侧肋骨关键点进行检测；
所述第一检测模型包括：特征提取模块和检测框获取模块，其中特征提取模块包括：第一卷积单元～第八卷积单元，第一池化层～第三池化层，一个2×2的2D反卷积层及一张量叠加层，若待检测的第一切平面的尺寸为512×512×1，依次通过第一卷积单元、第二卷积单元、第一池化层、第三卷积单元、第四卷积单元、第二池化层、第五卷积单元、第六卷积单元、第三池化层后输出尺寸为64×64×32的张量，该张量通过第七卷积单元和2×2的2D反卷积层，得到尺寸为128×128×32的张量deconv1，第二池化层输出的张量通过第八卷积单元后输出尺寸为128×128×32的张量conv8，将张量conv8与张量deconv1通过张量相加层相加后，得到尺寸为128*128*32的张量add1，将张量add1和第七卷积单元输出的张量conv7作为两个特征图输入至检测框获取模块，以检测出第一切平面上的肋骨关键点；
基于所述肋骨关键点的位置确定属于同一根肋骨上的肋骨关键点包括：
步骤a：确定肋骨关键点中的起始点；
步骤b：确定与所述起始点距离最近的第一肋骨关键点为属于同一根肋骨的肋骨关键点；
步骤c：若存在一肋骨关键点与第一肋骨关键点之间的距离小于第一预设值，且该肋骨关键点与第一肋骨关键点之间的连线与第一肋骨关键点与起始点之间的连线的夹角小于第二预设值，则确定该肋骨关键点为与所述第一肋骨关键点属于同一根椎骨的第二肋骨关键点；
步骤d：将所述第二肋骨关键点作为当前肋骨关键点，第一肋骨关键点作为当前肋骨关键点的前一肋骨关键点；
步骤e：若存在一肋骨关键点与当前肋骨关键点之间的距离小于第一预设值，且该肋骨关键点与当前肋骨关键点之间的连线与当前肋骨关键点与前一肋骨关键点之间的连线的夹角小于第二预设值，则确定该肋骨关键点为与所述当前肋骨关键点属于同一根椎骨下一肋骨关键点；
步骤f：以所述当前肋骨关键点作为前一肋骨关键点，所述下一肋骨关键点作为当前肋骨关键点；
步骤g：重复步骤e～步骤f，直至遍历所有的肋骨关键点，以获得属于同一根肋骨的肋骨关键点。
可选的，在横断面上检测椎骨包括：
获取以待检测横断面所在帧为中间帧，位于其前和其后的至少一帧；
将中间帧及位于其前和其后的至少一帧所组成的影像层输入至横断面椎骨检测模型，以在待检测横断面上检测出椎骨。
可选的，在矢状面上检测椎骨包括：
获取以待检测矢状面所在帧为中间帧，位于其前和其后的至少一帧；
将中间帧及位于其前和其后的至少一帧所组成的影像层输入至矢状面椎骨检测模型，以在待检测矢状面上检测出椎骨。
可选的，所述基于第k根肋骨上的肋骨关键点在Z轴的位置以获得第k根椎骨在Z轴轴的位置kz包括：以第k根肋骨上的肋骨关键点在Z轴坐标的平均值作为第k根椎骨在Z轴的位置kz；
所述基于第i根肋骨上的肋骨关键点在Z轴的位置以获得第i根椎骨在Z轴的位置iz包括：以第i根肋骨上的肋骨关键点在Z轴坐标的平均值作为第i根椎骨在Z轴的位置iz。
可选的，所述椎骨检测方法，还包括：
若存在一肋骨关键点与第一肋骨关键点之间的距离小于第一预设值，且该肋骨关键点与第一肋骨关键点之间的连线与第一肋骨关键点与起始点之间的连线的夹角不小于第二预设值，则以该肋骨关键点为肋骨关键点中的另一起始点，并基于该起始点，执行步骤b～步骤g；
若存在一肋骨关键点与当前肋骨关键点之间的距离小于第一预设值，且该肋骨关键点与当前肋骨关键点之间的连线与当前肋骨关键点与前一肋骨关键点之间连线的夹角不小于第二预设值，则以该肋骨关键点为肋骨关键点中的又一起始点，并基于该起始点，执行步骤b～步骤g；
所述连接属于同一根椎骨上的肋骨关键点以生成肋骨连线包括：
连接属于同一根椎骨上的肋骨关键点以获得多条属于同一根椎骨的肋骨线段；
对于任意两条肋骨线段，若存在位于一条肋骨线段终点的肋骨关键点与位于另外一条肋骨线段起点的肋骨关键点之间的距离最近，且位于肋骨线段终点的肋骨关键点与位于其前的肋骨关键点之间的连线，与位于肋骨线段起点的肋骨关键点与位于其后的肋骨关键点之间的连线的夹角小于第二预设值，则连接属于同一根椎骨上的肋骨线段以生成肋骨连线。
可选的，所述肋骨关键点中的起始点为第一切平面与横断面的交线与冠状轴正向之间的夹角大于等于65°小于等于80°之间的任一第一切平面上检测到的肋骨关键点，和/或第二切平面与横断面的交线与冠状轴负向之间的夹角大于等于65°小于等于80°之间的任一第二切平面上检测到的肋骨关键点。
本发明还提供一种计算机设备，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器能够执行上述的椎骨检测方法。
本发明还提供一种计算机可读存储介质，当所述存储介质中的指令由设备内的处理器执行时，使得所述设备能够执行上述的椎骨检测方法。
与现有技术相比，本发明的技术方案具有如下有益效果：
对于，第k根椎骨，通过获取第k根椎骨在Z轴的位置kz，在经过Z＝kz的横断面上检测椎骨以获得第k根椎骨在X轴的位置kx，在经过X＝kx的矢状面上检测椎骨以获得第k根椎骨的位置。而对于第i、i-1、i+1根椎骨而言，则是通过获取第i根椎骨在Z轴的位置iz，在经过Z＝iz的横断面上检测椎骨以获得第i根椎骨在X轴的位置ix。在经过X＝ix的矢状面上检测椎骨以获得第i根椎骨的位置、第i-1根椎骨在Z轴的位置(i-1)z、第i+1根椎骨在Z轴的位置(i+1)z。在经过Z＝(i-1)z的横断面上检测椎骨以获得第i-1根椎骨在X轴的位置(i-1)x，在经过X＝(i-1)x的矢状面上检测椎骨以获得第i-1根椎骨的位置。在经过Z＝(i+1)z的横断面上检测椎骨以获得第i+1根椎骨在X轴的位置(i+1)x，在经过X＝(i+1)x的矢状面上检测椎骨以获得第i+1根椎骨的位置。由于无需再通过人工的方式进行椎骨定位，因此避免了因医生主观判断导致的误判或漏判，提高了椎骨定位的速度和准确度，在一定程度上提高了医生的阅片效率、诊断效率和诊断的准确度。另外，在进行椎骨检测时，采用不同的检测方式，也可以避免采用单一方式进行椎骨检测时可能出现的错检。此外，在确定第i根椎骨在Z轴的位置后，基于追踪的方式确定与其相邻的椎骨在Z轴和X轴的位置，进而检测出与其相邻的椎骨。由于只需知晓第i根椎骨在Z轴的位置，进而利用第i根椎骨在Z轴的位置来获得与其关联的椎骨在Z轴和X轴的位置来检测椎骨，在一定程度上也提高了椎骨检测的速度。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明实施例的标准解剖学中人体基本面和基本轴的示意图；
图2是本发明实施例的椎骨检测方法的流程示意图；
图3是本发明实施例的切分三维胸部影像时横断面的示意图；
图4是本发明实施例的第一检测模型的结构示意图；
图5是本发明实施例的第一切平面及在其上检测出的肋骨关键点的示意图；
图6是本发明实施例的肋骨连线的示意图；
图7是本发明实施例的三维胸部影像和肋骨在投影面上的示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
正如现有技术中描述的，目前通常采用人工的方式进行椎骨定位，容易出现误判和漏判，且导致医生阅片、诊断效率低。
为了更好的说明本发明的技术方案，本实施例中先对标准解剖学中人体基本面和基本轴进行相应的说明。参见图1，图1为本发明实施例的标准解剖学中人体基本面和基本轴的示意图。如图1所示：人体基本面包括冠状面(额状面)、矢状面(正中面)和横切面(横断面、水平面)。人体基本轴包括垂直轴(Z轴，为上自头侧，下至尾侧，并与地平面相垂直的轴)、矢状轴(为从前至后，同时与垂直轴成直角交叉的轴)和冠状轴(X轴，也叫额状轴，为左右方向与水平相平行与前两个轴相垂直的轴)。人体的立体方位中包括前侧(靠近腹部)、后侧(靠近背部)、上侧(靠近头部)和下侧(靠近脚部)。本实施例中所有的面、轴、方位均适用于图1。
图2是本发明实施例的椎骨检测方法的流程示意图。如图2所示，本实施例的椎骨检测方法包括：
S11：获取第k根椎骨在Z轴的位置kz。
S12：在经过Z＝kz的横断面上检测椎骨以获得第k根椎骨在X轴的位置kx。
S13：在经过X＝kx的矢状面上检测椎骨以获得第k根椎骨的位置。
S14：获取第i根椎骨在Z轴的位置iz。
S15：在经过Z＝iz的横断面上检测椎骨以获得第i根椎骨在X轴的位置ix。
S16：在经过X＝ix的矢状面上检测椎骨以获得第i根椎骨的位置、第i-1根椎骨在Z轴的位置(i-1)z、第i+1根椎骨在Z轴的位置(i+1)z。
S17：在经过Z＝(i-1)z的横断面上检测椎骨以获得第i-1根椎骨在X轴的位置(i-1)x，在经过X＝(i-1)x的矢状面上检测椎骨以获得第i-1根椎骨的位置。
S18：在经过Z＝(i+1)z的横断面上检测椎骨以获得第i+1根椎骨在X轴的位置(i+1)x，在经过X＝(i+1)x的矢状面上检测椎骨以获得第i+1根椎骨的位置；其中，i≠k，Z轴与横断面垂直，X轴与矢状面垂直。
执行S11：获取第k根椎骨在Z轴的位置kz。本实施例中，第k根椎骨在Z轴的位置可以基于第k根椎骨上的肋骨关键点的位置获得。具体地，可以以第k根椎骨上的肋骨关键点在Z轴坐标的平均值作为第k根椎骨在Z轴的位置kz。在其他实施例中也可以以第k根椎骨上的肋骨关键点在Z轴坐标的加权平均值作为第k根椎骨在Z轴的位置kz。
本实施例中，获取第k根椎骨上的肋骨关键点的位置包括先获取肋骨关键点的位置，然后对属于同一根椎骨的肋骨关键点进行识别，以确定是第几肋肋骨的肋骨关键点。具体地，可以通过如下方式获得第k根椎骨上的肋骨关键点的位置：
S21：获取三维胸部影像中的第一定位点和第二定位点，其中，所述第一定位点位于左肺内，第二定位点位于右肺内。
S22：确定第一轴和第二轴，其中，所述第一轴经过所述第一定位点且与横断面垂直，所述第二轴经过所述第二定位点且与横断面垂直。
S23：以过所述第一轴且以所述第一轴为边界的切面切分所述三维胸部影像，以获得多个第一切平面。
S24：以过所述第二轴且以所述第二轴为边界的切面切分所述三维胸部影像，以获得多个第二切平面。
S25：对多个第一切平面和多个第二切平面进行检测以获得肋骨关键点。
S26：基于所述肋骨关键点的位置确定属于同一根肋骨上的肋骨关键点，连接属于同一根椎骨上的肋骨关键点以生成肋骨连线。
S27：基于三维胸部影像和所述肋骨连线在投影面的投影确定所述肋骨的类别。
执行S21，本实施例中，三维胸部影像可以为CT影像，也可以为MR影像。在对三维胸部影像进行分割，以获得左肺和右肺时，可以根据实际的应用选择相应的分割方法，如可以选择阈值法、区域增长法、基于模式分类的方法，基于图像配准和形状模型的方法等，也可以通过三维的卷积神经网络模型对三维胸部影像进行分割，以获得肺部影像。本实施例中对此不做限定，只要可以从三维医学影像中分割出肺部区域即可。
分割出肺部区域后，在左肺内确定第一定位点，在右肺内确定第二定位点。本实施例中，第一定位点可以是左肺的中心点或者重心点，第二定位点可以为右肺的中心点或者重心点。
执行S22，在左肺内经过第一定位点做与横断面垂直的第一轴，在右肺内经过第二定位点做与横断面垂直的第二轴。第一轴贯穿三维胸部影像的左侧，第二轴贯穿三维胸部影像的右侧。
执行S23，本实施例中，为了避免其他组织、椎骨等对后续肋骨识别的影响，在通过切面对三维胸部影像的左侧进行切分时，是以过第一轴，并以第一轴为边界的任意一个平面为切面切分三维胸部影像的左侧以获得多个第一切平面。且第一切平面与横断面的交线与冠状轴正向之间的夹角大于等于-120°小于等于120°。也即，在采用切面切分三维胸部影像的左侧时，起始切分的角度可以是120°然后沿逆时针方向以预定间隔进行切分，直至切分到-120°。或者切分时，起始切分的角度可以是-120°然后沿顺时针方向以预定间隔进行切分，直至切分到120°。当然在其他实施例中，起始切分角度可以是-120°到120°之间的任意一个角度，只要满足在-120°到120°之间进行切分即可。本实施例中，预定间隔可以小于等于6°，如预定间隔可以为3°，就是采用上述的切面每隔3°进行一次切分以获得多个第一切平面。实际应用中，预定间隔可以根据实际需求而定，预定间隔越小，获得的肋骨关键点就越多，最终肋骨定位的结果也就越准确。
执行S24，对三维胸部影像的右侧进行切分。同样地，为了避免其他组织、椎骨等对后续肋骨识别的影响，在通过切面对三维胸部影像的右侧进行切分时，是以过第二轴，并以第二轴为边界的任意一个平面为切面切分三维胸部影像的右侧以获得多个第二切平面。且第二切平面与横断面的交线与冠状轴负向之间的夹角大于等于-120°小于等于120°。在采用切面切分三维胸部影像的右侧时，起始切分的角度可以是120°、-120°、也可以是-120°到120°之间的任意一个角度。当以120°为起始切分的角度切分三维胸部影像的右侧时，沿顺时针方向以预定间隔进行切分，直至切分至-120°。而当以-120°为起始切分的角度切分三维胸部影像的右侧时，沿逆时针方向以预定间隔进行切分直至切分至120°。预定间隔可以小于等于6°，如预定间隔可以为3°，即采用上述的切面每隔3°进行一次切分以获得多个第二切平面。同样地，在实际应用时，预定间隔可以根据实际需求而定，预定间隔越小，获得的肋骨关键点就越多，最终肋骨定位的结果也就越准确。
参见图3，图3为本发明实施例的切分三维胸部影像时横断面的示意图，图3中P1为第一定位点、P2为第二定位点，图3中以P1为起点的多条射线为各第一切平面在横断面上的投影，以P2为起点的多条射线为各第二切平面在横断面上的投影。图3中，以P1为起点的多条射线与冠装轴正向的夹角大于等于-120°小于等于120°，以P2为起点的多条射线与冠装轴负向的夹角大于等于-120°小于等于120°。
执行S25，对多个第一切平面进行检测以获得左侧肋骨的肋骨关键点，对多个第二切平面进行检测以获得右侧肋骨的肋骨关键点。本实施例中，可以采用第一检测模型对每一个第一切平面上的左侧肋骨关键点进行检测，具体地，所述第一检测模型可以包括：特征提取模块和检测框获取模块。检测框获取模块对特征提取模块输出的特征图进行检测。
本实施例中，所述特征提取模块可以包括：L个卷积单元、M个最大池化层、N个2×2的2D反卷积层及张量叠加层。每一个卷积单元包括：一个卷积层(Conv2d)，一个批归一化层(BN，BatchNormalization)和一个激活层，激活函数可以为线性整流函数(ReLU，RecifiedLinear Unit)。本实施例中，特征提取模块可以为特征金字塔网络(FPN，MomentaPaperReading)，检测框获取模块可以为SSD(Single ShotMultiBox Detector)网络。
参见图4，图4为本发明实施例的第一检测模型的结构示意图，本实施例中，所述第一检测模型包括：特征提取模块和检测框获取模块，其中特征提取模块包括：第一卷积单元～第八卷积单元，第一池化层～第三池化层，一个2×2的2D反卷积层及一张量叠加层。实际应用中，若待检测的第一切平面的尺寸为512×512×1，依次通过第一卷积单元、第二卷积单元、第一池化层、第三卷积单元、第四卷积单元、第二池化层、第五卷积单元、第六卷积单元、第三池化层后输出尺寸为64×64×32的张量，该张量继续通过第七卷积单元和2×2的2D反卷积层，得到尺寸为128×128×32的张量deconv1。第二池化层输出的张量通过第八卷积单元后输出尺寸为128×128×32的张量conv8，将张量conv8与张量deconv1通过张量相加层相加后，得到尺寸为128*128*32的张量add1。将张量add1和第七卷积单元输出的张量conv7作为两个特征图输入至检测框获取模块，以检测出第一切平面上的肋骨关键点。具体地，可以通过在SSD中定anchor的方式在两张不同尺寸的特征图上检测出若干个检出框，并保留置信度高于预设阈值的检出框(预设阈值根据实际需求而定)，然后通过非极大值抑制(NMS，Non-maximum suppression)法去掉重叠度较高的检出框，最终得到的检出框即为在第一切平面上检测到的包括了左侧肋骨关键点的检出框，本实施例中检出框可以为矩形，且可以以检出框的中心作为检测到的左侧肋骨关键点。
本实施例中的第一检测模型可以以标记了肋骨关键点的多幅第一切平面影像作为训练样本，也可以对标记了肋骨关键点的多幅第一切平面影像进行增强操作，扩大训练样本的数据量，所述增强操作包括：随机上下左右平移预定像素(比如0～30像素)、随机旋转设定角度(比如-15～15度)、随机缩放设定倍数(比如0.85～1.15倍)，对第一切平面影像的对比度和亮度进行少量抖动等。
将训练样本输入至初始第一检测模型，训练时根据标注的肋骨关键点和初始第一检测模型检出的肋骨关键点计算loss函数，采用反向传播算法以及随机梯度下降(SGD，Stochastic Gradient Descent)优化算法反复迭代，不断更新初始第一检测模型的参数。若某次训练的损失函数小于或等于阈值，则可以将该次训练的模型参数对应的初始第一检测模型作为第一检测模型。通过训练获得第一检测模型后，则可以将切分三维胸部影像获得的第一切平面输入至第一检测模型以获得第一切平面上的左侧肋骨关键点。参见图5，图5是本发明实施例的第一切平面及在其上检测出的肋骨关键点的示意图，图5中示出了三张第一切平面，在第一张切平面上示出了检测出的左侧肋骨关键点。
同样地，本实施中可以采用第二检测模型对每一个第二切平面上的右侧肋骨关键点进行检测，本实施例中第二检测模型的结构与第一检测模型的结构相类似，只是在训练第二检测模型时，是以标记了肋骨关键点的多幅第二切平面影像作为训练样本。在通过训练获得第二检测模型后，即可以通过将切分三维胸部影像获得的第二切平面输入至第二检测模型以获得第二切平面上的右侧肋骨关键点。本实施例中，针对性的通过第一检测模型检测左侧肋骨关键点，通过第二检测模型检测右侧肋骨关键点，在一定程度上提高了检测左侧肋骨关键点和右侧肋骨关键点的准确度。
在其他实施例中，也可以仅采用一个检测模型来检测第一切平面和第二切平面上的肋骨关键点，且该检测模型的结构与第一检测模型的结构相类似，只是在训练检测模型时，是以标记了肋骨关键点的多幅第一切平面影像和多幅第二切平面影像作为训练样本。
执行S26，在多个第一切平面和多个第二切平面上检测到肋骨关键点后，需要先确定属于同一根肋骨上的肋骨关键点，也即确定在多个第一切平面上检测到的左侧肋骨关键点中属于同一根左侧肋骨的肋骨关键点，确定在多个第二切平面上检测到的右侧肋骨关键点中属于同一根右侧肋骨的肋骨关键点。然后连接属于同一根肋骨上的肋骨关键点，以生成肋骨连线。
本实施例中，根据肋骨关键点所在的位置来确定哪些肋骨关键点属于同一根肋骨。具体地：
首先执行步骤a：确定肋骨关键点中的起始点，通过该起始点来搜索其附近的相互关联的肋骨关键点，进而确定哪些肋骨关键点属于同一根肋骨。本实施例中，为了准确和快速的确定属于同一根肋骨的肋骨关键点，对于左侧肋骨上的肋骨关键点而言，肋骨关键点中的起始点可以为第一切平面与横断面的交线与冠状轴正向之间的夹角大于等于65°小于等于80°之间的任一第一切平面上检测到的肋骨关键点。而对于右侧肋骨上的肋骨关键点而言，肋骨关键点中的起始点可以为第二切平面与横断面的交线与冠状轴负向之间的夹角大于等于65°小于等于80°之间的任一第二切平面上检测到的肋骨关键点。
执行步骤b，由上述可知，在每一个第一切平面上检测到的检测框的中心为肋骨关键点的位置或者说是肋骨关键点的坐标，而肋骨关键点在第一切平面上的位置也对应了空间的一个位置(可以根据肋骨关键点在第一切平面上的坐标将其转换成空间的坐标)，同样地，起始点在第一切平面上的位置也对应了空间的一个位置，因此，对于某一个起始点而言，可以通过空间两点间的距离计算公式计算该起始点和其他肋骨关键点之间的空间距离，并确定与起始点空间距离最近的肋骨关键点为与起始点始于同一根肋骨上的第一肋骨关键点。
执行步骤c，在确定起始点和第一肋骨关键点为属于同一根肋骨上的关键点后，接下来确定与起始点和第一肋骨关键点属于同一根肋骨上的第二肋骨关键点。若肋骨关键点中存在与第一肋骨关键点之间的距离小于第一预设值的肋骨关键点，且该肋骨关键点与第一肋骨关键点之间的连线与第一肋骨关键点与起始点之间的连线的夹角小于第二预设值，则该肋骨关键点为与第一肋骨关键点属于同一根肋骨的第二肋骨关键点。本实施例中，肋骨关键点、第一肋骨关键点、起始点的空间坐标都已知，因此可以通过空间两点之间的距离计算公式计算肋骨关键点和第一肋骨关键点之间的距离，空间两条直线夹角的计算公式计算肋骨关键点与第一肋骨关键点之间的连线与第一肋骨关键点与起始点之间的连线的夹角，进而确定第二肋骨关键点。本实施例中，第一预设值可以为20mm～40mm之间的任意一个值，第二预设值可以为45度～60度之间的任意一个角度。
执行步骤d，将步骤c确定的第二肋骨关键点作为当前肋骨关键点，第一肋骨关键点作为当前肋骨关键点的前一肋骨关键点。
执行步骤e：确定与所述当前肋骨关键点属于同一根肋骨的下一肋骨关键点。同样地，若存在一肋骨关键点与当前肋骨关键点之间的距离小于第一预设值，且该肋骨关键点与当前肋骨关键点之间的连线与当前肋骨关键点与前一肋骨关键点之间的连线的夹角小于第二预设值，则确定该肋骨关键点为与当前肋骨关键点属于同一根肋骨的下一肋骨关键点。在当前肋骨关键点为第二肋骨关键点时，与第二肋骨关键点属于同一根肋骨的下一肋骨关键点，即第三肋骨关键点则需满足：第三肋骨关键点与第二肋骨关键点的距离小于第一预设值，第三肋骨关键点与第二肋骨关键点之间的连线与第二肋骨关键点与第一肋骨关键点之间连线的夹角小于第二预设值。
执行步骤f，以所述当前肋骨关键点作为前一肋骨关键点，所述下一肋骨关键点作为当前肋骨关键点。仍然以当前肋骨关键点为第二肋骨关键点为例，则是将第三肋骨关键点作为当前肋骨关键点，第二肋骨关键点作为前一肋骨关键点。
执行步骤g：重复上述步骤e，即判断肋骨关键点中是否存在与当前肋骨关键点属于同一根肋骨的下一肋骨关键点。仍以上述的以第三肋骨关键点作为当前肋骨关键点为例，就是判断肋骨关键点中是否存在与第三肋骨关键点属于同一根肋骨的第四肋骨关键点。重复上述步骤f，即以所述当前肋骨关键点作为前一肋骨关键点，所述下一肋骨关键点作为当前肋骨关键点。仍以上述的以第三肋骨关键点作为当前肋骨关键点为例，就是将第四肋骨关键点作为当前肋骨关键点，第三肋骨关键点作为前一肋骨关键点。重复执行步骤e～步骤f，直至遍历完所有的肋骨关键点，进而可以获得与各起始点属于同一根肋骨的肋骨关键点，以12根肋骨为例，则是找到与第一根肋骨对应的多个肋骨关键点，与第二根肋骨对应的多个肋骨关键点，与第三根肋骨对应的多个肋骨关键点……与第十二根肋骨对应的多个肋骨关键点。然后连接属于同一根肋骨上的肋骨关键点以生成肋骨连线。
举例来说，在确定了属于同一根肋骨的起始点、第一肋骨关键点、第二肋骨关键点后，将第二肋骨关键点作为当前肋骨关键点，第一肋骨关键点作为前一肋骨关键点，以在肋骨关键点中搜索一肋骨关键点，其与第二肋骨关键点的距离小于第一预设值，其与第二肋骨关键点之间的连线与第二肋骨关键点与第一肋骨关键点之间连线的夹角小于第二预设值，该肋骨关键点即为与第二肋骨关键点属于同一根肋骨的第三肋骨关键点。然后，将第二肋骨关键点作为前一肋骨关键点，第三肋骨关键点作为当前肋骨关键点，以在肋骨关键点中搜索一肋骨关键点，其与第三肋骨关键点的距离小于第一预设值，其与第三肋骨关键点之间的连线与第三肋骨关键点与第二肋骨关键点之间连线的夹角小于第二预设值，该肋骨关键点即为与第三肋骨关键点属于同一根肋骨的第四肋骨关键点。接下来，再将第三肋骨关键点作为前一肋骨关键点，第四肋骨关键点作为当前肋骨关键点，以在肋骨关键点中搜索一肋骨关键点，其与第四肋骨关键点的距离小于第一预设值，其与第四肋骨关键点之间的连线与第四肋骨关键点与第三肋骨关键点之间连线的夹角小于第二预设值，该肋骨关键点即为与第四肋骨关键点属于同一根肋骨的第五肋骨关键点。依此类推，直至确定出与每一个初始点属于同一根肋骨上的肋骨关键点。最后连接属于同一根肋骨上的肋骨关键点，则可以生成相应的肋骨连线。
实际应用中，在多个肋骨关键点中确定属于同一根肋骨上的肋骨关键点时，可能会出现一肋骨关键点与第一肋骨关键点之间的距离小于第一预设值，但是该肋骨关键点与第一肋骨关键点之间的连线与第一肋骨关键点与起始点之间的连线的夹角不小于第二预设值，此时，可以以该肋骨关键点为肋骨关键点中的另一起始点，并基于该起始点，继续执行上述的步骤b～步骤g，也即以该肋骨关键点为起始点，依次确定与该起始点属于同一根肋骨的第一肋骨关键点，第二肋骨关键点，……，第N肋骨关键点。
另外，也可能会出现一肋骨关键点与当前肋骨关键点之间的距离小于第一预设值，但是该肋骨关键点与当前肋骨关键点之间的连线与当前肋骨关键点与前一肋骨关键点之间连线的夹角不小于第二预设值，此时，可以以该肋骨关键点为肋骨关键点中的另一起始点，并基于该起始点，继续执行上述的步骤b～步骤g，也即以该肋骨关键点为起始点，依次确定与该起始点属于同一根肋骨的第一肋骨关键点，第二肋骨关键点，……，第N肋骨关键点。
由上述可知，在确定属于某一根肋骨的肋骨关键点时，可能会出现多个起始点，每一个起始点均对应有与该起始点属于该根肋骨的肋骨关键点，因此，连接每一个起始点和与其对应的属于该根肋骨的肋骨关键点后，会生成多条肋骨线段。在此情形下，连接属于同一根肋骨上的肋骨关键点以生成肋骨连线则可以包括：
首先：连接属于同一根肋骨上的肋骨关键点以获得多条属于同一根肋骨的肋骨线段。也即将与每一个起始点(肋骨关键点)属于同一根肋骨的肋骨关键点和起始点依次相连。
然后：对于通过上述连接获得的任意两条肋骨线段，若存在位于一条肋骨线段终点的肋骨关键点与位于另外一条肋骨线段起点的肋骨关键点之间的距离最近，且位于肋骨线段终点的肋骨关键点与位于其前的肋骨关键点之间的连线，与位于肋骨线段起点的肋骨关键点与位于其后的肋骨关键点之间的连线的夹角小于第二预设值，则连接属于同一根肋骨上的肋骨线段以生成肋骨连线。
举例来说，若存在多条肋骨线段L1，L2，……，Ln。其中，肋骨线段L1的终点为E1，位于其前的肋骨关键点为E2，肋骨线段L2的起点为F1，位于其后的肋骨关键点为F2。若遍历所有的肋骨线段，E1和L2的起点F1之间距离最近，且E1和E2之间的连线与F1和F2之间的连线的夹角小于第二预设值，则L1和L2属于同一根肋骨上的两条肋骨线段，连接L1和L2以生成相应的肋骨连线。对于多条肋骨线段L1，L2，……，Ln，按照前述的方式进行判断，将符合条件的肋骨线段的首尾依次连接进而生成某一根肋骨的肋骨连线。生成肋骨连线的过程中，对于存在的孤立的肋骨关键点以及肋骨线段，可以删除。
至此，通过S21～S26检测了肋骨关键点，并基于肋骨关键点的位置生成了相应的肋骨连线。参见图6，图6是本发明实施例的肋骨连线的示意图，图6中示出了通过上述方式对肋骨关键点进行连接，进而生成的左侧肋骨连线和右侧肋骨连线。
最后执行S27，基于三维胸部影像和所述肋骨连线在投影面的投影确定所述肋骨的类别。本实施例中，是将三维胸部影像和肋骨连线投影至横断面，在其他实施例中，也可以将二者投影至其他的投影平面，只要确保投影在投影面Intensity Projection)的方法将所述三维胸部影像投影至横断面,而对于肋骨连线为了能够更好的定位肋骨连线属于哪一根肋骨，本实施例中，在将肋骨连线投影至横断面时，投影至横断面的肋骨点具有肋骨宽度。参见图7，图7是本发明实施例的三维胸部影像和肋骨在投影面上的示意图，如图7所示，投影面上包括了三维胸部影像的投影和具有肋骨宽度的肋骨连线的投影(深灰色表示)，将投影面上的叠加了三维胸部影像和肋骨连线投影的影像输入至分类模型，本实施例中，所述分类模型可以为一个四分类的分类模型，分类模型的输出为：锁骨、第一肋、第二肋、其他。具体地，本实施例中的分类模型可以包括特征提取模块和全连接分类模块。其中，特征提取模块可以包括多个连续的卷积模块，每个卷积模块可以包括一个3*3的2D卷积层、一个归一化(BN，Batch Normalization)层、一个激活函数层和一个2*2的最大池化(MP，maxpooling)层。本实施例中，激活函数可以为多种类型的激活函数，例如，可以为线性整流函数(ReLU，Rectified Linear Unit)，此处不做限定。本实施例中，全连接分类模块可以包括第一全连接层、第二全连接层和第三全连接层，多个连续的卷积模块的输出结果通过第一全连接层和第二全连接层进行合并，最终输入第三全连接层，由第三全连接层输出各个类别的置信度。本实施例中，为了降低第二全连接层、第三全连接层的处理数据量，可以在第一全连接层和第二全连接层之间、第二全连接和第三全连接层之间设置通过率为0.5的dropout层，即第一全连接层的输出结果可以通过dropout层进行过滤，输出至第二全连接层，第二全连接层的输出结果可以通过dropout层进行过滤，进而输出至第三全连接层。最后将第三全连接层的输出通过softmax归一化以输出三维胸部影像中属于上述四个分类中的某一个类别的置信度。将置信度最高的类别作为分类器最终的输出结果。在分类模型输出第一肋时，可以依次按照顺序判断第一肋下方的肋骨为第二肋～第十二肋，在分类模型输出第二肋时，可以依次按照顺序判断第二肋下方的肋骨为第三肋～第十二肋，第二肋上方的肋骨为第一肋。实际应用中，生成肋骨连线的过程中可能没有第一根肋骨和第二肋骨的肋骨连线，因此，最终确定肋骨的类别时，没有第一肋和第二肋，分类模型输出的类别为其他。此时，以其他类别中位于最上方的肋骨为第三肋，位于其下方的肋骨依次为第四肋～第十二肋。
本实施例中，分类模型可以以投影在投影平面上的三维胸部影像和具有肋骨宽度的肋骨连线的叠加影像中标记了第一肋、第二肋、锁骨和其他的影像作为训练样本，也可以对该训练样本进行增强操作(增强操作与上述训练第一检测模型时的增强操作相类似，此处不再赘述)的训练样本。将训练样本输入至初始分类模型，训练时根据标注的类别和初始分类模型检出的类别计算loss函数，采用反向传播算法以及随机梯度下降(SGD，Stochastic Gradient Descent)优化算法反复迭代，不断更新初始分类模型的参数。若某次训练的损失函数小于或等于阈值，则可以将该次训练的模型参数对应的初始分类模型作为分类模型。通过训练获得分类模型后，则可以将投影在横断面上的三维胸部影像和肋骨连线的叠加影像输入至分类模型以获对三维胸部影像中的肋骨进行定位，即确定三维胸部影像中的肋骨为第几肋。
至此，通过上述的S21～S27实现了对三维胸部影像中肋骨的定位，也即识别了肋骨关键点所属的类别，以及该根肋骨上的每一个肋骨关键点的位置。将获得的第k根肋骨上的肋骨关键点在Z轴的坐标相加后除以第k根肋骨上的肋骨关键点的个数，即可以获得第k根椎骨在Z轴的位置kz。考虑到实际应用中，第1根肋骨、第2根肋骨可能不见，因此在获取椎骨在Z轴的位置时，可以获取除第1根椎骨和第2根椎骨以外的其他椎骨在Z轴的位置，如：第5根椎骨、第8根椎骨等。因此，本实施例中k可以取不等于1或2的其他值，如k可以取5，可以取8等。
执行S12：在经过Z＝kz的横断面上检测椎骨以获得第k根椎骨在X轴的位置kx。本实施例中可以采用横断面椎骨检测模型检测Z＝kz的横断面上椎骨的位置。横断面椎骨检测模型的结构与上述的第一检测模型的结构类似，不同的是本实施例中不是直接将待检测横断面(Z＝kz的横断面)所在帧的影像直接输入至横断面椎骨检测模型，而是将以待检测横断面所在帧的影像作为中间帧影像，获取位于其前和其后的至少一帧影像，将中间帧影像，位于其前和其后的至少一帧影像所组成的影像层输入至横断面椎骨检测模型。同样地，训练初始横断面椎骨检测模型时也是将在中间帧影像，位于其前和其后的至少一帧影像中标记了椎骨位置的至少三帧影像作为训练样本训练初始横断面椎骨检测模型以获得横断面椎骨检测模型。举例来说，若中间帧影像为第10帧影像，位于其前的至少一帧可以为第9帧影像，位于其后的至少一帧可以为第11帧影像。位于其前的至少两帧可以为第9帧影像和第8帧影像，位于其后的至少两帧可以为第11帧影像和第12帧影像。本实施例中，将由中间帧影像和位于其前和其后的各一帧影像组成的3帧影像的影像层输入至横断面椎骨检测模型以检测出中间帧影像中的椎骨，如将第9帧影像、第10帧影像和第11帧影像输入至横断面椎骨检测模型以检测出第10帧影像中的椎骨位置。本实施例中，通过检出框的方式标识椎骨所在的位置，检出框可以为矩形，且可以以检出框的中心作为检测到的椎骨的位置。因此，将Z＝kz的横断面所在帧的影像、位于其前和其后的相邻帧影像输入至横断面椎骨检测模型，即可以获得第k根椎骨在空间的位置，也就获得第k根椎骨在X轴的位置kx。本实施例中，采用将影像层输入至横断面椎骨检测模型的方式，使得输出的中间帧影像中椎骨的位置信息结合了其前一帧和后一帧的椎骨的位置信息，进而可以提高对每一帧横断面影像中椎骨检测的检测精度。
执行S13：在经过X＝kx的矢状面上检测椎骨以获得第k根椎骨的位置。本实施例中，通过矢状面椎骨检测模型检测X＝kx的矢状面上的椎骨，矢状面椎骨检测模型的结构与横断面椎骨检测模型的结构相类似，此处不再赘述。同样地，在X＝kx的矢状面上检测椎骨时，也可以以X＝kx的矢状面所在帧的影像作为中间帧影像，将中间帧影像，位于其前和其后的至少一帧影像所组成的影像层输入至矢状面椎骨检测模型以在中间帧影像上检测出第k根椎骨的位置。具体地，矢状面椎骨检测模型检测中间帧影像时，会检测出多个检出框，由于第k根椎骨在Z轴的位置kz是已知的，因此在矢状面上检测到的多个检出框中，可以确定第k根椎骨检出框的位置，进而可以以该检出框的中心作为第k根椎骨的位置。
通过执行S11～S13可以检测出除第一根椎骨和第二根椎骨以外的其他椎骨的位置。
执行S14：获取第i根椎骨在Z轴的位置iz。由上述可知，实际应用中，第1根肋骨、第2根肋骨可能不见，因此在获取椎骨在Z轴的位置时，可以获取除第1根椎骨和第2根椎骨以外的其他椎骨在Z轴的位置，而i≠k，因此，本实施例中i可以取不等于1、2和k以外的其他值。如：k可以取4。本步中，获取第i根椎骨在Z轴的位置iz与S11中获取第k根椎骨在Z轴的位置kz相类似，只是第i根椎骨在Z轴的位置iz是以第i根肋骨上的肋骨关键点在Z轴坐标的平均值作为第i根椎骨在Z轴的位置iz。在其他实施例中，也可以以第i根肋骨上的肋骨关键点在Z轴坐标的加权平均值作为第i根椎骨在Z轴的位置iz。而第i根肋骨上的肋骨关键点的位置则可以通过上述的S21～S27获得，此处不再赘述。
执行S15：在经过Z＝iz的横断面上检测椎骨以获得第i根椎骨在X轴的位置ix。本步中，在经过Z＝iz的横断面上检测椎骨以获得第i根椎骨在X轴的位置ix与S12中在经过Z＝kz的横断面上检测椎骨以获得第k根椎骨在X轴的位置kx相类似，只是横断面的位置有所变化，此处不再赘述。
执行S16：在经过X＝ix的矢状面上检测椎骨以获得第i根椎骨的位置、第i-1根椎骨在Z轴的位置(i-1)z、第i+1根椎骨在Z轴的位置(i+1)z。本步中在经过X＝ix的矢状面上检测椎骨以获得第i根椎骨的位置与S13相类似，而在确定第i根椎骨检出框的位置后，位于第i根椎骨检出框上方，在Z方向上与iz距离最近的检出框则为第i-1根椎骨的检出框，位于第i根椎骨检出框下方，在Z方向上与iz距离最近的检出框则为第i+1根椎骨的检出框。获得了第i-1根椎骨的检出框和第i+1根椎骨的检出框后，即可以获得第i-1根椎骨在Z轴的位置(i-1)z和第i+1根椎骨在Z轴的位置(i+1)z。
执行S17：在经过Z＝(i-1)z的横断面上检测椎骨以获得第i-1根椎骨在X轴的位置(i-1)x，在经过X＝(i-1)x的矢状面上检测椎骨以获得第i-1根椎骨的位置。本步中在经过Z＝(i-1)z的横断面上检测椎骨与S12相类似，只是横断面的位置有所变化，此处不再赘述。在经过X＝(i-1)x的矢状面上检测椎骨与S13相类似，只是矢状面的位置有所变化，此处不再赘述。
执行S18：在经过Z＝(i+1)z的横断面上检测椎骨以获得第i+1根椎骨在X轴的位置(i+1)x，在经过X＝(i+1)x的矢状面上检测椎骨以获得第i+1根椎骨的位置。同样地，本步中在经过Z＝(i+1)z的横断面上检测椎骨与S12相类似，只是横断面的位置有所变化，此处不再赘述。在经过X＝(i+1)x的矢状面上检测椎骨与S13相类似，只是矢状面的位置有所变化，此处不再赘述。
至此通过执行S14～S18可以检测到第i根椎骨及与其相邻的第i-1根椎骨和i+1根椎骨。由上述可知，在矢状面上检测到第i-1根椎骨时，位于第i-1根椎骨检出框上方，在Z方向上与(i-1)z距离最近的检出框则为第i-2根椎骨的检出框，位于第i+1根椎骨检出框下方，在Z方向上与(i+1)z距离最近的检出框则为第i+2根椎骨的检出框。因此，根据第i-2根椎骨的检出框、第i+2根椎骨检出框即可以知晓第i-2根椎骨在Z轴的位置(i-2)z和第i+2根椎骨在Z轴的位置(i+2)z。
基于获得的第i-2根椎骨在Z轴的位置(i-2)z，重复执行S15～S17，在执行S16时，由于第i-1根椎骨已经检出，故只向上追踪，也即获得第i-3根椎骨在Z轴的位置(i-3)z，然后执行S17，最终在经过X＝(i-3)x的矢状面上检测椎骨以获得第i-3根椎骨的位置。
基于获得的第i+2根椎骨在Z轴的位置(i+2)z，重复执行S15、S16和S18，同样地，由于第i+1根椎骨已经检出，故只向下追踪，也即获得第i+3根椎骨在Z轴的位置(i+3)z，然后执行S18，最终在经过X＝(i+3)x的矢状面上检测椎骨以获得第i+3根椎骨的位置。
同理，在矢状面上检测到第i-3根椎骨时，位于第i-3根椎骨检出框上方，在Z方向上与(i-3)z距离最近的检出框则为第i-4根椎骨的检出框，位于第i+3根椎骨检出框下方，在Z方向上与(i+3)z距离最近的检出框则为第i+4根椎骨的检出框。因此，根据第i-4根椎骨的检出框、第i+4根椎骨检出框即可以知晓第i-4根椎骨在Z轴的位置(i-4)z和第i+4根椎骨在Z轴的位置(i+4)z。以如此的方式向上或向下追踪，最终可以检测到第1根椎骨和第12根椎骨的位置。
举例来说：若i＝4，则：
获取第4根椎骨在Z轴的位置Z4，在经过Z＝Z4的横断面上检测椎骨以获得第4根椎骨在X轴的位置X4，在经过X＝X4的矢状面上检测椎骨以获得第4根椎骨的位置、第3根椎骨在Z轴的位置Z3、第5根椎骨在Z轴的位置Z5。
在经过Z＝Z3的横断面上检测椎骨以获得第3根椎骨在X轴的位置X3。在经过X＝X3的矢状面上检测椎骨以获得第3根椎骨的位置和第2根椎骨在Z轴的位置Z2。
在经过Z＝Z5的横断面上检测椎骨以获得第5根椎骨在X轴的位置X5。在经过X＝X5的矢状面上检测椎骨以获得第5根椎骨的位置和第6根椎骨在Z轴的位置Z6。
在经过Z＝Z2的横断面上检测椎骨以获得第2根椎骨在X轴的位置X2。在经过X＝X2的矢状面上检测椎骨以获得第2根椎骨的位置和第1根椎骨在Z轴的位置Z1。
在经过Z＝Z6的横断面上检测椎骨以获得第6根椎骨在X轴的位置X6。在经过X＝X6的矢状面上检测椎骨以获得第6根椎骨的位置和第7根椎骨在Z轴的位置Z7。
在经过Z＝Z1的横断面上检测椎骨以获得第1根椎骨在X轴的位置X1。在经过X＝X1的矢状面上检测椎骨以获得第1根椎骨的位置。
在经过Z＝Z7的横断面上检测椎骨以获得第7根椎骨在X轴的位置X7。在经过X＝X7的矢状面上检测椎骨以获得第7根椎骨的位置和第8根椎骨在Z轴的位置Z8。
上述示例中，可以在知晓第8根椎骨在Z轴的位置Z8后，继续通过向下追踪的方式检测第8根～第12根椎骨，当然也可以在检测到第7根椎骨后，不再采用追踪的方式检测第8根～第12根椎骨(或者在检测到第6根椎骨时不再采用追踪的方式)，而是直接利用第8根～第12根肋骨上的肋骨关键点在z轴的位置来直接获得第8根～第12根椎骨在Z轴的位置，进而在横断面和矢状面上检测，以获得第8根～第12根椎骨的位置(可以根据实际应用中最终获得几根肋骨关键点来进行相应的设置)。举例来说，可以根据实际定位的肋骨关键点来选择对哪几根椎骨采用向上或者向下追踪的方式来检测(如对于可能不见的第1根椎骨和第2根椎骨而言)，对哪几根椎骨可以采用直接获取该椎骨在Z轴的位置，然后进行检测的方式。本实施例中，可以对位于中间的椎骨采用直接获取该椎骨在Z轴的位置，然后进行检测的方式，如对6根、第7根、第8根椎骨。而从第5根椎骨和第9根椎骨开始，分别采用向上追踪给和向下追踪的方式进行椎骨检测。
本实施例中，可以在仅知晓某几根肋骨的肋骨关键点的前提下检测出所有的椎骨，且采用两种不同的方式来检测椎骨，也可以避免采用单一方式进行椎骨检测时可能出现的错检。
基于相同的技术构思，本发明实施例提供了一种计算机设备，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器能够执行上述的椎骨检测方法。
基于相同的技术构思，本发明实施例提供了一种计算机可读存储介质，当所述存储介质中的指令由设备内的处理器执行时，使得所述设备能够执行上述的椎骨检测方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种椎骨检测方法，其特征在于，包括：
获取第k根椎骨在Z轴的位置kz；
在经过Z＝kz的横断面上检测椎骨以获得第k根椎骨在X轴的位置kx；
在经过X＝kx的矢状面上检测椎骨以获得第k根椎骨的位置；
获取第i根椎骨在Z轴的位置iz；
在经过Z＝iz的横断面上检测椎骨以获得第i根椎骨在X轴的位置ix；
在经过X＝ix的矢状面上检测椎骨以获得第i根椎骨的位置、第i-1根椎骨在Z轴的位置(i-1)z、第i+1根椎骨在Z轴的位置(i+1)z；
在经过Z＝(i-1)z的横断面上检测椎骨以获得第i-1根椎骨在X轴的位置(i-1)x，在经过X＝(i-1)x的矢状面上检测椎骨以获得第i-1根椎骨的位置；
在经过Z＝(i+1)z的横断面上检测椎骨以获得第i+1根椎骨在X轴的位置(i+1)x，在经过X＝(i+1)x的矢状面上检测椎骨以获得第i+1根椎骨的位置；
其中，i≠k，Z轴与横断面垂直，X轴与矢状面垂直；
获取第k根椎骨在Z轴的位置kz包括：
获取第k根椎骨上的肋骨关键点的位置；
基于第k根椎骨上的肋骨关键点在Z轴的位置以获得第k根椎骨在Z轴的位置kz；
获取第i根椎骨在Z轴的位置iz包括：
获取第i根椎骨上的肋骨关键点的位置；
基于第i根椎骨上的肋骨关键点在Z轴的位置以获得第i根椎骨在Z轴的位置iz；
获取椎骨上的肋骨关键点的位置包括：
获取三维胸部影像中的第一定位点和第二定位点，其中，所述第一定位点位于左肺内，第二定位点位于右肺内；
确定第一轴和第二轴，其中，所述第一轴经过所述第一定位点且与横断面垂直，所述第二轴经过所述第二定位点且与横断面垂直；
以过所述第一轴且以所述第一轴为边界的切面切分所述三维胸部影像，以获得多个第一切平面；
以过所述第二轴且以所述第二轴为边界的切面切分所述三维胸部影像，以获得多个第二切平面；
对多个第一切平面和多个第二切平面进行检测以获得肋骨关键点；
基于所述肋骨关键点的位置确定属于同一根椎骨上的肋骨关键点；
连接属于同一根椎骨上的肋骨关键点以生成肋骨连线；
基于三维胸部影像和所述肋骨连线在投影面的投影确定所述肋骨的类别；
采用第一检测模型对每一个第一切平面上的左侧肋骨关键点进行检测；
所述第一检测模型包括：特征提取模块和检测框获取模块，其中特征提取模块包括：第一卷积单元～第八卷积单元，第一池化层～第三池化层，一个2×2的2D反卷积层及一张量叠加层，若待检测的第一切平面的尺寸为512×512×1，依次通过第一卷积单元、第二卷积单元、第一池化层、第三卷积单元、第四卷积单元、第二池化层、第五卷积单元、第六卷积单元、第三池化层后输出尺寸为64×64×32的张量，该张量通过第七卷积单元和2×2的2D反卷积层，得到尺寸为128×128×32的张量deconv1，第二池化层输出的张量通过第八卷积单元后输出尺寸为128×128×32的张量conv8，将张量conv8与张量deconv1通过张量相加层相加后，得到尺寸为128*128*32的张量add1，将张量add1和第七卷积单元输出的张量conv7作为两个特征图输入至检测框获取模块，以检测出第一切平面上的肋骨关键点；
基于所述肋骨关键点的位置确定属于同一根椎骨上的肋骨关键点包括：
步骤a：确定肋骨关键点中的起始点；
步骤b：确定与所述起始点距离最近的第一肋骨关键点为属于同一根椎骨的肋骨关键点；
步骤c：若存在一肋骨关键点与第一肋骨关键点之间的距离小于第一预设值，且该肋骨关键点与第一肋骨关键点之间的连线与第一肋骨关键点与起始点之间的连线的夹角小于第二预设值，则确定该肋骨关键点为与所述第一肋骨关键点属于同一根椎骨的第二肋骨关键点；
步骤d：将所述第二肋骨关键点作为当前肋骨关键点，第一肋骨关键点作为当前肋骨关键点的前一肋骨关键点；
步骤e：若存在一肋骨关键点与当前肋骨关键点之间的距离小于第一预设值，且该肋骨关键点与当前肋骨关键点之间的连线与当前肋骨关键点与前一肋骨关键点之间的连线的夹角小于第二预设值，则确定该肋骨关键点为与所述当前肋骨关键点属于同一根椎骨下一肋骨关键点；
步骤f：以所述当前肋骨关键点作为前一肋骨关键点，所述下一肋骨关键点作为当前肋骨关键点；
步骤g：重复步骤e～步骤f，直至遍历所有的肋骨关键点，以获得属于同一根椎骨的肋骨关键点。
2.如权利要求1所述的方法，其特征在于，在横断面上检测椎骨包括：
获取以待检测横断面所在帧为中间帧，位于其前和其后的至少一帧；
将中间帧及位于其前和其后的至少一帧所组成的影像层输入至横断面椎骨检测模型，以在待检测横断面上检测出椎骨。
3.如权利要求1所述的方法，其特征在于，在矢状面上检测椎骨包括：
获取以待检测矢状面所在帧为中间帧，位于其前和其后的至少一帧；
将中间帧及位于其前和其后的至少一帧所组成的影像层输入至矢状面椎骨检测模型，以在待检测矢状面上检测出椎骨。
4.如权利要求1所述的方法，其特征在于，
所述基于第k根椎骨上的肋骨关键点在Z轴的位置以获得第k根椎骨在Z轴的位置kz包括：以第k根椎骨上的肋骨关键点在Z轴坐标的平均值作为第k根椎骨在Z轴的位置kz；
所述基于第i根椎骨上的肋骨关键点在Z轴的位置以获得第i根椎骨在Z轴的位置iz包括：以第i根椎骨上的肋骨关键点在Z轴坐标的平均值作为第i根椎骨在Z轴的位置iz。
5.如权利要求1所述的方法，其特征在于，还包括：
若存在一肋骨关键点与第一肋骨关键点之间的距离小于第一预设值，且该肋骨关键点与第一肋骨关键点之间的连线与第一肋骨关键点与起始点之间的连线的夹角不小于第二预设值，则以该肋骨关键点为肋骨关键点中的另一起始点，并基于该起始点，执行步骤b～步骤g；
若存在一肋骨关键点与当前肋骨关键点之间的距离小于第一预设值，且该肋骨关键点与当前肋骨关键点之间的连线与当前肋骨关键点与前一肋骨关键点之间连线的夹角不小于第二预设值，则以该肋骨关键点为肋骨关键点中的又一起始点，并基于该起始点，执行步骤b～步骤g；
所述连接属于同一根椎骨上的肋骨关键点以生成肋骨连线包括：
连接属于同一根椎骨上的肋骨关键点以获得多条属于同一根椎骨的肋骨线段；
对于任意两条肋骨线段，若存在位于一条肋骨线段终点的肋骨关键点与位于另外一条肋骨线段起点的肋骨关键点之间的距离最近，且位于肋骨线段终点的肋骨关键点与位于其前的肋骨关键点之间的连线，与位于肋骨线段起点的肋骨关键点与位于其后的肋骨关键点之间的连线的夹角小于第二预设值，则连接属于同一根椎骨上的肋骨线段以生成肋骨连线。
6.如权利要求1所述的方法，其特征在于，所述肋骨关键点中的起始点为第一切平面与横断面的交线与冠状轴正向之间的夹角大于等于65°小于等于80°之间的任一第一切平面上检测到的肋骨关键点，和/或第二切平面与横断面的交线与冠状轴负向之间的夹角大于等于65°小于等于80°之间的任一第二切平面上检测到的肋骨关键点。
7.一种计算机设备，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器能够执行权利要求1～6任一项所述的方法。
CN202011033905.0A 2020-09-27 2020-09-27 一种椎骨检测方法及计算机设备 Active CN112184664B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011033905.0A CN112184664B (zh) 2020-09-27 2020-09-27 一种椎骨检测方法及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011033905.0A CN112184664B (zh) 2020-09-27 2020-09-27 一种椎骨检测方法及计算机设备

Publications (2)

Publication Number Publication Date
CN112184664A CN112184664A (zh) 2021-01-05
CN112184664B true CN112184664B (zh) 2023-05-26

Family

ID=73944316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011033905.0A Active CN112184664B (zh) 2020-09-27 2020-09-27 一种椎骨检测方法及计算机设备

Country Status (1)

Country Link
CN (1) CN112184664B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034495B (zh) * 2021-04-21 2022-05-06 上海交通大学 一种脊柱影像分割方法、介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014010174A1 (ja) * 2012-07-12 2014-01-16 日本電気株式会社 画角変動検知装置、画角変動検知方法および画角変動検知プログラム
JP2014236842A (ja) * 2013-06-07 2014-12-18 株式会社日立メディコ Ｘ線画像診断装置、画像処理方法及び画像処理装置
CN104851093A (zh) * 2015-05-08 2015-08-19 国家测绘地理信息局四川测绘产品质量监督检验站 基于距离与角度控制的矢量面数据接边检测方法
CN111275032A (zh) * 2020-05-07 2020-06-12 西南交通大学 基于人体关键点的深蹲检测方法、装置、设备及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014010174A1 (ja) * 2012-07-12 2014-01-16 日本電気株式会社 画角変動検知装置、画角変動検知方法および画角変動検知プログラム
JP2014236842A (ja) * 2013-06-07 2014-12-18 株式会社日立メディコ Ｘ線画像診断装置、画像処理方法及び画像処理装置
CN104851093A (zh) * 2015-05-08 2015-08-19 国家测绘地理信息局四川测绘产品质量监督检验站 基于距离与角度控制的矢量面数据接边检测方法
CN111275032A (zh) * 2020-05-07 2020-06-12 西南交通大学 基于人体关键点的深蹲检测方法、装置、设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Hough算法在人体脊柱动态检测中的应用研究;肖晓青;中国优秀硕士学位论文全文数据库医药卫生科技辑(第04期);E066-263 *
Iterative fully convolutional neural networks for automatic vertebra segmentation and identification;Nikolas Lessmann等;Medical Image Analysis;第53卷;142-155 *

Also Published As

Publication number Publication date
CN112184664A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN106340021B (zh) 血管提取方法
CN104641397B (zh) 用于自动化脊柱加标签的方法、装置和系统
CN111932559B (zh) 基于深度学习的新冠肺炎肺部病灶区域分割系统
JP5603859B2 (ja) 対象脊椎の側面図のデジタル化された画像を自動的に解析する解析システムの制御方法
US8693750B2 (en) Method and system for automatic detection of spinal bone lesions in 3D medical image data
US9888896B2 (en) Determining a three-dimensional model dataset of a blood vessel system with at least one vessel segment
US11386553B2 (en) Medical image data
US10902596B2 (en) Tomographic data analysis
EP2434434A2 (en) Method and system for training a landmark detector using multiple instance learning
WO2006097911A1 (en) Bone segmentation
CN107708550A (zh) 用于检测和测量解剖异常的分段回声结构的表面建模
EP3047455B1 (en) Method and system for spine position detection
CN112184664B (zh) 一种椎骨检测方法及计算机设备
Ramakrishnan et al. Automatic three-dimensional rib centerline extraction from CT scans for enhanced visualization and anatomical context
CN112308820B (zh) 一种肋骨定位方法及装置、计算机设备及存储介质
CN112381779A (zh) 肺癌tnm分期获取方法、装置及显示方法
CN112308821B (zh) 一种椎骨检测方法及计算机设备
EP1447772B1 (en) A method of lung lobe segmentation and computer system
Sha et al. The improved faster-RCNN for spinal fracture lesions detection
CN112837264B (zh) 肋骨定位、骨折临床结局预测装置及自动诊断系统
JP2010200925A (ja) 画像処理装置および方法並びにプログラム
CN110533637B (zh) 一种检测对象的方法及装置
CN112712507A (zh) 一种确定冠状动脉的钙化区域的方法及装置
CN113409319A (zh) 肋骨骨折检测模型训练系统、方法、检测系统和检测方法
Wu et al. A new hierarchical method for multi-level segmentation of bone in pelvic CT scans

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant