CN112308821B - 一种椎骨检测方法及计算机设备 - Google Patents
一种椎骨检测方法及计算机设备 Download PDFInfo
- Publication number
- CN112308821B CN112308821B CN202011033938.5A CN202011033938A CN112308821B CN 112308821 B CN112308821 B CN 112308821B CN 202011033938 A CN202011033938 A CN 202011033938A CN 112308821 B CN112308821 B CN 112308821B
- Authority
- CN
- China
- Prior art keywords
- vertebra
- key point
- axis
- point
- vertebral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
- G06T2207/30012—Spine; Backbone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开椎骨检测方法,包括:获取第i根椎骨的iz。过Z=iZ的横断面检测得第i根椎骨的ix。过X=ix的矢状面检测得第i根椎骨位置、i‑1根椎骨、i+1根椎骨的(i‑1)z、(i+1)z。D:过Z=(i‑1)z的横断面检测得第i‑1根椎骨的(i‑1)x。E:过X=(i‑1)x的矢状面检测得第i‑1根椎骨位置、i‑2根椎骨的(i‑2)z。F:令i=i‑1。G:重复D~F。H:过Z=(i+1)z的横断面检测得第i+1根椎骨的(i+1)x。J:过X=(i+1)x的矢状面检测得第i+1根椎骨位置、i+2根椎骨的(i+2)z。K:令i=i+1。L:重复H~K。本方案可快速准确实现椎骨定位。
Description
技术领域
本发明涉及医疗技术领域,特别涉及一种椎骨检测方法及计算机设备。
背景技术
椎骨又称脊柱骨,有33块,根据它们在人体的位置具体可分为7块颈椎,12块胸椎,5块腰椎,5块骶椎和4块尾椎。胸椎,位于脊柱胸段,共12个。从上向下,椎体逐渐增大。胸椎参与支持肋和构成胸廓的作用。
研究表明目前在我国大约有80%的人深受脊椎疾病的困扰,而脊柱成像中的椎骨定位是图像诊断,手术规划以及脊柱疾病如椎骨退化、椎骨骨折、脊柱侧凸和脊柱狭窄评估的关键组成部分。此外,脊椎定位还是脊柱分割、多模态配准等技术的预处理步骤。目前,主要由医生根据其经验来判断医学影像中的胸椎为第几椎。采用人工的方式进行椎骨定位,效率较低且存在较大的主观性,可能会出现误判或漏判的情况,进而影响后续的诊断。
因此,如何能够快速准确的实现椎骨的自动定位,成为目前亟待解决的问题之一。
发明内容
本发明提供一种椎骨方法、计算机设备及计算机可读存储介质,以自动准确的实现椎骨定位,一方面,避免了因医生主观判断导致的误判或漏判,提高了椎骨定位的速度和准确度,在一定程度上提高了医生的诊断效率和诊断的准确度。另一方面,也在一定程度上提高了后续基于该椎骨定位进行相关诊断的精准度。
本发明提供一种椎骨检测方法,包括:
步骤A:获取第i根椎骨在Z轴的位置iz,其中,2≤i≤11,Z轴与横断面垂直;
步骤B:在经过Z=iz的横断面上检测椎骨,以获得第i根椎骨在X轴的位置ix,其中,X轴与矢状面垂直;
步骤C:在经过X=ix的矢状面上检测椎骨,以获得第i根椎骨的位置、第i-1根椎骨在Z轴的位置(i-1)z、第i+1根椎骨在Z轴的位置(i+1)z;
步骤D:在经过Z=(i-1)z的横断面上检测椎骨,以获得第i-1根椎骨在X轴的位置(i-1)x;
步骤E:在经过X=(i-1)x的矢状面上检测椎骨,以获得第i-1根椎骨的位置、第i-2根椎骨在Z轴的位置(i-2)z;
步骤F:令i=i-1;
步骤G:重复步骤D~F,直至i=2;
步骤H:在经过Z=(i+1)z的横断面上检测椎骨,以获得第i+1根椎骨在X轴的位置(i+1)x;
步骤J:在经过X=(i+1)x的矢状面上检测椎骨,以获得第i+1根椎骨的位置、第i+2根椎骨在Z轴的位置(i+2)z;
步骤K:令i=i+1;
步骤L:重复步骤H~K,直至i=11。
可选的,在横断面上检测椎骨包括:
获取以待检测横断面所在帧为中间帧,位于其前和其后的至少一帧;
将中间帧及位于其前和其后的至少一帧所组成的影像层输入至横断面椎骨检测模型,以在待检测横断面上检测出椎骨。
可选的,在矢状面上检测椎骨包括:
获取以待检测矢状面所在帧为中间帧,位于其前和其后的至少一帧;
将中间帧及位于其前和其后的至少一帧所组成的影像层输入至矢状面椎骨检测模型,以在待检测矢状面上检测出椎骨。
可选的,获取第i根椎骨在Z轴的位置iz包括:
获取第i根椎骨上的椎骨关键点的位置;
基于第i根椎骨上的椎骨关键点在Z轴的位置以获得第i根椎骨在Z轴的位置iz。
可选的,所述基于第i根椎骨上的椎骨关键点在Z轴的位置以获得第i根椎骨在Z轴的位置iz包括:以第i根椎骨上的椎骨关键点在Z轴坐标的平均值作为第i根椎骨在Z轴的位置iz。
可选的,获取第i根椎骨上的椎骨关键点的位置包括:
获取三维胸部影像中的第一定位点和第二定位点,其中,所述第一定位点位于左肺内,第二定位点位于右肺内;
确定第一轴和第二轴,其中,所述第一轴经过所述第一定位点且与横断面垂直,所述第二轴经过所述第二定位点且与横断面垂直;
以过所述第一轴且以所述第一轴为边界的切面切分所述三维胸部影像,以获得多个第一切平面;
以过所述第二轴且以所述第二轴为边界的切面切分所述三维胸部影像,以获得多个第二切平面;
对多个第一切平面和多个第二切平面进行检测以获得椎骨关键点;
基于所述椎骨关键点的位置确定属于同一根椎骨上的椎骨关键点;
连接属于同一根椎骨上的椎骨关键点以生成椎骨连线;
基于三维胸部影像和所述椎骨连线在投影面的投影确定所述椎骨的类别。
可选的,基于所述椎骨关键点的位置确定属于同一根椎骨上的椎骨关键点包括:
步骤a:确定椎骨关键点中的起始点;
步骤b:确定与所述起始点距离最近的第一椎骨关键点为属于同一根椎骨的椎骨关键点;
步骤c:若存在一椎骨关键点与第一椎骨关键点之间的距离小于第一预设值,且该椎骨关键点与第一椎骨关键点之间的连线与第一椎骨关键点与起始点之间的连线的夹角小于第二预设值,则确定该椎骨关键点为与所述第一椎骨关键点属于同一根椎骨的第二椎骨关键点;
步骤d:将所述第二椎骨关键点作为当前椎骨关键点,第一椎骨关键点作为当前椎骨关键点的前一椎骨关键点;
步骤e:若存在一椎骨关键点与当前椎骨关键点之间的距离小于第一预设值,且该椎骨关键点与当前椎骨关键点之间的连线与当前椎骨关键点与前一椎骨关键点之间的连线的夹角小于第二预设值,则确定该椎骨关键点为与所述当前椎骨关键点属于同一根椎骨下一椎骨关键点;
步骤f:以所述当前椎骨关键点作为前一椎骨关键点,所述下一椎骨关键点作为当前椎骨关键点;
步骤g:重复步骤e~步骤f,直至遍历所有的椎骨关键点,以获得属于同一根椎骨的椎骨关键点。
可选的,所述椎骨检测方法还包括:
若存在一椎骨关键点与第一椎骨关键点之间的距离小于第一预设值,且该椎骨关键点与第一椎骨关键点之间的连线与第一椎骨关键点与起始点之间的连线的夹角不小于第二预设值,则以该椎骨关键点为椎骨关键点中的另一起始点,并基于该起始点,执行步骤b~步骤g;
若存在一椎骨关键点与当前椎骨关键点之间的距离小于第一预设值,且该椎骨关键点与当前椎骨关键点之间的连线与当前椎骨关键点与前一椎骨关键点之间连线的夹角不小于第二预设值,则以该椎骨关键点为椎骨关键点中的又一起始点,并基于该起始点,执行步骤b~步骤g;
所述连接属于同一根椎骨上的椎骨关键点以生成椎骨连线包括:
连接属于同一根椎骨上的椎骨关键点以获得多条属于同一根椎骨的椎骨线段;
对于任意两条椎骨线段,若存在位于一条椎骨线段终点的椎骨关键点与位于另外一条椎骨线段起点的椎骨关键点之间的距离最近,且位于椎骨线段终点的椎骨关键点与位于其前的椎骨关键点之间的连线,与位于椎骨线段起点的椎骨关键点与位于其后的椎骨关键点之间的连线的夹角小于第二预设值,则连接属于同一根椎骨上的椎骨线段以生成椎骨连线。
可选的,所述椎骨关键点中的起始点为第一切平面与横断面的交线与冠状轴正向之间的夹角大于等于65°小于等于80°之间的任一第一切平面上检测到的椎骨关键点,和/或第二切平面与横断面的交线与冠状轴负向之间的夹角大于等于65°小于等于80°之间的任一第二切平面上检测到的椎骨关键点。
本发明还提供一种计算机设备,包括至少一个处理器、以及至少一个存储器,其中,所述存储器存储有计算机程序,当所述程序被所述处理器执行时,使得所述处理器能够执行上述的椎骨检测方法。
本发明还提供一种计算机可读存储介质,当所述存储介质中的指令由设备内的处理器执行时,使得所述设备能够执行上述的椎骨检测方法。
与现有技术相比,本发明的技术方案具有如下有益效果:
通过获取第i根椎骨在Z轴的位置iz,在经过Z=iz的横断面上检测椎骨,以获得第i根椎骨在X轴的位置ix。在经过X=ix的矢状面上检测椎骨,以获得第i根椎骨的位置、第i-1根椎骨在Z轴的位置(i-1)z、第i+1根椎骨在Z轴的位置(i+1)z。在经过Z=(i-1)z的横断面上检测椎骨,以获得第i-1根椎骨在X轴的位置(i-1)x,在经过X=(i-1)x的矢状面上检测椎骨,以获得第i-1根椎骨的位置、第i-2根椎骨在Z轴的位置(i-2)z。在经过Z=(i+1)z的横断面上检测椎骨,以获得第i+1根椎骨在X轴的位置(i+1)x,在经过X=(i+1)x的矢状面上检测椎骨,以获得第i+1根椎骨的位置、第i+2根椎骨在Z轴的位置(i+2)z。由于采用了先基于第i根椎骨在Z轴的位置iz来确定第i根椎骨在X轴的位置,再基于第i根椎骨在X轴的位置在矢状面上检测出第i根椎骨,并得到第i-1根椎骨、第i-2根椎骨在Z轴的位置,基于第i-1根椎骨、第i-2根椎骨在Z轴的位置在横断面上检测椎骨以获得第i-1根椎骨、第i+1根椎骨在X轴的位置,然后基于第i-1根椎骨、第i+1根椎骨在X轴的位置,以在矢状面上检测出第i-1根椎骨和第i+1根椎骨。最后重复执行前述的获取当前椎骨在Z轴的位置,基于当前椎骨在Z轴的位置确定当前椎骨在X轴的位置,进而在矢状面上检测出当前椎骨,并获得与其关联的前后两根椎骨在Z轴的位置,基于其在Z轴的位置在横断面上分别检测这两根椎骨以获得其在X轴的位置,最后基于其在X轴的位置在矢状面上分别检测出这两根椎骨。由于无需再通过人工的方式进行椎骨定位,因此避免了因医生主观判断导致的误判或漏判,提高了椎骨定位的速度和准确度,在一定程度上提高了医生的阅片效率、诊断效率和诊断的准确度。另外,在确定当前椎骨在Z轴的位置后,基于追踪的方式确定与其相邻的椎骨在Z轴和X轴的位置,进而通过循环执行的方式检测出各椎骨,由于只需知晓当前椎骨在Z轴的位置,进而利用当前椎骨在Z轴的位置来获得与其关联的椎骨在Z轴和X轴的位置来检测椎骨,在一定程度上也提高了椎骨检测的速度。此外,采用上述方案进行椎骨定位,简单高效。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1是本发明实施例的标准解剖学中人体基本面和基本轴的示意图;
图2是本发明实施例的椎骨检测方法的流程示意图;
图3是本发明实施例的切分三维胸部影像时横断面的示意图;
图4是本发明实施例的第一检测模型的结构示意图;
图5是本发明实施例的第一切平面及在其上检测出的椎骨关键点的示意图;
图6是本发明实施例的椎骨连线的示意图;
图7是本发明实施例的三维胸部影像和椎骨在投影面上的示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
正如现有技术中描述的,目前通常采用人工的方式进行椎骨定位,容易出现误判和漏判,且导致医生阅片、诊断效率低。
为了更好的说明本发明的技术方案,本实施例中先对标准解剖学中人体基本面和基本轴进行相应的说明。参见图1,图1为本发明实施例的标准解剖学中人体基本面和基本轴的示意图。如图1所示:人体基本面包括冠状面(额状面)、矢状面(正中面)和横切面(横断面、水平面)。人体基本轴包括垂直轴(Z轴,为上自头侧,下至尾侧,并与地平面相垂直的轴)、矢状轴(为从前至后,同时与垂直轴成直角交叉的轴)和冠状轴(X轴,也叫额状轴,为左右方向与水平相平行与前两个轴相垂直的轴)。人体的立体方位中包括前侧(靠近腹部)、后侧(靠近背部)、上侧(靠近头部)和下侧(靠近脚部)。本实施例中所有的面、轴、方位均适用于图1。
图2是本发明实施例的椎骨检测方法的流程示意图。如图2所示,本实施例的椎骨检测方法包括:
步骤A:获取第i根椎骨在Z轴的位置iz,其中,2≤i≤11,Z轴与横断面垂直。
步骤B:在经过Z=iz的横断面上检测椎骨,以获得第i根椎骨在X轴的位置ix,其中,X轴与矢状面垂直。
步骤C:在经过X=ix的矢状面上检测椎骨,以获得第i根椎骨的位置、第i-1根椎骨在Z轴的位置(i-1)z、第i+1根椎骨在Z轴的位置(i+1)z。
步骤D:在经过Z=(i-1)z的横断面上检测椎骨,以获得第i-1根椎骨在X轴的位置(i-1)x。
步骤E:在经过X=(i-1)x的矢状面上检测椎骨,以获得第i-1根椎骨的位置、第i-2根椎骨在Z轴的位置(i-2)z。
步骤F:令i=i-1。
步骤G:重复步骤D~F,直至i=2。
步骤H:在经过Z=(i+1)z的横断面上检测椎骨,以获得第i+1根椎骨在X轴的位置(i+1)x。
步骤J:在经过X=(i+1)x的矢状面上检测椎骨,以获得第i+1根椎骨的位置、第i+2根椎骨在Z轴的位置(i+2)z。
步骤K:令i=i+1。
步骤L:重复步骤H~K,直至i=11。
执行步骤A,获取第i根椎骨在Z轴的位置iz,本实施例中的Z轴也称之为垂直轴。本实施例中,第i根椎骨在Z轴的位置可以基于第i根椎骨上的椎骨关键点的位置获得。具体地,可以以第i根椎骨上的椎骨关键点在Z轴坐标的平均值作为第i根椎骨在Z轴的位置iz。在其他实施例中,也可以以第i根椎骨上的椎骨关键点在Z轴坐标的加权平均值作为第i根椎骨在Z轴的位置iz。
考虑到实际应用中,第1根椎骨、第2根椎骨可能不见,因此在获取椎骨在Z轴的位置时,可以获取除第1根椎骨和第2根椎骨以外的其他椎骨在Z轴的位置,如:第5根椎骨、第8根椎骨等。
本实施例中,获取第i根椎骨上的椎骨关键点的位置包括先获取椎骨关键点的位置,然后对属于同一根椎骨的椎骨关键点进行识别,以确定是第几根椎骨的椎骨关键点。具体地,可以通过如下方式获得第i根椎骨上的椎骨关键点的位置:
S11:获取三维胸部影像中的第一定位点和第二定位点,其中,所述第一定位点位于左肺内,第二定位点位于右肺内。
S12:确定第一轴和第二轴,其中,所述第一轴经过所述第一定位点且与横断面垂直,所述第二轴经过所述第二定位点且与横断面垂直。
S13:以过所述第一轴且以所述第一轴为边界的切面切分所述三维胸部影像,以获得多个第一切平面。
S14:以过所述第二轴且以所述第二轴为边界的切面切分所述三维胸部影像,以获得多个第二切平面。
S15:对多个第一切平面和多个第二切平面进行检测以获得椎骨关键点。
S16:基于所述椎骨关键点的位置确定属于同一根椎骨上的椎骨关键点,连接属于同一根椎骨上的椎骨关键点以生成椎骨连线。
S17:基于三维胸部影像和所述椎骨连线在投影面的投影确定所述椎骨的类别。
执行S11,本实施例中,三维胸部影像可以为CT影像,也可以为MR影像。在对三维胸部影像进行分割,以获得左肺和右肺时,可以根据实际的应用选择相应的分割方法,如可以选择阈值法、区域增长法、基于模式分类的方法,基于图像配准和形状模型的方法等,也可以通过三维的卷积神经网络模型对三维胸部影像进行分割,以获得肺部影像。本实施例中对此不做限定,只要可以从三维医学影像中分割出肺部区域即可。
分割出肺部区域后,在左肺内确定第一定位点,在右肺内确定第二定位点。本实施例中,第一定位点可以是左肺的中心点或者重心点,第二定位点可以为右肺的中心点或者重心点。
执行S12,在左肺内经过第一定位点做与横断面垂直的第一轴,在右肺内经过第二定位点做与横断面垂直的第二轴。第一轴贯穿三维胸部影像的左侧,第二轴贯穿三维胸部影像的右侧。
执行S13,本实施例中,为了避免其他组织、椎骨等对后续椎骨识别的影响,在通过切面对三维胸部影像的左侧进行切分时,是以过第一轴,并以第一轴为边界的任意一个平面为切面切分三维胸部影像的左侧以获得多个第一切平面。且第一切平面与横断面的交线与冠状轴正向之间的夹角大于等于-120°小于等于120°。也即,在采用切面切分三维胸部影像的左侧时,起始切分的角度可以是120°然后沿逆时针方向以预定间隔进行切分,直至切分到-120°。或者切分时,起始切分的角度可以是-120°然后沿顺时针方向以预定间隔进行切分,直至切分到120°。当然在其他实施例中,起始切分角度可以是-120°到120°之间的任意一个角度,只要满足在-120°到120°之间进行切分即可。本实施例中,预定间隔可以小于等于6°,如预定间隔可以为3°,就是采用上述的切面每隔3°进行一次切分以获得多个第一切平面。实际应用中,预定间隔可以根据实际需求而定,预定间隔越小,获得的椎骨关键点就越多,最终椎骨定位的结果也就越准确。
执行S14,对三维胸部影像的右侧进行切分。同样地,为了避免其他组织、椎骨等对后续椎骨识别的影响,在通过切面对三维胸部影像的右侧进行切分时,是以过第二轴,并以第二轴为边界的任意一个平面为切面切分三维胸部影像的右侧以获得多个第二切平面。且第二切平面与横断面的交线与冠状轴负向之间的夹角大于等于-120°小于等于120°。在采用切面切分三维胸部影像的右侧时,起始切分的角度可以是120°、-120°、也可以是-120°到120°之间的任意一个角度。当以120°为起始切分的角度切分三维胸部影像的右侧时,沿顺时针方向以预定间隔进行切分,直至切分至-120°。而当以-120°为起始切分的角度切分三维胸部影像的右侧时,沿逆时针方向以预定间隔进行切分直至切分至120°。预定间隔可以小于等于6°,如预定间隔可以为3°,即采用上述的切面每隔3°进行一次切分以获得多个第二切平面。同样地,在实际应用时,预定间隔可以根据实际需求而定,预定间隔越小,获得的椎骨关键点就越多,最终椎骨定位的结果也就越准确。
参见图3,图3为本发明实施例的切分三维胸部影像时横断面的示意图,图3中P1为第一定位点、P2为第二定位点,图3中以P1为起点的多条射线为各第一切平面在横断面上的投影,以P2为起点的多条射线为各第二切平面在横断面上的投影。图3中,以P1为起点的多条射线与冠装轴正向的夹角大于等于-120°小于等于120°,以P2为起点的多条射线与冠装轴负向的夹角大于等于-120°小于等于120°。
执行S15,对多个第一切平面进行检测以获得左侧椎骨的椎骨关键点,对多个第二切平面进行检测以获得右侧椎骨的椎骨关键点。本实施例中,可以采用第一检测模型对每一个第一切平面上的左侧椎骨关键点进行检测,具体地,所述第一检测模型可以包括:特征提取模块和检测框获取模块。检测框获取模块对特征提取模块输出的特征图进行检测。
本实施例中,所述特征提取模块可以包括:L个卷积单元、M个最大池化层、N个2╳2的2D反卷积层及张量叠加层。每一个卷积单元包括:一个卷积层(Conv2d),一个批归一化层(BN,BatchNormalization)和一个激活层,激活函数可以为线性整流函数(ReLU,RecifiedLinear Unit)。本实施例中,特征提取模块可以为特征金字塔网络(FPN,MomentaPaperReading),检测框获取模块可以为SSD(Single ShotMultiBox Detector)网络。
参见图4,图4为本发明实施例的第一检测模型的结构示意图,本实施例中,所述第一检测模型包括:特征提取模块和检测框获取模块,其中特征提取模块包括:第一卷积单元~第八卷积单元,第一池化层~第三池化层,一个2╳2的2D反卷积层及一张量叠加层。实际应用中,若待检测的第一切平面的尺寸为512×512×1,依次通过第一卷积单元、第二卷积单元、第一池化层、第三卷积单元、第四卷积单元、第二池化层、第五卷积单元、第六卷积单元、第三池化层后输出尺寸为64×64×32的张量,该张量继续通过第七卷积单元和2×2的2D反卷积层,得到尺寸为128×128×32的张量deconv1。第二池化层输出的张量通过第八卷积单元后输出尺寸为128×128×32的张量conv8,将张量conv8与张量deconv1通过张量相加层相加后,得到尺寸为128*128*32的张量add1。将张量add1和第七卷积单元输出的张量conv7作为两个特征图输入至检测框获取模块,以检测出第一切平面上的椎骨关键点。具体地,可以通过在SSD中定anchor的方式在两张不同尺寸的特征图上检测出若干个检出框,并保留置信度高于预设阈值的检出框(预设阈值根据实际需求而定),然后通过非极大值抑制(NMS,Non-maximum suppression)法去掉重叠度较高的检出框,最终得到的检出框即为在第一切平面上检测到的包括了左侧椎骨关键点的检出框,本实施例中检出框可以为矩形,且可以以检出框的中心作为检测到的左侧椎骨关键点。
本实施例中的第一检测模型可以以标记了椎骨关键点的多幅第一切平面影像作为训练样本,也可以对标记了椎骨关键点的多幅第一切平面影像进行增强操作,扩大训练样本的数据量,所述增强操作包括:随机上下左右平移预定像素(比如0~30像素)、随机旋转设定角度(比如-15~15度)、随机缩放设定倍数(比如0.85~1.15倍),对第一切平面影像的对比度和亮度进行少量抖动等。
将训练样本输入至初始第一检测模型,训练时根据标注的椎骨关键点和初始第一检测模型检出的椎骨关键点计算loss函数,采用反向传播算法以及随机梯度下降(SGD,Stochastic Gradient Descent)优化算法反复迭代,不断更新初始第一检测模型的参数。若某次训练的损失函数小于或等于阈值,则可以将该次训练的模型参数对应的初始第一检测模型作为第一检测模型。通过训练获得第一检测模型后,则可以将切分三维胸部影像获得的第一切平面输入至第一检测模型以获得第一切平面上的左侧椎骨关键点。参见图5,图5是本发明实施例的第一切平面及在其上检测出的椎骨关键点的示意图,图5中示出了三张第一切平面,在第一张切平面上示出了检测出的左侧椎骨关键点。
同样地,本实施中可以采用第二检测模型对每一个第二切平面上的右侧椎骨关键点进行检测,本实施例中第二检测模型的结构与第一检测模型的结构相类似,只是在训练第二检测模型时,是以标记了椎骨关键点的多幅第二切平面影像作为训练样本。在通过训练获得第二检测模型后,即可以通过将切分三维胸部影像获得的第二切平面输入至第二检测模型以获得第二切平面上的右侧椎骨关键点。本实施例中,针对性的通过第一检测模型检测左侧椎骨关键点,通过第二检测模型检测右侧椎骨关键点,在一定程度上提高了检测左侧椎骨关键点和右侧椎骨关键点的准确度。
在其他实施例中,也可以仅采用一个检测模型来检测第一切平面和第二切平面上的椎骨关键点,且该检测模型的结构与第一检测模型的结构相类似,只是在训练检测模型时,是以标记了椎骨关键点的多幅第一切平面影像和多幅第二切平面影像作为训练样本。
执行S16,在多个第一切平面和多个第二切平面上检测到椎骨关键点后,需要先确定属于同一根椎骨上的椎骨关键点,也即确定在多个第一切平面上检测到的左侧椎骨关键点中属于同一根左侧椎骨的椎骨关键点,确定在多个第二切平面上检测到的右侧椎骨关键点中属于同一根右侧椎骨的椎骨关键点。然后连接属于同一根椎骨上的椎骨关键点,以生成椎骨连线。
本实施例中,根据椎骨关键点所在的位置来确定哪些椎骨关键点属于同一根椎骨。具体地:
首先执行步骤a:确定椎骨关键点中的起始点,通过该起始点来搜索其附近的相互关联的椎骨关键点,进而确定哪些椎骨关键点属于同一根椎骨。本实施例中,为了准确和快速的确定属于同一根椎骨的椎骨关键点,对于左侧椎骨上的椎骨关键点而言,椎骨关键点中的起始点可以为第一切平面与横断面的交线与冠状轴正向之间的夹角大于等于65°小于等于80°之间的任一第一切平面上检测到的椎骨关键点。而对于右侧椎骨上的椎骨关键点而言,椎骨关键点中的起始点可以为第二切平面与横断面的交线与冠状轴负向之间的夹角大于等于65°小于等于80°之间的任一第二切平面上检测到的椎骨关键点。
执行步骤b,由上述可知,在每一个第一切平面上检测到的检测框的中心为椎骨关键点的位置或者说是椎骨关键点的坐标,而椎骨关键点在第一切平面上的位置也对应了空间的一个位置(可以根据椎骨关键点在第一切平面上的坐标将其转换成空间的坐标),同样地,起始点在第一切平面上的位置也对应了空间的一个位置,因此,对于某一个起始点而言,可以通过空间两点间的距离计算公式计算该起始点和其他椎骨关键点之间的空间距离,并确定与起始点空间距离最近的椎骨关键点为与起始点始于同一根椎骨上的第一椎骨关键点。
执行步骤c,在确定起始点和第一椎骨关键点为属于同一根椎骨上的关键点后,接下来确定与起始点和第一椎骨关键点属于同一根椎骨上的第二椎骨关键点。若椎骨关键点中存在与第一椎骨关键点之间的距离小于第一预设值的椎骨关键点,且该椎骨关键点与第一椎骨关键点之间的连线与第一椎骨关键点与起始点之间的连线的夹角小于第二预设值,则该椎骨关键点为与第一椎骨关键点属于同一根椎骨的第二椎骨关键点。本实施例中,椎骨关键点、第一椎骨关键点、起始点的空间坐标都已知,因此可以通过空间两点之间的距离计算公式计算椎骨关键点和第一椎骨关键点之间的距离,空间两条直线夹角的计算公式计算椎骨关键点与第一椎骨关键点之间的连线与第一椎骨关键点与起始点之间的连线的夹角,进而确定第二椎骨关键点。本实施例中,第一预设值可以为20mm~40mm之间的任意一个值,第二预设值可以为45度~60度之间的任意一个角度。
执行步骤d,将步骤c确定的第二椎骨关键点作为当前椎骨关键点,第一椎骨关键点作为当前椎骨关键点的前一椎骨关键点。
执行步骤e:确定与所述当前椎骨关键点属于同一根椎骨的下一椎骨关键点。同样地,若存在一椎骨关键点与当前椎骨关键点之间的距离小于第一预设值,且该椎骨关键点与当前椎骨关键点之间的连线与当前椎骨关键点与前一椎骨关键点之间的连线的夹角小于第二预设值,则确定该椎骨关键点为与当前椎骨关键点属于同一根椎骨的下一椎骨关键点。在当前椎骨关键点为第二椎骨关键点时,与第二椎骨关键点属于同一根椎骨的下一椎骨关键点,即第三椎骨关键点则需满足:第三椎骨关键点与第二椎骨关键点的距离小于第一预设值,第三椎骨关键点与第二椎骨关键点之间的连线与第二椎骨关键点与第一椎骨关键点之间连线的夹角小于第二预设值。
执行步骤f,以所述当前椎骨关键点作为前一椎骨关键点,所述下一椎骨关键点作为当前椎骨关键点。仍然以当前椎骨关键点为第二椎骨关键点为例,则是将第三椎骨关键点作为当前椎骨关键点,第二椎骨关键点作为前一椎骨关键点。
执行步骤g:重复上述步骤e,即判断椎骨关键点中是否存在与当前椎骨关键点属于同一根椎骨的下一椎骨关键点。仍以上述的以第三椎骨关键点作为当前椎骨关键点为例,就是判断椎骨关键点中是否存在与第三椎骨关键点属于同一根椎骨的第四椎骨关键点。重复上述步骤f,即以所述当前椎骨关键点作为前一椎骨关键点,所述下一椎骨关键点作为当前椎骨关键点。仍以上述的以第三椎骨关键点作为当前椎骨关键点为例,就是将第四椎骨关键点作为当前椎骨关键点,第三椎骨关键点作为前一椎骨关键点。重复执行步骤e~步骤f,直至遍历完所有的椎骨关键点,进而可以获得与各起始点属于同一根椎骨的椎骨关键点,以12根椎骨为例,则是找到与第一根椎骨对应的多个椎骨关键点,与第二根椎骨对应的多个椎骨关键点,与第三根椎骨对应的多个椎骨关键点……与第十二根椎骨对应的多个椎骨关键点。然后连接属于同一根椎骨上的椎骨关键点以生成椎骨连线。
举例来说,在确定了属于同一根椎骨的起始点、第一椎骨关键点、第二椎骨关键点后,将第二椎骨关键点作为当前椎骨关键点,第一椎骨关键点作为前一椎骨关键点,以在椎骨关键点中搜索一椎骨关键点,其与第二椎骨关键点的距离小于第一预设值,其与第二椎骨关键点之间的连线与第二椎骨关键点与第一椎骨关键点之间连线的夹角小于第二预设值,该椎骨关键点即为与第二椎骨关键点属于同一根椎骨的第三椎骨关键点。然后,将第二椎骨关键点作为前一椎骨关键点,第三椎骨关键点作为当前椎骨关键点,以在椎骨关键点中搜索一椎骨关键点,其与第三椎骨关键点的距离小于第一预设值,其与第三椎骨关键点之间的连线与第三椎骨关键点与第二椎骨关键点之间连线的夹角小于第二预设值,该椎骨关键点即为与第三椎骨关键点属于同一根椎骨的第四椎骨关键点。接下来,再将第三椎骨关键点作为前一椎骨关键点,第四椎骨关键点作为当前椎骨关键点,以在椎骨关键点中搜索一椎骨关键点,其与第四椎骨关键点的距离小于第一预设值,其与第四椎骨关键点之间的连线与第四椎骨关键点与第三椎骨关键点之间连线的夹角小于第二预设值,该椎骨关键点即为与第四椎骨关键点属于同一根椎骨的第五椎骨关键点。依此类推,直至确定出与每一个初始点属于同一根椎骨上的椎骨关键点。最后连接属于同一根椎骨上的椎骨关键点,则可以生成相应的椎骨连线。
实际应用中,在多个椎骨关键点中确定属于同一根椎骨上的椎骨关键点时,可能会出现一椎骨关键点与第一椎骨关键点之间的距离小于第一预设值,但是该椎骨关键点与第一椎骨关键点之间的连线与第一椎骨关键点与起始点之间的连线的夹角不小于第二预设值,此时,可以以该椎骨关键点为椎骨关键点中的另一起始点,并基于该起始点,继续执行上述的步骤b~步骤g,也即以该椎骨关键点为起始点,依次确定与该起始点属于同一根椎骨的第一椎骨关键点,第二椎骨关键点,……,第N椎骨关键点。
另外,也可能会出现一椎骨关键点与当前椎骨关键点之间的距离小于第一预设值,但是该椎骨关键点与当前椎骨关键点之间的连线与当前椎骨关键点与前一椎骨关键点之间连线的夹角不小于第二预设值,此时,可以以该椎骨关键点为椎骨关键点中的另一起始点,并基于该起始点,继续执行上述的步骤b~步骤g,也即以该椎骨关键点为起始点,依次确定与该起始点属于同一根椎骨的第一椎骨关键点,第二椎骨关键点,……,第N椎骨关键点。
由上述可知,在确定属于某一根椎骨的椎骨关键点时,可能会出现多个起始点,每一个起始点均对应有与该起始点属于该根椎骨的椎骨关键点,因此,连接每一个起始点和与其对应的属于该根椎骨的椎骨关键点后,会生成多条椎骨线段。在此情形下,连接属于同一根椎骨上的椎骨关键点以生成椎骨连线则可以包括:
首先:连接属于同一根椎骨上的椎骨关键点以获得多条属于同一根椎骨的椎骨线段。也即将与每一个起始点(椎骨关键点)属于同一根椎骨的椎骨关键点和起始点依次相连。
然后:对于通过上述连接获得的任意两条椎骨线段,若存在位于一条椎骨线段终点的椎骨关键点与位于另外一条椎骨线段起点的椎骨关键点之间的距离最近,且位于椎骨线段终点的椎骨关键点与位于其前的椎骨关键点之间的连线,与位于椎骨线段起点的椎骨关键点与位于其后的椎骨关键点之间的连线的夹角小于第二预设值,则连接属于同一根椎骨上的椎骨线段以生成椎骨连线。
举例来说,若存在多条椎骨线段L1,L2,……,Ln。其中,椎骨线段L1的终点为E1,位于其前的椎骨关键点为E2,椎骨线段L2的起点为F1,位于其后的椎骨关键点为F2。若遍历所有的椎骨线段,E1和L2的起点F1之间距离最近,且E1和E2之间椎骨的连线与F1和F2之间的连线的夹角小于第二预设值,则L1和L2属于同一根椎骨上的两条椎骨线段,连接L1和L2以生成相应的椎骨连线。对于多条线段L1,L2,……,Ln,按照前述的方式进行判断,将符合条件的椎骨线段的首尾依次连接进而生成某一根椎骨的椎骨连线。生成椎骨连线的过程中,对于存在的孤立的椎骨关键点以及椎骨线段,可以删除。
至此,通过S11~S16检测了椎骨关键点,并基于椎骨关键点的位置生成了相应的椎骨连线。参见图6,图6是本发明实施例的椎骨连线的示意图,图6中示出了通过上述方式对椎骨关键点进行连接,进而生成的左侧椎骨连线和右侧椎骨连线。
最后执行S17,基于三维胸部影像和所述椎骨连线在投影面的投影确定所述椎骨的类别。本实施例中,是将三维胸部影像和椎骨连线投影至横断面,在其他实施例中,也可以将二者投影至其他的投影平面,只要确保投影在投影面Intensity Projection)的方法将所述三维胸部影像投影至横断面,而对于椎骨连线为了能够更好的定位椎骨连线属于哪一根椎骨,本实施例中,在将椎骨连线投影至横断面时,投影至横断面的椎骨点具有椎骨宽度。参见图7,图7是本发明实施例的三维胸部影像和椎骨在投影面上的示意图,如图7所示,投影面上包括了三维胸部影像的投影和具有椎骨宽度的椎骨连线的投影(深灰色表示),将投影面上的叠加了三维胸部影像和椎骨连线投影的影像输入至分类模型,本实施例中,所述分类模型可以为一个四分类的分类模型,分类模型的输出为:锁骨、第一肋、第二肋、其他。具体地,本实施例中的分类模型可以包括特征提取模块和全连接分类模块。其中,特征提取模块可以包括多个连续的卷积模块,每个卷积模块可以包括一个3*3的2D卷积层、一个归一化(BN,Batch Normalization)层、一个激活函数层和一个2*2的最大池化(MP,maxpooling)层。本实施例中,激活函数可以为多种类型的激活函数,例如,可以为线性整流函数(ReLU,Rectified LinearUnit),此处不做限定。本实施例中,全连接分类模块可以包括第一全连接层、第二全连接层和第三全连接层,多个连续的卷积模块的输出结果通过第一全连接层和第二全连接层进行合并,最终输入第三全连接层,由第三全连接层输出各个类别的置信度。本实施例中,为了降低第二全连接层、第三全连接层的处理数据量,可以在第一全连接层和第二全连接层之间、第二全连接和第三全连接层之间设置通过率为0.5的dropout层,即第一全连接层的输出结果可以通过dropout层进行过滤,输出至第二全连接层,第二全连接层的输出结果可以通过dropout层进行过滤,进而输出至第三全连接层。最后将第三全连接层的输出通过softmax归一化以输出三维胸部影像中属于上述四个分类中的某一个类别的置信度。将置信度最高的类别作为分类器最终的输出结果。在分类模型输出第一肋时,可以依次按照顺序判断第一肋下方的椎骨为第二肋~第十二肋,在分类模型输出第二肋时,可以依次按照顺序判断第二肋下方的椎骨为第三肋~第十二肋,第二肋上方的椎骨为第一肋。实际应用中,生成椎骨连线的过程中可能没有第一根椎骨和第二椎骨的椎骨连线,因此,最终确定椎骨的类别时,没有第一肋和第二肋,分类模型输出的类别为其他。此时,以其他类别中位于最上方的椎骨为第三肋,位于其下方的椎骨依次为第四肋~第十二肋。
本实施例中,分类模型可以以投影在投影平面上的三维胸部影像和具有椎骨宽度的椎骨连线的叠加影像中标记了第一肋、第二肋、锁骨和其他的影像作为训练样本,也可以对该训练样本进行增强操作(增强操作与上述训练第一检测模型时的增强操作相类似,此处不再赘述)的训练样本。将训练样本输入至初始分类模型,训练时根据标注的类别和初始分类模型检出的类别计算loss函数,采用反向传播算法以及随机梯度下降(SGD,Stochastic Gradient Descent)优化算法反复迭代,不断更新初始分类模型的参数。若某次训练的损失函数小于或等于阈值,则可以将该次训练的模型参数对应的初始分类模型作为分类模型。通过训练获得分类模型后,则可以将投影在横断面上的三维胸部影像和椎骨连线的叠加影像输入至分类模型以获对三维胸部影像中的椎骨进行定位,即确定三维胸部影像中的椎骨为第几肋。
至此,通过上述的S11~S17实现了对三维胸部影像中椎骨的定位,也即识别了椎骨关键点所属的类别,以及该根椎骨上的每一个椎骨关键点的位置。将获得的第i根椎骨上的椎骨关键点在Z轴的坐标相加后除以第i根椎骨上的椎骨关键点的个数,即可以获得第i根椎骨在Z轴的位置iz。
执行步骤B:在经过Z=iz的横断面上检测椎骨,以获得第i根椎骨在X轴的位置ix。本实施例中可以采用横断面椎骨检测模型检测Z=iz的横断面上椎骨的位置。横断面椎骨检测模型的结构与上述的第一检测模型的结构类似,不同的是本实施例中不是直接将待检测横断面(Z=iz的横断面)所在帧的影像直接输入至横断面椎骨检测模型,而是将以待检测横断面所在帧的影像作为中间帧影像,获取位于其前和其后的至少一帧影像,将中间帧影像,位于其前和其后的至少一帧影像所组成的影像层输入至横断面椎骨检测模型。同样地,训练初始横断面椎骨检测模型时也是将在中间帧影像,位于其前和其后的至少一帧影像中标记了椎骨位置的至少三帧影像所组成的影像层作为训练样本训练初始横断面椎骨检测模型以获得横断面椎骨检测模型。举例来说,若中间帧影像为第10帧影像,位于其前的至少一帧可以为第9帧影像,位于其后的至少一帧可以为第11帧影像。位于其前的至少两帧可以为第9帧影像和第8帧影像,位于其后的至少两帧可以为第11帧影像和第12帧影像。本实施例中,将由中间帧影像和位于其前和其后的各一帧影像组成的3帧影像的影像层输入至横断面椎骨检测模型以检测出中间帧影像中的椎骨,如将第9帧影像、第10帧影像和第11帧影像输入至横断面检测模型以检测出第10帧影像中的椎骨位置。本实施例中,通过检出框的方式标识椎骨所在的位置,检出框可以为矩形,且可以以检出框的中心作为检测到的椎骨的位置。因此,将Z=iz的横断面所在帧的影像、位于其前和其后的相邻帧影像输入至横断面椎骨检测模型,即可以获得第i根椎骨在空间的位置,也就获得第i根椎骨在X轴的位置ix。本实施例中,采用将影像层输入至横断面椎骨检测模型的方式,使得输出的中间帧影像中椎骨的位置信息结合了其前一帧和后一帧的椎骨的位置信息,进而可以提高对每一帧横断面影像中椎骨检测的检测精度。
执行步骤C:在经过X=ix的矢状面上检测椎骨,以获得第i根椎骨的位置、第i-1根椎骨在Z轴的位置(i-1)z、第i+1根椎骨在Z轴的位置(i+1)z。本实施例中,通过矢状面椎骨检测模型检测X=ix的矢状面上的椎骨,矢状面椎骨检测模型的结构与横断面椎骨检测模型的结构相类似,此处不再赘述。同样地,在X=ix的矢状面上检测椎骨时,也可以以X=ix的矢状面所在帧的影像作为中间帧影像,将中间帧影像,位于其前和其后的至少一帧影像所组成的影像层输入至矢状面椎骨检测模型以在中间帧影像上检测出第i根椎骨的位置。实际检测过程中,由于第i根椎骨在Z轴的位置iz是已知的,因此在矢状面上检测到的多个检出框中,可以确定第i根椎骨检出框的位置,位于第i根椎骨检出框上方,在Z方向上与iz距离最近的检出框则为第i-1根椎骨的检出框,位于第i根椎骨检出框下方,在Z方向上与iz距离最近的检出框则为第i+1根椎骨的检出框。获得了第i-1根椎骨的检出框和第i+1根椎骨的检出框后,即可以获得第i-1根椎骨和第i+1根椎骨在Z轴的位置。
执行步骤D:在经过Z=(i-1)z的横断面上检测椎骨,以获得第i-1根椎骨在X轴的位置(i-1)x。步骤D与步骤B中在横断面上检测椎骨的方式相类似,只是检测的横断面的位置不同而已,此处不再赘述。
执行步骤E:在经过X=(i-1)x的矢状面上检测椎骨,以获得第i-1根椎骨的位置、第i-2根椎骨在Z轴的位置(i-2)z。步骤E与步骤C中在矢状面上检测椎骨的方式相类似,只是检测的矢状面的位置不同而已,此处不再赘述。
执行步骤F:令i=i-1。
为了能够通过追踪的方式对其他椎骨进行定位,本实施例中,采用向上和向下追踪的方式来对其他的椎骨进行定位。
具体地,向上追踪执行步骤G,即重复执行步骤D~F。由于在步骤E中已经获得了第i-2根椎骨在Z轴的位置(i-2)z,因此,可以直接在经过Z=(i-2)z的横断面上检测椎骨,以获得第i-2根椎骨在X轴的位置(i-2)x,接下来执行步骤E,在经过X=(i-2)x的矢状面上检测椎骨,以获得第i-2根椎骨的位置、第i-3根椎骨在Z轴的位置(i-3)z。通过不断的执行步骤D~F,i值不断的减小,直至i=2,在矢状面上检测出第1根椎骨。
执行步骤H:在经过Z=(i+1)z的横断面上检测椎骨,以获得第i+1根椎骨在X轴的位置(i+1)x。步骤H与步骤B中在横断面上检测椎骨的方式相类似,只是检测的横断面的位置不同而已,此处不再赘述。
执行步骤J:在经过X=(i+1)x的矢状面上检测椎骨,以获得第i+1根椎骨的位置、第i+2根椎骨在Z轴的位置(i+2)z。步骤J与步骤C中在矢状面上检测椎骨的方式相类似,只是检测的矢状面的位置不同而已,此处不再赘述。
执行步骤K:令i=i+1。
向下追踪执行步骤L,即重复执行步骤H~K。由于在步骤J中已经获得了第i+2根椎骨在Z轴的位置(i+2)z,因此,可以直接在经过Z=(i+2)z的横断面上检测椎骨,以获得第i+2根椎骨在X轴的位置(i+2)x,接下来执行步骤J,在经过X=(i+2)x的矢状面上检测椎骨,以获得第i+2根椎骨的位置、第i+3根椎骨在Z轴的位置(i+3)z。通过不断的执行步骤H~K,i值不断的增大,直至i=11,在矢状面上检测出第12根椎骨。
以下以i=8为例对本实施例的技术方案进行说明。
获取第8根椎骨在Z轴的位置Z8,在经过Z=Z8的横断面上检测椎骨,以获得第8根椎骨在X轴的位置X8,在经过X=X8的矢状面上检测椎骨,以获得第8根椎骨的位置、第7根椎骨在Z轴的位置Z7、第9根椎骨在Z轴的位置Z9。
在经过Z=Z7的横断面上检测椎骨,以获得第7根椎骨在X轴的位置X7。
在经过X=X7的矢状面上检测椎骨,以获得第7根椎骨的位置、第6根椎骨在Z轴的位置Z6。
令i=7,在经过Z=Z6的横断面上检测椎骨,以获得第6根椎骨在X轴的位置X6。
在经过X=X6的矢状面上检测椎骨,以获得第6根椎骨的位置、第5根椎骨在Z轴的位置Z5。
令i=6,在经过Z=Z5的横断面上检测椎骨,以获得第5根椎骨在X轴的位置X5。
在经过X=X5的矢状面上检测椎骨,以获得第5根椎骨的位置、第4根椎骨在Z轴的位置Z4。
令i=5,在经过Z=Z4的横断面上检测椎骨,以获得第4根椎骨在X轴的位置X4。
在经过X=X4的矢状面上检测椎骨,以获得第4根椎骨的位置、第3根椎骨在Z轴的位置Z3。
令i=4,在经过Z=Z3的横断面上检测椎骨,以获得第4根椎骨在X轴的位置X3。
在经过X=X3的矢状面上检测椎骨,以获得第3根椎骨的位置、第2根椎骨在Z轴的位置Z2。
令i=3,在经过Z=Z2的横断面上检测椎骨,以获得第2根椎骨在X轴的位置X2。
在经过X=X2的矢状面上检测椎骨,以获得第2根椎骨的位置、第1根椎骨在Z轴的位置Z1。
令i=2,在经过Z=Z1的横断面上检测椎骨,以获得第1根椎骨在X轴的位置X1。
在经过X=X1的矢状面上检测椎骨,以获得第1根椎骨的位置。
在经过Z=Z9的横断面上检测椎骨,以获得第9根椎骨在X轴的位置X9。
在经过X=X9的矢状面上检测椎骨,以获得第9根椎骨的位置、第10根椎骨在Z轴的位置Z10。
令i=9,在经过Z=Z10的横断面上检测椎骨,以获得第10根椎骨在X轴的位置X10。
在经过X=X10的矢状面上检测椎骨,以获得第10根椎骨的位置、第11根椎骨在Z轴的位置Z11。
令i=10,在经过Z=Z11的横断面上检测椎骨,以获得第11根椎骨在X轴的位置X11。
在经过X=X11的矢状面上检测椎骨,以获得第11根椎骨的位置、第12根椎骨在Z轴的位置Z12。
令i=11,在经过Z=Z12的横断面上检测椎骨,以获得第12根椎骨在X轴的位置X12。
在经过X=X12的矢状面上检测椎骨,以获得第12根椎骨的位置。
至此,在获取第8根椎骨在Z轴的位置Z8的前提下,通过追踪的方式检测到了其他椎骨的位置。
基于相同的技术构思,本发明实施例提供了一种计算机设备,包括至少一个处理器、以及至少一个存储器,其中,所述存储器存储有计算机程序,当所述程序被所述处理器执行时,使得所述处理器能够执行上述的椎骨检测方法。
基于相同的技术构思,本发明实施例提供了一种计算机可读存储介质,当所述存储介质中的指令由设备内的处理器执行时,使得所述设备能够执行上述的椎骨检测方法。
本领域内的技术人员应明白,本发明的实施例可提供为方法、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (6)
1.一种椎骨检测方法,其特征在于,包括:
步骤A:获取第i根椎骨在Z轴的位置iz,其中,2≤i≤11,Z轴与横断面垂直;
步骤B:在经过Z=iz的横断面上检测椎骨,以获得第i根椎骨在X轴的位置ix,其中,X轴与矢状面垂直;
步骤C:在经过X=ix的矢状面上检测椎骨,以获得第i根椎骨的位置、第i-1根椎骨在Z轴的位置(i-1)z、第i+1根椎骨在Z轴的位置(i+1)z;
步骤D:在经过Z=(i-1)z的横断面上检测椎骨,以获得第i-1根椎骨在X轴的位置(i-1)x;
步骤E:在经过X=(i-1)x的矢状面上检测椎骨,以获得第i-1根椎骨的位置、第i-2根椎骨在Z轴的位置(i-2)z;
步骤F:令i=i-1;
步骤G:重复步骤D~F,直至i=2;
步骤H:在经过Z=(i+1)z的横断面上检测椎骨,以获得第i+1根椎骨在X轴的位置(i+1)x;
步骤J:在经过X=(i+1)x的矢状面上检测椎骨,以获得第i+1根椎骨的位置、第i+2根椎骨在Z轴的位置(i+2)z;
步骤K:令i=i+1;
步骤L:重复步骤H~K,直至i=11;
获取第i根椎骨在Z轴的位置iz包括:
获取第i根椎骨上的椎骨关键点的位置;
基于第i根椎骨上的椎骨关键点在Z轴的位置以获得第i根椎骨在Z轴的位置iz;
获取第i根椎骨上的椎骨关键点的位置包括:
获取三维胸部影像中的第一定位点和第二定位点,其中,所述第一定位点为左肺的中心点或者重心点,位于左肺内,所述第二定位点为右肺的中心点或者重心点,位于右肺内;
确定第一轴和第二轴,其中,所述第一轴经过所述第一定位点且与横断面垂直,所述第二轴经过所述第二定位点且与横断面垂直;
以过所述第一轴且以所述第一轴为边界的切面切分所述三维胸部影像,以获得多个第一切平面;
以过所述第二轴且以所述第二轴为边界的切面切分所述三维胸部影像,以获得多个第二切平面;
对多个第一切平面和多个第二切平面进行检测以获得椎骨关键点;
基于所述椎骨关键点的位置确定属于同一根椎骨上的椎骨关键点;
连接属于同一根椎骨上的椎骨关键点以生成椎骨连线;
基于三维胸部影像和所述椎骨连线在投影面的投影确定所述椎骨的类别;
采用第一检测模型对每一个第一切平面上的左侧椎骨关键点进行检测;
所述第一检测模型包括:特征提取模块和检测框获取模块,检测框获取模块对特征提取模块输出的特征图进行检测;
所述第一检测模型包括:特征提取模块和检测框获取模块,其中特征提取模块包括:第一卷积单元~第八卷积单元,第一池化层~第三池化层,一个2╳2的2D反卷积层及一张量叠加层,若待检测的第一切平面的尺寸为512×512×1,依次通过第一卷积单元、第二卷积单元、第一池化层、第三卷积单元、第四卷积单元、第二池化层、第五卷积单元、第六卷积单元、第三池化层后输出尺寸为64×64×32的张量,该张量通过第七卷积单元和2×2的2D反卷积层,得到尺寸为128×128×32的张量deconv1,第二池化层输出的张量通过第八卷积单元后输出尺寸为128×128×32的张量conv8,将张量conv8与张量deconv1通过张量相加层相加后,得到尺寸为128*128*32的张量add1,将张量add1和第七卷积单元输出的张量conv7作为两个特征图输入至检测框获取模块,以检测出第一切平面上的椎骨关键点;
基于所述椎骨关键点的位置确定属于同一根椎骨上的椎骨关键点包括:
步骤a:确定椎骨关键点中的起始点,其中,左侧椎骨上的椎骨关键点中的起始点为第一切平面与横断面的交线与冠状轴正向之间的夹角大于等于65°小于等于80°之间的任一第一切平面上检测到的椎骨关键点,右侧椎骨上的椎骨关键点中的起始点为第二切平面与横断面的交线与冠状轴负向之间的夹角大于等于65°小于等于80°之间的任一第二切平面上检测到的椎骨关键点;
步骤b:确定与所述起始点距离最近的第一椎骨关键点为属于同一根椎骨的椎骨关键点;
步骤c:若存在一椎骨关键点与第一椎骨关键点之间的距离小于第一预设值,且该椎骨关键点与第一椎骨关键点之间的连线与第一椎骨关键点与起始点之间的连线的夹角小于第二预设值,则确定该椎骨关键点为与所述第一椎骨关键点属于同一根椎骨的第二椎骨关键点;
步骤d:将所述第二椎骨关键点作为当前椎骨关键点,第一椎骨关键点作为当前椎骨关键点的前一椎骨关键点;
步骤e:若存在一椎骨关键点与当前椎骨关键点之间的距离小于第一预设值,且该椎骨关键点与当前椎骨关键点之间的连线与当前椎骨关键点与前一椎骨关键点之间的连线的夹角小于第二预设值,则确定该椎骨关键点为与所述当前椎骨关键点属于同一根椎骨下一椎骨关键点;
步骤f:以所述当前椎骨关键点作为前一椎骨关键点,所述下一椎骨关键点作为当前椎骨关键点;
步骤g:重复步骤e~步骤f,直至遍历所有的椎骨关键点,以获得属于同一根椎骨的椎骨关键点。
2.如权利要求1所述的方法,其特征在于,在横断面上检测椎骨包括:
获取以待检测横断面所在帧为中间帧,位于其前和其后的至少一帧;
将中间帧及位于其前和其后的至少一帧所组成的影像层输入至横断面椎骨检测模型,以在待检测横断面上检测出椎骨。
3.如权利要求1所述的方法,其特征在于,在矢状面上检测椎骨包括:
获取以待检测矢状面所在帧为中间帧,位于其前和其后的至少一帧;
将中间帧及位于其前和其后的至少一帧所组成的影像层输入至矢状面椎骨检测模型,以在待检测矢状面上检测出椎骨。
4.如权利要求1所述的方法,其特征在于,所述基于第i根椎骨上的椎骨关键点在Z轴的位置以获得第i根椎骨在Z轴的位置iz包括:以第i根椎骨上的椎骨关键点在Z轴坐标的平均值作为第i根椎骨在Z轴的位置iz。
5.如权利要求1所述的方法,其特征在于,还包括:
若存在一椎骨关键点与第一椎骨关键点之间的距离小于第一预设值,且该椎骨关键点与第一椎骨关键点之间的连线与第一椎骨关键点与起始点之间的连线的夹角不小于第二预设值,则以该椎骨关键点为椎骨关键点中的另一起始点,并基于该起始点,执行步骤b~步骤g;
若存在一椎骨关键点与当前椎骨关键点之间的距离小于第一预设值,且该椎骨关键点与当前椎骨关键点之间的连线与当前椎骨关键点与前一椎骨关键点之间连线的夹角不小于第二预设值,则以该椎骨关键点为椎骨关键点中的又一起始点,并基于该起始点,执行步骤b~步骤g;
所述连接属于同一根椎骨上的椎骨关键点以生成椎骨连线包括:
连接属于同一根椎骨上的椎骨关键点以获得多条属于同一根椎骨的椎骨线段;
对于任意两条椎骨线段,若存在位于一条椎骨线段终点的椎骨关键点与位于另外一条椎骨线段起点的椎骨关键点之间的距离最近,且位于椎骨线段终点的椎骨关键点与位于其前的椎骨关键点之间的连线,与位于椎骨线段起点的椎骨关键点与位于其后的椎骨关键点之间的连线的夹角小于第二预设值,则连接属于同一根椎骨上的椎骨线段以生成椎骨连线。
6.一种计算机设备,包括至少一个处理器、以及至少一个存储器,其中,所述存储器存储有计算机程序,当所述程序被所述处理器执行时,使得所述处理器能够执行权利要求1~5任一项所述的的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011033938.5A CN112308821B (zh) | 2020-09-27 | 2020-09-27 | 一种椎骨检测方法及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011033938.5A CN112308821B (zh) | 2020-09-27 | 2020-09-27 | 一种椎骨检测方法及计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112308821A CN112308821A (zh) | 2021-02-02 |
CN112308821B true CN112308821B (zh) | 2023-06-16 |
Family
ID=74488631
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011033938.5A Active CN112308821B (zh) | 2020-09-27 | 2020-09-27 | 一种椎骨检测方法及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112308821B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE60113046D1 (de) * | 2000-01-14 | 2005-10-06 | Koninkl Philips Electronics Nv | Verarbeitungsverfahren und system zur geometrischen 3d modellierung der wirbelsäule |
CN101452577A (zh) * | 2008-11-26 | 2009-06-10 | 沈阳东软医疗系统有限公司 | 一种肋骨自动标定的方法及装置 |
JP2012045255A (ja) * | 2010-08-30 | 2012-03-08 | Fujifilm Corp | 脊椎断面画像表示装置、方法、及びプログラム |
JP2012084114A (ja) * | 2010-09-16 | 2012-04-26 | Imagequest Inc | 人物識別情報対応付けシステム及びプログラム |
WO2015040547A1 (en) * | 2013-09-17 | 2015-03-26 | Koninklijke Philips N.V. | Method and system for spine position detection |
CN105982674A (zh) * | 2015-01-27 | 2016-10-05 | 中慧医学成像有限公司 | 一种测量脊柱弯曲角度的方法 |
RU2690913C1 (ru) * | 2018-09-28 | 2019-06-06 | Федеральное государственное бюджетное учреждение "Новосибирский научно-исследовательский институт травматологии и ортопедии им. Я.Л. Цивьяна" Министерства здравоохранения Российской Федерации (ФГБУ "ННИИТО им. Я.Л. Цивьяна" Минздрава России) | Способ хирургического лечения низко-диспластического спондилолистеза |
CN110807770A (zh) * | 2019-10-30 | 2020-02-18 | 杭州依图医疗技术有限公司 | 医学影像的处理、识别、显示方法及存储介质 |
CN111985512A (zh) * | 2019-05-22 | 2020-11-24 | 杭州依图医疗技术有限公司 | 一种建立人体肋骨模型的方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104582579B (zh) * | 2012-10-23 | 2017-05-17 | 株式会社日立制作所 | 图像处理装置及椎管评价方法 |
-
2020
- 2020-09-27 CN CN202011033938.5A patent/CN112308821B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE60113046D1 (de) * | 2000-01-14 | 2005-10-06 | Koninkl Philips Electronics Nv | Verarbeitungsverfahren und system zur geometrischen 3d modellierung der wirbelsäule |
CN101452577A (zh) * | 2008-11-26 | 2009-06-10 | 沈阳东软医疗系统有限公司 | 一种肋骨自动标定的方法及装置 |
JP2012045255A (ja) * | 2010-08-30 | 2012-03-08 | Fujifilm Corp | 脊椎断面画像表示装置、方法、及びプログラム |
JP2012084114A (ja) * | 2010-09-16 | 2012-04-26 | Imagequest Inc | 人物識別情報対応付けシステム及びプログラム |
WO2015040547A1 (en) * | 2013-09-17 | 2015-03-26 | Koninklijke Philips N.V. | Method and system for spine position detection |
CN105982674A (zh) * | 2015-01-27 | 2016-10-05 | 中慧医学成像有限公司 | 一种测量脊柱弯曲角度的方法 |
RU2690913C1 (ru) * | 2018-09-28 | 2019-06-06 | Федеральное государственное бюджетное учреждение "Новосибирский научно-исследовательский институт травматологии и ортопедии им. Я.Л. Цивьяна" Министерства здравоохранения Российской Федерации (ФГБУ "ННИИТО им. Я.Л. Цивьяна" Минздрава России) | Способ хирургического лечения низко-диспластического спондилолистеза |
CN111985512A (zh) * | 2019-05-22 | 2020-11-24 | 杭州依图医疗技术有限公司 | 一种建立人体肋骨模型的方法和装置 |
CN110807770A (zh) * | 2019-10-30 | 2020-02-18 | 杭州依图医疗技术有限公司 | 医学影像的处理、识别、显示方法及存储介质 |
Non-Patent Citations (2)
Title |
---|
Hough 算法在人体脊柱动态检测中的应用研究;肖晓青;中国优秀硕士学位论文全文数据库医药卫生科技辑(第第 04期期);E066-263 * |
Iterative fully convolutional neural networks for automatic vertebra segmentation and identification;Nikolas Lessmann等;Medical Image Analysis;第142-155页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112308821A (zh) | 2021-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106340021B (zh) | 血管提取方法 | |
Kohlberger et al. | Evaluating segmentation error without ground truth | |
US8837789B2 (en) | Systems, methods, apparatuses, and computer program products for computer aided lung nodule detection in chest tomosynthesis images | |
EP2916738B1 (en) | Lung, lobe, and fissure imaging systems and methods | |
JP5603859B2 (ja) | 対象脊椎の側面図のデジタル化された画像を自動的に解析する解析システムの制御方法 | |
CN111932559B (zh) | 基于深度学习的新冠肺炎肺部病灶区域分割系统 | |
JP2021504061A (ja) | 脊椎骨折を識別するための3次元医用画像解析の方法及びシステム | |
US9888896B2 (en) | Determining a three-dimensional model dataset of a blood vessel system with at least one vessel segment | |
US11386553B2 (en) | Medical image data | |
CN107708550A (zh) | 用于检测和测量解剖异常的分段回声结构的表面建模 | |
EP3047455B1 (en) | Method and system for spine position detection | |
CN112381805B (zh) | 一种医学影像处理方法 | |
Ramakrishnan et al. | Automatic three-dimensional rib centerline extraction from CT scans for enhanced visualization and anatomical context | |
US20070121787A1 (en) | System and method for airway detection | |
CN112184664B (zh) | 一种椎骨检测方法及计算机设备 | |
CN112308820B (zh) | 一种肋骨定位方法及装置、计算机设备及存储介质 | |
CN112381779A (zh) | 肺癌tnm分期获取方法、装置及显示方法 | |
CN112308821B (zh) | 一种椎骨检测方法及计算机设备 | |
EP1447772B1 (en) | A method of lung lobe segmentation and computer system | |
CN113420814B (zh) | 一种肺疾病检测模型的训练方法、装置、设备和介质 | |
CN112712507B (zh) | 一种确定冠状动脉的钙化区域的方法及装置 | |
CN112508858B (zh) | 一种医学影像处理方法及装置、计算机设备 | |
CN110533637B (zh) | 一种检测对象的方法及装置 | |
CN113409319A (zh) | 肋骨骨折检测模型训练系统、方法、检测系统和检测方法 | |
Wu et al. | A new hierarchical method for multi-level segmentation of bone in pelvic CT scans |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |