CN108596904B - 生成定位模型的方法及对脊柱矢状位图像进行处理的方法 - Google Patents

生成定位模型的方法及对脊柱矢状位图像进行处理的方法 Download PDF

Info

Publication number
CN108596904B
CN108596904B CN201810427159.XA CN201810427159A CN108596904B CN 108596904 B CN108596904 B CN 108596904B CN 201810427159 A CN201810427159 A CN 201810427159A CN 108596904 B CN108596904 B CN 108596904B
Authority
CN
China
Prior art keywords
image
bone
spine
sacrum
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810427159.XA
Other languages
English (en)
Other versions
CN108596904A (zh
Inventor
张逸凌
刘星宇
安奕成
张云东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Longwood Valley Medtech Co Ltd
Original Assignee
Longwood Valley Medtech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Longwood Valley Medtech Co Ltd filed Critical Longwood Valley Medtech Co Ltd
Priority to CN201810427159.XA priority Critical patent/CN108596904B/zh
Publication of CN108596904A publication Critical patent/CN108596904A/zh
Application granted granted Critical
Publication of CN108596904B publication Critical patent/CN108596904B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4566—Evaluating the spine
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Fuzzy Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了生成定位模型的方法和对脊柱矢状位图像进行骨骼定位的方法，以及用于执行上述方法的计算设备。其中，生成定位模型的方法包括步骤：获取经过标注的脊柱矢状位图像作为训练图像，且训练图像具有相应的标注数据；将训练图像输入到预训练的定位模型中进行处理，定位模型包括卷积处理层、分类处理层和回归处理层，其中，卷积处理层对所输入的图像进行卷积、激活和池化处理，以输出定位到的至少一块骨骼，分类处理层和回归处理层对定位到的骨骼分别进行分类处理和回归处理，以输出预测该骨骼属于骶骨的概率和该骨骼的预测位置；根据标注数据对预训练的定位模型进行模型训练，以得到训练后的定位模型。

Description

生成定位模型的方法及对脊柱矢状位图像进行处理的方法
技术领域
本发明涉及图像处理技术领域，尤其是生成定位模型的方法及对脊柱矢状位图像进行处理的方法。
背景技术
随着计算机技术和图像处理技术的迅速发展，利用计算机技术来辅助骨科精准手术的技术也逐渐增多。最常见的应用如通过磁共振(Magnetic Resonance Imaging，MRI)成像，从磁共振图像中可以得到物质的多种物理特性参数，如质子密度、自旋－晶格驰豫时间T1、自旋－自旋驰豫时间T2、扩散系数、磁化系数、化学位移等等，以将其应用于全身各系统的成像诊断。其中主要的应用之一是脊柱成像，以获得人体的脊柱矢状位图像，进而应用在各种脊柱疾病诊断中，如椎间盘突出、滑脱椎骨等。但目前利用MRI图像进行脊柱疾病诊断的过程中，还存在一些缺点，如在受到干扰的情况下，图像成像质量不好，又如骨骼标识点的定位仍然是基于肉眼判断，需要依靠医生的经验和成像质量，这种方法既容易出错又需要大量劳动力。
鉴于此，需要新的对脊柱矢状位图像进行处理的方案，以更好地辅助专业医生对各种脊柱疾病的诊断。
发明内容
为此，本发明提供了生成定位模型的方法及对脊柱矢状位图像进行处理的方法，以力图解决或者至少缓解上面存在的至少一个问题。
根据本发明的一个方面，提供了一种生成定位模型的方法，该定位模型适于从脊柱矢状位图像中定位骶骨，该方法适于在计算设备中执行，包括步骤：获取经过标注的脊柱矢状位图像作为训练图像，训练图像具有相应的标注数据，标注数据包含训练图像中的每块脊柱骨骼的位置及每块骨骼是否属于骶骨的标识；将训练图像输入到预训练的定位模型中进行处理，定位模型包括卷积处理层、分类处理层和回归处理层，其中，卷积处理层适于对所输入的图像进行卷积、激活和池化处理，以输出定位到的至少一块骨骼，分类处理层和回归处理层适于对定位到的骨骼分别进行分类处理和回归处理，以输出预测该骨骼属于骶骨的概率和该骨骼的预测位置；以及根据标注数据对预训练的定位模型进行模型训练，以得到训练后的定位模型作为所生成的定位模型。
根据本发明的另一方面，提供了一种对脊柱矢状位图像进行骨骼定位的方法，该方法适于在计算设备中执行，包括步骤：将脊柱矢状位图像输入定位模型，经定位处理后输出所述脊柱矢状位图像中包含的骨骼个数、每块骨骼属于骶骨的概率和每块骨骼的位置；通过每块骨骼属于骶骨的概率判断出脊柱矢状位图像中的骶骨；以及以骶骨为起点，依次确认该脊柱矢状位图像中其它各块椎骨的名称和位置，其中定位模型利用如上所述的方法来生成。
根据本发明的又一方面，提供了一种计算设备，包括：一个或多个处理器；和存储器；一个或多个程序，其中一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序包括用于执行如上所述方法中的任一方法的指令。
根据本发明的再一方面，提供了一种存储一个或多个程序的计算机可读存储介质，一个或多个程序包括指令，指令当计算设备执行时，使得计算设备执行如上所述的方法中的任一方法。
根据本发明的方案，首先通过训练生成定位模型，根据定位模型可以定位出脊柱矢状位图像中的骶骨并得到其它椎骨的位置坐标。而后，利用骶骨与其它椎骨显著区别的特征，根据定位出的骶骨和其它椎骨的位置坐标就可以得到各块椎骨的位置及相应的名称。根据本发明的定位方案可以避免由于主观原因带来的误差，并且节省人力和时间成本，快速准确地确认脊柱矢状位图像中的各块骨骼，为专业医生的疾病诊断起到很好地辅助作用。
附图说明
为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。
图1示出了根据本发明一个实施例的计算设备100的构造示意图；
图2示出了根据本发明一个实施例的生成定位模型的方法200的流程示意图；
图3A示出了根据本发明一个实施例的脊柱矢状位图像的部分示意图；
图3B和图3C分别示出了根据本发明一个实施例的标注出的骶骨和其它椎骨的图像；
图4示出了根据本发明一个实施例的定位模型400的结构示意图；
图5示出了根据本发明一个实施例的对脊柱矢状位图像进行骨骼定位的方法500的流程示意图；
图6示出了根据本发明一个实施例的对脊柱矢状位图像进行处理的方法600的流程示意图；
图7示出了根据本发明另一个实施例的脊柱矢状位图像的示意图；
图8示出了根据本发明一个实施例的训练图像集合的示意图；
图9示出了根据本发明一个实施例的第一预测模型900的结构示意图；
图10示出了根据本发明一个实施例的第二预测模型1000的结构示意图；
图11示出了根据本发明一个实施例的卷积单元1100的结构示意图；以及
图12示出了根据本发明一个实施例的对脊柱矢状位图像进行处理的设备1200的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1是示例计算设备100的框图。在基本的配置102中，计算设备100典型地包括系统存储器106和一个或者多个处理器104。存储器总线108可以用于在处理器104和系统存储器106之间的通信。
取决于期望的配置，处理器104可以是任何类型的处理器，包括但不限于：微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器104可以包括诸如一级高速缓存110和二级高速缓存112之类的一个或者多个级别的高速缓存、处理器核心114和寄存器116。示例的处理器核心114可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器118可以与处理器104一起使用，或者在一些实现中，存储器控制器118可以是处理器104的一个内部部分。
取决于期望的配置，系统存储器106可以是任意类型的存储器，包括但不限于：易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。系统存储器106可以包括操作系统120、一个或者多个应用122以及程序数据124。在一些实施方式中，应用122可以布置为在操作系统上利用程序数据124进行操作。在一些实施例中，计算设备100被配置为执行生成定位模型的方法200或对脊柱矢状位图像进行骨骼定位的方法500，程序数据124中就包含了用于执行上述各方法的指令。
计算设备100还可以包括有助于从各种接口设备(例如，输出设备142、外设接口144和通信设备146)到基本配置102经由总线/接口控制器130的通信的接口总线140。示例的输出设备142包括图形处理单元148和音频处理单元150。它们可以被配置为有助于经由一个或者多个A/V端口152与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口144可以包括串行接口控制器154和并行接口控制器156，它们可以被配置为有助于经由一个或者多个I/O端口158和诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、图像输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备146可以包括网络控制器160，其可以被布置为便于经由一个或者多个通信端口164与一个或者多个其他计算设备162通过网络通信链路的通信。
网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以是这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中以编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。在一些实施例中，计算机可读介质中存储一个或多个程序，这一个或多个程序中包括执行某些方法的指令。
计算设备100可以实现为小尺寸便携(或者移动)电子设备的一部分，这些电子设备可以是诸如蜂窝电话、数码照相机、个人数字助理(PDA)、个人媒体播放器设备、无线网络浏览设备、个人头戴设备、应用专用设备、或者可以包括上面任何功能的混合设备。当然，计算设备100也可以实现为包括桌面计算机和笔记本计算机配置的个人计算机，或者是具有上述配置的服务器。本发明的实施方式对此均不作限制。
图2示出了根据本发明一个实施例的生成定位模型的方法200的流程图，所生成的定位模型用于从脊柱矢状位图像中定位出各块骨骼，并确认其中哪块骨骼是骶骨。图3A示出了根据本发明一个实施例的脊柱矢状位图像的部分示意图，如图3A所示，脊柱椎体自上而下依次排列，其中最下方为三角形并呈45度倾斜的骨头就是骶骨(图3A中以S表示)。可以看出，相较于其它椎骨，骶骨的特征更为明显，而其它椎骨的特征极为相似。鉴于此，在根据本发明的实施方式中，利用定位模型从脊柱矢状位图像中定位出每一块骨骼，并从中确认出骶骨，后续再根据骶骨和定位的位置确认其它椎骨。
以下将结合图2，详细阐述根据本发明实施例的生成定位模型的方法200的流程。
如图2所示，方法200始于步骤S210。获取经过标注的脊柱矢状位图像作为训练图像，且训练图像具有相应的标注数据，该标注数据包含训练图像中的每块脊柱骨骼的位置及每块骨骼是否属于骶骨的标识。根据一种实现方式，在专业医师的指导下利用标记软件对脊柱矢状位图像中的骨骼进行标注，采用矩形框标注每一块骨骼(矩形框的大小根据每块骨骼本身的大小决定)。这样，矩形框的四个顶点的坐标就代表了骨骼的位置。如前文所述，相较于其它椎骨，骶骨的特征更为明显，因此在根据本发明的标注过程中，不需要明确标注出每一块骨骼的名称，只需要将骶骨作为一类，其它腰椎、胸椎、颈椎等椎骨作为另一类，标注出每块骨骼属于这两类中的哪一类即可(如图3A，用字母S标识骶骨，用字母M标识其它椎骨)。更进一步地，在标注骶骨时，注意将骶骨上方及下方倾斜的黑色间盘标出，而在标注其它椎骨时，仅将方形骨骼本身及上下间盘的一小部分标出即可。即，在标注过程中将两类骨骼的被标注特征显著区分开来。这样做的好处是，可以使定位模型明确地判断出骶骨和其它椎骨的区别，以提高定位准确率。作为示例，图3B和图3C分别示出了标注出的骶骨和其它椎骨的图像。
根据本发明的又一实施例，在标注好脊柱矢状位图像后，还要对经过标注的脊柱矢状位图像进行预处理，将预处理后的脊柱矢状位图像作为训练图像。其中，预处理包括以下处理：随机调节图像亮度、垂直翻转图像、小角度旋转图像等，以增强训练图像的样本数据，使得生成的定位模型具有更好的泛化能力。当然，预处理还可以包括对脊柱矢状位图像进行缩放处理，使其符合预定尺寸大小，在根据本发明的一个实施例中，训练图像的预定尺寸大小为512×512。
随后在步骤S220中，将训练图像输入到预训练的定位模型中进行处理。如图4示出了根据本发明实施方式的定位模型400的示意图。定位模型400基于卷积神经网络，包括卷积处理层410、分类处理层420和回归处理层430。
将训练图像输入到卷积处理层410(在根据本发明的实施例中，卷积处理层410一般包含多个卷积层)，卷积处理层410对输入的图像进行卷积、激活和池化处理，以输出定位到的至少一块骨骼。分类处理层420和回归处理层430与卷积处理层410相耦接，对定位到的骨骼分别进行分类处理和回归处理，以分别输出预测该骨骼属于骶骨的概率和该骨骼的预测位置。
根据一种实现方式，卷积处理层410至少包括：12个卷积层、8个池化层和3个全连接层，以及处于第12个卷积层和第1个全连接层之间的过渡层(即，Flatten层，以将多维的输入一维化)。如图4示出了根据本发明实施例的卷积处理层410的一种结构，其中，为简化描述，用“卷积层×3”表示前后相连的3个卷积层，用“池化层×3”表示前后相连的3个池化层。当然，卷积处理层410中还可以包含激活函数(如ReLu)，激活函数可以通过设置单独的激活层实现，也可以在构造层对象时通过传递activation参数实现，本发明的实施例对此不做限制。关于卷积神经网络的基本构成属于本领域技术人员已知内容，此处不予赘述。在根据本发明的一个实施例中，池化层采用最大值池化的方式。可选地，每个卷积层中卷积核大小取3×3，且每个池化层中池化窗口大小取2×2。
分类处理层420和回归处理层430并列连接，分类处理层420对定位到的每块骨骼进行分类处理，以输出预测该块骨骼属于骶骨的概率。根据本发明的一个实施例，分类处理层采用softmax网络，根据输入数据输出两个类别。也就是说，针对定位到的每块骨骼，输出一个概率向量score vector(x,y)，其中x表示其属于骶骨的概率，y表示其属于其它椎骨的概率。在根据本发明的实施例中，当输出的预测该骨骼属于骶骨的概率大于阈值时，确认该骨骼属于骶骨，根据本发明的一个实施例，阈值一般取在0.8到0.9之间，如当x＞0.8时，确认该骨骼属于骶骨。
回归处理层430根据标注数据对定位到的每块骨骼的预测位置进行回归处理，以输出包含该块骨骼的边界框的顶点坐标作为其预测位置。在根据本发明的一个实施例中，回归处理层430采用bounding box回归，返回一个矩形框(即，边界框)表示定位到的一块骨骼。针对定位到的每块骨骼，输出一个位置矩阵box matrix(p1,p2,p3,p4)，分别表示矩形框的四个对角顶点坐标。
根据本发明的实施方式，当定位到的脊柱矢状位图像中的骨骼有多块时，通过Reshape和矩阵变换将score vector和box matrix整合为一个N×6的大矩阵并输出，其中N表示定位到的骨骼块数。假设N＝3，N×6的大矩阵的一个示例如下，其中每一行表示一块骨骼的相关结果(score vector和box matrix)。
Figure BDA0001652406820000071
随后在步骤S230中，根据标注数据对预训练的定位模型进行模型训练，以得到训练后的定位模型作为所生成的定位模型。
在训练定位模型400时，采用联合训练的方式，将训练图像输入卷积处理层410，得到定位的骨骼块(作为候选区域)，将候选区域输入分类处理层420和回归处理层430，根据输出的矩阵结果和标注数据对卷积处理层410的网络参数进行微调，再利用卷积处理层410的结果对分类处理层420和回归处理层430的网络参数进行微调，重复上述步骤，直到定位模型400的输出与标注数据的损失满足预定条件(本发明的实施例对损失函数的选取不做限制)，即，定位模型的输出与标注数据接近一致，训练结束。
根据本发明的另一个实施例，对定位模型400的训练过程可参考关于Faster-RCNN网络的训练过程，鉴于Faster-RCNN网络属于本领域技术人员已知内容，故此处不再赘述。
表1示出了根据本发明一个实施例的训练后的定位模型400中卷积处理层410的部分网络结构。其中，为了简化表述，“层重复次数为1”表示该层只有1个，“层重复次数为2”表示该层有2个，且两个前后相连。
表1定位模型400中卷积处理层410的部分网络结构
卷积核个数 卷积核大小 卷积步长 池化窗口大小 层重复次数
卷积层 64 [3,3] 2 -- 1
池化层 -- -- -- [2,2] 1
卷积层 128 [3,3] 2 -- 2
池化层 -- -- -- [2,2] 1
卷积层 256 [3,3] 2 -- 3
池化层 -- -- -- [2,2] 3
卷积层 512 [3,3] 2 -- 3
池化层 -- -- -- [2,2] 3
卷积层 512 [3,3] 2 -- 3
另外，在卷积处理层410中还包括1个过渡层和两个全连接层(表1中未示出)，其中每个全连接层的dropout均取0.5。
至此，根据本发明实施方式的定位模型400就训练完成。根据该定位模型400，可以得到脊柱矢状位图像中所包含的骨骼块数、每块骨骼属于骶骨的概率和每块骨骼的位置。
接下来，将进一步阐述如何定位出脊柱矢状位图像中除骶骨外的颈椎、胸椎、腰椎等其它椎骨。图5示出了根据本发明一个实施例的对脊柱矢状位图像进行骨骼定位的方法500。
如图5所示，方法500始于步骤S510，将脊柱矢状位图像输入定位模型，经定位处理后输出该脊柱矢状位图像中包含的骨骼个数、每块骨骼属于骶骨的概率和每块骨骼的位置。
根据本发明的一种实现方式，将脊柱矢状位图像输入定位模型400，经卷积处理层处理后得到每块骨骼的特征图(即，定位出了包含的骨骼个数)，一般地，定位出的骨骼块数大于1；然后，对每块骨骼的特征图进行分类处理，输出预测每块骨骼属于骶骨的概率；同时，对至少一块骨骼的特征图进行回归处理，输出包含每块骨骼的边界框的顶点坐标。定位模型400可以参考前文关于方法200的描述，此处不予赘述。
根据本发明的又一实施例，在将脊柱矢状位图像输入定位模型400之前，还可以对脊柱矢状位图像进行直方图均衡处理，以保证图像具有足够的对比度，再将处理后的脊柱矢状位图像输入定位模型400。当然，如前文所述，还可以对脊柱矢状位图像进行缩放处理，得到满足预定尺寸的图像再输入定位模型400中。其中，预定尺寸为512×512。本发明的实施例对此均不作限制。
随后在步骤S520中，通过每块骨骼属于骶骨的概率判断出该脊柱矢状位图像中的骶骨。根据本发明的一个实施例，遍历每块骨骼属于骶骨的概率，当该概率大于阈值时，确认该块骨骼为该脊柱矢状位图像中的骶骨。可选地，阈值范围设为[0.8,0.9]。还是以上文中定位模型400输出的3×6的矩阵为例，遍历矩阵中每一行的x值(x1,x2,x3)，当x值大于阈值时，确定其对应的骨骼为骶骨。
随后在步骤S530中，以骶骨为起点，依次确认该脊柱矢状位图像中其它各块椎骨的名称和位置。
鉴于骶骨S的特征非常明显，故而将其作为解剖定位，并从骶骨S起，根据各椎骨的排序依次确定各椎骨的名称。根据实施方式，脊柱椎体自下而上依次为：1块骶骨、5块腰椎、12块胸椎和7块颈椎，故而，先以骶骨S为起点，按照自下而上的顺序分别确认该脊柱矢状位图像中各块骨骼为腰椎、胸椎和颈椎：根据每块骨骼的位置坐标，与骶骨S相邻的腰椎为腰5椎体L5，在L5上面与之相邻的为腰4椎体L4，由此往上为腰3-L3、腰2-L2、腰1-L1、胸12-T12、胸11-T11、……，也就是说，只要骶骨S可以确定，往上按照顺序即可确定其它各块椎骨的名称。然后，根据步骤S510中得到的各块骨骼的位置坐标也就得到了相应的骶骨、腰椎、胸椎和颈椎的位置。
至此，方法500的流程结束。根据本发明的方法500采用深度学习的方式，相较于传统方法中靠肉眼定位骨骼标识点方式，方法500可以避免由于主观原因带来的误差，并且节省人力和时间成本，能够快速准确地计算出任意一个脊柱矢状位图像中所包含的骨骼块数、以及每一块骨骼的位置和名称。为后续专业医生的疾病诊断起到很好地辅助作用。
以下介绍了一种利用上述定位结果对脊柱矢状位图像进行进一步处理、判断脊柱矢状位图像中是否存在异常的方案。如图6，示出了根据本发明一个实施例的对脊柱矢状位图像进行处理的方法600的流程示意图。需要说明的是，在根据本发明的实施方式中，方法600通过判断脊柱矢状位图像是否存在异常，来表示该图像中的椎间盘是否健康。当判断脊柱矢状位图像不存在异常时，表示该图像中的椎间盘健康；当判断脊柱矢状位图像存在异常时，表示该图像中的椎间盘不健康(为描述简洁，下文中直接从椎间盘是否健康的角度进行描述)。同时，根据定位结果进一步预测不健康椎间盘区域的位置，为专业医生提供参考。
同方法200和方法500，在如图1所示的计算设备100的程序数据中存储用于执行方法600的指令，以使计算设备100执行该方法600。
方法600始于步骤S610，对脊柱矢状位图像中的各块椎骨，从脊柱矢状位图像中截取出对应的间盘-脊髓三角区，生成间盘区域图像。
根据本发明的一个实施例，间盘区域图像采用如下方式生成：对脊柱矢状位图像中的各块椎骨，以相邻椎骨的中心点的连线为边生成一个正方形，该正方形正好包含了间盘-脊髓三角区(即，椎间盘)；再从该脊柱矢状位图像中截取出该正方形，作为间盘区域图像。根据本发明的实施方式，可以通过传统的图像处理算法，如图像旋转、轮廓检测等算法将间盘区域从脊柱矢状位图像中准确截取出来，本发明的实施例对此不作限制。如图7示出了根据本发明一个实施例的脊柱矢状位图像的示意图，其中，S、L5、L4、L3、L2、L1、T12、T11表示定位出的每块椎骨的中心点，将相邻椎骨的中心点相连，就构成了正方形的一条边，进而构建出正方形方框，如图7中所示，用一个个方框标注出的区域即为该脊柱矢状位图像的一个个间盘区域(相邻方框之间可能会有重叠区域)，为方便观察，将L1和L2之间的正方形方框加粗显示，截取出该正方形所包围的区域，就得到一张间盘区域图像。
随后在步骤S620中，将间盘区域图像输入第一预测模型，经卷积处理后输出预测该间盘区域图像所包含的椎间盘健康的第一概率。或者换句话说，经第一预测模型的处理，输出预测输入的间盘区域图像是否异常的第一概率。若预测结果指示该间盘区域图像为正常，那么可以据此确认该间盘区域图像所包含的椎间盘健康；同理，若预测结果指示该间盘区域图像为异常，那么可以据此确认该间盘区域图像所包含的椎间盘不健康。该预测结果可以作为参考，辅助专业医生完成对于脊柱矢状位图像的诊断。
根据一种实施方式，方法600还包括利用训练图像训练生成第一预测模型的步骤。其中，训练第一预测模型时的训练图像集合采用如下方式生成：
第一步，根据步骤S610所描述的方法采集多个间盘区域图像，并通过专业医生的指导标注各间盘区域图像是否健康(即，间盘区域图像所包含的椎间盘是否健康)。可选地，可以通过在间盘区域图像的图像名称上添加后缀的方式来表示该间盘区域图像是否健康。如图8示出了根据本发明一个实施例的训练图像集合的示意图，图8中截取的每个小正方形图像(即，图7中的每个小正方形所包围的区域)，若图像名称后缀为h(如29_2_7_6_h.png)，则表示该图像是健康的；若图像名称后缀是d(如29_2_7_1_d.png)，则表示该图像不是健康的。
根据本发明的另一个实施例，可以在云端同步标注结果并通过多个专业医生对标注结果进行相互验证，以提高标注的准确度和标注效率。
第二步，按预定比例选取健康的间盘区域图像和不健康的间盘区域图像。在根据本发明的一个实施例中，健康的间盘区域图像和不健康的间盘区域图像的预定比例设为1:4。
第三步，将所选取的间盘区域图像缩放到预定尺寸，构成训练图像集合。可选地，预定尺寸设为60×60。
在根据本发明的实施例中，对第一预测模型的训练过程可以参考关于VGG16卷积网络的训练过程，这对本领域的技术人员来说均属于已知内容，此处不予赘述。
图9示出了根据本发明一个实施例的第一预测模型900的结构示意图，如图9所示，第一预测模型900至少包括第一卷积处理层910、规范层920、第二卷积处理层930和第一分类处理层940。
以下对第一预测模型900的各部分进行详细阐述。
第一卷积处理层910对输入的间盘区域图像进行卷积、激活和池化处理后，将生成的特征图输入规范层920。在根据本发明的实施例中，第一卷积处理层910至少包括13个卷积层、5个池化层和1个全连接层。其按照“卷积层→卷积层→池化层→卷积层→卷积层→池化层→卷积层→卷积层→卷积层→池化层→卷积层→卷积层→卷积层→池化层→卷积层→卷积层→卷积层→池化层→全连接层”的顺序依次连接。当然，第一卷积处理层910中还可以包含激活函数(如ReLu)，激活函数可以通过设置单独的激活层实现，也可以在构造层对象时通过传递activation参数实现，本发明的实施例对此不做限制。
规范层(BatchNormalization)920将第一卷积处理层910的激活值重新规范化，使得其输出数据的均值接近0，其标准差接近1，以加速网络的收敛并控制过拟合。
第二卷积处理层930包含依次连接的2个卷积层、1个Dropout层和1个池化层。其中，2个卷积层中均采用3×3大小的卷积核，卷积步长为2，池化层采用最大值池化的方式。通过上述结构，第二卷积处理层930对规范层920输出的数据再进行卷积处理，并通过Dropout层在模型900参数更新时按预定概率随机断开输入神经元，以防止过拟合。在根据本发明的一个实施例中，预定概率为0.8。
最后，第一分类处理层940再对第二卷积处理层930输出的数据进行分类处理，输出预测输入的间盘区域图像所包含的椎间盘健康的第一概率。在根据本发明的一个实施例中，第一分类处理层940采用softmax网络。
在根据本发明的又一个实施例中，在第二卷积处理层930和第一分类处理层940之间还布置了全连接层950。在第二卷积处理层930与全连接层950之间还布置了过渡层(Flatten)960，如图9所示。
同时，在步骤S630中，将间盘区域图像输入第二预测模型，经卷积处理后输出预测该间盘区域图像所包含的椎间盘健康的第二概率。或者换句话说，经第二预测模型的处理，输出预测输入的间盘区域图像是否异常的第二概率。若预测结果指示该间盘区域图像为正常，那么可以据此确认该间盘区域图像所包含的椎间盘健康；同理，若预测结果指示该间盘区域图像为异常，那么可以据此确认该间盘区域图像所包含的椎间盘不健康。该预测结果可以作为参考，辅助专业医生完成对于脊柱矢状位图像的诊断。
根据一种实施方式，方法600还包括利用训练图像训练生成第二预测模型的步骤。其中，训练第二预测模型时的训练图像集合与训练第一预测模型时的训练图像集合保持一致，具体生成训练图像集合的方式可参考前文所述，此处不再展开。
在根据本发明的实施例中，将Resnet50卷积网络作为预训练的第二预测模型，对第二预测模型的训练过程可以参考关于Resnet50卷积网络的训练过程，这对本领域的技术人员来说均属于已知内容，此处不予赘述。
图10示出了根据本发明一个实施例的第二预测模型1000的结构示意图，如图10所示，第二预测模型1000至少包括第三卷积处理层1010、第一池化层1020、第一数目个第四卷积处理层1030、第二池化层1040和第二分类处理层1050。
以下对第二预测模型1000的各部分进行详细阐述。
第三卷积处理层1010对输入的间盘区域图像进行卷积处理。可选地，在第三卷积处理层中采用7×7的卷积核，卷积步长为2。将卷积处理后的数据输入第一池化层1020。
第一池化层1020对第三卷积处理层1010的输出进行最大值池化处理。可选地，池化窗口取3×3，池化步长取2。
将第一池化层1020处理后的数据输入第四卷积处理层1030，其中，第四卷积处理层1030有第一数目个，且每个第四卷积处理层1030中包含不同数目个卷积单元，通过这些卷积单元对上一层输出的数据进行卷积处理。在根据本发明的一个实施例中，第一数目为4，如图10所示，按照自上而下的顺序分别为第四卷积处理层1032、第四卷积处理层1034、第四卷积处理层1036和第四卷积处理层1038。同时，第四卷积处理层1032中包含3个卷积单元1100，第四卷积处理层1034中包含4个卷积单元1100，第四卷积处理层1036中包含6个卷积单元1100，第四卷积处理层1038中包含3个卷积单元1100。
如图11示出了根据本发明一个实施例的卷积单元1100的结构示意图。卷积单元1100包括依次相连的第一卷积模块1102、第二卷积模块1104和第三卷积模块1106，其中，第一卷积模块1102的卷积核大小为1×1，第二卷积模块1104的卷积核大小为3×3，第三卷积模块1106的卷积核大小为1×1，且第三卷积模块1106的输出与第一卷积模块1102的输入合并后，作为该卷积单元1100的输出。根据本发明的实施例，在第一卷积模块1102和第二卷积模块1104之后、以及最终输出之前，均可以添加激活函数(如ReLu)。根据本发明的第二预测模型1000，通过在第四卷积处理层1030中设置卷积单元1100，简化了卷积网络结构的深度，进而降低计算的复杂度。
第二池化层1040对最后一个第四卷积处理层(即，第四卷积处理层1038)输出的数据进行平均值池化处理。
第二分类处理层1050对第二池化层1040输出的数据进行分类处理，输出预测输入的间盘区域图像所包含的椎间盘健康的第二概率。在根据本发明的一个实施例中，第二分类处理层1050采用softmax网络。
根据本发明的又一实施例，在第二池化层1040和第二分类处理层1050之间，还包括全连接层1060，如图10所示。
随后在步骤S640中，结合经步骤S620计算出的第一概率和经步骤S630计算出的第二概率，计算出该间盘区域图像所包含的椎间盘健康的概率。
根据一种实施方式，单独实施第一预测模型900和第二预测模型1000均可以得到关于输入的间盘区域图像是否正常的预测结果，即，该间盘区域图像所包含的椎间盘是否健康的预测结果。在根据本发明的一些实施例中，当第一概率不小于0.3时，预测输入的间盘区域图像所包含的椎间盘健康；当第二概率不小于0.5时，预测输入的间盘区域图像所包含的椎间盘健康。将上述预测结果作为参考，辅助专业医生完成对于脊柱矢状位图像的诊断。
在根据本发明的另一种实施方式中，将第一预测模型900和第二预测模型1000的预测结果进行加权，将加权后的结果作为最终的预测结果，供专业医生参考。通过加权的方式能够在一定程度上防止过拟合。具体地，为第一概率和第二概率分别设置对应的第一权重因子和第二权重因子，再通过加权算法计算该间盘区域图像所包含的椎间盘健康的概率c，最终预测的概率c可以用公式表示如下：
c＝w1×c1+w2×c2
式中，c1和c2分别表示第一概率和第二概率，w1和w2分别表示第一权重因子和第二权重因子，且w1+w2＝1。
根据该概率值判断间盘区域图像所包含的椎间盘是否健康。如上面实施例所述，当概率值不小于预设值时，预测间盘区域图像所包含的椎间盘健康；当概率值小于预设值时，间盘区域图像所包含的椎间盘不健康。在根据本发明的一个实施例中，w1和w2分别取0.5，此时，当c不小于0.4时，预测输入的间盘区域图像所包含的椎间盘健康。在根据本发明的另一个实施例中，w1取0.4，w2取0.6，此时，当c不小于0.45时，预测输入的间盘区域图像所包含的椎间盘健康。优选采用后一种加权方式，当然，也可以设置不同的权重因子和预设值，此处公开的实施例仅作为示例，本发明对此不作限制。
根据本发明的方案，通过方法500可以从脊柱矢状位图像中定位出各块椎骨的位置，而后对定位出的各块椎骨执行方法600，就可以得到预测该脊柱矢状位图像中的每一个间盘区域图像所包含的椎间盘健康的概率，进而判断出该间盘区域图像所包含的椎间盘是否健康。进一步地，当概率小于预设值(在根据本发明的一个优选实施例中，预设值取0.45)时，根据该间盘区域图像所指示的椎骨得到不健康区域的位置。专业医生可以以此为参考，进行脊柱疾病诊断。
相应地，本发明的实施方案还提供了与方法600对应的对脊柱矢状位图像进行处理的设备1200。设备1200可以布置在如图1所示的计算设备100的存储器中，在一些实施例中，设备1200可以作为一种应用122布置在计算设备100中。
图12示出了根据本发明一个实施例的对脊柱矢状位图像进行处理的设备1200的示意图。设备1200至少包括：预处理模块1210、第一处理模块1220、第二处理模块1230和计算模块1240。
根据本发明的实施例，对脊柱矢状位图像中的各块椎骨，预处理模块1210从脊柱矢状位图像中截取出其对应的间盘-脊髓三角区，生成间盘区域图像。脊柱矢状位图像中的各块椎骨可以通过方法500计算得到。
根据本发明的又一实施例，预处理模块1210采用如下方式生成间盘区域图像：以相邻椎骨的中心点的连线为边生成一个正方形，该正方形正好包含间盘-脊髓三角区，再从脊柱矢状位图像中截取出该正方形，作为间盘区域图像。根据本发明的实施方式，可以通过传统的图像处理算法，如图像旋转、轮廓检测等算法将间盘区域从脊柱矢状位图像中准确截取出来，本发明的实施例对此不作限制。如图7示出了根据本发明一个实施例的脊柱矢状位图像的示意图，其中，用一个个方框标注出的区域即为该脊柱矢状位图像的一个个间盘区域。
预处理模块1210将间盘区域图像传送给与之耦接的第一处理模块1220和第二处理模块1230。第一处理模块1220通过第一预测模型900对间盘区域图像进行卷积处理，以输出预测该间盘区域图像所包含的椎间盘健康的第一概率。同时，第二处理模块1230通过第二预测模型1000对间盘区域图像进行卷积处理，以输出预测该间盘区域图像所包含的椎间盘健康的第二概率。
根据本发明的再一实施方式，设备1200除了预处理模块1210、第一处理模块1220、第二处理模块1230和计算模块1240外，还可以包括训练模块(未示出)，用来利用训练图像训练生成第一预测模型900和第二预测模型1000。
其中，训练模块中还包括图像采集子模块，该图像采集子模块通过采集多个间盘区域图像并标注各间盘区域图像是否健康(即，间盘区域图像所包含的椎间盘是否健康)，可选地，可以通过在间盘区域图像的图像名称上添加后缀的方式来表示该间盘区域图像是否健康。如图8示出了根据本发明一个实施例的训练图像集合的示意图，图8中截取的每个小正方形图像(即，间盘区域图像)，若图像名称后缀为h，则表示该图像是健康的；若图像名称后缀是d，则表示该图像不是健康的。同时，图像采集子模块还会按预定比例选取健康的间盘区域图像和不健康的间盘区域图像(例如，健康的间盘区域图像和不健康的间盘区域图像的预定比例设为1:4)，并将所选取的间盘区域图像缩放到预定尺寸(可选地，预定尺寸为60×60)，构成训练图像集合。
关于第一预测模型900和第二预测模型1000的网络结构及执行算法的过程在前文中关于图9和图10的描述中已经详细阐述过，篇幅所限，此处不再赘述。
第一处理模块1220和第二处理模块1230将算得的结果传送给与之耦接的计算模块1240，计算模块1240结合第一概率和第二概率计算出该间盘区域图像所包含的椎间盘健康的概率。
根据一种实施方式，通过第一处理模块1220和第二处理模块1230分别可以得到关于输入的间盘区域图像是否正常的预测结果，即，该间盘区域图像所包含的椎间盘是否健康的预测结果。当第一概率或第二概率不小于预设值时，就可以判定间盘区域图像所包含的椎间盘健康。在根据本发明的一些实施例中，当第一概率不小于0.3时，预测输入的间盘区域图像所包含的椎间盘健康；当第二概率不小于0.5时，预测输入的间盘区域图像所包含的椎间盘健康。将上述预测结果作为参考，辅助专业医生完成对于脊柱矢状位图像的诊断。
在根据本发明的另一种实施方式中，计算模块1240为第一概率和第二概率分别设置对应的第一权重因子和第二权重因子，再通过加权算法计算该间盘区域图像所包含的椎间盘健康的概率c，最终的概率c可以用公式表示如下：
c＝w1×c1+w2×c2
式中，c1和c2分别表示第一概率和第二概率，w1和w2分别表示第一权重因子和第二权重因子，且w1+w2＝1。
根据一种实施方式，设备1200还可以包括定位模块(未示出)和判断模块(未示出)。其中，定位模块可以被配置为执行方法500的步骤，来从脊柱矢状位图像中定位出各块椎骨的位置。
而判断模块在判断间盘区域图像所包含的椎间盘健康的概率小于预设值时，预测该间盘区域图像所包含的椎间盘不健康，并根据该间盘区域图像所指示的椎骨得到不健康区域的位置。如上面实施例所述，当概率不小于预设值时，预测间盘区域图像所包含的椎间盘健康；当概率小于预设值时，预测间盘区域图像所包含的椎间盘不健康。在根据本发明的一个实施例中，w1和w2分别取0.5，此时，当c不小于0.4时，预测输入的间盘区域图像所包含的椎间盘健康。在根据本发明的另一个实施例中，w1取0.4，w2取0.6，此时，当c不小于0.45时，预测输入的间盘区域图像所包含的椎间盘健康。优选采用后一种加权方式，当然，也可以设置不同的权重因子和预设值，此处公开的实施例仅作为示例，本发明对此不作限制。
综上，根据本发明的方案，首先通过定位模型400定位出脊柱矢状位图像中的骶骨并得到其它椎骨的位置坐标。利用骶骨与其它椎骨显著区别的特征，根据定位出的骶骨和其它椎骨的位置坐标就可以得到各块椎骨的位置及相应的名称。而后，根据定位结果，通过执行方法600(或设备1200)对脊柱矢状位图像进行进一步处理，以得到预测脊柱矢状位图像中每一个间盘区域图像所包含的椎间盘是否健康的概率。同时，为防止过拟合，在方法600中通过并行的两个卷积网络——第一预测模型900和第二预测模型1000来计算出预测概率值。预测结果可以作为参考，通过对脊柱矢状位图像的一些处理，辅助专业医生完成对各种脊柱疾病的诊断。
应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。
在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明所述的方法。
以示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。
本发明一并公开了：
A6、如A1-4中任一项所述的方法，其中，对定位到的骨骼分别进行分类处理和回归处理以输出预测该骨骼属于骶骨的概率和该骨骼的预测位置的步骤还包括：当输出的预测该骨骼属于骶骨的概率大于阈值时，确认该骨骼属于骶骨。A7、如A1-6中任一项所述的方法，其中，训练图像大小为512×512。
B11、如B10所述的方法，其中，阈值范围设为[0.8,0.9]。B12、如B8-11中任一项所述的方法，其中，以骶骨为起点，依次确认该脊柱矢状位图像中其他各块椎骨的名称和位置的步骤包括：以骶骨为起点，按照自下而上的顺序分别确认该脊柱矢状位图像中各块骨骼为腰椎、胸椎和颈椎；以及根据各块骨骼的位置得到相应腰椎、胸椎和颈椎的位置。B13、如B8-12中任一项所述的方法，还包括预处理步骤：对脊柱矢状位图像进行直方图均衡处理，将处理后的脊柱矢状位图像输入定位模型。B14、如B13所述的方法，其中，预处理步骤还包括：对脊柱矢状位图像进行缩放处理，以生成预定尺寸的图像，其中预定尺寸为512×512。
此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。
如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (15)

1.一种对脊柱矢状位图像进行骨骼定位的方法，所述方法适于在计算设备中执行，所述方法包括步骤：
将脊柱矢状位图像输入定位模型，经定位处理后输出所述脊柱矢状位图像中包含的骨骼个数、每块骨骼属于骶骨的概率和每块骨骼的位置；
通过每块骨骼属于骶骨的概率判断出所述脊柱矢状位图像中的骶骨；以及
以骶骨为起点，依次确认该脊柱矢状位图像中其它各块椎骨的名称和位置；
其中，所述定位模型的生成方法包括步骤：
获取经过标注的脊柱矢状位图像作为训练图像，所述训练图像具有相应的标注数据，所述标注数据包含所述训练图像中的每块脊柱骨骼的位置及每块骨骼是否属于骶骨的标识；
将所述训练图像输入到预训练的定位模型中进行处理，所述定位模型包括卷积处理层、分类处理层和回归处理层，其中，
所述卷积处理层适于对所输入的图像进行卷积、激活和池化处理，以输出定位到的至少一块骨骼，
所述分类处理层和回归处理层适于对定位到的骨骼分别进行分类处理和回归处理，以输出预测该骨骼属于骶骨的概率和该骨骼的预测位置；以及
根据所述标注数据对所述预训练的定位模型进行模型训练，以得到训练后的定位模型作为所生成的定位模型。
2.如权利要求1所述的方法，其中，所述获取经过标注的脊柱矢状位图像作为训练图像的步骤中还包括：
对所述经过标注的脊柱矢状位图像进行预处理，将预处理后的脊柱矢状位图像作为训练图像。
3.如权利要求2所述的方法，其中，所述预处理包括以下处理中的一种或多种：调节图像亮度、垂直翻转图像、小角度旋转图像。
4.如权利要求1-3中任一项所述的方法，其中，在所述定位模型中，
所述分类处理层适于对定位到的每块骨骼进行分类处理，以输出预测该块骨骼属于骶骨的概率；
所述回归处理层适于根据标注数据对定位到的每块骨骼的预测位置进行回归处理，以输出包含该块骨骼的边界框的顶点坐标作为其预测位置，
其中，所述分类处理层和所述回归处理层并列连接。
5.如权利要求1-3中任一项所述的方法，其中，所述卷积处理层至少包括：12个卷积层、8个池化层、3个全连接层，以及处于卷积层和全连接层之间的过渡层，
其中，所述卷积层中卷积核大小为3×3，所述池化层中池化窗口大小为2×2。
6.如权利要求1-3中任一项所述的方法，其中，所述对定位到的骨骼分别进行分类处理和回归处理以输出预测该骨骼属于骶骨的概率和该骨骼的预测位置的步骤还包括：
当输出的预测该骨骼属于骶骨的概率大于阈值时，确认该骨骼属于骶骨。
7.如权利要求1-3中任一项所述的方法，其中，所述训练图像大小为512×512。
8.如权利要求1-3中任意一项所述的方法，其中，所述将脊柱矢状位图像输入定位模型，经定位处理后输出脊柱矢状位图像中包含的骨骼个数、每块骨骼属于骶骨的概率和每块骨骼的位置的步骤包括：
将脊柱矢状位图像输入定位模型，经卷积处理层处理后得到至少一块骨骼的特征图；
对所述至少一块骨骼的特征图进行分类处理，输出预测每块骨骼属于骶骨的概率；以及
对所述至少一块骨骼的特征图进行回归处理，输出包含每块骨骼的边界框的顶点坐标。
9.如权利要求8所述的方法，其中，所述通过每块骨骼属于骶骨的概率判断出脊柱矢状位图像中的骶骨的步骤包括：
遍历每块骨骼属于骶骨的概率，当该概率大于阈值时，确认该块骨骼为该脊柱矢状位图像中的骶骨。
10.如权利要求9所述的方法，其中，所述阈值范围设为[0.8,0.9]。
11.如权利要求1-3中任一项所述的方法，其中，所述以骶骨为起点，依次确认该脊柱矢状位图像中其他各块椎骨的名称和位置的步骤包括：
以骶骨为起点，按照自下而上的顺序分别确认该脊柱矢状位图像中各块骨骼为腰椎、胸椎和颈椎；以及
根据各块骨骼的位置得到相应腰椎、胸椎和颈椎的位置。
12.如权利要求1-3中任一项所述的方法，还包括预处理步骤：
对所述脊柱矢状位图像进行直方图均衡处理，将处理后的脊柱矢状位图像输入定位模型。
13.如权利要求12所述的方法，其中，所述预处理步骤还包括：
对所述脊柱矢状位图像进行缩放处理，以生成预定尺寸的图像，其中，所述预定尺寸为512×512。
14.一种计算设备，包括：
一个或多个处理器；和
存储器；
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1-13所述方法中的任一方法的指令。
15.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当计算设备执行时，使得所述计算设备执行根据权利要求1-13所述的方法中的任一方法的指令。
CN201810427159.XA 2018-05-07 2018-05-07 生成定位模型的方法及对脊柱矢状位图像进行处理的方法 Active CN108596904B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810427159.XA CN108596904B (zh) 2018-05-07 2018-05-07 生成定位模型的方法及对脊柱矢状位图像进行处理的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810427159.XA CN108596904B (zh) 2018-05-07 2018-05-07 生成定位模型的方法及对脊柱矢状位图像进行处理的方法

Publications (2)

Publication Number Publication Date
CN108596904A CN108596904A (zh) 2018-09-28
CN108596904B true CN108596904B (zh) 2020-09-29

Family

ID=63621060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810427159.XA Active CN108596904B (zh) 2018-05-07 2018-05-07 生成定位模型的方法及对脊柱矢状位图像进行处理的方法

Country Status (1)

Country Link
CN (1) CN108596904B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697713B (zh) * 2018-11-14 2022-09-02 吉林大学 基于深度学习和空间关系推理的椎间盘定位标注方法
CN110223279B (zh) * 2019-05-31 2021-10-08 上海商汤智能科技有限公司 一种图像处理方法和装置、电子设备
CN110222681A (zh) * 2019-05-31 2019-09-10 华中科技大学 一种基于卷积神经网络的铸件缺陷识别方法
CN110544245B (zh) * 2019-08-30 2020-11-27 北京推想科技有限公司 图像处理方法、装置、计算机可读存储介质及电子设备
CN110916695A (zh) * 2019-11-05 2020-03-27 东软医疗系统股份有限公司 确定脊柱扫描视野的方法、装置及图像处理设备
CN111652300A (zh) * 2020-05-27 2020-09-11 联影智能医疗科技(北京)有限公司 脊柱曲度分类方法、计算机设备和存储介质
CN112734740B (zh) * 2021-01-18 2024-02-23 推想医疗科技股份有限公司 训练目标检测模型的方法、目标检测的方法及其装置
CN113674261B (zh) * 2021-08-26 2023-05-09 上海脊影慧智能科技有限公司 骨骼检测方法、系统、电子设备和存储介质
CN115797698B (zh) * 2022-12-13 2023-07-14 北京大学第三医院（北京大学第三临床医学院） 一种骨骼矢状位平衡参数检测系统
CN115797307B (zh) * 2022-12-13 2023-08-08 北京大学第三医院（北京大学第三临床医学院） 一种骨骼冠状位平衡参数检测系统
CN116630427B (zh) * 2023-07-24 2023-10-31 杭州键嘉医疗科技股份有限公司 一种ct图像中髋骨和股骨自动定位的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787439A (zh) * 2016-02-04 2016-07-20 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN107451568A (zh) * 2017-08-03 2017-12-08 重庆邮电大学 使用深度卷积神经网络的姿态检测方法及设备
WO2018057714A1 (en) * 2016-09-21 2018-03-29 The General Hospital Corporation Systems, methods and media for automatically generating a bone age assessment from a radiograph
CN107895367A (zh) * 2017-11-14 2018-04-10 中国科学院深圳先进技术研究院 一种骨龄识别方法、系统及电子设备
CN107977971A (zh) * 2017-11-09 2018-05-01 哈尔滨理工大学 基于卷积神经网络的椎骨定位的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787439A (zh) * 2016-02-04 2016-07-20 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
WO2018057714A1 (en) * 2016-09-21 2018-03-29 The General Hospital Corporation Systems, methods and media for automatically generating a bone age assessment from a radiograph
CN107451568A (zh) * 2017-08-03 2017-12-08 重庆邮电大学 使用深度卷积神经网络的姿态检测方法及设备
CN107977971A (zh) * 2017-11-09 2018-05-01 哈尔滨理工大学 基于卷积神经网络的椎骨定位的方法
CN107895367A (zh) * 2017-11-14 2018-04-10 中国科学院深圳先进技术研究院 一种骨龄识别方法、系统及电子设备

Also Published As

Publication number Publication date
CN108596904A (zh) 2018-09-28

Similar Documents

Publication Publication Date Title
CN108596904B (zh) 生成定位模型的方法及对脊柱矢状位图像进行处理的方法
CN108830835B (zh) 识别脊柱矢状位图像异常的方法及计算设备
CN109903268B (zh) 确定脊柱图像集的异常类型的方法及计算设备
CN109903269B (zh) 确定脊柱横断面图像的异常类型的方法及计算设备
CN108634934B (zh) 对脊柱矢状位图像进行处理的方法和设备
Kim et al. Automation of spine curve assessment in frontal radiographs using deep learning of vertebral-tilt vector
CN110992370B (zh) 一种胰腺组织的分割方法、装置及终端设备
CN110111305B (zh) 处理方案的生成方法、装置、设备和存储介质
US20180365876A1 (en) Method, apparatus and system for spine labeling
US20210271914A1 (en) Image processing apparatus, image processing method, and program
CN112308846B (zh) 血管分割方法、装置及电子设备
WO2024001140A1 (zh) 一种椎体亚区域分割方法、装置及存储介质
CN110751187A (zh) 异常区域图像生成网络的训练方法和相关产品
CN114332563A (zh) 图像处理模型训练方法及相关装置、设备和存储介质
Fatima et al. Vertebrae localization and spine segmentation on radiographic images for feature‐based curvature classification for scoliosis
CN113033581A (zh) 髋关节图像中骨骼解剖关键点定位方法、电子设备及介质
EP3608872A1 (en) Image segmentation method and system
CN111402191B (zh) 一种目标检测方法、装置、计算设备及介质
CN115375787A (zh) 伪影校正方法、计算机设备及可读存储介质
Sha et al. A robust segmentation method based on improved U-Net
CN112862786B (zh) Cta影像数据处理方法、装置及存储介质
CN112862785B (zh) Cta影像数据识别方法、装置及存储介质
Pilgram et al. Knowledge-based femur detection in conventional radiographs of the pelvis
CN112766332A (zh) 医学影像检测模型训练方法、医学影像检测方法及装置
CN112801994A (zh) 骨龄评估方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Zhang Yiling

Inventor after: Liu Xingyu

Inventor after: An Yicheng

Inventor before: Zhang Yiling

Inventor before: Liu Xingyu

Inventor before: An Yicheng

Inventor before: Zhang Yundong

CB03 Change of inventor or designer information

Inventor after: Zhang Yiling

Inventor after: Liu Xingyu

Inventor before: Zhang Yiling

Inventor before: Liu Xingyu

Inventor before: An Yicheng

CB03 Change of inventor or designer information
CP02 Change in the address of a patent holder

Address after: 100176 2201, 22 / F, building 1, yard 2, Ronghua South Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Patentee after: BEIJING CHANGMUGU MEDICAL TECHNOLOGY Co.,Ltd.

Address before: 100080 room 602-5, 6 / F, No. 52, North Fourth Ring Road West, Haidian District, Beijing

Patentee before: BEIJING CHANGMUGU MEDICAL TECHNOLOGY Co.,Ltd.

CP02 Change in the address of a patent holder
CP03 Change of name, title or address

Address after: 100176 2201, 22 / F, building 1, yard 2, Ronghua South Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Patentee after: Beijing Changmugu Medical Technology Co.,Ltd.

Address before: 100080 room 602-5, 6 / F, No. 52, North Fourth Ring Road West, Haidian District, Beijing

Patentee before: BEIJING CHANGMUGU MEDICAL TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address