CN112529863A - 测量骨密度的方法及装置 - Google Patents

测量骨密度的方法及装置 Download PDF

Info

Publication number
CN112529863A
CN112529863A CN202011413929.9A CN202011413929A CN112529863A CN 112529863 A CN112529863 A CN 112529863A CN 202011413929 A CN202011413929 A CN 202011413929A CN 112529863 A CN112529863 A CN 112529863A
Authority
CN
China
Prior art keywords
bone density
image segmentation
image
feature
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011413929.9A
Other languages
English (en)
Other versions
CN112529863B (zh
Inventor
亢寒
唐四元
刘伟
王尊
张荣国
李新阳
王少康
陈宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Infervision Medical Technology Co Ltd
Original Assignee
Central South University
Infervision Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University, Infervision Medical Technology Co Ltd filed Critical Central South University
Priority to CN202011413929.9A priority Critical patent/CN112529863B/zh
Publication of CN112529863A publication Critical patent/CN112529863A/zh
Application granted granted Critical
Publication of CN112529863B publication Critical patent/CN112529863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50—Clinical applications
    • A61B6/505—Clinical applications involving diagnosis of bone
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone

Abstract

本发明提供了一种测量骨密度的方法及装置，所述方法由骨密度测量模型执行，所述骨密度测量模型是基于深度学习方法预先训练后得到的，所述骨密度测量模型包括特征提取模块、图像分割模块及骨密度估算模块，包括：使用所述特征提取模块获取输入图像的特征图，所述输入图像包括待测量脊柱椎体；使用所述图像分割模块基于所述特征图对所述输入图像进行椎体分割，得到所述输入图像中待测量脊柱椎体的图像分割结果，所述图像分割结果用于确定所述待测量脊柱椎体中的目标区域；使用所述骨密度估算模块，根据所述图像分割结果进行骨密度值估算，得到所述目标区域的骨密度值。本发明实施例中的方法能够提高骨密度测量的效率。

Description

测量骨密度的方法及装置
技术领域
本发明涉及医疗设备技术领域，具体涉及一种测量骨密度的方法及装置。
背景技术
骨密度的全称是骨骼矿物质密度(bone mineral density，BMD)，骨密度是评价人体骨骼强度的重要指标，能够从一定程度上反映人体骨组织的健康状况和身体状况。人类的骨密度约在30岁左右达到高峰，之后会逐年流失，流失严重的便导致骨质疏松症。
脊柱椎体内骨松质的骨密度可以体现骨量流失的情况，因此，骨密度测定有助于协助诊断骨质疏松症。目前，有多种方法可以用于骨密度测量，例如，双能X线吸收法测定(dual-emission X-ray absorptiometry，DXA)和定量计算机体层摄影(quantitativecomputed tomography，QCT)。
其中，基于DXA的骨密度测量取得了不错的效果，但DXA只能获取椎体的二维信息，忽略了椎体在z轴上的信息；QCT也可以称为定量CT，QCT可以进行三维骨密度测量，但是基于QCT的骨密度测量方法过于复杂，例如，在使用QCT技术进行骨密度测量时，需要先进行复杂的处理以及人为操作，才能进行QCT骨密度测量，从而导致骨密度测量方法过于复杂。
发明内容
有鉴于此，本发明实施例致力于提供一种测量骨密度的方法及装置，该方法及装置无需人工干预，用户只需将具有待测量脊柱椎体图像作为输入即可自动得到相应椎体的骨密度值，操作简单，能够解决现有技术中骨密度测量方法过于复杂的问题。
本发明一方面提供了一种测量骨密度的方法，所述方法由骨密度测量模型执行，所述骨密度测量模型是基于深度学习方法预先训练后得到的，所述骨密度测量模型包括特征提取模块、图像分割模块及骨密度估算模块，包括：
使用所述特征提取模块获取输入图像的特征图，所述输入图像包括待测量脊柱椎体；使用所述图像分割模块基于所述特征图对所述输入图像进行椎体分割，得到所述输入图像中待测量脊柱椎体的图像分割结果，所述图像分割结果用于确定所述待测量脊柱椎体中的目标区域；使用所述骨密度估算模块，根据所述图像分割结果进行骨密度值估算，得到所述目标区域的骨密度值。
在本发明实施例中，使用深度学习方法，对所述输入图像中的待测量脊柱椎体自动进行骨密度测量，可以便捷地得到待测量脊柱椎体中的目标区域的骨密度值，从而可以避免现有技术中使用QCT技术进行骨密度测量时的多步复杂的处理，因此，能够提高骨密度测量的效率。
在一个实施例中，所述图像分割模块包括候选区域选取单元、特征融合单元及图像分割单元，所述输入图像的特征图包括n个不同尺度的特征图，n为大于或等于2的整数；其中，所述使用所述图像分割模块基于所述特征图对所述输入图像进行椎体分割，得到所述输入图像中待测量脊柱椎体的图像分割结果，包括：使用所述候选区域选取单元确定所述n个不同尺度的特征图中的n个不同尺度的候选区域的特征；使用所述特征融合单元对所述n个不同尺度的候选区域的特征进行特征融合，得到融合后的特征；使用所述图像分割单元，基于所述融合后的特征对所述输入图像进行椎体分割，得到所述图像分割结果。
在一个实施例中，所述使用所述特征提取模块获取输入图像的特征图，包括：确定所述输入图像的m个不同尺度的特征图，m为大于或等于2的整数；根据所述m个不同尺度的特征图确定所述n个不同尺度的特征图，所述n个不同尺度的特征图中每一个是由所述m个不同尺度的特征图中的多个不同尺度的特征图确定的。
在一个实施例中，所述m个不同尺度的特征图为ci，所述n个不同尺度的特征图为pj，i、j为整数且1≤i≤m，2≤j≤n+1；其中，所述根据所述m个不同尺度的特征图确定所述n个不同尺度的特征图，包括：根据所述候选特征图cn确定所述特征图pn；根据所述特征图pn确定所述特征图pn+1；根据所述候选特征图cj-1、cj、cj+1与所述特征图pj+1，确定所述n个不同尺度的特征图中除所述特征图pn与所述特征图pn+1以外的特征图pj。
在一个实施例中，所述使用所述骨密度估算模块，根据所述图像分割结果进行骨密度值估算，得到所述目标区域的骨密度值，包括：对所述图像分割结果进行腐蚀处理，得到处理后的图像分割结果，所述腐蚀处理能够减小所述图像分割结果的前景区域；基于所述处理后的图像分割结果进行骨密度估算，得到所述目标区域的骨密度值。
本发明另一方面提供了一种测量骨密度的装置，所述装置是基于深度学习方法预先训练后得到的，所述装置包括：
特征提取模块，用于获取输入图像的特征图，所述输入图像包括待测量脊柱椎体；图像分割模块，用于基于所述特征图对所述输入图像进行椎体分割，得到所述输入图像中待测量脊柱椎体的图像分割结果，所述图像分割结果用于确定所述待测量脊柱椎体中的目标区域；骨密度估算模块，用于根据所述图像分割结果进行骨密度值估算，得到所述目标区域的骨密度值。
在本发明实施例中，使用深度学习方法，对所述输入图像中的待测量脊柱椎体自动进行骨密度测量，可以便捷地得到待测量脊柱椎体中的目标区域的骨密度值，从而可以避免现有技术中使用QCT技术进行骨密度测量时的多步复杂的处理，因此，能够提高骨密度测量的效率。
在一个实施例中，所述图像分割模块包括候选区域选取单元、特征融合单元及图像分割单元，所述输入图像的特征图包括n个不同尺度的特征图，n为大于或等于2的整数；其中，所述图像分割模块具体用于：使用所述候选区域选取单元确定所述n个不同尺度的特征图中的n个不同尺度的区域的特征；使用所述特征融合单元对所述n个不同尺度的区域的特征进行特征融合，得到融合后的特征；使用所述图像分割单元，基于所述融合后的特征对所述输入图像进行椎体分割，得到所述图像分割结果。
在一个实施例中，所述特征提取模块具体用于：确定所述输入图像的m个不同尺度的特征图，m为大于或等于2的整数；根据所述m个不同尺度的特征图确定所述n个不同尺度的特征图，所述n个不同尺度的特征图中每一个是由所述m个不同尺度的特征图中的多个不同尺度的特征图确定的。
在一个实施例中，所述m个不同尺度的特征图为ci，所述n个不同尺度的特征图为pj，i、j为整数且1≤i≤m，2≤j≤n+1；其中，所述图像分割模块具体用于：根据所述候选特征图cn确定所述特征图pn；根据所述特征图pn确定所述特征图pn+1；根据所述候选特征图cj-1、cj、cj+1与所述特征图pj+1，确定所述n个不同尺度的特征图中除所述特征图pn与所述特征图pn+1以外的特征图pj。
在一个实施例中，所述骨密度模块具体用于：对所述图像分割结果进行腐蚀处理，得到处理后的图像分割结果，所述腐蚀处理能够减小所述图像分割结果的前景区域；基于所述处理后的图像分割结果进行骨密度估算，得到所述目标区域的骨密度值。
第三方面，提供了一种测量骨密度的装置，所述装置包括存储介质和中央处理器，所述存储介质可以是非易失性存储介质，所述存储介质中存储有计算机可执行程序，所述中央处理器与所述非易失性存储介质连接，并执行所述计算机可执行程序以实现所述第一方面或者第一方面的任一可能的实现方式中的方法。
第四方面，提供一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行第一方面或第一方面的任一可能的实现方式中的方法。
可选地，作为一种实现方式，所述芯片还可以包括存储器，所述存储器中存储有指令，所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于执行第一方面或第一方面的任一可能的实现方式中的方法。
第五方面，提供一种计算机可读存储介质，所述计算机可读介质存储用于设备执行的程序代码，所述程序代码包括用于执行第一方面或者第一方面的任一可能的实现方式中的方法的指令。
在本发明实施例中，使用深度学习方法，对所述输入图像中的待测量脊柱椎体自动进行骨密度测量，可以便捷地得到待测量脊柱椎体中的目标区域的骨密度值，从而可以避免现有技术中使用QCT技术进行骨密度测量时的多步复杂的处理，因此，能够提高骨密度测量的效率。
附图说明
图1为适用于本发明实施例的一个应用场景图。
图2为本发明一个实施例中的测量骨密度的方法的示意性框图。
图3为本发明另一个实施例中的测量骨密度的方法的示意性框图。
图4为本发明一个实施例中的网络主干的示意性框图。
图5为本发明一个实施例中的多级特征增强模块的示意性框图。
图6为本发明一个实施例中的融合模块的示意性框图。
图7为本发明一个实施例中的训练骨密度估量分支的示意性框图。
图8为本发明另一个实施例中的训练骨密度估量分支的示意性框图。
图9为本发明一个实施例提供的测量骨密度的装置的示意性框图。
图10为本发明另一个实施例提供的测量骨密度的装置的示意性框图。
具体实施方式
首先，对本发明所属的科研课题的经费来源进行说明，具体的经费来源信息如下：
1.湖南省创新型省份建设专项基金，项目编号：2019SK2141
This work was supported by the Special Funding for the Constructionof Innovative Provinces in Hunan(Grant No.2019SK2141)；
2.中国泛海控股集团项目基金，合同编号：H201910150780001
This work was supported by the China Oceanwide Holding Group ProjectFund(Contract No.H201910150780001)。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为适用于本发明实施例的一个应用场景图。
图1中的应用场景100可以包括用户110、测量骨密度的装置120及骨密度测量结果130。其中，所述测量骨密度的装置120可以为骨密度测量仪或其他可以能够测量骨密度值的装置或设备，例如，所述测量骨密度的装置120可以为能够测量骨密度值的智能终端或智能手环等；或者，所述测量骨密度的装置120也可以为服务器，例如，所述测量骨密度的装置120可以为云端(或者，也可以称为云端服务器)，本发明实施例中对此并不限定。
在本发明一种可能的实现方式中，所述应用场景100中还可以包括电子计算机断层扫描机(computed tomography，CT)140，用户110可以通过CT机140得到CT原始数据，即医学数字成像和通信(digital imaging and communications in medicine，DICOM)数据，将CT原始数据转换成矢状位CT图像，并对所述矢状位CT图像进行图像预处理，随后，可以将图像预处理后的图像输入所述测量骨密度的装置120进行骨密度测量，得到骨密度测量结果130。
可选地，所述图像预处理可以包括：加窗预处理操作、图像尺寸统一操作及图像标准化操作等。其中，加窗预处理操作可以将所述矢状位CT图像满足一定条件的像素点转换到灰度值范围[0,255]；图像尺寸统一操作可以对所述矢状位CT图像进行剪裁或填充操作，以使得所述矢状位CT图像的尺寸一致；图像标准化操作可以指：将所述矢状位CT图像中各像素点的像素值转换到以0为均值，1为标准差的分布中，或对所述矢状位CT图像中各像素点的像素值进行归一化操作，即将图像的像素值由[0,255]转换到[0,1]。
对于所述图像预处理的详细描述可以参考下述该方法200中的实施例，这里不再赘述。
需要说明的是，所述图像预处理也可以包括现有技术中的其他处理或操作，也就是说，上述加窗预处理操作、图像尺寸统一操作及图像标准化操作也可以包括现有技术中的其他处理或操作，本发明实施例中对此并不限定。
图2是本发明一个实施例的测量骨密度的方法200的示意性框图。该方法200可以由图1中的测量骨密度的装置120执行。
例如，所述测量骨密度的装置120可以包括骨密度测量模型，所述骨密度测量模型可以是基于深度学习方法预先训练后得到的，所述骨密度测量模型可以包括特征提取模块、图像分割模块及骨密度估算模块。
应理解，图2示出了方法200的步骤或操作，但这些步骤或操作仅是示例，本发明实施例还可以执行其他操作或者图2中方法200的各个操作的变形，或者，并不是所有步骤都需要执行，或者，这些步骤可以按照其他顺序执行。
S210，使用所述特征提取模块获取输入图像的特征图。
其中，所述输入图像可以包括待测量脊柱椎体。
可选地，所述输入图像可以是由单个图像形成的单通道图像，也可以是由多个图像形成的多通道图像。
所述输入图像可以包括：使用CT机扫描(或拍摄)待测量脊柱椎体后得到的CT图像。
或者，所述输入图像也可以包括其他包含待测量脊柱椎体的图像，或者身体其他部位的图像，本发明实施例中对此并不限定。
例如，所述CT图像可以是一组CT图像序列，一组CT图像序列可以包括多个CT图像。这里所说的一组CT图像序列可以是一次CT扫描后得到的一组连续的2D图像切片。
所述CT图像可以指CT原始数据，即医学数字成像和通信(digital imaging andcommunications in medicine，DICOM)数据。
其中，CT原始数据可以是指质量能满足临床需要的可用于数据交换的医学图像格式，CT原始数据中不仅可以包括图像矩阵，还可以包括与数据(例如，图像矩阵)相关的头文件信息。
可选地，所述输入图像也可以为对CT原始数据进行转换后得到的矢状位CT图像。
例如，所述CT原始数据可以包括多个CT图像，首先通过现有技术中的方法选取所述CT原始数据的最优矢状位，以该最优矢状位为中间层，选取连续3层矢状位，从而生成3通道的矢状位CT图像。
上述生成矢状位CT图像的具体方法可以参照现有技术，本发明实施例中不再赘述。
可选地，所述输入图像也可以为对CT原始数据进行图像预处理后得到的图像，或者，所述输入图像还可以为对矢状位CT图像(例如，所述矢状位CT图像可以为对CT原始数据进行转换后得到的图像)进行图像预处理后得到的图像。
所述图像预处理可以包括：加窗预处理操作、图像尺寸统一操作及图像标准化操作等。
下面以这几种操作为例，对所述图像预处理进行详细说明。
一、加窗预处理操作：
通常，将矢状位CT图像中的像素称为HU(Hounsfiled unit)值，也可以称CT值，HU值(或CT值)可以反映身体组织对X射线的吸收程度。
一种常用的做法是：以水对X射线的吸收程度作为参考，比如，假设水的HU＝0，相应地，衰减系数大于水的身体组织为正值，衰减系数小于水的身体组织为负值。
身体组织通过CT图像可以分辨出2000多个不同的灰度，这2000多个不同的灰度可以分别对应血液，水，软组织，骨头，空气等等多种身体组织。为了便于算法处理，一般情况下，在对CT原始数据进行处理之前，都会先对CT原始数据进行加窗预处理操作。
加窗预处理操作可以将所述矢状位CT图像满足一定条件的像素点转换到灰度值范围[0,255]。
例如，加窗预处理操作可以包括两个参数：窗宽(例如，窗宽可以字母W表示)和窗位(例如，窗位可以字母L表示)，加窗预处理的本质可以理解为：将原始CT原始数据中处于[L-W/2,L+W/2]范围内的HU值转换到灰度值范围[0,255]，其中，W和L均为正整数。
假设CT原始数据尺寸为512×512，也就是说，该CT原始数据中共有512×512个HU值。同时，可以将窗宽设置为1000，将窗位设置为350，相应地，加窗预处理的具体方法可以为：对于CT原始数据中的一个HU值，若该HU值小于或等于-150，则可以将该HU值对应的灰度值变换为灰度值0；若CT原始数据中的一个HU值大于或等于850，则可以将该HU值对应的灰度值变换为灰度值255；若CT原始数据中的一个HU值位于-150与850之间，则可以对该HU值进行线性变换，以将其转换为(0,255)之间的某个灰度值。
二、图像尺寸统一操作：
图像尺寸统一操作可以将所述输入图像转换为同一尺寸。比如，图像尺寸统一操作可以对所述矢状位CT图像进行剪裁或填充操作，以使得所述矢状位CT图像的尺寸一致。
例如，图像尺寸统一操作可以包括：将加窗预处理操作后得到的图像的尺寸均转换为H*W，其中，H和W均为正整数。
其中，对于所述输入图像中的某一通道图像的尺寸大于H×W，对其进行剪裁操作；对于所述输入图像中的某一通道图像的尺寸小于H×W，对其进行补0操作，以将该图像的尺寸填充为H×W。
例如，假设要将输入图像中的每个通道图像的尺寸统一为512×512，具体地，对于所述输入图像中的每个通道图像，若某一通道图像的尺寸大于512×512，对其进行中心剪裁操作，即以该图像的中心为剪裁后的图像的中心，将该图像剪裁成尺寸为512×512的图像；若某一通道图像的尺寸小于512×512，对其进行补0操作，即对该图像的宽或高进行填充(例如，对该图像的宽或高补0)，以将该图像填充成尺寸为512×512的图像。
三、图像标准化操作：
图像标准化操作可以指对所述输入图像中的各像素点进行标准化的处理或转化等。
可选地，可以将所述输入图像中的各像素点的像素值转换到某一标准分布中(例如，现有的各种分布)，或对所述输入图像中的各像素点的像素值进行归一化操作。
例如，可以将所述矢状位CT图像中各像素点的像素值转换到以0为均值，1为标准差的分布中。
或者，可以对所述矢状位CT图像中各像素点的像素值进行归一化操作，即将图像的像素值由[0,255]转换到[0,1]。
需要说明的是，上述关于所述图像预处理的实施例仅为示例而非限定，所述图像预处理也可以包括其他的操作或处理，本发明实施例中对此并不限定。
可选地，在所述S210中，所述使用所述特征提取模块获取输入图像的特征图，可以包括：
确定所述输入图像的m个不同尺度的特征图，m为大于或等于2的整数；根据所述m个不同尺度的特征图确定所述n个不同尺度的特征图，所述n个不同尺度的特征图中每一个是由所述m个不同尺度的特征图中的多个不同尺度的特征图确定的。
进一步地，所述m个不同尺度的特征图可以表示为ci，所述n个不同尺度的特征图可以表示为pj，i、j为整数且1≤i≤m，2≤j≤n+1。
此时，所述根据所述m个不同尺度的特征图确定所述n个不同尺度的特征图，可以包括：
根据所述候选特征图cn确定所述特征图pn；根据所述特征图pn确定所述特征图pn+1；根据所述候选特征图cj-1、cj、cj+1与所述特征图pj+1，确定所述n个不同尺度的特征图中除所述特征图pn与所述特征图pn+1以外的特征图pj。
需要说明的是，所述特征提取模块可以为下述图3中方法300中的网络主干，所述根据所述m个候选特征图确定所述n个特征图的具体方法，可以参照下述方法300中关于图4中的网络主干及图5中的多级特征增强模块的描述，这里不再赘述。
S220，使用所述图像分割模块基于所述特征图对所述输入图像进行椎体分割，得到所述输入图像中待测量脊柱椎体的图像分割结果。
其中，所述图像分割结果可以用于确定所述待测量脊柱椎体中的目标区域。
所述图像分割模块可以包括候选区域选取单元、特征融合单元及图像分割单元，所述输入图像的特征图可以包括n个不同尺度的特征图，n为大于或等于2的整数。
可选地，所述基于所述特征图对所述输入图像进行椎体分割，得到所述输入图像中待测量脊柱椎体的图像分割结果，可以包括：
使用所述候选区域选取单元确定所述n个不同尺度的特征图中的n个不同尺度的候选区域的特征；使用所述特征融合单元对所述n个不同尺度的区域的特征进行特征融合，得到融合后的特征；使用所述图像分割单元，基于所述融合后的特征对所述输入图像进行椎体分割，得到所述图像分割结果。
需要说明的是，所述图像分割模块中的候选区域选取单元可以为下述图3中方法300中的候选区域选取模块，所述图像分割模块中的特征融合单元可以为下述方法300中的融合模块，所述图像分割模块中的图像分割单元可以为下述方法300中的卷积模块及截断模块，所述使用所述图像分割模块基于所述特征图对所述输入图像进行椎体分割的具体方法，可以参照下述方法300中的实施例，这里不再赘述。
S230，使用所述骨密度估算模块，根据所述图像分割结果进行骨密度值估算，得到所述目标区域的骨密度值。
可选地，所述使用所述骨密度估算模块，根据所述图像分割结果进行骨密度值估算，得到所述目标区域的骨密度值，可以包括：
对所述图像分割结果进行腐蚀处理，得到处理后的图像分割结果，所述腐蚀处理能够减小所述图像分割结果的前景区域；基于所述处理后的图像分割结果进行骨密度估算，得到所述目标区域的骨密度值。
需要说明的是，所述骨密度测量模块可以为下述图3中方法300中的堆叠腐蚀模块及估值模块，所述根据所述图像分割结果进行骨密度值估算的具体方法，可以参照下述方法300中的实施例，这里不再赘述。
图3是本发明一个实施例的测量骨密度的方法300的示意性框图。该方法300可以由骨密度测量模型执行，所述骨密度测量模型可以为图1中的测量骨密度的装置120。
应理解，图3示出了方法300的步骤或操作，但这些步骤或操作仅是示例，本发明实施例还可以执行其他操作或者图3中方法300的各个操作的变形，或者，并不是所有步骤都需要执行，或者，这些步骤可以按照其他顺序执行。
在本发明一种可能的实现方式中，所述骨密度测量模型可以是基于深度学习方法预先训练后得到的，如图3所示，所述骨密度测量模型可以包括S310中的网络主干、S320中的候选区域选取模块、S330中的融合模块、S340中的卷积模块、S350中的截断模块、S360中的堆叠腐蚀模块及S370中的估值模块。
S310，使用网络主干提取输入图像的多个不同尺度的特征图。
其中，所述输入图像可以包括待测量脊柱椎体，所述输入图像可以是单个图像形成的单通道图像，也可以是由多个图像形成的多通道图像。
相应地，所述多个不同尺度的特征图可以为所述单通道图像的多个不同尺度的特征图，也可以为所述多通道图像的多个不同尺度的特征图。
所述输入图像可以包括：使用CT机扫描(或拍摄)待测量脊柱椎体后得到的CT图像。或者，所述输入图像也可以包括其他包含待测量脊柱椎体的图像或身体其他部位的图像。
可选地，所述输入图像也可以为对CT原始数据进行图像预处理后得到的图像，或者，所述输入图像还可以为对矢状位CT图像(例如，所述矢状位CT图像可以为对CT原始数据进行转换后得到的图像)进行图像预处理后得到的图像。
关于所述输入图像、所述多个特征图及所述图像预处理的具体描述可以参照方法200中的实施例，这里不再赘述。
可选地，在方法300中，所述网络主干可以采用Mask RCNN的网络主干。
例如，如图4所示，所述网络主干的左端可以为编码部分，所述网络主干的右端可以为特征金字塔(feature pyramid network，FPN)结构。其中，所述编码部分的结构可以采用ResNet、Inception、MobileNet等结构，本发明实施例中对此并不限定。
图4中的C1、C2、C3、C4、C5可以为经不同层级的编码操作后得到的不同尺度的特征图，P2、P3、P4、P5、P6可以为融合后得到的特征图，即：对于i的取值为2,3,4的每一个Pi，该Pi可以为其对应的Ci-1、Ci、Ci+1、Pi+1和Pi+2融合后得到的特征图，P5为C5经过1×1卷积压缩后的特征图，P6为P5经过二倍下采样后的特征图。
进一步地，如图4所示，对于i的取值为2,3,4的每一个Pi，还可以为先通过多级特征增强模块对Ci-1、Ci和Ci+1进行融合，后将多级特征增强模块融合后的特征与Pi+1和Pi+2再进行特征融合，得到特征图Pi。
如图4所示，本发明中的所述网络主干的3个多级特征增强模块分别以网络主干左侧的Ci，Ci+1，Ci-1(i＝2,3,4)为输入。例如，以第一个多级特征增强模块(即i＝2)为例，其输入Ci-1为C1，Ci为C2，Ci+1为C3。
与Ci相比，Ci+1具有更多的细节特征，而Ci-1具有更多纹理特征，因此，在本发明实施例中，在i的取值为2,3,4的情况下，通过所述多级特征增强模块，可以将Ci+1和Ci-1中更多有用的特征补充到Ci，从而有助于提高所述骨密度测量模型的性能。
其中，所述多级特征增强模块可以如图5中所示。
需要说明的是，图5中的“C”(圆圈中的C)代表通道数合并操作，“+”(圆圈中的+)代表逐像素相加操作。下面对图5中的多级特征增强模块进行举例说明。
例如，图5中的特征图Ci的尺度大小可以为N×C×H×W，特征图Ci+1的尺度大小可以为N×2C×H/2×W/2，特征图Ci-1的尺度大小可以为N×C/2×2H×2W，其中，N可以表示一个批量(batch)中的图像的个数，C可以表示特征图Ci的通道数，H可以表示特征图Ci的高，W可以表示特征图Ci的宽。
图5中的过渡层可以为1×1卷积，其作用可以是将特征图Ci-1的通道数由C/2变为C。
图5中的压缩层可以为1×1卷积，其作用可以是将特征图Ci+1的通道数由2C变为C。
图5中的下采样层可以为2倍下采样，下采样操作可以为核尺寸为2×2，步长为2的池化(pooling)层；或者，也可以为核大小为3×3，步长为2的卷积层。该下采样层的作用可以是将特征图的高×宽由2H×2W变为H×W。
图5中的上采样层可以为2倍上采样，上采样操作可以为核大小为2×2，步长为2的上池化(unpooling)层；或者，也可以为核大小为2×2，步长为2的反卷积层；或者，还可以为核大小为2×2，步长为2的临近插值或双线性插值。该上采样操作的作用可以是将特征图Ci-1的高×宽由H/2×W/2变为H×W。
可以看出，本发明中的融合方式为：先将多级特征增强模块的输出经过1×1卷积压缩后的特征、Pi+1经过二倍上采样后的特征、Pi+2经过四倍上采样后的特征进行通道合并，再将合并后的特征使用1×1卷积进行融合。本发明采用的这种融合方式，增加了模型中不同尺度的特征图的连接，从而有助于提高所述骨密度测量模型的性能。
随后，可以将提取到的所述输入图像的多个尺度的特征图P2、P3、P4、P5、P6传输至候选区域选取模块中。
S320，使用候选区域选取模块选取所述多个尺度的特征图中的多个候选区域。
其中，所述候选区域选取模块可以为区域建议网络(region proposal network，RPN)。
所述多个候选区域可以理解为：在所述多个尺度的特征图中初步选取出的目标区域。因此，也可以将所述多个候选区域称为多个候选目标区域。
换句话说，所述多个候选目标区域可以用于确定所述目标区域，或者说，所述多个候选目标区域可以用于指示所述目标区域。
例如，可以使用候选区域选取模块，提取所述多个尺度的特征图中的多个候选区域(即所述多个候选目标区域)的特征；可以根据所述多个候选区域的特征，确定所述目标区域。
进一步地，所述多个尺度的特征图中的每一个尺度的特征图中可以选出多个候选区域。
例如，假设有n个尺度的特征图，每个尺度的特征图中可以选取2个候选区域(需要说明的是，这2个候选区域可能只有一个候选区域可以用于确定目标区域，另一个候选区域可能是在候选区域选取过程中引入的误差)，也就是说，从这n个特征图中可以选取2n个候选区域。
如图6所示，所述多个候选目标区域可以为特征图P2、P3、P4、P5、P6中的斜线框。
关于所述使用候选区域选取模块选取所述多个候选区域的具体方法，可以参考现有技术中使用RPN选取候选区域的方法，这里不再赘述。
S330，使用融合模块对所述多个候选区域进行特征融合，得到融合后的特征。
如图6所示，所述融合模块可以包括ROIAlign模块，还可以包括对ROIAlign模块处理后的特征进行的融合操作。
以输入图像中的某一椎体为例，其在特征图P2、P3、P4、P5、P6中的候选区域可以分别为P2a、P3a、P4a、P5a、P6a(如图6中左端P2、P3、P4、P5、P6中的空心方框)。
ROIAlign模块可以包括将P2a、P3a、P4a、P5a、P6a均重采样成h'×w'的特征图，将重采样后的所有特征图进行融合操作，得到融合后的特征图m1；如图6所示，所述融合后的特征图可以用于分类和回归，其中，h'和w'均为正整数。
同时，如图6所示，ROIAlign模块还可以包括分别将P2a和P3a均重采样成h×w，将P4a和P5a均重采样成h/2×w/2，将P6a重采样成h/4×w/4，其中，h和w均为正整数。
可选地，可以将重采样后的P2a和P3a进行融合，得到融合后的特征m2，将重采样后的P4a和P5a进行融合，得到融合后的特征m3。
进一步地，可以将得到的3种不同尺度的特征图(即图6中的m2、m3及将P6a重采样后得到的尺度为h/4×w/4的特征)通过3×3卷积和上采样操作进行融合，得到融合后的特征，所述融合后的特征可以用于椎体分割和骨密度估测。
需要说明的是，这里提到的所述融合操作可以是多个特征图相加，也可以是特征图的通道合并，还可以是多个特征图的对应像素选取最大值。
例如，在图6中，h'和w'可以均为7，则将P2a、P3a、P4a、P5a、P6a送入ROIAlign模块后均重采样为7×7的特征图。将5个重采样后的特征图使用逐像素相加操作进行特征融合，得到一个7×7的特征图m1，用于分类和回归。
再例如，如图6所示，h和w可以均为56，则可以由ROIAlign模块将P2a和P3a均重采样成56×56的特征图；将P4a和P5a均重采样成28×28的特征图；将P6a重采样成14×14的特征图。
此时，可以将得到的这3种不同尺度的特征图通过3×3卷积和上采样操作进行融合，融合后的特征用于图像分割(例如，所述图像分割可以指椎体分割)和骨密度估测。
可选地，在图6中的融合方式可以为：先将两个56×56的特征图采用对应像素选取最大值操作得到一个56×56的特征图m2，将两个28×28的特征图采用对应像素选取最大值操作得到一个28×28的特征图m3；然后将14×14的特征图经过3×3卷积和二倍上采样操作变成28×28的特征图；将这一28×28的特征图与m3逐像素相加后，进行3×3卷积和二倍上采样操作，得到56×56的特征图；将这一56×56的特征图与m2逐像素相加后得到56×56的融合后的特征。
所述融合后的特征具有多尺度特征，可以用于图像分割(例如，所述图像分割可以指椎体分割)和骨密度估测。
S340，使用卷积模块对所述融合后的特征进行图像分割，得到候选图像分割结果。
可选地，所述卷积模块可以包括多个卷积操作，例如，所述多个卷积操作可以包括3×3卷积、1×1卷积和/或上采样操作。
可选地，所述卷积模块中最后一个卷积操作后使用sigmoid激活函数或者softmax激活函数。
可选地，所述卷积模块进行图像分割后得到的候选图像分割结果可以为预测掩模，即目标椎体的分割预测。
由于图像分割的准确性会影响到后续操作的准确性，因此，为了获得更好的椎体分割结果，在训练所述卷积模块时，可以使用分割掩模标签辅助训练。
需要说明的是，所述卷积块进行图像分割后得到的候选图像分割结果(即预测掩模)中的每一个数值均可以为概率值，即每个概率值表示预测是目标区域(即目标椎体)中的像素点的概率值。因此，可以将所述候选图像分割结果转换为二值掩模，以用于后续操作。因此，在本发明实施例中的S350中可以使用截断模块，生成图像分割结果(即椎体分割的结果)。
S350，使用截断模块对所述候选图像分割结果进行截断处理，得到图像分割结果。
其中，所述图像分割结果可以用于确定所述待测量脊柱椎体中的目标区域。
可选地，所述截断模块的操作可以为：预先设置一个阈值，对于所述候选图像分割结果中大于所述阈值的像素点，可以将其像素值设为1；对于所述候选图像分割结果中小于或等于所述阈值的像素点，可以将其像素值设为0。
S360，使用堆叠腐蚀模块对所述图像分割结果进行腐蚀处理，得到目标区域的掩模；根据所述目标区域的掩模确定所述目标区域的特征。
可以看出，S360中可以包括两个步骤：堆叠腐蚀以及堆叠腐蚀后的掩模与特征图结合。
例如，可以先采用堆叠腐蚀模块对所述图像分割结果进行腐蚀处理，得到目标区域的掩模。堆叠腐蚀模块由多个核大小为3×3，步长为1，补0个数(pad)为1的最小池化(minpooling)层组成。该模块中的每一个最小池化操作相当于形态学中的腐蚀操作。椎体的分割掩模经过该模块后，掩模的前景区域变小，即腐蚀操作后的掩模可用来椎体内部区域提取。
接下来，如图3所示，可以将所述目标区域的掩模(即堆叠腐蚀后的掩模)与ROIAlign模块重采样并融合后的特征图相乘，得到所述目标区域的特征(即目标椎体内部区域的特征)。
S370，使用估值模块，基于所述目标区域的特征估算所述目标区域的骨密度值。
可选地，所述估值模块可以为现有技术中的回归网络，所述估值模块的作用可以是基于所述目标区域的特征估算骨密度值。
例如，所述估值模块可以包括一个3×3卷积，一个数据压平(flatten)层，一个具有多个神经元的全连接层，一个只有一个神经元的全连接层(因为一个目标椎体只有一个骨密度值，因此，需要一个神经元即可)。
接下来，可以简单描述所述骨密度测量模型的训练过程。
例如，可以使用迁移学习的方法，将使用ImageNet训练好的经典网络模型参数作为预训练模型参数对网络主干进行参数初始化，使用四步交替法进行训练：首先独立训练RPN模块，然后使用RPN模块生成的候选区域独立训练RPN模块后面的网络部分。再次训练RPN模块，此时固定网络主干的参数，只更新RPN独有的部分。最后，使用RPN的结果再次训练RPN模块后面的网络部分，固定网络主干和RPN模块的参数，只更新RPN模块后面的网络部分的参数。
需要特别说明的是，在训练过程中，可以采用下述两种训练方式任一种训练骨密度估量分支(例如，如图7及图8所示，所述骨密度估量分支可以包括卷积模块、截断模块、堆叠腐蚀模块和估值模块)。
方式一：
将预测的掩模用于后续的估值模块训练。
如图7所示，可以使用卷积模块、截断模块及堆叠腐蚀模块确定的特征图作为所述估值模块的输入，以训练所述估值模块。
方式二：
将分割掩模标签用于后续的估值模块训练。
由于截断模块和堆叠腐蚀模块只是进行前向传播的操作，在训练过程中不需要更新这两个模块的参数，因此，如图8所示，可以使用分割掩模标签提取的特征图作为所述估值模块的输入，以训练所述估值模块。
图9是本发明一个实施例提供的测量骨密度的装置900的示意性框图。应理解，图9示出的测量骨密度的装置900仅是示例，本发明实施例的装置900还可包括其他模块或单元。
应理解，装置900能够执行图2及图3的方法中的各个步骤，为了避免重复，此处不再详述。
可选地，所述装置900可以是基于深度学习方法预先训练后得到的。
在本发明一种可能的实现方式中，所述装置包括：
特征提取模块910，用于获取输入图像的特征图，所述输入图像包括待测量脊柱椎体；
图像分割模块920，用于基于所述特征图对所述输入图像进行椎体分割，得到所述输入图像中待测量脊柱椎体的图像分割结果，所述图像分割结果用于确定所述待测量脊柱椎体中的目标区域；
骨密度估算模块930，用于根据所述图像分割结果进行骨密度值估算，得到所述目标区域的骨密度值。
可选地，所述图像分割模块920包括候选区域选取单元、特征融合单元及图像分割单元，所述输入图像的特征图包括n个不同尺度的特征图，n为大于或等于2的整数；其中，所述图像分割模块920具体用于：
使用所述候选区域选取单元确定所述n个不同尺度的特征图中的n个不同尺度的候选区域的特征；使用所述特征融合单元对所述n个不同尺度的候选区域的特征进行特征融合，得到融合后的特征；使用所述图像分割单元，基于所述融合后的特征对所述输入图像进行椎体分割，得到所述图像分割结果。
可选地，所述特征提取模块910具体用于：
确定所述输入图像的m个不同尺度的特征图，m为大于或等于2的整数；根据所述m个不同尺度的特征图确定所述n个不同尺度的特征图，所述n个不同尺度的特征图中每一个是由所述m个不同尺度的特征图中的多个不同尺度的特征图确定的。
可选地，所述m个不同尺度的特征图为ci，所述n个不同尺度的特征图为pj，i、j为整数且1≤i≤m，2≤j≤n+1；其中，所述图像分割模块920具体用于：
根据所述候选特征图cn确定所述特征图pn；根据所述特征图pn确定所述特征图pn+1；根据所述候选特征图cj-1、cj、cj+1与所述特征图pj+1，确定所述n个不同尺度的特征图中除所述特征图pn与所述特征图pn+1以外的特征图pj。
可选地，所述骨密度模块930具体用于：
对所述图像分割结果进行腐蚀处理，得到处理后的图像分割结果，所述腐蚀处理能够减小所述图像分割结果的前景区域；基于所述处理后的图像分割结果进行骨密度估算，得到所述目标区域的骨密度值。
应理解，这里的测量骨密度的装置900以功能模块的形式体现。这里的术语“模块”可以通过软件和/或硬件形式实现，对此不作具体限定。例如，“模块”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit，ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。
作为一个示例，本发明实施例提供的测量骨密度的装置900可以是处理器或芯片，以用于执行本发明实施例所述的方法。
图10是本发明一个实施例的测量骨密度的装置400的示意性框图。图10所示的装置400包括存储器401、处理器402、通信接口403以及总线404。其中，存储器401、处理器402、通信接口403通过总线404实现彼此之间的通信连接。
存储器401可以是只读存储器(read only memory，ROM)，静态存储设备，动态存储设备或者随机存取存储器(random access memory，RAM)。存储器401可以存储程序，当存储器401中存储的程序被处理器402执行时，处理器402用于执行本发明实施例的测量骨密度的方法的各个步骤，例如，可以执行图2及图3所示实施例的各个步骤。
处理器402可以采用通用的中央处理器(central processing unit，CPU)，微处理器，应用专用集成电路(application specific integrated circuit，ASIC)，或者一个或多个集成电路，用于执行相关程序，以实现本发明方法实施例的测量骨密度的方法。
处理器402还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本发明实施例的测量骨密度的方法的各个步骤可以通过处理器402中的硬件的集成逻辑电路或者软件形式的指令完成。
上述处理器402还可以是通用处理器、数字信号处理器(digital signalprocessing，DSP)、专用集成电路(ASIC)、现成可编程门阵列(field programmable gatearray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器401，处理器402读取存储器401中的信息，结合其硬件完成本发明实施例中测量骨密度的装置包括的单元所需执行的功能，或者，执行本发明方法实施例的测量骨密度的方法，例如，可以执行图2及图3所示实施例的各个步骤/功能。
通信接口403可以使用但不限于收发器一类的收发装置，来实现装置400与其他设备或通信网络之间的通信。
总线404可以包括在装置400各个部件(例如，存储器401、处理器402、通信接口403)之间传送信息的通路。
应理解，本发明实施例所示的装置400可以是处理器或芯片，以用于执行本发明实施例所述的方法。
应理解，本发明实施例中的处理器可以为中央处理单元(central processingunit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A,B可以是单数或者复数。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系，但也可能表示的是一种“和/或”的关系，具体可参考前后文进行理解。
本发明中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。
应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种测量骨密度的方法，其特征在于，所述方法由骨密度测量模型执行，所述骨密度测量模型是基于深度学习方法预先训练后得到的，所述骨密度测量模型包括特征提取模块、图像分割模块及骨密度估算模块，包括：
使用所述特征提取模块获取输入图像的特征图，所述输入图像包括待测量脊柱椎体；
使用所述图像分割模块基于所述特征图对所述输入图像进行椎体分割，得到所述输入图像中待测量脊柱椎体的图像分割结果，所述图像分割结果用于确定所述待测量脊柱椎体中的目标区域；
使用所述骨密度估算模块，根据所述图像分割结果进行骨密度值估算，得到所述目标区域的骨密度值。
2.根据权利要求1所述的方法，其特征在于，所述图像分割模块包括候选区域选取单元、特征融合单元及图像分割单元，所述输入图像的特征图包括n个不同尺度的特征图，n为大于或等于2的整数；
其中，所述基于所述特征图对所述输入图像进行椎体分割，得到所述输入图像中待测量脊柱椎体的图像分割结果，包括：
使用所述候选区域选取单元确定所述n个不同尺度的特征图中的n个不同尺度的候选区域的特征；
使用所述特征融合单元对所述n个不同尺度的候选区域的特征进行特征融合，得到融合后的特征；
使用所述图像分割单元，基于所述融合后的特征对所述输入图像进行椎体分割，得到所述图像分割结果。
3.根据权利要求2所述的方法，其特征在于，所述使用所述特征提取模块获取输入图像的特征图，包括：
确定所述输入图像的m个不同尺度的特征图，m为大于或等于2的整数；
根据所述m个不同尺度的特征图确定所述n个不同尺度的特征图，所述n个不同尺度的特征图中每一个是由所述m个不同尺度的特征图中的多个不同尺度的特征图确定的。
4.根据权利要求3所述的方法，其特征在于，所述m个不同尺度的特征图为ci，所述n个不同尺度的特征图为pj，i、j为整数且1≤i≤m，2≤j≤n+1；
其中，所述根据所述m个不同尺度的特征图确定所述n个不同尺度的特征图，包括：
根据所述特征图cn确定所述特征图pn；
根据所述特征图pn确定所述特征图pn+1；
根据所述特征图cj-1、cj、cj+1与所述特征图pj+1，确定所述n个不同尺度的特征图中除所述特征图pn与所述特征图pn+1以外的特征图pj。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述使用所述骨密度估算模块，根据所述图像分割结果进行骨密度值估算，得到所述目标区域的骨密度值，包括：
对所述图像分割结果进行腐蚀处理，得到处理后的图像分割结果，所述腐蚀处理能够减小所述图像分割结果的前景区域；
基于所述处理后的图像分割结果进行骨密度估算，得到所述目标区域的骨密度值。
6.一种测量骨密度的装置，其特征在于，所述装置是基于深度学习方法预先训练后得到的，所述装置包括：
特征提取模块，用于获取输入图像的特征图，所述输入图像包括待测量脊柱椎体；
图像分割模块，用于基于所述特征图对所述输入图像进行椎体分割，得到所述输入图像中待测量脊柱椎体的图像分割结果，所述图像分割结果用于确定所述待测量脊柱椎体中的目标区域；
骨密度估算模块，用于根据所述图像分割结果进行骨密度值估算，得到所述目标区域的骨密度值。
7.根据权利要求6所述的装置，其特征在于，所述图像分割模块包括候选区域选取单元、特征融合单元及图像分割单元，所述输入图像的特征图包括n个不同尺度的特征图，n为大于或等于2的整数；
其中，所述图像分割模块具体用于：
使用所述候选区域选取单元确定所述n个不同尺度的特征图中的n个不同尺度的候选区域的特征；
使用所述特征融合单元对所述n个不同尺度的候选区域的特征进行特征融合，得到融合后的特征；
使用所述图像分割单元，基于所述融合后的特征对所述输入图像进行椎体分割，得到所述图像分割结果。
8.根据权利要求7所述的装置，其特征在于，所述特征提取模块具体用于：
确定所述输入图像的m个不同尺度的特征图，m为大于或等于2的整数；
根据所述m个不同尺度的特征图确定所述n个不同尺度的特征图，所述n个不同尺度的特征图中每一个是由所述m个不同尺度的特征图中的多个不同尺度的特征图确定的。
9.根据权利要求8所述的装置，其特征在于，所述m个不同尺度的特征图为ci，所述n个不同尺度的特征图为pj，i、j为整数且1≤i≤m，2≤j≤n+1；
其中，所述图像分割模块具体用于：
根据所述特征图cn确定所述特征图pn；
根据所述特征图pn确定所述特征图pn+1；
根据所述特征图cj-1、cj、cj+1与所述特征图pj+1，确定所述n个不同尺度的特征图中除所述特征图pn与所述特征图pn+1以外的特征图pj。
10.根据权利要求6至9中任一项所述的装置，其特征在于，所述骨密度模块具体用于：
对所述图像分割结果进行腐蚀处理，得到处理后的图像分割结果，所述腐蚀处理能够减小所述图像分割结果的前景区域；
基于所述处理后的图像分割结果进行骨密度估算，得到所述目标区域的骨密度值。
11.一种测量骨密度的装置，其特征在于，包括处理器和存储器，所述存储器用于存储程序指令，所述处理器用于调用所述程序指令来执行权利要求1至5中任一项所述的方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序指令，当所述程序指令由处理器运行时，实现权利要求1至5中任一项所述的方法。
CN202011413929.9A 2020-12-04 2020-12-04 测量骨密度的方法及装置 Active CN112529863B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011413929.9A CN112529863B (zh) 2020-12-04 2020-12-04 测量骨密度的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011413929.9A CN112529863B (zh) 2020-12-04 2020-12-04 测量骨密度的方法及装置

Publications (2)

Publication Number Publication Date
CN112529863A true CN112529863A (zh) 2021-03-19
CN112529863B CN112529863B (zh) 2024-01-23

Family

ID=74997069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011413929.9A Active CN112529863B (zh) 2020-12-04 2020-12-04 测量骨密度的方法及装置

Country Status (1)

Country Link
CN (1) CN112529863B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023010785A1 (zh) * 2021-08-06 2023-02-09 中国人民解放军总医院第一医学中心 一种骨强度模拟计算方法、装置及存储介质
TWI828096B (zh) * 2022-03-25 2024-01-01 英屬開曼群島商百蒂醫股份有限公司 X光影像分析方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097353A (zh) * 2016-06-15 2016-11-09 北京市商汤科技开发有限公司 基于多层次局部区域融合的物体分割方法及装置、计算设备
CN108986115A (zh) * 2018-07-12 2018-12-11 佛山生物图腾科技有限公司 医学图像分割方法、装置及智能终端
CN110544245A (zh) * 2019-08-30 2019-12-06 北京推想科技有限公司 图像处理方法、装置、计算机可读存储介质及电子设备
WO2019238126A1 (zh) * 2018-06-15 2019-12-19 北京市商汤科技开发有限公司 图像分割及分割网络训练方法和装置、设备、介质、产品
CN110969632A (zh) * 2019-11-28 2020-04-07 北京推想科技有限公司 一种深度学习模型的训练方法、图像处理方法及装置
CN111192248A (zh) * 2019-12-30 2020-05-22 山东大学 一种用于核磁共振成像中的椎体定位、识别和分割的多任务关系学习方法
CN111292330A (zh) * 2020-02-07 2020-06-16 北京工业大学 基于编解码器的图像语义分割方法及装置
CN111325754A (zh) * 2020-01-02 2020-06-23 武汉大学 一种基于ct序列图像的腰椎骨自动定位方法
WO2020199694A1 (zh) * 2019-04-03 2020-10-08 中国科学院深圳先进技术研究院 一种脊柱Cobb角测量方法、装置、可读存储介质及终端设备
WO2020199593A1 (zh) * 2019-04-04 2020-10-08 平安科技（深圳）有限公司 图像分割模型训练方法、图像分割方法、装置、设备及介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097353A (zh) * 2016-06-15 2016-11-09 北京市商汤科技开发有限公司 基于多层次局部区域融合的物体分割方法及装置、计算设备
WO2019238126A1 (zh) * 2018-06-15 2019-12-19 北京市商汤科技开发有限公司 图像分割及分割网络训练方法和装置、设备、介质、产品
CN108986115A (zh) * 2018-07-12 2018-12-11 佛山生物图腾科技有限公司 医学图像分割方法、装置及智能终端
WO2020199694A1 (zh) * 2019-04-03 2020-10-08 中国科学院深圳先进技术研究院 一种脊柱Cobb角测量方法、装置、可读存储介质及终端设备
WO2020199593A1 (zh) * 2019-04-04 2020-10-08 平安科技（深圳）有限公司 图像分割模型训练方法、图像分割方法、装置、设备及介质
CN110544245A (zh) * 2019-08-30 2019-12-06 北京推想科技有限公司 图像处理方法、装置、计算机可读存储介质及电子设备
CN110969632A (zh) * 2019-11-28 2020-04-07 北京推想科技有限公司 一种深度学习模型的训练方法、图像处理方法及装置
CN111192248A (zh) * 2019-12-30 2020-05-22 山东大学 一种用于核磁共振成像中的椎体定位、识别和分割的多任务关系学习方法
CN111325754A (zh) * 2020-01-02 2020-06-23 武汉大学 一种基于ct序列图像的腰椎骨自动定位方法
CN111292330A (zh) * 2020-02-07 2020-06-16 北京工业大学 基于编解码器的图像语义分割方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023010785A1 (zh) * 2021-08-06 2023-02-09 中国人民解放军总医院第一医学中心 一种骨强度模拟计算方法、装置及存储介质
TWI828096B (zh) * 2022-03-25 2024-01-01 英屬開曼群島商百蒂醫股份有限公司 X光影像分析方法

Also Published As

Publication number Publication date
CN112529863B (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
CN110321920B (zh) 图像分类方法、装置、计算机可读存储介质和计算机设备
JP2024056701A (ja) 深層学習法を使用する３ｄ歯顎顔面構造の分類および３ｄモデリング
US11514573B2 (en) Estimating object thickness with neural networks
CN109978037B (zh) 图像处理方法、模型训练方法、装置、和存储介质
CN111429421B (zh) 模型生成方法、医学图像分割方法、装置、设备及介质
KR20220066945A (ko) 이미지 프로세싱 방법, 장치, 전자 디바이스 및 컴퓨터 판독가능 저장 매체
EP3692463A2 (en) Automated classification and taxonomy of 3d teeth data using deep learning methods
CN114549552A (zh) 基于空间邻域分析的肺部ct图像分割装置
CN112529863B (zh) 测量骨密度的方法及装置
WO2021017006A1 (zh) 图像处理方法及装置、神经网络及训练方法、存储介质
CN113205523A (zh) 多尺度表征优化的医学影像分割识别系统、终端及存储介质
CN113554665A (zh) 一种血管分割方法及装置
WO2018049598A1 (zh) 一种眼底图像增强方法及系统
CN111091575B (zh) 一种基于强化学习方法的医学图像分割方法
CN108038840B (zh) 一种图像处理方法、装置、图像处理设备及存储介质
Yin et al. CoT-UNet++: A medical image segmentation method based on contextual Transformer and dense connection
Kolarik et al. Upsampling algorithms for autoencoder segmentation neural networks: A comparison study
CN113077418A (zh) 基于卷积神经网络的ct影像骨骼分割方法及装置
CN116485809B (zh) 基于自注意力与感受野调整的牙齿实例分割方法及系统
CN112617770A (zh) 基于人工智能的颅内动脉瘤风险预测方法及相关装置
CN114049315B (zh) 关节识别方法、电子设备、存储介质及计算机程序产品
CN111466894B (zh) 一种基于深度学习的射血分数计算方法及系统
US11455755B2 (en) Methods and apparatus for neural network based image reconstruction
CN112419283A (zh) 估计厚度的神经网络及其方法
CN112017136A (zh) 一种基于深度学习的肺部ct图像参数重建方法、系统、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant