CN114187284A - 一种基于配对图像的MDCT和Micro-CT图像映射及骨结构测量方法 - Google Patents

一种基于配对图像的MDCT和Micro-CT图像映射及骨结构测量方法 Download PDF

Info

Publication number
CN114187284A
CN114187284A CN202111537649.3A CN202111537649A CN114187284A CN 114187284 A CN114187284 A CN 114187284A CN 202111537649 A CN202111537649 A CN 202111537649A CN 114187284 A CN114187284 A CN 114187284A
Authority
CN
China
Prior art keywords
image
micro
mdct
images
bone structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111537649.3A
Other languages
English (en)
Inventor
袁慧书
金丹
郎宁
郑汉
张艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Third Hospital Peking University Third Clinical Medical College
Original Assignee
Peking University Third Hospital Peking University Third Clinical Medical College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Third Hospital Peking University Third Clinical Medical College filed Critical Peking University Third Hospital Peking University Third Clinical Medical College
Priority to CN202111537649.3A priority Critical patent/CN114187284A/zh
Publication of CN114187284A publication Critical patent/CN114187284A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供一种基于配对图像的MDCT和Micro‑CT图像映射及骨结构测量方法，包括：获取同一骨骼的MDCT图像和Micro‑CT图像；对所述MDCT图像和所述Micro‑CT图像进行轴位匹配，以生成可训练的图像对；将骨骼所对应的所述图像对进行随机选择以作为训练集和测试集，并建立pix2pixHD深度学习模型；利用所述训练集和所述测试集对所述pix2pixHD深度学习模型对进行训练和测试；将需要进行骨结构分析的连续轴位MDCT图像作为训练好的所述pix2pixHD深度学习模型的输入，以获得高分辨率的类Micro‑CT图像，并根据所述类Micro‑CT图像进行骨结构分析。本发明能提高骨结构检测的测量精度，以满足对骨质疏松的早期诊断、预测和预防的需求。

Description

一种基于配对图像的MDCT和Micro-CT图像映射及骨结构测量 方法
技术领域
本发明涉及骨骼图像及骨结构测量技术领域，尤其涉及一种基于配对图像的MDCT和Micro-CT图像映射及骨结构测量方法。
背景技术
目前，骨质疏松症的临床诊断和骨折风险的评估主要是基于双能X射线吸收仪((Dual-energy X-ray Absorptiometry，DXA)对脊柱和/或髋部骨小梁的骨矿物质密度的测量，然而骨密度只能反映60-70％的骨强度变化。高分辨显微计算机断层扫描(MicroComputed Tomograghy，Micro-CT)是影像学领域评估骨结构的金标准，但是由于仪器的孔径小(＜10cm)而无法应用于人体内脊柱及髋关节等解剖部位的骨结构测量。临床应用的多排螺旋计算机断层扫描技术(Multidetector Computed Tomography，MDCT)既可以常规应用于医疗影像诊断，也可以加上校准体模测量骨密度。然而，由于MDCT的分辨率较低，达到约200-500μm，远大于骨小梁的平均厚度，其无法支撑骨结构的精准测量。近年来，随着人工智能的应用及发展，以深度学习方法实现图像增强方面的研究也取得不错的效果，现有的方法主要包括基于实例的方法、基于卷积神经网络(CNN)的方法和基于条件生成式对抗网络(CGAN)的方法。但是，这些方法大多只能适应小尺寸或低分辨率图像的映射，面对高分辨率图像缺乏稳定性。因此，如何对细节差异较大且分辨率差异较大的MDCT与Micro-CT图像间找到映射关系，使得可以再MDCT基础上还原骨小梁细节，进而实现骨结构测量，具有重要的意义。
发明内容
本发明提供一种基于配对图像的MDCT和Micro-CT图像映射及骨结构测量方法，解决现有对骨结构存在测量精度低，无法满足骨质疏松症的早期诊断和预防要求的问题，能提高骨结构的测量精度，以得到高分辨率图像和骨结构细节，满足对骨质疏松的早期诊断、预测和预防的需求。
为实现以上目的，本发明提供以下技术方案：
一种基于配对图像的MDCT和Micro-CT图像映射及骨结构测量方法，包括：
获取同一骨骼的MDCT图像和Micro-CT图像；
对所述MDCT图像和所述Micro-CT图像进行轴位匹配，以生成可训练的图像对；
将骨骼所对应的所述图像对进行随机选择以作为训练集和测试集，并建立pix2pixHD深度学习模型；
利用所述训练集和所述测试集对所述pix2pixHD深度学习模型对进行训练和测试；
将需要进行骨结构分析的连续轴位MDCT图像作为训练好的所述pix2pixHD深度学习模型的输入，以获得高分辨率的类Micro-CT图像，并根据所述类Micro-CT图像进行骨结构分析。
优选的，还包括：
根据所述类Micro-CT图像计算骨结构分析的重要指标，所述重要指标包括：包括BV/TV、Tb.Th和Tb.Sp，其中，所述BV/TV通过对比骨小梁体素和背景体素的数量得出，所述Tb.Th通过测量骨小梁的像素宽度获得，所述Tb.Sp通过测量骨小梁间背景的像素宽度获得。
优选的，所述对所述MDCT图像和所述Micro-CT图像进行轴位匹配，包括：
获取所述MDCT图像与所述Micro-CT图像的轴位图像；
对所述轴位图像进行相似度计算，以得到最佳耦合的所述图像对。
优选的，所述轴位图像的获取，包括：
对于实验组每一个骨标本，排除骨骼图像显示不完整以及骨体上下终板层面的图像；
别取距离骨体中心上下各1.25cm区域内的轴位图像。
优选的，所述相似度计算，包括：
将所述MDCT图像与所述Micro-CT图像按照左右摆放，使用SIFT算法获得所述Micro-CT图像和所述MDCT图像之间的关键点匹配关系，计算关键点间欧氏距离并取得均值，以作为MDCT图像和Micro-CT图像之间的距离；
逐一对比MDCT图像和Micro-CT图像，构建所有MDCT和Micro-CT图像之间的距离矩阵；
所有的MDCT图像和Micro-CT图像的距离被逐一比较，通过动态时间扭曲DTW算法，以得到最佳耦合的图像对。
优选的，对所述pix2pixHD深度学习模型对进行训练，包括：
在每次迭代中，随机从训练集中选取设定数量的MDCT图像，输入生成器获得相应的类Micro-CT图像，并通过判别器对生成的类Micro-CT和作为标准的Micro-CT进行比对，形成打分；
根据打分结果，根据Adam算法计算生成器和判别器的参数的调整梯度和步长，并反向更新生成器和判别器的参数；
训练的学习率为0.0002，在前100个epoch中保持相同的学习率，并在接下来的100个epoch中线性地衰减为零，权重从高斯分布中初始化；
当200个epoch结束后，循环结束，训练停止。
优选的，利用训练好的所述pix2pixHD深度学习模型进行骨结构分析，包括：
选取连续的轴位MDCT图像输入所述pix2pixHD深度学习模型，通过深度学习模型进行映射获得连续的所述类Micro-CT图像；
对生成的所述类Micro-CT图像获取兴趣区，并根据所述兴趣区进行骨结构的指标计算。
优选的，所述根据所述兴趣区进行骨结构的指标计算，包括：
根据所述兴趣区对包含的图片进行处理，以生成灰度图；
计算全图灰度图以构建灰度直方图，寻找直方图中的双峰并作为骨小梁和背景的峰值；
将两个峰值之间的中点被用作阈值，通过该阈值将Micro-CT和类Micro-CT的灰度图像进行二进制化，以获得骨小梁体素和背景体素。
优选的，利用训练好的所述pix2pixHD深度学习模型对需要进行骨结构分析的连续轴位MDCT图像进行映射，以获得类Micro-CT图像。
本发明提供一种基于配对图像的MDCT和Micro-CT图像映射及骨结构测量方法，利用骨结构的MDCT图像和Micro-CT图像作为pix2pixHD深度学习模型的训练样本进行深度自学习，利用训练好的pix2pixHD深度学习模型对需要进行骨结构分析的连续轴位MDCT图像进行骨结构分析。解决现有对骨结构存在测量精度低，无法满足骨质疏松症的早期诊断和预防要求的问题，能提高骨结构的测量精度，以得到高分辨率图像和骨结构细节，满足对骨质疏松的早期诊断、预测和预防的需求。
附图说明
为了更清楚地说明本发明的具体实施例，下面将对实施例中所需要使用的附图作简单地介绍。
图1是本发明提供的一种基于配对图像的MDCT和Micro-CT图像映射及骨结构测量方法示意图。
图2是本发明提供MDCT图像和Micro-CT图像示意图。
图3是本发明提供的pix2pixHD的网络框架示意图。
图4是本发明提供的兴趣区示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例的方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。
针对当前骨结构的影像检测存在测量精度低的问题，本发明提供一种基于配对图像的MDCT和Micro-CT图像映射及骨结构测量方法，解决现有对骨结构存在测量精度低，无法满足骨质疏松症的早期诊断和预防要求的问题，能提高骨结构的测量精度，以得到高分辨率图像和骨结构细节，满足对骨质疏松的早期诊断、预测和预防的需求。
如图1所示，一种基于配对图像的MDCT和Micro-CT图像映射及骨结构测量方法，包括：
S1：获取同一骨骼的MDCT图像和Micro-CT图像。
S2：对所述MDCT图像和所述Micro-CT图像进行轴位匹配，以生成可训练的图像对。
S3：将骨骼所对应的所述图像对进行随机选择以作为训练集和测试集，并建立pix2pixHD深度学习模型。
S4：利用所述训练集和所述测试集对所述pix2pixHD深度学习模型对进行训练和测试。
S5：将需要进行骨结构分析的连续轴位MDCT图像作为训练好的所述pix2pixHD深度学习模型的输入，以获得高分辨率的类Micro-CT图像，并根据所述类Micro-CT图像进行骨结构分析。
在实际应用中，如图2所示，骨结构的MDCT图像和Micro-CT图像，其中，图2(a)为Micro-CT图像，图2(b)为MDCT图像：标本收集与处理，以及标本影像扫描。在一实施例中，收集n组以上福尔马林固定后的人腰椎L1-L5标本(尽可能涵盖全年龄段)。排除伴有明显的压缩性骨折、骨肿瘤或其他明显骨质破坏等疾病后，最终n·5个标本均纳入实验组。利用大骨切割机将腰椎切割为单个椎体，切割的同时尽可能保留椎体附件及椎体周围部分软组织结构。标本于-20℃冰柜内冷冻储存，在进行MDCT及Micro CT扫描前，将标本置于室温环境下的磷酸盐缓冲液内浸泡24小时，以减少椎体内空气残留。标本分别用Micro CT(Inveon,Siemens,Erlangen,Germany)和MDCT(SOMATOM Definition Flash,Siemens,Erlangen,Germany)成像仪进行扫描。Micro CT扫描参数为：管电压80kVp；管电流500mAs；旋转角度为360°；xy平面上视野(Field of View,FOV)为80×80mm2；z平面长度约50mm；标准矩阵大小为1536×1536像素；应用滤波反向投影算法进行重建，重建后图像立体分辨率为52μm。MDCT的扫描参数为：管电压120kVp；管电流250mAs；FOV为100×100mm2；层厚0.6mm；层间距0.1mm；螺距为0.8；标准矩阵大小为512×512像素，骨算法重建为层厚0.6mm，层间距0.1mm的轴位图像。为了使匹配的椎体轴位二维图像进行映射增强，在利用深度学习技术提升MDCT图像分辨率之前，需要对Micro-CT图像及MDCT图像进行轴位匹配，使两种扫描方法的椎体图片轴位图像上保持一致，以生成可训练的图像对。
通过图像轴位匹配并获得测试集和训练集，为了训练图像增强模型并验证模型效果。dataset_0中的n·5·500个图像对被分为训练(dataset_training)和测试(dataset_testing)集。对于任何一个椎体，随机选择100个图像对(20％)作为测试集，其余400个图像对作为训练集(80％)。随机抽样保证了训练集和测试集覆盖了椎体的大部分区域，因此训练后的模型不会出现欠拟合和过拟合的情况。
建立pix2pixHD深度学习模型，利用训练集和测试集对pix2pixHD深度学习模型进行训练，当当满足训练停止条件后，训练结束。保留模型的生成器，以任意临床中需要进行骨结构分析的连续轴位MDCT图像作为输入，即可获得相应的类Micro-CT图像，从而支撑下一步的进阶分析。
本方法通过基于pix2pixHD深度学习模型，构建Micro-CT与MSCT图像之间的映射模型，提升MDCT图像分辨率，获得高分辨率的类Micro-CT图像并分析类Micro-CT的骨小梁结构指标与金标准之间的相关性。能提高骨结构检测的测量精度，以得到骨结构细节和高分辨率图像，满足对骨质疏松的早期诊断、预测和预防的需求。
该方法还包括：
根据所述类Micro-CT图像计算骨结构分析的重要指标，所述重要指标包括：包括BV/TV、Tb.Th和Tb.Sp，其中，所述BV/TV通过对比骨小梁体素和背景体素的数量得出，所述Tb.Th通过测量骨小梁的像素宽度获得，所述Tb.Sp通过测量骨小梁间背景的像素宽度获得。
进一步，所述对所述MDCT图像和所述Micro-CT图像进行轴位匹配，包括：
获取所述MDCT图像与所述Micro-CT图像的轴位图像。
对所述轴位图像进行相似度计算，以得到最佳耦合的所述图像对。
进一步，所述轴位图像的获取，包括：
对于实验组每一个骨标本，排除骨骼图像显示不完整以及骨体上下终板层面的图像。
分别取距离骨体中心上下各1.25cm区域内的轴位图像。
进一步，所述相似度计算，包括：
将所述MDCT图像与所述Micro-CT图像按照左右摆放，使用SIFT算法获得所述Micro-CT图像和所述MDCT图像之间的关键点匹配关系，计算关键点间欧氏距离并取得均值，以作为MDCT图像和Micro-CT图像之间的距离。
逐一对比MDCT图像和Micro-CT图像，构建所有MDCT和Micro-CT图像之间的距离矩阵。
所有的MDCT图像和Micro-CT图像的距离被逐一比较，通过动态时间扭曲DTW算法，以得到最佳耦合的图像对。
在实际应用中，如图2所示，图像轴位匹配的过程包括：1)MDCT与Micro-CT轴位图像获取：对于实验组每一个椎体标本，排除椎体图像显示不完整以及椎体上下终板层面的图像后，分别取距离椎体中心上下各1.25cm区域内的轴位图像(由于Micro-CT重建后层间距约0.5mm，MDCT层间距为0.1mm，因此每个椎体总共约500张Micro-CT图像和约250张MDCT图像)。2)轴位图像相似度计算：I.将MDCT与Micro-CT按照左右摆放，使用SIFT算法获得Micro-CT和MDCT之间的关键点匹配关系，计算关键点间欧氏距离并取得均值作为MDCT和Micro-CT图像之间的距离。II.逐一对比MDCT和Micro-CT图像，构建所有MDCT和Micro-CT图像之间的距离矩阵。2)所有的MDCT和Micro-CT图像的距离被逐一比较，通过动态时间扭曲(DTW)算法，可以得到最佳耦合的图像对。由于MDCT和Micro-CT图像间隔的不同，MDCT图像与Micro-CT图像在数量上不相等：几乎两个Micro-CT图像与一个MDCT图像有相同的匹配关系。因此，需根据匹配关系将MDCT图像进行加倍复制，得到MDCT和Micro-CT图像对(500对/椎体)。将上述方法应用于所有n·5个椎体，总共可以得到n·5·500个图像对。最终将输入图像(MDCT)与金标准图像(Micro-CT)一起存储在dataset_0中。
进一步，对所述pix2pixHD深度学习模型对进行训练，包括：
在每次迭代中，随机从训练集中选取设定数量的MDCT图像，输入生成器获得相应的类Micro-CT图像，并通过判别器对生成的类Micro-CT和作为标准的Micro-CT进行比对，形成打分；
根据打分结果，根据Adam算法计算生成器和判别器的参数的调整梯度和步长，并反向更新生成器和判别器的参数；
训练的学习率为0.0002，在前100个epoch中保持相同的学习率，并在接下来的100个epoch中线性地衰减为零，权重从高斯分布中初始化；
当200个epoch结束后，循环结束，训练停止。
在实际应用中，如图3所示，所用的pix2pixHD经过训练可以获得MDCT与Micro-CT之间的关系，具备将输入的MDCT图像生成高分辨率的类Micro-CT图像的功能。该模型基于博弈论，通过生成器生成高质量的图像，并训练判别器来识别判断类Micro-CT是否与Micro-CT图像相似。pix2pixHD的框架由一个全局-局部兼顾的生成器和多尺度判别器组成。从全局-局部兼顾的生成器包含一个全局生成器网络和一个局部增强网络，其中全局生成器网络专注于图像的粗略和全局特征，而局部增强器网络则专注于局部细节。多尺度判别器的设计是为了通过三个相同结构的网络来进行图片评判，从三个尺度计算目标函数，获取细节、局部和全局匹配成果，反馈并训练全局-局部兼顾的生成器。结构由以下编码方式表示：C7s1-k(k为具体参数)表示有k个过滤器，跨步为1的7*7的Convolution-InstanceNorm-ReLU层。dk(k为具体参数)表示有k个过滤器，跨步为2的3*3的Convolution-InstanceNorm-ReLU层。Rk(k为具体参数)表示包含k个过滤器的3*3的两个Convolution层的residual block。Uk(k为具体参数)表示有k个过滤器，跨步为1/2的3*3的fractional-strided-Convolution-InstanceNorm-ReLU层。Ck(k为具体参数)表示有k个过滤器，跨步为2的4*4的Convolution-InstanceNorm-ReLU层。
全局生成器网络的结构为：c7s1-64,d128,d256,d512,d1024,R1024,R1024,R1024,R1024,R1024,R1024,R1024,R1024,R1024,u512,u256,u128,u64,c7s1-3。
局部增强网络的结构为：c7s1-32,d64,R64,R64,R64,u32,c7s1-3。
多尺度判别器的结构为：C64-C128-C256-C512。
每一层模型中含有相应的权重参数，训练过程将对参数进行迭代更新。
pix2pixHD的网络框架如图3所示，深度学习模型训练和使用方法如下：
训练平台：pix2pixHD模型是在带有两个Nvidia A6000 GPU的Window Server2019工作站的Pytorch平台上训练的。
训练算法和参数：使用Adam算法进行训练。批量大小(batch-size)被默认设置为2。最大的epoch(专业术语，表示一种大循环，可翻译成循环)数被设定为200，每个epoch有200次迭代。训练过程使用了10折交叉验证来消减训练后的模型的验证误差。
模型训练方法：
1)在每次迭代中，随机从训练集(dataset_training)中选取batch-size(默认设置为2)的数量的MDCT图像，输入生成器获得相应的类Micro-CT图像，并通过判别器对生成的类Micro-CT和作为标准的Micro-CT进行比对，形成打分。
2)根据打分结果，根据Adam算法计算生成器和判别器的参数的调整梯度和步长，并反向更新生成器和判别器的参数(深度学习模型中的权重参数)。
3)训练的学习率为0.0002。在前100个epoch中保持相同的学习率，并在接下来的100个epoch中线性地衰减为零。权重从高斯分布(μ＝0,σ＝0.02)中初始化。
4)当200个epoch结束后，循环结束，训练停止。
由上可得到，Pix2pixHD是一种基于CGAN的方法，由一个从粗到细的生成器和多尺度判别器组成，旨在生成超过2048×1024的高细节和高分辨率图像，这可以满足Micro-CT和MDCT等尺寸大、分辨率较高的图像间映射的需求。
进一步，利用训练好的所述pix2pixHD深度学习模型进行骨结构分析，包括：
选取连续的轴位MDCT图像输入所述pix2pixHD深度学习模型，通过深度学习模型进行映射获得连续的所述类Micro-CT图像；
对生成的所述类Micro-CT图像获取兴趣区，并根据所述兴趣区进行骨结构的指标计算。
更进一步，所述根据所述兴趣区进行骨结构的指标计算，包括：
根据所述兴趣区对包含的图片进行处理，以生成灰度图；
计算全图灰度图以构建灰度直方图，寻找直方图中的双峰并作为骨小梁和背景的峰值；
将两个峰值之间的中点被用作阈值，通过该阈值将Micro-CT和类Micro-CT的灰度图像进行二进制化，以获得骨小梁体素和背景体素。
具体地，对生成的类Micro-CT图像获取兴趣区(VOI)，如图4所示，其中图4(a)为VOI的矢状位置，包括椎体中央切片上下5mm的两个区域。图4(b)为VOI的轴位位置。首先，画出椎体中心轴线A(水平定位线)，然后在A线与椎体前缘的交点内5mm处画出垂直于A线的B线(垂直定位线)。以A线和B线的交点为切点，勾勒出一个直径为15毫米的圆柱形VOI。
进一步，利用训练好的所述pix2pixHD深度学习模型对需要进行骨结构分析的连续轴位MDCT图像进行映射，以获得类Micro-CT图像。
本方法的效果可通过图像客观指标(SSIM和FID)进行证明，对比现有其他方法(CRN与pix2pix方法)后可说明提出方法的有效性。SSIM和FID可衡量生成的类Micro-CT和金标准Micro-CT之间的差异。SSIM越大说明二者越相似，进而说明模型的效果好；FID越小说明二者越相似，进而说明模型的效果好。
SSIM和FID的计算方法如下：
Figure BDA0003412998250000101
其中，x,y是输入的图像，在本发明中是生成的类Micro-CT和金标准Micro-CT，μx和μy分别是输入图像x和y像素的均值。C1＝(K1L)2且C2＝(K2L)2，其中K1和K2＜＜1，是很小的常数，可设置K1和K2分别为0.01和0.03。L是像素值可设置为255。
FID＝||μr-μg||2+Tr(Cr+Cg-2(CrCg)1/2)，
其中μr和μg分别是金标准Micro-CT和类Micro-CT的特征平均值，Cr和Cg分别是金标准Micro-CT和类Micro-CT的协方差矩阵。
所提出方法、pix2pix以及CRN三个方法生成的类Micro-CT图像与金标准Micro-CT图像的的SSIM分别为0.804±0.037、0.568±0.025和0.490±0.023,且统计学上有意义(p<0.001).此外，三者的FID为43.598±9.108、180.317±16.532和249.593±17.993。可见，在SSIM上，提出的方法较其他方法大，而在FID方面，所提出的方法较其他方法小。
可见，本发明提供一种基于配对图像的MDCT和Micro-CT图像映射及骨结构测量方法，利用骨骼的MDCT图像和Micro-CT图像作为pix2pixHD深度学习模型的训练样本进行深度自学习，利用训练好的pix2pixHD深度学习模型对需要进行骨结构分析的连续轴位MDCT图像进行骨结构分析。解决现有对骨结构存在测量精度低，无法满足骨质疏松症的早期诊断和预防要求的问题，能提高骨结构的测量精度，以得到高分辨率图像和骨结构细节，满足对骨质疏松的早期诊断、预测和预防的需求。
以上依据图示所示的实施例详细说明了本发明的构造、特征及作用效果，以上所述仅为本发明的较佳实施例，但本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，包括针对标本、图片、二维或三维核磁、CT影像的软硬组织形态结构分析，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。

Claims (9)

1.一种基于配对图像的MDCT和Micro-CT图像映射及骨结构测量方法，其特征在于，包括：
获取同一骨骼的MDCT图像和Micro-CT图像；
对所述MDCT图像和所述Micro-CT图像进行轴位匹配，以生成可训练的图像对；
将骨骼所对应的所述图像对进行随机选择以作为训练集和测试集，并建立pix2pixHD深度学习模型；
利用所述训练集和所述测试集对所述pix2pixHD深度学习模型对进行训练和测试；
将需要进行骨结构分析的连续轴位MDCT图像作为训练好的所述pix2pixHD深度学习模型的输入，以获得高分辨率的类Micro-CT图像，并根据所述类Micro-CT图像进行骨结构分析。
2.根据权利要求1所述的基于配对图像的MDCT和Micro-CT图像映射及骨结构测量方法，其特征在于，还包括：
根据所述类Micro-CT图像计算骨结构分析的重要指标，所述重要指标包括：包括BV/TV、Tb.Th和Tb.Sp，其中，所述BV/TV通过对比骨小梁体素和背景体素的数量得出，所述Tb.Th通过测量骨小梁的像素宽度获得，所述Tb.Sp通过测量骨小梁间背景的像素宽度获得。
3.根据权利要求2所述的基于配对图像的MDCT和Micro-CT图像映射及骨结构测量方法，其特征在于，所述对所述MDCT图像和所述Micro-CT图像进行轴位匹配，包括：
获取所述MDCT图像与所述Micro-CT图像的轴位图像；
对所述轴位图像进行相似度计算，以得到最佳耦合的所述图像对。
4.根据权利要求3所述的基于配对图像的MDCT和Micro-CT图像映射及骨结构测量方法，其特征在于，所述轴位图像的获取，包括：
对于实验组每一个骨标本，排除骨骼图像显示不完整以及骨体上下终板层面的图像；
别取距离骨体中心上下各1.25cm区域内的轴位图像。
5.根据权利要求4所述的基于配对图像的MDCT和Micro-CT图像映射及骨结构测量方法，其特征在于，所述相似度计算，包括：
将所述MDCT图像与所述Micro-CT图像按照左右摆放，使用SIFT算法获得所述Micro-CT图像和所述MDCT图像之间的关键点匹配关系，计算关键点间欧氏距离并取得均值，以作为MDCT图像和Micro-CT图像之间的距离；
逐一对比MDCT图像和Micro-CT图像，构建所有MDCT和Micro-CT图像之间的距离矩阵；
所有的MDCT图像和Micro-CT图像的距离被逐一比较，通过动态时间扭曲DTW算法，以得到最佳耦合的图像对。
6.根据权利要求5所述的基于配对图像的MDCT和Micro-CT图像映射及骨结构测量方法，其特征在于，对所述pix2pixHD深度学习模型对进行训练，包括：
在每次迭代中，随机从训练集中选取设定数量的MDCT图像，输入生成器获得相应的类Micro-CT图像，并通过判别器对生成的类Micro-CT和作为标准的Micro-CT进行比对，形成打分；
根据打分结果，根据Adam算法计算生成器和判别器的参数的调整梯度和步长，并反向更新生成器和判别器的参数；
训练的学习率为0.0002，在前100个epoch中保持相同的学习率，并在接下来的100个epoch中线性地衰减为零，权重从高斯分布中初始化；
当200个epoch结束后，循环结束，训练停止。
7.根据权利要求6所述的基于配对图像的MDCT和Micro-CT图像映射及骨结构测量方法，其特征在于，利用训练好的所述pix2pixHD深度学习模型进行骨结构分析，包括：
选取连续的轴位MDCT图像输入所述pix2pixHD深度学习模型，通过深度学习模型进行映射获得连续的所述类Micro-CT图像；
对生成的所述类Micro-CT图像获取兴趣区，并根据所述兴趣区进行骨结构的指标计算。
8.根据权利要求7所述的基于配对图像的MDCT和Micro-CT图像映射及骨结构测量方法，其特征在于，所述根据所述兴趣区进行骨结构的指标计算，包括：
根据所述兴趣区对包含的图片进行处理，以生成灰度图；
计算全图灰度图以构建灰度直方图，寻找直方图中的双峰并作为骨小梁和背景的峰值；
将两个峰值之间的中点被用作阈值，通过该阈值将Micro-CT和类Micro-CT的灰度图像进行二进制化，以获得骨小梁体素和背景体素。
9.根据权利要求8所述的基于配对图像的MDCT和Micro-CT图像映射及骨结构测量方法，其特征在于，利用训练好的所述pix2pixHD深度学习模型对需要进行骨结构分析的连续轴位MDCT图像进行映射，以获得类Micro-CT图像。
CN202111537649.3A 2021-12-15 2021-12-15 一种基于配对图像的MDCT和Micro-CT图像映射及骨结构测量方法 Pending CN114187284A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111537649.3A CN114187284A (zh) 2021-12-15 2021-12-15 一种基于配对图像的MDCT和Micro-CT图像映射及骨结构测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111537649.3A CN114187284A (zh) 2021-12-15 2021-12-15 一种基于配对图像的MDCT和Micro-CT图像映射及骨结构测量方法

Publications (1)

Publication Number Publication Date
CN114187284A true CN114187284A (zh) 2022-03-15

Family

ID=80544022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111537649.3A Pending CN114187284A (zh) 2021-12-15 2021-12-15 一种基于配对图像的MDCT和Micro-CT图像映射及骨结构测量方法

Country Status (1)

Country Link
CN (1) CN114187284A (zh)

Similar Documents

Publication Publication Date Title
Duryea et al. Digital tomosynthesis of hand joints for arthritis assessment
Sarkalkan et al. Statistical shape and appearance models of bones
CN100387196C (zh) 用于测量与疾病相关的组织变化的方法和系统
US7315639B2 (en) Method of lung lobe segmentation and computer system
US12046018B2 (en) Method for identifying bone images
Pradhan et al. Conditional generative adversarial network model for conversion of 2 dimensional radiographs into 3 dimensional views
Giannoglou et al. Review of advances in Cobb angle calculation and image-based modelling techniques for spinal deformities
EP1447772B1 (en) A method of lung lobe segmentation and computer system
CN113658706B (zh) 一种骨强度模拟计算方法、装置及存储介质
Gerasimov et al. Application of a digital prototype for CT-based bone strength analysis
Sun et al. A statistical model of spine shape and material for population-oriented biomechanical simulation
CN114187284A (zh) 一种基于配对图像的MDCT和Micro-CT图像映射及骨结构测量方法
KR20160126185A (ko) 컴퓨터를 이용한 x-선 영상처리 골절 위험 평가모델 작성방법, 시스템 및 컴퓨터 프로그램
Kahla et al. Finite Element Method and Medical Imaging Techniques in Bone Biomechanics
Vrettos et al. Generative adversarial networks for spine imaging: A critical review of current applications
KR20160126195A (ko) 컴퓨터를 이용한 x-선 영상처리 골 모델링 작성방법, 시스템 및 컴퓨터 프로그램
US20220296192A1 (en) Bone trabeculae index for x-ray dark-field radiography
WO2018132090A1 (en) Methods for processing three dimensional body images
Thomsen et al. Bone‐GAN: Generation of virtual bone microstructure of high resolution peripheral quantitative computed tomography
Pandey et al. A Framework for Mathematical Methods in Medical Image Processing
Tiliander et al. Generation of a statistical model of the anatomy of human pelvises
Kumar et al. 5 3D Volumetric
MONTEIRO DEEP LEARNING APPROACH FOR THE SEGMENTATION OF SPINAL STRUCTURES IN ULTRASOUND IMAGES
CN117788435A (zh) 一种体检ct影像数据处理分析系统及其应用
Shakya et al. Benchmarking encoder-decoder architectures for biplanar X-ray to 3D shape reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination