CN108765417B - 一种基于深度学习和数字重建放射影像的股骨x线片生成系统及方法 - Google Patents

一种基于深度学习和数字重建放射影像的股骨x线片生成系统及方法 Download PDF

Info

Publication number
CN108765417B
CN108765417B CN201810619600.4A CN201810619600A CN108765417B CN 108765417 B CN108765417 B CN 108765417B CN 201810619600 A CN201810619600 A CN 201810619600A CN 108765417 B CN108765417 B CN 108765417B
Authority
CN
China
Prior art keywords
femur
image
vertex
lesser trochanter
condyle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810619600.4A
Other languages
English (en)
Other versions
CN108765417A (zh
Inventor
贾阳
韩俊刚
李倩
祝立阳
魏强
华煊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Posts and Telecommunications
Original Assignee
Xian University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Posts and Telecommunications filed Critical Xian University of Posts and Telecommunications
Priority to CN201810619600.4A priority Critical patent/CN108765417B/zh
Publication of CN108765417A publication Critical patent/CN108765417A/zh
Application granted granted Critical
Publication of CN108765417B publication Critical patent/CN108765417B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Abstract

本发明提供了一种基于深度学习和数字重建放射影像的股骨X线片生成系统及方法，通过三维卷积神经网络模型进行深度多任务回归，自动提取包含小转子和股骨内外侧髁的CT片层，使用条件生成式对抗神经网络进行股骨小转子内外侧髁图像分割，对这两个区域进行三维表面重建，通过计算高斯曲率求解小转子和股骨内外侧髁的顶点，计算过三点的平面与水平面的夹角得到最终需要旋转校正的角度，通过数字重建放射影像，得到最佳位置的X线片模拟图像，取代传统CT模拟定位机使用的胶片图像。本发明针对目前数字重建放射影像中股骨位置只能靠医生手工标定，智能化水平不高、标定稳定性差，无法满足实际需要的问题，使用计算机辅助方法进行股骨CT片校正和X线片模拟，能够促进医疗设备的智能化。

Description

一种基于深度学习和数字重建放射影像的股骨X线片生成系 统及方法
技术领域
本发明涉及计算机辅助骨科手术术前规划、骨科手术机器人等技术领域，尤其涉及CT片中股骨姿态校正、数字重建放射影像研究领域，具体涉及一种基于深度学习和数字重建放射影像技术的股骨X线片生成系统及方法。
背景技术
在日常拍摄下肢股骨CT片的过程中，患者可能会因疼痛、畸形等原因导致股骨姿态各异，难以达到姿态的统一和标准，在进行基于数字重建放射影像技术的X线片生成时，难以确定模拟X光源发射穿过CT图像组的X射线的路径，因此得到的X线片无法达到理想效果，在股骨骨折分析、股骨手术规划中就无法确定准确、一致的测量结果和手术路径。
为了辅助骨科医生进行准确一致的股骨测量和手术规划，常用的方法是在进行CT片拍摄时放置一些定位标记，在拍摄完CT片之后根据标记通过几何变换将组织进行校正。专利申请公布的“用于测量脊柱位移的系统和方法(201580050702.3)”，在每个椎骨设置具有相关联的定位标记器，定位系统提供定位标记器的方位，检测定位标记器的初始方位、当前方位，并对于每个椎骨根据相关联的定位标记器的当前方位和与椎骨相关联的几何变形计算椎骨的椎骨平面的当前方位。该发明的校正需要使用专门的标记器，操作较为复杂，耗时较长。
专利申请公布的“一种校正术前三维图像的术中配准方法和装置(CN102147919A)”通过采集术前术中患者不同角度的X射线图像，完成术前、术中对应角度X射线图像的配准操作，获取各分离骨块组织的变换矩阵，将多角度的变换矩阵作用于术前已分割分离的骨块数据模型，获得各骨块模型在术中的真实方位。该发明中所涉及的分割算法仅依靠阈值、形态学和种子点生长算法，算法的可靠性不确定，校正需要额外拍摄术前术中的X线片，根据配准结果获得校正变换矩阵。
发明内容
本发明的技术解决问题：针对目前数字重建放射影像中股骨位置只能靠医生手工标定，智能化水平不高、标定稳定性差，无法满足实际需要的问题，提供一种基于深度学习和数字重建放射影像的股骨X线片生成系统及方法，使用计算机辅助方法进行股骨CT片校正和X线片模拟，能够促进医疗设备的智能化。
为实现上述目的，本发明通过三维卷积神经网络模型，自动提取包含小转子和股骨内外侧髁的CT片层，使用条件生成式对抗神经网络进行股骨小转子内外侧髁图像分割、三维表面重建，计算高斯曲率求解小转子和股骨内外侧髁的顶点，计算股骨旋转校正的角度，通过数字重建放射影像，得到最佳位置的X线片模拟图像，取代传统CT模拟定位机使用的胶片图像。
基于深度学习和数字重建放射影像的股骨X线片生成系统，包括：模型训练样本模块，建立三维卷积神经网络模型模块、CT片层插值模块、基于条件生成式对抗神经网络的股骨小转子段和股骨内外侧髁段图像分割模块、小转子和股骨髁区域三维重建模块、小转子顶点和股骨内外侧髁顶点检测模块、图像旋转校正模块；其中：
模型训练样本模块，实现对训练数据的整理和标记，一方面为提取包含小转子和股骨内外侧髁的CT片层的三维卷积神经网络模型训练提供输入图像和目标片层标记信息，另一方面为分割股骨小转子段和股骨内外侧髁段图像的基于条件生成式对抗神经网络模型训练提供输入所需的手工分割样本及其对应的原始图像。
建立三维卷积神经网络模型模块，提取包含小转子和股骨内外侧髁的CT片层，根据模型训练样本模块提供的标记CT片层信息训练小转子和股骨内外侧髁的CT片层检测模型，最终得到包含小转子和股骨内外侧髁的CT片层起止编号。CT片层插值模块，根据建立三维卷积神经网络模型模块得到的包含小转子和股骨内外侧髁的CT片层起止编号提取包含小转子和股骨内外侧髁的CT片层的两段CT图像，通过三次样条插值使小转子和股骨内外侧髁区域在CT矢状面和垂直方向上尺度一致。插值之后的图像作为分割模块的输入。
基于条件生成式对抗神经网络的股骨小转子段和股骨内外侧髁段图像分割模块，用于分割小转子和股骨内外侧髁区域。在模型训练阶段，模型训练样本模块为分割模型训练提供手工分割样本及其对应的原始图像，建立条件生成式对抗神经网络，经过训练之后用以实现股骨小转子段和股骨内外侧髁段图像分割；在分割阶段，CT片层插值模块为该分割模块提供分割数据输入，训练好的分割模型对CT片层插值后的数据进行分割，输出为分割好的股骨小转子段和股骨内外侧髁段图像。
小转子和股骨髁区域三维重建模块，用于实现三维小转子和股骨髁区域的重建。对图像分割模块得到的分割结果使用Marching cubes方法实现三维小转子和股骨髁区域的三维表面重建。重建出的三维小转子和股骨髁区域作为小转子顶点和股骨内外侧髁顶点检测模块的输入。
小转子顶点和股骨内外侧髁顶点检测模块，用于检测股骨的小转子顶点、股骨内侧髁顶点和股骨外侧髁顶点，计算小转子顶点、股骨内侧髁顶点和股骨外侧髁顶点附近曲面上所有点的高斯曲率，高斯曲率大于零的局部极值点即为小转子顶点、股骨内侧髁顶点和股骨外侧髁顶点。该模块的输出是小转子顶点、股骨内侧髁顶点和股骨外侧髁顶点的三维坐标位置。
图像进行旋转校正模块，用于对股骨进行三维空间的一致性旋转校正。根据小转子顶点和股骨内外侧髁顶点检测模块输出的小转子顶点、股骨内侧髁顶点和股骨外侧髁顶点的三维坐标位置确定一个空间平面，计算此平面与水平面之间的夹角，据此夹角对股骨进行相应角度的旋转，最终是小转子顶点、股骨内侧髁顶点和股骨外侧髁顶点的三维坐标位置确定一个空间平面与水平面平行，输出校正后的三维股骨图像。
股骨X线片生成模块，用于生成标准统一的股骨X线片。使用数字重建放射影像(DRR)方法对图像进行旋转校正模块输出的校正后的股骨CT图像进行X线片生成。
本发明基于深度学习和数字重建放射影像的股骨X线片生成方法，包括以下步骤：
步骤(1)准备模型训练样本，模型训练中每个样本包括一个下肢CT片层；标记样本文件中包含CT片层的层号和所述CT片层是否是含有小转子和股骨内外侧髁的标记，0表示该层是检测目标片层，1表示该层不是目标片层；
步骤(2)建立三维卷积神经网络(3D CNN)模型，提取包含小转子和股骨内外侧髁的CT片层，在此使用多尺度卷积神经网络，如Inception和Xception。提取包含小转子和股骨内外侧髁的CT片层的过程中，输入整个三维CT图像，通过回归分析由神经网络输出小转子所在层的层号。基于深度多任务回归学习，输入单一的CT图像，同时判断小转子所在层的上界、下界和股骨内外侧髁所在层的上界、下界。对原始数据进行数据增强，使用不同的采样算法、随机旋转、镜像对称、随机高斯噪声的方法增加样本数量。数据输入时，对单一长方体CT图像进行正方体截取，截取过程中使用滑动窗口进行数据增强，进一步增加数据的样本。最终输出含有小转子的片层起止编号，含有股骨髁的片层起止编号。
步骤(3)CT片层插值，根据步骤(2)中的小转子和股骨髁所在区域的CT片层起止编号截取两段CT图像，根据图像序列层间距dslice和像素间距dpixel计算相邻两层CT图像之间的待插值图像的片数n，如式(1)所示：
n＝int(dslice/dpixel)-1(1)
x(i,j,k)为第k层上(i,j)处的像素，每次对1～k层上(i,j)处的k个像素进行三次样条插值，遍历i×j次后完成所有片层的插值。本步骤最终获得两段插值完成之后的小转子区域片层段和股骨髁区域片层段。
步骤(4)基于条件生成式对抗神经网络的股骨小转子段和股骨内外侧髁段图像分割。分割分为样本标注和模型训练两部分。被标注的原始图像是步骤(3)中获得的包含小转子区域和股骨内外侧髁区域的片层图像。图像标注采用阈值法和手工修订相结合的方法进行，首先通过阈值法对小转子区域和股骨内外侧髁部分进行批量分割，然后检查分割结果，对分割不准确的图像进行手工更正：过分割的图像将缺失部分补齐，欠分割图像将多余部分去除。原图和标注图像为成对的样本，将样本进行-10～10度不同角度的旋转，对图像进行增强，增加样本数量。在生成式对抗神经网络中，使用基于U-net结构的分割网络作为生成器，将生成的图像和标记图像同时输入到判别器中进行判断，并基于判别结果优化生成器，直到最终达到判别器的要求，停止优化，此时的生成结果即为分割结果；
步骤(5)小转子和股骨髁区域三维重建；重建算法的输入是步骤(4)中分割出的两段片层中的小转子和股骨髁区域，使用基于移动立方体算法(Marching cubes)的三维表面重建，输出是小转子附近和股骨髁附近的两个曲面图像；
步骤(6)小转子顶点和股骨内外侧髁顶点检测，计算小转子顶点处曲面上所有点的高斯曲率，由于高斯曲率反映曲面局部的弯曲程度，基于高斯曲率求解小转子顶点，高斯曲率大于零的极值点即为小转子顶点；计算股骨内外侧髁顶点处曲面上所有点的高斯曲率，由于高斯曲率反映曲面局部的弯曲程度，基于高斯曲率求解股骨内外侧髁顶点，高斯曲率大于零的极值点即为股骨内外侧髁的顶点；在该步骤中最终得到小转子顶点和股骨内外侧髁顶点三个点的三维坐标(x,y,z)，其中x,y是点在片层上的坐标，z是层号。
步骤(7)基于小转子顶点、股骨内侧髁顶点、股骨外侧髁顶点这三点所形成的面与水平面夹角能够确定股骨的空间位置，以小转子顶点、股骨内侧髁顶点、股骨外侧髁顶点这三点所形成的面与水平面夹角对原始CT图像进行旋转校正，使用数字重建放射影像(DRR)中通过光线投射法从类似模拟定位机的X射线靶方向观视3D重建图像以生成二维X线片模拟图像，得到最佳位置的X线片模拟图像。本发明与现有技术相比的优点在于：
计算机技术的快速发展很大程度上推动了精准医疗的发展，通过深度学习方法和数字图像处理方法进行CT片的定位、校正和X线片的模拟，不需要借助额外的标记器，更加方便快捷。
使用三维卷积神经网络模型进行深度多任务回归，判断小转子所在层的上、下界和股骨内外侧髁所在层的上、下界，提取包含小转子和股骨内外侧髁的CT片层，仅对目标区域即小转子区域和股骨髁区域进行三维表面重建而不是对整个股骨进行重建，大幅减少了数据处理量，加快了整个任务的处理速度。
使用条件生成式对抗神经网络进行股骨小转子段和股骨内外侧髁段骨组织图像分割，在生成式对抗神经网络中，使用基于U-net结构的分割网络作为生成器，当对抗优化达到迭代停止条件时，生成结果即为最终分割结果。
使用计算高斯曲率的方法求解小转子顶点和股骨内外侧髁的顶点，有充分的数学依据，得到的顶点位置准确，通过计算过三点的平面与水平面的夹角得到最终需要旋转校正的角度，计算精确。
基于计算得到的旋转角度使用数字重建放射影像，更好的控制X射线发射源位置和X射线发射方向，能够得到最佳位置的X线片模拟图像，取代传统CT模拟定位机使用的胶片图像。
本发明与现有技术相比的优点在于：目前我国医患比例失衡，医生工作量巨大，使用这种基于深度学习和数字重建放射影像的股骨X线片生成方法，能够替代目前主要靠医生手动进行小转子、股骨髁顶点标定的方法，减轻医务人员的工作量，提高医院效率；另外，本发明使用计算机自动对CT片进行关键片层提取、三维重建和顶点自动定位，通过数字重建放射影像得到最佳体位下的X线片。由于本发明不需要标记器，能够自动进行股骨关键点定位和需要校正的角度计算，提高了X线片生成的速度和实用性，利于将该方法集成到现有的PACS系统中。使用深度学习方法和数字重建放射影像进行X线片生成，能够促进医疗设备的智能化，有利于精准医疗的进一步发展。
附图说明
图1为本发明系统组成框图；
图2为本发明的基于深度学习和数字重建放射影像的股骨X线片生成流程图；
图3为本发明中建立三维卷积神经网络模型，提取包含小转子和股骨内外侧髁的CT片层的流程图；
图4为本发明中股骨CT片层插值流程图；
图5为本发明中基于条件生成式对抗神经网络的股骨小转子段和股骨内外侧髁段图像分割流程图；
图6为本发明中检测小转子顶点和股骨内外侧髁顶点算法示意图；
图7为本发明中基于数字重建放射影像生成股骨X线片的流程图。
具体实施方式
为使本发明实施的目的，技术方案及优点更加清楚，以下将结合本发明实施例中的附图，对本发明实施中的技术方案进行详细、完整的描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是基于深度学习和数字重建放射影像的股骨X线片生成系统组成框图；101是小转子和股骨髁区域的分割部分，主要包括模型训练样本准备模块、用于三维CT片层检测的卷积神经网络模型模块、CT片层插值模块和基于条件生成式对抗神经网络的股骨小转子段和股骨内外侧髁段图像分割模块；102是小转子顶点和股骨髁顶点检测模块，主要包括小转子和股骨髁区域三维重建模块和小转子顶点和股骨内外侧髁顶点检测模块；103是X线片生成部分，主要包括图像旋转校正模块和基于数字重建放射影像的股骨X线片生成模块；
图2是基于深度学习和数字重建放射影像的股骨X线片生成流程图。如图1所示，本实施例的方法包括：
步骤1：收集一批下肢CT图像，对每个CT图像中的片层进行标记，如果该片层包含小转子或股骨髁，则标记为1，否则标记为0。
步骤2：构建3D CNN通过深度回归识别包含小转子或股骨髁的片层，将其他片层剔除。
步骤3：CT片层插值。根据图像序列层间距和像素间距计算相邻两层CT图像之间的待插值图像的片数n，通过三次样条插值完成所有片层的插值。
步骤4：基于条件生成式对抗神经网络的股骨小转子段和股骨内外侧髁段图像分割，当优化最终达到判别器的要求，停止优化，此时生成器的生成结果即为分割结果。
步骤5：用基于移动立方体算法(Marching cubes)的三维表面重建，得到小转子附近和股骨髁附近曲面图像。
步骤6：计算小转子顶点处曲面上所有点的高斯曲率，根据高斯曲率的极值点求解小转子顶点和股骨内外侧髁的顶点。
步骤7：基于小转子顶点和股骨内外侧髁顶点这三点确定股骨的空间位置，使用数字重建放射影像生成二维X线片模拟图像。
图3为建立三维卷积神经网络模型，提取包含小转子和股骨内外侧髁的CT片层的流程图。301是模型训练过程，302是关键片层的检测过程。模型训练主要包括以下步骤：
步骤1：如图1步骤1所描述，每个CT图像有对应的一个csv格式的标记文件，文件中包括CT片层的层号和对应层是否是目标片层的标记，是则为1，不是为0；
步骤2：进行图像增强，通过图像的上采样、下采样、不同角度的旋转、镜像操作、加高斯噪声等增加样本数量；
步骤3：通过滑动窗口进行正方体样本截取；
步骤4：设计如Inception和Xception的多尺度卷积神经网络，将增强之后的数据输入到网络中进行训练，得到小转子和股骨内外侧髁检测模型，对模型进行验证和优化。
302所示的关键片层检测过程步骤如下：
步骤1：将完整下肢CT片输入到训练好的小转子和股骨髁检测模型中；
步骤2：模型输出含小转子和股骨髁的片层编号，检测完成。
图4是为了进行股骨小转子和股骨髁区域表面重建而进行的CT图像插值计算。如图4所示，本实施例的方法包括：
步骤1：根据图2中的方法和步骤读入编号对应的DICOM格式的CT图像片层，基于DICOM文件内容提取层间距和像素间距；
步骤2：层间距除以像素间距的结果取整减1，即得到两层CT图像之间的待插值图像的片数；
步骤3：x(i,j,k)为第k层上(i,j)处的像素，每次对1～k层上(i,j)处的k个像素进行三次样条插值，遍历i×j次后完成所有片层的插值。
图5是基于条件生成式对抗神经网络的股骨小转子段和股骨内外侧髁段图像分割。501是分割网络的训练过程，502是用训练好的网络进行分割的流程。如图5所示，本实施例的方法包括：
501所示的训练过程包括：
步骤1：样本标注。标注图像是小转子区域和股骨内外侧髁部分的分割图像。通过阈值法对小转子区域和股骨内外侧髁部分进行批量分割，人工检查分割结果，对分割不准确的图像进行手工更正，过分割的图像将缺失部分补齐，欠分割图像将多余部分去除，原图和标注图像为成对的样本。
步骤2：将样本进行数据增强，主要进行-10～10度不同角度的旋转，增加样本数量。
步骤3：在生成式对抗神经网络中，使用基于U-net结构的分割网络作为生成器，将成对的样本图像输入到U-net分割网络中进行分割，输出是初步分割好的小转子和股骨髁图像，即生成器生成的目标图像。
步骤4：将生成的图像和标记图像同时输入到判别器中进行判断，如果生成图像和标记图像相似度不满足判定条件，则调节生成器权值继续进行优化；若生成图像和标记图像较为相似，则模型训练结束，将生成图像作为最终的分割结果。
并基于判别结果优化生成器，直到最终达到判别器的要求，停止优化，此时的生成结果即为分割结果。
502的分割过程包括：
步骤1：将含有小转子和股骨髁的CT片层图像输入到训练好的网络中；
步骤2：输出小转子和股骨髁的分割结果。
图5是检测小转子顶点和股骨内外侧髁顶点算法示意图。如图6所示，本实施例的方法包括：
步骤1：将按照图4步骤分割出的含有小转子和股骨髁的图像作为重建算法的数据输入，使用Marching Cubes方法进行小转子和股骨髁周围的表面重建。
步骤2：设计算法计算曲面各处的高斯曲率。
步骤3：求解曲面上高斯曲率大于零的局部极值点，可能是潜在的目标点。
步骤4：基于股骨形态学分析筛选小转子顶点和股骨内外侧髁顶点。
图7是基于数字重建放射影像生成股骨X线片的流程图，如图7所示，本实施例的方法包括：
步骤1：基于小转子顶点和股骨内外侧髁顶点这三点所形成的面与水平面夹角确定股骨的空间位置。
步骤2：将这三点坐标信息输入数字重建放射影像程序，确定合适的模拟X射线光源和X射线方向。
步骤3：获取每条投影线通过此体素矩阵的交点，插值后得到对应的CT值
步骤4：将射线穿过体素矩阵的交点的CT值转换成电子密度值并累加，得到每条射线相应的有效射线长度。
步骤5：将射线长度按灰度分级并显示，生成最终的数字重建股骨X线片。
步骤6：由医生评估生成X线片的效果，并对算法进行优化改进。

Claims (4)

1.基于深度学习和数字重建放射影像的股骨X线片生成系统，其特征在：包括模型训练样本模块，建立三维卷积神经网络模型模块、CT片层插值模块、基于条件生成式对抗神经网络的股骨小转子段和股骨内外侧髁段图像分割模块、小转子和股骨髁区域三维重建模块、小转子顶点和股骨内外侧髁顶点检测模块、图像进行旋转校正模型、股骨X线片生成模块；其中：
模型训练样本模块，实现对训练数据的整理和标记，一方面为提取包含小转子和股骨内外侧髁的CT片层的三维卷积神经网络模型训练提供输入图像和目标片层标记信息，另一方面为分割股骨小转子段和股骨内外侧髁段图像的基于条件生成式对抗神经网络模型训练提供输入所需的手工分割样本及其对应的原始图像；
建立三维卷积神经网络模型模块，提取包含小转子和股骨内外侧髁的CT片层，根据模型训练样本模块提供的标记CT片层信息训练小转子和股骨内外侧髁的CT片层检测模型，最终得到包含小转子和股骨内外侧髁的CT片层起止编号；
CT片层插值模块，根据建立三维卷积神经网络模型模块得到的包含小转子和股骨内外侧髁的CT片层起止编号提取包含小转子和股骨内外侧髁的CT片层的两段CT图像，通过三次样条插值使小转子和股骨内外侧髁区域在CT矢状面和垂直方向上尺度一致，插值之后的图像作为分割模块的输入；
基于条件生成式对抗神经网络的股骨小转子段和股骨内外侧髁段图像分割模块，用于分割小转子和股骨内外侧髁区域，在模型训练阶段，模型训练样本模块为分割模型训练提供手工分割样本及其对应的原始图像，建立条件生成式对抗神经网络，经过训练之后用以实现股骨小转子段和股骨内外侧髁段图像分割；在分割阶段，CT片层插值模块为该分割模块提供分割数据输入，训练好的分割模型对CT片层插值后的数据进行分割，输出为分割好的股骨小转子段和股骨内外侧髁段图像；
小转子和股骨髁区域三维重建模块，用于实现三维小转子和股骨髁区域的重建，对图像分割模块得到的分割结果使用Marching cubes方法实现三维小转子和股骨髁区域的三维表面重建，重建出的三维小转子和股骨髁区域作为小转子顶点和股骨内外侧髁顶点检测模块的输入；
小转子顶点和股骨内外侧髁顶点检测模块，用于检测股骨的小转子顶点、股骨内侧髁顶点和股骨外侧髁顶点，计算小转子顶点、股骨内侧髁顶点和股骨外侧髁顶点附近曲面上所有点的高斯曲率，高斯曲率大于零的局部极值点即为小转子顶点、股骨内侧髁顶点和股骨外侧髁顶点，该模块的输出是小转子顶点、股骨内侧髁顶点和股骨外侧髁顶点的三维坐标位置；
图像进行旋转校正模块，用于对股骨进行三维空间的一致性旋转校正， 根据小转子顶点和股骨内外侧髁顶点检测模块输出的小转子顶点、股骨内侧髁顶点和股骨外侧髁顶点的三维坐标位置确定一个空间平面，计算此平面与水平面之间的夹角，据此夹角对股骨进行相应角度的旋转，最终是小转子顶点、股骨内侧髁顶点和股骨外侧髁顶点的三维坐标位置确定一个空间平面与水平面平行，输出校正后的三维股骨图像；
股骨X线片生成模块，用于生成标准统一的股骨X线片， 使用数字重建放射影像DRR方法对图像进行旋转校正模块输出的校正后的股骨CT图像进行X线片生成。
2.基于深度学习和数字重建放射影像的股骨X线片生成方法，其特征在于：包括步骤如下：
步骤(1)准备模型训练样本，模型训练中每个样本包括一个下肢CT片层；标记样本文件中包含CT片层的层号和所述CT片层是否是含有小转子和股骨内外侧髁的标记，0表示该层是检测目标片层，1表示该层不是目标片层；
步骤(2)建立三维卷积神经网络3D CNN模型，提取包含小转子和股骨内外侧髁的CT片层，在此使用多尺度卷积神经网络，提取包含小转子和股骨内外侧髁的CT片层的过程中，输入整个三维CT图像，通过回归分析由神经网络输出小转子所在层的层号；基于深度多任务回归学习，输入单一的CT图像，同时判断小转子所在层的上界、下界和股骨内外侧髁所在层的上界、下界， 对原始数据进行数据增强，使用不同的采样算法、随机旋转、镜像对称、随机高斯噪声的方法增加样本数量，数据输入时，对单一长方体CT图像进行正方体截取，截取过程中使用滑动窗口进行数据增强，进一步增加数据的样本，最终输出含有小转子的片层起止编号，含有股骨髁的片层起止编号；
步骤(3)CT片层插值，根据步骤(2)中的小转子和股骨髁所在区域的CT片层起止编号截取两段CT图像，根据图像序列层间距dslice和像素间距dpixel计算相邻两层CT图像之间的待插值图像的片数n，如式(1)所示：
n＝int(dslice/dpixel)-1 (1)
x(i,j,k)为第k层上(i,j)处的像素，每次对1～k层上(i,j)处的k个像素进行三次样条插值，遍历i×j次后完成所有片层的插值，最终获得两段插值完成之后的小转子区域片层段和股骨髁区域片层段；
步骤(4)基于条件生成式对抗神经网络的股骨小转子段和股骨内外侧髁段图像分割，分割分为样本标注和模型训练两部分， 被标注的原始图像是步骤(3)中获得的包含小转子区域和股骨内外侧髁区域的片层图像， 图像标注采用阈值法和手工修订相结合的方法进行，首先通过阈值法对小转子区域和股骨内外侧髁部分进行批量分割，然后检查分割结果，对分割不准确的图像进行手工更正：过分割的图像将缺失部分补齐，欠分割图像将多余部分去除， 原图和标注图像为成对的样本，将样本进行-10～10度不同角度的旋转，对图像进行增强，增加样本数量；在生成式对抗神经网络中，使用基于U-net结构的分割网络作为生成器，将生成的图像和标记图像同时输入到判别器中进行判断，并基于判别结果优化生成器，直到最终达到判别器的要求，停止优化，此时的生成结果即为分割结果；
步骤(5)小转子和股骨髁区域三维重建；重建算法的输入是步骤(4)中分割出的两段片层中的小转子和股骨髁区域，使用基于移动立方体算法Marching cubes的三维表面重建，输出是小转子附近和股骨髁附近的两个曲面图像；
步骤(6)小转子顶点和股骨内外侧髁顶点检测，计算小转子顶点处曲面上所有点的高斯曲率，由于高斯曲率反映曲面局部的弯曲程度，基于高斯曲率求解小转子顶点，高斯曲率大于零的极值点即为小转子顶点；用同样的方法，即计算股骨内外侧髁顶点处曲面上所有点的高斯曲率，由于高斯曲率反映曲面局部的弯曲程度，基于高斯曲率求解股骨内外侧髁顶点，高斯曲率大于零的极值点即为股骨内外侧髁的顶点；在该步骤中最终得到小转子顶点和股骨内外侧髁顶点三个点的三维坐标(x,y,z)，其中x,y是点在片层上的坐标，z是层号；
步骤(7)基于小转子顶点、股骨内侧髁顶点、股骨外侧髁顶点这三点所形成的面与水平面夹角能够确定股骨的空间位置，以小转子顶点、股骨内侧髁顶点、股骨外侧髁顶点这三点所形成的面与水平面夹角对原始CT图像进行旋转校正，使用数字重建放射影像DRR中通过光线投射法从类似模拟定位机的X射线靶方向观视3D重建图像以生成二维X线片模拟图像，得到最佳位置的X线片模拟图像。
3.根据权利要求2所述的基于深度学习和数字重建放射影像的股骨X线片生成方法，其特征在于：步骤(1)中，输入数据是下肢CT图像，生成的是最佳位置的模拟X线片。
4.根据权利要求2所述的基于深度学习和数字重建放射影像的股骨X线片生成方法，其特征在于：所述方法能够嵌入到现有的PACS系统，直接用PACS系统调取下肢CT图像，将图像输入，输出对应的股骨最佳体位的X线片，所述X线片能够在PACS系统中进行保存和传输。
CN201810619600.4A 2018-06-15 2018-06-15 一种基于深度学习和数字重建放射影像的股骨x线片生成系统及方法 Active CN108765417B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810619600.4A CN108765417B (zh) 2018-06-15 2018-06-15 一种基于深度学习和数字重建放射影像的股骨x线片生成系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810619600.4A CN108765417B (zh) 2018-06-15 2018-06-15 一种基于深度学习和数字重建放射影像的股骨x线片生成系统及方法

Publications (2)

Publication Number Publication Date
CN108765417A CN108765417A (zh) 2018-11-06
CN108765417B true CN108765417B (zh) 2021-11-05

Family

ID=63978080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810619600.4A Active CN108765417B (zh) 2018-06-15 2018-06-15 一种基于深度学习和数字重建放射影像的股骨x线片生成系统及方法

Country Status (1)

Country Link
CN (1) CN108765417B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109528195A (zh) * 2018-11-08 2019-03-29 殷晓亮 一种mri/ct影像中骨边界和参考骨性标志物识别的方法
CN109700528B (zh) * 2019-02-27 2021-02-02 江苏霆升科技有限公司 一种实时构建心脏三维模型方法及装置
CN110009028B (zh) * 2019-03-28 2021-04-02 北京科技大学 一种显微图像数据增强方法及装置
CN110246216B (zh) * 2019-05-28 2023-02-28 中国科学院深圳先进技术研究院 脊柱模型生成方法、脊柱模型生成系统及终端
US11424037B2 (en) 2019-11-22 2022-08-23 International Business Machines Corporation Disease simulation in medical images
FR3104934B1 (fr) * 2019-12-18 2023-04-07 Quantum Surgical Méthode de planification automatique d’une trajectoire pour une intervention médicale
CN111179350B (zh) * 2020-02-13 2022-04-08 张逸凌 髋关节图像处理系统
CN111402216B (zh) * 2020-03-10 2022-09-23 河海大学常州校区 基于深度学习的三维碎骨分割方法和装置
CN111652301B (zh) * 2020-05-27 2021-03-02 北京长木谷医疗科技有限公司 基于深度学习的股骨小转子识别方法、装置及电子设备
CN112784916B (zh) * 2021-01-29 2022-03-04 西安电子科技大学 基于多任务卷积网络的空中目标微动参数实时提取方法
CN113303906B (zh) * 2021-06-10 2022-10-14 南方医科大学南方医院 一种基于Mimics的计算机模拟双楔形截骨方法
CN113850810B (zh) * 2021-12-01 2022-03-04 杭州柳叶刀机器人有限公司 用于转正股骨的方法及手术系统、存储介质以及电子设备
CN115105111B (zh) * 2022-03-03 2023-06-13 中国人民解放军总医院第四医学中心 人体髋部三角形态解剖结构的定量分析方法
CN117036376B (zh) * 2023-10-10 2024-01-30 四川大学 基于人工智能的病变图像分割方法、装置及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105118039A (zh) * 2015-09-17 2015-12-02 广州华端科技有限公司 实现锥束ct图像重建的方法及系统
CN105809730A (zh) * 2016-03-07 2016-07-27 哈尔滨工程大学 一种长骨骨折断面点云提取方法
WO2017019059A1 (en) * 2015-07-29 2017-02-02 Perkinelmer Health Sciences, Inc. Systems and methods for automated segmentation of individual skeletal bones in 3d anatomical images
CN107274389A (zh) * 2017-05-25 2017-10-20 中国科学院苏州生物医学工程技术研究所 基于ct三维序列图像的股骨和髋臼解剖参数获取方法
CN107358608A (zh) * 2017-08-23 2017-11-17 西安邮电大学 基于图像处理技术的骨组织几何形态学参数自动测量装置及方法
CN107403201A (zh) * 2017-08-11 2017-11-28 强深智能医疗科技（昆山）有限公司 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法
CN107492071A (zh) * 2017-08-17 2017-12-19 京东方科技集团股份有限公司 医学图像处理方法及设备
CN107767376A (zh) * 2017-11-02 2018-03-06 西安邮电大学 基于深度学习的x线片骨龄预测方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9613426B2 (en) * 2014-10-21 2017-04-04 Toshiba Medical Systems Corporation Segmentation and matching of structures in medical imaging data

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017019059A1 (en) * 2015-07-29 2017-02-02 Perkinelmer Health Sciences, Inc. Systems and methods for automated segmentation of individual skeletal bones in 3d anatomical images
CN105118039A (zh) * 2015-09-17 2015-12-02 广州华端科技有限公司 实现锥束ct图像重建的方法及系统
CN105809730A (zh) * 2016-03-07 2016-07-27 哈尔滨工程大学 一种长骨骨折断面点云提取方法
CN107274389A (zh) * 2017-05-25 2017-10-20 中国科学院苏州生物医学工程技术研究所 基于ct三维序列图像的股骨和髋臼解剖参数获取方法
CN107403201A (zh) * 2017-08-11 2017-11-28 强深智能医疗科技（昆山）有限公司 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法
CN107492071A (zh) * 2017-08-17 2017-12-19 京东方科技集团股份有限公司 医学图像处理方法及设备
CN107358608A (zh) * 2017-08-23 2017-11-17 西安邮电大学 基于图像处理技术的骨组织几何形态学参数自动测量装置及方法
CN107767376A (zh) * 2017-11-02 2018-03-06 西安邮电大学 基于深度学习的x线片骨龄预测方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Finite element analysis of four different implants inserted in different positions to stabilize an idealized trochanteric femoral fracture;PeterHelwig等;《Injury》;20090225;第40卷(第3期);第W100-W105页 *
Prevalence of Imaging Features on CT Thought to Be Associated With Femoroacetabular Impingement: A Retrospective Analysis of 473 Asymptomatic Adult Hip Joints;Jihang Kim等;《American Journal of Roentgenology》;20150731;第205卷(第1期);第288-295页 *
基于DR图像的股骨个体化姿态估计关键技术研究;张斌;《中国博士学位论文全文数据库信息科技辑》;20141215(第12期);第I138-57页 *
基于MRI和CT二维图像重建膝关节三维数字化模型的股骨髁扭转角差异性研究;黄赞等;《中国修复重建外科杂志》;20150127;第29卷(第2期);第167-170页 *

Also Published As

Publication number Publication date
CN108765417A (zh) 2018-11-06

Similar Documents

Publication Publication Date Title
CN108765417B (zh) 一种基于深度学习和数字重建放射影像的股骨x线片生成系统及方法
US10867436B2 (en) Systems and methods for reconstruction of 3D anatomical images from 2D anatomical images
AU2020101836A4 (en) A method for generating femoral x-ray films based on deep learning and digital reconstruction of radiological image
Xi et al. Validation of a novel semi-automated method for three-dimensional surface rendering of condyles using cone beam computed tomography data
US8897514B2 (en) Imaging method for motion analysis
Maken et al. 2D-to-3D: a review for computational 3D image reconstruction from X-ray images
US9142020B2 (en) Osteo-articular structure
CN112509022A (zh) 一种术前三维影像与术中透视图像的无标定物配准方法
Varnavas et al. Increasing the automation of a 2D-3D registration system
Chougule et al. Clinical case study: spine modeling for minimum invasive spine surgeries (MISS) using rapid prototyping
CN114261095B (zh) 一种基于ai的骨科3d打印方法和装置
Kim et al. 3D reconstruction of leg bones from X-ray images using CNN-based feature analysis
Gupta Challenges for computer aided diagnostics using X-ray and tomographic reconstruction images in craniofacial applications
CN107752979A (zh) 对人工投影的自动生成
Irwansyah et al. Algorithm for segmentation and reduction of fractured bones in computer-aided preoperative surgery
US11020189B2 (en) System and method for component positioning by registering a 3D patient model to an intra-operative image
Otake et al. An image-guided femoroplasty system: development and initial cadaver studies
Pei et al. Personalized tooth shape estimation from radiograph and cast
Ün et al. An analytical method to create patient-specific deformed bone models using X-ray images and a healthy bone model
Varghese et al. Segmentation and three dimensional visualization of mandible using active contour and visualization toolkit in craniofacial computed tomography images
Bousigues et al. 3D reconstruction of the scapula from biplanar X-rays for pose estimation and morphological analysis
WO2022229816A1 (en) 3d reconstruction of anatomical images
US20230071033A1 (en) Method for obtaining a ct-like representation and virtual x-ray images in arbitrary views from a two-dimensional x-ray image
Zhang et al. 3D reconstruction of patient-specific femurs using Coherent Point Drift
US11430203B2 (en) Computer-implemented method for registering low dimensional images with a high dimensional image, a method for training an aritificial neural network useful in finding landmarks in low dimensional images, a computer program and a system for registering low dimensional images with a high dimensional image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant