CN111127636A - 一种智能的复杂关节内骨折桌面级三维诊断系统 - Google Patents

Abstract

本发明涉及一种智能的复杂关节内骨折桌面级三维诊断系统，该系统包括依次连接的图像获取模块、图像处理模块，三维重建模块和显示模块。该系统一方面，在人工智能算法的辅助下，自动快速准确地提取感兴趣的骨折数据，生成交互式的三维重建图像；另一方面，允许普通低配置计算机进行重建操作，便于临床医生术前及术中识别骨折的立体形态，制定更为详细准确的手术方案，从而缩短手术时间，减少术中出血，提高手术疗效。

Description

一种智能的复杂关节内骨折桌面级三维诊断系统

技术领域

本发明涉及医学影像技术领域，具体涉及一种智能的复杂关节内骨折桌面级三维诊断系统。

背景技术

复杂关节内骨折是指骨折线累及关节面、骨折块≥3块且移位严重的骨折，比如粉碎性胫骨平台骨折、踝关节骨折、肱骨髁上髁间骨折等[1]。随着社会交通的快速发展，高能量损伤导致的复杂关节内骨折已经成为创伤骨科临床常见的难题之一，由于骨折累及关节面且移位严重，若治疗不当可导致关节力线与稳定性受损，引发创伤性关节炎、关节强直、关节不稳等一系列并发症[2]。临床治疗上，通过精准手术恢复关节面的平滑程度，并实施坚强有效的内固定，才能尽量恢复关节功能、减少远期并发症。但是，复杂关节内骨折的形态往往非常复杂，实现精准手术需要制定详尽合适的手术方案，所以必须全面了解骨折的类型，骨折线的走向，骨折块的大小、多少，特别是关节面伤后的形态[3]，否则会出现内固定器械准备不充分、遗漏某些骨折块的复位、无法满意地放置内固定等不良后果。

传统二维X线或CT(Computed Tomography)的阅读，建立在医生良好的解剖学知识以及极大想象力和空间感的基础上，显然已经无法满足诊断复杂关节内骨折的需要。随着医学图像可视化技术的发展，三维重建技术已可将扫描得到的断层二维图像序列重建成三维图像，并实现立体视图的可视化。相较于二维断层图像，医学图像三维重建可在三维空间内显示骨折特征及骨折块的空间位置关系，进而辅助医生精确快速地进行术前诊断，避免误诊和漏诊。

而骨折三维重建的前提，是将骨折块从周围图像背景中提取出来，也即所谓的图像分割。由于医学图像中的噪声和不均匀问题，如果没有经过骨折的图像分割，会导致得到的三维重建图像混合了皮肤、肌肉等多种组织，严重影响临床医生的观测。传统的图像分割算法，可以在一定程度上分割出骨折图像。但对于复杂关节内骨折，由于碎骨块较多，移位严重，骨折块结构交错复杂，经典的图像处理技术往往难以进行快速有效的图像分割。

人工智能是研究计算机模拟、延伸和扩展人的智能的一门新的技术科学，近年来发展迅速。在考虑医学图像实际特点的基础上，将经典的图像处理方法与人工智能算法结合，相互弥补算法功能的缺陷，是目前医学图像处理技术的研究趋势之一。比较著名的应用有IBM的诊断系统，能快速有效地诊断肺癌、乳腺癌、结肠癌、直肠癌等肿瘤，并被浙江省中医院引入使用；阿里健康研发的医疗AI“Doctor You”，能在30分钟内阅完九千张CT影像，对肺部结节的诊断准确度达到90％以上。尽管这些图像分割方法在对某一类图像的分割上效果表现良好，但是针对特定类型医学图像如复杂关节内骨折等进行更加有效、快速的分割仍然是目前医学图像处理领域研究的热点与难点。

从临床使用来看，目前临床常用的三维重建工具主要有以下两类：(1)利用CT检查机器自带的工作站级三维重建软件[4,22-24]。不同于普通桌面级软件，工作站级软件对计算机的配置要求较高，所以只能由放射科医生在CT厂商配套提供的工作站级计算机上完成三维重建后，以静态图像的形式发送给临床医生，该静态图像无法进行旋转等人机交互，而且并不一定能突出临床医生关注的重点骨折细节；(2)现有的通用型医学图像处理软件，如Mimics[25-27]、Arigin 3D Pro等[28]。在临床医生指定的计算机上安装后，能够由临床医生进行三维重建操作，实现人机交互。但是，通用型软件并非专为复杂关节内骨折定制，因此存在一定的不足：第一，其处理过程有一定复杂性，必须由熟练掌握相关软件的人员进行操作；第二，需要进行较多的参数调校，不利于临床的快速操作；第三，价格较为昂贵，如果需要在医生办公室、手术室等多台计算机上安装，所需成本较高；第四，由于软件是由厂家开发完成，程序接口的开源性不强，不利于进一步的自主研究，如生物力学分析、模拟手术等。而且，上述两种三维重建方法，所采用的图像分割技术仅仅是阈值分割、区域生长等经典的算法，无法快速有效地提取复杂关节内骨折的数据。

因此，我们拟设计开发一款智能的复杂关节内骨折桌面级三维诊断系统，一方面，在人工智能算法的辅助下，自动快速准确地提取感兴趣的骨折数据，生成交互式的三维重建图像；另一方面，允许普通低配置计算机进行重建操作，便于临床医生术前及术中识别骨折的立体形态，制定更为详细准确的手术方案，从而缩短手术时间，减少术中出血，提高手术疗效。

发明内容

本发明目的是提供一种智能的复杂关节内骨折桌面级三维诊断系统，该系统包括依次连接的图像获取模块、图像处理模块，三维重建模块和显示模块。

进一步的，所述图像获取模块，用于读取复杂关节内骨折的CT数据；根据DICOM3.0标准，读取复杂关节内骨折的CT数据；读取到的CT数据为核磁共振设备发送的原始图像。

进一步的，所述图像处理模块包括VIO设定模块、原始信息提取模块、实际区域确定模块、通用处理模块。

进一步的，VIO设定模块用于采用人工智能算法，分析图像序列灰度信息，获得可能包含骨折目标的最小计算区域，减小目标搜索范围。

进一步的，VIO设定模块用于，确定种子模板区域，基于种子模板区域获取种子区域，基于种子区域进行区域扩展，对经过扩展的区域进行区域连通，基于连通区域确定最小计算区域。

进一步的，所述原始信息提取模块用于以最小计算区域为模板，从原始图像序列中提取最小计算区域数据，从而得到包含最小计算区域数据的图像序。

进一步的，所述实际区域确定模块用于采用工智能图像识别方法，将包含骨折数据的图像从图像序列中提取出来，以便于进行三维图像的创建和呈现。

进一步的，所述通用处理模块用于进行边界的识别与锐化处理。

进一步的，三维重建模块用于基于面绘制方法，基于包含骨折数据的图像快速生成交互式的三维重建图像。

进一步的，显示模块用于获取三维重建图像并进行三维重建图像的呈现。

本发明通过以下技术方案来实现上述目的：能够解决VIO区域确定不精确的问题，现有的图像处理方式不能够和关节内骨折图像相结合的问题，以及目前的图像处理过于复杂的问题；

本发明的有益效果在于：在人工智能算法的辅助下，自动快速准确地提取感兴趣的骨折数据，即复杂关节内骨折CT图像中骨折的最小计算区域确定；通过减少图像序列中的图像数量，克服现有技术中三维重建所需处理的数据量极大，所以需设计特定的优化算法的问题，使本发明的系统能在低配置计算机上流畅运行。

附图说明

图1是本发明提供的智能的复杂关节内骨折桌面级三维诊断系统的呈现效果示意图；

图2是本发明提供的智能的复杂关节内骨折桌面级三维诊断系统的结构示意图；

具体实施方式

以下将对本发明的智能的复杂关节内骨折桌面级三维诊断系统作进一步的详细描述。

下面将参照附图对本发明进行更详细的描述，其中表示了本发明的优选实施例，应该理解本领域技术人员可以修改在此描述的本发明而仍然实现本发明的有益效果。因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本发明的限制。

为了表述清楚，不描述实际实施例的全部特征。在下列描述中，不详细描述公知的功能和结构，因为它们会使本发明由于不必要的细节而混乱。应当认为在任何实际实施例的开发中，必须做出大量实施细节以实现开发者的特定目标。

为使本发明的目的、特征更明显易懂，下面结合附图对本发明的具体实施方式作进一步的说明。需要说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用于方便、清晰地辅助说明本发明实施例的目的。

实施例I

本发明所述的智能的复杂关节内骨折桌面级三维诊断系统包括：图像获取模块、图像处理模块，三维重建模块和显示模块；

所述图像获取模块，用于读取复杂关节内骨折的CT数据；根据DICOM 3.0标准，读取复杂关节内骨折的CT数据；读取到的CT数据为核磁共振设备发送的原始图像，原始图像为一个或者多个图像，图像获取模块对原始图像进行进行格式转换、灰度转换和去噪滤波等处理后得到切片图像序列IMG1，IMG2，……，IMGn；

所述图像处理模块包括VIO设定模块、原始信息提取模块、实际区域确定模块、通用处理模块；

其中，VIO设定模块用于采用人工智能算法，分析图像序列灰度信息，获得可能包含骨折目标的最小计算区域，减小目标搜索范围，同时降低误提取概率；具体的：确定种子模板区域，基于种子模板区域获取种子区域，基于种子区域进行区域扩展，对经过扩展的区域进行区域连通，基于连通区域确定最小计算区域；

确定种子模板区域，具体为：基于目标类型选择种子模板区域集合，从种子区域模板集合中选择一个或者多个种子模板区域；将所述种子区域和图像序列中的图像进行轮廓比较和种子模板区域的灰度均值比较以确定图像中的种子区域；种子区域中每个像素点的灰度值均和所述灰度均值接近，且种子区域轮廓和种子模板区域的轮廓接近；其中：所述选择为随机选择；

优选的：所述种子模板区域为非封闭区域；种子模板区域中像素点的灰度变化不大；可以采用滑动窗口的方式进行种子区域的确定；

其中：每个目标类型对应一个种子区域集合，例如：目标类型为半月板、膝关节等；种子区域具有特定的轮廓及其对应的灰度均值；种子区域为所述目标类型图像中存在的特征区域，所述特征区域和目标类型相关，其轮廓类似，灰度均值(和或者这周围区域对比度)在预设范围内；种子区域的大小和形状均是不确定的；和不同目标类型对应的种子区域集合为通过对样本图像进行图像分析所获取的存在相似特征的区域；

通过设置种子区域能够考虑到特征点以及特征点之间的关系进行感兴趣区域的确定，虽然种子区域相对种子本身稍微复杂一点，但是对于复杂关节图像来说，图像本身存在一定的共性和复杂性，和直接随机的设置种子进行选感兴趣区域的选择，显得更加有效。

所述基于种子区域进行区域扩展，具体为:1)对于种子区域中的任一像素点(x，y)，其中：x和y分别为横纵坐标值；计算图像函数f(x,y)在x，y轴的四个方向上的梯度值和梯度幅值；2)选择梯度幅值最小的方向进行区域扩展；3)确定该方向是否有可扩展像素点，如果是则将所述扩展点扩展到种子区域；具体的：如果该方向上和所述像素点直接相邻的像素点的灰度值和所述像素点的灰度值的均值，和种子模板区域的灰度均值之间的差在预设范围内，则将所述直接相邻的像素点扩展为种子区域从而形成经扩展种子区域；

其中：图像函数F(x,y)在x，y轴的四个方向上的梯度值分别为：

H_-x(x,y)＝f(x-1,y)-f(x,y)；

H_x(x,y)＝f(x+1,y)-f(x,y)；

H_y(x,y)＝f(x,y+1)-f(x,y)；

H-_y(x,y)＝f(x,y-1)-f(x,y)；

图像灰度在四个方向上的梯度幅值分别为：

所述对经扩展的区域进行区域连通已得到联通区域，具体为：多个经扩展种子区域的边界之间可能会存在重叠，将这些产生重叠的经扩展种子区域相连通以得到经连通种子区域；将这些产生重叠的经扩展种子区域相连通以得到经连通种子区域，具体为：对于任意两个重叠的经扩展种子区域中的重叠区域，对于重叠区域中的任一像素点(x，y)，重新设置该像素点的灰度值为重叠区域对应的两个经扩展种子区域对应像素点灰度值的平均值；对于非重叠区域中的任一像素点(x，y)，直接设置像素点的灰度值为非重叠区域对应的经扩展种子区域对应像素点的灰度值；

当多个区域产生重叠的时候，说明该区域对应的是重点关注区域，存在多个特征区域，需要对该重点区域进行重点处理；

可替换的：对于重叠区域中的像素点(x，y)，确定该像素点的显著分界线，基于所述显著分界线确定所述像素点的灰度值；

确定该像素点的显著分界线，具体为：以所述像素点为中心，确定多条分界线(例如：从0度开始每隔30度设置为一条分界线)，确定分界线左右两侧预定数量像素点(例如：左右两侧和所述像素点之间的近距离小于n的像素点)的灰度值的平均值之间的差值，确定差值最大的分界线为显著分界线；

所述基于所述显著分界线确定所述像素点的灰度值，具体为：将所述像素点的灰度值设置为更接近所述分界线两侧中灰度变化快的一侧；而这里的变化更快不仅仅需要考虑特定方向上的梯度，而是要考虑从面积上体现出来的灰度区域变化情况；通过增加上述预定数量的个数能够使得连通后的区域颜色变化更快，更加符合骨折扫描图像的呈现特点，使得重点部位更突出；设置为更接近所述分界线两侧中变化更快且变化一致的一侧，具体为：1)获取以分界线为Y轴，分别以像素点(x,y),(x-1,y),···(x-m-1，y)为中心的-X轴方向的梯度值变化序列(H-x(x,y)，H-x(x-1,y)，···H-x(x-m-1,y))；类似的获取X轴方向的梯度值变化序列(Hx(x,y)，Hx(x+1,y)，···Hx(x+m-1,y))；2)确定梯度变化序列的变化方向是否一致，如果是，则进入下一步，否则直接设置所述像素点的灰度值为原来的灰度值；确定是否一致，具体为：梯度值变化序列中的元素值为由小到大的、由大到小的、或者保持不变，则认为是一致的；优选的：由小到大或者由大到小的，并非是绝对的，可以是大致的为由小到大的、由大到小的、或者保持一致；例如：序列值中多数的相邻元素之间保持由小到大的或者由大到小；多数可以通过是否超过阈值来确定；2)分别计算-X轴方向和X轴方向的梯度值变化序列中所有元素的加和，确定加和中的较大值对应的方向；3)基于所述较大值对应方向的一个或者多个像素点的灰度值确定所述像素点的灰度值；如：所述像素点的灰度值为A,所述较大值对应方向的一个或者多个像素点的灰度值为G1···Gu···Gm；则设置所述像素点的新的灰度值为

所述对应方向为对应X、或者-X轴梯度方向；

基于连通区域确定最小计算区域，具体为：将连通区域直接作为最小计算区域；可选择的：将连通区域和预设区域进行比较以确定最小计算区域；所述预设区域为用户圈定或者是和所述目标类型以及图像采集方式对应的区域；选择连通区域和预设区域中的重合区域作为所述最小计算区域；预设区域可以为医生在进行初步诊疗的过程中针对其中图像序列中的一副图像所圈定的目标范围内的区域；

所述原始信息提取模块用于以最小计算区域为模板，从原始图像序列中提取最小计算区域数据，从而得到包含最小计算区域数据的图像序列；

通过上述最小计算区域的提取，大大的减少了当前图像序列的存储大小，从而能够有效的进行后续的人工智能图像识别操作；

图像中包含了VIO区域不代表其中必然包含骨折数据，感兴趣的区域是和目标类型对应的重点区域，通过VIO缩小了计算范围，通过进一步的区域确定能够从中找出直接包含骨折数据的图像；

所述实际区域确定模块用于采用工智能图像识别方法，将包含骨折数据的图像从图像序列中提取出来，以便于进行三维图像的创建和呈现；具体的：1)提取每幅图像的特征，将所述特征输入分类器中，以得到所述图像的分类；其中所述特征包含两类，第一类特征为图像的总体特征，例如：图像灰度的最大最小值、灰度平均值，标准差，熵值、最小计算区域的大小等；第二类特征为表征图像中像素点之间的关系；例如：灰度值相关性矩阵、梯度矩阵、互信息矩阵、角落的四个区域的平均灰度等；2)将所述第一类特征中的每一个输入单独的第一神经网络模型以使得所述第一神经网络能够学习出所处图像中的每个特征的特征表示；将所述第二类特征中的每个特征单独的输入单独的多个第二神经网络模型以使得所述第二神经网络能够学习出图像中特征的交互表示；将所述第一神经网络模型和第二神经网络模型的输出输入到第三神经网络模型中以得到所述图像的分类向量；3)基于分类结果确定所述图像中是否包含骨折数据；其中：采用之前的医疗诊断数据对所述第一、第二、第三神经网络模型组成的人工智能模型进行训练；通过上述方法能够实现大量数据的筛查，上述图像序列图像中的部分切片图像是看不到骨折信息的，通过上述方法能够快速的进行大量数据的筛查，从而可以从骨折的出现到骨折的眼中部分具有重点体现；

所述通用处理模块用于进行边界的识别与锐化处理，具体为：获取包含骨折数据的图像，针对所述图像利用边缘识别算法，识别边界信息，并进行锐化等处理；例如：所述边界为所有大小符合设定要求的区域的边界；优选的：设置为最大区域的边界识别和相关处理；包含骨折数据的图像中会通过边界锐化的方式呈现出骨折数据；

三维重建模块用于基于面绘制方法，基于包含骨折数据的图像快速生成交互式的三维重建图像；基于包含骨折数据的图像在图像序列中出现的时间顺序进行图像的重新整理，并经过重新整理的图像进行三维重建；可以进行旋转、缩放等操作，并用方向控件指示三维空间上的方向，以便观察。例如：所述面绘制方法为利用VTK中的Marching Cubes；实际的CT切片中，可能时包含目标类型数据但是其中并不包含骨折数据，这时候进行三维重建，重建的速度非常的慢，而通过上述VIO区域的确定，能够最大可能的将包含骨折数据的区域圈定出来，通过AI算法定位出具体的图像，并仅基于所述图像进行三维重建，重建图像中通过对所有的边界，或者部分的边界进行处理，能够更加清晰的呈现出骨折信息；

显示模块用于获取三维重建图像并进行三维重建图像的呈现；在三维重建图像中，基于识别包含骨折数据的图像之间的重叠区域、不同包含骨折数据的图像之间的差别区域进行三维重建，从而突出呈现包含骨折数据的重叠区域部分；

实施例II

在Visual Studio 2010平台上，利用MFC(Microsoft Foundation Classes)构建软件框架，结合OpenGL接口编程实现软件的基本功能；①根据DICOM 3.0标准，读取复杂关节内骨折的CT数据，②显示二维图像，③窗宽窗位的调节显示。

(2)基于人工智能算法的骨折图像分割

①感兴趣区域(Volume of Interest，VOI)的设定：利用人工智能中数据驱动的方法，分析图像序列灰度信息，获得可能包含骨折目标的最小计算区域，减小目标搜索范围，同时降低误提取概率；

②原始信息的提取：以VIO区域为模板，从原始CT序列中提取VIO数据信息；从原始图像序列中提取最小计算区域数据，从而得到包含最小计算区域数据的图像序列；降低后续AI计算和三维重建所需要的计算和存储量；

③实际区域确定：采用工智能图像识别方法，将包含骨折数据的图像从图像序列中提取出来，以便于进行三维图像的创建和呈现；

④通用处理：边界的识别与锐化处理：

(3)三维重建图像的显示

利用VTK中的Marching Cubes面绘制方法，将所分割出的骨折数据快速生成交互式的三维重建图像，可以进行旋转、缩放等操作，并用方向控件指示三维空间上的方向，以便观察。

(4)软件有效性的验证

①研究对象：复杂关节内骨折120例，其中60例为软件辅助组，60例为非软件辅助组，两组在患者年龄、性别及骨折部位、分型等方面不存在统计学差异，具有可比性。

纳入标准[1]：a.损伤≤2周的新鲜性四肢关节内骨折；b.骨折线累及关节面；c.骨折块≥3块；d.骨折块间移位＞2mm；e.行骨折切开复位内固定手术者。

排除标准：a.损伤＞2周的陈旧性骨折；b.合并严重脑外伤或胸腹部外伤者；c.生命体征不平稳，无法耐受骨折内固定手术者；d.未行CT检查者。

②治疗：两组术前均行常规CT检查，软件辅助组利用本项目软件读取CT数据，生成三维重建图像，并导出保存至医生办公室与手术室计算机内，供医生查看，实施精准手术；非软件辅助组则不采用本项目软件进行辅助诊治，行常规手术治疗。

③记录并比较两组的手术时间、出血量、术后疼痛评分、术后关节活动度等指标。

④统计学方法：使用SPSS17.0软件，结果以均数±标准差

表示，采用t检验，P<0.05为差异有统计学意义。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其效物界定。

Claims (10)

1.一种智能的复杂关节内骨折桌面级三维诊断系统，其特征在于：该系统包括依次连接的图像获取模块、图像处理模块，三维重建模块和显示模块。

2.根据权利要求1所述的一种智能的复杂关节内骨折桌面级三维诊断系统，其特征在于，所述图像获取模块，用于读取复杂关节内骨折的CT数据；根据DICOM 3.0标准，读取复杂关节内骨折的CT数据；读取到的CT数据为核磁共振设备发送的原始图像。

3.根据权利要求2所述的一种智能的复杂关节内骨折桌面级三维诊断系统，其特征在于，所述图像处理模块包括VIO设定模块、原始信息提取模块、实际区域确定模块、通用处理模块。

4.根据权利要求2所述的一种智能的复杂关节内骨折桌面级三维诊断系统，其特征在于，VIO设定模块用于采用人工智能算法，分析图像序列灰度信息，获得可能包含骨折目标的最小计算区域，减小目标搜索范围。

5.根据权利要求2所述的一种智能的复杂关节内骨折桌面级三维诊断系统，其特征在于，VIO设定模块用于，确定种子模板区域，基于种子模板区域获取种子区域，基于种子区域进行区域扩展，对经过扩展的区域进行区域连通，基于连通区域确定最小计算区域。

6.根据权利要求2所述的一种智能的复杂关节内骨折桌面级三维诊断系统，其特征在于：所述原始信息提取模块用于以最小计算区域为模板，从原始图像序列中提取最小计算区域数据，从而得到包含最小计算区域数据的图像序。

7.根据权利要求2所述的一种智能的复杂关节内骨折桌面级三维诊断系统，其特征在于：所述实际区域确定模块用于采用工智能图像识别方法，将包含骨折数据的图像从图像序列中提取出来，以便于进行三维图像的创建和呈现。

8.根据权利要求2所述的一种智能的复杂关节内骨折桌面级三维诊断系统，其特征在于，所述通用处理模块用于进行边界的识别与锐化处理。

9.根据权利要求2所述的一种智能的复杂关节内骨折桌面级三维诊断系统，其特征在于，三维重建模块用于基于面绘制方法，基于包含骨折数据的图像快速生成交互式的三维重建图像。

10.根据权利要求2所述的一种智能的复杂关节内骨折桌面级三维诊断系统，其特征在于，显示模块用于获取三维重建图像并进行三维重建图像的呈现。

Images