CN113538654A - 颅骨植入物图像生成方法、装置和计算机可读存储介质 - Google Patents

Abstract

本发明实施例提供了一种颅骨植入物图像生成方法、装置和计算机可读存储介质，包括：获取缺陷颅骨的颅骨三维图像；对所述颅骨三维图像进行预处理，得到三份不同维度的颅骨二维图像切片；搭建基于注意力和残差结构的U‑Net网络；将三份所述颅骨二维图像切片分别输入到三个结构相同的所述U‑Net网络，得到三份颅骨植入物二维图像切片；将三份所述颅骨植入物二维图像切片进行合成，得到与所述缺陷颅骨的缺陷位置所对应的颅骨植入物三维图像。相对于现有技术，本发明实施例的技术方案，能够较好的设计出精细的颅骨植入物，有效提高了颅骨植入物设计的精度。

Description

颅骨植入物图像生成方法、装置和计算机可读存储介质

技术领域

本发明实施例涉及但不限于图像技术领域，尤其涉及一种颅骨植入物图像生成方法、颅骨植入物图像生成装置和计算机可读存储介质。

背景技术

颅骨修补术是一种外科手术过程，在脑肿瘤手术或外伤引起的颅骨缺损中，使用颅骨植入物进行修复。颅骨植入物的设计必须精确地紧贴颅骨缺损的边缘，不然会损害贴合处的颅骨。设计出精确的颅骨植入物三维模型通常需要昂贵的商业软件，而临床机构使用这些软件的渠道往往有限。颅骨植入物的设计非常耗时，且需要特定医学领域的专业知识，让急需植入物进行手术的病人不能及时的得到供应。因此能够快速、精确的设计出颅骨植入物显得尤为必要。

发明内容

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

本发明实施例提供了一种颅骨植入物图像生成方法、颅骨植入物图像生成装置和计算机可读存储介质，通过多轴切片和注意力机制有效提高颅骨植入物设计的精细程度，得到精细的颅骨植入物。

第一方面，本发明实施例提供了一种颅骨植入物图像生成方法，包括：

获取缺陷颅骨的颅骨三维图像；

对所述颅骨三维图像进行预处理，得到三份不同维度的颅骨二维图像切片；

搭建基于注意力和残差结构的U-Net网络；

将三份所述颅骨二维图像切片分别输入到三个结构相同的所述U-Net网络，得到三份颅骨植入物二维图像切片；

将三份所述颅骨植入物二维图像切片进行合成，得到与所述缺陷颅骨的缺陷位置所对应的颅骨植入物三维图像。

在一些实施例中，所述对所述颅骨三维图像进行预处理，得到三份不同维度的颅骨二维图像切片，包括：

对所述颅骨三维图像进行正则化；

将正则化后的所述颅骨三维图像分别沿着X轴、Y轴、Z轴进行切片，分别得到所述缺陷颅骨在X轴、Y轴、Z轴方向的颅骨二维图像切片。

在一些实施例中，所述搭建基于注意力和残差结构的U-Net网络，包括：

构造四层下采样和四层上采样；

采用具有四层所述下采样与四层所述上采样、注意力模块、残差结构的U-Net网络；

将所述残差结构结合至所述U-Net网络的编码部分和解码部分，并将注意力模块结合至所述解码部分的所述残差结构中。

在一些实施例中，所述将三份所述颅骨二维图像切片分别输入到三个结构相同的所述U-Net网络，得到三份颅骨植入物二维图像切片，包括：

将在X轴方向的所述颅骨二维图像切片输入至所述U-Net网络，得到在X轴方向的颅骨植入物二维图像切片；

将在Y轴方向的所述颅骨二维图像切片输入至所述U-Net网络，得到在Y轴方向的颅骨植入物二维图像切片；

将在Z轴方向的所述颅骨二维图像切片输入至所述U-Net网络，得到在Z轴方向的颅骨植入物二维图像切片。

在一些实施例中，所述将三份所述颅骨植入物二维图像切片进行合成，得到与所述缺陷颅骨的缺陷位置所对应的颅骨植入物三维图像，包括：

将所述在X轴方向的颅骨植入物二维图像切片、所述在Y轴方向的颅骨植入物二维图像切片和所述在Z轴方向的颅骨植入物二维图像切片进行合成处理和正则化，得到与所述缺陷颅骨的缺陷位置所对应的颅骨植入物三维图像。

在一些实施例中，所述残差结构由如下公式得到：

y＝F(X，{W_i})+X

F＝W₂σ(W₁x)

其中，所述X为输入值；W_i,W₁,W₂为可学习的线性变换矩阵；F为输入X经过卷积、线性激活后的输出；σ为线性激活；y为输入X经过残差结构后的输出。

在一些实施例中，所述注意力由如下公式得到：

R_p＝R_h+R_w

其中，G(x)为所述注意力的机制；X表示输入值；维度大小为(H,W,D1)；W_q,W_k,W_v∈R^D1xD2；为可学习的线性变换矩阵；d_k为XW_k的维度；R_p为位置信息；R_h∈R^Hx1xD2，R_w∈R^1xWxD2，为可学习的线性变换矩阵。

在一些实施例中，所述将注意力模块结合至所述解码部分的所述残差结构中的公式为：

y′＝F′(X，{W′_i})+X

F′＝W′₂σ(G(σ(W′₁x)))

R_p＝R_h+R_w

其中，G(x)为所述注意力的机制；X表示输入值；维度大小为(H,W,D1)；W_q,W_k,W_v∈R^D1xD2；为可学习的线性变换矩阵；d_k为XW_k的维度；R_p为位置信息；R_h∈R^Hx1xD2，R_w∈R^1xWxD2，为可学习的线性变换矩阵；F’为输入X经过卷积和注意力机制后的输出；σ为线性激活；W’_i,W’₁,W’₂为可学习的线性变换矩阵；y’为在所述解码部分结合注意力机制的残差结构。

第二方面，本发明实施例还提供了一种颅骨植入物图像生成装置，包括：

获取单元，用于获取缺陷颅骨的颅骨三维图像；

预处理单元，用于对所述颅骨三维图像进行预处理，得到三份不同维度的颅骨二维图像切片；

搭建单元，用于搭建基于注意力和残差结构的U-Net网络；

输入单元，用于将三份所述颅骨二维图像切片分别输入到三个结构相同的所述U-Net网络，得到三份颅骨植入物二维图像切片；

输出单元，用于将三份所述颅骨植入物二维图像切片进行合成，得到与所述缺陷颅骨的缺陷位置所对应的颅骨植入物三维图像。

第三方面，本发明实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上述第一方面所述的颅骨植入物图像生成方法。

本发明实施例包括：本发明实施例的颅骨植入物图像生成方法，通过对有缺陷的颅骨三维图像进行预处理，得到预处理图像沿X轴、Y轴、Z轴三个不同维度的三份颅骨二维图像切片，再构建基于注意力和残差结构的U-Net网络；其中，U-Net网络模型的编码部分和解码部分都使用了残差结构，并在第三层解码部分的残差结构中使用了注意力机制；最后输入三份不同维度的颅骨二维图像切片至U-Net网络中进行训练，得到三份沿着X轴、Y轴、Z轴的颅骨植入物二维图像切片。将得到的三份颅骨植入物二维图像切片进行合成，得到颅骨植入物三维图像。相对于现有技术，本发明实施例的技术方案，能够较好的设计出精细的颅骨植入物，有效提高了颅骨植入物设计的精度。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1是本发明一个实施例提供的骨植入物图像生成方法的流程图；

图2是本发明一个实施例所提供的预处理和沿不同轴进行切片的结构图；

图3是本发明一个实施例所提供的注意力机制结构图；

图4是本发明一个实施例所提供的构建残差注意力U-Net网络模型的结构图；

图5是本发明一个实施例所提供的将三份不同的切片输入相同结构的三个不同模型的结构图；

图6是本发明一个实施例所提供的将不同轴方向颅骨植入物合成和后处理的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书、权利要求书或上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

相关技术中，颅骨修补术是一种外科手术过程，在脑肿瘤手术或外伤引起的颅骨缺损中，使用颅骨植入物进行修复。颅骨植入物的设计必须精确地紧贴颅骨缺损的边缘，不然会损害贴合处的颅骨。设计出精确的颅骨植入物三维模型通常需要昂贵的商业软件，而临床机构使用这些软件的渠道往往有限。颅骨植入物的设计非常耗时，且需要特定医学领域的专业知识，让急需植入物进行手术的病人不能及时的得到供应。因此能够快速、精确的设计出颅骨植入物显得尤为必要。

基于上述情况，本发明实施例提供了一种颅骨植入物图像生成方法、颅骨植入物图像生成装置和计算机可读存储介质，通过对有缺陷的颅骨三维图像进行预处理，得到预处理图像沿X轴、Y轴、Z轴三个不同维度的三份颅骨二维图像切片，再构建基于注意力和残差结构的U-Net网络；其中，U-Net网络模型的编码部分和解码部分都使用了残差结构，并在第三层解码部分的残差结构中使用了注意力机制；最后输入三份不同维度的颅骨二维图像切片至U-Net网络中进行训练，得到三份沿着X轴、Y轴、Z轴的颅骨植入物二维图像切片。将得到的三份颅骨植入物二维图像切片进行合成，得到颅骨植入物三维图像。相对于现有技术，本发明实施例的技术方案，能够较好的设计出精细的颅骨植入物，有效提高了颅骨植入物设计的精度。

参照图1，本发明实施例的第一方面，提供了一种基于多轴切片及残差注意力U-Net的颅骨植入物图像生成方法，包括以下步骤：

步骤S100，获取缺陷颅骨的颅骨三维图像；

步骤S200，对颅骨三维图像进行预处理，得到三份不同维度的颅骨二维图像切片；

步骤S300，搭建基于注意力和残差结构的U-Net网络；

步骤S400，将三份颅骨二维图像切片分别输入到三个结构相同的U-Net网络，得到三份颅骨植入物二维图像切片；

步骤S500，将三份颅骨植入物二维图像切片进行合成，得到与缺陷颅骨的缺陷位置所对应的颅骨植入物三维图像。

参照图2，在步骤S200中，包括以下步骤：

对颅骨三维图像进行正则化；

将正则化后的颅骨三维图像分别沿着X轴、Y轴、Z轴进行切片，分别得到缺陷颅骨在X轴、Y轴、Z轴方向的颅骨二维图像切片。

具体地，对缺陷颅骨进行预处理，包括正则化等处理，以便于图像特征的提取，提高网络的分割精度；将预处理后的缺陷颅骨3D图像沿x轴进行切片提取，得到缺陷颅骨3D图像在x轴上的一系列2D切片；将预处理后的缺陷颅骨3D图像沿y轴进行切片提取，得到缺陷颅骨3D图像在y轴上的一系列2D切片；将预处理后的缺陷颅骨3D图像沿z轴进行切片提取，得到缺陷颅骨3D图像在z轴上的一系列2D切片。

参照图3，本实施例的注意力机制如图所示。注意力的计算公式为：

R_p＝R_h+R_w

其中，G(x)为注意力机制；X表示输入值；维度大小为(H,W,D1)；W_q,W_k,W_v∈R^D1xD2；为可学习的线性变换矩阵；d_k为XW_k的维度；R_p为位置信息；R_h∈R^Hx1xD2，R_w∈R^1xWxD2，为可学习的线性变换矩阵。

注意力机制的输入x的维度大小为(H,W,D1)，将x分别与三个不同的可学习的线性变换矩阵W_q,W_k,W_v相乘，W_q,W_k,W_v∈R^D1xD2，得到输出Q’、K’、V’。其中，Q’、K’、V’∈R^HxWxD2。将Q’、K’、V’进行维度的变换，得到Q、K、V∈R^(HxW)xD2。随机初始化可学习线性变换矩阵R_h,R_w，将R_h和R_w进行相加、维度变换得到R_p，R_p∈R^(HxW)。将Q与R的转置矩阵R^T相乘，得到QR^T；将Q与K的转置矩阵K^T相乘，得到QK^T；将QR^T与QK^T相加，再进行softmax操作，再与V进行矩阵乘法后进行维度的变换，得到Output。

参照图4，在步骤S300中，构造基于注意力和残差结构的U-Net网络模型，包括：

构造四层下采样和四层上采样；

采用具有四层下采样与四层上采样、注意力模块、残差结构的U-Net网络；

将残差结构结合至U-Net网络的编码部分和解码部分，并将注意力模块结合至解码部分的残差结构中。

具体地，在每一层都使用了残差模块进行特征的提取，使用步长为2的3x3卷积作为下采样；特别的，在解码部分的第三层使用了结合注意力机制的残差模块，以获得长距离信息。残差结构公式为：

y＝F(X,{W_i})+X

F＝W₂σ(W₁x)

其中，X为输入值；W_i,W₁,W₂为可学习的线性变换矩阵；F为输入X经过卷积、线性激活后的输出；σ为线性激活；y为输入X经过残差结构后的输出。

将注意力模块结合至第三层的解码部分的公式为：

y′＝F′(X,{W′_i})+X

F′＝W′₂σ(G(σ(W′₁x)))

R_p＝R_h+R_w

其中，G(x)为注意力机制；X表示输入值；维度大小为(H,W,D1)；W_q,W_k,W_v∈R^D1xD2；为可学习的线性变换矩阵；d_k为XW_k的维度；R_p为位置信息；R_h∈R^Hx1xD2，R_w∈R^1xWxD2，为可学习的线性变换矩阵；F’为输入X经过卷积和注意力机制后的输出；σ为线性激活；W’_i,W’₁,W’₂为可学习的线性变换矩阵；y’为在第三层解码部分结合了注意力机制的残差结构。

参照图5，在步骤S400中，构造三个结构如图4所示的网络，包括如下步骤：

将在X轴方向的颅骨二维图像切片输入至U-Net网络，得到在X轴方向的颅骨植入物二维图像切片；

将在Y轴方向的颅骨二维图像切片输入至U-Net网络，得到在Y轴方向的颅骨植入物二维图像切片；

将在Z轴方向的颅骨二维图像切片输入至U-Net网络，得到在Z轴方向的颅骨植入物二维图像切片。

具体地，将从步骤S200中得到的三份存在缺陷颅骨沿x轴、y轴、z轴的一系列切片分别输入三个基于注意力和残差结构的U-Net进行训练。其中，在输入前通过的channelcolorshifting，shear，translation，rotation，enlargement和gammatransformation对输入数据进行简单的数据扩充，以便模型能学习到更多的特征，增强模型的鲁棒性。三个模型分别输出得到三份一系列沿x轴、y轴、z轴的颅骨植入物切片。

参照图6，步骤S500中，包括如下步骤：

将在X轴方向的颅骨植入物二维图像切片、在Y轴方向的颅骨植入物二维图像切片和在Z轴方向的颅骨植入物二维图像切片进行合成处理和正则化，得到与缺陷颅骨的缺陷位置所对应的颅骨植入物三维图像。

具体地，在步骤S400得到三份沿x轴、y轴、z轴的一系列颅骨植入物切片，将三份切片进行合成得到颅骨植入物的3D图像，将得到的颅骨植入物图像再经过正则化处理去除噪声。

本发明实施例中提供的一个或多个技术方案，至少具有如下有益效果：相对于现有技术中，本发明实施例的技术方案，从缺陷颅骨提取出沿x轴、y轴、z轴的一系列二维切片，将三份切片输入三个结构相同的模型进行训练，得到三份颅骨植入物切片，将三份切片进行合成得到颅骨植入物三维图像的方法，让模型能够从三个维度对数据进行信息的提取，通过合成三份切片将三个维度提取到的信息进行融合，提高了颅骨植物人的预测精度；通过将注意力机制和残差结构进行结合，让网络能够获取长距离信息，增加模。型的鲁棒性和提高了模型的精度。

此外，本发明的一个实施例还提供了一种颅骨植入物图像生成装置，包括：

获取单元，用于获取缺陷颅骨的颅骨三维图像；

预处理单元，用于对颅骨三维图像进行预处理，得到三份不同维度的颅骨二维图像切片；

搭建单元，用于搭建基于注意力和残差结构的U-Net网络；

输入单元，用于将三份颅骨二维图像切片分别输入到三个结构相同的U-Net网络，得到三份颅骨植入物二维图像切片；

输出单元，用于将三份颅骨植入物二维图像切片进行合成，得到与缺陷颅骨的缺陷位置所对应的颅骨植入物三维图像。

此外，本发明的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于执行上述的数据处理方法。例如，被上述IDU实施例的一个处理器执行，可使得上述处理器执行上述实施例中的颅骨植入物图像生成。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包括计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的共享条件下还可作出种种等同的变形或替换，这些等同的变形或替换均包括在本发明权利要求所限定的范围内。

Claims (10)

1.一种颅骨植入物图像生成方法，其特征在于，包括：

获取缺陷颅骨的颅骨三维图像；

对所述颅骨三维图像进行预处理，得到三份不同维度的颅骨二维图像切片；

搭建基于注意力和残差结构的U-Net网络；

将三份所述颅骨二维图像切片分别输入到三个结构相同的所述U-Net网络，得到三份颅骨植入物二维图像切片；

将三份所述颅骨植入物二维图像切片进行合成，得到与所述缺陷颅骨的缺陷位置所对应的颅骨植入物三维图像。

2.根据权利要求1所述的方法，其特征在于，所述对所述颅骨三维图像进行预处理，得到三份不同维度的颅骨二维图像切片，包括：

对所述颅骨三维图像进行正则化；

将正则化后的所述颅骨三维图像分别沿着X轴、Y轴、Z轴进行切片，分别得到所述缺陷颅骨在X轴、Y轴、Z轴方向的颅骨二维图像切片。

3.根据权利要求1所述的方法，其特征在于，所述搭建基于注意力和残差结构的U-Net网络，包括：

构造四层下采样和四层上采样；

采用具有四层所述下采样与四层所述上采样、注意力模块、残差结构的U-Net网络；

将所述残差结构结合至所述U-Net网络的编码部分和解码部分，并将注意力模块结合至所述解码部分的所述残差结构中。

4.根据权利要求2所述的方法，其特征在于，所述将三份所述颅骨二维图像切片分别输入到三个结构相同的所述U-Net网络，得到三份颅骨植入物二维图像切片，包括：

将在X轴方向的所述颅骨二维图像切片输入至所述U-Net网络，得到在X轴方向的颅骨植入物二维图像切片；

将在Y轴方向的所述颅骨二维图像切片输入至所述U-Net网络，得到在Y轴方向的颅骨植入物二维图像切片；

将在Z轴方向的所述颅骨二维图像切片输入至所述U-Net网络，得到在Z轴方向的颅骨植入物二维图像切片。

5.根据权利要求4所述的方法，其特征在于，所述将三份所述颅骨植入物二维图像切片进行合成，得到与所述缺陷颅骨的缺陷位置所对应的颅骨植入物三维图像，包括：

将所述在X轴方向的颅骨植入物二维图像切片、所述在Y轴方向的颅骨植入物二维图像切片和所述在Z轴方向的颅骨植入物二维图像切片进行合成处理和正则化，得到与所述缺陷颅骨的缺陷位置所对应的颅骨植入物三维图像。

6.根据权利要求1所述的方法，其特征在于，所述残差结构由如下公式得到：

y＝F(X,{W_i})+X

F＝W₂σ(W₁x)

其中，所述X为输入值；W_i,W₁,W₂为可学习的线性变换矩阵；F为输入X经过卷积、线性激活后的输出；σ为线性激活；y为输入X经过残差结构后的输出。

7.根据权利要求1所述的方法，其特征在于，所述注意力由如下公式得到：

R_p＝R_h+R_w

其中，G(x)为所述注意力的机制；X表示输入值；维度大小为(H,W,D1)；W_q,W_k,W_v∈R^D1xD2；为可学习的线性变换矩阵；d_k为XW_k的维度；R_p为位置信息；R_h∈R^Hx1xD2，R_w∈R^1xWxD2，为可学习的线性变换矩阵。

8.根据权利要求3所述的方法，其特征在于，所述将注意力模块结合至所述解码部分的所述残差结构中的公式为：

y′＝F′(X，{W′_i})+X

F′＝W′₂σ(G(σ(W′₁x)))

R_p＝R_h+R_w

其中，G(x)为所述注意力的机制；X表示输入值；维度大小为(H,W,D1)；W_q,W_k,W_v∈R^D1xD2；为可学习的线性变换矩阵；d_k为XW_k的维度；R_p为位置信息；R_h∈R^Hx1xD2，R_w∈R^1xWxD2，为可学习的线性变换矩阵；F’为输入X经过卷积和注意力机制后的输出；σ为线性激活；W’_i,W’₁,W’₂为可学习的线性变换矩阵；y’为在所述解码部分结合注意力机制的残差结构。

9.一种颅骨植入物图像生成装置，其特征在于，包括：

获取单元，用于获取缺陷颅骨的颅骨三维图像；

预处理单元，用于对所述颅骨三维图像进行预处理，得到三份不同维度的颅骨二维图像切片；

搭建单元，用于搭建基于注意力和残差结构的U-Net网络；

输入单元，用于将三份所述颅骨二维图像切片分别输入到三个结构相同的所述U-Net网络，得到三份颅骨植入物二维图像切片；

输出单元，用于将三份所述颅骨植入物二维图像切片进行合成，得到与所述缺陷颅骨的缺陷位置所对应的颅骨植入物三维图像。

10.一种计算机可读存储介质，其特征在于，存储有计算机可执行指令，所述计算机可执行指令用于执行如权利要求1至8中任意一项所述的颅骨植入物图像生成方法。

Images