CN116681706A - 医学影像的处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种医学影像的处理方法、装置、电子设备及存储介质。其中，该方法包括：获取待处理的医学影像以及与医学影像对应的N个图像切片；基于医学影像生成X个3D影像组学特征；基于N个图像切片中每个图像切片生成该图像切片对应的2D影像组学特征序列，得到N个2D影像组学特征序列；将X个3D影像组学特征和N个2D影像组学特征序列输入至深度神经网络中，得到深度神经网络基于X个3D影像组学特征和N个2D影像组学特征序列生成的预测结果。本申请解决了现有技术中由于缺乏有效的算法框架将影像组学特征与深度神经网络相结合，导致的神经网络模型预测准确性存在较大局限性的技术问题。

Description

医学影像的处理方法、装置、电子设备及存储介质

技术领域

本申请涉及医疗科技领域及图像处理领域，具体而言，涉及一种医学影像的处理方法、装置、电子设备及存储介质。

背景技术

常见的医学影像具有高维度（例如3D图像、4D图像）以及小样本的特点，其中，在疗效预测任务等分类任务上，医学影像高维度的特点迫使在训练神经网络模型时需要为神经网络设置较多的参数，但是神经网络的参数越多，则相应地需要更多的训练样本来拟合模型，然而，现在医学影像的小样本的特点便又成为了模型训练的制约因素。

由此可见，目前尚缺乏有效的算法框架，能够将医学影像的影像组学特征与深度神经网络相结合，从而导致模型的预测准确性存在较大的局限性。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请提供了一种医学影像的处理方法、装置、电子设备及存储介质，以至少解决现有技术中由于缺乏有效的算法框架将影像组学特征与深度神经网络相结合，导致的神经网络模型预测准确性存在较大局限性的技术问题。

根据本申请的一个方面，提供了一种医学影像的处理方法，包括：获取待处理的医学影像以及与医学影像对应的N个图像切片，其中，N个图像切片均为2D形式的图像切片；基于医学影像生成X个3D影像组学特征，其中，X为大于1的整数；基于N个图像切片中每个图像切片生成该图像切片对应的2D影像组学特征序列，得到N个2D影像组学特征序列，其中，每个2D影像组学特征序列包括Y个2D影像组学特征，Y个2D影像组学特征按照预设的序列编码进行排序以及编码，Y为大于1的整数；将X个3D影像组学特征和N个2D影像组学特征序列输入至深度神经网络中，得到深度神经网络基于X个3D影像组学特征和N个2D影像组学特征序列生成的预测结果。

可选地，医学影像的处理方法还包括：从深度神经网络中确定N+1个输入位置；将X个3D影像组学特征输入至N+1个输入位置中的第一个输入位置；将N个2D影像组学特征序列按照N个图像切片的排列顺序依次输入至N+1个输入位置中除第一个输入位置之外的N个输入位置中。

可选地，医学影像的处理方法还包括：步骤1，从N个2D影像组学特征序列中选取一个2D影像组学特征序列作为待输入2D影像组学特征序列；步骤2，确定待输入2D影像组学特征序列对应的图像切片为N个图像切片中的第i个图像切片，其中，i表征待输入2D影像组学特征序列对应的图像切片在N个图像切片中的排列顺序；步骤3，将待输入2D影像组学特征序列输入至N+1个输入位置中的第j个输入位置，其中，j=i+1；重复执行步骤1至步骤3的过程，直至将N个2D影像组学特征序列依次输入至N+1个输入位置中除第一个输入位置之外的N个输入位置中。

可选地，医学影像的处理方法还包括：在将N个2D影像组学特征序列按照N个图像切片的排列顺序依次输入至N+1个输入位置中除第一个输入位置之外的N个输入位置中之后，通过深度神经网络融合N个2D影像组学特征序列中的2D影像组学特征以及X个3D影像组学特征之间的特征信息，并根据融合后的特征信息生成预测结果；通过深度神经网络的一个输出位置输出预测结果。

可选地，医学影像的处理方法还包括：对医学影像进行勾画操作，得到与医学影像对应的勾画影像，其中，勾画操作用于对医学影像中涉及危及器官以及放疗靶区的图像区域进行轮廓勾画，勾画影像以3D图像的形式表征医学影像中涉及危及器官以及放疗靶区的图像区域的轮廓信息；依据医学影像以及勾画影像生成X个3D影像组学特征。

可选地，医学影像的处理方法还包括：对每个图像切片进行勾画操作，得到每个图像切片对应的勾画切片，其中，每个图像切片对应的勾画切片以2D图像的形式表征该图像切片中涉及危及器官以及放疗靶区的图像区域的轮廓信息；依据每个图像切片以及该图像切片对应的勾画切片生成该图像切片对应的Y个2D影像组学特征，并对该图像切片对应的Y个2D影像组学特征按照预设的序列编码进行排序以及编码，得到该图像切片对应的2D影像组学特征序列。

可选地，医学影像的处理方法还包括：依据医学影像以及勾画影像生成M个3D影像组学特征，其中，M为大于X的整数，M个3D影像组学特征中至少包括X个3D影像组学特征；对M个3D影像组学特征进行过滤处理，得到X个3D影像组学特征，其中，过滤处理用于过滤M个3D影像组学特征中特征信息重复的3D影像组学特征以及特征信息量低于预设信息量的3D影像组学图像特征。

根据本申请的另一方面，还提供了一种医学影像的处理装置，其中，包括：获取单元，用于获取待处理的医学影像以及与医学影像对应的N个图像切片，其中，N个图像切片均为2D形式的图像切片；第一生成单元，用于基于医学影像生成X个3D影像组学特征，其中，X为大于1的整数；第二生成单元，用于基于N个图像切片中每个图像切片生成该图像切片对应的2D影像组学特征序列，得到N个2D影像组学特征序列，其中，每个2D影像组学特征序列包括Y个2D影像组学特征，Y个2D影像组学特征按照预设的序列编码进行排序以及编码，Y为大于1的整数；输入单元，用于将X个3D影像组学特征和N个2D影像组学特征序列输入至深度神经网络中，得到深度神经网络基于X个3D影像组学特征和N个2D影像组学特征序列生成的预测结果。

根据本申请的另一方面，还提供了一种计算机可读存储介质，其中，计算机可读存储介质中存储有计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行上述任意一项医学影像的处理方法。

根据本申请的另一方面，还提供了一种电子设备，其中，电子设备包括一个或多个处理器和存储器，存储器用于存储一个或多个程序，其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述任意一项的医学影像的处理方法。

在本申请中，采用将3D影像组学特征和2D影像组学特征分开处理的方式，首先获取待处理的医学影像以及与医学影像对应的N个图像切片，然后基于医学影像生成X个3D影像组学特征，并基于N个图像切片中每个图像切片生成该图像切片对应的2D影像组学特征序列，得到N个2D影像组学特征序列。其中，N个图像切片均为2D形式的图像切片，X为大于1的整数，每个2D影像组学特征序列包括Y个2D影像组学特征，Y个2D影像组学特征按照预设的序列编码进行排序以及编码，Y为大于1的整数。最后，将X个3D影像组学特征和N个2D影像组学特征序列输入至深度神经网络中，得到深度神经网络基于X个3D影像组学特征和N个2D影像组学特征序列生成的预测结果。

由上述内容可知，本申请提出了一种全新的编码方式，在将3D影像组学特征和2D影像组学特征分开处理的同时，对每个2D影像组学特征序列中的Y个2D影像组学特征按照预设的序列编码进行排序以及编码，从而使得影像组学特征能够有效地应用于深度神经网络中，实现同时兼顾医学影像的小样本特点和高维度特点的目的，提高深度学习网络的鲁棒性和预测准确性，进而解决了现有技术中由于缺乏有效的算法框架将影像组学特征与深度神经网络相结合，导致的神经网络模型预测准确性存在较大局限性的技术问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例一提供的一种可选的医学影像的流程图；

图2是根据本申请实施例一提供的一种可选的对多个切片对应的2D影像组学特征进行序列编码的示意图；

图3是根据本申请实施例一提供的一种可选的深度神经网络的结构示意图；

图4是根据本申请实施例一提供的一种可选的将N个2D影像组学特征序列输入至深度神经网络的流程图；

图5是根据本申请实施例二提供的一种可选的医学影像的处理装置的示意图；

图6是根据本申请实施例四提供的一种电子设备的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

基于本申请背景技术中所描述的内容，由于医学影像具有高维度和小样本的特点，因此，在其他领域或在医学领域的其他任务上取得了极大成功的深度神经网络算法未能有效地应用于医学影像的分类任务中。具体地，目前医学影像的分类任务常见的执行方法有以下三种：

1. 在第一种方法中，首先使用统计学公式基于图像ROI（region of interest，图像处理领域中的感兴趣图像区域）区域计算得到影像组学特征，然后再用影像组学特征基于通用的传统机器学习模型执行医学影像的分类任务。

2. 在第二种方法中，首先依据自然图像数据集训练得到一个深度神经网络模型作为特征提取器，然后利用特征提取器对医学影像进行特征提取，再利用提取得到的特征基于通用的传统机器学习模型执行医学影像的分类任务。

3. 在第三种方法中，直接基于小样本医学影像数据训练深度神经网络，并利用训练完成的深度神经网络执行医学影像的分类任务。

需要说明的是，相较于通用的传统机器学习模型，深度神经网络可以根据数据特点、任务特点设计出专门的网络结构与优化方法，因此深度神经网络能够更有针对性并且更有效地解决预测问题，同时深度神经网络还具有较高的可拓展性等优点。但是，在上述第一种方法与第二种方法中，最终都是使用通用的传统机器学习模型进行建模，其未能有效地与深度神经网络算法进行结合，换言之，第一种方法和第二种方法未能将深度神经网络算法有效地应用于医学影像的分类任务，因此也无法利用上深度神经网络的各种优势来执行医学影像的分类任务。

此外，上述第二种方法提出了依据自然图像数据集训练得到一个深度神经网络模型作为特征提取器，然后利用特征提取器对医学影像进行特征提取，但是，需要注意到的是，自然图像与医学影像在数据特性上有着本质的区别，例如，自然图像是RGB三通道的图像，而医学影像是灰白的，自然图像是2D形式的图像，而医学影像是3D形式或者4D形式的图像，因此使用第二种方法所提取到的特征并不一定有效，并且其很有可能存在较大的特征冗余度。

另外，依据医学影像的小样本特点，可以预见的是上述第三种方法所得到的模型的预测精准度很差。这是因为深度神经网络需要大量的样本来训练模型，而第三种方法所提供的训练样本数量却很少（因为直接将医学影像用作了训练样本，而医学影像又具有小样本的特点）。具体来说，深度神经网络一个重要的组成部分是提取特征的算子（例如卷积神经网络中的卷积核），大量卷积核作用于输入图像可以相应地提取不同的特征（例如，图像中的纹理特征、形状特征等等），而在模型训练前，卷积神经网络的这些卷积核所提取的特征一般是随机并且无效的，因此其需要依赖大量的样本来进行训练，通过不断地优化卷积核参数，最后才能够提取出有效的特征。由此可见，在上述第三种方法中，直接基于小样本医学影像数据训练深度神经网络模型，可以预见的是最后训练所得的深度神经网络模型的预测效果很难符合预期要求。

综上所述，由于医学影像具有高维度和小样本的特点，因此，上述第三种方法得到的模型的预测准确率通常是最低的。而第一种方法与第二种方法也是退而求其次的方案，其未能有效地结合深度神经网络算法来解决医学影像分类任务，而是采用了对样本量需求更小的通用机器学习模型，从而导致其无法利用上深度神经网络的各种优势来执行医学影像的分类任务，进而造成模型的预测准确性存在较大的局限性的问题。

为了解决上述现有技术中的问题，根据本申请实施例，提供了一种医学影像的处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本申请实施例一提供的一种可选的医学影像的流程图，如图1所示，该方法包括如下步骤：

步骤S101，获取待处理的医学影像以及与医学影像对应的N个图像切片。

在步骤S101中，N个图像切片均为2D形式的图像切片。

在一种可选的实施例中，一种医学影像的处理系统（以下简称为处理系统）可以作为本申请实施例中的医学影像的处理方法的执行主体。其中，处理系统可以是一种软件系统，也可以是一种软硬件相结合的嵌入式系统。

上述的医学影像包括但不限于CT影像、MR影像以及PET影像。此外，医学影像可以是3D形式的影像或者更高维度的影像，例如，4D影像。

可选地，3D医学影像（即上述的医学影像）对应N个图像切片，N个图像切片之间具有固定的排列顺序，并且N个图像切片中的每个图像切片均为2D形式的图像切片。

步骤S102，基于医学影像生成X个3D影像组学特征。

在步骤S102中，X为大于1的整数。

可选地，处理系统可以首先依据医学影像生成与医学影像对应的勾画影像，例如，针对3D医学影像生成与该3D医学影像对应的3D勾画影像，然后处理系统依据统计学公式，基于3D医学影像以及3D勾画影像计算得到X个3D影像组学特征。

步骤S103，基于N个图像切片中每个图像切片生成该图像切片对应的2D影像组学特征序列，得到N个2D影像组学特征序列。

在步骤S103中，每个2D影像组学特征序列包括Y个2D影像组学特征，Y个2D影像组学特征按照预设的序列编码进行排序以及编码，Y为大于1的整数。

可选地，处理系统首先依据每个图像切片生成与该图像切片相对应的勾画切片，然后处理系统依据统计学公式，基于每个图像切片以及与该图像切片相对应的勾画切片计算得到该切片图像对应的Y个2D影像组学特征。

可选地，在本申请中，处理系统会按照预设的序列编码对每个图像切片对应的Y个2D影像组学特征进行排序以及编码。例如，如图2所示，切片1、切片2以及切片3均对应多个2D特征（即Y个2D影像组学特征），其中，每个切片对应的多个2D特征均排序并编码如下：2D形状特征1、2D纹理特征1、2D纹理特征2、2D纹理特征3、2D纹理特征4、2D纹理特征5、2D1阶特征1。此外，图2中还示出了多个3D特征（即X个3D影像组学特征）的排序以及编码，具体如下：3D形状特征1、3D形状特征2、3D纹理特征1、3D纹理特征2、3D纹理特征3、3D1阶特征1、3D1阶特征2。

需要说明的是，图2中的2D特征的排序和编码仅是一种示例，在实际应用中，预设的序列编码可以根据实际场景所确定，但是需要保证的是每个图像切片对应的Y个2D影像组学特征均使用了相同的排序和编码。

基于上述内容可知，本申请将基于3D医学影像计算得到的3D影像组学特征与基于每一个图像切片计算得到的2D影像组学特征进行了区分，并且所有切片的2D影像组学特征按照同样的序列编码，例如，图2中固定的“2D形状特征1、 2D纹理特征1、 2D纹理特征2、 2D纹理特征3、 2D纹理特征4、 2D纹理特征5、 2D1阶特征1”的序列编码。其中，使用这种编码方式，一方面同时保留了影像组学方法统计出的3D影像组学特征和2D影像组学特征，另一方面则有效地编码了基于单个切片的2D影像组学特征，从而后续可以通过深度神经网络融合2D切片之间的特征信息，以及融合2D影像组学特征与3D影像组学特征之间的信息。此外，固定的特征序列还能使得模型具有更强的泛化性与迁移学习的能力，即对于新数据而言，只需按照相同的特征序列编码即可将其应用于模型训练的过程中。

由此可见，相比于现有技术中的第一种方法和第二种方法，本申请虽然依旧是通过统计学提取图像特征，但是本申请通过设计影像组学特征的编码方式，实现了将影像组学特征与深度神经网络进行有效结合的目的，从而摒弃了传统机器学习模型，改为利用深度神经网络的各种优势来执行医学影像的分类任务。

步骤S104，将X个3D影像组学特征和N个2D影像组学特征序列输入至深度神经网络中，得到深度神经网络基于X个3D影像组学特征和N个2D影像组学特征序列生成的预测结果。

可选地，上述的预测结果可以是根据X个3D影像组学特征和N个2D影像组学特征序列预测得到的剂量分布信息、放射治疗效果、癌症诊断结果等各种分类预测结果。

需要说明的是，相比于现有技术中的第三种方法，使用影像组学特征替代医学影像作为深度神经网络的输入，使得无需在网络输入层再训练大量的特征提取算子用以从图像中提取特征，从而能够大大降低深度神经网络对样本量的需求，节约模型训练成本。

基于上述步骤S101至步骤S104的内容可知，在本申请中，采用将3D影像组学特征和2D影像组学特征分开处理的方式，首先获取待处理的医学影像以及与医学影像对应的N个图像切片，然后基于医学影像生成X个3D影像组学特征，并基于N个图像切片中每个图像切片生成该图像切片对应的2D影像组学特征序列，得到N个2D影像组学特征序列。其中，N个图像切片均为2D形式的图像切片，X为大于1的整数，每个2D影像组学特征序列包括Y个2D影像组学特征，Y个2D影像组学特征按照预设的序列编码进行排序以及编码，Y为大于1的整数。最后，将X个3D影像组学特征和N个2D影像组学特征序列输入至深度神经网络中，得到深度神经网络基于X个3D影像组学特征和N个2D影像组学特征序列生成的预测结果。

由上述内容可知，本申请提出了一种全新的编码方式，在将3D影像组学特征和2D影像组学特征分开处理的同时，对每个2D影像组学特征序列中的Y个2D影像组学特征按照预设的序列编码进行排序以及编码，从而使得影像组学特征能够有效地应用于深度神经网络中，实现同时兼顾医学影像的小样本特点和高维度特点的目的，提高深度学习网络的鲁棒性和预测准确性，进而解决了现有技术中由于缺乏有效的算法框架将影像组学特征与深度神经网络相结合，导致的神经网络模型预测准确性存在较大局限性的技术问题。

在一种可选的实施例中，为了将X个3D影像组学特征和N个2D影像组学特征序列输入至深度神经网络中，处理系统首先从深度神经网络中确定N+1个输入位置，然后将X个3D影像组学特征输入至N+1个输入位置中的第一个输入位置，并将N个2D影像组学特征序列按照N个图像切片的排列顺序依次输入至N+1个输入位置中除第一个输入位置之外的N个输入位置中。

可选地，图3是根据本申请实施例一提供的一种可选的深度神经网络的结构示意图，其中，该深度神经网络模型可以理解为是注意力模型的一个编码器。

如图3所示，在2D影像组学特征序列共有N个的情况下，处理系统将从深度神经网络模型中确定N+1个输入位置，例如，输入位置0、输入位置1、输入位置2……输入位置N。假设N个图像切片的排序顺序为图像切片A1、图像切片A2、图像切片A3……图像切片AN，则处理系统会将X个3D影像组学特征输入至N+1个输入位置中的第一个输入位置（即输入位置0）,并将N个2D影像组学特征序列按照N个图像切片的排列顺序依次输入至N+1个输入位置中除第一个输入位置之外的N个输入位置中，具体地，将图像切片A1对应的2D影像组学特征序列A1-1输入至输入位置1、将图像切片A2对应的2D影像组学特征序列A2-1输入至输入位置2、将图像切片A3对应的2D影像组学特征序列A3-1输入至输入位置3……将图像切片AN对应的2D影像组学特征序列AN-1输入至输入位置N。

进一步地，图4是根据本申请实施例一提供的一种可选的将N个2D影像组学特征序列输入至深度神经网络的流程图，如图4所示，包括如下步骤：

步骤1，从N个2D影像组学特征序列中选取一个2D影像组学特征序列作为待输入2D影像组学特征序列；

步骤2，确定待输入2D影像组学特征序列对应的图像切片为N个图像切片中的第i个图像切片，其中，i表征待输入2D影像组学特征序列对应的图像切片在N个图像切片中的排列顺序；

步骤3，将待输入2D影像组学特征序列输入至N+1个输入位置中的第j个输入位置，其中，j=i+1；

重复执行步骤1至步骤3的过程，直至将N个2D影像组学特征序列依次输入至N+1个输入位置中除第一个输入位置之外的N个输入位置中。

在一种可选的实施例中，在将N个2D影像组学特征序列按照N个图像切片的排列顺序依次输入至N+1个输入位置中除第一个输入位置之外的N个输入位置中之后，处理系统通过深度神经网络融合N个2D影像组学特征序列中的2D影像组学特征以及X个3D影像组学特征之间的特征信息，并根据融合后的特征信息生成预测结果，然后通过深度神经网络的一个输出位置输出预测结果。

可选地，在深度神经网络的输出端，可以选择3D影像组学特征的输入位置所对应的输出位置输出预测结果，其中，预测结果的生成需要经过一层前向神经网络以及softmax激活函数的处理才能得到。

在一种可选的实施例中，为了基于医学影像生成X个3D影像组学特征，处理系统需要对医学影像进行勾画操作，得到与医学影像对应的勾画影像，其中，勾画操作用于对医学影像中涉及危及器官以及放疗靶区的图像区域进行轮廓勾画，勾画影像以3D图像的形式表征医学影像中涉及危及器官以及放疗靶区的图像区域的轮廓信息。最后，处理系统依据医学影像以及勾画影像生成X个3D影像组学特征。

可选地，处理系统可以采用统计学公式，依据医学影像以及勾画影像生成X个3D影像组学特征。

在另一种可选的实施例中，处理系统还对每个图像切片进行勾画操作，得到每个图像切片对应的勾画切片，其中，每个图像切片对应的勾画切片以2D图像的形式表征该图像切片中涉及危及器官以及放疗靶区的图像区域的轮廓信息。最后，处理系统依据每个图像切片以及该图像切片对应的勾画切片生成该图像切片对应的Y个2D影像组学特征，并对该图像切片对应的Y个2D影像组学特征按照预设的序列编码进行排序以及编码，得到该图像切片对应的2D影像组学特征序列。

需要注意到的是，处理系统在对每个图像切片进行勾画操作时，勾画操作用于对每个图像切片中涉及危及器官以及放疗靶区的图像区域进行轮廓勾画。处理系统可以采用统计学公式，依据每个图像切片以及该图像切片对应的勾画切片生成该图像切片对应的Y个2D影像组学特征。

在一种可选的实施例中，为了依据医学影像以及勾画影像生成X个3D影像组学特征，处理系统首先依据医学影像生成M个3D影像组学特征，其中，M为大于X的整数，M个3D影像组学特征中至少包括X个3D影像组学特征，然后，处理系统对M个3D影像组学特征进行过滤处理，得到X个3D影像组学特征，其中，过滤处理用于过滤M个3D影像组学特征中特征信息重复的3D影像组学特征以及特征信息量低于预设信息量的3D影像组学特征。

举例而言，如果M=100，但是100个3D影像组学特征中有2个3D影像组学特征的特征信息是重复的，并且还有10个3D影像组学特征的特征信息量低于预设信息量，其中，预设信息量可以自定义设置。在此基础上，处理系统将从特征信息重复的2个3D影像组学特征中过滤掉一个3D影像组学特征，同时还会过滤掉特征信息量低于预设信息量的10个3D影像组学特征，最后仅保留89个3D影像组学特征(对应X个3D影像组学特征)。

需要说明的是，在依据医学影像生成M个3D影像组学特征时，可以结合医学影像对应的勾画影像，即处理系统依据医学影像以及医学影像对应的勾画影像生成M个3D影像组学特征。

另外，在一种可选的实施例中，特征信息量的计算可以通过计算特征对目标变量的条件熵来完成。具体步骤如下：

1. 首先，计算目标变量的熵，表示目标变量的不确定性。熵的计算公式为：，其中P(J)表示目标变量取值为J的概率。

2. 然后，计算在特征V给定的条件下，目标变量J的条件熵。条件熵的计算公式为：，其中P(V=u)表示特征V取值为u的概率，/>表示在特征V取值为u的条件下，目标变量J的熵。

3. 最后，特征信息量的计算公式为：，表示特征V对目标变量J的贡献程度。特征信息量越大，表示特征对目标变量的影响越大。

需要注意的是，特征信息量的计算需要基于一定的数据集，因此在实际应用中，需要根据具体的数据集进行计算。

还需要注意到的是，上述关于特征信息量的计算方式仅是一种示例，在本申请的技术方案的实际实施过程中，本领域技术人员可以使用其他任何特征信息量的计算方式来确定影像组学特征的信息量，本申请对此不作特殊限定。

在一种可选的实施例中，处理系统还可以依据每个图像切片以及该图像切片对应的勾画切片生成S个2D影像组学特征，其中，S为大于Y的整数，S个2D影像组学特征中至少包括该图像切片对应的Y个2D影像组学特征。然后，处理系统对每个图像切片对应的S个2D影像组学特征进行过滤处理，得到该图像切片对应的Y个2D影像组学特征，其中，过滤处理用于过滤S个2D影像组学特征中特征信息重复的2D影像组学特征以及特征信息量低于预设信息量的2D影像组学特征。

通过上述的过滤操作，可以删除特征信息量较少以及特征信息冗余的影像组学特征，从而可以提高模型对影像组学特征的处理效率，节约计算资源，提高模型的预测效率。

实施例2

本实施例二提供了一种可选的医学影像的处理装置，针对该医学影像的处理装置中的各个实施单元对应于实施例1中各个实施步骤。

图5是根据本申请实施例二提供的一种可选的医学影像的处理装置的示意图，如图5所示，包括：获取单元501、第一生成单元502、第二生成单元503以及输入单元504。

获取单元501，用于获取待处理的医学影像以及与医学影像对应的N个图像切片，其中，N个图像切片均为2D形式的图像切片；第一生成单元502，用于基于医学影像生成X个3D影像组学特征，其中，X为大于1的整数；第二生成单元503，用于基于N个图像切片中每个图像切片生成该图像切片对应的2D影像组学特征序列，得到N个2D影像组学特征序列，其中，每个2D影像组学特征序列包括Y个2D影像组学特征，Y个2D影像组学特征按照预设的序列编码进行排序以及编码，Y为大于1的整数；输入单元504，用于将X个3D影像组学特征和N个2D影像组学特征序列输入至深度神经网络中，得到深度神经网络基于X个3D影像组学特征和N个2D影像组学特征序列生成的预测结果。

可选地，输入单元504包括：第一确定子单元、第一输入子单元以及第二输入子单元。其中，第一确定子单元，用于从深度神经网络中确定N+1个输入位置；第一输入子单元，用于将X个3D影像组学特征输入至N+1个输入位置中的第一个输入位置；第二输入子单元，用于将N个2D影像组学特征序列按照N个图像切片的排列顺序依次输入至N+1个输入位置中除第一个输入位置之外的N个输入位置中。

可选地，第二输入子单元包括：第一执行模块、第二执行模块、第三执行模块以及第四执行模块。其中，第一执行模块，用于执行步骤1，从N个2D影像组学特征序列中选取一个2D影像组学特征序列作为待输入2D影像组学特征序列；第二执行模块，用于执行步骤2，确定待输入2D影像组学特征序列对应的图像切片为N个图像切片中的第i个图像切片，其中，i表征待输入2D影像组学特征序列对应的图像切片在N个图像切片中的排列顺序；第三执行模块，用于执行步骤3，将待输入2D影像组学特征序列输入至N+1个输入位置中的第j个输入位置，其中，j=i+1；第四执行模块，用于重复执行步骤1至步骤3的过程，直至将N个2D影像组学特征序列依次输入至N+1个输入位置中除第一个输入位置之外的N个输入位置中。

可选地，医学影像的处理装置还包括：第三生成单元、第一输出单元。其中，第三生成单元，用于通过深度神经网络融合N个2D影像组学特征序列中的2D影像组学特征以及X个3D影像组学特征之间的特征信息，并根据融合后的特征信息生成预测结果；第一输出单元，用于通过深度神经网络的一个输出位置输出预测结果。

可选地，第一生成单元502包括：第一勾画子单元以及第一生成子单元。其中，第一勾画子单元，用于对医学影像进行勾画操作，得到与医学影像对应的勾画影像，其中，勾画操作用于对医学影像中涉及危及器官以及放疗靶区的图像区域进行轮廓勾画，勾画影像以3D图像的形式表征医学影像中涉及危及器官以及放疗靶区的图像区域的轮廓信息；第一生成子单元，用于依据医学影像以及勾画影像生成X个3D影像组学特征。

可选地，第二生成单元503包括：第二勾画子单元和第二生成子单元。其中，第二勾画子单元，用于对每个图像切片进行勾画操作，得到每个图像切片对应的勾画切片，其中，每个图像切片对应的勾画切片以2D图像的形式表征该图像切片中涉及危及器官以及放疗靶区的图像区域的轮廓信息；第二生成子单元，用于依据每个图像切片以及该图像切片对应的勾画切片生成该图像切片对应的Y个2D影像组学特征，并对该图像切片对应的Y个2D影像组学特征按照预设的序列编码进行排序以及编码，得到该图像切片对应的2D影像组学特征序列。

可选地，第一生成子单元包括：第一生成模块、过滤处理模块。其中，第一生成模块，用于依据医学影像以及勾画影像生成M个3D影像组学特征，其中，M为大于X的整数，M个3D影像组学特征中至少包括X个3D影像组学特征；过滤处理模块，用于对M个3D影像组学特征进行过滤处理，得到X个3D影像组学特征，其中，过滤处理用于过滤M个3D影像组学特征中特征信息重复的3D影像组学特征以及特征信息量低于预设信息量的3D影像组学特征。

实施例3

根据本申请实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行上述实施例1中的医学影像的处理方法。

实施例4

根据本申请实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述实施例1中的医学影像的处理方法。

图6是根据本申请实施例四提供的一种电子设备的示意图，如图6所示，本申请实施例提供了一种电子设备，电子设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现上述实施例1中的医学影像的处理方法。

具体地，处理器执行程序时实现以下步骤：获取待处理的医学影像以及与医学影像对应的N个图像切片，其中，N个图像切片均为2D形式的图像切片；基于医学影像生成X个3D影像组学特征，其中，X为大于1的整数；基于N个图像切片中每个图像切片生成该图像切片对应的2D影像组学特征序列，得到N个2D影像组学特征序列，其中，每个2D影像组学特征序列包括Y个2D影像组学特征，Y个2D影像组学特征按照预设的序列编码进行排序以及编码，Y为大于1的整数；将X个3D影像组学特征和N个2D影像组学特征序列输入至深度神经网络中，得到深度神经网络基于X个3D影像组学特征和N个2D影像组学特征序列生成的预测结果。

可选地，处理器执行程序时还实现以下步骤：从深度神经网络中确定N+1个输入位置；将X个3D影像组学特征输入至N+1个输入位置中的第一个输入位置；将N个2D影像组学特征序列按照N个图像切片的排列顺序依次输入至N+1个输入位置中除第一个输入位置之外的N个输入位置中。

可选地，处理器执行程序时还实现以下步骤：步骤1，从N个2D影像组学特征序列中选取一个2D影像组学特征序列作为待输入2D影像组学特征序列；步骤2，确定待输入2D影像组学特征序列对应的图像切片为N个图像切片中的第i个图像切片，其中，i表征待输入2D影像组学特征序列对应的图像切片在N个图像切片中的排列顺序；步骤3，将待输入2D影像组学特征序列输入至N+1个输入位置中的第j个输入位置，其中，j=i+1；重复执行步骤1至步骤3的过程，直至将N个2D影像组学特征序列依次输入至N+1个输入位置中除第一个输入位置之外的N个输入位置中。

可选地，处理器执行程序时还实现以下步骤：在将N个2D影像组学特征序列按照N个图像切片的排列顺序依次输入至N+1个输入位置中除第一个输入位置之外的N个输入位置中之后，通过深度神经网络融合N个2D影像组学特征序列中的2D影像组学特征以及X个3D影像组学特征之间的特征信息，并根据融合后的特征信息生成预测结果；通过深度神经网络的一个输出位置输出预测结果。

可选地，处理器执行程序时还实现以下步骤：对医学影像进行勾画操作，得到与医学影像对应的勾画影像，其中，勾画操作用于对医学影像中涉及危及器官以及放疗靶区的图像区域进行轮廓勾画，勾画影像以3D图像的形式表征医学影像中涉及危及器官以及放疗靶区的图像区域的轮廓信息；依据医学影像以及勾画影像生成X个3D影像组学特征。

可选地，处理器执行程序时还实现以下步骤：对每个图像切片进行勾画操作，得到每个图像切片对应的勾画切片，其中，每个图像切片对应的勾画切片以2D图像的形式表征该图像切片中涉及危及器官以及放疗靶区的图像区域的轮廓信息；依据每个图像切片以及该图像切片对应的勾画切片生成该图像切片对应的Y个2D影像组学特征，并对该图像切片对应的Y个2D影像组学特征按照预设的序列编码进行排序以及编码，得到该图像切片对应的2D影像组学特征序列。

可选地，处理器执行程序时还实现以下步骤：依据医学影像以及勾画影像生成M个3D影像组学特征，其中，M为大于X的整数，M个3D影像组学特征中至少包括X个3D影像组学特征；对M个3D影像组学特征进行过滤处理，得到X个3D影像组学特征，其中，过滤处理用于过滤M个3D影像组学特征中特征信息重复的3D影像组学特征以及特征信息量低于预设信息量的3D影像组学特征。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种医学影像的处理方法，其特征在于，包括：

获取待处理的医学影像以及与所述医学影像对应的N个图像切片，其中，所述N个图像切片均为2D形式的图像切片；

基于所述医学影像生成X个3D影像组学特征，其中，X为大于1的整数；

基于所述N个图像切片中每个图像切片生成该图像切片对应的2D影像组学特征序列，得到N个2D影像组学特征序列，其中，每个2D影像组学特征序列包括Y个2D影像组学特征，所述Y个2D影像组学特征按照预设的序列编码进行排序以及编码，Y为大于1的整数；

将所述X个3D影像组学特征和所述N个2D影像组学特征序列输入至深度神经网络中，得到所述深度神经网络基于所述X个3D影像组学特征和所述N个2D影像组学特征序列生成的预测结果。

2.根据权利要求1所述的医学影像的处理方法，其特征在于，将所述X个3D影像组学特征和所述N个2D影像组学特征序列输入至深度神经网络中，包括：

从所述深度神经网络中确定N+1个输入位置；

将所述X个3D影像组学特征输入至所述N+1个输入位置中的第一个输入位置；

将所述N个2D影像组学特征序列按照所述N个图像切片的排列顺序依次输入至所述N+1个输入位置中除所述第一个输入位置之外的N个输入位置中。

3.根据权利要求2所述的医学影像的处理方法，其特征在于，将所述N个2D影像组学特征序列按照所述N个图像切片的排列顺序依次输入至所述N+1个输入位置中除所述第一个输入位置之外的N个输入位置中，包括：

步骤1，从所述N个2D影像组学特征序列中选取一个2D影像组学特征序列作为待输入2D影像组学特征序列；

步骤2，确定所述待输入2D影像组学特征序列对应的图像切片为所述N个图像切片中的第i个图像切片，其中，i表征所述待输入2D影像组学特征序列对应的图像切片在所述N个图像切片中的排列顺序；

步骤3，将所述待输入2D影像组学特征序列输入至所述N+1个输入位置中的第j个输入位置，其中，j=i+1；

重复执行所述步骤1至步骤3的过程，直至将所述N个2D影像组学特征序列依次输入至所述N+1个输入位置中除所述第一个输入位置之外的N个输入位置中。

4.根据权利要求2所述的医学影像的处理方法，其特征在于，在将所述N个2D影像组学特征序列按照所述N个图像切片的排列顺序依次输入至所述N+1个输入位置中除所述第一个输入位置之外的N个输入位置中之后，所述医学影像的处理方法还包括：

通过所述深度神经网络融合所述N个2D影像组学特征序列中的2D影像组学特征以及所述X个3D影像组学特征之间的特征信息，并根据融合后的特征信息生成所述预测结果；

通过所述深度神经网络的一个输出位置输出所述预测结果。

5.根据权利要求1所述的医学影像的处理方法，其特征在于，基于所述医学影像生成X个3D影像组学特征，包括：

对所述医学影像进行勾画操作，得到与所述医学影像对应的勾画影像，其中，所述勾画操作用于对所述医学影像中涉及危及器官以及放疗靶区的图像区域进行轮廓勾画，所述勾画影像以3D图像的形式表征所述医学影像中涉及危及器官以及放疗靶区的图像区域的轮廓信息；

依据所述医学影像以及所述勾画影像生成所述X个3D影像组学特征。

6.根据权利要求5所述的医学影像的处理方法，其特征在于，基于所述N个图像切片中每个图像切片生成该图像切片对应的2D影像组学特征序列，包括：

对所述每个图像切片进行所述勾画操作，得到所述每个图像切片对应的勾画切片，其中，所述每个图像切片对应的勾画切片以2D图像的形式表征该图像切片中涉及危及器官以及放疗靶区的图像区域的轮廓信息；

依据所述每个图像切片以及该图像切片对应的勾画切片生成该图像切片对应的Y个2D影像组学特征，并对该图像切片对应的Y个2D影像组学特征按照所述预设的序列编码进行排序以及编码，得到该图像切片对应的2D影像组学特征序列。

7.根据权利要求5所述的医学影像的处理方法，其特征在于，依据所述医学影像以及所述勾画影像生成所述X个3D影像组学特征，包括：

依据所述医学影像以及所述勾画影像生成M个3D影像组学特征，其中，M为大于X的整数，所述M个3D影像组学特征中至少包括所述X个3D影像组学特征；

对所述M个3D影像组学特征进行过滤处理，得到所述X个3D影像组学特征，其中，所述过滤处理用于过滤所述M个3D影像组学特征中特征信息重复的3D影像组学特征以及特征信息量低于预设信息量的3D影像组学特征。

8.一种医学影像的处理装置，其特征在于，包括：

获取单元，用于获取待处理的医学影像以及与所述医学影像对应的N个图像切片，其中，所述N个图像切片均为2D形式的图像切片；

第一生成单元，用于基于所述医学影像生成X个3D影像组学特征，其中，X为大于1的整数；

第二生成单元，用于基于所述N个图像切片中每个图像切片生成该图像切片对应的2D影像组学特征序列，得到N个2D影像组学特征序列，其中，每个2D影像组学特征序列包括Y个2D影像组学特征，所述Y个2D影像组学特征按照预设的序列编码进行排序以及编码，Y为大于1的整数；

输入单元，用于将所述X个3D影像组学特征和所述N个2D影像组学特征序列输入至深度神经网络中，得到所述深度神经网络基于所述X个3D影像组学特征和所述N个2D影像组学特征序列生成的预测结果。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至7中任意一项所述的医学影像的处理方法。

10.一种电子设备，其特征在于，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至7中任意一项所述的医学影像的处理方法。