CN112785562B - 一种基于神经网络模型进行评估的系统和相关产品 - Google Patents

Abstract

本发明涉及一种基于神经网络模型进行评估的系统和相关产品，其中系统包括一个或多个处理器、第一神经网络模块、第二神经网络模块以及一个或多个计算机可读存储介质，其中第一神经网络模块接收并处理图像数据，以获得目标向量数据，其中所述图像数据包含与目标图像区域相关的原始数据和/或与目标图像区域的几何特征相关的二维数据。第二神经网络模块接收并且处理所述目标向量数据，以输出用于评估所述目标图像区域的评估结果，以便对目标区域图像的发展做出预测。

Description

一种基于神经网络模型进行评估的系统和相关产品

技术领域

本发明总体上涉及图像处理领域。更具体地，本发明涉及一种基于神经网络模型进行评估的系统和相关产品。

背景技术

随着图像处理技术的不断演进，越来越多的研究关注于图像在时间维度上的发展，以期对图像中的目标物在时间的变化做出合理的评估和预测。在这些研究中，一个兴起的领域是对包括病灶区域的图像的研究。众所周知，病灶区域中通常包含有助于临床诊断的丰富信息，因此对病灶区域的图像特征进行提取和分析显得尤为重要。目前传统的处理方式是提取病灶区域的影像学特征，并将影像学特征用于后续的分析和研究，以期对病灶区域做出评价。然而，如何有效地提取病灶区域的特征以及如何根据提取的特征对病灶区域进行有效的评估和预测成为亟需解决的问题。

发明内容

为了至少解决上面的技术问题，本发明提供一种基于神经网络模型进行评估的系统。简而言之，本发明使用了基于神经网络的技术来接收并处理图像数据以输出用于评估图像区域的评估结果。利用该评估结果，本发明的方案可以对目标图像在时间维度上的发展进行预测。鉴于此，本发明在如下的多个方面提供相应的解决方案。

在一个方面，本发明提供一种基于神经网络模型进行评估的系统，包括：一个或多个处理器；第一神经网络模块；第二神经网络模块；以及一个或多个计算机可读存储介质，其存储有实现所述第一神经网络模块和第二神经网络模块的程序指令，当所述程序指令由所述一个或多个处理器执行时，使得：第一神经网络模块接收并处理图像数据，以获得目标向量数据，其中所述图像数据包含与目标图像区域相关的原始数据和/或与目标图像区域的几何特征相关的二维数据；以及第二神经网络模块接收并且处理所述目标向量数据，以输出用于评估所述目标图像区域的评估结果。

在一个实施例中，其中所述第一神经网络模块包括多个编码器和特征提取器，其中：所述多个编码器中的每个编码器包括多个卷积层，其配置用于对所述图像数据进行多层卷积处理，以从所述图像数据获得针对于不同几何特征的多个特征向量；以及所述特征提取器，其配置成对所述多个特征向量执行特征融合操作，以获得所述目标向量数据。

在另一个实施例中，其中所述多个卷积层串行连接，并且串行连接的最后一个卷积层的输出端连接至所述特征提取器的输入端。

在又一个实施例中，其中所述特征融合操作包括对所述多个特征向量执行数据拼接操作，以便输出所述目标向量数据。

在又一个实施例中，其中所述第二神经网络模块包括长短期记忆神经网络，其配置成接收和处理所述目标向量数据，以输出用于评估所述目标图像区域的评估结果。

在又一个实施例中，其中所述目标图像区域是与生命个体的病灶区域相关的图像区域。

在又一个实施例中，其中所述一个或多个计算机可读存储介质还存储有获得所述二维数据的程序指令，当所述程序指令由所述一个或多个处理器执行时，使得：基于所述原始数据来生成二维网格；以及利用所述二维网格来确定几何特征，并且将所述几何特征表示为图片，以作为所述二维数据。

在再一个实施例中，其中所述几何特征包括基于所述目标图像区域获得的高斯曲率、平均曲率或者共形因子。

在另一个方面，本发明提供一种计算设备，其中包括基于神经网络模型进行评估的系统的多个实施例。

在又一个方面，本发明提供一种计算机可读存储介质，其包括用于基于神经网络模型进行评估的计算机程序，当所述计算机程序由设备的一个或多个处理器执行时，使得所述设备执行前述系统的操作及多个实施例。

通过上述方案，本领域技术人员可以理解本发明通过第一神经网络模块和第二神经网络模块来对图像数据进行处理，从而可以有效地获得用于目标图像区域评估和预测的评估结果。在使用神经网络模块的过程中，本发明的方案还使用特征融合操作来对数据进行融合，从而显著提升数据处理的效率。在一个应用场景中，前述的评估结果可以有效地对目标图像区域的质量进行预测，这在当目标图像区域包括病灶区域时尤其重要。例如，基于评估结果，医生可以通过病灶的质量来判断患者的病情和发展趋势，并且在必要时及时人为介入，从而有效控制病情。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，并且相同或对应的标号表示相同或对应的部分其中：

图1是示出根据本发明实施例的图像评估系统的功能框图；

图2是示出根据本发明实施例的一种图像的几何特征的提取方法的流程图；

图3是示出可以用于本发明的病灶区域的原始数据；

图4是示出根据本发明实施例的获取闭合曲线方法的流程图；

图5是示出根据本发明实施例的示例性三角形网格；

图6a是示出根据本发明实施例的沿闭合曲线切开后获得的第一拓扑圆盘；

图6b是示出根据本发明实施例的沿闭合曲线切开后获得的第二拓扑圆盘；

图7是示出根据本发明实施例的拓扑圆盘内部映射到单位矩形内形成调和映射的调和像点的操作的流程图；

图8是示出根据本发明实施例的拓扑圆盘内部映射到单位矩形内形成调和映射的调和像点的操作的详细流程图；

图9是示出根据本发明实施例的形成病灶区域的几何特征图片的操作的简化流程图；

图10a是示出根据本发明实施例的原始未切分封闭网格的示例性示意图；

图10b是示出根据本发明实施例的确定像素值的示例性示意图；

图11a是示出根据本发明实施例的基于高斯曲率形成的图片；

图11b是示出根据本发明实施例的基于平均曲率形成的图片；

图11c是示出根据本发明实施例的基于共形因子形成的图片；

图12是示出根据本发明实施例的第一神经网络模块的操作框图；

图13示出根据本发明实施例的编码器的操作框图；

图14是示出根据本发明实施例的第一神经网络模块和第二神经网络模块的操作框图；

图15是示出根据本发明实施例的第二神经网络模块的操作原理图；以及

图16是示出根据本发明实施例的用于呈现病灶区域图像的计算设备的方框图。

具体实施方式

下面将结合附图对本发明实施例中的技术方案进行清楚和完整地描述。应当理解的是本说明书所描述的实施例仅是本发明为了便于对方案的清晰理解和符合法律的要求而提供的部分实施例，而并非可以实现本发明的所有实施例。基于本说明书公开的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是示出根据本发明实施例的图像评估系统100的功能框图。该图像评估系统100包括处理器101、第一神经网络模块102、第二神经网络模块103以及计算机可读存储介质(图中未标出)。在一个实施例中，处理器可以是一个或者多个，因此本发明对于处理器的个数并不做限制。在另一个实施例中，计算机可读存储介质也可以是一个或者多个，例如可以是能够存储计算机程序指令的各类存储介质。其中，处理器用于执行计算机可读存储介质上存储的程序指令，该程序指令可以包括用于实现第一神经网络模块的程序指令和用于实现第二神经网络模块的程序指令。例如，当处理器执行前述一个或者多个程序指令时，本发明的第一神经网络模块可以配置成接收图中左侧所示的图像数据104，并且对该图像数据进行处理以获得目标向量数据。相应地，本发明的第二神经网络模块可以配置成接收前述获得的目标向量数据，并且对该目标向量数据进行处理，从而最终获得目标图像的评估结果(例如以质量或体积比的形式来反映)。

在一个应用场景中，上述图像数据可以是包含与目标图像区域相关的原始数据和/或与目标图像区域的几何特征相关的二维数据。在一个实施例中，目标图像区域可以例如是与生命个体的病灶区域相关的图像区域，其原始数据可以通过例如电子计算机断层扫描(Computed Tomography，“CT”) 技术或设备所获得的CT图像数据。基于上述描述，上述计算机可读存储介质还存储有获得所述二维数据的程序指令，当所述程序指令由所述一个或多个处理器执行时，使得根据获得的原始数据来生成二维网格，并且通过该二维网格来确定目标图像区域的几何特征。进一步地，将几何特征表示为例如图片的形式，以作为目标图像区域的几何特征相关的二维数据。下面将结合图2-图11对本发明如何进行前述的几何特征的提取进行详细地描述。

图2是示出根据本发明实施例的一种图像的几何特征的提取方法200 的流程图。基于前述提到的例如CT技术来获得关于病灶区域的原始数据后，在步骤202处，方法200根据病灶区域的原始数据生成由多个顶点连接而成的二维网格。在一个实施例中，本领域技术人员可以理解二维网格的生成，其实质是对于布尔型变量(bool)数据外表面的网格生成。在一个实施例中，可以利用bool标记前述病灶区域的目标图像区域，并令其为 f(Ω)，其中f为光滑函数，Ω为所述目标图像存在的区域。基于前述定义，可以通过f^-1(1)表示内部体素，f^-1(0)表示外部体素，而f^-1(a)(其中 0＜a＜1)则表示边界区域，并通过光滑插值计算f函数的a等值面网格。在一个实施场景中，可以利用例如计算几何算法库(Computational Geometry Algorithms Library，“CGAL”)执行前述插值来生成二维网格。

在生成上述的二维网格后，接着方法流程前进到步骤204。在该步骤 204处，方法200利用所述多个顶点中的部分顶点形成的闭合曲线将所述二维网格切分成两个拓扑圆盘(如图6a所示的第一拓扑圆盘和图6b所示的第二拓扑圆盘)。在一个实施例中，可以根据二维网格信息来计算每个顶点的函数值，并且从所有顶点中选择具有全局最小的函数值的顶点作为前述闭合曲线的起点以及具有局部最小的函数值的顶点作为中间点。接着，可以从所述起点出发、依次经过N个中间顶点后返回到所述起点，以获得整个闭合曲线。接着，可以沿该闭合曲线将二维网格切分成两个拓扑圆盘。进一步地，在步骤206处，方法200将两个拓扑圆盘分别映射到两个单位矩形上。具体来说，可以将该拓扑圆盘边界映射到单位矩形边界。接着，可以将该拓扑圆盘的内部点映射到单位矩形的内部，以形成调和映射的调和像点。

在映射到上述的单位矩形后，接着方法流程前进到步骤208。在该步骤208处，方法200利用上述多个顶点的几何特征值来确定单位矩形上对应点的像素值。根据不同的应用场景，前述的几何特征值可以是高斯曲率、平均曲率或者其形因子中的一种。最后，在步骤210处，方法200基于前述像素值来形成表示病灶区域的几何特征的图片。作为示例，得到的图片例如可以是图11a中通过高斯曲率获得的图片，图11b中通过平均曲率获得的图片或者是图11c中通过其形因子获得的图片。

图3是示出可以用于本发明的病灶区域的原始数据。结合上述图2的描述，图3中所示网格(即三角形网格)可以是基于图2所示方法200在步骤202处生成的二维网格。进一步，图3中箭头所指示的黑色曲线是通过图2所示方法200在步骤204处所获取的闭合曲线。在实现场景中，本领域技术人员可以根据所述闭合曲线将二维网格切分成两个拓扑圆盘，也即图6a和图6b分别示例性示出的。

图4是示出根据本发明实施例的获取闭合曲线方法400的流程图。这里需要理解的是方法400是图2所示方法200中步骤204的一种具体实现方式，因此针对方法200所做的相关描述也同样适用于方法400中的情形。

结合图2所提到的，本发明利用多个顶点中的部分顶点形成的闭合曲线将通过方法200生成的二维网格切分成两个拓扑圆盘。基于此，如图4 所示，在步骤402处，方法400可以根据二维网格的拓扑及网格边的边长来计算基于网格的拉普拉斯贝尔特拉米矩阵。这里，二维网格的拓扑可以理解为二维网格的连接关系，其具体可以为三角形网格上各顶点之间的连接关系。当顶点的总数为M时，则可以形成一个M阶拉普拉斯贝尔特拉米矩阵。为了便于讨论，下面结合图5来描述该拉普拉斯贝尔特拉米矩阵。

图5是示出根据本发明实施例的示例性三角形网格。从图5中可以看出，这里示出两个三角形网格，其包括四个顶点υ_i，υ_j，υ_l，和υ_k。进一步，顶点υ_i和υ_l之间形成的边与顶点υ_l和υ_j之间形成的边之间的夹角为θ_l，而顶点υ_i和υ_k之间形成的边与顶点υ_j和υ_k之间形成的边之间的夹角为θ_k。另外，从图中可以看出顶点υ_i和υ_j共边。根据这里示例性示出的顶点、边长和夹角，可以通过下式来确定拉普拉斯贝尔特拉米矩阵中的每个元素值，即顶点υ_i和υ_j之间的(关系)权重：

其中：

上述的内边表示该条边为两个三角形网格所共用，“cot”表示余切值，而边界边表示该条边并非为两个三角形网格所共用，而只被一个三角形网格所包含。

返回到图4，在上述根据二维网格的拓扑及网格边的边长来计算基于网格的拉普拉斯贝尔特拉米矩阵后，方法400流程前进到步骤404。在该步骤404处，方法400可以对前述矩阵进行计算以获得该矩阵的绝对值最小的非零特征值，从而确定该绝对值最小的非零特征值所对应的特征函数。接着，在步骤406处，方法400可以根据前述特征函数来获取上述二维网格上每个网格顶点处的函数值，并根据该函数值来获取闭合曲线的起点以及多个中间点。

在获取上述闭合曲线的起点和多个中间点后，接着方法400在步骤 408处从所有顶点中选择具有全局最小的函数值的顶点作为所述闭合曲线的起点。然后，在步骤410处，方法400从与前述起点相邻的多个顶点中选择具有局部最小的函数值的顶点作为第1中间顶点。接着，在步骤412 处，方法400针对于第2～第N中间顶点的每个中间顶点，执行以下针对于多个中间节点的选择操作，直到返回到所述起点(也即终点)：从与第 N-1中间顶点相邻的多个顶点中选择具有局部最小的函数值的顶点作为第 N中间顶点，这里N可以是大于或等于2的正整数。当完成上述的操作后，方法400就获得了从起点出发、依次经过N个中间节点后返回到起点的闭合曲线，例如图3所示的病灶区域三维图像中黑色曲线所表示的闭合曲线。

图6a和图6b是分别示例性示出根据本发明实施例的沿闭合曲线切开后获得的第一拓扑网盘和第二拓扑圆盘。如前所述，通过对本发明的方法 400所获取的闭合曲线进行切分，就可以获得如图6a和如图6b所示的第一拓扑圆盘和第二拓扑圆盘。

图7是示出根据本发明实施例的拓扑圆盘内部映射到单位矩形内形成调和映射的调和像点的操作700的流程图。这里需要理解的是操作700是图2所示方法200中关于映射操作的一种具体实现方式，因此关于方法200 所做的描述也同样适用于操作700。

如图7所示，在步骤702处，初始化上述拓扑圆盘的内部点，即将拓扑圆盘的内部点初始映射到单位矩形内，以形成初始映射后的像点(此时简称为“初始像点”)。在一个实施例中，可以假设f∈C^PL(M)，对于拓扑圆盘的内部点，将其坐标初始化为

接着，在步骤704处，确定(例如通过计算设备上的处理器的操作)所述拓扑圆盘中所述初始像点之间的调和能量。在一个实施例中，可以定义调和能量为：

其中，

由上述公式(3)和(4)可以计算初始化的调和能量E，并令E₀＝E。

如图7进一步所示，在步骤706处，可以根据调和能量和预设能量梯度阈值来调整所述初始像点的坐标，以获得调和映射的调和像点。需要理解的是，这里的调整在操作中可以是一个反复迭代的过程，以便最终确定调和像点。例如，在一个实施场景中，可以假定预设能量梯度阈值为δE，并且按照如下公式(5)调整所述初始像点的坐标，即

并计算调整后的调和能量E。然后，可以将上述计算结果与所述预设能量梯度阈值δE做比较，以获得调和映射的调和像点。

图8是示出根据本发明实施例的拓扑圆盘内部映射到单位矩形内形成调和映射的调和像点的操作800的详细流程图。这里需要理解的是操作 800是图7所示操作700中步骤706的一种具体实现方式，因此关于操作 700所做的相关描述也同样适用于操作800。

具体地，调整所述初始像点的坐标以获得调和映射的调和像点可以包括反复执行以下的调整和更新操作(即步骤804和806)，直到所述调和能量小于或等于所述预设能量梯度阈值(即步骤808)。详细的示例性操作如下：

首先，在步骤804处，判断当调和能量大于预设能量梯度阈值时，可以调整映射的初始像点的坐标。在一个实施例中，可以利用上述公式(3)计算所述调和能量E。当调和能量大于预设能量梯度阈值时，即|E-E₀|＞δE，则利用上述公式(5)更新初始像点的坐标。

接着，在步骤806处，根据所述调整后的像点的坐标来更新调和能量，以用于下一次与所述预设能量梯度阈值的比较。在一个实施例中，根据上述更新后的像点的坐标，利用上述公式(3)计算更新后的调和能量E，并且再次在步骤804中与预设能量梯度阈值为δE作比较。当调和能量大于预设能量梯度阈值时，则执行步骤804中的调整操作和步骤806中的更新操作。

当在步骤808处判断调和能量小于(或等于)所述预设能量梯度阈值时，即|E-E₀|≤δE，则将停止调整时的像点作为所述调和映射的调和像点。也即是说，将停止调整时的像点作为调和映射的调和像点。可以理解，结合操作700和操作800，本发明的方案最终可以将所述拓扑圆盘内部映射到单位矩形内，以形成调和映射的调和像点。

图9是示出根据本发明实施例的形成病灶区域的几何特征图片的操作 900的简化流程图，其中所述几何特征可以是高斯曲率、平均曲率或共形因子。在一个实施例中，可以根据网格信息来计算所述网格顶点的高斯曲率、平均曲率或共形因子。在一个实施场景中，前述高斯曲率(或称高斯曲率值)等于2π减去原始未切开的封闭网格顶点处与其相邻网格对应的角度。为了便于理解，现在结合图10a对高斯曲率值做简要描述。图10a是示出根据本发明实施例的原始未切分封闭网格的一部分网格的示例性示意图，其中将该网格中的一个顶点记为P，与顶点P相邻的网格对应的角度分别记为θ₁、θ₂、θ₃、θ₄和θ₅。当将顶点P处的高斯曲率记为k，则根据前述的计算方式，

基于这样的方式，可以计算出原始网格面上所有顶点的高斯曲率值。

关于上述提到的几何特征涉及的平均曲率，在一个实施场景中，首先在未切开的原始网格上计算每个网格面的法向量，并将其相邻面的法向量分别记为

和

定义

当arc小于零时，则该边的平均曲率为边长*[π-acos(arc)]；当arc大于零，则该边的平均曲率为边长*acos(arc)。其中，“acos”表示反余弦值。对于点来说，每个点的平均曲率为该点周围所有边的平均曲率求和后的平均值。

关于上述提到的几何特征还涉及的共形因子，在一个实施场景中，首先计算未切分的原始网格面的总面积以及每个顶点的面积，其中每个顶点的面积为所述顶点周围的面积的三分之一。接着，计算调和映射后网格的总面积，其中调和映射后的顶点的面积可以例如为调和映射后网格的总面积的三分之一，则面积比为原总面积/调和映射总面积。由此，每个顶点的其形因子为面积比*调和映射后的顶点的面积/网格总面积。

基于上述的示例性操作，可以获得网格面上每个顶点的高斯曲率、平均曲率或共形因子，并将其计算结果取整后作为单位矩形上对应像素点的像素值。进一步，可以根据得到的像素值来形成表示所述病灶区域的几何特征的图片。具体地，如图9所示，在步骤902处，在所述单位矩形上均匀布置像素点。在一个示例性场景中，可以均匀布置例如256*256个像素点。接着，针对所述每个像素点来执行以下步骤(即步骤904和906)以获取像素值。

首先，在步骤904处，将判断上述像素点在单位矩形上的位置，例如像素点可以是在单位矩形的四个顶点上、可以是在单位矩形的四条边上，又或者可以是在单位矩形的内部。在一个实施例中，此处的位置判断可以通过前述结合图7和图8所描述的调和像点的坐标来确定。接着，在步骤906处，将根据所述位置来确定所述像素点的高斯曲率、平均曲率或共形因子的值，从而由此最终确定所述像素点的像素值。在一个实施例中，当像素点位于所述单位矩形的四个顶点时，将所述单位矩形的四个顶点的高斯曲率、平均曲率或共形因子确定为(或者说作为)所述像素点的像素值。在另一实施例中，当所述像素点位于所述单位矩形的四条边上时，利用线性插值来计算该像素点处的高斯曲率、平均曲率或共形因子，以作为该对应像素点的像素值。在又一实施例中，当所述像素点位于所述单位矩形的内部时，利用重心坐标插值来计算所述像素点的高斯曲率、平均曲率或其形因子，以作为所述像素点的像素值。下面将结合图10b来示例性地描述不同位置处的像素点的像素值的确定过程。

图10b是示出根据本发明实施例的确定像素值的示例性示意图。如图 10b中左侧所示的水平线和竖直线交织成矩形网格，所述网格大小可以是 256*256，并且网格布置有256*256个像素点，例如像素点P1、像素点P2 以及像素点P3(其余像素点在图中未示出)。图中左侧所示多个三角形网格为单位矩形上的部分调和映射的调和像点连接而成。在一个示例性场景中，可以设三角形网格的顶点分别v1、v2、v3、v4以及v5，并且将v1、 v2、v3、v4以及v5各点处的函数值分别记为

以及

在该场景下，所述

以及

可以是基于前述描述获得的高斯曲率、平均曲率或共形因子任一种几何特征值，并利用所述几何特征值来确定像素值。

结合上述图10b的描述，在一个实施场景中，当像素点位于所述单位矩形的四个顶点时，例如图10b中所示的像素点P1。在该场景下，像素点P1 的像素值即为网格顶点v1处的函数值

根据不同的应用场景，所述

可以是高斯曲率、平均曲率或共形因子中的任意一种。

在另一个实施场景中，当所述像素点位于所述单位矩形的边界时，例如图10b中所示的像素点P2。在该场景下，像素点P2处的像素值由v1和v2 处的函数值确定。具体地，假设v1到像素点P2的边长为l₁，v2到像素点P2 的边长为l₂，v1到v2的边长为l，则

其中，

分别为v1、v2处的函数值。类似地，

也可以是高斯曲率、平均曲率或共形因子中的任意一种。

在又一实施场景中，当所述像素点位于所述单位矩形的内部时，例如图 10b中示出的像素点P3。在该场景下，像素点P3处的像素值由v3、v4和v5 构成的三角形的面积之比并且通过重心坐标插值确定。此处面积比可以理解成v3、v4和v5处的权重。具体地，如图10b右侧图所示，假设v3对应的面积记为S3，v4对应的面积记为S4以及v5对应的面积记为S5，并假设整个三角形面积为S，则

其中，

分别为v3、v4、v5处的函数值。类似地，

也可以是高斯曲率、平均曲率或共形因子中的任意一种。基于前述描述，各部分面积可以通过三角形的顶点坐标和像素点的坐标确定。例如，在一个示例性场景中，假定v3处的坐标为(x1，y1)，v4处的坐标为(x2，y2)以及v5处的坐标为(x3，y3)，像素点P3点处的坐标为(Px，Py，)，采用重心坐标进行插值，例如：

P_x＝W_v1X_v1+W_v2X_v2+W_v3X_v3 (7)

P_x＝W_v1Y_v1+W_v2Y_v2+W_v3Y_v3 (8)

W_v1+W_v2+W_v3＝1 (9)

其中，W_v1、W_v2、W_v3分别表示顶点v3、v4、v5处的权重，该权重即为顶点v3、v4、v5对应的面积，将上述公式(7)-(9)采用权重表示为：

由上述公式获得v3对应的面积S3，v4对应的面积S4以及v5对应的面积记S5，最终获得像素点P3处的像素值。由此，完成对原始数据的几何特征提取，并将几何特征值(高斯曲率、平均曲率以及共形因子)表示成图片来作为二维数据。前述的图片根据几何特征选取的不同而具有不同的视觉表现。例如，图11a所示出的是基于高斯曲率形成的图片，图11b所示出的是基于平均曲率形成的图片，而图11c所示出的是基于其形因子形成的图片，三者由于几何特征的不同而在视觉效果上存在一定的差异。

上面结合图2-图11对本发明的几何特征提取进行了详细地描述。如前所述，本发明的方案可以基于包括该几何特征的图像数据(在某些场景下也可以直接基于原始数据，即未经上述几何特征提取的图像数据)，利用神经网络模型来进行处理，以获得对包括例如病灶区域的目标图像区域的评估结果。下面将结合图12-图15来描述本发明的如图1中所示的图像评估系统100所执行的具体操作。

在基于结合上述图2-图11所描述的提取方式来获取包括所述几何特征的图像数据后(例如二维数据)或者是通过CT技术采集到的原始数据后，由于该图像数据通常采用0到255范围内的灰度值表示，因此通常需要对获取到的图像数据进行预处理。在一个实施例中，本发明提出利用最大-最小(max-min)准则将图像数据的灰度值归一化至0到1之间的浮点数。接着，本发明的第一神经网络模块接收该预处理后的图像数据，并对其进行处理以获取目标向量数据。在应用本发明的几何特征提取方案的实施场景中，前述图像数据还可以是与目标图像区域的几何特征相关的一维数据和/或三维数据。

图12是示出根据本发明实施例的第一神经网络模块102的操作框图。需要理解的是，图12所示第一神经网络模块是图1所示图像评估系统10O 中的第一神经网络模块的一种具体实施方式。由此，关于图1描述的图像评估系统100的相关细节和特征也适用于图12的描述。

如图所示，图中左侧虚线框中表示不同类型的图像数据，从上到下依次表示原始数据1201、三维数据1202、二维数据1203以及一维数据1204。在一个实施例中，一维数据可以存储为TXT格式，其大小可以是1*400 (即一行400个数据位)；二维数据可以存储为图片(例如png)格式，其像素大小例如可以是256*256。该图片示例性地可以是图11a、图11b 或图11c中所示包含几何特征的图片；三维数据可以存储为nii格式，其尺寸大小可以是512位*512位*512位。如前所述，本发明的方案提出使用max-min准则对上述的图像数据进行归一化处理，从而保持处理后的数据格式和尺寸大小不变。

在接收到上述的图像数据(例如经归一化预处理的图像数据)后，本发明的第一神经网络模块102首先将图像数据通过不同的编码器来提取不同类型的图像数据对应的特征向量。

具体来说，编码器1对原始数据1201进行处理以输出特征向量1201-1。类似地，三维数据1202、二维数据1203以及一维数据1204可以分别通过编码器2、编码器3以及编码器4提取出相对应的特征向量1202-1、特征向量1203-1以及特征向量1204-1。需要理解的是，图12中所示的图像数据维度的维度数和编码器的个数仅仅是示例性而非限制性的，本领域技术人员可以根据需求选择其他的图像数据格式或类型。例如，在一些应用场景中，可以采用原始数据、一维到三维数据中的任意一种数据来用于评估。在另一些应用场景中，可以将前述的原始数据以及一维到三维数据中的任意两种或多种进行组合以用于评估。因此，本发明在数据格式和数据使用方式等方面并不作任何的限制。类似地，本发明也对与前述数据格式相对应的编码器的数目和类型不做任何的限制。

在一个实施例中，本发明的上述编码器可以通过神经网络中的卷积层 (或者说卷积算子)来实现。在一个实现场景中，可以通过如图13中所示出的包括两个卷积层和一个自适应卷积层的层结构来实现对数据的编码操作，以获得如上所述的特征向量数据，具体描述如下。

图13示出根据本发明实施例的编码器1300的操作框图。可以理解的是该编码器1300可以是图12中的编码器1-编码器4中任意之一。如图中所示，该编码器1300可以包括卷积层1301、卷积层1302以及一个自适应卷积层1303。假设该图中左侧数据是上述图中的二维数据1203(例如提取的高斯曲率、平均曲率或者共形因子表示成的图片)，该编码器1300设定为上述图12中的编码器3。由此，二维数据1203经过编码器1300 中的卷积层1301进行第一次卷积。接着，经过卷积层1302进行第二次卷积，并可选地经过自适应卷积1303进行第三次卷积获得特征向量1203-1。类似的，通过如上所述的编码器处理，可以获得如图12中的特征向量 1202-1、特征向量1203-1以及特征向量1204-1。

根据实际的应用场景，本发明的上述编码器中的前两个卷积层可以分别采用128和64个卷积核来执行卷积操作。在该情形下，输入可以分别是256*256和128*128大小的特征图，而输出可以分别是128*128和64*64 大小的特征图。对于第三个卷积层来说，其可以是使用32个卷积核的自适应卷积层，并且其输出是大小为32*32的特征图。这里，增加自适应卷积层的目的仅仅是为了固定编码器的输出大小，即使得本披露的编码器总出输出固定大小的特征图，例如前述的32*32的特征图。基于此，本领域技术人员可以理解本发明的自适应卷积层是可选的设置，并且在其他的一些应用场景中，可以不使用或由另一卷积层来代替。进一步，本发明的神经网络中的卷积核大小均可以是3*3的阵列，并可以采用均匀分布来初始化。

结合图12和图13所示内容，本领域技术人员可以理解本发明的第一神经网络模块中的多个编码器中的多个卷积层串行连接，并且串行连接的最后一个卷积层的输出端连接至第一神经网络模块的特征提取器(即图12 中的特征提取器1205)的输入端。就图13所示的卷积层结构来说，编码器中的自适应卷积层1303的输出端连接至特征提取器的输入端，以便由特征提取器对多个向量数据执行数据拼接操作来获取目标向量数据。

参考图12所示出的特征提取器1205，其对例如上述的四种特征向量执行特征融合操作(也即图中中间虚线框中的操作)。具体地，首先对特征向量1201-1、特征向量1202-1、特征向量1203-1以及特征向量1204-1 分别进行一次卷积获得各自的卷积结果，再将每个特征向量的卷积结果进行融合(例如拼接)来获取目标向量数据1206。例如将特征向量1202-1、特征向量1203-1以及特征向量1204-1各自的卷积结果与特征向量1201-1 的卷积结果进行拼接获得特征向量1201-2。类似地，将特征向量1201-1、特征向量1203-1以及特征向量1204-1各自的卷积结果与特征向量1202-1 的卷积结果进行拼接获得特征向量1202-2。由此，还可以获得特征向量 1203-2、特征向量1204-2。接着，对于特征向量1201-2、特征向量1202-2、特征向量1203-2以及特征向量1204-2再执行多次(例如两次)前述操作可以获得特征向量1201-10、特征向量1202-10、特征向量1203-10以及特征向量1204-10，并且将其拼接形成目标向量数据1206。

在一个实施场景中，上述卷积采用的卷积核的大小可以是3*3、1*1 (与其本身卷积时)，卷积次数可以是三次，本发明对此不作限制。此外，目标向量数据的维数也可以根据需求设定，本发明也不作限制。例如，本发明中获得的目标向量数据是1024维，并且该目标向量数据是病人一次 CT图像数据。在应用于病灶区图像分析的场景中，通常可以分别采集病人不同时期的多个CT图像，并且基于上述第一神经网络模块描述的操作，从而获得不同时期下的多个目标向量数据，以作为第二神经网络模块的输入端，例如图14所示。

图14是示出根据本发明实施例的第一神经网络模块和第二神经网络模块的操作框图。图中最左侧表示采集到病人在Tn个时期下的图像数据 (例如CT1图像数据、CT2图像数据以及CTn图像数据)，第一神经网络模块102分别接收前述图像数据并对其进行处理，从而分别获取到T1 时刻的目标向量数据1401、T2时刻的目标向量数据1402以及T刻时期的目标向量数据1410。接着，第二神经网络模块103接收获取到多个目标向量数据，并对其处理最终获得病灶区域的评估结果。在一个实施例中，第二神经网络模块可以是长短期记忆神经网络(Long Short-Term Memory，“LSTM”)，例如图15所示。

图15是示出根据本发明实施例的第二神经网络模块的操作原理图。如上所述，本发明的第二神经网络模块在一个实施场景中可以实现为 LSTM神经网络，并且该LSTM神经网络中可以包括输入层、一个或多个隐藏层以及输出层。

如图15中所示，代表患者CT_t时期、CT_t-1时期以及CT_t+1时期的图像数据，经过第一神经网络模块特征融合，分别获得目标向量数据X_t、目标向量数据X_t-1以及目标向量数据X_t+1。LSTM神经网络以目标向量数据X_t、目标向量数据X_t-1以及目标向量数据X_t+1作为输入，并利用目标向量数据 X_t和前一时刻病人第t-1次CT的记忆S_t-1来计算当前时刻病人第t次CT 的记忆S_t。类似地，可以基于病人第t次CT的记忆S_t计算病人第t+1次 CT的记忆S_t+1。在一个实施场景中，可以多次重复前述操作(例如调整输入层到隐藏层的权重U、隐藏层到输出层的权重V以及上一时刻隐藏层到当前时刻隐藏层的权重W)并完成计算所有时刻下的记忆，最终获取输出 Ot，该Ot即为评估结果。通常情况下，前述评估结果可以表示为质量(例如病灶区域的质量)以及体积比(病灶区域与整个图像的体积比)。通过分析该评估结果，可以确定图像数据中的目标特征随时间发展的情形。例如，当该图像数据是包含病灶区域的图像数据时，可以对该病灶区的发展进行评估和预测。

尽管上文没有提及本发明的神经网络模块的训练过程，但基于本发明公开的内容，本领域技术人员可以理解本发明的神经网络模块可以通过训练数据来进行训练，从而获得具有高精度的神经网络模块。例如，在神经网络训练的前向传播过程中，本发明可以利用通过结合图2-图11所获得的包括几何特征的图像数据来对本发明的神经网络模块进行训练，并且将训练结果与预期的结果(或称真实值)进行比较以获得相应的损失函数。进一步，在神经网络训练的反向传播过程中，本发明利用获得的损失函数并基于例如梯度下降算法来对权重(例如图15中的权重U、V以及W) 进行更新，以减小输出Ot与真实值的误差。

结合上述描述，利用本发明实施例的图像评估系统，可以通过第一神经网络模块对图像数据进行特征融合来获取目标向量数据，第二神经网络模块对目标向量数据处理获得图像的评估结果。例如，可以将病人的CT 图像输入本发明图像评估系统，由此直接获得病人的病灶区域的评估结果 (例如质量和体积比)。通过对该质量或者体积比对病人的病情以及病灶区域的发展趋势进行预测，以便人工干预。

图16是示出根据本发明实施例的用于实现本发明的图像评估系统的计算设备的框图。如图16所示，计算设备1600可以包括中央处理单元 (“CPU”)1611，其可以是通用CPU、专用CPU或者其他信息处理以及程序运行的执行单元。进一步，计算设备1600还可以包括大容量存储器 1612和只读存储器(“ROM”)1613，其中大容量存储器1612可以配置用于存储各类数据，例如包括各种与病灶区域相关的图像数据、算法数据、中间结果和运行计算设备1600所需要的各种程序。只读存储器(“ROM”) 1613可以配置成存储对于计算设备1600的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统所需的数据。

可选地，计算设备1600还可以包括其他的硬件平台或组件，例如示出的张量处理单元(“TPU”)1614、图形处理单元(“GPU”)1615、现场可编程门阵列(“FPGA”)1616和机器学习单元(“MLU”)1617。可以理解的是，尽管在计算设备1600中示出了多种硬件平台或组件，但这里仅仅是示例性的而非限制性的，本领域技术人员可以根据实际需要增加或移除相应的硬件。例如，计算设备1600可以仅包括CPU来实现本发明的图像评估系统。

在一些实施例中，为了便于数据与外部网络的传递和交互，本发明的计算设备1600还包括通信接口1618，从而可以通过该通信接口1618连接到局域网/无线局域网(“LAN/WLAN”)1605，进而可以通过LAN/WLAN 连接到本地服务器1606或连接到因特网(“Internet”)1607。替代地或附加地，本发明的计算设备1600还可以通过通信接口1618基于无线通信技术直接连接到因特网或蜂窝网络，例如基于第3代(“3G”)、第4代(“4G”) 或第5代(“5G”)的无线通信技术。在一些应用场景中，本发明的计算设备1600还可以根据需要访问外部网络的服务器1608和数据库1609，以便获得各种已知的图像模型、数据和模块，并且可以远程地存储各种数据，例如用于呈现病灶区域图像的各类数据或指令。

计算设备1600的外围设备可以包括显示装置1602、输入装置1603和数据传输接口1604。在一个实施例中，显示装置1602可以例如包括一个或多个扬声器和/或一个或多个视觉显示器，其配置用于对本发明的显示病灶区域图像的运算过程或者最终结果进行语音提示和/或图像视频显示。输入装置1603可以包括例如键盘、鼠标、麦克风、姿势捕捉相机等其他输入按钮或控件，其配置用于接收病灶区域图像数据的输入和/或用户指令。数据传输接口1604可以包括例如串行接口、并行接口或通用串行总线接口(“USB”)、小型计算机系统接口(“SCSI”)、串行ATA、火线(“FireWire”)、 PCI Express和高清多媒体接口(“HDMI”)等，其配置用于与其他设备或系统的数据传输和交互。根据本发明的方案，该数据传输接口1604可以接收来自于CT设备的病灶区域图像或病灶区域图像数据，并且向计算设备1600传送包括病灶区域的图像数据或各种其他类型的数据或结果。

本发明的计算设备1600的上述CPU 1611、大容量存储器1612、ROM 1613、TPU1614、GPU 1615、FPGA 1616、MLU 1617和通信接口1618 可以通过总线1619相互连接，并且通过该总线与外围设备实现数据交互。在一个实施例中，通过该总线1619，CPU 1611可以控制计算设备1600中的其他硬件组件及其外围设备。

以上结合图16描述了可以用于执行本发明的图像评估系统的计算设备。需要理解的是这里的计算设备结构或架构仅仅是示例性的，本发明的实现方式和实现实体并不受其限制，而是可以在不偏离本发明的精神下做出改变。

还应当理解，本发明示例的执行指令的任何模块、单元、组件、服务器、计算机、终端或设备可以包括或以其他方式访问计算机可读介质，诸如存储介质、计算机存储介质或数据存储设备(可移除的)和/或不可移动的，例如磁盘、光盘或磁带。计算机存储介质可以包括以用于存储信息的任何方法或技术实现的易失性和非易失性，可移动和不可移动介质，例如计算机可读指令、数据结构、程序模块或其他数据。

虽然本发明的实施方式如上，但所述内容只是为便于理解本发明而采用的实施例，并非用以限定本发明的范围和应用场景。任何本发明所述技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (8)

1.一种基于神经网络模型进行评估的系统，包括：

一个或多个处理器；

第一神经网络模块；

第二神经网络模块；以及

一个或多个计算机可读存储介质，其存储有实现所述第一神经网络模块和第二神经网络模块的程序指令，当所述程序指令由所述一个或多个处理器执行时，使得：

第一神经网络模块接收并处理图像数据，以获得目标向量数据，其中所述图像数据包含与目标图像区域相关的原始数据和与目标图像区域的几何特征相关的二维数据；以及

第二神经网络模块接收并且处理所述目标向量数据，以输出用于评估所述目标图像区域的评估结果，所述评估结果表示为病灶区域的质量以及体积比；

其中所述第一神经网络模块包括多个编码器和特征提取器，所述第二神经网络模块包括长短期记忆神经网络；

其中所述一个或多个计算机可读存储介质还存储有获得所述二维数据的程序指令，当所述程序指令由所述一个或多个处理器执行时，使得：

基于所述原始数据来生成二维网格；以及

利用所述二维网格来确定几何特征，并且将所述几何特征表示为图片，以作为所述二维数据。

2.根据权利要求1所述的系统，其中：

所述多个编码器中的每个编码器包括多个卷积层，其配置用于对所述图像数据进行多层卷积处理，以从所述图像数据获得针对于不同几何特征的多个特征向量；以及

所述特征提取器，其配置成对所述多个特征向量执行特征融合操作，以获得所述目标向量数据。

3.根据权利要求2所述的系统，其中所述多个卷积层串行连接，并且串行连接的最后一个卷积层的输出端连接至所述特征提取器的输入端。

4.根据权利要求2所述的系统，其中所述特征融合操作包括对所述多个特征向量执行数据拼接操作，以便输出所述目标向量数据。

5.根据权利要求1-4的任意一项所述的系统，其中所述目标图像区域是与生命个体的病灶区域相关的图像区域。

6.根据权利要求1所述的系统，其中所述几何特征包括基于所述目标图像区域获得的高斯曲率、平均曲率或者共形因子。

7.一种计算设备，其包括根据权利要求1-6的任意一项所述的基于神经网络模型进行评估的系统。

8.一种计算机可读存储介质，其包括用于基于神经网络模型进行评估的计算机程序，当所述计算机程序由设备的一个或多个处理器执行时，使得所述设备执行根据权利要求1-6中任意一项所述的系统的操作。

Images