CN110490870A - 对图像进行分析的方法、装置和非暂时性计算机可读介质 - Google Patents

Abstract

本公开涉及一种对图像进行分析的方法、装置和非暂时性计算机可读介质。方法包括：由处理器将图像划分为图像块的阵列，每个图像块具有固定尺寸；由处理器基于每个图像块利用独立的编码器提取该图像块的特征信息；由处理器基于各个图像块的特征信息，利用与各个图像块一一对应的递归神经网络单元作为节点构成的递归神经网络，通过依据图像块之间的空间约束关系在所对应的各个递归神经网络单元之间传输信息，来确定各个图像块发生一定状况的概率。本公开的方法和装置不仅考虑各个图像块中的对象(例如但不限于肿瘤)呈现，还结合考虑各个图像块之间的空间约束关系，有助于提高各个图像块对于一定状况(例如是否发生肿瘤)的检出率和检测准确率。

Description

对图像进行分析的方法、装置和非暂时性计算机可读介质

相关申请的交叉引用

本申请要求2018年8月26日提交的美国临时申请第62,722,957号的优先权，其全部内容通过引用结合在此。

技术领域

本公开一般地涉及图像处理和分析。更具体地，本公开涉及对图像进行分析的方法、装置和非暂时性计算机可读介质。

背景技术

对包括医学图像在内的各种图像进行分析的方法可分为人工分析、半自动分析和自动分析。以肺部的CT图像作为例子，肿瘤检测在癌症的诊断中起关键作用。考虑到结节是癌症可能转移的第一个位置，对于结节的肿瘤检测是协助早期诊断的最重要标准之一。全片图像已被广泛用于癌症的检测。然而，手动检测癌症需要病理学家进行详尽的检查和分析，这是劳动密集型和耗时的，并且检测结果可能是主观的。因此，引入和发展了计算机辅助检测，以提供更可靠和一致的肿瘤检测。但是，自动化的肿瘤检测是一个具有挑战性的问题，因为肿瘤在医学图像中的呈现差异很大。

虽然目前已经采用深度神经网络和其他基于机器学习的算法来检测癌症转移，但是，通常只是将全片图像分成小图像块，再对这些图像块进行单独处理，而不考虑它们之间的空间结构关系。即便一些算法考虑到图像块之间的空间结构关系，也只是在得到各个图像块的独立预测结果之后的融合后处理中予以粗略考虑，例如对相邻图像块的独立预测结果进行平滑和平均处理等。但是，图像块的构造通常很复杂，针对各个图像块的独立预测会偏离真实结果，由此导致后处理中的空间依赖性总是次优的。

提供本公开的方法和装置来解决现有技术中的以上问题。

发明内容

因此，需要一种对图像进行分析的方法、装置和非暂时性计算机可读介质，其不仅考虑到各个图像块中的对象(例如但不限于肿瘤)呈现，还结合考虑到各个图像块之间的空间约束关系，从而有助于提高各个图像块对于一定状况(例如是否发生肿瘤)的检出率和检测准确率。

在一个方面，本公开提供了一种对图像进行分析的方法，所述方法包括：由处理器，将图像划分为图像块的阵列，每个图像块具有固定尺寸；由所述处理器，基于每个图像块利用独立的编码器提取该图像块的特征信息；由所述处理器，基于各个图像块的特征信息，利用与各个图像块一一对应的递归神经网络单元作为节点构成的递归神经网络，通过依据图像块之间的空间约束关系在所对应的各个递归神经网络单元之间传输信息，来确定各个图像块发生一定状况的概率。

在另一方面，本公开涉及一种对图像进行分析的装置，所述装置包括处理器，其配置为执行上述的对图像进行分析的方法。

在又一方面，本公开涉及一种对图像进行分析的装置，其中，所述装置包括：图像划分单元，其配置为将图像划分为图像块的阵列，每个图像块具有固定尺寸；特征提取单元，其配置为基于每个图像块利用独立的编码器提取该图像块的特征信息；状况确定单元，其配置为：基于各个图像块的特征信息，利用与各个图像块一一对应的递归神经网络单元作为节点构成的递归神经网络，通过依据各个图像块之间的空间约束关系在所对应的各个递归神经网络单元之间传输信息，来确定各个图像块发生一定状况的概率。

在再一方面，本公开涉及一种非暂时性计算机可读介质，其上存储有指令，所述指令在由处理器执行时，执行根据本公开各个实施例的对图像进行分析的方法。

根据本公开各个实施例的对图像进行分析的方法、装置和非暂时性计算机可读介质，不仅考虑到各个图像块中的对象呈现，还结合考虑到该空间约束关系在RNN单元之间进行信息传输，更符合现实中各个图像块的状况之间的空间依赖关系，可以无缝集成来自作为信息传输来源的其他图像块的信息来进行预测，从而有助于提高各个图像块对于一定状况(例如是否发生肿瘤)的检出率和检测准确率

应当理解，前面的一般性描述和以下的详细描述仅是示例性和说明性的，并不是对要求保护的本发明的限制。

附图说明

在不一定按比例绘制的附图中，相同的附图标记可以描述不同视图中的类似部件。具有字母后缀或不同字母后缀的相同数字可表示类似部件的不同实例。附图通常通过示例而非通过限制的方式示出了各种实施例，并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。这样的实施例是例证性的，而并非旨在作为本方法、装置、或其上存储有用于实现该方法的指令的非暂时性计算机可读介质的穷尽或排他实施例。

图1示出了根据本公开的实施例的对图像进行分析的方法的分析流程；

图2示出了根据本公开的实施例的对图像进行分析的学习网络的作用方式的示意图；

图3示出了根据本公开的实施例的对图像进行分析的学习网络的作用方式的另一示意图；

图4示出了根据本公开实施例的递归神经网络(RNN)单元之间的信息传输方式；

图5示出了根据本公开的实施例的学习网络的训练过程；

图6示出了根据本公开实施例的对图像进行分析的装置的示意性图示；以及

图7示出了根据本公开实施例的对图像进行分析的装置的框图。

具体实施方式

图1示出了根据本公开的实施例的对图像进行分析的方法的分析流程100，该方法可以由计算机实现。在接收到例如肺部的全片图像的图像之后，首先可以在步骤101，由处理器，将图像划分为图像块的阵列，每个图像块具有固定尺寸，例如图2中所示的3×3的图像块201的阵列。以图2中的阵列为例，阵列中的各个图像块201之间具有空间关系，也就是说，各个图像块201在阵列中具有独有的空间位置。在步骤102，可以由所述处理器，基于每个图像块利用独立的编码器提取该图像块的特征信息。如图2所示，为每个图像块201设有独立的编码器202，以独立提取该图像块201的特征信息。接着，在步骤103，可以由所述处理器，基于各个图像块201的特征信息，利用与各个图像块201一一对应的递归神经网络(RNN)单元203作为节点构成的递归神经网络，通过依据图像块201之间的空间约束关系在所对应的各个RNN单元203之间传输信息，来确定各个图像块201发生一定状况的概率。注意，本文中的表述“图像块201之间的空间约束关系”并不限于当前图像块与其他每个图像块之间的空间约束关系，而是涵盖了所有图像块中的部分图像块(即图像块子集中的各个图像块)之间的空间约束关系。

实际上，在步骤102和103，通过依序整合栅格状的编码器阵列和栅格状的RNN单元的阵列，并依据各个图像块201之间的空间约束关系在所对应的各个RNN单元203之间传输信息，构成了一种新的深度神经网络。如此，在作为预测模型的神经网络中考虑到了并模拟嵌入了在整幅图像中图像块201之间存在的各种空间约束关系。空间约束关系例如但不限于：在当前图像块201在肿瘤区域中时，其相邻图像块201很可能也被标记为肿瘤，因为肿瘤会扩展转移；在当前图像块201的附近的若干图像块201的独立预测结果相较远处的图像块201的独立预测结果对于当前图像块201的预测结果会有更大影响，等等。通过在作为预测模型的神经网络中，不仅考虑到各个图像块中的对象呈现，还结合考虑到该空间约束关系，更符合现实中各个图像块的状况之间的空间依赖关系，可以无缝集成来自作为信息传输来源的其他图像块201的信息(可以包括隐藏信息、由编码器202提取并馈送的特征信息等等)来进行预测，从而有助于提高各个图像块201对于一定状况(例如是否发生肿瘤)的检出率和检测准确率。

在确定各个图像块201发生一定状况的概率之后，也可以整合各个图像块201标记为一定状况的概率，来确定整幅图像发生所述一定状况的概率。例如但不限于，对各个图像块201发生一定状况的概率进行平滑、平均、求最大值等中的任何一种处理或其组合处理，来确定整幅图像发生所述一定状况的概率。

依据各个图像块201之间的空间约束关系在所对应的各个RNN单元203之间传输信息可以采用各种方式来实现。例如，可以在当前RNN单元203与所有其他RNN单元203之间传输信息，但根据彼此之间的空间距离来对信息进行加权，对应于越远离的图像块201的RNN单元203之间的信息的权重越低。虽然这么做可以尽可能全面周到地考虑到所有其他图像块201与当前图像块201之间的空间依赖关系，但在RNN单元203之间的信息传输越复杂(信息传输链路越多)，则整个神经网络结构越复杂，训练和预测阶段的计算负荷就越重，所消耗的时间也越长。

在一些实施例中，可以仅在当前图像块201所对应的RNN单元203与该图像块201的周围区域(如图2中的虚线所示)对应的多个RNN单元203中的至少一个之间双向或者单向地传输信息，如此，可以将计算资源聚焦于与当前图像块201空间约束关系最重要的周围区域，从而实现计算负荷与检测准确率和检出率之间的良好平衡。

可以根据具体需求和应用场景来调整周围区域的设置。在一些实施例中，收到的整幅图像上已经进行了初步的预先分割，例如人为的预先分割，或者自动化的预先分割，等。可以根据所述预先分割结果来确定每个图像块201与之存在空间约束关系的周围区域。具体说来，预先分割可以得出对象在背景中的初步呈现，例如，对于血管图像而言，预先分割出一段血管，该段血管分布在图2中所示的第2列第2-3行的图像块201和第3列第1行的图像块201中，则对于这三个图像块201中的任何一个图像块201可以设定其他两个图像块201作为周围区域，相应地，可以在如图2右侧虚线所示的RNN单元203之间双向或者单向地传输隐藏信息。在一些实施例中，也可以将分布有对象的图像块201的集合按照一定规则扩展以得到所述周围区域。如此，对预先分割结果以及其中反应的图像块201之间的空间约束关系进行了充分利用，从而进一步降低了工作负荷同时兼顾了检出率和检测的准确率。

编码器202可以采用各种方式来实现，例如可以实现为多层感知机、卷积神经网络(CNN)、任何基于CNN的学习网络等。具体说来，任何基于CNN的深度学习网络可以用作所述编码器202进行特征提取，包括但不限于VGG网络、残差网络、DenseNet(密集网络)等，其受益于大量训练数据的学习以及网络结构，对于不同状况的图像块201之间的微妙差异具有高度的辨别能力。

在一些实施例中，如图2所示，编码器可以基于CNN 202来构成，以便将各个图像块201编码成紧凑的特征向量(例如固定长度的向量)，从而得到的小的向量栅格，并且馈送到相应的RNN单元203。然后，经由周围区域所对应的RNN单元203之间的信息传输，可以在各个栅格中嵌入图像块201之间的空间约束关系，并由栅格状的RNN单元的阵列一并输出所有图像块201的分析结果。在一些实施例中，各个RNN单元203可以实现为例如任何基于长短期记忆(LSTM)网络或者门控循环单元(GRU)的深度学习网络。

在一些实施例中，整个神经网络的预测结果204例如可以是针对一定状况的概率图，该概率图的维度与图像块阵列的维度相同，前者的每个像素的强度值指示相应图像块201中存在所述一定状况(例如属于肿瘤区域还是正常区域)的概率。对于2D图像而言，在各个2D RNN单元的末端可以设有全连接层和softmax激活函数(该softmax激活函数用于归一化)，从而确定相应图像块201标记为一定状况的概率。

在一些实施例中，预测结果204也可以是整幅图像发生所述一定状况的概率，这可以通过整合各个图像块201标记为一定状况的概率来实现。具体说来，可以对概率图施加后处理，该后处理可以对各个概率进行平滑、平均和/或求最大值，从而确定整幅图像发生所述一定状况的概率。在一些实施例中，也可以对整幅图像发生所述一定状况的概率施加分类处理来将整个学习网络改造为分类学习网络，例如可以利用基于阈值的分类器来执行该分类处理，从而得到整幅图像是否发生一定状况的分类结果。如此，鉴于标注有整幅图像的分类结果的训练数据更容易得到，能够便利整个分类学习网络的训练。

对于不同维度的图像可以采用不同的RNN网络构造方法和信息传输方法。例如，如图2所示，在所述图像为2D图像的情况下，可以在每个非边缘的图像块201所对应的RNN单元203与其周围的4个图像块201对应的RNN单元(如左侧的虚线所示)之间传输信息。再例如，如图3所示，在所述图像为3D图像的情况下，为每个3D图像块301设置3D CNN 302以提取特征信息，相应的采用3D RNN单元303作为节点来构成栅格状的RNN网络，可以在每个非边缘的图像块301所对应的RNN单元303与其周围的8个图像块对应的RNN单元303之间传输信息，从而由栅格状的RNN网络一并输出预测结果304，例如但不限于各个3D图像块301中存在肿瘤的概率、各个3D图像块301是否肿瘤区域的细分分类结果、整幅3D图像中存在肿瘤的概率、整幅3D图像中是否存在肿瘤的分类结果或者其任意组合。

不同于2D图像，在应用于3D图像时，各个3D RNN单元303之间的传输方向可以具有三个维度，如图4所示，如此，能够考虑到在2D图像(例如切片图像)中无法体现的3维空间上的图像块301之间的结构依赖关系，从而得到更准确的预测结果。例如，对于肺部CT切片图像而言，某个切片图像上的某个图像块为肿瘤区域，但该切片图像上其周围区域的图像块可能均为正常区域，而与该切片图像相邻的另一个切片图像上与该图像块相邻的几个图像块可能属于肿瘤区域，对于这种情况，利用2D图像和2D学习网络时可能导致漏检，而利用3D图像(例如通过将CT切片图像重建得到的体积图像)、相应的3D学习网络以及在3个维度上的信息传输，则可以提取3D空间中的特征信息并考虑到3维空间上的结构依赖关系，从而得到更准确的预测结果。

图5示出了根据本公开的实施例的学习网络的训练过程500。如图5所示，训练过程500可以始于步骤501：加载一个(批)用于学习网络的训练数据。可以对如图2和图3中所示的栅格状CNN-栅格状RNN网络构成的整个学习网络进行一体训练，相应的训练数据为整幅图像以及其上各个图像块的分类结果。在步骤502，可以使用整个学习网络的当前参数基于训练数据计算损失函数。在步骤503，可以基于损失函数调整学习网络的参数。然后，可以确定是否还有其他(批)的训练数据(步骤504)，如果是，则过程500可以返回到步骤501，否则过程500结束。

考虑到与周围区域对应的各个RNN单元之间的信息传输，也可以对训练过程500进行改进。例如，可以采用图像块x及其周围区域的图像块x_n(n＝1,2，……，N，N为任意自然数)构成的部分图像以及该部分图像的各个图像块的地面真值标签[y,y_n(n＝1,2，……，N，N为任意自然数)]作为单个训练子数据。相应地，整幅图像的训练数据可以划分为部分图像的训练子数据并分次加载，每次加载实际上为对应于部分图像的训练子数据。在步骤502可以针对各个部分图像计算损失函数，然后对构成整幅图像的所有部分图像的损失函数进行整合，并基于整合后的损失函数来调整整个学习网络的参数(步骤503)，直到用完所有的训练数据为止。通过对训练子数据的分次加载，可以显著降低加载所需的工作负荷。

在一些实施例中，也可以将与周围区域对应的各个CNN构成的CNN子集连同与之对应的各个RNN单元构成的RNN单元子集(也就是CNN子集-RNN单元子集构成的部分学习网络)依序分别训练。具体说来，在步骤502可以针对各个部分图像计算损失函数，然后基于该损失函数调整对应于该部分图像的CNN子集和RNN单元子集的参数，如此，逐个子集地训练，直到完成所有子集的训练，再使用下一整幅图像的训练数据实现遍历子集的训练。这样，每次调整的参数显著减少，从而可有效提高训练速度。

在一些实施例中，也可以采用小批次训练方法，可以将所接收的训练数据集划分为批次，各批次可以被独立地加载作为当前的训练数据，例如，对于某个批次，计算该批次中所有训练数据对应的损失函数的代表值(例如其梯度的平均值，适用于梯度下降方法)，并据此在步骤503中调整相应学习网络的参数。如此，可以获得更鲁棒性的收敛，同时以相对高的计算效率有效避免局部优化。此外，存储器无需完整地加载大量的训练数据集。而是，训练样本可以分批次加载，其缓解了存储器的工作负荷且提高了其工作效率。

可以采用各种损失函数，例如但不限于交叉熵、判别损失函数(DISC分数)等。例如，可以根据以下公式(1)来确定目标函数：

其中，L表示目标函数，x为训练数据，c(x)表示损失函数，D可以表示整个训练数据集，也可以表示一批次的训练数据子集。具体说来，在步骤503，可以基于梯度下降法(例如但不限于随机梯度下降法)来优化目标函数L，并据此调整更新相应学习网络的参数。

图6示出根据本公开实施例的对图像进行分析的装置600的示意性图示。在一些实施例中，所述图像分析装置600可以配置为从图像数据库608接收要进行分析和预测的图像，且包括图像划分单元604、特征提取单元607和状况确定单元609。图像划分单元604可以配置为将所接收的图像划分为图像块的阵列，使得每个图像块具有固定尺寸。特征提取单元607可以配置为基于每个图像块利用独立的编码器提取该图像块的特征信息。状况确定单元609可以配置为：基于各个图像块的特征信息，利用与各个图像块一一对应的递归神经网络单元作为节点构成的递归神经网络，通过依据图像块之间的空间约束关系在所对应的各个递归神经网络单元之间传输信息，来确定各个图像块发生一定状况的概率。具体说来，特征提取单元607和状况确定单元609都需要利用训练好的学习网络来执行相应功能。

在一些实施例中，可以预先规定图像划分方式以及学习网络中的RNN单元之间的信息传输方式(周围区域的设定、信息传输方向等)，人为地或者由学习网络构建单元602构建学习网络，该学习网络包括依序连接的栅格状CNN-栅格状RNN网络，并且RNN单元之间的信息传输依循预先规定的方式。构建好的学习网络被传输到训练单元603，以由其利用来自训练样本数据库605的训练数据进行训练。训练好的学习网络可以传输到图像分析装置600以供其应用于由图像划分单元604划分的图像块的阵列，以得出分析结果。

在一些实施例中，训练好的学习网络也可以传输到图像划分单元604，由此图像划分单元604可以根据栅格状CNN的结构，知晓对图像的划分方式。

除了图像划分单元604、特征提取单元607和状况确定单元609以外，图像分析装置600也可以整合其他的单元，例如但不限于学习网络构建单元602、训练单元603以及初步分割单元606等中的任何一种或其任何组合。

初步分割单元606可以配置为对所接收的图像进行初步分割，并可以将初步分割结果馈送到学习网络构建单元602。如此，学习网络构建单元602可以基于初步分割结果来调整RNN单元之间的信息传输方式。

图7示出了根据本公开的一些实施例的示例性图像分析装置700的框图。在一些实施例中，图像分析装置700可以是专用计算机或通用计算机。例如，图像分析装置700可以是为医院定制的计算机，以执行图像采集和图像处理任务。如图7中所示，图像分析装置700可以包括通信接口703、处理器704、存储器705、储存器706和显示器707。

在一些实施例中，通信接口703可以包括网络适配器、电缆连接器、串行连接器，USB连接器、并行连接器、高速数据传输适配器(诸如光纤、USB 3.0、雷电接口等)、无线网络适配器(诸如WiFi适配器)、电信(3G、4G/LTE等)适配器等。图像分析装置700可以通过通信接口703连接到其他构件，例如图像采集装置702、学习网络训练装置701、图像数据库、PACS系统等。在一些实施例中，通信接口703可以从图像采集装置702接收医学图像。例如，图像采集装置702可以包括数字减影血管造影机、MRI扫描仪、CT扫描仪、WSI扫描仪(以得到全片图像)等等。在一些实施例中，通信接口703还从学习网络训练装置701接收诸如训练好的学习网络。

在一些实施例中，处理器704可以是包括一个以上通用处理设备的处理设备，诸如微处理器、中央处理单元(CPU)、图形处理单元(GPU)等。更具体地，该处理器可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、运行其他指令集的处理器或运行指令集的组合的处理器。该处理器还可以是一个以上专用处理设备，诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、片上系统(SoC)等。处理器704可以通信地耦合到存储器705并且被配置为执行存储在其上的计算机可执行指令，以执行诸如根据本公开各实施例的图像分析方法。

在一些实施例中，存储器705/储存器706可以是非暂时性计算机可读的介质，诸如只读存储器(ROM)、随机存取存储器(RAM)、相变随机存取存储器(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、电可擦除可编程只读存储器(EEPROM)、其他类型的随机存取存储器(RAM)、闪存盘或其他形式的闪存、缓存、寄存器、静态存储器、光盘只读存储器(CD-ROM)、数字通用光盘(DVD)或其他光学存储器、盒式磁带或其他磁存储设备，或被用于储存能够被计算机设备访问的信息或指令的任何其他可能的非暂时性的介质等。

在一些实施例中，储存器706可以储存训练好的学习网络和数据，该数据诸如为原始医学图像、习得的特征信息、RNN单元之间传输的信息(例如但不限于隐藏信息)等，以及诸如在执行计算机程序的同时所接收的、所使用的或所生成的数据等。在一些实施例中，存储器705可以储存计算机可执行指令，诸如一个以上图像处理程序，以实现诸如图6中初步分割单元606、特征提取单元607、状况确定单元609和图像划分单元604所示的功能。

在一些实施例中，处理器704可以在显示器707上呈现图像的分析结果(哪些图像块属于肿瘤区域、整幅图像中是否存在肿瘤、表示各个图像块中存在肿瘤概率的概率图)和/或其他数据的可视化。显示器707可以包括液晶显示器(LCD)、发光二极管显示器(LED)、等离子显示器或任何其他类型的显示器，并提供显示器上呈现的图形用户界面(GUI)用于用户输入和图像/数据显示。

根据本公开，学习网络训练装置701可以具有与图像分析装置700相同或相似的结构。在一些实施例中，学习网络训练装置701包括处理器以及被配置为使用训练数据集训练学习网络的其他构件。相较图像分析装置700，学习网络训练装置701的存储器705中也可以储存计算机可执行指令，以实现诸如图6中所示的学习网络构建单元602(可选地)和训练单元603的功能，从而实现根据本公开各个实施例的用于图像分析的学习网络的训练方法。

在一些实施例中，学习网络训练装置701的储存器706可以储存训练好的学习网络、训练中的学习网络的更新后的实时参数值等。在一些实施例中，学习网络训练装置701和图像分析装置700也可以整合到一个装置内。

本文描述了各种操作或功能，其可以实现为软件代码或指令或者定义为软件代码或指令。这样的内容可以是可以直接执行(“对象”或“可执行”形式)的源代码或差分代码(“delta”或“patch”代码)。软件代码或指令可以存储在计算机可读存储介质中，并且当被执行时，可以使机器执行所描述的功能或操作，并且包括用于以机器(例如，计算装置，电子系统等)可访问的形式存储信息的任何机构，例如可记录或不可记录介质(例如，只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存装置等)。

已经出于说明的目的呈现了前面的描述。它并非穷尽的，并且不限于所公开的精确形式或实施例。考虑到所公开实施例的说明书和实践，实施例的修改和改编将是显而易见的。

在本文件中，术语“一”或“个”，如专利文献中常见的那样，包括一个或多个，独立于“至少一个”或“一个以上”的任何其他实例或用法。因此，例如，提到“级别”包括多个这样的级别等。

在本文件中，除非另有说明，否则术语“或”用于表示非排他性的或，即“A或B”包括“A但不是B”，“B但不是A”和“A和B”。在本文中，术语“包括”是开放式的，并不排除另外、未陈述的要素或方法步骤。“包括”是权利要求语言中使用的专用术语，其意味着所称的要素是必要的，但其他要素可以被添加而依然形成权利要求的范围内的构想。包括除了那些在权利要求中在该术语后列出的要素以外的要素的设备、系统、装置、制品、组成、配方或过程，也被视为落入该权利要求的保护范围内。

这里描述的示例性方法可以至少部分地是机器或计算机实现的。一些示例可以包括用指令编码的计算机可读介质或机器可读介质，所述指令可操作以配置电子装置执行如以上示例中所述的方法。这种方法的实现可以包括软件代码，诸如微代码、汇编语言代码、更高级的语言代码等。各种程序或程序模块可以使用各种软件编程技术来创建。例如，可以使用Java、Python、C、C++、汇编语言或任何已知的编程语言来设计程序段或程序模块。一个或多个这样的软件部分或模块可以被集成到计算机系统和/或计算机可读介质中。这种软件代码可以包括用于执行各种方法的计算机可读指令。软件代码可以形成计算机程序产品或计算机程序模块的一部分。此外，在一个示例中，软件代码可以诸如在执行期间或其他时间有形地存储在一个或多个易失性、非暂时性或非易失性有形计算机可读介质上。这些有形的计算机可读介质的示例可以包括但不限于硬盘、可移动磁盘、可移动光盘(例如，光盘和数字视频盘)、磁带盒、存储卡或棒、随机存取存储器(RAM)，只读存储器(ROM)等。

此外，尽管在此描述了说明性实施例，但是范围包括具有基于本公开的等效要素、修改、省略、组合(例如，跨各种实施例的方案的组合)、调整或变更的任何和所有实施例。权利要求中的要素将基于权利要求中使用的语言进行宽泛地解释，而不限于本说明书中或在本申请的存续期间描述的示例，这些示例将被解释为非排他性的。此外，所公开的方法的步骤可以以任何方式进行修改，包括通过重新排序步骤或插入或删除步骤。因此，意图仅仅将描述视为例子，真正的范围由以下权利要求及其全部等同范围表示。

以上描述旨在是说明性的而不是限制性的。例如，上述示例(或其一个或多个方案)可以彼此组合使用。本领域普通技术人员在查看以上描述时可以使用其他实施例。而且，在上面的详细描述中，各种特征可以被组合在一起以简化本公开。这不应被解释成意图让不要求保护的公开特征对于任何权利要求而言都是必不可少的。而是，发明主题可以在于比一个公开的实施例的所有特征少的特征组合。因此，以下权利要求由此作为示例或实施例并入到具体实施方式中，其中每个权利要求独立作为单独的实施例，并且可以构想的是，这些实施例可以以各种组合或置换来相互组合。本发明的范围应该参考所附权利要求以及赋予这些权利要求的等同物的全部范围来确定。

Claims (11)

1.一种对图像进行分析的方法，所述方法包括：

由处理器，将图像划分为图像块的阵列，每个图像块具有固定尺寸；

由所述处理器，基于每个图像块利用独立的编码器提取该图像块的特征信息；

由所述处理器，基于各个图像块的特征信息，利用与各个图像块一一对应的递归神经网络单元作为节点构成的递归神经网络，通过依据图像块之间的空间约束关系在所对应的各个递归神经网络单元之间传输信息，来确定各个图像块发生一定状况的概率。

2.根据权利要求1所述的方法，其中，依据各个图像块之间的空间约束关系在所对应的各个递归神经网络单元之间传输信息包括：在每个图像块所对应的递归神经网络单元与该图像块的周围区域对应的多个递归神经网络单元中的至少一个之间双向或者单向地传输信息。

3.根据权利要求2所述的方法，其中，所述图像为标注有预先分割结果的图像，所述方法还包括：根据所述预先分割结果来确定每个图像块与之存在空间约束关系的周围区域。

4.根据权利要求2所述的方法，其中，依据各个图像块之间的空间约束关系在所对应的各个递归神经网络单元之间传输信息包括：

在所述图像为2D图像的情况下，在每个非边缘的图像块所对应的递归神经网络单元与其周围的4个图像块对应的递归神经网络单元之间传输信息；而

在所述图像为3D图像的情况下，在每个非边缘的图像块所对应的递归神经网络单元与其周围的8个图像块对应的递归神经网络单元之间传输信息。

5.根据权利要求1所述的方法，其中，所述编码器基于卷积神经网络构成；

利用所述递归神经网络来确定各个图像块标记为一定状况的概率包括：利用各个递归神经网络单元末端的全连接层和softmax激活函数来确定相应图像块标记为一定状况的概率；

所传输的信息为隐藏信息。

6.根据权利要求1所述的方法，其中，所述一定状况包括患有肿瘤或者正常。

7.根据权利要求1所述的方法，其中，所述方法还包括：整合各个图像块标记为一定状况的概率，来确定所述图像发生所述一定状况的概率。

8.根据权利要求2所述的方法，其中，每个训练数据包括由图像块及其周围区域的图像块构成的部分图像以及该部分图像的各个图像块的地面真值标签。

9.一种对图像进行分析的装置，所述装置包括处理器，其配置为执行根据权利要求1-8中的任何一种所述的对图像进行分析的方法。

10.一种对图像进行分析的装置，其中，所述装置包括：

图像划分单元，其配置为将图像划分为图像块的阵列，每个图像块具有固定尺寸；

特征提取单元，其配置为基于每个图像块利用独立的编码器提取该图像块的特征信息；

状况确定单元，其配置为：基于各个图像块的特征信息，利用与各个图像块一一对应的递归神经网络单元作为节点构成的递归神经网络，通过依据图像块之间的空间约束关系在所对应的各个递归神经网络单元之间传输信息，来确定各个图像块发生一定状况的概率。

11.一种非暂时性计算机可读介质，其上存储有指令，所述指令在由处理器执行时，执行根据权利要求1-8中的任何一种所述的对图像进行分析的方法。