CN111461158A - 用于识别超声图像中特征的方法、装置、存储介质和系统 - Google Patents

Abstract

本发明提供一种用于识别超声图像中的特征的方法、装置、存储介质和系统。该方法包括：获取步骤，获取超声图像；提取步骤，从超声图像中提取出感兴趣区域图像；图像增强步骤，使用图像增强方法，对感兴趣区域图像进行图像增强，得到多个训练图像数据；建模步骤，将多个训练图像数据输入特定的深度卷积神经网络进行训练，从而建立分析模型；识别步骤，分析模型对感兴趣区域图像进行分析，并根据分析模型的分析结果，识别超声图像中的特征。本发明可以更加准确地识别超声图像中的肿瘤的特征，即，良性还是恶性。

Description

用于识别超声图像中特征的方法、装置、存储介质和系统

技术领域

本发明涉及图像识别处理，尤其涉及用于识别超声图像中的特征的方法、装置和存储介质。

背景技术

超声成像装置由于其非侵入性和安全性而广泛用于医院和医疗诊所等医疗中心。在诊断是否可能出现恶性肿瘤的过程中，经常采用超声图像对各种类型的组织和体内结构进行初步检查，例如甲状腺结节、乳房病变、前列腺病变等。然而，众所周知，超声图像具有相对较差的图像质量，这对于准确诊断而言可能是具有挑战性的，因此限制了该特定图像模态的潜力。

近年来，卷积神经网络(CNN)已经成功地应用于计算机视觉的许多应用领域，并且已经显示出了出色的物体识别性能，特别是对于大规模复杂的视觉识别任务。CNN能够进行特征学习，从输入图像中识别出有条理和强大的对象特征，如线条，角落，形状，纹理和颜色，为模式识别和分类提供“端到端”解决方案，而不是传统的方法。通过复杂算法提取特征。已经开发出诸如VGGNet的CNN模型用于对象识别问题。该网络的体系结构包括权重层，归一化层，最大池化层，完全连接的层，以及在输出层中具有softmax激活的线性层。VGG模型已经过大约120万个标记图像的训练，能够识别ImageNet数据集中的1000种不同类型的对象。通过调整网络的超参数并将其与有效的图像预处理相结合，可以利用这种强大的深CNN架构的潜力并将其用于肿瘤状态识别任务。

最近在过去两年中，CNN已经开始被用于医学图像分析。通过准确的预测结果，这些解决方案可以提供正确理解肿瘤性质的机会，并帮助医生和其他医疗专业人员及早准确地诊断诸如癌症的急性疾病并监测患者治疗的有效性。

然而，目前对超声图像的识别结果尚不够准确。

发明内容

针对现有的问题，本发明提供了一种用于识别超声图像中的特征的方法，该方法包括：

获取步骤，获取所述超声图像；

提取步骤，从所述超声图像中提取出感兴趣区域图像；

图像增强步骤，使用图像增强方法，对所述感兴趣区域图像进行图像增强，得到多个训练图像数据；

建模步骤，将所述多个训练图像数据输入特定的深度卷积神经网络进行训练，从而建立分析模型；

识别步骤，所述分析模型对所述感兴趣区域图像进行分析，并根据所述分析模型的分析结果，识别所述超声图像中的特征。

其中，所述图像增强方法是几何增强方法和奇异值分解方法。

其中，特定的深度卷积神经网络是特定的VGGNet模型，

其中，在所述建模步骤中，将所述多个训练图像数据输入所述特定的VGGNet模型进行训练，得到多个建模参数，并根据所述多个建模参数建立所述分析模型。

其中，对原始VGGNet模型的最后四层进行修改，得到所述特定的VGGNet模型。

本发明还提供一种用于识别超声图像中的特征的装置，其特征在于，所述装置包括：

获取单元，获取所述超声图像；

提取单元，从所述超声图像中提取出感兴趣区域图像；

图像增强单元，使用图像增强方法，对所述感兴趣区域图像进行图像增强，得到多个训练图像数据；

建模单元，将所述多个训练图像数据输入特定的深度卷积神经网络进行训练，从而建立分析模型；

识别单元，所述分析模型对所述感兴趣区域图像进行分析，并根据所述分析模型的分析结果，识别所述超声图像中的特征。

进一步，本发明还提供一种计算机可读的存储介质，所述存储介质具有存储在其中的指令，当所述指令被执行时，使得所述计算机执行用于识别超声图像中的特征的方法，其特征在于，所述指令包括：

获取指令，获取所述超声图像；

提取指令，从所述超声图像中提取出感兴趣区域图像；

图像增强指令，使用图像增强方法，对所述感兴趣区域图像进行图像增强，得到多个训练图像数据；

建模指令，将所述多个训练图像数据输入特定的深度卷积神经网络进行训练，从而建立分析模型；

识别指令，所述分析模型对所述感兴趣区域图像进行分析，并根据所述分析模型的分析结果，识别所述超声图像中的特征。

进一步，本发明还提供一种系统，包括：

存储器，用于存储由系统的一个或多个处理器执行的指令，以及

处理器，是所述系统的处理器之一，用于执行如上所述的用于识别超声图像中的特征的方法。

本发明中，通过使用几何增强方法和奇异值分解方法，获得了大量训练图像数据，并利用大量训练图像数据对特定的VGGNet模型进行训练，得到多个较佳的建模参数，因此通过较佳的建模参数所建立的分析模型可以更加准确地识别超声图像中的肿瘤的特征，即，良性还是恶性。

进一步，本发明的建模方法对于不同肿瘤(甲状腺和乳腺)是通用的，因此无需分别对每种肿瘤建立不同的建模方法，具有较佳的实用性和通用性。

进一步，本发明的装置是模块化设计，因此可独立地升级和更换分类模型

附图说明

图1是根据本发明实施例的用于识别超声图像中的特征的方法的系统的硬件结构框图；

图2是根据本发明实施例的用于识别超声图像中的特征的方法的流程图；

图3是根据本发明实施例的用于识别超声图像中的特征的装置的结构图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点及功效。虽然本发明的描述将结合较佳实施例一起介绍，但这并不代表此发明的特征仅限于该实施方式。恰恰相反，结合实施方式作发明介绍的目的是为了覆盖基于本发明的权利要求而有可能延伸出的其它选择或改造。为了提供对本发明的深度了解，以下描述中将包含许多具体的细节。本发明也可以不使用这些细节实施。此外，为了避免混乱或模糊本发明的重点，有些具体细节将在描述中被省略。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

应注意的是，在本说明书中，相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本发明所提供的实施方式可以在移动终端、计算机终端、或者类似的运算装置(如ECU(Electronic Control Unit，电子控制单元))、系统中执行。以运行在系统为例，图1是根据本发明实施例的用于识别超声图像中的特征的方法的系统的硬件结构框图。如图1所示，系统100可以包括一个或多个(图中仅示出一个)处理器101(处理器101可以包括但不限于中央处理器CPU、图像处理器GPU、数字信号处理器DSP、微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于与用户交互的输入输出接口102、用于存储数据的存储器103、以及用于通信功能的传输装置104。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，系统100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

输入输出接口102可以连接一个或多个显示器、触控屏等，用于显示从系统100传送的数据，还可以连接键盘、触控笔、触控板和/或鼠标等，用于输入诸如，选择、创建、编辑等的用户指令。

存储器103可用于存储应用软件的软件程序以及模块，例如与本发明实施方式中的用于识别超声图像中的特征的方法对应的程序指令/模块，处理器101通过运行存储在存储器103内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的用于识别超声图像中的特征的方法。存储器103可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器103可进一步包括相对于处理器101远程设置的存储器，这些远程存储器可以通过网络连接至系统100。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置104用于经由一个网络接收或者发送数据。上述的网络具体实例可包括系统100的通信供应商提供的互联网。在上述运行环境下，本发明提供了用于识别超声图像中的特征的方法。

图2示出了根据本发明实施例的用于识别超声图像中的特征的方法的流程图，图3示出了根据本发明实施例的用于识别超声图像中的特征的装置30的结构图，该装置30用于执行图2所示的方法流程，且装置30包括获取单元31、提取单元32、图像增强单元33、建模单元34以及识别单元35。

下面结合附图，具体描述本发明的实施例。

在获取步骤S21，获取单元31获取超声图像。通常由训练有素的医务人员使用不同的超声机器(例如Philips，Siemens，Toshiba，GE，Samsung，eSaote)来采集超声图像，使得获取单元31获取该超声图像。本实施例中，该超声图像中可以包括不同类型的肿瘤，例如甲状腺结节和乳房病变等等。其中，利用已知的实验室病理结果，对超声图像进行分类标记(良性/恶性)，用于在后续训练模型的过程中进行监督式学习。

获取的超声图像通常捕获整个器官或至少大部分器官，并且实际肿瘤仅占据图像的一小部分。此外，由于以下原因，获取的超声图像有噪音：

·超声图像包含非肿瘤周围组织和对象；

·不同的超声波机器往往会产生各种质量的图像；

·图像中的肿瘤具有复杂的形状，方向，纹理和大小；

·以不同的聚焦和比例设置来捕获超声图像，从而产生具有不同照明和大小的超声图像。

这些条件使得肿瘤识别任务非常具有挑战性，因此超声图像需要进行接下来的预处理(预处理是指下面的提取步骤和图像增强步骤)。

在提取步骤S22，提取单元32从该超声图像中提取出感兴趣区域(ROI)图像。具体的，通过由训练有素的医务人员手动裁剪超声图像中的肿瘤区域而得到感兴趣区域(ROI)图像，使得提取单元32可以提取出ROI图像。其中，目前已开发了一种自由手工裁剪工具，以允许操作者(例如，医务人员))在超声图像中的肿瘤边界上定位样本点，并且该工具提取被包围的感兴趣区域。

接着，在图像增强步骤S23，图像增强单元33使用图像增强方法，对ROI图像进行图像增强，得到多个训练图像数据。其中，图像增强方法是几何增强方法和奇异值分解方法。

具体的，几何增强方法通过以下实现。采用以下两种方法(即，旋转和镜像)，通过转换，将各个ROI图像中的像素值映射到新目标，从而改变ROI图像的几何形状：

·旋转：将上述ROI图像围绕图像中心分别逆时针旋转90°，180°和270°。

·镜像：使上述ROI图像在其垂直轴上翻转，生成图像的反射复制。

上述几何增强方法通过改变方向从每个ROI图像生成四个复制图像，同时保留图像中表征图像类别的形状和纹理等模式特征。这些方法在计算上较为简单，因为它们只需要反转行图像矩阵。

接着使用奇异值分解(SVD)方法，基于奇异值分解(SVD)的基于图像压缩方案的新方法被设计用于从上述原始ROI图像生成近似图像，同时保留图像的几何特征。即可以使用较低阶数的矩阵来近似原始图像(或矩阵)。

具体的，对于上述ROI的超声RGB图像，三个矩阵M[R，G，B}表示RGB通道中的像素强度值，其中每个矩阵的大小为r×c，其中r和c分别表示行数和列数。M中的每个矩阵可以分解为三个子矩阵：

M{R，G，B}＝UΣV^T

其中U是r×r，Σ是r×c的大小，V^T是c×c的大小。U和V是正交矩阵，Σ是对角矩阵，其条目沿主对角线按降序排列，并确定原始矩阵的秩。三个RGB通道分别进行分解。在Σ中确定一定百分比的顶部奇异值之后，然后反转变换，并且得到的RGB矩阵创建新的真彩色图片。对于每个ROI图像，应用所选顶部奇异值的45％，35％和25％比率的三个等级，为相同的ROI生成三个近似图像。该方法大致保留了超声图像的重要纹理特性，同时产生了大量的复制图像。

通过使用上述几何增强方法和奇异值分解方法这2种方法，获得了大量的训练图像数据，与通常的图像增强方法相比，例如可以获得八倍的训练图像数据，使得针对不同肿瘤(不同类)的训练样本的数量可以更接近于在每类中训练的最佳训练样本数。

接着，在建模步骤S24，建模单元34将上述多个(大量)训练图像数据输入特定的深度卷积神经网络(DCNN)进行训练，从而建立分析模型。

其中，特定的深度卷积神经网络是特定的VGGNet模型，并且其中，建模单元34将上述多个训练图像数据输入上述特定的VGGNet模型进行训练，得到多个建模参数，并根据所述多个建模参数建立所述分析模型。

本发明中，使用VGGNet模型架构来构建肿瘤识别的核心分类模型。该网络有47层，包括16个卷积层和3个完全连接的层，具有可学习的权重，包含数百万个权重参数。卷积层提取诸如线条，形状，边缘和纹理图案之类的通用特征，这些特征可以被转移以用于类似的视觉识别任务。其中，VGGNet模型是深度卷积神经网络DCNN中的一种模型，并且用于转移学习TL。

建模单元34对原始VGGNet模型的最后四层进行修改，得到上述特定的VGGNet模型。具体的，用25％的丢失层(drop7’)、用于两类(良性和恶性)的新完全连接层(fc8’)、2路新softmax层(softmax是归一化指数函数)(prob’)、以及新输出层(output’)来替换原始VGGNet模型的最后四层，即，丢失层(drop7)、完全连接层(fc8)、softmax层(prob)、以及输出层(output)，从而得到上述特定的VGGNet模型。新完全连接层(fc8’)的输出被馈送到2路新softmax层，该函数在两类标记(良性和恶性)上产生分布。

建模单元34将上述多个训练图像数据输入上述特定的VGGNet模型进行训练，得到多个建模参数。本例中，经过广泛的测试，建模参数设置如下：迭代次数设置为15000，初始学习率为0.001，Mini-batch大小为8，其他超级参数被设置为默认值。如此建立的模型可以确保肿瘤识别的准确性。

其中，针对不同肿瘤，例如甲状腺和乳腺，经过上述提取步骤S22和图像增强步骤S23可以得到各自的多个训练图像数据，建模单元34可以分别使用各自的多个训练图像数据进行训练，以得到针对不同肿瘤的建模参数，从而为不同肿瘤建立各自的模型。因此，本发明的上述建模过程对于不同肿瘤是通用的。

建模单元34根据这些建模参数，建立分析模型。此时，建模完成。

接着，在识别步骤S25，建立完成的分析模型对上述ROI图像进行分析，识别单元35根据分析模型的分析结果，识别超声图像中的特征，也就是说，根据分析结果，识别单元35可以识别超声图像中关于甲状腺结节或乳腺病的肿瘤是良性还是恶性。

本发明中，通过使用几何增强方法和奇异值分解方法，获得了大量训练图像数据，并利用大量训练图像数据对上述特定的VGGNet模型进行训练，从而得到上述多个较佳的建模参数，而通过较佳的建模参数所建立的分析模型可以更加准确地识别超声图像中的肿瘤的特征，即，良性还是恶性。

进一步，本发明的建模过程对于不同肿瘤(甲状腺和乳腺)是通用的，因此无需分别对每种肿瘤建立不同的建模过程，具有较佳的实用性和通用性。

进一步，本发明的装置30是模块化设计，因此可独立地升级和更换分类模型。

在另一实施例中，在建立分析模型后，可以直接对提取的ROI图像进行分析，而无需重复图像增强步骤和建模步骤。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的终端设备来实现。在列举了若干终端设备的单元权利要求中，这些终端设备中的若干个可以是通过同一个硬件项来具体体现。

Claims (10)

1.一种用于识别超声图像中的特征的方法，其特征在于，所述方法包括：

获取步骤，获取所述超声图像；

提取步骤，从所述超声图像中提取出感兴趣区域图像；

图像增强步骤，使用图像增强方法，对所述感兴趣区域图像进行图像增强，得到多个训练图像数据；

建模步骤，将所述多个训练图像数据输入特定的深度卷积神经网络进行训练，从而建立分析模型；

识别步骤，所述分析模型对所述感兴趣区域图像进行分析，并根据所述分析模型的分析结果，识别所述超声图像中的特征。

2.如权利要求1所述的方法，其特征在于，所述图像增强方法是几何增强方法和奇异值分解方法。

3.如权利要求1或2所述的方法，其特征在于，所述特定的深度卷积神经网络是特定的VGGNet模型，

其中，在所述建模步骤中，将所述多个训练图像数据输入所述特定的VGGNet模型进行训练，得到多个建模参数，并根据所述多个建模参数建立所述分析模型。

4.如权利要求3所述的方法，其特征在于，对原始VGGNet模型的最后四层进行修改，得到所述特定的VGGNet模型。

5.一种用于识别超声图像中的特征的装置，其特征在于，所述装置包括：

获取单元，获取所述超声图像；

提取单元，从所述超声图像中提取出感兴趣区域图像；

图像增强单元，使用图像增强方法，对所述感兴趣区域图像进行图像增强，得到多个训练图像数据；

建模单元，将所述多个训练图像数据输入特定的深度卷积神经网络进行训练，从而建立分析模型；

识别单元，所述分析模型对所述感兴趣区域图像进行分析，并根据所述分析模型的分析结果，识别所述超声图像中的特征。

6.如权利要求5所述的装置，其特征在于，所述图像增强方法是几何增强方法和奇异值分解方法。

7.如权利要求5或6所述的装置，其特征在于，所述特定的深度卷积神经网络是特定的VGGNet模型，

其中，所述建模单元将所述多个训练图像数据输入所述特定的VGGNet模型进行训练，得到多个建模参数，并根据所述多个建模参数建立所述分析模型。

8.如权利要求7所述的装置，其特征在于，所述建模单元对原始VGGNet模型的最后四层进行修改，得到所述特定的VGGNet模型。

9.一种计算机可读的存储介质，所述存储介质具有存储在其中的指令，当所述指令被执行时，使得所述计算机执行用于识别超声图像中的特征的方法，其特征在于，所述指令包括：

获取指令，获取所述超声图像；

提取指令，从所述超声图像中提取出感兴趣区域图像；

图像增强指令，使用图像增强方法，对所述感兴趣区域图像进行图像增强，得到多个训练图像数据；

建模指令，将所述多个训练图像数据输入特定的深度卷积神经网络进行训练，从而建立分析模型；

识别指令，所述分析模型对所述感兴趣区域图像进行分析，并根据所述分析模型的分析结果，识别所述超声图像中的特征。

10.一种系统，其特征在于，包括：

存储器，用于存储由系统的一个或多个处理器执行的指令，以及

处理器，是所述系统的处理器之一，用于执行如权利要求1-4中任一项所述的用于识别超声图像中的特征的方法。

Images