CN110176002A

CN110176002A - 一种x射线图像的病灶检测方法及终端设备

Info

Publication number: CN110176002A
Application number: CN201910485114.2A
Authority: CN
Inventors: 王毅; 曹逸琴
Original assignee: Shenzhen University
Current assignee: Shenzhen University
Priority date: 2019-06-05
Filing date: 2019-06-05
Publication date: 2019-08-27
Anticipated expiration: 2039-06-05
Also published as: CN110176002B

Abstract

本发明公开了一种X射线图像的病灶检测方法及终端设备，所述方法包括：将待检测的第一X射线图像输入预设神经网络；获取预设神经网络的输出图像，并按照预设规则在所述输出图像上选取去除区域；将携带去除区域的输出图像映射至第一X射线图像，以得到第二X射线图像；将第二X射线图像输入预设神经网络，并重复获取预设神经网络的输出图像步骤直至输出图像不收敛至第一X射线图像；聚合所有输出图像以标注第一X射线图像携带的所有病灶。本发明通过在获取到目标区域后，采用方向擦除目标区域后在重新获取新的目标区域，并根据获取到所有目标区域聚合成识别图像，这样可以检测到多个目标，提高了病灶检测的准确性。

Description

一种X射线图像的病灶检测方法及终端设备

技术领域

本发明涉及医疗技术领域，特别涉及一种X射线图像的病灶检测方法及终端设备。

背景技术

胸透是许多肺部疾病最常用、最经济的影像学检查方法之一，已在全球范围内广泛应用，用于筛查包括肺癌、结核病和肺炎在内的多种疾病。目前，许多胸部疾病的大量的x射线影像研究和放射学报告在许多现代医院的影像中积累和储存存档。对放射科医生来说，阅读和诊断胸透图像可能是一项初级的工作，但事实上，它是一个复杂的推理问题，往往需要仔细观察和良好的解剖学原理、生理学和病理学知识。在临床实践中，胸部x线的分析和诊断严重依赖于至少有多年专业经验的放射科医师的专业知识，故开发一种自动检测胸片病灶区域的深度学习方法是很迫切的。

基于医学X射线胸透数据集的特点，引入深度学习解决阅读和检测胸部x光病灶区域具有很多挑战性:1)从样本中提取的不同类型的胸疾病通常具有多样化的外观,尺寸和位置，且不同胸片患者的病变区域在x射线上的表现差异很大，不同类型的肺部病变病理也很复杂；2)在胸透图像上检索大量高质量的病灶区等病灶注释的费用是无法承受的。这些费用主要来自雇用有经验的放射科医生的费用以及收集、储存和处理这些数据所需的硬件费用。因此，目前对于大多数胸部x射线图像，没有提供像素级的标注或粗糙的边框，缺乏用于模型训练的精确像素级注释。基于上述情况，胸透X光图像主要应用于运用机器学习对胸透进行分类以及仅对单目标实现强监督目标检测。而对于弱监督层面，现有的弱监督目标检测技术并不能实现精准定位，并且弱监督目标检测方法的效率低下普遍较低，其中，最快的弱监督目标检测方法的速度也只能每秒检测两帧左右。此外，目前对于医疗数据的弱监督检测为单目标，降低了目标检测的全面性。

发明内容

鉴于现有技术的不足，本发明旨在提供一种X射线图像的病灶检测方法及终端设备。

本发明所采用的技术方案如下：

一种X射线图像的病灶检测方法，其包括：

读取待检测的第一X射线图像，将所述第一X射线图像输入预设神经网络；

获取所述预设神经网络的输出图像，并按照预设规则在所述输出图像上选取去除区域；

将携带去除区域的输出图像映射至第一X射线图像，并将第一X射线图像中与所述去除区域对应的擦除区域去除，以得到第二X射线图像；

将所述第二X射线图像输入预设神经网络，并重复获取所述预设神经网络的输出图像步骤直至输出图像不收敛至第一X射线图像；

聚合所有输出图像以标注所述第一X射线图像携带的所有病灶。

所述X射线图像的病灶检测方法，其中，所述获取所述预设神经网络的输出图像，并按照预设规则在所述输出图像上选取去除区域具体包括：

读取所述预设神经网络的输出图像，并获取所述输出图像携带的标记区域；

根据预设图像阈值在所述标记区域内截取去除区域。

所述X射线图像的病灶检测方法，其中，所述将携带去除区域的输出图像映射至第一X射线图像，并将第一X射线图像中与所述去除区域对应的擦除区域去除，以得到第二X射线图像具体包括：

将携带去除区域的输出图像映射至第一X射线图像，以确定所述第一X射线图像携带的擦除区域；

获取所述第一X射线图像包含的所有像素的像素平均值，采用所述像素平均值替换所述擦除区域包含的所有像素，以去除所述擦除区域。

所述X射线图像的病灶检测方法，其中，所述读取待检测的第一X射线图像，将所述第一X射线图像输入预设神经网络具体包括：

读取待检测的第一X射线图像，并对所述第一X射线图像进行预处理，其中，所述预处理包括缩放以及色彩转换；

将预处理后的第一X射线图像输入预设神经网络。

所述X射线图像的病灶检测方法，其中，所述读取待检测的第一X射线图像，将所述第一X射线图像输入预设神经网络之前还包括：

获取由若干X射线图像构成的训练样本，并将各X射线图像缩放至预设尺寸并转换至RGB图像；

对转换得到的RGB图像进行数据增强，以得到增强训练样本；

将所述增强训练样本输入初始神经网络对所述初始神经网进行训练，以得到所述预设神经网络。

所述X射线图像的病灶检测方法，其中，所述预设神经网络包括DenseNET主干骨架以及若干依次设置的致密块，任意两个相邻的致密块之间设置有卷积池化操作SE，所述若干致密中最后一个致密块连接有多映射卷基层，所述多映射卷基层后设置有池化层。

所述X射线图像的病灶检测方法，其中，各致密块分别包括数量互不相同的卷积层，并且各卷积层的输入图像为位于其前面的卷积层的各卷积层输出的特征图按照通道维度拼接而成。

所述X射线图像的病灶检测方法，其中，所述卷积池SE用于将位于其前的致密块的输出图像按照预设规则压缩，并根据压缩得到的通道特征向量获取通道权重系数，以及采用所述通道权重系数对输入卷积池SE各通道的特征图加权。

一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的X射线图像的病灶检测方法中的步骤。

一种应用服务器，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述通信总线实现处理器和存储器之间的连接通信；

所述处理器执行所述计算机可读程序时实现如上任一所述的X射线图像的病灶检测方法中的步骤。

有益效果：与现有技术相比，本发明提供了一种X射线图像的病灶检测方法及终端设备，所述方法包括：读取待检测的第一X射线图像，将所述第一X射线图像输入预设神经网络；获取所述预设神经网络的输出图像，并按照预设规则在所述输出图像上选取去除区域；将携带去除区域的输出图像映射至第一X射线图像，以得到第二X射线图像；将所述第二X射线图像输入预设神经网络，并重复获取所述预设神经网络的输出图像步骤直至输出图像不收敛至第一X射线图像；聚合所有输出图像以标注所述第一X射线图像携带的所有病灶。本发明通过在获取到目标区域后，采用反向擦除目标区域后在重新获取新的目标区域，并根据获取到所有目标区域聚合成识别图像，这样可以检测到多个目标，提高了病灶检测的准确性。

附图说明

图1为本发明提供的X射线图像的病灶检测方法的流程图。

图2为本发明提供的X射线图像的病灶检测方法中致密块的结构原理图。

图3为本发明提供的X射线图像的病灶检测方法中卷积池化操作的流程示意图。

图4为本发明提供的X射线图像的病灶检测方法的流程示意图。

图5为本发明提供的终端设备的结构原理图。

具体实施方式

本发明提供一种X射线图像的病灶检测方法及终端设备，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

下面结合附图，通过对实施例的描述，对发明内容作进一步说明。

本实施例提供了一种X射线图像的病灶检测方法，如图1-4所示，所述方法包括：

S10、读取待检测的第一X射线图像，将所述第一X射线图像输入预设神经网络。

具体地，所述预设神经网络为预先建立用于识别X射线图像携带的病灶区域的神经网络模型。所述预设神经网络是通过采集到若干X射线图像进行预处理后得到的X射线图像为训练样本，对以DenseNet-161为主干网络的初始神经网络进行深度学习得到。相应的，所述读取待检测的第一X射线图像，将所述第一X射线图像输入预设神经网络之前还包括：

对转换得到的RGB图像进行数据增强，以得到增强训练样本；

具体地，所述将X射线图像缩放预设尺寸为将训练样本中的各X射线图像进行缩放操作，以将各X射线图像均缩放到预设尺寸，其中，所述预设尺寸为512×512。此外，在将各X射线图像缩放至预设尺寸后，将各X射线图像转换为3通道的RGB图像，并将对转换得到的3通道的RGB图像进行归一化处理，已完成对训练样本的预处理。此外，所述数据增强是对预处理后的训练样本进行扩充，以增加训练样本的数量。在本实施例中，所述数据增强的具体过程可以为：对于预处理后训练样本中的任一RGB图像，对所述RGB图像进行随机裁剪、随机水平翻转以及随机平移中的一种操作或者多个操作以得到多个RGB图像，将获取到RGB图像添加到训练样本中以扩充训练样本的数量。其中，当对RGB图像进行随机裁剪时，将裁剪得到的图像缩放预设尺寸。

同时在本实施例中，所述预设神经网络以及DenseNET-161为主干骨架，并包括若干依次设置的致密块，当输入图像输入所述预设神经网络时，输入图像依次通过若干致密块。各致密块均执行预设操作，并且每个致密块执行的预设操作的次数不同，其中，所述预设操作为BN->ReLU->1×1Conv->BN->ReLU->3×3Conv。例如，按照致密块的排列顺序，各致密块执行的次数分别为6,12,36以及24。

进一步，为复用输入图像携带的特征，在每次进行预设操作中卷积操作中，将前面每层的输出的特征图feature map按照通道channel的维度进行拼接操作。例如，假设输入的X射线图像x₀，经过L层的神经网络，第i层的非线性变换记为H_i,故L层的输入为X_l＝H_l([x₀,x₁,...,x_l-1])，其中，[]代表拼接操作，既将x₀到x_l-1层的特征图feature map按照通道channel拼接在一起，这里的非线性变换为上述的BN->ReLU->1×1Conv->BN->ReLU->3×3Conv操作。

进一步，所述若干致密块中任意两个相邻的致密块之间设置有卷积池化操作SE，所述卷积池化操作SE用于将位于其前的致密块输出的特征图转换值预设特征空间，再将转换至预设特征空间的特征图压缩至预设空间域。所述卷积池化操作SE可以得到各通道乘以权重系数的特征图，其中，所述卷积池化操作SE包括依次设置的全局池化层、第一个全连接层、第二个全连接层以及激励函数层，所述激励函数层的激励函数优选为Sigmoid函数。

同时在本实施例中，所述卷积池化操作SE包括挤压操作S以及激励操作E。所述挤压操作S的挤压过程是通过跨整个空间域的平均池化来执行全局压缩，所述挤压过程具体可以表示为：将U∈R^H×W×C作为位于其前的致密块输出的特征图，其中H×W×C为维数；将特征图U通过卷积核操作形成1×1×C维长度的通道特征向量，即将空间维度上的特征映射进行聚合以得到全局信息。所压缩后的通道特征向量z的第c个元素可以表示为：

其中，H为高，W为宽，u^c代表第c通道channel的特征图feature map。

进一步，所述激励操作E的激励过程是利用从压缩的得到的通道特征向量中得到的通道权重系数对特征图重新加权。在本实施例中，采用self-gating机制,基于非线性整流单元ReLU和Sigmoid激励函数，输出通道的权重系数,通道的权重系数的表达式可以为

s＝σ(W₂×ReLU(W₁×z))

其中，s∈R^C，σ是特征重校准的权重系数，W₁是经过第一个全连接层得到的权重，W₂是经过第二个全连接层得到的权重,r是为预设的比例参数。

进一步，所述若干致密中最后一个致密块连接有多映射卷基层Multi-map Layer，所述多映射卷基层用将最后一个致密块输出的输出图像转换我每一类疾病的M个独立特征图，其中M表示每一类疾病的特征图，C表示类的个数，该传输层将得到大小为w×h×MC的特征图，当M＝1时，将其简化为C类的标准分类输出。所述标准分类输出是通过图像级标签学习，传输层保持空间分辨率，所述w和h表示该传输层输出的图像的宽和高，优选地，所述w＝W/16，h＝H/16。

进一步，所述Multi-map Layer之后设置有两个池化层，分别为class-wiseaverage-pooling和spatial max-min pooling两阶段的池化层，通过两个池化层聚合每一疾病类别的特征地图上的信息，首先使用class-wise average-pooling将传输层得到feature map的维度由w×h×MC转换成w×h×C；再用spatial max-minpooling提取空间域信息，spatial max-min pooling是线性组合的，表示如下：

其中，表示的是由class-wise average-pooling得到的特征图，k⁺表示的是中最高响应，反之亦然。

此外，所述两个池化层中位于最后一个的池化层后设置有第三全连接层，通过所述第三全连接层进行分类预测并使用二元交叉熵作为目标函数来训练初始神经网络，以得到预设神经网络。

同时在本实施例中，由于预设神经网络的输入图像为经过预处理的X射线图像，相应的，所述读取待检测的第一X射线图像，将所述第一X射线图像输入预设神经网络具体包括：

将预处理后的第一X射线图像输入预设神经网络。

其中，所述预处理与预设神经网络的训练样本中各X射线图像的预处理方式相同，这里就不一一赘述。所述第一X射线图像优选为胸部X射线图。

S20、获取所述预设神经网络的输出图像，并按照预设规则在所述输出图像上选取去除区域。

具体地，所述去除区域为所述输出图像携带的区域，并且所述区域为通过预设神经网络识别得到的去除区域的部分，在本实施例中，所述预设规则为阈值化方法，即在预设神经网络的输出图像的标记区域按照预设阈值来确定去除区域的区域大小，并在标记区域选取所述区域大小的图像作为去除区域。

示例性地，所述获取所述预设神经网络的输出图像，并按照预设规则在所述输出图像上选取去除区域具体包括：

根据预设图像阈值在所述标记区域内截取去除区域。

具体地，所述获取所述输出图像携带的标记区域可以采用用分类激活映射(classification activation maps,CAM)方法为输出图像携带的病灶区域进行标号以生成根输出图像对应的热图H_t。在获取到热图H_t采用根据预设阈值在热图中选取去除区域，并在获取到去除区域后将所述去除区域去除。其中，所述去除区域可以根据标号按照标号最小原则选取。

S30、将携带去除区域的输出图像映射至第一X射线图像，并将第一X射线图像中与所述去除区域对应的擦除区域去除，以得到第二X射线图像。

具体地，所述擦除区域为在将输出图像映射至第一X射线图像时，与所述去除区域相对应的区域。即所述擦除区域为第一X射线图像中需要被去除的区域，在获取到所述擦除区域后，采用像素替换的方式去除所述擦除区域。其中，所述像素替换的方式为采用预设像素值替换擦除区域包含的各像素点的像素值。所述预设像素值可以为预先设置的固定值，也可以是根据第一X射线图像获取到，以避免去除区域与第一X射线图像产生反差而影响预设神经网络的识别效果。相应的，所述将携带去除区域的输出图像映射至第一X射线图像，并将第一X射线图像中与所述去除区域对应的擦除区域去除，以得到第二X射线图像具体包括：将携带去除区域的输出图像映射至第一X射线图像，以确定所述第一X射线图像携带的擦除区域；获取所述第一X射线图像包含的所有像素的像素平均值，采用所述像素平均值替换所述擦除区域包含的所有像素，以去除所述擦除区域。

S40、将所述第二X射线图像输入预设神经网络，并重复获取所述预设神经网络的输出图像步骤直至输出图像不收敛至第一X射线图像。

具体地，在获取到第二X射线图像后，将第二X射线图像输入值预设神经网络以得到第二X射线图像对应的输出图像。所述输出图像不收敛至第一X射线图像指的是输出图像中未含有识别区域可以进行分类。

S50、聚合所有输出图像以标注所述第一X射线图像携带的所有病灶。

具体地，所述将所有输出图像聚合指的是将所有输出图像进行聚合，这样可以将第一X射线图像携带的各中病灶标注出来，从而实现了多目标检测。

基于上述X射线图像的病灶检测方法，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述所述的X射线图像的病灶检测方法中的步骤。

基于上述X射线图像的病灶检测方法，本发明还提供了一种终端设备，如图5所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。

此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。

存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种X射线图像的病灶检测方法，其特征在于，其包括：

2.根据权利要求1所述X射线图像的病灶检测方法，其特征在于，所述获取所述预设神经网络的输出图像，并按照预设规则在所述输出图像上选取去除区域具体包括：

根据预设图像阈值在所述标记区域内截取去除区域。

3.根据权利要求2所述X射线图像的病灶检测方法，其特征在于，所述将携带去除区域的输出图像映射至第一X射线图像，并将第一X射线图像中与所述去除区域对应的擦除区域去除，以得到第二X射线图像具体包括：

4.根据权利要求1所述X射线图像的病灶检测方法，其特征在于，所述读取待检测的第一X射线图像，将所述第一X射线图像输入预设神经网络具体包括：

将预处理后的第一X射线图像输入预设神经网络。

5.根据权利要求1所述X射线图像的病灶检测方法，其特征在于，所述读取待检测的第一X射线图像，将所述第一X射线图像输入预设神经网络之前还包括：

对转换得到的RGB图像进行数据增强，以得到增强训练样本；

6.根据权利要求1-5任一所述X射线图像的病灶检测方法，其特征在于，所述预设神经网络包括DenseNET主干骨架以及若干依次设置的致密块，任意两个相邻的致密块之间设置有卷积池化操作SE，所述若干致密中最后一个致密块连接有多映射卷基层，所述多映射卷基层后设置有池化层。

7.根据权利要求6所述X射线图像的病灶检测方法，其特征在于，各致密块分别包括数量互不相同的卷积层，并且各卷积层的输入图像为位于其前面的卷积层的各卷积层输出的特征图按照通道维度拼接而成。

8.根据权利要求6所述X射线图像的病灶检测方法，其特征在于，所述卷积池SE用于将位于其前的致密块的输出图像按照预设规则压缩，并根据压缩得到的通道特征向量获取通道权重系数，以及采用所述通道权重系数对输入卷积池SE各通道的特征图加权。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1～8任意一项所述的X射线图像的病灶检测方法中的步骤。

10.一种应用服务器，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述通信总线实现处理器和存储器之间的连接通信；

所述处理器执行所述计算机可读程序时实现如权利要求1-8任意一项所述的X射线图像的病灶检测方法中的步骤。