CN112560778B - Dr图像身体部位识别方法、装置、设备及可读存储介质 - Google Patents

Abstract

本申请涉及一种DR图像身体部位识别方法、装置、设备及可读存储介质，属于医学影像的技术领域，其方法包括：通过DenseNet网络构建神经网络模型；对所述神经网络模型进行训练，得到训练好的神经网络模型；获取待识别DR图像；对所述待识别DR图像进行预处理；将预处理后的待识别DR图像输入训练好的神经网络模型进行身体部位识别，输出识别结果。本申请能够提高DR图像身体部位识别的准确率。

Description

DR图像身体部位识别方法、装置、设备及可读存储介质

技术领域

本申请涉及医学影像的技术领域，尤其是涉及一种DR图像身体部位识别方法、装置、设备及可读存储介质。

背景技术

随着现代医学技术的发展，数字X线摄影术(digital radiography，DR)应运而生。DR是在数字荧光摄影(digital fluorography，DF)基础上发展的，它以影像增强管为信息载体，接受透过人体的X线信息，经视频摄像机采集后转换为数字信号，直接将X线光子转换为数字化图像，能够快速地对疾病做出判断，已广泛的运用于现代临床医学之中。

目前，DR摄影一般具有预曝光和正式曝光两个阶段。在预曝光阶段，采用低剂量拍摄图像，对预曝光得到的图像的拍摄部位进行识别，并根据拍摄部位对曝光参数(例如KV、mA、mAs等)进行优化，然后根据优化后的曝光参数进行正式曝光，对正式曝光得到的图像的拍摄部位进行识别，选择对应的图像处理参数，对拍摄图像进行图像处理，以得到最终的DR图像。

然而，现有的识别方法并不能准确地识别拍摄部位，导致调取错误的曝光参数、图像处理参数，使呈现给临床医生的图像结果质量存在偏差，进而影响最终的诊断结果。

发明内容

为了提高DR图像身体部位识别的准确率，本申请提供一种DR图像身体部位识别方法、装置、设备及可读存储介质。

第一方面，本申请提供一种DR图像身体部位识别方法，采用如下的技术方案：

一种DR图像身体部位识别方法，包括：

通过DenseNet网络构建神经网络模型；

对所述神经网络模型进行训练，得到训练好的神经网络模型；

获取待识别DR图像；

对所述待识别DR图像进行预处理；

将预处理后的待识别DR图像输入训练好的神经网络模型进行身体部位识别，输出识别结果。

可选的，所述对所述待识别DR图像进行预处理，包括：

获取所述待识别DR图像的待识别区域；

对所述待识别区域进行归一化处理；

对归一化处理后的待识别区域进行数据增强处理，输出所述预处理后的待识别DR图像。

可选的，所述获取所述待识别DR图像的待识别区域，包括：

获取所述待识别DR图像的感兴趣区域；

对所述感兴趣区域进行N等分，得到N个等分区域；

分别对每个等分区域取最大灰度值和最小灰度值；

对所有最大灰度值求取平均值E，并对所有最小灰度值求取平均值F；

将区间[F,E]作为窗宽，并将(E+F)/2作为窗位，对所述感兴趣区域进行窗宽窗位变换，得到第一图像；

将所述第一图像输入unet网络进行特征提取，输出第二图像，并将所述第二图像作为所述待识别区域。

可选的，所述神经网络模型中当前网络层的输出的计算公式为：

h_θ(x)＝θ₀+θ₁x₁+θ₂x₂+…+θ_nx_n；

激活函数的公式为：

f(x)＝max(0,x)。

可选的，所述对所述神经网络模型进行训练，得到训练好的神经网络模型，包括：

获取训练集；

将所述训练集输入所述神经网络模型；

构建损失函数；

利用梯度下降算法对所述神经网络模型的网络节点参数进行优化，使所述损失函数的值最小，得到最优的网络节点参数；

利用所述最优的网络节点参数更新所述神经网络模型，得到所述训练好的神经网络模型。

可选的，所述损失函数的公式为：

式中，m为训练集中数据个数，h_θ(x)为预测输出，y为实际输出。

可选的，在所述将预处理后的待识别DR图像输入训练好的神经网络模型进行身体部位识别，输出识别结果之后，还包括：

若所述识别结果与预设部位不同，则生成告警信息。

第二方面，本申请提供一种DR图像身体部位识别装置，采用如下的技术方案：

一种DR图像身体部位识别装置，包括：

模型构建模块，用于通过DenseNet网络构建神经网络模型；

模型训练模块，用于对所述神经网络模型进行训练，得到训练好的神经网络模型；

图像获取模块，用于获取待识别DR图像；

预处理模块，用于对所述待识别DR图像进行预处理；

识别模块，用于将预处理后的待识别DR图像输入训练好的神经网络模型进行身体部位识别，输出识别结果。

第三方面，本申请提供一种电子设备，采用如下的技术方案：

一种电子设备，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行上述任一种DR图像身体部位识别方法的计算机程序。

第四方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：

一种计算机可读存储介质，存储有能够被处理器加载并执行上述任一种DR图像身体部位识别方法的计算机程序。

通过采用上述技术方案，基于DenseNet网络构建神经网络模型，不需要学习冗余特征，可以改善整个网络中的information flow和梯度，使得训练更为容易，密集连接具有正则化效果，能降低训练集size较小的任务的过拟合现象，能够应用于DR系统的预曝光和正式曝光阶段，可以快速、准确地识别当前拍摄的身体部位，有助于提高最终的DR图像成像质量。

附图说明

图1是本申请实施例提供的DR图像身体部位识别方法的流程示意图。

图2是本申请实施例的步骤S200中各子步骤的流程示意图。

图3是本申请实施例的步骤S400中各子步骤的流程示意图。

图4是本申请实施例的步骤S410中各子步骤的流程示意图。

图5是本申请实施例中对感兴趣区域进行四等分的示意图。

图6是本申请实施例提供的DR图像身体部位识别装置的结构框图。

图7是本申请实施例提供的电子设备的结构框图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

图1为本实施例提供的一种DR图像身体部位识别方法的流程示意图。如图1所示，该方法的主要流程描述如下(步骤S100～S500)：

步骤S100，通过DenseNet网络构建神经网络模型；

本申请实施例提出了一种激进的密集连接机制，为了能够保证前馈的特性，每一层将之前所有层的输入进行拼接，之后将输出的特征图传递给之后的所有层。每个层都会与前面所有层在channel维度上连接(concat)在一起，并作为下一层的输入。对于一个L层的网络，共包含

个连接，这是一种密集连接。直接concat来自不同层的特征图，可以实现特征重用，提升效率。

传统的网络在L层的输出公式为：

x_l＝H_l(x_l-1)；

而对于ResNet，增加了来自上一层输入的identity函数：

x_l＝H_l(x_l-1)+x_l-1；

连接前面所有层作为输入：

x_l＝H_l([x₀,x₁,x₂,.....,x_l-1])；

H_l(.)代表非线性转换函数，是一个组合操作，其可能包括一系列的BN(BatchNormalization)、ReLU、Pooling及Conv操作。

CNN网络一般要经过Pooling或者stride>1的Conv来降低特征图的大小，密集连接方式需要特征图大小保持一致。为了解决这个问题，网络中使用CNNBlock+Transition的结构，其中，CNNBlock是包含很多层的模块，每个层的特征图大小相同，层与层之间采用密集连接方式。而Transition模块是连接两个相邻的CNNBlock，并且通过Pooling使特征图大小降低。

拆解大卷集核，大核卷积可由多层小卷积核替代实现，不仅可以减少参数，还能加深网络深度，以实现网络容量和复杂度。

其中，部分平均池化替代1x1卷积做下采样，实验对比到使用kernelsize为1×1，stride为2的参数减少了输入特征图的四分之三，可以减少网络参数并减少信息损失。

神经网络模型中当前网络层的输出的计算公式为：

h_θ(x)＝θ₀+θ₁x₁+θ₂x₂+…+θ_nx_n；

激活函数的公式为：

f(x)＝max(0,x)；

与sigmod函数与tanh函数相比，该激活函数可以克服梯度消失的问题。

与传统CNNs相比，DenseNet网络参数更少(尽管看上去相反)，因为其不需要学习冗余特征，改善了整个网络中的information flow和梯度，使得训练更为容易；密集连接具有正则化效果，能降低训练集size较小的任务的过拟合现象。

步骤S200，对神经网络模型进行训练，得到训练好的神经网络模型；

如图2所示，步骤S200包括以下子步骤：

步骤S210，获取训练集；

步骤S220，将训练集输入神经网络模型；

步骤S230，构建损失函数，其公式如下：

式中，m为训练集中数据个数，h_θ(x)为预测输出，y为实际输出。

步骤S240，利用梯度下降算法对神经网络模型的网络节点参数进行优化，使损失函数的值最小，得到最优的网络节点参数；

具体的，可以采用随机梯度下降算法或者批量梯度下降算法。批量梯度下降算法每次更新的时候会计算训练集中所有条数据；与批梯度下降算法不同，随机梯度下降算法每次更新的时候不需要计算训练集中所有条数据，而是每加入一条数据就更新一次。

采用随机梯度算法对神经网络模型进行优化，则要使损失函数最小，可以使损失函数按照它下降速度最快的地方减小，因此，需要在此列出损失函数的求导公式：

步骤S250，利用最优的网络节点参数更新神经网络模型，得到训练好的神经网络模型。

步骤S300，获取待识别DR图像；

本实施例所述DR图像是通过DR系统，即直接数字化X射线摄影系统，直接将X线光子通过电子暗盒转换为数字化图像。

步骤S400，对待识别DR图像进行预处理；

如图3所示，步骤S400包括以下子步骤：

步骤S410，获取待识别DR图像的待识别区域；

在DR图像中，用于观察人体器官和部位的窗口宽度和窗口水平通常是固定的，但是有时很多图像信息并不是特别全，此时需要调整窗宽窗位，以获取完整图像信息。因此需要设计一种自适应调整窗口宽度和窗口级别的算法，能够准确快速地获取待识别DR图像的待识别区域。

如图4所示，步骤S410包括以下子步骤：

步骤S411，获取待识别DR图像的感兴趣区域；

为了减少图像边缘嘈杂信息的干扰，可以通过预先设定的裁切区间对图像进行裁切，找到对应拍摄身体部位的感兴趣区域。该裁切区间可由经验总结得出，DR原图的高、宽各1/4至3/4的区间一般能够包含拍摄身体部位的全部重要特征，因此，可按照该区间对原图进行裁切，得到感兴趣区域。

步骤S412，对感兴趣区域进行N等分，得到N个等分区域；

N等分是指将感兴趣区域分割成N个尺寸大小相同的区域，N为整数且N≥2。

步骤S413，分别对每个等分区域取最大灰度值和最小灰度值；

步骤S414，对所有最大灰度值求取平均值E，并对所有最小灰度值求取平均值F；

步骤S415，将区间[F,E]作为窗宽，并将(E+F)/2作为窗位，对感兴趣区域进行窗宽窗位变换，得到第一图像；

窗宽窗位的作用是为了最大程度展现图像的内容，而在图像的灰度域上能够反映这种程度的工具是图像灰度值的累积分布函数，所以想要设计合理的窗宽窗位计算算法，就需要基于图像灰度值的累积分布函数。

下面以对感兴趣区域进行四等分为例对计算窗宽窗位进行具体说明。

图5示出了对感兴趣区域进行四等分的示意图。如图5所示，以感兴趣区域高、宽中点进行分割，得到A、B、C、D四个尺寸大小相同的图像区域。然后计算区域A的最大灰度值MAX1和最小灰度值MIN1，区域B的最大灰度值MAX2和最小灰度值MIN2，区域C的最大灰度值MAX3和最小灰度值MIN3，区域D的最大灰度值MAX4和最小灰度值MIN4，再计算MAX1、MAX2、MAX3和MAX4的平均值E，计算MIN1、MIN2、MIN3和MIN4的平均值F。最后，[F,E]、(E+F)/2作即为窗宽、窗位。

步骤S416，将第一图像输入unet网络进行特征提取，输出第二图像，并将第二图像作为待识别区域。

上述方法的普适性比较好，能够在不引入其他算法、有干扰的情况下，尽可能地得到合理的窗宽窗位。通过unet网络进行图像特征提取的方法为常规算法，此处不再赘述。

一些实施例中，在步骤S416之后，还需要计算第二图像的窗宽和窗位，对第二图像进行窗宽窗位变换，得到第三图像，并将第三图像作为待识别区域。

窗宽窗位变换是指通过窗宽窗位将大于8bit的灰度信息映射到8bit的处理。具体的，将第二图像位于窗宽窗位确定的灰度区间内的像素转换成8bit的灰度值(即0-255)，将小于区间下限值的转换为0，将大于区间上限值的转换为255，这样就得到一幅灰度范围为[0，255]的8bit图像，即第三图像，可直接通过普通显示设备上显示。

步骤S420，对待识别区域进行归一化处理；

步骤S430，对归一化处理后的待识别区域进行数据增强处理，输出预处理后的待识别DR图像。

步骤S430中，可采用缩放、反转、扭曲、调整图像对比、旋转角度等方式对归一化处理后的待识别区域进行数据增强。

数据增强在某方面可以使模型更集中地观测总的普遍模式的数据，而消除某些与普遍模式无关的数据，带来某种正则化作用，减小模型的结构风险。

由于图像数值间的差别可能很大，如果不进行处理，可能会影响计算分析的结果。为了消除图像之间的取值范围差异的影响，需要进行标准化处理，将数据按照比例进行缩放，使之落入一个特定的区域，便于进行综合分析。因此，一些实施例中，还需要在归一化和数据增强处理之间增加标准化处理，即对归一化处理后的待识别区域进行标准化处理，并对标准化处理后的待识别区域进行数据增强处理，输出预处理后的待识别DR图像。

具体的，可以采用零-均值规范化，经过处理的数据的均值为0，标准差为1，其转化公式为：

式中，x^*为原始数据的标准差，

为原始数据的均值，σ为原始数据的均方差。

步骤S500，将预处理后的待识别DR图像输入训练好的神经网络模型进行身体部位识别，输出识别结果。

上述DR图像身体部位识别方法可应用于DR系统的预曝光阶段和/或正式曝光阶段，可以提高各曝光阶段对拍摄部位识别的准确度，进而获取适宜的曝光参数和/或图像处理参数，进而得到成像质量高的DR图像，特别是对于当前确诊、防治新型冠状肺炎具有重大意义。

当应用于正式曝光阶段时，如果输出的识别结果与预设部位不同，则需要生成告警信号，以提醒工作人员拍摄部位有误，需及时核实拍摄部位，防止发生错漏。其中，告警信号可以是但不限于语音、声光、短信等提醒方式。

为了更好地实施以上方法，本申请实施例提供了一种DR图像身体部位识别装置600。

图6为本申请实施例提供的一种DR图像身体部位识别装置600的结构框图，如图6所示，DR图像身体部位识别装置600主要包括：

模型构建模块601，用于通过DenseNet网络构建神经网络模型；

模型训练模块602，用于对神经网络模型进行训练，得到训练好的神经网络模型；

图像获取模块603，用于获取待识别DR图像；

预处理模块604，用于对待识别DR图像进行预处理；

识别模块605，用于将预处理后的待识别DR图像输入训练好的神经网络模型进行身体部位识别，输出识别结果。

本申请实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。

本申请实施例提供的方法中的各种变化方式和具体实例同样适用于本实施例的一种DR图像身体部位识别装置，通过前述对DR图像身体部位识别方法的详细描述，本领域技术人员可以清楚的知道本实施例中的DR图像身体部位识别装置的实施方法，为了说明书的简洁，在此不再详述。

图7为本申请实施例提供的一种电子设备的结构框图。电子设备700可以是手机、平板电脑、PC机、服务器等设备。如图7所示，电子设备700包括存储器701和处理器702。

其中，存储器701可用于存储指令、程序、代码、代码集或指令集。存储器701可以包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令以及用于实现上述实施例提供的DR图像身体部位识别方法的指令等；存储数据区可存储上述实施例提供的DR图像身体部位识别方法中涉及到的数据等。

处理器702可以包括一个或者多个处理核心。处理器702通过运行或执行存储在存储器701内的指令、程序、代码集或指令集，调用存储在存储器701内的数据，执行本申请的各种功能和处理数据。处理器702可以为特定用途集成电路(Application SpecificIntegrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(ProgrammableLogic Device，PLD)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器和微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器702功能的电子器件还可以为其它，本申请实施例不作具体限定。

本申请实施例提供一种计算机可读存储介质，存储有能够被处理器加载并执行如上述实施例提供的DR图像身体部位识别方法的计算机程序。

本实施例中，计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意组合。具体的，计算机可读存储介质可以是便携式计算机盘、硬盘、U盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、讲台随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、光盘、磁碟、机械编码设备以及上述任意组合。

本实施例中的计算机程序包含用于执行图1所示的方法的程序代码，程序代码可包括对应执行上述实施例提供的方法步骤对应的指令。计算机程序可从计算机可读存储介质下载到各个计算/处理设备，或者通过网络(例如因特网、局域网、广域网和/或无线网)下载到外部计算机或外部存储设备。计算机程序可完全地在用户计算机上执行、作为一个独立的软件包执行。

另外，需要理解的是，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (7)

1.一种DR图像身体部位识别方法，其特征在于，所述方法应用于DR系统的预曝光阶段和/或正式曝光阶段，包括：

通过DenseNet网络构建神经网络模型；

对所述神经网络模型进行训练，得到训练好的神经网络模型；

获取待识别DR图像；

对所述待识别DR图像进行预处理；

将预处理后的待识别DR图像输入训练好的神经网络模型进行身体部位识别，输出识别结果；

所述对所述待识别DR图像进行预处理，包括：

获取所述待识别DR图像的待识别区域；

对所述待识别区域进行归一化处理；

对归一化处理后的待识别区域进行数据增强处理，输出所述预处理后的待识别DR图像；

所述获取所述待识别DR图像的待识别区域，包括：

获取所述待识别DR图像的感兴趣区域；按照所述待识别DR图像的高、宽各1/4至3/4的区间对所述待识别DR图像进行裁切，得到所述感兴趣区域；

对所述感兴趣区域进行N等分，得到N个等分区域；

分别对每个等分区域取最大灰度值和最小灰度值；

对所有最大灰度值求取平均值E，并对所有最小灰度值求取平均值F；

将区间[F,E]作为窗宽，并将(E+F)/2作为窗位，对所述感兴趣区域进行窗宽窗位变换，得到第一图像；

将所述第一图像输入unet网络进行特征提取，输出第二图像；

对所述第二图像进行窗宽窗位变换，得到第三图像，将所述第三图像作为所述待识别区域；

在所述将预处理后的待识别DR图像输入训练好的神经网络模型进行身体部位识别，输出识别结果之后，还包括：

若所述识别结果与预设部位不同，则生成告警信息。

2.根据权利要求1所述的方法，其特征在于，所述神经网络模型中当前网络层的输出的计算公式为：

h_θ(x)＝θ₀+θ₁x₁+θ₂x₂+…+θ_nx_n；

激活函数的公式为：

f(x)＝max(0,x)。

3.根据权利要求2所述的方法，其特征在于，所述对所述神经网络模型进行训练，得到训练好的神经网络模型，包括：

获取训练集；

将所述训练集输入所述神经网络模型；

构建损失函数；

利用梯度下降算法对所述神经网络模型的网络节点参数进行优化，使所述损失函数的值最小，得到最优的网络节点参数；

利用所述最优的网络节点参数更新所述神经网络模型，得到所述训练好的神经网络模型。

4.根据权利要求3所述的方法，其特征在于，所述损失函数的公式为：

式中，m为训练集中数据个数，h_θ(x)为预测输出，y为实际输出。

5.一种DR图像身体部位识别装置，其特征在于，所述装置应用于DR系统的预曝光阶段和/或正式曝光阶段，包括：

模型构建模块，用于通过DenseNet网络构建神经网络模型；

模型训练模块，用于对所述神经网络模型进行训练，得到训练好的神经网络模型；

图像获取模块，用于获取待识别DR图像；

预处理模块，用于对所述待识别DR图像进行预处理；

识别模块，用于将预处理后的待识别DR图像输入训练好的神经网络模型进行身体部位识别，输出识别结果；若识别模块所述识别结果与预设部位不同，则生成告警信息；

所述预处理模块具体用于按照所述待识别DR图像的高、宽各1/4至3/4的区间对所述待识别DR图像进行裁切，得到感兴趣区域；对所述感兴趣区域进行N等分，得到N个等分区域；分别对每个等分区域取最大灰度值和最小灰度值；对所有最大灰度值求取平均值E，并对所有最小灰度值求取平均值F；将区间[F,E]作为窗宽，并将(E+F)/2作为窗位，对所述感兴趣区域进行窗宽窗位变换，得到第一图像；将所述第一图像输入unet网络进行特征提取，输出第二图像；对所述第二图像进行窗宽窗位变换，得到第三图像，将所述第三图像作为待识别区域；对所述待识别区域进行归一化处理；对归一化处理后的待识别区域进行数据增强处理，输出所述预处理后的待识别DR图像。

6.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如权利要求1至4中任一种方法的计算机程序。

7.一种计算机可读存储介质，其特征在于，存储有能够被处理器加载并执行如权利要求1至4中任一种方法的计算机程序。

Images