CN118095391A - 用于识别医学图像的神经网络的训练方法及系统 - Google Patents

Abstract

本申请公开一种用于识别医学图像的神经网络的训练方法及系统、识别医学图像的系统、医疗设备、计算机可读存储介质、以及计算机程序产品，所述训练方法包括以下步骤：将X光样本图像和CT样本图像输入一图像增强网络得到特征增强图像；其中，所述特征增强图像包括所述CT样本图像的图像信息和所述X光样本图像的图像信息；所述CT样本图像是根据与所述X光样本图像对应的CT三维数据得到的；将所述特征增强图像输入一分类网络以得到识别结果；根据所述识别结果和所述X光样本图像中的预设标签，调整所述神经网络的模型参数，直至达到训练停止条件。

Description

用于识别医学图像的神经网络的训练方法及系统

技术领域

本申请涉及图像识别技术领域，具体涉及一种用于识别医学图像的神经网络的训练方法及系统、识别医学图像的系统、医疗设备、计算机可读存储介质、以及计算机程序产品。

背景技术

在传统的临床诊断中，由于患者在拍摄X光图像时受到的辐射量比拍摄CT图像时受到的辐射量小，即拍摄X光图像对患者身体的影响较小，所以医生通常根据患者的X光图像和自己的经验判断患者是否患有相关疾病(例如肺部疾病)。但是，医生在实际的阅片过程中，手动阅片耗时较长，同时对医生的资质和经验也有较高要求，如果医生资质和经验不足往往会导致不必要的过度诊断，例如在误诊后患者需要进一步的侵入性的活检、穿刺等。

因此，亟需一种可进行自动检测预设疾病的图像特征的模型，能够直接利用X光图像来准确高效地确定X光图像中是否包括预设疾病的图像特征，以提高疾病识别的准确率和效率，进而降低医生的工作量以及降低对医生的资质和经验的要求。所以，如何训练得到能准确高效地识别出X光图像中是否具有预设疾病的图像特征的神经网络模型是亟待解决的技术问题。

发明内容

鉴于以上所述相关技术的缺点，本申请的目的在于提供一种用于识别医学图像的神经网络的训练方法及系统、识别医学图像的系统、医疗设备、计算机可读存储介质、以及计算机程序产品，以解决如何训练得到能准确高效地识别出X光图像中是否具有预设疾病的图像特征的神经网络模型的技术问题。

为实现上述目的及其他相关目的，本申请第一方面提供一种用于识别医学图像的神经网络的训练方法，所述训练方法包括以下步骤：将X光样本图像和CT样本图像输入一图像增强网络得到特征增强图像；其中，所述特征增强图像包括所述CT样本图像的图像信息和所述X光样本图像的图像信息；所述CT样本图像是根据与所述X光样本图像对应的CT三维数据得到的；将所述特征增强图像输入一分类网络以得到识别结果；根据所述识别结果和所述X光样本图像中的预设标签，调整所述神经网络的模型参数，直至达到训练停止条件。

本申请第二方面提供一种用于识别医学图像的神经网络的训练系统，包括：融合模块，用于将X光样本图像和CT样本图像输入一图像增强网络得到特征增强图像；其中，所述特征增强图像包括所述CT样本图像的图像信息和所述X光样本图像的图像信息；所述CT样本图像是根据与所述X光样本图像对应的CT三维数据得到的；检测模块，用于将所述特征增强图像输入一分类网络以得到识别结果；调整模块，用于根据所述识别结果和所述X光样本图像中的预设标签，调整所述神经网络的模型参数，直至达到训练停止条件。

本申请第三方面提供一种识别医学图像的系统，所述识别系统包括：获取模块，用于获取待识别的X光图像；识别模块，用于将所述待识别的X光图像输入由本申请第一方面公开的任一实施例所述的神经网络的训练方法训练得到的神经网络中，以得到所述神经网络输出的识别结果。

本申请第四方面提供一种医疗设备，包括：读取模块，用于读取待识别的X光图像；存储模块，用于存储由本申请第一方面公开的任一实施例所述的神经网络的训练方法训练得到的神经网络；识别模块，与所述读取模块及存储模块相连，用于将读取的所述待识别的X光图像输入所述神经网络中，以得到所述神经网络输出的识别结果；输出模块，与所述识别模块相连，用于向外输出所述识别结果。

本申请第五方面提供一种计算机设备，包括：存储装置，用于存储至少一个程序；处理装置，与所述存储装置相连，用于自所述存储装置中调用所述至少一个程序并执行时实现如本申请第一方面公开的任一实施例所述的神经网络的训练方法。

本申请第六方面提供一种计算机可读存储介质，存储至少一种程序，所述至少一种程序在被调用时执行并实现如本申请第一方面公开的任一实施例所述的神经网络的训练方法。

本申请第七方面提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如本申请第一方面公开的任一实施例所述的神经网络的训练方法。

综上所述，本申请提供的用于识别医学图像的神经网络的训练方法及系统、识别医学图像的系统、医疗设备、计算机可读存储介质、以及计算机程序产品，通过设计串联的图像特征增强网络和分类网络，使得在神经网络的训练过程中可以先利用图像特征增强网络得到通过CT图像特征增强的特征增强图像，进而利用特征增强图像来训练分类网络对X光样本图像的分类。如此，可以使得训练完成的神经网络仅利用待识别的X光图像即可准确高效地识别出待识别的X光图像中是否存在预设疾病的图像特征，既提高了识别的准确率又降低了对患者身体的影响。

附图说明

本申请所涉及的具体特征如所附权利要求书所显示。通过参考下文中详细描所述的示例性实施方式和附图能够更好地理解本申请所涉及发明的特点和优势。对附图简要说明如下：

图1显示为本申请在一实施例中的神经网络的训练方法的流程示意图。

图2显示为本申请的神经网络的训练方法中的步骤S100在一实施例中的流程示意图。

图3显示为本申请的神经网络的训练方法中的步骤S100在另一实施例中的流程示意图。

图4显示为本申请在一实施例中模拟虚拟相机发射的透视光线的示意图。

图5显示为本申请在一实施例中的X光样本图像的示意图。

图6显示为本申请在一实施例中的特征增强图像的示意图。

图7显示为本申请在一实施例中的神经网络的网络架构示意图。

图8显示为本申请在一实施例中的神经网络的训练系统的结构框图。

图9显示为本申请在一实施例中的识别医学图像的系统的结构框图。

图10显示为本申请在一实施例中医疗设备的结构框图。

图11显示为本申请在一实施例中的计算机设备的结构示意图。

具体实施方式

以下由特定的具体实施例说明本申请的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本申请的其他优点及功效。

下面结合附图及具体实施方式对本申请作进一步详细的说明。对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本说明书全文所提到的“一种实施方式”、“实施方式”或类似的措辞意味着与实施方式一起描述的特定的特征、结构或特点包括在本申请的至少一种实施方式中。因此，在本说明书全文中，短语“在一种实施方式中”、“在实施方式中”及类似措辞的出现可(但未必)涉及同一实施方式。

如背景技术中所述，拍摄X光图像对患者身体的影响较小，但是，目前神经网络基于X光图像识别疾病特征的准确率不高。CT图像中包括人体更丰富的信息，利用CT图像进行识别可提高疾病特征识别的准确率，但是，拍摄CT图像时又会对患者身体产生较大的影响。

鉴于此，在本申请提供的一些实施例中公开了一种用于识别医学图像的神经网络的训练方法及系统、识别医学图像的系统、医疗设备、计算机可读存储介质、以及计算机程序产品，通过设计串联的图像特征增强网络和分类网络，使得在神经网络的训练过程中可以先利用图像特征增强网络得到通过CT图像特征增强的特征增强图像，进而利用特征增强图像来训练分类网络对X光样本图像的分类。如此，可以使得训练完成的神经网络仅利用待识别的X光图像即可准确高效地识别出待识别的X光图像中是否存在预设疾病的图像特征，既提高了识别的准确率又降低了对患者身体的影响。

其中，训练完成的所述神经网络是用于识别医学图像中是否包含预设疾病的疾病特征的神经网络。所述医学图像是指反映人体组织的图像，其可例如为由医学成像设备对人体或人体某部分直接摄取的图像，也可为对医学成像设备摄取的图像进行进一步地处理而得到的图像。所述预设疾病包括但不限于肺部、胸腔、纵隔及肋骨、锁骨等位置的疾病。在一示例中，所述医学图像为X光图像，例如，所述医学图像为用于检测肺结核的X光图像。

本申请在一些实施例中提供一种用于识别医学图像的神经网络的训练方法，所述神经网络的训练方法可由配置有用于识别医学图像的神经网络的训练系统的计算机设备执行。用于识别医学图像的神经网络的训练系统为一种可对数据进行处理的软件工具或软件模块，其借助计算机设备中的硬件装置以及操作系统所提供的运行环境，对数据进行处理。

请参阅图1，显示为本申请在一实施例中的神经网络的训练方法的流程示意图。如图所示，所述神经网络的训练方法包括步骤S110、步骤S120、以及步骤S130。以下以神经网络的训练方法由一计算机设备执行为例进行各实施例的说明。

在步骤S110中，所述计算机设备将X光样本图像和CT样本图像输入一图像增强网络得到特征增强图像。

在一实施例中，所述神经网络的训练方法在每次迭代训练所述神经网络时所使用的X光样本图像和CT样本图像均是训练数据集中的样本图像。其中，所述训练数据集中包括多个患者的X光样本图像和多个患者的CT样本图像。在一示例中，为了避免正负样本的不平衡问题，在所述训练数据集中多个X光样本图像中包括预设疾病的图像特征的X光样本图像的数量与不包括预设疾病的图像特征的X光样本图像的数量相等，类似地，在所述训练数据集中多个CT样本图像中包括预设疾病的图像特征的CT样本图像的数量与不包括预设疾病的图像特征的CT样本图像的数量也相等。

在一实施例中，所述训练数据集中每一所述X光样本图像和每一所述CT样本图像均对应地预先设置有预设标签，所述预设标签中设置有用于表示成对关系的标签信息，换言之，所述预设标签中设置有用于表示X光样本图像和CT样本图像是否属于同一患者的标签信息。进一步，为了表示所述X光样本图像中是否包含有预设疾病的图像特征，所述X光样本图像的预设标签中还设置有用于指示所述X光样本图像中是否包含有预设疾病的图像特征的标签信息。

在一示例中，用于指示所述X光样本图像中包含有预设疾病的图像特征的标签信息为1，反之，所述标签信息为0。例如，所述神经网络要检测的预设疾病为肺结核，则X光样本图像中包含有肺结核的图像特征的标签信息为1，反之，所述标签信息为0。

其中，所述训练数据集中的X光样本图像是不同患者利用X光设备拍摄的X光图像。在一示例中，所述X光样本图像可以是一医院内在对患者进行诊断后保留的X光图像。所述X光样本图像可以是胸部的X光图像、腹部的X光图像、或者头颅的X光图像等。每个部位的X光图像可以用于观察不同的预设疾病，例如，所述胸部的X光图像可用于识别肺部、胸腔、纵隔及肋骨、锁骨的病变。在以下实施例中，以训练完成的所述神经网络是用于识别X光图像中是否包含肺结核的图像特征的神经网络，且所述X光样本图像为肺部的X光图像为例进行说明。

其中，所述训练数据集中的CT样本图像是根据不同患者利用CT设备拍摄得到的CT三维数据得到的CT二维切片或CT二维透视图。在一示例中，所述CT三维数据可以是一医院内在对患者进行诊断后保留的立体三维数据，例如，所述CT三维数据为基于平扫扫描获得的，又如，所述CT三维数据是基于增强扫描获得的。所述CT三维数据中所包含的部位与前文所述的相同或相似，在此不再赘述。在以下实施例中，以训练完成的所述神经网络是用于识别X光图像中是否包含肺结核的疾病特征的神经网络，所述CT三维数据为肺部的CT三维数据为例进行说明。

鉴于此，在一些实施例中，所述神经网络的训练方法还包括步骤S100，在步骤S100中，所述计算机设备根据所述CT三维数据得到所述CT样本图像。

在一实施例中，所述CT样本图像是CT二维切片。请参阅图2，显示为本申请的神经网络的训练方法中的步骤S100在一实施例中的流程示意图，如图所示，所述步骤S100包括步骤S1000和步骤S1001。

在步骤S1000中，所述计算机设备根据所述X光图像的图像方位确定与所述图像方位对应的CT三维数据的切面。

其中，所述CT三维数据的切面与所述X光样本图像的图像方位有关。例如，所述X光样本图像的方位为正位的X光图像，则所述CT三维数据的切面为冠状面，例如，所述X光样本图像的方位为侧位的X光图像，则所述CT三维数据的切面为矢状面。

在步骤S1001中，所述计算机设备根据所述切面和所述CT三维数据生成所述CT样本图像。

在一实施例中，所述计算机获取所述CT三维数据中切面对应的数据以生成所述CT样本图像。例如，所述切面为冠状面，则所述计算机设备将CT三维数据中冠状面对应的数据作为所述CT样本图像。又如，所述切面为矢状面，则所述计算机设备将CT三维数据中矢状面对应的数据作为所述CT样本图像。

在一实施例中，所述CT样本图像是CT二维透视图。所述计算机设备根据所述CT三维数据得到所述CT样本图像。在一实施例中，请参阅图3，显示为本申请的神经网络的训练方法中的步骤S100在另一实施例中的流程示意图，如图所示，所述步骤S100包括步骤S1002、步骤S1003、和步骤S1004。

在步骤S1002中，所述计算机设备在虚拟相机的视场角范围内模拟穿过所述CT三维数据的透视光线。

在获得所述CT三维数据后所述计算机设备模拟一虚拟相机。在一实施例中，可以通过所述X光样本图像的图像方位来设置所述虚拟相机的位置和姿态，例如，所述X光样本图像的方位为正位的X光图像，对应地设置所述虚拟相机的相机坐标系的光轴方向与所述CT三维数据的冠状面相垂直。进一步，还可以设置所述虚拟相机的像素平面的位置以及像素平面的大小。

进一步，在虚拟相机的视场角范围内模拟穿过所述CT三维数据的透视光线，其中，所述透视光线可穿过所述CT三维数据。例如，请参阅图4，显示为本申请在一实施例中模拟虚拟相机发射的透视光线的示意图，如图所述，图中从虚拟相机C发出的带有箭头的线条表示所述透视光线。在一实施例中，为了降低计算量，所述虚拟相机C的视场角范围是根据所述CT三维数据的包围盒确定的。其中，所述包围盒是所述CT三维数据的最小外接立方体。所述视场角范围内的光线均与所述包围盒相交。如此可以省去不必要的光线计算，提高计算效率。在其他实施例中，所述虚拟相机C的视场角范围也可以研发人员是根据经验预先设置的。

在步骤S1003中，所述计算机设备基于预设的CT值范围和所述透视光线的步进值，得到每一透视光线分别对应的用于计算像素值的CT值。

在一实施例中，所述计算机设备根据所述透射光线的步进值确定一透射光线与所述CT三维数据的至少一个交点对应的至少一个CT值，然后将至少一个CT值中不在所述CT值范围内的CT值去除，得到一透视光线对应的用于计算像素值的CT值。

其中，所述透射光线的步进值为所述透射光线每次前进的距离，换言之，可利用所述透射光线的步进值进行CT三维数据的采样。所述CT值范围是用于筛选计算像素值的CT值。所述CT值范围包括人体软组织的CT值。在一具体实施例中，透射光线从所述虚拟相机出发每次前进距离为所述步进值，确定每次前进后与所述CT三维数据的交点对应的CT值。如此，可以获取该透射光线与所述CT三维数据的至少一个交点对应的至少一个CT值。进一步，将一透射光线与所述CT三维数据的至少一个交点对应的至少一个CT值中不在所述CT值范围内的CT值去除，就可得到用于计算像素值的CT值。

由于骨骼的信息会影响肺结核的识别，为了避免对肺结核的识别产生影响，将CT三维数据中骨骼所对应的CT值去除，则所述CT值范围包括人体软组织的CT值但不包括骨骼的CT值。例如，所述CT值范围为-100HU至400HU。

在步骤S1004中，所述计算机设备基于每一透射光线所分别对应的用于计算像素值的CT值，确定每一透视光线与所述虚拟相机的像素平面相交的像素点的像素值，以得到所述CT二维透视图。

在一实施例中，所述像素平面内一像素点与一透射光线相交，遍历所述虚拟相机的像素平面内的每一像素点确定与各像素点相交的透射光线。针对每一透射光线分别计算像素值以得到所述CT二维透视图。例如，将与一像素点相交的透射光线所对应的用于计算像素值的CT值直接求和，得到所述像素点的像素值。又如，将与一像素点相交的透射光线所对应的用于计算像素值的CT值进行加权求和，得到所述像素点的像素值。进一步，在得到所述像素平面内所有像素点的像素值后即可得到所述CT二维透视图。

根据前文所述的实施例获得所述X光样本图像和CT样本图像并生成X光样本图像和CT样本图像对应的预设标签后，在每次迭代训练时，所述计算机设备将X光样本图像和CT样本图像输入一图像增强网络得到特征增强图像。

具体地，所述计算机设备将至少一个X光样本图像和对应的至少一个CT样本图像输入所述图像增强网络中。在一实施例中，输入所述图像增强网络的X光样本图像和CT样本图像的数量分别为多个，例如，在每个batch中，输入所述图像增强网络的X光样本图像和CT样本图像的数量分别为32个。进一步，多个X光样本图像和多个CT样本图像成对地输入所述图像增强网络，具体地，将属于同一患者的X光样本图像和CT样本图像作为一对输入至所述图像增强网络，比如，属于一对的X光样本图像和CT样本图像的预设标签中设置有用于表示成对关系的标签信息，所述图像增强网络可以基于所述用于表示成对关系的标签信息识别成对的X光样本图像和CT样本图像。

在一实施例中，所述图像增强网络用于将CT样本图像的图像特征与所述X光样本图像进行融合，或者将CT样本图像的图像特征与所述X光样本图像的图像特征进行融合；换言之，所述图像增强网络用于利用CT样本图像的图像特征来增强X光图像，进而引导步骤S120中的分类网络对X光样本图像进行识别。具体地，所述图像增强网络包括至少一个特征提取网络和一个特征融合层。所述特征融合层用于将所述至少一个特征提取网络的输出进行融合，或者将所述至少一个特征提取网络的输出和所述X光样本图像进行融合。例如，所述特征融合层所执行的融合操作举例为深度融合、加权平均融合、堆叠融合、最大化融合等。

将所述X光样本图像和CT样本图像输入所述图像增强网络可以得到融合后的特征增强图像。其中，所述特征增强图像既包括所述CT样本图像的图像信息又包括所述X光样本图像的图像信息。所述图像信息可以是利用网络提取出的图像特征等相关信息也可以是原始样本图像中的像素信息。例如，所述CT样本图像的图像信息是CT图像特征提取网络提取的图像特征。所述X光样本图像的图像信息可以是X光图像特征提取网络提取的图像特征，也可以是X光样本图像的原始像素信息。

在一具体实施例中，所述图像增强网络可以包括CT图像特征提取网络和X光图像特征提取网络。所述CT图像特征提取网络和X光图像特征提取网络是用于提取图像特征的特征提取网络。具体地，所述CT图像特征提取网络用于提取输入的所述CT样本图像的特征，以得到所述CT样本图像的特征图像。所述X光图像特征提取网络用于提取输入的所述X光样本图像特征，以得到所述X光样本图像的特征图像。

将所述CT图像特征提取网络和X光图像特征提取网络组合后即可得到所述特征增强图像。在一示例中，将所述CT图像特征提取网络和X光图像特征提取网络的输出执行前文所述的融合操作后生成所述特征增强图像。例如，将所述X光样本图像的特征图像和所述CT样本图像的特征图像进行深度融合、加权平均融合、堆叠融合、最大化融合等来生成所述特征增强图像。

在另一具体实施例中，所述图像增强网络包括CT图像特征提取网络。具体地，首先将所述CT样本图像输入所述CT图像特征提取网络，得到所述CT样本图像的特征图像，然后，执行前文所述的融合操作，在融合过程中利用所述X光样本图像和所述CT样本图像的特征图像得到所述特征增强图像。在一示例中，将所述X光样本图像和所述CT样本图像的特征图像进行深度融合、加权平均融合、堆叠融合、最大化融合等来生成所述特征增强图像。

在训练过程中由于分类网络无法明确知道X光样本图像中哪部分的像素点是对识别结果重要的，从而导致在利用训练完成的神经网络对待识别的X光图像进行识别时，识别的准确率低。为此，在本申请的实施例中，所述特征增强图像中显示了由所述CT图像特征提取网络所输出的对于识别结果重要的像素点。

在一实施例中，所述CT样本图像的特征图像为热力图，所述热力图中的每个像素点的像素值都代表了该像素点对于识别结果的重要性；换言之，所述热力图利用不同颜色显示不同像素点对于识别结果的重要性。

在一示例中，利用Grad-CAM生成所述热力图。例如，提取CT图像特征提取网络中最后一个卷积层的梯度进行全局平均池化来计算每个通道的权重，根据得到的权重用来加权每个通道的特征图来生成一个热力图；进而，所述图像增强网络可以将所述热力图和所述X光样本图像进行融合以得到所述特征增强图像，或者所述图像增强网络可以将所述热力图和所述X光样本图像的特征图像进行融合以得到所述特征增强图像。

在本实施例中，在融合所述热力图时，需要着重保留所述热力图中的特征以使得融合后的特征增强图像中可以显示对识别结果重要的区域。例如，将可能存在肺结核的区域显示为重要的区域。请参阅图5和图6，图5显示为本申请在一实施例中的X光样本图像的示意图，图6显示为本申请在一实施例中的特征增强图像的示意图，如图所示，所述特征增强图像中既包括X光样本图像的像素信息又显示了X光样本图像中对于识别结果重要的区域，例如图6中红色区域表示特征增强图像中对于识别结果重要的区域。

在一实施例中，所述CT图像特征提取网络和X光图像特征提取网络均分别包括ResNet网络。所述ResNet网络通过在卷积块之间添加残差模块并拟合恒等映射，可以有效避免梯度消失的问题，有助于模型学习到深层的信息。在一示例中，所述ResNet网络为ResNet-101网络。

需要说明的是，虽然本申请以所述CT图像特征提取网络和X光图像特征提取网络分别为ResNet-101网络为例进行说明，但并不以此为限，在其他实施例中，所述CT图像特征提取网络和X光图像特征提取网络也可以是YOLOV4网络、ResNeXt网络、Unet网络、或者SegResNet网络等。

在一实施例中，为了保证在执行融合操作时，所述X光样本图像或所述X光样本图像的特征图像与所述CT样本图像的特征图像的图像尺寸相同。所述神经网络的训练方法还包括将所述X光样本图像的图像尺寸调整至与所述CT样本图像的图像尺寸相一致的步骤。

在得到所述图像增强网络输出的特征增强图像后，所述计算机设备执行步骤S120。

在步骤S120中，所述计算机设备将所述特征增强图像输入一分类网络以得到识别结果。

请参阅图7，显示为本申请在一实施例中的神经网络的网络架构示意图，如图所示，所述分类网络和所述图像增强网络串联，所述分类网络用于基于获取的特征增强图像得到X光样本图像的识别结果。具体地，所述计算机设备将图像增强网络输出的所述特征增强图像和所述X光样本图像输入所述分类网络，以得到所述识别结果。将所述特征增强图像和所述X光样本图像共同输入所述分类网络时，可以通过特征增强图像作为先验知识以引导对输入的X光样本图像的识别。需要说明的是，在其他实施例中，也可以仅将所述特征增强图像输入所述分类网络以得到识别结果。

所述识别结果为所述X光样本图像中包括预设疾病的图像特征或所述X光样本图像中不包括预设疾病的图像特征。在一示例中，所述X光样本图像中包括预设疾病的图像特征可以用数字“1”表示，所述X光样本图像中不包括预设疾病的图像特征可以用数字“0”表示。

进一步，所述识别结果中还包括X光样本图像中包括预设疾病的图像特征的概率，或者X光样本图像中不包括预设疾病的图像特征的概率。在一实施例中，神经网络识别出X光样本图像中包括预设疾病的图像特征的概率P大于预设阈值时，所述识别结果为所述X光样本图像中包括预设疾病的图像特征及概率P，例如，可以用(1，P)来表示所述识别结果，其中，数字1表示X光样本图像中包括预设疾病；对应地，神经网络识别出X光样本图像中包括预设疾病的图像特征的概率P小于预设阈值时，则所述识别结果为所述X光样本图像中不包括预设疾病的图像特征及概率(1-P)，例如，可以用[0，(1-P)]来表示所述识别结果，其中，数字0表示X光样本图像中不包括预设疾病。在一示例中，所述预设阈值举例为0.5。但并不以此为限，在其他实施例中，所述预设阈值也可以是0.6、0.7、0.8、0.9等。

所述预设疾病包括但不限于肺部、胸腔、纵隔及肋骨、锁骨等位置的疾病。在一示例中，所述预设疾病为肺结核，对应地，所述识别结果为所述X光样本图像中包括肺结核的图像特征及X光样本图像中包括肺结核的图像特征的概率、或者为所述X光样本图像中不包括肺结核的图像特征及X光样本图像中不包括肺结核的图像特征的概率。

在一实施例中，所述分类网络包括ResNet网络。在一示例中，所述ResNet网络为ResNet-101网络。需要说明的是，虽然本申请以所述分类网络为ResNet-101网络为例进行说明，但并不以此为限，在其他实施例中，所述分类网络也可以是YOLOV4网络、ResNeXt网络、Unet网络、或者SegResNet网络等。

在训练神经网络时所需要的训练数据集十分庞大，用于识别物体和动物等的神经网络的训练数据集很容易收集。但在医学图像分析领域，很难收集到大量用于训练的样本，往往需要与多个医院进行沟通合作，如此，由于缺乏数据集导致很难训练出高准确率的神经网络，导致神经网络识别医学图像的准确率低，甚至无法达到训练停止条件导致训练失败。

为此，本申请的所述图像增强网络和所述分类网络可以是预训练的网络模型。例如，所述CT图像特征提取网络、X光图像特征提取网络、和分类网络是预训练的网络模型。在一实施例中，所述图像增强网络和所述分类网络利用公开的数据集进行预训练。所述公开的数据集举例为ImageNet。通过对所述图像增强网络和所述分类网络进行预训练可以实现对本申请的训练数据集的扩展，以提高神经网络的训练效率和成功率。

在步骤S130中，所述计算机设备根据所述识别结果和所述X光样本图像中的预设标签，调整所述神经网络的模型参数，直至达到训练停止条件。

在一实施例中，输入所述图像增强网络的X光样本图像和CT样本图像的数量分别为多个，相应地，所述计算机根据多个X光样本图像和多个CT样本图像所对应的多个识别结果和多个识别结果对应的多个X光样本图像中的预设标签调整所述神经网络的模型参数。例如，在每个batch中，得到32个识别结果，则根据32个识别结果和得到32个识别结果对应的32个X光样本图像中的预设标签来调整所述神经网络的模型参数。

在一实施例中，所述计算机设备根据所述多个识别结果和所述多个X光样本图像中的预设标签计算一损失，基于所述损失调整所述神经网络的模型参数，对应地，所述训练停止条件为所述损失实现收敛。例如，所述图像增强网络是预训练的神经网络模型，所述计算机设备根据所述损失仅调整所述分类网络的模型参数，以使得所述损失实现收敛。又如，所述计算机设备根据所述损失同时调整所述分类网络和所述图像增强网络的模型参数以使得所述损失实现收敛。

在一实施例中，所述损失为分类交叉熵损失。例如，在一个batch中，得到了4个识别结果，分别为(1，0.99)、(1，0.98)、(1，0.97)、(0，0.97)，根据这4个识别结果和分类交叉熵损失函数即可计算得到一个batch对应的分类交叉熵损失。对应地，所述训练停止条件为所述分类交叉熵损失实现收敛。例如，当所述分类交叉熵损失收敛至0附近，则可以停止所述神经网络的训练。

完成训练的所述神经网络可以用于识别待识别的X光图像。例如，将所述待识别的X光图像输入所述神经网络即可得到对应的识别结果。经实验证明，按照本申请的用于识别医学图像的神经网络的训练方法训练的神经网络的识别准确率虽然低于单独利用CT图像训练的神经网络的识别准确率，但是，本申请的识别准确率高于单独利用X光图像训练的神经网络的识别准确率。

本申请的用于识别医学图像的神经网络的训练方法通过设计串联的图像特征增强网络和分类网络，使得在神经网络的训练过程中可以先利用图像特征增强网络得到通过CT图像特征增强的特征增强图像，进而利用特征增强图像来训练分类网络对X光样本图像的分类。如此，可以使得训练完成的神经网络仅利用待识别的X光图像即可准确高效地识别出待识别的X光图像中是否存在相关疾病的图像特征，既提高了识别的准确率又降低了对患者身体的影响。

在一实施例中，请参阅图8，显示为本申请在一实施例中的神经网络的训练系统的结构框图，所述神经网络的训练系统2包括融合模块20、检测模块21、和调整模块22。

应理解的，融合模块20、检测模块21、和调整模块22还可在由不同类型的处理器运行的软件中实施。例如，可执行代码的模块可以包括一个或多个计算机指令物理块或逻辑块，该计算机指令被作为对象、程序或函数来组织。然而，模块的可执行文件不必在物理上位于一起，但是可包括存储在不同位置的不同命令，当这些命令在逻辑上连接在一起时，所述命令包括所述模块并实现所述模块的指定目标。

当然，可执行代码的模块可以为一个或许多指令，并且甚至可以分布在若干不同的代码段中、分布在不同的程序中并可分布在多个存储设备中。类似地，可以在此在模块内识别并示出运算数据，并且可以以任何合适的形式体现所述运算数据并在任意合适类型的数据结构中组织所述运算数据。所述运算数据可作为单数据集收集，或者可以分布在不同的位置(包括不同的存储设备)，并且可在系统或网络中至少部分地仅作为电信号存在。当模块或模块的部分在软件中实施时，软件部分被存储在一个或多个计算机可读媒体上。

所述融合模块20用于将X光样本图像和CT样本图像输入一图像增强网络得到特征增强图像；其中，所述特征增强图像包括所述CT样本图像的图像信息和所述X光样本图像的图像信息；所述CT样本图像是根据与所述X光样本图像对应的CT三维数据得到的。

所述检测模块21用于将所述特征增强图像输入一分类网络以得到识别结果。

所述调整模块22用于根据所述识别结果和所述X光样本图像中的预设标签，调整所述神经网络的模型参数，直至达到训练停止条件。

在此，本申请的用于识别医学图像的神经网络的训练系统2中各模块的工作方式与上述用于识别医学图像的神经网络的训练方法中对应步骤相同或相似，在此不再赘述。

在一实施例中，请参阅图9，显示为本申请在一实施例中的识别医学图像的系统的结构框图，如图所示，所述识别医学图像的系统3包括获取模块30和识别模块31。

应理解的，所述获取模块30和识别模块31还可在由不同类型的处理器运行的软件中实施。

所述获取模块30用于获取待识别的X光图像。所述待识别的X光图像为用于检测预设疾病的X光图像。所述预设疾病包括但不限于肺部、胸腔、纵隔及肋骨、锁骨等位置的疾病。所述预设疾病不同对应的X光图像中包括的人体部位不同。在一示例中，所述预设疾病为肺结核，对应地，所述X光图像为肺部的X光图像。

所述识别模块31用于将所述待识别的X光图像输入由上述任一实施例所述的神经网络的训练方法训练得到的神经网络中，以得到所述神经网络输出的识别结果。

在一实施例中，所述训练完成的所述神经网络是用于识别所述X光图像中是否包含肺结核的疾病特征的神经网络。将所述待识别的X光图像输入所述神经网络即可得到识别结果。所述识别结果为所述待识别X光样本图像中包括肺结核的图像特征及包括预设疾病的图像特征的概率，或者所述识别结果为所述X光样本图像中不包括预设疾病的图像特征及包括预设疾病的图像特征的概率。

本申请的识别医学图像的系统无需拍摄CT图像仅利用待识别的X光图像即可实现对预设疾病(例如肺结核)的识别。如此，既可以降低诊断过程中对患者身体造成的损伤又可以提高基于待识别的X光图像识别肺结核的准确率和效率。

在一实施例中，请参阅图10，显示为本申请在一实施例中医疗设备的结构框图，如图所示，所述医疗设备4包括存储模块41、读取模块42、识别模块43、以及输出模块44。

所述读取模块42用于读取待识别的X光图像。在实施例中，所述待识别的X光图像与上述图9所示实施例中的相关描述相同或相似，在此不予赘述。

在一实施例中，所述读取模块42包括但不限于：如HDMI接口或USB接口的串行接口，或并行接口等。例如，所述读取模块42读取用户(例如患者或医院工作人员)的存储设备(例如U盘和硬盘)中的待识别的X光图像。在另一实施例中，所述读取模块42包括网络通信单元，所述网络通信单元为利用有线或无线网络进行数据传输的装置，其举例包括但不限于：包含网卡的集成电路、如WiFi模块或蓝牙模块等局域网络模块、如移动网络等广域网络模块等。例如，所述读取模块42通过网络通信单元读取用户上传的待识别的X光图像。在又一实施例中，所述读取模块42为扫描装置或图像获取装置。例如，医生手持所述扫描装置扫描用户拍摄的X光图像上的二维码以读取所述待识别的X光图像。又如，所述图像获取装置对用户拍摄的X光图像进行拍照以读取所述待识别的X光图像。

所述存储模块41用于存储有由上述任一实施例所述的神经网络的训练方法训练得到的神经网络，以供所述识别模块43使用。

在具体的实现中，所述存储模块41包括但不限于：只读存储器、随机存取存储器、非易失性存储器。例如，存储模块41包括闪存设备或其他非易失性固态存储设备。在某些实施例中，存储模块41还可以包括远离识别模块43的存储器，例如经由RF电路或外部端口以及通信网络访问的网络附加存储器，其中所述通信网络可以是因特网、一个或多个内部网、局域网、广域网、存储局域网等，或其适当组合。存储器控制器可控制设备的诸如CPU和外设接口之类的其他组件对存储器的访问。

所述识别模块43与所述存储模块41连接用于将所述待识别的X光图像输入训练完成的神经网络中，以得到所述神经网络输出的识别结果。在实施例中，所述识别结果与上述图9所示实施例中的相关描述相同或相似，在此不予赘述。

在实施例中，所述识别模块43包括处理器，可以由一个或者多个通用处理器构成，例如CPU。

所述输出模块44用于向外输出所述识别模块43得到识别结果。所述输出模块44包含至少一个接口单元，各接口单元分别用于输出可视化界面。例如，所述输出模块44包括但不限于：如HDMI接口或USB接口的串行接口，或并行接口等。进一步，所述医疗设备4还包括显示模块(未予图示)，所述显示模块用于与所述输出模块连接，用于显示从所述输出模块获取的识别结果。其中，所述显示模块举例为与所述输出模块连接的显示屏或触摸屏。

在一实施例中，所述输出模块44还包含一网络通信单元，为利用有线或无线网络进行数据传输的装置，其举例包括但不限于：包含网卡的集成电路、如WiFi模块或蓝牙模块等局域网络模块、如移动网络等广域网络模块等，在本实施例中，所述输出模块还可以将所述识别结果通过网络发送至患者得移动设备上。所述移动设备举例为手机、电脑、以及电子手表等。

本申请还提供一种计算机可读写存储介质，其上存储有至少一种程序，所述至少一种程序在被调用时执行上述任一实施例中所描述的用于识别医学图像的神经网络的训练方法。

本申请在一实施例中还提供一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述任一实施例中的所描述的用于识别医学图像的神经网络的训练方法。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。

于本申请提供的实施例中，所述计算机可读写存储介质可以包括只读存储器(ROM，Read OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁存储设备、闪存、U盘、移动硬盘、或者能够用于存储具有指令或数据结构形式的期望的程序代码并能够由计算机进行存取的任何其它介质。另外，任何连接都可以适当地称为计算机可读介质。例如，如果指令是使用同轴电缆、光纤光缆、双绞线、数字订户线(DSL)或者诸如红外线、无线电和微波之类的无线技术，从网站、服务器或其它远程源发送的，则所述同轴电缆、光纤光缆、双绞线、DSL或者诸如红外线、无线电和微波之类的无线技术包括在所述介质的定义中。然而，应当理解的是，计算机可读写存储介质和数据存储介质不包括连接、载波、信号或者其它暂时性介质，而是旨在针对于非暂时性、有形的存储介质。如申请中所使用的磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中，磁盘通常磁性地复制数据，而光盘则用激光来光学地复制数据。

本申请还公开一种计算机设备，所述计算机设备用于实现上述任一实施例中所描述的用于识别医学图像的神经网络的训练方法。在一实施例中，所述计算机设备为一种能够对数据进行数字计算、逻辑处理、和信息处理的设备。

请参阅图11，显示为本申请在一实施例中的计算机设备的结构示意图，所述计算机设备5包括存储装置50以及与所述存储装置50相连的处理装置51。进一步地，所述计算机设备还包括接口装置52。

在一些实施例中，所述存储装置50用于存储至少一个程序，所述至少一个程序可供所述处理装置51执行，以协调所述存储装置50上述任一实施例中所描述的用于识别医学图像的神经网络的训练方法。

在此，存储装置50包括但不限于：只读存储器、随机存取存储器、非易失性存储器。例如，存储装置50包括闪存设备或其他非易失性固态存储设备。在某些实施例中，存储装置50还可以包括远离一个或多个处理装置51的存储器，例如经由RF电路或外部端口以及通信网络访问的网络附加存储器，其中所述通信网络可以是因特网、一个或多个内部网、局域网、广域网、存储局域网等，或其适当组合。存储器控制器可控制设备的诸如CPU和外设接口之类的其他组件对存储器的访问。

在一些实施例中，所述处理装置51包括一个或多个处理器。处理装置51可操作地与存储装置50执行数据读写操作。所述处理装置51包括一个或多个通用微处理器、一个或多个专用处理器(ASIC)、一个或多个数字信号处理器、一个或多个现场可编程逻辑阵列(FPGA)、或它们的任何组合。

在一些实施例中，所述接口装置52包含至少一个接口单元，各接口单元分别用于输出可视化界面、接收按照技术人员的操作而产生的人机交互事件等。例如，所述接口装置52包括但不限于：如HDMI接口或USB接口的串行接口，或并行接口等。在一实施例中，所述接口装置52还包含一网络通信单元，为利用有线或无线网络进行数据传输的装置，其举例包括但不限于：包含网卡的集成电路、如WiFi模块或蓝牙模块等局域网络模块、如移动网络等广域网络模块等。

在一个或多个示例性方面，本申请所述的用于识别医学图像的神经网络的训练方法所描述的功能可以用硬件、软件、固件或其任意组合的方式来实现。当用软件实现时，可以将这些功能作为一个或多个指令或代码存储或传送到计算机可读介质上。本申请所公开的方法或算法的步骤可以用处理器可执行软件模块来体现，其中处理器可执行软件模块可以位于有形、非临时性计算机存储介质上。有形、非临时性计算机存储介质可以是计算机能够存取的任何可用介质。

本申请上所述的附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。基于此，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这根据所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以通过执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以通过专用硬件与计算机指令的组合来实现。

综上所述，本申请提供的用于识别医学图像的神经网络的训练方法及系统、识别医学图像的系统、医疗设备、计算机可读存储介质、以及计算机程序产品，通过设计串联的图像特征增强网络和分类网络，使得在神经网络的训练过程中可以先利用图像特征增强网络得到通过CT图像特征增强的特征增强图像，进而利用特征增强图像来训练分类网络对X光样本图像的分类。如此，可以使得训练完成的神经网络仅利用待识别的X光图像即可准确高效地识别出待识别的X光图像中是否存在相关疾病的图像特征，既提高了识别的准确率又降低了对患者身体的影响。

上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (22)

1.一种用于识别医学图像的神经网络的训练方法，其特征在于，所述训练方法包括以下步骤：

将X光样本图像和CT样本图像输入一图像增强网络得到特征增强图像；其中，所述特征增强图像包括所述CT样本图像的图像信息和所述X光样本图像的图像信息；所述CT样本图像是根据与所述X光样本图像对应的CT三维数据得到的；

将所述特征增强图像输入一分类网络以得到识别结果；

根据所述识别结果和所述X光样本图像中的预设标签，调整所述神经网络的模型参数，直至达到训练停止条件。

2.根据权利要求1所述的训练方法，其特征在于，所述图像增强网络包括通过输入所述CT样本图像以得到所述CT样本图像的特征图像的CT图像特征提取网络；以及通过输入所述X光样本图像以得到所述X光样本图像的特征图像的X光图像特征提取网络。

3.根据权利要求2所述的训练方法，其特征在于，所述特征增强图像是基于所述X光样本图像的特征图像和所述CT样本图像的特征图像得到的。

4.根据权利要求1所述的训练方法，其特征在于，所述图像增强网络包括CT图像特征提取网络，得到特征增强图像的步骤包括：将所述CT样本图像输入所述CT图像特征提取网络，得到所述CT样本图像的特征图像；并基于所述X光样本图像和所述CT样本图像的特征图像得到所述特征增强图像。

5.根据权利要求2或4所述的训练方法，其特征在于，所述CT样本图像的特征图像为热力图。

6.根据权利要求2或4所述的训练方法，其特征在于，将所述特征增强图像输入一分类网络，得到识别结果的步骤包括：将所述特征增强图像和所述X光样本图像输入所述分类网络，得到所述识别结果。

7.根据权利要求1所述的训练方法，其特征在于，输入所述图像增强网络的X光样本图像和CT样本图像的数量分别为多个，调整所述神经网络的模型参数的步骤包括：根据多个X光样本图像和多个CT样本图像所对应的多个识别结果和多个识别结果对应的多个X光样本图像中的预设标签，调整所述神经网络的模型参数。

8.根据权利要求7所述的训练方法，其特征在于，根据所述识别结果和所述X光样本图像中的预设标签，调整所述神经网络的模型参数的步骤包括：根据所述多个识别结果和所述多个X光样本图像中的预设标签计算一损失，基于所述损失调整所述神经网络的模型参数。

9.根据权利要求8所述的训练方法，其特征在于，所述损失为分类交叉熵损失，所述训练停止条件为所述分类交叉熵损失实现收敛。

10.根据权利要求1所述的训练方法，其特征在于，所述图像增强网络和分类网络是预训练的网络模型。

11.根据权利要求1所述的训练方法，其特征在于，所述CT样本图像为CT二维切片或CT二维透视图。

12.根据权利要求11所述的训练方法，其特征在于，所述CT三维数据为基于平扫扫描获得的CT三维数据或者基于增强扫描获得的CT三维数据。

13.根据权利要求12所述的训练方法，其特征在于，根据所述CT三维数据得到所述CT二维透视图的步骤包括：

在虚拟相机的视场角范围内模拟穿过所述CT三维数据的透视光线；

基于预设的CT值范围和所述透视光线的步进值，得到每一透视光线分别对应的用于计算像素值的CT值；

基于每一透射光线所分别对应的用于计算像素值的CT值，确定每一透视光线与所述虚拟相机的像素平面相交的像素点的像素值，以得到所述CT二维透视图。

14.根据权利要求13所述的训练方法，其特征在于，所述CT值范围为-100HU至400HU。

15.根据权利要求13所述的训练方法，其特征在于，基于预设的CT值范围和所述透视光线的步进值，得到一透视光线对应的用于计算像素值的CT值包括：

根据所述透射光线的步进值确定一透射光线与所述CT三维数据的至少一个交点对应的至少一个CT值；

将至少一个CT值中不在所述CT值范围内的CT值去除，得到一透视光线对应的用于计算像素值的CT值。

16.根据权利要求1所述的训练方法，其特征在于，所述医学图像为用于检测肺结核的X光图像。

17.一种用于识别医学图像的神经网络的训练系统，其特征在于，包括：

融合模块，用于将X光样本图像和CT样本图像输入一图像增强网络得到特征增强图像；其中，所述特征增强图像包括所述CT样本图像的图像信息和所述X光样本图像的图像信息；所述CT样本图像是根据与所述X光样本图像对应的CT三维数据得到的；

检测模块，用于将所述特征增强图像输入一分类网络以得到识别结果；

调整模块，用于根据所述识别结果和所述X光样本图像中的预设标签，调整所述神经网络的模型参数，直至达到训练停止条件。

18.一种识别医学图像的系统，其特征在于，包括：

获取模块，用于获取待识别的X光图像；

识别模块，用于将所述待识别的X光图像输入由上述权利要求1-16任一项所述的神经网络的训练方法训练得到的神经网络中，以得到所述神经网络输出的识别结果。

19.一种医疗设备，其特征在于，包括：

读取模块，用于读取待识别的X光图像；

存储模块，用于存储由上述权利要求1-16任一项所述的神经网络的训练方法训练得到的神经网络；

识别模块，与所述读取模块及存储模块相连，用于将读取的所述待识别的X光图像输入所述神经网络中，以得到所述神经网络输出的识别结果；

输出模块，与所述识别模块相连，用于向外输出所述识别结果。

20.一种计算机设备，其特征在于，包括：

存储装置，用于存储至少一个程序；

处理装置，与所述存储装置相连，用于自所述存储装置中调用所述至少一个程序并执行时实现如权利要求1-16任一所述的神经网络的训练方法。

21.一种计算机可读存储介质，其特征在于，存储至少一种程序，所述至少一种程序在被调用时执行并实现如权利要求1-16任一所述的神经网络的训练方法。

22.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1-16任一所述的神经网络的训练方法。