CN109800813B - 一种数据驱动乳腺钼靶肿块检测的计算机辅助系统及方法 - Google Patents

Abstract

本发明公开了一种数据驱动乳腺钼靶肿块检测的计算机辅助系统及方法，涉及肿块检测的辅助装置领域；其系统包括图像处理器、ROI提取器、用于构建、训练包括擅长提取肿块区域形状、边缘纹理、密度特征的提取器的数据驱动模型和用于构建提取肿块整体特征后，融合数据驱动模型对应的提取器所获的特征，利用训练集和验证集进行训练和验证，获取最佳的识别模型，将测试集数据输入最佳的识别模型进行识别，从而获取检测结果的综合识别模型；本发明解决现有方法训练数据需求大导致成本高、训练模型缺乏临床医学原理导致识别准确度低的问题，多特征融合提高识别准确度，利用多特征驱动识别提高模型的泛化能力和可解释性，并减少训练数据，降低成本。

Description

一种数据驱动乳腺钼靶肿块检测的计算机辅助系统及方法

技术领域

本发明涉及肿块检测的辅助装置领域，尤其是一种数据驱动乳腺钼靶肿块检测的计算机辅助系统及方法。

背景技术

目前，在图像识别领域常用的方法包括基于传统机器学习的方法和基于深度学习的方法；传统机器学习方法通过人工构建特征，并借助训练的分类器完成图像的分类/检测任务；基于深度学习的方法，以目标为导向，利用深度学习实现特征和分类器的端到端训练，效果显著，极其适合普通图像的分类/检测。

乳腺钼靶图像是采用X光拍摄乳房获取的图像，是一种非自然的图像，与自然图像相比其复杂度高；采用基于深度学习的乳腺钼靶图像识别方法取得了一定的效果，但目前还存在以下问题：

1)训练数据需求大，成本高；为了达到较高的识别率，需要大量的训练数据，但是与普通标注好的图像相比，医学影像数据，特别是乳腺钼靶数据的标注成本高，从而导致训练深度学习模型的成本随之增高；

2)训练的模型缺乏临床医学原理，导致泛化能力差；现有技术采用直接将钼靶图片送入卷积神经网络(CNN)中，由CNN自动提取出相关特征，缺乏临床医学原理的驱动，相关特征的属性无法得知，医学解释性差，导致现有识别模型准确率低、泛化能力差。

发明内容

本发明的目的在于：本发明提供了一种数据驱动乳腺钼靶肿块检测的计算机辅助系统及方法，解决现有方法训练模型时数据需求大导致成本高、训练模型缺乏有效的医学原理支撑导致模型识别率低、泛化能力差的问题。

本发明采用的技术方案如下：

一种数据驱动乳腺钼靶肿块检测的计算机辅助系统，包括

图像处理器，用于对采集的临床图像进行标注和分类，图像分为训练集、验证集和测试集；

ROI提取器，用于提取已处理图像中的肿块区域；

数据驱动模型，用于构建、训练擅长提取肿块区域形状、边缘纹理、密度特征的提取器；

综合识别模型，用于构建CNN网络提取肿块整体特征后，将数据驱动模型对应的提取器所获的特征和肿块整体特征进行融合，并利用训练集和验证集进行训练和验证，获取最佳的综合识别模型，将测试集数据输入最佳的综合识别模型进行识别，获取检测结果。

优选地，所述数据驱动模型包括形状特征提取器、边缘纹理特征提取器和密度特征提取器，

所述形状特征提取器，用于提取肿块区域中的边缘后进行连接、填充获得肿块形状后，利用训练集和验证集进行训练和验证，获取最佳的形状特征CNN模型；

所述边缘纹理特征提取器，用于提取肿块区域中的边缘后进行连接、扩展获得肿块边缘后，利用训练集和验证集进行训练和验证，获取最佳的边缘纹理特征CNN模型；

所述密度特征提取器，用于以肿块区域的中心构建圆形区域即密度提取区后，利用训练集和验证集进行训练和验证，获取最佳的密度特征CNN模型。

优选地，所述综合识别模型包括CNN、特征串接单元和分类单元；

所述CNN，用于提取肿块整体特征；

所述特征串接单元，用于串接CNN获取的肿块整体特征和数据驱动模型中提取器所获得的形状特征、边缘纹理特征和密度特征，构建综合特征；

所述分类单元，用于以综合特征为基础，采用全连接层和Softmax层进行分类，获取检测结果。

优选地，所述形状特征提取器包括

边缘提取单元，用于提取肿块区域的边缘；

边缘连接单元，用于连接提取的边缘获得封闭边缘；

填充单元，用于采用纯色填充封闭边缘获取肿块形状；

形状特征CNN模型，用于利用经上述单元处理后的训练集、验证集对构建的CNN网络进行训练和验证，得到能获取最佳形状特征并擅长区分圆形、卵圆形和不规则形三类形状的CNN模型。

优选地，所述边缘纹理特征提取器包括

边缘提取单元，用于提取肿块区域的边缘；

边缘连接单元，用于连接提取的边缘获得封闭边缘；

像素扩展单元，用于以封闭边缘向肿块内部扩展N个像素获取宽为N个像素的环状图；

线性单元，用于将宽为N个像素的环状图以其任意位置为中心展开获得宽为N个像素的矩形；

边缘纹理特征CNN模型，用于利用经上述单元处理后的训练集、验证集对构建的CNN网络进行训练和验证，得到能够获取最佳的边缘纹理特征并擅长区分遮蔽状、清晰、模糊和微分叶4类边缘纹理的CNN模型。

优选地，所述密度特征提取器包括

中心计算单元，用于计算肿块区域的中心；

密度提取单元，用于以中心为原点，D个像素为半径构建密度提取区；

密度特征CNN模型，用于利用经上述单元处理后的训练集、验证集对构建的CNN网络进行训练和验证，得到能够获取最佳的密度特征并擅长区分高密度、等密度、含脂肪密度和低密度4类肿块密度的CNN模型。

一种数据驱动乳腺钼靶肿块检测的计算机辅助方法，包括如下步骤：

步骤1：用于对采集的临床图像进行标注和分类，图像分为训练集、验证集和测试集；

步骤2：提取已处理图像中的肿块区域即ROI区域；

步骤3：提取肿块区域的形状、边缘纹理和密度，利用训练集和验证集进行训练和验证获得包括擅长提取肿块区域形状、边缘纹理和密度特征的提取器的数据驱动模型；

步骤4：构建CNN网络提取肿块整体特征后，将数据驱动模型对应的提取器所获的特征和肿块整体特征进行融合，然后，利用训练集和验证集进行训练和验证，获取最佳的综合识别模型，最后，将测试集数据输入最佳的综合识别模型进行识别，获取检测结果。

优选地，所述步骤3中数据驱动模型包括形状特征提取器，形状类型包括圆形类、卵圆形类和不规则形类，获取形状特征提取器包括如下步骤：

步骤a1：提取肿块区域中的边缘；

步骤b1：连接提取的边缘获得封闭边缘；

步骤c1：采用纯色填充封闭边缘获取肿块形状；

步骤d1：构建CNN网络；

步骤e1：将训练集和验证集中所有的数据经步骤a1、b1、c1处理后，输入CNN网络完成训练和验证，获取最佳的形状特征CNN模型。

优选地，所述步骤3中数据驱动模型包括边缘纹理特征提取器，边缘纹理类型包括遮蔽状类、清晰类、模糊类和微分叶类，获取边缘纹理特征提取器包括如下步骤：

步骤a2：提取肿块区域中的边缘；

步骤b2：连接提取的边缘获得封闭边缘；

步骤c2：以封闭边缘向肿块内部扩展N个像素获取宽为N个像素的环状图；

步骤d2：将宽为N个像素的环状图以其的任意位置为中心展开获得宽为N个像素的矩形；

步骤e2：构建CNN网络；

步骤f2：将训练集和验证集中所有的数据经步骤a2、b2、c2、d2处理后，输入CNN网络完成训练和验证，获取最佳的边缘纹理特征CNN模型。

优选地，所述步骤3中数据驱动模型包括密度特征提取器，密度类型包括高密度类、等密度类、含脂肪密度类和低密度类，获取密度特征提取器包括如下步骤：

步骤a3：计算肿块区域的中心；

步骤b3：以中心为原点，D个像素为半径构建密度提取区；

步骤c3：构建CNN网络；

步骤d3：将训练集和验证集中所有的数据经步骤a3、b3处理后，输入CNN网络完成训练和验证，获取最佳的密度特征CNN模型。

优选地，所述步骤4包括如下步骤：

步骤4.1：构建CNN网络提取肿块整体特征；

步骤4.2：数据驱动模型提取的形状特征、边缘纹理特征、密度特征以及步骤4.1提取的肿块整体特征通过特征串接获取综合特征；

步骤4.3：以步骤4.2的综合特征为基础，通过构建的全连接层和Softmax，利用训练集和验证集来对CNN网络和全连接层进行训练和验证，获得最佳的综合识别模型，将测试集数据输入综合识别模型进行分类获取检测结果。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1.本发明通过训练形状特征、边缘纹理特征、密度特征提取器，结合肿块整体特征驱动综合特征识别模型进行融合、训练，实现可控的训练和学习，避免现有深度学习寻找的特征未知性高的缺点，同时多特征融合提高识别准确度，有助于提高识别模型泛化能力和识别率，解决现有训练模型缺乏有效的医学原理支撑导致模型识别率低、泛化能力差的问题；

2.本发明的模型结构简单、解决的问题少、参数少且特征区分性好，大大减少了训练数据，成本大大降低，模型更容易收敛，解决现有训练数据需求大导致成本高的问题；

3.本发明以乳腺医学原理为指导，构建出具有可解释的模型，使得本算法具有较好的泛化能力和较强的识别率效果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明的系统结构示意图；

图2为本发明的方法流程图；

图3为本发明的形状特征提取器结构示意图；

图4为本发明的边缘纹理特征提取器结构示意图；

图5为本发明的密度特征特征提取器结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

技术问题：解决现有方法训练模型时数据需求大导致成本高、训练模型缺乏有效的医学原理支撑导致模型识别率低、泛化能力差的问题；

技术手段：一种数据驱动乳腺钼靶肿块检测的计算机辅助系统，包括

图像处理器，用于对采集的临床图像进行标注和分类，图像分为训练集、验证集和测试集；

ROI提取器，用于提取已处理图像中的肿块区域；

数据驱动模型，用于构建、训练擅长提取肿块区域形状、边缘纹理、密度特征的提取器；

综合识别模型，用于构建CNN网络提取肿块整体特征后，将数据驱动模型对应的提取器所获的特征和肿块整体特征进行融合，并利用训练集和验证集进行训练和验证，获取最佳的综合识别模型，将测试集数据输入最佳的综合识别模型进行识别，获取检测结果。

数据驱动模型包括形状特征提取器、边缘纹理特征提取器和密度特征提取器，

所述形状特征提取器，用于提取肿块区域中的边缘后进行连接、填充获得肿块形状后，利用训练集和验证集进行训练和验证，获取最佳的形状特征CNN模型；

所述边缘纹理特征提取器，用于提取肿块区域中的边缘后进行连接、扩展获得肿块边缘后，利用训练集和验证集进行训练和验证，获取最佳的边缘纹理特征CNN模型；

所述密度特征提取器，用于以肿块区域的中心构建圆形区域即密度提取区后，利用训练集和验证集进行训练和验证，获取最佳的密度特征CNN模型。

综合识别模型包括CNN、特征串接单元和分类单元；

所述CNN，用于提取肿块整体特征；

所述特征串接单元，用于串接CNN获取的肿块整体特征和数据驱动模型中提取器所获得的形状特征、边缘纹理特征和密度特征，构建综合特征；

所述分类单元，用于以综合特征为基础，采用全连接层和Softmax层进行分类，获取检测结果。

形状特征提取器包括

边缘提取单元，用于提取肿块区域的边缘；

边缘连接单元，用于连接提取的边缘获得封闭边缘；

填充单元，用于采用纯色填充封闭边缘获取肿块形状；

形状特征CNN模型，用于利用经上述单元处理后的训练集、验证集对构建的CNN网络进行训练和验证，得到能获取最佳形状特征并擅长区分圆形、卵圆形和不规则形三类形状的CNN模型。

边缘纹理特征提取器包括

边缘提取单元，用于提取肿块区域的边缘；

边缘连接单元，用于连接提取的边缘获得封闭边缘；

像素扩展单元，用于以封闭边缘向肿块内部扩展N个像素获取宽为N个像素的环状图；

线性单元，用于将宽为N个像素的环状图以其任意位置为中心展开获得宽为N个像素的矩形；

边缘纹理特征CNN模型，用于利用经上述单元处理后的训练集、验证集对构建的CNN网络进行训练和验证，得到能够获取最佳的边缘纹理特征并擅长区分遮蔽状、清晰、模糊和微分叶4类边缘纹理的CNN模型。

密度特征提取器包括

中心计算单元，用于计算肿块区域的中心；

密度提取单元，用于以中心为原点，D个像素为半径构建密度提取区；

密度特征CNN模型，用于利用经上述单元处理后的训练集、验证集对构建的CNN网络进行训练和验证，得到能够获取最佳的密度特征并擅长区分高密度、等密度、含脂肪密度和低密度4类肿块密度的CNN模型。

一种数据驱动乳腺钼靶肿块检测的计算机辅助方法，包括如下步骤：

步骤1：用于对采集的临床图像进行标注和分类，图像分为训练集、验证集和测试集；

步骤2：提取已处理图像中的肿块区域即ROI区域；

步骤3：提取肿块区域的形状、边缘纹理和密度，利用训练集和验证集进行训练和验证获得包括擅长提取肿块区域形状、边缘纹理和密度特征的提取器的数据驱动模型；

步骤4：构建CNN网络提取肿块整体特征后，将数据驱动模型对应的提取器所获的特征和肿块整体特征进行融合，然后，利用训练集和验证集进行训练和验证，获取最佳的综合识别模型，最后，将测试集数据输入最佳的综合识别模型进行识别，获取检测结果。

步骤3中数据驱动模型包括形状特征提取器，形状类型包括圆形类、卵圆形类和不规则形类，获取形状特征提取器包括如下步骤：

步骤a1：提取肿块区域中的边缘；

步骤b1：连接提取的边缘获得封闭边缘；

步骤c1：采用纯色填充封闭边缘获取肿块形状；

步骤d1：构建CNN网络；

步骤e1：将训练集和验证集中所有的数据经步骤a1、b1、c1处理后，输入CNN网络完成训练和验证，获取最佳的形状特征CNN模型。

步骤3中数据驱动模型包括边缘纹理特征提取器，边缘纹理类型包括遮蔽状类、清晰类、模糊类和微分叶类，获取边缘纹理特征提取器包括如下步骤：

步骤a2：提取肿块区域中的边缘；

步骤b2：连接提取的边缘获得封闭边缘；

步骤c2：以封闭边缘向肿块内部扩展N个像素获取宽为N个像素的环状图；

步骤d2：将宽为N个像素的环状图以其的任意位置为中心展开获得宽为N个像素的矩形；

步骤e2：构建CNN网络；

步骤f2：将训练集和验证集中所有的数据经步骤a2、b2、c2、d2处理后，输入CNN网络完成训练和验证，获取最佳的边缘纹理特征CNN模型。

优选地，所述步骤3中数据驱动模型包括密度特征提取器，密度类型包括高密度类、等密度类、含脂肪密度类和低密度类，获取密度特征提取器包括如下步骤：

步骤a3：计算肿块区域的中心；

步骤b3：以中心为原点，D个像素为半径构建密度提取区；

步骤c3：构建CNN网络；

步骤d3：将训练集和验证集中所有的数据经步骤a3、b3处理后，输入CNN网络完成训练和验证，获取最佳的密度特征CNN模型。

优选地，步骤4包括如下步骤：

步骤4.1：构建CNN网络提取肿块整体特征；

步骤4.2：数据驱动模型提取的形状特征、边缘纹理特征、密度特征以及步骤4.1提取的肿块整体特征通过特征串接获取综合特征；

步骤4.3：以步骤4.2的综合特征为基础，通过构建的全连接层和Softmax，利用训练集和验证集来对CNN网络和全连接层进行训练和验证，获得最佳的综合识别模型，将测试集数据输入综合识别模型进行分类获取检测结果。

技术效果：本发明通过训练形状特征、边缘纹理特征、密度特征提取器，结合肿块整体特征驱动综合识别模型进行融合、训练，实现可控的训练和学习，避免现有深度学习寻找的特征未知性高的缺点，同时多特征融合提高识别准确度，有助于提高识别模型泛化能力和识别率，解决现有训练模型缺乏有效的医学原理支撑导致模型识别率低、泛化能力差的问题；本发明的模型结构简单、解决的问题少、参数少且特征区分性好，大大减少了训练数据，成本大大降低，模型更容易收敛，解决现有训练数据需求大导致成本高的问题；以乳腺医学原理为指导，构建出具有可解释的模型，使得本算法具有较好的泛化能力和较强的识别率效果。

以下结合实施例对本发明的特征和性能作进一步的详细描述。

实施例1

一种数据驱动乳腺钼靶肿块检测的计算机辅助系统，包括

图像处理器，用于对采集的临床图像进行标注和分类，图像分为训练集、验证集和测试集；

ROI提取器，用于提取已处理图像中的肿块区域；

数据驱动模型，用于构建、训练擅长提取肿块区域形状、边缘纹理、密度特征的提取器；

综合识别模型，用于构建CNN网络提取肿块整体特征后，将数据驱动模型对应的提取器所获的特征和肿块整体特征进行融合，并利用训练集和验证集进行训练和验证，获取最佳的综合识别模型，将测试集数据输入最佳的综合识别模型进行识别，获取检测结果。

一种数据驱动乳腺钼靶肿块检测的计算机辅助方法，包括如下步骤：

步骤1：用于对采集的临床图像进行标注和分类，图像分为训练集、验证集和测试集；

步骤2：提取已处理图像中的肿块区域即ROI区域；

步骤3：提取肿块区域的形状、边缘纹理和密度，利用训练集和验证集进行训练和验证获得包括擅长提取肿块区域形状、边缘纹理和密度特征的提取器的数据驱动模型；

步骤4：构建CNN网络提取肿块整体特征后，将数据驱动模型对应的提取器所获的特征和肿块整体特征进行融合，然后，利用训练集和验证集进行训练和验证，获取最佳的综合识别模型，最后，将测试集数据输入最佳的综合识别模型进行识别，获取检测结果。

基于计算机的图像处理器、ROI提取器、数据驱动模型和综合识别模型，通过以上的连接构建计算机辅助系统；通过步骤1-4构成辅助方法，实现快速、准确获取检测结果。

数据驱动模型包括形状特征提取器、边缘纹理特征提取器和密度特征提取器；综合识别模型包括CNN、特征串接单元和分类单元，分类单元包括全连接层和Softmax；系统框图如图1所示，形状特征提取器、边缘纹理特征提取器和密度特征提取器结构示意图如图3-5所示；

工作原理：本发明通过根据医学经验训练形状特征提取器、边缘纹理特征提取器和密度特征提取器，特征提取器训练、学习的特征是已知的特征类型，比如形状特征提取器擅长提取形状，在特征提取器进行分类时，整个分类只有形状不同；比起现有的深度学习输出未知特征，本专利获得的特征输出是可控的、已知的，首先完成基础特征的提取器的训练，然后基于基础特征提取器构建综合识别模型，经过训练、验证获得最佳综合识别模型，将测试集数据输入最佳综合识别模型获得最终的检测结果；即提取肿块区域的形状、边缘纹理和密度，利用训练集和验证集进行训练和验证获得包括擅长提取肿块区域形状、边缘纹理和密度特征的提取器的数据驱动模型，构建CNN网络提取肿块整体特征，肿块区域形状、边缘纹理、密度特征和肿块整体特征通过特征串接获取综合特征，以综合特征为基础，通过构建的全连接层和Softmax，利用训练集和验证集来对CNN网络和全连接层进行训练和验证，获得最佳的综合识别模型，将测试集数据输入综合识别模型进行分类获取检测结果。通过医学经验建立的基础特征提取器驱动CNN获取最终的综合特征检测结果，训练数据根据医学经验获取的数据作为驱动数据，利于提高识别模型的识别率和泛化能力。

实施例2

基于实施例1，数据驱动模型包括形状特征提取器、边缘纹理特征提取器和密度特征提取器，细节如下：

形状特征提取器包括用于提取肿块区域边缘的边缘提取单元、用于连接提取的边缘获得封闭边缘的边缘连接单元、用于采用纯色填充封闭边缘获取肿块形状的填充单元、用于利用经上述单元处理后的训练集、验证集对构建的CNN网络进行训练和验证，得到能获取最佳形状特征并擅长区分圆形、卵圆形和不规则形三类形状的形状特征CNN模型；

形状特征提取器训练包括如下步骤：

步骤a1：提取肿块区域中的边缘；

步骤b1：连接提取的边缘获得封闭边缘；

步骤c1：采用纯色填充封闭边缘获取肿块形状；

步骤d1：构建CNN网络；

步骤e1：将训练集和验证集中所有的数据经步骤a1、b1、c1处理后，输入CNN网络完成训练和验证，获取最佳的形状特征CNN模型。

形状特征提取器训练具体如下：

1：将乳腺钼靶图像送入ROI提取器中，将可能是肿块的区域提取出来；ROI提取器既可以采用OpenCV函数库实现的自动提取程序，也可以是人为的手工提取；

2：对上一步获得的区域进行边缘提取，获得目标的整体形状；该步骤采用OpenCV函数库中的边缘提取函数。具体来说，首先，采用边缘提取函数对目标进行边缘提取；然后，对提取的边缘进行连接，形成封闭图形；最后，采用一个纯色来对整个封闭区域进行填充；

3：采用CNN来实现肿块形状特征的提取，包括CNN、全连接层和softmax；采用大量的训练数据，利用深度学习端到端的训练，让CNN变成一个擅长形状提取的工具；在第二步中，之所以将整个区域填充为纯色，就是为了在训练CNN分类的时候，整个分类只能由形状的不同来决定。因此，在该步骤训练得到的CNN就特别专长于肿块外观形状的描述。这里的CNN结构可以选择现存的ResNet52或ResNet101或SeNet等均可；

4：训练得到特征提取器。首先，用训练数据集对图3的结构进行训练，每隔一段时间就保留一个模型；然后，当训练完成后，用验证集对每个模型进行验证，将最好的模型保存下来。其中，CNN部分的参数保存下，形成的模型就是图1中的特征提取器。

边缘纹理特征提取器包括用于提取肿块区域边缘的边缘提取单元、用于连接提取的边缘获得封闭边缘的边缘连接单元、用于以封闭边缘向肿块内部扩展N个像素获取宽为N个像素的环状图的像素扩展单元、用于将宽为N个像素的环状图以其任意位置为中心展开获得宽为N个像素的矩形的线性单元、用于利用经上述单元处理后的训练集、验证集对构建的CNN网络进行训练和验证，得到能够获取最佳的边缘纹理特征并擅长区分遮蔽状、清晰、模糊和微分叶4类边缘纹理的边缘纹理特征CNN模型；

边缘纹理特征提取器训练包括如下步骤：

步骤a2：提取肿块区域中的边缘；

步骤b2：连接提取的边缘获得封闭边缘；

步骤c2：以封闭边缘向肿块内部扩展N个像素获取宽为N个像素的环状图；

步骤d2：将宽为N个像素的环状图以其的任意位置为中心展开获得宽为N个像素的矩形；

步骤e2：构建CNN网络；

步骤f2：将训练集和验证集中所有的数据经步骤a2、b2、c2、d2处理后，输入CNN网络完成训练和验证，获取最佳的边缘纹理特征CNN模型。

边缘纹理特征提取器训练具体如下：

1：将乳腺钼靶图像送入ROI提取器中，将可能是肿块的区域提取出来；ROI提取器既可以采用OpenCV函数库实现的自动提取程序，也可以是人为的手工提取；

2：对上一步获得的区域进行边缘提取，并进行连接形成封闭图形。在此基础上，以该边缘为基础向肿块内部扩展N个像素形成了宽为N个像素的环状图，这就是需要的肿块边缘区。以该环状图任一位置为基础，展开为一个宽为N个像素的矩形，这就是规整好的肿块边缘；

3：将上一步获得的矩形送入，该步的CNN模块来提取肿块的边缘纹理特征。其主要构成为CNN、全连接层和softmax。该部分是整个结构的核心，主要目的采用大量的训练数据，利用深度学习端到端的训练，让CNN变成一个擅长边缘纹理提取的工具。因此，在该步骤训练得到的CNN就特别专长于肿块边缘纹理的描述。这里的CNN结构可以选择现存的ResNet52或ResNet101或SeNet等均可；

4：训练得到特征提取器。首先，用训练数据集对图4的结构进行训练，每隔一段时间就保留一个模型；然后，当训练完成后，用验证集对每个模型进行验证，将最好的模型保存下来。其中，CNN部分的参数保存下，形成的模型就是图1中的特征提取器。

密度特征提取器包括用于计算肿块区域中心的中心计算单元、用于以中心为原点，D个像素为半径构建密度提取区的密度提取单元、用于利用经上述单元处理后的训练集、验证集对构建的CNN网络进行训练和验证，得到能够获取最佳的密度特征并擅长区分高密度、等密度、含脂肪密度和低密度4类肿块密度的密度特征CNN模型；

密度特征提取器训练包括如下步骤：

步骤a3：计算肿块区域的中心；

步骤b3：以中心为原点，D个像素为半径构建密度提取区；

步骤c3：构建CNN网络；

步骤d3：将训练集和验证集中所有的数据经步骤a3、b3处理后，输入CNN网络完成训练和验证，获取最佳的密度特征CNN模型。

密度特征提取器训练具体如下：

1：将乳腺钼靶图像送入ROI提取器中，将可能是肿块的区域提取出来；ROI提取器既可以采用OpenCV函数库实现的自动提取程序，也可以是人为的手工提取；

2：计算上一步ROI区域的中心，并以该中心为基础，以D个像素为半径，提取出一个圆形区域，作为该肿块的密度提取区；

3：将上一步获得的圆形图片送入CNN结构中，目的是提取该部分的密度特性。为实现特征的提取，采用了图5中的后半部分，包括CNN、全连接层和softmax。该部分是整个结构的核心，主要目的采用大量的训练数据，利用深度学习端到端的训练，让CNN变成一个擅长密度提取的工具。这里的CNN结构可以选择现存的ResNet52或ResNet101或SeNet等均可；

4：训练得到特征提取器。首先，用训练数据集对图5的结构进行训练，每隔一段时间就保留一个模型；然后，当训练完成后，用验证集对每个模型进行验证，将最好的模型保存下来。其中，CNN部分的参数保存下，形成的模型就是图1中的特征提取器。

综合识别模型包括CNN、特征串接单元，全连接层和Softmax，数据驱动模型中的形状特征CNN模型、边缘纹理特征CNN模型、密度特征CNN模型加入综合识别模型，通过特征串接形状特征、边缘纹理特征、密度特征和CNN提取的肿块的整体特征，构建综合特征，以综合特征为基础，通过构建的全连接层和Softmax，利用训练集和验证集来对CNN网络和全连接层进行训练和验证，获得最佳的综合识别模型，将测试集数据输入综合识别模型进行分类获取检测结果。其中，肿块整体特征提取直接采用CNN来实现即可，采用的CNN与其他3部分相似，其做法是利用深度学习端到端的训练，直接从肿块整体中提取出反应检测结果的区分特征，发挥深度学习擅长找特征的优势。全连接层和Softmax实现分类，完成检测/识别。训练时对图1所示的结构进行训练，在整个模型中只需要训练获取全局特征的CNN和全连接层的参数，其他3个特征提取器不需要训练，直接用基础模型训练好的参数即可。

综上，以医学乳腺钼靶判读标准为算法设计的依据，驱动模型进行可控的学习即分别训练形状特征、边缘纹理特征、密度特征提取器，利用以上特征提取器结合肿块整体特征获得综合特征，以综合特征为基础，通过构建的全连接层和Softmax，利用训练集和验证集来对CNN网络和全连接层进行训练和验证，获得最佳的综合识别模型，将测试集数据输入综合识别模型进行分类获取检测结果；检测结果包括肿块的四类特征参数，比如圆形肿块、低密度肿块等，为临床检测/判断提供可靠的数据，提高辅助效率，因此本申请的系统的模型具有更好的泛化能力，模型的可解释性高；采用多特征融合的方式，从更多方面来检测肿块，其准确性更高；同时模型结构简单、解决的问题少、参数少且特征区分性好，大大减少了训练数据，成本大大降低，模型更容易收敛，解决现有训练数据需求大导致成本高的问题。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种数据驱动乳腺钼靶肿块检测的计算机辅助系统，其特征在于：包括

图像处理器，用于对采集的临床图像进行标注和分类，图像分为训练集、验证集和测试集；

ROI提取器，用于提取已处理图像中的肿块区域；

数据驱动模型，用于构建、训练擅长提取肿块区域形状、边缘纹理、密度特征的提取器；

综合识别模型，用于构建CNN网络提取肿块整体特征后，将数据驱动模型对应的提取器所获的特征和肿块整体特征进行融合，并利用训练集和验证集进行训练和验证，获取最佳的综合识别模型，将测试集数据输入最佳的综合识别模型进行识别，获取检测结果；

所述一种数据驱动乳腺钼靶肿块检测的计算机辅助系统的使用方法，包括如下步骤：

步骤1：用于对采集的临床图像进行标注和分类，图像分为训练集、验证集和测试集；

步骤2：提取已处理图像中的肿块区域即ROI区域；

步骤3：提取肿块区域的形状、边缘纹理和密度，利用训练集和验证集进行训练和验证获得包括擅长提取肿块区域形状、边缘纹理和密度特征的提取器的数据驱动模型；

步骤4：构建CNN网络提取肿块整体特征后，将数据驱动模型对应的提取器所获的特征和肿块整体特征进行融合，然后，利用训练集和验证集进行训练和验证，获取最佳的综合识别模型，最后，将测试集数据输入最佳的综合识别模型进行识别，获取检测结果；

所述步骤3中数据驱动模型包括形状特征提取器，形状类型包括圆形类、卵圆形类和不规则形类，获取形状特征提取器包括如下步骤：

步骤a1：提取肿块区域中的边缘；

步骤b1：连接提取的边缘获得封闭边缘；

步骤c1：采用纯色填充封闭边缘获取肿块形状；

步骤d1：构建CNN网络；

步骤e1：将训练集和验证集中所有的数据经步骤a1、b1、c1处理后，输入CNN网络完成训练和验证，获取最佳的形状特征CNN模型；

形状特征提取器训练具体如下：

a1-1：将乳腺钼靶图像送入ROI提取器中，将可能是肿块的区域提取出来；

a1-2：对上一步获得的区域进行边缘提取，获得目标的整体形状；该步骤采用OpenCV函数库中的边缘提取函数；

a1-3：采用CNN来实现肿块形状特征的提取，包括CNN、全连接层和softmax；采用大量的训练数据，利用深度学习端到端的训练，让CNN变成一个擅长形状提取的工具；在第二步中，之所以将整个区域填充为纯色，就是为了在训练CNN分类的时候，整个分类只能由形状的不同来决定；

a1-4：训练得到特征提取器；首先，用训练数据集进行训练，每隔一段时间就保留一个模型；然后，当训练完成后，用验证集对每个模型进行验证，将最好的模型保存下来；

所述步骤3中数据驱动模型包括边缘纹理特征提取器，边缘纹理类型包括遮蔽状类、清晰类、模糊类和微分叶类，获取边缘纹理特征提取器包括如下步骤：

步骤a2：提取肿块区域中的边缘；

步骤b2：连接提取的边缘获得封闭边缘；

步骤c2：以封闭边缘向肿块内部扩展N个像素获取宽为N个像素的环状图；

步骤d2：将宽为N个像素的环状图以其的任意位置为中心展开获得宽为N个像素的矩形；

步骤e2：构建CNN网络；

步骤f2：将训练集和验证集中所有的数据经步骤a2、b2、c2、d2处理后，输入CNN网络完成训练和验证，获取最佳的边缘纹理特征CNN模型；

边缘纹理特征提取器训练具体如下：

b1-1：将乳腺钼靶图像送入ROI提取器中，将可能是肿块的区域提取出来；

b1-2：对上一步获得的区域进行边缘提取，并进行连接形成封闭图形；在此基础上，以该边缘为基础向肿块内部扩展N个像素形成了宽为N个像素的环状图，这就是需要的肿块边缘区；以该环状图任一位置为基础，展开为一个宽为N个像素的矩形，这就是规整好的肿块边缘；

b1-3：将上一步获得的矩形送入，该步的CNN模块来提取肿块的边缘纹理特征，CNN模块包括ResNet52或ResNet101或SeNet；

b1-4：训练得到特征提取器；首先，用训练数据集进行训练，每隔一段时间就保留一个模型；然后，当训练完成后，用验证集对每个模型进行验证，将最好的模型保存下来；

所述步骤3中数据驱动模型包括密度特征提取器，密度类型包括高密度类、等密度类、含脂肪密度类和低密度类，获取密度特征提取器包括如下步骤：

步骤a3：计算肿块区域的中心；

步骤b3：以中心为原点，D个像素为半径构建密度提取区；

步骤c3：构建CNN网络；

步骤d3：将训练集和验证集中所有的数据经步骤a3、b3处理后，输入CNN网络完成训练和验证，获取最佳的密度特征CNN模型；

密度特征提取器训练具体如下：

c1-1：将乳腺钼靶图像送入ROI提取器中，将可能是肿块的区域提取出来；

c1-2：计算上一步ROI区域的中心，并以该中心为基础，以D个像素为半径，提取出一个圆形区域，作为该肿块的密度提取区；

c1-3：将上一步获得的圆形图片送入CNN结构中，提取该部分的密度特性；CNN结构为ResNet52或ResNet101或SeNet；

CNN结构4：训练得到特征提取器；首先，用训练数据集进行训练，每隔一段时间就保留一个模型；然后，当训练完成后，用验证集对每个模型进行验证，将最好的模型保存下来。

2.根据权利要求1所述的一种数据驱动乳腺钼靶肿块检测的计算机辅助系统，其特征在于：所述数据驱动模型包括形状特征提取器、边缘纹理特征提取器和密度特征提取器，

所述形状特征提取器，用于提取肿块区域中的边缘后进行连接、填充获得肿块形状后，利用训练集和验证集进行训练和验证，获取最佳的形状特征CNN模型；

所述边缘纹理特征提取器，用于提取肿块区域中的边缘后进行连接、扩展获得肿块边缘后，利用训练集和验证集进行训练和验证，获取最佳的边缘纹理特征CNN模型；

所述密度特征提取器，用于以肿块区域的中心构建圆形区域即密度提取区后，利用训练集和验证集进行训练和验证，获取最佳的密度特征CNN模型。

3.根据权利要求1所述的一种数据驱动乳腺钼靶肿块检测的计算机辅助系统，其特征在于：所述综合识别模型包括CNN、特征串接单元和分类单元；

所述CNN，用于提取肿块整体特征；

所述特征串接单元，用于串接CNN获取的肿块整体特征和数据驱动模型中提取器所获得的形状特征、边缘纹理特征和密度特征，构建综合特征；

所述分类单元，用于以综合特征为基础，采用全连接层和Softmax层进行分类，获取检测结果。

4.根据权利要求2所述的一种数据驱动乳腺钼靶肿块检测的计算机辅助系统，其特征在于：所述形状特征提取器包括

边缘提取单元，用于提取肿块区域的边缘；

边缘连接单元，用于连接提取的边缘获得封闭边缘；

填充单元，用于采用纯色填充封闭边缘获取肿块形状；

形状特征CNN模型，用于利用经上述单元处理后的训练集、验证集对构建的CNN网络进行训练和验证，得到能获取最佳形状特征并擅长区分圆形、卵圆形和不规则形三类形状的CNN模型。

5.根据权利要求2所述的一种数据驱动乳腺钼靶肿块检测的计算机辅助系统，其特征在于：所述边缘纹理特征提取器包括

像素扩展单元，用于以封闭边缘向肿块内部扩展N个像素获取宽为N个像素的环状图；

线性单元，用于将宽为N个像素的环状图以其任意位置为中心展开获得宽为N个像素的矩形；

边缘纹理特征CNN模型，用于利用经上述单元处理后的训练集、验证集对构建的CNN网络进行训练和验证，得到能够获取最佳的边缘纹理特征并擅长区分遮蔽状、清晰、模糊和微分叶4类边缘纹理的CNN模型。

6.根据权利要求2所述的一种数据驱动乳腺钼靶肿块检测的计算机辅助系统，其特征在于：所述密度特征提取器包括

中心计算单元，用于计算肿块区域的中心；

密度提取单元，用于以中心为原点，D个像素为半径构建密度提取区；

密度特征CNN模型，用于利用经上述单元处理后的训练集、验证集对构建的CNN网络进行训练和验证，得到能够获取最佳的密度特征并擅长区分高密度、等密度、含脂肪密度和低密度4类肿块密度的CNN模型。

7.根据权利要求1所述的一种数据驱动乳腺钼靶肿块检测的计算机辅助系统，其特征在于：所述步骤4包括如下步骤：

步骤4.1：构建CNN网络提取肿块整体特征；

步骤4.2：数据驱动模型提取的形状特征、边缘纹理特征、密度特征以及步骤4.1提取的肿块整体特征通过特征串接获得综合特征；

步骤4.3：以步骤4.2的综合特征为基础，通过构建的全连接层和Softmax，利用训练集和验证集来对CNN网络和全连接层进行训练和验证，获得最佳的综合识别模型，将测试集数据输入综合识别模型进行分类获取检测结果。