CN109636780A - 乳腺密度自动分级方法及装置 - Google Patents

乳腺密度自动分级方法及装置 Download PDF

Info

Publication number
CN109636780A
CN109636780A CN201811418719.1A CN201811418719A CN109636780A CN 109636780 A CN109636780 A CN 109636780A CN 201811418719 A CN201811418719 A CN 201811418719A CN 109636780 A CN109636780 A CN 109636780A
Authority
CN
China
Prior art keywords
breast
ray image
residual error
test
error network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811418719.1A
Other languages
English (en)
Inventor
王珊珊
肖韬辉
郑海荣
徐井旭
刘新
梁栋
李程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201811418719.1A priority Critical patent/CN109636780A/zh
Publication of CN109636780A publication Critical patent/CN109636780A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种乳腺密度自动分级方法及装置，方法包括：获取目标乳腺X射线图像；对所述目标乳腺X射线图像进行预处理；将预处理后的所述目标乳腺X射线图像作为预测样本，输入预设的目标深度残差网络，并将该目标深度残差网络的输出作为所述目标乳腺X射线图像对应的乳腺密度分级结果。本申请能够有效提高对乳腺X射线图像的特征识别的准确性及效率，并能够有效可靠提高对乳腺X射线图像对应的乳腺密度的分级过程的高效性及智能化程度，以及同时能够有效提高乳腺密度分级的准确性。

Description

乳腺密度自动分级方法及装置
技术领域
本申请涉及充图像处理技术领域，具体涉及一种乳腺密度自动分级方法及装置。
背景技术
乳腺癌是世界上女性发病率和死亡率最高的肿瘤，且乳腺癌也位居女性恶性肿瘤发病率首列，且对乳腺密度进行分级已成为对乳腺癌进行早期精准诊疗中的重点研究对象。而随着科技在医学领域的飞速发展，通过人工对对乳腺组织进行分割、特征提取和分级的乳腺密度分级的技术已无法满足现代化乳腺医学的自动化需求。因此，为了有效适应现在医学影像大数据智能诊断的发展趋势，如何对乳腺密度进行智能化程度更高的分级已成为了重要的医学课题。
现有技术中，对乳腺密度进行分级的方式通常有两类，一类为传统特征方案，通过人工获取的先验知识来设计乳腺密度特征，并通过人工设计的专属特征及不同的分级器来对乳腺密度进行分级。另一类则是通过浅层神经网络对乳腺密度进行二分级，以简化乳腺密度分级难度。
然后，无论是现有的哪一种乳腺密度分级方式，均无法在对乳腺密度进行超过两种的类型分级的同时，又能够自动化实现该多类型分级过程，使得现有的乳腺密度分级方式无法同时保证其分级准确性及智能化程度。
发明内容
针对现有技术中的问题，本申请提供一种乳腺密度自动分级方法及装置，能够有效提高对乳腺X射线图像的特征识别的准确性及效率，并能够有效可靠提高对乳腺X射线图像对应的乳腺密度的分级过程的高效性及智能化程度，以及同时能够有效提高乳腺密度分级的准确性。
为解决上述技术问题，本申请提供以下技术方案：
第一方面，本申请提供一种乳腺密度自动分级方法，包括：
获取目标乳腺X射线图像；
对所述目标乳腺X射线图像进行预处理；
将预处理后的所述目标乳腺X射线图像作为预测样本，输入预设的目标深度残差网络，并将该目标深度残差网络的输出作为所述目标乳腺X射线图像对应的乳腺密度分级结果。
进一步地，在所述获取目标乳腺X射线图像之前，所述乳腺密度自动分级方法还包括：
构建一深度残差网络，以及，根据多个历史乳腺X射线图像获取该深度残差网络的训练样本集；
应用所述训练样本集对所述深度残差网络进行模型训练。
进一步地，所述深度残差网络由三个执行阶段及多个全连接层依次组成，且每个所述执行阶段均由多个卷积层及堆叠而成的多个残差模块依次组成，乳腺X射线图像经首个执行阶段的卷积层输入后，在所述深度残差网络中进行三个所述执行阶段的映射，最终由最后一个全连接层输出该乳腺X射线图像对应的乳腺密度分级结果。
进一步地，所述根据多个历史乳腺X射线图像获取该深度残差网络的训练样本集，包括：
获取多个历史乳腺X射线图像；
对各个历史乳腺X射线图像均进行预处理；
对预处理后的各个历史乳腺X射线图像分别进行标记，得到各个历史乳腺X射线图像分别对应的等级标签；
其中，所述等级标签用于表示其所属的历史乳腺X射线图像对应的乳腺密度等级；
将标记后的各个历史乳腺X射线图像组成所述深度残差网络的训练样本集。
进一步地，所述乳腺密度自动分级方法还包括：
根据至少一个测试用乳腺X射线图像得到测试样本；
应用所述测试样本对所述深度残差网络进行模型测试，并将该深度残差网络的输出作为测试结果；
基于所述测试结果及至少一个测试用乳腺X射线图像的已知分类结果，判断当前深度残差网络是否符合预设要求；
若是，则将当前深度残差网络作为用于对乳腺X射线图像进行乳腺密度分级的目标深度残差网络。
进一步地，所述乳腺密度自动分级方法还包括：
若当前深度残差网络不符合所述预设要求，则对当前深度残差网络进行优化和/或应用更新后的训练样本集重新对该深度残差网络进行模型训练。
进一步地，所述根据至少一个测试用乳腺X射线图像得到测试样本，包括：
获取多个测试用乳腺X射线图像；
对各个测试用乳腺X射线图像均进行预处理；
对预处理后的各个测试用乳腺X射线图像分别进行标记，得到各个测试用乳腺X射线图像分别对应的等级标签；
其中，所述等级标签用于表示其所属的测试用乳腺X射线图像对应的乳腺密度等级；
将标记后的各个测试用乳腺X射线图像组成所述深度残差网络的测试样本。
进一步地，所述乳腺密度等级包含有四个等级，且该四个等级根据不同的脂肪含量进行划分。
第二方面，本申请提供一种乳腺密度自动分级装置，包括：
数据获取模块，用于获取目标乳腺X射线图像；
数据预处理模块，用于对所述目标乳腺X射线图像进行预处理；
模型预测模块，用于将预处理后的所述目标乳腺X射线图像作为预测样本，输入预设的目标深度残差网络，并将该目标深度残差网络的输出作为所述目标乳腺X射线图像对应的乳腺密度分级结果。
进一步地，所述乳腺密度自动分级装置还包括：
模型构建模块，用于构建一深度残差网络，以及，根据多个历史乳腺X射线图像获取该深度残差网络的训练样本集；
模型训练模块，用于应用所述训练样本集对所述深度残差网络进行模型训练。
进一步地，所述深度残差网络由三个执行阶段及多个全连接层依次组成，且每个所述执行阶段均由多个卷积层及堆叠而成的多个残差模块依次组成，乳腺X射线图像经首个执行阶段的卷积层输入后，在所述深度残差网络中进行三个所述执行阶段的映射，最终由最后一个全连接层输出该乳腺X射线图像对应的乳腺密度分级结果。
进一步地，所述模型构建模块包括：
历史数据获取单元，用于获取多个历史乳腺X射线图像；
历史数据预处理单元，用于对各个历史乳腺X射线图像均进行预处理；
历史数据标记单元，用于对预处理后的各个历史乳腺X射线图像分别进行标记，得到各个历史乳腺X射线图像分别对应的等级标签；
其中，所述等级标签用于表示其所属的历史乳腺X射线图像对应的乳腺密度等级；
训练样本集生成单元，用于将标记后的各个历史乳腺X射线图像组成所述深度残差网络的训练样本集。
进一步地，所述乳腺密度自动分级装置还包括：
测试样本获取单元，用于根据至少一个测试用乳腺X射线图像得到测试样本；
模型测试单元，用于应用所述测试样本对所述深度残差网络进行模型测试，并将该深度残差网络的输出作为测试结果；
测试结果判定单元，用于基于所述测试结果及至少一个测试用乳腺X射线图像的已知分类结果，判断当前深度残差网络是否符合预设要求，若是，则将当前深度残差网络作为用于对乳腺X射线图像进行乳腺密度分级的目标深度残差网络。
进一步地，所述测试结果判定单元还用于若当前深度残差网络不符合所述预设要求，则对当前深度残差网络进行优化和/或应用更新后的训练样本集重新对该深度残差网络进行模型训练。
进一步地，所述测试样本获取单元，包括：
测试用数据获取单元，用于获取多个测试用乳腺X射线图像；
测试用数据预处理单元，用于对各个测试用乳腺X射线图像均进行预处理；
测试用数据标记单元，用于对预处理后的各个测试用乳腺X射线图像分别进行标记，得到各个测试用乳腺X射线图像分别对应的等级标签；
其中，所述等级标签用于表示其所属的测试用乳腺X射线图像对应的乳腺密度等级；
训练样本集生成单元，用于将标记后的各个测试用乳腺X射线图像组成所述深度残差网络的测试样本。
进一步地，所述乳腺密度等级包含有四个等级，且该四个等级根据不同的脂肪含量进行划分。
第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现：
获取目标乳腺X射线图像；
对所述目标乳腺X射线图像进行预处理；
将预处理后的所述目标乳腺X射线图像作为预测样本，输入预设的目标深度残差网络，并将该目标深度残差网络的输出作为所述目标乳腺X射线图像对应的乳腺密度分级结果。
第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现：
获取目标乳腺X射线图像；
对所述目标乳腺X射线图像进行预处理；
将预处理后的所述目标乳腺X射线图像作为预测样本，输入预设的目标深度残差网络，并将该目标深度残差网络的输出作为所述目标乳腺X射线图像对应的乳腺密度分级结果。
由上述技术方案可知，本申请提供一种乳腺密度自动分级方法及装置，通过获取目标乳腺X射线图像，能够为后续图像识别提供准确且可靠的数据基础，通过对所述目标乳腺X射线图像进行预处理，能够获取更为可靠且准确的用于进行乳腺密度分级的图像特征，通过将预处理后的所述目标乳腺X射线图像作为预测样本，输入预设的目标深度残差网络，并将该目标深度残差网络的输出作为所述目标乳腺X射线图像对应的乳腺密度分级结果，能够有效提高对乳腺X射线图像的特征识别的准确性及效率，并能够有效可靠提高对乳腺X射线图像对应的乳腺密度的分级过程的高效性及智能化程度，以及同时能够有效提高乳腺密度分级的准确性，进而能够满足现代化乳腺医学的自动化需求并能够有效适应现在医学影像大数据智能诊断的发展趋势。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中的服务器S1与客户端设备B1之间的构架示意图。
图2为本发明实施例中的服务器S1、客户端设备B1及X射线仪B2之间的构架示意图。
图3为本发明实施例中的服务器S1、客户端设备B1及数据库服务器S2之间的构架示意图。
图4为本发明实施例中的乳腺密度自动分级方法的流程示意图。
图5为本发明实施例中的乳腺密度自动分级方法中残差学习块的架构示意图。
图6为本发明实施例中的包含有步骤001和步骤002的乳腺密度自动分级方法的流程示意图。
图7为本发明实施例中的乳腺密度自动分级方法中步骤001的流程示意图。
图8为本发明实施例中的深度残差网络的结构示意图。
图9为本发明实施例中的乳腺密度自动分级方法中步骤A01至步骤A05的流程示意图。
图10为本发明应用实例中的的乳腺密度自动分级方法的完整流程示意图。
图11为本发明实施例中的乳腺密度自动分级装置的流程示意图。
图12为本发明实施例中的包含有模型构建模块01和模型训练模块02的乳腺密度自动分级装置的流程示意图。
图13为本发明实施例中的包含有模型测试模块A0的乳腺密度自动分级装置的流程示意图。
图14为本发明实施例中的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
传统的乳腺密度自动分级方法首先需要对乳腺组织进行分割，并且需要丰富的先验知识来设计可以表征乳腺密度四个不同等级的特征，再通过人工特征提取和选择，最后通过设计不同的分级器完成乳腺密度分级。关于上述已有技术中，其过程需要很多手工操作，而且需要先验知识，同时其提取的特征数量也极为有限，根本不适合现在医学影像大数据智能诊断的发展趋势。而在此基础上，现有的用于X-射线乳腺密度分级的技术研究多分为两类，一类为传统特征方案，通过先验知识设计特征，包括外形特征、灰度特征、小波特征、一阶特征、二阶特征等常用特征，还有设计的专属特征加上不同分级器用于乳腺密度分级。另一类为一些浅层神经网络，有几个相同技术方案建立了浅层的卷积网络用于乳腺密度二分级，简化乳腺密度分级难度。一方面，按照美国放射学会乳腺成像报告，其标准乳腺密度可分为四级，但现有技术方案多数为了简化评级难度，将原来的分四级任务变为分两级，但乳腺密度分两级不能全面的评估乳腺密度和发展成为乳腺癌可能性之间的关系。另一方面，现有技术解决方案通过提取数量有限和低层次特征用于乳腺密度分级，首先其过程需要很多手工操作。如特征提取、设计和选择等。其次在于特征数量和质量上的区别，其特征多为低层次且数量有限，这样限制乳腺密度分级的准确率。
考虑到上述现有的乳腺密度自动分级方法存在无法同时保证其分级准确性及智能化程度的问题，本申请提供一种乳腺密度自动分级方法、乳腺密度自动分级装置、电子设备及计算机可读存储介质，通过获取目标乳腺X射线图像，能够为后续图像识别提供准确且可靠的数据基础，通过对所述目标乳腺X射线图像进行预处理，能够获取更为可靠且准确的用于进行乳腺密度分级的图像特征，通过将预处理后的所述目标乳腺X射线图像作为预测样本，输入预设的目标深度残差网络，并将该目标深度残差网络的输出作为所述目标乳腺X射线图像对应的乳腺密度分级结果，能够有效提高对乳腺X射线图像的特征识别的准确性及效率，并能够有效可靠提高对乳腺X射线图像对应的乳腺密度的分级过程的高效性及智能化程度，以及同时能够有效提高乳腺密度分级的准确性，进而能够满足现代化乳腺医学的自动化需求并能够有效适应现在医学影像大数据智能诊断的发展趋势。
基于上述内容，本申请还提供一种乳腺密度自动分级装置，该装置可以为一种服务器S1，参见图1，该服务器S1可以与至少一个客户端设备B1通信连接，所述客户端设备B1可以将目标乳腺X射线图像发送至所述服务器S1，所述服务器S1可以在线接收所述目标乳腺X射线图像。所述服务器S1可以在线或者离线对获取的目标乳腺X射线图像进行预处理，并将预处理后的所述目标乳腺X射线图像作为预测样本，输入预设的目标深度残差网络，并将该目标深度残差网络的输出作为所述目标乳腺X射线图像对应的乳腺密度分级结果。而后，所述服务器S1可以将所述目标乳腺X射线图像对应的乳腺密度分级结果在线发送至所述客户端设备B1。所述客户端设备B1可以在线接收所述目标乳腺X射线图像对应的乳腺密度分级结果。
另外，参见图2，所述服务器S1还可以与X射线仪通信连接，即，所述X射线仪B2进行乳腺影像数据采集，并将采集的目标乳腺X射线图像、历史乳腺X射线图像以及测试用乳腺X射线图像均发送至所述服务器S1，使得服务器S1根据接收的目标乳腺X射线图像及目标深度残差网络确定所述目标乳腺X射线图像对应的乳腺密度分级结果，以及，根据接收的历史乳腺X射线图像对深度残差网络进行模型训练，以及，根据接收的测试用乳腺X射线图像对深度残差网络进行模型测试。
以及，参见图3，所述服务器S1还可以与至少一个数据库服务器S2通信连接，所述数据库服务器S2用于存储历史乳腺X射线图像数据。所述数据库服务器S2在线将所述历史乳腺X射线图像发送至所述服务器S1，所述服务器S1可以在线接收所述历史乳腺X射线图像，而后根据多个历史乳腺X射线图像获取该深度残差网络的训练样本集，应用所述训练样本集对所述深度残差网络进行模型训练。
基于上述内容，所述数据库服务器S2还可以用于存储测试用乳腺X射线图像数据。所述数据库服务器S2在线将所述测试用乳腺X射线图像数据发送至所述服务器S1，所述服务器S1可以在线接收所述测试用乳腺X射线图像数据，而后根据至少一个测试用乳腺X射线图像得到测试样本，并应用所述测试样本对所述深度残差网络进行模型测试，并将该深度残差网络的输出作为测试结果，再基于所述测试结果及至少一个测试用乳腺X射线图像的已知分级结果，判断当前深度残差网络是否符合预设要求，若是，则将当前深度残差网络作为用于对乳腺X射线图像进行分级的目标深度残差网络；若当前深度残差网络不符合所述预设要求，则对当前深度残差网络进行优化和/或应用更新后的训练样本集重新对该深度残差网络进行模型训练。
基于上述内容，所述客户端设备B1可以具有显示界面，使得用户能够根据界面查看所述服务器S1发送的所述目标乳腺X射线图像的分级结果。
可以理解的是，所述客户端设备B1可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(PDA)、车载设备、智能穿戴设备等。其中，所述智能穿戴设备可以包括智能眼镜、智能手表、智能手环等。
在实际应用中，进行乳腺密度自动分级的部分可以在如上述内容所述的服务器S1侧执行，即，如图1所示的架构，也可以所有的操作都在所述客户端设备B1中完成，且该所述客户端设备B1可以直接与数据库服务器S2进行通信连接。具体可以根据所述客户端设备B1的处理能力，以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备B1中完成，所述客户端设备B1还可以包括处理器，用于进行乳腺密度自动分级的具体处理。
所述服务器与所述客户端设备之间、所述服务器与所述X射线仪之间均可以使用任何合适的网络协议进行通信，包括在本申请提交日尚未开发出的网络协议。所述网络协议例如可以包括TCP/IP协议、UDP/IP协议、HTTP协议、HTTPS协议等。当然，所述网络协议例如还可以包括在上述协议之上使用的RPC协议(Remote Procedure Call Protocol，远程过程调用协议)、REST协议(Representational State Transfer，表述性状态转移协议)等。
在本申请的一个或多个实施例中，所述测试用乳腺X射线图像为未包含在用于模型训练的历史乳腺X射线图像中的，且针对所述测试用乳腺X射线图像，需获取其已知乳腺密度分级结果。
在本申请的一个或多个实施例中，所述乳腺密度分级结果为各个乳腺密度级别的概率预测结果。
在本申请的一个或多个实施例中，所述乳腺密度等级包含有四个等级，且该四个等级根据不同的脂肪含量进行划分，具体为：
A级：几乎完全由脂肪组成的乳腺密度；
B级：散布有致密组织但主要是脂肪的乳腺密度；
C级：具有中等密度组织的乳腺密度；
D级：致密组织构成达到至少75％的乳腺密度。
本申请提出了一种基于影像组学方法，通过在深度残差网络中引入残差学习完成乳腺密度分级，利用残差学习模块，加深卷积网络深度提取高通量和更深层次、丰富的特征用于乳腺密度分级。构建集成临床和影像的多参数分级模型，用于乳腺癌早期筛查。具体通过下述实施例及应用场景进行具体说明。
为了能够有效提高对乳腺X射线图像的特征识别的准确性及效率，并能够有效可靠提高对乳腺X射线图像对应的乳腺密度的分级过程的高效性及智能化程度，以及同时能够有效提高乳腺密度分级的准确性，本申请实施例提供一种乳腺密度自动分级方法，参见图4，所述乳腺密度自动分级方法具体包括如下内容：
步骤100：获取目标乳腺X射线图像。
步骤200：对所述目标乳腺X射线图像进行预处理。
在步骤200中，所述乳腺密度自动分级装置对所述目标乳腺X射线图像进行预处理的具体方式为对所述目标乳腺X射线图像进行特征抽取及分割等操作。
步骤300：将预处理后的所述目标乳腺X射线图像作为预测样本，输入预设的目标深度残差网络，并将该目标深度残差网络的输出作为所述目标乳腺X射线图像对应的乳腺密度分级结果。
可以理解的是，所述目标深度残差网络ResNet是由残差学习块(Residual block)构建的。残差学习块可以一定程度上减少模型收敛难度，避免梯度消失，图5为一个残差学习块的示意图。传统的卷积神经网络卷积层定义如式(1)所示。
Cl+1＝σl+1(wl+1*Cl+1+bl+1) (1)
式(1)中，wl+1和bl+1表示各层之间的权重和偏置。
而残差学习通过短连接实现恒等映射下的特殊情况，不引入额外的参数和计算复杂度。对于普通网络，针对任意堆叠的两层网络，若希望找到的是一个映射H(x)＝F(x)+x对应的残差元，则可以添加一个短连接，即从输入到输出，这里的短连接默认为恒等映射，则此时针对该网络的问题就从寻找映射H(x)到F(x)；这里类似于在数学上，若直接去解一个方程较为复杂，则需要将其分解成两个简单问题和的形式后分别去解决。
从上述描述可知，本申请实施例提供的乳腺密度自动分级方法，整合了残差学习在卷积网络图像处理方面的技术优势和影像组学先进思路方面的优势，建立基于X射线影像大数据的乳腺密度分级评价模型，能够实现特征提取及选择的全自动化，并且在模型处理的数量上和质量上均能够有极大的提升。另外，通过应用乳腺癌早期筛查的重要手段的X射线影像数据，也使得该方案的应用更为广泛。
为了能够进一步有效提高乳腺密度自动分级的准确性，在本申请的一实施例中，本申请还提供所述乳腺密度自动分级方法中在步骤100之前执行的模型建立及训练过程，参见图6，所述模型建立及训练过程具体包括如下内容：
步骤001：构建一深度残差网络，以及，根据多个历史乳腺X射线图像获取该深度残差网络的训练样本集。
步骤002：应用所述训练样本集对所述深度残差网络进行模型训练。
其中，所述步骤001中的所述根据多个历史乳腺X射线图像获取该深度残差网络的训练样本集，参见图7，具体包含有如下内容：
步骤001a：获取多个历史乳腺X射线图像；
步骤002a：对各个历史乳腺X射线图像均进行预处理；
步骤003a：对预处理后的各个历史乳腺X射线图像分别进行标记，得到各个历史乳腺X射线图像分别对应的等级标签，其中，所述等级标签用于表示其所属的历史乳腺X射线图像对应的乳腺密度等级；
步骤004a：将标记后的各个历史乳腺X射线图像组成所述深度残差网络的训练样本集。
基于上述内容，本申请提供一种乳腺密度自动分级方法的模型建立及训练场景，具体内容如下：
(一)深度残差网络建立
深度残差网络，由三个执行阶段及多个全连接层依次组成，且每个所述执行阶段均由多个卷积层及堆叠而成的多个残差模块依次组成，乳腺X射线图像经首个执行阶段的卷积层输入后，在所述深度残差网络中进行三个所述执行阶段的映射，最终由最后一个全连接层输出该乳腺X射线图像对应的乳腺密度分级结果。
所述深度残差网络的具体结果如图8所示，各执行阶段中的具体内容如下：
该深度残差网络中所有卷积层中卷积核大小均为3*3，首先，训练集输入到深度残差网络，经过3个卷积层(卷积核个数均为16)之后开始使用残差学习块，所采用深度残差网络共含有3*7＝21个残差学习块。
在第一个阶段中，第一个残差学习块中间是2个卷积层(卷积核个数均为64)，第2-7个残差学习块中均包含3个卷积层(卷积核个数均为16,16,64的组合)；
在第二个阶段中，首先经过2个卷积层(卷积核个数均为64)之后开始使用残差学习块，第一个残差学习块中间是2个卷积层(卷积核个数均为128)，第2-7个残差学习块中均包含3个卷积层(卷积核个数均为64,64,128的组合)；
在第三个阶段中，首先经过2个卷积层(卷积核个数均为128)之后开始使用残差学习块，第一个残差学习块中间是2个卷积层(卷积核个数均为256)，第2-7个残差学习块中均包含3个卷积层(卷积核个数均为128,128,256的组合)；
最后经过三个全连接层输出，第一个全连接层包含1024个神经元，第二个全连接层包含512个神经元，第三个全连接层包含4个神经元，最终得到网络对乳腺X射线图像密度分级的概率预测结果。
建立基于残差学习的深度卷积评级模型。残差学习块可以一定程度上减少模型收敛难度，避免梯度消失。
通过残差学习模块的堆叠，实现网络深度增加，特征数量增多，而且更加抽象和具有高层信息。
在深度残差网络的最后几层通常由全连接层构成，最后一层的激活函数为softmax用于乳腺密度分级，如式(2)所示。
CL＝softmax(WLCL-1+bL) (2)
其中且WL和bL分别为最后一层全连接层的权重和偏置。
(二)训练数据获取
对数据采集设备进行初始化设置；并通过招募志愿者并签署伦理协议书，医生在临床上使用X射线仪进行乳腺影像数据采集。
(三)训练数据预处理
进行X射线数据标注和预处理。及通过基于INbreast的数据集来代替，其中包含了标注信息，即四个乳腺密度等级，数据预处理采集的是归一化到(0-255)之间。
(四)模型训练
将由各个所述历史乳腺X射线图像获取该深度残差网络的训练样本集，对所述深度残差网络进行模型训练。
为了能够进一步有效提高乳腺密度自动分级结果的准确性，在本申请的一实施例中，本申请还提供所述乳腺密度自动分级方法中在步骤100之前及步骤002之后执行的模型测试过程，参见图9，所述模型测试过程具体包括如下内容：
步骤A01：根据至少一个测试用乳腺X射线图像得到测试样本；
步骤A02：应用所述测试样本对所述深度残差网络进行模型测试，并将该深度残差网络的输出作为测试结果；
步骤A03：基于所述测试结果及至少一个测试用乳腺X射线图像的已知分级结果，判断当前深度残差网络是否符合预设要求；
若是，则执行步骤A04，否则，则执行步骤A05。
步骤A04：将当前深度残差网络作为用于对乳腺X射线图像进行乳腺密度分级的目标深度残差网络。
步骤A05：若当前深度残差网络不符合所述预设要求，则对当前深度残差网络进行优化和/或应用更新后的训练样本集重新对该深度残差网络进行模型训练。
基于上述内容，本申请提供一种乳腺密度自动分级方法的模型测试场景，具体内容如下：
(1)获取多个测试用乳腺X射线图像。
(2)对各个测试用乳腺X射线图像均进行预处理。
(3)对预处理后的各个测试用乳腺X射线图像分别进行标记，得到各个测试用乳腺X射线图像分别对应的等级标签，其中，所述等级标签用于表示其所属的测试用乳腺X射线图像对应的乳腺密度等级。
(4)将标记后的各个测试用乳腺X射线图像组成所述深度残差网络的测试样本。
(5)应用所述测试样本对所述深度残差网络进行模型测试，并将该深度残差网络的输出作为测试结果。
(6)基于所述测试结果及至少一个测试用乳腺X射线图像的已知分级结果，判断当前深度残差网络是否符合预设要求；若是，则将当前深度残差网络作为用于对乳腺X射线图像进行乳腺密度分级的目标深度残差网络，若当前深度残差网络不符合所述预设要求，则对当前深度残差网络进行优化和/或应用更新后的训练样本集重新对该深度残差网络进行模型训练。其中，深度残差网络后向过程是通过反向传播算法实现权重和偏置的更新，通过优化多分级交叉熵的损失函数实现模型参数最优，使其可以提取到可以量化不同分级的乳腺密度差别的特征，实现乳腺癌早期筛查。
上述描述可知，本申请实施例提供的乳腺密度自动分级方法，如图10所示，第一步，对数据采集设备进行初始化设置；第二步，通过招募志愿者并签署伦理协议书，医生在临床上使用X射线仪进行乳腺影像数据采集；然后对乳腺密度进行标记、分级及其他预处理操作；第三步，根据乳腺X射线图像特征搭建适当深度的残差网络；第四步，对不同级的特征进行自动提取并进行学习；第五步，进行分级测试，达到分级要求即可对乳腺X射线影像数据进行在线自动分级应用，否则的话返回第二、三、四步对数据、网络及训练设置进行优化处理。本申请首次提出基于影像组学结合残差学习方法用于乳腺密度分级评价，并提出了一个解这个问题的相应算法，且有助于提高乳腺癌早期筛查准确率，预测乳腺癌发展可能性。另外，通过基于残差学习模块的深度卷积网络使特征实现全自动提取，并且在数量和质量上都有很大提升，实现乳腺密度自动分级，且实验验证本申请技术对乳腺密度分级准确率可以达到92.96％。
为了能够有效提高对乳腺X射线图像的特征识别的准确性及效率，并能够有效可靠提高对乳腺X射线图像对应的乳腺密度的分级过程的高效性及智能化程度，以及同时能够有效提高乳腺密度分级的准确性，本申请实施例提供一种用于实现所述乳腺密度自动分级方法的全部内容的乳腺密度自动分级装置，参见图11，所述乳腺密度自动分级装置具体包括如下内容：
数据获取模块10，用于获取目标乳腺X射线图像。
数据预处理模块20，用于对所述目标乳腺X射线图像进行预处理。
模型预测模块30，用于将预处理后的所述目标乳腺X射线图像作为预测样本，输入预设的目标深度残差网络，并将该目标深度残差网络的输出作为所述目标乳腺X射线图像对应的乳腺密度分级结果。
本申请提供的乳腺密度自动分级装置的实施例具体可以用于执行上述实施例中的乳腺密度自动分级方法的各个实施例的全部处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。
从上述描述可知，本申请实施例提供的乳腺密度自动分级装置，通过数据获取模块10获取目标乳腺X射线图像，能够为后续图像识别提供准确且可靠的数据基础，通过数据预处理模块20对所述目标乳腺X射线图像进行预处理，能够获取更为可靠且准确的用于进行乳腺密度分级的图像特征，通过模型预测模块30将预处理后的所述目标乳腺X射线图像作为预测样本，输入预设的目标深度残差网络，并将该目标深度残差网络的输出作为所述目标乳腺X射线图像对应的乳腺密度分级结果，能够有效提高对乳腺X射线图像的特征识别的准确性及效率，并能够有效可靠提高对乳腺X射线图像对应的乳腺密度的分级过程的高效性及智能化程度，以及同时能够有效提高乳腺密度分级的准确性，进而能够满足现代化乳腺医学的自动化需求并能够有效适应现在医学影像大数据智能诊断的发展趋势。
为了能够进一步有效提高乳腺X射线图像的分级结果的准确性，在本申请的一实施例中，本申请还提供所述乳腺密度自动分级装置中的模型构建模块和模型训练模块，参见图12，所述模型构建模块和模型训练模块具体包括如下内容：
模型构建模块01，用于构建一深度残差网络，以及，根据多个历史乳腺X射线图像获取该深度残差网络的训练样本集。
模型训练模块02，用于应用所述训练样本集对所述深度残差网络进行模型训练。
可以理解的是，所述深度残差网络由三个执行阶段及多个全连接层依次组成，且每个所述执行阶段均由多个卷积层及堆叠而成的多个残差模块依次组成，乳腺X射线图像经首个执行阶段的卷积层输入后，在所述深度残差网络中进行三个所述执行阶段的映射，最终由最后一个全连接层输出该乳腺X射线图像对应的乳腺密度分级结果。
其中的模型构建模块01还具体包含有如下内容：
历史数据获取单元01a，用于获取多个历史乳腺X射线图像；
历史数据预处理单元01b，用于对各个历史乳腺X射线图像均进行预处理；
历史数据标记单元01c，用于对预处理后的各个历史乳腺X射线图像分别进行标记，得到各个历史乳腺X射线图像分别对应的等级标签；
其中，所述等级标签用于表示其所属的历史乳腺X射线图像对应的乳腺密度等级；
训练样本集生成单元01d，用于将标记后的各个历史乳腺X射线图像组成所述深度残差网络的训练样本集。
为了能够进一步有效提高乳腺X射线图像的分级结果的准确性，在本申请的一实施例中，参见图13，本申请还提供所述乳腺密度自动分级装置中的模型测试模块A0，所述模型测试模块A0具体包括如下内容：
测试样本获取单元A1，用于根据至少一个测试用乳腺X射线图像得到测试样本；
模型测试单元A2，用于应用所述测试样本对所述深度残差网络进行模型测试，并将该深度残差网络的输出作为测试结果；
测试结果判定单元A3，用于基于所述测试结果及至少一个测试用乳腺X射线图像的已知分类结果，判断当前深度残差网络是否符合预设要求，若是，则将当前深度残差网络作为用于对乳腺X射线图像进行乳腺密度分级的目标深度残差网络。且所述测试结果判定单元还还用于若当前深度残差网络不符合所述预设要求，则对当前深度残差网络进行优化和/或应用更新后的训练样本集重新对该深度残差网络进行模型训练。
基于上述内容，本申请提供一种乳腺密度自动分级装置的测试样本获取单元A1的具体实施例，具体内容如下：
测试用数据获取单元A1a，用于获取多个测试用乳腺X射线图像。
测试用数据预处理单元A1b，用于对各个测试用乳腺X射线图像均进行预处理。
测试用数据标记单元A1c，用于对预处理后的各个测试用乳腺X射线图像分别进行标记，得到各个测试用乳腺X射线图像分别对应的等级标签，其中，所述等级标签用于表示其所属的测试用乳腺X射线图像对应的乳腺密度等级。
训练样本集生成单元A1d，用于将标记后的各个测试用乳腺X射线图像组成所述深度残差网络的测试样本。
从上述描述可知，本申请实施例提供的乳腺密度自动分级装置，整合了残差学习在卷积网络图像处理方面的技术优势和影像组学先进思路方面的优势，建立基于X射线影像大数据的乳腺密度分级评价模型，能够实现特征提取及选择的全自动化，并且在模型处理的数量上和质量上均能够有极大的提升。另外，通过应用乳腺癌早期筛查的重要手段的X射线影像数据，也使得该方案的应用更为广泛。
本申请的实施例还提供能够实现上述实施例中的乳腺密度自动分级方法中全部步骤的一种电子设备的具体实施方式，参见图14，所述电子设备具体包括如下内容：
处理器(processor)601、存储器(memory)602、通信接口(CommunicationsInterface)603和总线604；
其中，所述处理器601、存储器602、通信接口603通过所述总线604完成相互间的通信；所述通信接口603用于实现乳腺密度自动分级装置、服务器、X射线仪、客户终端以及其他参与机构之间的信息传输；
所述处理器601用于调用所述存储器602中的计算机程序，所述处理器执行所述计算机程序时实现上述实施例中的乳腺密度自动分级方法中的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
步骤100：获取目标乳腺X射线图像。
步骤200：对所述目标乳腺X射线图像进行预处理。
步骤300：将预处理后的所述目标乳腺X射线图像作为预测样本，输入预设的目标深度残差网络，并将该目标深度残差网络的输出作为所述目标乳腺X射线图像对应的乳腺密度分级结果。
从上述描述可知，本申请实施例提供的电子设备，整合了残差学习在卷积网络图像处理方面的技术优势和影像组学先进思路方面的优势，建立基于X射线影像大数据的乳腺密度分级评价模型，能够实现特征提取及选择的全自动化，并且在模型处理的数量上和质量上均能够有极大的提升。另外，通过应用乳腺癌早期筛查的重要手段的X射线影像数据，也使得该方案的应用更为广泛。
本申请的实施例还提供能够实现上述实施例中的乳腺密度自动分级方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的乳腺密度自动分级方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
步骤100：获取目标乳腺X射线图像。
步骤200：对所述目标乳腺X射线图像进行预处理。
步骤300：将预处理后的所述目标乳腺X射线图像作为预测样本，输入预设的目标深度残差网络，并将该目标深度残差网络的输出作为所述目标乳腺X射线图像对应的乳腺密度分级结果。
从上述描述可知，本申请实施例提供的计算机可读存储介质，整合了残差学习在卷积网络图像处理方面的技术优势和影像组学先进思路方面的优势，建立基于X射线影像大数据的乳腺密度分级评价模型，能够实现特征提取及选择的全自动化，并且在模型处理的数量上和质量上均能够有极大的提升。另外，通过应用乳腺癌早期筛查的重要手段的X射线影像数据，也使得该方案的应用更为广泛。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
虽然本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
虽然本说明书实施例提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或终端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上所述仅为本说明书实施例的实施例而已，并不用于限制本说明书实施例。对于本领域技术人员来说，本说明书实施例可以有各种更改和变化。凡在本说明书实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书实施例的权利要求范围之内。

Claims (18)

1.一种乳腺密度自动分级方法，其特征在于，包括：
获取目标乳腺X射线图像；
对所述目标乳腺X射线图像进行预处理；
将预处理后的所述目标乳腺X射线图像作为预测样本，输入预设的目标深度残差网络，并将该目标深度残差网络的输出作为所述目标乳腺X射线图像对应的乳腺密度分级结果。
2.根据权利要求1所述的乳腺密度自动分级方法，其特征在于，在所述获取目标乳腺X射线图像之前，还包括：
构建一深度残差网络，以及，根据多个历史乳腺X射线图像获取该深度残差网络的训练样本集；
应用所述训练样本集对所述深度残差网络进行模型训练。
3.根据权利要求2所述的乳腺密度自动分级方法，其特征在于，所述深度残差网络由三个执行阶段及多个全连接层依次组成，且每个所述执行阶段均由多个卷积层及堆叠而成的多个残差模块依次组成，乳腺X射线图像经首个执行阶段的卷积层输入后，在所述深度残差网络中进行三个所述执行阶段的映射，最终由最后一个全连接层输出该乳腺X射线图像对应的乳腺密度分级结果。
4.根据权利要求2所述的乳腺密度自动分级方法，其特征在于，所述根据多个历史乳腺X射线图像获取该深度残差网络的训练样本集，包括：
获取多个历史乳腺X射线图像；
对各个历史乳腺X射线图像均进行预处理；
对预处理后的各个历史乳腺X射线图像分别进行标记，得到各个历史乳腺X射线图像分别对应的等级标签；
其中，所述等级标签用于表示其所属的历史乳腺X射线图像对应的乳腺密度等级；
将标记后的各个历史乳腺X射线图像组成所述深度残差网络的训练样本集。
5.根据权利要求2所述的乳腺密度自动分级方法，其特征在于，还包括：
根据至少一个测试用乳腺X射线图像得到测试样本；
应用所述测试样本对所述深度残差网络进行模型测试，并将该深度残差网络的输出作为测试结果；
基于所述测试结果及至少一个测试用乳腺X射线图像的已知分类结果，判断当前深度残差网络是否符合预设要求；
若是，则将当前深度残差网络作为用于对乳腺X射线图像进行乳腺密度分级的目标深度残差网络。
6.根据权利要求5所述的乳腺密度自动分级方法，其特征在于，还包括：
若当前深度残差网络不符合所述预设要求，则对当前深度残差网络进行优化和/或应用更新后的训练样本集重新对该深度残差网络进行模型训练。
7.根据权利要求5所述的乳腺密度自动分级方法，其特征在于，所述根据至少一个测试用乳腺X射线图像得到测试样本，包括：
获取多个测试用乳腺X射线图像；
对各个测试用乳腺X射线图像均进行预处理；
对预处理后的各个测试用乳腺X射线图像分别进行标记，得到各个测试用乳腺X射线图像分别对应的等级标签；
其中，所述等级标签用于表示其所属的测试用乳腺X射线图像对应的乳腺密度等级；
将标记后的各个测试用乳腺X射线图像组成所述深度残差网络的测试样本。
8.根据权利要求4或7所述的乳腺密度自动分级方法，其特征在于，所述乳腺密度等级包含有四个等级，且该四个等级根据不同的脂肪含量进行划分。
9.一种乳腺密度自动分级装置，其特征在于，包括：
数据获取模块，用于获取目标乳腺X射线图像；
数据预处理模块，用于对所述目标乳腺X射线图像进行预处理；
模型预测模块，用于将预处理后的所述目标乳腺X射线图像作为预测样本，输入预设的目标深度残差网络，并将该目标深度残差网络的输出作为所述目标乳腺X射线图像对应的乳腺密度分级结果。
10.根据权利要求9所述的乳腺密度自动分级装置，其特征在于，还包括：
模型构建模块，用于构建一深度残差网络，以及，根据多个历史乳腺X射线图像获取该深度残差网络的训练样本集；
模型训练模块，用于应用所述训练样本集对所述深度残差网络进行模型训练。
11.根据权利要求10所述的乳腺密度自动分级装置，其特征在于，所述深度残差网络由三个执行阶段及多个全连接层依次组成，且每个所述执行阶段均由多个卷积层及堆叠而成的多个残差模块依次组成，乳腺X射线图像经首个执行阶段的卷积层输入后，在所述深度残差网络中进行三个所述执行阶段的映射，最终由最后一个全连接层输出该乳腺X射线图像对应的乳腺密度分级结果。
12.根据权利要求10所述的乳腺密度自动分级装置，其特征在于，所述模型构建模块包括：
历史数据获取单元，用于获取多个历史乳腺X射线图像；
历史数据预处理单元，用于对各个历史乳腺X射线图像均进行预处理；
历史数据标记单元，用于对预处理后的各个历史乳腺X射线图像分别进行标记，得到各个历史乳腺X射线图像分别对应的等级标签；
其中，所述等级标签用于表示其所属的历史乳腺X射线图像对应的乳腺密度等级；
训练样本集生成单元，用于将标记后的各个历史乳腺X射线图像组成所述深度残差网络的训练样本集。
13.根据权利要求10所述的乳腺密度自动分级装置，其特征在于，还包括：
测试样本获取单元，用于根据至少一个测试用乳腺X射线图像得到测试样本；
模型测试单元，用于应用所述测试样本对所述深度残差网络进行模型测试，并将该深度残差网络的输出作为测试结果；
测试结果判定单元，用于基于所述测试结果及至少一个测试用乳腺X射线图像的已知分类结果，判断当前深度残差网络是否符合预设要求，若是，则将当前深度残差网络作为用于对乳腺X射线图像进行乳腺密度分级的目标深度残差网络。
14.根据权利要求13所述的乳腺密度自动分级装置，其特征在于，所述测试结果判定单元还用于若当前深度残差网络不符合所述预设要求，则对当前深度残差网络进行优化和/或应用更新后的训练样本集重新对该深度残差网络进行模型训练。
15.根据权利要求13所述的乳腺密度自动分级装置，其特征在于，所述测试样本获取单元，包括：
测试用数据获取单元，用于获取多个测试用乳腺X射线图像；
测试用数据预处理单元，用于对各个测试用乳腺X射线图像均进行预处理；
测试用数据标记单元，用于对预处理后的各个测试用乳腺X射线图像分别进行标记，得到各个测试用乳腺X射线图像分别对应的等级标签；
其中，所述等级标签用于表示其所属的测试用乳腺X射线图像对应的乳腺密度等级；
训练样本集生成单元，用于将标记后的各个测试用乳腺X射线图像组成所述深度残差网络的测试样本。
16.根据权利要求12或15所述的乳腺密度自动分级装置，其特征在于，所述乳腺密度等级包含有四个等级，且该四个等级根据不同的脂肪含量进行划分。
17.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述的乳腺密度自动分级方法的步骤。
18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至8任一项所述的乳腺密度自动分级方法的步骤。
CN201811418719.1A 2018-11-26 2018-11-26 乳腺密度自动分级方法及装置 Pending CN109636780A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811418719.1A CN109636780A (zh) 2018-11-26 2018-11-26 乳腺密度自动分级方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811418719.1A CN109636780A (zh) 2018-11-26 2018-11-26 乳腺密度自动分级方法及装置

Publications (1)

Publication Number Publication Date
CN109636780A true CN109636780A (zh) 2019-04-16

Family

ID=66068920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811418719.1A Pending CN109636780A (zh) 2018-11-26 2018-11-26 乳腺密度自动分级方法及装置

Country Status (1)

Country Link
CN (1) CN109636780A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163260A (zh) * 2019-04-26 2019-08-23 平安科技（深圳）有限公司 基于残差网络的图像识别方法、装置、设备及存储介质
CN110473163A (zh) * 2019-06-03 2019-11-19 赵旭东 一种用于诊断乳腺肿块的超声图像预处理系统及处理超声图像的方法
CN112508942A (zh) * 2020-12-25 2021-03-16 上海深博医疗器械有限公司 一种获取bi-rads等级的方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919897A (zh) * 2016-12-30 2017-07-04 华北电力大学（保定） 一种基于三级残差网络的人脸图像年龄估计方法
CN107886514A (zh) * 2017-11-22 2018-04-06 浙江中医药大学 基于深度残差网络的乳腺钼靶图像肿块语义分割方法
CN108052977A (zh) * 2017-12-15 2018-05-18 福建师范大学 基于轻量级神经网络的乳腺钼靶图像深度学习分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919897A (zh) * 2016-12-30 2017-07-04 华北电力大学（保定） 一种基于三级残差网络的人脸图像年龄估计方法
CN107886514A (zh) * 2017-11-22 2018-04-06 浙江中医药大学 基于深度残差网络的乳腺钼靶图像肿块语义分割方法
CN108052977A (zh) * 2017-12-15 2018-05-18 福建师范大学 基于轻量级神经网络的乳腺钼靶图像深度学习分类方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163260A (zh) * 2019-04-26 2019-08-23 平安科技（深圳）有限公司 基于残差网络的图像识别方法、装置、设备及存储介质
CN110163260B (zh) * 2019-04-26 2024-05-28 平安科技（深圳）有限公司 基于残差网络的图像识别方法、装置、设备及存储介质
CN110473163A (zh) * 2019-06-03 2019-11-19 赵旭东 一种用于诊断乳腺肿块的超声图像预处理系统及处理超声图像的方法
CN112508942A (zh) * 2020-12-25 2021-03-16 上海深博医疗器械有限公司 一种获取bi-rads等级的方法和系统

Similar Documents

Publication Publication Date Title
Shahidi et al. Breast cancer classification using deep learning approaches and histopathology image: A comparison study
CN112017198B (zh) 基于自注意力机制多尺度特征的右心室分割方法及装置
CN109740657A (zh) 一种用于图像数据分类的神经网络模型的训练方法与设备
CN109636780A (zh) 乳腺密度自动分级方法及装置
CN109614993A (zh) 乳腺医学超声图像的自动化分类方法及装置
CN109829849A (zh) 一种训练数据的生成方法、装置和终端
CN109685077A (zh) 一种乳腺肿块图像识别方法及装置
JP7386370B1 (ja) 連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割方法及びシステム
CN103518183B (zh) 图形对象分类
WO2020107156A1 (zh) 乳腺医学超声图像的自动化分类方法及装置
US11688061B2 (en) Interpretation of whole-slide images in digital pathology
CN108231190A (zh) 处理图像的方法和神经网络系统、设备、介质、程序
CN109934247A (zh) 电子装置及其控制方法
US20230008696A1 (en) Method for incrementing sample image
CN108629772A (zh) 图像处理方法及装置、计算机设备和计算机存储介质
CN109102498A (zh) 一种宫颈涂片图像中簇型细胞核分割的方法
CN110414372A (zh) 增强的人脸检测方法、装置及电子设备
CN109461144A (zh) 一种乳腺影像识别的方法及装置
Jain et al. An analysis of medical images using deep learning
Gan et al. Learning-aware feature denoising discriminator
CN115412401A (zh) 训练虚拟网络嵌入模型及虚拟网络嵌入的方法和装置
Wang et al. Improved BlendMask: Nuclei instance segmentation for medical microscopy images
WO2020107167A1 (zh) 乳腺密度自动分级方法及装置
Kontham et al. An end-to-end explainable AI system for analyzing breast cancer prediction models
CN115731240A (zh) 一种分割方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190416

RJ01 Rejection of invention patent application after publication