CN110599476B - 基于机器学习的疾病分级方法、装置、设备及介质 - Google Patents

基于机器学习的疾病分级方法、装置、设备及介质 Download PDF

Info

Publication number
CN110599476B
CN110599476B CN201910864488.5A CN201910864488A CN110599476B CN 110599476 B CN110599476 B CN 110599476B CN 201910864488 A CN201910864488 A CN 201910864488A CN 110599476 B CN110599476 B CN 110599476B
Authority
CN
China
Prior art keywords
map
semantic segmentation
breast
feature
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910864488.5A
Other languages
English (en)
Other versions
CN110599476A (zh
Inventor
陈思宏
郑冶枫
马锴
曹世磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910864488.5A priority Critical patent/CN110599476B/zh
Publication of CN110599476A publication Critical patent/CN110599476A/zh
Application granted granted Critical
Publication of CN110599476B publication Critical patent/CN110599476B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本申请公开了一种基于机器学习的疾病分级方法、装置、设备及介质，所述方法属于医学人工智能领域，所述系统包括：获取乳腺超声图像；调用多任务网络对乳腺超声图像进行处理，得到乳腺超声图像的第一特征图和语义分割图，第一特征图包括乳腺超声图像的高层语义特征，语义分割图是对乳腺超声图像中的病灶区域进行语义分割的图；根据语义分割图对第一特征图中的病灶区域和非病灶区域进行不同权重的特征提取，得到第二特征图；根据第二特征图预测得到乳腺超声图像的BI‑RADS分级。本申请采用了具有分类引导的高层语义特征作为主要分级特征，并且引入病灶轮廓来对病灶区域和非病灶区域进行不同的特征提取，回归出准确的BI‑RADS分级结果。

Description

基于机器学习的疾病分级方法、装置、设备及介质
技术领域
本申请实施例涉及机器学习领域，特别涉及一种基于机器学习的疾病分级方法、装置、设备及介质。
背景技术
乳腺癌是女性头号杀手，早诊断早治疗是减少乳腺癌致死率的最有效途径。超声图像检查由于实时、价格低廉以及无辐射的特性，是国内使用最广的乳腺癌筛查手段。乳腺影像报告和数据系统(Breast imaging reporting and data system，BI-RADS)分级是对乳腺癌进行分级的临床指标。
相关技术中，采用神经网络模型对乳腺超声图像中的病灶进行识别，从而定位出乳腺超声图像中的可疑病灶以及良恶性预测结果，然后，由医生根据乳腺超声图像中的所有异常信息推断出该乳腺超声图像整体的BI-RADS评分。
由于乳腺超声图像中的对比度较差，所以相关技术中尚无法直接对乳腺超声图像的BI-RADS级别进行预测。
发明内容
本申请实施例提供了一种基于机器学习的疾病分级方法、装置、设备及介质，可以解决乳腺超声图像中的对比度较差，所以相关技术中尚无法直接对乳腺超声图像的BI-RADS级别进行预测的问题。所述技术方案如下：
根据本申请的一个方面，提供了一种基于机器学习的疾病分级方法，所述方法包括：
获取乳腺超声图像；
调用多任务网络对所述乳腺超声图像进行处理，得到所述乳腺超声图像的第一特征图和语义分割图，所述第一特征图包括所述乳腺超声图像的高层语义特征，所述语义分割图是对所述乳腺超声图像中的病灶区域进行语义分割的图；
根据所述语义分割图对所述第一特征图中的病灶区域和非病灶区域进行不同权重的特征提取，得到第二特征图；
根据所述第二特征图预测得到所述乳腺超声图像的BI-RADS分级。
根据本申请的一个方面，提供了一种基于机器学习的疾病分级装置，其特征在于，所述装置包括：
获取模块，用于获取乳腺超声图像；
处理模块，用于调用多任务网络对所述乳腺超声图像进行处理，得到所述乳腺超声图像的第一特征图和语义分割图，所述第一特征图包括所述乳腺超声图像的高层语义特征，所述语义分割图是对所述乳腺超声图像中的病灶区域进行语义分割的图；
提取模块，用于根据所述语义分割图对所述第一特征图中的病灶区域和非病灶区域进行不同权重的特征提取，得到第二特征图；
预测模块，用于根据所述第二特征图预测得到所述乳腺超声图像的乳腺影像报告和数据系统BI-RADS分级。
根据本申请的另一方面，提供了一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器存储有至少一条程序，所述至少一条程序由所述处理器加载并执行以实现如上所述的基于机器学习的疾病分级方法。
根据本申请的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条程序，所述至少一条程序由处理器加载并执行以实现如上所述的基于机器学习的疾病分级方法。
根据本申请的另一方面，提供了一种计算机程序产品，所述计算机程序产品中存储有至少一条程序，所述至少一条程序由处理器加载并执行以实现如上所述的基于机器学习的疾病分级方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
通过不依赖基于灰度信息的机器学习特征，而是采用了具有分类引导的高层语义特征作为主要分级特征，并且引入语义分割图中的病灶轮廓来对第一特征图中的病灶区域和非病灶区域进行不同权重的特征提取，能够依照病灶轮廓来约束BI-RADS分级结果，最后回归出较为准确的BI-RADS分级结果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个示意性实施例提供的基于机器学习的疾病分级系统的框图；
图2是本申请另一个示意性实施例提供的基于机器学习的疾病分级方法的流程图；
图3是本申请一个示意性实施例提供的基于机器学习的疾病分级方法的流程图；
图4是本申请一个示意性实施例提供的基于机器学习的疾病分级方法的原理示意图；
图5是本申请一个示意性实施例提供的乳腺超声图像的辅助检测装置的框图；
图6是本申请一个示意性实施例提供的计算机设备的框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
尽管以下描述使用术语第一、第二等来描述各种元素，但这些元素不应受术语的限制。这些术语只是用于将一元素与另一元素区域分开。例如，在不脱离各种所述示例的范围的情况下，第一图像可以被称为第二图像，并且类似地，第二图像可以被称为第一图像。第一图像和第二图像都可以是图像，并且在某些情况下，可以是单独且不同的图像。
在本文中对各种所述示例的描述中所使用的术语只是为了描述特定示例，而并非旨在进行限制。如在对各种所述示例的描述和所附权利要求书中所使用的那样，单数形式“一个(“a”“,an”)”和“该”旨在也包括复数形式，除非上下文另外明确地指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”(“inCludes”“inCluding”“Comprises”和/或“Comprising”)当在本说明书中使用时指定存在所陈述的特征、整数、步骤、操作、元素、和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元素、部件、和/或其分组。
根据上下文，术语“如果”可被解释为意指“当...时”(“when”或“upon”)或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定...”或“如果检测到[所陈述的条件或事件]”可被解释为意指“在确定...时”或“响应于确定...”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
首先对本申请实施例涉及的若干个名词进行简介：
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
乳房超声图像：是利用超声波的物理性质及人体乳房组织不同的等密度值，将乳房的二维图像投影于胶片之上得到的图像，简称超声图像。
本申请实施例提供的方案涉及人工智能的BI-RADS分级自动诊断技术，具体通过如下实施例进行说明。
图1示出了本申请一个示例性实施例提供的计算机系统的结构框图。该计算机系统包括：乳腺超声设备02、BI-RADS分级自动诊断系统10和医生设备04。
乳腺超声设备02是用于基于超声技术，采集乳腺超声图像的设备。乳腺超声设备02可属于乳腺超声图像辅助诊断设备10，也可以独立于乳腺超声图像的辅助诊断设备10之外部署，图1中以独立部署为例来说明。
BI-RADS分级自动诊断系统10是一台或多台计算机设备，比如单台服务器、服务器群组、服务器集群中的至少一种。BI-RADS分级自动诊断系统10用于根据乳腺超声设备02采集的乳腺超声图像，进行BI-RADS分级的预测。BI-RADS分级自动诊断系统10中设置有基于机器学习的多任务网络。
医生设备04是医生使用的计算机设备，可以是台式电脑、笔记本、触摸显示屏等。医生设备04用于查看BI-RADS分级自动诊断系统10所生成的预测结果。医生设备04可属于乳腺超声图像辅助诊断设备10，也可以独立于乳腺超声图像辅助诊断设备10之外部署，图1中以独立部署为例来说明。
图2示出了本申请一个示例性实施例提供的基于机器学习的疾病分级方法的流程图。该方法可以应用于图1所示的BI-RADS分级自动诊断系统10。该方法包括：
步骤202，获取乳腺超声图像；
步骤204，调用多任务网络对乳腺超声图像进行处理，得到乳腺超声图像的第一特征图和语义分割图；
其中，第一特征图包括乳腺超声图像的高层语义特征，语义分割图是对乳腺超声图像中的病灶区域进行语义分割的图。
可选的，多任务网络是卷积神经网络，比如，多任务网络是基于U-net所构建的神经网络模型。多任务网络是用于进行语义分级任务和语义分割任务的神经网络模型。
示例性的，多任务网络包括：语义分级分支和语义分割分支。其中，语义分级分支是用于提取第一特征图的神经网络分支，语义分割分支是用于提取语义分割图的神经网络分支。
步骤206，根据语义分割图对第一特征图中的病灶区域和非病灶区域进行不同权重的特征提取，得到第二特征图；
语义分割图中包括位于前景的病灶区域和位于背景的非病灶区域，病灶区域和非病灶区域之间存在病灶边缘信息。
基于语义分割图对病灶区域采用第一权重的特征提取，对非病灶区域采用第二权重的特征提取，得到第二特征图。其中，第一权重大于第二权重。
步骤208，根据第二特征图预测得到乳腺超声图像的BI-RADS分级。
综上所述，本实施例提供的方法，通过不依赖基于灰度信息的机器学习特征，而是采用了具有分类引导的高层语义特征作为主要分级特征，并且引入语义分割图中的病灶轮廓来对第一特征图中的病灶区域和非病灶区域进行不同权重的特征提取，能够依照病灶轮廓来约束BI-RADS分级结果，最后回归出较为准确的BI-RADS分级结果。
图3示出了本申请另一个示例性实施例提供的基于机器学习的疾病分级方法的流程图。该方法可以应用于图1所示的BI-RADS分级自动诊断系统10(简称诊断系统)。该方法包括：
步骤301，获取乳腺超声图像；
乳腺超声设备能够对病人进行乳腺超声检查，拍摄得到乳腺超声检查视频。乳腺超声检查视频包括：按照时间顺序采集的乳腺超声图像序列。
在一个示例中，医生使用医生设备可以在观看乳腺超声检查视频的过程中，手动指定一帧或几帧乳腺超声图像作为冻结帧乳腺超声图像。在另一个示例中，辅助诊断系统通过图像清晰图算法在乳腺超声检查视频中，选择清晰度最高的一帧或几帧乳腺超声图像作为冻结帧乳腺超声图像。
冻结帧乳腺超声图像是待识别的乳腺超声图像。也即，需要输入至多任务网络中进行BI-RADS分级的乳腺超声图像。
示例性的参考图4，多任务网络40包括基于U-Net网络搭建的两路网络分支：语义分级分支和语义分割分支。该语义分级分支和语义分割分支是共享使用高层语义特征的两个卷积神经网络分支。
U-Net网络是在医学图像领域的应用中的经典图像分割网络，U-Net网络源自2015年公开的论文：《用于生物医学图像分割的卷积神经网络》(U-Net:ConvolutionalNetworks for Biomedical Image Segmentation)。
步骤302，调用多任务网络中的语义分级分支对乳腺超声图像进行处理，得到乳腺超声图像的第一特征图；
第一特征图是对冻结帧乳腺超声图像采用滤波器进行卷积后的特征图(FeatureMap)。特征图可以和滤波器进行再次卷积得到新的特征图。
示例性的参考图4，调用多任务网络40中的语义分级分支对乳腺超声图像41中的高层(High-Level)语义特征进行处理，得到乳腺超声图像的第一特征图42。高层语义特征是指用于区分病灶区域和非病灶区域的卷积层数超过预定层数的语义特征。示例性的，预定层数是3、5、10、11、22等数值，本实施例对此不加以限定。
步骤303，调用多任务网络中的语义分割分支对乳腺超声图像进行处理，得到乳腺超声图像的语义分割图；
语义分割图是对乳腺超声图像中的病灶区域进行语义分割的图。示例性的，语义分割图中属于病灶区域的前景像素点为白色像素点，语义分割图中属于非病灶区域的背景像素点为黑色像素点。
白色像素点和黑色像素点之间形成了病灶区域的轮廓信息。
示例性的参考图4，调用多任务网络40中的语义分割分支对乳腺超声图像41进行处理，得到乳腺超声图像的语义分割图43。
步骤304，对语义分割图进行随机采样特性处理，得到有效区域图；有效区域图包括病灶区域和具有随机采样特性的非病灶区域；
由于病灶区域的大小和轮廓对BI-RADS分级具有较大的影响，病灶区域的周围的非病灶组织信息对BI-RADS分级具有较小的影响，因此期望基于语义分割图对病灶区域采用第一权重的特征提取，对非病灶区域采用第二权重的特征提取，得到第二特征图。其中，第一权重大于第二权重。
可选地，对语义分割图进行随机采样特性处理，随机采样特性处理是使得非病灶区域具有随机采样特性的处理。由于黑色像素点的像素值为0，若直接将语义分割图与第一特征图相乘，会将非病灶区域的所有信息全部抹除。因此需要将非病灶区域中随机选择一些黑色像素点变为白色像素点或灰度像素点。
示例性的参考图4，随机采样特性处理的示例性实现为：对语义分割图43进行高斯模糊处理和高斯噪声处理，得到有效区域图44，高斯噪声包含像素值为1的噪声点。其中，高斯噪声能够随机将非病灶区域中的某些黑色像素点变为白色像素点，高斯模糊处理能够随机将非病灶区域中的某些黑色像素点变为灰度像素点。
步骤305，将有效区域图与第一特征图进行相乘，得到第二特征图；
由于有效区域图的病灶区域中的绝大部分像素点均为白色像素点，非病灶区域中的一部分散乱分布的像素点为白色像素点或灰色像素点。当将有效区域图与第一特征图进行相乘后，病灶区域中的绝大部分像素点将第一特征图中的病灶区域的轮廓大小和轮廓信息进行较大权重的提取，非病灶区域中的一部分散乱分布的像素点将第一特征图中的非病灶区域的组织信息进行较小权重的提取，得到第二特征图。
步骤306，将第二特征图输入至全连接特征层进行回归处理，得到乳腺超声图像的BI-RADS分级。
将第二特征图输入至全连接特征层进行回归处理，输出乳腺超声图像的BI-RADS分级。示例性的，针对超声检查的BI-RADS分级包括：
0级：需要其他影像学检查。
1级：阴性。
2级：良性。包括单纯囊肿，乳腺内淋巴结、植入的假体、随访观察无变化的手术后变化。
3级：可能良性，建议短期随访观察。包括考虑为纤维腺瘤的病变，复杂囊肿，成簇微小囊肿。
4级：可疑恶性，建议活检。
5级：高度提示恶性，应进行适当处理。
6级：活检已经证实为恶性。
综上所述，本实施例提供的方法，通过不依赖基于灰度信息的机器学习特征，而是采用了具有分类引导的高层语义特征作为主要分级特征，并且引入语义分割图中的病灶轮廓来对第一特征图中的病灶区域和非病灶区域进行不同权重的特征提取，能够依照病灶轮廓来约束BI-RADS分级结果，最后回归出较为准确的BI-RADS分级结果。
本实施例提供的方法，还通过采用高斯模糊和高斯噪声的方式对语义分割图进行随机采样特性处理，能够将语义分割图转换为具有对非病灶区域进行随机采样的有效区域图，从而利用有效区域图实现对第一特征图中的病灶区域和非病灶区域进行不同权重的特征提取，得到第二特征图。
在基于图2和图3的可选实施例中，上述多任务网络是基于样本数据集采用误差反向传播算法来训练得到的。样本数据集包括：样本乳腺超声图像、乳腺癌病灶的病灶标定位置和BI-RADS分级标定结果。示例性的，上述样本乳腺超声图像包括：原始乳腺超声图像和增广乳腺超声图像。其中，增光乳腺超声图像是对原始乳腺超声图像进行变形处理后得到的图像。变形处理但不限于：对像素值在第一范围内的随机偏移，对图像尺寸在第二范围内的随机缩放，对图像位置在第三范围内的随机旋转。
在一个示例中，本申请选用了5000余张清晰的含有乳腺癌病灶的乳腺超声图像，每张乳腺超声图像来源于一位病患，且每张乳腺超声图像中至少有一个病灶位于最大切面。考虑到多任务网络对多中心多机器的鲁棒性，本申请的数据来源于7种不同的超声成像机器，同时，本申请做了如下数据增广：在训练中，本申请对图像进行像素在15以内的随机偏移，0.9到1.1倍的随机缩放，10°以内的随机旋转作为数据增广。
多任务网络由标准U-Net网络组成，对于每一张样本乳腺超声图像，本申请都有BI-RADS分级标注以及病灶分割标注。语义分级任务和语义分割任务通过多任务网络共享同一套高级语义特征来实现。由于BI-RADS级别与病灶大小、轮廓有着密切关系(如恶性级别越高，病灶边界毛刺状现象越明显)，这种特征共享可以对两个任务起到信息互补作用，提升两种任务的性能。
对于语义分割任务侧，考虑到相比于正常组织，病灶区域目标较小，本申请对U-Net的语义分割分支的损失函数加入了距离图(distance map)信息。示例性的，语义分割分支在训练时的损失函数如下：
Figure BDA0002200857990000091
其中，在语义分割分支输出的最后一个经过归一化处理后的第一特征图中，I i为该第一特征图中的一个像素点的像素值，I代表第一特征图中的一个像素点，i代表该像素点属于病灶区域或非病灶区域，也即i代表像素点所述区域的类别。DM( i )则表示距离函数，计算公式如下：
Figure BDA0002200857990000101
其中，( center,center )为距离I i最近的区域中心的坐标值，
Figure BDA0002200857990000102
为I i的坐标值。该公式表示，距离区域中心越近的点越重要，DM值越大，在损失函数中的权重越重，在训练过程中的比重越重。Lseg能加重病灶区域点的分割权重，减少由于病灶区域较小带来的分割样本不平衡问题。同时，以距离图作为权重信息，更能体现像素在二维空间的分布情况。
在语义分级分支侧中，本申请加入了级别跨度惩罚系数。这是因为在BI-RADS分级中，每个级别之间并没有严格清晰的分界线。同时，考虑到人为定义主观性差异，小级别差异是存在的，如对于同一个病灶，有些医师给出评级为2，有些医师给出评级为3。小级跨度是合理的。然而，大跨度的级别差异是不合理的，如同一病灶中，标签为0，但预测为5，这种差异是巨大且不合理的。为了减少这种不合理的预测，本申请设计了基于跨度惩罚的回归损失函数：
Figure BDA0002200857990000103
其中，g i为第i级BI-RADS分级的标签，p i为第i级BI-RADS分级的预测结果。
Figure BDA0002200857990000104
通过上述公式，当预测的BI-RADS分级达到大跨度时，惩罚系数会指数级上升，从而达到减少不合理跨度预测的作用。
图5示出了本申请一个示例性实施例提供的基于机器学习的疾病分级装置的框图。该装置可以用于实现上述基于机器学习的疾病分级方法的功能。该装置包括：
获取模块520，用于获取乳腺超声图像；
处理模块540，用于调用多任务网络对所述乳腺超声图像进行处理，得到所述乳腺超声图像的第一特征图和语义分割图，所述第一特征图包括所述乳腺超声图像的高层语义特征，所述语义分割图是对所述乳腺超声图像中的病灶区域进行语义分割的图；
提取模块560，用于根据所述语义分割图对所述第一特征图中的病灶区域和非病灶区域进行不同权重的特征提取，得到第二特征图；
预测模块580，用于根据所述第二特征图预测得到所述乳腺超声图像的乳腺影像报告和数据系统BI-RADS分级。
在一个实施例中，所述提取模块560，包括：
高斯处理子模块，用于对所述语义分割图进行随机采样特性处理，得到有效区域图；所述有效区域图包括所述病灶区域和具有随机采样特性的非病灶区域；
特征提取子模块，用于将所述有效区域图与所述第一特征图进行相乘，得到第二特征图。
在一个实施例中，所述高斯处理子模块，用于对所述语义分割图进行高斯模糊处理和高斯噪声处理，得到所述有效区域图，所述高斯噪声包含像素值为1的噪声点。
在一个实施例中，所述处理模块540，用于调用所述多任务网络中的语义分级分支对所述乳腺超声图像进行处理，得到所述乳腺超声图像的第一特征图；调用所述多任务网络中的语义分割分支对所述乳腺超声图像进行处理，得到所述乳腺超声图像的语义分割图；
其中，所述语义分级分支和所述语义分割分支是共享使用所述高层语义特征的两个卷积神经网络分支。
在一个实施例中，所述预测模块580，用于将所述第二特征图输入至全连接特征层进行回归处理，得到所述乳腺超声图像的BI-RADS分级。
图6示出了本申请一个示例性实施例提供的计算机设备的结构示意图。示意性的，计算机设备600包括中央处理单元(Central Processing Unit，简称：CPU)601、包括随机存取存储器(random access memory，简称：RAM)602和只读存储器(read-only memory，简称：ROM)603的系统存储器604，以及连接系统存储器604和中央处理单元601的系统总线605。所述计算机设备600还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)606，和用于存储操作系统613、客户端614和其他程序模块615的大容量存储设备607。
所述基本输入/输出系统606包括有用于显示信息的显示器608和用于用户输入信息的诸如鼠标、键盘之类的输入设备609。其中所述显示器608和输入设备609都通过连接到系统总线605的输入/输出控制器160连接到中央处理单元601。所述基本输入/输出系统606还可以包括输入/输出控制器160以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入/输出控制器160还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备607通过连接到系统总线605的大容量存储控制器(未示出)连接到中央处理单元601。所述大容量存储设备607及其相关联的计算机可读介质为计算机设备600提供非易失性存储。也就是说，所述大容量存储设备607可以包括诸如硬盘或者只读光盘(Compact Disc Read-Only Memory，简称：CD-ROM)驱动器之类的计算机可读介质(未示出)。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读存储器(erasable programmable read-only memory，简称：EPROM)、电可擦除可编程只读存储器(electrically erasable programmable read-onlymemory，简称：EEPROM)、闪存或其他固态存储其技术，CD-ROM、数字通用光盘(DigitalVersatile Disc，简称：DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器604和大容量存储设备607可以统称为存储器。
根据本申请的各种实施例，所述计算机设备600还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备600可以通过连接在所述系统总线605上的网络接口单元611连接到网络612，或者说，也可以使用网络接口单元611来连接到其他类型的网络或远程计算机系统(未示出)。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述方法实施例提供的基于机器学习的疾病分级方法。
可选地，本申请还提供了一种包含指令的计算机程序产品，当其在计算机设备上运行时，使得计算机设备执行上述各个方法实施例所提供的基于机器学习的疾病分级方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种基于机器学习的疾病分级方法，其特征在于，所述方法包括：
获取乳腺超声图像；
调用多任务网络对所述乳腺超声图像进行处理，得到所述乳腺超声图像的第一特征图和语义分割图，所述第一特征图包括所述乳腺超声图像的高层语义特征，所述语义分割图是对所述乳腺超声图像中的病灶区域进行语义分割的图；
根据所述语义分割图对所述第一特征图中的病灶区域和非病灶区域进行不同权重的特征提取，得到第二特征图；
根据所述第二特征图预测得到所述乳腺超声图像的乳腺影像报告和数据系统BI-RADS分级。
2.根据权利要求1所述的方法，其特征在于，所述根据所述语义分割图对所述第一特征图中的病灶区域和非病灶区域进行不同权重的特征提取，得到第二特征图，包括：
对所述语义分割图进行随机采样特性处理，得到有效区域图；所述有效区域图包括所述病灶区域和具有随机采样特性的非病灶区域；
将所述有效区域图与所述第一特征图进行相乘，得到第二特征图。
3.根据权利要求2所述的方法，其特征在于，所述对所述语义分割图进行随机采样特性处理，得到有效区域图，包括：
对所述语义分割图进行高斯模糊处理和高斯噪声处理，得到所述有效区域图，所述高斯噪声包含像素值为1的噪声点。
4.根据权利要求1至3任一所述的方法，其特征在于，所述调用多任务网络对所述乳腺超声图像进行处理，得到所述乳腺超声图像的第一特征图和语义分割图，包括：
调用所述多任务网络中的语义分级分支对所述乳腺超声图像进行处理，得到所述乳腺超声图像的第一特征图；
调用所述多任务网络中的语义分割分支对所述乳腺超声图像进行处理，得到所述乳腺超声图像的语义分割图；
其中，所述语义分级分支和所述语义分割分支是共享使用所述高层语义特征的两个卷积神经网络分支。
5.根据权利要求1至3任一所述的方法，其特征在于，所述根据所述第二特征图预测得到所述乳腺超声图像的乳腺影像报告和数据系统BI-RADS分级，包括：
将所述第二特征图输入至全连接特征层进行回归处理，得到所述乳腺超声图像的BI-RADS分级。
6.一种基于机器学习的疾病分级装置，其特征在于，所述装置包括：
获取模块，用于获取乳腺超声图像；
处理模块，用于调用多任务网络对所述乳腺超声图像进行处理，得到所述乳腺超声图像的第一特征图和语义分割图，所述第一特征图包括所述乳腺超声图像的高层语义特征，所述语义分割图是对所述乳腺超声图像中的病灶区域进行语义分割的图；
提取模块，用于根据所述语义分割图对所述第一特征图中的病灶区域和非病灶区域进行不同权重的特征提取，得到第二特征图；
预测模块，用于根据所述第二特征图预测得到所述乳腺超声图像的乳腺影像报告和数据系统BI-RADS分级。
7.根据权利要求6所述的装置，其特征在于，所述提取模块，包括：
高斯处理子模块，用于对所述语义分割图进行随机采样特性处理，得到有效区域图；所述有效区域图包括所述病灶区域和具有随机采样特性的非病灶区域；
特征提取子模块，用于将所述有效区域图与所述第一特征图进行相乘，得到第二特征图。
8.根据权利要求7所述的装置，其特征在于，
所述高斯处理子模块，用于对所述语义分割图进行高斯模糊处理和高斯噪声处理，得到所述有效区域图，所述高斯噪声包含像素值为1的噪声点。
9.根据权利要求6至8任一所述的装置，其特征在于，
所述处理模块，用于调用所述多任务网络中的语义分级分支对所述乳腺超声图像进行处理，得到所述乳腺超声图像的第一特征图；调用所述多任务网络中的语义分割分支对所述乳腺超声图像进行处理，得到所述乳腺超声图像的语义分割图；
其中，所述语义分级分支和所述语义分割分支是共享使用所述高层语义特征的两个卷积神经网络分支。
10.根据权利要求6至8任一所述的装置，其特征在于，
所述预测模块，用于将所述第二特征图输入至全连接特征层进行回归处理，得到所述乳腺超声图像的BI-RADS分级。
11.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器；所述存储器存储有至少一条程序，所述至少一条程序由所述处理器加载并执行以实现如上权利要求1至5任一所述的基于机器学习的疾病分级方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条程序，所述至少一条程序由处理器加载并执行以实现如上权利要求1至5任一所述的基于机器学习的疾病分级方法。
CN201910864488.5A 2019-09-12 2019-09-12 基于机器学习的疾病分级方法、装置、设备及介质 Active CN110599476B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910864488.5A CN110599476B (zh) 2019-09-12 2019-09-12 基于机器学习的疾病分级方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910864488.5A CN110599476B (zh) 2019-09-12 2019-09-12 基于机器学习的疾病分级方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN110599476A CN110599476A (zh) 2019-12-20
CN110599476B true CN110599476B (zh) 2023-05-23

Family

ID=68859510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910864488.5A Active CN110599476B (zh) 2019-09-12 2019-09-12 基于机器学习的疾病分级方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN110599476B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111047608A (zh) * 2019-12-26 2020-04-21 北京工业大学 一种基于Distance-AttU-Net的端到端的乳腺超声图像的分割方法
CN111260664B (zh) * 2020-01-15 2023-04-25 华南理工大学 鼻咽癌的病灶图像分割装置、设备及计算机可读存储介质
CN111383328B (zh) * 2020-02-27 2022-05-20 西安交通大学 一种面向乳腺癌病灶的3d可视化方法及系统
CN111292317B (zh) * 2020-03-11 2022-06-07 四川大学华西医院 一种增强图像局部特征式多任务分割乳腺导管内原位癌区域的方法
CN111583320B (zh) * 2020-03-17 2023-04-07 哈尔滨医科大学 融合深度卷积网络和影像组学特征的乳腺癌超声图分型方法、系统及存储介质
CN111583177B (zh) * 2020-03-31 2023-08-04 杭州依图医疗技术有限公司 一种医学影像的显示方法及装置、存储介质
CN111768366A (zh) * 2020-05-20 2020-10-13 深圳迈瑞生物医疗电子股份有限公司 超声成像系统、bi-rads分级方法及模型训练方法
CN111768367B (zh) * 2020-05-20 2024-03-29 深圳迈瑞生物医疗电子股份有限公司 数据处理方法、装置和存储介质
CN111739640A (zh) * 2020-06-22 2020-10-02 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） 一种基于乳腺钼靶和mr图像影像组学的风险预测系统
CN112017788B (zh) * 2020-09-07 2023-07-04 平安科技（深圳）有限公司 基于强化学习模型的疾病排序方法、装置、设备及介质
CN112508942B (zh) * 2020-12-25 2023-04-28 上海深博医疗器械有限公司 一种获取bi-rads等级的方法和系统
CN112967287A (zh) * 2021-01-29 2021-06-15 平安科技（深圳）有限公司 基于图像处理的胃癌病灶识别方法、装置、设备和存储介质
CN113689926A (zh) * 2021-09-30 2021-11-23 北京兴德通医药科技股份有限公司 病例识别处理方法、系统、电子设备和存储介质
WO2023118964A2 (en) * 2021-12-22 2023-06-29 Geonomy, Ltd. Automated ultrasound imaging analysis and feedback
CN114219807B (zh) * 2022-02-22 2022-07-12 成都爱迦飞诗特科技有限公司 乳腺超声检查图像分级方法、装置、设备和存储介质
CN116682551B (zh) * 2023-07-27 2023-12-22 腾讯科技（深圳）有限公司 疾病预测方法、疾病预测模型训练方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014194171A2 (en) * 2013-05-30 2014-12-04 H. Lee Moffitt Cancer Center And Research Institute, Inc. Breast imaging reporting and data system (bi-rads) tissue composition
WO2018015080A1 (en) * 2016-07-19 2018-01-25 Siemens Healthcare Gmbh Medical image segmentation with a multi-task neural network system
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN108665456A (zh) * 2018-05-15 2018-10-16 广州尚医网信息技术有限公司 基于人工智能的乳腺超声病灶区域实时标注的方法及系统
CN108830282A (zh) * 2018-05-29 2018-11-16 电子科技大学 一种乳腺x光图像的乳腺肿块信息提取及分类方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI483711B (zh) * 2012-07-10 2015-05-11 Univ Nat Taiwan Tumor detection system and method of breast ultrasound image
US10339648B2 (en) * 2013-01-18 2019-07-02 H. Lee Moffitt Cancer Center And Research Institute, Inc. Quantitative predictors of tumor severity
US10929977B2 (en) * 2016-08-25 2021-02-23 Intel Corporation Coupled multi-task fully convolutional networks using multi-scale contextual information and hierarchical hyper-features for semantic image segmentation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014194171A2 (en) * 2013-05-30 2014-12-04 H. Lee Moffitt Cancer Center And Research Institute, Inc. Breast imaging reporting and data system (bi-rads) tissue composition
WO2018015080A1 (en) * 2016-07-19 2018-01-25 Siemens Healthcare Gmbh Medical image segmentation with a multi-task neural network system
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN108665456A (zh) * 2018-05-15 2018-10-16 广州尚医网信息技术有限公司 基于人工智能的乳腺超声病灶区域实时标注的方法及系统
CN108830282A (zh) * 2018-05-29 2018-11-16 电子科技大学 一种乳腺x光图像的乳腺肿块信息提取及分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于超声射频信号的乳腺肿瘤分级算法研究;严郁;朱伟;蔡润秋;蔡晓巍;张宏;李千目;吴意;;南京理工大学学报(第04期);385-391 *

Also Published As

Publication number Publication date
CN110599476A (zh) 2019-12-20

Similar Documents

Publication Publication Date Title
CN110599476B (zh) 基于机器学习的疾病分级方法、装置、设备及介质
CN110111313B (zh) 基于深度学习的医学图像检测方法及相关设备
Madani et al. Fast and accurate view classification of echocardiograms using deep learning
Oskal et al. A U-net based approach to epidermal tissue segmentation in whole slide histopathological images
Roth et al. Deep convolutional networks for pancreas segmentation in CT imaging
Kou et al. Microaneurysms segmentation with a U-Net based on recurrent residual convolutional neural network
Sander et al. Automatic segmentation with detection of local segmentation failures in cardiac MRI
Nawaz et al. Melanoma localization and classification through faster region-based convolutional neural network and SVM
Mukhlif et al. An extensive review of state-of-the-art transfer learning techniques used in medical imaging: Open issues and challenges
Santos-Bustos et al. Towards automated eye cancer classification via VGG and ResNet networks using transfer learning
Zhang et al. Urine sediment recognition method based on multi-view deep residual learning in microscopic image
Yue et al. Retinal vessel segmentation using dense U-net with multiscale inputs
Arif et al. Automated detection of nonmelanoma skin cancer based on deep convolutional neural network
Shan A fully automatic segmentation method for breast ultrasound images
Divya et al. Fitness adaptive deer hunting‐based region growing and recurrent neural network for melanoma skin cancer detection
Bozkurt Skin lesion classification on dermatoscopic images using effective data augmentation and pre-trained deep learning approach
Arjmand et al. Deep learning in liver biopsies using convolutional neural networks
Lama et al. ChimeraNet: U-Net for hair detection in dermoscopic skin lesion images
Kaliyugarasan et al. Pulmonary nodule classification in lung cancer from 3D thoracic CT scans using fastai and MONAI
Banumathy et al. Breast Calcifications and Histopathological Analysis on Tumour Detection by CNN.
Yang et al. AX-Unet: A deep learning framework for image segmentation to assist pancreatic tumor diagnosis
Nie et al. Recent advances in diagnosis of skin lesions using dermoscopic images based on deep learning
Rani et al. Radon transform-based improved single seeded region growing segmentation for lung cancer detection using AMPWSVM classification approach
Ravala et al. Automatic diagnosis of diabetic retinopathy from retinal abnormalities: improved Jaya-based feature selection and recurrent neural network
Takagi et al. Transformer-based personalized attention mechanism for medical images with clinical records

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40019470

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant