CN110889835A - 一种基于双视图的钼靶影像语义标签预测方法 - Google Patents

一种基于双视图的钼靶影像语义标签预测方法 Download PDF

Info

Publication number
CN110889835A
CN110889835A CN201911146367.3A CN201911146367A CN110889835A CN 110889835 A CN110889835 A CN 110889835A CN 201911146367 A CN201911146367 A CN 201911146367A CN 110889835 A CN110889835 A CN 110889835A
Authority
CN
China
Prior art keywords
label
mlo
view
semantic
molybdenum target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911146367.3A
Other languages
English (en)
Other versions
CN110889835B (zh
Inventor
李继云
王晓孟
钱辰
潘乔
陈德华
王梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donghua University
Original Assignee
Donghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donghua University filed Critical Donghua University
Priority to CN201911146367.3A priority Critical patent/CN110889835B/zh
Publication of CN110889835A publication Critical patent/CN110889835A/zh
Application granted granted Critical
Publication of CN110889835B publication Critical patent/CN110889835B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于双视图的钼靶影像语义标签预测方法，满足以下要求：(1)适用于致密型和非致密型乳腺钼靶影像；(2)同时具有同一患者的CC视图和MLO视图；(3)病灶语义标签集，其特征在于，包括以下步骤：步骤1、数据预处理；步骤2、语义标签预测方法的特征提取；步骤3、语义标签预测方法的多标签预测。本发明具有如下特点：影像标签不受医生的个人经验而产生的个人差异影响；擅长在数据中识别复杂的模式，并以自动化方式提供定量评估；对医学影像中不同视图的病灶对象学习，可以更好地提取病灶语义，增加辅助诊疗方法的可解释性。

Description

一种基于双视图的钼靶影像语义标签预测方法
技术领域
本发明涉及一种基于双视图的乳腺钼靶多标签预测方法，属于智慧医疗领域。
背景技术
乳腺癌作为威胁女性健康的主要病种无论从发病率还是死亡率上都具有不可忽视的影响力。钼靶检测是乳腺癌诊断中一种广泛使用的检测方式，钼靶影像的准确读取是判断乳腺癌的分级重要依据。随着人工智能的发展，计算机辅助读片并生成影像病灶语义标签成为可能。
医学影像的语义标签生成旨在提供关键字标签来描述影像中的病灶信息。较之于简单的良恶性判别，病灶的语义标签可以有效地增强计算机辅助读片结果的可理解性。已有的计算机辅助钼靶影像理解对在钼靶检测中的两个视图钼靶影像不加区分，导致病灶漏检，生成标签准确率低等问题，而综合考虑CC和MLO两个视图则可以有效避免由于遮挡等造成的病灶漏检，提高语义标签预测的准确率。
发明内容
本发明的目的是：提供一种综合考虑乳腺钼靶双视图特征的病灶语义标签预测方法。
为了达到上述目的，本发明的技术方案是提供了一种基于双视图的钼靶影像语义标签预测方法，满足以下要求：(1)适用于致密型和非致密型乳腺钼靶影像；(2)同时具有同一患者的CC视图和MLO视图；(3)病灶语义标签集，其特征在于，包括以下步骤：
步骤1、数据预处理
获取同一患者的CC视图和MLO视图后，先采用限制对比度自适应直方图均衡对致密型乳腺钼靶的影像进行增强，随后采用阈值分割方法减少视图中的背景区域，最好对原始影像数据集进行扩充；
步骤2、语义标签预测方法的特征提取
对于数据预处理后的同一乳房的CC视图和MLO视图进行拼接后，利用深度卷积网络DCN对拼接后的图像进行致密性与非致密性分类，致密性图像进行图像增强后与非致密性图像一起输入深度卷积网络CNN，通过深度卷积网络CNN提取CC视图的视觉特征CC和MLO视图的视觉特征MLO，并将视觉特征CC与视觉特征MLO进行特征融合，得到融合后的特征向量；
步骤3、语义标签预测方法的多标签预测
将深度卷积网络CNN得到的融合后的特征向量输入深度卷积网络MLL进行标签预测，在真实标签词汇中，每个标签由一个热编码矢量表示，对于由一组特定图像预测的标签矢量，真实标签和预测标签之间的误差由均方误差计算，最后使用自动阈值方法选择k个最可能的标签向量，并根据标签词汇表生成标签。
优选地，在所述深度卷积网络CNN的前向传播过程中，通过前向神经网络输出+shortcut连接实现，shortcut连接相当于简单执行了恒等映射，不会产生额外的参数，也不会增加计算复杂度。
优选地，所述深度卷积网络CNN的最后两层结构将提取的所述视觉特征CC与所述视觉特征MLO进行融合，融合时，首先将所述视觉特征CC与所述视觉特征MLO进行拼接，然后使用全连接层压缩数据维度，并进一步提高语义特征的精度，最后使用整流线性单元激活函数解决神经网络反向传播过程中方法参数的梯度消失问题。
本发明的语义标签预测方法的主要目标是通过融合乳腺钼靶CC和MLO双视图的信息进行病灶语义标签预测，降低漏检率。本发明的有益效果是：相比单视图，能够综合评估不同方位拍摄的视图信息，使预测标签精度更高；相比四视图，能够对有一侧乳房切除的患者进行诊断，并且同一患者的两侧乳房可能包含不同的病灶。所以，综合评估单侧乳房的两个方位视图可以更精确的进行标签预测。此外，本发明提供的方法还具有如下特点：
(1)影像标签不受医生的个人经验而产生的个人差异影响；
(2)擅长在数据中识别复杂的模式，并以自动化方式提供定量评估；
(3)对医学影像中不同视图的病灶对象学习，可以更好地提取病灶语义，增加辅助诊疗方法的可解释性。
附图说明
图1是本发明的乳腺钼靶影像对应的标签图，同一侧乳房的CC和MLO视图可能包含不同标签信息。
图2是本发明的整体方法结构图，包括深度卷积网络DCN、CNN和MLL，DCN对图像进行致密型与非致密性分类；CNN对图像提取特征和特征融合；MLL对融合后的特征向量进行标签预测。
图3是本发明的致密型影像分类图，将同一侧乳房的CC和MLO视图同时放入DCN网络中进行分类，并对筛选出的致密型影像进行图像增强。
图4是本发明的特征融合结构图，将CC和MLO的特征向量进行拼接，并通过全连接层降低向量维度，最后通过RELU激活函数解决梯度消失问题。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明提供的一种双视图钼靶语义标签预测方法综合CC和MLO视图特征，需要满足如下要求：(1)适用于致密型和非致密型乳腺钼靶影像；(2)同时具有同一患者的CC和MLO视图；(3)病灶语义标签集。
本发明提供的方法分为三步：数据预处理，特征提取和多语义标签预测。数据预处理是本发明方法的数据前期准备阶段，对影像数据进行处理，可以更好地提取特征以及识别实体。特征提取是本发明方法的核心，将图像转变成固定长度的向量，以便在CNN中提取图像特征，并调整CNN网络结构，融合CC视图和MLO视图的特征信息。多语义标签预测是本发明方法的最终阶段，利用多标签分类器，结合自动阈值的方法，从而生成语义标签。具体包括以下内容：
一)语义标签预测方法的数据预处理
数据预处理包含采用限制对比度自适应直方图均衡对致密型乳腺钼靶的影像增强，阈值分割减少背景区域以及为了支持样本量通过裁剪、旋转、平移等操作对原始影像数据集的扩充。
二)语义标签预测方法的特征提取
对于数据预处理部分输出的同一乳房的两幅影像，采用残差网络ResNet结构分别提取CC视图和MLO视图的特征。在神经网络CNN的前向传播过程中，通过前向神经网络输出+shortcut连接实现。shortcut连接相当于简单执行了恒等映射，不会产生额外的参数，也不会增加计算复杂度。
修改神经网络CNN的最后两层结构，将提取的特征向量进行融合，该结构首先将两个视图的特征向量进行拼接，然后使用全连接层压缩数据维度，并进一步提高语义特征的精度，最后使用整流线性单元激活函数解决神经网络反向传播过程中方法参数的梯度消失问题。
三)语义标签预测方法的多标签预测
将两幅视图融合后的特征向量传进多标签预测网络中进行标签预测。在真实标签词汇中，每个标签由一个热编码矢量表示，对于由一组特定图像预测的标签矢量，真实标签和预测标签之间的误差由均方误差(mean square error，MSE)计算。最后，由于生成的标签数量不是固定的，因此本发明使用自动阈值方法选择k个最可能的标签向量，并根据标签词汇表生成标签。

Claims (3)

1.一种基于双视图的钼靶影像语义标签预测方法，满足以下要求：(1)适用于致密型和非致密型乳腺钼靶影像；(2)同时具有同一患者的CC视图和MLO视图；(3)病灶语义标签集，其特征在于，包括以下步骤：
步骤1、数据预处理
获取同一患者的CC视图和MLO视图后，先采用限制对比度自适应直方图均衡对致密型乳腺钼靶的影像进行增强，随后采用阈值分割方法减少视图中的背景区域，最好对原始影像数据集进行扩充；
步骤2、语义标签预测方法的特征提取
对于数据预处理后的同一乳房的CC视图和MLO视图进行拼接后，利用深度卷积网络DCN对拼接后的图像进行致密性与非致密性分类，致密性图像进行图像增强后与非致密性图像一起输入深度卷积网络CNN，通过深度卷积网络CNN提取CC视图的视觉特征CC和MLO视图的视觉特征MLO，并将视觉特征CC与视觉特征MLO进行特征融合，得到融合后的特征向量；
步骤3、语义标签预测方法的多标签预测
将深度卷积网络CNN得到的融合后的特征向量输入深度卷积网络MLL进行标签预测，在真实标签词汇中，每个标签由一个热编码矢量表示，对于由一组特定图像预测的标签矢量，真实标签和预测标签之间的误差由均方误差计算，最后使用自动阈值方法选择k个最可能的标签向量，并根据标签词汇表生成标签。
2.如权利要求1所述的一种基于双视图的钼靶影像语义标签预测方法，其特征在于，在所述深度卷积网络CNN的前向传播过程中，通过前向神经网络输出+shortcut连接实现，shortcut连接相当于简单执行了恒等映射，不会产生额外的参数，也不会增加计算复杂度。
3.如权利要求1所述的一种基于双视图的钼靶影像语义标签预测方法，其特征在于，所述深度卷积网络CNN的最后两层结构将提取的所述视觉特征CC与所述视觉特征MLO进行融合，融合时，首先将所述视觉特征CC与所述视觉特征MLO进行拼接，然后使用全连接层压缩数据维度，并进一步提高语义特征的精度，最后使用整流线性单元激活函数解决神经网络反向传播过程中方法参数的梯度消失问题。
CN201911146367.3A 2019-11-21 2019-11-21 一种基于双视图的钼靶影像语义标签预测方法 Active CN110889835B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911146367.3A CN110889835B (zh) 2019-11-21 2019-11-21 一种基于双视图的钼靶影像语义标签预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911146367.3A CN110889835B (zh) 2019-11-21 2019-11-21 一种基于双视图的钼靶影像语义标签预测方法

Publications (2)

Publication Number Publication Date
CN110889835A true CN110889835A (zh) 2020-03-17
CN110889835B CN110889835B (zh) 2023-06-23

Family

ID=69748202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911146367.3A Active CN110889835B (zh) 2019-11-21 2019-11-21 一种基于双视图的钼靶影像语义标签预测方法

Country Status (1)

Country Link
CN (1) CN110889835B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709950A (zh) * 2020-08-20 2020-09-25 成都金盘电子科大多媒体技术有限公司 一种乳腺钼靶ai辅助筛查方法
CN114511494A (zh) * 2021-12-21 2022-05-17 北京医准智能科技有限公司 一种腺体密度等级确定方法、装置及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101727537A (zh) * 2009-11-16 2010-06-09 杭州电子科技大学 基于双视角信息融合的乳腺cr图像的计算机确定方法
CN103815926A (zh) * 2014-03-07 2014-05-28 杭州千思科技有限公司 乳腺癌检测方法和装置
WO2018120942A1 (zh) * 2016-12-31 2018-07-05 西安百利信息科技有限公司 一种多模型融合自动检测医学图像中病变的系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101727537A (zh) * 2009-11-16 2010-06-09 杭州电子科技大学 基于双视角信息融合的乳腺cr图像的计算机确定方法
CN103815926A (zh) * 2014-03-07 2014-05-28 杭州千思科技有限公司 乳腺癌检测方法和装置
WO2018120942A1 (zh) * 2016-12-31 2018-07-05 西安百利信息科技有限公司 一种多模型融合自动检测医学图像中病变的系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
崔洁;陈德华;乐嘉锦;: "基于EMR的乳腺肿瘤知识图谱构建研究" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709950A (zh) * 2020-08-20 2020-09-25 成都金盘电子科大多媒体技术有限公司 一种乳腺钼靶ai辅助筛查方法
CN111709950B (zh) * 2020-08-20 2020-11-06 成都金盘电子科大多媒体技术有限公司 一种乳腺钼靶ai辅助筛查方法
CN114511494A (zh) * 2021-12-21 2022-05-17 北京医准智能科技有限公司 一种腺体密度等级确定方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
CN110889835B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
US10929708B2 (en) Deep learning network for salient region identification in images
Alqudah et al. Segmented and non-segmented skin lesions classification using transfer learning and adaptive moment learning rate technique using pretrained convolutional neural network
Jia et al. Learning-based algorithms for vessel tracking: A review
Guo et al. Retinal vessel segmentation combined with generative adversarial networks and dense U-Net
CN112446892A (zh) 一种基于注意力学习的细胞核分割方法
Sasikala et al. Detection of breast cancer using fusion of MLO and CC view features through a hybrid technique based on binary firefly algorithm and optimum-path forest classifier
CN110889835A (zh) 一种基于双视图的钼靶影像语义标签预测方法
CN114463247A (zh) 用于确定3d z向病变连通性的逻辑模型
CN114463248A (zh) 用于医学图像的基于种子的分割的种子重新标记
Chenyang et al. A joint detection and recognition approach to lung cancer diagnosis from CT images with label uncertainty
CN113421240A (zh) 一种基于超声自动乳腺全容积成像的乳腺分类方法及装置
CN113782181A (zh) 一种基于ct图像的肺结节良恶性诊断方法及装置
CN115222713A (zh) 一种冠状动脉钙化积分的计算方法、装置及存储介质
Agrawal et al. Detection of breast cancer from mammograms using a hybrid approach of deep learning and linear classification
Zhang et al. LungSeek: 3D Selective Kernel residual network for pulmonary nodule diagnosis
Yang et al. Ultrasound image classification of thyroid nodules based on deep learning
Zhang et al. Attention-guided feature extraction and multiscale feature fusion 3d resnet for automated pulmonary nodule detection
Chen et al. Residual block based nested U-type architecture for multi-modal brain tumor image segmentation
CN117710760A (zh) 残差的注意神经网络用于胸部x线病灶检测的方法
Zhang et al. MPMR: multi-scale feature and probability map for melanoma recognition
CN116823868A (zh) 一种黑色素肿瘤图像分割方法
Yellapragada et al. Deep learning based detection of acute aortic syndrome in contrast CT images
CN113781390A (zh) 一种基于半监督学习的胰腺囊肿鉴别方法和系统
CN111598870A (zh) 基于卷积神经网络端对端推理计算冠状动脉钙化比的方法
Saxena et al. Numerical Simulation and Design of Semantic Segmentation Using Improved Resnet-50 Based Deep Learning Techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant