CN110164550B - 一种基于多视角协同关系的先天性心脏病辅助诊断方法 - Google Patents

一种基于多视角协同关系的先天性心脏病辅助诊断方法 Download PDF

Info

Publication number
CN110164550B
CN110164550B CN201910430512.4A CN201910430512A CN110164550B CN 110164550 B CN110164550 B CN 110164550B CN 201910430512 A CN201910430512 A CN 201910430512A CN 110164550 B CN110164550 B CN 110164550B
Authority
CN
China
Prior art keywords
view
network
local
muvdn
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910430512.4A
Other languages
English (en)
Other versions
CN110164550A (zh
Inventor
颜成钢
林翊
孙垚棋
张继勇
张勇东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201910430512.4A priority Critical patent/CN110164550B/zh
Publication of CN110164550A publication Critical patent/CN110164550A/zh
Application granted granted Critical
Publication of CN110164550B publication Critical patent/CN110164550B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Cardiology (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多视角协同关系的先天性心脏病辅助诊断方法。本发明步骤如下：1.医疗超声数据增强和数据预处理，获得待检测医疗图像；2.将所述的不同视角多帧超声图像分别输入至利用卷积神经网络训练的SSD检测器，进行精准定位，获得Top1的精准定位结果；3：将上述多视角的病灶图像帧Ci及彩色超声原图帧Oi进行组合构建数据组{Ci,Oi},其中i代表第i个样本组。4:将数据组送入MUVDN网络进行训练并获得训练后的MUVDN二分类网络。本发明且具有较高的鲁棒性。减少了单一视角下伪影及噪声对诊断的影响，有效地提升了网络分类的准确率。

Description

一种基于多视角协同关系的先天性心脏病辅助诊断方法
技术领域
本发明涉及医学图像处理及模式识别领域，尤其涉及一种基于多视角协同关系的先天性心脏病辅助诊断方法。
技术背景
先天性心脏病是一种先天性畸形疾病，包括房间隔缺失、室间隔缺失等。根据资料统计，先天性心脏病的发病率占出生活婴的0.4％～1％，导致中国每年新增先天性心脏病患者15～20万。特别是在医疗技术匮乏的区域，70％的先心病患者在2岁后由于未进行手术介入而死于并发症。目前利用超声心动图进行早期检查及诊断是减少死亡率的主要诊断方法，然而利用超声心动图检测存在超声设备限制及噪声影响等多种问题，这极大地降低了医生观察病灶区域情况的准确度及有效性，同时导致了超声科医生工作效率低下、诊断准确率下降。
近年来随着计算机技术以及深度神经网络的发展，利用计算机辅助检测(ComputerAidedDiagnosis)辅助影像科医生定位分类病灶区域的研究方向成为了主流的研究热点，特别是利用深度卷积神经网络的自学习性、记忆性等能力来起到辅助诊断的作用。
目前国内外在基于计算机辅助检测的病灶检测研究方向上也开展了许多探索和研究工作，现有技术主要利用单一视角的超声图像进行病灶区域的定位以及分类研究，并且也没有专门针对先天性心脏病病灶检测的研究方法。在先天性心脏病的检测当中，伪影和大量噪声是影响病灶检测精度的首要问题。基于上述情况，直接利用现有的图像检测方法存在定位不准确、分类效果不佳以及误诊率高等问题。
发明内容
为了解决上述问题，本发明提供了一种基于多视角协同关系的先天性心脏病辅助诊断方法，所述方法提出了一种基于超声多视图的检测网络模型MUVDN，MUVDN模型融合了局部特征与全局特征和多视图学习有效地提高了病灶检测的准确率和召回率。
该诊断方法能够从不同视角上定位病灶区域，并且基于病灶区域利用多视角内在关系综合检测病灶区域的患病情况。
为了实现上述目的，本发明采用以下技术方案
一种基于多视角协同关系的先天性心脏病辅助诊断方法，包括以下步骤：
步骤1：医疗超声数据增强和数据预处理，获得待检测医疗图像。具体子步骤包括：
1-1.获取受试者的心脏多视角彩色多普勒超声图像并由专业超声科医生进行病灶区域的手工标记；
1-2.对待标记的数据进行数据增强操作，包括翻转、平移等技术；
步骤2：将所述的不同视角多帧超声图像分别输入至利用卷积神经网络训练的SSD检测器，对心脏病灶区域进行精准定位，并利用非极大值抑制算法获得Top1的精准定位结果；
2-1.在多视角多帧的彩色多普勒超声图像上进行感兴趣区域的定位；
2-2.基于感兴趣区域的坐标信息，通过裁剪操作从原图中提取病灶特征，得到多视角的局部病灶图像；
步骤3：将上述多视角的病灶图像帧Ci及彩色超声原图帧Oi进行组合构建数据组{Ci,Oi},其中i代表第i个样本组。并将所有数据组划分为训练集、测试集；
步骤4:将上述数据组送入MUVDN网络进行训练并获得训练后的MUVDN二分类网络，其中MUVDN二分类网络由MUVDN中的特征提取模块及全连接层构成。具体网络子步骤包括：
4-1.在上述多视角的病灶图像及彩色超声原图中利用浅层全卷积神经网络，提取浅层局部、浅层全局视图特征描述子；
4-2.在浅层局部描述子上利用全连接层，生成同一视角下不同帧图像之间的权重值S；
4-3.将浅层局部、全局视图特征送入深层全卷积神经网络提取深层局部Fl、全局视图特征Fg，并所得特征与权重系数S作乘积，得到精细化全局Fg_ref局部视图特征Fl_ref；
Figure BDA0002068838160000031
式中i,j表示第i个视角的第j帧图像；
4-4.对上述全局、局部描述子进行视图-最大池化操作以获取全局、局部的显著性特征表示；
4-5.将全局、局部显著性特征进行融合操作，并将融合后的特征输入全连接层。最终采用随机梯度下降算法优化损失函数，得到训练后的二分类MUVDN网络。
步骤5:测试阶段，将步骤3中获得的测试集输入训练后得到的二分类MUVDN网络，输出病灶区域类别分类；
本发明具有以下优点及有益效果：
1.所述方法能够提供更好的特征表示，且具有较高的鲁棒性。MUVDN网络考虑了多超声视角之间的内在关系，并且能进一步地还原病灶区域的立体性质。减少了单一视角下伪影及噪声对诊断的影响，保障了先天性心脏病的诊断精度要求。
2.所述方法在病灶分类时，协同地将彩色超声原图送入网络进行特征学习；最终的全局-局部描述子融合有效地提升了网络分类的准确率。
附图说明
图1是本发明MUVDN网络框架图；
图2是本发明的帧权重模块结构图；
图3是本发明的MUVDN网络检测结果示例；
具体实施方式
下面结合具体实施方式及附图对本发明进行详细的说明。
按照发明内容所述的方法步骤，一种本发明的对超声图像进行先天性心脏病病灶区域检测的实施例对应的MUVDN网络模型结构如图1所示。
步骤1：数据预处理。
1-1.获取先天性心脏病中房间隔缺失中3个主要超声切面图片并标记，包括胸骨旁大动脉断轴切面、心尖部四腔心切面以及剑突下双心房切面。获取室间隔缺失中3个主要切面图片包括胸骨旁左心长轴、室缺最大切面以及心尖部五腔心切面；
1-2.对原始DICOM格式超声数据做JPG格式转化，并对数据尺寸做归一化处理，图片尺寸大小统一为160*160。
1-3.将数据样本通过两种增强技术进行数据集扩展。第一是将图像做一种类似于镜面的翻折。第二是将图像沿着x或者y方向(或两个方向)移动，移动后将图片横向拉伸回归一化后的160*160大小。通过这种方式可以防止模型训练的过拟合并能够有效增加网络的泛化能力。
步骤2：将所述的不同视角多帧超声图像分别输入至利用卷积神经网络训练的SSD检测器，对心脏病灶区域进行精准定位，并利用非极大值抑制算法获得Top1的精准定位结果；
2-1.在多视角多帧的彩色多普勒超声图像上进行感兴趣区域的定位；
2-2.基于感兴趣区域的坐标信息，通过裁剪操作从原图中提取病灶特征，得到多视角的局部病灶图像；
步骤3：将上述多视角的病灶图像帧Ci及彩色超声原图帧Oi进行组合构建数据组{Ci,Oi},其中i代表第i个样本组。并将所有数据组划分为训练集、测试集；
步骤4:将上述数据组送入MUVDN网络进行训练并获得训练后的MUVDN二分类网络，其中MUVDN二分类网络由MUVDN中的特征提取模块及全连接层构成。具体网络子步骤包括：
4-1.在上述多视角的病灶图像及彩色超声原图中利用浅层全卷积神经网络，提取浅层局部、浅层全局视图特征描述子；
4-2.在浅层局部描述子上利用全连接层，再利用softmax函数生成同一视角下不同帧图像之间的权重值S，帧图像权重获取的结构图如图2所示；
4-3.将浅层局部、全局视图特征送入深层全卷积神经网络提取深层局部Fl、全局视图特征Fg，并所得特征与权重系数S作乘积，得到精细化全局Fg_ref局部视图特征Fl_ref；
Figure BDA0002068838160000051
4-4.对上述全局、局部描述子进行视图-最大池化操作以获取全局、局部的显著性特征表示；
4-5.将全局、局部显著性特征进行融合操作，并将融合后的特征输入全连接层。最终采用随机梯度下降算法优化损失函数，得到训练后的二分类MUVDN网络。
步骤5:测试阶段，将步骤3中获得的测试集输入训练后得到的二分类MUVDN网络，输出病灶区域类别分类；如果疑似病灶区域存在疾病，则利用精确的定位信息在原图中画出框，反之亦然。图3展示了房间隔缺失和室间隔缺失的检测结果示例。

Claims (1)

1.一种基于多视角协同关系的先天性心脏病辅助诊断方法，其特征在于包括以下步骤：
步骤1：医疗超声数据增强和数据预处理，获得待检测医疗图像；具体子步骤包括：
1-1.获取受试者的心脏多视角彩色多普勒超声图像并由专业超声科医生进行病灶区域的手工标记；
1-2.对待标记的数据进行数据增强操作，包括翻转、平移技术；
步骤2：将不同视角多帧超声图像分别输入至利用卷积神经网络训练的SSD检测器，对心脏病灶区域进行精准定位，并利用非极大值抑制算法获得Top1的精准定位结果；
2-1.在多视角多帧的彩色多普勒超声图像上进行感兴趣区域的定位；
2-2.基于感兴趣区域的坐标信息，通过裁剪操作从原图中提取病灶特征，得到多视角的局部病灶图像；
步骤3：将上述多视角的局部病灶图像帧Ci及彩色多普勒超声图像帧Oi进行组合构建数据组{Ci,Oi},其中i代表第i个样本组；并将所有数据组划分为训练集、测试集；
步骤4：将上述数据组送入MUVDN网络进行训练并获得训练后的MUVDN二分类网络，其中MUVDN二分类网络由MUVDN中的特征提取模块及全连接层构成；具体网络子步骤包括：
4-1.在上述多视角的局部病灶图像及彩色多普勒超声图像中利用浅层全卷积神经网络，提取浅层局部视图特征描述子和浅层全局视图特征描述子；
4-2.在浅层局部描述子上利用全连接层，生成同一视角下不同帧图像之间的权重值S；
4-3.将浅层局部视图特征、浅层全局视图特征送入深层全卷积神经网络分别提取深层局部视图特征Fl、深层全局视图特征Fg，并分别将所得特征与权重系数S作乘积，得到精细化局部视图特征Fl_ref和精细化全局视图特征Fg_ref；
Figure FDA0003093367050000021
式中i,j表示第i个视角的第j帧图像；
4-4.对上述浅层全局视图特征描述子和浅层局部视图特征描述子进行视图-最大池化操作以获取全局、局部的显著性特征表示；
4-5.将全局、局部的显著性特征进行融合操作，并将融合后的特征输入全连接层；最终采用随机梯度下降算法优化损失函数，得到训练后的二分类MUVDN网络；
步骤5：测试阶段，将步骤3中获得的测试集输入训练后得到的二分类MUVDN网络，输出病灶区域类别分类。
CN201910430512.4A 2019-05-22 2019-05-22 一种基于多视角协同关系的先天性心脏病辅助诊断方法 Active CN110164550B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910430512.4A CN110164550B (zh) 2019-05-22 2019-05-22 一种基于多视角协同关系的先天性心脏病辅助诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910430512.4A CN110164550B (zh) 2019-05-22 2019-05-22 一种基于多视角协同关系的先天性心脏病辅助诊断方法

Publications (2)

Publication Number Publication Date
CN110164550A CN110164550A (zh) 2019-08-23
CN110164550B true CN110164550B (zh) 2021-07-09

Family

ID=67631947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910430512.4A Active CN110164550B (zh) 2019-05-22 2019-05-22 一种基于多视角协同关系的先天性心脏病辅助诊断方法

Country Status (1)

Country Link
CN (1) CN110164550B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111382782B (zh) * 2020-02-23 2024-04-26 华为技术有限公司 训练分类器的方法和装置
CN112381164B (zh) * 2020-11-20 2022-09-20 北京航空航天大学杭州创新研究院 一种基于多分支注意力机制的超声图像分类方法和装置
CN112614091A (zh) * 2020-12-10 2021-04-06 清华大学 一种针对先心病的超声多切面数据检测方法
CN112419313B (zh) * 2020-12-10 2023-07-28 清华大学 一种基于先心病超声的多切面的分类方法
CN112767305B (zh) * 2020-12-15 2024-03-08 首都医科大学附属北京儿童医院 先天性心脏病的超声心动图识别方法及装置
CN113096793A (zh) * 2021-04-15 2021-07-09 王小娟 基于医学影像、算法和区块链的远程医疗诊断系统
CN114862865B (zh) * 2022-07-11 2022-09-06 天津大学 基于多视角冠状动脉造影序列图像的血管分割方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103646135A (zh) * 2013-11-28 2014-03-19 哈尔滨医科大学 左心房/左心耳血栓的计算机辅助超声诊断方法
CN107292875A (zh) * 2017-06-29 2017-10-24 西安建筑科技大学 一种基于全局‑局部特征融合的显著性检测方法
CN107680678A (zh) * 2017-10-18 2018-02-09 北京航空航天大学 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统
CN108764072A (zh) * 2018-05-14 2018-11-06 浙江工业大学 一种基于多尺度融合的血细胞亚型图像分类方法
CN109712707A (zh) * 2018-12-29 2019-05-03 深圳和而泰数据资源与云技术有限公司 一种舌诊方法、装置、计算设备及计算机存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009148421A (ja) * 2007-12-20 2009-07-09 Toshiba Corp 超音波診断装置及び超音波ストレス画像取得方法
US9792531B2 (en) * 2015-09-16 2017-10-17 Siemens Healthcare Gmbh Intelligent multi-scale medical image landmark detection
CN107220965B (zh) * 2017-05-05 2021-03-09 上海联影医疗科技股份有限公司 一种图像分割方法及系统
CN108389251B (zh) * 2018-03-21 2020-04-17 南京大学 基于融合多视角特征的投影全卷积网络三维模型分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103646135A (zh) * 2013-11-28 2014-03-19 哈尔滨医科大学 左心房/左心耳血栓的计算机辅助超声诊断方法
CN107292875A (zh) * 2017-06-29 2017-10-24 西安建筑科技大学 一种基于全局‑局部特征融合的显著性检测方法
CN107680678A (zh) * 2017-10-18 2018-02-09 北京航空航天大学 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统
CN108764072A (zh) * 2018-05-14 2018-11-06 浙江工业大学 一种基于多尺度融合的血细胞亚型图像分类方法
CN109712707A (zh) * 2018-12-29 2019-05-03 深圳和而泰数据资源与云技术有限公司 一种舌诊方法、装置、计算设备及计算机存储介质

Also Published As

Publication number Publication date
CN110164550A (zh) 2019-08-23

Similar Documents

Publication Publication Date Title
CN110164550B (zh) 一种基于多视角协同关系的先天性心脏病辅助诊断方法
Lin et al. Multi-task learning for quality assessment of fetal head ultrasound images
Pu et al. Fetal cardiac cycle detection in multi-resource echocardiograms using hybrid classification framework
EP3770850A1 (en) Medical image identifying method, model training method, and computer device
WO2018120942A1 (zh) 一种多模型融合自动检测医学图像中病变的系统及方法
WO2020228570A1 (zh) 乳腺钼靶图像处理方法、装置、系统及介质
WO2019178404A1 (en) Automated cardiac function assessment by echocardiography
CN111553892B (zh) 基于深度学习的肺结节分割计算方法、装置及系统
CN112086197B (zh) 基于超声医学的乳腺结节检测方法及系统
Oghli et al. Automatic fetal biometry prediction using a novel deep convolutional network architecture
Nurmaini et al. Accurate detection of septal defects with fetal ultrasonography images using deep learning-based multiclass instance segmentation
CN112381164B (zh) 一种基于多分支注意力机制的超声图像分类方法和装置
CN110838114B (zh) 肺结节检测方法、装置及计算机存储介质
Patel Predicting invasive ductal carcinoma using a reinforcement sample learning strategy using deep learning
CN116681958A (zh) 基于机器学习的胎儿肺脏超声影像成熟度预测方法
Yang et al. A multi-stage progressive learning strategy for COVID-19 diagnosis using chest computed tomography with imbalanced data
Zhu et al. A new method incorporating deep learning with shape priors for left ventricular segmentation in myocardial perfusion SPECT images
Zhou et al. Deep learning-based breast region extraction of mammographic images combining pre-processing methods and semantic segmentation supported by Deeplab v3+
CN113298773A (zh) 基于深度学习的心脏视图识别与左心室检测装置、系统
CN112508943A (zh) 基于超声影像的乳腺肿瘤识别方法
Alam et al. Ejection Fraction estimation using deep semantic segmentation neural network
CN114627136B (zh) 一种基于特征金字塔网络的舌象分割与对齐方法
Wang et al. Triplanar convolutional neural network for automatic liver and tumor image segmentation
CN115409812A (zh) 一种基于融合时间注意机制的ct图像自动分类方法
Chen et al. A new classification method in ultrasound images of benign and malignant thyroid nodules based on transfer learning and deep convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant