CN113256605B - 一种基于深度神经网络的乳腺癌图像识别分类方法 - Google Patents

一种基于深度神经网络的乳腺癌图像识别分类方法 Download PDF

Info

Publication number
CN113256605B
CN113256605B CN202110658703.3A CN202110658703A CN113256605B CN 113256605 B CN113256605 B CN 113256605B CN 202110658703 A CN202110658703 A CN 202110658703A CN 113256605 B CN113256605 B CN 113256605B
Authority
CN
China
Prior art keywords
color doppler
multiplied
model
doppler ultrasound
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110658703.3A
Other languages
English (en)
Other versions
CN113256605A (zh
Inventor
章毅
郭泉
戚晓峰
张蕾
秦浩钧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202110658703.3A priority Critical patent/CN113256605B/zh
Publication of CN113256605A publication Critical patent/CN113256605A/zh
Application granted granted Critical
Publication of CN113256605B publication Critical patent/CN113256605B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Abstract

本发明公开一种基于深度神经网络的乳腺癌图像识别分类方法，涉及计算机应用技术领域，本发明的方法包括以下步骤：采集并预处理用于训练神经网络模型的乳腺彩超图像数据;建立并训练神经网络分割模型、生成模型和分类模型;使用分割模型对用户提交的乳腺报告进行彩超图片切割，提取彩超报告中的彩超图片形成彩超分割图片；生成模型转换彩超分割图片形式，并消除彩超分割图片存在的噪音，形成彩超规范图片;分类模型读入彩超规范图片，给出乳腺癌图像分类结果；本发明可对输入的乳腺彩超图像给与噪音消除，使分割的拍摄图片接近于报告截图，对输入数据的质量要求较低，有效降低了用户的使用难度，实际应用可操作性有效增强。

Description

一种基于深度神经网络的乳腺癌图像识别分类方法
技术领域
本发明涉及计算机应用技术领域，具体涉及一种基于深度神经网络的乳腺癌图像识别分类方法。
背景技术
乳腺癌(breastcancer，BC)是多发于女性乳腺部位一种恶性肿瘤，随着环境的改变和人们生活习惯的变化，乳腺癌的发病率自1970年后呈现全球性上升趋势。美国等西方发达国家每十名女性至少有一人罹患乳腺癌，我国近年来乳腺癌发病率的增长速度已高出乳腺癌高发国家一到两个百分点，乳腺癌的发病率高居女性恶性肿瘤中的第一位。虽然乳腺不是维持人体生命活动的重要器官，原位乳腺癌并不致命，但是乳腺癌细胞丧失了正常细胞的活性，结构松散，极易扩散，游离的癌细胞以血液或淋巴液为载体可扩散至全身，威胁人类生命。乳腺癌是当今社会重大的公共卫生问题，乳腺筛查可以帮助提升早期病例的比例，及早开展对于恶性乳腺肿瘤的综合治疗。因此，及时的筛查和治疗对于预防乳腺癌的发生至关重要。
目前，在部分医疗条件较好的医院，对患有乳腺类疾病的患者，通常的方法是用专业设备采集一系列乳腺及相关部位的彩超图像，为了对患病部位进行全面准确的观察，需要对乳腺等部位图像采集多张照片。现有的乳腺癌图像识别分类方法大多都是基于医院拍摄的彩超的电子图像进行识别分类，该类方法主要部署于医院内部，在完成彩超报告拍摄后即刻进行分类操作，辅助专业放射技师对判断乳腺是否存在恶性肿瘤。
但是，目前大部分医院不具有辅助识别分类系统，即使有也仅存在于医院内部系统之中，且这些辅助识别分类方式都仅限于所属医院的彩超报告，无法扩充到其他医院进行使用，乳腺癌的辅助识别范围及广度受限较大；所以乳腺检查很大程度受限于影像医师的自身水平以及其经验，人眼分辨能力以及人为疏忽等原因，存在误判、遗漏的风险；并且从患者拿到彩超报告到挂号咨询专业技师诊断，其间存在较长时间间隔，在这期间病情极有可能继续加重。
中国发明专利申请号为201410081928.7公开了一种乳腺癌检测方法和装置。该方法包括：获取同一受检者同侧乳房的多幅影像；依次对每幅影像进行如下处理：提取该影像的内外侧斜位视图中的第一乳房区域以及该影像的头尾轴位视图中的第二乳房区域；提取该影像中第一乳房区域和第二乳房区域的图像特征；判断该影像以及已处理影像中第一乳房区域和第二乳房区域对应区域的图像特征是否匹配；若是，或者若否且不存在未处理影像，则判断每个对应区域是否为可疑区域，并对判断为可疑区域的对应区域的真伪性进行分析评估；若否且存在未处理影像，则对下一幅未处理影像进行处理。其所公开的医学影像学中的计算机辅助诊断技术属于前深度学习时代的计算机视觉技术，在乳腺癌病理学图像的特征描述、特征提取以及识别分类方面需要大量的人工干预。
中国发明专利申请号为CN201610733877.0公开了一种基于深度卷积神经网络的预防乳腺癌自助健康云服务系统，该系统使用时需要用户用手机或者其他移动设备拍摄获取乳腺钼靶摄片图像，需要用户严格按照其操作方法先将电脑屏幕打开空白的word或者PPT，全屏显示后，将片子放置在电脑屏幕前，然后打开智能手机上的相机软件；在影像片拍照时，要看清上面的汉字或英文字母，字的方向通常就是片子的正确方向，要放正位置拍照；然后在手机或数码相机上进行预览，质量好的标准是能够清晰地看见英文字母；如果显示模糊，说明拍照时手抖动了或没有正确对焦，需要删除重拍；最后将乳腺钼靶摄片图像通过手机上的微信或者彩信或者QQ发送给健康云服务平台；所述的预防乳腺癌自助健康云服务系统根据用户发送过来的乳腺钼靶摄片图像，采用基于全卷积神经网络的从乳腺钼靶摄片图像中乳房区域的分割方法对乳腺钼靶摄片图像进行乳房对象的分割，得到分割后的乳房图像；然后根据BI-RADS类型分类规范用深度卷积神经网络对分割后的乳房图像进行识别分类；如果该用户有历史乳腺钼靶摄片图像，就再与该用户的历史乳腺钼靶摄片图像进行比对，对比其不同点；如果该用户有病理学专家临床诊断报告，就结合这些信息进行综合分析，提出诊断和治疗建议，参照美国放射学会的乳腺影像报告的格式要求自动生成自助健康检测结果报告，然后将健康检测结果报告递交给资深放射科医生进行确认，最后将健康检测结果报告信息反馈给用户。
此发明有效提高基于移动互联网乳腺钼靶摄片辅助诊断的自动化和智能化水平、能让更多中老年妇女了解并参与自助健康检测、评估、指导，但其存在一些关键应用缺点：
（1）此应用仅限于乳腺钼靶摄片，需要用户严格按照使用方法对乳腺钼靶摄片图像进行拍摄，系统对用户拍摄的图像直接进行分割及分类，如拍摄不当则无法进行正确识别分类，对用户的操作手法要求非常高，普遍应用性能差、易存在误差；而自助健康检测的重要前提则是简单易行，民众容易掌握操作；
（2）在大范围内，相较于乳腺钼靶摄片，乳腺彩超是目前应用区域最广泛、普及度最高的乳腺检查方法，因此，乳腺彩超实际应用更广泛基于乳腺彩超进行乳腺病灶辅助识别分类具有广泛的应用意义，让广大妇女通过乳腺彩超这种广泛应用的常规检查及时获取检查识别结果更具有实际应用意义。以更好的肩负起具有公共卫生职能的自助健康检测职责，将传统的医生管理病人模式转变成医患结合、病人自助和主动参与的新的管理模式，做到大范围内的全面的早发现、早干预。
但应用乳腺彩超报告进行基于深度神经网络进行乳腺癌早期识别分类有一个核心难点在于：用户拿到的彩超报告均为纸质报告，不可避免的，由于不同用户的操作手法和保存习惯影响，在纸质报告拍摄过程中会存在图像旋转、反光、折痕、污染等噪声，影响乳腺检查图像的准确获取。
综上所述，应用乳腺彩超报告进行基于深度神经网络进行乳腺癌早期识别分类，目前尚存在如下核心问题：1)如何简化公众使用方法，降低彩超图片提供的要求；2）如何对用户提供的彩超报告进去去噪，准确提取乳腺图片。
发明内容
本发明的目的在于：针对现有技术的不足，提供了一种基于深度神经网络的乳腺癌图像识别分类方法，用户使用手机对医院开具的乳腺部位彩超图像报告进行拍照，并将彩超图像照片上传至本发明的识别分类系统即可对该彩超图像照片进行识别分类，识别出该彩超图像照片中是否存在乳腺肿瘤以及乳腺肿瘤的良恶性。
本发明为了实现上述目的具体采用以下技术方案：
一种基于深度神经网络的乳腺癌图像识别分类方法，应用基于深度神经网络的乳腺癌图像识别分类系统，所述基于深度神经网络的乳腺癌图像识别分类系统包括用于对乳腺报告进行彩超图片切割的分割模型、用于规范彩超分割图片的生成模型和用于对乳腺病灶图像识别分类的分类模型；包括以下步骤：
（1）采集并预处理用于训练神经网络模型的乳腺彩超图像数据;
（2）建立并训练神经网络分割模型、生成模型和分类模型;
（3）使用分割模型对用户提交的乳腺报告进行彩超图片切割，提取彩超报告中的彩超图片形成彩超分割图片；
（4）生成模型转换彩超分割图片形式，并消除彩超分割图片存在的噪音及规范化图片，形成彩超规范图片;
（5）分类模型读入彩超规范图片，给出乳腺癌图像分类结果。
进一步地，所述步骤（1）中，采集并预处理用于训练神经网络模型的乳腺彩超图像数据，包括以下步骤：
（11）使用脚本，对仅包含乳腺、拥有良恶性肿瘤标签的彩超截图进行拼接，生成一份模拟彩超报告并打印，生成纸质档模拟彩超报告；
（12）对纸质档模拟彩超报告进行拍摄，得到彩超报告照片。
进一步地，所述分割模型采用yolo5网络；在分割模型训练过程中，模型的分割可信度阈值设为0.6至0.8，交并比为0.6至0.8。
进一步地，所述生成模型的网络模型结构为UNet网络，训练生成模型时将分割的彩超图片作为Unet网络的输入数据，彩超截图作为Unet网络的生成目标。
进一步地，所述生成模型使用Adam算法作为本模型的优化函数，通过存储梯度平方的指数衰减平均值并且保持指数衰减平均值来对模型进行优化；其公式为：
Figure 32172DEST_PATH_IMAGE001
Figure 2402DEST_PATH_IMAGE002
其中
Figure 544242DEST_PATH_IMAGE003
为梯度的指数衰减平均值，
Figure 43357DEST_PATH_IMAGE004
与
Figure 201805DEST_PATH_IMAGE005
为指数衰减率，
Figure 444568DEST_PATH_IMAGE006
为第t时间步的梯度，
Figure 840914DEST_PATH_IMAGE007
为梯度的平方指数衰减平均值；
若
Figure 510930DEST_PATH_IMAGE003
以及
Figure 891096DEST_PATH_IMAGE007
被初始化为0向量，则会向0偏置，这样会造成梯度消失的问题，因此对其进行偏差矫正，使用偏差矫正后的
Figure 937549DEST_PATH_IMAGE003
以及
Figure 391664DEST_PATH_IMAGE007
来抵消本来存在的偏差；具体为：
Figure 498160DEST_PATH_IMAGE008
Figure 100043DEST_PATH_IMAGE009
其中
Figure 887871DEST_PATH_IMAGE010
与
Figure 524388DEST_PATH_IMAGE011
为偏差值，
Figure 536207DEST_PATH_IMAGE012
与
Figure 828648DEST_PATH_IMAGE013
为第t时间步的指数衰减率，
Figure 216904DEST_PATH_IMAGE003
为梯度的指数衰减平均值，
Figure 442349DEST_PATH_IMAGE007
为梯度的平方指数衰减平均值，最后得到梯度更新规则：
Figure 93910DEST_PATH_IMAGE014
其中
Figure 670385DEST_PATH_IMAGE015
为权重，
Figure 596752DEST_PATH_IMAGE016
为学习率，
Figure 145545DEST_PATH_IMAGE011
与
Figure 499166DEST_PATH_IMAGE010
为偏差值，
Figure 562937DEST_PATH_IMAGE017
为常数。
所述生成模型的损失函数包括交叉熵损失函数和感知损失函数；通过感知损失函数，模型能够捕捉训练数据中的共有特征，从而生成图片模版，再由交叉熵损失函数捕捉到每一幅待生成图片的关键信息，将该信息附加在生成图片中，最终得到生成图片；交叉熵损失函数的标准形式如下：
Figure 496258DEST_PATH_IMAGE018
其中，
Figure 696295DEST_PATH_IMAGE019
表示为样本，
Figure 486397DEST_PATH_IMAGE020
表示为实际的标签，
Figure 771885DEST_PATH_IMAGE021
表示为预测的输出，
Figure 243317DEST_PATH_IMAGE022
表示样本总数量，C表示为损失值；在本生成模型中，通过对最后输出层生成的图片与目标图片进行计算，得到损失值；
所述感知损失函数采用VGG-16网络，将中间层activations作为目标，计算两个图像经过VGG-16中间层的两个activations的欧式距离，使用如下数学公式表示：
Figure 563440DEST_PATH_IMAGE023
其中：
Figure 524443DEST_PATH_IMAGE024
是欧式距离计算函数，HR是高分辨图像，SR是超高分辨图像，
Figure 500489DEST_PATH_IMAGE025
是VGG-16的中间层代号,
Figure 306771DEST_PATH_IMAGE026
指的是输入图像是y，
Figure 746980DEST_PATH_IMAGE027
是
Figure 613305DEST_PATH_IMAGE028
的长宽高；通过对两个图像在VGG-16的中间特征层的欧式距离进行对比，可以得到两幅图片的接近程度；
所述生成模型使用交叉熵损失函数捕获图片特征，再经过感知损失函数进行特征对比，最终获得生成图片。
进一步地，所述生成模型包括下采样层、上采样层和跳跃连接层三部分，具体包括：
下采样层1:输入大小为572×572单通道图片，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为568×568、通道数为64的输出，再进行2×2的最大池化下采样，得到大小为284×284、通道数为64的下采样层2的输入；
下采样层2:输入大小为284×284、通道数为64，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为280×280、通道数为128的输出，再进行2×2的最大池化下采样，得到大小为140×140、通道数为128的下采样层3的输入；
下采样层3:输入大小为140×140、通道数为128，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为136×136、通道数为256的输出，再进行2×2的最大池化下采样，得到大小为68×68、通道数为256的下采样层4的输入；
下采样层4:输入大小为68×68、通道数为256，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为64×64、通道数为512的输出，再进行2×2的最大池化下采样，得到大小为32×32、通道数为512的最底层的输入；
最底层：输入大小为32×32、通道数为512，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为28×28、通道数为1024的输出；
上采样层1:将所述最底层的输出进行卷积核为2×2的上采样操作，并连接下采样层4的输出，得到大小为56×56、通道数为1024的输入，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为52×52、通道数为512的输出；
上采样层2:将上采样层1的输出进行卷积核为2×2的上采样操作，并连接下采样层3的输出，得到大小为104×104、通道数为512的输入，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为100×100、通道数为256的输出；
上采样层3:将上采样层2的输出进行卷积核为2×2的上采样操作，并连接下采样层2的输出，得到大小为200×200、通道数为256的输入，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为196×196、通道数为128的输出；
上采样层4:将上采样层3的输出进行卷积核为2×2的上采样操作，并连接下采样层1的输出，得到大小为392×392、通道数为128的输入，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为388×388、通道数为64的输出；
输出层：将上采样层4的输出经过卷积核大小为1×1的卷积，得到大小为388×388、通道为2的分类结果。
进一步地，训练生成模型前对图像数据进行预处理，包括以下步骤：
a.调整图像大小：将图像的分辨率进行重置，设置分辨率；
b.图像中心化：即均值化，将每个元素的值减去图像的平均值；
c.数据增广：对图像进行翻转、旋转、缩放操作，增加额外数据。
进一步地，训练生成模型时，准备分割的彩超图片以及与之对应的彩超截图，按照0.8和0.2的比例将其划分为训练集和测试集；在训练生成模型时调用分类模型对生成的图片进行验证评价。
进一步地，调用分类模型对生成的图片进行验证评价时，对彩超截图、生成模型生成的彩超图片进行分类验证，将彩超截图的分类结果作为标准，当生成模型生成的彩超图片的分类结果接近标准时，生成模型训练结束。
进一步地，分类模型结构采用Densenet模型，模型层数为169层，并且添加随机反转以进行数据增广。
本发明的有益效果如下：
1、本发明提供了一种基于深度神经网络的乳腺癌图像识别分类方法，用户使用手机等终端对医院开具的乳腺部位彩超图像报告进行拍照，并将彩超图像照片上传至本发明的识别分类系统即可对该彩超图像照片进行识别分类，识别出该彩超图像照片中是否存在乳腺肿瘤以及乳腺肿瘤的良恶性，广泛应用性强；更为突出的是，本发明可对输入的乳腺彩超图像给与噪音消除，使分割的拍摄图片接近于报告截图，一方面，有效降低对输入数据的格式要求，可以是彩超报告的电子文档，也可以是普通手机拍摄纸质档彩超报告的照片；另一方面，有效降低对照片的拍摄质量要求，允许有一定的反光、折叠以及倾斜等情况出现，从而降低用户的使用难度，突出的实际可操作性及推广性；并且，有效保证了系统分类结果的准确性。
2、目前各个医院产生的彩超报告格式不尽相同，如果单单只有一个分类模型将无法适应所有情况，而本发明的生成模型可以将所有彩超报告转换为同一种形式，解决了彩超报告格式不同的问题，鲁棒性更高。
3、本发明将功能模块化，分割模型、生成模型以及分类模型各自完成相关工作，互不干扰，在数据符合条件的情况下，可以独立工作，亦可独立优化模型，灵活性强。
附图说明
图1是本发明基于深度神经网络的乳腺癌图像识别分类方法的整体流程示意图；
图2是分割模型训练过程示意图；
图3是yolo网络模型示意图；
图4是生成模型训练过程示意图；
图5是Unet网络模型示意图；
图6是分类模型训练过程示意图；
图7是Densenet网络模型示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
参照图1至图7，本实施例采用的基于深度神经网络的乳腺癌图像识别分类方法，应用基于深度神经网络的乳腺癌图像识别分类系统，所述基于深度神经网络的乳腺癌图像识别分类系统包括用于对乳腺报告进行彩超图片切割的分割模型、用于规范彩超分割图片的生成模型和用于对乳腺病灶图像识别分类的分类模型，当然，无疑义的可知，本系统所在平台连接有图像获取模块以及与用户进行信息传输的信号传输模块，基于深度神经网络的乳腺癌图像识别分类方法包括以下步骤：
（1）采集并预处理用于训练神经网络模型的乳腺彩超图像数据;
（2）建立并训练神经网络分割模型、生成模型和分类模型;
（3）使用分割模型对用户提交的乳腺报告进行彩超图片切割，提取彩超报告中的彩超图片形成彩超分割图片；
（4）生成模型转换彩超分割图片形式，并消除彩超分割图片存在的噪音及规范化图片，形成彩超规范图片;
（5）分类模型读入彩超规范图片，给出乳腺癌图像分类结果。
如图1所示，本系统分割模型、生成模型和分类模型建立训练完成投入使用后，用户利用用户终端(手机或者其他移动设备)将拍摄获取的乳腺彩超报告照片或直接获取的乳腺彩超电子报告单通过手机上的微信或专用APP发送给本发明分类平台，系统分割模型读入用户提交的乳腺报告进行彩超图片切割，去除彩超报告照片上的不必要信息与空白，生成多份彩超分割图片，生成模型读入彩超分割图片，对分割的彩超图片进行转换，生成符合分类模型的图片形式，并消除彩超分割图片存在的噪音，包括但不限于反光、底色、折痕，校正彩超分割图片形成彩超规范图片；分类模型读入彩超规范图片，给出乳腺癌图像的分类结果。
其中，步骤（1）中，采集并预处理用于训练神经网络模型的乳腺彩超图像数据，具体包括以下步骤：
（11）使用脚本，对仅包含乳腺、拥有良恶性肿瘤标签的彩超截图进行拼接，生成一份模拟彩超报告并打印，生成纸质档模拟彩超报告；
深度神经网络对乳腺彩超图像数据中是否存在乳腺癌病变的识别是从大量乳腺部位彩超图像数据中自动学习到乳腺癌及其他乳腺疾病病变特征。因此，对深度神经网络进行训练之前，需要对大量乳腺彩超图像数据进行标注和预处理。此步的目的是为了模拟用户的使用场景。彩超截图是从医院中的彩超报告单中截取的辨识度较高的较为标准的图片，此类图片已经完成脱敏操作，仅包含乳腺的彩超图片，拥有良恶性肿瘤标签。
由于一份纸质档模拟彩超报告上包括了多个彩超截图且这些彩超截图均是随机排序的，在后续的模型训练中需要将彩超截图与标签对应，因此需要对生成的报告标号。为了避免序号录入出错，可在彩超报告中添加二维码，二维码的内容即为模拟彩超报告正上方的序号。
（12）对纸质档模拟彩超报告进行拍摄，得到彩超报告照片；
此步的目的是为了模仿用户的使用场景。不同的用户在不同的场景下拍摄得到的图片都会存在一定噪声，在拍摄过程中，为了更加接近真实的场景，对拍摄方式进行了多种设计，如拍摄角度倾斜、折叠报告、拍摄有一定反光的报告、只拍摄报告的部分内容等方式。
分割模型的建立和训练：
用户提交的照片是以报告的形式存在，其附加了分类模型不需要用到的额外信息，因此需要用到分割模型将报告中的关键彩超图片切割出来，以供后续生成模型和分类模型使用。
使用分割模型，对彩超报告照片进行分割，得到多份分割的彩超图片。该分割的彩超图片既保有原来的彩超截图上的信息，也附加了拍摄过程中存在的噪音。
在分割模型中，还需要对纸质档模拟彩超报告中的二维码进行分割。该二维码包含了该报告在数据集中的序号。此二维码可以降低研究人员的数据录入工作。系统通过对二维码进行识别，获取序号，通过该序号，可以将该报告上的彩超截图与其良恶性标签对应起来，以供分类模型训练。
由于纸质档模拟彩超报告存在阴影以及反光等情况，在二维码识别上会出现异常，因此在调用脚本对二维码进行识别时，首先需要对二维码进行二值化处理，再使用腐蚀操作，最后得到较为纯净的二维码。
采用分割模型对对彩超报告照片进行分割时，需要对拍摄的彩超报告照片进行标注，得到彩超图片在彩超报告照片中的位置。本实施例使用的标注软件为Labelme，分别标注出彩超图片和二维码图片。
训练分割模型前，对彩超报告照片和其标注信息进行划分，按照0.6、0.2和0.2的比例划分为训练集、验证集以及测试集。分割模型的训练过程见图2。
其中，本发明分割模型采用yolo5网络；Yolo采用卷积网络来提取特征，然后使用全连接层来得到预测值，其网络结构参考GooLeNet模型，包含24个卷积层和2个全连接层，如图3所示。对于卷积层，主要使用1x1卷积来做channlereduction，然后紧跟3x3卷积对于卷积层和全连接层，采用LeakyReLU激活函数，最后一层采用线性激活函数。
在本分割模型中的训练过程中，需要对模型的分割阈值进行设置，首先是可信度阈值，由于模型对分割结果会产生一个可信度，值得大小为0-1之间，值越大则分割模型的分割结果越自信。本实施例将可信度阈值设置为0.6，即当置信度低于0.6时不进行分割。另外一个值为交并比，表示的是两个矩形交集的面积/两个矩形并集的面积，同样值的大小为0-1之间，本实施例将交并比设置为0.6。
分割模型训练后进行分割模型评价，主要通过两个值来对分割模型的好坏进行评价：1.图片分割数量是否准确；2.分割模型得到的图片位置与实际位置的交并比是否符合。
生成模型的建立和训练：
分割模型将彩超报告照片分割完成，获取到分割的彩超图片。然后在分割模型部分得到的分割的彩超图片会存在一些问题，主要有：
①图片切割不精确；由于切割时是以方框的方式进行切割的，当图片有一些旋转时，切割就会出现报告底部的颜色，无法完全将图片的底部颜色切除。
②图片存在反光、折痕、污染等其他问题；因此在彩超报告照片分割完成后，需要使用到生成模型，将彩超图片转换及去噪，得到能够被分类模型识别的图片。
生成模型的训练过程如图4所示，准备好分割的彩超图片以及与之对应的彩超截图，按照0.8和0.2的比例将其划分为训练集和测试集，彩超截图是生成模型的最终目标，最终是要将分割的彩超图片转换为标准的彩超截图。在训练生成模型时调用分类模型对生成的图片进行评价，以此判断生成模型的好坏。
在本发明中，生成模型的网络模型结构选择UNet网络，训练生成模型时将分割的彩超图片作为Unet网络的输入数据，彩超截图作为Unet网络的生成目标。UNet网络结构图如图5所示，该网络由于结构对称，形似字母“U”而被称为Unet。
训练生成模型时，需要对输入生成模型的分割彩超图片进行预处理，以对图片大小进行统一规定，处理步骤为：
a.调整图像大小：将图像的分辨率进行重置，设置分辨率为320×240；
b.图像中心化：即均值化，将每个元素的值减去图像的平均值，中心化能够加快模型的收敛速度，提升训练速度；
c.数据增广：对图像进行翻转、旋转、缩放操作，增加额外数据，使得训练得到的模型鲁棒性更强。
在本发明中，生成模型的参数设置如下：
生成模型使用Adam算法作为本模型的优化函数，通过存储梯度平方的指数衰减平均值并且保持指数衰减平均值来对模型进行优化；其公式为：
Figure 76647DEST_PATH_IMAGE001
Figure 952199DEST_PATH_IMAGE002
其中
Figure 981335DEST_PATH_IMAGE003
为梯度的指数衰减平均值，
Figure 487403DEST_PATH_IMAGE004
与
Figure 234779DEST_PATH_IMAGE005
为指数衰减率，
Figure 648443DEST_PATH_IMAGE006
为第t时间步的梯度，
Figure 735347DEST_PATH_IMAGE007
为梯度的平方指数衰减平均值；
若
Figure 209054DEST_PATH_IMAGE003
以及
Figure 443726DEST_PATH_IMAGE007
被初始化为0向量，则会向0偏置，这样会造成梯度消失的问题，因此对其进行偏差矫正，使用偏差矫正后的
Figure 598764DEST_PATH_IMAGE003
以及
Figure 602492DEST_PATH_IMAGE007
来抵消本来存在的偏差；具体为：
Figure 512679DEST_PATH_IMAGE008
Figure 969069DEST_PATH_IMAGE009
其中
Figure 927797DEST_PATH_IMAGE010
与
Figure 786032DEST_PATH_IMAGE011
为偏差值，
Figure 601541DEST_PATH_IMAGE012
与
Figure 748489DEST_PATH_IMAGE013
为第t时间步的指数衰减率，
Figure 573225DEST_PATH_IMAGE003
为梯度的指数衰减平均值，
Figure 285966DEST_PATH_IMAGE007
为梯度的平方指数衰减平均值，最后得到梯度更新规则：
Figure 210060DEST_PATH_IMAGE014
其中
Figure 641041DEST_PATH_IMAGE015
为权重，
Figure 15608DEST_PATH_IMAGE016
为学习率，
Figure 51697DEST_PATH_IMAGE011
与
Figure 943430DEST_PATH_IMAGE010
为偏差值，
Figure 127287DEST_PATH_IMAGE017
为常数。
本发明生成模型的损失函数包括交叉熵损失函数和感知损失函数；通过感知损失函数，模型能够捕捉训练数据中的共有特征，从而生成图片模版，再由交叉熵损失函数捕捉到每一幅待生成图片的关键信息，将该信息附加在生成图片中，最终得到生成图片；交叉熵损失函数的标准形式如下：
Figure 231509DEST_PATH_IMAGE018
其中，
Figure 653263DEST_PATH_IMAGE019
表示为样本，
Figure 247055DEST_PATH_IMAGE020
表示为实际的标签，
Figure 387050DEST_PATH_IMAGE021
表示为预测的输出，
Figure 294963DEST_PATH_IMAGE022
表示样本总数量，C表示为损失值；在本生成模型中，通过对最后输出层生成的图片与目标图片进行计算，得到损失值；
所述感知损失函数采用VGG-16网络，将中间层activations作为目标，计算两个图像经过VGG-16中间层的两个activations的欧式距离，使用如下数学公式表示：
Figure 836803DEST_PATH_IMAGE029
其中：
Figure 601496DEST_PATH_IMAGE024
是欧式距离计算函数，HR是高分辨图像，SR是超高分辨图像，
Figure 432049DEST_PATH_IMAGE025
是VGG-16的中间层代号,
Figure 674812DEST_PATH_IMAGE026
指的是输入图像是y，
Figure 336737DEST_PATH_IMAGE027
是
Figure 210015DEST_PATH_IMAGE028
的长宽高；通过对两个图像在VGG-16的中间特征层的欧式距离进行对比，可以得到两幅图片的接近程度；
所述生成模型使用交叉熵损失函数捕获图片特征，再经过感知损失函数进行特征对比，最终获得生成图片。
本发明生成模型具体设计包括下采样层、上采样层和跳跃连接层三部分，具体包括：
下采样层1:输入大小为572×572单通道图片，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为568×568、通道数为64的输出，再进行2×2的最大池化下采样，得到大小为284×284、通道数为64的下采样层2的输入；
下采样层2:输入大小为284×284、通道数为64，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为280×280、通道数为128的输出，再进行2×2的最大池化下采样，得到大小为140×140、通道数为128的下采样层3的输入；
下采样层3:输入大小为140×140、通道数为128，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为136×136、通道数为256的输出，再进行2×2的最大池化下采样，得到大小为68×68、通道数为256的下采样层4的输入；
下采样层4:输入大小为68×68、通道数为256，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为64×64、通道数为512的输出，再进行2×2的最大池化下采样，得到大小为32×32、通道数为512的最底层的输入；
最底层：输入大小为32×32、通道数为512，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为28×28、通道数为1024的输出；
上采样层1:将最底层的输出进行卷积核为2×2的上采样操作，并连接下采样层4的输出，得到大小为56×56、通道数为1024的输入，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为52×52、通道数为512的输出；
上采样层2:将上采样层1的输出进行卷积核为2×2的上采样操作，并连接下采样层3的输出，得到大小为104×104、通道数为512的输入，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为100×100、通道数为256的输出；
上采样层3:将上采样层2的输出进行卷积核为2×2的上采样操作，并连接下采样层2的输出，得到大小为200×200、通道数为256的输入，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为196×196、通道数为128的输出；
上采样层4:将上采样层3的输出进行卷积核为2×2的上采样操作，并连接下采样层1的输出，得到大小为392×392、通道数为128的输入，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为388×388、通道数为64的输出；
输出层：将上采样层4的输出经过卷积核大小为1×1的卷积，得到大小为388×388、通道为2的分类结果。
采用分类模型对生成模型进行验证，调用分类模型对生成的图片进行验证评价时，对彩超截图、生成模型生成的彩超图片进行分类验证，将彩超截图的分类结果作为标准，当生成模型生成的彩超图片的分类结果接近标准时，则生成模型训练结束。
分类模型的建立和训练：
在分类模型的训练中，使用标准的彩超截图，在实际场景的应用中，是使用的由生成模型生成的彩超规范图片。分类模型的训练过程如图6所示，训练时对彩超截图以及彩超截图标签进行划分，按照0.6、0.2和0.2的比例划分为训练集、验证集以及测试集，其中彩超截图标签拥有对应彩超截图的良恶性信息。
本发明分类模型结构采用Densenet模型，Densenet模型采用的密集连接机制：互相连接所有的层，具体来说就是每个层都会接受其前面所有层作为其额外的输入，Densenet模型如图7所示，本发明中分类模型层数为169层，将图片分辨率设置为320×240，并且添加随机反转以进行数据增广，即将这些训练数据进行翻转、裁剪，并将这些经过处理的图片加入训练数据中，对模型进行训练；这样做的好处是模型的鲁棒性更强，遇到类似的用户上传的存在翻转、不全的图片能够识别，以取得更好分类效果。

Claims (9)

1.一种基于深度神经网络的乳腺癌图像识别分类方法，其特征在于，应用基于深度神经网络的乳腺癌图像识别分类系统，对乳腺部位彩超图像报告进行拍照，并将彩超图像报告的照片上传至基于深度神经网络的乳腺癌图像识别分类系统对该彩超图像照片进行识别分类，所述基于深度神经网络的乳腺癌图像识别分类系统包括用于对乳腺报告进行彩超图片切割的分割模型、用于规范彩超分割图片的生成模型和用于对乳腺病灶图像识别分类的分类模型；所述基于深度神经网络的乳腺癌图像识别分类方法包括以下步骤：
(1)采集并预处理用于训练神经网络模型的乳腺彩超图像数据；
(2)建立并训练神经网络分割模型、生成模型和分类模型；
(3)使用分割模型对用户提交的乳腺报告进行彩超图片切割，提取彩超报告中的彩超图片形成彩超分割图片；
(4)生成模型转换彩超分割图片形式，并消除彩超分割图片存在的噪音及规范化图片，形成彩超规范图片；
(5)分类模型读入彩超规范图片，给出乳腺癌图像分类结果；
所述生成模型的网络模型结构为UNet网络，训练生成模型时将分割的彩超图片作为Unet网络的输入数据，彩超截图作为Unet网络的生成目标。
2.根据权利要求1所述的一种基于深度神经网络的乳腺癌图像识别分类方法，其特征在于，所述生成模型使用Adam算法作为本模型的优化函数，通过存储梯度平方的指数衰减平均值并且保持指数衰减平均值来对模型进行优化；其公式为：
mt＝β1mt-1+(1-β1)gt
Figure FDA0003263310340000011
其中，vt为梯度的平方指数衰减平均值，mt为梯度的指数衰减平均值；
若mt以及vt被初始化为0向量，则会向0偏置，这样会造成梯度消失的问题，因此对其进行偏差矫正，使用偏差矫正后的mt以及vt来抵消本来存在的偏差；具体为：
Figure FDA0003263310340000012
Figure FDA0003263310340000013
其中
Figure FDA0003263310340000014
与
Figure FDA0003263310340000015
即为偏差值，最后得到梯度更新规则：
Figure FDA0003263310340000016
所述生成模型的损失函数包括交叉熵损失函数和感知损失函数；通过感知损失函数，模型能够捕捉训练数据中的共有特征，从而生成图片模版，再由交叉熵损失函数捕捉到每一幅待生成图片的关键信息，将该信息附加在生成图片中，最终得到生成图片；交叉熵损失函数的标准形式如下：
Figure FDA0003263310340000021
其中，
Figure FDA0003263310340000025
表示为样本，
Figure FDA0003263310340000026
表示为实际的标签，
Figure FDA0003263310340000027
表示为预测的输出，
Figure FDA0003263310340000028
表示样本总数量；在本生成模型中，通过对最后输出层生成的图片与目标图片进行计算，得到损失值；
所述感知损失函数采用VGG-16网络，将中间层activations作为目标，计算两个图像经过VGG-16中间层的两个activations的欧式距离，使用如下数学公式表示：
Figure FDA0003263310340000022
其中：j是VGG-16的中间层代号,
Figure FDA0003263310340000023
指的是输入图像是y，CjHjWj是
Figure FDA0003263310340000024
的长宽高；通过对两个图像在VGG-16的中间特征层的欧式距离进行对比，可以得到两幅图片的接近程度；所述生成模型使用交叉熵损失函数捕获图片特征，再经过感知损失进行特征对比，最终获得生成图片。
3.根据权利要求1所述的一种基于深度神经网络的乳腺癌图像识别分类方法，其特征在于，所述步骤(1)中，采集并预处理用于训练神经网络模型的乳腺彩超图像数据，包括以下步骤：
(11)使用脚本，对仅包含乳腺、拥有良恶性肿瘤标签的彩超截图进行拼接，生成一份模拟彩超报告并打印，生成纸质档模拟彩超报告；
(12)对纸质档模拟彩超报告进行拍摄，得到彩超报告照片。
4.根据权利要求1所述的一种基于深度神经网络的乳腺癌图像识别分类方法，其特征在于，所述分割模型采用yolo5网络；在分割模型训练过程中，模型的分割可信度阈值设为0.6至0.8，交并比为0.6至0.8。
5.根据权利要求1所述的一种基于深度神经网络的乳腺癌图像识别分类方法，其特征在于，所述生成模型包括：
下采样层1:输入大小为572×572单通道图片，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为568×568、通道数为64的输出，再进行2×2的最大池化下采样，得到大小为284×284、通道数为64的下采样层2的输入；
下采样层2:输入大小为284×284、通道数为64，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为280×280、通道数为128的输出，再进行2×2的最大池化下采样，得到大小为140×140、通道数为128的下采样层3的输入；
下采样层3:输入大小为140×140、通道数为128，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为136×136、通道数为256的输出，再进行2×2的最大池化下采样，得到大小为68×68、通道数为256的下采样层4的输入；
下采样层4:输入大小为68×68、通道数为256，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为64×64、通道数为512的输出，再进行2×2的最大池化下采样，得到大小为32×32、通道数为512的最底层的输入；
最底层：输入大小为32×32、通道数为512，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为28×28、通道数为1024的输出；
上采样层1:将所述最底层的输出进行卷积核为2×2的上采样操作，并连接下采样层4的输出，得到大小为56×56、通道数为1024的输入，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为52×52、通道数为512的输出；
上采样层2:将上采样层1的输出进行卷积核为2×2的上采样操作，并连接下采样层3的输出，得到大小为104×104、通道数为512的输入，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为100×100、通道数为256的输出；
上采样层3:将上采样层2的输出进行卷积核为2×2的上采样操作，并连接下采样层2的输出，得到大小为200×200、通道数为256的输入，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为196×196、通道数为128的输出；
上采样层4:将上采样层3的输出进行卷积核为2×2的上采样操作，并连接下采样层1的输出，得到大小为392×392、通道数为128的输入，经过卷积核大小为3×3的卷积操作和ReLU的转换，得到大小为388×388、通道数为64的输出；
输出层：将上采样层4的输出经过卷积核大小为1×1的卷积，得到大小为388×388、通道为2的分类结果。
6.根据权利要求1所述的一种基于深度神经网络的乳腺癌图像识别分类方法，其特征在于，训练生成模型前对图像数据进行预处理，包括以下步骤：
a.Resize图像大小：将图像的分辨率进行重置，设置分辨率；
b.图像中心化：将每个元素的值减去图像的平均值；
c.数据增广：对图像进行翻转、旋转、缩放操作，增加额外数据。
7.根据权利要求1所述的一种基于深度神经网络的乳腺癌图像识别分类方法，其特征在于，训练生成模型时，准备分割的彩超图片以及与之对应的彩超截图，按照0.8和0.2的比例将其划分为训练集和测试集；在训练生成模型时调用分类模型对生成的图片进行验证评价。
8.根据权利要求7所述的一种基于深度神经网络的乳腺癌图像识别分类方法，其特征在于，调用分类模型对生成的图片进行验证评价时，对彩超截图、生成模型生成的彩超图片进行分类验证，将彩超截图的分类结果作为标准，当生成模型生成的彩超图片的分类结果接近标准时，生成模型训练结束。
9.根据权利要求1所述的一种基于深度神经网络的乳腺癌图像识别分类方法，其特征在于，分类模型结构采用Densenet模型，模型层数为169层，并且添加随机反转以进行数据增广。
CN202110658703.3A 2021-06-15 2021-06-15 一种基于深度神经网络的乳腺癌图像识别分类方法 Active CN113256605B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110658703.3A CN113256605B (zh) 2021-06-15 2021-06-15 一种基于深度神经网络的乳腺癌图像识别分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110658703.3A CN113256605B (zh) 2021-06-15 2021-06-15 一种基于深度神经网络的乳腺癌图像识别分类方法

Publications (2)

Publication Number Publication Date
CN113256605A CN113256605A (zh) 2021-08-13
CN113256605B true CN113256605B (zh) 2021-11-02

Family

ID=77187825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110658703.3A Active CN113256605B (zh) 2021-06-15 2021-06-15 一种基于深度神经网络的乳腺癌图像识别分类方法

Country Status (1)

Country Link
CN (1) CN113256605B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI832671B (zh) * 2023-01-13 2024-02-11 國立中央大學 藉由乳房x光攝影影像運用機器學習進行自動偵測乳癌病灶之方法
CN116645381A (zh) * 2023-06-26 2023-08-25 海南大学 一种脑肿瘤mri图像分割方法、系统、电子设备及存储介质
CN117275651A (zh) * 2023-09-01 2023-12-22 北京华益精点生物技术有限公司 医疗报告生成方法、装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087327A (zh) * 2018-07-13 2018-12-25 天津大学 一种级联全卷积神经网络的甲状腺结节超声图像分割方法
CN109978894A (zh) * 2019-03-26 2019-07-05 成都迭迦科技有限公司 一种基于三维乳腺彩超的病变区域标注方法及系统
CN111476794A (zh) * 2019-01-24 2020-07-31 武汉兰丁医学高科技有限公司 一种基于unet的宫颈病理组织分割方法
CN111539930A (zh) * 2020-04-21 2020-08-14 浙江德尚韵兴医疗科技有限公司 基于深度学习的动态超声乳腺结节实时分割与识别的方法
CN112086197A (zh) * 2020-09-04 2020-12-15 厦门大学附属翔安医院 基于超声医学的乳腺结节检测方法及系统
CN112634261A (zh) * 2020-12-30 2021-04-09 上海交通大学医学院附属瑞金医院 基于卷积神经网络的胃癌病灶检测方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6317617B1 (en) * 1997-07-25 2001-11-13 Arch Development Corporation Method, computer program product, and system for the automated analysis of lesions in magnetic resonance, mammogram and ultrasound images
CN106339591B (zh) * 2016-08-25 2019-04-02 汤一平 一种基于深度卷积神经网络的预防乳腺癌自助健康云服务系统
CN108230311A (zh) * 2018-01-03 2018-06-29 四川大学 一种乳腺癌检测方法及装置
CN108305251A (zh) * 2018-02-01 2018-07-20 四川大学 一种乳腺癌检测方法与装置
CN109087318A (zh) * 2018-07-26 2018-12-25 东北大学 一种基于优化U-net网络模型的MRI脑肿瘤图像分割方法
CN111127447B (zh) * 2019-12-26 2023-03-31 河南工业大学 基于生成式对抗网络的血管分割网络及方法
CN112581436A (zh) * 2020-12-11 2021-03-30 佛山市普世医学科技有限责任公司 基于深度学习的肺结节识别与分割方法及系统
CN112509092B (zh) * 2020-12-14 2024-03-15 上海海事大学 基于卷积生成对抗网络的乳腺X-ray图像自动生成方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087327A (zh) * 2018-07-13 2018-12-25 天津大学 一种级联全卷积神经网络的甲状腺结节超声图像分割方法
CN111476794A (zh) * 2019-01-24 2020-07-31 武汉兰丁医学高科技有限公司 一种基于unet的宫颈病理组织分割方法
CN109978894A (zh) * 2019-03-26 2019-07-05 成都迭迦科技有限公司 一种基于三维乳腺彩超的病变区域标注方法及系统
CN111539930A (zh) * 2020-04-21 2020-08-14 浙江德尚韵兴医疗科技有限公司 基于深度学习的动态超声乳腺结节实时分割与识别的方法
CN112086197A (zh) * 2020-09-04 2020-12-15 厦门大学附属翔安医院 基于超声医学的乳腺结节检测方法及系统
CN112634261A (zh) * 2020-12-30 2021-04-09 上海交通大学医学院附属瑞金医院 基于卷积神经网络的胃癌病灶检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RDA-UNET-WGAN: An Accurate Breast Ultrasound Lesion Segmentation UsingWasserstein Generative Adversarial Networks;Anuja Negi等;《Arabian Journal for Science and Engineering》;20200403;第1-12页 *
基于病理图像的乳腺癌分类方法研究;于翠如;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20200115(第1期);第E072-55页 *

Also Published As

Publication number Publication date
CN113256605A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN113256605B (zh) 一种基于深度神经网络的乳腺癌图像识别分类方法
EP3992851A1 (en) Image classification method, apparatus and device, storage medium, and medical electronic device
US20220051405A1 (en) Image processing method and apparatus, server, medical image processing device and storage medium
EP3815040A1 (en) Multi-sample whole slide image processing via multi-resolution registration
JP2022521844A (ja) 深層学習ネットワークを使用してユーザ写真から体重を測定するシステム及び方法
CN111553892B (zh) 基于深度学习的肺结节分割计算方法、装置及系统
CN112380900A (zh) 基于深度学习的子宫颈液基细胞数字图像分类方法及系统
WO2022088665A1 (zh) 病灶分割方法、装置及存储介质
CN109785311B (zh) 一种疾病诊断装置、电子设备及存储介质
JP7294695B2 (ja) 学習済モデルによるプログラム、情報記録媒体、分類装置、ならびに、分類方法
CN114820584B (zh) 肺部病灶定位装置
CN111445457A (zh) 网络模型的训练方法及装置、识别方法及装置、电子设备
US20220383621A1 (en) Class-disparate loss function to address missing annotations in training data
CN113989293A (zh) 图像分割方法及相关模型的训练方法和装置、设备
CN112700461A (zh) 一种肺结节检测和表征类别识别的系统
CN113782181A (zh) 一种基于ct图像的肺结节良恶性诊断方法及装置
US6608915B2 (en) Image processing method and apparatus
CN112927215A (zh) 一种消化道活检病理切片自动分析方法
WO2022033598A1 (zh) 乳房x射线图像获取方法、装置、计算机设备和存储介质
CN114332858A (zh) 病灶检测方法及装置、病灶检测模型获取方法
CN116524315A (zh) 一种基于Mask R-CNN的肺癌病理组织切片识别及分割方法
KR102633823B1 (ko) 의료영상 판별장치 및 그 방법
US20240095907A1 (en) Deep learning based systems and methods for detecting breast diseases
Gumus Segmentation and root localization for analysis of dental radiographs
CN117496323B (zh) 基于Transformer的多尺度二阶病理图像分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant