CN114219807A - 乳腺超声检查图像分级方法、装置、设备和存储介质 - Google Patents
乳腺超声检查图像分级方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN114219807A CN114219807A CN202210161924.4A CN202210161924A CN114219807A CN 114219807 A CN114219807 A CN 114219807A CN 202210161924 A CN202210161924 A CN 202210161924A CN 114219807 A CN114219807 A CN 114219807A
- Authority
- CN
- China
- Prior art keywords
- classification
- neural network
- network model
- model
- rads
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明涉及图像识别技术领域,公开了一种乳腺超声检查图像分级方法、装置、设备和存储介质,所述方法包括:获取超声检查图像;将超声检查图像输入实性占位分类模型,得到第一分类结果;若第一分类结果表明不存在实性占位,则将超声检查图像输入BI‑RADS一二级两分类模型,得到第二分类结果;若第一分类结果表明存在实性占位,则将超声检查图像输入良恶性分类模型,得到第三分类结果;若第三分类结果表明为恶性,则将超声检查图像输入BI‑RADS多分类模型,得到第四分类结果。本发明解决了现有乳腺超声检查操作中,其超声检查图像的分级识别容易受到医生个人经验水平影响,导致超声检查图像的分级识别的准确率不能保证的问题。
Description
技术领域
本发明涉及图像识别技术领域,具体是指一种乳腺超声检查图像分级方法、装置、设备和存储介质。
背景技术
乳腺癌是多发于女性乳腺部位一种恶性肿瘤,随着环境的改变和人们生活习惯的变化,乳腺癌的发病率自1990年后呈现全球性上升趋势。美国等西方发达国家每十名女性至少有一人罹患乳腺癌,我国近年来乳腺癌发病率的增长速度已高出乳腺癌高发国家一到两个百分点,乳腺癌的发病率高居女性恶性肿瘤中的第一位。虽然乳腺不是维持人体生命活动的重要器官,原位乳腺癌并不致命,但是乳腺癌细胞丧失了正常细胞的活性,结构松散,极易扩散,游离的癌细胞以血液或淋巴液为载体可扩散至全身,威胁人类生命。乳腺癌是当今社会重大的公共卫生问题,乳腺筛查可以帮助提升早期病例的比例,及早开展对于恶性乳腺肿瘤的综合治疗。因此,及时的筛查和治疗对于预防乳腺癌的发生至关重要。
对于乳腺癌的诊断,现常采用三种手段:体格检查、影像学检查、病理学检查。其中,病理学检查被认为是乳腺癌检查的金标准。病理学检查通常有组织活检、免疫组化检查等手段,其检查结果被认为是最可靠、最准确的。在病理学检查中,医师通过对病灶的组织学与病理学特征的识别来进行诊断。比如乳腺细胞核级、是否含有粉刺状坏死、是否存在微浸润细胞等。然而,病理学检查需要经验丰富的乳腺外科医生和病理学医师配合,且检查过程较为复杂,检查成本较高。
由于乳腺是体表器官,乳腺疾病通常可以通过影像学方法进行筛查。国际上主流的乳腺癌影像学检查方法是钼靶检查,但是,中国女性的乳房较为致密,在这种情况下,钼靶检查敏感度不佳;而且钼靶检查含有辐射,因此,在国内,钼靶检查的效果并不理想。
由于超声检查价格低廉、无辐射、且普及程度高,国内最为主流的乳腺癌影像学检查方法是超声检查。但是目前我国乳腺癌超声检查面临着超声医生短缺的问题,据卫健委统计,我国超声医生至少有10万多人的缺口。此外在超声医生中,经验丰富的医生更少,不同的医生对超声图像的解读具有差异性,在临床环节中,容易出现乳腺超声检查图像分类识别错误的情况。
发明内容
基于以上技术问题,本发明提供了一种乳腺超声检查图像分级方法、装置、设备和存储介质,解决了现有乳腺超声检查操作中,其超声检查图像的分级识别容易受到医生个人经验水平影响,导致超声检查图像的分级识别的准确率不能保证的问题。
为解决以上技术问题,本发明采用的技术方案如下:
一种乳腺超声检查图像分级方法,包括:
获取超声检查图像;
将超声检查图像输入实性占位分类模型,得到第一分类结果;
若第一分类结果表明不存在实性占位,则将超声检查图像输入BI-RADS一二级两分类模型,得到第二分类结果;
若第一分类结果表明存在实性占位,则将超声检查图像输入良恶性分类模型,得到第三分类结果;
若第三分类结果表明为恶性,则将超声检查图像输入BI-RADS多分类模型,得到第四分类结果。
一种乳腺超声检查图像分级装置,包括:
图像获取模块,图像获取模块用于获取超声检查图像;
实性占位分类模块,实性占位分类模块用于将超声检查图像输入实性占位分类模型,得到第一分类结果;
BI-RADS一二级两分类模块,BI-RADS一二级两分类模块用于若第一分类结果表明不存在实性占位,则将超声检查图像输入BI-RADS一二级两分类模型,得到第二分类结果;
良恶性分类模块,良恶性分类模块用于若第一分类结果表明存在实性占位,则将超声检查图像输入良恶性分类模型,得到第三分类结果;
BI-RADS多分类模块,BI-RADS多分类模型用于若第三分类结果表明为恶性,则将超声检查图像输入BI-RADS多分类模型,得到第四分类结果。
一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述乳腺超声检查图像分级方法的步骤。
一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述乳腺超声检查图像分级方法的步骤。
与现有技术相比,本发明的有益效果是:
本发明通过神经网络识别技术对超声检查图像中的乳腺病灶进行分级识别,能够有效的解决彩超医生人员和经验短缺的问题,提高筛查的检出率,有利于医务人员后续诊疗的进行。且相较于传统的单一神经网络模型识别的方法,本发明提供了一种通过多步骤、多模型完成超声检查图像识别的方法,有效的提升了超声检查图像的BI-RADS分级准确率,提升了对乳腺恶性病变的识别敏感度。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。其中:
图1为乳腺超声检查图像分级方法流程示意图图一。
图2为神经网络模型的训练流程图。
图3为乳腺超声检查图像分级方法流程示意图图二。
图4为分类模型分级识别流程中类别激活特征图的传递示意图。
图5为乳腺超声检查图像分级装置服务端程序框架示意图。
图6为服务程序业务流程图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例的附图,对本申请实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于所描述的本申请的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
除非另外定义,本申请使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
参阅图1,在一些实施例中,一种乳腺超声检查图像分级方法,包括:
S101,获取超声检查图像;
优选的,获取超声检查图像之后,还包括对超声检查图像进行预处理,预处理包括:对超声检查图像进行分辨率转换对齐;对分辨率转换对齐后的超声检查图像进行裁剪和压缩。
S102,将超声检查图像输入实性占位分类模型,得到第一分类结果;
其中,实性占位分类模型可以识别超声检查图像上是否存在实性占位。具体的,第一分类结果的具体结果为存在实性占位或不存在实性占位。
S103,若第一分类结果表明不存在实性占位,则将超声检查图像输入BI-RADS一二级两分类模型,得到第二分类结果;具体的,第二分类结果为BI-RADS分级1级或2级。
S104,若第一分类结果表明存在实性占位,则将超声检查图像输入良恶性分类模型,得到第三分类结果;
其中,良恶性分裂模型可以识别病灶的良恶性。具体的,第三分类结果为良性或恶性。
S105,若第三分类结果表明为恶性,则将超声检查图像输入BI-RADS多分类模型,得到第四分类结果。
具体的,第四分类结果为BI-RADS分级4a级、4b级、4c级或5级。
优选的,若第三分类结果表明为良性,则得到第五分类结果。具体的,第五分类结果为BI-RADS分级3级。
在本实施例中,乳腺超声检查图像分级方法的完整流程同样可以参阅图3所示。
参阅图4,优选的,在分类模型的分级识别过程中:
提取实性占位分类模型输出的第一类别激活特征图,并将提取出的第一类别激活特征图输入良恶性分类模型;
提取良恶性分类模型输出的第二类别激活特征图,并将提取出的第二类别激活特征图输入BI-RADS多分类模型。
提取实性占位分类模型输出的第一类别激活特征图,并将提取出的第一类别激活特征图输入BI-RADS一二级两分类模型。
其中,从医院的乳腺超声检查数据可知,乳腺超声检查图像的BI-RADS到的分级结果存在严重的不平衡,具体表现为较为轻微的疾病种类多,数据多;而较为严重的疾病种类,比如高怀疑癌等,数据少。
因此,由于各个BI-RADS分级类别之间的数据量严重不平衡,采集的数据的不平衡问题如果不加以特殊处理,会导致分类模型更加倾向于将输入的图像认为是较轻微的病种,会导致分类模型出现识别率降低的问题,还会导致敏感度降低,漏诊率增高。本实施例通过多步骤、多模型完成超声检查图像识别的方法,有效的提升了超声检查图像的BI-RADS分级准确率,提升了对乳腺恶性病变的识别敏感度。
其中,从上述实施例可以看出,针对乳腺超声检查图像的BI-RADS分级,主要包括四个相互协作的网络。实性占位分类模型对图像进行有/无实性占位的分类,图像经过实性占位分类模型识别后,提取出第一类别激活特征图,并输入良恶性分类模型、BI-RADS一二级两分类模型进行特征空间的增强与融合。
良恶性分类模型对超声检查图像进行良恶性分类,超声检查图像经过良恶性分类模型识别后,提取出第二类别激活特征图,并输入至BI-RADS多分类模型进行特征空间的增强与融合,BI-RADS多分类模型对图像进行4a、4b、4c、5级多分类。
参阅图2,在一些实施例中,实性占位分类模型、良恶性分类模型、BI-RADS一二级两分类模型和BI-RADS多分类模型的训练方法包括:
S201,获取未训练的神经网络模型;
其中,在本实施例中,获取的是未训练的神经网络模型集合,神经网络模型集合包含第一神经网络模型、第二神经网络模型、第三神经网络模型和第四神经网络模型;
具体的,第二神经网络模型其网络模型框架结构采用Inception-Resnet-v2结构。其中,Inception-Resnet-v2包含残差层,这是由于第二神经网络模型用于训练良恶性分类模型,良恶性分类的数据量相对较多,需要更大的网络来进行训练。更大的网络训练更加困难,加入残差层有助于加快训练速度,提升训练效果。
具体的,第一神经网络模型、第三神经网络模型和第四神经网络模型其网络模型框架结构Inception-v3结构。
通过实验证明,上述网络模型结构中的多尺度卷积核更适合乳腺超声图像的特点,实验表明能够取得更好的分类识别效果。
S202,获取训练集,并对训练集中样本进行标注;具体的,标注包括实性占位分类标签、良恶性分类标签、BI-RADS一二级分类标签和BI-RADS多级分类标签;
S203,将训练集输入神经网络模型中,得到输出结果;
其中,在本实施例中,训练集分别输入神经网络模型集合中的各个神经网络模型中;具体包括:
将训练集输入第一神经网络模型中,得到第一神经网络模型的输出的第一类别激活特征图和第一分类结果;
将训练集输入第二神经网络模型中,得到第二神经网络模型的输出的第二类别激活特征图和第二分类结果;
将训练集输入第三神经网络模型中,得到第三神经网络模型的输出的第三分类结果;
将训练集输入第四神经网络模型中,得到第四神经网络模型的输出的第四分类结果;
S204,基于输出结果和标注的分类标签构建交叉熵损失函数;具体包括:
基于第一分类结果和实性占位分类标签构建第一交叉熵损失函数;
具体的,第一交叉熵损失函数为:
基于第二分类结果、良恶性分类标签和第一类别激活特征图构建第二交叉熵损失函数;
具体的,第二交叉熵损失函数为:
基于第三分类结果、BI-RADS一二级分类标签和第一类别激活特征图构建第三交叉熵损失函数;
具体的,第三交叉熵损失函数为:
其中,表示第三交叉熵损失函数,表示训练集中第i个样本的BI-RADS一二
级分类标签;表示训练集中第i个样本在第三神经网络模型中输出的BI-RADS一二级分
类的预测概率,即第i个样本的第三分类结果;
基于第四分类结果、BI-RADS多级分类标签和第二类别激活特征图构建第四交叉熵损失函数;
具体的,第四交叉熵损失函数为:
S205,基于交叉熵损失函数对神经网络进行训练;具体包括:
基于第一交叉熵损失函数对第一神经网络模型进行迭代训练,获得实性占位分类模型;
基于第二交叉熵损失函数对第二神经网络模型进行迭代训练,获得良恶性分类模型;
基于第三交叉熵损失函数对第三神经网络模型进行迭代训练,获得BI-RADS一二级两分类模型;
基于第四交叉熵损失函数对第四神经网络模型进行迭代训练,获得BI-RADS多分类模型。
在一些实施例中,还公开了一种乳腺超声检查图像分级装置,包括:
图像获取模块,图像获取模块用于获取超声检查图像;
实性占位分类模块,实性占位分类模块用于将超声检查图像输入实性占位分类模型,得到第一分类结果;
BI-RADS一二级两分类模块,BI-RADS一二级两分类模块用于若第一分类结果表明不存在实性占位,则将超声检查图像输入BI-RADS一二级两分类模型,得到第二分类结果;
良恶性分类模块,良恶性分类模块用于若第一分类结果表明存在实性占位,则将超声检查图像输入良恶性分类模型,得到第三分类结果;
BI-RADS多分类模块,BI-RADS多分类模型用于若第三分类结果表明为恶性,则将超声检查图像输入BI-RADS多分类模型,得到第四分类结果。
在本实施例中,乳腺超声检查图像分级装置与前置机系统、网络系统和服务器构成整个超声检查图像分级识别系统,其中,乳腺超声检查图像分级装置布置在服务器端。现有乳腺超声检查识别系统,大多数针对的是静态彩超图像,医生通过彩超检测到病灶位置后,需要手动对病灶位置截图,一次检测需要多次截图,检测完成后,再将图像传至AI服务器做病灶检测。且在实际情况中,超声图像是一个动态变化的连续过程,在这种检测方式下,医生不得不多次暂停进行截图,增加了操作负担,并且医生的操作手法也影响了病灶的截图水平,病灶切面的情况也可能会导致AI识别的准确率不高。
而对于本实施例中的超声检查图像分级识别系统,可以在超声检查过程中实时采集超声检查图像并识别,减轻了医务人员的操作负担,降低了医务人员主观经验对超声检查图像分级结果的影响。
其中,前置机系统安装于彩超科室的前置PC机中,彩超通过视频采集卡与前置PC机相连接,采集卡将采集到的视频流输入前置机系统中,前置机系统对视频流进行预处理,输出预处理图像。
其中,前置PC机通过医院内部局域网与机房服务器相连,将预处理图像通过socket字节流传输至服务器,经服务器内置的乳腺超声检查图像分级装置处理后,返回图像及BI-RADS分级结果。该系统能够实时处理超声动态视频图像,实时反馈病灶BI-RADS分级情况,有效的辅助医生进行诊断,提高筛查准确率。其主要涉及两大系统:
客户端程序,对于客户端程序主要包含图像预处理模块、网络模块和用户显示界面。
其中,图像预处理模块主要负责从图像采集卡获取彩超机的超声检查图像,并进行超声检查图像的预处理,再将超声检查图像发送到客户端显示。接着进行图像质量控制,并将超声检查图像发送到服务器。
具体的,该模块使用一个子线程串行执行,该模块获取图像后,首先进行图像预处理,然后将处理后的图像发送给主进程显示,接着进行质量控制,处理后的图像直接使用通讯模块调用模型,模型结果直接返回给客户端进行更新。其包含的流程功能说明如下:
1、图像采集:从采集卡获取1080p,每秒30帧的位图图像;
2、图像预处理1:对采集到的超声检查图像进行分辨率转换对齐;
3、发送图像到客户端主进程:将处理完成后的超声检查图像发送到客户端进行显示;
4、图像预处理2:为了节省网络资源,对超声检查图像进行裁剪和压缩以发送到服务器;
5、模型调用:发送超声检查图像到服务器进行分级识别。
其中,网络模块用于通信管理。前置机系统和服务器之间采用socket套接字通信,采用TCP协议,前置机系统作为客户端运行,发送请求报文;乳腺超声检查图像分级装置作为服务器端,发送应答报文,如此完成一次数据请求。
其中,用户显示界面将AI病灶识别系统的BI-RADS分级信息显示于前置机显示器中。
参阅图5,服务端乳腺超声检查图像分级装置,为服务器端程序,服务端由分析服务程序、网络管理子进程、算法子进程、数据库、监控模块构成。服务程序和各个子进程之间采用共享内存和管道的方式进行通信。
其中,数据管理子进程主要由socket服务端及消息缓存队列构成,socket服务端收到客户端发送的原始彩超后,放入消息队列中,等待计算。
参阅图6,其中,服务程序为主进程,主进程通过管道的方式,对网络管理子进程发消息完成客户端数据的读取,并根据算法子进程运行状态,对超声检查图像批量存取,完成图像分析。
1、算法子进程空闲时,服务程序批量从缓存队列中取出客户端发送的原始超声检查图像,放入共享内存中。
2、服务程序通过管道消息通知算法子进程开始识别。
3、算法子进程计算完成,将超声检查图像、BI-RADS标签、良恶性标签放入共享内存中。
4、服务程序批量将以完成识别的彩超数据发送至数据管理子进程,通过socket传回客户端。
其中,算法子进程常用乳腺癌分级AI系统多采用多分类器的识别方法,即输入一张乳腺超声检查图像后,通过一个多分类器识别,得出BI-RADS分类结果。该方法直接进行BI-RADS 1、2、3、4a、4b、4c和5类的识别,由于各个类别之间的数据量严重不平衡,会导致识别率降低的问题,而且会导致敏感度降低,漏诊率增高。本发明提出一种优化流程,通过多步骤、多模型识别,可以有效提升BI-RADS分级准确率,提升恶性病变识别敏感度。
在一些实施例中,还公开了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述乳腺超声检查图像分级方法的步骤。
其中,所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或D界面显示存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,所述存储器可以是所述计算机设备的内部存储单元,例如该计算机设备的硬盘或内存。在另一些实施例中,所述存储器也可以是所述计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。当然,所述存储器还可以既包括所述计算机设备的内部存储单元也包括其外部存储设备。本实施例中,所述存储器常用于存储安装于所述计算机设备的操作系统和各类应用软件,例如所述乳腺超声检查图像分级方法的程序代码等。此外,所述存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制所述计算机设备的总体操作。本实施例中,所述处理器用于运行所述存储器中存储的程序代码或者处理数据,例如运行所述乳腺超声检查图像分级方法的程序代码。
在一些实施例中,还公开了一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述乳腺超声检查图像分级方法的步骤。
其中,所述计算机可读存储介质存储有界面显示程序,所述界面显示程序可被至少一个处理器执行,以使所述至少一个处理器执行如上述的乳腺超声检查图像分级方法的步骤。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器或者网络设备等)执行本申请各个实施例所述的方法。
如上即为本发明的实施例。上述实施例以及实施例中的具体参数仅是为了清楚表述发明的验证过程,并非用以限制本发明的专利保护范围,本发明的专利保护范围仍然以其权利要求书为准,凡是运用本发明的说明书及附图内容所作的等同结构变化,同理均应包含在本发明的保护范围内。
Claims (10)
1.乳腺超声检查图像分级方法,其特征在于,包括:
获取超声检查图像;
将所述超声检查图像输入实性占位分类模型,得到第一分类结果;
若所述第一分类结果表明不存在实性占位,则将所述超声检查图像输入BI-RADS一二级两分类模型,得到第二分类结果;
若所述第一分类结果表明存在实性占位,则将所述超声检查图像输入良恶性分类模型,得到第三分类结果;
若所述第三分类结果表明为恶性,则将所述超声检查图像输入BI-RADS多分类模型,得到第四分类结果。
2.根据权利要求1所述的乳腺超声检查图像分级方法,其特征在于:
提取所述实性占位分类模型输出的第一类别激活特征图,并将提取出的所述第一类别激活特征图输入所述良恶性分类模型和所述BI-RADS一二级两分类模型;
提取所述良恶性分类模型输出的第二类别激活特征图,并将提取出的所述第二类别激活特征图输入所述BI-RADS多分类模型。
3.根据权利要求2所述的乳腺超声检查图像分级方法,其特征在于,所述实性占位分类模型、所述良恶性分类模型、所述BI-RADS一二级两分类模型和所述BI-RADS多分类模型的训练方法包括:
获取未训练的神经网络模型集合,所述神经网络模型集合包含第一神经网络模型、第二神经网络模型、第三神经网络模型和第四神经网络模型;
获取训练集,并对所述训练集中样本进行标注,所述标注包括实性占位分类标签、良恶性分类标签、BI-RADS一二级分类标签和BI-RADS多级分类标签;
将所述训练集输入所述第一神经网络模型中,得到所述第一神经网络模型的输出的第一类别激活特征图和第一分类结果;
将所述训练集输入所述第二神经网络模型中,得到所述第二神经网络模型的输出的第二类别激活特征图和第二分类结果;
将所述训练集输入所述第三神经网络模型中,得到所述第三神经网络模型的输出的第三分类结果;
将所述训练集输入所述第四神经网络模型中,得到所述第四神经网络模型的输出的第四分类结果;
基于所述第一分类结果和所述实性占位分类标签构建第一交叉熵损失函数;
基于所述第二分类结果、所述良恶性分类标签和所述第一类别激活特征图构建第二交叉熵损失函数;
基于所述第三分类结果、所述BI-RADS一二级分类标签和所述第一类别激活特征图构建第三交叉熵损失函数;
基于所述第四分类结果、所述BI-RADS多级分类标签和所述第二类别激活特征图构建第四交叉熵损失函数;
基于所述第一交叉熵损失函数对所述第一神经网络模型进行迭代训练,获得所述实性占位分类模型;
基于所述第二交叉熵损失函数对所述第二神经网络模型进行迭代训练,获得所述良恶性分类模型;
基于所述第三交叉熵损失函数对所述第三神经网络模型进行迭代训练,获得所述BI-RADS一二级两分类模型;
基于所述第四交叉熵损失函数对所述第四神经网络模型进行迭代训练,获得所述BI-RADS多分类模型。
8.乳腺超声检查图像分级装置,其特征在于,包括:
图像获取模块,所述图像获取模块用于获取超声检查图像;
实性占位分类模块,所述实性占位分类模块用于将所述超声检查图像输入实性占位分类模型,得到第一分类结果;
BI-RADS一二级两分类模块,所述BI-RADS一二级两分类模块用于若所述第一分类结果表明不存在实性占位,则将所述超声检查图像输入BI-RADS一二级两分类模型,得到第二分类结果;
良恶性分类模块,所述良恶性分类模块用于若所述第一分类结果表明存在实性占位,则将所述超声检查图像输入良恶性分类模型,得到第三分类结果;
BI-RADS多分类模块,所述BI-RADS多分类模型用于若所述第三分类结果表明为恶性,则将所述超声检查图像输入BI-RADS多分类模型,得到第四分类结果。
9.一种计算机设备,其特征在于:包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述的乳腺超声检查图像分级方法的步骤。
10.一种计算机可读存储介质,其特征在于:存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述的乳腺超声检查图像分级方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210161924.4A CN114219807B (zh) | 2022-02-22 | 2022-02-22 | 乳腺超声检查图像分级方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210161924.4A CN114219807B (zh) | 2022-02-22 | 2022-02-22 | 乳腺超声检查图像分级方法、装置、设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114219807A true CN114219807A (zh) | 2022-03-22 |
CN114219807B CN114219807B (zh) | 2022-07-12 |
Family
ID=80709259
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210161924.4A Active CN114219807B (zh) | 2022-02-22 | 2022-02-22 | 乳腺超声检查图像分级方法、装置、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114219807B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114882019A (zh) * | 2022-07-01 | 2022-08-09 | 首都医科大学附属北京妇产医院 | 孕早期或孕中期超声图像标准化质量控制方法、系统及设备 |
CN115222997A (zh) * | 2022-09-15 | 2022-10-21 | 中山大学附属第一医院 | 一种基于深度学习的睾丸图像分类方法 |
CN115587979A (zh) * | 2022-10-10 | 2023-01-10 | 山东财经大学 | 基于三阶段注意力网络的糖尿病视网膜病变分级的方法 |
CN117422927A (zh) * | 2023-11-09 | 2024-01-19 | 什维新智医疗科技(上海)有限公司 | 一种乳腺超声图像分类方法、系统、电子设备及介质 |
Citations (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107680678A (zh) * | 2017-10-18 | 2018-02-09 | 北京航空航天大学 | 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统 |
CN109166105A (zh) * | 2018-08-01 | 2019-01-08 | 中国人民解放军南京军区南京总医院 | 人工智能医学影像的肿瘤恶性风险分层辅助诊断系统 |
CN109829889A (zh) * | 2018-12-27 | 2019-05-31 | 清影医疗科技(深圳)有限公司 | 一种超声图像处理方法及其系统、设备、存储介质 |
US20190189264A1 (en) * | 2017-12-15 | 2019-06-20 | International Business Machines Corporation | Triage of patient medical condition based on cognitive classification of medical images |
CN110599476A (zh) * | 2019-09-12 | 2019-12-20 | 腾讯科技(深圳)有限公司 | 基于机器学习的疾病分级方法、装置、设备及介质 |
CN110930367A (zh) * | 2019-10-31 | 2020-03-27 | 上海交通大学 | 多模态超声影像分类方法以及乳腺癌诊断装置 |
CN111368788A (zh) * | 2020-03-17 | 2020-07-03 | 北京迈格威科技有限公司 | 图像识别模型的训练方法、装置及电子设备 |
CN111768366A (zh) * | 2020-05-20 | 2020-10-13 | 深圳迈瑞生物医疗电子股份有限公司 | 超声成像系统、bi-rads分级方法及模型训练方法 |
CN111798424A (zh) * | 2020-06-30 | 2020-10-20 | 广西医准智能科技有限公司 | 一种基于医学图像的结节检测方法、装置及电子设备 |
CN111915593A (zh) * | 2020-08-04 | 2020-11-10 | 中国科学院微电子研究所 | 模型建立方法、装置、电子设备及存储介质 |
CN111951221A (zh) * | 2020-07-13 | 2020-11-17 | 清影医疗科技(深圳)有限公司 | 一种基于深度神经网络的肾小球细胞图像识别方法 |
US20200364855A1 (en) * | 2017-11-22 | 2020-11-19 | The Trustees Of Columbia University In The City Of New York | System, method and computer-accessible medium for classifying breast tissue using a convolutional neural network |
CN111968122A (zh) * | 2020-08-27 | 2020-11-20 | 广东工业大学 | 一种基于卷积神经网络的纺织材料ct图像分割方法和装置 |
WO2021088300A1 (zh) * | 2019-11-09 | 2021-05-14 | 北京工业大学 | 一种基于非对称双流网络的rgb-d多模态融合人员检测方法 |
CN112819819A (zh) * | 2021-02-26 | 2021-05-18 | 泰康保险集团股份有限公司 | 基于深度学习的尘肺分级方法、装置、介质及设备 |
CN113011306A (zh) * | 2021-03-15 | 2021-06-22 | 中南大学 | 连续成熟阶段骨髓细胞图像自动识别方法、系统及介质 |
CN113033667A (zh) * | 2021-03-26 | 2021-06-25 | 九江学院 | 一种超声图像两阶段深度学习的乳腺肿瘤分类方法和装置 |
CN113239993A (zh) * | 2021-04-29 | 2021-08-10 | 中国人民解放军海军军医大学第三附属医院 | 一种病理图像的分类方法、病理图像的分类系统、终端及计算机可读存储介质 |
CN113450320A (zh) * | 2021-06-17 | 2021-09-28 | 浙江德尚韵兴医疗科技有限公司 | 一种基于较深网络结构的超声结节分级与良恶性预测方法 |
CN113592835A (zh) * | 2021-08-05 | 2021-11-02 | 深圳开立生物医疗科技股份有限公司 | 一种乳腺超声图像分级方法、装置及电子设备和存储介质 |
CN113658146A (zh) * | 2021-08-20 | 2021-11-16 | 合肥合滨智能机器人有限公司 | 一种结节分级方法、装置、电子设备及存储介质 |
-
2022
- 2022-02-22 CN CN202210161924.4A patent/CN114219807B/zh active Active
Patent Citations (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107680678A (zh) * | 2017-10-18 | 2018-02-09 | 北京航空航天大学 | 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统 |
US20200364855A1 (en) * | 2017-11-22 | 2020-11-19 | The Trustees Of Columbia University In The City Of New York | System, method and computer-accessible medium for classifying breast tissue using a convolutional neural network |
US20190189264A1 (en) * | 2017-12-15 | 2019-06-20 | International Business Machines Corporation | Triage of patient medical condition based on cognitive classification of medical images |
CN109166105A (zh) * | 2018-08-01 | 2019-01-08 | 中国人民解放军南京军区南京总医院 | 人工智能医学影像的肿瘤恶性风险分层辅助诊断系统 |
CN109829889A (zh) * | 2018-12-27 | 2019-05-31 | 清影医疗科技(深圳)有限公司 | 一种超声图像处理方法及其系统、设备、存储介质 |
CN110599476A (zh) * | 2019-09-12 | 2019-12-20 | 腾讯科技(深圳)有限公司 | 基于机器学习的疾病分级方法、装置、设备及介质 |
CN110930367A (zh) * | 2019-10-31 | 2020-03-27 | 上海交通大学 | 多模态超声影像分类方法以及乳腺癌诊断装置 |
WO2021088300A1 (zh) * | 2019-11-09 | 2021-05-14 | 北京工业大学 | 一种基于非对称双流网络的rgb-d多模态融合人员检测方法 |
CN111368788A (zh) * | 2020-03-17 | 2020-07-03 | 北京迈格威科技有限公司 | 图像识别模型的训练方法、装置及电子设备 |
CN111768366A (zh) * | 2020-05-20 | 2020-10-13 | 深圳迈瑞生物医疗电子股份有限公司 | 超声成像系统、bi-rads分级方法及模型训练方法 |
CN111798424A (zh) * | 2020-06-30 | 2020-10-20 | 广西医准智能科技有限公司 | 一种基于医学图像的结节检测方法、装置及电子设备 |
CN111951221A (zh) * | 2020-07-13 | 2020-11-17 | 清影医疗科技(深圳)有限公司 | 一种基于深度神经网络的肾小球细胞图像识别方法 |
CN111915593A (zh) * | 2020-08-04 | 2020-11-10 | 中国科学院微电子研究所 | 模型建立方法、装置、电子设备及存储介质 |
CN111968122A (zh) * | 2020-08-27 | 2020-11-20 | 广东工业大学 | 一种基于卷积神经网络的纺织材料ct图像分割方法和装置 |
CN112819819A (zh) * | 2021-02-26 | 2021-05-18 | 泰康保险集团股份有限公司 | 基于深度学习的尘肺分级方法、装置、介质及设备 |
CN113011306A (zh) * | 2021-03-15 | 2021-06-22 | 中南大学 | 连续成熟阶段骨髓细胞图像自动识别方法、系统及介质 |
CN113033667A (zh) * | 2021-03-26 | 2021-06-25 | 九江学院 | 一种超声图像两阶段深度学习的乳腺肿瘤分类方法和装置 |
CN113239993A (zh) * | 2021-04-29 | 2021-08-10 | 中国人民解放军海军军医大学第三附属医院 | 一种病理图像的分类方法、病理图像的分类系统、终端及计算机可读存储介质 |
CN113450320A (zh) * | 2021-06-17 | 2021-09-28 | 浙江德尚韵兴医疗科技有限公司 | 一种基于较深网络结构的超声结节分级与良恶性预测方法 |
CN113592835A (zh) * | 2021-08-05 | 2021-11-02 | 深圳开立生物医疗科技股份有限公司 | 一种乳腺超声图像分级方法、装置及电子设备和存储介质 |
CN113658146A (zh) * | 2021-08-20 | 2021-11-16 | 合肥合滨智能机器人有限公司 | 一种结节分级方法、装置、电子设备及存储介质 |
Non-Patent Citations (3)
Title |
---|
KUEN-JANG TSAI 等: "A High-Performance Deep Neural Network Model for BI-RADS Classification of Screening Mammography", 《SENSORS》 * |
张书还: "基于超声深度学习模型在乳腺BI-RADS 4类病变中预测乳腺癌的价值", 《中国优秀博硕士学位论文全文数据库(硕士)医药卫生科技辑》 * |
贾田菊 等: "基于深度学习的乳腺数字化X线BI-RADS密度分类的研究", 《山西医科大学学报》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114882019A (zh) * | 2022-07-01 | 2022-08-09 | 首都医科大学附属北京妇产医院 | 孕早期或孕中期超声图像标准化质量控制方法、系统及设备 |
CN115222997A (zh) * | 2022-09-15 | 2022-10-21 | 中山大学附属第一医院 | 一种基于深度学习的睾丸图像分类方法 |
CN115587979A (zh) * | 2022-10-10 | 2023-01-10 | 山东财经大学 | 基于三阶段注意力网络的糖尿病视网膜病变分级的方法 |
CN115587979B (zh) * | 2022-10-10 | 2023-08-15 | 山东财经大学 | 基于三阶段注意力网络的糖尿病视网膜病变分级的方法 |
CN117422927A (zh) * | 2023-11-09 | 2024-01-19 | 什维新智医疗科技(上海)有限公司 | 一种乳腺超声图像分类方法、系统、电子设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114219807B (zh) | 2022-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114219807B (zh) | 乳腺超声检查图像分级方法、装置、设备和存储介质 | |
US11200416B2 (en) | Methods and apparatuses for image detection, electronic devices and storage media | |
CN110728674B (zh) | 图像处理方法及装置、电子设备和计算机可读存储介质 | |
Moussa et al. | Thyroid nodules classification and diagnosis in ultrasound images using fine‐tuning deep convolutional neural network | |
CN110689025B (zh) | 图像识别方法、装置、系统及内窥镜图像识别方法、装置 | |
CN110473186B (zh) | 一种基于医学图像的检测方法、模型训练的方法及装置 | |
Rahman et al. | Deep learning–driven automated detection of Covid-19 from radiography images: A comparative analysis | |
WO2022028127A1 (zh) | 基于人工智能的病理图像处理方法、装置、电子设备及存储介质 | |
Xie et al. | Neural networks model based on an automated multi-scale method for mammogram classification | |
US20190019291A1 (en) | Method and System for Image Analysis to Detect Cancer | |
CN111325266B (zh) | 乳腺钼靶图像中微钙化簇的检测方法、装置和电子设备 | |
WO2022110525A1 (zh) | 一种癌变区域综合检测装置及方法 | |
WO2022089257A1 (zh) | 医学图像处理方法、装置、设备、存储介质及产品 | |
CN110827236A (zh) | 基于神经网络的脑组织分层方法、装置、计算机设备 | |
CN113096109A (zh) | 一种肺部医学图像分析方法、设备及系统 | |
Alamoudi et al. | A deep learning fusion approach to diagnosis the polycystic ovary syndrome (pcos) | |
US20240112329A1 (en) | Distinguishing a Disease State from a Non-Disease State in an Image | |
CN112819819A (zh) | 基于深度学习的尘肺分级方法、装置、介质及设备 | |
Zhang et al. | A comprehensive review of methods based on deep learning for diabetes-related foot ulcers | |
CN113269721B (zh) | 模型训练方法、装置、电子设备及存储介质 | |
Crasta et al. | A novel Deep Learning architecture for lung cancer detection and diagnosis from Computed Tomography image analysis | |
Zhou et al. | Improved breast lesion detection in mammogram images using a deep neural network | |
CN115564756A (zh) | 医学图像病灶定位显示方法与系统 | |
CN111275035B (zh) | 一种识别背景信息的方法及系统 | |
CN113222989A (zh) | 一种图像分级方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |