CN111062935B - 一种乳腺肿瘤检测方法、存储介质及终端设备 - Google Patents

一种乳腺肿瘤检测方法、存储介质及终端设备 Download PDF

Info

Publication number
CN111062935B
CN111062935B CN201911381949.XA CN201911381949A CN111062935B CN 111062935 B CN111062935 B CN 111062935B CN 201911381949 A CN201911381949 A CN 201911381949A CN 111062935 B CN111062935 B CN 111062935B
Authority
CN
China
Prior art keywords
convolution
breast tumor
unit
breast
tumor detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911381949.XA
Other languages
English (en)
Other versions
CN111062935A (zh
Inventor
王毅
俞俊雄
秦陈陈
林川露
倪东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201911381949.XA priority Critical patent/CN111062935B/zh
Publication of CN111062935A publication Critical patent/CN111062935A/zh
Application granted granted Critical
Publication of CN111062935B publication Critical patent/CN111062935B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30068Mammography; Breast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开了一种乳腺肿瘤检测方法,存储介质及超声设备,所述检测方法包括获取待检测乳腺超声容积数据;待检测乳腺超声容积数据输入已训练的乳腺肿瘤检测模型,通过乳腺肿瘤检测模型输出所述待检测乳腺超声容积数据对应的乳腺肿瘤病灶。本发明通过采用包含有二维卷积单元、三维卷积单元以及点状卷积单元的下采样模块,减少了乳腺肿瘤检测模型的参数量以及计算量,从而使得乳腺肿瘤检测模型可以快速输出乳腺肿瘤病灶,提高了乳腺肿瘤病灶输出的实时性。同时,乳腺肿瘤检测模型从点、线、面以及体四个角度对待检测乳腺超声容积数据进行分割,提高了乳腺肿瘤病灶的检测的准确性。

Description

一种乳腺肿瘤检测方法、存储介质及终端设备
技术领域
本发明涉及超声技术领域,特别涉及一种乳腺肿瘤检测方法、存储介质及终端设备。
背景技术
乳腺癌是严重威胁女性健康的主要疾病之一,女性一生中患乳腺癌的概率为10%,全世界每年约有乳腺癌病人120万人,并且以每年2%-3%的速度递增。据调查数据显示,中国每年的乳腺癌新发数量和死亡数量分别占全世界的12.2%和9.6%,而且按照当前趋势,至2021年中国乳腺癌患者数量可能将高达250万。
目前乳腺癌筛查的方法包括临床乳腺检查、乳腺X线摄影、乳腺超声及乳腺磁共振成像等,其中,乳腺超声作为一种常见的诊断方式,其价格较低,且超声图像能够较好地反映出致密性乳腺肿瘤的分布,有利于减少不必要的病理检查。但是,传统手持式超声获取超声图像并手动标注病灶区域,这种方式存在着依赖操作者经验、获取图像不可重复等问题。
为了解决上述问题,基于全自动乳腺容积超声(ABUS)被广泛使用,然而,由于ABUS存在处理计算量大超声图像质量较差、形状和回声特征复杂以及数据分布不平衡等问题,从而目前基于全自动乳腺容积超声(ABUS) 获取病灶区域的方法普遍存在病灶区域的检出率低。
发明内容
本发明要解决的技术问题在于,针对现有技术的不足,提供一种乳腺肿瘤检测方法、存储介质及终端设备。
为了解决上述技术问题,本发明所采用的技术方案如下:
一种乳腺肿瘤检测方法,所述方法包括:
获取待检测乳腺超声容积数据;
待检测乳腺超声容积数据输入已训练的乳腺肿瘤检测模型,其中,所述乳腺肿瘤检测模型包括下采样模块,所述下采样模块包括二维卷积单元、三维卷积单元以及线扫面卷积单元;
通过所述乳腺肿瘤检测模型输出所述待检测乳腺超声容积数据对应的乳腺肿瘤病灶。
所述乳腺肿瘤检测方法,其中,所述下采样模块包括至少一个第一 Inception卷积单元,所述二维卷积单元、三维卷积单元以及线扫面卷积单元包含于所述第一Inception卷积单元,其中,所述第一Inception卷积单元包括有三个二维卷积单元,并且所述三个二维卷积单元、三维卷积单元以及线扫面卷积单元并行。
所述乳腺肿瘤检测方法,其中,所述第一Inception卷积单元的输入特征的尺寸大于输出特征的尺寸。
所述乳腺肿瘤检测方法,其中,所述下采样模块包括若干第二 Inception卷积单元,所述第二Inception卷积单元包括三个二维卷积单元以及一个线扫面卷积单元,所述三个二维卷积单元以及一个线扫面卷积单元并行。
所述乳腺肿瘤检测方法,其中,所述第二Inception卷积单元的输入特征图的图像尺寸等于输出图像的图像尺寸。
所述乳腺肿瘤检测方法,其中,所述乳腺肿瘤检测模型的训练过程具体包括:
通过待训练的乳腺肿瘤检测模型,提取训练数据的预测病灶区域;
基于所述预测病灶区域和所述训练数据对应的真实病灶区域,确定训练数据对应的损失函数;
基于所述损失函数对所述待训练的乳腺肿瘤检测模型进行训练。
所述乳腺肿瘤检测方法,其中,所述基于所述预测病灶区域和所述训练数据对应的真实病灶区域,确定训练数据对应的损失函数具体包括:
根据预测病灶区域与真实病灶区域确定假阳区域、假阴区域以及重合区域;
将所述假阳区域、假阴区域以及重合区域进行加权以得目标区域,并根据重合区域与目标区域计算损失函数,其中,假阳区域对应的权重系数和假阴区域对应的权重系数不同。
所述乳腺肿瘤检测方法,其中,所述乳腺肿瘤检测模型包括上采样模块,所述上采样模块与下采样模块相连接,所述上采样模块包括若干上采样单元和若干融合检测单元;所述通过待训练的乳腺肿瘤检测模型,提取训练数据的预测病灶区域具体包括:
通过所述若干下采样单元中最后一下采样单元以及若干融合检测单元分别输出第一预测病灶区域;
根据输出的所有第一预测病灶区域形成所述提取训练数据的预测病灶区域集,并将所述预测病灶区域集作为所述训练数据对应的预测病灶区域。
一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如上任一所述的乳腺肿瘤检测方法中的步骤。
一种终端设备,其包括:处理器、存储器及通信总线;所述存储器上存储有可被所述处理器执行的计算机可读程序;
所述通信总线实现处理器和存储器之间的连接通信;
所述处理器执行所述计算机可读程序时实现如上任一所述的乳腺肿瘤检测方法中的步骤。
有益效果:与现有技术相比,本发明提供了一种乳腺肿瘤检测方法,存储介质及超声设备,所述检测方法包括获取待检测乳腺超声容积数据;待检测乳腺超声容积数据输入已训练的乳腺肿瘤检测模型,通过所述乳腺肿瘤检测模型输出所述待检测乳腺超声容积数据对应的乳腺肿瘤病灶,其中,所述乳腺肿瘤检测模型包括下采样模块,所述下采样模块包括二维卷积单元、三维卷积单元以及点状卷积单元。本发明通过采用包含有二维卷积单元、三维卷积单元以及点状卷积单元的下采样模块,减少了乳腺肿瘤检测模型的参数量以及计算量,从而使得乳腺肿瘤检测模型可以快速输出乳腺肿瘤病灶,提高了乳腺肿瘤病灶输出的实时性。同时,乳腺肿瘤检测模型从而点、线、面以及体四个角度对待检测乳腺超声容积数据进行分割,提高了乳腺肿瘤病灶的检测的准确性。
附图说明
图1为本发明提供的乳腺肿瘤检测方法的流程图。
图2为本发明提供的乳腺肿瘤检测方法中乳腺肿瘤检测模型的结构原理图。
图3为本发明提供的乳腺肿瘤检测方法中乳腺肿瘤检测模型的第一 Inception卷积单元的结构原理图。
图4为本发明提供的乳腺肿瘤检测方法中乳腺肿瘤检测模型的第二 Inception卷积单元的结构原理图。
图5为本发明提供的乳腺肿瘤检测方法中乳腺肿瘤检测模型的融合检测单元的结构原理图。
图6为本发明提供的终端设备的结构原理图。
具体实施方式
本发明提供一种乳腺肿瘤检测方法、存储介质及终端设备,为使本发明的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
下面结合附图,通过对实施例的描述,对发明内容作进一步说明。
本实施例提供了一种乳腺肿瘤检测方法。该方法可以由检测装置来执行,所述检测装置可以由软件实现或者硬件实现,应用于诸如ABUS等之类的安装有操作系统的超声设备,或者应用于诸如PC机、服务器等之类可以与超声设备连接的智能终端上。参见图1,本实施例提供的乳腺肿瘤检测方法具体包括:
S10、获取待检测乳腺超声容积数据。
具体地,所述待检测乳腺超声容积数据可以是通过全自动乳腺容积超声ABUS获取到乳腺超声容积数据,其中,所述待检测乳腺超声容积数据可以包括有乳腺肿瘤病灶,当然,也可以不包括乳腺肿瘤病灶。此外,在获取到待检测乳腺超声容积数据后,可以对待检测乳腺超声容积数据进行预处理,以使得预处理后的待检测乳腺超声容积数据可以作为已训练的乳腺肿瘤检测模型的输入项,可以理解的是,预处理后的待检测乳腺超声容积数据的尺寸与乳腺肿瘤检测模型的输入数据的尺寸相同。在本实施例的一个可能实现方式中,所述预处理可以包括缩放处理以及归一化处理等。
S20、待检测乳腺超声容积数据输入已训练的乳腺肿瘤检测模型。
具体地,所述乳腺肿瘤检测模型基于预设的训练样本集训练得到,训练样本集包括若干训练样本,每个训练样本均包括训练数据以及真实乳腺肿瘤病灶。可以理解的是,乳腺肿瘤检测模型为基于训练数据以及训练数据对应的真实乳腺肿瘤病灶训练得到。其中,所述真实乳腺肿瘤病灶可以是通过医生标注形成的,所述训练数据为ABUS数据。
进一步,所述乳腺肿瘤检测模型至少包括下采样模块,所述下采样模块包括二维卷积单元、三维卷积单元以及点状卷积单元,所述二维卷积单元、三维卷积单元以及点状卷积单元并联,以通过二维卷积单元、三维卷积单元以及点状卷积单元从点、线、面以及体进行分割以得到特征图,以丰富提取到特征图,进而增多特征图携带细节特征。
进一步,所述下采样模块包括至少一个第一Inception卷积单元,所述二维卷积单元、三维卷积单元以及线扫面卷积单元包含于所述第一 Inception卷积单元。可以理解的是,所述第一Inception卷积单元至少包括一个二维卷积单元,一个三维卷积单元以及一个线扫面卷积单元,所述二维卷积单元、三维卷积单元以及线扫面卷积单元并行。此外,所述第一 Inception卷积单元包括有三个二维卷积单元,所述三个二维卷积单元并联且均与三维卷积单元以及线扫面卷积单元并行,即所述三个二维卷积单元、三维卷积单元以及线扫面卷积单元并行。其中,所述第一Inception卷积单元的输入特征的尺寸大于输出特征的尺寸。
进一步,在本实施例的一个实现方式中,如图3所示,所述三个二维卷积单元分别记为二维卷积单元A、二维卷积单元B以及二维卷积单元C,并且二维卷积单元A从X轴方向对输入第一Inception卷积模的输入特征图进行逐帧提取特征,二维卷积单元B从Y轴方向对输入第一Inception 卷积模的输入特征图进行逐帧提取特征,二维卷积单元C从Z轴方向对输入第一Inception卷积模的输入特征图进行逐帧提取特征。由此,二维卷积单元A包括卷积核为1x3x3的卷积层,二维卷积单元B包括卷积核为3x1x3 的卷积层,二维卷积单元C包括卷积核为3x3x1的卷积层。此外,所述三维卷层单元包括两个卷积层A和卷积层B,卷积层A与卷积层B级联,其中,卷积层A包括卷积核为1x1x1的卷积层,卷积层B包括卷积核为3x3x3的卷积层。所述线扫面卷积单元包括卷积层C、卷积层D以及卷积层E,卷积层C、卷积层D以及卷积层E依次级联,其中,卷积层C包括卷积核为1x1x3 的卷积层,卷积层D包括卷积核为1x3x1的卷积层,卷积层E为包括卷积核为3x1x1的卷积层。本实施例通过卷积核为3x3x1的卷积从z轴方向逐帧提取特征,卷积核为3x1x3从y轴方向逐帧提取特征,卷积核为1x3x3 的卷积核从x轴方向逐帧提取特征,卷积核为1x1x3,卷积核为1x3x1,卷积核为3x1x1作为线扫面卷积,卷积核为3x3x3作为立体卷积,使得第一Inception卷积模具有点、线,面、体的学习能力,从而可以得到更为丰富的特征。此外,各卷积层分解后的卷积核的大小相当二维卷积大小,这样可以在增加网络深度的同时并没有验证增加参数数量。
进一步,在本实施例的一个实现方式中,如图2所示,所述第一 Inception卷积模还包括连接单元、卷积单元、残差单元以及激活单元,所述连接单元分别与三个二维卷积单元、三维卷积单元以及线扫面卷积单元相连接,以接收三个二维卷积单元、三维卷积单元以及线扫面卷积单元输出的特征信息,所述连接单元与所述卷积单元相连接,所述卷积单元与残差单元相连接,所述残差单元与第一Inception卷积模的输入层相连接,以使得残差单元的输入为连接单元的输出项以及通过输入层输入第一 Inception卷积模的输入特征图,所述残差单元与激活层相连接,以将其输出图像输入至激活层。其中,所述卷积单元包括卷积核为1x1x1的卷积层,所述激活层采用Relu激活函数,所述输入层分别与三个二维卷积单元、三维卷积单元以及线扫面卷积单元相连接,以使得三个二维卷积单元、三维卷积单元以及线扫面卷积单元的输入项均为通过输入层输入第一 Inception卷积模的输入特征图。本实施例这样通过采用残差单元,可以提高网络快速的收敛,并且可以进一步增加网络深度。
进一步,在本实施例的一个实现方式中,所述下采样模块包括若干第二Inception卷积单元,所述第二Inception卷积单元包括三个二维卷积单元以及一个线扫面卷积单元,所述三个二维卷积单元以及一个线扫面卷积单元并行。其中,所述第二Inception卷积单元中的三个二维卷积单元以及线扫面卷积单元的网络结构与第一Inception卷积单元中的三个二维卷积单元以及线扫面卷积单元的网络结构相同,具体可以参照第一 Inception卷积单元的说明。此外,如图4所示,第二Inception卷积单元与第二Inception卷积单元的区别在于,第二Inception卷积单元为包括三维卷积单元,以及所述第二Inception卷积单元的输出特征的尺寸与其输入特征的尺寸相等。可以理解的是,第二Inception卷积单元中不包括两个卷积层A和卷积层B,这样通过采用减少卷层A和卷层层B的第二Inception卷积单元,可以减少乳腺肿瘤检测模型的参数量。
进一步,由第一Inception卷积单元和第二Inception卷积单元的网络结构以及输出图像的特性,可以将第一Inception卷积单元和第二 Inception卷积单元可以交叉使用,在需要改变特征图的尺寸时采用第一 Inception卷积单元,在不需要改变特征图的尺寸时采用第二Inception卷积单元,这样在可以在提取到特征图的基础上,减少乳腺肿瘤检测模型的参数量。例如,如图2所示,所述下采样模块可以包括卷积块、第一Inception 卷积单元以及两个第二Inception卷积单元,所述卷积块、第一Inception 卷积单元以及两个第二Inception卷积单元依次堆叠。此外,所述乳腺肿瘤检测模型还包括卷积模块,其中,所述卷积模块包括步长为(2x2x2)的卷积层以及如图2所示的下采样模块,可以减少输入图像尺度1/2、1/4、1/8 的特征图,从而降低乳腺肿瘤检测模型对GPU显存的消耗。
进一步,在本实施例的一个实现方式中,所述乳腺肿瘤检测模型还包括上采样模块,所述上采样模块与所述下采样模块相连接,所述下采样模块提取到的特征图输入至上采样模块进行上采样,以得到待检测乳腺超声容积数据对应的乳腺肿瘤病灶,其中,所述乳腺肿瘤病灶可以以病灶框的形式输出。可以理解的是,所述乳腺肿瘤检测模型的输出项可以为标注有病灶框的乳腺超声容积数据,这样根据所述病灶框可以确定待检测乳腺超声容积数据携带的乳腺肿瘤病灶。
进一步,为了弥补下采样模块在下采样过程中丢失的细节信息,在上采样模块的上采样过程中,可以将下采样模块与上采样模块进行跳跃连接以补充细节信息。此外,所述上采样模块包括若干上采样单元和若干融合检测单元,所述若上采样单元依次堆叠,所述若干融合检测单元依次堆叠,其中,所述若干融合检测单元的数量比若干上采样单元的数量少一,并且若干上采样单元中最后一个上采样单元未与融合检测单元相连接,其余各上采样单元均与一个融合检测单元相连接。可以理解的是,若干上采样单元中除最后一个上采样单元外,每个上采样单元均与一个融合检测单元相对应,并且各上采样单元分别与其对应的融合检测单元相连接,以使得各上采样单元输出的特征图分别输入至按照连接顺序位于其后的上采样单元,以各上采样单元对应的融合检测单元。
在本实施例的一个实现方式中,如图2所示,所述上采样模块包括第一上采样单元、第二上采样单元、第三上采样单元、第四上采样单元,第一融合检测单元、第二融合检测单元以及第三融合检测单元;所述第一上采样单元、第二上采样单元、第三上采样单元以及第四上采样单元依次级联,所述第一融合检测单元、第二融合检测单元以及第三融合检测单元依次级联,所述第一上采样单元与所述第一融合检测单元相连接,第二上采样单元与第二融合检测单元相连接,第三上采样单元与第三融合单元相连接,其中,所述第一融合检测单元的输入项为第一上采样单元的输出项;第二融合检测单元的输入项为第二采集单元的输出的第二特征图以及第一融合单元的输出项;第三融合检测单元的输入项为第三上采样单元的输出项和第二融合单元的输出项。
进一步,在本实施例的一个实现方式中,如图5所示,所述融合检测单元包括连接层、上采样层以及卷积层,所述卷积层可以采用卷积核为 1x1x1的卷积层,并且所述连接层、上采样层以及卷积层依次堆叠,以通过卷积层输出预测病灶区域。其中,所述连接层用于连接融合检测单元前一融合检测单元的输出项以及该融合检测单元连接的上采样单元的输出项。
此外,值得说明的是,所述融合检测单元在乳腺肿瘤检测模型的训练过程中,对待训练的乳腺肿瘤检测模型进行密集监督,并且融合检测单元生成的监督信息通过反向传播对待训练的乳腺肿瘤检测模型进行训练,以提高待训练的乳腺肿瘤检测模型的收敛速度。当然,在待训的乳腺肿瘤检测模型训练得到已训练的乳腺肿瘤检测模型后,已训练的乳腺肿瘤检测模型在使用过程中,所述已训练的乳腺肿瘤检测模型仅输出待检测乳腺超声容积数据对应的乳腺肿瘤病灶。可以理解的是,乳腺肿瘤检测模型在训练过程中和使用过程中的不同在于:在训练过程中,上采样单元提取到的特征图会输入融合检测单元,通过融合检测单元对特征图进行监督;在使用过冲,上采样单元输入的特征图可以仅输入其对应的下一上采样单元,以输出待检测乳腺超声容积数据对应的乳腺肿瘤病灶。
在本实施例的一个实现方式中,所述乳腺肿瘤检测模型的训练过程具体包括:
通过待训练的乳腺肿瘤检测模型,提取训练数据的预测病灶区域;
基于所述预测病灶区域和所述训练数据对应的真实病灶区域,确定训练数据对应的损失函数;
基于所述损失函数对所述待训练的乳腺肿瘤检测模型进行训练。
具体地,所述待训练的乳腺肿瘤检测模型的网络结构与上述已训练的乳腺肿瘤检测模型的网络结构相同,这里就不再赘述。而两者的区别在于:未训练的乳腺肿瘤检测模型的模型参数为初始模型参数,已训练的乳腺肿瘤检测模型的模型参数为基于训练样本集训练得到模型参数,通过采用训练得到模型参数,可以使得乳腺肿瘤检测模型准确的输出待检测乳腺超声容积数据对应的乳腺肿瘤病灶。
进一步,在本实施例的一个实现方式中,所述基于所述预测病灶区域和所述训练数据对应的真实病灶区域,确定训练数据对应的损失函数具体包括:
根据预测病灶区域与真实病灶区域确定假阳区域、假阴区域以及重合区域;
将所述假阳区域、假阴区域以及重合区域进行加权以得目标区域,并根据重合区域与目标区域计算损失函数,其中,假阳区域对应的权重系数和假阴区域对应的权重系数不同。
具体地,所述损失函数为Dice损失(DSC),并且在计算损失函数时对假阳区域以及假阴区域赋予不同的权重系数,由此,所述损失函数的计算公式可以为:
Lel(X,Y;α,β,γ)=(1-T(X,Y))γlog(T(X,Y))
其中,为Tversky指数,其是DSC的泛化形式,X为预测病灶区域,Y为真实病灶区域,|XΙY|是分割目标的重合区域,|X-Y|是假阳区域,|Y-X|是假阴区域,α为假阳区域的权重系数,β为假阴区域的权重系数,且α+β=1,γ为调节系数。
进一步,本实施例采用假阴和假阳非对称损失Adversarial Loss,结合FocalLoss和DSC在形状学习和难分割样本学习的能力,Adversarial Loss改变Focal对象为难分病灶,使得网络可以过分割,从而解决了小病灶的漏诊问题。在本实施例的一个可能实现方式中,α可以为0.95,β为0.05,Adversarial Loss的引入使得假阴区域惩罚系数更大,可以自适应对难分割样本加权。实验结果显示Asymmetric Loss在极小病灶和多发性病灶取得了很好的效果。
进一步,在本实施例的一个实现方式中,当乳腺肿瘤检测模型包括若干融合检测单元时,每个融合检测单元均输出一预测病灶区域,并且各融合检测单元输出的预测图像区域的图像尺度不同。相应的,所述通过待训练的乳腺肿瘤检测模型,提取训练数据的预测病灶区域具体包括:
通过所述若干下采样单元中最后一下采样单元以及若干融合检测单元分别输出第一预测病灶区域;
根据输出的所有第一预测病灶区域形成所述提取训练数据的预测病灶区域集,并将所述预测病灶区域集作为所述训练数据对应的预测病灶区域。
具体地,对于每个融合检测单元,该融合检测单元通过连接层连接上采样单元的输出项以及前一融合检测单元的输出项,并且对融合得到的图像进行上采样以得到第一预测病灶区域。可以理解的是,融合检测单元通过连接层连接其对应的上采样单元输出的预测病灶区域以及根据该融合检测单元的前一融合检测单元输出的预测病灶区域,以将两个预测病灶区域进行融合,之后在通过1x1x1卷积自适应的分配粗分割和细分割概率体的权重,并使用sigmoid激活函数输出该融合检测单元对应的预测病灶区域,这样融合检测单元形成的监督信息可以传播直接到达下一层融合检测单元。
进一步,在本实施例的一个实现方式,所述基于所述预测病灶区域和所述训练数据对应的真实病灶区域,确定训练数据对应的损失函数具体包括:
对于预测病灶区域集中每个第一预测病灶区域,根据该第一预测病灶区域和所述训练数据对应的真实病灶区域确定损失函数;
将确定得到的所有损失函数进行加权,以得到训练数据对应的损失函数。
具体地,每个第一预测病灶区域对应的损失函数均是采用假阴和假阳非对称损失Adversarial Loss,这里就不一一说明。在获取到各损失函数后,通过加权方式确定训练数据对应的损失函数,并采用该损失函数对应待训练的乳腺肿瘤检测模型进行训练。
S30、通过所述乳腺肿瘤检测模型输出所述待检测乳腺超声容积数据对应的乳腺肿瘤病灶。
具体地,所述乳腺肿瘤检测模型用于输入乳腺肿瘤病灶,其中,当待检测乳腺超声容积数据包括乳腺肿瘤病灶时,所述乳腺肿瘤检测模型输出所述待检测乳腺超声容积数据对应的乳腺肿瘤病灶,当待检测乳腺超声容积数据包括乳腺肿瘤病灶时,所述乳腺肿瘤检测模型输出所述待检测乳腺超声容积数据。
基于上述乳腺肿瘤检测方法,本实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如上述实施例所述的乳腺肿瘤检测方法中的步骤。
基于上述乳腺肿瘤检测方法,本发明还提供了一种终端设备,如图6 所示,其包括至少一个处理器(processor)20;显示屏21;以及存储器 (memory)22,还可以包括通信接口(Communications Interface)23和总线24。其中,处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22 中的逻辑指令,以执行上述实施例中的方法。
此外,上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质,可设置为存储软件程序、计算机可执行程序,如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块,从而执行功能应用以及数据处理,即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端设备的使用所创建的数据等。此外,存储器22可以包括高速随机存取存储器,还可以包括非易失性存储器。例如,U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等多种可以存储程序代码的介质,也可以是暂态存储介质。
此外,上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明,在这里就不再一一陈述。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种乳腺肿瘤检测方法,其特征在于,所述方法包括:
获取待检测乳腺超声容积数据;
待检测乳腺超声容积数据输入已训练的乳腺肿瘤检测模型,其中,所述乳腺肿瘤检测模型包括下采样模块,所述下采样模块包括二维卷积单元、三维卷积单元以及线扫面卷积单元;所述下采样模块包括至少一个第一Inception卷积单元,所述二维卷积单元、三维卷积单元以及线扫面卷积单元包含于所述第一Inception卷积单元,其中,所述第一Inception卷积单元包括有三个二维卷积单元,并且所述三个二维卷积单元、三维卷积单元以及线扫面卷积单元并行;所述第一Inception卷积单元的输入特征的尺寸大于输出特征的尺寸;所述线扫面卷积单元包括卷积层C、卷积层D以及卷积层E,卷积层C、卷积层D以及卷积层E依次级联,其中,卷积层C包括卷积核为1x1x3的卷积层,卷积层D包括卷积核为1x3x1的卷积层,卷积层E为包括卷积核为3x1x1的卷积层;
通过所述乳腺肿瘤检测模型输出所述待检测乳腺超声容积数据对应的乳腺肿瘤病灶。
2.根据权利要求1所述乳腺肿瘤检测方法,其特征在于,所述下采样模块包括若干第二Inception卷积单元,所述第二Inception卷积单元包括三个二维卷积单元以及一个线扫面卷积单元,所述三个二维卷积单元以及一个线扫面卷积单元并行。
3.根据权利要求2所述乳腺肿瘤检测方法,其特征在于,所述第二Inception卷积单元的输入特征图的图像尺寸等于输出图像的图像尺寸。
4.根据权利要求1-3任一所述乳腺肿瘤检测方法,其特征在于,所述乳腺肿瘤检测模型的训练过程具体包括:
通过待训练的乳腺肿瘤检测模型,提取训练数据的预测病灶区域;
基于所述预测病灶区域和所述训练数据对应的真实病灶区域,确定训练数据对应的损失函数;
基于所述损失函数对所述待训练的乳腺肿瘤检测模型进行训练。
5.根据权利要求4所述乳腺肿瘤检测方法,其特征在于,所述基于所述预测病灶区域和所述训练数据对应的真实病灶区域,确定训练数据对应的损失函数具体包括:
根据预测病灶区域与真实病灶区域确定假阳区域、假阴区域以及重合区域;
将所述假阳区域、假阴区域以及重合区域进行加权以得目标区域,并根据重合区域与目标区域计算损失函数,其中,假阳区域对应的权重系数和假阴区域对应的权重系数不同。
6.根据权利要求5所述乳腺肿瘤检测方法,其特征在于,所述乳腺肿瘤检测模型包括上采样模块,所述上采样模块与下采样模块相连接,所述上采样模块包括若干上采样单元和若干融合检测单元;所述通过待训练的乳腺肿瘤检测模型,提取训练数据的预测病灶区域具体包括:
通过所述若干上采样单元中最后一上采样单元以及若干融合检测单元分别输出第一预测病灶区域;
根据输出的所有第一预测病灶区域形成所述提取训练数据的预测病灶区域集,并将所述预测病灶区域集作为所述训练数据对应的预测病灶区域。
7.根据权利要求6所述乳腺肿瘤检测方法,其特征在于,所述基于所述预测病灶区域和所述训练数据对应的真实病灶区域,确定训练数据对应的损失函数具体包括:
对于预测病灶区域集中每个第一预测病灶区域,根据该第一预测病灶区域和所述训练数据对应的真实病灶区域确定损失函数;
将确定得到的所有损失函数进行加权,以得到训练数据对应的损失函数。
8.一种超声设备,其特征在于,包括:处理器、存储器及通信总线;所述存储器上存储有可被所述处理器执行的计算机可读程序;
所述通信总线实现处理器和存储器之间的连接通信;
所述处理器执行所述计算机可读程序时实现如权利要求1-7任意一项所述的乳腺肿瘤检测方法中的步骤。
CN201911381949.XA 2019-12-27 2019-12-27 一种乳腺肿瘤检测方法、存储介质及终端设备 Active CN111062935B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911381949.XA CN111062935B (zh) 2019-12-27 2019-12-27 一种乳腺肿瘤检测方法、存储介质及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911381949.XA CN111062935B (zh) 2019-12-27 2019-12-27 一种乳腺肿瘤检测方法、存储介质及终端设备

Publications (2)

Publication Number Publication Date
CN111062935A CN111062935A (zh) 2020-04-24
CN111062935B true CN111062935B (zh) 2023-10-20

Family

ID=70304245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911381949.XA Active CN111062935B (zh) 2019-12-27 2019-12-27 一种乳腺肿瘤检测方法、存储介质及终端设备

Country Status (1)

Country Link
CN (1) CN111062935B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113628216A (zh) * 2021-08-11 2021-11-09 北京百度网讯科技有限公司 模型训练方法、图像分割方法、装置及相关产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108776969A (zh) * 2018-05-24 2018-11-09 复旦大学 基于全卷积网络的乳腺超声图像肿瘤分割方法
CN109410167A (zh) * 2018-08-31 2019-03-01 深圳大学 一种3d乳腺图像的分析方法及相关产品
CN109635835A (zh) * 2018-11-08 2019-04-16 深圳蓝韵医学影像有限公司 一种基于深度学习与迁移学习的乳腺病变区域检测方法
CN109903292A (zh) * 2019-01-24 2019-06-18 西安交通大学 一种基于全卷积神经网络的三维图像分割方法及系统
CN110189323A (zh) * 2019-06-05 2019-08-30 深圳大学 一种基于半监督学习的乳腺超声图像病灶分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108776969A (zh) * 2018-05-24 2018-11-09 复旦大学 基于全卷积网络的乳腺超声图像肿瘤分割方法
CN109410167A (zh) * 2018-08-31 2019-03-01 深圳大学 一种3d乳腺图像的分析方法及相关产品
CN109635835A (zh) * 2018-11-08 2019-04-16 深圳蓝韵医学影像有限公司 一种基于深度学习与迁移学习的乳腺病变区域检测方法
CN109903292A (zh) * 2019-01-24 2019-06-18 西安交通大学 一种基于全卷积神经网络的三维图像分割方法及系统
CN110189323A (zh) * 2019-06-05 2019-08-30 深圳大学 一种基于半监督学习的乳腺超声图像病灶分割方法

Also Published As

Publication number Publication date
CN111062935A (zh) 2020-04-24

Similar Documents

Publication Publication Date Title
EP3826544B1 (en) Ultrasound system with an artificial neural network for guided liver imaging
CN108022238B (zh) 对3d图像中对象进行检测的方法、计算机存储介质和系统
CN112086197B (zh) 基于超声医学的乳腺结节检测方法及系统
EP4091133A1 (en) Method and system for automatically detecting anatomical structures in a medical image
CN105266849B (zh) 实时超声弹性成像方法和系统
CN110598582A (zh) 一种眼图像处理模型构建方法和装置
CN111820948B (zh) 胎儿生长参数测量方法、系统及超声设备
CN110738633B (zh) 一种机体组织的三维图像处理方法及相关设备
CN111062935B (zh) 一种乳腺肿瘤检测方法、存储介质及终端设备
KR20130010732A (ko) 복수의 3차원 볼륨 영상들을 이용하여 3차원 볼륨 파노라마 영상 생성 방법 및 장치
Sendra-Balcells et al. Generalisability of fetal ultrasound deep learning models to low-resource imaging settings in five African countries
WO2024093911A1 (zh) 一种超声成像方法及超声设备
CN116758087B (zh) 一种腰椎ct骨窗侧隐窝间隙检测方法及装置
CN114521914A (zh) 超声参数测量方法和超声参数测量系统
CN111803128A (zh) 一种乳腺组织弹性成像方法、装置、设备和介质
US20230137369A1 (en) Aiding a user to perform a medical ultrasound examination
CN114419375B (zh) 图像分类方法、训练方法、装置、电子设备以及存储介质
CN108024789A (zh) 容积间病变检测和图像准备
CN115035207A (zh) 胎儿颅脑标准切面生成方法、装置和超声成像显示系统
CN112426170A (zh) 一种胎盘厚度确定方法、装置、设备及存储介质
US20130030281A1 (en) Hashimotos Thyroiditis Detection and Monitoring
US20240090823A1 (en) Apparatus and method for augmented interpretation of magnetic resonance and ultrasound shear wave elastography for monitoring liver fibrosis
US20230070062A1 (en) Method and system, using an ai model, for identifying and predicting optimal fetal images for generating an ultrasound multimedia product
CN117726822B (zh) 基于双分支特征融合的三维医学图像分类分割系统及方法
Sendra-Balcells et al. Generalisability of deep learning models in low-resource imaging settings: A fetal ultrasound study in 5 African countries

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant