CN111325266B - 乳腺钼靶图像中微钙化簇的检测方法、装置和电子设备 - Google Patents

乳腺钼靶图像中微钙化簇的检测方法、装置和电子设备 Download PDF

Info

Publication number
CN111325266B
CN111325266B CN202010098468.4A CN202010098468A CN111325266B CN 111325266 B CN111325266 B CN 111325266B CN 202010098468 A CN202010098468 A CN 202010098468A CN 111325266 B CN111325266 B CN 111325266B
Authority
CN
China
Prior art keywords
breast
detected
target image
molybdenum target
micro
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010098468.4A
Other languages
English (en)
Other versions
CN111325266A (zh
Inventor
柴象飞
张凡
郭娜
左盼莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huiying Medical Technology Beijing Co ltd
Original Assignee
Huiying Medical Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huiying Medical Technology Beijing Co ltd filed Critical Huiying Medical Technology Beijing Co ltd
Priority to CN202010098468.4A priority Critical patent/CN111325266B/zh
Publication of CN111325266A publication Critical patent/CN111325266A/zh
Application granted granted Critical
Publication of CN111325266B publication Critical patent/CN111325266B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Abstract

本申请实施例提供了一种乳腺钼靶图像中微钙化簇的检测方法、装置和电子设备，涉及医学影像技术领域。该方法首先对待检测乳腺钼靶图像分块处理，在得到多个待检测乳腺钼靶图像块后分别对其进行特征提取，然后再对包含微钙化点的第一特征图像块进行分割处理，接着将分割处理后第一特征图像块的与不包含微钙化点的第二特征图像块拼接成完整的图像，最后对微钙化点进行聚类处理，获得微钙化簇，并基于预先建立的分类模型，对包含至少一个微钙化簇的待检测乳腺特征图像进行分类，以确定待检测乳腺钼靶图像的类别，以提高微钙化的图像占比，降低微钙化点分割的难度，提高后续分析的准确性。

Description

乳腺钼靶图像中微钙化簇的检测方法、装置和电子设备
技术领域
本申请涉及医学影像技术领域，具体而言，涉及一种乳腺钼靶图像中微钙化簇的检测方法、装置和电子设备。
背景技术
乳腺癌是女性发病率第一的恶性肿瘤，若早期发现，则能够使得病人得到及时有效的治疗。微钙化是乳腺癌重要的早期征象，而乳腺钼靶是检测微钙化最有效的方式。但由于图像噪声或者乳腺内部的组织重叠导致病灶特征不明显，通常微钙化的形态较小，形状和分布差异较大，降低了微钙化的显著性，进而影响了后续分析的准确性。
发明内容
有鉴于此，本申请提供了一种乳腺钼靶图像中微钙化簇的检测方法、装置和电子设备，以解决上述问题。
本申请的实施例可以这样实现：
第一方面，实施例提供一种乳腺钼靶图像中微钙化簇的检测方法，所述方法包括：
对待检测乳腺钼靶图像进行预处理，获得多个待检测乳腺钼靶图像块；
基于预先建立的模型，对各所述待检测乳腺钼靶图像块进行特征提取及分类处理，若得到至少一个包含微钙化点的第一特征图像块及至少一个不包含微钙化点的第二特征图像块，则基于预先建立的分割模型，对每个所述第一特征图像块进行分割处理，得到分割处理后的第一特征图像块；
将得到的所有分割处理后的第一特征图像块与所有所述第二特征图像块拼接，获得所述待检测乳腺钼靶图像对应的待检测乳腺特征图像；
对所述待检测乳腺特征图像中的微钙化点进行聚类处理，得到包含至少一个微钙化簇的待检测乳腺特征图像；
基于预先建立的第一分类模型，对包含至少一个微钙化簇的待检测乳腺特征图像进行分类，以确定所述待检测乳腺钼靶图像的类别。
在可选的实施方式中，所述对待检测乳腺钼靶图像进行预处理，获得多个待检测乳腺钼靶图像块的步骤包括：
将待检测乳腺钼靶图像的方向调整为预设方向；
将待检测乳腺钼靶图像的分辨率调整为预设分辨率；
按照预设大小对调整方向和分辨率之后的待检测乳腺钼靶图像进行划分，获得多个待检测乳腺钼靶图像块。
在可选的实施方式中，所述对所述待检测乳腺特征图像中的微钙化点进行聚类处理的步骤包括：
计算所述待检测乳腺特征图像中每个微钙化点的噪声对比度特征值；
判断每个所述微钙化点的噪声对比度特征值是否大于预设阈值，若是，则保留所述微钙化点，若否，则剔除所述微钙化点；
针对保留的所有微钙化点，采用预设聚类算法对噪声对比度特征值最大的微钙化点进行聚类处理，得到包含至少一个微钙化簇的待检测乳腺特征图像。
在可选的实施方式中，所述预设聚类算法为动态区域聚类算法、k均值聚类算法或DBSCAN聚类算法。
在可选的实施方式中，所述基于预先建立的模型，对各所述待检测乳腺钼靶图像块进行特征提取及分类处理的步骤包括：
基于预先建立的特征提取模型，对各所述待检测乳腺钼靶图像块进行特征提取；
基于预先建立的第二分类模型，对特征提取后的各待检测乳腺钼靶图像块进行分类处理。
在可选的实施方式中，预先建立的所述特征提取模型通过以下步骤建立得到：
基于预先构建的UNet神经网络及金字塔池化模块，利用多张第一样本图像进行训练，获得特征提取模型，其中，所述UNet神经网络包括特征编码结构及特征解码结构；
所述特征编码结构及所述特征解码结构用于提取并融合各样本图像中发生微钙化的不同尺度的特征；
所述金字塔池化模块用于提取所述微钙化簇在不同水平的上下文信息，消除不同尺度的特征融合后的语义差异。
在可选的实施方式中，预先建立的所述第二分类模型以及预先建立的分割模型通过以下步骤建立得到：
基于预见构建的第一卷积神经网络，利用多张第二样本图像进行训练，得到初步分类输出结果；
基于预先构建的第二卷积神经网络，利用多张第三样本图像进行训练，得到初步分割输出结果；
根据所述初步分类输出结果和所述初步分割输出结果，基于预设损失函数，通过反向传播算法对所述第一卷积神经网络中的连接权值及所述第二卷积神经网络中的连接权值进行调整，直至初步分割输出结果的准确率大于第一预设阈值，初步分类输出结果的准确率大于第二预设阈值；
其中，所述预设损失函数为：
其中，Yc为所述分类模型的预测值，为所述分类模型的标签，Ys为所述分割模型的预测值，/>为所述分割模型的标签，/>为所述损失函数。
第二方面，实施例提供一种乳腺钼靶图像中微钙化簇的检测装置，所述装置包括：
图像预处理模块，用于对待检测乳腺钼靶图像进行预处理，获得多个待检测乳腺钼靶图像块；
特征提取及分类模块，用于基于预先建立的模型，对各所述待检测乳腺钼靶图像块进行特征提取及分类处理，若得到至少一个包含微钙化点的第一特征图像块及至少一个不包含微钙化点的第二特征图像块，则基于预先建立的分割模型，对每个所述第一特征图像块进行分割处理，得到分割处理后的第一特征图像块；
拼接模块，用于将得到的所有分割处理后的第一特征图像块与所有所述第二特征图像块拼接，获得所述待检测乳腺钼靶图像对应的待检测乳腺特征图像；
聚类模块，用于对所述待检测乳腺特征图像中的微钙化点进行聚类处理，得到包含至少一个微钙化簇的待检测乳腺特征图像；
分类模块，用于基于预先建立的第一分类模型，对包含至少一个微钙化簇的待检测乳腺特征图像进行分类，以确定所述待检测乳腺钼靶图像的类别。
第三方面，实施例提供一种电子设备，包括处理器、存储器及总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器及所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行如前述实施方式任意一项所述的乳腺钼靶图像中微钙化簇的检测方法的步骤。
第四方面，实施例提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现前述实施方式中任一项所述的乳腺钼靶图像中微钙化簇的检测方法。
本申请实施例提供了一种乳腺钼靶图像中微钙化簇的检测方法、装置和电子设备，该方法首先对待检测乳腺钼靶图像分块处理，得到多个待检测乳腺钼靶图像块后分别对其进行特征提取，然后再对包含微钙化点的第一特征图像块进行分割处理，接着将分割处理后第一特征图像块的与不包含微钙化点的第二特征图像块拼接成完整的图像，最后对微钙化点进行聚类处理，获得微钙化簇，并基于预先建立的分类模型，对包含至少一个微钙化簇的待检测乳腺特征图像进行分类，以确定待检测乳腺钼靶图像的类别，以提高微钙化的图像占比，降低微钙化点分割的难度，从而提高后续分析的准确性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的电子设备的结构框图。
图2为本申请实施例提供的乳腺钼靶图像中微钙化簇的检测方法的流程图。
图3为本申请实施例提供的乳腺钼靶图像中微钙化簇的检测方法中的子步骤流程图之一。
图4为本申请实施例提供的乳腺钼靶图像中微钙化簇的检测方法中的子步骤流程图之二。
图5为本申请实施例提供的预先构建的UNet神经网络及金字塔池化模块的结构示意图。
图6为本申请实施例提供的基于预先构建的UNet神经网络及金字塔池化模块进行特征提取的过程示意图。
图7为本申请实施例提供的分类模型及分割模型的联合网络结构示意图。
图8为本申请实施例提供的乳腺钼靶图像中微钙化簇的检测方法中的子步骤流程图之三。
图9为本申请实施例提供的乳腺钼靶图像中微钙化簇的检测装置的功能模块框图。
图标：100-电子设备；110-存储器；120-处理器；130-乳腺钼靶图像中微钙化簇的检测装置；131-图像预处理模块；132-特征提取及分类模块；133-拼接模块；134-聚类模块；135-分类模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。
如背景技术所介绍，乳腺癌是女性发病率第一的恶性肿瘤，若早期发现，则能够使得病人得到及时有效的治疗。微钙化是乳腺癌重要的早期征象，而乳腺钼靶是检测微钙化最有效的方式。但由于图像噪声或者乳腺内部的组织重叠导致病灶特征不明显，通常微钙化的形态较小，形状和分布差异较大，降低了微钙化的显著性，医生阅片极易出现漏诊、假阳性判断等误诊。如何提高后续分析的准确性是目前亟需解决的问题。
有鉴于此，本申请实施例提供了一种乳腺钼靶图像中微钙化簇的检测方法、装置和电子设备，该方法首先对待检测乳腺钼靶图像分块处理，得到多个待检测乳腺钼靶图像块后分别对其进行特征提取，然后再对包含微钙化点的第一特征图像块进行分割处理，接着将分割处理后第一特征图像块的与不包含微钙化点的第二特征图像块拼接成完整的图像，最后对微钙化点进行聚类处理，获得微钙化簇，提高后续分析的准确性。下面对上述方法进行详细阐述。
请参阅图1，图1为本申请实施例提供的一种电子设备100的结构示意图。所述设备可以包括处理器120、存储器110、乳腺钼靶图像中微钙化簇的检测装置130及总线，所述存储器110存储有所述处理器120可执行的机器可读指令，当电子设备100运行时，所述处理器120及所述存储器110之间通过总线通信，所述处理器120执行所述机器可读指令，并执行乳腺钼靶图像中微钙化簇的检测方法的步骤。
所述存储器110、处理器120以及其他各元件相互之间直接或间接地电性连接，以实现信号的传输或交互。
例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。乳腺钼靶图像中微钙化簇的检测装置130包括至少一个可以软件或固件(firmware)的形式存储于所述存储器110中的软件功能模块。所述处理器120用于执行存储器110中存储的可执行模块，例如所述乳腺钼靶图像中微钙化簇的检测装置130所包括的软件功能模块或计算机程序。
其中，存储器110可以是，但不限于，随机读取存储器(Random ACCess memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器120可以是一种集成电路芯片，具有信号处理能力。上述处理器120可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等。还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本申请实施例中，存储器110用于存储程序，处理器120用于在接收到执行指令后，执行所述程序。本申请实施例任一实施方式所揭示的流程定义的方法可以应用于处理器120中，或者由所述处理器120实现。
在本申请实施例中，电子设备100可以是但不限于，个人电脑(personalcomputer，PC)、平板电脑等具有处理功能的设备。
可以理解，图1所示的结构仅为示意。电子设备100还可以具有比图1所示更多或者更少的组件，或者具有与图1所示不同的配置。图1所示的各组件可以采用硬件、软件或其组合实现。
请结合参阅图2，图2为本申请实施例提供的一种乳腺钼靶图像中微钙化簇的检测方法的流程图。下面对图2所示的具体流程进行详细描述。
步骤S1，对待检测乳腺钼靶图像进行预处理，获得多个待检测乳腺钼靶图像块。
步骤S2，基于预先建立的模型，对各所述待检测乳腺钼靶图像块进行特征提取及分类处理，若得到至少一个包含微钙化点的第一特征图像块及至少一个不包含微钙化点的第二特征图像块，则基于预先建立的分割模型，对每个所述第一特征图像块进行分割处理，得到分割处理后的第一特征图像块。
步骤S3，将得到的所有分割处理后的第一特征图像块与所有所述第二特征图像块拼接，获得所述待检测乳腺钼靶图像对应的待检测乳腺特征图像。
步骤S4，对所述待检测乳腺特征图像中的微钙化点进行聚类处理，得到包含至少一个微钙化簇的待检测乳腺特征图像。
步骤S5，基于预先建立的第一分类模型，对包含至少一个微钙化簇的待检测乳腺特征图像进行分类，以确定所述待检测乳腺钼靶图像的类别。
本申请实施例中，选用的待检测乳腺钼靶图像是医院采集的乳腺X线图片，图片以医学数字成像和通信(Digital Imaging and Communications in Medicine，DICOM)图像格式保存。在获取待检测乳腺钼靶图像时，同时获取图像的空间分辨率，图像的拍摄体位，例如，CC位(头尾位)或MLO位(侧斜位)。
可以理解的是，待检测乳腺钼靶图像既可以是具有微钙化病症的患者的图像，也可以是不具有微钙化病症的患者的图像，本申请实施例的目的即是通过提供的乳腺钼靶图像中微钙化簇的检测方法去检测待检测乳腺钼靶图像的类别，降低误诊概率。
同时待检测乳腺钼靶图像一般都包含较多的背景区域，这些背景并不包含有用信息，甚至包括一些无关信息，对检测过程没有帮助甚至会干扰检测结果，因此，需要对待检测乳腺钼靶图像进行预处理。
首先采用阈值法，通过连通域得到待检测乳腺钼靶图像中连通域最大的区域即为乳房区域，通过边界定位得到乳房边界，以去除多余的背景区域，去除冗余信息，例如背景区域中的图像标签。上述方法均可通过查阅现有技术获得，在此不做赘述。
为了进一步降低因血管钙化、腺体组织导致的假阳性，降低医生误诊的概率，提高诊断的准确性，本申请实施例中还可通过以下方法实现乳腺钼靶图像中微钙化簇的分类。
基于预先建立的第一分类模型，对包含至少一个微钙化簇的待检测乳腺特征图像进行分类，以确定所述待检测乳腺钼靶图像的类别。
其中，预先建立的第一分类模型是基于卷积神经网络学习训练获得，其训练样本为多个包括微钙化簇的乳腺钼靶图像以及多个不包括微钙化簇的乳腺钼靶图像，其具体训练过程和原理和参照现有技术，在此不做赘述。
通过预先建立的检测模型直接对包括微钙化簇的待检测乳腺特征图像进行分类，确定待检测乳腺钼靶图像中的微钙化簇为真阳性还是假阳性，可进一步提高降低医生误诊的概率，提高诊断的准确性。
作为一种可选的实施方式，请结合参阅图3，可通过步骤S11-S13实现对待检测乳腺钼靶图像进行预处理，获得多个待检测乳腺钼靶图像块。
步骤S11，将待检测乳腺钼靶图像的方向调整为预设方向。
步骤S12，将待检测乳腺钼靶图像的分辨率调整为预设分辨率。
步骤S13，按照预设大小对调整方向和分辨率之后的待检测乳腺钼靶图像进行划分，获得多个待检测乳腺钼靶图像块。
例如，若预设方向为乳房的乳头方向朝右，则将由CC位(头尾位)或MLO位(侧斜位)获得的乳头方向朝左、朝上或朝下的待检测乳腺钼靶图像的方向均调整为预设方向。
又例如，预设分辨率可以为4084*3328等较高的分辨率，若获取得到的待检测乳腺钼靶图像的分辨率低于此预设分辨率或高于此预设分辨率，则将待检测乳腺钼靶图像的分辨率调整为预设分辨率。
由于预设分辨率较高，待检测乳腺钼靶图像的尺寸较大，而发生微钙化的图像在整体图像的比例较小。因此，可将按照预设大小对调整方向和分辨率之后的待检测乳腺钼靶图像按照预设大小划分为多个大小一致的待检测乳腺钼靶图像块，以提高微钙化的图像占比，降低微钙化点分割的难度。
例如，若调整分辨率后的待检测乳腺钼靶图像的分辨率为4084*3328，则可将该待检测乳腺钼靶图像按照预设大小的不同，平均划分为2块、4块、6块、8块、10块、…、256块、…、1024块等。
需要说明的是，上述调整待检测乳腺钼靶图像的方向和调整待检测乳腺钼靶图像的分辨率的步骤不分先后，既可以先调整待检测乳腺钼靶图像的方向为预设方向，再调整待检测乳腺钼靶图像的分辨率为预设分辨率。还可以先调整待检测乳腺钼靶图像的分辨率为预设分辨率，再调整待检测乳腺钼靶图像的方向为预设方向，在此不做限制。
请结合参阅图4，可通过步骤S21-S22实现对各所述待检测乳腺钼靶图像块进行特征提取及分类处理。
步骤S21，基于预先建立的特征提取模型，对各所述待检测乳腺钼靶图像块进行特征提取。
步骤S22，基于预先建立的分类模型，对特征提取后的各待检测乳腺钼靶图像块进行分类处理。
作为一种可选的实施方式，请结合参阅图5，图5为本申请实施例提供的预先构建的UNet神经网络及金字塔池化模块的结构示意图，预先建立的所述特征提取模型通过以下步骤建立得到：
基于预先构建的UNet神经网络及金字塔池化模块，利用多张第一样本图像进行训练，获得特征提取模型，其中，所述UNet神经网络包括特征编码结构及特征解码结构。所述特征编码结构及所述特征解码结构用于提取并融合各样本图像中发生微钙化的不同尺度的特征。所述金字塔池化模块用于提取各微钙化簇在不同水平的上下文信息，消除不同尺度的特征融合后的语义差异。
本申请实施例中使用的特征提取模型包括3个依次连接的下采样层(特征编码结构)、金字塔池化层以及3个依次连接的上采样层(特征解码结构)。由于微钙化尺寸较小，采用3次下采样和3次上采样，以提取待检测乳腺钼靶图像中发生微钙化的不同尺度的特征，并对不同尺度的特征进行融合，提高特征提取的准确度。
经发明人研究发现，若直接融合特征编码结构和特征解码结构输出的特征图，会存在一定的语义鸿沟，同时，由于微钙化簇表现出不同水平的上下文信息，包括微钙化点特征、微钙化点之间的邻域特征和微钙化簇特征。因此，本申请实施例中还增加了金字塔池化模块，学习微钙化点之间的邻域特征和微钙化簇特征，来消除不同尺度特征融合的语义差异，进一步提高特征提取的准确度。
例如，作为一种可选的实施方式，请结合参阅图6，对于输入预先构建的UNet神经网络中的每个的第一样本图像，采用不同尺度的全局池化，得到大小为1、2、4等大小的特征图，通过进一步的卷积操作进行特征运算，最后通过上采样将特征图恢复到池化之前的大小，并对不同池化尺度的特征图进行融合，从而实现不同上下文语义特征的提取。
如此，通过预先建立的特征提取模型对各所述待检测乳腺钼靶图像块进行特征提取，获得各个待检测乳腺钼靶图像中的微钙化点。
其中，预先建立的分类模型及分割模型均基于全连接的卷积神经网络学习训练获得。请结合参阅图7，图7为本申请实施例提供的分类模型及分割模型的联合网络结构示意图。本申请实施例使用预先建立的分类模型和分割模型进行联合学习，通过分类模型来提高分割模型的性能。对于学习到的图像特征，经过激活层输出微钙化点分割结果，并串联卷积层、池化层、全连接层和全连接层输出图像块分类结果。
需要说明的是，上述分类模型的损失函数采用交叉熵损失函数，通过该交叉熵损失函数反向训练卷积神经网络，不断优化卷积神经网络中不同卷积层和池化层之间的连接权重，直至分类结果的准确率达到预设阈值。
同时，上述分割模型的损失函数采用Dice损失函数，通过该采用Dice损失函数反向训练卷积神经网络，不断优化卷积神经网络中不同卷积层和池化层之间的连接权重，直至分割结果达到预设效果。
作为一种可选的实施方式，预先建立的所述第二分类模型以及预先建立的分割模型通过以下步骤建立得到：
基于预见构建的第一卷积神经网络，利用多张第二样本图像进行训练，得到初步分类输出结果。
基于预先构建的第二卷积神经网络，利用多张第三样本图像进行训练，得到初步分割输出结果。
根据所述初步分类输出结果和所述初步分割输出结果，基于预设损失函数，通过反向传播算法对所述第一卷积神经网络中的连接权值及所述第二卷积神经网络中的连接权值进行调整，直至初步分割输出结果的准确率大于第一预设阈值，初步分类输出结果的准确率大于第二预设阈值。
因此，结合分类模型及分割模型共同进行训练时，预设损失函数如下：
其中，Yc为分类模型的预测值，为分类模型的标签，Ys为分割模型的预测值，/>为分割模型的标签，/>为所述损失函数。
其中，包含微钙化的图像块，其标签为正类，不包含微钙化的图像块，其标签为负类。该预先建立好的分类模型，可将特征提取之后的待检测乳腺钼靶图像块分为包含微钙化点的第一特征图像块以及不包含微钙化点的第二特征图像块。以便于直接对包含微钙化点的第一特征图像块做分割处理，使得微钙化点的特征更加显著，一方面有利于降低误诊概率，另一方面有利于减少图像的分割时间，提高检测效率。
请结合参阅图8，可通过步骤S41-S43实现对所述待检测乳腺特征图像中的微钙化点进行聚类处理的步骤。
步骤S41，计算所述待检测乳腺特征图像中每个微钙化点的噪声对比度特征值。
步骤S42，判断每个所述微钙化点的噪声对比度特征值是否大于预设阈值。
步骤S43，若是，则保留所述微钙化点。
步骤S44，若否，则剔除所述微钙化点。
步骤S45，针对保留的所有微钙化点，采用预设聚类算法对噪声对比度特征值最大的微钙化点进行聚类处理，得到包含至少一个微钙化簇的待检测乳腺特征图像。
其中，每个微钙化点的噪声对比度特征值通过以下公式计算得到：
其中，CNRi为第i个微钙化点的噪声对比度特征值，Vi为第i个微钙化点的最大像素值，μBG为所述待检测乳腺特征图像中的背景中像素的平均值，σBG为所述待检测乳腺特征图像中的背景中像素的标准差值。
需要说明的是，本申请实施例中，每个用于计算噪声对比度特征值的微钙化点，均为获取到的其2倍大小的矩形块，其中微钙化点对应的部分为前景，其他地方为背景。
其中，预设聚类算法为动态区域聚类算法、k均值聚类算法或DBSCAN聚类算法。
例如，若预设聚类算法为动态区域聚类算法，则可按照1cm为聚类半径欧式聚类作为聚类准则，依次对每个微钙化点进行聚类，得到微钙化簇。使得待检测乳腺钼靶图像中的微钙化特征更加明显，便于医生做出诊断。
本申请实施例通过对待检测乳腺钼靶图像分块处理，得到多个待检测乳腺钼靶图像块后分别对其进行特征提取，然后再对包含微钙化点的第一特征图像块进行分割处理，接着将分割处理后第一特征图像块的与不包含微钙化点的第二特征图像块拼接成完整的图像，最后对微钙化点进行聚类处理，获得微钙化簇，以提高微钙化的图像占比，降低微钙化点分割的难度，从而降低医生误诊的概率，提高后续分析的准确性。
基于同一发明构思，本申请实施例中还提供了与乳腺钼靶图像中微钙化簇的检测方法对应的乳腺钼靶图像中微钙化簇的检测装置。
请结合参阅图9，本申请实施例还提供了一种乳腺钼靶图像中微钙化簇的检测装置130，所述装置包括：
图像预处理模块131，用于对待检测乳腺钼靶图像进行预处理，获得多个待检测乳腺钼靶图像块。
特征提取及分类模块132，用于基于预先建立的模型，对各所述待检测乳腺钼靶图像块进行特征提取及分类处理，若得到至少一个包含微钙化点的第一特征图像块及至少一个不包含微钙化点的第二特征图像块，则基于预先建立的分割模型，对每个所述第一特征图像块进行分割处理，得到分割处理后的第一特征图像块；
拼接模块133，用于将得到的所有分割处理后的第一特征图像块与所有所述第二特征图像块拼接，获得所述待检测乳腺钼靶图像对应的待检测乳腺特征图像；
聚类模块134，用于对所述待检测乳腺特征图像中的微钙化点进行聚类处理，得到包含至少一个微钙化簇的待检测乳腺特征图像；
分类模块135，用于基于预先建立的第一分类模型，对包含至少一个微钙化簇的待检测乳腺特征图像进行分类，以确定所述待检测乳腺钼靶图像的类别。
由于本申请实施例中的装置解决问题的原理与本申请实施例上述乳腺钼靶图像中微钙化簇的检测方法相似，因此装置的实施原理可以参见方法的实施原理，重复之处不再赘述。
本申请实施例还提供了一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现上述的乳腺钼靶图像中微钙化簇的检测方法。
综上所述，本申请实施例提供了一种乳腺钼靶图像中微钙化簇的检测方法、装置和电子设备，该方法首先对待检测乳腺钼靶图像进行预处理，获得多个待检测乳腺钼靶图像块。接着基于预先建立的模型，对各所述待检测乳腺钼靶图像块进行特征提取及分类处理，若得到至少一个包含微钙化点的第一特征图像块及至少一个不包含微钙化点的第二特征图像块，则基于预先建立的分割模型，对每个所述第一特征图像块进行分割处理，得到分割处理后的第一特征图像块。接着将得到的所有分割处理后的第一特征图像块与所有所述第二特征图像块拼接，获得所述待检测乳腺钼靶图像对应的待检测乳腺特征图像，最后对所述待检测乳腺特征图像中的微钙化点进行聚类处理，得到包含至少一个微钙化簇的待检测乳腺特征图像，并基于预先建立的第一分类模型，对包含至少一个微钙化簇的待检测乳腺特征图像进行分类，以确定所述待检测乳腺钼靶图像的类别，以提高微钙化的图像占比，降低微钙化点分割的难度，提高后续分析的准确性。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种乳腺钼靶图像中微钙化簇的检测方法，其特征在于，所述方法包括：
对待检测乳腺钼靶图像进行预处理，获得多个待检测乳腺钼靶图像块；
基于预先建立的模型，对各所述待检测乳腺钼靶图像块进行特征提取及分类处理，若得到至少一个包含微钙化点的第一特征图像块及至少一个不包含微钙化点的第二特征图像块，则基于预先建立的分割模型，对每个所述第一特征图像块进行分割处理，得到分割处理后的第一特征图像块；
将得到的所有分割处理后的第一特征图像块与所有所述第二特征图像块拼接，获得所述待检测乳腺钼靶图像对应的待检测乳腺特征图像；
对所述待检测乳腺特征图像中的微钙化点进行聚类处理，得到包含至少一个微钙化簇的待检测乳腺特征图像；
基于预先建立的第一分类模型，对包含至少一个微钙化簇的待检测乳腺特征图像进行分类，以确定所述待检测乳腺钼靶图像的类别。
2.根据权利要求1所述的乳腺钼靶图像中微钙化簇的检测方法，其特征在于，所述对待检测乳腺钼靶图像进行预处理，获得多个待检测乳腺钼靶图像块的步骤包括：
将待检测乳腺钼靶图像的方向调整为预设方向；
将待检测乳腺钼靶图像的分辨率调整为预设分辨率；
按照预设大小对调整方向和分辨率之后的待检测乳腺钼靶图像进行划分，获得多个待检测乳腺钼靶图像块。
3.根据权利要求1所述的乳腺钼靶图像中微钙化簇的检测方法，其特征在于，所述对所述待检测乳腺特征图像中的微钙化点进行聚类处理的步骤包括：
计算所述待检测乳腺特征图像中每个微钙化点的噪声对比度特征值；
判断每个所述微钙化点的噪声对比度特征值是否大于预设阈值，若是，则保留所述微钙化点，若否，则剔除所述微钙化点；
针对保留的所有微钙化点，采用预设聚类算法对噪声对比度特征值最大的微钙化点进行聚类处理，得到包含至少一个微钙化簇的待检测乳腺特征图像。
4.根据权利要求3所述的乳腺钼靶图像中微钙化簇的检测方法，其特征在于，所述预设聚类算法为动态区域聚类算法、k均值聚类算法或DBSCAN聚类算法。
5.根据权利要求1所述的乳腺钼靶图像中微钙化簇的检测方法，其特征在于，所述基于预先建立的模型，对各所述待检测乳腺钼靶图像块进行特征提取及分类处理的步骤包括：
基于预先建立的特征提取模型，对各所述待检测乳腺钼靶图像块进行特征提取；
基于预先建立的第二分类模型，对特征提取后的各待检测乳腺钼靶图像块进行分类处理。
6.根据权利要求5所述的乳腺钼靶图像中微钙化簇的检测方法，其特征在于，预先建立的所述特征提取模型通过以下步骤建立得到：
基于预先构建的UNet神经网络及金字塔池化模块，利用多张第一样本图像进行训练，获得特征提取模型，其中，所述UNet神经网络包括特征编码结构及特征解码结构；
所述特征编码结构及所述特征解码结构用于提取并融合各样本图像中发生微钙化的不同尺度的特征；
所述金字塔池化模块用于提取各微钙化簇在不同水平的上下文信息，消除不同尺度的特征融合后的语义差异。
7.根据权利要求5所述的乳腺钼靶图像中微钙化簇的检测方法，其特征在于，预先建立的所述第二分类模型以及预先建立的分割模型通过以下步骤建立得到：
基于预先构建的第一卷积神经网络，利用多张第二样本图像进行训练，得到初步分类输出结果；
基于预先构建的第二卷积神经网络，利用多张第三样本图像进行训练，得到初步分割输出结果；
根据所述初步分类输出结果和所述初步分割输出结果，基于预设损失函数，通过反向传播算法对所述第一卷积神经网络中的连接权值及所述第二卷积神经网络中的连接权值进行调整，直至初步分割输出结果的准确率大于第一预设阈值，初步分类输出结果的准确率大于第二预设阈值；
其中，所述预设损失函数为：
其中，Yc为所述分类模型的预测值，为所述分类模型的标签，Ys为所述分割模型的预测值，/>为所述分割模型的标签，/>为所述损失函数。
8.一种乳腺钼靶图像中微钙化簇的检测装置，其特征在于，所述装置包括：
图像预处理模块，用于对待检测乳腺钼靶图像进行预处理，获得多个待检测乳腺钼靶图像块；
特征提取及分类模块，用于基于预先建立的模型，对各所述待检测乳腺钼靶图像块进行特征提取及分类处理，若得到至少一个包含微钙化点的第一特征图像块及至少一个不包含微钙化点的第二特征图像块，则基于预先建立的分割模型，对每个所述第一特征图像块进行分割处理，得到分割处理后的第一特征图像块；
拼接模块，用于将得到的所有分割处理后的第一特征图像块与所有所述第二特征图像块拼接，获得所述待检测乳腺钼靶图像对应的待检测乳腺特征图像；
聚类模块，用于对所述待检测乳腺特征图像中的微钙化点进行聚类处理，得到包含至少一个微钙化簇的待检测乳腺特征图像；
分类模块，用于基于预先建立的第一分类模型，对包含至少一个微钙化簇的待检测乳腺特征图像进行分类，以确定所述待检测乳腺钼靶图像的类别。
9.一种电子设备，其特征在于，包括处理器、存储器及总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器及所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1-7任意一项所述的乳腺钼靶图像中微钙化簇的检测方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现权利要求1-7中任一项所述的乳腺钼靶图像中微钙化簇的检测方法。
CN202010098468.4A 2020-02-18 2020-02-18 乳腺钼靶图像中微钙化簇的检测方法、装置和电子设备 Active CN111325266B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010098468.4A CN111325266B (zh) 2020-02-18 2020-02-18 乳腺钼靶图像中微钙化簇的检测方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010098468.4A CN111325266B (zh) 2020-02-18 2020-02-18 乳腺钼靶图像中微钙化簇的检测方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN111325266A CN111325266A (zh) 2020-06-23
CN111325266B true CN111325266B (zh) 2023-07-21

Family

ID=71168884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010098468.4A Active CN111325266B (zh) 2020-02-18 2020-02-18 乳腺钼靶图像中微钙化簇的检测方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN111325266B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233198B (zh) * 2020-09-02 2023-04-07 山东师范大学 一种乳腺钼靶图像到能谱重组图像合成方法及系统
CN114176616A (zh) * 2021-11-30 2022-03-15 上海联影智能医疗科技有限公司 静脉血栓的检测方法、电子设备和存储介质
CN115205768B (zh) * 2022-09-16 2023-01-31 山东百盟信息技术有限公司 一种基于分辨率自适应网络的视频分类方法
CN115205666B (zh) * 2022-09-16 2023-03-07 太平金融科技服务(上海)有限公司深圳分公司 图像分析方法、装置、服务器、介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5857030A (en) * 1995-08-18 1999-01-05 Eastman Kodak Company Automated method and system for digital image processing of radiologic images utilizing artificial neural networks
CN101706876A (zh) * 2009-11-13 2010-05-12 西安电子科技大学 基于混合子空间学习选择性集成的微钙化簇检测方法
CN109285147A (zh) * 2018-08-30 2019-01-29 北京深睿博联科技有限责任公司 用于乳腺钼靶钙化检测的图像处理方法及装置、服务器
CN110782451A (zh) * 2019-11-04 2020-02-11 哈尔滨理工大学 基于判别式深度置信网络的疑似微钙化点区域自动定位方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9122897B2 (en) * 2010-11-10 2015-09-01 Capio Technologies S.A. De C.V. Method for the detection and classification of microcalcification clusters in digital mammograms

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5857030A (en) * 1995-08-18 1999-01-05 Eastman Kodak Company Automated method and system for digital image processing of radiologic images utilizing artificial neural networks
CN101706876A (zh) * 2009-11-13 2010-05-12 西安电子科技大学 基于混合子空间学习选择性集成的微钙化簇检测方法
CN109285147A (zh) * 2018-08-30 2019-01-29 北京深睿博联科技有限责任公司 用于乳腺钼靶钙化检测的图像处理方法及装置、服务器
CN110782451A (zh) * 2019-11-04 2020-02-11 哈尔滨理工大学 基于判别式深度置信网络的疑似微钙化点区域自动定位方法

Also Published As

Publication number Publication date
CN111325266A (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
CN111325266B (zh) 乳腺钼靶图像中微钙化簇的检测方法、装置和电子设备
Yap et al. Deep learning in diabetic foot ulcers detection: A comprehensive evaluation
JP7143008B2 (ja) 深層学習に基づく医用画像検出方法及び装置、電子機器及びコンピュータプログラム
US10482603B1 (en) Medical image segmentation using an integrated edge guidance module and object segmentation network
Cicero et al. Training and validating a deep convolutional neural network for computer-aided detection and classification of abnormalities on frontal chest radiographs
CN110599476B (zh) 基于机器学习的疾病分级方法、装置、设备及介质
JP7112519B2 (ja) 画像処理方法、装置、コンピュータプログラム、並びにコンピュータ機器
US11751832B2 (en) CTA large vessel occlusion model
Rahman et al. Deep learning–driven automated detection of Covid-19 from radiography images: A comparative analysis
WO2022028127A1 (zh) 基于人工智能的病理图像处理方法、装置、电子设备及存储介质
CN111428709A (zh) 图像处理方法、装置、计算机设备和存储介质
US11776243B2 (en) Systems and methods for automated detection of visual objects in medical images
An et al. Medical image segmentation algorithm based on multilayer boundary perception-self attention deep learning model
US20230052133A1 (en) Medical image processing method and apparatus, device, storage medium, and product
CN114219807B (zh) 乳腺超声检查图像分级方法、装置、设备和存储介质
Prinzi et al. A YOLO-based model for breast cancer detection in mammograms
Yuan et al. DCAU-Net: dense convolutional attention U-Net for segmentation of intracranial aneurysm images
Hu et al. A multi-instance networks with multiple views for classification of mammograms
Banumathy et al. Breast Calcifications and Histopathological Analysis on Tumour Detection by CNN.
CN115497092A (zh) 图像处理方法、装置及设备
Abdulah et al. A hybrid pipeline for Covid-19 screening incorporating lungs segmentation and wavelet based preprocessing of chest X-Rays
CN112861916A (zh) 一种浸润性宫颈癌病理图像分类方法和系统
Hassan et al. A deep learning model for mammography mass detection using mosaic and reconstructed multichannel images
CN113822846A (zh) 医学图像中确定感兴趣区域的方法、装置、设备及介质
CN114037702B (zh) 一种切片级宫颈癌筛查与分类的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100192 A206, 2 / F, building B-2, Dongsheng Science Park, Zhongguancun, 66 xixiaokou Road, Haidian District, Beijing

Applicant after: Huiying medical technology (Beijing) Co.,Ltd.

Address before: 100192 A206, 2 / F, building B-2, Dongsheng Science Park, Zhongguancun, 66 xixiaokou Road, Haidian District, Beijing

Applicant before: HUIYING MEDICAL TECHNOLOGY (BEIJING) Co.,Ltd.

GR01 Patent grant
GR01 Patent grant