CN112419292B - 病理图像的处理方法、装置、电子设备及存储介质 - Google Patents

病理图像的处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112419292B
CN112419292B CN202011378840.3A CN202011378840A CN112419292B CN 112419292 B CN112419292 B CN 112419292B CN 202011378840 A CN202011378840 A CN 202011378840A CN 112419292 B CN112419292 B CN 112419292B
Authority
CN
China
Prior art keywords
feature map
scale
interest
region
convolution operation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011378840.3A
Other languages
English (en)
Other versions
CN112419292A (zh
Inventor
黄映婷
肖婷
刘佳斌
张阳
邓浩然
郑文先
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Intellifusion Technologies Co Ltd
Original Assignee
Shenzhen Intellifusion Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Intellifusion Technologies Co Ltd filed Critical Shenzhen Intellifusion Technologies Co Ltd
Priority to CN202011378840.3A priority Critical patent/CN112419292B/zh
Publication of CN112419292A publication Critical patent/CN112419292A/zh
Application granted granted Critical
Publication of CN112419292B publication Critical patent/CN112419292B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明实施例提供一种病理图像的处理方法、装置、电子设备及存储介质，所述方法包括：获取待检测病理图像；对所述待检测病理图像进行第一卷积操作，得到第一特征图；对所述第一特征图进行第二卷积操作，得到第二特征图，所述第二特征图隐含感兴趣区域中心信息以及感兴趣区域尺度信息；对所述第二特征图按第一预设次数分别进行下采样，并根据下采样的结果得到第三特征图；对所述第三特征图进行第三卷积操作，得到不同尺度的第四特征图；对最小尺度的第四特征进行上采样，并融合对应尺度的第四特征图，得到不同尺度的第五特征图；基于所述第五特征图，预测并回归所述待检测病理图像中的感兴趣区域。本发明提高了病理图像的阅片效率。

Description

病理图像的处理方法、装置、电子设备及存储介质
技术领域
本发明涉及图像处理领域，尤其涉及一种病理图像的处理方法、装置、电子设备及存储介质。
背景技术
病理检查是一种用以检查机体器官、组织或细胞中的病理形态学的方法，目前通常通过病理检查来确诊是否患有癌症，单纯形态学观察进行病理诊断的方法，是一种纯定性的、形态学的方法，仅能进行粗略的定量估计，如根据瘤细胞的核分裂数目，尤其是病理性核分裂来判断恶性肿瘤的恶性变。病理形态学的检查方法，首先观察标本的病理改变，然后切取一定大小的病变组织，用病理组织学方法制成病理切片，用显微镜进一步检查病变。具体来说，是将待检组织切片后进行染色操作以得到不同的染色图像，如免疫组化染色图像。病理科的医生通过在显微镜下对染色图像中的感兴趣区域进行整体和局部观察，以完成一例病理的诊断。然而通过人工的方式观察染色图像，如在显微镜下寻找病变区域时，耗时耗力，阅片效率低，且存在较大的主观性，可能会出现误判的情况。因此，现有的人工观察病理图像的阅片效率和准确度比较低。
发明内容
本发明实施例提供一种病理图像的处理方法，通过对待检测病理图像初步提取感兴趣区域的中心和尺度来作为辅助后续的感兴趣区域预测，同时，由于对各个尺度的下采样图进行融合，以及对各个尺度的特征图进行融合，能够保留较多的空间信息，减少信息丢失，提高了检测病理图像中的感兴趣区域的准确率，不用人工观察病理图像，提高了病理图像的阅片效率。
第一方面，本发明实施例提供一种病理图像的处理方法，用于检测病理图像中的感兴趣区域，所述方法包括：
获取待检测病理图像；
对所述待检测病理图像进行第一卷积操作，得到第一特征图；
对所述第一特征图进行第二卷积操作，得到第二特征图，所述第二特征图隐含感兴趣区域中心信息以及感兴趣区域尺度信息；
对所述第二特征图按第一预设次数分别进行下采样，并根据下采样的结果得到第三特征图；
对所述第三特征图进行第三卷积操作，得到不同尺度的第四特征图；
对最小尺度的第四特征进行上采样，并融合对应尺度的第四特征图，得到不同尺度的第五特征图；
基于所述第五特征图，预测并回归所述待检测病理图像中的感兴趣区域。
可选的，在所述对所述待检测病理图像进行第一卷积操作，得到第一特征图之前，所述方法还包括：
对所述待检测病理图像进行预处理，得到输入病理图像，所述预处理包括切片以及拼接。
可选的，所述第二卷积操作包括中心卷积操作以及尺度卷积操作，所述对所述第一特征图进行第二卷积操作，得到第二特征图，包括：
对所述第一特征图进行中心卷积操作，得到隐含感兴趣区域中心信息的第一子特征图；
对所述第二特征图进行尺度卷积操作，得到隐含感兴趣区域尺寸信息的第二子特征图；
将所述第一子特征图与所述第二子特征图进行融合，得到第二特征图。
可选的，所述对所述第二特征图按第一预设次数分别进行下采样，并根据下采样的结果得到第三特征图，包括：
对所述第二特征图按第一预设次数分别进行下采样，得到第一数量的不同尺度的下采样图，所述第一数量与所述第一预设次数相关；
对所述不同尺寸的下采样图进行融合，得到第三特征图。
可选的，所述对所述第三特征图进行第三卷积操作，得到不同尺度的第四特征图，包括：
在当前尺度的卷积操作完成后，将所述当前尺度的输出特征按预设的倍数进行下采样，得到第四特征图。
可选的，所述对最小尺度的第四特征图进行上采样，并融合对应尺度的第四特征图，得到不同尺度的第五特征图，包括：
对最小尺度的第四特征按所述预设的倍数进行上采样，得到不同尺度的上采样图；
通过第四卷积操作将相同尺度的第四特征图与上采样图进行融合，得到不同尺度的第五特征图。
可选的，所述基于所述第五特征图，预测并回归所述待检测病理图像中的感兴趣区域，包括：
通过对所述不同尺度的第五特征图进行预测分类，输出对应不同尺度的感兴趣区域；
对所述不同尺度的感兴趣区域采用非极大值抑制进行计算，得到目标感兴趣区域；
将所述目标感兴趣区域回归到所述待检测病理图像，得到所述待检测病理图像中的感兴趣区域。
第二方面，本发明实施例还提供一种病理图像的处理装置，用于检测病理图像中的感兴趣区域，所述装置包括：
获取模块，用于获取待检测病理图像；
第一卷积模块，用于对所述待检测病理图像进行第一卷积操作，得到第一特征图；
第二卷积模块，用于对所述第一特征图进行第二卷积操作，得到第二特征图，所述第二特征图隐含病理区域中心信息以及病理区域尺度信息；
下采样模块，用于对所述第二特征图按第一预设次数依次进行下采样，并根据下采样的结果得到第三特征图；
第三卷积模块，用于对所述第三特征图进行第三卷积操作，得到不同尺度的第四特征图；
上采样模块，用于对最小尺度的第四特征进行上采样，并融合对应尺度的第四特征图，得到不同尺度的第五特征图；
预测回归模块，用于基于所述第五特征图，预测并回归所述待检测病理图像中的感兴趣区域。
第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例提供的病理图像的处理方法中的步骤。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现发明实施例提供的病理图像的处理方法中的步骤。
本发明实施例中，获取待检测病理图像；对所述待检测病理图像进行第一卷积操作，得到第一特征图；对所述第一特征图进行第二卷积操作，得到第二特征图，所述第二特征图隐含感兴趣区域中心信息以及感兴趣区域尺度信息；对所述第二特征图按第一预设次数分别进行下采样，并根据下采样的结果得到第三特征图；对所述第三特征图进行第三卷积操作，得到不同尺度的第四特征图；对最小尺度的第四特征进行上采样，并融合对应尺度的第四特征图，得到不同尺度的第五特征图；基于所述第五特征图，预测并回归所述待检测病理图像中的感兴趣区域。通过对待检测病理图像初步提取感兴趣区域的中心和尺度来作为辅助后续的感兴趣区域预测，同时，由于对各个尺度的下采样图进行融合，以及对各个尺度的特征图进行融合，能够保留较多的空间信息，减少信息丢失，提高了检测病理图像中的感兴趣区域的准确率，不用人工观察病理图像，提高了病理图像的阅片效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种病理图像的处理方法的流程图；
图2是本发明实施例提供的一种病理图像的处理装置的结构示意图；
图3是本发明实施例提供的另一种病理图像的处理装置的结构示意图；
图4是本发明实施例提供的一种第二卷积模块的结构示意图；
图5是本发明实施例提供的一种下采样模块的结构示意图；
图6是本发明实施例提供的一种上采样模块的结构示意图；
图7是本发明实施例提供的一种预测回归模块的结构示意图；
图8是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，图1是本发明实施例提供的一种病理图像的处理方法的流程图，如图1所示，该方法用于检测病理图像中的感兴趣区域，包括以下步骤：
101、获取待检测病理图像。
在本发明实施例中，上述待检测病理图像可以是通过电子显微镜或光学显微镜获取到的病理切片的图像，也可以是通过内窥镜拍摄到的图像。在病理图像中，通过试剂对切片进行处理后，病变细胞与正常细胞会存在差异化的颜色状态，比如细胞核的颜色差异和形状差异。
上述的感兴趣区域指的是病变细胞所在区域，比如肿瘤细胞所在区域。
102、对待检测病理图像进行第一卷积操作，得到第一特征图。
在本发明实施例中，可以通过第一卷积神经网络对待检测病理图像进行第一卷积操作，上述第一卷积神经网络为预先训练好的卷积神经网络。
上述第一卷积神经网络用于提取待检测病理图像的初级特征，具体的，将图像形式的待检测病理图像抽象到数字空间，并放大特定的区域数值，上述初始特征中隐含有感兴趣区域。
进一步的，上述第一卷积操作包括卷积和激活，对应的，上述第一卷积神经网络中包括卷积层和激活函数，待检测病理图像输入到卷积层中进行卷积计算，得到的输出特征图被传入激活函数中进行计算，输出第一特征图。上述激活函数可以是非饱和激活函数，比如ReLU函数、ELUs函数、Leaky ReLU函数、Mish函数等。在本发明实施例中，上述激活函数可以如下述式子(1)所示：
其中，上述ai为在于1的一个固定参数。
可选的，在第一卷积神经网络对上述待检测病理图像进行第一卷积操作之前，还可以对待检测病理图像进行预处理，得到输入病理图像，上述预处理可以包括切片、拼接。上述切片可以是邻近下采样，具体的，每隔一个像素取一个值，将待检测病理图像切分为4个图像，上述拼接可以是在通道维度进行拼接，这样，可以将待检测病理图像的尺度降低，而切分出来的图像以通道的形式存在，并没有丢失对应的信息，而通道对于计算量影响较小，所以可以减少计算量。
103、对第一特征图进行第二卷积操作，得到第二特征图。
在本发明实施例中，上述第二特征图隐含感兴趣区域中心信息以及感兴趣区域尺度信息。可以通过第二卷积神经网络对第二特征图进行第二卷积操作，上述第二卷积神经网络为预先训练好的卷积神经网络。
进一步的，上述第二卷积操作包括中心卷积操作以及尺度卷积操作，上述中心卷积操作与尺度卷积操作为并行的卷积操作。对应的，上述第二卷积神经网络包括中心分支网络以及尺度分支网络，上述中心分支网络与尺度分支网络并行对上述第一特征图进行卷积操作，上述中心分支网络用于提取出第一特征图中感兴趣区域的中心点信息，上述尺度分支网络用于提取出第一特征图中感兴趣区域的尺度信息。上述中心分支网络与上述尺度分支网络的输入是相同的，区别在于权重参数的不同，另外，需要说明的是，上述中心分支网络与上述尺度分支网络不设置全连接层和回归层来进行分类和回归，只输出对应的子特征图。
上述中心分支网络对第一特征图进行中心卷积操作，得到隐含感兴趣区域中心信息的第一子特征图；上述尺度分支网络对第二特征图进行尺度卷积操作，得到隐含感兴趣区域尺度信息的第二子特征图；将所述第一子特征图与所述第二子特征图进行融合，得到第二特征图。上述的融合可以是叠加融合，也可以拼接融合，在本发明实施例中，优选为拼接融合，可以避免中心信息与尺度信息耦合。
104、对第二特征图按第一预设次数分别进行下采样，并根据下采样的结果得到第三特征图。
在本发明实施例中，上述下采样可以通过池化操作进行，也可以通过增加卷积核滑动步长进行。上述的下采样指的是将原本特征图由大尺度缩放到较小的尺度。
可选的，可以对上述第二特征图按第一预设次数分别进行下采样，得到第一数量的不同尺度的下采样图，上述第一数量与上述第一预设次数相关；对上述不同尺寸的下采样图进行融合，得到第三特征图。上述下采样优选为池化下采样，上述的池化下采样可以是最大值下采样，上述最大值下采样指的是池化核对应的区域内，取最大值进行保留。比如，池化核2×2，对应第二特征图中2×2区域的值分别为(1，2，2，4)，则会保留4做为池化结果。
进一步的，上述第一数量与第一预设次数相同，比如，第一预设次数为n，则下采样图的数量也为n，上述下采样倍数为预先设置，或者可以理解为，下采样的池化核为区域池化核，将第二特征图划分为对应的区域，比如区域池化核为K1×K2，则将第二特征图划分为K1×K2个区域，每个区域取最大值，得到的下采样图的尺度为K1×K2，区域池化核为J1×J2，则将第二特征图划分为J1×J2个区域，每个区域取最大值，得到的下采样图的尺度为J1×J2，区域池化核为1×1，则取第二特征图的最大值，得到的下采样图的尺度为1×1。
上述对不同尺寸的下采样图进行融合，可以是拼接融合，具体将不同尺度的下采样图进行拼接，再经过线性变换和激活函数，得到第三特征图。
105、对第三特征图进行第三卷积操作，得到不同尺度的第四特征图。
在本发明实施例中，可以通过第三卷积网络对上述第三特征图进行第三卷积操作，得到不同尺度的第四特征图。上述第三卷积网络为预先训练好的。
上述第三卷积网络包括多个卷积层，每个卷积层用于对第三特征图进行卷积、激活以及池化，每个卷积层的最后，输入通过卷积和激活后，通过池化进行输出，得到不同尺度的第四特征。具体的，在当前尺度对应卷积层的卷积操作完成后，将当前尺度对应卷积层的输出特征按预设的倍数进行下采样，得到第四特征图。上述预设的倍数比如2、4等，比如，以2倍下采样来说，第三特征图为512×512，在经过第一卷积层后，得到尺度为256×256的第四特征图，经过第二卷积层后，得到尺度为128×128的第四特征图，再经过第三卷积层后，得到尺度为64×64的第四特征图。
在一种可能实施方式中，上述第三卷积操作包括中心卷积操作以及尺度卷积操作，上述中心卷积操作与尺度卷积操作为并行的卷积操作。对应的，上述第三卷积神经网络中每层卷积层都包括中心分支网络以及尺度分支网络，上述中心分支网络与尺度分支网络并行对上述第三特征图进行卷积操作，上述中心分支网络用于提取出第三特征图中感兴趣区域的中心点信息，上述尺度分支网络用于提取出第三特征图中感兴趣区域的尺度信息。第三卷积神经网络中，当前卷积层的中心分支网络对第三特征图进行中心卷积操作，得到隐含感兴趣区域中心信息的第三子特征图；当前卷积层的尺度分支网络对第三特征图进行尺度卷积操作，得到隐含感兴趣区域尺度信息的第四子特征图；将所述第三子特征图与所述第四子特征图进行融合，得到当前卷积层的第四特征图。上述的融合可以是叠加融合，也可以拼接融合，在本发明实施例中，优选为拼接融合，可以避免中心信息与尺度信息耦合。将当前卷积层的第四特征图作为下一卷积层的输入，下一卷积层输出得到尺度更小的第四特征图。
106、对最小尺度的第四特征图进行上采样，并融合对应尺度的第四特征图，得到不同尺度的第五特征图。
进一步的，可以对最小尺度的第四特征按预设的倍数进行上采样，得到不同尺度的上采样图；通过第四卷积操作将相同尺度的第四特征图与上采样图进行融合，得到不同尺度的第五特征图。
在本发明实施例中，第四特征图与第五特征图在尺度上一一对应，比如，第四特征图的尺度分别为256×256、128×128、64×64，则第五特征图的尺度也分别为256×256、128×128、64×64。上述的上采样可以是反卷积类型的上采样，也可以是插值类型的上采样。
进一步举例，以最小尺度的第四特征图64×64进行2倍上采样来进行说明，可以将64×64进行2倍上采样，得到128×128尺度的上采样图，再对128×128尺度的第五特征图进行2倍上采样，得到256×256尺度的上采样图。另外。更进一步来说，上述最小尺度的第四特征图可以通过第四卷积操作，转换为64×64尺度的第五特征图；上述128×128尺度的上采样图与上述128×128尺度的第四特征图之间通过第四卷积操作融合为128×128尺度的第五特征图，上述256×256尺度的上采样图与上述256×256尺度的第四特征图之间通过第四卷积操作融合为256×256尺度的第五特征图。上述第四卷积可以是1×1卷积。
需要说明的是，上述256×256、128×128、64×64为尺度的示例性说明，不应认为是对本发明实施例的限定，具体的尺度可以根据实际进行配置。
107、基于第五特征图，预测并回归待检测病理图像中的感兴趣区域。
在本发明实施例中，第五特征图隐含了各个尺度的感兴趣区域，每个尺度的第五特征图对应一个感兴趣区域的锚定框，比如，第五特征图的尺度分别为256×256、128×128、64×64，则对应3个不同尺度的感兴趣区域，即会输出3个不同尺度的锚定框。
进一步的，通过对不同尺度的第五特征图进行预测分类，输出对应不同尺度的感兴趣区域；基于不同尺度的感兴趣区域进行分类，得到目标感兴趣区域；将目标感兴趣区域回归到待检测病理图像，得到待检测病理图像中的感兴趣区域。
可选的，可以将第五特征图进行融合，得到1维的特征向量，上述特征向量包含与第五特征图数量相同的锚定框、预设数量的类别数、以及概率信息。比如上述例子中，第五特征图的尺度分别为256×256、128×128、64×64，则该特征向量可以包含3个锚定框信息，每个锚定框信息n个类别，1个概率以及4个坐标，上述4个坐标包括中心点坐标、高和宽，上述的高和宽是基于中心点坐标的。可以将特征向量输入预测网络中，计算特征向量的预测结果作为感兴趣区域的检测结果。上述锚定框可以通过非极大值抑制，选取一个最终的锚定框进行回归，比如置信度最大的锚定框，将最终的锚定框回归到待检测病理图像中，使得待检测病理图像能显示锚定框，并示出锚定框中的区域为感兴趣区域。阅片医生只需要关注病理图像中锚定框内的图像内容即可。
本发明实施例中，获取待检测病理图像；对所述待检测病理图像进行第一卷积操作，得到第一特征图；对所述第一特征图进行第二卷积操作，得到第二特征图，所述第二特征图隐含感兴趣区域中心信息以及感兴趣区域尺度信息；对所述第二特征图按第一预设次数分别进行下采样，并根据下采样的结果得到第三特征图；对所述第三特征图进行第三卷积操作，得到不同尺度的第四特征图；对最小尺度的第四特征进行上采样，并融合对应尺度的第四特征图，得到不同尺度的第五特征图；基于所述第五特征图，预测并回归所述待检测病理图像中的感兴趣区域。通过对待检测病理图像初步提取感兴趣区域的中心和尺度来作为辅助后续的感兴趣区域预测，同时，由于对各个尺度的下采样图进行融合，以及对各个尺度的特征图进行融合，能够保留较多的空间信息，减少信息丢失，提高了检测病理图像中的感兴趣区域的准确率，不用人工观察病理图像，提高了病理图像的阅片效率。
需要说明的是，本发明实施例提供的病理图像的处理方法可以应用于可以进行病理图像的处理的手机、监控器、计算机、服务器等设备。
可选的，上述病理图像的处理方法可以通过一个整体的网络模型进行实现，该网络模型包括预处理部分、第一特征提取部分、第二特征提取部分、预测部分。上述预处理部分主要用于获取待检测病理图像，以及对待检测病理图像进行预处理，上述预处理包括对待检测病理图像进行切片以及拼接，将待检测病理图像的尺度变小，通道增加，减少计算量。上述第一特征提取部分主要用于提取第一特征图与第二特征图，上述第二特征提取部分主要用于提取第三特征图、第四特征图以及第五特征图，上述预测部分主要用于对第五特征图进行预测。
在该网络模型的训练过程中，首先将训练集图像输入预处理部分，上述训练集图像为样本病理图像，样本病理图像上有对应的标注。在训练过程中的预处理部分，会将训练集图像进行图像加强，分别对四张样本病理图像进行缩放、旋转以及色域变化等操作，然后分别将四张图像拼接为一张图像，作为输入图像，需要说明的是，在前向推理时，不用进行上述的图像增强和多个图像拼接。输入图像经过上述第一特征提取部分、第二特征提取部分、预测部分后，输出预测结果，该网络模型训练时，可以采用GIOU Loss(GeneralizedIntersection over UnionLoss，广义交并比损失)作为锚定框的损失，使用于交叉熵损失和Logits损失函数分别作为类概率的损失和目标得分的损失，将三个损失的加权总损失作为网络模型的损失，使用自适应矩估计或随机梯度下降作为梯度优化函数来更新网络模型中的权重参数。
请参见图2，图2是本发明实施例提供的一种病理图像的处理装置的结构示意图，用于检测病理图像中的感兴趣区域，如图2所示，所述装置包括：
获取模块201，用于获取待检测病理图像；
第一卷积模块202，用于对所述待检测病理图像进行第一卷积操作，得到第一特征图；
第二卷积模块203，用于对所述第一特征图进行第二卷积操作，得到第二特征图，所述第二特征图隐含病理区域中心信息以及病理区域尺度信息；
下采样模块204，用于对所述第二特征图按第一预设次数依次进行下采样，并根据下采样的结果得到第三特征图；
第三卷积模块205，用于对所述第三特征图进行第三卷积操作，得到不同尺度的第四特征图；
上采样模块206，用于对最小尺度的第四特征进行上采样，并融合对应尺度的第四特征图，得到不同尺度的第五特征图；
预测回归模块207，用于基于所述第五特征图，预测并回归所述待检测病理图像中的感兴趣区域。
可选的，如图3所示，所述装置还包括：
预处理模块208，用于对所述待检测病理图像进行预处理，得到输入病理图像，所述预处理包括切片以及拼接。
可选的，如图4所示，所述第二卷积操作包括中心卷积操作以及尺度卷积操作，所述第二卷积模块203，包括：
第一卷积子模块2031，用于对所述第一特征图进行中心卷积操作，得到隐含感兴趣区域中心信息的第一子特征图；
第二卷积子模块2032，用于对所述第二特征图进行尺度卷积操作，得到隐含感兴趣区域尺寸信息的第二子特征图；
第一融合子模块2033，用于将所述第一子特征图与所述第二子特征图进行融合，得到第二特征图。
可选的，如图5所示，所述下采样模块204，包括：
第一下采样子模块2041，用于对所述第二特征图按第一预设次数分别进行下采样，得到第一数量的不同尺度的下采样图，所述第一数量与所述第一预设次数相关；
第二融合子模块2042，用于对所述不同尺寸的下采样图进行融合，得到第三特征图。
可选的，所述第三卷积模块205还用于在当前尺度的卷积操作完成后，将所述当前尺度的输出特征按预设的倍数进行下采样，得到第四特征图。
可选的，如图6所示，所述上采样模块206，包括：
上采样子模块2061，用于对最小尺度的第四特征按所述预设的倍数进行上采样，得到不同尺度的上采样图；
第三融合子模块2062，用于通过第四卷积操作将相同尺度的第四特征图与上采样图进行融合，得到不同尺度的第五特征图。
可选的，如图7所示，所述预测回归模块207，包括：
预测子模块2071，用于通过对所述不同尺度的第五特征图进行预测分类，输出对应不同尺度的感兴趣区域；
确定子模块2072，用于对所述不同尺度的感兴趣区域采用非极大值抑制进行计算，得到目标感兴趣区域；
回归子模块2073，用于将所述目标感兴趣区域回归到所述待检测病理图像，得到所述待检测病理图像中的感兴趣区域。
需要说明的是，本发明实施例提供的病理图像的处理装置可以应用于可以进行病理图像的处理的手机、监控器、计算机、服务器等设备。
本发明实施例提供的病理图像的处理装置能够实现上述方法实施例中病理图像的处理方法实现的各个过程，且可以达到相同的有益效果。为避免重复，这里不再赘述。
参见图8，图8是本发明实施例提供的一种电子设备的结构示意图，如图8所示，包括：存储器802、处理器801及存储在所述存储器802上并可在所述处理器801上运行的计算机程序，其中：
处理器801用于调用存储器802存储的计算机程序，执行如下步骤：
获取待检测病理图像；
对所述待检测病理图像进行第一卷积操作，得到第一特征图；
对所述第一特征图进行第二卷积操作，得到第二特征图，所述第二特征图隐含感兴趣区域中心信息以及感兴趣区域尺度信息；
对所述第二特征图按第一预设次数分别进行下采样，并根据下采样的结果得到第三特征图；
对所述第三特征图进行第三卷积操作，得到不同尺度的第四特征图；
对最小尺度的第四特征进行上采样，并融合对应尺度的第四特征图，得到不同尺度的第五特征图；
基于所述第五特征图，预测并回归所述待检测病理图像中的感兴趣区域。
可选的，在所述对所述待检测病理图像进行第一卷积操作，得到第一特征图之前，所述处理器801还执行包括：
对所述待检测病理图像进行预处理，得到输入病理图像，所述预处理包括切片以及拼接。
可选的，所述第二卷积操作包括中心卷积操作以及尺度卷积操作，处理器801执行的所述对所述第一特征图进行第二卷积操作，得到第二特征图，包括：
对所述第一特征图进行中心卷积操作，得到隐含感兴趣区域中心信息的第一子特征图；
对所述第二特征图进行尺度卷积操作，得到隐含感兴趣区域尺寸信息的第二子特征图；
将所述第一子特征图与所述第二子特征图进行融合，得到第二特征图。
可选的，处理器801执行的所述对所述第二特征图按第一预设次数分别进行下采样，并根据下采样的结果得到第三特征图，包括：
对所述第二特征图按第一预设次数分别进行下采样，得到第一数量的不同尺度的下采样图，所述第一数量与所述第一预设次数相关；
对所述不同尺寸的下采样图进行融合，得到第三特征图。
可选的，处理器801执行的所述对所述第三特征图进行第三卷积操作，得到不同尺度的第四特征图，包括：
在当前尺度的卷积操作完成后，将所述当前尺度的输出特征按预设的倍数进行下采样，得到第四特征图。
可选的，处理器801执行的所述对最小尺度的第四特征图进行上采样，并融合对应尺度的第四特征图，得到不同尺度的第五特征图，包括：
对最小尺度的第四特征按所述预设的倍数进行上采样，得到不同尺度的上采样图；
通过第四卷积操作将相同尺度的第四特征图与上采样图进行融合，得到不同尺度的第五特征图。
可选的，处理器801执行的所述基于所述第五特征图，预测并回归所述待检测病理图像中的感兴趣区域，包括：
通过对所述不同尺度的第五特征图进行预测分类，输出对应不同尺度的感兴趣区域；
对所述不同尺度的感兴趣区域采用非极大值抑制进行计算，得到目标感兴趣区域；
将所述目标感兴趣区域回归到所述待检测病理图像，得到所述待检测病理图像中的感兴趣区域。
需要说明的是，上述电子设备可以是可以应用于可以进行病理图像的处理的手机、监控器、计算机、服务器等设备。
本发明实施例提供的电子设备能够实现上述方法实施例中病理图像的处理方法实现的各个过程，且可以达到相同的有益效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的病理图像的处理方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random AccessMemory，简称RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种病理图像的处理方法，用于检测病理图像中的感兴趣区域，其特征在于，包括以下步骤：
获取待检测病理图像；
对所述待检测病理图像进行第一卷积操作，得到第一特征图；
对所述第一特征图进行第二卷积操作，得到第二特征图，所述第二特征图隐含感兴趣区域中心信息以及感兴趣区域尺度信息；
对所述第二特征图按第一预设次数分别进行下采样，并根据下采样的结果得到第三特征图；
对所述第三特征图进行第三卷积操作，得到不同尺度的第四特征图；
对最小尺度的第四特征图进行上采样，并融合对应尺度的第四特征图，得到不同尺度的第五特征图；
基于所述第五特征图，预测并回归所述待检测病理图像中的感兴趣区域。
2.如权利要求1所述的方法，其特征在于，在所述对所述待检测病理图像进行第一卷积操作，得到第一特征图之前，所述方法还包括：
对所述待检测病理图像进行预处理，得到输入病理图像，所述预处理包括切片以及拼接。
3.如权利要求1所述的方法，其特征在于，所述第二卷积操作包括中心卷积操作以及尺度卷积操作，所述对所述第一特征图进行第二卷积操作，得到第二特征图，包括：
对所述第一特征图进行中心卷积操作，得到隐含感兴趣区域中心信息的第一子特征图；
对所述第二特征图进行尺度卷积操作，得到隐含感兴趣区域尺度信息的第二子特征图；
将所述第一子特征图与所述第二子特征图进行融合，得到第二特征图。
4.如权利要求1所述的方法，其特征在于，所述对所述第二特征图按第一预设次数分别进行下采样，并根据下采样的结果得到第三特征图，包括：
对所述第二特征图按第一预设次数分别进行下采样，得到第一数量的不同尺度的下采样图，所述第一数量与所述第一预设次数相关；
对所述不同尺寸的下采样图进行融合，得到第三特征图。
5.如权利要求1所述的方法，其特征在于，所述对所述第三特征图进行第三卷积操作，得到不同尺度的第四特征图，包括：
在当前尺度的卷积操作完成后，将所述当前尺度的输出特征按预设的倍数进行下采样，得到第四特征图。
6.如权利要求5所述的方法，其特征在于，所述对最小尺度的第四特征进行上采样，并融合对应尺度的第四特征图，得到不同尺度的第五特征图，包括：
对最小尺度的第四特征按所述预设的倍数进行上采样，得到不同尺度的上采样图；
通过第四卷积操作将相同尺度的第四特征图与上采样图进行融合，得到不同尺度的第五特征图。
7.如权利要求6所述的方法，其特征在于，所述基于所述第五特征图，预测并回归所述待检测病理图像中的感兴趣区域，包括：
通过对所述不同尺度的第五特征图进行预测分类，输出对应不同尺度的感兴趣区域；
基于所述不同尺度的感兴趣区域进行分类，得到目标感兴趣区域；
将所述目标感兴趣区域回归到所述待检测病理图像，得到所述待检测病理图像中的感兴趣区域。
8.一种病理图像的处理装置，用于检测病理图像中的感兴趣区域，其特征在于，所述装置包括：
获取模块，用于获取待检测病理图像；
第一卷积模块，用于对所述待检测病理图像进行第一卷积操作，得到第一特征图；
第二卷积模块，用于对所述第一特征图进行第二卷积操作，得到第二特征图，所述第二特征图隐含病理区域中心信息以及病理区域尺度信息；
下采样模块，用于对所述第二特征图按第一预设次数依次进行下采样，并根据下采样的结果得到第三特征图；
第三卷积模块，用于对所述第三特征图进行第三卷积操作，得到不同尺度的第四特征图；
上采样模块，用于对最小尺度的第四特征进行上采样，并融合对应尺度的第四特征图，得到不同尺度的第五特征图；
预测回归模块，用于基于所述第五特征图，预测并回归所述待检测病理图像中的感兴趣区域。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的病理图像的处理方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的病理图像的处理方法中的步骤。
CN202011378840.3A 2020-11-30 2020-11-30 病理图像的处理方法、装置、电子设备及存储介质 Active CN112419292B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011378840.3A CN112419292B (zh) 2020-11-30 2020-11-30 病理图像的处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011378840.3A CN112419292B (zh) 2020-11-30 2020-11-30 病理图像的处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112419292A CN112419292A (zh) 2021-02-26
CN112419292B true CN112419292B (zh) 2024-03-26

Family

ID=74828945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011378840.3A Active CN112419292B (zh) 2020-11-30 2020-11-30 病理图像的处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112419292B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820591B (zh) * 2022-06-06 2023-02-21 北京医准智能科技有限公司 图像处理方法、装置、电子设备及介质
CN117475357B (zh) * 2023-12-27 2024-03-26 北京智汇云舟科技有限公司 基于深度学习的监控视频图像遮挡检测方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596098A (zh) * 2018-04-24 2018-09-28 北京京东尚科信息技术有限公司 人体部件的解析方法、系统、设备和存储介质
CN109740686A (zh) * 2019-01-09 2019-05-10 中南大学 一种基于区域池化和特征融合的深度学习图像多标记分类方法
EP3493106A1 (en) * 2017-12-03 2019-06-05 Facebook, Inc. Optimizations for dynamic object instance detection, segmentation, and structure mapping
CN109934832A (zh) * 2019-03-25 2019-06-25 北京理工大学 基于深度学习的肝脏肿瘤分割方法及装置
CN110033000A (zh) * 2019-03-21 2019-07-19 华中科技大学 一种票据图像的文本检测与识别方法
WO2020000665A1 (zh) * 2018-06-28 2020-01-02 深圳视见医疗科技有限公司 图像处理方法、装置、设备及可读存储介质
CN110909642A (zh) * 2019-11-13 2020-03-24 南京理工大学 一种基于多尺度语义特征融合的遥感图像目标检测方法
CN111126258A (zh) * 2019-12-23 2020-05-08 深圳市华尊科技股份有限公司 图像识别方法及相关装置
WO2020199593A1 (zh) * 2019-04-04 2020-10-08 平安科技（深圳）有限公司 图像分割模型训练方法、图像分割方法、装置、设备及介质
CN111798416A (zh) * 2019-06-20 2020-10-20 太原理工大学 基于病理图像与深度学习的肾小球智能检测方法及系统
CN111950551A (zh) * 2020-08-14 2020-11-17 长春理工大学 一种基于卷积神经网络的目标检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229455B (zh) * 2017-02-23 2020-10-16 北京市商汤科技开发有限公司 物体检测方法、神经网络的训练方法、装置和电子设备
CN110136136B (zh) * 2019-05-27 2022-02-08 北京达佳互联信息技术有限公司 场景分割方法、装置、计算机设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3493106A1 (en) * 2017-12-03 2019-06-05 Facebook, Inc. Optimizations for dynamic object instance detection, segmentation, and structure mapping
CN108596098A (zh) * 2018-04-24 2018-09-28 北京京东尚科信息技术有限公司 人体部件的解析方法、系统、设备和存储介质
WO2020000665A1 (zh) * 2018-06-28 2020-01-02 深圳视见医疗科技有限公司 图像处理方法、装置、设备及可读存储介质
CN109740686A (zh) * 2019-01-09 2019-05-10 中南大学 一种基于区域池化和特征融合的深度学习图像多标记分类方法
CN110033000A (zh) * 2019-03-21 2019-07-19 华中科技大学 一种票据图像的文本检测与识别方法
CN109934832A (zh) * 2019-03-25 2019-06-25 北京理工大学 基于深度学习的肝脏肿瘤分割方法及装置
WO2020199593A1 (zh) * 2019-04-04 2020-10-08 平安科技（深圳）有限公司 图像分割模型训练方法、图像分割方法、装置、设备及介质
CN111798416A (zh) * 2019-06-20 2020-10-20 太原理工大学 基于病理图像与深度学习的肾小球智能检测方法及系统
CN110909642A (zh) * 2019-11-13 2020-03-24 南京理工大学 一种基于多尺度语义特征融合的遥感图像目标检测方法
CN111126258A (zh) * 2019-12-23 2020-05-08 深圳市华尊科技股份有限公司 图像识别方法及相关装置
CN111950551A (zh) * 2020-08-14 2020-11-17 长春理工大学 一种基于卷积神经网络的目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Inverse Convolutional Neural Networks for Learning from Label Proportions;Yong Shi，et al;《IEEE Xplore》;全文 *

Also Published As

Publication number Publication date
CN112419292A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
Mahapatra et al. Image super resolution using generative adversarial networks and local saliency maps for retinal image analysis
CN111462042B (zh) 癌症预后分析方法及系统
CN112200793B (zh) 数字病理切片质量的实时监控方法及系统、计算机设备
CN111784671A (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
CN112419292B (zh) 病理图像的处理方法、装置、电子设备及存储介质
CN111862127A (zh) 图像处理方法、装置、存储介质及电子设备
CN110853005A (zh) 一种免疫组化膜染色切片诊断方法及装置
CN112308856A (zh) 遥感图像的目标检测方法、装置、电子设备及介质
CN112215217B (zh) 模拟医师阅片的数字图像识别方法及装置
CN111986202B (zh) 青光眼辅助诊断装置、方法及存储介质
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN115546605A (zh) 一种基于图像标注和分割模型的训练方法及装置
CN114612664A (zh) 一种基于双边分割网络的细胞核分割方法
CN116416428A (zh) 基于三维卷积神经网络和ct图像的骨量识别方法及系统
CN116363081A (zh) 基于深度神经网络的胎盘植入mri征象检测分类方法及装置
CN116342474A (zh) 晶圆表面缺陷检测方法
CN110838094A (zh) 病理切片染色风格转换方法和电子设备
CN112703531A (zh) 生成组织图像的注释数据
Oliveira et al. Preanalytic variable effects on segmentation and quantification machine learning algorithms for amyloid-β analyses on digitized human brain slides
CN111951271B (zh) 一种识别病理图像中癌细胞的方法及装置
CN113469099A (zh) 目标检测模型的训练方法、检测方法、装置、设备及介质
Kopriva et al. Offset-sparsity decomposition for automated enhancement of color microscopic image of stained specimen in histopathology
CN115829980A (zh) 一种眼底照片的图像识别方法、装置、设备及存储介质
US20160321512A1 (en) Automated staining and segmentation quality control
CN115131628A (zh) 一种基于分型辅助信息的乳腺图像分类方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant