CN113191949B - 多尺度超分辨率病理图像数字化方法、系统及存储介质 - Google Patents
多尺度超分辨率病理图像数字化方法、系统及存储介质 Download PDFInfo
- Publication number
- CN113191949B CN113191949B CN202110469466.6A CN202110469466A CN113191949B CN 113191949 B CN113191949 B CN 113191949B CN 202110469466 A CN202110469466 A CN 202110469466A CN 113191949 B CN113191949 B CN 113191949B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- images
- low
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007170 pathology Effects 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 20
- 239000011521 glass Substances 0.000 claims abstract description 15
- 230000001575 pathological effect Effects 0.000 claims description 27
- 238000004422 calculation algorithm Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000008447 perception Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 8
- 230000003321 amplification Effects 0.000 claims description 5
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010827 pathological analysis Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002620 method output Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000004789 organ system Anatomy 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了多尺度超分辨率病理图像数字化、系统及存储介质，通过低放大倍率镜头，以病理载玻片为目标进行扫描，获得待转换的低分辨率的病理图像；构建以低分辨率病理图像为输入量，以低分辨率病理图像对应的多个尺度高分辨率病理图像为输出量的多尺度对抗网络。以最大放大倍率采集载玻片的真实图像，并从真实图像中提取其它放大倍率的图像以及低分辨率图像，将真实图像、对应的其它放大倍率的图像以及低分辨率图像输入至多尺度对抗网络中进行训练，将待转换的低分辨率病理图像输入至训练好的多尺度对抗网络中，得到多个不同放大倍率的高分辨率病理图像，从而实现一次性快速生成若干个不同放大倍率的高分辨率病理图像。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及多尺度超分辨率病理图像数字化方法、系统及存储介质。
背景技术
数字化病理是指将病理载玻片扫描，得到数字图像，然后在诊断中应用，具有方便存储，网络传输和图像分析的优点，因此数字化病理被认为可以替代传统的基于载玻片的病理阅片方式。现有数字化病理采用扫描的方法获取图像，具体是运用高放大倍率镜头，对人体组织的载玻片做20倍(20X)，40X甚至更高放大倍率扫描，得到数字图像，以保留丰富的组织结构和细胞细节。然而，高放大倍率扫描后，图像尺寸巨大，一个20X的病理全片图像文件超过1GB，40X或者更高放大倍率，图像文件大小更是呈指数增加。一家医院一年的病理标本多达成千上万份，因此存储成本巨大。高放大倍率扫描需要昂贵的专用扫描仪，扫描速度慢，镜头景深小，对组织平整性要求高，否则因为对焦不准确，图像局部出现模糊。本发明提出用低放大倍率(如5X)扫描，用算法还原高分辨率病理图像的数字化解决方案。
对低分辨率图像产生高分辨率图像的图像处理技术统称为超分辨图像处理。已有的超分辨图像处理算法在自然图像中取得很大成功，但是有两个局限性，第一，算法的放大倍率固定，即输入某个放大倍率的图像，输出固定放大倍率的输出图像。然而，病理诊断经常用多个放大倍率观察图像，只能同时使用多个不同放大倍率的算法，这造成重复计算，效率低下。第二，算法在单个放大倍率优化，在生成高放大倍率图像(即将输入图像放大到8倍以上时)时质量不佳。
因此，如何用低分辨率扫描和图像处理技术，生成高分辨率图像，解决现有的高分辨率扫描的数字化病理问题，已成为本领域技术人员亟待解决的技术问题。
发明内容
本发明提供了多尺度超分辨率病理图像数字化方法、系统及存储介质，用于解决现有的超分辨图像处理方法放大倍率固定，且生成的高放大倍率图像质量不佳的技术问题。
为解决上述技术问题，本发明提出的技术方案为：
一种多尺度超分辨率病理图像生成方法，包括以下步骤：
利用低分辨率镜头，对病理载玻片进行扫描数字化，获得待转换的低分辨率病理图像。
根据放大倍率需求构建以低分辨率病理图像为输入量，以低分辨率病理图像对应的多个尺度高分辨率图像为输出量的多尺度对抗网络，多尺度对抗网络包括生成网络以及鉴别网络；
以最大放大倍率采集载玻片的真实图像，并从真实图像中提取其它放大倍率的图像以及低分辨率图像，并将真实图像、对应的其它放大倍率的图像以及低分辨率图像输入至多尺度对抗网络中进行训练，得到训练好的多尺度对抗网络；
将待转换的低分辨率图像输入至训练好的多尺度对抗网络中，得到多个不同放大倍率的高分辨率图像。
优选的，生成网络中包括多个分别用于生成不同放大倍率的生成模块，多个生成模块串联/并联连接，且多个生成模块由多个生成单位网络串联/并联构成，其中，第J个生成模块输入图像的放大倍率要与输出端与其输入端连接的第J-1个生成模块输出图像的放大倍率相等，第J个生成模块的输出图像的放大倍率要与输入端与其输出端连接的第J+1个生成模块的输入图像的倍率相等，其中，J为大于0的整数。
优选的，生成模块包括残差卷积神经网络的特征提取器，密集网络的基本块和上采样重构层。
优选的，以最大放大倍率采集载玻片的真实图像，并从真实图像中提取其它放大倍率的图像以及低分辨率图像，具体包括以下步骤：
以最大放大倍率采集载玻片的多张真实图像，从每张真实图像中随机抽取多个不重叠的包含病理组织的图像块；
采用图像降采样和双三次插值算法对每张图像块进行采样，从每张图像块中降采样到其它放大倍率的图像以及低分辨率图像。
优选的，将真实图像、对应的其它放大倍率的图像以及低分辨率图像输入至多尺度对抗网络中进行训练，得到训练好的多尺度对抗网络，具体以下步骤：
对于每一张低分辨率图像：
将低分辨率图像输入至各个生成模块中，得到各个生成模块的输出图像；
设各个生成模块中输出放大倍率最大的生成模块为第一类生成模块，其它生成模块为第二类生成模块；基于第一类生成模块的输出图像及其对应的图像计算第一类生成模块的第一生成代价、第一鉴别代价以及第一感知代价，并根据第一生成代价、第一鉴别代价以及第一感知代价计算第一生成模块的总代价；
基于各个第二类生成模块的输出图像及其对应的其它放大倍率的图像分别计算各个第二类生成模块的第二生成代价、第二鉴别代价，并根据各个第二生成代价、第二感知代价分别计算分别各个第二类生成模块的总代价；
根据第一类生成模块的总代价以及各个第二类生成模块的总代价计算多尺度对抗网络的总代价，以多尺度对抗网络的总代价最小为目标，根据总代价计算梯度值，并根据梯度值更新生成网络和鉴别网络的权重。
优选的，多尺度对抗网络的总代价计算方式为：
Loss＝∑kwkLossk；
其中，Loss为多尺度对抗网络的总代价值，k表示多尺度对抗网络中生成模块的序号，wk表示第k个生成模块代价的权重，Lossk表示第k个生成模块的总代价。
优选的，第一类生成模块的总代价计算方式为：
Lossj＝PLossj+GLossj+DLossj
其中，j为第一类生成模块的序号，Lossj为该生成模块的总代价；PLossj为第j个第一类生成模块对应的感知代价，GLossj表示第j个第一类生成模块对应的生成代价；DLossj表示第j个第一类生成模块对应的鉴别代价；DIFF为误差函数，φ为一个特征计算函数，用于提取图像的高层次特征向量；
表示第j个第一类生成模块中的输出图像对应的真实图像，/>
表示第j个第一类生成模块的输出图像；D表示鉴别网络的鉴别结果，判定输入图像的真假，E是期望。
优选的，第二类生成模块的总代价计算方式为：
Lossi＝GLossi+DLosi；
其中，i为输出第二类生成模块的序号，Lossi为该生成模块的总代价；PLossi为第i个第二类生成模块对应的感知代价，GLossi表示第i个生成模块对应的生成代价；DLossi表示第i个第二类生成模块对应的鉴别代价；DIFF为误差函数，φ为一个特征计算函数，用于提取图像的高层次特征向量；
表示第i个第二类生成模块中的输出图像对应的真实图像，/>
表示第i个第二类生成模块输出的图像。
一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一方法的步骤。
一种计算机存储介质，其上存储有计算机程序，程序被处理器执行时实现上述任一项方法中的步骤。
本发明具有以下有益效果：
1、本发明中的基于对抗网络的多尺度超分辨率病理图像数字化方法、系统及存储介质，构建以低分辨率图像为输入量，以低分辨率图像对应的多个尺度高分辨率图像为输出量的多尺度对抗网络，多尺度对抗网络包括生成网络以及鉴别网络；以最大放大倍率采集载玻片的真实图像，并从真实图像中提取其它放大倍率的图像以及低分辨率图像，并将真实图像、对应的其它放大倍率的图像以及低分辨率图像输入至多尺度对抗网络中进行训练，得到训练好的多尺度对抗网络，并将待转换的低分辨率图像输入至训练好的多尺度对抗网络中，得到多个不同放大倍率的高分辨率图像，从而实现一次性准确、快速生成若干个不同放大倍率的高分辨率图像，且相比与高分辨率的病理图片扫描方法，本发明中的数字化方法还能通过低分辨率扫描，解决当前病理图像高分辨率扫描的图像巨大，局部模糊等问题。
2、在优选方案中，本发明在对多尺度对抗网络训练时，对多个超分辨率的生成模块进行统一的优化，使得生成的高分辨率图像和真实的高分辨率图像具有高度的相似性，大大提高了输出图像的准确率。
除了上面所描述的目的、特征和优点之外，本发明还有类似于病理图像数字化场景，因为高分辨率扫描图像巨大、局部模糊；需要从低分辨率图像，连续生成不同分辨率的高分辨率图像的目的、特征和优点。下面将参照附图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明优选实施例中的多尺度超分辨率生成网络的流程图；
图2为本发明优选实施例中的多尺度超分辨率病理图像数字化方法的流程图；
图3为本发明优选实施例中的串联生成网络的结构图；
图4为本发明优选实施例中的并联生成网络的结构图；
图5为本发明优选实施例中的串并联混合生成网络的结构图；
图6为本发明优选实施例中的训练多尺度对抗网络总代价的流程图；
图7为本发明优选实施例中的多尺度生成网络的结构图；
图8为本发明优选实施例中的生成模块的结构图；
图9为本发明优选实施例中的生成模块中的基本块的结构图；
图10为本发明优选实施例中的鉴别网络的结构图；
图11为本发明优选实施例中的不同超分辨率图像生成方法的不同放大倍率的视觉对比图的结构图；图中，(a)为10倍率的视觉对比图，(b)为20倍率的视觉对比图，(c)为40倍率的视觉对比图。
具体实施方式
以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
实施例一：
如图1所示，本实施例中公开了一种多尺度超分辨率病理图像数字化方法，包括以下步骤：
利用低分辨率镜头，对病理载玻片进行扫描数字化，获得待转换的低分辨率病理图像。
根据放大倍率需求构建以低分辨率图像为输入量，以低分辨率图像对应的多个尺度高分辨率图像为输出量的多尺度对抗网络，多尺度对抗网络包括生成网络以及鉴别网络；
以最大放大倍率采集载玻片的真实图像，并从真实图像中提取其它放大倍率的图像以及低分辨率图像，并将真实图像、对应的其它放大倍率的图像以及低分辨率图像输入至多尺度对抗网络中进行训练，得到训练好的多尺度对抗网络；
将待转换的低分辨率图像输入至训练好的多尺度对抗网络中，得到多个不同放大倍率的高分辨率图像。
此外，在本实施例中，还公开了一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一方法的步骤。
此外，在本实施例中，还公开了一种计算机存储介质，其上存储有计算机程序，程序被处理器执行时实现上述任一项方法中的步骤。
本发明通过低放大倍率镜头，通过以病理载玻片为目标进行扫描，获得低分辨率的病理图像。构建以低分辨率病理图像为输入量，以低分辨率病理图像对应的多个尺度高分辨率病理图像为输出量的多尺度对抗网络，所述多尺度对抗网络包括生成网络以及鉴别网络。以最大放大倍率采集载玻片的真实图像，并从所述真实图像中提取其它放大倍率的图像以及低分辨率图像，并将所述真实图像、对应的其它放大倍率的图像以及低分辨率图像输入至所述多尺度对抗网络中进行训练，得到训练好的多尺度对抗网络。将待转换的低分辨率病理图像输入至训练好的多尺度对抗网络中，得到多个不同放大倍率的高分辨率病理图像，从而实现一次性快速生成若干个不同放大倍率的高分辨率病理图像。
实施例二：
实施例二是实施例一的优选实施例，其与实施例一的不同之处在于，对多尺度超分辨率病理图像数字化方法的具体步骤进行了细化，具体包括以下内容：
在本实施例中，放大倍率，是指输出图像对人体组织的放大倍率或者放大倍数。低分辨率图像是放大倍率小(如4X到5X)的图像，即图像像素少，细节不足的低清晰图像。高分辨率图像是放大倍率大(如10X或者更大)的图像，即图像像素多，且包括了足够细节的高清晰图像。生成模块的组织形式是自定义的，数量(1个或者多个)和连接方式(串联和并联)可根据需要的放大倍率来确定，以获得所需放大倍率的高分辨率图像。生成模块，是由多层的深度神经网络构成，功能是将一种放大倍率图像生成另外一种更高放大倍率的图像。例如X1→X2的生成模块，是指输入图像的放大倍率为X1，输出图像的放大倍率为X2，模块对输入图像放大了X2/X1倍。X1和X2均指图像对人体组织的放大倍率。
如图2所示，在本实施例中，公开了多尺度超分辨率病理图像数字化方法，应用于病理图片的超分辨领域，包括以下步骤：
步骤一：用低分辨率镜头扫描载玻片获得低分辨率图像。构建以低分辨率图像为输入量，以低分辨率图像对应的多个尺度高分辨率图像为输出量的多尺度对抗网络。
1、构建生成网络和鉴别网络
在本实施例，多尺度对抗网络采用生成对抗网络框架，包括生成网络以及与生成网络连接的鉴别网络，在本实施例中，生成网络中包括多个分别用于生成不同放大倍率图像的生成模块，多个生成模块串联/并联连接，且生成模块由多层神经网络构成。
其中，生成网络的框架根据用户对放大倍率需求进行构造，包括以下步骤：
设低分辨率图像的放大倍率为Xi，诊断需要的病理图片的分辨率是预先已知的。设所需的高分辨率图像按照放大倍率从小到大排序，得到需要的放大倍率的集合A：X1、X2、X3、…Xn，那么生成网络的构造可以采用以下三种方式进行构造：
第一种：串联生成网络的构造
提取上述放大倍率为Xi的n倍的放大倍率集合，设为B：Xi*2、Xi*3、Xi*4…，Xi*(m+1)，直到大于或等于Xn。每个生成模块实现2倍放大，所有的生成模块串联在一起，构成生成网络：Xi→Xi*2、Xi*2→Xi*3、Xi*3→Xi*4、…、Xi*m→Xi*(m+1)≥Xn。其中，串联生成网络的结构如图3所示。
第二种：并联生成网络的构造
对X1、X2、X3、…Xn的每个放大倍率，如刚好在Xi的n倍的放大倍率集合B中，则不需处理。对介于Xi*k→Xi*(k+1)之间存在一个或者多个放大倍率：Xj，Xk等，对每个放大倍率均转换为生成模块串联的支路，例如Xi*k→Xj、Xj→Xi*k+1；Xi*k→Xk、Xk→Xi*(k+1)或者更多支路，并且将进行并联，构成生成单位网络：
其中/>
代表了多个生成模块构成的支路，并联组成的单位网络的结构如图4所示。
第三种：串并联混合生成网络的构造
将所有的生成模块构成生成网络。由多个生成模块或者生成单位网络，按照放大倍率从小到大串联而成,如
生成图像的分辨率是X1、X2、X3、…Xn和Xi*2、Xi*3、Xi*4…，Xi*(m+1)的并集C＝A∪B。其中，X1、X2、X3、…Xn是所需的放大倍率，其它的是生成Xi的2n的放大倍率，其中，串并联混合生成网络如图5所示。
在本实施例中，每个生成模块均为深度神经网络，设接收的图像设为
(Xl为放大倍率)；输出的图像为/>
(Xo为放大倍率，且Xo＞Xl)。每个生成模块分为两部分，第一部分是多层卷积神经网络和基本块，用于还原失去的图像细节，第二部分是上采样层，利用还原的图像细节做上采样操作，得到更高分辨率的图像，其中，上采样层实现图像倍率放大。
2、构建多尺度对抗网络的损失函数，并根据损失函数构建多尺度对抗网络的生成网络和鉴别网络的更新算法；
其中，在本实施例中，多尺度对抗网络的损失函数为：
Loss＝∑kwkLossk；
其中，Loss为多尺度对抗网络的总代价值，k表示多尺度对抗网络中生成模块的序号，wk表示第k个生成模块代价的权重，Lossk表示第k个生成模块的总代价。
设各个生成模块中输出放大倍率最大的生成模块为第一类生成模块，其它生成模块为第二类生成模块；
其中，第一生成模块的总代价计算方式为：
Lossj＝PLossj+GLossj+DLossj
其中，j为第一类生成模块的序号，Lossj为该生成模块的总代价；PLossj为第j个第一类生成模块对应的感知代价，GLossj表示第j个第一类生成模块对应的生成代价；DLossj表示第j个第一类生成模块对应的鉴别代价；DIFF为误差函数，φ为一个特征计算函数，用于提取图像的高层次特征向量；
表示第j个第一类生成模块中的输出图像对应的真实图像，/>
表示第j个第一类生成模块的输出图像；D表示鉴别网络的鉴别结果，判定输入图像的真假，E是期望。
其中，第二类生成模块的总代价计算方式为：
Lossi＝GLossi+DLossi；
其中，i为输出第二类生成模块的序号，Lossi为该生成模块的总代价；PLossi为第i个第二类生成模块对应的感知代价，GLossi表示第i个生成模块对应的生成代价；DLossi表示第i个第二类生成模块对应的鉴别代价；DIFF为误差函数，φ为一个特征计算函数，用于提取图像的高层次特征向量；
表示第i个第二类生成模块中的输出图像对应的真实图像，/>
表示第i个第二类生成模块的输出图像。
在本实施例中，生成网络和鉴别网络的更新算法为最小批次的梯度后向传播更新算法。
步骤二：构建训练样本集：
用最大放大倍率，例如40X，对载玻片扫描，得到40X的图像。采用图像降采样和双三次插值算法，得到C＝∪B集合中所有分辨率的图像。这些图像定义为真实图像，其中最小放大倍率Xi，为算法输入图像的放大倍率，也是低分辨率扫描的倍率。
其中，构建训练样本具体包括以下步骤：
以最大放大倍率对载玻片扫描，采集多张真实图像，从每张真实图像中随机抽取多个不重叠的包含病理组织的图像块；
采用图像降采样和双三次插值算法对每张图像块进行采样，从每张图像块中降采样到其它放大倍率的图像以及低分辨率图像。其中，采用双三次插值算法，它输出图像的每个像素都是原图的16个像素(16*16)运算的结果。该方法利用三次多项式S(x)求逼近理论上最佳插值函数sin(x)/x。
步骤三：使用训练样本集训练多尺度对抗网络
1、将低分辨率图像
输入到生成网络，生成网络的生成模块或者生成单位网络均输出1个或者多个生成图像，这些生成图像具有不同的分辨率Xj∈C，设为/>
2、真实图像设为
如图6所示，在每个分辨率上，计算真实图像和生成图像的差异(即每个放大倍率对应的生成模块的总损失)，定义为：
Lossj＝PLossj+GLossj+DLosj (1)
其中，
定义为感知代价，φ为一个特征计算器，返回输入图像的高层次特征向量。/>
为生成器代价。DIFF为误差函数，可选的误差函数有平均绝对值误差：/>
或者均方误差：
为鉴别器代价，其中D表示鉴别网络的鉴别结果，判定输入图像的真假。
作为步骤2的优选方案，在每个分辨率上，计算真实图像和生成图像的差异，包括以下步骤：
对于第一类生成模块，通过上述第一类生成模块的总代价计算方式计算第一生成模块的总代价；
对于第二类生成模块，通过上述第二类生成模块的总代价计算方式计算第二生成模块的总代价；
其中，计算生成图像和真实图像的差异包括在像素级、特征级或者全图整体对比差异，采用的计算指标包括像素值的生成差异、感知差异、鉴别器差异等多种类型。
3、计算多尺度对抗网络在所有分辨的总代价：
Loss＝∑jwjLossj (2)
其中，wj是预设的权值。
在多尺度对抗网络在所有分辨率的总代价的计算中，用权重来度量单个放大倍率的真实图像和生成图像差异在总差异中的重要性，一种优选的方案是Xj越大，则wj越大，使得保证较大放大倍率的图像能够优先被精确还原。
4、用Loss分别对生成网络和鉴别网络进行训练，采用梯度下降方法，调整两个网络的权重，最小化Loss。优选的，可以一次输入多张Xi的图像，计算平均的Loss。使用最小批次的梯度后向传播方法，以更稳定的训练。
步骤四：用低放大倍率Xi扫描载玻片，得到载玻片的扫描图像
输入到生成网络中，生成/输出一系列的生成图像/>
用于病理诊断。
实施例三：
实施例三是实施例二的优选实施例，具体包括以下内容：
假定5X为输入的低分辨率图像，需要高分辨率的图像为10X，20X和40X。建立一个多分辨率的生成算法，即一次性产生10X，20X，40X的高分辨率图像的生成网络。
(1)病理图像数据集采集。整个病理图像数据集涵盖了人体主要器官系统的组织。对于人体的每个组织，技术人员从病理库中随机抽取多名受试者的载玻片。使用数字病理扫描仪以40X对每张载玻片进行数字扫描以获得全切片数字化图像(whole slide image，简称WSI)。病理学家检查WSI的扫描质量，以确保扫描图像清晰。
(2)病理图像数据集的制作。本发明方法将收集到的全片图像随机分为训练集、测试集两个部分。把每个WSI随机抽取出多个不重叠的包含组织的高分辨率的图像块，图像块大小为1024*1024像素。
(3)对上述多个高分辨率的图像块进行降采样。使用双三次插值算法得到低分辨率的图像。40倍图像连续缩三次小2倍获得20X,10X和5X的低分辨率图像。20X、10X和5X图像的像素大小分别为512*512，256*256和128*128。
(4)构建生成网络，运用三个生成模块串联合成，分别为5X→10X,10X→20X,20X→40X，如图7所示；其中，在本实施例中，生成网络的任一个生成模块的结构图如图8所示；
本发明的超分辨率算法使用5X低分辨率图像，依次生成10X、20X、40X图像。该算法接收了5X图像作为输入，连续串联三个生成模块。每个生成模块由三个卷积层、十个基本网络模块(图9简称基本块)串联以及上采样层组成，其中，在本实施例中，基本网络模块的结构图如图9所示；每个上采样层由像素混洗层组成；
(5)定义一个鉴别器网络，和生成器网络一起训练，其中，鉴别器网络的结构如图10所示。
(6)将训练图像中的5X低分辨率图像，随机输入到生成网络中，分别得到10X、20X和40X的高分辨率的生成图像。
(7)取训练集中的对应分辨率的真实图像，计算生成器的总代价。
其中，生成器的代价定义为10X，20X和40X的重建图像和原始图像的逐像素计算差异。感知损失定义为各分辨率的重建图像和原始图像经特征抽取器后，获得的高层次特征的差异。鉴别器鉴别最后放大图像和真实图像的差异。算法在多级放大的图像上，做了全局优化，即要求所有的级别均获得优异的效果。
(8)将真实图像或者生成图像分别输入到鉴别器网络，根据输出计算鉴别器代价。
(9)定义一个特征抽取器，取其一层或者多层的输出，作为高维特征向量计算感知代价。优选的，将生成图像和真实图像分别输入到VGG19网络，使用它们的第5层和9层输出，分别计算两个层次的感知代价，然后平均作为感知代价。
(10)计算总的代价，采用梯度下降法，依次更新生成网络和鉴别器网络的权值，使得代价最小，完成生成网络的训练。
(11)用5X放大倍率扫描组织载玻片，得到5X的低分辨率图像。
(12)将5X图像输入到生成网络，依次得到10X，20X和40X的生成图像。
验证分析：
本发明方法与当前5个代表性算法进行比较。使用峰值信噪比(PSNR)和结构相似性(SSIM)衡量图像质量。将不同算法的均值PSNR以及SSIM列表比较，结果如表1和表2所示：
表1不同算法的均值PSNR比较
| 放大尺寸 | 10倍 | 20倍 | 40倍 |
| DBPN | 23.50 | 21.19 | 20.29 |
| ESPCN | 23.45 | 21.61 | 20.33 |
| EDSR | 23.66 | 21.49 | 19.77 |
| RDN | 23.48 | 21.58 | - |
| MDSR | 23.66 | 21.57 | 20.09 |
| 提出的方法 | 24.16 | 22.27 | 20.44 |
表2不同算法的均值SSIM比较
| 放大尺寸 | 10倍 | 20倍 | 40倍 |
| DBPN | 0.839 | 0.623 | 0.526 |
| ESPCN | 0.844 | 0.676 | 0.554 |
| EDSR | 0.840 | 0.657 | 0.466 |
| RDN | 0.835 | 0.661 | - |
| MDSR | 0.840 | 0.660 | 0.494 |
| 提出的方法 | 0.845 | 0.680 | 0.512 |
表1和表2列出各种方法输出结果的峰值信噪比(PSNR)和结构相似性(SSIM)性能。从表1-2中得出，不同的放大尺寸，本发明方法的PSNR和SSIM均值高于其它方法。图11是各个方法的处理结果视觉对比示意图，其中使用矩形框来标记图像所在的区域。可以看到，本发明的方法更清晰地重建了纹理模式、细节模式和背景。以往方法产生的结果中包含了严重的失真和伪影，如图11(b)的20倍比较和图11(c)的40倍比较。相比之下，本发明的方法更真实地重建了单元格的细节。此外，在图11(c)中，只有本发明的方法能够重构更精细的细胞边缘，突出更清晰的细胞核形态，而其它方法只能产生更模糊的结果。
综上，本发明公开了多尺度超分辨率病理图像数字化方法、系统及存储介质，通过低放大倍率镜头，以病理载玻片为目标进行扫描，获得低分辨率的病理图像。构建以低分辨率病理图像为输入量，以低分辨率病理图像对应的多个尺度高分辨率病理图像为输出量的多尺度对抗网络，所述多尺度对抗网络包括生成网络以及鉴别网络。以最大放大倍率采集载玻片的真实图像，并从所述真实图像中提取其它放大倍率的图像以及低分辨率图像，并将所述真实图像、对应的其它放大倍率的图像以及低分辨率图像输入至所述多尺度对抗网络中进行训练，得到训练好的多尺度对抗网络。将待转换的低分辨率病理图像输入至训练好的多尺度对抗网络中，得到多个不同放大倍率的高分辨率病理图像，从而实现一次性快速生成若干个不同放大倍率的高分辨率病理图像。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种多尺度超分辨率病理图像数字化方法，其特征在于，包括以下步骤：
利用低分辨率镜头，对病理载玻片进行扫描数字化，获得待转换的低分辨率病理图像；
根据放大倍率需求构建以低分辨率病理图像为输入量，以低分辨率病理图像对应的多个尺度高分辨率图像为输出量的多尺度对抗网络，多尺度对抗网络包括生成网络以及鉴别网络；
以最大放大倍率采集载玻片的真实图像，并从真实图像中提取其它放大倍率的图像以及低分辨率图像，并将真实图像、对应的其它放大倍率的图像以及低分辨率图像输入至多尺度对抗网络中进行训练，得到训练好的多尺度对抗网络；
将待转换的低分辨率图像输入至训练好的多尺度对抗网络中，得到多个不同目标放大倍率的高分辨率图像；
所述生成网络中包括多个分别用于生成不同放大倍率的生成模块，所述多个生成模块并联连接，且多个生成模块由多个生成单位网络串联和/或并联构成，第J个生成模块输入图像的放大倍率要与输出端与其输入端连接的第J-1个生成模块输出图像的放大倍率相等，所述第J个生成模块的输出图像的放大倍率要与输入端与其输出端连接的第J+1个生成模块的输入图像的倍率相等，其中，J为大于0的整数；
将所述真实图像、对应的其它放大倍率的图像以及低分辨率图像输入至所述多尺度对抗网络中进行训练，得到训练好的多尺度对抗网络，具体以下步骤：
对于每一张低分辨率图像：
将所述低分辨率图像输入至所述各个生成模块中，得到所述各个生成模块的输出图像；
设各个生成模块中输出放大倍率最大的生成模块为第一类生成模块，其它生成模块为第二类生成模块；基于所述第一类生成模块的输出图像及其对应的图像块计算所述第一类生成模块的第一生成代价、第一鉴别代价以及第一感知代价，并根据所述第一生成代价、第一鉴别代价以及第一感知代价计算所述第一类生成模块的总代价；
基于各个第二类生成模块的输出图像及其对应的其它放大倍率的图像分别计算各个第二类生成模块的第二生成代价、第二感知代价，并根据各个第二生成代价、第二感知代价分别计算分别各个第二类生成模块的总代价；
根据所述第一类生成模块的总代价以及各个第二类生成模块的总代价计算所述多尺度对抗网络的总代价，以所述多尺度对抗网络的总代价最小为目标，根据所述总代价计算梯度值，并根据所述梯度值更新所述生成网络和鉴别网络的权值。
2.根据权利要求1所述的多尺度超分辨率病理图像数字化方法，其特征在于，所述生成模块包括残差卷积神经网络的特征提取器，密集网络的基本块和上采样重构层，所述的低分辨率指4倍或5倍放大倍率的图像，高分辨率指10倍以上放大倍率的图像。
3.根据权利要求2所述的多尺度超分辨率病理图像数字化方法，其特征在于，以最大放大倍率采集载玻片的真实图像，并从所述真实图像中提取其它放大倍率的图像以及低分辨率图像，具体包括以下步骤：
以最大放大倍率采集载玻片的多张真实图像，从每张真实图像中随机抽取多个不重叠的包含病理组织的图像块；
采用图像降采样和双三次插值算法对每张图像块进行采样，从每张图像块中降采样到其它放大倍率的图像以及低分辨率图像。
4.根据权利要求1所述的多尺度超分辨率病理图像数字化方法，其特征在于，所述多尺度对抗网络的总代价计算方式为：
其中，
，k表示多尺度对抗网络中生成模块的序号，
表示第k个生成模块代价的权重，/>
表示第k个生成模块的总代价。
5.根据权利要求4所述的多尺度超分辨率病理图像数字化方法，其特征在于，所述第一类生成模块的总代价计算方式为：
其中，j为第一类生成模块的序号，
为该生成模块的总代价；/>
为第j个第一类生成模块对应的感知代价，/>
表示第j个第一类生成模块对应的生成代价；
鉴别代价；/>
为误差函数，/>
为一个特征计算函数，用于提取图像的高层次特征向量；/>
表示第j个第一类生成模块中的输出图像对应的真实图像，/>
表示第j个第一类生成模块的输出图像；/>
表示鉴别网络的鉴别结果，判定输入图像的真假，/>
是期望。
6.根据权利要求5所述的多尺度超分辨率病理图像数字化方法，其特征在于，所述第二类生成模块的总代价计算方式为：
其中，
为输出第二类生成模块的序号，/>
为该生成模块的总代价；/>
为第/>
个第二类生成模块对应的感知代价，/>
表示第/>
个生成模块对应的生成代价；/>
为误差函数，/>
为一个特征计算函数，用于提取图像的高层次特征向量；/>
表示第/>
个第二类生成模块中的输出图像对应的真实图像，/>
表示第/>
个第二类生成模块的输出图像。
7.一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，处理器执行计算机程序时实现上述权利要求1至6任一方法的步骤。
8.一种计算机存储介质，其上存储有计算机程序，其特征在于，程序被处理器执行时实现上述权利要求1至6任一项方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110469466.6A CN113191949B (zh) | 2021-04-28 | 2021-04-28 | 多尺度超分辨率病理图像数字化方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110469466.6A CN113191949B (zh) | 2021-04-28 | 2021-04-28 | 多尺度超分辨率病理图像数字化方法、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113191949A CN113191949A (zh) | 2021-07-30 |
| CN113191949B true CN113191949B (zh) | 2023-06-20 |
Family
ID=76980048
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110469466.6A Active CN113191949B (zh) | 2021-04-28 | 2021-04-28 | 多尺度超分辨率病理图像数字化方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113191949B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114418863B (zh) * | 2022-03-31 | 2022-06-07 | 北京小蝇科技有限责任公司 | 细胞图像修复方法、装置、计算机存储介质及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017219263A1 (zh) * | 2016-06-22 | 2017-12-28 | 中国科学院自动化研究所 | 基于双向递归卷积神经网络的图像超分辨率增强方法 |
| CN109146784A (zh) * | 2018-07-27 | 2019-01-04 | 徐州工程学院 | 一种基于多尺度生成对抗网络的图像超分辨率重建方法 |
| CN110322403A (zh) * | 2019-06-19 | 2019-10-11 | 怀光智能科技（武汉）有限公司 | 一种基于生成对抗网络的多监督图像超分辨重建方法 |
| CN111861886A (zh) * | 2020-07-15 | 2020-10-30 | 南京信息工程大学 | 一种基于多尺度反馈网络的图像超分辨率重建方法 |
| CN112001847A (zh) * | 2020-08-28 | 2020-11-27 | 徐州工程学院 | 相对生成对抗超分辨率重建模型生成高质量图像的方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105931179B (zh) * | 2016-04-08 | 2018-10-26 | 武汉大学 | 一种联合稀疏表示与深度学习的图像超分辨率方法及系统 |
| US11024009B2 (en) * | 2016-09-15 | 2021-06-01 | Twitter, Inc. | Super resolution using a generative adversarial network |
| WO2019145767A1 (en) * | 2018-01-25 | 2019-08-01 | King Abdullah University Of Science And Technology | Deep-learning based structure reconstruction method and apparatus |
| CN110751172B (zh) * | 2019-09-10 | 2023-05-19 | 中南大学 | 一种弱监督学习的病理全片图像类别推断方法及其系统 |
-
2021
- 2021-04-28 CN CN202110469466.6A patent/CN113191949B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017219263A1 (zh) * | 2016-06-22 | 2017-12-28 | 中国科学院自动化研究所 | 基于双向递归卷积神经网络的图像超分辨率增强方法 |
| CN109146784A (zh) * | 2018-07-27 | 2019-01-04 | 徐州工程学院 | 一种基于多尺度生成对抗网络的图像超分辨率重建方法 |
| CN110322403A (zh) * | 2019-06-19 | 2019-10-11 | 怀光智能科技（武汉）有限公司 | 一种基于生成对抗网络的多监督图像超分辨重建方法 |
| CN111861886A (zh) * | 2020-07-15 | 2020-10-30 | 南京信息工程大学 | 一种基于多尺度反馈网络的图像超分辨率重建方法 |
| CN112001847A (zh) * | 2020-08-28 | 2020-11-27 | 徐州工程学院 | 相对生成对抗超分辨率重建模型生成高质量图像的方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于改进生成式对抗网络的图像超分辨率重建;米恒;贾振堂;;计算机应用与软件(09);全文 * |
| 多尺度生成对抗网络的图像超分辨率算法;刘遵雄;蒋中慧;任行乐;;科学技术与工程(13);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113191949A (zh) | 2021-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110889853B (zh) | 基于残差-注意力深度神经网络的肿瘤分割方法 | |
| CN110889852B (zh) | 基于残差-注意力深度神经网络的肝脏分割方法 | |
| CN112016507B (zh) | 基于超分辨率的车辆检测方法、装置、设备及存储介质 | |
| CN111784671A (zh) | 基于多尺度深度学习的病理图像病灶区域检测方法 | |
| CN108961180B (zh) | 红外图像增强方法及系统 | |
| CN114266957B (zh) | 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法 | |
| CN111709929A (zh) | 一种肺部癌变区域分割与分类检测系统 | |
| CN112348059A (zh) | 基于深度学习的多种染色病理图像分类方法及系统 | |
| CN114066729A (zh) | 一种可恢复身份信息的人脸超分辨率重建方法 | |
| CN110866870A (zh) | 一种医学图像任意倍数放大的超分辨处理方法 | |
| CN110826467A (zh) | 一种电子显微镜图像重建系统及其方法 | |
| CN116757930A (zh) | 基于残差分离注意力机制的遥感图像超分辨率方法、系统及介质 | |
| CN113191949B (zh) | 多尺度超分辨率病理图像数字化方法、系统及存储介质 | |
| Reid et al. | Multi-resolution data fusion for super resolution imaging | |
| CN117392496A (zh) | 基于红外与可见光图像融合的目标检测方法及系统 | |
| CN114445356A (zh) | 基于多分辨率的全视野病理切片图像肿瘤快速定位方法 | |
| EP3937120B1 (en) | Computer-implemented method, computer program product and system for processing images | |
| Lepcha et al. | An efficient medical image super resolution based on piecewise linear regression strategy using domain transform filtering | |
| CN108846797B (zh) | 基于两种训练集合的图像超分辨率方法 | |
| Rashid et al. | Single MR image super-resolution using generative adversarial network | |
| CN115457061A (zh) | 一种基于选择性多分支空洞卷积的腺体细胞图像分割方法 | |
| CN114022521A (zh) | 一种非刚性多模医学图像的配准方法及系统 | |
| CN111429364A (zh) | 图像恢复方法及装置 | |
| CN115100042B (zh) | 一种基于通道注意力滞留网络的病理图像超分辨率方法 | |
| CN117036162B (zh) | 轻量级胸部ct图像超分辨率的残差特征注意力融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |