CN110866870B - 一种医学图像任意倍数放大的超分辨处理方法 - Google Patents
一种医学图像任意倍数放大的超分辨处理方法 Download PDFInfo
- Publication number
- CN110866870B CN110866870B CN201911039020.9A CN201911039020A CN110866870B CN 110866870 B CN110866870 B CN 110866870B CN 201911039020 A CN201911039020 A CN 201911039020A CN 110866870 B CN110866870 B CN 110866870B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- tissue region
- gradient
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 230000000877 morphologic effect Effects 0.000 claims abstract description 10
- 239000010410 layer Substances 0.000 claims description 47
- 238000013507 mapping Methods 0.000 claims description 33
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 27
- 230000003321 amplification Effects 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 230000007797 corrosion Effects 0.000 claims description 2
- 238000005260 corrosion Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 239000011229 interlayer Substances 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 12
- 230000001575 pathological effect Effects 0.000 description 6
- 230000007170 pathology Effects 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明提供一种医学图像任意倍数放大的超分辨处理方法，该方法采用了梯度算子和形态学操作来检测组织区域，梯度算子可以检测出灰度值变化较大的位置，而形态学中的开操作可以去除细小的连接和孤立点，减小噪声和气泡的影响，膨胀操作会粗化物体。此方法提高了组织区域检测的速度，实现了快速定位，同时保证了检测的精度。
Description
技术领域
本发明涉及医学图像处理技术领域，更具体地，涉及一种医学图像任意倍数放大的超分辨处理方法。
背景技术
以下内容仅为发明人认识的关于本申请技术的背景介绍，并不必然构成现有技术。
计算机辅助诊断(computer aided diagnosis，CAD)是指通过影像学、医学图像处理技术以及其他可能的生理、生化手段，结合计算机的分析计算，辅助发现病灶，提高诊断的准确率的方法，又被称为医生的“第三只眼”，CAD系统的广泛应用有助于提高医生诊断的敏感性和特异性。
在医学领域，病理图像已被广泛地使用，常在病情诊断时为医生提供患者的病理信息。但是由于受到医学影像设备的硬件限制以及成像过程中诸如噪声、光的衍射等自然因素的影响，导致获取的病理图像分辨率较低。低分辨率的图像很大程度地影响了医生对病情诊断的准确性和工作效率，因此提高病理切片的分辨率显得尤为重要。
提高病理图像分辨率通常可以从两个角度出发。一是硬件角度：通过提升医学影响设备的性能，减小噪声和光的衍射的影响。但是该方法成本高、资源耗费大、且提升能力非常有限。二是从软件角度，即利用图像超分辨率重建技术来提高图像质量。该方法成本低、效率高，且能有效提升病理图像的质量。显然软件角度更符合当下的医疗诊断需求。
现有的方法大多是基于深度学习来实现的，例如卷积神经网络、生成对抗网络等。但是目前超分辨的研究相对集中在自然图像的超分辨处理上，医学图像和自然图像无论是在形式上还是图像的结构和纹理信息上都存在比较大的差别。例如医学病例切片一般都是超高清的，分辨率基本在十万像素级别，因此需要经过预处理才能用神经网络来处理。而且大部分研究都把不同的放大倍数看作不同的任务，即每一个放大倍数都需要从从头开始训练一个模型，有几个放大倍数就需要训练、保存几个模型，这样计算效率是非常低的。而且放大倍数只能是2、3、4等整数，不能进行任意倍数的放大。因此如何使用单个模型实现任意倍数(包括小数)的放大，已经成为医学影像领域中有待深入研究的课题之一。
发明内容
本发明提供一种医学图像任意倍数放大的超分辨处理方法，该方法可实现任意倍数的放大，具有非常广泛的使用范围。
为了达到上述技术效果，本发明的技术方案如下：
一种医学图像任意倍数放大的超分辨处理方法，包括：
图像的预处理：预读取WSI图像第6层的信息，应用梯度算子、形态学操作等算法检测出组织区域；将第6层检测出的组织区域映射到分辨率最高的第0层，在第0层的组织区域内使用滑动窗口进行图像块的提取，然后判断图像块是否包含组织区域来区分有信息的图像块和无信息的图像块；
图像块的任意倍数放大：超分辨处理主要包括特征学习和元放大两个部分，其中特征学习主要是利用卷积神经网络和残差密集块对低分辨率图像进行特征提取，元放大部分是对提取到的特征相乘得到高分辨率图像。
进一步地，所述WSI图像预处理具体包括：
组织区域检测：在WSI图像第6层读取图像，然后使用梯度算子、形态学操作检测出组织区域；
图像块提取：将第6层的组织区域范围映射到分辨率最高的第0层，在对应区域内提取图像块，并判断图像块是否包含组织区域；
其中，梯度算子为Sobel算子，形态学操作为开操作、腐蚀、膨胀等，层间映射为不同层使用倍数处理的方法，图像块提取为非重叠连续提取。
进一步地，所述组织区域检测步骤具体包括：
1)、加载所述WSI图像第6层的分辨率信息，将RGB图转换为灰度图；
2)、在灰度图上使用Sobel算子计算x、y方向的梯度，用x方向的梯度减去y方向梯度，将数据转换到[0,255]范围作为最终的梯度；
3)、使用9*9的均值滤波对梯度图像进行模糊，减小噪声的影响；
4)、对梯度图像进行阈值处理，得到二值图，然后使用开操作去除细小的连接和孤立点、膨胀进行物体粗化；求解包含目标区域的最小矩形，作为组织区域的最终范围。
进一步地，在所述梯度算法中，所述像素点的梯度信息由以下公式得出：
gx＝(z7+2z8+z9)-(z1+2z2+z3)
gy＝(z3+2z6+z9)-(z1+2z4+z7)
其中gx、gy表示x和y方向的梯度，z1到z9表示该3*3邻域内的灰度值。
进一步地，所述图像块提取步骤中包括：将第6层的组织区域映射到第0层后，使用固定大小的滑动窗口进行无重叠的图像块提取，然后根据图像块的平均值判断是否包含组织区域。
进一步地，所述图像块任意倍数放大步骤主要包括：
特征学习：利用卷积层和RDB模块提取低分辨图像的特征，用于后续的放大；
元放大：根据任意的放大倍数，神经网络可以生成相对应的滤波器，将特征学习中学习到的特征与该滤波器相乘得到高分辨率图像信息；
其中，通过对高分辨率图像进行双立方插值进行下采样得到低分辨率图像，放大倍数为1到4，步长为0.1，在网络训练过程中，放大倍数是随机的。
进一步地，所述元放大步骤具体包括：
位置映射：对于高分辨率空间的每个像素位置(i,j)，位置映射的目标是在低分辨率空间找到(i′,j′)，我们认为(i,j)处的像素值是由(i′,j′)处的特征决定的；
权值预测：对于任意一个放大倍数，使用一个神经网络去预测滤波器的权重值，高分辨率空间的每个像素位置都对应一个滤波器，该滤波器的权重值可以通过将放大倍数信息输入到网络中得到；
特征映射：通过特征学习得到了特征表达，通过权值预测得到了滤波器的权重值之后，将特征表达与滤波器进行相乘即可得到高分辨率图像信息。
进一步地，所述位置映射步骤中：
高分辨率空间像素位置(i,j)和低分辨率空间像素位置(i′,j′)的对应关系为：
其中r表示放大倍数，
为向下取整运算。
进一步地，所述权值预测步骤具体包括：
对于高分辨率空间的每一个像素位置(i,j)都存在一个对应的滤波器，该滤波器的权重值通过神经网络来预测得到，表达式为：
其中W(i,j)为(i,j)位置像素对应滤波器的权重值，
为权重预测神经网络，输入为vij，表示一个与i、j相关的向量，θ表示权重预测网络的参数。
与现有技术相比，本发明技术方案的有益效果是：
1、本发明提供了一种病理切片超分辨处理的整体解决方案，其中包括预处理形成数据集，具体有组织区域检测和图像块提取两个步骤；超分辨处理实现任意倍数的放大，具体有特征学习、位置映射、权重预测和特征映射四个步骤。通过本发明，可以完整的实现医学图像的超分辨处理。
2、本发明的医学图像预处理方法，采用了梯度算子和形态学操作来检测组织区域，梯度算子可以检测出灰度值变化较大的位置，而形态学中的开操作可以去除细小的连接和孤立点，减小噪声和气泡的影响，膨胀操作会粗化物体。此方法提高了组织区域检测的速度，实现了快速定位，同时保证了检测的精度。
3、本发明的医学图像处理方法，采用了图像金字塔多分辨率层次之间的坐标映射策略，通过在低分辨率空间检测组织区域，然后通过坐标映射算出在高分辨率空间的组织区域范围，实现了一种在低分辨率空间检测、在高分辨率空间提取的方法。
4、本发明的医学图像处理方法，在判断图像块是否包含组织区域时使用像素均值信息。基于背景区域均为白色，伴有气泡、噪声等，其均值比较大这一特点，使用图像块的均值即可快速判断图像块是否包含组织区域。
5、本发明的图像超分辨处理方法，使用单一的模型实现了任意倍数(包括小数)的放大，与每个放大倍数需要重头训练、保存一个模型相比，大大提高了计算效率。而且该模型的元放大模块可以用在传统的模型上，只需将传统的上采样部分换为元放大模块即可实现任意倍数的放大，具有非常广泛的使用范围。
附图说明
图1为本发明具体实施内容的流程框架示意图，主要包括两大部分：数据预处理和超分辨处理部分；
图2为本发明预处理中组织区域检测部分原图、灰度图、梯度图、二值图、开操作及膨胀后的图、检测出的组织区域各阶段示意图；
图3为本发明实现图像块任意倍数放大的超分辨处理结果。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
如图1所示，本发明一种医学图像任意倍数放大的超分辨处理方法，其包括以下步骤：
S1：图像的预处理；
S1.1：组织区域检测；
预读取WSI图像第6层的信息，应用梯度算子、形态学操作等检测出组织区域。
S1.2：图像块提取
将第6层检测出的组织区域映射到分辨率最高的第0层，在第0层的组织区域内使用滑动窗口进行图像块的提取，然后判断图像块是否包含组织区域来区分包含组织区域的图像块和不包含组织区域的图像块；
S2：图像块的任意倍数放大
S2.1：特征学习
特征学习主要是利用卷积神经网络和残差密集块(Residual Dense Block,RDB)对低分辨率图像进行特征提取；
S2.2：元放大
元放大部分先利用神经网络预测出滤波器权重值，然后与提取的特征相乘得到高分辨率图像，包括位置映射、权重预测和特征映射三部分。
步骤S1中，为实现高效快速地对医学图像数据进行预处理，发明人在本技术方案中采用了医学图像金字塔多分辨率层次之间的坐标映射策略，在低分辨率空间检测出组织区域，通过坐标映射，得到最高分辨率下组织区域的坐标范围。
步骤S1.1中，使用Openslide模块来读取以NDPI格式存储的病理图像的第6层。所读取图像为RGB彩色图像，我们需要先将彩色图像转换为灰度图，然后使用Sobel梯度算子计算x、y方向的梯度，将x方向梯度减去y方向梯度，并处理到[0,255]范围作为最终的梯度。接着使用9×9的均值滤波器进行模糊，以减小噪声的影响。对灰度图进行阈值处理从而得到二值图，接着对二值图进行开操作以去除细小的连接和孤立点，然后进行膨胀操作以粗化物体。最后求解包含目标区域的最小矩形，作为组织区域的最终范围。
步骤S1.2中，先将在第6层求解的组织区域范围通过坐标映射转换到分辨率最高的第0层，得到最高分辨率下的组织区域范围；接着在该范围内使用固定大小的滑动窗口进行图像块的提取，并判断图像块是否包含组织区域，若包含，则保存该图像块；若不包含，则剔除该图像块。
需要说明的是，在S1.1中包括以下几个步骤：首先使用Openslide读取了一张病理切片第6层的图像信息，该病理切片最大分辨率为98304×82176，第6层下为分辨率为1536×1284，第6层下缩略图如图2(a)所示，可以看出包含3个组织区域；将该图像转换为灰度图，如图2(b)所示；使用Sobel算子计算梯度，如图2(c)所示，由梯度图可以看出，组织区域中含有大量的气泡，且造成了较大的干扰，为了消除这部分的影响，我们使用了9×9的均值滤波器；接着使用阈值处理将梯度图转换为二值图，结果如图2(d)所示，这里通过调节阈值，发现阈值为90时能将组织区域和背景分离得最好。但是从二值图中可以看出，存在较多的孤立的噪声点，为了去除这些气泡和边缘引起的噪声，我们先使用了15×15的矩形结构元对二值图进行开操作处理，去除这些孤立噪声点。由于开操作同时也会细化组织区域，所以需要使用膨胀进行一个补偿，结果如图2(e)所示，从图中可以看出，在本例中完全去除了气泡、噪声等的影响，得到了光滑干净的组织区域；最后求解包含组织区域的最小矩形，如图(f)所示。
需要说明的是，在S1.2中，首先需要将在第6层检测出的组织区域范围映射到最高分辨率即第0层下的对应区域，然后使用384×384大小的滑动窗口进行无重叠的图像块提取；由于背景区域全为白块，包含些气泡，其均值较大，因此可以使用均值的大小来判断图像块是否包含组织区域，这里采用210的阈值，小于等于该值时认为包含组织区域，保存该图像块，否则剔除。
通过本发明提出的图像预处理方法，最终得到了163901张384×384大小的图像块，按照4:1的比例划分为训练集和测试集，最终得到131121张训练图像和32780张测试图像。
以上是本技术方案预处理中的一种实施方式。为实现高效快速地对医学图像数据进行预处理，发明人采用了梯度算子和形态学操作来检测组织区域，梯度算子可以检测出灰度值变化较大的位置，而形态学中的开操作可以去除细小的连接和孤立点，减小噪声和气泡的影响，膨胀粗化物体以补偿开操作的细化。此方法提高了组织区域检测的速度，实现了快速定位，同时保证了检测的精度。同时发明人在本技术方案中采用了医学图像金字塔多分辨率层次之间的坐标映射策略，在低分辨率空间检测出组织区域，通过坐标映射，完成在最高分辨率下组织区域的检测。进一步地，在判断图像块是否包含组织区域时使用像素均值信息。基于背景区域均为白色，伴有气泡、噪声等，其均值比较大这一特点，使用图像块的均值即可快速判断图像块是否包含组织区域。
步骤S2中，借助特征学习和元学习的思想，实现了一种使用单一模型进行任意倍数放大的方法。使用双立方插值方法对高分辨率图像进行下采样，得到低分辨率图像；将低分辨率图像输入到特征提取网络中进行特征的提取，得到多通道的特征图；将放大倍数以及位置坐标信息输入到元放大的权重预测网络中生成相应数量和相应权重值的滤波器；将滤波器与多通道的特征图相乘，从而得到高分辨率图像。
述步骤S2.1中，特征学习主要包括3个卷积层、3个残差密集模块RDB、整合层、1×1卷积层、激活层等。
需要说明的是，每个残差密集模块RDB均是由3个卷积层、ReLU激活层组成的复合层，及整合层、1×1卷积层，之间有跳跃连接，一个相加操作组成。此特征学习网络可以有效提取低分辨率图像低、中、高各个维度的特征，为之后的放大打下基础。
步骤S2.2中，主要包括位置映射、权重预测和特征映射三个步骤。首先需要在高低分辨率空间建立对应关系，然后将这些位置关系组成的向量及放大倍数输入到权重预测网络中，生成对应数量的滤波器和滤波器的权重值；结合S2.1得到的多通道特征和滤波器得到高分辨率图像。
需要说明的是，在位置映射步骤中，认为高分辨率空间每个像素位置(i,j)和低分辨率空间像素位置(i′,j′)之间有一一映射关系，此两个像素是最相关的，(i,j)处像素值是由对应位置的(i′,j′)的像素特征决定的。
需要说明的是，在权重预测步骤中，滤波器的数量以及滤波器的权重值均是由神经网络预测的。该神经网络由两个全连接层和一个ReLU激活层组成，神经网络的输入为与(i,j)相关的向量，输出为该像素位置对应的滤波器。对于权重预测网络的输入vij，可以选择(i,j)与相对应的低分辨率空间(i′,j′)的相对偏移，并且为了可以在网络中同时训练多个放大倍数，将r加入到vij以区分不同放大倍数下的滤波器权重值，因此我们将vij定义为
需要说明的是，在特征映射步骤中，有了前面得到的多通道特征和滤波器权重值，我们将特征与滤波器相乘得到高分辨率信息。
相较于其他将不同放大倍数看作相互独立的任务、每个放大倍数都需要从头训练、保存模型的方法，本技术方案中提出的使用单一模型实现任意倍数放大的方法，大大提高了计算效率。
图3显示了对一个低分辨率图像LR进行1.5、2.0、2.5、3.0倍连续放大的结果。可以看出虽然是单个模型，但是实现任意倍数放大得到的图像比较清晰，重构出了一定的细节和纹理信息。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (7)
1.一种医学图像任意倍数放大的超分辨处理方法，其特征在于，包括：
图像的预处理：预读取WSI图像第6层的信息，应用梯度算子、形态学操作算法检测出组织区域；将第6层检测出的组织区域映射到分辨率最高的第0层，在第0层的组织区域内使用滑动窗口进行图像块的提取，然后判断图像块是否包含组织区域来区分有信息的图像块和无信息的图像块；
图像块的任意倍数放大：超分辨处理主要包括特征学习和元放大两个部分，其中特征学习主要是利用卷积神经网络和残差密集块对低分辨率图像进行特征提取，元放大部分是对提取到的特征相乘得到高分辨率图像；
所述WSI图像预处理具体包括：
组织区域检测：在WSI图像第6层读取图像，然后使用梯度算子、形态学操作检测出组织区域；
图像块提取：将第6层的组织区域范围映射到分辨率最高的第0层，在对应区域内提取图像块，并判断图像块是否包含组织区域；
其中，梯度算子为Sobel算子，形态学操作为开操作、腐蚀、膨胀，层间映射为不同层使用倍数处理的方法，图像块提取为非重叠连续提取；
所述组织区域检测步骤具体包括：
1)、加载所述WSI图像第6层的分辨率信息，将RGB图转换为灰度图；
2)、在灰度图上使用Sobel算子计算x、y方向的梯度，用x方向的梯度减去y方向梯度，将数据转换到[0,255]范围作为最终的梯度；
3)、使用9*9的均值滤波对梯度图像进行模糊，减小噪声的影响；
4)、对梯度图像进行阈值处理，得到二值图，然后使用开操作去除细小的连接和孤立点、膨胀进行物体粗化；求解包含目标区域的最小矩形，作为组织区域的最终范围。
2.根据权利要求1所述的医学图像任意倍数放大的超分辨处理方法，其特征在于，在所述梯度算法中，像素点的梯度信息由以下公式得出：
gx＝(z7+2z8+z9)-(z1+2z2+z3)
gy＝(z3+2z6+z9)-(z1+2z4+z7)
其中gx、gy表示x和y方向的梯度，z1到z9表示3*3邻域内的灰度值。
3.根据权利要求2所述的医学图像任意倍数放大的超分辨处理方法，其特征在于，所述图像块提取步骤中包括：将第6层的组织区域映射到第0层后，使用固定大小的滑动窗口进行无重叠的图像块提取，然后根据图像块的平均值判断是否包含组织区域。
4.根据权利要求3所述的医学图像任意倍数放大的超分辨处理方法，其特征在于，所述图像块任意倍数放大步骤主要包括：
特征学习：利用卷积层和RDB模块提取低分辨图像的特征，用于后续的放大；
元放大：根据任意的放大倍数，神经网络可以生成相对应的滤波器，将特征学习中学习到的特征与该滤波器相乘得到高分辨率图像信息；
其中，通过对高分辨率图像进行双立方插值进行下采样得到低分辨率图像，放大倍数为1到4，步长为0.1，在网络训练过程中，放大倍数是随机的。
5.根据权利要求4所述的医学图像任意倍数放大的超分辨处理方法，其特征在于，所述元放大步骤具体包括：
位置映射：对于高分辨率空间的每个像素位置(i,j)，位置映射的目标是在低分辨率空间找到(i′,j′)，我们认为(i,j)处的像素值是由(i′,j′)处的特征决定的；
权值预测：对于任意一个放大倍数，使用一个神经网络去预测滤波器的权重值，高分辨率空间的每个像素位置都对应一个滤波器，该滤波器的权重值可以通过将放大倍数信息输入到网络中得到；
特征映射：通过特征学习得到了特征表达，通过权值预测得到了滤波器的权重值之后，将特征表达与滤波器进行相乘即可得到高分辨率图像信息。
6.根据权利要求5所述的医学图像任意倍数放大的超分辨处理方法，其特征在于，所述位置映射步骤中：
高分辨率空间像素位置(i,j)和低分辨率空间像素位置(i′,j′)的对应关系为：
其中r表示放大倍数，
为向下取整运算。
7.根据权利要求6所述的医学图像任意倍数放大的超分辨处理方法，其特征在于，权值预测步骤具体包括：
对于高分辨率空间的每一个像素位置(i,j)都存在一个对应的滤波器，该滤波器的权重值通过神经网络来预测得到，表达式为：
其中W(i,j)为(i,j)位置像素对应滤波器的权重值，
为权重预测神经网络，输入为vij，表示一个与i、j相关的向量，θ表示权重预测网络的参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911039020.9A CN110866870B (zh) | 2019-10-29 | 2019-10-29 | 一种医学图像任意倍数放大的超分辨处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911039020.9A CN110866870B (zh) | 2019-10-29 | 2019-10-29 | 一种医学图像任意倍数放大的超分辨处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110866870A CN110866870A (zh) | 2020-03-06 |
| CN110866870B true CN110866870B (zh) | 2023-04-28 |
Family
ID=69653371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911039020.9A Active CN110866870B (zh) | 2019-10-29 | 2019-10-29 | 一种医学图像任意倍数放大的超分辨处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110866870B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111951167B (zh) * | 2020-08-25 | 2021-05-18 | 深圳思谋信息科技有限公司 | 超分辨率图像重建方法、装置、计算机设备和存储介质 |
| CN112329827B (zh) * | 2020-10-26 | 2022-08-23 | 同济大学 | 一种基于元学习的增量小样本目标检测方法 |
| CN112508786B (zh) * | 2020-12-03 | 2022-04-29 | 武汉大学 | 面向卫星图像的任意尺度超分辨率重建方法及系统 |
| CN113240586A (zh) * | 2021-06-17 | 2021-08-10 | 华北电力大学（保定） | 一种可自适应调节放大倍数的螺栓图像超分辨率处理方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017219263A1 (zh) * | 2016-06-22 | 2017-12-28 | 中国科学院自动化研究所 | 基于双向递归卷积神经网络的图像超分辨率增强方法 |
| CN108564567A (zh) * | 2018-03-15 | 2018-09-21 | 中山大学 | 一种超高分辨率病理图像癌变区域可视化方法 |
| CN109727197A (zh) * | 2019-01-03 | 2019-05-07 | 云南大学 | 一种医学图像超分辨率重建方法 |
-
2019
- 2019-10-29 CN CN201911039020.9A patent/CN110866870B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017219263A1 (zh) * | 2016-06-22 | 2017-12-28 | 中国科学院自动化研究所 | 基于双向递归卷积神经网络的图像超分辨率增强方法 |
| CN108564567A (zh) * | 2018-03-15 | 2018-09-21 | 中山大学 | 一种超高分辨率病理图像癌变区域可视化方法 |
| CN109727197A (zh) * | 2019-01-03 | 2019-05-07 | 云南大学 | 一种医学图像超分辨率重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110866870A (zh) | 2020-03-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110866870B (zh) | 一种医学图像任意倍数放大的超分辨处理方法 | |
| CN109919838B (zh) | 基于注意力机制提升轮廓清晰度的超声图像超分辨率重建方法 | |
| Chan et al. | A noise-aware filter for real-time depth upsampling | |
| Lu et al. | Deep texture and structure aware filtering network for image smoothing | |
| CN113221925A (zh) | 一种基于多尺度图像的目标检测方法及装置 | |
| CN115546027B (zh) | 图像缝合线确定方法、装置以及存储介质 | |
| CN116071309A (zh) | 元器件的声扫缺陷检测方法、装置、设备和存储介质 | |
| CN114022809A (zh) | 基于改进自编码网络的视频运动放大方法 | |
| CN117575915A (zh) | 一种图像超分辨率重建方法、终端设备及存储介质 | |
| CN110766609B (zh) | 一种针对ToF相机的景深图超分辨率重建方法 | |
| CN112102181A (zh) | 一种服务器图像处理方法 | |
| CN113674154B (zh) | 一种基于生成对抗网络的单幅图像超分辨率重建方法及系统 | |
| CN113191949B (zh) | 多尺度超分辨率病理图像数字化方法、系统及存储介质 | |
| Wei et al. | RSAN: Residual subtraction and attention network for single image super-resolution | |
| CN115018726A (zh) | 一种基于U-Net的图像非均匀模糊核的估计方法 | |
| Yadav et al. | Performance Comparison of Image Restoration techniques using CNN and their applications | |
| CN106530259B (zh) | 一种基于多尺度散焦信息的全聚焦图像重建方法 | |
| Dubey et al. | Implementation of Autoencoder for Super Resolution of 3D MRI Imaging using Convolution Neural Network | |
| CN113962907B (zh) | 一种图像去噪方法、装置及设备 | |
| CN113393405B (zh) | 一种图像处理方法、装置、识别系统及存储介质 | |
| Gupta et al. | Fully automated image de-fencing using conditional generative adversarial networks | |
| CN117788454A (zh) | 一种提高宫颈癌液基细胞筛查分析系统效率的方法 | |
| CN115511706A (zh) | 一种用于智能泵内窥镜模糊图像的任意尺度加速超分辨率重建方法 | |
| DHAS et al. | DENOISING BLOOD CELL IMAGE USING DUAL ATTENTION CHANNEL AND SPACE ATTENTION NEURAL NETWORK WITH DUDE NET | |
| WO2000060532A9 (en) | Method and apparatus for restoration of low resolution images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |