CN109389557A - 一种基于图像先验的细胞图像超分辨方法及装置 - Google Patents
一种基于图像先验的细胞图像超分辨方法及装置 Download PDFInfo
- Publication number
- CN109389557A CN109389557A CN201811224978.0A CN201811224978A CN109389557A CN 109389557 A CN109389557 A CN 109389557A CN 201811224978 A CN201811224978 A CN 201811224978A CN 109389557 A CN109389557 A CN 109389557A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- cell
- cell image
- exposure mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 29
- 239000000284 extract Substances 0.000 claims abstract description 20
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 230000001537 neural effect Effects 0.000 claims abstract description 4
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 210000004027 cell Anatomy 0.000 claims description 63
- 210000000805 cytoplasm Anatomy 0.000 claims description 20
- 230000011218 segmentation Effects 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 239000013039 cover film Substances 0.000 claims description 2
- 238000003475 lamination Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 7
- 230000008901 benefit Effects 0.000 abstract description 6
- 238000010827 pathological analysis Methods 0.000 abstract description 4
- 210000000265 leukocyte Anatomy 0.000 description 13
- 210000004369 blood Anatomy 0.000 description 5
- 239000008280 blood Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 2
- 102100039397 Gap junction beta-3 protein Human genes 0.000 description 2
- 101100061841 Homo sapiens GJB3 gene Proteins 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 244000283207 Indigofera tinctoria Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003743 erythrocyte Anatomy 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000005622 photoelectricity Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4046—Scaling the whole image or part thereof using neural networks
Abstract
本发明公开了一种基于图像先验的细胞图像超分辨方法及其装置，属于计算机视觉和深度学习领域。该方法主要包括以下步骤：拍摄显微镜下的细胞图像；手动标记出三个区域，生成掩膜；生成特征图；提取掩膜；利用图像解码网络生成高分辨率图像；以细胞图像和掩膜作为训练集，训练卷积神经网络；固定网络参数，将训练得到的卷积神经网络，对低分辨率细胞图像进行超分辨。其装置包括：显微图像获取模块、图像预处理模块、图像特征编码模块、图像掩膜提取模块、图像解码模块、神经网络训练模块和细胞超分辨模块。本发明的细胞图像超分辨方法，充分利用了细胞图像先验知识，大大提高了细胞超分辨的性能，对基于显微图像的病理学诊断有至关重要的意义。
Description
技术领域
本发明属于医学图像领域，尤其涉及一种基于图像先验的细胞图像超分辨方法和装置。
背景技术
在显微图像方面，高分辨的显微图像能够帮助医生快速准确地判断细胞病变与否，而且还可以提高人类或计算机程序基于显微图像自动识别疾病的准确率。然而，由于高分辨率相机和高倍数显微镜成本过高，以及地方政策问题，在许多发展中国家仅有部分高水平医院可以做到足够高清(诸如400倍放大倍数)的显微图像，而一些地方医院由于经济条件限制，难以获得如此高倍数的显微图像，这无疑大大限制了当地医院的医疗水平，使得部分来自小城市的患者不得不专程转移至其他城市进行病理诊断。基于这个问题，人们开始提出显微图像超分辨的概念，其中比较成功的方法是荧光标记，通过额外照射一个空心圆荧光，让光电的散射范围更小，突破衍射极限。另一种可能的方法便是通过数字图像超分辨技术来获得边缘更清晰的显微图像。现有的许多基于深度学习的图像超分辨方法都能大幅提高低分辨率图像的清晰度，因此将显微图像进行超分辨处理，即便使用一些低配置的显微成像系统也可以获得足够清晰的图像边缘，以帮助医师准确地进行病理诊断。
自2012年开始，得益于卷积神经网络的快速性和高效性，深度学习技术快速发展。越来越多的来自世界各个学校、企业的学者提出了许多基于深度学习的图像超分辨的方法。不少研究人员尝试将超分辨方法用于显微图像超分辨，并在组织切片图像超分辨取得了成功。然而还鲜有人专门对细胞图像进行超分辨。
目前细胞显微图像超分辨方法还存在如下问题：首先，绝大多数现有的深度学习超分辨网络都是将一副完整的图像裁剪成许多小尺寸的图像(例如41*41，或19*19)，这样忽略了图像的空间结构信息，对于细胞图像而言，整体结构信息对特征的提取也是至关重要的。其次，大多数超分辨模型都是以最小平方误差(Mean Square Error，MSE)为损失函数进行训练。以MSE作为目标容易使网络返回过于平滑和模糊的边界，导致超分辨效果欠佳。另外，当前研究很少考虑到细胞图像先验信息的应用。一般而言，图像先验能够很好地引导网络训练，使网络更快地收敛，使模型更加鲁棒。
发明内容
针对上述现有方法中存在的缺陷，本发明的目的在于提供一种基于图像先验的细胞超分辨方法，该方法的模型为一个深度卷积神经网络，可以实现对显微镜细胞图像进行背景、细胞质、细胞核三个区域的分割，并重建成一张拥有更高分辨率、且拥有更清晰的细节的超分辨率图像。本发明的另外一个目的是提供实现该方法的装置。
实现本发明目的的技术解决方案为：
一种基于图像先验的细胞图像超分辨方法，包括如下步骤：
S1，拍摄显微镜下的细胞图像；
S2，对拍摄得到的每张细胞图像手动标记出背景、细胞质和细胞核三种区域，并生成掩膜；
S3，利用特征编码网络，以单张细胞图像为输入，逐渐提取图像特征，再将低层次和高层次特征结合起来，生成一个特征图；
S4，利用语义分割网络，从输入的单张细胞图像中提取出背景、细胞质和细胞核三种区域的掩膜；
S5，将S3获得的细胞图像的特征图和S4提取的掩膜在通道维度上叠加，利用图像解码网络解码并生成高分辨率的细胞图像；
S6，以S1拍摄的细胞图像和S2标记得到的掩膜作为训练集，用反向传播算法训练卷积神经网络分割细胞和超分辨细胞图像的能力；
S7，经过多次迭代后，固定网络参数，利用训练得到的卷积神经网络对单张未标记掩膜的低分辨率细胞图像直接进行超分辨。
本发明的一种基于图像先验的细胞图像超分辨的装置，包括：显微图像获取模块，获取细胞原始显微图像；图像预处理模块，对获取的细胞图像进行形态学处理，并提取掩膜；图像特征编码模块，从输入的细胞图像中提取低层特征图；图像掩膜提取模块，从输入的细胞图像中提取背景、细胞质和细胞核三种区域的掩膜；图像解码模块，根据提取的低层特征图和掩膜解码生成超分辨率图像；神经网络训练模块，基于反向传播算法训练神经网络的各种参数；细胞超分辨模块，对未标记掩膜的低分辨率细胞图像进行超分辨。
本发明和其他超分辨方法的不同之处在于，本发明并非对单张低分辨率图像直接进行超分辨，而是通过一个语义分割网络，先从低分辨率的细胞图像中提取出背景、细胞质、细胞核三种区域在图像中对应的位置，进而利用特征编码网络将语义分割信息和低分辨率图像的特征联合起来进行解析，得到一个低层与高层结合的特征图。最后，通过图像解码网络将特征图恢复成一张拥有更高分辨率的图像。
本发明的显著优点在于：本发明充分利用了细胞的细胞质、细胞核先验信息，得到分辨率为2倍、4倍，甚至8倍于原始图像尺寸的高分辨率图像，清晰程度要优于其他绝大多数超分辨率图像方法。实验表明，本发明使用的网络结构和训练方法，同样适用于组织图像的超分辨，对基于显微图像的病理学诊断有至关重要的意义。
附图说明
图1是本发明基于图像先验的细胞超分辨方法的流程图。
图2是本发明基于图像先验的细胞超分辨装置的结构示意图。
图3是本发明实施例1拍摄的白细胞图像及其掩膜示意图。(a)原始图像；(b)通过软件标注的细胞质和细胞核；(c)根据边界点分割得到的掩膜图。
图4是本发明实施例1中残差网络ResNet的结构示意图。
具体实施方式
为使本发明的目的，技术方案和优点更加清楚，下面将结合附图对本发明实施方法作进一步地详细描述。
实施例1
本实施例提供了一种基于图像先验的细胞超分辨方法，以白细胞为例，参见图1，具体包括：
S1：使用显微镜相机拍摄数百张显微镜下的白细胞图像。
为了建立白细胞超分辨网络的训练集，需要利用显微镜采集足够多的白细胞图像。首先从医院的血液库中采集若干健康个体和病患的少量血液，制作成血液涂片。接着利用奥林巴斯CX31显微镜和奥林巴斯DP27显微相机拍摄血液涂片，每张图像的分辨率能够达到百万级像素。由于图像中的白细胞间隔距离较红细胞而言较大，因此可以用简单的目标检测软件将每个白细胞裁剪出来，单独变成一张白细胞图像，可见图3左侧图。
S2：对拍摄得到的每张白细胞图像手动标记出背景、细胞质、细胞核三种区域，并提取掩膜。
该步骤的掩膜提取主要是通过图像标注软件LabelMe实现的。通过在细胞质、细胞核边缘均匀地标注点，将这些点看做多边形顶点生成一个凸多边形，便能完好地划分背景、细胞质、细胞核三种区域。最后，对这三种区域进行编码，使之转换成对应的颜色(本实施例中，背景编码为黑色，RGB值为0,0,0；细胞质编码为红色，RGB值为0,255,0；细胞核编码为蓝色，RGB值为0,0,255)，效果图可见图3。
S3：利用卷积神经网络，以单张白细胞图像为输入，逐渐提取图像特征，再将低层次和高层次特征结合起来，生成一个特征图。
假设给定的低分辨率图像为ILR，通过算法重建的超分辨率图像为ISR＝f(ILR)，期望的高分辨率图像为ISR。从IHR到ILR的过程可以通过简单的降采样实现，但其逆过程往往是不可逆的，分辨率从低到高有着无数多个解，ISR不可能完全等于IHR。通过合理设计卷积神经网络，可以使得到的超分辨率图像ISR＝f(ILR)尽可能接近IHR。
现有的深度学习超分辨方法可以分解为3个步骤：图像编码，非线性映射和图像解码。三个步骤都是通过卷积神经网络和其他技巧作为辅助来实现的。该步骤主要是图像编码的实现。假设图像编码的卷积神经网络为C1(x|θ1)，其中x为待输入的图像，θ1为神经网络的参数，那么得到的图像特征图为F1＝C1(ILR|θ1)。
为了实现该步骤图像的编码，本实施例采取Resnet形式的网络，如图4所示，网络共有4个残差块，每个残差块包含“卷积——ReLU——卷积-—ReLU”四个网络层和一个跳跃连接，使得原始输入和经过4层网络的输出相加。这样可以保证神经网络特征信息的充分传递，在反向传播时不会出现梯度爆炸、梯度弥散等问题，并且极大地加快了训练速度。具体方法为：将输入图像调整至224×224大小，利用含4个连续残差块的残差神经网络进行特征提取，生成一个大小为224×224×64的特征图。
S4：利用卷积神经网络，从输入的单张白细胞图像中提取出背景、细胞质、细胞核三种区域的掩膜。
在由S2提取出白细胞图像三种区域的掩膜后，将背景标记为黑色(RGB＝0,0,0)，细胞质标记为蓝色(RGB＝0,0,255)，细胞核标记为红色(RGB＝255,0,0)，这样的好处是编码简单，三种区域在RGB数值表示上各占一个通道，互不影响，减轻了网络的训练难度。接着假设掩膜提取对应的卷积神经网络为C2(x|θ2)，其中x为待输入的图像，θ2为神经网络的参数，那么得到的图像三种区域的掩膜为F2＝C2(ILR|θ2)。
掩膜的提取本质上是深度学习中的语义分割任务。本实例采用深度语义分割网络U-Net进行掩膜提取。U-Net的优点在于它能够利用跳跃连接充分结合低层和高层的特征信息，分割精度远大于无跳跃连接的网络。语义分割网络U-Net对白细胞背景、细胞质、细胞核三种区域进行识别，并分别标记出来。网络呈瓶颈结构，输入的图像每经过两个卷积-ReLU层，就使用池化层降采样一倍，一共经历4次，图像的尺寸呈224-112-56-28-14变化。接着，再通过解卷积层逐渐增采样，且将之前尺寸相同的卷积层逐元素相加，直至恢复224×224大小，生成掩膜。
S5：将白细胞图像的特征图和掩膜在通道维度上叠加，利用卷积神经网络解码并生成高分辨率的白细胞图像。
将先验信息和输入图像结合的方法有很多种，直接在在通道维度上叠加便是其中一种直接简洁的方法。之所以采用叠加通道的方法，是因为能够有效地将输入图像和掩膜信息结合起来，结合方法又不至于过多地增大网络复杂度和网络训练难度。假设图像解码网络为C3(x|θ3)，其中x为待输入的图像，θ3为神经网络的参数，那么最后得到的超分辨率图像为：
ISR＝C3(Concat(F1,F2)|θ3)
其中Concat()是叠加通道操作。整个网络结构可以表示为：
ISR＝C3(Concat(C1(ILR),C2(ILR))|θ1,θ2,θ3)
S6：以采集到的白细胞和标记得到的背景、细胞质、细胞核三种区域的掩膜作为训练集，用反向传播算法训练网络分割细胞、超分辨白细胞图像的能力。
为了统一输入图像大小，以及考虑降采样的取整问题，将每个白细胞图像使用双三次插值调整到224×224大小。考虑到白细胞的整体结构，不做裁剪操作。训练使用Adam优化器，学习率设置为10-3，之后每过50个周期数值减半，这样可以使优化器一开始以较大步长往最优解靠近，接着再逐步调整位置以准确找到全局最优解。训练时，将已有的高分辨率白细胞图像(大小为224×224)取4/5作为训练集，剩下的1/5作为测试集。训练中以所有训练数据遍历一次为一个周期，训练总周期设置为200个。经过训练，将网络的计算流图和参数保存至.pth格式文件中。
S7：经过多次迭代后，固定网络参数，将训练得到的卷积神经网络，对单张白细胞图像直接进行超分辨。
使用程序读取.pth文件，用高分辨率白细胞图像中1/5作为测试集进行测试，并以峰值信噪比PSNR为基准，与双三次插值、SRCNN等传统超分辨方法进行性能比较，如下表所示。
表1性能比较结果
| 超分辨方法 | 双三次插值 | SRCNN | 本实施例方法 |
| PSNR | 36.68 | 37.88 | 39.92 |
实施例2
参见图2，本发明实施例提供了一种基于图像先验的细胞超分辨的装置，包括：
显微图像获取模块201，获取细胞原始图像。通过显微镜获取显微图像的主要方式是显微相机。本发明装置的显微图像获取模块主要使用奥林巴斯DP27显微相机和奥林巴斯CX31科研显微镜组合使用。拍摄血液涂片时，在1000倍放大倍数下手动对焦，拍摄得到的图像分辨率可以达到百万级像素。
图像预处理模块202，对获取的细胞图像进行形态学处理，并提取掩膜。具体地，将细胞背景、细胞质、细胞核三种区域划分出来，制作成为3通道的掩膜图像。
图像特征编码模块203，从输入的细胞图像中提取低层特征图。
图像掩膜提取模块204，从输入的细胞图像中提取背景、细胞质、细胞核三种区域的掩膜。
图像解码模块205，根据先前得到的特征图和掩膜解码生成超分辨率图像。
神经网络训练模块206，基于反向传播学习超分辨网络的各种参数。本实例采用Adam优化器进行训练，学习率为10-3，之后每过50个周期数值减半，迭代次数共200次。训练后的网络参数和计算流图保存在.pth格式文件中。
细胞超分辨模块207，将未标记掩膜的低分辨率细胞输入网络中，网络对细胞图像进行超分辨，提高图像质量。
本实施例提供的上述模块全部可以通过软件编程实现，所述程序可以存贮在可读取的存取介质中，该存储介质包括：ROM,RAM,磁碟或者光盘中等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改，等同替换，改进等，均应包含在本发明的保护范围之中。
Claims (5)
1.一种基于图像先验的细胞图像超分辨方法，其特征在于，包括如下步骤：
S1，拍摄显微镜下的细胞图像；
S2，对拍摄得到的每张细胞图像手动标记出背景、细胞质和细胞核三种区域，并生成掩膜；
S3，利用特征编码网络，以单张细胞图像为输入，逐渐提取图像特征，再将低层次和高层次特征结合起来，生成一个特征图；
S4，利用语义分割网络，从输入的单张细胞图像中提取出背景、细胞质和细胞核三种区域的掩膜；
S5，将S3获得的细胞图像的特征图和S4提取的掩膜在通道维度上叠加，利用图像解码网络解码并生成高分辨率的细胞图像；
S6，以S1拍摄的细胞图像和S2标记得到的掩膜作为训练集，用反向传播算法训练卷积神经网络分割细胞和超分辨细胞图像的能力；
S7，经过多次迭代后，固定网络参数，利用训练得到的卷积神经网络对单张未标记掩膜的低分辨率细胞图像直接进行超分辨。
2.根据权利要求1所述的一种基于图像先验的细胞图像超分辨方法，其特征在于，所述步骤S2中，手动标记的具体方法为：利用LabelMe软件，将细胞图像中细胞质和细胞核的区域均匀标注点，再以这些标注点作为顶点，利用opencv视觉库中的画图工具生成凸多边形。
3.根据权利要求1所述的一种基于图像先验的细胞图像超分辨方法，其特征在于，所述步骤S3中，特征编码网络利用含4个连续残差块的残差神经网络提取图像特征。
4.根据权利要求1所述的一种基于图像先验的细胞图像超分辨方法，其特征在于，所述步骤S4中，语义分割网络呈瓶颈结构，输入的图像每经过两个卷积-ReLU层，就使用池化层降采样一倍，一共经历4次；接着，再通过解卷积层逐渐增采样，且将之前尺寸相同的卷积层逐元素相加，直至恢复至输入图像的大小，生成掩膜。
5.一种基于图像先验的细胞图像超分辨的装置，其特征在于，所述装置包括：
显微图像获取模块，获取细胞原始显微图像；
图像预处理模块，对获取的细胞图像进行形态学处理，并提取掩膜；
图像特征编码模块，从输入的细胞图像中提取低层特征图；
图像掩膜提取模块，从输入的细胞图像中提取背景、细胞质和细胞核三种区域的掩膜；
图像解码模块，根据提取的低层特征图和掩膜解码生成超分辨率图像；
神经网络训练模块，基于反向传播算法训练神经网络的各种参数；
细胞超分辨模块，对未标记掩膜的低分辨率细胞图像进行超分辨。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811224978.0A CN109389557B (zh) | 2018-10-20 | 2018-10-20 | 一种基于图像先验的细胞图像超分辨方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811224978.0A CN109389557B (zh) | 2018-10-20 | 2018-10-20 | 一种基于图像先验的细胞图像超分辨方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109389557A true CN109389557A (zh) | 2019-02-26 |
| CN109389557B CN109389557B (zh) | 2023-01-06 |
Family
ID=65427004
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811224978.0A Active CN109389557B (zh) | 2018-10-20 | 2018-10-20 | 一种基于图像先验的细胞图像超分辨方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109389557B (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109815945A (zh) * | 2019-04-01 | 2019-05-28 | 上海徒数科技有限公司 | 一种基于图像识别的呼吸道检查结果判读系统和方法 |
| CN110163800A (zh) * | 2019-05-13 | 2019-08-23 | 南京大学 | 一种基于多帧图像超分辨的芯片显微相位恢复方法和装置 |
| CN110189354A (zh) * | 2019-04-18 | 2019-08-30 | 北京迈格威科技有限公司 | 图像处理方法与图像处理器、图像处理设备及介质 |
| CN110765855A (zh) * | 2019-09-12 | 2020-02-07 | 杭州迪英加科技有限公司 | 一种病理图像处理方法及系统 |
| CN111145209A (zh) * | 2019-12-26 | 2020-05-12 | 北京推想科技有限公司 | 一种医学图像分割方法、装置、设备及存储介质 |
| CN111524064A (zh) * | 2020-03-11 | 2020-08-11 | 浙江大学 | 基于深度学习的荧光显微图像超分辨重建方法 |
| WO2021057536A1 (zh) * | 2019-09-25 | 2021-04-01 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、计算机设备以及存储介质 |
| WO2021073335A1 (zh) * | 2019-10-18 | 2021-04-22 | 南京大学 | 一种基于卷积神经网络的无透镜全息显微微粒表征方法 |
| CN113192047A (zh) * | 2021-05-14 | 2021-07-30 | 杭州迪英加科技有限公司 | 一种基于深度学习的自动判读ki67病理切片的方法 |
| CN113256577A (zh) * | 2021-05-18 | 2021-08-13 | 湖南医药学院 | 基于he染色病理图像的癌症辅助分析系统、装置 |
| CN113269672A (zh) * | 2021-04-14 | 2021-08-17 | 佛山科学技术学院 | 一种超分辨率的细胞图像构建方法和系统 |
| CN113538435A (zh) * | 2021-09-17 | 2021-10-22 | 北京航空航天大学 | 一种基于深度学习的胰腺癌病理图像分类方法及系统 |
| CN113781298A (zh) * | 2021-08-05 | 2021-12-10 | 中国科学院生物物理研究所 | 超分辨率图像的处理方法及装置、电子设备、存储介质 |
| CN114252423A (zh) * | 2021-12-24 | 2022-03-29 | 汉姆德(宁波)智能医疗科技有限公司 | 超分辨显微镜完全采样图像的生成方法、装置 |
| CN116883249A (zh) * | 2023-09-07 | 2023-10-13 | 南京诺源医疗器械有限公司 | 一种超分辨内窥镜成像装置及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106228512A (zh) * | 2016-07-19 | 2016-12-14 | 北京工业大学 | 基于学习率自适应的卷积神经网络图像超分辨率重建方法 |
| CN107784628A (zh) * | 2017-10-18 | 2018-03-09 | 南京大学 | 一种基于重建优化和深度神经网络的超分辨率实现方法 |
| CN108021903A (zh) * | 2017-12-19 | 2018-05-11 | 南京大学 | 基于神经网络的人工标注白细胞的误差校准方法及装置 |
| US20180137603A1 (en) * | 2016-11-07 | 2018-05-17 | Umbo Cv Inc. | Method and system for providing high resolution image through super-resolution reconstruction |
| CN108537292A (zh) * | 2018-04-10 | 2018-09-14 | 上海白泽网络科技有限公司 | 语义分割网络训练方法、图像语义分割方法及装置 |
-
2018
- 2018-10-20 CN CN201811224978.0A patent/CN109389557B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106228512A (zh) * | 2016-07-19 | 2016-12-14 | 北京工业大学 | 基于学习率自适应的卷积神经网络图像超分辨率重建方法 |
| US20180137603A1 (en) * | 2016-11-07 | 2018-05-17 | Umbo Cv Inc. | Method and system for providing high resolution image through super-resolution reconstruction |
| CN107784628A (zh) * | 2017-10-18 | 2018-03-09 | 南京大学 | 一种基于重建优化和深度神经网络的超分辨率实现方法 |
| CN108021903A (zh) * | 2017-12-19 | 2018-05-11 | 南京大学 | 基于神经网络的人工标注白细胞的误差校准方法及装置 |
| CN108537292A (zh) * | 2018-04-10 | 2018-09-14 | 上海白泽网络科技有限公司 | 语义分割网络训练方法、图像语义分割方法及装置 |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109815945B (zh) * | 2019-04-01 | 2024-04-30 | 上海徒数科技有限公司 | 一种基于图像识别的呼吸道检查结果判读系统和方法 |
| CN109815945A (zh) * | 2019-04-01 | 2019-05-28 | 上海徒数科技有限公司 | 一种基于图像识别的呼吸道检查结果判读系统和方法 |
| CN110189354B (zh) * | 2019-04-18 | 2021-12-28 | 北京迈格威科技有限公司 | 图像处理方法与图像处理器、图像处理设备及介质 |
| CN110189354A (zh) * | 2019-04-18 | 2019-08-30 | 北京迈格威科技有限公司 | 图像处理方法与图像处理器、图像处理设备及介质 |
| CN110163800A (zh) * | 2019-05-13 | 2019-08-23 | 南京大学 | 一种基于多帧图像超分辨的芯片显微相位恢复方法和装置 |
| CN110163800B (zh) * | 2019-05-13 | 2023-01-06 | 南京大学 | 一种基于多帧图像超分辨的芯片显微相位恢复方法和装置 |
| CN110765855A (zh) * | 2019-09-12 | 2020-02-07 | 杭州迪英加科技有限公司 | 一种病理图像处理方法及系统 |
| WO2021057536A1 (zh) * | 2019-09-25 | 2021-04-01 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、计算机设备以及存储介质 |
| WO2021073335A1 (zh) * | 2019-10-18 | 2021-04-22 | 南京大学 | 一种基于卷积神经网络的无透镜全息显微微粒表征方法 |
| CN111145209A (zh) * | 2019-12-26 | 2020-05-12 | 北京推想科技有限公司 | 一种医学图像分割方法、装置、设备及存储介质 |
| CN111524064B (zh) * | 2020-03-11 | 2022-04-29 | 浙江大学 | 基于深度学习的荧光显微图像超分辨重建方法 |
| CN111524064A (zh) * | 2020-03-11 | 2020-08-11 | 浙江大学 | 基于深度学习的荧光显微图像超分辨重建方法 |
| CN113269672A (zh) * | 2021-04-14 | 2021-08-17 | 佛山科学技术学院 | 一种超分辨率的细胞图像构建方法和系统 |
| CN113192047A (zh) * | 2021-05-14 | 2021-07-30 | 杭州迪英加科技有限公司 | 一种基于深度学习的自动判读ki67病理切片的方法 |
| CN113256577A (zh) * | 2021-05-18 | 2021-08-13 | 湖南医药学院 | 基于he染色病理图像的癌症辅助分析系统、装置 |
| CN113256577B (zh) * | 2021-05-18 | 2022-06-28 | 湖南医药学院 | 基于he染色病理图像的癌症辅助分析系统、装置 |
| CN113781298A (zh) * | 2021-08-05 | 2021-12-10 | 中国科学院生物物理研究所 | 超分辨率图像的处理方法及装置、电子设备、存储介质 |
| CN113781298B (zh) * | 2021-08-05 | 2023-09-15 | 中国科学院生物物理研究所 | 超分辨率图像的处理方法及装置、电子设备、存储介质 |
| CN113538435A (zh) * | 2021-09-17 | 2021-10-22 | 北京航空航天大学 | 一种基于深度学习的胰腺癌病理图像分类方法及系统 |
| CN114252423A (zh) * | 2021-12-24 | 2022-03-29 | 汉姆德(宁波)智能医疗科技有限公司 | 超分辨显微镜完全采样图像的生成方法、装置 |
| CN114252423B (zh) * | 2021-12-24 | 2024-02-02 | 汉姆德(宁波)智能医疗科技有限公司 | 超分辨显微镜完全采样图像的生成方法、装置 |
| CN116883249A (zh) * | 2023-09-07 | 2023-10-13 | 南京诺源医疗器械有限公司 | 一种超分辨内窥镜成像装置及方法 |
| CN116883249B (zh) * | 2023-09-07 | 2023-11-14 | 南京诺源医疗器械有限公司 | 一种超分辨内窥镜成像装置及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109389557B (zh) | 2023-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109389557A (zh) | 一种基于图像先验的细胞图像超分辨方法及装置 | |
| Niu et al. | Single image super-resolution via a holistic attention network | |
| CN108734659B (zh) | 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法 | |
| CN109064396A (zh) | 一种基于深度成分学习网络的单幅图像超分辨率重建方法 | |
| CN108334847A (zh) | 一种真实场景下的基于深度学习的人脸识别方法 | |
| WO2018125580A1 (en) | Gland segmentation with deeply-supervised multi-level deconvolution networks | |
| CN110428366A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN110288537A (zh) | 基于自注意力的深度生成式对抗网络的人脸图像补全方法 | |
| CN110276354A (zh) | 一种高分辨率街景图片语义分割训练与实时分割方法 | |
| CN109003282A (zh) | 一种图像处理的方法、装置及计算机存储介质 | |
| CN113191953B (zh) | 一种基于Transformer的人脸图像超分辨的方法 | |
| CN111583285B (zh) | 一种基于边缘关注策略的肝脏影像语义分割方法 | |
| CN102402784B (zh) | 一种基于最近特征线流形学习的人脸图像超分辨率方法 | |
| WO2023109709A1 (zh) | 一种基于注意力机制的图像拼接定位检测方法 | |
| CN107633229A (zh) | 基于卷积神经网络的人脸检测方法及装置 | |
| Jiang et al. | Forest-CD: Forest change detection network based on VHR images | |
| CN112686258A (zh) | 体检报告信息结构化方法、装置、可读存储介质和终端 | |
| Shan et al. | SCA-Net: A spatial and channel attention network for medical image segmentation | |
| CN115546466A (zh) | 一种基于多尺度显著特征融合的弱监督图像目标定位方法 | |
| Hou et al. | Text-aware single image specular highlight removal | |
| CN112529914B (zh) | 一种实时头发分割方法和系统 | |
| CN115760875A (zh) | 一种基于自监督学习的全视野医学图片区域分割方法 | |
| CN107145888A (zh) | 视频字幕实时翻译方法 | |
| CN116703725A (zh) | 感知多重特征的双分支网络实现针对真实世界文本图像的超分辨率的方法 | |
| CN113012167B (zh) | 一种细胞核与细胞质的联合分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |