CN114418863B - 细胞图像修复方法、装置、计算机存储介质及电子设备 - Google Patents
细胞图像修复方法、装置、计算机存储介质及电子设备 Download PDFInfo
- Publication number
- CN114418863B CN114418863B CN202210332142.2A CN202210332142A CN114418863B CN 114418863 B CN114418863 B CN 114418863B CN 202210332142 A CN202210332142 A CN 202210332142A CN 114418863 B CN114418863 B CN 114418863B
- Authority
- CN
- China
- Prior art keywords
- image
- image restoration
- feature extraction
- model
- slide
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 39
- 238000012795 verification Methods 0.000 claims abstract description 14
- 210000004369 blood Anatomy 0.000 claims abstract description 10
- 239000008280 blood Substances 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims description 44
- 230000003993 interaction Effects 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 25
- 238000005429 filling process Methods 0.000 claims description 18
- 230000001413 cellular effect Effects 0.000 claims description 16
- 230000015654 memory Effects 0.000 claims description 14
- 230000002441 reversible effect Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 238000002360 preparation method Methods 0.000 claims description 4
- 238000010200 validation analysis Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 9
- 230000000007 visual effect Effects 0.000 abstract description 4
- 210000004027 cell Anatomy 0.000 description 34
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 238000004590 computer program Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000008439 repair process Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 230000009901 attention process Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000601 blood cell Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002380 cytological effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种细胞图像修复方法、装置、计算机存储介质及电子设备，属于图像处理领域。该方法包括：对大量细胞玻片样本进行全视野摄影，得到玻片扫描图像组；从玻片扫描图像组中准备训练数据集和验证数据集，对基于transformer模型框架的图像修复模型进行训练；对待测血液玻片进行全视野摄影，得到玻片扫描图像；将玻片扫描图像输入训练后的图像修复模型，输出得到修复图像。本发明对观测距离较大的较低分辨率的细胞图像进行超分辨率在线修复，帮助观察者在足够大的视野范围下精确地评估细胞。
Description
技术领域
本发明涉及图像处理领域，特别是指一种细胞图像修复方法、装置、计算机存储介质及电子设备。
背景技术
目前，通过玻片扫描仪或者显微照相系统等仪器拍摄血液细胞等细胞玻片图像，医生通过细胞玻片图像进行诊断是常用的方法。但是，受限于采集仪器以及采集环境，导致拍摄的细胞玻片图像质量较低。原因主要有以下两点：
一．由于在仪器采集单视野细胞图片时，会因为设备本身的机械运动抖动和光学部件差异导致所采集的图像质量变模糊，最终导致图像与实际不符。
二．由于目镜的成像大小是固定的，这就导致了观测范围与图像质量的互相制约，很难对分辨率高的图像进行全视野的分析。(1)若想全局的观测细胞之间的状态，增大观测载玻片的范围，就需要选择小倍数的物镜，这样就牺牲了图像的分辨率，影响了后期医生对细胞细节的诊断。(2)若想要更加准确的判别某个特定细胞的状态，则需要调换分辨率更高的物镜，这样就不得不牺牲观测范围。
因此，需要对低质量的细胞图像进行修复构建，以期获得高质量的清晰的细胞图像。目前并没有特定的图像修复算法针对细胞图像进行构建，而大多是基于通用型的图像修复算法。主要分为以下两类：
1、传统方法
图像复原是一个客观的过程，针对质量降低或失真的图像，试图恢复其原始的内容或质量。复原技术是面向退化模型的，并且采用相反的过程进行处理，以便恢复出原图像。在进行图像复原之前要先建立起其退化模型，根据该模型进行图像复原。通过去除噪声建立复原模型，从而恢复图像。退化函数一般通过观察、经验、建模等方式进行估计。相机的噪声主要来自于图像的获取过程和传输过程造成，因此从噪声的空域和频域构造退化函数。其中一些重要的噪声如高斯噪声、瑞利噪声、Gamma噪声等，采取的复原方式如均值滤波器、统计顺序滤波器、自适应滤波器、带阻滤波器、带通滤波器、陷波滤波器、陷波带通滤波器、最优陷波滤波器、反向滤波、维纳滤波等。
该方法需要复杂和跨层的大空间维度的网络架构。因此，这些模型通常有1-5百万的参数，这使得它们不能直接部署在资源受限的平台上。因此，这类模型通常部署在基于云的服务器上，这会导致数据上传和结果下载的延迟。模型本身的推断时间也很重要，无法满足设备上场景的需求。
2、卷积神经网络模型
卷积神经网络模型通过输入低质量和高质量图像对，训练由卷积构成的模型参数，实现端到端的图像修复。
卷积神经网络模型在图像修复任务中，相邻像素会起到很重要的因素，可以提供像素修复的线索。因此卷积神经网络的卷积核作为综合考虑周围邻域是很有效果的。但是由于卷积核的大小有限，能够采集的周围像素信息限制了网络模型的表达。一般情况下，卷积神经网络只能通过加深模型的深度变相的增大感受野，不能全局的观察整个图像或者特征图的信息。
发明内容
为解决现有技术中的问题，本发明提供一种细胞图像修复方法、装置、计算机存储介质及电子设备，对观测距离较大的较低分辨率的细胞图像进行超分辨率在线修复，帮助观察者在足够大的视野范围下精确地评估细胞。
本发明提供技术方案如下：
第一方面，本发明提供一种细胞图像修复方法，所述方法包括：
对大量细胞玻片样本进行全视野摄影，得到玻片扫描图像组；
从所述玻片扫描图像组中准备训练数据集和验证数据集，基于所述训练数据集和验证数据集训练基于transformer模型框架的图像修复模型；
对待测血液玻片进行全视野摄影，得到玻片扫描图像；
将所述玻片扫描图像输入训练后的图像修复模型，输出得到修复图像；
其中，所述玻片扫描图像输入所述图像修复模型，经过浅层特征提取过程、深层特征提取过程和像素填充过程，输出所述修复图像；
所述浅层特征提取过程中，在划定的限制区域内部进行信息交互，所述深层特征提取过程中，通过卷积操作在限制区域之间进行信息交互，所述像素填充过程中，在深层特征提取过程提取的特征图上进行采样，生成所述修复图像。
进一步的，所述限制区域的尺度可调节。
进一步的，多个限制区域按照顺时针的顺序通过卷积操作进行信息交互。
进一步的，所述基于所述训练数据集和验证数据集训练基于transformer模型框架的图像修复模型，包括：
将训练数据集输入所述图像修复模型，经过浅层特征提取过程、深层特征提取过程和像素填充过程，得到输出数据；
根据输出数据与预期数据计算误差，并根据所述误差进行逆向传播，调整图像修复模型内部的权重；
反复重复上述过程，直至所述误差小于设定的阈值。
第二方面，本发明提供一种细胞图像修复装置，所述装置包括：
训练准备模块，用于对大量细胞玻片样本进行全视野摄影，得到玻片扫描图像组；
训练模块，用于从所述玻片扫描图像组中准备训练数据集和验证数据集，基于所述训练数据集和验证数据集训练基于transformer模型框架的图像修复模型；
待测图像获取模块，用于对待测血液玻片进行全视野摄影，得到玻片扫描图像；
图像修复模块，用于将所述玻片扫描图像输入训练后的图像修复模型，输出得到修复图像；
其中，所述玻片扫描图像输入所述图像修复模型，经过浅层特征提取过程、深层特征提取过程和像素填充过程，输出所述修复图像；
所述浅层特征提取过程中，在划定的限制区域内部进行信息交互，所述深层特征提取过程中，通过卷积操作在限制区域之间进行信息交互，所述像素填充过程中，在深层特征提取过程提取的特征图上进行采样，生成所述修复图像。
进一步的，所述限制区域的尺度可调节。
进一步的，多个限制区域按照顺时针的顺序通过卷积操作进行信息交互。
进一步的，所述训练模块用于：
将训练数据集输入所述图像修复模型，经过浅层特征提取过程、深层特征提取过程和像素填充过程，得到输出数据；
根据输出数据与预期数据计算误差，并根据所述误差进行逆向传播，调整图像修复模型内部的权重；
反复重复上述过程，直至所述误差小于设定的阈值。
第三方面，本发明提供一种用于细胞图像修复的计算机存储介质，包括用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括第一方面所述的细胞图像修复方法的步骤。
第四方面，本发明提供一种用于细胞图像修复的电子设备，包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现第一方面所述的细胞图像修复方法的步骤。
本发明具有以下有益效果：
1、图像修复模型采用基于transformer模型框架，在修复过程中图像整体的信息有较强的交互性，图像修复模型能适应不同染色的玻片，极大降低了人为因素的干扰，提高了修复的质量。
2、尽管图像修复模型采用基于transformer模型框架，但也有别于现有的transformer模型。在信息交互的attention过程中，增加了限制信息交互的限制区域，有助于减少无效的信息交互。
3、现有技术中单个模型只能单独完成图像修复的子任务，如单独完成去模糊，或超分辨率修复任务，而本发明的图像修复模型可以同时完成去模糊与超分辨修复两个联合任务。
4、本发明的图像修复模型相比传统方法的参数少，可以部署在资源受限的平台上，图像修复模型本身的推断时间少，可以进行在线修复，满足设备上场景的需求。
附图说明
图1为本发明的细胞图像修复方法的流程图；
图2为图像修复模型的处理过程示意图；
图3为浅层特征提取的示意图；
图4为深层特征提取的示意图；
图5为经本发明的图像修复模型修复后的图像示意图；
图6为本发明的细胞图像修复装置的示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
本发明实施例提供了一种细胞图像修复方法，对观测距离较大的较低分辨率的细胞图像进行超分辨率修复，用于帮助观察者在足够大的视野范围下精确地评估细胞。
如图1所示，该方法包括：
S100：对大量细胞玻片样本进行全视野摄影，得到玻片扫描图像组。
以细胞玻片为血液玻片为例，本步骤对大量血液玻片使用玻片扫描仪或者显微照相系统等进行全视野摄影，建立玻片扫描图像组。
S200：从玻片扫描图像组中准备训练数据集和验证数据集，基于训练数据集和验证数据集训练基于transformer模型框架的图像修复模型。
本步骤用于从玻片扫描图像组中为图像复原工作准备训练数据集和验证数据集。在数据准备过程中，均配备专业医生和普通标注员。最后，使用人工智能技术对图像修复模型进行训练，并通过不断地参数调优和误差分析优化图像修复模型，最终得到成熟的图像修复模型，并进行部署。
图像修复模型的输入为低倍物镜的细胞图像，输出为经过去噪、去模糊、超分辨率修复的高质量图像。
由于本发明修复的是医学细胞图像，在修复过程中对图像整体的信息交互要求比较强，因此图像修复模型采用基于transformer模型框架。使图像修复模型能适应不同染色的玻片，极大降低了人为因素的干扰，提高了修复的质量。
S300：对待测血液玻片进行全视野摄影，得到玻片扫描图像。
图像修复模型训练完毕后，即可进行应用。在应用过程中，待检测血液玻片也同样需要经过玻片扫描仪或者显微照相系统等进行全视野摄影，建立玻片扫描图像。
S400：将玻片扫描图像输入训练后的图像修复模型，输出得到修复图像。
通过图像修复模型可以任意位置的放大图像细节，通过与前端进行交互，可以有效地恢复观察视野内中任意区域任意尺寸的图像，如图5所示。既保证了观察范围，也保证了观察细节。
本发明的图像修复模型同时可以完成图像去模糊和超分辨率重建两个工作，图像修复模型以transformer作为基础，在修复的过程中主要分为三个阶段，如图2所示，分为浅层特征提取过程、深层特征提取过程和像素填充过程。玻片扫描图像输入图像修复模型，经过上述三个阶段，输出得到修复图像。
transformer模型需要进行信息交互的attention过程，在浅层特征提取过程中，为了避免在信息交互中出现过多的无用交互，在每次局部信息交互过程中增加了一个限制区域，只能在划定的限制区域内部进行信息交互。
如图3所示，在限制交互过程中，信息只能在实线内部进行交互，实线之间的信息不能交互，这种设置就像卷积神经网络的卷积核一样，采用类似感受野的方式来限制信息交互的区域。但是这种限制区域并没有卷积核的大小有限的缺陷。
进一步的，考虑到有些中心点所涉及到的同语义信息的区域比较大，可以通过多种尺度变换进行调节，让通信的范围变的更加灵活。因此本发明的限制区域的尺度可调节，例如，限制区域的尺度可以通过超参数随时更改。
在这个类transformer过程中，将每个像素点通过词嵌入作为基本单位，由于限制区域的大小是几个预先设定好的固定的值，所以不论输入图像的尺寸如何都不会影响此阶段transformer的进行。这就赋予了本发明的图像修复模型可以接受任意尺寸的图像，为之后的人机交互放大任意观测区域做好了基础。
在深层特征提取过程中，通过卷积操作在限制区域之间进行信息交互，也即将限制区域彼此的信息通过卷积操作进行交互。
如图4所示，在其中一个示例中，多个限制区域按照顺时针的顺序通过卷积操作进行信息交互。
在像素填充过程中，在深层特征提取过程提取的特征图上进行采样，最终生成超分辨率的修复图像。
本发明构建基于transformer的图像修复模型，并且在transformer的基础上增加了信息交互限制区域的机制，与现有技术相比，其具有以下有益效果：
1、图像修复模型采用基于transformer模型框架，在修复过程中图像整体的信息有较强的交互性，图像修复模型能适应不同染色的玻片，极大降低了人为因素的干扰，提高了修复的质量。
2、尽管图像修复模型采用基于transformer模型框架，但也有别于现有的transformer模型。在信息交互的attention过程中，增加了限制信息交互的限制区域，有助于减少无效的信息交互。
3、现有技术中单个模型只能单独完成图像修复的子任务，如单独完成去模糊，或超分辨率修复任务，而本发明的图像修复模型可以同时完成去模糊与超分辨修复两个联合任务。
4、本发明的图像修复模型相比传统方法的参数少，可以部署在资源受限的平台上，图像修复模型本身的推断时间少，可以进行在线修复，满足设备上场景的需求。
本发明的图像修复模型的训练方法包括：
将训练数据集输入图像修复模型，经过浅层特征提取过程、深层特征提取过程和像素填充过程，得到输出数据。
如果输出数据与预期数据无法匹配，则根据输出数据与预期数据计算误差，并根据误差进行逆向传播，在这个过程中，调整图像修复模型内部的权重，从而使得反馈的误差变小。
反复重复上述过程，直至误差小于设定的阈值，生成最终的图像修复模型。
最后，把完成的图像修复模型进行打包并部署。
实施例2：
本发明实施例提供一种细胞图像修复装置，如图6所示，该装置包括：
训练准备模块1，用于对大量细胞玻片样本进行全视野摄影，得到玻片扫描图像组。
训练模块2，用于从所述玻片扫描图像组中准备训练数据集和验证数据集，基于所述训练数据集和验证数据集训练基于transformer模型框架的图像修复模型。
待测图像获取模块3，用于对待测血液玻片进行全视野摄影，得到玻片扫描图像。
图像修复模块4，用于将所述玻片扫描图像输入训练后的图像修复模型，输出得到修复图像。
其中，所述玻片扫描图像输入所述图像修复模型，经过浅层特征提取过程、深层特征提取过程和像素填充过程，输出所述修复图像。
所述浅层特征提取过程中，在划定的限制区域内部进行信息交互，所述深层特征提取过程中，通过卷积操作在限制区域之间进行信息交互，所述像素填充过程中，在深层特征提取过程提取的特征图上进行采样，生成所述修复图像。
进一步的，所述限制区域的尺度可调节。
进一步的，多个限制区域按照顺时针的顺序通过卷积操作进行信息交互。
进一步的，所述训练模块用于：
将训练数据集输入所述图像修复模型，经过浅层特征提取过程、深层特征提取过程和像素填充过程，得到输出数据；
根据输出数据与预期数据计算误差，并根据所述误差进行逆向传播，调整图像修复模型内部的权重；
反复重复上述过程，直至所述误差小于设定的阈值。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例1相同，为简要描述，该装置实施例部分未提及之处，可参考前述方法实施例1中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的装置和单元的具体工作过程，均可以参考上述方法实施例1中的对应过程，在此不再赘述。
实施例3：
本发明提供的上述实施例1所述的方法可以通过计算机程序实现业务逻辑并记录在存储介质上，所述的存储介质可以计算机读取并执行，实现本说明书实施例1所描述方案的效果。因此，本发明还提供用于细胞图像修复的计算机存储介质，包括用于存储处理器可执行指令的存储器，指令被处理器执行时实现包括实施例1的细胞图像修复方法的步骤。
所述存储介质可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质有可以包括：利用电能方式存储信息的装置，如各式存储器，如RAM、ROM等；利用磁能方式存储信息的装置，如硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘；利用光学方式存储信息的装置，如CD或DVD。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。
上述所述的存储介质根据方法实施例1的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例1的描述，在此不作一一赘述。
实施例4：
本发明还提供一种用于细胞图像修复的电子设备，所述的电子设备可以为单独的计算机，也可以包括使用了本说明书的一个或多个所述方法或一个或多个实施例装置的实际操作装置等。所述细胞图像修复的电子设备可以包括至少一个处理器以及存储计算机可执行指令的存储器，处理器执行所述指令时实现上述任意一个或者多个实施例1中所述细胞图像修复方法的步骤。
上述所述的电子设备根据方法或者装置实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例1的描述，在此不作一一赘述。
需要说明的是，本说明书上述所述的装置或者系统根据相关方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照方法实施例的描述，在此不作一一赘述。本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类、存储介质+程序实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现电子设备为计算机。具体而言，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述并不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种细胞图像修复方法，其特征在于，所述方法包括：
对大量细胞玻片样本进行全视野摄影，得到玻片扫描图像组；
从所述玻片扫描图像组中准备训练数据集和验证数据集，基于所述训练数据集和验证数据集训练基于transformer模型框架的图像修复模型；
对待测血液玻片进行全视野摄影，得到玻片扫描图像；
将所述玻片扫描图像输入训练后的图像修复模型，输出得到修复图像；
其中，所述玻片扫描图像输入所述图像修复模型，经过浅层特征提取过程、深层特征提取过程和像素填充过程，输出所述修复图像；
所述浅层特征提取过程中，在划定的限制区域内部进行信息交互，所述深层特征提取过程中，通过卷积操作在限制区域之间进行信息交互，所述像素填充过程中，在深层特征提取过程提取的特征图上进行采样，生成所述修复图像。
2.根据权利要求1所述的细胞图像修复方法，其特征在于，所述限制区域的尺度可调节。
3.根据权利要求1所述的细胞图像修复方法，其特征在于，多个限制区域按照顺时针的顺序通过卷积操作进行信息交互。
4.根据权利要求1-3任一所述的细胞图像修复方法，其特征在于，所述基于所述训练数据集和验证数据集训练基于transformer模型框架的图像修复模型，包括：
将训练数据集输入所述图像修复模型，经过浅层特征提取过程、深层特征提取过程和像素填充过程，得到输出数据；
根据输出数据与预期数据计算误差，并根据所述误差进行逆向传播，调整图像修复模型内部的权重；
反复重复上述过程，直至所述误差小于设定的阈值。
5.一种细胞图像修复装置，其特征在于，所述装置包括：
训练准备模块，用于对大量细胞玻片样本进行全视野摄影，得到玻片扫描图像组；
训练模块，用于从所述玻片扫描图像组中准备训练数据集和验证数据集，基于所述训练数据集和验证数据集训练基于transformer模型框架的图像修复模型；
待测图像获取模块，用于对待测血液玻片进行全视野摄影，得到玻片扫描图像；
图像修复模块，用于将所述玻片扫描图像输入训练后的图像修复模型，输出得到修复图像；
其中，所述玻片扫描图像输入所述图像修复模型，经过浅层特征提取过程、深层特征提取过程和像素填充过程，输出所述修复图像；
所述浅层特征提取过程中，在划定的限制区域内部进行信息交互，所述深层特征提取过程中，通过卷积操作在限制区域之间进行信息交互，所述像素填充过程中，在深层特征提取过程提取的特征图上进行采样，生成所述修复图像。
6.根据权利要求5所述的细胞图像修复装置，其特征在于，所述限制区域的尺度可调节。
7.根据权利要求5所述的细胞图像修复装置，其特征在于，多个限制区域按照顺时针的顺序通过卷积操作进行信息交互。
8.根据权利要求5-7任一所述的细胞图像修复装置，其特征在于，所述训练模块用于：
将训练数据集输入所述图像修复模型，经过浅层特征提取过程、深层特征提取过程和像素填充过程，得到输出数据；
根据输出数据与预期数据计算误差，并根据所述误差进行逆向传播，调整图像修复模型内部的权重；
反复重复上述过程，直至所述误差小于设定的阈值。
9.一种用于细胞图像修复的计算机存储介质，其特征在于，包括用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括权利要求1-3任一所述细胞图像修复方法的步骤。
10.一种用于细胞图像修复的电子设备，其特征在于，包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现权利要求1-3中任意一项所述细胞图像修复方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210332142.2A CN114418863B (zh) | 2022-03-31 | 2022-03-31 | 细胞图像修复方法、装置、计算机存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210332142.2A CN114418863B (zh) | 2022-03-31 | 2022-03-31 | 细胞图像修复方法、装置、计算机存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114418863A CN114418863A (zh) | 2022-04-29 |
| CN114418863B true CN114418863B (zh) | 2022-06-07 |
Family
ID=81264461
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210332142.2A Active CN114418863B (zh) | 2022-03-31 | 2022-03-31 | 细胞图像修复方法、装置、计算机存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114418863B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108764072A (zh) * | 2018-05-14 | 2018-11-06 | 浙江工业大学 | 一种基于多尺度融合的血细胞亚型图像分类方法 |
| CN111861945A (zh) * | 2020-09-21 | 2020-10-30 | 浙江大学 | 一种文本引导的图像修复方法和系统 |
| CN112200720A (zh) * | 2020-09-29 | 2021-01-08 | 中科方寸知微(南京)科技有限公司 | 一种基于滤波器融合的超分辨率图像重建方法及系统 |
| CN112597852A (zh) * | 2020-12-15 | 2021-04-02 | 深圳大学 | 细胞分类方法、装置、电子设备及存储介质 |
| CN113191949A (zh) * | 2021-04-28 | 2021-07-30 | 中南大学 | 多尺度超分辨率病理图像数字化方法、系统及存储介质 |
| CN113256636A (zh) * | 2021-07-15 | 2021-08-13 | 北京小蝇科技有限责任公司 | 一种自底向上的寄生虫虫种发育阶段及图像像素分类方法 |
| CN113887649A (zh) * | 2021-10-19 | 2022-01-04 | 齐鲁工业大学 | 一种基于深层特征和浅层特征融合的目标检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3100642A1 (en) * | 2018-05-21 | 2019-11-28 | Corista, LLC | Multi-sample whole slide image processing in digital pathology via multi-resolution registration and machine learning |
-
2022
- 2022-03-31 CN CN202210332142.2A patent/CN114418863B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108764072A (zh) * | 2018-05-14 | 2018-11-06 | 浙江工业大学 | 一种基于多尺度融合的血细胞亚型图像分类方法 |
| CN111861945A (zh) * | 2020-09-21 | 2020-10-30 | 浙江大学 | 一种文本引导的图像修复方法和系统 |
| CN112200720A (zh) * | 2020-09-29 | 2021-01-08 | 中科方寸知微(南京)科技有限公司 | 一种基于滤波器融合的超分辨率图像重建方法及系统 |
| CN112597852A (zh) * | 2020-12-15 | 2021-04-02 | 深圳大学 | 细胞分类方法、装置、电子设备及存储介质 |
| CN113191949A (zh) * | 2021-04-28 | 2021-07-30 | 中南大学 | 多尺度超分辨率病理图像数字化方法、系统及存储介质 |
| CN113256636A (zh) * | 2021-07-15 | 2021-08-13 | 北京小蝇科技有限责任公司 | 一种自底向上的寄生虫虫种发育阶段及图像像素分类方法 |
| CN113887649A (zh) * | 2021-10-19 | 2022-01-04 | 齐鲁工业大学 | 一种基于深层特征和浅层特征融合的目标检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| Improving cervical cancer classification with imbalanced datasets combining taming transformers with T2T-ViT;Chen Zhao 等;《Multimedia Tools and Applications》;20220319;第1-36页 * |
| 基于掩码Transformer的图像修复网络;康延亭 等;《计算机科学与应用》;20220125;第12卷(第01期);第83-94页 * |
| 有限标注下的病理图像细胞检测研究;王赛;《中国优秀博硕士学位论文全文数据库(硕士) 医药卫生科技辑》;20220215(第02期);第E072-35页 * |
| 深度学习技术在细胞形态学图像处理中的研究进展;赵天赐 等;《临床检验杂志》;20191128;第37卷(第11期);第856-860页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114418863A (zh) | 2022-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jiang et al. | Rain-free and residue hand-in-hand: A progressive coupled network for real-time image deraining | |
| Bao et al. | Real image denoising based on multi-scale residual dense block and cascaded U-Net with block-connection | |
| CN111861894A (zh) | 基于生成式对抗网络的图像去运动模糊方法 | |
| Chen et al. | Deep point set resampling via gradient fields | |
| CN112288632A (zh) | 基于精简esrgan的单图像超分辨率方法及系统 | |
| Conde et al. | Lens-to-lens bokeh effect transformation. NTIRE 2023 challenge report | |
| Chen et al. | Blind de-convolution of images degraded by atmospheric turbulence | |
| Dai et al. | Image super-resolution via residual block attention networks | |
| Yan et al. | Unsupervised image noise modeling with self-consistent GAN | |
| Liang et al. | A decoupled learning scheme for real-world burst denoising from raw images | |
| Lyu et al. | Boosting attention fusion generative adversarial network for image denoising | |
| CN110570375A (zh) | 一种图像处理方法、装置、电子设置以及存储介质 | |
| Xiao et al. | A dive into sam prior in image restoration | |
| KR102357350B1 (ko) | 딥러닝을 이용한 저선량 ct 영상의 통계적 영상 복원 방법 및 시스템 | |
| Liang et al. | NTIRE 2024 restore any image model (RAIM) in the wild challenge | |
| CN114092354A (zh) | 一种基于生成对抗网络的人脸图像修复方法 | |
| CN114418863B (zh) | 细胞图像修复方法、装置、计算机存储介质及电子设备 | |
| Zhang et al. | Iterative multi‐scale residual network for deblurring | |
| Kim et al. | Restoring spatially-heterogeneous distortions using mixture of experts network | |
| Shedligeri et al. | A unified framework for compressive video recovery from coded exposure techniques | |
| Sheta | Restoration of medical images using genetic algorithms | |
| CN116152128A (zh) | 基于注意力机制的高动态范围多曝光图像融合模型及方法 | |
| Cai et al. | Real-time super-resolution for real-world images on mobile devices | |
| CN111489300B (zh) | 基于无监督学习的屏幕图像去摩尔纹方法 | |
| Tian et al. | Retinal fundus image superresolution generated by optical coherence tomography based on a realistic mixed attention GAN |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |