CN109978771A - 基于内容分析的细胞图像快速融合方法 - Google Patents
基于内容分析的细胞图像快速融合方法 Download PDFInfo
- Publication number
- CN109978771A CN109978771A CN201910274841.4A CN201910274841A CN109978771A CN 109978771 A CN109978771 A CN 109978771A CN 201910274841 A CN201910274841 A CN 201910274841A CN 109978771 A CN109978771 A CN 109978771A
- Authority
- CN
- China
- Prior art keywords
- image
- cell
- fusion
- unicellular
- multifocal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title abstract description 10
- 238000004458 analytical method Methods 0.000 title abstract description 8
- 238000000034 method Methods 0.000 claims abstract description 34
- 230000004927 fusion Effects 0.000 claims abstract description 26
- 239000000463 material Substances 0.000 claims abstract description 6
- 238000002474 experimental method Methods 0.000 claims abstract description 4
- 230000000007 visual effect Effects 0.000 claims description 16
- 239000012535 impurity Substances 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 7
- 238000007873 sieving Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 6
- 238000003475 lamination Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 239000011521 glass Substances 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000013526 transfer learning Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 claims 1
- 230000001149 cognitive effect Effects 0.000 claims 1
- 238000005457 optimization Methods 0.000 claims 1
- 238000007796 conventional method Methods 0.000 abstract 1
- 239000006185 dispersion Substances 0.000 abstract 1
- 201000011510 cancer Diseases 0.000 description 13
- 206010028980 Neoplasm Diseases 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 9
- 238000012216 screening Methods 0.000 description 8
- 238000003745 diagnosis Methods 0.000 description 7
- 238000010827 pathological analysis Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 229910000673 Indium arsenide Inorganic materials 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000032798 delamination Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 235000006694 eating habits Nutrition 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- RPQDHPTXJYYUPQ-UHFFFAOYSA-N indium arsenide Chemical compound [In]#[As] RPQDHPTXJYYUPQ-UHFFFAOYSA-N 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Processing (AREA)
Abstract
一种细胞图像快速融合方法，本发明涉及基于内容分析的细胞图像快速融合方法。显微镜下的细胞由于不在同一个焦平面，需要图像融合才能获得清晰图像。传统方法对整张图像进行融合运算，效率低下。为解决这一问题，提出了基于内容分析的细胞图像快速融合方法。首先通过快速异步抓图并筛选出用于融合的图像；然后分割图像并把图像内容分为分散细胞、重叠细胞和垃圾三类后用不同的方法进行融合；最后将融合的各种细胞内容拼接成一张清晰图像作为最终结果。由于只对重叠细胞进行了复杂的融合运算，有效降低了运算的时间复杂度。实验表明，与传统方法相比，所提出的方法具有更高的融合效率。本发明应用于医学图像采集和融合领域。
Description
技术领域
本发明设计基于内容分析的细胞图像快速融合方法。
背景技术
近年来，随着经济和社会的发展，由于饮食习惯、社会压力、环境污染、作息不规律等因素，癌症在全球范围内大规模爆发，已经成为危害人们生命的严重问题，国际癌症研究机构2018年统计数据表明，全球新增例癌症病例1810万，死亡人数高达960万；我国是癌症爆发的重灾区，2018年新发癌症病例428万，占全球新增病例的23.7％，死亡病例286万，占全球死亡病例的30％，这意味着我国平均每天超过10000人被确诊为癌症，即每分钟就有7个人被确诊为癌症；“癌症”泛指所有恶性肿瘤，已成为威胁人类健康的头号杀手，早发现早治疗是目前应对癌症唯一有效的方法；
病理诊断为目前具有确诊意义的检查手段；传统的病理诊断通过采集人体脱落细胞或组织制片染色，然后由病理医生在镜下观察寻找异常细胞后做出诊断；诊断是采集脱落细胞进行检查，取材简单，应用广泛，又能做出定性诊断，特别适合筛查，但是完全依赖于医生的人工阅片，准确率普遍较低，存在大量的误诊和漏诊，并且由于病理诊断的工作量大，病理医生严重缺乏，无法推广大面积筛查；因此，在应对癌症爆发的问题上，发展自动化和智能化的诊断设备，用于提高癌症诊断准确率、减少医生工作量、推进癌症早期筛查在我国这样一个癌症大国变得尤为迫切，自动化阅片技术是其中重要的环节之一，自动化阅片技术的首要任务是采集到清晰的图像，其中宫颈细胞中的TCT细胞图像属于多焦点图像，无法采集到同一景深中完全清晰的细胞图像，快速图像融合技术就是快速采集到不同景深的两个或多个焦点处的图像进行融合，生成一幅完整清晰的图像，能够解决多焦点图像在自动阅片中出现的问题，所以快速图像融合在自动阅片技术中具有重要意义；
目前提出了许多不同的多焦点图像融合方法，这些方法可以分为两大类:变换域融合与空间域融合，空间域融合对单一像素进行操作，是像素级融合方法，这类方法通过计算各个像素的平均值进行加权融合，方法简单易实现，但是融合之后的图像对比度低；深度学习发展迅速，卷积神经网络(CNN)越来越多的应用到图像融合中，但是通常情况下由于卷积网络层数过多导致融合时间复杂度高，变换域融合是首先对图像不同尺度的变换，变换成低频部分和高频部分，低频部分表现的是图像的概貌和平均特性，高频部分反应的是图像的细节特性，分别对不同的部分进行不同规则的融合，最后再逆变换，对融合后的系数进行重构，得到融合的图像；变换域融合基本方法有：拉普拉斯金字塔、离散小波变换(DWT)、非下采样轮廓波变换(NSCT)、稀疏表示，但是快速采集到的多焦点细胞图像存在大量背景，而背景并不包含细胞信息，所以不需要参与融合运算，上述方法把背景信息加入运算导致时间复杂度较高，针对此问题本文提出基于内容分析的细胞图像快速融合方法具有重要的意义，通过5种客观评价方法对本方法进行了验证，本方法在保证融合效果的基础上，降低了运算的时间复杂度。
发明内容
本发明的目的是为了解决快速采集到的多焦点细胞图像存在大量背景，把背景信息加入运算导致时间复杂度较高的问题，而提出的一种基于内容分析的细胞图像快速融合方法；
本发明主要技术方案如下。
步骤一、异步采图
在显微镜自动阅片的过程中，快速采集到不同视野下，位于焦曲面附近的多张图像。
步骤二、图像筛选
从采集到的多张图像中筛选出来用于融合的多焦点图像，也就是存在细胞分层现象的图像，计算采集到的图像的清晰度，计算公式如公式(1)：
多细胞图像中，多焦点图像清晰度值与相邻的模糊图像清晰度值差值大于设定阈值，那么选择当前的多焦点图像与它之后的两张图像作为最终的筛选结果；
少细胞图像中，直接对比清晰度值，计算每张图像的清晰度，选择清晰度值最大的图像和它前后各一张图像，一共三张图像作为最终的筛选结果。
步骤三、图像分割
将筛选出来的多焦点图像进行自适应阈值化、形态学滤波，分割出分离背景区域和细胞区域，计算公式如公式(2)-(4)。
步骤四、图像内容识别
将分割出来的、去掉背景信息的图像通过基于VGG模型训练的分类器分为单细胞、成团细胞和杂质三类；通过调整模型中Batch_Size、学习率参数和最大迭代次数，训练出适合单细胞、成图细胞和杂质样本的分类器；
成团细胞基于引导滤波融合方法得到最清晰图像：首先将源图像通过均值滤波器，得到它的基础图像Bn；然后从源图像中减去它的基础图像得到细节图像Dn；再将源图像通过拉普拉斯滤波器，利用图像的局部平均值构造显著图像；接下来比较显著图像,确定权重图；在每个权重图Pn上执行引导滤波，其中相应的源图像作为引导图像；
公式(5)-(6)中，r1，r2，ε1，ε2是引导滤波的参数，Mn为第n个成团细胞的源图像，得到基础图像和细节图像经过权重图之后的结果图；最后将不同源图像的基础图和细节图通过加权平均法融合在一起，再将融合之后的基础图像和细节图像相加即得最后的融合图像F，如公式(7)；
单细胞图像对比清晰度选择最清晰图像，方法如公式(8)；
D(C)＝max{D(C1),D(C2),D(C3)} (8)
杂质不处理。
步骤五、图像拼接
从源图像中找一张最清晰的图像作为背景模板，将所有的清晰的单细胞、成团细胞和杂质按照分割轮廓的位置拼接成一张完整的清晰图像。
附图说明
图1是本发明流程图；
图2是步骤一中的采集图片时的平台Z轴移动路线；
图3是步骤二中的一个视野下图像清晰度值分布；
图4是步骤二中的一个视野下采集到的图像；
图5是步骤四中成团细胞经过融合之后的结果；
图6是步骤四中单细胞经过比较清晰度得到的结果。
具体实施方法
以下内容结合附图对本发明进行说明：
如附图1所示，基于内容分析的细胞图像快速融合方法，具体实现步骤如下。
步骤一、异步采图
异步采图是平台在焦点范围上下移动过程中相机采集图像，与平台先移动、停止之后再相机采图相比，提高了采集速度；首先需要确定焦点位置，一个载玻片被划分为上百个视野，每一个视野的焦点位置不同，如果所有视野用固定的范围去采集图像，会导致得到的图像都不清晰；利用五点聚焦，得到拟合的焦曲面，进而得到每一个视野下大致的焦点位置；然后确定Z轴移动范围，控制Z轴在当前视野焦点范围内上下移动，并且采集图像；Z轴移动范围如附图2所示，经过实验确定，a＝150时采集到的图像能够更准确的包含多张多焦点图像；最后确定Z轴移动路线，在平台变换视野的过程中，Z轴采用蛇形的移动路线，能够提高平台变换时移动速度，减少整体采图的时间，如附图2所示的①②③为蛇形路线规划；通过利用焦曲面确定的采集范围，并异步采图，与焦平面确定的范围并采图相比，采集到多张比较清晰图像的准确率更高，采集的速度更快；采集到的图像即为初步的待筛选图像；本步骤可以快速的采集到焦曲面附近的图像。
步骤二、图像筛选
异步采图的结果中包含多张模糊和比较清晰的图像，如附图4，所以需要从采集到的图像中进行筛选，选择出能够用来融合的多焦点图像；
制作载玻片的过程中采用滴管将液体滴到玻片上，所以一般制作成功的玻片上细胞成圆形，而在图像采集过程中，由于平台变换视野时移动路线总体形状是圆的外接矩形，所采集到的图像中细胞含量不同，分为多细胞和少细胞；两种细胞含量的图像采用不同的筛选方法；
多细胞图像筛选方法：首先用Brenne函数分别计算采集到的图像清晰度，计算公式如公式(9)：
其中：D(I)为图像清晰度计算结果，I(x,y)表示图像I对应像素点(x,y)的灰度值；
计算多个样本，每个样本上百个视野的清晰度值发现，如附图4，处于峰顶的图像与它前后的两张图像是多焦点图像，细胞图像有分层情况，选择此三张图作为最终的融合样本；经实验发现，模糊图像与比较清晰图像之间的D值变化存在阈值T，T＝0.5，大于T代表图像开始变得清晰，即选择此图像和其后两张图像作为筛选的结果；此筛选方式减少了清晰度计算次数，只需计算视野中开始的1-2张图像的清晰度值，降低了图像筛选的时间复杂度，计算公式如公式(10)：
D(I2)-D(I1)＞T (10)
其中：多焦点图像清晰度值D(I2)与相邻的模糊图像清晰度值D(I1)差值大于阈值T，那么选择当前的多焦点图像与它之后的两张图像作为最终的筛选结果；
少细胞图像筛选：上百个视野中少细胞图像占10％，虽然细胞含量少，但却存在多焦点的情况，通过计算清晰度发现，每张图像清晰度值变化不大，所以这类图像直接对比清晰度值，计算每张图像的清晰度，选择清晰度值最大的图像和它前后各一张图像，一共三张图像作为最终的筛选结果。
步骤三、图像分割
筛选出来的图像存在背景信息，把背景加入到融合中只会增加运算速度，所以需要分离背景区域和细胞区域；
计算每个像素点G*G区域加权平均值m，然后减去常数c，得到该像素点的阈值，计算公式如公式(11)：
将阈值化的图像先腐蚀再膨胀，I为筛选的图像，E为结构元素，x为平移量，Θ表示腐蚀运算，表示膨胀运算，计算公式如公式(12)-(13)：
先腐蚀再膨胀为开运算，去除阈值化出现的孤立的小孔洞、噪声和不平滑边缘，使阈值化的图像中细胞部分缩小再增大。
步骤四、图像内容识别
将分割出来的图像单细胞、成团细胞和杂质三类，作为模型训练的样本；其中样本大小为224像素*224像素*3通道，单细胞、成团细胞和杂质训练样本数量分别为1311、1002和153个，测试样本数量为训练样本数量的1/10；基于VGG-16卷积神经网络模型进行训练，该模型利用迁移学习方法。VGG-16模型包括13个卷积层和3个全连接层，卷积核大小为3*3，通过调整模型中Batch_Size、学习率和迭代次数，训练出适合单细胞、成图细胞和杂质样本的分类器，提高识别的准确率，避免发生过拟合现象；
最后将分割出来的细胞图像放入训练好的分类器进行分类，得到正确的识别结果；其中单细胞图像不存在多焦点现象，成团细胞存在多焦点现象，杂质属于制作玻片时产生的，所以单细胞图像和成团细胞图像需要通过不同的方法得到最清晰的结果：
成团细胞图像融合：成团细胞存在分层现象，属于多焦点图像；为了得到各个层次都清晰的图像，利用基于引导滤波的图像融合技术；
(1)将源图像通过均值滤波器，得到它的基础图像Bn；其中Mn为第n个成团细胞的源图像，Z为均值滤波器，滤波器大小为31*31，计算公式如公式(14)：
Bn＝Mn*Z (14)
(2)从源图像中减去它的基础图像得到细节图像，计算公式如公式(15)：
Dn＝Mn-Bn (15)
(3)将源图像通过拉普拉斯滤波器，利用图像的局部平均值构造显著图像Sn；接下来比较显著图像Sn确定权重图，权重确定方法如公式(16)：
在每个权重图Pn上执行引导滤波，其中相应的源图像In作为引导图像，公式(17)，(18)中，r1，r2，ε1，ε2是引导滤波的参数，和是基础图像和细节图像经过权重图之后的结果图；
(4)将不同源图像的基础图和细节图通过加权平均法融合在一起，再将融合之后的基础图像和细节图像相加即得最后的融合图像F，计算方法如公式(19)-(21)，得到的结果如附图5所示；
单细胞比较清晰度：单细胞图像不存在分层现象，所以比较源图像In中单细胞Cm图像的清晰度，得到最清晰的一个单细胞图像C，结果如附图4所示。
D(C)＝max{D(C1),D(C2),D(C3)} (22)
步骤五、图像拼接
从In中找一张最清晰的图像I作为背景模板，将所有的清晰的单细胞C、成团细胞F和杂质O按照分割轮廓的位置拼接成一张完整的清晰图像R。
Claims (5)
1.本发明是使用如下步骤进行的：一、异步采图；二、图像筛选，多细胞图像筛选和少细胞图像筛选运用不同的方法；三、图像内容识别；四、图像拼接。
2.在异步采图阶段，本发明提出保护方法如下：
通过单一的聚焦算法无法得到完整清晰的图像，需要制定快速的图像采集方法来得到多张比较清晰的图像；异步采图，是平台在焦点范围上下移动过程中相机采集图像，与平台先移动、停止之后再相机采图相比，提高了采集速度；具体过程是，首先需要确定焦点位置，一个载玻片被划分为上百个视野，每一个视野的焦点位置不同，如果所有视野用固定的范围去采集图像，会导致得到的图像都不清晰；利用五点聚焦，得到拟合的焦曲面，进而得到每一个视野下大致的焦点位置；然后确定Z轴移动范围，控制Z轴在当前视野焦点范围内上下移动，并且采集图像；Z轴移动范围2a经过实验确定，a＝150时采集到的图像能够更准确的包含多张多焦点图像；最后确定Z轴移动路线，在平台变换视野的过程中，Z轴采用蛇形的移动路线，能够提高平台变换时移动速度，减少整体采图的时间，按照蛇形路线规划；通过利用焦曲面确定的采集范围，并异步采图，与焦平面确定的范围并采图相比，采集到多张比较清晰图像的准确率更高，采集的速度更快。
3.在图像筛选阶段，本发明提出保护方法如下：
对于多细胞图像，用Brenne函数分别计算采集到的图像清晰度D(I1)，D(I2)，…，D(In)，如果多焦点图像清晰度值D(I2)与相邻的模糊图像清晰度值D(I1)差值大于阈值T，经实验T＝0.5，那么选择当前的多焦点图像与它之后的两张图像作为最终的筛选结果；对于少细胞图像，同样方法计算每张图像的清晰度，选择清晰度值最大的图像和它前后各一张图像，一共三张图像作为最终的筛选结果。
4.图像内容识别阶段，本发明提出保护方法如下：
首先通过自适应阈值算法二值化图像，得到的细胞图像中存在噪声、孤立的小孔洞、不平滑边缘；然后将图像进行形态学操作优化，分割出轮廓图像；最后将分割图像通过深度学习模型进行识别，该模型利用迁移学习方法，提高识别的准确率，避免发生过拟合现象，最终适应细胞图像，得到正确的识别结果；将分割出来的图像单细胞、成团细胞和杂质三类，作为模型训练的样本，其中样本大小为224像素*224像素*3通道，单细胞、成团细胞和杂质训练样本数量分别为1311、1002和153个，测试样本数量为训练样本数量的1/10，基于VGG-16卷积神经网络模型进行迁移学习，VGG-16模型包括13个卷积层和3个全连接层，卷积核大小为3*3，通过调整模型中Batch_Size、学习率和迭代次数，训练出适合单细胞、成图细胞和杂质样本的分类器；分割出来的细胞图像放入训练好的分类器进行分类，确定为单细胞、成团细胞和杂质，其中单细胞图像不存在多焦点现象，成团细胞存在多焦点现象，杂质属于制片时产生的，所以单细胞图像和成团细胞图像需要通过不同的方法得到最清晰的结果；成团细胞图像融合：成团细胞存在分层现象，属于多焦点图像，为了得到各个层次都清晰的图像，利用基于引导滤波的图像融合技术进行图像融合，得到清晰的成团细胞图像；将不同源图像的基础图和细节图通过加权平均法融合在一起，再将融合之后的基础图像和细节图像相加即得最后的融合图像；
单细胞比较清晰度：单细胞图像不存在分层现象，所以比较源图像中单细胞图像的清晰度，最后得到最清晰的一个单细胞图像。
5.图像拼接阶段，本发明提出保护方法如下：
从原图像中找一张最清晰的图像作为背景模板，将所有的清晰的单细胞、成团细胞和杂质按照分割轮廓的位置拼接成一张完整的清晰图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910274841.4A CN109978771A (zh) | 2019-04-08 | 2019-04-08 | 基于内容分析的细胞图像快速融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910274841.4A CN109978771A (zh) | 2019-04-08 | 2019-04-08 | 基于内容分析的细胞图像快速融合方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109978771A true CN109978771A (zh) | 2019-07-05 |
Family
ID=67083276
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910274841.4A Pending CN109978771A (zh) | 2019-04-08 | 2019-04-08 | 基于内容分析的细胞图像快速融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109978771A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110837809A (zh) * | 2019-11-11 | 2020-02-25 | 湖南伊鸿健康科技有限公司 | 血液自动分析方法、系统、血细胞分析仪及存储介质 |
| CN110992408A (zh) * | 2019-11-18 | 2020-04-10 | 迪普派斯医疗科技(山东)有限公司 | 基于病理显微镜的数字切片处理方法及系统 |
| CN111062346A (zh) * | 2019-12-21 | 2020-04-24 | 电子科技大学 | 一种白细胞自动定位检测及分类识别系统及方法 |
| CN112529791A (zh) * | 2020-11-16 | 2021-03-19 | 中国海洋大学 | 基于浮游生物数字全息图像的自适应性多焦点复原方法 |
| CN113256717A (zh) * | 2021-05-08 | 2021-08-13 | 华南师范大学 | 一种细胞涂片辅助分析方法和系统 |
| CN116503301A (zh) * | 2023-06-27 | 2023-07-28 | 珠海横琴圣澳云智科技有限公司 | 基于空间域的显微镜下细胞图像融合方法及装置 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102289066A (zh) * | 2011-08-12 | 2011-12-21 | 北京航空航天大学 | 一种多细胞培养过程自动显微成像系统 |
| CN102947858A (zh) * | 2010-04-08 | 2013-02-27 | 帕斯科数码有限责任公司（商业用为奥姆尼克斯有限责任公司） | 包括重叠边缘对比的图像质量评价 |
| CN104390981A (zh) * | 2014-12-12 | 2015-03-04 | 宁波江丰生物信息技术有限公司 | 基于图像采集装置的快速准确对焦扫描病理切片组织的方法 |
| CN105205804A (zh) * | 2015-08-18 | 2015-12-30 | 爱威科技股份有限公司 | 血细胞图像中白细胞的核浆分离方法、分类方法及装置 |
| CN107543788A (zh) * | 2017-08-15 | 2018-01-05 | 焦作市人民医院 | 一种尿红细胞畸形率检测方法及系统 |
| CN107832838A (zh) * | 2017-11-28 | 2018-03-23 | 北京羽医甘蓝信息技术有限公司 | 评价细胞涂片标本满意度的方法和装置 |
| US20180144522A1 (en) * | 2016-11-21 | 2018-05-24 | National Tsing Hua University | Image positioning and stitching method and image detection system of cell detection chip |
| CN108320289A (zh) * | 2018-02-12 | 2018-07-24 | 华南理工大学 | 一种基于稀疏表示和形态学操作的骨髓细胞分割方法 |
| CN108376400A (zh) * | 2018-02-12 | 2018-08-07 | 华南理工大学 | 一种骨髓细胞自动分类方法 |
| CN109376777A (zh) * | 2018-10-18 | 2019-02-22 | 四川木牛流马智能科技有限公司 | 基于深度学习的宫颈癌组织病理学图像分析方法及设备 |
-
2019
- 2019-04-08 CN CN201910274841.4A patent/CN109978771A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102947858A (zh) * | 2010-04-08 | 2013-02-27 | 帕斯科数码有限责任公司（商业用为奥姆尼克斯有限责任公司） | 包括重叠边缘对比的图像质量评价 |
| CN102289066A (zh) * | 2011-08-12 | 2011-12-21 | 北京航空航天大学 | 一种多细胞培养过程自动显微成像系统 |
| CN104390981A (zh) * | 2014-12-12 | 2015-03-04 | 宁波江丰生物信息技术有限公司 | 基于图像采集装置的快速准确对焦扫描病理切片组织的方法 |
| CN105205804A (zh) * | 2015-08-18 | 2015-12-30 | 爱威科技股份有限公司 | 血细胞图像中白细胞的核浆分离方法、分类方法及装置 |
| US20180144522A1 (en) * | 2016-11-21 | 2018-05-24 | National Tsing Hua University | Image positioning and stitching method and image detection system of cell detection chip |
| CN107543788A (zh) * | 2017-08-15 | 2018-01-05 | 焦作市人民医院 | 一种尿红细胞畸形率检测方法及系统 |
| CN107832838A (zh) * | 2017-11-28 | 2018-03-23 | 北京羽医甘蓝信息技术有限公司 | 评价细胞涂片标本满意度的方法和装置 |
| CN108320289A (zh) * | 2018-02-12 | 2018-07-24 | 华南理工大学 | 一种基于稀疏表示和形态学操作的骨髓细胞分割方法 |
| CN108376400A (zh) * | 2018-02-12 | 2018-08-07 | 华南理工大学 | 一种骨髓细胞自动分类方法 |
| CN109376777A (zh) * | 2018-10-18 | 2019-02-22 | 四川木牛流马智能科技有限公司 | 基于深度学习的宫颈癌组织病理学图像分析方法及设备 |
Non-Patent Citations (2)
| Title |
|---|
| ANDREY V. SAVCHENKO ET AL: "Unconstrained face identification using maximum likelihood of distances between deep off-the-shelf features", 《EXPERT SYSTEMS WITH APPLICATIONS》 * |
| 江泽涛等: "基于改进引导滤波和双通道脉冲发放皮层模型的红外与可见光图像融合算法", 《光学学报》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110837809A (zh) * | 2019-11-11 | 2020-02-25 | 湖南伊鸿健康科技有限公司 | 血液自动分析方法、系统、血细胞分析仪及存储介质 |
| CN110992408A (zh) * | 2019-11-18 | 2020-04-10 | 迪普派斯医疗科技(山东)有限公司 | 基于病理显微镜的数字切片处理方法及系统 |
| CN111062346A (zh) * | 2019-12-21 | 2020-04-24 | 电子科技大学 | 一种白细胞自动定位检测及分类识别系统及方法 |
| CN112529791A (zh) * | 2020-11-16 | 2021-03-19 | 中国海洋大学 | 基于浮游生物数字全息图像的自适应性多焦点复原方法 |
| CN113256717A (zh) * | 2021-05-08 | 2021-08-13 | 华南师范大学 | 一种细胞涂片辅助分析方法和系统 |
| CN113256717B (zh) * | 2021-05-08 | 2022-01-21 | 华南师范大学 | 一种细胞涂片辅助分析方法和系统 |
| CN116503301A (zh) * | 2023-06-27 | 2023-07-28 | 珠海横琴圣澳云智科技有限公司 | 基于空间域的显微镜下细胞图像融合方法及装置 |
| CN116503301B (zh) * | 2023-06-27 | 2023-09-12 | 珠海横琴圣澳云智科技有限公司 | 基于空间域的显微镜下细胞图像融合方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109978771A (zh) | 基于内容分析的细胞图像快速融合方法 | |
| CN109191457B (zh) | 一种病理图像质量有效性识别方法 | |
| CN110428432B (zh) | 结肠腺体图像自动分割的深度神经网络算法 | |
| CN110376198B (zh) | 一种宫颈液基细胞切片质量检测系统 | |
| Quinn et al. | Deep convolutional neural networks for microscopy-based point of care diagnostics | |
| CN109447998B (zh) | 基于PCANet深度学习模型下的自动分割方法 | |
| CN110765855B (zh) | 一种病理图像处理方法及系统 | |
| CN109800824A (zh) | 一种基于计算机视觉与机器学习的管道缺陷识别方法 | |
| CN109829882B (zh) | 一种糖尿病视网膜病变分期预测方法 | |
| CN112380900A (zh) | 基于深度学习的子宫颈液基细胞数字图像分类方法及系统 | |
| Pan et al. | Mitosis detection techniques in H&E stained breast cancer pathological images: A comprehensive review | |
| CN108537751B (zh) | 一种基于径向基神经网络的甲状腺超声图像自动分割方法 | |
| CN107730499A (zh) | 一种基于nu‑支持向量机的白细胞分类方法 | |
| CN114945941A (zh) | 用于支持肿瘤检测和分析的非肿瘤分割 | |
| CN111079620A (zh) | 基于迁移学习的白细胞图像检测识别模型构建方法及应用 | |
| US11790673B2 (en) | Method for detection of cells in a cytological sample having at least one anomaly | |
| CN118447499A (zh) | 基于图像识别的呼吸道检查结果判读方法及系统 | |
| CN114648806A (zh) | 一种多机制自适应的眼底图像分割方法 | |
| CN113177929B (zh) | 一种基于全卷积网络的海面溢油检测方法及其系统和应用 | |
| CN114300099B (zh) | 一种基于YOLOv5和显微高光谱图像的异型淋巴细胞分型方法 | |
| CN112580748A (zh) | 一种对Ki67染色图像癌细胞计数的方法 | |
| CN102636656B (zh) | 一种全自动尿有形成分分析仪的校准方法 | |
| CN115471838A (zh) | 基于深度自适应特征提取的宫颈鳞状病变细胞检测方法 | |
| CN115206495A (zh) | 基于CoAtNet深度学习的肾癌病理图像分析方法、系统及智能显微装置 | |
| Karunakar et al. | An unparagoned application for red blood cell counting using marker controlled watershed algorithm for android mobile |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20230707 |