CN110533583B - 一种基于宫颈液基细胞的自适应图像增广系统 - Google Patents
一种基于宫颈液基细胞的自适应图像增广系统 Download PDFInfo
- Publication number
- CN110533583B CN110533583B CN201910808080.6A CN201910808080A CN110533583B CN 110533583 B CN110533583 B CN 110533583B CN 201910808080 A CN201910808080 A CN 201910808080A CN 110533583 B CN110533583 B CN 110533583B
- Authority
- CN
- China
- Prior art keywords
- image
- color
- target
- images
- target image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003416 augmentation Effects 0.000 title claims abstract description 18
- 239000012530 fluid Substances 0.000 title claims abstract description 18
- 238000010186 staining Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 13
- 239000003086 colorant Substances 0.000 claims description 12
- 230000003044 adaptive effect Effects 0.000 claims description 11
- 238000000926 separation method Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000006798 recombination Effects 0.000 claims description 6
- 238000005215 recombination Methods 0.000 claims description 6
- 230000003321 amplification Effects 0.000 claims description 5
- 238000004043 dyeing Methods 0.000 claims description 5
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 abstract description 9
- 210000004027 cell Anatomy 0.000 description 15
- 230000008569 process Effects 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 3
- 230000001575 pathological effect Effects 0.000 description 3
- 230000007170 pathology Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 235000013405 beer Nutrition 0.000 description 2
- 210000000805 cytoplasm Anatomy 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008521 reorganization Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241000269627 Amphiuma means Species 0.000 description 1
- 235000002566 Capsicum Nutrition 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 210000003850 cellular structure Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000000120 cytopathologic effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 1
- 230000002327 eosinophilic effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 229940127554 medical product Drugs 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000004062 sedimentation Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
- G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/513—Sparse representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本发明公开了一种基于宫颈液基细胞的自适应图像增广系统，具体涉及医疗技术领域，包括有目标图像集的创建模块、目标图像与源图像的自动匹配模块和图像转化模块；所述目标图像的创建模块将用于收集各种不可控因素影响的切片图像作为目标图像，进而模拟这些不可控因素造成的颜色影响；所述目标图像与源图像的自动匹配模块用于找到源图像所对应的目标图像。本发明通过用目标图像与源图像染色密度图进行建模，在保存生物结构信息的基础上，对切片图像进行颜色迁移，即目标图像的颜色特征迁移到源图像上，可以模拟上述不可控因素对图像颜色的影响，从而提高AI辅助系统的泛化能力。
Description
技术领域
本发明涉及医疗技术领域，更具体地说，本发明涉及一种基于宫颈液基细胞的自适应图像增广系统。
背景技术
先进的高通量扫描技术使人工智能分析病理成为可能。在大数据时代的背景下，大部分基于这些病理图像的算法都采用了机器学习或者深度学习等方法。这都依赖于通过大量的训练数据集捕捉各种各样的变化来区分类内差异和类间差异从而识别各类癌变细胞。但标注大规模数据集，尤其是难获取的医学图像数据，不仅需要专业人士的参与而且十分耗时。因此获取足够数量且具有广泛代表性的训练样本是医学辅助诊断甚至所有AI领域研发的关键环节。无论是公知领域还是专业领域，都进行了样本增广。值得注意的是，不同领域甚至是同一领域的不同研究方向，其获取样本的增广方法均不相同。此外，样本增广并不是普通的增加样本数量，而是尽可能再现小样本量无法完全覆盖的真实样本存在，从而提高样本多样性，提高算法乃至是AI系统的表现力和性能。目前，数据增广最基本、最普遍的方法有：
1.对颜色的增强：调整图像亮度、饱和度、对比度、颜色通道；
2.采用简单的仿射变换：对图像进行水平、垂直翻转或者平移变换；
3.大小的调整：采用随机插值方式，对图像进行裁剪、缩放、扭曲；
4.增加噪音、抖动：对图像引入高斯模糊或者对图像进行模糊处理，对于超声图像，还可以增加椒盐噪声；
5.随机遮挡或擦除：以随机像素擦除随机选择的矩形区域，产生不同遮挡的程度的图像，该方法与随机裁剪、旋转具有一定的互补性即综合应用这些方法模型可以获得更好的表现。
随着AI在医疗领域的发展日益显著，以计算机图像作为载体的影像、病理已然成为AI医疗领域落地的主要突破口。鉴于医疗图像种类的多样性和复杂性，收集相关数据是一个耗时耗力且耗费大量资金的过程，而且需要研究人员与专业医生合作完成。在AI辅助医疗中，样本获取有诸多的限制：1)医疗数据合法使用的法规政策不明确。现有的医疗数据安全规定过于笼统；2)医院和医生提供医疗数据的动力不足。一些医院对于提供需要大量提供标注信息的数据，执行力不强；3)现有的医疗数据标准化没有形成，质量参差不齐。
综上所述，数据过于单一将会造成最终的算法无法很好地适应大多数医院，算法不稳定将直接导致漏诊，错诊的情况，此外，在短时间内收集到的数据中有大部分是来自医院很早之前保留的切片，这些切片由于保存时间长，大多比较陈旧，在图像上表现出不同程度上的暗沉、对比度不高、甚至出现褪色或者模糊的情况。
发明内容
为了克服现有技术的上述缺陷，本发明的实施例提供一种基于宫颈液基细胞的自适应图像增广系统，通过用目标图像与源图像染色密度图进行建模，在保存生物结构信息的基础上，对切片图像进行颜色迁移，即目标图像的颜色特征迁移到源图像上，可以模拟上述不可控因素对图像颜色的影响，从而提高AI辅助系统的泛化能力，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于宫颈液基细胞的自适应图像增广系统，包括有目标图像集的创建模块、目标图像与源图像的自动匹配模块和图像转化模块；
所述目标图像的创建模块将用于收集各种不可控因素影响的切片图像作为目标图像，进而模拟这些不可控因素造成的颜色影响；
所述目标图像与源图像的自动匹配模块用于找到源图像所对应的目标图像；
所述图像转化模块主要负责将源图像转化成与目标图像颜色相似的图像，从而达到数据扩增的目的。
在一个优选地实施方式中，所述目标图像的创建模块中挑选目标图像需要用到以下原则：尽可能的收集用新鲜切片扫描的图像、尽可能的收集不同扫描仪扫描的图像、对于同一切片的图像，尽可能的收集有不同颜色分布的图像、尽可能收集具有代表性的不同地区医院的切片图像、尽可能的收集有不同类型阳细胞的图像、尽可能的收集不同制片方式的切片图像和尽可能选择质量好的图像。
在一个优选地实施方式中，所述目标图像的创建模块中所挑选的目标图像可根据不同模型的输出要求设置，且每一张大的切片图像都应选择若干同样大小的patch作为target，而目标图像集的数量≥200张。
在一个优选地实施方式中，所述目标图像与源图像的自动匹配模块中图像匹配准则为颜色相似度和纹理相似度。
在一个优选地实施方式中，所述目标图像与源图像的自动匹配模块中颜色相似度和纹理相似度的图像匹配准则满足如下算法：
其中，在(1)中
为两张图像颜色的相似度，512为三通道的彩色图像共有512个组合，即图像的颜色特征向量有512维，vs为源图像的特征向量，vt为目标图像集的特征向量，上标i代表目标图像集的第i张图像；在(2)中，
为纹理信息的相似度，
表示源图像所对应的灰度图在q位置下的灰度值，
表示目标图像所对应的灰度图在q位置下的灰度值，w和h分别为图像的长和宽；在(3)中，实际项目中的a一般取0.35，b取0.65。
在一个优选地实施方式中，所述图像转化模块包括有增值偏移聚类算法、染色分离算法和颜色重组算法。
在一个优选地实施方式中，所述增值偏移聚类算法满足如下公式：
其中，m*m为划分后的图像块大小，r，g，b分别表示三个颜色通道图像块的灰度均值，
表示图像块红色通道上位置(i,j)上的灰度值。
在一个优选地实施方式中，所述染色分离算法满足如下公式：
I＝I0exp(-WH)
其中，I0表示光强度，I表示rgb图像矩阵，W表示颜色外观矩阵，H为染色密度图。
在一个优选地实施方式中，所述颜色重组算法满足如下公式：
本发明的技术效果和优点：
1、本发明通过利用两个“自适应”的过程，其一为自动匹配目标图像，在数据扩增的过程中，不需要人为的干预；其二为在自动匹配的基础上，计算图像染色分离的个数，以适应各种复杂的宫颈液基细胞切片图像的转化，使得本专利所提及的数据增广方法并不是普通的仿射变换，而是针对的特殊数据：宫颈液基细胞切片图像，从各个方面考虑了影响细胞切片图像颜色的因素，并能够模拟出这些不同因素造成的颜色表现，同时，本专利的应用范围不局限于宫颈液基细胞，其他细胞病理学的图像仍然可以适用，该方法扩展性强，不仅可以在保证细胞结构的前提下改变图像的整体颜色，也可以针对背景色进行修改；
2、本发明可根据图像转化的算法原理，在自动匹配模块中设计了匹配准则，结合了图像的纹理和颜色特征，这样选出来的目标图像与源图像的整体差距适中，不会造成如果颜色差距很大的图像不能被选中；
3、本发明中所提及的基于染色分离的颜色重组在病理学中的应用大部分是基于组织病理学的，因为图像的颜色主要只有两种，而本专利涉及的基于多染色分离的颜色重组方法成功的应用到了病理细胞学，并且丰富了数据，提高了算法的泛化能力。
附图说明
图1为本发明的系统结构示意图。
图2为本发明的目标图像与源图像的自动匹配模块中的算法流程图。
图3为本发明的图像转化模块的整个转化过程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如说明书附图1-3所示，本发明提供了一种基于宫颈液基细胞的自适应图像增广系统，包括有目标图像集的创建模块、目标图像与源图像的自动匹配模块和图像转化模块；
所述目标图像的创建模块将用于收集各种不可控因素影响的切片图像作为目标图像，进而模拟这些不可控因素造成的颜色影响；
所述目标图像与源图像的自动匹配模块用于找到源图像所对应的目标图像；
所述图像转化模块主要负责将源图像转化成与目标图像颜色相似的图像，从而达到数据扩增的目的。
上述技术方案的具体应用场景为：
(一)目标图像集的创建模块
为了更好地适应自动匹配模块的算法以及最大程度上模拟这些不可控因素，挑选目标图像集需要用到以下原则：
1.尽可能的收集用新鲜切片扫描的图像。
2.尽可能的收集不同扫描仪扫描的图像。
3.对于同一切片的图像，尽可能的收集有不同颜色分布的图像。
4.尽可能收集具有代表性的不同地区医院的切片图像。
5.尽可能的收集有不同类型阳细胞的图像。
6.尽可能的收集不同制片方式的切片图像
7.尽可能选择质量好的图像
其他说明：以上所说的图像，其大小根据不同模型的输出要求设置，每一张大的切片图像都应选择若干(约5张)同样大小的patch作为target。目标图像集的数量至少在200张以上。
根据这些原则选择出来的目标图像集就具有不同特性(膜式、沉降式、各种颜色等属性的组合)。这将决定数据增广后的图像的多样性(二)目标图像与原图像的自动匹配模块
对于给定的源图像，我们将其颜色密度图与其所对应的目标图像的颜色基础相结合，从而在保留图像描述内容的同时只改变其颜色特征。
该模块的图像匹配准则有两个，1)颜色相似度；2)纹理相似度，其中
A、颜色相似度
根据图像的颜色分布计算颜色特征向量，其中颜色区间分为8个，三通道的彩色图像共有512个组合，即图像的颜色特征向量有512维，分别计算源图像的特征向量vs，目标图像集的特征向量vt，其中上标i代表目标图像集的第i张图像，则两张图像颜色的相似度
定义如下：
图像颜色直方图越接近则
越小；
B、纹理相似度
根据图像的纹理信息计算纹理相似度，由于图像只需要纹理信息，所以需要将彩色图像转化为灰度图像，相似度定义如下：
其中，
表示源图像所对应的灰度图在q位置下的灰度值，
表示目标图像所对应的灰度图在q位置下的灰度值，w和h分别为图像的长和宽，图像纹理信息越接近则
越小；
C、相似度加权
该匹配模块最终的匹配规则结合了纹理相似度和颜色相似度两个属性。对这两个属性进行线性加权，公式如下：
在实际的项目中，a一般取0.35，b取0.65。
最后计算目标数据集中所有图像与源图像的相似度并按照升序排列，显然，与源图像相似的图像排序是靠前的，为了避免将一些重要结构(如病变细胞)转化为现实中不应该有的颜色，产生不必要的颜色变形，故在匹配源图像对应的目标图像时，应该尽量选择排序靠前所对应的目标图像，一张源图像可以有多个目标图像，即可以将一张源图像转化为多个不同版本的图像。(三)图像转化模块
在转化的过程中，修改源图像的颜色并保持细胞核、细胞质等细胞结构不变，不同于组织病理学，其主要的染色方案是是苏木精和曙红的组合，苏木精是一种蓝紫色的嗜碱性染料，与细胞核强烈结合，而曙红是一种红粉色染色，主要与细胞质和基质中的嗜酸蛋白结合，因此组织学的病理切片图像主要呈现两种颜色：紫色和红粉红色，而宫颈液基细胞属于细胞学，常用巴士染色，而巴士染色可以有很多种颜色表现，由于该模块的算法是一种基于染色分离的方法，因此要解决的首要问题是源图像由几种主要的颜色组成，为了解决上述问题我们选择了像素级的无监督聚类算法——均值漂移聚类法，在此基础上进行染色分离、根据染色分离的密度图对源图像进行颜色重组。
综上所述，该模块共涉及三个算法：1)均值漂移聚类；2)染色分离；3)颜色重组，其中，
A.均值漂移聚类
为了得到源图像(或目标图像)由几种主要颜色组成，项目采用了像素级的无监督聚类方法，其具体做法如下：
将图像分为m*m大小的图像块，并分别计算三个颜色通道的在该图像块中的平均灰度值：
特征向量为：[r,g,b]，则特征向量集为所有图像块的特征向量[R,G,B]其中，r，g，b分别表示三个颜色通道图像块的灰度均值，
表示图像块红色通道上位置(i,j)上的灰度值，这些特征向量组成样本点，最后使用均值漂移聚类算法得到簇的个数即为图像的主要组成颜色数n；
B、染色分离
通过上述方法得到的颜色数n即为我们需要染色分离的数目。通过以下属性对染色密度图建模来保存生物结构信息：
1.非负性；
2.每个像素结构允许被建模为有效的稀疏混合矩阵。
根据朗伯比尔定律可知：被测组分对紫外先光或可见光具有吸收作用，且吸收强度与组分浓度成正比，因此
I＝I0exp(-WH)
令：
则：V＝WH
其中I0表示光强度，I表示rgb图像矩阵，W表示颜色外观矩阵，H为染色密度图，
则建模后的优化问题为给定图像V，求W和H，其数学表达式如下：
由上述公式可知，该问题可转化为非负矩阵分解，我们在该基础上加入了稀疏正则化，使其变为了联合的非凸优化问题，为了估计出W和H，我们将采用稀疏编码求H，字典学习求W，并且循环交替进行这两步操作，直至达到迭代步数，其中由A步骤求出的n决定了需要求多少组W和H，如n＝3，则源图像的染色分离结果为，
目标图像的染色分离结果为
C、颜色重组
颜色重组指的是将源图像的颜色基础替换为目标图像的颜色基础，同时保持结构不变性，其主要做法是将源图像的密度图(HS)与目标图像的(WT)相结合而不是WS，这样既可以通过染色密度图保持结构，也能够改变颜色外观，最后根据朗伯比尔定律逆推公式，得到转化后的图像，其描述的公式如下：
综上所述：通过上述方法进行数据增广，可以使基于该数据，嵌入AI辅助医疗产品中的算法在各大医院具有一定的稳定性，比如(准确率、假阳率、识别的癌细胞个数、假阴率等)这将大大提高大图诊断的可信度，增加临床实验的可靠性，但当基于该数据集的算法在产品中部署好之后，仍然可能出现一些数据是之前没有收集到的，为了高效快速的使模型具有一定的适应能力，我们可以收集一部分该医院的数据作为目标数据集，通过上述增强方法扩增具有该医院颜色特征的图像，在原来权重的基础上，结合迁移学习微调模型。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于宫颈液基细胞的自适应图像增广系统，其特征在于：包括有目标图像集的创建模块、目标图像与源图像的自动匹配模块和图像转化模块；
所述目标图像的创建模块将用于收集各种不可控因素影响的切片图像作为目标图像，进而模拟这些不可控因素造成的颜色影响；
所述目标图像与源图像的自动匹配模块用于找到源图像所对应的目标图像；
所述图像转化模块主要负责将源图像转化成与目标图像颜色相似的图像，从而达到数据扩增的目的。
2.根据权利要求1所述的一种基于宫颈液基细胞的自适应图像增广系统，其特征在于：所述目标图像的创建模块中挑选目标图像需要用到以下原则：尽可能的收集用新鲜切片扫描的图像、尽可能的收集不同扫描仪扫描的图像、对于同一切片的图像，尽可能的收集有不同颜色分布的图像、尽可能收集具有代表性的不同地区医院的切片图像、尽可能的收集有不同类型阳细胞的图像、尽可能的收集不同制片方式的切片图像和尽可能选择质量好的图像。
3.根据权利要求1所述的一种基于宫颈液基细胞的自适应图像增广系统，其特征在于：所述目标图像的创建模块中所挑选的目标图像可根据不同模型的输出要求设置，且每一张大的切片图像都应选择若干同样大小的patch作为target，而目标图像集的数量≥200张。
4.根据权利要求1所述的一种基于宫颈液基细胞的自适应图像增广系统，其特征在于：所述目标图像与源图像的自动匹配模块中图像匹配准则为颜色相似度和纹理相似度。
5.根据权利要求4所述的一种基于宫颈液基细胞的自适应图像增广系统，其特征在于：所述目标图像与源图像的自动匹配模块中颜色相似度和纹理相似度的图像匹配准则满足如下算法：
其中，在(1)中
为两张图像颜色的相似度，512为三通道的彩色图像共有512个组合，即图像的颜色特征向量有512维，vs为源图像的特征向量，vt为目标图像集的特征向量，上标i代表目标图像集的第i张图像；在(2)中，
为纹理信息的相似度，
表示源图像所对应的灰度图在q位置下的灰度值，
表示目标图像所对应的灰度图在q位置下的灰度值，w和h分别为图像的长和宽；在(3)中，实际项目中的a一般取0.35，b取0.65。
6.根据权利要求1所述的一种基于宫颈液基细胞的自适应图像增广系统，其特征在于：所述图像转化模块包括有增值偏移聚类算法、染色分离算法和颜色重组算法。
7.根据权利要求6所述的一种基于宫颈液基细胞的自适应图像增广系统，其特征在于：所述增值偏移聚类算法满足如下公式：
其中，m*m为划分后的图像块大小，r，g，b分别表示三个颜色通道图像块的灰度均值，
表示图像块红色通道上位置(i,j)上的灰度值。
8.根据权利要求6所述的一种基于宫颈液基细胞的自适应图像增广系统，其特征在于：所述染色分离算法满足如下公式：
I＝I0exp(-WH)
其中，I0表示光强度，I表示rgb图像矩阵，W表示颜色外观矩阵，H为染色密度图。
9.根据权利要求6所述的一种基于宫颈液基细胞的自适应图像增广系统，其特征在于：所述颜色重组算法满足如下公式：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910808080.6A CN110533583B (zh) | 2019-08-29 | 2019-08-29 | 一种基于宫颈液基细胞的自适应图像增广系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910808080.6A CN110533583B (zh) | 2019-08-29 | 2019-08-29 | 一种基于宫颈液基细胞的自适应图像增广系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110533583A CN110533583A (zh) | 2019-12-03 |
| CN110533583B true CN110533583B (zh) | 2023-01-06 |
Family
ID=68665083
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910808080.6A Active CN110533583B (zh) | 2019-08-29 | 2019-08-29 | 一种基于宫颈液基细胞的自适应图像增广系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110533583B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111161359B (zh) * | 2019-12-12 | 2024-04-16 | 东软集团股份有限公司 | 一种图像处理方法及设备 |
| CN111539354B (zh) * | 2020-04-27 | 2020-12-15 | 易普森智慧健康科技（深圳）有限公司 | 一种液基细胞玻片扫描区域识别方法 |
| CN113327233B (zh) * | 2021-05-28 | 2023-05-16 | 北京理工大学重庆创新中心 | 一种基于迁移学习的细胞图像检测方法 |
| CN113554565B (zh) * | 2021-07-27 | 2023-12-12 | 南京信息工程大学滨江学院 | 一种基于朗伯比尔定律的水下图像增强方法 |
| CN114627010B (zh) * | 2022-03-04 | 2023-01-06 | 北京透彻未来科技有限公司 | 一种基于染色密度图的染色空间迁移方法 |
| CN115457024A (zh) * | 2022-10-10 | 2022-12-09 | 水木未来(杭州)科技有限公司 | 冷冻电镜图像处理方法、装置、电子设备及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AT411066B (de) * | 2000-10-24 | 2003-09-25 | Steiner Georg E | Verfahren und anordnung zur untersuchung von zellen |
| CN101706965A (zh) * | 2009-11-03 | 2010-05-12 | 上海大学 | 基于高斯混合模型区域图像彩色化处理的方法 |
| CN109345601B (zh) * | 2018-09-21 | 2021-09-17 | 合肥工业大学 | 基于低秩嵌入非负矩阵分解的病理图像颜色标准化的方法 |
-
2019
- 2019-08-29 CN CN201910808080.6A patent/CN110533583B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110533583A (zh) | 2019-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110533583B (zh) | 一种基于宫颈液基细胞的自适应图像增广系统 | |
| Wan et al. | Robust nuclei segmentation in histopathology using ASPPU-Net and boundary refinement | |
| Khan et al. | A nonlinear mapping approach to stain normalization in digital histopathology images using image-specific color deconvolution | |
| Zanjani et al. | Histopathology stain-color normalization using deep generative models | |
| CN113379764B (zh) | 一种基于域对抗自监督学习的病理图像分割方法 | |
| CN110633651B (zh) | 一种基于图像拼接的异常细胞自动识别方法 | |
| CN106780498A (zh) | 基于逐像素点深度卷积网络上皮和基质组织自动分割方法 | |
| CN108734719A (zh) | 一种基于全卷积神经网络的鳞翅目昆虫图像前背景自动分割方法 | |
| CN107992874A (zh) | 基于迭代稀疏表示的图像显著目标区域提取方法及系统 | |
| WO2021073279A1 (zh) | 数字病理图像染色归一化方法、系统、电子装置及存储介质 | |
| CN102651128A (zh) | 一种基于采样的图像集分割方法 | |
| Mostafa et al. | Corresponding regions for shadow restoration in satellite high-resolution images | |
| CN111047559A (zh) | 一种数字病理切片异常区域快速检测的方法 | |
| An et al. | HFM: A hybrid fusion method for underwater image enhancement | |
| CN116797791A (zh) | 一种基于深度学习的线粒体分割与分类方法 | |
| Tosta et al. | A stain color normalization with robust dictionary learning for breast cancer histological images processing | |
| CN113538422B (zh) | 一种基于染色强度矩阵的病理图像自动分类方法 | |
| CN118230166A (zh) | 基于改进Mask2YOLO网络的玉米冠层器官识别方法及冠层表型检测方法 | |
| CN110473212A (zh) | 一种融合显著性和超像素的电镜硅藻图像分割方法及装置 | |
| Yuan et al. | Explore double-opponency and skin color for saliency detection | |
| CN113012167A (zh) | 一种细胞核与细胞质的联合分割方法 | |
| CN113409255A (zh) | 一种基于Mask R-CNN的斑马鱼形态学分类方法 | |
| CN105069475B (zh) | 基于视觉注意机制模型的图像处理方法 | |
| CN110796716A (zh) | 一种基于多重残差网络和正则化迁移学习的图像着色方法 | |
| CN114863428A (zh) | 一种基于深度学习的肺刷片细胞识别与分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |