CN114972240A - 一种数字病理学图像缺失组织的自动检测及量化方法 - Google Patents
一种数字病理学图像缺失组织的自动检测及量化方法 Download PDFInfo
- Publication number
- CN114972240A CN114972240A CN202210559623.7A CN202210559623A CN114972240A CN 114972240 A CN114972240 A CN 114972240A CN 202210559623 A CN202210559623 A CN 202210559623A CN 114972240 A CN114972240 A CN 114972240A
- Authority
- CN
- China
- Prior art keywords
- image
- mask
- registered
- missing
- tissue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000001514 detection method Methods 0.000 title claims abstract description 18
- 230000007170 pathology Effects 0.000 title claims abstract description 14
- 238000011002 quantification Methods 0.000 title claims abstract description 7
- 230000000007 visual effect Effects 0.000 claims abstract description 21
- 230000009466 transformation Effects 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 18
- 239000011521 glass Substances 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 101100269850 Caenorhabditis elegans mask-1 gene Proteins 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 7
- 239000006059 cover glass Substances 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 230000001575 pathological effect Effects 0.000 abstract description 20
- 238000010827 pathological analysis Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 9
- 238000003745 diagnosis Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 239000000428 dust Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 102100036822 Ankyrin repeat and KH domain-containing protein 1 Human genes 0.000 description 2
- 102100034609 Ankyrin repeat domain-containing protein 17 Human genes 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 2
- 101000928335 Homo sapiens Ankyrin repeat and KH domain-containing protein 1 Proteins 0.000 description 2
- 101000924481 Homo sapiens Ankyrin repeat domain-containing protein 17 Proteins 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
- G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Computational Biology (AREA)
- Epidemiology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
一种数字病理学图像缺失组织的自动检测及量化方法，包括如下步骤：S100：配准扫描仪最终得到的微观图像到扫描仪初步扫描切片时的宏观图像的图像空间中，得到已配准的微观图像；S200：以宏观图像为参考图像，对比及检测已配准的微观图像的缺失组织，并返回相应的视觉反馈图和定量指标。通过使用本方法，普通操作人员即可对数字病理扫描仪扫描到的数字病理切片的缺失组织质量是否达到要求做出准确的判断，从而减轻病理医生的工作量，使得医生更精准地进行后续的病理诊断。
Description
技术领域
本公开属于数字病理学技术领域，特别涉及一种数字病理学图像缺失组织的自动检测及量化方法。
背景技术
数字病理学是病理学领域的一个重要分支，随着近年来数字病理学、全幅玻璃切片扫描图像技术的快速发展，组织病理切片可以被数字化并以数字图像形式存储。更大的可用性与复杂的成像和分析技术相结合，传统的需要靠病理医师的肉眼结合显微镜来诊断疾病的这一范式被迅速替换为数字化的全幅病理切片诊疗过程，这给病理医生带来了诸多好处。数字扫描仪在对载玻片上的组织进行扫描时，通常会先在低倍物镜下对玻璃切片进行扫描得到宏观图像(Macro image，MAI)，再对宏观图像中有组织的区域进行高精度扫描并拼接得到高分辨率微观图像(Micro image，MII)，这就有可能在初步的扫描时漏掉一些组织区域，从而影响病理医生的诊断。
病理检查是肿瘤诊断的金标准。传统的组织病理建立在组织、细胞的水平上，可以依靠病理医师的显微镜诊断来判断疾病的性质。而数字病理学是指通过一种新的现代数字系统与传统光学放大装置有机结合的技术将病理学信息(包括载玻片和数据)的采集、管理、共享和解读结合在数字环境中。
其关键是通过全自动显微镜或光学放大系统扫描采集得到高分辨率数字图像，再应用计算机对得到的图像自动进行高精度多视野无缝隙拼接和处理，获得优质的可视化数据以应用于病理学的各个领域。这样，传统的病理切片就被数字化为全幅玻璃切片图像(WSI)，医生只需要在显示屏幕上观察WSI即可做出诊断，这代替了传统的依赖于光学显微镜来观察病理切片的方式。由于该方式是依靠WSI来获取玻璃切片的信息，因此WSI能够稳定、真实、正确地反映出玻璃切片上所有被扫描的信息非常关键。但是许多扫描仪并不能够展示玻璃切片中的所有信息，这就有可能导致一个误诊断。每天都有上千张WSI被创建，然而目前判断数字病理切片是否能够真实的反映病理切片的信息，主要是病理医生依据病理切片的精度(放大倍数和单位面积像素)不断多次切换对比观测的方式。这种方法既耗时费力也没有定量的分析，在扫描过程中出现组织缺失的质量问题时，利用上述在数字病理图像中逐一查找对比的方式无法做出快速准确的判断。因此，需要一种自动地、能够定量地检测与评价方法来解决该问题。
发明内容
鉴于此，本公开提供了一种数字病理学图像缺失组织的自动检测及量化方法，包括如下步骤：
S100：配准扫描仪最终得到的微观图像到扫描仪初步扫描切片时的宏观图像的图像空间中，得到已配准的微观图像；
S200：以宏观图像为参考图像，对比及检测已配准的微观图像的缺失组织，并返回相应的视觉反馈图和定量指标。
通过上述技术方案，提出了一种针对病理学图像可以自动检测出扫描时有缺失组织的方法，目的是通过图像处理与分析技术，进而提高医生检测组织病理学图像质量的工作效率，从而减少病理医生的工作量，为后续的诊断起到决定性作用。该方法主要包含以下两大模块，分别是图像配准与图像对比模块。在配准过程中，我们先对图像做一系列预处理和归一化操作，然后以宏观图像作为参考图像，微观图像为浮动图像，配准微观图像到宏观图像的图像空间。在图像对比过程中，类似地，我们仍以宏观图像为真值，以实现自动对比及检测对应归一化且配准的微观图像的缺失组织。最终，该方法会返回相应的视觉反馈图和定量指标，其中，视觉反馈图可以直观地反映组织缺失的具体位置，定量指标可以定量地描述缺失组织的程度。本方法所要解决的技术问题在于病理切片领域长期以来无法对数字病理切片中缺失组织的质量评估与定量评价的问题。通过使用本方法，普通操作人员即可对数字病理扫描仪扫描到的数字病理切片的缺失组织质量是否达到要求做出准确的判断，从而让病理医生更精准地进行后续的病理诊断。
附图说明
图1是本公开一个实施例中所提供的一种数字病理学图像缺失组织的自动检测及量化方法流程图；
图2是本公开一个实施例中本方法的总架构图；
图3是本公开一个实施例中本方法的图像配准分模块流程图；
图4是本公开一个实施例中本方法的图像对比分模块流程图；
图5是本公开一个实施例中本方法的图像对比分模块——噪声区域排除流程图；
图6是本公开一个实施例中一个WSI应用本方法的结果呈现图；
图7是本公开一个实施例中另一个WSI应用本方法的结果呈现图。
具体实施方式
参见图1，在一个实施例中，其公开了一种数字病理学图像缺失组织的自动检测及量化方法，包括如下步骤：
S100：配准扫描仪最终得到的微观图像到扫描仪初步扫描切片时的宏观图像的图像空间中，得到已配准的微观图像；
S200：以宏观图像为参考图像，对比及检测已配准的微观图像的缺失组织，并返回相应的视觉反馈图和定量指标。
在这个实施例中，一种自动地针对组织切片在扫描仪得到全幅玻璃切片图像(whole slide image，WSI)时存在缺失组织的检测及量化方法主要包含图像配准与图像对比两大模块。在图像配准模块中，目的是配准扫描仪最终得到的微观图像到扫描仪初步扫描切片时的宏观图像的图像空间，在图像对比模块中，目的是以宏观图像为参考图像，对比分析是否有宏观图像中有组织的区域但微观图像中没有的区域并返回相应的视觉反馈图和定量指标。图2为该方法的总架构图。
每幅图像都有对应的图像空间，图像配准就是指配准浮动图像到参考图像的空间中，其步骤依次是得到特征点、特征点对、图像空间坐标变换矩阵，最终将坐标变换矩阵应用于浮动图像上即可完成配准。
在另一个实施例中，步骤S100进一步包括以下步骤：
S101：采用直方图匹配的方法归一化扫描仪最终得到的微观图像的前景颜色到宏观图像的颜色空间中，得到前景归一化的微观图像；
S102：使用尺度不变特征变换SIFT算子寻找所述前景归一化后的微观图像对应的候选特征点，通过穷尽式搜索匹配算法与k近邻匹配算法进一步筛选候选特征点，得到候选的匹配特征对；
S103：使用随机抽样一致性算法RANSAC剔除一些重大误差的点，估计变换矩阵；
S104：将变换矩阵应用于所述扫描仪最终得到的微观图像上得到已配准的微观图像。
就该实施例而言，如图3所示，图像配准模块主要包含四个步骤：1)采用直方图匹配的方法归一化微观图像的前景颜色到宏观图像的颜色空间中，得到前景归一化的微观图像。2)使用尺度特征不变性(SIFT)算子寻找待配准图像(前景归一化后的微观图像)对应的候选特征点，通过穷尽式搜索匹配算法与k近邻匹配算法进一步筛选特征点，得到候选的匹配特征对。3)使用随机采样一致性方法(RANSAC)剔除一些重大误差的点，估计变换矩阵。4)将变换矩阵应用于待配准图像上(微观图像)得到配准的微观图像，其中，插值方法采用线性插值法。
宏观图像是通过扫描仪在低倍物镜下扫描图像时直接获取，而在微观图像的获取过程中，扫描仪要经过一个筛选有信息区域的算法，快速排除掉一部分完全没有背景的区域，因此，两者成像方式的差异，会导致两幅图像即使是同一组织区域颜色也不一致。
基于上述差异，在实现具体的图像配准之前，会有一个颜色归一化的模块，该模块的目标主要是让微观图像的颜色分布与宏观图像的更相似，更利于配准。
该方法的颜色归一化本质是直方图匹配，我们定义宏观图像为参考图像，目标是归一化微观图像的颜色直方图尽可能地与宏观图像相似。详细来讲，其具体目的是让微观图像的前景区域颜色尽可能地与宏观图像接近，因此需要先应用多级阈值法实现微观图像与宏观图像的前景区域检测，再进行直方图匹配。
记微观图像的直方图为r，均衡化的微观图像的直方图为s，宏观图像的直方图为z，均衡化的宏观图像的直方图为v。那么，归一化微观图像的前景区域颜色到宏观图像的前景区域颜色空间中的方法可以概括为：使用多级阈值法(扩展的大津法)分别求出MAI与MII的上阈值和下阈值，将满足上下阈值的像素认为是前景区域，对两幅图像的前景区域进行直方图均衡化，映射MAI的前景区域颜色到MII上，其余背景区域作统一填充。
多级阈值法方法如下：将图像预分割的类别数记为K个，即不同的类别称为(C0，C1，...，Ck)，K-1个阈值将要被选取。每一个类别(Ck)的累计概率ωk，灰度均值为μk，全幅图像的均值记为μT，那么该多级阈值法的类方差σB 2计算公式为：
理想情况下，同一类的类方差很小且不同类之间的类方差很大。多级阈值法使用遍历各像素值的方法来选取阈值(T0，T1，...，Tk-2)，以最大化地区分不同类。本方法中预分割的类别数K为3，使用多级阈值法会得到两个阈值T0和T1，，因此，像素值满足[T0，T1，]的被视为前景区域，其余均为背景区域。
本方法中直方图均衡化仅关注图像的前景区域来实现均衡化。均衡化方法如下：
记待均衡化图像的前景区域像素值范围为[T0，T1，]，第k(8-bit图像，k为256)级灰度值为rk，灰度值为rk的像素个数为nk，MN表示图像的像素总数。
则均衡化后的图像在每个灰度级rk上出现的概率估计p(rk)为：
均衡化宏观图像与微观图像后，下一步就是映射宏观图像的前景颜色到微观图像上，映射方法如下：
根据上述描述，已知均衡化后前景区域后的微观图像的直方图为s，即r经过变换函数T得到均衡化的s：
均衡化后的宏观图像的直方图为v，z经过变换函数G得到均衡化的v：
在进行映射时，假设均衡化的微观图像直方图与宏观图像一致，即v＝s。
那么z可以通过s的反变换得到：
zq＝G-1(sk)
这样，就得到了直方图匹配后的图像以及对应的直方图zq。
浮动图像的变换。得到一组点，我们定义的是刚性变换(平移、旋转、等比缩放)，有四个参数，所以至少需要两组点才可以求解出每个参数。当有多组点时，先使用随机采样一致性方法剔除重大误差点后，若得到的点仍大于两组点，则自动迭代优化出最优的变换矩阵。
1)变换矩阵估计。此处的变换类型被定义为相似性变换(即平移、旋转、等比缩放)，变换矩阵如下，有四个自由度，分别为旋转因子theta、缩放因子s、横向位移tx以及纵向位移ty。
即至少需要两组点才可以求解出参数，当有多组点时，先使用随机采样一致性方法剔除重大误差点后，若得到的点仍大于两组点，则自动迭代优化出最优的变换矩阵。
2)变换。将估计到的变换矩阵应用到待配准图像上，并使用线性插值法完成插值。
概括来讲，配准模块主要先对微观图像进行颜色归一化用于配准，再使用SIFT对待配准的两幅图像进行特征点检测得到候选特征点，经过穷尽式搜索匹配、k近邻算法筛选，得到最终配对时要用到的特征对，从而进行变换矩阵的估计以得到配准图像上。
当给定一堆候选的匹配特征对时，算法会根据这些匹配的特征点拟合一个最佳的变换矩阵。但是一个错误的特征点，会影响特征点对的正确匹配，从而导致拟合的变换矩阵欠佳。
RANSAC方法的原理是先通过尽可能少的点去拟合模型，如果该点离我们的模型很近(在误差范围内)，我们称之为内点。离得很远，超出误差范围的称为外点。继续迭代直至达到规定的迭代次数和内点要求阈值后，我们认定该模型为最佳模型，即最佳的变换矩阵。此时，这些外点又称为重大误差点。
考虑到重大误差点会严重干扰最佳变换矩阵的拟合，使用RANSNC方法对重大误差点的剔除很有必要。
在另一个实施例中，步骤S200进一步包括以下步骤：
S201：对已配准的微观图像做归一化操作，得到归一化且配准的微观图像；
S202：通过创建噪音掩码MASK图像的方法对宏观图像和归一化且配准的微观图像进行去噪处理；
S203：将宏观图像和归一化且配准的微观图像相减得到作为视觉反馈图之一的误差图Differmap；然后对所述误差图进行累计求和再求均值得到均方误差值MSE，同时计算归一化且配准的微观图像组织缺失的大小在归一化且配准的微观图像整个组织区域的占比，得到缺失组织占比；最终将所述均方误差值和缺失组织占比作为评估组织缺失程度的定量指标；
S204：将得到的误差图与宏观图像混合通道，红色通道和蓝色通道为误差图，绿色通道为宏观图像的灰度图，得到作为视觉反馈图之一的融合图。
就该实施例而言，如图4所示，图像对比模块主要包含六个步骤：1)对配准的微观图像做归一化操作，得到归一化且配准的微观图像，并将其作为图像对比模块的输入，为后续的评估比较提供基础。2)将宏观图像转为灰度图，使用固定阈值与形态学处理操作生成对应字母噪音的掩码图，记为mask1。3)对排除掉字母类噪音的边界图像进行高斯模糊和Canny边缘检测方法得到一幅二值图，应用霍夫直线检测得到玻璃切片的边缘，进一步得到排除盖玻片边缘的区域掩码图，记为mask2。4)检测微观图像的前景区域，标记背景区域的掩码图，记为mask3。5)将上述的三幅掩码图，mask1取反的结果、mask2和mask3三者相与得到最终计算范围的掩码图MASK，应用MASK到待比较的两幅图像上，进一步计算各视觉反馈图和定量指标(计算区域将排除字母类噪音以及玻璃切片之外的噪音)。6)两幅待对比图像相减得到误差图(Differmap)；对误差图进行累计求和再求均值得到均方误差(MeanSquare Error，MSE)值；同时计算归一化且配准的微观图组织缺失的大小在归一化且配准的微观图像整个组织区域的占比得到缺失组织占比(Missing_tissue_portion)。最终，将得到的误差图，混合通道并覆盖到原始的宏观图上，得到融合图。
融合图属于视觉反馈图之一，是为了更好地查看缺失组织的位置，因为它同时结合了误差图和宏观图像。以宏观图像为背景，融合图将提供更直观的视觉反馈效果。
在另一个实施例中，步骤S102进一步包括如下步骤：
S1021：候选特征点和描述子的确定；
S1022：候选特征点经过匹配和确定得到特征点。
就该实施例而言，通常来讲，病理学图像中若有组织缺失，其对应的图像会有染色较差、组织区域薄且小、有部分灰尘噪音这些特点，这提升了配准的难度。基于上述原因，我们引入了尺度特征不变性(Scale Invariant Feature Transformation，SIFT)的方法来检测特征点以实现特征点匹配从而完成图像配准，SIFT算子所查找的特征点都是一些十分突出，不会因为图像经过旋转、缩放操作或者有亮度变化、噪音干扰、视觉上有微小改变等因素而变换的“稳定”的特征点，如角点、边缘点、暗区的亮点以及亮区的暗点。并且它检测的是图像的局部特征，这意味着当图像中有组织缺失时，它并不会影响其他被扫描到的正常组织的特征点检测。
步骤S1022的输入是两组候选特征点(参考图像和浮动图像各一组)，输出是经过筛选的候选特征点(即特征点)构成的特征点对。步骤S1022目标是通过计算候选特征点对应的128维的描述子的相似程度，来完成候选特征点的配对，最终剔除一部分候选特征点并得到配对结果。好的配对指参考图像与浮动图像中候选特征点的特征更为相似，对应的描述子更相似，，即描述子间的欧氏距离偏小。
在另一个实施例中，步骤S1021进一步包括如下步骤：
S10211：使用SIFT算子来检测特征点，找到图像在不同尺度空间的极值点作为候选特征点，并采用曲面拟合，通过插值来找到真正的候选特征点位置；
S10212：计算候选特征点附近各个像素之间的梯度方向和梯度幅值，得到候选特征点的主方向；
S10213：应用SIFT算子在检测候选特征点时，将16*16的区域，分割成4*4个小区域，统计每个区域的幅值，方向分为八个方向，这样就得到了每个候选特征点对应的128维描述子。
就该实施例而言，1)候选特征点检测与定位。使用SIFT算子来检测特征点，找到图像在不同尺度空间的极值，这些极值通常是在图像的边缘或者是灰度突变的地方，所以要对高斯模糊后的图像进行差分，得到高斯模糊差分图像，然后寻找任一位置上层和下层相邻两层的高斯模糊差分图像，对比这个位置周围的26个相邻像素，如果该点差分值是最大值或最小值，那么该点就是一个潜在的极值点。找到图像在不同尺度空间的极值点作为特征点，采用曲面拟合，通过插值来找到真正的极值点位置。2)候选特征点主方向的确定。计算极值点附近各个像素之间的梯度方向和梯度幅值，用一个半径为R(由极值点所在组(Octave)的组内尺度决定)的圆作为窗口统计这个窗口内，这些梯度方向上幅值的累计值，以最高方向作为主方向。3)候选特征点描述。应用SIFT算子在检测特征点时，将16*16的区域，分割成4*4个小区域，统计每个区域的幅值，方向分为八个方向，这样对应的描述子就是128维。
在另一个实施例中，步骤S1022进一步包括如下步骤：
S10221：通过计算两组候选特征点的128维描述子的欧氏距离来匹配对应特征点，当欧氏距离小于设定阈值时，判定为匹配成功，保留该候选特征点；
S10222：使用k近邻匹配算法找到最近的两个候选特征点，k＝2，计算候选特征点在空间中的距离，如果最接近和次接近的比值大于某个设定值，那么就保留这个最接近的值对应的候选特征点对，并将候选特征点视为特征点。
就该实施例而言，特征点匹配主要是对特征点与描述符的研究，匹配对应特征点，通过计算两组特征点的128维描述子的欧氏距离实现的，欧氏距离越小，则特征点相似度越高，当欧氏距离小于设定阈值时，可以判定为匹配成功。1)穷尽式搜索匹配(第一次特征点筛选)。穷尽式搜索匹配是指列举所有可能的匹配，选取最近距离(欧氏距离)的描述子，采用第一个集合中一个特征的描述符，通过距离计算与第二个集合的所有其他特征匹配，返回最近的匹配。2)k近邻匹配(第二次特征点筛选)。k近邻匹配(k-nearest neighbor，简称KNN)算法求取在空间中距离最近的k个数据点，并将这些数据点归为一类，定义为匹配的数据对。在特征匹配中使用的k近邻匹配，k定义为2，也就是得到每个点会有两个匹配结果。3)特征点的确定。在使用KNN算法找到最近邻的两个数据点，如果最接近和次接近的比值大于一个既定的值，那么我们就保留这个最接近的值，认为和它匹配的点为一组好的配对(本实验中该值为0.6，即当最接近的值小于0.6倍的次接近值时，这一组点会被认为是好的配对)。
此处检测的是盖玻片边缘，这是噪音之一。对比的时候该区域不参与运算。另外，我们的方法对比的不是图像中的所有区域，而是排除了宏观图像的所有噪音区域(字母噪音(S2021)、盖玻片边缘噪音(S2022))以及归一化且配准的微观图像的前景区域(S2023)。
在另一个实施例中，步骤S202进一步包括以下步骤：
S2021：将宏观图像转为灰度图，使用固定阈值与形态学处理操作生成对应字母噪音的掩码图，记为mask1；
S2022：对排除掉字母类噪音的边界图像进行高斯模糊和Canny边缘检测方法得到一幅二值图，应用霍夫直线检测得到玻璃切片的边缘，进一步得到排除盖玻片边缘的掩码图，记为mask2；
S2023：检测归一化且配准的微观图像的前景区域，标记背景的掩码图，记为mask3；
S2024：将上述的三幅掩码图按需做相应的处理，得到最终计算范围的掩码图MASK，将MASK应用到待比较的宏观图像和归一化且配准的微观图像上，继续做差异处理，得到视觉反馈图和定量指标。
就该实施例而言，如图5所示，在图像对比模块中，主要以去除噪音后的宏观图像为真值，对比分析是否有宏观图像中有组织的区域但微观图像中没有的图像。首先，配准后的微观图像经过前景归一化得到归一化且配准的图像。在进行最终的可视化反馈与定量指标计算之前，需要先对两幅图像中的噪音，如宏观图中的字母、载玻片边缘、灰尘噪音等均需排除掉。为此，我们通过创建噪音掩码(MASK)图像的方法，来排除这些噪音所引起的干扰。该模块中，此处共创建了三个mask图以更好地排除噪音和定位缺失组织区域。
首先，采用硬阈值处理以及形态学操作，得到宏观图像中字母类噪音对应的掩码图，记为mask1，其中1表示噪音，0表示背景。这样，无论在计算后续的可视化图还是指标的过程中，宏观图像中的掩码选择的部分都可以被排除掉。类似的，盖玻片的边缘以及周围的灰尘等噪音也会影响到后续的结果。基于盖玻片边缘的自身特性，使用霍夫直线检测找到盖玻片边缘以进一步排除盖玻片边缘以及周围的灰尘等噪音，将该区域标注为mask2，其中，1表示非盖玻片边缘像素，0表示盖玻片边缘像素。最后，当宏观图像中有组织且微观图像中同样有组织的情况，两幅图像只要存在微小的颜色差异，都会被检测出来，但这并不是我们所期待的。我们仅仅关注的是微观图中的背景区域，即没有扫描到的区域但是同样位置的宏观图中却有组织的信息，基于上述考虑，我们加入了微观图的背景区域掩码图记为mask3，其中，1表示背景区域，0表示前景区域。接着，将上述得到的三幅掩码图，按需做相应处理，即排除掉mask1的内容，只选取属于mask2同时属于mask3的区域参与运算。对mask1取反、mask2与mask3依次相与得到最终要计算的范围MASK，将MASK应用到两幅待对比图像上，继续做差异处理，就得到了视觉反馈图和定量指标。
在另一个实施例中，步骤S2022中使用霍夫直线检测来排除盖玻片边缘的方法原理主要是将图像从图像空间转换到参数空间中，通过在参数空间中寻找峰值的方法实现图像空间中直线检测的任务。
在另一个实施例中，所述按需做相应的处理具体为排除掉mask1的内容，只选取属于mask2同时属于mask3的区域参与运算。
在另一个实施例中，在步骤S104中使用的是线性插值法完成插值。
在另一个实施例中，步骤S203中所述缺失组织占比Missing_tissue_portion具体定义为：
其中，Nmissing为微观图像中被检测到的缺失组织区域的像素点个数，Nall_in_micro为微观图像中的所有组织区域像素点个数。
就该实施例而言，在最终的指标计算过程中，本方法提供了两个指标，分别是缺失组织占比(Missing_tissue_portion)和误差图均方误差值(differmap MSE)。当全幅图像的组织大小变化幅度较大时，缺了一小块组织对全幅图像的影响程度也较大。我们此处引入的缺失组织占比(Missing_tissue_portion)指标可以反映出缺失组织的大小在该图像的整个组织区域中的占比，以定量地衡量该图像是否应该被重新扫描的必要性。记微观图中被检测到的缺失组织区域的像素点个数为Nmissing，微观图中的所有组织区域像素点个数为Nall_in_micro，那么，该指标的计算方式可以表示为：
缺失组织占比指标范围为0-1，值为1表示所有组织均缺失即没有组织被扫描到。值为0表示没有任何缺失组织。
另外，基于视觉误差图的定量描述指标——均方误差值也被引入并作为主要的组织缺失衡量指标，其主要通过微观图像(排除噪音区域)与宏观图像的误差图来计算，即对误差图进行求平方再求均值就得到均方误差值。
均方误差值反映图像间差异的大小，值越高表示组织缺失越多，它是本发明中主要的组织缺失衡量指标，在将结果输出在ppt文件中时，它是指导幻灯片排序的指标。缺失组织占比反映了缺失组织对全幅图像的影响程度，占比越高，影响越大，越需要微观图像被重新扫描。同时，该值可以辅助MSE指导组织缺失，也可以指导输出的ppt文件幻灯片排序。
在另一个实施例中，该方法的输出结果目前可以批量输出并按照MSE降序展示在ppt文件中，每一张幻灯片对应一幅WSI，如图6所示，为两个不同的WSI应用该方法的结果呈现。每一张幻灯片中共有六幅图像。其中，上层图像从左至右分别为宏观图像、微观图像、配准的微观图像。下层图像从左至右依次为宏观图像与配准好的微观图像构成的棋盘图、误差图以及宏观图像与误差图构成的融合图。此处图6和图7中有均方误差值MSE、以及组织缺失占比Missing-portion值的显示，对比两幅图，可以很明显地看出，图6的组织视觉上缺失更多且对应的两个指标值也更高。相反，图7的组织视觉上缺失更少对应的两个指标值也较小。此外，从图6、图7中还可以看出，对于宏观图像中呈现的内容，而微观图像中没有扫描到的区域，使用本方法表现良好，不仅排除了噪声区域，还实现了缺失组织的检测，同时提供的两个可指导组织缺失程度的量化指标(均方误差值和组织缺失占比)，与视觉上的组织缺失程度反馈是相同的，即可以达到量化组织缺失的要求。
尽管以上结合附图对本发明的实施方案进行了描述，但本发明并不局限于上述的具体实施方案和应用领域，上述的具体实施方案仅仅是示意性的、指导性的，而不是限制性的。本领域的普通技术人员在本说明书的启示下和在不脱离本发明权利要求所保护的范围的情况下，还可以做出很多种的形式，这些均属于本发明保护之列。
Claims (10)
1.一种数字病理学图像缺失组织的自动检测及量化方法，包括如下步骤：
S100：配准扫描仪最终得到的微观图像到扫描仪初步扫描切片时的宏观图像的图像空间中，得到已配准的微观图像；
S200：以宏观图像为参考图像，对比及检测已配准的微观图像的缺失组织，并返回相应的视觉反馈图和定量指标。
2.根据权利要求1所述的方法，步骤S100进一步包括以下步骤：优选的，
S101：采用直方图匹配的方法归一化扫描仪最终得到的微观图像的前景颜色到宏观图像的颜色空间中，得到前景归一化的微观图像；
S102：使用尺度不变特征变换SIFT算子寻找所述前景归一化后的微观图像对应的候选特征点，通过穷尽式搜索匹配算法与k近邻匹配算法进一步筛选候选特征点，得到候选的匹配特征对；
S103：使用随机抽样一致性算法RANSAC剔除一些重大误差的点，估计变换矩阵；
S104：将变换矩阵应用于所述扫描仪最终得到的微观图像上得到已配准的微观图像。
3.根据权利要求2所述的方法，步骤S102进一步包括如下步骤：
S1021：候选特征点和描述子的确定；
S1022：候选特征点经过匹配和确定得到特征点。
4.根据权利要求3所述的方法，步骤S1021进一步包括如下步骤：
S10211：使用SIFT算子来检测特征点，找到图像在不同尺度空间的极值点作为候选特征点，并采用曲面拟合，通过插值来找到真正的候选特征点位置；
S10212：计算候选特征点附近各个像素之间的梯度方向和梯度幅值，得到候选特征点的主方向；
S10213：应用SIFT算子在检测候选特征点时，将16*16的区域，分割成4*4个小区域，统计每个区域的幅值，方向分为八个方向，这样就得到了每个候选特征点对应的128维描述子。
5.根据权利要求3所述的方法，步骤S1022进一步包括如下步骤：
S10221：通过计算两组候选特征点的128维描述子的欧氏距离来匹配对应特征点，当欧氏距离小于设定阈值时，判定为匹配成功，保留该候选特征点；
S10222：使用k近邻匹配算法找到最近的两个候选特征点，k＝2，计算候选特征点在空间中的距离，如果最接近和次接近的比值大于某个设定值，那么就保留这个最接近的值对应的候选特征点对，并将候选特征点视为特征点。
6.根据权利要求1所述的方法，步骤S200进一步包括以下步骤：
S201：对已配准的微观图像做归一化操作，得到归一化且配准的微观图像；
S202：通过创建噪音掩码MASK图像的方法对宏观图像和归一化且配准的微观图像进行去噪处理；
S203：将宏观图像和归一化且配准的微观图像相减得到作为视觉反馈图之一的误差图Differmap；然后对所述误差图进行累计求和再求均值得到均方误差值MSE，同时计算归一化且配准的微观图像组织缺失的大小在归一化且配准的微观图像整个组织区域的占比，得到缺失组织占比；最终将所述均方误差值和缺失组织占比作为评估组织缺失程度的定量指标；
S204：将得到的误差图与宏观图像混合通道，红色通道和蓝色通道为误差图，绿色通道为宏观图像的灰度图，得到作为视觉反馈图之一的融合图。
7.根据权利要求1所述的方法，步骤S202进一步包括以下步骤：
S2021：将宏观图像转为灰度图，使用固定阈值与形态学处理操作生成对应字母噪音的掩码图，记为mask1；
S2022：对排除掉字母类噪音的边界图像进行高斯模糊和Canny边缘检测方法得到一幅二值图，应用霍夫直线检测得到玻璃切片的边缘，进一步得到排除盖玻片边缘的掩码图，记为mask2；
S2023：检测归一化且配准的微观图像的前景区域，进而得到背景区域的掩码图，记为mask3；
S2024：将上述的三幅掩码图按需做相应的处理，得到最终计算范围的掩码图MASK，将MASK应用到待比较的宏观图像和归一化且配准的微观图像上，继续做差异处理，从而得到后续的视觉反馈图及定量指标。
8.根据权利要求7所述的方法，所述按需做相应的处理具体为排除掉mask1的内容，只选取属于mask2同时属于mask3的区域参与运算。
9.根据权利要求2所述的方法，在步骤S104中使用的是线性插值法完成插值。
10.根据权利要求6所述的方法，步骤S203中所述缺失组织占比Missing_tissue_portion具体定义为：
其中，Nmissing为微观图像中被检测到的缺失组织区域的像素点个数，Nall_in_micro为微观图像中的所有组织区域的像素点个数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210559623.7A CN114972240A (zh) | 2022-05-20 | 2022-05-20 | 一种数字病理学图像缺失组织的自动检测及量化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210559623.7A CN114972240A (zh) | 2022-05-20 | 2022-05-20 | 一种数字病理学图像缺失组织的自动检测及量化方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114972240A true CN114972240A (zh) | 2022-08-30 |
Family
ID=82985197
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210559623.7A Pending CN114972240A (zh) | 2022-05-20 | 2022-05-20 | 一种数字病理学图像缺失组织的自动检测及量化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114972240A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024045889A1 (zh) * | 2022-09-01 | 2024-03-07 | 广东粤港澳大湾区黄埔材料研究院 | 一种显微镜的锁焦方法及装置 |
-
2022
- 2022-05-20 CN CN202210559623.7A patent/CN114972240A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024045889A1 (zh) * | 2022-09-01 | 2024-03-07 | 广东粤港澳大湾区黄埔材料研究院 | 一种显微镜的锁焦方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7466606B2 (ja) | コンテキストフィーチャを用いた画像解析システム | |
| US11836950B2 (en) | Quality metrics for automatic evaluation of dual ISH images | |
| Shakhawat et al. | Automatic quality evaluation of whole slide images for the practical use of whole slide imaging scanner | |
| EP1416262A2 (en) | Color space transformations for use in identifying objects of interest in biological specimens | |
| JP2014110797A (ja) | 色原体分離に基づく画像解析の方法 | |
| US8611620B2 (en) | Advanced digital pathology and provisions for remote diagnostics | |
| Wazarkar et al. | Region-based segmentation of social images using soft KNN algorithm | |
| CN116385450B (zh) | 基于图像处理的ps片材抗耐磨性检测方法 | |
| CN110736747A (zh) | 一种细胞液基涂片镜下定位的方法及系统 | |
| CN114782329A (zh) | 一种基于图像处理的轴承缺陷损伤程度评估方法及系统 | |
| CN110853006A (zh) | 一种使用扫描仪获取的数字病理图像质量评价的方法 | |
| CN115170518A (zh) | 基于深度学习和机器视觉的细胞检测方法及系统 | |
| Hossain et al. | Tissue artifact segmentation and severity assessment for automatic analysis using wsi | |
| Rachna et al. | Detection of Tuberculosis bacilli using image processing techniques | |
| Shakhawat et al. | Review of artifact detection methods for automated analysis and diagnosis in digital pathology | |
| CN114972240A (zh) | 一种数字病理学图像缺失组织的自动检测及量化方法 | |
| Shakhawat et al. | Automatic grading of invasive breast cancer patients for the decision of therapeutic plan | |
| Forero-Vargas et al. | Segmentation, autofocusing, and signature extraction of tuberculosis sputum images | |
| Marcuzzo et al. | Automated Arabidopsis plant root cell segmentation based on SVM classification and region merging | |
| Polyakova et al. | Improvement of the Color Text Image Binarization Methodusing the Minimum-Distance Classifier | |
| US20100111397A1 (en) | Method and system for analyzing breast carcinoma using microscopic image analysis of fine needle aspirates | |
| CN111539354B (zh) | 一种液基细胞玻片扫描区域识别方法 | |
| Bhardwaj et al. | An imaging approach for the automatic thresholding of photo defects | |
| CN115274093A (zh) | 生成包含自动标注文件的基准病理数据集的方法及系统 | |
| Chiang et al. | Automatic detection of antinuclear autoantibodies cells in indirect immunofluorescence images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |