CN117037149A - 基于半监督群优化的多重免疫组化高光谱影像解混方法 - Google Patents
基于半监督群优化的多重免疫组化高光谱影像解混方法 Download PDFInfo
- Publication number
- CN117037149A CN117037149A CN202311024026.5A CN202311024026A CN117037149A CN 117037149 A CN117037149 A CN 117037149A CN 202311024026 A CN202311024026 A CN 202311024026A CN 117037149 A CN117037149 A CN 117037149A
- Authority
- CN
- China
- Prior art keywords
- ihc
- hyperspectral image
- lambda
- hyperspectral
- end members
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000005457 optimization Methods 0.000 title claims abstract description 27
- 239000002245 particle Substances 0.000 claims abstract description 42
- 238000004043 dyeing Methods 0.000 claims abstract description 31
- 239000003550 marker Substances 0.000 claims abstract description 26
- 230000001575 pathological effect Effects 0.000 claims abstract description 16
- 238000010186 staining Methods 0.000 claims abstract description 16
- 238000001228 spectrum Methods 0.000 claims abstract description 13
- 230000008030 elimination Effects 0.000 claims abstract description 12
- 238000003379 elimination reaction Methods 0.000 claims abstract description 12
- 238000010606 normalization Methods 0.000 claims abstract description 7
- 230000003595 spectral effect Effects 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 230000002055 immunohistochemical effect Effects 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 16
- 206010028980 Neoplasm Diseases 0.000 claims description 9
- 239000002131 composite material Substances 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 230000001744 histochemical effect Effects 0.000 claims description 3
- 238000003364 immunohistochemistry Methods 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 108090000623 proteins and genes Proteins 0.000 description 3
- 102000004169 proteins and genes Human genes 0.000 description 3
- 238000004445 quantitative analysis Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 2
- 238000010219 correlation analysis Methods 0.000 description 2
- 230000001351 cycling effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010827 pathological analysis Methods 0.000 description 2
- 101150064138 MAP1 gene Proteins 0.000 description 1
- 230000004791 biological behavior Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000008045 co-localization Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 210000002865 immune cell Anatomy 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于半监督群优化的多重免疫组化高光谱影像解混方法，包括：获取病理样本，对其中之一制得多标记染色样本；其余制得对应的单标记染色样本；分别对多标记染色样本和单标记染色样本进行采集，获取三维显微高光谱图像，同时在无任何生物组织的区域进行采集，获取空白高光谱图像；利用光谱归一化方法逐波长进行预处理，获取消除噪声后的高光谱图像；提取单标记物的光谱特征作为先验端元；提取大于实际标记物数量的候选端元；通过引入先验端元，引导候选端元进行聚类，并利用粒子群优化算法求解全局最优解，确定实际目标端元并建立对应的正态组分模型；通过丰度和为一约束和非负约束条件从多标记染色高光谱图像中实现目标端元的丰度反演。
Description
技术领域
本发明属于数字图像处理技术领域，具体涉及基于半监督群优化的多重免疫组化高光谱影像解混方法。
背景技术
微观层面的基因表达或蛋白质改变会从不同角度反映肿瘤生物学行为，从而引起组织病理学的改变。多重免疫组化技术是全面分析肿瘤微环境中免疫细胞的有效工具，能够同时检测一个组织切片中的不同蛋白标记物。对多重免疫组化样本进行解混，分离出各种单标记成分，有助于识别诊断多种细胞表型，分析蛋白标记物与肿瘤分子分型及微环境之间的相关性。目前，相关研究主要以两种或三种免疫组化标记物样本为主。受限于彩色相机仅包含三个成像通道，对于三种以上标记物的多重免疫组化样本，标记物拆分存在难度大，精度低等挑战。
显微高光谱技术实现了可见光至近红外波长范围内窄而连续的成像模式，可采集几十至上百个通道的灰度图像。高光谱图像每个像元包含高分辨率的光谱响应和空间特征，这为多重免疫组化高光谱影像解混提供了可能，有望解决上述问题。同时，多种免疫组化标记物的解混与丰度反演有助于病理信息的定性、定位和定量分析，辅助肿瘤微环境的高效诊断。
发明内容
针对现有技术的不足，本发明提出了基于半监督群优化的多重免疫组化高光谱影像解混方法，该方法能够充分利用不同染色标记物的光谱信息，从多标记染色的高光谱图像中有效地分离出各种单标记染色成分，反演出丰度占比图，实现多种标记物的共定位分析。
为实现上述目的，本发明提供了如下方案：
基于半监督群优化的多重免疫组化高光谱影像解混方法，包括以下步骤：
S1：获取连续切片的病理样本，对其中之一进行多重免疫组化标记物染色，制得多标记染色样本；其余病理样本分别进行单标记物染色，制得对应的单标记染色样本；
S2：利用基于声光可调谐滤波器的高光谱显微镜分别对所述多标记染色样本和所述单标记染色样本进行采集，获取三维显微高光谱图像，同时在无任何生物组织的区域进行采集，获取空白高光谱图像，其中，所述三维显微高光谱图像包括：单标记染色高光谱图像和多标记染色高光谱图像；
S3：基于所述三维显微高光谱图像和所述空白高光谱图像，利用光谱归一化方法逐波长进行预处理，获取消除噪声后的单标记染色高光谱图像和消除噪声后的多标记染色高光谱图像；
S4：通过像元纯度指数法分别处理各消除噪声后的单标记染色高光谱图像，提取单标记物的光谱特征作为先验端元；
S5：通过盲源凸体几何模型处理消除噪声后的所述多标记染色高光谱图像，提取大于实际标记物数量的候选端元；
S6：通过引入所述先验端元，引导所述候选端元进行聚类，并利用粒子群优化算法求解全局最优解，确定实际目标端元并建立对应的正态组分模型；
S7：基于所述正态组分模型，通过丰度和为一约束和非负约束条件从所述多标记染色高光谱图像中实现所述实际目标端元的丰度反演。
优选的，所述S1的具体过程为：
获取肿瘤组织，基于所述肿瘤组织，制备一批连续切片的病理样本；
从所述病理样本中取一张切片，进行多重免疫组化标记物染色，得到复合染色切片Multi-IHC(M)；
其余切片进行各自单免疫组化标记物染色处理，得到单标记染色切片Single-IHC(N1)、Single-IHC(N2)、Single-IHC(N3)、Single-IHC(N4)。
优选的，所述S2的具体过程为：
利用基于声光可调谐滤波器的高光谱显微镜对所述复合染色切片Multi-IHC(M)和所述单标记染色切片Single-IHC(N1)、Single-IHC(N2)、Single-IHC(N3)、Single-IHC(N4)进行20倍放大的单视场进行采集，获取波长范围450nm～700nm，波段数为60的三维显微高光谱图像HyperData(x,y,λ)；
在无任何生物组织的区域进行采集，获取空白高光谱图像Blank(x,y,λ)。
优选的，所述S3的具体过程为：
基于所述三维显微高光谱数据HyperData(x,y,λ)和所述空白高光谱图像Blank(x,y,λ)，利用光谱归一化方法逐波长在每个二维视场逐像素做浮点除法运算，获取消除光路和系统噪声后的高光谱图像；其中，所述消除光路和系统噪声后的高光谱图像包括：多标记染色高光谱图像mIHC(x,y,λ)和单标记染色高光谱图像S1-IHC(x,y,λ)、S2-IHC(x,y,λ)、S3-IHC(x,y,λ)、S4-IHC(x,y,λ)。
优选的，所述S4的具体过程为：
假设每张单标记染色高光谱图像仅包含前景和背景两类目标端元；
利用最小噪声分离变换处理各单标记染色高光谱图像S1-IHC(x,y,λ)、S2-IHC(x,y,λ)、S3-IHC(x,y,λ)、S4-IHC(x,y,λ)，获取低维数据NMF-IHC(x,y,λ)；
通过自动目标生成算法在所述低维数据NMF-IHC(x,y,λ)中随机生成大量测试向量T1～TN，其中，N大于2；
将低维数据NMF-IHC(x,y,λ)图像空间中的所有数据投影至测试向量T1～TN，通过迭代计算每个像元的纯净指数，形成像元纯净指标集合；
从所有像元纯净指标集合中选择指数最大的一个值作为前景目标端元；其中，对于所述单标记染色高光谱图像S1-IHC(x,y,λ)、S2-IHC(x,y,λ)、S3-IHC(x,y,λ)、S4-IHC(x,y,λ)，依次得到Ref-IHC(S1)、Ref-IHC(S2)、Ref-IHC(S3)、Ref-IHC(S4)作为单标记染色图像的先验端元；同时根据光谱特征选取背景指数值，建立空白区域先验端元Ref-Blank(S)。
优选的，所述S5的具体过程为：
假设所述多标记染色高光谱图像mIHC(x,y,λ)包含M个目标端元；
首先随机选定一个目标端元作为第一个端元，然后对所述多标记染色高光谱图像mIHC(x,y,λ)进行非负限制的混合像元分解，获得组分；
通过搜寻与第一个端元构成最大角度的凸锥点作为第二个端元，并入新凸锥，同样对所述多标记染色高光谱图像mIHC(x,y,λ)进行非负限制的混合像元分解，获得组分并更新；
寻找与新凸锥有最大角度的点作为第三个端元，通过多次迭代遍历像元，最终构成P维凸锥，得到P个候选端元，其中，P大于M。
优选的，所述S6的具体过程为：
将P个候选端元视为粒子群优化算法的随机粒子，初始化每个粒子的起始速度为0；
将先验端元Ref-IHC(S1)、Ref-IHC(S2)、Ref-IHC(S3)、Ref-IHC(S4)和Ref-Blank(S)作为初始五个的聚类划分，并计算各类的聚类中心，作为粒子的初始位置编码；
计算每一个随机粒子的适应度值，如适应度值优于对应的随机粒子本身经历过的最佳位置，则使用当前适应度值作为该随机粒子的新位置L-best；
通过粒子速度更新算法不断计算下一步位置，对于P个候选粒子，根据初始聚类中心编码，按照最小距离确定所属类别，根据相应的聚类划分计算新的聚类中心，更新粒子的适应度值，在每次更新聚类中心时，同时计算均值与方差，将所述均值与方差建立为正态组分模型；
对于整个粒子群，如果存在这样的个体，所述个体的适应度值优于整个粒子群的历史最佳位置，则该个体的适应度值作为整体最佳位置G-best，并表示为正态组分模型NCM(G-best)；
经过多次迭代，当P个候选端元聚类为M个目标端元，且均已找到全局最佳位置时，停止更新，输出M个最佳位置，即M个最佳聚类中心的正态组分模型NCM-1(G-best)～NCM-M(G-best)。
优选的，所述S7的具体过程为：
基于所述M个最佳聚类中心的正态组分模型NCM-1(G-best)～NCM-M(G-best)，建立全约束条件，其中，所述全约束条件包括：丰度非负约束及丰度和为一约束；
利用全约束条件的最小二乘法从多标记染色高光谱图像mIHC(x,y,λ)中估计M个目标端元的丰度图，最终得到多重免疫组化影像中各个单标记免疫组化的含量占比图IHC-1(Map)～IHC-M(Map)。
与现有技术相比，本发明的有益效果为：
本发明所提出的一种基于半监督群优化的多重免疫组化高光谱影像解混方法，首先从单标记染色高光谱图像中提取先验端元，然后对多标记染色高光谱图像进行盲源分解获取候选端元。通过引入先验端元建立粒子群模型，对候选端元进行聚类优化，进一步地，逐步建立目标端元的正态组分模型，解决多重免疫组化高光谱影像中的光谱变异问题，最终反演出所有目标端元的丰度图。该方法准确高效，智能可靠，有助于为多重免疫组化病理诊断提供单标记物的空间关联性和定量分析基础。
附图说明
为了更清楚地说明本发明的技术方案，下面对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于半监督群优化的多重免疫组化高光谱影像解混方法的流程图；
图2为本发明提供的建立解混算法模型的流程图；
图3为本发明实施例的多重免疫组化高光谱影像解混结果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
本发明的目的是提供一种基于半监督群优化的多重免疫组化高光谱影像解混方法，参见图1和图2，包括以下几个步骤：
S1：通过活检得到连续切片的病理样本，对其中之一进行多重免疫组化标记物(panCK/Hema/Ki67/CD8等)染色，制得到多标记染色样本；其余切片分别进行单标记物染色，制得对应的单标记染色样本。
S2：利用基于声光可调谐滤波器的高光谱显微镜分别对多标记和单标记染色样本进行采集，获取三维显微高光谱图像，同时在无任何生物组织的区域采集得到空白高光谱图像。其中，所述三维显微高光谱图像包括：单标记染色高光谱图像和多标记染色高光谱图像；
S3：读入原始三维显微高光谱数据和空白高光谱图像，利用光谱归一化方法逐波长进行预处理，获取消除噪声后的单标记染色高光谱图像和消除噪声后的多标记染色高光谱图像。
S4：通过像元纯度指数法分别处理各种消除噪声后的单标记染色高光谱图像，提取单标记物的光谱特征作为先验端元。
S5：通过盲源凸体几何模型处理消除噪声后的多标记染色高光谱图像，提取大于实际标记物数量的候选端元。
S6：通过引入先验端元，引导候选端元进行聚类，并利用粒子群优化算法求解全局最优解，以此确定实际目标端元并建立其正态组分模型。
S7：通过丰度和为一约束和非负约束条件从多标记染色高光谱图像中实现目标端元的丰度反演。
进一步，S1具体包括：
通过活检得到肿瘤组织，制备一批连续切片的病理样本：
首先取一张切片，进行多重免疫组化标记物(panCK/Hema/Ki67/CD8等)染色，得到复合染色切片Multi-IHC(M)；
其余切片进行各自单免疫组化标记物染色处理，得到单标记染色切片Single-IHC(N1)、Single-IHC(N2)、Single-IHC(N3)、Single-IHC(N4)。
进一步，S2具体包括：
利用基于声光可调谐滤波器的高光谱显微成像系统对以上复合染色切片染色切片Multi-IHC(M)和单标记染色切片Single-IHC(N1)、Single-IHC(N2)、Single-IHC(N3)、Single-IHC(N4)进行20倍放大的单视场采集，获取波长范围450nm～700nm，波段数为60的三维显微高光谱图像，其中包含生物组织的图像为有效图像HyperData(x,y,λ)，无任何生物组织的空白图像为无效图像Blank(x,y,λ)。
进一步，S3具体包括：
读入原始三维显微高光谱数据HyperData(x,y,λ)和空白高光谱图像Blank(x,y,λ)，利用光谱归一化方法逐波长在每个二维视场逐像素做浮点除法运算进行预处理，获取消除光路和系统噪声后的高光谱图像：多标记染色高光谱图像mIHC(x,y,λ)和单标记染色高光谱图像S1-IHC(x,y,λ)、S2-IHC(x,y,λ)、S3-IHC(x,y,λ)、S4-IHC(x,y,λ)。
进一步，S4具体包括：
分别读入单标记染色高光谱图像S1-IHC(x,y,λ)、S2-IHC(x,y,λ)、S3-IHC(x,y,λ)、S4-IHC(x,y,λ)，对于单标记图像，假设每张图像仅包含前景和背景两类目标端元。
首先利用最小噪声分离变换处理单标记染色高光谱图像，获取低维数据NMF-IHC(x,y,λ)。
通过自动目标生成算法在变换后的数据NMF-IHC(x,y,λ)中随机生成大量测试向量T1～TN(N大于2)。
将NMF-IHC(x,y,λ)图像空间中的所有数据投影至测试向量T1～TN，通过迭代计算每个像元的纯净指数，形成像元纯净指标集合。
最终从所有像元纯净指标集合中选择指数最大的一个值作为前景目标端元。对于四类单标记染色图像，依次得到Ref-IHC(S1)、Ref-IHC(S2)、Ref-IHC(S3)、Ref-IHC(S4)作为单标记染色图像的先验端元。同时再根据光谱特征选取背景指数值，建立空白区域先验端元Ref-Blank(S)。
进一步，S5具体包括：
读入多标记染色高光谱图像mIHC(x,y,λ)，假设图像包含M个目标端元。
首先随机选定第一个初始端元，然后对mIHC(x,y,λ)进行非负限制的混合像元分解，获得组分。
通过搜寻与第一个端元构成最大角度的凸锥点作为第二个端元，并入新凸锥。同样进行非负限制的混合像元分解获得组分并更新。
寻找与新凸锥有最大角度的点作为第三个端元，循环上述过程，通过多次迭代遍历像元，最终构成P维凸锥(P大于M)，得到P个候选端元。
进一步，S6具体包括：
读入多标记染色高光谱图像mIHC(x,y,λ)，假设图像包含M个目标端元，已获取P个候选端元。读入单标记染色图像的先验端元Ref-IHC(S1)、Ref-IHC(S2)、Ref-IHC(S3)、Ref-IHC(S4)和空白区域先验端元Ref-Blank(S)。
首先，将P个候选端元视为粒子群优化算法的随机粒子。初始化每个粒子的起始速度为0。
将先验端元Ref-IHC(S1)、Ref-IHC(S2)、Ref-IHC(S3)、Ref-IHC(S4)和Ref-Blank(S)作为初始五个的聚类划分，并计算各类的聚类中心，作为粒子的初始位置编码。
计算每一个随机粒子的适应度值，如其适应度值优于其本身经历过的最佳位置，则使用当前适应度值作为该粒子的新位置L-best。
通过粒子速度更新算法不断计算下一步位置，对于P个候选粒子，根据初始聚类中心编码，按照最小距离确定所属类别。根据相应的聚类划分计算新的聚类中心，更新粒子的适应度值。考虑到多标记染色高光谱图像mIHC(x,y,λ)中像元存在光谱变异性，在每次更新聚类中心时，同时计算均值与方差，将其建立为正态组分模型。
对于整个粒子群，如果存在这样的个体，其适应度值优于整个粒子群的历史最佳位置，则该个体的适应度值作为整体最佳位置G-best，并表示为正态组分模型NCM(G-best)。
循环上述过程，经过多次迭代，当P个候选端元聚类为M个目标端元，且均已找到全局最佳位置时，停止更新。输出M个最佳位置，即M个最佳聚类中心的正态组分模型NCM-1(G-best)～NCM-M(G-best)。
进一步，S7具体包括：
读入多标记染色高光谱图像mIHC(x,y,λ)，M个目标端元的正态组分模型NCM-1(G-best)～NCM-M(G-best)。建立全约束条件：丰度非负约束及丰度和为一约束。
利用全约束的最小二乘法从多标记染色高光谱图像mIHC(x,y,λ)中估计M个目标端元的丰度图，最终得到多重免疫组化影像解混出的各个单标记免疫组化的含量占比图IHC(Map-1)～IHC(Map-M)。
图3为本发明实施例的多重免疫组化高光谱影像解混结果图，分别对应目标端元光谱曲线(a)、单标记panCK丰度图(b)、单标记Hema丰度图(c)、单标记Ki67丰度图(d)和单标记CD8丰度图(e)，可以看到解混效果良好。
综上所述，本发明提供的技术方案的有益效果是：本发明所提出的一种基于半监督群优化的多重免疫组化高光谱影像解混方法，首先从单标记染色高光谱图像中提取先验端元，然后对多标记染色高光谱图像进行盲源分解获取候选端元。通过引入先验端元建立粒子群模型，对候选端元进行聚类优化，进一步地，逐步建立目标端元的正态组分模型，解决多重免疫组化高光谱影像中的光谱变异问题，最终反演出所有目标端元的丰度图。该方法准确高效，智能可靠，有助于为多重免疫组化病理诊断提供单标记物的空间关联性和定量分析基础。根据不同的应用背景，本发明经过适当的修改同样适用于其他图像处理领域。
以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。
Claims (8)
1.基于半监督群优化的多重免疫组化高光谱影像解混方法，其特征在于，包括以下步骤：
S1：获取连续切片的病理样本，对其中之一进行多重免疫组化标记物染色，制得多标记染色样本；其余病理样本分别进行单标记物染色，制得对应的单标记染色样本；
S2：利用基于声光可调谐滤波器的高光谱显微镜分别对所述多标记染色样本和所述单标记染色样本进行采集，获取三维显微高光谱图像，同时在无任何生物组织的区域进行采集，获取空白高光谱图像，其中，所述三维显微高光谱图像包括：单标记染色高光谱图像和多标记染色高光谱图像；
S3：基于所述三维显微高光谱图像和所述空白高光谱图像，利用光谱归一化方法逐波长进行预处理，获取消除噪声后的单标记染色高光谱图像和消除噪声后的多标记染色高光谱图像；
S4：通过像元纯度指数法分别处理各消除噪声后的单标记染色高光谱图像，提取单标记物的光谱特征作为先验端元；
S5：通过盲源凸体几何模型处理消除噪声后的所述多标记染色高光谱图像，提取大于实际标记物数量的候选端元；
S6：通过引入所述先验端元，引导所述候选端元进行聚类，并利用粒子群优化算法求解全局最优解，确定实际目标端元并建立对应的正态组分模型；
S7：基于所述正态组分模型，通过丰度和为一约束和非负约束条件从所述多标记染色高光谱图像中实现所述实际目标端元的丰度反演。
2.根据权利要求1所述的基于半监督群优化的多重免疫组化高光谱影像解混方法，其特征在于，所述S1的具体过程为：
获取肿瘤组织，基于所述肿瘤组织，制备一批连续切片的病理样本；
从所述病理样本中取一张切片，进行多重免疫组化标记物染色，得到复合染色切片Multi-IHC(M)；
其余切片进行各自单免疫组化标记物染色处理，得到单标记染色切片Single-IHC(N1)、Single-IHC(N2)、Single-IHC(N3)、Single-IHC(N4)。
3.根据权利要求2所述的基于半监督群优化的多重免疫组化高光谱影像解混方法，其特征在于，所述S2的具体过程为：
利用基于声光可调谐滤波器的高光谱显微镜对所述复合染色切片Multi-IHC(M)和所述单标记染色切片Single-IHC(N1)、Single-IHC(N2)、Single-IHC(N3)、Single-IHC(N4)进行20倍放大的单视场进行采集，获取波长范围450nm～700nm，波段数为60的三维显微高光谱图像HyperData(x,y,λ)；
在无任何生物组织的区域进行采集，获取空白高光谱图像Blank(x,y,λ)。
4.根据权利要求3所述的基于半监督群优化的多重免疫组化高光谱影像解混方法，其特征在于，所述S3的具体过程为：
基于所述三维显微高光谱数据HyperData(x,y,λ)和所述空白高光谱图像Blank(x,y,λ)，利用光谱归一化方法逐波长在每个二维视场逐像素做浮点除法运算，获取消除光路和系统噪声后的高光谱图像；其中，所述消除光路和系统噪声后的高光谱图像包括：多标记染色高光谱图像mIHC(x,y,λ)和单标记染色高光谱图像S1-IHC(x,y,λ)、S2-IHC(x,y,λ)、S3-IHC(x,y,λ)、S4-IHC(x,y,λ)。
5.根据权利要求4所述的基于半监督群优化的多重免疫组化高光谱影像解混方法，其特征在于，所述S4的具体过程为：
假设每张单标记染色高光谱图像仅包含前景和背景两类目标端元；
利用最小噪声分离变换处理各单标记染色高光谱图像S1-IHC(x,y,λ)、S2-IHC(x,y,λ)、S3-IHC(x,y,λ)、S4-IHC(x,y,λ)，获取低维数据NMF-IHC(x,y,λ)；
通过自动目标生成算法在所述低维数据NMF-IHC(x,y,λ)中随机生成大量测试向量T1～TN，其中，N大于2；
将低维数据NMF-IHC(x,y,λ)图像空间中的所有数据投影至测试向量T1～TN，通过迭代计算每个像元的纯净指数，形成像元纯净指标集合；
从所有像元纯净指标集合中选择指数最大的一个值作为前景目标端元；其中，对于所述单标记染色高光谱图像S1-IHC(x,y,λ)、S2-IHC(x,y,λ)、S3-IHC(x,y,λ)、S4-IHC(x,y,λ)，依次得到Ref-IHC(S1)、Ref-IHC(S2)、Ref-IHC(S3)、Ref-IHC(S4)作为单标记染色图像的先验端元；同时根据光谱特征选取背景指数值，建立空白区域先验端元Ref-Blank(S)。
6.根据权利要求5所述的基于半监督群优化的多重免疫组化高光谱影像解混方法，其特征在于，所述S5的具体过程为：
假设所述多标记染色高光谱图像mIHC(x,y,λ)包含M个目标端元；
首先随机选定一个目标端元作为第一个端元，然后对所述多标记染色高光谱图像mIHC(x,y,λ)进行非负限制的混合像元分解，获得组分；
通过搜寻与第一个端元构成最大角度的凸锥点作为第二个端元，并入新凸锥，同样对所述多标记染色高光谱图像mIHC(x,y,λ)进行非负限制的混合像元分解，获得组分并更新；
寻找与新凸锥有最大角度的点作为第三个端元，通过多次迭代遍历像元，最终构成P维凸锥，得到P个候选端元，其中，P大于M。
7.根据权利要求6所述的基于半监督群优化的多重免疫组化高光谱影像解混方法，其特征在于，所述S6的具体过程为：
将P个候选端元视为粒子群优化算法的随机粒子，初始化每个粒子的起始速度为0；
将先验端元Ref-IHC(S1)、Ref-IHC(S2)、Ref-IHC(S3)、Ref-IHC(S4)和Ref-Blank(S)作为初始五个的聚类划分，并计算各类的聚类中心，作为粒子的初始位置编码；
计算每一个随机粒子的适应度值，如适应度值优于对应的随机粒子本身经历过的最佳位置，则使用当前适应度值作为该随机粒子的新位置L-best；
通过粒子速度更新算法不断计算下一步位置，对于P个候选粒子，根据初始聚类中心编码，按照最小距离确定所属类别，根据相应的聚类划分计算新的聚类中心，更新粒子的适应度值，在每次更新聚类中心时，同时计算均值与方差，将所述均值与方差建立为正态组分模型；
对于整个粒子群，如果存在这样的个体，所述个体的适应度值优于整个粒子群的历史最佳位置，则该个体的适应度值作为整体最佳位置G-best，并表示为正态组分模型NCM(G-best)；
经过多次迭代，当P个候选端元聚类为M个目标端元，且均已找到全局最佳位置时，停止更新，输出M个最佳位置，即M个最佳聚类中心的正态组分模型NCM-1(G-best)～NCM-M(G-best)。
8.根据权利要求7所述的基于半监督群优化的多重免疫组化高光谱影像解混方法，其特征在于，所述S7的具体过程为：
基于所述M个最佳聚类中心的正态组分模型NCM-1(G-best)～NCM-M(G-best)，建立全约束条件，其中，所述全约束条件包括：丰度非负约束及丰度和为一约束；
利用全约束条件的最小二乘法从多标记染色高光谱图像mIHC(x,y,λ)中估计M个目标端元的丰度图，最终得到多重免疫组化影像中各个单标记免疫组化的含量占比图IHC-1(Map)～IHC-M(Map)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311024026.5A CN117037149B (zh) | 2023-08-15 | 2023-08-15 | 基于半监督群优化的多重免疫组化高光谱影像解混方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311024026.5A CN117037149B (zh) | 2023-08-15 | 2023-08-15 | 基于半监督群优化的多重免疫组化高光谱影像解混方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117037149A true CN117037149A (zh) | 2023-11-10 |
| CN117037149B CN117037149B (zh) | 2024-03-22 |
Family
ID=88636890
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311024026.5A Active CN117037149B (zh) | 2023-08-15 | 2023-08-15 | 基于半监督群优化的多重免疫组化高光谱影像解混方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117037149B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108073895A (zh) * | 2017-11-22 | 2018-05-25 | 杭州电子科技大学 | 一种基于解混预处理的高光谱目标检测方法 |
| US20190204577A1 (en) * | 2016-06-21 | 2019-07-04 | Sri International | Hyperspectral imaging methods and apparatuses |
| CN112270684A (zh) * | 2020-12-25 | 2021-01-26 | 宁波兰茜生物科技有限公司 | 一种显微图像免疫组化虚拟多重标记及分析方法及系统 |
| CN112364730A (zh) * | 2020-10-29 | 2021-02-12 | 济南大学 | 基于稀疏子空间聚类的高光谱地物自动分类方法及系统 |
| CN112384787A (zh) * | 2018-05-03 | 2021-02-19 | 阿科亚生物科学股份有限公司 | 多光谱样本成像 |
| CN113933275A (zh) * | 2021-10-13 | 2022-01-14 | 季华实验室 | 基于生物成像的定量分析方法、分离方法、装置及设备 |
| CN116188423A (zh) * | 2023-02-22 | 2023-05-30 | 哈尔滨工业大学 | 基于病理切片高光谱图像的超像素稀疏解混检测方法 |
-
2023
- 2023-08-15 CN CN202311024026.5A patent/CN117037149B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190204577A1 (en) * | 2016-06-21 | 2019-07-04 | Sri International | Hyperspectral imaging methods and apparatuses |
| CN108073895A (zh) * | 2017-11-22 | 2018-05-25 | 杭州电子科技大学 | 一种基于解混预处理的高光谱目标检测方法 |
| CN112384787A (zh) * | 2018-05-03 | 2021-02-19 | 阿科亚生物科学股份有限公司 | 多光谱样本成像 |
| CN112364730A (zh) * | 2020-10-29 | 2021-02-12 | 济南大学 | 基于稀疏子空间聚类的高光谱地物自动分类方法及系统 |
| CN112270684A (zh) * | 2020-12-25 | 2021-01-26 | 宁波兰茜生物科技有限公司 | 一种显微图像免疫组化虚拟多重标记及分析方法及系统 |
| CN113933275A (zh) * | 2021-10-13 | 2022-01-14 | 季华实验室 | 基于生物成像的定量分析方法、分离方法、装置及设备 |
| CN116188423A (zh) * | 2023-02-22 | 2023-05-30 | 哈尔滨工业大学 | 基于病理切片高光谱图像的超像素稀疏解混检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| YUAN JIANG ET.AL: "AutoUnmix: an autoencoder-based spectral unmixing method for multi-color fluorescence microscopy imaging", 《BIORXIV》, pages 1 - 15 * |
| 杨斌 等: "光谱解混技术及其应用研究进展", 《激光与光电子学进展》, vol. 58, no. 16, pages 1 - 28 * |
| 谭熊 等: "一种基于模糊混合像元分解的高光谱影像分类方法", 《测绘科学技术学报》, vol. 30, no. 3, pages 279 - 283 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117037149B (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8280140B2 (en) | Classifying image features | |
| CN111448569B (zh) | 存储和检索数字病理学分析结果的方法 | |
| CN111448584A (zh) | 计算肿瘤空间和标记间异质性的方法 | |
| US20210321963A1 (en) | Systems and methods for enhanced imaging and analysis | |
| CN106023121B (zh) | 一种贝叶斯显微成像方法 | |
| CN108062744B (zh) | 一种基于深度学习的质谱图像超分辨率重建方法 | |
| CN113574534A (zh) | 使用基于距离的相似性标签的机器学习 | |
| JP7427080B2 (ja) | 細胞検出およびセグメンテーションのための弱教師ありマルチタスク学習 | |
| CN116188423A (zh) | 基于病理切片高光谱图像的超像素稀疏解混检测方法 | |
| Kulikov et al. | DoGNet: A deep architecture for synapse detection in multiplexed fluorescence images | |
| JP6882329B2 (ja) | Ｉｈｃ画像解析のための空間インデックス作成 | |
| CN116912240B (zh) | 基于半监督学习的突变tp53免疫学检测方法 | |
| Levis et al. | Statistical tomography of microscopic life | |
| CN117037149B (zh) | 基于半监督群优化的多重免疫组化高光谱影像解混方法 | |
| Guo et al. | Pathological Detection of Micro and Fuzzy Gastric Cancer Cells Based on Deep Learning. | |
| Kam et al. | Analysis of three-dimensional image data: display and feature tracking | |
| CN114820502B (zh) | 一种用于肠粘膜组织中蛋白激酶ck2的着色检测方法 | |
| Santamaria-Pang et al. | Epithelial cell segmentation via shape ranking | |
| Pelapur | A Comparison of 3D and 2D U-Net Convolutional Networks for Segmentation in FIB-SEM Imagery | |
| EP3916622A1 (en) | Computer-implemented method, computer program product and system for analyzing videos captured with microscopic imaging | |
| Helminiak et al. | Multimodal Deep Learning Approach for Dynamic Sampling with Automatic Feature Selection in Matrix-Assisted Laser Desorption/Ionization Mass Spectrometry Imaging | |
| Pathirage et al. | Interpretable dimensionality reduction and classification of mass spectrometry imaging data in a visceral pain model via non-negative matrix factorization | |
| Landeros et al. | Deep Learning Pipeline for Automated Cell Profiling from Cyclic Imaging | |
| Koós | Energy Minimization Algorithms for Image-Guided Automatic Patch Clamp Systems | |
| Sickert et al. | Semantic Volume Segmentation with Iterative Context Integration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |