CN113808141A - 成像质量分析装置、以及成像质量分析方法 - Google Patents

成像质量分析装置、以及成像质量分析方法 Download PDF

Info

Publication number
CN113808141A
CN113808141A CN202110231139.7A CN202110231139A CN113808141A CN 113808141 A CN113808141 A CN 113808141A CN 202110231139 A CN202110231139 A CN 202110231139A CN 113808141 A CN113808141 A CN 113808141A
Authority
CN
China
Prior art keywords
image
region
dimensional
data
micro
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110231139.7A
Other languages
English (en)
Other versions
CN113808141B (zh
Inventor
山口真一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Publication of CN113808141A publication Critical patent/CN113808141A/zh
Application granted granted Critical
Publication of CN113808141B publication Critical patent/CN113808141B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J49/00—Particle spectrometers or separator tubes
    • H01J49/0004—Imaging particle spectrometry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G06F18/21355—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis nonlinear criteria, e.g. embedding a manifold in a Euclidean space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/168—Segmentation; Edge detection involving transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J49/00—Particle spectrometers or separator tubes
    • H01J49/0027—Methods for using particle spectrometers
    • H01J49/0036—Step by step routines describing the handling of the data generated during a measurement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Other Investigation Or Analysis Of Materials By Electrical Means (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明的成像质量分析装置具备：测量部，分别对设定在目标试样上的测量区域内的多个微小区域执行质量分析；降维处理部，对测量部得到的每个微小区域的质量分析数据进行利用了流形学习的非线性降维法的处理，得到将相当于m/z值的数量的维度降维为三维的每个微小区域的数据；显示颜色确定部，通过在以三维的各维度作为轴并将三原色分别分配至各轴的三维空间中配置与在降维处理部中的降维后的每个微小区域的数据对应的点，分别确定该多个点的颜色；分割图像生成部，通过将具有赋予三维空间内的各点的颜色的像素与该各点所对应的微小区域的测量区域内的位置相对应地配置在二维上，生成与该测量区域或其中一部分的区域相对应的分割图像。

Description

成像质量分析装置、以及成像质量分析方法
技术领域
本发明涉及成像质量分析装置、以及成像质量分析方法。
背景技术
专利文献1等中公开的成像质量分析装置搭载有采用基质辅助激光解吸离子化法的离子源，能够通过光学显微镜观察生物组织切片等试样的表面的形态，并在规定的质荷比(严格来说是斜体字的“m/z”，但在此使用惯用名称“质荷比”)范围内对每个设定在试样上的期望的二维区域内的微小区域收集质谱数据。此外，作为成像质量分析的另一种方法，还已知有以下方法：如专利文献2等所公开的那样通过利用被称为激光显微切割的试样采集方法，从设定在试样上的期望的二维区域内的微小区域中分别切出试样片，通过将由各试样片制备的液体试样供给至质量分析装置来获取每个微小区域的质谱数据。
无论用哪种方法，在成像质量分析装置中，通过从针对每个试样上的微小区域得到的质谱数据(以下有时称该数据为“MS成像数据”)中提取例如源自特定的化合物的离子的质荷比中的信号强度值，根据试样上的各微小区域的位置生成配置了该信号强度值的图像，从而能够得到示出该特定的化合物的分布状况的图像(MS成像图像)。
在解析对象化合物为已知的情况下，或者在该化合物本身是未知但感兴趣的分子的质量为已知的情况下，如上所述地通过由用户指定与该化合物或分子对应的质荷比的值，能够使用户所感兴趣的MS成像图像显示。此外，通过使用非专利文献1中公开的成像质量分析数据解析软件所搭载的“类似图像提取”功能，例如还能够自动地搜索与感兴趣图像(以染色图像或荧光图像等其它的成像方法得到的图像或某质荷比的MS成像图像)的强度分布类似的质荷比，生成并显示该质荷比的MS成像图像。
另一方面，在应关注的化合物为未知或不明的情况，或者未得到用于自动地搜索而作为参照的图像的情况下，例如需要由操作者(用户)目视确认MS成像图像并检索引起兴趣的图像的作业。然而，通常MS成像图像的数量非常多，因此由操作员逐一目视确认这样的图像非常花费时间和工夫。此外，即使将时间和工夫花费在这样的作业中，也无法完全地避免看漏。因此，难以确保解析的足够可靠性。
对此，通过使用非专利文献1中公开的成像质量分析数据解析软件所搭载的“图像分类”功能，能够将大量MS成像图像分类为多个聚类(组)。在这样的自动的图像分类中，能够向用户提供每个聚类的平均图像与该聚类内所包含的质荷比值的信息，因此用户能够参照这些信息来找到引起兴趣的聚类，从而在该聚类中详细地搜索图像。由此，用户搜索图像这样的作业的负担得到一定程度减轻。
现有技术文献
专利文献
专利文献1：日本特开第2013-68565号公报
专利文献2：国际公开第2015/053039号
非专利文献
非专利文献1：《MS成像数据解析软件IMAGEREVEAL MS Ver.1.1》，产品目录，株式会社岛津制作所，2020年1月初版发行。
非专利文献2:麦克因内斯(Leland McInnes)等2名，《UMAP：用于降维的一致流形逼近与投影》(《UMAP：Uniform Manifold Approximation and Projection for DimensionReduction》)，[在线][2020年6月1日]，arXiv,网址《URL：https://arxiv.org/pdf/1802.03426.pdf》
发明内容
发明要解决的技术问题
然而，上述图像分类的运算处理中通常使用的层次聚类分析(HierarchicalClustering Analysis：HCA)存在计算机中的计算时间长、效率差或者成本高这样的缺点。此外，存在在用于识别的空间中查看通过HCA得到的每个聚类的平均图像时不是彼此独立的图像，难以辨认每个聚类之间的分布的差异的缺点。此外，还存在如下问题：即，在基于从多个试样分别得到的数据进行图像的分类的情况下，由于每个试样的图像分类的基准互不相同，难以进行对不同试样分类而得的图像彼此比较的操作。
本发明是为了解决至少一个这样的技术问题而完成的，其主要的目的在于提供一种成像质量分析装置以及成像质量分析方法，能够高效地找到引起用户兴趣或用户所关注的物质的分布，以及可靠而高效地找到在多个试样之间物质的分布类似的区域或物质的分布不同的区域。
用于解决上述技术问题的方案
为了解决上述技术问题而完成的本发明的成像质量分析装置的一方案具备：
测量部，对设定在目标试样上的测量区域内的多个微小区域分别执行质量分析；
降维处理部，对由所述测量部得到的每个微小区域的质量分析数据进行利用了流形学习的非线性降维法的处理，得到将与质荷比值的数量相当的维度降维为三维的每个微小区域的数据；
显示颜色确定部，通过在以所述三维的各维度为轴并将三原色分别分配至各轴的三维空间中配置与在所述降维处理部中的降维后的每个微小区域的数据相对应的点，分别确定该多个点的颜色；
分割图像生成部，通过将具有赋予所述三维空间内的各点的颜色的像素与该各点所对应的微小区域的所述测量区域内的位置相对应地配置在二维上，生成与该测量区域或其中的一部分的区域相对应的分割图像。
此外，为了解决上述技术问题而完成的本发明的成像质量分析方法的一方案具有：
测量步骤，对设定在目标试样上的测量区域内的多个微小区域分别执行质量分析；
降维处理步骤，对由所述测量部得到的每个微小区域的质量分析数据进行利用了流形学习的非线性降维法的处理，得到将与质荷比值的数量相当的维度降维为三维的每个微小区域的数据；
显示颜色确定步骤，通过在以所述三维的各维度作为轴并将三原色分别分配至各轴的三维空间中配置与在所述降维处理步骤中的降维后的每个微小区域的数据对应的点，分别确定该多个点的颜色；
分割图像生成步骤，通过将具有赋予所述三维空间内的各点的颜色的像素与该各点所对应的微小区域的所述测量区域内的位置相对应地配置在二维上，生成与该测量区域或其中的一部分的区域相对应的分割图像。
在本发明的成像质量分析装置的上述方案中，测量部只要能够保持试样上的测量区域内的各微小区域的位置信息，并得到关于存在于各微小区域的化合物的质量分析数据即可。因此，也可以是对具有二维扩展的试样直接照射离子化用的激光等来进行质量分析的测量部。或者，也可以是通过激光显微切割等方法从所述试样中采集微小的试样片并进行对由该采集到的试样片制备的试样的质量分析(或色谱质量分析)的测量部。
发明效果
作为上述“利用了流形学习的非线性降维法”，能够使用非专利文献2等中提出的UMAP等。在这样的降维法中，能够对无法由以主成分分析为代表的线性降维法充分分离的数据进行分离。此外，虽然根据方法不同而存在差异，但与层次聚类分析等相比，非线性降维法通常能够缩短计算机中的计算时间。此外，在三维空间中，与测量区域内的各微小区域相对应的点重叠(在空间上位于同一位置)的情况很少见，因此在分割图像中各像素大致为各不相同的颜色。因此，不易成为在比较多个分割图像时难以辨认分布的差异的状况，用户能够在多个分割图像之间准确地找到分布的形状不同的区域、分布的形状类似的区域。
因此，根据本发明的上述方案，能够高效地、即不花费繁琐的工夫和时间地找到引起用户兴趣或用户关注的物质的分布。此外，用户能够在多个试样之间准确并且高效地找到物质的分布类似或不同的区域。
附图说明
图1是本发明的一实施方式的成像质量分析装置的概略模块构成图。
图2是示出本实施方式的成像质量分析装置中的解析处理的步骤的一例的流程图。
图3是用于说明本实施方式的成像质量分析装置中的解析处理的概略图。
图4是示出本实施方式的成像质量分析装置中的降维后的伪彩色三维分布图像的一例的图。
图5是示出本实施方式的成像质量分析装置中的分割图像的一例的图。
图6是示出从图5所示的分割图像中提取特定的颜色的图像而得的图像的一例的图。
图7是示出通过对图5的(A)所示的图像的图像处理而生成的区域图像的图。
具体实施方式
以下，参照附图对本发明的一实施方式的成像质量分析装置进行说明。
[本实施方式的装置构成]
图1是本实施方式的成像质量分析装置的概略模块构成图。
如图1所示，本实施方式的成像质量分析装置包含：成像质量分析部1、数据处理部2、输入部3、显示部4。
在此，作为成像质量分析部1，例如能够使用如专利文献1所公开的大气压MALDI离子阱飞行时间型质量分析装置。然而，也可以是如专利文献2所公开的将激光显微切割装置、与对从由激光显微切割装置从试样中采集到的微细的试样片所制备的试样进行质量分析的质量分析装置组合而成的装置。
数据处理部2包含数据存储部21、数据矩阵生成部22、非线性降维处理部23、伪彩色三维分布图像生成部24、分割图像生成部25、分割图像解析处理部26以及显示处理部27作为功能模块。
在本实施方式的装置中，数据处理部2通常以个人计算机或者更高性能的工作站为中心构成，通过在该计算机上执行安装在该计算机上的专用的数据处理软件，能够具体实现上述各功能模块。在该情况下，输入部3是附设于计算机的键盘和定点设备(鼠标等)，显示部4是显示监视器。
[本实施方式的装置中的解析处理]
参照图2及图3对本实施方式的成像质量分析装置中的解析处理的步骤进行说明。图2是示出解析处理的步骤的流程图，图3是用于说明解析处理的概略图。
成像质量分析部1的测量对象例如是将实验动物的脑或内脏等生体组织切成薄片而得的切片试样。该试样被载置于试样板上，在其表面涂布有基质并被设置在成像质量分析部1的规定位置。
如图3的(A)所示，成像质量分析部1对每个将试样100上的规定的测量区域101细密地划分为格子状而得到的微小区域102分别进行质量分析，获取规定的质荷比范围内的质谱数据(步骤S10)。
另外，也可以不进行通常的质量分析，而是进行将具有特定的质荷比或质荷比范围内所包含的离子作为前体离子(precursor ion)的MS/MS分析或n为3以上的MSn分析来获取产物离子光谱数据。
具体地，对一个微小区域102短时间照射激光以产生源自存在于该微小区域102的化合物的离子。将该离子暂时导入离子阱后，通过送入飞行时间型质量分离器，将离子根据质荷比分离并检测。通过移动试样100使得激光在试样100上的照射位置改变，同时反复进行该动作，从而收集针对设定在测量区域101内的所有微小区域102的质谱数据。在图3的(B)中，pxL-1、pxL-2、…是分配至微小区域102的编号。
如上所述地收集到的各微小区域102中的质谱数据即整个测量区域101的MS成像数据被存储在数据处理部2的数据存储部21中。若在适宜的时间点由用户从输入部3指示执行解析，则数据矩阵生成部22从数据存储部21中读取上述MS成像数据，以规定的基准对每个质谱数据检测峰，求得各峰的质荷比值及信号强度值。然后，数据矩阵生成部22收集在所有微小区域的质谱数据中检测到的峰的质荷比值及信号强度值，生成如图3的(C)所示的数据矩阵(步骤S11)。
在图3的(C)所示的例子中，数据矩阵是将所有微小区域的编号纵向排列，所有峰的质荷比值(M1、M2、M3、...)横向排列，在某个微小区域中将相对于某个质荷比值的信号强度值作为要素的矩阵。在试样为源自生体的试样的情况下，通常，由于试样中包含非常多的化合物而在一个质谱中出现许多峰。因此，数据矩阵中的质荷比值的数量(图3的(C)所示的矩阵的列数＝维度数)非常多。
接着，非线性降维处理部23对所述数据矩阵执行降低质荷比方向的维度的处理(步骤S12)。
在数据的降维法中，大致分为投影法与流形学习法。前者主要是线性的降维法，后者主要是非线性的降维法。投影法包括主成分分析(PCA)和聚类分析、独立成分分析(ICA)等。另一方面，流形学习法包括LLE(Locally Linear Embedding：局部线性嵌入)、等度量映射(Isomap)、t-SNE(t-distributed Stochastic Neighbor Embedding：t分布随机邻域嵌入)、UMAP(Uniform Manifold Approximation and Projection：一致的流形逼近与投影)等。其中，非专利文献2中公开的UMAP是2018年提出的新的非线性降维法。在UMAP中，虽然无法像PCA那样计算载荷量，但能够对无法由线性降维法分离的数据进行分离。此外，在UMAP中，可以进行比t-SNE快得多的高速计算，进一步地，还有能够向现有的模型(嵌入)追加新的数据点的特征。
因此，在本实施方式的装置中使用UMAP进行降维。UMAP的理论说明在非专利文献2等中有详细记载，且UMAP的实际应用能够通过使用一般公开的程序实现。因此，在此省略其理论说明。通过对如图3的(C)所示的多维(与质荷比值数相同维度)数据应用由UMAP实现的降维，将与质荷比值的数量相同数量的维度的数据压缩为三维的数据。即，将图3的(C)所示的数据矩阵转换为图3的(D)所示的三列的数据矩阵。
接着，伪彩色三维分布图像生成部24分别将R(红)、G(绿)、B(蓝)各颜色分配至降维后的X、Y、Z的三维的各轴，将数据值(强度值)作为上述颜色的亮度值，对与各微小区域相对应的点分别赋予颜色。然后，伪彩色三维分布图像生成部24生成将带颜色的点配置于将X、Y、Z设为相互正交的3轴的三维空间的伪彩色三维分布图像(步骤S13)。步骤S12及S13的处理也能够理解为对每个小区域将在质谱上观测到的质荷比值不同的多个峰汇总为R、G、B这3个峰的处理。
图4是对通过将切割小鼠的胸部而得的切片作为试样而进行成像质量分析从而收集的MS成像数据实施上述步骤S11～S13的处理，由此得到的伪彩色三维分布图像的一例。在图4中，各点分别与测量区域101内的微小区域102相对应，在三维空间内不同位置的点具有不同的颜色。也就是说，在该三维分布图像中，对各微小区域分别分配颜色。另外，显示处理部27能够将该伪彩色三维分布图像显示在显示部4的画面上。
如上所述，伪彩色三维分布图像内的各点分别与原始测量区域101内的微小区域102相对应。于是，分割图像生成部25将分配至各点的显示颜色赋予相当于对应于该点的微小区域的像素，通过将该像素与测量区域101内的微小区域102的位置相对应地配置来生成二维图像。该二维图像是作为概括质荷比不同的大量MS成像数据的图像，是将类似的区域区分涂色的分割图像(步骤S14)。显示处理部27将如此生成的分割图像显示在显示部4的画面上。
非专利文献1中记载的现有的成像质量分析数据解析软件中，也搭载有“分割”功能。在进行该分割时，通过HCA等计算数据点(像素)彼此的类似性(距离)，像素被分类为多个聚类。虽然可以指定聚类的总数作为参数之一，但通常最大为10左右，被分类为相同聚类的像素无论类似性的程度如何均以相同颜色显示，因此很难辨别像素的细微差异。对此，在本实施方式的装置中，如上所述，各像素以几乎不同的颜色显示，因此能够容易地在二维图像中掌握每个像素的差异。
图5的(A)是将切割投喂了规定药物的小鼠的胸部而得的切片作为试样并通过上述步骤S10～S14的处理而得到的分割图像，图5的(B)是将切割未投喂药物的小鼠的胸部而得的切片作为试样(称为对照试样)并通过上述步骤S10～S14的处理而得的分割图像。如上所述，在UMAP中能够对现有的模型追加新的数据点。这意味着能够对从不同试样得到的数据应用相同的降维模型及相同的颜色分配，从而能够以相同的基准进行分割。图5的(A)及(B)是以这样的方式生成的分割图像，能够将在两图像中颜色相同的区域视为包含相同化合物的区域。因此，用户能够将与这些不同试样分别对应的分割图像彼此进行比较，并在视觉上评价被推测为包含相同化合物的区域的大小、位置的变化等。
此外，分割图像在用户选择感兴趣区域(Region Of Interests＝ROI)时是有用的。于是，在伪彩色三维分布图像中、点可以划分为多个组的情况下，也可以生成并显示将一个组作为一个区域而划分的分割图像，而不是按原样显示分割图像。由此，用户不仅能够简单地选择ROI，并且能够容易地掌握包含类似的像素的区域。
进一步地，分割图像解析处理部26根据用户的操作执行基于所生成的分割图像的各种各样的解析处理，显示处理部27将其解析结果显示在显示部4(步骤S15)。
[利用了分割图像的各种解析方法]
以下，对由分割图像解析处理部26实施的解析处理的例子进行说明。
如上所述，在使用了UMAP作为非线性降维法的情况下，在如图5所示对于的不同的试样的分割图像中，能够将相同颜色的区域视为包含相同化合物的区域。于是，分割图像解析处理部26仅从分割图像中提取具有与用户的指示相对应的特定颜色的像素，显示处理部27将示出提取出的像素的分布的图像显示在显示部4。
图6的(A)及(B)是从图5的(A)及(B)所示的分割图像中提取相同特定颜色的像素而生成的图像的例子。在图6中示出的区域被认为是包含相同化合物的区域，因此通过比较这些图像，能够找到对照个体与药物投喂个体间存在差异的分布和类似的分布。
虽然所述分割图像的颜色数量与降维前的m/z值的数量相比小得多，但通常颜色数量为300左右。因此，若想要查找每个特定颜色的分布的差异等，用户需要进行300张左右的图像的比较。于是，为了进一步减轻该作业的负担，可以在提取了特定颜色的像素的图像中从特异性的对象开始依次赋予优先级从而向用户出示。具体而言例如可以是，分割图像解析处理部26在示出从对作为比较对象的多个试样的分割图像中得到的特定的颜色的像素的图像之间计算亮点(具有该特定的颜色的像素)的数量之差，对该差较大的图像赋予较高的优先级，按优先级的顺序重新排列并显示。
此外，在比较对象的多个试样的图像之间，虽然分布模式本身不同但亮点的数量大致相同有时也是在比较之下重要的信息。于是，为了得到这样的信息，也可以是，分割图像解析处理部26对提取了特定颜色的像素的图像暂时进行将图像模糊化的滤镜处理从而将亮度根据图案不同分为多个等级，之后，生成亮度的直方图并对该直方图实施检测。或者，在图像于某种程度上类似的情况下，也可以是将图像变为低分辨率(例如将3×3像素或4×4像素置换为1像素)并将以低分辨率网格划分的区域内的亮点的数量变换为该区域的亮度，计算两个图像之间的相关性等方法。
当用户如上所述地从分割图像中选择ROI的情况下，能够通过对提取了具有特定颜色的像素的图像进行适当处理从而确定ROI。例如，在图6的(A)所示的图像中，虽然亮点是离散的，但通过进行闭运算处理和去噪处理等图像处理，能够将亮点以高密度存在的区域设为一个集中的区域。图7是通过对图的6的(A)所示的图像进行规定的图像处理而获得的ROI图像的一例。
例如，能够通过这样的处理设定多个ROI，进行统计性地提取每个ROI的特征性的峰这样的处理。此外，也可以利用将分割图像分解为多个颜色而得的图像作为用于进行非专利文献1中记载的“类似图像提取”图像处理的参照图像。
此外，也可在如图4所示的伪颜色三维分布图像上设定ROI。例如，在图4中以A所示的点组明显与其它点在空间上存在距离而形成一个组。于是，用户在输入部3中显示的伪颜色三维分布图像上指示想要设定为ROI的点组。例如，通过定点设备绘制如围绕目标点组的线。于是，分割图像解析处理部26生成仅对与所指示的点相对应的像素赋予了规定颜色的二维图像。只要使所选择的像素位于试样上固定的位置就可得到例如图7所示的图像，因此只要将其设为ROI图像即可。
[变形例]
在对上述实施方式的说明中，基于整个测量区域的MS成像数据进行降维来生成伪彩色三维分布图像，但也可以对测量区域中的一部分，例如特定的ROI中包含的MS成像数据实施相同的处理。
此外，在上述说明中，对于对作为比较对象的两个试样分别得到的MS成像数据实施非线性降维而生成了分割图像，但也可以对于针对更多试样分别得到的MS成像数据实施相同的处理。
即使在该情况下，只要对于针对各个不同的试样的MS成像数据的降维后的数据使用共通的颜色从而生成三维分布图像和分割图像即可。
此外，也可以将分配至分割图像上的像素的一个颜色理解为一个新的变量，对构成从多个试样分别得到的分割图像的数据执行主成分分析、聚类分析等适当的统计解析处理。通过这样的统计解析处理，例如能够进行每个分割图像的各颜色的像素数和其比例的比较，或者能够通过表格等使这样的结果可视化。
此外，例如若对于对具有相类似的倾向的多个试样分别求得的分割图像进行基于该倾向的程度的多元回归分析，则能够发现随该倾向的程度水平变化有面积变化的颜色。
此外，在对上述实施方式的说明中，对具有二维扩展的试样生成了分割图像，但也可以对具有三维大小的脏器等试样的连续切片应用上述的方法，对各切片求得分割图像，根据该多个分割图像重新构建3D(三维)分割图像。
如上所述，在本实施方式的成像质量分析装置中，将非常大量的维度的MS成像数据投影到三维，将R、G、B分配至该各轴。其结果为，分割图像上的各像素具有将在质谱中观测到的多个峰的信息汇总的特定的一个颜色。该方法除了已述的优点以外还有以下优点：
(1)能够容易地变更分割的数量(分割图像上的颜色的数量)。
在通过K-means等其它方法进行分割的情况下，需要在变更分割的数量时重新计算，会花费相应的时间。对此，如果是上述方法，仅通过变更分配至三个轴的颜色的亮度的色调和方向就能够容易地变更颜色及其数量。由于无需重新进行降维的计算，处理所耗的时间大幅缩短。
(2)由于伪颜色三维分布图像和与实际的试样上相对应地平面绘制的分割图像通过颜色相联系，用户能够在视觉上容易地理解两个图像的关系。
由此，例如能够如上所述地进行在伪彩色三维分布图像上选择数据点来生成ROI图像等操作。此外，可以在三维分布图像上对数据点进行操作，具体来说，例如可以选择数据点从而变更颜色、或删除特定的数据点、或使该结果反映到二维的分割图像上、或进行与其相反的操作。
另外，上述实施方式和变形例仅为是本发明的一例，在本发明的主旨的范围内进行适当变形、修正、追加等也理应包含在本发明权利要求的范围中。
[各种方案]
本领域技术人员可理解上述的示例性的实施方式为以下方案的具体例。
(第1项)本发明的成像质量分析装置的一方案具备：
测量部，对设定在目标试样上的测量区域内的多个微小区域分别执行质量分析；
降维处理部，对由所述测量部得到的每个微小区域的质量分析数据进行利用了流形学习的非线性降维法的处理，得到将与质荷比值的数量相当的维度降维为三维的每个微小区域的数据；
显示颜色确定部，通过在以所述三维的各维度为轴并将三原色分别分配至各轴的三维空间中配置与在所述降维处理部中的降维后的每个微小区域的数据相对应的点，分别确定该多个点的颜色；
分割图像生成部，通过将具有赋予所述三维空间内的各点的颜色的像素与该各点所对应的微小区域的所述测量区域内的位置相对应地配置在二维上，生成与该测量区域或其中的一部分的区域相对应的分割图像。
(第6项)此外本发明的成像质量分析方法的一方案具有：
测量步骤，对设定在目标试样上的测量区域内的多个微小区域分别执行质量分析；
降维处理步骤，对在所述测量步骤中得到的每个微小区域的质量分析数据进行利用了流形学习的非线性降维法的处理，得到将与质荷比值的数量相当的维度降维为三维的每个微小区域的数据；
显示颜色确定步骤，通过在以所述三维的各维度作为轴并将三原色分别分配至各轴的三维空间中配置与在所述降维处理步骤中降维后的每个微小区域的数据对应的点，分别确定该多个点的颜色；
分割图像生成步骤，通过将具有赋予所述三维空间内的各点的颜色的像素与该各点所对应的微小区域的所述测量区域内的位置相对应地配置在二维上，生成与该测量区域或其中的一部分的区域相对应的分割图像。
根据第1项所述的成像质量分析装置以及第6项所述的成像质量分析方法，能够高效地、即无需花费繁琐的功夫和时间地找到引起用户兴趣或用户所关注的物质的分布。此外，用户能够准确地并且高效地在多个试样之间找到物质的分布类似的区域或物质的分布不同的区域。
(第2项、第7项)在第1项所述的成像质量分析装置以及第6项所述的成像质量分析方法中，能够将所述非线性降维法设为基于UMAP的方法。
根据第2项所述的成像质量分析装置以及第7项所述的成像质量分析方法，能够控制计算时间并在降维后的三维空间中良好地将各点分离。由此，能够得到更准确地分割了类似的区域的分割图像。
(第3项)此外，在第1项或第2项所述的成像质量分析装置中，能够进一步具备：
三维图像显示处理部，生成将具有由所述显示颜色确定部确定的颜色的各点配置于三维空间内的三维分布图像，并将该三维分布图像显示在显示部；
点选择操作部，由用户在显示的所述三维分布图像上进行一个或多个点的选择；
二维图像显示处理部，生成明确示出将被推测为与在所述点选择操作部选择的一个或多个点相对应的微小区域占据的区域或者以该微小区域为中心的集合的区域的二维图像，并将该二维图像显示在显示部。
(第8项)此外在第6项或第7项所述的成像质量分析方法中，能够进一步具有：
三维图像显示步骤，生成将具有在所述显示颜色确定步骤中确定的颜色的各点配置于三维空间内的三维分布图像，并将该三维分布图像显示在显示部；
点选择操作步骤，由用户在显示的所述三维分布图像上进行一个或多个点的选择；
二维图像显示步骤，生成明确示出被推测为与在所述点选择操作步骤选择的一个或多个点相对应的微小区域占据的区域或者以该微小区域为中心的集合的区域的二维图像，并将该二维图像显示在显示部。
由于在三维分布图像中将与试样上的微小区域相对应的数据点配置于三维空间内，因此容易在视觉上辨别数据点的近、远。因此，根据第3项所述的成像质量分析装置以及第8项所述的成像质量分析方法，通过由用户在三维分布图像上选择例如明显远离其它的数据点的数据点的集合，能够显示明确示出所包含的化合物的种类和数量相近的区域的二维图像。
(第4项)此外，在第1项～第3项的任一项所述的成像质量分析装置中，能够进一步具备分割图像显示处理部，将基于通过所述测量部对多个试样分别获得的数据而生成的多个分割图像显示在显示部的同一画面上。
(第9项)此外，在第6项～第8项的任一项所述的成像质量分析方法中，能够进一步具有分割图像显示步骤，将基于通过所述测量步骤对多个试样分别得到的数据而生成的多个分割图像显示在显示部的同一画面上。
根据第4项所述的成像质量分析装置以及第9项所述的成像质量分析方法，能够并排显示源自想要相互比较的不同试样的分割图像，用户能够容易地评价分布的差异等。
(第5项)此外，在第1项～第4项的任一项所述的成像质量分析装置中，能够进一步具备统计解析处理部，对基于通过所述测量部对多个试样分别得到的数据而生成的多个分割图像，对于从该多个分割图像中分别得到的信息进行规定的统计解析。
(第10项)此外，在第6项～第9项的任一项所述的成像质量分析方法中，能够进一步具有统计解析步骤，对基于通过所述测量步骤对多个试样分别得到的数据而生成的多个分割图像，对于从该多个分割图像中分别得到的信息进行规定的统计解析。
在此所说的统计解析是指多元回归分析等一般的统计解析方法。根据第5项所述的成像质量分析装置以及第10项所述的成像质量分析方法，能够通过统计解析准确地评价仅观测分割图像所难以掌握的信息，例如特定颜色的区域的面积之差等信息。
附图标记说明
1 成像质量分析部
2 数据处理部
21 数据存储部
22 数据矩阵生成部
23 非线性降维处理部
24 伪彩色三维分布图像生成部
25 分割图像生成部
26 分割图像解析处理部
27 显示处理部
3 输入部
4 显示部。

Claims (10)

1.一种成像质量分析装置，其特征在于，具备：
测量部，对设定在目标试样上的测量区域内的多个微小区域分别执行质量分析；
降维处理部，对由所述测量部得到的每个微小区域的质量分析数据进行利用了流形学习的非线性降维法的处理，得到将与质荷比值的数量相当的维度降维为三维的每个微小区域的数据；
显示颜色确定部，通过在以所述三维的各维度为轴并将三原色分别分配至各轴的三维空间中配置与在所述降维处理部中的降维后的每个微小区域的数据相对应的点，分别确定该多个点的颜色；
分割图像生成部，通过将具有赋予所述三维空间内的各点的颜色的像素与该各点所对应的微小区域的所述测量区域内的位置相对应地配置在二维上，生成与该测量区域或其中的一部分的区域相对应的分割图像。
2.如权利要求1所述的成像质量分析装置，其特征在于，所述非线性降维法是基于UMAP即一致的流形逼近与投影以进行降维的方法。
3.如权利要求1所述的成像质量分析装置，其特征在于，进一步具备：
三维图像显示处理部，生成将具有由所述显示颜色确定部确定的颜色的各点配置于三维空间内的三维分布图像，并将该三维分布图像显示在显示部；
点选择操作部，由用户在显示的所述三维分布图像上进行一个或多个点的选择；
二维图像显示处理部，生成明确示出被推测为与由所述点选择操作部选择的一个或多个点相对应的微小区域占据的区域或者以该微小区域为中心的集合的区域的二维图像，并将该二维图像显示在显示部。
4.如权利要求1所述的成像质量分析装置，其特征在于，进一步具备分割图像显示处理部，将基于通过所述测量部对多个试样分别得到的数据而生成的多个分割图像显示在显示部的同一画面上。
5.如权利要求1所述的成像质量分析装置，其特征在于，进一步具备统计解析处理部，对基于通过所述测量部对多个试样分别得到的数据而生成的多个分割图像，对于从该多个分割图像中分别得到的信息进行规定的统计解析。
6.一种成像质量分析方法，其特征在于，具有：
测量步骤，对设定在目标试样上的测量区域内的多个微小区域分别执行质量分析；
降维处理步骤，对在所述测量步骤中得到的每个微小区域的质量分析数据进行利用了流形学习的非线性降维法的处理，得到将与质荷比值的数量相当的维度降维为三维的每个微小区域的数据；
显示颜色确定步骤，通过在以所述三维的各维度作为轴并将三原色分别分配至各轴的三维空间中配置与在所述降维处理步骤中降维后的每个微小区域的数据对应的点，分别确定该多个点的颜色；
分割图像生成步骤，通过将具有赋予所述三维空间内的各点的颜色的像素与该各点所对应的微小区域的所述测量区域内的位置相对应地配置在二维上，生成与该测量区域或其中的一部分的区域相对应的分割图像。
7.如权利要求6所述的成像质量分析方法，其特征在于，所述非线性降维法是基于UMAP即一致的流形逼近与投影以进行降维的方法。
8.如权利要求6所述的成像质量分析方法，其特征在于，进一步具有：
三维图像显示步骤，生成将具有在所述显示颜色确定步骤中确定的颜色的各点配置于三维空间内的三维分布图像，并将该三维分布图像显示在显示部；
点选择操作步骤，由用户在显示的所述三维分布图像上进行一个或多个点的选择；
二维图像显示步骤，生成明确示出被推测为与在所述点选择操作步骤中选择的一个或多个点相对应的微小区域占据的区域或者以该微小区域为中心的集合的区域的二维图像，并将该二维图像显示在显示部。
9.如权利要求6所述的成像质量分析方法，其特征在于，进一步具有分割图像显示步骤，将基于通过所述测量步骤对多个试样分别得到的数据而生成的多个分割图像显示在显示部的同一画面上。
10.如权利要求6所述的成像质量分析方法，其特征在于，进一步具有统计解析步骤，对基于通过所述测量步骤对多个试样分别得到的数据而生成的多个分割图像，对于从该多个分割图像中分别得到的信息进行规定的统计解析。
CN202110231139.7A 2020-06-15 2021-03-02 成像质量分析装置、以及成像质量分析方法 Active CN113808141B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-102830 2020-06-15
JP2020102830A JP7363675B2 (ja) 2020-06-15 2020-06-15 イメージング質量分析装置、及びイメージング質量分析方法

Publications (2)

Publication Number Publication Date
CN113808141A true CN113808141A (zh) 2021-12-17
CN113808141B CN113808141B (zh) 2024-05-28

Family

ID=78825866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110231139.7A Active CN113808141B (zh) 2020-06-15 2021-03-02 成像质量分析装置、以及成像质量分析方法

Country Status (3)

Country Link
US (1) US11545348B2 (zh)
JP (1) JP7363675B2 (zh)
CN (1) CN113808141B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115184447A (zh) * 2022-07-25 2022-10-14 司法鉴定科学研究院 一种墨水溯源方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012038459A (ja) * 2010-08-04 2012-02-23 Shimadzu Corp 質量分析装置
CN102421373A (zh) * 2009-05-20 2012-04-18 株式会社日立医疗器械 医用图像诊断装置及其感兴趣区域设定方法
CN103927547A (zh) * 2014-03-31 2014-07-16 中国海洋石油总公司 一种用于对岩屑荧光图像进行快速分析方法
US20150287578A1 (en) * 2014-04-02 2015-10-08 The Board Of Trustees Of The Leland Stanford Junior University Apparatus and method for sub-micrometer elemental image analysis by mass spectrometry
CN106384369A (zh) * 2016-08-31 2017-02-08 上海交通大学 一种数据导向的颜色流形获取方法
CN107832664A (zh) * 2017-10-09 2018-03-23 中国电子科技集团公司第二十八研究所 一种交通场景的感兴趣区域分析方法
CN108319964A (zh) * 2018-02-07 2018-07-24 嘉兴学院 一种基于混合特征和流形学习的火灾图像识别方法
US20190228956A1 (en) * 2018-01-23 2019-07-25 Jeol Ltd. Apparatus and Method for Processing Mass Spectrum
CN110176012A (zh) * 2019-05-28 2019-08-27 腾讯科技（深圳）有限公司 图像中的目标分割方法、池化方法、装置及存储介质
CN110335266A (zh) * 2019-07-04 2019-10-15 五邑大学 一种智能中医目诊图像处理方法及装置
CN110852160A (zh) * 2015-09-11 2020-02-28 眼验股份有限公司 以图像为基准的生物识别系统及计算机实施方法
CN110930424A (zh) * 2019-12-06 2020-03-27 深圳大学 器官轮廓分析方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3706914B2 (ja) * 2003-03-27 2005-10-19 独立行政法人食品総合研究所 成分分布可視化方法および成分分布可視化装置
DE102004037512B4 (de) 2004-08-03 2012-11-08 Bruker Daltonik Gmbh Massenspektrometrische Gewebezustandsdifferenzierung
JP5050705B2 (ja) * 2007-07-24 2012-10-17 株式会社島津製作所 質量分析装置
JP5246026B2 (ja) * 2009-05-11 2013-07-24 株式会社島津製作所 質量分析データ処理装置
JP5527232B2 (ja) * 2010-03-05 2014-06-18 株式会社島津製作所 質量分析データ処理方法及び装置
WO2013026026A2 (en) * 2011-08-17 2013-02-21 Smiths Detection Inc. Shift correction for spectral analysis
JP5708400B2 (ja) 2011-09-26 2015-04-30 株式会社島津製作所 イメージング質量分析装置及び質量分析データ処理方法
WO2015053039A1 (ja) 2013-10-07 2015-04-16 国立大学法人名古屋大学 レーザーマイクロダイセクション装置、該レーザーマイクロダイセクション装置を含む分析装置及びマイクロチップの製造方法
CN107850567A (zh) * 2015-07-01 2018-03-27 株式会社岛津制作所 数据处理装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102421373A (zh) * 2009-05-20 2012-04-18 株式会社日立医疗器械 医用图像诊断装置及其感兴趣区域设定方法
JP2012038459A (ja) * 2010-08-04 2012-02-23 Shimadzu Corp 質量分析装置
CN103927547A (zh) * 2014-03-31 2014-07-16 中国海洋石油总公司 一种用于对岩屑荧光图像进行快速分析方法
US20150287578A1 (en) * 2014-04-02 2015-10-08 The Board Of Trustees Of The Leland Stanford Junior University Apparatus and method for sub-micrometer elemental image analysis by mass spectrometry
CN110852160A (zh) * 2015-09-11 2020-02-28 眼验股份有限公司 以图像为基准的生物识别系统及计算机实施方法
CN106384369A (zh) * 2016-08-31 2017-02-08 上海交通大学 一种数据导向的颜色流形获取方法
CN107832664A (zh) * 2017-10-09 2018-03-23 中国电子科技集团公司第二十八研究所 一种交通场景的感兴趣区域分析方法
US20190228956A1 (en) * 2018-01-23 2019-07-25 Jeol Ltd. Apparatus and Method for Processing Mass Spectrum
CN108319964A (zh) * 2018-02-07 2018-07-24 嘉兴学院 一种基于混合特征和流形学习的火灾图像识别方法
CN110176012A (zh) * 2019-05-28 2019-08-27 腾讯科技（深圳）有限公司 图像中的目标分割方法、池化方法、装置及存储介质
CN110335266A (zh) * 2019-07-04 2019-10-15 五邑大学 一种智能中医目诊图像处理方法及装置
CN110930424A (zh) * 2019-12-06 2020-03-27 深圳大学 器官轮廓分析方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XINGCHUANG XIONG 等: "Data Processing for 3D Mass Spectrometry Imaging", AMERICAN SOCIETY FOR MASS SPECTROMETRY, pages 1147 - 1156 *
傅荣会: "基于PCA变换的超谱图像降维算法仿真", 计算机仿真, no. 11, pages 246 - 250 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115184447A (zh) * 2022-07-25 2022-10-14 司法鉴定科学研究院 一种墨水溯源方法

Also Published As

Publication number Publication date
CN113808141B (zh) 2024-05-28
US11545348B2 (en) 2023-01-03
US20210391160A1 (en) 2021-12-16
JP7363675B2 (ja) 2023-10-18
JP2021196260A (ja) 2021-12-27

Similar Documents

Publication Publication Date Title
US8433122B2 (en) Method and apparatus for processing mass analysis data
US8873796B2 (en) Mass analysis data processing method and mass analysis data processing apparatus
US10734208B2 (en) Imaging mass spectrometer
JP5708400B2 (ja) イメージング質量分析装置及び質量分析データ処理方法
US9075782B2 (en) Mass spectrometry data analysis method and analysis device
JP6176397B2 (ja) 分析データ処理装置
JP2016075574A (ja) 質量顕微鏡装置
JP2012517588A (ja) 質量分析方法
CN113808141B (zh) 成像质量分析装置、以及成像质量分析方法
EP3922980A1 (en) Computer-implemented method, computer program product and system for data analysis
JP6179600B2 (ja) 質量分析データ解析装置
US10147590B2 (en) Mass spectrometry data processing apparatus and mass spectrometry data processing method
US11282683B2 (en) Imaging mass spectrometric data analyzer
EP4174481A1 (en) Phase analyzer, sample analyzer, and analysis method
JP7064894B2 (ja) マススペクトル処理装置及び方法
JP2017040520A (ja) 分析データ表示処理装置及び表示処理プログラム
JP6897804B2 (ja) 表示処理装置、イメージング質量分析システムおよび表示処理方法
US12026888B2 (en) Imaging analyzer
US20220262611A1 (en) Imaging mass spectrometer
US20220359176A1 (en) Analysis device
US20220044409A1 (en) Imaging analyzer
WO2023058234A1 (ja) 質量分析データ解析方法及びイメージング質量分析装置
CN113508293A (zh) 成像质量分析装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant