JP2021196260A - イメージング質量分析装置、及びイメージング質量分析方法 - Google Patents

イメージング質量分析装置、及びイメージング質量分析方法 Download PDF

Info

Publication number
JP2021196260A
JP2021196260A JP2020102830A JP2020102830A JP2021196260A JP 2021196260 A JP2021196260 A JP 2021196260A JP 2020102830 A JP2020102830 A JP 2020102830A JP 2020102830 A JP2020102830 A JP 2020102830A JP 2021196260 A JP2021196260 A JP 2021196260A
Authority
JP
Japan
Prior art keywords
image
region
unit
measurement
dimension reduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020102830A
Other languages
English (en)
Other versions
JP7363675B2 (ja
JP2021196260A5 (ja
Inventor
真一 山口
Shinichi Yamaguchi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Priority to JP2020102830A priority Critical patent/JP7363675B2/ja
Priority to US17/174,439 priority patent/US11545348B2/en
Priority to CN202110231139.7A priority patent/CN113808141A/zh
Publication of JP2021196260A publication Critical patent/JP2021196260A/ja
Publication of JP2021196260A5 publication Critical patent/JP2021196260A5/ja
Application granted granted Critical
Publication of JP7363675B2 publication Critical patent/JP7363675B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J49/00Particle spectrometers or separator tubes
    • H01J49/0004Imaging particle spectrometry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G06F18/21355Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis nonlinear criteria, e.g. embedding a manifold in a Euclidean space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/168Segmentation; Edge detection involving transform domain methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01JELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J49/00Particle spectrometers or separator tubes
    • H01J49/0027Methods for using particle spectrometers
    • H01J49/0036Step by step routines describing the handling of the data generated during a measurement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Abstract

【課題】ユーザーの興味を引く又はユーザーが着目する物質の分布を効率的に見つけることを可能とする。【解決手段】本発明の一態様は、目的試料上の測定領域内に設定された複数の微小領域それぞれについて質量分析を実行する測定部(1)と、測定部で得られた微小領域毎の質量分析データに対し、多様体学習を利用した非線形次元削減法による処理を行い、m/z値の数に相当する次元を3次元に削減した微小領域毎のデータを得る次元削減処理部(23)と、3次元の各次元を軸とし各軸に三原色をそれぞれ割り当てた3次元空間に、次元削減処理部での次元削減後の微小領域毎のデータに対応する点を配置することでその点の色をそれぞれ決定する表示色決定部(24)と、3次元空間内の各点に与えられた色を有する画素を、その各点に対応する微小領域の測定領域内での位置に応じて2次元上に配置することにより、該測定領域又はその中の一部の領域に対応するセグメンテーション画像を作成するセグメンテーション画像作成部(25)と、を備える。【選択図】図1

Description

本発明は、イメージング質量分析装置、及び、イメージング質量分析方法に関する。
特許文献1等に開示されているイメージング質量分析装置は、マトリックス支援レーザー脱離イオン化法によるイオン源を搭載しており、生体組織切片などの試料の表面の形態を光学顕微鏡によって観察しながら、その試料上の所望の2次元領域内に設定された微小領域毎に、所定の質量電荷比(厳密には斜体字の「m/z」であるが、ここでは慣用的に「質量電荷比」という)範囲に亘るマススペクトルデータを収集することができる。また、イメージング質量分析の別の方法として、特許文献2等に開示されているように、レーザーマイクロダイセクションと呼ばれる試料採取方法を利用することで、試料上の所望の2次元領域内に設定された微小領域からそれぞれ試料片を切り出し、各試料片から調製した液体試料を質量分析装置に供することで、微小領域毎のマススペクトルデータを取得する方法も知られている。
いずれにしても、試料上の微小領域毎に得られたマススペクトルデータ(以下、このデータを「MSイメージングデータ」という場合がある)から、例えば特定の化合物に由来するイオンの質量電荷比における信号強度値を抽出し、試料上での各微小領域の位置に応じてその信号強度値を配置した画像を作成することで、その特定の化合物の分布状況を示す画像(MSイメージング画像)を得ることができる。
解析対象の化合物が既知である場合や、或いはその化合物自体は未知であっても興味のある分子の質量が既知であるような場合には、上述したように、その化合物や分子に対応する質量電荷比をユーザーが指定することで、そのユーザーにとって興味のあるMSイメージング画像を表示させることができる。また、非特許文献1に開示されているイメージング質量分析データ解析ソフトウェアに搭載されている「類似画像抽出」機能を用いることで、例えば、興味のある画像(染色像や蛍光像など別のイメージング手法で得られている画像や或る質量電荷比におけるMSイメージング画像)と強度分布が類似している質量電荷比を自動的に探索し、その質量電荷比におけるMSイメージング画像を作成・表示することもできる。
一方、着目すべき化合物が未知又は不明である場合や、それを自動的に探索するために参照とするような画像が得られていない場合には、例えば、MSイメージング画像をオペレーター(ユーザー)が目視で確認しながら、興味を引く画像を探索する作業が必要になる。しかしながら、通常、MSイメージング画像の数は非常に多いため、そうした画像を一つ一つオペレーターが目視で確認するのは時間と手間が非常に掛かる。また、そうした時間や手間を掛けたとしても見落としが完全には避けられず、十分な信頼性を確保することが困難である。
これに対し、非特許文献1に開示されているイメージング質量分析データ解析ソフトウェアに搭載されている「画像分類」機能を用いることで、多数のMSイメージング画像を複数のクラスター(グループ)に分類することができる。こうした自動的な画像分類では、クラスター毎の平均的な画像とそのクラスター内に含まれる質量電荷比値の情報を提供することができるため、ユーザーは、こうした情報を参照して興味を引くクラスターを見つけ、そのクラスターの中で画像を詳細に探索することができる。それによって、ユーザーによる画像の探索の作業の負荷は或る程度軽減される。
特開2013−68565号公報 国際公開第2015/053039号
「MSイメージングデータ解析ソフトウェア IMAGEREVEAL MS Ver.1.1」、製品カタログ、株式会社島津製作所、2020年1月初版発行 マックインネス(Leland McInnes)、ほか2名、「ユーマップ:ユニフォーム・マニフォールド・アプロキシメイション・アンド・プロジェクション・フォー・ディメンジョン・リダクション(UMAP:Uniform Manifold Approximation and Projection for Dimension Reduction)」、[online]、[2020年6月1日]、arXiv、インターネット<URL: https://arxiv.org/pdf/1802.03426.pdf>
しかしながら、上述した画像分類の演算処理に一般的に使用されている階層型クラスター解析(Hierarchical Clustering Analysis:HCA)は、コンピューターでの計算時間が長く掛かり、効率が悪い、或いはコストが高いという欠点がある。また、HCAで得られるクラスター毎の平均像は識別上の空間で見たときに互いに独立したものとはなっておらず、クラスター毎の分布の違いが分かりにくいという欠点がある。さらにまた、複数の試料に対しそれぞれ得られたデータに基く画像の分類を行った場合、その画像分類の基準が試料毎に異なるものとなるため、異なる試料について分類された画像同士を比較する作業が行いにくいという問題もある。
本発明はこうした課題の少なくとも一つを解決するためになされたものであり、その主たる目的は、ユーザーの興味を引く又はユーザーが着目する物質の分布を効率的に見つけることができ、また、複数の試料の間で物質の分布が類似した又は相違する領域を的確に且つ効率的に見つけることができるイメージング質量分析装置、及びイメージング質量分析方法を提供することである。
上記課題を解決するためになされた本発明に係るイメージング質量分析装置の一態様は、
目的試料上の測定領域内に設定された複数の微小領域それぞれについて質量分析を実行する測定部と、
前記測定部で得られた微小領域毎の質量分析データに対し、多様体学習を利用した非線形次元削減法による処理を行い、質量電荷比値の数に相当する次元を3次元に削減した微小領域毎のデータを得る次元削減処理部と、
前記3次元の各次元を軸とし各軸に三原色をそれぞれ割り当てた3次元空間に、前記次元削減処理部での次元削減後の微小領域毎のデータに対応する点を配置することでその点の色をそれぞれ決定する表示色決定部と、
前記3次元空間内の各点に与えられた色を有する画素を、その各点に対応する微小領域の前記測定領域内での位置に応じて2次元上に配置することにより、該測定領域又はその中の一部の領域に対応するセグメンテーション画像を作成するセグメンテーション画像作成部と、
を備える。
また上記課題を解決するためになされた本発明に係るイメージング質量分析方法の一態様は、
目的試料上の測定領域内に設定された複数の微小領域それぞれについて質量分析を実行する測定ステップと、
前記測定ステップにおいて得られた微小領域毎の質量分析データに対し、多様体学習を利用した非線形次元削減法による処理を行い、質量電荷比値の数に相当する次元を3次元に削減した微小領域毎のデータを得る次元削減処理ステップと、
前記3次元の各次元を軸とし各軸に三原色をそれぞれ割り当てた3次元空間に、前記次元削減処理ステップにおける次元削減後の微小領域毎のデータに対応する点を配置することでその点の色をそれぞれ決定する表示色決定ステップと、
前記3次元空間内の各点に与えられた色を有する画素を、その各点に対応する微小領域の前記測定領域内での位置に応じて2次元上に配置することにより、該測定領域又はその中の一部の領域に対応するセグメンテーション画像を作成するセグメンテーション画像作成ステップと、
を有する。
本発明に係るイメージング質量分析装置の上記態様において、測定部は、試料上の測定領域内での各微小領域の位置情報を保持しつつ、各微小領域に存在する化合物についての質量分析データが得られるものであればよい。したがって、2次元的な広がりを有する試料に対し直接、イオン化用のレーザー光等を照射して質量分析を行うものであってもよい。或いは、上記試料から微小な試料片をレーザーマイクロダイセクションなどの手法により採取し、その採取された試料片から調製された試料についての質量分析(又はクロマトグラフ質量分析)を行うものであってもよい。
上記「多様体学習を利用した非線形次元削減法」としては、非特許文献2等にて提案されているUMAPなどを用いることができる。こうした次元削減法では、主成分分析を代表とする線形次元削減法では十分に分離することができないようなデータを分離することができる。また、手法によって差はあるものの、一般に、コンピューターでの計算時間を短縮することができる。また、3次元空間において、測定領域内の各微小領域に対応する点が重なる(空間的に同じ位置にくる)ことは稀であるので、セグメンテーション画像において各画素は概ねそれぞれ異なる色となる。そのため、複数のセグメンテーション画像を比較する際に分布の違いが分かりにくいという状況になりにくく、複数のセグメンテーション画像の間で、分布の形状が相違している領域や分布の形状が類似している領域を的確に見つけることができる。
したがって、本発明の上記態様によれば、ユーザーの興味を引く又はユーザーが着目する物質の分布を効率的に、つまり面倒な手間や時間を掛けることなく見つけることができる。また、複数の試料の間で、物質の分布が類似した又は相違する領域を的確に且つ効率的に見つけることができる。
本発明の一実施形態であるイメージング質量分析装置の概略ブロック構成図。 本実施形態のイメージング質量分析装置における解析処理の手順の一例を示すフローチャート。 本実施形態のイメージング質量分析装置における解析処理を説明するための概略図。 本実施形態のイメージング質量分析装置における次元削減後の疑似カラー3次元画像の一例を示す図。 本実施形態のイメージング質量分析装置におけるセグメンテーション画像の一例を示す図。 図5に示したセグメンテーション画像から特定の色の画像を抽出して得られる画像の一例を示す図。 図5(A)に示した画像に対する画像処理により作成された領域画像を示す図。
以下、本発明の一実施形態であるイメージング質量分析装置について、添付図面を参照して説明する。
[本実施形態の装置構成]
図1は、本実施形態のイメージング質量分析装置の概略ブロック構成図である。
図1に示すように、本実施形態のイメージング質量分析装置は、イメージング質量分析部1と、データ処理部2と、入力部3と、表示部4と、を含む。
ここでは、イメージング質量分析部1は、例えば特許文献1に開示されているような大気圧MALDIイオントラップ飛行時間型質量分析装置を用いる。但し、特許文献2に開示されているような、レーザーマイクロダイセクション装置と、該装置によって試料から採取された微細な試料片から調製された試料を質量分析する質量分析装置とを組み合わせた装置でもよい。
データ処理部2は、機能ブロックとして、データ格納部21、データ行列作成部22、非線形次元削減処理部23、疑似カラー3次元分布画像作成部24、セグメンテーション画像作成部25、セグメンテーション画像解析処理部26、及び、表示処理部27、を含む。
本実施形態の装置において、データ処理部2は、通常、パーソナルコンピューター又はより高性能なワークステーションを中心に構成され、該コンピューターにインストールされた専用のデータ処理ソフトウェアを該コンピューター上で実行することによって、上記各機能ブロックが具現化されるものとすることができる。この場合、入力部3はコンピューターに付設されたキーボードやポインティングデバイス(マウスなど)であり、表示部4はディスプレイモニターである。
[本実施形態の装置における解析処理]
本実施形態のイメージング質量分析装置における解析処理の手順を、図2及び図3を参照しつつ説明する。図2は解析処理の手順を示すフローチャート、図3は解析処理を説明するための概略図である。
イメージング質量分析部1による測定対象は、例えば、実験動物の脳や内臓などの生体組織が薄くスライスされた切片試料である。該試料は試料プレート上に載せられ、その表面にマトリックスが塗布されてイメージング質量分析部1の所定位置にセットされる。
イメージング質量分析部1は、図3(A)に示すように、試料100上の所定の測定領域101を格子状に細かく区切った微小領域102毎に、それぞれ質量分析を行い、所定の質量電荷比範囲に亘るマススペクトルデータを取得する(ステップS10)。
なお、通常の質量分析ではなく、特定の質量電荷比を有する又は質量電荷比範囲に含まれるイオンをプリカーサイオンとしたMS/MS分析やnが3以上のMSn分析を行ってプロダクトイオンスペクトルデータを取得してもよい。
具体的には、一つの微小領域102にレーザー光を短時間照射し、その微小領域102に存在する化合物由来のイオンを発生させる。そのイオンをイオントラップに一旦導入したあと、飛行時間型質量分離器に送り込むことでイオンを質量電荷比に応じて分離して検出する。この動作を、試料100上でレーザー光の照射位置が変わるように試料100を移動させながら繰り返し行うことで、測定領域101内に設定された全ての微小領域102についてのマススペクトルデータを収集する。図3(B)では、pxL-1、pxL-2、…が微小領域102に割り当てられた番号である。
上述したように収集された各微小領域におけるマススペクトルデータ、即ち測定領域101全体についてのMSイメージングデータは、データ処理部2のデータ格納部21に格納される。適宜の時点で、ユーザーにより入力部3から解析実行が指示されると、データ行列作成部22は、データ格納部21から上記MSイメージングデータを読み出し、マススペクトルデータ毎に所定の基準でピークを検出し、各ピークの質量電荷比値及び信号強度値を求める。そして、データ行列作成部22は、全ての微小領域についてのマススペクトルデータにおいて検出されたピークの質量電荷比値及び信号強度値を集め、図3(C)に示すようなデータ行列を作成する(ステップS11)。
図3(C)に示した例では、データ行列は、全ての微小領域の番号を縦方向に並べ、全てのピークの質量電荷比値(M1、M2、M3、…)を横方向に並べ、或る微小領域において或る質量電荷比値に対する信号強度値を要素とした行列である。試料が生体由来の試料である場合、通常、試料には非常に多くの化合物が含まれるため、一つのマススペクトルに多くのピークが現れる。したがって、データ行列における質量電荷比値の数(図3(C)に示した行列の列数=次元数)は非常に多い。
次いで、非線形次元削減処理部23は、上記データ行列に対し質量電荷比方向の次元を削減する処理を実行する(ステップS12)。
データの次元削減法には、大別して、射影法と多様体学習法とがある。前者は主として線形の次元削減法であり、後者は主として非線形の次元削減法である。射影法には、主成分分析(PCA)やクラスター解析、独立成分分析(ICA)などが含まれる。一方、多様体学習法には、LLE(Locally Linear Embedding)、Isomap、t−SNE(t-distributed Stochastic Neighbor Embedding)、UMAP (Uniform Manifold Approximation and Projection)などが含まれる。このうち、非特許文献2に開示されているUMAPは2018年に提案された新しい非線形次元削減法であり、PCAのように負荷量を算出することはできないものの、線形次元削減法では分離できないようなデータも分離することができる。また、UMAPは、t−SNEに比べてもかなり高速な計算が可能であり、さらに、既存のモデル(埋め込み)に新しいデータ点を追加できるという特徴もある。
こうしたことから、本実施形態の装置では、次元削減にUMAPを使用している。UMAPの理論的な説明は非特許文献2等に詳しく記載されているし、またUMAPの実装は一般に公開されているプログラムを用いて可能である。したがって、ここではその理論的な説明は省略する。図3(C)に示したような多次元(質量電荷比値数と同じ次元)のデータに対してUMAPによる次元削減を適用することで、質量電荷比値の数と同数の次元のデータを3次元のデータに圧縮する。即ち、図3(C)に示したデータ行列は、図3(D)に示す3列のデータ行列に変換される。
次いで、疑似カラー3次元分布画像作成部24は、次元削減後のX、Y、Zの3次元の各軸にそれぞれR(赤)、G(緑)、B(青)の各色を割り当て、データ値(強度値)をその色の輝度値として、各微小領域に対応する点にそれぞれ色を与える。そして、その色付きの点を、X、Y、Zを互いに直交する3軸とした3次元空間に配置した疑似カラー3次元分布画像を作成する(ステップS13)。ステップS12及びS13の処理は、微小領域毎に、マススペクトル上で観測される質量電荷比値が相違する多数のピークを、R、G、Bという3本のピークに集約する処理であると捉えることもできる。
図4は、マウスの胸部を切断した切片を試料としてイメージング質量分析を行うことで収集したMSイメージングデータに対し、上述したステップS11〜S13の処理を実施することによって得られた疑似カラー3次元分布画像の一例である。図4において各点はそれぞれ測定領域101内の微小領域102に対応しており、3次元空間内で異なる位置の点は異なる色を有する。つまり、この3次元分布画像では、各微小領域にそれぞれ色が割り当てられることになる。なお、表示処理部27は、この疑似カラー3次元分布画像を表示部4の画面上に表示することができる。
上述したように、疑似カラー3次元分布画像内の各点は、それぞれ元の測定領域101内の微小領域102に対応する。そこで、セグメンテーション画像作成部25は、各点に割り当てられた表示色をその点に対応する微小領域に相当する画素に与え、その画素を測定領域101内の微小領域102の位置に対応して配置することで2次元画像を作成する。この画像は、質量電荷比が相違する多数のMSイメージングデータを概観するものとして、類似した領域を塗り分けたセグメンテーション画像である(ステップS14)。表示処理部27は、こうして作成されたセグメンテーション画像を表示部4の画面上に表示する。
非特許文献1に記載の従来のイメージング質量分析データ解析ソフトウェアにも、「セグメンテーション」機能が搭載されている。こうしたセグメンテーションの際には、HCA等によりデータ点(画素)同士の類似性(距離)が計算され、画素が複数のクラスターに分類される。クラスターの数はパラメータの一つとして指定可能であるものの、通常、最大でも10程度であり、同じクラスターに分類された画素は類似性の程度に依らず同じ色で表示されるため、画素の細かい違いが分かりにくい。これに対し、本実施形態の装置では、上述したように、各画素はほぼ違う色で表示されるため、画素毎の違いを容易に把握することができる。
図5(A)は、所定の薬物を投与したマウスの胸部を切断した切片を試料として上記ステップS10〜S14の処理により得られたセグメンテーション画像、図5(B)は、薬物を投与しないマウスの胸部を切断した切片を試料(コントロール試料という)として上記ステップS10〜S14の処理により得られたセグメンテーション画像である。上述したように、UMAPでは既存のモデルに新しいデータ点を追加できる。これは、異なる試料から得られたデータについて、同じ次元削減モデル及び同じ色の割当てを適用することができることを意味しており、同一の基準で以てセグメンテーションを行うことができる。図5(A)及び(B)は、そのようにして作成されたセグメンテーション画像であり、両画像において同じ色の領域は同じ化合物が含まれる領域であるとみなすことができる。したがって、ユーザーはこうしたセグメンテーション画像同士を比較し、同じ化合物が含まれると推定される領域の大きさや位置の変化などを視覚的に評価することができる。
また、セグメンテーション画像は、ユーザーが関心領域(Region Of Interests=ROI) を選択する際に有用である。そこで、セグメンテーション画像をそのまま表示するのではなく、疑似カラー3次元分布画像において点が複数の群に区分可能であるような場合には、一つの群を一つの領域として切り分けたセグメンテーション画像を作成・表示してもよい。それにより、ユーザーはROIを簡単に選択できるほか、類似した画素を含む領域の把握が容易になる。
さらにセグメンテーション画像解析処理部26はユーザーによる操作に応じて、作成されたセグメンテーション画像に基く様々な解析処理を実行し、表示処理部27はその解析結果を表示部4に表示する(ステップS15)。
[セグメンテーション画像を利用した種々の解析手法]
以下、セグメンテーション画像解析処理部26により実施される解析処理の例を説明する。
上述したように、非線形次元削減法としてUMAPを用いた場合、図5に示したような異なる試料に対するセグメンテーション画像では、同じ色の領域は同じ化合物が含まれる領域であるとみなすことができる。そこで、セグメンテーション画像解析処理部26は、ユーザーの指示に応じた特定の色を有する画素のみをセグメンテーション画像から抽出し、表示処理部27はそれを示す画像を表示部4に表示する。
図6(A)及び(B)は、図5(A)及び(B)に示したセグメンテーション画像から同特定の色の画素を抽出して作成した画像の例である。図6において示されている領域は同じ化合物を含む領域であると考えられるから、これら画像を比較することで、コントロール個体と薬物投与個体とで差異がある分布や類似した分布を見つけることができる。
上記セグメンテーション画像の色数は次元削減前のm/z値の数に比べれば大幅に少ないものの、それでも通常、300程度の色数となる。そのため、特定の色毎に分布の相違等を調べようとすると、300枚程度の画像の比較を行う必要がある。そこで、この負担をさらに軽減するために、特定の色の画素を抽出した画像の中で特異的なものがから順に優先順位をつけてユーザーに提示するとよい。具体的には例えば、セグメンテーション画像解析処理部26は、比較対象とする複数の試料に対するセグメンテーション画像から得られた特定の色の画素を示した画像の間で、輝点(その特定の色を有する画素)の数の差を算出し、その差が大きい画像に高い優先度を与えて並び替えて表示するとよい。
また、比較対象の複数の試料についての画像の間で、分布のパターン自体は異なっていても輝点の数が同程度であるということも、比較のうえで重要な情報である場合がある。そこで、こうした情報を得るために、セグメンテーション画像解析処理部26は、特定の色の画素を抽出した画像に対し、画像をぼやかすようなフィルター処理を一旦行うことで輝度をパターンによって複数ランクに分け、そのあと、輝度のヒストグラムを作成してそのヒストグラムに対し検定を実施するようにしてもよい。或いは、或る程度画像が類似している場合には、画像を粗くし(例えば3×3画素又は4×4画素を1画素に置き換える)その粗い格子の中での輝点の数を輝度として、二つの画像の間で相関を計算するなどの方法でもよい。
ユーザーが上述したようにセグメンテーション画像からROIを選択する場合に、特定の色を有する画素を抽出した画像を適宜処理することでROIを決定することができる。例えば、図6(A)に示した画像では、輝点が離散的であるが、クロージング処理やノイズ除去処理などの画像処理を行うことにより、輝点が高い密度で存在する領域を一つのまとまった領域とすることができる。図7は、図6(A)に示した画像に対し所定の画像処理を行うことで得られたROI画像の一例である。
例えば、このようにして複数のROIを設定し、ROI毎に特徴的なピークを統計的に抽出するような処理を行うことができる。また、セグメンテーション画像を複数の色に分解することで得られた画像を、非特許文献1に記載された「類似画像抽出」画像処理を行うための参照画像として利用してもよい。
また、図4に示したような疑似カラー3次元分布画像上でROIを設定することも可能である。例えば図4においてAで示した点群は明瞭に他の点と空間的に距離があり、一つの群を形成している。そこで、ユーザーは入力部3で表示されている疑似カラー3次元分布画像上でROIを設定したい点群を指示する。例えばポインティングデバイスで目的の点群を囲むような線を描く。すると、セグメンテーション画像解析処理部26は、指示された点に対応する画素のみにその色を与えた2次元の画像を作成する。選択された画素が試料上でかたまって位置していれば、例えば図7に示すような画像が作成されるので、これをROI画像とすればよい。
[変形例]
上記実施形態の説明では、測定領域全体のMSイメージングデータに基いて次元削減を行い疑似カラー3次元分布画像を作成しているが、測定領域の中で特定のROIに含まれるMSイメージングデータについて同様の処理を実施してもよい。
また、上記説明では、比較対象する二つの試料についてそれぞれ得られたMSイメージングデータに対し非線形次元削減を実施しセグメンテーション画像を作成していたが、より多くの試料についてそれぞれ得られたMSイメージングデータに対して同様の処理を実施してもよい。
その場合でも、それぞれ異なる試料についてのMSイメージングデータに対する次元削減後のデータに対し、共通の色を使用して、3次元分布画像やセグメンテーション画像を作成するとよい。
また、セグメンテーション画像上の画素に割り当てられた一つの色を新たな一つの変数として捉え、複数の試料からそれぞれ得られたセグメンテーション画像を構成するデータに対し、主成分分析、クラスター分析等の適宜の統計解析処理を実行してもよい。こうした統計解析処理によって、例えば、セグメンテーション画像毎の各色の画素数やその割合の比較を行ったり、そうした結果をグラフ等で可視化することができる。
また、例えば類似した傾向を有する複数の試料についてそれぞれ求めたセグメンテーション画像に対し、その傾向の度合いを元に重回帰分析を行うと、その傾向の度合いの程度に沿って面積が変化する色を見出すことができる。
また、上記実施形態の説明では、2次元的な広がりを有する試料についてセグメンテーション画像を作成していたが、3次元的な大きさを有する臓器等の試料の連続切片に対し上記の手法を適用して各切片についてセグメンテーション画像を求め、その複数のセグメンテ−ション画像から3D(3次元)セグメンテーション画像を再構成してもよい。
上述したように本実施形態のイメージング質量分析装置では、非常に多数の次元のMSイメージングデータを3次元に射影し、その各軸にR、G、Bを割り当てている。その結果、セグメンテーション画像上の各画素は、マススペクトルにおいて観測される複数のピークの情報が集約された特定の一つの色を有すことになる。この方法には既に述べている点以外にも次のような利点がある。
(1)セグメンテーションの数(セグメンテーション画像上の色の数)を容易に変更することができる。
K-means等の他の手法でセグメンテーションを行った場合、セグメンテーションの数を変更する際には計算をやり直す必要があり、その分時間が掛かってしまう。それに対し、上記方法であれば、三つの軸に割り当てる色の輝度の階調や方向を変更するだけで色やその数を容易に変更することができる。次元削減の計算をやり直す必要がないので、時間は大幅に短くて済む。
(2)疑似カラー3次元分布画像と実際の試料上に対応して平面的に描かれたセグメンテーション画像とが色によって結び付けられるので、ユーザーは両画像の関係を視覚的に容易に理解することができる。
これによって、例えば上述したように疑似カラー3次元分布画像上でデータ点を選択してROI画像を作成する等の操作を行うことができる。また、3次元分布画像上でデータ点を操作して、具体的には例えばデータ点を選択して色を変更したり、特定のデータ点を削除したりして、その結果を2次元のセグメンテーション画像上に反映させたり、その逆の操作を行ったりすることが可能である。
なお、上記実施形態や変形例はあくまでも本発明の一例にすぎず、本発明の趣旨の範囲で適宜変形、修正、追加等を行っても本願特許請求の範囲に包含されることは当然である。
[種々の態様]
上述した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。
(第1項)本発明に係るイメージング質量分析装置の一態様は、
目的試料上の測定領域内に設定された複数の微小領域それぞれについて質量分析を実行する測定部と、
前記測定部で得られた微小領域毎の質量分析データに対し、多様体学習を利用した非線形次元削減法による処理を行い、質量電荷比値の数に相当する次元を3次元に削減した微小領域毎のデータを得る次元削減処理部と、
前記3次元の各次元を軸とし各軸に三原色をそれぞれ割り当てた3次元空間に、前記次元削減処理部での次元削減後の微小領域毎のデータに対応する点を配置することでその点の色をそれぞれ決定する表示色決定部と、
前記3次元空間内の各点に与えられた色を有する画素を、その各点に対応する微小領域の前記測定領域内での位置に応じて2次元上に配置することにより、該測定領域又はその中の一部の領域に対応するセグメンテーション画像を作成するセグメンテーション画像作成部と、
を備える。
(第6項)また本発明に係るイメージング質量分析方法の一態様は、
目的試料上の測定領域内に設定された複数の微小領域それぞれについて質量分析を実行する測定ステップと、
前記測定ステップにおいて得られた微小領域毎の質量分析データに対し、多様体学習を利用した非線形次元削減法による処理を行い、質量電荷比値の数に相当する次元を3次元に削減した微小領域毎のデータを得る次元削減処理ステップと、
前記3次元の各次元を軸とし各軸に三原色をそれぞれ割り当てた3次元空間に、前記次元削減処理ステップにおける次元削減後の微小領域毎のデータに対応する点を配置することでその点の色をそれぞれ決定する表示色決定ステップと、
前記3次元空間内の各点に与えられた色を有する画素を、その各点に対応する微小領域の前記測定領域内での位置に応じて2次元上に配置することにより、該測定領域又はその中の一部の領域に対応するセグメンテーション画像を作成するセグメンテーション画像作成ステップと、
を有する。
第1項に記載のイメージング質量分析装置、及び、第6項に記載のイメージング質量分析方法によれば、ユーザーの興味を引く又はユーザーが着目する物質の分布を効率的に、つまり面倒な手間や時間を掛けることなく見つけることができる。また、複数の試料の間で、物質の分布が類似した又は相違する領域を的確に且つ効率的に見つけることができる。
(第2項、第7項)第1項に記載のイメージング質量分析装置、及び、第6項に記載のイメージング質量分析方法において、前記非線形次元削減法はUMAPに基く方法とすることができる。
第2項に記載のイメージング質量分析装置、及び、第7項に記載のイメージング質量分析方法によれば、計算時間を抑えながら、次元削減後の3次元空間において各点を良好に分離することができる。それにより、より的確に類似する領域を分割したセグメンテーション画像を得ることができる。
(第3項)また、第1項又は第2項に記載のイメージング質量分析装置では、
前記表示色決定部で決定された色を有する各点が3次元空間内に配置された3次元分布画像を作成して表示部に表示する3次元画像表示処理部と、
表示された前記3次元分布画像上で、一又は複数の点の選択をユーザーに行わせる点選択操作部と、
前記点選択操作部で選択された一又は複数の点に対応する微小領域が占める又は該微小領域領域を中心とする集合であると推定される領域を明示する2次元画像を作成して表示部に表示する2次元画像表示処理部と、
をさらに備えるものとすることができる。
(第8項)また第6項又は第7項に記載のイメージング質量方法では、
前記表示色決定ステップにおいて決定された色を有する各点が3次元空間内に配置された3次元分布画像を作成して表示部に表示する3次元画像表示ステップと、
表示された前記3次元分布画像上で、一又は複数の点の選択をユーザーに行わせる点選択操作ステップと、
前記点選択操作ステップにおいて選択された一又は複数の点に対応する微小領域が占める又は該微小領域領域を中心とする集合であると推定される領域を明示する2次元画像を作成して表示部に表示する2次元画像表示ステップと、
をさらに有するものとすることができる。
3次元分布画像では試料上の微小領域に対応するデータ点が3次元空間内に配置されるので、データ点の近さ・遠さが視覚的に分かり易い。したがって、第3項に記載のイメージング質量分析装置、及び、第8項に記載のイメージング質量分析方法によれば、3次元分布画像上で例えば他のデータ点とは明らかに離れているデータ点の集合をユーザーが選択することにより、含まれる化合物の種類や量が近い領域が明示されている2次元画像を表示させることができる。
(第4項)また、第1項〜第3項のいずれか1項に記載のイメージング質量分析装置では、複数の試料について前記測定部でそれぞれ得られたデータに基いて作成された複数のセグメンテーション画像を、表示部の同一画面上に表示するセグメンテーション画像表示処理部、をさらに備えるものとすることができる。
(第9項)また、第6項〜第8項のいずれか1項に記載のイメージング質量分析方法では、複数の試料について前記測定ステップにおいてそれぞれ得られたデータに基いて作成された複数のセグメンテーション画像を、表示部の同一画面上に表示するセグメンテーション画像表示ステップ、をさらに有するものとすることができる。
第4項に記載のイメージング質量分析装置、及び、第9項に記載のイメージング質量分析方法によれば、互いに比較したい異なる試料由来のセグメンテーション画像を並べて表示することができ、ユーザーは分布の相違等を容易に評価することができる。
(第5項)また、第1項〜第4項のいずれか1項に記載のイメージング質量分析装置では、複数の試料について前記測定部でそれぞれ得られたデータに基いて作成された複数のセグメンテーション画像について、該複数のセグメンテーション画像からそれぞれ得られる情報に関して所定の統計解析を行う統計解析処理部、をさらに備えるものとすることができる。
(第10項)また、第6項〜第9項のいずれか1項に記載のイメージング質量分析方法では、複数の試料について前記測定ステップにおいてそれぞれ得られたデータに基いて作成された複数のセグメンテーション画像について、該複数のセグメンテーション画像からそれぞれ得られる情報に関して所定の統計解析を行う統計解析ステップ、をさらに有するものとすることができる。
ここでいう統計解析とは重回帰分析などの一般的な統計解析法である。第5項に記載のイメージング質量分析装置、及び、第10項に記載のイメージング質量分析方法によれば、単にセグメンテーション画像を見ただけでは把握しにくい情報、例えば特定の色の領域の面積の差などの情報を統計解析によって的確に評価することができる。
1…イメージング質量分析部
2…データ処理部
21…データ格納部
22…データ行列作成部
23…非線形次元削減処理部
24…疑似カラー3次元分布画像作成部
25…セグメンテーション画像作成部
26…セグメンテーション画像解析処理部
27…表示処理部
3…入力部
4…表示部

Claims (10)

  1. 目的試料上の測定領域内に設定された複数の微小領域それぞれについて質量分析を実行する測定部と、
    前記測定部で得られた微小領域毎の質量分析データに対し、多様体学習を利用した非線形次元削減法による処理を行い、質量電荷比値の数に相当する次元を3次元に削減した微小領域毎のデータを得る次元削減処理部と、
    前記3次元の各次元を軸とし各軸に三原色をそれぞれ割り当てた3次元空間に、前記次元削減処理部での次元削減後の微小領域毎のデータに対応する点を配置することでその点の色をそれぞれ決定する表示色決定部と、
    前記3次元空間内の各点に与えられた色を有する画素を、その各点に対応する微小領域の前記測定領域内での位置に応じて2次元上に配置することにより、該測定領域又はその中の一部の領域に対応するセグメンテーション画像を作成するセグメンテーション画像作成部と、
    を備えるイメージング質量分析装置。
  2. 前記非線形次元削減法はUMAP(Uniform Manifold Approximation and Projection for dimension reduction)に基く方法である、請求項1に記載のイメージング質量分析装置。
  3. 前記表示色決定部で決定された色を有する各点が3次元空間内に配置された3次元分布画像を作成して表示部に表示する3次元画像表示処理部と、
    表示された前記3次元分布画像上で、一又は複数の点の選択をユーザーに行わせる点選択操作部と、
    前記点選択操作部で選択された一又は複数の点に対応する微小領域が占める又は該微小領域領域を中心とする集合であると推定される領域を明示する2次元画像を作成して表示部に表示する2次元画像表示処理部と、
    をさらに備える、請求項1又は2に記載のイメージング質量分析装置。
  4. 複数の試料について前記測定部でそれぞれ得られたデータに基いて作成された複数のセグメンテーション画像を、表示部の同一画面上に表示するセグメンテーション画像表示処理部、をさらに備える、請求項1〜3のいずれか1項に記載のイメージング質量分析装置。
  5. 複数の試料について前記測定部でそれぞれ得られたデータに基いて作成された複数のセグメンテーション画像について、該複数のセグメンテーション画像からそれぞれ得られる情報に関して所定の統計解析を行う統計解析処理部、をさらに備える、請求項1〜4のいずれか1項に記載のイメージング質量分析装置。
  6. 目的試料上の測定領域内に設定された複数の微小領域それぞれについて質量分析を実行する測定ステップと、
    前記測定ステップにおいて得られた微小領域毎の質量分析データに対し、多様体学習を利用した非線形次元削減法による処理を行い、質量電荷比値の数に相当する次元を3次元に削減した微小領域毎のデータを得る次元削減処理ステップと、
    前記3次元の各次元を軸とし各軸に三原色をそれぞれ割り当てた3次元空間に、前記次元削減処理ステップにおける次元削減後の微小領域毎のデータに対応する点を配置することでその点の色をそれぞれ決定する表示色決定ステップと、
    前記3次元空間内の各点に与えられた色を有する画素を、その各点に対応する微小領域の前記測定領域内での位置に応じて2次元上に配置することにより、該測定領域又はその中の一部の領域に対応するセグメンテーション画像を作成するセグメンテーション画像作成ステップと、
    を有するイメージング質量分析方法。
  7. 前記非線形次元削減法はUMAPに基く方法である、請求項6に記載のイメージング質量分析方法。
  8. 前記表示色決定ステップにおいて決定された色を有する各点が3次元空間内に配置された3次元分布画像を作成して表示部に表示する3次元画像表示ステップと、
    表示された前記3次元分布画像上で、一又は複数の点の選択をユーザーに行わせる点選択操作ステップと、
    前記点選択操作ステップにおいて選択された一又は複数の点に対応する微小領域が占める又は該微小領域領域を中心とする集合であると推定される領域を明示する2次元画像を作成して表示部に表示する2次元画像表示ステップと、
    をさらに有する、請求項6又は7に記載のイメージング質量分析方法。
  9. 複数の試料について前記測定ステップにおいてそれぞれ得られたデータに基いて作成された複数のセグメンテーション画像を、表示部の同一画面上に表示するセグメンテーション画像表示ステップ、をさらに有する、請求項6〜8のいずれか1項に記載のイメージング質量分析方法。
  10. 複数の試料について前記測定ステップにおいてそれぞれ得られたデータに基いて作成された複数のセグメンテーション画像について、該複数のセグメンテーション画像からそれぞれ得られる情報に関して所定の統計解析を行う統計解析ステップ、をさらに有する、請求項6〜9のいずれか1項に記載のイメージング質量分析方法。
JP2020102830A 2020-06-15 2020-06-15 イメージング質量分析装置、及びイメージング質量分析方法 Active JP7363675B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020102830A JP7363675B2 (ja) 2020-06-15 2020-06-15 イメージング質量分析装置、及びイメージング質量分析方法
US17/174,439 US11545348B2 (en) 2020-06-15 2021-02-12 Imaging mass spectrometer and method for imaging mass spectrometry
CN202110231139.7A CN113808141A (zh) 2020-06-15 2021-03-02 成像质量分析装置、以及成像质量分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020102830A JP7363675B2 (ja) 2020-06-15 2020-06-15 イメージング質量分析装置、及びイメージング質量分析方法

Publications (3)

Publication Number Publication Date
JP2021196260A true JP2021196260A (ja) 2021-12-27
JP2021196260A5 JP2021196260A5 (ja) 2022-11-04
JP7363675B2 JP7363675B2 (ja) 2023-10-18

Family

ID=78825866

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020102830A Active JP7363675B2 (ja) 2020-06-15 2020-06-15 イメージング質量分析装置、及びイメージング質量分析方法

Country Status (3)

Country Link
US (1) US11545348B2 (ja)
JP (1) JP7363675B2 (ja)
CN (1) CN113808141A (ja)

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3706914B2 (ja) 2003-03-27 2005-10-19 独立行政法人食品総合研究所 成分分布可視化方法および成分分布可視化装置
DE102004037512B4 (de) 2004-08-03 2012-11-08 Bruker Daltonik Gmbh Massenspektrometrische Gewebezustandsdifferenzierung
JP5050705B2 (ja) 2007-07-24 2012-10-17 株式会社島津製作所 質量分析装置
JP5246026B2 (ja) 2009-05-11 2013-07-24 株式会社島津製作所 質量分析データ処理装置
CN102421373B (zh) * 2009-05-20 2014-07-16 株式会社日立医疗器械 医用图像诊断装置及其感兴趣区域设定方法
JP5527232B2 (ja) 2010-03-05 2014-06-18 株式会社島津製作所 質量分析データ処理方法及び装置
JP5454409B2 (ja) * 2010-08-04 2014-03-26 株式会社島津製作所 質量分析装置
US9812306B2 (en) * 2011-08-17 2017-11-07 Smiths Detection Inc. Shift correction for spectral analysis
JP5708400B2 (ja) 2011-09-26 2015-04-30 株式会社島津製作所 イメージング質量分析装置及び質量分析データ処理方法
WO2015053039A1 (ja) 2013-10-07 2015-04-16 国立大学法人名古屋大学 レーザーマイクロダイセクション装置、該レーザーマイクロダイセクション装置を含む分析装置及びマイクロチップの製造方法
CN103927547B (zh) * 2014-03-31 2017-04-19 中海油能源发展股份有限公司 一种用于对岩屑荧光图像进行快速分析方法
EP3127139A4 (en) * 2014-04-02 2017-11-01 The Board of Trustees of The Leland Stanford Junior University An apparatus and method for sub-micrometer elemental image analysis by mass spectrometry
WO2017002226A1 (ja) 2015-07-01 2017-01-05 株式会社島津製作所 データ処理装置
MX2018003051A (es) * 2015-09-11 2018-06-08 Eyeverify Inc Calidad de imagen y características, mejora de imagen y extracción de características para reconocimiento ocular-vascular y facial, y fusión de información ocular-vascular con facial y/o sub-facial para sistemas biométricos.
CN106384369A (zh) * 2016-08-31 2017-02-08 上海交通大学 一种数据导向的颜色流形获取方法
CN107832664B (zh) * 2017-10-09 2020-10-09 中国电子科技集团公司第二十八研究所 一种交通场景的感兴趣区域分析方法
JP6994961B2 (ja) * 2018-01-23 2022-01-14 日本電子株式会社 マススペクトル処理装置及び方法
CN108319964B (zh) * 2018-02-07 2021-10-22 嘉兴学院 一种基于混合特征和流形学习的火灾图像识别方法
CN110176012B (zh) * 2019-05-28 2022-12-13 腾讯科技(深圳)有限公司 图像中的目标分割方法、池化方法、装置及存储介质
CN110335266B (zh) * 2019-07-04 2023-04-07 五邑大学 一种智能中医目诊图像处理方法及装置
CN110930424B (zh) * 2019-12-06 2023-04-18 深圳大学 器官轮廓分析方法及装置

Also Published As

Publication number Publication date
CN113808141A (zh) 2021-12-17
JP7363675B2 (ja) 2023-10-18
US20210391160A1 (en) 2021-12-16
US11545348B2 (en) 2023-01-03

Similar Documents

Publication Publication Date Title
US8433122B2 (en) Method and apparatus for processing mass analysis data
US8873796B2 (en) Mass analysis data processing method and mass analysis data processing apparatus
JP4952788B2 (ja) 質量分析データ解析方法及び装置
JP6569805B2 (ja) イメージング質量分析装置
JP6207036B2 (ja) 質量分析データ処理方法及び装置
JP6597909B2 (ja) 質量分析データ処理装置
JP2009025268A (ja) 質量分析装置
JPWO2018037569A1 (ja) イメージング質量分析データ処理装置及び方法
JPWO2015181893A1 (ja) 分析データ処理装置
JP2012517588A (ja) 質量分析方法
US11282683B2 (en) Imaging mass spectrometric data analyzer
JP6179600B2 (ja) 質量分析データ解析装置
Cho et al. Combining MALDI-TOF and molecular imaging with principal component analysis for biomarker discovery and clinical diagnosis of cancer
JP7064894B2 (ja) マススペクトル処理装置及び方法
US10147590B2 (en) Mass spectrometry data processing apparatus and mass spectrometry data processing method
JP2021196260A (ja) イメージング質量分析装置、及びイメージング質量分析方法
WO2020166007A1 (ja) イメージング質量分析装置
US11380532B2 (en) Method for imaging mass spectrometry and imaging mass spectrometer
US10304671B2 (en) Method for computer-assisted analysis of one or more tissue sections of the human or animal body
WO2020166008A1 (ja) イメージング分析装置
WO2023058234A1 (ja) 質量分析データ解析方法及びイメージング質量分析装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221021

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221021

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230918

R151 Written notification of patent or utility model registration

Ref document number: 7363675

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151