JP2019534451A - 1つ又は複数の組織サンプルにおける細胞組成情報を決定する装置 - Google Patents

1つ又は複数の組織サンプルにおける細胞組成情報を決定する装置 Download PDF

Info

Publication number
JP2019534451A
JP2019534451A JP2019518092A JP2019518092A JP2019534451A JP 2019534451 A JP2019534451 A JP 2019534451A JP 2019518092 A JP2019518092 A JP 2019518092A JP 2019518092 A JP2019518092 A JP 2019518092A JP 2019534451 A JP2019534451 A JP 2019534451A
Authority
JP
Japan
Prior art keywords
specific
tissue sample
staining
image
density map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019518092A
Other languages
English (en)
Other versions
JP2019534451A5 (ja
JP7356904B2 (ja
Inventor
クリスティアーン ファレカムプ
クリスティアーン ファレカムプ
フリードル レインホルト ウィムベルヘル
フリードル レインホルト ウィムベルヘル
ダフィト ハルテル
ダフィト ハルテル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2019534451A publication Critical patent/JP2019534451A/ja
Publication of JP2019534451A5 publication Critical patent/JP2019534451A5/ja
Priority to JP2022115570A priority Critical patent/JP2022163056A/ja
Application granted granted Critical
Publication of JP7356904B2 publication Critical patent/JP7356904B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Abstract

本発明は、1つ又は複数の組織サンプル顕微鏡画像中の細胞組成を決定する装置10に関する。少なくとも1つの組織サンプルの第1の画像データを提供すること210が記載される。第1の画像データは、少なくとも1つの組織サンプルにおける組織サンプルの非特異的染色に関する。少なくとも1つの組織サンプルの第2の画像データが提供される220。第2の画像データは、少なくとも1つの組織サンプルにおける組織サンプルの特異的染色に関する。(i)特異的染色を受けた組織サンプルが非特異的染色を受けた組織サンプルと同じであるか、又は(ii)特異的染色を受けた組織サンプルが非特異的染色を受けた組織サンプルと異なるかのいずれかである。非特異的細胞組成物細胞密度マップは、第1の画像データに基づき決定される230。第2の画像データに基づき、特異的細胞組成細胞密度マップが決定される240。少なくとも1つの組織サンプルにおける細胞組成に関する情報は、非特異的細胞密度マップ及び特異的細胞密度マップに基づき決定される250。

Description

本発明は、1つ又は複数の組織サンプルにおける細胞組成情報を決定する装置、1つ又は複数の組織サンプルにおける細胞組成情報を決定するシステム、1つ又は複数の組織サンプルにおける細胞組成情報を決定する方法、コンピュータプログラム要素及びコンピュータ可読媒体に関する。
腫瘍の微小環境、特に免疫浸潤物(又は細胞組成物)の特徴付けは、予後及び/又は治療に対する応答を予測するため、精密腫瘍診断法にとって非常に重要である。浸潤リンパ球は、それらの外観に基づきH&E染色組織スライドにおいて認識されることができる。
しかしながら、細胞傷害性T細胞のような特定のサブタイプは、形態学的情報のみから得られることはできない。細胞をサブタイピングするため、免疫組織化学的(IHC)染色が、細胞マーカーを認識する特異的抗体(例えば、CD3、CD4、CD8など)を用いて行われる。単一のIHCマーカーが現在の細胞サブタイプを特徴付けるのに十分ではない場合、どの細胞が関心領域に存在するかについての良好な考えを病理学者が得るまで、追加のマーカー(及び従って更なるIHC染色)が必要とされる。しかしながら、これは時間と組織を消費する(多重分析には複数のセクションが必要とされるので)。
US9298968号は、組織サンプルの区画化を目的として組織特性を識別するために画像分析を使用する方法を記載する。免疫細胞は、IHC染色に基づき識別され、識別された組織区画に割り当てられる。
WO2015/189264A1号は、単一の比較予後データセットへの患者に関する大量の予後情報の全体的統合に基づき、患者における癌再発のリスクを評価するシステム及びコンピュータ実現方法に関する。リスク分類システムは、数人の患者からの訓練スライドのコホートからの大量の情報を、患者に関する生存データと共に使用して訓練されることができる。例えば、リスク分類システムにおける機械学習ベースの二値分類器は、生存情報が知られておりシステムに入力される複数の癌患者に対応する複数のスライドから計算される一組の粒状画像特徴を用いて訓練され得る。訓練された分類器は、一人又は複数の試験患者からの画像特徴を低リスク群又は高リスク群に分類するために使用され得る。しかしながら、特定のサブタイプに関する詳細情報を提供する必要がある。
従って、組織サンプルにおける細胞組成を検出するための改良された技術を持つことは有利であろう。
本発明の目的は、独立請求項の主題により解決される。更なる実施形態は、従属項に含まれる。本発明の以下に記載される態様は、1つ又は複数の組織サンプルにおける細胞組成情報を決定する装置、1つ又は複数の組織サンプルにおける細胞組成情報を決定するシステム、1つ又は複数の組織サンプルにおける細胞組成情報を決定する方法、コンピュータプログラム及びコンピュータ可読媒体にも適用される点に留意されたい。
第1の態様によれば、1つ又は複数の組織サンプル顕微鏡画像中の細胞組成情報を決定する装置が提供される。これは、
入力ユニットと、
処理ユニットとを有する。
入力ユニットは、少なくとも1つの組織サンプルの少なくとも1つの2D画像を処理ユニットに提供するよう構成される。少なくとも1つの2D画像の第1の画像データは、少なくとも1つの組織サンプルにおける組織サンプルの非特異的染色に関する。少なくとも1つの2D画像の第2の画像データは、少なくとも1つの組織サンプルにおける組織サンプルの特異的染色に関する。(a)特異的染色を受けた組織サンプルが、非特異的染色を受けた組織サンプルと同じであるか、又は(b)特異的染色を受けた組織サンプルが、非特異的染色を受けた組織サンプルと異なるかのいずれかである。処理ユニットは、第1の画像データに基づき、非特異的細胞組成細胞密度マップを決定するよう構成される。処理ユニットはまた、第2の画像データに基づき特異的細胞組成細胞密度マップを決定するよう構成される。処理ユニットが、非特異的細胞密度マップ及び特異的細胞密度マップに基づき、少なくとも1つの組織サンプルにおける細胞組成に関する情報を決定するよう構成される。
細胞組成は細胞分布を含み得る。細胞組成は免疫浸潤物を含み得る。
組織サンプルは、生検又は患者からの組織材料の切除に由来し得る。
言い換えると、非特異的染色が、組織サンプルに適用されることができ、第1の画像データを伴う画像が得られ、この画像データから、非特異的細胞組成物細胞密度マップが決定されることができる。次いで、特異的染色が組織サンプルに適用され、第2の画像データを伴う画像が得られ、この画像データから、特異的細胞組成物細胞密度マップが決定されることができる。又は、非特異的染色が組織サンプルに適用され、特異的染色が組織サンプルに適用されることができる。次に、第1の画像データと第2の画像データとの両方を含む画像が取得され、第1の画像データは、非特異的細胞組成細胞密度マップを決定するために使用され、第2の画像データは、特異的細胞組成細胞密度マップを決定するために使用される。又は、非特異的染色が組織サンプルに適用され、第1の画像データを伴う画像が得られ、この画像データから、非特異的細胞組成物細胞密度マップが決定されることができる。次に、特異的染色が異なる組織サンプルに適用され、第2の画像データを伴う画像が得られ、この画像データから、特異的細胞組成物細胞密度マップが決定されることができる。しかしながら、全ての場合において、細胞組成に関する情報は、2つの細胞密度マップから決定されることができる。
言い換えると、相補的情報を得るため、非特異的染色スライドから得られた情報が、特異的染色スライドから得られた情報と組み合わせられることができる。例えば、非特異的染色画像及び特異的染色画像(例えば、H&E染色画像及びIHC染色画像)内の腫瘍の内側及び/又は外側の画像内の特定の領域のカウントを決定することにより、リンパ球の特定のサブタイプの相対的寄与が得られることができる。非特異的(例えばH&E)画像は、例えば全ての浸潤性免疫細胞の合計を提供することができ、一方、特異的(例えばIHC)画像は特定のサブタイプの数を提供する。
特異的画像データ(例えば、IHC)における特異的細胞タイプの位置が、非特異的画像データ(例えば、H&E)における浸潤性免疫細胞の位置と比較され、コール(誤検出を避ける)が確認される。特異的サブタイプの分布が、全ての相補的リンパ球の分布と比較されることができる(全体の位置(例えば、H&E)から特異的な位置(例えば、IHC)を差し引くことから得られる)。H&E画像の代わりに、IHC画像におけるHチャネルからの情報(対比染色)も使用されることができる。
別の言い方をすると、免疫細胞の密度マップは非特異的(例えばH&E)染色に基づき得られることができ、これは、特異的(例えばIHC)染色から得られるような特異的免疫細胞サブタイプの密度マップと比較される。これは、免疫細胞の相補的画分に関する情報が得られることを可能にする。一例では、免疫細胞の相補的画分に関する第3の密度マップを導き出す目的で、1つの密度マップが他の密度マップから減算されることができる。
一例では、細胞組成に関する情報は、細胞の第1のサブタイプの少なくとも1つの定量化を含み、特異的染色は細胞の第1のサブタイプを標的とするよう構成される。
従って、細胞組成に関する情報は、細胞の第1のサブタイプの少なくとも一つの定量化を含むと考えられることができる。これは、細胞の空間的分布に関連する「スコア」の形態又は他の形態の定量化であり得る。
言い換えると、例えば腫瘍浸潤物の画像を提供するために非特異的染色が使用され、これは、組織サンプルのコントラストの向上をもたらし、サンプルにおける細胞対象の識別を可能にする。次に、腫瘍浸潤物の画像を提供するのに、特異的免疫細胞マーカー用に選択された特異的染色が使用される。次いで、特異的免疫細胞マーカーに関する特定のサブタイプの相対的な寄与に関する情報が決定されることができる。
一例では、細胞の第1のサブタイプの少なくとも1つの定量化は密度マップを含む。
言い換えると、組織サンプル内の特定のサブタイプの相対的寄与の画像マップが決定されることができる。これは、絶対細胞密度マップと共に、非特異的及び特異的染色から提供される情報が、貴重な診断情報を提供する。
一例では、細胞組成に関する情報は、細胞の第2のサブタイプの少なくとも1つの定量化を含み、特異的染色は、細胞の第2のサブタイプとは異なる細胞の少なくとも1つのサブタイプを標的とするよう構成される。
こうして、特異的サブタイプについて提供される総細胞数マップ密度を持つことは、存在する他のサブタイプに関する情報も提供する。即ち、非特異的細胞密度マップ値が、画像における領域で特異的細胞密度マップ値より高い場合、これは、他のサブタイプが存在することを示すインジケータである。臨床医又は病理学者はその後、異なるサブタイプを標的とする追加の染色を決定することができる。言い換えると、一例では、第1のサブタイプの「第1の」定量化とは異なる第2のサブタイプの「第2の」定量化が提供されることができ、第2の定量化は、第1のサブタイプとは異なる1つ又は複数のサブタイプに関する情報を提供し、第2のサブタイプに関して、サンプル又は他のサンプルを更に分析するための関心の程度を表す。
一例では、細胞の第2のサブタイプの少なくとも1つの定量化は密度マップを含む。
こうして、臨床医又は病理学者には画像にわたる相対的及び絶対的細胞密度情報が提供される。別の言い方をすれば、定量化は(例えば腫瘍領域内における)局所的な情報を提供することができる。
一例では、細胞組成に関する情報は、少なくとも1つの定量化を含み、処理ユニットは、少なくとも1つの定量化に基づき浸潤細胞の集団が単培養に関連すると決定するよう構成される。
言い換えると、絶対及び相対細胞密度を用いて、組織サンプルの特定の領域に特定のサブタイプの単一培養があるかどうかが決定されることができる。例えば、単一培養は、特異的細胞密度と非特異的細胞密度との両方がゼロより大きいが、類似の絶対密度を持つ領域に存在する。
一例では、細胞組成に関する情報は少なくとも1つの定量化を含む。処理ユニットは、少なくとも1つの定量化に基づき、特異的染色により標的とされなかった細胞のサブタイプの集団に浸潤細胞の集団が関連すると決定するよう構成される。
こうして、絶対及び相対細胞密度を使用して、組織サンプルの特定の領域に見られるものとは異なるサブタイプがあるかどうかが決定されることができる。例えば、これは、非特異的細胞密度がある領域における特異的細胞密度よりもかなり大きい場合である。病理学者はその後、異なるサブタイプに向けられる追加の染色を決定することができる。
一例では、細胞組成に関する情報は少なくとも1つの定量化を含む。処理ユニットは、少なくとも1つの定量化に基づき更なる分析から第1の画像及び第2の画像の領域を除外するよう構成される。
言い換えると、組織サンプルの特定の部分において、特異的染色細胞密度(例えば、IHC)が非特異的細胞密度(例えば、H&E)より大きい場合、特異的染色内の非特異的染色が、例えば壊死の領域で生じている。臨床医又は病理学者は、その後、組織サンプルを解釈するとき、例えばIHCスコアを計算するときにこれらの領域を除外することができ、又は臨床医は異なる染色を使用することを決定することができる。
一例では、細胞組成に関する情報は少なくとも1つの定量化を含み、少なくとも1つの定量化は特異的細胞組成細胞密度マップが非特異的細胞組成細胞密度マップから減算されることを含む。
こうして、特定のサブタイプの相対的寄与に関する簡単な尺度が提供され、これは、絶対的細胞密度と組み合わせて価値のある診断情報を提供する。一例では、減算ではなく、非特異的細胞組成細胞密度マップに対する特異的細胞組成細胞密度マップの比が決定されることができる。
一例では、第1の画像データは少なくとも1つの組織サンプルの第1の画像に関連し、第2の画像データは少なくとも1つの組織サンプルの第2の画像に関連する。細胞組成に関する情報の決定は、第2の画像に対する第1の画像の位置合わせを含む。
言い換えると、組織サンプルが第1の非特異的染色で染色され、画像が取得される。次いで、同じ組織サンプル、又は異なる組織サンプルが、第2の特異的染色で染色され、別の画像が取得される。画像間のあらゆる不整合を考慮するため、画像位置合わせプロセスが行われる。
こうして、2つのマーカーを同時に撮像するときの撮像エラーが軽減され、処理が単純化される。なぜなら、2つのマーカーに関する画像データのデコンボリューションが必要とされないからである。例えば、ある画像における1つ又は複数の特徴を別の画像における1つ又は複数の特徴と一致させることによる画像位置合わせは、1つの画像における細胞密度の空間位置が、別の画像における空間細胞密度と正しく比較されることを可能にする。
一例では、第1の画像は第1の組織サンプルに関連し、第2の画像データは第2の組織サンプルに関連する。
言い換えると、第1の組織サンプルが非特異的染色で染色され、画像が取得される。次に、例えば第1の組織サンプルのスライスに直接隣接するスライスに関する異なる組織サンプルが特異的染色で染色され、別の画像が取得される。次いで、画像を可能な限り厳密に一致させるため、位置合わせプロセスが実行される。これは、可能である。なぜなら、特定の特徴及び特徴の境界が両方の画像に存在し、一方の画像が他方の画像に位置合わせされることを可能にするからである。
一例では、非特異的染色はヘマトキシリン及びエオシン(H&E)染色を含み、特異的染色は免疫組織化学(IHC)染色又は免疫蛍光(IF)染色を含む。
第2の態様によれば、1つ又は複数の組織サンプル顕微鏡画像中の細胞組成情報を決定するシステムが提供される。これは、
画像取得ユニットと、
第1の態様による1つ又は複数の組織サンプルにおける細胞組成情報を決定する装置と、
出力ユニットとを有する。
画像取得ユニットが、少なくとも1つの組織サンプルの少なくとも1つの2D画像を取得するよう構成される。出力ユニットは、細胞組成に関する情報を出力するよう構成される。
第3の態様によれば、1つ又は複数の組織サンプル顕微鏡画像中の細胞組成情報を決定する方法が提供される。これは、
a)少なくとも1つの組織サンプルの第1の画像データを提供するステップであって、上記第1の画像データが、上記少なくとも1つの組織サンプルにおける組織サンプルの非特異的染色に関する、ステップと、
b)上記少なくとも1つの組織サンプルの第2の画像データを提供するステップであって、上記第2の画像データが、上記少なくとも1つの組織サンプルにおける組織サンプルの特異的染色に関し、
(i)特異的染色を受けた組織サンプルが、非特異的染色を受けた組織サンプルと同じであるか、又は(ii)特異的染色を受けた組織サンプルが、非特異的染色を受けた組織サンプルと異なる、ステップと、
c)上記第1の画像データに基づき非特異的細胞組成細胞密度マップを決定するステップと、
d)上記第2の画像データに基づき特異的細胞組成細胞密度マップを決定するステップと、
e)非特異的細胞密度マップ及び特異的細胞密度マップに基づき、少なくとも1つの組織サンプルにおける細胞組成に関する情報を決定するステップとを有する。
一例では、非特異的細胞密度マップと特異的細胞密度マップとの間の差がゼロに近く、及び密度が両方ともゼロより大きい場合、浸潤細胞の集団は単一培養として示される。
一例では、非特異的細胞密度マップと特異的細胞密度マップとの間の差が正である場合、説明されていない浸潤細胞が存在するというインジケーションがなされる。
一例では、非特異的細胞密度マップと特異的細胞密度マップとの間の差が負である場合、特異的染色において非特異的染色が存在するというインジケーションがなされる。一例では、特異的染色は非特異的分析よりも包括的である。その場合、説明されていない細胞集団もあり得る。これは、分子解析のための腫瘍の特徴付けに関する研究に利用されることができる。
一例では、装置は病理診断に使用される。一例では、システムは病理診断に使用される。一例では、この方法は病理診断に使用される。
別の態様によれば、処理ユニットにより実行されるとき、前述の方法ステップを実行するよう構成されるコンピュータプログラムが提供される。
別の態様によれば、コンピュータプログラムが処理ユニットにより実行されるとき、前述の方法ステップを実行するよう構成される、コンピュータプログラム制御装置が提供される。
別の例によれば、前述したコンピュータプログラムを格納したコンピュータ可読媒体が提供される。
有利には、上記の態様及び例のいずれかにより提供される利益は、他の態様及び例のすべてに等しく当てはまり、その逆も同様である。
上記の態様及び例は、以下に記載される実施形態を参照して明らかになるであろう。
1つ又は複数の組織サンプルにおける細胞組成情報を決定する装置の一例の概略表現を示す図である。 1つ又は複数の組織サンプルにおける細胞組成情報を決定するシステムの一例の概略表現を示す図である。 1つ又は複数の組織サンプルにおける細胞組成情報を決定する方法の一例を示す図である。
例示的な実施形態が、添付の図面を参照して以下に説明される。
図1は、1つ又は複数の組織サンプル顕微鏡画像において細胞組成情報を決定する装置10の一例を示す。装置10は、入力ユニット20と処理ユニット30とを有する。入力ユニット20は、有線又は無線通信を介して、少なくとも1つの組織サンプルの少なくとも1つの2D画像を処理ユニット30に提供するよう構成される。少なくとも1つの2D画像の第1の画像データは、少なくとも1つの組織サンプルにおける組織サンプルの非特異的染色に関する。少なくとも1つの2D画像の第2の画像データは、少なくとも1つの組織サンプルにおける組織サンプルの特異的染色に関する。(a)特異的染色を受けた組織サンプルが、非特異的染色を受けた組織サンプルと同じであるか、又は(b)特異的染色を受けた組織サンプルが、非特異的染色を受けた組織サンプルと異なるかのいずれかである。処理ユニット30は、第1の画像データに基づき、非特異的細胞組成細胞密度マップを決定するよう構成される。処理ユニット30はまた、第2の画像データに基づき特異的細胞組成細胞密度マップを決定するよう構成される。処理ユニット30は更に、非特異的細胞密度マップ及び特異的細胞密度マップに基づき、少なくとも1つの組織サンプルにおける細胞組成に関する情報を決定するよう構成される。
一例では、少なくとも1つの組織サンプルは、少なくとも1つの生検材料であり得る。一例では、組織サンプルは組織切片であり得る。一例では、少なくとも1つの組織サンプルは、単一の生検材料からカットされたクーペを有する。一例では、少なくとも1つの組織サンプルは、単一の生検材料からカットされた隣接するクーペを有する。
一例では、第1の画像データと第2の画像データとは、同じ画像内に含まれる。一例では、第1の画像データと第2の画像データとは、別々の画像内に含まれる。
一例では、非特異的染色はH&E染色であり、特異的染色はIHC染色である。
一例では、特異的染色はH&E染色であり、非特異的染色はIHC染色である。
言い換えると、少なくとも2つのケースが存在し得る。最初のケース(H&E=非特異的)が最も可能性の高いケースである。しかしながら、広いIHCマーカー(IHC=非特異的)もまた使用され得、そしてまた、特異的タイプの免疫細胞が、H&E(H&E=特異的)からの形態に基づき検出され得る。特にこの最後のステップは難しいようである。
一例では、細胞組成に関する情報は、診断目的及び/又は患者の層別化のための分析に使用可能である。
従って、必要な入力を提供するための3つの可能なルートが存在する。(A)サンプル1に非特異的染色を適用し、サンプルを撮像し、染色1を除去し、サンプル1に特異的染色を適用して撮像する。(B)特異的染色及び非特異的染色を同時に適用し、特異的集団及び非特異的集団に関して分析される1つの画像を撮る。(C)サンプル1に非特異的染色を適用して撮像し、サンプル2に特異的染色を適用して撮像し、分析する。(B)は少しリスクが高く、(C)は画像の位置合わせを実現するため連続したサンプルを必要とする。
一例によれば、細胞組成に関する情報は、細胞の第1のサブタイプの少なくとも1つの定量化を含む。次いで、細胞の第1のサブタイプを標的とする特異的染色が構成され得る。
一例では、細胞組成に関する情報は、細胞の第1のサブタイプの少なくとも1つの定量化を含む。次いで、特異的染色は、細胞の第1のサブタイプと同じタイプの細胞に属する細胞を標的とするよう構成され得る。
更に説明すると、例えば、ある例で非特異的分析が、すべてのT細胞(円形の物体)を標的とし、特異的分析が、CD8陽性のものを標的とする場合、2番目は最初のサブクラスであり、同じサブタイプではないかもしれないが同じタイプに属する場合がある。
一例によれば、細胞の第1のサブタイプの少なくとも1つの定量化は密度マップを含む。
一例によれば、細胞組成に関する情報は、細胞の第2のサブタイプの少なくとも1つの定量化を含む。次いで、特異的染色は、第2のサブタイプの細胞とは異なる少なくとも一つのサブタイプの細胞を標的とするよう構成されることができる。
一例では、このサンプル、又は第2のサブタイプに対して第2の染色を用いる別のサンプルを調製するための注文が自動的に生成されることができる。言い換えると、第1のサブタイプに関する非特異的染色及び特異的染色に基づき、これら2つの染色に関して示された細胞密度において矛盾があり、少なくとも別のサブタイプが存在する可能性が高いことが示される。装置はこれを自動的に示すことができ、これは、第1のサブタイプとは異なるサブタイプに向けられた別の染料で染色するためにサンプル又は別のサンプルが調製されることを可能にする。従って、処理ユニットで実行されるアルゴリズムは、密度間の閾値比に基づき決定されることができる、示された細胞密度における矛盾に基づき、注文の生成を自動的にトリガすることができる。この注文は、VDU上に提示されることができ、これは、技術者が染色のために別のサンプルの調製を開始することを可能にするか、又は、フォーム若しくは注文におけるメッセージが、適切なサンプル調製スイートに中継されることができる。
一例によれば、細胞の第2のサブタイプの少なくとも1つの定量化は密度マップを含む。
一例によれば、細胞組成に関する情報は少なくとも1つの定量化を含む。次いで、処理ユニット30は、少なくとも1つの定量化に基づき、浸潤細胞の集団が単培養に関連すると決定するよう構成されることができる。
一例では、非特異的細胞密度マップと特異的細胞密度マップとの間の差がゼロに近く、及び密度が両方ともゼロより大きい場合、浸潤細胞の集団は単一培養として示される。従って例えば、「単一培養」は、具体的にはIHC/IFで測定された種類であることが示されるか又は決定され得る。差が「ゼロに近い」ときを決定するため、許容範囲/閾値レベルが適用されることができる。斯かる許容度/閾値は、専門家/病理学者が2つの集団に関する密度推定値の正確さを検証することを通して設定され得、これは、単培養が存在することを評価するためにどれほど小さな差が用いられ得るかに関する決定がなされることを可能にする。細胞密度(population densities)には不確実性があり、これは使用されるマーカーにも依存する。しかしながら、専門家/病理学者は、単培養が存在するか否かを決定するための密度差に基づき、使用されることができる許容範囲/閾値を決定する際に、彼らの知識を使用することができる。
単培養が存在するかどうかを決定することに加えて、細胞密度における差がどれほど大きいか、及びその補数分数と検出されたものとの空間分布がどんなものかについてのインジケーションが必要となり得る。これを決定及び検証するため、ソフトウェアツールが、専門家/病理学者により使用されことができ、いくつかの選択された画像領域において細胞の数が手動でカウントされ、密度が計算され、それらが推定密度と比較される。これは、ツールを使用しながらツールを検証する方法を提供し、決定された細胞密度における変動性に関する理解を深めることを可能にする。この情報から、異なるマーカーに関して、単一培養が存在するかどうか、及び/又は説明されていない浸潤細胞が存在するかどうか、及び/又は例えば壊死があることを示す、特異的染色における非特異的染色が生じたかどうかを決定するのにこの差が使用されるとき、専門家/病理学者は、細胞密度における違いに関してどの許容範囲/閾値が設定されるべきかを決定することができる。
言い換えると、2つのグループ間の差が決定され得、これは、更に利用され得る情報を提供する。一例では、非特異的画像分析を用いて具体的な結果を予測することができる。その場合、特異的染色は、非特異的アルゴリズムのグラウンドトゥルースとして使用されることができる。一例によれば、細胞組成に関する情報は少なくとも1つの定量化を含む。次いで、処理ユニット30は、少なくとも1つの定量化に基づき、浸潤細胞の集団が、特異的染色により標的とされなかった細胞のサブタイプの集団に関連することを決定するよう構成され得る。
一例では、非特異的細胞密度マップと特異的細胞密度マップとの間の差が正である場合、説明されていない浸潤細胞が存在するというインジケーションがなされる。この態様では、病理学者は、追加の染色を決定するか又はこの事実を診断情報として使用することができる。単培養が存在すると決定することに関して上述したのと同様に、未確認の浸潤細胞があるかどうかを決定するのに、許容範囲/閾値が使用されることができる。使用されるマーカー及び密度母集団における予想される変動性に基づき、専門家/病理学者は、適切なアルゴリズムで設定されるべき斯かる許容範囲/閾値に必要な情報を提供することができる。これに基づき、他の染色が、未確認の浸潤細胞を標的とするために使用可能であり得ることが自動的に示されることができる。
一例によれば、細胞組成に関する情報は少なくとも1つの定量化を含む。処理ユニット30は、少なくとも1つの定量化に基づき更なる分析から第1の画像及び第2の画像の領域を除外するよう構成されることができる。
一例では、非特異的細胞密度マップと特異的細胞密度マップとの間の差が負である場合、特異的染色において非特異的染色が存在するというインジケーションがなされる。一例では、特異的染色(例えば、IHC)における非特異的染色は、例えば壊死があることを示すことができる。こうして、病理医は、この情報を使用して、IHCスコアを計算するとき、これらの領域を除外するか、又は異なるマーカーを決定することができる。言い換えると、品質管理を提供する効率的な手段が可能にされる。ここでもこの決定は、上述のように専門家/病理学者からの入力を用いて、許容範囲/閾値に基づき行われることができる。
一例によれば、細胞組成に関する情報は、少なくとも1つの定量化を含み、少なくとも1つの定量化は、特異的細胞組成細胞密度マップが非特異的細胞組成細胞密度マップから差し引かれることを含む。
一例では、第2のサブタイプに対する第2の染色を用いて、別のサンプルを自動的に生成するのに、陽性定量化が用いられることができる。
一例では、サンプル中の1つ又は複数の領域に単一培養物が存在するというインジケーションを自動的に生成するのに、ゼロに近い定量化が使用されることができる。
一例では、サンプルの領域を処理から自動的に除外するのに、ゼロ未満の定量化が使用されることができる。
一例によれば、第1の画像データは少なくとも1つの組織サンプルの第1の画像に関連し、第2の画像データは少なくとも1つの組織サンプルの第2の画像に関連する。細胞組成に関する情報の決定は次いで、第2の画像に対する第1の画像の位置合わせを含むことができる。
一例では、位置合わせは、細胞レベルでの2つの画像のマッチングを含み、従って細胞精度の位置合わせを提供する。こうして、異なるマーカーに対する各画像中の定量化(細胞密度)が正確に比較されることができる。
一例によれば、第1の画像は第1の組織サンプルに関するものであり、第2の画像データは第2の組織サンプルに関するものである。
一例によれば、非特異的染色は、ヘマトキシリン及びエオシン(H&E)染色を含み、特異的染色は、免疫組織化学(IHC)染色又は免疫蛍光(IF)染色を含む。
一例では、(メッセンジャーRNA−インシチュハイブリダイゼーション)mRNA−ISH及びPLA技術が使用されることができる。
図2は、1つ又は複数の組織サンプル顕微鏡画像における細胞組成情報を決定するシステム100の例を示す。システム100は、画像取得ユニット110と、図1の例のいずれかに関して説明したように、1つ又は複数の組織サンプルにおける細胞組成情報を決定する装置10とを備える。システム100はまた、出力ユニット120を含む。画像取得ユニット110は、少なくとも1つの組織サンプルの少なくとも1つの2D画像を取得するよう構成される。出力ユニット120は、細胞組成に関する情報を出力するよう構成される。
一例では、画像取得ユニットは明視野顕微鏡である。一例では、画像取得ユニットは断層撮影顕微鏡を含む。一例では、画像取得ユニットは共焦点顕微鏡を含む。一例では、画像取得ユニットは透過型顕微鏡を含む。一例では、画像取得ユニットはスライドスキャナを含む。
図3は、その基本ステップにおいて1つ又は複数の組織サンプル顕微鏡画像中の細胞組成情報を決定する方法200を示す。方法200は、
ステップa)とも呼ばれる提供ステップ210において、少なくとも1つの組織サンプルの第1の画像データを提供するステップであって、第1の画像データは、少なくとも1つの組織サンプルの組織サンプルの非特異的染色に関する、ステップと、
ステップb)とも呼ばれる提供ステップ220において、少なくとも1つの組織サンプルの第2の画像データを提供するステップであって、第2の画像データは、少なくとも1つの組織サンプルの組織サンプルの特異的染色に関し、
(i)特異的染色を受けた組織サンプルが、非特異的染色を受けた組織サンプルと同じであるか、又は(ii)特異的染色を受けた組織サンプルが、非特異的染色を受けた組織サンプルと異なる、ステップと、
ステップc)とも呼ばれる決定ステップ230において、第1の画像データに基づき非特異的細胞組成細胞密度マップを決定するステップと、
ステップd)とも呼ばれる決定ステップ240において、第2の画像データに基づき特異的細胞組成細胞密度マップを決定するステップと、
ステップe)とも呼ばれる決定ステップ250において、非特異的細胞密度マップ及び特異的細胞密度マップに基づき、少なくとも1つの組織サンプルにおける細胞組成に関する情報を決定するステップとを有する。
一例では、ステップa)において、入力ユニット20が、少なくとも1つの組織サンプルの第1の画像データを処理ユニット30に提供するよう構成される。
一例では、入力ユニット20は、少なくとも1つの組織サンプルの第2の画像データを処理ユニット30に提供するよう構成される。
一例では、ステップc)において、決定は処理ユニット30により実行される。
一例では、ステップd)において、決定は処理ユニット30により実行される。
一例では、ステップe)において、決定は処理ユニット30により実行される。
一例によれば、非特異的細胞密度マップと特異的細胞密度マップとの間の差がゼロに近く、そして密度が両方ともゼロより大きい場合、浸潤細胞の集団は単一培養として示される。従って、例えば、「単一培養」は、具体的にはIHC/IFで測定された種類であることが示される又は決定されることができる。処理ユニットは、この差を決定し、そして集団が単培養であるかどうかを示すよう構成され得る。
一例によれば、非特異的細胞密度マップと特異的細胞密度マップとの間の差が正である場合、説明されていない浸潤細胞が存在するというインジケーションがなされる。処理ユニットは、この差を決定し、説明されていない浸潤細胞があるかどうかを示すよう構成されることができる。こうして、病理学者は追加の染色を決定するか又はこの事実を診断情報として使用することができる。
一例によれば、非特異的細胞密度マップと特異的細胞密度マップとの間の差が負である場合、特異的染色において非特異的染色が存在し得るとのインジケーションがなされる。処理ユニットは、この差を決定し、非特異的染色があるかどうかを示すよう構成され得る。一例では、特異的染色における非特異的染色(例えば、IHC)は、例えば、壊死があることを示し得る。こうして、病理医は、この情報を使用して、IHCスコアを計算するとき、これらの領域を除外するか、又は異なるマーカーを決定することができる。言い換えると、品質管理を提供する効率的な手段が可能にされる。病理医は画像を分析して壊死性外観を確認することができる。
一例では、ステップb)は、細胞の第1のサブタイプを標的とする染色を含み、ステップe)では、細胞組成に関する情報を決定するステップは、e1)細胞の第1のサブタイプの少なくとも1つの定量化を決定することを含む。決定は、処理ユニット30により実行されることができる。
一例では、ステップe1)において、細胞の第1のサブタイプの少なくとも1つの定量化は密度マップを含む。
一例では、ステップb)は、第2のサブタイプの細胞とは異なる少なくとも1つのサブタイプの細胞を標的とする染色を含み、ステップe)において、細胞組成に関する情報を決定するステップは、e2)第2のサブタイプの細胞の少なくとも1つの定量化を決定することを含む。決定は、処理ユニット30により実行されることができる。
一例では、ステップe2)において、細胞の第2のサブタイプの少なくとも1つの定量化は密度マップを含む。
一例では、ステップe)は、少なくとも1つの定量化を決定すること、及び少なくとも1つの定量化に基づき浸潤細胞の集団が単培養に関連することを決定することを含む。これらの決定は処理ユニットにより実行され得る。
一例では、ステップe)は、少なくとも定量化を決定すること、及び浸潤細胞の集団が、特異的染色により標的とされなかった細胞のサブタイプの集団に関連することを少なくとも1つの定量化に基づき決定することを含む。決定は、処理ユニットにより実行されることができる。
一例では、ステップe)は、少なくとも1つの定量化を決定すること、及び少なくとも1つの定量化に基づき更なる分析から第1の画像及び第2の画像の領域を除外することを含む。決定は、処理ユニットにより実行されることができる。
一例では、ステップe)は、特異的細胞組成物細胞密度マップが非特異的細胞組成物細胞密度マップから減算されることを含む、少なくとも1つの定量化を決定することを含む。決定は、処理ユニットにより実行されることができる。
一例では、ステップa)において第1の画像データは第1の組織サンプルの第1の画像に関連し、ステップb)において第2の画像データは第2の組織サンプルの第2の画像に関連する。ステップe)は、第2の画像に対する第1の画像の位置合わせを含む。位置合わせは、処理ユニットにより実行されることができる。
以下は、腫瘍診断法における改善の必要性をより詳細に説明する。これに続いて、1つ又は複数の組織サンプルにおける細胞組成情報を決定する装置、システム及び方法が更に詳細に記載され、特定の問題がどのように対処されるかが説明される。
組織サンプルが体から採取される。サンプルは、固定化、脱水素化及びパラフィン包埋の工程を含む組織処理装置で処理され、いわゆるホルマリン固定パラフィン包埋(FFPE)組織ブロックが得られることができる。組織ブロックが切断され、例えば明視野顕微鏡により分析される所望の厚さのスライスが得られる。スライスは、従来の2D病理学的撮像において必要とされるものとして当業者により理解されるように、2〜10μmのオーダーの厚さであり得る。染色後、組織スライスは、(潜在的に部分的に開いている)透明容器内のいわゆる封入(流体)媒体に浸され、画像を得るため、明視野顕微鏡で分析される。斯かる顕微鏡は、例えば、Philips Digital Pathology UFSホールスライドスキャナである。しかしながら当業者は、組織サンプルが画像化されることができる他の方法を理解するであろう。組織切片(又はサンプル)に適用される染色は、さまざまな細胞が検出されることを可能にする。
腫瘍浸潤性リンパ球(TIL)とも呼ばれる腫瘍関連免疫細胞は、病理学及び腫瘍学診断において重要な役割を果たす。浸潤の程度及び細胞の種類は、予後的及び予測的価値を持つ。更に、腫瘍材料の分子検査では、リンパ球による腫瘍細胞の希釈は、偽陰性の結果につながる可能性があるため、考慮される必要がある。リンパ球は、コンパクトで、小さく、そしてかなり丸い細胞として特別な外観を持ち、ヘマトキシリン及びエオシン(H&E)染色組織スライド上で認識され得る。リンパ球の群の中で、外来又は異常組織として認識される腫瘍の存在に対する宿主の免疫応答の一部として非常に異なる機能を持つ多くのサブタイプが区別され、以下の論文でより十分な議論が見いだされる。J.Galonらによる「The Continuum of Cancer Immunosurveillance: Prognostic, Predictive and Mechanistic Signatures」、Immunity、39、(2015)、11〜26である。これらのサブタイプは、例えば免疫学の分野で標準化される細胞表面マーカーの発現に基づき決定されることができ、一般に接頭辞CDとそれに続く免疫染色が行われる抗原を示す数字により示される。この免疫染色は、病理組織学において確立された技術である免疫組織化学(IHC)を含み得る。代替的に、使用される標識の種類が異なる免疫蛍光が使用されることもできる(基質を不溶性染料に変換する酵素の代わりのフルオロフォア)。
H&E染色組織の画像における浸潤物検出のための方法は、形状及び面積のような幾何学的特徴に基づかれることができる。例えば以下の論文に記載されるように、形態ベースのH&E分析及び特異的マーカー(例えばIHC)の分析に関する多くの代替アプローチが存在する。M.N.Gurcanらによる「Histopathological Image Analysis: A Review」、IEEE Reviews in Biomedical Engineering、vol.2、2009。最近では、十分なトレーニングデータが存在することを条件に、機械学習(特にディープラーニング)アプローチがこれらの種類の問題を解決するのに成功している。H&Eベースの浸潤検出の場合、ニューラルネットワークに、所与の倍率で撮像された浸潤核の小さな例示的な画像(例えば32×32ピクセル)が提示されることができる。これは、ポジティブトレーニングセットである。ネガティブトレーニングセットとして、他の細胞タイプ、間質又は脂肪の画像が使用されることができる。ニューラルネットワークは、一旦訓練されると、所与の画像パッチについてそのパッチが浸潤性核を含むか否かを予測するために使用されることができる。ほとんどの場合、予測は、画像上の移動ウィンドウとして適用され、場所は、ポジティブとして識別される。そこでは、空間検出確率曲面が極大値を持ち、所与の閾値を超えた所にある。H&E浸潤検出に対するより簡単なアプローチは、色の類似性に基づきピクセルを小さい(サブ核サイズ)領域に分割/空間的にグループ化することである。隣接領域の組み合わせは次いで、真円度/円形度及び染色強度に関して評価され得る。領域の組み合わせが高い染色強度を持ち、大きすぎない円形をもたらす場合、これは浸潤性核であり得る。このアプローチは手動のパラメータ調整に基づかれる。
特異的IHCマーカーに対する免疫細胞浸潤物の検出は、はるかに簡単である。目的が細胞核密度マップを計算することである場合、特異的染色、例えばDABが、カラーデコンボリューションを使用してピクセルごとに検出されることができる。所与のピクセルに対して結果として得られるDAB画像が所与の閾値を超える場合、このピクセルは浸潤細胞の一部でなければならない。IHCマーカーは、免疫細胞の所与のセットに特異的に結合するので、細胞密度マップは、2D画像における所与の細胞サイズ(ピクセル単位)を仮定することによりピクセルベースの検出結果から推定されることができる。
両方の画像上の特定の画像特徴にそれらを位置合わせすることにより、異なる画像モダリティが幾何学的に重ね合わせられることができる。例えば、組織ブロックからの2つの隣接するスライドが異なるマーカーを用いて染色されることができる。こうして、同じサンプル位置、例えば組織の境界、組織タイプの境界、又は細胞に対していくつかの異なるパラメータが決定されることができる。
腫瘍におけるリンパ球浸潤の評価は一般的に、それらの一般的な形態学的特徴に基づきH&E染色スライド又はそれらのデジタル画像上で行われるが、このように浸潤細胞のすべてのサブタイプを区別することは不可能である。しかしながら、癌患者の予後又は治療反応を予測するためには、サブタイプの区別がしばしば必要である。サブタイプ化は、特異的細胞タイプを代表する特異的細胞表面タンパク質に結合する特異的抗体を用いる免疫染色技術に基づかれる。すべてのマーカーは、別々の染色及び画像取得プロセスを必要とし、これは面倒であるが組織も消費する(針生検の場合には非常に小さくなり得る新しい切片が、組織サンプルから切り取られる必要がある)。組織スライドの数及び腫瘍関連免疫細胞(TAC)サブタイプを評価するための努力を減らすため、単一の組織スライド上のいくつかのCDマーカーを染色するためにフルオロフォアによる多重標識を使用することが提案される。斯かるアプローチは、多重蛍光機能を備えるデジタル病理学スキャナーの利用可能性の欠如のため、臨床環境において導入することがより困難である。更に、斯かるアプローチは、バックグラウンドの蛍光及び染色アーティファクトに起因する可能性のある偽陽性結果のために正しい評価を保護しない。
従って、本装置、システム及び方法は、腫瘍の浸潤を評価し、両方の画像タイプの比較から情報を引き出すため、H&E及びIHC/IF画像分析の両方の使用を通してこれに対処する。IHC/IF由来浸潤細胞は、H&E由来浸潤細胞のサブセットであると考えられることができる。IHC/IF画像におけるバイオマーカー(CDマーカー)の種類を知ることは、H&E由来の浸潤細胞との比較から得られる細胞の種類について結論が導き出されることを可能にする。以下は、本方法の一連のステップの詳細なワークフローである。
1.H&E画像(又はIHC染色のHチャネル)組織スライドの形態学的分析を介して細胞組成(例えば免疫浸潤物)密度マップを導出する。
2.IHC又はIFスライドの染色強度分布の分析に基づき、同じ又は隣接するスライド画像(IHCアッセイ又は代替的にはIFアッセイで得られる)から、選択した特異的免疫細胞マーカー(CD3、CD4、CD8など)の密度マップを導出する。
3.ヘマトキシリン由来細胞組成(例えば免疫浸潤)密度マップとIHC/IFベースの密度マップとを組み合わせ、免疫細胞の染色クラス(CDマーカーで規定される)が局所的に、組織内、特に腫瘍領域内のすべてのリンパ球(腫瘍浸潤リンパ球、TIL)の小さな又は大きなサブセットを表すかどうかを解釈する。IHC/IF画像において局所的により高い密度が見出される場合、これは、例えば壊死組織領域に起因し得る非特異的染色のインジケーションであり得る。マーカー(例えば、いわゆるCDマーカー)の選択及び非特異的染色画像で使用される形態学的特徴に応じて、免疫細胞の特定のサブタイプに対する特異性に基づき、(CD)マーカーに基づく密度マップが、H&E由来マップのサブセットであると予想される。例えば、非特異的に染色された画像においてコンパクトで強く丸い対象に敏感なリンパ球検出器を使用することにより、これは主にT細胞を検出することになる。これをCD8マーカーで染色された画像の分析と比較することにより、細胞傷害性T細胞分布が得られるであろう。この分布は、全T細胞画分の有意なサブセットであり得、この場合、調節性T細胞による浸潤はそれほど多くないと結論付けることができる。別の例では、サブセットは、非特異的染色画像から得られることができる。CD45が特異的染色として使用されるとき、これは、腫瘍領域に存在する全ての血液由来細胞を際立たせるだろう。これ例えば、マクロファージも含む。マクロファージは、コンパクトな円形の対象ではないので、それらは斯かる対象に関して訓練された検出器によって検出されることはないだろう。この場合、非特異的細胞集団は、T細胞を表すサブセットであり得、そして相補的サブセットとして全ての非T細胞であり得る。非特異的染色画像に使用される検出器は、特定の固有の特徴セットに関して訓練されることができる。これは、手元の診断アプリケーションに基づき、特異的染色細胞タイプのサブセット又は細胞タイプの相補的セット又は細胞タイプのスーパーセットを形成することができる。
4.ヘマトキシリン由来細胞組成物(例えば免疫浸潤物)数とIHC/IF由来浸潤物数との間の差に関する密度マップを計算する。これは、サブタイプの相補的セットの密度の空間分布を表す。
5.腫瘍領域に関して浸潤物を特徴付ける密度マップ及びこれらの密度マップから得られるオプションの記述子を表示する。後者は、アルゴリズムによりH&E画像から得られる、又は病理学者により手動で示されることができる。
装置、システム及び方法の更なる具体的な詳細がここで説明され、実現モダリティに関する更なる詳細が提供される。
H&EとIHC画像の空間レジストレーション
これは、ヘマトキシリン由来細胞組成(例えば、免疫浸潤物)密度マップが隣接するスライドから計算される場合、又は同じスライドが染色され、撮像され、取り去られ、再び染色され、及び再び撮像される場合にのみ必要である。検出器性能は、これがIHCからデコンボリューションされるときにヘマトキシリンチャネル上でこの分析を行うことと比べて良好かもしれない。例えば、色デコンボリューションは、DABのような特定のIHC染色に対してエラーを引き起こす可能性があることが知られる。
H&Eベースの浸潤検出
浸潤核は、それらの比較的小さいサイズ、均一なヘマトキシリン染色及び丸い形状のためにしばしば認識され得る。浸潤核の画像例(ポジティブセット)及び他の核種の画像例(ネガティブセット)を使用して、浸潤核を検出するよう機械学習アルゴリズムが訓練されることができる。
浸潤密度マップの計算
密度マップ計算ステップは、所与のサイズの二乗平均領域を規定し、その四角形領域に関して検出された浸潤細胞の数を数えることにより行われる。密度は、単位面積あたりの核の数として計算される[例えば、#/mm2]。
選択されたマーカーに関する陽性の細胞タイプのIHC検出
これは、マーカーに関して陽性であるピクセルの数を数えるか、又はマーカーに関して陽性である核の数を数えることにより行われることができる。前者の場合、核当たりに典型的にいくつの画素があるかが決定される。
IHCベースの細胞タイプ密度マップの計算
前のステップからの出力を使用して、密度[#/mm2]が再び計算されることができる。
ヘマトキシリンベースの浸潤密度マップからのIHCベースの細胞型密度マップの減算
密度差マップは、負の値と正の値との両方を持つ。
密度差マップがゼロに近く、密度が両方ともゼロより大きい場合、浸潤細胞の集団は、特にIHC/IFで測定されたタイプの「単培養」である。
密度差マップが正であれば、説明されていない浸潤細胞がある。病理医は、追加の染色を決定するか、又は診断情報としてこの事実を使用することができる。
密度差マップが負の場合、IHCにおいて非特異的染色がある(例えば壊死)。病理医は、この情報を使用して、IHCスコアを計算するとき、これらの領域を除外するか、又は別のマーカーを決定することができる。このユースケースの主な目的は品質管理である。
分析は、組織画像全体に対して、又は選択された関心領域に対して実行されることができる。オプションで、関心領域は、コンピュータプログラムにより、又はユーザにより、又はその両方の相互作用により選択されることができる。
上記の議論において、特異的及び非特異的染色が記載される。これらについての詳細が以下提供される。
非特異的染色は、組織のタイプ及び組織の特定の生物学的組成に基づき異なる程度で組織に結合する染料を使用する方法である。例示的なヘマトキシリンは、細胞の核内に見出される核酸に結合し、及び従って染色取込みの増加により細胞の核を描写するために使用されることができる。染色強度は、核酸の配列と無関係である。
特異的染色は、分子プローブの場合の核酸の配列(インシチュハイブリダイぜーション)、又は抗体により認識されるタンパク質のアミノ酸の配列及び立体配座(免疫組織化学、又は免疫蛍光)のように、正確な分子配置に基づきサンプルにおける標的分子に結合するであろう特異的認識分子に結合される染料を使用する方法である。
特異的染色では、しばしば、例えばHRPのような酵素又は分岐DNA、又はRCA(ローリングサークル増幅)により、追加的な化学的性質が信号を増強するために関与し得る。
別の例示的な実施形態では、適切なシステム上で、前述の実施形態の1つによる方法の方法ステップを実行するよう構成されることを特徴とするコンピュータプログラム又はコンピュータプログラム要素が提供される。
コンピュータプログラムは従って、コンピュータユニットに格納されることができる。これは、本発明の実施形態の一部でもある。この計算ユニットは、上記の方法におけるステップを実行する又はステップの実行をもたらすよう構成されることができる。更に、これは、上記装置の要素を作動させるよう構成されることができる。計算ユニットは、自動的に作動する、及び/又はユーザの命令を実行するよう構成されることができる。コンピュータプログラムは、データプロセッサのワーキングメモリにロードされることができる。従って、データプロセッサは、前述の実施形態の1つによる方法を実行するように装備され得る。
本発明のこの例示的な実施形態は、最初から本発明を用いるコンピュータプログラム、及び更新を用いて既存のプログラムを本発明を用いるプログラムに変えるコンピュータプログラムの両方をカバーする。
更に、コンピュータプログラム要素は、上述した方法の例示的な実施形態の手順を満たすために必要なすべてのステップを提供することができる。
本発明の更に例示的な実施形態によれば、例えばCD―ROMといったコンピュータ可読媒体が与えられる。この場合、コンピュータ可読媒体は、この媒体に格納されるコンピュータプログラム要素を持つ。このコンピュータプログラム要素は、以前のセクションで記載される。
コンピュータプログラムは、他のハードウェアと共に又はその一部として供給される光学的記憶媒体又は固体媒体といった適切な媒体に格納/配布されることができるが、インターネット又は他の有線若しくは無線通信システムを介してといった他の形式で配布されることもできる。
しかしながら、コンピュータプログラムは、ワールドワイドウェブのようなネットワークを介して提示されてもよく、斯かるネットワークからデータプロセッサのワーキングメモリにダウンロードされてもよい。本発明の更に例示的な実施形態によれば、コンピュータプログラムをダウンロードに関して利用可能にする媒体が提供される。このコンピュータプログラムは、本発明の上記の実施形態の1つに基づかれる方法を実行するよう構成される。
本発明の実施形態が、異なる主題を参照して説明される点に留意されたい。特に、ある実施形態は、方法タイプの請求項を参照して説明されるが、他の実施形態は、装置タイプの請求項を参照して説明される。しかしながら、当業者であれば、上記及び以下の説明から、別段の通知がない限り、1つのタイプの主題に属する特徴の任意の組み合わせに加えて、異なる主題に関連する特徴間の任意の組み合わせが、本願に開示されると考えられることを理解するであろう。しかしながら、すべての特徴は、これらの特徴の単純な合計より多くの共同効果を提供する態様で、組み合わせられることができる。
本発明が図面及び前述の説明において詳細に図示され及び説明されたが、斯かる図示及び説明は、説明的又は例示的であると考えられ、本発明を限定するものではない。本発明は、開示された実施形態に限定されるものではない。図面、開示及び従属項の研究から、開示された実施形態に対する他の変形が、請求項に記載の本発明を実施する当業者により理解され、及び実行されることができる。
請求項において、単語「有する」は他の要素又はステップを除外するものではなく、不定冠詞「a」又は「an」は複数性を除外するものではない。単一のプロセッサ又は他のユニットが、請求項に記載される複数のアイテムの機能を果たすことができる。特定の手段が相互に異なる従属項に記載されるという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを意味するものではない。請求項における任意の参照符号は、発明の範囲を限定するものとして解釈されるべきではない。

Claims (16)

  1. 1つ又は複数の組織サンプル顕微鏡画像において細胞組成情報を決定する装置であって、
    入力ユニットと、
    処理ユニットとを有し、
    前記入力ユニットが、少なくとも1つの組織サンプルの少なくとも1つの2D画像を前記処理ユニットに提供し、前記少なくとも1つの2D画像の第1の画像データは、前記少なくとも1つの組織サンプルにおける組織サンプルの非特異的染色に関し、前記少なくとも1つの2D画像の第2の画像データが、細胞の第1のサブタイプを標的とする前記少なくとも1つの組織サンプルにおける組織サンプルの特異的染色に関し、(a)前記特異的染色を受けた組織サンプルは、前記非特異的染色を受けた組織サンプルと同じであるか、又は(b)前記特異的染色を受けた組織サンプルは、前記非特異的染色を受けた組織サンプルとは異なり、
    前記処理ユニットが、前記第1の画像データの形態学的特徴分析に基づき、非特異的細胞組成細胞密度マップを決定し、
    前記処理ユニットは、前記第2の画像データの染色強度分布分析に基づき、特異的細胞組成細胞密度マップを決定し、
    前記処理ユニットが、前記非特異的細胞密度マップ及び前記特異的細胞密度マップに基づき、前記少なくとも1つの組織サンプルにおける細胞組成に関する情報を決定し、前記細胞組成に関する情報は、前記細胞の第1のサブタイプの少なくとも一つの定量化と細胞の第2のサブタイプの少なくとも一つの定量化とを含み、前記特異的染色が、前記細胞の第2のサブタイプとは異なる細胞の少なくとも一つのサブタイプを標的とする、装置。
  2. 前記細胞の第1のサブタイプの少なくとも一つの定量化が、密度マップを含む、請求項1に記載の装置。
  3. 前記細胞の第2のサブタイプの少なくとも一つの定量化が、密度マップを含む、請求項1に記載の装置。
  4. 前記細胞組成に関する情報が、少なくとも1つの定量化を含み、前記処理ユニットは、前記少なくとも1つの定量化に基づき浸潤細胞の集団が単一培養に関連すると決定し、前記決定が、特異的及び非特異的の両方の細胞密度がゼロより大きいが、絶対密度が類似する領域に前記単一培養が存在すると決定することを含む、請求項1乃至3のいずれかに記載の装置。
  5. 前記細胞組成に関する情報が、少なくとも1つの定量化を含み、前記処理ユニットは、前記少なくとも1つの定量化に基づき前記特異的染色の標的とされなかった細胞のサブタイプの集団に浸潤細胞の集団が関連すると決定し、前記決定が、非特異的細胞密度が、ある領域における特異的細胞密度よりかなり大きいと決定することを含む、請求項1乃至4のいずれかに記載の装置。
  6. 前記細胞組成に関する情報が、少なくとも1つの定量化を含み、前記処理ユニットは、前記少なくとも1つの定量化に基づき、更なる分析から前記第1の画像及び第2の画像の領域を除外する、請求項1乃至5のいずれかに記載の装置。
  7. 前記細胞組成に関する情報が、少なくとも1つの定量化を含み、前記少なくとも1つの定量化は、前記特異的細胞組成細胞密度マップが、前記非特異的細胞組成細胞密度マップから減算されることを含む、請求項1乃至6のいずれかに記載の装置。
  8. 前記第1の画像データが、前記少なくとも1つの組織サンプルの第1の画像に関連し、前記第2の画像データは、前記少なくとも1つの組織サンプルの第2の画像に関連し、
    前記細胞組成に関する情報の決定が、前記第2の画像に対する前記第1の画像の位置合わせを含む、請求項1乃至7のいずれかに記載の装置。
  9. 前記第1の画像が、第1の組織サンプルに関し、前記第2の画像データは、第2の組織サンプルに関する、請求項8に記載の装置。
  10. 前記非特異的染色が、ヘマトキシリン及びエオシン染色を含み、前記特異的染色は、免疫組織化学染色又は免疫蛍光染色を含む、請求項1乃至9のいずれかに記載の装置。
  11. 1つ又は複数の組織サンプル顕微鏡画像における細胞組成情報を決定するシステムであって、
    画像取得ユニットと、
    請求項1乃至10のいずれか一項に記載の1つ又は複数の組織サンプルにおける細胞組成情報を決定する装置と、
    出力ユニットとを有し、
    前記画像取得ユニットが、前記少なくとも1つの組織サンプルの前記少なくとも1つの2D画像を取得し、
    前記出力ユニットは、前記細胞組成に関する情報を出力する、システム。
  12. 1つ又は複数の組織サンプル顕微鏡画像における細胞組成情報を決定する方法において、
    a)少なくとも1つの組織サンプルの第1の画像データを提供するステップであって、
    前記第1の画像データが、前記少なくとも1つの組織サンプルにおける組織サンプルの非特異的染色に関する、ステップと、
    b)前記少なくとも1つの組織サンプルの第2の画像データを提供するステップであって、前記第2の画像データが、第1のサブタイプの細胞を標的とする前記少なくとも1つの組織サンプルにおける組織サンプルの特異的染色に関し、第2のサブタイプの細胞とは異なる細胞の少なくとも1つのサブタイプを標的とする染色を含み、
    (i)前記特異的染色を受けた組織サンプルが、前記非特異的染色を受けた組織サンプルと同じであるか、又は(ii)前記特異的染色を受けた組織サンプルが、前記非特異的染色を受けた組織サンプルと異なる、ステップと、
    c)前記第1の画像データの形態学的特徴分析に基づき非特異的細胞組成細胞密度マップを決定するステップと、
    d)前記第2の画像データの染色強度分布分析に基づき特異的細胞組成細胞密度マップを決定するステップと、
    e)前記非特異的細胞密度マップ及び前記特異的細胞密度マップに基づき前記少なくとも1つの組織サンプルにおける細胞組成に関する情報を決定し、e1)前記細胞の第1のサブタイプの少なくとも1つの定量化を決定し、及びe2)前記細胞の第2のサブタイプの少なくとも一つの定量化を決定するステップとを有する、方法。
  13. 前記非特異的細胞密度マップと前記特異的細胞密度マップとの間の差がゼロに近く、及び前記密度が両方ともゼロより大きい場合、浸潤細胞の集団が単培養として示される、請求項12に記載の方法。
  14. 前記非特異的細胞密度マップと前記特異的細胞密度マップとの間の差が正である場合、説明されていない浸潤細胞が存在するというインジケーションがなされる、請求項12に記載の方法。
  15. 前記非特異的細胞密度マップと前記特異的細胞密度マップとの間の差が負である場合、前記特異的染色において非特異的染色が存在するというインジケーションがなされる、請求項12に記載の方法。
  16. プロセッサにより実行されるとき、請求項12乃至15のいずれかに記載の方法を実行するよう構成されたコンピュータプログラム。
JP2019518092A 2016-10-27 2017-10-26 1つ又は複数の組織サンプルにおける細胞組成情報を決定する装置 Active JP7356904B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022115570A JP2022163056A (ja) 2016-10-27 2022-07-20 1つ又は複数の組織サンプルにおける細胞組成情報を決定する装置

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP16195994.5 2016-10-27
EP16195994 2016-10-27
EP16197370 2016-11-04
EP16197370.6 2016-11-04
PCT/EP2017/077487 WO2018078034A1 (en) 2016-10-27 2017-10-26 Apparatus for determining cellular composition information in one or more tissue samples

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022115570A Division JP2022163056A (ja) 2016-10-27 2022-07-20 1つ又は複数の組織サンプルにおける細胞組成情報を決定する装置

Publications (3)

Publication Number Publication Date
JP2019534451A true JP2019534451A (ja) 2019-11-28
JP2019534451A5 JP2019534451A5 (ja) 2020-12-03
JP7356904B2 JP7356904B2 (ja) 2023-10-05

Family

ID=60182595

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019518092A Active JP7356904B2 (ja) 2016-10-27 2017-10-26 1つ又は複数の組織サンプルにおける細胞組成情報を決定する装置
JP2022115570A Pending JP2022163056A (ja) 2016-10-27 2022-07-20 1つ又は複数の組織サンプルにおける細胞組成情報を決定する装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022115570A Pending JP2022163056A (ja) 2016-10-27 2022-07-20 1つ又は複数の組織サンプルにおける細胞組成情報を決定する装置

Country Status (5)

Country Link
US (1) US11048911B2 (ja)
EP (1) EP3532984B1 (ja)
JP (2) JP7356904B2 (ja)
CN (1) CN110168561B (ja)
WO (1) WO2018078034A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021525361A (ja) * 2018-05-24 2021-09-24 ユニバーシティ オブ ピッツバーグ−オブ ザ コモンウェルス システム オブ ハイヤー エデュケーションUniversity Of Pittsburgh Of The Commonwealth System Of Higher Education 空間マルチパラメータ細胞亜細胞画像データからの癌再発の予測

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11048911B2 (en) 2016-10-27 2021-06-29 Koninklijke Philips N.V. Apparatus for determining cellular composition information in one or more tissue samples
US10733732B2 (en) * 2018-07-31 2020-08-04 Flagship Biosciences, Inc. Method for comparative visualization of image analysis features of tissue
EP3608701A1 (de) * 2018-08-09 2020-02-12 Olympus Soft Imaging Solutions GmbH Verfahren zur bereitstellung wenigstens einer auswertemethode für proben
EP3611695A1 (en) * 2018-08-15 2020-02-19 Koninklijke Philips N.V. Generating annotation data of tissue images

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015189264A1 (en) * 2014-06-10 2015-12-17 Ventana Medical Systems, Inc. Predicting breast cancer recurrence directly from image features computed from digitized immunohistopathology tissue slides
WO2016034655A2 (en) * 2014-09-03 2016-03-10 Ventana Medical Systems, Inc. Systems and methods for generating fields of view
US9298968B1 (en) * 2014-09-12 2016-03-29 Flagship Biosciences, Inc. Digital image analysis of inflammatory cells and mediators of inflammation
JP2018503906A (ja) * 2014-12-30 2018-02-08 ベンタナ メディカル システムズ, インコーポレイテッド イムノスコア計算における共発現解析のためのシステム及び方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050136509A1 (en) * 2003-09-10 2005-06-23 Bioimagene, Inc. Method and system for quantitatively analyzing biological samples
CA2652562C (en) 2006-05-17 2015-05-12 Cellumen, Inc. Method for automated tissue analysis
US9355445B2 (en) * 2007-03-01 2016-05-31 Nec Corporation Breast cancer pathological image diagnosis support system, breast cancer pathological image diagnosis support method, and recording medium recording breast cancer pathological image diagnosis support program
US9002077B2 (en) * 2009-08-10 2015-04-07 Cambridge Research & Instrumentation, Inc. Visualization of stained samples
EP2755026B1 (en) 2011-09-09 2021-10-27 Konica Minolta, Inc. Method for staining tissue
US9042630B2 (en) 2011-10-26 2015-05-26 Definiens Ag Biomarker evaluation through image analysis
US8605972B2 (en) * 2012-03-02 2013-12-10 Sony Corporation Automatic image alignment
US20130338016A1 (en) * 2012-04-17 2013-12-19 Vala Sciences, Inc. Method For Integrated Pathology Diagnosis And Digital Biomarker Pattern Analysis
ES2902879T3 (es) * 2012-06-14 2022-03-30 Inst Nat Sante Rech Med Método de cuantificación de células inmunitarias en tejidos tumorales y sus aplicaciones
US8873827B2 (en) 2012-06-29 2014-10-28 General Electric Company Determination of spatial proximity between features of interest in biological tissue
DK2973397T3 (en) * 2013-03-15 2017-10-02 Ventana Med Syst Inc Tissue-object-based machine learning system for automated assessment of digital whole-slide glass
EP3055835B1 (en) 2013-10-07 2019-12-18 Ventana Medical Systems, Inc. Systems and methods for comprehensive multi-assay tissue analysis
EP3108446B1 (en) * 2014-02-21 2019-03-20 Ventana Medical Systems, Inc. Medical image analysis for identifying biomarker-positive tumor cells
AU2015357091A1 (en) * 2014-12-03 2017-04-27 Ventana Medical Systems, Inc. Systems and methods for early-stage cancer prognosis
US11416983B2 (en) 2015-08-24 2022-08-16 Koninklijke Philips N.V. Server-client architecture in digital pathology
CA3025822A1 (en) 2016-06-03 2017-12-07 Koninklijke Philips N.V. Biological object detection
US11048911B2 (en) 2016-10-27 2021-06-29 Koninklijke Philips N.V. Apparatus for determining cellular composition information in one or more tissue samples

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015189264A1 (en) * 2014-06-10 2015-12-17 Ventana Medical Systems, Inc. Predicting breast cancer recurrence directly from image features computed from digitized immunohistopathology tissue slides
WO2016034655A2 (en) * 2014-09-03 2016-03-10 Ventana Medical Systems, Inc. Systems and methods for generating fields of view
US9298968B1 (en) * 2014-09-12 2016-03-29 Flagship Biosciences, Inc. Digital image analysis of inflammatory cells and mediators of inflammation
JP2018503906A (ja) * 2014-12-30 2018-02-08 ベンタナ メディカル システムズ, インコーポレイテッド イムノスコア計算における共発現解析のためのシステム及び方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021525361A (ja) * 2018-05-24 2021-09-24 ユニバーシティ オブ ピッツバーグ−オブ ザ コモンウェルス システム オブ ハイヤー エデュケーションUniversity Of Pittsburgh Of The Commonwealth System Of Higher Education 空間マルチパラメータ細胞亜細胞画像データからの癌再発の予測
US11836998B2 (en) 2018-05-24 2023-12-05 University of Pittsburgh—of the Commonwealth System of Higher Education Predicting cancer recurrence from spatial multi-parameter cellular and subcellular imaging data
JP7398073B2 (ja) 2018-05-24 2023-12-14 ユニバーシティ オブ ピッツバーグ-オブ ザ コモンウェルス システム オブ ハイヤー エデュケーション 空間マルチパラメータ細胞亜細胞画像データからの癌再発の予測

Also Published As

Publication number Publication date
JP2022163056A (ja) 2022-10-25
CN110168561A (zh) 2019-08-23
US11048911B2 (en) 2021-06-29
EP3532984A1 (en) 2019-09-04
JP7356904B2 (ja) 2023-10-05
CN110168561B (zh) 2023-06-16
EP3532984B1 (en) 2024-05-08
WO2018078034A1 (en) 2018-05-03
US20190294859A1 (en) 2019-09-26

Similar Documents

Publication Publication Date Title
US9355445B2 (en) Breast cancer pathological image diagnosis support system, breast cancer pathological image diagnosis support method, and recording medium recording breast cancer pathological image diagnosis support program
JP6604960B2 (ja) バイオマーカー陽性の腫瘍細胞を識別するための医用画像解析
JP7356904B2 (ja) 1つ又は複数の組織サンプルにおける細胞組成情報を決定する装置
CN109196554B (zh) 肿瘤接近度量
EP3639191B1 (en) Method for training a deep learning model to obtain histopathological information from images
DK2939026T3 (en) IMAGE ANALYSIS FOR BREAST CANCER PROGRESS
KR102179848B1 (ko) 종양 조직 중 면역 세포를 정량화하는 방법 및 이의 사용
US9697582B2 (en) Methods for obtaining and analyzing images
JP5040597B2 (ja) 評価システム、評価方法および評価プログラム
JP2018504674A (ja) 早期癌予知のための計算病理学システム及び方法
EP3776337A1 (en) Systems for cell shape estimation
Campi et al. Novel liquid biomarkers and innovative imaging for kidney cancer diagnosis: what can be implemented in our practice today? A systematic review of the literature
Rogojanu et al. Quantitative image analysis of epithelial and stromal area in histological sections of colorectal cancer: an emerging diagnostic tool
US20210249101A1 (en) Systems and methods for predictive molecular biomarker identification and quantification from morphology changes in histopathology tissue
US20170270660A1 (en) Method for assigning tissue normalization factors for digital image analysis
JP7431753B2 (ja) デジタルパソロジーのための感度分析
Navikas et al. Semi-automated approaches for interrogating spatial heterogeneity of tissue samples
Chaudhry et al. Artificial Intelligence in Breast Pathology
WO2024025823A1 (en) Representative datasets for biomedical machine learning models
WO2024081150A1 (en) Expression-level prediction for biomarkers in digital pathology images
Sanko et al. Workflow Implementation of Reflex Afirma Testing for Thyroid Fine Needle Aspiration with Indeterminate Cytology in the Laboratory

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201022

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201022

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210909

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20211111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220308

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220324

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220720

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220720

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220802

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220804

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20220922

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20220927

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20230119

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230925

R150 Certificate of patent or registration of utility model

Ref document number: 7356904

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150