JP2010540906A - 診断分解能デジタルスライド画像のための改善した画質 - Google Patents

診断分解能デジタルスライド画像のための改善した画質 Download PDF

Info

Publication number
JP2010540906A
JP2010540906A JP2010526030A JP2010526030A JP2010540906A JP 2010540906 A JP2010540906 A JP 2010540906A JP 2010526030 A JP2010526030 A JP 2010526030A JP 2010526030 A JP2010526030 A JP 2010526030A JP 2010540906 A JP2010540906 A JP 2010540906A
Authority
JP
Japan
Prior art keywords
image
single images
digital slide
digital
slide image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010526030A
Other languages
English (en)
Other versions
JP5813951B2 (ja
Inventor
ダーク ジー. ソエンクセン
シンディ パーズ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Biosystems Imaging Inc
Original Assignee
Aperio Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aperio Technologies Inc filed Critical Aperio Technologies Inc
Publication of JP2010540906A publication Critical patent/JP2010540906A/ja
Application granted granted Critical
Publication of JP5813951B2 publication Critical patent/JP5813951B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

診断分解能で第1のデジタルスライド画像を走査し、続いて画像毎に一つの染色を有する複数の独立した画像に逆畳み込みすることによって、デジタルスライド画像の改善された診断分解能を取得する。単一染色画像は、画像調整による強調処理、及び/又は、画像分析アルゴリズムによって処理される。画像分析アルゴリズムから得られる単一画像データ群は保存することができる。さらに、生成された強調処理された単一画像は、診断分解能で強調処理された第2のデジタルスライド画像に再結合することができる。
【選択図】図1

Description

本発明は、一般的には、デジタルパソロジーの分野に関し、より詳細には、診断分解能でデジタルスライド画像の画質を改善するためのシステム、及び方法に関する。
変調伝達関数(「MTF」)、分解能、及び信号対ノイズ比(「SNR」)を用いて撮像装置を客観的に数値化することができるが、かかる装置によって生成された画像データの品質又は判読性を査定することは、例えば、病理学のデジタルスライド画像の評価など、特に、画像データが人間によって主観的に検査されることを目的としている場合、比較的困難である。
さらに、デジタルスライドは並外れて大きく、通常、数ギガバイトのサイズであるため、病理学者によって読み取られるデジタルスライド画像については、画質、及び/又は、判読性の査定に関連する課題は深刻になる。この相当量の画像データが、最大分解能でデジタルスライドの各領域を検査し、その品質、及び/又は、判読性を判定する検査を行うことを極めて困難にする。さらに、病理学者が診断を行う際に探すパターン(すなわち、特徴及び手掛かり)は組織種別の間で異なる。特定の組織種別の診断を行うために使用する基準及びタスク(task)について病理学者の間で公式な合意がない。このことが、さらに混乱をもたらしている。さらに、デジタルスライド画像の分析、及びデジタルスライド画像に基づく診断は、薄い色を生じる弱い染色、濃い色を生じる強い染色、非標準のデジタル画像の染色特性、単一スライドの中の類似の着色物、単一スライドの中の相互に低コントラストの染色、及び物理的に乏しいスライド作成によって困難になる。したがって、デジタルスライド画像の改善された品質、及び/又は、判読性を提供し、上述の重要な課題を解決する、システム及び方法が必要とされている。
本書には、デジタルスライド画像の診断分解能を改善するためのシステム及び方法が記載されている。一実施の形態で、デジタルスライド画像は診断分解能で受け取られ、例えば、走査され、画像ごとに一つの染色を有する、複数の独立した画像に逆畳み込みされる。逆畳み込みとは、組織上の2以上の着色物の相互作用を逆転する処理を意味するといえる。
単一染色画像は、その後、画像調整によって強調処理される、及び/又は、画像分析アルゴリズムによって処理される。その後、画像分析アルゴリズムから得られた単一画像データ群を保存することができる。さらに、強調処理して得られた単一画像を、強調処理された、診断分解能の第2のデジタルスライド画像に再結合することができる。
デジタルスライド画像の診断を改善するための一実施の形態の方法では、組織試料の第1の画像を診断分解能で走査する。組織試料の画像は、複数の染色、例えば、ヘマトキシリン(haematoxylin)、エオシン、又はDAB(Diaminobenzidine)を含むことができる。組織又は細胞の構造を強調表示するために用いる染色手順は通常、ヘマトキシリン(haematoxyylin)、エオシン、又はDABなどの着色を用いる技術を含む。組織の画像は、複数の単一画像に逆畳み込みされ、複数の単一染色画像の1以上に画像調整が行われる。複数の単一染色画像の1以上は、第2の画像に診断分解能で再結合することができる。ここで、第2の画像は、改善されたデジタル画像である。一実施の形態では、複数の染色画像(stains images)は、独立したまま表示することができる。
いくつかの実施の形態では、画像調整は、単一染色画像の染色のデジタル復色を含む。これにより、より客観的な診断のためのより高い品質のデジタル画像を得ることができ、画像分析アルゴリズム結果の品質を向上することができる。他の実施の形態では、複数の単一染色画像の1以上を、1以上の画像分析アルゴリズム又は画質アルゴリズムで処理することができる。画質アルゴリズムは、個々の染色を首尾良く分離して、個々の染色を独立してデジタル調整し、それらを再結合して組にして、デジタルスライドを提示することができる。IQアルゴリズムの使用により、デジタル強調処理された染色を生成し、使用する試料を削減し、複数の染色、例えば、ヘマトキシリン(hamatoxilin)及びエオシン(「H&E」)をH&DABと、自動コロケーション(co−location)することによって、検査(review)を加速し、準備時間と、スライドガラスの数と保存に要する時間を節約することができる。画質アルゴリズムも、2又は3の染色された試料、例えば、H&EとH&DAB又はH&E&DAB用に構成することができる。画質アルゴリズムも、希釈/濃縮、背景染色の除去、細胞詳細強調(cellular detail emphasis)、クロモゲンの調整(tuning)及びリマッピング(remapping)を含む、染色正規化のためのデジタル染色調整も実行する。
他の実施の形態のシステムでは、サーバは、畳み込みモジュールと、再結合モジュールと、調整モジュールと、受け取りモジュール、例えば、走査モジュールと、を含む。サーバは、データ記憶領域と、第1の画像をシステムに走査する走査モジュールとともに構成することができる。走査モジュールはサーバに含まれていてもよく、あるいは、別体であってもよい。逆畳み込みモジュールは、第1の画像を複数の単一画像に逆畳み込みするために用いられる。逆畳み込みの目的は、スライドが各々一つの染色でのみ染色されるように、信号又は画像を再生成することである。逆畳み込みは、画像取得の後に行われ、アルゴリズムを用いて、例えば、画像の不鮮明な領域から情報を抽出して、これらの領域をクリアにすることである。再結合モジュールは、複数の単一染色画像の1以上を第2画像に診断分解能で再結合するように構成することができる。調整モジュールは、複数の単一染色画像の1以上に画像調整を行うように構成することができる。一実施の形態では、調整を、所与のテストについて予め定義しておき、自動的に適用することができる。他の実施の形態では、調整モジュールは、調整命令をユーザから受け取るように構成することができ、ユーザは、例えば、まさに現在の表示のインスタンス(current instance of viewing)について調整することができる。いくつかの実施の形態では、ユーザは、特定のテストに対するデフォルトの初期設定として調整を行い、その調整を保存することができる。他の実施の形態では、調整は、走査又は表示(view)分解能に応じて変化することができる。これらの調整命令は、複数の単一染色画像の1以上に対する画像調整の基準とすることができる。サーバはさらに、1以上の画像分析アルゴリズム又は画質アルゴリズムを用いて複数の単一染色画像の1以上を処理するプロセッサを含むことができる。画像分析アルゴリズムによって得られたデータは、データ記憶領域に保存することができる。
記載されたシステム及び方法の重要な利点は、病理学者又は臨床医に、特定の種類の診断又は解釈タスクを容易にする改善された画像デジタルスライドを提供することである。例えば、システム及び方法は、弱い染色を濃くする、強い染色を希釈する、背景染色を除去する、染色のデジタル画像特性を標準化する、(例えば、原色に使用する染色よりも高いコントラストを持たせる)染色の復色、(例えば、個々の病理学者の好みに基づく)個別の染色、単一染色画像の空間フィルタリング、単一染色画像の区分け及び定量化(例えば、プロジェステロンレセプタ(Pregesteron_receptor(PR))の核(nuclei)をカウントする)などの、単一染色デジタル調整を提供し、多チャネル検出(multichannel detection)又は、スペクトルイメージング検出器による新しい多重試薬(multiplex reagent)(例えば、同一のスライド及び他の二重又は三重染色のER/PRが、2以上の物理的スライドを染色する必要を削減し、不正確な物理的試料を有する個々のスライドに優る利点を提供する)及び可視化のための新規な方法サポートする。
一実施の形態では、デジタルスライド画像の診断を改善する方法は、診断分解能で組織試料の第1の画像を走査するステップを含み、組織試料は、複数の染色を含むことができる。第1の画像を複数の単一画像に逆畳み込みし、複数の単一染色画像の1以上に画像調整を行う。複数の単一画像の1以上も、診断分解能で第2の画像に結合することができる。いくつかの実施の形態では、得られた改善されたデジタル画像は評価される(rated)ことができる。画像調整は、単一染色画像の染色のデジタル復色であってもよく、復色は、(a)より高いコントラストを与える、(b)個性化を行う、(c)イベント/関心領域(例えば、レアイベント、EP/PRコロケーション)を識別する、(x)染色の正規化又は標準化を行う、ことができる。他の実施の形態では、デジタルスライド画像の診断を改善する方法は、組織試料の第1の画像を診断分解能で走査するステップを含み、組織試料は、複数の染色を含む。第1の画像は、複数の単一画像に逆畳み込みすることができる。さらに、複数の単一染色画像の1以上は、1以上の画像分析アルゴリズムで処理することができる。画像分析アルゴリズムで得られたデータは、記憶媒体に保存することができる。
新しい試薬(染色)の開発:一実施の形態では、試薬は、診断分解能のデジタル走査のために最適化できる。最適化された試薬の一例は、診断分解能でデジタル走査する試料を最適化するための、従来の試薬及び新しい試薬(例えば、多重試薬又は単一試薬)の使用の新しいプロトコルを開発することによって達成できる。一実施の形態では、新しい試薬システム(例えば、染色)は、デジタルパソロジーのために、例えば、診断分解能で走査する時により良い品質のデジタル画像を生成するために最適化することができる。他のIQ要素の中で、処理は、新しい試薬を逆畳み込みするステップと、逆畳み込みと組み合わせた、新しい/最適化された試薬プロトコルを含むことができる。一実施の形態では、処理は、試薬の特性と、染色された組織を透過してカメラのピクセルセンサに至った光とを関連付けるステップを含むことができる(例えば、試薬をRGBチャネルに最適化する)。
本発明の他の特徴及び利点は、当業者には、以下の詳細な説明と添付の図面を検討することによって明らかになる。
構造及び動作の両方について、本発明の詳細な説明は、部分的には、同様の構成には同様の番号を付した、添付の図面を参照することによって得ることができる。
図1は、本発明の一実施の形態に係る、画像判読性評価のための代表的なシステムを説明するネットワーク図である。 図2は、本発明の一実施の形態に係る、デジタルスライド画像の改善された診断分解能を実行するための代表的なサーバを説明するブロック図である。 図3は、本発明の一実施の形態に係る、画像判読性評価のための代表的なサーバを説明するブロック図である。 図4は、本発明の一実施の形態に係る、デジタルスライド画像の改善された診断分解能のための代表的な処理を説明するフロー図である。 図5は、本発明の一実施の形態に係る、デジタルスライド画像の改善された診断分解能のための他の代表的な処理を説明するフロー図である。 図6は、一実施の形態に係る、組織のデジタルスライド画像を表示する際の、強調処理されたプログレッシブレンダリングのためのフロー処理の一例である。 図7は、画質アルゴリズムによって処理された画像の例を説明するブロック図である。 図8は、画質アルゴリズムによって処理された画像の例を説明するブロック図である。 図9は、検査された代表的な領域と、マーカのコロケーションと、再構成を横並び表示で説明する図である。 図10は、検査された代表的な領域と、マーカのコロケーションと、再構成を横並び表示で説明する図である。 図11は、検査された代表的な領域と、マーカのコロケーションと、再構成を横並び表示で説明する図である。 図12は、検査された代表的な領域と、マーカのコロケーションと、再構成を横並び表示で説明する図である。 図13は、IQアルゴリズムの提示モードの一例を説明する図である。 図14は、複数の画質の例を示す図である。 図15は、複数の画質の例を示す図である。 図16は、複数の画質の例を示す図である。 図17は、複数の画質の例を示す図である。 図18は、本書に記載の様々な実施の形態とともに使用することができる、代表的なコンピュータシステムを説明するブロック図である。
本書で開示する特定の実施の形態は、デジタルスライド画像の診断分解能を改善するシステム及び方法を提供する。本書の記載を読む当業者であれば、本発明を様々な代替の実施の形態、及び代替の用途で実施する方法が明らかになる。本書では本発明の様々な実施の形態について説明するが、これらの実施の形態は例示に過ぎず、限定するものではないことに留意されたい。また、様々な代替の実施の形態の詳細な説明は、添付の特許請求の範囲に記載の本発明の範囲又は広さを限定するものと解釈すべきではない。
図1は、本発明の実施の形態に係る画像判読性評価のための代表的なシステム10を示すネットワーク図である。図示の実施の形態では、システム10は、ネットワーク30を介して評価装置40と評価装置50とに通信可能に接続された画像サーバ20を含む。画像サーバ20は、データ記憶領域(storage area)25を有して構成されている。
画像サーバ20は、従来のコンピュータ装置を用いて実施可能であり、複数のデジタルスライド画像、例えば、顕微鏡スライドの物理的組織試料のデジタル画像をデータ記憶領域25に保持するように構成されている。これらのデジタルスライドは、様々な画像フォーマット又はデータフォーマットの任意の形式でよい。サーバは、また、データ記憶領域25に、画像判読性を評価するための機能を容易にする、又は実現するために使用可能な様々なプログラムモジュールを保持してもよい。例えば、デジタルスライド画像データの部分を取得するためのモジュール、デジタルスライド画像データの当該部分に画像分析アルゴリズムを実行するためのモジュール、又は、その他のモジュールを画像サーバ20によってデータ記憶領域25に保持することができる。
データ記憶領域25は、任意の種類の内部又は外部メモリ装置でよく、永続性メモリ及び揮発性メモリの両方を含んでもよい。データ記憶領域25の機能は、データ(例えば、画像データ及び動作モジュール)を保持して長期記憶する、さらに、サーバ20が実行するアプリケーションのための命令に効率的で高速のアクセスを提供することである。
サーバ20と評価器40、50とは全て、ネットワーク30を介して通信可能に接続されている。ネットワーク30は、広い地理的領域にわたるデータ通信(例えば、サーバ20と評価器40との間)のために構成されており、インターネットと一般的に呼ばれているネットワークの集合体を含む、1以上の公衆ネットワーク又は専用ネットワーク(図示されていない)と通信可能に接続することができる。
評価器40、50は、また、ネットワーク30と接続する機能を有する、従来のコンピュータ装置又はその他の通信機器を用いて実施することができる。例えば、評価器40、50は、無線通信機器、PDA(personal digital assistant)、パーソナルコンピュータ(PC)、ラップトップコンピュータ、PCカード、専用の装置、又は、これらの任意の組み合わせ、又は、サーバ20とネットワーク30を介して通信リンクを確立することが可能なその他の機器など、様々な通信機器の中の任意のものを含むことができる。評価器40、50は、データ記憶領域(図示していない)を有して構成することができ、それらの主要機能は、デジタルスライド情報を分析担当者(例えば、病理学者又は技術者)に提示して、分析担当者からの入力をサーバ20に渡すことである。
図2は、デジタルスライド画像のための診断分解能を実現する代表的なサーバ20を説明するブロック図である。図示の実施の形態では、サーバ20は、逆畳み込みモジュール11、再結合モジュール21、調整モジュール31、走査(scanner)モジュール41を含む。サーバ20は、上述のように、データ記憶領域25を有して構成することができる。一実施の形態では、サーバは、また、画像分析モジュールを含むことができる。
走査モジュール41は、第1の画像をシステムに取り込むように構成されている。走査モジュール41は、サーバ20に含まれるが、別の構成要素であってもよい。逆畳み込みモジュール11を用いて、第1の画像を複数の単一画像に逆畳み込みすることができる。逆畳み込みの目的は、畳み込みが行われる前に存在した信号又は画像を再生成することである。逆畳み込みは画像を取得した後に行われ、アルゴリズムを用いて、個々の染色画像を抽出する。再結合モジュール21は、複数の単一染色画像の1以上を、診断分解能で第2画像に再結合するように構成することができる。調整モジュール31は、複数の単一染色画像の一以上の画像調整を行うように構成することができる。一実施の形態では、調整モジュール31は、図1に示す評価器40を含む。評価器40は、ユーザから調整命令を受けるように構成することができる。これら調整命令は、複数の単一染色画像の1以上に対する画像調整の基準とすることができる。調整モジュールは、複数の単一染色画像の1以上に画像調整を行うように構成することができる。一実施の形態では、調整を、所与のテストについて予め定義しておき、自動的に適用できるようにすることができる。他の実施の形態では、調整モジュールは、調整命令をユーザから受け取るように構成することができ、ユーザは、例えば、まさに現在の表示のインスタンス(current instance of viewing)について調整することができる。いくつかの実施の形態では、ユーザは、特定のテストについて調整を行い、その調整をデフォルトの初期設定として保存することができる。他の実施の形態では、調整は、走査又は表示(view)分解能に応じて変化することができる。これらの調整命令は、複数の単一染色画像の1以上に対する画像調整の基準とすることができる。一実施の形態では、サーバはさらに、1以上の画像分析アルゴリズムを用いて複数の単一染色画像の1以上を処理するプロセッサ41を含む。画像分析アルゴリズムによって得られたデータは、データ記憶領域25に保存することができる。
図3は、本発明の実施の形態に係る、画像判読性評価のための代表的なサーバ20を説明するブロック図である。図示の実施の形態では、サーバ20は、タスクモジュール100、画像モジュール110、タスク実行モジュール120、画像採点モジュール130を含む。サーバ20は、上述のように、データ記憶領域25をもって構成されている。タスクモジュールで生成されたタスク群は、調整モジュール31で使用される、又は、実施されて、複数の単一染色画像の1以上に画像調整を行うようにしてもよい。
タスクモジュール100は、1以上のタスク群を生成する、又は保持するために用いられる。タスク群は、組織種別ごととしてもよく、例えば、第1のタスク群を、組織試料の分析のために必須として、第2のタスク群を、血液試料の分析のために必須としてもよい。特定のケースでは、様々なタスク群の中で個々のタスクが重複するようにしてもよい。タスク群は、標準化団体、又は、相応の団体によって、確立してもよく、個々のタスクは、例えば、特定の組織種別及び、デジタルスライド画像に現れる染色に精通した、有資格の病理学者による従来の顕微鏡検査を用いて実行され得る基準と診断タスクを含んでもよい。タスクモジュールで生成されたタスク群は、複数の単一染色画像の1以上に画像調整を行うために、調整モジュール31で使用又は実施することができる。
デジタルスライドは、サムネイル画像(最低分解能画像)から最大分解能ベースライン画像(最大分解能品質)までの間の、多くの中間画像分解能レベルに即座にアクセスを提供できるので、例えば、高倍率(high power)の(例えば、40x/0.75対物レンズを有する)顕微鏡を用いて、高い画像分解能で実行できるタスクを選択することによって、より有意義な評価尺度(rating scale)が生成される。有利には、しかしながら、IQアルゴリズムを利用することによって画質評価が改善される。基準とタスクの選択は、組織ごとに固有であり、低画像分解能で実行できるタスクを含むことは、一部の組織種別(例えば、皮膚病理学)には適当である場合がある。比較すると、血液病理学標本を目的とした画像判読性の評価尺度は、例えば、100x/1.4対物レンズを用いた、油浸分解能に対応する基準とタスクを反映すべきである。一般的に、焦点と照明、及びその他の画像取り込み属性が比較的同等の場合、より高い分解能の画像は、より高い画質を有する。
前立腺癌標本について、可能性のあるタスクと基準を以下の表に列挙する。
1.重なり合うコアの領域を識別する
2.血管の赤血球を識別する
3.アミロイド小体を識別する
4.グリーソン(Gleason)等級3とグリーソン等級5との間のパターンを区別する
5.神経組織と間質とを区別する
6.個々の筋束を識別する
7.正常前立腺の「ピンク色の」分泌物を検出する
8.悪性前立腺の「両染性細胞質」の存在を検出する
9.前立腺の基底層を識別する
10.核小体の存在を検出する
11.腺の内部の核の数をカウントする
12.管腔細胞の境界を検出する
13.青色を帯びた粘液の存在を検出する
14.有糸分裂像の存在を検出する
15.血管の内部の内皮核の数をカウントする
16.リポフスチン/顔料の存在を検出する
17.核の直径を2μmの範囲内に近似する
18.明確な核膜の境界を検出する
19.個々の神経繊維を識別する
20.個々の赤血球の凹面を検出する
21.好中球の個々の葉を識別する
22.筋繊維の個々の横紋を識別する
23.間質繊維芽細胞の核とリンパ球とを区別する
24.「正常」な有糸分裂像と「異常」な有糸分裂像とを区別する
25.複数の仁を有する細胞の内部の個々の核小体を識別する
一実施の形態では、特定の組織種別の基準とタスクは、病理学者の間の合意によって確立され、いくつかの基準は、異なる組織種別の間で共通とする。これらの基準は、タスクモジュール100に提供され、データ記憶領域25に保存される。病理学者は、特定のタスク又は基準を含めること、又は排除することに反対してもよく、米国臨床病理委員会(「CAP」)などの機関は、有利に、複数の異なる組織種別について、一般的に受け入れられたタスクを公表して、標準化してもよい。
画像モジュール110は、デジタルスライドから画像データを取得するように構成されている。デジタルスライドは、ローカルに、又はリモートに保存されてもよいし、又は、独立したデータベースを介してアクセスされてもよいし、又は、画像モジュール110の動作の下、データベースに統合されてもよい。何もない状態から開始する場合、画像モジュールはスライドガラスの走査を促し、特定の組織種別について基準とタスクを実行するために必要な分解能でデジタルスライド画像を生成するようにしてもよい。あるいは、画像モジュール110は、ネットワークサーバ、リモートの記憶領域、又はローカルのデータ記憶領域25を介して、必要な分解能で画像データを取得してもよい。前立腺癌の生検を用いる一実施の形態では、必要な走査分解能を、画素あたりの走査分解能0.25μmに相当する、40x/0.75の対物レンズを用いて達成することができる。
タスク実行モジュール120は、特定の組織種別に対するタスク群に要求される様々なタスクの実行を管理するように構成されている。一実施の形態では、タスク実行モジュールは、デジタルスライド画像から画像データの部分を、評価装置の表示画面に提供し、分析担当者(例えば、技術者又は病理学者)が、この画像データの部分を分析して、特定の組織種別に対応するタスク群のタスクの各々を実行できるようにする。タスク実行モジュール120は、また、タスク実行の際に、分析担当者の成功又は失敗も記録する。これは、分析担当者が、タスクの実行が成功したか成功しなかったかを登録することができるバイナリ入力のダイアログボックスを、分析担当者に提示することによって行ってもよい。
代替として、又は、組み合わせて、タスク実行モジュールは、デジタルスライドからの画像データを分析して、特定のタスクを実行することができる、1以上のコンピュータにより実行される画像処理アルゴリズムを採用してもよい。例えば、標本の中の細胞の数をカウントすることができる画像処理アルゴリズムを用いて、画像データに、個々の細胞を区別して識別するために十分なコントラストと分解能があるか否かを判断してもよい。このようにして、組織試料の中の細胞の数を首尾良くカウントすることが可能であるのならば、タスク実行モジュール120は、個々の細胞を区別して識別することができるタスクに成功として記録してもよい。有利なことには、より高機能でよりローバストな画像処理アルゴリズムが開発されるにつれ、分析担当者が実行する必要のあるタスクは減少するため、人的要素は除去され、デジタルスライド画像を採点するための時間は減少し、予測可能で再現性のある採点の信頼性が改善する。
一実施の形態では、タスク実行モジュール120は、デジタルスライドから画像データの代表的な部分についてタスクリストの基準と診断タスクの各々を分析担当者が実行する能力を測定する。これは、タスク実行モジュール120によって、デジタルスライドから(デジタルスライドの全領域を代表するように)画像データのランダムな部分を選択する、あるいは、顕微鏡を用いて(例えば、手動で)、又は、画像処理アルゴリズムによって(例えば、コンピュータによる支援/自動で)識別することができる、スライドの重要な領域から画像データの部分を選択することによって実行される。
特に、画像判読性の尺度の一つの目的は、診断タスクと基準を、デジタルスライド画像の判読性に基づいて、ランク付けすることである。従って、(ランダムに又は別の方法で)選択される表示分野(fields of view)は、複数の異なる画像品質に対応することが好ましく、そうでなければ、尺度は十分なダイナミックレンジを有さなくなり、基準とタスクを達成するための相対的な難度を差別可できなくなる。一実施の形態では、デジタルスライド画像の同一部分について複数の異なる画像品質を、例えば、画像データを二次抽出する、画像データを圧縮(さらに、画像圧縮時に品質ファクタ(quality factor)を変更)する、スライドガラスを複数の異なる分解能で走査する、及び、複数の異なる画像品質をシミュレーションするその他の任意の手段によって取得することができる。
画像採点モジュール130は、タスク実行の成功又は失敗に基づいて、画像判読性を採点するように構成されている。採点は、分析担当者(又は、画像処理アルゴリズム)によって検査されたデジタルスライド画像の各部分について算出される。デジタルスライドの様々な領域について独立して採点を算出してもよく、さらに、全デジタルスライドについて独立して採点を算出してもよい。一実施の形態では、全デジタルスライドの採点は、画像データの個々の部分のそれぞれの採点から、又は、(複数の部分を含む)画像データの個々の領域のそれぞれの採点から、又は、画像データの個々の部分及び領域の組み合わせから、算出される。
有利には、単一のデジタルスライドが自身に関連する、走査分解能における部分、領域、及び全スライドに関する採点とともに、全スライド(及びその部分及び領域)の最小分解能のサムネイル画像に至るまでの全ての削減した中間分解能における部分、領域、及び全スライドに関する採点を含む、複数の採点を有してもよい。
図4は、本発明の一実施の形態に係る、デジタルスライド画像の改善された診断分解能のための代表的な処理を説明するフロー図である。本実施の形態では、組織試料の第1の画像を診断分解能で走査する(230)。組織試料の画像は、複数の染色、例えば、ヘマトキシリン(hemattoxilin)、エオシン、又はDABを含むことができる。組織の画像は、複数の単一画像に逆畳み込みされる(240)。続いて、複数の単一染色画像の1以上に画像調整を行う。複数の単一染色画像の1以上を、診断分解能で第2の画像に結合することができる(250)。ここで、第2の画像は、改善されたデジタル画像とする。改善されたデジタル画像は、解剖病理学の画像判読性の評価尺度で評価することができる。いくつかの実施の形態では、画像調整(250)を実行する。画像調整は、単一染色画像の染色のデジタル復色(recolorization)を含んでもよい。復色は、より高いコントラスト、個性化、関心領域/イベント(例えば、レアイベント(rare event)、ER/PRコロケーション)を実現する。
図5は、本発明の一実施の形態に係る、デジタルスライド画像の改善された診断分解能のための他の代表的な処理を示すフロー図である。本実施の形態では、組織試料の第1の画像は、診断分解能で走査される(231)。組織試料、又は画像は、複数の染色、例えば、ヘマトキシリン(hemattoxilin)、エオシン、又はDABを含むことができる。組織の画像は、複数の単一画像に逆畳み込みされる(241)。続いて、複数の単一染色画像の1以上を、1以上の画像分析アルゴリズム又は画質アルゴリズムで処理する(251)。画質アルゴリズムは、個々の染色を首尾よく分離して、染色の各々を個別にデジタル調整し、それらを再結合して組にして、デジタルスライドを提示又は保存することができる(261)。
一実施の形態では、複数の異なるテスト(例えば、H&E、ER、PR)のために染色された組織ブロックの連続切片を含むN個のスライドを分解する、又は染色を分離、調整、復色(recolor)することができ、染色チャネルを複数の異なるスライドから結合することができる。このため、H&E&DABをH&E及びH&DABに分離する代わりに、H&E及びH&DABをH&E&DABから結合することができる。IQアルゴリズムは、ユーザ、例えば、病理学者が、一つの表示(view)を他の表示の上に重ね合わせることができる表示モード(viewing mode)を有して構成することができる。例えば、H&Eを検査で観察している際、病理学者は、DAB表示をオン(turn on)にして、H&E表示の上に重ね合わせることができる。他の例では、H&DABのERとH&DABとのPRとの結合を行うことを含む。ここでは、両方のDABが茶色で、PRのDABを緑に改変して、PRの緑のDABを重ね合わせたH&DABのERを生成する。一実施の形態では、重ね合わせ処理は、N個のスライドの間で画像のレジストレーションを必須とすることができる。IQアルゴリズムの使用は、デジタル処理で強調処理された染色、使用する試料の削減、複数の染色、例えば、H&DABとH&Eとの自動コロケーションを可能とするので、検査を加速し、準備時間を節約し、スライドガラスの数とストレージを削減する。画質アルゴリズムはまた、任意の2又は3の染色された試料、例えば、H&Eと、H&DAB又はH&E&DABのために構成することができる。画質アルゴリズムはまた、希釈/濃縮、背景染色の除去、細胞詳細強調(cellular detail emphasis)、クロモゲンの調整(tuning)及びリマッピング(remapping)を含む、染色正規化のためのデジタル染色調整も実行する。画像分析アルゴリズムから得られたデータは、例えば、メモリ25に保存することができる。IQアルゴリズムは、画像の表示(viewing)、又は、ディスプレイ表示(display)の更新と同時に動作するように構成することができる。このため、IQアルゴリズムから得られた画像は、ユーザの関与なく、(例えば、表示又はディスプレイモードで)表示又はディスプレイ表示することができる。さらに、ディスプレイ更新機能は、画像又は染色を、IQアルゴリズムの動作と同時に更新することができる。これらのIQアルゴリズムの動作は、染色ごとに固有、又はテストごとに固有である。IQアルゴリズムは、染色又は画像を表示するための、横並び表示を含む、デジタル表示モードを提供するように構成されている。
図6は、本実施の形態に係る、組織のデジタルスライド画像を表示する際の、強調処理されたプログレッシブレンダリングのフロー処理の例である。この処理は、ビューイングステーション又は画像サーバ、又はこれらの組み合わせ、及びその他の装置によって実施することができる。実施の形態のビューイングステーション、及び/又は、画像サーバは、例えば、図18を参照して後述する汎用コンピュータによって実現することができ、処理ステップを実行するモジュールは、ソフトウェア又はハードウェアで実施してもよい。
最初に、ステップ100で、ナビゲーション命令を受け取る。ナビゲーション命令は、表示することを希望する組織のデジタルスライド画像の部分を識別するものであってよい。次に、ステップ125で、表示する画像の部分の低分解能画像を取得する。画像データは、ローカルメモリ、又は、直接又は間接通信リンクを介してアクセス可能な画像サーバから取得してもよい。例えば、間接通信リンクは、ビューイングステーションと画像サーバとのネットワーク接続を含んでもよい。ステップ150で、取得した画像をディスプレイに表示する。
ステップ175で、インジケータに基づいて、組織試料のデジタルスライド画像の部分の分解能が許容可能であるか否かの判定を行う。一実施の形態では、インジケータは時間の経過によって示される。選択される許容可能な分解能を有する表示画像には、所定の時間の閾値を割り当てることができる。このように、画像が表示される時間を追跡して、画像が表示される時間の量が所定の閾値を超えた場合は、分解能が不十分である、又は、許容不可であることを示す。このような判定が行われ、このようなより高い分解能画像が存在するとステップ200で判定されると、ステップ225において同一の関心領域のより高い分解能画像が取得される。あるいは、所定の閾値の時間の量を超える前に次のナビゲーション命令を受けた場合、処理はステップ100に戻り、次のナビゲーション命令が受け取られ、異なる関心領域を表示する。
より高い分解能画像が存在し、ステップ150で続いて表示される場合、その特定の関心領域に合焦することが望まれている限り、処理は、より高い分解能画像のプログレッシブレンダリングをループする。例えば、病理学者は、新しいナビゲーション命令を発行せずに、特定の関心領域を合焦してもよい。一旦最大分解能画像が表示され、例えば、病理学者が継続して同一の関心領域を表示させる場合、ステップ250において関心領域の強調処理された画像が取得され、ステップ275において表示される。強調処理された画像は、上述の図4及び図5に図示したように取得することができる。強調処理された画像を取得することは、画像の現在の部分を動的に処理して、画像を強調処理することを含んでもよい。あるいは、強調処理された画像を取得することは、また、データ記憶部から予め強調処理された画像を取得することを含んでもよい。
有利なことに、ステップ300に示すように、インジケータを用いて、病理学者に、強調処理された画像を表示していることを知らせてもよい。かかるインジケータは、強調処理された画像が表示されている時に強調表示、又は明るくなり、ネイティブ画像が表示されている時には暗くなる、アイコンなどの目に視覚的なものでもよい。代替として、又は、組み合わせて、現在の表示が強調処理された画像であることを示す音などの、聴覚的なインジケータを用いてもよい。
画像データを動的に処理することの一つの利点は、全デジタルスライドを強調処理によって予め処理する必要はなく、その代わり、検査対象の画像の部分のみを強調処理することができることである。病理学者は、デジタルスライドを監視領域にナビゲートする際、画質改善アルゴリズムを常時実行する必要はない。その代わり、病理学者が表示を熟考する、又は、集中している時に強調処理された表示が提示されるように、要求に応じた動的アプローチを実施することができる。それに加えて、例えば、動的な実施の形態において、一度強調処理された表示が生成されると、強調処理された表示をデジタル画像とともに保存しておき、後で同一の関心領域に戻る際、その強調処理された表示を提示するために冗長な画像処理を必要としないようにすることができる。ここで、図6を参照して説明した改善されたプログレッシブレンダリングは、病理学者のために画像品質の改善を行う一実施の形態にすぎないことに留意されたい。プログレッシブレンダリングでは、最大分解能画像がディスプレイに表示される、又は、ユーザがナビゲートをして表示から離れ、レンダリング処理を再開するまで、低分解能から中分解能、高分解能の一連の画像を観察者に提示する。改善されたプログレッシブレンダリングは、強調処理された画像を低分解能から中分解能、高分解能の一連の画像の任意の点に追加することができ、例えば、最後の提示を関心領域の強調処理された高分解能画像としてもよい。
図7及び図8は、画質アルゴリズムによって処理された画像の例を示すブロック図である。図7は、一つはH染色用、一つはE染色用と、別々の画像に分解される原画像を示す。次にH&E画像が再結合されて、改善された画像が提供される。同様に、図8に、3つの別々の画像に分解され、次に、様々な組み合わせを有した改善された画像に再結合される原画像を示す。単一の分解される/調整される画像の組み合わせについては図示していないが、全ての組み合わせを生成することができる。
図9〜12は、検査された代表的な領域と、再構成されたマーカと横並び表示のコロケーションを示す図である。図10〜12は、原デジタル画像の表示と、オフにされた(turned off)茶色染色を有する強調処理されたデジタル画像の表示と、オンにされた(turned on)ピンク染色を有する強調処理されたデジタル画像の表示と、の3つの表示を同一領域に有するユーザインタフェースを示す。一実施の形態では、染色をオフにすることは、画像から1以上の色をデジタル処理によって除去することにより実現できる。
図13は、IQアルゴリズム画像を提示するための代表的なフローを説明する図である。最初に、調整された画像が提示され、次に、個別の染色を有する逆畳み込みされた画像が提示され、次に、再結合された画像(任意の組み合わせ)が提示される。
図14〜17は、原画像と、異なる染色(単一又は複数の染色)を様々な組み合わせで有する、再結合された画像の複数の画質提示の例を示す図である。
図18は、本書に記載の様々な実施の形態とともに使用することができる、代表的なコンピュータシステム550を示すブロック図である。例えば、コンピュータシステム550は、既に図1を参照して説明したサーバ又は評価装置とともに使用してもよい。しかしながら、他のコンピュータシステム、及び/又は、アーキテクチャを用いてもよいことは当業者には明かである。
コンピュータシステム550は、好ましくは、プロセッサ552などの1以上のプロセッサを含む。入力/出力を管理するための補助プロセッサ、浮動小数点数学演算を実行するための補助プロセッサ、信号処理アルゴリズムの高速実行に好適なアーキテクチャを有する専用マイクロプロセッサ(例えば、デジタル信号プロセッサ)、メイン処理システムに対して下位のスレーブプロセッサ(例えば、バックエンドプロセッサ)、デュアル又はマルチプロセッサシステム用の追加のマイクロプロセッサ又はコントローラ、又は、コプロセッサなど、追加のプロセッサを設けてもよい。かかる補助プロセッサは、別体のプロセッサでもよく、又は、プロセッサ552と一体でもよい。
プロセッサ552は、好ましくは、通信バス554と接続されている。通信バス554は、コンピュータシステム550のストレージと他の周辺部品との間の情報伝送を容易にするためのデータチャネルを含んでもよい。通信バス554は、データバス、アドレスバス、コントロールバス(図示していない)含み、プロセッサ552との通信のために使用する信号群を提供することができる。通信バス554は、例えば、業界標準アーキテクチャ(「ISA」)、拡張業界標準アーキテクチャ(「EISA」)、マイクロチャネルアーキテクチャ(「MCA」)、PCI(Peripheral Component Interconnect)ローカルバス、又は、IEEE488汎用インタフェースバス(「GPIB」)、IEEE696/S−100、などを含む、IEEE(Institute of Electrical and Electronics Engineers)によって公表された標準、に準拠したバスアーキテクチャなどの、任意の標準又は非標準バスアーキテクチャを含んでもよい。
コンピュータシステム550は、好ましくはメインメモリ556を含み、また、二次メモリ558を含んでもよい。メインメモリ556は、プロセッサ552で実行するプログラムのためのデータ及び命令のストレージを提供する。メインメモリ556は、通常、DRAM(dynamic random access memory)、及び/又は、SRAM(static random access memory)などの半導体ベースのメモリである。他の半導体ベースのメモリの種類は、例えば、SDRAM(synchronous dynamic random access memory)、RDRAM(Rambus dynamic random access memory)、FRAM(ferroelectric random access memory)、及びROM(read only memory)を含む。
二次メモリ558は、オプションとして、ハードディスクドライブ560、及び/又は、脱着可能なストレージドライブ562、例えば、フロッピー(登録商標)ディスクドライブ、磁気テープドライブ、CD(compact disc)ドライブ、DVD(digital versatile disc)ドライブ、などを含んでもよい。脱着可能なストレージドライブ562は公知の方式で、読み出し、又は、書き込みを脱着可能な記憶媒体564に対して行う。脱着可能な記憶媒体564は、例えば、フロッピー(登録商標)ディスク、磁気テープ、CD、DVDなどでもよい。
脱着可能な記憶媒体564は、好ましくは、コンピュータが実行可能なコード(すなわち、ソフトウェア)、及び/又は、データを有する、コンピュータが読み出し可能な媒体である。脱着可能な記憶媒体564に記憶されたコンピュータソフトウェア、及び/又はデータは、電気通信信号578としてコンピュータシステム550に読み込まれる。
代替の実施の形態では、二次メモリ558は、コンピュータプログラム又はデータ、又はその他のデータ又は命令をコンピュータシステム550にロードすることができる、他の類似の手段を含んでもよい。かかる手段は、例えば、外部記憶媒体572及びインタフェース570を含んでもよい。外部記憶媒体572の例示は、外部のハードディスクドライブ又は外部の光学ドライブ、又は外部の光磁気ドライブを含んでもよい。
二次メモリ558の他の例は、PROM(programmable read−only memory)、EPROM(erasable programmable read−only memory)、EEPROM(electrically erasable read−only memory)、フラッシュメモリ(EEPROMと類似のブロック指向のメモリ)などの半導体ベースのメモリを含んでもよい。また、任意のその他の脱着可能なストレージ部572及び、脱着可能なストレージ部572からコンピュータシステム550にソフトウェア及びデータを伝送することができる、インタフェース570が含まれる。
コンピュータシステム550は、また、通信インタフェース574を含んでもよい。通信インタフェース574は、ソフトウェア及びデータをコンピュータシステム550と外部装置(例えば、プリンタ)、ネットワーク、又は情報源との間で伝送することができる。例えば、コンピュータソフトウェア又は実行可能なコードを、コンピュータシステム550へネットワークサーバから通信インタフェース574を介して伝送してもよい。通信インタフェース574の例示は、いくつかだけを挙げると、モデム、ネットワークインタフェースカード(「NIC」)、通信ポート、PCMIAスロット及びカード、赤外線インタフェース、IEEE1394ファイヤワイヤなどが含まれる。
通信インタフェース574は、好ましくは、イーサネット(登録商標)IEEE802標準、ファイバチャネル、DSL(digital subscriber line)、ADSL(asynchronous digital subscriber line)、フレームリレー、ATM(asynchronous transfer mode)、ISDN(integrated digital services network)、PCS(personal communications services)、TCP/IP(transmission control protocol/Internet protocol)、SLIP/PPP(serial line Internet protocol/point to point protocol)などの業界が推奨するプロトコル標準などを実施してもよく、又は、カスタマイズされたプロトコル又は非標準インタフェースプロトコルを実施してもよい。
通信インタフェース574を介して伝送されたソフトウェア及びデータは、一般的に、電気通信信号578の形式である。これらの信号578は、好ましくは、通信チャネル576を介して通信インタフェース574に提供される。通信チャネル576は、信号578を伝送し、いくつかだけを挙げると、電線又はケーブル、光ファイバ、従来の電話回線、セルラー電話リンク、無線データ通信リンク、無線周波数(RF)リンク、又は赤外線リンクを含む、様々な有線又は無線通信手段を用いて実現することができる。
コンピュータが実行可能なコード(すなわち、コンピュータプログラム又はソフトウェア)は、メインメモリ556、及び/又は、二次メモリ558に記憶されている。コンピュータプログラムは、通信インタフェース574を介して受信し、メインメモリ556、及び/又は、二次メモリ558に記憶することができる。実行時、かかるコンピュータプログラムは、コンピュータシステム550が上述の本発明の様々な機能を実現することを可能とする。
本書において、用語「コンピュータ読み出し可能な媒体」とは、コンピュータが実行可能なコード(例えば、ソフトウェア及びコンピュータプログラム)をコンピュータシステム550に提供するための用いられる任意の媒体を示すために用いられる。これらの媒体の例示は、メインメモリ556、二次メモリ558(ハードディスクドライブ560、脱着可能な記憶媒体564、及び外部記憶媒体572を含む)、及び任意の周辺デバイスを含む。任意の周辺デバイス(ネットワーク情報サーバ又は他のネットワークデバイスを含む)は、通信インタフェース574と通信によって連結される。これらのコンピュータ読み出し可能な媒体は、コンピュータシステム550に実行可能なコード、プログラム命令、及びソフトウェアを提供するための手段である。
ソフトウェアを用いて実現される一実施の形態において、ソフトウェアは、コンピュータ読み出し可能な媒体上に格納されてもよく、脱着可能なストレージドライブ562、インタフェース570、又は通信インタフェース574を介してコンピュータシステム550の中にロードしてもよい。かかる一実施の形態において、ソフトウェアは、電気通信信号578の形式でコンピュータシステム550の中にロードされる。ソフトウェアは、プロセッサ552によって実行されるときに、好ましくはプロセッサ552に、本書中に上記された発明の特徴及び機能を実行させる。
様々な実施の形態はまた、主としてハードウェア、例えば、特定用途向け集積回路(「ASIC」)、又はフィールドプログラマブルゲートアレイ(「FPGA」)などの構成要素を用いて実装してもよい。本書中に記述される機能を実行することが可能な、ハードウェアステートマシンの実装もまた、当業者に明らかとなる。様々な実施の形態はまた、ハードウェア及びソフトウェアの両方の組み合わせを用いて、実装され得る。
さらに、当業者は、本書中に開示される上記の図面及び実施形態に関連して記述される、様々な例示の論理ブロック、モジュール、回路、及び方法のステップが、電子的ハードウェア、コンピュータソフトウェア、又は両方の組み合わせとしてしばしば実装され得ることを理解する。ハードウェア及びソフトウェアのこの交換可能性を明白に例示するために、様々な例示の構成要素、ブロック、モジュール、回路、及びステップは、概してそれらの機能性に関して上記に説明した。かかる機能性がハードウェア又はソフトウェアのいずれにおいて実装されるかは、システム全体に課される特定用途及び設計制約条件に依存する。当業者は、各特定用途に対して様々な方法で記述された機能性を実装し得るけれども、そのような実装の決定は、本発明の範囲からの逸脱をもたらすものとして解釈されるべきでない。さらに、モジュール、ブロック、回路、又はステップ内の機能のグループ化は、説明を容易にするためである。特定の機能又はステップは、本発明から逸脱することなく、別のモジュール、ブロック、又は回路に移され得る。
さらに、本書中に開示される実施形態に関連して記述される、様々な例示の論理ブロック、モジュール、及び方法は、汎用プロセッサ、デジタルシグナルプロセッサ(「DSP」)、ASIC、FPGA、又は他のプログラマブル論理デバイス、ディスクリートのゲートロジック又はトランジスタロジック、ディスクリートのハードウェア構成要素、又は本書中に記述される機能を実行するために設計される、それらの任意の組み合わせによって実装されるか、又は実行され得る。汎用プロセッサは、マイクロプロセッサでもよいが、代替として、プロセッサは、任意のプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンであってもよい。プロセッサはまた、コンピューティングデバイスの組み合わせ、例えば、DSP及びマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、DSPコアと連携した1つ以上のマイクロプロセッサ、又は任意のその他のかかる構成として実装してもよい。
さらに、本書中に開示される実施形態に関連して記述される、方法又はアルゴリズムのステップは、ハードウェアによって、プロセッサによって実行されるソフトウェアモジュールによって、又はその2つの組み合わせによって直接的に具現化され得る。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、脱着可能なディスク、CD−ROM、又はネットワーク記憶媒体を含む、記憶媒体の任意の他の形式で常駐してもよい。例示的な記憶媒体は、プロセッサと接続することができる。かかるプロセッサは、記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができる。代替的には、記憶媒体は、プロセッサに統合され得る。プロセッサ及び記憶媒体はまた、ASICに備えられてもよい。
開示された実施形態の上記の説明は、当業者に対して本発明を構成するか又は使用することを可能にするために提供される。これらの実施形態に対する様々な改変は、当業者には容易に明らかとなり、本書中に記述される一般的な原理は、本発明の精神及び範囲から逸脱することなく他の実施形態に適用され得る。従って、本書中に提示される説明及び図面が、本発明の現在の好適な実施形態を表し、それゆえに、本発明によって幅広く企図される主題を表現することは理解されるべきである。本発明の範囲が、当業者に対して明らかになり得る他の実施形態を完全に含み、本発明の範囲が、添付の特許請求の範囲以外の何ものによっても限定されないことはさらに理解される。

Claims (28)

  1. 病理学情報を管理及び解釈するデジタル環境においてデジタルスライド画像の画質を改善するための、コンピュータに実施される方法であって、
    組織試料のデジタルスライド画像を診断分解能で受け取るステップと、
    前記デジタルスライド画像を複数の単一画像に逆畳み込みするステップと、
    前記複数の単一画像の品質を最適化するために前記複数の単一画像を画像分析アルゴリズムによって処理するステップと、を含み、
    前記複数の単一画像は、単一画像ごとに一つの染色種(stain type)を有することを特徴とする、方法。
  2. 複数の最適化された単一画像をストレージデバイスに保存するステップをさらに含むことを特徴とする、請求項1記載の方法。
  3. 前記複数の単一画像の品質を最適化するために前記複数の単一画像の1以上を調整するステップをさらに含むことを特徴とする、請求項1記載の方法。
  4. 前記調整するステップは、前記複数の単一画像の1以上に対する、染色のデジタル復色(recolorization)を行うことを含むことを特徴とする、請求項3記載の方法。
  5. 複数の最適化された単一画像を診断分解能で第2のデジタルスライド画像に再結合するステップをさらに含むことを特徴とする、請求項1記載の方法。
  6. 前記組織試料は、複数の染色を含むことを特徴とする、請求項1記載の方法。
  7. 前記複数の単一画像は、組織上に2以上の着色物(colored stain)を含むことを特徴とする、請求項1記載の方法。
  8. 前記逆畳み込みするステップは、組織上の2以上の着色物の相互作用(interaction)を逆転させるステップを含むことを特徴とする、請求項4記載の方法。
  9. 前記受け取るステップは、診断分解能で前記デジタルスライド画像を走査するステップを含むことを特徴とする、請求項1記載の方法。
  10. 前記複数の単一画像の1以上は、診断分解能で走査される前に最適化されることを特徴とする、請求項9記載の方法。
  11. 走査される前に最適化された複数の単一画像の1以上の単一画像の画像特性は、前記1以上の単一画像を透過して、画像を記録するデバイスのピクセルセンサに入る光の特性と関連付けられることを特徴とする、請求項10記載の方法。
  12. 前記画像分析アルゴリズムは、染色の正規化のためのデジタル染色調整を実行するように構成されていることを特徴とする、請求項1記載の方法。
  13. 前記デジタル染色調整の処理は、希釈/濃色、背景染色の除去、細胞詳細強調(cellular detail emphasis)、クロモゲンの調整(tuning)及びリマッピング(remapping)からなる処理の群から選択されることを特徴とする、請求項12記載の方法。
  14. 病理学情報を管理及び解釈するデジタル環境においてデジタルスライド画像の画質を改善するための、コンピュータに実施される方法であって、
    組織試料のデジタルスライド画像を診断分解能で受け取るステップと、
    前記デジタルスライド画像を複数の単一画像に逆畳み込みするステップと、
    前記複数の単一画像の品質を最適化するために画像分析アルゴリズムによって前記複数の単一画像の1以上を調整するステップと、
    複数の最適化された単一画像の一以上を第2のデジタルスライド画像に診断分解能で再結合するステップと、を含み、
    前記複数の単一画像は、単一画像ごとに一つの染色種を有することを特徴とする、方法。
  15. 前記受け取るステップは、前記デジタルスライド画像を診断分解能で走査するステップを含むことを特徴とする、請求項14記載の方法。
  16. 病理学情報を管理及び解釈するデジタル環境においてデジタルスライド画像の画質を改善するためのシステムであって、
    組織試料のデジタルスライド画像を診断分解能で受け取るように構成された受け取りモジュールと、
    前記デジタルスライド画像を複数の単一画像に逆畳み込みするように構成された逆畳み込みモジュールと、
    前記複数の単一画像の1以上の単一画像の品質を最適化するために前記複数の単一画像の1以上の単一画像の処理する分析アルゴリズムを実行するように構成されたコントローラモジュールと、を含み、
    前記複数の単一画像は、単一画像ごとに一つの染色種を有することを特徴とする、システム。
  17. 前記複数の単一画像を保存するストレージデバイスをさらに含むことを特徴とする、請求項16記載のシステム。
  18. 前記複数の単一画像の品質を最適化するために前記複数の単一画像の1以上の単一画像の調整を行うように、さらに構成されていることを特徴とする、請求項16記載のコントローラモジュール。
  19. 前記調整が、前記複数の単一画像の1以上の単一画像に対する、染色のデジタル復色(recolorization)を含むことを特徴とする、請求項18記載のコントローラモジュール。
  20. 前記調整は、第1のテストについてあらかじめ定義されており、自動的に適用されることを特徴とする、請求項18記載のコントローラモジュール。
  21. 現在の表示のインスタンス(current instance of viewing)についてユーザから調整命令を受けるように構成されていることを特徴とする、請求項18記載のコントローラモジュール。
  22. 複数の最適化された単一画像の1以上の単一画像を診断分解能で第2のデジタルスライド画像に再結合するように構成された再結合モジュールをさらに含むことを特徴とする、請求項16記載のシステム。
  23. 前記受け取りモジュールは、診断分解能で組織試料のデジタルスライド画像を走査するように構成された走査モジュールを含むことを特徴とする、請求項16記載のシステム。
  24. 病理学情報を管理及び解釈するデジタル環境においてデジタルスライド画像の画質を改善するための、コンピュータに実施される方法であって、
    組織試料のデジタルスライド画像の少なくとも一部を識別するナビゲーション命令を受け取るステップと、
    識別された前記組織試料のデジタルスライド画像の少なくとも一部を取得して表示するステップと、
    前記組織試料のデジタルスライド画像の少なくとも一部の分解能が許容可能か否かをインジケータに基づいて判定するステップと、
    前記分解能が許容可能と判定された場合に、識別された前記組織試料のデジタルスライド画像の少なくとも一部を受け入れるステップと、
    前記分解能が許容不可と判定された場合に、前記組織試料のデジタルスライド画像の少なくとも一つのより高い分解能の画像を取得して表示するステップと、を含むことを特徴とする方法。
  25. 許容可能な識別された前記組織試料のデジタルスライド画像の少なくとも一部を診断分解能で受け取るステップをさらに含むことを特徴とする請求項24記載の方法。
  26. 前記デジタルスライド画像を複数の単一画像に逆畳み込みするステップをさらに含み、
    前記複数の単一画像は、単一画像ごとに一つの染色種を有することを特徴とする、請求項24記載の方法。
  27. 複数の単一画像の品質を最適化するために、画像分析アルゴリズムによって、前記複数の単一画像の1以上を調整するステップをさらに含むことを特徴とする、請求項24記載の方法。
  28. 複数の最適化された単一画像の1以上を診断分解能で第2のデジタルスライド画像に再結合するステップをさらに含むことを特徴とする、請求項27記載の方法。
JP2010526030A 2007-09-21 2008-09-19 診断分解能デジタルスライド画像のための改善した画質 Expired - Fee Related JP5813951B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US97433707P 2007-09-21 2007-09-21
US60/974,337 2007-09-21
PCT/US2008/077128 WO2009039450A1 (en) 2007-09-21 2008-09-19 Improved image quality for diagnostic resolution digital slide images

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013168823A Division JP5996494B2 (ja) 2007-09-21 2013-08-15 デジタルスライド画像を表示する方法

Publications (2)

Publication Number Publication Date
JP2010540906A true JP2010540906A (ja) 2010-12-24
JP5813951B2 JP5813951B2 (ja) 2015-11-17

Family

ID=40468408

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2010526030A Expired - Fee Related JP5813951B2 (ja) 2007-09-21 2008-09-19 診断分解能デジタルスライド画像のための改善した画質
JP2013168823A Active JP5996494B2 (ja) 2007-09-21 2013-08-15 デジタルスライド画像を表示する方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2013168823A Active JP5996494B2 (ja) 2007-09-21 2013-08-15 デジタルスライド画像を表示する方法

Country Status (4)

Country Link
US (2) US9098736B2 (ja)
EP (2) EP3214478B1 (ja)
JP (2) JP5813951B2 (ja)
WO (1) WO2009039450A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018173994A (ja) * 2018-07-12 2018-11-08 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US10127473B2 (en) 2013-02-26 2018-11-13 Nec Corporation Diagnosis assisting system, diagnosis assisting method, and program thereof
JPWO2019008935A1 (ja) * 2017-07-05 2020-05-21 コニカミノルタ株式会社 画像処理装置及び画像処理方法並びにこれを用いた病理診断支援システム
JP2020530611A (ja) * 2017-08-04 2020-10-22 ベンタナ メディカル システムズ, インコーポレイテッド 染色された標本画像内で細胞を検出するための自動化された方法およびシステム

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009039450A1 (en) 2007-09-21 2009-03-26 Aperio Technologies, Inc. Improved image quality for diagnostic resolution digital slide images
JP5677770B2 (ja) * 2009-06-25 2015-02-25 オリンパス株式会社 医療診断支援装置、バーチャル顕微鏡システムおよび標本支持部材
US20100329535A1 (en) * 2009-06-26 2010-12-30 Marc Macenko Methods, Systems and Computer Program Products for Analyzing Histology Slide Images
US8891851B2 (en) * 2009-07-15 2014-11-18 Glenn F. Spaulding Home healthcare management system and hardware
US8941584B2 (en) * 2009-09-28 2015-01-27 Bryan Dangott Apparatus, system, and method for simulating physical movement of a digital image
WO2011072211A2 (en) 2009-12-11 2011-06-16 Aperio Technologies, Inc. Improved signal to noise ratio in digital pathology image analysis
EP2649559A4 (en) 2010-12-07 2018-03-14 Life Technologies Corporation Virtual cellular staining
US8934718B2 (en) 2011-08-02 2015-01-13 Nec Laboratories America, Inc. Interactive analytics of digital histology slides
TW201520906A (zh) * 2013-11-29 2015-06-01 Univ Nat Taiwan Science Tech 影像註冊方法
EP3149700B1 (en) * 2014-05-30 2018-12-12 Providence Health & Services - Oregon D/B/A An image processing method and system for analyzing a multi-channel image obtained from a biological tissue sample being stained by multiple stains
EP3257016A4 (en) * 2015-02-13 2018-07-18 Prairie Ventures LLC System and method to objectively measure quality assurance in anatomic pathology
US20160239962A1 (en) * 2015-02-13 2016-08-18 Prairie Ventures, Llc System and method to objectively measure quality assurance in anatomic pathology
US11416983B2 (en) 2015-08-24 2022-08-16 Koninklijke Philips N.V. Server-client architecture in digital pathology
CN110663084A (zh) * 2017-04-18 2020-01-07 直观外科手术操作公司 用于规划程序的图形用户界面
KR20200090757A (ko) * 2017-10-20 2020-07-29 장피트 조직학적 영상의 자동화 패턴 인식 및 점수화 방법
CN111899246B (zh) * 2020-07-30 2023-09-19 平安科技(深圳)有限公司 玻片数字化信息质量检测方法、装置、设备及介质
JP7406846B1 (ja) * 2022-10-11 2023-12-28 国立台湾大学 快速的且つ鮮やかなデジタルパソロジー方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002340677A (ja) * 2001-03-16 2002-11-27 Fuji Photo Film Co Ltd スペクトル画像の調整方法、スペクトル画像の画像調整装置および記録媒体
WO2006081547A1 (en) * 2005-01-27 2006-08-03 Cambridge Research And Instrumentation, Inc. Classifying image features
JP2006519443A (ja) * 2003-02-28 2006-08-24 アペリオ・テクノロジーズ・インコーポレイテッド バーチャルスライドを閲覧するためのシステムおよび方法
US20060245630A1 (en) * 2005-05-02 2006-11-02 Cytyc Corporation Automated image analysis
JP2006526783A (ja) * 2003-05-30 2006-11-24 アンドリュー エム. ラビノビッチ、 色分解および組織試料内の対象となる領域の検出

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4998284A (en) * 1987-11-17 1991-03-05 Cell Analysis Systems, Inc. Dual color camera microscope and methodology for cell staining and analysis
US5784162A (en) * 1993-08-18 1998-07-21 Applied Spectral Imaging Ltd. Spectral bio-imaging methods for biological research, medical diagnostics and therapy
US6165734A (en) * 1995-12-12 2000-12-26 Applied Spectral Imaging Ltd. In-situ method of analyzing cells
JP3825524B2 (ja) 1997-03-10 2006-09-27 株式会社東芝 超音波診断装置
JPH10274741A (ja) 1997-03-31 1998-10-13 Tsushin Hoso Kiko 被検体遠隔観測システム
JP3338625B2 (ja) * 1997-03-31 2002-10-28 住友大阪セメント株式会社 物体識別装置
WO1999013360A2 (en) * 1997-09-10 1999-03-18 Bellsouth Intellectual Property Corporation Digital telepathology imaging system with bandwidth optimization and virtual focussing
JPH11132932A (ja) * 1997-10-29 1999-05-21 Hitachi Ltd 生体に関する粒子画像分類システムおよび粒子の再分類方法
US6996549B2 (en) 1998-05-01 2006-02-07 Health Discovery Corporation Computer-aided image analysis
JP2000078576A (ja) * 1998-06-19 2000-03-14 Fuji Photo Film Co Ltd 画像処理方法および装置並びに記録媒体
JP3706740B2 (ja) * 1998-06-24 2005-10-19 ドリームテクノロジーズ株式会社 画像表示及びデータ読み込みのための装置及び方法
US6350238B1 (en) 1999-11-02 2002-02-26 Ge Medical Systems Global Technology Company, Llc Real-time display of ultrasound in slow motion
US6711283B1 (en) * 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
CA2492071A1 (en) 2002-06-18 2003-12-24 Lifespan Biosciences, Inc. Computerized image capture of structures of interest within a tissue sample
JP2004125454A (ja) * 2002-09-30 2004-04-22 Jasco Corp 近接場分光装置及び光ファイバプローブの作成方法
JP4468661B2 (ja) * 2003-07-11 2010-05-26 オリンパス株式会社 細胞培養観察装置及び細胞培養観察方法
US20060127880A1 (en) 2004-12-15 2006-06-15 Walter Harris Computerized image capture of structures of interest within a tissue sample
US7400776B2 (en) * 2005-01-10 2008-07-15 International Business Machines Corporation Visual enhancement for reduction of visual noise in a text field
JP2006292999A (ja) * 2005-04-11 2006-10-26 Direct Communications:Kk スライド画像データ作成装置およびスライド画像データ
WO2009039450A1 (en) 2007-09-21 2009-03-26 Aperio Technologies, Inc. Improved image quality for diagnostic resolution digital slide images
US8880351B2 (en) * 2008-03-25 2014-11-04 General Electric Company Method and apparatus for analysis of tissue microarrays

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002340677A (ja) * 2001-03-16 2002-11-27 Fuji Photo Film Co Ltd スペクトル画像の調整方法、スペクトル画像の画像調整装置および記録媒体
JP2006519443A (ja) * 2003-02-28 2006-08-24 アペリオ・テクノロジーズ・インコーポレイテッド バーチャルスライドを閲覧するためのシステムおよび方法
JP2006526783A (ja) * 2003-05-30 2006-11-24 アンドリュー エム. ラビノビッチ、 色分解および組織試料内の対象となる領域の検出
WO2006081547A1 (en) * 2005-01-27 2006-08-03 Cambridge Research And Instrumentation, Inc. Classifying image features
US20060245630A1 (en) * 2005-05-02 2006-11-02 Cytyc Corporation Automated image analysis

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10127473B2 (en) 2013-02-26 2018-11-13 Nec Corporation Diagnosis assisting system, diagnosis assisting method, and program thereof
JPWO2019008935A1 (ja) * 2017-07-05 2020-05-21 コニカミノルタ株式会社 画像処理装置及び画像処理方法並びにこれを用いた病理診断支援システム
JP7215418B2 (ja) 2017-07-05 2023-01-31 コニカミノルタ株式会社 画像処理装置及び画像処理方法並びにこれを用いた病理診断支援システム
JP2020530611A (ja) * 2017-08-04 2020-10-22 ベンタナ メディカル システムズ, インコーポレイテッド 染色された標本画像内で細胞を検出するための自動化された方法およびシステム
JP7011035B2 (ja) 2017-08-04 2022-01-26 ベンタナ メディカル システムズ, インコーポレイテッド 染色された標本画像内で細胞を検出するための自動化された方法およびシステム
JP2018173994A (ja) * 2018-07-12 2018-11-08 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
US9710694B2 (en) 2017-07-18
EP2201518A4 (en) 2011-12-21
JP2014002166A (ja) 2014-01-09
EP3214478A1 (en) 2017-09-06
EP2201518A1 (en) 2010-06-30
EP3214478B1 (en) 2018-12-26
US20160092722A1 (en) 2016-03-31
JP5996494B2 (ja) 2016-09-21
US9098736B2 (en) 2015-08-04
JP5813951B2 (ja) 2015-11-17
WO2009039450A1 (en) 2009-03-26
US20090087051A1 (en) 2009-04-02

Similar Documents

Publication Publication Date Title
JP5996494B2 (ja) デジタルスライド画像を表示する方法
US9117256B2 (en) System and method for assessing image interpretability in anatomic pathology
JP5663873B2 (ja) 乳癌病理画像診断支援システム、乳癌病理画像診断支援方法、乳癌病理画像診断支援プログラム、及び、乳癌病理画像診断支援プログラムを記録した記録媒体
Siegerist et al. Structured illumination microscopy and automatized image processing as a rapid diagnostic tool for podocyte effacement
JP6143376B2 (ja) 病理学における品質保証のためのシステムおよび方法
Rojo et al. Review of imaging solutions for integrated quantitative immunohistochemistry in the Pathology daily practice.
JP5040597B2 (ja) 評価システム、評価方法および評価プログラム
EP2544141A1 (en) Diagnostic information distribution device and pathology diagnosis system
US9412162B2 (en) Methods, systems and circuits for generating magnification-dependent images suitable for whole slide images
RU2690224C2 (ru) Обследующее устройство для обработки и анализа изображения
EP2040218B1 (en) Image processing device and image processing program
EP3323108B1 (en) Digital pathology system
JP6355082B2 (ja) 病理診断支援装置及び病理診断支援方法
KR20110072098A (ko) 디지털 병리학의 이미지 표준화 방법
WO2018128091A1 (ja) 画像解析プログラム及び画像解析方法
WO2023195405A1 (ja) 細胞検出装置、細胞診断支援装置、細胞検出方法、及び細胞検出プログラム
Floyd Image analysis in immunohistochemistry

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130220

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130520

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130527

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130619

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130626

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130719

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130815

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20131217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140331

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140409

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20140502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150728

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150917

R150 Certificate of patent or registration of utility model

Ref document number: 5813951

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees