JP2023172951A - 病理スライド画像の品質を評価する方法及び装置 - Google Patents

病理スライド画像の品質を評価する方法及び装置 Download PDF

Info

Publication number
JP2023172951A
JP2023172951A JP2023084762A JP2023084762A JP2023172951A JP 2023172951 A JP2023172951 A JP 2023172951A JP 2023084762 A JP2023084762 A JP 2023084762A JP 2023084762 A JP2023084762 A JP 2023084762A JP 2023172951 A JP2023172951 A JP 2023172951A
Authority
JP
Japan
Prior art keywords
slide image
pathology slide
processor
region
cells
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023084762A
Other languages
English (en)
Inventor
パク,カヒ
Ga Hee Park
ペン,キョンヒョン
Kyung Hyun Paeng
オク,チャンヨン
Chan Young Ock
ソン,サンフン
Sang Hoon Song
キム,ソクチュン
Suk Jun Kim
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lunit Inc
Original Assignee
Lunit Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020230038276A external-priority patent/KR102671745B1/ko
Application filed by Lunit Inc filed Critical Lunit Inc
Publication of JP2023172951A publication Critical patent/JP2023172951A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

【課題】病理スライド画像の品質を評価する方法及び装置を提供すること。【解決手段】一態様によるコンピューティング装置は、少なくとも1つのメモリと、少なくとも1つのプロセッサとを含み、前記プロセッサは、病理スライド画像に表された少なくとも1つの対象体を分析し、前記分析の結果に基づいて前記病理スライド画像の品質を評価し、前記評価の結果に応じて少なくとも1つの追加動作を行う。【選択図】なし

Description

本開示は、病理スライド画像の品質を評価する方法及び装置に関する。
デジタル病理学(digital pathology)分野は、病理スライド画像(pathological slide image)をスキャンすることによって生成された全スライド画像(whole slide image)を用いて、該当患者の組織学的情報を取得するか、又は予後を予測する分野である。
病理スライド画像は、対象体の染色された組織サンプルから取得することができる。例えば、組織サンプルは、ヘマトキシリン・エオジン(hematoxylin and eosin)、トリクローム(trichrome)、過ヨウ素酸シッフ(periodic acid schiff)、オートラジオグラフィー(autoradiography)、酵素組織化学(enzyme histochemistry)、免疫蛍光(immuno-fluorescence)、免疫組織化学(immunohistochemistry)など、様々な染色方式で染色することができる。染色された組織サンプルは、組織学及び生検評価に用いられることによって、疾患状態を理解するために分子プロファイル分析に進むか否かを判断する根拠となり得る。
ただし、病理スライド画像を用いた病理学者や医者の診断は、主観的な判断が介入する余地が多いので、正確な結果を導出できないことがあるという限界がある。
解決しようとする技術的課題は、病理スライド画像の品質を評価する方法及び装置を提供することにある。また、解決しようとする技術的課題は、前記方法をコンピュータで実行するためのプログラムを記録した、コンピュータで読み取り可能な記録媒体を提供することにある。解決しようとする技術的課題は、上記技術的課題に限定されず、他の技術的課題が存在し得る。
一態様によるコンピューティング装置は、少なくとも1つのメモリと、少なくとも1つのプロセッサとを含み、前記プロセッサは、病理スライド画像に表された少なくとも1つの対象体を分析し、前記分析の結果に基づいて前記病理スライド画像の品質を評価し、前記評価の結果に応じて少なくとも1つの追加動作を行う。
他の態様による病理スライド画像の品質を評価する方法は、病理スライド画像に表された少なくとも1つの対象体を分析するステップと、前記分析の結果に基づいて前記病理スライド画像の品質を評価するステップと、前記評価の結果に応じて少なくとも1つの追加動作を行うステップとを含む。
さらに他の態様によるコンピュータで読み取り可能な記録媒体は、上述した方法をコンピュータで実行するためのプログラムを記録した記録媒体を含む。
一実施形態による病理スライド画像を評価するシステムの一例を説明するための図である。 一実施形態による機械学習モデルを用いて組織標本のスライド画像を準備、処理及び検討するシステム及びネットワークのブロック図である。 一実施形態によるユーザ端末の一例を示す構成図である。 一実施形態によるサーバの一例を示す構成図である。 一実施形態による病理スライド画像を分析する方法の一例を説明するためのフローチャートである。 一実施形態によるプロセッサが複数の組織に対して第1分類を行う一例を説明するための図である。 一実施形態によるプロセッサが複数の細胞に対して第2分類を行う一例を説明するための図である。 一実施形態によるプロセッサが病理スライド画像の品質を評価する一例を説明するためのフローチャートである。 一実施形態によるプロセッサにより表示される画面の一例を示す図である。 一実施形態によるプロセッサにより表示される画面の他の例を示す図である。 一実施形態によるレポートの一例を示す図である。 一実施形態による病理スライド画像に関する情報を変更する例を説明するための図である。 一実施形態による病理スライド画像に関する情報を変更する例を説明するための図である。 一実施形態による病理スライド画像に関する情報を変更する例を説明するための図である。
実施形態で用いられる用語としてはできるだけ現在広く用いられている一般的な用語を選択したが、それは当該技術分野に従事する技術者の意図又は判例、新しい技術の出現などによって変わり得る。また、特定の場合は、出願人が任意に選定した用語もあり、その場合、該当する説明部分にその意味を詳細に記載する。よって、明細書で用いられる用語は、単なる用語の名称ではなく、その用語が有する意味と明細書全般にわたる内容に基づいて定義されるべきである。
明細書全体において、ある部分がある構成要素を「含む」というと、それは、特に反対の記載がない限り、他の構成要素を除くのではなく、他の構成要素をさらに含み得ることを意味する。また、明細書に記載された「~ユニット」、「~モジュール」などの用語は、少なくとも1つの機能又は動作を処理する単位を意味し、それは、ハードウェア又はソフトウェアで実現されてもよく、ハードウェアとソフトウェアとの組み合わせで実現されてもよい。
さらに、明細書で用いられる「第1」又は「第2」などの序数を含む用語は、様々な構成要素を説明するために用いることができるが、上記構成要素は上記用語により限定されるべきではない。上記用語は、ある構成要素を他の構成要素と区別する目的で用いることができる。
一実施形態によれば、「病理スライド画像」は、人体から採取された組織などに対して一連の化学処理工程を行って固定及び染色された病理スライドを撮影した画像を示すことができる。また、病理スライド画像は、全スライドの高解像度の画像を含む全スライド画像(Whole Slide Image,WSI)を示すことができ、全スライド画像の一部、例えば1つ以上のパッチ(patch)を示すこともできる。例えば、病理スライド画像は、スキャン装置(例えば、デジタルスキャナなど)により撮影又はスキャンされたデジタル画像を示すことができ、人体内の特定のタンパク質、細胞(cell)、組織(tissue)及び/又は構造(structure)に関する情報を含むことができる。さらに、病理スライド画像は、1つ以上のパッチを含むことができ、1つ以上のパッチには、アノテーション(annotation)作業により組織学的情報を適用(例えば、タギング)することができる。
一実施形態によれば、「医学情報」は、医療画像から抽出できる医学的に意味のある任意の情報を示すことができ、例えば、医療画像内の特定の組織(例えば、癌組織、癌基質組織など)及び/又は特定の細胞(例えば、腫瘍細胞、リンパ球細胞、マクロファージ細胞(Macrophage cells)、内皮細胞(Endothelial cells)、線維芽細胞(Fibroblast cells)など)の領域、位置、サイズ、癌の診断情報、被検者の発癌の可能性に関連する情報、及び/又は癌の治療に関連する医学的結論などを含むことができるが、それらに限定されるものではない。また、医学情報は、医療画像から得られる定量化された数値だけでなく、数値を可視化した情報、数値に応じた予測情報、画像情報、統計学的情報などを含むことができる。そのようにして生成された医学情報は、ユーザ端末に提供するか、ディスプレイ装置に出力又は伝達し、表示することができる。
以下、添付の図面を参照して、実施形態について詳細に説明する。しかし、実施形態は、様々な異なる形態で実現することができ、本明細書で説明する例に限定されるものではない。
図1は一実施形態による病理スライド画像を評価するシステムの一例を説明するための図である。
図1を参照すると、システム1は、ユーザ端末10及びサーバ20を含む。例えば、ユーザ端末10とサーバ20とは、有線又は無線通信方式で接続され、互いにデータ(例えば、画像データなど)を送受信することができる。
説明の便宜上、図1にはシステム1がユーザ端末10及びサーバ20を含むものとして示されているが、それに限定されるものではない。例えば、システム1は、他の外部装置(図示せず)を含むことができ、以下に説明されるユーザ端末10及びサーバ20の動作は、単一の装置(例えば、ユーザ端末10もしくはサーバ20)又はより多くの装置により実現することもできる。
ユーザ端末10は、ディスプレイ装置及びユーザ入力を受信する装置(例えば、キーボード、マウスなど)を備え、メモリ及びプロセッサを含むコンピューティング装置であってもよい。例えば、ユーザ端末10としては、ノートパソコン(notebook PC)、デスクトップパソコン(desktop PC)、ラップトップコンピュータ(laptop computer)、タブレットコンピュータ(tablet computer)、スマートフォンなどが挙げられるが、それらに限定されるものではない。
サーバ20は、ユーザ端末10を含む外部デバイス(図示せず)と通信する装置であってもよい。一例として、サーバ20は、病理スライド画像、病理スライド画像に対応するビットマップ画像、病理スライド画像の分析により生成された情報(例えば、病理スライド画像に表された少なくとも1つの組織(tissue)及び細胞(cell)に関する情報、少なくとも1つのバイオマーカーの発現(expression)情報などを含む)、病理スライド画像の分析のために用いられる機械学習モデルに関する情報を含む様々なデータを保存する装置であってもよい。あるいは、サーバ20は、メモリ及びプロセッサを含み、独自の演算能力を有するコンピューティング装置であってもよい。サーバ20がコンピューティング装置である場合、サーバ20は、図1~図11cを参照して後述するユーザ端末10の動作の少なくとも一部を行うことができる。例えば、サーバ20は、クラウド(cloud)サーバであってもよいが、それに限定されるものではない。
ユーザ端末10は、病理スライド画像、及び/又は病理スライド画像の分析により生成された情報を示す画像40を出力する。例えば、画像40には、病理スライド画像に表された少なくとも1つの組織及び細胞に関する様々な情報が表されてもよい。また、画像40には、バイオマーカーの発現情報が表されてもよい。さらに、画像40は、病理スライド画像に含まれる少なくとも一部の領域に関する医学情報を含むレポートであってもよい。さらに、画像40は、病理スライド画像の評価の結果を含むレポートであってもよい。
病理スライド画像は、人体から採取された組織などを顕微鏡で観察するために一連の化学処理工程を行って固定及び染色された病理スライドを撮影した画像を示すことができる。一例として、病理スライド画像は、全スライドの高解像度の画像を含む全スライド画像(whole slide image)を示すことができる。他の例として、病理スライド画像は、そのような高解像度の全スライド画像の一部を示すことができる。
一方、病理スライド画像は、全スライド画像においてパッチ単位に分割されたパッチ領域を示すことができる。例えば、パッチは、所定の領域のサイズを有することができる。あるいは、パッチは、全スライド内に含まれるオブジェクトのそれぞれを含む領域を示すことができる。
また、病理スライド画像は、顕微鏡を用いて撮影されたデジタル画像を示すことができ、人体内の細胞(cell)、組織(tissue)及び/又は構造(structure)に関する情報を含むことができる。
病理スライド画像の分析により、病理スライド画像に表された生物学的要素(例えば、癌細胞、免疫細胞、癌領域など)を確認することができる。そのような生物学的要素は、疾病の組織学的診断、疾病の予後の予測、疾病の治療方向の決定などに活用することができる。
一方、ユーザ30による病理スライド画像の分析にはユーザ30の主観的な判断が含まれることがあり、被検者に対する客観的な診断が困難であり得る。それを解決するための方法として、機械学習モデルを用いた病理スライド画像の分析ツール(tool)が開発されている。ただし、病理スライド画像の品質が保証されない場合、機械学習モデルにより出力された結果の正確度が劣り得る。具体的には、病理スライド画像の標準形式が制定されていないため、機械学習モデルによる病理スライド画像のダウンストリーム(downstream)分析には潜在的な偏向(potential bias)が含まれ得る。
一実施形態によるユーザ端末10は、病理スライド画像に表された少なくとも1つの対象体を分析し、分析の結果に基づいて病理スライド画像の品質を評価する。また、ユーザ端末10は、評価の結果に応じて少なくとも1つの追加動作を行う。
よって、ユーザ30は病理スライド画像の品質評価の結果を確認することができ、病理スライド画像のダウンストリーム分析の正確度が向上する。さらに、一実施形態による評価方法は、病理スライド画像の品質管理のための標準的な方法として提供することができ、デジタル病理学のワークフローのための機械学習モデルの標準化を設定することができる。
以下、図2~図11cを参照して、ユーザ端末10が病理スライド画像を分析し、分析の結果に基づいて病理スライド画像の品質を評価し、評価の結果に応じて少なくとも1つの追加動作を行う例を説明する。
一方、説明の便宜上、明細書全般にわたって、ユーザ端末10が一実施形態による動作を行うことを説明するが、それに限定されるものではない。例えば、ユーザ端末10により行われる動作の少なくとも一部は、サーバ20により行うこともできる。
言い換えれば、図1~図11cを参照して説明するユーザ端末10の動作の少なくとも一部は、サーバ20により行うこともできる。例えば、サーバ20は、病理スライド画像に表された組織及び細胞を分析することができる。また、サーバ20は、分析の結果に基づいて病理スライド画像の品質を評価することができる。さらに、サーバ20は、評価の結果に応じて少なくとも1つの追加動作を行うことができる。さらに、サーバ20は、分析の結果、評価の結果、及び/又は追加動作の実行結果をユーザ端末10に送信することができる。ただし、サーバ20の動作は上述したものに限定されるものではない。
図2は一実施形態による機械学習モデルを用いて組織標本のスライド画像を準備、処理及び検討するシステム及びネットワークのブロック図である。
図2を参照すると、システム2は、ユーザ端末11、12、スキャナ50、画像管理システム61、AIベースのバイオマーカー分析システム62、実験室情報管理システム63及びサーバ70を含む。また、システム2に含まれる構成要素(符号11、12、50、61、62、63、70)は、ネットワーク80を介して互いに接続することができる。例えば、ネットワーク80は、有線又は無線通信方式で構成要素(符号11、12、50、61、62、63、70)を互いに接続できるネットワークであってもよい。例えば、図2に示すシステム2は、病院、研究室、実験室などにあるサーバ、及び/又は医者もしくは研究員のユーザ端末に接続できるネットワークを含んでもよい。
本開示の様々な実施形態によれば、図3a~図11cを参照して後述する方法は、ユーザ端末11、12、画像管理システム61、AIベースのバイオマーカー分析システム62、実験室情報管理システム63、及び/又は病院もしくは研究室のサーバ70で行うことができる。
スキャナ50は、被検者90の組織サンプルを用いて生成された組織サンプルスライドからデジタル化された画像を取得することができる。例えば、スキャナ50、ユーザ端末11、12、画像管理システム61、AIベースのバイオマーカー分析システム62、実験室情報管理システム63、及び/又は病院もしくは研究室のサーバ70は、それぞれ、1つ以上のコンピュータ、サーバ及び/又はモバイルデバイスを介してインターネットなどのネットワーク80に接続するか、1つ以上のコンピュータ及び/又はモバイルデバイスを介してユーザ30及び/又は被検者90と通信することができる。
ユーザ端末11、12、画像管理システム61、AIベースのバイオマーカー分析システム62、実験室情報管理システム63、及び/又は病院もしくは研究室のサーバ70は、1つ以上の被検者90の組織サンプル、組織サンプルスライド、組織サンプルスライドのデジタル化された画像、又はそれらの任意の組み合わせを生成するか、そうでなければ、他のの装置から取得することができる。また、ユーザ端末11、12、画像管理システム61、AIベースのバイオマーカー分析システム62、実験室情報管理システム63は、被検者90の年齢、病力、癌治療履歴、家族履歴、過去の生検記録、被検者90の疾病情報などの被検者特定情報の任意の組み合わせを取得することができる。
スキャナ50、ユーザ端末11、12、画像管理システム61、実験室情報管理システム63、及び/又は病院もしくは研究室のサーバ70は、ネットワーク80を介して、デジタル化されたスライド画像及び/又は被検者特定情報をAIベースのバイオマーカー分析システム62に送信することができる。AIベースのバイオマーカー分析システム62は、受信した画像及びデータを保存するための1つ以上の保存デバイス(図示せず)を含んでもよい。また、AIベースのバイオマーカー分析システム62は、受信した画像及びデータを処理するように訓練された機械学習モデルを保存する機械学習モデルリポジトリを含んでもよい。例えば、AIベースのバイオマーカー分析システム62は、被検者90の病理スライド画像から少なくとも1つの細胞に関する情報、少なくとも1つの領域に関する情報、バイオマーカーに関する情報、医学的診断情報及び/又は医学的治療情報の少なくとも1つを予測するために学習及び訓練された機械学習モデルを含んでもよい。
スキャナ50、ユーザ端末11、12、AIベースのバイオマーカー分析システム62、実験室情報管理システム63、及び/又は病院もしくは研究室のサーバ70は、ネットワーク80を介して、デジタル化されたスライド画像、被検者特定情報、及び/又はデジタル化されたスライド画像の分析の結果を画像管理システム61に送信することができる。画像管理システム61は、受信した画像を保存するためのリポジトリ、及び分析の結果を保存するためのリポジトリを含んでもよい。
また、本開示の様々な実施形態によれば、被検者90の病理スライド画像から少なくとも1つの細胞に関する情報、少なくとも1つの領域に関する情報、バイオマーカーに関する情報、医学的診断情報及び/又は医学的治療情報の少なくとも1つを予測するために学習及び訓練された機械学習モデルは、ユーザ端末11、12及び/又は画像管理システム61に保存されて動作することができる。
本開示の様々な実施形態によれば、病理スライド画像の分析方法、被検者情報の処理方法、被検者群の選別方法、臨床試験の設計方法、バイオマーカーの発現情報の生成方法、及び/又は特定のバイオマーカーに対する基準値の設定方法は、AIベースのバイオマーカー分析システム62だけでなく、ユーザ端末11、12、画像管理システム61、実験室情報管理システム63、及び/又は病院もしくは研究室のサーバ70で行うことができる。
図3aは一実施形態によるユーザ端末の一例を示す構成図である。
図3aを参照すると、ユーザ端末100は、プロセッサ110、メモリ120、入出力インターフェース130及び通信モジュール140を含む。説明の便宜上、図3aには、本発明に関連する構成要素のみが示されている。よって、ユーザ端末100は、図3aに示す構成要素に加えて、他の汎用の構成要素をさらに含んでもよい。また、図3aに示されるプロセッサ110、メモリ120、入出力インターフェース130及び通信モジュール140を独立した装置として実現できることは、本発明に関連する技術分野における通常の知識を有する者にとって自明である。
さらに、ユーザ端末100の動作は、図2のユーザ端末11、12、画像管理システム61、AIベースのバイオマーカー分析システム62、実験室情報管理システム63、及び/又は病院もしくは研究室のサーバ70で行うことができる。
プロセッサ110は、基本的な算術、ロジック及び入出力演算を行うことにより、コンピュータプログラムの命令を処理することができる。ここで、命令は、メモリ120又は外部装置(例えば、サーバ20など)から提供することができる。また、プロセッサ110は、ユーザ端末100に含まれる他の構成要素の動作を全般的に制御することができる。
プロセッサ110は、病理スライド画像に表された少なくとも1つの対象体を分析する。例えば、対象体は、細胞、組織、構造などを含むことができる。例えば、プロセッサ110は、病理スライド画像を癌領域(cancer region)、癌基質領域(cancer stroma region)、壊死領域(necrosis region)及びバックグラウンド領域(background)の少なくとも1つに分類することができる。また、プロセッサ110は、病理スライド画像に表された複数の細胞を腫瘍細胞(tumor cell)、リンパ球細胞(lymphocytes cell)及びその他の細胞の少なくとも1つに分類することができる。
さらに、プロセッサ110は、病理スライド画像の分析の結果に基づいて病理スライド画像の品質を評価する。例えば、プロセッサ110は、病理スライド画像から取得された少なくとも1つの定量情報を用いて少なくとも1回の第1テストを行うことができる。その後、プロセッサ110は、病理スライド画像に表された少なくとも1つのバイオマーカーの定量情報を用いて第2テストを行うことができる。ここで、第2テストは、第1テストをパスした病理スライド画像に対して行われてもよいが、それに限定されるものではない。
プロセッサ110は、病理スライド画像から確認された分析可能領域(analyzable region)に対応する定量情報、及び病理スライド画像に含まれる癌領域(cancer region)に対応する定量情報の少なくとも1つに基づいて、病理スライド画像の品質評価をパスしたか否かを決定する第1テストを行うことができる。例えば、プロセッサ110は、病理スライド画像から確認された分析可能領域(analyzable region)に対応する定量情報、及び病理スライド画像に含まれる癌領域(cancer region)に対応する定量情報の少なくとも1つを所定の基準値(reference value)と比較することにより、第1テストを行うことができる。
また、プロセッサ110は、病理スライド画像に表された少なくとも1つのバイオマーカーの定量情報に基づいて、病理スライド画像の品質評価をパスしたか否かを決定する第2テストを行うことができる。例えば、プロセッサ110は、病理スライド画像に表された少なくとも1つのバイオマーカーの定量情報を所定の基準値と比較することにより、第2テストを行うことができる。ここで、バイオマーカーは、腫瘍細胞(tumor cell)、リンパ球細胞(lymphocytes cell)及び腫瘍純度(tumor purity)の少なくとも1つを含むことができる。
また、プロセッサ110は、品質評価の結果に応じて少なくとも1つの追加動作を行う。一例として、プロセッサ110は、病理スライド画像に関する少なくとも1つの情報及び品質評価の結果が出力されるように、ディスプレイ装置を制御することができる。他の例として、プロセッサ110は、品質評価の結果に応じて病理スライド画像の分析の結果が選択的に出力されるように、ディスプレイ装置を制御することができる。さらに他の例として、プロセッサ110は、品質評価の結果及び品質評価の根拠を含むレポートを生成し、レポートが出力されるように、ディスプレイ装置を制御することができる。
プロセッサ110は、複数の論理ゲートのアレイで実現されてもよく、汎用マイクロプロセッサと当該マイクロプロセッサで実行できるプログラムが保存されたメモリとの組み合わせで実現されてもよい。例えば、プロセッサ110は、汎用プロセッサ、中央処理装置(CPU)、マイクロプロセッサ、デジタル信号プロセッサ(DSP)、コントローラ、マイクロコントローラ、状態機械などを含むことができる。一部の環境で、プロセッサ110は、特定用途向け半導体(ASIC)、プログラマブルロジックデバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)などを含むこともできる。例えば、プロセッサ110は、デジタル信号プロセッサ(DSP)とマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサの組み合わせ、デジタル信号プロセッサ(DSP)コアに結合された1つ以上のマイクロプロセッサの組み合わせ、又は任意の他のそのような構成の組み合わせなどの処理装置の組み合わせを示すこともできる。
メモリ120は、非一時的な任意のコンピュータで読み取り可能な記録媒体を含むことができる。一例として、メモリ120は、RAM(Random Access Memory)、ROM(Read Only Memory)、ディスクドライブ、SSD(Solid State Drive)、フラッシュメモリ(flash memory)などの永久大容量保存装置(permanent mass storage device)を含むことができる。他の例として、ROM、SSD、フラッシュメモリ、ディスクドライブなどの永久大容量保存装置は、メモリとは別の独立した永久保存装置であってもよい。また、メモリ120には、オペレーティングシステム(OS)と少なくとも1つのプログラムコード(例えば、プロセッサ110が図4~図11cを参照して後述する動作を行うためのコード)を保存することができる。
そのようなソフトウェアコンポーネントは、メモリ120とは別のコンピュータで読み取り可能な記録媒体からロードすることができる。そのような別のコンピュータで読み取り可能な記録媒体は、ユーザ端末100に直接接続できる記録媒体であってもよく、例えば、フロッピードライブ、ディスク、テープ、DVD/CD-ROMドライブ、メモリカードなどのコンピュータで読み取り可能な記録媒体を含むことができる。あるいは、ソフトウェアコンポーネントは、コンピュータで読み取り可能な記録媒体ではなく、通信モジュール140を介してメモリ120にロードすることもできる。例えば、少なくとも1つのプログラムは、開発者又はアプリケーションのインストールファイルを配布するファイル配布システムが通信モジュール140を介して提供するファイルによりインストールされるコンピュータプログラム(例えば、プロセッサ110が図4~図11cを参照して後述する動作を行うためのコンピュータプログラムなど)に基づいて、メモリ120にロードすることができる。
入出力インターフェース130は、ユーザ端末100に接続されるか又はユーザ端末100に含まれる入力又は出力のための装置(例えば、キーボード、マウスなど)とのインターフェースのための手段であってもよい。図3aには、入出力インタフェース130がプロセッサ110とは別に構成された要素として示されているが、これに限定されず、入出力インタフェース130がプロセッサ110に含まれるように構成されてもよい。
通信モジュール140は、ネットワークを介してサーバ20とユーザ端末100とが互いに通信するための構成又は機能を提供することができる。また、通信モジュール140は、ユーザ端末100が他の外部装置と通信するための構成又は機能を提供することができる。例えば、プロセッサ110の制御に従って提供される制御信号、命令、データなどを通信モジュール140とネットワークを介してサーバ20及び/又は外部装置に送信することができる。
一方、図3aには示されていないが、ユーザ端末100は、ディスプレイ装置をさらに含んでもよい。あるいは、ユーザ端末100は、独立したディスプレイ装置と有線又は無線通信方式で接続され、互いにデータを送受信することができる。例えば、ディスプレイ装置により病理スライド画像、病理スライド画像の分析情報、治療反応の予測情報などをユーザ30に提供することができる。
図3bは一実施形態によるサーバの一例を示す構成図である。
図3bを参照すると、サーバ200は、プロセッサ210、メモリ220及び通信モジュール230を含む。説明の便宜上、図3bには、本発明に関連する構成要素のみが示されている。よって、サーバ200は、図3bに示す構成要素に加えて、他の汎用の構成要素をさらに含むことができる。また、図3bに示されるプロセッサ210、メモリ220及び通信モジュール230を独立した装置として実現できることは、本発明に関連する技術分野における通常の知識を有する者にとって自明である。
プロセッサ210は、メモリ220、外部メモリ、ユーザ端末100及び外部装置の少なくとも1つから病理スライド画像を取得することができる。プロセッサ210は、病理スライド画像に表された少なくとも1つの対象体を分析するか、分析の結果に基づいて病理スライド画像の品質を評価するか、評価の結果に応じて少なくとも1つの追加動作を行うことができる。
言い換えれば、図3aを参照して上述したプロセッサ110の動作の少なくとも1つは、プロセッサ210により行うことができる。この場合、ユーザ端末100は、サーバ200から送信された情報をディスプレイ装置を介して出力することができる。
一方、プロセッサ210の実現例は、図3aを参照して上述したプロセッサ110の実現例と同様であるので、具体的な説明は省略する。
メモリ220には、病理スライド画像、プロセッサ210の動作によって生成されたデータなど、様々なデータを保存することができる。また、メモリ220には、オペレーティングシステム(OS)と少なくとも1つのプログラム(例えば、プロセッサ210の動作に必要なプログラムなど)を保存することができる。
一方、メモリ220の実現例は、図3aを参照して上述したメモリ120の実現例と同様であるので、具体的な説明は省略する。
通信モジュール230は、ネットワークを介してサーバ200とユーザ端末100とが互いに通信するための構成又は機能を提供することができる。また、通信モジュール230は、サーバ200が他の外部装置と通信するための構成又は機能を提供することができる。例えば、プロセッサ210の制御に従って提供される制御信号、命令、データなどを通信モジュール230とネットワークを介してユーザ端末100及び/又は外部装置に送信することができる。
図4は一実施形態による病理スライド画像を分析する方法の一例を説明するためのフローチャートである。
図4を参照すると、病理スライド画像を分析する方法は、図1~図3aに示すユーザ端末10、100又はプロセッサ110で時系列的に処理されるステップから構成される。よって、以下で省略された内容であっても、図1~図3aに示すユーザ端末10、100又はプロセッサ110について上述した内容は、図4の病理スライド画像を分析する方法にも適用することができる。
また、図1~図3bを参照して上述したように、図4に示すフローチャートのステップの少なくとも1つは、サーバ20、200又はプロセッサ210で処理することができる。
ステップ410において、プロセッサ110は、病理スライド画像に表された少なくとも1つの対象体を分析することができる。例えば、対象体は、細胞、組織、構造などを含むことができる。
例えば、プロセッサ110は、病理スライド画像上の領域を癌領域、癌基質領域、壊死領域及びバックグラウンド領域の少なくとも1つに分類することができる。また、プロセッサ110は、病理スライド画像に表された複数の細胞を腫瘍細胞、リンパ球細胞及びその他の細胞の少なくとも1つに分類することができる。
まず、プロセッサ110は、病理スライド画像を分析する。一例として、プロセッサ110は、所定の画像処理技術を用いて病理スライド画像を分析することにより、病理スライド画像から組織に対応する領域を検出することができる。プロセッサ110は、組織を示す層の形態で検出の結果を出力することができる。他の例として、プロセッサ110は、機械学習モデルを用いて、病理スライド画像からの組織に対応する領域を検出することができる。プロセッサ110は、機械学習モデルを用いて、組織を示す層の形態で検出の結果を出力することができる。この場合、機械学習モデルは、複数の参照病理スライド画像及び複数の参照ラベル情報を含む学習データを用いて、参照病理スライド画像内の組織に対応する領域を検出するように学習されてもよい。
ここで、機械学習モデルとは、機械学習(Machine Learning)技術と認知科学において、生物学的ニューラルネットワークの構造に基づいて実現された統計学的学習アルゴリズム、又はそのアルゴリズムを実行する構造を意味する。
例えば、機械学習モデルは、生物学的ニューラルネットワークのように、シナプスの結合でネットワークを形成した人工ニューロンであるノード(Node)がシナプスの重み値を繰り返し調整し、特定の入力に対応する正しい出力と推論された出力との間の誤差が減少するように学習することにより、問題解決能力を有するモデルを示すことができる。例えば、機械学習モデルは、機械学習、ディープラーニングなどの人工知能学習法に用いられる任意の確率モデル、ニューラルネットワークモデルなどを含むことができる。
例えば、機械学習モデルは、多層のノードとそれらの間の接続で構成される多層パーセプトロン(MLP:multilayer perceptron)で実現することができる。本実施形態による機械学習モデルは、MLPを含む様々な人工ニューラルネットワークモデル構造のうちの1つを用いて実現することができる。例えば、機械学習モデルは、外部から入力信号又はデータを受信する入力層と、入力データに対応する出力信号又はデータを出力する出力層と、入力層と出力層との間に位置し、入力層から信号を受け取って特性を抽出して出力層に送る少なくとも1つの隠匿層とから構成されてもよい。出力層は、隠匿層から信号又はデータを受信して外部に出力する。
よって、機械学習モデルは、1つ以上の病理スライド画像を受信し、病理スライド画像に含まれる少なくとも1つの対象体(例えば、細胞、組織、構造など)に関する情報を抽出するように学習されてもよい。
さらに、プロセッサ110は、病理スライド画像に表された複数の組織に対して第1分類を行うことができる。具体的には、プロセッサ110は、病理スライド画像を癌領域(cancer region)、癌基質領域(cancer stroma region)、壊死領域(necrosis region)及びバックグラウンド領域(background)の少なくとも1つに分類することができる。ここで、バックグラウンド領域は、生物学的ノイズ(biological noise)を示す領域及び/又は技術的ノイズ(technical noise)を示す領域を含むことができる。例えば、生物学的ノイズを示す領域は正常領域を含み、技術的ノイズを示す領域は低下領域を含むことができる。
ただし、プロセッサ110が病理スライド画像に表された少なくとも一部の領域を分類する例は、上述した例に限定されるものではない。言い換えれば、上述した4種類の領域(癌領域、癌基質領域、壊死領域及びバックグラウンド領域)に限定されず、プロセッサ110は、様々な基準によって、病理スライド画像に表された少なくとも1つの領域を複数のカテゴリに分類することができる。病理スライド画像に表された少なくとも1つの領域は、予め設定された基準又はユーザにより設定された基準によって、複数のカテゴリに分類することができる。なお、ノイズの種類が生物学的ノイズ及び技術的ノイズに限定されるものではない。
さらに、プロセッサ110は、病理スライド画像を分析して、病理スライド画像に表された複数の細胞に対して第2分類を行うことができる。
まず、プロセッサ110は、病理スライド画像を分析して、病理スライド画像から細胞を検出し、細胞を示す層の形態で検出の結果を出力することができる。プロセッサ110が病理スライド画像を分析する具体的な方法は、第1分類に関して上述した通りである。
また、プロセッサ110は、病理スライド画像に表された複数の細胞に対して第2分類を行う。具体的には、プロセッサ110は、病理スライド画像に表された細胞を腫瘍細胞(tumor cell)、リンパ球細胞(lymphocytes cell)及びその他の細胞の少なくとも1つに分類する。ただし、プロセッサ110が病理スライド画像に表された細胞を分類する例は、上述した例に限定されるものではない。言い換えれば、プロセッサ110は、異なる種類の細胞を分類する様々な基準によって、病理スライド画像に表された細胞をグループ化することができる。
以下、図5及び図6を参照して、プロセッサ110が複数の組織に対して第1分類及び第2分類を行う例を説明する。
図5は一実施形態によるプロセッサが複数の組織に対して第1分類を行う一例を説明するための図である。
図5を参照すると、プロセッサ110は、病理スライド画像510を分析して組織520を示す領域を検出し、組織520を示す層の形態で検出の結果を出力することができる。病理スライド画像510の組織520は、様々な領域531~535を含むことができ、プロセッサ110は、領域531~535を分類することができる。例えば、プロセッサ110は、領域531~535を癌領域531、癌基質領域532、壊死領域533、低下領域534及び正常領域535に分類することができる。
図6は一実施形態によるプロセッサが複数の細胞に対して第2分類を行う一例を説明するための図である。
図6を参照すると、プロセッサ110は、病理スライド画像610を分析して組織620内の細胞を確認する。具体的には、プロセッサ110は、病理スライド画像610から細胞を示す部分を検出し、細胞を示す層の形態で検出の結果を出力することができる。
組織620は、複数の細胞から構成され、細胞は、様々な種類で構成され得る。プロセッサ110は、細胞を腫瘍細胞631、リンパ球細胞632及びその他の細胞633の少なくとも1つに分類することができる。ここで、その他の細胞633は、正常細胞を含むことができる。例えば、その他の細胞633は、上皮細胞、神経細胞、筋肉細胞及び結合組織細胞(connective tissue cell)の少なくとも1つを含むことができるが、それらに限定されるものではない。
ステップ410及び図5及び図6を参照して上述したように、プロセッサ110は、病理スライド画像内の組織及び細胞に関する情報を取得することができる。例えば、プロセッサ110は、病理スライド画像の全領域で組織及び細胞のそれぞれの位置を特定することができる。また、プロセッサ110は、組織及び細胞のそれぞれの種類を確認することができ、組織のそれぞれに含まれる細胞の数及び密度を定量化して定量情報を取得することもできる。さらに、プロセッサ110は、組織及び細胞に関する定量情報を用いて腫瘍純度(tumor purity)を正確に演算することもできる。
ステップ420において、プロセッサ110は、分析の結果に基づいて病理スライド画像の品質を評価する。
ステップ410を参照して上述したように、プロセッサ110は、病理スライド画像を分析することにより、様々な定量情報を取得することができる。また、プロセッサ110は、定量情報を用いて腫瘍純度を演算することもできる。よって、プロセッサ110は、病理スライド画像を分析することにより導出された情報を、病理スライド画像を評価する過程に用いることができる。
例えば、プロセッサ110は、病理スライド画像から取得された少なくとも1つの定量情報を用いて少なくとも1回の第1テストを行うことができる。また、プロセッサ110は、病理スライド画像に表された少なくとも1つのバイオマーカーの定量情報を用いて第2テストを行うことができる。ここで、第2テストは、第1テストをパスした病理スライド画像に対してのみ行われてもよいが、それに限定されるものではない。
例えば、第1テストは、病理スライド画像から確認された分析可能領域に対応する定量情報、及び癌領域に対応する定量情報の少なくとも1つを所定の基準値と比較する過程を含むことができる。また、第2テストは、病理スライド画像に表された少なくとも1つのバイオマーカーの定量情報を所定の基準値と比較する過程を含むことができる。ここで、少なくとも1つのバイオマーカーは、腫瘍細胞、リンパ球細胞及び腫瘍純度の少なくとも1つを含むことができる。
以下、図7を参照して、プロセッサ110が病理スライド画像の品質を評価する一例を説明する。
図7は一実施形態によるプロセッサが病理スライド画像の品質を評価する一例を説明するためのフローチャートである。
図7に示すフローチャートは、第1テスト及び第2テストを含む。例えば、ステップ710~ステップ740が第1テストに該当するものであり、ステップ750及びステップ760が第2テストに該当するものであり得る。言い換えれば、第2テストは、第1テストをパスした病理スライド画像に対してのみ行われてもよく、第1テストは、少なくとも1つのサブテストを含んでもよい。
しかし、第1テストの数及び第2テストの実行条件は、上述したものに限定されるものではない。言い換えれば、第1テストは、第1サブテスト(ステップ710及びステップ720)と第2サブテスト(ステップ730及びステップ740)の少なくとも1つを含んでもよい。また、第2テストは、第1テストをパスしたか否かに関係なく行われてもよい。
第1テスト及び第2テストにより、病理スライド画像が分析可能な関心領域(analyzable ROI)内で特定のバイオマーカーに関するコンテンツを十分に含むか否かを判断することができる。言い換えれば、第1テスト及び第2テストは、病理スライド画像内に十分な癌領域が表されているか及び/又はバイオマーカーの分析に寄与する様々な細胞が表されているかを判断する過程であり得る。第1テスト及び第2テストをパスした病理スライド画像は、ダウンストリーム分析(downstream analysis)のために次の過程に進むことができる。
第1テストは、病理スライド画像に対する最小要求条件を満たすか否かを判断するテストであり得る。言い換えれば、プロセッサ110は、第1テストにより、病理スライド画像の分析可能領域及び癌領域が最小限の基準を満たすか否かを判断することができる。
ステップ710において、プロセッサ110は、分析可能領域に対応する定量情報を第1基準値(reference value)と比較する。分析可能領域とは、病理スライド画像において分析が可能な全領域であって、全組織領域を意味し得る。ステップ410により分析された結果に応じて、プロセッサ110は、病理スライド画像内の全組織領域に関する定量情報を取得することができる。例えば、全組織領域に関する定量情報は、画像内で識別された組織領域に対応する面積を含むことができる。よって、プロセッサ110は、画像内の全組織領域の総和を第1基準値と比較することができる。
ステップ720において、プロセッサ110は、分析可能領域の総和と第1基準値との比較結果が所定の基準を満たすか否かを判断する。例えば、所定の基準は、分析可能領域の総和が第1基準値より大きいか等しいことを意味し得るが、それに限定されるものではない。所定の基準を満たす場合は、ステップ730に進み、所定の基準を満たさない場合は、ステップ780に進む。
ステップ730において、プロセッサ110は、癌領域に対応する定量情報を第2基準値と比較する。ステップ410により分析された結果に応じて、プロセッサ110は、病理スライド画像内の癌領域に関する定量情報を取得することができる。例えば、癌領域に関する定量情報は、画像内で識別された癌領域に対応する面積を含むことができる。よって、プロセッサ110は、画像内の癌領域の総和を第2基準値と比較することができる。
あるいは、プロセッサ110は、分析可能領域に対する癌領域の比率を第2基準値と比較することもできる。分析可能領域には癌領域が含まれる。よって、分析可能領域に対する癌領域の比率を第2基準値と比較することは、画像内の癌領域の総和を第2基準値と比較することと同じ目的を達成することができる。
ステップ740において、プロセッサ110は、癌領域の総和(又は、分析可能領域に対する癌領域の比率)と第2基準値との比較結果が所定の基準を満たすか否かを判断する。例えば、所定の基準は、癌領域の総和(又は、分析可能領域に対する癌領域の比率)が第2基準値より大きいか等しいことを意味し得るが、それに限定されるものではない。所定の基準を満たす場合は、ステップ750に進み、所定の基準を満たさない場合は、ステップ780に進む。
第2テストは、病理スライド画像が特定のバイオマーカーに関する情報を適切に含むか否かを判断するテストであり得る。言い換えれば、プロセッサ110は、第2テストにより、ユーザ30が指定するバイオマーカーに関する情報を病理スライド画像から正確に確認できるか否かを判断することができる。
病理スライド画像内には少なくとも1つのバイオマーカーが表され得る。一方、ユーザ30が関心を有するバイオマーカーは、様々であり、状況に応じて変更され得る。よって、第2テストは、ユーザ30が特定のバイオマーカーを指定することにより、単一の病理スライド画像に対して複数回行うこともできる。
ステップ750において、プロセッサ110は、バイオマーカーの定量情報を第3基準値と比較する。ここで、バイオマーカーは、タンパク質、DNA、RNA、代謝物質、腫瘍細胞、リンパ球細胞などの種々の細胞、様々な組織の表現型及び腫瘍純度の少なくとも1つを含むことができる。ステップ410により分析された結果に応じて、プロセッサ110は、病理スライド画像内のタンパク質、DNA、RNA、代謝物質、又は様々な細胞に関する定量情報を取得することができる。また、プロセッサ110は、ステップ410により取得された情報に基づいて、腫瘍純度を演算することができる。よって、プロセッサ110は、ユーザ30により指定されたバイオマーカーの定量情報の値を第3基準値と比較することができる。
ステップ760において、プロセッサ110は、バイオマーカーの定量情報の値と第3基準値との比較結果が所定の基準を満たすか否かを判断する。例えば、所定の基準は、バイオマーカーの定量情報の値が第3基準値より大きいか等しいことを意味し得るが、それに限定されるものではない。所定の基準を満たす場合は、ステップ770に進み、所定の基準を満たさない場合は、ステップ780に進む。
ステップ770において、プロセッサ110は、病理スライド画像が品質評価に合格(pass)したと判断することができる。また、ステップ780において、プロセッサ110は、病理スライド画像が品質評価に不合格(fail)したと判断することができる。
一方、上述した基準値(第1基準値、第2基準値及び第3基準値)は様々な基準で決定することができる。例えば、基準値は、ユーザ30の設定、病理スライド画像のタイプ、標的癌のタイプ、バイオマーカーの機能性要件、疾病の状態、又は臨床的検証に関する研究によって様々に決定することができる。
例えば、基準値は、TCGA(The Cancer Genome Atlas)スライド画像の最小値を考慮して決定することができる。
例えば、基準値は、バイオマーカーの機能性要件を考慮して決定することができる。バイオマーカーの機能性要件とは、バイオマーカーを正確に識別及び測定できなければならず、特定の疾病又は状態の診断、予測又は治療に有用な情報を提供できなければならないという前提の下で満たすべき要件を意味し得る。バイオマーカーの機能性要件は、感度(sensitivity)、特異度(specificity)、陽性適中率(positive predictive value,ppv)、陰性適中率(negative predictive value,npv)、安定性(safety)、非侵襲性(non-invasiveness)、繰り返し性(reproducibility)などの機能性要件を含むことができる。例えば、バイオマーカーの機能性要件を満たす例としては、cobas EGFR Mutation Testが挙げられる。バイオマーカーの機能性要件は、FDAのBiomarkers and Qualificationのリンク(https://www.fda.gov/drugs/biomarker-qualification-program/about-biomarkers-and-qualification)及びBiomarker Qualification Submissionsのリスト(https://www.fda.gov/drugs/biomarker-qualification-program/biomarker-qualification-submissions)を参照して決定することができる。https://www.fda.gov/drugs/biomarker-qualification-program/about-biomarkers-and-qualificationhttps://www.fda.gov/drugs/biomarker-qualification-program/biomarker-qualification-submissions
例えば、病理スライド画像を用いて腫瘍浸潤リンパ球(tumor-infiltrating lymphocytes)を測定すると仮定すると、癌領域や癌基質領域のリンパ球の比率が基準値より高い場合、免疫表現型分類過程(immunophenotype classification process)を行う。一方、癌領域の腫瘍細胞の比率が基準値より高い場合、免疫細胞型分類過程(immunophenotype classification process)を行う。よって、癌領域や癌基質領域においてリンパ球や腫瘍細胞の比率が基準値を満たさないと、不明の免疫表現型(unknown immune phenotype)に分類され、画像の品質評価に不合格したものとなる。
また、バイオマーカーの基準値は、バイオマーカーに基づいて測定しようとする指標によって異なり得る。例えば、腫瘍純度の場合、画像の品質評価をパスするための基準値を1又は0だけ低く決定することができる。それと同様に、PD-L1腫瘍比率スコア(TPS)演算は、生存可能な腫瘍細胞の数より1個又は0個だけ低く決定することができる。
再び図4を参照すると、ステップ430において、プロセッサ110は、評価の結果に応じて少なくとも1つの追加動作を行う。
一例として、プロセッサ110は、病理スライド画像に関する少なくとも1つの情報及びステップ420の評価の結果を共に表示することができる。例えば、プロセッサ110は、ディスプレイ装置を制御することにより、上述した内容を表示することができる。プロセッサ110が病理スライド画像に関する少なくとも1つの情報及び評価の結果を共に表示する例については図8を参照して後述する。
他の例として、プロセッサ110は、ステップ420の評価の結果に応じてステップ410の分析の結果を選択的に表示することができる。例えば、プロセッサ110は、ディスプレイ装置を制御することにより、上述した内容を表示することができる。プロセッサ110が評価の結果に応じて分析の結果を選択的に表示する例については図9を参照して後述する。
さらに他の例として、プロセッサ110は、ステップ420の評価の結果及び評価の根拠を含むレポートを生成することができる。また、プロセッサ110は、レポートが表示されるように、ディスプレイ装置を制御することができる。プロセッサ110が生成するレポートの一例については図10を参照して後述する。
図8は一実施形態によるプロセッサにより表示される画面の一例を示す図である。
図8には図1~図7を参照して上述した方法が実行されるプログラムの実行画面800の一例が示されている。実行画面800には、病理スライド画像に関する少なくとも1つの情報及びステップ420の評価の結果を共に表示することができる。
例えば、領域810には、病理スライド画像の分析又は品質評価の現在の状態を表示することができる。具体的には、分析又は品質評価が行われる前の場合は「upload」を、分析又は品質評価が行われている場合は「analyzing」を、分析又は品質評価が完了した場合は「analyzed」を、分析又は品質評価中にエラーが発生した場合は「failed」を出力することができる。
また、領域820には、病理スライド画像の分析又は品質評価の結果を表示することができる。具体的には、品質評価に不合格した場合は「QC failed」を、品質評価に合格した場合は概略的な分析の結果を表示することができる。
さらに、領域830には、様々な条件のフィルタを指定できるインジケータ(indicator)を表示することができる。よって、ユーザ30は、インジケータを用いて所望の情報のみを選択することができ、選択された情報に基づいて実行画面800の構成を変更することができる。
図9は一実施形態によるプロセッサにより表示される画面の他の例を示す図である。
図9には病理スライド画像の品質評価の結果に応じて分析の結果が選択的に表示される例を説明するための実行画面910、920、930が示されている。
例えば、病理スライド画像が品質評価に合格した場合、画面910の一領域911には、分析が完了し、品質評価に合格したことを示すテキスト、画像などを出力することができる。画面910は、情報ビューアの例示を示すことができる。画面910は、ユーザ30の操作により他の画面930に変更することができる。画面930は、分析ビューアの例示を示すことができる。ここで、画面930の一領域931には、病理スライド画像の分析の結果を出力することができる。
一方、病理スライド画像が品質評価に不合格した場合、画面920の一領域921には、分析が完了し、品質評価に不合格したことを示すテキスト、画像などを出力することができる。画面930は、分析ビューアの例示を示すことができる。このとき、ユーザ30が画面920を他の画面930に変更する操作を行っても、変更された画面930は出力されないようにすることができる。言い換えれば、病理スライド画像が品質評価に不合格した場合、画像の分析の結果は出力されないようにすることができる。
図10は一実施形態によるレポートの一例を示す図である。
レポート1000には、病理スライド画像のサムネイル1010及び病理スライド画像に関する様々な情報が含まれてもよい。例えば、レポート1000には、病理スライド画像の名前(name)、倍率、癌のタイプなどが含まれてもよい。
また、レポート1000には、病理スライド画像の品質評価の結果1020及び当該結果1020の導出根拠1030が共に含まれてもよい。例えば、病理スライド画像が品質評価に不合格した場合、第1テスト及び/又は第2テストの基準、並びに病理スライド画像から取得された定量情報が共に出力されてもよい。それにより、ユーザ30は、当該病理スライド画像の品質の結果及びその根拠を共に確認することができる。
一方、ユーザ30は、図8を参照して上述した実行画面800を用いて、病理スライド画像に関する情報を生成/変更/削除することができる。以下、図11a~図11cを参照して情報を生成/変更/削除する例を説明する。
図11a~図11cは一実施形態による病理スライド画像に関する情報を変更する例を説明するための図である。
図11aを参照すると、ユーザ30は、画面1100に出力されたリスト内の病理スライド画像に関する情報を変更することができる。例えば、ユーザ30は、ウィンドウ1111を用いて、予め設定された情報(例えば、病理スライド画像のタイプ、癌のタイプ、バイオマーカーのタイプ、疾病の状態など)を変更することができる。ここで、ウィンドウ1111は、ユーザ30により画面1100内の所定のインジケータが選択されることによって出力されてもよい。プロセッサ110は、病理スライド画像に関する情報が変更されることにより、当該病理スライド画像の品質評価の基準を変更することができる。例えば、プロセッサ110は、病理スライド画像に関する情報が変更されることにより、品質評価の基礎になる定量情報を取得する対象を変更することができる。あるいは、プロセッサ110は、病理スライド画像に関する情報が変更されることにより、当該病理スライド画像の品質評価をパスしたか否かを判断するために適用される基準値を変更することができる。
図11bを参照すると、ユーザ30は、画面1120に出力されたリスト内の病理スライド画像に関する情報を生成することができる。例えば、ユーザ30は、ウィンドウ1121を用いて、所定の情報(例えば、癌のタイプ)を新たに生成することができる。ここで、ウィンドウ1121は、ユーザ30により画面1120内の所定のインジケータが選択されることによって出力されてもよい。
図11cを参照すると、ユーザ30は、ウィンドウ1130を用いて、予め設定された所定の情報(例えば、癌のタイプ)を削除することができる。ここで、ウィンドウ1130は、ユーザ30により画面1100、1120内の所定のインジケータが選択されることによって出力されてもよい。
上述したように、ユーザ30は病理スライド画像の品質評価の結果を確認することができ、病理スライド画像のダウンストリーム分析の正確度が向上する。さらに、一実施形態による評価方法は、病理スライド画像の品質管理のための標準的な方法として提供することができ、デジタル病理学のワークフローのための機械学習モデルの標準化を設定することができる。
一方、上述した方法は、コンピュータで実行可能なプログラムで作成することができ、コンピュータで読み取り可能な記録媒体を用いて前記プログラムを動作させる汎用デジタルコンピュータで実現することができる。また、上述した方法で用いられたデータの構造は、コンピュータで読み取り可能な記録媒体に様々な手段を介して記録することができる。前記コンピュータで読み取り可能な記録媒体は、磁気記録媒体(例えば、ROM、RAM、USB、フロッピーディスク、ハードディスクなど)、光学読取媒体(例えば、CD-ROM、DVDなど)などの保存媒体を含む。
本実施形態に関連する技術分野における通常の知識を有する者であれば、上記記載の本質的な特性から逸脱しない範囲で変形した形態で実現できることが理解できるであろう。よって、開示された方法は、限定的な観点ではなく、説明的な観点から考慮されるべきであり、権利範囲は、上記説明ではなく、特許請求の範囲に示されており、それと同等の範囲内にあるすべての相違点を含むものと解釈されるべきである。

Claims (19)

  1. 少なくとも1つのメモリと、
    少なくとも1つのプロセッサとを含み、
    前記プロセッサは、
    病理スライド画像に表された少なくとも1つの対象体を分析し、前記分析の結果に基づいて前記病理スライド画像の品質を評価し、前記評価の結果に応じて少なくとも1つの追加動作を行う、コンピューティング装置。
  2. 前記プロセッサは、前記病理スライド画像の品質を評価するために、
    前記病理スライド画像から取得された少なくとも1つの定量情報を用いて少なくとも1回の第1テストを行い、前記病理スライド画像に表された少なくとも1つのバイオマーカーの定量情報を用いて第2テストを行う、請求項1に記載のコンピューティング装置。
  3. 前記第2テストは、
    前記第1テストをパスした病理スライド画像に対して行われる、請求項2に記載のコンピューティング装置。
  4. 前記プロセッサは、
    前記病理スライド画像から確認された分析可能領域(analyzable region)に対応する定量情報、及び前記病理スライド画像に含まれる癌領域(cancer region)に対応する定量情報の少なくとも1つを所定の基準値(reference value)と比較する、請求項2に記載のコンピューティング装置。
  5. 前記プロセッサは、
    前記病理スライド画像に表された少なくとも1つのバイオマーカーの定量情報を所定の基準値と比較し、
    前記少なくとも1つのバイオマーカーは、腫瘍細胞(tumor cell)、リンパ球細胞(lymphocytes cell)及び腫瘍純度(tumor purity)の少なくとも1つを含む、請求項2に記載のコンピューティング装置。
  6. 前記プロセッサは、
    前記病理スライド画像に関する少なくとも1つの情報及び前記評価の結果を共に表示するように、ディスプレイ装置を制御する、請求項1に記載のコンピューティング装置。
  7. 前記プロセッサは、
    前記評価の結果に応じて前記分析の結果を選択的に表示するように、ディスプレイ装置を制御する、請求項1に記載のコンピューティング装置。
  8. 前記プロセッサは、
    前記評価の結果及び前記評価の根拠を含むレポートを生成する、請求項1に記載のコンピューティング装置。
  9. 前記プロセッサは、
    前記病理スライド画像を癌領域(cancer region)、癌基質領域(cancer stroma region)、壊死領域(necrosis region)及びバックグラウンド領域(background)の少なくとも1つに分類し、前記病理スライド画像に表された複数の細胞を腫瘍細胞(tumor cell)、リンパ球細胞(lymphocytes cell)及びその他の細胞の少なくとも1つに分類する、請求項1に記載のコンピューティング装置。
  10. 病理スライド画像に表された少なくとも1つの対象体を分析するステップと、
    前記分析の結果に基づいて前記病理スライド画像の品質を評価するステップと、
    前記評価の結果に応じて少なくとも1つの追加動作を行うステップとを含む、病理スライド画像の品質を評価する方法。
  11. 前記評価するステップは、
    前記病理スライド画像から取得された少なくとも1つの定量情報を用いて少なくとも1回の第1テストを行うステップと、
    前記病理スライド画像に表された少なくとも1つのバイオマーカーの定量情報を用いて第2テストを行うステップとを含む、請求項10に記載の方法。
  12. 前記第2テストは、
    前記第1テストをパスした病理スライド画像に対して行われる、請求項11に記載の方法。
  13. 前記第1テストを行うステップにおいて、
    前記病理スライド画像から確認された分析可能領域(analyzable region)に対応する定量情報、及び前記病理スライド画像に含まれる癌領域(cancer region)に対応する定量情報の少なくとも1つを所定の基準値(reference value)と比較する、請求項11に記載の方法。
  14. 前記第2テストを行うステップにおいて、
    前記病理スライド画像に表された少なくとも1つのバイオマーカーの定量情報を所定の基準値と比較し、
    前記少なくとも1つのバイオマーカーは、腫瘍細胞(tumor cell)、リンパ球細胞(lymphocytes cell)及び腫瘍純度(tumor purity)の少なくとも1つを含む、請求項11に記載の方法。
  15. 前記少なくとも1つの追加動作を行うステップにおいて、
    前記病理スライド画像に関する少なくとも1つの情報及び前記評価の結果を共に表示する、請求項10に記載の方法。
  16. 前記少なくとも1つの追加動作を行うステップにおいて、
    前記評価の結果に応じて前記分析の結果を選択的に表示する、請求項10に記載の方法。
  17. 前記少なくとも1つの追加動作を行うステップにおいて、
    前記評価の結果及び前記評価の根拠を含むレポートを生成する、請求項10に記載の方法。
  18. 前記分析するステップは、
    前記病理スライド画像を癌領域(cancer region)、癌基質領域(cancer stroma region)、壊死領域(necrosis region)及びバックグラウンド領域(background)の少なくとも1つに分類するステップと、
    前記病理スライド画像に表された複数の細胞を腫瘍細胞(tumor cell)、リンパ球細胞(lymphocytes cell)及びその他の細胞の少なくとも1つに分類するステップとを含む、請求項10に記載の方法。
  19. 請求項10に記載の方法をコンピュータで実行するためのプログラムを記録した、コンピュータで読み取り可能な記録媒体。
JP2023084762A 2022-05-24 2023-05-23 病理スライド画像の品質を評価する方法及び装置 Pending JP2023172951A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0063320 2022-05-24
KR20220063320 2022-05-24
KR1020230038276A KR102671745B1 (ko) 2022-05-24 2023-03-23 병리 슬라이드 이미지의 품질을 평가하는 방법 및 장치
KR10-2023-0038276 2023-03-23

Publications (1)

Publication Number Publication Date
JP2023172951A true JP2023172951A (ja) 2023-12-06

Family

ID=86497672

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023084762A Pending JP2023172951A (ja) 2022-05-24 2023-05-23 病理スライド画像の品質を評価する方法及び装置

Country Status (3)

Country Link
US (1) US12014502B2 (ja)
EP (1) EP4283623A1 (ja)
JP (1) JP2023172951A (ja)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000126182A (ja) 1998-10-27 2000-05-09 Mitani Sangyo Co Ltd 腫瘍診断方法
KR101640673B1 (ko) 2014-11-25 2016-07-18 경북대학교 산학협력단 종양내 대사적 비균질성 요인을 정량화하는 방법
CA3081643A1 (en) * 2017-11-06 2019-05-09 University Health Network Platform, device and process for annotation and classification of tissue specimens using convolutional neural network
US11164312B2 (en) * 2017-11-30 2021-11-02 The Research Foundation tor the State University of New York System and method to quantify tumor-infiltrating lymphocytes (TILs) for clinical pathology analysis based on prediction, spatial analysis, molecular correlation, and reconstruction of TIL information identified in digitized tissue images
KR102280204B1 (ko) 2018-12-13 2021-07-21 연세대학교 산학협력단 신장 세포 암의 종양의 병리학적 등급에 대한 정보를 제공하기 위한 방법 및 장치
JP2022527264A (ja) 2019-03-26 2022-06-01 テンプス ラブス,インコーポレイティド 病理組織スライド画像からのバイオマーカーの判定方法
JP2023501126A (ja) * 2019-11-22 2023-01-18 エフ.ホフマン-ラ ロシュ アーゲー 組織画像分類用のマルチインスタンス学習器
KR102498686B1 (ko) 2020-01-06 2023-02-09 페이지.에이아이, 인크. 품질 제어를 위해 전자 이미지들을 분석하기 위한 시스템들 및 방법들
JP2023523882A (ja) 2020-05-08 2023-06-08 ルニット インコーポレイテッド 免疫抗癌剤に対する反応を予測する方法及びシステム
CA3176898A1 (en) * 2020-06-19 2021-12-23 Jason Locke Systems and methods to process electronic images to produce a tissue map visualization

Also Published As

Publication number Publication date
US20230386028A1 (en) 2023-11-30
EP4283623A1 (en) 2023-11-29
US12014502B2 (en) 2024-06-18

Similar Documents

Publication Publication Date Title
Chen et al. How to develop machine learning models for healthcare
US10733726B2 (en) Pathology case review, analysis and prediction
Zaidi et al. Evaluation of the diagnostic accuracy of Computer-Aided Detection of tuberculosis on Chest radiography among private sector patients in Pakistan
JP2021529954A (ja) 癌分類子モデル、機械学習システム、および使用方法
JP2018504674A (ja) 早期癌予知のための計算病理学システム及び方法
KR102498686B1 (ko) 품질 제어를 위해 전자 이미지들을 분석하기 위한 시스템들 및 방법들
CN115210772B (zh) 用于处理通用疾病检测的电子图像的系统和方法
Engle et al. Performance of Qure. ai automatic classifiers against a large annotated database of patients with diverse forms of tuberculosis
Scott et al. Evidence-based medicine and machine learning: a partnership with a common purpose
Daly et al. Evaluating concentration estimation errors in ELISA microarray experiments
Greenberg et al. Automatic ganglion cell detection for improving the efficiency and accuracy of hirschprung disease diagnosis
KR102111820B1 (ko) 동적 네트워크 바이오마커의 검출 장치, 검출 방법 및 검출 프로그램
US20200342962A1 (en) Automatically generating rules for lab instruments
Kocher et al. Tumor burden of lung metastases at initial staging in breast cancer patients detected by artificial intelligence as a prognostic tool for precision medicine
JP2023138488A (ja) 病理スライド画像を処理する方法及び装置。
KR102671745B1 (ko) 병리 슬라이드 이미지의 품질을 평가하는 방법 및 장치
JP2023172951A (ja) 病理スライド画像の品質を評価する方法及び装置
Ray et al. A robust COVID-19 mortality prediction calculator based on lymphocyte count, urea, C-reactive protein, age and sex (LUCAS) with chest X-rays
KR20240085899A (ko) 병리 슬라이드 이미지를 평가하는 방법 및 장치
JP2016201123A (ja) 動的ネットワークバイオマーカーの検出装置、検出方法及び検出プログラム
US20090006055A1 (en) Automated Reduction of Biomarkers
JP2020064642A (ja) 検出装置、記録媒体、検出方法及び検出プログラム
US20240212146A1 (en) Method and apparatus for analyzing pathological slide images
KR20230026950A (ko) 병리 슬라이드 이미지로부터 예측된 종양 함량에 기초하여 검사와 관련된 가이드를 제공하는 방법 및 장치
EP4369354A1 (en) Method and apparatus for analyzing pathological slide images