JP2020521946A - 病理学用の拡張現実顕微鏡 - Google Patents

病理学用の拡張現実顕微鏡 Download PDF

Info

Publication number
JP2020521946A
JP2020521946A JP2019553446A JP2019553446A JP2020521946A JP 2020521946 A JP2020521946 A JP 2020521946A JP 2019553446 A JP2019553446 A JP 2019553446A JP 2019553446 A JP2019553446 A JP 2019553446A JP 2020521946 A JP2020521946 A JP 2020521946A
Authority
JP
Japan
Prior art keywords
microscope
biological sample
view
machine learning
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019553446A
Other languages
English (en)
Other versions
JP6947841B2 (ja
Inventor
マーティン・クリスチャン・スタンプ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2020521946A publication Critical patent/JP2020521946A/ja
Application granted granted Critical
Publication of JP6947841B2 publication Critical patent/JP6947841B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/368—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements details of associated display arrangements, e.g. mounting of LCD monitor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

組織または血液などの生体試料を含むスライドを見るために病理医によって使用されるタイプの顕微鏡が、スライドが新しい場所に動かされると、または倍率もしくは焦点の変更が行われると、実質的にリアルタイムに、ヒートマップ、ボーダー、または注釈など、視野への強調の投影を与えられる。強調は、病理医が、癌細胞または病原体の存在が陽性であるなど、試料を特徴付ける、または試料を分類するのを支援する。

Description

本開示は、病理学の分野に関し、より詳細には、病理医が、たとえば癌細胞を含んでいる、またはプラスモジウム原虫(plasmodium protozoa)もしくは結核菌などの病原体(pathological agent)を含んでいる、血液または組織などの生体試料を分類するのを支援するための、改良された顕微鏡システムおよび方法に関する。
組織などの生体試料を特徴付けるまたは生体試料を分類するために、試料は、顕微鏡スライド上に置かれ、病理医が、顕微鏡を用いて拡大した状態でそれを見る。試料は、試料中の潜在的な関心の特徴をより容易に見られるようにするために、ヘマトキシリンとエオシン(H&E)などの薬剤で染色される場合がある。代替的には、試料は、染色され、高解像度デジタルスキャナで走査される場合があり、病理医は、ワークステーションまたはコンピュータの画面上で試料の拡大画像を見る。
たとえば、転移についてのリンパ節の評価は、乳癌を含む多くのタイプの固形腫瘍の段階付けの中心となる。このプロセスは、高度な技能を有する病理医を必要とし、特に、癌に対して陰性であるか、癌の病巣が小さい節の場合、かなり時間がかかり、誤りを起こしやすい。現在の標準治療は、ヘマトキシリンとエオシンで染色された節生検のデジタルスライドの検査を含む。しかしながら、プロセスの感度に悪影響を及ぼす、読取り者の疲労、ならびに検者内および検者間信頼性(intra and inter-grader reliability)などの、手動の読取りに固有のいくつかの限界がある。リンパ節組織内の腫瘍細胞の存在が、癌に対する新しいまたはより積極的な治療の根拠となり、患者の生存の可能性を上げる場合があるので、リンパ節生検スライドの正確な検討および評価が重要である。
従来技術は、癌の診断、特徴付け、および/または段階付けを改善するために、デジタル組織画像のコンテキストへの深層学習技法および訓練済みニューラルネットワークの適応の記述を含む。関連する背景技術は、以下の論文を含む。G. Litjensら、Deep learning as a tool for increasing accuracy and efficiency of histopathological diagnosis、www.nature.com/scientificreports 6:26286 (2016年5月)、D. Wangら、Deep Learning for Identifying Metastatic Breast Cancer, arXiv:1606.05718v1 (2016年6月)、A. Madabhushiら、Image analysis and machine learning in digital pathology: Challenges and opportunities、Medical Image Analysis 33、170〜175頁(2016)、A. Schuambergら、H&E-stained Whole Slide Deep Learning Predicts SPOP Mutation State in Prostate Cancer、bioRxiv preprint http:/.bioRxiv.or/content/early/2016/07/17/064279。当該のさらなる従来技術は、Quinnら、Deep Convolutional Neural Networks for Microscopy-based Point of Care Diagnostics、Proceedings of International Conference on Machine Learning for Health Care 2016を含む。
当技術は、手術に役立つように顕微鏡の視野を拡張するいくつかの例について説明している。米国特許出願公開2016/0183779および公開された国際出願公開2016/130424A1を参照されたい。また、Watsonら、Augmented microscopy: real-time overlay of bright-field and near-infrared fluorescence images、Journal of Biomedical Optics、vol. 20 (10) 2015年10月を参照されたい。
米国特許出願公開第2016/0183779号 国際出願公開2016/130424A1 米国特許出願公開2016/0342891
G. Litjensら、Deep learning as a tool for increasing accuracy and efficiency of histopathological diagnosis、www.nature.com/scientificreports 6:26286 (2016年5月) D. Wangら、Deep Learning for Identifying Metastatic Breast Cancer, arXiv:1606.05718v1 (2016年6月) A. Madabhushiら、Image analysis and machine learning in digital pathology: Challenges and opportunities、Medical Image Analysis 33、170〜175頁(2016) A. Schuambergら、H&E-stained Whole Slide Deep Learning Predicts SPOP Mutation State in Prostate Cancer、bioRxiv preprint http:/.bioRxiv.or/content/early/2016/07/17/064279 Quinnら、Deep Convolutional Neural Networks for Microscopy-based Point of Care Diagnostics、Proceedings of International Conference on Machine Learning for Health Care 2016 Watsonら、Augmented microscopy: real-time overlay of bright-field and near-infrared fluorescence images、Journal of Biomedical Optics、vol. 20 (10) 2015年10月 Edwardsら、Augmentation of Reality Using an Operating Microscope、J. Image Guided Surgery. Vol. 1 no. 3 (1995) Edwardsら、Stereo augmented reality in the surgical microscope、Medicine Meets Virtual Reality (19997) J.D. Westwardら(eds.) IOS Press、102頁 C. Szegedyら、Going Deeper with Convolutions、arXiv:1409.4842 [cs.CV] (2014年9月) C. Szegedyら、Rethinking the Inception Architecture for Computer Vision、arXiv:1512.00567 [cs.CV] (2015年12月) C. Szegedyら、Inception-v4、Inception-ResNet and the Impact of Residual Connections on Learning、arXiv:1602.0761 [cs.CV] (2016年2月) http://ufldl.stanford.edu/tutorial/supervised/SoftmaxRegression/
一態様では、顕微鏡を用いた生体試料(血液、組織、痰、便など)を含む顕微鏡スライドの検討を支援するための方法について説明する。この方法は、カメラ付きの顕微鏡の接眼レンズを通して見られる試料の視野の拡大されたデジタル画像を取り込むステップを含む。機械学習パターン認識器が、画像を受け取り、デジタル画像のデータから試料中の関心部位を識別する。そのような関心部位は、癌細胞を含む可能性がある部位であることがあり、または他の適用例では、マラリアを引き起こす血液試料中のプラスモジウム原虫、または痰試料中の結核菌の識別であることがある。この方法はさらに、顕微鏡接眼レンズを通した視野にオーバーレイとして強調を重畳するステップを含む。強調は、「ヒートマップ」または癌細胞を含む可能性が高い色分けされた領域、関心領域境界、注釈(前立腺組織試料の場合のグリソンスコアなど)、測定値、または他の指標など、特定の用途に応じて、いくつかの形態をとることができる。使用者が顕微鏡光学系に対して試料を動かす、または倍率もしくは焦点を変えると、新しい画像がカメラによって取り込まれ、機械学習パターン認識器に供給され、新しい関心領域境界、注釈、および/または他のタイプの強調が、接眼レンズを通した視野に重ね合わせられる。視野に重畳された、新しい強調のこの表示は、病理医が顕微鏡光学系に対してスライドを動かし、焦点を変え、または倍率を変えて、接眼レンズを通して標本を観察し続けるとき、実質的なリアルタイムで(すなわち、数秒さらには数分の1秒以内で)現れる。重ね合わせられた強調は、病理医が、たとえば、試料のタイプに応じて、癌性細胞もしくは組織を含んでいる、または病原体を含んでいる生体試料を分類するまたは特徴付けるのを支援する。
本開示は、生体試料を含むスライドを保持するためのステージ、および接眼レンズを有する顕微鏡、顕微鏡の接眼レンズを通して見られる試料の拡大されたデジタル画像を取り込むデジタルカメラ、ならびに、カメラから画像を受け取る機械学習パターン認識器を含む計算ユニットの形態のシステムとして特徴付けることもできる。パターン認識器は、「推論」を行う、すなわち、現在ステージに置かれているタイプの生体試料において、関心領域(たとえば、癌性細胞または組織、ウイルスなどの病原体、原生動物または細菌、寄生虫の卵など)を識別するために訓練される。パターン認識器は、カメラによって取り込まれた画像上の関心領域を認識する。計算ユニットは、関心領域境界、注釈、ヒートマップ、および/または他の情報の形態で、接眼レンズを通したビュー上に重ね合わせられる強調を生成する。使用者が顕微鏡に対して試料を動かす、または倍率もしくは焦点を変えると、さらなる強調が生成される。
一態様では、接眼レンズを有する顕微鏡を用いた生体試料を含むスライドの検討において使用者を支援するための方法が提供され、この方法は、(a)カメラを用いて、顕微鏡の接眼レンズを通して見られる試料のビューのデジタル画像を取り込むステップと、(b)カメラによって取り込まれた画像から試料中の関心部位を識別するために機械学習パターン認識器を使用するステップと、(c)顕微鏡の接眼レンズを通して見られる試料のビューにオーバーレイとして強調を重畳するステップであって、強調は試料中の識別された関心部位に基づいている、重畳するステップとを含み、(d)試料が、顕微鏡光学系に対して動かされるとき、または顕微鏡の倍率もしくは焦点が変わるとき、試料の新しいビューの新しいデジタル画像がカメラによって取り込まれ、機械学習パターン認識器に供給され、新しい強調が、接眼レンズを通して見られる試料の新しいビュー上に実質的なリアルタイムで重畳され、それによって強調は、使用者が生体試料を分類するまたは特徴付けるのを支援する。
ステップ(b)は、強調の実質的なリアルタイムの生成を容易にするために、推論アクセラレータを使用するステップをさらに含んでもよい。方法は、異なるタイプの生体試料に対して、新しい機械学習パターン認識器を受け取り、計算ユニットにローカルに記憶するために、顕微鏡に結合された計算ユニットにインターフェースを設けるステップをさらに含んでもよい。生体試料は、組織、リンパ節、血液、痰、尿、便、水、土、および食品からなる試料の群から選択されるタイプであってもよい。関心領域は、癌性細胞または組織、細胞構造、細胞のタイプ、または病原体を含む場合があり、病原体は、場合によっては、プラスモジウム、結核菌、マラリア原虫、ウイルス、寄生虫の卵からなる群から選択される病原体である。強調は、ヒートマップ、関心領域境界、注釈、グリソンスコア、分類尤度予測(classification likelihood prediction)、細胞数、および物理的測定値からなる強調の群から選択されてもよく、物理的測定値は、場合によっては腫瘍径である。方法は、顕微鏡の現在のビュー内の試料に類似している1つまたは複数の他の試料から1つまたは複数の画像領域を、顕微鏡に関連付けられたワークステーションのモニタ上に表示するステップをさらに含んでもよい。方法は、表示された1つまたは複数の他の試料に関連付けられたメタデータを表示するステップをさらに含んでもよい。
方法は、顕微鏡の接眼レンズを通して見られる試料のビューの画像データおよび強調を、外部ディスプレイに出力するステップをさらに含んでもよい。顕微鏡は、接眼レンズに対してスライドを支持し、動かすためのモータ駆動ステージをさらに含んでもよく、方法は、生体試料中の潜在的な関心部位の予備的検出を行うために、モータ駆動ステージおよびデジタルカメラ、ならびに機械学習パターン認識器を使用するステップをさらに含む。方法は、使用者によって見られるように潜在的な関心部位を配置するためにステージを動かすようモータ駆動ステージを制御することと、潜在的な関心部位の各々で強調を生成することとを行うステップをさらに含んでもよい。方法は、試料の統合されたビューを生成するために、生体試料を含むスライドの全スライド走査から取得された試料の別個のデジタル画像と、重畳された強調を有する顕微鏡の試料のビューを統合するステップをさらに含んでもよい。方法は、試料の統合されたビュー上で試料のビューをハイライト表示するステップをさらに含んでもよい。顕微鏡は、接眼レンズに対してスライドを支持し、動かすためにモータ駆動ステージをさらに含んでもよく、方法は、別個のデジタル画像上で部位を指定することと、指定された部位が顕微鏡の視野に入るようにモータ駆動ステージを動かすこととを行うステップをさらに含む。方法は、別個のデジタル画像上の指定された部位に関連付けられた情報を、試料のビューに強調として投影することをさらに含んでもよく、投影される情報は、場合によってはラベルおよび/または注釈を含む。
方法は、ネットワークを介してリモートデータソースから機械学習パターン認識器のさらなるアンサンブル(ensemble)をダウンロードするステップをさらに含んでもよい。方法は、顕微鏡の倍率を示すデータを受け取ることと、受け取ったデータに基づいて、複数の機械学習パターン認識器のうちのある機械学習パターン認識器を選択することとをさらに含んでもよい。選択された機械学習パターン認識器は、カメラによって取り込まれた画像から試料中の関心部位を識別するために使用されてよい。
一態様では、生体試料を含むスライドの検討において使用者を支援するためのシステムが提供され、このシステムは、生体試料を含むスライドを保持するためのステージ、少なくとも1つの対物レンズ、および接眼レンズを有する顕微鏡と、顕微鏡の接眼レンズを通して見られる試料のビューのデジタル画像を取り込むように構成されたデジタルカメラと、デジタルカメラからデジタル画像を受け取るように構成された機械学習パターン認識器を含む計算ユニットであって、パターン認識器が現在ステージに置かれているタイプの生体試料中の関心領域を識別するように訓練され、パターン認識器がカメラによって取り込まれたデジタル画像上の関心領域を認識し、計算ユニットが、顕微鏡の接眼レンズを通して見られる試料のビューに強調を表すデータを生成し、強調は、試料中の関心領域に基づく、計算ユニットと、視野に強調を重畳するために接眼レンズに結合された1つまたは複数の光学構成要素とを含み、カメラ、計算ユニット、および1つまたは複数の光学構成要素は、試料が顕微鏡光学系に対して動かされるとき、または顕微鏡の倍率もしくは焦点が変わるとき、試料の新しいビューの新しいデジタル画像がカメラによって取り込まれ、機械学習パターン認識器に供給され、新しい強調が、実質的なリアルタイムで接眼レンズを通して見られる試料の新しい視野に重畳されるように構成される。
カメラは、あるフレームレートでデジタル画像を取り込み、実質的に連続して作動されてよい。システムは、強調の実質的なリアルタイムの生成を容易にする、デジタル画像上で動作する推論アクセラレータをさらに含んでもよい。システムは、異なるタイプの生体試料用の新しい機械学習パターン認識器を含むポータブルコンピュータ記憶媒体への計算ユニット内のインターフェースをさらに含んでよい。生体試料は、組織、リンパ節、血液、痰、尿、便、水、土、および食品からなる試料の群から選択されるタイプであってもよい。関心領域は、癌性細胞または組織、細胞構造、細胞のタイプ、または病原体を含む場合があり、病原体は、場合によっては、プラスモジウム、結核菌、マラリア原虫、ウイルス、寄生虫の卵からなる群から選択される。強調は、ヒートマップ、関心領域境界、注釈、グリソンスコア、分類尤度予測、細胞数、および物理的測定値からなる強調の群から選択されてもよく、物理的測定値は、場合によっては腫瘍径である。システムは、顕微鏡の現在のビュー内の試料に類似している1つまたは複数の他の試料から1つまたは複数の画像領域を表示するディスプレイを有する、顕微鏡に関連付けられた外部ワークステーションをさらに含んでもよい。ディスプレイは、表示された1つまたは複数の他の試料に関連付けられたメタデータを表示してもよい。システムは、ディスプレイをさらに含んでもよく、計算ユニットは、顕微鏡を通して見られる試料のビューの画像データおよび強調をディスプレイ上に出力する。
顕微鏡ステージは、接眼レンズに対してスライドを支持し、動かすためのモータ駆動ステージを含んでもよく、顕微鏡、モータ駆動ステージ、デジタルカメラ、および機械学習パターン認識器は、生体試料中の潜在的な関心部位の予備的検出を行うモードで作動される。モータは、使用者によって見られるように潜在的な関心部位の各々を配置するために、ステージを動かすように構成されてもよく、計算ユニットおよび1つまたは複数の光学構成要素が、潜在的な関心部位の各々で強調を生成する。システムは、計算ユニットに結合されたディスプレイを有する外部ワークステーションをさらに含んでもよく、重畳された強調を有する顕微鏡上の試料のビューは、試料の統合されたビューを生成するために、生体試料を含むスライドの全スライド走査から取得された試料の別個のデジタル画像と統合され、ディスプレイ上に表示される。計算ユニットは、デジタルカメラへのインターフェースと、1つまたは複数の光学構成要素へのインターフェースとを有する汎用コンピュータの形態であってもよい。計算ユニットは、コンピュータネットワークへのインターフェースをさらに含んでもよい。
さらなる態様では、顕微鏡接眼レンズ、試料を含むスライドを保持するためのステージ、および顕微鏡接眼レンズの視野の画像を取り込むためのデジタルカメラを有する顕微鏡システムにおいて改良が行われ、改良は、顕微鏡に結合された計算ユニットが、異なる倍率で試料のスライドのセットで訓練された、顕微鏡に結合された深層ニューラルネットワークパターン認識器のアンサンブルを含み、アンサンブルがカメラによって生成された画像を受け取ることを含む。
計算ユニットは、異なるタイプの生体試料または顕微鏡の適用例のために新しい機械学習パターン認識器を含むポータブルコンピュータ記憶媒体へのインターフェースをさらに含んでもよい。
さらなる態様では、顕微鏡を使用する病理医によって見られる異なるタイプの生体試料用の異なる機械学習パターン認識器を各々含むポータブルコンピュータ記憶媒体の集合を組み合わせて含む装置が提供され、機械学習パターン認識器のアンサンブルの形態の異なる機械学習パターン認識器の各々が、異なる倍率レベルで訓練される。
さらなる態様では、機械学習パターン認識器を訓練する方法が提供され、この方法は、a)所与のタイプの生体試料を含む多数のスライドの全スライド画像を取得するステップと、b)顕微鏡の接眼レンズに結合されたカメラによって取り込まれたデジタル画像の光学的品質をシミュレートするために、全スライド画像にパラメータの変形を行うステップと、c)ステップb)で変形された全スライド画像を使用して機械学習パターン認識器を訓練するステップとを含む。
さらなる態様では、機械学習パターン認識器を訓練する方法が提供され、この方法は、a)カメラおよび2つ以上の対物レンズを有する、病理医によって使用されるタイプの顕微鏡を用いて、顕微鏡の2つ以上の対物レンズによって与えられる異なる倍率で顕微鏡の視野内の生体試料の多数のデジタル画像を取得するステップと、b)ステップa)で取得された画像を使用して機械学習パターン認識器のアンサンブルを訓練するステップであって、アンサンブルの各メンバーが、対物レンズの1つに関連付けられた特定の倍率で訓練される、訓練するステップとを含む。
この方法は、異なるタイプの生体試料に対して、ステップa)およびステップb)を繰り返し、それによって、機械学習パターン認識器の複数の異なるアンサンブルを生成するステップをさらに含んでもよい。この方法は、機械学習パターン認識器の複数の異なるアンサンブルを各々ポータブルコンピュータ記憶媒体に記憶するステップをさらに含んでもよい。
本開示の方法およびシステムは、顕微鏡の視野内の関心領域強調の実質的なリアルタイム表示を含む、いくつかの重要な利点を可能にする。光学経路自体は中断されず、すなわち、病理医は引き続き、デジタル表現ではなく、顕微鏡接眼レンズの視野内の実際のスライドを見る。視野に重ね合わせられる強調は、試料のタイプに合わせることができる様々な形態をとることができる。さらに、いくつかの実施形態では、ハードウェアおよびソフトウェア設計へのモジュール式手法により、任意の種類の検出または分類パターン認識モデルを計算ユニットで実行することができるようになる。例には、以下が含まれる。
a)一般的な腫瘍または癌性細胞の存在、たとえば、前立腺癌、乳癌、またはリンパ節組織内の癌の存在。
b)試料内のマラリア原虫または結核菌の検出。
c)マクロファージなどのような組織学的特徴の検出。
d)組織試料の深い特徴付け、たとえば、グリソン3およびグリソン4の特徴を示す前立腺組織の検出、および特徴付けのレベルまたは程度の使用者選択。
d)病理以外の、光学顕微鏡を使用する任意の検出または分類タスク、たとえば、電子部品の品質管理検査。
本開示の方法およびシステムは、走査されたデジタル画像から関心部位を病理医が識別するのに優るいくつかの利点を与え、一般に病理学のための魅力的な新しい代替方法を提示する。まず第1に、病理医は、画面上のデジタル画像よりも、顕微鏡上の物理的スライドガラスを見ることに慣れている。顕微鏡は、より大きい視野を有し、z平面での焦点合わせを可能にするが、これは、多くの形式で、最適であるが単一の焦点深度の画像を取り込むにすぎない全スライド走査画像では、必ずしもそうではない。物理顕微鏡は、しばしば、走査されたデジタル画像よりも優れた光学的品質を有し、ボーダーライン事例の診断または特徴付けに有効である。加えて、病理医は、全スライドスキャナ(whole slide scanner)が小さい組織片を見落とした、または小さい視野で焦点が外れていたかどうかについて心配する必要がない。さらに、物理スライドを使用すると、スライドを走査し、アップロードすることに伴う遅延の必要なく、迅速な診断が可能になる。加えて、全スライドスキャナおよび関連する機器およびワークステーションは非常に高価であり、場合によっては、本開示の特徴を有する顕微鏡よりも数桁多い、数十万ドルかかる。
さらに、卓上顕微鏡のスモールフォームファクタおよび低電力要件は、リモートエリアで、たとえば、アフリカまたは遠く離れた太平洋諸島でのマラリア検出または癌スクリーニングで、本開示の顕微鏡を使用することを実現可能にする。加えて、ローカルでまたはオフラインで推論を実行する能力を与えることによって、データをアップロードする必要がなく、データ共有制限、インターネット接続性、ならびにアップロード帯域幅要件をなくす。
本開示の別の態様では、システムが、顕微鏡接眼レンズを通した現在のビューに強調を重畳するまたは重ね合わせるためにデジタルカメラおよび光学系を有する顕微鏡に結合された、異なる倍率のスライドのセットで訓練された深層ニューラルネットワークパターン認識器のアンサンブルを記憶する計算ユニットを含む。一実施形態では、パターン認識適用例の各タイプに1つの、そのようなアンサンブルのいくつかが、たとえば、SDカードなどの個別のポータブルコンピュータ記憶媒体に記憶される。計算ユニットが、特定の適用例(たとえば、乳癌検出、前立腺癌検出、マラリア検出など)のためのパターン認識器のアンサンブルを各々入れた多数の個々のSDカードのうちのいずれか1つを受け入れるためのインターフェース(たとえば、SDカードスロット)を有し、病理医のニーズが進展すると、顕微鏡が異なる病理適用例のためのソフトウェアおよびモデルで適合され、アップグレードされることを可能にする、モジュラーシステムを想定する。
代替的に、計算ユニットのインターフェースは、インターネットなど、ローカルまたはワイドエリアネットワークにつながってもよく、機械学習パターン認識器のさらなるアンサンブルが、リモートデータストア、クラウド、またはリモートサーバなどのリモートロケーションから計算ユニットにダウンロードされることがある。
本明細書において使用される「生体試料」という用語は、血液または血液成分、植物または動物からの組織もしくは組織片、痰、便、尿、または他の体内物質、ならびに潜在的に病原体を含む水、土、または食品試料を含むよう、広く定義されるものとする。
任意の接続される病理医ワークステーションと併せて示される、病理学のための拡張現実顕微鏡システムの概略図である。 所与の倍率レベル、たとえば10xでの乳癌標本を示す顕微鏡の視野の図である。 癌性である可能性がある試料中の細胞があるレジストリで視野に「ヒートマップ」の形態の強調が重畳された、図1の顕微鏡を使用して病理医が見る拡張されたビューの図である。図2Bのヒートマップの重畳は、病理医の注意を特に癌性である可能性がある関心部位に向けるので、病理医が試料を特徴付けるのを支援する。病理医が図2Bのヒートマップ部位でズームインするために、顕微鏡対物レンズを変える(たとえば、40Xレンズに変える)場合、試料の新しい視野が顕微鏡接眼レンズを通して見られ、新しい画像が取り込まれることになり、実質的なリアルタイムで(たとえば、1または2秒で)新しいヒートマップが視野(図示せず)に重ね合わせられて、病理医が試料を検査するのをさらに支援することになる。 所与の倍率レベル、たとえば10xでの前立腺癌標本を示す顕微鏡の視野の図である。 癌性である可能性がある試料中の細胞の周囲を囲む、輪郭の形態の強調が視野に重畳された、図1の顕微鏡を使用して病理医が見る拡張されたビューの図である。強調はさらに、注釈、この例ではグリソンスコアグレード分類および腫瘍サイズデータを与えるテキストボックスを含む。図3Bの輪郭および注釈の重畳は、病理医の注意を特に癌性である可能性がある関心部位に向け、試料に対する提案されるスコアを与えるので、病理医が試料を特徴付けるのを支援する。病理医が異なる深度で輪郭内の関心部位を調べるために、焦点面位置または深度を変える(すなわち、顕微鏡の焦点を調整する)場合、試料の新しい視野が、顕微鏡接眼レンズを通して見られ、カメラによって取り込まれることになり、実質的なリアルタイムで(たとえば、1または2秒以内で)新しい強調(図示せず)、たとえば輪郭および注釈テキストボックスが、視野に重ね合わせられて、試料の病理医の検査をさらに支援することになる。 低倍率での血液試料の顕微鏡を通した視野の図である。 図4Aの視野を示すが、病理医が試料を特徴付けるのを支援するために、試料中に存在するマラリア原虫(プラスモジウム)を識別する矩形の形態の強調が視野に重ね合わせられた図である。 図1の計算ユニットのより詳細なブロック図である。 図1のシステムのワークフローを示すフローチャートである。 ヒートマップの形態の強調を解釈するためのカラーコードまたはスケールを示す図である。 顕微鏡スライド画像のセットで事前訓練された、独立した深層畳み込みニューラルネットワークのアンサンブルの形態の機械学習パターン認識器の図である。アンサンブルの各メンバーが、特定の倍率レベルで訓練される。 その各々が、乳房組織内の乳癌の検出、前立腺組織内の癌細胞の検出および特徴付けなど、特定の用途のための顕微鏡スライド画像のセットで訓練された、独立した深層畳み込みニューラルネットワークのアンサンブルを表すコード、パラメータ、および関連するデータを入れたポータブルコンピュータ記憶媒体のセットの図である。顕微鏡システムの能力を拡張したい、図1のシステムの使用者は、図9の媒体の1つまたは複数を取得し、深層畳み込みニューラルネットワークの関連するアンサンブルを、図1および図5のローカル計算ユニットにロードすることができる。代替的に、深層畳み込みニューラルネットワークのさらなるアンサンブルが、計算ユニットのネットワークインターフェースを介して、リモートデータストアからダウンロードされることがある。
図1は、任意で接続される病理医ワークステーション140と併せて示される、病理学のための拡張現実顕微鏡システム100の概略図である。システム100は、接眼レンズ104(オプションとして実体顕微鏡の場合は第2の接眼レンズ)従来の病理医顕微鏡102を含む。ステージ110が、生体試料を含むスライド114を支持する。照明光源112が、試料を通して光を投射する。顕微鏡対物レンズ108が、矢印106によって示されるように試料の画像を光学系モジュール120に向ける。異なるレベルの倍率を与えるために、さらなるレンズ108Aおよび108Bが顕微鏡に設けられる。焦点調整ノブ160により、使用者はレンズ108の焦点深度を変えることができる。
顕微鏡は、接眼レンズを通した視野に強調を重ね合わせるために、半透明鏡122またはビームコンバイナ/スプリッタなどの構成要素を組み込む光学系モジュール120を含む。光学系モジュール120は、病理医が、従来の顕微鏡で見るように顕微鏡の視野を見ること、および要求に応じてまたは自動的に、拡張現実(AR)表示生成ユニット128およびレンズ130によって視野に投影される視野上のオーバーレイとして強調(ヒートマップ、境界または輪郭、注釈など)を見ることを可能にする。表示ユニット128によって生成された画像は、半透明鏡122によって顕微鏡の視野と結合される。半透明鏡の代替として、光学経路に強調を投影するために透過ネガ画像(transmissive negative image)を使用する液晶ディスプレイ(LCD)が、光学経路に配置されることがある。
光学系モジュール120は、様々な異なる形態をとることができ、そのようなモジュールを説明するために当技術分野では様々な名称が使用される。たとえば、光学系モジュール120は、「投影ユニット」、「画像注入モジュール」、または「光学シースルーディスプレイ技術」と呼ばれる。そのようなユニットについて説明する文献は、米国特許出願公開2016/0183779(図1、図11、図12、図13の説明参照)および公開されたPCT出願WO 2016/130424A1(図2、図3、図4A〜図4Cの説明参照)、Watsonら、Augmented microscopy: real-time overlay of bright-field and near-infrared fluorescence images、Journal of Biomedical optics、vol. 20 (10) 2015年10月、Edwardsら、Augmentation of Reality Using an Operating Microscope、J. Image Guided Surgery. Vol. 1 no. 3 (1995)、Edwardsら、Stereo augmented reality in the surgical microscope、Medicine Meets Virtual Reality (19997) J.D. Westwardら(eds.) IOS Press、102頁を含む。
半透明鏡122は、顕微鏡の視野を、両方の接眼レンズ104に、またデジタルカメラ124に向ける。カメラ用のレンズは、図示していないが、従来型である。カメラは、約10または30フレーム毎秒で動作する高解像度(たとえば、16メガピクセル)ビデオカメラの形態をとってもよい。デジタルカメラは、顕微鏡の接眼レンズを通して見られる試料の拡大画像を取り込む。カメラによって取り込まれたデジタル画像は、計算ユニット126に供給される。計算ユニット126については、図5でより詳細に説明する。代替的に、カメラは、Cannonによって開発され、2015年9月に告知された、APS-Hサイズ(約29.2×20.2mm)の250メガピクセルCMOSセンサーなど、超高解像度デジタルカメラの形態をとってもよい。
簡潔に言えば、計算ユニット126は、カメラから画像を受け取る機械学習パターン認識器を含む。機械学習パターン認識器は、検査中の生物標本と同じタイプの顕微鏡スライド画像のセットで訓練される深層畳み込みニューラルネットワークの形態をとってもよい。加えて、パターン認識器は、好ましくは、異なるレベルの倍率、たとえば、5X、10X、20X、40Xのスライドのセットで各々訓練された、パターン認識器のアンサンブルの形態をとることになる。パターン認識器は、ステージに現在置かれているタイプの生体試料において、画像中の関心領域(たとえば、癌性細胞または組織、ウイルスまたは細菌などの病原体、寄生虫の卵など)を識別するために訓練される。パターン認識器は、カメラ124によって取り込まれた画像上の関心領域を認識する。計算ユニット126は、使用者によって見られる試料のビューに対する強調を表すデータを生成し、データは、AR表示ユニット128によって生成および投影され、半透明鏡122によって接眼レンズの視野と結合される。
カメラ124による画像の本質的に連続する取り込み、パターン認識器による画像上の推論の迅速な実施、および視野へのオーバーレイとしての強調の生成および投影により、図1のシステム100は、視野に強調を提供し、操作者が異なる対物レンズ108Aもしくは108Bに切り替えることによって、または焦点調整ノブ160を操作することによって焦点深度を変えることによって倍率を変えることによって、(たとえば、ステージを動かすモータ116の使用によって)スライドをナビゲートするとき、病理医が実質的なリアルタイムで標本を特徴付けるにするまたはそれを分類するのを支援し続けることができる。これは、当技術分野における実質的な進歩であり、顕微鏡を使用した従来の病理学の改良である。
「実質的なリアルタイム」によって、倍率の変更、焦点深度の変更、またはナビゲーション、その後スライド上の新しい場所での停止の10秒以内に、強調またはオーバーレイが視野に投影されることを意味する。実際には、以下で説明するように、場合によっては推論アクセラレータを使用して、たいていの場合、焦点の変更、倍率の変更、またはスライド位置の変更の約1または2秒、さらには数分の1秒以内で、新しいオーバーレイが視野に生成され、投影され得ると予想する。
したがって要約すれば、接眼レンズ104を有する顕微鏡102を用いた生体試料を含むスライド114の検討において使用者(たとえば、病理医)を支援する方法が開示される。この方法は、カメラ124を用いて、顕微鏡の接眼レンズを通して使用者によって見られる試料のデジタル画像を取り込み、カメラ124によって取り込まれた画像から試料中の関心部位を識別するために機械学習パターン認識器(200、図5、図8)を使用し、顕微鏡の接眼レンズを通して使用者によって見られる試料のビューにオーバーレイとして強調を重畳するステップを含む。使用者が顕微鏡光学系に対して試料を動かす、または顕微鏡の倍率もしくは焦点を変えると、新しい画像がカメラによって取り込まれ、機械学習パターン認識器に供給され、新しい強調が、実質的なリアルタイムで接眼レンズを通して見られる試料の新しいビューに重ね合わせられる。重ね合わせられた強調は、使用者が生体試料を分類するのを支援する。
図2Aは、所与の倍率レベル、たとえば10Xでの乳癌標本152を示す顕微鏡の視野150の図である。図2Aは、従来技術の顕微鏡の場合がそうであるように、強調のない視野を示す。図2Bは、癌性である可能性がある試料中の細胞があるレジストリで視野に「ヒートマップ」の形態の強調154が重畳された、図1の顕微鏡を使用して病理医が見る拡張されたビューの図である。「ヒートマップ」は、癌性細胞を含む可能性が高い部位を(たとえば、赤で)ハイライト表示するために、図7のコードに従って着色された、癌性である可能性がある組織を表すピクセルのセットである。図2Bのヒートマップ154の重畳は、病理医の注意を特に癌性である可能性がある関心部位に向けるので、病理医が試料を特徴付けるのを支援する。病理医が、図2Bのヒートマップ部位154でズームインする(たとえば、40Xレンズに変える)ために顕微鏡対物レンズを変える(たとえば、図1のレンズ108Aを選択する)場合、顕微鏡接眼レンズを通して試料の新しい視野が見られ、カメラに向けられる。カメラ124は、新しい画像を取り込み、実質的なリアルタイムで(たとえば、1または2秒で)新しいヒートマップ154(図示せず)が視野に生成され、重ね合わせられて、より高い倍率での試料の病理医の検査をさらに支援することになる。
1つの可能な構成では、顕微鏡102は、たとえば、スイッチで、またはレンズを含むターレットの動作を制御する顕微鏡電子機器への使用者命令によって、どの顕微鏡対物レンズが現在試料を撮像する位置にあるかを識別する能力を含み、そのような識別は、単純な電子機器を使用して計算ユニット126に渡されて、パターン認識器のアンサンブル(以下の図8参照)中の正しい機械学習パターン認識モジュールが、新しい視野画像で推論を行うように課せられる。
図3Aは、本開示の能力のない従来の顕微鏡の場合のような、所与の倍率レベル、たとえば10Xでの前立腺癌標本を示す顕微鏡の視野150の図である。図3Bは、癌性である可能性がある試料中の細胞の周囲を囲む、輪郭156の形態の強調が視野に重畳された、図1の顕微鏡を使用して病理医が見る拡張された視野150の図である。強調は、注釈、この例では、グリソンスコアグレード分類およびサイズ測定値を与えるテキストボックス158をさらに含む。この特定の例では、注釈は、輪郭内の細胞の87パーセントがグリソングレード3スコアであり、細胞の13パーセントがグリソングレード4スコアであり、グリソングレード4スコアの細胞から構成される腫瘍は、直径0.12μmを有することである。
別の可能な強調は、試料の細胞が癌性であるという信頼度スコアである。たとえば、強調は、輪郭内の細胞がグリソングレード3である信頼度85%、および輪郭内の細胞がグリソングレード4である信頼度15%など、確率または信頼度スコアの形態をとることができる。加えて、測定値(0.12μm)は、輪郭を描かれた領域全体の直径とすることができる。
図3Bの輪郭および注釈の重畳は、病理医の注意を特に癌性である可能性がある関心部位に向け、試料に対する提案されるスコアを与えるので、病理医が試料を特徴付けるのを支援する。病理医が輪郭156内の関心部位を調べるために、顕微鏡の焦点深度を変える場合、試料の新しい視野が、顕微鏡接眼レンズを通して見られ、カメラ124によって取り込まれることになり、実質的なリアルタイムで(たとえば、1または2秒以内で)新しい強調、たとえば輪郭および注釈テキストボックスが、視野(図示せず)に重ね合わせられて、試料の病理医の検査をさらに支援することになる。図1のシステムは、場合によっては、たとえば図1の取り付けられたワークステーション140上にシステムの制御装置を設けること、計算ユニット126上に単純なユーザインターフェースを設けることによって、またはAR表示ユニット128をオンおよびオフにするフットスイッチによって、病理医が強調投影をオンまたはオフにする能力を含む。
図4Aは、従来の顕微鏡において見られるような、低倍率での血液試料の顕微鏡を通した視野150の仮説的な図である。ビューは、様々な血液フラグメント(赤および白血球)および血小板などの成分を含む。図4Bは、図4Aの同じ視野を示すが、病理医が、この場合はマラリアが陽性であるとして試料を特徴付けるのを支援するために、試料中に存在するマラリア原虫(プラスモジウム)を識別する矩形156の形態の強調が視野に重ね合わせられている。
以下のTable 1(表1)は、病理学用の一般的な顕微鏡の光学特性、および図1で使用することができるカメラ124のデジタル解像度を記載する。
図5は、図1の計算ユニット126の1つの可能な形態のブロック図である。本質的に、1つの可能な構成では、計算ユニットは、図1のシステムの必要なタスクを行うように設計された専用コンピュータシステムであり、取り込まれた画像での推論、視野に対するオーバーレイ用のデジタルデータの生成、強調の実質的なリアルタイムの表示を可能にするよう十分に迅速に推論動作を行うためにオプションの推論アクセラレーションを行うこと、ならびにさらなる病理学タスクをサポートするためにさらなる機械学習モデル(パターン認識器)をロードする能力を含む。
図5では、計算ユニットは、ニューラルネットワーク用の処理命令およびパラメータを記憶するメモリ202と、取り込まれた画像での推論の実施用の中央処理ユニット204との形態の深層畳み込みニューラルネットワークパターン認識器200を含む。モジュールはまた、パターン認識器200からの推論結果に基づいてオーバーレイデジタルデータ(たとえば、ヒートマップ、注釈、輪郭など)を生成するためのグラフィックスカード206を含んでもよい。メモリ212は、現在の倍率レベルに基づいて適切な機械学習モデルを選択するための処理命令、およびリモートワークステーション140(図1)と視野の画像の座標共有(coordinate sharing)のための処理命令、および本明細書で説明する他のタスクのための処理命令を含む。計算ユニットはまた、取り込まれた画像での推論の実施をスピードアップするために推論アクセラレータ214を含んでもよい。計算ユニットはさらに、システムの他の構成要素への様々なインターフェースを含み、図示しないが、USBポートなど、カメラからデジタル画像を受け取るためのインターフェース、デジタル表示データをAR表示ユニット128に送るためのインターフェース(たとえば、ネットワークケーブルポートまたはHDMI(登録商標)ポート)208、ワークステーション140へのインターフェース(たとえば、ネットワークケーブルポート)216、ならびに異なる病理適用例のためのパターン認識およびオーバーレイ生成を行うシステムの能力を拡張するために計算ユニットがさらなるパターン認識器(図9参照)を含む携帯媒体を受け入れ、ダウンロードすることができるようにするインターフェース210(たとえば、SCリーダー)を含む。高速バス220またはネットワークが、計算ユニット126内のモジュールを接続する。実際には、さらなるハードディスクドライブ、プロセッサ、または他の構成要素が、計算ユニットに存在する場合があるが、その詳細は特に重要ではない。
別の可能な構成では、計算ユニット126は、パターン認識器およびアクセラレータ、ならびに図5に示すグラフィックス処理モジュールで拡張された汎用コンピュータ(たとえば、PC)の形態をとることができる。パーソナルコンピュータは、カメラへのインターフェース(たとえば、カメラからデジタル画像データを受け取るためのUSBポート)と、HDMI(登録商標)ポートなど、AR投影ユニットへのインターフェースと、さらなるパターン認識器のダウンロードを可能にし、かつ/または図1に示すリモートワークステーションと通信するためのネットワークインターフェースとを有する。
使用中、複数の異なるパターン認識器が計算ユニットにロードされると仮定すると、自動標本タイプ検出器または手動セレクタが、標本依存パターン認識モデル(specimen dependent pattern recognition model)(たとえば、前立腺癌と乳癌とマラリア検出)間で切り替わり、それに基づいて、適切な機械学習パターン認識器またはモデルが選ばれる。(たとえば、ステージを動かすモータ116の使用によって)新しい場所へのスライドの移動、または別の顕微鏡対物レンズ108(すなわち、倍率)への切替えが、すでに説明したように、強調の更新をトリガする。場合によっては、単に倍率が変更される場合、異なる倍率レベルで動作する異なるモデルのアンサンブル(図8参照)が、標本で推論を行い、推論結果が、スライドの同じ位置で結合されることがある。この動作がどのように行われ得るかに関するさらなる詳細は、2017年2月23日に出願された、「Method and System for Assisting Pathologist Identification of Tumor Cells in Magnified Tissue Images」という名称の係属中のPCT出願、PCT/US17/019051に記載されており、その内容が参照により本明細書に組み込まれる。別のオプションは、計算ユニットが、顕微鏡から計算ユニットへの単純な電子通信を用いて顕微鏡から現在の倍率を知ることができることである。顕微鏡は、使用者によってどのレンズが光学経路に配置されるかを監視し、選択を計算ユニットに通信する。
200に示す、図5の計算ユニットで使用されるタイプの深層畳み込みニューラルネットワークパターン認識器は、パターン認識およびマシンビジョンの技術分野で広く知られており、したがってそれの詳細な説明は、簡潔のために省略する。本パターン認識器が基づいている、Google Inception-v3深層畳み込みニューラルネットワークアーキテクチャについては、科学文献において説明されている。その内容が参照により本明細書に組み込まれる以下の参考文献、すなわち、C. Szegedyら、Going Deeper with Convolutions、arXiv:1409.4842 [cs.CV] (2014年9月)、C. Szegedyら、Rethinking the Inception Architecture for Computer Vision、arXiv:1512.00567 [cs.CV] (2015年12月)を参照し、また、2015年8月28日に出願された、C. Szegedyら、「Processing Images Using Deep Neural Networks」という米国特許出願第14/839,452号を参照する。Inception-v4として知られる第4世代が、パターン認識器306の代替アーキテクチャと見なされる。C. Szegedyら、Inception-v4、Inception-ResNet and the Impact of Residual Connections on Learning、arXiv:1602.0761 [cs.CV] (2016年2月)を参照する。また、2016年12月30日に出願された、C. Vanhoucke、「Image Classification Neural Networks」という米国特許出願第15/395,530号を参照する。これらの論文および特許出願での畳み込みニューラルネットワークの説明は、参照により本明細書に組み込まれる。
深層ニューラルネットワークパターン認識器について説明するさらなる文献には、G. Litjensら、Deep learning as a tool for increasing accuracy and efficiency of histopathological diagnosis、www.nature.com/scientificreports 6:26286 (2016年5月)、D. Wangら、Deep Learning for Identifying Metastatic Breast Cancer、arXiv:1606.05718v1 (2016年6月)、A. Madabhushiら、Image analysis and machine learning in digital pathology: Challenges and opportunities、Medical Image Analysis 33 170〜175頁(2016)、A. Schuambergら、H&E-stained Whole Slide Deep Learning Predicts SPOP Mutation State in Prostate Cancer、bioRxiv preprint http:/.bioRxiv.or/content/early/2016/07/17/064279が含まれる。
深層ニューラルネットワークパターン認識器200を訓練するための訓練スライド用のソースは、関心の試料のタイプのスライドのセットの全スライド走査によってスクラッチから生成することができる。たとえば、訓練用のスライド画像は、CAMELYON16 challengeおよびThe Cancer Genome Atlas (TCGA)からなど、カリフォルニア州サンディエゴの海軍医療センター(NMCSD:Naval Medical Center in San Diego)および公的に入手可能なソースから取得することができる。代替的に、訓練用のスライド画像は、図1のカメラによって取り込まれた異なるスライドの画像のセットから生成することができる。
デジタル全スライドスキャナおよびスライドを染色するためのシステムが、当技術分野で知られている。そのようなデバイスおよび関連システムは、Aperio Technologies、浜松ホトニクス、Philips、Ventana Medical Systems, Inc.などから入手可能である。デジタル全スライド画像は、慣例的である第1の倍率レベル(たとえば、40X)で取得することができる。画像は、他の倍率で訓練画像を取得するために、アップサンプリングまたはダウンサンプリングすることができる。代替的に、訓練スライドは、異なる倍率で、たとえば、従来の手動操作の顕微鏡によって提供される各倍率レベルで、複数回走査することができる。
推論速度
いくつかの実装形態では、顕微鏡の視野全体であるデジタル画像で推論を行うことが可能である場合がある。他の状況では、視野の中心の周りに位置するいくつかの299×299矩形パッチのピクセルなど、画像の一部分のみで、または視野のいくらかより大きい部分で、推論を行うことが望ましい場合がある。
299×299ピクセル入力サイズおよび16MPカメラを用いるInception v3ベースのモデルを使用すると、光学系FoV(直径2700ピクセル)の球面面積の高密度カバレージは、約120パッチ推論を必要とする。推論が中心3分の1に対してのみ実行される(推論粒度(inference granularity)を上げ、他の3分の2をコンテキストとして使用する)場合、それは約1200推論コールを必要とすることになる。回転および反転、またはアンサンブリングを追加する場合、さらなる推論コールが必要とされる場合がある。
Table 2(表2)は、従来の最先端のグラフィックス処理ユニットおよび推論アクセラレータを使用した、推論コール数および推論時間を記載する。
カメラ124が、シームレスな実質的準リアルタイム体験のために30フレーム毎秒(fps)で動作すると仮定すると、回転、反転、およびアンサンブリングの合理的組合せを用いる高密度カバレージが可能である。
推論アクセラレータ(214、図5)
人工知能(AI)アクセラレータとしても知られる推論アクセラレータは、パターン認識のための入力データセットの推論を行うプロセスをスピードアップするように設計された、新たなクラスのマイクロプロセッサまたはコプロセッサである。これらのシステムは現在、カスタム特定用途向け集積回路チップ(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、グラフィックス処理ユニット(GPU)、および汎用コンピューティングユニットの組合せの形態をとる。図1のシステムのいくつかの適用例では、図5に示すように、計算ユニット126に推論アクセラレータを含むことが望ましい場合がある。推論アクセラレータは、当技術分野において説明されており、Jonathon Rossら、「Neural Network Processor」という名称の米国特許出願公開2016/0342891参照、現在は、NVidia TM and Tesla TM P40およびP4 GPUアクセラレータ、ならびにIntel TM Deep Learning Inference Acceleratorなど、市場で入手できる。
単純な実装形態では、図1のシステムは、パターン認識を行い、グラフィックカード出力インターフェース(たとえば、HDMI(登録商標))を介してARディスプレイデバイスにオーバーレイグラフィック(強調)を出力する標準的なPC(計算ユニット126)に差し込まれたUSBカメラ出力を使用するだけであることがある。推論は、標準的なPCのグラフィックス処理ユニット(GPU)によって行われ得る。この構成では、オンデバイス推論アクセラレータはオプションであり、不可欠ではない。より速い推論の必要が生じる場合、コンピュータは、プラグインモジュールとして既製の推論アクセラレータでその後拡張され得る。
強調の生成
視野に投影する強調の生成は、以下のように行うことができる。
1)計算ユニット126内の機械学習パターン認識器200は、(ここでは一例として癌検出を使用して)領域当たりの腫瘍確率を作成するために、視野でのモデル推論を実行する。
2a)ヒートマップ:視野内の各画像パッチに対する腫瘍確率は、色値(たとえば、RGB)に変換され、それらの色値は、ヒートマップを作成するためにまとめられる。このタスクは、グラフィックスカード206によって実行され得る。
2b)ポリゴン輪郭:腫瘍確率は、あるスコアでのしきい値(たとえば、確率>50%)であり、残りの領域(または、つながっていない領域がいくつかある場合、複数の領域)の境界は、ポリゴン輪郭を形成する。やはりこのタスクは、グラフィックスカード206によって実行され得る。
3)ステップ2Aまたはステップ2Bからのデジタル画像データは、AR表示ユニット128によってディスプレイ上で画像に変換され、すなわちレンズ130および半透明鏡122によって光学経路に投影される。
加えて、グラフィックスカード206は、単独で、または機械学習パターン認識器からの出力とともに、デジタル強調データに含めるためのグリソンスコアグレード分類、注釈などを生成し、そのような追加の強調をARディスプレイモジュール128に提供することができる。
スライド上の場所に関するコンピュータと顕微鏡の通信
実際には、いくつかの状況において、病理医が図1の顕微鏡システムを使用することに加えて、標本スライドの全スライド走査を行うことが有効である場合がある。この状況では、全スライド走査は、ワークステーション140上に常駐する(または、ワークステーション140と計算ユニット126の両方によって共有される)場合がある。以下を含む、視野に対する強調のいくつかの可能な利用が行われる場合がある。
1. (たとえば、目的を教えるための)全スライド画像上に顕微鏡の現在の視野(FoV)をハイライト表示すること。顕微鏡画像の全スライド画像への画像レジストレーションにより、またはモータ座標を全スライド画像座標にマップして顕微鏡ステージ110を動かすモータ116の使用によって、FoVの位置特定が行われ得る。
2. スライド上の指定された部位への顕微鏡FoVの自動ナビゲーション。たとえば、顕微鏡は、モータ116が一連のX-Y位置に顕微鏡スライドを動かし、各位置でカメラを用いて低倍率画像を取得する「走査前」モードで動作することができる。画像は、計算ユニット126内の機械学習パターン認識器に渡され、パターン認識器は、関心部位(たとえば、癌性の可能性がある細胞)を含むそれぞれの位置からのそれらの画像を識別する。次いで、病理医による使用中、モータ116は、スライドをそれらの位置に動かすように操作でき、操作者は、各位置での視野、および好適な強調(ヒートマップ、輪郭など)で拡張された視野を調べるよう促される。この実施形態では、計算ユニットは、病理医ワークフローを支援するために顕微鏡用のユーザインターフェースと併せて動作してもよい。そのようなユーザインターフェースは、それ自体が顕微鏡に組み込まれる、またはワークステーション140のディスプレイ142に提示されることがある。たとえば、図1ではワークステーション140は、顕微鏡の現在の視野150を表示するディスプレイ142を含む。マウス146またはキーボード144を使用することによって、病理医は、顕微鏡ステージモータ116が関心部位を含むスライド上の一連の位置を通って進むようにするために、ワークステーションにコマンドを入力することができる。低倍率での潜在的な関心部位の識別は、全スライド画像上で行うことができ、潜在的な関心部位の位置は、モータ座標からスライド座標へのマッピングを使用してスライド座標に変換される。
3. 全スライド画像から顕微鏡画像へのラベルおよび注釈の転送
全スライドスキャナによって取得された標本スライドの全スライド画像に、画像中の様々な関心のある物体に対するラベルまたは注釈を与えることができる。(たとえば、全スライド画像座標へのモータ116位置のマッピングから)全スライド画像とモータ駆動ステージ110上のスライドとの間のレジストリを取得することが可能であるので、接眼レンズを通して見られる顕微鏡画像にラベルおよび注釈を転送することが可能であり得る。これは、計算ユニット内のグラフィックスカード206にラベルおよび注釈を提供すること、次いで、モータがそのようなラベルおよび注釈が存在する座標にスライドを動かすとき、そのようなラベルおよび注釈のデジタルデータをAR表示ユニット128に提供することによって可能である。
全スライド画像と顕微鏡上のスライドとの間のレジストレーションを取得する方法は、アルゴリズム的解法として、または、カメラ画像に対応する全スライド画像の領域を位置決めするために、画像レジストレーションなどのコンピュータビジョン手法を使用することによって実施され得る。
4.たとえば病理報告で利用するための、ローカルストレージへの予測を加えた視野の出力
実際には、病理医が試料を特徴付けるまたは分類する際の作業の記録を作成することが望ましい。そのような記録は、(たとえば、計算ユニットのメモリ212に)生成および記憶することができる(強調有りまたは無しの)視野のデジタル画像の形態をとることができ、次いで、取り付けられた病理ワークステーション140にインターフェース216を介してこれらを送信する。ワークステーションソフトウェアは、一般的に、病理医が試料に関する分類または特徴付けタスクを行い、報告を生成する際に従うワークフローソフトウェアを含むことになる。そのようなソフトウェアは、病理医が、視野の記憶されたデジタル画像およびメモリ212に記憶された関連する注釈または強調を報告に挿入できるようにするツール、たとえばアイコンまたはプロンプトを含む。
さらなるオプション機能がシステムに含まれてもよい。
A. モニタ上に視野を表示するための出力ポート
計算ユニットは、取り付けられた周辺機器病理医ワークステーション140に計算ユニットを接続するためのインターフェースまたはポート216を含む。このインターフェースは、カメラによって取り込まれた視野およびグラフィックスカードによって生成された任意の強調が、ワークステーション140のモニタ142に送信されることを可能にする。
B. 要求に応じて、接続されたモニタが、現在の視野内のものと同様の画像領域を、注釈などとともに表示する。
1つの可能な構成では、ワークステーション140のモニタ142は、現在の視野内のものに「類似して」いる他のスライドからの(たとえば、他の患者からの)画像領域を、他のスライドに対して存在する場合がある任意の強調または注釈とともに表示する。詳細には、ワークステーション140は、他の患者からの他のスライド、潜在的には数百または数千のそのようなスライドのセットのデジタル画像データを入れたメモリを含んでもよい。ワークステーションは、そのような他のデジタルスライド画像のすべてで顕微鏡上のスライドの視野のパターン認識を行い視野に最も近いものを選択するパターン認識器を含んでもよい。視野(すなわち、メモリに記憶された選択されたデジタルスライドの一部)が、顕微鏡100を通した現在の視野と並べて、ワークステーション140のディスプレイ142上に提示されることがある。ワークステーション上のメモリに記憶されたスライドの各々は、患者の診断、日付、治療、治療後の成果または生存データ、年齢、喫煙者ステータスなどのメタデータに関連付けられる。選択されたデジタルスライドの視野の表示は、メタデータの表示で拡張することができる。
強調の例
1. ヒートマップ
図2Bは、たとえば、癌性細胞を含む可能性がある、特定の関心部位を識別する着色されたピクセルのオーバーレイの形態の「ヒートマップ」の一例を示す。ヒートマップは、腫瘍細胞を含む可能性が高いスライドの個別の部位(すなわち、ピクセル群)が特定の色、たとえば暗赤色で示される視野上のオーバーレイを病理医に提示することによって、病理医がスライドを検討するのを支援する。反対に、腫瘍細胞を含む可能性が比較的低い視野内の部位は、そのままにされるか、対比色、たとえば青色または紫色で描画されることがある。ヒートマップ画像に、腫瘍細胞を含む可能性が高い細胞群がある異なる領域のリストを添付することができる。
一実施形態では、カメラ124によって取り込まれたデジタルスライド画像内の小さいピクセル群(「パッチ」)に対するスコアは、0.0から1.0である。最も高いスコアをもつヒートマップ20の部位は、暗赤色として示されるが、最も低いスコアをもつ部位は、そのままにされる(強調されない)か、紫色などの別の対比色で示される。図7のコード22は、本質的に、腫瘍確率スコアに色を割り当てるための可視スペクトル(すなわち、虹の色)を使用する。しかしながら、可視スペクトルの一部のみを使用すること、たとえば、0.5よりも大きい腫瘍確率可能性をもつピクセルの強調のみを生成することが可能である。さらに、また別の可能な代替実施形態では、グレースケールの度合いのみをコードに使用することができ、たとえば、白色がスコア0に対応し、黒色がスコア1に対応し、グレーの度合いが0と1の間の値を占める。たとえば、単色(たとえば、緑色)が使用されることがあり、腫瘍確率をコード化するために、不透明度(グレースケール)が使用されることがある。
ヒートマップおよび腫瘍確率スコアの生成および計算に関するさらなる詳細は、参照により組み込まれる、係属中のPCT出願「Method and System for Assisting Pathologist Identification of Tumor Cells in Magnified Tissue Images」、2017年2月23日に出願された第PCT/US17/019051号に記載されている。
2. 関心領域の輪郭および注釈
図3Bは、上記のように視野上に生成し、投影することができる、関心領域の輪郭の一例を示す。輪郭は、グリソンスコア、サイズの測定値、たとえば腫瘍径、癌可能性予測、細胞数、または他の関連する病理情報などの、テキスト内容(注釈)を添付することができる。計算ユニットは、現在の対物レンズ倍率がわかっており、したがって画像データのピクセルを物理単位に変換することができるので、サイズ測定値データ、たとえば、「腫瘍径2mm」の表示が可能である。そのような測定値は、「微小転移」と「マクロ転移」など、さらなるラベルまたは注釈をトリガすることができる。注釈は、癌細胞陽性である画像の%および癌細胞陰性である画像の%、ならびに信頼度または確率スコアなど、統計値を含むこともできる。
3. 物体を識別する矩形
図4Bは、関心のある物体の周りに置かれた矩形または境界ボックスの使用の一例を示す。この手法は、たとえば、食品、血液、水、または他のタイプの生体試料中の細菌(たとえば、結核)、原虫(たとえば、プラスモジウム)、寄生虫の卵、または他の病原体の識別において使用されてもよい。矩形は、用途に応じてサイズ、信頼度または確率スコア、種識別のような注釈など、追加情報が添付されることがある。
ワークフロー
図6は、図1のシステムを使用したワークフローを示すフローチャートである。ステップ302において、使用者は、新しいスライド114を顕微鏡ステージ110上に挿入する。ステップ302において、標本分類器または(たとえば、取り付けられたワークステーション140の使用による、または顕微鏡上もしくは計算ユニット上のユーザインターフェース制御による)手動選択が、スライド上の標本のタイプに従ってパターン認識モード(たとえば、乳癌、前立腺癌、マラリア)を選択し、計算ユニット内の関連する機械学習パターン認識器は、動作するよう伝えられる。
ステップ306において、視野の画像がデジタルカメラ124によって取り込まれ、計算ユニット126に送られる。操作者が(たとえば、パンモードのステージモータ116の動作によって)スライドを動かす場合、視野の新しい画像がカメラによって取り込まれる。同様に、操作者が(たとえば、ズームインまたはズームアウトするために)対物レンズ108を変える場合、新しい画像が取り込まれる。新しい画像は、計算ユニット126に送られる。(実際には、カメラ124は、約10または30フレーム毎秒の連続するフレームレートで操作することができ、計算ユニットでの視野の更新は、本質的に連続することができ、ステージ位置または対物レンズのいずれかが変更されるときのみ連続しない。)
ステップ312において、視野の画像は、推論を行うために計算ユニット126(図5)内の関連する機械学習パターン認識器200に入力として提供される。実際には、ステップ312は、カメラ124のフレームレートに同調して、繰り返して行われてもよい。
ステップ314において、計算ユニット126内のグラフィックスカードまたはGPU206は、試料タイプに関係する強調または拡張に対応するデジタル画像データを生成し、このデジタル画像データは、接眼レンズ104で病理医によって見られる視野に投影するためにAR表示ユニット128に提供される。
計算ユニットは、(たとえば、取り付けられたワークステーションによる)制御装置を含んでもよく、この制御装置により使用者は、視野に投影されて見ることを希望する注釈または強調のタイプを指定することができ、それによって使用者がどのように顕微鏡が拡張現実モードで動作することを希望するかに関してユーザ制御を与える。たとえば、使用者は、ヒートマップの形態の強調のみを指定することができる。別の例では、標本が血液試料である場合、使用者は、試料に存在するプラスモジウムを識別する矩形の形態の強調を指定することができる。前立腺試料では、使用者は、グリソンスコア3以上の細胞を囲む境界または輪郭、ならびに図3Bにすでに示し、説明したような注釈を指定することができる。別の例では、使用者は、顕微鏡の視野に強調の投影ひいては表示をオンおよびオフにするための(フットスイッチなどの)スイッチを与えられてもよい。
機械学習パターン認識器のアンサンブル
図1のシステムは、いくつかの異なる対物レンズおよび倍率レベルを提供する顕微鏡と併せて使用されるよう設計されることに留意する。一般に、特定のパターン認識器または機械学習モデルは、特定の倍率レベルで訓練スライドのセットで訓練される。したがって、使用者が所与の試料の検査中に対物レンズを変える可能性に対応するために、計算ユニットの好ましい実施形態は、異なる倍率レベルの画像データで各々訓練された、パターン認識器のアンサンブルを含む。たとえば、図8には、4つの異なるパターン認識器(406A、406B、406C、および406D)のアンサンブルが示されている。パターン認識器の各々は、特定の倍率のデジタルスライド画像のセットで訓練された深層畳み込みニューラルネットワークの形態をとる。たとえば、パターン認識器406Aは、40X倍率のスライド画像で訓練される。パターン認識器406Bは、20X倍率のスライド画像で訓練される。パターン認識器406Cは、10X倍率のスライド画像で訓練される。パターン認識器406Dは、5X倍率のスライド画像で訓練される。理想的には、パターン認識器が訓練される倍率レベルの各々が、図1の顕微鏡で利用可能な倍率レベルに対応する。これは、必須ではない。顕微鏡倍率と訓練スライド倍率との間の不一致がある場合、カメラ124によって取り込まれた顕微鏡画像は、パターン認識器の倍率レベルに対応するように、アップサンプリングまたはダウンサンプリングされることがあるからである。
動作時、パッチ(すなわち、ピクセルの299×299矩形パッチなど、顕微鏡FoVの一部分)402A、402B、402C、または402Dが、顕微鏡で使用されている現在の対物レンズに応じて、入力404A、404B、404C、または404Dとして関連するパターン認識器406A、406B、406C、406Dに与えられる。ヒートマップ適用例では、0と1の間のピクセルのパッチのスコアは、多項ロジスティック回帰の形態で、ニューラルネットワークパターン認識器406A、406B、406C、406Dの最後の層として生成され、多項ロジスティック回帰は、入力データ(パッチ)がクラスのいずれ(ここでは、健康と腫瘍)に属するかの、0と1の間の確率の形態の予測を生成する。多項ロジスティック回帰は、教師あり学習および最適化の技術分野で知られており、「ソフトマックス回帰(Softmax Regression)」と呼ばれることがある。ウェブ上で見つかるチュートリアル、http://ufldl.stanford.edu/tutorial/supervised/SoftmaxRegression/が、さらなる詳細を提供しており、これは参照により本明細書に組み込まれる。出力408A、408B、408C、408Dはしたがって、ピクセルのパッチに対するスコアである。
一構成では、ピクセルのパッチに対するスコアを生成するプロセスは、顕微鏡の視野を形成するパッチのすべてに対して行われる。出力408A、408B、408C、408Dは、拡張を表すデータ、この例ではヒートマップを生成するために、計算ユニット内のグラフィックスカード(GPU)206に提供される。ステージは静止したままであるが、使用者が倍率を変える状況では、図8に示すアンサンブルのメンバーのうちの2つを、ヒートマップを生成するために使用することができ、第1の倍率に対する1つ、および第2の倍率に対する1つを使用することができる。理論上、アンサンブルのメンバーの出力を結合することが可能である。したがって、1つの変形態では、アンサンブルの複数のメンバーが使用される場合、たとえば、焦点面に変更があった場合、複数の出力408A、408B、408C、または408Dがコンバイナ関数250に供給され、コンバイナ関数250が出力を結合し、データをグラフィックスカードに送る。さらなる詳細は、前述の、2017年2月23日に出願されたPCT特許出願において説明されている。
計算ユニットは、好ましくは、図8に示すように、顕微鏡が使用される病理適用例(たとえば、乳癌組織、リンパ節組織、前立腺組織、マラリアなど)の各々に対する異なる倍率レベルの顕微鏡スライド画像のセットで訓練されたパターン認識器のアンサンブルを含むこともまた諒解されたい。
機械学習パターン認識器をもつ携帯媒体
一実施形態では、図1および図5の計算ユニット126は、異なるタイプの生体試料または顕微鏡の適用例のために、新しい訓練済みパターン認識器/機械学習モデルを受け取り、ローカルに記憶するためのハードウェア構成を含む。この構成は、図5の例では、SDカードインターフェース210として示され、これは、機械学習モデルを含む個々のSDカードが計算ユニットに挿入され、コンテンツがメモリ202にダウンロードされ、記憶されることを可能にする。図9は、カード902、904、906、および908を含む、SDカードのセット900の一例を示す。各カードが、乳房組織中の癌細胞の識別(カード902)、前立腺組織中の癌細胞の識別(904)、血液試料中の結核菌(tuberculosis mycobacterium)の識別(カード906)、マラリア検出のための血液試料中のプラスモジウム原虫の識別(カード908)など、特定の病理適用のための機械学習パターン認識器のモデルパラメータ、フィルタ係数、実行可能コードおよび他の詳細を含む。この設計では、計算ユニットは、たとえば、パップスメアにおける癌細胞検出など、たとえば、一般的な病理適用例のための機械学習モデルを有する標準的な機器として与えられることがあり、使用者は、他の病理適用例のための顕微鏡の能力を高めるために、提供者またはソースからさらなるカードまたはカードのセット900を取得することができる。このようにして、顕微鏡を操作する試験室は、必要に応じてまたは市場が要求するように、特定の病理適用例に合わせて顕微鏡での拡張現実の必要性を調整することができる。試験室は、モデルを作成する必要がなく、正しくはサービス提供者が訓練スライド画像のセットから別個にモデルを作成し、ロバスト性および一般化可能性を保証するためにモデルを検証し、次いでそのようなモデルを含んだSDカードなどの携帯記憶媒体を作成し、必要に応じてそれらを顧客に提供することができる。
図9にはSDカードを示しているが、現在利用可能なものおよび将来生成されるものを含む、機械学習パターン認識モデルを記憶することができるメモリデバイスの他の物理フォーマットを当然使用することができる。計算ユニットがインターフェース216(図5)などのコンピュータインターフェースを介して、コンピュータネットワークにつながり、さらなる機械学習モデル(またはモデルのアンサンブル)をダウンロードすることもまた可能である。
特定の適用例
乳癌検出、前立腺癌検出、病原体(たとえば、プラスモジウム、結核、マラリア原虫、寄生虫の卵)の識別など、病理検討のための顕微鏡のいくつかの特定の適用例を説明したが、病理学の分野の他の適用例が当然可能であることは諒解されよう。加えて、図1のシステムの原理は、小部品の品質管理検査、食品安全または検査、水質監視など、顕微鏡の他の適用例に拡大されることがある。
独立型システム
ローカル計算ユニットおよびパターン認識モデルがある図1の顕微鏡システムは、理想的には、ローカルの独立型システムとして適している。図1および図5に示す電子機器用の好適な電源が利用可能である限り、顕微鏡システムは持ち運びできると見なされ、リモートロケーションで使用され得る。その最も基本的な形態では、顕微鏡システムは、インターネットまたは他のネットワーク接続を必要とせず、取り付けられた周辺機器ワークステーション140は絶対に必要というわけではない。計算ユニットは、拡張をオンまたはオフにする、モデルを選択する、選ばれた特定の倍率に対する適切な機械学習モデルを変える、および任意の他の補助的タスクのための、それ自体に付属のユーザインターフェース(図示せず)または制御装置を備えていることがある。ユーザインターフェースの設計は、単純なタッチスクリーン、および適切な選択を与えるために使用者をガイドするアイコンなど、任意の好適な形態をとることができる。
ネットワーク化された構成
別の構成では、図1のシステムは、ネットワーク化された環境で実装されることがあり、計算ユニットは、たとえば新しい機械学習モデルを取得するために、または別個のプラットフォーム上で推論、もしくは推論アクセラレーションを行うためにリモートサーバに接続される。たとえば、リモートワークステーション140のディスプレイと併せてすでに説明した処理タスクのいくつかは、ローカルにワークステーションで、または計算ユニットとワークステーションの両方から遠くにあるネットワーク化されたコンピュータで、行われることがある。
モータ駆動ステージ110/116
モータ駆動ステージ110(病理顕微鏡では一般的である)の搭載により、病理医をさらに支援するためのさらなる機能が形成可能になる。たとえば、モータ116は、カメラで全スライドの低倍率画像を取り込むためにスライドを一連の位置に動かすことができる。低倍率画像は次いで、疑わしい領域(たとえば、癌細胞を含む可能性がある、または結核菌を含む可能性がある領域)の予備的検出を行うために低倍率レベルで訓練された計算ユニット内の機械学習パターン認識器に供給される。次いで、潜在的に関連する部位を含む領域に、顕微鏡ステージを一連のステップで自動的に動かすことができる。スライドを徐々に位置決めすることは、たとえば、顕微鏡用の制御装置による、または取り付けられたワークステーションのユーザインターフェースによる、使用者の命令で実行され得る。
短時間で関心部位について40Xで全スライドを徹底的に探ることは、現在の技術では目下のところ実現可能ではない。しかしながら、低倍率で疑わしい領域を検出することができる低倍率モデルを使用し、次いで要求に応じて単にズームインすることは、図1のシステムを使用して現在実現可能である。
モデル訓練
カメラ124から取得された画像は、いくつかの実装形態では、機械学習パターン認識器が訓練される全スライドスキャナからの画像とは光学的品質または解像度が異なる場合がある。デジタルカメラ124および関連する光学構成要素の品質は、これと大いに関係があり、理想的にはデジタルカメラおよび関連する光学系の品質は、訓練スライド画像を取り込むために使用された光学構成要素およびカメラの品質と同じ、またはほぼ同じである。画像解像度が比較可能でなければならないと同時に、顕微鏡カメラ124からの画像は、全スライドスキャナ訓練画像にはない、またはより低い頻度で存在する幾何学的歪みなどのいくつかのアーチファクトを有する可能性がある。新しいモデルを訓練するために顕微鏡固有の訓練画像を集めることは、理論上可能である。しかしながら、それは特に拡張性のある解決策ではない。より実践的な解決策は、全スライド画像ベースのパターン認識モデルが、カメラ124によって取り込まれる顕微鏡画像に確実に一般化されることである。デフォルトモデルでの一般化が許容できない場合、全スライド画像走査から、それらの対応する顕微鏡カメラ画像「のように見える」人工的な訓練データを生成することが可能でなければならない。そのような人工的な訓練データは、全スライド画像走査画像にパラメータの変形を導入すること、および訓練用の変形された画像を使用することによって生成することができる。そのようなパラメータの変形の例は、ワーピング(warping)、ノイズ追加、解像度低下、ぼかし、およびコントラスト調整を含む。
代替形態は、複数のスライドから多数の訓練画像を生成するために顕微鏡カメラを使用すること、次いで、全スライドスキャナから取得された画像の代わりに、モデルを訓練するためのそのような画像を使用することである。
別の代替形態は、機械学習パターン認識器を訓練するための画像を生成するために敵対的生成ネットワーク(GAN:generative adversarial network)を訓練することである。
さらなる考慮事項
図1のカメラ124の画像品質は、重要な考慮事項である。カメラのライブストリームが画像ソースであることが多いので、ライブストリームの画像の画像品質が、全スライドスキャナから取得され、訓練に使用された静止画像(一般的に高品質)に比べてどうであるか、およびそれがモデル性能にどのように影響を与えるかについて調査を行うべきである。
1つの特定の課題は、人間の眼の光学的分解能(optical resolution)が、現在のデジタルカメラのそれよりもはるかに高いことである。たとえば、小さい転移を検出するために、機械学習モデルは、人が同じ転移に対して必要とするよりもさらにズームインすること(より高倍率対物レンズに切り替えること)を要求する場合がある。これに対処する1つの方法は、使用者が潜在的な関心部位を見ているとき、高い(またはより高い)倍率レベルに切り替えるよう使用者に促し、次いでより高い倍率で新しい強調を生成することである。別の手法は、Cannon 250メガピクセルCMOSセンサーなどの超高解像度カメラを使用することである。
上述のように、半透明鏡122を含む光学構成要素120は、それが最良の視覚体験を描画するように、光学経路に配置されるべきである。1つの可能な構成では、顕微鏡は、2つの接眼レンズをもつ実体顕微鏡の形態をとってもよく、接眼レンズの一方または両方の視野に強調を投影することが可能であってもよい。
別の考慮事項は、カメラと同じレジストレーションで視野上の強調またはオーバーレイを眼で確実に見ることである。これは、視野およびカメラによって取り込まれた画像にある基準マーカー(fiduciary marker)を使用して行うことができる。
検査中の全スライド画像上に存在する場合があるラベルがカメラ画像に転送され、たとえば、すでに説明したように、画像レジストレーション技法を使用して視野に投影され得ることもまた留意されたい。
使用者による光学系の変更(たとえば、焦点、視度補正(diopter correction))は、カメラ画像および表示画像上の画像品質に影響を及ぼすことになる。カメラ画像は、推論を行うことができるように、鮮明かつ高品質のままである必要がある。1つの可能な構成では、計算ユニットは、画像が推論を行うのに十分良いときを評価する画像品質検出モジュールを含む。画像が満足な品質ではない場合、使用者は、焦点を調整する、または顕微鏡に対して他の光学調整を行うなど、適切な補正を行うよう促されることがある。
本開示の拡張現実顕微鏡が、たとえば、顕微鏡による検査が行われる電子部品または他の製品の製造における検査または品質管理など、他の用途に好適であることもまたすでに言及した。したがって、本開示のさらなる態様として、接眼レンズを有する顕微鏡を用いた物体(たとえば、製造された物体)の検討において使用者を支援するための方法を開示し、この方法は、(a)顕微鏡の接眼レンズを通して使用者によって見られる物体のデジタル画像を、カメラを用いて取り込むステップと、(b)カメラによって取り込まれた画像から物体中の関心部位(たとえば、欠陥)を識別するために機械学習パターン認識器を使用するステップと、(c)顕微鏡の接眼レンズを通して使用者によって見られる物体のビューに、オーバーレイとして強調を重畳するステップとを含む。使用者が顕微鏡光学系に対して試料を動かし、次いで止めるまたは顕微鏡の倍率もしくは焦点を変えると、新しい画像がカメラによって取り込まれ、機械学習パターン認識器に供給され、新しい強調が、実質的なリアルタイムで接眼レンズを通して見られる物体の新しいビューに重畳され、それによって強調は、使用者が物体を分類または特徴付けるのを支援する。添付の特許請求の範囲の特徴は、スライド上の生体試料の代わりに、物体(たとえば、製造された物体、コンピュータチップ、小部品など)が顕微鏡によって見られ、カメラは顕微鏡視野に見られる物体の画像を取り込むこの変形形態に適用可能であると見なされる。
また一態様は、生体試料を含むスライドの検討において使用者を支援するシステムを提供してもよく、このシステムは、生体試料を含むスライドを保持するためのステージ、少なくとも1つの対物レンズ、および接眼レンズを有する顕微鏡と、顕微鏡の接眼レンズを通して見られる試料の拡大されたデジタル画像を取り込むデジタルカメラと、デジタルカメラからデジタル画像を受け取る機械学習パターン認識器を含む計算ユニットであって、パターン認識器がステージ上に現在置かれているタイプの生体試料中の関心領域を識別するために訓練され、パターン認識器が、カメラによって取り込まれたデジタル画像上の関心領域を認識し、計算ユニットが接眼レンズを通して使用者によって見られる試料の視野に強調を表すデータを生成する、計算ユニットと、視野に強調を重畳するために接眼レンズに結合された1つまたは複数の光学構成要素とを組み合わせて含み、カメラ、計算ユニット、および1つまたは複数の光学構成要素は、使用者が顕微鏡光学系に対して試料を動かし、止めるまたは顕微鏡の倍率もしくは焦点を変えると、新しいデジタル画像がカメラによって取り込まれ、機械学習パターン認識器に供給され、新しい強調が実質的なリアルタイムで接眼レンズを通して見られる試料の新しい視野に重畳されるように作動する。
現在好ましい実施形態について、詳細とともに説明しているが、本発明の範囲に関係するあらゆる問題は、前述に鑑みて解釈される添付の特許請求の範囲の参照によって解決されるものとする。
100 拡張現実顕微鏡システム
102 従来の病理医顕微鏡
104 接眼レンズ
106 矢印
108 対物レンズ
110 ステージ
112 照明光源
114 スライド
116 モータ
120 光学系モジュール
122 半透明鏡
124 デジタルカメラ
126 計算ユニット
128 拡張現実(AR)表示生成ユニット
130 レンズ
140 リモートワークステーション
142 ディスプレイ
144 キーボード
146 マウス
150 視野
152 乳癌標本
154 ヒートマップ
156 輪郭
158 テキストボックス
160 焦点調整ノブ
200 深層畳み込みニューラルネットワークパターン認識器
202 メモリ
204 中央処理ユニット
206 グラフィックスカード
208 インターフェース
210 インターフェース
212 メモリ
214 推論アクセラレータ
216 インターフェース
220 高速バス

Claims (39)

  1. 接眼レンズを有する顕微鏡を用いた生体試料を含むスライドの検討において使用者を支援する方法であって、
    (a) デジタルカメラを用いて、前記顕微鏡の前記接眼レンズを通して見られる前記生体試料のビューのデジタル画像を取り込むステップと、
    (b) 前記デジタルカメラによって取り込まれた前記デジタル画像から前記生体試料中の関心領域を識別するために、機械学習パターン認識器を使用するステップと、
    (c) 前記顕微鏡の前記接眼レンズを通して見られる前記生体試料の前記ビューに、オーバーレイとして強調を重畳するステップであって、前記強調が、前記生体試料中の前記識別された関心部位に基づく、ステップとを含み、
    前記生体試料が顕微鏡光学系に対して動かされるとき、または前記顕微鏡の倍率もしくは焦点が変わるとき、前記生体試料の新しいビューの新しいデジタル画像が前記デジタルカメラによって取り込まれ、前記機械学習パターン認識器に供給され、新しい強調が、実質的なリアルタイムで前記接眼レンズを通して見られる前記生体試料の前記新しいビューに重畳されることにより、前記強調が、前記使用者が前記生体試料を分類するまたは特徴付けるのを支援する、
    方法。
  2. ステップ(b)が、前記強調の実質的なリアルタイムの生成を容易にするために、推論アクセラレータを使用するステップをさらに含む、
    請求項1に記載の方法。
  3. 異なるタイプの生体試料に対して、新しい機械学習パターン認識器を受け取り、計算ユニットにローカルに記憶するために、前記顕微鏡に結合された前記計算ユニットにインターフェースを設けるステップをさらに含む、
    請求項1に記載の方法。
  4. 前記生体試料が、組織、リンパ節、血液、痰、尿、便、水、土、および食品からなる試料の群から選択されるタイプの生体試料である、
    請求項1から3のいずれか一項に記載の方法。
  5. 前記関心領域が、癌性細胞もしくは組織、細胞構造、細胞のタイプ、または病原体を含み、
    前記関心領域が前記病原体を含む場合、前記病原体は、プラスモジウム、結核菌、マラリア原虫、ウイルス、寄生虫の卵からなる群から選択される病原体である、
    請求項1から3のいずれか一項に記載の方法。
  6. 前記強調が、ヒートマップ、関心領域境界、注釈、グリソンスコア、分類尤度予測、細胞数、および物理的測定値からなる強調の群から選択され、
    前記物理的測定値が選択された場合、前記物理的測定値は腫瘍径である、
    請求項1から3のいずれか一項に記載の方法。
  7. 前記顕微鏡の現在のビューの前記生体試料に類似している1つまたは複数の他の試料から1つまたは複数の画像領域を、前記顕微鏡に関連付けられたワークステーションのモニタ上に表示するステップをさらに含む、
    請求項1から6のいずれか一項に記載の方法。
  8. 前記表示された1つまたは複数の他の試料に関連付けられたメタデータを表示するステップをさらに含む、
    請求項7に記載の方法。
  9. 前記顕微鏡の前記接眼レンズを通して見られる前記生体試料の前記ビューの画像データおよび前記強調を、外部ディスプレイに出力するステップをさらに含む、
    請求項1から8のいずれか一項に記載の方法。
  10. 前記顕微鏡が、前記接眼レンズに対して前記スライドを支持し、動かすためのモータ駆動ステージをさらに含み、
    前記方法が、
    前記生体試料中の潜在的な関心部位の予備的検出を行うために、前記モータ駆動ステージおよび前記デジタルカメラ、ならびに前記機械学習パターン認識器を使用するステップをさらに含む、
    請求項1から9のいずれか一項に記載の方法。
  11. 前記使用者によって見られるように前記潜在的な関心部位を配置するために前記モータ駆動ステージを動かすよう前記モータ駆動ステージを制御するとともに、前記潜在的な関心部位の各々で強調を生成するステップをさらに含む、
    請求項10に記載の方法。
  12. 前記生体試料の統合されたビューを生成するために、前記重畳された強調を有する前記顕微鏡の前記生体試料の前記ビューを、前記生体試料を含む前記スライドの全スライド走査から取得された前記生体試料の別個のデジタル画像と統合するステップをさらに含む、
    請求項1から11のいずれか一項に記載の方法。
  13. 前記生体試料の前記統合されたビュー上に前記生体試料の前記ビューをハイライト表示するステップをさらに含む、
    請求項12に記載の方法。
  14. 前記顕微鏡が、前記接眼レンズに対して前記スライドを支持しかつ動かすためにモータ駆動ステージをさらに含み、
    前記方法が、
    前記別個のデジタル画像上で部位を指定するとともに、前記指定された部位が前記顕微鏡の視野に入るように前記モータ駆動ステージを動かすステップをさらに含む、
    請求項12に記載の方法。
  15. 前記別個のデジタル画像上の前記指定された部位に関連付けられた情報を、強調として前記生体試料の前記ビューに投影するステップをさらに含み、
    前記投影された情報が、場合によってはラベルおよび/または注釈を含む、
    請求項14に記載の方法。
  16. リモートデータソースからネットワークを通じて、機械学習パターン認識器のさらなるアンサンブルをダウンロードするステップをさらに含む、
    請求項1から15のいずれか一項に記載の方法。
  17. 前記方法が、
    前記顕微鏡の倍率を示すデータを受け取るステップと、
    前記受け取られたデータに基づいて複数の機械学習パターン認識器のうちのある機械学習パターン認識器を選択するステップとをさらに含み、
    前記選択された機械学習パターン認識器が、前記デジタルカメラによって取り込まれた前記デジタル画像から前記生体試料中の関心部位を識別するために使用される、
    請求項1から15のいずれか一項に記載の方法。
  18. 生体試料を含むスライドの検討において使用者を支援するシステムであって、
    生体試料を含むスライドを保持するためのステージ、少なくとも1つの対物レンズ、および接眼レンズを有する顕微鏡と、
    前記顕微鏡の前記接眼レンズを通して見られる前記生体試料のビューのデジタル画像を取り込むように構成されたデジタルカメラと、
    前記デジタルカメラから前記デジタル画像を受け取るように構成された機械学習パターン認識器を含む計算ユニットであって、前記機械学習パターン認識器が、前記ステージ上に現在置かれているタイプの生体試料中の関心領域を識別するように訓練され、前記機械学習パターン認識器が、前記デジタルカメラによって取り込まれたデジタル画像上の関心領域を認識し、前記計算ユニットが、前記顕微鏡の前記接眼レンズを通して見られる前記生体試料の前記ビューへの強調を表すデータを生成し、前記強調が、前記生体試料中の前記関心領域に基づく、計算ユニットと、
    視野上に前記強調を重畳するために前記接眼レンズに結合された1つまたは複数の光学構成要素とを含み、
    前記デジタルカメラ、前記計算ユニット、および前記1つまたは複数の光学構成要素が、前記生体試料が顕微鏡光学系に対して動かされるとき、または前記顕微鏡の倍率もしくは焦点が変わるとき、前記生体試料の新しいビューの新しいデジタル画像が前記デジタルカメラによって取り込まれ、前記機械学習パターン認識器に供給され、新しい強調が、実質的なリアルタイムで前記接眼レンズを通して見られる前記生体試料の前記新しい視野に重畳されるように構成される、
    システム。
  19. 前記デジタルカメラが、あるフレームレートでデジタル画像を取り込み実質的に連続して作動される、
    請求項18に記載のシステム。
  20. 前記強調の実質的なリアルタイムの生成を容易にする、前記デジタル画像上で動作する推論アクセラレータをさらに含む、
    請求項18に記載のシステム。
  21. 異なるタイプの生体試料用の新しい機械学習パターン認識器を含むポータブルコンピュータ記憶媒体への前記計算ユニット内のインターフェースをさらに含む、
    請求項18から20のいずれか一項に記載のシステム。
  22. 前記生体試料が、組織、リンパ節、血液、痰、尿、便、水、土、および食品からなる試料の群から選択されるタイプの生体試料である、
    請求項18から21のいずれか一項に記載のシステム。
  23. 前記関心領域が、癌性細胞もしくは組織、細胞構造、細胞のタイプ、または病原体を含み、
    前記関心領域が前記病原体を含む場合、前記病原体は、プラスモジウム、結核菌、マラリア原虫、ウイルス、寄生虫の卵からなる群から選択される、
    請求項18から22いずれか一項に記載のシステム。
  24. 前記強調が、ヒートマップ、関心領域境界、注釈、グリソンスコア、分類尤度予測、細胞数、および物理的測定値からなる強調の群から選択され、
    前記物理的測定値が選択された場合、前記物理的測定値は腫瘍径である、
    請求項18から23のいずれか一項に記載のシステム。
  25. 前記顕微鏡の現在のビューの前記生体試料に類似している1つまたは複数の他の試料から1つまたは複数の画像領域を表示するディスプレイを有する、前記顕微鏡に関連付けられた外部ワークステーションをさらに含む、
    請求項18から24のいずれか一項に記載のシステム。
  26. 前記ディスプレイが、前記表示された1つまたは複数の他の試料に関連付けられたメタデータを表示する、
    請求項25に記載のシステム。
  27. 前記システムが、ディスプレイをさらに含み、
    前記計算ユニットが、前記顕微鏡を通して見られる前記生体試料の前記ビューの画像データおよび前記強調を前記ディスプレイ上に出力する、
    請求項18から24のいずれか一項に記載のシステム。
  28. 顕微鏡ステージが、前記接眼レンズに対して前記スライドを支持しかつ動かすためのモータ駆動ステージを含み、
    前記顕微鏡、前記モータ駆動ステージ、前記デジタルカメラ、および前記機械学習パターン認識器が、前記生体試料中の潜在的な関心部位の予備的検出を行うモードで作動される、
    請求項18から27のいずれか一項に記載のシステム。
  29. 前記モータ駆動ステージが、前記使用者によって見られるように前記潜在的な関心部位の各々を配置するために前記ステージを動かすように構成され、
    前記計算ユニットおよび前記1つまたは複数の光学構成要素が、前記潜在的な関心部位の各々で強調を生成する、
    請求項28に記載のシステム。
  30. 前記システムが、
    前記計算ユニットに結合されたディスプレイを有する外部ワークステーションをさらに含み、
    前記重畳された強調を有する前記顕微鏡上の前記生体試料の前記ビューが、前記生体試料の統合されたビューを生成するために、前記生体試料を含む前記スライドの全スライド走査から取得された前記生体試料の別個のデジタル画像と統合され、前記ディスプレイ上に表示される、
    請求項18から24のいずれか一項に記載のシステム。
  31. 前記計算ユニットが、前記デジタルカメラへのインターフェースと、前記1つまたは複数の光学構成要素へのインターフェースとを有する汎用コンピュータの形態である、
    請求項18から30のいずれか一項に記載のシステム。
  32. 前記計算ユニットが、コンピュータネットワークへのインターフェースをさらに含む、
    請求項18から31のいずれか一項に記載のシステム。
  33. 顕微鏡接眼レンズと、試料を含むスライドを保持するためのステージと、前記顕微鏡接眼レンズの視野の画像を取り込むためのデジタルカメラとを有する顕微鏡システムであって、顕微鏡に結合された計算ユニットが、
    異なる倍率で試料のスライドのセットで訓練された前記顕微鏡に結合された深層ニューラルネットワークパターン認識器のアンサンブルを含み、
    前記アンサンブルが前記デジタルカメラによって生成された前記画像を受け取ることを含む、
    顕微鏡システム。
  34. 前記計算ユニットが、異なるタイプの生体試料または前記顕微鏡の適用例のために新しい機械学習パターン認識器を1つまたは複数のプロセッサ上で動作させるための1つまたは複数のコンピュータプログラムを含むポータブルコンピュータ可読記憶媒体へのインターフェースをさらに含む、
    請求項33に記載の顕微鏡システム。
  35. 顕微鏡を使用する病理医によって見られる異なるタイプの生体試料用の異なる機械学習パターン認識器を1つまたは複数のプロセッサ上で動作させるための1つまたは複数のコンピュータプログラムを各々含む1つまたは複数のポータブルコンピュータ可読記憶媒体を含み、前記異なる機械学習パターン認識器の各々が、異なる倍率レベルで訓練された機械学習パターン認識器のアンサンブルの形態である、
    装置。
  36. 機械学習パターン認識器を訓練する方法であって、
    a) 所与のタイプの生体試料を含む複数のスライドの全スライド画像を取得するステップと、
    b) 顕微鏡の接眼レンズに結合されたデジタルカメラによって取り込まれたデジタル画像の光学的品質をシミュレートするために前記全スライド画像にパラメータの変形を行うステップと、
    c) ステップb)において変形された全スライド画像を使用して、前記機械学習パターン認識器を訓練するステップとを含む、
    方法。
  37. 機械学習パターン認識器を訓練する方法であって、
    a) デジタルカメラおよび2つ以上の対物レンズを有する、病理医によって使用されるタイプの顕微鏡を用いて、前記顕微鏡の前記2つ以上の対物レンズによって与えられる異なる倍率で前記顕微鏡の視野内の生体試料の複数のデジタル画像を取得するステップと、
    b) ステップa)において取得された前記デジタル画像を使用して機械学習パターン認識器のアンサンブルを訓練するステップであって、前記アンサンブルの各メンバーが、前記対物レンズの1つに関連付けられた特定の倍率で訓練される、ステップとを含む、
    方法。
  38. 異なるタイプの生体試料に対してステップa)およびステップb)を繰り返し、それによって、機械学習パターン認識器の複数の異なるアンサンブルを生成するステップをさらに含む、
    請求項37に記載の方法。
  39. 機械学習パターン認識器の前記複数の異なるアンサンブルを各々ポータブルコンピュータ記憶媒体に記憶するステップをさらに含む、
    請求項38に記載の方法。
JP2019553446A 2017-06-13 2017-06-13 病理学用の拡張現実顕微鏡 Active JP6947841B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2017/037212 WO2018231204A1 (en) 2017-06-13 2017-06-13 Augmented reality microscope for pathology

Publications (2)

Publication Number Publication Date
JP2020521946A true JP2020521946A (ja) 2020-07-27
JP6947841B2 JP6947841B2 (ja) 2021-10-13

Family

ID=64660880

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019553446A Active JP6947841B2 (ja) 2017-06-13 2017-06-13 病理学用の拡張現実顕微鏡

Country Status (5)

Country Link
US (2) US11010610B2 (ja)
EP (1) EP3586181B1 (ja)
JP (1) JP6947841B2 (ja)
CN (1) CN110476101B (ja)
WO (1) WO2018231204A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022069464A (ja) * 2020-07-30 2022-05-11 アナウト株式会社 コンピュータプログラム、学習モデルの生成方法、手術支援装置、及び情報処理方法

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10890751B2 (en) * 2016-02-05 2021-01-12 Yu-Hsuan Huang Systems and applications for generating augmented reality images
CN107527069A (zh) * 2017-08-22 2017-12-29 京东方科技集团股份有限公司 图像处理方法、装置、电子设备及计算机可读介质
EP3608701A1 (de) * 2018-08-09 2020-02-12 Olympus Soft Imaging Solutions GmbH Verfahren zur bereitstellung wenigstens einer auswertemethode für proben
EP3844781A4 (en) * 2018-08-30 2022-05-11 Applied Materials, Inc. SYSTEM FOR AUTOMATIC DETECTION AND CLASSIFICATION OF TUMORS
US10818386B2 (en) * 2018-11-21 2020-10-27 Enlitic, Inc. Multi-label heat map generating system
US11282198B2 (en) 2018-11-21 2022-03-22 Enlitic, Inc. Heat map generating system and methods for use therewith
WO2020146037A1 (en) 2019-01-09 2020-07-16 Google Llc Augmented reality laser capture microdissection machine
CN113439227B (zh) * 2019-01-22 2023-06-09 应用材料公司 放大图像的捕获和存储
US11255785B2 (en) 2019-03-14 2022-02-22 Applied Materials, Inc. Identifying fiducial markers in fluorescence microscope images
EP3938763A4 (en) 2019-03-14 2022-12-07 Applied Materials, Inc. IDENTIFICATION OF LANDMARK MARKERS IN MICROSCOPE IMAGES
CN109815945B (zh) * 2019-04-01 2024-04-30 上海徒数科技有限公司 一种基于图像识别的呼吸道检查结果判读系统和方法
CN110490130A (zh) * 2019-08-16 2019-11-22 腾讯科技（深圳）有限公司 智能光学数据处理方法、装置以及计算机可读存储介质
US11328485B2 (en) * 2019-08-23 2022-05-10 Tencent America LLC Method and apparatus for displaying an augmented-reality image corresponding to a microscope view
AU2020344517A1 (en) * 2019-09-09 2022-03-24 PAIGE.AI, Inc. Systems and methods for processing images of slides for digital pathology
WO2021061613A1 (en) 2019-09-24 2021-04-01 Applied Materials, Inc. Interactive training of a machine learning model for tissue segmentation
AU2020365118A1 (en) * 2019-10-18 2022-04-28 Nanostring Technologies, Inc. Systems and methods for spatial mapping of expression profiling
US11551344B2 (en) * 2019-12-09 2023-01-10 University Of Central Florida Research Foundation, Inc. Methods of artificial intelligence-assisted infrastructure assessment using mixed reality systems
EP4078151A4 (en) 2019-12-17 2024-01-03 Applied Materials Inc SYSTEM AND METHOD FOR CAPTURE AND PROCESSING MULTIPLEXED FLUORESCENCE IN SITU HYBRIDIZATION IMAGES
CN110727097B (zh) * 2019-12-19 2020-05-05 上海兰脉信息科技有限公司 一种病理显微图像实时采集分析系统、方法、装置及介质
CN111160238A (zh) * 2019-12-27 2020-05-15 上海杏脉信息科技有限公司 显微图像质量分析方法、训练方法、系统、设备及介质
EP4097636A1 (en) * 2020-01-28 2022-12-07 PAIGE.AI, Inc. Systems and methods for processing electronic images for computational detection methods
WO2021158952A1 (en) * 2020-02-05 2021-08-12 Origin Labs, Inc. Systems configured for area-based histopathological learning and prediction and methods thereof
WO2021161447A1 (ja) * 2020-02-13 2021-08-19 オリンパス株式会社 光学顕微鏡システム
CN111292310B (zh) * 2020-02-14 2024-01-26 生物岛实验室 获取生物组织图像的方法、装置、电子设备及存储介质
WO2021166219A1 (ja) * 2020-02-21 2021-08-26 オリンパス株式会社 光学顕微鏡システム
US11131842B2 (en) * 2020-03-02 2021-09-28 Tencent America LLC Method and apparatus for displaying information ring and augmented reality display for microscope
US11211160B2 (en) * 2020-03-13 2021-12-28 PAIGE.AI, Inc. Systems and methods of automatically processing electronic images across regions
EP4130842A4 (en) * 2020-03-31 2024-05-15 Evident Corp MICROSCOPE SYSTEM, PROJECTION UNIT AND METHOD FOR ASSISTING AN EGG TEST
CN111598133B (zh) * 2020-04-22 2022-10-14 腾讯医疗健康(深圳)有限公司 基于人工智能的图像显示方法、装置、系统、设备及介质
CN111522136A (zh) * 2020-05-12 2020-08-11 宁波蓝明信息科技有限公司 一种滤光式增强现实显微成像系统
CN112288684B (zh) * 2020-07-15 2021-06-25 华北理工大学 应用密度分析的致病判断系统及方法
WO2022019138A1 (ja) * 2020-07-20 2022-01-27 キヤノン株式会社 画像処理装置、画像処理方法、および、プログラム
US11550991B2 (en) * 2021-03-29 2023-01-10 Capital One Services, Llc Methods and systems for generating alternative content using adversarial networks implemented in an application programming interface layer
CN114066875A (zh) * 2021-11-25 2022-02-18 数坤(北京)网络科技股份有限公司 切片图像处理方法、装置、存储介质及终端设备
WO2023114470A1 (en) * 2021-12-16 2023-06-22 University Of Miami Augmented and mixed reality incorporating pathology results in surgical settings
CN115032780B (zh) * 2022-05-25 2024-01-26 北京理工大学 组织病理图片的快速处理系统及其工作方法
DE102022206025A1 (de) 2022-06-14 2023-12-14 Carl Zeiss Microscopy Gmbh Populationsklassifikation mittels Punktwolken-Merkmalen

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060247514A1 (en) * 2004-11-29 2006-11-02 Panasyuk Svetlana V Medical hyperspectral imaging for evaluation of tissue and tumor
JP2011181015A (ja) * 2010-03-03 2011-09-15 Olympus Corp 診断情報配信装置および病理診断システム
JP2013104964A (ja) * 2011-11-11 2013-05-30 Toshiba Corp ホログラフィックディスプレイ装置
JP2014078008A (ja) * 2012-10-09 2014-05-01 Leica Microsystems Cms Gmbh レーザー顕微解剖領域の画定方法及び関連するレーザー顕微解剖システム
JP2015007769A (ja) * 2013-05-29 2015-01-15 キヤノン株式会社 分光顕微鏡装置
US20150213599A1 (en) * 2014-01-25 2015-07-30 Pangea Diagnostics Ltd. Automated histological diagnosis of bacterial infection using image analysis
CN105266897A (zh) * 2015-11-25 2016-01-27 上海交通大学医学院附属第九人民医院 一种基于增强现实的显微外科手术导航系统及导航方法
WO2016130424A1 (en) * 2015-02-09 2016-08-18 The Arizona Board Of Regents Of Regents On Behalf Of The University Of Arizona Augmented stereoscopic microscopy
JP2016189008A (ja) * 2010-11-08 2016-11-04 シーリアル テクノロジーズ ソシエテ アノニムＳｅｅｒｅａｌ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｓ．Ａ． 表示装置
JP2016536594A (ja) * 2013-08-19 2016-11-24 ビーエーエスエフ ソシエタス・ヨーロピアＢａｓｆ Ｓｅ 少なくとも１つの対象物の位置を求めるための検出器
WO2017075687A1 (en) * 2015-11-03 2017-05-11 Synaptive Medical (Barbados) Inc. Dual zoom and dual field-of-view microscope

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711283B1 (en) 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
DE102004055683B4 (de) 2004-10-26 2006-09-07 Carl Zeiss Surgical Gmbh Augenchirurgie-Mikroskopiesystem und Verfahren hierzu
US10139613B2 (en) * 2010-08-20 2018-11-27 Sakura Finetek U.S.A., Inc. Digital microscope and method of sensing an image of a tissue sample
US20140233826A1 (en) 2011-09-27 2014-08-21 Board Of Regents Of The University Of Texas System Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images
DE102013214318A1 (de) 2013-07-22 2015-01-22 Olympus Soft Imaging Solutions Gmbh Verfahren zum Erstellen eines Mikroskopbildes
US20150103401A1 (en) * 2013-10-11 2015-04-16 Datacolor Holding Ag Reference color slide for use in color correction of transmission-microscope slides
US10147180B2 (en) * 2013-12-19 2018-12-04 Axon Dx, Llc Cell detection, capture and isolation methods and apparatus
AU2015220783B2 (en) 2014-02-24 2021-02-04 Ventana Medical Systems, Inc. Methods, kits, and systems for scoring the immune response to cancer by simultaneous detection of CD3, CD8, CD20, and FoxP3
EP3116432B1 (en) 2014-03-14 2020-07-22 Brainlab AG Improved overlay of anatomical information in a microscope image
DE102014007909A1 (de) 2014-05-27 2015-12-03 Carl Zeiss Meditec Ag Chirurgisches Mikroskop
US9754371B2 (en) * 2014-07-31 2017-09-05 California Institute Of Technology Multi modality brain mapping system (MBMS) using artificial intelligence and pattern recognition
CN110110843B (zh) 2014-08-29 2020-09-25 谷歌有限责任公司 用于处理图像的方法和系统
DE102014118382B4 (de) 2014-12-11 2020-07-02 Carl Zeiss Meditec Ag Optisches Beobachtungsgerät und Verfahren zum Betreiben eines optischen Beobachtungsgerätes.
US9645379B2 (en) 2014-12-29 2017-05-09 Novartis Ag Magnification in ophthalmic procedures and associated devices, systems, and methods
US9747546B2 (en) 2015-05-21 2017-08-29 Google Inc. Neural network processor
US10295342B2 (en) * 2015-08-14 2019-05-21 Kla-Tencor Corporation System, method and computer program product for calibration of metrology tools
WO2017142629A1 (en) 2016-02-18 2017-08-24 Google Inc. Image classification neural networks
CN105652429B (zh) * 2016-03-22 2018-07-17 哈尔滨理工大学 一种基于机器学习的显微镜细胞载玻片扫描自动聚焦方法
US10025902B2 (en) 2016-08-12 2018-07-17 Verily Life Sciences Llc Enhanced pathology diagnosis
JP2019532352A (ja) 2016-08-28 2019-11-07 オーグメンティクス メディカル リミテッド 組織標本の組織学的検査のためのシステム
EP3570753A4 (en) 2017-02-23 2020-10-21 Google LLC METHOD AND SYSTEM TO AID IN PATHOLOGIST IDENTIFICATION OF TUMOR CELLS IN ENLARGED TISSUE IMAGES
JP6915349B2 (ja) * 2017-04-04 2021-08-04 コニカミノルタ株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US10552663B2 (en) * 2017-05-02 2020-02-04 Techcyte, Inc. Machine learning classification and training for digital microscopy cytology images

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060247514A1 (en) * 2004-11-29 2006-11-02 Panasyuk Svetlana V Medical hyperspectral imaging for evaluation of tissue and tumor
JP2011181015A (ja) * 2010-03-03 2011-09-15 Olympus Corp 診断情報配信装置および病理診断システム
JP2016189008A (ja) * 2010-11-08 2016-11-04 シーリアル テクノロジーズ ソシエテ アノニムＳｅｅｒｅａｌ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｓ．Ａ． 表示装置
JP2013104964A (ja) * 2011-11-11 2013-05-30 Toshiba Corp ホログラフィックディスプレイ装置
JP2014078008A (ja) * 2012-10-09 2014-05-01 Leica Microsystems Cms Gmbh レーザー顕微解剖領域の画定方法及び関連するレーザー顕微解剖システム
JP2015007769A (ja) * 2013-05-29 2015-01-15 キヤノン株式会社 分光顕微鏡装置
JP2016536594A (ja) * 2013-08-19 2016-11-24 ビーエーエスエフ ソシエタス・ヨーロピアＢａｓｆ Ｓｅ 少なくとも１つの対象物の位置を求めるための検出器
US20150213599A1 (en) * 2014-01-25 2015-07-30 Pangea Diagnostics Ltd. Automated histological diagnosis of bacterial infection using image analysis
WO2016130424A1 (en) * 2015-02-09 2016-08-18 The Arizona Board Of Regents Of Regents On Behalf Of The University Of Arizona Augmented stereoscopic microscopy
WO2017075687A1 (en) * 2015-11-03 2017-05-11 Synaptive Medical (Barbados) Inc. Dual zoom and dual field-of-view microscope
CN105266897A (zh) * 2015-11-25 2016-01-27 上海交通大学医学院附属第九人民医院 一种基于增强现实的显微外科手术导航系统及导航方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"ＡＩチップ創世記 第２部：エッジ 自動運転車の視覚を強化 車載向けと汎用品が競う", 日経エレクトロニクス 第１１７５号 NIKKEI ELECTRONICS, JPN6020048445, 19 December 2016 (2016-12-19), JP, pages 39 - 45, ISSN: 0004410062 *
PAN TONY ET AL.: "Virtual Mouse Placenta: Tissue Layer Segmentation", PROCEEDINGS OF THE ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY S, vol. 27, no. 3, JPN6020048446, 2005, pages 3112 - 3116, XP031001256, ISSN: 0004410063, DOI: 10.1109/IEMBS.2005.1617134 *
今井 拓司: "Hot News", 日経エレクトロニクス 第１１７２号 NIKKEI ELECTRONICS, JPN6020048443, 20 September 2016 (2016-09-20), JP, pages 20 - 21, ISSN: 0004410061 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022069464A (ja) * 2020-07-30 2022-05-11 アナウト株式会社 コンピュータプログラム、学習モデルの生成方法、手術支援装置、及び情報処理方法
JP7194889B2 (ja) 2020-07-30 2022-12-23 アナウト株式会社 コンピュータプログラム、学習モデルの生成方法、手術支援装置、及び情報処理方法

Also Published As

Publication number Publication date
EP3586181B1 (en) 2021-09-22
JP6947841B2 (ja) 2021-10-13
CN110476101A (zh) 2019-11-19
EP3586181A1 (en) 2020-01-01
CN110476101B (zh) 2022-02-18
US20200097727A1 (en) 2020-03-26
EP3586181A4 (en) 2020-07-29
US20210224541A1 (en) 2021-07-22
US11594024B2 (en) 2023-02-28
WO2018231204A1 (en) 2018-12-20
US11010610B2 (en) 2021-05-18

Similar Documents

Publication Publication Date Title
JP6947841B2 (ja) 病理学用の拡張現実顕微鏡
EP3776458B1 (en) Augmented reality microscope for pathology with overlay of quantitative biomarker data
US11927738B2 (en) Computational microscopy based-system and method for automated imaging and analysis of pathology specimens
KR20220119669A (ko) 심층 학습을 이용한 현미경 검사 이미지들의 디지털 염색을 위한 방법 및 시스템
WO2017150194A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP6447675B2 (ja) 情報処理装置、情報処理方法、プログラム及び顕微鏡システム
US11594051B2 (en) Microscope system and projection unit
US9678326B2 (en) Generating perspective views in microscopy
Chen et al. Microscope 2.0: an augmented reality microscope with real-time artificial intelligence integration
JP2004053498A (ja) 顕微鏡画像解析装置とその画像解析方法
WO2019171909A1 (ja) 画像処理方法、画像処理装置及びプログラム
Picon et al. Novel pixelwise co-registered hematoxylin-eosin and multiphoton microscopy image dataset for human colon lesion diagnosis
US11896345B2 (en) Device for producing an image of depth-dependent morphological structures of skin lesions
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
CN116235223A (zh) 使用基于目光的跟踪的注释数据收集
Berezsky et al. Design of computer systems for biomedical image analysis
Alvarez et al. Tele-pathology: A use case in colombia
US20240090846A1 (en) Autonomous healthcare visual system for real-time prevention, diagnostics, treatments and rehabilitation
US20240153088A1 (en) Medical image analysis apparatus, medical image analysis method, and medical image analysis system
EP4249850A1 (en) Controller for an imaging system, system and corresponding method
Wang et al. Real-time targeted illumination in widefield microscopy achieves confocal quality neuronal images
Qidwai et al. Image stitching system with scanning microscopy for histopathological applications

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210916

R150 Certificate of patent or registration of utility model

Ref document number: 6947841

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150