JP2022544705A - ユニバーサルスライドビューア - Google Patents

ユニバーサルスライドビューア Download PDF

Info

Publication number
JP2022544705A
JP2022544705A JP2022511224A JP2022511224A JP2022544705A JP 2022544705 A JP2022544705 A JP 2022544705A JP 2022511224 A JP2022511224 A JP 2022511224A JP 2022511224 A JP2022511224 A JP 2022511224A JP 2022544705 A JP2022544705 A JP 2022544705A
Authority
JP
Japan
Prior art keywords
tiles
tile
computer system
coordinates
biomedical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022511224A
Other languages
English (en)
Inventor
ペーター シェフラー
トーマス フックス
Original Assignee
メモリアル スローン ケタリング キャンサー センター
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by メモリアル スローン ケタリング キャンサー センター filed Critical メモリアル スローン ケタリング キャンサー センター
Publication of JP2022544705A publication Critical patent/JP2022544705A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本開示は、一般的には画像ビューアに関し、詳細には、さまざまな倍率または解像度で生物医学画像を同時にレンダリング可能な生物医学画像ビューアに関する。コンピュータシステムは、生物医学画像の第1の部分からタイルを識別可能である。各タイルは、倍率レベルおよび生物医学画像中の座標に対応し得る。コンピュータシステムは、各グラフィカルユーザインターフェース(GUI)要素における同時表示のためにタイルを提供可能である。コンピュータシステムは、GUI要素との相互作用を検出可能である。コンピュータシステムは、相互作用に基づいて、GUI要素に表示されたタイルの座標の変化を識別可能である。コンピュータシステムは、座標の変化に基づいて、その他の同時表示タイルの第2の変化を決定可能である。コンピュータシステムは、これらの変化に基づいて、タイルの同時表示を更新可能である。

Description

関連出願の相互参照
本願は、2019年8月23日に出願された米国仮特許出願第62/890,953号「Universal Slide Viewer」に対する優先権を主張するものであり、そのすべての内容を本明細書に援用する。
本願は一般的に、生物医学画像をレンダリングする表示インターフェース(viewing interface)に関するものであり、多様なフォーマット、構成、およびパラメータを有する画像に対するユニバーサルスライドビューア等のスライドビューアの使用が挙げられるが、これに限定されない。
アプリケーションを介したコンピュータ機器上の画像の表示およびレンダリングが可能である。画像のビューは、アプリケーションの1つまたは複数のユーザインターフェース要素を介して制御可能である。
本開示のシステムおよび方法は、異なる解像度および配色(color scheme)で正規化された異なる倍率レベルの生物医学画像(biomedical image)の同時表示を可能にし得る。ユニバーサルスライドビューはさらに、生物医学画像の表示と関連する態様の中でもとりわけ、パンまたはズーム動作が画像に適用された場合の異なる倍率レベルでの複数の同期ビューに対応し得る。本明細書に記載のシステムおよび方法は、スライドのシームレスかつ高速なピクセル精度のアノテーションをさまざまな倍率で提供可能である。ラスタライズBMP画像には、アノテーションを格納することにより、精度も速度も犠牲にすることなく、格納スペースを増大可能である。
本開示の少なくとも1つの態様は、方法に関する。この方法は、病理組織学的画像作成器(histopathological image preparer)を介して組織サンプルから導出された生物医学画像の第1の部分から複数のタイルを識別することを含み得る。複数のタイルはそれぞれ、複数の倍率のうちの1つで取得されるとともに、生物医学画像内の対応する座標セットにより規定され得る。複数のタイルのうちの少なくとも1つは、第1の部分の少なくとも1つのサブセットに対応し得る。この方法は、対応する複数のグラフィカルユーザインターフェース要素を介した同時表示のために複数のタイルを提供することを含み得る。この方法は、複数のGUI要素のうちの1つとの相互作用を検出して、複数のタイルのうちの1つを修正することを含み得る。この方法は、GUI要素との相互作用に応答して、タイルを規定する第1の座標セットの第1の変化を識別することを含み得る。この方法は、第1の座標セットの第1の変化に基づいて、複数のタイルのうちのその他のタイルそれぞれを規定する第2の座標セットに適用する第2の変化を決定することを含み得る。この方法は、相互作用が検出されたタイルの第1の座標セットに第1の変化を適用するとともに、複数のタイルのうちのその他のタイルそれぞれの第2の座標セットに第2の変化を適用することによって、対応する複数のGUI要素における複数のタイルの表示を更新することを含み得る。
いくつかの実施態様において、この方法は、タイルを規定する第1の座標セットに適用される第1の変化に基づいて、生物医学画像の第2の部分を識別することを含み得る。いくつかの実施態様において、この方法は、第1の部分および第2の部分の比較に基づいて、第2の座標セットに適用する第2の変化を決定することを含み得る。いくつかの実施態様において、複数のGUI要素は、複数のタイルのうちの基準タイルを表示する第1のGUI要素と、複数のタイルのうちの対応する1つまたは複数の他のタイルを表示する1つまたは複数の第2のGUI要素と、を含み得る。
いくつかの実施態様において、相互作用を検出することは、相互作用を検出して、タイル内のズーム動作およびタイルから移動するパン動作の少なくとも一方を実行することをさらに含み得る。いくつかの実施態様において、複数のタイルを識別することは、対応する複数のGUI要素を介してクライアント機器上に表示するための、生物医学画像の第1の部分に対応する複数のタイルをクライアント機器にストリーミングすることをさらに含み得る。
いくつかの実施態様において、この方法は、複数のGUI要素のうちの第2のGUI要素を介してアノテーションを識別することを含み得る。いくつかの実施態様において、アノテーションは、第2のGUI要素を介して表示された複数のタイルのうちの第2のタイル上の1つまたは複数のピクセル座標を識別し得る。いくつかの実施態様において、アノテーションは、第2のタイル上の1つまたは複数のピクセル座標に対応する組織サンプル上のエリアにおける1つまたは複数の条件の有無を示し得る。いくつかの実施態様において、この方法は、アノテーションと生物医学画像との間の関連を1つまたは複数のデータ構造に格納することを含み得る。
いくつかの実施態様において、この方法は、アノテーションにより識別された1つまたは複数のピクセル座標に対応する複数のインデックス化色値(indexed color value)を生成することを含み得る。いくつかの実施態様において、この方法は、複数のインデックス化色値をアノテーションのマップとして格納することを含み得る。いくつかの実施態様において、この方法は、第2のGUI要素を介して表示された第2のタイルにおいて識別されたアノテーションに基づいて、対応する複数のGUI要素における複数のタイルの表示を更新することを含み得る。
いくつかの実施態様において、この方法は、複数のタイルのうちの第3のタイルについて、生物医学画像の各部を識別することを含み得る。いくつかの実施態様において、この方法は、少なくとも1つのタイルの各部に対する色修正動作を適用する一方、生物医学画像のその他の部分を維持することを含み得る。いくつかの実施態様において、この方法は、各部に対する色修正動作の適用に基づいて、複数のGUI要素のうちの対応するGUI要素における第3のタイルの表示を更新することを含み得る。いくつかの実施態様において、この方法は、複数のタイルが導出された生物医学画像の供給源を識別することを含み得る。いくつかの実施態様において、この方法は、複数の色修正動作から選択することを含み得る。この方法のいくつかの実施態様において、色修正動作は、生物医学画像に対して識別された供給源に基づき得る。
本開示の少なくとも1つの他の態様は、システムに関する。このシステムは、メモリに結合された1つまたは複数のプロセッサを有するコンピュータシステムを備え得る。このシステムは、病理組織学的画像作成器を介して組織サンプルから導出された生物医学画像の第1の部分から複数のタイルを識別し得る。複数のタイルはそれぞれ、複数の倍率のうちの1つで取得されるとともに、生物医学画像内の対応する座標セットにより規定され得る。複数のタイルのうちの少なくとも1つは、第1の部分の少なくとも1つのサブセットに対応する。このシステムは、対応する複数のグラフィカルユーザインターフェース要素を介した同時表示のために複数のタイルを提供し得る。このシステムは、複数のGUI要素のうちの1つとの相互作用を検出して、複数のタイルのうちの1つを修正し得る。このシステムは、GUI要素との相互作用に応答して、タイルを規定する第1の座標セットの第1の変化を識別し得る。このシステムは、第1の座標セットの第1の変化に基づいて、複数のタイルのうちのその他のタイルそれぞれを規定する第2の座標セットに適用する第2の変化を決定し得る。このシステムは、相互作用が検出されたタイルの第1の座標セットに第1の変化を適用するとともに、複数のタイルのうちのその他のタイルそれぞれの第2の座標セットに第2の変化を適用することによって、対応する複数のGUI要素における複数のタイルの表示を更新し得る。
いくつかの実施態様において、このシステムは、タイルを規定する第1の座標セットに適用される第1の変化に基づいて、生物医学画像の第2の部分を識別し得る。いくつかの実施態様において、このシステムは、第1の部分および第2の部分の比較に基づいて、第2の座標セットに適用する第2の変化を決定し得る。いくつかの実施態様において、複数のGUI要素は、複数のタイルのうちの基準タイルを表示する第1のGUI要素と、複数のタイルのうちの対応する1つまたは複数の他のタイルを表示する1つまたは複数の第2のGUI要素と、を含み得る。いくつかの実施態様において、このシステムは、相互作用を検出して、タイル内のズーム動作およびタイルから移動するパン動作の少なくとも一方を実行し得る。
いくつかの実施態様において、このシステムは、対応する複数のGUI要素を介してクライアント機器上に表示するための、生物医学画像の第1の部分に対応する複数のタイルをクライアント機器にストリーミングし得る。いくつかの実施態様において、このシステムは、複数のGUI要素のうちの第2のGUI要素を介してアノテーションを識別し得る。いくつかの実施態様において、アノテーションは、第2のGUI要素を介して表示された複数のタイルのうちの第2のタイル上の1つまたは複数のピクセル座標を識別し得る。いくつかの実施態様において、アノテーションは、第2のタイル上の1つまたは複数のピクセル座標に対応する組織サンプル上のエリアにおける1つまたは複数の条件の有無を示し得る。いくつかの実施態様において、このシステムは、アノテーションと生物医学画像との間の関連を1つまたは複数のデータ構造に格納し得る。
いくつかの実施態様において、このシステムは、アノテーションにより識別された1つまたは複数のピクセル座標に対応する複数のインデックス化色値を生成し得る。いくつかの実施態様において、このシステムは、複数のインデックス化色値をアノテーションのマップとして格納し得る。いくつかの実施態様において、このシステムは、第2のGUI要素を介して表示された第2のタイルにおいて識別されたアノテーションに基づいて、対応する複数のGUI要素における複数のタイルの表示を更新し得る。
いくつかの実施態様において、このシステムは、複数のタイルのうちの第3のタイルについて、生物医学画像の各部を識別し得る。いくつかの実施態様において、このシステムは、少なくとも1つのタイルの各部に対する色修正動作を適用する一方、生物医学画像のその他の部分を維持し得る。いくつかの実施態様において、このシステムは、各部に対する色修正動作の適用に基づいて、複数のGUI要素のうちの対応するGUI要素における第3のタイルの表示を更新し得る。いくつかの実施態様において、このシステムは、複数のタイルが導出された生物医学画像の供給源を識別し得る。いくつかの実施態様において、このシステムは、複数の色修正動作から選択し得る。いくつかの実施態様において、色修正動作は、生物医学画像に対して識別された供給源に基づき得る。
上記他の態様および実施態様については、以下に詳しく論じる。以上の情報および以下の詳細な説明は、種々態様および実施態様を説明するための例を含み、特許請求の範囲に係る態様および実施態様の本質および特徴を理解するための概略または枠組みを提供する。図面は、一例を示して種々態様および実施態様の理解を深めるためのものであり、本明細書に援用して、その一部を構成する。態様は組み合わせ可能であり、当然のことながら、本発明の一態様の背景において説明する特徴は、他の態様と組み合わせ可能である。態様は、任意の好都合な形態で実施可能である。たとえば、適当なコンピュータプログラムによって可能であるが、これは、適当なキャリア媒体(コンピュータ可読媒体)に担持されていてもよく、これは、有形のキャリア媒体(たとえば、ディスク)であってもよいし、無形のキャリア媒体(たとえば、通信信号)であってもよい。また、態様は、好適な装置を用いて実施されるようになっていてもよく、これは、当該態様を実施するように構成されたコンピュータプログラムを動作させる1つまたは複数のプログラム可能なコンピュータの形態が可能である。本明細書および特許請求の範囲において使用する通り、「a」、「an」、および「the」の単数形は、文脈上の別段の明確な指示のない限り、複数の指示対象を含む。
本開示に関する上記および他の目的、態様、特徴、および利点は、添付の図面と併せて以下の説明を参照することによって、より明らかになるとともに、より深い理解が得られる。
例示的な一実施形態に係る、さまざまなベンダーと適合するユニバーサルスライドビューを示した図である。 例示的な一実施形態に係る、ピクセル単位のラベリングで生検をレンダリングするユニバーサルスライドビューアのインターフェースのスクリーンショットである。 例示的な一実施形態に係る、生検の分類をレンダリングするユニバーサルスライドビューアのインターフェースのスクリーンショットである。 例示的な一実施形態に係る、同時表示のために生物医学画像の複数のビューを提供するシステムを示した図である。 例示的な一実施形態に係る、生物医学画像の複数のタイルおよびグラフィカルユーザインターフェースにおける各表示領域を示したブロック図である。 例示的な一実施形態に係る、パンまたはズーム動作を実行中の生物医学画像の1つまたは複数のタイルの変化を示したブロック図である。 例示的な一実施形態に係る、色変更動作を実行中の生物医学画像の1つまたは複数のタイルを示したブロック図である。 例示的な一実施形態に係る、同時表示のために生物医学画像の複数のビューを提供する例示的な方法のフロー図である。 例示的な一実施形態に係る、サーバシステムおよびクライアントコンピュータシステムを示したブロック図である。
本技術は、ユニバーサルスライドビューを用いて生物医学画像の複数の拡大ビューを提示することを含み、高度なツールを使用する病理学者または他のヘルスケア専門家による医療画像の表示およびアノテーションを可能にし得る。当然のことながら、上記で紹介するとともに以下でより詳しく論じるさまざまな概念は、数多くの方法のいずれかにより実施されるようになっていてもよい。これは、開示の概念が如何なる特定の実施態様にも限定されないためである。主に説明を目的として、特定の実施態様および用途の例を与える。
第A項は、1つまたは複数の例示的な実施態様に係る、ユニバーサルスライドビューアを記載する。
第B項は、1つまたは複数の実施態様に係る、生物医学画像のさまざまなビューを異なる倍率レベルで提示するシステムおよび方法を記載する。
第C項は、本明細書に記載の種々実施形態の実現に有用と考えられるネットワーク環境およびコンピュータ環境を記載する。
A.ユニバーサルスライドビューア
病院は、生物医学撮像技術に関する複数のベンダー、スキャナ、またはファイルフォーマットを有するため、生物医学画像をレンダリングする複数のアプリケーションまたはサービスを有すると考えられる。特定のビューアは、ベクトルベースのグラフィカルアノテーションにしか対応し得ず、不正確で矛盾が生じる可能性がある。デジタルスライドの手動評価は、患者当たりのデジタルスライドの増加につれて、ますます時間が掛かるものとなり得る。
少なくとも上掲の問題を解決するために、図1を参照して、ユニバーサルスライダは、異なる解像度および配色で正規化された異なるベンダーのための表示を可能にし得る。また、マルチビューおよびカンファレンスセッションに対応する。図2を参照して、スライドビューアは、スライドのシームレスかつ高速なピクセル精度のアノテーションにさまざまな倍率で対応する。ラスタライズBMP画像がアノテーションを格納する。図3を参照して、ビューアは、ステップ1および2のスライドおよびアノテーションに基づく自動機械学習モデルのトレーニングおよびテストに対応する。分類結果が定量的(結果テーブル)かつ定性的(予測マップ、ヒートマップ、信頼性マップ等の重ね合わせ)に視覚化される。このように、計算病理学のさまざまな用途に対して、情報に基づく意思決定支援が提供され得る。
1(a).倍率ごとの解像度の正規化
同じ倍率であっても、ベンダー/スキャナによってはピクセルごとに異なる解像度でスキャンを行う。したがって、スキャナによっては、「20倍」の大きさが異なって見えることがある。一方、病理学者は、すべてのスライドについて、「20倍」が同じサイズであるものと評価する。したがって、スライドビューアは、20倍が常に同じ解像度0.45μm/pxとなるように、(SlideObjectivePower*SlideMPP/20)/0.45という式によって、ズームレベルの正規化係数を組み込んでいる。ここで、SlideObjectivePowerは、現在のスライドの対物倍率であり、SlideMPPは、現在のスライドの解像度である。他の倍率レベルも同様に正規化される。
1(b).色あせおよび色ずれを補償する各種染色の配色の正規化
スキャナによっては、(デジタルカメラがわずかに異なる色で同じシーンを表すのと同様に)画像のスキャン時の色テーブルが異なる。さらに、配色は時間とともに変化する可能性もあるため、古いスキャナでは、新しいスキャナと比べて色あせまたは色ずれが見られる。一方、病理学者は、スキャナのベンダーにも年式にも関わらず、スライドが同様に見えるものと評価する。スライドビューアは、H&E染色スライドが色に関して互いに同様に見えるように、タイルの色の正規化によって色ずれの補償(色あせおよび色ずれの補償)を行うことになる。
2(a).倍率が異なる複数の小型ウィンドウを備えた主スライドウィンドウ
ビューアは、スライドの詳細な調査のため、マルチビューに対応する(大画面が最も合理的である)。これには、以下を含む。
サインアウトビュー:スライドを表示する1つの主ウィンドウである。その隣には、同じスライドを含み、倍率レベルが順に高くなる2つ~3つの小型ウィンドウがある。利点:病理学者は、レバー(顕微鏡)の切り替えもボタン(他のビューア)のクリックもなく、異なる倍率レベルでスライドを瞬時に調査可能である。
2(b).同時に表示され、視認可能なスライドの領域、ズーム等に関して互いに同期された複数のスライド
マルチビュー:ナビゲーションと同期して、2つまたは4つ(以上)のスライドが隣り合って表示される。スライドのパンおよびズームが同期して行われるように、スライドの異なる寸法およびズームが補償される。利点:病理学者は、同じ組織の異なる染色(たとえば、H&E、IHC、MIB-1、CD3等)を瞬時に観察可能である。これは、組織の評価を容易にする。
3.ソフトウェアコンポーネントの追加を必要としないビューア内画面共有
ビューアは、カンファレンスセッションに対応する。誰でも容易に、特定時間のカンファレンスと、このカンファレンス用のスライド集と、を生成可能である。そして、所与の時間にカンファレンスに参加する人たちは、「リード(lead)」が視認およびナビゲーションするものをそれぞれの画面上で視認することになる。これは、デスクトップ画面の共有と酷似するが、画面共有ソフトの追加の必要なく、ビューアにおいて完全に実装される。利点:教育目的(先生、生徒)およびリモートセッション(カンファレンス/合意セッション、病理学者が常駐していない腫瘍ボード)に有用である。
4.タイル単位でのオンザフライ偽色表現(on-the-fly false color representation)
アウトビューアは、事前の計算なく、スライドのオンザフライ偽色表現に対応する。これは、現在ユーザに見えているタイルのみを編集することにより実行される。例として、カラーデコンボリューション正規化色(RGB→R/(R+G+B)、G/(R+G+B)、B/(R+G+B))、光学密度(RGB→-log10(R/255)、-log10(G/255)、-log10(B/255))が挙げられる。
5.アノテーションを精査するための監視モード
ビューアは、(上位)病理学者が他の(下位)病理学者のアノテーションを精査し得る監視モードに対応する。これは、たとえば研究員が多くのスライドにアノテーションを施し、上位病理学者がこれらを精査する大規模アノテーションに有益である。これは、スライドビューアを使用する個々のユーザの異なるアクセスレベルの実装により解決される。
6.openslideの使用
タイルサーバは、ライブラリopenslideを使用することにより、独自のファイルフォーマットから現在の倍率で、現在表示されているタイルを抽出する。これにより、サーバからクライアントへの最適なデータストリーミングが可能となって、スライドの関連部分のみにアクセス可能となる。
7.負荷分散
複数のユーザが同時に、複数のファイルにアクセスするため、4つのタイルサーバから流れてくるタイルに対して、負荷分散が実施される。これらのタイルサーバはとしては、物理的なサーバも可能であるし、クラウド中の仮想的なサーバも可能である。
8.キャッシング画像タイルの直接配信
クライアントへのタイル配信速度を上げるため、(元のスキャンファイルからライブラリopenslideにより生成された)生成タイルは、jpgまたはpngとしてサーバにキャッシングされる。openslideによる新たなタイルの生成および結果としての画像タイルの配信は、キャッシング画像タイルの直接配信よりもはるかに遅い。したがって、このキャッシング手順により、表示速度が大きく上昇する。
9.スライドビューア上のラベリング。
スライドビューアは、(コンピュータ機器に応じて)コンピュータマウス、ペン、指等の入力装置による画像へのペイントに対応する。
アノテーションは、重ね合わせとして視覚化され、4bppビットマップとして格納される。これらの4ビット/ピクセルのビットマップにより、以下が可能となる。
大きな寸法(100k×80kピクセル)でも小さなファイルサイズ(4bppビットマップは、高圧縮可能である)
ファイル当たり16個の異なるアノテーション
高速かつ容易な画像へのペイント、ピクセル精度のラベル、たとえばベクトルベースのアノテーションでは困難なドーナツ状のアノテーション
一方、不利な点として、非圧縮時のファイルサイズが非常に大きい(~1Gb)。したがって、ラベルファイルをRAMにロードするのは、問題となり得る。この問題は、メモリマッピングファイルの使用により解決される。メモリマッピングファイルの使用によって、以下が可能となる。
異なるプロセス(たとえば、分類および表示プロセス)からでも1つのラベルファイルに同時アクセス可能
これらのファイルの高速読み書きが可能
これらのファイルにアクセス(読み書き)するためのスクリプトおよびルーチンが構成されている。これらのスクリプトは、組織画像用のピラミッドアーキテクチャに適合するように、ピラミッドレベルのアクセスを含む。これにより、ビューアにおいて現在表示されているラベルファイルの部分のみが現在の倍率でクライアントにストリーミングされる。このため、ストリーミングデータが大幅に少なくなって、アノテーションの表示プロセスが高速になる。
ローカルのクライアント機器上では、ライブラリOpenSeadragonを用いて、重ね合わせ(および、主スライド画像)が視覚化される。このライブラリは、シームレスなズームおよびパンを可能にする。クライアント機器上でのペインティング自体は、fabric.js用のプラグインOpenSeadragonを用いて実現される。
10.実験セットアップインターフェース
ビューアは、以下のような実験セットアップインターフェースを有する。
ユーザは、新たな実験を生成し、トレーニング・テストセットとして含めるべき画像を選択する。
ユーザは、トレーニング・テスト画像上の異なるクラスに対してアノテーション(たとえば、それ自体のアノテーションまたは他のアノテータからのアノテーション)を与える。
ユーザは、データセット上のトレーニングおよびテストの対象となるアルゴリズムを選定する。アルゴリズムは、モジュールであって、プラグイン可能である。通常は、計算病理学研究グループによって、好適なアルゴリズムが開発される。
ビューアは、サーバ上でローカルでまたはHPCクラスタへのアクセスによって、機械学習アルゴリズムのトレーニングおよびテストを行う。
結果は、格納され、ユーザに対して視覚化される。定量的なエラー基準(たとえば、正確性、精度、再現性等)のほか、ヒートマップの重ね合わせ画像等の定性的な結果も報告される。これらのヒートマップは、類似の4bppビットマップであるため、ラベルファイルと同様に取り扱われる。
その後、予備トレーニング分類子を以下のように適用する。
ユーザは、分類対象のスライドまたはスライドセット(たとえば、前立腺がんスライド)を選択する。
ユーザは、利用可能な分類子のリストから、予備トレーニング分類子を選択する。このような分類子は、(たとえば、研究グループにより)予め開発され、さまざまなデータセットで検証されたものである(たとえば、前立腺がんグリソンスコア予測子)。
ビューアは、サーバマシン上でローカルでまたはHPCクラスタの使用によって、選択したスライドに分類子を適用する。
結果は、格納され、ユーザに対して視覚化される。定量的なエラー基準(たとえば、正確性、精度、再現性等)のほか、ヒートマップの重ね合わせ画像等の定性的な結果も報告される。これらのヒートマップは、類似の4bppビットマップであるため、ラベルファイルと同様に取り扱われる。
B.生物医学画像を異なる倍率レベルでレンダリングするシステムおよび方法
病理学者および他の医療専門家は、たとえば顕微鏡または他の撮像技術を用いて、さまざまな倍率レベルでスライドを表示することが多い。従来の顕微鏡の限界として、その表示能力が挙げられる。所与の時間において観察者に表示できるのは、1つの倍率ビューだけである。特定のタスクについて異なるビューが必要な場合は、顕微鏡の倍率レベルを変更する必要がある。コンピュータ撮像技術の進歩により、組織サンプルを非常に高い解像度で撮像可能である。解像度の非常に高い画像は、サイズが非常に大きく、レンダリングに相当な計算リソースを要することが多い。さらに、生物医学画像ビューアは、従来の顕微鏡と同様に、所与の時間に単一の倍率レベルしかレンダリングできないという問題を抱えている。
組織サンプルを分析する場合、生物医学画像または顕微鏡のいずれにおいても、病理学者は、生物医学画像を異なる倍率レベルで分析して、組織サンプルの特定の品質を異なるスケールで評価することが多い。ただし、ビュー間の連続切り替えは、煩雑となり得る。したがって、システムは、生物医学画像を異なる倍率でレンダリングし得る付加的な表示画面を提供するのが好都合となる。そこで、本開示のシステムおよび方法は、このような解決手段を提供する。
本明細書に記載のシステムおよび方法は、生物医学画像の複数のビューを異なる倍率レベルで同時にレンダリング可能なユニバーサルスライドビューアを提供する。複数のビューそれぞれを生物医学画像中の関心座標に対して同期可能であるため、主表示ウィンドウの位置も倍率も変更することなく、同じ座標を異なる倍率レベルで表示可能である。また、必要に応じてユーザがビューを追加または削除可能であり、それぞれの使用によって、倍率レベルにわたってピクセルレベルの粒状アノテーションをリアルタイムに提供可能である。生物医学画像は非常に大きい場合が多いため、レンダリングサーバは、ユーザが要求する生物医学画像の部分のみを選択してレンダリングすることができる。ユーザは、ユニバーサルスライドビューアが提供するインターフェースを通じて、医療画像の異なる部分をリアルタイムに要求することができる。このため、本明細書に記載のシステムおよび方法では、視認可能な生物医学画像の部分のみをレンダリングすることによって、生物医学画像レンダリングプラットフォームを技術的に改良する。この技術的解決手段の上記および他の態様については、以下により詳しく説明する。
ここで図4を参照して、この図は、生物医学画像をレンダリングする1つまたは複数の表示領域を提示する例示的なシステム400のブロック図である。システム400は、少なくとも1つのコンピュータシステム405、少なくとも1つのクライアント機器420A~420N(「クライアント機器420」と総称する場合もある)、少なくとも1つのネットワーク410、および少なくとも1つのデータストレージ415を具備し得る。いくつかの実施態様においては、コンピュータシステム405がデータストレージ415を具備し得るものの、いくつかの実施態様においては、データストレージ415をコンピュータシステム405の外部に置くことも可能である。たとえば、データストレージ415がコンピュータシステム405の外部である場合、コンピュータシステム405(または、その構成要素)は、ネットワーク410を介してデータストレージ415と通信可能である。コンピュータシステム405は、少なくとも1つのタイル識別器425、少なくとも1つの表示提供器430、少なくとも1つの相互作用検出器435、および少なくとも1つのタイル修正器440を具備し得る。データストレージ415は、少なくとも1つの生物医学画像450および少なくとも1つのアノテーションデータ455を含み得る。
システム400の構成要素(たとえば、コンピュータシステム405、クライアント機器420、ネットワーク410、タイル識別器425、表示提供器430、相互作用検出器435、タイル修正器440、データストレージ415等)はそれぞれ、たとえば図9と併せて本明細書の以下に記載するサーバシステム900またはクライアントコンピュータシステム914等、本明細書に記載のさまざまなコンピュータ機器のいずれかを用いて実装可能である。コンピュータシステム405は、本明細書の上記第A項に記載の特徴または機能のいずれかを実行可能である。
より詳細には、コンピュータシステム405は、少なくとも1つのプロセッサおよびメモリ(たとえば、処理回路)を具備し得る。メモリは、プロセッサにより実行された場合に、本明細書に記載の動作のうちの1つまたは複数をプロセッサに実行させるプロセッサ実行可能命令を格納し得る。プロセッサとしては、マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)等、またはこれらの組み合わせが挙げられる。メモリとしては、電子、光学、磁気、もしくはその他任意のストレージ、またはプロセッサにプログラム命令を与え得る伝送機器が挙げられるが、これらに限定されない。メモリとしては、フロッピーディスク、CD-ROM、DVD、磁気ディスク、メモリチップ、ASIC、FPGA、リードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)、電気的消去・プログラム可能ROM(EEPROM)、消去・プログラム可能ROM(EPROM)、フラッシュメモリ、光学媒体、またはプロセッサが命令を読み出し可能なその他の任意好適なメモリがさらに挙げられる。命令としては、任意好適なコンピュータプログラミング言語によるコードが挙げられる。コンピュータシステム405は、本明細書に記載のさまざまな機能を実行可能な1つまたは複数のコンピュータ機器またはサーバを具備し得る。コンピュータシステム405は、図9と併せて本明細書に記載のサーバシステム900またはクライアントコンピュータシステム914のありとあらゆる構成要素を含むとともに、ありとあらゆる機能を実行可能である。
ネットワーク410としては、インターネット、ローカル、ワイド、メトロ、もしくは他のエリアネットワーク、イントラネット、衛星ネットワーク等のコンピュータネットワーク、音声もしくはデータ携帯電話通信ネットワーク等の他のコンピュータネットワーク、ならびにこれらの組み合わせが挙げられる。いくつかの実施態様において、ネットワーク410としては、図9と併せて本明細書の以下に記載のネットワーク929の1つもしくは複数の態様またはその一部も可能であるし、ネットワーク929の1つもしくは複数の態様を含むことも可能である。システム1のコンピュータシステム405は、ネットワーク410を介して、たとえば少なくとも1つのクライアント機器420Aと通信可能である。ネットワーク410は、クライアント機器420Aと、コンピュータシステム405と、特にウェブサーバ等の1つまたは複数のコンテンツ供給源との間で情報を中継可能な如何なる形態のコンピュータネットワークであってもよい。いくつかの実施態様において、ネットワーク410としては、インターネットおよび/または他種のデータネットワーク(ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、セルラーネットワーク、衛星ネットワーク、または他種のデータネットワーク等)が挙げられる。また、ネットワーク410は、当該ネットワーク410内でデータの受信および/または送信を行うように構成された任意数のコンピュータ機器(たとえば、コンピュータ、サーバ、ルータ、ネットワークスイッチ等)を具備していてもよい。ネットワーク410は、任意数の有線および/または無線接続をさらに含んでいてもよい。本明細書に記載のありとあらゆるコンピュータ機器(たとえば、コンピュータシステム405、サーバシステム900、クライアントコンピュータシステム914等)が、ネットワーク410中の他のコンピュータ機器に(たとえば、光ファイバケーブル、CAT5ケーブル等を介して)配線接続された送受信機と(たとえば、Wi-Fi、セルラー、無線等を介して)無線通信するようになっていてもよい。また、本明細書に記載のありとあらゆるコンピュータ機器(たとえば、コンピュータシステム405、サーバシステム900、クライアントコンピュータシステム914等)が、プロキシ機器(たとえば、ルータ、ネットワークスイッチ、またはゲートウェイ)を介して、ネットワーク410のコンピュータ機器と無線通信するようになっていてもよい。
データストレージ415としては、本明細書に記載の情報のいずれかを格納および/または維持するように構成されたデータベースが可能である。データストレージ415は、1つまたは複数のデータ構造を維持することができ、データ構造は、本明細書に記載の値、集合、セット、変数、ベクトル、または閾値のそれぞれを含み、インデクス化し、または他の方法で格納することが可能である。データストレージ415は、当該データストレージ415に維持された任意の項目、構造、または領域の1つまたは複数のメモリアドレス、インデックス値、または識別子を用いてアクセス可能である。データストレージ415は、ネットワーク410を介して、コンピュータシステム405の構成要素または本明細書に記載のその他任意のコンピュータ機器によりアクセス可能である。いくつかの実施態様において、データストレージ415は、コンピュータシステム405の内部に置くことも可能である。いくつかの実施態様において、データストレージ415は、コンピュータシステム405の外部に存在可能であり、ネットワーク410を介してアクセスされるようになっていてもよい。データストレージ415は、多くの異なるコンピュータシステムまたはストレージ要素にわたって分散可能であり、ネットワーク410または好適なコンピュータバスインターフェースを介してアクセスされるようになっていてもよい。コンピュータシステム405は、適当な値でインデックス化または識別された1つまたは複数のデータ構造中のありとあらゆる演算、決定、選択、識別、生成、構成、または計算の結果を当該コンピュータシステム405のメモリの1つもしくは複数の領域またはデータストレージ415に格納し得る。データストレージ415に格納されたありとあらゆる値に対して、本明細書に記載の任意のコンピュータ機器(コンピュータシステム405等)がアクセスすることにより、本明細書に記載の機能性または機能のいずれかを実行するようにしてもよい。
クライアント機器420は、少なくとも1つのプロセッサおよびメモリ(たとえば、処理回路)を具備し得る。メモリは、プロセッサにより実行された場合に、本明細書に記載の動作のうちの1つまたは複数をプロセッサに実行させるプロセッサ実行可能命令を格納し得る。プロセッサとしては、マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)等、またはこれらの組み合わせが挙げられる。メモリとしては、電子、光学、磁気、もしくはその他任意のストレージ、またはプロセッサにプログラム命令を与え得る伝送機器が挙げられるが、これらに限定されない。メモリとしては、フロッピーディスク、CD-ROM、DVD、磁気ディスク、メモリチップ、ASIC、FPGA、リードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)、電気的消去・プログラム可能ROM(EEPROM)、消去・プログラム可能ROM(EPROM)、フラッシュメモリ、光学媒体、またはプロセッサが命令を読み出し可能なその他の任意好適なメモリがさらに挙げられる。命令としては、任意好適なコンピュータプログラミング言語によるコードが挙げられる。クライアント機器420は、本明細書に記載のさまざまな機能を実行可能な1つまたは複数のコンピュータ機器またはサーバを具備し得る。クライアント機器420は、図9と併せて本明細書の以下に記載のサーバシステム900またはクライアントコンピュータシステム914のありとあらゆる構成要素を含むとともに、ありとあらゆる機能を実行可能である。
クライアント機器420は、任意の情報を1つまたは複数のグラフィカルユーザインターフェース(GUI)に表示するように構成可能である。GUIとしては、ウェブブラウザ、ネイティブアプリケーション、または他種の生物医学画像450表示アプリケーション等、クライアント機器420上で実行される1つまたは複数のアプリケーションの一部も可能であるし、1つまたは複数のアプリケーションにおいて提供することも可能である。情報をGUIに表示するため、クライアント機器420は、たとえば当該クライアント機器420のディスプレイ上のレンダリング対象のピクセルに対応する内部メモリから、表示情報にアクセス可能である。表示情報には、数ある実施可能な入力オブジェクトの中でもとりわけ、画像タイル、ボタン、スクロールバー、テキスト入力ボックス、ラジオボックス、チェックボックス等の1つまたは複数のインタラクティブオブジェクトを含み得るグラフィカルユーザインターフェースのさまざまな表示形状、画像、または他の態様を生成する命令を含み得る。いくつかの実施態様において、クライアント機器420は、コンピュータシステム405等の外部供給源から、表示情報の少なくとも一部を受信可能である。たとえば、クライアント機器420は、コンピュータシステム405からネットワーク410を介して、表示情報を含む1つまたは複数のパケットを受信可能である。
クライアント機器420は、倍率、座標、または他の画像パラメータに対応する画像データ等の表示情報に関する1つまたは複数のリクエストをコンピュータ機器に送ることができる。クライアント機器420により送信される表示情報に関するリクエストには、相互作用情報を含み得る。たとえば、相互作用(たとえば、タップ、クリック、ドラッグ、ダブルクリック、ダブルタップ等)を受け付けたクライアント機器420は、相互作用情報を含むリクエストを送信可能である。いくつかの実施態様において、クライアント機器420は、相互作用を処理して、相互作用の種類を事前に変換または復号化するとともに、復号化した相互作用情報を表示情報に関するリクエストに含めることができる。たとえば、クライアント機器420は、現在表示されていない(たとえば、フレーム外等の)表示情報に関するリクエストまたは当該クライアント機器420のGUI中の異なる位置に現在の表示情報をパンまたは移動させるリクエストとして、スクロールバーとの相互作用を変換可能である。クライアント機器420は、表示情報に関する1つまたは複数のリクエストを送信した後、コンピュータシステム405から、要求した表示情報(たとえば、生物医学画像450の1つまたは複数のタイル、生物医学画像450の1つまたは複数の部分、生物医学画像450上で実行された1つまたは複数の動作等)を含む1つまたは複数の応答を受信可能である。いくつかの実施態様において、クライアント機器420は、検出した相互作用を処理し、ローカルに格納された表示情報に対して、対応する所望の動作を実行することができる。
データストレージ415は、1つまたは複数の生物医学画像450を維持可能である。生物医学画像450は、画像データを生物医学画像450フォーマットに変換するように構成された機器等、1つまたは複数の病理組織学的画像作成器から受信可能である。生物医学画像450は、組織サンプルの1つまたは複数の部分を1つまたは複数のピクセルに示すことができる。各生物医学画像450のピクセルは、ピクセルの座標における対応する色値の強度を規定する1つまたは複数の色チャンネルを含み得る。いくつかの実施態様において、生物医学画像450の各ピクセルの色チャンネルとしては、赤、緑、および青(RGB)の色チャンネルが可能である。いくつかの実施態様において、生物医学画像450の各ピクセルの色チャンネルとしては、シアン、黄、マゼンタ、およびキー(CYMK)が可能である。生物医学画像450がグレースケール画像である実施態様において、各ピクセルは、黒色強度および白色強度の一方に対応する単一の色チャンネルを有し得る。
いくつかの実施形態において、生物医学画像450は、特に光学顕微鏡、共焦点顕微鏡、蛍光顕微鏡、燐光顕微鏡、電子顕微鏡の使用等、顕微鏡技術または病理組織学的画像作成器に従って生成または取得されるようになっていてもよい。生物医学画像450は、たとえば、特にヘマトキシリン・エオシン(H&E)染色、ヘモジデリン染色、スーダン染色、シッフ染色、コンゴレッド染色、グラム染色、ジール・ニールセン染色、オーラミン・ローダミン染色、トリクロム染色、シルバー染色、ライト染色を施した組織切片であってもよい。生物医学画像450は、病理組織学的調査を実行する対象(たとえば、人間、動物、または植物)の組織切片に由来していてもよい。組織サンプルは、人間または動物の対象の場合の筋肉組織、結合組織、上皮組織、または神経組織等、対象の如何なる部分に由来していてもよい。
生物医学画像450は、PNG、JPEG、GIG、TIFF、PDF、RAW、SVS、またはOpenSlide画像等の別のフォーマットのような任意の画像フォーマットで格納可能である。生物医学画像450は、データストレージ415中の1つまたは複数のインデックス化データ構造に格納可能であるとともに、タイル場所(たとえば、表示中の部分または履歴タイル座標およびサイズデータ等)、部分場所(たとえば、生物医学画像450の特徴のさまざまな部分の場所およびサイズ等)、色変換情報(たとえば、適用された色操作、色変換命令等)、画像供給源情報(たとえば、生物医学画像450の受信元の機器等)、アノテーション情報(たとえば、アノテーションデータ455等)のように、さまざまな値、パラメータ、または他の情報と関連付けて格納可能である。各生物医学画像450(および、対応または関連する任意の情報)は、たとえばネットワーク410または別の好適な通信バスによって、コンピュータシステム405またはシステム400のその他任意のコンピュータ機器の構成要素のいずれかによりアクセス可能である。
アノテーションデータ455は、たとえば生物医学画像450と関連付けてデータストレージ415に格納可能である。本明細書で以下に説明する通り、コンピュータシステム405の構成要素は、生物医学画像450のアノテーションデータ455を生成可能である。アノテーションデータ455には、対応する生物医学画像450のビットマップ(BMP)情報および識別子を含み得る。アノテーションデータ455のビットマップ情報は、ビットマップ中の各ピクセルが生物医学画像450のピクセルに対応するように構成可能である。このため、ピットマップ情報は、対応する生物医学画像450のピクセル精度のアノテーションを提供可能である。ビットマップ情報のピクセルは、固定されたビット幅(たとえば、1ビット、2ビット、4ビット、8ビット、16ビット、32ビット等)を有し得る。ビットマップ情報のビット幅は、コンピュータストレージリソースの過度な利用なく、ビットマップ情報が所望量のアノテーションデータ455を表し得るように選択可能である。たとえば、いくつかの生物医学画像450の場合、ビット幅としては、4ビット幅が可能であるため、アノテーション情報を使用することにより、16種類の異なる色を表すことができる。ビットマップ中のピクセルにより表される各色は、色テーブル(たとえば、ピクセルの色情報(たとえば、0b0001)をレンダリング情報(たとえば、赤色表示等)または他のアノテーション関連情報と関連付けるテーブル)中の各情報で規定またはそのような情報との関連付けが可能である。色テーブルは、アノテーションデータ455と関連付けて格納することも可能であるし、アノテーションデータ455の一部として格納することも可能である。
タイル識別器425は、生物医学画像450の一部から1つまたは複数のタイルを識別可能である。タイル識別器425は、生物医学画像450の上記部分からタイルを識別するため、データストレージ415にアクセスして、生物医学画像450を読み出すことができる。いくつかの実施態様において、タイル識別器425は、通信バスまたはネットワーク410を介して、別のコンピュータ機器から生物医学画像450を受信可能である。タイル識別器425は、たとえばコンピュータシステム405またはクライアント機器420上で実行されるアプリケーションによって、生物医学画像450から、表示もしくは分析、または表示要求対象の画像の一部を識別可能である。生物医学画像450の上記部分は、当該部分の中心(たとえば、生物医学画像450中の関心場所の中心等)のピクセル座標に基づいて識別可能である。関心部分または場所の中心の座標は、たとえばコンピュータシステム405またはクライアント機器420上で実行されるアプリケーションから受信可能である。いくつかの実施態様において、これらの座標としては、デフォルト座標が可能である(たとえば、コンピュータシステム405からもクライアント機器420からも座標が受信されない場合は、生物医学画像450の中心ピクセルの座標を使用する)。
生物医学画像450中の関心部分または場所の中心を識別した後、タイル識別器425は、識別部の幅および高さ情報を決定可能である。たとえば、上記部分の幅および高さは、コンピュータシステム405またはクライアント機器420上で実行されるアプリケーションにおいて表示された表示ウィンドウまたはそのようなアプリケーションにおいて表示される表示ウィンドウに対応し得る。また、上記部分の幅および高さは、生物医学画像450の上記部分の(たとえば、コンピュータシステム405またはクライアント機器420上で実行されるアプリケーションにより)要求された倍率レベルまたはデフォルトの倍率レベル(たとえば、1倍等)に対応し得る。生物医学画像450の上記部分の倍率レベルは、生物医学画像450の当該部分に適用されるズーム動作の量に対応し得る。このため、倍率が1倍の場合、生物医学画像450の上記部分は、如何なるスケーリング動作の適用もなく、生物医学画像450の上記部分の識別座標がアプリケーションの表示ウィンドウに表示された場合に視認可能となるものに対応し得る。タイル識別器425は、生物医学画像450の識別部の一部として決定された生物医学画像450のピクセルを抽出可能である(たとえば、コンピュータメモリの異なる領域にコピー可能である)。
タイル識別器425は、生物医学画像450の上記部分から、さまざまな倍率レベルで生物医学画像450のサブセットを識別する1つまたは複数のタイルを識別および抽出可能である。このため、タイルとしては、生物医学画像450のさまざまな解像度および倍率に対応する座標および幅をそれぞれ有する生物医学画像450の識別部内の1つまたは複数のピクセルが可能である。識別器425により識別されるタイルの数は、たとえばクライアント機器420またはコンピュータシステム405上で実行されるアプリケーションから受信可能である。識別器425により識別されるタイルの数は、コンピュータシステム405およびクライアント機器420の一方で実行されるアプリケーションから受信された要求ビュー数に等しくすることができる。たとえば、タイル識別器425は、生物医学画像450の識別部の6つの異なるビューに関するリクエストを受信した後、要求された倍率レベルをそれぞれ有する生物医学画像450の識別部の対応する6つのタイルを識別可能である。いくつかの実施態様において、タイル識別器425により識別されるタイルは、生物医学画像450の識別部と同期可能である。たとえば、タイルはそれぞれ、生物医学画像450の同じ場所を異なる要求倍率レベルで示すことができる。
各倍率レベル(たとえば、0.5倍、1.0倍、1.1倍、1.5倍、2.5倍、5倍、10倍、15倍、20倍、30倍、40倍、他の倍率等)は、生物医学画像450のレンダリングの各スケールに対応し得る。たとえば、倍率2倍でレンダリングされた生物医学画像450(または、その任意の部分もしくはタイル等)は、2倍のスケールでレンダリングされた(たとえば、生物医学画像450の2倍の解像度に一致するように各ピクセルが複製された)生物医学画像450の情報を含み得る。スケールの大きな生物医学画像450ほど、必要以上に大量の格納スペースを占有し得るため(たとえば、所与の時間には、スケールアップされた画像の一部しか表示されないため)、タイル識別器425は、所望の座標の周囲で、生物医学画像450のスケールアップ表示エリアに対応するタイルまたは領域を識別可能である。たとえば、要求側アプリケーションの表示ウィンドウ(または、他のGUI要素等)は、特定の寸法を有するものとして規定され得る。このようなシナリオにおいて、タイル識別器425は、要求された倍率および表示ウィンドウの表示寸法の両者に対応するピクセル数を有する所望の座標のタイルを識別および抽出可能である。
たとえば、生物医学画像450の表示部の座標に対して同期された要求倍率タイルを高い倍率レベルで要求可能である。同じ生物医学画像450の複数のビューをさまざまな倍率レベルで有することにより、特定の病理学的分析は改善され得る。このため、タイル識別器425は、抽出タイルが挿入される表示ウィンドウ(または、バッファ領域のように表示ウィンドウを越えて延びる領域等)の寸法を決定可能である。非限定的な一例として、表示ウィンドウの寸法が200ピクセル×200ピクセルの場合を考えるが、表示ウィンドウは如何なるサイズも可能であることが了解されるものとする。ある座標における拡大タイルに関するリクエストが倍率2倍に対応する場合、タイル識別器425は、未拡大生物医学画像450の100ピクセル×100ピクセルの領域が抽出されるものと識別可能である。その後、タイル識別器425は、表示座標がタイルの中心にある生物医学画像450の100ピクセル×100ピクセルの領域を抽出可能である。その後、識別および抽出したピクセルを表示提供器430に与えて、さらに処理することができる。
本明細書においては、倍率2倍の例示的な場合を上述したが、タイル識別器425は、任意所与の倍率について、抽出するピクセルの数または領域を決定可能である。たとえば、要求表示サイズ(たとえば、GUI要素サイズまたはバッファサイズ等)の各次元を倍率で除することにより、各次元におけるピクセルの数(たとえば、x次元のピクセル数およびy次元のピクセル数等)が得られる。いくつかの実施態様において、倍率としては、1倍未満(たとえば、0.5倍)が可能である。さらに、要求座標は、タイルの中心を識別する必要がなく、代わりに、特に左上隅、右上隅、右下隅、または左下隅等、タイル中のその他任意の位置を識別可能である。(たとえば、生物医学画像450内等の)要求座標が対応するタイル中の位置は、リクエストにおいて指定可能である。
表示提供器430は、対応するGUI要素(たとえば、ウィンドウ、フレーム、表示ペイン、または1つもしくは複数の画像を表示可能なユーザインターフェース中の他の領域等)を介した同時表示のため、タイル識別器425により識別または抽出された1つまたは複数のタイルを提供可能である。前述のとおり、たとえば、さまざまなGUI要素において、生物医学画像450のある領域を異なる倍率で同時に表示することによって、病理学的分析は改善され得る。たとえば、コンピュータシステム405またはクライアント機器420によって生物医学画像450が表示された場合に、その生物医学画像450を表示する最初のGUI要素に対応し得る基準GUI要素またはルートGUI要素として、1つのGUI要素を選択可能である。基準GUI要素または当該GUI要素を与えるアプリケーションは、指定の倍率および特定の座標(たとえば、生物医学画像450の一部を表示する基準GUI要素の座標と同期された座標、別の座標等)での生物医学画像450のタイルまたは一部に関するリクエストを含み得る追加GUI要素のリクエストを開始可能な1つまたは複数の実施可能なオブジェクトを含み得る。(たとえば、クライアント機器420およびコンピュータシステム405の一方で実行される)アプリケーションがこのリクエストをタイル識別器425に提供することにより、本明細書において上述した通り、生物医学画像450の1つまたは複数のタイルを識別可能である。表示提供器430は、タイル識別器425からタイルを受信し、当該タイルに対するスケーリング動作(たとえば、倍率2倍の場合の画像サイズの2倍化等)の実行によって、要求GUI要素の解像度に一致するようにタイルの解像度を高くすることができる。その後、表示提供器430は、スケーリング済みタイルをアプリケーションに送信あるいは提供して、GUI要素に表示可能である。いくつかの実施態様において、表示提供器430は、要求側アプリケーションが当該アプリケーションにおいてGUI要素をインスタンス化し、対応するタイルをGUI要素にレンダリングするための命令を生成可能である。たとえば、GUI要素が新たなウィンドウの場合は、GUI要素のウィンドウの内側に対応するタイルを表示可能である。いくつかの実施態様において、表示提供器430は、対応するGUI要素に表示するタイルの提供に先立って、タイルのフォーマットを変更可能である。
相互作用検出器435は、1つまたは複数の表示GUI要素のうちの1つとの相互作用を検出可能である。相互作用は、GUI要素が表示されたクライアント機器420で発生し得る。相互作用としては、特にタップ、クリック、ドラッグ、ダブルクリック、スクロール動作、またはダブルタップが挙げられる。特定の相互作用には、パン動作またはズーム動作等の要求動作を含み得る。相互作用を検出するため、相互作用検出器435は、1つまたは複数のイベントまたは相互作用リスナーを実装可能である。イベントまたは相互作用リスナーは、表示GUI要素で相互作用メッセージを監視し、相互作用が発生した場合に、それに関する情報(たとえば、座標、持続時間、種類等)を返すことができる。相互作用検出器435は、動作に対応する実施可能なオブジェクトとの相互作用を検出し、生物医学画像450のタイルを指定の倍率レベルおよび座標で表示する新たなGUI要素をインスタンス化することができる。
ここで図5を簡単に参照して、この図は、例示的な一実施形態に係る、生物医学画像450の複数のタイルおよびグラフィカルユーザインターフェースにおける各表示領域を示したブロック図である。図5に示すように、対応する識別部505と併せて生物医学画像450を示している。上記部分は、たとえばアプリケーションウィンドウ515中の表示タイルのうちの1つに対応し得る。識別部は、対応する座標(たとえば、生物医学画像450内のxおよびy座標等)ならびに対応する幅および高さを有し得る。部分505の座標、幅、および高さは、生物医学画像450内のピクセルの連続領域を一体的に表し得る。より詳細には、部分505からタイル510A~510N(タイル510と総称する場合もある)が識別されることを示している。タイル510のスケール(たとえば、他のタイル510に対するサイズ)で示すように、各タイルは、生物医学画像450の中の異なる数のピクセルを表すことができる。一般的に、同様の寸法のGUI要素内に各タイルが表示される場合は、ピクセルの多いタイルほど、大きな面積を占有し、ピクセルの少ないタイルよりも低い倍率レベルを示し得る。図5においては、3つのタイル510しか示していないが、任意数のタイルを生物医学画像450から識別可能であることが了解されるものとする。
図5の右側に示すように、アプリケーションウィンドウ515は、1つまたは複数のGUI要素520A~520N(GUI要素520と総称する場合もある)を含み得る。アプリケーションウィンドウ515は、少なくとも生物医学画像450の部分505にアクセスするクライアント機器420への表示用に提供可能である。アプリケーションウィンドウ515は、1つまたは複数の相互作用を受け付け可能であり、タイル510に対して実行する動作の種類を示す1つまたは複数の実施可能なオブジェクトを含んでいてもよい。各GUI要素520は、各タイル510に対応し得る(たとえば、GUI要素520Aがタイル510Aに対応し、GUI要素520Bがタイル510Bに対応し得る)。各GUI要素は、ある寸法(たとえば、幅および高さ等)を有するとともに、当該GUI要素の位置もしくは寸法の制御または当該GUI要素の削除(たとえば、当該GUI要素の表示の停止等)を行う1つまたは複数の実施可能なオブジェクトを有し得る。いくつかの実施態様において、GUI要素は、相互作用に際して、対応するGUI要素の表示を隠す最小化動作に対応する実施可能なオブジェクトを有し得る。各GUI要素は、当該GUI要素が対応するタイルを表示する表示部を含み得る。いくつかの実施態様においては、1つのGUI要素を基準GUI要素として選択可能であり、その中に表示されるタイルを基準タイルとして選択可能である。基準GUI要素は、当該GUI要素または各GUI要素に対応するアプリケーションウィンドウ515中の1つもしくは複数の実施可能なオブジェクトとの1回または複数回の相互作用により選択可能である。
ここで再び図4を参照して、相互作用検出器435は、パン動作等、現在レンダリングされているGUI要素に対して実行する1つまたは複数の動作をさらに検出可能である。パン動作は、生物医学画像450の異なる座標の異なる部分を同じ倍率レベルで表示するリクエストを示し得る。たとえば、クリック&ドラッグ動作、タップ&ドラッグ動作、またはスクロールバー等の1つもしくは複数の実施可能なオブジェクトとの相互作用に応答して、パン動作を提供可能である。相互作用検出器435は、本明細書に記載のその他任意の種類の相互作用の中でもとりわけ、ズーム動作、すなわち、対応するGUI要素にレンダリングされたタイルの倍率を変更する動作を検出可能である。ズーム動作は、本明細書に記載のその他任意の種類の相互作用の中でもとりわけ、ズーム動作に対応する実施可能なオブジェクトとの相互作用に応答して検出することも可能であるし、GUI要素でのクリック&ドラッグ動作により検出することも可能である。相互作用検出器435は、タイルの座標も倍率レベルも変更することなく、タイルのサイズ(たとえば、対応するタイル座標に対してレンダリングされたピクセルの数等)を変更可能なリサイズ動作をさらに検出可能である。リサイズ動作は、たとえばGUI要素の隅部でのクリック&ドラッグ動作として検出可能である(たとえば、GUI要素のリサイズによって、その中に表示されるタイルをリサイズするための対応する動作リクエストが生じ得る)。いくつかの実施態様において、相互作用検出器435は、クライアント機器420からの1つまたは複数の相互作用メッセージにおいて、相互作用に関する情報を受信可能である。GUI要素を削除する動作は、当該GUI要素に対応する削除動作と関連付けられた1つまたは複数の実施可能なオブジェクトとの相互作用を検出することにより検出可能である。
相互作用検出器435は、GUI要素でのパンまたは移動動作を示す相互作用に応答して、GUI要素に表示されるタイルに適用する座標の変化を識別可能である。移動またはパン動作は、生物医学画像450の異なる領域が対応するGUI要素において特定の倍率レベルで表示されるように要求されていることを示し得る。たとえば、パンまたは移動相互作用は、生物医学画像450を表す表示タイルの座標を移動させるための(たとえば、x軸、y軸、または両者に沿った)ピクセルの数を示し得る。相互作用検出器435は、現在のタイル座標およびタイル座標の変化量から、タイルを識別する新たな座標を決定可能である。いくつかの実施態様において、パンまたは移動相互作用は、タイルを識別または抽出する生物医学画像450中の新たな座標を示し得る。
相互作用検出器435は、GUI要素でのズーム動作を示す相互作用に応答して、GUI要素に表示されるタイルを識別または抽出する領域の座標の変化を識別可能である。ズーム動作に先立って、タイルは、第1の倍率レベルでの生物医学画像450のピクセル数を表し得る。(たとえば、ズーム相互作用等に応答して)この倍率レベルの変更が要求された場合、相互作用検出器435は、要求された倍率レベルでタイルを構成すべきタイルの座標に対するピクセル数を識別可能である。非限定的な一例として、現在の倍率レベルが2倍で、タイルが生物医学画像450の100ピクセル×100ピクセルの領域を表し、検出されたズーム動作が4倍でのタイルの表示を要求している場合、相互作用検出器435は、要求されたズームレベルで生物医学画像450の50ピクセル×50ピクセルの領域をタイルが含むべきだと判定可能である。相互作用検出器435は、たとえば要求表示サイズ(たとえば、GUI要素サイズまたはバッファサイズ等)の各次元を要求倍率で除することによって、タイルの各次元におけるピクセルの数(たとえば、x次元のピクセル数およびy次元のピクセル数等)を得ることにより、任意の倍率変更に対して抽出するピクセルの数または領域を決定可能であることが了解されるものとする。
パンまたは移動相互作用により識別されたタイルに1つまたは複数の他のタイルが同期されている場合、タイル修正器440は、倍率または座標の変更を受けるタイルに対して識別された変化に基づいて、同期タイルそれぞれを規定する座標に適用する対応する変化を決定可能である。第1のタイルに対する座標変化の場合、タイル修正器440は、相互作用検出器435により第1のタイルに対して識別された新たな座標として、第1のタイルに同期されたその他の表示タイルそれぞれの座標を決定可能である。いくつかの実施態様においては、すべてのタイルが生物医学画像450の同じ座標を異なる倍率で表示するように同期される。いくつかの実施態様において、各タイルは、それ自体の独立した座標および倍率レベルを有し得る。いくつかの実施態様においては、1つのタイル(たとえば、基準タイル)のみがパン、ズーム、または他の動作を受け付け可能であり、その他のタイルは、基準タイルに同期される。いくつかの他の実施態様においては、任意のタイルが移動またはズーム動作を受け付け可能であり、対応するGUI要素に表示された任意数の他のタイルに同期可能である。ズーム動作の場合、タイル修正器440は、他のタイルそれぞれにズーム同期された各タイルの倍率の対応する変化を決定可能である。2つの同期GUI要素に2つのタイル(一方の倍率が2倍、もう一方の倍率が4倍)が存在する一例を考える。2倍のタイルが倍率を4倍へと2倍化するリクエストを受信した場合は、倍率が4倍の同期タイルも相前後して8倍への拡大(たとえば、倍率の2倍化)が可能である。
タイル修正器440は、同期タイルごとに決定された新たな倍率レベルを使用して、各同期タイルのピクセルを識別および抽出する生物医学画像450の新たな領域を決定可能である。タイル修正器440は、(たとえば、拡大動作で変化していない)タイル座標に対して、矩形に表示するピクセルの数を識別することにより、各タイルにより表された領域を決定可能である。タイル修正器440は、要求表示サイズ(たとえば、GUI要素サイズまたはバッファサイズ等)の各次元を要求倍率で除することによって、タイルの各次元におけるピクセルの数(たとえば、x次元のピクセル数およびy次元のピクセル数等)を得ることにより、任意の倍率変更に対して抽出するピクセルの数または領域を決定可能である。位置決めを目的として別のタイルに同期された(たとえば、生物医学画像450中の同じ座標に同期された)タイルは、必ずしも同じ倍率レベルに同期されず、その逆もまた同様であることが了解されるものとする。タイル間の同期は、たとえばGUI要素を提示するアプリケーションの1つもしくは複数の実施可能なオブジェクトまたは1つもしくは複数のデフォルト設定によって、指定または割り当て可能である。
表示提供器430は、タイルごとに識別された新たな座標および領域を用いて、対応するGUI要素中のタイルの表示を更新可能である。表示提供器430は、生物医学画像450から更新対象のタイル(たとえば、動作の対象となるタイルまたは動作の対象となるタイルに同期されたタイル等)の要求領域のピクセル(たとえば、新たに識別された座標およびピクセル)を抽出可能である。表示提供器430は、生物医学画像450からタイルごとに新たなピクセルを抽出した後、各タイルに対するスケーリング動作(たとえば、倍率2倍の場合の画像サイズの2倍化等)の実行によって、対応するGUI要素の解像度に一致するようにタイルの解像度を高くすることができる。その後、表示提供器430は、スケーリング済みタイルをアプリケーションに送信あるいは提供して、GUI要素に表示可能である。いくつかの実施態様において、表示提供器430は、新たに抽出およびスケーリングされたタイルによって要求側アプリケーションが各GUI要素に表示されたタイルを更新し、対応する更新タイルをGUI要素にレンダリングするための命令を生成可能である。
ここで図6を簡単に参照して、この図は、例示的な一実施形態に係る、パンまたはズーム動作を実行中の生物医学画像450の1つまたは複数のタイルの変化を示したブロック図である。図示のように、タイル510のうちの少なくとも1つがパン動作605の対象となる。図6に示すパン動作は、生物医学画像450中の部分505を構成するタイルのx軸に沿った増加の座標変化を示す。タイル510はそれぞれ相互に同期されているため、タイルそれぞれのピクセルデータは、生物医学画像450の上記部分の新たな位置から同じ倍率で読み出し可能である。このため、生物医学画像450の上記部分は、座標が変化して、生物医学画像450の異なる部分505’を占有する。すべてのタイルが新たな位置に同期されると、タイル510はそれぞれ、部分505の代わりに異なる部分505’のピクセルを含むように変化するため、更新されて更新タイル510’となる。更新タイル510’はそれぞれ、対応するGUI要素における表示用に提供可能である。
ここで再び図4を参照して、いくつかの実施態様においては、対応するGUI要素における表示用のタイルの提供に先立って、タイル修正器440が各タイルに対応する生物医学画像450の部分に対して、色修正動作(本明細書においては、偽色表現または色補正と称する場合もある)を適用する一方、生物医学画像450のその他の部分は、色修正を施さずに維持することができる。生物医学画像450は、多様な異なるキャプチャ機器から取り込み可能である。ただし、キャプチャ機器によっては、他のキャプチャ機器と色パラメータまたは色値が異なる場合もある。分析を容易化するため、第1のキャプチャ機器を用いて取り込まれた組織サンプルの画像が第2のキャプチャ機器を用いて取り込まれた組織サンプルの画像の色に一致する色を有するように、生物医学画像450を単色空間で表現および表示するのが好都合である。如何なる種類の色の不整合をも補正するため、タイル修正器440は、生物医学画像450のタイルの色修正オプション(color modification option)を選択可能である。色修正オプションには、生物医学画像450のピクセルに適用して画像中の色を変更可能な1つまたは複数の色補償係数(たとえば、各ピクセルの色チャンネル強度値に加算または乗算可能な値)を含み得る。
いくつかの実施態様において、色修正オプションの選択は、生物医学画像450の供給源(たとえば、生物医学画像450の取り込みに用いられるキャプチャ機器)に対応し得る。たとえば、生物医学画像450は、当該生物医学画像450の生成に使用されたキャプチャ機器の識別子と関連付けて、データストレージ415に格納可能である。生物医学画像450の供給源を識別するため、タイル修正器440は、データストレージ415にアクセスすることにより、生物医学画像450と関連付けて格納されたキャプチャ機器の識別子を読み出すことができる。タイル修正器440は、識別子を用いることにより、データストレージ415から当該識別子に対応する色修正オプションを読み出して選択することができる。いくつかの実施態様において、色オプションは、1つまたは複数の実施可能なオブジェクトから受け付けた入力によって、手動で選択または適用可能である。
その後、タイル修正器440は、コンピュータシステム405の構成要素により識別された1つまたは複数のタイルに対応する生物医学画像450の部分に対して、選択した色オプションを適用可能である。たとえば、タイル修正器440は、タイルの構成に使用された生物医学画像450の領域に対応する生物医学画像450のピクセルにアクセス可能である。タイル修正器440は、選択した色修正において色補償係数を使用することにより、識別領域中の各ピクセルの1つまたは複数の色チャンネル強度値を変更可能である。いくつかの実施態様において、タイル修正器440は、各ピクセルの色チャンネル強度値に1つまたは複数の色補償値(たとえば、ピクセルの色強度値ごとに1つ)を乗じることができる。いくつかの実施態様において、タイル修正器440は、各ピクセルの1つまたは複数の対応する色チャンネル強度値に色補償値を加算可能である。これにより、タイル修正器440は、色が補正された生物医学画像450の1つまたは複数の部分を生成可能である。その後、生物医学画像450の色補正部の使用により、本明細書において上述したような1つまたは複数のタイルを構成することで色補正タイルを生成可能である。色補正タイルが構成されたら、表示提供器430は、対応するGUI要素の更新(たとえば、GUI要素中のタイルの表示の置換等)によって、色補正タイルを表示可能である。
ここで図7を簡単に参照して、この図は、例示的な一実施形態に係る、色変更動作を実行中の生物医学画像450の1つまたは複数のタイルを示したブロック図である。図7に示すように、タイル510はそれぞれ、色補正手順に先立つ第1の色での形状を示している。また、図示のように、タイル510はそれぞれ、異なる倍率レベルで生物医学画像450の同じ部分に対応する(たとえば、同期される)。動作715は、色変更動作を示しており、タイル510に対応する生物医学画像450の部分に存在する色値に対する1つまたは複数の変換(たとえば、乗算、加算等)の実行を含み得る。このため、図7に示すように、タイル510はそれぞれ、色補正動作715により更新されて、生物医学画像450の色補正部を異なる倍率で表示する更新タイル510*となり、異なる倍率レベルで生物医学画像450の色補正された部分を表示する。タイル510はそれぞれ、同期されているため、生物医学画像450の実質的に類似する部分を異なる倍率で示す。これにより、あるタイル510A*に表示された色補正ピクセルは、少なくともその他の同期された色補正タイル510N*にも表示される。
ここで再び図4を参照して、相互作用検出器435は、GUI要素からアノテーションを識別可能である。アノテーションは、アノテーション対象の対応するGUI要素に表示されたタイルの1つまたは複数のピクセル座標を識別可能である。たとえば、GUI要素との特定の相互作用は、生物医学画像450中の特定の座標でのアノテーションを示し得る。アノテーションが病理学的分析に有用であるのは、生物医学画像450に表された組織サンプル上のエリアにおける関心条件の有無を示すのに使用できるためである。関心条件を示す可能性のある特徴は小さいと考えられるため、システムには、ピクセル単位の生物医学画像450のアノテーションが好都合である。このため、相互作用検出器435は、アノテーション対象のGUI要素に表示されたタイル中のピクセルのピクセル場所(たとえば、x座標およびy座標等)を検出可能である。その後、相互作用検出器435によって、受け付けたアノテーションの座標を生物医学画像450中のピクセルの対応する位置にマッピング可能である。たとえば、200ピクセル×200ピクセルの生物医学画像450と、生物医学画像450におけるx軸上の座標100~149のピクセルおよびy軸上の座標100~149のピクセルを表すタイルと、を考える。本例において、タイルの寸法は、50ピクセル×50ピクセルである。タイルのx軸上の座標3およびタイルのy軸上の座標5においてアノテーションが検出された場合、相互作用識別器は、生物医学画像450におけるx軸上のピクセル座標103およびy軸上のピクセル座標105にアノテーションをマッピング可能である。
アノテーションの場所のマッピングに際して、タイル修正器440は、アノテーションデータ455中のマッピングピクセル座標に色データを格納可能である。アノテーションデータ455は、生物医学画像450に等しい寸法を有し、対応する生物医学画像450の識別子を格納可能である。このため、生物医学画像450に対応するアノテーションデータ455は、対応する生物医学画像450との1対1のピクセルマッピングを有し得る。アノテーションデータ455は、当該アノテーションデータ455中の各ピクセルについて、固定されたビット幅を有し得る。相互作用検出器435がアノテーションを識別した場合、当該アノテーションは、対応する色値またはピクセル値(たとえば、固定幅のビット列値等)と関連付けられ得る。色値は、手動で選択することも可能であるし、デフォルト設定に基づいて自動的に選択されるようになっていてもよい。選択可能な各色値は、アノテーションデータ455と関連付けてデータストレージ415に格納可能な色マップにおいて識別された色に対応し得る。
色マップは、アノテーションデータ455により表し得る色値(たとえば、固定幅のビット列値等)を表示色(たとえば、RGB全色チャンネルピクセル値等)と関連付け可能である。したがって、アノテーションデータ455の色マップは、考え得る各アノテーション値に対応するピクセル色値のルックアップテーブルとして機能し得る。たとえば、アノテーションデータ455中の各ピクセルが4ビット幅のビット列により表される場合、色マップは、4ビットピクセルの考え得る値のうちの1つにそれぞれ対応する15個の異なる色と、アノテーションがない場合に対応する1つの色(たとえば、0b0000等)と、を有し得る。アノテーションデータ455の色マップは、デフォルト設定に基づいて自動的に生成することも可能であるし、1つまたは複数のGUI要素または実施可能なオブジェクトを通じて手動で指定することも可能である。いくつかの実施形態において、色値は、インデックス化色値を用いて表されるようになっていてもよい。インデックス化色値は、アノテーションの各色に対応する値(たとえば、ビットまたは桁)を含んでいてもよい。たとえば、アノテーションの色値が4ビットで表現され、ビットワード「0000」がアノテーションの赤色、「1100」が緑色、「0100」が黄色を表していてもよい。
表示提供器430は、色マップおよびアノテーションデータ455を用いて、1つまたは複数のGUI要素に表示されたタイルを更新することにより、アノテーションを示すことができる。いくつかの実施態様においては、生物医学画像450上の別個のレイヤとして、アノテーションを表示可能である。アノテーションレイヤの可視性は、たとえば各GUI要素の1つまたは複数の実施可能なオブジェクトによって切り替え可能である。たとえば、各GUI要素は、「アノテーションを表示する」ボタン、「アノテーションを隠す」ボタン、または「アノテーションを切り替える」ボタンと関連付けられていてもよい。なお、実施可能なオブジェクトのラベルおよび種類は、例示に過ぎず、何ら限定的なものとして解釈されるべきではない。表示提供器430は、アノテーション情報の表示の指示を受けた場合、アノテーションデータ455および対応する色マップにアクセスして、アノテーション対象の色を識別することができる。これにより、表示情報の特定部分のタイルを構成するピクセルを選択する場合、表示提供器430は、タイル中の対応する各ピクセル場所にアノテーションが存在するかを判定可能である。ピクセルの座標にアノテーションデータ455が存在する場合、表示提供器430は、アノテーションデータ455の色マップの対応するピクセルに等しい色チャンネル値を有するように、タイル中の当該ピクセルを修正可能である。同様に、アノテーションデータ455が相互作用検出器435により更新された場合、表示提供器430は、最新のアノテーション情報をリアルタイムに表示するように、同期タイル中の対応するピクセルを更新可能である。その後、表示提供器430は、本明細書において上述した通り、1つまたは複数のGUI要素に表示するため、更新タイルを提供可能である。
ここで図8を参照して、この図は、例示的な一実施形態に係る、同時表示のために生物医学画像の複数のビューを提供する方法800の例示的なフロー図である。方法800は、たとえば、特にコンピュータシステム405、サーバシステム900、またはクライアントコンピュータシステム914を含む、本明細書に記載のコンピュータシステムのいずれかにより実行可能である。概要として、コンピュータシステム(たとえば、コンピュータシステム405等)は、生物医学画像の一部からタイルを識別し(ステップ805)、色修正動作を適用し(ステップ810)、同時表示のためにタイルを提供し(ステップ815)、GUI要素との相互作用を検出し(ステップ820)、第1のタイルの座標の変化を識別し(ステップ825)、他のタイルの座標の変化を決定し(ステップ830)、GUI中のタイルの表示を更新し(ステップ835)、1つまたは複数のアノテーションを識別して追加する(ステップ840)ことができる。
より詳細に、コンピュータシステム(たとえば、コンピュータシステム405等)は、生物医学画像(たとえば、生物医学画像450等)の一部からタイルを識別可能である(ステップ805)。コンピュータシステムは、生物医学画像450のタイルを識別するため、データストレージ(たとえば、データストレージ415等)にアクセスして、生物医学画像を読み出すことができる。いくつかの実施態様において、コンピュータシステムは、通信バスまたはネットワーク(たとえば、ネットワーク410等)を介して、別のコンピュータシステムから生物医学画像を受信可能である。コンピュータシステムは、たとえばコンピュータシステムまたはコンピュータシステムと連通したクライアント機器(たとえば、クライアント機器420等)上で実行されるアプリケーションによって、生物医学画像から、表示もしくは分析、または表示要求対象の画像の一部を識別可能である。上記部分は、当該部分の中心(たとえば、関心場所の中心等)のピクセル座標を用いて識別可能である。座標は、たとえばコンピュータシステム上で実行されるアプリケーションから受信可能である。いくつかの実施態様において、これらの座標としては、デフォルト座標が可能である(たとえば、アプリケーションから座標が受信されない場合は、生物医学画像の中心ピクセルの座標を使用する)。
関心部分または場所の中心(たとえば、他の識別座標等)を識別した後、タイル識別器425は、識別部の幅および高さ情報を決定可能である。上記部分の幅および高さは、コンピュータシステム上で実行されるアプリケーションにおいて表示された表示ウィンドウまたはそのようなアプリケーションにおいて表示される表示ウィンドウに対応し得る。また、上記部分の幅および高さは、生物医学画像450の上記部分の(たとえば、コンピュータシステム上で実行されるアプリケーションにより)要求された倍率レベルまたはデフォルトの倍率レベル(たとえば、1倍等)に対応し得る。生物医学画像450の上記部分の倍率レベルは、生物医学画像450に適用されるズーム動作の量に対応し得る。このため、倍率が1倍の場合、生物医学画像の上記部分は、スケーリング動作の適用なく、生物医学画像の識別座標がアプリケーションの表示ウィンドウに表示された場合に視認可能となるものに対応し得る。コンピュータシステムは、生物医学画像の識別部の一部として決定された生物医学画像のピクセルを抽出可能である(たとえば、コンピュータメモリの異なる領域にコピー可能である)。
コンピュータシステムは、生物医学画像の上記部分から、さまざまな倍率レベルで生物医学画像のサブセットを識別する1つまたは複数のタイルを識別および抽出可能である。タイルとしては、生物医学画像のさまざまな解像度および倍率に対応する座標および幅をそれぞれ有する生物医学画像の識別部内の1つまたは複数のピクセルが可能である。コンピュータシステムにより識別されるタイルの数は、たとえばコンピュータシステム上で実行されるアプリケーションまたはクライアント機器から受信可能である。コンピュータシステムにより識別されるタイルの数は、アプリケーションから受信された要求ビュー数に等しくすることができる。たとえば、コンピュータシステムは、生物医学画像の識別部の6つの異なるビューに関するリクエストを受信した後、要求された倍率レベルをそれぞれ有する生物医学画像の識別部の対応する6つのタイルを識別可能である。いくつかの実施態様において、タイルは、生物医学画像の識別部と同期可能である。たとえば、タイルはそれぞれ、生物医学画像の同じ場所を異なる要求倍率レベルで示すことができる。コンピュータシステムは、要求された倍率および表示ウィンドウの表示寸法の両者に対応するピクセル数を有する所望の座標のタイルを識別および抽出可能である。
コンピュータシステムは、色修正動作810を適用可能である(ステップ810)。コンピュータシステムは、生物医学画像のタイルの色修正オプションを選択可能である。色修正オプションには、生物医学画像のピクセルに適用してそのピクセル色を変更可能な1つまたは複数の色補償係数(たとえば、各ピクセルの色チャンネル強度値に加算または乗算可能な値)を含み得る。いくつかの実施態様において、色修正オプションの選択は、生物医学画像の供給源(たとえば、生物医学画像の取り込みに用いられるキャプチャ機器)に対応し得る。生物医学画像は、当該生物医学画像の生成に使用されたキャプチャ機器の識別子と関連付けて、データストレージに格納可能である。生物医学画像の供給源を識別するため、コンピュータシステムは、データストレージにアクセスすることにより、生物医学画像と関連付けて格納されたキャプチャ機器の識別子を読み出すことができる。コンピュータシステムは、識別子を用いることにより、データストレージから当該識別子に対応する色修正オプションを読み出して選択することができる。いくつかの実施態様において、色オプションは、1つまたは複数の実施可能なオブジェクトから受け付けた入力によって、手動で選択または適用可能である。
その後、コンピュータシステムは、コンピュータシステムにより識別された1つまたは複数のタイルに対応する生物医学画像の部分に対して、選択した色修正オプションを適用可能である。たとえば、コンピュータシステムは、タイルの構成に使用された生物医学画像の領域に対応する生物医学画像のピクセルにアクセス可能である。コンピュータシステムは、選択した色修正において色補償係数を使用することにより、識別領域中の各ピクセルの1つまたは複数の色チャンネル強度値を変更可能である。いくつかの実施態様において、コンピュータシステムは、各ピクセルの色チャンネル強度値に1つまたは複数の色補償値(たとえば、ピクセルの色強度値ごとに1つ)を乗じることができる。いくつかの実施態様において、コンピュータシステムは、各ピクセルの1つまたは複数の対応する色チャンネル強度値に色補償値を加算可能である。これにより、コンピュータシステムは、色が補正された生物医学画像の1つまたは複数の部分を生成可能である。その後、生物医学画像の色補正部の使用により、本明細書において上述したような1つまたは複数のタイルを構成することで色補正タイルを生成可能である。
コンピュータシステムは、1つまたは複数のGUI要素における同時表示のためにタイルを提供可能である(ステップ815)。たとえば、生物医学画像が表示された場合に、その生物医学画像を表示する最初のGUI要素に対応し得る基準GUI要素またはルートGUI要素として、1つのGUI要素を選択可能である。基準GUI要素または当該GUI要素を与えるアプリケーションは、指定の倍率および特定の座標での生物医学画像のタイルまたは一部に関するリクエストを含み得る追加GUI要素のリクエストを開始可能な1つまたは複数の実施可能なオブジェクトを含み得る。アプリケーションによってこのリクエストをコンピュータシステムに提供することにより、本明細書において上述した通り、生物医学画像の1つまたは複数のタイル(たとえば、色補正タイル等)を識別可能である。コンピュータシステムは、コンピュータシステムからタイルを受信し、当該タイルに対するスケーリング動作(たとえば、倍率2倍の場合の画像サイズの2倍化等)の実行によって、要求GUI要素に一致するようにタイルの解像度を高くすることができる。その後、コンピュータシステムは、スケーリング済みタイルをアプリケーションに送信あるいは提供して、GUI要素に表示可能である。いくつかの実施態様において、コンピュータシステムは、要求側アプリケーションが当該アプリケーションにおいてGUI要素をインスタンス化し、対応するタイルをGUI要素にレンダリングするための命令を生成可能である。
コンピュータシステムは、GUI要素との相互作用を検出可能である(ステップ820)。相互作用としては、特にタップ、クリック、ドラッグ、ダブルクリック、スクロール動作、またはダブルタップが挙げられる。特定の相互作用には、パン動作またはズーム動作等の要求動作を含み得る。相互作用を検出するため、コンピュータシステムは、1つまたは複数のイベントまたは相互作用リスナーを実装可能である。イベントまたは相互作用リスナーは、表示GUI要素で相互作用メッセージを監視し、相互作用が発生した場合に、それに関する情報(たとえば、座標、持続時間、種類等)を返すことができる。コンピュータシステムは、動作に対応する実施可能なオブジェクトとの相互作用を検出し、生物医学画像のタイルを指定の倍率レベルおよび座標で表示する新たなGUI要素をインスタンス化することができる。
コンピュータシステムは、パン動作等、現在レンダリングされているGUI要素に対して実行する1つまたは複数の動作をさらに検出可能である。パン動作は、生物医学画像の異なる部分を異なる座標に同じ倍率レベルで表示するリクエストを示し得る。たとえば、クリック&ドラッグ動作、タップ&ドラッグ動作、またはスクロールバー等の1つもしくは複数の実施可能なオブジェクトとの相互作用に応答して、パン動作を提供可能である。コンピュータシステムは、本明細書に記載のその他任意の種類の相互作用の中でもとりわけ、ズーム動作、すなわち、対応するGUI要素にレンダリングされたタイルの倍率を変更する動作を検出可能である。ズーム動作は、本明細書に記載のその他任意の種類の相互作用の中でもとりわけ、ズーム動作に対応する実施可能なオブジェクトとの相互作用に応答して検出することも可能であるし、GUI要素でのクリック&ドラッグ動作により検出することも可能である。コンピュータシステムは、タイルの座標も倍率レベルも変更することなく、タイルのサイズ(たとえば、対応するタイル座標に対してレンダリングされたピクセルの数等)を変更可能なリサイズ動作をさらに検出可能である。リサイズ動作は、たとえばGUI要素の隅部でのクリック&ドラッグ動作として検出可能である(たとえば、GUI要素のリサイズによって、その中に表示されるタイルをリサイズするための対応する動作リクエストが生じ得る)。いくつかの実施態様において、コンピュータシステムは、(たとえば、GUI要素を提示するアプリケーション等からの)1つまたは複数の相互作用メッセージにおいて、相互作用に関する情報を受信可能である。
コンピュータシステムは、第1のタイルの座標の変化を識別可能である(ステップ825)。移動またはパン動作は、生物医学画像の異なる領域が対応するGUI要素において特定の倍率レベルで表示されるように要求されていることを示し得る。たとえば、パンまたは移動相互作用は、生物医学画像を表す表示タイルの座標を移動させるための(たとえば、x軸、y軸、または両者に沿った)ピクセルの数を示し得る。コンピュータシステムは、現在のタイル座標およびタイル座標の変化量から、タイルを識別する新たな座標を決定可能である。いくつかの実施態様において、パンまたは移動相互作用は、タイルを識別または抽出する生物医学画像中の新たな座標を示し得る。
コンピュータシステムは、他のタイルの座標の変化を決定可能である(ステップ830)。パンまたは移動相互作用により識別されたタイルに1つまたは複数の他のタイルが同期されている場合、コンピュータシステムは、倍率または座標の変更を受けるタイルに対して識別された変化に基づいて、同期タイルそれぞれを規定する座標に適用する対応する変化を決定可能である。第1のタイルに対する座標変化の場合、コンピュータシステムは、相互作用検出器435により第1のタイルに対して識別された新たな座標として、第1のタイルに同期されたその他の表示タイルそれぞれの座標を決定可能である。いくつかの実施態様においては、すべてのタイルが生物医学画像の同じ座標を異なる倍率で表示するように同期される。いくつかの実施態様において、各タイルは、それ自体の独立した座標および倍率レベルを有し得る。いくつかの実施態様においては、1つのタイル(たとえば、基準タイル)のみがパン、ズーム、または他の動作を受け付け可能であり、その他のタイルは、基準タイルに同期される。いくつかの他の実施態様においては、任意のタイルが移動またはズーム動作を受け付け可能であり、対応するGUI要素に表示された任意数の他のタイルに同期可能である。
コンピュータシステムは、GUI中のタイルの表示を更新可能である(ステップ835)。コンピュータシステムは、生物医学画像の更新対象のタイル(たとえば、動作の対象となるタイルまたは動作の対象となるタイルに同期されたタイル等)の要求領域のピクセル(たとえば、新たに識別された座標およびピクセル)を抽出可能である。コンピュータシステムは、生物医学画像のタイルごとに新たなピクセルを抽出した後、各タイルに対するスケーリング動作(たとえば、倍率2倍の場合の画像サイズの2倍化等)の実行によって、対応するGUI要素に一致するようにタイルの解像度を高くすることができる。その後、コンピュータシステムは、スケーリング済みタイルをアプリケーションに送信あるいは提供して、GUI要素に表示可能である。いくつかの実施態様において、コンピュータシステムは、新たに抽出およびスケーリングされたタイルによって要求側アプリケーションが各GUI要素に表示されたタイルを更新し、対応する更新タイルをGUI要素にレンダリングするための命令を生成可能である。
コンピュータシステムは、1つまたは複数のアノテーションを識別して追加することができる(ステップ840)。コンピュータシステムは、(たとえば、検出された相互作用等による)アノテーション対象のGUI要素に表示されたタイル中のピクセルのピクセル場所(たとえば、x座標およびy座標等)を検出可能である。その後、相互作用検出器435によって、受け付けたアノテーションの座標を生物医学画像中のピクセルの対応する位置にマッピング可能である。たとえば、200ピクセル×200ピクセルの生物医学画像と、生物医学画像におけるx軸上の座標100~149のピクセルおよびy軸上の座標100~149のピクセルを表すタイルと、を考える。本例において、タイルの寸法は、50ピクセル×50ピクセルである。タイルのx軸上の座標3およびタイルのy軸上の座標5においてアノテーションが検出された場合、コンピュータシステムは、生物医学画像におけるx軸上のピクセル座標103およびy軸上のピクセル座標105にアノテーションをマッピング可能である。
アノテーションの場所のマッピングに際して、コンピュータシステムは、アノテーションデータ(たとえば、アノテーションデータ455)中のマッピングピクセル座標に色データを格納可能である。アノテーションデータは、1対1のピクセルマッピングにおいて、生物医学画像に対応し得る。アノテーションデータは、当該アノテーションデータ中の各ピクセルについて、固定されたビット幅を有し得る。コンピュータシステムがアノテーションを識別した場合、当該アノテーションは、対応する色値またはピクセル値(たとえば、固定幅のビット列値等)と関連付けられ得る。色値は、手動で選択することも可能であるし、デフォルト設定に基づいて自動的に選択されるようになっていてもよい。選択可能な各色値は、アノテーションデータと関連付けて格納可能な色マップにおいて識別された色に対応し得る。色マップは、アノテーションデータにより表し得る色値(たとえば、固定幅のビット列値等)を表示色(たとえば、RGB全色チャンネルピクセル値等)と関連付け可能である。したがって、アノテーションデータの色マップは、考え得る各アノテーション値に対応するピクセル色値のルックアップテーブルとして機能し得る。たとえば、アノテーションデータ中の各ピクセルが4ビット幅のビット列により表される場合、色マップは、4ビットピクセルの考え得る値のうちの1つにそれぞれ対応する15個の異なる色と、アノテーションがない場合に対応する1つの色(たとえば、0b0000等)と、を有し得る。アノテーションデータの色マップは、デフォルト設定に基づいて自動的に生成することも可能であるし、1つまたは複数のGUI要素または実施可能なオブジェクトを通じて手動で指定することも可能である。
コンピュータシステムは、色マップおよびアノテーションデータを用いて、1つまたは複数のGUI要素に表示されたタイルを更新することにより、アノテーションを示すことができる。いくつかの実施態様においては、生物医学画像上の別個のレイヤとして、アノテーションを表示可能である。アノテーションレイヤの可視性は、たとえば各GUI要素の1つまたは複数の実施可能なオブジェクトによって切り替え可能である。コンピュータシステムは、アノテーション情報の表示の指示を受けた場合、アノテーションデータおよび対応する色マップにアクセスして、アノテーション対象の色を識別することができる。これにより、表示情報の特定部分のタイルを構成するピクセルを選択する場合、コンピュータシステムは、タイル中の対応する各ピクセル場所にアノテーションが存在するかを判定可能である。ピクセルの座標にアノテーションデータが存在する場合、コンピュータシステムは、アノテーションデータの色マップの対応するピクセルに等しい色チャンネル値を有するように、タイル中の当該ピクセルを修正可能である。同様に、アノテーションデータがコンピュータシステムにより更新された場合、コンピュータシステムは、最新のアノテーション情報をリアルタイムに表示するように、同期タイル中の対応するピクセルを更新可能である。その後、コンピュータシステムは、本明細書において上述した通り、1つまたは複数のGUI要素に表示するため、更新タイルを提供可能である。
C.コンピュータおよびネットワーク環境
本明細書に記載のさまざまな動作は、コンピュータシステム上で実現可能である。図9は、本開示の特定の実施形態の実現に使用し得る代表的なサーバシステム900、クライアントコンピュータシステム914、およびネットワーク929を示した簡易ブロック図である。種々実施形態において、サーバシステム900または類似のシステムは、本明細書に記載のサービスもしくはサーバまたはその一部を実現可能である。クライアントコンピュータシステム914または類似のシステムは、本明細書に記載のクライアントを実現可能である。本明細書に記載のシステム400は、サーバシステム900に類似し得る。サーバシステム900は、多くのモジュール902(たとえば、ブレードサーバの一実施形態におけるブレード)を組み込んだモジュール設計を有していてもよい。2つのモジュール902を図示しているが、如何なる数でも提供可能である。各モジュール902は、処理ユニット904およびローカルストレージ906を具備し得る。
処理ユニット904は、1つまたは複数のコアを有し得る単一のプロセッサを具備することも可能であるし、複数のプロセッサを具備することも可能である。いくつかの実施形態において、処理ユニット904は、汎用主プロセッサのほか、グラフィックスプロセッサ、デジタル信号プロセッサ等の1つまたは複数の専用コプロセッサを具備し得る。いくつかの実施形態においては、特定用途向け集積回路(ASIC)またはフィールドプログラマブルゲートアレイ(FPGA)等のカスタム回路を用いて、処理ユニット904の一部または全部を実現可能である。いくつかの実施形態において、このような集積回路は、回路自体に格納された命令を実行する。他の実施形態において、処理ユニット904は、ローカルストレージ906に格納された命令を実行可能である。処理ユニット904には、任意の種類のプロセッサを任意の組み合わせで含むことができる。
ローカルストレージ906は、揮発性記憶媒体(たとえば、DRAM、SRAM、SDRAM等)および/または不揮発性記憶媒体(たとえば、磁気または光ディスク、フラッシュメモリ等)を含み得る。ローカルストレージ906に組み込まれた記憶媒体は、必要に応じて固定可能であってもよいし、取り外し可能であってもよいし、アップグレード可能であってもよい。ローカルストレージ906は、システムメモリ、リードオンリーメモリ(ROM)、および永久記憶装置等のさまざまなサブユニットへと物理的に分割することも可能であるし、論理的に分割することも可能である。システムメモリとしては、読み書きメモリデバイスも可能であるし、ダイナミックランダムアクセスメモリ等の揮発性読み書きメモリも可能である。システムメモリは、処理ユニット904が実行時に必要とする命令およびデータの一部または全部を格納可能である。ROMは、処理ユニット904が必要とする静的なデータおよび命令を格納可能である。永久記憶装置としては、モジュール902の電源が切れた場合にも命令およびデータを格納可能な不揮発性読み書きメモリデバイスが可能である。本明細書において使用する用語「記憶媒体」には、(上書き、電気的妨害、電力喪失等が発生する)データを無期限に格納可能な如何なる媒体をも含むが、無線または有線接続で伝搬する搬送波および一過性の電子信号は含まない。
いくつかの実施形態において、ローカルストレージ906は、オペレーティングシステムならびに/または図4のシステム400もしくは本明細書に記載のその他任意のシステムの機能等のさまざまなサーバ機能を実装するプログラム等、処理ユニット904により実行される1つまたは複数のソフトウェアプログラム、あるいは、システム400または本明細書に記載のその他任意のシステムと関連付けられたその他任意のサーバにより実行される1つまたは複数のソフトウェアプログラムを格納可能である。
「ソフトウェア」は、処理ユニット904により実行された場合に、サーバシステム900(または、その一部)にさまざまな動作を実行させる命令のシーケンスを一般的に表すため、ソフトウェアプログラムの動作を実行および遂行する1つまたは複数の特定の機械の実施形態を定義する。命令は、リードオンリーメモリ中に存在するファームウェアおよび/または不揮発性記憶媒体に格納されたプログラムコードとして格納可能であり、揮発性ワーキングメモリに読み込んで処理ユニット904により実行可能である。ソフトウェアは、単一のプログラムとして実装することも可能であるし、必要に応じて相互作用する別個のプログラムまたはプログラムモジュールの集合体として実装することも可能である。処理ユニット904は、ローカルストレージ906(または、後述の非ローカルストレージ)から、実行するプログラム命令および処理するデータを読み出して、上述のさまざま動作を実行することができる。
いくつかのサーバシステム900においては、サーバシステム900のモジュール902と他の構成要素との間の通信に対応するローカルエリアネットワークを構成するバス等の相互接続部908を介して、複数のモジュール902を相互接続可能である。相互接続部908は、サーバラック、ハブ、ルータ等のさまざまな技術を用いて実現可能である。
ワイドエリアネットワーク(WAN)インターフェース910は、ローカルエリアネットワーク(相互接続部908)とインターネット等のネットワーク929との間のデータ通信機能を提供可能である。有線技術(たとえば、イーサネット、IEEE802.3規格)および/または無線技術(たとえば、Wi-Fi、IEEE802.11規格)等の技術を使用可能である。
いくつかの実施形態において、ローカルストレージ906は、処理ユニット904のワーキングメモリの提供が意図され、相互接続部908のトラフィックを低減しつつ、処理対象のプログラムおよび/またはデータへの高速アクセスを提供する。ローカルエリアネットワーク上には、相互接続部908に接続可能な1つまたは複数のマスストレージサブシステム912によって、大量のデータに対するストレージを設けることができる。マスストレージサブシステム912は、磁気、光、半導体、または他のデータ記憶媒体に基づき得る。ダイレクトアタッチトストレージ、ストレージエリアネットワーク、ネットワークアタッチトストレージ等を使用可能である。マスストレージサブシステム912には、サービスまたはサーバが生成、消費、または維持する本明細書に記載の任意のデータストアまたは他のデータ集合体を格納可能である。いくつかの実施形態においては、WANインターフェース910を介して、付加的なデータストレージリソースにアクセス可能であってもよい(待ち時間は長くなる可能性がある)。
サーバシステム900は、WANインターフェース910を介して受信されたリクエストに応答して動作し得る。たとえば、モジュール902のうちの1つが監視機能を実行し、受信リクエストに応答して、離散的タスクを他のモジュール902に割り当てる。ワーク分担技術を使用可能である。リクエストが処理された場合は、WANインターフェース910を介して、結果を要求側に返すことができる。このような動作は一般的に、自動化可能である。さらに、いくつかの実施形態において、WANインターフェース910は、複数のサーバシステム900を互いに接続することにより、大量のアクティビティを管理し得るスケーラブルなシステムを提供可能である。動的リソース配分および再配分等、サーバシステムおよびサーバファーム(協働するサーバシステムの集合体)を管理する他の技術も使用可能である。
サーバシステム900は、インターネット等のワイドエリアネットワークを介して、さまざまなユーザ所有機器またはユーザ操作機器と相互作用可能である。図9においては、ユーザ操作機器の一例をクライアントコンピュータシステム914として示している。クライアントコンピュータシステム914は、たとえばスマートフォン、他の携帯電話、タブレットコンピュータ、ウェアラブルコンピュータ機器(たとえば、スマートウォッチ、スマートグラス)、デスクトップコンピュータ、ラップトップコンピュータ等として実現可能である。
たとえば、クライアントコンピュータシステム914は、WANインターフェース910を介して通信可能である。クライアントコンピュータシステム914は、処理ユニット916、記憶装置918、ネットワークインターフェース920、ユーザ入力装置922、およびユーザ出力装置924等のコンピュータ構成要素を具備し得る。クライアントコンピュータシステム914としては、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、他のモバイルコンピュータ機器、ウェアラブルコンピュータ機器等、多様なフォームファクタで実装されるコンピュータ機器が可能である。
プロセッサ916および記憶装置918は、上述の処理ユニット904およびローカルストレージ906に類似し得る。好適な機器は、クライアントコンピュータシステム914に課される要求に基づいて選択可能である。たとえば、クライアントコンピュータシステム914は、処理能力が制限された「シン」クライアントとして実装することも可能であるし、高出力コンピュータ機器として実装することも可能である。クライアントコンピュータシステム914は、サーバシステム900とのさまざまな相互作用を可能にするため、処理ユニット916により実行可能なプログラムコードを備え得る。
ネットワークインターフェース920は、サーバシステム900のWANインターフェース910も接続されるワイドエリアネットワーク(たとえば、インターネット)等のネットワーク929への接続を提供可能である。種々実施形態において、ネットワークインターフェース920には、有線インターフェース(たとえば、イーサネット)ならびに/またはWi-Fi、Bluetooth、もしくはセルラーデータネットワーク規格(たとえば、3G、4G、LTE)等のさまざまな無線データ通信規格を実現する無線インターフェースを含み得る。
ユーザ入力装置922には、ユーザが信号をクライアントコンピュータシステム914に与え、クライアントコンピュータシステム914が特定のユーザリクエストまたは情報を示すものとしてこれらの信号を解釈し得る(1つまたは複数の)任意の機器を含み得る。種々実施形態において、ユーザ入力装置922には、ありとあらゆるキーボード、タッチパッド、タッチスクリーン、マウス等のポインティングデバイス、スクロールホイール、クリックホイール、ダイヤル、ボタン、スイッチ、キーパッド、マイク等を含み得る。
ユーザ出力装置924には、クライアントコンピュータシステム914が情報をユーザに提供可能な任意の機器を含み得る。たとえば、ユーザ出力装置924には、クライアントコンピュータシステム914により生成された画像またはクライアントコンピュータシステム914に配信される画像を表示するディスプレイを含み得る。ディスプレイは、さまざまな画像生成技術(たとえば、補助電子機器(たとえば、デジタル-アナログ変換器、アナログ-デジタル変換器、信号プロセッサ等)と併せた、液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)を含む発光ダイオード(LED)、プロジェクションシステム、陰極線管(CRT)等)を組み込み可能である。いくつかの実施形態では、入力装置および出力装置の両者として機能するタッチスクリーン等の機器を含み得る。いくつかの実施形態においては、ディスプレイの追加または代替として、他のユーザ出力装置924を設けることができる。その例としては、表示灯、スピーカ、触覚「ディスプレイ」装置、プリンタ等が挙げられる。
いくつかの実施形態では、コンピュータプログラム命令をコンピュータ可読記憶媒体に格納するマイクロプロセッサ、ストレージ、およびメモリ等の電子的コンポーネントを含む。本明細書に記載の特徴の多くは、コンピュータ可読記憶媒体上で符号化された一組のプログラム命令として規定されたプロセスとして実装可能である。これらのプログラム命令は、1つまたは複数の処理ユニットにより実行された場合、当該プログラム命令に指定のさまざまな動作を処理ユニットに実行させる。プログラム命令またはコンピュータコードの例としては、コンパイラが生成するようなマシンコードならびにコンピュータ、電子的コンポーネント、もしくはマイクロプロセッサがインタプリタを用いて実行する高水準コードを含むファイルが挙げられる。処理ユニット904および916は、好適なプログラミングによって、サーバもしくはクライアントが実行する本明細書に記載の機能または他の機能のいずれか等、サーバシステム900およびクライアントコンピュータシステム914のさまざまな機能を提供可能である。
当然のことながら、サーバシステム900およびクライアントコンピュータシステム914は例示であって、変形および改良が可能である。本開示の実施形態に関連して使用されるコンピュータシステムは、本明細書において具体的に記載していない他の機能を有し得る。さらに、サーバシステム900およびクライアントコンピュータシステム914は、特定のブロックを参照して説明したが、これらのブロックは、説明の便宜上規定したものであり、構成部品の特定の物理的配置を暗示するものではない。たとえば、ブロックによっては、同じ設備、同じサーバラック、または同じマザーボードに配置可能であるが、必ずしもその必要はない。さらに、これらのブロックは、物理的に異なる構成要素に対応する必要もない。ブロックは、たとえばプロセッサのプログラミングまたは適当な制御回路の提供によって、さまざまな動作を実行するように構成可能であり、初期設定の取得態様に応じて、さまざまなブロックを再設定可能な場合もあるし、再設定不可能な場合もある。本開示の実施形態は、回路およびソフトウェアの任意の組み合わせを用いて実装可能な電子機器を含む多様な装置において実現可能である。
特定の実施形態に関して本開示を説明したが、当業者には、多くの改良が可能であることが認識されよう。本開示の実施形態は、多様なコンピュータシステムおよび通信技術を用いて実現可能であり、本明細書に記載の具体例が挙げられるが、これらに限定されない。本開示の実施形態は、専用コンポーネント、プログラム可能なプロセッサ、および/または他のプログラム可能な機器の任意の組み合わせを用いて実現可能である。本明細書に記載のさまざまなプロセスは、任意の組み合わせによって、同じプロセッサ上に実装することも可能であるし、異なるプロセッサ上に実装することも可能である。特定の動作を実行するように構成されたものとしてコンポーネントの説明がなされている場合、このような構成は、たとえば当該動作を実行するように電子回路を設計すること、当該動作を実行するようにプログラム可能な電子回路(マイクロプロセッサ等)をプログラムすること、またはこれらの任意の組み合わせによって実現可能である。さらに、上述の実施形態は、特定のハードウェアおよびソフトウェアコンポーネントを参照していてもよいが、当業者には当然のことながら、ハードウェアおよび/またはソフトウェアコンポーネントの異なる組み合わせも使用可能であり、ハードウェアで実装されるものとして説明された特定の動作がソフトウェアで実装される可能性もあるし、その逆もまた同様である。
本開示のさまざまな特徴を組み込んだコンピュータプログラムは、さまざまなコンピュータ可読記憶媒体において符号化および格納されていてもよく、好適な媒体としては、磁気ディスクもしくはテープ、コンパクトディスク(CD)もしくはDVD(デジタル多用途ディスク)等の光学記憶媒体、フラッシュメモリ、ならびに他の非一過性媒体が挙げられる。プログラムコードが符号化されたコンピュータ可読媒体は、互換性のある電子機器にパッケージされてもよいし、プログラムコードが電子機器とは別に(たとえば、インターネットダウンロードまたは別途パッケージされたコンピュータ可読記憶媒体として)提供されていてもよい。
以上、特定の実施形態に関して本開示を説明したが、当然のことながら、本開示は、以下の特許請求の範囲内のすべての改良および同等物を網羅することが意図される。

Claims (20)

  1. プリアンブルを生成する方法であって、
    コンピュータシステムにより、病理組織学的画像作成器を介して組織サンプルから導出された生物医学画像の第1の部分から複数のタイルを識別することであり、前記複数のタイルがそれぞれ、複数の倍率のうちの1つで取得されるとともに、前記生物医学画像内の対応する座標セットにより規定され、前記複数のタイルのうちの少なくとも1つが、前記第1の部分の少なくとも1つのサブセットに対応する、ことと、
    前記コンピュータシステムにより、対応する複数のグラフィカルユーザインターフェース(GUI)要素を介した同時表示のために前記複数のタイルを提供することと、
    前記コンピュータシステムにより、前記複数のGUI要素のうちの1つとの相互作用を検出して、前記複数のタイルのうちの1つの提示を修正することと、
    前記コンピュータシステムにより、前記GUI要素との前記相互作用に応答して、前記タイルを規定する第1の座標セットの第1の変化を識別することと、
    前記コンピュータシステムにより、前記第1の座標セットの前記第1の変化に基づいて、前記複数のタイルのうちのその他のタイルそれぞれを規定する第2の座標セットに適用する第2の変化を決定することと、
    前記コンピュータシステムにより、前記相互作用が検出された前記タイルの前記第1の座標セットに前記第1の変化を適用するとともに、前記複数のタイルのうちのその他のタイルそれぞれの前記第2の座標セットに前記第2の変化を適用することによって、前記対応する複数のGUI要素における前記複数のタイルの表示を更新することと、
    を含む、方法。
  2. 前記コンピュータシステムにより、前記タイルを規定する前記第1の座標セットに適用される前記第1の変化に基づいて、前記生物医学画像の第2の部分を識別することと、
    前記第1の部分および前記第2の部分の比較に基づいて、前記第2の座標セットに適用する前記第2の変化を決定することと、
    をさらに含む、請求項1に記載の方法。
  3. 前記複数のGUI要素が、前記複数のタイルのうちの基準タイルを表示する第1のGUI要素と、前記複数のタイルのうちの対応する1つまたは複数の他のタイルを表示する1つまたは複数の第2のGUI要素と、を含む、請求項1に記載の方法。
  4. 前記相互作用を検出することが、前記相互作用を検出して、前記タイル内のズーム動作および前記タイルから移動するパン動作の少なくとも一方を実行することをさらに含む、請求項1に記載の方法。
  5. 前記複数のタイルを識別することが、前記対応する複数のGUI要素を介して前記クライアント機器上に表示するための、前記生物医学画像の前記第1の部分に対応する前記複数のタイルをクライアント機器にストリーミングすることをさらに含む、請求項1に記載の方法。
  6. 前記コンピュータシステムにより、前記複数のGUI要素のうちの第2のGUI要素を介して、前記第2のGUI要素を介して表示された前記複数のタイルのうちの第2のタイル上の1つまたは複数のピクセル座標を識別するとともに、前記第2のタイル上の前記1つまたは複数のピクセル座標に対応する前記組織サンプル上のエリアにおける1つまたは複数の条件の有無を示すアノテーションを識別することと、
    前記コンピュータシステムにより、前記アノテーションと前記生物医学画像との間の関連を1つまたは複数のデータ構造に格納することと、
    をさらに含む、請求項1に記載の方法。
  7. 前記コンピュータシステムにより、前記アノテーションにより識別された前記1つまたは複数のピクセル座標に対応する複数のインデックス化色値を生成することをさらに含み、
    前記関連を格納することが、前記複数のインデックス化色値を前記アノテーションのマップとして格納することをさらに含む、請求項5に記載の方法。
  8. 前記コンピュータシステムにより、前記第2のGUI要素を介して表示された前記第2のタイルにおいて識別された前記アノテーションに基づいて、前記対応する複数のGUI要素における前記複数のタイルの表示を更新することをさらに含む、請求項5に記載の方法。
  9. 前記コンピュータシステムにより、前記複数のタイルのうちの第3のタイルについて、前記生物医学画像の各部を識別することと、
    前記コンピュータシステムにより、前記少なくとも1つのタイルの前記各部に対する色修正動作を適用する一方、前記生物医学画像のその他の部分を維持することと、
    前記コンピュータシステムにより、前記各部に対する前記色修正動作の適用に基づいて、前記複数のGUI要素のうちの対応するGUI要素における前記第3のタイルの表示を更新することと、
    をさらに含む、請求項1に記載の方法。
  10. 前記コンピュータシステムにより、前記複数のタイルが導出された前記生物医学画像の供給源を識別することと、
    前記コンピュータシステムにより、複数の色修正動作から、前記生物医学画像に対して識別された前記供給源に基づく色修正動作を選択することと、
    をさらに含む、請求項9に記載の方法。
  11. メモリに結合された1つまたは複数のプロセッサを有し、
    病理組織学的画像作成器を介して組織サンプルから導出された生物医学画像の第1の部分から複数のタイルを識別することであり、前記複数のタイルがそれぞれ、複数の倍率のうちの1つで取得されるとともに、前記生物医学画像内の対応する座標セットにより規定され、前記複数のタイルのうちの少なくとも1つが、前記第1の部分の少なくとも1つのサブセットに対応する、ことと、
    対応する複数のグラフィカルユーザインターフェース(GUI)要素を介した同時表示のために前記複数のタイルを提供することと、
    前記複数のGUI要素のうちの1つとの相互作用を検出して、前記複数のタイルのうちの1つの提示を修正することと、
    前記GUI要素との前記相互作用に応答して、前記タイルを規定する第1の座標セットの第1の変化を識別することと、
    前記第1の座標セットの前記第1の変化に基づいて、前記複数のタイルのうちのその他のタイルそれぞれを規定する第2の座標セットに適用する第2の変化を決定することと、
    前記相互作用が検出された前記タイルの前記第1の座標セットに前記第1の変化を適用するとともに、前記複数のタイルのうちのその他のタイルそれぞれの前記第2の座標セットに前記第2の変化を適用することによって、前記対応する複数のGUI要素における前記複数のタイルの表示を更新することと、
    を行うように構成されたコンピュータシステムを備えたシステム。
  12. 前記コンピュータシステムが、
    前記タイルを規定する前記第1の座標セットに適用される前記第1の変化に基づいて、前記生物医学画像の第2の部分を識別することと、
    前記第1の部分および前記第2の部分の比較に基づいて、前記第2の座標セットに適用する前記第2の変化を決定することと、
    を行うようにさらに構成された、請求項11に記載のシステム。
  13. 前記複数のGUI要素が、前記複数のタイルのうちの基準タイルを表示する第1のGUI要素と、前記複数のタイルのうちの対応する1つまたは複数の他のタイルを表示する1つまたは複数の第2のGUI要素と、を含む、請求項11に記載のシステム。
  14. 前記コンピュータシステムが、前記相互作用を検出して、前記タイル内のズーム動作および前記タイルから移動するパン動作の少なくとも一方を実行するようにさらに構成された、請求項11に記載のシステム。
  15. 前記コンピュータシステムが、前記対応する複数のGUI要素を介して前記クライアント機器上に表示するための、前記生物医学画像の前記第1の部分に対応する前記複数のタイルをクライアント機器にストリーミングするようにさらに構成された、請求項11に記載のシステム。
  16. 前記コンピュータシステムが、
    前記複数のGUI要素のうちの第2のGUI要素を介して、前記第2のGUI要素を介して表示された前記複数のタイルのうちの第2のタイル上の1つまたは複数のピクセル座標を識別するとともに、前記第2のタイル上の前記1つまたは複数のピクセル座標に対応する前記組織サンプル上のエリアにおける1つまたは複数の条件の有無を示すアノテーションを識別することと、
    前記アノテーションと前記生物医学画像との間の関連を1つまたは複数のデータ構造に格納することと、
    を行うようにさらに構成された、請求項11に記載のシステム。
  17. 前記アノテーションにより識別された前記1つまたは複数のピクセル座標に対応する複数のインデックス化色値を生成することと、
    前記複数のインデックス化色値を前記アノテーションのマップとして格納することと、
    をさらに含む、請求項15に記載のシステム。
  18. 前記コンピュータシステムが、前記第2のGUI要素を介して表示された前記第2のタイルにおいて識別された前記アノテーションに基づいて、前記対応する複数のGUI要素における前記複数のタイルの表示を更新するようにさらに構成された、請求項15に記載のシステム。
  19. 前記コンピュータシステムが、
    前記複数のタイルのうちの第3のタイルについて、前記生物医学画像の各部を識別することと、
    前記少なくとも1つのタイルの前記各部に対する色修正動作を適用する一方、前記生物医学画像のその他の部分を維持することと、
    前記各部に対する前記色修正動作の適用に基づいて、前記複数のGUI要素のうちの対応するGUI要素における前記第3のタイルの表示を更新することと、
    を行うようにさらに構成された、請求項11に記載のシステム。
  20. 前記コンピュータシステムが、
    前記複数のタイルが導出された前記生物医学画像の供給源を識別することと、
    複数の色修正動作から、前記生物医学画像に対して識別された前記供給源に基づく色修正動作を選択することと、
    を行うようにさらに構成された、請求項19に記載のシステム。
JP2022511224A 2019-08-23 2020-08-24 ユニバーサルスライドビューア Pending JP2022544705A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962890953P 2019-08-23 2019-08-23
US62/890,953 2019-08-23
PCT/US2020/047687 WO2021041343A1 (en) 2019-08-23 2020-08-24 Universal slide viewer

Publications (1)

Publication Number Publication Date
JP2022544705A true JP2022544705A (ja) 2022-10-20

Family

ID=74685765

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022511224A Pending JP2022544705A (ja) 2019-08-23 2020-08-24 ユニバーサルスライドビューア

Country Status (9)

Country Link
US (1) US20220301691A1 (ja)
EP (1) EP4018414A4 (ja)
JP (1) JP2022544705A (ja)
KR (1) KR20220051201A (ja)
CN (1) CN114556417A (ja)
AU (1) AU2020336308A1 (ja)
BR (1) BR112022002824A2 (ja)
CA (1) CA3148542A1 (ja)
WO (1) WO2021041343A1 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2617026A4 (en) 2010-09-16 2015-03-11 Omnyx LLC DIGITAL IMAGE PROCESSING OF PATHOLOGY
EP2929453B1 (en) * 2012-12-06 2020-04-08 Global Life Sciences Solutions USA LLC Selection and display of biomarker expressions
JP6192747B2 (ja) 2013-03-15 2017-09-06 ベンタナ メディカル システムズ, インコーポレイテッド デジタル・ホール・スライドの自動採点のための組織物体に基づく機械学習システム
JP6632248B2 (ja) * 2015-08-07 2020-01-22 キヤノン株式会社 医用画像表示装置、医用画像表示システム、医用画像表示方法、およびプログラム
KR101830583B1 (ko) * 2017-08-11 2018-02-20 주식회사 인피니트헬스케어 Wsi 스트리밍 방법

Also Published As

Publication number Publication date
WO2021041343A1 (en) 2021-03-04
AU2020336308A1 (en) 2022-03-03
US20220301691A1 (en) 2022-09-22
CN114556417A (zh) 2022-05-27
BR112022002824A2 (pt) 2022-05-10
EP4018414A4 (en) 2023-09-27
EP4018414A1 (en) 2022-06-29
CA3148542A1 (en) 2021-03-04
KR20220051201A (ko) 2022-04-26

Similar Documents

Publication Publication Date Title
Chen et al. An augmented reality microscope with real-time artificial intelligence integration for cancer diagnosis
US11487412B2 (en) Information processing method and information processing system
US9459825B2 (en) Systems and methods for high-resolution image viewing
US9836865B2 (en) Systems and methods for split screen display of biological specimen and for capturing records thereof
US9891804B2 (en) Selection and display of biomarker expressions
US20120069049A1 (en) Digital pathology image manipulation
US10789712B2 (en) Method and system for image analysis to detect cancer
Wang et al. SurfaceSlide: a multitouch digital pathology platform
Nishat et al. Digital cytopathology
US9360339B2 (en) Rendering maps with canvas elements
WO2019214019A1 (zh) 基于卷积神经网络的网络教学方法以及装置
CN108463800B (zh) 内容共享协议
WO2023071861A1 (zh) 数据可视化展示方法、装置、计算机设备和存储介质
JP2022544705A (ja) ユニバーサルスライドビューア
Singh et al. Real-time multi-scale brain data acquisition, assembly, and analysis using an end-to-end OptIPuter
CN114496175A (zh) 一种医疗图像查看方法、装置、设备和存储介质
CN109190097B (zh) 用于输出信息的方法和装置
Kohlmann et al. Remote visualization techniques for medical imaging research and image-guided procedures
Zinchuk et al. Mobile quantitative colocalization analysis of fluorescence microscopy images
US20140351685A1 (en) Method and apparatus for interactive review of a dataset
US20220013223A1 (en) Virtual pointer for real-time endoscopic video using gesture and voice commands and video architecture and framework for collecting surgical video at scale
CN115910256A (zh) 外部数据源与集成医疗数据显示系统之间的数据交换
EP2838033A1 (en) Method and apparatus for interactive review of a dataset
US20140351736A1 (en) Method and apparatus for interactive review of multiple datasets
KR20180010663A (ko) Dicom 영상 및 non-dicom 콘텐츠 매칭 및 표시 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230810