JP2023040197A - コンテキスト適応型デジタル病理インタフェース - Google Patents

Abstract

【課題】コンテキスト適応型デジタル病理インタフェースを含む画像視覚化システムのための方法、システムおよびコンピュータプログラム製品を提供する。【解決手段】方法は、１つまたは複数のバイオマーカの存在について染色された生体サンプルの少なくとも１つの画像を取得し３００、画像を第１のズームレベルでディスプレイ画面に表示し３１０、第１のサブセットのユーザ選択可能要素を同時に表示する３２０。ユーザ入力の結果として、画像の存在を第２のズームレベルで表示し３３０、第２のサブセットのユーザ選択可能要素の画像を同時に表示する３４０。第２のサブセットのユーザ選択可能要素内の１つもしくは複数の要素が、第１のズームレベルで無効若しくは非表示にされるか又は第１のサブセットのユーザ選択可能要素内の１つもしくは複数の要素が、第２のズームレベルで無効若しくは非表示にされる。【選択図】図３

Description

（関連出願の相互参照）
本出願は、２０１８年８月３１日に出願された米国仮出願第６２／７２６，０８１号に対する利益を主張するものであり、その全体があらゆる目的のために参照により本明細書に組み込まれる。
デジタル病理とは、デジタル環境における病理情報の管理および解釈を指す。スキャン装置は、染色され得る生体サンプルのスライドを画像化するために使用され、その結果、デジタルスライド、例えば、スライド画像全体が生成される。デジタル病理ソフトウェアを使用すると、デジタルスライドをコンピュータのメモリ装置に格納し、コンピュータのモニターで表示し、病理情報を分析することができる。

本開示は、１つまたは複数のバイオマーカの存在について染色された生体サンプルの画像の視覚化表現を提供し、事前に確立された基準が満たされているかに基づいてユーザにコンテキスト的に関連する要素（例えば、分析ツール、ビューアパネル）の表示を可能にするように適合されたグラフィカルユーザインタフェースを提供する。いくつかの実施形態では、コンテキスト的に関連する要素が、選択されたズームレベルまたは特定の染色を有する画像の選択に基づいてユーザに提供される。コンテキストに関連する要素のみを提供することにより、ユーザは視覚化された要素（例えば、適切でない要素や特定のコンテキストでは効果がない要素）に圧倒されることなく、代わりに、条件状態（例えば、選択されたズームレベル、選択された画像タイプ、選択された組織タイプ、スライド画像全体の対組織マイクロアレイから得られたスライドの選択、特定の染色が適用された選択されたスライド（例えば、Ｈ＆Ｅ）、特定のバイオマーカの存在について染色された選択されたスライド、ｉｎｓｉｔｕハイブリダイゼーションとは対照的に免疫組織化学を使用して染色された選択されたスライド、特定の画像分析アルゴリズムが適用された選択されたスライド）に基づいて正しい要素を選択できると考えられている。さらに、コンテキスト的に関連する要素のみを提供することにより、提示された画像データのより迅速かつより正確なレビューが可能になると考えられている。さらに、ディスプレイ画面のサイズと解像度が制限されているため、一度に複数の視覚化表現を提供することは困難な場合が多く、複数の視覚化が提供されている場合、それらはユーザの重要な要素の表示と重なるか、妨げられる可能性がある。特定の条件（例えば、ユーザが選択した特定のズームレベル）が与えられた場合にコンテキストに関連する要素のみを表示することにより、限られた表示サイズと解像度を考慮して、最も適切な要素に優先順位を付けて視覚化できる。

いくつかの実施形態では、コンピューティング装置は、ディスプレイ画面を含み、コンピューティング装置は、コンピューティング装置に通信可能に結合された１つまたは複数のメモリからの１つまたは複数のバイオマーカ（例えば、ＨＥＲ２、ＰＤ－Ｌ１など）の存在について染色された生体サンプルの少なくとも１つの画像にアクセスすることと、第１のズームレベルで少なくとも１つの画像の第１の視覚化表現をディスプレイ画面に表示し、第１の視覚化表現を表示すると同時に、第１のサブセットのユーザ選択可能ツールをディスプレイ画面に表示することと、続いて、ユーザ入力の受信に応答して、第１のズームレベルより大きい第２のズームレベルで少なくとも１つの画像の第２の視覚化表現をディスプレイ画面に表示し、第２の視覚化表現を表示すると同時に、第２のサブセットのユーザ選択可能要素をディスプレイ画面に表示することであって、（ｉ）第２のサブセットのユーザ選択可能要素内の１つもしくは複数の要素は、第１のズームレベルで無効もしくは非表示にされるか、または（ｉｉ）第１のサブセットのユーザ選択可能要素内の１つもしくは複数の要素は、第２のズームレベルで無効もしくは非表示にされる、ことと、を行うように構成されている。

いくつかの実施形態では、第２のズームレベルは、少なくとも所定のズーム閾値を満たす。いくつかの実施形態では、第２のサブセットのユーザ選択可能要素は、第２のズームレベルでコンテキスト的に関連している。いくつかの実施形態では、ユーザ選択可能要素は、メニューバーツールおよびコンテキストメニュー項目を含む。例として、ツールおよびメニューはコンテキストに依存する。ユーザが完全に「ズームアウト」されると、そのコンテキストで使用する関連ツールのみが有効になる（図４Ａを参照）。ユーザが指定されたズームレベルにズームインすると（図４Ｂを参照）、ツールバーのツールが有効になるか、コンテキストパネルが表示される。スライドの「ズームイン」コンテキストにあるとき、ユーザはこれらのツールを使用できる。そのため、第１の一連のツールまたは第２の一連のツールのいずれかで使用できるツールは、ユーザが選択したズームレベルに依存し、例えば、第１のズームレベルと比較した第２のズームレベルであり、第２のズームレベルは、第２の一連のツールを有効にするための所定のズーム閾値レベルを満たすかまたは超える。

いくつかの実施形態では、メニューバーツールは、画像注釈ツール、スライド設定ツール、スライド選択ツール、ナビゲーションツール、および表示ツールを含む。いくつかの実施形態では、画像注釈ツールは、第２のズームレベルで有効にされる。いくつかの実施形態では、画像注釈ツールは、第１のズームレベルで非表示にされる。いくつかの実施形態では、画像注釈ツールは、関心領域識別ツール、測定ツール、しるし描画ツール、および領域除外ツールを含む。

いくつかの実施形態では、コンピューティング装置は、第２のズームレベルで１つまたは複数のビューアパネルをディスプレイ画面に表示するようにさらに構成され、第２のズームレベルで表示するための１つまたは複数のビューアパネルは、第１のズームレベルで無効にされる。いくつかの実施形態では、第１のズームレベルは、１倍のズームレベル（すなわち、拡大せずにスキャンまたは他の方法で取り込まれた画像などの最低のズームレベル）であり、第１の視覚化表現は、生体サンプルの少なくとも１つの画像を含む少なくとも１つの表現を含む。いくつかの実施形態では、少なくとも１つの表現は、識別用のしるしを含む部分をさらに含む。

いくつかの実施形態では、コンピューティング装置は、ディスプレイ画面を含み、コンピューティング装置は、コンピューティング装置に通信可能に結合された１つまたは複数のメモリからの１つまたは複数のバイオマーカの存在について染色された生体サンプルの少なくとも１つの画像にアクセスすることと、第１のズームレベルで少なくとも１つの画像の第１の表現をディスプレイ画面に表示し、第１の表現を表示すると同時に、少なくとも第１のビューアパネルをディスプレイ画面に表示することと、続いて、第１のズームレベルより大きい第２のズームレベルで少なくとも１つの画像の第２の表現をディスプレイ画面に表示し、第２の表現を表示すると同時に、第１のビューアパネルに加えて少なくとも第２のビューアパネルをディスプレイ画面に表示することであって、少なくとも第２のビューアパネルは、第１のズームレベルで非表示にされる、ことと、を行うように構成されている。

いくつかの実施形態では、第３のビューアパネルは、第２のディスプレイパネルの表示と同時にディスプレイ画面に表示され、第３のビューアパネルは、第１のズームレベルで非表示にされる。いくつかの実施形態では、メニューバーアイコンは、第２のディスプレイパネルの表示と同時にディスプレイ画面上で有効にされる。いくつかの実施形態では、表示されるメニューバーアイコンは、関心領域識別ツール、測定ツール、しるし描画ツール、および領域除外ツールからなる群から選択される。いくつかの実施形態では、少なく
とも第１の表現は、（ｉ）第１のズームレベルでの生体サンプルの少なくとも１つの画像を含む第１の部分と、（ｉｉ）識別用のしるしを含む第２の部分とを含む。いくつかの実施形態では、識別用のしるしは、バイオマーカの識別を含む。

いくつかの実施形態では、方法は、ディスプレイ画面を有するコンピューティング装置上に、染色された生体サンプルの少なくとも１つの画像を含む第１の視覚化表現を表示することであって、第１の視覚化表現は、第１の条件状態で表示される、表示することと、第１の視覚化表現を表示すると同時に、第１のビューアパネルまたは第１の一連のユーザ選択可能要素のうちの少なくとも１つをディスプレイ画面に表示することと、続いて、第２の条件状態にある少なくとも１つの画像の第２の視覚化表現をディスプレイ画面に表示することであって、第２の条件状態はユーザ選択の結果として得られる、表示することと、第２の視覚化表現を表示すると同時に、第１の条件状態で有効にされていない第２の一連のユーザ選択可能要素、または第１のビューアパネルに加えて第２のビューアパネル、のうちの少なくとも１つをディスプレイ画面に表示することであって、第２のビューアパネルは、第１のズームレベルで非表示にされる、表示することとを含む。いくつかの実施形態では、第１の条件状態はデフォルト状態である。いくつかの実施形態では、ユーザ選択はズームレベルであり、第２の条件は、デフォルトのズームレベルよりも大きいズームレベルである。いくつかの実施形態では、ユーザ選択は画像選択であり、第２の条件のために選択された画像は、第１の条件状態の画像とは異なる染色を含む。

いくつかの実施形態では、方法は、ディスプレイ画面を有するコンピューティング装置上に、染色された生体サンプルの少なくとも１つの画像を含む第１の視覚化表現を表示することであって、第１の視覚化表現は、第１の条件状態で表示される、表示することと、第１の視覚化表現を表示すると同時に、第１のビューアパネルまたは第１の一連のユーザ選択可能要素のうちの少なくとも１つをディスプレイ画面に表示することと、続いて、第２のズームレベルで少なくとも１つの画像の第２の視覚化表現をディスプレイ画面に表示することであって、第２のズームレベルは第１のズームレベルより大きい、表示することと、第２の視覚化表現を表示すると同時に、第１のズームレベルで非表示にされているか、もしくは有効にされていない第２の一連のユーザ選択可能要素、または第１のビューアパネルに加えて少なくとも第２のビューアパネル、のうちの少なくとも１つをディスプレイ画面に表示することであって、第２のビューアパネルは、第１のズームレベルで非表示にされている、表示することと、を含む。

いくつかの実施形態では、第１のズームレベルはデフォルトのズームレベルである。いくつかの実施形態では、第２のズームレベルは、細胞の塊を十分に解像するか、または細胞核を十分に解像するものである。いくつかの実施形態では、第１のズームレベルは利用可能な最低のズームレベルであり、第２のズームレベルは少なくとも５倍である。いくつかの実施形態では、第１のズームレベルは利用可能な最低のズームレベルであり、第２のズームレベルは少なくとも１０倍である。

いくつかの実施形態では、第２のサブセットのユーザ選択可能要素は、第２のズームレベルでコンテキスト的に関連している。いくつかの実施形態では、ユーザ選択可能要素は、メニューバーツールおよびコンテキストメニュー項目を含む。いくつかの実施形態では、メニューバーツールは、画像注釈ツール、スライド設定ツール、スライド選択ツール、ナビゲーションツール、および表示ツールを含む。いくつかの実施形態では、画像注釈ツールは、第２のズームレベルで有効にされる。いくつかの実施形態では、画像注釈ツールは、第１のズームレベルで非表示にされる。いくつかの実施形態では、画像注釈ツールは、関心領域識別ツール、測定ツール、しるし描画ツール、および領域除外ツールを含む。

いくつかの実施形態では、第１の視覚化表現は、（ｉ）第１のズームレベルでの生体サ
ンプルの少なくとも１つの画像を含む第１の部分と、（ｉｉ）識別用のしるしを含む第２の部分とを含む。いくつかの実施形態では、識別用のしるしは、バイオマーカの識別を含む。

いくつかの実施形態では、非一時的コンピュータ可読媒体は命令を格納し、命令が、コンピューティングシステムの１つまたは複数のプロセッサによって実行されると、コンピューティングシステムに、ディスプレイ画面に、第１のズームレベルで少なくとも１つの画像の第１の視覚化表現を表示し、第１の視覚化表現を表示すると同時に、第１のサブセットのユーザ選択可能ツールをディスプレイ画面に表示することと、続いて、第１のズームレベルより大きい第２のズームレベルで少なくとも１つの画像の第２の視覚化表現をディスプレイ画面に表示し、第２の視覚化表現を表示すると同時に、第２のサブセットのユーザ選択可能ツールをディスプレイ画面に表示することであって、第２のサブセットのユーザ選択可能ツール内の１つまたは複数のツールは、第１のズームレベルで有効にされない。

本開示の特徴の一般的な理解のために、図面を参照する。図面では、同一の要素を識別するために、全体を通して同様の参照番号が使用されている。

特許または出願ファイルには、カラーで作成された少なくとも１つの図面が含まれている。この特許または特許出願の出版物のカラー図面付きのコピーは、要求と必要な料金の支払いに応じて庁に提供される。

いくつかの実施形態による、１つまたは複数のプロセッサおよびスキャン装置を有するコンピュータを含むシステムを示し、コンピュータおよびスキャン装置は、ネットワークなどを介して通信可能に結合される。

いくつかの実施形態による、バス、ネットワーク、または他の有線または無線相互接続を介して通信可能に結合された各コンポーネントである、処理サブシステム、記憶サブシステム、出力装置、および入力装置を含むシステムを示す。システムはまた、リモートアクセスを可能にするソフトウェア、すなわち、クライアントポータルまたはクライアントインタフェースを含み得る。

いくつかの実施形態による、ネットワークを介してクライアントインタフェースと通信可能に結合されたシステムのブロック図を示す。

いくつかの実施形態による、視覚化表現を表示する一般的なステップを提供するフローチャートを示している。

いくつかの実施形態による、第１のズームレベルでの複数の表現を含む視覚化表現を含むビューアウィンドウを示す。

いくつかの実施形態による、第２のズームレベルでの表現を含む視覚化表現を含むビューアウィンドウを示し、第２のズームレベルは、図４Ａの第１のズームレベルよりも大きい。

いくつかの実施形態による、第３のズームレベルでの複数の表現を含む視覚化表現を含むビューアウィンドウを示し、第３のズームレベルは、それぞれ図４Ａおよび図４Ｂの第１のズームレベルと第２のズームレベルとの間にある。

いくつかの実施形態による、第１のズームレベル（例えば、図４Ａのズームレベル）で利用可能なものなど、特定のビューアパネルを選択するためのドロップダウンメニューを示す。

いくつかの実施形態による、第２のズームレベル（例えば、図４Ｂのズームレベル）で利用可能なものなど、特定のビューアパネルを選択するためのドロップダウンメニューを示す。

いくつかの実施形態による、第１のズームレベルでの３つの表現を含む第１の視覚化表現を含むビューアウィンドウを示す。

いくつかの実施形態による、第２のズームレベルでの３つの表現を含む第１の視覚化表現を含むビューアウィンドウを示し、図６Ａおよび図６Ｃに示されるズームレベルと比較した中間ズームレベルである。

いくつかの実施形態による、第３のズームレベルでの３つの表現を含む第１の視覚化表現を含むビューアウィンドウを示し、第３のズームレベルは、図６Ａおよび図６Ｂのズームレベルよりも大きい。

詳細な説明
反対に明確に示されない限り、複数のステップまたは行為を含む本明細書で請求される方法において、方法のステップまたは行為の順序は、必ずしも方法のステップまたは行為が記載されている順序に限定されないことも理解されたい。

本明細書で使用される場合、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈が別途明確に指示しない限り、複数の指示対象を含む。同様に、「または」という単語は、文脈が明確に別のことを示さない限り、「および」を含むことを意図している。「含む」という用語は、「ＡまたはＢを含む」がＡ、Ｂ、またはＡおよびＢを含むことを意味するように、包括的に定義される。

本明細書および特許請求の範囲で使用される場合、「または」は、上記で定義された「および／または」と同じ意味を有すると理解されるべきである。例えば、リスト内の項目を区切る場合、「または」または「および／または」は包括的であると解釈されるものとする。つまり、要素の数またはリストの少なくとも１つ、および、オプションで、追加のリストされていない項目を含むが、複数を含むと解釈される。「ただ１つまたは「正確に１つ」、または特許請求の範囲で使用される場合、「からなる」など、反対に明確に示される用語のみが、数または要素のリストの正確に１つの要素を含むことを指す。一般に、本明細書で使用される「または」という用語は、「いずれか」、「いずれか」、「のみ」、「正確にいずれか」などの排他性の用語が前に付いている場合、排他的な代替案を示すものとしてのみ解釈されるものとする（すなわち、「一方または他方であるが両方ではない」）。「本質的にからなる」は、特許請求の範囲で使用される場合、特許法の分野で使用される通常の意味を有するものとする。

「備えている」、「含んでいる」、「有している」などの用語は、交換可能に使用され、同じ意味を有する。同様に、「備える」、「含む」、「有する」などは同じ意味で使用され、同じ意味を有する。具体的には、各用語は、「含む」という一般的な米国特許法の定義と一致して定義されているため、「少なくとも以下」を意味するオープンな用語として解釈され、また追加の機能、制限、側面などを除外しないと解釈される。したがって、例えば、「構成要素ａ、ｂ、およびｃを有する装置」は、装置が少なくとも構成要素ａ、ｂ、およびｃを含むことを意味する。同様に、「ステップａ、ｂ、およびｃを含む方法」という句は、その方法が少なくともステップａ、ｂ、およびｃを含むことを意味する。さらに、ステップおよびプロセスは、本明細書において特定の順序で概説され得るが、当業者は、順序立っているステップおよびプロセスが変化し得ることを認識するであろう。

本明細書および特許請求の範囲で使用される場合、１つまたは複数の要素のリストに関連する「少なくとも１つ」という句は、要素のリストの任意の１つまたは複数の要素から選択される少なくとも１つの要素を意味すると理解されるべきである。ただし、要素のリスト内に具体的にリストされているすべての要素の少なくとも１つを含む必要はなく、要素のリスト内の要素の組み合わせを除外するものではない。この定義はまた、「少なくとも１つ」という句が参照する要素のリスト内で具体的に識別される要素以外の要素が、具体的に識別される要素に関連するかどうかにかかわらず、任意選択で存在し得ることを可能にする。したがって、非限定的な例として、「ＡおよびＢの少なくとも１つ」（または、同等に、「ＡまたはＢの少なくとも１つ」、または同等に「Ａおよび／またはＢの少なくとも１つ」）は、いくつかの実施形態では、少なくとも１つ、必要に応じて２つ以上のＡを含み、Ｂが存在しない（および必要に応じて、Ｂ以外の要素を含む）を指すことができ、いくつかの実施形態では、少なくとも１つ、必要に応じて２つ以上のＢを含み、Ａが存在しない（および必要に応じて、Ａ以外の要素を含む）を指すことができ、さらに別の実施形態では、少なくとも１つ、必要に応じて２つ以上のＡを含み、少なくとも１つ、必要に応じて２つ以上のＢを含む（および必要に応じて、他の要素を含む）を指すことができるなどである。

本明細書で使用される場合、「画像データ」という用語は、光学センサまたはセンサアレイなどによって生体組織サンプルから取得された生の画像データ、または前処理された画像データを包含する。特に、画像データは、ピクセル行列を含むことができる。

本明細書で使用される場合、「画像」、「画像スキャン」、または「スキャンされた画像」という用語は、光学センサまたはセンサアレイなどによって生体組織サンプルから取得された生の画像データ、または前処理された画像データを包含する。特に、画像データは、ピクセル行列を含むことができる。

本明細書で使用される場合、「生体サンプル」、「組織サンプル」、「標本」などの用語は、ウイルスを含む任意の生物から得られる生体分子（タンパク質、ペプチド、核酸、脂質、炭水化物、またはそれらの組み合わせなど）を含む任意のサンプルを指す。生物の他の例は、哺乳類（人間、猫、犬、馬、牛、および豚などの獣医動物、ならびにマウス、ラット、霊長類などの実験動物など）、昆虫、環形動物、クモ形類動物、有袋類、爬虫類、両生類、細菌、および菌類などを含む。生体サンプルは、組織サンプル（組織切片や組織の針生検など）、細胞サンプル（Ｐａｐ塗抹標本もしくは血液塗抹標本などの細胞学的塗抹標本、またはマイクロダイセクションによって得られた細胞のサンプルなど）、または細胞分画、断片または細胞小器官（細胞を溶解し、遠心分離などによってそれらの成分を分離することによって得られる）を含む。生体サンプルの他の例は、血液、血清、尿、精液、糞便、脳脊髄液、間質液、粘膜、涙、汗、膿、生検組織（例えば、外科的生検または針生検によって得られる）、乳頭吸引物、耳垢、乳、膣液、唾液、ぬぐい液（頬スワブなど）、または最初の生体サンプルに由来する生体分子を含む任意の材料を含む。特定のいくつかの実施形態では、本明細書で使用される「生体サンプル」という用語は、対象から得られた腫瘍またはその一部から調製されたサンプル（均質化または液化されたサンプルなど）を指す。

本明細書で使用される場合、「スライド」という用語は、生物学的標本が分析のために配置される任意の適切な寸法の任意の基材（例えば、全体的または部分的に、ガラス、石
英、プラスチック、シリコンなどから作製された基材）、より具体的には、標準の３インチ×１インチの顕微鏡スライドまたは標準の７５ｍｍ×２５ｍｍの顕微鏡スライドなどの「顕微鏡スライド」を指す。スライド上に配置することができる生物学的標本の例は、限定されるものではないが、細胞学的塗抹標本、薄い組織切片（生検からのものなど）、および生物学的標本の配列、例えば、組織配列、細胞配列、ＤＮＡ配列、ＲＮＡ配列、タンパク質配列、またはそれらの任意の組み合わせを含む。したがって、いくつかの実施形態では、組織切片、ＤＮＡサンプル、ＲＮＡサンプル、および／またはタンパク質は、スライド上の特定の位置に配置される。いくつかの実施形態では、スライドという用語は、ＳＥＬＤＩおよびＭＡＬＤＩチップ、ならびにシリコンウェーハを指すことができる。

本明細書で使用される場合、本明細書で使用される「染色」、「染色している」などの用語は、一般に、生物学的標本中の特定の分子（脂質、タンパク質、または核酸など）または特定の構造（正常または悪性の細胞、細胞質ゾル、核、ゴルジ装置、または細胞骨格など）の存在、位置、および／または量（濃度など）を検出および／または区別する生物学的標本の任意の処理を指す。例えば、染色は、特定の分子または特定の細胞構造と生物学的標本の周囲の部分との間のコントラストを提供することができ、染色の強度は、標本中の特定の分子の量の尺度を提供することができる。染色は、明視野顕微鏡だけでなく、位相差顕微鏡、電子顕微鏡、および蛍光顕微鏡などの他の観察ツールを使用して、分子、細胞構造、および生物の観察を支援するために使用されることができる。システムによって実行されるいくつかの染色は、細胞の輪郭を視覚化するために使用されることができる。システムによって実行される他の染色は、他の細胞成分の染色なしで、または比較的少ない染色で、染色される特定の細胞成分（分子または構造など）に依存することができる。システムによって実行される染色方法のタイプの例は、これらに限定されるものではないが、組織化学的方法、免疫組織化学的方法、および核酸分子間のハイブリッド形成反応などの分子間の反応（非共有結合相互作用を含む）に基づく他の方法を含む。特定の染色法は、これらに限定されるものではないが、一次染色法（例えば、Ｈ＆Ｅ染色、Ｐａｐ染色など）、酵素結合免疫組織化学的方法、および蛍光原位置ハイブリッド形成（ＦＩＳＨ）などの原位置ＲＮＡおよびＤＮＡハイブリッド形成法を含む。

本明細書で使用される場合、「ユーザインタフェース」という用語は、ユーザ、例えば組織学者および／または病理医などのエンドユーザがコマンドおよびデータを入力し、グラフィカルユーザインタフェース（ＧＵＩ）などの結果を受け取ることを可能にするインタフェースを指す。「ユーザインタフェース」および「グラフィカルユーザインタフェース」という用語は、本明細書では交換可能に使用される。

本明細書でさらに詳細に説明するように、本開示は、ユーザが１つまたは複数のバイオマーカの存在について染色された生体サンプルの１つまたは複数の画像を表示および／または分析することを可能にするグラフィカルユーザインタフェースに関し、それによって特定の要素の視覚化および／または特定の分析および／または処理ツールの可用性は、コンテキストベースでユーザに提供される。いくつかの実施形態では、グラフィカルユーザインタフェースは、事前に確立された条件が満たされているかどうかに基づいて選択するためのコンテキスト的に関連する視覚化表現および要素を提供するように適合されている。いくつかの実施形態では、事前に確立された条件は、ユーザによって行われた選択である。例えば、選択は、ユーザによって選択されたズームレベル、または倍率レベルであり得、異なるズームレベルまたは倍率レベルの選択により、グラフィカルユーザインタフェースに、特定の視覚化表現を適応的に生成させるか、または特定のユーザ構成可能項目、例えば、注釈ツール、画像処理ツールなどを有効にさせる。いくつかの実施形態では、グラフィカルユーザインタフェースは、選択されたズームレベルに応じて（ディスプレイ上に表示するためなどに）ユーザに提供される視覚化表現、分析ツール、および／またはビューアパネルを調整し、例えば、第１のサブセットのコンテキスト的に関連するツールは、最低のズームレベルでユーザに提示され得（例えば、１０倍、２０倍、または４０倍の光学倍率と比較して光学倍率がない）、一方、より包括的な第２のサブセットのツールは、１０倍のより大きなズームレベルでユーザに提示され、第２のサブセットに含まれる追加のツールは再びコンテキスト的に１０倍のズームレベルに関連する。別の例として、選択は、ユーザによって選択された特定のタイプの組織（すなわち、組織の画像）、または特定のバイオマーカの存在について染色された組織サンプルの画像であり得る。

例えば、選択されたズームレベル、選択された組織タイプ、特定の染色が適用された選択されたスライド、特定のバイオマーカの存在について染色された選択されたスライド、組織マイクロアレイとは対照的なスライド画像全体の選択など、事前に確立された条件にコンテキスト的に関連する視覚化表現、分析ツール、ビューアパネルなどのみを提示することによって、ユーザは、ソフトウェアとより効率的に対話できることがあると信じられている。別の言い方をすれば、ユーザは特定のズームレベルに関係のない多数のツールおよび／またはビューアパネルの可用性に圧倒されないため、オペレータはグラフィカルユーザインタフェースとより効率的に対話できることがあり、最終的には提示された組織サンプルの画像のより迅速なレビューおよび分析をもたらす。

いくつかの実施形態では、本開示のシステムは、対象（例えば、ヒト患者）から得られた画像データの解釈および報告を容易にするように構成されている。いくつかの実施形態では、画像データは、スキャン装置（Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ、Ｉｎｃ．、Ｔｕｃｓｏｎ、ＡＺから入手可能なＶＥＮＴＡＮＡ ＤＰ ２００スキャナなど）から取得され、画像データは、後で視覚化および分析するため、ネットワークデータベースなどのデータベースに格納され得る。例えば、画像データは、スキャン装置を使用して取得され得、走査された画像データは、記憶サブシステム１０４またはネットワーク化されたサーバ上に配置されたファイルに格納され、それによって、ファイルは、視覚化および分析のために後で取得され得る（図１を参照）。いくつかの実施形態では、画像視覚化および分析アプリケーションなどのソフトウェアは、システム上で直接実行され、画像データは、ソフトウェアと対話するユーザによって、解釈および報告のためにネットワーク化されたサーバから取得される（図２Ａを参照）。他の実施形態では、画像視覚化および分析アプリケーションなどのソフトウェアは、リモートシステム上で実行され、クライアントインタフェースまたはクライアントポータルがシステムにアクセスするために使用され、それによって、画像データは、視覚化および分析のために記憶サブシステムから取得され得る（図２Ｂを参照）。

本明細書で提供されるシステムおよび方法は、１つまたは複数のバイオマーカの存在について染色された組織の任意のタイプの画像の視覚化および分析に適用することができる。例えば、生体サンプルは、１つまたは複数の染色の適用によって染色されることができ、結果として得られる画像または画像データは、１つまたは複数の染色のそれぞれに対応する信号を含む。いくつかの実施形態では、入力画像は、単一の染色のみを有する単純な画像である（例えば、３，３’－ジアミノベンジジン（ＤＡＢ）によって染色された）。いくつかの実施形態では、生体サンプルは、２つ以上の染色についての多重アッセイで染色されることができる（したがって、多重画像を提供する）。いくつかの実施形態では、生体サンプルは、少なくとも２つのバイオマーカについて染色される。いくつかの実施形態では、生体サンプルは、少なくとも２つのバイオマーカの存在について染色され、また、一次染色（例えば、ヘマトキシリン）によって染色される。いくつかの実施形態では、生体サンプルは、少なくとも１つのタンパク質バイオマーカおよび少なくとも２つの核酸バイオマーカ（例えば、ＤＮＡ、ＲＮＡ、マイクロＲＮＡなど）の存在について染色される。

いくつかの実施形態では、生体サンプルは、１つまたは複数のタンパク質バイオマーカ
の存在について免疫組織化学アッセイにおいて染色される。例えば、生体サンプルは、ヒト上皮成長因子受容体２タンパク質（ＨＥＲ２タンパク質）の存在について染色されることができる。現在米国では、ＨＥＲ２評価のために以下の２つの食品医薬品局（ＦＤＡ）承認の方法：ＨｅｒｃｅｐｔＴｅｓｔ（商標）（デンマーク、グロストルプのＤＡＫＯ）およびＨＥＲ２／ｎｅｕ（４Ｂ５）ウサギモノクローナル一次抗体（アリゾナ州トゥーソンのＶｅｎｔａｎａ）が存在する。

いくつかの実施形態では、生体サンプルは、エストロゲン受容体（ＥＲ）、プロゲステロン受容体（ＰＲ）、またはＫｉ－６７の存在について染色される。さらに他の実施形態では、生体サンプルは、ＥＧＦＲまたはＨＥＲ３の存在について染色される。他のタンパク質バイオマーカの例は、Ｚａｍａｙら、「Ｃｕｒｒｅｎｔ ａｎｄ Ｐｒｏｓｐｅｃｔｉｖｅ Ｂｉｏｍａｒｋｅｒｓ ｏｆ Ｌｏｎｇ Ｃａｎｃｅｒ」、Ｃａｎｃｅｒｓ（Ｂａｓｅｌ）、２０１８年１１月；９（１１）によって記載され、その開示は、参照によりその全体が本明細書に組み込まれる。Ｚａｍａｙによって記載されたタンパク質バイオマーカの例は、ＣＥＡＣＡＭ、ＣＹＦＲＡ２１－１、ＰＫＬＫ、ＶＥＧＦ、ＢＲＡＦ、およびＳＣＣを含む。

いくつかの実施形態では、生体サンプルは、ｍＲＮＡを含む１つまたは複数の核酸の存在について、原位置ハイブリッド形成（ＩＳＨ）アッセイで染色される。米国特許第７，０８７，３７９号明細書（その開示は、参照によりその全体が本明細書に組み込まれる）は、単一の遺伝子コピーを表す個々のスポット（またはドット）が観察および検出されることができるように、ＩＳＨプローブによってサンプルを染色する方法を記載している。いくつかの実施形態では、いくつかの標的遺伝子は、細胞または組織サンプルを、複数の異なる核酸タグで標識された複数の核酸プローブに曝露することによって同時に分析される。

図１は、処理サブシステム１０２に通信可能に結合されたスキャン装置１１０を含むシステム１００（コンピュータまたはコンピューティング装置）を示す。スキャン装置１１０は、直接（例えば、１つまたは複数の通信ケーブルを介して）または１つまたは複数の有線および／または無線ネットワーク１３０を介して、処理サブシステム１０２に結合することができる。いくつかの実施形態では、処理サブシステム１０２は、スキャン装置１１０に含まれるか、またはそれと統合され得る。いくつかの実施形態では、システム１００は、特定のユーザ構成可能パラメータを使用して特定の操作を実行し、取得された結果の画像データを処理サブシステム１０２または記憶サブシステム（例えば、ローカル記憶サブシステムまたはネットワーク記憶装置）に送信するようにスキャン装置１１０に命令するソフトウェアを含み得る。いくつかの実施形態では、処理サブシステム１０２またはスキャン装置１１０のいずれかをネットワーク１３０に結合することができる。いくつかの実施形態では、記憶装置は、画像データ、対象情報、および／または他の組織データを記憶または取得するためにネットワーク１３０に結合される。処理サブシステム１０２は、ユーザまたはオペレータ（例えば、技術者、組織学者または病理医）からコマンドを受信するためのディスプレイ１０８および１つまたは複数の入力装置（図示せず）を含むことができる。

いくつかの実施形態では、ユーザインタフェースは、処理サブシステム１０２によってレンダリングされ、ディスプレイ１０８に提供されて、（ｉ）画像データおよび／または対象データの分析、解釈、および／または報告を容易にし、（ｉｉ）スキャン装置からデータを取得し、（ｉｉｉ）画像データ、対象情報、またはネットワークを介して利用可能なデータベースなどの他の臨床情報を取得する。いくつかの実施形態では、ネットワーク１３０は、クライアントインタフェースまたはクライアントポータル（図示せず）を介するなどして、リモートで処理サブシステム１０２および／またはスキャン装置１１０へのアクセスを可能にする。このようにして、リモートユーザは、画像視覚化および分析ソフトウェアが処理サブシステム１０２上でリモートで実行され得るように、処理サブシステム１０２にアクセスすることができる。いくつかの実施形態では、クライアントインタフェースまたはクライアントポータルはまた、画像データの分析の後に、格納されたレポートの取得を可能にし得る。

図２Ａは、本開示の一実施形態によるシステム１００のブロック図である。システム１００は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ハンドヘルド装置（例えば、スマートフォン、メディアプレーヤ）などを含む、任意のタイプのユーザ操作可能なコンピューティング装置を使用して実装されることができる。システム１００は、以下でより詳細に論じられるように、処理サブシステム１０２、記憶サブシステム１０４、ユーザ入力装置１０６、ディスプレイ１０８、およびバス１１４を介して通信するネットワークインタフェース１１２などのいくつかの相互接続されたコンポーネントを含むことができる。いくつかの実施形態では、図２Ａに示されるシステム１００は、リモートでアクセスされてもよく、例えば、１人または複数のリモートユーザは、記憶サブシステム１０４内に格納された画像データが取得、解釈、分析、および／または報告され得るように、ネットワークを介してなどシステム１００にアクセスし得る。

処理サブシステム１０２は、１つまたは複数のコアを有することができる単一のプロセッサ、またはそれぞれが１つまたは複数のコアを有する複数のプロセッサを含むことができる。いくつかの実施形態では、処理サブシステム１０２は、１つまたは複数の汎用プロセッサ（例えば、ＣＰＵ）、グラフィックプロセッサ（ＧＰＵ）などの専用プロセッサ、デジタル信号プロセッサ、またはこれらおよび他のタイプのプロセッサの任意の組み合わせを含むことができる。いくつかの実施形態では、処理サブシステム内のいくつかまたはすべてのプロセッサは、特定用途向け集積回路（ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのカスタマイズされた回路を使用して実装されることができる。いくつかの実施形態では、そのような集積回路は、回路自体に格納されている命令を実行する。いくつかの実施形態では、処理サブシステム１０２は、記憶サブシステム１０４に格納された命令を取得および実行することができ、命令は、ユーザがクライアントポータル１１６を介するなどしてシステムにローカルまたはリモートでアクセスするかどうかに関係なく、処理サブシステム１０２によって実行され得る。例として、処理サブシステム１０２ は、ローカルまたはネットワーク化されたストレージシステム内に格納された画像データを受信および処理し、画像データを表示するための命令を実行することができる（例えば、スライドスキャン画像全体、またはスライドスキャン画像全体の拡大部分を表示する）。

記憶サブシステム１０４は、システムメモリ、読み取り専用メモリ（ＲＯＭ）、および永続的な記憶装置などの様々なメモリユニットを含むことができる。ＲＯＭは、システム１００の処理サブシステム１０２および他のモジュールを処理することによって必要とされる静的データおよび命令を格納することができる。永続記憶装置は、読み取りおよび書き込みメモリ装置にすることができる。この永久記憶装置は、システム１００の電源が切られているときでさえ、命令およびデータを記憶する不揮発性メモリユニットであり得る。いくつかの実施形態では、大容量記憶装置（磁気または光ディスクまたはフラッシュメモリなど）を永久記憶装置として使用することができる。他の実施形態は、永久記憶装置としてリムーバブル記憶装置（例えば、フラッシュドライブ）を使用することができる。システムメモリは、読み取りおよび書き込みメモリ装置、またはダイナミックランダムアクセスメモリなどの揮発性の読み取りおよび書き込みメモリにすることができる。システムメモリには、プロセッサが実行時に必要とする命令とデータの一部またはすべてを格納できる。

記憶サブシステム１０４は、様々なタイプの半導体メモリチップ（ＤＲＡＭ、ＳＲＡＭ、ＳＤＲＡＭ、フラッシュメモリ、プログラム可能な読み取り専用メモリ）などを含む、非一時的なコンピュータ可読記憶媒体の任意の組み合わせを含むことができる。磁気ディスクおよび／または光ディスクも使用できる。いくつかの実施形態では、記憶サブシステム１０４は、読み取り可能および／または書き込み可能であり得るリムーバブル記憶メディアを含むことができる。このようなメディアの例には、コンパクトディスク（ＣＤ）、読み取り専用デジタル多用途ディスク（ＤＶＤ－ＲＯＭ、２層ＤＶＤ－ＲＯＭなど）、読み取り専用および記録可能なＢｌｕ－ｒａｙ（登録商標）ディスク、超高密度光ディスク、フラッシュメモリカード（ＳＤカード、ミニＳＤカード、マイクロＳＤカードなど）などが含まれる。いくつかの実施形態では、画像データおよび／または対象データは、１つまたは複数のリモート位置、例えば、クラウドストレージに格納され得、システム１００の他の構成要素と同期され得る。本明細書で「メモリ」または「メモリ」という用語が使用される場合、それらは、複数のメモリなどの１つまたは複数のメモリを指す場合がある。

いくつかの実施形態では、記憶サブシステム１０４は、画像視覚化および分析アプリケーション１２０などの、処理サブシステム１０２によって実行される１つまたは複数のソフトウェアプログラムを記憶することができる。「ソフトウェア」は、一般に、処理サブシステム１０２によって実行されると、システム１００に様々な操作を実行させ、したがってソフトウェアプログラムの操作を実行および実行する１つまたは複数の特定のマシン実装を定義する一連の命令を指す。したがって、「ソフトウェア」はまた、ファームウェアまたは組み込みアプリケーション、あるいは処理サブシステム１０２によって読み取り可能および実行可能な任意の他のタイプの命令を含み得る。ソフトウェアは、単一のプログラムとして、または必要に応じて相互作用する個別のプログラムまたはプログラムモジュールのコレクションとして実装され得る。いくつかの実施形態では、プログラムおよび／またはデータは、不揮発性記憶に格納され、プログラム実行中に全体的または部分的に揮発性作業メモリにコピーされ得る。記憶サブシステム１０４から、処理サブシステム１０２は、以下に説明する操作を含む様々な操作を実行するために、実行するプログラム命令および処理するデータを取得することができる。

いくつかの実施形態では、ソフトウェアは、システム１００上でローカルに実行され得るが、クライアントポータル１１６を介するなど、リモートでアクセスおよび／または制御され得る。例えば、画像視覚化および分析アプリケーション１２０のインスタンスは、システム１００上でローカルに実行されることがあるが、リモートオペレータは、ネットワーク接続されたクライアントポータル１１６によって画像視覚化および分析アプリケーション１２０にアクセスすることがあり、その結果、画像データ（例えば、記憶サブシステム１０４から取得され、分析のために遠隔ユーザに提示される生体サンプルのスキャン画像）のレビュー、解釈、および分析を容易にするために、リモートユーザは、画像視覚化および分析アプリケーション１２０のインスタンスを制御し得る。

ユーザインタフェースは、ディスプレイ１０８、および／または１つまたは複数の他のユーザ出力装置（図示せず）に提供することができる。ユーザインタフェースは、例えば、視覚化および他の表現を含むことがあり、表現は、生体サンプル（例えば、１つまたは複数のバイオマーカの存在について染色された、またはヘマトキシリンおよびエオシンで染色されたサンプル）のスキャン、メニューバー、ドロップダウンメニュー、および／またはパネルから得られる画像を含む。ディスプレイに提供されるユーザインタフェースは、例えば、ユーザが選択したズームまたは倍率レベルを含むがこれらに限定されないユーザ選択に基づいて、コンテキスト上関連するツールおよび／またはビューアパネルのみがユーザに提供されるように適合され得る。ユーザ入力装置１０６は、ユーザがシステム１００に信号を提供することができる任意の装置を含むことができ、システム１００は、信号を特定のユーザ要求または情報を示すものとして解釈することができる。いくつかの実施形態では、ユーザ入力装置１０６は、キーボードタッチパッド、タッチスクリーン（例えば、ディスプレイ１０８のディスプレイ表面上のタッチセンシティブオーバーレイ）、マウスまたは他のポインティング装置、スクロールホイール、クリックホイール、ダイヤル、ボタン、スイッチ、キーパッド、マイクなどのいずれかまたはすべてを含むことができる。

ディスプレイ１０８は、システム１００によって生成された視覚化表現（例えば、画像データ、ユーザに情報を伝えるためのビューアパネル、またはユーザ選択可能な構成オプションを提供するコンテキストメニューなど）を表示することができ、様々な画像生成技術、例えば、カソード，光線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）を含む発光ダイオード（ＬＥＤ）、投影システムなど、およびサポートする電子機器（デジタルからアナログ、またはアナログ－デジタル変換器、信号プロセッサなど）を含むことができる。いくつかの実施形態は、入力装置および出力装置の両方として機能するタッチスクリーンなどの装置を含むことができる。いくつかの実施形態では、ディスプレイ１０８に加えて、またはその代わりに、他のユーザ出力装置を提供することができる。

いくつかの実施形態では、ユーザインタフェースは、ディスプレイ１０８の特定の領域内の可視画像要素が、ユーザ入力装置１０６を使用してユーザが選択するアクティブ要素、対話型要素、または制御要素として定義されるグラフィカルユーザインタフェースを提供することができる。例えば、ユーザは、ユーザ入力装置１０６を操作して、画面上のカーソルまたはポインタを制御要素上に配置し、ボタンを「クリック」して選択を示すことができ、選択は、指定されたアクションまたはルーチンを実行するための信号を送信する。例えば、ユーザは、ユーザ入力装置１０６を操作して、ユーザインタフェース内のアイコン（例えば、ビューアパネル、メニューバー、またはドロップダウンメニュー内のアイコン）を選択することができ、これは動作の開始またはツールの選択、例えば組織サンプルの画像の１つまたは複数の表示された表現の注釈の開始をもたらす。別の例として、受信した入力に基づいて関心領域をユーザが選択し得るように、ユーザはメニューバーアイコンをクリックしてツールの選択を開始し得る。いくつかの実施形態では、ユーザはユーザ入力装置１０６を操作して、ドロップダウンメニューと対話して、対話型パネルを含む１つまたは複数のパネルを選択することができる。いくつかの実施形態では、これらの選択は、事前に確立された条件が満たされているかどうか、例えば、特定のズームレベルがユーザによって選択されているかどうか、特定の組織タイプが選択されているかどうか、特定のバイオマーカを有する特定のスライドが選択されているかどうかに基づいて、ツールおよび／またはビューアパネルが有効にされている場合にのみ、ユーザが実行し得る。

あるいは、ユーザは、タッチスクリーン装置上の制御要素に（例えば、指またはスタイラスで）触れることができる。いくつかの実施形態では、ユーザは、制御要素に関連する１つまたは複数の単語を話すことができる（単語は、例えば、要素上のラベルまたは要素に関連する機能であり得る）。いくつかの実施形態では、タッチセンシティブ装置上のユーザジェスチャは、入力コマンドとして認識および解釈することができる。これらのジェスチャは、ディスプレイ１０８上の特定の領域に関連付けることができるが、関連付ける必要はない。他のユーザインタフェースも実装できる。

ネットワークインタフェース１１２は、システム１００にデータ通信機能を提供することができる。いくつかの実施形態では、ネットワークインタフェース１１２は、無線音声および／またはデータネットワークにアクセスするための無線周波数（ＲＦ）トランシーバコンポーネントを含むことができる（例えば、携帯電話技術、３Ｇ、４ＧまたはＥＤＧＥなどの高度なデータネットワーク技術、５Ｇ、ＷｉＦｉ（ＩＥＥＥ ８０２．１１ファ
ミリ標準）、または他のモバイル通信技術、またはそれらの任意の組み合わせ、ＧＰＳ受信機コンポーネント、および／または他のコンポーネントを使用する）。いくつかの実施形態では、ネットワークインタフェース１１２は、ワイヤレスインタフェースに加えて、またはその代わりに、有線ネットワーク接続（例えば、イーサネット）を提供することができる。ネットワークインタフェース１１２は、ハードウェア（例えば、アンテナ、変調器／復調器、エンコーダ／デコーダ、および他のアナログおよび／またはデジタル信号処理回路）およびソフトウェアコンポーネントの組み合わせを使用して実装されることができる。ネットワークインタフェース１１２は、クライアントポータル１１６を介するなど、システム１００へのリモートアクセスを容易にすることができる（例えば、リモートユーザは、リモートコンピュータを介してシステム１００にアクセスすることができ、リモートコンピュータは、ネットワークインタフェース１１２を介してシステム１００と相互作用する）。いくつかの実施形態では、クライアントポータル１１６は、リモートコンピュータまたは他のコンピューティング装置上のリモートユーザによって実行されるスタンドアロンアプリケーションである。いくつかの実施形態では、クライアントポータル１１６は、ネットワークを介してシステム１００にアクセスするリモートコンピュータまたは他のコンピューティング装置上で実行されるウェブブラウザである。

バス１１４は、システム１００の多数の構成要素を通信可能に接続する様々なシステム、周辺機器、およびチップセットバスを含むことができる。例えば、バス１１４は、処理サブシステム１０２を記憶サブシステム１０４と通信可能に結合することができる。バス１１４はまた、入力装置１０６およびディスプレイ１０８に接続することができる。バス１１４はまた、ネットワークインタフェース１１２を介して処理サブシステム１０２をネットワークに結合することができる。このようにして、システム１００は、複数のコンピュータシステムのネットワーク（例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、イントラネット、またはインターネットなどのネットワークのネットワーク）に接続することができる。当業者は、スキャン装置、組織処理システムなどの追加の構成要素をバス１１４に接続できることを理解するであろう。

いくつかの実施形態は、コンピュータプログラム命令をコンピュータ可読記憶媒体に記憶するマイクロプロセッサ、記憶装置およびメモリなどの電子部品を含む。本明細書で説明される機能の多くは、コンピュータ可読記憶媒体上に符号化されたプログラム命令のセットとして指定されるプロセスとして実装され得る。これらのプログラム命令が１つまたは複数の処理ユニットによって実行されるとき、それらは、処理ユニットに、プログラム命令に示される様々な動作を実行させる。プログラム命令またはコンピュータコードの例には、コンパイラによって生成されるようなマシンコード、およびコンピュータ、電子コンポーネント、またはインタプリタを使用するマイクロプロセッサによって実行される高レベルのコードを含むファイルが含まれる。

適切なプログラミングを通じて、処理サブシステム１０２は、システム１００に様々な機能を提供することができる。例えば、処理サブシステム１０２は、生体サンプルのスキャンされた画像のレビューおよび解釈を容易にするユーザインタフェースを有する画像視覚化および分析アプリケーション１２０を実行することができる。画像視覚化および分析アプリケーション１２０は、ユーザ構成可能オプションまたはユーザ選択可能パネルを選択する機能、またはナビゲーションを制御して画像に注釈を付ける機能などの様々な機能を提供することができる。いくつかの実施形態では、分析アプリケーション１２０は、事前に確立された条件が満たされているかどうか、例えば、所定の閾値を満たすか超えるズームレベルをユーザが選択するかどうか、または特定のバイオマーカの存在を染色する特定のタイプの画像をレビュー用に選択するかどうかに基づいて、関連するユーザ項目（情報項目、ユーザ選択可能項目、インタラクティブ項目）のみがユーザに提示されるようなロジックを含む。いくつかの実施形態において、追加の構成要素は、米国特許出願公開第２０１２／０３２００９４号に特定された構成要素を含み、本開示のシステムおよびソフトウェアに組み込まれ得、その開示は、参照によりその全体が本明細書に組み込まれる。

いくつかの実施形態では、画像視覚化および分析アプリケーション１２０は、処理サブシステム１０２内の１つまたは複数のプロセッサによって実行されると、インタフェース動作の態様を実装する様々な相互運用モジュール（例えば、コードのブロック）を組み込む。例えば、画像視覚化および分析アプリケーション１２０は、コンテンツフェッチャ１２２、コンテンツレンダラ１２４、ＧＵＩレンダラ１２６、およびＵＩインタプリタ１２８を含むことができる。

いくつかの実施形態では、コンテンツフェッチャ１２２は、ローカルデータベース（例えば、記憶サブシステム１０４）またはネットワークインタフェース１１２と相互作用する（例えば、アクセスする）ための命令を含んで、画像データおよび／または対象データなどのコンテンツ項目をフェッチまたはさもなければ取得することができる。いくつかの実施形態では、コンテンツフェッチャ１２２は、複数のスキャン画像にアクセスするように構成され、スキャン画像のそれぞれは、対象サンプルに由来し、スキャン画像のそれぞれは、１つまたは複数のバイオマーカの存在について、またはヘマトキシリンおよびエオシンについて染色され得る。いくつかの実施形態では、コンテンツフェッチャ１２２は、対象情報、画像メタデータ、ケース履歴情報などを取得するように構成される。いくつかの実施形態では、コンテンツフェッチャ１２２は、画像データが、１つまたは複数のバイオマーカの存在について染色された組織サンプルを有する１つまたは複数のスライドから取得され得るように、スキャン装置１１０と相互作用するための命令を含むことができる。

いくつかの実施形態では、コンテンツレンダラ１２４は、１つまたは複数のソースからフェッチされたコンテンツ項目を解釈し、次に、レンダリングされたコンテンツを、ＧＵＩレンダラ１２６によって生成された画像プレースホルダまたは他の表現にまたは配信するための命令を含むことができる。例えば、コンテンツレンダラ１２４は、コンテンツフェッチャ１２２から取得された画像データを１つまたは複数のレンダリングされた表現に移入することができる（図４Ａの表現４０１を参照）。いくつかの実施形態では、コンテンツレンダラ１２４は、対象情報を１つまたは複数のビューアパネルなどの他のＧＵＩ要素に配信するか、または取得された対象情報をＧＵＩ表現の一部に配置することができる。いくつかの実施形態では、コンテンツレンダラ１２４は、組織の種類、適用された染色、スキャンパラメータ、ｚスタックレイヤ、フォーカスレイヤなどのメタデータを他のＧＵＩ要素に配信し得る。いくつかの実施形態では、コンテンツレンダラ１２４はまた、取得された画像データを処理することができ、例えば、取得された画像に任意の前処理を適用することができる。

いくつかの実施形態では、ＧＵＩレンダラ１２６は、コンテンツレンダラ １２４または他のシステムモジュールによってレンダリングされるコンテンツ項目とともにユーザに提示されるグラフィカルユーザインタフェース（ＧＵＩ）要素を作成する。ＧＵＩレンダラ１２６は、メニューバー項目、ビューアパネル、構成パネルなどの、ＧＵＩ要素の位置および外観を定義するコードを含むことができ、これらのそれぞれは、対話型要素であり得るか、対話型要素を含み得る。いくつかの実施形態では、ＧＵＩレンダラ１２６は、ＵＩインタプリタ１２８から受信した信号とともに、事前に確立された条件が満たされている、例えばズーム閾値レベルまたは倍率レベルが選択されているかどうかに応じて、特定のメニューバー項目またはビューアパネルを有効にするか、またはユーザが利用できるようにするかを決定することができる。例えば、メニューバー項目は、ユーザによってアクティブ化され得、それにより、ユーザは、ドロップダウンメニューから構成オプションまたはパネルビューを選択することを可能にされ得る（例えば、図５Ａおよび５Ｂを参照の
こと）。いくつかの実施形態では、ＧＵＩレンダラ１２６は、コンテンツフェッチャ１２２またはコンテンツレンダラ１２４から提供される取得された画像データを、ＧＵＩ要素のいくつかまたはすべてに組み込むことができる（例えば、スキャンされた生体サンプルの実際の画像は、ユーザインタフェース内の表現内に表示され得る）。

例として、ＧＵＩレンダラ１２６は、コンテンツフェッチャ１２２によって取得された情報で取得された画像データとともに移入され得る一連の表現４０１を生成することができる。表現の例は、図４Ａ、図４Ｂおよび図４Ｃに示されている。これらの表現は、インタラクティブ表現の場合がある。例えば、ユーザが任意の特定の表現（例えば、図４Ａの表現４０１）（例えば、ＵＩインタプリタ１２８によって解釈される）をクリックした場合、ＧＵＩレンダラ１２６は、スライドナビゲータビューアパネルなどのビューアパネルの対応する表示を更新し得る。

同様に、ＧＵＩレンダラ１２６は、一連のビューアパネルを生成することができる。いくつかの実施形態では、生成されたビューアパネルは、ユーザが特定の構成可能なオプションを選択できるインタラクティブパネルである。例えば、ズームパネルは、ユーザが、例えば、１ｘ、２ｘ、１０ｘ、４０ｘなどの特定の予め設定されたズームレベルを選択することができるか、またはユーザが特定のズームレベル値を入力できるスライダーバーを含み得る。いくつかの実施形態では、ビューアパネルは、関連情報をユーザに伝達するように構成され、例えば、ケースログパネルは、画像データの分析中にユーザが行ったユーザ設定可能選択の履歴を提供することがある。さらに、ＧＵＩレンダラ１２６は、非表示またはユーザが対話するために利用できないかまたは有効にされていない項目を示す視覚化表現をレンダリングすることがある。

ＵＩインタプリタ１２８は、例えば、ユーザ入力装置１０６を介してユーザ入力を受信することができ、入力を解釈して、分析アプリケーション１２０によって実行されるアクションを決定することができる。例えば、ＵＩインタプリタ２８は、ユーザが選択したＧＵＩ要素（例えば、アイコン、またはメニュー、コンテキストメニュー、ドロップダウンリスト、ボタン、表現などの選択可能な項目）を決定し、対応するアクションを開始する（例えば、注釈の追加、追加のコンテンツ情報の表示、選択されたズームレベルへのズームはエクスポート用のレポートを生成する）。例えば、ＵＩインタプリタ１２８は、ユーザが注釈ツールを選択したかどうかを検出し（図４Ａおよび４Ｂの注釈ツール４０５を参照）、追加のユーザ選択項目を表示するためにＧＵＩレンダラ１２６に信号を送信することができる。いくつかの実施形態では、注釈ツールは、手動関心領域（ＲＯＩ）生成ツール、自動ＲＯＩ生成ツール、形状（例えば、矢印）の描画を可能にするツール、測定ツール、またはテキスト入力生成ツールを含む。これらの各ツールは、ユーザ対話のコンテキストに基づいて、個別に無効または非表示にし得る。いくつかの実施形態では、選択され得るメニュー項目は、特定の画像処理アルゴリズムを実行するものを含み、例えば、膜検出アルゴリズム、細胞検出およびカウントアルゴリズム、核検出アルゴリズム、スコアリングアルゴリズム、ヒートマップ生成アルゴリズム、組織マスキングアルゴリズム、組織タイプ識別アルゴリズムなど（例えば、ＰＣＴ公開第ＷＯ２０１６／１２０４４２およびＷＯ２０１５／１１３８９５、ならびに米国特許出願公開第２０１７／０１５４４２０、２０１７／０３７２１１７、２０１７／０１０３５２１、２０１７／０１４０２４６、２０１５／０３４７７０２、２０１７／００８２６２７、２０１４／０３７７７５３、２０１７／０３３７６９５、２０１７／０３２３１４８、および２０１７／０２４３０５１を参照し、これらの開示は、参照によりその全体が本明細書に組み込まれる）である。ＵＩインタプリタ１２８から受信した入力は、事前に確立された条件が満たされているかどうかを決定するために使用され得る。

システム１００は例示的なものであり、変形および修正が可能であることが理解されよ
う。さらに、システム１００は特定のブロックを参照して説明されているが、これらのブロックは説明の便宜上定義されており、構成部品の特定の物理的配置を意味することを意図するものではないことを理解されたい。さらに、ブロックは物理的に異なるコンポーネントに対応する必要はない。ブロックは、例えば、プロセッサをプログラミングしたり、適切な制御回路を提供したりするなど、様々な操作を実行するように構成でき、様々なブロックは、初期構成がどのようにアクセスされるかに応じて、再構成され得るか、または再構成されないことがある。本開示の実施形態は、回路とソフトウェアの任意の組み合わせを使用して実装される電子装置を含む様々な装置で実現されることができる。画像視覚化および分析アプリケーション１２０も例示的であり、特定の実装は、本明細書で説明されるよりも多いまたは少ないモジュールを含み得る。さらに、特定のモジュールは特定の機能を実行するものとして説明され得るが、そのような説明は、モジュールによって実行される特定の機能またはそのようなモジュール内に含まれる特定の命令セットを意味することを意図しない。

図２Ｂは、ネットワーク１３０およびシステム１００（図１および図２に示されるシステムなど）と通信するクライアントインタフェース１４０を示す。クライアントインタフェース１４０は、スタンドアロンアプリケーション（例えば、スタンドアロン画像視覚化および分析ソフトウェア）、または画像視覚化および分析アプリケーション１２０へのリモートアクセスを可能にするウェブブラウザまたは他のインタフェースソフトウェアであり得る。例えば、クライアントインタフェース１４０は、リモートオペレータがシステム１００（図１および２に示されるシステムなど）にログインし、格納された画像データ（記憶サブシステム１０４または他のネットワーク接続記憶装置に格納されたデータなど）、または、処理のためにシステム１００にアップロードされた画像データにアクセスすることを可能にする。いくつかの実施形態では、クライアントインタフェース１４０は、本明細書で説明されるソフトウェアモジュールのいずれかを含み得る。このようにして、遠隔ユーザは、画像データを分析および／または解釈することができるように、システムの要素（例えば、構成可能な要素）と遠隔で対話することができる（例えば、組織学者または病理医は、メニューバーツールおよび／またはビューアパネルなどのユーザ構成可能パラメータを選択し得る）。

いくつかの実施形態では、グラフィカルユーザインタフェースは、選択されたズームレベルに応じて特定の特徴のみを表示するように適合されている。例えば、選択されたズームレベルによっては、メニューバー内の特定のツールが有効にならない場合がある（図４Ａを参照）。同様に、アクセスされた画像の視覚化表現の近くに表示される特定のパネルが利用できないことがある。一般に、システム１００は、特定のズームレベルが与えられた場合、画像分析中にコンテキスト的に関連しない特定のツールおよびパネルへのアクセスを「制限」するように構成され得る。例えば、特定のズームレベルでは、画像内の特定のフィーチャ間に十分な解像度が存在しない場合、画像の特定の部分に注釈を付けることができないことがある。そのため、選択したズームレベルでツールが関連性がないとソフトウェアが判断した場合、そのツールは有効にならず、前述のように、これにより、視覚化表現内に表示されるデータの迅速なレビューが容易になり、また向上したユーザ体験および潜在的な混乱のない体験を提供する。

図３は、１つまたは複数のバイオマーカの存在について染色された生体サンプルに由来する関連する画像データを視覚化する方法を示すフローチャートを示している。ステップ３００で、生体サンプルの少なくとも１つの画像がアクセスされる。いくつかの実施形態では、生体サンプルは、１つまたは複数のバイオマーカの存在について染色される。いくつかの実施形態では、同じ生体サンプルからの複数の画像など、複数の画像が取得されるが、各画像は、特定のバイオマーカの存在または不在を示す染色されたものを含む。

続いて、第１の視覚化表現は、グラフィカルユーザインタフェース内でレンダリングされ（ステップ３１０）、第１の視覚化表現は、少なくとも第１のズームレベルでの少なくとも１つの画像のレンダリングを含む。いくつかの実施形態では、第１の視覚化表現４００は、複数のアクセスされた画像のレンダリングを含む（例えば、図４Ａを参照）。いくつかの実施形態では、第１の視覚化表現は、一連の表現４０１（例えば、画像プレースホルダ）を含み、各表現４０１は、アクセスされた画像４１０Ａまたは４１０Ｂの１つを含み得る。いくつかの実施形態では、各表現４０１は同じサイズおよび／または形状である。いくつかの実施形態では、各表現４０１は、アクセスされた画像４１０の１つを含む第１の部分４０２と、識別用のしるしを含む第２の部分４０３とを含む。いくつかの実施形態では、識別用のしるしは、画像に現れる染色または染色されたバイオマーカの識別を含む。例として、表現４０１の第２の部分４０３は、第１の部分４０２内の特定の画像４１０Ａがヘマトキシリンおよびエオシンで染色されたことを示している。

いくつかの実施形態では、メニューバー４０４内の第１の一連のツール（例えば、注釈ツール４０５）は、第１の視覚化表現４００（ステップ３２０）と同時に表示される。上記のように、そして図４Ａに示すように、いくつかのツールは選択に利用できず、すなわち、それらは「灰色で表示」され（例えば、セットアップ較正ツール４０８を参照）、他のツールは、選択に利用でき、白いアイコンとして表示される（例えば、回転ツール４０７を参照）。さらなる例として、５つの注釈ツール４０５のそれぞれが灰色で表示され、したがって無効にされている。いくつかの実施形態では、特定のツールは、本明細書でさらに説明されるように、特定のズームレベルでユーザに完全に非表示にされ得る。そのため、第１の一連のツール（つまり、選択できるツールや白いアイコンで表されるツール）は、ユーザが使用し得るすべてのツールのサブセットを表す。図４Ａの表現４０１に示される４つの画像のズームレベルが与えられ、図４Ａに示されるように、利用できないこれらのツール、すなわち「灰色で表示された」ツールは、１倍の所与のズームレベルでは関連しないと考えられる。別の言い方をすれば、有効になっていない、またはユーザの選択から非表示になっているツールは、選択したズームレベルでは無効であると判断される。例えば、組織学者または病理医が測定を実行したり、セルに矢印を描いたりする価値はないと考えられ、これは、特定のズームレベル（例えば１倍）では、十分な細胞特徴が得られないためであり、測定を正確に行うことができるように、または特定の目的の構造を指す矢印を正しく配置できるように十分な細胞特徴は解像できない。

いくつかの実施形態では、第１のセットのパネルはまた、第１の視覚化表現および第１の一連のツールと同時に表示され得る。例えば、ズームパネル４０６およびスライドナビゲータパネル４０９は、第１の視覚化表現および第１の一連のツールと同時に表示され得る。第１の一連のツールと同様に、所与のズームレベルでコンテキストに関連するパネルのみが表示される。例えば、図５Ａは、コンテキストメニューまたはドロップダウンメニューでユーザが選択できるパネルを示している。利用できない項目は選択できず、「灰色表示」される。同様に、選択可能なパネルは白で表示され、ユーザが選択できる。さらに、すでに選択されているパネルには、しるし、例えばチェックマークが付いていることがある。

第１の視覚化表現（例えば、図４Ａの３つの表現４０１）および第１の一連のツール（メニューバー４０４で「灰色表示」されていないもの）、および／または第１のセットのパネルの同時提示に続いて、次に、ユーザは、ズームレベルを変更するなど、視覚化表現と対話することがあり、例えば、第１の視覚化表現で提示されるアクセスされた画像の１つまたは複数のズームを増大させ、アクセスされた画像の少なくとも一部をユーザがより詳細に見ることを可能にし、それによって第２のズームレベル４３０で少なくとも第２の視覚化表現を提供する。「ズームを大きくする」または「画像にズームインする」とは、画像の一部が拡大され、それによって画像のその部分の視覚的解像度が上がることを意味する。例えば、アクセスされた画像４１０Ｂが１倍ズームレベルで図４Ａに提示されており、このズームレベルでは特定の組織構造、例えば、４２０Ａは解読が困難であることを理解されたい。しかしながら、画像４１０Ｂのズームレベルが図４Ｂに示されるように増加されるとき（例えば、ズームレベルを１倍から約１０倍に増加させる）、組織構造４２０Ｂの倍率および／または解像度が、例えば、個々の細胞が解像され得るレベルでより詳細に示される。

第２のズームレベル４３０での第２の視覚化表現（ステップ３３０）の表示と同時に、メニューバー４０４内の第２の一連のツールが表示される（ステップ３４０）。第１の一連のツールと同様に、第２の一連のツールも、ユーザが使用できるすべてのツールのサブセットを表している。例として、利用可能な第１の一連のツール（図４Ａを参照）と比較して、第２の一連のツールは、５つの注釈ツール４０５のそれぞれを含む（図４Ｂを参照）。

図４Ｂに示される特定の実施形態では、第２のセットのツールは、第１の一連のツールを含み、すなわち、第２のセットのツールは、第１の一連のツールで利用可能なすべてのツールを含む。いくつかの実施形態では、第２のセットのツールは、第１の一連のツールで提供されるツールのすべてを含むわけではない。いくつかの実施形態では、第２の一連のツールは、第１の一連のツールで提供されるものとは少なくとも１つの異なるツールを含む。

いくつかの実施形態では、第２のセットのパネルは、第２のズームレベル４３０での第２の視覚化表現および第２の一連のツールと同時に表示される。第２の一連のツールと同様に、所与のズームレベルでコンテキストに関連するパネルのみが表示される。図４Ｂに示される実施形態では、図４Ａの実施形態と比較して、スライドパネル４２５は、約１０倍のズームレベルで自動的に表示される。図５Ｂを参照し、利用できない項目は選択できず、「灰色表示」されている。同様に、選択可能なビューアパネルは白で表示され、ユーザが選択できる。さらに、すでに選択されているパネルには、しるし、例えばチェックマークが付いている。

図４Ｃは、図４Ａに示されるズームレベルと図４Ｂに示されるズームレベルとの間にあるズームレベル（例えば、中間ズームレベル）の選択を示す。４つの表現４０１が図４Ｃのズームレベルで図４Ａに１倍のズームレベルで示されていたが、３つの表現のみが視覚化されており、３つの表現のうちの１つだけが完全に視覚化されている。特に、同じツールが図４Ａのように図４Ｃで利用可能であるように見える。同様に、同じパネルが図４Ａのように図４Ｃに現れる。このように、図４Ｃは、画像視覚化および分析アプリケーション４２０がメニューバー４０４で他のツールを利用可能にするか、または、さらに言えば、他のビューアパネルを利用可能にするように、ユーザによってズーム閾値に達していないことを示す。これに関して、図４Ｃは、表示され、ユーザに利用可能にされた項目がコンテキスト的に依存し、ここでは、ユーザによって選択されたズームのレベルにコンテキスト的に依存することを示す。

いくつかの実施形態では、メニュー項目および／またはビューアパネルのそれぞれは、利用可能なそれぞれのメニュー項目および／またはビューアパネルを有効にする前に達成されなければならない事前にプログラムされたズーム閾値レベルを有する。例えば、図４Ａを参照すると、注釈ツール４０５は、ユーザが所定のズーム閾値レベル値を超えるズームレベル、例えば、５倍を選択した場合にのみ利用可能になり得る。いくつかの実施形態では、メニューバー４０４内の個々のツールはそれぞれ、異なる所定の閾値を有し得る。例えば、第１の注釈ツールは２倍の所定の閾値を有し得、第２の注釈ツールは６倍の所定の閾値を有し得、スライド較正ツールは１０倍の所定の閾値を有し得る。いくつかの実施
形態では、ズーム閾値は、観察されている組織タイプまたは染色に依存し得る。

いくつかの実施形態では、メニューバー項目またはビューアパネルを利用可能にするかどうかの閾値は、所定のズーム閾値、すなわち、１倍、２倍、４倍、８倍、１６倍、３２倍などの値に結び付ける必要はない。むしろ、閾値は、個々の細胞または個々の核がユーザによって解像され得るズームレベルが選択されるかどうかに結び付けられ得る。あるいは、閾値は、特定の数のセルが事前定義された領域（ピクセルｘピクセル）に存在するズームレベル、例えば、５００ピクセルｘ５００ピクセル領域に１００個のセル、が選択されているかどうかに関連付けることができる。いくつかの実施形態では、利用可能なディスプレイ解像度に応じて、異なる要素を視覚化し得る。例えば、閾値は、表示解像度が「ｍｘｎ」の場合は「ｐ」として事前定義され得るが、表示解像度が（ｍ＊ｑｘｎ＊ｑ）の場合は「ｐ＊ｑ」として事前定義されることがあり、ｑはディスプレイの解像度の違いを説明するためのスケーリング係数である。さらに他の実施形態では、特定のビューアパネルを表示するか非表示にするかは、利用可能なディスプレイ解像度に結び付けることがある。例えば、５つのビューアパネルは、ズームレベル閾値に達すると利用可能または非表示になることがあるが（つまり、コンテキスト的に関連して利用可能になる）、利用可能な画面の「物的財産」が、表示解像度が低いか制限されていることにより利用できない場合、システムは特定のパネルを非表示にし続けることがあり、システムは、表示解像度の制限を考慮して、使用可能なビューアパネルのどれが最も関連性があるかを判断し、それらのパネルを表示用に優先する。さらに、例として、限られたディスプレイ解像度に対応するために、必要に応じてビューアパネルを循環させることができる。

本明細書に記載されるように、いくつかの実施形態では、特定のズームレベルがユーザによって選択されるまで、メニュー項目全体を非表示にされ得る。例えば、メニューバーに項目Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、およびＨが含まれていたとする。さらに、図６Ａに示されるように、メニューバー項目Ａ、Ｂ、Ｅ、およびＨのみがグラフィカルユーザインタフェース内に示される１倍のズームレベルを想定する。本開示によれば、これらのメニューバー項目Ａ、Ｂ、Ｅ、およびＨは、１倍のズームレベルでユーザに関連し、有用な唯一のツールである。ユーザが画像の１つにズームインすると（図６Ｂを参照）、追加のメニューバー項目、例えば、メニューバー項目（つまりＣおよびＧ）が、選択したズームのレベル（３倍など）に関連している場合、メニューバー項目ＣおよびＧが表示されることがある。ユーザが画像の１つ（図６Ｃを参照）、ここでは ６０１Ｂにさらにズームインすると、さらに追加のメニューバー項目が選択されたズームのレベル（例えば８倍）に関連する場合、さらに追加のメニューバー項目、すなわちＤおよびＦが表示されてもよい。図６Ｃはさらに、第２のビューアパネル、すなわち「ビューアパネル２」がグラフィカルユーザインタフェースによって表示されるようになるが、これも特定のズームレベル（すなわち、少なくとも３倍より大きいズームレベル、例えば８倍）に達したときのみであることを示す。

いくつかの実施形態では、入力画像は視覚化システムによって受信され、視覚化はデフォルトのズームレベル、例えば、１倍のズームレベルで提供される。いくつかの実施形態では、システムは、ユーザ入力、例えば、更新されたズームレベルの選択、特定の画像の選択を受信する。いくつかの実施形態では、受信されたユーザ入力と閾値条件との間で比較が行われ、例えば、ズームレベルの受信ユーザ入力間で比較を行って、ズーム閾値レベルに到達したかどうかを判断するか、画像選択の受信されたユーザ入力間で比較を行って、画像内で識別されたバイオマーカを決定する。いくつかの実施形態では、ズーム閾値レベルが満たされる場合、追加の視覚化要素（例えば、ツール、パネル）がユーザに提示され得る。いくつかの実施形態では、第１の画像と比較して第２の画像で異なるバイオマーカが選択される場合、追加の視覚化要素がユーザに提示され得る。いくつかの実施形態では、少なくとも１つのＧＵＩ要素は、ユーザの選択に基づいて変更される。

追加の実施形態

いくつかの実施形態では、表示される各視覚化表現または要素は、ブラウザなどのインタフェースアプリケーション内に提供されるディスプレイの座標系内の位置を有する。例えば、画像分析ツールなどのツールのアイコンは、表示座標系内の位置を有する。例えば、ディスプレイの解像度が４，０００ ｘ ３０００で、各ピクセルが座標系の点と見なされる場合、注釈ツールのアイコンは、ピクセルの領域［１５０，２００］（左上隅）、［１６０，２００］（右上隅）、［１５０，２１０］（左下隅）、および［１６０，２１０］（右下隅）によって定義される位置を有し得る。いくつかの実施形態では、ビューアパネル、画像データ、および他の表現は、ディスプレイの座標系内の位置を有し得る。いくつかの実施形態では、第１のビューアパネルは、第１の位置領域を有し得、第２のビューア要素は、第２の位置領域を有し得る。いくつかの実施形態では、各ビューアパネルは、表示されている情報のタイプおよび利用可能な情報の量に応じて、可変の位置領域を有し得る。いくつかの実施形態では、ディスプレイの座標系内の様々な要素の位置は、固定されていてもよく、状況に応じて可変であってもよい。

本明細書に記載の主題および動作の実施形態は、デジタル電子回路、または本明細書に開示される構造およびそれらの構造的同等物を含むコンピュータソフトウェア、ファームウェア、またはハードウェア、またはそれらの１つまたは複数の組み合わせで実装することができる。本明細書に記載の主題の実施形態は、１つまたは複数のコンピュータプログラム、すなわち、データ処理装置による実行のために、またはデータ処理装置の動作を制御するためにコンピュータ記憶媒体上に符号化されたコンピュータプログラム命令の１つまたは複数のモジュールとして実装することができる。本明細書で説明されるモジュールのいずれも、プロセッサによって実行されるロジックを含み得る。本明細書で使用される「論理」は、プロセッサの動作に影響を与えるために適用され得る命令信号および／またはデータの形態を有する任意の情報を指す。ソフトウェアはロジックの一例である。

コンピュータ記憶媒体は、コンピュータ可読記憶装置、コンピュータ可読記憶基板、ランダムまたはシリアルアクセスメモリアレイまたは装置、あるいはそれらの１つまたは複数の組み合わせであり得るか、またはそれらに含まれ得る。さらに、コンピュータ記憶媒体は伝搬信号ではないが、コンピュータ記憶媒体は、人工的に生成された伝搬信号に符号化されたコンピュータプログラム命令のソースまたは宛先であり得る。コンピュータ記憶媒体はまた、１つまたは複数の別個の物理的構成要素または媒体（例えば、複数のＣＤ、ディスク、または他の記憶装置）であり得るか、またはそれらに含まれ得る。本明細書に記載されている動作は、１つまたは複数のコンピュータ可読記憶装置に記憶されているか、または他のソースから受信されたデータに対してデータ処理装置によって実行される動作として実施することができる。

「プログラムされたプロセッサ」という用語は、データを処理するためのあらゆる種類の装置、装置、およびマシンを包含し、例えば、プログラム可能なマイクロプロセッサ、コンピュータ、チップ上のシステム、または前述の複数のもの、またはそれらの組み合わせを含む。装置は、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）などの特別な目的の論理回路を含むことができる。装置はまた、ハードウェアに加えて、問題のコンピュータプログラムの実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想マシン、またはそれらの１つまたは複数の組み合わせを構成するコードを含むことができる。装置および実行環境は、ウェブサービス、分散コンピューティング、グリッドコンピューティングインフラストラクチャなど、様々な異なるコンピューティングモデルインフラストラクチャを実現できる。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる）は、コンパイルまたは解釈された言語、宣言言語または手続き型言語を含む、あらゆる形式のプログラミング言語で記述でき、あらゆる形式で展開できる。スタンドアロンプログラムとして、またはモジュール、コンポーネント、サブルーチン、オブジェクト、またはコンピューティング環境での使用に適したその他のユニットとして含まれる。コンピュータプログラムは、ファイルシステム内のファイルに対応する場合があるが、対応する必要はない。プログラムは、他のプログラムまたはデータを保持するファイルの一部（例えば、マークアップ言語ドキュメントに保存された１つまたは複数のスクリプト）、問題のプログラム専用の単一ファイル、または複数の調整されたファイル（例えば、１つまたは複数のモジュール、サブプログラム、またはコードの一部を格納するファイル）。コンピュータプログラムは、１台のコンピュータ、または１つのサイトに配置されているか、複数のサイトに分散され、通信ネットワークによって相互接続されている複数のコンピュータで実行されるように展開できる。

本明細書に記載のプロセスおよび論理フローは、１つまたは複数のコンピュータプログラムを実行する１つまたは複数のプログラム可能なプロセッサによって実行され、入力データを操作して出力を生成することによってアクションを実行することができる。プロセスおよびロジックフローは、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）などの特殊用途のロジック回路によって実行することもでき、装置を実装することもできる。

コンピュータプログラムの実行に適したプロセッサには、例として、汎用および特殊目的の両方のマイクロプロセッサ、および任意の種類のデジタルコンピュータの任意の１つまたは複数のプロセッサが含まれる。一般に、プロセッサは、読み取り専用メモリまたはランダムアクセスメモリ、あるいはその両方から命令とデータを受信する。コンピュータの本質的な要素は、命令に従ってアクションを実行するためのプロセッサと、命令およびデータを格納するための１つまたは複数のメモリ装置である。一般に、コンピュータはまた、データを格納するための１つまたは複数の大容量記憶装置、例えば、磁気ディスク、光磁気ディスク、または光ディスクを含むか、またはデータを受信するか、データを転送するか、またはその両方に動作可能に結合される。ただし、コンピュータにそのような装置が必要なわけではない。さらに、コンピュータは、ほんの数例を挙げると、別の装置、例えば、携帯電話、携帯情報端末（ＰＤＡ）、モバイルオーディオまたはビデオプレーヤ、ゲームコンソール、全地球測位システム（ＧＰＳ）受信機、またはポータブル記憶装置（例：ユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブ）に組み込むことができる。コンピュータプログラムの命令およびデータを格納するのに適した装置には、例として半導体メモリ装置、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリ装置を含む、すべての形態の不揮発性メモリ、メディアおよびメモリ装置、磁気ディスク、例えば、内蔵ハードディスクまたはリムーバブルディスク、光磁気ディスク、およびＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスクが含まれる。プロセッサとメモリは、特別な目的の論理回路によって補完または組み込むことができる。

ユーザとの相互作用を提供するために、本明細書に記載の主題の実施形態は、ディスプレイ装置、例えば、ＬＣＤ（液晶ディスプレイ）、ＬＥＤ（発光ダイオード）ディスプレイ、またはＯＬＥＤ（有機発光ダイオード）ディスプレイ、ユーザに情報を表示するためのディスプレイ、およびユーザがコンピュータに入力を提供することができる、キーボードおよびポインティング装置、例えば、マウスまたはトラックボールを有するコンピュータ上に実装することができる。いくつかの実装形態では、タッチスクリーンを使用して、情報を表示し、ユーザからの入力を受け取ることができる。他の種類の装置を使用して、
ユーザとの対話を提供することもできる。例えば、ユーザに提供されるフィードバックは、視覚的フィードバック、聴覚的フィードバック、または触覚的フィードバックなど、任意の形態の感覚的フィードバックであり得る。また、ユーザからの入力は、音響、音声、または触覚入力を含む任意の形式で受信できる。さらに、コンピュータは、ユーザが使用する装置との間でドキュメントを送受信することにより、ユーザと対話できる。例えば、Ｗｅｂブラウザから受信した要求に応答して、ユーザのクライアント装置上のＷｅｂブラウザにＷｅｂページを送信する。

本明細書に記載される主題の実施形態は、例えばデータサーバとしてのバックエンドコンポーネントを含むか、またはアプリケーションサーバなどのミドルウェアコンポーネントを含むか、またはフロントエンドコンポーネントを含むコンピューティングシステムに実装することができる。エンドコンポーネント、例えば、ユーザがこの仕様に記載されている主題の実装と対話できるグラフィカルユーザインタフェースまたはＷｅｂブラウザを備えたクライアントコンピュータ、または１つまたは複数のそのようなバックエンド、ミドルウェア、またはフロントエンドコンポーネント。システムのコンポーネントは、デジタルデータ通信の任意の形式または媒体、例えば通信ネットワークによって相互接続することができる。通信ネットワークの例には、ローカルエリアネットワーク（「ＬＡＮ」）およびワイドエリアネットワーク（「ＷＡＮ」）、ネットワーク間（例えば、インターネット）、およびピアツーピアネットワーク（例えば、アドホックピア－ピアツーピアネットワーク）が含まれる。例えば、図１のネットワーク２０は、１つまたは複数のローカルエリアネットワークを含めることができる。

コンピューティングシステムには、任意の数のクライアントとサーバを含めることができる。クライアントとサーバは通常、互いにリモートであり、通常は通信ネットワークを介して相互作用する。クライアントとサーバの関係は、それぞれのコンピュータで実行され、クライアントとサーバの関係を持っているコンピュータプログラムによって発生する。いくつかの実施形態では、サーバは、データ（例えば、ＨＴＭＬページ）をクライアント装置に送信する（例えば、データを表示し、クライアント装置と対話するユーザからのユーザ入力を受信する目的で）。クライアント装置で生成されたデータ（例えば、ユーザの操作の結果）は、サーバのクライアント装置から受信できる。

本明細書中で言及される、および／または出願データシートにリスト化されたすべての米国特許、米国特許出願公開、米国特許出願、外国特許、外国特許出願、および非特許刊行物は、参考によりそれらの全体が本明細書に組み込まれる。いくつかの実施形態の態様は、必要に応じて、様々な特許、出願、および刊行物の概念を使用してさらに別の実施形態を提供するように修正することができる。

本開示は、いくつかの例示的な実施形態を参照して説明されてきたが、本開示の原理の精神および範囲内に入るであろう多くの他の修正および実施形態が当業者によって考案され得ることを理解されたい。より具体的には、合理的な変形および修正は、開示の精神から逸脱することなく、前述の開示、図面、および添付の特許請求の範囲内の主題の組み合わせ配置の構成部品および／または配置において可能である。構成部品および／または配置の変形および修正に加えて、代替の使用法も当業者には明らかであろう。

Claims (21)

1. ディスプレイ画面を含むコンピューティング装置であって、前記コンピューティング装置は、
   前記コンピューティング装置に通信可能に結合された１つまたは複数のメモリからの１つまたは複数のバイオマーカの存在について染色された生体サンプルの少なくとも１つの画像にアクセスすることと、
   第１のズームレベルで前記少なくとも１つの画像の第１の視覚化表現を前記ディスプレイ画面に表示し、前記第１の視覚化表現を表示すると同時に、第１のサブセットのユーザ選択可能要素を前記ディスプレイ画面に表示することと、
   ユーザ入力の受信に応答して、前記第１のズームレベルとは異なる第２のズームレベルで前記少なくとも１つの画像の第２の視覚化表現を前記ディスプレイ画面に表示し、前記第２の視覚化表現を表示すると同時に、第２のサブセットのユーザ選択可能要素を前記ディスプレイ画面に表示することであって、（ｉ）前記第２のサブセットのユーザ選択可能要素内の１つもしくは複数の要素は、前記第１のズームレベルで無効もしくは非表示にされるか、または（ｉｉ）前記第１のサブセットのユーザ選択可能要素内の１つもしくは複数の要素は、前記第２のズームレベルで無効もしくは非表示にされる、ことと、を行うように構成された、コンピューティング装置。
2. 前記第２のズームレベルは、少なくとも所定のズーム閾値を満たす、請求項１に記載のコンピューティング装置。
3. 前記第１のズームレベルで無効または非表示にされる前記第２のサブセットのユーザ選択可能要素は、前記第２のズームレベルではコンテキスト的に関連するが、前記第１のズームレベルではコンテキスト的に関連しない、請求項１に記載のコンピューティング装置。
4. 前記第２のサブセットのユーザ選択可能要素は、前記第１のズームレベルで無効または非表示にされた１つまたは複数の画像注釈ツールを含む、請求項１に記載のコンピューティング装置。
5. 前記画像注釈ツールは、関心領域識別ツール、測定ツール、しるし(indicia)描画ツー
   ル、および領域除外ツールを含む、請求項４に記載のコンピューティング装置。
6. 前記第２のサブセットのユーザ選択可能要素は、前記第１のズームレベルで無効または非表示にされた１つまたは複数の画像処理ツールを含む、請求項１に記載のコンピューティング装置。
7. 前記第２のズームレベルは前記第１のズームレベルよりも大きい、請求項１に記載のコンピューティング装置。
8. 前記コンピューティング装置は、前記第２のズームレベルで１つまたは複数のビューアパネルを前記ディスプレイ画面に表示するようにさらに構成され、前記第２のズームレベルで表示するための前記１つまたは複数のビューアパネルは、前記第１のズームレベルで無効または非表示にされる、請求項１に記載のコンピューティング装置。
9. 前記第１のズームレベルは、拡大されていないズームレベルであり、前記第１の視覚化表現は、前記生体サンプルの前記少なくとも１つの画像を含む少なくとも１つの表現を含む、請求項１に記載のコンピューティング装置。
10. 前記少なくとも１つの表現は、識別用のしるしを含む部分をさらに含む、請求項９に記載のコンピューティング装置。
11. ディスプレイ画面を含むコンピューティング装置であって、前記コンピューティング装置は、
    前記コンピューティング装置に通信可能に結合された１つまたは複数のメモリからの１つまたは複数のバイオマーカの存在について染色された生体サンプルの少なくとも１つの画像にアクセスすることと、
    第１のズームレベルで前記少なくとも１つの画像を含む少なくとも第１の視覚化表現を前記ディスプレイ画面に表示し、前記第１の視覚化表現を表示すると同時に、少なくとも第１のビューアパネルを前記ディスプレイ画面に表示することと、
    ユーザ入力の受信に応答して、前記第１のズームレベルとは異なる第２のズームレベルで前記少なくとも１つの画像の第２の視覚化表現を前記ディスプレイ画面に表示し、前記第２の視覚化表現を表示すると同時に、前記第１のビューアパネルに加えて少なくとも第２のビューアパネルを前記ディスプレイ画面に表示することであって、前記少なくとも前記第２のビューアパネルは、前記第１のズームレベルで無効または非表示にされる、ことと、を行うように構成された、コンピューティング装置。
12. 第３のビューアパネルは、前記第２のビューアパネルの前記表示と同時に前記ディスプレイ画面に表示され、前記第３のビューアパネルは、前記第１のズームレベルで非表示にされる、請求項１１に記載のコンピューティング装置。
13. 以前に表示された、または非表示にされたユーザ選択可能ツールは、前記第２のビューアパネルの前記表示と同時に前記ディスプレイ画面上で有効にされる、請求項１１に記載のコンピューティング装置。
14. 前記ユーザ選択可能ツールは、画像注釈ツールである、請求項１３に記載のコンピューティング装置。
15. 前記少なくとも前記第１の視覚化表現は、（ｉ）前記第１のズームレベルでの前記生体サンプルの前記少なくとも１つの画像を含む第１の部分と、（ｉｉ）識別用のしるしを含む第２の部分と、を含む、請求項１１に記載のコンピューティング装置。
16. 前記識別用のしるしは、バイオマーカの識別を含む、請求項１５に記載のコンピューティング装置。
17. ディスプレイ画面を有するコンピューティング装置上に、染色された生体サンプルの少なくとも１つの画像を含む第１の視覚化表現を表示することであって、前記第１の視覚化表現は、第１の条件状態で表示される、表示することと、
    前記第１の視覚化表現を表示すると同時に、第１のビューアパネルまたは第１の一連のユーザ選択可能要素のうちの少なくとも１つを前記ディスプレイ画面に表示することと、
    ユーザ入力を受信することに応答して、第２の条件状態にある前記少なくとも１つの画像の第２の視覚化表現を前記ディスプレイ画面に表示することであって、前記第２の条件状態はユーザ選択の結果として得られる、表示することと、
    前記第２の視覚化表現を表示すると同時に、（ｉ）前記第１の条件状態では有効にされていない第２の一連のユーザ選択可能要素、または（ｉｉ）前記第１のビューアパネルに加えて、前記第１の条件状態で非表示にされている、第２のビューアパネルのうちの少なくとも１つを前記ディスプレイ画面に表示することと、を含む、方法。
18. 前記第１の条件状態はデフォルト状態である、請求項１７に記載の方法。
19. 前記ユーザ選択はズームレベルの選択であり、前記第１の条件状態は第１のズームレベルであり、前記第２の条件状態は、前記第１のズームレベルとは異なる第２のズームレベルである、請求項１８に記載の方法。
20. 前記ユーザ選択は画像の選択であり、前記第２の条件状態のために選択された前記画像は、前記第１の条件状態の画像とは異なる染色を含む、請求項１７に記載の方法。
21. 命令を格納する非一時的コンピュータ可読媒体であって、前記命令が、コンピューティングシステムの１つまたは複数のプロセッサによって実行されると、前記コンピューティングシステムに、
    ディスプレイ画面に、第１のズームレベルで少なくとも１つの画像の第１の視覚化表現を表示し、前記第１の視覚化表現を表示すると同時に、第１のサブセットのユーザ選択可能ツールを前記ディスプレイ画面に表示することと、
    続いて、前記第１のズームレベルとは異なる第２のズームレベルで前記少なくとも１つの画像の第２の視覚化表現を前記ディスプレイ画面に表示し、前記第２の視覚化表現を表示すると同時に、第２のサブセットのユーザ選択可能ツールを前記ディスプレイ画面に表示することであって、前記第２のサブセットのユーザ選択可能ツール内の１つまたは複数のツールは、前記第１のズームレベルで有効にされない、ことと、を行わせる、非一時的コンピュータ可読媒体。

Images