JP2019513255A - コントロールスライドを使用する改善された画像解析アルゴリズム - Google Patents

Abstract

自動的にアーチファクトを生物試料画像の解析から排除するためのシステム及び方法が、開示される。例示的な方法は、免疫組織化学（ＩＨＣ）画像及びコントロール画像を獲得するステップと、コントロール画像が１つ又は複数のアーチファクトを含むかどうかを決定するステップと、コントロール画像が１つ又は複数のアーチファクトを含むと決定したとき、１つ又は複数のアーチファクトをコントロール画像からＩＨＣ画像にマッピングすることによって、ＩＨＣ画像内における１つ又は複数のアーチファクト領域を識別するステップと、ＩＨＣ画像の画像解析を実行するステップであって、識別されたアーチファクト領域が画像解析から排除される、ステップとを含む。

Description

関連出願の相互参照
本特許出願は、２０１６年３月１日に出願された米国仮特許出願第６２／３０２０６２号、及び２０１７年２月２８日に出願された米国仮特許出願第６２／４６４９７２号に基づいており、それらに対する優先権を主張する。上記の特許出願の各々は、その全体が説明されているかのように、参照によって本明細書に組み込まれる。

本開示は、一般に、医用画像の分野に関する。本開示において説明されるいくつかの例は、自動的にアーチファクトを検出し、生物試料の画像の画像解析から排除する方法に関する。

組織切片、細胞診画像（ｃｙｔｏｌｏｇｙ ｉｍａｇｅ）、組織マイクロアレイ（ＴＭＡ）画像、細胞株、及び血液スミア（ｂｌｏｏｄ ｓｍｅａｒ）などの、生物試料の解析において、生物試料は、特定のタイプの組織、細胞、及び細胞小器官など、試料内の様々なタイプの構造を強調するために、１つ又は複数の異なる染色剤又は染料を用いてときには染色される。これは、病理学者及び他の医療専門家が、試料の形態をより良く評価し、患者に対してより正確な診断、経過予想、及び治療計画を行うことを可能にすることができる。

試料を染色する他の方法は、ヘマトキシリン及びエロシン（Ｈ＆Ｅ）染色（ｈｅｍａｔｏｘｙｌｉｎ ａｎｄ ｅｏｓｉｎ ｓｔａｉｎｉｎｇ）であり、この染色法においては、濃青色又は紫色のヘマトキシリンは、ＤＮＡ及びＲＮＡなどの、好塩基性物質に結び付き、赤色又はピンクのエロシンは、正荷電アミノ酸側鎖（ｐｏｓｉｔｉｖｅｌｙ ｃｈａｒｇｅｄ ａｍｉｎｏ ａｃｉｄ ｓｉｄｅ ｃｈａｉｎ）などの、好酸性物質に結び付く。したがって、Ｈ＆Ｅを用いて染色された、試料スライド上の細胞核は、青色又は紫色で出現する可能性が高く、一方、細胞質、好塩基球、筋肉、赤血球、コラーゲン、及びミトコンドリアなどの構造は、ピンク又は赤色の異なる色合いで出現する可能性が高い。

原位置ハイブリダイゼーション（ＩＳＨ：ｉｎ ｓｉｔｕ ｈｙｂｒｉｄｉｚａｔｉｏｎ）染色は、標識相補的ＤＮＡ（ｌａｂｅｌｅｄ ｃｏｍｐｌｅｍｅｎｔａｒｙ ＤＮＡ）、ＲＮＡ、又は修飾核酸鎖（ｍｏｄｉｆｉｅｄ ｎｕｃｌｅｉｃ ａｃｉｄｓ ｓｔｒａｎｄ）（すなわち、プローブ）を使用して、組織の一部又は切片において特定のＤＮＡ又はＲＮＡ配列を見つけ出す技法である。原位置ハイブリダイゼーションは、組織切片における個々の細胞内において特定のｍＲＮＡ種を同定し、生理的過程及び病因についての洞察を提供するための強力な技法であることができる。

免疫組織化学（ＩＨＣ）染色は、その著しい効率性と、それが生成する豊富な診断情報とのために、人気が出てきた、別の染色技法である。ＩＨＣスライド染色は、組織切片の細胞内のタンパク質を同定するために利用することができ、したがって、生物組織内のがん細胞及び免疫細胞など、異なるタイプの細胞の研究において広く使用される。例えば、ＩＨＣ染色は、免疫反応研究のために、がん組織内の免疫細胞の示差的に発現するバイオマーカ（ｄｉｆｆｅｒｅｎｔｉａｌｌｙ ｅｘｐｒｅｓｓｅｄ ｂｉｏｍａｒｋｅｒ）の分布及び局在性を理解するために、研究及び臨床の場において使用することができる。例えば、腫瘍は、しばしば、免疫細胞の浸潤物を含み、それは、腫瘍の発育を妨げること、又は腫瘍の増殖に有利に働くことがある。このシナリオにおいては、異なるタイプの免疫細胞を標的とするために、複数の染色剤が、使用されてよく、患者の臨床結果を研究する際に、各タイプの免疫細胞の個体数分布（ｐｏｐｕｌａｔｉｏｎ ｄｉｓｔｒｉｂｕｔｉｏｎ）が、使用される。

研究者及び臨床医は、伝統的に、Ｈ＆Ｅ、ＩＨＣ、ＩＳＨ、蛍光ＩＳＨ（ＦＩＳＨ）、又は他の方法を用いて染色された組織スライドを、明視野又は蛍光顕微鏡の下で検査してきた。しかしながら、分析は、より複雑になってきており、特定のタイプの領域においては、特定のタイプの数百又は数千の細胞を見つけ、カウントすることをしばしば必要とするので、これらの作業を人手で（正確に）実行することは、ますます困難な作業になっている。したがって、ますます多くの研究者及び臨床医が、より速く、より正確で、より再現可能な結果を彼らが得ることを助けることができる、「デジタル病理学」ソリューションを利用し始めている。デジタル病理学システムは、組織スライドをスキャンして、組織の非常に高い解像度（例えば、ピクセル当たり０．５又は０．２７５ミクロン）のデジタル画像を生成することができる、スライドスキャナを含む。デジタル病理学システムは、組織画像又は他のタイプの生物試料画像を自動的に処理し、検分し、分割し、解析（例えば、スコアリング）し、さもなければ管理するための、ハードウェア及び／又はソフトウェアソリューションも含む。

免疫組織化学（ＩＨＣ）染色プロトコルの一部として、１つ又は複数の陰性及び／又は陽性コントロールスライドが、染色プロセスの品質を確認する目的で、しばしば準備され、染色され、スキャンされる。例えば、陰性コントロールスライドは、一次抗体が、除外されること、又は一次抗体と同じ種のアイソタイプ、組織培養基、緩衝液、又は希薄な非免疫血清などの、他の何らかの溶液を用いて置換されることを除いて、メインＩＨＣスライド上の組織と同じ方法で準備された、隣接組織切片を含むことができる。そのようなスライドは、例えば、背景の染みのレベルを決定し、それが許容可能な限界を超えていないことを確認するために、使用することができる。

改善された画像解析アルゴリズムを提供する。

本明細書においては、自動的にアーチファクトを生物試料画像の解析から排除するためのシステム及び方法が、開示される。
いくつかの実施形態においては、生物試料画像を解析するための画像解析システムが、開示される。システムは、免疫組織化学（ＩＨＣ）画像及びコントロール画像を獲得し、ＩＨＣ画像とコントロール画像が構造的に類似しているかどうかを決定するように構成することができる、画像位置合わせエンジンを含み得る。システムは、コントロール画像が１つ又は複数のアーチファクトを含むかどうかを決定し、コントロール画像が１つ又は複数のアーチファクトを含むと決定したとき、１つ又は複数のアーチファクトをコントロール画像からＩＨＣ画像にマッピングすることによって、ＩＨＣ画像内における１つ又は複数のアーチファクト領域を識別するように構成された、アーチファクト検出エンジンも含み得る。システムは、とりわけ、ＩＨＣ画像の画像解析を実行するように構成された画像解析エンジンであって、ＩＨＣ画像とコントロール画像が構造的に類似しているとの決定に基づいて、１つ又は複数のアーチファクト領域が画像解析から排除される、画像解析エンジンをさらに含み得る。

他の実施形態においては、アーチファクト領域を検出し、画像解析から排除する方法が、開示される。方法は、とりわけ、免疫組織化学（ＩＨＣ）画像及びコントロール画像を獲得するステップと、コントロール画像が１つ又は複数のアーチファクトを含むかどうかを決定するステップと、コントロール画像が１つ又は複数のアーチファクトを含むと決定したとき、１つ又は複数のアーチファクトをコントロール画像からＩＨＣ画像にマッピングすることによって、ＩＨＣ画像内における１つ又は複数のアーチファクト領域を識別するステップと、ＩＨＣ画像の画像解析を実行するステップであって、１つ又は複数のアーチファクト領域が画像解析から排除される、ステップとを含み得る。

さらに他の実施形態においては、命令を記憶した非一時的コンピュータ可読媒体が、開示される。命令は、画像解析システムのプロセッサによって実行されたときに、画像解析システムに、例えば、ＩＨＣスライドの免疫組織化学（ＩＨＣ）画像の視野（ＦＯＶ）を獲得することと、ＩＨＣスライドと関連付けられたコントロールスライドのコントロール画像を獲得することと、コントロールＦＯＶを獲得するために、ＦＯＶをＩＨＣ画像からコントロール画像にマッピングすることと、コントロールＦＯＶ内においてアーチファクトを検出することと、コントロールＦＯＶにおいていずれかのアーチファクトが検出されたかどうかを、ユーザに通知することとを行わせ得る。

これら及び他の実施形態が、以下でより詳細に説明される。
以下において、本発明の実施形態が、図面を参照しながら、もっぱら例として、より詳細に説明される。

いくつかの実施形態による、例示的な画像獲得システム及び例示的な画像解析システムを示す図である。 いくつかの実施形態による、画像位置合わせの様々な例を示す図である。 ＩＨＣ及び陰性コントロール（ＮＣ）画像の領域の例を示す図である。 ＩＨＣ及びＮＣ画像の領域の他の例を示す図である。 ＩＨＣ及びＮＣ画像の領域のさらに他の例を示す図である。 いくつかの実施形態による、ＦＯＶベースのワークフローを示す図である。 いくつかの実施形態による、自動的にアーチファクト領域を検出し、全スライド画像解析などの画像解析から排除する例示的な方法を示す図である。 いくつかの実施形態による、自動的にＦＯＶにおけるアーチファクトを検出する例示的な方法を示す図である。

上で言及されたように、デジタル病理学ソリューションは、ＩＨＣ画像の自動処理及び解析を可能にし得る。残念ながら、色、形状、及び輝度がＤＡＢなどの陽性染色に類似する、様々な組織アーチファクトが、ＩＨＣ画像に出現することがある。そのようなアーチファクトは、画像解析アルゴリズムによって、染色された細胞として誤って識別されることができ、そのことは、様々なタイプの細胞の不正確なカウントなど、誤った結果をアルゴリズムに生成させることができる。

本明細書において説明される方法及びシステムは、アーチファクトを含む、ＩＨＣ画像における領域を識別するために、これまで利用されなかったコントロールスライドを使用し、それらのエリアを解析から排除し、それによって、アルゴリズムの全体的な正確性を改善することに関する。そのような方法及びシステムは、アーチファクトのない視野（ＦＯＶ）を見つけることによって、病理学者がアーチファクト問題を避けることができない、全スライド解析ワークフローに適用されたときに、特に便利であることができる。しかしながら、いくつかのアーチファクトは、陽性ＩＨＣ染色にきわめて類似して出現することができ、それらをＩＨＣ画像だけに基づいて陽性染色から区別することは、熟練した病理学者にとってさえも、（不可能ではない場合でも）非常に時間のかかる難しい作業であることができるので、本明細書において説明される技法は、ＦＯＶベースのワークフローも改善することができる。

より具体的には、本明細書において開示される方法及びシステムは、ＩＨＣスライド及び隣接するコントロールスライドの両方において出現するアーチファクトを検出し、排除するために、使用することができる。そのようなアーチファクトは、例えば、組織色素（例えば、メラニン、ヘモジデリンなど）、又は組織自体と関連付けられた他のアーチファクトを含み得る。

本明細書において説明される方法及びシステムは、陽性コントロールスライド及び陰性コントロールスライドに適用することができ、本明細書においては、両方のタイプが、一括して「コントロールスライド」と呼ばれる。コントロールスライドは、一般に、単一の染色剤（例えば、陰性コントロール用の青色のヘマトキシリン、及び陽性コントロール用の茶色のＤＡＢ）を用いて染色されるので、その染色剤と関連付けられた予想される色範囲の外に色がある、コントロールスライド画像におけるいずれのピクセル又は領域も、アーチファクトである可能性が高い。

図１は、本主題の開示の例示的な実施形態による、画像解析システム１００のブロック図である。画像解析システム１００は、デスクトップコンピュータ、ラップトップコンピュータ、タブレット、スマートフォン、サーバ、アプリケーション固有のコンピューティングデバイス、又は本明細書において説明される技法及び動作を実行することが可能な他の任意のタイプの電子デバイスなど、１つ又は複数のコンピューティングデバイスを含み得る。いくつかの実施形態においては、画像解析システム１００は、単一のデバイスとして実施され得る。他の実施形態においては、画像解析システム１００は、本明細書において説明される様々な機能を一緒に達成する２つ以上のデバイスの組み合わせとして実施され得る。例えば、画像解析システム１００は、１つもしくは複数のローカルエリアネットワーク、及び／又はインターネットなどのワイドエリアネットワークを介して、互いに通信可能に結合された、１つ又は複数のサーバコンピュータと、１つ又は複数のクライアントコンピュータとを含み得る。

図１に示されるように、画像解析システム１００は、メモリ１１６と、プロセッサ１１７と、ディスプレイ１１８とを含み得る。メモリ１１６は、ランダムアクセスメモリ（ＲＡＭ）、並びに電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、ハードドライブ、ソリッドステートドライブ、及び光ディスクなどのリードオンリメモリなど、任意のタイプの揮発性又は不揮発性メモリの任意の組み合わせを含み得る。簡潔にする目的で、メモリ１１６は、図１においては、単一のデバイスとして示されているが、メモリ１１６は、２つ以上のデバイスにわたって分散させることもできることが理解される。

プロセッサ１１７は、中央処理ユニット（ＣＰＵ）、グラフィカル処理ユニット（ＧＰＵ）、専用信号又は画像プロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びテンソル処理ユニット（ＴＰＵ）など、任意のタイプの１つ又は複数のプロセッサを含み得る。簡潔にする目的で、プロセッサ１１７は、図１においては、単一のデバイスとして示されているが、プロセッサ１１７は、任意の数のデバイスにわたって分散させることもできることが理解される。

ディスプレイ１１８は、ＬＣＤ、ＬＥＤ、ＯＬＥＤ、ＴＦＴ、プラズマなどの任意の適切な技術を使用して、実施され得る。いくつかの実施においては、ディスプレイ１１８は、タッチセンシティブディスプレイ（タッチスクリーン）であってよい。

図１に示されるように、画像解析システム１００は、また、画像位置合わせエンジン１１１と、アーチファクト検出エンジン１１２と、画像解析エンジン１１３とを含み得る。これらのモジュールは、図１においては、スタンドアロンモジュールとして示されているが、各モジュールが、代わりに、複数のサブモジュールとして実施され得ること、及びいくつかの実施形態においては、２つ以上のモジュールを組み合わせて、単一のモジュールにすることができることが当業者には明らかである。さらに、いくつかの実施形態においては、システム１００は、簡潔にするために図１に示されていない、追加のエンジン及びモジュール（例えば、入力デバイス、ネットワーク接続及び通信モジュールなど）を含み得る。さらに、いくつかの実施形態においては、図１に示されるブロックのいくつかは、無効化されてよく、又は省かれてよい。以下でより詳細に説明されるように、システム１００のモジュールの機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせで、実施することができる。

図１に示されるように、いくつかの実施形態においては、画像解析システム１００は、画像獲得システム１２０に通信可能に結合され得る。画像獲得システム１２０は、生物試料の画像を獲得し、それらの画像を、解析及びユーザへの提示のために、画像解析システム１００に提供し得る。

画像獲得システム１２０は、Ｈ＆Ｅ、ＩＨＣ、ＩＳＨ、ＦＩＳＨ、又は他の任意の染色プロセスを使用して、生物試料スライドを染色するための、自動染色プラットフォーム１２３を含み得る。市販の染色プラットフォームは、例えば、Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ， Ｉｎｃ．による、ＨＥ ６００、ＢＥＮＣＨＭＡＲＫ ＸＴ、及びＢＥＮＣＨＭＡＲＫ ＵＬＴＲＡ製品を含む。画像獲得システム１２０は、また、高解像度の全スライドデジタル画像を生成するために、２０×、４０×、又は他の倍率で、染色されたスライドをスキャンすることができる、スライドスキャナなどの、スキャニングプラットフォーム１２５を含んでよい。市販のスライドスキャナは、例えば、Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ， Ｉｎｃ．による、ＶＥＮＴＡＮＡ ｉＳｃａｎ ＨＴ、及びｉＳｃａｎ Ｃｏｒｅｏ製品を含む。

スキャニングプラットフォーム１２５によって生成された画像は、画像解析システム１００に、又は画像解析１００によってアクセス可能なサーバもしくはデータベースに移送され得る。いくつかの実施形態においては、画像は、１つ又は複数のローカルエリアネットワーク及び／又はワイドエリアネットワークを介して、自動的に移送され得る。いくつかの実施形態においては、画像解析システム１００は、スキャニングプラットフォーム１２５、及び／又は画像獲得システム１２０の他のモジュールと統合されてよく、又はそれらに含まれてよく、そのケースにおいては、画像は、例えば、プラットフォーム１２５及びシステム１２０の両方によってアクセス可能なメモリを通して、画像解析システムに移送され得る。いくつかの実施形態においては、画像獲得システム１２０は、画像解析システム１００に通信可能に結合されないことがあり、そのケースにおいては、画像は、任意のタイプの不揮発性記憶媒体（例えば、フラッシュメモリ）上に記憶され、媒体から画像解析システム１００に、又はそれに通信可能に結合されたサーバもしくはデータベースにダウンロードされ得る。上述の例のいずれにおいても、画像解析システム１００は、生物標本の画像を獲得し得、標本は、スライドに貼り付けられ、染色プラットフォーム１２３によって染色され得、スライドは、スライドスキャナ又は別のタイプのスキャニングプラットフォーム１２５によってスキャンされ得る。しかしながら、他の実施形態においては、以下で説明される技法は、他の手段を通して獲得された生物標本の画像にも適用され得ることが理解される。

いくつかの実施形態においては、画像解析システム１００は、コントロール画像（陰性コントロールスライド又は陽性コントロールスライドの画像）、及びＩＨＣ画像（コントロールスライドに隣接するＩＨＣスライドの画像）を獲得し、画像位置合わせエンジン１１１に渡し得る。本明細書において使用される場合、「隣接スライド」は、同じ組織ブロックから切り取られた組織切片を含むスライドのことを指す。いくつかの実施形態においては、２つの組織切片は、そのブロックから切り取られた最も近い２つの切片とすることができる。他の実施形態においては、２つの切片は、必ずしもそのブロックからの最も近い切片でなくてよいが、互いにまだ十分に近い近傍内（例えば、１０μｍ又は２０μｍ以内）にあり得る。

コントロール画像及びＩＨＣ画像を獲得した後、画像位置合わせエンジン１１１は、「位置合わせ」と呼ばれるプロセスにおいて、２つの画像を整列させ得る。いくつかの実施形態においては、エンジン１１１は、画像を整列させるために、以下の位置合わせ方法を使用し得る。Ｉ１がＩＨＣ画像を表し、Ｉ２がコントロール画像を表すと仮定する。｛ｘ１，ｉ，ｙ１，ｉ｝は、画像Ｉ１についての第ｉの細胞中心を表すとする。同様に、｛ｘ２，ｉ，ｙ２，ｉ｝は、画像Ｉ２についての第ｉの細胞中心を表すとする。画像Ｉ１において検出された細胞がＮ１個、画像Ｉ２において検出された細胞がＮ２個存在したと仮定する。Ｄ（Ｐ１，Ｐ２）は、２つの点集合Ｐ１及びＰ２の間において計算された距離であるとし、ここで、Ｐ１＝｛ｘ１，ｉ，ｙ１，ｉ｝、ｉ＝１、．．．、ｉ＝Ｎ１、Ｐ２＝｛ｘ２，ｉ，ｙ２，ｉ｝、ｉ＝１、．．．、ｉ＝Ｎ２であり、それぞれ、Ｉ１及びＩ２に対応する。

いくつかの実施形態においては、Ｉ１とＩ２との間の潜在的な回転、偏移、及び他のタイプの特別な変形（例えば、せん断又は反転）を補償するために、エンジン１１１は、プロクラステス法（Ｐｒｏｃｒｕｓｔｅｓ ｍｅｔｈｏｄ）又は他の任意の適切な方法を使用して、２つの画像間のアフィン変換（ａｆｆｉｎｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を計算し得る。変換関数を計算した後、エンジン１１１は、それを使用して、点集合Ｐ１を変換された点集合Ｐ１’に変換し得る。その場合、Ｄ（Ｐ１，Ｐ２）は、Ｐ２内のあらゆる点とＰ１’内の最も近い点との間の平均距離として、計算することができる。他の実施形態においては、エンジン１１１は、代わりに、点集合Ｐ２を変換された点集合Ｐ２’に変換し、Ｐ１内のあらゆる点とＰ２’内の最も近い点との間の平均距離として、Ｄ（Ｐ１，Ｐ２）を計算し得る。

平均距離Ｄ（Ｐ１，Ｐ２）を計算した後、エンジン１１１は、平均距離に基づいて、画像Ｉ１とＩ２が構造的に類似しているかどうかを決定し得る。いくつかの実施形態においては、「構造的に類似」とは、細胞核のほとんど又はすべての位置、ＴＭＡコア、針生検、及び／又は他の任意のタイプの関心の対象が、両方の画像において実質的に類似していることを意味することができる。いくつかの実施形態においては、エンジン１１１は、平均距離Ｄ（Ｐ１，Ｐ２）を事前定義された閾値と比較し、平均距離がその事前定義された閾値を下回る場合かつその場合に限って、画像が構造的に類似していると決定し得る。

示されるように、図２は、上の行に、点集合Ｐ１を含む画像２１１と、点集合Ｐ２を含む隣接画像２１２と、点集合Ｐ２上に重ね合わされた変換された（９０度回転された）点集合Ｐ１’を示す画像２１３とを示している。この例においては、点集合Ｐ１’及びＰ２は、よく一致しており、隣接画像２１１及び２１２の間における構造的類似性を示している。対照的に、下の行に、図２は、点集合Ｐ１を含む画像２３１と、点集合Ｐ２を含む隣接画像２３２と、互いに重ね合わされた２つの点集合を示す画像２３３とを示している。最も最適な変換関数でさえも、Ｐ１がＰ２に一致するように、すなわち、Ｄ（Ｐ１，Ｐ２）が相対的に低くなるように、Ｐ１を変換することができないことが、この例から明らかである。したがって、この例においては、隣接画像２３１及び２３２の間における構造的類似性は、おそらく、存在しない。

いくつかの実施形態においては、画像位置合わせエンジン１１１によって２つの画像が構造的に類似していると決定されたとき、アーチファクト検出エンジン１１２は、コントロール画像を獲得し、それを処理して、アーチファクトを検出し得る。他の実施形態においては、エンジン１１２は、画像位置合わせエンジン１１１によって実行される画像位置合わせプロセスと並列して、アーチファクト検出プロセス又はそれの部分を実行し得る。

アーチファクト検出エンジン１１２は、コントロール画像におけるアーチファクトを検出するために、任意の適切なアルゴリズムを使用することができる。一実施形態においては、アーチファクトは、輝度ベースの閾値方法を使用して、検出することができる。例えば、エンジン１１２は、陰性コントロール画像のグレースケールバージョンを獲得し、輝度がより高いピクセル（例えば、輝度が事前定義された閾値よりも高いピクセル）は、対比染色領域に対応し、一方、残りのピクセル（例えば、輝度が事前定義された閾値以下のピクセル）は、アーチファクトに対応すると決定し得る。別の例においては、エンジン１１２は、陽性コントロール画像のグレースケールバージョンを獲得し、輝度がより低いピクセル（例えば、輝度が第１の閾値よりも低いピクセル）は、陽性染色領域に対応し、輝度がより高いピクセル（例えば、輝度が第２の閾値よりも高いピクセル）は、画像背景に対応し、残りのピクセル（例えば、輝度が第１の閾値と第２の閾値の間にあるピクセル）は、アーチファクトに対応すると決定してよい。

別の実施形態においては、アーチファクト検出エンジン１１２は、（例えば、メモリ１１６から、又はユーザからの入力を介して）すべての可能な非アーチファクト色（例えば、陰性コントロールスライドにおける対比染色の色、又は陽性コントロールスライドにおける染色の色）に対応する事前定義された色範囲を獲得し得る。事前定義された色範囲は、例えば、１次元、２次元、又は３次元空間（例えば、ＬＡＢ色空間）において定義され得、１次元色空間範囲は、輝度範囲と呼ぶこともできる。事前定義された色／輝度範囲を獲得した後、エンジン１１２は、色／輝度が事前定義された色／輝度範囲の外にあるいずれのピクセルも、アーチファクトであると決定し得る。他の実施形態においては、エンジン１１２は、また、背景を表す色／輝度範囲を獲得し、色／輝度範囲が事前定義された色／輝度範囲及び背景の色／輝度範囲の両方の外にあるいずれのピクセルも、アーチファクトであると決定し得る。いくつかの実施形態においては、染色、対比染色、及び／又は背景に対応する事前定義された色／輝度範囲を獲得する代わりに、エンジン１１２は、例えば、色／輝度ヒストグラムにおいて１つ又は２つの最も高いピークを見つけ、ピークが背景及び染色又は対比染色に対応すると定めることによって、コントロール画像を解析し、これらの範囲を自動的に決定し得る。

アーチファクトの位置（例えば、ただ１つ又はほとんどのアーチファクトピクセルを含む領域の位置）を決定した後、アーチファクト検出エンジン１１２は、例えば、（上で説明された）画像位置合わせエンジン１１１によって計算された変換関数を使用して、すべてのアーチファクト候補をコントロール画像からＩＨＣ画像にマッピングし得る。アーチファクトがＩＨＣ画像にマッピングされた後、アーチファクトマッピングエンジン１１２は、ＩＨＣ画像におけるアーチファクトの位置を、画像解析エンジン１１３に渡し得る。

画像解析エンジン１１３が、ＩＨＣ画像におけるアーチファクトの位置を獲得した後、それは、そのようなアーチファクトをそれの解析から排除し得る。言い換えると、画像解析エンジン１１３が、その後、ＩＨＣ画像に対する画像解析アルゴリズムを実行するとき、それは、いずれのアーチファクトも無視し得、又はアーチファクトを含む、もしくは少なくとも事前定義されたパーセンテージのアーチファクトを含むいずれの領域も無視し得る。本明細書において使用される場合、「領域」という用語は、例えば、事前定義された半径の円、及び事前定義されたサイズの長方形（例えば、スライドタイル又はＦＯＶ）など、事前定義されたサイズのエリアに対応することができる。

いくつかの実施形態においては、ＩＨＣ画像におけるアーチファクト領域が、識別された後、解析エンジン１１３は、ディスプレイ１１８上において、それらの領域を強調し得、又はそれらの領域に輪郭付けを行い得、それによって、ユーザが、例えば、それらをより大きく又はより小さくすること、人手で追加領域を描くこと、及び識別された領域のいくつかを取り消すこと（すなわち、それらを非アーチファクト領域としてマークすること）などによって、領域を変更することを可能にする。

アーチファクト領域が識別され、任意選択で、ユーザによって変更された後、画像解析エンジン１１３は、それらの領域を解析から排除しながら、ＩＨＣ画像に対する画像解析を実行することができる。例えば、画像解析は、スライド全体、又は組織によって覆われたエリアの少なくとも大きな部分（例えば、５０％超）にわたって、様々なタイプの細胞（例えば、すべて又はあるタイプの染色細胞及び／又は非染色細胞）、それらの輝度、比などをカウントする、全スライドスコアリングアルゴリズムであってよい。アルゴリズムは、いくつかのアーチファクトを、染色された細胞又は他のタイプの重要な対象として、誤って識別することができていたので、アーチファクト領域をアルゴリズムの計算から排除（すなわち、無視）することは、アルゴリズムの正確性を改善することができる。

図３〜図５は、異なるタイプのアーチファクトを有する様々な標本を示すことによって使用する、上で説明された方法のいくつかを示している。図３は、メラノーマ試料の２つの領域を示しており、陰性コントロール（ＮＣ）画像の領域１は、メラニンに起因する暗斑を有し、一方、ＮＣ画像の領域２は、そのような斑点を有さない。したがって、この例においては、ＩＨＣ画像が、画像位置合わせエンジン１１１によって、隣接ＮＣ画像に構造的に類似していると決定された場合、アーチファクト検出エンジン１１２によって、ＮＣ画像の領域１において検出されたメラニン色素は、そのエンジンによって、ＩＨＣ画像の対応する領域１（左上）にマッピングされ、領域全体は、画像解析エンジン１１３が、ＩＨＣ画像に対して、全スライド画像解析アルゴリズムを実行するとき、画像解析エンジン１１３によって排除することができる。ＩＨＣ画像の領域１における暗斑の多くは、やはりメラニンに起因する可能性が高く、陽性ＤＡＢ染色に起因する可能性は高くないので、これは、有利である。対照的に、この例におけるアーチファクト検出エンジン１１２は、ＮＣ画像の領域２において、いずれの暗斑も検出しない。したがって、ＩＨＣ画像のマッピングされた領域２（左下）における暗斑は、すべて、ＤＡＢ染色に起因する可能性が高く、領域は、排除されず、画像処理アルゴリズムによって解析される。

同様に、図４は、腎細胞がん（ＲＣＣ：ｒｅｎａｌ ｃｅｌｌ ｃａｒｃｉｎｏｍａ）における色素検出の例を示しており、領域１は、ヘモジデリン色素を含み、領域２は、含まない。本明細書において説明される方法及びシステムを使用して検出し、解析から排除することができる、広範囲のアーチファクトをさらに示すために、図５は、１つはトリプルネガティブ乳がん（ＴＮＢＣ：ｔｒｉｐｌｅ ｎｅｇａｔｉｖｅ ｂｒｅａｓｔ ｃａｎｃｅｒ）標本のＮＣ領域、１つは腎細胞がん（ＲＣＣ）標本のＮＣ領域である、２つの追加のＮＣ領域を示している。この例においては、両方のＮＣ領域は、色素を含み、それは、両方の領域が、ＩＨＣ画像上にマッピングされ、その後、それぞれのＩＨＣ画像の全スライド解析から排除されることを意味する。

いくつかの実施形態においては、上で説明された技法は、ＦＯＶベースのアルゴリズムにも適用することができ、ユーザは、（例えば、ＩＨＣ画像において）ユーザが画像解析アルゴリズムを実行したいと望む、１つ又は複数のＦＯＶを選択する。例えば、画像位置合わせエンジン１１１は、ＩＨＣ画像及び隣接コントロールスライドが構造的に類似しているかどうかを決定するために、上で説明された技法を使用することができる。類似している場合、アーチファクトエンジン１１２は、上で説明された技法を使用して、選択されたＦＯＶをＩＨＣ画像から隣接コントロールスライドにマッピングし、コントロールスライドのマッピングされたＦＯＶが、いずれかのアーチファクト（又は事前定義された閾値を超える量／パーセンテージのアーチファクト）を含むかどうかを決定することができる。画像解析エンジン１１３は、その後、アーチファクトを含むあらゆるＦＯＶについてユーザに通知し、ユーザが代わりに別のＦＯＶを選択することを可能にすることができる。図６は、例示的なＩＨＣ画像６１０と、隣接ＮＣ画像６２０と、ＩＨＣ画像から隣接ＮＣ画像６２０にマッピングされた２つのＦＯＶ（ＦＯＶ１及びＦＯＶ２）とを示している。この例においては、ＮＣ ＦＯＶのどちらも、いかなる暗い染みも有するようには見えず、それは、対応するＩＨＣ ＦＯＶにおけるすべての染みが、ＤＡＢ染色に起因する可能性が高く、色素などのアーチファクトに起因する可能性が高くないことを意味する。

図７は、自動的に（ユーザからのいかなる入力もなしに）アーチファクト領域を検出し、画像解析（例えば、全スライド画像解析）から排除するための、例示的な方法７００のフローチャートを示している。方法７００は、例えば、上で説明された画像解析システム１００の様々なモジュールによって実行され得る。方法７００は、例えば、少なくとも１つの非一時的マシン可読記憶媒体（例えば、メモリ１１６）に記憶され、少なくとも１つのプロセッサ又はプロセッサコア（例えば、プロセッサ１１７）によって実行される実行可能命令の形態で、実施され得る。方法７００は、電子回路（例えば、ハードウェア）の形態で、又は電子回路とプロセッサによって実行可能な命令との何らかの組み合わせの形態で、実施され得る。方法７００のいくつかのブロックは、実質的に同時に、又は図７に示されるのと異なる順序で実行されてよいこと（例えば、ステップ７１０及び７２０は、ときには、同時に実行されてよく、又はステップ７３０及び７４０の後に実行されてよいこと）、方法７００は、図７に示されるよりも多い又は少ないブロックを含んでよいこと、並びに方法７００のいくつかのブロックは、ある時点において進行中であってよく、及び／又は繰り返してよいことが、方法７００についての以下の説明に基づいて、当業者によって理解されよう。

方法７００は、ブロック７１０において、開始し得、上で説明されたように、ＩＨＣ画像を隣接コントロール画像と整列させることができる。ブロック７２０において、ＩＨＣ画像が隣接コントロール画像と構造的に類似しているかどうかが、決定され得る。類似している場合、ブロック７３０において、アーチファクトが、コントロール画像において検出され得る。ブロック７４０において、いずれかのアーチファクトが検出されたかどうかが、決定され得る。検出された場合、ブロック７５０において、アーチファクトを含む領域をコントロール画像からＩＨＣ画像にマッピングすることができ、ブロック７６０において、マッピングされたＩＨＣ領域を全スライド画像解析から排除することができる。

上で言及されたように、方法７００のステップの順序は、限定的ではなく、様々な実施形態においては、方法のいくつかのステップは、異なる順序で、及び／又は並列して実行することができる。例えば、いくつかの実施形態においては、アーチファクト検出は、コントロール画像に対して確実に実行することができ、いくつかのアーチファクト領域が検出された場合にだけ、ＩＨＣ画像とコントロール画像とを位置合わせすることができる。画像が位置合わせされた後、各アーチファクト領域をコントロール画像からＩＨＣ画像にマッピングすることができ、画像間の構造的類似性を決定することができる。この実施形態においては、
図８は、ＦＯＶ内において自動的に（ユーザからのいかなる入力もなしに）アーチファクト領域を検出するための、例示的な方法８００のフローチャートを示している。方法８００は、例えば、上で説明された画像解析システム１００の様々なモジュールによって実行され得る。方法８００は、例えば、少なくとも１つの非一時的マシン可読記憶媒体（例えば、メモリ１１６）に記憶され、少なくとも１つのプロセッサ又はプロセッサコア（例えば、プロセッサ１１７）によって実行される実行可能命令の形態で、実施され得る。方法８００は、電子回路（例えば、ハードウェア）の形態で、又は電子回路とプロセッサによって実行可能な命令との何らかの組み合わせの形態で、実施され得る。方法８００のいくつかのブロックは、実質的に同時に、又は図８に示されるのと異なる順序で実行されてよいこと、方法８００は、図８に示されるよりも多い又は少ないブロックを含んでよいこと、並びに方法８００のいくつかのブロックは、ある時点において進行中であってよく、及び／又は繰り返してよいことが、方法８００についての以下の説明に基づいて、当業者によって理解されよう。

方法８００は、ブロック８０５において、開始し得、ＦＯＶが、ＩＨＣ画像において獲得され（例えば、ユーザによって選択され）得る。ブロック８１０において、全スライド位置合わせ方法を使用して、ＩＨＣ画像を隣接コントロール画像と整列させ得る。ブロック８２０において、ＩＨＣ画像がコントロール画像と構造的に類似しているかどうかが、決定され得る。類似している場合、ブロック８３０において、ＩＨＣ ＦＯＶをコントロール画像上にマッピングして、コントロールＦＯＶを決定することができ、次に、アーチファクトを探して、それを解析することができる。ブロック８４０において、いずれかのアーチファクトがコントロールＦＯＶにおいて検出されたかどうかが、決定され得る。検出された場合、ブロック８５０において、ＩＨＣ ＦＯＶが、いくつかのアーチファクトを含むこと、すなわち、アーチファクトに起因し、バイオマーカに起因しない何らかの染みを含むことを、ユーザに通知することができる。

上述の説明においては、様々なデバイス、エンジン、ユニット、又はブロック（例えば、エンジン１１１、１１２、１１３）は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせを使用して実施可能であるとして、説明された。ハードウェアは、集積回路（ＩＣ）（例えば、特定用途向け集積回路（ＡＳＩＣ）もしくはフィールドプログラマブルゲートアレイ（ＦＰＧＡ））、又は他の任意のタイプの専用もしくは汎用電子回路など、任意のタイプのアナログ及び／又はデジタル回路を含み得ることが、上述の説明に鑑みて、当業者によって理解されなければならない。ソフトウェア又はファームウェアは、任意のタイプの有形の非一時的コンピュータ可読媒体に記憶することができる、任意のタイプのプロセッサ実行可能命令を含み得、命令は、処理リソースによって実行されて、それぞれのコンポーネントの機能を処理リソースに実施させることができることが、当業者によってさらに理解されなければならない。

実行可能命令は、メモリ１１６に、又は他の任意の非一時的コンピュータ可読記憶媒体に記憶することができ、それは、ランダムアクセスメモリ（ＲＡＭ）、並びに電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、ハードドライブ、ソリッドステートドライブ、及び光ディスクなどのリードオンリメモリなど、任意のタイプの揮発性又は不揮発性メモリの任意の組み合わせとして実施することができる。非一時的コンピュータ可読媒体は、プロセッサリソースと同じデバイスに統合することができ、又はそれは、分離されていてよいが、そのデバイス又はプロセッサリソースからアクセス可能である。一例においては、プログラム命令は、インストールされたとき、プロセッサリソースによって実行されて、対応するコンポーネントを実施することができる、インストールパッケージの一部であることができる。このケースにおいては、コンピュータ可読媒体は、ＣＤ、ＤＶＤ，もしくはフラッシュドライブなど、ポータブル媒体であってよく、又はそこからインストールパッケージをダウンロードして、インストールすることができるサーバによって維持されるメモリであってよい。別の例においては、プログラム命令は、アプリケーション又はインストール済みのアプリケーションの一部であってよく、コンピュータ可読媒体は、ハードドライブ、ソリッドステートドライブ、ランダムアクセスメモリ（ＲＡＭ）、及びリードオンリメモリ（ＲＯＭ）など、統合メモリを含んでよい。

命令を実行するための処理リソースは、例えば、プロセッサ１１７であることができ、又はそれは、ＣＰＵ、ＧＰＵ、ＦＰＧＡ、ＴＰＵ、命令を取り出し、実行するように構成された別のタイプのプロセッサ、又はそれらの組み合わせなど、他の任意の処理リソースであることができる。処理リソースは、単一のデバイスに統合することができ、又は画像解析システム１００と統合されてよい、もしくは画像解析システム１００に通信可能に結合されてよい、デバイスにわたって分散させることができる。

本主題の開示の例示的な実施形態の上述の開示は、解説及び説明の目的で提示された。網羅的であること、又は主題の開示を開示された通りの形態に限定することは、意図されていない。本明細書において説明された実施形態の多くの変形及び変更が、上述の開示に照らして、当業者には明らかであろう。主題の開示の範囲は、もっぱら本明細書に添付された特許請求の範囲及びそれの均等物によって確定されるべきである。

さらに、本主題の開示の代表的な実施形態を説明する際、本明細書は、本主題の開示の方法及び／又はプロセスを、ステップの特定のシーケンスとして、提示することがあった。しかしながら、方法又はプロセスが、本明細書において説明されたステップの特定の順序に依存しない限りにおいて、方法又はプロセスは、説明されたステップの特定のシーケンスに限定されるべきではない。当業者が理解するように、ステップの他のシーケンスが、可能であってよい。したがって、本明細書において説明されたステップの特定の順序は、特許請求の範囲における限定として解釈されるべきではない。加えて、本主題の開示の方法及び／又はプロセスに関する特許請求の範囲は、書かれた順序でのステップの実行に限定されるべきではなく、シーケンスは、変化させられても、本主題の開示の主旨及び範囲内に依然として留まり得ることを、当業者は容易に理解することができる。

Claims (20)

1. 生物試料画像を解析するための画像解析システムであって、
   免疫組織化学（ＩＨＣ）画像及びコントロール画像を獲得し、前記ＩＨＣ画像と前記コントロール画像が構造的に類似しているかどうかを決定するように構成された、画像位置合わせエンジンと、
   前記コントロール画像が１つ又は複数のアーチファクトを含むかどうかを決定し、前記コントロール画像が１つ又は複数のアーチファクトを含むと決定したとき、前記１つ又は複数のアーチファクトを前記コントロール画像から前記ＩＨＣ画像にマッピングすることによって、前記ＩＨＣ画像内における１つ又は複数のアーチファクト領域を識別するように構成された、アーチファクト検出エンジンと、
   前記ＩＨＣ画像の画像解析を実行するように構成された画像解析エンジンであって、前記ＩＨＣ画像と前記コントロール画像が構造的に類似しているとの決定に基づいて、前記１つ又は複数のアーチファクト領域が前記画像解析から排除される、画像解析エンジンと
   を備える、画像解析システム。
2. 前記ＩＨＣ画像及び前記コントロール画像が、同じ生物試料ブロックの組織切片に対応する、請求項１に記載の画像解析システム。
3. 前記画像解析が、全スライドスコアリングアルゴリズムを含む、請求項１に記載の画像解析システム。
4. 前記ＩＨＣ画像が、第１の色の染色剤を用いて染色された組織スライドに対応し、前記１つ又は複数のアーチファクトが、第２の色を有し、前記第１の色が、前記第２の色と実質的に類似している、請求項１に記載の画像解析。
5. コントロール画像が、陰性コントロールスライド又は陽性コントロールスライドの一方に対応し、前記１つ又は複数のアーチファクトが、色素を含む、請求項１に記載の画像解析。
6. 前記ＩＨＣ画像と前記コントロール画像が構造的に類似しているとの前記決定が、
   変換された画像を生成するために、アフィン変換を使用して、前記ＩＨＣ画像又は前記コントロール画像を変換することと、
   前記変換された画像の中の対象と、前記ＩＨＣ画像及び前記コントロール画像の残りの一方の中の対象との間の距離を計算することと、
   前記距離と事前定義された閾値との比較に基づいて、前記ＩＨＣ画像と前記コントロール画像が構造的に類似していると決定することと
   を含む、請求項１に記載の画像解析。
7. 前記コントロール画像が、対比染色を用いて染色された陰性コントロールスライドの画像であり、前記コントロール画像が１つ又は複数のアーチファクトを含むかどうかを決定することが、前記コントロール画像内のいずれかのピクセルが前記対比染色と関連付けられた色範囲の外にあるかどうかを決定することを含む、請求項１に記載の画像解析システム。
8. 前記色範囲は、事前定義されるか、又は前記コントロール画像に基づいて動的に計算される、請求項７に記載の画像解析システム。
9. 前記画像解析エンジンが、前記１つ又は複数のアーチファクト領域をディスプレイ上において強調するようにさらに構成される、請求項１に記載の画像解析システム。
10. 前記画像解析エンジンが、前記１つ又は複数のアーチファクト領域をユーザ入力に基づいて変更するようにさらに構成される、請求項９に記載の画像解析システム。
11. アーチファクト領域を検出し、画像解析から排除する方法であって、
    免疫組織化学（ＩＨＣ）画像及びコントロール画像を獲得するステップと、
    前記コントロール画像が１つ又は複数のアーチファクトを含むかどうかを決定するステップと、
    前記コントロール画像が１つ又は複数のアーチファクトを含むと決定したとき、前記１つ又は複数のアーチファクトを前記コントロール画像から前記ＩＨＣ画像にマッピングすることによって、前記ＩＨＣ画像内における１つ又は複数のアーチファクト領域を識別するステップと、
    前記ＩＨＣ画像の画像解析を実行するステップであって、前記１つ又は複数のアーチファクト領域が画像解析から排除される、ステップと
    を含む、方法。
12. 前記ＩＨＣ画像と前記コントロール画像が構造的に類似しているかどうかを決定するステップをさらに含み、前記ＩＨＣ画像と前記コントロール画像が構造的に類似している場合かつその場合に限って、前記１つ又は複数のアーチファクト領域が前記画像解析から排除される、請求項１１に記載の方法。
13. 前記ＩＨＣ画像と前記コントロール画像が構造的に類似しているかどうかを決定する前記ステップが、
    変換された画像を生成するために、アフィン変換を使用して、前記ＩＨＣ画像又は前記コントロール画像を変換するステップと、
    前記変換された画像の中の対象と、前記ＩＨＣ画像及び前記コントロール画像の残りの一方の中の対象との間の距離を計算するステップと、
    前記距離と事前定義された閾値との比較に基づいて、前記ＩＨＣ画像と前記コントロール画像が構造的に類似していると決定するステップと
    を含む、請求項１２に記載の方法。
14. 前記画像解析が、全スライドスコアリングアルゴリズムを含む、請求項１１に記載の方法。
15. 前記コントロール画像が、対比染色を用いて染色された陰性コントロールスライドの画像であり、前記コントロール画像が１つ又は複数のアーチファクトを含むかどうかを決定するステップが、前記コントロール画像内のいずれかのピクセルが前記対比染色と関連付けられた色範囲の外にあるかどうかを決定するステップを含む、請求項１１に記載の方法。
16. 画像解析システムのプロセッサによって実行されたときに、前記画像解析システムに、
    ＩＨＣスライドの免疫組織化学（ＩＨＣ）画像の視野（ＦＯＶ）を獲得することと、
    前記ＩＨＣスライドと関連付けられたコントロールスライドのコントロール画像を獲得することと、
    コントロールＦＯＶを獲得するために、前記ＦＯＶを前記ＩＨＣ画像から前記コントロール画像にマッピングすることと、
    前記コントロールＦＯＶ内においてアーチファクトを検出することと、
    前記コントロールＦＯＶにおいていずれかのアーチファクトが検出されたかどうかを、ユーザに通知することと
    を行わせる命令を記憶した、非一時的コンピュータ可読媒体。
17. 前記ＩＨＣスライド及び前記コントロールスライドが、同じ組織ブロックに属する組織切片を含む、請求項１６に記載の非一時的コンピュータ可読媒体。
18. 前記命令が、前記プロセッサによって実行されたときに、前記画像解析システムに、前記ＩＨＣ画像と前記コントロール画像が構造的に類似しているかどうかを決定することと、前記ＩＨＣ画像と前記コントロール画像が構造的に類似しており、前記コントロールＦＯＶにおいていずれかのアーチファクトが検出された場合かつその場合に限って、前記ユーザに通知することとをさらに行わせる、請求項１６に記載の非一時的コンピュータ可読媒体。
19. 前記命令が、前記プロセッサによって実行されたときに、前記画像解析システムに、
    変換された画像を生成するために、アフィン変換を使用して、前記ＩＨＣ画像又は前記コントロール画像を変換することと、
    前記変換された画像の中の対象と、前記ＩＨＣ画像及び前記コントロール画像の残りの一方の中の対象との間の距離を計算することと、
    前記距離と事前定義された閾値との比較に基づいて、前記ＩＨＣ画像と前記コントロール画像が構造的に類似していると決定することと
    をさらに行わせる、請求項１８に記載の非一時的コンピュータ可読媒体。
20. 前記コントロール画像が、対比染色を用いて染色された陰性コントロールスライドの画像であり、前記コントロールＦＯＶ内において前記アーチファクトを検出することが、前記コントロールＦＯＶ内のいずれかのピクセルが前記対比染色と関連付けられた色範囲の外にあるかどうかを決定することを含む、請求項１６に記載の非一時的コンピュータ可読媒体。