JP2022123488A - 閾値決定方法 - Google Patents

Abstract

【課題】染色された生物標本の画像から染色状態を判定する際に用いられる閾値を、人による判断を交えつつ効率的に最適化する。【解決手段】本発明に係る閾値決定方法は、染色された生物標本を撮像した被処理画像のうち個々の細胞に対応する細胞領域を特定する領域特定工程（Ｓ２０１～Ｓ２０３）と、被処理画像の画像濃度に対して閾値を仮設定し、細胞領域各々につきその濃度と閾値とを比較して染色に対し陽性であるか陰性であるかを判定する判定工程（Ｓ２０５～Ｓ２０６）と、細胞領域各々の染色状態の判定結果を表示し、判定結果を変更するためのユーザーの操作入力を細胞領域ごとに受け付ける受付工程（Ｓ２０７～Ｓ２１１）と、変更後の判定結果に応じて閾値を再設定する再設定工程（Ｓ２１２）とを備える。【選択図】図３

Description

この発明は、染色された生物標本の染色状態を、画像解析によって評価する際の閾値を決定する方法に関するものである。

医学や生物学の研究分野では、疾患メカニズムや生体メカニズムの解明、薬剤作用機序の解明等を目的として、組織標本や細胞標本など生体由来標本のシングルセル単位での解析が行われている。これらの解析においては、タンパク質やＲＮＡ（リボ核酸）等の生体由来物質を種々の染色方法で染色し、細胞の染色状態、具体的には細胞が当該染色に対し陽性であるか陰性であるかを評価することで定量的、定性的な解析が行われる。この評価結果には、計測時のノイズや染色手法に起因する染色ばらつきなどのアーチファクトが含まれ得る。そのため、生物学的に有意な解析を行うためには、このようなアーチファクトの影響を受けない解析方法が必要となる。

シングルセル解析の一手法であるフローサイトメトリーにおいては、例えばアイソタイプ・コントロールを用いて非特異的な抗原抗体反応を判断し、陽性か陰性かを判定するための閾値を手動で決定することが行われる（例えば、特許文献１参照）。一方、組織標本を用いたイメージサイトメトリーにおいては、画像情報から自動的に閾値を決定する手法や手作業により段階的に閾値を最適化する方法、あるいはコントロールとなる標本や細胞のデータからアーチファクトを軽減する方法などが提案されている（例えば、特許文献２、３参照）。

特許第６１８７９８９号公報 特表２０１０－５００５７３号公報 特表２０１９－５１３２５５号公報

組織標本をそのまま評価対象とする場合には、予め細胞単位に分離された試料を用いるフローサイトメトリーと異なりアーチファクトの要因が多岐に亘るため、閾値の最適化には熟練者の主観による判断および調整が必要となるケースが多い。しかしながら、組織標本に含まれる細胞の数は膨大であり、また最適な閾値は必ずしも一意でなく標本および撮像の状態によっても変わり得る。さらに、同一の標本に複数の免疫組織染色（免疫組織化学）を逐次的に施し多数種の生体由来物質を解析する状況（多重免疫染色と称される）においては、単独の染色では生じ得ないような結果の不整合を生じる可能性があることを把握しておく必要がある。

これらのことから、現時点では、人による判断を交えつつ閾値を最適化する際の調整作業を効率よく行うための環境が十分に整っているとは言えない。

この発明は上記課題に鑑みなされたものであり、免疫組織染色された標本の画像から染色状態を判定する際に用いられる閾値を、人による判断を交えつつ効率的に最適化することのできる技術を提供することを目的とする。

この発明の一の態様は、染色された生物標本を評価するための閾値決定方法であって、上記目的を達成するため、前記生物標本を撮像した被処理画像のうち個々の細胞に対応する細胞領域を特定する領域特定工程と、前記被処理画像の画像濃度に対して所定の閾値を設定し、前記細胞領域各々につきその濃度と前記閾値とを比較して、染色に対し陽性であるか陰性であるかの染色状態を判定する判定工程と、前記細胞領域各々の前記染色状態の判定結果を表示し、前記判定結果を変更するためのユーザーの操作入力を前記細胞領域ごとに受け付ける受付工程と、変更後の前記判定結果に応じて前記閾値を再設定する再設定工程とを備えている。

このように構成された発明では、被処理画像から抽出された細胞領域の各々の染色状態、具体的には細胞領域が染色に対し陽性であるか陰性であるかが、予め設定された閾値に基づき自動的に判定される。ただしこのときの閾値が最適値であるとは限らないから、熟練者の判断を反映させて閾値の最適化を行う。

具体的には、仮に設定された閾値に基づく細胞領域各々の染色状態の判定結果を表示し、これを変更するためのユーザーからの操作入力を受け付ける。これにより、ユーザーは不適切な判定結果が示された細胞領域に対し正しい判定を教示することができる。こうして教示された結果に応じて閾値の再設定を行うことで、閾値を最適値に近づく方向に修正することができる。

人的判断に基づく閾値の最適化方法としては例えば、閾値をユーザーにより変更設定可能とし、設定された閾値に基づく判定結果を表示してその妥当性をユーザーに評価させる方法がある。しかしながら、この方法では、閾値の変更により判定結果に影響を受ける細胞領域が画像内の各所に多数現れるため、そのような変化の有無や妥当性を確認して閾値を最適値に収束させてゆく作業はユーザーにとって大きな負担となる。

本発明では、ユーザーに閾値を直接操作させるのではなく、表示された判定結果に対する修正入力を受け付けて、その結果に応じた閾値の再設定を行う。このため、ユーザーは修正を要する判定結果を発見すればそれを指摘するだけでよく、全ての細胞領域について結果を確認する必要もない。したがって作業を大幅に効率化させることが可能であり、そのためのユーザー負担も小さい。

上記のように、本発明は、染色された生物標本の画像に対し、仮に設定された閾値に基づく染色状態の判定を行ってその結果を表示する。そして、ユーザーからの操作入力による判定結果の変更を受け付け、それに応じた閾値の再設定を行う。これにより、染色状態を判定するための閾値を、人による判断を交えつつ効率的に最適化することが可能である。

本発明に係る閾値決定方法を適用した標本解析方法を示すフローチャートである。 標本画像の一例を模式的に示す図である。 本実施形態の閾値決定処理を示すフローチャートである。 細胞領域の抽出結果の例を模式的に示す図である。 判定結果の例を模式的に示す図である。 判定結果を示す画像および変更入力の事例を模式的に示す図である。 複数の標本画像を組み合わせた閾値決定処理の原理を示す図である。 複数の判定結果を併合した場合のインターフェース画面例を示す図である。

図１は本発明に係る閾値決定方法を適用可能な標本解析方法の概要を示すフローチャートである。この標本解析方法は、多重免疫染色された組織標本を撮像しその画像を解析して各種の定量的情報を取得する、いわゆるイメージサイトメトリーを実行するための方法である。

最初に、処理対象となる標本画像が収集される。具体的には、解析の対象とする組織標本を所定の染色方法で染色し（ステップＳ１０１）、これを撮像してデジタル画像データを取得する（ステップＳ１０２）。撮像後の組織標本は脱色される（ステップＳ１０３）。この作業が、予め用意された複数種の染色方法の全てについて撮像が完了するまで繰り返される（ステップＳ１０４）。こうして染色の種類数に応じた複数の標本画像が収集される。これらの標本画像は、同一の組織標本に対し互いに異なる染色が施されて撮像された画像である。

次に、組織標本のうちの一部が解析の対象となる解析対象領域として設定される（ステップＳ１０５）。そして、各標本画像から解析対象領域に対応する部分画像がそれぞれ解析対象画像として切り出され、それらの解析対象画像を、互いに対応する位置同士が一致するように位置合わせ（レジストレーション）する（ステップＳ１０６）。

また、各解析対象画像から、組織中の細胞に対応する細胞領域が抽出される（ステップＳ１０７）。画像から細胞領域を抽出する方法としては各種の方法が知られており、本実施形態においてもそのような公知の方法から適宜選択して適用可能である。例えば、適宜の学習アルゴリズムを用い予め種々の染色画像を教師画像として学習させた学習モデルや人工知能などに解析対象画像を入力することで、当該画像から細胞領域を抽出することができる。また例えば、適宜の閾値による画像の二値化処理によって細胞領域とそれ以外の領域とを区別する方法や、エッジ抽出により細胞の輪郭を特定する方法などを採用可能である。

なお、染色の種類や状態によっては、解析対象画像が細胞領域の抽出に適さないものである場合がある。例えば細胞核等、細胞内部にある特定の構造物が選択的に染色された解析対象画像は、必ずしも細胞の外形を明確に示すものではないため、個々の細胞が画像中で占める領域を特定する用途には適さない場合があり得る。このような場合でも、細胞が占める領域を明りょうに表す他の染色方法で染色された画像における抽出結果を利用することが可能である。すなわち、レジストレーション処理（ステップＳ１０６）により各染色画像間の位置合わせが可能となっているから、他の１つまたは複数の染色画像で抽出された細胞領域と対応する領域を、当該解析対象画像における細胞領域とみなすことができる。

このように、各解析対象画像における細胞領域の特定は、画像処理により当該解析対象画像から直接に細胞領域を抽出する方法によってもよく、また他の染色方法で染色された１つまたは複数の画像を用いて抽出された個々の細胞領域と対応する領域を、当該解析対象画像における個々の細胞領域とみなす間接的な特定方法によってもよい。

図２は標本画像の一例を模式的に示す図である。標本画像Ｉｓは、生体から採取されあるいは培養により作製された後、適宜の染色方法で染色された組織標本Ｓの少なくとも一部を被写体として含んだ画像である。撮像は例えば光学顕微鏡撮像により行うことができる。１種類の染色ごとに１枚の標本画像Ｉｓが取得される。

標本画像Ｉｓのうち、解析対象となる少なくとも一部の領域Ｒａに対応する部分画像が、解析対象画像Ｉａとして切り出される。解析対象画像Ｉａには、組織を構成する複数の細胞Ｃの像が含まれている。領域抽出を行う適宜の画像処理により、細胞Ｃに対応する細胞領域Ｒｃが抽出される。ここでは便宜的に細胞Ｃを同サイズの円により表しているが、実際の組織では細胞の大きさや形状はまちまちであり、また複数種の細胞を含み得る。これらの細胞Ｃの定量的情報、例えばその種類や個数、大きさ、形状、密度、組織内での分布状況、特定の物質の量などを算出することが本処理の目的である。

図１の説明に戻る。抽出された各細胞領域について、その染色濃度に関わる少なくとも１種の定量値が算出される（ステップＳ１０８）。細胞または細胞中の生体由来物質がどの程度の濃度に染色されているかを定量的に表す各種の値が、定量値として用いられる。例えば、細胞領域全体の平均濃度、細胞領域内において当該染色に対応する色が特に強く表れている領域（例えば細胞の中心部あるいは外周部など）の最大濃度または平均濃度等を用いることができる。これにより、個々の細胞領域に染色がどの程度の影響を与えているかを定量化することができる。以下、この値を「染色濃度」と称することとする。

各標本画像に対して、組織中の細胞の当該染色に対する染色状態を判定するための閾値が決定される（ステップＳ１０９）。ここでいう「染色状態」とは、１種類の染色に対して、細胞が当該染色により染色されているか否かを表す指標である。ここでは、細胞またはその細胞中の生体由来物質が当該染色によって染色されその染色濃度が所定の閾値以上である場合に、この細胞は当該染色に対し「陽性」であると判定される一方、染色濃度が閾値以下である場合には、細胞は当該染色に対して「陰性」と判定されるものとする。ステップＳ１０９はこのための閾値を決定する処理であり、ここに本発明の閾値決定方法が適用される。その具体的処理内容については後述する。

こうして決定された閾値を用いて、各細胞領域の染色状態を判定し（ステップＳ１１０）、さらに各細胞領域の性状を表す各種の定量的情報を取得するサイトメトリーを実行する（ステップＳ１１１）。サイトメトリーの処理内容や、それにより求められる定量的情報の種類については任意である。それらの情報は、組織標本の画像とともに各種の病理診断や研究に供される。このように、この実施形態は、組織標本を個々の細胞に分離することなく、かつシングルセル単位で解析を行うイメージサイトメトリー技術に属するものである。

このように組織標本中の細胞を個々に解析する場合、染色のばらつきや撮像におけるノイズ、周囲の細胞や背景濃度の影響等、判定結果に影響を及ぼす種々のアーチファクトが含まれ得る。そのため、例えば画像の二値化処理に利用される公知の画像処理方法で自動的に閾値を決定したとしても、その結果が必ずしも最適値であるとは限らない。すなわち、本来は陽性と判定されるべき細胞が、閾値の不適切な設定により陰性と判定されてしまう「偽陰性」や、逆に本来は陰性と判定されるべき細胞が陽性と判定されてしまう「偽陽性」等の誤判定が含まれ得る。

したがって、決定された閾値が適切なものであるか否かについては、依然としてユーザー（熟練者）による主観的判断を介入させる余地がある。本実施形態の閾値決定処理は、ユーザーによる判断を取り入れつつ、そのための作業を効率的に行うことができるようにするべく考案されたものである。

図３は本実施形態の閾値決定処理を示すフローチャートである。この処理は、細胞の染色状態（陽性／陰性）を判定するために染色濃度に対して設定される閾値を最適化することでアーチファクトの影響を低減するための処理である。なお、この閾値決定処理は、複数種の染色のそれぞれに対して行われる。つまり、１つの染色で撮像された標本画像ごとに、閾値が設定される。実際の処理ではいくつかの染色に対する閾値設定を同時に実行することが可能であるが、以下では原理説明のために、まず１つの染色に対する閾値を決定するための処理について説明する。

汎用コンピューター装置など、適宜の演算機能を有する処理装置が所定の制御プログラムを実行することにより、この処理を実現することが可能である。このための処理装置には、演算機能を有する演算処理部と、ユーザーからの操作入力を受け付ける受付部と、画像を表示する表示部とが必要とされる。標本の撮像を除く画像処理に関しては、例えばパーソナルコンピューターのような一般的なハードウェア構成を有する処理装置を用いることができるので、ここではそのための装置構成についての詳しい説明は省略する。

この処理では、まず染色ごとの標本画像Ｉｓが取得され（ステップＳ２０１）、その中に解析対象領域Ｒａが設定されて（ステップＳ２０２）、解析対象画像Ｉａが切り出される。切り出された解析対象画像Ｉａから、細胞領域Ｒｃが抽出され（ステップＳ２０３）、個々の細胞領域についてその染色濃度が算出される（ステップＳ２０４）。これらの処理は、図１におけるステップＳ１０１～Ｓ１０８と基本的に同じであり、ステップＳ１０１～Ｓ１０８における結果をそのまま利用することが可能である。すなわち、図１の処理が既に開始されておりステップＳ１０１～Ｓ１０８における結果が利用できる場合には、ステップＳ２０１～Ｓ２０４を省略することが可能である。逆に、ステップＳ１０５～Ｓ１０８を省き、ステップＳ１０９の閾値決定処理で実行されるステップＳ２０１～Ｓ２０４の結果を利用して、ステップＳ１１０～Ｓ１１１を実行するようにしてもよい。

図４は細胞領域の抽出結果の例を模式的に示す図である。図４に示されるように、適宜の画像処理によって、解析対象画像Ｉａが、細胞Ｃに対応する細胞領域Ｒｃと、その周囲の背景領域とに区分される。このように細胞領域Ｒｃとその他の領域とを区分するマスクを作成して解析対象画像Ｉａに適用することで、細胞領域Ｒｃ内の画像内容のみを抽出することができる。これらの細胞領域Ｒｃのそれぞれについて、以下の定量化のための処理が行われる。

図３に戻る。次に、染色濃度に対して適当な閾値を仮設定し（ステップＳ２０５）、先に求められた各細胞領域Ｒｃの濃度に関する定量値である染色濃度と閾値との比較により、個々の細胞の染色状態、すなわち細胞が染色に対し陽性であるか陰性であるかを判定する（ステップＳ２０６）。具体的には、各細胞領域Ｒｃにつき求められた染色濃度と設定された閾値とを比較し、染色濃度が閾値以上であれば、この細胞領域Ｒｃは当該染色に対し陽性であると判定する。一方、染色濃度が閾値以下であれば、この細胞領域Ｒｃは当該染色に対し陰性であると判定する。染色濃度が閾値と等しい場合に陽性と判定するか陰性と判定するかについては、その判定基準が一定である限りにおいていずれであってもよい。

このときの閾値は仮設定された初期値であり、予め定められた値であってもよいし、またユーザーの設定入力によって指定された値であってもよい。また、画像の２値化に利用される公知の画像処理アルゴリズム、例えば判別分析法や大津の方法などにより画像を解析し算出した閾値を初期値として適用してもよい。

判定結果は適宜の表示装置、例えばコンピューター装置のディスプレイ画面に表示されてユーザーに提示される（ステップＳ２０７）。次に例示するように、判定結果の表示は、元の解析対象画像Ｉａに、判定結果を表す視覚的な情報を重畳したものであることが望ましい。また、加工されていない元の解析対象画像Ｉａと、判定結果を表す画像とを並べて表示してもよい。

図５は判定結果の例を模式的に示す図である。図５（ａ）は解析対象画像Ｉａの一例を模式的に示す図である。染色された組織標本においては各細胞が種々の濃度に染色され、これを撮像した解析対象画像Ｉａ内において、各細胞領域Ｒｃは細胞の染色濃度に応じて種々の輝度を有している。図５（ａ）中に符号Ｃ１～Ｃ１２を付した細胞は、いずれもある程度以上の濃度に染色された細胞であり、これらの染色濃度をグラフで表したのが図５（ｂ）である。

なお、図５および以下の図において符号Ｃ１等で表される円は、厳密には標本Ｓにおける細胞Ｃに対応する像がある画像中の領域、すなわち細胞領域Ｒｃである。しかしながら、図示および説明の便宜上、特に区別する必要がない限り、画像中の細胞領域についても単に「細胞」と称することがある。

ここで、染色濃度に対して定められた閾値よりも高濃度である細胞を「陽性」、これより低濃度である細胞を「陰性」とする。図５（ｃ）および図５（ｄ）は、図５（ａ）に示した解析対象画像Ｉａに、陽性と判定された細胞をハッチングで示す画像加工を重畳付加した画像の例を模式的に示している。

閾値を図５（ｂ）に示す値Ｔｈ１に設定したとき、これより高い濃度を有する細胞Ｃ１～Ｃ３，Ｃ６，Ｃ８，Ｃ１０，Ｃ１１が陽性と判定される。図５（ｃ）はこの状態に対応しており、ここに列記した各細胞にハッチングが付されている。ここで、左図は元の解析対象画像Ｉａにおける細胞の濃度情報を残したままこれに判定結果を表すハッチングを重畳した画像Ｉａ１であり、右図は細胞の輪郭と判定結果とのみを示したものである。

一方、閾値を他の値Ｔｈ２（＜Ｔｈ１）に設定したとき、上記に加え細胞Ｃ７，Ｃ１２がさらに陽性と判定される。図５（ｄ）はこのときの状態を表している。ここにおいても、左図は細胞の濃度情報に判定結果を表すハッチングを重畳した画像Ｉａ２であり、右図は細胞の輪郭と判定結果とのみを示したものである。

このように閾値を変化させることで判定結果が変化するが、その変化はユーザーが直感的に知得しやすいものであるとは必ずしも言えない。すなわち、例えばユーザーが手動で閾値の設定値を変更した場合、それに応じて判定結果は変化するが、その変化は画像内の様々な位置に様々な態様で現れ得るから、ユーザーがそれらを逐一確認し、閾値の変更が最適値に近づく方向であるか否かを短時間で判断することは容易でない。

そこで、この実施形態では、各細胞に対する判定結果を画面表示によりユーザーに提示し、それに対する変更入力を受け付け、変更の結果を反映させるように閾値の再計算を行う。すなわち、判定結果が適切でなく変更を要すると判断した細胞について、ユーザーが正しい判定を教示することにより、閾値が修正される。これにより、専門的知識を有するユーザーの判断を閾値に反映させることができる。また、閾値を直接操作するのではなく、判定結果が付加された画像を見渡して修正が必要と思われるものの判定を変更するのみでよいので、ユーザーはより直感的な判断に基づき操作入力を行うことが可能となる。

図３に戻って具体的な処理内容を説明する。ステップＳ２０７において表示された画像には、現在の閾値に基づく染色状態（陽性／陰性）の判定結果が示されている。この状態でユーザーからの操作入力を受け付ける。操作入力は、キーボード、マウス、タッチパネル等の適宜の入力デバイスから受け付けることができる。

修正の必要がない旨の操作入力を受け付けると（ステップＳ２０８においてＮＯ）、そのときの閾値を最適値として確定させ（ステップＳ２０９）、閾値決定処理を終了する。一方、ユーザーから変更のための入力がなされると修正が必要であると判断される（ステップＳ２０８においてＹＥＳ）。この場合には、ユーザーから入力完了の意思表示があるまで（ステップＳ２１１）、変更入力が受け付けられる（ステップＳ２１０）。ユーザーによる変更入力が完了すると（ステップＳ２１１においてＹＥＳ）、変更された結果を反映させるように、閾値の再設定を行う（ステップＳ２１２）。

そして、再設定された閾値を用いて各細胞の染色状態を再度判定し（ステップＳ２０６）、その結果を表示する（ステップＳ２０７）。これにより、ユーザーは新たに設定された閾値に基づく判定結果を確認することができる。そして、上記と同様に、必要に応じて判定結果を変更し、それに応じて閾値を再設定する処理を繰り返すことにより、閾値を最適な値に近づけてゆくことができる。

判定結果の表示方法、ユーザーによる変更入力の具体的態様、および閾値の再設定の基本的な考え方について、より具体的に説明する。なお、理解を容易にするために、解析対象画像Ｉａの例としては前出の図５と同様のものを使用することとする。

図６は判定結果を示す画像および変更入力の事例を模式的に示す図である。図６（ａ）上段に示す画像Ｉａ３は、元の解析対象画像Ｉａに、初期設定された閾値Ｔｈ１に基づく判定結果を表す情報としてのハッチングを付加した画像である。図における各細胞領域Ｒｃの濃淡は、対応する細胞の染色濃度を表すものとする。また図６（ｂ）は各細胞Ｃ１～Ｃ１２の染色濃度をグラフ化したものであり、それらの染色濃度は図５（ｂ）に示したものと同じである。

各細胞領域Ｒｃのうち、ハッチングが付されたものは、当該細胞領域に対応する細胞が陽性と判定されたことを表すものとする。閾値Ｔｈ１より高い染色濃度を有する細胞Ｃ１～Ｃ３，Ｃ６，Ｃ８，Ｃ１０，Ｃ１１に対応する細胞領域に、陽性判定を表すハッチングが付されている。一方、ハッチングが付されていないものは細胞が陰性と判定されたことを表すものとする。図からわかるように、陰性と判定される細胞には、全くあるいはほとんど染色されていない細胞の他、ある程度染色の影響を受けているがその濃度が閾値に達していないものも含まれ得る。

ステップＳ２０６において表示される画像は、ここに例示するように、元の解析対象画像Ｉａに判定結果を表す情報を重畳付加した画像であってもよく、判定結果のみを表す画像であってもよい。この場合には、ユーザーの観察を容易にするために、未加工の解析対象画像Ｉａと判定結果を表す画像Ｉａ３とを並べて表示することがより好ましい。さらには、未加工の解析対象画像Ｉａと、これに判定結果を重畳した画像Ｉａ３とを並べた画像であってもよい。

このようにして各細胞領域に陽性または陰性の判定結果が付された画像に対し、ユーザーは判定結果の変更入力を行うことができる。具体的には、図６（ａ）に符号６１を付した画面内のポインターまたはマーカーを用いて、ユーザーは判定結果を変更したい細胞を指定することができる。ここでは細胞Ｃ７に対応する細胞領域が指定されている。この状態で例えばマウスをクリックする等の操作により、ユーザーは判定の変更の意思表示を行うことができる。

指定された細胞が陰性と判定されたものであった場合には、判定結果が陽性に変更される。図６（ａ）下段は変更入力後の画像の例Ｉａ４を示しており、ユーザーにより指定された細胞Ｃ７にハッチングが新たに付されている。これは判定結果が陰性から陽性に変更されたことを表している。逆に、指定された細胞が陽性と判定されたものであった場合には、判定結果は陰性に変更される。この場合には、変更後の画像Ｉａ４においてはハッチングが除去される。このようにして、ユーザーは変更したい細胞を順次選択し、判定結果を変更することができる。

このようなユーザーによる変更操作は、判定結果の適否に対するユーザーの教示入力と考えることができる。すなわち、判定が変更された細胞については、判定結果が誤判定であることを示すユーザーの教示であると言える。一方、変更されなかった細胞についても、自動的に判定された結果が正しいものであることをユーザーが教示したものと言える。ただし、変更入力後の全ての判定結果が正しいことを示すものではない。というのは、ユーザーにより見落とされた誤判定や、ユーザーの変更自体が誤りである場合も含まれ得るからからである。また原理的にも、単一の閾値だけで全ての細胞の染色状態を適切に判定することは事実上不可能である。このことから、ユーザーによる変更作業の結果を、変更されなかったものも含めて「一応の正解」とみなして閾値の再設定が行われることが好ましい。

この意味において、再設定後の閾値は、ユーザーによる変更がなされた後の判定結果と完全に一致する判定結果を返すものである必要はない。すなわち、新たな閾値に基づき再判定を行ったときの結果がユーザーによる変更後の判定結果にできるだけ近づくように、閾値を調整すればよい。具体的には、再設定された閾値に基づいて判定を実行したときに得られる判定結果と、ユーザーによる変更後の判定結果との間の乖離が、閾値が仮設定された状態で実行された先の判定の結果と、ユーザーによる変更後の判定結果との間の乖離よりも小さくなっていればよい。これにより、閾値に基づく判定結果をユーザーの主観に近いものとすることができる。

例えば、「陰性から陽性」に変更された細胞の数と「陽性から陰性」に変更された細胞の数との間で、前者が有意に多い場合には閾値が小さくなるように、逆の場合には閾値が大きくなるように変更することで、ユーザーによる教示を閾値に反映させることができる。

閾値の計算には各種の方法を用いることができる。例えば、ユーザーにより判定が変更された細胞の染色濃度を統計的に処理し、例えば平均値や中央値を新たな閾値とすることができる。この場合、「陰性から陽性」に変更された細胞の染色濃度の値と、「陽性から陰性」に変更された細胞の染色濃度の値とを区別して扱う、例えばそれぞれに異なる重み付けをして計算に用いるようにしてもよい。

さらに、判定結果が変更されなかった細胞の染色濃度の値を加味して計算を行うようにしてもよい。この場合、全ての細胞の細胞濃度を用いてもよく、また細胞濃度が閾値に近い一部の細胞の細胞濃度のみを用いてもよい。このように、判定結果を変更されていない細胞の数値も計算に反映させるようにすることで、現状で明らかに正しいとみなせる判定結果を大きく変えることなく、閾値変更の影響が及ぶ範囲を、染色濃度が閾値付近にあり判定結果の微調整が必要な細胞のみに限定することができる。

また、各細胞の染色濃度が示す分布において領域を二分するような各種の自動計算方法、例えば前記した大津の方法、判別分析法や、サポートベクタマシン（ＳＶＭ）のような多変量解析や機械学習アルゴリズムを用いた計算方法などを適用することができる。機械学習法による場合、学習済みの状態から、ユーザーにより変更されたデータを用いて追加学習を行うファインチューニングを適用することも可能である。

このような再計算により、図６（ｂ）に示すように閾値は初期値Ｔｈ１から値Ｔｈ３に変更される。この値Ｔｈ３は、細胞Ｃ７を新たに陽性として判定するための閾値である。ここでは、もともと陰性と判定されていた細胞Ｃ７を陽性として扱う一方、陰性とした判定が変更されなかった細胞Ｃ１２については判定結果を維持するために、細胞Ｃ１２の染色濃度よりも高く細胞Ｃ７の染色濃度よりも低い値に設定されることになる。もし仮に細胞Ｃ１２についても判定が変更されていた場合には、その染色濃度よりも低い値となる。逆に、例えば細胞Ｃ１０の陽性判定が陰性に変更されていた場合には、閾値は細胞Ｃ１０を陰性と判定する方向に、つまりより大きな値に変更される。

閾値の再設定後、新たな閾値に基づく再判定の結果が表示される（ステップＳ２０７、Ｓ２０８）。このとき、先の判定とは異なる結果が出た細胞領域については、その発見を容易にするために、他の細胞領域とは異なる視覚情報が付与されることが好ましい。例えば、当該細胞領域の輪郭を強調したり、当該細胞領域を点滅させたり、先の判定結果と新しい判定結果とを時間的に交互に表示したりすることにより、ユーザーが判定の変化した細胞を見つけやすくすることができる。先の判定結果を表す画像と、新しい判定結果を表す画像とを並べて表示してもよい。

また、個々の細胞に対する判定結果の確認およびそれを修正する作業においては、表示される画像は高倍率のものであることが好ましい。その一方で、全体の判定結果を概括的に確認するためにはより低倍率の画像の方が好ましい。そこで、それぞれに判定結果が重畳された高倍率画像と低倍率画像とが選択的に、あるいは同時に表示されるようにしてもよい。この場合、低倍率画像の視野が高倍率画像の視野の全体を含む、言い換えれば高倍率画像は低倍率画像の一部を拡大したものであることが好ましい。

上記では、閾値決定処理の原理を理解しやすくするために、１種類の染色について、標本画像から当該染色に対応する閾値を決定する方法について説明した。この場合ユーザーは、標本画像中の染色された（あるいはされなかった）部分の位置とその濃度とだけから判定結果の適否を判断しなければならないこととなる。このため、染色の種類や状態によっては、熟練者であっても判断が容易でないケースもあり得る。次に説明するように、実際の処理では複数の染色結果を組み合わせて提示することで、閾値の決定作業をより効率的に行うことが可能である。

図７は複数の標本画像を組み合わせた閾値決定処理の原理を示す図である。図７（ａ）と図７（ｂ）とは、同一標本を互いに異なる２種類の染色方法でそれぞれ染色し撮像することで取得された画像を表すものとする。以下の説明では、図７（ａ）に対応する染色方法を「染色Ａ」、図７（ｂ）に対応する染色方法を「染色Ｂ」とそれぞれ称することとする。

閾値を決定するという目的に関しては、これら２種類の染色方法は同じ細胞を染色するものでないことが好ましい。すなわち、同一の細胞が、染色Ａ、染色Ｂの両方で陽性となることはないものとする。このような組み合わせとしては多くのものが知られている、例えば、Ｔ細胞において発現することが知られているタンパク質ＣＤ３、ＣＤ４、ＣＤ８等はＢ細胞では発現せず、逆にＢ細胞で発現するタンパク質ＣＤ２０、ＣＤ７９ａ等はＴ細胞では発現しないとされている。

このような関係にある染色方法で取得された標本画像を組み合わせて、一の染色方法に対する判定結果の適否を、他の染色方法に対する判定結果を加味して判断することが可能になる。例えば、上記のように同一細胞で発現することのない染色を組み合わせた場合、いずれの染色についても陽性と判定される細胞については、少なくともいずれかの判定結果が不適切である可能性が高いと言える。逆に、同一細胞で発現するはずの染色の組み合わせにおいて一方のみが陽性と判定される場合にも、少なくともいずれかの判定結果が不適切であると考えることができる。このような組み合わせは、アーチファクトの発見を容易にする可能性を有している。

以下、この技術思想を具現化した閾値決定処理方法の具体的な内容について説明する。図７（ａ）に示す画像Ｉａ５では、主として図の左上側に、染色Ａにより種々の濃度に染色された細胞が分布している。一方、図７（ｂ）に示す画像Ｉａ６では、主として図の右下側に、染色Ｂにより染色された細胞が分布している。前述した通り、本来的には染色Ａと染色Ｂとが１つの細胞で共に発現することはないものとする。染色Ａおよび染色Ｂにそれぞれ適宜の閾値を仮設定して行った染色状態の判定結果を互いに重畳表示した画像が、図７（ｃ）上段に示す画像Ｉａ７である。

この画像Ｉａ７においては、染色Ａに対応する画像Ｉａ５および染色Ｂに対応する画像Ｉａ６のそれぞれで閾値以上の染色濃度に染色された細胞が陽性と判定されている。ただし、細胞Ｃ３２～Ｃ３４については、染色Ａ、染色Ｂの両方で陽性と判定されている。また、細胞Ｃ３１，Ｃ３５については、画像Ｉａ５で一定の染色濃度を有しているものの、陰性と判断されている。このような結果の不整合は、閾値設定の不適切さに起因するアーチファクトと考えられる。

このような不整合をユーザーが教示することで、閾値の再調整を行うことができる。すなわち、ユーザーは判定結果を確認し、修正が必要であると判断したときには、その細胞を指定して正しい判定を教示することができる。具体的には、例えば図７（ｃ）下段に修正後の画像Ｉａ８として示すように、細胞Ｃ３１，Ｃ３５における判定を陰性から陽性に変更し、また染色Ａ、染色Ｂの両方で陽性と判定された細胞Ｃ３２～Ｃ３４については、染色状態や周囲の細胞との比較等に基づきいずれかの判定を変更することができる。この例では、細胞Ｃ３２については染色Ｂでの判定が陽性から陰性に変更され、細胞Ｃ３３，Ｃ３４については染色Ａでの判定が陰性から陽性に変更されている。このようにして、仮設定された閾値での判定結果における不整合を解消することができる。

確認および修正作業は、染色結果を表す画像Ｉａ５，Ｉａ６や、個々の判定結果を併合した画像Ｉａ７を見てユーザーが総合的に行えることが望ましい。この意味において、画像Ｉａ５～Ｉａ７が同一画面に並べて表示されることが好ましい。または、これらの画像Ｉａ５～Ｉａ７のうち少なくとも２枚を互いに重ね合わせて表示してもよい。ユーザーは、表示画面を見ながら、各細胞の染色の程度や周囲の細胞との比較等に基づき、どの細胞が修正を要するかを判断することができる。

判定結果が変更された染色方法については、当該染色についての閾値の再計算が行われ、新たな閾値が設定される。その具体的方法は上記した通りである。判定が変更されていなければ、当該染色については現在の閾値を最適値として確定させることができる。なお、ここでは染色Ａ、染色Ｂのいずれについても判定の変更が可能となっているが、例えば１種類の染色についてのみ判定の変更が可能となる仕様としてもよい。例えば染色Ａについて既に閾値が最適化された状態では、染色Ｂについての閾値を決定するために染色Ａの判定結果を変更することは好ましくなく、この場合には染色Ａについては変更が禁止されるようにすることができる。

図８は複数の判定結果を併合して変更入力を受け付ける際のインターフェース画面の一例を示す図である。図８（ａ）に示すように、マウス操作等により、ユーザーが判定結果を確認したい細胞をポインター６１で指定すると、当該細胞における判定結果がポップアップ表示される。この例では、細胞Ｃ３３が指定され、ポップアップ画面Ｐでは染色Ａ、染色Ｂいずれのチェックボックスにもチェックが入っている。これは染色Ａ、染色Ｂのそれぞれで判定結果が陽性であったことを意味している。

図８（ｂ）に示すように、ユーザーは判定を変更したい方の染色についてチェックを外す操作を行うことにより、判定を陽性から陰性に変更する旨の操作入力を行うことができる。逆に陰性から陽性への変更を行う場合には、該当する染色に対し新たにチェックを入れればよい。３以上の染色について併合した場合でも、それらの判定結果をポップアップ画面Ｐに表示し、同様に変更を行うことが可能である。

なお、上記は一例を示したものであり、変更入力のためのユーザーインターフェースはこれに限定されるものではない。例えば上記のように、判定結果が併合表示されているものの染色Ｂについてのみ変更入力を受け付ける場合には、先の例と同様に、当該細胞に対応する細胞領域がクリックされると判定を変更するようにしてもよい。

次に、閾値決定処理の変形例について説明する。上記実施形態では、標本画像Ｉｓからユーザーにより選択された矩形の解析対象領域Ｒａに対して１つの閾値が設定される。しかしながら、解析対象領域内の組織中に互いに異なる複数の構造が含まれる場合には、同種の細胞であっても染色濃度が異なることもある。例えば組織が皮質と髄質とに分かれているような場合がこれに該当する。

そのような場合、解析対象領域Ｒａの全体に対して単一の閾値を設定したとしても、全域を良好に解析することができないことがある。したがって、このように複数の構造が含まれる場合には、１つの解析対象領域Ｒａをさらに小領域に分割し、小領域ごとに閾値を設定することが望ましい。

解析対象領域の分割は、例えば以下のようにして行うことができる。画像処理により自動的に分割を行う方法としては、各種の領域分割方法を用いることができる。例えば、解析対象領域内の画像をローパスフィルター処理により平滑化し、その濃度の違いにより画像を複数の領域に分割することができる。また、具体的な方法として例えば、特定の領域に存在することがわかっている細胞が発現するタンパク質を染色した標本画像から、染色された細胞が高密度に存在する領域を抽出し、その領域と他の領域とに分割する方法が考えられる。

また、領域指定に関するユーザーからの操作入力を受け付け、それに応じて分割を行う構成であってもよい。熟練したユーザーであれば、例えば細胞核が染色された画像を用いて、細胞の形状や配列から構造の違いを区別することが可能である。例えば画面に表示された解析対象領域の画像に対し自由曲線を描き込むことで、領域指定を行うことができる。

また、上記実施形態では解析対象領域Ｒａがユーザーにより選択されるが、標本画像Ｉｓから自動的に解析対象領域Ｒａが決定される態様であってもよい。例えば、標本画像Ｉｓを互いに同一サイズのいくつかのブロックに自動分割し、それらのブロック画像に優先順位を設けて順に解析対象領域Ｒａとして提示するようにしてもよい。この場合、例えばアーチファクトを多く含む可能性のあるブロックを優先的に解析対象領域とすることは、アーチファクトの影響を低減する上で効果的である。

例えば、２種の染色の間で陽性と判定される細胞の分布が似通っている、つまり分布範囲の重複が多いブロックでは、互いの染色結果を参考にしながらそれぞれの閾値を調整するという処理が有効に機能すると期待される。そのため、このようなブロックで優先的に閾値の最適化を行うことが好ましい。また、これとは逆に２種の染色の間で陽性と判定される細胞の分布に重なりが少ない場合、当該ブロックは異なる細胞または構造が接する境界を含んでいる可能性が高いため、閾値を調整するのに好適であると言える。

以上説明したように、上記実施形態においては、組織標本Ｓが本発明の「標本」に相当し、これを撮像した標本画像Ｉｓおよび解析対象画像Ｉａが、それぞれ本発明の「原画像」および「被処理画像」に相当している。また、例えば図５（ｃ）、図６（ａ）に示す画像が本発明の「結果画像」に相当している。

また、上記実施形態の閾値決定処理（図３）のうち、ステップＳ２０１～Ｓ２０３が本発明の「領域特定工程」に相当し、ステップＳ２０５～Ｓ２０６が本発明の「判定工程」に相当している。また、ステップＳ２０７～Ｓ２１１が本発明の「受付工程」に、ステップＳ２１２が本発明の「再設定工程」に、それぞれ相当している。また、ステップＳ２１２の実行後に実行されるステップＳ２０７が、本発明の「再表示工程」に相当している。

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態では、同一の細胞で発現することのない２種類の染色結果を組み合わせることで、それぞれの染色に対応する閾値の最適化を効率よく行うことができるようにしている。しかしながら、複数種の染色結果の組み合わせはこのようなものに限定されず任意である。例えば核染色など、特定の細胞や生体由来物質を良好に染色することのできる染色方法で取得された標本画像は、他の染色方法で取得された標本画像との比較対象として有効に機能するものである。したがって、そのような画像を他の画像と組み合わせて当該他の画像における閾値の最適化を行うことは合理的である。

また、上記実施形態の閾値決定処理は、染色Ａおよび染色Ｂについての標本画像とそれぞれの判定結果とを用いて、染色Ａ、染色Ｂそれぞれの閾値を最適化する処理となっている。つまり、染色Ａと染色Ｂとは対等の扱いとなっている。しかしながら、例えば複数種の染色に対し優先順位を設け、その優先順位に沿って順に閾値の最適化を行うようにしてもよい。例えば他の染色における閾値を設定する際の基準として機能する染色に関してまず最適な閾値を確定し、その結果を用いて他の染色の閾値を最適化するようにすれば、結果を安定させることができる。

例えば染色Ａが基準となるものである場合、染色Ａについての閾値を染色Ｂ、染色Ｃ、…等の結果を加味して最適化し、それを基準として他の染色について閾値を最適化する、という方法を採ることができる。なお基準となる染色が複数種あってもよい。

また、上記実施形態におけるユーザーインターフェースはその一例を示したものであり、ユーザーへの判定結果を提示方法およびユーザーからの操作入力の受け付け方法としては上記に限定されず任意のものを用いることができる。

以上、具体的な実施形態を例示して説明してきたように、本発明に係る閾値決定方法では、例えば受付工程において、被処理画像に判定結果を表す情報を重畳した結果画像を表示するようにしてもよい。このような構成によれば、ユーザーにとって結果の確認および操作入力を行いやすい画像を提示することができ、閾値の決定を効率よく行うことが可能となる。この場合、被処理画像と結果画像とを同一画面に表示してもよい。判定結果と合わせて未加工の被処理画像を表示しておくことで、ユーザーは常に元の画像内容を確認することが可能となる。

また例えば、生物標本は多重免疫組織染色されたものであってもよく、この場合、受付工程では複数種の免疫組織染色における判定結果を表示するように構成されてもよい。このような構成によれば、ユーザーは他の染色結果および判定結果と比較考量して結果を確認することができるので、単一の染色における判定結果のみを提示する場合に比べてより効率よく作業を行うことが可能となる。

この場合、判定工程では、複数種の免疫組織染色のそれぞれについて染色状態の判定を行い、受付工程では、複数種の免疫組織染色のそれぞれについて操作入力を受け付け、再設定工程では、複数種の免疫組織染色のそれぞれについて閾値の再設定を行うように構成されてもよい。このような構成によれば、複数種の染色についての閾値の最適化を並行して進行させることができる。

あるいは例えば、生物標本が多重免疫組織染色されたものである場合において、複数種の免疫組織染色のそれぞれについて、判定工程、受付工程および再設定工程を実行する構成であってもよい。例えば複数種の染色について１種ずつ順番に閾値を決定してゆく処理がこれに該当する。このような構成によれば、複数種の染色のうち優先度の高いものから閾値を最適化してゆくことで、作業を効率化することができる。

また、本発明に係る閾値決定方法において、再設定工程では、再設定された閾値に基づき判定工程を実行した場合に得られる判定結果と操作入力に基づく変更後の判定結果との乖離が、仮設定された閾値に基づき実行された先の判定工程における判定結果と操作入力に基づく変更後の判定結果との乖離よりも小さくなるように閾値が再設定されることが好ましい。このような構成によれば、閾値の再設定によって、よりユーザーの主観的判断に近い判定結果を得られるようにすることができる。

また例えば、被処理画像を複数の領域に分割し、該複数の領域に対し個別に閾値を設定するようにしてもよい。周囲の組織の状態や特定の構造を形成している場合など、同じ細胞であっても染色状態が異なるケースがあり得る。被処理画像を複数に分割した領域ごとに閾値を設定することで、このような染色状態の違いに関わらず適切な判定を行うことが可能になる。

また例えば、被処理画像は、生物標本を撮像した原画像のうち一部領域を切り出したものであり、原画像中の位置が互いに異なる複数の被処理画像のそれぞれについて個別に閾値を設定するようにしてもよい。このような被処理画像の間でも、上記したような染色状態の違いが生じ得る。したがって、被処理画像のそれぞれについて個別に閾値を設定することで、同様の効果を得ることができる。

また例えば、再設定された閾値に基づき判定工程を実行し、新たな判定結果を表示する結果表示工程が設けられてもよい。このような構成によれば、再設定された閾値に基づく判定結果をユーザーに提示することで、ユーザーは調整の結果を検証することができる。

また例えば、再設定された閾値に基づき、判定工程、受付工程および再設定工程が再度実行されてもよい。このような構成によれば、閾値の再設定とその検証およびそれに基づく閾値の再調整を繰り返すことで、閾値をより最適なものに近づけることが可能となる。

この発明は、医学・生物学研究の分野中、免疫組織染色された組織標本を撮像した画像に基づく染色状態の判定に適用可能なものであり、特に多重免疫染色された標本をシングルセル単位で解析する用途に好適なものである。

Ｃ１～Ｃ１２，Ｃ３１～Ｃ３５ 細胞
Ｉａ 解析対象画像（被処理画像）
Ｉｓ 標本画像（原画像）
Ｒａ 解析対象領域
Ｒｃ 細胞領域
Ｓ 組織標本（標本）
Ｓ２０１～Ｓ２０３ 領域特定工程
Ｓ２０５～Ｓ２０６ 判定工程
Ｓ２０７～Ｓ２１１ 受付工程、再表示工程
Ｓ２１２ 再設定工程

Claims (11)

1. 染色された生物標本を評価するための閾値決定方法であって、
   前記生物標本を撮像した被処理画像のうち個々の細胞に対応する細胞領域を特定する領域特定工程と、
   前記被処理画像の画像濃度に対して閾値を仮設定し、前記細胞領域各々につきその濃度と前記閾値とを比較して、染色に対し陽性であるか陰性であるかの染色状態を判定する判定工程と、
   前記細胞領域各々の前記染色状態の判定結果を表示し、前記判定結果を変更するためのユーザーの操作入力を前記細胞領域ごとに受け付ける受付工程と、
   変更後の前記判定結果に応じて前記閾値を再設定する再設定工程と
   を備える閾値決定方法。
2. 前記受付工程では、前記被処理画像に前記判定結果を表す情報を重畳した結果画像を表示する請求項１に記載の閾値決定方法。
3. 前記被処理画像と前記結果画像とを同一画面に表示する請求項２に記載の閾値決定方法。
4. 前記生物標本は多重免疫組織染色されたものであり、前記受付工程では複数種の免疫組織染色における判定結果を表示する請求項１ないし３のいずれかに記載の閾値決定方法。
5. 前記判定工程では、複数種の免疫組織染色のそれぞれについて前記染色状態の判定を行い、
   前記受付工程では、複数種の免疫組織染色のそれぞれについて前記操作入力を受け付け、
   前記再設定工程では、複数種の免疫組織染色のそれぞれについて前記閾値の再設定を行う請求項４に記載の閾値決定方法。
6. 前記生物標本は多重免疫組織染色されたものであり、複数種の免疫組織染色のそれぞれについて、前記判定工程、前記受付工程および前記再設定工程を実行する請求項１ないし３のいずれかに記載の閾値決定方法。
7. 前記再設定工程では、再設定された前記閾値に基づき前記判定工程を実行した場合に得られる判定結果と前記操作入力に基づく変更後の判定結果との乖離が、仮設定された前記閾値に基づき実行された先の前記判定工程における判定結果と前記操作入力に基づく変更後の判定結果との乖離よりも小さくなるように前記閾値を再設定する請求項１ないし６のいずれかに記載の閾値決定方法。
8. 前記被処理画像を複数の領域に分割し、該複数の領域に対し個別に前記閾値を設定する請求項１ないし７のいずれかに記載の閾値決定方法。
9. 前記被処理画像は、前記生物標本を撮像した原画像のうち一部領域を切り出したものであり、前記原画像中の位置が互いに異なる複数の前記被処理画像のそれぞれについて個別に前記閾値を設定する請求項１ないし８のいずれかに記載の閾値決定方法。
10. 再設定された前記閾値に基づき前記判定工程を実行し、新たな判定結果を表示する結果表示工程を備える請求項１ないし９のいずれかに記載の閾値決定方法。
11. 再設定された前記閾値に基づき、前記判定工程、前記受付工程および前記再設定工程を再度実行する請求項１ないし１０のいずれかに記載の閾値決定方法。

Images