JP2022040540A - 画像処理方法 - Google Patents

Abstract

【課題】組織標本を撮像してなる複数の学習用画像を適切な表示態様で表示出力することにより、機械学習のためのユーザーによる教示作業を効果的に支援する。
【解決手段】組織標本を撮像した複数の学習用画像の各々につき、当該画像中のオブジェクトの特徴を画像処理によって抽出し、抽出された特徴と所定の選択基準とに基づき学習用画像のうち一部の画像を複数選択して画像セットを構成し、画像セットに含まれる複数の学習用画像を同一画面に配置した表示用画像を表示装置に出力し、表示された学習用画像の少なくとも１つについてユーザーからの教示入力を受け付ける。学習用画像の組み合わせが互いに異なる複数の画像セットを構成し、該複数の画像セットそれぞれに対応する複数の表示用画像を切り替えて表示して教示入力を受け付ける。１つの学習用画像を複数の画像セットに含ませる。
【選択図】図１

Description

この発明は、例えば病理標本を撮像した画像に対する画像処理に関するものであり、特に、機械学習を用いた画像処理を行う際に必要となる学習データの作成作業を支援する技術に関する。

近年、病理組織全体を簡易に画像データ化することのできる撮像技術の発展に伴い、デジタル化された病理組織画像の蓄積が進んでいる。そして、このような病理組織画像を対象として画像処理や機械学習を用いることにより、注目する細胞や構造物の状態を解析し定量的な評価を行うことが可能となってきている。

機械学習の結果を用いた解析を良好に行うためには、細胞や構造物の典型的な事例を表す良質の学習用画像データを多数収集し、個々の学習用画像データに対してその状態を正しく教示する作業が必要となる。この作業は、病理医などの熟練者が、画像を１枚ずつ目視観察してその状態に応じたラベルを付与するというものであり、作業者への負担が非常に大きい。

例えば特許文献１に記載の技術においては、ニューラルネットワーク構造のディープラーニング（深層学習）アルゴリズムを用いて、組織の画像が腫瘍を含むものであるか否かが判定されている。この技術では、腫瘍を含む組織の画像と腫瘍を含まない画像とのそれぞれから作成された訓練データ（学習データ）を用いて深層学習を行い、腫瘍の有無による組織の形態的特徴の違いを学習させることにより、腫瘍の有無を判断する機能を有する学習済みのモデルを構築している。訓練データの基となる腫瘍の有無判断は、病理医によって行われることとなっている。

特開２０１９－１４８４７３号公報

このような人為的判断はまた、種々の誤判断要因を含み得る。まず、判断の対象となる組織、細胞、構造物等は標本ごとの個体ばらつきが非常に大きい上、それらに対する定量的かつ標準化された判断基準自体が確立されていない。また標本の染色性にもばらつきがある。このため、判断者の知識や経験に基づいた相対的な判定とならざるを得ないという問題がある。さらに判断者についても、個人のスキルや体調、疲労の度合い、判断の前までに見た他の画像の影響等によって、同一人でも判断結果がばらつくことがある。

これらのことから、ユーザー（判断者）が病理組織標本の画像に含まれる細胞や構造物の状態を効率よく、かつ安定した判断基準で判断することができるように、収集された画像の整理や提示などを自動的または半自動的に処理することのできる技術が求められる。しかしながら、上記従来技術はこのような要求に応えるには至っていない。

この発明は上記課題に鑑みなされたものであり、組織標本を撮像してなる複数の学習用画像を適切な表示態様で表示出力することにより、機械学習のためのユーザーによる教示作業を効果的に支援することのできる技術を提供することを目的とする。

この発明にかかる画像処理方法は、上記目的を達成するため、組織標本を撮像した複数の学習用画像の各々につき、当該画像中のオブジェクトの特徴を画像処理によって抽出する工程と、抽出された前記特徴と所定の選択基準とに基づき、前記学習用画像のうち一部の画像を複数選択し、選択された複数の前記学習用画像を含む画像セットを構成する工程と、前記画像セットに含まれる複数の前記学習用画像を同一画面に配置した表示用画像を表示装置に出力する工程と、表示された前記学習用画像の少なくとも１つについてユーザーからの教示入力を受け付けて、前記学習用画像とそれに対応する前記教示入力の結果とを関連付ける工程とを備え、前記学習用画像の組み合わせが互いに異なる複数の前記画像セットを作成し、該複数の画像セットそれぞれに対応する複数の前記表示用画像を切り替えて表示し、その都度前記教示入力を受け付け、前記選択基準を変更しながら前記学習用画像の選択を行うことにより、１つの前記学習用画像を複数の前記画像セットに含ませる。

このように構成された発明では、１つの画面に所定の選択基準で選択された複数の学習用画像が表示されるので、ユーザーは複数の画像を見比べて教示入力を行うことが可能である。１つだけ、あるいは複数が無作為の順番で提示された学習用画像を自らの知識と照らし合わせて判断するよりも、比較対象となる他の学習用画像が併せて表示される方が、より的確な判断結果を得やすい。

さらに、この発明では、同一の学習用画像が、他の学習用画像との組み合わせを異ならせながら複数回表示される。前記したように、ユーザーによる判断にはばらつきがあり、同じ学習用画像であっても、同時に表示される他の画像との組み合わせによって評価が揺らぐことがあり得る。組み合わせを変えながら複数回、同じ学習用画像が表示され教示入力が受け付けられることにより、統計的にこのような揺らぎの収束を図ることが可能である。

このように、評価入力を受けるべき複数の学習用画像の各々を、他の学習用画像と併せて、しかも組み合わせを変えながら複数回表示するようにすることで、ユーザーは記憶だけに頼らず実際に画像を比較しながら相対評価を行うことが可能となり、また判断の揺らぎに起因する誤教示を低減させることができる。

上記のように、本発明は、教示入力を受けるべき複数の学習用画像の各々を、他の学習用画像と併せて、しかも組み合わせを変えながら複数回表示することにより、機械学習のためのユーザーによる教示作業を効果的に支援することが可能である。

本発明に係る画像処理方法の第１実施形態を示すフローチャートである。 類似度の観点で学習用画像を分類、配列した例を示す模式図である。 本発明に係る画像処理方法の第２実施形態を示すフローチャートである。 表示用画像の表示態様の例を示す図である。 １つの画像セットに含まれる学習用画像の組み合わせを例示する図である。 ユーザーによる教示入力の事例を模式的に示す図である。

以下、本発明に係る画像処理方法の具体的な実施形態について説明する。この画像処理方法は、機械学習モデル、例えば深層学習（ディープラーニング）モデルを用いて組織標本画像の解析を行うために必要となる、教師データの作成作業を支援するためのものである。より具体的には、教師データの作成には収集された学習用画像（以下、単に「画像」ということがある）の各々へのラベル付け（教示）作業をユーザーが行う必要があるが、この画像処理方法は、それらの学習用画像を適切な態様で表示することにより、ユーザーによる教示作業を効率よく、かつ判断の揺らぎを低減しつつ行えるようにするものである。

機械学習の精度を高めるためには、多数の学習用画像を収集し、その各々に対し的確な教示作業を行う必要がある。しかしながら、例えば腫瘍細胞の判定で用いられる核の異型性など、その際の判断基準として絶対的なものは確立されておらず、画像間での相対的な判断とならざるを得ない。この場合、収集された学習用画像の全てを提示することは、画像の枚数が多くなると事実上不可能であり、またユーザーにとっても、多様な形態を示す多数の画像を相互に比較して的確な評価を行うことは困難であり、また非常に手間のかかる作業となる。

このため、現実的には多数の学習用画像のうち一部を選択して提示し、それらの中での相対比較に基づく評価をユーザーに求めることになる。この場合、表示されている画像間での相対評価は可能であるとしても、表示に含まれない他の画像との関係で当該評価が正しいとは言えないケースがあり得る。以下に説明する本発明の実施形態は、このような問題に対応するものである。

＜第１実施形態＞
図１は本発明に係る画像処理方法の第１実施形態を示すフローチャートである。この処理のうち、ステップＳ１０１における学習用画像の収集およびステップＳ１０６における教示入力は基本的にユーザーによるものであるが、その他の各処理ステップは一般的なコンピューター装置により実行可能なものである。ここでは、ユーザーインターフェースとしてマウス、キーボード等の入力デバイスと、ディスプレイ装置のような出力デバイスとを備えたコンピューター装置により、これらの処理が実行されるものとする。

最初に、多数の学習用画像が収集される（ステップＳ１０１）。学習用画像の収集は、種々の組織標本を撮像することにより収集されてもよく、また既に撮像されている組織標本の画像のうち目的に応じたものを、ライブラリから取得する態様であってもよい。

学習用画像として撮像される標本は、どの組織または器官由来のものであるか、またどのような疾患を持つ（または持たない）ものであるかについては予めわかっているものとする。これは組織を標本として採取するという行為の目的からみて妥当な前提であると言える。また、標本は細胞の目視観察に適した染色、例えばヘマトキシリン・エオジン染色（ＨＥ染色）がなされているものとする。なお、以下において「組織」の語は、特に断りのない限り、必要に応じ「器官」と読み替えることができるものとする。

収集された学習用画像に対しては、適宜の画像処理による特徴抽出（ステップＳ１０２）、および該特徴に基づく、類似度に関わる指標値の導出が行われる（ステップＳ１０３）。画像処理としては、例えば画像の二値化処理、エッジ検出処理、特定の色や輝度を有する領域の抽出などを用いることができる。また、予め機械学習により構築された領域分割アルゴリズムにより、所定の特徴を有する領域が抽出されてもよい。例えば細胞や核の個数（または密度）、形状、濃淡等、組織標本を定量的に表す各種の情報を指標値とすることができる。

また、染色された標本ごとに染色性にばらつきが生じることがある。このような染色性の違いを指標値として用いることができ、例えば赤色成分または青色成分の強さを用いることができる。さらに、画像内の二次的な構成成分量を指標値とすることもできる。ここで、「二次的な構成成分」とは、組織画像に含まれる構造物であるが解析においては直接の評価対象ではないもののことである。例えば、組織中の血管、アーチファクト（標本作製時に人工的に生じる傷等）、組織が存在しない（またはそれと同等の状態の）箇所等が、二次的な構成成分に該当する。画像に含まれるそれらの量、例えばそれらが占める面積を、指標値として用いることができる。また、例えば既存のライブラリから取得された画像のように、既にラベルが付与された画像がある場合には、その情報を類似度の指標として扱うことも可能である。例えば同一ラベルが付与された画像同士は類似度が比較的高く、ラベルが互い異なる画像間では類似度がより低いと言える。また、画像の特徴を高中低などの程度で表したラベルがある場合には、それを類似度の指標とすることができる。

複数の学習用画像間で指標値の差が比較的小さい場合、それらの間の類似度は比較的高いと言える。一方、指標値の違いが大きければ、類似度は低いと言える。このように、指標値を用いて、複数の学習用画像間で相対的に類似度を評価することができる。

図２は類似度の観点で学習用画像を分類、配列した例を示す模式図である。なお、この図は原理説明のためのものであって、実際の画像処理においてこのような分類や配列を要するものではない。収集された学習用画像が、組織の種類としてＡ，Ｂ，…、疾患の種類としてａ，ｂ，ｃ，ｄ，ｅ，…（このうち疾患ａ～ｃは組織Ａに生じる疾患であり、疾患ｄ，ｅは組織Ｂに生じる疾患であるとする）を含むものであるとする。疾患を含まない、つまり正常な組織については、「正常」な状態であることを疾患の種類の１つとして扱うことができる。

組織と疾患との各組み合わせに対し、それぞれ複数の学習用画像が収集される。各学習用画像には、当該画像がどのような組織および疾患に対応するものかを表す情報と、当該画像の特徴から求められた指標値とが関連付けられる。以下の説明において各学習用画像を区別するために、図に示すように各学習用画像に符号を付すものとする。例えば、組織Ａ、疾患ａに対応する学習用画像には、符号Ａａ１，Ａａ２，…を付す。１，２，…の番号は、指標値の大きさ順（昇順または降順）に付した連番である。同様に、組織Ａ、疾患ｂに対応する学習用画像には符号Ａｂ１，Ａｂ２，…を、組織Ｂ、疾患ｄに対応する学習用画像には符号Ｂａ１，Ｂａ２，…を付すものとする。

図１に戻って、次に、収集された学習用画像から選択された複数の画像からなる画像セットを構成する（ステップＳ１０４）。後述するように、１つの画像セットに含まれる複数の画像が１つの画面に配置されて表示出力される。したがって、ユーザーが同時に視認することができるのは、１つの画像セットに含まれる学習用画像に限られる。

ただし、この実施形態では、画像セットを構成する際の画像の選択基準を異ならせることにより、１つの学習用画像が複数の画像セットに重複して含まれるようにする。このため、画像セットを切り替えて表示するとき、表示される学習用画像の組み合わせが順次変化し、しかも、１つの学習用画像は、他の画像との組み合わせを変えながら複数回表示されることとなる。

画像セットを構成するための学習用画像の選択基準としては種々のものがあり得る。例えば、同一組織、同一疾患に対応する学習用画像を集めた画像セットを構成することができる。この場合、類似度が高い、すなわち指標値の差が小さい画像同士を組み合わせるケースと、類似度が小さい、すなわち指標値の差が大きい画像同士を組み合わせるケースとが考えられる。

また、組織の種類および疾患の種類のうち少なくとも一方が異なる学習用画像同士を組み合わせることも考えられる。このように由来の異なる標本の間でも、画像に現れる特徴が類似していることもあり得る。それらを同時に表示して比較することができるようにしておくことで、それらの間での誤判断を抑制することができる。

個々の学習用画像について複数の指標値が導出されている場合、それらの各々が類似度の指標となり得る。例えば、細胞密度を指標値とした類似度、染色性を指標値とした類似度、二次的な構成成分量を指標値とした類似度等が定義可能である。それらの類似度のそれぞれが、画像セット構成時の選択基準となり得る。つまり、細胞密度の異同に着目して組み合わされた画像セット、染色性の異同に着目して組み合わされた画像セット等をそれぞれ構成することが可能である。したがって、１つの学習用画像は種々の画像セットに含まれ得る。

このようにして構成された画像セットの１つから表示用画像が生成され、表示装置に表示される（ステップＳ１０５）。表示用画像は、当該画像セットに含まれる複数の学習用画像を同一画面に配置したものである。

そして、こうして表示された学習用画像の各々について、ユーザーからの教示入力を受け付ける（ステップＳ１０６）。ユーザーは、表示された学習用画像を見比べながら組織またはそれに含まれる細胞や構造物の状態を決定し、その結果を、入力デバイスを介して教示入力する。入力結果は、ユーザー判断に基づくラベルとして各学習用画像に関連付けられる。

組織の状態については、細胞の密度や形状、核縁の不整の有無、多核の有無、アポトーシスの有無等、種々の観点から総合的に判断する必要がある。したがって、この場合のユーザーは、病理医や研究者等、専門的知識と経験を有する者であることが求められる。

全ての画像セットについて教示入力が終了するまで（ステップＳ１０７）、表示される画像セットを変えながらステップＳ１０５、Ｓ１０６が繰り返し実行される。そして、教示入力の結果に基づき、各学習用画像についての教示結果、すなわち当該学習用画像に付与されるラベルが確定される（ステップＳ１０８）。

１つの学習用画像は複数の画像セットに含まれているから、当該学習用画像に対しては複数回の教示入力が行われている。一方、ユーザーによる判断は画像間の比較による相対的なものであるから、１つの学習用画像に対する複数回の教示入力の結果は、同時表示される他の学習用画像の影響により必ずしも同じとはならない。特に、同時に表示される他の学習用画像との形態的な差異が明確でない場合、それらの状態の判断に迷いが生じる。また、染色性の違いによる見かけ上の差異が、本来の判断基準に基づく異同を見誤らせることもあり得る。

複数回の教示入力結果が全て同じであれば、当該教示入力を確度の高いものとしてそのまま学習用画像のラベルとすることができる。一方、複数回の教示入力結果が異なる学習用画像については、それらの入力結果から統計的に教示結果を決定することができる。例えば、複数回の教示入力において最も入力頻度の高いものを最終的な教示結果とすることができる。また、複数回の教示入力結果を平均して、最終的な教示結果を決定するようにしてもよい。

このように、この実施形態では、収集された多数の学習用画像から選択された複数の学習用画像からなる画像セットを構成し、それらの学習用画像を同時に画面表示させてユーザーからの教示入力を受け付ける。このとき、画像セットを変化させることで表示される画像を切り替えながら、全ての学習用画像について教示入力を受ける。１つの学習用画像は複数の画像セットに含まれ、したがって複数回の教示入力を受ける。それらの入力結果が一致しない場合には、統計的処理によって最終的な教示結果を確定させる。

一度に表示できる学習用画像の数が限られている条件下で上記のようにすることで、この実施形態では、比較対象の画像が少ない場合に生じ得る判断の揺らぎを抑えつつ、各学習用画像に的確にラベル付けを行うことが可能である。教示入力を与えるユーザーにとっては、同時表示されている画像を比較しつつ（言い換えれば、現在表示されていない画像を考慮することなく）判断を行えばよいので、作業負担は大きく軽減される。このようにして、この実施形態では、ユーザーを支援して効率よく的確な教示作業を行わせることが可能である。

このようにしてラベル付与された学習用画像を教師データとして適宜の学習モデルに与え機械学習を行わせれば、未知の組織標本画像についても組織の状態を精度よく判定することのできる学習済みモデルを構築することが可能である。各種の組織、疾患に関する標本画像を含めた学習を行わせることで、種々の組織や疾患に対応できる汎用性の高い学習モデルとすることができる。

＜第２実施形態＞
上記した第１実施形態では、収集された学習用画像各々の特徴に基づいて予め構成された画像セットに対応する表示用画像が順番に表示され、各学習用画像に対する教示入力を受け付ける。次に説明する第２実施形態は、処理の基本的な考え方は同じであるが、教示入力の進行に応じて画像セットが動的に構成される点において上記実施形態と相違している。

図３は本発明に係る画像処理方法の第２実施形態を示すフローチャートである。ステップＳ２０１～Ｓ２０３の処理内容は、第１実施形態におけるステップＳ１０１～Ｓ１０３の処理内容と同じである。

ステップＳ２０４では、適宜の選択基準に基づき１つの画像セットが構成される。画像セットの構成方法は第１実施形態と同じとしてよい。そして、その画像セットに対応する表示用画像が作成、表示され（ステップＳ２０５）、それに含まれる学習用画像につき教示入力が受け付けられる（ステップＳ２０６）。これらも基本的な考え方は第１実施形態と同じである。

全ての学習用画像に対して教示入力が行われるまで、ステップＳ２０４～Ｓ２０６の処理が繰り返される（ステップＳ２０７）。また、続くステップＳ２０８では、現在表示されている学習用画像に与えられた教示入力の結果が収束したか否かが判定される。ここでいう「収束」とは、１つの学習用画像に対する複数回の教示入力の変動が十分に小さくなったことを意味する。このような判定を加えている理由については後述する。

全ての学習用画像について教示結果について収束するまで（ステップＳ２０７、Ｓ２０８において共にＹＥＳ）、ステップＳ２０４～Ｓ２０６の処理が繰り返される。収束がみられなかった（ステップＳ２０８においてＮＯ）場合のステップＳ２０４では、第１実施形態と同様の選択基準に加えて、それまでの教示入力の結果を加味して新たな画像セットが構成される。例えば、複数回の教示入力の結果に大きな揺らぎがある学習用画像については後の画像セットに含まれる頻度が高くなり、揺らぎの小さい学習用画像についてはその頻度が低くなるように、選択基準を調整する。

こうすることで、判断の難しい画像については種々の他の画像と組み合わせて順次表示されるので、ユーザーは多面的に評価を行うことが可能である。これにより、教示結果の揺らぎを低減させて確度を高める、つまり教示結果の収束を図ることができる。一方、揺らぎが少なく収束に近い画像については表示の頻度を下げるまたは表示対象から除外することで、教示作業の手間および所要時間を低減させることができる。

また、当初は他の学習用画像との差がわかりやすい、つまり類似度の低い学習用画像と組み合わせる一方、教示入力が進むにつれてより類似度の高い学習用画像との組み合わせを採用するようにしてもよい。比較的差異の大きい画像間での比較を経てより差異の小さい画像の比較を行うようにすることで、表示された画像間での相対的な判断がなされる状況においても教示結果の確度を高めることが可能である。

このように、過去の教示入力結果を踏まえて動的に画像セットを構成することで、この実施形態では、各学習用画像に対する教示結果の揺らぎを低減させ、一定の教示結果に収束させることができる。収束後の教示結果が、各学習用画像に関連付ける教示結果として確定される（ステップＳ２０９）。収束後の教示結果は高い確度を有している。このため、これを教師データとする機械学習の結果として構築される、学習済みモデルの精度を向上させることができる。

収束したか否かの判断については、例えば、教示入力の繰り返しに伴って教示結果が変化する学習用画像の数が一定数以下となったときに収束したとみなすことができる。全ての学習用画像について教示結果の揺らぎがなくなることが望ましいが、どうしても結果が収束しない特異な画像も含まれ得る。そのような画像についても収束させようとすると多大な時間を要する場合があるから、大部分の画像について収束がみられたことをもって全体が収束したと判断してもよい。また、ステップＳ２０８からＳ２０４への繰り返し回数に対して上限値を定めておき、繰り返し回数が上限値に達したときに強制的に収束したとみなしてもよい。

＜画面表示例＞
図４は表示用画像の表示態様の例を示す図である。図４（ａ）は、１つの画像セットに含まれる複数の（ここでは６枚の）学習用画像の全てをウィンドウＷａ内にタイル表示した事例である。この他、画面には、前の画像セットあるいは次の画像セットへ表示を切り替えるためのボタンや、表示倍率を変更するためのボタンなどのボタン群Ｂａが表示される。各学習用画像は同一倍率で表示されており、表示倍率が変更されると全ての画像の倍率が同様に変化する。

図４（ｂ）は同一画像セット内の学習用画像のうち一部をウィンドウＷｂ内に表示し、これらを横スクロールにより移動させることで残りの画像を表示できるようにしたものである。一方、図４（ｃ）はウィンドウＷｃ内の表示画像を縦スクロールにより移動させるようにしたものである。これらの表示態様においても、上記と同様のボタン群Ｂｂ，Ｂｃがそれぞれ適宜の位置に配置される。もちろん、十分な視認性を確保した上で、同一画像セット内の学習用画像の全てを同一画面内で縦または横方向に一列に並べられる場合には、そのようにした方が好ましい。

図５は１つの画像セットに含まれる学習用画像の組み合わせを例示する図である。図５（ａ）に示す例では、同一組織、同一疾患に対応する学習用画像Ａａ１，Ａａ２，Ａａ３が、類似度に関する指標値の順に並べられている。このような組み合わせおよび表示態様では、比較的類似度の高い画像同士が隣接して配置されるので、それらの間の比較を行いやすい。

また、図５（ｂ）に示す事例は、画像セットの切り替えに伴う表示用画像の変化を模式的に示したものである。まず、同一組織、同一疾患に対応するが類似度が比較的小さい、つまり異同の判断がつきやすい学習用画像Ａａ１，Ａａ５が並べて表示される。ここで、画像Ａａ５が本発明の「第１の学習用画像」に相当し、このときの画像セットが本発明の「第１の画像セット」に相当する。そして、その後の画像セットの切り替えにより、より類似度の高い、したがって判断の難しい学習用画像Ａａ１，Ａａ２が並べて表示される。ここで、画像Ａａ２が本発明の「第２の学習用画像」に相当し、このときの画像セットが本発明の「第２の画像セット」に相当する。この表示態様は、先の教示結果に基づき後の画像セットが動的に設定される第２実施形態において特に有用である。この場合、過去に入力された教示結果がわかるような情報を各学習用画像に加えてもよい。

また、図５（ｃ）は組織および疾患の種類が異なる画像の組み合わせの事例である。ここでは同じ組織Ａでも疾患タイプが異なる画像Ａａ１，Ａｂ２と、組織Ｂに対応する画像Ｂｄ１とが組み合わせられる。このような組み合わせを画像セットに含ませることにより、最終的には、由来は異なるが外観上似ている標本の区別が可能な学習済みモデルを得ることができる。

図６はユーザーによる教示入力の事例を模式的に示す図である。図６（ａ）はドロップダウンリストを用いた例を示している。表示されている画像のいずれかをクリックすると、当該画像に付与すべきラベルの候補がドロップダウンリストとして表示される。この例では、核異型度の大きさ（高、中、低）がラベルとして選択可能である。画像セット単位で表示される各画像に対しこのような入力を行うことで、全ての学習用画像にラベルを付与することができる。

図６（ｂ）は画像順序の並べ替えの例を示している。図２に示した画像の番号は特定の指標値に基づくものであり、熟練者が種々の観点から総合的に評価したときの類似度とは必ずしも一致しないことがある。図６（ｂ）に破線で示すように、画像をドラッグして他の画像と並びを入れ替えることができるようにすれば、本来の類似度に対応した順序で画像を表示することが可能となる。

図６（ｃ）は、そのようにして並べ替えられた画像に対し「境界」を設定する教示入力の事例を示している。類似度にしたがって並べられた画像の間には、各組織の状態の違いを表す境界を設定可能である。例えば、病変を含まない（正常な）画像と病変を含む画像とが混在しているとき、それらを類似度にしたがって並べると、正常な組織の画像群と病変を含む画像群とを区別するような境界が存在すると期待される。図６（ｃ）は、ユーザーが教示入力としてこのような境界を指定する操作を表している。

＜その他＞
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態の説明において、画像セットを構成する際の画像の選択基準、画像の組み合わせ、ラベルの種類、表示態様等はあくまで説明のための例示であり、これらは上記実施形態に限定されるものではない。また例えば、図６の教示入力の事例では図４（ｂ）の表示例を引用しているが、図４（ａ）、図４（ｃ）に記載の表示例に対しても同様にすることが可能である。

以上、具体的な実施形態を例示して説明してきたように、本発明に係る画像処理方法では、例えば抽出された特徴または教示入力された結果に基づき求めた学習用画像間の類似度を選択基準の１つとすることができる。類似度の高いあるいは低い画像同士をその組み合わせを変えながら比べることで、ユーザーはより確度の高い教示入力を行うことが可能である。

この場合、例えば一の学習用画像とこれに対する類似度が比較的小さい第１の学習用画像とを含む第１の画像セットと、当該一の学習用画像とこれに対する類似度が第１の学習用画像よりも大きい第２の学習用画像とを含む第２の画像セットとを作成し、第１の画像セットに対応する表示用画像の表示よりも後に、第２の画像セットに対応する表示用画像を表示するようにしてもよい。このような構成によれば、類似度が低い、したがって異同が比較的判断しやすい画像間の対比を経た上でより類似度の高い画像が比較されるので、表示される画像間での相対的な比較によっても確度の高い教示入力となることが期待される。

また例えば、先の教示入力の結果に応じて画像セットを動的に構成するように構成されてもよい。複数の学習用画像の中には、組織の状態が明確で教示入力結果の揺らぎが小さいと期待されるものや、他の学習用画像との違いが小さくユーザーが判断に迷うようなものが含まれ得る。学習用画像を複数の画像セットに含ませるに当たり、判断が難しいものは他の種々の画像と組み合わせながら表示し多面的な判断ができることが望ましい一方、状態が明確なものについては何回も教示入力を行わせることは無駄である。過去の教示入力の結果を以後の画像セットにおける学習用画像の組み合わせに反映させることで、このような状況に対応して、効率よく教示作業を行わせることができる。

また例えば、本発明に係る画像処理方法は、複数の学習用画像とそれに関連付けられた教示入力とに基づき学習モデルに機械学習を行わせる工程をさらに備えていてもよい。このようにして揺らぎの少ない教示入力結果を用いて構築される学習済みモデルは、未知の標本画像に対して、それに含まれる組織の状態を的確に判断する機能を有するものとなる。

また例えば、標本画像は、ヘマトキシリン・エオジン（ＨＥ）染色された組織標本を明視野撮像した画像であってもよい。ＨＥ染色は細胞核と細胞質とを染め分けることができる。そして、これを明視野撮像した画像は、ユーザーによる目視観察との親和性が良好である。

この発明は、画像から組織の状態を自動的に判定するための学習済みモデルを構築するためのユーザーの作業を効果的に支援するものであり、特に学習用画像に対する教示作業の効率および確度を向上させることができるものである。

Ａａ１，Ａａ２，… 学習用画像
Ｂａ，Ｂｂ，Ｂｃ ボタン群
Ｗａ，Ｗｂ，Ｗｃ ウィンドウ

Claims (6)

1. 組織標本を撮像した複数の学習用画像の各々につき、当該画像中のオブジェクトの特徴を画像処理によって抽出する工程と、
   抽出された前記特徴と所定の選択基準とに基づき、前記学習用画像のうち一部の画像を複数選択し、選択された複数の前記学習用画像を含む画像セットを構成する工程と、
   前記画像セットに含まれる複数の前記学習用画像を同一画面に配置した表示用画像を表示装置に出力する工程と、
   表示された前記学習用画像の少なくとも１つについてユーザーからの教示入力を受け付けて、前記学習用画像とそれに対応する前記教示入力の結果とを関連付ける工程と
   を備え、
   前記学習用画像の組み合わせが互いに異なる複数の前記画像セットを構成し、該複数の画像セットそれぞれに対応する複数の前記表示用画像を切り替えて表示し、その都度前記教示入力を受け付け、
   前記選択基準を変更しながら前記学習用画像の選択を行うことにより、１つの前記学習用画像を複数の前記画像セットに含ませる、画像処理方法。
2. 前記特徴または前記教示入力の結果に基づき求めた前記学習用画像間の類似度を前記選択基準の１つとする請求項１に記載の画像処理方法。
3. 一の前記学習用画像とこれに対する前記類似度が比較的小さい第１の学習用画像とを含む第１の画像セットと、当該一の学習用画像とこれに対する前記類似度が前記第１の学習用画像よりも大きい第２の学習用画像とを含む第２の画像セットとを作成し、
   前記第１の画像セットに対応する前記表示用画像の表示よりも後に、前記第２の画像セットに対応する前記表示用画像を表示する請求項２に記載の画像処理方法。
4. 先の前記教示入力の結果に応じて前記画像セットを動的に構成する請求項１ないし３のいずれかに記載の画像処理方法。
5. 複数の前記学習用画像とそれに関連付けられた前記教示入力とに基づき学習モデルに機械学習を行わせる工程をさらに備える請求項１ないし４のいずれかに記載の画像処理方法。
6. 前記原画像は、ヘマトキシリン・エオジン染色された前記組織標本を明視野撮像した画像である請求項１ないし５のいずれかに記載の画像処理方法。

Images