JP2023098287A - 画像表示方法、コンピュータープログラムおよび記録媒体 - Google Patents

Abstract

【課題】組織標本を多重免疫染色し撮像された複数の染色画像間のレジストレーション処理の結果を確認するユーザーの作業を、画像表示により効果的に支援する。【解決手段】本発明に係る画像表示方法は、組織標本に多重免疫染色を施して撮像され、かつ互いを位置合わせするためのレジストレーション処理が行われた複数の染色画像を含む画像セットを取得する工程と、画像セットに含まれる染色画像を、レジストレーション処理の結果を反映させた状態で、所定の切り替え規則に沿って切り替えて画面表示する工程とを備える。画面表示では、少なくとも１つの染色画像と、切り替え規則の編集に関わるユーザーからの操作入力を受け付けるためのグラフィカルユーザーインターフェースとを含む画像を表示し、操作入力に応じて切り替え規則を変更設定し、変更設定後の切り替え規則に沿って画面表示を行う。【選択図】図３

Description

この発明は、組織標本を多重免疫染色し撮像された染色画像の表示方法に関するものであり、特に、染色画像間の位置合わせのためのレジストレーション処理の結果を含んで染色画像を表示する方法に関する。

近年の免疫組織化学の分野においては、標本を細胞の集団として見るだけでなく、それを構成する個々の細胞に着目して、タンパク質やその関連物質等の生体物質の発現量や位置等を細胞単位で計測する、いわゆるシングルセル解析が注目されている。この目的のために、組織標本を撮像し、画像処理によって解析を行うイメージサイトメトリーが実用化されてきている。イメージサイトメトリーを利用した多重免疫染色法の解析技術では、生体から採取された組織切片や、人工的に培養された細胞組織等の生物標本に対し、染色、撮像および脱色を繰り返すことで、複数種の染色それぞれに対応した複数の標本画像が取得される。

この技術においては、互いに異なる染色が施された複数の標本画像間の相互参照を可能とするために、標本画像間の位置合わせ（レジストレーション処理）を行う必要がある。複数の画像からなる組（画像スタック）内において、画像間で互いに対応する箇所を見出しそれらの間の位置ずれ量を求める機能は、一般的な画像処理ソフトウェアにも実装されるようになってきている。また、組織標本画像に特化された位置合わせ技術としては、例えば特許文献１に記載された技術がある。

国際公開第２０１５／００２０８２号

種々の染色方法が順次適用される多重免疫染色においては、染色結果の発現態様が染色画像ごとに大きく異なり、画像間で互いに対応する箇所が見出せないような組み合わせもあり得る。このため、従来のレジストレーション処理技術では、必ずしも全ての染色画像について正しく位置合わせを行うことができない、つまりレジストレーションに失敗するケースが生じている。

しかしながら、このように画像内容が異なる染色画像間でのレジストレーションの成否を自動的に判定する技術は確立されておらず、熟練者が目視により成否を判断するという作業が依然として不可欠である。またその判断は熟練者にとっても容易ではなく、染色の種類が増えれば作業量も膨大なものとなる。このことから、レジストレーション処理の結果に対するユーザーによる確認作業を支援して、この作業を効率よく行うことができるような技術の確立が望まれる。そのような技術もこれまで提案されるには至っていない。

この発明は上記課題に鑑みなされたものであり、組織標本を多重免疫染色し撮像された複数の染色画像間のレジストレーション処理の結果を確認するユーザーの作業を効果的に支援することのできる画像表示方法を提供することを目的とする。

この発明に係る画像表示方法の一の態様は、組織標本に多重免疫染色を施して撮像され、かつ互いを位置合わせするためのレジストレーション処理が行われた複数の染色画像を含む画像セットを取得する工程と、前記画像セットに含まれる前記染色画像を、前記レジストレーション処理の結果を反映させた状態で、所定の切り替え規則に沿って切り替えて画面表示する工程とを備え、前記画面表示では、少なくとも１つの前記染色画像と、前記切り替え規則の編集に関わるユーザーからの操作入力を受け付けるためのグラフィカルユーザーインターフェースとを含む画像を表示し、前記操作入力に応じて前記切り替え規則を変更設定し、前記変更設定後の前記切り替え規則に沿って前記画面表示を行う。

ここで、「切り替え規則」とは、上記した画面表示において、各染色画像のうちどの画像がどういう順序で表示されるべきかを定めた規則である。本発明では、この切り替え規則がユーザー操作により動的に変更可能である。また、レジストレーション処理は、各画像間の相対的な位置ずれを補正するために行われる処理であるが、位置ずれ量を求める段階までの処理であってもよく、また求められた位置ずれ量に応じた位置補正までを含めた処理であってもよい。

内容の類似した複数の画像を切り替え表示し、残像効果を利用して画像間での差異の有無やその変化の程度を目視で確認しやすくする方法は広く行われている。ただし、多重免疫染色画像のレジストレーション処理の結果を確認する目的でこの原理を利用した方法は実用化されていない。その主たる理由としては、このような残像効果を利用した異同の確認は、画像間の相違が比較的小さい場合に有効であるところ、多重免疫染色画像のように画像間での内容の違いが大きい画像セットにおいては必ずしも有効に機能しないという点が考えられる。

画像セットに含まれる複数の染色画像について、例えば画像内容が類似した、より具体的には互いに対応する箇所が明示的に含まれているような画像同士を組み合わせて順に切り替え表示するようにすれば、異同の確認はより容易になると考えられる。しかしながら、複数の染色画像を相互に比較し、その類似の程度に応じて適切な表示順で組み合わせる方法自体が存在しない。

そこで、上記のように構成された発明では、切り替え表示される染色画像の組み合わせやその並びなどの切り替え規則についてはユーザーからの操作入力に基づき決定することとして、その際の操作を効率よく行うためのユーザーインターフェースを提供することに主眼が置かれている。

具体的には、切り替え表示される画像セットは、組織標本が多重免疫染色されて撮像された複数の染色画像を含み、それらの染色画像間では予めレジストレーション処理が行われている。そして、染色画像を切り替えつつ画面表示する際には、各染色画像にレジストレーション処理の結果が反映されている。つまり、現に表示されている染色画像から次の染色画像に切り替える際には、次の染色画像は、先の染色画像に対する相対的な位置ずれが解消された状態で表示される。このように切り替え表示にレジストレーション処理の結果が反映されることで、ユーザーは切り替え前後の画像の比較によりレジストレーション処理の成否を確認することが可能になる。

切り替えの前後の画像の組み合わせについては、染色画像とともに表示されるグラフィカルユーザーインターフェース（ＧＵＩ）をユーザーが操作することにより変更可能である。このための技術としては、例えば広く用いられている、ウィンドウ内に一覧表示された画像ファイルの並べ替え操作を行う方法と同様とすることができる。

このように、この発明では、画像セットに含まれる複数の染色画像を、レジストレーション処理の結果を反映させつつ切り替え表示し、これとともに、切り替え規則を編集するためのＧＵＩが表示される。そして、ユーザー操作によって切り替え規則の変更操作が行われると、変更後の切り替え規則に沿って切り替え表示が行われる。したがって、ユーザーは、複数の染色画像の中から比較したいものを組み合わせて切り替え表示させることで、画像間の比較、具体的にはレジストレーション処理の成否の確認を行うことが可能となる。

以上のように、本発明では、多重免疫染色およびそれに伴う撮像により得られた複数の染色画像を含む画像セットについて、各染色画像にレジストレーション処理の結果を反映させつつ切り替え表示が行われる。そして、切り替え前後の画像の組み合わせについては、ＧＵＩを介したユーザーからの操作入力により変更可能となっている。これらの機能により、複数の染色画像間のレジストレーション処理の結果を確認するユーザーの作業を効果的に支援し、作業に係るユーザー負担の軽減を図ることができる。

画像セットを作成するための処理の概略を示すフローチャートである。 本実施形態が扱う画像セットの例を示す図である。 本実施形態における画像表示処理を示すフローチャートである。 表示画像の構成例を示す図である。 表示切替ボタンが押下されたときの動作例を示す図である。 レジストレーション処理の成否判定操作を例示する図である。 採用チェックボックスへの操作を例示する図である。 表示順の操作を例示する図である。 表示切り替えにおける画像のスキップ処理を示す図である。 複数のサブセットから１つの画像セットを作成する事例を示す図である。 統合された画像セットの表示例を示す図である。

以下、本発明に係る画像表示方法の一実施形態である画像表示処理について説明する。この画像表示処理は、画像処理および論理演算処理機能を有するプロセッサと、ユーザーからの操作入力を受け付ける入力デバイスと、画像表示デバイスとを備えるシステムにより実行可能であり、例えば一般的なハードウェア構成を有するパーソナルコンピューター装置を用いて実行することができる。入力デバイスとしては、例えばマウス、キーボード、タッチペン等を単独でまたは適宜組み合わせて用いることができる。また、画像表示デバイスとしては、例えば液晶ディスプレイ装置を用いることができる。入力デバイスと画像表示デバイスとを兼備するタッチパネルが用いられてもよい。

この画像表示処理の対象は、組織標本を多重免疫染色して撮像し、さらにレジストレーション処理を行うことで得られる複数の染色画像を含む画像セットである。３枚以上の染色画像を含む画像セットにおいて、本実施形態は特に有効に機能する。画像セットは以下のようにして作成される。

図１は画像セットを作成するための処理の概略を示すフローチャートである。まず、解析の対象となる組織標本が準備される（ステップＳ１０１）。組織標本は、例えば生体から摘出された組織や培養された細胞等の試料を、カバーガラス等の適宜の担持体に固定したものである。組織標本に対しては、複数種の染色方法のそれぞれについて、染色（ステップＳ１０２）、撮像（ステップＳ１０３）および脱色（ステップＳ１０４）が行われる。これにより、１つの組織標本を複数種の染色方法で染色し撮像した複数の染色画像が得られる。

これらの染色画像の間では、撮像の間に脱色・染色作業が繰り返されることや試料自体の経時的な変形等により、画像間に位置ずれが生じる。この位置ずれを補正するために、レジストレーション処理が行われる（ステップＳ１０５）。すなわち、一の画像に対し他の一の画像を適切に重ね合わせるために必要な相対移動量が「レジストレーション量」として求められる。レジストレーション処理のための画像処理アルゴリズムとしては種々のものが実用化されており、ここではその種類は問わない。このようにしてレジストレーション処理が終了した１組の画像が、ここでいう「画像セット」となる。

多重免疫染色では、画像によっては染色される細胞が異なることから濃淡のパターンが他の染色画像と大きく異なるものがある。このことに起因して、全ての染色画像を自動的にかつ精度よく位置合わせすることが困難な場合がある。そのため、レジストレーション処理の結果については、専門知識を有するユーザーによって目視確認を行う必要が依然としてある。以下に説明する本実施形態の画像表示方法は、このようなユーザーによるレジストレーション処理結果の確認作業を効率よく行うことができるように、画像表示の面から作業を支援するものである。最終的には、全ての画像間でレジストレーションが成功している画像セットを作成することが目的となる。

図２は本実施形態が扱う画像セットの例を示す図である。同一の組織標本の同一領域が異なる染色状態で撮像されることで、複数の染色画像Image001，Image002，Image003，…，を含む画像スタックＳが取得される。これらの染色画像のそれぞれに、レジストレーション処理の結果として求められたレジストレーション量に関する情報が付与されて画像セットが構成される。レジストレーション量は、例えば２つの画像を正しく重ね合わせるために必要な画像間の相対的な平行移動量、回転量などにより表すことができる。

１つの画像スタックＳに対し、処理アルゴリズムが異なる、あるいは同一アルゴリズムでパラメーター設定が異なる等、処理条件が互いに異なる複数のレジストレーション処理を適用可能である。つまり、１つの画像スタックＳが複数組の画像セットを作成可能である。以下の例では、レジストレーション処理の処理内容を規定した２種類の処理レシピ（レシピ１、レシピ２）に対応して２組の画像セットが作成されるものとする。

図３は本実施形態における画像表示処理を示すフローチャートである。この処理は、例えばコンピューター装置が予め準備された制御プログラムを実行することにより実現される。より具体的には、コンピューター装置は制御プログラムに従い所定の画像を画像表示デバイスに表示するとともに、入力デバイスへのユーザーからの操作入力を随時受け付け、それに応じて表示を変更する。

最初に、上記のようにして作成された画像セットが取得され（ステップＳ２０１）、複数の染色画像の表示順が初期設定される（ステップＳ２０２）。このときの表示順は任意である。例えば撮像の順番と同じとしてもよく、また例えばレジストレーション処理の結果に基づいて適宜のソーティングを行った結果としてもよい。そして、表示順が第１位とされた染色画像を含む初期画像が画像表示デバイスの画面に表示される（ステップＳ２０３）。この状態でユーザーからの操作入力があるまで待機する（ステップＳ２０４）。

図４は表示画像の構成例を示す図である。表示される画像には、画像セットを構成する画像の一覧を示す一覧ウィンドウＷ１と、そのうち指定された１枚を表示する画像ウィンドウＷ２と、入力デバイスを介したユーザーからの操作入力を受け付けるためのグラフィカルユーザーインターフェース（ＧＵＩ）としてのボタン群Ｂとが含まれる。

一覧ウィンドウＷ１には、取得した画像セットに含まれる染色画像のファイル名の一覧が、現在設定されている表示順に沿って表示される。「ＳＫＩＰ」、「確認」、「採用」、「レシピ」および「基準」欄はユーザー操作を反映させるための欄である。このうち「レシピ」欄には、画像セットに適用されたレジストレーション処理のレシピを特定するための情報が表示される。この例ではレシピ１が適用されたことが示されている。他の欄の詳細については後で説明する。画像ウィンドウＷ２には選択された染色画像が適宜の倍率で表示される。一覧ウィンドウＷ１において画像Image001のＳＫＩＰ欄が濃色で塗りつぶされているのは、現在画像ウィンドウＷ２に表示されている画像がこの画像Image001であることを表している。表示倍率はユーザー操作により変更可能である。

ボタン群Ｂには、画像ウィンドウＷ２に表示される画像を切り替えるための表示切替ボタン（「上へ」、「下へ」）、レジストレーション処理の結果に対するユーザーの判定を受け付けるための確認ボタン（「ＯＫ」、「ＮＧ」および「保留」）、後述する採用ウィンドウに当該画像を反映させるための「採用」チェックボックス、および、表示順を変更するためのボタン（「上へ」「下へ」）等が含まれる。

図３に戻って、これらのボタンのいずれかに対するユーザーからの操作入力があったとき（ステップＳ２０４においてＹＥＳ）、その後の動作は操作内容によって異なる。具体的には、表示切替ボタン「上へ」が押下されたとき、ステップＳ２１１が実行される。一方、表示切替ボタン「下へ」が押下されたときには、ステップＳ２１２が実行される。

同様に、確認ボタン「ＯＫ」、「ＮＧ」、「保留」が押下されたとき、それぞれステップＳ２１３、Ｓ２１４、Ｓ２１５が実行される。また、「採用」チェックボックスがクリックされると、ステップＳ２１６が実行される。さらに、表示順ボタン「上へ」、「下へ」が押下されたときには、ステップＳ２１７、Ｓ２１８がそれぞれ実行される。

図５は表示切替ボタンが押下されたときの動作例を示す図である。図５上図のように、画像ウィンドウＷ２に画像Image001が表示された状態で、例えばユーザーのマウス操作により表示切替ボタン「下へ」が押下されたとする。このボタンは、画像ウィンドウＷ２に現在表示される画像に対して、設定されている表示順において１つ下にある画像を表示させるためのボタンである。したがって、このボタンが押下されると、図５下図に示すように、画像ウィンドウＷ２内の画像が、現在の画像Image001からみて表示順が１つ下の画像Image002に切り替わる（ステップＳ２１２）。これに伴い、一覧ウィンドウＷ１においてはＳＫＩＰ欄の濃色が画像Image001から画像Image002に変更される。

このとき、表示画像にはレジストレーション処理の結果が反映される。すなわち、画像ウィンドウＷ２内の画像が画像Image001から画像Image002に切り替わるとき、画像Image002に対しては、レジストレーション処理によって求められている画像Image001との相対位置ずれ量をキャンセルするための位置補正が適用される。

この状態から再度「下へ」ボタンが押下されると、画像ウィンドウＷ２内の画像は画像Image003に切り替わる（ステップＳ２１２）。一方、「上へ」ボタンが押下されると、画像ウィンドウＷ２内の表示画像は画像Image002から画像Image001に切り替わる（ステップＳ２１１）。このように、表示切替ボタンは、画像ウィンドウＷ２に表示される染色画像を、一覧ウィンドウＷ１に表示された順に沿って切り替える機能を実現するものである。

現在設定されている表示順において末尾の染色画像が表示されている状態で「下へ」ボタンが押下された場合には、表示順において先頭の染色画像に表示が切り替わるようにしてもよい。逆に、先頭の染色画像が表示されている状態で「上へ」ボタンが押下された場合には、末尾の染色画像に表示が切り替わるようにしてもよい。このようにすると、表示順においては遠く離れた染色画像同士を切り替えて比較することが可能になる。

染色状態の異なる２つの染色画像を比較する際、それらを並べて表示するよりも、２つの画像を切り替えて交互に表示させることが有効な場合がある。これにより、残像効果を利用して２つの画像間の位置ずれの有無や程度を評価することが可能となるからである。レジストレーション処理の結果を反映させた画像の切り替えにより、ユーザーによるレジストレーション処理の結果の成否判定作業を支援することができる。すなわち、ユーザーは、切り替え前後の画像間で位置ずれを感知するか否かにより、レジストレーション処理の結果の成否を確認することが可能である。

図６はユーザーによるレジストレーション処理の成否判定操作を例示する図である。ユーザーは、切り替え表示される画像を見てレジストレーション処理の成否を判定することができる。判定結果についてはデータに反映させることが可能である。すなわち、レジストレーション処理が成功していると判定したとき、図６に示すように、ユーザーが確認ボタン「ＯＫ」を押下すると、一覧ウィンドウＷ１に表示される当該画像の「確認」欄に「ＯＫ」と示される。これにより、当該画像はレジストレーション処理が成功した事例であることが記録される（ステップＳ２１３）。

一方、明らかな位置ずれが感知され、レジストレーション処理が失敗しているとユーザーが判定したとき、確認ボタン「ＮＧ」を押下することで、当該画像のレジストレーション処理は失敗した事例として記録される（ステップＳ２１４）。このとき一覧ウィンドウＷ１に表示される当該画像の「確認」欄に「ＮＧ」と示される。成否が不明確な画像については、「保留」の事例として記録することが可能である（ステップＳ２１５）。こうしておけば、例えば保留された画像のみを抽出して別途確認作業を行うことも可能になる。

図７はユーザーによる「採用」チェックボックスへの操作を例示する図である。ユーザーが「採用」チェックボックスをクリックすることで、チェックボックスにチェックが入った状態（以下、「採用状態」という）とチェックが外れた状態（以下、「非採用状態」）とを相互に切り替えることができる（ステップＳ２１６）。「採用」チェックボックスの機能については後述する。チェックボックスへの操作結果は、一覧ウィンドウＷ１における「採用」欄に反映される。すなわち、採用状態にある画像については、「採用」欄に「○」印が表示される。

図８はユーザーによる表示順の操作を例示する図である。例えば図８上図に示すように、画像ウィンドウＷ２に画像Image002が表示された状態でユーザーが表示順ボタン「下へ」を押下すると、図８下図に示すように、一覧ウィンドウＷ１における画像Image002の表示順が１つ繰り下げられ（ステップS２１８）、結果として画像Image002と画像Image003との順序が入れ替わる。表示順ボタン「上へ」が押下されたときには、当該画像の表示順が１つ繰り上げられる（ステップＳ２１７）。このように、ユーザー操作によって染色画像の表示順を変更することができる。

画像の切り替え表示によって２つの画像を比較する際、切り替え前後の画像間に共通する特徴が含まれていると、それを目印にして位置ずれの有無を判定しやすくなる。しかしながら、多重免疫染色された染色画像では染色内容により画像の濃淡の様態が大きく異なることがあり、切り替え前後の画像に関連性が見出せないことも多い。このことから、本実施形態では、染色画像の表示順をユーザー操作によって変更可能とする。こうすることで、切り替えの前後に表示される画像の組み合わせをユーザーが選択することが可能になり、例えば関連性のある画像同士を集める、位置ずれの小さい順に並べるなど、成否判定を行いやすい環境をユーザーの判断で整えることが可能になる。

また例えば、画像スタックＳ中の１つの染色画像を基準画像として、他の２以上の染色画像を順次基準画像と比較して確認作業を行うというニーズもある。この場合にも、表示順における基準画像の位置を順次移動させてゆくことで、他の画像との切り替え表示による確認作業を効率的に行うことが可能になる。レジストレーション処理において基準画像として用いられた染色画像については、一覧ウィンドウＷ１の「基準」欄に「○」印が表示される。この例では画像Image001が基準画像として用いられたことが示されている。

多数の画像を切り替えながら確認作業を行うとき、相互に関連性のある複数の画像の間に関連性の低いものが介在していると、その前後の画像での関連性の判断がしにくくなる。このような画像については、上記のように表示順を変更することで一連の切り替え表示に直ちに現れないようにすることができる。この他、次に説明するように、一部の画像を切り替え表示の対象から除外してしまう方法もある。

図９は表示切り替えにおける画像のスキップ処理を示す図である。図９上図に示すように、ユーザーは、一覧ウィンドウＷ１の「ＳＫＩＰ」欄にチェックを入れることにより、特定の画像を表示対象から除外することができる。図のように、例えば画像Image003の「ＳＫＩＰ」欄にチェックが入った状態でユーザーが表示切替ボタン「下へ」を押下したとき、画像ウィンドウＷ２に表示される画像は、画像Image002から画像Image004に切り替わり、画像Image003の表示はスキップされる。また、この状態から表示切替ボタン「上へ」が押下されると、画像Image004から画像Image002への切り替えが行われる。

例えばレジストレーション処理が失敗と判断された画像では、切り替え表示に現れることで却って他の画像の確認作業の障害となることがあり得る。そのような画像を切り替え表示の対象から除外することで、残像効果を利用した確認作業をスムーズに進めることが可能になる。こうして表示から除外された画像についても、チェックを外すことにより再び表示対象に戻すことが可能である。

このように、画像セットに含まれる複数の染色画像を、それらの間のレジストレーション処理の結果を反映させつつ切り替え表示することで、ユーザーによる確認作業を効果的に支援することが可能である。画像の表示・非表示の切り替えや表示順の変更をユーザー操作によって行うことができるようにすることで、作業をさらに効率化することが可能になる。

画像セットとしては、１組の画像スタックＳと単一のレシピによるレジストレーション処理の結果とを組み合わせたものを用いることができる。また、１組の画像スタックＳと、それに対する複数レシピのレジストレーション処理の結果とを統合したものを用いることも可能である。同一の画像スタックＳに含まれる２つの染色画像の間であっても、レジストレーション処理のレシピが異なっていれば、求められたレジストレーション量の値が異なる場合があり得る。

２つの画像の間の位置合わせという目的のためには、それらの画像の異同を的確に抽出することのできるレシピでレジストレーション処理が行われることが望ましい。したがって、複数レシピでのレジストレーション処理の結果を統合し、それらの中から最も良好な結果を抽出するという作業が行えると便宜である。このために例えば、１組の画像スタックＳと１つのレシピによるレジストレーション処理の結果とを組み合わせたものを１つの画像サブセットとして、異なるレシピを同一の画像スタックＳに適用した複数組の画像サブセットの集合体を１つの画像セットとすることが考えられる。

例えば、２つの画像Image001，Image002の間のレジストレーション処理を考えたとき、レシピ１で求めたレジストレーション量と、レシピ２で求めたレジストレーション量とは必ずしも一致しない。このため、レジストレーション処理の結果を反映させる上記画像表示処理で、例えば画像Image001から画像Image002への切り替え表示を行ったとき、レシピ１によるレジストレーション処理の結果を反映させた場合と、レシピ２によるレジストレーション処理の結果を反映させた場合とで、画像Image002の位置が異なることがあり得る。

画像Image001との位置ずれ量が少ない方のレシピが、これらの画像間についてはより良好な結果を与えるものと言える。切り替え表示における前後の画像の組み合わせを適宜に選択することで、このようなレシピ間の優劣の比較も可能になる。そして、複数レシピ間でより良好な結果を得られたもののレジストレーション量を採用することで、画像スタックＳに対するレジストレーション処理の精度を向上させることができる。

画像サブセットの統合においては、上記のように、レシピごとに作成した画像セットをそのまま統合した場合、確認すべき染色画像の枚数が多くなり、確認作業の手間が大きく増大することになる。この問題を解決するため、次に説明するように、各画像サブセットからユーザーにより選択された染色画像のみを収集して画像セットを構成することも可能である。ここでは、単一の画像スタックＳに対し、複数のレシピに対応する複数の画像サブセットが作成されているものとする。

図１０は複数の画像サブセットから１つの画像セットを作成する事例を示す図である。この処理は、図３の処理におけるステップＳ２０１を、図１０に示すステップＳ２０１ａ～Ｓ２０１ｃの処理に置き換えることにより実現可能である。ステップＳ２０１ａでは、同一の画像スタックＳに対してそれぞれ異なるレシピを用いてレジストレーション処理の結果を関連付けた複数の画像サブセットが取得される。そして、各画像サブセットに含まれる染色画像のうち、採用状態の画像のみが収集され（ステップＳ２０１ｂ）、それらの画像により構成される画像セットが作成される（ステップＳ２０１ｃ）。

図１１は統合された画像セットの表示例を示す図である。同図に示すように、異なるレシピ（レシピ１、レシピ２）に対応する画像サブセットごとに、図３の画像表示処理が併行して実行され、そのための表示がレシピごとの個別ウィンドウＷｄとして同一画面になされているものとする。

統合された画像セットを示す「採用ウィンドウ」Ｗｉでは、各サブセットから採用状態の画像が抽出されて一覧ウィンドウＷ１にリストアップされる。レシピ１、レシピ２それぞれに対応する画面での操作結果が直ちに採用ウィンドウに反映されることがより好ましい。すなわち、例えばレシピ１に対応する画面で、ある画像が採用状態に設定されたとき、当該画像が直ちに採用ウィンドウＷｉ中の一覧ウィンドウＷ１に組み入れられる、というものである。

採用ウィンドウＷｉ内の一覧ウィンドウＷ１において、「レシピ」欄に示された「１」、「２」は、それぞれレシピ１、レシピ２から選出された画像であることを表すものである。このように、同一の染色画像でも適用されたレジストレーション処理が異なるものについては、画像セット内では別の画像として扱われる。

このように、それぞれ異なるレシピに対応する個別ウィンドウＷｄの表示と、それらを統合する採用ウィンドウＷｉの表示とを同時に行うことで、各レシピ内での確認作業と、複数のレシピをまたいだ確認作業とを併行して進行させることができる。例えば、各レシピでレジストレーション処理が成功したと判定された画像のみを採用ウィンドウ（本発明の「統合ウィンドウ」に相当）Ｗｉに集めることで、この画像スタックＳに対するレジストレーション結果の精度向上を図ることができる。複数レシピでのレジストレーション結果を比較し、そのうち結果が最も良好なものを選出するといった作業が可能となるからである。

また、レジストレーション処理のレシピを評価する目的にも、この表示態様を利用可能である。すなわち、複数のレシピでのレジストレーション処理を用いて上記作業が行われた結果、「成功」と判断された画像をより多く含むレシピが、当該画像スタックＳに対して最も有効なレジストレーション処理を提供することができるものであると言える。

なお、上記実施形態では、表示画像の切り替えをユーザーによる表示切替ボタン操作に応じて行うこととしている。これ以外に、一定の時間間隔で画像を自動的に切り替えるような表示モードがあると便利である。例えば多数の画像間でのレジストレーション処理の結果について全体の傾向を把握したいときや、表示順の並べ替え作業がある程度進んでそれらの確認を行う際等には、自動での表示切り替えを行うことで、ユーザーは画像ウィンドウＷ２から目を離すことなく各画像を順に確認することが可能となる。

したがって、上記のようにユーザー操作で画像が切り替わる表示モードと、一定間隔で自動的に画像が切り替わる表示モードとの両方を備えておき、ユーザーの希望でいずれかを選択することができるようにしておくことが好ましい。

以上のように、本実施形態の画像表示方法では、レジストレーション処理が実行された複数の染色画像を含む画像セットについて、各染色画像を、レジストレーション結果を反映させつつ切り替え表示する。これにより、ユーザーによるレジストレーション結果の確認作業を、残像効果を利用して効果的に支援することができる。

残像効果を効果的に利用するために、切り替え表示される画像の組み合わせを定めた切り替え規則が変更可能となっている。すなわち、一部の画像を切り替え表示の対象から除外する機能や、表示順を変更する機能等が、ユーザー操作に応じて実行可能となっている。また、画像を切り替え表示しながら、レジストレーション処理の成否についてのユーザーの判定結果を記録してゆくことができる。これらの機能により、ユーザーによる確認作業をより効率よく行うことが可能であり、ユーザーの作業負荷も軽減される。

上記実施形態における各種の画像処理については、一般的なハードウェア構成を有するコンピューター装置を用いて実行することが可能である。すなわち、上記動作手順を記述したコンピュータープログラムを汎用のコンピューター装置に実装することで、当該コンピューター装置を本発明の実行主体として機能させることが可能である。

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態の表示画面構成はその一例を示したものであり、ウィンドウやボタンの配置、名称等については記載のものに限定されず任意である。また例えば、画像ウィンドウに複数の染色画像が同時表示されるような機能がさらに設けられてもよい。

また、画像ウィンドウＷ２への表示順の変更については、上記のように表示順ボタンを操作する方法の他に、例えば一覧ウィンドウＷ１内でのドラッグアンドドロップにより表示順を移動させる方法が加えられてもよい。

以上、具体的な実施形態を例示して説明してきたように、本発明に係る画像表示方法は、複数の染色画像のうち、画面表示における切り替え表示の対象に含めるものと除外するものとを区別するための指定を操作入力によって受け付けるように構成することができる。複数の染色画像を切り替え表示してユーザーが確認を行う際、例えば濃淡の様態が他と大きく異なっている画像やレジストレーション処理の結果が不適切な画像など、他の画像の確認の障害となるようなものが含まれ得る。このような画像を表示対象から除外することができるようにしておくことで、他の画像についての確認作業をより効率的に行うことが可能になる。

また例えば、画面表示における切り替え表示の順番に関する指定を、操作入力によって受け付けるように構成することができる。操作入力によって指定された染色画像の表示順を移動させる機能が設けられてもよい。表示順の変更を受け付けることにより、ユーザーが相互に比較したい画像同士を希望の順番で切り替え表示することが可能になる。

また例えば、切り替え規則において設定された表示順における最後の染色画像の次に、表示順における最初の染色画像を表示するようにしてもよい。このような構成によれば、表示順においては遠く離れた染色画像同士を切り替えて比較することが可能になる。

また例えば、染色画像の切り替え表示のモードとして、ユーザー操作に応じて表示画像を切り替えるモードと、所定の時間間隔で自動的に表示画像を切り替えるモードとが実行可能であってもよい。ユーザー操作による切り替えでは、ユーザーが操作するまで切り替えが行われないので、１つの画像を任意の時間観察することが可能である。一方、自動的に表示が切り替わるモードでは、ユーザーは画面から目を離すことなく、多数の画像の確認を行うことができる。特に残像効果を利用して画像の比較を行う場合、視線を動かさずに済むことは有用である。

また例えば、画面表示により表示される染色画像に対して、レジストレーション処理の結果判定に関するユーザーからの操作入力を受け付けることができる。これにより、各染色画像に対し、レジストレーション処理の結果に対するユーザーの判定に関する情報を付与することが可能となる。

また例えば、画像セットは、同一組の染色画像に対して処理条件が異なるレジストレーション処理が施された複数組のサブセットを含んでいてもよい。同一組の染色画像であっても、レジストレーション処理の処理条件が異なればその結果が異なる場合がある。処理条件の異なる複数組のサブセットを含む画像セットを用いることで、その中から例えば結果が良好なものを抽出して選出しレジストレーション処理の結果として採用することが可能になる。

この場合、一組のサブセットに含まれる染色画像を切り替え表示する画面表示と、複数組のサブセットに含まれる染色画像を切り替え表示する前記画面表示とを実行することができる。また例えば、染色画像を表示するウィンドウとして、複数のサブセットの各々に対応する複数の個別ウィンドウと、個別ウィンドウを用いてユーザー操作により個々のサブセットから選択された染色画像を統合して表示する統合ウィンドウとが設けられてもよい。こうすることで、１つのサブセット内での確認作業と、サブセットをまたいだ確認作業とを行うことが可能になる。

また例えば、複数組のサブセットに含まれる染色画像のうち、ユーザーからの操作入力により選択されたものが画像セットに含まれるように構成されてもよい。画像セットが複数組のサブセットを含むことで表示される画像の数が多くなり、確認作業の手間が増大するおそれがある。そこで、画像セットに含める染色画像をユーザーが選択できるようにすれば、ユーザーがサブセットをまたいで確認する必要があると判断した画像だけを集めて画像セットを構成することが可能となり、確認作業の効率を向上させることが可能となる。

なお、本発明は、コンピューター装置に、上記した画像表示方法の各工程を実行させるためのプログラムとして、またこのプログラムを非一時的に記録した、コンピューター読み取り可能な記録媒体として実施することが可能である。上記各工程は一般的なハードウェア構成を有するコンピューター装置により実現可能なものであり、既存のコンピューター装置に上記プログラムを実装することで、当該コンピューター装置に新たな機能を付与することが可能となる。

この発明は、医学・生物学研究等の分野において、同一の組織標本を複数回染色・撮像して得られる画像を統合して解析する用途に適用可能なものであり、例えば多重免疫染色された組織標本をシングルセル単位で解析する用途に好適なものである。

Image001，Image002，… 染色画像
Ｓ 画像スタック
Ｗ１ 一覧ウィンドウ
Ｗ２ 画像ウィンドウ
Ｗｄ 個別ウィンドウ
Ｗｉ 採用ウィンドウ（統合ウィンドウ）

Claims (12)

1. 組織標本に多重免疫染色を施して撮像され、かつ互いを位置合わせするためのレジストレーション処理が行われた複数の染色画像を含む画像セットを取得する工程と、
   前記画像セットに含まれる前記染色画像を、前記レジストレーション処理の結果を反映させた状態で、所定の切り替え規則に沿って切り替えて画面表示する工程と
   を備え、
   前記画面表示では、少なくとも１つの前記染色画像と、前記切り替え規則の編集に関わるユーザーからの操作入力を受け付けるためのグラフィカルユーザーインターフェースとを含む画像を表示し、
   前記操作入力に応じて前記切り替え規則を変更設定し、
   前記変更設定後の前記切り替え規則に沿って前記画面表示を行う、画像表示方法。
2. 前記染色画像のうち、前記画面表示における切り替え表示の対象に含めるものと除外するものとを区別するための指定を、前記操作入力によって受け付ける、請求項１に記載の画像表示方法。
3. 前記画面表示における切り替え表示の順番に関する指定を、前記操作入力によって受け付ける、請求項１に記載の画像表示方法。
4. 前記切り替え規則として設定された表示順における最後の前記染色画像の次に、前記表示順における最初の前記染色画像を表示する、請求項１ないし３のいずれかに記載の画像表示方法。
5. 前記染色画像の切り替え表示のモードとして、ユーザー操作に応じて表示画像を切り替えるモードと、所定の時間間隔で自動的に表示画像を切り替えるモードとを実行する、請求項１ないし４のいずれかに記載の画像表示方法。
6. 前記画面表示により表示される前記染色画像に対して、前記レジストレーション処理の結果判定に関するユーザーからの操作入力を受け付ける工程をさらに備える、請求項１ないし５のいずれかに記載の画像表示方法。
7. 前記画像セットは、同一組の前記染色画像に対して処理条件が異なる前記レジストレーション処理が施された複数組のサブセットを含む、請求項１ないし６のいずれかに記載の画像表示方法。
8. 一組の前記サブセットに含まれる前記染色画像を切り替え表示する前記画面表示と、複数組の前記サブセットに含まれる前記染色画像を切り替え表示する前記画面表示とを実行する、請求項７に記載の画像表示方法。
9. 前記染色画像を表示するウィンドウとして、複数の前記サブセットの各々に対応する複数の個別ウィンドウと、前記個別ウィンドウを用いてユーザー操作により個々の前記サブセットから選択された前記染色画像を統合して表示する統合ウィンドウとを設ける、請求項７または８に記載の画像表示方法。
10. 複数組の前記サブセットに含まれる前記染色画像のうち、ユーザーからの操作入力により選択されたものを前記画像セットに含ませる、請求項７に記載の画像表示方法。
11. 請求項１ないし１０のいずれかに記載の画像表示方法をコンピューター装置に実行させるための、コンピュータープログラム。
12. 請求項１１に記載のコンピュータープログラムを非一時的に記録した、コンピューター読み取り可能な記録媒体。

Images