JP2021081835A - 生成装置および生成方法 - Google Patents

Abstract

【課題】識別対象の診断の補助を促進させる学習データの生成装置および生成方法を提供する。【解決手段】撮像システムと生成装置がネットワークを介して接続された情報処理システムにおいて、生成装置１００は、取得部１３１と、生成部１３４とを備える。取得部１３１は、撮像された第１の病理画像と、第１の病理画像に付与された情報であって、第１の病理画像に関連するメタ情報であるアノテーションとを取得する。生成部１３４は、第１の病理画像とは異なる第２の病理画像に基づいて、アノテーションを第２の病理画像に対応するよう転記した学習用の学習データであって、第２の病理画像に応じて病理に関する情報を推定する学習データを生成する。【選択図】図６

Description

本発明は、生成装置および生成方法に関する。

医療又は病理等の分野において、光学顕微鏡により得られた、生体の細胞、組織、臓器などの切片の画像をデジタル化する場合がある。そして、医師や病理学者等は、デジタル化された画像であるデジタル画像に基づいて、患者を診断する場合がある。

病理画像のデジタル化を行うことの一つのメリットは、画像中の所定の領域に情報を付加できることである。ここで、画像中の所定の領域に付加された情報とは、病変部が存在する可能性のある領域などに、病理医などが注目すべき領域として付したマーク（以下、適宜、「アノテーション」とする。）である。また、他のメリットとしては、画像中の所定の領域に付加された情報を学習することで、症例や病名などの情報を適切に推定するための学習モデルを生成することである。ここで、学習モデルとは、例えば、癌である、癌でないなどの２値分類を推定するためのモデルである。他の例としては、学習モデルは、癌の中でも、進行ステージなどの詳細な分類を推定するためのモデルである。

従来、病理画像にアノテーションを付加して視覚的に観察しやすくすることにより病理医のための診断の補助を行うことが知られている（特許文献１参照）。

特開２０１１−１３３８４９号公報

従来の技術では、学習モデルの生成に用いた学習データを撮像した際に用いた撮像装置（以下、適宜、「学習用の撮像装置」とする。）と、評価したい対象を撮像する際の撮像装置（以下、適宜、「評価用の撮像装置」とする。）とが異なる場合、学習用の撮像装置を用いて学習モデルを生成したとしても、撮像装置間にばらつきがあるため、学習用の撮像装置を用いて生成された学習モデルでは、評価用の撮像装置で撮像された情報を適切に評価できない可能性がある。

本願は、上記に鑑みてなされたものであって、識別対象の診断の補助を促進させることを目的とする。

本願に係る生成装置は、撮像された第１の病理画像と、第１の病理画像に付与された情報であって、第１の病理画像に関連するメタ情報であるアノテーションとを取得する取得部と、第１の病理画像とは異なる第２の病理画像に基づいて、アノテーションを第２の病理画像に対応するよう転記した学習用の学習データであって、第２の病理画像に応じて病理に関する情報を推定する学習データを生成する生成部とを備えることを特徴とする。

図１は、実施形態に係る情報処理システムの構成例を示す図である。 図２は、実施形態に係る情報処理の一例を示す図である。 図３は、実施形態に係る情報処理の一例を示す図である。 図４は、実施形態に係る情報処理の一例を示す図である。 図５は、実施形態に係る情報処理の一例を示す図である。 図６は、実施形態に係る生成装置の構成例を示す図である。 図７は、実施形態に係るスライド記憶部の一例を示す図である。 図８は、実施形態に係るスライドデータ記憶部の一例を示す図である。 図９は、実施形態に係るアノテーション記憶部の一例を示す図である。 図１０は、実施形態に係る病理対象の一例を示す図である。 図１１は、実施形態に係る新スライド記憶部の一例を示す図である。 図１２は、実施形態に係る新スライドデータ記憶部の一例を示す図である。 図１３は、実施形態に係る転記アノテーション記憶部の一例を示す図である。 図１４は、実施形態に係る修正アノテーション記憶部の一例を示す図である。 図１５は、実施形態に係るモデル記憶部の一例を示す図である。 図１６は、実施形態に係る座標変換情報記憶部の一例を示す図である。 図１７は、実施形態に係る座標変換情報の一例を示す図である。 図１８は、実施形態に係る情報処理の一例を示すフローチャートである。 図１９は、実施形態に係る情報処理の一例を示すフローチャートである。 図２０は、実施形態に係る情報処理の一例を示すフローチャートである。 図２１は、実施形態に係る生成装置の構成例とフローを示す図である。 図２２は、変形例に係る生成装置の構成例とフローを示す図である。 図２３は、変形例に係る生成装置の構成例を示す図である。 図２４は、変形例に係る情報処理の一例を示すフローチャートである。 図２５は、生成装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に、本願に係る生成装置、生成方法及び生成プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る生成装置、生成方法及び生成プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

以下に示す項目順序に従って本開示を説明する。
１．情報処理システムの構成
２．学習用の撮像装置と評価用の撮像装置が同じ場合の情報処理の一例
３．学習用の撮像装置と評価用の撮像装置が異なる場合の情報処理の一例
４．生成装置の構成
５．情報処理のフロー
６．処理のバリエーション
６−１．ラベルの種類
６−２．推定結果の提供
６−３．学習方法
６−４．病理対象
６−５．撮像対象
６−６．座標情報を用いたアノテーションの変換方法
６−７．撮像装置のフォーマットを用いたアノテーションの変換方法
６−８．実施形態に係るアノテーション
６−９．実施形態に係るスライド
６−１０．アノテーションの変換
６−１１．学習データ
６−１２．病理症例番号を用いたスライドの特定
７．ハードウェア構成
８．その他

（実施形態）
〔１．情報処理システムの構成〕
図１を用いて情報処理システム１の構成について説明する。図１は、実施形態に係る情報処理システムの構成例を示す図である。図１に示すように、情報処理システム１には、撮像システム２と、生成装置１００とが含まれる。撮像システム２と、生成装置１００とは所定の通信網（ネットワークＮ）を介して、有線または無線により通信可能に接続される。図１は、実施形態に係る情報処理システムの構成例を示す図である。なお、図１に示した情報処理システム１には、複数の撮像システム２や、複数台の生成装置１００が含まれてもよい。

撮像システム２は、主に病理医（以下、「ユーザ」とする。）が使用するシステムであり、例えば研究所や病院に適用される。図１に示すように、撮像システム２は、第１の撮像装置１０と、サーバ１１と、表示制御装置１２と、表示装置１３とを含む。

第１の撮像装置１０は、スライドに収められた観察対象物を撮像し、デジタル画像である病理画像（医療画像の一例）（以下、適宜、「第１の病理画像」とする。）を生成する撮像装置である。なお、観察対象物とは、例えば、患者から採取された組織や細胞であり、臓器の肉片、唾液、血液などである。なお、第１の病理画像に対して、病理医などが付与したアノテーションに基づくアノテーションが、実施形態に係る学習データになる。具体的には、第１の病理画像に対して、病理医などが付与したアノテーションや、後述する転記アノテーション及び修正アノテーションなどが、実施形態に係る学習データになる。例えば、第１の撮像装置１０は、癌である、癌でない、などの２値分類を推定するための学習データを生成する。第１の撮像装置１０は、撮像した第１の病理画像を生成装置１００等へネットワークＮを介して送信する。例えば、第１の撮像装置１０は、撮像した第１の病理画像と、第１の病理画像に付されたアノテーションに関する情報であるアノテーション情報とを生成装置１００へ送信する。ここで、アノテーション情報には、アノテーションの位置を示す位置情報と、アノテーションに付加された情報である付加情報とが含まれる。アノテーションの位置情報は、ユーザが病理画像に付与したアノテーションの座標情報である。なお、アノテーション情報は、座標情報などのアノテーションの位置情報の代わりに、アノテーションの画像情報を含んでもよい。アノテーションの付加情報としては、例えば、アノテーションの注釈を示す注釈情報である。例えば、アノテーションの注釈情報は、病状や部位などに関する情報である。具体的には、アノテーションの注釈を示す情報は、「癌である」や「癌でない」などの、患者の病状を示すラベルである。

サーバ１１は、第１の撮像装置１０によって撮像された第１の病理画像を図示しない記憶部に記憶、保持する装置である。サーバ１１は、表示制御装置１２から閲覧要求を受け付けた場合に、図示しない記憶部から第１の病理画像を検索し、検索した第１の病理画像を表示制御装置１２に送る。

また、サーバ１１は、表示装置１３で表示された第１の病理画像にユーザが付与したアノテーションを図示しない記憶部に記憶、保持する装置である。

サーバ１１には、ユーザによる診断に関する情報が日々蓄積されるものとする。すなわち、サーバ１１には、第１の撮像装置１０によって撮像された第１の病理画像と、第１の病理画像に対して付与されたアノテーションとが保存される。

表示制御装置１２は、ユーザから受け付けた第１の病理画像の閲覧要求をサーバ１１に送る。そして、表示制御装置１２は、サーバ１１から受け付けた第１の病理画像を表示するよう表示装置１３を制御する。

表示装置１３は、例えば、液晶、ＥＬ（Electro-Luminescence）、ＣＲＴ（Cathode Ray Tube）などが用いられた画面を有する。表示装置１３は４Ｋや８Ｋに対応していてもよいし、複数の表示装置により形成されてもよい。表示装置１３は、表示制御装置１２によって表示するよう制御された第１の病理画像を表示する。

また、表示装置１３は、表示された第１の病理画像に対するユーザの操作を受け付ける。表示装置１３は、ユーザからアノテーションの付与を受け付けると、アノテーションをサーバ１１に送る。また、表示装置１３は、アノテーションが付与された第１の病理画像をサーバ１１に送ってもよい。

第２の撮像装置２０は、第１の撮像装置１０から買い換えられた撮像装置であって、第１の撮像装置１０よりも新しい撮像装置であるものとする。第２の撮像装置２０は、第２の病理画像を生成装置１００等へネットワークＮを介して送信する。

生成装置１００は、例えば、ＰＣ、ＷＳ（Work Station）等の情報処理装置であり、第１の撮像装置１０や第２の撮像装置２０等からネットワークＮを介して送信されてきた情報に基づいて処理を行う。また、生成装置１００は、第１の病理画像と第２の病理画像とに基づいて、第１の病理画像に付与されたアノテーションを第２の病理画像に転記する。そして、生成装置１００は、第２の病理画像に転記されたアノテーションを、後述する吸着フィッティングの処理に基づいて修正する。このように、生成装置１００は、症例や病名などの病理に関する情報の推定に用いられるデータである学習データを生成する。

ここまで情報処理システム１について簡単に説明した。以下では、生成装置１００の構成及び処理を詳細に説明するが、これらの説明の前提となる各種情報（病理画像、アノテーション、学習モデルなど）を最初に説明する。

〔２．学習用の撮像装置と評価用の撮像装置が同じ場合の情報処理の一例〕
図２は、第１の撮像装置１０により撮像された第１の病理画像と、第１の病理画像に付与されたアノテーション情報とに基づいて学習モデルを生成する場合を示す。以下、第１の病理画像に付与されたアノテーションに基づいて生成される学習モデルを、適宜、「学習モデルＭ１」とする。また、図２は、第１の撮像装置１０により新たに撮像された第１の病理画像を診断する場合を示す。

以下、図２を用いて、実施形態に係る情報処理の一例を説明する。

スライドＳＡ１乃至ＳＡ４は、第１の撮像装置１０で撮像されるスライドである。また、スライドＳＡ１１は、第１の撮像装置１０で撮像されたスライドである。なお、以下、スライドを病理対象と表記する場合がある。また、実施形態に係る学習モデルＭ１の生成に必要なスライドの数に制限はない。図２では、第１の撮像装置１０が、スライドＳＡ１乃至ＳＡ４の合計４枚のスライドを撮像する場合を示すが、第１の撮像装置１０で撮像されるスライドの数は３枚以下であってもよいし５枚以上であってもよい。

病理画像ＬＡ１乃至ＬＡ４は、スライドＳＡ１乃至ＳＡ４を撮像した病理画像である。また、病理画像ＬＡ１１は、スライドＳＡ１１の病理画像である。なお、病理画像とスライドとは符号の番号が対応するものとする。例えば、病理画像ＬＡ１はスライドＳＡ１の画像情報とする。

病理画像ＬＬＡ１乃至ＬＬＡ４は、病理画像ＬＡ１乃至ＬＡ４にアノテーションが付与された病理画像である。以下、アノテーションが付与された病理画像とスライドとは符号の番号が対応するものとする。また、アノテーションとスライドとは符号の番号が対応するものとする。例えば、病理画像ＬＬＡ１乃至ＬＬＡ４に対応するアノテーションは、アノテーションＡＡ１乃至ＡＡ４である。なお、図２には示されていないが、病理画像ＬＬＡ１乃至ＬＬＡ４には、アノテーションの注釈情報が付与されていてもよい。例えば、病理画像ＬＬＡ１乃至ＬＬＡ４には、アノテーションの注釈情報として、ラベルが付与されていてもよい。例えば、病理画像ＬＬＡ１乃至ＬＬＡ４には、「ラベル１Ａ」や「ラベル１Ｂ」などのラベルが付与されていてもよい。

学習モデルＭ１は、病理画像ＬＬＡ１乃至ＬＬＡ４のアノテーション情報を学習することにより生成されるモデルである。例えば、学習モデルＭ１は、アノテーションの付加情報を学習することにより生成されるモデルである。具体的な処理の例を挙げると、学習モデルＭ１は、アノテーションのラベルが「癌」である場合、「癌」のラベルが付与されたアノテーションを正解情報として学習することにより生成されるモデルである。また、学習モデルＭ１は、病理画像の入力に応じて、病理画像に病変が含まれる確率を出力する。例えば、学習モデルＭ１は、病理画像の入力に応じて、病理画像に病変を示す領域が含まれる確率を出力する。

学習モデルＭ１は、第１の撮像装置１０により撮像された第１の病理画像に基づいて生成されるため、学習モデルＭ１を用いて、第１の撮像装置１０により撮像された第１の病理画像を適切に評価することができる。

以上、第１の撮像装置１０で撮像された病理画像に基づいて生成された学習モデルＭ１に、第１の撮像装置１０で撮像された新たな病理画像を入力することにより、評価を行う処理について説明した。

しかしながら、第１の撮像装置１０で撮像された病理画像に基づいて生成された学習モデルを用いて、第１の撮像装置１０とは異なる第２の撮像装置２０で撮像された新たな病理画像を評価しようとしても、撮像装置間で病理画像の色、倍率、解像度などが異なるため、上述した学習モデルでは適切な情報を出力することができるとは限らない。このため、上述した情報処理では、第２の撮像装置２０などの他の撮像装置で撮像された病理画像を、適切に評価することができない可能性がある。

この点について詳細に説明する。例えば、第１の撮像装置１０から第２の撮像装置２０に買い替えた場合、第２の撮像装置２０は第１の撮像装置１０よりも新しい撮像装置であるため、第２の撮像装置２０の方が、解像度が高いと考えられる。この場合、解像度が低い第１の撮像装置１０で撮像された第１の病理画像を用いて生成された学習モデルを用いて、解像度が高い第２の撮像装置２０で撮像された第２の病理画像を評価しようとしても、解像度が異なるため、適切に評価することができない可能性がある。

第１の撮像装置１０から第２の撮像装置２０に買い替えたことによる他の問題点としては、第１の撮像装置１０で撮像された第１の病理画像はあるが、第２の撮像装置２０で撮像された病理画像がない場合がある。例えば、ユーザが第１の撮像装置１０から第２の撮像装置２０へ撮像装置に買い替えたばかりでは、第１の撮像装置１０で撮像された病理画像や、第１の撮像装置１０で撮像された病理画像を用いた学習モデルＭ１しかないことがある。しかしながら、第１の撮像装置１０で撮像された病理画像のスライドが保管されていれば、第２の撮像装置２０を用いて再度スライドを撮像することが可能である。ただし、第２の撮像装置２０を用いて再度撮像された病理画像にユーザがアノテーションを正確に付与するのは困難な場合もある。また、このアノテーションを付与する作業に多くの時間と作業者を要する。アノテーションを正確に付与できない場合、第２の撮像装置２０を用いて撮像することにより得られる病理画像を用いて、病理に関する情報を適切に推定する学習モデルを生成することは難しい。

適切に診断をすることができる学習モデルを生成するために、本実施形態では、以下のような方法を用いる。具体的には、生成装置１００は、第１の撮像装置１０で撮像された病理画像に付与されたアノテーションに基づいて、第２の撮像装置２０で撮像された病理画像にアノテーションを転記する。このように、生成装置１００は、第１の撮像装置１０で撮像された病理画像に基づいて、第２の撮像装置２０で再度撮像された病理画像にアノテーションを転記することで、第２の撮像装置２０で撮像された病理画像に基づく学習モデル（以下、適宜、「学習モデルＭ２」とする。）を容易に生成することができる。生成装置１００は、この学習モデルＭ２を用いることにより、第２の撮像装置２０で新たに撮像される病理画像からも高精度に病理に関する情報を推定することができる。

以下、図３を用いて、第２の撮像装置２０で撮像された第２の病理画像の診断を行う場合の情報処理について説明する。なお、図２と同様の説明については記載を適宜省略する。

〔３．学習用の撮像装置と評価用の撮像装置が異なる場合の情報処理の一例〕
図３は、第２の撮像装置２０により撮像された第２の病理画像に対し、第１の病理画像に付与されたアノテーションを転記する場合を示す。なお、図３では、第１の撮像装置１０で撮像したスライドと同一のスライドを第２の撮像装置２０でも撮像するものとする。また、実施形態に係るアノテーションの変換は、第１の病理画像の座標情報と、第２の病理画像の座標情報とに基づいて行われるものとする。そして、実施形態では、第１の病理画像のアノテーションを、第２の病理画像の対応する座標に転記する。

以下、生成装置１００が、第２の病理画像に対応するようアノテーションを転記した学習用の学習データを生成する処理について説明する。なお、以下、アノテーションの転記後のアノテーションを、適宜、「転記アノテーション」とする。また、以下、転記アノテーションを、病理画像上の特徴の境界に沿ってフィッティングさせる処理である吸着フィッティングの処理が行われた吸着フィッティング後のアノテーションを、適宜、「修正アノテーション」とする。実施形態では、転記アノテーションと修正アノテーションとを区別するが、同一のアノテーションを示してもよい。例えば、吸着フィッティングの処理を行わない場合には、転記アノテーションと修正アノテーションとは同一のアノテーションを示してもよい。

スライドＳＡ１は、第１の撮像装置１０で過去に撮像されたスライドである。そして、病理画像ＬＡ１は、スライドＳＡ１が過去に撮像された際に生成された画像である。また、病理医などによって、病理画像ＬＡ１に対するアノテーションの付与は、既に行われているものとする。また、スライドＳＡ１は、あらためて、第２の撮像装置２０でも撮像される。そして、病理画像ＬＢ１は、第１の撮像装置１０で撮像済みのスライドＳＡ１を、第１の撮像装置１０であらためて撮像することにより生成される画像である。図３では、病理画像ＬＡ１とアノテーションＡＡ１とに基づいて、病理画像ＬＢ１に対応するように、アノテーションを変換することにより、アノテーションＢＢ１を生成する。そして、アノテーションＢＢ１を吸着フィッティングさせることにより、アノテーションＢＢ１１を生成する。以下、実施形態に係る生成処理について図４及び５を用いて説明する。

図４（ａ）は、病理画像ＬＡ１を示す。図４（ａ）では、医療画像ＬＡ１に対してアノテーションＡＡ１が付与されている。

図４（ｂ）は、病理画像ＬＢ１を示す。図４（ｂ）では、病理画像ＬＢ１に対してアノテーションＢＢ１が付与されている。このアノテーションＢＢ１は、病理画像ＬＢ１に対応するように、アノテーションＡＡ１を変換することにより生成されたアノテーションである。

図５（ａ）は、病理画像ＬＢ１を示す。

図５（ｂ）は、病理画像ＬＢ１にアノテーションＢＢ１が付与された病理画像を示す。図５（ｂ）に示すように、生成装置１００は、病理画像ＬＢ１に、病理画像ＬＡ１のアノテーションＡＡ１に基づくアノテーションＢＢ１を転記する。例えば、生成装置１００は、病理画像ＬＢ１と同一のスライドと認識されたスライドのアノテーションであるアノテーションＡＡ１が変換されたアノテーションＢＢ１を転記する。なお、ラベルに関する情報に基づいてスライドを一意に特定することが可能であれば、第２の撮像装置２０で撮像されたスライドと同一のスライドを、効率的かつ効果的に特定することができる。

図５（ｂ）に示すように、生成装置１００は、病理画像ＬＢ１に対応するように変換されたアノテーションＢＢ１を転記する。例えば、生成装置１００は、病理画像ＬＡ１と病理画像ＬＢ１との座標情報を基に、基のアノテーションであるアノテーションＡＡ１を病理画像ＬＢ１に対応するアノテーションＢＢ１に変換する。ここで、アノテーションＢＢ１は、実施形態に係る転記アノテーションである。以下、実施形態に係る変換処理について説明する。

上述したように、第１の撮像装置１０で付与されたアノテーションを、第２の撮像装置２０に対応するように変換する。例えば、第１の撮像装置１０で撮像された第１の病理画像の座標情報と、第２の撮像装置２０で撮像された第２の病理画像の座標情報とに基づいて、第１の撮像装置１０で付与されたアノテーションを、第２の撮像装置２０の形式に変換する。具体的な例を挙げると、第１の撮像装置１０で撮像された病理画像の座標情報と、第２の撮像装置２０で撮像された病理画像の座標情報とを比較することにより、第１の撮像装置１０で付与されたアノテーションの座標情報を第２の撮像装置２０の形式に変換する。例えば、予め定められた座標の変換情報（例えば、座標変換テーブル）を用いて、第２の撮像装置２０の形式に対応する座標情報に第１の撮像装置１０で付与されたアノテーションを変換する。例えば、所定の記憶部に記憶された座標の変換データを用いて、第２の撮像装置２０の形式に対応する座標情報に第１の撮像装置１０で付与されたアノテーションを変換する。

図５（ｃ）では、転記アノテーションＢＢ１と、病理画像ＬＢ１とから、学習用のアノテーションである修正アノテーションＢＢ１１を生成する。例えば、第２の病理画像に基づいて転記アノテーションを吸着フィッティングさせることにより修正アノテーションを生成する。なお、吸着フィッティングは、グラフカット（graph cut）などの技術を用いて行われてもよい。これにより、正確かつ均一なアノテーションを生成することができる。

このように、生成装置１００は、修正アノテーションを用いることにより、以下の効果を奏する。例えば、生成装置１００は、第１の撮像装置１０と第２の撮像装置２０との解像度が異なる場合や、撮像条件の違いによって病理画像の質が異なる場合であっても、吸着フィッティングの処理を行うことにより、より適切なアノテーションを付与することができる。この結果、生成装置１００は、より質の高い学習モデルを生成することができる。

この場合、生成装置１００は、病理画像ＬＢ１に対応するよう変換された修正アノテーションを学習することにより新たに学習された学習モデルＭ２を用いて、病理診断の補助を行う。また、実施形態に係る新たに学習された学習モデルＭ２とは、第１の撮像装置１０により撮像された情報に基づいて第２の病理画像の診断を行うために、第２の病理画像に基づいて新たに生成された学習モデルである。例えば、実施形態に係る新たに学習された学習モデルＭ２とは、第１の病理画像と第２の病理画像とに基づいて補正されたアノテーションと、第２の病理画像とに基づいて新たに学習された学習モデルである。

生成装置１００は、修正アノテーションを学習することにより生成された学習モデルＭ２を提供する。例えば、生成装置１００は、第２の撮像装置２０で撮像された第２の病理画像を入力することにより、第２の病理画像を推定する学習モデルＭ２を提供する。

生成装置１００は、推定結果に対する病理医などの診断結果を取得して、修正アノテーションにラベル付を行う。例えば、生成装置１００は、学習モデルＭ２を撮像システム２に送信し、送信された学習モデルＭ２を用いて推定された推定結果に対する病理医などの診断結果を取得して、修正アノテーションにラベル付を行う。例えば、生成装置１００は、推定結果が癌であり、その推定結果に対する病理医などの診断結果も癌である場合には、「癌」といったラベルを修正アノテーションに付与する。このように、生成装置１００は、学習モデルＭ２の正解情報を生成する。

上述したように、実施形態に係る情報処理は、以下に示す処理を含む。
（１）第１の撮像装置１０で撮像したスライドを第２の撮像装置２０で撮像する。
（２）画像処理を用いて、第２の撮像装置２０で撮像したスライドと第１の撮像装置１０で撮像したスライドとを特定する。
（３）第１の撮像装置１０で付けたアノテーションを第２の撮像装置２０の形式に変換する。
（４）第２の撮像装置２０で撮像した病理画像と変換したアノテーションとを基に画像処理を用いて修正アノテーションに変換する。
（５）修正アノテーションに変換した後で旧スライドの教師データのラベルを基に修正アノテーションを学習する。

これにより、撮像装置の乗り換えを簡素化することができる。

なお、図２乃至５に示す各種の情報処理は、上記に限らず、種々の態様であってもよい。この点について以下説明する。

〔４．生成装置の構成〕
次に、図６を用いて、実施形態に係る生成装置１００の構成について説明する。図６は、実施形態に係る生成装置１００の構成例を示す図である。図６に示すように、生成装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、生成装置１００は、生成装置１００の管理者から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。

（通信部１１０）
通信部１１０は、例えば、ＮＩＣ等によって実現される。そして、通信部１１０は、ネットワークＮと有線又は無線で接続され、ネットワークＮを介して、第１の撮像装置１０等との間で情報の送受信を行う。

（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図６に示すように、記憶部１２０は、スライド記憶部１２１と、スライドデータ記憶部１２２と、アノテーション記憶部１２３と、新スライド記憶部１２４、新スライドデータ記憶部１２５と、転記アノテーション記憶部１２６と、修正アノテーション記憶部１２７と、モデル記憶部１２８と、座標変換情報記憶部１２９とを有する。

スライド記憶部１２１は、第１の撮像装置１０で撮像されたスライドに関する情報を記憶する。スライド記憶部１２１は、スライドデータの保存パスに関する情報を記憶する。ここで、図７に、実施形態に係るスライド記憶部１２１の一例を示す。図７に示すように、スライド記憶部１２１は、「スライドＩＤ」、「スライドデータ保存パス」といった項目を有する。

「スライドＩＤ」は、スライドを識別するための識別情報を示す。「スライドデータ保存パス」は、スライドデータを保存した保存先に関する情報を示す。例えば、「スライドデータ保存パス」は、保存先のパス情報を示す。例えば、「スライドデータ保存パス」は、スライドデータ記憶部１２２に記憶されたパスのことを示す。例えば、「スライドデータ保存パス」は、スライドデータが所在するＵＲＬや、保存先のファイルパス名などであってもよい。図７の例では、スライドＩＤが「ＤＳ１」により識別されるスライドのスライドデータ保存パスが、「/data/hoge1」であることを示す。

スライドデータ記憶部１２２は、第１の撮像装置１０で撮像されたスライドのスライドデータに関する情報を記憶する。ここで、図８に、実施形態に係るスライドデータ記憶部１２２の一例を示す。図８に示すように、スライドデータ記憶部１２２は、「スライドＩＤ」、「スライドデータ」といった項目を有する。

「スライドＩＤ」は、スライドを識別するための識別情報を示す。「スライドデータ」は、スライドデータに関する情報を示す。例えば、「スライドデータ」は、スライドを撮像した病理画像や、スライドに関する情報などを示す。図８に示す例では、「スライドデータ」に「スライドデータ＃１」や「スライドデータ＃２」といった概念的な情報が格納される例を示したが、実際には、病理画像などのデータが格納される。図８の例では、スライドＩＤが「ＤＳ１」により識別されるスライドのスライドデータが、「スライドデータ＃１」であることを示す。

アノテーション記憶部１２３は、第１の撮像装置１０で撮像されたスライドのアノテーションに関する情報を記憶する。ここで、図９に、実施形態に係るアノテーション記憶部１２３の一例を示す。図９に示すように、アノテーション記憶部１２３は、「アノテーションＩＤ」、「スライドＩＤ」、「アノテーションデータ」、「ラベル」といった項目を有する。

「アノテーションＩＤ」は、アノテーションを識別するための識別情報を示す。「スライドＩＤ」は、スライドを識別するための識別情報を示す。「スライドＩＤ」は、アノテーションがついているスライドを識別するための識別情報を示す。「アノテーションデータ」は、アノテーションデータに関する情報を示す。例えば、「アノテーションデータ」は、アノテーションの位置情報や、アノテーションの付加情報などを示す。図９に示す例では、「アノテーションデータ」に「A1_1.xml」や「A2_1.xml」といった座標情報がＸＭＬ形式で保存されている例を示す。「ラベル」は、アノテーションに付与されたラベルに関する情報を示す。図９の例では、アノテーションＩＤが「ＤＡ１」と、スライドＩＤが「ＤＳ１」とにより識別されるアノテーションに付与されたラベルが、「癌」であることを示す。このように、「ラベル」は、例えば、対応する部位が癌か、非癌などのラベルであり、学習用に生成された学習データを示す。

図１０は、図９に示す情報の一例である。図１０に示すスライド１は、図９のＤＳ１により識別されるスライドに対応する。図１０に示すＡ１乃至Ａ３は、図９のA1_1.xml乃至A3_1.xmlにより識別されるアノテーションに対応する。このように、１枚のスライドに複数のアノテーションが含まれる場合もある。この場合、アノテーションＩＤとスライドＩＤとに基づいて、アノテーションを特定することができる。

新スライド記憶部１２４は、第２の撮像装置２０で撮像されたスライドに関する情報を記憶する。ここで、図１１に、実施形態に係る新スライド記憶部１２４の一例を示す。新スライド記憶部１２４は、スライド記憶部１２１と同様の情報を記憶する。このため、説明を省略する。

新スライドデータ記憶部１２５は、第２の撮像装置２０で撮像されたスライドのスライドデータに関する情報を記憶する。ここで、図１２に、実施形態に係る新スライドデータ記憶部１２５の一例を示す。新スライドデータ記憶部１２５は、スライドデータ記憶部１２２と同様の情報を記憶する。このため、説明を省略する。

転記アノテーション記憶部１２６は、転記後のアノテーションに関する情報を記憶する。転記アノテーション記憶部１２６は、第１の撮像装置１０で撮像されたスライドのアノテーションの変換後のアノテーションに関する情報を記憶する。転記アノテーション記憶部１２６は、アノテーション記憶部１２３に記憶されたアノテーションの変換後のアノテーションに関する情報を記憶する。ここで、図１３に、実施形態に係る転記アノテーション記憶部１２６の一例を示す。転記アノテーション記憶部１２６は、アノテーション記憶部１２３と同様の情報を記憶する。このため、説明を省略する。

修正アノテーション記憶部１２７は、修正アノテーションに関する情報を記憶する。修正アノテーション記憶部１２７は、転記アノテーションと新スライドデータに関する情報とに基づいて生成される修正アノテーションに関する情報を記憶する。例えば、修正アノテーション記憶部１２７は、転記アノテーションと新スライドデータに関する情報とに基づく吸着フィッティング後の修正アノテーションに関する情報を記憶する。ここで、図１４に、実施形態に係る修正アノテーション記憶部１２７の一例を示す。図１４に示すように、修正アノテーション記憶部１２７は、「修正アノテーションＩＤ」、「新スライドデータ」、「転記アノテーションデータ」、「ラベル」といった項目を有する。

「修正アノテーションＩＤ」は、修正アノテーションを識別するための識別情報を示す。「新スライドデータ」は、新スライドデータに関する情報を示す。「転記アノテーションデータ」は、転記アノテーションデータに関する情報を示す。「ラベル」は、オリジナルのアノテーションに付与されたラベルに関する情報を示す。

モデル記憶部１２８は、モデルに関する情報を記憶する。例えば、モデル記憶部１２８は、病理対象に関する診断の度合を示す情報を出力するモデルに関する情報を記憶する。例えば、モデル記憶部１２８は、新スライドデータと修正アノテーションとに基づく診断の度合を示す情報を出力するモデルに関する情報を記憶する。図１５は、モデル記憶部１２８の一例を示す。図１５に示すように、モデル記憶部１２８は、「モデルＩＤ」、「モデル（算出式）」といった項目を有する。

「モデルＩＤ」は、モデルを識別するための識別情報を示す。「モデル（算出式）」は、モデルの算出式を示す。図１５に示す例では、「モデル（算出式）」に「モデル＃１１」や「モデル＃２２」といった概念的な情報が格納される例を示したが、実際には、モデルの重みが格納される。例えば、「モデル（算出式）」には、ニューラルネットワークのノードの接続間の重みが格納される。

座標変換情報記憶部１２９は、座標情報を用いたアノテーションの変換に関する情報を記憶する。図１６は、座標変換情報記憶部１２９の一例を示す。図１６に示すように、座標変換情報記憶部１２９は、「座標変換ＩＤ」、「座標変換情報」といった項目を有する。

「座標変換ＩＤ」は、座標変換情報を識別するための識別情報を示す。「座標変換情報」は、第１の撮像装置１０の形式のアノテーションを第２の撮像装置２０の形式に変換するための座標情報に関する情報を示す。

図１７は、座標変換情報の一例を示す。例えば、図１７は、図１６に示す「座標変換＃１１」の座標変換情報の一例を示す。図１７は、座標変換情報で保持している値を示す。図１７では、既撮像に利用した第１の撮像装置１０の値と、第２の撮像装置２０の値とが保持される場合を示す。図１７では、撮像値が、１ピクセルが何ｕｍであるかを示すｕｍ／ｐｉｘである場合を示す。図１７では、縦も横も異なることがあるため、２軸の値が保持される場合を示す。図１７では、第１の撮像装置１０の形式から第２の撮像装置２０の形式に変換するにあたり、縦軸の座標情報を既撮像値である５ｕｍ／ｐｉｘから新撮像値である２ｕｍ／ｐｉｘ、横軸の座標情報を既撮像値である１０ｕｍ／ｐｉｘから新撮像値である５ｕｍ／ｐｉｘに変換する場合を示す。

（制御部１３０）
制御部１３０は、コントローラであり、例えば、ＣＰＵやＭＰＵ等によって、生成装置１００内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。

図６に示すように、制御部１３０は、取得部１３１と、変換部１３２と、吸着部１３３と、生成部１３４と、提供部１３５とを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部１３０の内部構成は、図６に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

（取得部１３１）
取得部１３１は、第１の撮像装置１０により撮像された第１の病理画像を取得する。図１に示す例を用いると、取得部１３１は、サーバ１１に保存された第１の病理画像を取得する。

取得部１３１は、第１の病理画像に付与されたアノテーションを取得する。図１に示す例を用いると、取得部１３１は、サーバ１１に保存されたアノテーションを取得する。そして、取得部１３１は、取得したアノテーションをアノテーション記憶部１２３に記憶する。そして、取得部１３１は、取得した第１の病理画像のスライドＩＤをスライド記憶部１２１に記憶する。また、取得部１３１は、取得したスライドデータをスライドデータ記憶部１２２に記憶する。

取得部１３１は、第１の病理画像のアノテーションを、第２の病理画像に対応するように変換するための座標変換情報を取得する。例えば、取得部１３１は、第１の病理画像の座標情報を第２の病理画像の座標情報に変換するための座標変換情報を、座標変換情報記憶部１２９から取得する。

取得部１３１は、第２の病理画像を取得する。取得部１３１は、第２の撮像装置２０により撮像された第２の病理画像を取得する。図１に示す例を用いると、取得部１３１は、サーバ２１に保存された第２の病理画像を取得する。そして、取得部１３１は、取得した第２の病理画像のスライドＩＤを新スライド記憶部１２４に記憶する。また、取得部１３１は、取得した第２の病理画像を新スライドデータ記憶部１２５に記憶する。

取得部１３１は、転記アノテーションを取得する。例えば、取得部１３１は、転記アノテーションを転記アノテーション記憶部１２６から取得する。例えば、取得部１３１は、転記アノテーションと第２の病理画像とを取得する。

取得部１３１は、修正アノテーションを取得する。例えば、取得部１３１は、修正アノテーションを修正アノテーション記憶部１２７から取得する。例えば、取得部１３１は、修正アノテーションと第２の病理画像とを取得する。

取得部１３１は、学習モデルを取得する。例えば、取得部１３１は、学習モデルをモデル記憶部１２８から取得する。例えば、取得部１３１は、第１の病理画像を診断する場合には、学習モデルＭ１を取得する。例えば、取得部１３１は、第２の病理画像を診断する場合には、学習モデルＭ２を取得する。

（変換部１３２）
変換部１３２は、取得部１３１によって取得された、第１の病理画像に付与されたアノテーションを変換する。変換部１３２は、取得部１３１によって取得された座標変換情報を用いて、第１の病理画像に付与されたアノテーションを、第２の病理画像に対応するアノテーションに変換する。このように、変換部１３２は、転記アノテーションを生成する。そして、変換部１３２は、転記アノテーションを転記アノテーション記憶部１２６に記憶する。

変換部１３２は、撮像済みの病理画像に対応するアノテーションの座標情報を、新たに撮像された新撮像の病理画像に対応するアノテーションの座標情報に変換する。具体的な例を挙げると、撮像済みの病理画像に対応するアノテーションが四角のマークであり、四角の頂点の座標情報が、それぞれ、（０、０）、（０、１００）、（１００、０）、（１００、１００）とする。ところで、図１６では、第１の撮像装置１０と第２の撮像装置２０との組み合わせと、「ＤＸ１１」とが予め対応付けられているものとする。この場合、変換部１３２は、第１の撮像装置１０と第２の撮像装置２０との組み合わせが入力されると、座標変換情報記憶部１２９に記憶された、「ＤＸ１１」に対応する座標変換情報を用いて、座標情報を変換する。ここで、「ＤＸ１１」に対応する座標変換情報が、図１７に示す座標変換情報である場合には、ピクセル標記である（０、０）、（０、１００）、（１００、０）、（１００、１００）をマイクロメートル標記にすると、それぞれ、（０、０）、（０、５００）、（１０００、０）、（１０００、５００）となる。そして、変換部１３２は、図１７に示す座標変換情報を用いて、新撮像の病理画像に対応するアノテーションの座標情報に変換すると、それぞれ、（０、０）、（０、５００／２）、（１０００／５、０）、（１０００／５、５００／２）となる。このように、変換部１３２は、新撮像の病理画像に対応するアノテーションの座標情報に変換する。

（吸着部１３３）
吸着部１３３は、変換部１３２によって生成された転記アノテーションを第２の病理画像に転記する。例えば、吸着部１３３は、転記アノテーション記憶部１２６に記憶された転記アノテーションを、新スライドデータ記憶部１２５に記憶された第２の病理画像に転記する。具体的には、吸着部１３３は、取得部１３１によって転記アノテーション記憶部１２６から取得された転記アノテーションを、取得部１３１によって新スライドデータ記憶部１２５から取得された第２の病理画像に転記する。

吸着部１３３は、第２の病理画像に転記された転記アノテーションに対して吸着フィッティングの処理を行う。このように、吸着部１３３は、修正アノテーションを生成する。そして、吸着部１３３は、修正アノテーションを修正アノテーション記憶部１２７に記憶する。

（生成部１３４）
生成部１３４は、第２の病理画像の病理に関する情報を推定する学習モデルＭ２を生成する。生成部１３４は、第２の病理画像が入力されると、第２の病理画像の病理に関する情報を推定するための情報を出力する学習モデルＭ２を生成する。生成部１３４は、修正アノテーションを学習データとして、第２の病理画像の病理に関する情報を推定する学習モデルＭ２を生成する。例えば、生成部１３４は、病理に関する情報を推定する学習モデルＭ２を生成する。例えば、生成部１３４は、第２の病理画像に病変を含む領域が含まれる確率を推定する学習モデルＭ２を生成する。そして、生成部１３４は、生成した学習モデルＭ２をモデル記憶部１２８に記憶する。

生成部１３４は、転記アノテーションを学習データとして、第２の病理画像の病理に関する情報を推定する学習モデルＭ２を生成してもよい。例えば、吸着フィッティングの処理を行わない場合である。生成部１３４は、生成した学習モデルＭ２をモデル記憶部１２８に記憶する。

生成部１３４は、アノテーションを学習データとして、第１の病理画像の病理に関する情報を推定する学習モデルＭ１を生成してもよい。例えば、第１の病理画像の診断に用いる場合である。生成部１３４は、生成した学習モデルＭ１をモデル記憶部１２８に記憶する。

（提供部１３５）
提供部１３５は、生成部１３４によって生成された学習モデルを提供する。例えば、提供部１３５は、修正アノテーションを学習することにより生成された学習モデルを提供する。例えば、提供部１３５は、第２の撮像装置２０で撮像された第２の病理画像を入力することにより、第２の病理画像の病理に関する情報を推定する学習モデルを提供する。

〔５．情報処理のフロー〕
次に、図１８乃至２０を用いて、実施形態に係る情報処理システム１による情報処理の手順について説明する。図１８乃至２０は、実施形態に係る情報処理システム１による情報処理の手順を示すフローチャートである。

図１８に示すように、生成装置１００は、対象となるスライドのアノテーションに関する情報を取得する（ステップＳ１０１）。生成装置１００は、座標変換情報の値に関する情報を取得する（ステップＳ１０２）。生成装置１００は、既撮像のアノテーションの座標情報を新撮像のアノテーションの座標情報に変換する（ステップＳ１０３）。生成装置１００は、変換したアノテーションを転記アノテーション記憶部１２６にスライドＩＤとラベルとともに記憶する（ステップＳ１０４）。生成装置１００は、スライドに含まれるアノテーションが他にあるかを推定する（ステップＳ１０５）。生成装置１００は、スライドに含まれるアノテーションが他にある場合（ステップＳ１０５；ＹＥＳ）、スライドに含まれる他のアノテーションの数だけステップＳ１０３及びＳ１０４の処理を繰り返す。一方、生成装置１００は、スライドに含まれるアノテーションが他にない場合（ステップＳ１０５；ＮＯ）、情報処理を終了する。

図１９を用いて、生成部１３４の処理の一例を説明する。図１９では、生成装置１００が、転記アノテーションを、第２の病理画像を用いて、画像認識により、さらに高精細な座標に変換する処理を示す。図１９に示すように、生成装置１００は、スライドＩＤの指定を受け付ける（ステップＳ２０１）。生成装置１００は、対象となるスライドの第２の病理画像を取得する（ステップＳ２０２）。生成装置１００は、対象となるスライドの転記アノテーションを取得する（ステップＳ２０３）。生成装置１００は、取得した転記アノテーションを、第２の病理画像を用いて高精細化する（ステップＳ２０４）。ここで、生成装置１００は、高精細化の処理として、例えばグラフカットを用いてもよい。例えば、生成装置１００は、高精細化の処理として、米国特許出願第ＵＳ８７８７６４２Ｂ２号に記載の方法などを用いてもよい。生成装置１００は、高精細化した修正アノテーションを修正アノテーション記憶部１２７に記憶する（ステップＳ２０５）。また、生成装置１００は、アノテーションとともに付与されたラベルを、修正アノテーションのラベルとして、修正アノテーション記憶部１２７に記憶する。生成装置１００は、スライドに含まれる転記アノテーションが他にあるかを推定する（ステップＳ２０６）。生成装置１００は、スライドに含まれる転記アノテーションが他にある場合（ステップＳ２０６；ＹＥＳ）、スライドに含まれる他の転記アノテーションの数だけステップＳ２０４及びＳ２０５の処理を繰り返す。一方、生成装置１００は、スライドに含まれる転記アノテーションが他にない場合（ステップＳ２０６；ＮＯ）、情報処理を終了する。

図２０を用いて、生成部１３４の処理の一例を説明する。図２０に示すように、生成装置１００は、修正アノテーション記憶部１２７に記憶された修正アノテーションとラベルとを取得する（ステップＳ３０１）。生成装置１００は、取得した修正アノテーションの近辺の画像のパッチを切り出す（ステップＳ３０２）。ここで、パッチのサイズは、どのようなサイズであってもよい。生成装置１００は、切り出したパッチの画像とラベルとを学習することにより、学習モデルＭ２を生成する（ステップＳ３０３）。生成装置１００は、生成した学習モデルＭ２をモデル記憶部１２８に記憶する（ステップＳ３０４）。

〔６．処理のバリエーション〕
上述した実施形態に係る情報処理システム１は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理システム１の他の実施形態について説明する。なお、上述した実施形態と同様の点については説明を適宜省略する。

〔６−１．ラベルの種類〕
上述した例では、実施形態に係るラベルは、アノテーションごとに付与される場合を示したが、対象となるスライドごとに付与されてもよい。例えば、上記実施形態において、スライドに一のアノテーションのみが含まれる場合、実施形態に係るラベルは、スライドごとに付与されてもよい。また、実施形態に係るラベルは、対象となる病理画像ごとに付与されてもよい。例えば、上記実施形態において、スライドを撮像した病理画像に一のアノテーションのみが含まれる場合、実施形態に係るラベルは、病理画像ごとに付与されてもよい。

〔６−２．推定結果の提供〕
上述した例では、生成装置１００は、学習モデルＭ２をサーバ１１へ提供する場合を示した。ここで、生成装置１００は、第２の病理画像をサーバ１１から受け付けることで、推定結果をサーバ１１へ提供してもよい。例えば、生成装置１００は、サーバ１１から第２の病理画像を受け付けたら、その第２の病理画像に対応する学習モデルＭ２をモデル記憶部１２８から取得する。そして、生成装置１００は、第２の病理画像を学習モデルＭ２に入力することにより、第２の病理画像の病理に関する情報を推定する。また、生成装置１００は、この推定の結果に基づいて、修正アノテーションのラベル付を行う。そして、生成装置１００は、第２の病理画像の病理に関する推定結果をサーバ１１に送信する。この場合、サーバ１１は、受信した推定結果を表示制御装置１２に送る。表示制御装置１２は、サーバ１１から受け付けた推定結果を表示するよう表示装置１３を制御する。なお、図６には示されていないが、生成装置１００は、推定部１３７を有してもよい。推定部１３７は、取得部１３１によって取得された第２の病理画像を学習モデルＭ２に入力することにより、第２の病理画像の病理に関する情報を推定する。生成装置１００が推定部１３７を有する場合、提供部１３５が、推定部１３７によって推定された推定結果をサーバ１１へ提供する。

〔６−３．学習方法〕
実施形態に係る学習モデルは、ディープラーニングなどのニューラルネットワークに基づくモデルに限らず、機械学習のアルゴリズムに基づくものであれば、どのようなものであってもよい。例えば、学習モデルは、ランダムフォレストに基づくモデルであってもよい。

〔６−４．病理対象〕
上述した例では、実施形態に係る病理対象が、生体の細胞、組織、臓器などの切片である場合を示すが、患者から採取されるものであればどのようなものであってもよい。例えば、実施形態に係る病理対象は、血液などであってもよい。

〔６−５．撮像対象〕
上述した例では、第１の撮像装置１０で撮像された病理対象と、第２の撮像装置２０で撮像された病理対象とは、同一の組織、細胞、臓器などの同一の切片である場合を示した。すなわち、上述した例では、第１の撮像装置１０で撮像したスライドと第２の撮像装置２０で撮像したスライドとは同一のスライドである場合を示した。ここで、第１の撮像装置１０で撮像したスライドと第２の撮像装置２０で撮像したスライドとは、同一のスライドでなくてもよい。具体的には、第１の撮像装置１０で撮像された病理対象と、第２の撮像装置２０で撮像された病理対象とは、同一の組織、細胞、臓器などから採取された異なる切片であってもよい。例えば、第１の撮像装置１０で撮像された病理対象と、第２の撮像装置２０で撮像された病理対象とは、同一の組織ブロックから採取された異なる組織であってもよい。また、病理対象と同一の組織、細胞、臓器などの同一の切片とは、所定の期間が経過したなどの理由により病理対象がある程度劣化した状態のものも含むものとする。ここで、ある程度劣化した状態とは、劣化前の状態と比較して、撮像した際の病理画像上の特徴量の差が所定の閾値未満の状態であれば、どのような状態であってもよい。

〔６−６．座標情報を用いたアノテーションの変換方法）
上述した例では、２つの病理画像の座標情報を基に、一の病理画像のアノテーションを変換する場合を示した。ここで、実施形態に係る座標情報は、スライドに対応した座標情報であれば、どのように定められてもよい。例えば、実施形態に係る座標情報は、スライド上の特定の位置を原点として定められた座標情報であってもよい。例えば、実施形態に係る座標情報は、スライドの四隅のうち一の隅を原点として定められた座標情報であってもよい。

また、実施形態に係る変換は、撮像装置のステージ移動の仕様によるスライドの移動や、スライドの全体の傾きなどによるズレを補正する変換であってもよい。具体的には、撮像装置のステージ移動の仕様によるスライドの移動などによって、既に撮像済みの病理画像の位置と、新たに撮像された新撮像の病理画像の位置とが異なる場合がある。この場合、生成装置１００は、画像認識処理に基づいて、病理画像のズレを補正する。例えば、生成装置１００は、特徴点抽出やテンプレートマッチングなどの処理に基づいて、病理画像のズレを補正する。また、実施形態に係る変換は、これらの例に限らず、レンズの歪みによるズレを補正する変換であってもよい。また、レンズの歪み補正は、複数回撮像を行って統合することによる、スライド全体での補正であってもよい。この場合、生成装置１００は、撮像された複数の病理画像の各々に対してレンズの歪み補正を行い、レンズの歪み補正が行われた複数の病理画像を統合することにより、スライド全体でのレンズの歪み補正を行ってもよい。また、レンズの歪み補正は、スライド全体での補正に限らず、局所的な補正であってもよい。

〔６−７．撮像装置のフォーマットを用いたアノテーションの変換方法〕
上述した例では、第１の撮像装置１０で撮像された病理画像の座標情報と、第２の撮像装置２０で撮像された病理画像の座標情報とに基づいて、第１の撮像装置１０で付与されたアノテーションを第２の撮像装置２０の形式に変換する場合を示した。ここで、実施形態に係るアノテーションの変換は、座標情報を用いた変換に限らない。例えば、実施形態に係るアノテーションの変換は、病理画像が保存されたフォーマットの形式に基づく変換であってもよい。この場合、生成装置１００は、第１の病理画像が保存されたフォーマットの形式と、第２の病理画像が保存されたフォーマットの形式とが異なる場合、第２の病理画像が保存されたフォーマットの形式に対応するように、第１の病理画像で付与されたアノテーションを変換する。例えば、生成装置１００は、フォーマットの対応付けが予め定められた変換情報を用いて、第２の病理画像のフォーマットの形式に対応するように、アノテーションを変換する。

〔６−８．実施形態に係るアノテーション〕
実施形態に係るアノテーションは、画像上に付与される情報であれば、どのような情報であってもよい。実施形態に係るアノテーションは、機械学習などを用いた物体認識により付与される情報であってもよいし、ユーザにより手動で付与される情報であってもよい。なお、実施形態に係るアノテーションは、閉曲線によるものに限らず、環が閉じていないものであってもよい。また、実施形態に係るアノテーションは、どのような幾何形状のものであってもよい。また、実施形態に係るアノテーションは、アノテーションの生成の過程で画像上に可視化された情報を含んでもよい。例えば、実施形態に係るアノテーションは、画像上の特徴となる情報に基づくアノテーションのフィッティングに関する情報を含んでもよい。例えば、実施形態に係るアノテーションは、アノテーションのフィッティング条件に関する情報を含んでもよい。

実施形態に係るラベルは、医療や病理に関する情報を対象とするラベルであれば、どのようなラベルであってもよい。例えば、実施形態に係るラベルは、患者の生体の細胞、組織、臓器などの状態を示すラベルである。具体的な例を挙げると、癌であることを示すラベルである。また、実施形態に係るラベルは、癌であるか否かなどの２値分類で示すラベルであってもよい。具体的には、実施形態に係るラベルは、「癌」又は「非癌」などのラベルであってもよい。また、実施形態に係るラベルは、例えば、癌の中でも詳細な分類を示すラベルであってもよい。具体的には、実施形態に係るラベルは、「ステージ１」、「ステージ２」、「ステージ３」などの癌の進行ステージを示すラベルであってもよいし、「食道癌」、「大腸癌」、「胃癌」などの癌の種類を示すラベルであってもよい。また、実施形態に係るラベルは、アノテーションごとに付与されるものとする。なお、実施形態では、一のアノテーションに対して複数のラベルが付与されてもよい。例えば、実施形態では、一のアノテーションに対して、「癌」、「ステージ１」、「食道癌」といった複数のラベルが付与されてもよい。なお、実施形態では、ラベルが付与されていないアノテーションには、異常なしを示すラベルが付与されたものとみなしてもよい。

〔６−９．実施形態に係るスライド〕
実施形態に係るスライドは、顕微鏡で利用される一般的なスライドであれば、どのようなスライドであってもよい。例えば、実施形態に係るスライドは、ガラススライドである。上記実施形態では、スライドを、「ガラススライド」又は「病理スライド」と表記してもよい。

〔６−１０．アノテーションの変換〕
上述した例では、第１の病理画像の座標情報と第２の病理画像の座標情報とに基づいて、アノテーションを転記する場合を示した。また、本実施形態は、座標情報に基づいてアノテーションを転記する場合に限らない。例えば、生成装置１００は、第１の病理画像と第２の病理画像との画像の特徴点に基づいて、アノテーションを転記してもよい。具体的には、生成装置１００は、第１の病理画像の特徴点と、第２の病理画像の特徴点とを抽出する。そして、生成装置１００は、各々の病理画像から抽出された特徴点がマッチングするように、第１の病理画像と第２の病理画像とをマッチングさせる。このように、生成装置１００は、第１の病理画像の特徴点と、第２の病理画像の特徴点とに基づいて、第１の病理画像と第２の病理画像とをマッチングするための変換情報を生成する。そして、生成装置１００は、その変換情報に応じて、アノテーションを転記する。

〔６−１１．学習データ〕
上述した例では、座標情報を用いたアノテーションの変換と、吸着フィッティングとに基づいて、第２の病理画像の病理に関する情報を推定するための学習データを生成する場合を示した。ここで、生成装置１００は、転記アノテーションを学習データとして、学習モデルＭ２を生成してもよい。すなわち、生成装置１００は、吸着フィッティングの処理を行わなくてもよい。

〔６−１２．病理症例番号を用いたスライドの特定〕
上述した例では、スライドを一意に特定できるスライドＩＤがラベルなどに印刷されている場合を想定した。しかしながら、ラベルやスライドＩＤは病院ごとに運用が異なり、スライドを一意に特定できないＩＤの形式で保持されている場合もある。例えば、最も典型的なものの一つが、病理症例番号単位で管理されている場合である。この場合、病理症例番号でＩＤが管理される。また、病理症例番号には、複数のスライドを含む場合もある。このため、ラベルを認識することにより、病理症例番号が特定できたとしても、スライドを特定することができるとは限らない。

以下、スライドを一意に特定できないＩＤの形式で保持されている場合に、スライドを特定する処理について説明する。変形例では、画像処理によってスライドを特定する情報処理が追加される。具体的には、変形例では、スライドを特定する検索部１３６が追加される。図２２は、変形例に係る情報処理の全体の構成図を示す。なお、検索部１３６による情報処理以外の処理は、図２１に示す例と同様であるため、説明を省略する。図２３に示すように、制御部１３０は、検索部１３６を有してもよい。また、制御部１３０は、以下に説明する情報処理の作用を実現または実行してもよい。

（検索部１３６）
検索部１３６は、第１の病理画像のスライドを特定する。検索部１３６は、病理症例番号から対応するスライドを特定する。具体的には、検索部１３６は、第２の病理画像のスライドと同一のスライドを、画像処理に基づいて特定する。例えば、検索部１３６は、病理画像間のヒストグラムマッチ、特徴点抽出、テンプレートマッチングなどの技術を用いて、スライドを特定する。また、検索部１３６は、機械学習を用いて病理画像間の類似度を算出することにより、類似度が高い第１の病理画像のスライドを特定してもよい。

次に、図２４を用いて、変形例に係る情報処理システム１による情報処理の手順について説明する。図２４は、実施形態に係る情報処理システム１による情報処理の手順を示すフローチャートである。

図２４に示すように、生成装置１００は、スライドの病理症例番号を取得する（ステップＳ４０１）。生成装置１００は、取得した病理症例番号から、既撮像の複数のスライドデータを取得する（ステップＳ４０２）。生成装置１００は、撮像したスライドと、既撮像の複数のスライドデータとの類似度を算出する（ステップＳ４０３）。生成装置１００は、算出した類似度に基づいて、最も類似度が高いスライドを特定する（ステップＳ４０４）。

〔７．ハードウェア構成〕
また、上述してきた実施形態に係る撮像システム２および生成装置１００は、例えば、図２５に示すような構成のコンピュータ１０００によって実現される。図２５は、撮像システム２および生成装置１００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、所定の通信網を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを所定の通信網を介して他の機器へ送信する。

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が実施形態に係る撮像システム２および生成装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、各制御部の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。

〔８．その他〕
また、上記実施形態および変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上述してきた実施形態および変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。

なお、本技術は以下のような構成も取ることができる。
（１）
撮像された第１の病理画像と、当該第１の病理画像に付与された情報であって、当該第１の病理画像に関連するメタ情報であるアノテーション情報とを取得する取得部と、
前記第１の病理画像とは異なる第２の病理画像に基づいて、前記アノテーション情報を当該第２の病理画像に対応するよう転記した学習用の学習データであって、当該第２の病理画像に応じて病理に関する情報を推定する学習データを生成する生成部と、
を備える生成装置。
（２）
前記生成部は、
前記アノテーション情報を前記第２の病理画像に対応するアノテーション情報に変換した変換後のアノテーション情報を転記した前記学習データを生成する
（１）に記載の生成装置。
（３）
前記生成部は、
前記第１の病理画像とは解像度が異なる病理画像である前記第２の病理画像に基づいて、前記学習データを生成する
（１）または（２）に記載の生成装置。
（４）
前記生成部は、
前記第１の病理画像よりも視認性が高い病理画像である前記第２の病理画像に基づいて、前記学習データを生成する
（１）〜（３）のいずれか１項に記載の生成装置。
（５）
前記生成部は、
前記第１の病理画像の解像度よりも低い解像度の病理画像である前記第２の病理画像に基づいて、前記学習データを生成する
（１）〜（４）のいずれか１項に記載の生成装置。
（６）
前記生成部は、
前記第１の病理画像とは異なる撮像条件で撮像された病理画像である前記第２の病理画像に基づいて、前記学習データを生成する
（１）〜（５）のいずれか１項に記載の生成装置。
（７）
前記生成部は、
前記第１の病理画像を撮像した撮像装置とは異なる撮像装置で撮像された病理画像である前記第２の病理画像に基づいて、前記学習データを生成する
（１）〜（６）のいずれか１項に記載の生成装置。
（８）
前記生成部は、
前記１の病理画像とは異なる倍率で撮像された病理画像である前記第２の病理画像に基づいて、前記学習データを生成する
（１）〜（７）のいずれか１項に記載の生成装置。
（９）
前記生成部は、
前記第１の病理画像と同一の標本から採取された切片を撮像した病理画像である前記第２の病理画像に基づいて、前記学習データを生成する
（１）〜（８）のいずれか１項に記載の生成装置。
（１０）
前記生成部は、
前記第１の病理画像のスライドと同一のスライドを撮像した病理画像である前記第２の病理画像に基づいて、前記学習データを生成する
（１）〜（９）のいずれか１項に記載の生成装置。
（１１）
前記生成部は、
前記アノテーションを、前記第２の病理画像を撮像した第２の撮像装置に関する情報に対応するアノテーションに変換した変換後のアノテーションを、前記第２の病理画像に対応するアノテーションに更に変換した変換後のアノテーションである修正アノテーションを転記した前記学習データを生成する
（１）〜（１０）のいずれか１項に記載の生成装置。
（１２）
第１の撮像装置により撮像された第１の病理画像と、当該第１の病理画像に付与された情報であって、当該第１の病理画像に関連するメタ情報であるアノテーション情報とを取得する取得部と、
前記第１の撮像装置とは異なる第２の撮像装置により撮像された第２の病理画像に基づいて、前記アノテーション情報を当該第２の病理画像に対応するよう転記した学習用の学習データであって、当該第２の病理画像に応じて病理に関する情報を推定する学習データを生成する生成部と、
を備える生成装置。
（１３）
コンピュータが、
撮像された第１の病理画像と、当該第１の病理画像に付与された情報であって、当該第１の病理画像に関連するメタ情報であるアノテーション情報とを取得し、
前記第１の病理画像とは異なる第２の病理画像に基づいて、前記アノテーション情報を当該第２の病理画像に対応するよう転記した学習用の学習データであって、当該第２の病理画像に応じて病理に関する情報を推定する学習データを生成する
生成方法。
（１４）
コンピュータが、
第１の撮像装置により撮像された第１の病理画像と、当該第１の病理画像に付与された情報であって、当該第１の病理画像に関連するメタ情報であるアノテーション情報とを取得し、
前記第１の撮像装置とは異なる第２の撮像装置により撮像された第２の病理画像に基づいて、前記アノテーション情報を当該第２の病理画像に対応するよう転記した学習用の学習データであって、当該第２の病理画像に応じて病理に関する情報を推定する学習データを生成する
生成方法。

１ 情報処理システム
１０ 第１の撮像装置
２０ 第２の撮像装置
１００ 生成装置
１１０ 通信部
１２０ 記憶部
１２１ スライド記憶部
１２２ スライドデータ記憶部
１２３ アノテーション記憶部
１２４ 新スライド記憶部
１２５ 新スライドデータ記憶部
１２６ 転記アノテーション記憶部
１２７ 修正アノテーション記憶部
１２８ モデル記憶部
１２９ 座標変換情報記憶部
１３０ 制御部
１３１ 取得部
１３２ 変換部
１３３ 吸着部
１３４ 生成部
１３５ 提供部
１３６ 検索部
Ｎ ネットワーク

Claims (14)

1. 撮像された第１の病理画像と、当該第１の病理画像に付与された情報であって、当該第１の病理画像に関連するメタ情報であるアノテーションとを取得する取得部と、
   前記第１の病理画像とは異なる第２の病理画像に基づいて、前記アノテーションを当該第２の病理画像に対応するよう転記した学習用の学習データであって、当該第２の病理画像に応じて病理に関する情報を推定する学習データを生成する生成部と、
   を備える生成装置。
2. 前記生成部は、
   前記アノテーションを前記第２の病理画像に対応するアノテーションに変換した変換後のアノテーションを転記した前記学習データを生成する
   ことを特徴とする請求項１に記載の生成装置。
3. 前記生成部は、
   前記第１の病理画像とは解像度が異なる病理画像である前記第２の病理画像に基づいて、前記学習データを生成する
   ことを特徴とする請求項１に記載の生成装置。
4. 前記生成部は、
   前記第１の病理画像よりも視認性が高い病理画像である前記第２の病理画像に基づいて、前記学習データを生成する
   ことを特徴とする請求項３に記載の生成装置。
5. 前記生成部は、
   前記第１の病理画像の解像度よりも低い解像度の病理画像である前記第２の病理画像に基づいて、前記学習データを生成する
   ことを特徴とする請求項３に記載の生成装置。
6. 前記生成部は、
   前記第１の病理画像とは異なる撮像条件で撮像された病理画像である前記第２の病理画像に基づいて、前記学習データを生成する
   ことを特徴とする請求項１に記載の生成装置。
7. 前記生成部は、
   前記第１の病理画像を撮像した撮像装置とは異なる撮像装置で撮像された病理画像である前記第２の病理画像に基づいて、前記学習データを生成する
   ことを特徴とする請求項６に記載の生成装置。
8. 前記生成部は、
   前記第１の病理画像とは異なる倍率で撮像された病理画像である前記第２の病理画像に基づいて、前記学習データを生成する
   ことを特徴とする請求項６に記載の生成装置。
9. 前記生成部は、
   前記第１の病理画像と同一の標本から採取された切片を撮像した病理画像である前記第２の病理画像に基づいて、前記学習データを生成する
   ことを特徴とする請求項１に記載の生成装置。
10. 前記生成部は、
    前記第１の病理画像のスライドと同一のスライドを撮像した病理画像である前記第２の病理画像に基づいて、前記学習データを生成する
    ことを特徴とする請求項９に記載の生成装置。
11. 前記生成部は、
    前記アノテーションを、前記第２の病理画像を撮像した第２の撮像装置に関する情報に対応するアノテーションに変換した変換後のアノテーションを、前記第２の病理画像に対応するアノテーションに更に変換した変換後のアノテーションである修正アノテーションを転記した前記学習データを生成する
    ことを特徴とする請求項１に記載の生成装置。
12. 第１の撮像装置により撮像された第１の病理画像と、当該第１の病理画像に付与された情報であって、当該第１の病理画像に関連するメタ情報であるアノテーションとを取得する取得部と、
    前記第１の撮像装置とは異なる第２の撮像装置により撮像された第２の病理画像に基づいて、前記アノテーションを当該第２の病理画像に対応するよう転記した学習用の学習データであって、当該第２の病理画像に応じて病理に関する情報を推定する学習データを生成する生成部と、
    を備える生成装置。
13. コンピュータが、
    撮像された第１の病理画像と、当該第１の病理画像に付与された情報であって、当該第１の病理画像に関連するメタ情報であるアノテーションとを取得し、
    前記第１の病理画像とは異なる第２の病理画像に基づいて、前記アノテーションを当該第２の病理画像に対応するよう転記した学習用の学習データであって、当該第２の病理画像に応じて病理に関する情報を推定する学習データを生成する
    生成方法。
14. コンピュータが、
    第１の撮像装置により撮像された第１の病理画像と、当該第１の病理画像に付与された情報であって、当該第１の病理画像に関連するメタ情報であるアノテーションとを取得し、
    前記第１の撮像装置とは異なる第２の撮像装置により撮像された第２の病理画像に基づいて、前記アノテーションを当該第２の病理画像に対応するよう転記した学習用の学習データであって、当該第２の病理画像に応じて病理に関する情報を推定する学習データを生成する
    生成方法。

Images