JP2022147007A - 情報処理装置、情報処理方法、情報処理システム、及び、変換モデル - Google Patents

Abstract

【課題】複数のアノテーション・データを繋ぎ合わせた画像であっても、高速に、且つ、自在に表示することが可能であり、さらに、１つ１つのアノテーション・データを編集することができる情報処理装置を提供する。【解決手段】生体標本の画像データから生成された第１のアノテーション・データ、及び、変換処理情報を格納する記憶部と、前記変換処理情報を用いて、前記第１のアノテーション・データを当該第１のアノテーション・データに付随する複数の第２のアノテーション・データへ変換する変換部と、前記第１のアノテーション・データ又は前記第２のアノテーション・データを出力する出力部とを備える、情報処理装置を提供する。【選択図】図７

Description

本開示は、情報処理装置、情報処理方法、情報処理システム、及び、変換モデルに関する。

近年、細胞標本等の生体組織の画像データから、対象領域（例えば、病変領域）を自動的に抽出し、抽出結果を診断や研究用途に役立てる技術の開発が進められている。上記技術によれば、複数の既知（ラベル付けされた）の対象領域の画像（アノテーション・データ）を病理診断に使用したり、機械学習の教師データとして用いてモデルを構築し、構築したモデルを用いて新たに得られた画像データから、対象領域を自動的に抽出したりすることができる。

特開２０１１－１１７９９１号公報

上述のような画像データ（アノテーション・データ）を複数個繋ぎ合わせて１つの画像とした場合には、ユーザの所望に従って画像の移動やズーム等を行おうとすると、表示に関する動作が非常に重くなる。そこで、複数の画像データを繋ぎ合わせて１つの画像にした場合であっても、当該画像を高速に、且つ、自在に表示することが可能な技術が求められていた。同時に、病理診断等で使用するためには、繋ぎ合わされた画像であっても、各画像データが編集可能であることが求められていた。

そこで、本開示では、複数の画像データを繋ぎ合わせた画像であっても、高速に、且つ、自在に表示することが可能であり、さらに、１つ１つの画像データを編集することができる、情報処理装置、情報処理方法、情報処理システム、及び、変換モデルを提案する。

本開示によれば、生体標本の画像データから生成された第１のアノテーション・データ、及び、変換処理情報を格納する記憶部と、前記変換処理情報を用いて、前記第１のアノテーション・データを当該第１のアノテーション・データに付随する複数の第２のアノテーション・データへ変換する変換部と、前記第１のアノテーション・データ又は前記第２のアノテーション・データを出力する出力部とを備える、情報処理装置が提供される。

また、本開示によれば、生体標本の画像データから生成された第１のアノテーション・データ、及び、変換処理情報を記憶部に格納することと、前記変換処理情報を用いて、前記第１のアノテーション・データを当該第１のアノテーション・データに付随する複数の第２のアノテーション・データへ変換することと、前記第１のアノテーション・データ又は前記第２のアノテーション・データを出力することとを含む、情報処理方法が提供される。

また、本開示によれば、生体標本の画像データから生成されたアノテーション・データの出力処理を行う情報処理装置と、前記出力処理を前記情報処理装置に実行させるためのプログラムとを含む、情報処理システムであって、前記情報処理装置は、第１のアノテーション・データ、及び、変換処理情報を格納する記憶部と、前記変換処理情報を用いて、前記第１のアノテーション・データを当該第１のアノテーション・データに付随する複数の第２のアノテーション・データへ変換する変換部と、前記第１のアノテーション・データ又は前記第２のアノテーション・データを出力する出力部とを備える、情報処理システムが提供される。

さらに、本開示によれば、生体標本の画像データから生成された第１のアノテーション・データを、当該第１のアノテーション・データに付随する複数の第２のアノテーション・データへ変換するように、コンピュータを機能させるための、変換モデルであって、前記コンピュータは、前記変換モデルを用いて、前記第１のアノテーション・データに対してフィッティング処理を行い、前記第１のアノテーション・データに比べて表示倍率が高い前記各第２のアノテーション・データを生成する、変換モデルが提供される。

本開示の実施形態に係る情報処理システムの構成例を示す図である。 本開示の実施形態における画像表示の例を示す図である。 従来技術を説明するための図である。 本開示の実施形態の概要を説明するための図である。 本開示の実施形態と従来技術とを比較を説明するための図である。 本開示の実施形態に係る情報処理装置１０の機能構成例を示す図である。 図６に示す処理部１００の機能構成例を示す図である。 本開示の実施形態に係るフィッティング処理を説明するための図である。 本開示の実施形態に係る変換処理を説明するための図（その１）である。 本開示の実施形態に係る変換処理を説明するための図（その２）である。 本開示の実施形態に係る変換処理を説明するための図（その３）である。 本開示の実施形態に係る情報処理方法を示すフローチャートである。 顕微鏡システムの全体構成を概略的に示す図である。 撮像方式の例を示す図である。 撮像方式の例を示す図である。 診断支援システムの概略的な構成の一例を示すブロック図である。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。

以下に、添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。また、本明細書及び図面において、実質的に同一又は類似の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、実質的に同一又は類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

なお、説明は以下の順序で行うものとする。
１． 本開示の実施形態を創作するに至る背景
１．１ 情報処理システム１の構成例
１．２ 背景
２． 実施形態
２．１ 情報処理装置１０の機能構成例
２．２ 処理部１００の機能構成例
２．３ フィッティング処理について
２．４ 情報処理方法
３． まとめ
４． 応用例
４．１ 顕微鏡システム
４．２ 病理診断システム
５． ハードウェア構成
６． 補足

＜＜１． 本開示の実施形態を創作するに至る背景＞＞
＜１．１ 情報処理システム１の構成例＞
まずは、本開示の実施形態を説明する前に、本発明者らが本開示の実施形態を創作するに至る背景について説明する。

医療分野においては、病理医が病理画像を用いて診断を行うことがあるが、病理医によって、同一の病理画像に対する診断結果が異なることがある。このような診断のばらつきは、例えば病理医の経歴年数や専門性の違い等の経験値に起因するものであり、診断のばらつきを避けることは難しい。そこで、近年では、全ての病理医が精度の高い病理診断を行えるように支援することを目的として、機械学習を用いて、病理診断を支援するための情報である診断支援情報を導出する技術が開発されている。具体的には、当該技術においては、病理画像のうちの注目すべき対象領域（例えば、病変領域等）にラベル（アノテーション）を付した複数の病理画像を用意し、これらの病理画像を機械学習することにより、識別器と識別器によって利用されるデータ（モデルデータ）とを構築する。そして、このような機械学習によって構築された識別器と識別器によって利用されるモデルデータとを用いることにより、新たな病理画像における注目すべき対象領域の画像を自動的に抽出することができる。このような技術により、新た病理画像における注目すべき対象領域の情報を病理医に提供することができるため、病理医はより適切に病理画像の病理診断を行うことが可能となる。なお、本明細書においては、病理医による診断のみならず、上記機械学習の教師データとして利用することも可能な、対象領域（例えば、病変領域等）の画像にラベル（アノテーション）を付したデータを、アノテーション・データと呼ぶ。

そして、上記識別器及び当該識別器によって利用されるモデルデータの構築は、主に、「病理画像の準備」、「アノテーション・データの作成」、「機械学習」の３つの段階の処理により、実現される。また、ここで、対象領域（例えば、病変領域等）に付されるラベル（アノテーション）は、各種の対象領域に関する情報であることができる。例えば、当該情報は、「がん」のサブタイプ、「がん」のステージ及びがん細胞の分化度等といった診断結果や、対象領域における病変の有無、対象領域に病変が含まれている確率、病変の位置及び病変の種類等といった解析結果を含むことができる。なお、分化度は、どのような薬（抗がん剤等）が効きやすいかなどといった情報を予測するために利用され得る。

次に、本開示の実施形態に係る情報処理システム１の構成例について説明する。図１は、本開示の実施形態に係る情報処理システム１の構成例を示す図である。図１に示すように、本開示の実施形態に係る情報処理システム１は、情報処理装置１０と、表示装置２０と、スキャナ３０と、学習装置４０と、ネットワーク５０とを含む。情報処理装置１０とスキャナ３０と学習装置４０とは、ネットワーク５０を介して互いに通信可能に構成されている。当該ネットワーク５０で用いられる通信方式は、有線又は無線を問わず任意の方式を適用することができるが、安定した動作を維持することができる通信方式を用いることが望ましい。また、本実施形態においては、情報処理装置１０と表示装置２０とは、図１に示すような別個の装置であってもよく、一体の装置であってもよく、特に限定されるものではない。以下に、情報処理システム１に含まれる各装置の概要について説明する。

（情報処理装置１０）
情報処理装置１０は、例えば、コンピュータによって構成され、上記機械学習に用いるアノテーション・データを生成し、後述する学習装置４０へ出力することができる。例えば、情報処理装置１０は、ユーザ（例えば、医師や検査技師等）によって利用される。本開示の実施形態では、ユーザによる各種の操作が、情報処理装置１０に対してマウス（図示省略）やペンタブレット（図示省略）を介して入力される場合を主に想定する。しかしながら、本実施形態においては、ユーザによる各種の操作は、情報処理装置１０に対して図示しない端末を介して入力されてもよい。また、本実施形態では、ユーザへの各種の提示情報が、情報処理装置１０から表示装置２０を介して出力される場合を主に想定する。しかしながら、本実施形態においては、ユーザへの各種の提示情報は、情報処理装置１０から図示しない端末を介して出力されてもよい。なお、本開示の実施形態に係る情報処理装置１０の詳細については、後述する。

（表示装置２０）
表示装置２０は、例えば、液晶、ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）、ＣＲＴ(Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ)等の表示装置であって、上述した情報処理装置１０の制御により、病理画像を表示することができる。さらに、表示装置２０は、ユーザからの入力を受け付けるタッチパネルが重畳されていてもよい。なお、本実施形態においては、表示装置２０は、４Ｋや８Ｋに対応していてもよいし、複数の表示装置により構成されてもよく、特に限定されるものではない。そして、ユーザは、表示装置２０に表示された病理画像を閲覧しながら、上述したマウス（図示省略）やペンタブレット（図示省略）等を用いて、病理画像上で注目したい対象領域（例えば、病変領域）を自由に指定したり、対象領域に対してアノテーション（ラベル）を付与したりすることができる（編集作業）。

（スキャナ３０）
スキャナ３０は、検体から得られる細胞標本等の生体組織に対する読み取りを行うことができる。これによって、スキャナ３０は、生体組織が写る病理画像を生成し、上述した情報処理装置１０へ出力する。例えば、スキャナ３０は、イメージセンサを有しており、イメージセンサによって生体組織を撮像することによって、病理画像（画像データ）を生成する。スキャナ３０の読み取り方式は特定のタイプに限定されない。なお、本実施形態においては、スキャナ３０の読み取り方式は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）タイプであってもよいし、ＣＩＳ（Ｃｏｎｔａｃｔ Ｉｍａｇｅ Ｓｅｎｓｏｒ）タイプであってもよく、特に限定されるものではない。ここで、ＣＣＤタイプは、生体組織からの光（反射光又は透過光）をＣＣＤセンサによって読み取り、ＣＣＤセンサによって読み取った光を画像データに変換するタイプに相当し得る。一方、ＣＩＳ方式は、ＲＧＢ三色のＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）を光源に使用し、生体組織からの光（反射光又は透過光）をフォトセンサによって読み取り、読み取った結果を画像データに変換するタイプに相当し得る。

なお、本開示の実施形態では、病変領域が写る病理画像が画像データとして用いられる場合を主に想定して説明する。しかしながら、本開示の実施形態に係る画像データは、病変画像に限定されるものではない。また、本実施形態においては、病理画像には、スキャナ（イメージセンサを有する顕微鏡）のステージにセットされた生体組織（スライド）を連続的に撮影して得られた複数の画像を繋ぎ合わせた１つの画像も含まれる。このように複数の画像を繋ぎ合わせて１つの画像を生成する方式は、ホールスライドイメージング（ＷＳＩ）と呼ばれている。

（学習装置４０）
学習装置４０は、例えば、コンピュータによって構成され、複数のアノテーション・データを用いて機械学習を行うことによって識別器と識別器によって利用されるモデルデータとを構築することができる。そして、学習装置４０で構築された識別器と識別器によって利用されるモデルデータとを用いることにより、新たな病理画像における注目すべき対象領域の画像を自動的に抽出することができるようになる。上記機械学習には、典型的にはディープラーニングが用いられ得る。なお、本開示の実施形態の説明においては、識別器がニューラルネットワークによって実現される場合には、モデルデータは、ニューラルネットワークの各ニューロンの重みに相当し得る。しかし、本実施形態においては、識別器は、ニューラルネットワーク以外によって実現されてもよい。本実施形態においては、例えば、識別器は、ランダムフォレストによって実現されてもよいし、サポートベクタマシンによって実現されてもよいし、アダブーストによって実現されてもよく、特に限定されるものではない。

詳細には、学習装置４０は、複数のアノテーション・データを取得し、当該アノテーション・データに含まれる対象領域の画像の特徴量を算出する。特徴量は、例えば、細胞核又は細胞核の色特徴（輝度、彩度、波長、スペクトル等）、形状特徴（円形度、周長等）、密度、特定の形態からの距離、局所特徴量、構造抽出処理(核検出等)、それらを集計した情報(細胞密度や配向等)等、どのようなものであっても良い。例えば、学習装置４０は、対象領域の画像を、ニューラルネットワーク等のアルゴリズムに入力することにより、その画像の特徴量を算出する。さらに、学習装置４０は、同一のアノテーション（ラベル）が付された複数の対象領域の画像の各々の特徴量を集約することによって、複数の対象領域全体の特徴量である代表特徴量を算出する。例えば、学習装置４０は、複数の対象領域の各々の画像の特徴量の分布（例えば、色ヒストグラム）や画像のテクスチャ構造に着目したＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）等の特徴量に基づいて、複数の対象領域全体の代表特徴量を算出する。そして、識別機は、算出された対象領域の特徴量に基づいて、新たな病理画像に含まれる領域のうち、対象領域と類似する他の対象領域の画像を抽出することが可能となる。すなわち、学習の精度を向上させるためには、学習に供される大量のアノテーション・データが適切な編集がされているデータであることが求められる。

なお、本開示の実施形態においては、情報処理システム１に学習装置４０が含まれていなくてもよく、また、図１に示されていない別の装置が含まれていてもよい。

なお、本開示の実施形態では、図１に示すように、情報処理装置１０、スキャナ３０及び学習装置４０が別個の装置として存在する場合を主に想定する。しかしながら、本実施形態においては、情報処理装置１０、スキャナ３０及び学習装置４０の一部又は全部が、一体の装置として存在してもよい。あるいは、本実施形態においては、情報処理装置１０、スキャナ３０及び学習装置４０のいずれかが有する機能の一部は、他の装置に組み込まれていてもよい。

＜１．２ 背景＞
さらに、図２から図５を参照して、本発明者らが本開示の実施形態を創作するに至る背景について説明する。図２は、本開示の実施形態における画像表示の例を示す図であり、図３は、従来技術を説明するための図である。図４は、本開示の実施形態の概要を説明するための図であり、図５は、本開示の実施形態と従来技術とを比較を説明するための図である。

上述した情報処理装置１０を用いて、スキャナ３０で取得した画像データから、所定の特徴点を探索したり（ビジュアル・サーチ）や、所定の形態を持つ細胞核の画像のセグメンテーションを行ったりして、アノテーション・データを作成することができる。このような場合、数千から数十万単位で、アノテーション・データが大量に作成されることとなる。特に、アノテーション・データを病理診断等に使用しようとする場合には、様々な表示バリエーションが求められることから、各表示形式に合わせて大量のアノテーション・データを準備することとなる。

例えば、図２の左側に示すように、大量のアノテーション・データ８０２をＷＳＩとして（すなわち、複数のアノテーション・データを繋ぎ合わせて１つの画像８００ａとする）表示しようとする場合、低倍率に設定した際には、大量のアノテーション・データ８０２の全てが表示装置２０に表示されることとなることから、画像８００ａの移動に関する動作が非常の重くなる。さらに、図２の右側に示すように、当該画像８００ａの一部を拡大して拡大画像８００ｂを表示する際にも、やはり動作が非常に重くなる。すなわち、従来技術においては、繋ぎ合わされた複数のアノテーション・データ８０２の拡大、縮小表示をスムーズに行うことが難しい。また、このような繋ぎ合わされたアノテーション・データ８０２を病理診断等に使用する場合には、各アノテーション・データ８０２がスムーズに編集することが可能であることも求められる。

例えば、機械学習に供される大量のアノテーション・データ８０２を適切に編集するためには、ユーザの所望に従って、アノテーション・データ８０２を自由に編集することができ、且つ、高速に、且つ、自在に表示することが求められる。

このような要求に応じる手段として、図３に示すように、情報処理装置１０の記憶部１３０ａに、様々な倍率を持つ、複数のアノテーション・データ８０２を繋ぎ合わせて１つの画像とした複数の画像データ８０４を予め取得しておくことが考えられる。そして、このような手段を用いた場合、ユーザの所望する倍率に応じて、画像データ８０４を取得し、表示装置２０に出力することができる。

しかしながら、上述のような画像データ８０４は、ファイルサイズ（データ量）が非常に大きいことから、データを取り出して表示する処理の負荷が大きく、且つ、各アノテーション・データ８０２を編集することができない。また、他の手段として、情報処理装置１０は、点群データだけを予め格納し、当該点群データを利用して、複数のアノテーション・データ８０２を繋ぎ合わせて１つの画像とした画像データ８０４を表示することが考えられる。しかしながら、このような手段を用いた場合、各アノテーション・データ８０２を編集することが可能であっても、表示処理に時間がかかることから、ユーザの所望に従って、高速に、且つ、自在に表示することが難しい。

そこで、本発明者らは、このような状況を鑑みて、以下に説明する本開示の実施形態を創作するに至った。本開示の実施形態においては、図４に示すように、情報処理装置１０の記憶部１３０は、基準となるアノテーション・データ群（例えば、基準倍率（例えば、４０倍）のアノテーション・データ群）８０６と、それに付随する他のアノテーション・データ８０２（例えば、他の倍率アノテーション・データ）への変換処理のための変換パラメータ８１０（例えば、変換式ｆｎ（ｘ）等）を、基準となるアノテーション・データ群８０６に紐づけて格納する。なお、ここでは、同一の被写体を同一の条件（例えば、倍率等）で撮影された異なる領域の画像から作成されたアノテーション・データ８０２の集合をアノテーション・データ群８０６と呼ぶ。すなわち、このようなアノテーション・データ群８０６に含まれるアノテーション・データ８０２は、繋ぎ合わせることができる（ＷＳＩ）画像データであるといえる。

詳細には、本実施形態においては、情報処理装置１０は、基準となるアノテーション・データ８０２（又は、アノテーション・データ群８０６）を格納し、必要に応じて、基準となるアノテーション・データ８０２を、変換パラメータ８１０を用いて変換処理して、当該アノテーション・データ８０２に付随する新たなアノテーション・データ８０２を生成する。さらに、本実施形態においては、ユーザがアノテーション・データ８０２を編集した場合には、付随する他のアノテーション・データ８０２にも当該編集処理が反映するようにする。このようにすることで、例えば表示形式のバリエーションが増えた場合であっても、対応することが可能である。

例えば、図５の上段に示すような、従来技術である、様々な倍率を持つ複数の画像データ８０４を予め格納した場合には、データ量が多くなり、変換が必要ないため変換の処理量が少なくなる。一方、例えば、図５の中段、下段に示すような、本開示の実施形態である、基準となる倍率のアノテーション・データ群８０６と、変換パラメータ８１０とを予め格納し、ユーザの所望に応じて変換を行った場合には、変換を行うため処理量は多くなるが、データ量が少なくなる。さらに、基準となる倍率が大きいと、データ量が多くなるが、処理量が比較的少なくなる。一方、基準となる倍率が小さいと、データ量が少なくなるが、処理量が比較的多くなる。従って、本開示の実施形態においては、用途や被写体、情報処理装置１０のスペック等に応じて、基準となる倍率を選択し、より適切にデータ量と処理量とを調整することが好ましい。このような選択及び調整を行うことにより、変換のための変換処理の負荷が増加しても、データを取り出して表示する表示処理の負荷の増加を抑えることができるため、結果的に、ユーザの所望に従って、高速に、且つ、自在に表示することが可能となる。さらに、本開示の実施形態においては、ユーザの所望する情報を失うことなく、表示処理の負荷の増加を抑えるために、表示形式の最適化を行ってもよい。

以上のようにして、本開示の実施形態においては、様々な倍率を持つ複数の画像データ８０４を格納する代わりに、基準となるアノテーション・データ群８０６と、それに付随する他のアノテーション・データ８０２への変換処理のための変換パラメータ８１０とを格納する。このようにすることで、各アノテーション・データ８０２が編集可能でありながら、格納するデータ量を少なくし、表示処理の負荷の増加を抑えることができる。すなわち、本開示の実施形態においては、大量のアノテーション・データ８０２をユーザの所望に従って、高速に、且つ、自在に（例えば、所望の、又は、適切な倍率で）表示することが可能であり、さらに、１つ１つのアノテーション・データ８０２を編集することもできる。加えて、複数の表示形式を求められる状況においても、本実施形態によれば、柔軟に対応することができる。以下、このような本発明者らは創作した本開示の実施形態の詳細を順次説明する。

なお、以下の説明においては、生体（例えば、人体、植物等）から取得された、組織（例えば、臓器や上皮組織）の一部である組織切片や細胞のことを生体標本と呼ぶ。さらに以下の説明においては、画像中の対象領域の種類には様々なものが想定される。例えば、対象領域の例としては、腫瘍領域が主に想定される。その他、対象領域の例としては、検体が有る領域、組織領域、アーチファクト領域、上皮組織、扁平上皮、腺領域、細胞異型の領域、組織異型の領域などが挙げられる。また、以下に説明する生体標本は、必要に応じて各種の染色が施されていてもよい。言い換えると、以下に説明する実施形態においては、特に断りがない限りは、生体標本に各種の染色が施されていなくても、されていてもよく、特に限定されるものではない。さらに、例えば、染色には、ＨＥ（ヘマトキシリン・エオシン）染色、ギムザ染色又はパパニコロウ染色等に代表される一般染色のみならず、特定の組織に着目する場合に用いる過ヨウ素酸シッフ（ＰＡＳ）染色等や、ＦＩＳＨ（Ｆｌｕｏｒｅｓｃｅｎｃｅ Ｉｎ－Ｓｉｔｕ Ｈｙｂｒｉｄｉｚａｔｉｏｎ）や酵素抗体法等の蛍光染色が含まれる。

＜＜２． 実施形態＞＞
＜２．１ 情報処理装置１０の機能構成例＞
まずは、図６を参照して、本開示の実施形態に係る情報処理装置１０の機能構成例について説明する。図６は、本実施形態に係る情報処理装置１０の機能構成例を示す図である。詳細には、図６に示すように、情報処理装置１０は、処理部１００と、画像データ受信部１２０と、記憶部１３０と、操作部（入力部）１４０と、送信部１５０とを主に有する。以下に、情報処理装置１０の各機能部の詳細について順次説明する。

（処理部１００）
処理部１００は、病理画像（画像データ）及びユーザからの入力操作に基づき、病理画像からアノテーション・データ８０２を生成することができる。処理部１００は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ)によって、後述する記憶部１３０に格納されたプログラムがＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を作業領域として実行されることにより機能する。また、処理部１００は、例えばＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路により構成されてもよい。なお、処理部１００の詳細については後述する。

（画像データ受信部１２０、送信部１５０）
画像データ受信部１２０及び送信部１５０は、通信回路を含んで構成される。画像データ受信部１２０は、スキャナ３０からネットワーク５０を介して病理画像（画像データ）を受信することができる。画像データ受信部１２０は、受信した病理画像を上述した処理部１００に出力する。一方、送信部１５０は、処理部１００からアノテーション・データ８０２が出力されると、学習装置４０に対してネットワーク５０を介して送信することができる。

（記憶部１３０）
記憶部１３０は、例えば、ＲＡＭ、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１３０は、処理部１００により既に生成されたアノテーション・データ８０２や、処理部１００で実行されるプログラム等を格納する。

具体的には、記憶部１３０は、スキャナ３０から受信した画像データから生成された複数のアノテーション・データ（第１のアノテーション・データ）８０２を格納する。例えば、当該アノテーション・データ８０２は、ラベルが付された画像そのものであってもよく、もしくは、画像上の輪郭線等を表現する微細な点群の座標からなる点群座標データであってもよい。さらに、記憶部１３０は、上記アノテーション・データ８０２に付随し、例えば、表示方式や表示倍率が異なる複数の他のアノテーション・データ（第３のアノテーション・データ）８０２を格納してもよい。

例えば、本実施形態においては、記憶部１３０に、基準となる倍率のアノテーション・データ８０２が格納されていればよく、他の倍率のアノテーション・データ８０２は格納されていても、格納されていなくてもよい。さらに、本実施形態においては、格納する、基準となる倍率のアノテーション・データ８０２は、最高倍率であることに限定されるものではない。

また、記憶部１３０は、予め格納されたアノテーション・データ（第１のアノテーション・データ）８０２を、当該アノテーション・データ８０２に付随する複数の他のアノテーション・データ（第２のアノテーション・データ）８０２へ変換するために用いられる変換パラメータ（変換処理情報、変換モデル）８１０を格納することができる。さらに、記憶部１３０は、アノテーション・データ８０２に対する編集に関する編集処理情報をさらに格納してもよい。

（操作部１４０）
操作部１４０は、ユーザによる操作の入力を受け付ける機能を有し、例えば、ユーザによる、アノテーション・データ（第１のアノテーション・データ）８０２に対する編集操作（例えば、診断結果等の情報の付加）を受け付けることができる。本開示の実施形態においては、操作部１４０は、マウス及びキーボードを含む場合を主に想定する。しかしながら、本実施形態においては、操作部１４０は、マウス及びキーボードを含む場合に限定されるものではない。本実施形態においては、例えば、操作部１４０は、電子ペンを含んでもよいし、タッチパネルを含んでもよいし、視線を検出するイメージセンサを含んでもよい。

なお、図６を参照して説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理装置１０の構成はかかる例に限定されない。すなわち、本実施形態に係る情報処理装置１０の構成は、仕様や運用に応じて柔軟に変形可能である。

＜２．２ 処理部１００の機能構成例＞
続いて、図７から図１１を参照して、上述した処理部１００の機能構成例について説明する。図７は、図６に示す処理部１００の機能構成例を示す図であり、図８は、本実施形態に係るフィッティング処理を説明するための図である。また、図９から図１１は、本実施形態に係る変換処理を説明するための図である。

詳細には、図７に示すように、処理部１００は、生成部１０２と、変換部１０４と、編集部１０６と、出力部１０８とを主に有する。以下に、処理部１００の各機能部の詳細について順次説明する。

（生成部１０２）
生成部１０２は、スキャナ３０から受信した画像データから複数のアノテーション・データ（第１のアノテーション・データ）８０２を生成する。詳細には、生成部１０２は、上記画像データから、ユーザが求める対象領域の画像を抽出し、抽出した対象領域の画像にラベルを付すことでアノテーション・データ８０２を生成する。

より具体的には、図８に示すように、ユーザによって、マウス（図示省略）等を用いて画像データ９０４に対して曲線９０８を描くことにより、対象領域９１２の範囲を示す境界が指定され、指定された範囲の画像を抽出することにより、アノテーション・データ８０２が生成される。なお、ユーザによって描かれる曲線９０８で囲まれた領域とユーザが所望する対象領域９１２の輪郭との間にずれが生じやすい。そこで、本実施形態においては、生成部１０２は、画像データ９０４とユーザが描いた曲線９０８とに基づいてフィッティング処理（修正）を行うことにより、所望の対象領域９１２の輪郭を取得し、取得した輪郭に基づき、画像データから対象領域９１２の画像を抽出する。すなわち、本実施形態においては、フィッティング処理を実行することにより、ユーザが描いた曲線９０８が対象領域の輪郭とずれてしまった場合でも、ユーザの意図したように、対象領域９１２の輪郭を精度よく取得することができる。なお、ここで適用可能なフィッティング処理の手法としては、例えば、「前景背景フィッティング」、「細胞膜フィッティング」、「細胞核フィッティング」等を挙げることができ、これらの詳細については、後述する。

また、本実施形態においては、対象領域の輪郭の例としては、腫瘍領域と非腫瘍領域との境界、検体が有る領域と検体が無い領域との境界、組織（前景）領域と空白（背景）領域との境界、アーチファクト領域と非アーチファクトとの境界、上皮組織と非上皮組織との境界、扁平上皮と非扁平上皮との境界、腺領域と非腺領域との境界、細胞異型の領域とそれ以外の領域との境界、組織異型の領域とそれ以外の領域との境界等が挙げられる。そして、上記フィッティング処理は、このような境界を利用することにより行うことができる。

より具体的には、生成部１０２は、以下のようにしてアノテーション・データ８０２を生成することができる。なお、ここでは、生成部１０２は、「前景背景フィッティング」を実行するものとして説明する。

生成部１０２は、ユーザの、画像データに対する入力操作により指定された曲線９０８の情報と、画像データ９０４上の輪郭とに基づき、対象領域（検体が有る領域、組織領域、アーチファクト領域、上皮組織、扁平上皮、腺領域、細胞異型の領域、組織異型の領域等）９１２の輪郭を、グラフカットによるセグメンテーションアルゴリズムを用いて抽出することにより、フィッティングを行うことができる。あるいは、セグメンテーションアルゴリズムには、機械学習が用いられてもよい。なお、上記フィッティングでは、輪郭としての確からしさ（信頼度）がより高くなるように対象領域９１２輪郭が決定されてもよい。本実施形態においては、このようなフィッティング処理を実行することにより、精度の高い、大量のアノテーション・データ８０２を効率よく生成することができる。

さらに、フィッティング処理の際の、輪郭の探索は、ユーザの入力操作により指定された曲線９０８から所定の距離まで離れた（所定の幅を持った）範囲で行われる。また、以下においては、フィッティング処理の際に輪郭が探索される範囲を「探索範囲」と呼び、例えば、入力操作により指定された曲線９０８に対する法線方向に沿って所定の距離だけ離れた範囲までを探索範囲とすることができる。

また、本実施形態においては、上記フィッティング処理により、ユーザが意図したような対象領域９１２が取得できない場合には、ユーザによって繰り返し修正が加えられてもよい。

（変換部１０４）
変換部１０４は、記憶部１３０に格納された変換パラメータ（変換処理情報、変換モデル）８１０を用いて、スキャナ３０から受信した画像データから生成された複数のアノテーション・データ（第１のアノテーション・データ）８０２を当該アノテーション・データ８０２に付随する複数のアノテーション・データ（第２のアノテーション・データ）８０２へ変換することができる。詳細には、変換部１０４は、例えば、基準となるアノテーション・データ８０２を点群座標としてデータ化された点群座標データを、変換パラメータとして記憶部１３０の格納された所定の変換式を用いて、他のアノテーション・データ８０２に変換することができる。

本実施形態においては、例えば、図９に示すように、変換部１０４は、低倍率のアノテーション・データ８０２ａから高倍率のアノテーション・データ８０２ｂへ変換する場合（変換Ａ）と、高倍率のアノテーション・データ８０２ｂから低倍率のアノテーション・データ８０２ａへ変換する場合（変換Ｂ）と、を行うことができる。

まず、変換Ａの場合について説明する。変換Ａの場合には、図１０の左側に示すように、低倍率のアノテーション・データ８０２ａを単純に線形拡大することにより、高倍率のアノテーション・データ８０２ｂを取得することができる。

また、上述の線形拡大を行った場合には、得られる高倍率のアノテーション・データ８０２ｂはスパースな（すかすかな）画像となることから、ユーザは、高倍率のアノテーション・データ８０２ｂから必要な情報を得ることができないことがある。そこで、本実施形態においては、図１０の右側に示すように、低倍率のアノテーション・データ８０２ａを単純に線形拡大するのではなく、上述したフィッティング処理を行い、当該フィッティング処理により得られた輪郭等の情報を使ってデータ量を補った上で、線形拡大して、高倍率のアノテーション・データ８０２ｂを取得してもよい。もしくは、本実施形態においては、低倍率のアノテーション・データ８０２ａを線形拡大した後に、フィッティング処理を行い、当該フィッティング処理により得られた輪郭等の情報を使ってデータ量を補って、高倍率のアノテーション・データ８０２ｂを取得してもよい。なお、フィッティング処理の手法の詳細については、後述する。

次に、変換Ｂについて説明する。変換Ｂの場合には、例えば、高倍率のアノテーション・データ８０２ｂを、ＪＰＥＧ、ＧＩＦ等の既存の圧縮処理を行うことにより、低倍率のアノテーション・データ８０２ａを取得することができる。

また、本実施形態においては、変換部１０４は、倍率の変換を行うだけでなく、表示形式の変換を行うこともできる。例えば、変換部１０４は、図１１に示すような、核セグメンテーション表示（詳細には、所定の形態を持つ細胞核の画像のセグメンテーション）、点群表示、又は、ヒートマップ表示等に変換することができる。さらに、本実施形態においては、変換部１０４は、上述した倍率の返還と同時に、表示方式の変換を行ってもよい。具体的には、例えば、図１１の右側に示す核セグメンテーション表示のアノテーション・データ８０２を、低倍率に変換する場合には、ユーザにとっては輪郭等の無駄な情報が含まれることとなる。そこで、本実施形態においては、ユーザが必要とする例えば核の分布や異形度分布等の情報が一見して把握できるように、低倍率に変換する際に、図１１の中央上側に示す点群表示（点で、核の分布を示す）や、図１１の中央下側に示すＨｅａｔｍａｐ表示（色や濃淡の違いで核の分布を示す）に変換する。また、本実施形態においては、図１１の左側に示すように、点群表示とＨｅａｔｍａｐ表示とを重畳表示するように変換してもよい。すなわち、本実施形態においては、ユーザの所望する情報を失うことなく、表示処理の負荷の増加を抑えるために、上述したような表示形式の最適化を行ってもよい。

以上のように、本実施形態においては、変換部１０４により、基準となるアノテーション・データ８０２から、変換パラメータ８１０を用いて変換処理して、当該アノテーション・データ８０２に付随する新たなアノテーション・データ８０２を生成することができる。本実施形態においては、このようにすることで、例えば、表示倍率や表示形式のバリエーションが増えた場合であっても、記憶部１３０に格納するデータ量を削減することができる。従って、本実施形態によれば、変換のための変換処理の負荷が増加しても、データを取り出して表示する表示処理の負荷の増加を抑えることができるため、結果的に、各アノテーション・データ８０２の編集が可能でありながら、ユーザの所望に従って、高速に、且つ、自在に表示することが可能となる。

（編集部１０６）
編集部１０６は、ユーザによって、アノテーション・データ（第１のアノテーション・データ又は第２のアノテーション・データ）８０２が編集された場合（例えば、病理診断結果をラベルとして付す、輪郭を修正する等）に、他のアノテーション・データ（残りのアノテーション・データ）８０２に当該編集を反映させることができる。詳細には、本実施形態においては、ユーザによってアノテーション・データ８０２が編集された際に、編集に関する編集処理情報を記憶部１３０に格納する。そして、編集部１０６は、上記編集のタイミングで、又は、他のアノテーション・データ８０２を出力するタイミングで、上記編集処理情報に基づき、他のアノテーション・データに上記編集を反映させることができる。

本実施形態においては、アノテーション・データ８０２を編集した場合には、編集処理情報に基づき、付随する他のアノテーション・データ８０２にも当該編集処理が反映するようにする。本実施形態においては、このようにすることで、ユーザの利便性を高めるとともに、記憶部１３０に格納するデータ量を削減することができる。また、本実施形態によれば、例えば表示形式のバリエーションが増えた場合であっても、対応することが可能である。

（出力部１０８）
出力部１０８は、上述の変換部１０４や編集部１０６に変換または編集された１つ又は複数のアノテーション・データ（第１及び第２のアノテーション・データ）８０２を、表示装置２０へ出力することができる。例えば、出力部１０８は、ユーザの操作に応じて、複数のアノテーション・データ８０２を繋ぎ合わせて、１つの画像として出力することができる（ＷＳＩ）。

＜２．３ フィッティング処理について＞
ここで、上述したフィッティング処理の詳細について説明する。本実施形態で用いられるフィッティング処理は、例えば、先に説明した「前景背景フィッティング」、「細胞膜フィッティング」、「細胞核フィッティング」等であることができる。以下、各フィッティング処理の詳細について説明する。

「前景背景フィッティング」とは、前景と背景との境界に対するフィッティング処理である。「前景背景フィッティング」は、対象領域が、例えば、検体が有る領域、組織領域、アーチファクト領域、上皮組織、扁平上皮、腺領域、細胞異型の領域、組織異型の領域等である場合に適用することができる。この場合、画像データと、ユーザの入力操作により指定された範囲とに基づいて、グラフカットによるセグメンテーションアルゴリズムを用いてフィッティング処理を行うことができる。なお、セグメンテーションアルゴリズムには、機械学習が用いられてもよい。

詳細には、「前景背景フィッティング」処理においては、例えば、図８に示すように、画像データ９０４上の、ユーザが曲線９０８で指定した範囲に存在する画素の色値と同一又は近似する色値を持つ画素の集合を、抽出すべき対象領域９１２であるとして（セグメント化）、その輪郭を取得する。この際、画像上で予め前景オブジェクトとなる領域と背景オブジェクトとなる領域の一部を指定しておく。そして、前景オブジェクト及び背景オブジェクトと隣接する領域の画素には色値に違いがあるという仮定において、全画素に対して前景ラベル又は背景ラベルが適切に付けられた時に最小のコストとなるコスト関数を与え、コストが最小となるラベルの組み合わせを算出する（グラフカット）ことにより（エネルギー最小化問題を解く）、セグメント化を行うことができる。

また、「細胞膜フィッティング」とは、細胞膜に対するフィッティング処理である。この場合、病理画像から細胞膜の特徴を認識し、認識した細胞膜の特徴と、ユーザによって描かれた曲線で囲まれた範囲とに基づいて、細胞膜の輪郭に沿ってフィッティング処理を行う。例えば、当該フィッティングに際しては、免疫染色の膜染色で茶色に染まったエッジを利用することができる。なお、染色条件は、上記の例に限定されず、一般染色、免疫染色、蛍光免疫染色等、どのようなものであってもよい。

さらに、「細胞核フィッティング」とは、細胞核に対するフィッティングである。この場合、病理画像から細胞核の特徴を認識し、認識した細胞核の特徴と、ユーザによって描かれた曲線で囲まれた範囲とに基づいて、細胞核の輪郭に沿ってフィッティングを行う。例えば、ヘマトキシリン・エオジン（ＨＥ）を用いれば核が青く染まるため、当該フィッティングに際しては、ヘマトキシリン・エオジン（ＨＥ）による染色情報を利用することができる。なお、染色条件は、上記の例に限定されず、一般染色、免疫染色、蛍光免疫染色等、どのようなものであってもよい。

＜２．４ 情報処理方法＞
以上、本実施形態に係る情報処理装置１０、処理部１００及びフィッティングの詳細について説明した。次に、図１２を参照して、本実施形態に係る情報処理方法を説明する。図１２は、本実施形態に係る情報処理方法を示すフローチャートである。詳細には、図１２に示すように、本実施形態に係る情報処理方法は、ステップＳ１０１からステップＳ１０６までを含む。以下に、これら各ステップの詳細を説明する。

まずは、情報処理装置１０は、表示装置２０で表示している画像に対する、ユーザからの拡大／縮小表示の指示や、画像拡大範囲の指定や、表示形式の指定等の入力を受け付ける（ステップＳ１０１）。次に、情報処理装置１０は、上述のステップＳ１０１で受け付けた入力に基づき、表示装置２０で表示する表示形式を決定する（ステップＳ１０２）。

そして、情報処理装置１０は、表示装置２０で表示している画像、上述したステップＳ１０１で受け付けた入力、及び、上述したステップＳ１０２で決定した表示形式に基づき、記憶部１３０の格納されたデータから、１つ又は複数のアノテーション・データ８０２を取得する（ステップＳ１０３）。

次に、情報処理装置１０は、表示装置２０で表示している画像、上述したステップＳ１０１で受け付けた入力、及び、上述したステップＳ１０２で決定した表示形式に基づき、記憶部１３０の格納されたデータから、１つ又は複数の変換パラメータ８１０を取得する（ステップＳ１０４）。

さらに、情報処理装置１０は、上述したステップＳ１０４で取得した変換パラメータ８１０を用いて、上述したステップＳ１０３で取得したアノテーション・データ８０２を変換する（ステップＳ１０５）。そして、情報処理装置１０は、上述したステップＳ１０５で新たに得られた１つ又は複数のアノテーション・データ８０２を表示装置２０へ出力する（ステップＳ１０６）。この際、出力されたアノテーション・データ８０２に編集が施された場合には、情報処理装置１０は、当該編集に関する編集処理情報を取得する。さらに、情報処理装置１０は、当該変種処理情報を用いて、記憶部１３０に格納された付随するアノテーション・データ８０２を編集してもよい。

＜＜３． まとめ＞＞
以上のように、本開示の実施形態によれば、複数の画像データを繋ぎ合わせた画像であっても、高速に、且つ、自在に表示することが可能であり、さらに、１つ１つの画像データを編集することができる。

なお、上述した本開示の実施形態においては、撮影対象は、生体標本に限定されるものではない。また、上述した本開示の実施形態は、医療又は研究等の用途へ適用することに限定されるものではなく、画像を用いて高精度の解析等を行うことが求められる用途であれば、特に限定されるものではない。

＜＜４． 応用例＞＞
＜４．１ 顕微鏡システム＞
また、本開示に係る技術は、例えば、顕微鏡システム等に適用されることができる。以下、図１３を参照して、適用され得る顕微鏡システムの構成例について説明する。図１３は、顕微鏡システムの構成例を示す。

図１３に示される顕微鏡システム５０００は、顕微鏡装置５１００、制御部５１１０、及び情報処理部５１２０を含む。顕微鏡装置５１００は、光照射部５１０１、光学部５１０２、及び、信号取得部５１０３を有している。顕微鏡装置５１００は、さらに、生体由来試料Ｓが配置される試料載置部５１０４を有していてもよい。なお、顕微鏡装置の構成は、図１３に示されるものに限定されず、例えば、光照射部５１０１は、顕微鏡装置５１００の外部に存在してもよく、例えば、顕微鏡装置５１００に含まれない光源が光照射部５１０１として利用されてもよい。また、光照射部５１０１は、光照射部５１０１と光学部５１０２とによって試料載置部５１０４が挟まれるように配置されていてよく、例えば、光学部５１０２が存在する側に配置されてもよい。顕微鏡装置５１００は、明視野観察、位相差観察、微分干渉観察、偏光観察、蛍光観察、及び暗視野観察のうちの１又は２以上を実行することができるように構成されてよい。

顕微鏡システム５０００は、いわゆるＷＳＩ（Ｗｈｏｌｅ Ｓｌｉｄｅ Ｉｍａｇｉｎｇ）システム又はデジタルパソロジーイメージングシステムとして構成されてよく、病理診断のために用いられうる。また、顕微鏡システム５０００は、蛍光イメージングシステム、特には多重蛍光イメージングシステムとして構成されてもよい。

例えば、顕微鏡システム５０００は、術中病理診断又は遠隔病理診断を行うために用いられてよい。当該術中病理診断においては、手術が行われている間に、顕微鏡装置５１００が、当該手術の対象者から取得された生体由来試料Ｓのデータを取得し、そして、当該データを情報処理部５１２０へと送信し得る。当該遠隔病理診断においては、顕微鏡装置５１００は、取得した生体由来試料Ｓのデータを、顕微鏡装置５１００とは離れた場所（別の部屋又は建物など）に存在する情報処理部５１２０へと送信し得る。そして、これらの診断において、情報処理部５１２０は、当該データを受信し、出力する。さらに、出力されたデータに基づき、情報処理部５１２０のユーザが、病理診断を行い得る。

（生体由来試料Ｓ）
生体由来試料Ｓは、生体成分を含む試料であってもよい。当該生体成分は、生体の組織、細胞、生体の液状成分（血液や尿等）、培養物、又は生細胞（心筋細胞、神経細胞、及び受精卵など）であってもよい。また、生体由来試料は、固形物であってもよく、パラフィンなどの固定試薬によって固定された標本又は凍結により形成された固形物であってもよい。当該生体由来試料は、当該固形物の切片であり得る。当該生体由来試料の具体的な例として、生検試料の切片を挙げることができる。

上記生体由来試料は、染色又は標識などの処理が施されたものであってもよい。当該処理は、生体成分の形態を示すための又は生体成分が有する物質（表面抗原など）を示すための染色であってもよく、ＨＥ（Ｈｅｍａｔｏｘｙｌｉｎ-Ｅｏｓｉｎ）染色、免疫組織化学（Ｉｍｍｕｎｏｈｉｓｔｏｃｈｅｍｉｓｔｒｙ）染色等を挙げることができる。また、生体由来試料は、１又は２以上の試薬により前記処理が施されたものであってよく、当該試薬は、蛍光色素、発色試薬、蛍光タンパク質、又は蛍光標識抗体であり得る。

また、標本は、組織サンプルから病理診断または臨床検査などを目的に作製されたものであってもよい。また、当該標本は、人体に限らず、動物、植物、又は他の材料に由来するものであってもよい。標本は、使用される組織（例えば臓器または細胞等）の種類、対象となる疾病の種類、対象者の属性（例えば、年齢、性別、血液型、または人種等）、または対象者の生活習慣（例えば、食生活、運動習慣、または喫煙習慣等）等により性質が異なる。そこで、当該標本は、各標本それぞれ識別可能な識別情報(バーコード又はＱＲコード（登録商標）等の１次元又は２次元コード）を付されて管理されてよい。

（光照射部５１０１）
光照射部５１０１は、生体由来試料Ｓを照明するための光源、および光源から照射された光を標本に導く光学系である。光源は、可視光、紫外光、若しくは赤外光、又はこれらの組合せを生体由来試料に照射し得る。光源は、ハロゲン光源、レーザ光源、ＬＥＤ光源、水銀光源、及びキセノン光源のうちの１又は２以上であってもよい。蛍光観察における光源の種類、及び／又は、波長は、複数でもよく、当業者により適宜選択されてもよい。光照射部５１０１は、透過型、反射型又は落射型（同軸落射型若しくは側射型）の構成を有し得る。

（光学部５１０２）
光学部５１０２は、生体由来試料Ｓからの光を信号取得部５１０３へと導くように構成される。光学部５１０２は、顕微鏡装置５１００が生体由来試料Ｓを観察又は撮像することを可能とするように構成され得る。光学部５１０２は、対物レンズを含み得る。対物レンズの種類は、観察方式に応じて当業者により適宜選択されてもよい。また、光学部５１０２は、対物レンズによって拡大された像を信号取得部に中継するためのリレーレンズを含んでもよい。光学部５１０２は、対物レンズ及びリレーレンズ以外の光学部品、接眼レンズ、位相板、及びコンデンサレンズなど、をさらに含み得る。また、光学部５１０２は、生体由来試料Ｓからの光のうちから所定の波長を有する光を分離するように構成された波長分離部をさらに含んでもよい。波長分離部は、所定の波長又は波長範囲の光を選択的に信号取得部に到達させるように構成され得る。波長分離部は、例えば、光を選択的に透過させるフィルタ、偏光板、プリズム（ウォラストンプリズム）、及び回折格子のうちの１又は２以上を含んでもよい。波長分離部に含まれる光学部品は、例えば対物レンズから信号取得部までの光路上に配置されてもよい。波長分離部は、蛍光観察が行われる場合、特に励起光照射部を含む場合に、顕微鏡装置内に設けられる。波長分離部は、蛍光同士を互いに分離し又は白色光と蛍光とを分離するように構成され得る。

（信号取得部５１０３）
信号取得部５１０３は、生体由来試料Ｓからの光を受光し、当該光を電気信号、特にはデジタル電気信号へと変換することができるように構成され得る。信号取得部５１０３は、当該電気信号に基づき、生体由来試料Ｓに関するデータを取得することができるように構成されてもよい。信号取得部５１０３は、生体由来試料Ｓの像（画像、特には静止画像、タイムラプス画像、又は動画像）のデータを取得することができるように構成されてもよく、特に光学部５１０２によって拡大された画像のデータを取得するように構成され得る。信号取得部５１０３は、１次元又は２次元に並んで配列された複数の画素を有する１つ又は複数の撮像素子、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）又はＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等を含む。信号取得部５１０３は、低解像度画像取得用の撮像素子と高解像度画像取得用の撮像素子とを含んでよく、又は、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）等のためのセンシング用撮像素子と観察などのための画像出力用撮像素子とを含んでもよい。撮像素子は、複数の画素に加え、各画素からの画素信号を用いた信号処理を行う信号処理部（ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、及びメモリのうちの１つ、２以上を含む）、及び、画素信号から生成された画像データ及び信号処理部により生成された処理データの出力の制御を行う出力制御部を含み得る。また、複数の画素、信号処理部、及び出力制御部を含む撮像素子は、好ましくは１チップの半導体装置として構成され得る。

なお、顕微鏡システム５０００は、イベント検出センサをさらに具備してもよい。当該イベント検出センサは、入射光を光電変換する画素を含み、当該画素の輝度変化が所定の閾値を超えたことをイベントとして検出するように構成され得る。当該イベント検出センサは、非同期型であってもよい。

（制御部５１１０）
制御部５１１０は、顕微鏡装置５１００による撮像を制御する。制御部５１１０は、撮像制御のために、光学部５１０２、及び／又は、試料載置部５１０４の移動を駆動して、光学部５１０２と試料載置部５１０４との間の位置関係を調節しうる。制御部５１１０は、光学部５１０２、及び／又は、試料載置部５１０４を、互いに近づく又は離れる方向（例えば対物レンズの光軸方向）に移動させ得る。また、制御部５１１０は、光学部５１０２、及び／又は、試料載置部５１０４を、光軸方向と垂直な面におけるいずれかの方向に移動させてもよい。制御部５１１０は、撮像制御のために、光照射部５１０１、及び／又は、信号取得部５１０３を制御してもよい。

（試料載置部５１０４）
試料載置部５１０４は、生体由来試料Ｓの試料載置部５１０４上における位置が固定できるように構成されてよく、いわゆるステージであってもよい。試料載置部５１０４は、生体由来試料Ｓの位置を、対物レンズの光軸方向、及び／又は、当該光軸方向と垂直な方向に移動させることができるように構成され得る。

（情報処理部５１２０）
情報処理部５１２０は、顕微鏡装置５１００が取得したデータ（撮像データなど）を、顕微鏡装置５１００から取得し得る。情報処理部５１２０は、撮像データに対する画像処理を実行し得る。当該画像処理は、アンミキシング処理、特にスペクトラルアンミキシング処理を含んでもよい。当該アンミキシング処理は、撮像データから所定の波長又は波長範囲の光成分のデータを抽出して画像データを生成する処理、又は、撮像データから所定の波長又は波長範囲の光成分のデータを除去する処理などを含み得る。また、当該画像処理は、組織切片の自家蛍光成分と色素成分を分離する自家蛍光分離処理や互いに蛍光波長が異なる色素間の波長を分離する蛍光分離処理を含み得る。当該自家蛍光分離処理では、同一ないし性質が類似する複数の標本のうち、一方から抽出された自家蛍光シグナルを用いて他方の標本の画像情報から自家蛍光成分を除去する処理を行ってもよい。情報処理部５１２０は、制御部５１１０による撮像制御のためのデータを送信してよく、当該データを受信した制御部５１１０が、当該データに従い顕微鏡装置５１００による撮像を制御してもよい。

情報処理部５１２０は、汎用のコンピュータ等の情報処理装置として構成されてよく、ＣＰＵ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）を有していてもよい。情報処理部５１２０は、顕微鏡装置５１００の筐体内に含まれていてよく、又は、当該筐体の外にあってもよい。また、情報処理部５１２０による各種処理又は機能は、ネットワークを介して接続されたサーバコンピュータ又はクラウドにより実現されてもよい。

顕微鏡装置５１００による生体由来試料Ｓの撮像の方式は、生体由来試料Ｓの種類及び撮像の目的などに応じて、当業者により適宜選択されてよい。当該撮像方式の例を、図１４及び図１５を参照して、以下に説明する。図１４及び図１５は、撮像方式の例を示す図である。

撮像方式の一つの例は以下のとおりである。顕微鏡装置５１００は、まず、撮像対象領域を特定しうる。当該撮像対象領域は、生体由来試料Ｓが存在する領域全体をカバーするように特定されてよく、又は、生体由来試料Ｓのうちの目的部分（目的組織切片、目的細胞、又は目的病変部が存在する部分）をカバーするように特定されてもよい。次に、顕微鏡装置５１００は、当該撮像対象領域を、所定サイズの複数の分割領域へと分割し、顕微鏡装置５１００は各分割領域を順次撮像する。これにより、各分割領域の画像が取得される。

図１４に示されるように、顕微鏡装置５１００は、生体由来試料Ｓ全体をカバーする撮像対象領域Ｒを特定する。そして、顕微鏡装置５１００は、撮像対象領域Ｒを１６の分割領域へと分割する。そして、顕微鏡装置５１００は、分割領域Ｒ１の撮像を行い、次に、その分割領域Ｒ１に隣接する領域等、撮像対象領域Ｒに含まれる領域の内のいずれか領域を撮像し得る。さらに、顕微鏡装置５１００は、未撮像の分割領域がなくなるまで、分割領域の撮像を行う。なお、顕微鏡装置５１００は、撮像対象領域Ｒ以外の領域についても、分割領域の撮像画像情報に基づき、撮像しても良い。この際、或る分割領域を撮像した後に次の分割領域を撮像するために、顕微鏡装置５１００と試料載置部５１０４との位置関係が調整される。当該調整は、顕微鏡装置５１００の移動、試料載置部５１０４の移動、又は、これらの両方の移動により行われることができる。

この例において、各分割領域の撮像を行う撮像装置は、２次元撮像素子（エリアセンサ）又は１次元撮像素子（ラインセンサ）であってもよい。信号取得部５１０３は、光学部５１０２を介して各分割領域を撮像してもよい。また、各分割領域の撮像は、顕微鏡装置５１００、及び／又は、試料載置部５１０４を移動させながら連続的に行われてもよく、又は、各分割領域の撮像に際して、顕微鏡装置５１００、及び／又は、試料載置部５１０４の移動が停止されてもよい。さらに、各分割領域の一部が重なり合うように、撮像対象領域の分割が行われてよく、又は、重なり合わないように撮像対象領域の分割が行われてもよい。各分割領域は、焦点距離、及び／又は、露光時間等の撮像条件を変えて複数回撮像されてもよい。

また、情報処理部５１２０は、隣り合う複数の分割領域をステッチングして、より広い領域の画像データを生成し得る。当該ステッチング処理を、撮像対象領域全体にわたって行うことで、撮像対象領域について、より広い領域の画像を取得することができる。また、分割領域の画像、またはステッチング処理を行った画像から、より解像度の低い画像データを生成し得る。

撮像方式の他の例は以下のとおりである。顕微鏡装置５１００は、まず、撮像対象領域を特定し得る。当該撮像対象領域は、生体由来試料Ｓが存在する領域全体をカバーするように特定されてもよく、又は、生体由来試料Ｓのうちの目的部分（目的組織切片又は目的細胞が存在する部分）をカバーするように特定されてもよい。次に、顕微鏡装置５１００は、撮像対象領域の一部の領域（「分割スキャン領域」ともいう）を、光軸と垂直な面内における一つの方向（「スキャン方向」ともいう）へスキャンして撮像する。顕微鏡装置５１００は、当該分割スキャン領域のスキャンが完了したら、次に、当該スキャン領域の隣の分割スキャン領域を、スキャンする。そして、顕微鏡装置５１００は、これらのスキャン動作が、撮像対象領域全体が撮像されるまで繰り返す。

図１５に示されるように、顕微鏡装置５１００は、生体由来試料Ｓのうち、組織切片が存在する領域（グレーの部分）を撮像対象領域Ｓａとして特定する。そして、顕微鏡装置５１００は、撮像対象領域Ｓａのうち、分割スキャン領域Ｒｓを、Ｙ軸方向へスキャンする。顕微鏡装置５１００は、分割スキャン領域Ｒｓのスキャンが完了したら、次に、Ｘ軸方向における隣の分割スキャン領域をスキャンする。顕微鏡装置５１００は、撮像対象領域Ｓａの全てについてスキャンが完了するまで、この動作を繰り返す。

各分割スキャン領域のスキャンのために、及び、或る分割スキャン領域を撮像した後に次の分割スキャン領域を撮像するために、顕微鏡装置５１００と試料載置部５１０４との位置関係が調整される。当該調整は、顕微鏡装置５１００の移動、試料載置部５１０４の移動、又は、これらの両方の移動により行われてもよい。この例において、各分割スキャン領域の撮像を行う撮像装置は、１次元撮像素子（ラインセンサ）又は２次元撮像素子（エリアセンサ）であってもよい。信号取得部５１０３は、拡大光学系を介して各分割領域を撮像してよい。また、各分割スキャン領域の撮像は、顕微鏡装置５１００、及び／又は、試料載置部５１０４を移動させながら連続的に行われてよい。各分割スキャン領域の一部が重なり合うように、撮像対象領域の分割が行われてよく、又は、重なり合わないように撮像対象領域の分割が行われてもよい。各分割スキャン領域は、焦点距離、及び／又は、露光時間などの撮像条件を変えて複数回撮像されてもよい。

また、情報処理部５１２０は、隣り合う複数の分割スキャン領域をステッチングして、より広い領域の画像データを生成し得る。当該ステッチング処理を、撮像対象領域全体にわたって行うことで、撮像対象領域について、より広い領域の画像を取得することができる。また、分割スキャン領域の画像、またはステッチング処理を行った画像から、より解像度の低い画像データを生成し得る。

＜４．２ 病理診断システム＞
また、本開示に係る技術は、例えば、医師等が患者から採取された細胞や組織を観察して病変を診断する病理診断システムやその支援システム等（以下、診断支援システムと称する）に適用されてもよい。この診断支援システムは、デジタルパソロジー技術を利用して取得された画像に基づいて病変を診断又はその支援をするＷＳＩ（Ｗｈｏｌｅ Ｓｌｉｄｅ Ｉｍａｇｉｎｇ）システムであってもよい。

図１６は、本開示に係る技術が適用される診断支援システム５５００の概略的な構成の一例を示す図である。図１６に示すように、診断支援システム５５００は、１以上の病理システム５５１０を含む。さらに医療情報システム５５３０と、導出装置５５４０とを含んでもよい。

１以上の病理システム５５１０それぞれは、主に病理医が使用するシステムであり、例えば研究所や病院に導入される。各病理システム５５１０は、互いに異なる病院に導入されてもよく、それぞれＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）（インターネットを含む）やＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や公衆回線網や移動体通信網などの種々のネットワークを介して医療情報システム５５３０及び導出装置５５４０に接続される。

各病理システム５５１０は、顕微鏡（詳細には、デジタル撮像技術と組み合わされて用いられる顕微鏡）５５１１と、サーバ５５１２と、表示制御装置５５１３と、表示装置５５１４とを含む。

顕微鏡５５１１は、光学顕微鏡の機能を有し、ガラススライドに収められた観察対象物を撮影し、デジタル画像である病理画像を取得する。観察対象物とは、例えば、患者から採取された組織や細胞であり、臓器の肉片、唾液、血液等であってよい。例えば、顕微鏡５５１１が図１に示されるスキャナ３０として機能する。

サーバ５５１２は、顕微鏡５５１１によって取得された病理画像を図示しない記憶部に記憶、保存する。また、サーバ５５１２は、表示制御装置５５１３から閲覧要求を受け付けた場合に、図示しない記憶部から病理画像を検索し、検索された病理画像を表示制御装置５５１３に送る。例えば、サーバ５５１２が本開示の実施形態に係る情報処理装置１０として機能する。

表示制御装置５５１３は、ユーザから受け付けた病理画像の閲覧要求をサーバ５５１２に送る。そして、表示制御装置５５１３は、サーバ５５１２から受け付けた病理画像を、液晶、ＥＬ（Ｅｌｅｃｔｒｏ‐Ｌｕｍｉｎｅｓｃｅｎｃｅ）、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などを用いた表示装置５５１４に表示させる。なお、表示装置５５１４は、４Ｋや８Ｋに対応していてもよく、また、１台に限られず、複数台であってもよい。

ここで、観察対象物が臓器の肉片等の固形物である場合、この観察対象物は、例えば、染色された薄切片であってよい。薄切片は、例えば、臓器等の検体から切出されたブロック片を薄切りすることで作製されてもよい。また、薄切りの際には、ブロック片がパラフィン等で固定されてもよい。

薄切片の染色には、ＨＥ（Ｈｅｍａｔｏｘｙｌｉｎ-Ｅｏｓｉｎ）染色などの組織の形態を示す一般染色や、ＩＨＣ（Ｉｍｍｕｎｏｈｉｓｔｏｃｈｅｍｉｓｔｒｙ）染色などの組織の免疫状態を示す免疫染色や蛍光免疫染色など、種々の染色が適用されてよい。その際、１つの薄切片が複数の異なる試薬を用いて染色されてもよいし、同じブロック片から連続して切り出された２以上の薄切片（隣接する薄切片ともいう）が互いに異なる試薬を用いて染色されてもよい。

顕微鏡５５１１は、低解像度で撮影するための低解像度撮影部と、高解像度で撮影するための高解像度撮影部とを含み得る。低解像度撮影部と高解像度撮影部とは、異なる光学系であってもよいし、同一の光学系であってもよい。同一の光学系である場合には、顕微鏡５５１１は、撮影対象に応じて解像度が変更されてもよい。

観察対象物が収容されたガラススライドは、顕微鏡５５１１の画角内に位置するステージ上に載置される。顕微鏡５５１１は、まず、低解像度撮影部を用いて画角内の全体画像を取得し、取得した全体画像から観察対象物の領域を特定する。続いて、顕微鏡５５１１は、観察対象物が存在する領域を所定サイズの複数の分割領域に分割し、各分割領域を高解像度撮影部により順次撮影することで、各分割領域の高解像度画像を取得する。対象とする分割領域の切替えでは、ステージを移動させてもよいし、撮影光学系を移動させてもよいし、それら両方を移動させてもよい。また、各分割領域は、ガラススライドの意図しない滑りによる撮影漏れ領域の発生等を防止するために、隣接する分割領域との間で重複していてもよい。さらに、全体画像には、全体画像と患者とを対応付けておくための識別情報が含まれていてもよい。この識別情報は、例えば、文字列やＱＲコード（登録商標）等であってよい。

顕微鏡５５１１で取得された高解像度画像は、サーバ５５１２に入力される。サーバ５５１２は、各高解像度画像をより小さいサイズの部分画像（以下、タイル画像と称する）に分割する。例えば、サーバ５５１２は、１つの高解像度画像を縦横１０×１０個の計１００個のタイル画像に分割する。その際、隣接する分割領域が重複していれば、サーバ５５１２は、テンプレートマッチング等の技法を用いて互いに隣り合う高解像度画像にステッチング処理を施してもよい。その場合、サーバ５５１２は、ステッチング処理により貼り合わされた高解像度画像全体を分割してタイル画像を生成してもよい。ただし、高解像度画像からのタイル画像の生成は、上記ステッチング処理の前であってもよい。

また、サーバ５５１２は、タイル画像をさらに分割することで、より小さいサイズのタイル画像を生成し得る。このようなタイル画像の生成は、最小単位として設定されたサイズのタイル画像が生成されるまで繰り返されてよい。

このように最小単位のタイル画像を生成すると、サーバ５５１２は、隣り合う所定数のタイル画像を合成することで１つのタイル画像を生成するタイル合成処理を、全てのタイル画像に対して実行する。このタイル合成処理は、最終的に１つのタイル画像が生成されるまで繰り返され得る。このような処理により、各階層が１つ以上のタイル画像で構成されたピラミッド構造のタイル画像群が生成される。このピラミッド構造では、ある層のタイル画像とこの層とは異なる層のタイル画像との画素数は同じであるが、その解像度が異なっている。例えば、２×２個の計４つのタイル画像を合成して上層の１つのタイル画像を生成する場合、上層のタイル画像の解像度は、合成に用いた下層のタイル画像の解像度の１／２倍となっている。

このようなピラミッド構造のタイル画像群を構築することによって、表示対象のタイル画像が属する階層次第で、表示装置に表示される観察対象物の詳細度を切り替えることが可能となる。例えば、最下層のタイル画像が用いられる場合には、観察対象物の狭い領域を詳細に表示し、上層のタイル画像が用いられるほど観察対象物の広い領域が粗く表示されるようにすることができる。

生成されたピラミッド構造のタイル画像群は、例えば、各タイル画像を一意に識別可能な識別情報（タイル識別情報と称する）とともに、不図示の記憶部に記憶される。サーバ５５１２は、他の装置（例えば、表示制御装置５５１３や導出装置５５４０）からタイル識別情報を含むタイル画像の取得要求を受け付けた場合に、タイル識別情報に対応するタイル画像を他の装置へ送信する。

なお、病理画像であるタイル画像は、焦点距離や染色条件等の撮影条件毎に生成されてもよい。撮影条件毎にタイル画像が生成される場合、特定の病理画像とともに、特定の撮影条件と異なる撮影条件に対応する他の病理画像であって、特定の病理画像と同一領域の他の病理画像を並べて表示してもよい。特定の撮影条件は、閲覧者によって指定されてもよい。また、閲覧者に複数の撮影条件が指定された場合には、各撮影条件に対応する同一領域の病理画像が並べて表示されてもよい。

また、サーバ５５１２は、ピラミッド構造のタイル画像群をサーバ５５１２以外の他の記憶装置、例えば、クラウドサーバ等に記憶してもよい。さらに、以上のようなタイル画像の生成処理の一部又は全部は、クラウドサーバ等で実行されてもよい。

表示制御装置５５１３は、ユーザからの入力操作に応じて、ピラミッド構造のタイル画像群から所望のタイル画像を抽出し、これを表示装置５５１４に出力する。このような処理により、ユーザは、観察倍率を変えながら観察対象物を観察しているような感覚を得ることができる。すなわち、表示制御装置５５１３は仮想顕微鏡として機能する。ここでの仮想的な観察倍率は、実際には解像度に相当する。

なお、高解像度画像の撮影方法は、どの様な方法を用いてもよい。ステージの停止、移動を繰り返しながら分割領域を撮影して高解像度画像を取得してもよいし、所定の速度でステージを移動しながら分割領域を撮影してストリップ上の高解像度画像を取得してもよい。また、高解像度画像からタイル画像を生成する処理は必須の構成ではなく、ステッチング処理により貼り合わされた高解像度画像全体の解像度を段階的に変化させることで、解像度が段階的に変化する画像を生成してもよい。この場合でも、広いエリア域の低解像度画像から狭いエリアの高解像度画像までを段階的にユーザに提示することが可能である。

医療情報システム５５３０は、いわゆる電子カルテシステムであり、患者を識別する情報、患者の疾患情報、診断に用いた検査情報や画像情報、診断結果、処方薬などの診断に関する情報を記憶する。例えば、ある患者の観察対象物を撮影することで得られる病理画像は、一旦、サーバ５５１２を介して保存された後、表示制御装置５５１３によって表示装置５５１４に表示され得る。病理システム５５１０を利用する病理医は、表示装置５５１４に表示された病理画像に基づいて病理診断を行う。病理医によって行われた病理診断結果は、医療情報システム５５３０に記憶される。

導出装置５５４０は、病理画像に対する解析を実行し得る。この解析には、機械学習によって作成された学習モデルを用いることができる。導出装置５５４０は、当該解析結果として、特定領域の分類結果や組織の識別結果等を導出してもよい。さらに、導出装置５５４０は、細胞情報、数、位置、輝度情報等の識別結果やそれらに対するスコアリング情報等を導出してもよい。導出装置５５４０によって導出されたこれらの情報は、診断支援情報として、病理システム５５１０の表示装置５５１４に表示されてもよい。

なお、導出装置５５４０は、１台以上のサーバ（クラウドサーバを含む）等で構成されたサーバシステムであってもよい。また、導出装置５５４０は、病理システム５５１０内の例えば表示制御装置５５１３又はサーバ５５１２に組み込まれた構成であってもよい。すなわち、病理画像に対する各種解析は、病理システム５５１０内で実行されてもよい。

本開示に係る技術は、以上説明した構成のうち、先に説明したように、サーバ５５１２に好適に適用され得る。具体的には、本開示に係る技術は、サーバ５５１２での画像処理に公的に適用され得る。サーバ５５１２に本開示に係る技術を適用することにより、より鮮明な病理画像を得ることができるため、病変の診断をより正確に行うことが可能になる。

なお、上記で説明した構成は、診断支援システムに限らず、デジタル撮像技術を利用する、共焦点顕微鏡や蛍光顕微鏡、ビデオ顕微鏡等の生物顕微鏡全般にも適用され得る。ここで、観察対象物は、培養細胞や受精卵、精子等の生体試料、細胞シート、三次元細胞組織等の生体材料、ゼブラフィッシュやマウス等の生体であってもよい。また、観察対象物は、ガラススライドに限らず、ウェルプレートやシャーレ等に保存された状態で観察されることもできる。

さらに、デジタル撮像技術を利用する顕微鏡を用いて取得した観察対象物の静止画像から動画像が生成されてもよい。例えば、所定期間連続的に撮影した静止画像から動画像を生成してもよいし、所定の間隔を空けて撮影した静止画像から画像シーケンスを生成してもよい。このように、静止画像から動画像を生成することで、がん細胞や神経細胞、心筋組織、精子等の拍動や伸長、遊走等の動きや培養細胞や受精卵の分裂過程など、観察対象物の動的な特徴を、機械学習を用いて解析することが可能となる。

例えば、上記では、情報処理装置１０、スキャナ３０、学習装置４０及びネットワーク５０を有する情報処理システム１について主に説明した。しかし、これらの一部を有する情報処理システムも提供され得る。例えば、情報処理装置１０、スキャナ３０及び学習装置４０の一部または全部を有する情報処理システムも提供され得る。このとき、情報処理システムは、装置全体（ハードウェアとソフトウェアとの組み合わせ）同士の組み合わせでなくてもよい。

例えば、情報処理装置１０、スキャナ３０及び学習装置４０のうち、第１の装置（ハードウェアとソフトウェアとの組み合わせ）と、第２の装置のソフトウェアとを有する情報処理システムも提供され得る。一例として、スキャナ３０（ハードウェアとソフトウェアとの組み合わせ）と、情報処理装置１０のソフトウェアとを有する情報処理システムも提供され得る。このように、本開示の実施形態によれば、情報処理装置１０、スキャナ３０及び学習装置４０から任意に選択された複数の構成を含んだ情報処理システム１も提供され得る。

＜＜５． ハードウェア構成＞＞
上述してきた各実施形態に係る情報処理装置１０等の情報機器は、例えば図１７に示すような構成のコンピュータ１０００によって実現される。以下、本開示の実施形態に係る情報処理装置１０を例に挙げて説明する。図１７は、情報処理装置１０の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３００、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に保存されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に保存されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。

ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を保存する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る画像処理プログラムを記録する記録媒体である。

通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。

入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、コンピュータ読み取り可能な所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＰＤ（Ｐｈａｓｅ ｃｈａｎｇｅ ｒｅｗｒｉｔａｂｌｅ Ｄｉｓｋ）等の光学記録媒体、ＭＯ（Ｍａｇｎｅｔｏ-Ｏｐｔｉｃａｌ ｄｉｓｋ）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が本開示の実施形態に係る情報処理装置１０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた画像処理プログラムを実行することにより、処理部１００等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る情報処理プログラムや、記憶部１３０内のデータが保存されてもよい。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置から情報処理プログラムを取得してもよい。

また、本実施形態に係る情報処理装置１０は、例えばクラウドコンピューティング等のように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る情報処理装置１０は、例えば、複数の装置により本実施形態に係る情報処理システム１として実現することも可能である。

以上、情報処理装置１０のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更され得る。

＜＜６． 補足＞＞
なお、先に説明した本開示の実施形態は、例えば、上記で説明したような情報処理装置又は情報処理システムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、及びプログラムが記録された一時的でない有形の媒体を含みうる。また、当該プログラムをインターネット等の通信回線（無線通信も含む）を介して頒布してもよい。

また、上述した本開示の実施形態の情報処理方法における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能部によって他の方法により処理されていてもよい。

上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、本技術は以下のような構成も取ることができる。
（１）
生体標本の画像データから生成された第１のアノテーション・データ、及び、変換処理情報を格納する記憶部と、
前記変換処理情報を用いて、前記第１のアノテーション・データを当該第１のアノテーション・データに付随する複数の第２のアノテーション・データへ変換する変換部と、
前記第１のアノテーション・データ又は前記第２のアノテーション・データを出力する出力部と、
を備える、情報処理装置。
（２）
前記第１のアノテーション・データ又は前記第２のアノテーション・データに対する編集操作を受け付ける入力部と、
前記第１のアノテーション・データ又は前記第２のアノテーション・データが編集された場合に、残りのアノテーション・データに当該編集を反映させる編集部と、
をさらに備える、上記（１）に記載の情報処理装置。
（３）
前記記憶部は、前記編集に関する編集処理情報をさらに格納し、
前記編集部は、前記編集処理情報に基づき、前記残りのアノテーション・データに当該編集を反映させる、
上記（２）に記載の情報処理装置。
（４）
前記第１のアノテーション・データは、点群座標データからなり、
前記変換部は、前記点群座標データを変換する変換式に基づき変換を実行する、
上記（１）～（３）のいずれか１つに記載の情報処理装置。
（５）
前記第１のアノテーション・データと前記各第２のアノテーション・データとは、表示倍率が異なる、上記（１）～（４）のいずれか１つに記載の情報処理装置。
（６）
前記第１のアノテーション・データは、前記各第２のアノテーション・データに比べて前記表示倍率が低い、上記（５）に記載の情報処理装置。
（７）
前記変換部は、前記変換処理情報を用いて、前記第１のアノテーション・データに対して線形拡大処理を行うことにより、前記各第２のアノテーション・データへの変換を行う、上記（６）に記載の情報処理装置。
（８）
前記変換部は、前記変換処理情報を用いて、前記第１のアノテーション・データに対してフィッティング処理を行うことにより、前記各第２のアノテーション・データへの変換を行う、上記（６）に記載の情報処理装置。
（９）
前記変換部は、前記第１のアノテーション・データから抽出される所定の領域に対して、前景と背景とに境界に基づくフィッティング、細胞膜の基づくフィッティング、又は、細胞核に基づくフィッティングを実行する、上記（８）に記載の情報処理装置。
（１０）
前記記憶部は、前記第１及び第２のアノテーション・データとは前記表示倍率が異なる１つ又は複数の第３のアノテーション・データをさらに格納する、上記（５）～（９）のいずれか１つに記載の情報処理装置。
（１１）
前記第１のアノテーション・データと前記各第２のアノテーション・データとは、表示形式が異なる、上記（１）～（４）のいずれか１つに記載の情報処理装置。
（１２）
前記第１及び第２のアノテーション・データのうちの一方は、核セグメンテーション表示であり、前記第１及び第２のアノテーション・データのうちの他方は、点群表示、又は、ヒートマップ表示である、上記（１１）に記載の情報処理装置。
（１３）
前記出力部は、表示装置へ、前記第１のアノテーション・データ、又は、前記複数の第２のアノテーション・データのうちの少なくとも１つを出力する、上記（１）～（１２）のいずれか１つに記載の情報処理装置。
（１４）
前記記憶部は、複数の前記第１のアノテーション・データを格納し、
前記出力部は、ユーザの操作に応じて、前記複数の第１のアノテーション・データ及び前記複数の第２のアノテーション・データのうちの複数のデータを繋ぎ合わせて出力する、上記（１３）に記載の情報処理装置。
（１５）
前記画像データから前記第１のアノテーション・データを生成する生成部をさらに備える、上記（１）～（１４）のいずれか１つに記載の情報処理装置。
（１６）
画像データから生成された第１のアノテーション・データ、及び、変換処理情報を格納する記憶部と、
前記変換処理情報を用いて、前記第１のアノテーション・データを当該第１のアノテーション・データに付随する複数の第２のアノテーション・データへ変換する変換部と、
前記第１のアノテーション・データ又は前記第２のアノテーション・データを出力する出力部と、
を備える、情報処理装置。
（１７）
生体標本の画像データから生成された第１のアノテーション・データ、及び、変換処理情報を記憶部に格納することと、
前記変換処理情報を用いて、前記第１のアノテーション・データを当該第１のアノテーション・データに付随する複数の第２のアノテーション・データへ変換することと、
前記第１のアノテーション・データ又は前記第２のアノテーション・データを出力することと、
を含む、情報処理方法。
（１８）
生体標本の画像データから生成されたアノテーション・データの出力処理を行う情報処理装置と、
前記出力処理を前記情報処理装置に実行させるためのプログラムと、
を含む、情報処理システムであって、
前記情報処理装置は、
第１のアノテーション・データ、及び、変換処理情報を格納する記憶部と、
前記変換処理情報を用いて、前記第１のアノテーション・データを当該第１のアノテーション・データに付随する複数の第２のアノテーション・データへ変換する変換部と、
前記第１のアノテーション・データ又は前記第２のアノテーション・データを出力する出力部と、
を備える、
情報処理システム。
（１９）
生体標本の画像データから生成された第１のアノテーション・データを、当該第１のアノテーション・データに付随する複数の第２のアノテーション・データへ変換するように、コンピュータを機能させるための、変換モデルであって、
前記コンピュータは、前記変換モデルを用いて、前記第１のアノテーション・データに対してフィッティング処理を行い、前記第１のアノテーション・データに比べて表示倍率が高い前記各第２のアノテーション・データを生成する、
変換モデル。

１ 情報処理システム
１０ 情報処理装置
２０ 表示装置
３０ スキャナ
４０ 学習装置
５０ ネットワーク
１００ 処理部
１０２ 生成部
１０４ 変換部
１０６ 編集部
１０８ 出力部
１２０ 画像データ受信部
１３０、１３０ａ 記憶部
１４０ 操作部
１５０ 送信部
８００ａ、８００ｂ 画像
８０２、８０２ａ、８０２ｂ アノテーション・データ
８０４、９０４ 画像データ
８０６ アノテーション・データ群
８１０ 変換パラメータ
９０８ 曲線
９１２ 領域

Claims (19)

1. 生体標本の画像データから生成された第１のアノテーション・データ、及び、変換処理情報を格納する記憶部と、
   前記変換処理情報を用いて、前記第１のアノテーション・データを当該第１のアノテーション・データに付随する複数の第２のアノテーション・データへ変換する変換部と、
   前記第１のアノテーション・データ又は前記第２のアノテーション・データを出力する出力部と、
   を備える、情報処理装置。
2. 前記第１のアノテーション・データ又は前記第２のアノテーション・データに対する編集操作を受け付ける入力部と、
   前記第１のアノテーション・データ又は前記第２のアノテーション・データが編集された場合に、残りのアノテーション・データに当該編集を反映させる編集部と、
   をさらに備える、請求項１に記載の情報処理装置。
3. 前記記憶部は、前記編集に関する編集処理情報をさらに格納し、
   前記編集部は、前記編集処理情報に基づき、前記残りのアノテーション・データに当該編集を反映させる、
   請求項２に記載の情報処理装置。
4. 前記第１のアノテーション・データは、点群座標データからなり、
   前記変換部は、前記点群座標データを変換する変換式に基づき変換を実行する、
   請求項１に記載の情報処理装置。
5. 前記第１のアノテーション・データと前記各第２のアノテーション・データとは、表示倍率が異なる、請求項１に記載の情報処理装置。
6. 前記第１のアノテーション・データは、前記各第２のアノテーション・データに比べて前記表示倍率が低い、請求項５に記載の情報処理装置。
7. 前記変換部は、前記変換処理情報を用いて、前記第１のアノテーション・データに対して線形拡大処理を行うことにより、前記各第２のアノテーション・データへの変換を行う、請求項６に記載の情報処理装置。
8. 前記変換部は、前記変換処理情報を用いて、前記第１のアノテーション・データに対してフィッティング処理を行うことにより、前記各第２のアノテーション・データへの変換を行う、請求項６に記載の情報処理装置。
9. 前記変換部は、前記第１のアノテーション・データから抽出される所定の領域に対して、前景と背景とに境界に基づくフィッティング、細胞膜の基づくフィッティング、又は、細胞核に基づくフィッティングを実行する、請求項８に記載の情報処理装置。
10. 前記記憶部は、前記第１及び第２のアノテーション・データとは前記表示倍率が異なる１つ又は複数の第３のアノテーション・データをさらに格納する、請求項５に記載の情報処理装置。
11. 前記第１のアノテーション・データと前記各第２のアノテーション・データとは、表示形式が異なる、請求項１に記載の情報処理装置。
12. 前記第１及び第２のアノテーション・データのうちの一方は、核セグメンテーション表示であり、前記第１及び第２のアノテーション・データのうちの他方は、点群表示、又は、ヒートマップ表示である、請求項１１に記載の情報処理装置。
13. 前記出力部は、表示装置へ、前記第１のアノテーション・データ、又は、前記複数の第２のアノテーション・データのうちの少なくとも１つを出力する、請求項１に記載の情報処理装置。
14. 前記記憶部は、複数の前記第１のアノテーション・データを格納し、
    前記出力部は、ユーザの操作に応じて、前記複数の第１のアノテーション・データ及び前記複数の第２のアノテーション・データのうちの複数のデータを繋ぎ合わせて出力する、請求項１３に記載の情報処理装置。
15. 前記画像データから前記第１のアノテーション・データを生成する生成部をさらに備える、請求項１に記載の情報処理装置。
16. 画像データから生成された第１のアノテーション・データ、及び、変換処理情報を格納する記憶部と、
    前記変換処理情報を用いて、前記第１のアノテーション・データを当該第１のアノテーション・データに付随する複数の第２のアノテーション・データへ変換する変換部と、
    前記第１のアノテーション・データ又は前記第２のアノテーション・データを出力する出力部と、
    を備える、情報処理装置。
17. 生体標本の画像データから生成された第１のアノテーション・データ、及び、変換処理情報を記憶部に格納することと、
    前記変換処理情報を用いて、前記第１のアノテーション・データを当該第１のアノテーション・データに付随する複数の第２のアノテーション・データへ変換することと、
    前記第１のアノテーション・データ又は前記第２のアノテーション・データを出力することと、
    を含む、情報処理方法。
18. 生体標本の画像データから生成されたアノテーション・データの出力処理を行う情報処理装置と、
    前記出力処理を前記情報処理装置に実行させるためのプログラムと、
    を含む、情報処理システムであって、
    前記情報処理装置は、
    第１のアノテーション・データ、及び、変換処理情報を格納する記憶部と、
    前記変換処理情報を用いて、前記第１のアノテーション・データを当該第１のアノテーション・データに付随する複数の第２のアノテーション・データへ変換する変換部と、
    前記第１のアノテーション・データ又は前記第２のアノテーション・データを出力する出力部と、
    を備える、
    情報処理システム。
19. 生体標本の画像データから生成された第１のアノテーション・データを、当該第１のアノテーション・データに付随する複数の第２のアノテーション・データへ変換するように、コンピュータを機能させるための、変換モデルであって、
    前記コンピュータは、前記変換モデルを用いて、前記第１のアノテーション・データに対してフィッティング処理を行い、前記第１のアノテーション・データに比べて表示倍率が高い前記各第２のアノテーション・データを生成する、
    変換モデル。

Images