JP2014029380A - 情報処理装置、情報処理方法、プログラム及び画像表示装置 - Google Patents

Abstract

【課題】複数のデジタル画像を繋ぎ合わせて生成された合成画像について、繋ぎ合わせ部の信頼性を、ユーザが容易に認識することが可能な情報処理装置、情報処理方法、プログラム及び画像表示装置を提供する。
【解決手段】情報処理装置に、観察対象領域の一部が撮像された複数の部分画像を繋ぎ合わせる画像合成部と、前記画像合成部で合成された合成画像の繋合情報を生成する繋合情報生成部と、を設け、繋合情報を、合成画像と共に又は合成画像とは別に、合成画像が閲覧可能な画像表示装置に提供する。
【選択図】図１３

Description

本技術は、顕微鏡により撮像された画像の表示を制御する情報処理装置、情報処理方法、プログラム及び画像表示装置に関する。より詳しくは、観察対象領域を分割撮像し、得られた複数の部分画像を繋ぎ合わせて、広視野の顕微鏡画像を合成し、表示する技術に関する。

医療、病理、生物及び材料などの分野においては、広視野でかつ高倍率の顕微鏡観察画像を得るために、デジタル顕微鏡により観察対象領域を分割撮像し、得られた複数の部分画像を繋ぎ合わせる技術が用いられている。この技術を用いたバーチャル顕微鏡システムは、得られた顕微鏡観察画像を、ユーザが任意の位置を任意の倍率で表示させることができ、またネットワークを介して離れた場所で表示させることもできることから、病理診断における組織・細胞検査用途で特に注目されている。

そこで、従来、ユーザの利便性向上のため、表示部に、顕微鏡観察画像と共に各種情報を表示する技術が提案されている（特許文献１，２参照。）。例えば、特許文献１に記載の病理診断システムでは、染色標本画像（顕微鏡観察画像）の他に、標本の属性情報や要診断領域情報などが表示され、ユーザ（病理医など）は、顕微鏡観察画像と併せてこれらの情報を確認し、診断を行う。

一方、特許文献２に記載の情報処理装置では、顕微鏡観察画像に、疾患の虞がある部位などの特定部位の位置情報を視覚的に反映したアノテーション表示情報を合成している。この情報処理装置では、アノテーションマークを含む画像データを表示部に表示させることで、観察者の見落とし防止を図っている。

特開２００１−１８１０１５号公報 特開２０１１−１３３８４９号公報

前述した従来のバーチャル顕微鏡システムでは、部分画像同士の繋ぎ合わせ部分に、ディストーション補正の歪み、撮影倍率のずれによる歪み、ぼけ、繋合精度の誤差などに由来する信頼性の低い画像が存在する可能性がある。このように信頼性の低い画像を診断などに利用すると、正しい結果を得ることができなくなる。しかしながら、従来のバーチャル顕微鏡システムでは、ビューワ上に部分画像同士の繋ぎ合わせ部分が表示されないため、ユーザは、どの部分に信頼性が低い画像が含まれているのかを認識することができない。

そこで、本開示は、複数のデジタル画像を繋ぎ合わせて生成された合成画像について、繋ぎ合わせ部の信頼性を、ユーザが容易に認識することが可能な情報処理装置、情報処理方法、プログラム及び画像表示装置を提供することを主目的とする。

本開示に係る情報処理装置は、観察対象領域の一部が撮像された複数の部分画像を繋ぎ合わせる画像合成部と、前記画像合成部で合成された合成画像の繋合情報を生成する繋合情報生成部と、を有し、前記繋合情報は、前記合成画像と共に又は前記合成画像とは別に、前記合成画像が閲覧可能な画像表示装置に提供される。
前記繋合情報は、少なくとも、前記部分画像の繋合位置及び前記繋合位置における繋合信頼性を含む。
また、前記繋合信頼性に関する情報は、例えば、各部分画像の繋合精度及び／又は歪みの有無である。
更に、前記繋合信頼性に関する情報に基づいて、前記繋合情報の表示形態を変更してもよい。
前記繋合情報は、更に、異物の有無及び／又は異物の位置に関する情報を含んでいてもよい。
更に、ユーザーが入力した前記合成画像に関する情報を記憶する入力情報記憶部を有し、前記入力情報記憶部に記憶された情報も、前記繋合情報と共に前記画像表示装置に提供されてもよい。

本開示に係る情報処理方法は、画像合成部によって、観察対象領域の一部が撮像された複数の部分画像を繋ぎ合わせる画像合成工程と、繋合情報生成部によって、前記画像合成部で合成された合成画像の繋合情報を生成する繋合情報生成工程と、前記繋合情報を、前記合成画像と共に又は前記合成画像とは別に、前記合成画像が閲覧可能な画像表示装置に提供する工程と、を有する。

本開示に係るプログラムは、観察対象領域の一部が撮像された複数の部分画像を繋ぎ合わせる画像合成機能と、前記画像合成部で合成された合成画像の繋合情報を生成する繋合情報生成機能と、前記繋合情報を、前記合成画像と共に又は前記合成画像とは別に、前記合成画像が閲覧可能な画像表示装置に提供する機能と、を情報処理装置に実行させる。

本開示に係る画像表示装置は、観察対象領域の一部が撮像された複数の部分画像を繋ぎ合わせて得た合成画像を取得する画像取得部と、前記合成画像の繋合情報を取得する繋合情報取得部と、前記合成画像及び／又は前記繋合情報を表示する表示部と、を有する。
この画像表示装置では、前記繋合情報は、少なくとも、前記部分画像の繋合位置及び前記繋合位置における繋合信頼性を含む。
また、前記繋合信頼性に関する情報に基づいて前記繋合位置の表示形態を決定する繋合情報処理部を有し、前記表示部は、前記繋合情報処理部で決定された表示形態で前記繋合位置を表示してもよい。
更に、ユーザが前記合成画像に関する情報を入力する情報入力部を有していてもよい。

本開示によれば、合成画像とは別に、部分画像の繋合情報を生成しているため、複数のデジタル画像を繋ぎ合わせて生成された合成画像について、繋ぎ合わせ部の信頼性を、ユーザが容易に認識することが可能となる。

本開示の第１の実施形態の顕微鏡システムの概要を示す図である。 図１に示すデジタル顕微鏡１の構成例を示すブロック図である。 図１に示す情報処理装置２の構成例を示すブロック図である。 図３に示す画像生成部２２の構成例を示すブロック図である。 図１に示すサーバ３の構成例を示すブロック図である。 図１に示す画像表示装置４の構成例を示すブロック図である。 Ａ〜Ｃは繋合情報の表示例を示す図であり、Ａはスライド全体、Ｂは合成画像全体、Ｃは表示部に表示された状態を示す図である。 繋合情報の他の表示例を示す図である。 繋合情報の他の表示例を示す図である。 繋合情報の他の表示例を示す図である。 Ａ〜Ｃは繋合情報の他の表示例を示す図であり、Ａはスライド全体、Ｂは合成画像全体、Ｃは表示部に表示された状態を示す図である。 繋合情報の他の表示例を示す図である。 本開示の第１の実施形態の顕微鏡システムにおいて繋合情報を表示する動作の概要を示す図である。 繋合情報を表示するためのフローを示す図である。 サーバ３から画像表示装置４に提供される繋合情報例を示す図である。 Ａ〜Ｃは画像表示装置４の動作を示す図である。 本開示の第２の実施形態の顕微鏡システムにおいて繋合情報を表示する動作の概要を示す図である。 繋合情報を表示するためのフローを示す図である。 Ａ及びＢはサーバ３から画像表示装置４に提供される繋合情報例を示す図である。 Ａ及びＢはサーバ３から画像表示装置４に提供される他の繋合情報例を示す図である。 タイル画像に繋合情報を付加した場合の合成画像を示す図である。

以下、本開示を実施するための形態について、添付の図面を参照して詳細に説明する。なお、本開示は、以下に示す各実施形態に限定されるものではない。また、説明は、以下の順序で行う。

１．第１の実施の形態
（ビューワにおいて繋合情報の表示形態を決定する例）
２．第２の実施の形態
（サーバにおいて繋合情報の表示形態を決定する例）

＜１．第１の実施の形態＞
［顕微鏡システムの構成］
先ず、本開示の第１の実施形態に係るバーチャル顕微鏡システムについて説明する。図１は本実施形態の顕微鏡システムの概要を示す図である。本実施形態の顕微鏡システムは、各種プレパラート標本を高倍率で撮像して観察するものであり、例えば、図１に示すように、デジタル顕微鏡１、情報処理装置２及び画像表示装置４などで構成されている。

本実施形態の顕微鏡システムにおいて、情報処理装置２と画像表示装置４とは、直接接続されていてもよいが、ネットワーク５を介して接続されていてもよい。また、情報処理装置２及び画像表示装置４は、ネットワーク５を介してサーバ３と相互に通信可能に接続されていてもよい。更に、図１に示す構成では、画像表示装置４が１台しか示されていないが、画像表示装置４は２台以上接続されていてもよく、また、情報処理装置２が画像表示装置４を兼ねていてもよい。

本実施形態のバーチャル顕微鏡システムは、医療、病理、生物及び材料などの各種分野に適用可能であるが、例えば病理診断に用いる場合には、観察対象物は生体の臓器、組織及び細胞などであり、プレパラート標本にはそれらの切片が封入されている。そして、例えば、プレパラート標本が病理標本である場合は、画像表示装置４のユーザ（画像の閲覧者）は医師などであり、表示された画像に基づいて病理診断を行う。

［デジタル顕微鏡１］
デジタル顕微鏡１は、光源、対物レンズ、撮像素子及びステージなどを備えており、ステージ上に載置されたプレパラート標本に対して所定の照明光を照射し、観察対象物を透過した光や観察対象物から発せられた光などを撮像する。図２はデジタル顕微鏡１の構成例を示すブロック図である。図２に示すように、本実施形態の顕微鏡システムが備えるデジタル顕微鏡１には、全体画像撮像部１１と部分画像撮像部１２とが設けられている。

全体画像撮像部１１は、光源、低倍率の対物レンズ及び低解像度の撮像素子などで構成されており、ステージ上に載置されたプレパラート標本の観察対象領域全体を、低倍率かつ低解像度で撮影する。一方、部分画像撮像部１２は、光源、高倍率の対物レンズ及び高解像度の撮像素子などで構成されており、ステージ上に載置されたプレパラート標本の観察対象領域の一部を、高倍率かつ高解像度で撮影する。即ち、デジタル顕微鏡１では、低解像度の全体画像（サムネイル画像）と、全体画像よりも高解像度の部分画像（スライド画像）が撮像される。

また、デジタル顕微鏡１には、全体画像撮像部１１及び部分画像撮像部１２による撮像処理を制御する撮像装置コントローラ１３や、情報処理装置２と接続するための入出力インターフェイス部１４などが設けられていてもよい。入出力インターフェイス部１４を設けることで、情報処理装置２からの制御コマンドの入力や、情報処理装置２に対する全体画像撮像部１１及び部分画像撮像部１２で撮像された各画像データの出力が可能となる。

［情報処理装置２］
図３は情報処理装置２の構成例を示すブロック図である。図３に示すように、情報処理装置２には、デジタル顕微鏡１で撮像された部分画像（スライド画像）を繋ぎ合わせる画像生成部２２が設けられている。また、この情報処理装置２には、撮像制御部２１、画像処理部２３、ＣＰＵ（Central Processing Unit）２４、メモリ２５、ハードディスク２６及び入出力インターフェイス部２７，２８などが設けられていてもよい。

（画像生成部２２）
図４は画像生成部２２の構成例を示すブロック図である。図４に示すように、画像生成部２２は、観察対象領域の一部が撮像された複数の部分画像（スライド画像）を繋ぎ合わせる画像合成部２２１と、画像合成部２２１で合成された合成画像の繋合情報を生成する繋合情報生成部２２２とを備えている。

画像合成部２２１では、デジタル顕微鏡１で撮像された複数の部分画像（スライド画像）を繋ぎ合わせて、高倍率かつ高解像度の広視野顕微鏡観察画像を合成する。具体的には、繋合対象の部分画像（スライド画像）についてマッチング処理を行い、その結果に基づいて部分画像（スライド画像）同士の繋ぎ合わせ（スティッチング）処理を行う。

一方、繋合情報生成部２２２では、画像合成部２２１で合成された合成画像について、繋合情報として、例えば各部分画像（スライド画像）の繋合位置に関する情報と、各繋合位置における繋合信頼性に関する情報を作成する。また、繋合情報には、異物の有無や異物の位置に関する情報が含まれていてもよい。

ここで、繋合信頼性に関する情報としては、各部分画像（スライド画像）の繋合精度や歪みの有無などが挙げられる。例えば、繋合精度の場合、マッチング処理におけるパターンマッチングエリアのピクセル毎のずれ量を繋合信頼性情報として取得する。この場合、ずれ量が少ない程、繋合信頼性は高くなる。

また、繋合信頼性情報として、スティッチング処理において生じる隣接する部分画像（スライド画像）間の相対的なずれ量を取得することもできる。この場合、相対的なずれ量が大きい場合は繋合信頼性が低く、ずれ量が少ない程、繋合信頼性は高くなる。更に、スティッチング処理の際に算出された各部分画像（スライド画像）のずれ量が、撮像時の位置精度から想定されるずれ量を大きく上回っている場合は、スティッチング処理の信頼性が低いと判断することができる。このようなスティッチング処理におけるずれ量の増加は、例えば、ぼけた画像同士をスティッチング処理した場合やずれの累積などにより生じる。

その他、マッチングがとれずに又はマッチング処理を行わずに部分画像（スライド画像）同士を繋ぎ合わせた部分や異物が存在している部分などのように、繋合信頼性が低い部分の位置情報などについても繋合信頼性情報として取得することができる。

そして、画像合成部２２１で合成された合成画像（広視野顕微鏡観察画像）及び繋合情報生成部２２２で生成された各種繋合情報は、入出力インターフェイス部２８やネットワーク５を介して、サーバ３や画像表示装置４に出力される。

（撮像制御部２１）
撮像制御部２１は、部分画像（スライド画像）や全体画像（サムネイル画像）などを撮像する際のデジタル顕微鏡１の駆動や、画像生成部２２及び画像処理部２３の動作などを制御する。

（画像処理部２３）
画像処理部２３では、観察対象領域全体を撮像した全体画像（サムネイル画像）の解析、デジタル顕微鏡１で部分画像を撮像する順序（撮像シーケンス）の作成などを行う。ここで作成された撮像順序は、撮像制御部２１に出力される。

（ＣＰＵ２４）
ＣＰＵ２４は、情報処理装置２に設けられた各部を統括的に制御するものであり、例えば前述した画像処理部２３や撮像制御部２１などを統括的に制御するプログラムを実行する。また、ＣＰＵ２４は情報処理装置２の各部で実行される演算処理を行ったり、画像のエンコードや後述する画像合成部２２１で実行される部分画像のパターンマッチング処理などを行うこともできる。

（メモリ２５）
メモリ２５は、ＣＰＵ２４の作業領域として用いられ、デジタル顕微鏡１で撮影され入出力インターフェイス部２７から入力された部分画像（スライド画像）や全体画像（サムネイル画像）などを一時的に記憶する。

（ハードディスク２６）
ハードディスク２６には、例えば画像処理部２３での処理結果（撮像順序など）、画像合成部２２１で合成された合成画像（顕微鏡観察画像）及び繋合情報生成部２２２で生成された繋合情報などが記憶される。

なお、これらのデータの一部又は全部は、ネットワーク５上のサーバ３に記憶することもできる。その場合、情報処理装置２に、サーバ３との接続用インターフェイス２８を設け、ネットワーク５を介して相互に通信可能とすればよい。

また、前述した情報処理装置２の各機能を実現するためのコンピュータプログラムを作成し、パーソナルコンピュータなどに実装することが可能である。このようなコンピュータプログラムは、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどの記録媒体に格納されていてもよく、また、ネットワークを介して配信することもできる。

［サーバ３］
サーバ３は、情報処理装置２からアップロードされた各種データを管理し、要求に応じて画像表示装置４や情報処理装置２に出力する。図５はサーバ３の構成例を示すブロック図である。図５に示すように、サーバ３は、ネットワーク５を介して情報処理装置２や画像表示装置４と接続されており、ハードディスク３１、データベース３２、ＣＰＵ３３、メモリ３４、入出力インターフェイス部３５，３６などで構成されている。

（データベース３２）
データベース３２には、情報処理装置２の画像生成部２２で生成された合成画像（広視野顕微鏡観察画像）及び繋合情報、合成画像に関する各種情報（例えばサイズなど）及び全体画像（サムネイル画像）などが記憶される。そして、サーバ３は、これらの情報を、例えばネットワーク５を介して画像表示装置４とやりとりする。

［画像表示装置４］
図６は画像表示装置４の構成例を示すブロック図である。図６に示すように、ネットワーク５を介して情報処理装置２やサーバ３と接続されており、表示部４１、制御部４２、繋合情報処理部４３、フレームバッファ４４、ＣＰＵ４５、メモリ４６、ハードディスク４７、入出力インターフェイス部４８などで構成されている。

（表示部４１）
表示部４１は、合成画像（顕微鏡観察画像）及び繋合情報を表示するものであり、これらが閲覧可能なものであればよい。

（繋合情報処理部４３）
繋合情報処理部４３では、繋合情報の表示形態を決定する。図７〜１３は繋合情報の表示例を示す図である。繋合情報の表示形態は特に限定されるものではないが、例えば繋合位置を直線で示すことができる。具体的には、図７Ａに示すスライド１００について検体１０１を撮像した場合、図７Ｂに示すように合成画像１０２上に各繋合位置が示される。そして、図７Ｃに示すように、表示部４１には、合成画像１０２の指定された領域１０３が、繋合位置と共に表示される。

このとき、繋合信頼性に関する情報に基づいて、繋合位置の表示形態を変更することが望ましい。例えば、繋合位置を直線で示す場合、線の色、太さ、線種などを変えて示すことができる。具体的には、図８に示す表示例では、繋合信頼性が高い部分を通常の太さの線で示し、信頼性が中程度の部分を太線で示し、信頼性が低い部分を二重線で示している。

なお、図７及び図８では、全ての繋合位置を示しているが、本開示はこれに限定されるものではなく、信頼性が低い繋合位置のみを表示してもよい。また、繋合位置の表示は、線を付するのではなく、繋合部分の画像を表示せず、空白にして示してもよい。

また、サイズや倍率が異なる部分画像同士を繋合した場合や、焦点が合っていない部分画像を繋合した場合は、図９に示すように、該当する部分画像の繋合位置を表示することができる。更に、図１０に示すように、視野及び解像度が同じで、フォーカス位置のみが異なる複数の合成画像（顕微鏡観察画像）１１１〜１１３がある場合は、フォーカス位置毎に異なる繋合情報１１４ａ，１１４ｂを表示することもできる。

一方、繋合信頼性情報は、繋合位置と併せて表示しなくてもよい。例えば、図１１Ａ及び図１１Ｂに示すように、検体１０１に異物１０４が付着していた場合は、図１１Ｃに示すように異物１０４が存在する位置にマーカ１０５を付して示すことができる。なお、繋合信頼性に関して注目すべき位置又は領域を示す場合、図１１Ｃに示すようなマーカ（目印）を付す方法の他に、例えばその位置又は領域に白色などの色を付したり、また他の部分よりも色を薄くしたり、色を変えたりすることもできる。

また、図１２に示すように、例えば、隣接する部分画像と繋ぎ合わせ処理ができなかった画像などのように信頼性が低い部分画像１１５に、色を付けて表示することもできる。そして、これらの繋合情報の表示は表示画像の変化に追従して表示される。具体的には、合成画像を拡大又は縮小した場合はそれに合わせて繋合情報も拡大又は縮小し、合成画像の表示領域が移動した場合は移動後の領域にについて繋合情報が表示される。

（フレームバッファ４４）
フレームバッファ４４は、表示部４１に表示する合成画像（顕微鏡観察画像）を一次的に保存するものである。

（情報入力部）
なお、画像表示装置４には、ユーザによって合成画像に関する情報が入力される表示情報入力部が設けられていてもよい。その場合、ユーザにより入力された情報は、画像表示装置４から、ネットワーク５を介して情報処理装置２やサーバ３に送信され、入力情報記憶部に記憶される。ここで、ユーザにより入力される情報は、特に限定されるものではないが、例えば病理診断に用いる場合は、注意又は注目すべき箇所や異物の位置などが考えられる。

［ネットワーク５］
ネットワーク５は、情報処理装置２、サーバ３及び画像表示装置４を、互いに双方向通信可能に接続する通信回線網である。このネットワーク５は、例えば、インターネット、電話回線網、衛星通信網、同報通信路などの公衆回線網や、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）、Ｅｔｈｅｒｎｅｔ（登録商標）、ワイヤレスＬＡＮなどの専用回線網などで構成されており、有線か無線かは問わない。また、このネットワーク５は、本実施形態の顕微鏡システムに専用に設けられた通信回線網であってもよい。

［動作］
次に、本実施形態の顕微鏡システムを用いて、顕微鏡観察画像を表示する方法について説明する。図１３は本実施形態の顕微鏡システムにおいて繋合情報を表示する動作の概要を示す図である。図１４は繋合情報を表示するためのフローを示す図であり、図１５はサーバ３から画像表示装置４に提供される繋合情報例を示す図である。図１６Ａ〜Ｃは画像表示装置４の動作を示す図である。

図１３に示すように、本実施形態の顕微鏡システムでは、情報処理装置２において、合成画像２０２と共に繋合情報２０１を作成する。これら合成画像２０２と繋合情報２０１は、それぞれサーバ３に送信され、データベース３２に記憶される。そして、例えば、図１４に示すように、ユーザから合成画像の表示について指示があった場合、画像表示装置（ビューワ）４はサーバ３に対して、表示に必要な情報を要求する。

これに対して、サーバ３は、画像表示装置（ビューワ）４の要求に応じて、合成画像２０２から指定された表示領域に相当するタイル画像２１２及び表示領域を構成する部分画像の繋合情報２１１などを提供する。そして、サーバ３から提供された各タイル画像２１２は、画像表示装置（ビューワ）４のフレームバッファー４４に記憶され、繋合情報２１１はメモリ４６に記憶される。その後、画像表示装置（ビューワ）４の繋合情報処理部４３において繋合情報２１１の表示形態を決定し、フレームバッファー４４に記憶されたタイル画像２１２と共に、表示部４１に表示される。

ここで、サーバ３から提供される情報としては、例えば図１５Ａに示すような撮影の基本情報（撮影倍率、１ショットあたりの画素数、ショット数など）が挙げられる。また、繋合情報の表示形態を決定する際には、図１５Ｂに示すような画像表示装置（ビューワ）が管理する値も用いられる。そして、図１５Ａ及び図１５Ｂで示すパラメータを表示すると、図１５Ｃに示すようにな画像となる。

一方、表示部４１に表示される合成画像は、部分画像よりもかなり小さいタイル画像で構成されている。そして、図１５Ｃに示す太線の枠は、現在、合成画像のどの領域を表示部４１に表示しているかを示し、座標は合成画像の絶対座標系で左上を原点としている。また、（ｘ，ｙ）は、表示部４１内の座標（０，０）を、巨大画像の絶対座標系に変換したものである。画像表示装置（ビューワ）４は、常に、左上原点（０、０）と、絶対座標系での位置（ｘ，ｙ）との関係を認識しつつ描画を行う。

繋合情報処理部４３では、例えば、表示画面中に枠が何本入り、その枠が表示画面内のどの位置（相対座標）かを求めることにより、枠内の塗りつぶしを行うこともできる。また、表示倍率が変更されたときは、倍率の変更に伴い、１枚の部分画像あたりの幅や高さを変更することにより、倍率に応じた枠位置を計算し、対応する画像や領域の塗りつぶしを行うことが可能となる。

本実施形態の顕微鏡システムでは、合成画像（顕微鏡観察画像）とは別に繋合情報を作成しているため、繋合情報の表示・非表示を切り替えることが可能である。具体的には、図１６Ａ〜図１６Ｃに示すように、表示部４１の画面内に繋合情報の表示・非表示のＵＩ（User Interface）を設け、ユーザにより選択可能にすることができる。

以上詳述したように、本実施形態の顕微鏡システムでは、合成画像とは別に繋合情報を作成し、合成画像と共に繋合情報を表示しているため、繋ぎ合わせ部の信頼性を、ユーザが容易に認識することができる。これにより、病理診断においてより正確な診断が可能となる。

＜２．第２の実施の形態＞
次に、本開示の第２の実施形態に係る顕微鏡システムについて説明する。前述した第１の実施形態の顕微鏡システムでは、画像表示装置４において繋合情報の表示形態を決定しているが、本開示はこれに限定されるものではなく、情報処理装置２やサーバ３において、繋合情報の表示形態を決定してもよい。

図１７は本実施形態の顕微鏡システムにおいて繋合情報を表示する動作の概要を示す図である。また、図１８は繋合情報を表示するためのフローを示す図である。更に、図１９及び図２０はサーバ３から画像表示装置４に提供される繋合情報例を示す図である。

図１７に示すように、本実施形態の顕微鏡システムでは、サーバ３が画像表示装置４から要求された各タイル画像２１２に、必要に応じて繋合情報２０１ａを付加して画像表示装置４に提供する。具体的には、サーバ３に繋合情報処理部を設け、ＣＰＵ３３により、情報処理装置２から送信された繋合情報２０１を、合成画像の各部分画像に関連付けし、データベース３２に記憶する。そして、画像表示装置４から要求があったときに、タイル画像２１２と共に表示形態が決定された繋合情報（枠情報）２０１ａを提供する。

複数の部分画像を撮影し繋ぎ合せることで巨大画像を作り、かつ、それを小さなタイル画像毎に分割すると、境界線のタイルに枠がかかることになる。そこで、境界線とタイル位置の関係をサーバ３で計算し、タイル毎にデータベース３２に枠情報のリストを記憶する。例えば、図１９Ａに示すようなタイル画像に枠（太線）が入ると計算された場合、図１９Ｂのような情報をあらかじめ計算し、データベース３２に登録すればよい。

そして、画像表示装置４からタイル画像２１２の取得リクエストが来た場合、タイル画像２１２に図１９Ｂの繋合情報２０１ａを付加する。なお、図２０Ａに示す合成画像の場合、全倍率での枠位置を持つことは現実的でないため、図２０Ｂに示すように、幾つかの倍率に対してのみ繋合情報（枠情報）を持つようにすることが好ましい。

更に、本実施形態の顕微鏡システムでは、サーバ３の代わりに、情報処理装置２において、繋合情報の表示形態を決定することもできる。図２１はタイル画像に繋合情報を付加した場合の合成画像を示す図である。その場合、図２１に示す合成画像１２０のように、情報処理装置２において、タイル画像１２２を作る際に、タイルデータのヘッダーに部分画像１２１の繋合情報を追加する。これにより、サーバ３及び画像表示装置４における処理が不要となる。例えば、異物マーカーなどの情報もこのタイルヘッダーに付加することが可能である。

本実施形態の顕微鏡システムでは、サーバ３や情報処理装置２で繋合情報の表示形態を決定するため、画像表示装置４における処理の負荷を軽減することができる。これにより、描画速度（表示速度）を高速化することが可能となる。

なお、本実施形態の顕微鏡システムにおける上記以外の構成及び効果は、前述した第１の実施形態と同様である。

また、本開示は、以下のような構成をとることもできる。
（１）
観察対象領域の一部が撮像された複数の部分画像を繋ぎ合わせる画像合成部と、
前記画像合成部で合成された合成画像の繋合情報を生成する繋合情報生成部と、を有し、
前記繋合情報は、前記合成画像と共に又は前記合成画像とは別に、前記合成画像が閲覧可能な画像表示装置に提供される情報処理装置。
（２）
前記繋合情報は、少なくとも、前記部分画像の繋合位置及び前記繋合位置における繋合信頼性を含む（１）に記載の情報処理装置。
（３）
前記繋合信頼性に関する情報は、各部分画像の繋合精度及び／又は歪みの有無である（２）に記載の情報処理装置。
（４）
更に、前記繋合信頼性に関する情報に基づいて、前記繋合情報の表示形態を変更する（２）又は（３）に記載の情報処理装置。
（５）
前記繋合情報は、更に、異物の有無及び／又は異物の位置に関する情報を含む（２）〜（４）のいずれかに記載の情報処理装置。
（６）
更に、ユーザーが入力した前記合成画像に関する情報を記憶する入力情報記憶部を有し、
前記入力情報記憶部に記憶された情報も、前記繋合情報と共に前記画像表示装置に提供される（１）〜（５）のいずれかに記載の情報処理装置。
（７）
画像合成部によって、観察対象領域の一部が撮像された複数の部分画像を繋ぎ合わせる画像合成工程と、
繋合情報生成部によって、前記画像合成部で合成された合成画像の繋合情報を生成する繋合情報生成工程と、
前記繋合情報を、前記合成画像と共に又は前記合成画像とは別に、前記合成画像が閲覧可能な画像表示装置に提供する工程と、
を有する情報処理方法。
（８）
観察対象領域の一部が撮像された複数の部分画像を繋ぎ合わせる画像合成機能と、
前記画像合成部で合成された合成画像の繋合情報を生成する繋合情報生成機能と、
前記繋合情報を、前記合成画像と共に又は前記合成画像とは別に、前記合成画像が閲覧可能な画像表示装置に提供する機能と、
を情報処理装置に実行させるプログラム。
（９）
観察対象領域の一部が撮像された複数の部分画像を繋ぎ合わせて得た合成画像を取得する画像取得部と、
前記合成画像の繋合情報を取得する繋合情報取得部と、
前記合成画像及び／又は前記繋合情報を表示する表示部と、
を有する画像表示装置。
（１０）
前記繋合情報は、少なくとも、前記部分画像の繋合位置及び前記繋合位置における繋合信頼性を含む（９）に記載の画像表示装置。
（１１）
前記繋合信頼性に関する情報に基づいて前記繋合位置の表示形態を決定する繋合情報処理部を有し、
前記表示部は、前記繋合情報処理部で決定された表示形態で前記繋合位置を表示する（１０）に記載の画像表示装置。
（１２）
更に、ユーザが前記合成画像に関する情報を入力する情報入力部を有する（９）〜（１１）のいずれかに記載の画像表示装置。

１ デジタル顕微鏡
２ 情報処理装置
３ サーバ
４ 画像表示装置
５ ネットワーク
２１ 撮像制御部
２２ 画像生成部
２３ 画像処理部
２４、３３、４５ ＣＰＵ
２５、３４、４６ メモリ
２６、３１、４７ ハードディスク
２７、２８、３５、３６、４８ インターフェース
３２ データベース
４１ 表示部
４２ 制御部
４３ 繋合情報処理部
４４ フレームバッファ
１００、１１０ スライド
１０１ 検体
１０２、１１１〜１１３、１２０、２０２ 合成画像
１０３ 指定領域
１０４ 異物
１０５ マーカ
１１４ａ、１１４ｂ、２０１、２０１ａ、２１１ 繋合情報
１１５、１２１ 部分画像
１２２、２１２ タイル画像
２２１ 画像合成部
２２２ 繋合情報生成部

Claims (12)

1. 観察対象領域の一部が撮像された複数の部分画像を繋ぎ合わせる画像合成部と、
   前記画像合成部で合成された合成画像の繋合情報を生成する繋合情報生成部と、を有し、
   前記繋合情報は、前記合成画像と共に又は前記合成画像とは別に、前記合成画像が閲覧可能な画像表示装置に提供される情報処理装置。
2. 前記繋合情報は、少なくとも、前記部分画像の繋合位置及び前記繋合位置における繋合信頼性を含む請求項１に記載の情報処理装置。
3. 前記繋合信頼性に関する情報は、各部分画像の繋合精度及び／又は歪みの有無である請求項２に記載の情報処理装置。
4. 更に、前記繋合信頼性に関する情報に基づいて、前記繋合情報の表示形態を変更する請求項２に記載の情報処理装置。
5. 前記繋合情報は、更に、異物の有無及び／又は異物の位置に関する情報を含む請求項２に記載の情報処理装置。
6. 更に、ユーザーが入力した前記合成画像に関する情報を記憶する入力情報記憶部を有し、
   前記入力情報記憶部に記憶された情報も、前記繋合情報と共に前記画像表示装置に提供される請求項１に記載の情報処理装置。
7. 画像合成部によって、観察対象領域の一部が撮像された複数の部分画像を繋ぎ合わせる画像合成工程と、
   繋合情報生成部によって、前記画像合成部で合成された合成画像の繋合情報を生成する繋合情報生成工程と、
   前記繋合情報を、前記合成画像と共に又は前記合成画像とは別に、前記合成画像が閲覧可能な画像表示装置に提供する工程と、
   を有する情報処理方法。
8. 観察対象領域の一部が撮像された複数の部分画像を繋ぎ合わせる画像合成機能と、
   前記画像合成部で合成された合成画像の繋合情報を生成する繋合情報生成機能と、
   前記繋合情報を、前記合成画像と共に又は前記合成画像とは別に、前記合成画像が閲覧可能な画像表示装置に提供する機能と、
   を情報処理装置に実行させるプログラム。
9. 観察対象領域の一部が撮像された複数の部分画像を繋ぎ合わせて得た合成画像を取得する画像取得部と、
   前記合成画像の繋合情報を取得する繋合情報取得部と、
   前記合成画像及び／又は前記繋合情報を表示する表示部と、
   を有する画像表示装置。
10. 前記繋合情報は、少なくとも、前記部分画像の繋合位置及び前記繋合位置における繋合信頼性を含む請求項９に記載の画像表示装置。
11. 前記繋合信頼性に関する情報に基づいて前記繋合位置の表示形態を決定する繋合情報処理部を有し、
    前記表示部は、前記繋合情報処理部で決定された表示形態で前記繋合位置を表示する請求項１０に記載の画像表示装置。
12. 更に、ユーザが前記合成画像に関する情報を入力する情報入力部を有する請求項９に記載の画像表示装置。

Images