JP2013152699A - 画像処理装置、画像処理システム、画像処理方法およびプログラム - Google Patents

Abstract

【課題】関心領域に多数のアノテーションが密集している場合にも、ユーザーがそれぞれのアノテーションを容易に判別することができるようにするための技術を提供すること。
【解決手段】画像処理装置は、被写体の画像のデータと該画像に付加された複数のアノテーションのデータとを取得する取得手段と、前記画像を前記アノテーションと共に表示装置に表示する表示制御手段と、を備える。前記複数のアノテーションのデータは、各アノテーションが付加されている画像中の位置を示す位置情報と、各アノテーションを画像に付加したユーザーの情報と、を含む。前記表示制御手段は、前記複数のアノテーションのうちの一部または全部をグループ化して、且つ、前記複数のアノテーションが異なるユーザーによって付加されたものである場合に、ユーザー毎にアノテーションの表示形態を異ならせて、該複数のアノテーションを前記画像の上に重ねて表示する。
【選択図】図７

Description

本発明は、画像処理装置、画像処理システム、画像処理方法、およびプログラムに関する。

近年、病理分野において、病理診断のツールである光学顕微鏡の代替として、プレパラートに載置された被検試料（検体）の撮像と画像のデジタル化によってディスプレイ上での病理診断を可能とするバーチャルスライドシステムが注目を集めている。バーチャルスライドシステムを用いた病理診断画像のデジタル化により、従来の被検試料の光学顕微鏡像をデジタルデータとして取り扱うことが可能となる。その結果、遠隔診断の迅速化、デジタル画像を用いた患者への説明、希少症例の共有化、教育・実習の効率化、などのメリットが得られると期待されている。

光学顕微鏡と同等程度の操作をバーチャルスライドシステムで実現するためには、プレパラート上の被検試料全体をデジタル化する必要がある。被検試料全体のデジタル化により、バーチャルスライドシステムで作成したデジタルデータをＰＣ(Personal Computer)
やワークステーション上で動作するビューワソフトで観察することができる。被検試料全体をデジタル化した場合の画素数は、通常、数億画素から数十億画素と非常に大きなデータ量となる。バーチャルスライドシステムで作成したデータ量は膨大であるが、それゆえ、ビューワで拡大・縮小処理を行うことでミクロ（細部拡大像）からマクロ（全体俯瞰像）まで観察することが可能となり、種々の利便性を提供する。必要な情報を予めすべて取得しておくことで、低倍画像から高倍画像までユーザーが求める解像度・倍率による即時の表示が可能となる。

なお、文書データに付加されたアノテーションの作成者を判別可能とした文書管理装置が提案されている（特許文献１）。

特開平１１−２５０７７号公報

バーチャルスライド画像に複数のユーザーがアノテーションを付加した場合には、関心領域（注目部位）に多数のアノテーションが付加されることになる。その結果、関心領域に密集している多数のアノテーションをディスプレイ上に表示させても、それぞれのアノテーションを判別することは非常に難しい。
それぞれのアノテーションがどのユーザーによって付加されたものかを判別することは特に難しく、たとえ色分けされていたとしても、同一の関心領域または同一の位置に複数のアノテーションが付加されると、それを判別することは難しい。

そこで、本発明は、関心領域に多数のアノテーションが密集している場合にも、ユーザーがそれぞれのアノテーションを容易に判別することができるようにするための技術を提供することを目的とする。

本発明に係る画像処理装置は、被写体の画像のデータと該画像に付加された複数のアノ
テーションのデータとを取得する取得手段と、前記画像を前記アノテーションと共に表示装置に表示する表示制御手段と、を備え、前記複数のアノテーションのデータは、各アノテーションが付加されている画像中の位置を示す位置情報と、各アノテーションを画像に付加したユーザーの情報と、を含み、前記表示制御手段は、前記複数のアノテーションのうちの一部または全部をグループ化して、且つ、前記複数のアノテーションが異なるユーザーによって付加されたものである場合に、ユーザー毎にアノテーションの表示形態を異ならせて、該複数のアノテーションを前記画像の上に重ねて表示する。

本発明に係る画像処理システムは、本発明に係る画像処理装置と、前記画像処理装置から出力される画像およびアノテーションを表示する表示装置と、を備える。

本発明に係る画像処理方法は、コンピュータが、被写体の画像のデータと該画像に付加された複数のアノテーションのデータとを取得する取得ステップと、コンピュータが、前記画像を前記アノテーションと共に表示装置に表示する表示ステップと、を有し、前記複数のアノテーションのデータは、各アノテーションが付加されている画像中の位置を示す位置情報と、各アノテーションを画像に付加したユーザーの情報と、を含み、前記表示ステップでは、前記複数のアノテーションのうちの一部または全部をグループ化して、且つ、前記複数のアノテーションが異なるユーザーによって付加されたものである場合に、ユーザー毎にアノテーションの表示形態を異ならせて、該複数のアノテーションを前記画像の上に重ねて表示する。

本発明に係るプログラムは、本発明に係る画像処理方法の各工程をコンピュータに実行させるプログラムである。

関心領域に多数のアノテーションが密集している場合にも、ユーザーがそれぞれのアノテーションを容易に判別することができるように、画像およびアノテーションを画面表示することができる。

第１実施形態の画像処理システムの装置構成の全体図。 第１実施形態の画像処理システムにおける撮像装置の機能ブロック図。 画像処理装置の機能ブロック図。 画像処理装置のハードウェア構成図。 異なる倍率毎に予め用意する階層画像の概念を説明する図。 アノテーション付加および提示の流れを示すフローチャート。 アノテーション付加の詳細な流れを示すフローチャート。 アノテーション提示の詳細な流れを示すフローチャート。 画像処理システムの表示画面の一例。 アノテーションデータリストの構成の一例。 第２実施形態の画像処理システムの装置構成の全体図。 アノテーションのグルーピングの処理の流れを示すフローチャート。 第２実施形態の画像処理システムの表示画面の一例。 第３実施形態のアノテーションデータリストの構成の一例。 第３実施形態のアノテーション付加の流れを示すフローチャート。 自動診断処理の流れの一例を示すフローチャート。

［第１の実施形態］
本発明の画像処理装置は、撮像装置と表示装置を備えた画像処理システムにおいて用い
ることができる。この画像処理システムについて、図１を用いて説明する。

（画像処理システムの装置構成）
図１は、本発明の画像処理装置を用いた画像処理システムであり、撮像装置（顕微鏡装置、またはバーチャルスライドスキャナ）１０１、画像処理装置１０２、表示装置１０３から構成され、撮像対象となる検体（被検試料）の二次元画像を取得し表示する機能を有するシステムである。撮像装置１０１と画像処理装置１０２との間は、専用もしくは汎用Ｉ／Ｆのケーブル１０４で接続され、画像処理装置１０２と表示装置１０３の間は、汎用のＩ／Ｆのケーブル１０５で接続される。

撮像装置１０１は、二次元の平面方向に位置の異なる複数枚の二次元画像を撮像し、デジタル画像を出力する機能を持つバーチャルスライド装置を用いることができる。二次元画像の取得にはＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子が用いられる。なお、バーチャルスライド装置の代わりに、通常の光学顕微鏡の接眼部にデジタルカメラを取り付けたデジタル顕微鏡装置により、撮像装置１０１を構成することもできる。

画像処理装置１０２は、撮像装置１０１から取得した複数枚の原画像データから、表示装置１０３に表示するデータを、原画像データをもとにユーザーからの要求に応じて生成する機能等を持つ装置である。画像処理装置１０２は、ＣＰＵ（中央演算処理装置）、ＲＡＭ、記憶装置、操作部を含む各種Ｉ／Ｆなどのハードウェア資源を備えた、汎用のコンピュータやワークステーションで構成される。記憶装置は、ハードディスクドライブなどの大容量情報記憶装置であり、後述する各処理を実現するためのプログラムやデータ、ＯＳ（オペレーティングシステム）などが格納されている。上述した各機能は、ＣＰＵが記憶装置からＲＡＭに必要なプログラムおよびデータをロードし、当該プログラムを実行することにより実現されるものである。操作部は、キーボードやマウスなどにより構成され、操作者が各種の指示を入力するために利用される。
表示装置１０３は、画像処理装置１０２が演算処理した結果である観察用画像を表示するディスプレイであり、ＣＲＴや液晶ディスプレイ等により構成される。

図１の例では、撮像装置１０１と画像処理装置１０２と表示装置１０３の３つの装置により撮像システムが構成されているが、本発明の構成はこの構成に限定されるものではない。例えば、表示装置と一体化した画像処理装置を用いてもよいし、画像処理装置の機能を撮像装置に組み込んでもよい。また撮像装置、画像処理装置、表示装置の機能を１つの装置で実現することもできる。また逆に、画像処理装置等の機能を分割して複数の装置によって実現してもよい。

（撮像装置の機能構成）
図２は、撮像装置１０１の機能構成を示すブロック図である。
撮像装置１０１は、概略、照明ユニット２０１、ステージ２０２、ステージ制御ユニット２０５、結像光学系２０７、撮像ユニット２１０、現像処理ユニット２１９、プレ計測ユニット２２０、メイン制御系２２１、データ出力部２２２から構成される。
照明ユニット２０１は、ステージ２０２上に配置されたプレパラート２０６に対して均一に光を照射する手段であり、光源、照明光学系、および光源駆動の制御系から構成される。ステージ２０２は、ステージ制御ユニット２０５によって駆動制御され、ＸＹＺの三軸方向への移動が可能である。プレパラート２０６は、観察対象となる組織の切片や塗抹した細胞をスライドグラス上に貼り付け、封入剤とともにカバーグラスの下に固定した部材である。

ステージ制御ユニット２０５は、駆動制御系２０３とステージ駆動機構２０４から構成
される。駆動制御系２０３は、メイン制御系２２１の指示を受け、ステージ２０２の駆動制御を行う。ステージ２０２の移動方向、移動量などは、プレ計測ユニット２２０によって計測した検体の位置情報および厚み情報（距離情報）と、必要に応じてユーザーからの指示とに基づいて決定される。ステージ駆動機構２０４は、駆動制御系２０３の指示に従い、ステージ２０２を駆動する。
結像光学系２０７は、プレパラート２０６の検体の光学像を撮像センサ２０８へ結像するためのレンズ群である。

撮像ユニット２１０は、撮像センサ２０８とアナログフロントエンド（ＡＦＥ）２０９から構成される。撮像センサ２０８は、二次元の光学像を光電変換によって電気的な物理量へ変える一次元もしくは二次元のイメージセンサであり、例えば、ＣＣＤやＣＭＯＳデバイスが用いられる。一次元センサの場合、走査方向へスキャンすることで二次元画像が得られる。撮像センサ２０８からは、光の強度に応じた電圧値をもつ電気信号が出力される。撮像画像としてカラー画像が所望される場合は、例えば、Ｂａｙｅｒ配列のカラーフィルタが取り付けられた単板のイメージセンサを用いればよい。撮像ユニット２１０は、ステージ２０２がＸＹ軸方向に移動することにより、検体の分割画像を撮像する。

ＡＦＥ２０９は、撮像センサ２０８から出力されたアナログ信号をデジタル信号へ変換する回路である。ＡＦＥ２０９は後述するＨ／Ｖドライバ、ＣＤＳ（Correlated double sampling）、アンプ、ＡＤ変換器およびタイミングジェネレータによって構成される。Ｈ／Ｖドライバは、撮像センサ２０８を駆動するための垂直同期信号および水平同期信号を、センサ駆動に必要な電位に変換する。ＣＤＳは、固定パターンのノイズを除去する二重相関サンプリング回路である。アンプは、ＣＤＳでノイズ除去されたアナログ信号のゲインを調整するアナログアンプである。ＡＤ変換器は、アナログ信号をデジタル信号に変換する。撮像装置最終段での出力が８ビットの場合、後段の処理を考慮して、ＡＤ変換器はアナログ信号を１０ビットから１６ビット程度に量子化されたデジタルデータへ変換し、出力する。変換されたセンサ出力データはＲＡＷデータと呼ばれる。ＲＡＷデータは後段の現像処理ユニット２１９で現像処理される。タイミングジェネレータは、撮像センサ２０８のタイミングおよび後段の現像処理ユニット２１９のタイミングを調整する信号を生成する。

撮像センサ２０８としてＣＣＤを用いる場合、上記ＡＦＥ２０９は必須となるが、デジタル出力可能なＣＭＯＳイメージセンサの場合は、上記ＡＦＥ２０９の機能をセンサに内包することになる。また、不図示ではあるが、撮像センサ２０８の制御を行う撮像制御部が存在し、撮像センサ２０８の動作制御や、シャッタースピード、フレームレートやＲＯＩ（Region Of Interest）など動作タイミングや制御を合わせて行う。

現像処理ユニット２１９は、黒補正部２１１、ホワイトバランス調整部２１２、デモザイキング処理部２１３、画像合成処理部２１４、解像度変換処理部２１５、フィルタ処理部２１６、γ補正部２１７および圧縮処理部２１８から構成される。黒補正部２１１は、ＲＡＷデータの各画素から、遮光時に得られた黒補正データを減算する処理を行う。ホワイトバランス調整部２１２は、照明ユニット２０１の光の色温度に応じて、ＲＧＢ各色のゲインを調整することによって、望ましい白色を再現する処理を行う。具体的には、黒補正後のＲＡＷデータに対しホワイトバランス補正用データが加算される。単色の画像を取り扱う場合にはホワイトバランス調整処理は不要となる。現像処理ユニット２１９は、撮像ユニット２１０で撮像された検体の分割画像データから後述する階層画像データを生成する。

デモザイキング処理部２１３は、Ｂａｙｅｒ配列のＲＡＷデータから、ＲＧＢ各色の画像データを生成する処理を行う。デモザイキング処理部２１３は、ＲＡＷデータにおける
周辺画素（同色の画素と他色の画素を含む）の値を補間することによって、注目画素のＲＧＢ各色の値を計算する。またデモザイキング処理部２１３は、欠陥画素の補正処理（補間処理）も実行する。なお、撮像センサ２０８がカラーフィルタを有しておらず、単色の画像が得られている場合、デモザイキング処理は不要となる。

画像合成処理部２１４は、撮像センサ２０８によって撮像範囲を分割して取得した画像データをつなぎ合わせて所望の撮像範囲の大容量画像データを生成する処理を行う。一般に、既存のイメージセンサによって一回の撮像で取得できる撮像範囲より検体の存在範囲が広いため、一枚の二次元画像データを、分割された画像データのつなぎ合わせによって生成する。例えば、０．２５μｍの分解能でプレパラート２０６上の１０ｍｍ角の範囲を撮像すると仮定した場合、一辺の画素数は１０ｍｍ／０．２５μｍの４万画素となり、トータルの画素数はその二乗である１６億画素となる。１０Ｍ（１０００万）の画素数を持つ撮像センサ２０８を用いて１６億画素の画像データを取得するには、１６億／１０００万の１６０個に領域を分割して撮像を行う必要がある。なお、複数の画像データをつなぎ合わせる方法としては、ステージ２０２の位置情報に基づいて位置合わせをしてつなぐ方法や、複数の分割画像の対応する点または線を対応させてつなぐ方法、分割画像データの位置情報に基づいてつなぐ方法などがある。つなぎ合わせの際、０次補間、線形補間、高次補間等の補間処理により滑らかにつなげることができる。本実施の形態では、一枚の大容量画像の生成を想定しているが、画像処理装置１０２の機能として、分割取得された画像を表示データの生成時につなぎ合わせる構成をとってもよい。

解像度変換処理部２１５は、画像合成処理部２１４で生成された大容量の二次元画像を高速に表示するために、表示倍率に応じた倍率画像を予め解像度変換によって生成する処理を行う。低倍から高倍まで複数の段階の画像データを生成し、ひとまとめにした階層構造を持つ画像データとして構成する。詳細については図５を用いて後述する。

フィルタ処理部２１６は、画像に含まれる高周波成分の抑制、ノイズ除去、解像感強調を実現するデジタルフィルタである。γ補正部２１７は、一般的な表示デバイスの階調表現特性に合わせて、画像に逆特性を付加する処理を実行したり、高輝度部の階調圧縮や暗部処理によって人間の視覚特性に合わせた階調変換を実行したりする。本実施形態では形態観察を目的とした画像取得のため、後段の合成処理や表示処理に適した階調変換が画像データに対して適用される。
圧縮処理部２１８は、大容量の二次元画像データの伝送の効率化および保存する際の容量削減が目的で行われる圧縮の符号化処理である。静止画像の圧縮手法として、ＪＰＥＧ（Joint Photographic Experts Group）、ＪＰＥＧを改良、進化させたＪＰＥＧ２０００やＪＰＥＧ ＸＲ等の規格化された符号化方式が広く一般に知られている。

プレ計測ユニット２２０は、プレパラート２０６上の検体の位置情報、所望の焦点位置までの距離情報、および検体厚みに起因する光量調整用のパラメータを算出するための事前計測を行うユニットである。本計測（撮像画像データの取得）の前にプレ計測ユニット２２０によって情報を取得することで、無駄のない撮像を実施することが可能となる。二次元平面の位置情報取得には、撮像センサ２０８より解像力の低い二次元撮像センサが用いられる。プレ計測ユニット２２０は、取得した画像から検体のＸＹ平面上での位置を把握する。距離情報および厚み情報の取得には、レーザー変位計やシャックハルトマン方式の計測器が用いられる。

メイン制御系２２１は、これまで説明してきた各種ユニットの制御を行う機能である。メイン制御系２２１および現像処理ユニット２１９の制御機能は、ＣＰＵとＲＯＭとＲＡＭを有する制御回路により実現される。すなわち、ＲＯＭ内にプログラムおよびデータが格納されており、ＣＰＵがＲＡＭをワークメモリとして使いプログラムを実行することで
、メイン制御系２２１および現像処理ユニット２１９の機能が実現される。ＲＯＭには例えばＥＥＰＲＯＭやフラッシュメモリなどのデバイスが用いられ、ＲＡＭには例えばＤＤＲ３などのＤＲＡＭデバイスが用いられる。なお、現像処理ユニット２１９の機能を専用のハードウェアデバイスとしてＡＳＩＣ化したもので置き換えてもよい。

データ出力部２２２は、現像処理ユニット２１９によって生成されたＲＧＢのカラー画像を画像処理装置１０２に送るためのインターフェースである。撮像装置１０１と画像処理装置１０２とは、光通信のケーブルにより接続される。あるいは、ＵＳＢやＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）等の汎用インターフェースが使用される。

（画像処理装置の機能構成）
図３は、本実施形態の画像処理装置１０２の機能構成を示すブロック図である。
画像処理装置１０２は、概略、画像データ取得部３０１、記憶保持部（メモリ）３０２、ユーザー入力情報取得部３０３、表示装置情報取得部３０４、アノテーションデータ生成部３０５、ユーザー情報取得部３０６、時刻情報取得部３０７、アノテーションデータリスト３０８、表示データ生成制御部３０９、表示画像データ取得部３１０、表示データ生成部３１１、および表示データ出力部３１２から構成される。

画像データ取得部３０１は、撮像装置１０１で撮像された画像データを取得する。ここで言う画像データは、検体を分割して撮像することにより得られたＲＧＢのカラーの分割画像データ、分割画像データを合成した一枚の二次元画像データ、および二次元画像データをもとに表示倍率毎に階層化された画像データの少なくとも何れかである。なお、分割画像データはモノクロの画像データでもよい。
記憶保持部３０２は、画像データ取得部３０１を介して外部装置から取得した画像データを取り込み、記憶、保持する。

ユーザー入力情報取得部３０３は、マウスやキーボード等の操作部を介して、画像診断を行う際に用いる表示アプリケーションへの入力情報を取得する。表示アプリケーションの操作には、例えば、表示位置変更や拡大・縮小表示などの表示画像データの更新指示や、関心領域に対する注釈であるアノテーションの付加等がある。また、ユーザー入力情報取得部３０３は、ユーザーの登録情報や画像診断時のユーザー選択結果を取得する。
表示装置情報取得部３０４は、表示装置１０３が保有するディスプレイの表示エリア情報（画面解像度）の他、現在表示されている画像の表示倍率の情報を取得する。

アノテーションデータ生成部３０５は、全体画像内の位置座標、表示倍率、アノテーションとして付加されたテキスト情報、および本実施形態の特徴であるユーザー情報をアノテーションデータリストとして生成する。リストの生成には、ユーザー入力情報取得部３０３および表示装置情報取得部３０４で得られた表示画面内の位置情報、表示倍率情報、アノテーションとして付加されたテキスト入力情報、後述するユーザー情報とアノテーションを付加した時刻の情報が使われる。詳細は図７を用いて後述する。

ユーザー情報取得部３０６は、アノテーションを付加したユーザーを識別するためのユーザー情報を取得する。ユーザー情報は、画像処理装置１０２上で動作する診断画像を閲覧するための表示アプリケーションへのログインＩＤによって判断される。または、予め登録されているユーザー情報から、使用者を選択することでも取得することができる。
時刻情報取得部３０７は、アノテーションが付加された日付、時刻を、画像処理装置１０２が保有する時計、またはネットワーク上の時計から日時情報として取得する。
アノテーションデータリスト３０８は、アノテーションデータ生成部３０５で生成されたアノテーションの各種情報をリスト化した参照テーブルである。リストの構成については図１０を用いて説明する。

表示データ生成制御部３０９は、ユーザー入力情報取得部３０３で取得したユーザーからの指示に従い表示データの生成を制御する表示制御手段である。表示データは主に、画像データとアノテーション表示データからなる。
表示画像データ取得部３１０は、表示データ生成制御部３０９の制御に従い、表示に必要な画像データを記憶保持部３０２から取得する。
表示データ生成部３１１は、アノテーションデータ生成部３０５で生成されたアノテーションデータリスト３０８と、表示画像データ取得部３１０によって取得された画像データを用いて、表示装置１０３で表示するための表示データを生成する。
表示データ出力部３１２は、表示データ生成部３１１で生成された表示データを外部装置である表示装置１０３へ出力する。

（画像形成装置のハードウェア構成）
図４は、本実施形態の画像処理装置１０２のハードウェア構成を示すブロック図である。情報処理を行う装置として、例えばＰＣ（Personal Computer）が用いられる。
ＰＣは、ＣＰＵ（Central Processing Unit）４０１、ＲＡＭ（Random Access Memory
）４０２、記憶装置４０３、データ入出力Ｉ／Ｆ４０５、およびこれらを互いに接続する内部バス４０４を備える。

ＣＰＵ４０１は、必要に応じてＲＡＭ４０２等に適宜アクセスし、各種演算処理を行いながらＰＣの各ブロック全体を統括的に制御する。ＲＡＭ４０２は、ＣＰＵ４０１の作業用領域等として用いられ、ＯＳ、実行中の各種プログラム、本実施形態の特徴であるアノテーションのユーザー識別や表示用データの生成など処理の対象となる各種データを一時的に保持する。記憶装置４０３は、ＣＰＵ４０１に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている情報を記録し読み出す補助記憶装置である。ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Disk）等の磁気ディス
クドライブもしくはＦｌａｓｈメモリを用いた半導体デバイスが用いられる。

データ入出力Ｉ／Ｆ４０５には、ＬＡＮ Ｉ／Ｆ４０６を介して画像サーバー１１０１
が接続される。また、グラフィクスボード４０７を介して表示装置１０３が、外部装置Ｉ／Ｆ４０８を介してバーチャルスライド装置やデジタル顕微鏡に代表される撮像装置１０１が、操作Ｉ／Ｆ４０９を介してキーボード４１０やマウス４１１が接続される。

表示装置１０３は、例えば液晶、ＥＬ（Electro-Luminescence）、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。当該表示装置１０３は、外部装置として接続される形態を想定しているが、表示装置と一体化したＰＣを想定してもよい。例えばノートＰＣがこれに該当する。
操作Ｉ／Ｆ４０９との接続デバイスとしてキーボード４１０やマウス４１１等のポインティングデバイスを想定しているが、タッチパネル等表示装置１０３の画面が直接入力デバイスとなる構成を取ることも可能である。その場合、タッチパネルは表示装置１０３と一体となり得る。

（倍率毎に用意された階層画像の概念）
図５は、異なる倍率毎に予め用意された階層画像の概念図である。階層画像とは、同じ被写体（同じ画像内容）の複数の二次元画像から構成される画像セットであって、低解像から高解像まで段階的に解像度を異ならせている画像セットのことである。本実施形態の撮像装置１０１の解像度変換処理部２１５で生成される階層画像について説明する。

５０１、５０２、５０３および５０４は表示倍率に応じて用意されたそれぞれ解像度の異なる二次元画像である。説明を簡単にするため、５０３の階層画像は５０４の１／２、
５０２の階層画像は５０３の１／２、５０１の階層画像は５０２の１／２となる各一次元方向の解像度となっている。

撮像装置１０１で取得した画像データは診断の目的から高解像、高分解能の撮像データであることが望まれる。ただし、先に説明したとおり数十億画素からなる画像データの縮小画像を表示する場合、表示の要求に合わせて都度解像度変換を行っていたのでは処理が間に合わなくなる。そのため、予め倍率の異なる何段階かの階層画像を用意しておき、用意された階層画像から表示側の要求に応じて表示倍率と近接する倍率の画像データを選択し、表示倍率に合わせて倍率の調整を行うことが望ましい。一般には画質の点でより高倍の画像データから表示データを生成することがより好ましい。

撮像が高解像に行われるため、表示用の階層画像データは、一番高解像な画像データをもとに、解像度変換手法によって縮小することで生成される。解像度変換の手法として二次元の線形な補間処理であるバイリニアの他、三次の補間式を用いたバイキュービックなどが広く知られている。

各階層の画像データはＸとＹの二次元の軸を持っている。ＸＹと直交する方向の軸として記載しているＰは、階層化されたピラミッド形式の構成からとっている。

５０５は１枚の階層画像５０２の中の分割画像データを指している。そもそも大容量の二次元画像データの生成は、分割して撮像した画像データのつなぎ合わせによって行われる。５０５の分割画像データは、撮像センサ２０８によって１回に撮像可能な範囲のデータを想定している。なお、１回の撮像で取得した画像データの分割や、任意の枚数のつなぎ合わせの結果である画像データを分割画像データ５０５の規定サイズとしてもよい。

このように拡大、縮小等の異なる表示倍率で診断、観察することを想定した病理用の画像データは、図５に示したように階層化された画像として生成、保持するのが望ましい。各階層画像データをとりまとめて、一つの画像データとして取り扱えるようにしても、それぞれを独立な画像データとして用意し、表示倍率との関係を明示する情報を保持する構成でもよい。ここでは単一の画像データとして以後の説明を行う。

（アノテーションの付加、提示の方法）
本実施形態の画像処理装置１０２におけるアノテーション付加、および提示の流れを図６のフローチャートを用いて説明する。

ステップＳ６０１では、表示装置情報取得部３０４が、表示装置１０３の表示エリアのサイズ情報（画面解像度）の他、現在表示されている画像の表示倍率の情報を取得する。表示エリアのサイズ情報は、生成する表示データのサイズを決める際に用いられる。表示倍率は、階層画像から何れかの画像データを選択する時、およびアノテーションデータリストの生成時に用いられる。リスト化された情報については後述する。

ステップＳ６０２では、表示画像データ取得部３１０が、表示装置１０３に現在表示されている画像の表示倍率（もしくは初期の段階では規定の倍率）に対応した画像データを記憶保持部３０２より取得する。
ステップＳ６０３では、表示データ生成部３１１が、取得した画像データをもとに表示装置１０３で表示するための表示データを生成する。表示倍率が取得した階層画像の倍率と異なる場合は、解像度変換の処理を行う。生成された表示データは、表示装置１０３に表示される。

ステップＳ６０４では、表示データ生成制御部３０９が、ユーザー入力情報をもとに、
ユーザーからの指示によって表示されている画面の更新が為されたか否かを判断する。具体的には、表示されている画面外側に存在する画像データを表示する表示位置の変更の他、表示倍率の変更がある。画面更新が必要な場合はステップＳ６０２へ戻り、以下画像データの取得、表示データの生成による画面更新の処理を行う。画面更新の要求がない場合には、ステップＳ６０５へ進む。

ステップＳ６０５では、表示データ生成制御部３０９が、ユーザー入力情報をもとに、ユーザーからアノテーション付加の指示、要求を受けたかどうかを判断する。アノテーション付加の指示が行われた場合は、ステップＳ６０６へ進む。アノテーションの付加の指示が行われなかった場合は、アノテーション付加の処理をスキップして、ステップＳ６０７へ進む。
ステップＳ６０６では、アノテーションの付加に伴う各種処理を行う。処理内容としては、キーボード４１０等で入力されたアノテーション内容（コメント）の格納の他、本実施例の特徴であるユーザー情報とのリンクや同一（既存）アノテーションへのコメント追加が挙げられる。詳細については図７を用いて後述する。

ステップＳ６０７では、表示データ生成制御部３０９が、付加されたアノテーションの提示要求があるか否かを判断する。ユーザーからアノテーションを提示する要求がある場合にはステップＳ６０８へ進む。ない場合は、ステップＳ６０４へ戻り、以降の処理を繰り返す。なお、フローの説明上時系列に説明を行っているが、表示位置や倍率の変更である画面更新要求の受付、アノテーション付加およびアノテーション提示は同時、シーケンシャル等を含む何れのタイミングによって行われてもよい。
ステップＳ６０８では、表示データ生成制御部３０９が、提示の要求を受けて、ユーザーへアノテーションを効果的に提示するための処理を行う。詳細については図８を用いて後述する。

（アノテーションの付加）
図７は、図６のステップＳ６０６で示したアノテーションを付加する処理の詳細な流れを示すフローチャートである。図７では、アノテーションが付加される画像の位置情報と表示倍率、およびユーザー情報に基づいてアノテーションデータを生成する流れについて説明する。

ステップＳ７０１では、表示データ生成制御部３０９が、診断の対象である画像データに対してアノテーションが付加されているか否かを判断する。アノテーションの付加が行われていればステップＳ６０８へ、アノテーションの付加が初めて行われた場合はスキップしてステップＳ７０４へそれぞれ進む。参照する画像データに対して、既にアノテーションが付加されている状況としては、他のユーザーによる同一検体に対する所見が求められた場合や、一度付加したアノテーションを含む各種診断内容に対して同一ユーザーが確認する場合等がある。
ステップＳ６０８では、表示データ生成制御部３０９が、過去に付加されたアノテーションをユーザーへ提示する。処理の詳細については図８を用いて後述する。

ステップＳ７０２では、表示データ生成制御部３０９が、ユーザーの操作が、提示されたアノテーションのいずれかに対するコメント内容の更新や新規追加であるか、新規のアノテーションの追加であるかを判断する。同一の（つまり既存の）アノテーションに対するコメント追加や修正が行われる場合は、ステップＳ７０３において、アノテーションデータ生成部３０５がコメントの追加・修正の対象となるアノテーションのＩＤ番号を把握、選択する。それ以外の場合、つまり異なる関心領域に対する新規アノテーションの追加が行われる場合は、ステップＳ７０３の処理をスキップし、ステップＳ７０４へ進む。

ステップＳ７０４では、アノテーションデータ生成部３０５が、アノテーションを付加する画像の位置情報を取得する。表示装置１０３から得られる情報は表示画像中の相対位置情報のため、アノテーションデータ生成部３０５は、記憶保持部３０２に保持されている画像データ全体の位置に換算する処理を行うことで、絶対的な位置の座標を把握する。
アノテーションが付加される画像中の絶対的な位置情報は、倍率が異なる階層画像データでも利用できるよう、階層画像ごとにアノテーションが付加された位置と表示倍率との対応関係を算出することで得られる。例えば、２０倍の表示倍率で画像原点（Ｘ＝Ｙ＝０）からの距離（画素）がそれぞれ１００画素となる点Ｐ（１００、１００）の位置にアノテーションが付加される場合を想定する。４０倍の高倍画像ではアノテーションが付加される座標はＰ１（２００、２００）となる。また、１０倍の低倍画像ではアノテーションが付加される座標はＰ２（５０、５０）となる。ここでは説明を簡単にするため、きりの良い表示倍率を用いて説明を行っているが、表示倍率が例えば２５倍の時には、４０倍の高倍画像ではアノテーションが付加される座標はＰ３（１６０、１６０）と示されるように、取得する階層画像の倍率と表示倍率との比を座標の値にかけてやればよい。

ステップＳ７０５では、ユーザー入力情報取得部３０３が、キーボード４１０によって入力されたアノテーション内容（テキスト情報）を取得する。取得されたテキスト情報はアノテーション提示の際に使用する。

ステップＳ７０６では、表示装置情報取得部３０４が、表示装置１０３に表示されている画像の表示倍率を取得する。この表示倍率はアノテーション付加の指示が行われた際の観察時の倍率である。なお、ここでは表示装置１０３から表示倍率情報を取得する構成にしているが、画像処理装置１０２が表示データを生成しているため、内部で保持している表示倍率のデータを使用する構成でもよい。
ステップＳ７０７では、ユーザー情報取得部３０６が、アノテーションを付加したユーザーに関する各種情報を取得する。
ステップＳ７０８では、時刻情報取得部３０７が、アノテーション付加の指示が行われた時の情報を取得する。また、診断や観察の日時など、付随する日時情報を合わせて取得してもよい。

ステップＳ７０９では、アノテーションデータ生成部３０５が、ステップＳ７０４で取得した位置情報、ステップＳ７０５で取得したテキスト情報、ステップＳ７０６で取得した表示倍率、ステップＳ７０７で取得したユーザー情報、およびステップＳ７０８で取得した日時情報をもとにアノテーションデータを生成する。

ステップＳ７１０では、アノテーションデータ生成部３０５が、ステップＳ７０９で生成されたアノテーションデータに基づき、アノテーションの付加が初めて行われた場合はアノテーションデータリストの新規作成を、既にリストが存在している場合は、そのリストの値、内容を更新する。なお、このリストに格納する情報は、ステップＳ７０４で生成した階層画像ごとのアノテーションが付加される位置情報、実際には各倍率の階層画像毎に換算された位置情報、付加される表示倍率、アノテーションとして入力されたテキスト情報、ユーザー名および日付情報である。アノテーションデータリストの構成については図１０を用いて後述する。

（アノテーションの提示）
図８は、アノテーションを提示する処理（図６および図７のＳ６０８）の詳細な流れを示すフローチャートである。図８では、アノテーションデータリストに基づいてアノテーションを提示するための表示データを生成する流れについて説明する。

ステップＳ８０１では、表示データ生成制御部３０９が、ユーザーから表示画面の更新
要求があるか否かを判断する。一般に画像データ全体を網羅的に観察するスクリーニングでの表示倍率（５倍から１０倍程度）と、詳細観察での表示倍率（２０倍から４０倍）と、アノテーションの付加された位置を確認するための表示倍率とは異なることが予想される。そのため、表示データ生成制御部３０９が、アノテーション提示に適した表示倍率の選択を行うか否かをユーザーの指示に基づいて決める。または、アノテーションが付加された範囲から自動で表示倍率を設定してもよい。表示画面の更新が必要な場合はステップＳ８０２へ進む。表示画面の更新要求がない場合は更新処理をスキップしステップＳ８０３へ進む。

ステップＳ８０２では、表示画面の更新要求を受けて、表示画像データ取得部３１０が、アノテーション提示に適した表示画像データを選択する。例えば、アノテーションが複数付加されていた場合は、付加されたアノテーションの位置がもれなく画面に表示できるよう、複数のアノテーションを包含する領域が少なくとも表示されるように表示領域のサイズを決定する。表示画像データ取得部３１０は、決定された表示領域のサイズに基づいて、階層画像データの中から所望の解像度（倍率）の画像データを選択する。

ステップＳ８０３では、ディスプレイ画面の表示領域に対してアノテーションを付加した数が多いか否かを判断する。判断に用いる閾値は任意に設定できる。また、ユーザーの意志によって以後説明するアノテーション表示モードとポインタ表示モードを選択できる構成にしてもよい。ここでアノテーションの数に応じて表示モードを切り替える理由は、画面の表示領域に対してアノテーションを付加した数が多すぎる場合に、背景となる診断用の画像を観察することが困難となるためである。一定以上の割合でアノテーション内容が画面に表示される場合は、ポインタ表示モードを採用するのが望ましい。ポインタ表示モードとは、アノテーションが付加された位置情報のみを画面上にアイコンやフラグ等を用いて示すモードのことである。また、アノテーション表示モードとは、コメントとして入力されたアノテーション内容を画面に表示するモードのことである。ポインタ表示モードを選択、採用する場合はステップＳ８０４へ、アノテーション表示モードを選択、採用する場合はステップＳ８０５へそれぞれ進む。

ステップＳ８０４（ポインタ表示モード）では、表示データ生成部３１１がアノテーションの位置をアイコン等のポインタで表示するためのデータを生成する。このとき、表示倍率、アノテーションを付加したユーザーの違い等によって、ポインタのアイコンの種類や色および提示の方法を変えることができる。ポインタ表示の画面例は図９（ｅ）を用いて後述する。

ステップＳ８０５（アノテーション表示モード）では、表示データ生成部３１１がアノテーションとして付加された内容をテキストとして表示するためのデータを生成する。ユーザーの識別を行うため、表示するアノテーションのコメント内容である文字の色をユーザー毎に変更する。文字色を変える以外にも、アノテーション枠の色、形状、アノテーション自体の点滅表示や透過表示を変えるなど、アノテーションを付加したユーザーが識別できる方法であればよい。アノテーション表示の画面例は図９（ｄ）を用いて後述する。

ステップＳ８０６では、表示データ生成部３１１が、選択された表示画像データとステップＳ８０４またはステップＳ８０５で生成されたアノテーション表示データをもとに、画面表示用の表示データを生成する。
ステップＳ８０７では、表示データ出力部３１２が、ステップ８０６で生成した表示データを表示装置１０３に対して出力する。
ステップＳ８０８では、出力された表示データをもとに、表示装置１０３が表示画面を更新する。

ステップＳ８０９では、表示データ生成制御部３０９は、現在の表示モードがアノテーション表示モードかポインタ表示モードであるか否かを判断する。ポインタ表示モードの場合はステップＳ８１０へ進む。アノテーション表示モードの場合はスキップし、ステップＳ８１２へ進む。

ステップＳ８１０（ポインタ表示モード）では、表示データ生成制御部３０９は、画面上に表示されているポインタをユーザーが選択、もしくはマウスカーソルをポインタ上にかざしたか否かを判断する。アノテーション表示モードではアノテーションとして入力されたテキストの内容が画面に表示される構成をとるが、ポインタ表示モードでは必要に応じてアノテーション内容を表示する構成をとる。ポインタが選択またはポインタ上にマウスカーソルがかざされた場合はステップ８１１へ進む。選択されなかった場合はアノテーション提示の処理を終了する。
ステップＳ８１１では、表示データ生成制御部３０９は、選択されたポインタの位置に付加されているアノテーションのテキスト内容をポップアップで表示するよう制御する。ポップアップ処理の場合はポインタの選択が外れると、アノテーション内容の表示も行わなくなる。一度選択すれば消す指示を出すまでは画面上に表示され続ける構成をとってよい。

ステップＳ８１２では、表示データ生成制御部３０９は、アノテーションが選択されたか否かを判断する。アノテーションの選択によって、そのアノテーションが付加された際の表示倍率、表示位置を再現する。アノテーションが選択された場合はステップＳ８１３へ進む。選択されなかった場合はアノテーション提示の処理を終了する。

ステップＳ８１３では、表示データ生成制御部３０９からの指示に基づき、表示画像データ取得部３１０が表示画像データを選択する。ここで選択する表示画像データは、アノテーションデータリストに格納されたアノテーション付加時の位置情報および表示倍率をもとにして選択される。
ステップＳ８１４では、表示データ生成部３１１が、ステップＳ８１２で選択されたアノテーション、およびステップＳ８１３で選択された表示画像データに基づき、表示データを生成する。
ステップＳ８１５の表示データの出力、およびステップＳ８１６の表示データの表示装置１０３上での画面表示は、それぞれステップＳ８０７およびステップＳ８０８と同じため説明は省略する。

（表示画面レイアウト）
図９（ａ）から図９（ｆ）は、本実施形態の画像処理装置１０２で生成した表示データを表示装置１０３に表示した場合の表示画面の一例である。アノテーション付加時の表示画面やポインタ表示モードおよびアノテーション表示モード、およびアノテーションを付加した際の画像表示位置や表示倍率の再現について説明する。

図９（ａ）は、表示装置１０３の画面レイアウトの基本構成である。表示画面は、全体ウィンドウ９０１内に、表示や操作のステータスと各種画像の情報を示す情報エリア９０２と、観察対象のサムネイル画像９０３と、詳細観察用の検体画像データの表示領域９０５とが配置された構成である。サムネイル画像９０３の中には、表示領域９０５に表示しているエリア（詳細観察エリア）を示す詳細表示領域９０４が表示され、また、表示領域９０５の中には、表示領域９０５に表示している画像の表示倍率９０６が表示される。各領域、画像はシングルドキュメントインターフェースによって全体ウィンドウ９０１の表示領域が機能領域毎に分割される形態でも、マルチドキュメントインターフェースによって各々の領域が別ウィンドウで構成される形態でも構わない。サムネイル画像９０３は、検体の全体像における検体画像データの表示領域９０５の位置や大きさを表示する。位置
や大きさは、詳細表示領域９０４の枠によって把握することができる。詳細表示領域９０４の設定は、例えば、タッチパネルまたはマウス４１１等の外部接続された入力装置からのユーザー指示による直接の設定でも、表示されている画像に対する表示領域の移動や拡大・縮小操作によっても設定、更新することができる。検体画像データの表示領域９０５には、詳細観察用の検体画像データが表示される。ここでは、ユーザーからの操作指示によって、表示領域の移動（検体全体画像の中から観察の対象となる部分領域の選択、移動）や表示倍率の変更による画像の拡大・縮小像が表示される。

図９（ｂ）は、アノテーションを付加する際の操作画面の例である。表示倍率９０６は２０倍に設定されているものとする。ユーザーは、表示領域９０５の画像の上で、関心領域（または関心位置）を選択し、新規のアノテーションを付加することができる。関心領域または関心位置とは、ユーザーが画像の中で注目すべき部分と判断した領域または位置であり、例えば、画像診断の場合には異常が現れている部分、詳細観察が必要な部分、その他何らかの所見がある部分が関心領域または関心位置として指定される。新規のアノテーションは、マウス４１１により画像上の位置を指定した後、アノテーション入力モードへ移行してキーボード４１０によりテキスト（アノテーション内容）を入力する、という操作によって付加される。図９（ｂ）は、マウスカーソル９０７の位置にアノテーション９０８を付加する状態を示しており、アノテーション９０８に対し「アノテーション１」というアノテーション内容（コメントともいう）が入力されている。アノテーションの位置情報やアノテーション内容は、そのときの表示領域９０５の画像の表示倍率（９０６）の値と関連付けて保存される。

図９（ｃ）は、既存のアノテーションと同じ位置にアノテーションを追加する際の操作画面の例である。あるユーザーによって図９（ｂ）に示されるアノテーション１が付加された後、別のユーザーが同じ画像データの同じ位置にアノテーション２を追加する例について説明する。別のユーザーは、画面表示されたアノテーションの中から任意のアノテーションを選択し、そのアノテーションに対して（つまりアノテーションが既に付加されている関心領域または関心位置に対して）コメントを追加することができる。図９（ｃ）の符号９０９は、図９（ｂ）でアノテーション１が付加されたポイント（位置）であり、符号９１０はアノテーション１に対してアノテーション２が付加された状態を示している。このように同一の関心領域（関心位置）に対して追加や修正のコメントを入れることができる。

同一の関心領域（関心位置）に対して複数のコメントが付加された場合には、ユーザーの情報を用いて、どのユーザーが入力したアノテーション（コメント）なのかが容易に識別できるように画面表示するとよい。さらに、アノテーションが付加された日時の情報に基づき、いつ頃付加されたアノテーションなのか、或いは、どのような順番で付加されたアノテーションなのかが容易に識別できるようにするとなおよい。このようなユーザーの識別や日時の識別を実現する具体的な方法としては、アノテーションの表示形態を異ならせるという方法が好ましい。ところで図９（ｃ）では同一の関心領域（関心位置）に付加された複数のアノテーションをグループ化し、１つのアノテーション枠内に表示する例を示したが、それぞれのアノテーションを別々のアノテーション枠内に表示する形態をとってもよい。前者の場合は、１つのアノテーションの中に複数のコメントが列挙されているように見え、後者の場合は、複数のアノテーションが同じ位置に付加されているように見える。ただし後者の場合も、同じ位置のアノテーションに対して同じ形態のアノテーション枠を用いることで、アノテーションのグループを容易に判別できるようにするとよい。同じグループに属するアノテーションは、付加された日時に基づき、時間順（古い順もしくは新しい順）に並べて表示されることが望ましい。これにより、注目点に対する複数ユーザーの診断所見の比較や参照、および時系列でのコメントの変遷の把握が容易になる。

ユーザー毎にアノテーションの表示形態を異ならせる方法としては、さまざまな方法を採用し得る。例えば、（１）アノテーション内容であるテキストの表現方法の変更、（２）アノテーション枠の変更、（３）アノテーション全体の表示方法などが想定される。（１）テキストの表現方法の変更とは、テキストの色、輝度、サイズ、フォントの種類や修飾（太字、斜字体）、テキストの背景の色や模様等をユーザー毎に異ならせる方法である。また図９（ｃ）のように、アノテーション毎にユーザーの名前やＩＤを表示するという方法もある。（２）アノテーション枠の変更とは、枠の色や線種（実線、破線）、形状（吹き出し、矩形以外の選択）、背景の色や模様等をユーザー毎に異ならせる方法である。（３）アノテーション全体の表示方法とは、表示領域９０５に表示される背景画像である画像データとのαブレンディング（透過画像表示）やアノテーション自体の点滅表示等のやり方をユーザー毎に異ならせるというものである。なお、ここで述べた表示形態のバリエーションは一例であり、これらを組み合わせたり、これら以外の表示形態を用いたりしてもよい。

日時毎にアノテーションの表示形態を異ならせる場合も、上記の（１）〜（３）と同じ方法を利用することができる。ただし日時に基づき表示形態を変える場合は、例えば、時間、時間帯、日、週、月といった所定の期間単位でアノテーションをカテゴライズし、異なる時期（期間）に付加されたアノテーションの間で表示形態を異ならせるのがよい。また、アノテーションの色や輝度を段階的に変化させるなど、時間順（古い順もしくは新しい順）に表示形態を少しずつ変えるようにしてもよい。このようにすることで、表示形態の変化からアノテーションの時系列を簡単に把握できるようになる。

図９（ｄ）は、アノテーション表示モードの画面表示の例である。ここでは画像中の３箇所に４つのアノテーションが付加された場合の例を示している。９１１はアノテーション１と２が付加されたポイントを、９１２はアノテーションの内容を示している。画像中の複数の位置にアノテーションが付加されている場合は、そのすべてのアノテーションの位置が表示できるように表示領域９０５の表示倍率が調整される。ここでは低倍である５倍の表示倍率で画像が表示されている例を示している。この表示画面において、各アノテーションが付加されたときの表示倍率に応じてアノテーションの表示形態を異ならせるとよい。例えば、アノテーション１と２と３は２０倍の表示画像に対して付加され、アノテーション４は４０倍の表示画像に対して付加されたとする。このとき図９（ｄ）のようにアノテーションの表示形態が異なっていると、各アノテーションが付加されたときの表示倍率が違っていることを容易に判別することができる。アノテーション１と２と３は同じ表示倍率（２０倍）であるが、アノテーション１と２は同一箇所に対するアノテーショングループであるため、アノテーション３とは表示形態を変えている。複数のアノテーションが付加されたポイントは、ユーザーの関心度が高いと見なすことができる。それゆえ、図９（ｄ）のように、１つのアノテーションのみが付加されている場合と複数のアノテーションが同じポイントに付加されている場合とで、アノテーションの表示形態を変えることが望ましい。このとき、同じポイントに付加されているアノテーションの数が多いほうがより目立つ（ユーザーの注意を惹く）ような表示形態となるようにするとよい。

図９（ｅ）は、アノテーションをポインタ表示モードで表示する際の画面表示例である。１つの画像に多くのアノテーションが付加されている場合、アノテーション表示モードで表示すると、画像の多くの部分がアノテーションで隠されてしまったり、アノテーションが多すぎて紛らわしかったりし、観察の妨げになる。ポインタ表示モードは、アノテーションの内容は隠し、アノテーションが付加された位置情報と表示倍率との関係のみをフラグやポインタを用いて明示するモードである。これにより、画像に付加された多数のアノテーションの中から所望のアノテーションを選択することを容易にできる。９１３はアノテーションが付加された位置を示すアイコン画像（フラグ、ポインタともいう）である。９１４はアイコン画像が選択された場合にアノテーション内容をポップアップで表示す
る例を示している。

図９（ｆ）は、アノテーションが付加されたときの画像中の表示位置と表示倍率を再現した画面の表示例である。アノテーション表示モードまたはポインタ表示モードで所望のアノテーションが選択された際に、表示データ生成制御部３０９は、アノテーションデータリストを参照してアノテーションが付加されたときの表示倍率と画像中の表示位置を特定し、それと同じ表示倍率及び位置の表示データを生成して表示する。なお、選択されたアノテーションの全体画像との位置関係は、サムネイル画像９０３中のアノテーション全体の表示枠９１６および選択されたアノテーションの再現範囲９１７から判断することができる。

（アノテーションデータリストの例）
図１０は、本実施形態の画像処理装置１０２で生成したアノテーションデータリストの構成を示している。
図１０に示すように、アノテーションデータリストには、画像に付加されたアノテーションの情報が格納されている。リストの１つの行が１つのアノテーションの情報を表している。それぞれのアノテーションには、付加した順番にＩＤ番号が割り振られている。各アノテーション情報は、グループＩＤ、ユーザー名、アノテーション内容、アノテーション付加時の位置情報および表示倍率、アノテーションを付加した日時情報などを含んでいる。グループＩＤは、図９（ｃ）で示した、同一箇所に対して付加されたアノテーションであることを示す属性情報である。例えばＩＤ１と２のアノテーションは同一箇所に付加されたもののため、同一のグループＩＤ「１」となり、位置情報、表示倍率も同じになっている。なお、アノテーションの付加が関心位置（点）ではなく関心領域（ある広がりをもった領域）に対して行われる場合には、位置情報として点の座標値ではなく領域を規定する情報（例えば多角形領域の頂点座標など）をアノテーションデータに記録すればよい。アノテーションデータリストに格納する内容の主なものは示したとおりであるが、検索に必要な情報を含めその他の情報を格納する構成にしてもよい。また、画像を取得した日時や画像を診断に用いた日時の情報、ユーザーが独自に定義した項目などをアノテーション情報として格納できる構成をとってもよい。合わせて格納している位置情報と表示倍率によって、アノテーションを付加した際の観察環境を再現することができる。

（本実施形態の効果）
アノテーションを付加する際に、アノテーション内容自体の格納の他、ユーザー情報を合わせて格納してその対応関係をリストとして用意することで、アノテーションを提示する際に、付加したユーザーの識別を容易にすることが可能となる。その結果、病理医の手間を減らすことができる画像処理装置を提供することができる。本実施の形態では特に、同一箇所に対する複数のアノテーションをひとまとめにすることで、注目点に対する複数ユーザーの診断所見の比較や参照、および時系列でのコメントの変遷をわかりやすく提示することができる。

［第２の実施形態］
本発明の第２実施形態に係る画像処理システムについて図を用いて説明する。
第１の実施形態では、アノテーションが付加された位置と表示倍率の他、ユーザー情報をリストとして格納することで、アノテーションをユーザーに提示する際のユーザー識別を容易にした。第２の実施形態では、同一箇所のアノテーションのみならず、位置の異なる関心領域に付加された複数のアノテーションをグルーピングすることで、必要な情報を的確に提示し、診断作業に注力できるようにする。第２実施形態では、第１実施形態と異なる構成以外は第１実施形態で説明した構成を用いることができる。
また、第１の実施形態ではユーザー情報をログイン情報やユーザーによる選択によって取得する構成を説明しているが、第２の実施形態はネットワークを介した遠隔のユーザー
間でのアノテーションの付加を想定しており、第１の実施形態で取得したユーザー情報以外に、例えばネットワーク接続しているコンピュータに割り当てられたネットワーク情報（ＩＰアドレスなど）を用いることもできる。

（画像処理システムの装置構成）
図１１は、本発明の第２の実施形態に係る画像処理システムを構成する装置の全体図である。

本実施形態の画像処理システムは、画像サーバー１１０１、画像処理装置１０２、画像処理装置１０２と接続された表示装置１０３、画像処理装置１１０４、画像処理装置１１０４と接続された表示装置１１０５から構成される。画像サーバー１１０１と画像処理装置１０２と画像処理装置１１０４はネットワークを介して接続されている。画像処理装置１０２は検体を撮像した画像データを画像サーバー１１０１から取得し、表示装置１０３へ表示するための画像データを生成することができる。画像サーバー１１０１と画像処理装置１０２との間は、ネットワーク１１０２を介して、汎用Ｉ／ＦのＬＡＮケーブル１１０３で接続される。画像サーバー１１０１は、バーチャルスライド装置である撮像装置１０１によって撮像された画像データを保存する大容量の記憶装置を備えたコンピュータである。画像サーバー１１０１は、階層化された異なる表示倍率の画像データを一つのまとまりとして画像サーバー１１０１に接続されたローカルストレージに保存していても良いし、それぞれを分割してネットワーク上の何処かに存在するサーバー群（クラウド・サーバ）に対して各分割画像データの実体とリンク情報を分けて持つ構成でもよい。階層画像データ自体、一つのサーバーに保存しておく必要もない。なお、画像処理装置１０２および表示装置１０３は第１の実施態様の画像処理システムと同様である。画像処理装置１１０４は、画像サーバー１１０１や画像処理装置１０２から離れた場所（遠隔地）にあるものとする。画像処理装置１１０４の機能は画像処理装置１０２と同じである。異なるユーザーが画像処理装置１０２および１１０４を使用し、アノテーションを付加する際、付加されたデータを画像サーバー１１０１に格納することで、双方から画像データおよびアノテーション内容を参照することができる。

図１１の例では、画像サーバー１１０１と画像処理装置１０２、１１０４と表示装置１０３、１１０５の５つの装置により画像処理システムが構成されているが、本発明はこの構成に限定されるものではない。例えば、表示装置１０３、１１０５が一体化した画像処理装置１０２、１１０４を用いてもよいし、画像処理装置１０２、１１０４の持つ機能の一部を画像サーバー１１０１に組み込んでもよい。また逆に、画像サーバー１１０１や画像処理装置１０２、１１０４の機能を分割して複数の装置によって実現してもよい。

ここでは、画像サーバー１１０１に格納されたアノテーションが付加された画像データを、遠隔に存在する異なる画像処理装置１０２、１１０４から互いにアクセスし、取得する構成を想定している。しかし、本発明は、一方の画像処理装置（例えば１０２）がローカルに画像データを格納し、この画像処理装置１０２に対して他のユーザーが遠隔からアクセスする構成を取ることもできる。

（アノテーションの関心領域内でのグルーピング）
図１２は、第１実施形態の図７で説明したアノテーションを付加する処理に対して、本実施形態の特徴である、同一関心領域のグルーピング機能を付加した処理の流れを示すフローチャートである。アノテーション付加の各種情報取得までのプロセスは図７と同様のため、同じ処理の説明については省略する。
ステップＳ７０１からステップＳ７１０までのアノテーション付加の処理内容は第１実施形態の図７で説明した内容とほぼ同様である。アノテーションデータの生成処理（Ｓ７０９）の前に、同一の関心領域に付加されたアノテーションをひとまとめにする処理が追
加されている。

ステップＳ１２０１では、複数のアノテーションを同一の関心領域内の関連情報としてひとまとめにする処理（カテゴライズもしくはグルーピングと呼ぶ）を利用するか否かをユーザーが判断する。同一箇所に対するアノテーションに関しては、第１実施形態で説明しているとおり、ユーザーの種別、付加日時等を識別できるよう表示の形態を変更し、アノテーションの統合処理を行っている。例えば、ユーザーは、任意の倍率（一般には２０倍以上の高倍）で表示された関心領域（ユーザーである病理医が注目する領域）内に付加された複数のアノテーションに対し、診断する際の情報としてひとくくりにした方が良いか否かを判断する。これは、悪性箇所の指摘だけではなく、周辺組織への影響や正常と思われる細胞、組織との比較等、診断が複数の情報をもとに多視点で行われることによる。複数のアノテーションのグルーピングを行う場合は、ユーザーがマウス４１１等を使ってグルーピング機能の実行を指示することで、ステップＳ１２０２へ進む。グルーピングを行わない場合はステップＳ７０９へ進む。グルーピングの方法については図１３（ａ）および（ｂ）を用いて後述する。

ステップＳ１２０２では、アノテーションデータ生成部３０５（図３参照）が、グルーピングするアノテーションをユーザーに指定させる。指定の方法としては、リストとして提示された複数のアノテーションの中から、チェックボックスを利用して選択する方法や、グルーピングする領域をマウス４１１等で範囲指定し、範囲に含まれるアノテーションを選択、指定する方法などがある。

ステップＳ７０９のアノテーションデータの生成およびステップＳ７１０のアノテーションデータリストの生成・更新の処理は第１の実施形態と同じため、説明は省略する。変更点は、アノテーションデータを生成する際、同一箇所のグループＩＤ付与と同じく、同一関心領域のグループＩＤ付与を行い、リストにもその内容を格納する点である。

（表示画面レイアウト）
図１３は、画像処理装置１０２で生成した表示データを表示装置１０３に表示した場合の表示画面の一例である。図１３では、同一関心領域内としてのグルーピング、およびアノテーションを付加した際の画像表示位置や表示倍率の複数再現について説明する。

図１３（ａ）は、グルーピングするアノテーションを指定する際に画面表示されるアノテーションリストの例である。アノテーションリスト１３０１は、個別に割り振られたＩＤ番号、同一箇所におけるアノテーションとしてまとめられたグループの関係を示すグループＩＤ、アノテーション内容、ユーザー名、および関連情報としてグルーピングするアノテーションを指定するためのチェックボックス１３０２から構成される。ここでは、アノテーションＩＤ１、２および４が選択されている例を示している。ＩＤ１と２は同一箇所に付加されたアノテーションとして元々グルーピングされており、グループＩＤ「１」が付与されている。チェックボックス１３０２によって複数のアノテーションが選択できるものとする。また、各項目に対して優先度付けを行い、複数の項目に対するソート操作を行うことも可能である。ここでは、チェックボックスにより一つのグルーピングが行える構成を示したが、関心領域を複数設定する場合には、関心領域用のグループＩＤを割り付けることで対応させることができる。

図１３（ｂ）は、図１３（ａ）で示したグルーピング操作をリストからではなく、エリア指定で行うための表示画面の例である。ここでは同一箇所に付加されたアノテーションを含めて３箇所、４つのアノテーションが付加された場合の例を示している。１３０５はアノテーションが付加されたポイント（位置）を、１３０６は付加されたアノテーションの内容である。この画像は５倍の表示倍率であることが１３０３に示されている。関心領
域の指定は、マウス４１１のドラッグ操作による領域指定によって行う。１３０４がマウス４１１によって指定された関心領域である。ここでは、アノテーション１と２、および４が同一関心領域内の関連情報として選択、指定されている。

図１３（ｃ）は、アノテーションが付加されたときの画像中の表示位置と表示倍率を複数再現した画面の表示例である。アノテーション表示モード、およびポインタ表示モードで所望のアノテーションが選択された際に、アノテーションデータリストを参照してアノテーションを付加した際の表示倍率と画像中の表示位置をそれぞれ再現する。この例では合計６つの選択されたアノテーションが表示されている。６つのアノテーションの内、右上のアノテーション付加時の表示倍率のみ４０倍と他と異なる設定となっている。表示倍率の違いは、表示倍率１３０３内での倍率表示の他、各表示領域９０５枠の色の変更等でも明示することができる。また、左上の表示枠には同一関心領域の対象として３つのアノテーションが表示されている。１３０７はアノテーションの表示内容である。

選択されたアノテーションの全体画像との位置関係は、第１の実施形態と同じように表示される。サムネイル画像９０３中のアノテーション全体の表示枠１３０８および複数選択されたアノテーションの再現範囲１３０９から判断することができる。再現範囲１３０９と表示領域９０５との対応関係は枠線の色、線種等で判別させることができる。また、表示領域９０５の任意の表示画像、または再現範囲１３０９を選択することで、表示領域９０５全体を使用した表示モードへ移行することもできる。

（本実施形態の効果）
同一箇所に付加したアノテーションだけでなく、異なる箇所に付加したアノテーションをもグループ化し、関連情報として提示する機能を設けたことにより、注目の対象が点から領域に広がり、関心領域に対する複数ユーザーの診断所見の比較や参照、および時系列でのコメントの変遷をわかりやすく提示することができる。

［第３の実施形態］
本発明の第３実施形態に係る画像処理システムについて図を用いて説明する。
第１の実施形態では、アノテーションが付加された位置と表示倍率の他、ユーザー情報をリストとして格納することで、アノテーションをユーザーに提示する際のユーザー識別を容易にした。第２の実施形態では、同一箇所のアノテーションのみならず、位置の異なる関心領域に付加された複数のアノテーションをグルーピングすることで、必要な情報を的確に提示し、診断作業に注力できるようにした。第３実施形態では、アノテーションリストの項目に新たに「ユーザー属性」情報を追加することで、病理診断におけるワークフローを円滑化できるようにする。病理診断におけるワークフローでは、複数のユーザー（例えば、技師、病理医、臨床医）がそれぞれ異なる目的（観点、役割）又は異なる方法（例えば、画像解析による自動付加、目視による付加）で順番に同じ画像にアノテーションを付加していく。ユーザー属性とは、各ユーザーがアノテーションを付加したときの目的（観点、役割）又は方法を示す情報である。第３実施形態では、アノテーションリストの構成とアノテーション付加の流れ以外は第１実施形態で説明した構成を用いることができる。

（アノテーションデータリストの例）
図１４は、本実施形態の画像処理装置１０２で生成したアノテーションデータリストの構成を示している。
第１の実施形態で用いるアノテーションリストについては、既に図１０に示して説明を行ったが、図１４が図１０と異なる点は、リスト項目として「ユーザー属性」が加わっている点である。「ユーザー属性」は、アノテーションを付加したユーザーの属性を示すものであり、例えば「病理医」や「技師」、「臨床医」、「自動診断」などが考えられる。
ただし、自動診断によるアノテーション付加は、病理医や技師、臨床医などの人間によるアノテーション付加とは異なる手順で行われるため、本実施形態におけるアノテーション付加の手順については図１５を用いて後述する。なお、図１４ではユーザー属性として属性名を直接格納しているが、代わりにユーザー属性ＩＤを格納し、これとは別にユーザー属性ＩＤとユーザー属性名称を格納したテーブルを用意するような、リレーショナルデータベース形式のリストを用いても良い。

一般的な病理診断のワークフローを考慮すれば、上記ユーザー属性を用意することで、診断作業がより効率化される。例えば、一般的な病理診断では、スライドに関するデータは技師から病理医、臨床医の順に流れていく。ただし、病理医と臨床医の間に、他の病理医が関わっていても良い。これを踏まえれば、本実施形態を用いた診断では、スライドの画像取得後に、まず技師がスクリーニングを行って、病理医に注目して欲しい箇所へアノテーションを付加することが考えられる。技師が何らかの自動診断機能を用いるときは、そのソフトウェアによってアノテーションが付加される。次に病理医は、上記技師によるアノテーションも参考に、スライド上の検体の異常部やリファレンスとなる正常部など診断に必要な箇所にアノテーションを付加することが考えられる。また、病理医が自動診断機能を用いる場合は、技師の場合と同じくソフトウェアによってアノテーションが付加される。複数の病理医によって診断が行われる場合は、先に診断を行った病理医のアノテーションを参考にして、追加のアノテーションを付加することが考えられる。その後、スライドデータが臨床医まで届いたら、臨床医は病理医が付加したアノテーションを参考にして、診断理由を理解することが考えられる。この際、技師や自動診断機能によって付加されたアノテーションがある場合は、それらを適宜非表示にすれば、余分な情報を参照せずに済む。当然、臨床医も技師や病理医と同様に、スライドに関する所見をアノテーションとして付加できる。仮に、セカンドオピニオンを得るためにスライドデータが他の病院の臨床医まで届いた場合であっても、上記臨床医の場合と同様に、過去に付加された各種アノテーションを参考に診断を行うことが可能である。このように、ユーザー情報の一つとしてユーザー属性をアノテーションに関連付けておき、ユーザー属性毎にアノテーションの表示態様を変えたり、表示／非表示を切り換えたりできるようにすれば、病理診断ワークフローの各段階において、各アノテーション情報の性質把握や情報の取捨選択が容易になり、病理診断作業を円滑化できる。

（アノテーションの付加）
図１５は、本実施形態におけるアノテーション付加手順を示すフローチャートである。図１５では、アノテーションリストの項目として自動診断を含むユーザー属性を加えたときの、アノテーション付加の流れについて説明する。

ステップＳ１５０１では、ユーザーから自動診断ソフトウェアの実行指示があったか否かを判断する。実行指示があった場合は、ステップＳ１５０２へ進む。指示がなかった場合は、ステップＳ１５０３へ進む。
ステップＳ１５０２では、自動診断ソフトウェアがユーザーの実行指示に従い、自動診断を実行する。その処理の詳細については図１６を用いて後述する。
ステップＳ１５０３では、アノテーション付加がユーザーによって行われる。ステップＳ１５０３の処理の詳細は、図７で示される処理と同様である。
その後のステップＳ７０４からＳ７１０で示されるアノテーション付加の処理内容は、第１実施形態の図７で説明した内容とほぼ同様である。ただし、本実施形態のステップＳ７０４およびＳ７０５では、位置情報および入力情報を自動診断ソフトウェアの出力結果から取得するところが、第１実施形態と異なる。また、本実施形態のステップＳ７０７では、ユーザー情報を自動診断ソフトウェアから取得するところが、第１実施形態と異なる。

（自動診断手順の例）
図１６は、自動診断実行手順の一例を示すフローチャートである。図１６では、自動診断プログラムが画像解析を行い、診断情報を生成する流れの一例について説明する。
ステップＳ１６０１では、解析用画像の取得を行う。ここでは、組織診を例に挙げ、薄くスライスされた組織片を対象に、ＨＥ染色された検体を対象とする。
ステップＳ１６０２では、取得した画像中に含まれる分析対象となる細胞のエッジを抽出する。抽出処理をしやすくするため、空間フィルタによるエッジ強調処理を事前に施しても構わない。例えば、細胞がエオシンによって赤色からピンク色に染色されていることを利用し、同色の領域から細胞膜の境界を検出するとよい。
ステップＳ１６０３では、ステップＳ１６０２で抽出されたエッジに基づいて、細胞の輪郭を抽出する。ステップＳ１６０２で検出したエッジが不連続かつ断続的なものの場合、その間をつなぐ処理を施すことで輪郭部分を抽出することが可能となる。不連続点のつなぎは一般的な線形の補間で構わないが、より精度を高めるためにより高次の補間式を採用してもよい。
ステップＳ１６０４では、ステップＳ１６０３で検出された輪郭をもとに細胞の認識、特定を行う。一般に細胞は円形をしているので、輪郭の形状やサイズを考慮することにより誤判定を少なくすることができる。また、一部では細胞の重なりを生じていることで細胞の特定が難しいものも存在する。その場合は、後段の細胞核の特定結果を待って、再度認識、特定の処理を実施する。

ステップＳ１６０５では、細胞核の輪郭を抽出する。ステップＳ１６０２では細胞がエオシンによって赤色からピンク色に染色されていることを利用した。細胞核は、ヘマトキシリンによって青紫に染色されている。よってステップＳ１６０５では、中心部分（細胞核）が青紫色であり、その周囲（細胞質）が赤色の領域を検出し、青紫色の中心部分の領域の境界を検出する処理を行うとよい。
ステップＳ１６０６では、ステップＳ１６０５で検出された輪郭情報をもとに細胞核の特定を行う。正常細胞では一般に核の大きさは３〜５μｍ程度であるが、異常をきたすとサイズの肥大、多核化、異形化など様々な変化を生じる。ステップＳ１６０４で特定された細胞内に含まれていることが細胞核の存在の目安の一つとなる。ステップＳ１６０４で特定が困難であった細胞に関しても、核を特定することで判断することが可能となる。

ステップＳ１６０７では、ステップＳ１６０４およびステップＳ１６０６で特定した細胞および細胞核のサイズを計測する。ここでのサイズは面積を示しており、細胞膜内の細胞質の面積と核内の面積をそれぞれ求める。また合わせて細胞の総数を数えたり、その形状やサイズの統計情報をとったりしても良い。
ステップＳ１６０８では、ステップＳ１６０７で得られた面積情報をもとに、細胞質と核の比であるＮ／Ｃ比を算出する。個々の細胞について算出した結果の統計情報を得る。
ステップＳ１６０９では、解析用画像の領域内、場合によってはユーザーによって指定された範囲内において、全細胞に関する解析処理を完了したか否かを判断する。解析処理が完了した場合は処理を完了する。解析処理が完了していない場合は、ステップＳ１６０２へ戻り解析処理を繰り返す。
上記の解析処理の結果、異常が疑われるＮ／Ｃ比の大きな箇所を抽出し、抽出した箇所に対してアノテーション情報を付加することが可能となる。

（本実施形態の効果）
アノテーションリストに格納する情報として、ユーザー名の他にユーザー属性を用いることで、アノテーションを病理診断ワークフローの観点から識別することができる。例えば、アノテーションが自動診断により付加された場合とユーザーにより付加された場合とで、アノテーションの表示形態を異ならせると良い。また、ユーザーが技師の場合と医師（病理医、臨床医など）の場合とで表示形態を異ならせても良いし、さらに、ユーザーが
病理医の場合と臨床医の場合とで表示形態を異ならせても良い。これにより、アノテーションが多数存在していても、それを参照するユーザーの業務内容に応じて、コメントの内容やその変遷をさらに分かりやすく提示することができる。

［その他の実施形態］
本発明の目的は、以下によって達成されてもよい。すなわち、前述した実施形態の機能の全部または一部を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを非一時的に記録した記録媒体は本発明を構成することになる。
また、コンピュータが、読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが、実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も本発明に含まれ得る。
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれ得る。
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
また、第１〜第３の実施形態で説明してきた構成をお互いに組み合わせることもできる。例えば、画像処理装置が撮像装置と画像サーバーの両方に接続されており、処理に用いる画像をいずれの装置から取得できるような構成にしてもよい。その他、上記各実施形態における様々な技術を適宜組み合わせることで得られる構成も本発明の範疇に属する。

１０１：撮像装置、１０２：画像処理装置、１０３：表示装置、３０１：画像データ取得部、３０５：アノテーションデータ生成部、３０６：ユーザー情報取得部、３０８：アノテーションデータリスト、３０９：表示データ生成制御部

Claims (14)

1. 被写体の画像のデータと該画像に付加された複数のアノテーションのデータとを取得する取得手段と、
   前記画像を前記アノテーションと共に表示装置に表示する表示制御手段と、を備え、
   前記複数のアノテーションのデータは、各アノテーションが付加されている画像中の位置を示す位置情報と、各アノテーションを画像に付加したユーザーの情報と、を含み、
   前記表示制御手段は、
   前記複数のアノテーションのうちの一部または全部をグループ化して、且つ、
   前記複数のアノテーションが異なるユーザーによって付加されたものである場合に、ユーザー毎にアノテーションの表示形態を異ならせて、
   該複数のアノテーションを前記画像の上に重ねて表示する
   ことを特徴とする画像処理装置。
2. 複数のユーザーが異なる目的又は異なる方法で順番に前記画像にアノテーションを付加していくものであって、
   前記ユーザーの情報は、当該ユーザーがアノテーションを付加したときの目的又は方法を示すユーザー属性を含み、
   前記表示制御手段は、ユーザー属性毎にアノテーションの表示形態を異ならせる
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記表示制御手段は、前記アノテーションが自動診断により付加された場合とユーザーにより付加された場合とで、前記アノテーションの表示形態を異ならせる
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記表示制御手段は、前記ユーザーが技師の場合と医師の場合とで、前記アノテーションの表示形態を異ならせる
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記表示制御手段は、前記ユーザーが病理医の場合と臨床医の場合とで、前記アノテーションの表示形態を異ならせる
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記取得手段が取得する前記画像のデータは、解像度が段階的に異なる同じ被写体の複数の画像から構成されている階層画像のデータを含む
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記表示制御手段は、前記位置情報に基づいて、前記複数のアノテーションのうち前記画像中の同じ関心領域に付加されているアノテーションをグループ化する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記表示制御手段は、前記位置情報に基づいて、前記複数のアノテーションのうち前記画像中の同じ位置に付加されているアノテーションをグループ化する
   ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記表示制御手段は、前記複数のアノテーションのうちユーザーが指定したアノテーションをグループ化する
   ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記複数のアノテーションのデータは、各アノテーションが付加された日時の情報を更
    に含み、
    前記表示制御手段は、同じグループに属するアノテーションを、前記日時の情報に基づいて、時間順に並べて表示する
    ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記複数のアノテーションのデータは、各アノテーションが付加された日時の情報を更に含み、
    前記表示制御手段は、異なる時期に付加されたアノテーションの間で表示形態を異ならせる
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 請求項１乃至１１のいずれか１項に記載の画像処理装置と、前記画像処理装置から出力される画像およびアノテーションを表示する表示装置と、を備える
    ことを特徴とする画像処理システム。
13. コンピュータが、被写体の画像のデータと該画像に付加された複数のアノテーションのデータとを取得する取得ステップと、
    コンピュータが、前記画像を前記アノテーションと共に表示装置に表示する表示ステップと、を有し、
    前記複数のアノテーションのデータは、各アノテーションが付加されている画像中の位置を示す位置情報と、各アノテーションを画像に付加したユーザーの情報と、を含み、
    前記表示ステップでは、
    前記複数のアノテーションのうちの一部または全部をグループ化して、且つ、
    前記複数のアノテーションが異なるユーザーによって付加されたものである場合に、ユーザー毎にアノテーションの表示形態を異ならせて、
    該複数のアノテーションを前記画像の上に重ねて表示する
    ことを特徴とする画像処理方法。
14. 請求項１３に記載の画像処理方法の各工程をコンピュータに実行させることを特徴とするプログラム。

Images