JP2013134744A - 画像処理装置、画像処理システム、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】 異なる診断基準で付加されたアノテーションを容易に判別することができる画像処理装置を提供すること
【解決手段】 画像処理装置は、バーチャルスライド画像のデータを取得するデータ取得手段と、前記バーチャルスライド画像と該バーチャルスライド画像に付加された複数のアノテーションとを表示装置に表示する表示制御手段と、を備える。前記複数のアノテーションのデータは、前記複数のアノテーションのそれぞれの診断基準の情報を含む。前記表示制御手段は、前記複数のアノテーションのうち一部を前記診断基準の情報に基づいてグループ化して、前記診断基準の情報毎に前記複数のアノテーションの表示形態を異ならせて、前記複数のアノテーションを前記バーチャルスライド画像上に表示する。
【選択図】 図６

Description

本発明は、バーチャルスライド画像を処理する画像処理装置、画像処理システム、画像処理方法、およびプログラムに関する。

スライド上の標本をデジタル顕微鏡で撮像することでバーチャルスライド画像を取得し、これをモニターに表示して観察することが可能なバーチャルスライドシステムが注目されている（特許文献１）。

また、文書データに付加されたアノテーションの作成者を判別可能とした文書管理装置が提案されている（特許文献２）。

特開２０１１−１１８１０７号公報 特開平１１−２５０７７号公報

診断基準・診断分類は、随時更新されるものであり、国や地域によっても統一されていない。ユーザが古い診断基準で診断された標本を再度見直す場合や、研究用に診断基準の異なる他国の標本を確認する場合に、診断根拠として記載されたアノテーション内容が、どの診断基準に依るものかが判別できない。そこで、本発明は、異なる診断基準で付加されたアノテーションを容易に判別することができる画像処理装置を提供することを目的とする。

本発明の一側面としての画像処理装置は、バーチャルスライド画像のデータを取得するデータ取得手段と、前記バーチャルスライド画像と該バーチャルスライド画像に付加された複数のアノテーションとを表示装置に表示する表示制御手段と、を備え、前記複数のアノテーションのデータは、前記複数のアノテーションのそれぞれの診断基準の情報を含み、前記表示制御手段は、前記複数のアノテーションのうち一部を前記診断基準の情報に基づいてグループ化して、前記診断基準の情報毎に前記複数のアノテーションの表示形態を異ならせて、前記複数のアノテーションを前記バーチャルスライド画像上に表示することを特徴とする。

本発明のその他の側面については、以下で説明する実施の形態で明らかにする。

アノテーションを付加する際に、アノテーション内容自体の格納の他、診断基準情報を合わせて格納してその対応関係をリストとして用意することで、アノテーションを提示する際に、診断基準の識別を容易にすることが可能となる。

本発明の画像処理装置を用いた画像処理システムの装置構成の全体図。 本発明の画像処理装置を用いた画像処理システムにおける撮像装置の機能ブロック図。 本発明の画像処理装置の機能ブロック図。 本発明の画像処理装置のハードウェア構成図。 本発明の画像処理装置のアノテーション付加、及び、提示の流れを示すフローチャート。 本発明の画像処理装置のアノテーション付加の詳細な流れを示すフローチャート。 本発明の画像処理システムの表示画面の一例。 本発明の画像処理装置の診断基準設定の画面、診断分類の画面、警告の画面の一例。 本発明の画像処理装置で管理するアノテーションデータの構成の一例。 本発明の画像処理装置の診断分類対応の画面の一例。 本発明の画像処理装置の電子カルテとの連動を説明する図。

以下、図面を参照しながら本発明の実施の形態を説明する。

［第１の実施形態］
本発明の画像処理装置は、撮像装置と表示装置を備えた画像処理システムにおいて用いることができる。この画像処理システムについて、図１を用いて説明する。

図１は、本発明の画像処理装置を用いた画像処理システムであり、撮像対象となる標本の２次元画像を取得し表示する機能を有するシステムである。この画像処理システムは、撮像装置（顕微鏡装置、またはバーチャルスライドスキャナ）１０１、画像処理装置１０２、表示装置１０３、データサーバ１０４から構成される。撮像装置１０１と画像処理装置１０２との間は、専用もしくは汎用Ｉ／Ｆのケーブル１０５で接続され、画像処理装置１０２と表示装置１０３の間は、汎用のＩ／Ｆのケーブル１０６で接続される。データサーバ１０４と画像処理装置１０２との間は、ネットワーク１０７を介して、汎用Ｉ／ＦのＬＡＮケーブル１０８で接続される。

撮像装置１０１は、２次元の平面方向に位置の異なる複数枚の２次元画像を撮像し、デジタル画像を出力する機能を持つバーチャルスライド装置である。２次元画像の取得にはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の固体撮像素子が用いられる。なお、バーチャルスライド装置の代わりに、通常の光学顕微鏡の接眼部にデジタルカメラを取り付けたデジタル顕微鏡装置により、撮像装置１０１を構成することもできる。

画像処理装置１０２は、撮像装置１０１から取得した複数枚の原画像データから、表示装置１０３に表示するデータを、原画像データをもとにユーザからの要求に応じて生成する機能等を持つ装置である。画像処理装置１０２は、ＣＰＵ（中央演算処理装置）、ＲＡＭ、記憶装置、操作部を含む各種Ｉ／Ｆなどのハードウェア資源を備えた、汎用のコンピュータやワークステーションで構成される。記憶装置は、ハードディスクドライブなどの大容量情報記憶装置であり、後述する各処理を実現するためのプログラムやデータ、ＯＳ（オペレーティングシステム）などが格納されている。上述した各機能は、ＣＰＵが記憶装置からＲＡＭに必要なプログラムおよびデータをロードし、当該プログラムを実行することにより実現されるものである。操作部は、キーボードやマウスなどにより構成され、操作者が各種の指示を入力するために利用される。

表示装置１０３は、画像処理装置１０２が演算処理した結果である観察用画像を表示するディスプレイであり、ＣＲＴや液晶ディスプレイ等により構成される。

データサーバ１０４は、ユーザが標本を診断する際の指針となる診断基準情報（診断基準に関わるデータ）が格納されているサーバである。診断基準情報は病理診断の現状に合わせて、随時、更新される。データサーバ１０４は、その診断基準情報の更新に合わせて、その格納内容を更新する。診断基準情報については図８を用いて後述する。

図１の例では、撮像装置１０１、画像処理装置１０２、表示装置１０３とデータサーバ１０４の４つの装置により撮像システムが構成されているが、本発明の構成はこの構成に限定されるものではない。例えば、表示装置と一体化した画像処理装置を用いてもよいし、画像処理装置の機能を撮像装置に組み込んでもよい。また撮像装置、画像処理装置、表示装置、データサーバの機能を１つの装置で実現することもできる。また逆に、画像処理装置等の機能を分割して複数の装置によって実現してもよい。

図２は、撮像装置１０１の機能構成を示すブロック図である。

撮像装置１０１は、概略、照明ユニット２０１、ステージ２０２、ステージ制御ユニット２０５、結像光学系２０７、撮像ユニット２１０、現像処理ユニット２１９、プレ計測ユニット２２０、メイン制御系２２１、データ出力部２２２から構成される。

照明ユニット２０１は、ステージ２０２上に配置されたスライド２０６に対して均一に光を照射する手段であり、光源、照明光学系、および光源駆動の制御系から構成される。ステージ２０２は、ステージ制御ユニット２０５によって駆動制御され、ＸＹＺの３軸方向への移動が可能である。スライド２０６は、観察対象となる組織の切片や塗抹した細胞をスライドグラス上に貼り付け、封入剤とともにカバーグラスの下に固定した部材である。

ステージ制御ユニット２０５は、駆動制御系２０３とステージ駆動機構２０４から構成される。駆動制御系２０３は、メイン制御系２２１の指示を受け、ステージ２０２の駆動制御を行う。ステージ２０２の移動方向、移動量などは、プレ計測ユニット２２０によって計測した標本の位置情報および厚み情報（距離情報）と、必要に応じてユーザからの指示とに基づいて決定される。ステージ駆動機構２０４は、駆動制御系２０３の指示に従い、ステージ２０２を駆動する。

結像光学系２０７は、スライド２０６の標本の光学像を撮像センサ２０８へ結像するためのレンズ群である。

撮像ユニット２１０は、撮像センサ２０８とアナログフロントエンド（ＡＦＥ）２０９から構成される。撮像センサ２０８は、２次元の光学像を光電変換によって電気的な物理量へ変える１次元もしくは２次元のイメージセンサであり、例えば、ＣＣＤやＣＭＯＳデバイスが用いられる。１次元センサの場合、走査方向へスキャンすることで２次元画像が得られる。撮像センサ２０８からは、光の強度に応じた電圧値をもつ電気信号が出力される。撮像画像としてカラー画像が所望される場合は、例えば、Ｂａｙｅｒ配列のカラーフィルタが取り付けられた単板のイメージセンサを用いればよい。撮像ユニット２１０は、ステージ２０２がＸＹ軸方向に駆動することにより、標本の分割画像を撮像する。

ＡＦＥ２０９は、撮像センサ２０８から出力されたアナログ信号をデジタル信号へ変換する回路である。ＡＦＥ２０９は後述するＨ／Ｖドライバ、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）、アンプ、ＡＤ変換器およびタイミングジェネレータによって構成される。Ｈ／Ｖドライバは、撮像センサ２０８を駆動するための垂直同期信号および水平同期信号を、センサ駆動に必要な電位に変換する。ＣＤＳは、固定パターンのノイズを除去する相関２重サンプリング回路である。アンプは、ＣＤＳでノイズ除去されたアナログ信号のゲインを調整するアナログアンプである。ＡＤ変換器は、アナログ信号をデジタル信号に変換する。撮像装置最終段での出力が８ビットの場合、後段の処理を考慮して、ＡＤ変換器はアナログ信号を１０ビットから１６ビット程度に量子化されたデジタルデータへ変換し、出力する。変換されたセンサ出力データはＲＡＷデータと呼ばれる。ＲＡＷデータは後段の現像処理ユニット２１９で現像処理される。タイミングジェネレータは、撮像センサ２０８のタイミングおよび後段の現像処理ユニット２１９のタイミングを調整する信号を生成する。

撮像センサ２０８としてＣＣＤを用いる場合、上記ＡＦＥ２０９は必須となるが、デジタル出力可能なＣＭＯＳイメージセンサの場合は、上記ＡＦＥ２０９の機能をセンサに内包することになる。また、不図示ではあるが、撮像センサ２０８の制御を行う撮像制御部が存在し、撮像センサ２０８の動作制御や、シャッタースピード、フレームレートやＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）など動作タイミングや制御を合わせて行う。

現像処理ユニット２１９は、黒補正部２１１、ホワイトバランス調整部２１２、デモザイキング処理部２１３、画像合成処理部２１４、フィルタ処理部２１６、γ補正部２１７および圧縮処理部２１８から構成される。黒補正部２１１は、ＲＡＷデータの各画素から、遮光時に得られた黒補正データを減算する処理を行う。ホワイトバランス調整部２１２は、照明ユニット２０１の光の色温度に応じて、ＲＧＢ各色のゲインを調整することによって、望ましい白色を再現する処理を行う。具体的には、黒補正後のＲＡＷデータに対しホワイトバランス補正用データが加算される。単色の画像を取り扱う場合にはホワイトバランス調整処理は不要となる。

デモザイキング処理部２１３は、Ｂａｙｅｒ配列のＲＡＷデータから、ＲＧＢ各色の画像データを生成する処理を行う。デモザイキング処理部２１３は、ＲＡＷデータにおける周辺画素（同色の画素と他色の画素を含む）の値を補間することによって、注目画素のＲＧＢ各色の値を計算する。また、デモザイキング処理部２１３は、欠陥画素の補正処理（補間処理）も実行する。なお、撮像センサ２０８がカラーフィルタを有しておらず、単色の画像が得られている場合、デモザイキング処理は不要となる。

画像合成処理部２１４は、撮像センサ２０８によって撮像範囲を分割して取得した画像データをつなぎ合わせて所望の撮像範囲の大容量画像データを生成する処理を行う。一般に、既存のイメージセンサによって１回の撮像で取得できる撮像範囲より標本の存在範囲が広いため、１枚の２次元画像データを分割された画像データのつなぎ合わせによって生成する。例えば、０．２５μｍの分解能でスライド２０６上の１０ｍｍ角の範囲を撮像すると仮定した場合、一辺の画素数は１０ｍｍ／０．２５μｍの４万画素となり、トータルの画素数はその自乗である１６億画素となる。１０Ｍ（１０００万）の画素数を持つ撮像センサ２０８を用いて１６億画素の画像データを取得するには、１６億／１０００万の１６０個に領域を分割して撮像を行う必要がある。なお、複数の画像データをつなぎ合わせる方法としては、ステージ２０２の位置情報に基づいて位置合わせをしてつなぐ方法や、複数の分割画像の対応する点または線を対応させてつなぐ方法、分割画像データの位置情報に基づいてつなぐ方法などがある。つなぎ合わせの際、０次補間、線形補間、高次補間等の補間処理により滑らかにつなげることができる。本実施の形態では、１枚の大容量画像の生成を想定しているが、画像処理装置１０２の機能として、分割取得された画像を表示データの生成時につなぎ合わせる構成をとってもよい。

フィルタ処理部２１６は、画像に含まれる高周波成分の抑制、ノイズ除去、解像感強調を実現するデジタルフィルタである。

γ補正部２１７は、一般的な表示デバイスの階調表現特性に合わせて、画像に逆特性を付加する処理を実行したり、高輝度部の階調圧縮や暗部処理によって人間の視覚特性に合わせた階調変換を実行したりする。本実施形態では形態観察を目的とした画像取得のため、後段の合成処理や表示処理に適した階調変換が画像データに対して適用される。

圧縮処理部２１８は、大容量の二次元画像データの伝送の効率化および保存する際の容量削減が目的で行われる圧縮の符号化処理である。静止画像の圧縮手法として、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＪＰＥＧを改良、進化させたＪＰＥＧ２０００やＪＰＥＧ ＸＲ等の規格化された符号化方式が広く一般に知られている。

プレ計測ユニット２２０は、スライド２０６上の標本の位置情報、所望の焦点位置までの距離情報、および標本厚みに起因する光量調整用のパラメータを算出するための事前計測を行うユニットである。本計測（撮像画像データの取得）の前にプレ計測ユニット２２０によって情報を取得することで、無駄のない撮像を実施することが可能となる。２次元平面の位置情報取得には、撮像センサ２０８より解像力の低い２次元撮像センサが用いられる。プレ計測ユニット２２０は、取得した画像から標本のＸＹ平面上での位置を把握する。距離情報および厚み情報の取得には、レーザー変位計やシャックハルトマン方式の計測器が用いられる。

メイン制御系２２１は、これまで説明してきた各種ユニットの制御を行う機能である。メイン制御系２２１および現像処理ユニット２１９の制御機能は、ＣＰＵとＲＯＭとＲＡＭを有する制御回路により実現される。すなわち、ＲＯＭ内にプログラムおよびデータが格納されており、ＣＰＵがＲＡＭをワークメモリとして使いプログラムを実行することで、メイン制御系２２１および現像処理ユニット２１９の機能が実現される。ＲＯＭには例えばＥＥＰＲＯＭやフラッシュメモリなどのデバイスが用いられ、ＲＡＭには例えばＤＤＲ３などのＤＲＡＭデバイスが用いられる。なお、現像処理ユニット２１９の機能を専用のハードウェアデバイスとしてＡＳＩＣ化したもので置き換えてもよい。

データ出力部２２２は、現像処理ユニット２１９によって生成されたＲＧＢのカラー画像を画像処理装置１０２に送るためのインターフェースである。撮像装置１０１と画像処理装置１０２とは、光通信のケーブルにより接続される。あるいは、ＵＳＢやＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）等の汎用インターフェースが使用される。

図３は、本発明の画像処理装置１０２の機能構成を示すブロック図である。

画像処理装置１０２は、画像データ取得部３０１、記憶保持部（メモリ）３０２、ユーザ入力情報取得部３０３、アノテーションデータ生成部３０５、診断基準情報取得部３０６、表示データ生成制御部３０９、表示画像データ取得部３１０、表示データ生成部３１１、および表示データ出力部３１２から構成される。

画像データ取得部３０１は、撮像装置１０１で撮像された画像データを取得する。ここでいう画像データは、標本を分割して撮像することにより得られたＲＧＢのカラーの分割画像データ、分割画像データを合成した１枚の２次元画像データの少なくとも何れかである。なお、分割画像データはモノクロの画像データでもよい。

記憶保持部３０２は、画像データ取得部３０１を介して外部装置から取得した画像データを取り込み、記憶、保持する。

ユーザ入力情報取得部３０３は、マウスやキーボード等の操作部を介して、表示位置変更や拡大・縮小表示などの表示画像データの更新指示や、アノテーションの付加等の診断を行う際に用いる表示アプリケーションへの入力情報を取得する。また、ユーザによる診断基準情報取得の指示を取得する。

診断基準情報取得部３０６は、ユーザが診断する際の指針となる診断基準情報をデータサーバ１０４から取得する。データサーバ１０４には最新の診断基準情報が格納されており、ユーザの診断基準情報取得指示により、該当する診断基準情報を取得する。診断基準情報については図８を用いて後述する。

アノテーションデータ生成部３０５は、ユーザ入力情報取得部３０３で得られたアノテーションとして付加されたテキスト入力情報、及び、診断基準情報取得部３０６で得られた診断基準情報をリストとして生成する。リストの構成については図９を用いて後述する。

表示データ生成制御部３０９は、ユーザ入力情報取得部３０３で取得したユーザからの指示に従い表示データの生成を制御する表示制御手段に相当する。表示データは主に、画像データとアノテーション表示データからなる。

表示画像データ取得部３１０は、表示データ生成制御部３０８の制御に従い、表示に必要な画像データを記憶保持部３０２から取得する。

表示データ生成部３１１は、アノテーションデータ生成部３０５で生成されたアノテーションデータリストと、表示画像データ取得部３１０によって取得された画像データを用いて、表示装置１０３で表示するための表示データを生成する。

表示データ出力部３１２は、表示データ生成部３１１で生成された表示データを外部装置である表示装置１０３へ出力する。

図４は、本発明の画像処理装置のハードウェア構成を示すブロック図である。情報処理を行う装置として、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）が用いられる。ＰＣは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４０１、ＲＡＭ（Ｒａｎｄａｍ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）４０２、記憶装置４０３、データ入出力Ｉ／Ｆ４０５、及び、これらを互いに接続する内部バス４０４を備える。

ＣＰＵ４０１は、必要に応じてＲＡＭ４０２等に適宜アクセスし、各種演算処理を行いながらＰＣの各ブロック全体を統括的に制御する。ＲＡＭ４０２は、ＣＰＵ４０１の作業用領域等として用いられ、ＯＳ、実行中の各種プログラム、表示用データの生成など処理の対象となる各種データを一時的に保持する。記憶装置４０３は、ＣＰＵ４０１に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている情報を記録し、読み出す補助記憶装置である。ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）等の磁気ディスクドライブもしくはＦｌａｓｈメモリを用いた半導体デバイスが用いられる。

データ入出力Ｉ／Ｆ４０５には、ＬＡＮ Ｉ／Ｆ４０６を介してデータサーバ１０４が、グラフィクスボードを介して表示装置１０３が、外部装置Ｉ／Ｆを介して撮像装置１０１が、操作Ｉ／Ｆ４０９を介してキーボード４１０やマウス４１１が、接続される。

表示装置１０３は、例えば液晶、ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）等を用いた表示デバイスである。当該表示装置１０３は、外部装置として接続される形態を想定しているが、表示装置と一体化したＰＣを想定してもよい。例えばノートＰＣがこれに該当する。

操作Ｉ／Ｆ４０９との接続デバイスとしてキーボード４１０やマウス４１１等のポインティングデバイスを想定しているが、タッチパネル等、表示装置１０３の画面が直接入力デバイスとなる構成を取ることも可能である。その場合、タッチパネルは表示装置１０３と一体となり得る。

本発明の画像処理装置におけるアノテーション付加、および提示の流れを図５のフローチャートを用いて説明する。

ステップＳ５０１では、表示装置に表示する画像データを記憶保持部３０２より取得する。

ステップＳ５０２では、取得した画像データを基に表示装置１０３で表示するための表示データを生成する。生成された表示データは、表示装置１０３に表示される。

ステップＳ５０３では、ユーザからの指示によって表示されている画面の更新が為されたか否かを判断する。具体的には、表示されている画面外側に存在する画像データを表示する表示位置の変更などがある。画面更新が必要な場合はステップＳ５０１へ戻り、以下画像データの取得、表示データの生成による画面更新の処理を行う。画面更新の要求がない場合には、ステップＳ５０４へ進む。

ステップＳ５０４では、ユーザからアノテーション付加の指示、要求を受けたかどうかを判断する。アノテーション付加の指示が行われた場合は、ステップＳ５０５へ進む。アノテーションの付加の指示が行われなかった場合は、アノテーション付加の処理をスキップして、ステップＳ５０６へ進む。

ステップＳ５０５では、アノテーションの付加に伴う各種処理を行う。処理内容としては、キーボード４１０等で入力されたアノテーション内容の格納の他、本実施例の特徴である診断基準情報とのリンクや異なる診断基準に従ったアノテーション付加時の警告表示が挙げられる。詳細については図６を用いて後述する。

ステップＳ５０６では、付加されたアノテーションの提示要求があるか否かを判断する。ユーザからアノテーションを提示する要求がある場合にはステップＳ５０７へ進む。ない場合は、ステップＳ５０３へ戻り、以降の処理を繰り返す。なお、フローの説明上時系列に説明を行っているが、表示位置の変更である画面更新要求の受付、アノテーション付加およびアノテーション提示は、同時、シーケンシャル等を含む何れのタイミングによって行われてもよい。

ステップＳ５０７では、提示の要求を受けて、ユーザへアノテーションを効果的に提示するための処理を行う。詳細については図７（ｃ）を用いて後述する。

以上説明した処理フローに従って、アノテーションの付加、および、アノテーションの提示を行う。

図６は、図５のステップＳ５０５で示したアノテーションを付加する処理の詳細な流れを示すフローチャートである。図６では、アノテーション内容と診断基準情報に基づいてアノテーションデータを生成する流れについて説明する。

ステップＳ６０１では、診断基準の変更があったか否かを判断する。診断基準の変更が行われていればＳ６０２へ、診断基準の変更が行われていない場合は処理をスキップしてＳ６０３へそれぞれ進む。診断基準の変更が行われていない状況としては、初めてアノテーションを付加する際に、診断基準の初期設定から変更を行う必要がない場合などがある。診断基準の変更を行う状況としては、ユーザが古い診断基準で診断された標本を再度見直す場合や、研究用に診断基準の異なる他国の標本を確認する場合などがある。診断基準とは、臓器ごとの診断分類をまとめたものであり、国や地域ごとの実情に沿った形態となっている。診断分類は臓器ごとの病期（ステージ）を示すものである。例えば、胃癌であれば、ある地域の診断基準である癌分類規約αで規定されている診断分類と別の地域の診断基準である癌分類規約βで規定されている診断分類は異なることがある。診断基準・診断分類については、図８を用いて後述する。

ステップＳ６０２では、診断基準の設定を行う。ユーザの診断地域、所属するコミュニティーの推奨など、ユーザの実情に合わせて診断基準を設定する。

ステップＳ６０３では、同一標本に対して診断基準の異なるアノテーション付加か否かを判断する。診断基準が異なるアノテーション付加を行う場合はＳ６０４へ、診断基準が同一であるアノテーション付加が行われる場合は処理をスキップしてＳ６０５へそれぞれ進む。

ステップＳ６０４では、同一標本に対して診断基準の異なるアノテーション付加を行うことに対する警告の表示を行う。（第１の診断基準に従ったアノテーションが付加されているバーチャルスライド画像に対して、第１の診断基準と異なる第２の診断基準に従ったアノテーションを入力する場合、警告を表示装置に表示する。）警告表示については図８（ｃ）を用いて後述する。

ステップＳ６０５では、診断基準情報を取得する。データサーバ１０４には、病理診断の現状に合わせて更新された診断基準情報が格納されており、画像処理装置１０２は、Ｓ６０２でユーザが設定した診断基準をデータサーバ１０４から取得する。

ステップＳ６０６では、診断基準に従った診断分類の表示を行う。Ｓ６０３で同一標本に対して診断基準の異なるアノテーション付加と判断された場合には、ユーザの指示により診断分類の対応表示も行う。（第１の診断基準に従ったアノテーションが付加されているバーチャルスライド画像に対して、第１の診断基準と異なる第２の診断基準に従ったアノテーションを入力する場合、第１の診断基準の診断分類と第２の診断基準の診断分類との対応を表示装置に表示する。）診断分類対応表示については図１０を用いて後述する。

ステップＳ６０７では、キーボード４１０によって入力されたアノテーションの内容を取得する。取得されたテキスト情報はアノテーション提示の際に使用する。

ステップＳ６０８では、Ｓ６０２で設定した診断基準、Ｓ６０７で取得したアノテーションとして入力されたテキスト情報、を基にアノテーションデータを生成する。

ステップＳ６０９では、ステップＳ６０８で生成されたアノテーションデータに基づき、アノテーションの付加が初めて行われた場合はアノテーションデータリストの新規作成を、既にリストが存在している場合は、そのリストの値、内容を更新する。なお、このリストに格納する情報は、診断基準情報、アノテーションとして入力されたテキスト情報である。アノテーションデータリストの構成については図９を用いて後述する。

以上説明した処理フローに従って、アノテーションの付加、アノテーションデータの生成を行う。

図７は、本発明の画像処理装置１０２で生成した表示データを表示装置１０３に表示した場合の表示画面の一例である。図７では、アノテーション付加時の表示画面、アノテーション提示時の表示画面について説明する。

図７（ａ）は、表示装置１０３の画面レイアウトの基本構成である。全体ウィンドウ７０１内には、表示や操作のステータスと各種画像の情報を示す情報エリア７０２、観察対象の標本サムネイル画像７０３、および、詳細観察用の標本画像データの表示領域７０５が表示されている。標本サムネイル画像７０３中には、表示領域７０５に表示されている詳細観察エリアを示す詳細表示領域７０４が表示されている。表示領域７０５には、表示領域７０５の表示倍率７０６が表示されている。各領域、画像は、シングルドキュメントインターフェースによって全体ウィンドウ７０１の表示領域が機能領域毎に分割される形態でも、マルチドキュメントインターフェースによって各々の領域が別ウィンドウで構成される形態でも構わない。サムネイル画像７０３は、標本の全体像における標本画像データの表示領域７０５の位置や大きさを表示する。位置や大きさは、詳細表示領域７０４の枠によって把握することができる。詳細表示領域７０４の設定は、例えば、タッチパネルまたはマウス４１１等の外部接続された入力装置からのユーザ指示による直接の設定でも、表示されている画像に対する表示領域の移動や拡大・縮小操作によっても設定、更新することができる。標本画像データの表示領域７０５には、詳細観察用の標本画像データが表示される。ここでは、ユーザからの操作指示によって、表示領域の移動（標本全体画像の中から観察の対象となる部分領域の選択、移動）や表示倍率の変更による画像の拡大・縮小像が表示される。

図７（ｂ）は、アノテーションを付加する際の操作画面の例である。表示領域７０５の画像の中から、ユーザは関心領域または位置を選択し、アノテーション情報を付加、入力する。アノテーションは、マウスポインタによる位置の指定とアノテーション入力モードへの移行、およびキーボード４１０によるテキスト入力によって付加される。ここでは、マウスカーソルが７０７の位置で確定され、アノテーション情報を入力するウィンドウ７０８が開いた状態を示している。予め設定してある診断基準がテキストボックス７０９に、自動割り付けされるアノテーションＩＤがテキストボックス７１０にそれぞれ表示される。アノテーション内容はキーボード４１０等の入力機器によって必要なコメントがテキストボックス７１１に入力される。なお、その際、アノテーション付加のテキスト情報と診断基準は組となって画像処理装置１０２が取得する。

図７（ｃ）は、アノテーションを提示する際の画面表示の例である。ここでは１箇所２つのアノテーションが付加された場合の例を示している。７１２はアノテーションが付加されたポイントを、７１３、７１４はアノテーションの内容をバーチャルスライド画像上に表示している。７１３と７１４はそれぞれ異なる診断基準で付加されたアノテーションである。本実施形態では、異なる診断基準の情報毎にアノテーションの内容の表示形態を変える。例えば、７１３と７１４とで、吹き出し枠の色、線種、または、形状を変えたり、テキストの色、輝度、または、フォントを変えたり、透過率または背景色を変えたりしている。その他、いずれかを点滅表示または強調表示しても良い。ユーザのアノテーション利用形態として、診断の根拠となった解説を入力することが考えられる。そのため、異なる診断基準に対しては、同一箇所に対するアノテーションであったとしても、その内容が異なる可能性がある。そのため、異なる診断基準であることを注意喚起するために、それぞれのアノテーションに対する表現方法を変えて表示する。

図８は、診断基準設定の画面、診断分類の画面、警告の画面の一例を説明する図である。

図８（ａ）は、診断基準設定の画面の一例である。例えば、全体ウィンドウ７０１におけるメニュー操作により診断基準の変更・設定ができるものとする。診断基準としては、国際規約・国際指標である癌分類国際規約Ｉ、癌分類国際規約ＩＩ、日本における規約・指標である癌分類日本規約Ｉ、癌分類日本指標Ｉ、米国における規約・指標である癌分類米国指標Ｉ、癌分類米国指標ＩＩが示されている。癌分類日本規約Ｉはさらに臓器ごとに、胃癌、大腸癌、肝癌、肺癌、乳癌、食道癌、甲状腺癌、膀胱癌、前立腺癌などに分類されている。メニュー操作により診断基準８０１、規約・指標の一覧８０２、臓器ごとの規約・指標の一覧８０３がそれぞれ提示される。ここではユーザが、メニュー操作により診断基準、癌分類日本規約Ｉ、胃癌をそれぞれ選択した場合を示している。

図８（ｂ）は、診断分類の画面の一例である。癌分類日本規約Ｉにおける胃癌の診断分類８０４は、大きくは２つ深達度と進行度からなっている。深達度は、胃癌が胃壁をどこまで超えているかを示す指標であり、Ａ ＩからＡ ＩＶの４段階に分類される。Ａ Ｉは胃癌がいの表面にとどまっている、Ａ ＩＶは胃癌の浸潤が他の臓器まで及ぶ、などの内容である。進行度は、胃癌がどこまで転移しているかを示し指標であり、Ｂ ＩからＢ Ｖの５段階に分類される。Ｂ Ｉは胃癌の転移を認めない、Ｂ Ｖはリンパ節転移がある、などの内容である。癌分類日本規約Ｉに従った胃癌の診断では、標本画像などの情報から深達度と進行度の診断を行う。診断分類８０４は、情報エリア７０２、若しくは、別ウィンドウに表示されるものであり、必要に応じてユーザが表示・非表示を操作できる。

図８（ａ）、（ｂ）で示した診断基準・診断分類は、随時更新されるものであり、国や地域によっても統一されていない。ユーザが古い診断基準で診断された標本を再度見直す場合や、研究用に診断基準の異なる他国の標本を確認する場合に、診断根拠として記載されたアノテーション内容が、どの診断基準に依るものかを簡単に判別できるようにすることが本発明の趣旨である。

図８（ｃ）は警告の画面の一例である。標本に対して診断基準の異なるアノテーション付加を行う際に表示される警告画面である。ある標本に対して、異なる診断基準でアノテーションが付加されることをユーザに警告するものであり、ユーザが意図しない異なる診断基準によるアノテーション付加を防止することができる。また、ユーザが意図して異なる診断基準によるアノテーション付加をする場合に、ユーザに明確にその意図を留意させることができる。

図９は、本発明の画像処理装置１０２で生成したアノテーションデータリストの構成を示している。

図９は、アノテーションデータのリストである。リストには図示されるようにアノテーションを付加した順番でＩＤ番号が割り振られ、アノテーション内容、診断基準を合わせて格納している。グループＩＤは同一診断基準に対するアノテーションであることを示す情報である。ＩＤ１とＩＤ２は同一診断基準に対するアノテーションであるため、同一のグループＩＤとなるようにグループ化される。アノテーションデータリストに格納する内容の主なものは示したとおりであるが、その他の情報を格納する構成にしてもよい。また、ユーザが独自に定義した項目をリストへ追加できる構成をとってもよい。

グループＩＤを含めたアノテーションデータリスト構成にすることにより、アノテーションを提示する際の表現方法をグループＩＤごとに変えて表示することができる。

図１０は、診断分類対応の画面の一例を説明する図である。ある標本画像に対して、異なる診断基準でアノテーションを付加する場合や、異なる診断基準によるアノテーションを確認する場合に、各診断基準の対応関係をユーザに提示するものである。

診断分類対応１００１では、癌分類日本規約Ｉの胃癌における進行度（１００２）と、癌分類国際規約Ｉの胃癌における進行度（１００３）の対応を示している。１００２はＢ ＩからＢ Ｖの５段階に分類されているが、一方、１００３はＣ ＩからＣ Ｖの８段階に分類されている。Ｂ ＩＩがＣ ＩＩ−ａとＣ ＩＩ−ｂにさらに細かく分類され、同様に、Ｂ ＩＩＩがＣ ＩＩＩ−ａとＣ ＩＩＩ−ｂに、Ｂ ＩＶがＣ ＩＶ−ａとＣ ＩＶ−ｂに細かく分類されている。診断分類対応１００１は、情報エリア７０２、若しくは、別ウィンドウに表示されるものであり、必要に応じてユーザが表示・非表示を操作できる。

診断分類対応の画面は個の例に限定されるものではなく、明確に対応関係が示せない２つの診断基準に対しては、その旨を注意喚起するテキスト文章を表示しても良い。また、特に注意すべき診断基準の差異だけを抽出したテキスト文章の表示でも良い。

ユーザが異なる診断基準で診断を行う場合や、ユーザが異なる診断基準で診断された標本を確認する場合などで、ユーザは容易にその対応関係を把握することができる。

図１１は、本発明の画像処理装置１０２の電子カルテとの連動を説明する図である。図７では、標本画像を提示する表示装置１０３に、アノテーションの付加やアノテーションの提示を表示する例を説明した。一方、図１１では、表示装置１０３に加えて診断を記入する電子カルテ情報を提示する表示装置１１０１を備え、表示装置１０３に表示するアノテーション情報と表示装置１１０１に表示する電子カルテ情報（所見情報など）とをリンクする例を説明する。図７と同一符号のものは同じ内容であり、説明を省略する。

図１１（ａ）は、標本画像を提示する表示装置１０３と、電子カルテを提示する表示装置１１０１からなるユーザの診断環境を示している。１１０１は診断を記入する電子カルテを提示する表示装置であり、電子カルテの表示領域１１０２から構成されている。ユーザは標本画像の病変箇所１つ１つを観察し、それらの情報を統合して電子カルテに診断を記入する。標本画像の病変箇所１つ１つの観察から得られた情報のメモがアノテーションの付加に相当する。

図１１（ｂ）は、電子カルテ１１０３の１例を示している。電子カルテ１１０３は、患者ＩＤ、診断日時、診断者、診断基準、診断分類、所見１１０４から構成される。所見１１０４は全体所見を記入する欄の他に、画像処理装置１０２で処理したアノテーション情報とリンクした欄があり、アノテーションとして記載した内容を電子カルテで確認することができる。これにより、診断所見として記載したテキスト情報１１０４と、その診断根拠に当たるアノテーションのテキスト情報１１０５、それらと標本画像との対応が容易に確認できるようになる。図１１（ｂ）では、診断基準として癌分類日本規約Ｉの胃癌を選択した場合であるが、診断基準のプルダウンから別の診断基準を選ぶことで、その診断基準に対する所見を容易に確認することができる。更に、電子カルテでのこの一連の動作と図７（ｃ）で説明したアノテーションの提示の動作を連動させることで、異なる診断基準に対する診断所見のテキスト情報１１０４と標本画像との対応が容易に確認できる。

以上の説明により、電子カルテのシステムと連動させることで、異なる診断基準に対する診断所見のテキスト情報と標本画像との対応が容易に確認できる。

（本実施形態の利点）
アノテーションを付加する際に、アノテーション内容自体の格納の他、診断基準情報を合わせて格納してその対応関係をリストとして用意することで、アノテーションを提示する際に、診断基準の識別を容易にすることが可能となる。

更に、データベースの内容を更新することで診断基準の更新に容易に対応することができる。

更に、異なる診断基準でアノテーションが付加されることをユーザに警告することで、ユーザが意図しない異なる診断基準によるアノテーション付加を防止することができる。また、ユーザが意図して異なる診断基準によるアノテーション付加をする場合に、ユーザに明確にその意図を留意させることができる。

更に、診断分類対応を提示することで、ユーザが異なる診断基準で診断を行う場合や、ユーザが異なる診断基準で診断された標本を確認する場合などで、ユーザは容易にその対応関係を把握することができる。

［その他の実施形態］
本発明の目的は、以下によって達成されてもよい。すなわち、前述した実施形態の機能の全部または一部を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが、読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが、実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も本発明に含まれ得る。

更に、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれ得る。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

Claims (8)

1. バーチャルスライド画像のデータを取得するデータ取得手段と、
   前記バーチャルスライド画像と該バーチャルスライド画像に付加された複数のアノテーションとを表示装置に表示する表示制御手段と、を備え、
   前記複数のアノテーションのデータは、前記複数のアノテーションのそれぞれの診断基準の情報を含み、
   前記表示制御手段は、前記複数のアノテーションのうち一部を前記診断基準の情報に基づいてグループ化して、前記診断基準の情報毎に前記複数のアノテーションの表示形態を異ならせて、前記複数のアノテーションを前記バーチャルスライド画像上に表示する
   ことを特徴とする画像処理装置。
2. 診断基準情報を取得する診断基準情報取得手段を更に備え、
   診断基準情報取得手段は、データベースから前記診断基準情報を読み込んで取得する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 表示制御手段は、第１の診断基準に従ったアノテーションが付加されているバーチャルスライド画像に対して、第１の診断基準とは異なる第２の診断基準に従ったアノテーションを入力するときに、警告を表示装置に表示する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 表示制御手段は、第１の診断基準に従ったアノテーションが付加されているバーチャルスライド画像に対して、第１の診断基準とは異なる第２の診断基準に従ったアノテーションを入力するときに、第１の診断基準に従った診断分類と第２の診断基準に従った診断分類との対応を表示装置に表示する
   ことを特徴とする請求項１に記載の画像処理装置。
5. バーチャルスライド画像を処理する画像処理装置と、前記バーチャルスライド画像を表示する表示装置と、を備える画像処理システムであって、
   前記バーチャルスライド画像のデータを取得するデータ取得手段と、
   前記バーチャルスライド画像と該バーチャルスライド画像に付加された複数のアノテーションとを前記表示装置に表示する表示制御手段と、を備え、
   前記複数のアノテーションのデータは、前記複数のアノテーションのそれぞれの診断基準の情報を含み、
   前記表示制御手段は、前記複数のアノテーションのうち一部を前記診断基準の情報に基づいてグループ化して、前記診断基準の情報毎に前記複数のアノテーションの表示形態を異ならせて、前記複数のアノテーションを前記バーチャルスライド画像上に表示する
   ことを特徴とする画像処理システム。
6. バーチャルスライド画像を処理する画像処理装置と、前記バーチャルスライド画像を表示する第１の表示装置と、電子カルテ情報を表示する第２の表示装置を備える画像処理システムであって、
   前記バーチャルスライド画像のデータと前記バーチャルスライド画像に付加された複数のアノテーションのデータとを取得するデータ取得手段と、
   前記バーチャルスライド画像を前記第１の表示装置に表示する第１の表示制御手段と、
   前記電子カルテ情報を前記第２の表示装置に表示する第２の表示制御手段と、を備え、
   前記複数のアノテーションのデータは、前記複数のアノテーションのそれぞれの診断基準の情報を含み、
   前記第１の表示制御手段は、前記複数のアノテーションのうち一部を前記診断基準の情報に基づいてグループ化して、前記診断基準の情報毎に前記複数のアノテーションの表示形態を異ならせて、前記複数のアノテーションを前記バーチャルスライド画像上に表示し、
   前記第２の表示制御手段は、前記複数のアノテーションを前記電子カルテ情報として表示し、
   前記バーチャルスライド画像上に表示する前記複数のアノテーションと前記電子カルテ情報として表示する前記複数のアノテーションはリンクしている
   ことを特徴とする画像処理システム。
7. コンピュータが、バーチャルスライド画像のデータを取得するデータ取得ステップと、
   コンピュータが、前記バーチャルスライド画像と該バーチャルスライド画像に付加された複数のアノテーションとを表示装置に表示する表示ステップと、を有し、
   前記複数のアノテーションのデータは、前記複数のアノテーションのそれぞれの診断基準の情報を含み、
   前記表示ステップでは、前記複数のアノテーションのうち一部を前記診断基準の情報に基づいてグループ化して、前記診断基準の情報毎に前記複数のアノテーションの表示形態を異ならせて、前記複数のアノテーションを前記バーチャルスライド画像上に表示する
   ことを特徴とする画像処理方法。
8. 請求項７に記載の画像処理方法の各ステップをコンピュータに実行させる
   ことを特徴とするプログラム。

Images