JP2010097482A - 画像表示システム、画像情報管理装置、表示制御装置、画像表示制御方法 - Google Patents

Abstract

【課題】マルチスペクトル画像に基づいてスペクトル解析された所望のカラー画像を迅速にユーザ等に提示することが可能な画像表示システムを提供する。
【解決手段】表示装置３０による表示用カラー画像情報の表示結果に応じたスペクトル解析を指示するスペクトル解析指示情報で指示される画像情報を、サーバ装置１０が管理するスペクトル解析用画像情報を参照して、サーバ装置１０からクライアント装置２０に送信し、このサーバ装置１０からクライアント装置２０に送信されてくる画像情報に応じたカラー画像を表示装３０置に表示するように制御する。
【選択図】 図１

Description

本発明は、Ｎ(Ｎは３より大きい自然数）バンドのスペクトル成分からなる画像情報（以下、マルチスペクトル画像情報という。）から得られる３原色のスペクトル成分からなる表示用カラー画像情報、及び、マルチスペクトル画像に基づくスペクトル解析結果により得られるカラー画像を表示する画像表示システム、この画像表示システムに組み込まれる画像情報管理装置、表示制御装置、及び、画像表示制御方法に関するものである。

サーバに高精細で巨大な画像を特殊な形式で保存しておくことにより、クライアント側で観察領域や倍率をユーザからの指示に応じて変更しながら表示する巨大静止画閲覧用の画像情報の検索表示システムがある。

一方、リモートセンシング、美術品デジタルアーカイブ、医用などの幅広い分野において、Ｎ（Ｎは３より大きい自然数）バンドのスペクトル成分からなる画像情報（以下、マルチスペクトル画像情報という。）に基づく画像解析の技術が古くから利用されている。マルチスペクトル画像情報を用いることで、特定の対象の分類や判別、領域抽出などの画像処理を高精度に行うことが可能となる（特許文献１、２）。しかし、既存の巨大静止画閲覧用の画像情報の検索表示システムは、マルチスペクトル画像情報に対応しておらず、また、既存の巨大静止画閲覧用の画像情報の検索表示システムにおいて表示されるカラー画像を単にスペクトル画像に置き換えただけでは、以下の理由によりユーザからの指示に応じた解析結果を迅速に提示することができない。

第１の理由としては、マルチスペクトル画像はカラー画像としてそのまま表示することはできないため、表示するためには表示用カラー画像に変換する処理が必要となり、処理速度の観点から、観察領域や倍率等を変更しながら表示することが難しいからである。

第２の理由としては、マルチスペクトル画像情報の画像容量はカラー画像情報と比較して大きいため、伝送容量の観点から、観察領域や倍率等を変更しながら表示することが難しいからである。

このような問題点に対して、Ｎ（Ｎは３より大きい自然数）バンドのスペクトル成分からなるマルチスペクトル画像情報の圧縮符号化技術として、マルチスペクトル画像情報を３原色の色情報に対応する３バンド画像情報とそれ以外のスペクトル情報に対応する（Ｎ−３）バンドの画像情報とから構成されるＮバンドの画像情報へ変換して、圧縮符号化する技術が提案されている（非特許文献１、２）。

上述した非特許文献１、２に係る手法では、色情報に対応する３バンド画像情報に多くのビットを割り当てることで、色情報の劣化を小さく抑えることができるとともに、復号化したＮバンド画像情報のうち３バンド画像情報のみを利用した場合に、従来のカラー画像を表示する画像表示システムとの互換性を保つことができる。

米国特許第２００７０１５３３７０号明細書 米国特許第２００８０２１２８６６号明細書 S. Yu et al., "Multispectral image compression for improvement of colorimetric and spectral reproducibility by nonlinear spectral transform," Optical Review, 13, 346-356 (2006). Keusen, "Multispectral color system with an encoding format compatible with the conventional tristimulus model," Journal of Imaging Science and Technology, 40, 510- (1996).

しかしながら、上述した非特許文献１、２に係る方法では、マルチスペクトル画像を表示する際に、既存のカラー画像を表示する画像表示システムとの互換性を高めることはできるが、符号化された画像データのサイズは、オリジナルのＮバンド画像情報を符号化したデータのサイズと大きな違いがない。したがって、この手法により実現される画像表示システムでは、伝送容量の観点から、表示装置側で必要に応じたマルチスペクトル画像情報の解析結果を示すカラー画像を、画像情報管理装置にアクセスして迅速にユーザ等に提示することができなかった。

本発明は、このような実状に鑑みて提案されたものであり、例えば、巨大なマルチスペクトル画像をカラー画像として観察する際に、所望の観察領域や倍率のカラー画像を迅速にユーザー等に提示することが可能であり、かつ、ユーザ等の要求によりマルチスペクトル画像に基づいてスペクトル解析された所望のカラー画像も迅速に提示することが可能な画像表示システム、この画像表示システムに組み込まれる画像情報管理装置、表示制御装置、及び、画像表示制御方法を提供することを目的とする。

上述した課題を解決するための手段として、本発明に係る画像表示システムは、Ｎ（Ｎは３より大きい自然数）バンドのスペクトル成分の画像情報を解析するためのスペクトル解析用画像情報と、Ｎバンドのスペクトル成分からなる画像情報から得られる３原色のスペクトル成分からなる表示用カラー画像情報とを対応付けて記憶する画像情報記憶部と、画像情報記憶部が記憶している画像情報を送信する第１の通信部と、第１の通信部を制御する第１の制御部とを有する画像情報管理装置と、画像情報管理装置から送信されてくる画像情報を受信する第２の通信部と、第２の通信部により受信した画像情報に応じたカラー画像を表示装置に表示する表示制御部と、表示装置による表示結果に応じたスペクトル解析を指示するスペクトル解析指示情報を入力する指示情報入力部と、表示装置による表示結果及び指示情報入力部により入力されたスペクトル解析指示情報に基づいて第２の通信部を制御する第２の制御部とを有する表示制御装置とを備え、第１の制御部は、画像情報記憶部が記憶している表示用カラー画像情報を表示制御装置に送信し、その後、当該表示制御装置から送信されてくるスペクトル画像解析指示情報を受信して、当該スペクトル画像解析指示情報で指示される画像情報を画像情報記憶部が記憶しているスペクトル解析用画像情報を参照して当該表示制御装置に送信するように、第１の通信部を制御し、第２の制御部は、指示情報入力部に入力されたスペクトル解析指示情報を画像情報管理装置に送信し、その後、当該画像情報管理装置から送信されてくる当該スペクトル解析指示情報で指示される画像情報を受信するように、第２の通信部を制御し、表示制御部は、第２の通信部により受信したスペクトル画像解析指示情報で指示される画像情報に応じたカラー画像を表示装置に表示する。

また、本発明に係る画像情報管理装置は、Ｎ（Ｎは３より大きい自然数）バンドのスペクトル成分の画像情報を解析するためのスペクトル解析用画像情報と、Ｎバンドのスペクトル成分からなる画像情報から得られる３原色のスペクトル成分からなる表示用カラー画像情報と対応付けて記憶する画像情報記憶部と、画像情報記憶部が記憶している画像情報に応じたカラー画像を表示する表示装置の表示制御を行う表示制御装置に送信する通信部と、通信部を制御する制御部とを備え、制御部は、表示制御装置による画像表示に応じたスペクトル解析を指示するスペクトル解析指示情報を表示制御装置から受信し、当該スペクトル画像解析指示情報で指示される画像情報を、画像情報記憶部が記憶しているスペクトル画像解析用画像情報を参照して表示制御装置に送信するように通信部を制御する。

また、本発明に係る表示制御装置は、Ｎ（Ｎは３より大きい自然数）バンドのスペクトル成分の画像情報を解析するためのスペクトル解析用画像情報と、Ｎバンドのスペクトル成分からなる画像情報から得られる３原色のスペクトル成分からなる表示用カラー画像情報とを対応付けて管理する画像情報管理装置から送信されてくる画像情報を受信する通信部と、通信部により受信した画像情報に応じたカラー画像を表示装置に表示する表示制御部と、表示装置による表示結果に応じたスペクトル解析を指示するスペクトル解析指示情報を入力する指示情報入力部と、通信部を制御する制御部とを備え、制御部は、指示情報入力部に入力されたスペクトル解析指示情報を画像情報管理装置に送信し、その後、当該画像情報管理装置から送信されてくる当該スペクトル解析指示情報で指示される画像情報を受信するように、通信部を制御し、表示制御部は、通信部により受信した画像情報に応じた表示画像を表示装置に表示する。

また、本発明にかかる画像表示制御方法は、Ｎ（Ｎは３より大きい自然数）バンドのスペクトル成分の画像情報を解析するためのスペクトル解析用画像情報と、Ｎバンドのスペクトル成分からなる画像情報から得られる３原色のスペクトル成分からなる表示用カラー画像情報とを対応付けて管理する画像情報管理装置から、表示用カラー画像情報を表示制御装置に送信する第１の送信制御ステップと、第１の送信制御ステップにより送信され、表示制御装置が受信した表示用カラー画像情報の画像を表示装置に表示する第１の表示制御ステップと、第１の表示制御ステップによる表示結果に応じたスペクトル解析を指示するスペクトル解析指示情報を入力する指示情報入力ステップと、指示情報入力ステップにより入力されたスペクトル解析指示情報を、表示制御装置から画像情報管理装置に送信する第２の送信制御ステップと、第２の送信制御ステップにより、画像情報管理装置が管理するスペクトル解析用画像情報を参照して、表示制御装置から送信されてくるスペクトル解析指示情報により指示される画像情報を、当該画像情報管理装置から当該表示制御装置に送信する第３の送信制御ステップと、第３の送信制御ステップにより、画像情報管理装置から表示制御装置に送信されてくる画像情報に応じた表示画像を表示装置に表示する第２の表示制御ステップとを有する。

本発明は、表示装置による表示結果に応じたスペクトル解析指示情報で指示される画像情報を、画像情報管理装置が管理するスペクトル解析用画像情報を参照して、当該画像情報管理装置から当該表示制御装置に送信し、この画像情報管理装置から表示制御装置に送信されてくる画像情報に応じた表示画像を表示装置に表示するように制御する。このようにして、本発明では、画像情報管理装置で管理されている画像情報のうち、スペクトル解析指示情報により指示された画像情報のみを画像情報管理装置から表示制御装置に送信することによって、画像情報の伝送量の低減化を実現することができる。

したがって、本発明は、例えば、巨大なマルチスペクトル画像をカラー画像として観察する際に、所望の観察領域や倍率のカラー画像を迅速にユーザー等に提示することが可能であり、かつ、ユーザ等の要求によりマルチスペクトル画像に基づいてスペクトル解析された所望のカラー画像も迅速に提示することができる。

本発明が適用された画像表示システムは、Ｎ(Ｎは３より大きい自然数）バンドのスペクトル成分からなる画像情報（以下、マルチスペクトル画像情報という。）から得られる３原色のスペクトル成分からなる表示用カラー画像情報、及び、マルチスペクトル画像に基づくスペクトル解析結果により得られるカラー画像を表示するものである。本実施の形態では、図１に示すような画像表示システム１を用いて、本発明を実施するための形態について説明する。

画像表示システム１は、図１に示すように、画像情報を管理する管理装置として機能するサーバ装置１０と、サーバ装置１０とインターネットなどの電気通信回線を介して接続されるクライアント装置２０と、クライアント装置２０で処理されたカラー画像を表示する表示装置３０とから構成される。

サーバ装置１０は、例えば、ハードディスク等の大容量記憶装置と、ＣＰＵと、ＲＡＭと、ＲＯＭとを備えるコンピュータであって、マルチスペクトル画像情報を管理するため、次のような機能を有する。すなわち、サーバ装置１０は、画像情報を記憶する画像情報記憶部１１と、画像情報記憶部１１に記憶されている画像情報に対して画像処理を施す画像処理部１２と、画像処理部１２のメインメモリとして機能するフレームメモリ１３と、クライアント装置２０との間で通信を行う通信部１４と、これら各部を制御する制御部１５とを備える。ここで、マルチスペクトル画像情報は、例えば複数の撮像素子を用いることにより、同一の被写体に対してＮバンドのスペクトル成分を受光して得られた画像情報である。

画像情報記憶部１１は、マルチスペクトル画像情報を解析するためのスペクトル解析用画像情報と、マルチスペクトル画像情報から得られる３原色のスペクトル成分からなる表示用カラー画像情報とを対応付けて記憶する。具体的に、画像情報記憶部１１では、図２に示すように、ｘｙｚ軸の三次元直交座標系において、被写体の観測位置をｘｙ座標系で、倍率をｚ軸方向でそれぞれ規定して、スペクトル解析用画像情報が記憶される第１の記憶領域１１ａと、表示用カラー画像情報が記憶される第２の記憶領域１１ｂとを対応付けて記憶する。すなわち、画像情報記憶部１１では、観測位置と倍率とが、図２中の矢印Ａで示すように、第１の記憶領域１１ａと第２の記憶領域１１ｂとでお互い対応付けて管理される。

画像処理部１２は、制御部１５からの制御命令に従って、画像情報記憶部１１に記憶されている画像情報を読み出して、読み出した画像情報に対して、フレームメモリ１３を用いて具体的には後述するような画像処理を施す。また、画像処理部１２は、画像処理を施した画像情報を通信部１４に供給する。

通信部１４は、画像処理部１２により画像処理が施された画像情報をクライアント装置２０に送信する処理を含め、制御部１５からの制御命令に従ってクライアント装置２０との間でデータの送受信を行う。

制御部１５は、クライアント装置２０から通信部１４に送信されてくる情報に応じて、各処理部の動作を制御する。

上述した構成からなるサーバ装置１０と通信可能に接続されるクライアント装置２０は、例えば、ハードディスク等の大容量記憶装置と、ＣＰＵと、ＲＡＭと、ＲＯＭとを備えるコンピュータであって、表示装置３０にカラー画像を表示する表示制御装置として機能するため、次のような機能を有する。すなわち、クライアント装置２０は、サーバ装置１０と通信する通信部２１と、通信部２１を介してサーバ装置１０から受信した画像情報に対して画像処理を施す画像処理部２２と、画像処理部２２のメインメモリとして機能するフレームメモリ２３と、画像処理部２２により復号処理された画像情報を表示装置３０に表示する表示制御部２４と、ユーザからの操作命令が入力される操作命令入力部２５と、各処理部全体を制御する制御部２６とを備える。

通信部２１は、制御部２６からの制御命令に従って、画像情報を取得するための情報をサーバ装置１０に送信したり、サーバ装置１０から送信されてくる画像情報を画像処理部２２に供給する処理を含め、サーバ装置１０との間で情報の送受信を行う。

画像処理部２２は、制御部２６からの制御命令に従って、通信部２１を介してサーバ装置１０から受信した画像情報に対して、フレームメモリ２３を用いて具体的には後述するような画像処理を施す。また、画像処理部２２は、画像処理を施した画像情報を表示制御部２４に供給する。

表示制御部２４は、画像処理部２２から供給される画像情報のカラー画像を表示装置３０に表示する。

操作命令入力部２５は、表示装置３０により表示された表示結果に応じて、ユーザ等により操作命令が入力されるグラフィカルインタフェースとして機能する。操作命令入力部２５は、ユーザにより入力された操作命令を制御部２６に通知する。

制御部２６は、操作命令入力部２５に入力された操作命令に従って、上述した各処理部の動作を制御する。

以上のような構成からなるサーバ装置１０とクライアント装置２０とを有する画像表示システム１においては、スペクトル解析用画像情報として、マルチスペクトル画像情報を符号化したデータをサーバ装置１０で管理すればよいが、記憶容量や伝送量の低減化等の観点から、表示用カラー画像情報から再構築されるマルチスペクトル画像情報とマルチスペクトル画像情報との差分の画像情報を含む画像情報（以下、Ｐｌｕｓ画像情報という。）を第１の記憶領域１１ａに記憶しても良い。

＜画像情報の生成について＞
ここで、画像表示システム１の全体動作に係る説明に先立ち、マルチスペクトル画像情報から、３原色のスペクトル成分からなる表示用カラー画像情報、及び、Ｐｌｕｓ画像情報を生成する生成処理について図３を参照して説明する。

まず、Ｋ（Ｋは３より大きい自然数）バンドのスペクトル成分を検出するカメラにより対象物体の撮影を行い、Ｋバンドのマルチスペクトル画像情報Ｄ１を取得したとする。このとき、Ｋバンドのマルチスペクトル画像情報Ｄ１の画素（ｘ，ｙ）における信号値を、下記の（１）式のようにＫ次元列ベクトルｍ（ｘ，ｙ）で表すものとする。

ここで、Ｔはベクトルの転置を表す。また、実際の対象物体の画素（ｘ，ｙ）に対応する位置から放射される光のスペクトル（波長λ_１〜λ_Ｌ）をＬ次元列ベクトルｓ（ｘ，ｙ）とする。

このとき、カメラの光電変換による非線形性を除去すれば、ｍ（ｘ，ｙ）とｓ（ｘ，ｙ）の間には下記の（３）式の関係が成り立つ。

ここで、Ｋ×Ｌ行列Ｈは、カメラの分光感度特性によって決まる行列である。

次に、ステップＳ１１において、マルチスペクトル画像情報ＭＳＩから表示用カラー画像情報であるＲＧＢ画像情報Ｄ２を生成する際には、３×Ｋの行列であるＰを用いて、下記の（４）式により算出する。

ここで、ｃ（ｘ，ｙ）は画素（ｘ，ｙ）におけるＲＧＢ画像情報Ｄ２の信号値であり３次元列ベクトルである。また、行列Ｐは下記の（５）式により求まる。

ここで、Ｈ^＋はＫ×Ｌ行列の行列でシステム行列Ｈの擬似逆行列であり、行列Ｔ_ＲＧＢは３×Ｌ行列でＴ_ＲＧＢ＝ＭＴ_ＸＹＺとして算出するものであり、行列Ｔ_ＸＹＺは３×Ｌ行列でＣＩＥＸＹＺ等色関数を行ベクトルとして持つ行列であり、行列ＭはＣＩＥＸＹＺ色空間からＲＧＢ色空間へと変換する３×３行列である。ＲＧＢ色空間としては、ｓＲＧＢ色空間などを用いることができる。また、Ｋ×Ｌの行列Ｈの擬似逆行列とは、Ｋ＜Ｌの場合、ＨＨ^＋がＫ×Ｋの単位行列となる条件を満たす行列のことである。一般に、擬似逆行列Ｈ^＋は一意には定まらないが、ここでは、Ｗｉｅｎｅｒ推定理論に基づいて下記の（６）式により導出するものとする。

ここで、行列Ｒ_ｓｓはｓ（ｘ，ｙ）の相関行列であるＬ×Ｌ行列である。行列Ｒ_ｓｓの求め方は任意であるが、対象物体のスペクトルσ（ｉ）＝［σ（ｉ，λ_１），・・・，σ（ｉ，λ_Ｌ）］^Ｔを多数収集し、ｉ＝１，・・・Ｎとして、下記の（７）式により求まる。

また、Ｒ_ｓｓの（ａ，ｂ）要素を

として生成した行列で代用することも可能である。このとき、ρは０．９９〜０．９９９９の値が望ましい。

ステップＳ１２において、上述した処理によって生成されたＲＧＢ画像情報Ｄ２に対して符号化処理を施してデータ量を圧縮して、符号化したＲＧＢ画像情報Ｄ３を表示用カラー画像情報として画像情報記憶部１１の第２の記憶領域１１ｂに記憶する。

ステップＳ１３において、符号化したＲＧＢ画像情報Ｄ３に対して復号処理を施す。そして、ステップＳ１４において、復号処理を施したＲＧＢ画像情報からマルチスペクトル画像情報を予測する。

ＲＧＢ画像情報Ｄ３に対して復号処理を施した画像の画素（ｘ，ｙ）における信号値をｃ’（ｘ，ｙ）とする。このとき、画素（ｘ，ｙ）に対応する予測マルチスペクトル画像情報Ｄ４の信号値

は上述した（５）式で定義した３×Ｋの行列Ｐの擬似逆行列Ｐ^＋を用いて下記の式（８）から求まる。

一般に、擬似逆行列は一意には定まらないが、ここでは、Ｗｉｅｎｅｒ推定理論に基づいて下記の（９）式により導出するものとする。

ここで、行列Ｒ_ｍｍはｍ（ｘ，ｙ）の相関行列であるＫ×Ｋの行列である。行列Ｒ_ｍｍの求め方は任意であるが、マルチスペクトル画像情報Ｄ１の信号値ｍ（ｘ，ｙ）を用いて下記の（１０）式で求まる。

ここで、ＸとＹはマルチスペクトル画像情報Ｄ１の縦と横の画素数を表しており、全ての画素の情報を用いて算出していることになる。また、マルチスペクトル画像情報Ｄ１から適当に選択した画素の情報のみを用いて上記の（１０）式と同様に計算するようにしてもよく、これにより、計算量の軽減を図ることができる。

上述したようにして、ＲＧＢ画像情報Ｄ３から再構成したマルチスペクトル画像情報Ｄ４を生成すると、ステップＳ１５に進む。

ステップＳ１５において、元のマルチスペクトル画像情報Ｄ１と、ステップＳ１４により再構成したマルチスペクトル画像情報Ｄ４との差分の画像情報を含むＰｌｕｓ画像情報Ｄ５の画素（ｘ，ｙ）における信号値ｑ（ｘ，ｙ）は下記の（１１）式で求まる。

ここで、

は上記の（８）式により求まる値である。

上記（１１）式から明らかなように、ＲＧＢ画像情報Ｄ３から再構成したマルチスペクトル画像情報Ｄ４に、Ｐｌｕｓ画像情報Ｄ５から取り出した差分の画像情報を加算することで、元のマルチスペクトル画像情報Ｄ１を復元することができる。

上述した処理によって生成されたＰｌｕｓ画像情報Ｄ５に対して、ステップＳ１６により、符号化処理を施してデータ量を圧縮して、符号化したＰｌｕｓ画像情報Ｄ６をスペクトル解析用画像情報として画像情報記憶部１１の第１の記憶領域１１ａに記憶する。

このようにして、画像表示システム１では、ＲＧＢ画像情報Ｄ３を表示用カラー画像情報としてサーバ装置１０の画像情報記憶部１１の第２の記憶領域１１ｂで管理するとともに、Ｐｌｕｓ画像情報Ｄ６をマルチスペクトル解析用画像情報として画像情報記憶部１１の第１の記憶領域１１ａで管理することで、単にマルチスペクトル画像情報Ｄ１を管理する場合に比べて画像情報記憶部１１の記憶容量の低減化と、サーバ装置１０からクライアント装置２０への画像情報の伝送量の低減化を図ることができる。

＜画像表示システム１の全体動作について＞
次に、画像表示システム１の全体動作について説明する。

画像表示システム１は、具体的には後述するマルチスペクトル画像情報に基づく画像処理を、主にクライアント装置２０側で行うシステム構成（以下、クライアント側システムという。）と、主にサーバ装置１０側で行うシステム構成（以下、サーバ側システムという。）との２種類のシステム構成でそれぞれ実現することができる。なお、本実施形態に係る画像表示システム１では、クライアント側システム及びサーバ側システムの２種類のシステム構成のうち、いずれか一方を実現するような機能を、サーバ装置１０及びクライアント装置２０の各部が有するようにすればよい。

まず、図４を参照してクライアント側システムに係る動作例について説明する。

ステップＳ２１において、クライアント装置２０の制御部２６は、操作命令入力部２５から、ユーザから閲覧位置や倍率等の指示に応じたカラー画像を表示する指示情報が入力される。

ステップＳ２２において、クライアント装置２０の制御部２６は、ステップＳ２１により入力された指示情報を、通信部２１によりサーバ装置１０へ伝送する。

ステップＳ２３において、サーバ装置１０の制御部１５は、クライアント装置２０から伝送されてくる指示情報に従って、ユーザが指示した閲覧位置や倍率に対応する符号化された表示用カラー画像情報を、画像情報記憶部１１の第２の記憶領域１１ｂを参照して読み出す。

ステップＳ２４において、サーバ装置１０の制御部１５は、ステップＳ２３により読み出した表示用カラー画像情報を通信部１４によりクライアント装置２０に伝送する。

ステップＳ２５において、クライアント装置２０の制御部２６は、サーバ装置１０から伝送されてきた表示用カラー画像情報に対して、画像処理部２２により復号処理を施す。

ステップＳ２６において、クライアント装置２０の制御部２６は、画像処理部２２により、復号された表示用カラー画像情報に対して、フレームメモリ２３を参照して閲覧位置近傍の画像情報を付加する。また、スペクトル解析用画像情報としてＰｌｕｓ画像情報をサーバ装置１０が管理している場合、ステップＳ２６ａとして、画像処理部２２は、復号された表示用カラー画像情報をフレームメモリ２３に記憶しておく。

ステップＳ２７において、クライアント装置２０の制御部２６は、表示制御部２４により、ステップＳ２６により閲覧位置近傍の画像情報が付加された表示用カラー画像情報のカラー画像を表示装置３０に表示する。

ステップＳ２８において、クライアント装置２０の制御部２６は、ステップＳ２７による表示結果に応じたスペクトル解析を指示するスペクトル解析指示情報が、操作命令入力部２５に入力される。

ステップＳ２９において、クライアント装置２０の制御部２６は、通信部２１により、ステップＳ２８により入力されたスペクトル解析指示情報をサーバ装置１０に伝送する。

ステップＳ３０において、サーバ装置１０の制御部１５は、クライアント装置２０から伝送されてくるスペクトル解析指示情報に従って、ステップＳ２３で読み出した表示用カラー画像情報に対応付けられたスペクトル解析用画像情報を、画像情報記憶部１１の第１の記憶領域１１ａから参照して読み出す。

ステップＳ３１において、サーバ装置１０の制御部１５は、スペクトル解析指示情報で指示される画像情報として、ステップＳ３０により読み出したスペクトル解析用画像情報を通信部１４によりクライアント装置２０に伝送する。

ステップＳ３２において、クライアント装置２０の制御部２６は、サーバ装置１０から伝送されてきたスペクトル解析用画像情報に対して、画像処理部２２により復号処理を施す。

ステップＳ３３において、クライアント装置２０の制御部２６は、復号されたスペクトル解析用画像情報を参照して、ステップＳ２８により入力されたスペクトル解析指示情報で指示される解析処理をして、当該解析結果をカラー表示するための解析結果表示用画像情報を生成する。

ここで、スペクトル解析用画像情報としてＰｌｕｓ画像情報をサーバ装置１０が管理している場合、画像処理部２２は、ステップＳ２６ａによりフレームメモリ２３に記憶されている表示用カラー画像情報からマルチスペクトル画像情報を再構成し、再構成したスペクトル画像情報とＰｌｕｓ画像情報から取り出した差分の画像情報とを加算することでマルチスペクトル画像情報を生成する。そして、画像処理部２２は、生成したマルチスペクトル画像情報に対してスペクトル解析処理を施して、解析結果をカラー画像で表示するための解析結果表示用画像情報を生成する。

ステップＳ３４において、クライアント装置２０の制御部２６は、表示制御部２４により、ステップＳ２３により生成された解析結果表示用画像情報の画像を表示装置３０に表示する。

以上のようにして、クライアント側システムでは、スペクトル解析指示情報で指示される画像情報として、サーバ装置１０からクライアント装置２０に解析結果表示用画像情報を送信して、クライアント装置２０側で、解析結果表示用画像情報に対してスペクトル解析指示情報で指示される解析処理をして、当該解析結果から得られる解析結果表示用画像情報の画像を表示装置３０に表示する。

次に、図５を参照してサーバ側システムに係る動作例について説明する。

ステップＳ４１において、クライアント装置２０の制御部２６は、操作命令入力部２５により、ユーザから閲覧位置や倍率等の指示に応じたカラー画像を表示する指示情報が入力される。

ステップＳ４２において、クライアント装置２０の制御部２６は、ステップＳ４１により入力された指示情報を、通信部２１によりサーバ装置１０へ伝送する。

ステップＳ４３において、サーバ装置１０の制御部１５は、クライアント装置２０から伝送されてくる指示情報に従って、ユーザが指示した閲覧位置や倍率に対応する表示用カラー画像情報を、画像情報記憶部１１の第２の記憶領域１１ｂから参照して読み出す。また、第１の記憶領域１１ａにおいてＰｌｕｓ画像情報をスペクトル解析用画像情報として記憶している場合、ステップＳ４３ａとして、画像処理部１２は、上記の読み出した表示用カラー画像情報をフレームメモリ１３に記憶しておく。

ステップＳ４４において、サーバ装置１０の制御部１５は、ステップＳ４３により読み出した表示用カラー画像情報を通信部１４によりクライアント装置２０に伝送する。

ステップＳ４５において、クライアント装置２０の制御部２６は、サーバ装置１０から伝送されてきた表示用カラー画像情報に対して、画像処理部２２により復号処理を施す。

ステップＳ４６において、クライアント装置２０の制御部２６は、画像処理部２２により、復号された表示用カラー画像情報に対して、フレームメモリ２３を参照して、閲覧位置近傍の画像情報を付加する。

ステップＳ４７において、クライアント装置２０の制御部２６は、表示制御部２４により、ステップＳ４６により閲覧位置近傍の画像情報が付加された表示用カラー画像情報の画像を表示装置３０に表示する。

ステップＳ４８において、クライアント装置２０の制御部２６は、ステップＳ４７による表示結果に応じたスペクトル解析を指示するスペクトル解析指示情報が、操作命令入力部２５に入力される。

ステップＳ４９において、クライアント装置２０の制御部２６は、通信部２１により、ステップＳ４８により入力されたスペクトル解析用画像情報をサーバ装置１０に伝送する。

ステップＳ５０において、サーバ装置１０の制御部１５は、クライアント装置２０から伝送されてくるスペクトル解析指示情報に従って、ステップＳ４３で読み出した表示用カラー画像情報に対応付けられたスペクトル解析用画像情報を、画像情報記憶部１１の第１の記憶領域１１ａから参照して読み出す。

ステップＳ５１において、サーバ装置１０の制御部１５は、ステップＳ５０により読み出したスペクトル解析用画像情報に対して、画像処理部１２により復号処理を施すように、画像処理部１２を制御する。

ステップＳ５２において、サーバ装置１０の制御部１５は、復号されたスペクトル解析用画像情報に対しスペクトル解析指示情報で指示される解析処理をして、当該解析結果をカラー表示するための解析結果表示用画像情報を生成するように、画像処理部１２を制御する。

ここで、第１の記憶領域１１ａにおいてＰｌｕｓ画像情報をスペクトル解析用画像情報として記憶している場合、画像処理部１２は、ステップＳ４３ａによりフレームメモリ１３に記憶されている表示用カラー画像情報からマルチスペクトル画像情報を再構成して、当該再構成したマルチスペクトル画像情報とＰｌｕｓ画像情報から取り出した差分の画像情報とを加算することでマルチスペクトル画像情報を生成する。そして、画像処理部１２は、生成したマルチスペクトル画像情報に対してスペクトル解析処理を施して、解析結果をカラー表示するための解析結果表示用画像情報を生成する。

ステップＳ５３において、サーバ装置１０の制御部１５は、ステップＳ５２により生成した解析結果表示用画像情報に対して、画像処理部１２により符号化処理を施すように、画像処理部１２を制御する。

ステップＳ５４において、サーバ装置１０の制御部１５は、スペクトル解析指示情報で指示される画像情報として、ステップＳ５３により符号化された解析結果表示用画像情報を通信部１４によりクライアント装置２０に伝送する。

ステップＳ５５において、クライアント装置２０の制御部２６は、サーバ装置１０から伝送されてきた解析結果表示用画像情報に対して、画像処理部２２により復号処理を施す。

ステップＳ５６において、クライアント装置２０の制御部２６は、表示制御部２４により、ステップＳ５５により復号された解析結果表示用画像情報の画像を表示装置３０に表示する。

以上のようにして、クライアント側システムでは、サーバ装置１０側で、スペクトル解析指示情報で指示される解析処理をして、当該解析結果から得られる解析結果表示用画像情報をスペクトル解析指示情報で指示される画像情報としてクライアント装置２０に伝送する。

上述したクライアント側システム及びサーバ側システムで示したように、画像表示システム１では、表示装置３０による表示結果に応じたスペクトル解析指示情報で指示される画像情報を、サーバ装置１０が管理するスペクトル解析用画像情報を参照して、スペクトル解析指示情報で指示される画像情報をサーバ装置１０からクライアント装置２０に送信し、このサーバ装置１０からクライアント装置２０に送信されてくる画像情報に応じたカラー画像を表示装置３０に表示する。このようにして、画像表示システム１では、サーバ装置１０で管理されているマルチスペクトル画像情報のうち、スペクトル解析指示情報より指示された画像情報のみをサーバ装置１０からクライアント装置２０に送信することによって、画像情報の伝送量の低減化を実現することができる。したがって、画像表示システム１では、例えば、巨大なマルチスペクトル画像をカラー画像として観察するシステムとして適用した場合に、所望の観察領域や倍率のカラー画像を迅速にユーザー等に提示することが可能であり、かつ、ユーザ等の要求によりマルチスペクトル画像に基づいてスペクトル解析された所望のカラー画像も迅速に提示することができる。

＜比較例のシステム構成について＞
次に、画像表示システム１に係る有用性を検証するため、比較対象となるシステム構成について説明する。

図６は、第１の比較例のシステム構成（以下、ＲＧＢシステム１００という。）に係る動作例を示す図である。

ＲＧＢシステム１００は、表示用カラー画像情報のみを管理するサーバ装置１０１と、サーバ装置１０１に表示用カラー画像情報をアクセスして表示装置に表示するクライアント装置１０２を含んで構成されるものとする。

ＲＧＢシステム１００において、クライアント装置１０２は、グラフィックユーザインタフェースによりユーザから操作命令が入力され（ステップＳ１０１）、閲覧位置や倍率等の指示に応じた表示用カラー画像を表示する指示情報を受け付け（ステップＳ１０２）、この指示情報をサーバ装置１０１に伝送する（ステップＳ１０３）。サーバ装置１０１は、クライアント装置１０２から伝送されてくる指示情報に応じて、当該サーバ装置１０１で管理している表示用カラー画像情報を読み出し（ステップＳ１０４）、読み出した表示用カラー画像情報をクライアント装置１０２に伝送する（ステップＳ１０５）。クライアント装置１０２は、サーバ装置１０１から伝送されてくる表示用カラー画像情報を復号化し（ステップＳ１０６）、復号化した表示用カラー画像情報をメモリにバッファして（ステップＳ１０７）、バッファした情報を用いて、表示用カラー画像情報に閲覧位置近傍の画像情報を付加し（ステップＳ１０８）、表示用カラー画像情報の画像を表示装置に表示する（ステップＳ１０９）。

また、図７は、第２の比較例のシステム構成（以下、ＭＳＩクライアント側システム２００という。）に係る動作例を示す図である。

ＭＳＩクライアント側システム２００は、マルチスペクトル画像情報のみを管理するサーバ装置２０１と、サーバ装置１０１から取得したマルチスペクトル画像情報を参照してスペクトル解析処理をしてカラー画像情報を生成して表示装置に表示するクライアント装置２０２を含んで構成されるものとする。

ＭＳＩクライアント側システム２００において、クライアント装置２０２は、グラフィックユーザインタフェースによりユーザから操作命令が入力され（ステップＳ２０１）、閲覧位置や倍率等の指示に応じた表示用カラー画像を表示する指示情報を受け付け（ステップＳ２０２）、この指示情報をサーバ装置２０１に伝送する（ステップＳ２０３）。サーバ装置２０１は、クライアント装置２０２から伝送されてくる指示情報に応じて、サーバ装置２０１で管理しているマルチスペクトル画像情報を読み出し（ステップＳ２０４）、読み出したマルチスペクトル画像情報をクライアント装置１０２に伝送する（ステップＳ２０５）。クライアント装置２０２は、サーバ装置２０１から伝送されてくるマルチスペクトル画像情報を復号化し（ステップＳ２０６）、復号化したマルチスペクトル画像情報をメモリにバッファする（ステップＳ２０７）。そして、クライアント装置２０２では、マルチスペクトル画像情報を表示用カラー画像情報に変換して（ステップＳ２０８）、メモリにバッファされた画像情報を参照してこの表示カラー画像情報に閲覧位置近傍の画像情報を付加し（ステップＳ２０９）、表示用カラー画像情報の画像を表示装置に表示する（ステップＳ２１０）。また、ステップＳ２０８〜Ｓ２１０の処理と並列して、クライアント装置２０２では、ステップＳ２０１による操作入力により受け付けたスペクトル解析指示情報（ステップＳ２１１）に基づきメモリにバッファされたマルチスペクトル画像情報を参照して解析結果表示用画像情報を生成して（ステップＳ２１２）、この解析結果表示用画像情報の画像を表示装置に表示する（ステップＳ２１３）。

また、図８は、第３の比較例のシステム構成（以下、ＭＳＩサーバ側システム３００という。）に係る動作例を示す図である。

ＭＳＩサーバ側システム３００は、マルチスペクトル画像情報のみを管理するとともにマルチスペクトル画像情報から、表示用カラー画像情報と解析結果表示用画像情報とを生成するサーバ装置３０１と、サーバ装置３０１にアクセスして、表示用カラー画像情報と解析結果表示用画像情報とを表示装置に表示するクライアント装置３０２を含んで構成されるものとする。

ＭＳＩサーバ側システム３００において、クライアント装置３０２は、グラフィックユーザインタフェースによりユーザから操作命令が入力され（ステップＳ３０１）、閲覧位置や倍率等の指示に応じた表示用カラー画像を表示する指示情報を受け付け（ステップＳ３０２）、サーバ装置３０１に伝送する（ステップＳ３０３）とともに、ステップＳ３０１による操作入力により受け付けたスペクトル解析指示情報（ステップＳ３０４）をサーバ装置２０１に伝送する（ステップＳ３０５）。サーバ装置３０１は、クライアント装置３０２からの指示情報に応じて、管理するマルチスペクトル画像情報のうち、指示情報で指示される閲覧位置や倍率等のマルチスペクトル画像情報を読み出し（ステップＳ３０６）、マルチスペクトル画像情報を復号化し（ステップＳ３０７）、復号化したマルチスペクトル画像情報をメモリにバッファする（ステップＳ３０８）。そして、サーバ装置３０１では、マルチスペクトル画像情報を表示用カラー画像情報に変換して（ステップＳ３０９）、変換した表示用カラー画像情報を符号化し（ステップＳ３１０）、符号化した表示用カラー画像情報をクライアント装置３０２に伝送する（ステップＳ３１１）。ステップＳ３０９〜Ｓ３１１に係る処理と並列して、サーバ装置３０１では、ステップＳ３０３で伝送されたスペクトル解析指示情報に基づきフレームメモリにバッファされたマルチスペクトル画像情報を参照して解析結果表示用画像情報を生成し（ステップＳ３１２）、生成した解析結果表示用画像情報を符号化し（ステップＳ３１３）、符号化された解析結果表示用画像情報をクライアント装置３０２に伝送する（ステップＳ３１４）。

そして、クライアント装置３０２では、サーバ装置３０１から伝送された表示用カラー画像情報及び解析結果表示用画像情報をそれぞれ復号化して（ステップＳ３１５）、メモリにバッファし（ステップＳ３１６）、メモリにバッファされた画像情報を参照して表示用カラー画像情報及び解析結果表示用画像情報にそれぞれ閲覧位置近傍の画像情報を付加し（ステップＳ３１７）、これらの画像情報の画像を表示装置に表示する（ステップＳ３１８）。

＜検証結果＞
次に、画像表示システム１と、第１から３の比較例のシステム構成とについて、次のとおり評価した。下記の表１は、システム構成毎にサーバ装置が管理する画像情報の保存容量、各操作対象毎の伝送量を評価したものである。また、下記の表２は、各システム構成における共通処理を除いた必要な処理の工程数を示したものである。

上記の表１において、＜ＲＧＢ＞は表示用カラー画像情報に対応するデータ容量であり、＜ＭＳＩ＞はオリジナルのスペクトル画像情報に対応するデータ容量を表している。ここで、データ容量は、画像サイズや圧縮の程度によって変化するため、具体的な数値ではなく、これらの記号を用いて比較を行った。ただし、＜ＲＧＢ＞は、＜ＭＳＩ＞より小さいものとする。また、「Ｌｅｓｓ ｔｈａｎ ＜ＭＳＩ＞」とは、Ｐｌｕｓ画像情報が＜ＭＳＩ＞よりもデータ量が少ないことを表している。

また、比較対照として用いた７種類のシステム構成は、次のようなものである。第１番目のシステム構成は上述したＲＧＢシステム１００であり、第２番目のシステム構成は上述したＭＳＩクライアント側システム２００であり、第３番目のシステム構成は上述したＭＳＩサーバ側システム３００である。

これに対して、第４番目のシステム構成「ＲＧＢ−ＭＳＩクライアント側」は、本実施形態に係る画像表示システム１においてシステム構成をクライアント側システムとして、サーバ装置１０側で、スペクトル解析用画像情報としてマルチスペクトル画像情報ＭＳＩを管理するものである。

また、第５番目のシステム構成「ＲＧＢ−ＭＳＩサーバー側」は、本実施形態に係る画像表示システム１においてシステム構成をサーバ側システムとして、サーバ装置１０側で、スペクトル解析用画像情報としてマルチスペクトル画像情報ＭＳＩを管理するものである。

また、第６番目のシステム構成「ＲＧＢ−Ｐｌｕｓクライアント側」は、本実施形態に係る画像表示システム１においてシステム構成をクライアント側システムとして、サーバ装置１０側で、スペクトル解析用画像情報としてＰｌｕｓ画像情報を管理するものである。

また、第７番目のシステム構成「ＲＧＢ−Ｐｌｕｓサーバ側」は、本実施形態に係る画像表示システム１においてシステム構成をサーバ側システムとして、サーバ装置１０側で、スペクトル解析用画像情報としてＰｌｕｓ画像情報を管理するものである。

次に、表１と表２に基づいて、表示用カラー画像の閲覧に係る処理について以下のとおり評価する。比較対象システムの「ＭＳＩクライアント側システム」では、表示用カラー画像閲覧において＜ＭＳＩ＞の伝送量が必要となり、伝送量の多さから、表示用カラー画像の閲覧における操作性が低下する。また、比較対象システムの「ＭＳＩサーバー側システム」では、表示用カラー画像閲覧において画像情報の復号化と符号化を繰り返す必要があり、表示用カラー画像の閲覧における操作性が低下する。これらと比較して、画像表示システム１では、表示用カラー画像情報の閲覧においては、伝送量と処理のいずれにおいても、ＲＧＢシステム１００と同じ伝送量と処理内容となっており、表示用カラー画像情報の閲覧においてはＲＧＢシステム１００と同様の操作性を確保することができる。

次に、表１と表２に基づいて、画像表示システム１として適用した４種類のシステム構成について以下のとおり評価する。

まず、第１のシステム構成である「クライアント側システム」と第２のシステム構成である「サーバ側システム」とを比較した場合、「サーバ側システム」では、スペクトル画像解析を行った場合の伝送量が「クライアント側システム」より小さく、さらに、「クライアント側」に「スペクトル解析用ソフトウエア」をインストールすることなく、例えばＷｅｂブラウザ等のみで利用可能であるという利点がある。これに対して、「クライアント側システム」では、スペクトル画像解析を行った場合の符号化及び復号化に係る処理が「サーバ側システム」と比較して少ないという利点がある。

また、サーバ装置１０で管理するスペクトル解析用画像情報として、マルチスペクトル画像情報ＭＳＩとＰｌｕｓ画像情報との比較した場合、スペクトル解析用画像情報をマルチスペクトル画像情報ＭＳＩで管理する場合に比べて、Ｐｌｕｓ画像情報で管理する場合の方が、サーバ装置１０が管理する画像情報の保存容量が小さく、さらに、現在の観察位置に対してスペクトル画像解析を行う場合の伝送量が小さい。なお、これらの差の程度は、オリジナルのマルチスペクトル画像情報ＭＳＩのバンド数や表示用カラー画像情報への圧縮の程度に依存して変わる。

＜適用例について＞
次に、画像表示システム１を用いたスペクトル解析処理の具体的な実施例について説明する。第１の実施例では、マルチスペクトル病理画像に対して、３バンドの表示用カラー画像情報とＰｌｕｓ画像情報に分離して圧縮符号化を行う場合と、３バンドの表示用カラー画像情報とオリジナルのマルチスペクトル画像情報ＭＳＩとを独立で圧縮符号化を行う従来例とを比較した。

本実施例で用いた対象画像として、オリジナルのマルチスペクトル画像情報は、肝臓のＨｅｍａｔｏｘｙｌｉｎ＆Ｅｏｓｉｎ染色病理標本を１６バンド顕微鏡で撮影した画像情報で、画素数２０４８×２０４８、波長方向１６バンド、１画素１６ｂｉｔである。また、圧縮前の画像データサイズは１３４２１７７２８［Ｂｙｔｅ］≒１３４．２［ＭＢ］である。

本実施例では、３バンドの表示用カラー画像情報の生成処理と圧縮符号化処理を次のように行った。すなわち、上述したマルチスペクトル画像情報から、Ｗｉｅｎｅｒ推定に基づいてＤ６５照明光下におけるＣＩＥＸＹＺ三刺激値を算出し、ｓＲＧＢ規格のＲＧＢ信号へと変換することで、３バンドの表示用カラー画像情報を生成した。圧縮前の３バンドの表示用カラー画像のデータサイズは、１２５８２９１２［Ｂｙｔｅ］≒１２．６［ＭＢ］である。３バンド表示用カラー画像情報の圧縮率として、既存システムで使用されていると考えられる５％〜３０％の範囲で、５％、２０％、３０％の場合について検証した。また、圧縮符号化方法はＪＰＥＧ２０００を用いた。

また、本実施例ではスペクトル解析用画像情報の圧縮符号化処理を次のように行った。すなわち、Ｐｌｕｓ画像情報とマルチスペクトル画像情報の圧縮符号化は次のように行った。圧縮前のＰｌｕｓ画像情報とマルチスペクトル画像情報はいずれも画素数２０４８×２０４８、波長方向１６バンド、１画素１６ｂｉｔで表現され、画像データサイズは１３４２１７７２８［Ｂｙｔｅ］≒１３４．２［ＭＢ］である。これらの画像情報に対して、波長方向のＫＬ変換を適用した後にＪＰＥＧ２０００により圧縮を行った。

図９は、スペクトル解析用画像情報の圧縮率と、１６バンドマルチスペクトル画像情報のＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ ｔｏＮｏｉｓｅ Ｒａｔｉｏ）の関係を示している。ＰＳＮＲが大きいほど、圧縮による劣化が小さいことを示している。Ｐｌｕｓ画像情報の場合は、別に伝送されている３バンドの表示用カラー画像情報と合わせてマルチスペクトル画像情報ＭＳＩを復元するため、３バンドの表示用カラー画像情報の圧縮率に結果が依存する。３バンドの表示用カラー画像情報の圧縮率が５％と高い場合には、Ｐｌｕｓ画像情報の結果はマルチスペクトル画像情報ＭＳＩの結果とほぼ同じとなっている。一方、２０％や３０％などの圧縮率がそれほど高くない場合には、例えばＰＳＮＲ＝４０［ｄＢ］程度を実現するために、Ｐｌｕｓ画像情報を用いた場合には、オリジナルのマルチスペクトル画像情報ＭＳＩに対して３％まで圧縮できるのに対し、マルチスペクトル画像情報ＭＳＩを用いた場合では５％となり、Ｐｌｕｓ画像情報を用いたシステム構成の方がより少ないデータ量を伝送すればよいことがわかる。この結果から明らかなように、表示用カラー画像情報の圧縮率に依存するが、画像表示システム１では、スペクトル解析用画像情報として、Ｐｌｕｓ画像情報を記憶することで、マルチスペクトル画像情報ＭＳＩを記憶する場合に比べてサーバ装置１０とクライアント装置２０間での画像情報の伝送量を低減化することができる。したがって、画像表示システム１では、所望の観察領域や倍率のカラー画像を迅速にユーザー等に提示することが可能であり、かつ、ユーザ等の要求によりマルチスペクトル画像に基づいてスペクトル解析された所望のカラー画像も迅速に提示することができる。

第２の実施例として、ヘマトキシリン・エオジン染色病理標本画像に対するスペクトル強調処理への適用例について説明する。

ヘマトキシリン・エオジン染色（ＨＥ染色）は標準染色と呼ばれ、ほぼ全ての病理標本に対して施される標準的な染色方法である。しかし、肝硬変等の肝臓の病気を診断する際に重要な指標とされている膠原繊維は、ＨＥ染色では平滑筋と同じ色として染色されるため、これを見分けるためには、特殊染色であるマッソン・トライクローム染色（ＭＴ染色）が必要となる。しかし、ＭＴ染色はＨＥ染色と比較して染色の手間が大きいため、ＨＥ染色の病理標本画像から、画像処理により膠原繊維と平滑筋を識別し、両者を異なる色として表示することができれば、染色の手間が省け診断の迅速化や効率化が可能となる。これまでに、可視域の１６バンドマルチスペクトル顕微鏡により取得したＨＥ染色の画像に対して、特定のバンド画像を強調して表示することで、膠原繊維と平滑筋を異なる色として表示できることが下記の文献１に示されている。

文献１：P. A. Bautista, T. Abe, M. Yamaguchi, N. Ohyama, and Y. Yagi, “Multispectral Image Enhancement for H&E Stained Pathological Tissue Specimens,” Proc. SPIE Medical Imaging 2008, (2008) 691836.
上記のスペクトル強調処理を本実施形態に係る画像表示システム１で適用する場合には、次の条件が推奨される。

スペクトル画像の波長帯域数であるＮは１６前後とし、各波長帯域は可視域全域をほぼ等間隔でＮに分割した帯域とする。また、画像情報の最高倍率とそれに対応する画素数は、通常のホールスライドイメージングシステムと同様とする。対象標本はＨＥ染色標本とする。また、システム構成としては「サーバー側システム」を利用することが下記の点から望ましい。

利用の手順は次の通りである。まず、病理医等が観察位置や倍率を変化させながら、ＨＥ染色病理標本を表示用カラー画像情報を用いて観察する。そして、膠原繊維の増殖が疑われる領域を見つけた時に、アプリケーションのＧＵＩ等を解して、スペクトル強調の指示を出す。この際、強調する波長帯域や強調する度合いを表す係数は、あらかじめ最適化されているため、クライアント側でこれらを調整する必要はない。クライアント装置２０はサーバ装置１０に、スペクトル解析指示情報として、スペクトル強調の指示を伝送する。サーバ装置１０では、現在の観察位置と倍率に対応した圧縮形式のスペクトル解析用画像情報を復号化し、強調処理後の解析結果表示用画像情報を生成し、伝送用に圧縮を行い、クライアント装置２０に伝送する。クライアント装置２０では、受け取った解析結果表示用画像情報を復号化して表示する。

この実施例のように、スペクトルに基づく解析の内容やパラメータを少しずつ変化させる必要がない場合には、「サーバー側システム」がシステム構成として適している。これにより、スペクトルに基づく解析を行った際にサーバ装置１０から伝送されるデータ容量が表示用カラー画像情報と同程度となると共に、クライアント装置２０にスペクトル解析用ソフトウエアをインストールする必要なく利用できる。他のアプリケーションにおいても、この例のようにスペクトル解析の内容やパラメータを少しずつ変化させる必要がない場合には、「サーバー側システム」がシステム構成として適している。

第２の実施例として、ヘマトキシリン・エオジン染色病理標本画像に対する染色濃度調整について説明する。

生体組織は無色透明のため、観察時に異なる組織を識別するために、標本の染色が行われる。最も標準的な染色方法であるヘマトキシリン・エオジン染色（ＨＥ染色）は、主に細胞質と核を異なる色に染め分ける。このとき、染色時間等の染色工程が適切でないと、染色濃度が濃すぎたり薄すぎたりして、作成された標本の質が診断に適さない場合がある。さらに、染色施設や染色技師により染色工程が異なるために、異なる施設間において平均的な染色状態が異なり、遠隔病理診断等で他の染色施設の標本を診断する際に、医師が慣れている染色状態と異なる染色状態の標本を診断しなければならない場合がある。そのため、染色濃度を適切に、もしくは、好みに応じてデジタル画像処理により調整することができれば、標本の作り直しの手間を軽減すると共に、診断の質の向上に繋がると考えられる。これまでに、可視域の１６バンドマルチスペクトル顕微鏡により取得したＨＥ染色の画像に対して、任意の染色状態もしくは、目標とする染色標本と同じ染色状態へと調整して表示できることが、下記の文献２に示されている。

文献２：T. Abe, Y. Murakami, M. Yamaguchi, N. Ohyama, and Y. Yagi, “Color correction of pathological images based on dye amount quantification,” Optical Review, 12(4), 293-300 (2005).
上記の任意の染色濃度へと調整を行う機能を、本実施形態に係る画像表示システム１で適用する場合には、次の条件が推奨される。スペクトル画像の波長帯域数Ｎは１６〜１００程度とし、各波長帯域は可視域全域をほぼ等間隔でＮに分割した帯域とする。また、画像の最高倍率とそれに対応する画素数は、通常のホールスライドイメージングシステムと同様とする。対象標本はＨＥ染色標本とする。また、システム構成としては「クライアント側システム」を利用することが下記の点から望ましい。

利用の手順は次の通りである。まず、病理医等の観察者が観察位置や倍率を変化させながら、ＨＥ染色病理標本を表示用カラー画像情報を用いて観察する。そして、何らかの異常が疑われる領域を見つけた時に、スペクトル解析指示情報として、アプリケーションのＧＵＩ等を用いて観察者が染色濃度調整の指示を出す。この際、観察者はヘマトキシリン色素とエオジン色素の濃度調整量を指定する。クライアント装置２０はサーバ装置１０に、染色濃度調整の指示を伝送する。サーバ装置１０では、現在の観察位置と倍率に対応した圧縮形式のスペクトル解析用画像情報をクライアント装置２０に伝送する。クライアント装置２０では、受け取ったスペクトル解析用画像情報を復号化し、フレームメモリ２３に保存すると共に、染色濃度調整処理により、指定された、もしくは、デフォルトの濃度調整量の解析結果表示用画像情報を画像処理部２２で生成し表示する。さらに、観察者は、アプリケーションのＧＵＩ等を用いて、染色濃度調整量を変化させるように指示する。クライアント装置２０は、バッファに保存されたスペクトル解析用画像情報を用いて、新たに指定された調整量の解析結果表示用画像情報を生成し表示する。

この実施例のように、スペクトルに基づく解析のパラメータを少しずつ変化させる必要がある場合には、「クライアント側システム」がシステム構成として適している。これにより、解析のパラメータを少しずつ変化させた際に、サーバ装置１０から新たにデータを伝送することなく、クライアント装置２０の処理のみで解析結果画像を生成できるため、解析指示の入力から解析結果画像の表示するまでの時間を短く抑えられる。他のアプリケーションにおいても、この実施例のようにスペクトル解析の内容やパラメータを少しずつ変化させる必要がある場合には、「クライアント側システム」がシステム構成として適しているといえる。

第３の実施例として、６バンド巨大画像の表示システムの実装について説明する。

本実施例においては、６バンド巨大画像の表示システムを、Ａｄｏｂｅ社製Ｆｌａｓｈ ＣＳ３、ＡｃｔｉｏｎＳｃｒｉｐ２．０を用いて実装した。実装したシステムは、「クライアント側システム」に属する。

本実施例において、サーバーには、６バンドのマルチスペクトル画像情報から算出した表示用カラー画像情報と、６バンド画像情報の半分の１〜３バンドから構成される第１の３バンド画像情報と残り半分の４〜６バンドから構成される第２の３バンド画像情報を保存する。表示用カラー画像情報が通常の閲覧に用いる画像、第１、第２の３バンド画像情報がそれぞれスペクトル解析用画像となる。このとき、表示用カラー画像情報と第１、第２の３バンド画像情報とを、複数の解像度レベルに応じて互いに対応付けてに保存し、各解像度レベルの画像情報はそれぞれ、画素数の２５６×２５６のＪＰＥＧ画像にタイル状に分割して保存している。

Ｆｌａｓｈを用いて作成した表示用ソフトフェアはＨＴＭＬに埋め込まれており、マウスにより各操作のボタンをクリックすることで、この表示用ソフトフェアが動作する。表示用カラー画像情報の画像閲覧においては、拡大縮小、表示位置の移動が可能である。操作の指示が出るたびに、サーバー側からＪＰＥＧで保存された必要な表示用カラー画像情報が伝送され、表示される。

また、スペクトル画像解析のボタンをクリックすることで、現在閲覧中の解像度と位置の表示用カラー画像情報に対応した第１、第２の３バンド画像情報がサーバ装置１０から伝送され、クライアント装置２０のフレームメモリ２３に書き込まれ、スペクトル画像解析の待機状態となる。次に、各スペクトル画像解析の指示に応じて、解析結果を表示する。今回実装した解析は次の３種類である。

１種類目として、単バンド画像表示は、ある特定のバンドの画像のグレースケールで表示する機能である。この表示は、特定の波長帯域の特徴を画像として観察するために使用するものである。

２種類目として、擬似カラー画像表示は、Ｒ，Ｇ，Ｂのそれぞれに、特定のバンド画像を割り当てて、カラー画像として表示する機能である。この表示は、複数の波長帯域の特徴をカラー画像として効率的に観察するために使用する。

３種類目として、スペクトルグラフ表示は、マウスポインタで指定された画素の６バンド分の信号値であるマルチスペクトル情報を折れ線グラフで表示する機能である。この表示は、特定の部位のスペクトルに関する特徴を観察するために使用する。

本実施例に係るシステムでは、ＦＬＡＳＨの機能のみを利用しているため、処理時間も極めて小さく、高い応答性を確保することができる。

以上のように、本実施形態に係る画像表示システム１では、様々な用途に応じてスペクトル画像解析処理を、サーバ装置１０側で、またはクライアント装置２０側で実装することによって、スペクトル画像解析処理において利便性の高い操作環境をユーザに対して提供することができる。

なお、本発明は、以上の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更が可能であることは勿論である。

本発明が適用された画像表示システムの全体構成を示した図である。 サーバ装置で管理する画像情報について説明する図である。 表示用カラー画像情報、及び、差分画像情報を生成する生成処理について説明するための図である。 クライアント側システムに係る動作例について説明するための図である。 クライアント側システムに係る動作例について説明するための図である。 ＲＧＢシステムに係る動作例を示す図である。 ＭＳＩクライアント側システムに係る動作例を示す図である。 ＭＳＩサーバ側システムに係る動作例を示す図である。 スペクトル解析用画像情報の圧縮率と、１６バンドマルチスペクトル画像情報のＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ ｔｏＮｏｉｓｅ Ｒａｔｉｏ）の関係を示す図である。

符号の説明

１ 画像表示システム、１０、１０１、２０１、３０１ サーバ装置、１１ 画像情報記憶部、１１ａ 第１の記憶領域、１１ｂ 第２の記憶領域、１２、２２ 画像処理部、１３、２３ フレームメモリ、１４、２１ 通信部、１５、２６ 制御部、２０、１０２、２０２、３０２ クライアント装置、２４ 表示制御部、２５ 操作命令入力部、３０ 表示装置、１００ ＲＧＢシステム、２００ クライアント側システム、３００ サーバ側システム

Claims (7)

1. Ｎ（Ｎは３より大きい自然数）バンドのスペクトル成分の画像情報を解析するためのスペクトル解析用画像情報と、上記Ｎバンドのスペクトル成分からなる画像情報から得られる３原色のスペクトル成分からなる表示用カラー画像情報とを対応付けて記憶する画像情報記憶部と、上記画像情報記憶部が記憶している画像情報を送信する第１の通信部と、上記第１の通信部を制御する第１の制御部とを有する画像情報管理装置と、
   上記画像情報管理装置から送信されてくる画像情報を受信する第２の通信部と、上記第２の通信部により受信した画像情報に応じたカラー画像を表示装置に表示する表示制御部と、上記表示装置による表示結果に応じたスペクトル解析を指示するスペクトル解析指示情報を入力する指示情報入力部と、上記表示装置による表示結果及び上記指示情報入力部により入力されたスペクトル解析指示情報に基づいて上記第２の通信部を制御する第２の制御部とを有する表示制御装置とを備え、
   上記第１の制御部は、上記画像情報記憶部が記憶している表示用カラー画像情報を上記表示制御装置に送信し、その後、当該表示制御装置から送信されてくるスペクトル画像解析指示情報を受信して、当該スペクトル画像解析指示情報で指示される画像情報を上記画像情報記憶部が記憶しているスペクトル解析用画像情報を参照して当該表示制御装置に送信するように、上記第１の通信部を制御し、
   上記第２の制御部は、上記指示情報入力部に入力されたスペクトル解析指示情報を上記画像情報管理装置に送信し、その後、当該画像情報管理装置から送信されてくる当該スペクトル解析指示情報で指示される画像情報を受信するように、上記第２の通信部を制御し、
   上記表示制御部は、上記第２の通信部により受信したスペクトル画像解析指示情報で指示される画像情報に応じたカラー画像を上記表示装置に表示する画像表示システム。
2. 上記画像情報管理装置は、上記画像情報記憶部が記憶しているスペクトル解析用画像情報を参照して、上記表示制御装置から送信されてくるスペクトル解析指示情報で指示される解析処理をし、当該解析結果をカラー表示するための解析結果表示用画像情報を生成する画像情報生成部を更に備え、
   上記第１の制御部は、上記画像情報生成部により生成した解析結果表示用画像情報を、上記スペクトル解析指示情報で指示される画像情報として、上記表示制御装置に送信するように上記第１の通信部を制御する請求項１記載の画像表示システム。
3. 上記表示制御装置は、上記画像情報管理装置から送信されてくる画像情報を参照して、上記スペクトル解析指示情報で指示される解析処理をし、当該解析結果をカラー表示するための解析結果表示用画像情報を生成する画像情報生成部を更に備え、
   上記第１の制御部は、上記表示制御装置から送信されてくる上記スペクトル解析指示情報で指示される画像情報として、上記画像情報記憶部から上記スペクトル解析用画像情報を読み出して当該表示制御装置に送信するように上記第１の通信部を制御し、
   上記画像情報生成部は、上記画像情報管理装置から送信されてくるスペクトル解析用画像情報を参照して上記解析結果表示用画像情報を生成し、
   上記表示制御部は、上記画像情報生成部により生成された解析結果表示用画像情報の画像を上記表示装置に表示する請求項１記載の画像表示システム。
4. 上記画像情報記憶部は、上記Ｎバンドのスペクトル成分からなる画像情報と、上記表示用カラー画像情報の３原色のスペクトル成分から再構成したＮバンドのスペクトル成分からなる画像情報との差分の画像情報を含む画像情報を、上記スペクトル解析用画像情報として記憶し、
   上記画像情報生成部は、上記表示用カラー画像情報からＮバンドのスペクトル成分からなる画像情報を再構成し、当該再構成した画像情報と上記スペクトル解析用画像情報から取り出した上記差分の画像情報とを加算処理してＮバンドのスペクトル成分からなる画像情報を生成して、当該生成した画像情報から上記解析結果表示用画像情報を生成する請求項２又は３記載の画像表示システム。
5. Ｎ（Ｎは３より大きい自然数）バンドのスペクトル成分の画像情報を解析するためのスペクトル解析用画像情報と、上記Ｎバンドのスペクトル成分からなる画像情報から得られる３原色のスペクトル成分からなる表示用カラー画像情報と対応付けて記憶する画像情報記憶部と、
   上記画像情報記憶部が記憶している画像情報に応じたカラー画像を表示する表示装置の表示制御を行う表示制御装置に送信する通信部と、
   上記通信部を制御する制御部とを備え、
   上記制御部は、上記表示制御装置による画像表示に応じたスペクトル解析を指示するスペクトル解析指示情報を上記表示制御装置から受信し、当該スペクトル画像解析指示情報で指示される画像情報を、上記画像情報記憶部が記憶しているスペクトル画像解析用画像情報を参照して上記表示制御装置に送信するように上記通信部を制御する画像情報管理装置。
6. Ｎ（Ｎは３より大きい自然数）バンドのスペクトル成分の画像情報を解析するためのスペクトル解析用画像情報と、上記Ｎバンドのスペクトル成分からなる画像情報から得られる３原色のスペクトル成分からなる表示用カラー画像情報とを対応付けて管理する画像情報管理装置から送信されてくる画像情報を受信する通信部と、
   上記通信部により受信した画像情報に応じたカラー画像を表示装置に表示する表示制御部と、
   上記表示装置による表示結果に応じたスペクトル解析を指示するスペクトル解析指示情報を入力する指示情報入力部と、
   上記通信部を制御する制御部とを備え、
   上記制御部は、上記指示情報入力部に入力されたスペクトル解析指示情報を上記画像情報管理装置に送信し、その後、当該画像情報管理装置から送信されてくる当該スペクトル解析指示情報で指示される画像情報を受信するように、上記通信部を制御し、
   上記表示制御部は、上記通信部により受信した画像情報に応じた表示画像を上記表示装置に表示する表示制御装置。
7. Ｎ（Ｎは３より大きい自然数）バンドのスペクトル成分の画像情報を解析するためのスペクトル解析用画像情報と、上記Ｎバンドのスペクトル成分からなる画像情報から得られる３原色のスペクトル成分からなる表示用カラー画像情報とを対応付けて管理する画像情報管理装置から、上記表示用カラー画像情報を表示制御装置に送信する第１の送信制御ステップと、
   上記第１の送信制御ステップにより送信され、上記表示制御装置が受信した表示用カラー画像情報の画像を表示装置に表示する第１の表示制御ステップと、
   上記第１の表示制御ステップによる表示結果に応じたスペクトル解析を指示するスペクトル解析指示情報を入力する指示情報入力ステップと、
   上記指示情報入力ステップにより入力されたスペクトル解析指示情報を、上記表示制御装置から上記画像情報管理装置に送信する第２の送信制御ステップと、
   上記第２の送信制御ステップにより、上記画像情報管理装置が管理するスペクトル解析用画像情報を参照して、上記表示制御装置から送信されてくるスペクトル解析指示情報により指示される画像情報を、当該画像情報管理装置から当該表示制御装置に送信する第３の送信制御ステップと、
   上記第３の送信制御ステップにより、上記画像情報管理装置から上記表示制御装置に送信されてくる画像情報に応じた表示画像を上記表示装置に表示する第２の表示制御ステップとを有する画像表示制御方法。

Images