JP2013250400A - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

Abstract

【課題】光学顕微鏡と同等の視野の表示画像を生成できる画像処理装置を提供する。
【解決手段】被写体を撮像することで取得した撮像画像のデータを処理して、表示装置に表示する表示画像のデータを生成する画像処理装置１０２は、撮像画像のデータを取得する画像データ取得手段３０１と、表示装置と表示画像を観察する観察者との距離又は距離に関する情報を取得する距離取得手段３０５と、撮像画像のデータと距離に関する情報とに基づいて、表示画像のデータを生成する表示データ生成手段３０８と、を備える。表示データ生成手段は、距離又は距離に関する情報から推測した推測距離が短い場合における表示画像中の被写体のサイズよりも距離又は距離に関する情報から推測した推測距離が相対的に長い場合の表示画像中の被写体のサイズのほうが大きくなるように、表示画像のデータを生成する。
【選択図】図３

Description

本発明は、撮像画像のデータを処理して表示画像のデータを生成する画像処理装置、画像処理方法、およびプログラムに関する。

近年、病理分野において、病理診断のツールである光学顕微鏡の代替として、プレパラートに載置された検体（被検試料）の撮像と画像のデジタル化によってディスプレイ上での病理診断を可能とするバーチャルスライドシステムが注目を集めている。バーチャルスライドシステムを用いた病理診断画像のデジタル化により、従来の検体の光学顕微鏡像をデジタルデータとして取り扱うことが可能となる。その結果、遠隔診断の迅速化、デジタル画像を用いた患者への説明、希少症例の共有化、教育・実習の効率化、などのメリットが得られると期待されている。

光学顕微鏡と同等程度の操作をバーチャルスライドシステムで実現するためには、プレパラート上の検体全体をデジタル化する必要がある。検体全体のデジタル化により、バーチャルスライドシステムで作成したデジタルデータをＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やワークステーション上で動作するビューワソフトで観察することができる。検体全体をデジタル化した場合の画素数は、通常、数億画素から数十億画素と非常に大きなデータ量となる。バーチャルスライドシステムで作成したデータ量は膨大であるが、それゆえ、ビューワで拡大・縮小処理を行うことでミクロ（細部拡大像）からマクロ（全体俯瞰像）まで観察することが可能となる。必要な情報を予めすべて取得しておくことで、低倍画像から高倍画像までユーザーが求める解像度・倍率による即時の表示が可能となる。

これまで、医療画像データのピクセルピッチと表示装置の表示部のピクセルピッチに基づいて、表示部に医療画像データを原寸大で表示して、医師の診断を支援する医療画像用表示装置が提案されている（特許文献１）。

特開２００２−２５１４６４号公報

光学顕微鏡の画像をそのままデジタル化した画像をディスプレイに表示した場合に、ディスプレイに表示される視野は光学顕微鏡の接眼部を覗いて得られる観察視野と異なる。そのため、例えば、スクリーニング時のスライド移動や検体のサイズ感覚等が異なる場合があり、光学顕微鏡操作の経験を活かしにくい。

また、バーチャルスライド画像は、光学顕微鏡の観察視野より広い領域を撮像して取得されており、それをそのままディスプレイに表示すると光学顕微鏡とは見え方が異なる。そのため、例えば、情報量が多く提示されることで、光学顕微鏡観察とは見え方が異なり視点が移動し注視領域がぶれてしまう可能性がある。

そこで、本発明は、光学顕微鏡と同等の視野の表示画像を生成できる画像処理装置を提供することを目的とする。

その目的を達成するために、本発明の一側面としての画像処理装置は、被写体を撮像することで取得した撮像画像のデータを処理して、表示装置に表示する表示画像のデータを生成する画像処理装置であって、前記撮像画像のデータを取得する画像データ取得手段と、前記表示装置と前記表示画像を観察する観察者との距離又は距離に関する情報を取得する距離取得手段と、前記撮像画像のデータと前記距離に関する情報とに基づいて、前記表示画像のデータを生成する表示データ生成手段と、を備え、前記表示データ生成手段は、前記距離又は前記距離に関する情報から推測した推測距離が短い場合における前記表示画像中の前記被写体のサイズよりも前記距離又は前記距離に関する情報から推測した推測距離が相対的に長い場合の前記表示画像中の前記被写体のサイズのほうが大きくなるように、前記表示画像のデータを生成することを特徴とする。

本発明のその他の側面については、以下で説明する実施の形態で明らかにする。

本発明の一側面としての画像処理装置によれば、光学顕微鏡と同等の視野の表示画像を生成できる画像処理装置を提供することができる。

第１の実施形態の画像処理システムの装置構成の全体図。 第１の実施形態の撮像装置の機能ブロック図。 第１の実施形態の画像処理装置の機能ブロック図。 第１の実施形態の画像処理装置のハードウェア構成図。 第１の実施形態の表示形態の概要を説明する図。 第１の実施形態の画像処理方法の流れを示すフローチャート。 第２の実施形態の画像処理システムの装置構成の全体図。 第２の実施形態の画像処理方法の流れを示すフローチャート。 第２の実施形態の顕微鏡視野表示画像データ生成処理の詳細な流れを示すフローチャート。 第２の実施形態の表示画面の一例。

以下、図面を参照しながら本発明の実施の形態を説明する。

［第１の実施形態］
本実施形態の画像処理装置は、撮像装置と表示装置を備えた画像処理システムにおいて用いることができる。この画像処理システムについて、図１を用いて説明する。

（画像処理システムの装置構成）
図１は、本実施形態の画像処理装置を用いた画像処理システムであり、撮像装置（顕微鏡装置、またはバーチャルスライド装置）１０１、画像処理装置１０２、表示装置１０３を備え、検体の二次元画像を取得し表示する機能を有するシステムである。撮像装置１０１と画像処理装置１０２との間は、専用もしくは汎用Ｉ／Ｆのケーブル１０４で接続され、画像処理装置１０２と表示装置１０３の間は、汎用のＩ／Ｆのケーブル１０５で接続される。

撮像装置１０１は、二次元の平面方向に位置の異なる複数枚の二次元画像を撮像し、デジタル画像を出力する機能を持つバーチャルスライド装置を用いることができる。二次元画像の取得にはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の固体撮像素子が用いられる。なお、バーチャルスライド装置の代わりに、通常の光学顕微鏡の接眼部にデジタルカメラを取り付けたデジタル顕微鏡装置により、撮像装置１０１を構成することもできる。

画像処理装置１０２は、撮像装置１０１から取得した複数枚の原画像データから、表示装置１０３に表示するデータを、原画像データをもとにユーザーからの要求に応じて生成する機能等を持つ装置である。画像処理装置１０２は、ＣＰＵ（中央演算処理装置）、ＲＡＭ、記憶装置、操作部を含む各種Ｉ／Ｆなどのハードウェア資源を備えた、汎用のコンピュータやワークステーションで構成される。記憶装置は、ハードディスクドライブなどの大容量情報記憶装置であり、後述する各処理を実現するためのプログラムやデータ、ＯＳ（オペレーティングシステム）などが格納されている。上述した各機能は、ＣＰＵが記憶装置からＲＡＭに必要なプログラムおよびデータをロードし、当該プログラムを実行することにより実現されるものである。操作部は、キーボードやマウスなどにより構成され、操作者が各種の指示を入力するために利用される。

表示装置１０３は、画像処理装置１０２が演算処理した結果である表示画像（観察用画像）を表示するディスプレイであり、ＣＲＴや液晶ディスプレイ等により構成される。

図１の例では、撮像装置１０１と画像処理装置１０２と表示装置１０３の３つの装置により撮像システムが構成されているが、本発明の構成はこの構成に限定されるものではない。例えば、表示装置と一体化した画像処理装置を用いてもよいし、画像処理装置の機能を撮像装置に組み込んでもよい。また撮像装置、画像処理装置、表示装置の機能を１つの装置で実現することもできる。また逆に、画像処理装置等の各装置の機能を分割して複数の装置によって実現してもよい。

（撮像装置の機能構成）
図２は、撮像装置１０１の機能構成を示すブロック図である。

撮像装置１０１は、照明ユニット２０１、ステージ２０２、ステージ制御ユニット２０５、結像光学系２０７、撮像ユニット２１０、現像処理ユニット２１９、プレ計測ユニット２２０、メイン制御系２２１、データ出力部２２２を備える。

照明ユニット２０１は、ステージ２０２上に配置されたプレパラート２０６に対して均一に光を照射する手段であり、光源、照明光学系、および光源の駆動を制御する制御系を有する。ステージ２０２は、ステージ制御ユニット２０５によって駆動制御され、ＸＹＺの三軸方向への移動が可能である。被写体としてのプレパラート２０６は、組織の切片又は塗抹した細胞を検体としてスライドグラス上に貼り付け、封入剤とともにカバーグラスの下に固定した部材である。

ステージ制御ユニット２０５は、駆動制御系２０３とステージ駆動機構２０４を有する。駆動制御系２０３は、メイン制御系２２１の指示を受け、ステージ２０２の駆動制御を行う。ステージ２０２の移動方向、移動量などは、プレ計測ユニット２２０によって計測した検体の位置情報および厚み情報（距離情報）と、必要に応じてユーザーからの指示とに基づいて決定される。ステージ駆動機構２０４は、駆動制御系２０３の指示に従い、ステージ２０２を駆動する。

結像光学系２０７は、プレパラート２０６の検体の光学像を撮像センサ２０８へ結像するための光学系である。

撮像ユニット２１０は、撮像センサ２０８とアナログフロントエンド（ＡＦＥ）２０９を有する。撮像センサ２０８は、二次元の光学像を光電変換によって電気的な物理量へ変える一次元もしくは二次元のイメージセンサであり、例えば、ＣＣＤ又はＣＭＯＳデバイスが用いられる。一次元センサの場合、走査方向へスキャンすることで二次元画像が得られる。撮像センサ２０８からは、光の強度に応じた電圧値をもつ電気信号が出力される。撮像画像としてカラー画像が所望される場合は、例えば、Ｂａｙｅｒ配列のカラーフィルタが取り付けられた単板のイメージセンサを用いればよい。撮像ユニット２１０は、ステージ２０２がＸＹ軸方向に駆動することにより、検体の分割画像を撮像する。

ＡＦＥ２０９は、撮像センサ２０８から出力されたアナログ信号をデジタル信号へ変換する回路である。ＡＦＥ２０９は後述するＨ／Ｖドライバ、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ ｄｏｕｂｌｅ ｓａｍｐｌｉｎｇ）、アンプ、ＡＤ変換器およびタイミングジェネレータを有する。Ｈ／Ｖドライバは、撮像センサ２０８を駆動するための垂直同期信号および水平同期信号を、センサ駆動に必要な電位に変換する。ＣＤＳは、固定パターンのノイズを除去する二重相関サンプリング回路である。アンプは、ＣＤＳでノイズ除去されたアナログ信号のゲインを調整するアナログアンプである。ＡＤ変換器は、アナログ信号をデジタル信号に変換する。撮像装置最終段での出力が８ビットの場合、後段の処理を考慮して、ＡＤ変換器はアナログ信号を１０ビットから１６ビット程度に量子化されたデジタルデータへ変換し、出力する。変換されたセンサ出力データはＲＡＷデータと呼ばれる。ＲＡＷデータは後段の現像処理ユニット２１９で現像処理される。タイミングジェネレータは、撮像センサ２０８のタイミングおよび後段の現像処理ユニット２１９のタイミングを調整する信号を生成する。

撮像センサ２０８としてＣＣＤを用いる場合、ＡＦＥ２０９は必須となるが、デジタル出力可能なＣＭＯＳイメージセンサの場合は、ＡＦＥ２０９の機能をセンサが内包することになる。また、不図示ではあるが、撮像センサ２０８の制御を行う撮像制御部が存在し、撮像センサ２０８の動作制御や、シャッタースピード、フレームレートやＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）など動作タイミングや制御を合わせて行う。

現像処理ユニット２１９は、黒補正部２１１、ホワイトバランス調整部２１２、デモザイキング処理部２１３、画像合成処理部２１４、解像度変換処理部２１５、フィルタ処理部２１６、γ補正部２１７および圧縮処理部２１８を有する。黒補正部２１１は、ＲＡＷデータの各画素から、遮光時に得られた黒補正データを減算する処理を行う。ホワイトバランス調整部２１２は、照明ユニット２０１の光の色温度に応じて、ＲＧＢ各色のゲインを調整することによって、望ましい白色を再現する処理を行う。具体的には、黒補正後のＲＡＷデータに対しホワイトバランス補正用データが加算される。単色の画像を取り扱う場合にはホワイトバランス調整処理は不要となる。現像処理ユニット２１９は、撮像ユニット２１０で撮像された検体の分割画像データから後述する階層画像データを生成する。

デモザイキング処理部２１３は、Ｂａｙｅｒ配列のＲＡＷデータから、ＲＧＢ各色の画像データを生成する処理を行う。デモザイキング処理部２１３は、ＲＡＷデータにおける周辺画素（同色の画素と他色の画素を含む）の値を補間することによって、注目画素のＲＧＢ各色の値を計算する。またデモザイキング処理部２１３は、欠陥画素の補正処理（補間処理）も実行する。なお、撮像センサ２０８がカラーフィルタを有しておらず、単色の画像が得られている場合、デモザイキング処理は不要となる。

画像合成処理部２１４は、撮像センサ２０８によって撮像範囲を分割して取得した画像データをつなぎ合わせて所望の撮像範囲の大容量画像データを生成する処理を行う。一般に、既存のイメージセンサによって一回の撮像で取得できる撮像範囲より検体の存在範囲が広いため、一枚の二次元画像データを分割された画像データのつなぎ合わせによって生成する。例えば、０．２５μｍの分解能でプレパラート２０６上の１０ｍｍ角の範囲を撮像すると仮定した場合、一辺の画素数は１０ｍｍ／０．２５μｍの４万画素となり、トータルの画素数はその二乗である１６億画素となる。１０Ｍ（１０００万）の画素数を持つ撮像センサ２０８を用いて１６億画素の画像データを取得するには、１６億／１０００万である１６０個に領域を分割して撮像を行う必要がある。なお、複数の画像データをつなぎ合わせる方法としては、ステージ２０２の位置情報に基づいて位置合わせをしてつなぐ方法や、複数の分割画像の対応する点または線を対応させてつなぐ方法、分割画像データの位置情報に基づいてつなぐ方法などがある。つなぎ合わせの際、０次補間、線形補間、高次補間等の補間処理を行うことでより滑らかに複数の画像データをつなげることができる。本実施の形態では、撮像装置１０１で一枚の大容量画像を生成することを想定しているが、画像処理装置１０２で分割取得した画像を表示データの生成時につなぎ合わせる構成としてもよい。

解像度変換処理部２１５は、画像合成処理部２１４で生成された大容量の二次元画像を高速に表示するために、表示倍率に応じた倍率画像を予め解像度変換によって生成する処理を行う。低倍から高倍まで複数の段階の画像データを生成し、ひとまとめにした階層構造を持つ画像データとして構成する。撮像装置１０１で取得した画像データは診断の目的から高解像、高分解能の撮像データであることが望まれる。ただし、先に説明したとおり数十億画素からなる画像データの縮小画像を表示する場合、表示の要求に合わせてその都度解像度変換を行っていたのでは処理が間に合わなくなる。そのため、予め倍率の異なる何段階かの階層画像を用意しておき、用意された階層画像から表示側の要求に応じて表示倍率と近接する倍率の画像データを選択し、表示倍率に合わせて倍率の調整を行うことが望ましい。一般には画質の点でより高倍の画像データから表示データを生成することがより好ましい。撮像が高解像に行われるため、表示用の階層画像データは、一番高解像な画像データをもとに、解像度変換手法によって縮小することで生成される。解像度変換の手法として二次元の線形な補間処理であるバイリニアの他、三次の補間式を用いたバイキュービックなどが広く知られている。

フィルタ処理部２１６は、画像に含まれる高周波成分の抑制、ノイズ除去、解像感強調を実現するデジタルフィルタである。γ補正部２１７は、一般的な表示デバイスの階調表現特性に合わせて、画像に逆特性を付加する処理を実行したり、高輝度部の階調圧縮や暗部処理によって人間の視覚特性に合わせた階調変換を実行したりする。本実施形態では形態観察を目的とした画像取得のため、後段の表示処理に適した階調変換が画像データに対して適用される。

圧縮処理部２１８は、大容量の二次元画像データの伝送の効率化および保存する際の容量削減が目的で行われる圧縮の符号化処理である。静止画像の圧縮手法として、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＪＰＥＧを改良、進化させたＪＰＥＧ２０００やＪＰＥＧ ＸＲ等の規格化された符号化方式が広く一般に知られている。

プレ計測ユニット２２０は、プレパラート２０６上の検体の位置情報、所望の焦点位置までの距離情報、および検体厚みに起因する光量調整用のパラメータを算出するための事前計測を行うユニットである。本計測（撮像画像データの取得）の前にプレ計測ユニット２２０によって情報を取得することで、無駄のない撮像を実施することが可能となる。二次元平面の位置情報取得には、撮像センサ２０８より解像力の低い二次元撮像センサが用いられる。プレ計測ユニット２２０は、取得した画像から検体のＸＹ平面上での位置を把握する。距離情報および厚み情報の取得には、レーザー変位計やシャックハルトマン方式の計測器が用いられる。

メイン制御系２２１は、これまで説明してきた各種ユニットの制御を行う機能である。メイン制御系２２１および現像処理ユニット２１９の制御機能は、ＣＰＵとＲＯＭとＲＡＭを有する制御回路により実現される。すなわち、ＲＯＭ内にプログラムおよびデータが格納されており、ＣＰＵがＲＡＭをワークメモリとして使いプログラムを実行することで、メイン制御系２２１および現像処理ユニット２１９の機能が実現される。ＲＯＭには例えばＥＥＰＲＯＭやフラッシュメモリなどのデバイスが用いられ、ＲＡＭには例えばＤＤＲ３などのＤＲＡＭデバイスが用いられる。なお、現像処理ユニット２１９の機能を専用のハードウェアデバイスとしてＡＳＩＣ化したもので置き換えてもよい。

データ出力部２２２は、現像処理ユニット２１９によって生成されたＲＧＢのカラー画像を画像処理装置１０２に送るためのインターフェースである。撮像装置１０１と画像処理装置１０２とは、光通信のケーブルにより接続される。あるいは、ＵＳＢやＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）等の汎用インターフェースが使用される。

（画像処理装置の機能構成）
図３は、本実施形態の画像処理装置１０２の機能構成を示すブロック図である。

画像処理装置１０２は、画像データ取得部３０１、観察距離取得部３０５、および表示データ生成部３０８を備える。更に、画像処理装置１０２は、ユーザー入力情報取得部３０３、記憶保持部（メモリ）３０２、表示装置情報取得部３０４、ピクセル倍率設定部３０６、表示画像データ取得部３０７、および表示データ出力部３０９を備えていても良い。

画像取得手段としての画像データ取得部３０１は、撮像装置１０１で撮像された画像データを取得する。ここで言う画像データは、検体を分割して撮像することにより得られたＲＧＢのカラーの分割画像データ、分割画像データを合成した一枚の二次元画像データ、および二次元画像データをもとに表示倍率毎に階層化された画像データの少なくとも何れかである。なお、分割画像データはモノクロの画像データでもよい。また、撮像仕様である撮像装置１０１の撮像センサ２０８の画素ピッチ、および対物レンズの倍率情報が画像データには付加されている。

記憶保持部３０２は、画像データ取得部３０１を介して外部装置から取得した画像データを取り込み、記憶、保持する。

ユーザー入力情報取得部３０３は、マウスやキーボード等の操作部を介して、表示位置変更や拡大・縮小表示などの表示画像データの更新指示や、表示モード選択等のユーザー（観察者）による入力情報を取得する。ここでいう表示モードとは、顕微鏡視野の再現を含む表示倍率の指定である。

表示装置情報取得手段としての表示装置情報取得部３０４は、表示装置１０３が保有するディスプレイの表示エリア情報（画面解像度、ディスプレイサイズ）の他、現在表示されている画像の表示倍率の情報を取得する。

距離取得手段としての観察距離取得部３０５は、観察距離情報として、表示装置１０３と観察者との距離（視距離）を取得する。観察距離情報は、表示装置１０３に付けられた距離計測手段としての距離計測センサの出力値であり、赤外線距離センサなどを用いることができる。

ピクセル倍率設定部３０６は、ユーザー入力情報取得部３０３で取得したユーザーからの指示に従い表示倍率を設定するための制御データを生成する。また、設定したピクセル倍率に基づき、表示用の画像データサイズを算出し、表示画像データ取得部３０７へ通知する。表示用の画像データサイズの算出は、表示装置情報取得部３０４で取得した表示装置１０３の表示エリア情報の他、観察距離情報に基づいて行われる。

表示画像データ取得部３０７は、ピクセル倍率設定部３０６の制御指示に従い、表示に必要な画像データを記憶保持部３０２から取得する。

表示データ生成手段としての表示データ生成部３０８は、ピクセル倍率設定部で設定された表示モードおよびピクセル倍率に従い、表示画像データ取得部３０７によって取得された画像データから表示装置１０３で表示するための表示データを変倍処理で生成する。表示データ生成については図６のフローチャートを用いて後述する。

表示データ出力部３０９は、表示データ生成部３０８で生成された表示データを外部装置である表示装置１０３へ出力する。

（画像処理装置のハードウェア構成）
図４は、本実施形態の画像処理装置のハードウェア構成を示すブロック図である。情報処理を行う装置として、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）が用いられる。

ＰＣは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４０１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４０２、記憶装置４０３、データ入出力Ｉ／Ｆ４０５、およびこれらを互いに接続する内部バス４０４を備える。

ＣＰＵ４０１は、必要に応じてＲＡＭ４０２等に適宜アクセスし、各種演算処理を行いながらＰＣの各ブロック全体を統括的に制御する。ＲＡＭ４０２は、ＣＰＵ４０１の作業用領域等として用いられ、ＯＳ、実行中の各種プログラム、顕微鏡視野を再現した表示用データの生成など処理の対象となる各種データを一時的に保持する。記憶装置４０３は、ＣＰＵ４０１に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている情報を記録し読み出す補助記憶装置である。ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）等の磁気ディスクドライブもしくはＦｌａｓｈメモリを用いた半導体デバイスが用いられる。

データ入出力Ｉ／Ｆ４０５には、ＬＡＮ Ｉ／Ｆ４０６を介して画像サーバー７０１が接続される。また、データ入出力Ｉ／Ｆ４０５には、グラフィクスボードを介して表示装置１０３が、外部装置Ｉ／Ｆを介してバーチャルスライド装置やデジタル顕微鏡に代表される撮像装置１０１が、接続される。更に、データ入出力Ｉ／Ｆ４０５には、計測器Ｉ／Ｆを介して観察者の視距離を計測する距離計測センサ４１３が、操作Ｉ／Ｆ４０９を介してキーボード４１０やマウス４１１が、接続される。

表示装置１０３は、例えば液晶、ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）等を用いた表示デバイスである。表示装置１０３は、外部装置として接続される形態を想定しているが、表示装置と一体化したＰＣを想定してもよい。例えばノートＰＣがこれに該当する。

操作Ｉ／Ｆ４０９との接続デバイスとしてキーボード４１０やマウス４１１等のポインティングデバイスを想定しているが、タッチパネル等表示装置１０３の画面が直接入力デバイスとなる構成を取ることも可能である。その場合、タッチパネルは表示装置１０３と一体となり得る。

（表示形態の概要）
図５は、顕微鏡視野ならびに表示装置のディスプレイ上で再現された表示形態の概要を示す概念図である。

図５（ａ）は、光学顕微鏡をのぞいた場合に観察される視野を示している。顕微鏡視野は、視野数と顕微鏡の対物レンズの倍率とによって一意に定められる。図に示されるように円形の領域内５０１に検体の一部分を拡大した拡大画像を観察することができる。円形の観察領域外は光が届かないため、像の確認をすることができない。バーチャルスライド装置が存在する以前は、こうした観察像を観察者である病理医が見て診断を行っていた。

５０２は、円形の顕微鏡視野の直径（実視野）である。デジタルの世界では、撮像センサ２０８の画素ピッチで割った値が取得した画像の画素数となる。ここでは、「Ａ」という文字の高さと顕微鏡視野の直径が等しいものとして以下の説明を行う。

５０３は光学顕微鏡観察時の視点位置であり、５０４は視距離である。実視野の直径である５０２が見える範囲の視野角をθ５０５とする。

図５（ｂ）は、表示装置においてピクセル等倍表示を行った場合の表示画面の例である。ピクセル等倍とは、顕微鏡視野をデジタルデータとしてサンプリングした各画素とディスプレイの各表示素子とが１対１に対応する状態を指す。５０２で示される顕微鏡視野の直径を、仮に１０００の画素でサンプリングして取得した場合、表示側も同じく１０００画素を用いて表示することになる。５０６は、例えば４ｋ×２ｋの大画面を持つ表示装置の表示画面を想定している。５０７は、表示画面５０６の縦方向の表示画面サイズである。なお、ここでは縦方向のサイズが小さいアスペクト比を想定する。５０８は、ピクセル等倍で表示された場合の画像表示サイズである。５０２が１０００画素で構成される場合、５０８も同じく１０００画素となる。このように、ピクセル等倍表示では、取得した元となる画像データをピクセル等倍で表示するため、表示画面５０６のサイズが大きい場合、顕微鏡視野より広い画像データを画面上に表示することが可能となる。

図５（ｃ）は、同じく表示装置においてピクセル等倍表示を行った場合の表示画面の例である。ここでは図５（ｂ）よりも小型、低解像のディスプレイ上に表示する場合について説明する。

５０９は、例えば１０２４×７６８の画素を持つ比較的小型の表示装置の表示画面である。

５１０は、表示画面５０９の縦方向の表示画面サイズである。ここでは、７６８の表示画素で構成されるものとする。

５１１は、ピクセル等倍で表示された場合の画像サイズであり、縦方向の表示サイズ５１０（７６８画素）が、顕微鏡視野をサンプリングした画素数（１０００画素）よりも小さいため、顕微鏡視野内に観察できる像すべてを表示することができなくなっている。このように、ピクセル等倍表示では、表示画面５０９のサイズが小さい場合、顕微鏡視野より狭い範囲の画像データしか画面上に表示することができなくなる。

図５（ｄ）は、異なるサイズ、表示解像度のディスプレイ間でも、対象となる画像のサイズを同じくするように表示倍率を変更した実寸大表示の表示画面の例である。図５（ｂ）および（ｃ）で説明したサイズが異なる二つの表示画面５０６、５０９が存在していても、表示される画像の大きさ（物理的なサイズ）はいずれの表示画面においても同じサイズ５１２になっている。なお、実寸大表示（実寸大に対するデジタル倍率での表示）を行う際のピクセル倍率は以下の式で算出することができる。なお、本明細書において、ピクセル倍率とは、画像データの１画素（ピクセル）を表示デバイス（装置）の何画素（ピクセル）で表示するかの対応関係のことである。
ピクセル倍率＝（ディスプレイ上で表示したいデジタル倍率）／（ディスプレイの表示画素ピッチ／（撮像センサの画素ピッチ／画像取得時の対物レンズの倍率））…式（１）
実寸大表示は、例えば遠隔での診断等、異なるユーザーや場所においても検体の表示サイズを同じにしたい場合に有効である。

図５（ｅ）は、顕微鏡の観察視野と表示装置の表示領域における見えの大きさを合わせた顕微鏡視野再現の表示画面の例である。なお、ここでの顕微鏡とは、撮像装置１０１とは別に観察者が使っている光学顕微鏡、又は、デジタル顕微鏡装置の光学顕微鏡部分のことである。図５（ｄ）と同じくサイズが異なる二つの表示画面が存在していても、視野角θ５０５を同じにすることで、ディスプレイの仕様や性能に依らずユーザーにとって見慣れた顕微鏡視野に合わせた表示画像を表示することができる。例えば、大画面の表示画面５０６に対して、視距離が長い場合（５１３）は、表示画像中の被写体「Ａ」のサイズも５１４のように大きくなる。また、視距離が相対的に短い場合（５１５）は、表示画像中の被写体「Ａ」のサイズも５１６のように小さくなる。このように、視距離が変わっても視野角θ５０５を同じにすることで、観察者にとっては同一の視野再現の環境で画像を観察することができる。

なお、顕微鏡視野を再現するピクセル倍率は以下の式で算出することができる。
ピクセル倍率＝（表示倍率×接眼レンズ倍率×撮像センサの画素ピッチ×ディスプレイとの観察距離）／（画像取得時の対物レンズ倍率×ディスプレイの表示画素ピッチ×明視距離） ・・・式（２）

（表示倍率変更処理）
本実施形態の画像処理装置における表示倍率変更処理の流れを図６のフローチャートを用いて説明する。

ステップＳ６０１では、ＣＰＵ４０１が、表示装置１０３であるディスプレイの表示エリアのサイズ情報（画面解像度である画素数）を表示装置１０３から表示装置情報取得部３０４より取得する。表示エリアのサイズ情報は、生成する表示データのサイズを決める際に用いる。

ステップＳ６０２では、ＣＰＵ４０１が、表示装置１０３との視距離である観察距離情報を観察距離情報取得部３０５より取得する。観察距離情報は、有効な表示領域の設定を含めた表示データのサイズを決める際に用いる。

ステップＳ６０３では、ＣＰＵ４０１が、表示装置１０３に現在表示されている画像の表示倍率の情報を表示装置情報取得部３０４より取得する。初期の段階では規定の倍率を設定する。表示倍率は、階層画像から何れかの画像データを選択する際に用いる。また、生成する表示データのサイズを決める際にも用いる。

ステップＳ６０４では、ＣＰＵ４０１が、表示モード設定情報をユーザー入力情報取得部３０３（表示モード取得手段としての表示モード取得部）で取得する。ここでいう表示モードは、顕微鏡視野再現表示モード、実寸大表示モード、およびピクセル等倍表示モードを含む。

ステップＳ６０５では、ＣＰＵ４０１が、ユーザーが所定の表示モード（顕微鏡視野再現表示モード）を選択したか否かを判断する。顕微鏡視野再現表示モードが選択された場合はステップＳ６０６へ、それ以外の表示モードが選択された場合はステップＳ６０８へそれぞれ進む。

ステップＳ６０６では、ステップＳ６０１で取得した表示エリアのサイズ情報とステップＳ６０２で取得した観察距離情報とステップＳ６０３で取得した表示倍率情報に基づき、表示装置１０３に表示する画像データをＣＰＵ４０１が記憶保持部３０２から取得する。

ステップＳ６０７では、ＣＰＵ４０１が、顕微鏡視野再現表示モードの選択を受けて、顕微鏡視野再現表示用の画像データを生成する。具体的には取得した画像データに対して、式（２）で示したピクセル倍率の算出式に基づく変倍処理を行う。必要に応じて表示装置１０３の特性に合わせた補正処理を行う。なお、式（２）における接眼レンズ倍率などの顕微鏡の視角に関する情報は、ＣＰＵ４０１が、ユーザー入力情報取得部３０３から取得しても良いし、画像処理装置１０２に顕微鏡情報取得手段としての顕微鏡情報取得部を別途設けて、そこから取得しても良い。

ステップＳ６０８では、顕微鏡視野再現モード以外の表示モード選択を受けて、実寸大で表示するか、それともピクセル等倍で表示するかをＣＰＵ４０１が判断する。実寸大のピクセル倍率変更表示を行う場合はステップＳ６０９へ、ピクセル等倍の表示モードを選択する場合はステップＳ６１１へそれぞれ進む。

ステップＳ６０９では、ステップＳ６０１で取得した表示エリアのサイズ情報、表示画素ピッチのサイズ情報およびステップＳ６０３で取得した表示倍率に基づき、表示装置１０３に表示するための画像データを記憶保持部３０２からＣＰＵ４０１が取得する。

ステップＳ６１０では、実寸大表示モードの選択を受けて、実寸大表示用の画像データをＣＰＵ４０１が生成する。具体的には取得した画像データに対して、式（１）で示したピクセル倍率の算出式に基づく変倍処理を行う。必要に応じた補正処理の適用はステップＳ６０７と同様である。

ステップＳ６１１では、ステップＳ６０１で取得した表示エリアのサイズ情報およびステップＳ６０３で取得した表示倍率情報に基づき、表示装置１０３に表示するための画像データを記憶保持部３０２からＣＰＵ４０１が取得する。

ステップＳ６１２では、通常観察視野であるピクセル等倍の表示モードの選択を受けて、通常観察視野用の表示画像データの生成をＣＰＵ４０１が行う。その際、ステップＳ６０３で取得した階層画像中の近接する表示倍率の画像データを、所望の解像度となるよう解像度変換処理を適用する。必要に応じた補正処理の適用はステップＳ６０７と同様である。

ステップＳ６１３では、ステップＳ６０７、ステップＳ６１０、ステップＳ６０８で生成した何れかの表示データを表示装置１０３に対してＣＰＵ４０１が出力する。

ステップＳ６１４では、表示装置１０３が入力された表示データを画面にＣＰＵ４０１が表示する。

ステップＳ６１５では、画像表示が終了したか否かをＣＰＵ４０１が判断する。ユーザーによって別の検体画像が選択された場合、表示用アプリケーションの操作が完了した場合は処理を終了する。表示画面の更新が引き続き行われる場合には、ステップＳ６０３に戻り以降の処理を繰り返す。

以上、本実施形態の画像処理装置によれば、光学顕微鏡画像で見える観察視野と同等画角（視野角）のバーチャルスライド画像を生成することが可能になり、光学顕微鏡のユーザーが見慣れた顕微鏡観察環境をディスプレイ上に再現することが可能となる。

［第２の実施形態］
本実施形態に係る画像処理システムについて図を用いて説明する。

第１の実施形態では、バーチャルスライド画像を、一般的なピクセル等倍の表示の他、顕微鏡視野を再現する変倍表示および実寸大表示ができるようにした。第２の実施形態では、より顕微鏡観察の環境を再現するために、円形の視野領域を設け、観察しやすくする。第２実施形態では、第１実施形態と異なる構成以外は第１実施形態で説明した構成を用いることができる。

（画像処理システムの装置構成）
図７は、本実施形態に係る画像処理システムを構成する装置の全体図である。

図７で、本実施形態の画像処理システムは、画像サーバー７０１、画像処理装置１０２、表示装置１０３、画像処理装置７０４、および表示装置７０５を備える。画像処理装置１０２は検体を撮像した画像データを画像サーバー７０１から取得し、表示装置１０３へ表示するための画像データを生成することができる。画像サーバー７０１と画像処理装置１０２との間は、ネットワーク７０２を介して、汎用Ｉ／ＦのＬＡＮケーブル７０３で接続される。画像サーバー７０１は、バーチャルスライド装置である撮像装置１０１によって撮像された画像データを保存する大容量の記憶装置を備えたコンピュータである。画像サーバー７０１は、階層化された異なる表示倍率の画像データを一つのまとまりとして画像サーバー７０１に接続されたローカルストレージに保存していても良い。また、階層化された異なる表示倍率の画像データのそれぞれを分割してネットワーク上の何処かに存在するサーバー群（クラウド・サーバ）に対して各分割画像データの実体とリンク情報を分けて持つ構成でもよい。階層画像データ自体、一つのサーバーに保存しておく必要もない。なお、画像処理装置１０２および表示装置１０３は第１の実施態様の画像処理システムと同様である。画像処理装置７０４は、ネットワーク７０２を介して遠隔地にある。画像処理装置７０４の機能は画像処理装置１０２と同じであり、表示装置７０５に表示するための画像データを生成する。取得された画像データを画像サーバー７０１に格納することで、画像処理装置１０３、７０４双方から画像データを参照することができる。

図７の例では、画像サーバー７０１と画像処理装置１０２、７０４と表示装置１０３、７０５の５つの装置により画像処理システムが構成されているが、本発明はこの構成に限定されるものではない。例えば、表示装置が一体化している画像処理装置を用いてもよいし、画像処理装置の持つ機能の一部を画像サーバーに組み込んでもよい。また逆に、画像サーバーや画像処理装置の機能を更に分割してそれぞれを複数の装置によって実現してもよい。

（顕微鏡視野表示画像データ生成処理）
図８は、第１の実施形態の図６で説明した顕微鏡視野表示画像データ生成の処理に対して、本実施形態の特徴である、光学顕微鏡視野を模した円形マスクを適用した顕微鏡視野表示画像データ生成処理の流れを示すフローチャートである。観察距離情報取得を推測に置き換えた点と円形マスクによる顕微鏡視野再現の処理プロセス以外は図６と同様のため、同じ処理の説明については省略する。なお、観察距離情報は推定値で代用するため、第１の実施形態の図３で説明した観察距離取得部３０５および図４で説明した距離計測センサ４１３は不要となる。

ステップＳ６０２を除くステップＳ６０１からステップＳ６０６までのピクセル倍率変更に伴う変倍処理に必要な各種情報の取得と分岐処理の内容は第１の実施形態の図６で説明した内容と同様である。

ステップＳ８０１では、ＣＰＵ４０１は、表示装置１０３に設置した距離計測センサ４１３を用いず、表示装置１０３の表示画面のサイズ（大きさ）から視距離を推測し、その推測した距離（推測距離）を設定する。具体的にはステップＳ６０１で取得した表示装置情報に含まれる表示画面の縦サイズＨに対して、相対視距離を設定する。（例えば視距離＝３Ｈとする。）設定された視距離はユーザーによって適宜変更できる構成としてもよい。また、予めユーザー（観察者、メインテナンス担当者）が視距離を指定する情報をユーザー入力情報取得部３０３から入力する構成にしてもよい。

ステップＳ８０２では、顕微鏡視野再現表示モードの選択を受けて、顕微鏡視野再現表示用の画像データをＣＰＵ４０１が生成する。式（２）を用いたピクセル倍率の変倍処理はステップＳ６０７と同様であるが、さらに顕微鏡視野を模した円形領域の表示を行う処理が追加される。詳細については図９を用いて説明する。

ステップＳ６０８の実寸大表示モードか否かの選択以降ステップＳ６１５までの処理は第１の実施の形態と同じため、説明は省略する。

（顕微鏡視野表示画像データ生成処理）
図９は、図８のステップＳ８０２で示した顕微鏡視野を再現する表示用の画像データ生成処理の詳細な流れを示すフローチャートである。

ステップＳ９０１では、マスク情報を取得する。マスク情報には、以下の２種類がある。すなわち、一つは、表示装置１０３が有する表示エリアを構成する表示画素分の情報を持ち、対応する画像データをそのままの輝度値で表示させるか、それとも輝度値を変更させるかを画素毎に判断できるようにしたものである。もう一つは、表示画素毎にどの程度の輝度変更を行うか判断できるようにしたものである。ステップＳ９０４以降の輝度値シフトの処理を行う場合は、各５ビットの値を持ち、マスク情報が０のときは画像データの値をそのまま表示用データとして使用し、任意の値のときはその値に応じて下位方向に輝度値をビットシフトすることにする。例えば８ビット２５６階調の輝度データを保有している場合、マスク情報の値が１のときは１ビット左シフトすることで輝度データは半分の値になる。８ビットシフトすれば画像データの値は０となるため、完全に表示画素をマスクする（対象となる表示画素の輝度値を０にする）ことになる。本実施の形態では、マスク情報との演算先として各画素の輝度データを想定しているが、ＲＧＢのカラー画像データが対象となる場合、一端ＹＵＶやＹＣＣ等の輝度／色差信号へ変換し、変換後の輝度情報を演算処理の対象とすることができる。また、ＲＧＢ各色に対してビットシフトを適用する構成をとってもよい。ビットシフトは、表示エリア内の表示画素に対して任意に設定することができるが、ここでは顕微鏡における観察視野を再現するため、円形の視野内のマスク値を０、それ以外の領域のマスク値を２として以後の説明を行う。マスク値として２が設定された表示エリア内は、取得した画像データの輝度値を１／４に低下させることになる。さらには、特定のビットに意味を持たせる構成をとることで、逆に輝度を上げる処理を適用させることもできる。

また、ステップＳ９０７以降の表示画素単位で輝度値を変化させる処理を行う場合は、各８ビットの値を持ち、マスク情報と画像データの各輝度値との乗算結果を新たに算出した画素の輝度値とする。

ステップＳ６０７では、顕微鏡視野再現表示モードの選択を受けて、顕微鏡視野再現表示用の画像データをＣＰＵ４０１が生成する。具体的には取得した画像データに対して、式（２）で示したピクセル倍率の算出式で変倍の処理を行う。こちらの内容は、図６で説明したものと同じである。なお、円形の表示領域（観察領域）のサイズについても、表示画像中の被写体と同様の処理をしても良い。つまり、視距離が短い場合の観察領域のサイズよりも視距離が相対的に長い場合の観察領域のサイズのほうが大きくなるように（視距離が短い場合と視距離が相対的に長い場合とで観察領域を観察する観察者の視角が等しくなるように）処理しても良い。

ステップＳ９０２では、顕微鏡視野を模した円形の表示領域設定を行うか否かをＣＰＵ４０１が判断する。円形の表示領域を設定する場合はステップＳ９０３へ、第１の実施形態で説明した顕微鏡視野再現のサイズで画面上に画像の表示を行う場合は処理を終了する。

ステップＳ９０３では、円形の表示領域外をシフト処理による輝度低下の画像で表示するか、表示画素単位で輝度低下の画像で表示するかをＣＰＵ４０１が判断する。

シフト処理を行う場合はステップＳ９０４へ、マスク情報と画素の輝度値との乗算を行う場合はステップＳ９０７へそれぞれ進む。

ステップＳ９０４では、顕微鏡視野を再現することを受けて、ステップＳ９０１で取得、把握したマスク情報の値を各対応画素間でＣＰＵ４０１が参照する。参照した対応する表示画素のマスク情報の値が０であるか、すなわち注視領域として提示される通常輝度となる画素か、それとも顕微鏡視野外の輝度を低下させる対象となる画素かをＣＰＵ４０１が判断する。マスク値が０の場合はステップＳ９０５へ、マスク値が０以外の場合、すなわちビットシフトにより画素の輝度値を低下させる場合はステップＳ９０６へそれぞれ進む。なお、円形の表示領域（観察領域）のサイズについては、予め決められていても良いし、ユーザー入力情報取得部３０３又は画像処理装置１０２の顕微鏡情報取得部で顕微鏡に関する情報（実視野など）を取得してその情報に基づいてＣＰＵ４０１が算出しても良い。

ステップＳ９０５では、マスク値が０であることを受けて、取得した画像データの画素の輝度値をそのまま表示用の画素値としてＣＰＵ４０１が採用する。なお、表示装置１０３の特性に合わせた補正処理を行う場合は、輝度値が変化する場合もある。

ステップＳ９０６では、マスク値が０以外の値であることを受けて、取得した画像データの画素の輝度値を、ステップＳ９０１で取得したマスク情報の値に応じて下位方向にビットシフト演算をＣＰＵ４０１が行う。この結果、マスク値に応じた輝度の低下を実現することができる。

ステップＳ９０７では、画像データの各画素に対応するマスク情報をＣＰＵ４０１が把握する。マスク情報は例えば８ビットの情報であり、０から２５５までの値をとる。

ステップＳ９０８では、対応する画素の輝度値とマスク情報の値を乗算し、新たな輝度値としてＣＰＵ４０１が算出する。実際には、乗算された結果をマスク情報の最大値である２５５で割った値で正規化することによって、マスク情報が２５５の場合には除算前と同じ輝度値が算出されることになる。このように画素単位で同一処理を適用することでも顕微鏡視野を再現することができる。ビットシフトによって輝度低下を行っていたのに対して、マスク情報との乗算によって算出できることになり、より輝度の設定の自由度が増えることになる。マスク情報は予め用意しておいた規定の値を用いても、ユーザー指示によって変更または新たに設定することも可能である。その結果、顕微鏡視野を模した円形の観察視野形状以外の形状にも柔軟に対応することができる。

（表示画面レイアウト）
図１０は、本実施形態の画像処理装置１０２で生成した表示データを表示装置１０３に表示した場合の表示画面の一例である。図１０では、顕微鏡視野を模した二つの表示モードについて説明する。

図１０（ａ）は、表示装置１０３の画面レイアウトの基本構成である。表示画面（表示画像）は、全体ウィンドウ１００１内に表示されており、情報エリア１００２、サムネイル画像１００３、詳細表示領域１００４、表示領域１００５、表示倍率１００６、からそれぞれ構成されている。情報エリア１００２は、表示や操作のステータスと各種画像の情報を示す。詳細表示領域１００４は、サムネイル画像中に表示領域１００５のエリアを示す。表示領域１００５は、詳細観察用の検体画像データを表示する、表示倍率１００６は、表示領域１００５の表示倍率を表示する。各領域、画像はシングルドキュメントインターフェースによって全体ウィンドウ１００１の表示領域が機能領域毎に分割される形態でも、マルチドキュメントインターフェースによって各々の領域が別ウィンドウで構成される形態でも構わない。サムネイル画像１００３は、検体の全体像における検体画像データの表示領域１００５の位置や大きさを表示する。位置や大きさは、詳細表示領域１００４の枠によって把握することができる。詳細表示領域１００４の設定は、例えば、タッチパネルまたはマウス４１１等の外部接続された入力装置からのユーザー指示による直接の設定でも、表示されている画像に対する表示領域の移動や拡大・縮小操作によっても設定、更新することができる。検体画像データの表示領域１００５には、詳細観察用の検体画像データが表示される。ここでは、ユーザーからの操作指示によって、表示領域の移動（検体全体画像の中から観察の対象となる部分領域の選択、移動）や表示倍率の変更による画像の拡大・縮小像が表示される。

バーチャルスライド装置で取得された画像データは、検体の一部領域を分割して撮像した画像データの繋ぎ合わせの画像として用意される。このように、ピクセル等倍表示では、表示装置１０３全面に顕微鏡視野よりも広い範囲で情報を提示することが可能である。したがって、ピクセル等倍表示することで、のぞき込む動作がなくなること、ある程度の視距離を確保できること、より多くの画像データや検体に関連する情報を合わせて表示することができるなど、種々の利便性を提供することができる。

図１０（ｂ）は、顕微鏡視野を再現し、顕微鏡視野外は均一な輝度低下を行った表示画面の例である。１００６は表示倍率を示している。ここでは高倍の４０倍で表示されているものとする。１００８は顕微鏡の視野を模した観察領域で、円形の視野内は通常の輝度で画像が表示されている。これに対し、１００７の顕微鏡視野外の領域は一定の割合で輝度を低下させている。つまり、広い表示エリアに検体画像は表示されているものの、注視すべき顕微鏡視野以外の領域の輝度を低下させて表示形態を異ならせている。このような表示を行うことで、病理医にとって使い慣れた顕微鏡の観察視野を再現するとともに、その周辺領域にもバーチャルスライド装置の利点であるより多くの画像情報を提示することを両立している。顕微鏡視野以外の情報量削減の手法としては、輝度を低下させる以外に、色情報を削減しモノクロのデータとして表示する方法がある。

図１０（ｃ）は、顕微鏡視野を再現し、顕微鏡視野外は顕微鏡視野中心からの距離に応じて輝度低下を行った表示画面の例である。１００９の顕微鏡視野外の領域は、顕微鏡視野を再現した円形の領域の中心からの距離に応じて徐々に輝度が低下している。ここでは、注視すべき顕微鏡視野における画像の提示はそのままに、注視点である円形の中心からの距離に応じて、顕微鏡視野以外の領域の輝度を低下させている。図１０（ｂ）で示した顕微鏡視野以外の領域に対する一律な情報削減と比べて、注視すべき領域への情報量を増やすことで関心領域が見つけやすくなるなど利便性を増している。なお、顕微鏡視野と顕微鏡視野外とで輝度を異ならせることで表示形態を異ならせていたが、例えば、顕微鏡視野外だけボケを付加した画像にしたり、顕微鏡視野外だけモノクロ画像にしたりしても良い。

以上、本実施形態の画像処理装置によれば、光学顕微鏡画像で見える観察視野と同等のバーチャルスライド画像を生成できる。特に、本実施形態の画像処理装置によれば、円形のマスク画像を用意することでさらに顕微鏡の見えと同等のバーチャルスライド画像を生成することができる。

［その他の実施形態］
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

すなわち、前述した実施形態の機能の全部または一部を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体も本発明を構成することになる。

また、コンピュータが、読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが、実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も本発明に含まれ得る。なお、もちろん、実施形態の機能が専用の回路等のハードウェアを用いて実現されてもよい。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれ得る。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

また、第１と第２の実施形態で説明してきた構成をお互いに組み合わせることもできる。例えば、画像処理装置と撮像装置がローカルで接続されている環境において、第２の実施形態で説明した円形マスク画像を適用できるようにしてもよい。さらには視距離を実測値ではなく、推測値を用いてもよい。また、画像処理装置が撮像装置と画像サーバーの両方に接続されており、処理に用いる画像をいずれの装置から取得できるような構成にしてもよい。その他、上記各実施形態における様々な技術を適宜組み合わせることで得られる構成も本発明の範疇に属する。

１０１ 撮像装置
１０２ 画像処理装置
１０３ 表示装置
３０１ 画像データ取得部
３０２ 記憶保持部
３０３ ユーザー入力情報取得部
３０４ 表示装置情報取得部
３０５ 観察距離取得部
３０６ ピクセル倍率設定部
３０７ 表示画像データ取得部
３０８ 表示データ生成部
３０９ 表示データ出力部
７０１ 画像サーバー
７０４ ネットワークで接続された遠隔地の画像処理装置
７０５ 画像処理装置７０４と接続される表示装置

Claims (15)

1. 被写体を撮像することで取得した撮像画像のデータを処理して、表示装置に表示する表示画像のデータを生成する画像処理装置であって、
   前記撮像画像のデータを取得する画像データ取得手段と、
   前記表示装置と前記表示画像を観察する観察者との距離又は距離に関する情報を取得する距離取得手段と、
   前記撮像画像のデータと前記距離に関する情報とに基づいて、前記表示画像のデータを生成する表示データ生成手段と、を備え、
   前記表示データ生成手段は、前記距離又は前記距離に関する情報から推測した推測距離が短い場合における前記表示画像中の前記被写体のサイズよりも前記距離又は前記距離に関する情報から推測した推測距離が相対的に長い場合の前記表示画像中の前記被写体のサイズのほうが大きくなるように、前記表示画像のデータを生成する
   ことを特徴とする画像処理装置。
2. 表示モードの設定情報を取得する表示モード取得手段を更に備え、
   前記表示データ生成手段は、所定の表示モードが設定された場合に、前記距離又は前記推測距離が短い場合における前記表示画像中の前記被写体のサイズよりも前記距離又は前記推測距離が相対的に長い場合の前記表示画像中の前記被写体のサイズのほうが大きくなるように、前記表示画像のデータを生成する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記表示データ生成手段は、実寸大表示モードが設定された場合に、前記表示画像中の前記被写体のサイズが実寸大になるように、前記表示画像のデータを生成する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記表示データ生成手段は、ピクセル等倍表示モードが設定された場合に、前記表示画像がピクセル等倍で表示されるように、前記表示画像のデータを生成する
   ことを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記表示画像は、前記被写体の一部分を拡大した拡大画像を含み、
   前記拡大画像は、観察領域とその周辺の領域とを含み、
   前記表示データ生成手段は、前記観察領域と前記周辺の領域とで表示形態が異なるように、前記表示画像のデータを生成する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記表示データ生成手段は、前記観察領域の輝度よりも前記周辺領域の輝度のほうが低くなるように、前記表示画像のデータを生成する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記表示データ生成手段は、前記距離又は前記推測距離が短い場合の前記観察領域のサイズよりも前記距離又は前記推測距離が相対的に長い場合の前記観察領域のサイズのほうが大きくなるように、前記表示画像のデータを生成する
   ことを特徴とする請求項５又は６に記載の画像処理装置。
8. 前記距離取得手段は、前記距離を計測する距離計測手段を有する
   ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記距離取得手段は、前記表示装置の情報を取得する表示装置情報取得手段を有し、
   前記距離に関する情報は、前記表示装置の情報を含む
   ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
10. 前記距離取得手段は、前記表示装置の情報から前記推測距離を推測する
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記距離取得手段は、ユーザーが入力した前記距離又は前記距離に関する情報を取得する
    ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
12. 顕微鏡の情報を取得する顕微鏡情報取得手段を更に備え、
    前記表示データ生成手段は、前記顕微鏡の情報に基づいて、前記表示画像のデータを生成する
    ことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記表示データ生成手段は、前記距離が短い場合と前記距離が相対的に長い場合とで前記表示画像中の前記被写体を観察する観察者の視角が等しくなるように、前記表示画像のデータを生成する
    ことを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 被写体を撮像することで取得した撮像画像のデータを処理して、表示装置に表示する表示画像のデータを生成する画像処理方法であって、
    コンピュータが、前記撮像画像のデータを取得する画像取得工程と、
    コンピュータが、前記表示装置と前記表示画像を観察する観察者との距離又は距離に関する情報を取得する距離取得工程と、
    コンピュータが、前記撮像画像のデータと前記距離に関する情報とに基づいて、前記表示画像のデータを生成する表示データ生成工程と、を有し、
    前記表示データ生成工程では、前記距離又は前記距離に関する情報から推測した推測距離が短い場合における前記表示画像中の前記被写体のサイズよりも前記距離又は前記距離に関する情報から推測した推測距離が相対的に長い場合の前記表示画像中の前記被写体のサイズのほうが大きくなるように、コンピュータが前記表示画像のデータを生成する
    ことを特徴とする画像処理方法。
15. 請求項１４に記載の画像処理方法の各ステップをコンピュータに実行させる
    ことを特徴とするプログラム。

Images