JP2016038541A - 画像処理方法および画像処理装置 - Google Patents

Abstract

【課題】複数のレイヤーをもつ画像データセットを画面上で観察する際のユーザーの操作性及び利便性を向上するための技術を提供する。【解決手段】画像処理方法が、第１のエリアの第１画像データが表示されている状態から、第２のエリアの画像データの表示に変更する操作指示を取得する指示情報取得ステップと、前記被写体の深度方向の存在範囲を表す厚み情報を取得する厚み情報取得ステップと、前記被写体の厚み情報に基づいて、前記第２のエリアの１以上のレイヤーの画像データのなかから、変更後の表示に用いる画像データである第２画像データを選択する選択ステップと、前記第２画像データから表示用画像データを生成し出力するステップと、を含む。【選択図】図８

Description

本発明は、画像処理方法および画像処理装置に関し、特に、被写体の画像データを表示するための技術に関する。

近年、病理分野において、病理診断のツールである光学顕微鏡の代替として、撮像装置を具備したバーチャルスライドシステムが注目を集めている。バーチャルスライドシステムは、スライド（プレパラートともいう）に載置された検体（以後、被検試料と呼ぶ）を撮像し、取得した画像をデジタル化してディスプレイ上での病理診断を可能とする。

バーチャルスライドシステムを用いた病理診断画像のデジタル化により、従来の被検試料の光学顕微鏡像をデジタルデータとして取り扱うことが可能となる。その結果、遠隔診断の迅速化、デジタル画像を用いた患者への説明、希少症例の共有化、教育・実習の効率化、などのメリットが得られると期待されている。光学顕微鏡と同等程度の操作をバーチャルスライドシステムで実現するためには、スライド上の被検試料全体をデジタル化する必要がある。被検試料全体のデジタル化により、バーチャルスライドシステムで作成したデジタルデータをＰＣ(Personal Computer)やワークステーション上で動作するビューワ
ソフトで観察することができる。被検試料全体をデジタル化した場合の画素数は、通常、数億画素から大きい場合数百億画素となり、非常に大きなデータ量となる。バーチャルスライドシステムで作成したデータ量は膨大であるが、それゆえ、ビューワで拡大・縮小処理を行うことでミクロ（細部拡大像）からマクロ（全体俯瞰像）まで観察することが可能となり、種々の利便性を提供する。必要な情報を予めすべて取得しておくことで、低倍画像から高倍画像までユーザーが求める解像度・倍率による即時の表示が可能となる。

スライド内の被検試料は厚みを持っており、観察したい組織や細胞が存在する深度（奥行き）位置がスライドの（ＸＹ方向の）観察位置によって異なる。そのため、光軸方向に沿って焦点位置を変えて複数枚の画像を撮像し、焦点位置の異なる複数枚の画像を生成する構成が存在する。以後、被写体の光軸方向（Ｚ方向）の深度位置をレイヤーと呼び、その深度位置に焦点位置を合せて撮像した二次元画像をレイヤー画像と呼ぶ。そして、焦点位置の異なる複数枚のレイヤー画像から構成される画像群（三次元画像情報）をＺスタック画像と呼ぶ。

Ｚスタック画像を効率的に閲覧する方法として、オートフォーカス（合焦した画像を自動で選択）によって合焦画像を表示して、医師の診断を支援する医療画像用表示装置が提案されている（特許文献１）。

特開２０１２−３７８６１号公報

従来方法では、ユーザーが表示エリアをＸＹ方向に移動させるスクロール操作指示を行った際に、オートフォーカスによって自動で合焦画像に切り替え表示をすると、表示された合焦画像のレイヤーと本来観察したい画像のレイヤーが異なる場合があった。また、レイヤーの切り替え表示や、表示エリア毎の最合焦レイヤーを継ぎ合わせた全焦点画像の表示などが自動で行われると、表示された画像が深度方向に不連続であることがユーザーに
とって分からない場合があった。
スクロールしたときに気づかないうちにレイヤーが変わってしまったり、現在観察しているレイヤーの深度方向の位置が不明であると、組織や細胞の三次元構造を把握しにくいといった課題が生じる。

一般に、バーチャルスライドシステムの撮像系の視野の広さに比べて被写体となる被検試料の大きさははるかに大きいため、被検試料を複数のエリア（撮像領域）に分けて撮像する分割撮像が行われる。エリア毎の分割画像（レイヤー画像）をタイル画像と呼ぶ。表示エリアを移動するスクロール操作を行ったときに、もし異なるレイヤーのタイル画像に自動で切り替わってしまうと、タイル画像間の境界がアーティファクトとなって現れ、正しい診断を阻害する可能性がある。

本発明は上記実情に鑑みなされたものであって、複数のレイヤーをもつ画像データセットを画面上で観察する際のユーザーの操作性及び利便性を向上するための技術を提供することを目的とする。また本発明のさらなる目的は、表示エリアの移動に伴い適切な深度位置の画像データに自動的に切り替えるための技術を提供することにある。

本発明の第一の側面は、被写体の複数のエリアのそれぞれについて深度位置が異なる１以上のレイヤーの画像データをもつ、前記被写体の画像データセットを基にして、表示装置に表示するための表示用画像データを生成する画像処理方法であって、第１のエリアの第１画像データが表示されている状態から、第２のエリアの画像データの表示に変更する操作指示を取得する指示情報取得ステップと、前記被写体の深度方向の存在範囲を表す厚み情報を取得する厚み情報取得ステップと、前記被写体の厚み情報に基づいて、前記第２のエリアの１以上のレイヤーの画像データのなかから、変更後の表示に用いる画像データである第２画像データを選択する選択ステップと、前記第２画像データから表示用画像データを生成し出力するステップと、を含むことを特徴とする画像処理方法を提供する。

本発明の第二の側面は、本発明に係る画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラムを提供する。

本発明の第三の側面は、被写体の複数のエリアのそれぞれについて深度位置が異なる１以上のレイヤーの画像データをもつ、前記被写体の画像データセットを基にして、表示装置に表示するための表示用画像データを生成する画像処理装置であって、第１のエリアの第１画像データが表示されている状態から、第２のエリアの画像データの表示に変更する操作指示を取得する指示情報取得部と、前記被写体の深度方向の存在範囲を表す厚み情報を取得する厚み情報取得部と、前記被写体の厚み情報に基づいて、前記第２のエリアの１以上のレイヤーの画像データのなかから、変更後の表示に用いる画像データである第２画像データを選択する選択部と、前記第２画像データから表示用画像データを生成する生成部と、を有すことを特徴とする画像処理装置を提供する。

本発明によれば、複数のレイヤーをもつ画像データセットを画面上で観察する際のユーザーの操作性及び利便性を向上することができる。また、表示エリアの移動に伴い適切な深度位置の画像データに自動的に切り替えることができる。

第１実施形態における、画像処理システムの装置構成の全体図。 第１実施形態における、撮像装置の機能ブロック図。 第１実施形態における、画像処理装置の機能ブロック図。 第１実施形態における、画像処理装置のハードウェア構成図。 被検試料とタイル画像データの取得位置との関係を示す模式図。 画像データセットの構成を示す図。 第１実施形態における、スクロール時のレイヤー選択方法の概念図。 第１実施形態における、画像表示処理の流れを示すフローチャート。 図８のステップＳ８０２の詳細を示すフローチャート。 第１実施形態における、ユーザー設定リストの設定画面の例を示す図。 第１実施形態における、ユーザー設定情報の画面表示の例を示す図。 図８のステップＳ８０４の詳細を示すフローチャート。 第１実施形態における、表示画面のレイアウト例を示す図。 第２実施形態における、画像処理システムの装置構成の全体図。 第２実施形態における、被写界深度範囲内のレイヤーを選択する概念図。 第２実施形態における、例外処理の流れを示すフローチャート。 第２実施形態における、画像の切り替え表示の例を示す図。 第３実施形態における、タイル画像データ間の境界表示の概念図。 第３実施形態における、境界表示処理の流れを示すフローチャート。

［第１実施形態］
第１実施形態は、本発明に係る画像処理方法及び画像処理装置を、撮像装置と表示装置を備えた画像処理システムに適用した例である。この画像処理システムについて、図１を用いて説明する。

（画像処理システムの装置構成の全体図）
図１は、本発明の第１実施形態の画像処理システムを示す。このシステムは、撮像装置（顕微鏡装置、またはバーチャルスライド装置）１０１、画像処理装置１０２、表示装置１０３から構成され、スライド（被検試料）の二次元画像を取得し表示する機能を有するシステムである。
撮像装置１０１と画像処理装置１０２との間は、専用もしくは汎用Ｉ／Ｆのケーブル１０４で接続され、画像処理装置１０２と表示装置１０３の間は、汎用のＩ／Ｆのケーブル１０５で接続される。

撮像装置１０１としては、スライドのＸＹ平面を複数のエリアに分割し、各エリアについて撮像を行い、複数枚の二次元画像（デジタル画像）を出力する機能を持つバーチャルスライド装置を用いることができる。二次元画像の取得にはＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子が用いられる。なお、バーチャルスライド装置の代わりに、通常の光学顕微鏡の接眼部にデジタルカメラを取り付けたデジタル顕微鏡装置により、撮像装置１０１を構成することもできる。

画像処理装置１０２は、撮像装置１０１により取得した画像データセットを基に、表示装置１０３に表示するための表示用画像データを、ユーザーからの要求に応じて生成する機能を持つ装置である。ここでは、画像処理装置１０２は、ＣＰＵ（中央演算処理装置）、ＲＡＭ、記憶装置、操作部を含む各種Ｉ／Ｆなどのハードウェア資源を備えた、汎用のコンピュータやワークステーションを想定する。記憶装置は、ハードディスクドライブなどの大容量情報記憶装置であり、後述する各処理を実現するためのプログラムやデータ、ＯＳ（オペレーティングシステム）などが格納されている。上述した各機能は、ＣＰＵが記憶装置からＲＡＭに必要なプログラムおよびデータをロードし、当該プログラムを実行することにより実現されるものである。操作部は、キーボードやマウスなどにより構成され、操作者が各種の指示を入力するために利用される。

また、画像処理装置１０２は、撮像装置１０１以外の装置から画像データを受信することもできる。例えば、画像処理装置１０２は、デジタルカメラ、Ｘ線カメラ、ＣＴ、ＭＲＩ、ＰＥＴ、電子顕微鏡、質量顕微鏡、操作型プローブ顕微鏡、超音波顕微鏡、眼底カメラ、内視鏡、スキャナ等の撮像装置から、当該撮像装置で撮像した画像データを受信してもよい。
表示装置１０３は、画像処理装置１０２が演算処理した結果である観察用画像を表示するディスプレイであり、ＣＲＴや液晶ディスプレイ、プロジェクタ等により構成される。

図１の例では、撮像装置１０１と画像処理装置１０２および表示装置１０３の３つの装置によって画像処理システムが構成されているが、本発明の構成はこの構成に限定されるものではない。例えば、表示装置と一体化した画像処理装置を用いてもよいし、画像処理装置の機能の一部または全部を撮像装置に組み込んでもよい。また撮像装置、画像処理装置、表示装置の機能を１つの装置で実現することもできる。また逆に、システムを構成する各装置の機能を分割して複数の装置構成によって実現してもよい。

（撮像装置の機能ブロック図）
図２は、撮像装置１０１の機能構成を示すブロック図である。
撮像装置１０１は、概略、照明ユニット２０１、ステージ２０２、ステージ制御ユニット２０５、結像光学系２０７、撮像ユニット２１０、現像処理ユニット２１９、プレ計測ユニット２２０、メイン制御系２２１、データ出力部２２２から構成される。

照明ユニット２０１は、ステージ２０２上に配置されたスライド２０６に対して均一に光を照射する手段であり、光源、照明光学系、および光源駆動の制御系から構成される。ステージ２０２は、ステージ制御ユニット２０５によって駆動制御され、ＸＹＺの三軸方向への移動が可能である。スライド２０６は、観察対象となる組織の切片や塗抹した細胞をスライドグラス上に貼り付け、封入剤とともにカバーグラスの下に固定した部材である。

ステージ制御ユニット２０５は、駆動制御系２０３とステージ駆動機構２０４から構成される。駆動制御系２０３は、メイン制御系２２１の指示を受け、ステージ２０２の駆動制御を行う。ステージ２０２の移動方向、移動量などは、プレ計測ユニット２２０によって計測した被検試料の位置情報および厚み情報（または距離情報）と、必要に応じてユーザーからの指示とに基づいて決定される。ステージ駆動機構２０４は、駆動制御系２０３の指示に従い、ステージ２０２を駆動する。

結像光学系２０７は、スライド２０６に載置された被検試料の光学像を撮像センサ２０８へ結像するためのレンズ群である。
撮像ユニット２１０は、撮像センサ２０８とアナログフロントエンド（ＡＦＥ）２０９から構成される。撮像センサ２０８は、二次元の光学像を光電変換によって電気的な物理量へ変える一次元もしくは二次元のイメージセンサであり、例えば、ＣＣＤやＣＭＯＳデバイスが用いられる。一次元センサの場合、走査方向へスキャンすることで二次元画像が得られる。撮像センサ２０８からは、光の強度に応じた電圧値をもつ電気信号が出力される。撮像画像としてカラー画像が所望される場合は、例えば、Ｂａｙｅｒ配列のカラーフィルタが取り付けられた単板のイメージセンサを用いればよい。撮像ユニット２１０は、ステージ２０２が光軸と直交する二次元平面であるＸＹ軸方向に駆動することにより、被検試料の分割画像を撮像する。

ＡＦＥ２０９は、撮像センサ２０８から出力されたアナログ信号をデジタル信号へ変換する回路である。ＡＦＥ２０９はＨ／Ｖドライバ、ＣＤＳ（Correlated double sampling
）、アンプ、ＡＤ変換器およびタイミングジェネレータによって構成される。Ｈ／Ｖドライバは、撮像センサ２０８を駆動するための垂直同期信号および水平同期信号を、センサ駆動に必要な電位に変換する。ＣＤＳは、固定パターンのノイズを除去する二重相関サンプリング回路である。アンプは、ＣＤＳでノイズ除去されたアナログ信号のゲインを調整するアナログアンプである。ＡＤ変換器は、アナログ信号をデジタル信号に変換する。撮像装置１０１の最終段における出力が８ビットの場合、後段の処理を考慮して、ＡＤ変換器はアナログ信号を１０ビットから１６ビット程度に量子化されたデジタルデータへ変換し、出力する。変換されたセンサ出力データはＲＡＷデータと呼ばれる。ＲＡＷデータは後段の現像処理ユニット２１９で現像処理される。タイミングジェネレータは、撮像センサ２０８のタイミングおよび後段の現像処理ユニット２１９のタイミングを調整する信号を生成する。

撮像センサ２０８としてＣＣＤを用いる場合、上記ＡＦＥ２０９は必須となるが、デジタル出力可能なＣＭＯＳイメージセンサの場合は、上記ＡＦＥ２０９の機能をセンサに内包することになる。また、不図示ではあるが、撮像センサ２０８の制御を行う撮像制御部が存在し、撮像センサ２０８の動作制御や、シャッタースピード、フレームレートやＲＯＩ（Region Of Interest）など動作タイミングや撮像制御を合わせて行う。

現像処理ユニット２１９は、黒補正部２１１、ホワイトバランス調整部２１２、デモザイキング処理部２１３、画像合成処理部２１４、解像度変換処理部２１５、フィルタ処理部２１６、γ補正部２１７および圧縮処理部２１８から構成される。黒補正部２１１は、ＲＡＷデータの各画素から、遮光時に得られた黒補正データを減算する処理を行う。ホワイトバランス調整部２１２は、照明ユニット２０１の光の色温度に応じて、ＲＧＢ各色のゲインを調整することによって、望ましい白色を再現する処理を行う。具体的には、黒補正後のＲＡＷデータに対しホワイトバランス補正用データが加算される。単色の画像を取り扱う場合にはホワイトバランス調整処理は不要となる。現像処理ユニット２１９は、撮像ユニット２１０で撮像された被検試料のタイル画像データから、後述する階層画像データを生成する。

デモザイキング処理部２１３は、Ｂａｙｅｒ配列のＲＡＷデータから、ＲＧＢ各色の画像データを生成する処理を行う。デモザイキング処理部２１３は、ＲＡＷデータにおける周辺画素（同色の画素と他色の画素を含む）の値を補間することによって、注目画素のＲＧＢ各色の値を計算する。またデモザイキング処理部２１３では、欠陥画素の補正処理（補間処理）も実施する。なお、撮像センサ２０８がカラーフィルタを有しておらず、単色の画像が得られている場合、デモザイキング処理は不要となる。また、三板式等ＲＧＢの独立した画像データを複数のイメージセンサに割り当てて撮像する場合も、本デモザイキング処理部２１３は不要となる。

画像合成処理部２１４は、撮像センサ２０８によって撮像範囲を分割して取得したタイル画像データをつなぎ合わせて所望の撮像範囲の大容量画像データを生成する処理を行う。一般に、既存のイメージセンサによって一回の撮像で取得できる撮像範囲より被検試料の存在範囲が広いため、一つのレイヤー（深度位置）の二次元画像データを、複数の分割されたタイル画像データをつなぎ合わせることで生成する。例えば、０．２５μｍの分解能でスライド２０６上の１５ｍｍ角の範囲を撮像すると仮定した場合、一辺の画素数は１５ｍｍ／０．２５μｍの６万画素となり、トータルの画素数はその二乗である３６億画素となる。１０Ｍ（１０００万）の画素数を持つ撮像センサ２０８を用いて３６億画素の画像データを取得するには、３６億／１０００万である３６０個のエリアに分割して撮像を行う必要がある。なお、複数のタイル画像データをつなぎ合わせる方法としては、ステージ２０２の位置情報に基づいて位置合わせをしてつなぐ方法や、複数のタイル画像の対応する点または線をつなぐ方法、タイル画像データの位置情報に基づいてつなぐ方法などが
ある。つなぎ合わせの際、０次補間、線形補間、高次補間等の補間処理により滑らかにつなげることができる。本実施形態では、撮像装置１０１内で一枚の大容量画像の生成を想定しているが、画像処理装置１０２の機能として、分割取得されたタイル画像データを表示用画像データの生成時につなぎ合わせる構成をとってもよい。

解像度変換処理部２１５は、画像合成処理部２１４で生成された大容量の二次元画像を高速に表示するために、表示倍率に応じた倍率画像を予め解像度変換によって生成する処理を行う。低倍から高倍まで複数の段階の画像データを生成し、ひとまとめにした階層構造を持つ画像データ(階層画像データ)として構成する。撮像装置１０１で取得した画像データは診断の目的から高解像、高分解能の撮像データであることが望まれる。ただし、先に説明したとおり数十億画素からなる画像データの縮小画像を表示する場合、表示の要求に合わせて都度解像度変換を行っていたのでは処理が間に合わなくなる。そのため、予め倍率の異なる何段階かの階層画像を用意しておき、表示側の要求に応じて用意された階層画像から表示倍率と近接する倍率の画像データを選択し、表示倍率に合わせて倍率の調整を行うことが望ましい。一般には画質の点でより高倍の画像データから表示データを生成することがより好ましい。撮像が高解像に行われるため、表示用の階層画像データは、最も高解像な画像データをもとに、解像度変換手法によって縮小することで生成される。解像度変換の手法として二次元の線形な補間処理であるバイリニアの他、三次の補間式を用いたバイキュービックなどが広く知られている。

フィルタ処理部２１６は、画像に含まれる高周波成分の抑制、ノイズ除去、解像感強調を実現するデジタルフィルタである。γ補正部２１７は、一般的な表示デバイスの階調表現特性に合わせて、画像に逆特性を付加する処理を実行したり、高輝度部の階調圧縮や暗部処理によって人間の視覚特性に合わせた階調変換を実行したりする。本実施形態では形態観察を目的とした画像取得のため、後段の表示処理に適した階調変換が画像データに対して適用される。

圧縮処理部２１８は、大容量の二次元画像データの伝送の効率化および保存する際の容量削減が目的で行われる静止画圧縮の符号化処理を行う。静止画像の圧縮手法として、ＪＰＥＧ（Joint Photographic Experts Group）、ＪＰＥＧを改良、進化させたＪＰＥＧ２０００やＪＰＥＧ ＸＲ等の規格化された符号化方式が広く一般に知られている。

また、階層画像データ中の二次元画像データはデータ伝送および表示時のＪＰＥＧデコードの効率化のため、それぞれの階層は複数枚のタイル画像データに分割された状態で構成される。なお、先の説明では取得時の分割画像をタイル画像と表現したが、本タイル画像と合わせて、表示に用にさらに分割を施した画像もタイル画像と呼び、そのデータをタイル画像データと呼ぶ。階層画像データの構成の詳細については図６（ａ）〜図６（ｂ）で説明する。

プレ計測ユニット２２０は、スライド２０６上の被検試料の位置情報、所望の焦点位置までの距離情報、および被検試料の厚みに起因する光量調整用のパラメータを算出するための事前計測を行うユニットである。本計測（撮像画像データの取得）の前にプレ計測ユニット２２０によって情報を取得し、本計測の撮像位置を決定することで、無駄のない撮像を実施することが可能となる。二次元平面の位置情報取得には、撮像センサ２０８より解像力の低い二次元撮像センサが用いられる。プレ計測ユニット２２０は、取得した画像から被検試料のＸＹ平面上での位置を把握する。距離情報および厚み情報の取得には、レーザー変位計やシャックハルトマン方式の計測器が用いられる。

メイン制御系２２１は、これまで説明してきた各種ユニットの制御を行う機能を有する。メイン制御系２２１および現像処理ユニット２１９の制御機能は、ＣＰＵとＲＯＭとＲ
ＡＭを有する制御回路により実現される。すなわち、ＲＯＭ内にプログラムおよびデータが格納されており、ＣＰＵがＲＡＭをワークメモリとして使いプログラムを実行することで、メイン制御系２２１および現像処理ユニット２１９の機能が実現される。ＲＯＭには例えばＥＥＰＲＯＭやフラッシュメモリなどのデバイスが用いられ、ＲＡＭには例えばＤＤＲ３などのＤＲＡＭデバイスが用いられる。なお、現像処理ユニット２１９の機能を専用のハードウェアデバイスとしてＡＳＩＣ化したもので置き換えてもよい。

データ出力部２２２は、現像処理ユニット２１９によって生成されたＲＧＢのカラー画像を画像処理装置１０２に送るためのインターフェースである。撮像装置１０１と画像処理装置１０２とは、光通信のケーブルにより接続される。あるいは、ＵＳＢやＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）等の汎用インターフェースが使用される。

（画像処理装置の機能ブロック図）
図３は、第１実施形態の画像処理装置１０２の機能構成を示すブロック図である。
画像処理装置１０２は、画像データ取得部３０１、記憶保持部（メモリ）３０２、画像データ選択部３０３、操作指示情報取得部３０４、操作指示内容解析部３０５、レイヤー位置・階層位置設定部３０６、水平位置設定部３０７を備える。また画像処理装置１０２は、被検試料の厚み情報取得部３０８、表示画像レイヤー・位置取得部３０９、スクロール後表示画像レイヤー設定部３１０、表示用の画像データ生成部３１１、表示用の画像データ出力部３１２、ユーザー設定情報取得部３１３を備える。

画像データ取得部３０１は、撮像装置１０１で撮像された画像データを取得する。ここで言う画像データは、分割撮像により得られたＲＧＢカラーのタイル画像データ、タイル画像データを合成した一枚の二次元画像データ、二次元画像データをもとに表示倍率毎に階層化された画像データ（後述の階層画像データ）の少なくとも何れかである。なお、タイル画像データはモノクロの画像データでもよい。また、複数のレイヤー画像から構成されるＺスタック画像をここでは想定している。

また、撮像仕様や撮像時の条件である撮像センサ２０８の画素ピッチ、対物レンズの倍率情報、合焦情報が画像データに付加される形態をとってもよい。
ここで合焦情報とは、画像データの合焦度合いを示す情報と定義する。合焦度合いは、例えば画像のコントラスト値などで評価できる。本明細書では、合焦度合いが所定の基準（閾値）より高いことを「合焦」と呼び、合焦度合がその基準より低いことを「非合焦」と呼ぶ。また、被写体の同一エリア（同じＸＹ範囲）における複数のレイヤー画像のうち、合焦している画像を「合焦画像」と呼び、その中で最も合焦度合いが高い画像を「最合焦画像」と呼ぶ。

記憶保持部３０２は、画像データ取得部３０１を介して外部装置から取得したタイル画像データを取り込み、記憶、保持する。

操作指示情報取得部３０４は、マウスやキーボード等の操作部を介して、表示エリア変更や拡大・縮小表示などの表示画像データの更新指示等、ユーザーによる入力情報を取得し、操作指示内容解析部３０５へ出力する。

操作指示内容解析部３０５は、操作指示情報取得部３０４で取得したユーザー入力情報を解析し、どのような操作が行われたのか（スクロール操作、変倍操作、レイヤー位置切り替え操作、それぞれの操作方向）の操作指示に関する各種パラメータを生成する。生成されたパラメータは、レイヤー位置・階層位置設定部３０６または水平位置設定部３０７へ出力する。両設定部へのパラメータ出力の判断も合わせて行う。

レイヤー位置・階層位置設定部３０６は、操作指示（レイヤー間移動の指示または表示の拡大・縮小指示）に関する各種設定パラメータに基づき、レイヤー画像の切り替えまたは表示倍率を求める。そして、求められた結果からタイル画像データ取得のためのレイヤーの位置情報と、階層の位置情報を設定し画像データ選択部３０３へ出力する。
設定の際必要となる撮像したタイル画像データのレイヤー位置情報および階層位置情報は、画像データ選択部３０３を介して記憶保持部３０２から取得する。

水平位置設定部３０７は、操作指示（水平方向の位置変更）に関する設定パラメータに基づき、画像の水平方向の表示位置を求め、求められた結果からタイル画像データ取得のための水平位置情報を設定し画像データ選択部３０３へ出力する。設定の際必要となる情報の取得はレイヤー位置・階層位置設定部３０６と同様に行われる。

画像データ選択部３０３は、表示に用いるタイル画像データを記憶保持部３０２から選択し、出力する。表示に用いるタイル画像データは、レイヤー位置・階層位置設定部３０６で設定されたレイヤー位置や階層位置、水平位置設定部３０７で設定された水平位置、およびスクロール後表示画像レイヤー設定部３１０で設定されたレイヤー位置に基づき選ばれる。また、画像データ選択部３０３は、レイヤー位置・階層位置設定部３０６、水平位置設定部３０７、スクロール後表示画像レイヤー設定部３１０が設定を行う際に必要となる情報を記憶保持部３０２から取得し、各設定部に受け渡す機能も有する。

被検試料の厚み情報取得部３０８は、画像データ選択部３０３を介して記憶保持部３０２から被検試料の厚み情報を取得し、スクロール後表示画像レイヤー設定部３１０へ出力する。厚み情報は、被検試料の深度方向（Ｚ方向）の存在範囲を表す情報である。
表示画像レイヤー位置取得部３０９は、現在表示しているタイル画像データのレイヤー位置（Ｚ方向の深度位置）を取得し、スクロール後表示画像設定部３１０へ出力する。

スクロール後表示画像レイヤー設定部３１０は、被検試料の厚み情報取得部３０８で取得した厚み情報に基づいて、スクロール後に表示するタイル画像データのレイヤー位置を設定し、画像データ選択部３０３へ出力する。このとき、スクロール後表示画像レイヤー設定部３１０は、ユーザー設定データ情報取得部３１３で取得されるレイヤー選択の設定内容（選択条件）に従って、スクロール後に表示するレイヤー位置を選択する。また必要に応じて、表示画像レイヤー位置取得部３０９から取得される、現在表示中の（つまりスクロール前の）画像のレイヤー位置も考慮する。ユーザー設定データ情報取得部３１３で取得する設定内容については図１０を用いて後述する。

表示用の画像データ生成部３１１は、画像データ選択部３０３から取得した画像データをもとに表示装置１０３で表示するための表示データを生成し、表示用の画像データ出力部３１２へ出力する。
表示用の画像データ出力部３１２は、表示用の画像データ生成部３１１で生成された表示用画像データを外部装置である表示装置１０３へ出力する。

（画像形成装置のハードウェア構成）
図４は、画像処理装置のハードウェア構成を示すブロック図である。
情報処理を行う装置として、例えばＰＣ（Personal Computer）が用いられる。ＰＣは
、ＣＰＵ（Central Processing Unit）４０１、ＲＡＭ（Random Access Memory）４０２
、記憶装置４０３、データ入出力Ｉ／Ｆ４０５、およびこれらを互いに接続する内部バス４０４を備える。

ＣＰＵ４０１は、必要に応じてＲＡＭ４０２等に適宜アクセスし、各種演算処理を行いながらＰＣの各ブロック全体を統括的に制御する。
ＲＡＭ４０２は、ＣＰＵ４０１の作業用領域等として用いられ、ＯＳ、実行中の各種プログラム、本実施形態の特徴である観察目的や観察対象を考慮した表示用データの生成など処理の対象となる各種データを一時的に保持する。

記憶装置４０３は、ＣＰＵ４０１に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている情報を記録し読み出す補助記憶装置である。ＨＤＤ（Hard Disk Drive）等の磁気記憶媒体、ＳＳＤ（Solid State Disk）等のＦｌａ
ｓｈメモリを用いた半導体デバイスが用いられる。

データ入出力Ｉ／Ｆ４０５には、ＬＡＮ Ｉ／Ｆ４０６を介して画像サーバー７０１が
、グラフィクスボード４０７を介して表示装置（ディスプレイ）１０３が、外部装置Ｉ／Ｆ４０８を介してバーチャルスライド装置やデジタル顕微鏡に代表される撮像装置１０１が、接続される。また、操作Ｉ／Ｆ４０９を介してキーボード４１０やマウス４１１がそれぞれ接続される。

表示装置１０３は、例えば液晶、ＥＬ（Electro-Luminescence）、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。当該表示装置１０３は、外部装置として接続される形態を想定しているが、表示装置と一体化したＰＣを想定してもよい。例えばノートＰＣがこれに該当する。

操作Ｉ／Ｆ４０９との接続デバイスとしてキーボード４１０やマウス４１１等のポインティングデバイスを想定しているが、タッチパネルのように表示装置１０３の画面が直接入力デバイスとなる構成を取ることも可能である。その場合、タッチパネルは表示装置１０３と一体となり得る。

（スライドと、タイル画像の取得位置の関係を示した模式図）
図５は、スライド２０６とタイル画像データの取得位置との関係を説明する模式図である。なお、Ｚ軸は光軸方向を、Ｘ軸とＹ軸は光軸と直交する軸を示す。
スライド２０６は、被写体である被検試料５０２をスライドグラス５０１上に貼り付け、封入剤５０３とともにカバーグラス５０４の下に固定した部材である。被検試料５０２は数μｍから数百μｍほどの厚みを持つ透過物体である。

図５では、スライド２０６の光軸方向をＺ軸（深度方向）と示し、深度位置が異なる複数のレイヤーをレイヤー位置５１１〜５１５で表している。各レイヤー位置５１１〜５１５は、結像光学系の被写体側の焦点位置を表している。

図５はＸＺ平面またはＹＺ平面によるスライド２０６の断面を示している。スライド２０６に固定された被検試料５０２は、厚み方向に存在位置が異なる、すなわち異なる厚みを持った被検試料５０２であることを示している。

図５は、レイヤー位置５１４の深度に焦点位置を固定した状態で、被検試料５０２を分割撮像し、８枚のタイル画像データ（太線で図示）を取得した例を示す。タイル画像データ５０５は、焦点位置が被検試料５０２内にあるため、合焦した画像データとなる。タイル画像データ５０６は、焦点位置が被検試料５０２内になく、一部または全領域が非合焦の画像データとなる。

タイル画像データ間の境界５０７は各タイル画像データ間の境界位置を示している。図５の例では、タイル画像データ間の境界を明示するため隙間を空けて示しているが、実際には隙間はない連続した状態か、または分割取得される領域が互いにオーバーラップしているものとする。以後分割取得されたタイル画像データ間には隙間は無いものとして説明
する。

ＸＹ位置が異なる複数のタイル画像データを保持しておくことで、画像観察時に表示エリアを水平方向（ＸＹ方向）に移動させるスクロール操作が行われた際、対応するタイル画像データを使用して表示用画像を生成することで高速な表示が実現できる。

（画像データセットの構成）
図６（ａ）〜図６（ｃ）は、被検試料５０２を撮像し生成された画像データセットの構成例である。画像データセットは、被検試料５０２の複数のエリア（水平領域）のそれぞれについて深度位置が異なる１以上のレイヤーの画像データ（タイル画像データ）を含んでいる。さらに本実施形態では、表示の拡大・縮小を高速に行うため、倍率の異なる階層画像データも含んでいる。以下、タイル画像データ、階層画像データ、および画像ファイルのデータ構成の関係を説明する。

図６（ａ）は、被検試料５０２を分割撮像した際の各エリア（水平領域）の位置と、Ｚスタック画像データを構成する各レイヤー画像のＺ位置（焦点位置）と、複数のタイル画像データの関係を示す図である。図６（ａ）は、被検試料５０２の画像データセットの中に、水平位置（ＸＹ位置）と光軸方向の位置（Ｚ位置）とが異なる複数のタイル画像データが含まれていることを示している。

第１レイヤー画像６１１は、Ｚ軸方向の位置が原点に１番目に近い焦点位置（図５で示したレイヤー位置５１１と同じ位置）におけるタイル画像群である。図６（ａ）は、第１水平領域６０１〜第８水平領域６０８を撮像して取得した８枚のタイル画像データでひとつのレイヤー画像６１１が構成されている例を示している。第２レイヤー画像６１２は、第１レイヤー画像６１１とは焦点位置が異なる（原点から２番目の位置）レイヤー画像である。第３レイヤー画像６１３、第４レイヤー画像６１４、第５レイヤー画像６１５の順に焦点位置が浅くなる。

Ｚスタック画像データ６１０は、焦点位置が異なる複数のレイヤー画像の集まりである。ここでは、第１レイヤー画像６１１、第２レイヤー画像６１２、第３レイヤー画像６１３、第４レイヤー画像６１４、第５レイヤー画像６１５の、５つのレイヤー画像から構成されている。

図６（ａ）の例では、被検試料５０２の存在する領域は問わずＺスタック画像データとして取得した例を示しているが、例えば被検試料５０２の存在する領域のみ画像データを取得する、もしくは取得後に存在する領域のみ保存する構成としても良い。
図６（ａ）のようにＺスタック画像データを生成することによって、ユーザーは水平（ＸＹ）および垂直（Ｚ）方向へ表示位置を移動させ、被検試料５０２の画像を観察することが可能となる。

図６（ｂ）は、階層画像データの構造を表した概略図である。
階層画像データ６２０は、解像度（画素数）の異なる複数組のＺスタック画像データから構成される。図６（ｂ）は、第１階層のＺスタック画像データ６２１、第２階層のＺスタック画像データ６２２、第３階層のＺスタック画像データ６２３、第４階層のＺスタック画像データ６２４の４組により構成されている例を示している。第２階層〜第４階層の画像データは、最も高解像度の第１階層の画像データを解像度変換処理することで生成される。

この階層画像データ６２０の各階層のＺスタック画像データは第１レイヤー画像６１１〜第５レイヤー画像６１５からなる５レイヤーの画像データから構成されているものとす
る。また一つのレイヤー画像は複数のタイル画像によって構成される。レイヤーの数、タイル画像データの数は一例である。
符号６２５は、観察対象となる組織の切片や塗抹した細胞の例である。図では、各階層の解像度の違いを理解し易いように、同一の物体６２５の各階層における画像の大きさを示している。

第４階層のＺスタック画像データ６２４は最も低解像度の画像データであり、被検試料５０２全体を示すサムネイル画像（顕微鏡の対物レンズの倍率では〜４倍相当）に用いられる。
第３階層のＺスタック画像データ６２３、第２階層のＺスタック画像データ６２２は中程度の解像度の画像データであり、バーチャルスライド画像の広域観察等（顕微鏡の対物レンズの倍率では４〜２０倍相当）に用いられる。
第１階層のＺスタック画像データ６２１は最も高解像度の画像データであり、バーチャルスライド画像を詳細に観察するとき（顕微鏡の対物レンズの倍率では４０倍相当以上）に用いられる。
各階層中のレイヤー画像は、複数のタイル画像データから構成され、各タイル画像データは静止画圧縮されている。例えば、タイル画像データはＪＰＥＧ画像データの形式で保存される。

第４階層のＺスタック画像データ６２４中の１枚のレイヤー画像は一つのタイル画像データから構成される。第３階層のＺスタック画像データ６２３中の１枚のレイヤー画像は４つのタイル画像データから、以後同様に第２階層のレイヤー画像は１６の、第１階層のレイヤー画像は６４のタイル画像データから構成されている。

各階層画像における解像度の違いは、顕微鏡観察時の光学倍率の違いに対応するものであり、第４階層のＺスタック画像データ６２４を表示装置１０３に表示させてユーザーが観察することは低倍時の顕微鏡観察に相当する。同様に第１階層のＺスタック画像データ６２１を観察することは高倍時の顕微鏡観察に相当する。ユーザーが被検試料５０２について詳細に観察を行う場合には、第１階層のＺスタック画像データ６２１中のいずれかのレイヤー画像を選択し、表示装置１０３に表示させて観察すれば良い。

図６（ｃ）は、画像ファイルの構成であるデータフォーマットの概略を示した図である。図６（ｃ）の、画像ファイル６３０のデータフォーマットは、大きくヘッダデータ６３１と画像データ６３２から構成されている。

ヘッダデータ６３１には、画像ファイル６３０が生成された日付・時間情報６３４、撮像条件６３６、プレ計測情報６３８、セキュリティ情報６３３、付加情報６３５、画像データ６３２を構成するタイル画像データのポインタ情報６３７が格納されている。プレ計測情報６３８は、プレ計測ユニット２２０で得られた被検試料５０２の各水平位置（ＸＹ位置）での厚み情報（例えば、被検試料５０２の表面のＺ位置）等を含む。セキュリティ情報６３３は、データを生成したユーザー情報、該データを閲覧可能なユーザー情報等を含む。付加情報６３５は、画像生成または画像閲覧時にコメントを書き込んだアノテーション情報等を含む。ポインタ情報６３７とは、画像データ６３２中のタイル画像データの番地情報である。

画像データ６３２は、図６（ｂ）の階層画像データ６２０に示す階層構造で構成され、画像データ６２１〜６２４は、図６（ｂ）の階層画像データ６２１〜６２４と対応関係にあることを示している。画像データ６２１は第１階層のＺスタック画像データであることを示している。第１階層のＺスタック画像データ６２１中の６１１は第１レイヤー画像データであり、図６（ａ）および図６（ｂ）の第１レイヤー画像６１１と対応していること
を示している。同様に、各レイヤー画像６１２〜６１５は図６（ａ）および図６（ｂ）の同じ符号のレイヤー画像と対応している。

画像データ６３２は図６（ｂ）で説明した階層画像データ（タイル画像データが圧縮された）形式で格納されており、ここではＪＰＥＧの圧縮を想定している。ＪＰＥＧ２０００等の他の圧縮形式を用いてもよいし、ＴＩＦＦ等の非圧縮形式で格納しても良い。各タイル画像データのＪＰＥＧヘッダファイルには、タイル画像データの合焦情報が格納されている。本実施形態では、各タイル画像データのヘッダファイルに合焦情報を格納する構成を示しているが、タイル画像データそれぞれの合焦情報をポインタ情報と合わせてファイルのヘッダデータ６３１にまとめて格納する構成でも良い。

ここではファイルが一体のものとして示したが、物理的に異なる記憶媒体に分割して保存される構成を取っても良い。例えば、クラウドサーバーのように複数の記憶媒体を管理する構成の場合、各階層データを異なるサーバーに割り当て、必要時に読み出しても良い。

このような画像ファイル構成によって、ユーザーが表示位置を変更するスクロール操作指示、変倍操作指示、レイヤー切り替え操作指示等を行った際に、高精細画像であるすべての大容量画像データを読み込む必要がなくなる。すなわち、表示に必要なタイル画像データを適宜読み込み、使用することで画像の切り替え表示を高速に行うことができる。

（スクロール後に表示するタイル画像データの選択）
図７（ａ）と図７（ｂ）は、ユーザーが画像の表示エリアを水平方向に移動する操作（スクロール）行った際の、表示画像の切り替え方法（表示するレイヤー位置の選択方法）の概念を示した図である。

図７（ａ）は、水平位置によって厚み（深度方向の存在範囲）が異なる被検試料５０２に対し、被検試料５０２の表面付近の深度をスクロールしながら順に観察するのに適した方法を示している。

ここで、被検試料５０２の表面とは、ＸＺまたはＹＺ断面における被検試料の外周部分を指し、カバーグラス５０４側においてはカバーグラスまたは封止材と接する組織や細胞の断端（被検試料の存在範囲の上端）の面を指している。スライド側においては、スライドまたは封止剤と接する組織や細胞の断端（被検試料の存在範囲の下端）の面を指している。また、後述する被検試料５０２の表層とは、被検試料５０２の表面から特定距離内側までの層を示し、本例では層の厚みを０．５μｍとしている。なお、層の厚みは組織診において被検試料５０２の厚みが３〜５μｍであることを考慮した数値であり、被検試料の厚み、画像取得時の光学系仕様によっては異なる値を持つ。

図７（ａ）は、図６（ａ）の一部（第４水平領域、第５水平領域付近）の位置を示した図である。タイル画像データ７４１〜７４５は、第４水平領域のレイヤー位置５１１〜５１５に焦点位置を合せて撮像されたＺスタック画像データである。タイル画像データ７５１〜７５５は、第５水平領域のレイヤー位置５１１〜５１５に焦点位置を合せて撮像されたＺスタック画像データである。

図７（ａ）の第４水平領域（第１のエリア）のタイル画像データ７４５（第１画像データ）が表示されている状態で、右隣の第５水平領域（第２のエリア）の表示に変更する操作指示（水平方向のスクロール）が行われたと仮定する。

スクロール操作が行われると、スクロール後（表示エリアの変更後）に表示すべきタイ
ル画像データ（第２画像データ）が、第５水平領域のＺスタック画像データ（タイル画像データ７５１〜７５５）の中から選択される。この例では、第５水平領域における被検試料５０２の存在範囲の上端に最も近い位置にあるタイル画像データ７５３が選択されている。

図７（ａ）のレイヤー選択方法では、表示エリアを移動（水平スクロール）したときに、同じレイヤーのタイル画像データ７５５ではなく、被検試料５０２の存在範囲に基づきタイル画像データ７５３が自動で選択される。レイヤーが切り替わることによって表示画像間で深度が不連続となるものの、合焦した画像（被検試料５０２が明りょうに写っている画像）が常に表示されるため、観察の利便性が向上する。また、被検試料５０２の表面に凹凸やうねりがある場合でも、被検試料５０２の上表面付近に焦点を合わせた状態でスクロールしながら画像を観察することが容易にできる。例えば病変やＲＯＩが被検試料５０２の表層に分布している場合などに、この方法はきわめて有用である。

図７（ｂ）は、水平位置によって厚み（深度方向の存在範囲）が異なる被検試料５０２に対し、被検試料５０２内の相対的な深度がほぼ同じ位置をスクロールしながら順に観察するのに適した方法を示している。

図７（ｂ）の第４水平領域（第１のエリア）のタイル画像データ７４２（第１画像データ）が表示されている状態で、右隣の第５水平領域（第２のエリア）の表示に変更する操作指示（水平方向のスクロール）が行われたと仮定する。

スクロール操作が行われると、スクロール後（表示エリアの変更後）に表示すべきタイル画像データ（第２画像データ）が、第５水平領域のＺスタック画像データ（タイル画像データ７５１〜７５５）の中から選択される。この例では、現在表示中のタイル画像データ７４２が被検試料５０２の厚みのほぼ中央にあるため、第５水平領域においても被検試料５０２の厚みのほぼ中央に位置するタイル画像データ７５２が選択される。

図７（ｂ）のレイヤー選択方法では、表示エリアを移動（水平スクロール）したときに、同じレイヤーのタイル画像データ７５３ではなく、被検試料５０２の存在範囲に対する相対位置（相対深度）がほぼ同じタイル画像データ７５２が自動で選択される。レイヤーが切り替わることによって表示画像間で深度が不連続となるものの、合焦した画像（被検試料５０２が明りょうに写っている画像）が常に表示されるため、観察の利便性が向上する。また、被検試料５０２の表面に凹凸やうねりがある場合でも、被検試料５０２内の一定の相対深度に焦点を合わせた状態でスクロールしながら画像を観察することが容易にできる。例えば病変やＲＯＩが被検試料５０２の中間の層（厚みの１／２の深さ、２／３の深さなど）に分布している場合などに、この方法はきわめて有用である。

なお、図７（ａ）と図７（ｂ）のレイヤー選択方法は一例であり、他の選択方法を用いてもよい。例えば、被検試料の存在範囲の下端付近のレイヤーを選択する方法や、被検試料の存在範囲の上端又は下端から所定距離の深度付近のレイヤーを選択する方法などを用いてもよい。また、被検試料の存在範囲の上端付近又は下端付近のレイヤーを選択する際には、被検試料の存在範囲内にレイヤー位置が含まれていることを条件にしてもよい。あるいは、各タイル画像データの合焦度合い（例えば画像のコントラスト値など）を計算し、合焦度合いが所定の基準（閾値）より高いレイヤーのみを選択の候補としたり、単純に合焦度合いが最も高いレイヤー（最合焦画像）を優先的に選択してもよい。

（画像表示切り替え処理のメインフロー）
本実施形態の画像処理装置における画像表示切り替えのメインの処理の流れを、図８のフローチャートを用いて説明する。
図８は、画像表示切り替え時のタイル画像データを選択する処理の流れを説明するフローチャートである。

ステップＳ８０１において、初期化処理が行われる。初期化処理では、画像の初期表示を行うために必要な、表示開始水平位置、表示開始垂直位置、レイヤー位置、表示倍率、ユーザー設定の利用種別等の初期値を設定し、ステップＳ８０２へ移行する。
ステップＳ８０２では、ユーザー設定情報の設定処理が行われる。ユーザー設定情報の設定処理では、本実施形態の特徴であるスクロール時に表示されるレイヤー位置の選択方法（選択条件）等の設定が行われる。ユーザー設定処理の詳細は図９を用いて説明する。

ステップＳ８０３では、これから画像の表示を行う水平位置（スクロール操作による表示エリアの移動の場合なら、スクロール後のエリア）における被検試料５０２の厚み情報を取得し、ステップＳ８０４へ移行する。

ステップＳ８０４では、表示に用いるタイル画像データを選択する処理を行う。ここでは、レイヤー選択方法として、表示中のレイヤーと同じレイヤーを選択するモード、被検試料の表面に近いレイヤーを選択するモード（図７（ａ））、被検試料の厚み内の相対位置が略同じレイヤーを選択するモード（図７（ｂ））が用意されている。ステップＳ８０４の処理の詳細については、図１２を使用して説明する。タイル画像データの選択処理が完了後、ステップＳ８０５へ移行する。
ステップＳ８０５では、ステップＳ８０４で選択されたタイル画像データを取得し、ステップＳ８０６へ移行する。

ステップＳ８０６では、取得したタイル画像データから表示用の画像データを生成する。表示用の画像データは表示装置１０３へ出力される。これにより、ユーザー操作（水平位置の切り替え、レイヤー位置の切り替え、倍率変更など）に応じて表示画像が更新される。

ステップＳ８０７では、表示されている画像データに関連する各種ステータスを表示する。ステータスは、ユーザー設定情報、表示している画像の表示倍率、表示位置情報等の情報を含むとよい。表示位置情報については、画像の原点からの絶対座標を数値で表示してもよいし、被検試料５０２の全体像に対する表示エリアの相対位置やサイズを画像等のマップ形式で表示してもよい。ステータスの表示後に、ステップＳ８０８へ移行する。なお、ステップＳ８０７の処理はステップＳ８０６と同時又はその前に行われてもよい。

ステップＳ８０８では、操作指示の有無を判断する。操作指示を受け付けるまで操作指示待ち状態となる。ユーザーにより操作指示が行われると、ステップＳ８０９へ移行する。
ステップＳ８０９では、操作指示の内容が水平位置（ＸＹ平面における位置）の切り替え、すなわちスクロール操作であるか否かの判断を行う。水平位置を切り替える指示が行われたと判断された場合は、ステップＳ８１０へ移行する。水平位置の切り替え以外の操作指示を受け付けた場合は、ステップＳ８１３へ移行する。

ステップＳ８１０では、現在表示中の水平位置（つまりスクロール前のエリア）における被検試料５０２の厚み情報（深度方向の上限位置、下限位置）を保持する。
ステップＳ８１１では、現在表示中のタイル画像データ（つまりスクロール前の画像データ）の被写界深度情報を保持する。
ステップＳ８１２では、移動後の水平位置（つまりスクロール後のエリア）に合わせて、表示開始位置の座標変更処理を行い、ステップＳ８０３へ戻る。

ステップＳ８１３では、表示画像のレイヤー位置の切り替え操作指示があったか否かの判断を行う。レイヤー位置の切り替え操作指示があった場合は、ステップＳ８１４へ、レイヤー位置の切り替え以外の操作指示が行われた場合は、ステップＳ８１５へそれぞれ移行する。
ステップＳ８１４では、表示する画像のレイヤー位置の変更処理が行われ、ステップＳ８０３へ戻る。
ステップＳ８１５では、変倍操作が行われたか否かの判断を行う。変倍操作の指示を受け付けたと判断した場合は、ステップＳ８１６へ、変倍以外の操作指示の場合はステップＳ８１７へそれぞれ移行する。

ステップＳ８１６では、表示する画像の表示倍率の変更処理が行われ、ステップＳ８０３へ戻る。
ステップＳ８１７では、ユーザー設定ウィンドウの呼び出しが行われたか否かの判断を行う。ユーザー設定ウィンドウの呼び出し指示が行われたと判断した場合は、ステップＳ８１８へ、それ以外の場合はステップＳ８１９へそれぞれ移行する。
ステップＳ８１８では、ユーザー設定リストの設定画面を表示し、ユーザー設定の利用種別情報の更新及び設定が行われた後、ステップＳ８０２へ戻る。

ステップＳ８１９では、操作の終了指示がされたか否かの判断を行う。終了指示が出された場合は、処理を終了する。終了指示ではない場合はステップＳ８０８へ戻り、操作指示待ちの状態となる。

このように、ユーザーが画像の表示切り替えのために行った操作指示の内容に応じ、表示画像のスクロール表示や変倍表示、およびレイヤー位置の切り替え表示を行う。また、スクロール操作を行った際に、ユーザー設定リストで設定されているレイヤー選択方法（選択条件）に従ってレイヤー位置が選択され、適切な深度の画像が表示される。

（ユーザー設定処理）
本実施形態の画像処理装置におけるユーザー設定情報の読み出し、書き込み処理の流れを、図９のフローチャートを用いて説明する。図９は、図８のステップＳ８０２で行われるユーザー設定処理の詳細な流れを表したフローチャートである。

ステップＳ９０１では、記憶保持されているユーザー設定の利用種別情報、およびユーザー設定情報をＲＡＭ４０２または記憶装置４０３から取得する。
ユーザー設定の利用種別情報は、（１）初期設定値の利用、（２）ユーザーによって更新された設定値の利用、（３）ユーザー設定リストの設定画面から設定内容を更新し利用、の３種類から選ばれる。

（１）初期設定値の利用、に設定されている場合は、図８のステップＳ８０１の初期化設定処理で設定されたユーザー設定情報の初期設定値をそのまま利用する。
（２）ユーザーによって更新された設定値の利用、に設定されている場合は、ユーザーが更新した各種ユーザー設定情報をＲＡＭ４０２または記憶装置４０３等から読み出し利用する。
（３）ユーザー設定リストの設定画面から設定内容を更新し利用、に設定されている場合は、初期設定値もしくはユーザー更新設定値をＲＡＭ４０２または記憶装置４０３等から読み出し、ユーザー設定リストの設定画面上で各種設定情報を更新し利用する。

ステップＳ９０２では、ステップＳ９０１で取得したユーザー設定の利用種別情報をもとに、ユーザー設定情報を更新し利用するか否かの判断を行う。ユーザー設定情報を更新し利用する設定がされていると判断された場合は、ステップＳ９０３へ移行する。更新し
ないと判断された場合は、ステップＳ９１１へ移行する。ステップＳ９１１では、利用種別情報に基づき、初期値の利用、またはユーザー更新設定値の利用の何れかを選択し、ステップＳ９１０へ移行する。

ステップＳ９０３では、ユーザー設定情報の設定を行うための設定画面の表示を行い、ステップＳ９０４へ移行する。ステップＳ９０４では、ユーザー設定リストの設定内容としてユーザー設定情報の初期設定値およびステップＳ９０１で取得したユーザー設定情報を表示画面へ反映する。反映した表示の例については、図１０で後述する。ユーザー設定リストの設定画面表示を行った後、ステップＳ９０５へ移行する。

ステップＳ９０５では、ユーザーから操作指示があったか否かの判断を行う。何らかの操作指示があった場合は、ステップＳ９０６へ移行する。操作指示が行われるまでは待機の状態となる。ステップＳ９０６では、ユーザー設定リストの設定画面に対してユーザーが行った操作指示内容を取得する。ステップＳ９０７では、ユーザー操作指示の内容に基づきそれ以降の処理を振り分ける判断を行う。操作指示内容が設定画面の更新の場合は、ステップＳ９０９へ移行する。ステップＳ９０９では、ユーザー設定リストの設定画面の表示内容を更新し、ステップＳ９０５へ戻る。

ステップＳ９０７で、「設定ボタン」が選択された場合は、設定内容を確定し、ステップＳ９０８へ移行する。ステップＳ９０８では、ユーザー設定情報を読み込み、ユーザー設定リストの設定画面のウィンドウを閉じた後、ステップＳ９１０へ移行する。一方、ステップＳ９０７で、「キャンセルボタン」が選択された場合は、これまで更新してきた設定内容を取り消し、ステップＳ９１０へ移行する。ステップＳ９１０では、現在選択されているユーザーＩＤ情報を元に、読み込みまたは更新された各種ユーザー設定情報をＲＡＭ４０２または記憶装置４０３へ記憶保持し、処理を終了する。

（ユーザー設定リストの設定画面）
図１０は、スクロール時のレイヤー選択方法（選択条件）等を設定するためのユーザー設定リストの設定画面の例である。

１００１は、表示装置１０３で表示されるユーザー設定リストのウィンドウである。ユーザー設定リストのウィンドウでは、画像表示切り替えに伴う各種設定項目をリストとして表示する。ここでは複数の異なるユーザーがそれぞれ被検試料５０２の観察目的毎に異なる設定を行うことが可能である。同様に同一のユーザーであっても複数の設定を予め用意し、リストから条件にあった設定内容を呼び出すことも可能である。

１００２は、表示画像を観察する者を特定するためのユーザーＩＤ情報である。ユーザーＩＤ情報は、例えばラジオボタンで構成される。ユーザーＩＤ情報の設定は、複数のＩＤから一つを選択することが可能であり、本例ではユーザーＩＤ情報「０１」〜ユーザーＩＤ情報「０９」の中から１００３のユーザーＩＤが選択されている例を示している。

設定項目１００４は、ユーザー名である。ユーザー名は、例えばプルダウンメニューのリストで構成され、ユーザーＩＤ情報と一対一で対応する。本例では、プルダウンメニューによる選択例を示しているが、ユーザーによってユーザー名を直接テキスト入力できる構成になっていても良い。

設定項目１００５は、観察目的である。観察目的は、例えばプルダウンメニューのリストで構成される。ユーザー名と同様に、プルダウンメニューによる選択例を示しているが、直接入力できる構成でも良い。病理診断を想定した場合、観察の目的として、詳細観察前のスクリーニング、詳細観察、遠隔診断（テレパソロジー）、臨床研究、カンファレン
ス、セカンドオピニオン等が挙げられる。

設定項目１００６は、被検試料が採取された臓器などの観察対象である。観察対象は、一例としてプルダウンメニューのリストで構成される。選択の方法、および入力の形態は他の項目と同様である。

設定項目１００７は、レイヤー選択方法を設定する項目である。レイヤー選択方法の選択肢として、「レイヤー自動選択ｏｆｆ」、「レイヤー表層選択」、「レイヤー厚み略一致選択」の３つのモードがあり、何れか一つを選択可能である。リストの形態、選択の方法、および入力の形態は他の項目と同様である。

「レイヤー自動選択ｏｆｆ」が選択された場合には、スクロール前に表示していたタイル画像データと同じレイヤー位置のタイル画像データを選択する。「レイヤー表層選択」が選択された場合には、被検試料５０２の表層内または表層に近接するレイヤーを選択する。「レイヤー厚み略一致選択」が選択された場合には、被検試料５０２の厚み内の相対位置が略一致するレイヤーを選択する。なお、相対位置の詳細設定は不図示のサブウィンドウ等で設定可能である。相対位置の詳細設定は例えば、カバーグラス側の被検試料の表面から２／３、１／３、１／２(被検試料厚みの中心)等が設定可能である。

設定項目１００８および１００９は、表示画像観察時にレイヤーの自動選択機能を表示倍率に連動するか否かを設定するためのものである。対象とする倍率とのリンクをチェックボックスで指定し、「チェック有り」、「チェック無し」何れかを選択できるようにする。本例では、チェックボックスによる切り替え選択を示しているが、プルダウンメニューで設定できる構成でも良い。

低倍のチェックボックスを「チェック有り」に選択した場合には、１００７で設定した処理を低倍観察時に行うことを意味し、「チェック無し」を選択した場合には、１００７で設定した処理を低倍観察時に行わないことを意味する。高倍時の対応も同様である。なお、高倍、低倍に関する詳細設定は不図示のサブウィンドウ等で設定が可能である。

設定項目１０１０は、レイヤー選択方法に従って選択したレイヤーが現在表示中の画像の被写界深度から外れた場合の警告表示方法である。被写界深度外時の警告表示方法の設定リストは、例えばプルダウンメニューのリストで構成される。選択の方法、および入力の形態は倍率連動を除き他の設定リストの項目と同様である。被写界深度外時の警告表示方法の設定リストの種類として、例えば「表示なしモード」、「イメージ表示モード」、「テキスト表示モード」が用意され、このうち何れか一つが選択可能である。警告表示方法の設定が「イメージ表示モード」の場合には、被写界深度範囲から外れたことを表示画面上でグラフィック画像を用いてユーザーへ明示する。同様に「テキスト表示モード」時は文字列（テキスト）を用いてユーザーへ明示する。「表示なしモード」時は、被写界深度範囲から外れたことを画面へ表示しない。なお、被写界深度外時の警告表示の画面への表示については、第２実施形態の図１７で説明する。

１０１１は、「設定ボタン」である。設定ボタン１０１１が押されることで、これまで説明してきた各種設定項目の追加、更新した内容を設定リストとして格納、保存する。次回ユーザー設定リストのウィンドウが開かれる際、保存された更新内容が読み出され、表示される。

１０１２は、「キャンセルボタン」である。キャンセルボタン１０１２が押されることで、これまで追加、選択変更、入力等を行って更新してきた設定内容を無効にし、該ウィンドウが閉じられる。次回設定画面表示時には、それまでに保存されていた設定情報が読
み出される。

上記のようなユーザー設定リストデータに、ユーザー（観察者）や観察目的などの情報とレイヤー選択方法（選択条件）の対応関係を記述しておき、システム側で適切なレイヤー選択方法を自動で選択する。これにより、ユーザーが複数人存在する場合や、同一ユーザーであっても観察の目的（スクリーニングや詳細観察、またはセカンドオピニオン等）によって異なる表示設定が望まれる場合に、ユーザーが望むレイヤー位置を自動で選択できる。

（ユーザー設定の画面表示例）
図１０で説明したユーザー設定リストの内、現在選択されている設定値の表示、およびユーザー設定画面を呼び出す機能の表示画面構成例について、図１１を使用して説明する。
図１１は、本実施形態の特徴であるユーザー設定値の表示、およびユーザー設定画面を呼び出すための操作ＵＩの表示例を示した図である。

表示画面は、全体ウィンドウ１００１内に、被検試料５０２の画像を表示する表示領域１１０１、表示領域１１０１の画像の表示倍率１１０３、ユーザー設定情報エリア１１０２、ユーザー設定画面を呼び出すための設定ボタン１１１０などが配置されている。

ユーザー設定情報エリア１１０２内には、現在選択されているユーザー設定内容１１０４〜１１０９が表示される。１１０４は、図１０で説明したユーザー設定リストの内、選択されたユーザーＩＤ情報１００２である。同様に、１１０５は、ユーザー名１００４を、１１０６は、観察目的設定項目１００５を、１１０７は、観察対象項目１００６を、１１０８は、レイヤー選択方法１００７を、１１０８は、被写界深度外時の警告表示設定１０１０をそれぞれ示している。

設定変更ボタン１１１０をクリックすることで、図１０で説明したユーザー設定リストが画面表示され、ユーザー設定画面で設定、選択された内容がユーザー設定情報エリア１１０２へ表示される。

本実施形態では、ＳＤＩ（Single Document Interface）を用いて全体ウィンドウ１０
０１内にユーザー設定情報エリア１１０２を設ける例を示したが、表示形態はこれに限定されるものではない。ＭＤＩ（Multiple Document Interface）を用いて別途ウィンドウ
表示する構成でも良い。また、設定変更ボタン１１１０をクリックすることでユーザー設定画面を呼び出す例を示したが、ショートカットキーに機能を割り当て、設定画面を呼び出すようにしても良い。

このように、被検試料５０２の詳細観察を行う際、ユーザー設定リストで設定したレイヤー表示位置設定項目の設定内容を表示画面上で確認することができる。また、観察の途中で設定内容を切り替える場合、表示された設定内容を確認し、設定条件を変更、選択することで、容易な設定変更を実現する。

（スクロール後に表示するレイヤーの選択処理）
本実施形態の画像処理装置における、レイヤー選択方法に従いスクロール後のレイヤーを選択する処理（図８のステップＳ８０４）の流れを、図１２のフローチャートを用いて説明する。

ステップＳ１２０１において、ユーザーＩＤ情報の設定値を取得する。ステップＳ１２０２では、ユーザー設定リストの内容を把握し、現在設定されているユーザーＩＤ情報に
対応するレイヤー選択方法の設定情報（選択条件）を取得する。ここではスクロールの度にユーザーＩＤ情報の取得ならびに設定内容の把握を行う構成としたが、ユーザーＩＤとレイヤー選択方法の変更がない限り、２回目以後はステップＳ１２０１とＳ１２０２の処理をスキップしても良い。

ステップＳ１２０３では、レイヤー選択方法が「レイヤー表層選択モード」に設定されているか否か判断する。「レイヤー表層選択モード」に設定されていると判断された場合は、ステップＳ１２０４へ移行する。「レイヤー表層選択モード」以外に設定されていると判断された場合は、ステップＳ１２０６へ移行する。

ステップＳ１２０４では、被検試料５０２の厚み情報に基づき、スクロール後のエリアにおける被検試料５０２の表面の位置情報を取得する。ここではカバーグラス側の表面である上端のＺ位置を取得する。被検試料５０２の厚み情報は、画像ファイルのヘッダデータ中のプレ計測情報から取得できる。あるいは、該当する水平領域のＺスタック画像データ内に格納されているそれぞれの垂直位置情報から厚み情報を取得する構成でも良いし、画像データとは分けて記憶されている別ファイルから厚み情報を取得する構成でも良い。

ステップＳ１２０５では被検試料５０２の表層内または表層に近接するタイル画像データのレイヤー位置を算出する。具体的には、スクロール後のエリアのＺスタック画像データの各レイヤー位置のうち、ステップＳ１２０４で取得した被検試料５０２の上端に最も近いもの（又は、上端よりも低いものの中で最も上端に近いもの）が選ばれる。算出されたレイヤー位置を設定し、ステップＳ１２１１へ移行する。

一方、ステップＳ１２０６では、レイヤー選択方法が「レイヤー厚み略一致選択モード」に設定されているか否かの判断を行う。「レイヤー厚み略一致選択モード」に設定されていると判断された場合は、ステップＳ１２０７へ移行する。「レイヤー厚み略一致選択モード」以外に設定されていると判断された場合は、ステップＳ１２１０へ移行する。

ステップＳ１２０７では、図８のステップＳ８１０で保持していたスクロール前のエリアにおける被検試料５０２の厚み情報を取得する。ステップＳ１２０８では、スクロール後のエリアにおける被検試料５０２の厚み情報を取得する。取得後にステップＳ１２０９へ移行する。

ステップＳ１２０９では、ステップＳ１２０７とＳ１２０８で取得した、スクロール前とスクロール後の被検試料５０２の厚み情報を基に、被検試料の厚み内の相対位置がスクロール前と後で略一致するようにスクロール後のレイヤー位置を算出する。算出されたレイヤー位置を設定し、ステップＳ１２１１へ移行する。

ステップＳ１２１０では、「レイヤー自動選択ｏｆｆモード」に設定されているものとして処理が行われる。すなわち、スクロール前に表示していたタイル画像データと同じレイヤー位置を設定し、ステップＳ１２１１へ移行する。

ステップＳ１２１１では、ステップＳ１２０５、Ｓ１２０９又はＳ１２１０で設定されたレイヤー位置に対応するタイル画像データを選択し、処理を終了する。なお、スクロール後のエリアのタイル画像データが１枚しか存在しない場合は、レイヤー選択方法の設定にかかわらず、そのタイル画像データを選択する構成であってもよい。

（画像表示画面のレイアウトの例）
図１３は、本実施形態の画像処理装置１０２で生成した表示データを表示装置１０３に表示した場合の表示画面レイアウトの一例である。
ウィンドウ１００１内に、表示領域１１０１、レイヤー位置情報表示領域１３０１、および水平位置情報表示領域１３０５が配置されている。

表示領域１１０１には、観察対象である被検試料５０２の組織や細胞の画像が表示される。つまり、タイル画像データに基づき生成された表示用画像が表示領域１１０１に表示される。１１０３は、表示領域１１０１に表示されている画像の表示倍率（観察倍率）である。

レイヤー位置情報表示領域１３０１には、被検試料５０２の垂直断面（ＸＺもしくはＹＺ平面による切断面）の全体像と、表示領域１１０１に表示されているタイル画像のエリア位置とレイヤー位置を示すためのガイド画像が表示される。１３０２は、現在表示中のタイル画像のレイヤー位置を示している。スクロール操作やレイヤー位置を切り替える自動処理が行われた場合、表示中のタイル画像データのレイヤー位置を切り替えて表示する。１３０３は、表示領域１１０１に表示されている画像の、被検試料５０２に対する位置とサイズを示している。

１３０４は、スクロール後に表示されるタイル画像データのレイヤー位置を示している。スクロール後に表示される画像のレイヤー位置は現在観察中のレイヤー位置１３０２とは区別が付くように表示される。例えば、レイヤー位置を示すマーカーの色、形状を変えることで区別が付くようにする。

レイヤーの変更は、レイヤー位置情報表示領域１３０１への操作指示、例えばマウスによるレイヤーの選択の他、表示領域１１０１への操作指示によっても変更が可能である。その場合、マウスカーソルを表示領域１１０１内に配置し、マウスのホイール操作によって実現できる。

水平位置情報表示領域１３０５には、被検試料５０２の水平方向（ＸＹ平面）の全体像１３０６と、表示領域１１０１に表示されているタイル画像の表示範囲１３０７が表示される。表示範囲１３０７は、表示領域１１０１の表示画像が、被検試料５０２全体のどの領域を対象としているのかを矩形で示している。
このように、被検試料５０２を拡大表示した詳細観察用の画像と共に、被検試料５０２全体に対して観察対象となっている表示領域の位置関係をユーザーへ提示することができる。

（実施形態の効果）
本実施形態によれば、被検試料５０２の画像の観察において、ユーザーが表示エリアを水平方向に移動させるスクロール操作を行った際、ユーザーが意図とするレイヤー位置の画像を観察することが可能な画像処理装置を提供することができる。

特に、厚みのバラツキや表面の凹凸がある被検試料５０２をスクロールしながら観察する場合に、観察目的や観察対象に合った所望の深度の画像を簡単に観察することができるという効果が得られる。

具体的には被検試料５０２の表層を観察する目的の場合は、被検試料５０２の表層に沿うように画像データを選択し、連続した画像をユーザーへ表示することができる。また、被検試料５０２の厚み内の相対位置を略一致させるように、例えば被検試料５０２中心位置を観察する目的の場合は、被検試料５０２の厚み内の相対位置を略一致させるように画像データを選択し、連続した画像をユーザーへ表示することができる。

その結果、ユーザーは表示位置を水平方向に移動させるスクロール操作において、レイ
ヤー位置を手動で変更することなく、観察目的に合った深さの組織や細胞を観察でき、病理診断時の作業負荷の軽減や、診断精度を向上することが可能となる。

［第２実施形態］
（画像処理システムの装置構成）
第１実施形態では、ユーザーがスクロール操作を行った際、観察目的に応じてユーザーの意図とするレイヤーのタイル画像データを自動選択する方法を説明した。第２実施形態では、第１実施形態の方法により選択されたレイヤーがスクロール前の画像の被写界深度から外れる場合に、例外処理を行う点が異なる。以下、本実施形態に特有の構成を中心に説明し、第１実施形態と同様の構成、内容については説明を省略する。

図１４は、本実施形態に係る画像処理システムを構成する装置の全体図である。画像処理システムは、画像サーバー１４０１、画像処理装置１０２、表示装置１０３、画像処理装置１４０４、表示装置１４０５から構成される。

画像サーバー１４０１は、バーチャルスライド装置である撮像装置１０１によって撮像された画像データを保存する大容量の記憶装置を備えたデータサーバーである。画像サーバー１４０１は、階層化された異なる表示倍率の画像データとヘッダデータを一つの画像ファイルとして画像サーバー１４０１のローカルストレージに保存する構成をとっても良い。あるいは、画像ファイルをそれぞれの階層画像に分割してネットワーク上の何処かに存在するサーバー群（クラウド・サーバ）に保存し、各階層画像データの実体とそれらのリンク情報に分けて持つ構成にしてもよい。また、画像データとヘッダデータ等の各種情報を分けて異なる別のサーバー上で管理し、ユーザーがサーバーから画像データを読み出す際に、適宜管理情報や合焦情報をそれぞれ別のサーバーから読み出す構成にしても良い。

画像処理装置１０２は、被検試料５０２を撮像した画像データを画像サーバー１４０１から取得し、表示装置１０３へ表示するための画像データを生成することができる。

画像サーバー１４０１と画像処理装置１０２との間は、ネットワーク１４０２を介して、汎用Ｉ／ＦのＬＡＮケーブル１４０３で接続される。なお、画像処理装置１０２および表示装置１０３は、ネットワーク接続機能を備えた以外は、第１実施形態の画像処理システムと同様である。画像処理装置１０２と１４０４はネットワーク１４０２を介して接続されており、両者の間の物理的距離は問わない。両者の機能は同じである。撮像装置により取得された被検試料の画像データセットを画像サーバー１４０１に格納することで、画像処理装置１０２と１４０４の双方から画像データを参照することができる。

図１４の例では、画像サーバー１４０１と画像処理装置１０２、１４０４と表示装置１０３、１４０５の５つの装置により画像処理システムが構成されているが、本発明はこの構成に限定されるものではない。例えば、表示装置１０３、１４０５が一体化した画像処理装置１０２、１４０４を用いてもよいし、画像処理装置１０２、１４０４の持つ機能の一部を画像サーバー１４０１に組み込んでもよい。また逆に、画像サーバー１４０１や画像処理装置１０２、１４０４の機能を分割して複数の装置によって実現してもよい。

このように、本実施形態のシステムは、撮像装置１０１で取得された画像データを一旦画像サーバー１４０１へ格納し、格納された画像データをネットワーク接続された画像処理装置１０２および１４０４で読み出すシステム構成となっている。ネットワーク１４０２は、ＬＡＮでもよいし、インターネット等の広域ネットワークでもよい。

（表示している画像の被写界深度とスクロール後のレイヤー）
図１５は、スクロール前に表示されている画像の被写界深度と、スクロール後に選択されたレイヤー位置との関係を説明する概念図である。

図１５は、図６（ａ）の一部（第４水平領域、第５水平領域付近）の位置を示した図である。タイル画像データ７４１〜７４５は、第４水平領域のレイヤー位置５１１〜５１５に焦点位置を合せて撮像されたＺスタック画像データである。タイル画像データ７５１〜７５５は、第５水平領域のレイヤー位置５１１〜５１５に焦点位置を合せて撮像されたＺスタック画像データである。

矢印１５０１は、レイヤー位置５１１に焦点位置を合せて撮像されたタイル画像データ７４１と７５１の被写界深度を示している。同様に、矢印１５０２は、タイル画像データ７４２と７５２の、矢印１５０３は、タイル画像データ７４３と７５３の、矢印１５０４は、タイル画像データ７４４と７５４の、矢印１５０５は、タイル画像データ７４５と７５５の被写界深度を示している。被写界深度は、被写体側の焦点位置を基準（中心）とするピントの合うＺ範囲であり、結像光学系の光学特性及び撮像条件が決まれば一意に定まる値である。

図１５の第４水平領域（第１のエリア）のタイル画像データ７４４（第１画像データ）が表示されている状態で、右隣の第５水平領域（第２のエリア）の表示に変更する操作指示（水平方向のスクロール）が行われたと仮定する。

スクロール操作が行われると、スクロール後（表示エリアの変更後）に表示すべきタイル画像データ（第２画像データ）が、第５水平領域のＺスタック画像データ（タイル画像データ７５１〜７５５）の中から選択される。レイヤー選択の処理は第１実施形態と同様である。この例では、タイル画像データ７５３が選択されている。

図１５の例では、スクロール後に選択されたタイル画像データ７５３のレイヤー５１３が、スクロール前に表示されているタイル画像データ７４４の被写界深度１５０４の範囲内に存在する。このようにスクロール後の画像（レイヤー）が選択することで、スクロールの前後の画像の連続性が維持できるため、レイヤーの切り替わりによる違和感の発生を抑えることができる。

（被写界深度から外れた場合の例外処理）
本実施形態の画像処理装置では、スクロール後のレイヤー位置がスクロール前の（表示中の）画像の被写界深度の範囲外である場合に、スクロール後のレイヤー位置を変更する例外処理を行う。例外処理の流れを、図１６のフローチャートを用いて説明する。

図１６は、図８のステップＳ８０４の詳細を示すフローチャートである。
ステップＳ１６０１では、予め設定されたレイヤー選択方法（選択条件）に従ってスクロール後のレイヤー位置を決定する処理を行う。具体的には、図１２のフローチャートの内、ステップＳ１２０１〜ステップＳ１２１０で説明した処理と同じ処理が行われる。

ステップＳ１６０２では、スクロール前に表示されていたタイル画像データ（第１画像データ）の被写界深度を表す被写界深度情報を取得する。ステップＳ１６０３では、ステップＳ１６０１で選択されたタイル画像データ（第２画像データ）のレイヤー位置（深度位置）を把握する。ステップＳ１６０４では、ステップＳ１６０３で把握したタイル画像データのレイヤー位置が、ステップＳ１６０２で取得した被写界深度の範囲内か否かの判定を行う。被写深度範囲内であると判断された場合は、ステップＳ１６０５へ移行する。

ステップＳ１６０５では、設定されたレイヤー位置に対応するタイル画像データを選択
し、処理を終了する。なお、スクロール後のエリアのタイル画像データが１枚しか存在しない場合は、被写界深度の範囲内か否かにかかわらず、そのタイル画像データを選択する構成であってもよい。また、スクロール後のエリアに被写界深度範囲内のタイル画像データが存在しない場合は、ステップＳ１６０１で選ばれたタイル画像データをそのまま用いてもよい。

一方、ステップＳ１６０４で被写深度範囲外であると判断された場合は、ステップＳ１６０６へ移行する。ステップＳ１６０６では、被写界深度範囲外のレイヤー位置が算出された場合に行う、例外処理の処理内容を決定するユーザー設定情報を取得する。

例外処理のユーザー設定情報は、第１実施形態で示したユーザー設定リストの設定画面上で設定可能である。例えば、図１０のユーザー設定リストに、例外処理の種類を選択するための設定項目が追加されたものになる。本実施形態では、例外処理の種類として、「深度内・同一レイヤー画像選択」、「深度内・近接画像選択」、「深度外・モード固定画像選択」を選択することが可能である。

「深度内・同一レイヤー画像選択」は、例外処理として、スクロール前に表示されているタイル画像データと同じレイヤーのタイル画像データを選択する処理を行うモードである。
「深度内・近接画像選択」は、例外処理として、スクロール前に表示されているタイル画像データの被写界深度に含まれるタイル画像データのうち、レイヤー選択方法に従って選択されたレイヤー位置に最も近い画像データを選択する処理を行うモードである。
「深度外・モード固定画像選択」は、例外処理を行わないモードである。すなわち、レイヤー選択方法に従って選択されたレイヤー位置のタイル画像データをそのまま選択する処理を行う。ただし、被写界深度の範囲外の画像であることをユーザーへ明示する処理（警告表示）を行う。

ステップＳ１６０７では、例外処理の種類が「深度内・同一レイヤー画像選択」に設定されているか否かの判断を行う。例外処理の種類が「深度内・同一レイヤー画像選択」である場合、ステップＳ１６０８へ移行する。ステップＳ１６０８では、スクロール前のタイル画像データと同一レイヤーのタイル画像データのレイヤー位置をスクロール後に選択するレイヤー位置に設定し、ステップＳ１６０９へ移行する。

ステップＳ１６０９では、設定されたレイヤー位置が、予め設定されたレイヤー選択方法の条件に合致しないレイヤー位置であることをユーザーへ提示するためのステータス表示データを生成する処理を行い、ステップＳ１６０５へ移行する。なお、レイヤー選択位置の設定情報が「レイヤー自動選択ｏｆｆモード」に設定されている場合は、前記のステータス表示データを生成する処理は行わない。

一方、ステップＳ１６０７で、例外処理の種類が「深度内・同一レイヤー画像選択」ではないと判断された場合、ステップＳ１６１０へ移行する。ステップＳ１６１０では、例外処理の種類が「深度内・近接画像選択」に設定されているか否かの判断を行う。例外処理の種類が「深度内・近接画像選択」である場合は、ステップＳ１６１１へ移行する。ステップＳ１６１１では、スクロール前のタイル画像データの被写界深度範囲内でかつ、レイヤー選択方法に従って選択されたレイヤー位置に最も近いレイヤー位置を算出する。この算出されたレイヤー位置を、スクロール後に表示するレイヤー位置に設定し、ステップＳ１６０９へ移行する。

一方、ステップＳ１６１０で、例外処理の種類が「深度内・近接画像選択」ではないと判断された場合は、被写界深度の範囲外であることをユーザーへ通知する処理を行うため
に、ステップＳ１６１２へ移行する。ステップＳ１６１２では、ステップＳ１６０１で設定されたタイル画像データのレイヤー位置の設定をそのまま用い、ステップＳ１６１３へ移行する。ステップＳ１６１３では、設定されたレイヤーの位置が被写界深度の範囲外であることをユーザーへ通知するため、被写界深度外であることの警告表示データの生成を行い、ステップＳ１６０５へ移行する。

このように、被写界深度から外れた場合の例外処理の設定を予めユーザーが登録しておくことによって、例外処理時の対応を自動で行うことができる。また、そうした例外処理が発生した状況を処理の内容に応じてユーザーへ提示することが可能となる。

（画像の切り替え表示の例）
図１７（ａ）と図１７（ｂ）は、画像の切り替え表示の例を示す図である。
図１７（ａ）は、スクロール操作によって被写界深度の範囲外の画像に切り替わることを、文字（テキスト）によりユーザーに示す例である。

（i）、（ii）、（iii）は時間経過を示しており、ウィンドウ１００１内の表示が時間（ｔ）と共に順番に切り替わって表示される例を示している。（i）は、スクロール操作
を行う前に表示している表示画面の例である。全体ウィンドウ１００１へ、被検試料５０２の詳細画像１７０１が表示されている。（ii）は、ユーザーがスクロール操作を行った際、スクロール後の画像のレイヤー位置がスクロール前の画像の被写界深度から外れた場合の警告表示１７０２の例を示している。「Out of depth!!」のような警告表示１７０２（補助画像データ）を詳細画像１７０１にオーバーレイ表示することで、被写界深度から外れたこと（つまり、スクロール前後の画像のつなぎ目が不連続であること）をユーザーに知らせる。

（iii）は、ユーザーがスクロール操作を停止し、警告表示１７０２が非表示となった
例を示している。警告表示１７０２は、特定または任意に設定された時間経過後に自動で消去すればよい。又は、ユーザーが警告表示消去を行う操作（例えば警告表示のクリック、警告表示位置へのマウスカーソル移動、消去が割り当てられた任意のキーボードキー入力等）によって消去しても良い。また、本例ではテキストで警告表示を行う説明をしたが、グラフィックデータの表示や画面の輝度変化、およびスピーカーや振動デバイス等を利用しユーザーへ通知する構成をとっても良い。

図１７（ａ）のような警告表示を行うことで、スクロールによって深度位置が不連続の画像に切り替わったことをユーザーに明示できるので、スクロール前後の画像のつなぎ目に違和感やアーティファクトがあっても、その理由（原因）を把握することができる。

図１７（ｂ）は、スクロール前後の画像のレイヤー位置及び被写界深度をサブウィンドウに表示し、スクロール前後の画像の深度方向の位置関係の理解を助ける例である。
（iv）、（v）、（vi）は時間経過を示しており、ウィンドウ内の表示が時間（ｔ）と
共に順番に切り替わって表示される例を示している。

（iv）は、スクロール操作を行う前に表示している表示画面の例である。レイヤー位置表示領域１７１０は、Ｚスタック画像のレイヤー数、表示中のレイヤー位置、及び、表示画像の被写界深度を示すグラフィック画像を表示するための表示領域である。（iv）は、スクロール前のタイル画像データのレイヤー位置を白三角１７１１で示し、そのタイル画像データの被写界深度を白矢印１７１２で示している。この例では、上から２番目のレイヤーのタイル画像データが表示されていることが分かる。（v）は、スクロール操作が行
われ表示画像のレイヤー位置が切り替わっている（混在している）状態の表示例である。切り替え前のレイヤー位置を示す白三角１７１１と被写界深度を示す白矢印１７１２と、
切り替え後のレイヤー位置を示す黒三角１７１３と被写界深度を示す黒矢印１７１４とが表示される。このような表示により、スクロール前後の画像の深度方向の位置関係を容易に理解できる。（vi）は、スクロール及びレイヤー位置の切り替えが完了した状態である。スクロール前後の画像の境界が表示領域から外れたタイミングで、（v）から（vi）へ
表示が切り替わる。黒三角１７１３と黒矢印１７１４から白三角１７１５と白矢印１７１６へとグラフィックが変化したことで、表示の切り替えが完了したことが分かる。

図１７（ｂ）のようなグラフィック表示を行うことで、スクロール前後の画像のレイヤー位置及び被写界深度の関係をユーザーに明示できるので、スクロール前後の画像のつなぎ目に違和感やアーティファクトがあっても、その理由を把握することができる。なお、図１７（ｂ）のレイヤー位置表示領域１７１０に表示されているレイヤー位置（黒矩形）をマウス等でクリックすると、そのレイヤー位置の画像に切り替わるようにしてもよい。

（実施形態の効果）
本実施形態の構成でも第１実施形態と同様の効果を得ることができる。加えて、本実施形態によれば、現在表示されているタイル画像データの被写界深度の範囲内にあるレイヤー位置のタイル画像データへの切り替えを優先できる。その結果、表示画像の深度方向の連続性を保ち、つなぎ目の違和感やアーティファクトの発生を抑制することができる。

また、スクロール操作により被写界深度から外れた画像が表示されることとなる場合には、その旨をテキストやグラフィック等でユーザーに通知することができる。その結果、スクロール前後のレイヤー位置の差が被写界深度を超える、つまり隣接するタイル画像データが不連続であることをユーザーは容易に認識することができるという効果が得られる。

［第３実施形態］
（タイル画像データ間の境界の明示）
第２実施形態では、スクロール後の画像がスクロール前の画像の被写界深度から外れる場合に、警告表示等を行うことで、ユーザーへタイル画像データ間の不連続性を提示する例を説明した。第３実施形態では、スクロール前の画像とスクロール後の画像が深度方向に不連続となる場合に、その情報提示を表示領域内の画像表示によって行う点が異なる。以下、この点を中心に説明し、第１および第２の実施形態と同様の構成、内容については説明を省略する。

図１８（ａ）〜図１８（ｄ）は、スクロール前後の画像が深度方向に不連続（互いに被写界深度外）であることをユーザーに明示する方法の概念図である。

図１８（ａ）は、図６（ａ）の一部（第４水平領域、第５水平領域付近）の位置を示した図である。タイル画像データ７４１〜７４５は、第４水平領域のレイヤー位置５１１〜５１５に焦点位置を合せて撮像されたＺスタック画像データである。タイル画像データ７５１〜７５５は、第５水平領域のレイヤー位置５１１〜５１５に焦点位置を合せて撮像されたＺスタック画像データである。

矢印１５０５は、スクロール前に表示されていたタイル画像データ７４５の被写界深度を示し、矢印１５０３は、スクロール後の表示のために選択されたタイル画像データ７５３の被写界深度を示している。

ここでタイル画像データ７４５の全体をウィンドウ内に最大表示させている状態において、ユーザーが表示位置を水平方向に移動させるスクロール操作を行い、タイル画像データ７５３の表示に切り替える状況を想定する。

図１８（ｂ）および図１８（ｃ）は、図１８（ａ）で説明したタイル画像データ７４５およびタイル画像データ７５３の二次元画像の例を示している。図１８（ｂ）はタイル画像データ７４５に対応する二次元画像の例であり、符号１８０１はタイル画像データ７４５の右半分の領域を示している。図１８（ｃ）はタイル画像データ７５３に対応する二次元画像の例であり、符号１８０２はタイル画像データ７５３の左半分の領域を示している。

図１８（ｄ）は、タイル画像データ７４５を表示中に、ユーザーがスクロール操作を行った結果、タイル画像データ７４５の右半分の領域１８０１と、タイル画像データ７５３の左半分の領域１８０２が同時にウィンドウ１７０１へ表示された例を示している。本実施形態では、タイル画像データ７４５と７５３の深度が不連続である場合に、二つの画像の境界を示す補助画像１８０５を表示する。なお図１８（ｄ）では、画像の境界に線を描画したが、二つの画像の境界を明示できればどのようなグラフィックを用いてもよい。

このように、レイヤーの位置が異なる複数の画像を同一画面上へ並べて表示するときに、画像間の境界を明示することで、被検試料５０２の厚み方向に不連続な画像をつなぎ合わせた画像を表示していることをユーザーに知らせることができる。その結果、画像のつなぎ目の違和感やアーティファクトがあったとしても、その理由（原因）をユーザーは把握することができる。なお本実施形態では、二枚の画像の境界を明示する例を示したが、画面上にレイヤー位置が異なる画像が三枚以上並べて表示される場合は、それぞれの画像の境界を明示するとよい。

（境界表示処理のフロー）
本実施形態の画像処理装置における、被写界深度を超えた時のタイル画像データ間のつなぎ目を明示する処理の流れを、図１９のフローチャートを用いて説明する。

ステップＳ１９０１では、スクロール前に選択されていたタイル画像データの被写界深度情報を取得する。ステップＳ１９０２では、スクロール後の表示用に選択されたタイル画像データのレイヤー位置情報を取得する。ステップＳ１９０３では、ステップＳ１９０２で取得したレイヤー位置情報から、次に表示するタイル画像のレイヤー位置がスクロール前に選択されていたタイル画像データの被写界深度の範囲内か否かの判定を行う。被写界深度の範囲内と判断された場合は、ステップＳ１９０５へ移行する（境界表示の処理はスキップする）。

一方、ステップＳ１９０３で被写界深度の範囲外と判断された場合は、ステップＳ１９０４へ移行する。ステップＳ１９０４では、タイル画像データ間の境界を明示する補助画像データを付加する処理を行い、ステップＳ１９０５へ移行する。

ステップＳ１９０５では、選択した複数のタイル画像データ、およびステップＳ１９０４で新たに生成された境界の補助画像データを用いて、表示用の画像データを生成する。なお、ステップＳ１９０３で深度内と判断された場合は、境界の補助画像データは存在しないため、タイル画像データのみを用いた表示画像データの生成となる。ステップＳ１９０６では、表示用の画像データの表示処理を行い、処理を終了する。

（実施形態の効果）
このように、スクロール操作前後にそれぞれ選択されたタイル画像データのレイヤー位置が各々の被写界深度の範囲外となった場合、タイル画像データ間が不連続であることを視覚的に伝えることができる。その結果、被写界深度範囲外の画像が並べられていることをユーザーは容易に把握することができる。不連続となる境界で生じるアーティファクト
が、本来の病変が持っている情報か、それとも画像処理によって付加されたものか表示画像から判断できるため、診断の間違い等を未然に防ぐことができる。

［その他の実施形態］
本発明の目的は、以下によって達成されてもよい。
すなわち、前述した実施形態の機能の全部または一部を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが、読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが、実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も本発明に含まれ得る。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれ得る。本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

第１〜第３の実施形態で説明してきた構成を、お互いに組み合わせることもできる。
例えば、第１実施形態で説明したレイヤー選択方法で選択したタイル画像データが被写界深度範囲外となった場合に、第３実施形態で説明した被写界深度外であることを明示する手法を組み合わせても良い。また、被写界深度範囲内に収まるようにタイル画像データを選択する構成を適用してもよい。さらに、被写界深度範囲外となった場合に、第２実施形態で説明した表示（図１７（ａ）、図１７（ｂ））と第３実施形態で説明した表示（図１８（ｄ））の両方を行ってもよい。あるいは、被写界深度範囲内であっても、スクロール前後のレイヤー位置が異なっているか、又は、スクロール前後のレイヤー位置の差が所定値より大きければ、図１７（ａ）や図１８（ｄ）に示した表示を行ってもよい。

画像処理装置が撮像装置と画像サーバーの両方に接続し、処理に用いる画像データをいずれの装置からも取得できる構成にしてもよい。
その他、上記各実施形態における様々な技術を適宜組み合わせることで得られる構成も本発明の範疇に属する。

１０２：画像処理装置、１０３：表示装置
３０１：画像データ取得部、３０４：操作指示情報取得部、３０８：被検試料の厚み情報取得部、３１０：スクロール後表示画像レイヤー設定部、３１１：表示用の画像データ生成部、３１２：表示用の画像データ出力部

Claims (19)

1. 被写体の複数のエリアのそれぞれについて深度位置が異なる１以上のレイヤーの画像データをもつ、前記被写体の画像データセットを基にして、表示装置に表示するための表示用画像データを生成する画像処理方法であって、
   第１のエリアの第１画像データが表示されている状態から、第２のエリアの画像データの表示に変更する操作指示を取得する指示情報取得ステップと、
   前記被写体の深度方向の存在範囲を表す厚み情報を取得する厚み情報取得ステップと、
   前記被写体の厚み情報に基づいて、前記第２のエリアの１以上のレイヤーの画像データのなかから、変更後の表示に用いる画像データである第２画像データを選択する選択ステップと、
   前記第２画像データから表示用画像データを生成し出力するステップと、
   を含むことを特徴とする画像処理方法。
2. 前記選択ステップでは、前記第２のエリアの１以上のレイヤーの画像データのうち、前記被写体の存在範囲に対する深度位置が予め設定されている選択条件に合致するレイヤーの画像データを、前記第２画像データとして選択する
   ことを特徴とする請求項１に記載の画像処理方法。
3. 前記選択条件は、前記第２画像データのレイヤーが、前記第２のエリアにおける前記被写体の存在範囲の上端に最も近いレイヤーである、又は、前記第２のエリアにおける前記被写体の存在範囲に含まれ且つ前記被写体の存在範囲の上端に最も近いレイヤーである、という条件である
   ことを特徴とする請求項２に記載の画像処理方法。
4. 前記選択条件は、前記第１のエリアにおける前記被写体の存在範囲に対する前記第１画像データのレイヤーの相対位置と、前記第２のエリアにおける前記被写体の存在範囲に対する前記第２画像データのレイヤーの相対位置とが一致する、又は、最も近い、という条件である
   ことを特徴とする請求項２に記載の画像処理方法。
5. 前記選択条件は、前記第２のエリアにおける前記被写体の存在範囲に対する前記第２画像データのレイヤーの相対位置が所定値である、という条件である
   ことを特徴とする請求項２に記載の画像処理方法。
6. 前記選択条件は、前記第２画像データのレイヤーの深度位置が前記第２のエリアにおける前記被写体の存在範囲の中央に一致する、又は、最も近い、という条件である
   ことを特徴とする請求項５に記載の画像処理方法。
7. 前記選択条件は、前記第２画像データのレイヤーが、前記第２のエリアにおける前記被写体の存在範囲の下端に最も近いレイヤーである、又は、前記第２のエリアにおける前記被写体の存在範囲に含まれ且つ前記被写体の存在範囲の下端に最も近いレイヤーである、という条件である
   ことを特徴とする請求項２に記載の画像処理方法。
8. 複数の条件のなかから前記選択条件をユーザーが設定可能である
   ことを特徴とする請求項２〜７のうちいずれか１項に記載の画像処理方法。
9. 表示装置に表示された画像を観察する者、観察対象、観察目的、表示倍率のうち少なくともいずれか一つの情報と、選択条件と、の対応関係を記述したリストデータに基づいて
   、選択条件が自動で設定される
   ことを特徴とする請求項２〜７のうちいずれか１項に記載の画像処理方法。
10. 前記第１画像データの被写界深度を表す被写界深度情報を取得するステップと、
    前記選択ステップで選択された前記第２画像データのレイヤーの深度位置が前記第１画像データの被写界深度の範囲内か否かを判定するステップと、
    前記第２画像データのレイヤーの深度位置が前記第１画像データの被写界深度の範囲外である場合に、所定の処理を行うステップと、
    をさらに含むことを特徴とする請求項１〜９のうちいずれか１項に記載の画像処理方法。
11. 前記所定の処理は、前記第２画像データを、前記第２のエリアにおける他のレイヤーの画像データに変更する処理である
    ことを特徴とする請求項１０に記載の画像処理方法。
12. 前記他のレイヤーの画像データは、前記第１画像データと同じレイヤーの画像データである
    ことを特徴とする請求項１１に記載の画像処理方法。
13. 前記他のレイヤーの画像データは、前記第１画像データの被写界深度の範囲内に含まれる前記第２のエリアの画像データのうち、前記第２画像データのレイヤーに最も近いレイヤーの画像データである
    ことを特徴とする請求項１１に記載の画像処理方法。
14. 前記所定の処理は、前記第２画像データが前記第１画像データの被写界深度の範囲外の画像であることをユーザーに通知する処理である
    ことを特徴とする請求項１０に記載の画像処理方法。
15. 前記所定の処理は、前記第１画像データと前記第２画像データとの間で深度位置が不連続になることを示すための補助画像データを生成し出力する処理である
    ことを特徴とする請求項１０に記載の画像処理方法。
16. 前記補助画像データは、前記第１画像データと前記第２画像データとの間で深度位置が不連続になることを文字又はグラフィックで示す画像データである
    ことを特徴とする請求項１５に記載の画像処理方法。
17. 前記補助画像データは、前記第１画像データから生成された表示用画像と前記第２画像データから生成された表示用画像との境界を示す画像データである
    ことを特徴とする請求項１５に記載の画像処理方法。
18. 請求項１〜１７のうちいずれか１項に記載の画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
19. 被写体の複数のエリアのそれぞれについて深度位置が異なる１以上のレイヤーの画像データをもつ、前記被写体の画像データセットを基にして、表示装置に表示するための表示用画像データを生成する画像処理装置であって、
    第１のエリアの第１画像データが表示されている状態から、第２のエリアの画像データの表示に変更する操作指示を取得する指示情報取得部と、
    前記被写体の深度方向の存在範囲を表す厚み情報を取得する厚み情報取得部と、
    前記被写体の厚み情報に基づいて、前記第２のエリアの１以上のレイヤーの画像データのなかから、変更後の表示に用いる画像データである第２画像データを選択する選択部と
    、
    前記第２画像データから表示用画像データを生成する生成部と、
    を有すことを特徴とする画像処理装置。

Images