JP2016038542A - 画像処理方法および画像処理装置 - Google Patents

Abstract

【課題】複数のレイヤーをもつ画像データセットを画面上で観察する際のユーザーの操作性及び利便性を向上するための技術を提供する。
【解決手段】画像処理方法が、被写体の第１のエリアの画像データが表示されている状態から、第２のエリアの画像データの表示に変更する操作指示を取得する取得ステップと、現在表示されている前記第１のエリアの画像データである第１画像データと、変更後に表示する前記第２のエリアの画像データである第２画像データとが、異なるレイヤーの画像データである場合に、前記第１画像データと前記第２画像データとの間で深度位置が変わることを示すための第３画像データを生成する生成ステップと、前記第３画像データを表示装置に出力する出力ステップと、を含む。
【選択図】図８

Description

本発明は、画像処理方法および画像処理装置に関し、特に、被写体の画像データを表示するための技術に関する。

近年、病理分野において、病理診断のツールである光学顕微鏡の代替として、撮像装置を具備したバーチャルスライドシステムが注目を集めている。バーチャルスライドシステムは、スライド（プレパラートともいう）に載置された検体（以後、被検試料と呼ぶ）を撮像し、取得した画像をデジタル化してディスプレイ上での病理診断を可能とする。

バーチャルスライドシステムを用いた病理診断画像のデジタル化により、従来の被検試料の光学顕微鏡像をデジタルデータとして取り扱うことが可能となる。その結果、遠隔診断の迅速化、デジタル画像を用いた患者への説明、希少症例の共有化、教育・実習の効率化、などのメリットが得られると期待されている。光学顕微鏡と同等程度の操作をバーチャルスライドシステムで実現するためには、スライド上の被検試料全体をデジタル化する必要がある。被検試料全体のデジタル化により、バーチャルスライドシステムで作成したデジタルデータをＰＣ(Personal Computer)やワークステーション上で動作するビューワ
ソフトで観察することができる。被検試料全体をデジタル化した場合の画素数は、通常、数億画素から大きい場合数百億画素となり、非常に大きなデータ量となる。バーチャルスライドシステムで作成したデータ量は膨大であるが、それゆえ、ビューワで拡大・縮小処理を行うことでミクロ（細部拡大像）からマクロ（全体俯瞰像）まで観察することが可能となり、種々の利便性を提供する。必要な情報を予めすべて取得しておくことで、低倍画像から高倍画像までユーザーが求める解像度・倍率による即時の表示が可能となる。

スライド内の被検試料は厚みを持っており、観察したい組織や細胞が存在する深度（奥行き）位置がスライドの（ＸＹ方向の）観察位置によって異なる。そのため、光軸方向に沿って焦点位置を変えて複数枚の画像を撮像し、焦点位置の異なる複数枚の画像を生成する構成が存在する。以後、被写体の光軸方向（Ｚ方向）の深度位置をレイヤーと呼び、その深度位置に焦点位置を合せて撮像した二次元画像をレイヤー画像と呼ぶ。そして、焦点位置の異なる複数枚のレイヤー画像から構成される画像群（三次元画像情報）をＺスタック画像と呼ぶ。

Ｚスタック画像を効率的に閲覧する方法として、オートフォーカス（合焦した画像を自動で選択）によって合焦画像を表示して、医師の診断を支援する医療画像用表示装置が提案されている（特許文献１）。

特開２０１２−３７８６１号公報

従来方法では、ユーザーが表示エリアをＸＹ方向に移動させるスクロール操作指示を行った際に、オートフォーカスによって自動で合焦画像に切り替え表示をすると、表示された合焦画像のレイヤーと本来観察したい画像のレイヤーが異なる場合があった。また、レイヤーの切り替え表示や、表示エリア毎の最合焦レイヤーを継ぎ合わせた全焦点画像の表示などが自動で行われると、表示された画像が深度方向に不連続であることがユーザーに
とって分からない場合があった。
スクロールしたときに気づかないうちにレイヤーが変わってしまったり、現在観察しているレイヤーの深度方向の位置が不明であると、組織や細胞の三次元構造を把握しにくいといった課題が生じる。

一般に、バーチャルスライドシステムの撮像系の視野の広さに比べて被写体となる被検試料の大きさははるかに大きいため、被検試料を複数のエリア（撮像領域）に分けて撮像する分割撮像が行われる。エリア毎の分割画像（レイヤー画像）をタイル画像と呼ぶ。表示エリアを移動するスクロール操作を行ったときに、もし異なるレイヤーのタイル画像に自動で切り替わってしまうと、タイル画像間の境界がアーティファクトとなって現れ、正しい診断を阻害する可能性がある。

本発明は上記実情に鑑みなされたものであって、複数のレイヤーをもつ画像データセットを画面上で観察する際のユーザーの操作性及び利便性を向上するための技術を提供することを目的とする。また本発明のさらなる目的は、表示エリアの移動に伴いレイヤー（深度位置）の切り替えが発生した場合に、深度位置が変わることを簡易かつ直観的な方法でユーザーに示すための技術を提供することにある。

本発明の第一の側面は、被写体の複数のエリアのそれぞれについて深度位置が異なる１以上のレイヤーの画像データをもつ、前記被写体の画像データセットを基にして、表示装置に表示するための表示用画像データを生成する画像処理方法であって、第１のエリアの画像データが表示されている状態から、第２のエリアの画像データの表示に変更する操作指示を取得する取得ステップと、現在表示されている前記第１のエリアの画像データである第１画像データと、変更後に表示する前記第２のエリアの画像データである第２画像データとが、異なるレイヤーの画像データである場合に、前記第１画像データと前記第２画像データとの間で深度位置が変わることを示すための第３画像データを生成する生成ステップと、前記第３画像データを表示装置に出力する出力ステップと、を含むことを特徴とする画像処理方法を提供する。

本発明の第二の側面は、本発明に係る画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラムを提供する。

本発明の第三の側面は、被写体の複数のエリアのそれぞれについて深度位置が異なる１以上のレイヤーの画像データをもつ、前記被写体の画像データセットを基にして、表示装置に表示するための表示用画像データを生成する画像処理装置であって、第１のエリアの画像データが表示されている状態から、第２のエリアの画像データの表示に変更する操作指示を取得する取得部と、現在表示されている前記第１のエリアの画像データである第１画像データと、変更後に表示する前記第２のエリアの画像データである第２画像データとが、異なるレイヤーの画像データである場合に、前記第１画像データと前記第２画像データとの間で深度位置が変わることを示すための第３画像データを生成する生成部と、前記第３画像データを表示装置に出力する出力部と、を有すことを特徴とする画像処理装置を提供する。

本発明によれば、複数のレイヤーをもつ画像データセットを画面上で観察する際のユーザーの操作性及び利便性を向上することができる。また、表示エリアの移動に伴いレイヤー（深度位置）の切り替えが発生した場合に、深度位置が変わることを簡易かつ直観的な方法でユーザーに示すことができる。

第１実施形態における、画像処理システムの装置構成の全体図。 第１実施形態における、撮像装置の機能ブロック図。 第１実施形態における、画像処理装置の機能ブロック図。 第１実施形態における、画像処理装置のハードウェア構成図。 被検試料とタイル画像データの取得位置との関係を示す模式図。 画像データセットの構成を示す図。 第１実施形態における、補間表示用画像データを示す模式図。 第１実施形態における、画像表示処理の流れを示すフローチャート。 図８のステップＳ８２０の詳細を示すフローチャート。 第１実施形態における、合焦度合いが異なる複数枚の画像生成の概念図。 図９のステップＳ９０１の詳細を示すフローチャート。 第１実施形態における、画像表示の例を示す図。 第２実施形態における、画像処理システムの装置構成の全体図。 第２実施形態における、時分割表示用Ｚスタック画像生成の概念図。 第２実施形態における、時分割表示用データ設定処理のフローチャート。 第２実施形態における、画像の切り替え表示の例を示す図。 第３実施形態における、画像処理装置の機能ブロック図。 第３実施形態における、ユーザー設定リストの設定画面の例を示す図。 第３実施形態における、表示画面のレイアウト例を示す図。 第４実施形態における、入力データ生成の概念図。 第４実施形態における、入力データ生成の流れを示すフローチャート。

［第１実施形態］
第１実施形態は、本発明に係る画像処理方法及び画像処理装置を、撮像装置と表示装置を備えた画像処理システムに適用した例である。この画像処理システムについて、図１を用いて説明する。

（画像処理システムの装置構成）
図１は、本発明の第１実施形態の画像処理システムを示す。このシステムは、撮像装置（顕微鏡装置、またはバーチャルスライド装置）１０１、画像処理装置１０２、表示装置１０３から構成され、スライド（被検試料）の二次元画像を取得し表示する機能を有するシステムである。
撮像装置１０１と画像処理装置１０２との間は、専用もしくは汎用Ｉ／Ｆのケーブル１０４で接続され、画像処理装置１０２と表示装置１０３の間は、汎用のＩ／Ｆのケーブル１０５で接続される。

撮像装置１０１としては、スライドのＸＹ平面を複数のエリアに分割し、各エリアについて撮像を行い、複数枚の二次元画像（デジタル画像）を出力する機能を持つバーチャルスライド装置を用いることができる。二次元画像の取得にはＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子が用いられる。なお、バーチャルスライド装置の代わりに、通常の光学顕微鏡の接眼部にデジタルカメラを取り付けたデジタル顕微鏡装置により、撮像装置１０１を構成することもできる。

画像処理装置１０２は、撮像装置１０１により取得した画像データセットを基に、表示装置１０３に表示するための表示用画像データを、ユーザーからの要求に応じて生成する機能を持つ装置である。ここでは、画像処理装置１０２は、ＣＰＵ（中央演算処理装置）、ＲＡＭ、記憶装置、操作部を含む各種Ｉ／Ｆなどのハードウェア資源を備えた、汎用の
コンピュータやワークステーションを想定する。記憶装置は、ハードディスクドライブなどの大容量情報記憶装置であり、後述する各処理を実現するためのプログラムやデータ、ＯＳ（オペレーティングシステム）などが格納されている。上述した各機能は、ＣＰＵが記憶装置からＲＡＭに必要なプログラムおよびデータをロードし、当該プログラムを実行することにより実現されるものである。操作部は、キーボードやマウスなどにより構成され、操作者が各種の指示を入力するために利用される。

また、画像処理装置１０２は、撮像装置１０１以外の装置から画像データを受信することもできる。例えば、画像処理装置１０２は、デジタルカメラ、Ｘ線カメラ、ＣＴ、ＭＲＩ、ＰＥＴ、電子顕微鏡、質量顕微鏡、操作型プローブ顕微鏡、超音波顕微鏡、眼底カメラ、内視鏡、スキャナ等の撮像装置から、当該撮像装置で撮像した画像データを受信してもよい。
表示装置１０３は、画像処理装置１０２が演算処理した結果である観察用画像を表示するディスプレイであり、ＣＲＴや液晶ディスプレイ、プロジェクタ等により構成される。

図１の例では、撮像装置１０１と画像処理装置１０２および表示装置１０３の３つの装置によって画像処理システムが構成されているが、本発明の構成はこの構成に限定されるものではない。例えば、表示装置と一体化した画像処理装置を用いてもよいし、画像処理装置の機能の一部または全部を撮像装置に組み込んでもよい。また撮像装置、画像処理装置、表示装置の機能を１つの装置で実現することもできる。また逆に、システムを構成する各装置の機能を分割して複数の装置構成によって実現してもよい。

（撮像装置の機能ブロック）
図２は、撮像装置１０１の機能構成を示すブロック図である。
撮像装置１０１は、概略、照明ユニット２０１、ステージ２０２、ステージ制御ユニット２０５、結像光学系２０７、撮像ユニット２１０、現像処理ユニット２１９、プレ計測ユニット２２０、メイン制御系２２１、データ出力部２２２から構成される。

照明ユニット２０１は、ステージ２０２上に配置されたスライド２０６に対して均一に光を照射する手段であり、光源、照明光学系、および光源駆動の制御系から構成される。ステージ２０２は、ステージ制御ユニット２０５によって駆動制御され、ＸＹＺの三軸方向への移動が可能である。スライド２０６は、観察対象となる組織の切片や塗抹した細胞をスライドグラス上に貼り付け、封入剤とともにカバーグラスの下に固定した部材である。

ステージ制御ユニット２０５は、駆動制御系２０３とステージ駆動機構２０４から構成される。駆動制御系２０３は、メイン制御系２２１の指示を受け、ステージ２０２の駆動制御を行う。ステージ２０２の移動方向、移動量などは、プレ計測ユニット２２０によって計測した被検試料の位置情報および厚み情報（または距離情報）と、必要に応じてユーザーからの指示とに基づいて決定される。ステージ駆動機構２０４は、駆動制御系２０３の指示に従い、ステージ２０２を駆動する。

結像光学系２０７は、スライド２０６に載置された被検試料の光学像を撮像センサ２０８へ結像するためのレンズ群である。
撮像ユニット２１０は、撮像センサ２０８とアナログフロントエンド（ＡＦＥ）２０９から構成される。撮像センサ２０８は、二次元の光学像を光電変換によって電気的な物理量へ変える一次元もしくは二次元のイメージセンサであり、例えば、ＣＣＤやＣＭＯＳデバイスが用いられる。一次元センサの場合、走査方向へスキャンすることで二次元画像が得られる。撮像センサ２０８からは、光の強度に応じた電圧値をもつ電気信号が出力される。撮像画像としてカラー画像が所望される場合は、例えば、Ｂａｙｅｒ配列のカラーフ
ィルタが取り付けられた単板のイメージセンサを用いればよい。撮像ユニット２１０は、ステージ２０２が光軸と直交する二次元平面であるＸＹ軸方向に駆動することにより、被検試料の分割画像を撮像する。

ＡＦＥ２０９は、撮像センサ２０８から出力されたアナログ信号をデジタル信号へ変換する回路である。ＡＦＥ２０９はＨ／Ｖドライバ、ＣＤＳ（Correlated double sampling）、アンプ、ＡＤ変換器およびタイミングジェネレータによって構成される。Ｈ／Ｖドライバは、撮像センサ２０８を駆動するための垂直同期信号および水平同期信号を、センサ駆動に必要な電位に変換する。ＣＤＳは、固定パターンのノイズを除去する二重相関サンプリング回路である。アンプは、ＣＤＳでノイズ除去されたアナログ信号のゲインを調整するアナログアンプである。ＡＤ変換器は、アナログ信号をデジタル信号に変換する。撮像装置１０１の最終段における出力が８ビットの場合、後段の処理を考慮して、ＡＤ変換器はアナログ信号を１０ビットから１６ビット程度に量子化されたデジタルデータへ変換し、出力する。変換されたセンサ出力データはＲＡＷデータと呼ばれる。ＲＡＷデータは後段の現像処理ユニット２１９で現像処理される。タイミングジェネレータは、撮像センサ２０８のタイミングおよび後段の現像処理ユニット２１９のタイミングを調整する信号を生成する。

撮像センサ２０８としてＣＣＤを用いる場合、上記ＡＦＥ２０９は必須となるが、デジタル出力可能なＣＭＯＳイメージセンサの場合は、上記ＡＦＥ２０９の機能をセンサに内包することになる。また、不図示ではあるが、撮像センサ２０８の制御を行う撮像制御部が存在し、撮像センサ２０８の動作制御や、シャッタースピード、フレームレートやＲＯＩ（Region Of Interest）など動作タイミングや撮像制御を合わせて行う。

現像処理ユニット２１９は、黒補正部２１１、ホワイトバランス調整部２１２、デモザイキング処理部２１３、画像合成処理部２１４、解像度変換処理部２１５、フィルタ処理部２１６、γ補正部２１７および圧縮処理部２１８から構成される。黒補正部２１１は、ＲＡＷデータの各画素から、遮光時に得られた黒補正データを減算する処理を行う。ホワイトバランス調整部２１２は、照明ユニット２０１の光の色温度に応じて、ＲＧＢ各色のゲインを調整することによって、望ましい白色を再現する処理を行う。具体的には、黒補正後のＲＡＷデータに対しホワイトバランス補正用データが加算される。単色の画像を取り扱う場合にはホワイトバランス調整処理は不要となる。現像処理ユニット２１９は、撮像ユニット２１０で撮像された被検試料のタイル画像データから、後述する階層画像データを生成する。

デモザイキング処理部２１３は、Ｂａｙｅｒ配列のＲＡＷデータから、ＲＧＢ各色の画像データを生成する処理を行う。デモザイキング処理部２１３は、ＲＡＷデータにおける周辺画素（同色の画素と他色の画素を含む）の値を補間することによって、注目画素のＲＧＢ各色の値を計算する。またデモザイキング処理部２１３では、欠陥画素の補正処理（補間処理）も実施する。なお、撮像センサ２０８がカラーフィルタを有しておらず、単色の画像が得られている場合、デモザイキング処理は不要となる。また、三板式等ＲＧＢの独立した画像データを複数のイメージセンサに割り当てて撮像する場合も、本デモザイキング処理部２１３は不要となる。

画像合成処理部２１４は、撮像センサ２０８によって撮像範囲を分割して取得したタイル画像データをつなぎ合わせて所望の撮像範囲の大容量画像データを生成する処理を行う。一般に、既存のイメージセンサによって一回の撮像で取得できる撮像範囲より被検試料の存在範囲が広いため、一つのレイヤー（深度位置）の二次元画像データを、複数の分割されたタイル画像データをつなぎ合わせることで生成する。例えば、０．２５μｍの分解能でスライド２０６上の１５ｍｍ角の範囲を撮像すると仮定した場合、一辺の画素数は１
５ｍｍ／０．２５μｍの６万画素となり、トータルの画素数はその二乗である３６億画素となる。１０Ｍ（１０００万）の画素数を持つ撮像センサ２０８を用いて３６億画素の画像データを取得するには、３６億／１０００万である３６０個のエリアに分割して撮像を行う必要がある。なお、複数のタイル画像データをつなぎ合わせる方法としては、ステージ２０２の位置情報に基づいて位置合わせをしてつなぐ方法や、複数のタイル画像の対応する点または線をつなぐ方法、タイル画像データの位置情報に基づいてつなぐ方法などがある。つなぎ合わせの際、０次補間、線形補間、高次補間等の補間処理により滑らかにつなげることができる。本実施形態では、撮像装置１０１内で一枚の大容量画像の生成を想定しているが、画像処理装置１０２の機能として、分割取得されたタイル画像データを表示用画像データの生成時につなぎ合わせる構成をとってもよい。

解像度変換処理部２１５は、画像合成処理部２１４で生成された大容量の二次元画像を高速に表示するために、表示倍率に応じた倍率画像を予め解像度変換によって生成する処理を行う。低倍から高倍まで複数の段階の画像データを生成し、ひとまとめにした階層構造を持つ画像データ(階層画像データ)として構成する。撮像装置１０１で取得した画像データは診断の目的から高解像、高分解能の撮像データであることが望まれる。ただし、先に説明したとおり数十億画素からなる画像データの縮小画像を表示する場合、表示の要求に合わせて都度解像度変換を行っていたのでは処理が間に合わなくなる。そのため、予め倍率の異なる何段階かの階層画像を用意しておき、表示側の要求に応じて用意された階層画像から表示倍率と近接する倍率の画像データを選択し、表示倍率に合わせて倍率の調整を行うことが望ましい。一般には画質の点でより高倍の画像データから表示データを生成することがより好ましい。撮像が高解像に行われるため、表示用の階層画像データは、最も高解像な画像データをもとに、解像度変換手法によって縮小することで生成される。解像度変換の手法として二次元の線形な補間処理であるバイリニアの他、三次の補間式を用いたバイキュービックなどが広く知られている。

フィルタ処理部２１６は、画像に含まれる高周波成分の抑制、ノイズ除去、解像感強調を実現するデジタルフィルタである。γ補正部２１７は、一般的な表示デバイスの階調表現特性に合わせて、画像に逆特性を付加する処理を実行したり、高輝度部の階調圧縮や暗部処理によって人間の視覚特性に合わせた階調変換を実行したりする。本実施形態では形態観察を目的とした画像取得のため、後段の表示処理に適した階調変換が画像データに対して適用される。

圧縮処理部２１８は、大容量の二次元画像データの伝送の効率化および保存する際の容量削減が目的で行われる静止画圧縮の符号化処理を行う。静止画像の圧縮手法として、ＪＰＥＧ（Joint Photographic Experts Group）、ＪＰＥＧを改良、進化させたＪＰＥＧ２０００やＪＰＥＧ ＸＲ等の規格化された符号化方式が広く一般に知られている。

また、階層画像データ中の二次元画像データはデータ伝送および表示時のＪＰＥＧデコードの効率化のため、それぞれの階層は複数枚のタイル画像データに分割された状態で構成される。なお、先の説明では取得時の分割画像をタイル画像と表現したが、本タイル画像と合わせて、表示に用にさらに分割を施した画像もタイル画像と呼び、そのデータをタイル画像データと呼ぶ。階層画像データの構成の詳細については図６（ａ）〜図６（ｂ）で説明する。

プレ計測ユニット２２０は、スライド２０６上の被検試料の位置情報、所望の焦点位置までの距離情報、および被検試料の厚みに起因する光量調整用のパラメータを算出するための事前計測を行うユニットである。本計測（撮像画像データの取得）の前にプレ計測ユニット２２０によって情報を取得し、本計測の撮像位置を決定することで、無駄のない撮像を実施することが可能となる。二次元平面の位置情報取得には、撮像センサ２０８より
解像力の低い二次元撮像センサが用いられる。プレ計測ユニット２２０は、取得した画像から被検試料のＸＹ平面上での位置を把握する。距離情報および厚み情報の取得には、レーザー変位計やシャックハルトマン方式の計測器が用いられる。

メイン制御系２２１は、これまで説明してきた各種ユニットの制御を行う機能を有する。メイン制御系２２１および現像処理ユニット２１９の制御機能は、ＣＰＵとＲＯＭとＲＡＭを有する制御回路により実現される。すなわち、ＲＯＭ内にプログラムおよびデータが格納されており、ＣＰＵがＲＡＭをワークメモリとして使いプログラムを実行することで、メイン制御系２２１および現像処理ユニット２１９の機能が実現される。ＲＯＭには例えばＥＥＰＲＯＭやフラッシュメモリなどのデバイスが用いられ、ＲＡＭには例えばＤＤＲ３などのＤＲＡＭデバイスが用いられる。なお、現像処理ユニット２１９の機能を専用のハードウェアデバイスとしてＡＳＩＣ化したもので置き換えてもよい。

データ出力部２２２は、現像処理ユニット２１９によって生成されたＲＧＢのカラー画像を画像処理装置１０２に送るためのインターフェースである。撮像装置１０１と画像処理装置１０２とは、光通信のケーブルにより接続される。あるいは、ＵＳＢやＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）等の汎用インターフェースが使用される。

（画像処理装置の機能ブロック）
図３は、第１実施形態の画像処理装置１０２の機能構成を示すブロック図である。
画像処理装置１０２は、画像データ取得部３０１、記憶保持部（メモリ）３０２、画像データ選択部３０３、操作指示情報取得部３０４、操作指示内容解析部３０５、レイヤー位置・階層位置設定部３０６、水平位置設定部３０７を備える。さらに、画像処理装置１０２は、セレクタ３０８、合焦判定部３０９、合焦画像レイヤー位置設定部３１０、補間用の画像データ生成部３１１、画像データバッファ３１２、表示用の画像データ生成部３１３、表示用の画像データ出力部３１４を備える。

画像データ取得部３０１は、撮像装置１０１で撮像された画像データを取得する。ここで言う画像データは、分割撮像により得られたＲＧＢカラーのタイル画像データ、タイル画像データを合成した一枚の二次元画像データ、二次元画像データをもとに表示倍率毎に階層化された画像データ（後述の階層画像データ）の少なくとも何れかである。なお、タイル画像データはモノクロの画像データでもよい。また、複数のレイヤー画像から構成されるＺスタック画像をここでは想定している。

また、撮像仕様や撮像時の条件である撮像センサ２０８の画素ピッチ、対物レンズの倍率情報、合焦情報が画像データに付加される形態をとってもよい。
ここで合焦情報とは、画像データの合焦度合いを示す情報と定義する。合焦度合いは、例えば画像のコントラスト値などで評価できる。本明細書では、合焦度合いが所定の基準（閾値）より高いことを「合焦」と呼び、合焦度合がその基準より低いことを「非合焦」と呼ぶ。また、被写体の同一エリア（同じＸＹ範囲）における複数のレイヤー画像のうち、合焦している画像を「合焦画像」と呼び、その中で最も合焦度合いが高い画像を「最合焦画像」と呼ぶ。

記憶保持部３０２は、画像データ取得部３０１を介して外部装置から取得したタイル画像データを取り込み、記憶、保持する。

操作指示情報取得部３０４は、マウスやキーボード等の操作部を介して、表示エリア変更や拡大・縮小表示などの表示画像データの更新指示等、ユーザーによる入力情報を取得し、操作指示内容解析部３０５へ出力する。
操作指示内容解析部３０５は、操作指示情報取得部３０４で取得したユーザー入力情報
を解析し、どのような操作が行われたのか（スクロール操作、変倍操作、レイヤー位置切り替え操作、それぞれの操作方向）の操作指示に関する各種パラメータを生成する。生成されたパラメータは、レイヤー位置・階層位置設定部３０６または水平位置設定部３０７へ出力する。両設定部へのパラメータ出力の判断も合わせて行う。

レイヤー位置・階層位置設定部３０６は、操作指示（レイヤー間移動の指示または表示の拡大・縮小指示）に関する各種設定パラメータに基づき、レイヤー画像の切り替えまたは表示倍率を求める。そして、求められた結果からタイル画像データ取得のためのレイヤーの位置情報と、階層の位置情報を設定し画像データ選択部３０３へ出力する。
設定の際必要となる撮像したタイル画像データのレイヤー位置情報および階層位置情報は、画像データ選択部３０３を介して記憶保持部３０２から取得する。

水平位置設定部３０７は、操作指示（水平方向の位置変更）に関する設定パラメータに基づき、画像の水平方向の表示位置を求め、求められた結果からタイル画像データ取得のための水平位置情報を設定し画像データ選択部３０３へ出力する。設定の際必要となる情報の取得はレイヤー位置・階層位置設定部３０６と同様に行われる。

画像データ選択部３０３は、表示に用いるタイル画像データを記憶保持部３０２から選択し、出力する。表示に用いるタイル画像データは、レイヤー位置・階層位置設定部３０６で設定されたレイヤー位置や階層位置、水平位置設定部３０７で設定された水平位置、および合焦画像レイヤー位置設定部３１０で設定されたレイヤー位置に基づき、決定される。また、画像データ選択部３０３は、レイヤー位置・階層位置設定部３０６、水平位置設定部３０７それぞれが設定を行う際に必要となる情報を記憶保持部３０２から取得し、各設定部に受け渡す機能も有する。

セレクタ３０８は、画像データ選択部３０３を経由して記憶保持部３０２から得たタイル画像データの合焦判定を行うため、合焦判定部３０９へタイル画像データを出力する。また、合焦判定部３０９から得られた合焦情報に基づき、画像データバッファ３１２、または補間用の画像データ生成部３１１へ、タイル画像データを振り分けて出力する。画像データバッファ３１２へ格納するタイル画像データは、スクロール後最終的に表示する合焦画像の他、該合焦位置とスクロール前表示のレイヤー位置の間にある予め取得した複数枚のタイル画像データ（Ｚスタック画像データ）となる。また、補間表示用の画像データ生成部３１１で時分割表示用のタイル画像データを新たに生成する場合は、セレクタ３０８が補間表示用の画像データ生成部３１１へ必要なデータを出力する。

合焦判定部３０９は、セレクタ３０８から出力されたタイル画像データの合焦度合いを判定し、得られた合焦情報をセレクタ３０８、および合焦画像レイヤー位置設定部３１０へ出力する。
タイル画像データの合焦度合いは、例えば、タイル画像データに予め付加されている合焦情報を参照することで判断することができる。また、予め合焦情報が付加されていない場合には、画像コントラストを用いて判定してもよい。画像コントラストとは、画像コントラストをＥ、画素の輝度成分をＬ（ｍ、ｎ）とした場合に、以下の式を用いて算出できる。ここで、ｍは画素のＹ方向位置、ｎは画素のＸ方向位置を表している。

右辺の第１項はＸ方向に隣り合う画素の輝度差を表しており、第２項はＹ方向に隣り合う画素の輝度差を表している。画像コントラストＥは、Ｘ方向とＹ方向に隣り合う画素の
輝度差の自乗和により算出することができる。

合焦画像レイヤー位置設定部３１０は、合焦判定部３０９より出力された合焦情報に基づき、合焦画像のレイヤー位置を画像選択部３０３に対して出力する。

補間表示用の画像データ生成部３１１は、画像データバッファ３１２から取得したスクロール前のタイル画像データのレイヤー位置情報と、セレクタ３０８から出力されたスクロール先の合焦画像を利用し、時分割表示用のタイル画像データを生成する。本実施形態では、補間処理によって複数枚のタイル画像データが生成される。詳しい処理については後述する。生成した時分割表示用のタイル画像データは画像データバッファ３１２で格納される。

画像データバッファ３１２は、セレクタ３０８、および補間表示用画像データ生成部３１１で生成された画像データをバッファリングし、表示用の画像データ生成部３１３へ画像データを表示の順番に従って出力する。
表示用の画像データ生成部３１３は、画像データバッファ３１２から取得した画像データをもとに表示装置１０３で表示するための表示用画像データを生成し、表示用の画像データ出力部３１４へ出力する。
表示用の画像データ出力部３１４は、表示用の画像データ生成部３１３で生成された表示用画像データを外部装置である表示装置１０３へ出力する。

（画像形成装置のハードウェア構成）
図４は、画像処理装置のハードウェア構成を示すブロック図である。
情報処理を行う装置として、例えばＰＣ（Personal Computer）が用いられる。ＰＣは
、ＣＰＵ（Central Processing Unit）４０１、ＲＡＭ（Random Access Memory）４０２
、記憶装置４０３、データ入出力Ｉ／Ｆ４０５、およびこれらを互いに接続する内部バス４０４を備える。

ＣＰＵ４０１は、必要に応じてＲＡＭ４０２等に適宜アクセスし、各種演算処理を行いながらＰＣの各ブロック全体を統括的に制御する。
ＲＡＭ４０２は、ＣＰＵ４０１の作業用領域等として用いられ、ＯＳ、実行中の各種プログラム、本実施形態の特徴である合焦位置の変更をユーザーへ提示するための複数枚の表示用データの生成など処理の対象となる各種データを一時的に保持する。

記憶装置４０３は、ＣＰＵ４０１に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている情報を記録し読み出す補助記憶装置である。ＨＤＤ（Hard Disk Drive）等の磁気記憶媒体、ＳＳＤ（Solid State Disk）等のＦｌａ
ｓｈメモリを用いた半導体デバイスが用いられる。

データ入出力Ｉ／Ｆ４０５には、ＬＡＮ Ｉ／Ｆ４０６を介して画像サーバー７０１が
、グラフィクスボード４０７を介して表示装置（ディスプレイ）１０３が、外部装置Ｉ／Ｆ４０８を介してバーチャルスライド装置やデジタル顕微鏡に代表される撮像装置１０１が、接続される。また、操作Ｉ／Ｆ４０９を介してキーボード４１０やマウス４１１がそれぞれ接続される。

表示装置１０３は、例えば液晶、ＥＬ（Electro-Luminescence）、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。当該表示装置１０３は、外部装置として接続される形態を想定しているが、表示装置と一体化したＰＣを想定してもよい。例えばノートＰＣがこれに該当する。

操作Ｉ／Ｆ４０９との接続デバイスとしてキーボード４１０やマウス４１１等のポインティングデバイスを想定しているが、タッチパネルのように表示装置１０３の画面が直接入力デバイスとなる構成を取ることも可能である。その場合、タッチパネルは表示装置１０３と一体となり得る。

（スライドとタイル画像の取得位置の関係）
図５は、スライド２０６とタイル画像データの取得位置との関係を説明する模式図である。なお、Ｚ軸は光軸方向を、Ｘ軸とＹ軸は光軸と直交する軸を示す。
スライド２０６は、被写体である被検試料５０２をスライドグラス５０１上に貼り付け、封入剤５０３とともにカバーグラス５０４の下に固定した部材である。被検試料５０２は数μｍから数百μｍほどの厚みを持つ透過物体である。

図５では、スライド２０６の光軸方向をＺ軸（深度方向）と示し、深度位置が異なる複数のレイヤーをレイヤー位置５１１〜５１５で表している。各レイヤー位置５１１〜５１５は、結像光学系の被写体側の焦点位置を表している。

図５はＸＺ平面またはＹＺ平面によるスライド２０６の断面を示している。スライド２０６に固定された被検試料５０２は、厚み方向に存在位置が異なる、すなわち異なる厚みを持った被検試料５０２であることを示している。

図５は、レイヤー位置５１４の深度に焦点位置を固定した状態で、被検試料５０２を分割撮像し、８枚のタイル画像データ（太線で図示）を取得した例を示す。タイル画像データ５０５は、焦点位置が被検試料５０２内にあるため、合焦した画像データとなる。タイル画像データ５０６は、焦点位置が被検試料５０２内になく、一部または全領域が非合焦の画像データとなる。

タイル画像データ間の境界５０７は各タイル画像データ間の境界位置を示している。図５の例では、タイル画像データ間の境界を明示するため隙間を空けて示しているが、実際には隙間はない連続した状態か、または分割取得される領域が互いにオーバーラップしているものとする。以後分割取得されたタイル画像データ間には隙間は無いものとして説明する。

ＸＹ位置が異なる複数のタイル画像データを保持しておくことで、画像観察時に表示エリアを水平方向（ＸＹ方向）に移動させるスクロール操作が行われた際、対応するタイル画像データを使用して表示用画像を生成することで高速な表示が実現できる。

（画像データセットの構成）
図６（ａ）〜図６（ｃ）は、被検試料５０２を撮像し生成された画像データセットの構成例である。画像データセットは、被検試料５０２の複数のエリア（水平領域）のそれぞれについて深度位置が異なる１以上のレイヤーの画像データ（タイル画像データ）を含んでいる。さらに本実施形態では、表示の拡大・縮小を高速に行うため、倍率の異なる階層画像データも含んでいる。以下、タイル画像データ、階層画像データ、および画像ファイルのデータ構成の関係を説明する。

図６（ａ）は、被検試料５０２を分割撮像した際の各エリア（水平領域）の位置と、Ｚスタック画像データを構成する各レイヤー画像のＺ位置（焦点位置）と、複数のタイル画像データの関係を示す図である。図６（ａ）は、被検試料５０２の画像データセットの中に、水平位置（ＸＹ位置）と光軸方向の位置（Ｚ位置）とが異なる複数のタイル画像データが含まれていることを示している。

第１レイヤー画像６１１は、Ｚ軸方向の位置が原点に１番目に近い焦点位置（図５で示したレイヤー位置５１１と同じ位置）におけるタイル画像群である。図６（ａ）は、第１水平領域６０１〜第８水平領域６０８を撮像して取得した８枚のタイル画像データでひとつのレイヤー画像６１１が構成されている例を示している。第２レイヤー画像６１２は、第１レイヤー画像６１１とは焦点位置が異なる（原点から２番目の位置）レイヤー画像である。第３レイヤー画像６１３、第４レイヤー画像６１４、第５レイヤー画像６１５の順に焦点位置が浅くなる。

Ｚスタック画像データ６１０は、焦点位置が異なる複数のレイヤー画像の集まりである。ここでは、第１レイヤー画像６１１、第２レイヤー画像６１２、第３レイヤー画像６１３、第４レイヤー画像６１４、第５レイヤー画像６１５の、５つのレイヤー画像から構成されている。

図６（ａ）の例では、被検試料５０２の存在する領域は問わずＺスタック画像データとして取得した例を示しているが、例えば被検試料５０２の存在する領域のみ画像データを取得する、もしくは取得後に存在する領域のみ保存する構成としても良い。
図６（ａ）のようにＺスタック画像データを生成することによって、ユーザーは水平（ＸＹ）および垂直（Ｚ）方向へ表示位置を移動させ、被検試料５０２の画像を観察することが可能となる。

図６（ｂ）は、階層画像データの構造を表した概略図である。
階層画像データ６２０は、解像度（画素数）の異なる複数組のＺスタック画像データから構成される。図６（ｂ）は、第１階層のＺスタック画像データ６２１、第２階層のＺスタック画像データ６２２、第３階層のＺスタック画像データ６２３、第４階層のＺスタック画像データ６２４の４組により構成されている例を示している。第２階層〜第４階層の画像データは、最も高解像度の第１階層の画像データを解像度変換処理することで生成される。

この階層画像データ６２０の各階層のＺスタック画像データは第１レイヤー画像６１１〜第５レイヤー画像６１５からなる５レイヤーの画像データから構成されているものとする。また一つのレイヤー画像は複数のタイル画像によって構成される。レイヤーの数、タイル画像データの数は一例である。
符号６２５は、観察対象となる組織の切片や塗抹した細胞の例である。図では、各階層の解像度の違いを理解し易いように、同一の物体６２５の各階層における画像の大きさを示している。

第４階層のＺスタック画像データ６２４は最も低解像度の画像データであり、被検試料５０２全体を示すサムネイル画像（顕微鏡の対物レンズの倍率では〜４倍相当）に用いられる。
第３階層のＺスタック画像データ６２３、第２階層のＺスタック画像データ６２２は中程度の解像度の画像データであり、バーチャルスライド画像の広域観察等（顕微鏡の対物レンズの倍率では４〜２０倍相当）に用いられる。
第１階層のＺスタック画像データ６２１は最も高解像度の画像データであり、バーチャルスライド画像を詳細に観察するとき（顕微鏡の対物レンズの倍率では４０倍相当以上）に用いられる。
各階層中のレイヤー画像は、複数のタイル画像データから構成され、各タイル画像データは静止画圧縮されている。例えば、タイル画像データはＪＰＥＧ画像データの形式で保存される。

第４階層のＺスタック画像データ６２４中の１枚のレイヤー画像は一つのタイル画像デ
ータから構成される。第３階層のＺスタック画像データ６２３中の１枚のレイヤー画像は４つのタイル画像データから、以後同様に第２階層のレイヤー画像は１６の、第１階層のレイヤー画像は６４のタイル画像データから構成されている。

各階層画像における解像度の違いは、顕微鏡観察時の光学倍率の違いに対応するものであり、第４階層のＺスタック画像データ６２４を表示装置１０３に表示させてユーザーが観察することは低倍時の顕微鏡観察に相当する。同様に第１階層のＺスタック画像データ６２１を観察することは高倍時の顕微鏡観察に相当する。ユーザーが被検試料５０２について詳細に観察を行う場合には、第１階層のＺスタック画像データ６２１中のいずれかのレイヤー画像を選択し、表示装置１０３に表示させて観察すれば良い。

図６（ｃ）は、画像ファイルの構成であるデータフォーマットの概略を示した図である。図６（ｃ）の、画像ファイル６３０のデータフォーマットは、大きくヘッダデータ６３１と画像データ６３２から構成されている。

ヘッダデータ６３１には、画像ファイル６３０が生成された日付・時間情報６３４、撮像条件６３６、プレ計測情報６３８、セキュリティ情報６３３、付加情報６３５、画像データ６３２を構成するタイル画像データのポインタ情報６３７が格納されている。プレ計測情報６３８は、プレ計測ユニット２２０で得られた被検試料５０２の各水平位置（ＸＹ位置）での厚み情報（例えば、被検試料５０２のカバーグラス側の表面のＺ位置）等を含む。セキュリティ情報６３３は、データを生成したユーザー情報、該データを閲覧可能なユーザー情報等を含む。付加情報６３５は、画像生成または画像閲覧時にコメントを書き込んだアノテーション情報等を含む。ポインタ情報６３７とは、画像データ６３２中のタイル画像データの番地情報である。

画像データ６３２は、図６（ｂ）の階層画像データ６２０に示す階層構造で構成され、画像データ６２１〜６２４は、図６（ｂ）の階層画像データ６２１〜６２４と対応関係にあることを示している。画像データ６２１は第１階層のＺスタック画像データであることを示している。第１階層のＺスタック画像データ６２１中の６１１は第１レイヤー画像データであり、図６（ａ）および図６（ｂ）の第１レイヤー画像６１１と対応していることを示している。同様に、各レイヤー画像６１２〜６１５は図６（ａ）および図６（ｂ）の同じ符号のレイヤー画像と対応している。

画像データ６３２は図６（ｂ）で説明した階層画像データ（タイル画像データが圧縮された）形式で格納されており、ここではＪＰＥＧの圧縮を想定している。ＪＰＥＧ２０００等の他の圧縮形式を用いてもよいし、ＴＩＦＦ等の非圧縮形式で格納しても良い。各タイル画像データのＪＰＥＧヘッダファイルには、タイル画像データの合焦情報が格納されている。本実施形態では、各タイル画像データのヘッダファイルに合焦情報を格納する構成を示しているが、タイル画像データそれぞれの合焦情報をポインタ情報と合わせてファイルのヘッダデータ６３１にまとめて格納する構成でも良い。

ここではファイルが一体のものとして示したが、物理的に異なる記憶媒体に分割して保存される構成を取っても良い。例えば、クラウドサーバーのように複数の記憶媒体を管理する構成の場合、各階層データを異なるサーバーに割り当て、必要時に読み出しても良い。

このような画像ファイル構成によって、ユーザーが表示位置を変更するスクロール操作指示、変倍操作指示、レイヤー切り替え操作指示等を行った際に、高精細画像であるすべての大容量画像データを読み込む必要がなくなる。すなわち、表示に必要なタイル画像データを適宜読み込み、使用することで画像の切り替え表示を高速に行うことができる。

（時分割表示用の画像データ生成方法と表示制御）
図７（ａ）と図７（ｂ）は、ユーザーが画像の表示エリアを水平方向に移動する操作（スクロール）を行った際の、表示画像の切り替え方法の概念を示した図である。

図７（ａ）は、図６（ａ）の一部（第４水平領域、第５水平領域付近）の位置を示した図である。図７（ａ）において、タイル画像データ７４１〜７４５は被検試料５０２の存在する領域を撮像し生成された画像であり、それぞれ合焦した画像であることを示している。タイル画像データ７５１〜７５３も同様である。符号７５４、７５５は、被検試料５０２が存在しない領域であり、タイル画像データが存在していないことを示している。なお、符号７５４、７５５の部分は、最初から撮像を行っていないか、もしくは撮像後にデータを削除した部分である。
被検試料５０２の存在範囲外のデータが存在しないことは、そもそも合焦範囲外ということで撮像を行わないことで、取得に要する時間の短縮に寄与する。同様に、取得後にデータを削除することは、データを格納するメモリ等の記憶保持媒体の容量を効率的に使用することになる。

図７（ａ）の第４水平領域（第１のエリア）のタイル画像データ７４５（第１画像データ）が表示されている状態で、右隣の第５水平領域（第２のエリア）の表示に変更する操作指示（水平方向のスクロール）が行われたと仮定する。タイル画像データ７４５は、被検試料５０２の表面に近いレイヤー位置の画像である。
ここで、被検試料５０２の表面とは、ＸＺまたはＹＺ断面における被検試料の外周部分を指し、カバーグラス５０４側においてはカバーグラス５０４または封止材と接する組織や細胞の断端の面を指している。スライド側においては、スライドまたは封止剤と接する組織や細胞の断端の面を指している。

スクロール操作が行われると、スクロール後（表示エリアの変更後）に表示すべきタイル画像データ（第２画像データ）が、第５水平領域のＺスタック画像データ（タイル画像データ７５１〜７５３）の中から選択される。この例では、スクロール前に表示していたタイル画像データ７４５（第１画像データ）と同じレイヤーの位置７５５にはタイル画像データが存在していない。このように、現在表示されているタイル画像データ７４５と同一のレイヤー位置のタイル画像データが存在しない場合、同一のレイヤー位置のタイル画像データの代わりとなる画像データを用意する必要がある。

代わりとなる表示用の画像データは、例えば、第５水平領域のＺスタック画像のうち、タイル画像データ７４５とは異なるレイヤー位置のタイル画像データが選択される。ここでは、被検試料５０２の構造上タイル画像データ７４５と同じ位置関係、すなわち被検試料５０２の表面に近い位置となるタイル画像データ７５３を選択する。なお、本実施形態ではタイル画像データ７５３を選択する例を説明したが、タイル画像データが存在していればよく、タイル画像データ７５２や７５１であっても良い。

このように、ユーザーが表示位置を水平方向に移動させる操作指示を行った際、スクロール前に表示していた画像と同一のレイヤー位置にタイル画像データが存在しない場合、異なるレイヤー位置の画像データを選択することで画像を表示できる。

図７（ｂ）は、タイル画像データ７４５から異なるレイヤー位置のタイル画像データ７５３に表示を変更する際の、補間画像データの表示の概念を説明する図である。

スクロール時にレイヤー位置が異なるタイル画像への切り換えを行うと、タイル画像の間のつなぎ目が不連続となり、アーティファクトが現れることがある。高速なスクロール
表示では問題とならない可能性もあるものの、表示のオートフォーカス機能、すなわち常に合焦した画像が表示される場合、レイヤー位置の切り替えが生じたことは観察を行っているユーザーからはわからない。本実施形態では、異なるレイヤーの画像への切り替えの際、スクロール前後の画像データの間で深度位置（焦点位置）が変わることを示すための補間画像データ（第３画像データ）を生成し表示する。

本実施形態では、タイル画像データ７４５からタイル画像データ７５３に表示を切り替える間に、スクロール後のタイル画像データ７５３から生成した時分割表示用の補間画像データ７９２〜７９４を表示する。
最初にスクロール前のタイル画像データ７４５から表示用の画像データ７９１が生成される。次にスクロール後に表示すべきタイル画像データ７５３に対し、合焦度合いを変化させる処理（ボケ処理）を加えることで、時分割表示用の補間画像データ７９２〜７９４を順次生成する。合焦度合いの異なる画像データの生成方法は図１０（ａ）と図１０（ｂ）を使用し説明する。最後に、合焦画像であるタイル画像データ７５３から表示用の画像データ７９５が生成される。

表示用の画像データ７９１〜７９５が生成されると、時間軸（ｔ）の順番で表示される。なお、時分割表示用の補間画像データの生成は、時分割表示用の画像データの表示と並行して行っても良い。
実際には、スクロールの速度や表示倍率によっては、スクロール後のタイル画像データ７５３の表示は、一部の表示に留まる場合がある。また、スクロール速度が速い場合には、タイル画像データ７５３から生成した表示画像データ７９５の表示前に次のスクロール先の画像表示へ切り変わる場合もある。何れにしてもタイル画像データ７４５から７５３への切り替えが行われる際、その途中に補間画像データを差し込むことで、合焦してない（ボケた）画像から合焦画像へ時間変化を伴って切り替わる。このような表示の変化により、ユーザーはスクロールによりレイヤー位置（深度位置）の切り替わりが発生したことを直観的に理解することができる。

（表示処理のメインフロー：表示位置変更処理）
本実施形態の画像処理装置における画像表示切り替えのメインの処理の流れを、図８のフローチャートを用いて説明する。
図８は、画像表示切り替え時の合焦画像データの選択と表示画像切り替え処理の流れを説明するフローチャートである。

ステップＳ８０１において、初期化処理が行われる。初期化処理では、画像の初期表示を行うために必要な、表示開始水平位置、表示開始垂直位置、レイヤー位置、表示倍率、レイヤー切り替えモード等の初期値を設定し、ステップＳ８０２へ移行する。

レイヤー切り替えモードの設定情報の種類は、例えば「切り替えｏｆｆモード」、「瞬時表示切り替えモード」、「異合焦画像切り替えモード」、「異レイヤー画像切り替えモード」が存在し、そのうち何れか一つを設定する。

「切り替えｏｆｆモード」に設定されている場合は、ユーザーから表示位置を水平方向に移動させる（スクロール）操作指示を受けた際、スクロール後に表示する画像のレイヤー位置をスクロール前の表示画像のレイヤー位置と同じにする。その場合同じレイヤー位置にタイル画像データが存在することが前提となる。

「瞬時表示切り替えモード」は、同様な操作指示を受けた際、スクロール後に表示する画像として最も合焦した画像を選択し、スクロール前の画像からスクロール後の画像へ間をおかず直接に表示を切り替えるモードである。

「異合焦画像切り替えモード」と「異レイヤー画像切り替えモード」は、同様な操作指示を受けた際、スクロール後に表示する画像として最も合焦した画像を選択すると共に、スクロール前の表示画像とスクロール後の表示画像との間に補間する画像を用意する。そして、それらの画像の表示を時分割で切り替えるモードである。図７（ｂ）で説明した処理は、「異合焦画像切り替えモード」の例である。「異レイヤー画像切り替えモード」については、別の実施形態で説明をする。両モードの違いは時分割画像の表示を行う補間画像の生成の違いとなる。
本実施形態ではレイヤー切り替えモードの初期値として「異合焦画像切り替えモード」に設定されたものとして以後の説明を行う。

レイヤー切り替えモードの初期値は初期化処理で設定するとしたが、予め用意した設定ファイルを読み込むことで切り替えるようにしても良いし、レイヤー切り替えモードの設定画面を呼び出して新たに設定、または設定内容の変更を行っても良い。すなわち、モードの選択（切り替え）は自動又は手動で行うことができる。

初期化処理（Ｓ８０１）では画像の初期表示を行うための画像データを選択する。初期表示を行うための画像として、例えば被検試料５０２の全体像が挙げられる。全体像を表示するために、前述の表示開始水平位置、表示開始垂直位置、レイヤー位置、表示倍率で設定された設定値を基に、最も低倍の画像データである第４階層の階層画像データが選択される。本実施形態では、選択する画像データの階層を第４階層としたが、この限りではない。画像の初期表示を行うための画像データを選択した後、ステップＳ８０２へ移行する。

ステップＳ８０２では、ステップＳ８０１で設定した値に基づく画像データの取得、または後述するステップＳ８０８、Ｓ８１０、Ｓ８１５、Ｓ８１９およびＳ８２０で選択した画像データを取得し、ステップＳ８０３へ移行する。
ステップＳ８０３では、ステップＳ８０２で取得した画像データを基に表示用の画像データを生成する。表示用の画像データは表示装置１０３へ出力される。これにより、ユーザー操作（水平位置の切り替え、レイヤー位置の切り替え、倍率変更など）に応じて表示画像が更新される。

ステップＳ８０４では、表示されている画像データに関連する各種ステータスを表示する。ステータスは、ユーザー設定情報、表示している画像の表示倍率、表示位置情報等の情報を含むとよい。表示位置情報については、画像の原点からの絶対座標を数値で表示してもよいし、被検試料５０２の全体像に対する表示エリアの相対位置やサイズを画像等のマップ形式で表示してもよい。ステータスの表示後に、ステップＳ８０５へ移行する。なお、ステップＳ８０４の処理はステップＳ８０３と同時又はその前に行われてもよい。

ステップＳ８０５では、操作指示の有無を判断する。操作指示を受け付けるまで操作指示待ち状態となる。ユーザーにより操作指示が行われると、ステップＳ８０６へ移行する。
ステップＳ８０６では、操作指示の内容が水平位置（ＸＹ平面における位置）の切り替え、すなわちスクロール操作であるか否かの判断を行う。水平位置を切り替える指示が行われたと判断された場合は、ステップＳ８１１へ移行する。水平位置の切り替え操作指示以外の場合は、ステップＳ８０７へ移行する。
ステップＳ８０７では、表示画像のレイヤー位置の切り替え操作指示があったか否かの判断を行う。レイヤー位置の切り替え操作指示があった場合は、ステップＳ８０８へ移行する。レイヤー位置の切り替え以外の操作指示が行われた場合は、ステップＳ８０９へ移行する。

ステップＳ８０８では、レイヤー位置の切り替え操作指示を受けて、表示する画像のレイヤー位置の変更処理が行われ、ステップＳ８０２へ戻る。具体的には、操作量に伴ったレイヤー位置の変更を確認し、該当するレイヤー位置の画像データを選択する。

ステップＳ８０９では、表示倍率を変更する変倍操作指示が行われたか否かの判断を行う。変倍操作の指示を受け付けたと判断した場合は、ステップＳ８１０へ移行する。ステップＳ８１０では、表示する画像の表示倍率の変更処理が行われ、ステップＳ８０２へ戻る。変倍操作指示以外の場合は、ステップＳ８２１へ移行する。具体的には、操作量に伴った変倍量を確認し、該当する階層画像データから表示倍率に合った画像データを選択する。

ステップＳ８１１では、スクロール後に表示する水平位置を操作量から確定し、該当する位置に対して表示可能なタイル画像データがＺスタック画像データの中に存在するか否かを示すタイル画像データ有無情報を取得し、ステップＳ８１２へ移行する。
ステップＳ８１２では、レイヤー切り替えモードの設定情報を取得し、ステップＳ８１３へ移行する。なお、ステップＳ８１２の処理はステップＳ８１１の処理と同時、または前に行っても良い。

ステップＳ８１３では、ステップＳ８１１で取得したタイル画像データの有無情報からスクロール操作指示前に表示していた画像データと同一のレイヤー位置にタイル画像データが存在するか否かの判断を行う。タイル画像データが存在しないと判断された場合は、ステップＳ８１６へ移行する。タイル画像データが存在すると判断された場合は、ステップＳ８１４へ移行する。

ステップＳ８１４では、レイヤー切り替えモードが「切り替えｏｆｆモード」に設定されているか否かの判断を行う。レイヤー切り替えモードが「切り替えｏｆｆモード」に設定されていると判断された場合は、ステップＳ８１５へ移行する。レイヤー切り替えモードが「切り替えｏｆｆモード」以外に設定されていると判断された場合は、ステップＳ８１６へ移行する。

ステップＳ８１５では、スクロール後に表示するための画像データとして、スクロール操作指示前に表示していたタイル画像データと同一のレイヤー位置にあるタイル画像データをスクロール先のＺスタック画像データから選択し、ステップＳ８０２へ戻る。

ステップＳ８１６では、スクロール前と同一のレイヤー位置にタイル画像データがないことを受けて、スクロール先のＺスタック画像データの存在範囲（レイヤー位置の範囲）を取得、設定し、ステップＳ８１７へ移行する。
ステップＳ８１７では、ステップＳ８１６で設定した存在範囲内にある各タイル画像データの合焦情報を取得し、ステップＳ８１８へ移行する。

ステップＳ８１８では、レイヤー切り替えモードが「瞬時切り替えモード」に設定されているか否かを判断する。「瞬時切り替えモード」に設定されていると判断された場合は、ステップＳ８１９へ移行する。それ以外のレイヤー切り替えモードに設定されている場合はステップＳ８２０へ移行する。なお、本実施形態ではそれ以外のレイヤー切り替えモードとして「異合焦画像切り替えモード」を想定する。

ステップＳ８１９では、スクロール先のＺスタック画像データの中から最も合焦したタイル画像データを選択し、ステップＳ８０２へ戻る。合焦したタイル画像データを選択する方法としては、ステップＳ８１６で取得したタイル画像データの存在範囲から各タイル
画像データに付加された合焦情報を比較し、最も合焦度合いが高いタイル画像データを選択する。最合焦のタイル画像データの選択方法として、タイル画像データに付加された合焦情報の比較を例として挙げたがこの限りではない。タイル画像データの存在範囲内にあるすべてのタイル画像データのコントラスト値を比較し、その結果を用いて選択しても良い。

ステップＳ８２０では、ステップＳ８１７で取得された合焦情報をもとに、ステップＳ８１９同様、最合焦となるタイル画像データを選択し、「異合焦画像切り替えモード」で使用する合焦度合いの異なる複数枚の表示用の画像データを生成する。生成された表示用の画像データを時分割で順次表示し、ステップＳ８０２へ戻る。処理の詳細については図９を用いて説明する。

ステップＳ８２１では、終了操作がされたか否かの判別を行う。終了操作がされるまでステップＳ８０５へ戻り待機状態となる。終了操作がされたと判断された場合は処理を終了する。

このように、ユーザーが画像の表示切り替えのために行った操作指示の内容に応じ、表示画像のスクロール表示（水平位置変更表示）や変倍表示、およびレイヤー位置の切り替え表示を行う。また、レイヤー切り替えモードの設定内容に該当する画像表示切り替えを行う。例えば、スクロール前後のタイル画像データのレイヤー位置が異なる場合に、補間画像データを生成し、時分割で切り替えて変更の過程を画像として表示する。

（時分割表示用の画像データ生成・表示のフロー）
本実施形態の画像処理装置における、スクロール操作後の時分割表示用のタイル画像データの生成および表示切り替え処理の流れを、図９のフローチャートを用いて説明する。
図９は、図８のステップＳ８２０で行われる、時分割表示用のタイル画像データの生成処理、および表示処理の流れを表したフローチャートである。

ステップＳ９０１では、図８中のステップＳ８１９で選択された合焦画像を基に、時分割表示用の複数枚の補間画像データを生成し、ステップＳ９０２へ移行する。ステップＳ９０１で行われる複数枚の時分割表示用の補間画像データの生成処理は、図１０を用いて概念を、図１１を用いて処理フローをそれぞれ詳細に説明する。

ステップＳ９０２において初期化処理を行う。初期化処理では、時分割表示用の補間画像データを複数枚生成する際に使用するカウンタ値を０に初期化する。また、時分割表示時の表示間隔を決めるＷａｉｔ時間を設定し、ステップＳ９０３へ移行する。
ステップＳ９０３では、時分割表示用の複数枚の補間画像データの中から、表示する補間画像データをカウンタ値に合わせて取得し、ステップＳ９０４へ移行する。
ステップＳ９０４では、ステップＳ９０３で取得した時分割表示用の補間画像データから表示用の画像データを生成、表示し、ステップＳ９０５へ移行する。
ステップＳ９０５では、ステップＳ９０２で設定したＷａｉｔ時間分の時間が経過したかを判断する。時間経過まで待機状態となり、Ｗａｉｔ時間経過後にステップＳ９０６へ移行する。
ステップＳ９０６では、カウンタ値を１つ加算してステップＳ９０７へ移行する。

ステップＳ９０７では、ステップＳ９０１で生成された時分割表示用の補間画像データの総枚数と、ステップＳ９０６で更新されたカウンタ値を比較する。カウンタ値が、時分割表示用の補間画像データの枚数まで達していないと判断された場合は、未表示となる時分割表示用の補間画像データが存在すると判断し、ステップＳ９０３へ戻る。カウンタの値が時分割表示用の補間画像データの枚数に達したと判断された場合は、すべての時分割
表示用の補間画像データが表示されたと判断し、時分割表示処理を終了する。

このように、時分割表示用の複数枚の補間画像データを生成し、設定された時間間隔で順次切り替え表示することで、スクロールによりレイヤー位置の異なるタイル画像データが選択されたことをユーザーに示すことができる。

（合焦度合いの異なる補間画像の生成）
本実施形態の画像処理装置における、合焦度合いの異なる複数枚の画像データ生成の概念について図１０（ａ）と図１０（ｂ）を用いて説明する。

図１０（ａ）は、合焦度合いの異なる複数枚の画像データを生成する際に使用する点広がり関数ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）と、生成される画像データのレイヤー位置の関係を示す模式図である。
図１０（ａ）は、例えば図７（ａ）で説明したタイル画像データ７５２の撮像時における、結像光学系の特性ＰＳＦの例を示している。
１００１は、撮像装置１０１の光軸である。１００２は、タイル画像データ７５５のレイヤー位置に相当するＰＳＦの広がりを示している。同様に、１００３〜１００６は、タイル画像データ７５４〜タイル画像データ７５１のレイヤー位置に相当するＰＳＦの広がりを示している。ここで最合焦のタイル画像データは７５２となる。

図１０（ｂ）は、スクロール操作前に表示されているタイル画像データ１００７から生成された表示用の画像１０１１と、スクロール操作後に表示のために選択したタイル画像データ１００８から、時分割表示用の補間画像データを生成する処理を示している。なお、本実施形態では、タイル画像データ１００７が表示されている状態で、スクロール操作後にタイル画像データ１００８が最終的に表示される例を示している。

表示画像データ１０１１は、タイル画像データ１００７をもとに表示用の画像として生成された画像データであり、スクロール操作前に表示している画像である。表示画像データ１０１２〜１０１５は、タイル画像データ１００８をもとに生成された合焦度合いの異なる時分割表示用の補間画像データである。スクロール操作後に時分割で表示される画像データである。時間軸（ｔ）に沿って、表示画像データ１０１１〜１０１５が表示されるものとする。

表示画像データ１０１１〜１０１５で示した画像は、図７（ｂ）で説明した表示用の画像データ７９１〜７９５と対応関係にある。表示画像データ１０１２〜１０１４は、最合焦のタイル画像データ７５２をもとに、７５２のレイヤー位置からの距離に相当するＰＳＦの広がりを考慮した画像を生成することになる。具体的には、タイル画像データ７５２とそれぞれのレイヤー位置におけるＰＳＦのコンボリューションによってそれぞれの画像データ１０１２〜１０１４が生成される。
このように、点広がり関数ＰＳＦを利用することで合焦状態にある１枚の画像データから、合焦度合いの異なる複数枚の画像データを擬似的に生成することができる。

（合焦度合いの異なる非合焦画像生成のフロー）
本実施形態の画像処理装置における、時分割表示用の画像データ（合焦度合いの異なる複数枚の画像）を生成する処理の流れを、図１１のフローチャートを用いて説明する。

図１１は、図９のステップＳ９０１で行われる処理内容の詳細な流れを示している。ステップＳ１１０１では初期化処理が行われる。初期化処理では、時分割表示用のタイル画像データを複数枚生成するためのループ処理で使用するカウンタの初期値を設定し、ステップＳ１１０２へ移行する。

ステップＳ１１０２では、合焦度合いの異なる時分割表示用の画像データを生成開始するための生成開始パラメータ、および生成終了パラメータを設定する。ここでは、例えばタイル画像データ７５５のレイヤー位置を生成開始とし、タイル画像データ７５２のレイヤー位置を生成終了として設定し、ステップＳ１１０３へ移行する。

ステップＳ１１０３では、合焦度合いの異なる画像の生成開始、および終了パラメータより、各レイヤー位置間の距離を算出し、かつ結像光学系２０７のＮＡから規定される被写界深度と合わせて時分割表示用の画像データを生成する枚数を計算する。例えばＮＡが０．７５の場合、被写界深度は±０．５μｍ相当となるため、表示画像間隔を被写界深度の範囲である１．０μｍに設定し、レイヤー位置間の距離を表示画像間隔で割ることによって枚数が算出される。

ステップＳ１１０４では、図８で示したステップＳ８１９の処理で選択された最合焦のタイル画像データを取得し、ステップＳ１１０５へ移行する。本実施形態ではタイル画像データ７５２が取得される。
ステップＳ１１０５では、カウンタ値に基づき、各レイヤー位置の非合焦（ボケ）量をＰＳＦの値から計算する。計算された非合焦（ボケ）量を把握し、ステップＳ１１０６へ移行する。

ステップＳ１１０６では、ステップＳ１１０４で取得したタイル画像データ、およびステップＳ１１０５で計算された非合焦（ボケ）量から、時分割表示用の画像データを生成し、ステップＳ１１０７へ移行する。
例えば、表示用画像の非合焦量の計算は、スクロール操作指示前の表示していたタイル画像データ７４５をＩ４（５）、スクロール操作指示後に選択された最合焦画像データ７５２をＩ５（２）とすると、下記の計算式で求められる。

表示画像データ７９１の画像の非合焦量Ｂ（０）＝Ｉ４（５）
表示画像データ７９２の画像の非合焦量Ｂ（１）＝Ｉ５（２）＊＊Ｐ（３）
表示画像データ７９３の画像の非合焦量Ｂ（２）＝Ｉ５（２）＊＊Ｐ（２）
表示画像データ７９４の画像の非合焦量Ｂ（３）＝Ｉ５（２）＊＊Ｐ（１）
表示画像データ７９５の画像の非合焦量Ｂ（４）＝Ｉ５（２）＊＊Ｐ（０）
なお、＊＊はコンボリューションを、Ｐ（ｉ）（ｉ＝０〜３）は図１０（ａ）で示したＰＳＦの値をそれぞれ意味する。

ステップＳ１１０７では、カウンタ値をインクリメントしステップＳ１１０８へ移行する。
ステップＳ１１０８では、生成する時分割表示用の画像データの枚数とカウンタ（生成済みの画像枚数）を比較し、所定の生成枚数に達したか否かの判定を行う。所定の枚数に達していないと判断された場合はステップＳ１１０５へ戻り、以後繰り返しの処理を行う。所定の枚数に達したと判断された場合は、時分割表示用の画像データ生成処理を終了する。このように、点広がり関数ＰＳＦを利用することで合焦状態にある１枚の画像データから、合焦度合いの異なる複数枚の画像データを生成することができる。

（画像表示画面のレイアウトの例）
図１２は、本実施形態の画像処理装置１０２で生成した表示データを表示装置１０３に表示した場合の表示画面レイアウトの一例である。
ウィンドウ１２０１内に、表示領域１２０２、レイヤー位置情報表示領域１２０４、および水平位置情報表示領域１２０８が配置されている。

表示領域１２０２には、観察対象である被検試料５０２の組織や細胞の画像が表示される。つまり、タイル画像データに基づき生成された表示用画像が表示領域１２０２に表示される。１２０３は、表示領域１２０２に表示されている画像の表示倍率（観察倍率）である。

レイヤー位置情報表示領域１２０４には、被検試料５０２の垂直断面（ＸＺもしくはＹＺ平面による切断面）の全体像と、表示領域１２０２に表示されているタイル画像のエリア位置とレイヤー位置を示すためのガイド画像（第４画像データ）が表示される。１２０５は、現在表示中のタイル画像のレイヤー位置を示している。スクロール操作やレイヤー位置を切り替える自動処理が行われた場合、表示中のタイル画像データのレイヤー位置を切り替えて表示する。１２０７は、表示領域１２０２に表示されている画像の、被検試料５０２に対する位置とサイズを示している。

１２０６は、スクロール後に表示されるタイル画像データのレイヤー位置を示している。スクロール後に表示される画像のレイヤー位置は現在観察中のレイヤー位置１２０５とは区別が付くように表示される。例えば、レイヤー位置を示すマーカーの色、形状を変えることで区別が付くようにする。

レイヤーの変更は、レイヤー位置情報表示領域１２０４への操作指示、例えばマウスによるレイヤーの選択の他、表示領域１２０２への操作指示によっても変更が可能である。その場合、マウスカーソルを表示領域１２０２内に配置し、マウスのホイール操作によって実現できる。

水平位置情報表示領域１２０８には、被検試料５０２の水平方向（ＸＹ平面）の全体像１２０９と、表示領域１２０２に表示されているタイル画像の表示範囲１２１０が表示される。表示範囲１２１０は、表示領域１２０２の表示画像が、被検試料５０２全体のどの領域を対象としているのかを矩形で示している。
このように、被検試料５０２を拡大表示した詳細観察用の画像と共に、被検試料５０２全体に対して観察対象となっている表示領域の位置関係をユーザーへ提示することができる。

（実施形態の効果）
本実施形態によれば、スクロール先に同じレイヤー位置のタイル画像データが存在しない場合には、適切なレイヤー位置への切り替えが自動で行われるため、ユーザーは新たな操作を行うこと無く画像の観察を継続することができる。
特に、表示画像のレイヤー位置が自動切り替えられた場合、レイヤー位置が変化したことを表示画像（合焦度合い）の変化により明示することで、ユーザーはレイヤー位置が切り替えられたことを容易に認識することが出来るという効果が得られる。
この結果、水平方向に厚みの異なる組織や細胞等の被検試料を簡単な操作で観察することができ、病理診断の利便性を向上することが可能となる。

［第２実施形態］
（画像処理システムの装置構成）
第１実施形態では、ユーザーがスクロール操作を行った際、レイヤー位置が自動で切り替わったことを、合焦画像にボケ処理を加えた補間画像を表示することで、ユーザーへ提示した。第２実施形態では、第１実施形態と同様の効果を、スクロール先のエリアのＺスタック画像データを時分割表示することで実現する。以下、第２実施形態に特有の点を中心に説明し、第１実施形態と同様の構成、内容については説明を省略する。

図１３は、本実施形態に係る画像処理システムを構成する装置の全体図である。画像処
理システムは、画像サーバー１３０１、画像処理装置１０２、表示装置１０３、画像処理装置１３０４、表示装置１３０５から構成される。

画像サーバー１３０１は、バーチャルスライド装置である撮像装置１０１によって撮像された画像データを保存する大容量の記憶装置を備えたデータサーバーである。画像サーバー１３０１は、階層化された異なる表示倍率の画像データとヘッダデータを一つの画像ファイルとして画像サーバー１３０１のローカルストレージに保存する構成をとっても良い。あるいは、画像ファイルをそれぞれの階層画像に分割してネットワーク上の何処かに存在するサーバー群（クラウド・サーバ）に保存し、各階層画像データの実体とそれらのリンク情報に分けて持つ構成にしてもよい。また、画像データとヘッダデータ等の各種情報を分けて異なる別のサーバー上で管理し、ユーザーがサーバーから画像データを読み出す際に、適宜管理情報や合焦情報をそれぞれ別のサーバーから読み出す構成にしても良い。
画像処理装置１０２は、被検試料５０２を撮像した画像データを画像サーバー１３０１から取得し、表示装置１０３へ表示するための画像データを生成することができる。

画像サーバー１３０１と画像処理装置１０２との間は、ネットワーク１３０２を介して、汎用Ｉ／ＦのＬＡＮケーブル１３０３で接続される。なお、画像処理装置１０２および表示装置１０３は、ネットワーク接続機能を備えた以外は、第１実施形態の画像処理システムと同様である。画像処理装置１０２と１３０４はネットワーク１３０２を介して接続されており、両者の間の物理的距離は問わない。両者の機能は同じである。撮像装置により取得された被検試料の画像データセットを画像サーバー１３０１に格納することで、画像処理装置１０２と１３０４の双方から画像データを参照することができる。

図１３の例では、画像サーバー１３０１と画像処理装置１０２、１３０４と表示装置１０３、１３０５の５つの装置により画像処理システムが構成されているが、本発明はこの構成に限定されるものではない。例えば、表示装置１０３、１３０５が一体化した画像処理装置１０２、１３０４を用いてもよいし、画像処理装置１０２、１３０４の持つ機能の一部を画像サーバー１３０１に組み込んでもよい。また逆に、画像サーバー１３０１や画像処理装置１０２、１３０４の機能を分割して複数の装置によって実現してもよい。

このように、本実施形態のシステムは、撮像装置１０１で取得された画像データを一旦画像サーバー１３０１へ格納し、格納された画像データをネットワーク接続された画像処理装置１０２および１３０４で読み出すシステム構成となっている。ネットワーク１３０２は、ＬＡＮでもよいし、インターネット等の広域ネットワークでもよい。

（Ｚスタック画像の時分割表示）
図１４（ａ）と図１４（ｂ）は、ユーザーが画像の表示エリアを水平方向に移動する操作（スクロール）を行った際の、表示画像の切り替え方法の概念を示した図である。第１実施形態で説明した図７（ａ）、図７（ｂ）と同様の内容については説明を省略する。

図１４（ａ）は、図６（ａ）の一部（第４水平領域、第５水平領域付近）の位置を示した図である。図７（ａ）と同様である。異なる点は、被検試料５０２が存在しない領域に対してもＺスタックによるタイル画像データ１４５５、１４５４を有する点にある。タイル画像データ１４５５および１４５４の焦点位置は、それぞれ５１５および５１４となり、実際には被検試料５０２が存在しない領域のため、焦点位置５１３におけるタイル画像データ７５３に対してそれぞれの深度に応じたぼけた画像となる。

第４水平領域（第１のエリア）のタイル画像データ７４５（第１画像データ）が表示されている状態で、右隣の第５水平領域（第２のエリア）の表示に変更するスクロール操作
が行われたと仮定する。表示エリア変更後の表示画像には、第５水平領域のＺスタック画像データのうち最合焦のタイル画像データ７５２（第２画像データ）が選択されるものとする。本実施形態では、タイル画像データ７４５からタイル画像データ７５２への表示切り替えの際、タイル画像データ７５２とエリアが同じでレイヤーが異なるタイル画像データ１４５５、１４５５、７５３を補間画像データ（第３画像データ）として表示する。タイル画像データ１４５５と１４５４は非合焦の画像であり、タイル画像データ７５３は合焦画像ながら最合焦ではない画像である。表示用の画像データの生成については次の図で説明する。

図１４（ｂ）は、タイル画像データ７４５から異なるレイヤー位置のタイル画像データ７５２に表示を変更する際の、補間画像データの表示の概念を説明する図である。
１４９１は、現在表示されているタイル画像データ７４５に対応する表示用画像データであり、１４９５は、エリア変更後に表示されるタイル画像データ７５２に対応する表示用画像データである。そして、１４９２〜１４９４は、画像データ１４９１と１４９５の間に表示する、時分割表示用の補間画像データである。補間画像データ１４９２〜１４９４は、変更後のエリアにおける、タイル画像データ７４５のレイヤー５１５とタイル画像データ７５２のレイヤー５１２の間にあるレイヤーのタイル画像データ１４５５、１４５４、７５３から生成される。本実施形態では、画像データ１４９１から１４９５へ切り替える際に、５枚の画像データ１４９１、１４９２、１４９３、１４９４、１４９５が、時間軸（ｔ）の順序で表示される。
このような表示を行うことにより、スクロール後の表示が非合焦画像から合焦画像へ時間変化を伴って切り替わり、ユーザーに対して切り替わりが発生したことを表示画像によって示すことができる。

第１実施形態と同様、こうした表示制御は、光学顕微鏡の接眼レンズを通して観察した光学像と同様の見えをディスプレイ上で模擬したものに相当するため、ユーザーにとっての違和感のない観察が可能となる。

（Ｚスタック画像を用いた時分割表示用の画像データ設定のフロー）
本実施形態の画像処理装置における、Ｚスタック画像データを用いた時分割表示用の画像データを設定する処理の流れを、図１５のフローチャートを用いて説明する。

図１５は、第１実施形態で説明した図９ステップＳ９０１で行われる処理内容の詳細な流れを示している。第１実施形態と本実施形態の違いは、第１実施形態ではスクロール後に表示すべきタイル画像データから補間画像データを新たに生成したのに対して、本実施形態では予め取得したＺスタック画像データを用いる点にある。ステップＳ９０１で生成と言っていた処理が、画像データの選択、設定となる。

なお、本実施形態ではレイヤー切り替えモードとして「異レイヤー画像切り替えモード」が設定されているものとして以後の説明をする。なお、メインのフローチャートは、第１実施形態と同様のため説明を省略する。

ステップＳ１５０１では、既に取得済みのＺスタック画像データの内、時分割表示に用いるタイル画像データの取得範囲を決めるためのレイヤー位置情報を取得、設定する。具体的には、スクロール前のタイル画像データのレイヤー位置５１５を開始位置に、スクロール後に最終的に表示する合焦画像データのレイヤー位置５１２を終了位置として位置情報を取得し、設定する。その後、ステップＳ１５０２へ移行する。
ステップＳ１５０２では、ステップＳ１５０１で設定したレイヤー位置情報に基づき、Ｚスタック画像データから表示の開始および終了までの複数のタイル画像データの取得範囲を設定する。取得範囲の設定後、ステップＳ１５０３へ移行する。
ステップＳ１５０３では、Ｚスタック画像データから取得範囲内にあるタイル画像データを選択し、表示用の画像データとして設定後、処理を終了する。このように、Ｚスタック画像データから焦点位置が異なるタイル画像データを設定することができる。

（画像切り替え表示の例）
図１６（ａ）と図１６（ｂ）は、画像の切り替え表示の例を示す図である。
図１６（ａ）は、スクロール操作時に表示領域１６０２に表示されているタイル画像データのレイヤー位置（深度位置）が変わったことを、レイヤー位置が切り変わったタイミングで文字（テキスト）によりユーザーに示す例である。

（i）、（ii）、（iii）は時間経過を示しており、ウィンドウ１６０１内の表示が時間（ｔ）と共に順番に切り替わって表示される例を示している。（i）は、スクロール操作
を行う前に表示している表示画面の例である。全体ウィンドウ１６０１へ、被検試料５０２の詳細画像１６０２が表示されている。（ii）は、ユーザーがスクロール操作を行った際における、スクロール前後でレイヤー位置が切り替えられたことを示すレイヤー切り替え注意表示１６０７の例である。「Z position change!!」というテキスト画像（第３画
像データ）を詳細画像１６０２にオーバーレイ表示している。（iii）は、ユーザーがス
クロール操作を停止し、注意表示１６０７が非表示となった例を示している。注意表示１６０７は、特定または任意に設定された時間経過後に自動で消去すればよい。又は、ユーザーが注意表示消去を行う操作（例えば注意表示のクリック、注意表示位置へのマウスカーソル移動、消去が割り当てられた任意のキーボードキー入力等）によって消去しても良い。また、本例ではテキストで注意表示を行う説明をしたが、グラフィックデータの表示や画面の輝度変化、およびスピーカーや振動デバイス等を利用しユーザーへ通知する構成をとっても良い。

図１６（ｂ）は、スクロール操作によりレイヤー位置が自動的に切り替えられたことをユーザーへ知らせる方法として、レイヤー位置の表示を別表示領域に行う例を示している。
（iv）、（v）、（vi）は時間経過を示しており、ウィンドウ内の表示が時間（ｔ）と
共に順番に切り替わって表示される例を示している。
（iv）は、スクロール操作を行う前に表示している表示画面の例である。レイヤー位置表示領域１６０３は、Ｚスタック画像のレイヤー数と表示中のレイヤー位置を示すグラフィック画像（第３画像データ）を表示するための表示領域である。（iv）は、スクロール前のタイル画像データのレイヤー位置を白三角１６０４で示している。つまり、一番上のレイヤーのタイル画像データが表示されていることが分かる。（v）は、スクロール操作
が行われ表示画像のレイヤー位置が切り替えられ表示される場合の表示例である。切り替え前のレイヤー位置を示す白三角１６０４と、切り替え後のレイヤー位置を示す黒三角１６０５とが表示される。（vi）は、スクロール及びレイヤー位置の切り替えが完了した状態である。黒三角１６０５から白三角１６０６へとグラフィックが変化したことで、表示の切り替えが完了したことが分かる。

このように、レイヤー位置（深度位置）が変わることをテキストにより注意喚起したり、スクロール前後のレイヤー位置を明示したりする方法でも、ユーザーに対しレイヤー位置（深度位置）の変化を提示することが可能である。

（実施形態の効果）
本実施形態によれば、第１実施形態同様、表示画像のレイヤー位置の変化をユーザーへ明示することが可能なバーチャルスライド画像を生成できる画像処理装置を提供することができる。

特に、表示画像による視覚的な注意喚起においては、予め取得したＺスタック画像データの利用によって、新たな表示用画像データの生成が不要となる。また、スクロール操作前のレイヤー位置と、スクロール後のレイヤー位置を明示することで、深度方向（Ｚ方向）の表示画像切り替えをユーザーが容易に認識することが出来る。

その結果、ユーザーは組織の構造把握において、不連続な表示がなされていることを把握できる。このことは、組織の三次元的な形状把握において、正確な診断を行う上で、必要な情報となる。（レイヤー位置の変更によって不連続な画像のつながりとなる可能性を提示することで誤診を防ぐことができる。）

［第３実施形態］
（画像処理装置の機能ブロック）
第１および第２実施形態では、合焦度合いの異なる複数枚のタイル画像データ、またはＺスタック画像データを用いて時分割表示させることで、自動で行われる表示画像のレイヤー位置変更をユーザーへ提示する例を説明した。
第３実施形態では、これまで説明してきたユーザーへの提示方法を、観察者、観察対象、観察目的、表示倍率などに応じて自動で切り替える制御を行う点が異なる。以下、この点を中心に説明し、前述の実施形態と同様の構成、内容については説明を省略する。

図１７は、本実施形態の画像処理装置１０２の機能構成を示すブロック図である。画像処理装置１０２の機能としての違いは、ユーザー設定データ取得部１７０１の有無である。本機能ブロックの特徴であるユーザー設定取得部１７０１の内容について説明する。

ユーザー設定データ取得部１７０１は、図１８で説明するユーザー設定リストに基づく設定情報を取得する。設定情報の内訳は後述する。ユーザー設定情報に基づき、これまで説明してきたレイヤー切り替えモードの設定など、時分割表示や注意表示およびレイヤー位置表示の設定を行う。このように、ユーザーの違いを含む複数の観察条件をユーザー設定リストに記載された内容に基づいて切り替え、変更することで、ユーザーの目的や観察対象に合った表示方法を選択することができる。

（ユーザー設定リストの設定画面）
図１８は、ユーザー設定リストの設定画面の例である。
１８０１は、表示装置１０３で表示されるユーザー設定リストのウィンドウである。ユーザー設定リストのウィンドウでは、画像表示切り替えに伴う各種設定項目をリストとして表示する。ここでは複数の異なるユーザーがそれぞれ被検試料５０２の観察目的毎に異なる設定を行うことが可能である。同様に同一のユーザーであっても複数の設定を予め用意し、リストから条件にあった設定内容を呼び出すことも可能である。

１８０２は、表示画像を観察する者を特定するためのユーザーＩＤ情報である。ユーザーＩＤ情報は、例えばラジオボタンで構成される。ユーザーＩＤ情報の設定は、複数のＩＤから一つを選択することが可能であり、本例ではユーザーＩＤ情報「０１」〜ユーザーＩＤ情報「０９」の中から１８０３のユーザーＩＤが選択されている例を示している。

設定項目１８０４は、ユーザー名である。ユーザー名は、例えばプルダウンメニューのリストで構成され、ユーザーＩＤ情報と一対一で対応する。本例では、プルダウンメニューによる選択例を示しているが、ユーザーによってユーザー名を直接テキスト入力できる構成になっていても良い。

設定項目１８０５は、観察目的である。観察目的は、例えばプルダウンメニューのリストで構成される。ユーザー名と同様に、プルダウンメニューによる選択例を示しているが
、直接入力できる構成でも良い。病理診断を想定した場合、観察の目的として、詳細観察前のスクリーニング、詳細観察、遠隔診断（テレパソロジー）、臨床研究、カンファレンス、セカンドオピニオン等が挙げられる。
設定項目１８０６は、被検試料が採取された臓器などの観察対象である。観察対象は、一例としてプルダウンメニューのリストで構成される。選択の方法、および入力の形態は他の項目と同様である。

設定項目１８０７は、レイヤー切り替えモードである。レイヤー切り替えモードの選択肢として、「切り替えｏｆｆモード」、「瞬時表示切り替えモード」、「異合焦画像切り替えモード」、「異レイヤー画像切り替えモード」が用意され、何れか一つを選択可能である。リストの形態、選択の方法、および入力の形態は他の項目と同様である。

設定項目１８０８および１８０９は、表示画像観察時にレイヤーの自動選択機能を表示倍率に連動するか否かを設定するためのものである。対象とする倍率とのリンクをチェックボックスで指定し、「チェック有り」、「チェック無し」何れかを選択できるようにする。本例では、チェックボックスによる切り替え選択を示しているが、プルダウンメニューで設定できる構成でも良い。

低倍のチェックボックスを「チェック有り」に選択した場合には、１８０７で設定した処理を低倍観察時に行うことを意味し、「チェック無し」を選択した場合には、１８０７で設定した処理を低倍観察時に行わないことを意味する。高倍時の対応も同様である。なお、高倍、低倍に関する詳細設定は不図示のサブウィンドウ等で設定が可能である。

設定項目１８１０は、スクロール前後のレイヤー位置変化を示すレイヤー切り替え注意表示方法である。レイヤー切り替え注意表示方法の設定リストは、例えばプルダウンメニューのリストで構成される。選択の方法、および入力の形態は倍率連動を除き他の設定リストの項目と同様である。レイヤー切り替え注意表示方法の設定リストの種類として、例えば「表示なしモード」、「イメージ表示モード」、「テキスト表示モード」が用意され、このうち何れか一つが選択可能である。レイヤー切り替え注意表示方法の設定が「イメージ表示モード」の場合には、レイヤー位置が切り替えられたことを表示画面上でグラフィック画像を用いてユーザーへ明示する。同様に「テキスト表示モード」時は文字列（テキスト）を用いて画面表示を行う。「表示なしモード」時はレイヤー位置の自動変更を行わない。

１８１１は、「設定ボタン」である。設定ボタン１８１１が押されることで、これまで説明してきた各種設定項目の追加、更新した内容を設定リストとして格納、保存する。次回ユーザー設定リストのウィンドウが開かれる際、保存された更新内容が読み出され、表示される。
１８１２は、「キャンセルボタン」である。キャンセルボタン１８１２が押されることで、これまで追加、選択変更、入力等を行って更新してきた設定内容を無効にし、該ウィンドウが閉じられる。次回設定画面表示時には、それまでに保存されていた設定情報が読み出される。

上記のようなユーザー設定リストデータに、ユーザー（観察者）や観察目的などの情報とレイヤー切り替えモードの対応関係を記述しておき、システム側で適切なレイヤー切り替えモードを自動で選択する。これにより、ユーザーが複数人存在する場合や、同一ユーザーであっても観察の目的（スクリーニングや詳細観察、またはセカンドオピニオン等）によって異なる表示設定が望まれる場合に、ユーザーが望むレイヤー位置を自動で選択できる。

（ユーザー設定の画面表示例）
図１８で説明したユーザー設定リストの内、現在選択されている設定値の表示、およびユーザー設定画面を呼び出す機能の表示画面構成例について、図１９を使用して説明する。
図１９は、本実施形態の特徴であるユーザー設定値の表示、およびユーザー設定画面を呼び出すための操作ＵＩの表示例を示した図である。

表示画面は、全体ウィンドウ１２０１内に、被検試料５０２の画像を表示する表示領域１２０２、表示領域１２０２の画像の表示倍率１２０３、ユーザー設定情報エリア１９０１、ユーザー設定画面を呼び出すための設定変更ボタン１９０８などが配置されている。

ユーザー設定情報エリア１９０１内には、現在選択されているユーザー設定内容１９０２〜１９０７が表示される。１９０２は、図１８で説明したユーザー設定リストの内、選択されたユーザーＩＤ情報１８０２である。同様に、１９０３は、ユーザー名１８０４を、１９０４は、観察目的１８０５を、１９０５は、観察対象１８０６を、１９０６は、レイヤー切り替えモード１８０７を、１９０７は、レイヤー切り替え注意表示設定１８１０をそれぞれ示している。

設定変更ボタン１９０８をクリックすることで、図１８で説明したユーザー設定リストが画面表示され、ユーザー設定画面で設定、選択された内容がユーザー設定情報エリア１９０１へ表示される。
本実施形態では、ＳＤＩ（Single Document Interface）を用いて全体ウィンドウ１２
０１内にユーザー設定情報エリア１９０１を設ける例を示したが、表示形態はこれに限定されるものではない。ＭＤＩ（Multiple Document Interface）を用いて別途ウィンドウ
表示する構成でも良い。また、設定変更ボタン１９０８をクリックすることでユーザー設定画面を呼び出す例を示したが、ショートカットキーに機能を割り当て、設定画面を呼び出すようにしても良い。

（実施形態の効果）
このように、ユーザーの観察目的や観察対象等のユーザーの意図に合わせた表示設定をリストによって管理し、呼び出すことで、きめ細かな表示制御を自動で行うことができる。また、観察の途中で設定内容を切り替える場合など、設定内容を表示するエリアを設けることで、容易な設定内容確認、設定変更を実現する。

［第４実施形態］
第１および第２実施形態では、レイヤー位置の自動切り替えが行われた際にレイヤー位置の変更をユーザーへ提示する例を説明した。第１実施形態では合焦画像をもとにレイヤー位置に存在しないタイル画像データを新たに生成する例を、第２実施形態では予め取得したＺスタック画像データ内にすべてのレイヤー位置のタイル画像データが存在する例をそれぞれ示した。第４実施形態では、第２実施形態で用いたＺスタック画像データから第１実施形態で用いた被検試料５０２が存在する範囲内のみタイル画像データを保持する画像データセットへ変換する方法について説明する。なお、これまで説明してきた実施形態と同様の構成、内容については説明を省略する。

図２０（ａ）は、撮像対象のスライド２０６と、タイル画像データの取得位置との関係を示す模式図である。被検試料５０２に対する水平位置、およびレイヤー位置を変更して取得、生成された複数の複数のタイル画像データによって構成されている。

図２０（ａ）は、被検試料５０２の存在範囲によらず、水平方向および複数のレイヤー位置すべての領域において、タイル画像データがある例を示している。第２実施形態で用
いたＺスタック画像データによる画像データがこれに該当する。
タイル画像データ２００１〜２００９は、被検試料５０２の存在しない領域を撮像し生成されたタイル画像データ（非合焦画像）である。逆に符号の付与がないタイル画像データは、焦点位置が被検試料５０２の存在範囲内にあるため、合焦画像である。

図２０（ｂ）は、被検試料５０２の存在しない領域において、タイル画像データの撮像または生成を行っていない画像データを示している。第１実施形態で用いた画像データがこれに該当する。
撮像領域２０１１〜２０１９は、被検試料５０２の存在しない領域を示しており、タイル画像データが存在していない。

本実施形態の特徴は図２０（ａ）で示したＺスタック画像データ群から、図２０（ｂ）で示した画像データ群を生成する点にある。具体的には、Ｚスタック画像データから被検試料５０２の存在しない領域のタイル画像データを削除することによって構成することができる。これによって観察に必要な情報量を最低限確保した上で、データ量の削減が可能となる。

また、同過程で各タイル画像データの合焦情報が存在しない場合も、画像情報から合焦情報を算出し、新たに合焦情報を画像データに付与することができる。これによって短時間での合焦判定が可能となる。データ削減および合焦情報付与のプロセスについては図２１のフローチャートを用いて説明する。

図２０（ｃ）は、図２０（ｂ）で示した被検試料５０２が存在する範囲のみタイル画像データを残す処理をさらに進め、特定水平領域のみＺスタック画像データを残した一例である。本例では、第３レイヤー６１３のタイル画像データをベースに、注目する水平領域６０４のＺスタック画像データのみ保持することで、さらなるデータ量の削減が可能となる。

（入力データ生成のフロー）
図２１は、図２０（ｂ）や図２０（ｃ）に示したタイル画像データの削除および合焦情報の付与の処理の流れを示すフローチャートである。

ステップ２１０１では、対象となるＺスタック画像データ群からなる画像ファイルを選択する初期化処理が行われ、ステップＳ２１０２へ移行する。初期化処理では合わせてステップＳ２１０８で削除対象とするタイル画像データの選択範囲も設定する。削除対象の選択範囲とは、例えば被検試料５０２の存在する範囲外の削除や基準となるレイヤーと特定領域のＺスタック画像データ以外の削除が想定される。

ステップＳ２１０２では、ステップＳ２１０１で指定された画像ファイルを選択し、階層画像データを取得する。選択する画像ファイルの例は、図２０（ａ）で示される画像データである。階層画像データの取得後に、ステップＳ２１０３へ移行する。ステップＳ２１０３では、階層画像データを構成する各タイル画像データの合焦情報を取得する。合焦情報を取得後、ステップＳ２１０４へ移行する。

ステップＳ２１０４では、階層画像データを構成するすべてのタイル画像データに合焦情報が付与されているかどうかを判断する。合焦情報がすべてのタイル画像データに付与されている場合はステップＳ２１０７へ、一部でも付与されていない場合はステップＳ２１０５へそれぞれ移行する。

ステップＳ２１０５では、階層画像データを構成する少なくとも一部のタイル画像デー
タに合焦情報が付与されていないことを受けて、合焦情報を持たないタイル画像データに対して合焦判定を行う。合焦判定はコントラスト値の比較等の既知の手法でよい。
ステップＳ２１０６では、ステップＳ２１０５で合焦判定を行った結果である合焦情報を、該当するタイル画像データに付与する。例えば、タイル画像データのヘッダに合焦情報を記録する。その際、合焦情報とは別に、ユーザー設定情報を画像ファイルのヘッダデータに付加しても良い。合焦情報の付与後に、ステップＳ２１０８へ移行する。
ステップＳ２１０７では、各タイル画像データにリンクされている合焦情報から合焦判定を行い、ステップＳ２１０８へ移行する。

ステップＳ２１０８では、ステップＳ２１０５またはステップＳ２１０７の合焦判定結果をもとに、またステップＳ２１０１の初期化処理で設定された削除対象情報に基づき、非合焦タイル画像データを削除し、ステップＳ２１０９へ移行する。例えば、合焦度合いが所定の基準（閾値）に満たないタイル画像データが非合焦タイル画像データとされる。
ステップＳ２１０９では、ステップＳ２１０８で削除後の階層画像データを更新し、画像ファイルとして格納する。これによって処理が終了する。
このように、ユーザーの意図（観察対象領域の特定、データ量削減）に合わせたタイル画像データのデータ削減が可能となる。また、予め合焦情報が付与されていない場合に、新たに合焦情報を付与することで、以後の処理を高速化することができる。

（実施形態の効果）
本実施形態によれば、ユーザーの観察意図に合わせて非合焦となるタイル画像データを削減することで、画像ファイルのデータ容量を小さくすることができる。また、合焦情報を画像データに付加することで、その後の処理を高速に行うことができる。
例えば、スクリーニング作業と最終診断の作業を複数のユーザーが分担し作業を行うような場合、スクリーニングの担当者が病変の疑われる個所以外の領域の画像データを予め省いておくことで、最終診断者の負荷を軽減することが可能となる。

［その他の実施形態］
本発明の目的は、以下によって達成されてもよい。
すなわち、前述した実施形態の機能の全部または一部を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが、読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが、実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も本発明に含まれ得る。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれ得る。本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

第１〜第４の実施形態で説明してきた構成を、お互いに組み合わせることもできる。例えば、第１実施形態で説明した合焦度合いの異なる複数枚の画像と、第２実施形態で説明
したレイヤー位置の異なる複数枚の画像データを組み合わせ、合焦度合いを切り替えた後にレイヤー位置を変更する構成としてもよい。

画像処理装置が撮像装置と画像サーバーの両方に接続し、処理に用いる画像データをいずれの装置からも取得できる構成にしてもよい。
その他、上記各実施形態における様々な技術を適宜組み合わせることで得られる構成も本発明の範疇に属する。

１０２：画像処理装置、１０３：表示装置
３０１：画像データ取得部、３０４：操作指示情報取得部、３１１：補間用の画像データ生成部、３１３：表示用の画像データ生成部、３１４：表示用の画像データ出力部

Claims (15)

1. 被写体の複数のエリアのそれぞれについて深度位置が異なる１以上のレイヤーの画像データをもつ、前記被写体の画像データセットを基にして、表示装置に表示するための表示用画像データを生成する画像処理方法であって、
   第１のエリアの画像データが表示されている状態から、第２のエリアの画像データの表示に変更する操作指示を取得する取得ステップと、
   現在表示されている前記第１のエリアの画像データである第１画像データと、変更後に表示する前記第２のエリアの画像データである第２画像データとが、異なるレイヤーの画像データである場合に、前記第１画像データと前記第２画像データとの間で深度位置が変わることを示すための第３画像データを生成する生成ステップと、
   前記第３画像データを表示装置に出力する出力ステップと、
   を含むことを特徴とする画像処理方法。
2. 前記操作指示を取得した場合に、前記第２のエリアの画像データのなかに前記第１画像データと同じレイヤーの画像データが存在するか否かを判定する判定ステップと、
   同じレイヤーの画像データが存在しない場合、又は、同じレイヤーの画像データが存在するが他のレイヤーの画像データの方が合焦している場合に、前記第１画像データとは異なるレイヤーの画像データを前記第２画像データとして選択する選択ステップと、
   をさらに含むことを特徴とする請求項１に記載の画像処理方法。
3. 前記選択ステップでは、前記第２のエリアの画像データのなかで最も合焦している画像データを前記第２画像データとして選択する
   ことを特徴とする請求項２に記載の画像処理方法。
4. 前記第３画像データは、前記第２画像データの合焦度合いを変化させた画像データである
   ことを特徴とする請求項１〜３のうちいずれか１項に記載の画像処理方法。
5. 前記第３画像データは、前記第２画像データとＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）とのコンボリューションによって生成した画像データである
   ことを特徴とする請求項４に記載の画像処理方法。
6. 前記第３画像データは、前記第２のエリアの画像データのうち、前記第１画像データのレイヤーと前記第２画像データのレイヤーの間にあるレイヤーの画像データである
   ことを特徴とする請求項１〜３のうちいずれか１項に記載の画像処理方法。
7. 前記出力ステップでは、前記第１画像データ、前記第３画像データ、前記第２画像データの順に時分割で表示が切り替わるように、画像データを出力する
   ことを特徴とする請求項１〜６のうちいずれか１項に記載の画像処理方法。
8. 前記第３画像データは、前記第１画像データと前記第２画像データとの間で深度位置が変わることを文字又はグラフィックで示す画像データである
   ことを特徴とする請求項１〜３のうちいずれか１項に記載の画像処理方法。
9. 前記第１画像データと前記第２画像データとが異なるレイヤーの画像データである場合に、前記第１画像データ、前記第３画像データ、前記第２画像データの順に時分割で表示を切り替えるモードと、前記第１画像データから前記第２画像データに直接に表示を切り替えるモードを少なくとも含む複数のモードのなかから、モードを選択可能である
   ことを特徴とする請求項１〜８のうちいずれか１項に記載の画像処理方法。
10. 表示装置に表示された画像を観察する者、観察対象、観察目的、表示倍率のうち少なくともいずれか一つの情報と、モードと、の対応関係を記述したリストデータに基づいて、モードが自動で選択される
    ことを特徴とする請求項９に記載の画像処理方法。
11. 前記画像データセットに含まれる画像データのそれぞれについて合焦度合いを計算し、計算された合焦度合いを示す合焦情報を画像データに付与するステップ、をさらに有することを特徴とする請求項１〜１０のうちいずれか１項に記載の画像処理方法。
12. 合焦度合いが所定の基準よりも低い画像データを前記画像データセットのなかから削除するステップ、をさらに有する
    ことを特徴とする請求項１１に記載の画像処理方法。
13. 被写体の全体に対する、現在表示されている画像データのエリアの位置とレイヤーの位置を示すための第４画像データを生成するステップ、をさらに有する
    ことを特徴とする請求項１〜１２のうちいずれか１項に記載の画像処理方法。
14. 請求項１〜１３のうちいずれか１項に記載の画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
15. 被写体の複数のエリアのそれぞれについて深度位置が異なる１以上のレイヤーの画像データをもつ、前記被写体の画像データセットを基にして、表示装置に表示するための表示用画像データを生成する画像処理装置であって、
    第１のエリアの画像データが表示されている状態から、第２のエリアの画像データの表示に変更する操作指示を取得する取得部と、
    現在表示されている前記第１のエリアの画像データである第１画像データと、変更後に表示する前記第２のエリアの画像データである第２画像データとが、異なるレイヤーの画像データである場合に、前記第１画像データと前記第２画像データとの間で深度位置が変わることを示すための第３画像データを生成する生成部と、
    前記第３画像データを表示装置に出力する出力部と、
    を有することを特徴とする画像処理装置。

Images