JP2013125519A - 画像処理装置、データ構造、および画像生成装置 - Google Patents

Abstract

【課題】必要な画像情報をできるだけ失わずに、Ｚスタック画像のデータ量を大幅に削減するための技術を提供する。
【解決手段】画像処理装置は、光軸方向に焦点位置を変えながら被写体を撮像することにより得られた複数レイヤーの画像データを取得する取得手段と、各レイヤーの画像データを複数のブロック領域に分割する分割手段と、各レイヤーの画像データを解析することによって、各レイヤーの各ブロック領域が関心領域であるか非関心領域であるかを判定する判定手段と、あるレイヤーにおける関心領域の光軸方向への射影に相当する他のレイヤーのブロック領域のなかに非関心領域が存在する場合に、その非関心領域内の画像情報量を削減する削減手段と、を有する。画像データを再生する際には、非関心領域内の画像データを他のレイヤーの対応する関心領域内の画像データを用いて復元する。
【選択図】図４

Description

本発明は、バーチャルスライドシステムに関し、特にバーチャルスライドシステムの画像データ量を削減する技術に関するものである。

病理分野において、病理診断のツールである光学顕微鏡の代替として、プレパラートに載置された被検試料を撮像しデジタル化してディスプレイ上での病理診断を可能とするバーチャルスライドシステムがある。バーチャルスライドシステムによる病理診断のデジタル化により、従来の被検試料の光学顕微鏡像をデジタルデータとして取り扱える。それによって、デジタル画像を使った患者への説明、希少症例の共有化、遠隔診断の迅速化、教育・実習の効率化などの点で、利便性の向上が期待できる。

また、バーチャルスライドシステムのＺスタック画像取得機能は、被写体となる試料の３次元構造を把握する上で非常に有用な機能である。なお、「Ｚスタック画像」とは、顕微鏡などを利用した撮像装置により焦点位置を変更しながら撮像して得られた、複数枚の画像から構成されるデータのことである。この「Ｚスタック画像」を構成する各焦点位置の平面画像のことを「レイヤー画像」もしくは単に「レイヤー」と呼ぶ。

しかし、近年のセンサ解像度向上などにより、画像データのデータ量は増加の一途を辿っている。そのため、複数枚の画像から構成されるＺスタック画像については、当然ながらそのデータ量はより膨大なものとなり、バーチャルスライドシステムの利便性に悪影響を与えている。

例えば、画像データ量が膨大なため、それらを格納するストレージの容量を圧迫するという問題がある。これは、バーチャルスライドシステムを構築するために必要なハードディスク容量と台数が増加することを意味し、それは設備投資額の増大や、システムを設置するための必要スペースの増加につながる。

また、近年のネットワーク技術の発展に伴い、ある地点で取得されたバーチャルスライドデータを地理的に離れた別の遠隔地に送信して病理診断を行う、といった遠隔診断に期待が持たれている。しかし、膨大なデータ量を持つＺスタック画像をこの遠隔診断で取り扱う場合、通信またはデータ転送に非常に長い時間がかかり、迅速な診断が行えないなどの問題もある。

以上に示すように、Ｚスタック画像取得機能そのものは有用であるが、その膨大なデータ量がボトルネックとなる場合があり、医療現場では必ずしも手軽に使われているとは言えないのが実情である。このようなことから、Ｚスタック画像のデータ量の削減は、バーチャルスライドシステムの利便性を向上させる意味でも、非常に重要な課題である。

この課題を取り扱った従来技術として、例えば浜松ホトニクス株式会社が販売するバーチャルスライドシステムＮａｎｏＺｏｏｍｅｒ用のソフトウェア「ＮＤＰ．ｔｏｏｌｋｉｔ Ｕ１０９０９」がある。このソフトウェアでは、読み込んだＺスタック画像から、ユーザーが任意のレイヤー画像を抽出して新たなＺスタック画像を再構成する「Ｚ−ｓｔａｃｋトリミング」という機能が実装されている。その概念図を図１に示す。まず入力として、Ｚスタック画像１０１がある。このＺスタック画像１０１に対し、ユーザーがソフトウェア上で抽出処理対象レイヤー画像１０２を選択すると、それらの画像１０２のみで構成される新たなＺスタック画像が生成される。結果として、抽出処理対象外のレイヤー画
像１０３は、新たに生成されたＺスタック画像からは削除された形となり、これによってデータ量削減が実現される（詳細については、非特許文献１を参照のこと）。

"高速・高解像度バーチャルスライドスキャナＮａｎｏＺｏｏｍｅｒ２．０シリーズ"、［ｏｎｌｉｎｅ］、２００９年９月、浜松ホトニクス株式会社、Ｐ１８、［平成２３年７月１５日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｊｐ．ｈａｍａｍａｔｓｕ．ｃｏｍ／ｓｐ／ｓｙｓ／ｎｄｐ／ｐｈｏｔｏ／ｎｄｐｓ．ｐｄｆ＞

しかしながら、上記のような方法では、Ｚスタック画像の操作がレイヤー単位になっているため、データの削減率が（抽出されなかったレイヤー画像のデータサイズ）÷（元のＺスタック画像のデータサイズ）で決まり、データの削減量に限界があった。また、抽出されなかったレイヤー画像の情報は新たに生成されるＺスタック画像には全く反映されないため、データ量削減に伴って抽出されなかったレイヤー画像に格納されている情報もまるごと失われてしまうという課題があった。

本発明は上記課題に鑑みてなされたものであり、必要な画像情報をできるだけ失わずに、Ｚスタック画像のデータ量を大幅に削減するための技術を提供することを目的とする。

本発明に係る画像処理装置は、光軸方向に焦点位置を変えながら被写体を撮像することにより得られた複数レイヤーの画像データを取得する取得手段と、各レイヤーの画像データを複数のブロック領域に分割する分割手段と、各レイヤーの画像データを解析することによって、各レイヤーの各ブロック領域が関心領域であるか非関心領域であるかを判定する判定手段と、あるレイヤーにおける関心領域の光軸方向への射影に相当する他のレイヤーのブロック領域のなかに非関心領域が存在する場合に、その非関心領域内の画像情報量を削減する削減手段と、を有することを特徴とする画像処理装置である。

本発明に係るデータ構造は、光軸方向に焦点位置を変えながら被写体を撮像することにより得られた複数レイヤーの画像データを格納するためのデータ構造であって、各レイヤーの画像データを複数のブロック領域に分割するための分割の仕方を定義する領域分割情報と、各レイヤーの各ブロック領域が関心領域であるか非関心領域であるかを示す関心領域判定情報と、前記複数レイヤーの画像データに対してデータ量を削減する処理を施すことにより生成された複数レイヤーの格納用画像データと、を含んでおり、前記データ量を削減する処理は、あるレイヤーにおける関心領域の光軸方向への射影に相当する他のレイヤーのブロック領域のなかに非関心領域が存在する場合に、その非関心領域内の画像情報量を削減する処理であることを特徴とするデータ構造である。

本発明に係る画像生成装置は、前記データ構造をもつデータから対象レイヤーの画像データを生成する画像生成装置であって、前記データに含まれる関心領域判定情報を参照して、前記対象レイヤーの格納用画像データのなかに画像情報量が削減された非関心領域が存在するか否かを判断する判断手段と、画像情報量が削減された非関心領域が存在する場合に、その非関心領域内の画像データを復元することにより前記格納用画像データから前記対象レイヤーの画像データを生成する復元手段と、を有し、前記復元手段は、前記対象レイヤーの非関心領域の光軸方向への射影に相当する他のレイヤーの関心領域内の画像データを少なくとも用いて、前記対象レイヤーの非関心領域内の画像データを復元することを特徴とする画像生成装置である。

本発明に係る画像処理方法は、コンピュータが、光軸方向に焦点位置を変えながら被写体を撮像することにより得られた複数レイヤーの画像データを取得するステップと、コンピュータが、各レイヤーの画像データを複数のブロック領域に分割するステップと、コンピュータが、各レイヤーの画像データを解析することによって、各レイヤーの各ブロック領域が関心領域であるか非関心領域であるかを判定するステップと、コンピュータが、あるレイヤーにおける関心領域の光軸方向への射影に相当する他のレイヤーのブロック領域のなかに非関心領域が存在する場合に、その非関心領域内の画像情報量を削減するステップと、を有することを特徴とする画像処理方法である。

本発明に係る画像生成方法は、前記データ構造をもつデータから対象レイヤーの画像データを生成する画像生成方法であって、コンピュータが、前記データに含まれる関心領域判定情報を参照して、前記対象レイヤーの格納用画像データのなかに画像情報量が削減された非関心領域が存在するか否かを判断するステップと、コンピュータが、画像情報量が削減された非関心領域が存在する場合に、その非関心領域内の画像データを復元することにより前記格納用画像データから前記対象レイヤーの画像データを生成する復元ステップと、を有し、前記復元ステップでは、前記対象レイヤーの非関心領域の光軸方向への射影に相当する他のレイヤーの関心領域内の画像データを少なくとも用いて、前記対象レイヤーの非関心領域内の画像データを復元することを特徴とする画像生成方法である。

本発明によれば、必要な画像情報をできるだけ失わずに、Ｚスタック画像のデータ量を大幅に削減することができる。

非特許文献１に記載された処理の概念図 第１実施形態を実現するハードウェア構成図 第１実施形態における画像処理装置の構成図 第１実施形態における画像処理の概念図 データ削減部の処理の流れを示すフローチャート ２パラメータインデックスを用いた正方格子 １パラメータインデックスを用いた正方格子 関心領域判定テーブル生成処理の流れを示すフローチャート 画素値情報削減処理の流れを示すフローチャート 光軸方向への射影領域の概念図 画素値情報削減前の画像 第１実施形態における画素値情報削減後の画像 第１実施形態における削減処理後のＺスタック画像のデータ構成 領域分割情報の模式図 画素値情報削減前Ｚスタック画像の各レイヤー画像 ブロック領域画像群の格納形式の模式図 関心領域判定テーブルとブロック領域画像アドレステーブルの模式図 データ復元表示部の処理の流れを示すフローチャート 第１実施形態における関心領域群選択処理の流れを示すフローチャート 関心領域群選択処理の変形例を示すフローチャート データ削減処理後のＺスタック画像の各レイヤー画像の例 削減されたデータを復元したＺスタック画像の各レイヤー画像の例 第２実施形態における画素値情報削減後の画像 第２実施形態における削減処理後のＺスタック画像のデータ構成 第３実施形態における関心領域群選択処理の流れを示すフローチャート 第４実施形態を実現するハードウェア構成図 第５実施形態における画素値情報削減後の画像 第６実施形態における関心領域群選択処理の流れを示すフローチャート

＜第１実施形態＞
本発明を実現する第１実施形態を、図に従って説明する。
本実施形態で示す手法は、図２のようなハードウェア構成の元で実現される。２０１は撮像装置であり、主にバーチャルスライドシステムにおける撮像部分に当たる。この撮像装置２０１はＺスタック画像取得機能を有している。Ｚスタック画像取得機能とは、光軸方向（Ｚ方向）に焦点位置を変えながら被写体を撮像することにより、複数レイヤー（複数枚）の２次元画像データを取得する機能である。この機能により撮像された各焦点位置の２次元画像データは「レイヤー画像」もしくは単に「レイヤー」と呼ばれる。また複数のレイヤー画像で構成された画像群（３次元画像）のことを「Ｚスタック画像」と呼ぶ。２０２は本実施形態で示す手法を実現するための主要部分であり、撮像装置２０１で生成されたＺスタック画像データを受け取り、処理を行う画像処理装置である。２０３はモニタであり、画像処理装置２０２で処理された画像データを受け取り、画面に表示する。

画像処理装置２０２は、図３に示される構成から成る。３０１は入力部であり、キーボードやマウス等が該当する。３０２は記憶部であり、本実施形態で示す手法を実現するためのプログラムや、処理対象データなどを格納する部分であり、ＲＡＭ等が該当する。３０３は演算部であり、記憶部３０２に格納されたデータに対し、記憶部３０２に格納されたプログラムに従って各種演算処理を行う部分であり、ＣＰＵ等が該当する。３０４は出力部であり、グラフィックボード等が該当する。なお、この出力部３０４はモニタ２０３と接続されている。３０５は補助記憶装置であり、ハードディスクやフラッシュメモリ等が該当する。３０６は上記３０１〜３０５を接続するデータバスである。画像処理装置２０２は汎用のコンピュータに後述する機能を実現させるプログラムをインストールすることにより構成することもできるし、専用のハードウェアとプログラムから構成することもできる。

本実施形態における画像処理の概念図を図４に示す。入力としては、データ削減前のＺスタック画像４０１が与えられる。その入力が画像処理装置２０２中のデータ削減部４０３に渡され、データ削減が行われたＺスタック画像４０４が補助記憶装置等に出力される。そして、このＺスタック画像４０４を表示する際には、画像処理装置２０２中のデータ復元表示部４０５へ入力として渡す。データ復元表示部４０５は、入力されたＺスタック画像４０４を元に、表示データ４０６を生成する。これにより、一連の処理が完了する。ただし、画像処理装置２０２は、データ削減部４０３だけを持っていても良い。この場合は、Ｚスタック画像４０１を入力として受け取り、データ削減が行われたＺスタック画像４０４を出力する装置となる。また、画像処理装置２０２は、データ復元表示部４０５だけを持っていても良い。この場合は、データ削減が行われたＺスタック画像４０４を入力として受け取り、表示データ４０６の生成を行う画像生成装置となる。

（データ削減部）
以下では、データ削減部４０３における処理の詳細な流れを記す。なお、この処理のフローチャートを、図５に示す。

まず、データ削減部４０３は、Ｚスタック画像入力ステップ５０１で、削減処理対象となるＺスタック画像を取得する。データ削減部４０３のこの機能が本発明の取得手段に対応する。

次に、データ削減部４０３は、格子情報設定ステップ５０２で、Ｚスタック画像の全レイヤーに共通の格子情報を設定する。この格子情報により、各レイヤーの画像は、複数のブロック領域画像に分割される。データ削減部４０３のこの機能が本発明の分割手段に対応する。本実施形態では、格子情報として図６に示す正方格子情報を用いることにする。この図６では、正方格子６０１はｘ方向にＭ分割、ｙ方向にＮ分割されているとする（Ｍ、Ｎは１以上の整数）。また、格子の中のある一つのブロック領域を特定するために、ｘ方向のインデックスとｙ方向のインデックスを組み合わせた（ｉ，ｊ）という２パラメータインデックス６０２を用いる。もしくは、同様の目的のために、図７に示した１パラメータインデックス７０１を用いる方法を使用しても良い。なお、本実施形態では、図６に示した２パラメータインデックス６０２を用いる方法によって、正方格子中のある一つのブロック領域の指定を行うことにする。

次に、データ削減部４０３は、関心領域判定テーブル生成ステップ５０３で、各レイヤーの各ブロック領域に対して関心領域かどうかの判定を行い、その結果を関心領域判定テーブルとして記録、保持する。データ削減部４０３のこの機能が本発明の判定手段に対応する。

次に、データ削減部４０３は、画素値情報削減ステップ５０４で、ステップ５０３で生成された関心領域判定テーブルの情報に基づき、画素値情報削減の対象となるブロック領域を選択し、そのブロック領域内の画素値情報の削減（画像情報量の削減）を実行する。データ削減部４０３のこの機能が本発明の削減手段に対応する。
最後に、データ削減部４０３は、Ｚスタック画像出力ステップ５０５で、削減処理を行った結果新たに生成されたＺスタック画像を出力する。これで、データ削減部４０３の処理は終了となる。

なお、本実施形態では、関心領域判定テーブル生成ステップ５０３と、画素値情報削減ステップ５０４の詳細な処理については、以下に示す方法で実現する。

まず、関心領域判定テーブル生成ステップ５０３の詳細について以下に述べる。この処理の流れのフローチャートは図８に示してある。
関心領域判定テーブル生成ステップ５０３の中では、データ削減部４０３は、まず最初に関心領域判定テーブルを用意する（ステップ８０１）。この時点ではテーブルに有効な情報は何も書かれておらず、メモリ上にテーブル情報を格納するに足りるメモリ空間が確保される。次に、データ削減部４０３は、関心領域判定処理を行う対象レイヤーを選択する（ステップ８０２）。

次に、データ削減部４０３は、判定処理をまだ行っていないブロック領域群の中から、判定処理を行うブロック領域を選択する（ステップ８０３）。次に、データ削減部４０３は、選択されたブロック領域に対して周波数解析処理を行う（ステップ８０４）。この処理結果を受けて、データ削減部４０３は、周波数解析の値がある閾値以上かどうかを判定する（ステップ８０５）。ここで得ている周波数解析の値は、ブロック領域内の画像に含まれる高周波成分の多さ（強さ）、すなわち画像の色もしくは輝度の変化の大きさを表す値である。なお、閾値は、ブロック領域が関心領域であるかどうかを判別するためのものであり、ユーザーが自身の目的に応じてあらかじめ設定しておくものである。もし処理結果が閾値以上であれば、データ削減部４０３は、関心領域判定テーブルに、処理対象のブロック領域が関心領域であることを示すフラグを設定する（ステップ８０６）。そうでなければ、データ削減部４０３は、関心領域判定テーブルに、処理対象のブロック領域が非関心領域であることを示すフラグを設定する（ステップ８０７）。つまり、これらステップ８０４〜８０７で行っていることは、周波数解析の値がある閾値以上の領域を「合焦領域」、それ以外を「ボケ領域」と定義し、合焦領域を関心領域、またボケ領域を非関心領
域と認識して、用意したテーブルにその情報を書き込むことである。

これらの処理が終われば、現在の処理対象レイヤー上で、全てのブロック領域について判定処理を行ったかどうかを判断する（ステップ８０８）。もし処理が済んでいなければステップ８０３に戻り、済んでいれば全てのレイヤーで判定処理を行ったかどうかを判断する（ステップ８０９）。もし処理が済んでいなければステップ８０２に戻り、済んでいれば関心領域判定テーブル生成ステップ５０３の処理は終了となり、画素値情報削減ステップ５０４へ処理を移す。

以上が、関心領域判定テーブル生成ステップ５０３の処理手順である。なお、本実施形態では周波数解析処理によって合焦領域とボケ領域を判定しているが、この他にブロック領域内のコントラスト比を計算して、その結果を元に合焦領域とボケ領域を判定しても良い。また、関心領域と非関心領域の判定に、ブロック領域内の色の情報を用いても良い。例えば病理診断等で用いられるプレパラートの場合は、予め試料に染色が施されていることが多いので、染色の色が現れている部分を関心領域として選ぶことができる。さらに、細胞の集積度など、試料の構造情報を用いても良い。

画素値情報削減ステップ５０４の詳細について以下に述べる。本実施形態の削減処理の基本的なアルゴリズムは、あるレイヤーにおける関心領域の光軸方向への射影に相当する他のレイヤーのブロック領域のなかに非関心領域が存在する場合に、その非関心領域内の画像情報量（画素値情報）を削減する、というものである。該当する非関心領域が複数存在する場合は、その全部または一部（少なくとも１つ）の非関心領域内の画像情報量を削減するとよい。図９のフローチャートを参照して、このアルゴリズムの具体的な処理の一例を説明する。

画素値情報削減ステップ５０４の中では、データ削減部４０３は、最初に削減操作の対象となるレイヤーを選択する（ステップ９０１）。次に、データ削減部４０３は、選択されたレイヤー上の未処理領域の中から、削減操作の対象となるブロック領域を選択する（ステップ９０２）。なお、ステップ９０２で選択されるブロック領域に、ここでは領域Ａと名前をつけておくことにする。次に、データ削減部４０３は、選択されたブロック領域Ａが非関心領域かどうかを、すでに作成してある関心領域判定テーブルの情報を用いて判定する（ステップ９０３）。もし、判定対象のブロック領域Ａが関心領域であれば、ステップ９０９に進む。もし領域Ａが非関心領域であれば、データ削減部４０３は、他のレイヤーにおける領域Ａの光軸方向への射影領域を考え、該当する領域群からなる射影領域リストを作成する（ステップ９０４）。「光軸方向」とは、Ｚスタック画像を構成する各レイヤーに対する垂線の方向のことである。

ここで、「光軸方向への射影領域」という言葉の概念を、図１０を用いて説明する。例えば、現在処理対象となっているレイヤーが１００２であり、それ以外のレイヤーが１００３と１００４であるとする。これらのレイヤーは、全レイヤー共通の格子情報１００１によりブロック領域に分割されているとする。このとき、削減処理対象領域Ａが１００６であったとすると、その「光軸方向への射影領域」は１００７と１００８になる。つまり、ある単位格子１００５と２次元上では同じ位置を占めている領域１００６があったとすると、他のレイヤー１００３，１００４上で単位格子１００５と同じ２次元位置を占める領域１００７，１００８が「光軸方向への射影領域」に相当する。よってこの場合、「射影領域リスト」には、１００７と１００８の情報が格納される。

ここで画素値情報削減ステップ５０４の処理の説明に戻る。ステップ９０４の次は、データ削減部４０３は、射影領域リストの中の全てのブロック領域を選択したかどうかの判定を行う（ステップ９０５）。全てのブロック領域を選択したのであれば、ステップ９０
９に処理を移す。そうでなければ、データ削減部４０３は、射影領域リストの中から、まだ選択されていないブロック領域を一つ選択する（ステップ９０６）。ここで、ステップ９０６で選択されたブロック領域を、分かりやすいように領域Ｂと名前をつけておく。次に、データ削減部４０３は、この領域Ｂが関心領域かどうかを判断する（ステップ９０７）。関心領域でなければ、ステップ９０５に処理を戻す。領域Ｂが関心領域であれば、データ削減部４０３は、ブロック領域Ａの画素値情報を削除又は削減する（ステップ９０８）。この後、現レイヤー上の全てのブロック領域で関心領域かどうかの判定を行ったかどうかを判断する（ステップ９０９）。全ての領域で判定を行っていなければ、ステップ９０２に戻る。全ての領域で判定を行っていたら、全てのレイヤーで削減処理を行ったかどうかを判断する（ステップ９１０）。削減処理を行っていないレイヤーがあればステップ９０１に戻り、全てのレイヤーの削減処理が完了していればＺスタック画像出力ステップ５０５へ処理を移す。以上が、画素値情報削減ステップ５０４の処理手順である。

ちなみに、図９で示したアルゴリズムでは、領域Ａの光軸方向に関心領域が一つも見つからなかった場合、領域Ａがたとえ非関心領域であっても削減処理は行わない。このような場合、その光軸方向には細胞などの構造物がそもそも存在していない可能性が非常に高い。よって、これらの領域に対しては、本実施形態によるアルゴリズムを適用しなくても、通常の画像圧縮アルゴリズムを適用するだけで十分実用的なデータ量削減を行うことが可能であるため、特に大きな問題にはならないと思われる。

なお、本実施形態においては、ステップ９０８の画素値情報の削減処理として以下に示すような手法を用いる。例えば、図１１で示すように、あるレイヤー画像１１０１上に細胞画像１１０３，１１０４があったとする。ただし、これら細胞画像は格子情報１１０２と図のような位置関係にあり、細胞画像１１０３はちょうどこのレイヤー１１０１上で合焦画像として撮像されている、つまり関心領域として認識されているとする。また、細胞画像１１０４は、合焦位置がレイヤー１１０１とは異なるレイヤー上にあり、レイヤー１１０１上ではボケた状態で撮像されている、つまり非関心領域として認識されているとする。本実施形態では、図１２で示すように、削減対象となる細胞画像１１０４を含むブロック領域内の画像に相当する符号データそのものを削除する処理を行う。図１２では、符号データが削除された領域を便宜的に網掛け１２０１で表したが、実際には、網掛け１２０１に対応する部分のデータサイズはゼロ（データそのものが無い状態）となる。このように非関心領域の画像データを削減することにより、全体として、Ｚスタック画像のデータ量の削減を行う。

以上に示した処理を行うことによって、最終的にはハードディスク等の補助記憶装置３０５上に、データ量が削減されたＺスタック画像４０４が出力される。

ここで、このＺスタック画像のデータがどのような要素から構成されているかを、図１３に示す。削減処理後Ｚスタック画像データ１３０１は、領域分割情報１３０２、ブロック領域位置情報１３０３、ブロック領域画像群（格納用画像データ）１３０４、関心領域判定テーブル１３０５、およびブロック領域画像アドレステーブル１３０６から構成される。具体的な例を示しながら説明する。領域分割情報１３０２は、各レイヤー画像の分割の仕方（境界）を定義する情報であり、例えば図１４に示される格子情報１４０１に該当する。また、ブロック領域位置情報１３０３は、Ｚスタック画像中の各ブロック領域の位置を一意に特定する情報のことである。例えば図１４の２パラメータインデックス１４０２に各レイヤー番号（以下、レイヤー番号をｋで表記する）を付加した、（ｉ，ｊ，ｋ）のような３パラメータによるインデックスをブロック領域位置情報１３０３として用いる。

仮に、図１５に示される元のＺスタック画像が、３つのレイヤー画像１５０１，１５０
２，１５０３から構成されているとし、各レイヤーには、灰色で示された関心領域１５０４，１５０５，１５０６が存在しているとする。また、各ブロック領域には、便宜上１５０７のようなＩＤ番号が割り振られているとする。このような前提を用いると、ブロック領域画像群１３０４の構成は、図１６に示される形になる。１６０１がブロック領域画像群１３０４に相当し、１６０２，１６０３，１６０４が、それぞれ各レイヤーごとのブロック領域画像群である。この中に、各レイヤーごとの関心領域ブロック画像１６０５が格納される構造となっている。

図１７には、関心領域判定テーブル１３０５とブロック領域画像アドレステーブル１３０６の模式図を示した。この図１７では、全ブロック領域のＩＤ番号、それに対応する位置情報、関心領域フラグ、および画像データ格納先アドレスが表形式で示されている。ここで、関心領域フラグの集合が関心領域判定テーブル（関心領域判定情報）１３０５、画像アドレスの集合がブロック領域画像アドレステーブル１３０６に該当する。なお、図１６では関心領域と判定されたブロック領域しか画像データとして格納されていないため、図１７では非関心領域画像に対応するアドレスにはゼロを設定してある。つまり、アドレスとしてゼロが設定されたブロック領域画像は、ファイル中には格納されていないことを示している。ちなみに、図１３に示される１３０２〜１３０６の各要素は、ある一つのファイル中に全て格納されていても良いし、その一部が別ファイルとして分けられ、フォルダなどのより大きな単位として管理されていても良い。

（データ復元表示部）
以下では、データ復元表示部４０５における処理の詳細な流れを記す。なお、この処理のフローチャートを、図１８に示す。

まず、データ復元表示部４０５は、データ削減部４０３で生成されたＺスタック画像データを読み込む（ステップ１８０１）。次に、データ復元表示部４０５は、読み込んだＺスタック画像の中から、画面表示を行うレイヤーを選択する（ステップ１８０２）。次に、データ復元表示部４０５は、ステップ１８０２で選択したレイヤーの中から、画面表示の対象となるブロック領域群を選択する（ステップ１８０３）。次に、データ復元表示部４０５は、選択されたブロック領域群の中から、表示データ生成処理を行っていないブロック領域を一つ選択する（ステップ１８０４）。以下、この選択されたブロック領域を領域Ｃと記す。

次に、データ復元表示部４０５は、この領域Ｃが関心領域かどうかの判定を行う（ステップ１８０５）。データ復元表示部４０５のこの機能が本発明の判断手段に対応する。関心領域かどうかは、データ削減処理後のＺスタック画像データ１３０１の構成要素である関心領域判定テーブル１３０５の情報を参照して判定される。領域Ｃが関心領域である場合、データ復元表示部４０５は、その関心領域のデータをそのまま画面表示データとし（ステップ１８０６）、ステップ１８０９に進む。領域Ｃが関心領域でないと判定された場合、データ復元表示部４０５は、他のレイヤーに存在する関心領域群を選択するためのアルゴリズムを実行する（ステップ１８０７）。そして、データ復元表示部４０５は、選択された関心領域群のデータを用いて、領域Ｃの表示データを生成し（ステップ１８０８）、ステップ１８０９に進む。データ復元表示部４０５のこの機能が本発明の復元手段に対応する。

この後、データ復元表示部４０５は、画面表示の対象となっているブロック領域全てに対して、上記表示データ生成処理が行われたかどうかを判定する（ステップ１８０９）。判定結果が偽であればステップ１８０４に戻り、判定結果が真であれば、上記一連の処理で生成したデータを画面に表示させる（ステップ１８１０）。以上が、データ復元表示部４０５の処理の流れである。

なお、ステップ１８０７と１８０８の処理については、目的に応じていくつかの異なるアルゴリズムを適用することが可能である。以下では、そのうちの一つの方法について説明する。

まず、ステップ１８０７の関心領域群選択処理の一例として、領域Ｃの光軸方向への射影かつ領域Ｃに最も近接するブロック領域を選択するアルゴリズムの説明を行う。この処理のフローチャートを、図１９に示す。

初めに、データ復元表示部４０５は、領域Ｃに対応する「表示データ生成用関心領域リスト」を準備する（ステップ１９０１）。「表示データ生成用関心領域リスト」とは、画素値情報が削減されたブロック領域の情報を復元表示するために必要な、別レイヤー上に存在する関心領域群の情報が格納されるリストである。なお、ここでは、領域Ｃの位置は３つのパラメータから構成されるインデックス（ｉ，ｊ，ｋ）で一意に特定されるとする。ｉ，ｊがそれぞれｘ方向、ｙ方向に対応するインデックス、ｋがレイヤー番号を表すインデックスである。

次に、データ復元表示部４０５は、変数ｗ１を用意し、このｗ１にＺスタック画像のレイヤー数よりも明らかに大きい値を代入する（ステップ１９０２）。本実施形態では、その値の例として９９９９を代入する。次に、データ復元表示部４０５は、変数ａ１を用意し、このａ１をゼロに初期化する（ステップ１９０３）。次に、データ復元表示部４０５は、変数ａ１の値を１だけ増やす（ステップ１９０４）。次に、データ復元表示部４０５は、ブロック領域（ｉ，ｊ，ｋ＋ａ１）がＺスタック画像の中に存在するかどうかを判定する（ステップ１９０５）。この結果が偽であればステップ１９０８に進み、真であればデータ復元表示部４０５はブロック領域（ｉ，ｊ，ｋ＋ａ１）が関心領域かどうかを判定する（ステップ１９０６）。この結果が真であれば、データ復元表示部４０５は、変数ｗ１にａ１の値を代入し（ステップ１９０７）、偽であればステップ１９０４に戻る。

次に、データ復元表示部４０５は、変数ｗ２を用意し、このｗ２にＺスタック画像のレイヤー数よりも明らかに大きい値を代入する（ステップ１９０８）。ステップ１９０２と同様に、本実施形態ではｗ２に９９９９を代入する。次に、データ復元表示部４０５は、変数ａ２を用意し、このａ２をゼロに初期化する（ステップ１９０９）。次に、データ復元表示部４０５は、変数ａ２の値を１だけ増やす（ステップ１９１０）。次に、データ復元表示部４０５は、ブロック領域（ｉ，ｊ，ｋ−ａ２）がＺスタック画像の中に存在するかどうかを判定する（ステップ１９１１）。この結果が偽であればステップ１９１４に進み、真であればデータ復元表示部４０５はブロック領域（ｉ，ｊ，ｋ−ａ２）が関心領域かどうかを判定する（ステップ１９１２）。この結果が真であれば、データ復元表示部４０５は、変数ｗ２にａ２の値を代入し（ステップ１９１３）、偽であればステップ１９１０に戻る。

次に、データ復元表示部４０５は、変数ｗ１と変数ｗ２のどちらかの値が、初期値から変更されたかどうかを判定する（ステップ１９１４）。この結果が偽であれば、関心領域が一つも見つからなかったことを意味しているため、本アルゴリズムを抜ける。ステップ１９１４の条件判定の結果が真であれば、データ復元表示部４０５は、変数ｗ１が変数ｗ２よりも小さいかどうかを判定する（ステップ１９１５）。この結果が真であれば、データ復元表示部４０５は、変数ａにｗ１を代入し（ステップ１９１６）、ステップ１９１８に進む。ステップ１９１５の条件判定の結果が偽であれば、データ復元表示部４０５は、変数ａに−ｗ２を代入し（ステップ１９１７）、同じくステップ１９１８に進む。ステップ１９１８では、データ復元表示部４０５は、ブロック領域（ｉ，ｊ，ｋ＋ａ）を関心領域リストに追加する。それが完了すると、本アルゴリズムを抜ける。以上が、ステップ１
８０７に対応するアルゴリズムの一例である。以上の処理を用いることで、領域Ｃの光軸方向への射影かつ領域Ｃに最も近接する関心領域を一つ選択することができる。以下、この選択された関心領域を領域Ｄと記す。

なお、図１９のステップ１９１８の処理を、図２０のフローチャートで示される処理に置き換えても良い。ステップ１９１８の処理では、領域Ｄだけを関心領域リストに追加していた。それに対して図２０で示した処理では、ステップ２００１で領域Ｄを関心領域リストに追加し、さらにステップ２００２〜２００９で、領域Ｄの水平方向に隣接する８つの領域（つまり、同じレイヤー内での領域Ｄの８近傍領域）も関心領域リストに追加する。レンズの結像特性の関係で、領域Ｄのレイヤー上にある物体は領域Ｃのレイヤー上ではボケた像となり、水平方向に広がりをもつ。そのため、領域Ｃに現れるボケ画像には、領域Ｄ内の物体だけでなく、領域Ｄの隣接領域に存在する物体の影響も含まれている。したがって、図２０のように領域Ｄの隣接領域の画像データを関心領域リストに登録し、後段のステップ１８０８の処理でこれら９つの領域の画像データから領域Ｃの表示データ（ボケ画像）を生成することで、より精度のよいデータ復元が可能となる。

続いて、ステップ１８０８の表示データ生成処理を説明する。データ復元の基本的なアルゴリズムは、領域Ｄと領域Ｃの間の光軸方向距離に応じたぼかし処理を領域Ｄの画像データに施すことにより、領域Ｃの画像データを生成するというものである。このとき領域Ｄと領域Ｃの間の光軸方向距離が大きい程ぼかし量を大きくする。以下、一例として、上記領域Ｄと領域Ｃとの間の光軸方向距離によって形状が決まるローパスフィルタを、関心領域リストに登録された画像データに作用させて、領域Ｃの表示データを生成するアルゴリズムを説明する。この処理の概念の説明に、図２１と図２２を用いる。

図２１は、データ削減が行われたＺスタック画像の模式図である。２１０１は、画面表示を行うレイヤーであり、ここではレイヤー１とする。２１０２，２１０３，２１０４も各レイヤーを表しており、それぞれレイヤー２、レイヤー３、レイヤー４とする。この模式図は、２個の細胞を含む試料を撮像して得られたＺスタック画像を示している。２１０５，２１０６は図の左側にある細胞の画像である。以下、この細胞を細胞１と記す。２１０５は細胞１の合焦画像（最もピントが合っている画像）である。２１０６は２１０５と比較して若干鮮明さに欠けるが、データ削減部４０３により関心領域と認識されてデータ削減対象とならなかった領域である。なお、レイヤー２１０３と２１０４にも細胞１のボケ画像がもともと記録されていたが、データ削減部４０３により非関心領域と認識されてデータ削減が行われているとする。また、２１０７，２１０８，２１０９は二つ目の細胞の画像である。以下、この細胞を細胞２と記す。２１０８は細胞２の合焦画像である。２１０７と２１０９は、２１０８と比較して若干鮮明さに欠けるが、データ削減部４０３により関心領域と認識されてデータ削減対象とならなかった領域である。なお、レイヤー２１０１にも細胞２のボケ画像がもともと記録されていたが、データ削減部４０３により非関心領域と認識されてデータ削減が行われているとする。

図２２は、図２１に示したデータを用いて、もともとレイヤー２１０１に存在していた細胞２のボケ画像を復元した様子を表した図である。図２２の符号２２０１〜２２０９はそれぞれ図２１の符号２１０１〜２１０９と同じものを指している。図２２のレイヤー２２０１にある画像２２１０は、レイヤー２２０１と２２０２の光軸方向距離によって形状が決まるローパスフィルタを画像２２０７に作用させることで得られた細胞２のボケ画像である。ちなみに、本実施形態では図１９で示すアルゴリズムを用いて画像２２１０を生成するため、画像２２０８と２２０９は画像２２１０のデータ生成には寄与しない。

なお、上記ローパスフィルタ情報は、本画像処理装置が数式等の形で与えても良いし、データ削減部４０３がＺスタック画像４０４を生成する際に、Ｚスタック画像ファイル内
に格納、もしくはＺスタック画像ファイルに関連づけた形の別ファイル等で与えても良い。ローパスフィルタ情報とは、ローパスフィルタの形状（ぼかし処理の特性）を定義する情報であり、例えばフィルタ係数などが該当する。これにより、選択された別レイヤー上の関心領域データをぼかした形で、領域Ｃの表示データが生成されることになる。もともと領域Ｃのデータはデータ削減部４０３により「ボケ領域」として判定され、画素値データが削減されていた。よって、この方法を用いることで、削減前の画素値データをある程度の精度で復元することが期待される。

さらに、このローパスフィルタの具体形として、Ｚスタック画像撮像時に用いたレンズの特性を表すＰｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ（ＰＳＦ）を用いれば、より精度の高いデータ復元を行えることが期待される。なお、上記のように、ローパスフィルタ情報をＺスタック画像ファイル内に格納もしくはＺスタック画像ファイルに付加しておけば、データ削減処理を行った装置とは別の装置でデータ復元を行う際にも、適切なぼかし処理を行うことができるという利点がある。

本実施形態によって、診断に必要な情報は欠落させず、試料の三次元構造を把握するために必要なボケ情報は別レイヤーの情報から再現することにより、病理診断に有用な情報を最大限保持しつつ、Ｚスタック画像のデータ量を大幅に削減することが可能になる。具体的には、画像処理装置２０２中のデータ削減部４０３により、従来技術と比較して、病理診断に最低限必要な情報を保ちつつ、Ｚスタック画像のデータ量を大幅に小さくすることが可能になる。また、データ削減部４０３によって生成されるＺスタック画像が図１３に示される構造を持つことで、データ復元表示部４０５との組み合わせにより、従来技術と比較して、病理診断に有用な情報を最大限保持しつつ、Ｚスタック画像のデータ量を大幅に削減することが可能になる。

＜第２実施形態＞
本発明を実現する第２実施形態を、図に従って説明する。
本実施形態を実現する画像処理装置の構成の大部分は第１実施形態と共通であるが、第１実施形態と本実施形態の相違点は、ステップ９０８の処理の実現方法、および削減処理後のＺスタック画像のデータ構造にある。

ブロック領域Ａの画素値情報を削除するステップ９０８の処理の実現方法を、以下に記す。第１実施形態では、図１２に示すように画素値情報削減の対象となっているブロック領域の符号データそのものを削除する手法を用いていた。これに対して本実施形態では、図２３に示すように、画素値情報削減の対象となっているブロック領域全体を任意の単一データ２３０１で置換する（つまり、ブロック領域内の全画素を同じ値にする）ことで、間接的に非関心領域に記録されていた情報の削減を行う。本実施形態では、画像データが何らかの圧縮方式で圧縮されることを想定している。画像データの圧縮アルゴリズムは数多くあるが、冗長な情報を省略することでデータ量を減らすという点では共通している。よって、単一データ２３０１のように同じ画素値で占められた領域のデータは高い圧縮率を期待でき、結果として第１実施形態のように符号データそのものを削除するのと同等のデータ量削減効果が得られる。

削減処理後のＺスタック画像のデータ構造を、図２４に記す。第１実施形態との違いは、図１３のブロック領域画像群１３０４が、単なる画像データ２４０４に置き換わったことと、図１３のブロック領域画像アドレステーブル１３０６に相当する情報が不要となったことである。

本実施形態によって、第１実施形態と同様に、病理診断に有用な情報を最大限保持しつつ、Ｚスタック画像のデータ量を大幅に削減することが可能になる。なお、本実施形態で
は、非関心領域の符号情報そのものは画像データとして残るため、このままではデータ量削減につながらないが、このデータを任意の方法で圧縮することにより、結果的には第１実施形態とほぼ同等のデータ量削減効果が得られる。また、本実施形態では、第１実施形態とは違い、画像データをブロック領域に分割して格納する必要がなく、Ｚスタック画像のデータ構造がシンプルになる。これにより、画像処理装置でのデータ処理が簡易化され、画像処理装置の負荷が軽減されることが期待される。また画像データそのものの汎用性が高くなり、他の画像処理ソフトなどでこの画像データを取り扱うことが容易に実現できる。

＜第３実施形態＞
本発明を実現する第３実施形態を、図に従って説明する。
本実施形態を実現する画像処理装置の構成の大部分は第１実施形態もしくは第２実施形態と共通であるが、上記実施形態と本実施形態の相違点は、ステップ１８０７の関心領域群選択処理の実現方法にある。第１実施形態（図１９）では、領域Ｃに対する光軸方向距離が最も近い関心領域を１つだけ関心領域リストに登録したが、本実施形態では、領域Ｃから光軸方向で所定の距離内にある関心領域をすべて関心領域リストに登録する。つまり、本実施形態の処理は、複数のレイヤーの関心領域群を用いて、画像情報が削除された領域Ｃの画像データを復元する点に特徴がある。

図２５に、本実施形態のステップ１８０７の関心領域群選択処理のフローチャートを示す。データ復元表示部４０５は、領域Ｃ（ｉ，ｊ，ｋ）に対応する関心領域リストを準備する（ステップ２５０１）。データ復元表示部４０５は、パラメータｄを設定するとともに（ステップ２５０２）、変数ａを１に初期化する（ステップ２５０３）。パラメータｄは、関心領域を選択する範囲（つまり領域Ｃからの光軸方向距離）の設定値であり、領域Ｃのレイヤーｋを中心とする±ｄ枚のレイヤーの中から関心領域を選択することを意味する。ｄの値については、ユーザーが任意に設定することができる。

次に、データ復元表示部４０５は、変数ａの値がｄ以下かどうかを判定する（ステップ２５０４）。この結果が偽であれば、パラメータｄで指定された範囲内をすべて調べたということなので処理を終了し、真であればステップ２５０５に進む。データ復元表示部４０５は、ブロック領域（ｉ，ｊ，ｋ＋ａ）がＺスタック画像の中に存在するかどうかを判定し（ステップ２５０５）、存在する場合は、このブロック領域が関心領域かどうかを判定する（ステップ２５０６）。この結果が真であれば、データ復元表示部４０５は、ブロック領域（ｉ，ｊ，ｋ＋ａ）を関心領域リストに追加する。また、データ復元表示部４０５は、ブロック領域（ｉ，ｊ，ｋ−ａ）についても調べ（ステップ２５０８、２５０９）、このブロック領域が存在し且つ関心領域であった場合は、これも関心領域リストに追加する（ステップ２５１０）。そして、データ復元表示部４０５は、変数ａの値を１だけ増やし（ステップ２５１１）、ステップ２５０４に戻る。

以上の処理により、領域Ｃの光軸方向への射影かつ領域Ｃから所定距離内に存在する全ての関心領域を選び出すことができる。なお、後段の表示データ生成処理（ステップ１８０８）では、複数の関心領域のそれぞれの画像データに対し、領域Ｃからの光軸方向距離によって形状が決まるローパスフィルタを作用させた後、それらの画像データを合成して領域Ｃの表示データを生成するとよい。

例えば図２２を用いて説明すると、第１実施形態では画像２２１０はレイヤー２２０２の画像２２０７だけから生成されていた。しかし、本実施形態では、画像２２１０は例えばレイヤー２２０２、２２０３の２枚の画像２２０７、２２０８に対して、それぞれローパスフィルタを作用させて得られた２枚の画像を合成して得られることになる。ただし、各レイヤー間の距離が等しく１であり、１番目のレイヤー２２０１と３番目のレイヤー２
２０３の距離がパラメータｄの値以下であり、１番目のレイヤー２２０１と４番目のレイヤー２２０４の距離がパラメータｄの値よりも大きいと仮定している。

ローパスフィルタを作用させて得られた２枚の画像を合成する方法は、例えば同じ２次元座標の画素に着目した場合、大きいほうの画素値を合成画像の画素値として採用させて画像を生成すれば良い。もしくは、小さいほうの画素値を合成画像の画素値として採用させて画像を生成すれば良い。さらには、それ以外のアルゴリズムを用いて画像を生成しても良い。さらに、このローパスフィルタの具体形として、Ｚスタック画像撮像時に用いたレンズの特性を表すＰＳＦを用いれば、より精度の高いデータ復元を行えることが期待される。

なお、第１実施形態のときと同様に、ステップ２５０７および２５１０の処理をそれぞれ図２０のフローチャートで示される処理に置き換えても良い。ただし、ステップ２５１０の処理の場合は、図２０のフローチャート内の「＋ａ」は「−ａ」とする。これにより、選択された関心領域群の他に、それらに対して水平方向に隣接する８つのブロック領域も関心領域リストに追加されることになる。

以上述べた本実施形態によれば、複数のレイヤーの関心領域画像を用いてデータ復元を行うため、第１実施形態や第２実施形態と比較してより品質の高い復元画像を生成することが期待される。

＜第４実施形態＞
本発明を実現する第４実施形態を、図に従って説明する。
本実施形態を実現する画像処理装置の形態の大部分は第１〜第３実施形態と共通であるが、上記実施形態と本実施形態の相違点は、ハードウェア構成にある。

第１実施形態では、図２のようなハードウェア構成を用いていたが、本実施形態では図２６のようなネットワークに接続されたハードウェア構成を用いる。２６０１は撮像装置であり、主にバーチャルスライドシステムにおける撮像部分に当たる。２６０２はサーバであり、２６０１によって撮像・生成されたＺスタック画像データなどを格納している。２６０３は本実施形態で示す手法を実現するための画像処理装置である。画像処理装置２６０３は、サーバ２６０２に格納されているＺスタック画像データを受け取り、処理を行う。２６０４はモニタであり、画像処理装置２６０３で処理された画像データを受け取り、画面に表示する。２６０５，２６０８はネットワークに接続された一般的なＰＣであり、２６０６，２６０７はＰＣに接続された一般的なモニタである。２６０９はネットワーク回線であり、様々なデータのやり取りを行う。

第１〜第３実施形態では、撮像装置から直接入力されたＺスタック画像に対しデータ量削減処理を適用していたが、本実施形態の構成によれば、サーバ２６０２に格納されたＺスタック画像に対して同様の処理を適用することができる。削減処理後のＺスタック画像は、サーバ２６０２に格納（つまり元のＺスタック画像と置き換え）してもよいし、画像処理装置２６０３もしくはＰＣ２６０５，２６０８内の補助記憶装置、またはサーバ２６０２とは別のサーバ（不図示）に格納してもよい。第１〜第３実施形態で述べたデータ復元表示部４０５の処理については、画像処理装置２６０３が実行してもよいし、あるいは、データの表示を行うＰＣ２６０５，２６０８が実行してもよい。

＜第５実施形態＞
本発明を実現する第５実施形態を、図に従って説明する。
本実施形態を実現する画像処理装置の形態の大部分は第１〜第４実施形態と共通であるが、上記実施形態と本実施形態の相違点は、ステップ９０８の処理の実現方法、および削
減処理後のＺスタック画像のデータ構造にある。

ブロック領域Ａの画素値情報を削除するステップ９０８の処理の実現方法を、以下に記す。第１実施形態では、図１２に示すように画素値情報削減の対象となっているブロック領域の符号データそのものを削除する手法を用いていた。これに対して本実施形態では、図２７に示すように、画素値情報削減の対象となっているブロック領域全体を、所定の画像データ２７０１で置換する。この画像データ２７０１は、レイヤー画像にもともと記録されていたデータとは全く無関係なデータであり、後段で行われる画像圧縮で高い圧縮率が得られるように作られたデータである。

図２７では輝度もしくは色が連続的に変化するグラデーション画像を用いているが、これは画像データがＪＰＥＧ形式で圧縮されることを想定している。ＪＰＥＧ形式では、画像中に高周波成分を含まないほうが高い圧縮率を実現できるため、グラデーション画像のように主に低周波成分から構成される画像を用いることで、元の画像よりも情報量を削減することができる。また、これと同様に、もし元の画像が別の圧縮方式を用いて圧縮されている場合は、その圧縮方式の特性を利用して、圧縮によりデータ量が少なくなるような画像データを画像データ２７０１として用いるとよい。さらに、画像の圧縮の有無に関係なく、画像を構成する画素のビット数を減らした画像や、モノクロ処理を施した画像など、結果的にデータ量が削減できれば、如何なる画像を画像データ２７０１として用いても良い。

本実施形態の構成によっても、他の実施形態と同様、病理診断に有用な情報を最大限保持しつつ、Ｚスタック画像のデータ量を大幅に削減することが可能になる。また、本実施形態では、第１実施形態とは違い、画像データをブロック領域に分割して格納する必要がなく、Ｚスタック画像のデータ構造がシンプルになる。これにより、画像処理装置でのデータ処理が簡易化され、画像処理装置の負荷が軽減されることが期待される。また画像データそのものの汎用性が高くなり、他の画像処理ソフトなどでこの画像データを取り扱うことが容易に実現できる。

＜第６実施形態＞
本発明を実現する第６実施形態を、図に従って説明する。
本実施形態を実現する画像処理装置の形態の大部分は第１〜第５実施形態と共通であるが、上記実施形態と本実施形態の相違点は、ステップ１８０７の関心領域群選択処理の実現方法にある。第１実施形態（図１９）では、領域Ｃに対する光軸方向距離が最も近い関心領域を１つだけ関心領域リストに登録したが、本実施形態では、領域Ｃと水平方向が同じ位置にある関心領域をすべて関心領域リストに登録する。つまり、本実施形態の処理は、全てのレイヤーの関心領域群を用いて、画像情報が削除された領域Ｃの画像データを復元する点に特徴がある。

図２８に、本実施形態のステップ１８０７の関心領域群選択処理のフローチャートを示す。データ復元表示部４０５は、領域Ｃ（ｉ，ｊ，ｋ）に対応する関心領域リストを準備する（ステップ２８０１）。データ復元表示部４０５は、変数ａをゼロに初期化する（ステップ２８０２）。次に、データ復元表示部４０５は、変数ａの値に１を加え（ステップ２８０３）、変数ａの値がｋと等しいかどうかを判定する（ステップ２８０４）。変数ａの値がｋと等しい場合は、ステップ２８０５〜２８０７の処理はスキップし、ステップ２８０３に戻す。領域Ｃ自身は関心領域として選ばれないからである。ステップ２８０５では、データ復元表示部４０５は、ブロック領域（ｉ，ｊ，ａ）が関心領域かどうかを判定し、この結果が真であれば、このブロック領域を関心領域リストに追加する（ステップ２８０６。次に、データ復元表示部４０５は、変数ａの値がＺスタック画像のレイヤー数以上がどうかを判定し（ステップ２８０７）、結果が真であれば処理を終了、偽であればス
テップ２８０３に戻る。

以上の処理により、全てのレイヤー画像を対象として、領域Ｃの光軸方向への射影に相当する全ての関心領域を選び出すことができる。なお、後段の表示データ生成処理（ステップ１８０８）では、複数の関心領域のそれぞれの画像データに対し、領域Ｃからの光軸方向距離によって形状が決まるローパスフィルタを作用させた後、それらの画像データを合成して領域Ｃの表示データを生成するとよい。

例えば図２２を用いて説明すると、第１実施形態では画像２２１０はレイヤー２２０２の画像２２０７だけから生成されていた。また、第３実施形態では、画像２２１０は２つの画像２２０７、２２０８から生成されていた。しかし、本実施形態では、画像２２１０は３枚の画像２２０７，２２０８，２２０９に対してそれぞれローパスフィルタを作用させて得られた３枚の画像を合成して得られることになる。

ローパスフィルタを作用させて得られた３枚の画像を合成する方法であるが、第３実施形態と同様に例えば同じ２次元座標の画素に着目した場合、最も大きい画素値を合成画像の画素値として採用させて画像を生成すれば良い。もしくは、最も小さい画素値を合成画像の画素値として採用させて画像を生成すれば良い。もしくは、より複雑なアルゴリズムを用いて画像を生成しても良い。さらに、このローパスフィルタの具体形として、Ｚスタック画像撮像時に用いたレンズの特性を表すＰＳＦを用いれば、より精度の高いデータ復元を行えることが期待される。

なお、第１実施形態のときと同様に、ステップ２８０６の処理を図２０のフローチャートで示される処理に置き換えても良い。ただし、図２０のフローチャート内の「ｋ＋ａ」は「ａ」とする。これにより、選択された関心領域群の他に、それらに対して水平方向に隣接する８つのブロック領域も関心領域リストに追加されることになる。

以上述べた本実施形態によれば、全てのレイヤーの関心領域画像を用いてデータ復元を行うため、上述した実施形態と比較してより品質の高い復元画像を生成することが期待される。

２０１：撮像装置、２０２：画像処理装置、４０１：Ｚスタック画像、４０３：データ削減部、４０４：データ削減が行われたＺスタック画像、４０５：データ復元表示部、４０６：表示データ

Claims (19)

1. 光軸方向に焦点位置を変えながら被写体を撮像することにより得られた複数レイヤーの画像データを取得する取得手段と、
   各レイヤーの画像データを複数のブロック領域に分割する分割手段と、
   各レイヤーの画像データを解析することによって、各レイヤーの各ブロック領域が関心領域であるか非関心領域であるかを判定する判定手段と、
   あるレイヤーにおける関心領域の光軸方向への射影に相当する他のレイヤーのブロック領域のなかに非関心領域が存在する場合に、その非関心領域内の画像情報量を削減する削減手段と、
   を有することを特徴とする画像処理装置。
2. 前記判定手段は、ブロック領域内の画像の色もしくは輝度の変化の大きさを表す値が閾値以上の場合に、そのブロック領域が関心領域であると判定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記削減手段は、非関心領域内の画像データを削除することによって、その非関心領域内の画像情報量を削減する
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記削減手段は、非関心領域内の全画素を同じ値にすることによって、その非関心領域内の画像情報量を削減する
   ことを特徴とする請求項１または２に記載の画像処理装置。
5. 前記削減手段によって画像情報量が削減された画像データは、所定の圧縮方式を用いて圧縮された状態で格納されるものであり、
   前記削減手段は、非関心領域内の画像データを、その画像データよりも前記圧縮方式で高い圧縮率が得られる他のデータに置き換えることによって、その非関心領域内の画像情報量を削減する
   ことを特徴とする請求項１または２に記載の画像処理装置。
6. 光軸方向に焦点位置を変えながら被写体を撮像することにより得られた複数レイヤーの画像データを格納するためのデータ構造であって、
   各レイヤーの画像データを複数のブロック領域に分割するための分割の仕方を定義する領域分割情報と、
   各レイヤーの各ブロック領域が関心領域であるか非関心領域であるかを示す関心領域判定情報と、
   前記複数レイヤーの画像データに対してデータ量を削減する処理を施すことにより生成された複数レイヤーの格納用画像データと、を含んでおり、
   前記データ量を削減する処理は、あるレイヤーにおける関心領域の光軸方向への射影に相当する他のレイヤーのブロック領域のなかに非関心領域が存在する場合に、その非関心領域内の画像情報量を削減する処理である
   ことを特徴とするデータ構造。
7. 画像情報量が削減された非関心領域内の画像データは、他のレイヤーの格納用画像データにぼかし処理を施したデータから生成されるものであり、
   前記データ構造は、前記ぼかし処理の特性を定義する情報をさらに含んでいる
   ことを特徴とする請求項６に記載のデータ構造。
8. 前記ぼかし処理の特性を定義する情報は、前記他のレイヤーの格納用画像データにぼか
   し処理を施すフィルタの係数である
   ことを特徴とする請求項７に記載のデータ構造。
9. 前記フィルタは、被写体を撮像する時に用いたレンズの特性を表すＰｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎの形状を有するフィルタである
   ことを特徴とする請求項８に記載のデータ構造。
10. 請求項６〜９のうちいずれか１項に記載のデータ構造をもつデータから対象レイヤーの画像データを生成する画像生成装置であって、
    前記データに含まれる関心領域判定情報を参照して、前記対象レイヤーの格納用画像データのなかに画像情報量が削減された非関心領域が存在するか否かを判断する判断手段と、
    画像情報量が削減された非関心領域が存在する場合に、その非関心領域内の画像データを復元することにより前記格納用画像データから前記対象レイヤーの画像データを生成する復元手段と、を有し、
    前記復元手段は、前記対象レイヤーの非関心領域の光軸方向への射影に相当する他のレイヤーの関心領域内の画像データを少なくとも用いて、前記対象レイヤーの非関心領域内の画像データを復元する
    ことを特徴とする画像生成装置。
11. 前記復元手段は、前記対象レイヤーと前記他のレイヤーの間の光軸方向距離に応じたぼかし処理を施した前記他のレイヤーの関心領域内の画像データから、前記対象レイヤーの非関心領域内の画像データを生成する
    ことを特徴とする請求項１０に記載の画像生成装置。
12. 前記復元手段は、被写体を撮像する時に用いたレンズの特性を表すＰｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎの形状を有するフィルタを用いて、前記他のレイヤーの関心領域内の画像データに対してぼかし処理を施す
    ことを特徴とする請求項１１に記載の画像生成装置。
13. 前記復元手段は、前記対象レイヤーの非関心領域の光軸方向への射影に相当する他のレイヤーのブロック領域のなかに複数の関心領域が存在する場合に、前記対象レイヤーに最も光軸方向距離が近いレイヤーの関心領域を、前記対象レイヤーの非関心領域内の画像データの復元に用いる
    ことを特徴とする請求項１０〜１２のうちいずれか１項に記載の画像生成装置。
14. 前記復元手段は、前記対象レイヤーの非関心領域の光軸方向への射影に相当する他のレイヤーのブロック領域のなかに複数の関心領域が存在する場合に、前記対象レイヤーからの光軸方向距離が所定距離内のレイヤーの関心領域を、前記対象レイヤーの非関心領域内の画像データの復元に用いる
    ことを特徴とする請求項１０〜１２のうちいずれか１項に記載の画像生成装置。
15. 前記復元手段は、前記対象レイヤーの非関心領域の光軸方向への射影に相当する他のレイヤーのブロック領域のなかに複数の関心領域が存在する場合に、その複数の関心領域の全てを、前記対象レイヤーの非関心領域内の画像データの復元に用いる
    ことを特徴とする請求項１０〜１２のうちいずれか１項に記載の画像生成装置。
16. コンピュータが、光軸方向に焦点位置を変えながら被写体を撮像することにより得られた複数レイヤーの画像データを取得するステップと、
    コンピュータが、各レイヤーの画像データを複数のブロック領域に分割するステップと
    、
    コンピュータが、各レイヤーの画像データを解析することによって、各レイヤーの各ブロック領域が関心領域であるか非関心領域であるかを判定するステップと、
    コンピュータが、あるレイヤーにおける関心領域の光軸方向への射影に相当する他のレイヤーのブロック領域のなかに非関心領域が存在する場合に、その非関心領域内の画像情報量を削減するステップと、
    を有することを特徴とする画像処理方法。
17. 請求項１６に記載の画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
18. 請求項６〜９のうちいずれか１項に記載のデータ構造をもつデータから対象レイヤーの画像データを生成する画像生成方法であって、
    コンピュータが、前記データに含まれる関心領域判定情報を参照して、前記対象レイヤーの格納用画像データのなかに画像情報量が削減された非関心領域が存在するか否かを判断するステップと、
    コンピュータが、画像情報量が削減された非関心領域が存在する場合に、その非関心領域内の画像データを復元することにより前記格納用画像データから前記対象レイヤーの画像データを生成する復元ステップと、を有し、
    前記復元ステップでは、前記対象レイヤーの非関心領域の光軸方向への射影に相当する他のレイヤーの関心領域内の画像データを少なくとも用いて、前記対象レイヤーの非関心領域内の画像データを復元する
    ことを特徴とする画像生成方法。
19. 請求項１８に記載の画像生成方法の各ステップをコンピュータに実行させることを特徴とするプログラム。

Images