JP2015192238A - 画像データ生成装置および画像データ生成方法 - Google Patents

Abstract

【課題】被写体を撮影して得られた元画像データから、画像処理によって、被写体の観察や診断に適した画像データを生成するための新規な技術を提供する。
【解決手段】被写体における光軸方向の位置が異なる複数の層を撮影して得られた複数のレイヤー画像データを含む元画像データを、周波数空間のデータに変換する変換手段と、前記変換された周波数空間のデータに対し、フィルタを適用するフィルタ適用手段と、前記フィルタが適用されたデータを実空間の画像データに逆変換する逆変換手段と、を有する。前記フィルタは、前記逆変換された画像データに含まれるレイヤー画像データのいずれかが、前記被写体に対する視線方向が互いに異なる複数の視点画像データのあいだの差異を抽出または強調した画像データに相当する、特徴画像データとなるように、設計されている。
【選択図】図２３

Description

本発明は、被写体を撮影して得られた画像データから観察や診断に適した画像データを生成する画像データ生成装置および画像データ生成方法に関する。

病理分野において、病理診断のツールである光学顕微鏡の代替として、プレパラートに載置された被検試料を撮像しデジタル化してディスプレイ上での病理診断を可能とするバーチャル・スライド・システムがある。バーチャル・スライド・システムによる病理診断画像のデジタル化により、従来の被検試料の光学顕微鏡像をデジタルデータとして取り扱える。それによって、遠隔診断の迅速化、デジタル画像データを使った患者への説明、希少症例の共有化、教育・実習の効率化、などのメリットが得られる。
またデジタルデータに対しては様々な画像処理が可能で、バーチャル・スライド・システムで撮影した画像データに対し、病理医の診断を支援する種々の診断支援機能が提案されている。

従来、診断支援機能の一例として、以下の提案がされている。
非特許文献１は、がんを診断する上で重要な所見であるＮ／Ｃ比（細胞質に対して核が占める比率）を算出することを目標とし、デジタル画像処理技術を用いて肝臓の病理組織標本画像データから細胞膜を抽出する方法を開示している。非特許文献１では明視野、暗視野、位相差の３種類の観察像の色情報を組み合わせることで、明視野観察像単独の場合に比べて細胞膜の抽出正解率を向上させている。

また、細胞膜に限らず、細胞境界（細胞と細胞の間の細胞境界には細胞膜以外にも細胞間物質などが存在）や細胞と管や腔との境界を明瞭にすることは、診断を行う上で大きな意味がある。明瞭な境界は、医師が標本から複雑な肝臓の３次元構造を推測することを容易にするので、限られた情報からより精度の高い診断が実現できる。
また、細胞と管や腔との境界はＮ／Ｃ比を精度良く算出する上でも有用な情報である。例えば、肝臓の病理組織標本には、大別して核と細胞質からなる細胞の領域、肝細胞へ物質を供給する血管である類洞の領域があり、正しいＮ／Ｃ比を算出するには細胞が存在しない類洞の領域を正しく除外する必要がある。

特開２００７−１２８００９号公報

鳥澤奈美子，高橋正信，中野雅行，"肝病理組織標本画像中の細胞膜抽出におけるマルチイメージング利用の検討"，電子情報通信学会総合大会，Ｄ−１６−９，２００９／３ 児玉和也，久保田彰，"単一のレンズ系からの多様なボケ味の生成"，映像情報メディア学会誌６５（３），ｐｐ．３７２−３８１，２０１１年３月 児玉和也，久保田彰，"周波数領域上での線型結合に基づくＳｃｅｎｅ Ｒｅｆｏｃｕｓｉｎｇ"，映像メディア処理シンポジウム（ＩＭＰＳ２０１２），Ｉ−３．０２，ｐｐ．４５−４６，２０１２年１０月 Ｋａｚｕｙａ ＫＯＤＡＭＡ， Ａｋｉｒａ ＫＵＢＯＴＡ， "Ｅｆｆｉｃｉｅｎｔ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ Ａｌｌ−ｉｎ−Ｆｏｃｕｓ Ｉｍａｇｅｓ Ｔｈｒｏｕｇｈ Ｓｈｉｆｔｅｄ Ｐｉｎｈｏｌｅｓ ｆｒｏｍ Ｍｕｌｔｉ−Ｆｏｃｕｓ Ｉｍａｇｅｓ ｆｏｒ Ｄｅｎｓｅ Ｌｉｇｈｔ Ｆｉｅｌｄ Ｓｙｎｔｈｅｓｉｓ ａｎｄ Ｒｅｎｄｅｒｉｎｇ， ＩＥＥＥ Ｔｒａｎｓ． Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， Ｖｏｌ．２２， Ｉｓｓｕｅ １１， １５ｐａｇｅｓ （２０１３−１１）

しかしながら上述した従来の技術においては、以下のような問題があった。
非特許文献１では、明視野、暗視野、位相差観察像を取得するために、明視野顕微鏡に対して位相差用対物レンズや共用コンデンサを装備し、それらを切り替えて撮影している。その為、明視野観察用の光学顕微鏡に追加の部品が必要になるというコスト的な課題、撮影時に光学系および露出条件の変更の手間が発生し、撮影時間が増加するという課題があった。また前記の手間は、広視野領域を局所的な視野毎に分割撮影して繋ぎ合せるバーチャル・スライド・システムにおいて新たな課題を生む。局所的な視野の撮影ごとにメカ機構を切り替えて広視野領域を撮影する場合、撮影時間の増加だけでなく、光学系を切り替えて撮影するためにその保持機構の耐久性の課題が生じる。一方、明視野、暗視野、位相差観察を変更することなく各々の広視野領域を撮影する場合には、各々の画像での焦点合わせ精度の差やステージ制御などを原因とする視野移動時の撮影位置の累積誤差が発生しやすい。そのため互いの画像データ間に位置ずれが生じやすく、同一の画素位置で各々の画像データの比較が難しくなるという課題が生じる。

本発明は、このような問題点に鑑みてなされたものであり、被写体を撮影して得られた元画像データから、画像処理によって、被写体の観察や診断に適した画像データを生成するための新規な技術を提供することを目的とする。

本発明の第１態様は、被写体における光軸方向の位置が異なる複数の層を撮影して得られた複数のレイヤー画像データを含む元画像データを、周波数空間のデータに変換する変換手段と、前記変換された周波数空間のデータに対し、フィルタを適用するフィルタ適用手段と、前記フィルタが適用されたデータを実空間の画像データに逆変換する逆変換手段と、を有し、前記フィルタは、前記逆変換された画像データに含まれるレイヤー画像データのいずれかが、前記被写体に対する視線方向が互いに異なる複数の視点画像データのあいだの差異を抽出または強調した画像データに相当する、特徴画像データとなるように、設計されていることを特徴とする画像データ生成装置である。

本発明の第２態様は、被写体における光軸方向の位置が異なる複数の層を撮影して得られた複数のレイヤー画像データを含む元画像データを用いて、前記複数のレイヤー画像データのそれぞれを周波数空間のデータに変換する変換手段と、前記変換された周波数空間の複数のデータに対し、複数のフィルタをそれぞれ適用するフィルタ適用手段と、前記フィルタが適用された複数のデータを統合する統合手段と、前記統合されたデータを実空間の画像データに逆変換する逆変換手段と、を有し、前記複数のフィルタは、前記逆変換された画像データが、前記被写体に対する視線方向が互いに異なる複数の視点画像データのあいだの差異を抽出または強調した画像データに相当する、特徴画像データとなるように、設計されていることを特徴とする画像データ生成装置である。

本発明の第３態様は、コンピュータが、被写体における光軸方向の位置が異なる複数の層を撮影して得られた複数のレイヤー画像データを含む元画像データを、周波数空間のデータに変換するステップと、コンピュータが、前記変換された周波数空間のデータに対し、フィルタを適用するステップと、コンピュータが、前記フィルタが適用されたデータを実空間の画像データに逆変換するステップと、を有し、前記フィルタは、前記逆変換され
た画像データに含まれるレイヤー画像データのいずれかが、前記被写体に対する視線方向が互いに異なる複数の視点画像データのあいだの差異を抽出または強調した画像データに相当する、特徴画像データとなるように、設計されていることを特徴とする画像データ生成方法である。

本発明の第４態様は、コンピュータが、被写体における光軸方向の位置が異なる複数の層を撮影して得られた複数のレイヤー画像データを含む元画像データを用いて、前記複数のレイヤー画像データのそれぞれを周波数空間のデータに変換するステップと、コンピュータが、前記変換された周波数空間の複数のデータに対し、複数のフィルタをそれぞれ適用するステップと、コンピュータが、前記フィルタが適用された複数のデータを統合するステップと、コンピュータが、前記統合されたデータを実空間の画像データに逆変換するステップと、を有し、前記複数のフィルタは、前記逆変換された画像データが、前記被写体に対する視線方向が互いに異なる複数の視点画像データのあいだの差異を抽出または強調した画像データに相当する、特徴画像データとなるように、設計されていることを特徴とする画像データ生成方法である。

本発明の第５態様は、本発明に係る画像データ生成方法の各ステップをコンピュータに実行させることを特徴とするプログラムである。

本発明によれば、被写体を撮影して得られた元画像データから、画像処理によって、被写体の観察や診断に適した画像データを生成することができる。

本発明の実施形態の画像データ生成および表示システムの構成図 画像表示アプリケーションの機能を説明する為の表示例 画像データ生成装置の内部構成を示す図 被写体の一例であるプレパラートを示す図 被写体を撮影する撮像装置の構成を模式的に示す図 視点画像データでコントラストが強調される理由を説明する図 視点の偏角および視線方向と光軸のなす角（観察角）の関係を示す図 プレパラート内の病理標本の表面に存在する凹凸を示す図 図８（ａ）の各面での観察角φにおける散乱光の強度を示す図 物体のＺ位置が異なる場合のＺスタック画像データを示す図 物体のＺ位置が異なる場合の視点画像データと焦点ぼけを示す図 散乱光抽出画像データと散乱光強調画像データの焦点ぼけを示す図 実施例１のＧＵＩの例を示す図 実施例１の散乱画像データ生成処理のフローチャート 実施例１の透過光成分抑制マスクとその生成処理を説明する図 実施例１の散乱光抽出画像データ生成処理のフローチャート 実施例１の透過光成分抑制処理を説明する図 実施例１のＮ／Ｃ比算出処理を示すフローチャート 実施例２の散乱画像データ計算処理を説明する図 実施例２の散乱光強調画像データ生成処理のフローチャート 実施例２の散乱光強調画像データ生成処理を説明する図 実施例３の散乱光強調画像データ生成処理を説明する図 散乱光抽出画像データ生成処理のフローチャート 散乱光抽出画像データ生成処理のフローチャート 視点重み関数および散乱光情報抽出用の視点重み関数の例 標本の表面凹凸を偏角が１８０度異なる視点から観察する様子を示す図 実施例６の視点の位置、偏角選択関数、偏角選択視点重み関数の例 実施例６の処理のフローチャート

（全体構成）
図１は、本発明の実施形態に係る画像データ生成および表示システムの構成を示している。
画像データ生成装置（ホストコンピュータ）１００には、ユーザからの入力を受け付ける操作入力デバイス１１０と、画像データ生成装置１００から出力される画像データなどをユーザに提示するためのディスプレイ１２０が接続される。操作入力デバイス１１０としては、キーボード１１１、マウス１１２、ユーザの操作性を高めるための専用コントローラ１１３（例えばトラックボール、タッチパッド）などを利用できる。また画像データ生成装置１００には、ハードディスクや光学ドライブ、フラッシュメモリ等の記憶装置１３０、ネットワークＩ／Ｆを通じてアクセスできる他のコンピュータシステム１４０が接続されている。なお、図１では記憶装置１３０は画像データ生成装置１００の外部に存在するが、画像データ生成装置１００に内蔵しても良い。

画像データ生成装置１００は、操作入力デバイス１１０から入力されたユーザの制御信号に従い、記憶装置１３０から画像データを取得し、画像処理を適用することによって観察に適した観察用画像データを生成したり、診断に必要な情報を抽出したりする。

画像表示アプリケーションおよび画像データ生成プログラム（いずれも不図示）は画像データ生成装置１００で実行されるコンピュータプログラムである。これらのプログラムは画像データ生成装置１００内の内部記憶装置（不図示）または記憶装置１３０に格納されている。後述する画像データ生成に関わる機能は画像データ生成プログラムによって提供されるものであり、画像データ生成プログラムの各機能は画像表示アプリケーションを介して呼び出す（利用する）ことができる。画像生成プログラムの処理結果（例えば生成された観察用画像データ）は、画像表示アプリケーションを介して、ユーザに提示される。

（表示画面）
図２は、予め撮影した病理標本の画像データを、画像表示アプリケーションを通じて、ディスプレイ１２０に表示した場合の一例である。

図２は画像表示アプリケーションの画面レイアウトの基本構成である。表示画面の全体ウィンドウ２０１内に、表示や操作のステータスと各種画像データの情報を示す情報エリア２０２、観察対象の病理標本のサムネイル画像２０３、病理標本画像の詳細観察用の表示領域２０５、表示領域２０５の表示倍率２０６、が配置されている。サムネイル画像２０３上に描画された枠線２０４は、詳細観察用の表示領域２０５に拡大表示している領域の位置および大きさを示している。このサムネイル画像２０３と枠線２０４によって、ユーザは病理標本画像全体中のどの部分を観察しているのかを容易に把握できる。

詳細観察用の表示領域２０５に表示する画像は、入力操作デバイス１１０による移動操作や拡大・縮小操作によって設定、更新できる。例えば、移動は画面上でのマウスのドラッグ操作により、拡大縮小はマウスホイールの回転等によって実現できる（例えば、ホイールの前方回転を拡大、後方回転を縮小に割り当てる）。また、焦点位置の異なる画像、すなわち奥行き位置の異なる画像への切り替えは、所定のキー（例えばＣｔｒｌキー）を押しながらのマウスホイールの回転等で実現できる。例えば、ホイールの前方回転を奥行きが深い画像への移動に、後方回転を奥行きが浅い画像への移動に割り当てる。上記のようなユーザの表示画像の変更操作に伴い、表示領域２０５、表示倍率２０６、サムネイル
画像２０３内の枠線２０４が更新される。このようにして、ユーザは所望する面内位置、奥行き位置、倍率の画像を観察できる。

（画像データ生成装置）
図３は画像データ生成装置１００の内部構成を示す図である。
ＣＰＵ３０１はメインメモリ３０２に格納されているプログラムやデータを用いて画像データ生成装置全体の制御を行う。またＣＰＵ３０１は、以降の実施例で説明する各種演算処理、データ処理、例えば、散乱画像データ生成処理や透過光成分抑制マスク生成処理、散乱光抽出画像データ生成処理、透過光成分抑制処理、散乱光強調画像データ生成処理等を行う。

メインメモリ３０２は記憶装置１３０からロードされたプログラムやデータ、他のコンピュータシステム１４０からネットワークＩ／Ｆ（インターフェース）３０４を介してダウンロードしたプログラムやデータを一時的に記憶するエリアを備える。またメインメモリ３０２は、ＣＰＵ３０１が各種の処理を行うために必要とするワークエリアを備える。

操作入力デバイス１１０はキーボード１０２、マウス１０３、専用コントローラ１１３などＣＰＵ３０１に各種の指示を入力することのできるデバイスにより構成される。ユーザは画像データ生成装置１００の動作を制御する情報を操作入力デバイス１１０により入力する。３０５は操作入力デバイス１１０を介して入力された各種の指示等をＣＰＵ３０１に通知するためのＩ／Ｏ（入出力）である。

記憶装置１３０はハードディスクなどの大容量情報記憶装置であり、ＯＳ（オペレーティングシステム）や以降の実施例で説明する処理をＣＰＵ３０１に実行させるためのプログラムや画像データなどを記憶する。記憶装置１３０への情報の書き込みや記憶装置１３０からの情報の読み出しはＩ／Ｏ３０６を介して行われる。

ディスプレイ制御装置３０７は画像データや文字等をディスプレイ１２０に表示させるための制御処理を行う。ディスプレイ１２０はユーザに入力を求めるための画面表示を行うとともに、記憶装置１３０や他のコンピュータシステム１４０から取得しＣＰＵ３０１で処理した画像データを表示する。

演算処理ボード３０３は、画像処理など特定の演算機能が強化されたプロセッサおよびバッファメモリ（不図示）を備えている。以降の説明では各種演算処理、データ処理にはＣＰＵ３０１を、メモリ領域としてメインメモリ３０２を用いるとして説明するが、演算処理ボード内のプロセッサやバッファメモリを用いることも可能であり、本発明の範疇とする。

（被写体）
図４は被写体の一例である病理標本のプレパラート（スライドとも呼ぶ）を表す。病理標本のプレパラートでは、スライドグラス４１０上に載置した病理標本４００が封入剤（不図示）とその上に載せるカバーグラス４１１によって封入されている。病理標本４００の大きさや厚みは病理標本によって異なっている。更にスライドグラス４１０上には病理標本に関する情報が記録されたラベルエリア４１２が存在する。ラベルエリア４１２への情報の記録は、ペンによる記入でもよいし、バーコードや２次元コードの印刷でもよい。また電気的、磁気的、または光学的な方法により情報を記憶可能な記憶媒体をラベルエリア４１２に設けてもよい。以降の実施形態では、被写体として図４に示す病理標本のプレパラートを例に説明する。

（撮像装置）
図５は被写体を撮影しデジタル画像を取得する撮像装置の構成の一部を模式的に表す。図５に示すように、本実施形態では、病理標本４００の表面に平行にｘ軸とｙ軸をとり、病理標本４００の奥行き方向（光学系の光軸方向）にｚ軸をとる。

プレパラート（病理標本４００）をステージ５０２上に置き、照明ユニット５０１から光を照射する。病理標本４００を透過した光は、撮像光学系５０３によって拡大され、撮像センサ５０４の受光面に結像する。撮像センサ５０４は複数の光電変換素子を有するラインセンサ（一次元センサ）またはエリアセンサ（二次元センサ）である。病理標本４００の光像は撮像センサ５０４により電気信号に変換され、デジタルデータとして出力される。

一回の撮影で病理標本全体の画像データを取得できない場合には、ステージ５０２をｘ方向および／またはｙ方向に移動しながら複数回の分割撮影を行い、得られた複数の分割画像データを合成（繋ぎ合わせ）して病理標本全体の画像データを生成する。また、ステージ５０２をｚ方向に移動しつつ複数回の撮影を行うことで、光軸方向（奥行き方向）の焦点位置が異なる複数枚の画像データ（レイヤー画像データと呼ぶ）を取得する。本明細書では、光軸方向（奥行き方向）の焦点位置が異なる複数枚のレイヤー画像データからなる画像データ群を「Ｚスタック画像データ」と呼ぶ。また、被写体を撮影することによって取得された画像データであるレイヤー画像データやＺスタック画像データを「元画像データ」と呼ぶ。

図２の表示倍率２０６に表示される倍率の値は、撮像光学系５０３の倍率に画像表示アプリケーション上での拡大／縮小率を掛けた値である。なお、撮像光学系５０３の倍率は固定でも良いし、対物レンズの交換によって可変であっても良い。

（視点画像データを生成する技術の説明）
画像データ生成装置１００では、暗視野観察や位相差観察など光学系に変更を加える観察・撮像方法を必要としない。その代わりに、Ｚスタック画像データから画像処理によって中間画像データ（視点画像データ）を生成し、その中間画像データを用いて観察や診断に適した観察用画像データを生成する。まずは、Ｚスタック画像データから中間画像データとしての視点画像データを生成する処理に利用可能な技術について説明する。

光軸方向の焦点位置を変えて撮影した複数枚の画像データ（Ｚスタック画像データ）を元に、任意の方向から観察した視点画像データ（任意視点画像データ）を生成できることが知られている。ここで、視点画像データとは所定の観察方向（即ち視点）から被写体を観察した画像データを表す。
例えば特開２００７−１２８００９号公報（以降、特許文献１と呼ぶ）には、焦点位置を変えて撮影した焦点ぼけ画像データ群から、任意の視点や任意のぼけの画像データを生成する方法が開示されている。この方法では、焦点ぼけ画像データ群に対し、焦点位置の前後で発生する２次元の焦点ぼけを集めた３次元的な焦点ぼけ（以降、３次元焦点ぼけと呼ぶ）がＸＹＺ位置で不変になるように座標変換処理を施す。そして、得られた直交座標系（ＸＹＺ）において３次元のフィルタ処理を適用することで視点やぼけを変更した画像データを得る。
また、非特許文献２には、特許文献１の方法の改良が開示されている。非特許文献２では、視点から視線方向を求め、Ｚスタック画像データを視線方向に積算することで積算画像データを生成するとともに、同じように３次元焦点ぼけの視線方向の積算画像データも生成する。その後、Ｚスタック画像データの積算画像データに対し３次元焦点ぼけの積算画像データを逆フィルタ処理することにより、Ｚ方向（レイヤー画像データの枚数）の制約による影響を抑制し、高画質な視点画像データを生成することができる。
また、非特許文献３には、非特許文献２の計算を高速化する方法が開示されている。非
特許文献３の方法では、被写体（シーン）に依存せずに予め定まるフィルタと焦点ぼけ画像データ群の各Ｚ位置のフーリエ変換画像データの線型結合によって、周波数領域上での任意視点画像データや任意焦点ぼけ画像データが効率的に計算できる。
非特許文献４は、非特許文献３の方法をより詳細に記した文献である。

本実施形態では、光軸方向の焦点位置を変えて撮影した複数枚の画像データ（Ｚスタック画像データ）を元に、任意の方向から観察した視点画像データ（任意視点画像データ）を生成したり、任意の焦点ぼけを持つ画像データを生成する。以降の説明では、これらの手法を総称して、ＭＦＩ（マルチフォーカスイメージング）任意視点／焦点ぼけ画像生成法と呼ぶこととする。
なお、両側テレセントリックな光学系を持つ顕微鏡で焦点位置を変えて撮影したＺスタック画像データは３次元焦点ぼけがｘｙｚ位置で不変である。よって、両側テレセントリックな光学系で撮影したＺスタック画像データにＭＦＩ任意視点／焦点ぼけ画像生成法を適用する場合は、座標変換処理および座標変換処理に伴う画像データの拡縮処理は不要である。

ライトフィールドと呼ばれる４次元の情報（ＸＹの２次元画像データに視点位置の自由度を加えた情報）が記録された画像データを１回の撮影で取得可能な撮像装置が知られている。このような撮像装置はライトフィールドカメラやライトフィールド顕微鏡と呼ばれる。これらの装置では、本来結像面となる位置にレンズアレイが配置されており、それよりも後方のイメージセンサでライトフィールドを撮影する。ライトフィールドが記録された元画像データからも、公知の技術を用いて、任意の焦点位置の画像データや任意の方向から観察した視点画像データ（任意視点画像データ）を生成できる。

本実施例では、撮像装置の被写体に対する方向を物理的に変えることなく、Ｚスタック画像データ又はライトフィールドなどの撮像画像データを元に、デジタル画像処理によって生成される任意の観察方向の画像データを「視点画像データ」とよぶ。この視点画像データは、被写体の撮影に用いる撮像光学系を通る任意の光線を主光線とし、その主光線を中心とする光束によって撮像面に形成される光学像を模擬した画像データである。主光線の方向が観察方向に対応する。主光線の方向は任意に設定できる。また光束の大きさ（ＮＡ）も任意に設定できる。画像診断等が目的の場合には、視点画像データの被写界深度は深いことが望ましいので、視点画像データに対応する光束のＮＡは０．１以下が望ましい。

なお、デジタル画像処理によって生成（計算）した視点画像データは、撮像光学系の撮影条件（絞りの位置・大きさ）や光軸方向やレンズ等を物理的に変えて撮影した画像データとは、必ずしも一致しない。しかし、現実に撮影した画像データと一致していなくても、視点を変えて被写体を観察したのと同様の特徴をもつ画像データであれば（つまり、観察方向を変えるのと同様の効果をデジタル画像処理によって付与できれば）、画像観察や画像診断等には有用である。従って、現実に光軸方向等を変えて撮影した画像データとは厳密には一致しないが、そのような画像データと同様の特徴が現れるようにデジタル画像処理された画像データも、本実施例の視点画像データに含まれる。

座標変換を施した焦点ぼけ画像群から、実空間上のレンズ面（瞳面に相当）上にある原点Ｏ（ｘ，ｙ，ｚ）＝（０，０，０）から視点（ｘ，ｙ，ｚ）＝（ｓ，ｔ，０）だけズレた位置のピンホールを通して観察した視点画像データを生成できる。ＭＦＩ任意視点／焦点ぼけ画像生成法では、レンズ面上の視点の位置を変えることで被写体を観察する観察方向、すなわち視線方向を変化させることができる。

視線方向は、結像した像に対応する被写体の所定の位置から発する光束の中で、レンズ
面上の視点の位置（ｘ，ｙ，ｚ）＝（ｓ，ｔ，０）を通る直線の傾きである、と定義できる。視線方向は様々な方法で表現可能である。例えば、直線の進行方向を示す３次元的なベクトルによる表現でも良いし、前述の３次元的なベクトルが光軸となす角（観察角）と光軸に垂直な平面に射影したときのベクトルがＸ軸となす角（偏角）による表現でも良い。

撮像光学系が両側テレセントリックではない場合、撮像面における３次元焦点ぼけは、合焦した被写体の空間的な位置（ｘｙｚ座標内の位置）によって変化し、レンズ面上の視点の位置（ｘ，ｙ，ｚ）＝（ｓ，ｔ，０）を通る直線の傾きは一定とはならない。その場合、特許文献１に記載の座標変換後の直交座標系（ＸＹＺ）の上で視線方向を定義すると良く、視線方向は（Ｘ，Ｙ，Ｚ）＝（−ｓ，−ｔ，１）のベクトルで表すことができる。以下、座標変換後の視線方向の求め方を説明する。
特許文献１には、撮像光学系の焦点が合った任意の位置と撮像装置のレンズ面（瞳面に相当）上の同一の視点の位置（ｘ，ｙ，ｚ）＝（ｓ，ｔ，０）を結ぶ光線は、座標変換後の直交座標系（ＸＹＺ）では全て互いに平行な光線となることが記載されている。（特許文献１の図１〜３およびその説明を参照）

透視座標系（座標変換前の実空間）の被写体のある点から出た光は、（ｐ＋ｓ，ｑ＋ｔ，ｆ）（ｆは焦点距離）を通過し、視点の位置（ｘ，ｙ，ｚ）＝（ｓ，ｔ，０）で屈折する。この直線は以下の式で表される。

数１の直線は座標変換後の直交座標系（ＸＹＺ）では以下の式で表される。

数２にＺ＝０（ｚ＝ｆ）、Ｚ＝１（ｚ＝∞）を代入し、３次元座標を求めると、それぞれ（Ｘ，Ｙ，Ｚ）＝（ｐ＋ｓ，ｑ＋ｔ，０）、（Ｘ，Ｙ，Ｚ）＝（ｐ，ｑ，１）となることから、直交座標系（Ｘ，Ｙ，Ｚ）での直線の傾きは（−ｓ，−ｔ，１）で表される。
従って、座標変換後の直交座標系での視線方向を表すベクトルは（Ｘ，Ｙ，Ｚ）＝（−ｓ，−ｔ，１）となる。

なお、撮像光学系が両側テレセントリックである場合、奥行き方向に焦点を変えて撮影した複数枚の画像データ（Ｚスタック画像データ）中の３次元焦点ぼけはＺの位置によらず不変となる。
従って、空間的な位置によらず３次元焦点ぼけを不変とするための座標変換は必要ない。実空間においてピントが合った被写体の所定の位置（ｘ，ｙ，ｚ）＝（０，０，ｚａ）とレンズ面上の視点の位置（ｘ，ｙ，ｚ）＝（ｓ，ｔ，０）を結ぶ直線の傾き（−ｓ，−ｔ，ｚａ）をそのまま視線方向と見なしても良い。

（視点と実際に標本を観察したときの偏角θ及び観察角φの対応関係）
図７（ａ）は実空間上の視点の位置（ｘ，ｙ，ｚ）＝（ｓ，ｔ，０）を表す模式図であり、図７（ｂ）は直交座標系（ＸＹＺ）において視点の位置（ｘ，ｙ，ｚ）＝（ｓ，ｔ，０）を通る光線を表す模式図である。

図７（ａ）で示す点線の円はレンズ面上（ｚ＝０）で光線が通過可能な範囲を表している。偏角θをレンズ面上の視点の位置（ｘ，ｙ，ｚ）＝（ｓ，ｔ，０）がレンズ面上（ｚ＝０）のｘ軸となす角、あるいは視線（−ｓ，−ｔ，１）をｘｙ平面に射影したときの直
線がｘ軸となす角と定義すると、偏角θは下記の式で求められる。

ただし、θはｔ，ｓの符号に応じて−１８０〜＋１８０度の範囲に収まるように調整する。

続いて、図７（ｂ）を用いて視線と変換座標上の観察角φ_Ｔの関係について説明する。
図７（ｂ）では、数２で示す直線と数２に光軸上の点ｐ＝０、ｑ＝０を代入した場合の直線を太字の矢印で示している。
特許文献１によれば、直交座標系（ＸＹＺ）のＺ＝０は透視座標系（ｘｙｚ）のｚ＝ｆ（またはｚ＝−∞）に対応し、Ｚ＝１はｚ＝∞（またはｚ＝−ｆ）に対応している。そのため、図７（ｂ）は直交座標系ＸＹＺにおいて無限遠（Ｚ＝１）からの光束が、レンズ面上の手前の焦点面（Ｚ＝０）で広がりを持つことを示している。（特許文献１の図３およびその説明を参照）
ここで、変換座標上の観察角φ_Ｔを、視線（−ｓ，−ｔ，１）と光軸（Ｚ軸）がなす角と定義すると、図７（ｂ）からも明らかなように視線は、被写体の位置に依存しないので、観察角φ_Ｔは以下の式で求められる。

なお、図７（ｂ）の２本の点線はレンズ面上の最も端を通る光線を示している。座標変換前の透視座標系（ｘｙｚ）でのレンズの絞り半径をｒ_ｍとすると、視点の位置（ｘ，ｙ，ｚ）＝（ｓ，ｔ，０）が半径ｒ_ｍの内部にある場合のみ視点画像データは計算できる。

次に、変換座標上ではなく、実際に標本を観察したときの視線に対応する偏角θ、観察角φについて述べる。スネルの法則では屈折率の異なる境界に光線が入射したとき、光線の入射角と入射側の媒質の屈折率の積は、光線の屈折角と屈折側の媒体の屈折率の積に等しい。標本の屈折率は空気の屈折率よりも大きいことから、空気中の観察角に比べ標本中の観察角は小さくなっている。そのため、屈折した光線で構成される、標本中の３次元焦点ぼけは、空気中での３次元焦点ぼけよりも小さくなっている。しかし、本実施例では標本中での３次元焦点ぼけによる３次元的な結像関係に基づいて視点の位置を計算しているため、標本の屈折率の影響は考える必要はなく、偏角θおよび観察角φはそのまま標本中での観察方向を表している。
撮像光学系が両側テレセントリックである場合には、座標変換を必要としないため、ｘ方向とｙ方向のセンサ画素ピッチが等しいとすれば、観察角φは、ｘ方向のセンサ画素ピッチΔｘと、ｚ方向の移動間隔Δｚ（単位はμｍ）を用いて、下記式で表現できる。

なお、撮像光学系が両側テレセントリックでない場合には、数５でΔｘとΔｚの代わりに、直交座標系（ＸＹＺ）におけるＸ方向のセンサ画素ピッチΔＸとＺ方向の移動間隔ΔＺを用いれば観察角φが求められる。
以上で、実際に標本を観察したときの視線に対応する偏角θ、観察角φについて説明した。
以降の説明では、レンズ面上の視点の位置（ｘ，ｙ，ｚ）＝（ｓ，ｔ，０）を視点（ｓ
，ｔ）と略して記載する。また、直交座標系（ＸＹＺ）上での画像処理を前提として説明するため、視点の位置（ｓ，ｔ）に言及する場合のみ透視座標系（座標変換前の実空間）での位置を表すものとし、その他は特に断りが無い限りは、直交座標系（ＸＹＺ）での位置を表すとする。

図５の撮像装置で取得したＺスタック画像データに対しＭＦＩ任意視点／焦点ぼけ画像生成法を適用すると、視点の位置、即ち観察方向を変えた視点画像データを生成することが出来る。
ＭＦＩ任意視点／焦点ぼけ画像生成法で計算する視点画像データには、主に２つの特徴がある。１つは視点画像データが非常に深い（無限大の）被写界深度を持ち、透過率が異なる標本内の物質の境界が明瞭に見える点である。もう１つは、視点画像データは、照明の一部領域から標本を照らして得る偏斜照明の観察像に近く、ＸＹ平面での視線方向に沿って変化する凹凸が強調され、標本が立体的に見える点である。視点画像データでは偏斜照明の像と同様、光軸に対して視線方向が傾くほど、即ち、視線の観察角φが大きくなるほど、標本表面の凹凸のコントラストが高くなり、標本表面が立体的に見える。
（ただし、物理的には偏斜照明の像と視点画像データは異なっている。偏斜照明の像は焦点位置の変更に伴って光学的なぼけが発生するが、視点画像データは焦点位置の変更によらず被写界深度は非常に深いままであるという違いがある。なお、視点画像データはピントを合わせるＺスタック画像データのＺ位置Ｚｆによって変化するが、その変化はＸＹ方向の平行移動で表される。）

次に、１つ目の特徴である、透過率が異なる物質の境界が明瞭に見える理由について説明する。
図６（ａ）は、直交座標系（ＸＹＺ）での光学系の３次元焦点ぼけを表す図である。６００は３次元焦点ぼけ形状を示し、焦点位置（２つの円錐の頂点）では焦点ぼけは僅かだが、Ｚ位置が焦点位置から離れるに従い、焦点ぼけが広がる様子を示している。ＭＦＩ任意視点／焦点ぼけ画像生成法を用いれば、Ｚスタック画像データから円錐６００の内部を通る任意の視線方向（例えば直線６１０）の光線で構成される視点画像データを生成することが出来る。

図６（ｂ）は、直交座標系（ＸＹＺ）での病理標本を異なる方向から見た様子を示す。図６（ｂ）の標本６２０の内部には斜め方向の空洞６３０が存在している。
方向６３１から観察すると空洞６３０以外の部位が透けて見える為、空洞６３０の壁面のコントラストは明瞭ではない。また方向６３２から観察した場合も同様で空洞６３０のコントラストは不明瞭である。しかし空洞６３０の壁面に沿った方向６３３から観察する場合、他の部位の影響を受けないので、空洞６３０の壁面のコントラストは明瞭となる。なお、視線方向が多少空洞の壁面の方向と異なってもコントラストは比較的高い状態を維持できる。

一方、標本６２０のＺスタック画像データの３次元焦点ぼけは様々な視線方向の光線を統合したものである。そのため、いずれのＺ位置（焦点位置）のレイヤー画像データにおいても、方向６３１〜６３３の光線を含む多方向の光束の影響で像がぼやけ、空洞の壁面のコントラストは方向６３３からの観察像に比べて明瞭にはならない。この現象は空洞に限らず、核や細胞膜、線維等においても同様である。
以上、視点画像データにおいて標本内の透過率が異なる物質の境界が明瞭に見える現象について説明した。

病理標本は半透明の物体であり、透過光以外にも散乱光が存在している。その散乱光の存在が視点画像データの２つ目の特徴を生んでいる。
次に、標本での散乱光により、視線の観察角φが大きくなるほど、標本表面の凹凸のコ
ントラストが高くなる理由について説明する。

図８（ａ）の８００はプレパラート内の病理標本の表面に存在する凹凸を示す模式図である。図８（ａ）に示すｘｚ平面の凹凸は奥行き方向であるｙ方向にも続いているとする。
組織診用の病理標本はパラフィンで固定された後、マイクロトームで均一な厚みにスライスされ、その後、染色が施されている。しかし、病理標本は完全に均一ではなく、細胞と管や腔の境界、核と細胞質の間の境界などでは組織の構造や物質の成分に起因する凹凸が存在し、病理標本の表面には図８（ａ）に示すような起伏のある構造が存在している。
図８（ａ）は簡易的なモデルであり、実際の標本の凹凸には図８（ａ）のようにとがった部分は少ない。また図８（ａ）のような凸の構造だけでなく標本内部に凹んだ構造も存在する。また表面が平らでも内部に屈折率が異なる物質が存在する場合は光学的な距離が変わるため、標本内部の屈折率の不連続は表面凹凸と見なすことができる。
なお、実際のプレパラートでは、カバーグラスと標本の間に透明な封入剤が存在している。しかし、封入剤の屈折率と標本の屈折率の差は僅かで影響は少ないため、以降、両者の屈折率は同一として説明する。

図８（ａ）の８１１は凹凸の無い面、８１２は右上がりの斜面、８１３は右下がりの斜面を示す。斜面８１２、斜面８１３がｘ軸となす傾斜角はそれぞれα（α＞０）である。
図９（ａ）〜図９（ｃ）は図８（ａ）の８１１〜８１３の面での観察角φにおける散乱光の強度を示す模式図である。図９（ａ）、図９（ｂ）、図９（ｃ）はそれぞれ平面８１１、斜面８１２、８１３での光の散乱を示している。それぞれの面に接する円は、標本表面での光の拡散特性を完全拡散透過面と仮定した場合の散乱方向による散乱光の強度を示す。円内の太い矢印の線の長さは光軸（ｚ軸）からφだけ傾けた角度から観察した場合の散乱光の強度を示している。（実際には標本表面は完全拡散透過面ではなく、光の入射方向・観察方向による強度依存性があるが、説明を簡略化するため、ここでは完全拡散透過面と仮定して説明する。）

完全拡散透過面では、面と直交する法線方向の光の強度をＩ_０、観察方向と面の法線のなす角をδとすると、δ方向の散乱光の強度Ｉ（δ）はＩ（δ）＝Ｉ_０ｃｏｓδで表せる。
図９（ａ）、図９（ｂ）、図９（ｃ）において、観察方向と面の法線のなす角δはそれぞれφ、φ＋α、φ−αで表せるため、それぞれの散乱光の強度は、
Ｉ_０ｃｏｓφ、Ｉ_０ｃｏｓ（φ＋α）、Ｉ_０ｃｏｓ（φ−α）
となる。
なお、観察方向から見てｚの値が増加する斜面（上りの斜面）では傾斜角αを正とし、ｚの値が減少する斜面（下りの斜面）では傾斜角αを負とすれば、いずれの面でも散乱光の強度は、Ｉ_０ｃｏｓ（φ−α）で表せる。

斜面８１２、８１３の観察角φ方向の散乱光の強度を平面８１１の観察角φ方向の散乱光の強度で割った値をコントラストＣ（φ，α）として定義すると、コントラストは下記の式となる。

表１にφおよびαを変えたコントラストＣ（φ，α）の値を示す。

表１より、観察角φが小さいときは、傾斜角αが大きくても斜面８１２、８１３の間のコントラストは低いため観察しづらく、観察角φが大きくなるに従い、傾斜角αが小さくてもコントラストは大きくなり、観察しやすくなることが分かる。
以上、標本での散乱光により、視線の観察角φが大きくなるほど、標本表面の凹凸のコントラストが高くなる理由について説明した。

（視点を変えたときの散乱光強度の変化）
次に視点を変えたときの標本表面の散乱光強度の変化について説明する。
図８（ａ）は、ｘｙ面内において表面凹凸のエッジ方向がｘ軸に直交しており、表面凹凸の高低変化の方向（エッジに垂直な方向）が視点の偏角θ（θ＝０）と一致した場合の図である。一方、図８（ｂ）は表面凹凸の高低変化の方向がｘ軸と一致しない場合の図である。図８（ｂ）に示すように表面凹凸（８２０）のエッジに垂直な方向（８２１）とｘ軸とのなす角を凹凸方向角βとすると、凹凸方向角βと偏角θが一致しない場合には、表面凹凸８２０を斜め方向から観察することになる。このとき、偏角θ−βの角度を持つ観察方向から見た、斜面８１３とその反対方向の斜面８１２の見かけ上の傾斜角α’は

で求まる。数７から、見かけ上の傾斜角α’はαより小さくなり、凹凸方向角βと偏角θの差｜θ−β｜によって、コントラストＣが低下することが分かる。
ここで、｜θ−β｜が９０度を境に、傾斜角αおよびα’の符号は正から負、あるいは負から正に切り替わる点に注意する。これは、視点の偏角を変えた観察方向によって上りの斜面と下りの斜面が変わることに対応する。傾斜角α’は−α〜＋αの範囲を取り、例えば、斜面８１３では視点の偏角が｜θ−β｜＝０のときα’＝α（観察方向から見て上りの斜面）、｜θ−β｜＝πのときα’＝−α（下りの斜面）となる。

次に、視点の偏角がθ−βの方向から観察した斜面８１３の散乱光強度を平面８１１で観察される光の強度で正規化した、散乱光正規化強度Ｖ（φ，α）について考える。平面
８１１で観察される光の強度をＩ_ｔｓ（φ）で表し、透過光の強度および散乱光の強度の和で構成される観察角φの関数とする。前記より、散乱光正規化強度Ｖ（φ，α）は以下の式で表せる。

病理標本では表面凹凸の傾斜角αは十分に小さいと推定できるため、ｃｏｓα＝１、ｓｉｎα＝αの近似式を用いて、数８は以下のように近似できる。

続いて、Ａ（φ）およびＢ（φ）のとる値について述べる。
光の強度Ｉ_ｔｓ（φ）は照明光学系の特性から一般に観察角φに従って減少する傾向があるため、Ｉ_１を観察角φ＝０のときの透過光強度とし、Ｉ_ｔｓ（φ）＝Ｉ_１ｃｏｓφとして近似した場合、Ａ（φ）＝Ｉ_０／Ｉ_１となる。散乱光が透過光に比べて小さい場合、Ａ（φ）は比較的小さな定数とみなすことができる。一方、Ｂ（φ）は、φ＝０のとき、ｓｉｎφ＝０よりＢ（φ）＝０となる。観察角φの増加に従ってｓｉｎφは増加し、また光の強度Ｉ_ｔｓ（φ）は減少すると見なせることから、Ｂ（φ）は増加関数となる。Ｉ_ｔｓ（φ）＝Ｉ_１ｃｏｓφと仮定すれば、Ｂ（φ）＝Ｉ_０／Ｉ_１×ｔａｎφとなる。

ＭＦＩ任意視点／焦点ぼけ画像生成法で計算する視点画像データでは、平均を維持する周波数フィルタ処理により、視点にかかわらず画像データの平均輝度は変化しない。従って、視点画像データでの斜面８１３の輝度から染色部位の透過率の影響を受けた透過光強度を除いた値は、正規化強度Ｖ（φ，α）にほぼ等しいと考えることができる。

（視点を変えたときの透過光強度の変化）
次に、視点が異なる視点画像データでの透過光強度の変化について考える。
観察する標本において、隣接する物質との輝度差が少ない領域（細胞質や細胞境界）では視線方向が違っても輝度差は少なく、透過光の強度には影響が少ない。また、組織診病理標本のように厚みが４μｍ程度の比較的薄い標本では、標本表面にピントを合わせて計算した視点画像データでは観察される標本内部の物体の位置は大きくは変わらない。（ＭＦＩ任意視点／焦点ぼけ画像生成法で計算される視点画像データではピントを合わせたＺスタック画像データのＺ位置Ｚｆの近傍に存在する物体は、視点によらずほぼ同一の視点画像データのＸＹ位置に現れる。それは複数視点の視点画像データを統合した画像データにおいてＸＹ位置に差がないため、ぼけが少なくなることからも理解できる。）
従って、視点の位置を変えて求めた視点画像データ間での透過光強度の差は僅かと見なすことができ、散乱光正規化強度間の差分と視点画像データ間の差分はほぼ等しいと考えることができる。

（視点の偏角θを変えた視点画像データからの標本表面の散乱光の情報の抽出）
続いて、偏角θを変えた視点画像データ間の演算により、標本表面の散乱光の情報を抽出することを考える。
図８の８１３に示す傾斜角αの所定の表面凹凸において、数７より、凹凸方向角βと偏角θの差｜θ−β｜が０度の場合、傾斜角はαであり、散乱光正規化強度Ｖ（φ，α）は最大となる。一方、｜θ−β｜が１８０度の場合、見かけ上の傾斜角α’は−αとなり、
散乱光正規化強度Ｖ（φ，α’）は最小となる。
従って、｜θ−β｜が０になる視点画像データと｜θ−β｜が１８０度となる視点画像データの間で減算をすれば、効率的に標本表面の散乱光の情報（の一部）が抽出できることが分かる。以下に式を示す。

（ただし、｜θ−β｜＝πのときα’＝−α）

標本の表面凹凸の傾斜角α、凹凸方向角βは様々であるため、偏角θを変えた様々な視点において偏角θが１８０度異なる視点の視点画像データ間で差分を求め、その結果を集めれば、標本表面の散乱光の情報が抽出できることが分かる。
なお、数１０より、偏角θが１８０度異なる視点の視点画像データ間以外の演算であっても、散乱光の情報の抽出は可能であることが分かる。例えば、｜θ−β｜＝π／２（９０度）のときα’＝０であり、視点画像データ間の差分からα×Ｂ（φ）が抽出できる。
また、減算だけでなく除算でも標本表面の散乱光の情報が抽出できる。すなわち、Ｖ（φ，α）／Ｖ（φ，α’）の値も傾斜角αに応じて変化するので、散乱光の情報を表す指標といえる。

（視点の観察角φを変えた視点画像データからの標本表面の散乱光の情報の抽出）
続いて、前述の偏角θの場合と同様に、観察角φを変えた視点画像データ間の演算により、標本表面の散乱光の情報を抽出することを考える。
観察角がφとφ’の２つの視点画像データ間の減算は下記の式で表現できる。（ただし、Ａ（φ）＝Ａ（φ’）と近似）

既に述べたように、Ｂ（φ）はφの増加に伴って増加する関数であることから、観察角φを変えた２枚の視点画像データ間の演算により、標本表面の散乱光の情報（の一部）が抽出できることが分かる。Ｂ（φ）はφ＝０のとき０となるため、観察角φの視点画像データと観察角φ’が０になる視点の視点画像データとの減算が最も効果的である。
前述の偏角θの場合と同様、標本中の凹凸方向角βは様々であるため、観察角φだけでなく、偏角θを変えた様々な視点において視点画像データ間で差分を求め、その結果を集めれば、標本表面の散乱光の情報が抽出できることが分かる。

また、減算だけでなく除算でも標本表面の散乱光の情報が抽出できる。これまでの説明から、観察角φにおける視点画像データの輝度は、α×Ｂ（φ）＋Ｄ（Ｄは定数）で近似できるため、観察角φを変えた視点画像データ間の輝度の除算は、

で表現できる。
ＤＩＶ（φ，φ’）は、αが０のとき１となり、αが０でないときはαの大きさに応じて強度が変わる。よって、除算ＤＩＶ（φ，φ’）によっても、傾斜角αの情報が抽出できることになる。
減算の場合と同様に、観察角φだけでなく、偏角θを変えた様々な視点において視点画像データ間で除算をし、その結果を集めれば、標本表面の散乱光の情報が抽出できる。

本実施例のように透過型の顕微鏡により撮影した画像データ（顕微鏡画像データ）には、標本を透過した光による透過光成分と、標本の表面等で散乱した光による散乱光成分とが含まれる。透過光成分の強度は標本の光の透過率に依存するので、標本内の色の違いや屈折率の違いなどを表している。一方、散乱光成分の強度は、前述のように、主に標本表面の凹凸（表面形状）に依存する。元画像データとしての顕微鏡画像データでは透過光成分が支配的なため散乱光成分は殆ど認識できないが、上記のように観察方向の異なる複数の視点画像データの間の差異を抽出ないし強調することで、散乱光成分を抽出ないし強調できる。言い換えれば、観察方向の異なる２つの視点画像データの「差（差分）」および「比」は、元画像データに含まれる散乱光成分（散乱光の情報）を表している特徴量といえる。
なお、「強調」とは、ある部分を（元の状態よりも）目立たせる操作であり、「抽出」とは、ある部分のみを取り出す操作であるが、ある部分に注目するという点では同じ操作であるため、本明細書では二つの用語を特に区別せずに用いる場合もある。また、散乱光成分の強調という操作には、画像データ中の散乱光成分の強度を上げる操作だけでなく、画像データ中の透過光成分の強度を下げることで散乱光成分の強度を相対的に上げる操作も該当する。以降、画像データに含まれる散乱光成分（散乱光の情報）を抽出ないし強調して得られる画像データを散乱画像データ又は特徴画像データとよぶ。また、元画像データから散乱画像データを生成する操作を散乱画像データ生成（特徴画像データ生成）とよぶ。
また本発明では、散乱画像データのうち、被写体から散乱光を抽出した画像データを散乱光抽出画像データ、被写体の散乱光を強調した画像データを散乱光強調画像データとよぶこととする。
なお、視点画像データの差異を抽出ないし強調する演算として減算と除算を例示したが、画像データの差異を強調できればどのような演算を用いてもよい。

散乱画像データは、標本表面の凹凸（表面形状）の観察及びそれに基づく診断に適した観察用画像データとして利用価値があるものと期待される。例えば、標本内のある領域の表面に凹凸があったとしても、その領域内の透過率がほぼ均一な場合には、元画像データではその領域の輝度又は色は一様になるため、目視では凹凸を認識できない。散乱画像データはこのような表面凹凸（輝度や色の変化として現れない表面凹凸）を可視化するのに特に有効である。また、細胞境界や細胞と類洞の境目なども凹凸があるので、散乱画像データはこれらの境界を明瞭化する効果もある。なお、画像特徴を抽出ないし強調する処理の一つにエッジ抽出（強調）処理があるが、画像の輝度や色の変化として現れない表面凹凸については、エッジ抽出（強調）では可視化できない。よって、標本のどのような構造ないし特徴を観察したいかに応じて、散乱画像データ抽出とエッジ抽出を使い分けるとよい。

なお、これまで主に散乱光が標本表面で発生する場合について説明したが、観察対象は必ずしも標本表面に限らない。フォーカスを合わせた位置（Ｚ＝Ｚｆ）に散乱の原因となる、周囲と屈折率が異なる物質などが存在する場合でも標本表面の散乱現象と同様に考えることができ、散乱画像データを用いて観察できる。

（ＭＦＩ任意視点／焦点ぼけ画像生成法における３次元的な結像関係）
ここまで被写体の表面（フォーカスを合わせた面）での散乱光が持つ特徴について述べた。しかし、被写体には散乱光だけでなく、透過光も存在する。視点画像データにおける透過光の影響について述べるにあたり、まず、ＭＦＩ任意視点／焦点ぼけ画像生成法における３次元的な結像関係について説明する。

ＭＦＩ任意視点／焦点ぼけ画像生成法では、座標変換を施した焦点ぼけ画像群（Ｚスタック画像データ）が３次元的な被写体と３次元焦点ぼけのコンボリューションによって表
される関係が成立している。３次元被写体をｆ（Ｘ，Ｙ，Ｚ）、３次元焦点ぼけをｈ（Ｘ，Ｙ，Ｚ）、座標変換を施した焦点ぼけ画像群（Ｚスタック画像データ）をｇ（Ｘ，Ｙ，Ｚ）とすると以下の式が成立する。

（ただし、＊＊＊は３次元コンボリューションを表す。）

図１０（ａ）〜図１０（ｆ）は３次元被写体の異なるＺ位置に物体が存在する場合のＺスタック画像データの違いを示す模式図である。３次元被写体１００１はＺ＝Ｚｆの位置に物体が存在し、３次元被写体１０１１ではＺ＝Ｚｏの位置に物体が存在する。
３次元焦点ぼけ１００２を持つ光学系を用いてＺ方向の焦点位置を変えながら、３次元被写体１００１、１０１１を撮影することで、それぞれＺスタック画像データ１００３、１０１３が得られる。（なお、３次元焦点ぼけｈ（Ｘ，Ｙ，Ｚ）は座標変換によってシフト不変に変換されるため、同一である。）自明だが、Ｚスタック画像データ１００３ではＺ＝Ｚｆの位置で、Ｚスタック画像データ１０１３ではＺ＝Ｚｏの位置で最も焦点ぼけが少ない画像データが得られる。

（ＭＦＩ任意視点／焦点ぼけ画像生成法での任意視点画像データの計算）
ＭＦＩ任意視点／焦点ぼけ画像生成法として特許文献１、非特許文献２，３，４の方法が知られている。一例として非特許文献２の方法による任意視点画像データ生成方法を説明する。
視点（ｓ，ｔ）に対応する視線方向から観察した視点画像データをａ_ｓ，ｔ（Ｘ，Ｙ，Ｚｆ）とする。ａ_ｓ，ｔ（Ｘ，Ｙ，Ｚｆ）は、同一の視線方向のＺスタック画像データの積算画像データｂ_ｓ，_ｔ（Ｘ，Ｙ，Ｚｆ）を、同一の視線方向の撮像光学系の３次元焦点ぼけの積分値ｃ_ｓ，ｔ（Ｘ，Ｙ，Ｚｆ）でデコンボリューションして得られる。（図１０で説明される関係、即ち、ｆ（Ｘ，Ｙ，Ｚ）とｈ（Ｘ，Ｙ，Ｚ）をコンボリューションすることでｇ（Ｘ，Ｙ，Ｚ）が得られる関係は視線方向への積分にかかわらず成立する。）

式で表現すると以下の関係が成立する。

ただし、Ａ_ｓ，ｔ（ｕ，ｖ），Ｂ_ｓ，ｔ（ｕ，ｖ），Ｃ_ｓ，ｔ（ｕ，ｖ）はそれぞれａ_ｓ，ｔ（Ｘ，Ｙ，Ｚｆ）、ｂ_ｓ，ｔ（Ｘ，Ｙ，Ｚｆ）、ｃ_ｓ，ｔ（Ｘ，Ｙ，Ｚｆ）のフーリエ変換である。ｕ，ｖはそれぞれＸ，Ｙ方向の変化に対応する周波数座標である。
ａ_ｓ，ｔ（Ｘ，Ｙ，Ｚｆ）は以下の式で求められる。

ただし、Ｆ^−１｛｝はフーリエ逆変換を表す。

次に、ＭＦＩ任意視点／焦点ぼけ画像生成法における任意視点画像データと任意焦点ぼけ画像データの関係について説明する。
図１１（ａ）〜図１１（ｈ）は、３次元被写体の異なるＺ位置に物体が存在する場合のＭＦＩ任意視点／焦点ぼけ画像生成法で求める任意視点画像データと任意焦点ぼけ画像データの関係を示す模式図である。
図１１（ａ）の１１００、図１１（ｅ）の１１１０は３次元被写体であり、それぞれ図１０（ａ）の１００１、図１０（ｄ）の１０１１と等しい。３次元被写体１１００および１１１０中の実線で表す光線は、被写体中の物体を通り、かつ光学系のレンズ面上のそれ
ぞれに対応した所定の視点を通る光線を表す。なお、図１１（ｅ）中の破線は図１１（ａ）中の実線に対応している。
光線１１００ａおよび１１１０ａはレンズ面上のある視点ａを通る光線であり、視点に対応する視線方向からＺ＝Ｚｆの位置が焦点位置となるように観察した視点画像データはそれぞれ、図１１（ｂ）の１１０１、図１１（ｆ）の１１１１となる。また同様に光線１１００ｂおよび１１１０ｂはレンズ面上のある視点ｂを通る光線であり、それぞれのＺ＝Ｚｆの位置が焦点位置となるように観察した視点画像データは図１１（ｃ）の１１０２、図１１（ｇ）の１１１２となる。

視点画像データ１１０１、１１０２では物体の像は同一の位置に現れる。これに対し、視点画像データ１１１１、１１１２では物体の像の位置は同一の位置に現れず、それぞれ、ＺｆとＺｏの間の距離ｄＺ（＝Ｚｏ−Ｚｆ）と視線方向で決まる量だけシフトして現れる。
ＭＦＩ任意視点／焦点ぼけ画像生成法では、Ｚスタック画像データのＺ＝Ｚｆの位置のレイヤー画像データｇ（Ｘ，Ｙ，Ｚｆ）は以下の式で表現できる。

ここで、ｋ（ｓ，ｔ）は撮像光学系の３次元焦点ぼけを間接的に表す関数で、レンズ面上の各視点（ｓ，ｔ）を通る光線の相対強度分布を表している。ｋ（ｓ，ｔ）とｈ（Ｘ，Ｙ，Ｚ）の間には以下の関係が成立する。

ｋ（ｓ，ｔ）は以下の式に示すように、レンズ面上に存在する全ての視点（ｓ，ｔ）での総和が１になるように規格化されているものとする。

また、数１６のａ_ｓ，ｔ（Ｘ，Ｙ，Ｚｆ）はＺ＝Ｚｆにおける視点画像データを表す。
数１６から、あるＺ位置（Ｚ＝Ｚｆ）における複数の視点画像データを重み付け合成することによって、そのＺ位置（Ｚ＝Ｚｆ）における任意の焦点ぼけをもつ画像データ、すなわち、任意焦点ぼけ画像データを再構成できることが分かる。

以降の説明では、ｋ（ｓ，ｔ）のように、複数の画像データを統合する際の視点（ｓ，ｔ）ごと（視線方向ごと）の重みを定義する関数を「視点重み関数」とよぶ。視点重み関数は、被写体上のある点から発し視点（ｓ，ｔ）を通る光線の相対強度分布を表しているともいえる。上記のｋ（ｓ，ｔ）は、被写体の撮影に用いた撮像光学系の３次元焦点ぼけに対応する特性をもつ視点重み関数である。なお、視点重み関数としては、どのような関数を用いてもよい。例えば、ＭＦＩ任意視点／焦点ぼけ画像生成法で任意焦点ぼけ画像データを生成するための、任意の３次元焦点ぼけに対応するｋ_ａ（ｓ，ｔ）も視点重み関数として用いることができる。また、後述の実施例で例示する円柱形のような任意の形状の関数を視点重み関数として用いることもできる。
なお、数１６の式は連続的な値の積分を意味するインテグラル∫で表記されているが、実際の画像処理では離散的な（有限個の）複数の視点（ｓ，ｔ）に対する演算であるためシグマΣで表記するのが正しい。しかし、インテグラル∫の方が一般化できるため、以降の説明でもインテグラル∫を用いて説明する。なお、視点が離散的（有限個）である場合では、数１８は演算で用いる全ての視点重み関数ｋ（ｓ，ｔ）あるいはｋ_ａ（ｓ，ｔ）の
和が１となるように規格化することを表す。

（Ｚ＝Ｚｆにおけるぼけ像）
次に、ＭＦＩ任意視点／焦点ぼけ画像生成法を用いて、Ｚ＝Ｚｆにおける視点画像データからＺスタック画像データのＺ＝Ｚｆの位置のレイヤー画像データを求める。
ここで、３次元被写体１００１および１０１１において、点物体が光学系の光軸上に存在し、光軸を通る視点から見た視点画像データ（全焦点画像データ）が以下の式で表されるとする。

ただし、関数δはディラックのデルタ関数である。ａは点物体の強度（画素値）であり、ｂは背景の強度である。

以下、数１６を用いて、３次元被写体１００１および１０１１を撮影したときの、Ｚスタック画像データのＺ＝Ｚｆの位置のレイヤー画像データを求める。

（３次元被写体１００１のＺ＝Ｚｆにおけるレイヤー画像データ）
物体の厚みが無視できるとすると、数１６の視点画像データａ_ｓ，ｔ（Ｘ，Ｙ，Ｚｆ）は視点の位置（ｓ，ｔ）にかかわらず、Ｉ（Ｘ，Ｙ，Ｚｆ）で表せる。従って、数１９を数１６に代入し、変形すると以下の式で表されるレイヤー画像データが得られる。

（３次元被写体１０１１のＺ＝Ｚｆにおけるレイヤー画像データ）
同様に、物体の厚みが無視できるとすると、数１６の視点画像データａ_ｓ，ｔ（Ｘ，Ｙ，Ｚｆ）はＩ（Ｘ，Ｙ，Ｚｆ）の平行移動で表せる。従って、視点（ｓ，ｔ）と被写体と焦点位置の距離ｄＺに応じて数１９を平行移動した上で数１６に代入し、数１７、数１８を用いて変形すると以下の式となる。

Ｚスタック画像データｇ（Ｘ，Ｙ，Ｚｆ）には被写体と焦点位置のずれｄＺによる焦点ぼけが含まれることがわかる。

図１１（ｄ）および図１１（ｈ）の焦点ぼけ画像データ（レイヤー画像データ）１１０３、１１１３は、レンズ面上に設定した多数の視点に対応する複数の視点画像データから求めた、Ｚ＝Ｚｆにおけるレイヤー画像データの模式図である。レイヤー画像データ１１０３は数２０に対応する画像データを表し、１１１３は数２１に対応する画像データを表している。
レイヤー画像データ１１０３では、物体の像の位置がシフトしていない視点画像データに視点重み関数を掛け算し、視点数分だけ統合されるため、ぼけの無い像が得られる。一方、レイヤー画像データ１１１３では、物体の像の位置がシフトした視点画像データに視点重み関数を掛け算し、視点数分だけ統合されるため、光学系のぼけを含んだ像が得られている。
被写体の焦点位置からのずれｄＺが存在する場合、各々の視点画像データには物体の像の位置のシフトが発生し、物体の周囲との輝度差は（ａ−ｂ）となるため、ｄＺと輝度差（ａ−ｂ）が大きいほど、各視点画像データ間の差が大きくなることが分かる。

（視点画像データを用いた散乱画像データの抽出方法）
続いて、視点画像データを用いた散乱画像データの抽出方法について説明する。
被写体の焦点位置からのずれｄＺが０であるとすると、既に数１０で説明したように、所定の視点（ｓ，ｔ）の視点画像データと、同一の観察角φで偏角θが１８０度異なる視点の視点画像データとの間で減算すると、散乱画像データを抽出することが出来る。
以下、式を用いて説明する。

（偏角θの異なる視点画像データ間の演算）
図７（ａ）に示す座標系において、処理対象の視点Ｐ０の座標を（ｘ，ｙ）＝（ｓ_ｐ，ｔ_ｐ）とすると、１８０度回転した視点Ｐ１の座標は（ｘ，ｙ）＝（−ｓ_ｐ，−ｔ_ｐ）となる。（偏角の回転角が１８０度以外の角度でも散乱画像データの抽出は可能だが、ここでは最も効果の大きな１８０度の回転の場合について説明する。）

視点Ｐ０の視線方向からＺ＝Ｚｆの位置が焦点位置となるように観察した視点画像データをＩ_Ｐ０（Ｘ，Ｙ，Ｚｆ）、偏角回転視点Ｐ１の視線方向からＺ＝Ｚｆの位置が焦点位置となるように観察した視点画像データをＩ_Ｐ１（Ｘ，Ｙ，Ｚｆ）とする。また、視点Ｐ０の視点画像データから求めた散乱画像データである視点散乱画像データをＳ_Ｐ０（Ｘ，Ｙ，Ｚｆ）とする。
その場合、下記の数２２または数２３に示す演算により、標本表面の散乱光の情報を抽出することができる。

数２２において１／２の係数を掛ける理由は、視点Ｐ０および視点Ｐ１のそれぞれに対応する視線方向から観察した場合に大きくなる散乱光が絶対値によって同時に抽出され、倍の強度となるのを防ぐためである。数２３では視点Ｐ１と比較して視点Ｐ０の視点画像データの強度の大きな画素を散乱光が強く発生している画素とみなし、差分が正になる画素の値だけを用いる。

以下、数２２、数２３の演算式により、標本表面の散乱光の情報が抽出できる理由を説明する。既に述べたように、視点を変えたときの視点画像データの透過光の強度変化は少ない一方、標本表面の散乱光による輝度変化は偏角θに従って大きく変化する。従って、視点を変えた視点画像データ間の減算により、画像データ中の透過光成分はキャンセルされ、散乱光成分（散乱光の情報）が抽出できる。透過光成分は完全にキャンセルできなくてもよい。画像データ中の透過光成分の強度が弱められ、相対的に画像データ中の散乱光成分が強調された画像データを得ることができれば、そのような操作も散乱画像データの生成ということができる。

偏角回転角が１８０度である場合、視点Ｐ０の偏角で散乱光が最大となる凹凸方向角を持つ表面凹凸の散乱光は、視点Ｐ１の偏角で最小となる。同様に、視点Ｐ１の偏角で散乱光が最大となる凹凸方向角を持つ表面凹凸の散乱光は視点Ｐ０の偏角で最小となる。
従って、視点Ｐ０の視点画像データと視点Ｐ１の視点画像データの差分Ｄ_１（Ｘ，Ｙ，Ｚｆ）を求めれば、視点Ｐ０およびＰ１の偏角で散乱光が最大となる凹凸方向角を持つ表面凹凸の散乱光の情報を画像データとして抽出できる。

数２２、数２３において、視点散乱画像データＳ_Ｐ０（Ｘ，Ｙ，Ｚｆ）の計算に差分Ｄ_１（Ｘ，Ｙ，Ｚｆ）の絶対値、あるいは正の値を用いる理由は、視点画像データから求めた視点散乱画像データを複数統合する過程で非線型性が必要となるためである。絶対値をとらない場合、様々な視点で視点画像データ間の差を求めた後に、その差分の和を取る操作は、様々な視点の視点画像データの和を取った後に差を取る操作と等しくなる。その場合、視点画像データ同士が互いに打ち消し合って、得られる統合像は実質的に０となる。従って、視点散乱画像データＳ_Ｐ０（Ｘ，Ｙ，Ｚｆ）では前記の打ち消し合いを防ぐため、非線型な関数を用いている。
なお、非線型な関数とは以下の式に示すように、所定の画像データ（視点画像データ）に関数を適用した後で複数加算した結果と、所定の画像データ（視点画像データ）を複数加算した後で関数を適用した結果とが、一致しない性質をもつ関数であるとする。

ただし、Ｎは視点の数、Ｄ（ｉ）は視点ｉにおける視点画像データと偏角回転視点画像データの差分画像データ、Ｓ（）は関数であり、数２２、数２３のＳ_Ｐ０（Ｘ，Ｙ，Ｚｆ）を求める式に対応する。

続いて、様々な視点に対して、数２２、数２３の視点散乱画像データＳ_Ｐ０（Ｘ，Ｙ，Ｚｆ）を積分した画像データ、即ち、散乱画像データＤＳ（Ｘ，Ｙ，Ｚｆ）について考える。散乱画像データＤＳ（Ｘ，Ｙ，Ｚｆ）を求める式は以下で表現される。

ただし、ｋ（ｓ，ｔ）は任意の視点重み関数であるとする。

様々な視点（ｓ，ｔ）に対して数２５の積分を行えば、様々な方向の散乱光成分を集めることができる。
なお、数２２の演算では、視点Ｐ０の視点散乱画像データＩ_Ｐ０（Ｘ，Ｙ，Ｚｆ）と視点Ｐ１の視点散乱画像データＩ_Ｐ１（Ｘ，Ｙ，Ｚｆ）が等しくなる。よって、積分すべき全視点（ｓ，ｔ）のうちの半分の視点について視点散乱画像データを求め、それらの重み付き積分を２倍することで、数２５と同じ結果がえられる。つまり、数２２の場合は積分の計算量が約１／２になるというメリットがある。一方、数２３は散乱光が抽出される位置に観察方向の情報も含むため、観察方向と散乱光強度の関係を把握する場合に有効である。ただし、レンズ面上の可能な範囲で偏角θ、観察角φを変えた多数の視点に対して数２３の演算を行う場合には、数２２、数２３のいずれを用いても結果は同一となる。

（観察角φの異なる視点画像データ間の演算）
既に数１１で説明したように、ある視点（ｓ，ｔ）の視点画像データと、同一の偏角θで観察角φが異なる視点あるいは視点（０，０）の視点画像データとの間の減算によっても散乱画像データを抽出することができる。
観察角φが異なる視点画像データの間でも、視点Ｐ０から観察角変更視点Ｐ１を求め、数２２または数２３に示す演算を行った後、数２５を実行することで散乱画像データが生成できる。しかし、観察角φを変更する場合、別の演算でも散乱画像データを生成するこ
とができる。以下に説明する。

図７（ａ）に示す座標系において、処理対象の視点Ｐ０の座標を（ｘ，ｙ）＝（ｓ_ｐ，ｔ_ｐ）とすると、観察角φが０となる視点Ｐ１の座標は（ｘ，ｙ）＝（０，０）となる。（観察角を変更した角度は０度以外でも散乱画像データの抽出は可能だが、ここでは最も効果の大きな観察角が０度となる視点Ｐ１を用いる場合について説明する。）
視点Ｐ０と視点Ｐ１が前記の関係にあるとき、下記の式で散乱光が抽出できる。Ｓ_Ｐ０（Ｘ，Ｙ，Ｚｆ）は視点Ｐ０の視点散乱画像データである。

偏角θを回転する場合とは異なり、必ずしも非線型な演算を用いる必要はない。なぜなら、視点Ｐ０と視点Ｐ１の観察角φが異なる場合には、偏角θが異なる視点（すなわち、図７（ａ）で動径ｒ_ｐが等しくなる視点）で積分を計算した結果は等しくならないため、数２６の計算で０になることはないためである。

視点Ｐ０の動径ｒをｒ１、視点Ｐ１の動径ｒをｒ２とすると、それぞれ偏角θだけを変えた積分を実行して得られる散乱画像データは以下の式で表わされる。

動径がｒとなる視点位置の積分は、動径がｒの視点にのみ値を持つ視点重み関数で表現できる。そのため、数２７を変形すると以下の式で変形できる。

ただし、ｋ_ｅｘ（ｓ，ｔ）は以下となる。

なお、視点重み関数ｋ_ａ１（ｓ，ｔ）、ｋ_ａ２（ｓ，ｔ）の全視点に対する積分はそれぞれ１となることから、ｋ_ｅｘ（ｓ，ｔ）の全視点に対する積分は０となる。

既に数１１で述べたように、差分で散乱光の情報を抽出するためには、Ｉ_Ｐ０（Ｘ，Ｙ，Ｚｆ）の観察角φがＩ_Ｐ１（Ｘ，Ｙ，Ｚｆ）の観察角φよりも大きい必要がある。
従って、一般化すると、散乱光の情報を抽出するためのｋ_ｅｘ（ｓ，ｔ）の条件は、所定の動径ｒ_ｔｈを閾値として、ｒ_ｔｈよりも大きな動径を持つ領域（すなわち観察角φが大きな領域）では正の値を持ち、ｒ_ｔｈ以下の領域では負の値を持つこととなる。ここで閾値ｒ_ｔｈが小さくなるほど生成される散乱画像データの強度は大きくなる。効果的な条件の一例としてｒ_ｔｈ＝０が挙げられる。ｋ_ｅｘ（ｓ，ｔ）の条件を以下の式で表現できる。

ただし、ｒ_ｔｈは、ｒ_ｔｈ≦ｒ_ｍを満たす所定の値とする。ｒ_ｍは、散乱画像データの計算に用いる視点のうちレンズ面上で最も外側の視点、の原点（０，０）からの距離である。
数３０および数３１の条件を満たせば、ｋ_ｅｘ（ｓ，ｔ）は自由に設計できる。

数２８から、散乱画像データはｋ_ａ１（ｓ，ｔ）およびｋ_ａ２（ｓ，ｔ）を用いて生成される異なる焦点ぼけを持つ２つの任意焦点ぼけ画像データの差分で計算できることが分かる。また、数３０および数３１の条件を満たすｋ_ｅｘ（ｓ，ｔ）を用いて生成される任意焦点ぼけ画像データによっても計算できることが分かる。なお、以降、数２９によって計算される視点重み関数、または数３０および数３１の条件を満たす視点重み関数ｋ_ｅｘ（ｓ，ｔ）を、散乱光情報抽出用の視点重み関数と呼ぶこととする。

（散乱画像データ中の散乱光の強調および焦点ぼけの低減）
既に述べたように図１０（ｄ）に示すように被写体が焦点位置から離れた位置にある場合、視点画像データ中の被写体の位置が変化する。そのため、数２５または数２８の計算によって得られる散乱画像データ中にも焦点位置から離れた被写体の焦点ぼけの影響が含まれている。

散乱画像データ中の散乱光を強調しながら、焦点ぼけの影響を低減する方法として、下記に述べる式がある。

ただし、Ｃ_Ｐ０（Ｘ，Ｙ，Ｚｆ）は以下の式で表わされる画像データ、つまり、視点Ｐ０の視点画像データに同じ視点Ｐ０の散乱画像データを加算した画像データである。以降、Ｃ_Ｐ０（Ｘ，Ｙ，Ｚｆ）を視点Ｐ０の散乱光強調画像データと呼ぶ。

なお、数３３のＳ_Ｐ０（Ｘ，Ｙ，Ｚｆ）は数２２または数２３で表される視点散乱画像データである。

数３２は変形すると以下の式で表現できる。

即ち、数３２は散乱光強調画像データの間の差分に相当する。

続いて、図１２を用いて、数３４の散乱光強調画像データの間の差分によって散乱光の強調と焦点ぼけの低減ができる理由を説明する。
図１２の（ａ）の段は、被写体が焦点位置から離れた位置にあり、周囲より輝度値が低い点像である場合の、（１）全焦点画像データ、（２）任意焦点ぼけ画像データ、（２）散乱光抽出画像データ、（４）散乱光強調画像データを示す。また、（ｂ）の段は、被写体が焦点位置から離れた位置にあり、輝度差のあるエッジである場合の、（１）全焦点画像データ、（２）任意焦点ぼけ画像データ、（３）散乱光抽出画像データ、（４）散乱光強調画像データを示す。
なお、散乱光抽出画像データは数２０を用いて計算したものであり、散乱光強調画像データは以下の式で表現する任意焦点ぼけ画像データと散乱光抽出画像データの加算値とする。ただし、図１２においてｂ＞ａ＞０が成立するとする。

図１２の（ａ）の段にある画像データ（全焦点画像データ１２０１、任意焦点ぼけ画像データ１２０２、散乱光抽出画像データ１２０３、散乱光強調画像データ１２０４）を順に数式で表わすと下記のようになる。

ただし、ｈ（Ｘ，ｄＺ）はＸ方向とＺ方向についてのみ考慮した２次元の焦点ぼけとする。

散乱光強調画像データ１２０４では、全焦点画像データ１２０１で高輝度領域（輝度がｂの領域）において焦点ぼけが抑制できることが分かる。

一方、図１２の（ｂ）の段にある画像データ（全焦点画像データ１２１１、任意焦点ぼけ画像データ１２１２、散乱光抽出画像データ１２１３、散乱光強調画像データ１２１４）を順に数式で表わすと下記のようになる。

同様に、散乱光強調画像データ１２１４、全焦点画像データ１２１１で輝度の高い領域（輝度がｂの領域）において焦点ぼけが抑制できるが、輝度の低い領域では焦点ぼけが打ち消せていないことが分かる。しかし、任意焦点ぼけ画像データ１２１２中に存在する散乱光成分と散乱光抽出画像データ１２１３中に存在する散乱光成分は互いに加算されることで、より一層散乱光の情報を強めることが可能となる。なお図１２には透過光成分だけを示しているため、散乱光成分は示されていない。
既に述べたように数３４は、異なる視点重み関数ｋ_ａ１（ｓ，ｔ）、ｋ_ａ２（ｓ，ｔ）を持つ散乱光強調画像データの間の差を表しており、視点重み関数を変えて計算した散乱光強調画像データ間の差分によって散乱光を抽出できることを意味する。従って、数２８と同様、ｋ_ａ１（ｓ，ｔ）の強度が観察角φの大きな位置で相対的に大きく、ｋ_ａ２（ｓ，ｔ）の強度が観察角φの小さな位置で相対的に大きい場合には、散乱光成分が効率よく抽出できることが分かる。

続いて、偏角の変更によって得られる散乱画像データ（数２５）と散乱光を強調した散乱画像データ（数３２）の関係を分析する。数２５の視点重み関数ｋ（ｓ，ｔ）を散乱光情報抽出用の視点重み関数ｋ_ｅｘ（ｓ，ｔ）に変更した以下の式について考える。

ただし、Ｓ_Ｐ０（Ｘ，Ｙ，Ｚｆ）は数２２または数２３で表わされる視点散乱画像データである。

数１０で説明したように観察角φが小さい場合には、数２２または数２３で計算される視点散乱画像データＳ_Ｐ０（Ｘ，Ｙ，Ｚｆ）に含まれる散乱光の情報は小さい。従って、ｋ_ｅｘ（ｓ，ｔ）が小さな観察角φのみで負の強度を持つならば、数２５で計算する散乱光抽出画像データと数４４で計算する散乱光抽出画像データの差は小さい。観察角φが０のときのみ負の強度を持つ場合、数２５と数４４で計算する散乱光抽出画像データの差は０となる。
なお、数３２は、観察角φを変えた散乱光抽出画像データを表す数２８と偏角θを変えた場合の視点散乱画像データを表す数４４の和となっていることが分かる。即ち、数３２は偏角θおよび観察角φの変更によって得られる複合的な散乱光画像抽出データを意味していることが分かる。以上、偏角θと観察角φが異なる視点画像データを用いて散乱画像データが生成できることを述べた。

（病理標本の画像データにおける被写体の焦点ぼけ影響）
次に、病理標本から生成した散乱画像データでの被写体の焦点ぼけの影響について述べる。
図１２（ｂ）の１２１３に示すように、被写体が焦点位置から離れた位置にあり、かつ、被写体に大きな輝度差が存在する場合（例えばエッジ）、散乱光抽出画像データには周囲よりも輝度の低い領域に焦点ぼけの滲みだしたような、散乱光成分とは異なるアーティファクト（焦点ぼけ成分）が発生する。数３２を用いて焦点ぼけの異なる２つの散乱光強調画像データの差分から散乱光抽出画像データを求める場合にも、図１２（ｂ）の１２１４の低輝度領域（Ｘが負の領域）に現れる焦点ぼけが互いに異なるため、その差分には同様の現象が発生する。数２８で焦点ぼけの異なる２つの焦点ぼけ画像データの間の差分を求めた場合でも同様に焦点ぼけの差分が残る。

上記の現象は特に輝度差が大きなエッジの低輝度領域で顕著になる傾向がある。例えば、ＨＥ染色された病理標本の顕微鏡画像では、核や核の内部が濃青で染色され透過率が低く、細胞質の部分は薄いピンクで染色され透過率が高い。
そのため、細胞質の内部では透過率の差が比較的少ない（図１２の場合、ａとｂの輝度差が小さい）ため、焦点ぼけの影響は僅かであり、低輝度領域の焦点ぼけの影響はほとんど問題にはならない。
しかし、核と細胞質の境界では透過率の差が大きい（図１２の場合、ａとｂの輝度差が大きい）ため、被写体の焦点ぼけが低輝度領域（１２１４の場合、Ｘが負の領域）に滲みだし、アーティファクトが観察される場合がある。この現象は散乱光抽出画像データ、散乱光強調画像データの双方で観察される。

以下に述べる実施例では、低輝度領域では散乱光が少なく、高輝度領域では散乱光が多い傾向にある現象に注目することで、低輝度領域に現れる被写体の焦点ぼけの影響を抑え、散乱画像データ中の散乱光の情報をより信頼できるものとする方法を提案する。

［実施例１］
以下、画像データ生成装置１００の具体的な実施例について説明する。
（散乱画像データ生成設定画面）
図１３（ａ）、図１３（ｂ）は実施例１における散乱画像データ生成機能の設定画面の一例である。図２の画像表示アプリケーションで表示画像中の領域２０７をマウスで選択した後、マウスの右クリックで表示される機能拡張メニュー２０８から「散乱画像データ生成」（不図示）の項目を選択する。それに対応して散乱画像データ生成処理前後の画像を示す新規ウィンドウ１３００（図１３（ａ））および散乱画像データ生成機能の設定画面１３０３（図１３（ｂ））が表示される。ウィンドウ１３００の左側領域１３０１には領域２０７内の画像データが表示され、右側領域１３０２には散乱画像データ生成結果の画像データが表示される。

散乱画像データ生成機能の設定を変更する場合には、設定画面１３０３を操作する。ユーザがマウスにより視点設定ボタン１３０４を押下すると、散乱画像データ生成に用いる視線方向（３次元的な観察方向）を決める為の設定画面が表示される。なお、視点の数は１つでも複数でも良い。詳細は後述する。ユーザが散乱画像データ計算設定ボタン１３０５を押下すると、散乱画像データを計算する方法やパラメータを設定する散乱画像データ計算設定画面が表示される。散乱画像データを生成する方法としては既に述べた種々の方式が選択可能であり、詳細は後述する。また必要ならばオプションで散乱画像データに対するノイズ除去パラメータ等の設定を行うことも可能である。詳細は後述する。ユーザが透過光成分抑制設定ボタン１３０６を押下すると、散乱画像データ中の低輝度領域のアーティファクト（焦点ぼけ成分）を抑制するための設定画面が表示される。詳細は後述する。

オーバーレイ表示１３０７はチェックボックスであり、この設定を有効にすると右側領域１３０２には選択領域２０７内の画像データと散乱画像データが重ね合わせて表示される。ユーザが、必要に応じて上記設定を行い、実行ボタン１３０８を押すと、散乱画像データの生成が行われ、処理結果が表示される。詳細は後述する。

１３１０はウィンドウ１３００内で右クリックすることで呼び出し可能な機能拡張メニューである。機能拡張メニュー１３１０の中にはＮ／Ｃ比算出（不図示）等の画像解析の項目が並んでいる。項目を選択すると、画像解析処理の設定画面（不図示）が表示され、ウィンドウ内の選択領域あるいは全体に対して解析処理を実行し、処理結果を表示する。詳細は後述する。

（散乱画像データ生成処理）
図１４（ａ）は前述の実行ボタン１３０８を押下した際に実行される散乱画像データ生成処理のフローを示す。この処理は、画像表示アプリケーションとそこから呼び出される画像データ生成プログラムによって実現されるものである。

Ｚスタック画像データ取得ステップＳ１５０１では、画像表示アプリケーションで表示中の画像の選択領域２０７の座標を元に、メインメモリ３０２または記憶装置１３０に格納されたＺスタック画像データから必要な範囲のデータを取得する。なお、Ｚスタック画像データが他のコンピュータシステム１４０に存在する場合にはネットワークＩ／Ｆ３０４を通じてデータを取得し、メインメモリ３０２に格納する。

続いて、散乱画像データ計算処理ステップＳ１５０２では、被写体に対する視線方向（観察方向）を決める視点の情報に基づき、Ｚスタック画像データから複数の視点に対する視点画像データを生成する。そして、各視点画像データを用いて散乱画像データを生成する。詳細は後述する。

続いて、輪郭抽出処理ステップＳ１５０３では、散乱画像データから輪郭を抽出した輪郭抽出画像データを生成する。なお、ステップＳ１５０３の処理は必須ではなく、不図示の設定に従って適用／不適用が変更できる。詳細は後述する。

画像表示処理ステップＳ１５０４では、輪郭抽出画像データ、視点散乱画像データ、又は散乱画像データ（散乱光強調画像データ又は散乱光抽出画像データ）を画像表示アプリケーションの表示倍率に合わせて拡大／縮小し、右側領域１３０２に表示する。オーバーレイ表示１３０７が有効である場合、選択領域２０７内の画像データに輪郭抽出画像データ、視点散乱画像データ、あるいは散乱画像データを重ね合わせて表示する。この際、選択領域２０７内の画像データに対し、対応する位置の視点散乱画像データあるいは散乱画
像データを合成（加算や減算など）した画像を右側領域１３０２に表示しても良い。またさらに合成した画像データを、選択領域２０７内の画像データと明るさが近くなるように諧調補正した画像データを右側領域１３０２に表示しても良い。複数の視点散乱画像データを一定の時間間隔で切り替えるアニメーション表示を行ってもよい。このとき、輪郭抽出画像データ、視点散乱画像データ、あるいは散乱画像データはチャネル（ＲＧＢ）毎に色を付けて表示しても良いし、標本の色と重ならない別の色に変更しても良い。ここで表示に用いられる画像データ（輪郭抽出画像データ、視点散乱画像データ、散乱画像データ、又は、それらを元画像データに合成した画像データ）は、いずれも画像観察や画像診断（自動診断を含む）に適した観察用画像データである。

（散乱画像データ計算処理ステップＳ１５０２）
次に、実行ボタン１３０８を押下して実行される散乱画像データ生成処理のメインの処理にあたる散乱画像データ計算処理ステップＳ１５０２の内部処理について説明する。
図１４（ｂ）は本実施例の散乱画像データ計算処理ステップＳ１５０２の内部処理を表すフローチャートであり、図１４（ｃ）は散乱画像データ計算処理の機能を実現するブロック図である。図１４（ｃ）の透過光成分抑制マスク生成部１７０１、散乱光抽出画像データ生成部１７０２、透過光成分抑制処理部１７０３は、それぞれ図１４（ｂ）のステップＳ１６０１、Ｓ１６０２、Ｓ１６０３の機能を実現するブロックである。

以下、図１４（ｂ）および図１４（ｃ）を用いて、散乱画像データの生成方法を説明する。
まず、透過光成分抑制マスク生成ステップＳ１６０１では、透過光成分抑制マスク生成部１７０１が、入力されるＺスタック画像データを用いて、透過光成分抑制マスクを生成し、後段の透過光成分抑制処理部１７０３に出力する。
透過光成分抑制マスクは焦点位置Ｚ＝Ｚｆの画像データと同じＸＹ方向のサイズを持ち、各画素に係数が割り当てられたマスクデータである。詳細は後述する。
続いて、散乱光抽出画像データ生成ステップＳ１６０２では、散乱光抽出画像データ生成部１７０２が、入力されるＺスタック画像データを用いて、散乱光抽出画像データを生成し、後段の透過光成分抑制処理部１７０３に出力する。詳細は後述する。
最後に、透過光成分抑制処理ステップＳ１６０３では、透過光成分抑制処理部１７０３が、透過光成分抑制マスクと散乱光抽出画像データを用いて、透過光成分が抑制された補正散乱光抽出画像データを生成する。詳細は後述する。

（透過光成分抑制マスク生成ステップＳ１６０１）
続いて、透過光成分抑制マスク生成ステップＳ１６０１の内部処理について説明する。図１５（ａ）はステップＳ１６０１の内部処理を示すフローチャートである。
透過光成分抑制マスク生成ステップＳ１６０１では、透過光成分抑制設定（１４０３）に基づき、透過光成分抑制マスクを生成する。設定も交えながら処理を説明する。
図１３（ｅ）の透過光成分抑制設定画面１４０３は、透過光成分抑制設定ボタン１３０６の押下時に表示される設定画面の一例である。ここでは前述の低輝度領域における被写体の焦点ぼけ成分を抑制するための情報を設定する。
設定画面１４０３では、透過光成分の抑制方法を指定する「方式」と透過光成分抑制マスクの生成時に参照する参照画像データを指定する「参照画像」、参照画像データに対して適用する諧調補正の種類を選ぶ「補正特性」がドロップダウンリストで選択できる。
ステップＳ１６０１ではこれらの設定情報に基づき、透過光成分抑制マスクを生成する。

まず参照画像データ生成ステップＳ１８０１では、入力されるＺスタック画像データから、透過光成分抑制マスク生成用の参照画像データを生成する。参照画像データとしては、元画像データであるＺスタック画像データの輝度特徴を表す画像データであれば、いろ
いろな種類又は特性の画像データを利用できる。設定画面１４０３の「参照画像」において所望の参照画像データの種類又は特性を設定できる。典型的には、Ｚスタック画像データから生成される、光軸を通る視点から見た視点画像データ、即ち全焦点画像データを参照画像データとして用いるとよい。あるいは、Ｚスタック画像データから生成される任意焦点ぼけ画像データ（つまり、元のレイヤー画像データとは異なる焦点ぼけをもつ画像データ）でもよい。例えば、元のレイヤー画像データよりも被写界深度を拡大した画像データなどを用いるとよい。あるいは、Ｚスタック画像データの中から選ばれたいずれかのレイヤー画像データを参照画像データとしてもよい。また、両側テレセントリックな光学系を持つ顕微鏡で取得したＺスタック画像データの場合、全焦点画像データにセンサの固定パターンノイズが表れやすい。そのような場合には、全焦点画像データに対しメディアンフィルタ等のノイズ低減処理を行っても良い。また、全焦点画像データは、Ｚスタック画像データ内の複数のＺ位置のレイヤー画像データの各々からＸＹ方向のコントラストの高い領域を抽出し、それらを合成することで生成しても良い。なお、任意視点画像データや任意焦点ぼけ画像データの生成方法については既に述べているため、説明は省略する。

次に輝度変換ステップＳ１８０２では、ステップ１８０１で生成した全焦点画像データを輝度に変換し、マスク参照用の参照画像データを生成する。なお、ステップＳ１８０１とステップＳ１８０２の順序を入れ替え、Ｚスタック画像データに対し先に輝度変換を実行してから、全焦点画像データを生成しても良い。ここで輝度の変換処理について述べる。Ｚスタック画像データがモノクロ画像データである場合には輝度値は画素値そのままとする。Ｚスタック画像データがＲＧＢカラー画像である場合には、輝度値（Ｙ）は各色の画素値（それぞれＲ，Ｇ，Ｂ）から数式によって求める。例えば、アナログテレビ放送で用いられるＮＴＳＣ信号の場合、ＲＧＢ値から輝度値（Ｙ）への変換式は、
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
となる。なお、ＲＧＢ値から輝度値への変換式は信号を表現する色空間（ｓＲＧＢやＡｄｏｂｅＲＧＢ等）によって異なるため、それぞれの色空間に対応した変換式を用いると良い。

次に諧調補正ステップＳ１８０３では、参照画像データに対して諧調補正を行う。ここでは設定画面１４０３の「補正特性」で設定された諧調補正が適用される。諧調補正の例としては「トーンカーブを用いた補正」や「２値化」や「適応的２値化」などがある。２値化は所定（固定）の閾値による２値化であり、適応的２値化は画像データの輝度分布に応じて動的に適切な閾値を選ぶ２値化である。２値化の閾値はユーザが直接設定しても良い。ＨＥ染色された病理標本に適用する場合、核と細胞質の領域を分離できる閾値を設定することが好ましい。色成分を用いて核と細胞質の領域を識別する閾値を決定する場合には、ステップＳ１８０２で輝度変換を行わず、ステップＳ１８０３ではＲやＢなどの特定の色成分を入力しても良い。２値化では閾値よりも輝度の高い領域は最大輝度（２５５）に、輝度の低い領域は最低輝度（０）に設定する。なお、諧調補正ステップＳ１８０３は必須の処理ではない（設定画面１４０３で「諧調補正なし」が選択された場合、ステップＳ１８０３はスキップされる）。

最後にマスク係数算出処理ステップＳ１８０４では、諧調補正した参照画像データから以下の式を用いて透過光成分抑制マスクＭ（Ｘ，Ｙ，Ｚｆ）を生成する。

なお、Ｉ_ｒｅｆ（Ｘ，Ｙ，Ｚｆ）は参照画像データを表し、Ｉ_ｍａｘは最大輝度値（８ビット画像データの場合は２５５）を表す。すなわち、透過光成分抑制マスクは、参照画像データ（又は諧調補正した参照画像データ）の各画素の輝度値を最大輝度値で正規化した画像データである。

図１５（ｂ）は参照画像データの入力輝度（横軸）に対する透過光成分抑制マスクの出力係数（縦軸）の関係を表すグラフである。１９０１は諧調補正なしの場合、１９０２はトーンカーブで諧調補正した場合、１９０３は２値化処理を施した場合の関係を示す。いずれも透過光成分抑制マスクの各画素の係数は０〜１の値域を持ち、低輝度領域では低い係数を持ち、高輝度領域では高い係数を持つ。すなわち、透過光成分抑制マスクの各画素の係数の値は、参照画像データの各画素の輝度と正の相関をもつように設定されている。
図１５（ｂ）に示すような透過光成分抑制マスクを用いることで、ステップＳ１６０２で生成する散乱光抽出画像データの低輝度領域における被写体の焦点ぼけ成分を抑制することが可能となる。詳細は後述する。

（散乱光抽出画像データ生成ステップＳ１６０２）
図１６（ａ）は散乱光抽出画像データ生成ステップＳ１６０２の内部処理を表すフローチャートである。
まず散乱光抽出画像データ生成方式決定処理ステップＳ２００１では、設定画面１４０２で選択した「方式」に基づき、散乱光抽出画像データ生成方式を決定する。前述のように方式が異なると後段の散乱画像データ生成実行処理ステップＳ２００２での計算方法が異なる。なお、設定画面１４０２では方式として「偏角変更」、「観察角変更」、「複合変更」などが選べる。続いて、散乱画像データ生成実行処理ステップＳ２００２では、設定画面１４０１および１４０２で設定されたパラメータに基づいて散乱画像データを生成する。

（散乱画像データ生成実行処理ステップＳ２００２：偏角変更又は複合変更）
図１６（ｂ）は設定画面１４０２で「方式」として「偏角変更」あるいは「複合変更」を選択した場合の散乱画像データ生成実行処理ステップＳ２００２の内部処理を示すフローチャートである。「偏角変更」を選択した場合には数４４に相当する演算を行い、「複合変更」を選択した場合には数３２に相当する演算を行う。
まず、視点取得処理ステップＳ２１０１では、後段のステップＳ２１０２において視点画像データの生成に必要な視点の位置情報を取得する。ステップＳ２１０１では予め定められた視点の位置情報を、メインメモリ３０２や記憶装置１３０、他のコンピュータシステム１４０から取得しても良い。またステップＳ２１０１では画像表示アプリケーション上で設定した情報に基づき視点の位置情報を計算して求めても良い。詳細は後述する。

続いて、視点画像データ生成ステップＳ２１０２では、選択領域２０７のＺスタック画像データを元に、ステップＳ２１０１で求めた視点に対応する視点画像データを生成する。画像データ生成装置１００（ＣＰＵ３０１）が実行するこの機能を視点画像データ生成手段とよぶ。なお、Ｚスタック画像データから任意の視点画像データを生成する手法（ＭＦＩ任意視点／焦点ぼけ画像生成法）には、前述の特許文献１、非特許文献２、３、４等の方法をはじめとして、如何なる方法を用いてもよい。

続いて、視点散乱画像データ生成処理ステップＳ２１０３では、生成した視点画像データに対し、散乱画像データ計算設定（１３０５）に基づき、散乱画像データ生成処理を行う。視点が複数存在する場合は、視点数分の視点散乱画像データ生成処理を実行する。続いて、視点散乱画像データ統合処理ステップＳ２１０４では、散乱画像データ計算設定（１３０５）に基づき、ステップＳ２１０３で生成した複数の視点散乱画像データを統合し、散乱画像データを生成する。画像生成装置１００（ＣＰＵ３０１）が実行するステップＳ２１０３−Ｓ２１０４の機能を散乱画像データ生成手段（特徴画像データ生成手段）とよぶ。ただし、被写体の散乱光を抽出する場合には散乱光抽出画像データ生成手段、被写体の散乱光を強調する場合には散乱光強調画像データ生成手段とよび、両者を区別しても良い。詳細は後述する。

以下、視点取得処理ステップＳ２１０１、視点散乱画像データ生成処理ステップＳ２１０３、視点散乱画像データ統合処理ステップＳ２１０４の詳細を説明する。

（視点取得処理ステップＳ２１０１）
以下、視点設定（１３０４）に基づき、視点取得処理ステップＳ２１０１で視点の位置情報を計算する処理について説明する。
図１３（ｃ）の視点設定画面１４０１は、図１３（ｂ）の視点設定ボタン１３０４の押下時に表示される設定画面の一例である。ここでは散乱画像データの生成に用いる視点画像データの視点位置を設定する。
視点設定画面１４０１では視点の設定方法として「直接設定」と「メッシュ設定」の２つが選択できる。直接設定では、視点数と視点の位置（ｓ，ｔ）をユーザに直接指定させる。一方、メッシュ設定では、外径、内径（中心遮蔽）、離散化ステップをユーザに指定させ、これらの指定値から各視点の位置を計算する。

「外径」には、計算する視点の最大のズレ量（光軸とレンズ面が交わる位置を原点とした場合の視点の原点からの距離）を指定し、「内径（中心遮蔽）」には、計算する視点の最小のズレ量（つまり計算しない視点の最大のズレ量）を指定する。ここでは、レンズ面上の原点を中心とする距離（半径）によって、外径および内径（中心遮蔽）の値を設定する。なお、外径にはレンズ面上での光学系の半径ｒ_ｍを越える値は設定できない。「離散化ステップ」は、「外径」で規定される円から「内径」で規定される円を除いたドーナツ状の領域内に、視点画像データを生成する視点の位置を離散的に設定するための刻み間隔である。離散化ステップが細かい程、計算する視点数は増加する。

なお上述の円以外にも様々な形状の設定が可能である。例えば、半径の異なる複数の同心円や中心から放射線上に伸びる直線が設定できる。同心円設定の場合、各々の円の半径、各々の円上の視点の密度を決める離散化ステップ（例えば、角度間隔の設定）が設定できる。また中心から放射線上に伸びる直線の場合、線の間隔（例えば、角度間隔の設定）や放射線上の視点の密度を決める離散化ステップが設定できる。

（視点散乱画像データ生成処理ステップＳ２１０３）
図１３（ｄ）の散乱画像データ計算設定画面１４０２は、図１３（ｂ）の散乱画像データ計算設定ボタン１３０５押下時に表示する設定画面の一例である。ここでは、散乱光強調画像データまたは散乱光抽出画像データの生成の種別、その計算方式や視点重み関数などのパラメータを設定する。
設定画面１４０２の「種別」では、ユーザの使用目的に応じて「種別」の下にあるグループボックスから「散乱光強調画像」または「散乱光抽出画像」のいずれかを選択する。
「方式」の下のドロップダウンリストからは視点散乱画像データ生成処理ステップＳ２１０３で用いる散乱画像データの計算方法が選択できる。前述のように本実施例では「偏角変更」、「観察角変更」、「複合変更」の中から計算方法が選択できる。

「視点重み関数１」および「視点重み関数２」の下にあるドロップダウンリストからは、視点散乱画像データ統合処理ステップＳ２１０４で用いる視点重み関数を選択することができる。ドロップダウンリストには、ガウス関数で表わされるガウスぼけや円柱形で表わされる円柱ぼけ等の焦点ぼけの形状とその半径が組み合わされたパラメータ設定が複数表示され、ユーザはその中から選ぶことができる。なお、視点散乱画像データ生成処理ステップＳ２１０３では「視点重み関数１」と「視点重み関数２」のドロップダウンリストで選択した視点重み関数を用いて、散乱光情報抽出用の視点重み関数を生成する。（「視点重み関数１」は数２９のｋ_ａ１（ｓ，ｔ）に対応し、「視点重み関数２」は数２９のｋ_ａ２（ｓ，ｔ）に対応する。そのため、散乱光情報抽出用の視点重み関数ｋ_ｅｘ（ｓ，ｔ
）は両者の差分で計算できる。）

また、視点散乱画像データ計算設定画面１４０２ではノイズ除去設定が可能である。ノイズ除去設定としては、閾値による２値化や、メディアンフィルタ、エッジを保ったノイズ除去が可能なバイラテラルフィルタなどが適用できる。この処理により明瞭なコントラストを持つ散乱画像データを生成し、よりＮ／Ｃ比を検出しやすくすることができる。

（設定できる視点重み関数の例）
図２５（ａ）および図２５（ｃ）は視点重み関数の例、図２５（ｃ）は散乱光情報抽出用の視点重み関数の例を示す模式図である。図２５（ａ）は円柱形で表される視点重み関数、図２５（ｂ）はガウス関数で表される視点重み関数である。ｒ_ｍは任意焦点ぼけ画像の生成に用いる視点のうち、レンズ面上で最も外側の視点の原点（０，０）からの距離を表す。
図２５（ａ）の視点重み関数ｋ_ａ（ｓ，ｔ）は以下の式で表現できる。

また、図２５（ｂ）の視点重み関数ｋ_ａ（ｓ，ｔ）は以下の式で表現できる。

σはガウス関数の標準偏差を表す。σによりぼけの広がりを制御できる。
数４６および数４７に示すｋ_ａ（ｓ，ｔ）の積分は１であり、数１８の条件を満たす。

撮像光学系の３次元焦点ぼけは、波動光学的なぼけや各種収差の影響により、厳密に視点重み関数で表現できる訳ではないが、数４７に示すガウス関数の視点重み関数により比較的良く近似できる。図２５（ｃ）の視点重み関数は、図２５（ａ）の視点重み関数から図２５（ｂ）の視点重み関数を減算したものであり、数３０および数３１の条件を満たしている。即ち、図２５（ｃ）の視点重み関数は、すべての視点の積分は０となるとともに、視点の動径ｒが所定の閾値ｒ_ｔｈ以下の領域の積分は負となり、所定の閾値ｒ_ｔｈより大きな領域の積分は正となっている。

次に、視点散乱画像データ生成処理ステップＳ２１０３における視点散乱画像データの生成方法を説明する。
既に数１０で説明したように、所定の視点（ｓ，ｔ）の視点画像データと、同一の観察角φで偏角θが１８０度異なる視点の視点画像データとの間で減算すると、標本の透過率の違いによる濃淡の情報は打ち消され、効率的に散乱画像データを生成できる。

図１６（ｃ）は本実施例における視点散乱画像データ生成処理Ｓ２１０３の内部処理を示すフローチャートである。以下、図１６（ｃ）を用いて視点毎の散乱画像データの生成方法を説明する。
まず偏角回転視点算出ステップＳ２３０１では、処理対象の視点に対し、偏角θが所定の角度だけ回転した位置にある、偏角回転視点を算出する。なお、回転角度としては１８０度が最も好ましいため、以降は１８０度の場合について説明する。
図７（ａ）に示す座標系において、処理対象の視点Ｐ０の座標を（ｘ，ｙ）＝（ｓ_ｐ，ｔ_ｐ）とすると、１８０度回転した偏角回転視点Ｐ１の座標は（ｘ，ｙ）＝（−ｓ_ｐ，−ｔ_ｐ）となる。

次に、偏角回転視点画像データ生成ステップＳ２３０２ではステップＳ２３０１で計算した偏角回転視点Ｐ１から観察した視点画像データを生成する。視点画像データの生成方法は視点画像データ生成ステップＳ２１０２で既に説明したため、省略する。なお、視点画像データ生成ステップＳ２１０２で既に、偏角回転視点Ｐ１の視点画像データを計算済みの場合には、改めて計算せずに、画像データ生成装置１００の記憶装置１３０やメインメモリ３０３に存在するデータを読み出して利用する。
次に視点散乱画像データ生成演算ステップＳ２３０３では、処理対象の視点Ｐ０の視点画像データＩ_Ｐ０（Ｘ，Ｙ，Ｚｆ）と偏角回転視点Ｐ１の視点画像データＩ_Ｐ１（Ｘ，Ｙ，Ｚｆ）とから、視点散乱画像データを生成し、出力する。具体的には、設定画面１４０２で方式として「偏角変更」が選択された場合は数２２または数２３に示す演算が行われ、「複合変更」が選択された場合は数３３の演算が行われる。

（視点散乱画像データ統合処理ステップＳ２１０４）
視点散乱画像データ統合処理ステップＳ２１０４では、複数の視点散乱画像データを統合し、散乱画像データ（散乱光強調画像データあるいは散乱光抽出画像データ）を生成する。
具体的には、設定画面１４０２で方式として「偏角変更」が選択された場合には数４４の演算が行われ、「複合変更」が選択された場合には数３２の演算が行われる。
このとき、数４４、数３２のｋ_ｅｘ（ｓ，ｔ）は、設定画面１４０２の「視点重み関数１」および「視点重み関数２」で設定されたパラメータからｋ_ａ１（ｓ，ｔ）、ｋ_ａ２（ｓ，ｔ）を計算した後、数２９を用いて計算する。

なお、図１６（ｂ）のフローチャートでは、視点ループの処理に入る前に散乱画像データの格納用バッファを０で初期化し、ステップＳ２１０３で数４４または数３２の積分内の演算を実行し、その結果を散乱画像データの格納用バッファに加算しても良い。その場合には、ステップＳ２１０４の演算は不要となる。
また、数４４の代わりに数２５を用い、散乱光情報抽出用の視点重み関数ｋ_ｅｘ（ｓ，ｔ）の代わりに任意の視点重み関数ｋ（ｓ，ｔ）を用いて散乱光抽出画像データを生成することも可能であり、本発明の範疇とする。
また、視点散乱画像データ統合処理ステップＳ２１０４では、視点散乱画像データ生成処理ステップＳ２１０３同様に散乱画像データに含まれるノイズを除去する処理を行っても良い。その場合、散乱画像データ計算設定画面１４０２でノイズ除去設定を行う。生成した散乱画像データの０未満の数値は０とする。０未満の領域には散乱光成分はほとんどなく、焦点ぼけ成分が多いためである（この処理もノイズ除去の効果がある）。

（散乱画像データ生成実行処理ステップＳ２００２：観察角変更）
図１６（ｄ）は設定画面１４０２で「方式」として「観察角変更」を選択した場合の散乱画像データ生成実行処理ステップＳ２００２の内部処理を示すフローチャートである。
視点取得処理ステップＳ２２０１の処理は図１６（ｂ）のステップＳ２１０１と同一であるため説明は省略する。
次に視点画像データ生成ステップＳ２２０２では、Ｚスタック画像データを元に、ステップＳ２２０１で求めた視点に対応する視点画像データを生成する。画像データ生成装置１００（ＣＰＵ３０１）が実行するこの機能を視点画像データ生成手段とよぶ。Ｚスタック画像データから任意の視点画像データを生成する手法（ＭＦＩ任意視点／焦点ぼけ画像生成法）には、前述の特許文献１、非特許文献２、３、４等の方法をはじめとして、如何なる方法を用いてもよい。

ステップＳ２２０１で求めた全ての視点に対してステップＳ２２０２の処理を終えたら、視点画像データ統合処理ステップＳ２２０３に進む。
視点画像データ統合処理では、設定画面１４０２で選択した「視点重み関数１」と「視点重み関数２」に基づき、数２９を用いて計算した散乱光情報抽出用の視点重み関数を用いてステップＳ２２０２で求めた視点画像データを統合する。視点画像データの統合においては数２８に相当する計算を行う。これにより、散乱画像データが得られる。
視点画像データ統合処理ステップＳ２２０３においても、図１６（ｂ）のステップＳ２１０４と同様に設定画面１４０２のノイズ除去設定に従って、ノイズ除去を行っても良い。また生成した散乱画像データの０未満の数値は０とする。

（透過光成分抑制処理ステップＳ１６０３）
続いて、図１４（ｂ）の透過光成分抑制処理ステップＳ１６０３の処理について説明する。
ステップＳ１６０３では、ステップＳ１６０２で生成した散乱画像データの中に含まれるアーティファクト（焦点ぼけ成分）を抑制する処理を行う。前述のように、ここで問題とするアーティファクトは、散乱画像データ（特徴画像データ）のうち、Ｚスタック画像データ（撮影して得られた元画像データ）において低輝度な領域に顕著に現れる。そこで本実施例では、散乱画像データのうち少なくとも元画像データにおける低輝度領域に対応する画素に対して、輝度を低下させる補正処理を行う、という操作により、上記アーティファクトを低減する。輝度補正後の散乱画像データ（特徴画像データ）を補正画像データと呼ぶ。図１７（ａ）はステップＳ１６０３の内部処理を表すフローチャートである。設定も交えながら処理を説明する。
まず、抑制方式決定処理ステップＳ２４０１では、図１３（ｅ）の透過光成分抑制設定画面１４０３の「方式」で選択した透過光成分抑制処理の方式（例えば「掛け算」など）に基づき、後段のステップＳ２４０２で実行する方式を決定する。
次に、抑制実行処理ステップＳ２４０２では、ステップＳ２４０１で決定した方式に基づき、散乱光抽出画像データ内のアーティファクト（焦点ぼけ成分）を抑制する。

本実施例の透過光成分抑制処理部１７０３では、設定画面１４０３で選択された「方式」である「掛け算」に基づき、透過光成分抑制マスクＭ（Ｘ，Ｙ，Ｚｆ）と散乱光抽出画像データＤＳ（Ｘ，Ｙ，Ｚｆ）の間で掛け算を実行する。これにより、低輝度領域のアーティファクト（焦点ぼけ成分）を抑制した補正散乱光抽出画像データ（補正画像データ）ＭＤＳ（Ｘ，Ｙ，Ｚｆ）を生成する。透過光成分抑制マスクＭ（Ｘ，Ｙ，Ｚｆ）と散乱光抽出画像データＤＳ（Ｘ，Ｙ，Ｚｆ）の間の掛け算とは、散乱光抽出画像データの各画素の画素値に対し、透過光成分抑制マスクの対応画素の係数を乗じる操作である。式では下記で表わされる。

図１７（ｂ）は方式として「掛け算」を選択した場合の、抑制実行処理ステップＳ２４０２内の処理および効果を示す１次元の模式図である。図１７（ｂ）を用いて詳細を説明する。
図１７（ｂ）の２５０１は、輝度差の大きなエッジを持つ、焦点位置から離れた位置に存在する被写体の参照画像データを表し、２５０２は透過光成分抑制マスク生成部１７０１で計算した透過光成分抑制マスクＭ（Ｘ，Ｙ，Ｚｆ）を表す。マスク２５０２では低輝度領域（Ｘが負の領域）での係数は小さくなっている。マスク２５０２の係数は０〜１の値をもつ。なお、参照画像データ２５０１としては、前述のとおり、全焦点画像データや、任意の焦点ぼけを持つ任意焦点ぼけ画像データなどを用いることができる。

２５０３は散乱光抽出画像データ生成部１７０２で計算した散乱光抽出画像データＤＳ（Ｘ，Ｙ，Ｚｆ）を表す。エッジの低輝度領域（Ｘが負の領域）ではアーティファクト（
焦点ぼけ成分）が発生している。なお、２５０３には散乱光成分も同時に含まれているが、図には表示していない。
２５０４は数４８の演算結果である。透過光成分抑制マスク２５０２は低輝度領域（Ｘが負の領域）の係数は、高輝度領域（Ｘが正の領域）の係数よりも相対的に小さい値になっている。そのため、散乱光抽出画像データ２５０３に係数を掛けた結果の画像データ２５０４では、低輝度領域（Ｘが負の領域）のアーティファクト（焦点ぼけ成分）が低減されている。

なお、図１３（ｃ）〜図１３（ｅ）に示す設定画面はあくまで一例である。ユーザである病理医が設定に煩わされずに素早く観察・診断できるよう、デフォルトの設定や自動的に最適値が設定される機能を備えることが望ましい。
以上、本実施例における散乱画像データ計算処理（図１４（ａ）のＳ１５０２）について述べた。

（輪郭抽出処理）
続いて輪郭抽出処理（図１４（ａ）のＳ１５０３）の一例について述べる。
散乱画像データでは被写体中の散乱光成分が強調されているものの、ノイズや信号の強弱が存在する。そこで、より輪郭を見やすくするために、輪郭抽出処理を行う。例えば、散乱画像データを２値化し（２値化の閾値は予め決められた値を用いても良いし、動的に決めても良い）、その後、膨張・縮小処理を繰り返すことにより、輪郭を抽出できる。他にも輪郭抽出方法には様々な公知の技術があり、ここではいずれの方法も適用できる。またさらに細線化処理を追加することで輪郭が存在する位置精度を高めることができる。処理の結果、散乱画像データから輪郭抽出像データが得られる。

（画像データの表示・解析）
続いて画像表示処理Ｓ１５０４を経て、画像表示アプリケーション上に視点散乱画像データ、散乱画像データ、あるいは輪郭抽出像データを示すことで、細胞と細胞の間の細胞境界、細胞と類洞の境目などを分かりやすくできる。それによって病理医は患部組織の３次元構造をイメージしやすくなる。
さらに、ウィンドウ１３００内でマウスを右クリックすることにより機能拡張メニュー１３１０を呼び出し、Ｎ／Ｃ比（核／細胞質比）算出等の項目を選択することで、画像解析を行うことが出来る。

図１８はＮ／Ｃ比算出の処理フローの一例である。
Ｎ／Ｃ比算出にあたっては左側領域１３０１内の選択領域２０７の画像データと輪郭抽出像データの２枚の画像データを用いることを前提とする。以下、画像データ中の核の部分を核領域、核を取り巻く細胞質の部分を細胞質領域、核領域と細胞質領域を合わせた全体を細胞領域と呼ぶ。

まず、核領域決定処理ステップＳ２６０１では核領域の決定を行う。例としては以下の方法がある。ＨＥ染色では核内は濃青に染色される為、輪郭抽出像内の該当閉領域内に位置する選択領域２０７内の画素が一定以上の比率で所定の範囲の色域に属すか否かで、核領域か否かを判別できる。判別に用いる比率及び色域は、予め複数のサンプルを用いて学習すれば良い。

続いて、細胞質領域決定処理ステップＳ２６０２では細胞質領域の決定を行う。ＨＥ染色では細胞質はピンク色に染色される。従って、核領域決定処理と同様、輪郭抽出像データ内の該当閉領域内に位置する選択領域２０７内の画素が一定以上の比率で所定の範囲の色域に属すか否かで、細胞領域か否かを判別できる。その後、細胞領域から、ステップＳ２６０１で核領域と見なされた閉領域を除外することにより、細胞質領域を特定する。こ
こでの判別に用いる比率及び色域も、予め複数のサンプルを用いて学習すれば良い。

自動処理では十分な精度が出ない場合には、ユーザが介在（補助）して領域決定を行っても良い。その場合、ステップＳ２６０２の後、ＧＵＩでユーザに輪郭、核領域、細胞領域を修正できる設定画面を表示する。
最後にＮ／Ｃ比算出処理ステップＳ２６０３では、上記で求めた核領域の面積を細胞質領域の面積で割り、Ｎ／Ｃ比を求める。
上記で述べたＮ／Ｃ比算出フローはあくまで一例であり、その他、様々な変形や改良が可能である。

（本実施例の利点）
以上述べたように、本実施例では、低輝度領域では散乱光が少ない性質を利用し、散乱光抽出画像データに被写体から計算したマスクを掛け算することで低輝度領域のアーティファクト（焦点ぼけ成分）を低減させることが可能となる。これにより、病理標本の核などに存在する低輝度領域のアーティファクト（焦点ぼけ成分）の影響を気にすることなく、細胞質や細胞境界での表面凹凸（散乱光）を観察したいというユーザの要望にも応えることができる。
なお、本実施例で述べる手法はいずれも、Ｚスタック画像データから標本の散乱画像データを抽出することができる。そのため、画像処理（コンピュータによる後処理）だけで（つまり、撮影時の光学系や露出条件の変更を行うことなく）、標本を観察する上で有用な細胞膜や細胞境界、細胞と管や腔との境界を明瞭にすることができる。さらに、輝度や色の変化としてほとんど現れない表面凹凸についても、コントラストを高めて可視化することができるという効果もある。
それにより診断に有用な画像の提示、Ｎ／Ｃ比の算出等の診断支援機能が実現できる。

なお、本実施例では実行ボタン１３０８が押されたときに散乱画像データ生成処理を実行するようにしたが、図１３（ｂ）、図１３（ｃ）〜図１３（ｅ）に示す設定パラメータが変更される度に散乱画像データ生成処理を実行するようにしても良い。そうすると、設定パラメータの変更に同期してリアルタイムに処理結果が表示されることとなる。この構成の場合には、図１３（ｂ）、図１３（ｃ）〜図１３（ｅ）に示す設定項目を１つの設定画面内に展開して配置すると良い。このような実装形態も本発明の範疇となる。

［実施例２］
上述した実施例１では、散乱画像データの一例として散乱光抽出画像データに対する処理について述べた。それに対し、実施例２では、散乱光強調画像データの低輝度領域のアーティファクト（焦点ぼけ成分）を抑える方法について述べる。なお、既に述べたが、散乱光強調画像データとは、任意焦点ぼけ画像データに散乱光抽出画像データを加算した画像データである。

（散乱画像データ計算設定画面１４０２）
本実施例では、散乱画像データ計算設定画面１４０２では「種別」の設定として「散乱光強調画像」を選択する。「方式」は実施例１と同様に、「偏角変更」「観察角変更」「複合変更」の中から選択できる。また「視点重み関数１」および「視点重み関数２」としは実施例１と同様、ドロップダウンリストからガウス関数で表わされるガウスぼけや円柱形で表わされる円柱ぼけ等の焦点ぼけの形状とその半径が組み合わされたパラメータ設定が選択できる。なお、視点設定画面１４０１および透過光成分抑制設定画面１４０３に関しては実施例１と同じであるため、説明を省略する。

図１９（ａ）は本実施例における散乱画像データ計算処理ステップＳ１５０２の内部処理を示すフローチャートである。また図１９（ｂ）は散乱画像データ計算処理の機能を実
現するブロック図である。以下、図１９（ａ）、図１９（ｂ）を用いて、散乱画像データ（散乱光強調画像データ）の生成方法を説明する。
本実施例のフローチャート（図１９（ａ））と実施例１のフローチャート（図１４（ｂ））の違いは、散乱光強調画像データ生成処理ステップＳ２７０４が存在する点である。また本実施例の機能ブロック（図１９（ｂ））と実施例１の機能ブロック（図１４（ｃ））の違いは、散乱光強調画像データ生成部２８０４が存在する点である。図１９（ａ）のステップＳ２７０１〜Ｓ２７０３は図１４（ｂ）のステップＳ１６０１〜Ｓ１６０３と同じ処理のため、詳細説明は省略する。また図１９（ｂ）のブロック２８０１〜２８０３は図１４（ｃ）のブロック１７０１〜１７０３と同じ機能を有するため、詳細説明は省略する。以降、散乱光強調画像データ生成処理ステップＳ２７０４および散乱光強調画像データ生成部２８０４について詳しく説明する。

（散乱光強調画像データ生成部２８０４）
図１９（ｂ）の散乱光強調画像データ生成部２８０４の入出力について説明する。散乱光強調画像データ生成部２８０４には、Ｚスタック画像データおよび、設定画面１４０１〜１４０３の情報から計算された補正散乱光抽出画像データＭＤＳ（Ｘ，Ｙ，Ｚｆ）が入力される。補正散乱光抽出画像データＭＤＳ（Ｘ，Ｙ，Ｚｆ）は例えば数４８の演算により得られる。
散乱光強調画像データ生成部２８０４は、散乱光強調画像データ生成処理ステップＳ２７０４の処理を実行する。Ｚスタック画像データと補正散乱光抽出画像データＭＤＳ（Ｘ，Ｙ，Ｚｆ）とから、低輝度領域のアーティファクト（焦点ぼけ成分）を抑制した補正散乱光強調画像データＭＣｏｍｐ（Ｘ，Ｙ，Ｚｆ）が生成され出力される。

図２０は散乱光強調画像データ生成処理ステップＳ２７０４の内部処理を示すフローチャートである。以下、図２０の処理を説明する。
任意焦点ぼけ画像データ生成処理ステップＳ２９０１では、まずＺスタック画像データから任意焦点ぼけ画像データａ（Ｘ，Ｙ，Ｚｆ）を生成する。Ｚスタック画像データからの任意焦点ぼけ画像データａ（Ｘ，Ｙ，Ｚｆ）の生成には前述の特許文献１、非特許文献２、３、４等の方法をはじめとして、如何なる方法を用いてもよい。任意焦点ぼけ画像データには、Ｚスタック画像データを構成するレイヤー画像データと異なる焦点ぼけをもつ画像データと、レイヤー画像データと同じ焦点ぼけをもつ画像データとが含まれる。いずれの画像データも特許文献１、非特許文献２、３、４等の方法で生成できるが、後者の画像データについてはＺスタック画像データの中から選択したいずれかのレイヤー画像データをそのまま用いてもよい。
次に、補正散乱光強調画像データ生成処理ステップＳ２９０２では、ステップＳ２７０３で生成した補正散乱光抽出画像データＭＤＳ（Ｘ，Ｙ，Ｚｆ）を係数αで変倍し、任意焦点ぼけ画像データａ（Ｘ，Ｙ，Ｚｆ）に加算する。これにより、補正散乱光強調画像データＭＣｏｍｐ（Ｘ，Ｙ，Ｚｆ）が生成される。式で表現すると下記となる。

なお、αは散乱光の強調の度合いを決める合成係数であり、正の値を持つ。αの設定は設定画面１４０３でユーザにより変更可能である（不図示）。以降の説明ではα＝１の場合について説明する。

設定画面１４０２の「方式」で「偏角変更」を設定した場合、設定画面１４０２で設定した「視点重み関数１」が任意焦点ぼけ画像データおよび散乱光強調画像データの生成で用いられる。ステップＳ２９０２で生成される補正散乱光強調画像データは以下で表現される。

続いて、図２１（ａ）、図２１（ｂ）を用いて散乱光強調画像データ生成処理ステップＳ２７０４の処理および効果について説明する。
図２１（ａ）は透過光成分抑制処理部２８０３で行う処理を１次元で表した模式図である。図２１（ｂ）は散乱光強調画像データ生成部２８０４で行う処理を１次元で表した模式図である。
図２１（ａ）の３００１は散乱光抽出画像データＤＳ（Ｘ，Ｙ，Ｚｆ）を表し、３００２は透過光成分抑制マスクＭ（Ｘ，Ｙ，Ｚｆ）を表し、３００３は補正散乱光抽出画像データＭＤＳ（Ｘ，Ｙ，Ｚｆ）を表す。既に実施例１で説明したように、補正散乱光抽出画像データＭＤＳ（Ｘ，Ｙ，Ｚｆ）では、エッジの低輝度領域（Ｘが負の領域）のアーティファクト（焦点ぼけ成分）は抑制されている。
図２１（ｂ）の３００４はＺスタック画像データから計算した任意焦点ぼけ画像データａ（Ｘ，Ｙ，Ｚｆ）を表す。任意焦点ぼけ画像データ３００４に補正散乱光抽出画像データ３００３を加算すると、３００５に示す補正散乱光強調画像データＭＣｏｍｐ（Ｘ，Ｙ，Ｚｆ）が生成できる。

補正散乱光強調画像データ３００５では、図１２に示した散乱光強調画像データ１２１４と比べ、低輝度領域（Ｘが負の領域）のアーティファクト（焦点ぼけ成分）が抑制される。一方で、高輝度領域（Ｘが正の領域）では散乱光強調画像データ１２１４と同様に焦点ぼけが抑制される。また散乱光抽出画像データ３００３の高輝度領域には散乱光成分（不図示）が多く含まれるため、補正散乱光強調画像データ３００５では散乱光成分が強調されている。

なお、図１９（ａ）に示すフローチャートではステップＳ２７０２〜Ｓ２７０４のそれぞれで複数視点の積分を実行している。しかし、数５０に示すように、視点毎にステップＳ２７０２〜Ｓ２７０４の計算を行った後に積分を行うことも可能であり、その方法も本発明の範疇とする。
なお、設定画面１４０２の「方式」で「観察角変更」や「複合変更」を設定する場合には、任意焦点ぼけ画像データの生成では設定画面１４０２で設定した「視点重み関数１」を用いる。また、散乱光強調画像データの生成では設定画面１４０２で設定した「視点重み関数１」および「視点重み関数２」の設定情報から計算した散乱光情報抽出用の視点重み関数を用いる。その場合でも補正散乱光抽出画像データＭＤＳ（Ｘ，Ｙ，Ｚｆ）を用いるため、低輝度領域のアーティファクト（焦点ぼけ成分）を抑えつつ、散乱光を強調することができる。

（本実施例の利点）
本実施例の方法によれば、散乱光強調画像データにおいて低輝度領域の焦点ぼけの影響を低減させることが可能となる。これにより、病理標本の核などの低輝度領域におけるアーティファクト（焦点ぼけ成分）の影響を気にすることなく、細胞質や細胞境界における表面凹凸や標本内の散乱光を観察したいというユーザの要望にも応えることができる。

［実施例３］
本実施例では透過光成分抑制マスクＭ（Ｘ，Ｙ，Ｚｆ）の値域を変更することにより、
低輝度領域のアーティファクト（焦点ぼけ成分）をより抑える方法について説明する。

本実施例では図１５（ａ）のステップＳ１８０３において閾値処理を行い、輝度の高い領域は最大輝度（２５５）に、輝度の低い領域は０ではなく負の最大輝度（−２５５）に設定する。それによりステップＳ１８０４では−１〜＋１の値域を持つ透過光成分抑制マスクＭ（Ｘ，Ｙ，Ｚｆ）が生成できる。
このマスクを用いることで、低輝度領域では焦点ぼけをより一層低減することができ、高輝度領域では散乱光を強調することができる。なお、本実施例では散乱画像データ計算設定１４０２の「種別」では「散乱光画像強調」を選択し、「方式」では「観察角変更」を選択する。また透過光成分抑制設定画面１４０３の「方式」において「掛け算」を選択する。

次に上記の透過光成分抑制マスクＭ（Ｘ，Ｙ，Ｚｆ）を用いる場合の効果について説明する。散乱画像データの生成処理の流れは実施例２と同様のため、以降の説明では、図１９（ｂ）のブロック図も参照する。
図２２（ａ）〜図２２（ｄ）はそれぞれ、透過光成分抑制マスク生成部２８０１、散乱光抽出画像データ生成部２８０２、透過光成分抑制処理部２８０３、散乱光強調画像データ生成部２８０４の内部処理を１次元で説明した模式図である。

図２２（ａ）では、輝度差のある被写体のエッジの全焦点画像データ（参照画像データ）３１０１から、−１〜＋１の値域を持つ透過光成分抑制マスク３１０２が生成される。
図２２（ｂ）では、設定画面１４０２で選択した「視点重み関数１」および「視点重み関数２」のパラメータを用いて散乱光情報抽出用の視点重み関数を求め、数２８に相当する処理を実行する。３１１１は「視点重み関数１」で選択したパラメータを設定した場合の任意焦点ぼけ画像データを表す。３１０１は「視点重み関数２」で選択したパラメータから生成される全焦点画像データを表す。３１１２は、任意焦点ぼけ画像データ３１１１と全焦点画像データ３１０１の差をとり、正の値のみを取った散乱光抽出画像データを表す。

図２２（ｃ）は散乱光抽出画像データ３１１２と透過光成分抑制マスク３１０２の掛け算によって低輝度領域で符号が反転した補正散乱光抽出画像データ３１２１が生成される様子を表している。
図２２（ｄ）は、任意焦点ぼけ画像データ３１１１と補正散乱光抽出画像データ３１２１の加算によって、低輝度領域のアーティファクト（焦点ぼけ成分）が抑えられた補正散乱光強調画像データ３１３１が生成される様子を表している。

補正散乱光強調画像データ３１３１では、実施例２の補正散乱光強調画像データ３００５（図２１参照）と比べて、低輝度領域（Ｘが負の領域）のアーティファクトがより一層抑制できている。補正散乱光強調画像データ３１３１の高輝度領域（Ｘが正の領域）では焦点ぼけは低減されてないが、加算によって散乱光成分（不図示）は強調されている。
本実施例の方法をＨＥ染色された病理標本の撮影画像データに適用する場合には、核が存在する低輝度領域ではアーティファクト（焦点ぼけ成分）の影響を抑制することができ、細胞質などが存在する高輝度領域では散乱光を強調することが可能となる。

（本実施例の利点）
本実施例の方法によれば、実施例２に比べて低輝度領域のアーティファクト（焦点ぼけ成分）をより低減させた散乱光強調画像データが生成できる。これにより、病理標本の核などの低輝度領域におけるアーティファクト（焦点ぼけ成分）の影響を気にすることなく、細胞質や細胞境界における表面凹凸や標本内の散乱光を観察したいというユーザの要望にも応えることができる。

［実施例４］
実施例４では、実施例１の設定画面１４０２で方式として「観察角変更」を選択した場合の散乱光抽出画像データ生成ステップＳ１６０２の処理を高速化する手法について述べる。
実施例１の図１６（ｄ）のステップＳ２２０３に示すフローチャートで計算する数２８の演算式は、Ｚスタック画像データから、視点重み関数ｋ_ｅｘ（ｓ，ｔ）に対応する焦点ぼけを持った任意焦点ぼけ画像データを生成する処理とみなすことができる。
非特許文献２に基づく方法では、視点画像データの計算ごとに数１４に示すフーリエ変換上での掛け算と数１５に示すフーリエ逆変換が必要になる。そのため、計算精度を上げるために視点数を増やすと、視点数に比例して計算時間がかかる課題がある。
そのため、視点毎のフーリエ変換、フーリエ逆変換を必要としない、特許文献１あるいは非特許文献３，４の手法を用いることで高速化が可能となる。

（特許文献１の手法による計算）
まず、ＭＦＩ任意視点／焦点ぼけ画像生成法の一つである特許文献１に記載の方法の計算の概要について説明する。
３次元被写体ｆ（Ｘ，Ｙ，Ｚ）、３次元焦点ぼけｈ（Ｘ，Ｙ，Ｚ）、Ｚスタック画像データｇ（Ｘ，Ｙ，Ｚ）の間に数１３の関係が成立するとき、空間上でのコンボリューションは周波数上での積で表わされるため、以下の関係が成立する。（撮像光学系が両側テレセントリックではない場合にはＺスタック画像データに対して座標変換処理が必要になるが、既に述べたため説明は省略する。）

Ｆ（ｕ，ｖ，ｗ）、Ｈ（ｕ，ｖ，ｗ）、Ｇ（ｕ，ｖ，ｗ）はそれぞれ３次元被写体ｆ（Ｘ，Ｙ，Ｚ）、撮像光学系の３次元焦点ぼけｈ（Ｘ，Ｙ，Ｚ）、Ｚスタック画像データｇ（Ｘ，Ｙ，Ｚ）の３次元フーリエ変換を表す。

所望の３次元焦点ぼけｈ_ａ（Ｘ，Ｙ，Ｚ）の３次元フーリエ変換をＨ_ａ（ｕ，ｖ，ｗ）とする。ｈ_ａ（Ｘ，Ｙ，Ｚ）で表わされる焦点ぼけを持つＺスタック画像データｇ_ａ（Ｘ，Ｙ，Ｚ）の３次元フーリエ変換Ｇ_ａ（ｕ，ｖ，ｗ）は以下で求められる。

ただし、Ｃ（ｕ，ｖ，ｗ）は３次元周波数フィルタ（単に「３次元フィルタ」とも呼ぶ）であり、以下で表わされる。

数５２より所望の３次元焦点ぼけｈ_ａ（Ｘ，Ｙ，Ｚ）を持つＺスタック画像データは以下の式で計算できる。

即ち、３次元被写体ｆ（Ｘ，Ｙ，Ｚ）の情報を用いずに、Ｚスタック画像データｇ（Ｘ，Ｙ，Ｚ）と撮像光学系の３次元焦点ぼけｈ（Ｘ，Ｙ，Ｚ）と所望の３次元焦点ぼけｈ_ａ（Ｘ，Ｙ，Ｚ）の情報から、所望の焦点ぼけ画像データを生成できる。
ｇ_ａ（Ｘ，Ｙ，Ｚ）を安定的に求めるためには、数５３で表わされる３次元周波数フィルタが安定である必要があり、３次元焦点ぼけｈ_ａ（Ｘ，Ｙ，Ｚ）は撮像光学系内を通る光束の範囲内の光線によって表現される焦点ぼけである必要がある。

既に数１７で説明したように、撮像光学系の３次元焦点ぼけｈ（Ｘ，Ｙ，Ｚ）は撮像光学系に対応する視点重み関数ｋ（ｓ，ｔ）から生成される。図１０（ｂ）や図１０（ｅ）に示すように理想的な３次元焦点ぼけは焦点位置からの距離が離れるほど拡大される。従って、視点重み関数ｋ（ｓ，ｔ）が関数や画像データで表わされる場合、３次元焦点ぼけｈ（Ｘ，Ｙ，Ｚ）の各Ｚ位置における２次元の焦点ぼけは、関数または画像データを焦点位置からの距離に応じて拡縮することで求められる。

撮像光学系の３次元焦点ぼけｈ（Ｘ，Ｙ，Ｚ）および任意の３次元焦点ぼけｈ_ａ（Ｘ，Ｙ，Ｚ）は被写体の撮影像に依存しないため、予め計算することが可能である。本実施例では「視点重み関数１」および「視点重み関数２」で選択可能な視点重み関数に対応するｈ_ａ１（Ｘ，Ｙ，Ｚ）およびｈ_ａ２（Ｘ，Ｙ，Ｚ）のそれぞれのフーリエ変換であるＨ_ａ１（ｕ，ｖ，ｗ）、Ｈ_ａ２（ｕ，ｖ，ｗ）を事前に計算する。そして、それらのフーリエ変換を、画像データ生成装置１００内の記憶装置１３０やメインメモリ３０２に予め格納しておく。また撮像光学系の３次元焦点ぼけｈ（Ｘ，Ｙ，Ｚ）のフーリエ変換Ｈ（ｕ，ｖ，ｗ）も同様に事前に計算し、記憶装置１３０やメインメモリ３０２に格納しておく。

（特許文献１の方法を用いた散乱光抽出画像データ生成ステップＳ１６０２）
図２３は特許文献１に記載の方式を用いる場合の、散乱光抽出画像データ生成ステップＳ１６０２の内部処理を表すフローチャートである。以下、処理を順に説明する。
まず、３次元周波数フィルタ生成処理ステップＳ３２０１では３次元周波数フィルタＣ（ｕ，ｖ，ｗ）を生成する。以下に３次元周波数フィルタＣ（ｕ，ｖ，ｗ）の生成方法を説明する。
撮像系の３次元焦点ぼけのフーリエ変換Ｈ（ｕ，ｖ，ｗ）を記憶装置１３０等から読み出す。また、設定画面１４０２での設定情報をインデックスとして「視点重み関数１」と「視点重み関数２」で選択した視点重み関数に対応する３次元焦点ぼけのフーリエ変換Ｈ_ａ１（ｕ，ｖ，ｗ）、Ｈ_ａ２（ｕ，ｖ，ｗ）を記憶装置１３０等から読み出す。
「視点重み関数１」および「視点重み関数２」から求まる散乱光情報抽出用の視点重み関数ｋ_ｅｘ（ｓ，ｔ）に対応する３次元焦点ぼけのフーリエ変換は、フーリエ変換の線型性の性質を用いて、以下の式で求められる。

Ｈ（ｕ，ｖ，ｗ）と数５５で得られるＨ_ａ（ｕ，ｖ，ｗ）を数５３に代入することで、散乱光情報抽出用の視点重み関数ｋ_ｅｘ（ｓ，ｔ）に対応する３次元周波数フィルタＣ（ｕ，ｖ，ｗ）が生成できる。

なお、数２９の演算でｋ_ｅｘ（ｓ，ｔ）を求めてから、焦点位置からの距離に応じた関数または画像データの拡縮によりｈ_ａ（Ｘ，Ｙ，Ｚ）を求め、最後にｈ_ａ（Ｘ，Ｙ，Ｚ）をフーリエ変換することでＨ_ａ（ｕ，ｖ，ｗ）を求めても良い。
なお、実施例１と同様、ｋ_ｅｘ（ｓ，ｔ）は数３０および数３１の条件を満たす視点重み関数である。

次に、３次元フーリエ変換処理ステップＳ３２０２ではＺスタック画像データｇ（Ｘ，Ｙ，Ｚ）を３次元フーリエ変換し、Ｚスタック画像データの３次元フーリエ変換Ｇ（ｕ，ｖ，ｗ）を生成する。
次に、３次元フィルタ適用処理ステップＳ３２０３では、ステップＳ３２０１で計算し
たＣ（ｕ，ｖ，ｗ）とステップＳ３２０２で計算したＧ（ｕ，ｖ，ｗ）を数５２に代入し、Ｇ_ａ（ｕ，ｖ，ｗ）を求める。
次に、３次元フーリエ逆変換処理ステップＳ３２０４では、Ｇ_ａ（ｕ，ｖ，ｗ）に対して３次元フーリエ逆変換を適用し、所望の３次元焦点ぼけｈ_ａ（Ｘ，Ｙ，Ｚ）を持つＺスタック画像データｇ_ａ（Ｘ，Ｙ，Ｚ）を生成する。

最後に、レイヤー画像データ取得処理ステップＳ３２０５では、計算したｇ_ａ（Ｘ，Ｙ，Ｚ）から、焦点位置（Ｚ＝Ｚｆ）のレイヤー画像データｇ_ａ（Ｘ，Ｙ，Ｚｆ）を取得し、散乱光抽出画像データＤＳ（Ｘ，Ｙ，Ｚｆ）として出力する。
以上の処理により、視点画像データを個別に求めることなく、散乱光情報抽出用の視点重み関数ｋ_ｅｘ（ｓ，ｔ）を用いて元のＺスタック画像データから散乱光抽出画像データを生成することができる。

（非特許文献３，４の方法による計算）
続いて、ＭＦＩ任意視点／焦点ぼけ画像生成法の一つである非特許文献３，４に記載の方法の計算の概要について説明する。
非特許文献３，４に記載の方法では、以下の式により、Ｚ位置Ｚ＝Ｚｆにおける任意焦点ぼけ画像データａ（Ｘ，Ｙ，Ｚｆ）のフーリエ変換Ａ（ｕ，ｖ）が生成できる。

数５６のｎはレイヤー画像データの番号であり０から始まりＮ−１で終わる。ｎ_ｆはＺ＝Ｚｆに対応する位置のレイヤー画像データの番号を表す。またＧ^（ｎ）（ｕ，ｖ）はＺスタック画像データのｎ枚目のレイヤー画像データｇ^（ｎ）（Ｘ，Ｙ）のフーリエ変換であり、以下の式で表わされる。

なお、Ｆ｛｝はフーリエ変換を表す。

また、数５６のＨ^（ｎ）（ｕ，ｖ）はレイヤー画像データごとの２次元周波数フィルタ（単に「２次元フィルタ」とも呼ぶ）を表し、以下の式で表わされる。

なお、ｋ_ａ（ｓ，ｔ）は所望の３次元焦点ぼけを生成するための視点重み関数を表わす。また、Ｃ_ｓ，ｔ（ｕ，ｖ）は撮像光学系の３次元焦点ぼけｈ（Ｘ，Ｙ，Ｚ）の視線方向への積分値ｃ_ｓ，ｔ（Ｘ，Ｙ，Ｚｆ）のフーリエ変換であり、Ｃ_ｓ，ｔ（ｕ，ｖ）^−１はその逆数である。またｅ^{−２πｉ（ｓｕ＋ｔｖ）ｎ}は周波数領域で平行移動を行うフィルタである。

数５８は被写体の撮影像Ｇ^（ｎ）（ｕ，ｖ）に依存しない。そのため、Ｈ^（ｎ）（ｕ，ｖ）を事前に計算し、画像データ生成装置１００内の記憶装置１３０やメインメモリ３０２に予め格納しておくことで、数５６の演算を大幅に高速化することが可能になる。
本実施例の場合、設定画面１４０２の「視点重み関数１」および「視点重み関数２」で選択可能な視点重み関数に対しては、事前に数５８を用いてＨ^（ｎ）（ｕ，ｖ）を求めておき、記憶装置１３０又はメインメモリ３０２に予め格納しておく。

（非特許文献３，４の方法を用いた散乱光抽出画像データ生成ステップＳ１６０２）
図２４は非特許文献３，４に記載の方法を用いる場合の、散乱光抽出画像データ生成ステップＳ１６０２の内部処理を表すフローチャートである。以下、処理を順に説明する。
ステップＳ３３０１〜ステップＳ３３０３はＺスタック画像データのレイヤーの枚数分のループの中に存在し、レイヤー画像データごとに処理を行う。なお、レイヤー番号ループでは０からＮ−１まで順に変更していく。

レイヤー画像データフーリエ変換処理ステップＳ３３０１では、Ｚスタック画像データから処理対象であるレイヤー番号ｎのレイヤー画像データｇ^（ｎ）（Ｘ，Ｙ）を取得し、数５７に示すようにフーリエ変換を実行し、Ｇ^（ｎ）（ｕ，ｖ）を生成する。

レイヤーフィルタ読み出し処理ステップＳ３３０２では、「視点重み関数１」と「視点重み関数２」の選択情報に基づき、記憶装置１３０又はメインメモリ３０２からそれぞれの視点重み関数に対応するレイヤー画像データごとの周波数フィルタを読み出す。
続いて、視点重み関数１および視点重み関数２のそれぞれに対応するレイヤー画像データごとの周波数フィルタを用いて散乱光情報抽出用の視点重み関数に相当するレイヤー画像データごとの周波数フィルタを生成する。

例えば、視点重み関数１をｋ_ａ１（ｓ，ｔ）、視点重み関数２をｋ_ａ２（ｓ，ｔ）とし、それぞれのレイヤー画像データごとの周波数フィルタをＨ_ａ１ ^（ｎ）（ｕ，ｖ）、Ｈ_ａ２ ^（ｎ）（ｕ，ｖ）とする。その場合、散乱光情報抽出用の視点重み関数ｋ_ｅｘ（ｓ，ｔ）（＝ｋ_ａ１（ｓ，ｔ）−ｋ_ａ２（ｓ，ｔ））に対応する周波数フィルタＨ^（ｎ）（ｕ，ｖ）は以下の式で計算できる。

散乱光情報抽出用の視点重み関数ｋ_ｅｘ（ｓ，ｔ）は実施例１と同様、数３０および数３１の条件を満たす視点重み関数である。
なお、予め、視点重み関数１および視点重み関数２が選択された場合の散乱光情報抽出用の視点重み関数に相当するレイヤー画像データごとの周波数フィルタを生成し、記憶装置１３０やメインメモリ３０２に格納しても良い。その場合、レイヤーフィルタ読み出し処理ステップＳ３３０２では視点重み関数１および視点重み関数２の情報に基づき、散乱光情報抽出用の視点重み関数ｋ_ｅｘ（ｓ，ｔ）に対応するＨ^（ｎ）（ｕ，ｖ）を読み出す。

次にレイヤーフィルタ適用処理ステップＳ３３０３では、読みだしたレイヤー画像データ毎の周波数フィルタＨ^{（ｎ−ｎｆ）}（ｕ，ｖ）とＧ^（ｎ）（ｕ，ｖ）の間で掛け算を実行する。これにより、レイヤー画像データ毎の周波数フィルタ適用結果Ｈ^{（ｎ−ｎｆ）}（ｕ，ｖ）×Ｇ^（ｎ）（ｕ，ｖ）を生成する。
未処理のレイヤー画像データがある場合には、レイヤー番号を増加させてステップＳ３３０１に戻る。一方、０〜Ｎ−１までの全てのレイヤー画像データに対し、上記のステップＳ３３０１〜Ｓ３３０３の処理が終了した場合には、ステップＳ３３０４に進む。

フィルタ結果統合処理ステップＳ３３０４では、すべてのレイヤー画像データに対する周波数フィルタ適用結果を統合する。具体的には数５６に相当する処理を行い、Ａ（ｕ，ｖ）を求める。
最後にステップＳ３３０５では、Ａ（ｕ，ｖ）にフーリエ逆変換を行い、任意焦点ぼけ画像データａ（Ｘ，Ｙ，Ｚｆ）を生成する。数２８で説明したように散乱光情報抽出用の視点重み関数ｋ_ｅｘ（ｓ，ｔ）を用いて生成した任意焦点ぼけ画像データａ（Ｘ，Ｙ，Ｚｆ）は散乱画像データ（散乱光抽出画像データ）ＤＳ（Ｘ，Ｙ，Ｚｆ）となる。そのため、ステップＳ３３０５では計算した画像データを散乱光抽出画像データＤＳ（Ｘ，Ｙ，Ｚ
ｆ）として出力する。
以上のように、非特許文献３，４の方法を用いる場合でも、視点毎の視点画像データを求めることなく、散乱光情報抽出用の視点重み関数ｋ_ｅｘ（ｓ，ｔ）を用いて元のＺスタック画像データから散乱光抽出画像データを生成することができる。

（本実施例の利点）
本実施例の方法によれば、実施例１の図１６（ｄ）で説明した処理フローに比べ、計算負荷の大きな視点数分の視点画像データの生成を必要としないため、高速に散乱画像データ（散乱光抽出画像データ）の生成が可能となる。これにより、迅速に細胞質や細胞境界における表面凹凸や標本内の散乱光を観察したいというユーザの要望にも応えることができる。

［実施例５］
実施例５では、散乱画像データ計算設定１４０２の「方式」において「観察角変更」を選択する場合における、より散乱光を強調した散乱光強調画像データの生成方法について述べる。
本実施例では、散乱光強調画像データも散乱光抽出画像データと同様、図１６（ｄ）、図２３または図２４に示すフローチャートを用いて計算することができる。ただし、適用する周波数フィルタが前述の実施例とは異なる。

散乱光強調画像データに対応する視点重み関数は、所望の任意焦点ぼけ画像データの視点重み関数ｋ_ａ（ｓ，ｔ）と散乱光情報抽出用の視点重み関数ｋ_ｅｘ（ｓ，ｔ）の和で求められる。従って、図２３のステップＳ３２０１または図２４のステップ３３０２において、散乱光情報抽出用の視点重み関数ｋ_ｅｘ（ｓ，ｔ）の代わりに、下記式の関数ｋ_ｂ（ｓ，ｔ）を用いて周波数フィルタを生成又は読み出せばよい。ｋ_ｂ（ｓ，ｔ）を、散乱光情報強調用の視点重み関数とよぶ。

なお、ｋ_ａ（ｓ，ｔ）の積分値は数１８より１であり、ｋ_ｅｘ（ｓ，ｔ）の積分値は数３０より０であることから、ｋ_ｂ（ｓ，ｔ）の積分値は１となる。

また、ｋ_ｂ（ｓ，ｔ）が以下の関係を満たす場合に、より散乱光の情報が強調される散乱強調画像データが生成できる。

数６２において所定の閾値ｒ_ｔｈ以下の視点重み関数の積分が負の値となることは、ｋ_ｅｘ（ｓ，ｔ）を用いた散乱光情報の抽出効果を打ち消さないことを意味する。また閾値ｒ_ｔｈよりも大きな視点重み関数の積分が１よりも大きいことは、所定の閾値よりも大きな観察角φを持つ、散乱光成分のコントラストが大きな視点画像データを利用することを意味する。
数６１および数６２の条件を満たす視点重み関数で生成した任意焦点ぼけ画像データは、数６１の条件のみを満たす視点重み関数で生成した任意焦点ぼけ画像データに比べ、より散乱光の情報が強調されることとなる。

本実施例において、散乱光強調画像データを生成する場合には、散乱画像データ計算設定１４０２で「種別」として「散乱光抽出画像」を選択し、「方式」として「観察角変更」を選択する。また、透過光成分抑制設定１４０３の「方式」で「抑制処理なし」を選択する。「抑制処理なし」を選択する場合には、実施例２の図１９（ａ）ではステップＳ２７０１、ステップＳ２７０３およびステップＳ２７０４の処理は実行されずに、ステップＳ２７０２の処理のみ実行されるとする。また図１９（ｂ）では２８０１、２８０３および２８０４の各ブロックで処理は実行されず、散乱光抽出画像データ生成部２８０２のみ実行し結果を出力するとする。

本実施例では、散乱光抽出画像データ生成処理ステップＳ２７０２では、以下の式を用いて、散乱光情報強調用の視点重み関数ｋ_ｂ（ｓ，ｔ）を生成する。

より散乱光の情報を強調するには、散乱光情報強調用の視点重み関数が数６１と数６２の条件を満たすことが好ましい。そのため、数６１と数６２の条件を満たす散乱光情報強調用の視点重み関数を生成可能な「視点重み関数１」と「視点重み関数２」の組み合わせを表示するユーザ補助設定が存在しても良い。例えば、「視点重み関数１」として動径ｒｍ以下の全ての視点で等しい重みを持つ「半径ｒｍの円柱ぼけ」を選択し、「視点重み関数２」として視点（０，０）にのみ重みを持つピンホールを表す、「ピンホール（０，０）」を選択する。その場合、数６３で計算する散乱光情報強調用の視点重み関数ｋ_ｂ（ｓ，ｔ）は数６１および数６２の条件を満たすため、ドロップダウンリストの「ピンホール（０，０）」では色を変えて表示しても良い。

ステップＳ２７０２の内部処理は実施例１で述べた図１６（ｄ）、図２３および図２４のいずれを用いても良い。
図１６（ｄ）の処理を用いる場合には、ステップＳ２２０３において、「視点重み関数１」と「視点重み関数２」に基づき数６３の式を用いて計算した散乱光情報強調用の視点重み関数を用いて、ステップＳ２２０２で求めた視点画像データを統合する。この処理は、非特許文献２の方式に対応する。

次に、特許文献１の方式に対応する図２３のフローチャートを用いる場合について説明する。
散乱光情報強調用の視点重み関数に対応する３次元焦点ぼけのフーリエ変換Ｈ_ａ（ｕ，ｖ）は、ステップＳ３２０１において、以下の式で計算できる。Ｈ_ａ１（ｕ，ｖ，ｗ）およびＨ_ａ２（ｕ，ｖ，ｗ）は、設定画面１４０２で選択した「視点重み関数１」と「視点重み関数２」の情報に基づいて読み出したそれぞれの３次元焦点ぼけのフーリエ変換である。

そして、数５３を用いて、散乱光情報強調用の視点重み関数ｋ_ｂ（ｓ，ｔ）に対応する３次元周波数フィルタＣ（ｕ，ｖ，ｗ）が生成できる。

次に、非特許文献３，４の方式に対応する図２４のフローチャートを用いる場合について説明する。
散乱光情報強調用の視点重み関数に対応するレイヤー画像ごとの周波数フィルタＨ^（ｎ）（ｕ，ｖ）は、以下の式で計算できる。Ｈ_ａ１ ^（ｎ）（ｕ，ｖ）およびＨ_ａ２ ^（ｎ）（ｕ，ｖ）は、設定画面１４０２で選択した「視点重み関数１」と「視点重み関数２」の情報に基づいて読み出したそれぞれのレイヤー画像ごとの周波数フィルタである。

以上、散乱画像データ計算設定１４０２の「方式」において「観察角変更」を選択する場合における、より散乱光を強調するための条件（数６１および数６２）およびその散乱光強調画像データの生成方法について述べた。
なお、本実施例では、図１９（ａ）では透過光成分抑制マスク生成処理ステップＳ２７０１、透過光成分抑制処理ステップＳ２７０３および散乱光強調画像データ生成処理ステップＳ２７０４の処理を実行しない場合について説明した。しかし、実施例２と同様に、実行することも可能であり、その場合も本発明の範疇とする。

（本実施例の利点）
本実施例の方法を用いることにより、散乱光の情報をより強調した、散乱光強調画像データを生成することができる。また、図２３および図２４の処理フローを用いれば、高速に散乱画像データ（散乱光強調画像データ）の生成が可能となる。これにより、迅速に細胞質や細胞境界における表面凹凸や標本内の散乱光を観察したいというユーザの要望にも応えることができる。

［実施例６］
実施例６では、散乱画像データ計算設定１４０２の「方式」で「偏角変更」または「複合変更」を選択する場合の散乱光抽出画像データまたは散乱光強調画像データの高速な生成方法について述べる。
実施例４では観察角φが異なる視点画像データを計算してから散乱画像データを求めるのではなく、フィルタを用いてまとめて計算する方法を述べた。本実施例では偏角θが異なる場合でもフィルタを用いてまとめて計算する方法を述べる。

図２６は図８に示す標本の表面凹凸の斜面８１３を、同一の観察角φで偏角θが１８０度異なる視点から観察する様子を示す模式図である。直線３５０１は光軸と平行な直線であり、観察角φは０となる。直線３５１１と直線３５１２の偏角θはそれぞれθ_ｉおよびθ_ｉ＋π（［ｒａｄ］）であり、観察角φはいずれもφ_１である。直線３５２１と直線３５２２の偏角θはそれぞれθ_ｉおよびθ_ｉ＋π（［ｒａｄ］）であり、観察角φはいずれもφ_２である。

既に数１０で述べたように、同一の観察角で偏角が異なる視点画像データ間の差分により、斜面が存在する所定の位置（Ｘ，Ｙ，Ｚｆ）での散乱光の情報が抽出できる。数１０で述べたように、視線方向が直線３５１１と平行な視点画像データと視線方向が直線３５１２と平行な視点画像データの差を求めると、斜面８１３の傾斜角αとＢ（φ_１）に比例
する２α×Ｂ（φ_１）の散乱光の情報が抽出できる。同様に、視線方向が直線３５２１と平行な視点画像データと視線方向が直線３５２２と平行な視点画像データの差を求めると、２α×Ｂ（φ_２）の散乱光の情報が抽出できる。

本実施例では以降、偏角θが互いに１８０度（π［ｒａｄ］）異なる視点に対応する視点画像データ間の差分で散乱光の情報を抽出する場合について説明するが、２つの視点の偏角の差は１８０度に限定しない。例えば、偏角の差が４５度の場合でも、数７より見かけ上の傾斜角α’の変化は約１／２であり、数１０ではα−α’＝α／２となり、偏角の差が１８０度の場合の約１／４の強度で散乱画像が抽出できる。観察角φの大きさにも依存するが、２つの視点の偏角の差が４５度以上ならば、散乱光の情報の抽出に十分な強度が得られるため、本発明の範疇とする。

撮像光学系が両側テレセントリックの場合、視線の観察角φと視点の動径ｒ（＝√（ｓ^２＋ｔ^２））の間には数５の関係がある。（両側テレセントリックでない場合でも変換座標上で考えれば観察角φ_Ｔと動径ｒの間には数４の関係がある。）そのため、視線の観察角φの代わりに視点の動径ｒを用いて表現することもできる。
視点の動径がｒ（視線の観察角がφ）で偏角がθの視点画像データをＩ_ｒ，θ（Ｘ，Ｙ，Ｚｆ）と表わす。同一の視点の動径ｒ（視線の観察角φ）を持ち、それぞれ偏角がθとθ＋π（［ｒａｄ］）の視点画像データ間の差の絶対値を、Ｍ個の異なる動径ｒで加算する操作は以下の式で表わされる。

偏角θの方向から観察した標本のそれぞれの位置の見かけ上の傾斜角をα_θ（Ｘ，Ｙ，Ｚｆ）で表わすと、数６６は以下のように変形できる。

偏角θ_ｉを変えない限り、見かけ上の傾斜角は変化しないため、α_θｉ（Ｘ，Ｙ，Ｚｆ）は一定である。またＢ（φ）は、φ＝０のとき０で、φの増加につれて増加する増加関数である。（数５よりＢ（φ）はｒの関数とみなすことができるので、Ｂ（φ）は、ｒ＝０のとき０で、ｒの増加につれて増加する増加関数ともいえる。）
従って、偏角θ_ｉを変更しない限り、動径ｒ_ｊを変更しても数６７の絶対値内の正と負の符号は変わることはない。そのため、数６７の右辺の絶対値とΣの順序は入れ替えることができ、以下のように変形できる。

よって数６６の右辺は以下のように変形できる。

即ち、同一の動径ｒ_ｊで偏角θが異なる２つの視点画像データの差分の絶対値を、複数の動径について集めた散乱光の情報は、同一の動径ｒ_ｊで偏角θが異なる２つの視点画像データの差分を複数の動径について集めた後で絶対値を取った結果と等しい。

なお、数６６の右辺に視点の動径ｒ_ｊ，偏角θ_ｉの視点画像データに対応する、正の値を持つ視点重み関数ｋ（ｒ_ｊ，θ_ｉ）を掛け算した場合でも絶対値の内部の符号は変化しない。そのため、視点重み関数ｋ（ｒ_ｊ，θ_ｉ）も絶対値の中に入れることができ、以下の関係も成立する。

（ただし、数７０の視点重み関数は光軸対称であり、動径ｒ_ｊ，偏角θ_ｉ＋πの視点に対応する視点画像データの視点重み関数の値はｋ（ｒ_ｊ，θ_ｉ）に等しい。）

続いて、数２５のＳ_Ｐ０（Ｘ，Ｙ，Ｚｆ）の非線型性を持つ演算を変形し、高速化するために、数７０と数２５を比較する。以下に数２５のＳ_Ｐ０（Ｘ，Ｙ，Ｚｆ）の計算に数２２を用いた場合の式を表す。

ｓおよびｔの積分が、視点Ｐ０の偏角がθ_ｉ、視点Ｐ１の偏角がθ_ｉ＋πを満たし、視点Ｐ０とＰ１の動径ｒ_ｊ（観察角）が同一、という条件下でのみ行われるならば、数７０と同様、数７１の右辺の絶対値と積分の順序は変更できる。
即ち、数７１における積分は以下の式で表現できる。

なお、視点Ｐ０および視点Ｐ１の座標は極座標表現でＰ０（ｒ_ｊ，θ_ｉ）、Ｐ１（ｒ_ｊ，θ_ｉ＋π）とする。

（絶対値と積分の順序を変更する効果）
続いて、絶対値と積分の順序を変更する効果について述べる。
数７２のように積分順序を変更できる場合、実施例４と同様に、数７２の絶対値の中の式はフィルタ処理で表わすことができる。そのため、多数の視点に対する視点画像データを求める必要がなく、計算を高速化することができる。詳細は後述する。
また、数７２の左辺の式を用いて散乱光の情報を抽出する場合、各々の視点画像データにノイズがある場合、差の絶対値を取ることでノイズは正の値に変換され、積分で累積さ
れる。一方、数７２の右辺の式を用いて散乱光の情報を抽出する場合、視点画像データにノイズがあっても複数の視点画像データの差の加算で平均化され、その後に絶対値をとるため、ノイズが累積されにくい。そのため、数７２の右辺の式を用いる方が、ノイズが少なく高画質な散乱光の抽出情報が得られる。

（極座標で表わされる視点を用いた高速な散乱画像データの生成方法）
図２７（ａ）は本実施例における視点の位置の例を表す図である。各々の視点の位置は以下に示すようにＭ個の動径ｒ_ｊおよび２Ｎ個の偏角θ_ｉの要素を用いて極座標で表現される。

なお、動径ｒ_ｊおよび偏角θ_ｉの存在する範囲はそれぞれ０≦ｒ_ｊ≦ｒ_ｍおよび０≦θ_ｉ＜２πである。図２７（ａ）では動径方向のサンプリング数はＭ＝５、偏角方向のサンプリング数は２Ｎ＝１６（Ｎ＝８）であり、動径ｒ_ｊおよび偏角θ_ｉは以下で表わされている。

また図２７（ａ）では、以下に示すように、全ての視点において偏角θ_ｉに対して偏角を１８０度（π［ｒａｄ］）回転した視点が存在している。

なお、図２７（ａ）に示すような動径方向と偏角方向による視点位置の指定は視点設定１４０１の設定（不図示）で行うことができる。

（散乱光情報の抽出）
続いて、所定の偏角θ_ｉとθ_ｉ＋πの２つの視点画像データの間の差の絶対値を複数の動径ｒ_ｊについて加算し、その結果を様々な偏角θ_ｉについて加算することで、図２７（ａ）に示す多数の視点の位置での散乱光の情報を抽出することを考える。数式で表わすと、以下の数７６、数７７の計算となる。

視点Ｐ０（ｒ_ｊ，θ_ｉ）と視点Ｐ１（ｒ_ｊ，θ_ｉ＋π）を入れ替えたとき、視点重み関数の値、絶対値内の結果は等しくなるため、数７６および数７７はそれぞれ以下の式に変
形できる。数７９では加算（Σ）の数を２Ｎ個からＮ個に削減することができる。

以降、数７６または数７８で表わされるＤＳ_θｉ（Ｘ，Ｙ，Ｚｆ）を偏角選択散乱画像データと呼ぶ。なお、数７７または数７９で表わされるＤＳ（Ｘ，Ｙ，Ｚｆ）はこれまでと同様に散乱画像データまたは散乱光抽出画像データと呼ぶ。

ここで数７８の右辺は数７０を用いて以下の式に変形できる。

続いて、数８０の視点の位置（ｒ，θ）を（ｓ，ｔ）で表わし、シグマ（Σ）をインテグラル（∬）で表現すると、以下の数８１〜数８４のように表現できる。

ここでＬ_θｉ（ｓ，ｔ）は以下の式で表わされる。

また、ｌ_θｉ（ｓ，ｔ）は以下の式で表わされる。

即ち、ｌ_θｉ（ｓ，ｔ）は、視点（ｓ，ｔ）の偏角θがθ_ｉであるときは１を取り、それ以外では０となる関数である。ただし、視点（ｓ，ｔ）＝（０，０）の場合は、ｌ_θｉ（，０）＝０、Ｌ_θｉ（０，０）＝０とする。

以降、ｋ（ｓ，ｔ）Ｌ_θｉ（ｓ，ｔ）を偏角選択視点重み関数と呼び、Ｌ_θｉ（ｓ，ｔ）を偏角選択関数と呼ぶ。
数８２のＳ_θｉ（Ｘ，Ｙ，Ｚｆ）を求める計算は、視点重み関数が偏角選択視点重み関数ｋ（ｓ，ｔ）Ｌ_θｉ（ｓ，ｔ）である任意焦点ぼけ画像データを求める計算と等しいことを表す。

（偏角選択視点重み関数について）
続いて、図を用いて偏角選択視点重み関数ｋ（ｓ，ｔ）Ｌ_θｉ（ｓ，ｔ）の生成方法を説明する。
図２７（ｂ）は偏角選択関数Ｌ_θｉ（ｓ，ｔ）の一例を示す模式図であり、図２７（ｃ）は偏角選択視点重み関数ｋ（ｓ，ｔ）Ｌ_θｉ（ｓ，ｔ）の一例を示す模式図である。
図２７（ａ）は視点重み関数ｋ（ｓ，ｔ）の模式図であり、既に述べたように複数の動径ｒ_ｊと偏角θ_ｉの組合せでサンプリング位置が決められている。図２７（ｂ）はθ_ｉ＝θ_１の偏角選択関数Ｌ_θ１（ｓ，ｔ）を表す模式図である。偏角θ_１の線上（３６１１）では１の値を持ち、偏角θ_１＋πの線上（３６１２）では−１の値を持ち、それ以外の領域では０となる。なお、原点（３６１３）では０となる。

図２７（ｃ）は、図２７（ａ）に示す視点重み関数ｋ（ｓ，ｔ）と図２７（ｂ）に示す偏角選択関数Ｌ_θ１（ｓ，ｔ）を掛け算して得られる、偏角選択視点重み関数ｋ（ｓ，ｔ）Ｌ_θ１（ｓ，ｔ）を示す模式図である。偏角がθ_１となる視点（原点を除く）では正の値を、偏角がθ_１＋πとなる視点（原点を除く）では負の値を持ち、それ以外では０となる。すなわち、数８２の右辺の式は偏角がθ_ｉとなる複数の視点に対応する視点画像データの加算、偏角がθ_ｉ＋πとなる複数の視点に対応する視点画像データの減算を行うことを意味する。図２７（ｃ）では偏角θ_ｉ、偏角θ_ｉ＋πとなる視点はそれぞれ４つあるため、偏角選択視点重み関数に対応するフィルタで処理すれば、合計８つの視点画像データの生成と対応する視点画像データの差分をまとめて処理できることになる。

（散乱光抽出画像データの生成フロー）
図２８（ａ）は散乱画像データ計算設定画面１４０２において「種別」で「散乱光抽出画像」を選択し、「方式」で「偏角変更」を選択する場合の、本実施例における散乱光抽出画像データ生成ステップＳ１６０２の内部処理を示すフローチャートである。以下、図２８（ａ）を用いて処理を説明する。（なお、図２８（ａ）に示す散乱光抽出画像データの生成方法は数２５の計算に対応する。）

図２８（ａ）の偏角選択散乱画像データ生成処理ステップＳ３７０１は、視点の偏角θ_ｉのループ内にあり、ループで設定された偏角θ_ｉに対応した偏角選択散乱画像データを生成する。例えば、図２７（ａ）に示す視点位置の場合、θ_ｉはθ_０からθ_Ｎ−１まで変更され、Ｎ回のループ処理が行われる。
なお、偏角選択散乱画像データＤＳ_θｉ（Ｘ，Ｙ，Ｚｆ）の計算には数８１および数８２を用いる。偏角選択視点重み関数ｋ（ｓ，ｔ）Ｌ_θｉ（ｓ，ｔ）に対応する任意焦点ぼけ画像データを生成することでＳ_θｉ（Ｘ，Ｙ，Ｚｆ）を求めた後、数８１によりＳ_θｉ（Ｘ，Ｙ，Ｚｆ）の絶対値を求める。詳細は後で説明する。

予め設定した全ての偏角θ_ｉに対してステップＳ３７０１の処理が終了したら、偏角選択散乱画像データ統合処理ステップＳ３７０２に進む。
偏角選択散乱画像データ統合処理ステップＳ３７０２では、数７９に示す演算を行い、ステップＳ３７０１で計算した偏角選択散乱画像データＤＳ_θｉ（Ｘ，Ｙ，Ｚｆ）から散乱光抽出画像データＤＳ（Ｘ，Ｙ，Ｚｆ）を生成する。

続いて、偏角選択散乱画像データ生成処理ステップＳ３７０１の詳細を説明する。図２８（ｂ）は偏角選択散乱画像データ生成処理ステップＳ３７０１の内部処理を示すフローチャートである。
偏角選択視点重み関数生成処理ステップＳ３８０１では、偏角選択視点重み関数ｋ（ｓ，ｔ）Ｌ_θｉ（ｓ，ｔ）を生成する。具体的には、まず、散乱画像データ計算設定画面１４０２における「視点重み関数１」の選択情報に基づき、ｋ_ａ１（ｓ，ｔ）（極座標表示ではｋ_ａ１（ｒ，θ））を生成する。次に、処理対象である偏角θ_ｉに対応する偏角選択関数Ｌ_θｉ（ｓ，ｔ）を、画像データ生成装置１００内の記憶装置１３０又はメインメモリ３０２から読み出す。そして、偏角選択関数Ｌ_θｉ（ｓ，ｔ）と視点重み関数１に対応するｋ_ａ１（ｓ，ｔ）とを掛け算することで、偏角選択視点重み関数ｋ（ｓ，ｔ）Ｌ_θｉ
（ｓ，ｔ）を生成する。
なお、ステップＳ３８０１では、偏角選択視点重み関数ｋ（ｓ，ｔ）Ｌ_θｉ（ｓ，ｔ）を生成せず、偏角選択視点重み関数に対応する複数の２次元フィルタや３次元フィルタを、メインメモリ３０２等から読み出すためのインデックスを生成しても良い。例えばインデックスとして視点重み関数の番号ｄ１と偏角θ_ｉの番号ｄ２を定める。

次に任意焦点ぼけ画像生成処理ステップＳ３８０２では、偏角選択視点重み関数ｋ（ｓ，ｔ）Ｌ_θｉ（ｓ，ｔ）に基づいて、任意焦点ぼけ画像データを生成し、Ｓ_θｉ（Ｘ，Ｙ，Ｚｆ）として出力する。なお、ステップＳ３８０１で偏角選択視点重み関数を読み出すためのインデックスを作成した場合、番号ｄ１およびｄ２から、偏角選択視点重み関数に対応する複数の２次元フィルタや３次元フィルタを読み出し、任意焦点ぼけ画像データを生成する。
任意焦点ぼけ画像データの生成方法として、図２３の処理フロー（特許文献１）、図２４の処理フロー（非特許文献３，４）に示すいずれの方法を用いても良い。詳細は後述する。なお、高速化ではなく、ノイズを低減する目的で図１６（ｄ）の処理フロー（非特許文献２）に示す方法を用いても良い。

最後に偏角選択散乱画像データ抽出処理ステップＳ３８０３では、ステップＳ３８０２が出力するＳ_θｉ（Ｘ，Ｙ，Ｚｆ）に対し、数８１に示す絶対値を求める演算を行い、偏角選択散乱画像データＤＳ_θｉ（Ｘ，Ｙ，Ｚｆ）を生成する。

続いて、任意焦点ぼけ画像生成処理ステップＳ３８０２の詳細について述べる。

（任意焦点ぼけ画像データの生成に図２３の処理フローを用いる場合）
図２３の処理フロー（特許文献１）を用いる場合の各ステップでの処理について述べる。
ステップＳ３２０１では、偏角選択視点重み関数ｋ（ｓ，ｔ）Ｌ_θｉ（ｓ，ｔ）に対応する３次元焦点ぼけのフーリエ変換Ｈ_ａ（ｕ，ｖ，ｗ）と撮像光学系の３次元焦点ぼけのフーリエ変換Ｈ（ｕ，ｖ，ｗ）をメインメモリ３０２等から読み出す。これらのフーリエ変換は予め計算され、メインメモリ３０２や記憶装置１３０に格納されているものとする。偏角選択視点重み関数に対応する３次元焦点ぼけのフーリエ変換Ｈ_ａ（ｕ，ｖ，ｗ）はステップＳ３８０１で定めたインデックスを用いて読み出すことが可能である。
そして、数５３に示す演算により、３次元周波数フィルタＣ（ｕ，ｖ，ｗ）を生成する。

３次元フーリエ変換処理ステップＳ３２０２では、処理対象の偏角θ_ｉ毎にＺスタック画像データの３次元フーリエ変換を実行せず、一度計算したフーリエ変換結果をメインメモリ３０２や記憶装置１３０に格納し、それ以降は読み出して処理する。
以降の３次元フィルタ適用処理ステップＳ３２０３、３次元フーリエ逆変換処理Ｓ３２０４、レイヤー画像データ取得処理Ｓ３２０５の各々の処理は実施例４の説明と同一であるため、説明は省略する。

（任意焦点ぼけ画像データの生成に図２４の処理フローを用いる場合）
次に、図２４の処理フロー（非特許文献３，４）を用いる場合の各ステップでの処理について述べる。
ステップＳ３３０１では、処理対象の偏角θ_ｉ毎にレイヤー画像データのフーリエ変換を実行せず、一度計算したフーリエ変換結果をメインメモリ３０２や記憶装置１３０に格納し、それ以降は読み出して処理する。
続いて、ステップＳ３３０２では、偏角選択視点重み関数ｋ（ｓ，ｔ）Ｌ_θｉ（ｓ，ｔ）に対応するレイヤー画像データ毎の周波数フィルタデータＨ^{（ｎ−ｎｆ）}（ｕ，ｖ）を
メインメモリ３０２等から読み出す。これらの周波数フィルタデータは予め計算され、メインメモリ３０２や記憶装置１３０に格納されているものとする。

レイヤー画像データ毎の周波数フィルタデータＨ^{（ｎ−ｎｆ）}（ｕ，ｖ）はステップＳ３８０１で定めたインデックスを用いて読み出すことが可能である。又は、ステップＳ３８０１で計算した偏角選択視点重み関数ｋ（ｓ，ｔ）Ｌ_θｉ（ｓ，ｔ）を用いて、数５８からレイヤー画像データ毎の周波数フィルタデータＨ^{（ｎ−ｎｆ）}（ｕ，ｖ）を計算しても良い。この場合に、Ｃ_ｓ，ｔ（ｕ，ｖ）^−１やｅ^{−２πｉ（ｓｕ＋ｔｖ）ｎ}が予め計算され、メインメモリ３０２や記憶装置１３０に格納されているとよい。それらを読み出して計算に用いれば、数５８は高速に計算できる。
以降のレイヤーフィルタ適用処理ステップＳ３３０３、フィルタ結果統合処理ステップＳ３３０４、逆フーリエ変換ステップＳ３３０５の各々の処理は実施例４の説明と同一であるため、説明は省略する。

以上、散乱画像データ計算設定画面１４０２の「方式」として「偏角変更」を選択する場合の散乱光抽出画像データの生成方法について述べた。
散乱光抽出画像データ生成ステップＳ１６０２の内部で図２８（ａ）および図２８（ｂ）の処理フローを用いることで散乱光抽出画像データの計算を高速化することができる。また散乱光抽出画像データではノイズが平均化されて抑えられる効果があり、生成した散乱光抽出画像データのノイズを少なくすることができる。

（「偏角変更」を選択する場合の散乱光強調画像データの生成方法）
次に、本実施例で述べた散乱光抽出画像データから散乱光強調画像データを求める場合、すなわち、散乱画像データ計算設定画面１４０２において「種別」で「散乱光強調画像」を選択し、「方式」で「偏角変更」を選択する場合について説明する。実施例２と同様、図１９（ａ）を用いて説明する。
なお、説明を簡略にするため、本実施例でも実施例５と同様、透過光成分抑制設定画面１４０３の「方式」で「抑制処理なし」を選択する場合について説明する。そのため、実施例２の図１９（ａ）ではステップＳ２７０１、ステップＳ２７０３の処理は実行されずに、ステップＳ２７０２、ステップＳ２７０４の処理が実行されるとする。また図１９（ｂ）では２８０１、２８０３および２８０４の各ブロックで処理は実行されず、２８０２のみ実行し結果を出力する。なお、本実施例では説明しないが、実施例２と同様、透過光成分抑制設定画面１４０３の「方式」で「掛け算」を選択した場合も本発明の範疇とする。

まず、散乱光抽出画像データ生成処理ステップＳ２７０２では、「視点重み関数１」の設定情報に対応した視点重み関数ｋ_ａ１（ｓ，ｔ）を生成し、散乱光抽出画像データＤＳ（Ｘ，Ｙ，Ｚｆ）を生成する。本実施例のステップＳ２７０２の内部では図２８（ａ）および図２８（ｂ）に示す処理フローを行う。既に説明したため、詳細は省略する。
次に散乱光強調画像データ生成処理ステップＳ２７０４ではＺスタック画像データから任意焦点ぼけ画像データａ（Ｘ，Ｙ，Ｚｆ）を生成し、散乱光抽出画像データＤＳ（Ｘ，Ｙ，Ｚｆ）と合成する処理を行う。図２０を用いてステップＳ２７０４の内部処理を説明する。

任意焦点ぼけ画像データ生成処理ステップＳ２９０１では、まずＺスタック画像データから任意焦点ぼけ画像データａ（Ｘ，Ｙ，Ｚｆ）を生成する。Ｚスタック画像データからの任意焦点ぼけ画像データの生成方法として、図２３の処理フロー（特許文献１）、図２４の処理フロー（非特許文献３，４）に示すいずれの方法を用いても良い。
本実施例では、設定画面１４０３の「方式」で「抑制処理なし」を選択している。それゆえ、補正散乱光強調画像データ生成処理ステップＳ２９０２では、補正散乱光抽出画像
データＭＤＳ（Ｘ，Ｙ，Ｚｆ）としてステップＳ２７０２で生成した散乱光抽出画像データＤＳ（Ｘ，Ｙ，Ｚｆ）を用いる。そして数４９に示すように、右辺のＭＤＳ（Ｘ，Ｙ，Ｚｆ）を変倍し、任意焦点ぼけ画像データａ（Ｘ，Ｙ，Ｚｆ）に加算することで散乱光強調画像データを求める。

以上、散乱画像データ計算設定画面１４０２の「方式」として「偏角変更」を選択する場合の散乱光強調画像データの生成方法について述べた。
ステップＳ２７０２で図２８（ａ）および図２８（ｂ）の処理フローを用いることで散乱光抽出画像データの計算を高速化し、散乱光強調画像データを高速に求めることができる。また、ステップＳ２７０２で求めた散乱光抽出画像データではノイズが平均化されて抑えられる効果があるため、散乱光強調画像データもノイズを少なくすることができる。

（「複合変更」を選択する場合の散乱光抽出画像データの生成方法）
次に、設定画面１４０２の「方式」で「複合変更」を選択した場合の散乱光抽出画像データの生成方法について述べる。前記の設定では、数３２に示すように、散乱光情報抽出用の視点重み関数を用いて、「観察角変更」を選択した場合の散乱光抽出画像データと「偏角変更」を選択した場合の散乱光抽出画像データの加算を求める。

数４４を用いて「偏角変更」を選択した場合の散乱光抽出画像データを求める場合、「視点重み関数１」および「視点重み関数２」の設定情報から求めた散乱光情報抽出用の視点重み関数ｋ_ｅｘ（ｓ，ｔ）を用いることで計算できた。しかし、本実施例でこれまで述べた数７９および数８０に示す計算で散乱光抽出画像データを求める場合には、視点重み関数は絶対値の内部に存在するため、線型性が成立しない。そのため、数８０の視点重み関数ｋ（ｒ_ｊ，θ_ｉ）をｋ_ｅｘ（ｒ_ｊ，θ_ｉ）に置き換えることで散乱光抽出画像データを計算することはできない。従って、数３４に示すように視点重み関数ｋ_ａ１（ｓ，ｔ）および視点重み関数ｋ_ａ２（ｓ，ｔ）のそれぞれの散乱光強調画像データを求め、その差をとることで散乱光抽出画像データを求める。

以下に数３４を変形して求めた、本実施例における設定画面１４０２の「方式」で「複合変更」を選択した場合の散乱光抽出画像データを求める式を示す。

即ち、実施例５で述べた散乱光抽出画像データに、視点重み関数ｋ_ａ１（ｓ，ｔ）を用いて求めた散乱光強調画像データと視点重み関数ｋ_ａ２（ｓ，ｔ）を用いて求めた散乱光強調画像データの差を加算することと等しい。既に述べたように実施例４および本実施例でこれまで述べた散乱光抽出画像データの生成フローは、複数の視点画像データを求めることなく、任意焦点ぼけ画像データの生成として処理するため、高速な計算が可能である。

図２８（ｃ）は設定画面１４０２において「種別」で「散乱光抽出画像」を選択し、「方式」で「複合変更」を選択する場合の、本実施例における散乱光抽出画像データ生成ステップＳ１６０２の内部処理を示すフローチャートである。
観察角変更散乱光抽出画像データ生成ステップＳ３９０１では、実施例４で説明したように設定画面１４０２で設定した「視点重み関数１」と「視点重み関数２」の設定情報から散乱光情報抽出用の視点重み関数ｋ_ｅｘ（ｓ，ｔ）を生成する。そして散乱光情報抽出用の視点重み関数に対応する任意焦点ぼけ画像データを生成する。なお、任意焦点ぼけ画像データの生成方法として、図２３の処理フロー（特許文献１）、図２４の処理フロー（
非特許文献３，４）のいずれの方法を用いても良い。ステップＳ３９０１で計算した散乱光抽出画像データを観察角変更散乱光抽出画像データと呼ぶ。

次に、第１の偏角変更散乱光抽出画像データ生成ステップＳ３９０２では、「視点重み関数１」の設定情報に基づき、ｋ_ａ１（ｓ，ｔ）又はそのインデックス番号を求め、数８１と数７９を用いて散乱光抽出画像データＤＳ（Ｘ，Ｙ，Ｚｆ）を生成する。処理フローは図２８（ａ）および図２８（ｂ）で説明したため省略する。ステップＳ３９０２で計算した散乱光抽出画像データを第１の偏角変更散乱光抽出画像データと呼ぶ。
第２の偏角変更散乱光抽出画像データ生成ステップＳ３９０３でも同様に、「視点重み関数２」の設定情報に基づき、ｋ_ａ２（ｓ，ｔ）又はそのインデックス番号を求め、数８１と数７９を用いて散乱光抽出画像データＤＳ（Ｘ，Ｙ，Ｚｆ）を生成する。視点重み関数が異なる点を除き、処理内容はステップＳ３９０２と同様である。ステップＳ３９０３で計算した散乱光抽出画像データを第２の偏角変更散乱光抽出画像データと呼ぶ。

最後に複合変更散乱光抽出画像データ生成ステップＳ３９０４では、数８５に示す計算を行う。即ち、まず第１の偏角変更散乱光抽出画像データから第２の偏角変更散乱光抽出画像データを減算し、偏角変更散乱光抽出画像データを計算する。次に、求めた偏角変更散乱光抽出画像データを観察角変更散乱光抽出画像データに加算し、複合変更散乱光抽出画像データを生成する。
なお、複合変更散乱光抽出画像データを画像として表示する場合、０未満のデータには散乱光の情報は少なくノイズとみなせるため、０未満は０として表示すると良い。

以上、設定画面１４０２の「方式」として「複合変更」を選択する場合の散乱光抽出画像データの生成方法について述べた。実施例４および本実施例で述べた計算方法を用いることで散乱光抽出画像データを高速に計算できる。また、既に述べたように偏角変更散乱光抽出画像データではノイズが抑えられるため、生成する散乱光抽出画像データも低ノイズとなる。
なお、設定画面１４０２において「種別」で「散乱光抽出画像」を選択し、「方式」で「偏角変更」を選択した場合に、散乱光抽出画像データとして、第１の偏角変更散乱光抽出画像データと第２の偏角変更散乱光抽出画像データの差を出力しても良い。この場合の散乱光抽出画像データは数４４の計算に相当する。

（本実施例の利点）
本実施例の方法を用いれば、同一の観察角φで異なる視点の偏角θを持つ視点画像データの差分を計算し、それらを加算によって集める場合でも、対応する視点画像データを計算することなく、フィルタ処理によってまとめて計算することができる。そのため、散乱光抽出画像データおよび散乱光強調画像データの生成を高速化することができる。これにより、迅速に細胞質や細胞境界における表面凹凸や標本内の散乱光を観察したいというユーザの要望にも応えることができる。また、本実施例の方法で求めた散乱光抽出画像データおよび散乱光強調画像データでは、複数の視点画像データで加算を行った後で減算および絶対値を取るため、ノイズ成分は抑制される。そのため、弱い散乱光成分であってもノイズ成分に埋もれることなく観察できる。

以上、本発明の好適な実施例を説明したが、本発明の構成はこれらの実施例に限られない。
例えば、上記実施例では明視野顕微鏡で撮影されたＺスタック画像データを元画像データとして用いた場合について説明した。しかし、本発明は、落射照明型顕微鏡、ライトフィールドカメラ、ライトフィールド顕微鏡等で撮影された元画像データに対しても適用可能である。

また上記実施例では被写体として病理標本を例に説明してきたが、被写体はそれに限定されない。落射照明型顕微鏡の観察対象である金属等の反射物体でも構わない。また透過観察型顕微鏡の観察対象である透明な生物標本でも良い。いずれの場合においても特許文献１等で開示される技術を用いれば、被写体の奥行き方向の焦点位置を変えて撮影した複数枚のレイヤー画像データ群から任意の視点画像データが生成でき、本発明が適用できる。反射物体を撮影した元画像データを用いる場合、元画像データには反射光（鏡面反射）成分の像と散乱光成分の像とが含まれるが、紙のように光沢が少ない被写体では散乱光が支配的となる。その場合、上記実施例と同様の処理を行うことで、散乱光成分を抽出ないし強調することができる。

また各実施例で説明した構成を互いに組み合わせてもよい。例えば、ステップＳ２１０３で視点散乱画像データを生成する際、処理対象の視点と偏角回転視点と観察角変更視点を用いて、それぞれの視点散乱画像データを求め、両者の間で加算等を行って、視点散乱画像データの強度や信頼度を高めても良い。

また上記実施例で述べた各種の画像データの生成処理については、同じ処理を実空間で演算できる場合と周波数空間で演算できる場合とがある。その場合には実空間で演算してもよいし、周波数空間で演算してもよい。すなわち、本明細書において、画像データという用語は、実空間の画像データと周波数空間の画像データのいずれも含む概念である。
また上記各実施例では、画像データの演算を数式で表現しているが、実際の処理では数式どおりの計算を必ずしも行う必要はない。数式で表現された演算結果に相当する画像データが得られるのであれば、具体的な処理やアルゴリズムはどのように設計してもよい。

１００：画像生成装置

Claims (17)

1. 被写体における光軸方向の位置が異なる複数の層を撮影して得られた複数のレイヤー画像データを含む元画像データを、周波数空間のデータに変換する変換手段と、
   前記変換された周波数空間のデータに対し、フィルタを適用するフィルタ適用手段と、
   前記フィルタが適用されたデータを実空間の画像データに逆変換する逆変換手段と、を有し、
   前記フィルタは、前記逆変換された画像データに含まれるレイヤー画像データのいずれかが、前記被写体に対する視線方向が互いに異なる複数の視点画像データのあいだの差異を抽出または強調した画像データに相当する、特徴画像データとなるように、設計されている
   ことを特徴とする画像データ生成装置。
2. 被写体における光軸方向の位置が異なる複数の層を撮影して得られた複数のレイヤー画像データを含む元画像データを用いて、前記複数のレイヤー画像データのそれぞれを周波数空間のデータに変換する変換手段と、
   前記変換された周波数空間の複数のデータに対し、複数のフィルタをそれぞれ適用するフィルタ適用手段と、
   前記フィルタが適用された複数のデータを統合する統合手段と、
   前記統合されたデータを実空間の画像データに逆変換する逆変換手段と、を有し、
   前記複数のフィルタは、前記逆変換された画像データが、前記被写体に対する視線方向が互いに異なる複数の視点画像データのあいだの差異を抽出または強調した画像データに相当する、特徴画像データとなるように、設計されている
   ことを特徴とする画像データ生成装置。
3. 前記フィルタは、視点の位置ごとの重みを定義する関数である視点重み関数を用いて生成されるデータである
   ことを特徴とする請求項１又は２に記載の画像データ生成装置。
4. 視点の位置を（ｓ，ｔ）、視点重み関数をｋ（ｓ，ｔ）と表す場合に、
   前記視点重み関数ｋ（ｓ，ｔ）は、
   

   

   （ただし、ｒ_ｔｈは予め定められた閾値）
   という条件を満たす関数である
   ことを特徴とする請求項３に記載の画像データ生成装置。
5. 視点の位置を（ｓ，ｔ）、視点重み関数をｋ（ｓ，ｔ）と表す場合に、
   前記視点重み関数ｋ（ｓ，ｔ）は、
   

   

   （ただし、ｒ_ｔｈは予め定められた閾値）
   という条件を満たす関数である
   ことを特徴とする請求項３に記載の画像データ生成装置。
6. 前記光軸方向に平行な軸まわりの角を偏角と呼ぶときに、
   前記視点重み関数は、第一の偏角を持つ視点の重みが正の値をとり、前記第一の偏角から所定の角度だけ回転した第二の偏角を持つ視点の重みが負の値をとる関数である
   ことを特徴とする請求項３に記載の画像データ生成装置。
7. 前記フィルタは、
   

   

   （ただし、（ｓ，ｔ）は視点の位置、ｋ（ｓ，ｔ）は視点重み関数、δはディラックのデルタ関数、ＸＹＺはＺ軸が光軸方向に平行となる直交座標系である。）
   で表される３次元的な焦点ぼけを周波数空間に変換することで得られる、３次元フィルタである
   ことを特徴とする請求項３〜６のうちいずれか１項に記載の画像データ生成装置。
8. 前記フィルタは、
   

   

   （ただし、（ｓ，ｔ）は視点の位置、ｋ（ｓ，ｔ）は視点重み関数、Ａは周波数空間での平行移動を表す関数、Ｂは被写体を撮影した光学系の３次元的な焦点ぼけを視点（ｓ，ｔ）を通る視線方向へ積分した積分値を周波数空間に変換した値の逆数である。）
   で表される２次元フィルタである
   ことを特徴とする請求項３〜６のうちいずれか１項に記載の画像データ生成装置。
9. 予め計算された前記フィルタのデータを記憶する記憶装置をさらに有し、
   前記フィルタ適用手段は、前記変換された周波数空間のデータに適用すべきフィルタのデータを前記記憶装置から読み込む
   ことを特徴とする請求項１〜８のうちいずれか１項に記載の画像データ生成装置。
10. 前記フィルタの特性を決定するパラメータが、ユーザにより変更可能である
    ことを特徴とする請求項１〜９のうちいずれか１項に記載の画像データ生成装置。
11. 前記特徴画像データの画素のうち、少なくとも前記元画像データにおける低輝度領域に対応する画素に対して、輝度を低下させる補正処理を行うことにより、補正画像データを生成する補正手段をさらに有する
    ことを特徴とする請求項１〜１０のうちいずれか１項に記載の画像データ生成装置。
12. 前記元画像データは、前記被写体を顕微鏡により撮影することにより得られる顕微鏡画像データである
    ことを特徴とする請求項１〜１１のうちいずれか１項に記載の画像データ生成装置。
13. 前記特徴画像データは、前記元画像データに含まれる散乱光成分の特徴を抽出ないし強調した画像データである
    ことを特徴とする請求項１〜１２のうちいずれか１項に記載の画像データ生成装置。
14. 前記特徴画像データは、前記元画像データに比べて、前記被写体の表面の凹凸のコントラストが高められた画像データである
    ことを特徴とする請求項１〜１２のうちいずれか１項に記載の画像データ生成装置。
15. コンピュータが、被写体における光軸方向の位置が異なる複数の層を撮影して得られた複数のレイヤー画像データを含む元画像データを、周波数空間のデータに変換するステップと、
    コンピュータが、前記変換された周波数空間のデータに対し、フィルタを適用するステップと、
    コンピュータが、前記フィルタが適用されたデータを実空間の画像データに逆変換するステップと、を有し、
    前記フィルタは、前記逆変換された画像データに含まれるレイヤー画像データのいずれかが、前記被写体に対する視線方向が互いに異なる複数の視点画像データのあいだの差異を抽出または強調した画像データに相当する、特徴画像データとなるように、設計されている
    ことを特徴とする画像データ生成方法。
16. コンピュータが、被写体における光軸方向の位置が異なる複数の層を撮影して得られた複数のレイヤー画像データを含む元画像データを用いて、前記複数のレイヤー画像データのそれぞれを周波数空間のデータに変換するステップと、
    コンピュータが、前記変換された周波数空間の複数のデータに対し、複数のフィルタをそれぞれ適用するステップと、
    コンピュータが、前記フィルタが適用された複数のデータを統合するステップと、
    コンピュータが、前記統合されたデータを実空間の画像データに逆変換するステップと、を有し、
    前記複数のフィルタは、前記逆変換された画像データが、前記被写体に対する視線方向が互いに異なる複数の視点画像データのあいだの差異を抽出または強調した画像データに相当する、特徴画像データとなるように、設計されている
    ことを特徴とする画像データ生成方法。
17. 請求項１５又は１６に記載の画像データ生成方法の各ステップをコンピュータに実行させることを特徴とするプログラム。

Images