JP2015057682A - 画像生成装置および画像生成方法 - Google Patents
画像生成装置および画像生成方法 Download PDFInfo
- Publication number
- JP2015057682A JP2015057682A JP2013204636A JP2013204636A JP2015057682A JP 2015057682 A JP2015057682 A JP 2015057682A JP 2013204636 A JP2013204636 A JP 2013204636A JP 2013204636 A JP2013204636 A JP 2013204636A JP 2015057682 A JP2015057682 A JP 2015057682A
- Authority
- JP
- Japan
- Prior art keywords
- image
- viewpoint
- observation
- scattered
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Microscoopes, Condenser (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】被写体を撮影して得られた元画像から、画像処理によって、被写体の観察や診断に適した観察用画像を生成するための新規な技術を提供する。
【解決手段】被写体を撮影して得られた元画像から、観察用画像を生成する画像生成装置であって、前記元画像を用いて、互いに視線方向が異なる複数の視点画像を生成する視点画像生成手段と、前記複数の視点画像を用いて、元画像に含まれる散乱光成分を抽出または強調した画像を観察用画像として生成する観察用画像生成手段と、を有する。観察用画像は、例えば、複数の視点画像のあいだの差異を抽出または強調することで生成する。
【選択図】図９
【解決手段】被写体を撮影して得られた元画像から、観察用画像を生成する画像生成装置であって、前記元画像を用いて、互いに視線方向が異なる複数の視点画像を生成する視点画像生成手段と、前記複数の視点画像を用いて、元画像に含まれる散乱光成分を抽出または強調した画像を観察用画像として生成する観察用画像生成手段と、を有する。観察用画像は、例えば、複数の視点画像のあいだの差異を抽出または強調することで生成する。
【選択図】図９
Description
本発明は、被写体を撮影して得られた画像から観察に適した画像を生成する画像生成装置および画像生成方法に関する。
病理分野において、病理診断のツールである光学顕微鏡の代替として、プレパラートに載置された被検試料を撮像しデジタル化してディスプレイ上での病理診断を可能とするバーチャル・スライド・システムがある。バーチャル・スライド・システムによる病理診断画像のデジタル化により、従来の被検試料の光学顕微鏡像をデジタルデータとして取り扱える。それによって、遠隔診断の迅速化、デジタル画像を使った患者への説明、希少症例の共有化、教育・実習の効率化、などのメリットが得られる。
またデジタルデータに対しては様々な画像処理が可能で、バーチャル・スライド・システムで撮影した画像に対し、病理医の診断を支援する種々の診断支援機能が提案されている。
またデジタルデータに対しては様々な画像処理が可能で、バーチャル・スライド・システムで撮影した画像に対し、病理医の診断を支援する種々の診断支援機能が提案されている。
従来、診断支援機能の一例として、以下の提案がされている。
非特許文献１は、がんを診断する上で重要な所見であるＮ／Ｃ比（細胞質に対して核が占める比率）を算出することを目標とし、デジタル画像処理技術を用いて肝臓の病理組織標本画像から細胞膜を抽出する方法を開示している。非特許文献１では明視野、暗視野、位相差の３種類の観察像の色情報を組み合わせることで、明視野観察像単独の場合に比べて細胞膜の抽出正解率を向上させている。
非特許文献１は、がんを診断する上で重要な所見であるＮ／Ｃ比（細胞質に対して核が占める比率）を算出することを目標とし、デジタル画像処理技術を用いて肝臓の病理組織標本画像から細胞膜を抽出する方法を開示している。非特許文献１では明視野、暗視野、位相差の３種類の観察像の色情報を組み合わせることで、明視野観察像単独の場合に比べて細胞膜の抽出正解率を向上させている。
また、細胞膜に限らず、細胞境界（細胞と細胞の間の細胞境界には細胞膜以外にも細胞間物質（間質）などが存在）や細胞と管や腔との境界を明瞭にすることは、診断を行う上で大きな意味がある。明瞭な境界は、医師が標本から複雑な肝臓の３次元構造を推測することを容易にするので、限られた情報からより精度の高い診断が実現できる。
また、細胞と管や腔との境界はＮ／Ｃ比を精度良く算出する上でも有用な情報である。例えば、肝臓の病理組織標本には、大別して核と細胞質からなる細胞の領域、肝細胞へ物質を供給する血管である類洞の領域があり、正しいＮ／Ｃ比を算出するには細胞が存在しない類洞の領域を正しく除外する必要がある。
また、細胞と管や腔との境界はＮ／Ｃ比を精度良く算出する上でも有用な情報である。例えば、肝臓の病理組織標本には、大別して核と細胞質からなる細胞の領域、肝細胞へ物質を供給する血管である類洞の領域があり、正しいＮ／Ｃ比を算出するには細胞が存在しない類洞の領域を正しく除外する必要がある。
鳥澤奈美子，高橋正信，中野雅行，"肝病理組織標本画像中の細胞膜抽出におけるマルチイメージング利用の検討"，電子情報通信学会総合大会，Ｄ−１６−９，２００９／３
児玉和也，久保田彰，"単一のレンズ系からの多様なボケ味の生成"，映像情報メディア学会誌６５（３），ｐｐ．３７２−３８１，２０１１年３月
児玉和也，久保田彰，"周波数領域上での線型結合に基づくＳｃｅｎｅ Ｒｅｆｏｃｕｓｉｎｇ"，映像メディア処理シンポジウム（ＩＭＰＳ２０１２），Ｉ−３．０２，ｐｐ．４５−４６，２０１２年１０月
しかしながら上述した従来の技術においては、以下のような問題があった。
非特許文献１では、明視野、暗視野、位相差観察像を取得するために、明視野顕微鏡に対して位相差用対物レンズや共用コンデンサを装備し、それらを切り替えて撮影している。その為、明視野観察用の光学顕微鏡に追加の部品が必要になるというコスト的な課題、撮影時に光学系および露出条件の変更の手間が発生するという課題があった。
非特許文献１では、明視野、暗視野、位相差観察像を取得するために、明視野顕微鏡に対して位相差用対物レンズや共用コンデンサを装備し、それらを切り替えて撮影している。その為、明視野観察用の光学顕微鏡に追加の部品が必要になるというコスト的な課題、撮影時に光学系および露出条件の変更の手間が発生するという課題があった。
本発明は、このような問題点に鑑みてなされたものであり、被写体を撮影して得られた元画像から、画像処理によって、被写体の観察や診断に適した観察用画像を生成するための新規な技術を提供することを目的とする。
本発明の第一態様は、被写体を撮影して得られた元画像から、観察用画像を生成する画像生成装置であって、前記元画像を用いて、互いに視線方向が異なる複数の視点画像を生成する視点画像生成手段と、前記複数の視点画像を用いて、元画像に含まれる散乱光成分を抽出または強調した画像を観察用画像として生成する観察用画像生成手段と、を有する画像生成装置である。
本発明の第二態様は、被写体を撮影して得られた元画像から、観察用画像を生成する画像生成装置であって、前記元画像を用いて、互いに視線方向が異なる複数の視点画像を生成する視点画像生成手段と、前記複数の視点画像を用いて、前記複数の視点画像のあいだの差異を抽出または強調した画像を観察用画像として生成する観察用画像生成手段と、を有する画像生成装置である。
本発明の第三態様は、被写体を撮影して得られた元画像から、コンピュータにより観察用画像を生成する画像生成方法であって、前記元画像を用いて、互いに視線方向が異なる複数の視点画像を生成するステップと、前記複数の視点画像を用いて、元画像に含まれる散乱光成分を抽出または強調した画像を観察用画像として生成するステップと、を有する画像生成方法である。
本発明の第四態様は、被写体を撮影して得られた元画像から、コンピュータにより観察用画像を生成する画像生成方法であって、前記元画像を用いて、互いに視線方向が異なる複数の視点画像を生成するステップと、前記複数の視点画像を用いて、前記複数の視点画像のあいだの差異を抽出または強調した画像を観察用画像として生成するステップと、を有する画像生成方法である。
本発明の第五態様は、本発明に係る画像生成方法の各ステップをコンピュータに実行させるプログラムである。
本発明によれば、被写体を撮影して得られた元画像から、画像処理によって、被写体の観察や診断に適した観察用画像を生成することができる。
（全体構成）
図１は、本発明の実施形態に係る画像生成および表示システムの構成を示している。
画像生成装置（ホストコンピュータ）１００には、ユーザからの入力を受け付ける入力操作デバイス１１０と、画像生成装置１００から出力される画像などをユーザに提示するためのディスプレイ１２０が接続される。入力操作デバイス１１０としては、キーボード１１１、マウス１１２、ユーザの操作性を高めるための専用コントローラ１１３（例えばトラックボール、タッチパッド）などを利用できる。また画像生成装置１００には、ハードディスクや光学ドライブ、フラッシュメモリ等の記憶装置１３０、ネットワークＩ／Ｆを通じてアクセスできる他のコンピュータシステム１４０が接続されている。なお、図１では記憶装置１３０は画像生成装置１００の外部に存在するが、画像生成装置１００に内蔵しても良い。
図１は、本発明の実施形態に係る画像生成および表示システムの構成を示している。
画像生成装置（ホストコンピュータ）１００には、ユーザからの入力を受け付ける入力操作デバイス１１０と、画像生成装置１００から出力される画像などをユーザに提示するためのディスプレイ１２０が接続される。入力操作デバイス１１０としては、キーボード１１１、マウス１１２、ユーザの操作性を高めるための専用コントローラ１１３（例えばトラックボール、タッチパッド）などを利用できる。また画像生成装置１００には、ハードディスクや光学ドライブ、フラッシュメモリ等の記憶装置１３０、ネットワークＩ／Ｆを通じてアクセスできる他のコンピュータシステム１４０が接続されている。なお、図１では記憶装置１３０は画像生成装置１００の外部に存在するが、画像生成装置１００に内蔵しても良い。
画像生成装置１００は、入力操作デバイス１１０から入力されたユーザの制御信号に従い、記憶装置１３０から画像データを取得し、画像処理を適用することによって観察に適した観察用画像を生成したり、診断に必要な情報を抽出したりする。
画像表示アプリケーションおよび画像生成プログラム（いずれも不図示）は画像生成装置１００で実行されるコンピュータプログラムである。これらのプログラムは画像生成装置１００内の内部記憶装置（不図示）または記憶装置１３０に格納されている。後述する画像生成に関わる機能は画像生成プログラムによって提供されるものであり、画像生成プログラムの各機能は画像表示アプリケーションを介して呼び出す（利用する）ことができる。画像生成プログラムの処理結果（例えば生成された観察用画像）は、画像表示アプリケーションを介して、ユーザに提示される。
（表示画面）
図２は、予め撮影した検体の画像データを、画像表示アプリケーションを通じて、ディスプレイ１２０に表示した場合の一例である。
図２は、予め撮影した検体の画像データを、画像表示アプリケーションを通じて、ディスプレイ１２０に表示した場合の一例である。
図２は画像表示アプリケーションの画面レイアウトの基本構成である。表示画面の全体
ウィンドウ２０１内に、表示や操作のステータスと各種画像の情報を示す情報エリア２０２、観察対象の検体のサムネイル画像２０３、検体画像データの詳細観察用の表示領域２０５、表示領域２０５の表示倍率２０６、が配置されている。サムネイル画像２０３上に描画された枠線２０４は、詳細観察用の表示領域２０５に拡大表示している領域の位置および大きさを示している。このサムネイル画像２０３と枠線２０４によって、ユーザは検体画像データ全体中のどの部分を観察しているのかを容易に把握できる。
ウィンドウ２０１内に、表示や操作のステータスと各種画像の情報を示す情報エリア２０２、観察対象の検体のサムネイル画像２０３、検体画像データの詳細観察用の表示領域２０５、表示領域２０５の表示倍率２０６、が配置されている。サムネイル画像２０３上に描画された枠線２０４は、詳細観察用の表示領域２０５に拡大表示している領域の位置および大きさを示している。このサムネイル画像２０３と枠線２０４によって、ユーザは検体画像データ全体中のどの部分を観察しているのかを容易に把握できる。
詳細観察用の表示領域２０５に表示する画像は、入力操作デバイス１１０による移動操作や拡大・縮小操作によって設定、更新できる。例えば、移動は画面上でのマウスのドラッグ操作により、拡大縮小はマウスホイールの回転等によって実現できる（例えば、ホイールの前方回転を拡大、後方回転を縮小に割り当てる）。また、焦点位置の異なる画像への切り替えは、所定のキー（例えばＣｔｒｌキー）を押しながらのマウスホイールの回転等で実現できる（例えば、ホイールの前方回転を奥行きが深い画像への移動に、後方回転を奥行きが浅い画像への移動に割り当てる）。上記のようなユーザの表示画像の変更操作に伴い、表示領域２０５、表示倍率２０６、サムネイル画像２０３内の枠線２０４が更新される。このようにして、ユーザは所望する面内位置、奥行き位置、倍率の画像を観察できる。
（画像生成装置）
図３は画像生成装置１００の内部構成を示す図である。
ＣＰＵ３０１はメインメモリ３０２に格納されているプログラムやデータを用いて画像生成装置全体の制御を行う。またＣＰＵ３０１は、以降の実施例で説明する各種演算処理、データ処理、例えば、視点散乱画像抽出処理や視点散乱画像統合処理等を行う。
図３は画像生成装置１００の内部構成を示す図である。
ＣＰＵ３０１はメインメモリ３０２に格納されているプログラムやデータを用いて画像生成装置全体の制御を行う。またＣＰＵ３０１は、以降の実施例で説明する各種演算処理、データ処理、例えば、視点散乱画像抽出処理や視点散乱画像統合処理等を行う。
メインメモリ３０２は記憶装置１３０からロードされたプログラムやデータ、他のコンピュータシステム１４０からネットワークＩ／Ｆ（インターフェース）３０４を介してダウンロードしたプログラムやデータを一時的に記憶するエリアを備える。またメインメモリ３０２は、ＣＰＵ３０１が各種の処理を行うために必要とするワークエリアを備える。
操作入力デバイス１１０はキーボード１０２、マウス１０３、専用コントローラ１１３などＣＰＵ３０１に各種の指示を入力することのできるデバイスにより構成される。ユーザは画像生成装置１００の動作を制御する情報を操作入力デバイス１１０により入力する。３０５は操作入力デバイス１１０を介して入力された各種の指示等をＣＰＵ３０１に通知するためのＩ／Ｏである。
記憶装置１３０はハードディスクなどの大容量情報記憶装置であり、ＯＳ（オペレーティングシステム）や以降の実施例で説明する処理をＣＰＵ３０１に実行させるためのプログラムや画像データなどを記憶する。記憶装置１３０への情報の書き込みや記憶装置１３０からの情報の読み出しはＩ／Ｏ３０６を介して行われる。
ディスプレイ制御装置３０７は画像や文字等をディスプレイ１２０に表示させるための制御処理を行う。ディスプレイ１２０はユーザに入力を求めるための画面表示を行うとともに、記憶装置１３０や他のコンピュータシステム１４０から取得しＣＰＵ３０１で処理した画像データに基づく画像を表示する。
演算処理ボード３０３は、画像処理など特定の演算機能が強化されたプロセッサおよびバッファメモリ（不図示）を備えている。以降の説明では各種演算処理、データ処理にはＣＰＵ３０１を、メモリ領域としてメインメモリ３０２を用いるとして説明するが、演算処理ボード内のプロセッサやバッファメモリを用いることも可能であり、本発明の範疇とする。
（被写体）
図４は被写体の一例である病理標本のプレパラート（スライドとも呼ぶ）を表す。病理標本のプレパラートでは、スライドグラス４１０上に載置した検体４００が封入剤（不図示）とその上に載せるカバーグラス４１１によって封入されている。検体４００の大きさや厚みは検体毎によって異なっている。更にスライドグラス４１０上には検体に関する情報が記録されたラベルエリア４１２が存在する。ラベルエリア４１２への情報の記録は、ペンによる記入でもよいし、バーコードや２次元コードの印刷でもよい。また電気的、磁気的、または光学的な方法により情報を記憶可能な記憶媒体をラベルエリア４１２に設けてもよい。以降の実施形態では、被写体として図４に示す病理標本のプレパラートを例に説明する。
図４は被写体の一例である病理標本のプレパラート（スライドとも呼ぶ）を表す。病理標本のプレパラートでは、スライドグラス４１０上に載置した検体４００が封入剤（不図示）とその上に載せるカバーグラス４１１によって封入されている。検体４００の大きさや厚みは検体毎によって異なっている。更にスライドグラス４１０上には検体に関する情報が記録されたラベルエリア４１２が存在する。ラベルエリア４１２への情報の記録は、ペンによる記入でもよいし、バーコードや２次元コードの印刷でもよい。また電気的、磁気的、または光学的な方法により情報を記憶可能な記憶媒体をラベルエリア４１２に設けてもよい。以降の実施形態では、被写体として図４に示す病理標本のプレパラートを例に説明する。
（撮像装置）
図５は被写体を撮影しデジタル画像を取得する撮像装置の構成の一部を模式的に表す。図５に示すように、本実施形態では、検体４００の表面に平行にｘ軸とｙ軸をとり、検体４００の深さ方向（光学系の光軸方向）にｚ軸をとる。
図５は被写体を撮影しデジタル画像を取得する撮像装置の構成の一部を模式的に表す。図５に示すように、本実施形態では、検体４００の表面に平行にｘ軸とｙ軸をとり、検体４００の深さ方向（光学系の光軸方向）にｚ軸をとる。
プレパラート（検体４００）をステージ５０２上に置き、照明ユニット５０１から光を照射する。検体４００を透過した光は、撮像光学系５０３によって拡大され、撮像センサ５０４の受光面に結像する。撮像センサ５０４は複数の光電変換素子を有する一次元ラインセンサまたは二次元エリアセンサである。検体４００の光像は撮像センサ５０４により電気信号に変換され、デジタルデータとして出力される。
一回の撮影で検体全体の画像を取得できない場合には、ステージ５０２をｘ方向および／またはｙ方向に移動しながら複数回の分割撮影を行い、得られた複数の分割画像を合成（繋ぎ合わせ）して検体全体の画像を生成する。また、ステージ５０２をｚ方向に移動しつつ複数回の撮影を行うことで、光軸方向（深さ方向）の焦点位置が異なる複数枚の画像（レイヤー画像と呼ぶ）を取得する。本明細書では、光軸方向（深さ方向）の焦点位置が異なる複数枚のレイヤー画像からなる画像群を「Ｚスタック画像」または「Ｚスタック画像データ」と呼ぶ。また、被写体を撮影することによって取得された画像であるレイヤー画像やＺスタック画像を「元画像」と呼ぶ。
図２の表示倍率２０６に表示される倍率の値は、撮像光学系５０３の倍率に画像表示アプリケーション上での拡大／縮小率を掛けた値である。なお、撮像光学系５０３の倍率は固定でも良いし、対物レンズの交換によって可変であっても良い。
（視点画像を生成する技術の説明）
画像生成装置１００では、暗視野観察や位相差観察など光学系に変更を加える観察・撮像方法を必要としない代わりに、Ｚスタック画像から画像処理によって中間画像（視点画像）を生成し、その中間画像を用いて観察や診断に適した観察用画像を生成する。まずは、Ｚスタック画像から中間画像としての視点画像を生成する処理に利用可能な技術について説明する。
画像生成装置１００では、暗視野観察や位相差観察など光学系に変更を加える観察・撮像方法を必要としない代わりに、Ｚスタック画像から画像処理によって中間画像（視点画像）を生成し、その中間画像を用いて観察や診断に適した観察用画像を生成する。まずは、Ｚスタック画像から中間画像としての視点画像を生成する処理に利用可能な技術について説明する。
光軸方向の焦点位置を変えて撮影した複数枚の画像（Ｚスタック画像）を元に、任意の方向から観察した視点画像（任意視点画像）を生成できることが知られている。ここで、視点画像とは所定の観察方向（即ち視点）から被写体を観察した画像を表す。
例えば特開２００７−１２８００９号公報（以降、特許文献１と呼ぶ）には、ピント位置を変えて撮影した焦点ぼけ画像群から、任意の視点や任意のぼけの画像を生成する方法が開示されている。この方法は、焦点ぼけ画像群に対し、３次元的な焦点ぼけがＸＹＺ位置で不変になるように座標変換処理を施し、得られた直交座標系（ＸＹＺ）において３次
元のフィルタ処理を適用することで視点やぼけを変更した画像を得る、というものである。
また、非特許文献２には、特許文献１の方法の改良が開示されている。非特許文献２では、視点から視線方向を求め、Ｚスタック画像を視線方向に積算することで積算画像を生成するとともに、同じように３次元ぼけの視線方向の積算画像も生成する。その後、Ｚスタック画像の積算画像に対し３次元ぼけの積算画像を逆フィルタ処理することにより、Ｚ方向（レイヤー画像の枚数）の制約による影響を抑制し、高画質な視点画像を生成することができる。
また、非特許文献３には、非特許文献２の計算を高速化する方法が開示されている。非特許文献３の方法では、被写体（シーン）に依存せずに予め定まるフィルタと焦点ぼけ画像群の各Ｚ位置のフーリエ変換画像の線型結合によって、周波数領域上での任意視点画像や任意焦点ぼけ画像が効率的に計算できる。
例えば特開２００７−１２８００９号公報（以降、特許文献１と呼ぶ）には、ピント位置を変えて撮影した焦点ぼけ画像群から、任意の視点や任意のぼけの画像を生成する方法が開示されている。この方法は、焦点ぼけ画像群に対し、３次元的な焦点ぼけがＸＹＺ位置で不変になるように座標変換処理を施し、得られた直交座標系（ＸＹＺ）において３次
元のフィルタ処理を適用することで視点やぼけを変更した画像を得る、というものである。
また、非特許文献２には、特許文献１の方法の改良が開示されている。非特許文献２では、視点から視線方向を求め、Ｚスタック画像を視線方向に積算することで積算画像を生成するとともに、同じように３次元ぼけの視線方向の積算画像も生成する。その後、Ｚスタック画像の積算画像に対し３次元ぼけの積算画像を逆フィルタ処理することにより、Ｚ方向（レイヤー画像の枚数）の制約による影響を抑制し、高画質な視点画像を生成することができる。
また、非特許文献３には、非特許文献２の計算を高速化する方法が開示されている。非特許文献３の方法では、被写体（シーン）に依存せずに予め定まるフィルタと焦点ぼけ画像群の各Ｚ位置のフーリエ変換画像の線型結合によって、周波数領域上での任意視点画像や任意焦点ぼけ画像が効率的に計算できる。
以降の説明では、光軸方向の焦点位置を変えて撮影した複数枚の画像（Ｚスタック画像）を元に、任意の方向から観察した視点画像（任意視点画像）を生成することや、任意の焦点ぼけを持つ画像を生成する手法を総称して、ＭＦＩ（マルチフォーカスイメージング）任意視点／焦点ぼけ画像生成法と呼ぶこととする。
なお、両側テレセントリックな光学系を持つ顕微鏡でピント位置を変えて撮影したＺスタック画像は３次元的な焦点ぼけがＸＹＺ位置で不変である。よって、両側テレセントリックな光学系で撮影したＺスタック画像にＭＦＩ任意視点／焦点ぼけ画像生成法を適用する場合は、座標変換処理および座標変換処理に伴う画像の拡縮処理は不要である。
なお、両側テレセントリックな光学系を持つ顕微鏡でピント位置を変えて撮影したＺスタック画像は３次元的な焦点ぼけがＸＹＺ位置で不変である。よって、両側テレセントリックな光学系で撮影したＺスタック画像にＭＦＩ任意視点／焦点ぼけ画像生成法を適用する場合は、座標変換処理および座標変換処理に伴う画像の拡縮処理は不要である。
ライトフィールドと呼ばれる４次元の情報（ＸＹの２次元画像に視点位置の自由度を加えた情報）が記録された画像を１回の撮影で取得可能な撮像装置が知られている。このような撮像装置はライトフィールドカメラやライトフィールド顕微鏡と呼ばれる。これらの装置では、本来結像面となる位置にレンズアレイが配置されており、それよりも後方のイメージセンサでライトフィールドを撮影する。ライトフィールドが記録された元画像からも、公知の技術を用いて、任意の焦点位置の画像や任意の方向から観察した視点画像（任意視点画像）を生成できる。
本実施例では、撮像装置の被写体に対する方向を物理的に変えることなく、Ｚスタック画像又はライトフィールドなどの撮像画像を元に、デジタル画像処理によって生成される任意の観察方向の画像を「視点画像」とよぶ。この視点画像は、被写体の撮影に用いる撮像光学系を通る任意の光線を主光線とし、その主光線を中心とする光束によって撮像面に形成される画像を模擬した画像である。主光線の方向が観察方向に対応する。主光線の方向は任意に設定できる。また光束の大きさ（ＮＡ）も任意に設定できる。画像診断等が目的の場合には、視点画像の被写界深度は深いことが望ましいので、視点画像に対応する光束のＮＡは０．１以下が望ましい。
なお、デジタル画像処理によって生成（計算）した視点画像は、撮像光学系の露出条件（絞りの位置・大きさ）や光軸方向やレンズ等を物理的に変えて撮影した画像とは、必ずしも一致しない。しかし、現実に撮影した画像と一致していなくても、視点を変えて被写体を観察したのと同様の特徴を有する画像であれば（つまり、観察方向を変えるのと同様の効果をデジタル画像処理によって与えることができれば）、画像観察や画像診断等には有用である。従って、現実に光軸方向等を変えて撮影した画像とは厳密には一致しないが、そのような画像と同様の特徴が現れるようにデジタル画像処理された画像も、本実施例の視点画像に含まれる。
特許文献１によれば、座標変換を施した焦点ぼけ画像群から、実空間上のレンズ面（瞳面に相当）上にある原点Ｏ（ｘ，ｙ，ｚ）＝（０，０，０）から視点（ｘ，ｙ，ｚ）＝（
ｓ，ｔ，０）だけズレた位置のピンホールを通して観察した視点画像を生成できる。ＭＦＩ任意視点／焦点ぼけ画像生成法では、レンズ面上の視点の位置を変えることで被写体を観察する観察方向、すなわち視線方向を変化させることができる。
ｓ，ｔ，０）だけズレた位置のピンホールを通して観察した視点画像を生成できる。ＭＦＩ任意視点／焦点ぼけ画像生成法では、レンズ面上の視点の位置を変えることで被写体を観察する観察方向、すなわち視線方向を変化させることができる。
視線方向は、結像した像に対応する被写体の所定の位置から発する光束の中で、レンズ面上の視点の位置（ｘ，ｙ，ｚ）＝（ｓ，ｔ，０）を通る直線の傾きである、と定義できる。視線方向は様々な方法で表現可能である。例えば、直線の進行方向を示す３次元的なベクトルによる表現でも良いし、前述の３次元的なベクトルが光軸となす角（観察角）と光軸に垂直な平面に射影したときのベクトルがＸ軸となす角（偏角）による表現でも良い。
撮像光学系が両側テレセントリックではない場合、撮像面における３次元的な焦点ぼけは、合焦した被写体の空間的な位置（ｘｙｚ座標内の位置）によって変化し、レンズ面上の視点の位置（ｘ，ｙ，ｚ）＝（ｓ，ｔ，０）を通る直線の傾きは一定とはならない。その場合、特許文献１に記載の座標変換後の直交座標系（ＸＹＺ）の上で視線方向を定義すると良く、視線方向は（Ｘ，Ｙ，Ｚ）＝（−ｓ，−ｔ，１）のベクトルで表すことができる。以下、座標変換後の視線方向の求め方を説明する。
特許文献１には、撮像光学系の焦点が合った任意の位置と撮像装置のレンズ面（瞳面に相当）上の同一の視点の位置（ｘ，ｙ，ｚ）＝（ｓ，ｔ，０）を結ぶ光線は、座標変換後の直交座標系（ＸＹＺ）では全て互いに平行な光線となることが記載されている。（特許文献１の図１〜３およびその説明を参照）
特許文献１には、撮像光学系の焦点が合った任意の位置と撮像装置のレンズ面（瞳面に相当）上の同一の視点の位置（ｘ，ｙ，ｚ）＝（ｓ，ｔ，０）を結ぶ光線は、座標変換後の直交座標系（ＸＹＺ）では全て互いに平行な光線となることが記載されている。（特許文献１の図１〜３およびその説明を参照）
透視座標系（座標変換前の実空間）の被写体のある点から出た光は、（ｐ＋ｓ，ｑ＋ｔ，ｆ）（ｆは焦点距離）を通過し、視点の位置（ｘ，ｙ，ｚ）＝（ｓ，ｔ，０）で屈折する。この直線は以下の式で表される。
数１の直線は座標変換後の直交座標系（ＸＹＺ）では以下の式で表される。
数２にＺ＝０（ｚ＝ｆ）、Ｚ＝１（ｚ＝∞）を代入すると、それぞれ（Ｘ，Ｙ，Ｚ）＝（ｐ＋ｓ，ｑ＋ｔ，０）、（Ｘ，Ｙ，Ｚ）＝（ｐ，ｑ，１）となることから、直交座標系（Ｘ，Ｙ，Ｚ）での直線の傾きは（−ｓ，−ｔ，１）で表される。
従って、座標変換後の直交座標系での視線方向を表すベクトルは（Ｘ，Ｙ，Ｚ）＝（−ｓ，−ｔ，１）となる。
従って、座標変換後の直交座標系での視線方向を表すベクトルは（Ｘ，Ｙ，Ｚ）＝（−ｓ，−ｔ，１）となる。
なお、撮像光学系が両側テレセントリックである場合、奥行き方向に焦点を変えて撮影した複数枚の画像（Ｚスタック画像）中の３次元的な焦点ぼけはＺの位置によらず不変となる。
従って、空間的な位置によらず３次元的な焦点ぼけを不変とするための座標変換は必要ない。実空間においてピントが合った被写体の所定の位置（ｘ，ｙ，ｚ）＝（０，０，ｚａ）とレンズ面上の視点の位置（ｘ，ｙ，ｚ）＝（ｓ，ｔ，０）を結ぶ直線の傾き（−ｓ，−ｔ，ｚａ）をそのまま視線方向と見なしても良い。
従って、空間的な位置によらず３次元的な焦点ぼけを不変とするための座標変換は必要ない。実空間においてピントが合った被写体の所定の位置（ｘ，ｙ，ｚ）＝（０，０，ｚａ）とレンズ面上の視点の位置（ｘ，ｙ，ｚ）＝（ｓ，ｔ，０）を結ぶ直線の傾き（−ｓ，−ｔ，ｚａ）をそのまま視線方向と見なしても良い。
（視点と実際に標本を観察したときの偏角θ及び観察角φの対応関係）
図１３（ａ）は実空間上の視点の位置（ｘ，ｙ，ｚ）＝（ｓ，ｔ，０）を表す模式図であり、図１３（ｂ）は直交座標系（ＸＹＺ）において視点の位置（ｘ，ｙ，ｚ）＝（ｓ，
ｔ，０）を通る光線を表す模式図である。
図１３（ａ）は実空間上の視点の位置（ｘ，ｙ，ｚ）＝（ｓ，ｔ，０）を表す模式図であり、図１３（ｂ）は直交座標系（ＸＹＺ）において視点の位置（ｘ，ｙ，ｚ）＝（ｓ，
ｔ，０）を通る光線を表す模式図である。
図１３（ａ）で示す点線の円はレンズ面上（ｚ＝０）で光線が通過可能な範囲を表している。偏角θをレンズ面上の視点の位置（ｘ，ｙ，ｚ）＝（ｓ，ｔ，０）がレンズ面上（ｚ＝０）のｘ軸となす角、あるいは視線（−ｓ，−ｔ，１）をｘｙ平面に射影したときの直線がｘ軸となす角と定義すると、偏角θは下記の式で求められる。
ただし、θはｔ，ｓの符号に応じて−１８０〜＋１８０度の範囲に収まるように調整する。
続いて、図１３（ｂ）を用いて視線と変換座標上の観察角φＴの関係について説明する。
図１３（ｂ）では、数２で示す直線と数２に光軸上の点ｐ＝０、ｑ＝０を代入した場合の直線を太字の矢印で示している。
特許文献１によれば、直交座標系（ＸＹＺ）のＺ＝０は透視座標系（ｘｙｚ）のｚ＝ｆ（またはｚ＝−∞）に対応し、Ｚ＝１はｚ＝∞（またはｚ＝−ｆ）に対応している。そのため、図１３（ｂ）は直交座標系ＸＹＺにおいて無限遠（Ｚ＝１）からの光束が、レンズ面上の手前の焦点面（Ｚ＝０）で広がりを持つことを示している。（特許文献１の図３およびその説明を参照）
ここで、変換座標上の観察角φＴを、視線（−ｓ，−ｔ，１）と光軸（Ｚ軸）がなす角と定義すると、図１３（ｂ）からも明らかなように視線は、被写体の位置に依存しないので、観察角φＴは以下の式で求められる。
なお、図１３（ｂ）の２本の点線はレンズ面上の最も端を通る光線を示しており、座標変換前の透視座標系（ｘｙｚ）でのレンズの絞り半径をｒａとすると、視点の位置（ｘ，ｙ，ｚ）＝（ｓ，ｔ，０）が半径ｒａの内部にある場合のみ視点画像は計算できる。
図１３（ｂ）では、数２で示す直線と数２に光軸上の点ｐ＝０、ｑ＝０を代入した場合の直線を太字の矢印で示している。
特許文献１によれば、直交座標系（ＸＹＺ）のＺ＝０は透視座標系（ｘｙｚ）のｚ＝ｆ（またはｚ＝−∞）に対応し、Ｚ＝１はｚ＝∞（またはｚ＝−ｆ）に対応している。そのため、図１３（ｂ）は直交座標系ＸＹＺにおいて無限遠（Ｚ＝１）からの光束が、レンズ面上の手前の焦点面（Ｚ＝０）で広がりを持つことを示している。（特許文献１の図３およびその説明を参照）
ここで、変換座標上の観察角φＴを、視線（−ｓ，−ｔ，１）と光軸（Ｚ軸）がなす角と定義すると、図１３（ｂ）からも明らかなように視線は、被写体の位置に依存しないので、観察角φＴは以下の式で求められる。
次に、実際に標本を観察したときの視線に対応する偏角θ、観察角φについて述べる。スネルの法則では屈折率の異なる境界に光線が入射したとき、光線の入射角と入射側の媒質の屈折率の積は、光線の屈折角と屈折側の媒体の屈折率の積に等しい。標本の屈折率は空気の屈折率よりも大きいことから、空気中の観察角に比べ標本中の観察角は小さくなっている。そのため、屈折した光線で構成される、標本中の３次元的な焦点ぼけは、空気中での３次元的な焦点ぼけよりも小さくなっている。しかし、本実施例では標本と標本中での３次元的な焦点ぼけによる３次元的な結像関係に基づいて視点の位置を計算しているため、標本の屈折率の影響は考える必要はなく、偏角θおよび観察角φはそのまま標本中での観察方向を表している。
撮像光学系が両側テレセントリックである場合には、座標変換を必要としないため、ｘ方向とｙ方向のセンサ画素ピッチが等しいとすれば、観察角φは、ｘ方向のセンサ画素ピッチΔｘと、ｚ方向の移動間隔Δｚ（単位はμｍ）を用いて、下記式で表現できる。
なお、撮像光学系が両側テレセントリックでない場合には、数５でΔｘとΔｚの代わりに、直交座標系（ＸＹＺ）におけるＸ方向のセンサ画素ピッチΔＸとＺ方向の移動間隔ΔＺを用いれば観察角φが求められる。
以上で、実際に標本を観察したときの視線に対応する偏角θ、観察角φについて説明した。
以降の説明では、レンズ面上の視点の位置（ｘ，ｙ，ｚ）＝（ｓ，ｔ，０）を視点（ｓ，ｔ）と略して記載する。また、以降の説明では、直交座標系（ＸＹＺ）上での画像処理を前提として説明するため、視点の位置（ｓ，ｔ）に言及する場合のみ透視座標系（座標変換前の実空間）での位置を表すものとし、その他は特に断りが無い限りは、直交座標系（ＸＹＺ）での位置を表すとする。
撮像光学系が両側テレセントリックである場合には、座標変換を必要としないため、ｘ方向とｙ方向のセンサ画素ピッチが等しいとすれば、観察角φは、ｘ方向のセンサ画素ピッチΔｘと、ｚ方向の移動間隔Δｚ（単位はμｍ）を用いて、下記式で表現できる。
以上で、実際に標本を観察したときの視線に対応する偏角θ、観察角φについて説明した。
以降の説明では、レンズ面上の視点の位置（ｘ，ｙ，ｚ）＝（ｓ，ｔ，０）を視点（ｓ，ｔ）と略して記載する。また、以降の説明では、直交座標系（ＸＹＺ）上での画像処理を前提として説明するため、視点の位置（ｓ，ｔ）に言及する場合のみ透視座標系（座標変換前の実空間）での位置を表すものとし、その他は特に断りが無い限りは、直交座標系（ＸＹＺ）での位置を表すとする。
図５の撮像装置で取得したＺスタック画像に対し特許文献１の方法を適用すると、視点の位置、即ち観察方向を変えた視点画像を生成することが出来る。
特許文献１の方法で計算する視点画像には、主に２つの特徴がある。１つは視点画像が非常に深い（無限大の）被写界深度を持ち、透過率が異なる標本内の物質の境界が明瞭に見える点である。もう１つは、視点画像は、照明の一部領域から標本を照らして得る偏斜照明の観察像に近く、ＸＹ平面での視線方向に沿って変化する凹凸が強調され、標本が立体的に見える点である。視点画像では偏斜照明の像と同様、光軸に対して視線方向が傾くほど、即ち、視線の観察角φが大きくなるほど、標本表面の凹凸のコントラストが高くなり、標本表面が立体的に見える。
（ただし、物理的には偏斜照明の像と視点画像は異なっている。偏斜照明の像はフォーカス位置の変更に伴って光学的なぼけが発生するが、視点画像はフォーカス位置の変更によらず被写界深度は非常に深いままであるという違いがある。なお、視点画像はピントを合わせるＺスタック画像のＺ位置Ｚｆによって変化するが、その変化はＸＹ方向の平行移動で表される。）
特許文献１の方法で計算する視点画像には、主に２つの特徴がある。１つは視点画像が非常に深い（無限大の）被写界深度を持ち、透過率が異なる標本内の物質の境界が明瞭に見える点である。もう１つは、視点画像は、照明の一部領域から標本を照らして得る偏斜照明の観察像に近く、ＸＹ平面での視線方向に沿って変化する凹凸が強調され、標本が立体的に見える点である。視点画像では偏斜照明の像と同様、光軸に対して視線方向が傾くほど、即ち、視線の観察角φが大きくなるほど、標本表面の凹凸のコントラストが高くなり、標本表面が立体的に見える。
（ただし、物理的には偏斜照明の像と視点画像は異なっている。偏斜照明の像はフォーカス位置の変更に伴って光学的なぼけが発生するが、視点画像はフォーカス位置の変更によらず被写界深度は非常に深いままであるという違いがある。なお、視点画像はピントを合わせるＺスタック画像のＺ位置Ｚｆによって変化するが、その変化はＸＹ方向の平行移動で表される。）
次に、１つ目の特徴である、透過率が異なる物質の境界が明瞭に見える理由について説明する。
図６（ａ）は、直交座標系（ＸＹＺ）での光学系の３次元的な焦点ぼけを表す図である。６００は３次元的な焦点ぼけ形状を示し、ピント位置（２つの円錐の頂点）では焦点ぼけは僅かだが、Ｚ位置がピント位置から離れるに従い、焦点ぼけが広がる様子を示している。特許文献１の方法を用いれば、Ｚスタック画像から円錐６００の内部を通る任意の視線方向（例えば直線６１０）の光線で構成される視点画像を生成することが出来る。
図６（ａ）は、直交座標系（ＸＹＺ）での光学系の３次元的な焦点ぼけを表す図である。６００は３次元的な焦点ぼけ形状を示し、ピント位置（２つの円錐の頂点）では焦点ぼけは僅かだが、Ｚ位置がピント位置から離れるに従い、焦点ぼけが広がる様子を示している。特許文献１の方法を用いれば、Ｚスタック画像から円錐６００の内部を通る任意の視線方向（例えば直線６１０）の光線で構成される視点画像を生成することが出来る。
図６（ｂ）は、直交座標系（ＸＹＺ）での病理標本（検体）を異なる方向から見た様子を示す。図６（ｂ）の標本６２０の内部には斜め方向の空洞６３０が存在している。
方向６３１から観察すると空洞６３０以外の部位が透けて見える為、空洞６３０の壁面のコントラストは明瞭ではない。また方向６３２から観察した場合も同様で空洞６３０のコントラストは不明瞭である。しかし空洞６３０の壁面に沿った方向６３３から観察する場合、他の部位の影響を受けないので、空洞６３０の壁面のコントラストは明瞭となる。なお、視線方向が多少空洞の壁面の方向と異なってもコントラストは比較的高い状態を維持できる。
方向６３１から観察すると空洞６３０以外の部位が透けて見える為、空洞６３０の壁面のコントラストは明瞭ではない。また方向６３２から観察した場合も同様で空洞６３０のコントラストは不明瞭である。しかし空洞６３０の壁面に沿った方向６３３から観察する場合、他の部位の影響を受けないので、空洞６３０の壁面のコントラストは明瞭となる。なお、視線方向が多少空洞の壁面の方向と異なってもコントラストは比較的高い状態を維持できる。
一方、標本６２０のＺスタック画像においては、いずれのＺ位置（焦点位置）のレイヤー画像においても、方向６３１〜６３３の光線を含む多方向の光束の影響を受ける為、空洞の壁面のコントラストは方向６３３からの観察像に比べて明瞭にはならない。この現象は空洞に限らず、核や細胞膜、線維等においても同様である。
以上、視点画像において標本内の透過率が異なる物質の境界が明瞭に見える現象について説明した。
以上、視点画像において標本内の透過率が異なる物質の境界が明瞭に見える現象について説明した。
病理標本は半透明の物体であり、透過光以外にも散乱光が存在している。その散乱光の存在が視点画像の２つ目の特徴を生んでいる。
次に、標本での散乱光により、視線の観察角φが大きくなるほど、標本表面の凹凸のコントラストが高くなる理由について説明する。
次に、標本での散乱光により、視線の観察角φが大きくなるほど、標本表面の凹凸のコントラストが高くなる理由について説明する。
図１４の１４００はプレパラート内の病理標本の表面に存在する凹凸を示す模式図である。図１４に示すｘｚ平面の凹凸は奥行き方向であるｙ方向にも続いているとする。
組織診用の病理標本はパラフィンで固定された後、マイクロトームで均一な厚みにスライスされ、その後染色が施されている。しかし、病理標本は完全に均一ではなく、細胞と管や腔の境界、核と細胞質の間の境界などでは組織の構造や物質の成分に起因する凹凸が存在し、病理標本の表面には図１４に示すような起伏のある構造が存在している。
（図１４は簡易的なモデルであり、実際の標本の凹凸には図１４のようにとがった部分は少ない。また図１４のような凸の構造だけでなく標本内部に凹んだ構造も存在する。また表面が平らでも内部に屈折率が異なる物質が存在する場合は光学的な距離が変わるため、標本内部の屈折率の不連続は表面凹凸と見なすことができる。）
なお、実際のプレパラートでは、カバーグラスと標本の間に透明な封入剤が存在している。しかし、封入剤の屈折率と標本の屈折率の差は僅かで影響は少ないため、以降、両者の屈折率は同一として説明する。
組織診用の病理標本はパラフィンで固定された後、マイクロトームで均一な厚みにスライスされ、その後染色が施されている。しかし、病理標本は完全に均一ではなく、細胞と管や腔の境界、核と細胞質の間の境界などでは組織の構造や物質の成分に起因する凹凸が存在し、病理標本の表面には図１４に示すような起伏のある構造が存在している。
（図１４は簡易的なモデルであり、実際の標本の凹凸には図１４のようにとがった部分は少ない。また図１４のような凸の構造だけでなく標本内部に凹んだ構造も存在する。また表面が平らでも内部に屈折率が異なる物質が存在する場合は光学的な距離が変わるため、標本内部の屈折率の不連続は表面凹凸と見なすことができる。）
なお、実際のプレパラートでは、カバーグラスと標本の間に透明な封入剤が存在している。しかし、封入剤の屈折率と標本の屈折率の差は僅かで影響は少ないため、以降、両者の屈折率は同一として説明する。
図１４の１４１１は凹凸の無い面、１４１２は右上がりの斜面、１４１３は右下がりの斜面を示す。斜面１４１２、斜面１４１３がｘ軸となす傾斜角はそれぞれα（α＞０）である。
図１５は図１４の１４１１〜１４１３の面での観察角φにおける散乱光の強度を示す模式図である。図１５の（ａ）、（ｂ）、（ｃ）はそれぞれ平面１４１１、斜面１４１２、１４１３での光の散乱を示している。それぞれの面に接する円は、標本表面での光の拡散特性を完全拡散透過面と仮定した場合の散乱方向による散乱光の強度を示す。円内の太い矢印の線は光軸（ｚ軸）からφだけ傾けた角度から観察した場合の散乱光の強度を示している。（実際には標本表面は完全拡散透過面ではなく、光の入射方向・観察方向による強度依存性があるが、説明を簡略化するため、ここでは完全拡散透過面と仮定して説明する。）
図１５は図１４の１４１１〜１４１３の面での観察角φにおける散乱光の強度を示す模式図である。図１５の（ａ）、（ｂ）、（ｃ）はそれぞれ平面１４１１、斜面１４１２、１４１３での光の散乱を示している。それぞれの面に接する円は、標本表面での光の拡散特性を完全拡散透過面と仮定した場合の散乱方向による散乱光の強度を示す。円内の太い矢印の線は光軸（ｚ軸）からφだけ傾けた角度から観察した場合の散乱光の強度を示している。（実際には標本表面は完全拡散透過面ではなく、光の入射方向・観察方向による強度依存性があるが、説明を簡略化するため、ここでは完全拡散透過面と仮定して説明する。）
完全拡散透過面では、面と直交する法線方向の光の強度をＩ０、観察方向と面の法線のなす角をδとすると、δ方向の散乱光の強度Ｉ（δ）はＩ（δ）＝Ｉ０cosδで表せる。
図１５の（ａ）、（ｂ）、（ｃ）において、観察方向と面の法線のなす角δはそれぞれφ、φ＋α、φ−αで表せるため、それぞれの散乱光の強度は、
Ｉ０cosφ、Ｉ０cos（φ＋α）、Ｉ０cos（φ−α）
となる。
なお、観察方向から見てｚの値が増加する斜面（上りの斜面）では傾斜角αを正とし、ｚの値が減少する斜面（下りの斜面）では傾斜角αを負とすれば、いずれの面でも散乱光の強度は、Ｉ０cos（φ−α）で表せる。
図１５の（ａ）、（ｂ）、（ｃ）において、観察方向と面の法線のなす角δはそれぞれφ、φ＋α、φ−αで表せるため、それぞれの散乱光の強度は、
Ｉ０cosφ、Ｉ０cos（φ＋α）、Ｉ０cos（φ−α）
となる。
なお、観察方向から見てｚの値が増加する斜面（上りの斜面）では傾斜角αを正とし、ｚの値が減少する斜面（下りの斜面）では傾斜角αを負とすれば、いずれの面でも散乱光の強度は、Ｉ０cos（φ−α）で表せる。
斜面１４１２、１４１３の観察角φ方向の散乱光の強度を平面１４１１の観察角φ方向の散乱光の強度で割った値をコントラストＣ（φ，α）として定義すると、コントラストは下記の式となる。
表１にφおよびαを変えたコントラストＣ（φ，α）の値を示す。
表１より、観察角φが小さいときは、傾斜角αが大きくとも斜面１４１２、１４１３の間のコントラストは低いため観察しづらく、観察角φが大きくなるに従い、傾斜角αが小さくてもコントラストは大きくなり、観察しやすくなることが分かる。
以上、標本での散乱光により、視線の観察角φが大きくなるほど、標本表面の凹凸のコントラストが高くなる理由について説明した。
以上、標本での散乱光により、視線の観察角φが大きくなるほど、標本表面の凹凸のコントラストが高くなる理由について説明した。
（視点を変えたときの散乱光強度の変化）
次に視点を変えたときの標本表面の散乱光強度の変化について説明する。
図１４は表面凹凸のエッジに垂直な方向（輝度変化の方向）と視点の偏角θ（θ＝０）が一致した場合の図である。表面凹凸のエッジに垂直な方向とｘ軸とのなす角を凹凸方向角βとすると、凹凸方向角βと偏角θが一致しない場合には、表面凹凸１４００を斜め方向から観察することになる。このとき、偏角θ−βの角度を持つ観察方向から見た、斜面１４１３とその反対方向の斜面１４１２の見かけ上の傾斜角α’は
で求まる。数７から、見かけ上の傾斜角α’はαより小さくなり、凹凸方向角βと偏角θの差｜θ−β｜によって、コントラストＣが低下することが分かる。
ここで、｜θ−β｜が９０度を境に、傾斜角αおよびα’の符号は正から負、あるいは負から正に切り替わる点に注意する。これは、視点の偏角を変えた観察方向によって上りの斜面と下りの斜面が変わることに対応する。傾斜角α’は−α〜＋αの範囲を取り、例えば、斜面１４１３では視点の偏角が｜θ−β｜＝０のときα’＝α（観察方向から見て上りの斜面）、｜θ−β｜＝πのときα’＝−α（下りの斜面）となる。
次に視点を変えたときの標本表面の散乱光強度の変化について説明する。
図１４は表面凹凸のエッジに垂直な方向（輝度変化の方向）と視点の偏角θ（θ＝０）が一致した場合の図である。表面凹凸のエッジに垂直な方向とｘ軸とのなす角を凹凸方向角βとすると、凹凸方向角βと偏角θが一致しない場合には、表面凹凸１４００を斜め方向から観察することになる。このとき、偏角θ−βの角度を持つ観察方向から見た、斜面１４１３とその反対方向の斜面１４１２の見かけ上の傾斜角α’は
で求まる。数７から、見かけ上の傾斜角α’はαより小さくなり、凹凸方向角βと偏角θの差｜θ−β｜によって、コントラストＣが低下することが分かる。
ここで、｜θ−β｜が９０度を境に、傾斜角αおよびα’の符号は正から負、あるいは負から正に切り替わる点に注意する。これは、視点の偏角を変えた観察方向によって上りの斜面と下りの斜面が変わることに対応する。傾斜角α’は−α〜＋αの範囲を取り、例えば、斜面１４１３では視点の偏角が｜θ−β｜＝０のときα’＝α（観察方向から見て上りの斜面）、｜θ−β｜＝πのときα’＝−α（下りの斜面）となる。
次に、視点の偏角がθ−βの方向から観察した斜面１４１３の散乱光強度を平面１４１１で観察される光の強度で正規化した、散乱光正規化強度Ｖ（φ，α）について考える。
平面１４１１で観察される光の強度をＩｔｓ（φ）で表し、透過光の強度および散乱光の強度の和で構成される観察角φの関数とする。前記より、散乱光正規化強度Ｖ（φ，α）は以下の式で表せる。
病理標本では表面凹凸の傾斜角αは十分に小さいと推定できるため、cosα＝１、sinα＝αの近似式を用いて、数８は以下のように近似できる。
平面１４１１で観察される光の強度をＩｔｓ（φ）で表し、透過光の強度および散乱光の強度の和で構成される観察角φの関数とする。前記より、散乱光正規化強度Ｖ（φ，α）は以下の式で表せる。
続いて、Ａ（φ）およびＢ（φ）のとる値について述べる。
光の強度Ｉｔｓ（φ）は照明光学系の特性から一般に観察角φに従って減少する傾向があるため、仮にＩｔｓ（φ）＝Ｉ１cosφとして近似した場合、Ａ（φ）＝Ｉ０／Ｉ１と
なる。散乱光が透過光に比べて小さい場合、Ａ（φ）は比較的小さな定数とみなすことができる。一方、Ｂ（φ）は、φ＝０のとき、sinφ＝０よりＢ（φ）＝０となる。観察角
φの増加に従ってsinφは増加し、また光の強度Ｉｔｓ（φ）は減少すると見なせること
から、Ｂ（φ）は増加関数となる。Ｉｔｓ（φ）＝Ｉ１cosφと仮定すれば、Ｂ（φ）＝
Ｉ０／Ｉ１×tanφとなる。
光の強度Ｉｔｓ（φ）は照明光学系の特性から一般に観察角φに従って減少する傾向があるため、仮にＩｔｓ（φ）＝Ｉ１cosφとして近似した場合、Ａ（φ）＝Ｉ０／Ｉ１と
なる。散乱光が透過光に比べて小さい場合、Ａ（φ）は比較的小さな定数とみなすことができる。一方、Ｂ（φ）は、φ＝０のとき、sinφ＝０よりＢ（φ）＝０となる。観察角
φの増加に従ってsinφは増加し、また光の強度Ｉｔｓ（φ）は減少すると見なせること
から、Ｂ（φ）は増加関数となる。Ｉｔｓ（φ）＝Ｉ１cosφと仮定すれば、Ｂ（φ）＝
Ｉ０／Ｉ１×tanφとなる。
特許文献１の方法で計算する視点画像では、平均を維持する周波数フィルタ処理により、視点にかかわらず画像の平均輝度は変化しない。従って、視点画像での斜面１４１３の輝度から染色部位の透過率の影響を受けた透過光強度を除いた値は、正規化強度Ｖ（φ，α）にほぼ等しいと考えることができる。
（視点を変えたときの透過光強度の変化）
次に、視点が異なる視点画像での透過光強度の変化について考える。
観察する標本において、隣接する物質との輝度差が少ない領域（細胞質や細胞境界）では視線方向が違っても輝度差は少なく、透過光の強度には影響が少ない。また、組織診病理標本のように厚みが４μｍ程度の比較的薄い標本では、標本表面にピントを合わせて計算した視点画像では観察される標本内部の物体の位置は大きくは変わらない。（特許文献１の方法で計算される視点画像ではピントを合わせたＺスタック画像のＺ位置Ｚｆの近傍に存在する物体は、視点によらずほぼ同一の視点画像のＸＹ位置に現れる。それは複数視点の視点画像を統合した画像においてＸＹ位置に差がないため、ぼけが少なくなることからも理解できる。）
従って、視点の位置を変えて求めた視点画像間での透過光強度の差は僅かと見なすことができ、散乱光正規化強度間の差分と視点画像間の差分はほぼ等しいと考えることができる。
次に、視点が異なる視点画像での透過光強度の変化について考える。
観察する標本において、隣接する物質との輝度差が少ない領域（細胞質や細胞境界）では視線方向が違っても輝度差は少なく、透過光の強度には影響が少ない。また、組織診病理標本のように厚みが４μｍ程度の比較的薄い標本では、標本表面にピントを合わせて計算した視点画像では観察される標本内部の物体の位置は大きくは変わらない。（特許文献１の方法で計算される視点画像ではピントを合わせたＺスタック画像のＺ位置Ｚｆの近傍に存在する物体は、視点によらずほぼ同一の視点画像のＸＹ位置に現れる。それは複数視点の視点画像を統合した画像においてＸＹ位置に差がないため、ぼけが少なくなることからも理解できる。）
従って、視点の位置を変えて求めた視点画像間での透過光強度の差は僅かと見なすことができ、散乱光正規化強度間の差分と視点画像間の差分はほぼ等しいと考えることができる。
（視点の偏角θを変えた視点画像からの標本表面の散乱光の情報の抽出）
続いて、偏角θを変えた視点画像間の演算により、標本表面の散乱光の情報を抽出することを考える。
図１４の１４１３に示す傾斜角αの所定の表面凹凸において、数７より、凹凸方向角βと偏角θの差｜θ−β｜が０度の場合、傾斜角はαであり、散乱光正規化強度Ｖ（φ，α）は最大となる。一方、｜θ−β｜が１８０度の場合、見かけ上の傾斜角α’は−αとな
り、散乱光正規化強度Ｖ（φ，α’）は最小となる。
従って、｜θ−β｜が０になる視点画像と｜θ−β｜が１８０度となる視点画像の間で減算をすれば、効率的に標本表面の散乱光の情報（の一部）が抽出できることが分かる。以下に式を示す。
続いて、偏角θを変えた視点画像間の演算により、標本表面の散乱光の情報を抽出することを考える。
図１４の１４１３に示す傾斜角αの所定の表面凹凸において、数７より、凹凸方向角βと偏角θの差｜θ−β｜が０度の場合、傾斜角はαであり、散乱光正規化強度Ｖ（φ，α）は最大となる。一方、｜θ−β｜が１８０度の場合、見かけ上の傾斜角α’は−αとな
り、散乱光正規化強度Ｖ（φ，α’）は最小となる。
従って、｜θ−β｜が０になる視点画像と｜θ−β｜が１８０度となる視点画像の間で減算をすれば、効率的に標本表面の散乱光の情報（の一部）が抽出できることが分かる。以下に式を示す。
標本の表面凹凸の傾斜角α、凹凸方向角βは様々であるため、偏角θを変えた様々な視点において偏角θが１８０度異なる視点の視点画像間で差分を求め、その結果を集めれば、標本表面の散乱光の情報が抽出できることが分かる。
なお、数１０より、偏角θが１８０度異なる視点の視点画像間以外の演算であっても、散乱光の情報の抽出は可能であることが分かる。例えば、｜θ−β｜＝π／２のときα’＝０であり、視点画像間の差分からα×Ｂ（φ）が抽出できる。
また、減算だけでなく除算でも標本表面の散乱光の情報が抽出できる。すなわち、Ｖ（φ，α）／Ｖ（φ，α’）の値も傾斜角αに応じて変化するので、散乱光の情報を表す指標といえる。
なお、数１０より、偏角θが１８０度異なる視点の視点画像間以外の演算であっても、散乱光の情報の抽出は可能であることが分かる。例えば、｜θ−β｜＝π／２のときα’＝０であり、視点画像間の差分からα×Ｂ（φ）が抽出できる。
また、減算だけでなく除算でも標本表面の散乱光の情報が抽出できる。すなわち、Ｖ（φ，α）／Ｖ（φ，α’）の値も傾斜角αに応じて変化するので、散乱光の情報を表す指標といえる。
（視点の観察角φを変えた視点画像からの標本表面の散乱光の情報の抽出）
続いて、前述の偏角θの場合と同様に、観察角φを変えた視点画像間の演算により、標本表面の散乱光の情報を抽出することを考える。
観察角がφとφ’の２つの視点画像間の減算は下記の式で表現できる。（ただし、Ａ（φ）＝Ａ（φ’）と近似）
続いて、前述の偏角θの場合と同様に、観察角φを変えた視点画像間の演算により、標本表面の散乱光の情報を抽出することを考える。
観察角がφとφ’の２つの視点画像間の減算は下記の式で表現できる。（ただし、Ａ（φ）＝Ａ（φ’）と近似）
既に述べたように、Ｂ（φ）はφの増加に伴って増加する関数であることから、観察角φを変えた２枚の視点画像間の演算により、標本表面の散乱光の情報（の一部）が抽出できることが分かる。Ｂ（φ）はφ＝０のとき０となるため、観察角φの視点画像と観察角φ’が０になる視点の視点画像との減算が最も効果的である。つまり、２つの視点画像から散乱光を抽出する場合、一方が観察角の大きさが０度の視点画像であり、他方が観察角の大きさが０度でない視点画像であるとよい。
前述の偏角θの場合と同様、標本中の凹凸方向角βは様々であるため、観察角φだけでなく、偏角θを変えた様々な視点において視点画像間で差分を求め、その結果を集めれば、標本表面の散乱光の情報が抽出できることが分かる。
前述の偏角θの場合と同様、標本中の凹凸方向角βは様々であるため、観察角φだけでなく、偏角θを変えた様々な視点において視点画像間で差分を求め、その結果を集めれば、標本表面の散乱光の情報が抽出できることが分かる。
また、減算だけでなく除算でも標本表面の散乱光の情報が抽出できる。これまでの説明から、観察角φにおける視点画像の輝度は、α×Ｂ（φ）＋Ｄ（Ｄは定数）で近似できるため、観察角φを変えた視点画像間の輝度の除算は、
で表現できる。
ＤＩＶ（φ，φ’）は、αが０のとき１となり、αが０でないときはαの大きさに応じて強度が変わる。よって、除算ＤＩＶ（φ，φ’）によっても、傾斜角αの情報が抽出で
きることになる。
減算の場合と同様に、観察角φだけでなく、偏角θを変えた様々な視点において視点画像間で除算をし、その結果を集めれば、標本表面の散乱光の情報が抽出できる。
ＤＩＶ（φ，φ’）は、αが０のとき１となり、αが０でないときはαの大きさに応じて強度が変わる。よって、除算ＤＩＶ（φ，φ’）によっても、傾斜角αの情報が抽出で
きることになる。
減算の場合と同様に、観察角φだけでなく、偏角θを変えた様々な視点において視点画像間で除算をし、その結果を集めれば、標本表面の散乱光の情報が抽出できる。
本実施例のように透過型の顕微鏡により撮影した画像（顕微鏡画像）には、標本を透過した光による透過光成分と、標本の表面等で散乱した光による散乱光成分とが含まれる。透過光成分の強度は標本の光の透過率に依存するので、標本内の色の違いや屈折率の違いなどを表している。一方、散乱光成分の強度は、前述のように、主に標本表面の凹凸（表面形状）に依存する。元画像としての顕微鏡画像では透過光成分が支配的なため散乱光成分は殆ど認識できないが、上記のように観察方向の異なる複数の視点画像の間の差異を抽出ないし強調することで、散乱光成分を抽出ないし強調できる。言い換えれば、観察方向の異なる２つの視点画像の「差（差分）」および「比」は、元画像に含まれる散乱光成分（散乱光の情報）を表している特徴量といえる。
なお、「強調」とは、ある部分を（元の状態よりも）目立たせる操作であり、「抽出」とは、ある部分のみを取り出す操作であるが、ある部分に注目するという点では同じ操作であるため、本明細書では二つの用語を特に区別せずに用いる場合もある。また、散乱光成分の強調という操作には、画像中の散乱光成分の強度を上げる操作だけでなく、画像中の透過光成分の強度を下げることで散乱光成分の強度を相対的に上げる操作も該当する。以降、画像に含まれる散乱光成分（散乱光の情報）を抽出ないし強調して得られる画像を散乱画像とよび、元画像から散乱画像を生成する操作を散乱画像の抽出とよぶ。なお、視点画像の差異を抽出ないし強調する演算として減算と除算を例示したが、画像の差異を強調できればどのような演算を用いてもよい。
なお、「強調」とは、ある部分を（元の状態よりも）目立たせる操作であり、「抽出」とは、ある部分のみを取り出す操作であるが、ある部分に注目するという点では同じ操作であるため、本明細書では二つの用語を特に区別せずに用いる場合もある。また、散乱光成分の強調という操作には、画像中の散乱光成分の強度を上げる操作だけでなく、画像中の透過光成分の強度を下げることで散乱光成分の強度を相対的に上げる操作も該当する。以降、画像に含まれる散乱光成分（散乱光の情報）を抽出ないし強調して得られる画像を散乱画像とよび、元画像から散乱画像を生成する操作を散乱画像の抽出とよぶ。なお、視点画像の差異を抽出ないし強調する演算として減算と除算を例示したが、画像の差異を強調できればどのような演算を用いてもよい。
散乱画像は、標本表面の凹凸（表面形状）の観察及びそれに基づく診断に適した観察用画像として利用価値があるものと期待される。例えば、標本内のある領域の表面に凹凸があったとしても、その領域内の透過率がほぼ均一な場合には、元画像ではその領域の輝度又は色は一様になるため、目視では凹凸を認識できない。散乱画像はこのような表面凹凸（輝度や色の変化として現れない表面凹凸）を可視化するのに特に有効である。また、細胞境界や細胞と類洞の境目なども凹凸があるので、散乱画像はこれらの境界を明瞭化する効果もある。なお、画像特徴を抽出ないし強調する処理の一つにエッジ抽出（強調）処理があるが、画像の輝度や色の変化として現れない表面凹凸については、エッジ抽出（強調）では可視化できない。よって、標本のどのような構造ないし特徴を観察したいかに応じて、散乱画像抽出とエッジ抽出を使い分けるとよい。
以下、画像生成装置１００の具体的な実施例について説明する。
［実施例１］
（散乱画像抽出設定画面）
図７（ａ）、図７（ｂ）は実施例１における散乱画像抽出機能の設定画面の一例である。図２の画像表示アプリケーションで表示画像中の領域２０７をマウスで選択した後、マウスの右クリックで表示される機能拡張メニュー２０８から「視点分解散乱画像抽出」（不図示）の項目を選択する。それに対応して散乱画像抽出処理前後の画像を示す新規ウィンドウ７００（図７（ａ））および散乱画像抽出機能の設定画面７０３（図７（ｂ））が表示される。ウィンドウ７００の左側領域７０１には領域２０７内の画像が表示され、右側領域７０２には散乱画像抽出処理結果の画像が表示される。
（散乱画像抽出設定画面）
図７（ａ）、図７（ｂ）は実施例１における散乱画像抽出機能の設定画面の一例である。図２の画像表示アプリケーションで表示画像中の領域２０７をマウスで選択した後、マウスの右クリックで表示される機能拡張メニュー２０８から「視点分解散乱画像抽出」（不図示）の項目を選択する。それに対応して散乱画像抽出処理前後の画像を示す新規ウィンドウ７００（図７（ａ））および散乱画像抽出機能の設定画面７０３（図７（ｂ））が表示される。ウィンドウ７００の左側領域７０１には領域２０７内の画像が表示され、右側領域７０２には散乱画像抽出処理結果の画像が表示される。
散乱画像抽出機能の設定を変更する場合には、設定画面７０３を操作する。ユーザがマウスにより視点分解設定ボタン７０４を押下すると、散乱画像抽出に用いる視点画像の方向（３次元的な観察方向）を決める為の設定画面が表示される。なお、視点の数は１つでも複数でも良い。詳細は後述する。ユーザが視点散乱画像抽出設定ボタン７０５を押下す
ると、視点画像から散乱画像を抽出する方法やパラメータを設定する視点散乱画像抽出設定画面が表示される。散乱画像を抽出する方法としては種々の方法が選択可能であり、詳細は後述する。ユーザが視点散乱画像統合設定ボタン７０６を押下すると、視点画像から抽出された散乱画像（以降、視点散乱画像又は視点散乱画像抽出像と呼ぶ）を統合した画像（以降、視点散乱画像統合像と呼ぶ）を生成するための設定画面が表示される。ここでは各視点散乱画像抽出像に対する重み付けの設定を行う。また必要ならばオプションで視点散乱画像抽出像を統合した後のノイズ除去パラメータ等の設定を行うことも可能である。詳細は後述する。オーバーレイ表示７０７はチェックボックスであり、この設定を有効にすると右側領域７０２には選択領域２０７内の画像と散乱画像抽出像が重ね合わせて表示される。ユーザが、必要に応じて上記設定を行い、実行ボタン７０８を押すと、視点画像の生成と散乱画像の抽出が行われ、処理結果が表示される。詳細は後述する。
ると、視点画像から散乱画像を抽出する方法やパラメータを設定する視点散乱画像抽出設定画面が表示される。散乱画像を抽出する方法としては種々の方法が選択可能であり、詳細は後述する。ユーザが視点散乱画像統合設定ボタン７０６を押下すると、視点画像から抽出された散乱画像（以降、視点散乱画像又は視点散乱画像抽出像と呼ぶ）を統合した画像（以降、視点散乱画像統合像と呼ぶ）を生成するための設定画面が表示される。ここでは各視点散乱画像抽出像に対する重み付けの設定を行う。また必要ならばオプションで視点散乱画像抽出像を統合した後のノイズ除去パラメータ等の設定を行うことも可能である。詳細は後述する。オーバーレイ表示７０７はチェックボックスであり、この設定を有効にすると右側領域７０２には選択領域２０７内の画像と散乱画像抽出像が重ね合わせて表示される。ユーザが、必要に応じて上記設定を行い、実行ボタン７０８を押すと、視点画像の生成と散乱画像の抽出が行われ、処理結果が表示される。詳細は後述する。
７１０はウィンドウ７００内で右クリックすることで呼び出し可能な機能拡張メニューである。機能拡張メニュー７１０の中にはＮ／Ｃ比算出（不図示）等の画像解析の項目が並んでいる。項目を選択すると、画像解析処理の設定画面（不図示）が表示され、ウィンドウ内の選択領域あるいは全体に対して解析処理を実行し、処理結果を表示する。詳細は後述する。
（散乱画像抽出処理）
図８は前述の実行ボタン７０８を押下した際に実行される散乱画像抽出処理のフローを示す。この処理は、画像表示アプリケーションとそこから呼び出される画像生成プログラムによって実現されるものである。
図８は前述の実行ボタン７０８を押下した際に実行される散乱画像抽出処理のフローを示す。この処理は、画像表示アプリケーションとそこから呼び出される画像生成プログラムによって実現されるものである。
Ｚスタック画像取得ステップＳ８０１では、画像表示アプリケーションで表示中の画像選択領域２０７の座標を元に、メインメモリ３０２または記憶装置１３０に格納されたＺスタック画像から必要な範囲のデータを取得する。なお、Ｚスタック画像が他のコンピュータシステム１４０に存在する場合にはネットワークＩ／Ｆ３０４を通じてデータを取得し、メインメモリ３０２に格納する。
続いて、視点分解散乱画像抽出・統合処理ステップＳ８０２では、被写体に対する視線方向（観察方向）を決める視点の情報に基づき、Ｚスタック画像から複数の視点に対する視点画像を生成する（この操作を視点画像への分解ともいう）。そして、各視点画像から散乱画像を抽出して視点散乱画像抽出像を生成し、それらを統合して視点散乱画像統合像を生成する。詳細は後述する。
続いて、輪郭抽出処理ステップＳ８０３では、視点散乱画像統合像から輪郭を抽出した輪郭抽出像を生成する。なお、ステップＳ８０３の処理は必須ではなく、不図示の設定に従って適用／不適用が変更できる。詳細は後述する。
最後に、画像表示処理ステップＳ８０４では、輪郭抽出像、視点散乱画像抽出像、あるいは視点散乱画像統合像を画像表示アプリケーションの表示倍率に合わせて拡大／縮小し、右側領域７０２に表示する。オーバーレイ表示７０７が有効である場合、選択領域２０７内の画像に輪郭抽出像、視点散乱画像抽出像、あるいは視点散乱画像統合像を重ね合わせて表示する。この際、選択領域２０７内の画像に対し、対応する位置の視点散乱画像抽出像あるいは視点散乱画像統合像を合成（加算や減算など）した画像を右側領域７０２に表示しても良い。またさらに合成した画像を、選択領域２０７内の画像と明るさが近くなるように諧調補正した画像を右側領域７０２に表示しても良い。複数の視点散乱画像抽出像を一定の時間間隔で切り替えるアニメーション表示を行ってもよい。このとき、輪郭抽出像、視点散乱画像抽出像、あるいは視点散乱画像統合像はチャネル（ＲＧＢ）毎に色を付けて表示しても良いし、標本の色と重ならない別の色に変更しても良い。ここで表示に
用いられる画像（輪郭抽出像、視点散乱画像抽出像、視点散乱画像統合像、又は、それらを元画像に合成した画像）は、いずれも画像観察や画像診断に適した観察用画像である。
用いられる画像（輪郭抽出像、視点散乱画像抽出像、視点散乱画像統合像、又は、それらを元画像に合成した画像）は、いずれも画像観察や画像診断に適した観察用画像である。
（視点分解散乱画像抽出・統合処理）
図９は視点分解散乱画像抽出・統合処理Ｓ８０２の内部処理を示すフローチャートである。
まず、視点取得処理ステップＳ９０１では、後段のステップＳ９０２において視点画像の生成に必要な視点の位置情報を取得する。ステップＳ９０１では予め定められた視点の位置情報を、メインメモリ３０２や記憶装置１３０、他のコンピュータシステム１４０から取得しても良い。またステップＳ９０１では画像表示アプリケーション上で設定した情報に基づき視点の位置情報を計算して求めても良い。詳細は後述する。
図９は視点分解散乱画像抽出・統合処理Ｓ８０２の内部処理を示すフローチャートである。
まず、視点取得処理ステップＳ９０１では、後段のステップＳ９０２において視点画像の生成に必要な視点の位置情報を取得する。ステップＳ９０１では予め定められた視点の位置情報を、メインメモリ３０２や記憶装置１３０、他のコンピュータシステム１４０から取得しても良い。またステップＳ９０１では画像表示アプリケーション上で設定した情報に基づき視点の位置情報を計算して求めても良い。詳細は後述する。
続いて、視点画像生成ステップＳ９０２では、ステップＳ８０１で取得した選択領域２０７のＺスタック画像を元に、ステップＳ９０１で求めた視点に対応する視点画像の生成を行う。画像生成装置１００（ＣＰＵ３０１）が実行するこの機能を視点画像生成手段とよぶ。なお、Ｚスタック画像から任意の視点画像を生成する手法（ＭＦＩ任意視点／焦点ぼけ画像生成法）には、前述の特許文献１、非特許文献２、３等の方法をはじめとして、如何なる方法を用いてもよい。
続いて、視点散乱画像抽出処理ステップＳ９０３では、生成した視点画像に対し、視点散乱画像抽出設定（７０５）に基づき、散乱画像抽出処理を行う。視点が複数存在する場合は、視点数分の視点散乱画像抽出処理を実行する。続いて、視点散乱画像統合像生成ステップＳ９０４では、視点散乱画像統合設定（７０６）に基づき、ステップＳ９０３で生成した複数の視点散乱画像抽出像を合成し、視点散乱画像統合像を生成する。画像生成装置１００（ＣＰＵ３０１）が実行するステップＳ９０３−Ｓ９０４の機能を観察用画像生成手段とよぶ。詳細は後述する。
以下、視点取得処理ステップＳ９０１、視点散乱画像抽出処理ステップＳ９０３、視点散乱画像統合像生成ステップＳ９０４の詳細を説明する。
以下、視点取得処理ステップＳ９０１、視点散乱画像抽出処理ステップＳ９０３、視点散乱画像統合像生成ステップＳ９０４の詳細を説明する。
（視点取得処理ステップＳ９０１）
以下、視点分解設定（７０４）に基づき、視点取得処理ステップＳ９０１で視点の位置情報を計算する場合について説明する。
図１０（ａ）の視点分解設定画面１００１は、視点分解設定ボタン７０４の押下時に表示される設定画面の一例である。ここでは散乱画像抽出に用いる視点画像の視点位置を設定する。
設定画面１００１では視点の設定方法として直接設定とメッシュ設定の２つが選択できる。直接設定では、視点数と視点の位置（ｓ，ｔ）をユーザに直接指定させる。一方、メッシュ設定では、外径、内径（中心遮蔽）、離散化ステップをユーザに指定させ、これらの指定値から各視点の位置を計算する。
以下、視点分解設定（７０４）に基づき、視点取得処理ステップＳ９０１で視点の位置情報を計算する場合について説明する。
図１０（ａ）の視点分解設定画面１００１は、視点分解設定ボタン７０４の押下時に表示される設定画面の一例である。ここでは散乱画像抽出に用いる視点画像の視点位置を設定する。
設定画面１００１では視点の設定方法として直接設定とメッシュ設定の２つが選択できる。直接設定では、視点数と視点の位置（ｓ，ｔ）をユーザに直接指定させる。一方、メッシュ設定では、外径、内径（中心遮蔽）、離散化ステップをユーザに指定させ、これらの指定値から各視点の位置を計算する。
「外径」には、計算する視点の最大のズレ量を指定し、「内径（中心遮蔽）」には、計算する視点の最小のズレ量（つまり計算しない視点の最大のズレ量）を指定する。ここでは、レンズ面上の原点を中心とする距離（半径）によって、外径および内径（中心遮蔽）の値を設定する。なお、外径にはレンズ面上での光学系の半径ｒａを越える値は設定できない。「離散化ステップ」は、「外径」で規定される円から「内径」で規定される円を除いたドーナツ状の領域内に、視点画像を生成する視点の位置を離散的に設定するための刻み間隔である。離散化ステップが細かい程、計算する視点数は増加する。
なお上述の円以外にも様々な形状の設定が可能である。例えば、半径の異なる複数の同心円や中心から放射線上に伸びる直線が設定できる。同心円設定の場合、各々の円の半径
、各々の円上の視点の密度を決める離散化ステップ（例えば、角度間隔の設定）が設定できる。また中心から放射線上に伸びる直線の場合、線の間隔（例えば、角度間隔の設定）や放射線上の視点の密度を決める離散化ステップが設定できる。
、各々の円上の視点の密度を決める離散化ステップ（例えば、角度間隔の設定）が設定できる。また中心から放射線上に伸びる直線の場合、線の間隔（例えば、角度間隔の設定）や放射線上の視点の密度を決める離散化ステップが設定できる。
（視点散乱画像抽出処理ステップＳ９０３）
図１０（ｂ）の視点散乱画像抽出設定画面１００２は、視点散乱画像抽出設定ボタン７０５押下時に表示する設定画面の一例である。ここでは視点画像から散乱画像抽出を行う際に用いる散乱画像抽出方式やパラメータを設定する。
設定画面１００２の方式欄では、視点散乱画像抽出処理ステップＳ９０３で用いる散乱画像の抽出方法が選択できる。また、視点散乱画像抽出設定画面１００２ではノイズ除去設定が可能である。ノイズ除去設定としては、閾値による２値化や、メディアンフィルタ、エッジを保ったノイズ除去が可能なバイラテラルフィルタなどが適用できる。この処理により明瞭なコントラストを持つ散乱画像を抽出し、よりＮ／Ｃ比を検出しやすくすることができる。
図１０（ｂ）の視点散乱画像抽出設定画面１００２は、視点散乱画像抽出設定ボタン７０５押下時に表示する設定画面の一例である。ここでは視点画像から散乱画像抽出を行う際に用いる散乱画像抽出方式やパラメータを設定する。
設定画面１００２の方式欄では、視点散乱画像抽出処理ステップＳ９０３で用いる散乱画像の抽出方法が選択できる。また、視点散乱画像抽出設定画面１００２ではノイズ除去設定が可能である。ノイズ除去設定としては、閾値による２値化や、メディアンフィルタ、エッジを保ったノイズ除去が可能なバイラテラルフィルタなどが適用できる。この処理により明瞭なコントラストを持つ散乱画像を抽出し、よりＮ／Ｃ比を検出しやすくすることができる。
次に、視点散乱画像抽出処理ステップＳ９０３における視点毎の散乱画像の抽出方法を説明する。
既に数１０で説明したように、所定の視点（ｓ、ｔ）の視点画像と、同一の観察角φで偏角θが１８０度異なる視点の視点画像との間で減算すると、標本の透過率の違いによる濃淡の情報は打ち消され、効率的に散乱画像を抽出することが出来る。
既に数１０で説明したように、所定の視点（ｓ、ｔ）の視点画像と、同一の観察角φで偏角θが１８０度異なる視点の視点画像との間で減算すると、標本の透過率の違いによる濃淡の情報は打ち消され、効率的に散乱画像を抽出することが出来る。
図１１は本実施例における視点散乱画像抽出処理Ｓ９０３の内部処理を示すフローチャートである。以下、図１１を用いて、視点画像毎の散乱画像の抽出方法を説明する。
まず偏角回転視点算出ステップＳ１１０１では、処理対象の視点に対し、偏角θが所定の角度だけ回転した位置にある、偏角回転視点を算出する。なお、回転角度としては１８０度が最も好ましいため、以降は１８０度の場合について説明する。
図１３（ａ）に示す座標系において、処理対象の視点Ｐ０の座標を（ｘ，ｙ）＝（ｓｐ，ｔｐ）とすると、１８０度回転した偏角回転視点Ｐ１の座標は（ｘ，ｙ）＝（−ｓｐ，−ｔｐ）となる。
まず偏角回転視点算出ステップＳ１１０１では、処理対象の視点に対し、偏角θが所定の角度だけ回転した位置にある、偏角回転視点を算出する。なお、回転角度としては１８０度が最も好ましいため、以降は１８０度の場合について説明する。
図１３（ａ）に示す座標系において、処理対象の視点Ｐ０の座標を（ｘ，ｙ）＝（ｓｐ，ｔｐ）とすると、１８０度回転した偏角回転視点Ｐ１の座標は（ｘ，ｙ）＝（−ｓｐ，−ｔｐ）となる。
次に、偏角回転視点画像生成ステップＳ１１０２ではステップＳ１１０１で計算した偏角回転視点Ｐ１から観察した視点画像を生成する。視点画像の生成方法は視点画像生成ステップＳ９０２で既に説明したため、省略する。なお、視点画像生成ステップＳ９０２で既に、偏角回転視点Ｐ１を計算済みの場合には、改めて計算せずに、画像生成装置１００の記憶装置１３０やメインメモリ３０３に存在するデータを読み出して利用する。
次に視点散乱画像生成ステップＳ１１０３では、処理対象の視点Ｐ０の視点画像と偏角回転視点Ｐ１の視点画像の間で画像の演算を行い、視点Ｐ０からの観察方向で観察される標本表面の散乱光の情報を抽出し、視点散乱画像として出力する。
次に視点散乱画像生成ステップＳ１１０３では、処理対象の視点Ｐ０の視点画像と偏角回転視点Ｐ１の視点画像の間で画像の演算を行い、視点Ｐ０からの観察方向で観察される標本表面の散乱光の情報を抽出し、視点散乱画像として出力する。
以下、ステップＳ１１０３での演算方法を述べる。
視点Ｐ０の視線方向からＺ＝Ｚｆの位置がピント位置となるように観察した視点画像（第１の視点画像）をＩＰ０（Ｘ，Ｙ，Ｚｆ）、偏角回転視点Ｐ１の視線方向からＺ＝Ｚｆの位置がピント位置となるように観察した視点画像（第２の視点画像）をＩＰ１（Ｘ，Ｙ，Ｚｆ）とし、視点散乱画像（第１の観察用画像）をＳＰ０（Ｘ，Ｙ，Ｚｆ）とすると、演算は下記の式で表される。
視点Ｐ０の視線方向からＺ＝Ｚｆの位置がピント位置となるように観察した視点画像（第１の視点画像）をＩＰ０（Ｘ，Ｙ，Ｚｆ）、偏角回転視点Ｐ１の視線方向からＺ＝Ｚｆの位置がピント位置となるように観察した視点画像（第２の視点画像）をＩＰ１（Ｘ，Ｙ，Ｚｆ）とし、視点散乱画像（第１の観察用画像）をＳＰ０（Ｘ，Ｙ，Ｚｆ）とすると、演算は下記の式で表される。
以下、数１３の演算式により、標本表面の散乱光の情報が抽出できる理由を説明する。既に述べたように、視点を変えたときの視点画像の透過光の強度変化は少ない一方、標本表面の散乱光による輝度変化は偏角θに従って大きく変化する。従って、視点を変えた視点画像間の減算により、画像中の透過光成分はキャンセルされ、散乱光成分（散乱光の情報）が抽出できる。透過光成分は完全にキャンセルできなくてもよい。画像中の透過光成分の強度が弱められ、相対的に画像中の散乱光成分が強調された画像を得ることができれば、そのような操作も散乱画像の抽出ということができる。
偏角回転角が１８０度である場合、視点Ｐ０の偏角で散乱光が最大となる凹凸方向角を持つ表面凹凸の散乱光は、視点Ｐ１の偏角で最小となる。同様に、視点Ｐ１の偏角で散乱光が最大となる凹凸方向角を持つ表面凹凸の散乱光は視点Ｐ０の偏角で最小となる。
従って、視点Ｐ０の視点画像と視点Ｐ１の視点画像の差分Ｄ１（Ｘ，Ｙ，Ｚｆ）を求めれば、視点Ｐ０およびＰ１の偏角で散乱光が最大となる凹凸方向角を持つ表面凹凸の散乱光の情報を画像として抽出できる。
視点散乱画像生成ステップＳ１１０３では、ＳＰ０（Ｘ，Ｙ，Ｚｆ）を処理対象の視点Ｐ０における視点散乱画像（視点散乱画像抽出像）として出力する。
偏角回転角が１８０度である場合、視点Ｐ０の偏角で散乱光が最大となる凹凸方向角を持つ表面凹凸の散乱光は、視点Ｐ１の偏角で最小となる。同様に、視点Ｐ１の偏角で散乱光が最大となる凹凸方向角を持つ表面凹凸の散乱光は視点Ｐ０の偏角で最小となる。
従って、視点Ｐ０の視点画像と視点Ｐ１の視点画像の差分Ｄ１（Ｘ，Ｙ，Ｚｆ）を求めれば、視点Ｐ０およびＰ１の偏角で散乱光が最大となる凹凸方向角を持つ表面凹凸の散乱光の情報を画像として抽出できる。
視点散乱画像生成ステップＳ１１０３では、ＳＰ０（Ｘ，Ｙ，Ｚｆ）を処理対象の視点Ｐ０における視点散乱画像（視点散乱画像抽出像）として出力する。
数１３において、視点散乱画像ＳＰ０（Ｘ，Ｙ，Ｚｆ）の計算に差分Ｄ１（Ｘ，Ｙ，Ｚｆ）の絶対値を用いる理由は、視点画像から視点散乱画像を演算するための関数に非線型性を持たせるためである。絶対値をとらない場合、様々な視点で視点画像間の差を求めた後に、ステップＳ９０４でその差分の和を取る操作は、様々な視点の視点画像の和を取った後に差を取る操作と等しくなる。その場合、視点画像同士が互いに打ち消し合って、得られる統合像は実質的に０となる。従って、視点散乱画像ＳＰ０（Ｘ，Ｙ，Ｚｆ）では前記の打ち消し合いを防ぐため、非線型な関数を用いている。
なお、非線型な関数とは以下の式に示すように、所定の画像（視点画像）に関数を適用した後で複数加算した結果と、所定の画像（視点画像）を複数加算した後で関数を適用した結果とが、一致しない性質をもつ関数であるとする。
ただし、Ｎは視点の数、Ｄ（ｉ）は視点ｉにおける視点画像と偏角回転視点画像の差分画像、Ｓ（）は関数である。
なお、非線型な関数とは以下の式に示すように、所定の画像（視点画像）に関数を適用した後で複数加算した結果と、所定の画像（視点画像）を複数加算した後で関数を適用した結果とが、一致しない性質をもつ関数であるとする。
なお、数１３はあくまで散乱画像を生成するための視点画像間の演算の一例であり、その他、様々な演算が利用できる。
例えば、偏角回転視点算出ステップＳ１１０１で視点偏角θを±９０度した偏角回転視点を求めるとき、偏角回転視点は＋方向と−方向の２つあり、それぞれＰ１＝（−ｔｐ，ｓｐ）およびＰ２＝（ｔｐ，−ｓｐ）が設定できる。その場合、視点散乱画像生成ステップＳ１１０３では、数１３の代わりに下記を用いて視点散乱画像を生成すると良い。
例えば、偏角回転視点算出ステップＳ１１０１で視点偏角θを±９０度した偏角回転視点を求めるとき、偏角回転視点は＋方向と−方向の２つあり、それぞれＰ１＝（−ｔｐ，ｓｐ）およびＰ２＝（ｔｐ，−ｓｐ）が設定できる。その場合、視点散乱画像生成ステップＳ１１０３では、数１３の代わりに下記を用いて視点散乱画像を生成すると良い。
この他にも、ＳＰ０（Ｘ，Ｙ，Ｚｆ）として様々な非線型な関数を用いることができる。例えば、Ｄ１（Ｘ，Ｙ，Ｚｆ）、Ｄ２（Ｘ，Ｙ，Ｚｆ）のそれぞれの絶対値から対応する画素の最大値を選択しても良い。あるいは、前述のように、ＩＰ０（Ｘ，Ｙ，Ｚｆ）と
ＩＰ１（Ｘ，Ｙ，Ｚｆ）の差分ではなく、除算（比率）を用いてもよい。
また、数１５は９０度以外の回転角にも適用でき、そのとき＋方向と−方向で異なる角度の回転角を選んでも良い。また２つ以上の偏角回転視点を用いて視点散乱画像を求めることも可能である。ユーザは設定画面１００２で偏角回転視点の回転角や視点散乱画像の演算方法を選択できる。
なお、数１０の説明でも述べたが、偏角回転視点として様々な回転角を取ることができ、観察角φの大きさも影響するが、４５度の回転角であっても散乱画像は抽出できる。従って、偏角回転視点の回転角としてどのような値を用いる場合でも本発明の範疇である。
ＩＰ１（Ｘ，Ｙ，Ｚｆ）の差分ではなく、除算（比率）を用いてもよい。
また、数１５は９０度以外の回転角にも適用でき、そのとき＋方向と−方向で異なる角度の回転角を選んでも良い。また２つ以上の偏角回転視点を用いて視点散乱画像を求めることも可能である。ユーザは設定画面１００２で偏角回転視点の回転角や視点散乱画像の演算方法を選択できる。
なお、数１０の説明でも述べたが、偏角回転視点として様々な回転角を取ることができ、観察角φの大きさも影響するが、４５度の回転角であっても散乱画像は抽出できる。従って、偏角回転視点の回転角としてどのような値を用いる場合でも本発明の範疇である。
（視点散乱画像統合像生成ステップＳ９０４）
図１０（ｃ）の視点散乱画像統合設定画面１００３は視点散乱画像統合設定ボタン７０６押下時に表示する設定画面の一例である。ここでは視点散乱画像抽出像を統合する際の合成方法を設定する。
設定画面１００３には各々の散乱画像抽出像を統合する際の合成方法を選択するリストボックスがあり、「均等」、「ガウスぼけ」、「最大値の選択・合成」など、様々な合成方法を選択可能となっている。ここで「均等」は等しい重み付けで、「ガウスぼけ」は各視点の原点（光軸上）からの距離に従ってガウス関数で求めた重み付けで各々の散乱画像抽出像を合成する方法を示す。また「最大値の選択・合成」は各々の散乱画像抽出像の同位置の画素値を比較し、最大の画素値を選択することで各々の散乱画像抽出像と同じサイズの合成像を作る方法を示す。
図１０（ｃ）の視点散乱画像統合設定画面１００３は視点散乱画像統合設定ボタン７０６押下時に表示する設定画面の一例である。ここでは視点散乱画像抽出像を統合する際の合成方法を設定する。
設定画面１００３には各々の散乱画像抽出像を統合する際の合成方法を選択するリストボックスがあり、「均等」、「ガウスぼけ」、「最大値の選択・合成」など、様々な合成方法を選択可能となっている。ここで「均等」は等しい重み付けで、「ガウスぼけ」は各視点の原点（光軸上）からの距離に従ってガウス関数で求めた重み付けで各々の散乱画像抽出像を合成する方法を示す。また「最大値の選択・合成」は各々の散乱画像抽出像の同位置の画素値を比較し、最大の画素値を選択することで各々の散乱画像抽出像と同じサイズの合成像を作る方法を示す。
視点散乱画像統合像生成ステップＳ９０４では、複数の視点散乱画像抽出像を統合し、視点散乱画像統合像（第２の観察用画像）を生成する。
また、視点散乱画像統合像生成ステップＳ９０４では、視点散乱画像抽出処理ステップＳ９０３同様に散乱画像抽出像に含まれるノイズを除去する為、ノイズ除去を行っても良い。その場合、設定画面１００３でノイズ除去設定を行う。
なお、図１０（ａ）〜図１０（ｃ）に示す設定画面はあくまで一例である。ユーザである病理医が設定に煩わされずに素早く観察・診断できるよう、デフォルトの設定や自動的に最適値が設定される機能を備えることが望ましい。
また、視点散乱画像統合像生成ステップＳ９０４では、視点散乱画像抽出処理ステップＳ９０３同様に散乱画像抽出像に含まれるノイズを除去する為、ノイズ除去を行っても良い。その場合、設定画面１００３でノイズ除去設定を行う。
なお、図１０（ａ）〜図１０（ｃ）に示す設定画面はあくまで一例である。ユーザである病理医が設定に煩わされずに素早く観察・診断できるよう、デフォルトの設定や自動的に最適値が設定される機能を備えることが望ましい。
以上、本実施例における視点分解散乱画像抽出・統合処理（図８のＳ８０２）について述べた。
（輪郭抽出処理）
続いて輪郭抽出処理（図８のＳ８０３）の一例について述べる。
視点散乱画像統合像では散乱画像が強調されているものの、ノイズや信号の強弱が存在する。そこで、より輪郭を見やすくするために、輪郭抽出処理を行う。例えば、視点散乱画像統合像を２値化し（２値化の閾値は予め決められた値を用いても良いし、動的に決めても良い）、その後、膨張・縮小処理を繰り返すことにより、輪郭を抽出できる。他にも輪郭抽出方法には様々な公知の技術があり、ここではいずれの方法も適用できる。またさらに細線化処理を追加することで輪郭が存在する位置精度を高めることができる。処理の結果、視点散乱画像統合像から輪郭抽出像が得られる。
続いて輪郭抽出処理（図８のＳ８０３）の一例について述べる。
視点散乱画像統合像では散乱画像が強調されているものの、ノイズや信号の強弱が存在する。そこで、より輪郭を見やすくするために、輪郭抽出処理を行う。例えば、視点散乱画像統合像を２値化し（２値化の閾値は予め決められた値を用いても良いし、動的に決めても良い）、その後、膨張・縮小処理を繰り返すことにより、輪郭を抽出できる。他にも輪郭抽出方法には様々な公知の技術があり、ここではいずれの方法も適用できる。またさらに細線化処理を追加することで輪郭が存在する位置精度を高めることができる。処理の結果、視点散乱画像統合像から輪郭抽出像が得られる。
（画像の表示・解析）
続いて画像表示処理Ｓ８０４を経て、画像表示アプリケーション上に視点散乱画像、視点散乱画像統合像、あるいは輪郭抽出像を示すことで、細胞と細胞の間の細胞境界、細胞と類洞の境目などを分かりやすくできる。それによって病理医は患部組織の３次元構造をイメージしやすくなる。
続いて画像表示処理Ｓ８０４を経て、画像表示アプリケーション上に視点散乱画像、視点散乱画像統合像、あるいは輪郭抽出像を示すことで、細胞と細胞の間の細胞境界、細胞と類洞の境目などを分かりやすくできる。それによって病理医は患部組織の３次元構造をイメージしやすくなる。
さらに、ウィンドウ７００内でマウスを右クリックすることにより機能拡張メニュー７
１０を呼び出し、Ｎ／Ｃ比（核／細胞質比）算出等の項目を選択することで、画像解析を行うことが出来る。
１０を呼び出し、Ｎ／Ｃ比（核／細胞質比）算出等の項目を選択することで、画像解析を行うことが出来る。
図１２はＮ／Ｃ比算出の処理フローの一例である。
Ｎ／Ｃ比算出にあたっては左側領域７０２内の選択領域２０７の画像と輪郭抽出像の２枚の画像を用いることを前提とする。以下、画像中の核の部分を核領域、核を取り巻く細胞質の部分を細胞質領域、核領域と細胞質領域を合わせた全体を細胞領域と呼ぶ。
Ｎ／Ｃ比算出にあたっては左側領域７０２内の選択領域２０７の画像と輪郭抽出像の２枚の画像を用いることを前提とする。以下、画像中の核の部分を核領域、核を取り巻く細胞質の部分を細胞質領域、核領域と細胞質領域を合わせた全体を細胞領域と呼ぶ。
まず、核領域決定処理ステップＳ１２０１では核領域の決定を行う。例としては以下の方法がある。ＨＥ染色では核内は濃青に染色される為、輪郭抽出像内の該当閉領域内に位置する選択領域２０７内の画素が一定以上の比率で所定の範囲の色域に属すか否かで、核領域か否かを判別できる。判別に用いる比率及び色域は、予め複数のサンプルを用いて学習すれば良い。
続いて、細胞質領域決定処理ステップＳ１２０２では細胞質領域の決定を行う。ＨＥ染色では細胞質はピンク色に染色される。従って、核領域決定処理と同様、輪郭抽出像内の該当閉領域内に位置する選択領域２０７内の画素が一定以上の比率で所定の範囲の色域に属すか否かで、細胞領域か否かを判別できる。その後、細胞領域から、ステップＳ１２０１で核領域と見なされた閉領域を除外することにより、細胞質領域を特定する。ここでの判別に用いる比率及び色域も、予め複数のサンプルを用いて学習すれば良い。
自動処理では十分な精度が出ない場合には、ユーザが介在（補助）して領域決定を行っても良い。その場合、ステップＳ１２０２の後、ＧＵＩでユーザに輪郭、核領域、細胞領域を修正できる設定画面を表示する。
最後にＮ／Ｃ比算出処理ステップＳ１２０３では、上記で求めた核領域の面積を細胞質領域の面積で割り、Ｎ／Ｃ比を求める。
上記で述べたＮ／Ｃ比算出フローはあくまで一例であり、その他、様々な変形や改良が可能である。
上記で述べたＮ／Ｃ比算出フローはあくまで一例であり、その他、様々な変形や改良が可能である。
（本実施例の利点）
以上述べたように、本実施例では視点の偏角θが異なる視点画像の間で標本表面の散乱光の強度が大きく変化する性質を利用し、Ｚスタック画像から標本の散乱画像を抽出することができる。そのため、光学系や露出条件の変更を行うことなく、標本を観察する上で有用な細胞膜や細胞境界、細胞と管や腔との境界を明瞭にすることができる。さらに、輝度や色の変化としてほとんど現れない表面凹凸についても、コントラストを高めて可視化することができるという効果もある。それにより診断に有用な画像の提示、Ｎ／Ｃ比の算出等の診断支援機能が実現できる。
以上述べたように、本実施例では視点の偏角θが異なる視点画像の間で標本表面の散乱光の強度が大きく変化する性質を利用し、Ｚスタック画像から標本の散乱画像を抽出することができる。そのため、光学系や露出条件の変更を行うことなく、標本を観察する上で有用な細胞膜や細胞境界、細胞と管や腔との境界を明瞭にすることができる。さらに、輝度や色の変化としてほとんど現れない表面凹凸についても、コントラストを高めて可視化することができるという効果もある。それにより診断に有用な画像の提示、Ｎ／Ｃ比の算出等の診断支援機能が実現できる。
なお、本実施例では実行ボタン７０８が押されたときに視点分解散乱画像抽出・統合処理を実行するようにしたが、図７（ｂ）、図１０（ａ）〜図１０（ｃ）に示す設定パラメータが変更される度に視点分解散乱画像抽出・統合処理を実行するようにしても良い。そうすると、設定パラメータの変更に同期してリアルタイムに処理結果が表示されることとなる。この構成の場合には、図７（ｂ）、図１０（ａ）〜図１０（ｃ）に示す設定項目を１つの設定画面内に展開して配置すると良い。このような実装形態も本発明の範疇となる。
［実施例２］
本実施例では、視点散乱画像抽出処理ステップＳ９０３において、同一の偏角θで観察角φが異なる複数の視点の視点画像の間の演算により、視点散乱画像を抽出する方法につ
いて述べる。
既に数１１を用いて説明したように、所定の視点（ｓ，ｔ）の視点画像と、同一の偏角θで観察角が異なる視点の視点画像の間で減算すると、標本の透過率の違いによる濃淡の情報は打ち消され、散乱画像を効率的に抽出することが出来る。
本実施例では、視点散乱画像抽出処理ステップＳ９０３において、同一の偏角θで観察角φが異なる複数の視点の視点画像の間の演算により、視点散乱画像を抽出する方法につ
いて述べる。
既に数１１を用いて説明したように、所定の視点（ｓ，ｔ）の視点画像と、同一の偏角θで観察角が異なる視点の視点画像の間で減算すると、標本の透過率の違いによる濃淡の情報は打ち消され、散乱画像を効率的に抽出することが出来る。
図１６は本実施例における視点散乱画像抽出処理Ｓ９０３の内部処理を示すフローチャートである。以下、図１６を用いて、視点画像毎の散乱画像の抽出方法を説明する。
まず観察角変更視点算出ステップＳ１６０１では、処理対象の視点に対し、観察角が異なる位置にある、観察角変更視点を算出する。
図１３（ａ）に示す座標系において、処理対象の視点Ｐ０の座標を（ｘ，ｙ）＝（ｓｐ，ｔｐ）とすると、その観察角変更視点は光軸（０，０）と視点Ｐ０を結ぶ直線上に設定できる。様々な視点の位置が選択可能だが、ここでは観察角変更視点としてＰ１＝（０，０）を選択する。
まず観察角変更視点算出ステップＳ１６０１では、処理対象の視点に対し、観察角が異なる位置にある、観察角変更視点を算出する。
図１３（ａ）に示す座標系において、処理対象の視点Ｐ０の座標を（ｘ，ｙ）＝（ｓｐ，ｔｐ）とすると、その観察角変更視点は光軸（０，０）と視点Ｐ０を結ぶ直線上に設定できる。様々な視点の位置が選択可能だが、ここでは観察角変更視点としてＰ１＝（０，０）を選択する。
次に、観察角変更視点画像生成ステップＳ１６０２では、ステップＳ１６０１で計算した観察角変更視点Ｐ１の視線方向からＺ＝Ｚｆの位置がピント位置となるように観察した視点画像を生成する。視点画像の生成方法は視点画像生成ステップＳ９０２で既に説明したため、省略する。なお、実施例１と同様、既に観察角変更視点Ｐ１の視点画像を計算済みの場合には、改めて計算せずに、画像生成装置１００の記憶装置１３０やメインメモリ３０３に存在するデータを読み出して利用する。
次に視点散乱画像生成ステップＳ１６０３では、処理対象の視点Ｐ０の視点画像（第１の視点画像）と観察角変更視点Ｐ１の視点画像（第２の視点画像）の間で画像の演算を行う。この演算により、視点Ｐ０からの観察方向で観察される標本表面の散乱光の情報を抽出し、視点散乱画像（第１の観察用画像）として出力する。
次に視点散乱画像生成ステップＳ１６０３では、処理対象の視点Ｐ０の視点画像（第１の視点画像）と観察角変更視点Ｐ１の視点画像（第２の視点画像）の間で画像の演算を行う。この演算により、視点Ｐ０からの観察方向で観察される標本表面の散乱光の情報を抽出し、視点散乱画像（第１の観察用画像）として出力する。
視点Ｐ０、観察角変更視点Ｐ１の視線方向からＺ＝Ｚｆの位置がピント位置となるように観察した視点画像をそれぞれＩＰ０（Ｘ，Ｙ，Ｚｆ）、ＩＰ１（Ｘ，Ｙ，Ｚｆ）とし、視点散乱画像をＳＰ０（Ｘ，Ｙ，Ｚｆ）とすると、演算は実施例１と同様に数１３で表せる。視点散乱画像ＳＰ０（Ｘ，Ｙ，Ｚｆ）により標本表面の散乱光の情報が得られる理由については、数１１の説明で述べたとおりである。
また既に数１２の説明で述べたが、視点画像間の除算によっても散乱画像の情報が抽出できる。その場合には例えば以下の演算を用いればよい。
また既に数１２の説明で述べたが、視点画像間の除算によっても散乱画像の情報が抽出できる。その場合には例えば以下の演算を用いればよい。
なお、数１３および数１６は視点散乱画像を生成するための視点画像間の演算の一例であり、実施例１と同様、様々な演算が利用できる。
また、観察角変更視点Ｐ１は（ｘ，ｙ）＝（０，０）以外の位置でも良く、複数取得しても良い。例えば、観察角変更視点Ｐ２として、光軸（０，０）と視点Ｐ０を結ぶ直線上で光軸から所定の距離にある視点や所定の比率（例えば半分や１／４）にある視点を選択しても良い。その場合、視点散乱画像を求める演算式として数１５を用いることができる。
さらには観察角変更視点が複数ある場合にも、数１６のように各視点画像間の除算を実行し、各々の結果の絶対値の平均をＳＰ０（Ｘ，Ｙ，Ｚｆ）としても良い。実施例１と同様、ユーザは設定画面１００２で観察角変更視点の数や様々な演算式を選択できる。
また、観察角変更視点Ｐ１は（ｘ，ｙ）＝（０，０）以外の位置でも良く、複数取得しても良い。例えば、観察角変更視点Ｐ２として、光軸（０，０）と視点Ｐ０を結ぶ直線上で光軸から所定の距離にある視点や所定の比率（例えば半分や１／４）にある視点を選択しても良い。その場合、視点散乱画像を求める演算式として数１５を用いることができる。
さらには観察角変更視点が複数ある場合にも、数１６のように各視点画像間の除算を実行し、各々の結果の絶対値の平均をＳＰ０（Ｘ，Ｙ，Ｚｆ）としても良い。実施例１と同様、ユーザは設定画面１００２で観察角変更視点の数や様々な演算式を選択できる。
（本実施例の利点）
以上述べたように、本実施例では視点の観察角φが異なる視点画像の間で標本表面の散乱光の強度が大きく変化する性質を利用し、Ｚスタック画像から標本の散乱画像を抽出することができる。よって本実施例の方法でも、実施例１と同様、観察や診断に適した観察用画像を得ることができる。
以上述べたように、本実施例では視点の観察角φが異なる視点画像の間で標本表面の散乱光の強度が大きく変化する性質を利用し、Ｚスタック画像から標本の散乱画像を抽出することができる。よって本実施例の方法でも、実施例１と同様、観察や診断に適した観察用画像を得ることができる。
［実施例３］
実施例１、２では視点散乱画像統合像の計算方法について説明した。本実施例では、元画像（Ｚスタック画像中のフォーカス位置であるＺ＝Ｚｆにおけるレイヤー画像）に視点散乱画像統合像を合成することで、散乱光の情報が強調され且つ被写界深度が拡大された観察用画像を生成する方法について述べる。
実施例１では、視点を変えたときの視点画像間の透過光強度の変化は僅かであり、視点画像の差分をとることで表面凹凸を表す散乱画像を生成できると説明した。しかし、標本の厚みが大きいと、ピントを合わせた位置（フォーカス位置Ｚｆ）とは異なる深さに存在する物体が増え、その物体のぼけの情報が散乱画像の中に残ることがある。また視点の観察角φが大きくなる場合でも物体が存在する深さ方向の位置とフォーカス位置Ｚｆの差が僅かであっても物体のぼけが大きくなり、同様の現象が発生する。
以下、散乱画像中の、ピントを合わせた位置から離れた位置に物体が存在する場合の散乱画像中の影響について説明する。
実施例１、２では視点散乱画像統合像の計算方法について説明した。本実施例では、元画像（Ｚスタック画像中のフォーカス位置であるＺ＝Ｚｆにおけるレイヤー画像）に視点散乱画像統合像を合成することで、散乱光の情報が強調され且つ被写界深度が拡大された観察用画像を生成する方法について述べる。
実施例１では、視点を変えたときの視点画像間の透過光強度の変化は僅かであり、視点画像の差分をとることで表面凹凸を表す散乱画像を生成できると説明した。しかし、標本の厚みが大きいと、ピントを合わせた位置（フォーカス位置Ｚｆ）とは異なる深さに存在する物体が増え、その物体のぼけの情報が散乱画像の中に残ることがある。また視点の観察角φが大きくなる場合でも物体が存在する深さ方向の位置とフォーカス位置Ｚｆの差が僅かであっても物体のぼけが大きくなり、同様の現象が発生する。
以下、散乱画像中の、ピントを合わせた位置から離れた位置に物体が存在する場合の散乱画像中の影響について説明する。
はじめに、ＭＦＩ任意視点／焦点ぼけ画像生成法における３次元的な結像関係について説明する。
ＭＦＩ任意視点／焦点ぼけ画像生成法では、座標変換を施した焦点ぼけ画像群（Ｚスタック画像）が３次元的な被写体と３次元的な焦点ぼけのコンボリューションによって表される関係が成立している。３次元被写体をｆ（Ｘ，Ｙ，Ｚ）、３次元的な焦点ぼけをｈ（Ｘ，Ｙ，Ｚ）、座標変換を施した焦点ぼけ画像群（Ｚスタック画像）をｇ（Ｘ，Ｙ，Ｚ）とすると以下の式が成立する。
ＭＦＩ任意視点／焦点ぼけ画像生成法では、座標変換を施した焦点ぼけ画像群（Ｚスタック画像）が３次元的な被写体と３次元的な焦点ぼけのコンボリューションによって表される関係が成立している。３次元被写体をｆ（Ｘ，Ｙ，Ｚ）、３次元的な焦点ぼけをｈ（Ｘ，Ｙ，Ｚ）、座標変換を施した焦点ぼけ画像群（Ｚスタック画像）をｇ（Ｘ，Ｙ，Ｚ）とすると以下の式が成立する。
図１８（ａ）〜図１８（ｆ）は３次元被写体の異なるＺ位置に物体が存在する場合のＺスタック画像の違いを示す模式図である。３次元被写体１８０１はＺ＝Ｚｆの位置に物体が存在し、３次元被写体１８１１ではＺ＝Ｚｏの位置に物体が存在する。
３次元的な焦点ぼけ１８０２を持つ光学系を用いてＺ方向のピント位置を変えながら、３次元被写体１８０１、１８１１を撮影することで、それぞれＺスタック画像１８０３、１８１３が得られる。（なお、３次元的な焦点ぼけｈ（Ｘ，Ｙ，Ｚ）は座標変換によってシフト不変に変換されるため、同一である。）自明だが、Ｚスタック画像１８０３ではＺ＝Ｚｆの位置で、Ｚスタック画像１８１３ではＺ＝Ｚｏの位置で最も焦点ぼけが少ない画像が得られる。
３次元的な焦点ぼけ１８０２を持つ光学系を用いてＺ方向のピント位置を変えながら、３次元被写体１８０１、１８１１を撮影することで、それぞれＺスタック画像１８０３、１８１３が得られる。（なお、３次元的な焦点ぼけｈ（Ｘ，Ｙ，Ｚ）は座標変換によってシフト不変に変換されるため、同一である。）自明だが、Ｚスタック画像１８０３ではＺ＝Ｚｆの位置で、Ｚスタック画像１８１３ではＺ＝Ｚｏの位置で最も焦点ぼけが少ない画像が得られる。
次に、ＭＦＩ任意視点／焦点ぼけ画像生成法における任意視点画像と任意焦点ぼけ画像の関係について説明する。
図１９（ａ）〜図１９（ｈ）は、３次元被写体の異なるＺ位置に物体が存在する場合のＭＦＩ任意視点／焦点ぼけ画像生成法で求める任意視点画像と任意焦点ぼけ画像の関係を示す模式図である。
図１９（ａ）の１９００、図１９（ｅ）の１９１０は３次元被写体であり、それぞれ図１８（ａ）の１８０１、図１８（ｄ）の１８１１と等しい。３次元被写体１９００および１９１０中の実線で表す光線は、被写体中の物体を通り、かつ光学系のレンズ面上のそれ
ぞれに対応した所定の視点を通る光線を表す。なお、図１９（ｅ）中の破線は図１９（ａ）中の実線に対応している。
光線１９００ａおよび１９１０ａはレンズ面上のある視点ａを通る光線であり、視点に対応する視線方向からＺ＝Ｚｆの位置がピント位置となるように観察した視点画像はそれぞれ、図１９（ｂ）の１９０１、図１９（ｆ）の１９１１となる。また同様に光線１９００ｂおよび１９１０ｂはレンズ面上のある視点ｂを通る光線であり、それぞれのＺ＝Ｚｆの位置がピント位置となるように観察した視点画像は図１９（ｃ）の１９０２、図１９（ｇ）の１９１２となる。
図１９（ａ）〜図１９（ｈ）は、３次元被写体の異なるＺ位置に物体が存在する場合のＭＦＩ任意視点／焦点ぼけ画像生成法で求める任意視点画像と任意焦点ぼけ画像の関係を示す模式図である。
図１９（ａ）の１９００、図１９（ｅ）の１９１０は３次元被写体であり、それぞれ図１８（ａ）の１８０１、図１８（ｄ）の１８１１と等しい。３次元被写体１９００および１９１０中の実線で表す光線は、被写体中の物体を通り、かつ光学系のレンズ面上のそれ
ぞれに対応した所定の視点を通る光線を表す。なお、図１９（ｅ）中の破線は図１９（ａ）中の実線に対応している。
光線１９００ａおよび１９１０ａはレンズ面上のある視点ａを通る光線であり、視点に対応する視線方向からＺ＝Ｚｆの位置がピント位置となるように観察した視点画像はそれぞれ、図１９（ｂ）の１９０１、図１９（ｆ）の１９１１となる。また同様に光線１９００ｂおよび１９１０ｂはレンズ面上のある視点ｂを通る光線であり、それぞれのＺ＝Ｚｆの位置がピント位置となるように観察した視点画像は図１９（ｃ）の１９０２、図１９（ｇ）の１９１２となる。
視点画像１９０１、１９０２では物体の像は同一の位置に現れる。これに対し、視点画像１９１１、１９１２では物体の像の位置は同一の位置に現れず、それぞれ、ＺｆとＺｏの間の距離ｄＺ（＝Ｚｏ−Ｚｆ）と視線方向で決まる量だけシフトして現れる。
ＭＦＩ任意視点／焦点ぼけ画像生成法では、Ｚスタック画像のＺ＝Ｚｆの位置のレイヤー画像ｇは以下の式で表現できる。
ＭＦＩ任意視点／焦点ぼけ画像生成法では、Ｚスタック画像のＺ＝Ｚｆの位置のレイヤー画像ｇは以下の式で表現できる。
ここで、ｋ（ｓ，ｔ）は撮像光学系の３次元的な焦点ぼけを間接的に表す関数で、レンズ面上の各視点（ｓ，ｔ）を通る光線の相対強度分布を表している。ｋ（ｓ，ｔ）とｈ（Ｘ，Ｙ，Ｚ）の間には以下の関係が成立する。
ｋ（ｓ，ｔ）は以下の式に示すように、レンズ面上に存在する全ての視点（ｓ，ｔ）での総和が１になるように規格化されているものとする。
また、数１８においてａｓ，ｔ（Ｘ，Ｙ，Ｚｆ）はＺ＝Ｚｆにおける視点画像を表す。
数１８から、ＭＦＩ任意視点／焦点ぼけ画像生成法を用いれば、所定のＺ位置（Ｚ＝Ｚｆ）における多数の視点画像から、所定のＺ位置の任意焦点ぼけ画像を再構成できることが分かる。
数１８から、ＭＦＩ任意視点／焦点ぼけ画像生成法を用いれば、所定のＺ位置（Ｚ＝Ｚｆ）における多数の視点画像から、所定のＺ位置の任意焦点ぼけ画像を再構成できることが分かる。
以降の説明では、ｋ（ｓ，ｔ）のように、複数の画像を統合する際の視点（ｓ，ｔ）ごと（視線方向ごと）の重みを定義する関数を「視点重み関数」とよぶ。視点重み関数は、被写体上のある点から発し視点（ｓ，ｔ）を通る光線の相対強度分布を表しているともいえる。上記のｋ（ｓ，ｔ）は、被写体の撮影に用いた撮像光学系の３次元的な焦点ぼけに対応する特性をもつ視点重み関数である。なお、視点重み関数としては、どのような関数を用いてもよい。例えば、ＭＦＩ任意視点／焦点ぼけ画像生成法で任意焦点ぼけ画像を生成するための、任意の３次元的な焦点ぼけに対応するｋａ（ｓ，ｔ）も視点重み関数として用いることができる。また、後述の実施例で例示する円柱形のような任意の形状の関数を視点重み関数として用いることもできる。視点重み関数は、実施例１で述べた視点散乱画像統合設定画面１００３で選択する重み付けの設定と対応している。
なお、数１８の式は連続的な値の積分を意味するインテグラル∫で表記されているが、実際の画像処理では離散的な（有限個の）複数の視点（ｓ，ｔ）に対する演算であるため
シグマΣで表記するのが正しい。しかし、インテグラル∫の方が数式として見やすく、また一般化できるため、以降の説明でもインテグラル∫を用いて説明する。なお、視点が離散的（有限個）である場合では、数２０は演算で用いる全ての視点重み関数ｋ（ｓ，ｔ）あるいはｋａ（ｓ，ｔ）の和が１となるように規格化することを表す。
なお、数１８の式は連続的な値の積分を意味するインテグラル∫で表記されているが、実際の画像処理では離散的な（有限個の）複数の視点（ｓ，ｔ）に対する演算であるため
シグマΣで表記するのが正しい。しかし、インテグラル∫の方が数式として見やすく、また一般化できるため、以降の説明でもインテグラル∫を用いて説明する。なお、視点が離散的（有限個）である場合では、数２０は演算で用いる全ての視点重み関数ｋ（ｓ，ｔ）あるいはｋａ（ｓ，ｔ）の和が１となるように規格化することを表す。
（Ｚ＝Ｚｆにおけるぼけ像）
次に、ＭＦＩ任意視点／焦点ぼけ画像生成法を用いて、Ｚ＝Ｚｆにおける視点画像からＺスタック画像のＺ＝Ｚｆの位置のレイヤー画像を求める。
ここで、３次元被写体１８０１および１８１１において、点物体が光学系の光軸上に存在し、光軸を通る視点から見た視点画像（全焦点画像）が以下の式で表されるとする。
ただし、関数δはディラックのδ関数である。ａは点物体の強度（画素値）であり、ｂは背景の強度である。
次に、ＭＦＩ任意視点／焦点ぼけ画像生成法を用いて、Ｚ＝Ｚｆにおける視点画像からＺスタック画像のＺ＝Ｚｆの位置のレイヤー画像を求める。
ここで、３次元被写体１８０１および１８１１において、点物体が光学系の光軸上に存在し、光軸を通る視点から見た視点画像（全焦点画像）が以下の式で表されるとする。
以下、数１８を用いて、３次元被写体１８０１および１８１１を撮影したときの、Ｚスタック画像のＺ＝Ｚｆの位置のレイヤー画像を求める。
（３次元被写体１８０１のＺ＝Ｚｆにおけるレイヤー画像）
物体の厚みが無視できるとすると、数１８の視点画像ａｓ，ｔ（Ｘ，Ｙ，Ｚｆ）は視点の位置（ｓ，ｔ）にかかわらず、Ｉ（Ｘ，Ｙ，Ｚｆ）で表せる。従って、数２１を数１８に代入し、変形すると以下の式で表されるレイヤー画像が得られる。
物体の厚みが無視できるとすると、数１８の視点画像ａｓ，ｔ（Ｘ，Ｙ，Ｚｆ）は視点の位置（ｓ，ｔ）にかかわらず、Ｉ（Ｘ，Ｙ，Ｚｆ）で表せる。従って、数２１を数１８に代入し、変形すると以下の式で表されるレイヤー画像が得られる。
（３次元被写体１８１１のＺ＝Ｚｆにおけるレイヤー画像）
同様に、物体の厚みが無視できるとすると、数１８の視点画像ａｓ，ｔ（Ｘ，Ｙ，Ｚｆ）はＩ（Ｘ，Ｙ，Ｚｆ）の平行移動で表せるとし、数２１を数１８に代入し、数１９、数２０を用いて変形すると以下の式となる。フォーカス位置からのずれｄＺによるぼけが含まれることがわかる。
同様に、物体の厚みが無視できるとすると、数１８の視点画像ａｓ，ｔ（Ｘ，Ｙ，Ｚｆ）はＩ（Ｘ，Ｙ，Ｚｆ）の平行移動で表せるとし、数２１を数１８に代入し、数１９、数２０を用いて変形すると以下の式となる。フォーカス位置からのずれｄＺによるぼけが含まれることがわかる。
図１９（ｄ）および図１９（ｈ）の焦点ぼけ画像（レイヤー画像）１９０３、１９１３は、レンズ面上に設定した多数の視点に対応する複数の視点画像から求めた、Ｚ＝Ｚｆにおけるレイヤー画像の模式図である。レイヤー画像１９０３は数２２に対応する画像を表し、１９１３は数２３に対応する画像を表している。
レイヤー画像１９０３ではそれぞれの視点画像において物体の像の位置がシフトしないため、ぼけの無い像が得られる。一方、レイヤー画像１９１３では視点画像中の物体の位置がシフトするため、光学系のぼけを含んだ像が得られている。
レイヤー画像１９０３ではそれぞれの視点画像において物体の像の位置がシフトしないため、ぼけの無い像が得られる。一方、レイヤー画像１９１３では視点画像中の物体の位置がシフトするため、光学系のぼけを含んだ像が得られている。
以下、上記で述べたＭＦＩ任意視点／焦点ぼけ画像生成法における任意視点画像と任意焦点ぼけ画像の関係を踏まえ、実施例１で説明した視点散乱画像統合像の画像の特性について説明する。
（視点散乱画像統合像）
実施例１と同じように、複数の視点Ｐ０と対応する偏角回転視点Ｐ１を求め、それぞれの視点画像間で下記の式に示す演算を実施し、複数の視点Ｐ０の視点散乱画像ＳＰ０を加算した視点散乱画像統合像について考える。
ｋ（ｓ，ｔ）は撮像光学系のぼけに対応する視点重み関数である。（実施例１では視点Ｐ０とＰ１の位置は光軸上の原点から等しい距離にあるため、光軸に対して回転対称な光学系では視点Ｐ０とＰ１での視点重み関数の値は等しくなる。）１／２を乗じるのは視点画像ＩＰ１（Ｘ，Ｙ，Ｚｆ）とＩＰ０（Ｘ，Ｙ，Ｚｆ）の散乱光成分の平均強度を抽出するためで、視点Ｐ０およびＰ１で同一の計算を行ったときに強度が２倍になることを防ぐ。
実施例１と同じように、複数の視点Ｐ０と対応する偏角回転視点Ｐ１を求め、それぞれの視点画像間で下記の式に示す演算を実施し、複数の視点Ｐ０の視点散乱画像ＳＰ０を加算した視点散乱画像統合像について考える。
数２４から、３次元被写体１８０１および１８１１におけるＺ＝Ｚｆにおける視点散乱画像統合像ＤＳ（Ｘ，Ｙ，Ｚｆ）は以下の式で計算できる。
物体の厚みが無視できる場合、３次元被写体１８０１では、視点画像ＩＰ１（Ｘ，Ｙ，Ｚｆ）とＩＰ０（Ｘ，Ｙ，Ｚｆ）は同一と見なせるので、視点散乱画像統合像は０となる。
次に、３次元被写体１８０１では、ＩＰ１（Ｘ，Ｙ，Ｚｆ）、ＩＰ０（Ｘ，Ｙ，Ｚｆ）はＩ（Ｘ，Ｙ，Ｚｆ）の平行移動で表されるとし、数２５を変形すると下記の式となる。
数２６の積分内の式はｓ＝ｔ＝０のとき０となり、それ以外は、
となるので、数２６は以下のように変形できる。
（点物体が周囲よりも暗い物体の場合）
次に、数２８で表される視点散乱画像統合像における｜ａ−ｂ｜について考える。
３次元被写体１８１１にある点物体が背景よりも暗い物体の場合、例えば、明視野観察のように透過率が低い物体を観察する場合には、数２１では０＜ａ＜ｂの関係が成立すると見なすことができる。従って、数２８は以下の式に変形できる。
次に、数２８で表される視点散乱画像統合像における｜ａ−ｂ｜について考える。
３次元被写体１８１１にある点物体が背景よりも暗い物体の場合、例えば、明視野観察のように透過率が低い物体を観察する場合には、数２１では０＜ａ＜ｂの関係が成立すると見なすことができる。従って、数２８は以下の式に変形できる。
（Ｚスタック画像のＺ＝Ｚｆのレイヤー画像と視点散乱画像統合像の加算）
続いて、３次元被写体１８１１を撮像したＺスタック画像のＺ＝Ｚｆにおけるレイヤー画像ｇ（数２３）と視点散乱画像統合像ＤＳ（数２９）を加算した合成画像の特徴を考える。合成画像ＡＤＤは以下の式で表される。
ｈ（０，０，ｄＺ）は３次元的な焦点ぼけの焦点位置からｄＺ離れた位置の焦点ぼけｈ（Ｘ，Ｙ，ｄＺ）の中心部の強度だけを持ち、点像に近いことから、数３０によって得られる像の被写界深度は極めて深いことが分かる。
従って、明視野観察のように透過率が低い物体（０＜ａ＜ｂの場合）の焦点ぼけ画像がＺ＝Ｚｆのレイヤー画像に含まれる場合でも、視点散乱画像統合像の加算により、被写界深度を拡大することが出来る。
続いて、３次元被写体１８１１を撮像したＺスタック画像のＺ＝Ｚｆにおけるレイヤー画像ｇ（数２３）と視点散乱画像統合像ＤＳ（数２９）を加算した合成画像の特徴を考える。合成画像ＡＤＤは以下の式で表される。
従って、明視野観察のように透過率が低い物体（０＜ａ＜ｂの場合）の焦点ぼけ画像がＺ＝Ｚｆのレイヤー画像に含まれる場合でも、視点散乱画像統合像の加算により、被写界深度を拡大することが出来る。
次に、前記の式による説明を分かりやすくするため、図２０（ａ）〜図２０（ｆ）を用いて説明する。
図２０（ｄ）の画像２０１１は３次元被写体１８１１を撮像したＺスタック画像のＺ＝Ｚｆにおけるレイヤー画像を表し、数２３の式に対応している。図２０（ｅ）の画像２０１２は３次元被写体１８１１を撮像したＺスタック画像のＺ＝Ｚｆにおける視点散乱画像統合像を表し、数２９の式に対応している。図２０（ｆ）の画像２０１３はＺ＝Ｚｆにおけるレイヤー画像に視点散乱画像統合像を加算した画像を表し、数３０の式に対応している。
図２０（ａ）の２００１、図２０（ｂ）の２００２、図２０（ｃ）の２００３はそれぞれ画像２０１１、２０１２、２０１３のＸ方向の輝度断面を表している。
図２０（ｄ）の画像２０１１は３次元被写体１８１１を撮像したＺスタック画像のＺ＝Ｚｆにおけるレイヤー画像を表し、数２３の式に対応している。図２０（ｅ）の画像２０１２は３次元被写体１８１１を撮像したＺスタック画像のＺ＝Ｚｆにおける視点散乱画像統合像を表し、数２９の式に対応している。図２０（ｆ）の画像２０１３はＺ＝Ｚｆにおけるレイヤー画像に視点散乱画像統合像を加算した画像を表し、数３０の式に対応している。
図２０（ａ）の２００１、図２０（ｂ）の２００２、図２０（ｃ）の２００３はそれぞれ画像２０１１、２０１２、２０１３のＸ方向の輝度断面を表している。
レイヤー画像２０１１では撮像光学系の焦点ぼけｈ（Ｘ，Ｙ，ｄＺ）によって画像の中心から輝度が緩やかに上昇しているが、逆に視点散乱画像統合像２０１２では画像の中心の輝度が０であることを除き、画像の中心から輝度が緩やかに減少している。従って、レイヤー画像２０１１に視点散乱画像統合像２０１２を加算すると、断面２００３に示すように、３次元的な焦点ぼけによる輝度変化が打ち消され、画像の中心部にある物体が明瞭に観察できる合成画像２０１３が得られる。
なお、点物体がＺ＝Ｚｆに存在する３次元被写体１８０１の場合には、Ｚ＝Ｚｆにおけるレイヤー画像は数２２で表され、視点散乱画像統合像は０になることから、両者の加算結果はＺ＝Ｚｆにおけるレイヤー画像のままである。
なお、点物体がＺ＝Ｚｆに存在する３次元被写体１８０１の場合には、Ｚ＝Ｚｆにおけるレイヤー画像は数２２で表され、視点散乱画像統合像は０になることから、両者の加算結果はＺ＝Ｚｆにおけるレイヤー画像のままである。
従って、視点散乱画像統合像に標本の表面凹凸による散乱光の情報が含まれており、さらにＺ＝Ｚｆにおけるレイヤー画像に物体のぼけ像が存在する場合でも、レイヤー画像と視点散乱画像統合像の加算によって、散乱光の強調と被写界深度の拡大が実現できる。これにより、例えば細胞核などの周囲よりも暗い物体を明瞭にする効果が得られ、診断や画像解析において有用な画像となる。
（点物体が周囲よりも明るい物体の場合）
３次元被写体１８１１にある点物体が背景よりも明るい物体、例えば蛍光観察のように自ら発光する蛍光体を観察する場合には、数２１では０＜ｂ＜ａの関係が成立すると見なすことができる。従って、数２８は以下の式に変形できる。
３次元被写体１８１１にある点物体が背景よりも明るい物体、例えば蛍光観察のように自ら発光する蛍光体を観察する場合には、数２１では０＜ｂ＜ａの関係が成立すると見なすことができる。従って、数２８は以下の式に変形できる。
（Ｚスタック画像のＺ＝Ｚｆのレイヤー画像と視点散乱画像統合像の減算）
続いて、３次元被写体１８１１を撮像したＺスタック画像のＺ＝Ｚｆにおけるレイヤー画像ｇ（数２３）から視点散乱画像統合像ＤＳ（数３１）を減算した合成画像の特徴を考える。合成画像ＳＵＢは以下の式で表される。
上記の式は、数３０と同じで、蛍光観察のように自ら発光する蛍光物体（０＜ｂ＜ａの場合）の焦点ぼけ画像がＺ＝Ｚｆのレイヤー画像に含まれる場合でも、視点散乱画像統合像の減算により、被写界深度を拡大することが出来る。
続いて、３次元被写体１８１１を撮像したＺスタック画像のＺ＝Ｚｆにおけるレイヤー画像ｇ（数２３）から視点散乱画像統合像ＤＳ（数３１）を減算した合成画像の特徴を考える。合成画像ＳＵＢは以下の式で表される。
同様に、図２１（ａ）〜図２１（ｆ）を用いて説明する。
図２１（ｄ）の画像２１１１は３次元被写体１８１１を撮像したＺスタック画像のＺ＝Ｚｆにおけるレイヤー画像を表し、数２３の式に対応している。図２１（ｅ）の画像２１１２は３次元被写体１８１１を撮像したＺスタック画像のＺ＝Ｚｆの位置における視点散乱画像統合像を表し、数３１の式に対応している。図２１（ｆ）の画像２１１３はＺ＝Ｚｆにおけるレイヤー画像から視点散乱画像統合像を減算した画像を表し、数３２の式に対応している。
図２１（ａ）の２１０１、図２１（ｂ）の２１０２、図２１（ｃ）の２１０３はそれぞれ画像２１１１、２１１２、２１１３のＸ方向の輝度断面を表している。
図２１（ｄ）の画像２１１１は３次元被写体１８１１を撮像したＺスタック画像のＺ＝Ｚｆにおけるレイヤー画像を表し、数２３の式に対応している。図２１（ｅ）の画像２１１２は３次元被写体１８１１を撮像したＺスタック画像のＺ＝Ｚｆの位置における視点散乱画像統合像を表し、数３１の式に対応している。図２１（ｆ）の画像２１１３はＺ＝Ｚｆにおけるレイヤー画像から視点散乱画像統合像を減算した画像を表し、数３２の式に対応している。
図２１（ａ）の２１０１、図２１（ｂ）の２１０２、図２１（ｃ）の２１０３はそれぞれ画像２１１１、２１１２、２１１３のＸ方向の輝度断面を表している。
レイヤー画像２１１１では撮像光学系の焦点ぼけｈ（Ｘ，Ｙ，ｄＺ）によって画像の中心から輝度が緩やかに減少している。視点散乱画像統合像２１１２では画像の中心の輝度が０であることを除き、画像の中心から輝度が緩やかに減少する。従って、レイヤー画像２１１１から視点散乱画像統合像２１１２を減算すると、断面２１０３に示すように、３次元的な焦点ぼけによる輝度変化が打ち消され、画像の中心部にある物体が明瞭に観察できる合成画像２１１３が得られる。
なお、点物体がＺ＝Ｚｆに存在する３次元被写体１８０１の場合には、Ｚ＝Ｚｆにおけるレイヤー画像は数２２で表され、視点散乱画像統合像は０になることから、両者の減算結果はＺ＝Ｚｆにおけるレイヤー画像のままである。
なお、視点散乱画像統合像の減算により、標本の表面凹凸による散乱光の情報は弱められるように思われるが、視点散乱画像統合像を生成する際の視点重み関数の変更や強度の調整により、散乱光の強い部分を逆に周囲よりも暗くすることが可能である。従って減算の場合にも散乱光の強い部分を目立たせることが可能である。
なお、点物体がＺ＝Ｚｆに存在する３次元被写体１８０１の場合には、Ｚ＝Ｚｆにおけるレイヤー画像は数２２で表され、視点散乱画像統合像は０になることから、両者の減算結果はＺ＝Ｚｆにおけるレイヤー画像のままである。
なお、視点散乱画像統合像の減算により、標本の表面凹凸による散乱光の情報は弱められるように思われるが、視点散乱画像統合像を生成する際の視点重み関数の変更や強度の調整により、散乱光の強い部分を逆に周囲よりも暗くすることが可能である。従って減算の場合にも散乱光の強い部分を目立たせることが可能である。
視点散乱画像統合像に標本の表面凹凸による散乱光の情報が含まれており、さらにＺ＝Ｚｆにおけるレイヤー画像に物体のぼけ像が存在する場合でも、レイヤー画像と視点散乱画像統合像の減算によって、散乱光の強調と被写界深度の拡大が実現できる。これにより、例えば蛍光物体などの周囲よりも明るい物体を明瞭にする効果が得られ、診断や画像解析において有用な画像となる。
（演算式２４の変形例）
数２４の視点画像間の演算式では、視点重み関数として、撮像光学系の３次元的な焦点ぼけｈ（Ｘ，Ｙ，Ｚ）に対応するｋ（ｓ，ｔ）を用いたが、それ以外の所望の３次元的な
焦点ぼけｈａ（Ｘ，Ｙ，Ｚ）に対応するｋａ（ｓ，ｔ）を用いることも可能である。ｈａ（Ｘ，Ｙ，Ｚ）とｋａ（ｓ，ｔ）には数１９，数２０同様、以下の関係が成立する。
数２４の視点画像間の演算式では、視点重み関数として、撮像光学系の３次元的な焦点ぼけｈ（Ｘ，Ｙ，Ｚ）に対応するｋ（ｓ，ｔ）を用いたが、それ以外の所望の３次元的な
焦点ぼけｈａ（Ｘ，Ｙ，Ｚ）に対応するｋａ（ｓ，ｔ）を用いることも可能である。ｈａ（Ｘ，Ｙ，Ｚ）とｋａ（ｓ，ｔ）には数１９，数２０同様、以下の関係が成立する。
その場合、視点散乱画像統合像２０１２（あるいは２１１２）の輝度断面２００２（あるいは２１０２）にｋａ（ｓ，ｔ）から求まるｈａ（Ｘ，Ｙ，ｄＺ）に対応する焦点ぼけが現れる。よって、合成画像２０１３（あるいは２１１３）の輝度断面２００３（あるいは２１０３）には、被写界深度拡大を抑える効果やエッジ強調のような効果を生むことができる。
また、数２４の視点Ｐ０およびＰ１は互いに視点の偏角θが１８０度異なる関係になくても良い。また数１５のように視点位置Ｐ０、Ｐ１、Ｐ２のように３つ以上の視点画像を用いて視点散乱画像を計算しても良い。いずれの場合でも数２６は数２８に変形でき、レイヤー画像中の物体の焦点ぼけを抑える効果が得られる。
以上で、実施例３および実施例４で生成する、Ｚスタック画像中のフォーカス位置の画像（Ｚ＝Ｚｆにおけるレイヤー画像）と視点散乱画像統合像を合成した合成画像の特徴について説明した。以下、この合成画像を、フォーカス位置散乱画像合成像とよぶ。
続いて、本実施例におけるフォーカス位置散乱画像合成像（第３の観察用画像）を生成する処理フローについて述べる。
（画像合成処理の概要）
図１７は本実施例のフォーカス位置散乱画像合成像を生成する全体フローを示すフローチャートである。
まず、Ｚスタック画像取得ステップＳ１７０１では、図８のステップＳ８０１と同一の処理を行い、以降の計算で必要となる範囲のＺスタック画像のデータを取得する。
次に、視点分解散乱画像抽出・統合処理ステップＳ１７０２では、ステップＳ８０２と同一の処理を行う。まず視点分解設定（７０４）に基づきＺスタック画像から複数の視点に対する視点画像を生成し、視点散乱画像抽出設定（７０５）に基づき視点画像間の演算を行って視点散乱画像を生成する。そして最後に、視点散乱画像統合設定（７０６）に基づき、複数の視点散乱画像を統合した視点散乱画像統合像を生成する。
次に、輪郭抽出処理ステップＳ１７０３では、ステップＳ８０３と同一の処理を行い、視点散乱画像統合像から輪郭を抽出した輪郭抽出像を生成する。ステップＳ８０３と同様、必須の処理ではない。
図１７は本実施例のフォーカス位置散乱画像合成像を生成する全体フローを示すフローチャートである。
まず、Ｚスタック画像取得ステップＳ１７０１では、図８のステップＳ８０１と同一の処理を行い、以降の計算で必要となる範囲のＺスタック画像のデータを取得する。
次に、視点分解散乱画像抽出・統合処理ステップＳ１７０２では、ステップＳ８０２と同一の処理を行う。まず視点分解設定（７０４）に基づきＺスタック画像から複数の視点に対する視点画像を生成し、視点散乱画像抽出設定（７０５）に基づき視点画像間の演算を行って視点散乱画像を生成する。そして最後に、視点散乱画像統合設定（７０６）に基づき、複数の視点散乱画像を統合した視点散乱画像統合像を生成する。
次に、輪郭抽出処理ステップＳ１７０３では、ステップＳ８０３と同一の処理を行い、視点散乱画像統合像から輪郭を抽出した輪郭抽出像を生成する。ステップＳ８０３と同様、必須の処理ではない。
次に、本実施例の特徴的な構成である画像合成処理ステップＳ１７０４では、Ｚスタック画像中のフォーカス位置の画像（Ｚ＝Ｚｆにおけるレイヤー画像）に視点散乱画像統合像を合成した画像であるフォーカス位置散乱画像合成像を生成する。詳細は後述する。
最後に、画像表示処理ステップＳ１７０５では、ステップＳ８０４と同様に、ウィンドウ７００の右側領域７０２にステップＳ１７０４で求めたフォーカス位置散乱画像合成像を表示する。この例では、フォーカス位置散乱画像合成像が画像観察や画像診断に適した観察用画像である。ステップＳ８０４と同様、ウィンドウ７００の左側領域７０１のフォ
ーカス位置の像、右側領域７０２のフォーカス位置散乱画像合成像が表示されるため、対比較して観察できる。また、さらにウィンドウ内の所定の領域を選択し、Ｎ／Ｃ比算出等の画像解析を実行することもできる。
最後に、画像表示処理ステップＳ１７０５では、ステップＳ８０４と同様に、ウィンドウ７００の右側領域７０２にステップＳ１７０４で求めたフォーカス位置散乱画像合成像を表示する。この例では、フォーカス位置散乱画像合成像が画像観察や画像診断に適した観察用画像である。ステップＳ８０４と同様、ウィンドウ７００の左側領域７０１のフォ
ーカス位置の像、右側領域７０２のフォーカス位置散乱画像合成像が表示されるため、対比較して観察できる。また、さらにウィンドウ内の所定の領域を選択し、Ｎ／Ｃ比算出等の画像解析を実行することもできる。
以降、画像合成処理ステップＳ１７０４の内部処理を詳しく説明する。
図２２は画像合成処理ステップＳ１７０４の内部処理を示すフローチャートである。
まずフォーカス位置像読み出しステップＳ２２０１では、Ｚスタック画像からＺスタック画像中のＺ方向の観察対象位置（フォーカス位置）Ｚ＝Ｚｆにあるレイヤー画像を読み出す。なお、以降の説明では、Ｚスタック画像中のＺ方向の観察対象位置Ｚ＝Ｚｆにあるレイヤー画像のことを、フォーカスを合わせた位置の画像と言う意味でフォーカス位置像と呼ぶ。詳細は後述する。
次に、画像合成設定読み出しステップＳ２２０２では、後段のフォーカス位置散乱画像合成像生成処理ステップＳ２２０４の計算条件を決める画像合成設定を読み出す。詳細は後述する。
次に、画像合成演算方法決定ステップＳ２２０３では、後段のステップＳ２２０４の計算条件の１つである画像合成演算方法を決定する。なお、Ｓ２２０３の処理はオプションであり必須ではない。詳細は後述する。
次に、フォーカス位置散乱画像合成像生成処理ステップＳ２２０４では、ステップＳ２２０１で読みだしたフォーカス位置像とステップＳ１７０２で計算した視点散乱画像統合像との間で画像合成演算を実施し、フォーカス位置散乱画像合成像を生成する。この合成像生成処理において、視点散乱画像統合像のかわりに、ステップＳ１７０３の輪郭抽出処理を施した画像をフォーカス位置像に合成してもよい。詳細は後述する。
最後に諧調補正ステップＳ２２０５では、フォーカス位置像（ウィンドウ７００の左側領域７０１に表示）とフォーカス位置散乱画像合成像（ウィンドウ７００の右側領域７０２に表示）を比較しやすくするために、諧調補正を実行する。なおステップＳ２２０４の処理はオプションであり必須ではない。
図２２は画像合成処理ステップＳ１７０４の内部処理を示すフローチャートである。
まずフォーカス位置像読み出しステップＳ２２０１では、Ｚスタック画像からＺスタック画像中のＺ方向の観察対象位置（フォーカス位置）Ｚ＝Ｚｆにあるレイヤー画像を読み出す。なお、以降の説明では、Ｚスタック画像中のＺ方向の観察対象位置Ｚ＝Ｚｆにあるレイヤー画像のことを、フォーカスを合わせた位置の画像と言う意味でフォーカス位置像と呼ぶ。詳細は後述する。
次に、画像合成設定読み出しステップＳ２２０２では、後段のフォーカス位置散乱画像合成像生成処理ステップＳ２２０４の計算条件を決める画像合成設定を読み出す。詳細は後述する。
次に、画像合成演算方法決定ステップＳ２２０３では、後段のステップＳ２２０４の計算条件の１つである画像合成演算方法を決定する。なお、Ｓ２２０３の処理はオプションであり必須ではない。詳細は後述する。
次に、フォーカス位置散乱画像合成像生成処理ステップＳ２２０４では、ステップＳ２２０１で読みだしたフォーカス位置像とステップＳ１７０２で計算した視点散乱画像統合像との間で画像合成演算を実施し、フォーカス位置散乱画像合成像を生成する。この合成像生成処理において、視点散乱画像統合像のかわりに、ステップＳ１７０３の輪郭抽出処理を施した画像をフォーカス位置像に合成してもよい。詳細は後述する。
最後に諧調補正ステップＳ２２０５では、フォーカス位置像（ウィンドウ７００の左側領域７０１に表示）とフォーカス位置散乱画像合成像（ウィンドウ７００の右側領域７０２に表示）を比較しやすくするために、諧調補正を実行する。なおステップＳ２２０４の処理はオプションであり必須ではない。
（フォーカス位置像読み出しステップＳ２２０１）
ステップＳ２２０１では、ステップＳ１７０１で取得したＺスタック画像から、ウィンドウ７００の左側領域７０１に表示されている観察対象位置（Ｚ＝Ｚｆ）にあるレイヤー画像を読み出す。なお、それ以外の方法でフォーカス位置像を選択することも可能である。例えば、合成画像の生成に用いるフォーカス位置像（ウィンドウ７００の左側領域に表示されている観察対象位置のレイヤー画像とは異なっていてもよい）を、ユーザに指定させても良い。また、Ｚスタック画像のＺ方向の輝度変化を調べ、多数の画素で輝度変化（コントラスト）が最も大きなＺ位置（Ｚ＝Ｚｆ）を自動的に選択し、そのＺ位置にあるレイヤー画像をフォーカス位置像としても良い。前記以外にも様々なフォーカス位置像の選択が可能である。なお、ステップＳ２２０１で決定するフォーカス位置像のＺスタック画像中のＺ位置と、ステップＳ１７０２の視点散乱画像統合像の視点画像の計算に用いるＺ位置は一致させる必要がある。
ステップＳ２２０１では、ステップＳ１７０１で取得したＺスタック画像から、ウィンドウ７００の左側領域７０１に表示されている観察対象位置（Ｚ＝Ｚｆ）にあるレイヤー画像を読み出す。なお、それ以外の方法でフォーカス位置像を選択することも可能である。例えば、合成画像の生成に用いるフォーカス位置像（ウィンドウ７００の左側領域に表示されている観察対象位置のレイヤー画像とは異なっていてもよい）を、ユーザに指定させても良い。また、Ｚスタック画像のＺ方向の輝度変化を調べ、多数の画素で輝度変化（コントラスト）が最も大きなＺ位置（Ｚ＝Ｚｆ）を自動的に選択し、そのＺ位置にあるレイヤー画像をフォーカス位置像としても良い。前記以外にも様々なフォーカス位置像の選択が可能である。なお、ステップＳ２２０１で決定するフォーカス位置像のＺスタック画像中のＺ位置と、ステップＳ１７０２の視点散乱画像統合像の視点画像の計算に用いるＺ位置は一致させる必要がある。
（画像合成設定読み出しステップＳ２２０２）
画像合成設定読み出しステップＳ２２０２では後段のステップＳ２２０４で用いる画像合成設定を読み出す。本ステップＳ２２０２で読みだす画像合成設定は、予め、散乱画像抽出機能の設定画面を介して入力した情報である。以下、本実施例における散乱画像抽出機能の設定画面で設定する項目について説明する。
画像合成設定読み出しステップＳ２２０２では後段のステップＳ２２０４で用いる画像合成設定を読み出す。本ステップＳ２２０２で読みだす画像合成設定は、予め、散乱画像抽出機能の設定画面を介して入力した情報である。以下、本実施例における散乱画像抽出機能の設定画面で設定する項目について説明する。
（画像合成設定）
図２３（ａ）は本実施例における散乱画像抽出・統合の設定画面を示し、図２３（ｂ）は画像合成設定画面を示す。設定ダイアログ２３００のオーバーレイ表示２３０７のチェックボックスを有効にすると、画像合成設定ボタン２３０８の設定ボタンが有効となり、
２３２０に示す画像合成設定ダイアログボックスを用いて画像合成設定が可能となる。なお、視点分解設定２３０４、視点散乱画像抽出設定２３０５、視点散乱画像統合設定２３０６の設定画面は、それぞれ図７（ｂ）における同一名称の設定と同じであるため、説明は省略する。
図２３（ａ）は本実施例における散乱画像抽出・統合の設定画面を示し、図２３（ｂ）は画像合成設定画面を示す。設定ダイアログ２３００のオーバーレイ表示２３０７のチェックボックスを有効にすると、画像合成設定ボタン２３０８の設定ボタンが有効となり、
２３２０に示す画像合成設定ダイアログボックスを用いて画像合成設定が可能となる。なお、視点分解設定２３０４、視点散乱画像抽出設定２３０５、視点散乱画像統合設定２３０６の設定画面は、それぞれ図７（ｂ）における同一名称の設定と同じであるため、説明は省略する。
画像合成設定２３２０では、後段のステップＳ２２０４での画像合成演算方法を定めるための設定やステップＳ２２０５の諧調補正で用いる設定を入力する。
例えば、画像合成設定２３２０の演算方法（２３２１）ではドロップダウンリストから「加算」、「減算」、「自動判定」などの画像合成の演算方法が選択できる。
演算方法（２３２１）で「自動判定」を選んだ場合、自動判定（２３２２）のドロップダウンリストから自動判定する条件を選択する。自動判定の条件としては、「標本観察条件」や「画像情報」などが選択できる。
合成強度（２３２３）ではエディットボックス内にフォーカス位置散乱画像合成像生成処理Ｓ２２０４における、視点散乱画像統合像の合成強度を数字で入力する。
諧調補正（２３２４）ではフォーカス位置像に視点散乱画像統合像を合成した後の諧調補正方式を選択する。ドロップダウンリストには何も処理をしない場合の「補正しない」、合成前後の輝度平均値を維持する「平均値維持」、合成前後のヒストグラムの最頻値を維持する「最頻値維持」などが選択できる。
画像合成設定読み出しステップＳ２２０２では、以上で述べた画像合成設定２３２０で予め設定した設定情報を読み出す。
例えば、画像合成設定２３２０の演算方法（２３２１）ではドロップダウンリストから「加算」、「減算」、「自動判定」などの画像合成の演算方法が選択できる。
演算方法（２３２１）で「自動判定」を選んだ場合、自動判定（２３２２）のドロップダウンリストから自動判定する条件を選択する。自動判定の条件としては、「標本観察条件」や「画像情報」などが選択できる。
合成強度（２３２３）ではエディットボックス内にフォーカス位置散乱画像合成像生成処理Ｓ２２０４における、視点散乱画像統合像の合成強度を数字で入力する。
諧調補正（２３２４）ではフォーカス位置像に視点散乱画像統合像を合成した後の諧調補正方式を選択する。ドロップダウンリストには何も処理をしない場合の「補正しない」、合成前後の輝度平均値を維持する「平均値維持」、合成前後のヒストグラムの最頻値を維持する「最頻値維持」などが選択できる。
画像合成設定読み出しステップＳ２２０２では、以上で述べた画像合成設定２３２０で予め設定した設定情報を読み出す。
（画像合成演算方法決定Ｓ２２０３）
画像合成演算方法決定ステップＳ２２０３では、ステップＳ２２０２で読み出した画像合成設定の演算方法（２３２１）が「自動判定」の場合に、自動判定（２３２２）で設定した条件を元に、画像合成の演算方法を決定する処理を行う。
自動判定（２３２２）で「標本観察条件」を選択した場合、標本からＺスタック画像を取得するときの撮像装置の条件、例えば、「明視野観察」や「蛍光観察」などの情報を元に、画像合成の演算方法を決定する。
画像合成演算方法決定ステップＳ２２０３では、ステップＳ２２０２で読み出した画像合成設定の演算方法（２３２１）が「自動判定」の場合に、自動判定（２３２２）で設定した条件を元に、画像合成の演算方法を決定する処理を行う。
自動判定（２３２２）で「標本観察条件」を選択した場合、標本からＺスタック画像を取得するときの撮像装置の条件、例えば、「明視野観察」や「蛍光観察」などの情報を元に、画像合成の演算方法を決定する。
なお、Ｚスタック画像を撮影した条件は、どのような方法で取得してもよい。例えば、Ｚスタック画像のデータを格納するファイルフォーマット内の所定の箇所に記載される場合もあれば、バーチャル・スライド・システムから画像生成装置１００にＺスタック画像を伝送する際に、別データとして同時に送信される場合もある。その場合には、Ｚスタック画像のファイルフォーマットまたは画像生成装置１００から「標本観察設定」の情報を取得する。
また、図４に示す病理標本のプレパラートのラベルエリア４１２に記載された２次元バーコードやプレパラートに添付されたＩＣチップ（不図示）を利用する方法も好ましい。例えば、標本観察条件を示す情報をバーコードやＩＣチップに記録してもよい。あるいは、プレパラートのＩＤ情報をバーコードやＩＣチップに記録し、このＩＤ情報と標本観察条件の関連付けを他のコンピュータシステム１４０のデータベースに記憶する構成も好ましい。その場合にはプレパラートのＩＤ情報を元に、他のコンピュータシステム１４０にアクセスし、標本観察条件を取得すると良い。
また、図４に示す病理標本のプレパラートのラベルエリア４１２に記載された２次元バーコードやプレパラートに添付されたＩＣチップ（不図示）を利用する方法も好ましい。例えば、標本観察条件を示す情報をバーコードやＩＣチップに記録してもよい。あるいは、プレパラートのＩＤ情報をバーコードやＩＣチップに記録し、このＩＤ情報と標本観察条件の関連付けを他のコンピュータシステム１４０のデータベースに記憶する構成も好ましい。その場合にはプレパラートのＩＤ情報を元に、他のコンピュータシステム１４０にアクセスし、標本観察条件を取得すると良い。
ステップＳ２２０３では、取得した「標本観察条件」が「明視野観察」である場合、透過率の低い物体が観察対象であると判断し、画像合成演算方法として「加算」を自動的に選択する。また、取得した「標本観察条件」が「蛍光観察」である場合、自発光の物体が観察対象であると判断し、画像合成演算方法として「減算」を自動的に選択することが望ましい。
自動判定（２３２２）で「画像情報」を選択した場合、ステップＳ２２０３ではＺスタ
ック画像の輝度情報の解析を行い、その結果に応じて画像合成演算方法を自動的に決定する。画像の解析方法には様々な方法が存在するが、例えば、Ｚスタック画像全体の平均輝度を求め、平均輝度が所定の閾値より高い場合には、画像合成演算方法として「加算」を自動的に選択する。逆に、平均輝度が閾値より低い場合には、画像合成演算方法として「減算」を自動的に選択する。他の解析方法として、例えば、Ｚスタック画像の輝度ヒストグラムから動的閾値法などを用いて輝度ヒストグラムの谷を求め、低輝度領域に谷が位置する場合は「加算」、高輝度領域に谷が位置する場合は「減算」を選択する方法でもよい。なお、解析に用いる画像は、Ｚスタック画像に含まれるすべてのレイヤー画像でもよいし、一部のレイヤー画像でもよい。また、レイヤー画像の全領域を解析に用いてもよいし、一部の領域のみを解析に用いてもよい。
ック画像の輝度情報の解析を行い、その結果に応じて画像合成演算方法を自動的に決定する。画像の解析方法には様々な方法が存在するが、例えば、Ｚスタック画像全体の平均輝度を求め、平均輝度が所定の閾値より高い場合には、画像合成演算方法として「加算」を自動的に選択する。逆に、平均輝度が閾値より低い場合には、画像合成演算方法として「減算」を自動的に選択する。他の解析方法として、例えば、Ｚスタック画像の輝度ヒストグラムから動的閾値法などを用いて輝度ヒストグラムの谷を求め、低輝度領域に谷が位置する場合は「加算」、高輝度領域に谷が位置する場合は「減算」を選択する方法でもよい。なお、解析に用いる画像は、Ｚスタック画像に含まれるすべてのレイヤー画像でもよいし、一部のレイヤー画像でもよい。また、レイヤー画像の全領域を解析に用いてもよいし、一部の領域のみを解析に用いてもよい。
（フォーカス位置散乱画像合成像生成処理ステップＳ２２０４）
フォーカス位置散乱画像合成像生成処理ステップＳ２２０４では、ステップＳ２２０２の設定（およびステップＳ２２０３で決定した画像合成演算方式）に基づき、フォーカス位置像と視点散乱画像統合像の合成演算を実行する。
既に述べたように、フォーカス位置像をｇ（Ｘ，Ｙ，Ｚｆ）とし、視点散乱画像統合像（第２の観察用画像）をＤＳ（Ｘ，Ｙ，Ｚｆ）とすると、ステップＳ２２０４で計算するフォーカス位置散乱画像合成像（第３の観察用画像）Ｃｏｍｐ（Ｘ，Ｙ，Ｚｆ）は以下の式で表せる。
合成係数αの絶対値は、図２３（ｂ）の合成強度（２３２３）で設定した値である。合成係数αの符号は、画像合成演算方式が「加算」の場合に「＋（正）」となり、「減算」の場合に「−（負）」となる。
フォーカス位置散乱画像合成像生成処理ステップＳ２２０４では、ステップＳ２２０２の設定（およびステップＳ２２０３で決定した画像合成演算方式）に基づき、フォーカス位置像と視点散乱画像統合像の合成演算を実行する。
既に述べたように、フォーカス位置像をｇ（Ｘ，Ｙ，Ｚｆ）とし、視点散乱画像統合像（第２の観察用画像）をＤＳ（Ｘ，Ｙ，Ｚｆ）とすると、ステップＳ２２０４で計算するフォーカス位置散乱画像合成像（第３の観察用画像）Ｃｏｍｐ（Ｘ，Ｙ，Ｚｆ）は以下の式で表せる。
（諧調補正ステップＳ２２０５）
続いて、諧調補正ステップＳ２２０５ではステップＳ２２０２で読み出した画像合成設定の諧調補正（２３２４）の設定に従い、フォーカス位置散乱画像合成像の諧調を補正する。例えば、諧調補正（２３２４）で「平均値維持」となっている場合には以下の演算により、補正されたフォーカス位置散乱画像合成像Ｃｏｍｐ’（Ｘ，Ｙ，Ｚｆ）を得る。
ｍＤＳは視点散乱画像統合像ＤＳ（Ｘ，Ｙ，Ｚｆ）の画素の平均値である。合成係数αは数３５のαと同じである。すなわち、画像合成演算方式が「加算」の場合は、ステップＳ２２０４で得られた合成像の全画素から平均値ｍＤＳを一律に減算し、「減算」の場合は、合成像の全画素に平均値ｍＤＳを一律に加算する。この演算により、視点散乱画像統合像ＤＳ（Ｘ，Ｙ，Ｚｆ）の加算（または減算）による合成像Ｃｏｍｐ（Ｘ，Ｙ，Ｚｆ）の輝度増加（または輝度低下）がキャンセルされる。よって、フォーカス位置像ｇ（Ｘ，Ｙ，Ｚｆ）と補正された合成像Ｃｏｍｐ’（Ｘ，Ｙ，Ｚｆ）の輝度バランスを合わせることができ、比較観察がやりやすくなる。なお、ＲＧＢのチャネル毎にｍＤＳを求め、補正しても良い。
続いて、諧調補正ステップＳ２２０５ではステップＳ２２０２で読み出した画像合成設定の諧調補正（２３２４）の設定に従い、フォーカス位置散乱画像合成像の諧調を補正する。例えば、諧調補正（２３２４）で「平均値維持」となっている場合には以下の演算により、補正されたフォーカス位置散乱画像合成像Ｃｏｍｐ’（Ｘ，Ｙ，Ｚｆ）を得る。
なお、数３５および数３６の演算では、０より小さい画素値は０とし、最大諧調（例えば８ビットなら２５５）より大きい画素値は２５５としても良い。あるいは、０および最大諧調の近傍では、線型ではないトーンカーブを用いて徐々に０または最大諧調に収めても良い。
なお、数３５と数３６は一つの式に統合できるため、ステップＳ２２０４でステップＳ２２０５の諧調補正処理も同時に実行しても良い。
なお、数３５と数３６は一つの式に統合できるため、ステップＳ２２０４でステップＳ２２０５の諧調補正処理も同時に実行しても良い。
また、諧調補正（２３２４）で「最頻値維持」を選択した場合は、ヒストグラムの最頻値（ピーク）がフォーカス位置像ｇ（Ｘ，Ｙ，Ｚｆ）のものと一致するように、フォーカス位置散乱画像合成像Ｃｏｍｐ（Ｘ，Ｙ，Ｚｆ）の諧調を補正する。このとき、ＲＧＢのチャネルごとにヒストグラムの最頻値を求め、チャネルごとに諧調を補正しても良いし、輝度ヒストグラムの最頻値を一致させるように諧調を補正してもよい。このような諧調補正によっても、フォーカス位置像ｇ（Ｘ，Ｙ，Ｚｆ）と補正された合成像Ｃｏｍｐ’（Ｘ，Ｙ，Ｚｆ）の輝度バランスや色バランスを合わせることができ、比較観察がやりやすくなる。
なお、諧調補正（２３２４）で「補正しない」を選択した場合には、ステップＳ２２０５では処理を行わない。
なお、諧調補正（２３２４）で「補正しない」を選択した場合には、ステップＳ２２０５では処理を行わない。
（本実施例の利点）
本実施例の構成によれば、元画像であるフォーカス位置像（Ｚ＝Ｚｆのレイヤー画像）のなかに物体（例えば細胞核など）の焦点ぼけ像が含まれている場合でも、視点散乱画像統合像を合成することで焦点ぼけを改善できる。これにより、元画像よりも被写界深度の深い（フォーカス位置から外れた物体のシャープネスが向上した）観察用画像が得られ、画像診断や画像解析をしやすくすることができる。一般的な焦点合成法（フォーカススタッキング）により得られる全焦点画像は奥行き方向にある物体の焦点ぼけを解消することができるが、立体感が失われるという課題がある。これに対し、本実施例のフォーカス位置散乱画像合成像では、散乱光の情報が強調されるため、全焦点画像とは異なり、立体感が失われることはない。
本実施例の構成によれば、元画像であるフォーカス位置像（Ｚ＝Ｚｆのレイヤー画像）のなかに物体（例えば細胞核など）の焦点ぼけ像が含まれている場合でも、視点散乱画像統合像を合成することで焦点ぼけを改善できる。これにより、元画像よりも被写界深度の深い（フォーカス位置から外れた物体のシャープネスが向上した）観察用画像が得られ、画像診断や画像解析をしやすくすることができる。一般的な焦点合成法（フォーカススタッキング）により得られる全焦点画像は奥行き方向にある物体の焦点ぼけを解消することができるが、立体感が失われるという課題がある。これに対し、本実施例のフォーカス位置散乱画像合成像では、散乱光の情報が強調されるため、全焦点画像とは異なり、立体感が失われることはない。
［実施例４］
ＭＦＩ任意視点／焦点ぼけ画像生成法（非特許文献２または３の方法）では、複数の視点画像を統合する際に用いる視点重み関数を変えることで任意の焦点ぼけを持つ画像を生成できる。その際、撮像光学系の３次元的な焦点ぼけに対応する相対強度分布を表す視点重み関数（以降、「撮像光学系重み関数」とよぶ）を用いれば、複数の視点画像から元のフォーカス位置像（レイヤー画像）を再構成できる。
本発明者は、観察角φが比較的大きな視点に対する重みが、撮像光学系重み関数に比べて大きい、視点重み関数を用いることで、元のレイヤー画像よりも標本の表面凹凸の散乱光のコントラストが大きな画像を再構成できることを見出した。数６や数９で説明したように観察角φが大きな画像では散乱光のコントラストが高くなるからである。このような性質を利用し、レイヤー画像の代わりに、視点重み関数を変更して生成した任意焦点ぼけ画像を利用することで、実施例３の方法に比べ、散乱光の情報をより強調することができる。
また、上記実施例３の方法では、フォーカス位置像に含まれる撮像光学系の焦点ぼけをキャンセルするために、できるだけ多くの（あらゆる偏角および観察角の）視点画像から求めた視点散乱画像統合像をフォーカス位置像に合成することが好ましい。しかし、視点画像の数（視点数）が多くなるほど、フォーカス位置散乱画像合成像の生成に要する時間が長くなる。
そこで実施例４では、視点毎に視点画像と視点散乱画像を合成し、それらを独自の視点重み関数を用いて統合することにより、少ない視点数で、かつ実施例３よりも散乱光のコントラストが大きなフォーカス位置散乱画像合成像を生成する方法について説明する。
ＭＦＩ任意視点／焦点ぼけ画像生成法（非特許文献２または３の方法）では、複数の視点画像を統合する際に用いる視点重み関数を変えることで任意の焦点ぼけを持つ画像を生成できる。その際、撮像光学系の３次元的な焦点ぼけに対応する相対強度分布を表す視点重み関数（以降、「撮像光学系重み関数」とよぶ）を用いれば、複数の視点画像から元のフォーカス位置像（レイヤー画像）を再構成できる。
本発明者は、観察角φが比較的大きな視点に対する重みが、撮像光学系重み関数に比べて大きい、視点重み関数を用いることで、元のレイヤー画像よりも標本の表面凹凸の散乱光のコントラストが大きな画像を再構成できることを見出した。数６や数９で説明したように観察角φが大きな画像では散乱光のコントラストが高くなるからである。このような性質を利用し、レイヤー画像の代わりに、視点重み関数を変更して生成した任意焦点ぼけ画像を利用することで、実施例３の方法に比べ、散乱光の情報をより強調することができる。
また、上記実施例３の方法では、フォーカス位置像に含まれる撮像光学系の焦点ぼけをキャンセルするために、できるだけ多くの（あらゆる偏角および観察角の）視点画像から求めた視点散乱画像統合像をフォーカス位置像に合成することが好ましい。しかし、視点画像の数（視点数）が多くなるほど、フォーカス位置散乱画像合成像の生成に要する時間が長くなる。
そこで実施例４では、視点毎に視点画像と視点散乱画像を合成し、それらを独自の視点重み関数を用いて統合することにより、少ない視点数で、かつ実施例３よりも散乱光のコントラストが大きなフォーカス位置散乱画像合成像を生成する方法について説明する。
まず、撮像光学系重み関数ｋ（ｓ，ｔ）よりも、観察角φが大きな視点で相対強度が大きくなる視点重み関数について、具体的に説明する。なお、観察角φは数４や数５に示すように視点の原点からの距離（＝（ｓ２＋ｔ２）１／２）に伴って増加する。ここでは、観察角φが同じ視点（視線方向）に対して同じ重みを与えるので、視点重み関数は光軸まわりに回転対称な形状をもつ。したがって、視点重み関数を観察角φの関数ｋ（φ）で定
義してもよい。
義してもよい。
（観察角φが大きな視点位置で相対強度が大きくなる視点重み関数について）
図２５（ａ）と図２５（ｂ）に観察角φに対する相対強度が異なる２つの視点重み関数の断面図を示す。
図２５（ａ）はガウス関数で表される視点重み関数、図２５（ｂ）は円柱形で表される視点重み関数である。ｒｍは任意焦点ぼけ画像の生成に用いる視点のうち、レンズ面上で最も外側の視点の原点（０，０）からの距離を表す。
図２５（ａ）と図２５（ｂ）に観察角φに対する相対強度が異なる２つの視点重み関数の断面図を示す。
図２５（ａ）はガウス関数で表される視点重み関数、図２５（ｂ）は円柱形で表される視点重み関数である。ｒｍは任意焦点ぼけ画像の生成に用いる視点のうち、レンズ面上で最も外側の視点の原点（０，０）からの距離を表す。
図２５（ａ）の視点重み関数は以下の式で表現できる。
σはガウス関数の標準偏差を表す。σによりぼけの広がりを制御できる。
また、図２５（ｂ）の視点重み関数は以下の式で表現できる。
なお、ｋａ（ｓ，ｔ）には前述の数３３、数３４に示す関係が成立する。
図２５（ａ）に模式的な断面図を示すように、数３７で表される視点重み関数は視点（ｓ，ｔ）の原点からの距離（＝（ｓ２＋ｔ２）１／２）が大きくなるに従い、相対強度が小さくなる。一方、図２５（ｂ）に示すように、数３８で表される視点重み関数は視点（ｓ，ｔ）の原点からの距離にかかわらず一定の相対強度を持つ。縦軸に示す相対強度が、重みの大きさに対応する。
仮に、撮像光学系重み関数が数３７で表され、ＭＦＩ任意視点／焦点ぼけ画像生成法で計算する任意焦点ぼけ画像の視点重み関数が数３８で表されるとする。その場合、任意焦点ぼけ画像では、元のフォーカス位置像に比べて観察角φの大きな視点画像の影響が大きくなり、散乱光成分が強く現れる。
なお、撮像光学系の３次元的な焦点ぼけは、波動光学的なぼけや各種収差の影響により、厳密に数３７の視点重み関数で表現できる訳ではないが、数３７の視点重み関数により比較的良く近似できる。
仮に、撮像光学系重み関数が数３７で表され、ＭＦＩ任意視点／焦点ぼけ画像生成法で計算する任意焦点ぼけ画像の視点重み関数が数３８で表されるとする。その場合、任意焦点ぼけ画像では、元のフォーカス位置像に比べて観察角φの大きな視点画像の影響が大きくなり、散乱光成分が強く現れる。
なお、撮像光学系の３次元的な焦点ぼけは、波動光学的なぼけや各種収差の影響により、厳密に数３７の視点重み関数で表現できる訳ではないが、数３７の視点重み関数により比較的良く近似できる。
（本実施例の計算概要）
本実施例では実施例３の数３５のフォーカス位置像ｇ（Ｘ，Ｙ，Ｚｆ）の代わりに任意焦点ぼけ画像ａ（Ｘ，Ｙ，Ｚｆ）を用いる。本実施例のフォーカス位置散乱画像合成像（第４の観察用画像）は以下の式で表現できる。
本実施例では実施例３の数３５のフォーカス位置像ｇ（Ｘ，Ｙ，Ｚｆ）の代わりに任意焦点ぼけ画像ａ（Ｘ，Ｙ，Ｚｆ）を用いる。本実施例のフォーカス位置散乱画像合成像（第４の観察用画像）は以下の式で表現できる。
ａ（Ｘ，Ｙ，Ｚｆ）およびＤＳ（Ｘ，Ｙ，Ｚｆ）はそれぞれ以下の式で表現できる。
なお、ＩＰ０（Ｘ，Ｙ，Ｚｆ）とＩＰ１（Ｘ，Ｙ，Ｚｆ）はそれぞれ視点Ｐ０およびＰ１の視線方向からＺ＝Ｚｆの位置がピント位置となるように観察した視点画像である。
従って、数３９に数４０及び数４１を代入すると、フォーカス位置散乱画像合成像は以下の式で表現できる。
ただし、ＣＰ０（Ｘ，Ｙ，Ｚｆ）は以下の式となる。
即ち、本実施例の処理は、視点毎に視点画像（第１の視点画像）と視点散乱画像（第１の観察用画像）を合成して視点毎のフォーカス位置散乱画像合成像（合成画像）ＣＰ０（Ｘ，Ｙ，Ｚｆ）を生成し、それらに視点重み関数ｋａ（ｓ，ｔ）を掛け算したものを統合することでフォーカス位置散乱画像合成像（第４の観察用画像）Ｃｏｍｐ（Ｘ，Ｙ，Ｚｆ）を生成する処理と等価である。言い換えると、本実施例の観察用画像生成処理は、視点画像に対し視点散乱画像を合成する処理を、（視点散乱画像の生成に用いる）２つの視点画像の組み合わせを変えて、複数回行い、得られた複数の合成画像を統合する処理と等価である。
全体の処理フローは、実施例１（図８）とほぼ同じである。ただし、ステップＳ８０２の代わりに、本実施例では、図２４に示すフォーカス位置散乱画像合成像生成処理を実行する。
（フォーカス位置散乱画像合成像生成処理）
図２４は本実施例におけるフォーカス位置散乱画像合成像生成処理を示すフローチャートである。図２４に示すフローチャートの各ステップの処理は、視点毎フォーカス位置散乱画像合成像生成処理Ｓ２４０３を除き、実施例１で説明した図９の処理とほぼ同一となっている。
図２４は本実施例におけるフォーカス位置散乱画像合成像生成処理を示すフローチャートである。図２４に示すフローチャートの各ステップの処理は、視点毎フォーカス位置散乱画像合成像生成処理Ｓ２４０３を除き、実施例１で説明した図９の処理とほぼ同一となっている。
まず、視点取得処理ステップＳ２４０１では、ステップＳ９０１と同様、視点画像の生成に必要な視点の位置情報を取得する。
次に、視点画像生成ステップＳ２４０２では、ステップＳ９０２と同様、ステップＳ２４０１で取得した複数の視点にそれぞれ対応する複数の視点画像を生成する。
次に、視点画像生成ステップＳ２４０２では、ステップＳ９０２と同様、ステップＳ２４０１で取得した複数の視点にそれぞれ対応する複数の視点画像を生成する。
次に、視点毎フォーカス位置散乱画像合成像生成処理ステップＳ２４０３では、ステップＳ２４０２で生成した視点画像のそれぞれに対し、視点散乱画像抽出設定（７０５）での設定に基づき、対応する視点散乱画像を合成する。その結果、視点毎のフォーカス位置散乱画像合成像が得られる。視点Ｐ０のフォーカス位置散乱画像合成像ＣＰ０（Ｘ，Ｙ，Ｚｆ）は前述の数４３を用いて計算できる。
数４３のＩＰ０（Ｘ，Ｙ，Ｚｆ）とＩＰ１（Ｘ，Ｙ，Ｚｆ）はそれぞれ視点Ｐ０およびＰ１における視点画像である。１／２×｜ＩＰ１（Ｘ，Ｙ，Ｚｆ）―ＩＰ０（Ｘ，Ｙ，Ｚ
ｆ）｜は視点Ｐ０の視点散乱画像である。合成係数αの符号および絶対値は、実施例３と同様、図２３（ｂ）の画像合成設定２３２０の演算方法（２３２１）および合成強度（２３２３）に基づき決定する。（図２４では省略したが、図２２のステップＳ２２０２，Ｓ２２０３，Ｓ２２０４の処理と同じ処理をステップＳ２４０３において行えばよい。）
数４３のＩＰ０（Ｘ，Ｙ，Ｚｆ）とＩＰ１（Ｘ，Ｙ，Ｚｆ）はそれぞれ視点Ｐ０およびＰ１における視点画像である。１／２×｜ＩＰ１（Ｘ，Ｙ，Ｚｆ）―ＩＰ０（Ｘ，Ｙ，Ｚ
ｆ）｜は視点Ｐ０の視点散乱画像である。合成係数αの符号および絶対値は、実施例３と同様、図２３（ｂ）の画像合成設定２３２０の演算方法（２３２１）および合成強度（２３２３）に基づき決定する。（図２４では省略したが、図２２のステップＳ２２０２，Ｓ２２０３，Ｓ２２０４の処理と同じ処理をステップＳ２４０３において行えばよい。）
ステップＳ２４０１で設定した全ての視点に対し、ステップＳ２４０３の計算を終えた後、フォーカス位置散乱画像合成像生成ステップＳ２４０４に進む。フォーカス位置散乱画像合成像生成ステップＳ２４０４では、複数の視点毎のフォーカス位置散乱画像合成像を統合し、フォーカス位置散乱画像合成像を生成する。実施例１のステップＳ９０４では視点散乱画像抽出像を統合するが、ステップＳ２４０４では視点毎のフォーカス位置散乱画像合成像を統合する点が異なる。ステップＳ２４０４の処理は前述の数４２で表せる。
なお、ステップＳ２４０３およびステップＳ２４０４の処理は以下のように複合的に実現しても良い。まず視点ループに入る前にフォーカス位置散乱画像合成像を格納する画像バッファを作成し、０で初期化する。次にステップＳ２４０３において視点毎のフォーカス位置散乱画像合成像ＣＰ０（Ｘ，Ｙ，Ｚｆ）とそれに対応する視点重み関数ｋａ（ｓ，ｔ）の積を求め、得られた画素値を画像バッファに累積加算する。全ての視点に対して処理が完了すれば、前記のバッファ内にはフォーカス位置散乱合成像が格納される。この方法はソフトウェア処理において、使用メモリを削減するのに好適な方法である。
ｋａ（ｓ，ｔ）は、図１０（ｃ）の散乱画像統合設定画面１００３での重み付けの設定値に対応する。図示しないが、設定画面１００３では、様々な所望の焦点ぼけに対応する重み付けが選択できる。例えば、重み付けとして、撮像光学系重み関数、撮像光学系よりも焦点ぼけの大きな３次元的な焦点ぼけに対応する視点重み関数（σを変えた数３７の式）、視点によらず一律の重みの視点重み関数（数３８の式）、などが選択できる。このとき、観察角φが大きい部分での重みが、撮像光学系重み関数に比べて大きい視点重み関数を選択すれば、フォーカス位置散乱画像合成像の標本の表面凹凸による散乱光の情報をより一層強調できる。
以上の処理により、本実施例でのフォーカス位置散乱画像合成像が生成できる。
以上の処理により、本実施例でのフォーカス位置散乱画像合成像が生成できる。
なお、本実施例ではステップＳ２４０３で視点毎のフォーカス位置散乱画像合成像を生成し、それらをステップＳ２４０４で統合した。しかし、ステップＳ２４０３では視点毎の視点散乱画像を生成し、ステップＳ２４０４で、視点毎の視点画像と視点散乱画像を合成し、フォーカス位置散乱画像合成像を生成しても良い。
（本実施例の利点）
本実施例では、実施例３の方法よりも少ない視点数でフォーカス位置散乱画像合成像を生成できるので、高速処理が実現できる。加えて、視点重み関数を適宜設計（選択）することで、フォーカス位置散乱画像合成像における散乱光の強調度合を制御できる。特に、観察角φが大きな視点位置に対する重みが撮像光学系重み関数のものよりも大きい視点重み関数を用いることで、実施例３の方法よりも散乱光のコントラストを高め、標本表面凹凸を観察しやすくできる。また実施例３と同様に、元画像に含まれる撮像光学系の焦点ぼけが改善された（フォーカス位置から外れた物体のシャープネスが向上した）観察用画像が得られ、画像診断や画像解析をしやすくすることができる。また、本実施例のフォーカス位置散乱画像合成像も、実施例３の場合と同様、被写界深度の深さと、散乱光の情報の強調によって発生する立体感を兼ね備える。
本実施例では、実施例３の方法よりも少ない視点数でフォーカス位置散乱画像合成像を生成できるので、高速処理が実現できる。加えて、視点重み関数を適宜設計（選択）することで、フォーカス位置散乱画像合成像における散乱光の強調度合を制御できる。特に、観察角φが大きな視点位置に対する重みが撮像光学系重み関数のものよりも大きい視点重み関数を用いることで、実施例３の方法よりも散乱光のコントラストを高め、標本表面凹凸を観察しやすくできる。また実施例３と同様に、元画像に含まれる撮像光学系の焦点ぼけが改善された（フォーカス位置から外れた物体のシャープネスが向上した）観察用画像が得られ、画像診断や画像解析をしやすくすることができる。また、本実施例のフォーカス位置散乱画像合成像も、実施例３の場合と同様、被写界深度の深さと、散乱光の情報の強調によって発生する立体感を兼ね備える。
［実施例５］
実施例３の冒頭で説明したように、Ｚスタック画像のフォーカス位置から外れる位置に物体が存在する場合には、視点散乱画像統合像に前記物体の焦点ぼけの像が含まれる。
本実施例では実施例４で述べたフォーカス位置散乱画像合成像の特徴を生かし、視点散乱画像統合像に含まれるフォーカス位置から外れた物体の焦点ぼけの影響を抑制する方法について述べる。
実施例３の冒頭で説明したように、Ｚスタック画像のフォーカス位置から外れる位置に物体が存在する場合には、視点散乱画像統合像に前記物体の焦点ぼけの像が含まれる。
本実施例では実施例４で述べたフォーカス位置散乱画像合成像の特徴を生かし、視点散乱画像統合像に含まれるフォーカス位置から外れた物体の焦点ぼけの影響を抑制する方法について述べる。
実施例４では、撮像光学系の３次元的な焦点ぼけとは異なる特性をもつ視点重み関数ｋａ（ｓ，ｔ）を用いることで、フォーカス位置散乱画像合成像の被写界深度を深めつつ、より一層、散乱光の情報を強めることができることを述べた。
実施例４で得られるフォーカス位置散乱画像合成像の特徴を分析すると、興味深い現象が起きていることが分かる。数４３でα＝１とし、視点重み関数ｋａ（ｓ，ｔ）を変更して生成した２枚のフォーカス位置散乱画像合成像を比較したとき、散乱光の強度は異なるにもかかわらず、焦点ぼけはいずれもキャンセルされ、被写界深度が非常に深くなっている。
即ち、視点重み関数ｋａ（ｓ，ｔ）を変更して生成した２枚のフォーカス位置散乱画像合成像の間で差を取れば、視点散乱画像統合像に含まれる焦点ぼけの影響を低減し、標本の表面凹凸による散乱光の情報を精度良く抽出できる。また、後述するように、２枚のフォーカス位置散乱画像合成像の間の比を取ることによっても、散乱光の情報を抽出できる。
実施例４で得られるフォーカス位置散乱画像合成像の特徴を分析すると、興味深い現象が起きていることが分かる。数４３でα＝１とし、視点重み関数ｋａ（ｓ，ｔ）を変更して生成した２枚のフォーカス位置散乱画像合成像を比較したとき、散乱光の強度は異なるにもかかわらず、焦点ぼけはいずれもキャンセルされ、被写界深度が非常に深くなっている。
即ち、視点重み関数ｋａ（ｓ，ｔ）を変更して生成した２枚のフォーカス位置散乱画像合成像の間で差を取れば、視点散乱画像統合像に含まれる焦点ぼけの影響を低減し、標本の表面凹凸による散乱光の情報を精度良く抽出できる。また、後述するように、２枚のフォーカス位置散乱画像合成像の間の比を取ることによっても、散乱光の情報を抽出できる。
（本実施例の計算概要）
以下、数式を用いて説明する。
実施例４において異なる視点重み関数ｋａ１（ｓ，ｔ）、ｋａ２（ｓ，ｔ）を用いて得られるフォーカス位置散乱画像合成像は、それぞれ以下の式で表される。
なお、本実施例では数４３でα＝１の場合を考えるため、ＣＰ０（Ｘ，Ｙ，Ｚｆ）は以下の式になる。数４５は、視点Ｐ０の視点画像（第１の視点画像）ＩＰ０（Ｘ，Ｙ，Ｚｆ）に対し視点散乱画像（第１の観察用画像）を合成して、視点毎のフォーカス位置散乱画像合成像（合成画像）ＣＰ０（Ｘ，Ｙ，Ｚｆ）を生成する処理を示している。
以下、数式を用いて説明する。
実施例４において異なる視点重み関数ｋａ１（ｓ，ｔ）、ｋａ２（ｓ，ｔ）を用いて得られるフォーカス位置散乱画像合成像は、それぞれ以下の式で表される。
視点Ｐ１は視点Ｐ０に対し、観察角が同一で、偏角が異なる視点であるとする。偏角の差はどのような値に設定しても良いが、既に述べたように１８０度異なる場合が最も効果が大きい。数４４の第１の重みｋａ１（ｓ，ｔ）は第２の重みｋａ２（ｓ，ｔ）と比較し、観察角が所定の値以上の領域で関数の総和が大きいとする。数式で表現すると以下の式となる。
ただし、ｏｕｔｒ（ｓ，ｔ）は以下の式で表され、ｒｔｈはｒｍ以下の所定の値とする。
仮にｋａ１（ｓ，ｔ）およびｋａ２（ｓ，ｔ）がそれぞれ数３８、数３７で表され、図２５（ｂ）、図２５（ａ）に示すような相対強度を持ち、かつ、ｒｔｈをｒｍ／２とする場合、数４６は成立する。
本実施例における視点散乱画像統合像（第５の観察用画像）ＤＳ（Ｘ，Ｙ，Ｚｆ）を、以下の式のように第１の重みｋａ１（ｓ，ｔ）を用いて生成した第１の画像Ｃｏｍｐａ１（Ｘ，Ｙ，Ｚｆ）と第２の重みｋａ２（ｓ，ｔ）を用いて生成した第２の画像Ｃｏｍｐａ２（Ｘ，Ｙ，Ｚｆ）の差分とする。
数４８に数４４および数４５を代入し、変形すると以下の式となる。
ｋｅｘ（ｓ，ｔ）は散乱光情報抽出用の視点重み関数であり、以下の式で表される。
ｋａ１（ｓ，ｔ）およびｋａ２（ｓ，ｔ）のそれぞれの積分は１である条件から、ｋｅｘ（ｓ，ｔ）の積分（つまり統合される全ての視線方向に対する重みの合計）は０となる。
また、数４６の変形からｋｅｘ（ｓ，ｔ）は以下の条件を満たす。
ここで数４９において、数４５で計算するＣＰ０（Ｘ，Ｙ，Ｚｆ）を実施例１における視点散乱画像ＳＰ０（Ｘ，Ｙ，Ｚｆ）と見なし、またｋｅｘ（ｓ，ｔ）を視点散乱画像生成ステップＳ９０４で選択する視点重み関数と見なす。すると、実施例１と同一の構成で、焦点ぼけの影響を抑えた精度の良い視点散乱画像統合像が生成できることが分かる。
また数４９からｋｅｘ（ｓ，ｔ）は数５１および数５２の条件を満たせば、自由に設計することが可能であることが分かる。
また数４９からｋｅｘ（ｓ，ｔ）は数５１および数５２の条件を満たせば、自由に設計することが可能であることが分かる。
図２６（ａ）と図２６（ｂ）に散乱光情報抽出用の視点重み関数ｋｅｘ（ｓ，ｔ）の例を示す。図２６（ａ）は図２５（ｂ）に示す視点重み関数から図２５（ａ）に示す視点重み関数を減算して得られる散乱光情報抽出用の視点重み関数である。また図２６（ｂ）は
視点の原点からの距離に応じて０、負、正の値を持つように設計した散乱光情報抽出用の視点重み関数である。いずれも数５２の条件を満たしている。原点から離れた位置の視点の相対強度が大きいほど、標本の表面凹凸による散乱光の情報をより強く抽出できる。
なお、ｋｅｘ（ｓ，ｔ）においてｋｅｘ（０，０）＝０とすることはより効果を高める。数３０で説明したように、α＝１に設定したフォーカス位置散乱画像統合像の焦点ぼけはキャンセルされるが、３次元的な焦点ぼけの中心部の強度ｈ（０，０，ｄＺ）は視点重み関数の原点の値の影響を受けるためである。
視点の原点からの距離に応じて０、負、正の値を持つように設計した散乱光情報抽出用の視点重み関数である。いずれも数５２の条件を満たしている。原点から離れた位置の視点の相対強度が大きいほど、標本の表面凹凸による散乱光の情報をより強く抽出できる。
なお、ｋｅｘ（ｓ，ｔ）においてｋｅｘ（０，０）＝０とすることはより効果を高める。数３０で説明したように、α＝１に設定したフォーカス位置散乱画像統合像の焦点ぼけはキャンセルされるが、３次元的な焦点ぼけの中心部の強度ｈ（０，０，ｄＺ）は視点重み関数の原点の値の影響を受けるためである。
以上、述べたように、本実施例による焦点ぼけの影響を抑えた精度の良い視点散乱画像統合像は、実施例１の構成に適用可能である。
以下、数４５および数４９で述べる演算を実施例１の構成に適用する場合について述べる。図９に示す視点分解散乱画像抽出・統合処理ステップＳ８０２のフローチャートを用いて処理を説明する。
以下、数４５および数４９で述べる演算を実施例１の構成に適用する場合について述べる。図９に示す視点分解散乱画像抽出・統合処理ステップＳ８０２のフローチャートを用いて処理を説明する。
まず、視点取得処理ステップＳ９０１では、視点分解設定（１００１）を通じ、視点画像の生成に必要な視点の位置情報を取得する。後段のステップＳ９０２では視点Ｐ０だけでなく、視点Ｐ１の視点位置も必要となるため、視点Ｐ０の位置から視点Ｐ１の位置も合わせて計算する。
次に、視点画像生成ステップＳ９０２ではステップＳ９０１で取得した全ての視点Ｐ０の視点画像を計算する。また、各視点Ｐ０に対応する視点Ｐ１についても視点画像を計算する。詳細は省略する。
次に、視点散乱画像抽出処理ステップＳ９０３では、数４５のＣＰ０（Ｘ，Ｙ，Ｚｆ）を視点Ｐ０毎の視点散乱画像ＳＰ０（Ｘ，Ｙ，Ｚｆ）と見なし、以下の計算を行う。
ステップＳ９０１で求めた全ての視点Ｐ０に対して、ステップＳ９０３の処理を終えたら、視点散乱画像統合像生成ステップＳ９０４に進む。
次に、視点画像生成ステップＳ９０２ではステップＳ９０１で取得した全ての視点Ｐ０の視点画像を計算する。また、各視点Ｐ０に対応する視点Ｐ１についても視点画像を計算する。詳細は省略する。
次に、視点散乱画像抽出処理ステップＳ９０３では、数４５のＣＰ０（Ｘ，Ｙ，Ｚｆ）を視点Ｐ０毎の視点散乱画像ＳＰ０（Ｘ，Ｙ，Ｚｆ）と見なし、以下の計算を行う。
視点散乱画像統合像生成ステップＳ９０４では、予めメインメモリ３０２や記憶装置１３０に格納した所定のｋｅｘ（ｓ，ｔ）を取得し、全ての視点Ｐ０の視点散乱画像ＳＰ０（Ｘ，Ｙ，Ｚｆ）を統合し、焦点ぼけの影響を抑えた視点散乱画像統合像ＤＳ（Ｘ，Ｙ，Ｚｆ）を生成する。すなわち、以下の演算を実行する。
なお、ｋｅｘ（ｓ，ｔ）は散乱画像統合設定（１００３）での設定（不図示）に基づいて取得または生成しても良い。また、得られた視点散乱画像統合像ＤＳ（Ｘ，Ｙ，Ｚｆ）をより見やすくするため、ステップＳ９０４において輝度変倍や諧調補正を行うことも可能である。これらの設定は図示しないが、散乱画像統合設定（１００３）で設定することができる。
また、実施例１へ適用する場合には、以下のような除算に基づく構成を取ることも可能である。その場合には、視点散乱画像抽出処理ステップＳ９０３では、数５３を用いることで、視点Ｐ０毎に視点散乱画像ＳＰ０（Ｘ，Ｙ，Ｚｆ）を計算する。
そして視点散乱画像統合像生成ステップＳ９０４では、以下に示す演算により、焦点ぼけの影響を抑えた視点散乱画像統合像ＤＳ（Ｘ，Ｙ，Ｚｆ）を生成する。
そして視点散乱画像統合像生成ステップＳ９０４では、以下に示す演算により、焦点ぼけの影響を抑えた視点散乱画像統合像ＤＳ（Ｘ，Ｙ，Ｚｆ）を生成する。
すなわち、２つの視点重み関数ｋａ１（ｓ，ｔ）およびｋａ２（ｓ，ｔ）ごとに視点散乱画像ＳＰ０（Ｘ，Ｙ，Ｚｆ）を積分し、それらを除算する。
なお、２つの視点重み関数ｋａ１（ｓ，ｔ）およびｋａ２（ｓ，ｔ）は予めメインメモリ３０２等に格納した所定の設定を用いても良いし、散乱画像統合設定（１００３）での設定（不図示）に基づいて取得または生成しても良い。
なお、２つの視点重み関数ｋａ１（ｓ，ｔ）およびｋａ２（ｓ，ｔ）は予めメインメモリ３０２等に格納した所定の設定を用いても良いし、散乱画像統合設定（１００３）での設定（不図示）に基づいて取得または生成しても良い。
なお、本実施例の構成は実施例３または４にも適用可能である。すなわち、Ｚスタック画像のＺ＝Ｚｆのレイヤー画像（フォーカス位置像）または任意焦点ぼけ画像に、本実施例の視点散乱画像統合像ＤＳ（Ｘ，Ｙ，Ｚｆ）を合成することで、散乱光成分が強調された画像を生成できる。
また、本実施例で生成した視点散乱画像統合像は様々な画像と合成し表面凹凸による散乱光を増やすことでさらなる立体感を与えることができる。例えば、全焦点画像のように表面凹凸による散乱光が弱く、平坦な印象を与える画像に対し、本実施例で計算した視点散乱画像統合像を加算することで、被写界深度の深さと散乱光による立体感を両立した画像を生成することができる。
また、本実施例で生成した視点散乱画像統合像は様々な画像と合成し表面凹凸による散乱光を増やすことでさらなる立体感を与えることができる。例えば、全焦点画像のように表面凹凸による散乱光が弱く、平坦な印象を与える画像に対し、本実施例で計算した視点散乱画像統合像を加算することで、被写界深度の深さと散乱光による立体感を両立した画像を生成することができる。
（本実施例の利点）
本実施例の方法によれば、２種類のフォーカス位置散乱画像統合像の間でさらに演算（減算、除算など）あるいはその変形に基づく画像合成演算を行うことで、視点散乱画像統合像に含まれる焦点ぼけの成分を除去ないし低減することができる。これにより、実施例１または２で得られる視点散乱画像統合像に比べて、散乱光成分をより一層強調ないし抽出した観察用画像を得ることができる。この画像を用いることで、例えば、標本の表面凹凸に注目した画像診断や画像解析を行いたいというユーザの要望にも応えることができる。
本実施例の方法によれば、２種類のフォーカス位置散乱画像統合像の間でさらに演算（減算、除算など）あるいはその変形に基づく画像合成演算を行うことで、視点散乱画像統合像に含まれる焦点ぼけの成分を除去ないし低減することができる。これにより、実施例１または２で得られる視点散乱画像統合像に比べて、散乱光成分をより一層強調ないし抽出した観察用画像を得ることができる。この画像を用いることで、例えば、標本の表面凹凸に注目した画像診断や画像解析を行いたいというユーザの要望にも応えることができる。
［実施例６］
本実施例では、実施例５と同様、視点散乱画像統合像に含まれるフォーカス位置から外れた物体の焦点ぼけの影響を抑制する方法について述べる。
以下、２つの視点散乱画像統合像の間で演算を実行することで、視点散乱画像統合像に含まれるフォーカス位置から外れた物体の焦点ぼけの影響を抑えられる理由について説明する。
本実施例では、実施例５と同様、視点散乱画像統合像に含まれるフォーカス位置から外れた物体の焦点ぼけの影響を抑制する方法について述べる。
以下、２つの視点散乱画像統合像の間で演算を実行することで、視点散乱画像統合像に含まれるフォーカス位置から外れた物体の焦点ぼけの影響を抑えられる理由について説明する。
既に数１０や数１１で述べたように、実施例１、２では視点位置の差によって散乱光の強度が変化する性質を利用し、視点位置が異なる視点画像間で演算をすることで、標本の表面凹凸の情報を抽出する。
一方で実施例３の冒頭で説明したように、Ｚスタック画像のフォーカス位置から外れる位置に物体が存在する場合には、視点散乱画像統合像に前記物体の焦点ぼけの像が含まれる。
一方で実施例３の冒頭で説明したように、Ｚスタック画像のフォーカス位置から外れる位置に物体が存在する場合には、視点散乱画像統合像に前記物体の焦点ぼけの像が含まれる。
ここで視点位置が異なる３つの視点Ｐ０、Ｐ１、Ｐ２について考える。
視点Ｐ０、Ｐ１、Ｐ２の観察角φは等しいが、それぞれ異なる偏角θ０、θ１、θ２を持っており、視点Ｐ０、Ｐ１、Ｐ２の間の偏角の差はあらかじめ決まっているとする。即ち、視点Ｐ０の位置を変化させるとき、視点Ｐ１、Ｐ２の位置は、それぞれの偏角がθ１＝θ０＋ｔ１、θ２＝θ０＋ｔ２の相対的な関係を保ちながら、変化する。（なお、ｔ１
、ｔ２の角度を−１８０度から１８０度で表す時、｜ｔ１｜＞｜ｔ２｜とする。すなわち、θ１−θ０の方がθ２−θ０よりも偏角の差が大きい。）
ｔ１、ｔ２の値は任意に設定可能だが、本実施例では、ｔ１＝１８０度、ｔ２＝９０度とする。このとき、視点Ｐ０の視点位置を（ｓ，ｔ）とすれば、視点Ｐ１の視点位置は（−ｓ，−ｔ）、視点Ｐ２の視点位置は（−ｔ，ｓ）となる。視点Ｐ０と視点Ｐ１の偏角の差は１８０度であり、視点Ｐ０と視点Ｐ２の偏角の差は９０度である。
視点Ｐ０、Ｐ１、Ｐ２の観察角φは等しいが、それぞれ異なる偏角θ０、θ１、θ２を持っており、視点Ｐ０、Ｐ１、Ｐ２の間の偏角の差はあらかじめ決まっているとする。即ち、視点Ｐ０の位置を変化させるとき、視点Ｐ１、Ｐ２の位置は、それぞれの偏角がθ１＝θ０＋ｔ１、θ２＝θ０＋ｔ２の相対的な関係を保ちながら、変化する。（なお、ｔ１
、ｔ２の角度を−１８０度から１８０度で表す時、｜ｔ１｜＞｜ｔ２｜とする。すなわち、θ１−θ０の方がθ２−θ０よりも偏角の差が大きい。）
ｔ１、ｔ２の値は任意に設定可能だが、本実施例では、ｔ１＝１８０度、ｔ２＝９０度とする。このとき、視点Ｐ０の視点位置を（ｓ，ｔ）とすれば、視点Ｐ１の視点位置は（−ｓ，−ｔ）、視点Ｐ２の視点位置は（−ｔ，ｓ）となる。視点Ｐ０と視点Ｐ１の偏角の差は１８０度であり、視点Ｐ０と視点Ｐ２の偏角の差は９０度である。
実施例１で説明した数１３を用いて、視点Ｐ０における視点散乱画像を求めると、以下の式に示す２つの視点散乱画像が計算できる。
数１０で説明したように、２つの視点の偏角の差が大きいほど（１８０度に近いほど）、視点画像の減算ないし除算で抽出できる散乱光成分の強度が大きくなる。数５６の場合、θ１−θ０が１８０度でありθ２−θ０が９０度であることから、画像に含まれる散乱光成分の強度は、視点散乱画像Ｓａ（Ｘ，Ｙ，Ｚｆ）の方が視点散乱画像Ｓｂ（Ｘ，Ｙ，Ｚｆ）よりも大きい。
視点Ｐ０，Ｐ１，Ｐ２の位置を変えながら、様々な視点に対して視点散乱画像Ｓａ（Ｘ，Ｙ，Ｚｆ）およびＳｂ（Ｘ，Ｙ，Ｚｆ）を計算し、それぞれを統合して視点散乱画像統合像ＤＳａ（Ｘ，Ｙ，Ｚｆ）およびＤＳｂ（Ｘ，Ｙ，Ｚｆ）を生成する。画像に含まれる散乱光成分の強度は、当然のことながら、視点散乱画像統合像ＤＳａ（Ｘ，Ｙ，Ｚｆ）の方が視点散乱画像統合像ＤＳｂ（Ｘ，Ｙ，Ｚｆ）よりも大きくなる。
次に、視点散乱画像統合像ＤＳａ（Ｘ，Ｙ，Ｚｆ）およびＤＳｂ（Ｘ，Ｙ，Ｚｆ）における、フォーカス位置から外れた物体の焦点ぼけの影響について考える。実施例３で述べたように、視点散乱画像統合像を求める数２６の式は数２８に変形できる。この式から、視点散乱画像統合像における撮像光学系の焦点ぼけの影響は、視点散乱画像を計算する２つの視点の偏角の差に依存しないことが分かる。言い換えると、フォーカス位置から外れた物体の焦点ぼけの成分は、視点散乱画像統合像ＤＳａ（Ｘ，Ｙ，Ｚｆ）とＤＳｂ（Ｘ，Ｙ，Ｚｆ）とでほとんど変わらない。
このように、視点散乱画像統合像ＤＳａ（Ｘ，Ｙ，Ｚｆ）とＤＳｂ（Ｘ，Ｙ，Ｚｆ）は、標本表面の凹凸による散乱光成分の強度は異なるが、撮像光学系による焦点ぼけ成分の強度はほとんど同じという特性を持つ。従って、以下の数５７または数５８に示す演算、すなわち第１の統合像ＤＳａ（Ｘ，Ｙ，Ｚｆ）と第２の統合像ＤＳｂ（Ｘ，Ｙ，Ｚｆ）との間の差または比を求めることにより、焦点ぼけの低減、および、表面凹凸による散乱光の情報の抽出あるいは強調がされた画像ＤＳ（Ｘ，Ｙ，Ｚｆ）（第７の観察用画像）を生成できる。
なお、θ１−θ０の方がθ２−θ０よりも視点の偏角の差が大きいことから、散乱光の強度はＤＳａ（Ｘ，Ｙ，Ｚｆ）＞ＤＳｂ（Ｘ，Ｙ，Ｚｆ）となる。従って、数５７の演算で０より小さくなった画素の値は０とするとよい。これにより、散乱光の情報とは関係の
ないノイズ成分を抑制できる。
ないノイズ成分を抑制できる。
以下、数５６〜数５８で述べる演算を実施例１の構成に適用する場合について述べる。
図９に示す視点分解散乱画像抽出・統合処理ステップＳ８０２のフローチャートを用いて処理を説明する。
まず、視点取得処理ステップＳ９０１では、視点分解設定（１００１）を通じ、視点画像の生成に必要な視点の位置情報を取得する。後段のステップＳ９０２では視点Ｐ０だけでなく、視点Ｐ１、視点Ｐ２の視点位置も必要となるため、視点Ｐ０の位置からＰ１、Ｐ２の位置も合わせて計算する。視点Ｐ０とＰ１の偏角の差であるｔ１、視点Ｐ０とＰ２の偏角の差であるｔ２は固定値（予め決まった値）でもよいし、ユーザにより指定可能でも良い。
次に、視点画像生成ステップＳ９０２ではステップＳ９０１で取得した全ての視点Ｐ０の視点画像を計算する。また、各視点Ｐ０に対応する視点Ｐ１およびＰ２についても視点画像を計算する。詳細は省略する。
図９に示す視点分解散乱画像抽出・統合処理ステップＳ８０２のフローチャートを用いて処理を説明する。
まず、視点取得処理ステップＳ９０１では、視点分解設定（１００１）を通じ、視点画像の生成に必要な視点の位置情報を取得する。後段のステップＳ９０２では視点Ｐ０だけでなく、視点Ｐ１、視点Ｐ２の視点位置も必要となるため、視点Ｐ０の位置からＰ１、Ｐ２の位置も合わせて計算する。視点Ｐ０とＰ１の偏角の差であるｔ１、視点Ｐ０とＰ２の偏角の差であるｔ２は固定値（予め決まった値）でもよいし、ユーザにより指定可能でも良い。
次に、視点画像生成ステップＳ９０２ではステップＳ９０１で取得した全ての視点Ｐ０の視点画像を計算する。また、各視点Ｐ０に対応する視点Ｐ１およびＰ２についても視点画像を計算する。詳細は省略する。
次に、視点散乱画像抽出処理ステップＳ９０３では、数５６を用いることで、視点Ｐ０毎に２つの視点散乱画像Ｓａ（Ｘ，Ｙ，Ｚｆ）およびＳｂ（Ｘ，Ｙ，Ｚｆ）を計算する。数５６以外の演算式も散乱画像抽出設定（１００２）を通じて設定することができる。ステップＳ９０１で求めた全ての視点Ｐ０に対して、ステップＳ９０３の処理を終えたら、視点散乱画像統合像生成ステップＳ９０４に進む。
視点散乱画像統合像生成ステップＳ９０４では、散乱画像統合設定（１００３）での設定に基づき、全ての視点Ｐ０の視点散乱画像Ｓａ（Ｘ，Ｙ，Ｚｆ）を統合して視点散乱画像統合像ＤＳａ（Ｘ，Ｙ，Ｚｆ）を生成する。また、全ての視点Ｐ０の視点散乱画像Ｓｂ（Ｘ，Ｙ，Ｚｆ）を統合して視点散乱画像統合像ＤＳｂ（Ｘ，Ｙ，Ｚｆ）を生成する。その後、数５７または数５８に示す演算を実行し、フォーカス位置から外れた位置にある物体の焦点ぼけの影響を抑えた、新たな視点散乱画像統合像ＤＳ（Ｘ，Ｙ，Ｚｆ）を生成する。
なお、得られた視点散乱画像統合像ＤＳ（Ｘ，Ｙ，Ｚｆ）をより見やすくするため、ステップＳ９０４において輝度変倍や諧調補正を行うことも可能である。これらの設定は図示しないが、散乱画像統合設定（１００３）で設定することができる。
視点散乱画像統合像生成ステップＳ９０４では、散乱画像統合設定（１００３）での設定に基づき、全ての視点Ｐ０の視点散乱画像Ｓａ（Ｘ，Ｙ，Ｚｆ）を統合して視点散乱画像統合像ＤＳａ（Ｘ，Ｙ，Ｚｆ）を生成する。また、全ての視点Ｐ０の視点散乱画像Ｓｂ（Ｘ，Ｙ，Ｚｆ）を統合して視点散乱画像統合像ＤＳｂ（Ｘ，Ｙ，Ｚｆ）を生成する。その後、数５７または数５８に示す演算を実行し、フォーカス位置から外れた位置にある物体の焦点ぼけの影響を抑えた、新たな視点散乱画像統合像ＤＳ（Ｘ，Ｙ，Ｚｆ）を生成する。
なお、得られた視点散乱画像統合像ＤＳ（Ｘ，Ｙ，Ｚｆ）をより見やすくするため、ステップＳ９０４において輝度変倍や諧調補正を行うことも可能である。これらの設定は図示しないが、散乱画像統合設定（１００３）で設定することができる。
また、実施例１へ適用する場合には、視点散乱画像抽出処理ステップＳ９０３において数１３の代わりに以下の式を用いることで、数５７の演算と同等の処理が実現できる。数５９は、第１の視点画像ＩＰ０（Ｘ，Ｙ，Ｚｆ）と第２の視点画像ＩＰ１（Ｘ，Ｙ，Ｚｆ）から求まる視点散乱画像（第１の中間画像）と、第１の視点画像ＩＰ０（Ｘ，Ｙ，Ｚｆ）と第３の視点画像ＩＰ２（Ｘ，Ｙ，Ｚｆ）から求まる視点散乱画像（第２の中間画像）のあいだの差を求める処理を示す。
数５８の演算と同等の処理を実現するには、数５９の右辺を２つの視点散乱画像の差（減算）の代わりに、２つの視点散乱画像の比（除算）にすればよい。また、数５９では、２つの視点画像の差（減算）により視点散乱画像を計算しているが、２つの視点画像の比（除算）により視点散乱画像を計算してもよい。また、数５９の演算で得られる画像Ｓ（Ｘ，Ｙ，Ｚｆ）を観察用画像（第６の観察用画像）として用いてもよい。
なお、本実施例の構成は実施例３または４にも適用可能である。すなわち、Ｚスタック画像のＺ＝Ｚｆのレイヤー画像（フォーカス位置像）または任意焦点ぼけ画像に、本実施例の視点散乱画像統合像ＤＳ（Ｘ，Ｙ，Ｚｆ）を合成することで、散乱光成分が強調された画像を生成できる。また、本実施例で生成した視点散乱画像統合像は、実施例５と同様、全焦点画像などの様々な画像と合成し、表面凹凸による散乱光を増やすことで立体感を
与えることができる。
なお、本実施例の構成は実施例３または４にも適用可能である。すなわち、Ｚスタック画像のＺ＝Ｚｆのレイヤー画像（フォーカス位置像）または任意焦点ぼけ画像に、本実施例の視点散乱画像統合像ＤＳ（Ｘ，Ｙ，Ｚｆ）を合成することで、散乱光成分が強調された画像を生成できる。また、本実施例で生成した視点散乱画像統合像は、実施例５と同様、全焦点画像などの様々な画像と合成し、表面凹凸による散乱光を増やすことで立体感を
与えることができる。
（本実施例の利点）
本実施例の方法によれば、２種類の視点散乱画像統合像の間でさらに演算（減算、除算など）を行うことで、視点散乱画像統合像に含まれる焦点ぼけの成分を除去ないし低減することができる。これにより、実施例５と同様の効果を得ることができる。
本実施例の方法によれば、２種類の視点散乱画像統合像の間でさらに演算（減算、除算など）を行うことで、視点散乱画像統合像に含まれる焦点ぼけの成分を除去ないし低減することができる。これにより、実施例５と同様の効果を得ることができる。
［実施例７］
実施例３、４ではフォーカス位置散乱画像合成像の生成方法について説明した。本実施例では、実施例３、４の画像に対し、さらに実施例５、６で説明した焦点ぼけの成分を抑制した視点散乱画像統合像を合成することで、フォーカス位置散乱画像合成像における焦点ぼけ低減と散乱光の情報の強調の調整の自由度を高める方法を述べる。
実施例３、４ではフォーカス位置散乱画像合成像の生成方法について説明した。本実施例では、実施例３、４の画像に対し、さらに実施例５、６で説明した焦点ぼけの成分を抑制した視点散乱画像統合像を合成することで、フォーカス位置散乱画像合成像における焦点ぼけ低減と散乱光の情報の強調の調整の自由度を高める方法を述べる。
既に説明したように、実施例３および実施例４で生成するフォーカス位置散乱画像合成像はそれぞれ数３５、数３９で表される。
本実施例では数３５および数３９の右辺に、実施例５または６で計算する焦点ぼけを低減した視点散乱画像統合像に合成係数βを掛けたものを加算し、フォーカス位置散乱画像合成像を求める。式で表現すると下記となる。
上記の式ではＤＳ（Ｘ，Ｙ，Ｚｆ）は実施例１の方法で計算する視点散乱画像統合像であり、ＤＳＸ（Ｘ，Ｙ，Ｚｆ）は実施例５または６の方法で計算する視点散乱画像統合像であるとする。なお、ｇ（Ｘ，Ｙ，Ｚｆ）はフォーカス位置像、ａ（Ｘ，Ｙ，Ｚｆ）はＺ＝Ｚｆにおける任意焦点ぼけ画像である。
本実施例では数３５および数３９の右辺に、実施例５または６で計算する焦点ぼけを低減した視点散乱画像統合像に合成係数βを掛けたものを加算し、フォーカス位置散乱画像合成像を求める。式で表現すると下記となる。
以降、実施例３および４の構成に従って、本実施例のフォーカス位置散乱画像合成像の生成方法を説明する。
（実施例３の構成に適用する場合）
実施例３の構成に適用する場合には、画像合成処理ステップＳ１７０４の内部のフォーカス位置散乱画像合成像生成処理ステップＳ２２０４において数６０の演算を実行する。
なお、数６０の演算に必要な合成係数βやＤＳＸ（Ｘ，Ｙ，Ｚ）の計算に必要な値（例えば、散乱光情報抽出用の視点重み関数ｋｅｘ（ｓ，ｔ）など）は、画像合成設定２３２０内の設定項目（不図示）を通じて設定可能である。
実施例３の構成に適用する場合には、画像合成処理ステップＳ１７０４の内部のフォーカス位置散乱画像合成像生成処理ステップＳ２２０４において数６０の演算を実行する。
なお、数６０の演算に必要な合成係数βやＤＳＸ（Ｘ，Ｙ，Ｚ）の計算に必要な値（例えば、散乱光情報抽出用の視点重み関数ｋｅｘ（ｓ，ｔ）など）は、画像合成設定２３２０内の設定項目（不図示）を通じて設定可能である。
（実施例４の構成に適用する場合）
実施例４の構成に適用する場合、例えば、視点毎のフォーカス位置散乱画像合成像ＣＰ０（Ｘ，Ｙ，Ｚｆ）が数４３で表され、焦点ぼけを低減した視点散乱画像ＳＰ０（Ｘ，Ｙ，Ｚｆ）が数５３で表される場合には、フォーカス位置散乱画像合成像Ｃｏｍｐ（Ｘ，Ｙ，Ｚｆ）は以下のように変形できる。
ただし、ＣＰ０（Ｘ，Ｙ，Ｚｆ）は以下の式となる。
実施例４の構成に適用する場合、例えば、視点毎のフォーカス位置散乱画像合成像ＣＰ０（Ｘ，Ｙ，Ｚｆ）が数４３で表され、焦点ぼけを低減した視点散乱画像ＳＰ０（Ｘ，Ｙ，Ｚｆ）が数５３で表される場合には、フォーカス位置散乱画像合成像Ｃｏｍｐ（Ｘ，Ｙ，Ｚｆ）は以下のように変形できる。
よって、本実施例ではフォーカス位置散乱画像合成像生成処理ステップＳ２２０４の内部の視点毎のステップＳ２４０３において数６３で示す演算を実行し、視点毎のフォーカス位置散乱画像合成像ＣＰ０（Ｘ，Ｙ，Ｚｆ）を求める。
ステップＳ２４０１で設定した全ての視点に対し、ステップＳ２４０３の計算を終えた後、フォーカス位置散乱画像合成像生成ステップＳ２４０４に進み、数６２の演算を実行する。
なお、上記の処理フローは一例であり、実施例５または６で述べた演算が適用可能である。
ステップＳ２４０１で設定した全ての視点に対し、ステップＳ２４０３の計算を終えた後、フォーカス位置散乱画像合成像生成ステップＳ２４０４に進み、数６２の演算を実行する。
なお、上記の処理フローは一例であり、実施例５または６で述べた演算が適用可能である。
上記で述べた構成では、合成係数αは焦点ぼけをキャンセルするためのパラメータ、合成係数βは表面凹凸の散乱光の情報を強調するためのパラメータとして使用できる。
例えば、実施例３または４で「標本観察条件」として「明視野観察」を設定する場合に、表面凹凸の散乱光の情報を強調するために、合成係数αを大きくすると過剰なエッジ強調が発生する。しかし、本実施例の方法ではαを１近傍に設定し、βを大きくすることで焦点ぼけのキャンセルと表面凹凸の散乱光の情報の強調が両立できる。
また、実施例３で「標本観察条件」として「蛍光観察」を設定する場合に、合成係数αの変更だけでは焦点ぼけのキャンセルと表面凹凸の散乱光の加算が同時には実現できなかった。しかし、本実施例の方法ではαを−１近傍に設定し、βを適切な値に調整することで、焦点ぼけのキャンセルと表面凹凸の散乱光の加算が同時に実現できる。
例えば、実施例３または４で「標本観察条件」として「明視野観察」を設定する場合に、表面凹凸の散乱光の情報を強調するために、合成係数αを大きくすると過剰なエッジ強調が発生する。しかし、本実施例の方法ではαを１近傍に設定し、βを大きくすることで焦点ぼけのキャンセルと表面凹凸の散乱光の情報の強調が両立できる。
また、実施例３で「標本観察条件」として「蛍光観察」を設定する場合に、合成係数αの変更だけでは焦点ぼけのキャンセルと表面凹凸の散乱光の加算が同時には実現できなかった。しかし、本実施例の方法ではαを−１近傍に設定し、βを適切な値に調整することで、焦点ぼけのキャンセルと表面凹凸の散乱光の加算が同時に実現できる。
（本実施例の利点）
本実施例の方法によれば、実施例３または４で述べたフォーカス位置散乱画像合成像に、焦点ぼけの成分を抑制した視点散乱画像統合像を合成することで、焦点ぼけの低減と表面凹凸の散乱光の情報の強調の調整の自由度を高めることができる。これにより、実施例３または４で得られるフォーカス位置散乱画像合成像に比べて、散乱光の情報をより一層強調ないし抽出した観察用画像を得ることができる。この画像を用いることで、例えば、焦点ぼけを抑えつつ、標本の表面凹凸の情報を強調して画像診断や画像解析を行いたいというユーザの要望にも応えることができる。
本実施例の方法によれば、実施例３または４で述べたフォーカス位置散乱画像合成像に、焦点ぼけの成分を抑制した視点散乱画像統合像を合成することで、焦点ぼけの低減と表面凹凸の散乱光の情報の強調の調整の自由度を高めることができる。これにより、実施例３または４で得られるフォーカス位置散乱画像合成像に比べて、散乱光の情報をより一層強調ないし抽出した観察用画像を得ることができる。この画像を用いることで、例えば、焦点ぼけを抑えつつ、標本の表面凹凸の情報を強調して画像診断や画像解析を行いたいというユーザの要望にも応えることができる。
以上、本発明の好適な実施例を説明したが、本発明の構成はこれらの実施例に限られない。
例えば、上記実施例では明視野顕微鏡で撮影されたＺスタック画像を元画像として用いた場合について説明したが、本発明は、落射照明型顕微鏡、ライトフィールドカメラ、ライトフィールド顕微鏡等で撮影された画像に対しても適用可能である。
例えば、上記実施例では明視野顕微鏡で撮影されたＺスタック画像を元画像として用いた場合について説明したが、本発明は、落射照明型顕微鏡、ライトフィールドカメラ、ライトフィールド顕微鏡等で撮影された画像に対しても適用可能である。
また上記実施例では被写体として病理標本を例に説明してきたが、被写体はそれに限定されない。落射照明型顕微鏡の観察対象である金属等の反射物体でも構わない。また透過観察型顕微鏡の観察対象である透明な生物標本でも良い。いずれの場合においても特許文献１等で開示される技術を用いれば、被写体の深さ方向の焦点位置を変えて撮影した複数枚のレイヤー画像群から任意の視点画像が生成でき、本発明が適用できる。反射物体を撮影した元画像を用いる場合、元画像には反射光（鏡面反射）成分の像と散乱光成分の像とが含まれるが、紙のように光沢が少ない被写体では散乱光が支配的となる。その場合、上記実施例と同様の処理を行うことで、散乱光成分を抽出ないし強調することができる。
また各実施例で説明した構成を互いに組み合わせてもよい。例えば、視点散乱画像抽出
処理ステップＳ９０３で視点散乱画像を抽出する際、処理対象の視点と偏角回転視点と観察角変更視点を用いて、それぞれの視点散乱画像を求め、両者の間で加算等を行って、視点散乱画像の強度や信頼度を高めても良い。
処理ステップＳ９０３で視点散乱画像を抽出する際、処理対象の視点と偏角回転視点と観察角変更視点を用いて、それぞれの視点散乱画像を求め、両者の間で加算等を行って、視点散乱画像の強度や信頼度を高めても良い。
また上記実施例では、視点画像や視点散乱画像の生成などを実空間で演算することを想定しているが、同様の処理を周波数空間で演算することもできる。すなわち、本明細書において、画像という用語は、実空間の画像と周波数空間の画像のいずれも含む概念である。
また上記各実施例では、画像の演算を数式で表現しているが、実際の処理では数式どおりの計算を必ずしも行う必要はない。数式で表現された演算結果に相当する画像が得られるのであれば、具体的な処理やアルゴリズムはどのように設計してもよい。
また上記各実施例では、画像の演算を数式で表現しているが、実際の処理では数式どおりの計算を必ずしも行う必要はない。数式で表現された演算結果に相当する画像が得られるのであれば、具体的な処理やアルゴリズムはどのように設計してもよい。
１００：画像生成装置
Claims (33)
- 被写体を撮影して得られた元画像から、観察用画像を生成する画像生成装置であって、
前記元画像を用いて、互いに視線方向が異なる複数の視点画像を生成する視点画像生成手段と、
前記複数の視点画像を用いて、元画像に含まれる散乱光成分を抽出または強調した画像を観察用画像として生成する観察用画像生成手段と、を有する
ことを特徴とする画像生成装置。 - 被写体を撮影して得られた元画像から、観察用画像を生成する画像生成装置であって、
前記元画像を用いて、互いに視線方向が異なる複数の視点画像を生成する視点画像生成手段と、
前記複数の視点画像を用いて、前記複数の視点画像のあいだの差異を抽出または強調した画像を観察用画像として生成する観察用画像生成手段と、を有する
ことを特徴とする画像生成装置。 - 前記観察用画像は、前記元画像に比べて、前記被写体の表面の凹凸のコントラストが高められた画像である
ことを特徴とする請求項１または２に記載の画像生成装置。 - 前記観察用画像生成手段は、
第１の視点画像と前記第１の視点画像とは視線方向が異なる第２の視点画像のあいだの差もしくは比
に相当する画像を、第１の観察用画像として生成する
ことを特徴とする請求項１〜３のうちいずれか１項に記載の画像生成装置。 - 前記観察用画像生成手段は、
前記第１の視点画像と前記第２の視点画像の組み合わせが異なる複数の第１の観察用画像を統合した結果
に相当する画像を、第２の観察用画像として生成する
ことを特徴とする請求項４に記載の画像生成装置。 - 前記第２の観察用画像は、
前記複数の第１の観察用画像を、各第１の観察用画像の生成に用いた第１の視点画像の視線方向に応じた重みを付けて、統合した結果
に相当する画像である
ことを特徴とする請求項５に記載の画像生成装置。 - 前記観察用画像生成手段は、
前記元画像から前記被写体の深さ方向のある位置にフォーカスを合わせたフォーカス位置像を取得し、前記フォーカス位置像に対し前記第２の観察用画像を合成した結果
に相当する画像を、第３の観察用画像として生成する
ことを特徴とする請求項５または６に記載の画像生成装置。 - 前記第３の観察用画像は、
前記フォーカス位置像に対し、合成係数を乗じた前記第２の観察用画像を加算した結果
に相当する画像である
ことを特徴とする請求項７に記載の画像生成装置。 - 前記観察用画像生成手段は、前記第３の観察用画像に対し諧調補正を行うことにより、
前記フォーカス位置像と補正された前記第３の観察用画像の輝度バランスを合わせる
ことを特徴とする請求項７または８に記載の画像生成装置。 - 前記観察用画像生成手段は、
前記第１の視点画像に対し前記第１の観察用画像を合成する処理を、前記第１の視点画像と前記第２の視点画像の組み合わせを変えて、複数回行い、得られた複数の合成画像を統合した結果
に相当する画像を、第４の観察用画像として生成する
ことを特徴とする請求項４に記載の画像生成装置。 - 前記第４の観察用画像は、
前記複数の合成画像を、各合成画像の生成に用いた第１の視点画像の視線方向に応じた重みを付けて、統合した結果
に相当する画像である
ことを特徴とする請求項１０に記載の画像生成装置。 - 前記被写体の深さ方向に平行な軸と視線方向とがなす角を観察角とよび、
視線方向ごとの重みを定義する関数を視点重み関数とよび、
前記元画像の撮影に用いた撮像光学系の３次元的な焦点ぼけに対応する特性をもつ視点重み関数を撮像光学系重み関数とよぶときに、
前記観察用画像生成手段は、観察角が大きい部分での重みが前記撮像光学系重み関数に比べて大きくなるように設計された視点重み関数による重みを用いて、前記第４の観察用画像を生成する
ことを特徴とする請求項１１に記載の画像生成装置。 - 前記合成画像は、前記第１の視点画像に、合成係数を乗じた前記第１の観察用画像を加算した画像である
ことを特徴とする請求項１０〜１２のうちいずれか１項に記載の画像生成装置。 - 前記元画像において前記被写体が背景よりも暗い物体である場合は、前記合成係数の符号は正であり、
前記元画像において前記被写体が背景よりも明るい物体である場合は、前記合成係数の符号は負である
ことを特徴とする請求項８、９、または１３に記載の画像生成装置。 - 前記観察用画像生成手段は、前記元画像の輝度情報を解析した結果に応じて、前記合成係数の符号を正にするか負にするかを自動的に決定する
ことを特徴とする請求項８、９、または１３に記載の画像生成装置。 - 前記観察用画像生成手段は、
前記第１の視点画像に対し前記第１の観察用画像を合成する処理を、前記第１の視点画像と前記第２の視点画像の組み合わせを変えて複数回行うことにより、複数の合成画像を生成し、
前記複数の合成画像を、各合成画像の生成に用いた第１の視点画像の視線方向に応じた第１の重みを付けて、統合することにより得られる第１の画像と、前記複数の合成画像を、前記第１の重みとは異なる第２の重みを付けて、統合することにより得られる第２の画像と、のあいだの差または比
に相当する画像を、第５の観察用画像として生成する
ことを特徴とする請求項４に記載の画像生成装置。 - 前記観察用画像生成手段は、
前記第１の視点画像に対し前記第１の観察用画像を合成する処理を、前記第１の視点画像と前記第２の視点画像の組み合わせを変えて、複数回行うことにより、複数の合成画像を生成し、
前記複数の合成画像を、各合成画像の生成に用いた第１の視点画像の視線方向に応じた重みを付けて、統合することにより、第５の観察用画像を生成するものであり、
前記被写体の深さ方向に平行な軸と視線方向とがなす角を観察角とよぶときに、
前記視線方向に応じた重みは、統合される全ての視線方向に対する重みの合計が０となり、かつ、観察角が所定の値以上の視線方向に対する重みの合計が０より大きくなるように、設計されている
ことを特徴とする請求項４に記載の画像生成装置。 - 前記視線方向に応じた重みは、観察角が０の視線方向に対する重みが０となるように、設計されている
ことを特徴とする請求項１７に記載の画像生成装置。 - 前記観察用画像生成手段は、
前記第１の視点画像と前記第１の視点画像とは視線方向が異なる第２の視点画像のあいだの差もしくは比に相当する第１の中間画像と、前記第１の視点画像と前記第１および第２の視点画像のいずれとも視線方向が異なる第３の視点画像のあいだの差もしくは比に相当する第２の中間画像と、のあいだの差または比
に相当する画像を、第６の観察用画像として生成する
ことを特徴とする請求項１〜３のうちいずれか１項に記載の画像生成装置。 - 前記観察用画像生成手段は、
前記第１の視点画像と前記第２の視点画像の組み合わせが異なる複数の第１の中間画像を統合した結果に相当する第１の統合像と、前記第１の視点画像と前記第３の視点画像の組み合わせが異なる複数の第２の中間画像を統合した結果に相当する第２の統合像と、のあいだの差または比
に相当する画像を、第７の観察用画像として生成する
ことを特徴とする請求項１９に記載の画像生成装置。 - 前記観察用画像生成手段は、異なる方法で生成された複数の観察用画像を合成することにより、新たな観察用画像を生成する
ことを特徴とする請求項１〜２０のうちいずれか１項に記載の画像生成装置。 - 前記観察用画像生成手段は、前記観察用画像に対し輪郭抽出処理を行うことにより、新たな観察用画像を生成する
ことを特徴とする請求項１〜２１のうちいずれか１項に記載の画像生成装置。 - 前記被写体の深さ方向に平行な軸まわりの角を偏角とよぶときに、
前記第１の視点画像と前記第２の視点画像は、視線方向の偏角の大きさが互いに異なる視点画像である
ことを特徴とする請求項４〜１８のうちいずれか１項に記載の画像生成装置。 - 前記第１の視点画像と前記第２の視点画像は、視線方向の偏角の大きさが１８０度異なる
ことを特徴とする請求項２３に記載の画像生成装置。 - 前記被写体の深さ方向に平行な軸と視線方向とがなす角を観察角とよぶときに、
前記第１の視点画像と前記第２の視点画像は、視線方向の観察角の大きさが互いに異なる視点画像を含む
ことを特徴とする請求項４〜１８のうちいずれか１項に記載の画像生成装置。 - 前記第１の視点画像と前記第２の視点画像のうちの一方は、視線方向の観察角の大きさが０度の視点画像であり、他方は視線方向の観察角の大きさが０度でない視点画像であることを特徴とする請求項２５に記載の画像生成装置。
- 前記被写体の深さ方向に平行な軸まわりの角を偏角とよぶときに、
前記第１の視点画像と前記第２の視点画像と前記第３の視点画像は、視線方向の偏角の大きさが互いに異なる視点画像である
ことを特徴とする請求項１９または２０に記載の画像生成装置。 - 前記元画像は、深さ方向の焦点位置を変えて前記被写体を撮影して得られた複数のレイヤー画像である
ことを特徴とする請求項１〜２７のうちいずれか１項に記載の画像生成装置。 - 前記元画像は、ライトフィールドが記録された画像である
ことを特徴とする請求項１〜２７のうちいずれか１項に記載の画像生成装置。 - 前記被写体は、プレパラートであり、
前記元画像は、前記プレパラートを顕微鏡で撮影して得られた画像である
ことを特徴とする請求項１〜２９のうちいずれか１項に記載の画像生成装置。 - 被写体を撮影して得られた元画像から、コンピュータにより観察用画像を生成する画像生成方法であって、
前記元画像を用いて、互いに視線方向が異なる複数の視点画像を生成するステップと、前記複数の視点画像を用いて、元画像に含まれる散乱光成分を抽出または強調した画像を観察用画像として生成するステップと、を有する
ことを特徴とする画像生成方法。 - 被写体を撮影して得られた元画像から、コンピュータにより観察用画像を生成する画像生成方法であって、
前記元画像を用いて、互いに視線方向が異なる複数の視点画像を生成するステップと、
前記複数の視点画像を用いて、前記複数の視点画像のあいだの差異を抽出または強調した画像を観察用画像として生成するステップと、を有する
ことを特徴とする画像生成方法。 - 請求項３１または３２に記載の画像生成方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013204636A JP2015057682A (ja) | 2013-08-12 | 2013-09-30 | 画像生成装置および画像生成方法 |
| US14/649,181 US9881373B2 (en) | 2012-12-07 | 2013-11-28 | Image generating apparatus and image generating method |
| EP13811015.0A EP2929507A1 (en) | 2012-12-07 | 2013-11-28 | Image generating apparatus and image generating method |
| US14/649,330 US20150310613A1 (en) | 2012-12-07 | 2013-11-28 | Image generating apparatus and image generating method |
| PCT/JP2013/082652 WO2014088049A1 (en) | 2012-12-07 | 2013-11-28 | Image generating apparatus and image generating method |
| PCT/JP2013/082650 WO2014088048A1 (en) | 2012-12-07 | 2013-11-28 | Image generating apparatus and image generating method |
| EP13811016.8A EP2929508A1 (en) | 2012-12-07 | 2013-11-28 | Image generating apparatus and image generating method |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013167437 | 2013-08-12 | ||
| JP2013167437 | 2013-08-12 | ||
| JP2013204636A JP2015057682A (ja) | 2013-08-12 | 2013-09-30 | 画像生成装置および画像生成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015057682A true JP2015057682A (ja) | 2015-03-26 |
Family
ID=52815754
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013204636A Pending JP2015057682A (ja) | 2012-12-07 | 2013-09-30 | 画像生成装置および画像生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015057682A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017098587A1 (ja) * | 2015-12-08 | 2017-06-15 | オリンパス株式会社 | 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム |
| WO2018096638A1 (ja) * | 2016-11-24 | 2018-05-31 | 株式会社ニコン | 画像処理装置、顕微鏡システム、画像処理方法、およびコンピュータプログラム |
| WO2018131172A1 (ja) * | 2017-01-16 | 2018-07-19 | 株式会社ニコン | 画像処理装置、顕微鏡システム、画像処理方法、及びプログラム |
| US10055829B2 (en) | 2015-10-15 | 2018-08-21 | Samsung Electronics Co., Ltd. | Method of measuring thickness, method of processing image and electronic system performing the same |
| JP2021099354A (ja) * | 2017-04-13 | 2021-07-01 | 浜松ホトニクス株式会社 | 画像取得システム及び画像取得方法 |
-
2013
- 2013-09-30 JP JP2013204636A patent/JP2015057682A/ja active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10055829B2 (en) | 2015-10-15 | 2018-08-21 | Samsung Electronics Co., Ltd. | Method of measuring thickness, method of processing image and electronic system performing the same |
| WO2017098587A1 (ja) * | 2015-12-08 | 2017-06-15 | オリンパス株式会社 | 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム |
| JPWO2017098587A1 (ja) * | 2015-12-08 | 2018-09-20 | オリンパス株式会社 | 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム |
| US10721413B2 (en) | 2015-12-08 | 2020-07-21 | Olympus Corporation | Microscopy system, microscopy method, and computer readable recording medium |
| WO2018096638A1 (ja) * | 2016-11-24 | 2018-05-31 | 株式会社ニコン | 画像処理装置、顕微鏡システム、画像処理方法、およびコンピュータプログラム |
| JPWO2018096638A1 (ja) * | 2016-11-24 | 2019-10-17 | 株式会社ニコン | 画像処理装置、顕微鏡システム、画像処理方法、およびコンピュータプログラム |
| WO2018131172A1 (ja) * | 2017-01-16 | 2018-07-19 | 株式会社ニコン | 画像処理装置、顕微鏡システム、画像処理方法、及びプログラム |
| JPWO2018131172A1 (ja) * | 2017-01-16 | 2019-12-12 | 株式会社ニコン | 画像処理装置、顕微鏡システム、画像処理方法、及びプログラム |
| US11442262B2 (en) | 2017-01-16 | 2022-09-13 | Nikon Corporation | Image processing device, microscope system, image processing method, and program |
| JP2021099354A (ja) * | 2017-04-13 | 2021-07-01 | 浜松ホトニクス株式会社 | 画像取得システム及び画像取得方法 |
| JP7216753B2 (ja) | 2017-04-13 | 2023-02-01 | 浜松ホトニクス株式会社 | 画像取得システム及び画像取得方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9881373B2 (en) | Image generating apparatus and image generating method | |
| US20150279033A1 (en) | Image data generating apparatus and image data generating method | |
| US9933363B2 (en) | System and method for dense-stochastic-sampling imaging | |
| JP2021515240A (ja) | 定量的バイオマーカデータのオーバレイを有する病理学用拡張現実顕微鏡 | |
| US10930061B2 (en) | Three-dimensional image processing to locate nanoparticles in biological and nonbiological media | |
| JP5727629B2 (ja) | 顕微鏡撮像における高速自動焦点合わせ | |
| Kandel et al. | Label-free tissue scanner for colorectal cancer screening | |
| US20120327211A1 (en) | Diagnostic information distribution device and pathology diagnosis system | |
| JP2015057682A (ja) | 画像生成装置および画像生成方法 | |
| JP6362062B2 (ja) | 画像生成装置および画像生成方法 | |
| Oberlaender et al. | Transmitted light brightfield mosaic microscopy<? xpp qa?> for three-dimensional tracing of single neuron<? xpp qa?> morphology | |
| CN114365179A (zh) | 无载玻片组织学成像方法和系统 | |
| Prigent et al. | SPITFIR (e): a supermaneuverable algorithm for fast denoising and deconvolution of 3D fluorescence microscopy images and videos | |
| JP2015191362A (ja) | 画像データ生成装置および画像データ生成方法 | |
| Wouterlood | 3‐D reconstruction of neurons from multichannel confocal laser scanning image series | |
| Koho et al. | A software tool for tomographic axial superresolution in STED microscopy | |
| WO2021100328A1 (ja) | 画像処理方法、画像処理装置および画像処理システム | |
| US20210049338A1 (en) | System, method, and computer-accessible medium for processing brain images and extracting neuronal structures | |
| Trusk | 3D reconstruction of confocal image data | |
| Pronichev et al. | Cytology 3D structure formation based on optical microscopy images | |
| Prigent et al. | SPITFIR (e): A supermaneuverable algorithm for restoring 2D-3D fluorescence images and videos, and background subtraction | |
| US11428920B2 (en) | Information processing device, information processing method, information processing program, and microscope for displaying a plurality of surface images | |
| US20230058111A1 (en) | Systems and methods for providing live sample monitoring information with parallel imaging systems | |
| Li | THE NOISE AND INFLUENCE ON FLUORESCENCE MICROSCOPY | |
| WO2023180289A1 (en) | Controller for an imaging system, system and corresponding method |