JP2018013735A - 拡大観察装置 - Google Patents

Abstract

【課題】使用者の要求に応じた観察対象物の画像を容易に取得することが可能な拡大観察装置を提供する。【解決手段】投光部１４０から第１の出射方向の光が観察対象物Ｓの複数の単位領域に照射される。観察対象物Ｓからの光が撮像部１３２に受光されることにより、観察対象物Ｓの複数の単位領域の画像を示す複数の第１の原画像データが生成される。投光部１４０から第１の出射方向とは異なる第２の出射方向の光が観察対象物Ｓの複数の単位領域に照射される。観察対象物Ｓからの光が撮像部１３２に受光されることにより、観察対象物Ｓの複数の単位領域の画像を示す複数の第２の原画像データが生成される。１つの単位領域よりも大きくかつ使用者により指定された特定の出射方向の光が観察対象物Ｓに照射されたと仮定した場合に得られるべき観察対象物Ｓの画像を示す表示用画像データが、複数の第１および第２の原画像データの少なくとも一方に基づいて生成される。【選択図】図１

Description

本発明は、観察対象物を拡大して観察する拡大観察装置に関する。

観察対象物を拡大して観察するために、拡大観察装置が用いられることがある（例えば特許文献１参照）。特許文献１に記載された顕微鏡システムにおいては、明視野照明光および暗視野照明光が対物レンズを通してステージ上の標本に照射される。ここで、明視野照明光は対物レンズの光軸と平行な方向に出射される照明光であり、暗視野照明光は対物レンズの光軸に対して傾斜した方向に出射される照明光である。標本で反射された観察光が結像レンズを通して撮像装置に入射することにより標本が撮像される。

特開２０１３−７２９７１号公報

特許文献１に記載された顕微鏡システムにおいては、明視野照明光に対する露光時間と暗視野照明光に対する露光時間との比に応じて、一方の照明光の照明強度が相対的に小さくされる。これにより、明視野照明光の強度と暗視野照明光の強度とが揃えられる。その結果、特許文献１には、明視野照明光と暗視野照明光とを同時に照射した標本を観察するうえで、最も適した照明強度において標本の観察を行うことが可能となると記載されている。また、使用者は、照明強度が最適化された状態の画像から直感的に明視野照明光と暗視野照明光との照明強度の比率を調整することも可能である。

しかしながら、照明強度等の適切な撮像条件は、観察対象物の形状および材質により異なる。そのため、熟練していない使用者には、適切な撮像条件において撮像された画像を取得することは困難である。また、事後的に撮像条件が適切ではなかったことが判明する場合がある。このような場合、異なる撮像条件において観察対象物の撮像を再度行う必要があり、使用者の負担が増加する。

本発明の目的は、使用者の要求に応じた観察対象物の画像を容易に取得することが可能な拡大観察装置を提供することである。

（１）本発明に係る拡大観察装置は、観察対象物の表面に設定された単位領域に互いに異なる第１および第２の出射方向の光を選択的に照射する投光部と、観察対象物からの光を受光し、観察対象物の単位領域の画像を示す第１または第２の原画像データを生成する撮像部と、撮像部により第１または第２の原画像データが生成された単位領域の位置を示す位置情報を生成する位置情報生成部と、使用者により指定された特定の出射方向の光が観察対象物に照射されたと仮定した場合に得られるべき観察対象物の画像を示す表示用画像データを生成するデータ生成部とを備え、第１の光照射時に、位置情報生成部により生成される位置情報に基づいて第１の出射方向の光を投光部が複数の単位領域に照射するとともに撮像部が複数の第１の原画像データを生成し、第２の光照射時に、位置情報生成部により生成される位置情報に基づいて第２の出射方向の光を投光部が複数の単位領域に照射するとともに撮像部が複数の第２の原画像データを生成し、データ生成部は、複数の第１および第２の原画像データの少なくとも一方に基づいて１つの単位領域よりも大きい観察対象物の部分の画像を示す表示用画像データを生成する。

この拡大観察装置においては、位置情報生成部により生成される位置情報に基づいて、投光部から第１の出射方向の光が観察対象物の表面に設定された複数の単位領域に照射される。観察対象物からの光が撮像部に受光されることにより、観察対象物の複数の単位領域の画像をそれぞれ示す複数の第１の原画像データが生成される。また、位置情報生成部により生成される位置情報に基づいて、投光部から第１の出射方向とは異なる第２の出射方向の光が観察対象物の表面に設定された複数の単位領域に照射される。観察対象物からの光が撮像部に受光されることにより、観察対象物の複数の単位領域の画像をそれぞれ示す複数の第２の原画像データが生成される。さらに、１つの単位領域よりも大きくかつ使用者により特定の出射方向の光が観察対象物に照射されたと仮定した場合に得られるべき観察対象物の画像を示す表示用画像データが、複数の第１および第２の原画像データの少なくとも一方に基づいてデータ生成部により生成される。

この構成によれば、投光部から互いに異なる第１および第２の出射方向の光が観察対象物に照射される。そのため、使用者は、出射方向を任意に指定することにより、実際に観察対象物に照射する光の出射方向を変更することなく、観察対象物の形状および材質に応じた適切な出射方向の光が観察対象物に照射されたときの画像を示す表示用画像データを生成することができる。これにより、使用者の要求に応じた観察対象物の画像を容易に取得することができる。

また、表示用画像データは、観察対象物の表面に設定された複数の単位領域の画像を示す複数の第１および第２の原画像データの少なくとも一方に基づいて生成されるので、使用者は、１つの単位領域よりも大きい画像を観察することができる。さらに、表示用画像データは、既に生成された第１および第２の原画像データを用いて生成可能であるので、観察対象物の撮像を再度行う必要がない。したがって、使用者の負担を低減することができる。

（２）データ生成部は、複数の第１および第２の原画像データを合成することにより表示用画像データを生成してもよい。この場合、互いに異なる複数の第１および第２の出射方向の光にそれぞれ対応する複数の第１および第２の原画像データが合成される。これにより、任意の出射方向の光が観察対象物に照射されたと仮定した場合に得られるべき観察対象物の画像を示す表示用画像データを容易に生成することができる。

（３）データ生成部は、特定の出射方向に基づいて複数の第１および第２の原画像データの合成の割合を決定してもよい。この場合、複数の第１および第２の原画像データに基づいて表示用画像データをより容易に生成することができる。

（４）データ生成部は、隣り合う複数の単位領域をそれぞれ示す複数の第１の原画像データを連結することにより１つの単位領域よりも大きい観察対象物の部分の画像を示す第１の連結画像データを生成するとともに隣り合う複数の単位領域をそれぞれ示す複数の第２の原画像データを連結することにより１つの単位領域よりも大きい観察対象物の部分の画像を示す第２の連結画像データを生成し、第１および第２の連結画像データを合成することにより表示用画像データを生成してもよい。

この場合、複数の第１の原画像データが連結されることにより第１の連結画像データが生成され、複数の第２の原画像データが連結されることにより第２の連結画像データが生成される。また、第１および第２の連結画像データが合成されることにより表示用画像データが生成される。この構成によれば、１つの単位領域よりも大きい観察対象物の部分の画像を示す表示用画像データを容易に生成することができる。

（５）データ生成部は、パターンマッチングを用いて複数の第１の原画像データを連結することにより第１の連結画像データを生成してもよい。この場合、第１の連結画像データを容易にかつ高精度で生成することができる。

（６）データ生成部は、第１の連結画像データにおける複数の第１の原画像データの位置および隣り合う各２つの単位領域にそれぞれ対応する第１の原画像データの重複領域情報に基づいて複数の第２の原画像データを連結することにより第２の連結画像データを生成してもよい。

この場合、第２の連結画像データを生成する際に、パターンマッチングを用いる必要がない。これにより、第２の連結画像データを高速に生成することができる。また、第２の連結画像データが示す画像の位置関係が第１の連結画像データが示す画像の位置関係が一致する。そのため、表示用画像データを生成するために第１および第２の連結画像データを容易に合成することができる。

（７）データ生成部は、共通の単位領域に対応する第１および第２の原画像データを合成することにより合成画像データを生成し、隣り合う複数の単位領域にそれぞれ対応する複数の合成画像データを連結することにより表示用画像データを生成してもよい。この場合、１つの単位領域よりも大きい観察対象物の部分の画像を示す表示用画像データを容易に生成することができる。

（８）データ生成部は、パターンマッチングを用いて複数の合成画像データを連結することにより表示用画像データを生成してもよい。この場合、表示用画像データを容易にかつ高精度で生成することができる。

（９）撮像部は、受光時間が複数変化された状態で第１または第２の原画像データを生成し、データ生成部は、各単位領域について受光時間が複数変化された状態で撮像部により生成される複数の第１の原画像データおよび各単位領域について受光時間が複数変化された状態で撮像部により生成される複数の第２の原画像データのうち少なくとも一部に基づいてダイナミックレンジが調整された表示用画像データを生成してもよい。

表示用画像データのダイナミックレンジが拡大されるように調整された場合には、使用者は、黒つぶれおよびハレーション（白とび）が低減された画像を観察することができる。表示用画像データのダイナミックレンジが縮小された場合には、使用者は、分解能が向上された画像を観察することができる。

（１０）拡大観察装置は、観察対象物からの光を集光しつつ撮像部に導くように配置された対物レンズと、対物レンズを通過した光の焦点位置を観察対象物に対して相対的に対物レンズの光軸方向に変化させる焦点位置変化部とをさらに備え、撮像部は、焦点位置変化部により光の焦点位置が対物レンズの光軸方向に複数変化された状態で複数の第１または第２の原画像データを生成し、データ生成部は、各単位領域について焦点位置変化部により光の焦点位置が複数変化された状態で撮像部により生成される複数の第１の原画像データおよび各単位領域について焦点位置変化部により光の焦点位置が複数変化された状態で撮像部により生成される複数の第２の原画像データのうち少なくとも一部に基づいて観察対象物の各部分に焦点が合った画像を示す表示用画像データを生成してもよい。この場合、使用者は、観察対象物の各部分に焦点が合った画像を観察することができる。

（１１）拡大観察装置は、特定の出射方向を指定するために使用者により操作される操作部をさらに備え、データ生成部は、操作部により指定された特定の出射方向に対応して生成する表示用画像データを更新してもよい。この場合、使用者は、操作部を操作して観察対象物の形状および材質に応じた適切な出射方向を指定することにより、使用者の要求に応じた観察対象物の画像を示す表示用画像データを容易に取得することができる。

本発明によれば、使用者の要求に応じた観察対象物の画像を容易に取得することができる。

本発明の第１の実施の形態に係る拡大観察装置の構成を示す模式図である。 図１の制御装置の構成を示すブロック図である。 投光部の構成を示す斜視図および平面図である。 投光部の配置例を示す模式図である。 測定ヘッドの外観斜視図および鏡筒部の構成を示す模式図である。 焦点駆動部の構成例を示す模式図である。 ステージ装置の構成を示す模式図である。 画像データの連結時における仮想的な投光部の位置を説明するための図である。 図２の演算処理部の構成を示すブロック図である。 ステージの載置面上に定義される極座標系を示す図である。 複数照明撮像が指示されたときの拡大観察装置の基本動作を説明するための模式図である。 観察画面の一表示例を示す図である。 光の仮想的な出射方向の指定に応答して観察対象物の画像が更新されるときの処理内容を説明するための模式図である。 主表示領域および副表示領域にそれぞれ光アイコンが表示される例を示す図である。 観察画面の他の表示例を示す図である。 観察画面のさらに他の表示例を示す図である。 複数照明撮像処理の一例を示すフローチャートである。 表示用画像生成処理の一例を示すフローチャートである。 表示用画像生成処理の一例を示すフローチャートである。 深度合成処理の概念図である。 マスクイメージデータを視覚的に示す図である。 深度合成処理の一例を示すフローチャートである。 深度合成処理の一例を示すフローチャートである。 深度合成処理の一例を示すフローチャートである。 深度合成処理の他の例を示すフローチャートである。 深度合成処理の他の例を示すフローチャートである。 深度合成処理の他の例を示すフローチャートである。 ＤＲ調整処理の一例を示すフローチャートである。 ＤＲ調整処理の一例を示すフローチャートである。 ＤＲ調整処理の他の例を示すフローチャートである。 ＤＲ調整処理の他の例を示すフローチャートである。 連結画像データを視覚的に示す図である。 連結処理を説明するための図である。 連結処理の一例を示すフローチャートである。 連結処理の一例を示すフローチャートである。 連結処理の他の例を示すフローチャートである。 連結処理の他の例を示すフローチャートである。 本発明の第２の実施の形態に係る拡大観察装置の構成を示す模式図である。 第２の実施の形態に係る複数照明撮像処理後の観察画面の一表示例を示す図である。 本発明の第３の実施の形態に係る拡大観察装置の構成を示す模式図である。 第３の実施の形態に係る複数照明撮像処理後の観察画面の一表示例を示す図である。 投光部の変形例を示す模式図である。

［１］第１の実施の形態
（１）拡大観察装置の構成
（ａ）測定ヘッド
以下、本発明の第１の実施の形態に係る拡大観察装置について、図を参照しながら説明する。図１は、本発明の第１の実施の形態に係る拡大観察装置の構成を示す模式図である。図１に示すように、拡大観察装置１は、測定ヘッド１００および処理装置２００を備える。測定ヘッド１００は、例えば顕微鏡であり、スタンド部１１０、ステージ装置１２０、鏡筒部１３０、投光部１４０および制御基板１５０を含む。

スタンド部１１０は、縦断面がＬ字形状を有し、設置部１１１、保持部１１２および焦点駆動部１１３を含む。設置部１１１および保持部１１２は、例えば樹脂により形成される。設置部１１１は、水平な平板形状を有し、設置面に設置される。保持部１１２は、設置部１１１の一端部から上方に延びるように設けられる。

ステージ装置１２０は、ステージ１２１およびステージ駆動部１２２を含む。ステージ１２１は、設置部１１１の上面に設けられる。ステージ１２１上には、観察対象物Ｓが載置される。観察対象物Ｓが載置されるステージ１２１上の平面（以下、載置面と呼ぶ。）内で互いに直交する２方向をＸ方向およびＹ方向と定義し、それぞれ矢印Ｘ，Ｙで示す。ステージ１２１の載置面に対して直交する法線の方向をＺ方向と定義し、矢印Ｚで示す。Ｚ方向に平行な軸を中心に回転する方向をθ方向と定義し、矢印θで示す。

ステージ駆動部１２２は、ステッピングモータ等の図示しないアクチュエータを含む。ステージ駆動部１２２は、制御基板１５０により与えられる駆動パルスに基づいて、ステージ１２１をＸ方向、Ｙ方向もしくはＺ方向に移動させるか、またはθ方向に回転させる。また、使用者は、手動によりステージ１２１をＸ方向、Ｙ方向もしくはＺ方向に移動させるか、またはθ方向に回転させることも可能である。

鏡筒部１３０は、レンズユニット１３１および撮像部１３２を含み、ステージ１２１の上方に配置される。レンズユニット１３１は、観察対象物Ｓの種類に応じて他のレンズユニットと交換可能である。レンズユニット１３１は、対物レンズ１３１ａおよび図示しない複数のレンズにより構成される。対物レンズ１３１ａの光軸Ａ１は、Ｚ方向に平行である。撮像部１３２は、例えばＣＭＯＳ（相補性金属酸化膜半導体）カメラを含む。撮像部１３２は、ＣＣＤ（電荷結合素子）カメラ等の他のカメラを含んでもよい。

鏡筒部１３０は、スタンド部１１０の焦点駆動部１１３により保持部１１２に取り付けられる。焦点駆動部１１３は、ステッピングモータ等の図示しないアクチュエータを含む。焦点駆動部１１３は、制御基板１５０により与えられる駆動パルスに基づいて、レンズユニット１３１を対物レンズ１３１ａの光軸Ａ１の方向（Ｚ方向）に移動させる。これにより、レンズユニット１３１を通過した光の焦点位置がＺ方向に変化する。また、使用者は、手動によりレンズユニット１３１を対物レンズ１３１ａの光軸Ａ１の方向に移動させることも可能である。

投光部１４０は、対物レンズ１３１ａの光軸Ａ１を取り囲むようにレンズユニット１３１に一体的に取り付けられる。これにより、投光部１４０とレンズユニット１３１との位置関係を一意的に決定することができる。また、拡大観察装置１に投光部１４０を保持する部材を追加する必要がないので、拡大観察装置１をコンパクト化することができる。投光部１４０の光軸Ａ２（後述する図３）は、対物レンズ１３１ａの光軸Ａ１と略同一である。

投光部１４０からステージ１２１上の観察対象物Ｓに複数の出射方向の光が照射される。観察対象物Ｓによりステージ１２１の上方に反射された光は、レンズユニット１３１により集光および結像された後、撮像部１３２により受光される。撮像部１３２は、各画素の受光量に対応する画素データに基づいて画像データを生成する。投光部１４０により複数の出射方向の光が観察対象物Ｓに照射されたときに撮像部１３２によりそれぞれ生成される複数の画像データの各々を原画像データと呼ぶ。撮像部１３２は、生成した複数の原画像データを制御装置４００に与える。

制御基板１５０は、例えばスタンド部１１０の保持部１１２内に設けられ、焦点駆動部１１３、ステージ駆動部１２２および撮像部１３２に接続される。制御基板１５０は、処理装置２００による制御に基づいて焦点駆動部１１３およびステージ駆動部１２２の動作を制御する。撮像部１３２には、制御装置４００から制御信号が入力される。また、撮像部１３２により生成された複数の原画像データは、ケーブル２０３を介して順次処理装置２００に与えられる。

（ｂ）処理装置
処理装置２００は、筐体２１０、光生成部３００および制御装置４００を含む。筐体２１０は、光生成部３００および制御装置４００を収容する。光生成部３００は、ファイバユニット２０１により測定ヘッド１００の投光部１４０に光学的に接続される。ファイバユニット２０１は、図示しない複数の光ファイバを含む。

光生成部３００は、光源３１０および遮光部３２０を含む。光源３１０は、例えばＬＥＤ（発光ダイオード）である。光源３１０は、ハロゲンランプ等の他の光源であってもよい。遮光部３２０は、光源３１０により出射される光を部分的に遮光可能に光源３１０とファイバユニット２０１との間に配置される。光源３１０により出射された光は、遮光部３２０を通過してファイバユニット２０１へ入射する。これにより、ファイバユニット２０１を通して測定ヘッド１００の投光部１４０から光が出射される。

図２は、図１の制御装置４００の構成を示すブロック図である。図２に示すように、制御装置４００は、制御部４１０、記憶部４２０、表示部４３０、操作部４４０および通信部４５０を含む。制御部４１０は、例えばＣＰＵ（中央演算処理装置）を含む。記憶部４２０は、例えばＲＯＭ（リードオンリメモリ）、ＲＡＭ（ランダムアクセスメモリ）またはＨＤＤ（ハードディスクドライブ）を含む。本実施の形態においては、制御部４１０および記憶部４２０は、パーソナルコンピュータにより実現される。

制御部４１０は、駆動制御部５００および演算処理部６００を含む。記憶部４２０には、システムプログラムが記憶される。また、記憶部４２０は、種々のデータの処理および制御部４１０から与えられる種々のデータの保存のために用いられる。駆動制御部５００および演算処理部６００の機能は、制御部４１０が記憶部４２０に記憶されるシステムプログラムを実行することにより実現される。

駆動制御部５００は、投光制御部５１０、撮像制御部５２０、焦点制御部５３０およびステージ制御部５４０を含む。投光制御部５１０は、ケーブル２０２を通して図１の光生成部３００に接続され、光生成部３００の動作を制御する。撮像制御部５２０、焦点制御部５３０およびステージ制御部５４０は、ケーブル２０３を通して図１の測定ヘッド１００の制御基板１５０に接続される。

撮像制御部５２０、焦点制御部５３０およびステージ制御部５４０は、制御基板１５０を通して撮像部１３２、焦点駆動部１１３およびステージ駆動部１２２の動作をそれぞれ制御する。また、撮像制御部５２０は、撮像部１３２により生成された複数の原画像データを順次演算処理部６００に与える。

演算処理部６００は、取得した複数の原画像データの少なくとも１つに基づいて、使用者により指定された出射方向の光が観察対象物Ｓに照射されたと仮定した場合に得られるべき観察対象物Ｓの画像を示す表示用画像データを生成することができる。演算処理部６００の詳細については後述する。演算処理部６００により取得された複数の原画像データおよび生成された表示用画像データは、記憶部４２０に記憶される。

表示部４３０は、例えばＬＣＤ（液晶ディスプレイ）パネルにより構成される。表示部４３０は、有機ＥＬ（エレクトロルミネッセンス）パネル等の他の表示部により構成されてもよい。表示部４３０は、記憶部４２０に記憶された画像データまたは演算処理部６００により生成された画像データに基づく画像等を表示する。操作部４４０は、マウス、タッチパネル、トラックボールまたはジョイスティック等のポインティングデバイスおよびキーボードを含み、制御装置４００に指示等を与えるために使用者により操作される。また、操作部４４０はポインティングデバイスおよびキーボードに加えてジョグシャトルを含んでもよいし、鏡筒部１３０およびステージ１２１を上下方向に移動させるための回転中心が水平方向を向くダイヤル状の操作手段を含んでもよい。

通信部４５０は、制御装置４００をネットワークに接続するためのインターフェースを含む。図１の例では、表示機能を有する外部装置２がネットワークに接続されている。制御装置４００は、通信部４５０を介して表示機能を有する外部装置２に画像データを送信することが可能である。外部装置２の使用者は、通信部４５０を介して汎用的な画像ファイル形式で記憶された画像データを制御装置４００から取得し、当該画像データに基づく画像を外部装置２に表示させることができる。

（ｃ）投光部
図３（ａ），（ｂ）は、それぞれ投光部１４０の構成を示す斜視図および平面図である。図３（ａ）に示すように、投光部１４０は、保持部材１４１および複数の光ファイバ１４２を含む。保持部材１４１は、例えば樹脂により形成され、円筒形状を有する。平面視における保持部材１４１の外径は、図１のステージ１２１の寸法よりも小さい。保持部材１４１は、図１の対物レンズ１３１ａの光軸Ａ１を取り囲むように配置される。

保持部材１４１には、上面から下面に貫通する複数の貫通孔１４１ａが形成される。複数の貫通孔１４１ａは、略等間隔で配置され、対物レンズ１３１ａの光軸Ａ１を中心に回転対称に位置する。複数の光ファイバ１４２は、複数の貫通孔１４１ａ内にそれぞれ挿通される。これにより、複数の光ファイバ１４２は保持部材１４１により一体的に保持される。各光ファイバ１４２における光の入射部および出射部は、保持部材１４１の上面および下面にそれぞれ位置する。これにより、保持部材１４１の下面に光出射部１４０ｏが形成される。

複数の光ファイバ１４２は、対物レンズ１３１ａの光軸Ａ１を中心とする１つの円周上に配置される。そのため、対物レンズ１３１ａの光軸Ａ１から複数の光ファイバ１４２における出射部までの距離は略等しい。各光ファイバ１４２における出射部とステージ１２１の中心とを結ぶ線が対物レンズ１３１ａの光軸Ａ１に対して成す角度は鋭角である。本実施の形態においては、保持部材１４１が複数の光ファイバ１４２を一体的に保持することにより、上記の複数の光ファイバ１４２の位置関係が容易に維持される。

図３（ｂ）に示すように、投光部１４０の円環状の光出射部１４０ｏは、複数（本例では４つ）の領域１４０Ａ，１４０Ｂ，１４０Ｃ，１４０Ｄに略等分される。複数の領域１４０Ａ〜１４０Ｄは、対物レンズ１３１ａの光軸Ａ１を中心に回転対称に配置される。複数の領域１４０Ａ〜１４０Ｄは、略同数の光ファイバ１４２の出射部を含む。

複数の光ファイバ１４２の入射部は、図１のファイバユニット２０１により処理装置２００の光生成部３００に光学的に接続される。これにより、光生成部３００から出射された光が、保持部材１４１の上面から複数の光ファイバ１４２の入射部に入射し、複数の光ファイバ１４２の出射部を通して保持部材１４１の下面の光出射部１４０ｏから出射される。すなわち、各領域１４０Ａ〜１４０Ｄに含まれる光ファイバ１４２が光出射部１４０ｏから光を出射することにより、各領域１４０Ａ〜１４０Ｄから光が出射される。

図１の遮光部３２０は、投光部１４０の領域１４０Ａ〜１４０Ｄにそれぞれ対応する複数の開口パターンを有するマスクを含む。図１の光源３１０により出射された光は、遮光部３２０のいずれかの開口パターンを通過してファイバユニット２０１へ入射する。図２の投光制御部５１０は、光を通過させる遮光部３２０の開口パターンを切り替えることにより、投光部１４０における光を出射する領域１４０Ａ〜１４０Ｄを切り替える。これにより、投光部１４０は、領域１４０Ａ〜１４０Ｄの全体から光を出射可能であるとともに、領域１４０Ａ〜１４０Ｄのいずれかから選択的に光を出射可能である。

このように、投光部１４０は出射方向が互いに異なる光を観察対象物Ｓに照射することができる。領域１４０Ａ〜１４０Ｄの全体から同時に出射される光をリング照明と呼び、領域１４０Ａ〜１４０Ｄのいずれか１つの領域から出射される光を方向性照明と呼ぶ。本実施の形態においては、投光部１４０は、リング照明および４つの方向性照明のいずれかを選択的に出射可能である。したがって、図１の撮像部１３２は、リング照明および４つの方向性照明がそれぞれ観察対象物Ｓに照射されたときの観察対象物Ｓを示す５つの原画像データを生成可能である。

４つの方向性照明は、対物レンズ１３１ａの光軸Ａ１を中心にθ方向に約９０°異なる４つの位置（領域１４０Ａ〜１４０Ｄ）からそれぞれ出射される光であり、対物レンズ１３１ａの光軸Ａ１を中心に回転対称となる。したがって、各方向性照明は、対物レンズ１３１ａの光軸Ａ１に対して偏りを有する。４つの方向性照明は、対物レンズ１３１ａの光軸Ａ１に対して傾斜しかつ互いに異なる方向に出射される。４つの方向性照明の光量は互いに略等しい。対物レンズ１３１ａの光軸Ａ１に対する４つの方向性照明の照射の角度は、θ方向により均一ではない。

一方、リング照明は、対物レンズ１３１ａの光軸Ａ１に対して偏らない光であり、その中心は対物レンズ１３１ａの光軸Ａ１に略一致する。したがって、リング照明は、実質的に対物レンズ１３１ａの光軸Ａ１の方向に出射される。リング照明は、対物レンズ１３１ａの光軸Ａ１を中心に略均一な光量分布を有し、リング照明の光量は４つの方向性照明の光量の総和に略等しい。すなわち、リング照明の光量は各方向性照明の光量の約４倍である。対物レンズ１３１ａの光軸Ａ１に対するリング照明の照射の角度は、θ方向により均一である。

このように、本実施の形態においては、複数の領域１４０Ａ〜１４０Ｄが対物レンズ１３１ａの光軸Ａ１を中心に回転対称に配置される。これにより、複数の原画像データに基づいて演算により表示用画像データを生成する場合には、その演算を単純化することができる。

本実施の形態においては、投光部１４０の各領域１４０Ａ〜１４０Ｄに光出射部材として光ファイバ１４２が設けられるが、本発明はこれに限定されない。投光部１４０の各領域１４０Ａ〜１４０Ｄに光出射部材としてＬＥＤ等の光源が設けられてもよい。この場合、処理装置２００に光生成部３００が設けられない。この構成においては、各領域１４０Ａ〜１４０Ｄに設けられた１または複数の光源が光を出射することにより、各領域１４０Ａ〜１４０Ｄから光が出射される。

図４（ａ）〜（ｃ）は、投光部１４０の配置例を示す模式図である。本実施の形態においては、図４（ａ）に示すように、投光部１４０はレンズユニット１３１に取り付けられる。本発明はこれに限定されず、図４（ｂ）に示すように、投光部１４０はステージ１２１上に配置されてもよい。あるいは、図４（ｃ）に示すように、投光部１４０は、ステージ１２１とレンズユニット１３１との間に配置され、保持部１１４によりスタンド部１１０に保持されてもよい。

さらに、本実施の形態においては、投光部１４０に４つの光を出射する領域１４０Ａ〜１４０Ｄが設けられるが、本発明はこれに限定されない。投光部１４０に３つ以下または５つ以上の光を出射する領域が設けられてもよい。

また、本実施の形態においては、複数の光出射部材（光ファイバ１４２）が対物レンズ１３１ａの光軸Ａ１を中心とする１つの円周上に配置されるが、本発明はこれに限定されない。複数の光出射部材は、対物レンズ１３１ａの光軸Ａ１を中心とする２つ以上の同心円上に配置されてもよい。さらに、本実施の形態においては、各領域１４０Ａ〜１４０Ｄに複数の光出射部材が配置されるが、本発明はこれに限定されない。各領域１４０Ａ〜１４０Ｄに１つの光出射部材が配置されてもよい。

上記実施の形態において、投光部１４０は、複数の光出射領域の位置関係が変化しないようにユニットとして構成されるが、本発明はこれに限定されない。投光部１４０は、複数の光出射領域の位置関係が変化可能に構成されてもよい。

（ｄ）鏡筒部
図５（ａ），（ｂ）は、それぞれ測定ヘッド１００の外観斜視図および鏡筒部１３０の構成を示す模式図である。図５（ａ）に示すように、測定ヘッド１００は鏡筒部１３０をステージ１２１に対して傾斜させるための傾斜機構１０１を含む。傾斜機構１０１は、Ｙ方向に直交する平面内で保持部１１２の下部に対して保持部１１２の上部を支持する。これにより、傾斜機構１０１は、傾斜中心１３０ｃの周りで鏡筒部１３０をステージ１２１に対して傾斜させることができる。図５（ｂ）においては、傾斜後の鏡筒部１３０が一点鎖線で示される。

ステージ１２１は、図２のステージ制御部５４０による制御に基づいて、観察対象物Ｓの表面が鏡筒部１３０の傾斜中心１３０ｃと略同一の高さに位置するようにＺ方向に移動する。そのため、鏡筒部１３０を傾斜させた場合でも、撮像部１３２の視野が移動しないユーセントリック関係が維持され、観察対象物Ｓの所望の観察領域が撮像部１３２の視野から外れることを防止することができる。

図５（ｂ）に示すように、鏡筒部１３０は、レンズユニット１３１、撮像部１３２および傾斜センサ１３３を含む。撮像部１３２は、図２の撮像制御部５２０による制御に基づいてステージ１２１の載置面に載置された観察対象物Ｓからの光をレンズユニット１３１を介して受光し、原画像データを生成する。

撮像制御部５２０は、撮像部１３２の受光時間、ゲインおよびタイミング等を制御する。例えば、撮像制御部５２０は、リング照明の照射時における受光時間に基づいて各方向性照明の照射時における受光時間を調整する。本例では、上述したように、リング照明の光量は各方向性照明の光量の約４倍であるので、撮像制御部５２０は各方向性照明の照射時における受光時間がリング照明の照射時における受光時間の４倍になるように調整する。

この制御によれば、撮像部１３２は、各方向性照明の照射時における受光時間を独立して調整する場合に比べて高速に原画像データを生成することができる。また、リング照明の照射時における画像と各方向性照明の照射時における画像との明るさを容易に略等しくすることができる。なお、本例では、複数の方向性照明の照射時における撮像部１３２の制御内容は互いに同一である。

また、撮像部１３２は、撮像制御部５２０により受光時間が複数変化された状態で複数の原画像データを生成することができる。図２の演算処理部６００は、撮像部１３２の受光時間が複数変化された状態で生成された複数の原画像データを選択的に合成することにより、ダイナミックレンジが調整された画像データを生成することができる（ＤＲ（ダイナミックレンジ）調整処理）。

Ｚ方向に対する対物レンズ１３１ａの光軸Ａ１の傾斜角度（以下、鏡筒部１３０の傾斜角度と呼ぶ。）は、傾斜センサ１３３により検出され、傾斜角度に対応する角度信号が図１の制御基板１５０に出力される。制御基板１５０は、傾斜センサ１３３により出力された角度信号を図２のケーブル２０３および撮像制御部５２０を介して演算処理部６００に与える。演算処理部６００は、角度信号に基づいて、鏡筒部１３０の傾斜角度を算出する。演算処理部６００により算出された傾斜角度は、図１の表示部４３０に表示させることができる。

上記の構成によれば、ステージ１２１の載置面に載置された観察対象物Ｓの平面観察および傾斜観察を選択的に行うことができる。平面観察時には、対物レンズ１３１ａの光軸Ａ１はＺ方向に平行になる。すなわち、鏡筒部１３０の傾斜角度が０°になる。一方、傾斜観察時には、対物レンズ１３１ａの光軸Ａ１はＺ方向に対して傾斜する。また、使用者は、鏡筒部１３０を図１のスタンド部１１０から取り外し、手持ちまたは他の固定部材により固定した状態で観察対象物Ｓの観察を行うことができる。以下の説明においては、観察対象物Ｓの平面観察が行われる。

（ｅ）焦点駆動部
図２の焦点制御部５３０は、レンズユニット１３１を通過した観察対象物Ｓからの光の焦点位置が観察対象物Ｓに対して相対的にＺ方向に変化するように図１の焦点駆動部１１３を制御する。これにより、図１の撮像部１３２は、Ｚ方向に位置が異なる観察対象物Ｓを示す複数の原画像データを生成することができる。

この処理において、使用者は、焦点駆動部１１３がＺ方向に移動する範囲を指定することができる。移動範囲が指定された場合、焦点制御部５３０は、指定された移動範囲で光の焦点位置がＺ方向に変化するように焦点駆動部１１３を制御する。これにより、撮像部１３２は、Ｚ方向に位置が異なる観察対象物Ｓを示す複数の原画像データを短時間で生成することができる。

また、演算処理部６００は、生成されたＺ方向に位置が異なる観察対象物Ｓを示す複数の原画像データの各々について、画素ごとの合焦度を判定することができる。焦点制御部５３０は、演算処理部６００による合焦度の判定結果に基づいて、撮像部１３２の焦点が観察対象物Ｓの特定の部分に合うように焦点駆動部１１３を調整することができる（オートフォーカス処理）。さらに、演算処理部６００は、合焦度の判定結果に基づいて複数の原画像データを画素ごとに選択的に合成することにより、観察対象物Ｓの全部分に合焦した画像データを生成することができる（深度合成処理）。

図６は、焦点駆動部１１３の構成例を示す図である。本実施の形態においては、投光部１４０はレンズユニット１３１に取り付けられる。図６に点線で示すように、レンズユニット１３１が投光部１４０と一体的に焦点駆動部１１３によりＺ方向に移動される。また、図６に一点鎖線で示すように、ステージ１２１が図１のステージ駆動部１２２によりＺ方向に移動される。このように、レンズユニット１３１および投光部１４０とステージ１２１とが相対的にＺ方向に移動可能である。

観察対象物Ｓとレンズユニット１３１と投光部１４０とのＺ方向の位置関係が変化すると、観察対象物Ｓへ照明を照射する光源の仰角（後述する図１０参照）が変化する。

図６の例においては、投光部１４０は鏡筒部１３０に一体的に設けられるが、本発明はこれに限定されない。投光部１４０は、ユニットとして鏡筒部１３０に着脱可能に取り付けられてもよい。この場合、θ方向における投光部１４０とレンズユニット１３１との角度関係を一定に維持するための位置決め機構がレンズユニット１３１または投光部１４０に設けられることが好ましい。

（ｆ）ステージ装置
図７（ａ）〜（ｃ）は、ステージ装置１２０の構成を示す図である。図７（ａ）〜（ｃ）に示すように、ステージ装置１２０は、ステージ１２１、ステージ駆動部１２２および位置センサ１２３を含む。図２のステージ制御部５４０は、ステージ１２１をＸ方向、Ｙ方向もしくはＺ方向に移動させるか、またはθ方向に回転させるようにステージ駆動部１２２を制御する。図７（ａ）〜（ｃ）の例では、白抜きの矢印で示すように、ステージ１２１がＸ方向に移動される。以下、ステージ１２１のＸ方向、Ｙ方向およびＺ方向の位置ならびにθ方向の角度を単にステージ１２１の位置と呼ぶ。

位置センサ１２３は、例えばリニアエンコーダまたはロータリエンコーダを含み、ステージ１２１に取り付けられる。ステージ１２１の位置は、位置センサ１２３により検出され、位置を示す位置信号が図１の制御基板１５０に出力される。制御基板１５０は、位置センサ１２３により出力された位置信号を図２のケーブル２０３およびステージ制御部５４０を介して演算処理部６００に与える。演算処理部６００は、位置信号に基づいて、ステージ１２１の位置を算出する。演算処理部６００により算出された位置は、図１の表示部４３０に表示させることができる。

このように、ステージ１２１に位置センサ１２３が取り付けられるが、本発明はこれに限定されない。ステージ１２１に位置センサ１２３が取り付けられなくてもよい。この場合、ステージ１２１の位置を示す目盛りがステージ１２１に付されていてもよい。また、演算処理部６００が図１の制御基板１５０からステージ駆動部１２２への駆動パルスの数に基づいてステージ１２１の位置を算出する場合には、ステージ１２１に位置センサ１２３を取り付ける必要がない。

演算処理部６００は、Ｘ方向またはＹ方向にステージ１２１が移動されつつ生成された複数の画像データを連結することにより、撮像部１３２の視野（後述する単位領域）よりも大きい観察対象物Ｓの領域を示す画像データを生成することができる（連結処理）。また、演算処理部６００は、複数の画像データの連結処理を行うことにより、光がより均一に観察対象物Ｓに照射されたときの画像データを生成することができる。

図８（ａ），（ｂ）は、画像データの連結時における仮想的な投光部１４０の位置を説明するための図である。図８（ａ）は画像データの連結が行われない例を示し、図８（ａ）は画像データの連結が行われる例を示す。図８（ａ），（ｂ）の例では、投光部１４０の一部の領域（例えば図３（ｂ）の領域１４０Ａ）から観察対象物Ｓに光が照射される。

図８（ａ）のレンズユニット１３１の倍率は図８（ｂ）のレンズユニット１３１の倍率よりも低い。この場合、撮像部１３２の視野が大きいので、撮像部１３２は観察対象物Ｓの全体を示す原画像データを生成することができる。しかしながら、領域１４０Ａに近い観察対象物Ｓの部分と領域１４０Ａから遠い観察対象物Ｓの部分とでは、照射される光の光量の差が大きい。そのため、光が均一に観察対象物Ｓに照射されたときの画像データを生成することは困難である。

一方、図８（ｂ）の例では、撮像部１３２の視野は小さいが、ステージ１２１が移動されつつ複数の原画像データが生成される。そのため、複数の原画像データを連結することにより観察対象物Ｓの全体を示す画像データを生成することができる。また、図８（ｂ）の例では、各原画像データの生成時における観察対象物Ｓの各部分と領域１４０Ａとの位置関係が略一定である。すなわち、仮想的に無限遠に存在する領域１４０Ａから平行な光が観察対象物Ｓの全体に照射されていると考えることができる。これにより、光が均一に観察対象物Ｓに照射されたときの画像データを生成することができる。

（ｇ）演算処理部
図９は、図２の演算処理部６００の構成を示すブロック図である。図９に示すように、演算処理部６００は、データ生成部６１０、合焦判定部６２０、算出部６３０および条件設定部６４０を含む。

データ生成部６１０は、図１の撮像部１３２により生成される複数の原画像データの少なくとも１つに基づいて表示用画像データを生成する。また、データ生成部６１０は、使用者の指示に従って画像データにＤＲ調整処理、深度合成処理または連結処理を行う。

合焦判定部６２０は、図２の焦点制御部５３０がオートフォーカス処理を行う際に、焦点駆動部１１３のＺ方向の移動により生成された複数の原画像データの各々について画素ごとの合焦度を判定する。また、合焦判定部６２０は、データ生成部６１０が深度合成処理を行う際に、複数の原画像データについて画素ごとの合焦度を判定する。

算出部６３０は、角度算出部６３１および位置算出部６３２を含む。角度算出部６３１は、図５（ｂ）の傾斜センサ１３３により出力される角度信号に基づいて、図５（ｂ）の鏡筒部１３０の傾斜角度を算出する。また、角度算出部６３１は、使用者の指示に従って、算出した鏡筒部１３０の傾斜角度を図２の表示部４３０に表示させる。

位置算出部６３２は、図７の位置センサ１２３により出力される位置信号に基づいて、図７のステージ１２１の位置を算出する。位置算出部６３２は、図１の制御基板１５０からステージ駆動部１２２への駆動パルスの数に基づいてステージ１２１の位置を算出してもよい。また、位置算出部６３２は、使用者の指示に従って、算出したステージ１２１の位置を図２の表示部４３０に表示させる。さらに、位置算出部６３２は、図１の撮像部１３２により原画像データが生成されたときのステージ１２１の位置を示す位置情報を図２の記憶部４２０に記憶させる。

条件設定部６４０は、撮像条件設定部６４１および照明条件設定部６４２を含む。撮像条件設定部６４１は、使用者の指示に従って撮像条件を設定する。また、条件設定部６４０は、設定した撮像条件を示す撮像情報を図１の記憶部４２０に記憶させる。撮像条件は、例えば図１の撮像部１３２の受光時間、ＤＲ調整処理の実行の有無、深度合成処理の実行の有無、連結処理の実行の有無およびＺ方向における光の焦点位置の範囲等を含む。図２の駆動制御部５００は、撮像条件設定部６４１により設定された撮像条件に基づいて図１の測定ヘッド１００および光生成部３００の動作を制御する。

照明条件設定部６４２は、使用者の指示に従って照明条件を設定する。また、照明条件設定部６４２は、設定した照明条件に対応する照明情報を記憶部４２０に記憶させる。照明条件は、観察対象物Ｓに対する光の仮想的な出射方向を含む。データ生成部６１０は、照明条件設定部６４２により設定された照明条件に基づいて表示用画像データを生成し、記憶部４２０に記憶させる。使用者による照明条件の指示方法については後述する。

（２）拡大観察装置の基本動作
（ａ）基本動作の内容
ステージ１２１の載置面において、対物レンズ１３１ａの光軸Ａ１が交差する位置を基準点と呼ぶ。観察対象物Ｓは観察対象部分が基準点上に位置するようにステージ１２１に載置される。この状態で、観察対象物Ｓの少なくとも一部に対物レンズ１３１ａの焦点が合うようにレンズユニット１３１（図１）のＺ方向の位置が調整される。また、観察対象物Ｓの所望の部分を観察することができるように、ステージ１２１がＸ方向およびＹ方向に調整される。さらに、撮像部１３２の受光時間およびホワイトバランス等の撮像条件が調整される。

以下の説明では、上記の４つの方向性照明を区別するために、投光部１４０の領域１４０Ａ，１４０Ｂ，１４０Ｃ，１４０Ｄの各々から出射される光をそれぞれ第１の方向性照明、第２の方向性照明、第３の方向性照明および第４の方向性照明と呼ぶ。また、以下の説明では、リング照明を形成する複数の光線がベクトル的に合成された場合において合成された光線の進行方向をリング出射方向と呼ぶ。リング出射方向は、ステージ１２１の載置面に対して垂直な方向である。また、第１の方向性照明を形成する複数の光線がベクトル的に合成された場合において合成された光線の進行方向を第１の出射方向と呼び、第２の方向性照明を形成する複数の光線がベクトル的に合成された場合において合成された光線の進行方向を第２の出射方向と呼ぶ。さらに、第３の方向性照明を形成する複数の光線がベクトル的に合成された場合において合成された光線の進行方向を第３の出射方向と呼び、第４の方向性照明を形成する複数の光線がベクトル的に合成された場合において合成された光線の進行方向を第４の出射方向と呼ぶ。

ここで、基準点上に載置される観察対象物Ｓに光を照射する際の光の出射方向または出射位置が特定可能となるように、ステージ１２１の載置面上に基準点を原点とする極座標系を定義する。図１０は、ステージ１２１の載置面上に定義される極座標系を示す図である。図１０に示すように、ステージ１２１の載置面上の基準点が原点Ｏとして定義される。図１０に太い実線で示すように、ステージ１２１の載置面を上方から見た状態で原点Ｏを中心として反時計回りの方向に方位角が定義される。本例では、原点Ｏから拡大観察装置１の一側方に向く方向が方位角の基準角度（０°）として定義される。

また、載置面上または載置面よりも上方の任意の位置に点Ｑを仮定する。この場合、図１０に太い一点鎖線で示すように、点Ｑと原点Ｏとを結ぶ直線と、載置面との間の角度が点Ｑの仰角として定義される。点Ｑが載置面上にある場合、点Ｑの仰角は０°である。点Ｑが載置面の上方でかつ光軸Ａ１上にある場合、点Ｑの仰角は９０°である。図１０では、ステージ１２１の載置面上の方位角が９０°ごとに示される。以下の説明では、ステージ１２１の載置面よりも上方の任意の位置、または観察対象物Ｓに照射される光の向き等を説明する際に、上記のように定義された「仰角」および「方位角」を適宜用いる。

本例では、投光部１４０の領域１４０Ａ，１４０Ｂ，１４０Ｃ，１４０Ｄの中央部分が、光軸Ａ１を中心としてそれぞれ４５°、１３５°、２２５°および３１５°の方位角で配置される。なお、投光部１４０の配置は、上記の例に限定されない。例えば、領域１４０Ａ，１４０Ｂ，１４０Ｃ，１４０Ｄの中央部分が、光軸Ａ１を中心としてそれぞれ０°、９０°、１８０°および２７０°の方位角で配置されてもよい。リング照明および第１〜第４の方向性照明を用いて観察対象物Ｓを順次撮像することを複数照明撮像と呼ぶ。

拡大観察装置１の各構成要素は、複数照明撮像の指示に応答して以下の基本動作を行う。図１１は、複数照明撮像が指示されたときの拡大観察装置１の基本動作を説明するための模式図である。図１１（ａ）〜（ｅ）に、観察対象物Ｓに照射される照明の変化が時系列で示される。図１１（ａ）〜（ｅ）では、光を出射する投光部１４０の領域が太い実線で示されるとともに、リング出射方向および第１〜第４の出射方向がそれぞれ太い実線の矢印で示される。図１１（ｆ）〜（ｊ）に、図１１（ａ）〜（ｅ）の各照明が観察対象物Ｓに照射されたときの観察対象物Ｓの画像ＳＩが示される。以下の説明では、観察対象物Ｓが表示された画像のうち観察対象物Ｓの表示部分を対象部分画像ｓｐと呼ぶ。

図１１（ａ）に示すように、まず観察対象物Ｓにリング照明が照射され、観察対象物Ｓが撮像される。この場合、対物レンズ１３１ａの光軸Ａ１を取り囲む全ての領域１４０Ａ〜１４０Ｄから観察対象物Ｓの各部分に第１〜第４の方向性照明が同時かつ均一に照射される。それにより、図１１（ｆ）に示すように、リング照明で撮像された観察対象物Ｓの画像ＳＩにおいては、対象部分画像ｓｐに観察対象物Ｓの形状による影がほとんど発生しない。したがって、観察対象物Ｓのうち上方を向く部分の表面状態をほぼ全体に渡って観察することができる。

次に、図１１（ｂ）に示すように、観察対象物Ｓに第１の方向性照明のみが照射され、観察対象物Ｓが撮像される。図１１（ｇ）に示すように、第１の方向性照明で撮像された観察対象物Ｓの画像ＳＩにおいては、対象部分画像ｓｐの一部に第１の出射方向および観察対象物Ｓの形状に応じて４５°の方位角の位置から２２５°の方位角の位置に向かう影ＳＨが発生する。それにより、観察対象物Ｓにおける凹凸部分が第１の出射方向に強く強調される。

次に、図１１（ｃ）に示すように、観察対象物Ｓに第２の方向性照明のみが照射され、観察対象物Ｓが撮像される。図１１（ｈ）に示すように、第２の方向性照明で撮像された観察対象物Ｓの画像ＳＩにおいては、対象部分画像ｓｐの一部に第２の出射方向および観察対象物Ｓの凹凸に応じて１３５°の方位角の位置から３１５°の方位角の位置に向かう影ＳＨが発生する。それにより、観察対象物Ｓにおける凹凸部分が第２の出射方向に強く強調される。

次に、図１１（ｄ）に示すように、観察対象物Ｓに第３の方向性照明のみが照射され、観察対象物Ｓが撮像される。図１１（ｉ）に示すように、第３の方向性照明で撮像された観察対象物Ｓの画像ＳＩにおいては、対象部分画像ｓｐの一部に第３の出射方向および観察対象物Ｓの凹凸に応じて２２５°の方位角の位置から４５°の方位角の位置に向かう影ＳＨが発生する。それにより、観察対象物Ｓにおける凹凸部分が第３の出射方向に強く強調される。

次に、図１１（ｅ）に示すように、観察対象物Ｓに第４の方向性照明のみが照射され、観察対象物Ｓが撮像される。図１１（ｊ）に示すように、第４の方向性照明で撮像された観察対象物Ｓの画像ＳＩにおいては、対象部分画像ｓｐの一部に第４の出射方向および観察対象物Ｓの凹凸に応じて３１５°の方位角の位置から１３５°の方位角の位置に向かう影ＳＨが発生する。それにより、観察対象物Ｓにおける凹凸部分が第４の出射方向に強く強調される。

上記の一連の動作は、後述するように図１の制御部４１０が記憶部４２０に記憶されたシステムプログラムを実行することにより自動的に行われるが、使用者の操作に基づいて手動で行われてもよい。

複数照明撮像が完了すると、図１の表示部４３０に観察画面が表示される。図１２は、観察画面の一表示例を示す図である。図１２に示すように、観察画面４３０Ａの上部に機能表示領域４３１が設定される。機能表示領域４３１には、深度合成ボタンｂ１、ＤＲ調整ボタンｂ２、連結ボタンｂ３および保存ボタンｂ７が表示される。

使用者は、図１の操作部４４０を用いて機能表示領域４３１に表示される各ボタンを操作することができる。深度合成ボタンｂ１、ＤＲ調整ボタンｂ２、連結ボタンｂ３および保存ボタンｂ７がそれぞれ操作されることにより実行される処理の内容については後述する。

図１２に示すように、機能表示領域４３１の下方に主表示領域４３２および副表示領域４３３が左右に並ぶように設定される。主表示領域４３２は、機能表示領域４３１および副表示領域４３３に比べて大きい面積を有する。初期状態では、直前の複数照明撮像により生成された複数の原画像データに基づく複数の画像ＳＩのうちの１つが主表示領域４３２のほぼ全体に渡って表示される。本例では、第１の方向性照明が照射されたときの観察対象物Ｓの画像ＳＩ（図１１（ｂ），（ｇ）参照）が主表示領域４３２に表示される。

副表示領域４３３には、出射方向指定欄４３３ａおよび出射方向表示欄４３３ｂが表示される。出射方向指定欄４３３ａには、載置面上の観察対象物Ｓの位置を示す対象物位置画像ｓｓ０が表示される。また、投光部１４０よりも上方の位置から観察対象物Ｓを見たときの観察対象物Ｓに対する光の出射位置を示す光アイコンｓｓ１が対象物位置画像ｓｓ０上に重畳表示される。

この場合、対象物位置画像ｓｓ０上の観察対象物Ｓの対象部分画像ｓｐと光アイコンｓｓ１との相対的な位置関係は、主表示領域４３２に表示される画像ＳＩを得るために観察対象物Ｓに照射されるべき光の出射方向（以下、光の仮想的な出射方向と呼ぶ。）に対応する。

使用者は、図１の操作部４４０を用いて図１２の光アイコンｓｓ１を対象物位置画像ｓｓ０上の観察対象物Ｓの対象部分画像ｓｐに対して相対的に移動させることにより、光の仮想的な出射位置を把握しつつ光の仮想的な出射方向を容易に指定することができる。

使用者により光の仮想的な出射方向が指定されることにより、主表示領域４３２に表示される観察対象物Ｓの画像ＳＩは、指定された出射方向の光が観察対象物Ｓに照射されたと仮定した場合に得られるべき観察対象物Ｓの画像ＳＩに更新される。画像ＳＩの更新処理は、図９のデータ生成部６１０により実行される。

出射方向表示欄４３３ｂには、載置面上の基準点を示す画像が基準点画像ｓｓ２として表示されるとともに、ステージ１２１上で基準点を覆う仮想的な半球の画像が半球画像ｓｓ３として立体的に表示される。半球画像ｓｓ３上には、光アイコンｓｓ１により指定される光の仮想的な出射方向に対応する光の出射位置を示す画像が出射位置画像ｓｓ４として表示される。

さらに、半球画像ｓｓ３上の出射位置画像ｓｓ４と基準点画像ｓｓ２とを結ぶように直線が表示される。この場合、直線上で出射位置画像ｓｓ４から基準点画像ｓｓ２に向かう方向が、光アイコンｓｓ１により指定される光の出射方向を示す。使用者は、出射方向表示欄４３３ｂに表示される基準点画像ｓｓ２、半球画像ｓｓ３および出射位置画像ｓｓ４を視認することにより、光アイコンｓｓ１により指定される光の仮想的な出射方向を容易かつ正確に認識することができる。

拡大観察装置１は、リング照明および第１〜第４の方向性照明のうちの一部のみを複数照明撮像に用いる照明として選択可能に構成されてもよい。リング照明および第１〜第４の方向性照明のうちの一部のみを用いて複数照明撮像が行われると、光アイコンｓｓ１により指定可能な出射方向の範囲が制限される場合がある。

この場合、半球画像ｓｓ３においては、出射方向指定欄４３３ａの光アイコンｓｓ１により指定可能な出射方向の範囲が指定不可能な出射方向の範囲から識別可能に表示されてもよい。例えば、指定可能な出射方向の範囲が特定の方位角の範囲に制限される場合、指定可能な方位角の範囲に対応する部分と指定不可能な方位角の範囲に対応する部分とで色等の表示態様を異ならせてもよい。それにより、使用者は、光アイコンｓｓ１により指定可能な出射方向の範囲を容易に認識することができる。あるいは、半球画像ｓｓ３は、上記の例に代えて、光アイコンｓｓ１により指定可能な出射方向の範囲のみを表示してもよい。

本例では、出射方向表示欄４３３ｂに、基準点を覆う仮想的な半球が半球画像ｓｓ３として立体的に表示されるが、本発明はこれに限定されない。出射方向表示欄４３３ｂには、基準点を覆う仮想的な半球を上方から見た平面半球画像と仮想的な半球を一側方から見た側面半球画像とが表示されてもよい。この場合、平面半球画像上に基準点画像ｓｓ２と出射位置画像ｓｓ４とが表示されてもよい。また側面半球画像上に基準点画像ｓｓ２と出射位置画像ｓｓ４とが表示されてもよい。

図１３は、光の仮想的な出射方向の指定に応答して観察対象物Ｓの画像ＳＩが更新されるときの処理内容を説明するための模式図である。

拡大観察装置１においては、図１２の副表示領域４３３に表示される対象物位置画像ｓｓ０について予め定められた平面座標系が定義されている。さらに、図１３（ａ）に示すように、図１２の対象物位置画像ｓｓ０上には、上記のリング照明ならびに第１、第２、第３および第４の出射方向にそれぞれ対応する光の出射位置を示す点ＰＡ，ＰＢ，ＰＣ，ＰＤ，ＰＥが予め設定されている。

点ＰＡ〜ＰＥの位置は、例えば投光部１４０とステージ１２１との相対的な位置関係に基づいて設定される。本例では、点ＰＡは、対象物位置画像ｓｓ０の中心に位置し、点ＰＢ，ＰＣ，ＰＤ，ＰＥは、点ＰＡを中心とする同心円上に等角度間隔で並ぶ。

制御部４１０は、予め定められた周期で光アイコンｓｓ１の対象物位置画像ｓｓ０上の位置（座標）を検出し、光アイコンｓｓ１の位置に対応する観察対象物Ｓの画像ＳＩを図１２の主表示領域４３２に表示させる。

例えば、制御部４１０は、光アイコンｓｓ１が図１３（ａ）の点ＰＡ上に位置する場合にリング出射方向に対応する図１１（ｆ）の画像ＳＩを図１２の主表示領域４３２に表示させる。また、制御部４１０は、光アイコンｓｓ１が図１３（ａ）の点ＰＢ上に位置する場合に第１の出射方向に対応する図１１（ｇ）の画像ＳＩを図１２の主表示領域４３２に表示させ、光アイコンｓｓ１が図１３（ａ）の点ＰＣ上に位置する場合に第２の出射方向に対応する図１１（ｈ）の画像ＳＩを図１２の主表示領域４３２に表示させる。さらに、制御部４１０は、光アイコンｓｓ１が図１３（ａ）の点ＰＤ上に位置する場合に第３の出射方向に対応する図１１（ｉ）の画像ＳＩを図１２の主表示領域４３２に表示させ、光アイコンｓｓ１が図１３（ａ）の点ＰＥ上に位置する場合に第４の出射方向に対応する図１１（ｊ）の画像ＳＩを図１２の主表示領域４３２に表示させる。

光アイコンｓｓ１が点ＰＡ〜ＰＥとは異なる位置にある場合、制御部４１０は、以下の手順に従って主表示領域４３２に表示させるべき観察対象物Ｓの画像ＳＩを生成する。

図１３（ａ）に示すように、制御部４１０は、光アイコンｓｓ１が点ＰＡ〜ＰＥとは異なる位置にある場合、各点ＰＡ〜ＰＥと光アイコンｓｓ１との間の距離を算出する。また、制御部４１０は、算出された距離の短い順に複数の点ＰＡ〜ＰＥから予め定められた数の点（本例では３つの点）を抽出する。図１３（ａ）の例では、光アイコンｓｓ１と点ＰＢとの間の距離ｄ１が最も短く、光アイコンｓｓ１と点ＰＡとの間の距離ｄ２が２番目に短く、光アイコンｓｓ１と点ＰＣとの間の距離ｄ３が３番目に短い。したがって、制御部４１０は点ＰＡ，ＰＢ，ＰＣを抽出する。

続いて、制御部４１０は、距離ｄ１，ｄ２，ｄ３に基づいて、点ＰＡに対応する原画像データと、点ＰＢに対応する原画像データと、点ＰＣに対応する原画像データとの合成割合を決定する。

合成割合は、例えば距離ｄ１，ｄ２，ｄ３の値の逆数の比である。この場合、合成割合は、光アイコンｓｓ１からの距離が短い点に対応する原画像データほど高くなり、光アイコンｓｓ１からの距離が遠い点に対応する原画像データほど低くなる。図１３（ｂ）の例では、点ＰＡに対応する原画像データ、点ＰＢに対応する原画像データおよび点ＰＣに対応する原画像データの合成割合が、それぞれ３０％、５０％および２０％として決定されている。

制御部４１０は、決定した合成割合に基づいて点ＰＡ，ＰＢ，ＰＣにそれぞれ対応する３つの原画像データを合成する。具体的には、制御部４１０は、原画像データごとにその原画像データの全画素データの値（画素値）に合成割合を乗算し、乗算後の３つの原画像データを合成することにより表示用画像データを生成する。その後、制御部４１０は、生成された表示用画像データに基づく画像ＳＩを図１２の主表示領域４３２に表示させる。

図１３（ｃ）に、図１３（ａ）の光アイコンｓｓ１の位置に対応して主表示領域４３２に表示される画像ＳＩの一例が示される。図１３（ｃ）の画像ＳＩにおいては、点ＰＡ，ＰＢ，ＰＣにそれぞれ対応する３つの原画像データが合成されることにより、観察対象物Ｓにおける凹凸部分が図１３（ａ）の光アイコンｓｓ１により指定される光の仮想的な出射方向に強く強調されている。

上記のように、主表示領域４３２に表示される画像ＳＩの画像データは、複数照明撮像の完了後、生成された複数の原画像データと使用者により指定された光の仮想的な出射方向とに基づいて生成される。そのため、使用者により指定される光の仮想的な出射方向が連続的に変化する場合であっても、指定された出射方向に対応する複数の画像データが、制御部４１０の処理能力に応じた速度でほぼ連続的に生成される。また、生成された複数の画像データに基づく画像ＳＩが連続的に表示される。したがって、照明の位置を変化させつつ継続して撮像を行った場合に得られる映像（動画）とほぼ同じ映像が主表示領域４３２上で擬似的に再現される。それにより、使用者は、光の仮想的な出射方向を指定しつつ主表示領域４３２上の画像ＳＩを視認することにより、指定された出射方向の光が観察対象物Ｓにリアルタイムに照射されているように感じる。

上記の例では、制御部４１０は、リング照明および第１〜第４の方向性照明に対応する点ＰＡ〜ＰＥのうち３つの点を抽出し、抽出された３つの点に対応する３つの原画像データの合成割合を決定するが、本発明はこれに限定されない。制御部４１０は、全ての点ＰＡ〜ＰＥにそれぞれ対応する５つの原画像データについて合成割合を決定し、決定された合成割合に基づいて５つの原画像データを合成してもよい。

なお、図１２の観察画面４３０Ａ上には、図１の操作部４４０により複数照明撮像により得られる複数の原画像データについての合成割合を入力可能な合成割合入力欄が表示されてもよい。この場合、制御部４１０は、使用者により合成割合入力欄に入力された値に基づいて複数の原画像データのうちの一部または全てを合成してもよい。

図１２の観察画面４３０Ａにおいては、副表示領域４３３に表示される対象物位置画像ｓｓ０上に光アイコンｓｓ１が重畳表示される。本実施の形態においては、対象物位置画像ｓｓ０上の光アイコンｓｓ１に加えて、主表示領域４３２に表示される画像ＳＩ上にも光アイコンｓｓ１が重畳表示されてもよい。図１４は、主表示領域４３２および副表示領域４３３にそれぞれ光アイコンｓｓ１が表示される例を示す図である。

この場合、観察対象物Ｓの画像ＳＩ上にも、上記の点ＰＡ〜ＰＥが設定される。使用者は、例えば図１の操作部４４０を用いて観察対象物Ｓの画像ＳＩ上の光アイコンｓｓ１および対象物位置画像ｓｓ０上の光アイコンｓｓ１のうちいずれか一方を観察画面４３０Ａ上で移動させることができる。

対象物位置画像ｓｓ０上の光アイコンｓｓ１が移動された場合、制御部４１０は、上記の図１３を用いて説明した例と同様の手順で表示用画像データを生成し、生成された表示用画像データに基づく画像ＳＩを主表示領域４３２に表示する。このとき、制御部４１０は、対象物位置画像ｓｓ０上の光アイコンｓｓ１の位置に対応する位置へ移動するように、画像ＳＩ上の光アイコンｓｓ１の位置を調整する。

観察対象物Ｓの画像ＳＩ上の光アイコンｓｓ１が移動された場合、制御部４１０は、画像ＳＩ上の光アイコンｓｓ１の位置と、画像ＳＩに設定された点ＰＡ〜ＰＥとの位置関係に基づいて表示用画像データを生成し、生成された表示用画像データに基づく画像ＳＩを主表示領域４３２に表示する。このとき、制御部４１０は、画像ＳＩ上の光アイコンｓｓ１の位置に対応する位置へ移動するように、対象物位置画像ｓｓ０上の光アイコンｓｓ１の位置を調整する。

図１４の例によれば、使用者は、２つの光アイコンｓｓ１のうち所望の光アイコンｓｓ１を用いて光の仮想的な出射方向を指定することができる。なお、図１４の例においては、２つの光アイコンｓｓ１は必ずしも同時に表示されなくてもよい。例えば、観察画面４３０Ａ上に表示される各種ボタンおよび光アイコンｓｓ１等がポインタにより操作される場合には、観察画面４３０Ａ上のポインタの位置に応じて２つの光アイコンｓｓ１のうちの一方の光アイコンｓｓ１のみが観察画面４３０Ａ上に表示されてもよい。具体的には、マウスポインタが主表示領域４３２上に位置する場合には、観察対象物Ｓの画像ＳＩ上の光アイコンｓｓ１のみが表示され、対象物位置画像ｓｓ０上の光アイコンｓｓ１が表示されなくてもよい。また、マウスポインタが副表示領域４３３上に位置する場合には、対象物位置画像ｓｓ０上の光アイコンｓｓ１のみが表示され、観察対象物Ｓの画像ＳＩ上の光アイコンｓｓ１が表示されなくてもよい。

なお、対象物位置画像ｓｓ０上の光アイコンｓｓ１は、マウスポインタの位置に関わらず表示されていてもよい。これにより、使用者は、光の仮想的な出射位置を容易に把握することができる。

表示部４３０に図１２の観察画面４３０Ａが表示された状態で、光アイコンｓｓ１により光の仮想的な出射方向が指定される場合の観察画面４３０Ａの変化について具体例を説明する。

図１５は、観察画面４３０Ａの他の表示例を示す図である。図１５では、以下の説明の理解を容易にするために、出射方向指定欄４３３ａに表示される対象物位置画像ｓｓ０上に図１３（ａ）の５つの点ＰＡ〜ＰＥを示している。

図１５の出射方向指定欄４３３ａに点線で示すように、例えば点ＰＢ〜ＰＥが並ぶ点ＰＡの同心円上で点ＰＢの位置から点ＰＢ，ＰＥの間の位置にかけて光アイコンｓｓ１が移動される。この場合、制御部４１０は、上記の例と同様に点ＰＡ〜ＰＥにそれぞれ対応する複数の原画像データのうちの一部の原画像データを合成することにより、表示用画像データを生成する。また、制御部４１０は、生成した表示用画像データに基づく観察対象物Ｓの画像ＳＩを主表示領域４３２に表示させる。

図１５の主表示領域４３２に表示される画像ＳＩにおいては、観察対象物Ｓにおける凹凸部分が出射方向指定欄４３３ａの光アイコンｓｓ１により指定される光の仮想的な出射方向に強く強調されている。

仮想的な光の出射方向は、方位角および仰角の成分を含む。本例では、点ＰＢ〜ＰＥが並ぶ点ＰＡの同心円上で光アイコンｓｓ１が移動される。使用者は、対象物位置画像ｓｓ０上で光アイコンｓｓ１を対象物位置画像ｓｓ０の中心に対して回転するように移動させることにより仮想的な光の出射方向の方位角を指定することができる。それにより、光の仮想的な出射方向の方位角が、光アイコンｓｓ１により指定された方位角に変更される。このように、使用者は、光アイコンｓｓ１を操作することにより、光の仮想的な出射方向の方位角を所望の方向に指定することができる。その結果、主表示領域４３２に表示される画像ＳＩにおいて、観察対象物Ｓにおける凹凸部分の強調される方向をθ方向に容易に変更することができる。

図１６は、観察画面４３０Ａのさらに他の表示例を示す図である。図１６においても、図１５の例と同様に、出射方向指定欄４３３ａに表示される対象物位置画像ｓｓ０上に、図１３（ａ）の５つの点ＰＡ〜ＰＥを示している。図１６の出射方向指定欄４３３ａに点線で示すように、光アイコンｓｓ１が図１５の出射方向指定欄４３３ａに示される位置から点ＰＡに近づくように移動される。この場合、制御部４１０は、上記の例と同様に点ＰＡ〜ＰＥにそれぞれ対応する複数の原画像データのうちの一部の原画像データを合成することにより、表示用画像データを生成する。また、制御部４１０は、生成した表示用画像データに基づく観察対象物Ｓの画像ＳＩを主表示領域４３２に表示させる。

図１６の主表示領域４３２に表示される画像ＳＩにおいては、観察対象物Ｓにおける凹凸部分が、図１５の主表示領域４３２に表示される画像ＳＩに比べて弱く強調されている。

本例では、点ＰＡを中心として点ＰＢ〜ＰＥが並ぶ同心円上から点ＰＡに向かって光アイコンｓｓ１が移動される。使用者は、対象物位置画像ｓｓ０上で光アイコンｓｓ１を対象物位置画像ｓｓ０の中心に対して近づけるまたは遠ざけることにより仮想的な光の出射方向の載置面からの仰角を指定することができる。それにより、光の仮想的な出射方向の載置面からの仰角が、光アイコンｓｓ１により指定された仰角に変更される。このように、使用者は、光アイコンｓｓ１を操作することにより、仮想的な光の出射方向の仰角を所望の角度に指定することができる。その結果、主表示領域４３２に表示される画像ＳＩにおいて、観察対象物Ｓにおける凹凸部分の強調される度合いを容易に変更することができる。

上記の例では、表示部４３０の観察画面４３０Ａ上に、表示用画像データに基づく画像ＳＩを表示するための主表示領域４３２と、光アイコンｓｓ１を操作するための副表示領域４３３とが設定される。それにより、観察対象物Ｓの画像ＳＩと光アイコンｓｓ１とが重ならない。したがって、観察対象物Ｓの画像ＳＩおよび光アイコンｓｓ１が視認しやすい。

使用者は、観察対象物Ｓの画像ＳＩについて光の仮想的な出射方向を所望の方向に指定した状態で、図１の操作部４４０を用いて図１２の保存ボタンｂ７を操作する。この場合、主表示領域４３２に表示される画像ＳＩの表示用画像データが、その表示用画像データに関する複数のデータとともに記憶部４２０に記憶される。複数のデータには、表示用画像データに関連する複数の原画像データ、撮像情報、照明情報およびレンズ情報等が含まれる。

上記の例では、複数照明撮像の完了後の初期状態で観察画面４３０Ａの主表示領域４３２に、直前の複数照明撮像により生成された複数の原画像データに基づく複数の画像ＳＩのうちの１つが表示されるが、本発明はこれに限定されない。拡大観察装置１においては、例えば複数照明撮像が開始される前に、予め初期状態で表示されるべき画像ＳＩに対応する仮想的な光の出射方向が指定可能であってもよい。あるいは、予め初期状態で表示されるべき画像ＳＩに対応する仮想的な光の出射方向は、拡大観察装置１の工場出荷時に予め製造業者により指定されていてもよい。
また、使用者の操作を受け付けるまで、複数照明撮像の完了後の初期状態で観察画面４３０Ａの主表示領域４３２に、画像ＳＩに対応する仮想的な光の出射方向が徐々に変化するように、画像ＳＩに対する出射方向が滑らかに変化する画像（動画）が表示されてもよい。

この場合、制御部４１０は、複数照明撮像が完了時に、予め指定された仮想的な光の出射方向と、複数照明撮像により生成された複数の原画像データとに基づいて指定された出射方向に対応する表示用画像データを生成する。また、制御部４１０は、生成された表示用画像データに基づく画像ＳＩを主表示領域４３２に表示させる。

（ｂ）複数照明撮像処理の一例
図２の記憶部４２０に記憶されるシステムプログラムは、複数照明撮像プログラムおよび表示用画像生成プログラムを含む。図２の制御部４１０は、複数照明撮像プログラムおよび表示用画像生成プログラムを実行することにより、複数照明撮像処理および表示用画像生成処理を行う。複数照明撮像処理および表示用画像生成処理により上記の一連の基本動作が実現される。これにより、使用者が熟練していない場合でも、原画像データを容易に生成することができる。

図１７は、複数照明撮像処理の一例を示すフローチャートである。複数照明撮像処理は、使用者による複数照明撮像の指示に応答して開始される。複数照明撮像処理が開始されると、制御部４１０は、予め設定された撮像条件に従ってリング照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ１０１）。撮像により生成された原画像データは記憶部４２０に記憶される。

次に、制御部４１０はｉを１に設定する（ステップＳ１０２）。ここで、ｉは複数の方向性照明の番号を示す。続いて、制御部４１０は、第ｉの方向性照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ１０３）。撮像により得られる原画像データは記憶部４２０に記憶される。

次に、制御部４１０は、ｉが４であるか否かを判定する（ステップＳ１０４）。ｉが４でない場合、制御部４１０は、ｉをｉ＋１に更新し（ステップＳ１０５）、ステップＳ１０３の処理に戻る。

ステップＳ１０４において、ｉが４である場合、制御部４１０は、複数の原画像データにそれぞれ対応する複数のサムネイル画像データを生成する（ステップＳ１０６）。生成された複数のサムネイル画像データは記憶部４２０に記憶される。それにより、複数照明撮像処理が終了する。

上記の説明において、表示部４３０にサムネイル画像を表示する必要がない場合にステップＳ１０６の処理が省略されてもよい。それにより、処理時間が短縮される。

また、上記の説明において、一部の処理が他の時点で行われてよい。例えば、ステップＳ１０１の処理は、ステップＳ１０２〜Ｓ１０５の処理よりも後に実行されてもよい。

（ｃ）表示用画像生成処理の一例
図１８および図１９は、表示用画像生成処理の一例を示すフローチャートである。本実施の形態においては、制御部４１０は、複数照明撮像処理の終了後に表示用画像生成処理を開始する。

制御部４１０は、まず複数照明撮像処理で生成された複数の原画像データのうち任意の原画像データに基づく観察対象物Ｓの画像ＳＩを表示部４３０の主表示領域４３２に表示させる（ステップＳ２０１）。また、制御部４１０は、対象物位置画像ｓｓ０および光アイコンｓｓ１を表示部４３０の出射方向指定欄４３３ａに表示させる（ステップＳ２０２）。さらに、制御部４１０は、基準点画像ｓｓ２、半球画像ｓｓ３および出射位置画像ｓｓ４を表示部４３０の出射方向表示欄４３３ｂに表示させる（ステップＳ２０３）。

その後、制御部４１０は、光アイコンｓｓ１が操作されたか否かを判定する（ステップＳ２０４）。光アイコンｓｓ１が操作されない場合、制御部４１０は、後述するステップＳ２１０の処理に進む。

光アイコンｓｓ１が操作されると、制御部４１０は、光アイコンｓｓ１の操作に応答して光アイコンｓｓ１および出射位置画像ｓｓ４の表示を更新する（ステップＳ２０５）。また、制御部４１０は、光アイコンｓｓ１の操作により光の仮想的な出射方向が指定されたと認識し（ステップＳ２０６）、指定された出射方向がリング出射方向または第１〜第４の出射方向のいずれかであるか否かを判定する（ステップＳ２０７）。ステップＳ２０７の判定処理は、対象物位置画像ｓｓ０上に設定される上記の点ＰＡ〜ＰＥと光アイコンｓｓ１との位置関係に基づいて実行される。

指定された出射方向がリング出射方向または第１〜第４の出射方向のいずれかである場合、制御部４１０は、指定された出射方向に対応する原画像データを表示用画像データとし、その表示用画像データに基づく観察対象物Ｓの画像ＳＩを表示部４３０の主表示領域４３２に表示させる（ステップＳ２０８）。その後、制御部４１０は、後述するステップＳ２１０の処理に進む。

ステップＳ２０７において、指定された出射方向がリング出射方向または第１〜第４の出射方向のいずれでもない場合、制御部４１０は、指定された出射方向に基づいて複数の原画像データの合成割合を算出する（ステップＳ２０９）。ステップＳ２０９の算出処理は、ステップＳ２０７の処理と同様に、対象物位置画像ｓｓ０上に設定される上記の点ＰＡ〜ＰＥと光アイコンｓｓ１との位置関係に基づいて実行される。

その後、制御部４１０は、ステップＳ２０９で算出された合成割合に基づいて複数の原画像データを合成することにより表示用画像データを生成し、その表示用画像データに基づく観察対象物Ｓの画像ＳＩを表示部４３０の主表示領域４３２に表示させる（ステップＳ２１０）。

本実施の形態においては、使用者は、図１の操作部４４０を操作することにより、観察対象物Ｓの観察の終了を指示することができる。制御部４１０は、ステップＳ２０９の処理後、観察対象物Ｓの観察の終了が指示されたか否かを判定する（ステップＳ２１１）。観察対象物Ｓの観察の終了が指示されると、制御部４１０は、表示用画像生成処理を終了する。一方、観察対象物Ｓの観察の終了が指示されない場合、制御部４１０は、ステップＳ２０４の処理に戻る。

図１８および図１９の表示用画像生成処理においては、制御部４１０は、ステップＳ２０９の処理中または処理後に、指定された仮想的な光の出射方向の方位角および仰角のうち少なくとも一方を算出してもよい。この場合、制御部４１０は、算出された方位角および仰角のうち少なくとも一方を表示部４３０に表示させてもよい。それにより、使用者は、指定した光の仮想的な出射方向についての情報を容易に認識することができる。

上記の表示用画像生成処理においては、ステップＳ２０１の処理で複数照明撮像処理で生成された複数の原画像データのうち任意の原画像データに基づく観察対象物Ｓの画像ＳＩが表示部４３０に表示されるが、本発明はこれに限定されない。ステップＳ２０１の処理において、制御部４１０は、任意の原画像データに代えて、予め定められた照明（例えばリング照明）に対応する原画像データに基づく画像ＳＩを表示部４３０に表示させてもよい。または、制御部４１０は、ステップＳ２０１の処理を省略してもよい。

上記の例では、表示用画像生成処理は、複数照明撮像処理の終了後に実行されるが、本発明はこれに限定されない。複数照明撮像処理が連続的または間欠的に一定周期で実行される場合、表示用画像生成処理は複数照明撮像処理と並行して実行されてもよい。この場合、直前の複数照明撮像処理により記憶部４２０に記憶される最新の複数の原画像データに基づいて表示用画像生成処理を実行することができる。

本実施の形態に係る拡大観察装置１においては、使用者は、図１の操作部４４０を用いて記憶部４２０に記憶された複数の原画像データの一部を指定することができる。この場合、制御部４１０は、使用者による原画像データの指定に応答し、指定された原画像データを読み込み、読み込んだ原画像データに基づく表示用画像生成処理を行ってもよい。

（３）深度合成処理
（ａ）処理内容
使用者は、図１の操作部４４０を用いて図１２の深度合成ボタンｂ１を操作することにより、図１の制御部４１０に深度合成処理の指示を与えることができる。

深度合成処理では、Ｚ方向における光の焦点位置の範囲および焦点位置の移動ピッチが深度合成処理用の撮像条件として予め設定されることが好ましい。この場合、図１の焦点駆動部１１３は過度に大きい範囲で光の焦点位置を変化させる必要がないので、複数の原画像データを高速に生成することができる。撮像条件は、例えば使用者による操作部４４０の操作に基づいて設定される。なお、Ｚ方向における光の焦点位置の範囲および焦点位置の移動ピッチは、撮像に用いられる対物レンズ１３１ａの倍率等に応じて自動的に設定されてもよい。以下の説明では、深度合成処理用の撮像条件は予め設定されているものとする。

図２０は、深度合成処理の概念図である。図２０（ａ）に、レンズユニット１３１と投光部１４０とステージ１２１との位置関係が示される。本例では、ステージ１２１が静止した状態で、レンズユニット１３１が投光部１４０と一体的にＺ方向に移動される。この場合、予め指定されたＺ方向における光の焦点位置の範囲および焦点位置の移動ピッチに基づいて、レンズユニット１３１（対物レンズ１３１ａ）が移動すべきＺ方向の位置Ｈ１〜Ｈｊ（ｊは自然数）が定まる。

深度合成処理では、レンズユニット１３１が位置Ｈ１〜Ｈｊの各々に位置決めされた状態でリング照明および第１〜第４の方向性照明を用いて観察対象物Ｓが撮像される。それにより、リング照明および第１〜第４の方向性照明を用いて位置Ｈ１〜Ｈｊにそれぞれ対応する複数（ｊ個）の原画像データが生成される。図２０（ｂ）に、位置Ｈ１〜Ｈｊにそれぞれ対応する観察対象物Ｓの複数の画像ＳＩが照明ごとに示される。

リング照明を用いた撮像により得られた複数の原画像データの各々について、画素ごとの合焦度が判定される。合焦度の判定結果に基づいて、複数の原画像データが選択的に合成される。それにより、リング照明が照射された観察対象物Ｓの全部分に合焦した深度合成画像データが生成される。また、各方向性照明に対応する複数の原画像データと後述するマスクイメージデータとに基づいて各方向性照明に対応する深度合成画像データが生成される。深度合成画像データに基づく画像を深度合成画像と呼ぶ。図２０（ｂ）に、リング照明および第１〜第４の方向性照明にそれぞれ対応する観察対象物Ｓの複数の深度合成画像ＳＦが示される。

制御部４１０は、複数の原画像データに代えて深度合成処理により生成された複数の深度合成画像データに基づいて表示用画像生成処理を実行する。それにより、使用者は、所望の方向から観察対象物Ｓに光が照射されたと仮定した場合に得られるべき観察対象物Ｓの深度合成画像ＳＦを表示部４３０に容易に表示させることができる。

上記の深度合成処理において、照明ごとに位置Ｈ１〜Ｈｊにそれぞれ対応する複数の原画像データが生成される。図１２の観察画面４３０Ａには、複数の原画像データの生成のみを指示するための操作ボタンが表示されてもよい。複数の原画像データの生成のみが指示された場合、制御部４１０は、複数の原画像データの生成のみを行った後、焦点のＺ方向の位置について使用者による指定を受け付け、指定されたＺ方向の位置に対応する複数の原画像データを用いて表示用画像生成処理を実行してもよい。

上記の深度合成処理においては、リング照明対応する深度合成画像データが生成される際にマスクイメージデータが生成され、生成されたマスクイメージデータを用いて第１〜第４の方向性照明にそれぞれ対応する複数の深度合成画像データが生成される。マスクイメージデータについて説明する。

鏡筒部１３０とステージ１２１とのＺ方向の位置を変化させつつ観察対象物Ｓを撮像する処理において生成された複数の原画像データの各々には、Ｚ方向における光の焦点位置Ｈ１〜Ｈｊに対応する番号が付与される。図９のデータ生成部６１０は、リング照明に対応する深度合成画像データの各画素と原画像データの番号との対応関係を示すマスクイメージデータを生成する。

図２１は、マスクイメージデータを視覚的に示す模式図である。図２１における小さい各正方形は、リング照明に対応する深度合成画像データの各画素データに相当する。また、各正方形に付与された番号は、当該正方形に対応する画素において、Ｚ方向における光の焦点位置Ｈ１〜Ｈｊのうち、どの位置で生成した画素データの画素値が最適であったか、つまり飽和せずに輝度値が最も高くなったのは光のどの焦点位置であるかというデータが抽出された原画像データの番号を示す。すなわち、図２１の例においては、最も左上の画素データは光の焦点位置Ｈ１２の原画像データから抽出され、最も右下の画素データは光の焦点位置Ｈ８５の原画像データから抽出されたことを示す。

データ生成部６１０は、生成したマスクイメージデータに基づいて、第１〜第４の方向性照明の各々に対応する深度合成画像データを生成する。この場合、図９の合焦判定部６２０は、第１〜第４の方向性照明の各々に対応する深度合成画像データを生成する際に、原画像データについて画素ごとの合焦度を判定する必要がない。これにより、深度合成処理を高速化することができる。

上記の説明においては、リング照明および第１〜第４の方向性照明ごとに深度合成画像データが先に生成され、生成された複数の深度合成画像データに基づいて表示用画像データが生成されるが、本発明はこれに限定されない。使用者により指定された光の仮想的な出射方向に基づいて、Ｚ方向の複数の位置Ｈ１〜Ｈｊにそれぞれ対応する複数の表示用画像データが生成され、生成された複数の表示用画像データに基づいて表示用の深度合成画像データが生成されてもよい。この場合、マスクイメージデータは不要である。

なお、上記説明においては、リング照明が出射されたときの画像データに基づいてマスクイメージデータが生成されたが、本発明はこれに限定されない。リング照明が出射されたときの画像データおよび方向性照明が出射されたときの画像データの各々に基づいてマスクイメージデータが生成されてもよい。また、方向性照明が出射されたときのマスクイメージデータは、複数の方向性照明ごとに生成されてもよい。この構成は、リング照明と方向性照明とで光量が異なること等により最適なＺ方向の位置が異なる場合に有用である。

（ｂ）深度合成処理の一例
図２の記憶部４２０に記憶されるシステムプログラムは、深度合成プログラムを含む。図２の制御部４１０は、深度合成プログラムを実行することにより、深度合成処理を行う。

図２２、図２３および図２４は、深度合成処理の一例を示すフローチャートである。制御部４１０は、レンズユニット１３１を下限位置に移動させる（ステップＳ３０１）。次に、制御部４１０は、投光部１４０によりリング照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ３０２）。また、制御部４１０は、生成された原画像データにレンズユニット１３１のＺ方向の位置に対応する番号を付与する（ステップＳ３０３）。続いて、制御部４１０は、レンズユニット１３１が上限位置まで移動したか否かを判定する（ステップＳ３０４）。

ステップＳ３０４において、レンズユニット１３１が上限位置まで移動していない場合、制御部４１０は、レンズユニット１３１を所定量（予め設定された移動ピッチ）だけ上方に移動させる（ステップＳ３０５）。その後、制御部４１０は、ステップＳ３０２の処理に戻る。レンズユニット１３１が上限位置まで移動するまで、制御部４１０はステップＳ３０２〜Ｓ３０５の処理を繰り返す。

ステップＳ３０４において、レンズユニット１３１が上限位置まで移動した場合、制御部４１０は、リング照明に対応する各原画像データについて、画素ごとの合焦度を判定する（ステップＳ３０６）。次に、制御部４１０は、合焦度の判定結果に基づいて複数の原画像データの画素データを合成することにより、リング照明に対応する深度合成画像データを生成する（ステップＳ３０７）。また、制御部４１０は、合成された画像データの各画素と原画像データの番号との対応関係を示すマスクイメージデータを生成し、記憶部４２０に記憶させる（ステップＳ３０８）。

その後、制御部４１０は、レンズユニット１３１を下限位置に移動させる（ステップＳ３０９）。次に、制御部４１０は、ｉを１に設定する（ステップＳ３１０）。ここで、ｉは複数の方向性照明の番号を示す。続いて、制御部４１０は、投光部１４０により第ｉの方向性照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ３１１）。また、制御部４１０は、生成された原画像データにレンズユニット１３１のＺ方向の位置に対応する番号を付与する（ステップＳ３１２）。続いて、制御部４１０は、レンズユニット１３１が上限位置まで移動したか否かを判定する（ステップＳ３１３）。

ステップＳ３１３において、レンズユニット１３１が上限位置まで移動していない場合、制御部４１０は、レンズユニット１３１を所定量（予め設定された移動ピッチ）だけ上方に移動させる（ステップＳ３１４）。その後、制御部４１０は、ステップＳ３１１の処理に戻る。レンズユニット１３１が上限位置まで移動するまで、制御部４１０はステップＳ３１１〜Ｓ３１４の処理を繰り返す。

ステップＳ３１３において、レンズユニット１３１が上限位置まで移動した場合、制御部４１０は、記憶部４２０に記憶されたマスクイメージデータに基づいて複数の原画像データの画素データを合成することにより、第ｉの方向性照明に対応する深度合成画像データを生成する（ステップＳ３１５）。

次に、制御部４１０は、ｉが４であるか否かを判定する（ステップＳ３１６）。ステップＳ３１６において、ｉが４でない場合、制御部４１０はｉをｉ＋１に更新する（ステップＳ３１７）。その後、制御部４１０は、レンズユニット１３１を下限位置に移動させ（ステップＳ３１８）、ステップＳ３１１の処理に戻る。ｉが４になるまで、制御部４１０はステップＳ３１１〜Ｓ３１８の処理を繰り返す。これにより、第１〜第４の方向性照明の各々に対応する複数の原画像データが生成されるとともに、第１〜第４の方向性照明の各々に対応する深度合成画像データが生成される。ステップＳ３１６において、ｉが４である場合、制御部４１０は処理を終了する。

上記の説明において、一部の処理が他の時点で行われてよい。例えば、ステップＳ３０６〜Ｓ３０８の処理は、ステップＳ３０９〜Ｓ３１４と並列的に実行されてもよい。また、第ｉの方向性照明に対応するステップＳ３１５の処理は、第（ｉ＋１）の方向性照明に対応するステップＳ３１１〜Ｓ３１４と並列的に実行されてもよい。これらの場合、深度合成処理を高速化することができる。

あるいは、ステップＳ３０６〜Ｓ３０８の処理は、ステップＳ３０９〜Ｓ３１４の処理よりも後に実行されてもよい。また、第ｉの方向性照明に対応するステップＳ３１５の処理は、第（ｉ＋１）の方向性照明に対応するステップＳ３１１〜Ｓ３１４の処理よりも後に実行されてもよい。

（ｃ）深度合成処理の他の例
図２５、図２６および図２７は、深度合成処理の他の例を示すフローチャートである。制御部４１０は、レンズユニット１３１を下限位置に移動させる（ステップＳ３２１）。次に、制御部４１０は、投光部１４０によりリング照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ３２２）。また、制御部４１０は、生成された原画像データにレンズユニット１３１のＺ方向の位置に対応する番号を付与する（ステップＳ３２３）。

続いて、制御部４１０は、ｉを１に設定する（ステップＳ３２４）。ここで、ｉは複数の方向性照明の番号を示す。その後、制御部４１０は、投光部１４０により第ｉの方向性照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ３２５）。また、制御部４１０は、生成された原画像データにレンズユニット１３１のＺ方向の位置に対応する番号を付与する（ステップＳ３２６）。次に、制御部４１０は、ｉが４であるか否かを判定する（ステップＳ３２７）。

ステップＳ３２７において、ｉが４でない場合、制御部４１０はｉをｉ＋１に更新する（ステップＳ３２８）。その後、制御部４１０はステップＳ３２５の処理に戻る。ｉが４になるまで、制御部４１０はステップＳ３２５〜Ｓ３２８の処理を繰り返す。これにより、第１〜第４の方向性照明の各々に対応する複数の原画像データが生成される。ステップＳ３２７において、ｉが４である場合、制御部４１０は、レンズユニット１３１が上限位置まで移動したか否かを判定する（ステップＳ３２９）。

ステップＳ３２９において、レンズユニット１３１が上限位置まで移動していない場合、制御部４１０は、レンズユニット１３１を所定量だけ上方に移動させる（ステップＳ３３０）。その後、制御部４１０は、ステップＳ３２２の処理に戻る。レンズユニット１３１が上限位置まで移動するまで、制御部４１０はステップＳ３２２〜Ｓ３３０の処理を繰り返す。

ステップＳ３２９において、レンズユニット１３１が上限位置まで移動した場合、制御部４１０は、リング照明に対応する各原画像データについて、画素ごとの合焦度を判定する（ステップＳ３３１）。次に、制御部４１０は、合焦度の判定結果に基づいて複数の原画像データの画素データを合成することにより、リング照明に対応する深度合成画像データを生成する（ステップＳ３３２）。また、制御部４１０は、合成された画像データの各画素と原画像データの番号との対応関係を示すマスクイメージデータを生成し、記憶部４２０に記憶させる（ステップＳ３３３）。

続いて、制御部４１０は、再度ｉを１に設定する（ステップＳ３３４）。その後、制御部４１０は、記憶部４２０に記憶されたマスクイメージデータに基づいて複数の原画像データの画素データを合成することにより、第ｉの方向性照明に対応する深度合成画像データを生成する（ステップＳ３３５）。

次に、制御部４１０は、ｉが４であるか否かを判定する（ステップＳ３３６）。ステップＳ３１６において、ｉが４でない場合、制御部４１０はｉをｉ＋１に更新する（ステップＳ３３７）。その後、制御部４１０はステップＳ３３５の処理に戻る。ｉが４になるまで、制御部４１０はステップＳ３３５〜Ｓ３３７の処理を繰り返す。これにより、第１〜第４の方向性照明の各々に対応する深度合成画像データが生成される。ステップＳ３３６において、ｉが４である場合、制御部４１０は処理を終了する。

上記の説明において、一部の処理が他の時点で行われてよい。例えば、ステップＳ３３１〜Ｓ３３７の処理の一部は、ステップＳ３２１〜Ｓ３３０と並列的に実行されてもよい。この場合、深度合成処理を高速化することができる。また、ステップＳ３２２，Ｓ３２３の処理は、ステップＳ３２４〜Ｓ３２８の処理よりも後に実行されてもよい。

上記の深度合成処理の一例および他の例においては、レンズユニット１３１が初期位置として下限位置に移動された後、上限位置まで所定量ずつ上方に移動されるが、本発明はこれに限定されない。深度合成処理においては、レンズユニット１３１が初期位置として上限位置に移動された後、下限位置まで所定量ずつ下方に移動されてもよい。

なお、上記の説明においては、深度合成処理として位置Ｈ１〜Ｈｊにそれぞれ対応する複数の原画像データが合成されるが、本発明はこれに限定されない。位置Ｈ１〜Ｈｊにそれぞれ対応する複数の原画像データが、合成されることなく独立に利用されてもよい。

例えば、図９の合焦判定部６２０による判定結果に基づいて、撮像部１３２の焦点が観察対象物Ｓの特定の部分に最も一致する原画像データが位置Ｈ１〜Ｈｊにそれぞれ対応する複数の原画像データから抽出されてもよい。この場合、リング照明および第１〜第４の方向性照明にそれぞれ対応して抽出された複数の原画像データに基づいて、全体的に合焦度が大きい画像を示す表示用画像データを高速に生成することができる。

（４）ＤＲ調整処理
（ａ）処理内容
使用者は、図１の操作部４４０を用いて図１２のＤＲ調整ボタンｂ２を操作することにより、演算処理部６００にＤＲ調整処理の指示を与えることができる。

ＤＲ調整処理においては、撮像部１３２の受光時間を予め定められた複数の値に変化させた状態で、リング照明および第１〜第４の方向性照明の各々が照射されたときの観察対象物Ｓが撮像される。これにより、リング照明および第１〜第４の方向性照明の各々に対応する複数の原画像データが、撮像部１３２の受光時間ごとに図９のデータ生成部６１０により生成される。撮像部１３２の受光時間が短いときに生成された各原画像データの全体的な画素値は比較的小さく撮像部１３２の受光時間が長いときに生成された各原画像データの全体的な画素値は比較的大きい。

リング照明に対応する複数の原画像データがデータ生成部６１０により合成される。これにより、リング照明に対応する原画像データのダイナミックレンジを調整することができる。同様に、各方向性照明に対応する複数の原画像データがデータ生成部６１０により合成される。これにより、各方向性照明に対応する原画像データのダイナミックレンジを調整することができる。

ここで、ダイナミックレンジの調整は、ダイナミックレンジの拡大および縮小を含む。ダイナミックレンジが拡大するように複数の原画像データを合成することにより、画像から黒つぶれおよびハレーション（白とび）を低減することができる。一方、ダイナミックレンジが縮小するように複数の原画像データを合成することにより、画像の濃淡の差が大きくなる。これにより、滑らかな表面を有する観察対象物Ｓの凹凸を精密に観察することができる。

上記の説明においては、リング照明および第１〜第４の方向性照明ごとにダイナミックレンジが調整されるように原画像データが先に合成され、合成された複数の原画像データに基づいて表示用画像データが生成されるが、本発明はこれに限定されない。撮像部１３２の受光時間ごとに複数の原画像データに基づいて表示用画像データが先に生成され、ダイナミックレンジが調整されるように撮像部１３２の受光時間ごとに生成された表示用画像データが合成されてもよい。

（ｂ）ＤＲ調整処理の一例
図２の記憶部４２０に記憶されるシステムプログラムは、ＤＲ調整プログラムを含む。図２の制御部４１０は、ＤＲ調整プログラムを実行することにより、ＤＲ調整処理を行う。

図２８および図２９は、ＤＲ調整処理の一例を示すフローチャートである。制御部４１０は、撮像部１３２の受光時間を予め定められた初期値に設定する（ステップＳ４０１）。この状態で、制御部４１０は、投光部１４０によりリング照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ４０２）。続いて、制御部４１０は、リング照明が照射された状態で、撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像されたか否かを判定する（ステップＳ４０３）。

ステップＳ４０３において、撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像されていない場合、制御部４１０は、撮像部１３２の受光時間を予め定められた次の値に設定する（ステップＳ４０４）。その後、制御部４１０は、ステップＳ４０２の処理に戻る。撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像されるまで、制御部４１０はステップＳ４０２〜Ｓ４０４の処理を繰り返す。

ステップＳ４０３において、撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像された場合、制御部４１０は、生成されたリング照明に対応する複数の原画像データを合成する（ステップＳ４０５）。これにより、リング照明に対応する原画像データのダイナミックレンジが調整される。

その後、制御部４１０は、ｉを１に設定する（ステップＳ４０６）。ここで、ｉは複数の方向性照明の番号を示す。次に、制御部４１０は、撮像部１３２の受光時間を予め定められた初期値に設定する（ステップＳ４０７）。この状態で、制御部４１０は、投光部１４０により第ｉの方向性照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ４０８）。続いて、制御部４１０は、第ｉの方向性照明が照射された状態で、撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像されたか否かを判定する（ステップＳ４０９）。

ステップＳ４０９において、撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像されていない場合、制御部４１０は、撮像部１３２の受光時間を予め定められた次の値に設定する（ステップＳ４１０）。その後、制御部４１０は、ステップＳ４０８の処理に戻る。撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像されるまで、制御部４１０はステップＳ４０８〜Ｓ４１０の処理を繰り返す。

ステップＳ４０９において、撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像された場合、制御部４１０は、生成された生成された第ｉの方向性照明に対応する複数の原画像データを合成する（ステップＳ４１１）。これにより、第ｉの方向性照明に対応する原画像データのダイナミックレンジが調整される。

次に、制御部４１０は、ｉが４であるか否かを判定する（ステップＳ４１２）。ステップＳ４１２において、ｉが４でない場合、制御部４１０はｉをｉ＋１に更新する（ステップＳ４１３）。その後、制御部４１０はステップＳ４０７の処理に戻る。ｉが４になるまで、制御部４１０はステップＳ４０７〜Ｓ４１３の処理を繰り返す。これにより、第１〜第４の方向性照明の各々に対応する複数の原画像データが生成され、ダイナミックレンジが調整されるように合成される。ステップＳ４１２において、ｉが４である場合、制御部４１０は処理を終了する。

上記の説明において、一部の処理が他の時点で行われてよい。例えば、ステップＳ４０５の処理は、ステップＳ４０６〜Ｓ４１３の処理と並列的に実行されてもよい。また、第ｉの方向性照明に対応するステップＳ４１１の処理は、第（ｉ＋１）の方向性照明に対応するステップＳ４０７〜Ｓ４１０と並列的に実行されてもよい。これらの場合、ＤＲ調整処理を高速化することができる。

あるいは、ステップＳ４０１〜Ｓ４０５の処理は、ステップＳ４０６〜Ｓ４１３の処理よりも後に実行されてもよい。また、第ｉの方向性照明に対応するステップＳ４１１の処理は、第（ｉ＋１）の方向性照明に対応するステップＳ４０７〜Ｓ４１０の処理よりも後に実行されてもよい。

（ｃ）ＤＲ調整処理の他の例
図３０および図３１は、ＤＲ調整処理の他の例を示すフローチャートである。制御部４１０は、撮像部１３２の受光時間を予め定められた初期値に設定する（ステップＳ４２１）。この状態で、制御部４１０は、投光部１４０によりリング照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ４２２）。

続いて、制御部４１０は、ｉを１に設定する（ステップＳ４２３）。ここで、ｉは複数の方向性照明の番号を示す。その後、制御部４１０は、投光部１４０により第ｉの方向性照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ４２４）。

次に、制御部４１０は、ｉが４であるか否かを判定する（ステップＳ４２５）。ステップＳ４２５において、ｉが４でない場合、制御部４１０はｉをｉ＋１に更新する（ステップＳ４２６）。その後、制御部４１０はステップＳ４２４の処理に戻る。ｉが４になるまで、制御部４１０はステップＳ４２４〜Ｓ４２６の処理を繰り返す。これにより、第１〜第４の方向性照明の各々に対応する複数の原画像データが生成される。続いて、制御部４１０は、撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像されたか否かを判定する（ステップＳ４２７）。

ステップＳ４２７において、撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像されていない場合、制御部４１０は、撮像部１３２の受光時間を予め定められた次の値に設定する（ステップＳ４２８）。その後、制御部４１０は、ステップＳ４２２の処理に戻る。撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像されるまで、制御部４１０はステップＳ４２２〜Ｓ４２８の処理を繰り返す。

ステップＳ４２７において、撮像部１３２の全ての所望の受光時間で観察対象物Ｓが撮像された場合、制御部４１０は、生成されたリング照明に対応する複数の原画像データをダイナミックレンジが調整されるように合成する（ステップＳ４２９）。これにより、リング照明に対応する原画像データのダイナミックレンジが調整される。

その後、制御部４１０は、再度ｉを１に設定する（ステップＳ４３０）。次に、制御部４１０は、生成された第ｉの方向性照明に対応する複数の原画像データを合成する（ステップＳ４３１）。これにより、第ｉの方向性照明に対応する原画像データのダイナミックレンジが調整される。続いて、制御部４１０は、ｉが４であるか否かを判定する（ステップＳ４３２）。

ステップＳ４３２において、ｉが４でない場合、制御部４１０はｉをｉ＋１に更新する（ステップＳ４３３）。その後、制御部４１０はステップＳ４３１の処理に戻る。ｉが４になるまで、制御部４１０はステップＳ４３１〜Ｓ４３３の処理を繰り返す。これにより、第１〜第４の方向性照明の各々に対応する複数の原画像データが、ダイナミックレンジが調整されるように合成される。ステップＳ４３２において、ｉが４である場合、制御部４１０は処理を終了する。

上記の説明において、一部の処理が他の時点で行われてよい。例えば、ステップＳ４２９〜Ｓ４３３の処理の一部は、ステップＳ４２１〜Ｓ４２８の処理と並列的に行われてもよい。この場合、ＤＲ調整処理を高速化することができる。また、ステップＳ４２２の処理は、ステップＳ４２３〜Ｓ４２６の処理よりも後に実行されてもよい。さらに、ステップＳ４２９の処理は、ステップＳ４３０〜Ｓ４３３の処理よりも後に実行されてもよい。

（５）連結処理
（ａ）処理内容
図１の撮像部１３２の１回の撮像により原画像データが生成される観察対象物Ｓの表面を単位領域と呼ぶ。図１のステージ１２１がＸ方向またはＹ方向に移動されつつ観察対象物Ｓが撮像されることにより、Ｘ方向またはＹ方向に隣り合う複数の原画像データが撮像部１３２により生成される。図９のデータ生成部６１０は、隣り合う複数の原画像データを連結することにより、単位領域よりも大きい観察対象物Ｓの領域を示す連結画像データを生成することができる。

図３２（ａ）〜（ｃ）は、連結画像データを視覚的に示す図である。リング照明および複数の方向性照明の各々に対応して連結画像データが生成される。図３２（ａ），（ｂ）は、リング照明および複数の方向性照明のうちのいずれか２つの照明にそれぞれ対応する連結画像データＣＧ１，ＣＧ２を示す。各連結画像データＣＧ１，ＣＧ２は、隣り合う複数の原画像データＯＧが連結されることにより生成される。隣り合う原画像データＯＧには、のりしろとなる重複部分が設けられる。図３２（ａ），（ｂ）においては、当該重複部分が点線で示される。

連結画像データＣＧ１，ＣＧ２を含む複数の連結画像データを合成することにより、表示用画像データを生成することができる。ここで、連結画像データごとに照明の照射位置および重複部分が異なることがある。この場合、図３２（ｃ）に示すように、複数の連結画像データのサイズが互いに一致しない。図３２（ｃ）においては、連結画像データＣＧ１，ＣＧ２がそれぞれ実線および一点鎖線で示される。このような場合、表示用画像データを正確に生成することが困難である。これを防止するため、本実施の形態においては、以下の連結処理が実行される。

使用者は、図１の操作部４４０を用いて図１２の連結ボタンｂ３を操作することにより、演算処理部６００に連結処理の指示を与えることができる。

図３３（ａ）〜（ｅ）は、連結処理を説明するための図である。図３３（ａ）〜（ｄ）に示すように、観察対象物Ｓにリング照明が照射されつつステージ１２１がＸ方向に順次移動される。ステージ１２１の移動は、観察対象物Ｓの所望の領域の全てが撮像されるまで繰り返される。この状態で、原画像データＯＧ１，ＯＧ２，ＯＧ３，ＯＧ４が撮像部１３２により順次生成される。図３３の例では、原画像データＯＧ１，ＯＧ２，ＯＧ３，ＯＧ４は、それぞれ実線、一点鎖線、点線および二点鎖線により図示される。

ステージ１２１は、隣り合う原画像データＯＧ１〜ＯＧ４の一部が互いに重複するように移動される。図３３の例では、原画像データＯＧ１，ＯＧ２間、原画像データＯＧ２，ＯＧ３間および原画像データＯＧ３，ＯＧ４間に重複部分ＯＬ１，ＯＬ２，ＯＬ３がそれぞれ形成される。重複部分ＯＬ１〜ＯＬ３は、隣り合う原画像データＯＧ１〜ＯＧ４を連結する際ののりしろとなる。

各原画像データＯＧ１〜ＯＧ４が生成されたときのステージ１２１の位置は、図９の位置算出部６３２により算出され、当該位置を示す位置情報が図２の記憶部４２０に記憶される。また、原画像データＯＧ１〜ＯＧ４間の重複部分ＯＬ１〜ＯＬ３を示す重複領域情報が記憶部４２０に記憶される。図９のデータ生成部６１０は、重複部分ＯＬ１〜ＯＬ３についてパターンマッチングを行うことにより隣り合う原画像データＯＧ１〜ＯＧ４を連結する。これにより、原画像データＯＧ１〜ＯＧ４が高い精度で連結される。

同様にして、観察対象物Ｓに各方向性照明が照射されつつステージ１２１がＸ方向に順次移動される。この状態で、Ｘ方向に隣り合う複数の原画像データが撮像部１３２により順次生成される。データ生成部６１０は、生成された各原画像データの位置を記憶部４２０に記憶された位置情報および重複領域情報に基づいて補正し、補正後の隣り合う原画像データを連結する。

この連結処理の手順によれば、各方向性照明に対応する隣り合う原画像データについて、パターンマッチングを行うことなく高い精度で連結することができる。また、パターンマッチングを行う必要がないので、連結処理を高速化することができる。さらに、各方向性照明に対応する連結後の画像データのサイズがリング照明に対応する連結後の画像データのサイズに一致する。これにより、複数の連結後の画像データを用いて単位領域よりも大きい観察対象物Ｓの領域を示す表示用画像データを容易に生成することができる。

上記の連結処理においては、複数の連結後の画像データが先に生成され、生成された複数の連結後の画像データを用いて単位領域よりも大きい観察対象物Ｓの領域を示す表示用画像データが生成されるが、本発明はこれに限定されない。ステージ１２１の複数の位置における表示用画像データが先に生成され、生成された複数の表示用画像データが連結されることにより単位領域よりも大きい観察対象物Ｓの領域を示す表示用画像データが生成されてもよい。この場合、複数の表示用画像データはパターンマッチングを用いて連結されることが好ましい。また、複数の表示用画像データは、リング照明が出射されたときの重複領域情報を用いて連結されることが好ましい。

（ｂ）連結処理の一例
図２の記憶部４２０に記憶されるシステムプログラムは、連結プログラムを含む。図２の制御部４１０は、連結プログラムを実行することにより、連結処理を行う。

図３４および図３５は、連結処理の一例を示すフローチャートである。制御部４１０は、ステージ１２１を初期位置に移動させる（ステップＳ５０１）。また、制御部４１０は、移動後のステージ１２１の位置を算出し、当該位置を示す位置情報を記憶部４２０に記憶させる（ステップＳ５０２）。次に、制御部４１０は、投光部１４０によりリング照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ５０３）。続いて、制御部４１０は、リング照明が照射された状態で観察対象物Ｓの所望の領域の全てが撮像されたか否かを判定する（ステップＳ５０４）。

ステップＳ５０４において、観察対象物Ｓの所望の領域の全てが撮像されていない場合、制御部４１０は、ステージ１２１を所定量だけ移動させる（ステップＳ５０５）。その後、制御部４１０は、ステップＳ５０２の処理に戻る。観察対象物Ｓの所望の領域の全てが撮像されるまで、制御部４１０はステップＳ５０２〜Ｓ５０５の処理を繰り返す。

ステップＳ５０４において、観察対象物Ｓの所望の領域の全てが撮像された場合、制御部４１０は生成されたリング照明に対応する複数の原画像データを連結する（ステップＳ５０６）。また、制御部４１０は、隣り合う原画像データを連結した際の重複領域を示す重複領域情報を記憶部４２０に記憶させる（ステップＳ５０７）。

その後、制御部４１０は、ステージ１２１を初期位置に移動させる（ステップＳ５０８）。次に、制御部４１０は、ｉを１に設定する（ステップＳ５０９）。ここで、ｉは複数の方向性照明の番号を示す。続いて、制御部４１０は、投光部１４０により第ｉの方向性照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ５１０）。続いて、制御部４１０は、第ｉの方向性照明が照射された状態で観察対象物Ｓの所望の領域の全てが撮像されたか否かを判定する（ステップＳ５１１）。

ステップＳ５１１において、観察対象物Ｓの所望の領域の全てが撮像されていない場合、制御部４１０は、ステージ１２１を所定量だけ移動させる（ステップＳ５１２）。その後、制御部４１０は、ステップＳ５１０の処理に戻る。観察対象物Ｓの所望の領域の全てが撮像されるまで、制御部４１０はステップＳ５１０〜Ｓ５１２の処理を繰り返す。

ステップＳ５１１において、観察対象物Ｓの所望の領域の全てが撮像された場合、制御部４１０は、記憶部４２０に記憶された位置情報および重複領域情報に基づいて、生成された第ｉの方向性照明に対応する複数の原画像データの位置を補正する（ステップＳ５１３）。また、制御部４１０は、補正された複数の原画像データを連結する（ステップＳ５１４）。

次に、制御部４１０は、ｉが４であるか否かを判定する（ステップＳ５１５）。ステップＳ５１５において、ｉが４でない場合、制御部４１０はｉをｉ＋１に更新する（ステップＳ５１６）。その後、制御部４１０はステップＳ５１０の処理に戻る。ｉが４になるまで、制御部４１０はステップＳ５１０〜Ｓ５１６の処理を繰り返す。これにより、第１〜第４の方向性照明の各々に対応する複数の原画像データが生成され、記憶部４２０に記憶された位置情報および重複領域情報に基づいて連結される。ステップＳ５１５において、ｉが４である場合、制御部４１０は処理を終了する。

上記の説明において、一部の処理が他の時点で行われてよい。例えば、ステップＳ５０６，Ｓ５０７の処理は、ステップＳ５０８〜Ｓ５１２と並列的に実行されてもよい。また、第ｉの方向性照明に対応するステップＳ５１３，Ｓ５１４の処理は、第（ｉ＋１）の方向性照明に対応するステップＳ５１０〜Ｓ５１２と並列的に実行されてもよい。これらの場合、連結処理を高速化することができる。

あるいは、ステップＳ５０６，Ｓ５０７の処理は、ステップＳ５０８〜Ｓ５１２の処理よりも後に実行されてもよい。また、第ｉの方向性照明に対応するステップＳ５１３，Ｓ５１４の処理は、第（ｉ＋１）の方向性照明に対応するステップＳ５１０〜Ｓ５１２の処理よりも後に実行されてもよい。

（ｃ）連結処理の他の例
図３６および図３７は、連結処理の他の例を示すフローチャートである。制御部４１０は、ステージ１２１を初期位置に移動させる（ステップＳ５２１）。また、制御部４１０は、移動後のステージ１２１の位置を算出し、当該位置を示す位置情報を記憶部４２０に記憶させる（ステップＳ５２２）。次に、制御部４１０は、投光部１４０によりリング照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ５２３）。

続いて、制御部４１０は、ｉを１に設定する（ステップＳ５２４）。ここで、ｉは複数の方向性照明の番号を示す。その後、制御部４１０は、投光部１４０により第ｉの方向性照明を観察対象物Ｓに照射するとともに、撮像部１３２により観察対象物Ｓを撮像する（ステップＳ５２５）。次に、制御部４１０は、ｉが４であるか否かを判定する（ステップＳ５２６）。

ステップＳ５２６において、ｉが４でない場合、制御部４１０はｉをｉ＋１に更新する（ステップＳ５２７）。その後、制御部４１０はステップＳ５２５の処理に戻る。ｉが４になるまで、制御部４１０はステップＳ５２５〜Ｓ５２７の処理を繰り返す。これにより、第１〜第４の方向性照明の各々に対応する複数の原画像データが生成される。ステップＳ５２６において、ｉが４である場合、制御部４１０は、観察対象物Ｓの所望の領域の全てが撮像されたか否かを判定する（ステップＳ５２８）。

ステップＳ５２８において、観察対象物Ｓの所望の領域の全てが撮像されていない場合、制御部４１０は、ステージ１２１を所定量だけ移動させる（ステップＳ５２９）。その後、制御部４１０は、ステップＳ５２２の処理に戻る。観察対象物Ｓの所望の領域の全てが撮像されるまで、制御部４１０はステップＳ５２２〜Ｓ５２８の処理を繰り返す。

ステップＳ５２８において、観察対象物Ｓの所望の領域の全てが撮像された場合、制御部４１０は、制御部４１０は生成されたリング照明に対応する複数の原画像データを連結する（ステップＳ５３０）。また、制御部４１０は、隣り合う原画像データを連結した際の重複領域を示す重複領域情報を記憶部４２０に記憶させる（ステップＳ５３１）。

続いて、制御部４１０は、再度ｉを１に設定する（ステップＳ５３２）。その後、制御部４１０は、記憶部４２０に記憶された位置情報および重複領域情報に基づいて、生成された第ｉの方向性照明に対応する複数の原画像データの位置を補正する（ステップＳ５３３）。また、制御部４１０は、補正された複数の原画像データを連結する（ステップＳ５３４）。次に、制御部４１０は、ｉが４であるか否かを判定する（ステップＳ５３５）。

ステップＳ５３５において、ｉが４でない場合、制御部４１０はｉをｉ＋１に更新する（ステップＳ５３６）。その後、制御部４１０はステップＳ５３３の処理に戻る。ｉが４になるまで、制御部４１０はステップＳ５３３〜Ｓ５３６の処理を繰り返す。これにより、第１〜第４の方向性照明の各々に対応する複数の原画像データが、記憶部４２０に記憶された位置情報および重複領域情報に基づいて連結される。ステップＳ５３５において、ｉが４である場合、制御部４１０は処理を終了する。

上記の説明において、一部の処理が他の時点で行われてよい。例えば、ステップＳ５３０〜Ｓ５３６の処理の一部は、ステップＳ５２１〜Ｓ５２９の処理と並列的に実行されてもよい。この場合、連結処理を高速化することができる。また、ステップＳ５２３の処理は、ステップＳ５２４〜Ｓ５２７の処理よりも後に実行されてもよい。

（６）効果
本実施の形態に係る拡大観察装置１においては、投光部１４０からリング照明および複数の方向性照明が観察対象物Ｓに照射される。リング照明および複数の方向性照明の出射方向は互いに異なる。そのため、使用者は、出射方向を任意に指定することにより、実際に観察対象物Ｓに照射する光の出射方向を変更することなく、観察対象物Ｓの形状および材質に応じた適切な出射方向の光が観察対象物Ｓに照射されたときの画像を示す表示用画像データを生成することができる。これにより、使用者の要求に応じた観察対象物Ｓの画像を容易に取得することができる。

また、表示用画像データは、観察対象物Ｓの表面に設定された複数の単位領域の画像を示す複数の原画像データが連結されることにより生成されるので、使用者は１つの単位領域よりも大きい画像を観察することができる。さらに、表示用画像データは、既に生成されたリング照明または方向性照明に対応する原画像データを用いて生成可能であるので、観察対象物Ｓの撮像を再度行う必要がない。したがって、使用者の負担を低減することができる。

［２］第２の実施の形態
本発明の第２の実施の形態に係る拡大観察装置について、第１の実施の形態に係る拡大観察装置１と異なる点を説明する。図３８は、本発明の第２の実施の形態に係る拡大観察装置の構成を示す模式図である。図３８に示すように、本実施の形態に係る拡大観察装置１においては、測定ヘッド１００は投光部１６０をさらに含む。投光部１６０は、ハーフミラー１６１を有する。

レンズユニット１３１は、内部に投光部１６０を保持可能に構成される。投光部１６０は、ハーフミラー１６１の反射面が斜め下方を向くように対物レンズ１３１ａの光軸Ａ１に対して約４５°傾斜する状態で、レンズユニット１３１内に配置される。投光部１６０は、ファイバユニット２０１の図示しない一部の光ファイバにより処理装置２００の光生成部３００に光学的に接続される。

光生成部３００の遮光部３２０は、図３の投光部１４０の領域１４０Ａ〜１４０Ｄにそれぞれ対応する複数の開口パターンを有するとともに、投光部１６０に対応する開口パターンを有する。図２の投光制御部５１０は、光を通過させる遮光部３２０の開口パターンを切り替えることにより、第１の実施の形態と同様に投光部１４０に光を入射可能であるとともに、投光部１６０に光を入射可能である。投光部１４０に入射した光の挙動は、第１の実施の形態における投光部１４０に入射した光の挙動と同様である。

投光部１６０に入射した光は、ハーフミラー１６１で反射されることにより対物レンズ１３１ａの光軸Ａ１に沿って下方に出射され、観察対象物Ｓに照射される。投光部１６０から出射される光を同軸落射照明と呼ぶ。観察対象物Ｓに照射された光は上方に反射され、投光部１６０のハーフミラー１６１およびレンズユニット１３１を透過して撮像部１３２に導かれる。

上記の構成によれば、投光部１６０は、投光部１４０よりも対物レンズ１３１ａの光軸Ａ１に近い位置から観察対象物Ｓに光を照射可能である。したがって、同軸落射照明は対物レンズ１３１ａの光軸Ａ１と平行な方向に出射される明視野照明となり、リング照明は対物レンズ１３１ａの光軸Ａ１に対して傾斜した方向に照射される暗視野照明となる。同軸落射照明を観察対象物Ｓに照射することにより、観察対象物Ｓの表面の凹凸および素材の違いをより鮮明に撮像することができる。なお、投光部１４０，１６０から同時に光を観察対象物Ｓに照射することも可能である。

図２の撮像制御部５２０は、同軸落射照明の照射時における撮像部１３２の受光時間、ゲインおよびタイミング等を制御する。本実施の形態では、同軸落射照明の照射は、リング照明および第１〜第４の方向性照明の照射よりも後に行われる。撮像制御部５２０は、先に生成されたリング照明に対応する原画像データの平均輝度値に基づいて自動露出を行うことにより、同軸落射照明の照射時における受光時間を調整する。同軸落射照明の照射時における受光時間は、使用者により所望の値に調整されてもよい。

撮像部１３２は、同軸落射照明が観察対象物Ｓに照射されたときの観察対象物Ｓを示す原画像データをさらに生成する。生成された同軸落射照明に対応する原画像データは、記憶部４２０に記憶される。また、同軸落射照明の照射の実行の有無および同軸落射照明の照射時における受光時間等の撮像条件をさらに示す撮像情報が記憶部４２０に記憶される。

図９のデータ生成部６１０は、記憶部４２０に記憶されたリング照明および方向性照明にそれぞれ対応する原画像データに加えて、同軸落射照明に対応する原画像データにさらに基づいて表示用画像データを生成する。具体的には、データ生成部６１０は、リング照明、方向性照明および同軸落射照明にそれぞれ対応する複数の原画像データの一部または全部を、使用者により指定された照明条件により定まる割合で合成する。生成された表示用画像データは、記憶部４２０に記憶される。

本実施の形態に係る複数照明撮像処理では、リング照明および第１〜第４の方向性照明を用いた観察対象物Ｓの撮像後に同軸落射照明を用いて観察対象物Ｓが撮像される。それにより、リング照明、第１〜第４の方向性照明および同軸落射照明にそれぞれ対応する複数（本例では６つ）の原画像データが生成される。

複数照明撮像処理が完了すると、表示部４３０に観察画面４３０Ａが表示される。図３９は、第２の実施の形態に係る複数照明撮像処理後の観察画面４３０Ａの一表示例を示す図である。図３９に示すように、機能表示領域４３１に、上記の複数のボタンｂ１〜ｂ７に加えて落射ボタンｂ１１が表示される。

使用者は、操作部４４０を用いて落射ボタンｂ１１を操作する。それにより、使用者は、同軸落射照明に対応する原画像データを用いて表示用画像データを生成すべきことを指示することができる。

同軸落射照明に対応する原画像データを用いることが指示されると、副表示領域４３３に、同軸落射照明に対応する原画像データの他の原画像データに対する合成割合（以下、落射画像割合と呼ぶ。）を指定するためのバー４３３ｃおよびスライダ４３３ｄが表示される。

使用者は、スライダ４３３ｄを操作することにより、落射画像割合を指定することができる。図３９の例では、スライダ４３３ｄがバー４３３ｃの左端に近づくにつれて落射画像割合が高く指定され、スライダ４３３ｄがバー４３３ｃの右端に近づくにつれて落射画像割合が低く指定される。

落射画像割合が指定されると、制御部４１０は、表示用画像生成処理における図１９のステップＳ２０９の処理で、指定された出射方向に加えて指定された落射画像割合に基づいて複数の原画像データの合成割合を算出する。

例えば、制御部４１０は、まず指定された出射方向に基づいてリング照明および第１〜第４の方向性照明の各々に対応する原画像データの合成割合を算出する。その後、制御部４１０は、指定された落射画像割合がｔ（ｔは０から１００までの数）％である場合に、リング照明および第１〜第４の方向性照明の複数の合成割合の合計が（１００−ｔ）％となるように、リング照明および第１〜第４の方向性照明の各々に対応する原画像データの合成割合を修正する。

上記のように算出された複数の合成割合に基づいて複数の原画像データが合成されることにより表示用画像データが生成され、同軸落射照明に対応する原画像データの成分を含む観察対象物Ｓの画像ＳＩが主表示領域４３２に表示される。

同軸落射照明に対応する原画像データの画像ＳＩによれば、リング照明および第１〜第４の方向性照明の各々に対応する原画像データの画像ＳＩに比べて、観察対象物Ｓの表面の凹凸および素材の違いをより正確に観察することができる。

したがって、使用者は、図３９の落射ボタンｂ１１およびスライダ４３３ｄを操作することにより、観察の目的に応じた観察対象物Ｓの画像ＳＩを容易に取得することができる。

［３］第３の実施の形態
本発明の第３の実施の形態に係る拡大観察装置について、第１の実施の形態に係る拡大観察装置１と異なる点を説明する。図４０は、本発明の第３の実施の形態に係る拡大観察装置の構成を示す模式図である。図４０に示すように、本実施の形態に係る拡大観察装置１においては、測定ヘッド１００は投光部１７０をさらに含む。投光部１７０は、ミラー１７１を有する。また、拡大観察装置１はファイバユニット２０４をさらに含む。ファイバユニット２０４は、図示しない複数の光ファイバを含む。投光部１７０は、スタンド部１１０の設置部１１１に内蔵されていてもよい。

スタンド部１１０の設置部１１１は、内部に投光部１７０を保持可能に構成される。投光部１７０は、ミラー１７１の反射面が斜め上方を向くように対物レンズ１３１ａの光軸Ａ１に対して約４５°傾斜する状態で、設置部１１１内に配置される。これにより、投光部１７０は、観察対象物Ｓおよびステージ１２１を挟んで鏡筒部１３０と対向する。投光部１７０は、ファイバユニット２０１の図示しない一部の光ファイバにより処理装置２００の光生成部３００に光学的に接続される。

光生成部３００の遮光部３２０は、図３の投光部１４０の領域１４０Ａ〜１４０Ｄにそれぞれ対応する複数の開口パターンを有するとともに、投光部１７０に対応する開口パターンを有する。図２の投光制御部５１０は、光を通過させる遮光部３２０の開口パターンを切り替えることにより、第１の実施の形態と同様に投光部１４０に光を入射可能であるとともに、投光部１７０に光を入射可能である。投光部１４０に入射した光の挙動は、第１の実施の形態における投光部１４０に入射した光の挙動と同様である。

投光部１７０に入射した光は、ミラー１７１で反射されることにより対物レンズ１３１ａの光軸Ａ１に沿って上方に出射され、ステージ１２１上の観察対象物Ｓに照射される。投光部１７０から出射される光を透過照明と呼ぶ。観察対象物Ｓに照射された光は上方に透過し、レンズユニット１３１を透過して撮像部１３２に導かれる。透過照明を観察対象物Ｓに照射することにより、観察対象物Ｓの内部の構造を撮像することができる。

撮像部１３２は、透過照明が観察対象物Ｓに照射されたときの観察対象物Ｓを示す原画像データをさらに生成する。生成された透過照明に対応する原画像データは、記憶部４２０に記憶される。また、透過照明の照射の実行の有無および透過照明の照射時における受光時間等の撮像条件をさらに示す撮像情報が記憶部４２０に記憶される。

図９のデータ生成部６１０は、記憶部４２０に記憶されたリング照明および方向性照明にそれぞれ対応する原画像データに加えて、透過照明に対応する原画像データにさらに基づいて表示用画像データを生成する。具体的には、データ生成部６１０は、リング照明、方向性照明および透過照明にそれぞれ対応する複数の原画像データの一部または全部を、使用者により指定された照明条件により定まる割合で合成する。生成された表示用画像データは、記憶部４２０に記憶される。

図４０の測定ヘッド１００は同軸落射照明を出射する投光部１６０を含まないが、本発明はこれに限定されない。図４０の測定ヘッド１００は、図３８の投光部１６０と同様の投光部１６０を含んでもよい。この場合、リング照明、方向性照明、同軸落射照明および透過照明にそれぞれ対応する原画像データに基づいて表示用画像データが生成される。

本実施の形態に係る複数照明撮像処理では、リング照明および第１〜第４の方向性照明を用いた観察対象物Ｓの撮像後に透過照明を用いて観察対象物Ｓが撮像される。それにより、リング照明、第１〜第４の方向性照明および透過照明にそれぞれ対応する複数（本例では６つ）の原画像データが生成される。

複数照明撮像処理が完了すると、表示部４３０に観察画面４３０Ａが表示される。図４１は、第３の実施の形態に係る複数照明撮像処理後の観察画面４３０Ａの一表示例を示す図である。図４１に示すように、機能表示領域４３１に、上記の複数のボタンｂ１〜ｂ７に加えて透過ボタンｂ１２が表示される。

使用者は、操作部４４０を用いて透過ボタンｂ１２を操作する。それにより、使用者は、透過照明に対応する原画像データを用いて表示用画像データを生成すべきことを指示することができる。

透過照明に対応する原画像データを用いることが指示されると、副表示領域４３３に、透過照明に対応する原画像データの他の原画像データに対する合成割合（以下、透過画像割合と呼ぶ。）を指定するためのバー４３３ｅおよびスライダ４３３ｆが表示される。

使用者は、スライダ４３３ｆを操作することにより、透過画像割合を指定することができる。図４１の例では、スライダ４３３ｆがバー４３３ｅの左端に近づくにつれて透過画像割合が高く指定され、スライダ４３３ｆがバー４３３ｅの右端に近づくにつれて透過画像割合が低く指定される。

透過画像割合が指定されると、制御部４１０は、表示用画像生成処理における図１９のステップＳ２０９の処理で、指定された出射方向に加えて指定された透過画像割合に基づいて複数の原画像データの合成割合を算出する。

例えば、制御部４１０は、まず指定された出射方向に基づいてリング照明および第１〜第４の方向性照明の各々に対応する原画像データの合成割合を算出する。その後、制御部４１０は、指定された透過画像割合がｕ（ｕは０から１００までの数）％である場合に、リング照明および第１〜第４の方向性照明の複数の合成割合の合計が（１００−ｕ）％となるように、リング照明および第１〜第４の方向性照明の各々に対応する原画像データの合成割合を修正する。

上記のように算出された複数の合成割合に基づいて複数の原画像データが合成されることにより表示用画像データが生成され、透過照明に対応する原画像データの成分を含む観察対象物Ｓの画像ＳＩが主表示領域４３２に表示される。観察対象物Ｓが光を透過する材料で形成されている場合、透過照明に対応する原画像データの画像ＳＩには、観察対象物Ｓの内部構造が鮮明に表れる。

したがって、使用者は、図４１の透過ボタンｂ１２およびスライダ４３３ｆを操作することにより、観察の目的に応じた観察対象物Ｓの画像ＳＩを容易に取得することができる。

上記のように、図４０の測定ヘッド１００が図３８の投光部１６０を含む場合には、複数照明撮像処理において、リング照明、方向性照明、同軸落射照明および透過照明にそれぞれ対応する複数の原画像データが生成されてもよい。この場合、観察画面４３０Ａにおいて、図３９の落射ボタンｂ１１、バー４３３ｃおよびスライダ４３３ｄと図４１の透過ボタンｂ１２、バー４３３ｅおよびスライダ４３３ｆとが同時に表示されてもよい。それにより、主表示領域４３２に表示される観察対象物Ｓの画像ＳＩについて調整の自由度が向上する。

［４］他の実施の形態
（１）上記実施の形態において、複数の照明にそれぞれ対応する複数の原画像データが生成された後、使用者により指定された照明条件に応じて、複数の原画像データに基づいて表示用画像データが生成されるが、本発明はこれに限定されない。使用者により照明条件が先に指定されてもよい。この場合、指定された照明条件に基づいて生成すべき表示用画像データを生成するために必要な原画像データが決定する。

そこで、本実施の形態においては、必要な原画像データに対応する照明のみが観察対象物に照射される。これにより、当該必要な原画像データのみが生成される。この構成によれば、他の照明が観察対象物Ｓに照射されず、不要な原画像データが生成されない。これにより、表示用画像データを高速に生成することができる。

（２）上記実施の形態において、投光部１４０の領域１４０Ａ〜１４０Ｄが対物レンズ１３１ａの光軸Ａ１を中心に回転対称に配置されることが好ましいが、本発明はこれに限定されない。投光部１４０の領域１４０Ａ〜１４０Ｄは、対物レンズ１３１ａの光軸Ａ１を中心に回転対称に配置されなくてもよい。

（３）上記実施の形態において、複数の原画像データが合成されることにより表示用画像データが生成される場合には、複数の原画像データの１つがリング照明に対応する原画像データであることが好ましいが、本発明はこれに限定されない。リング照明に対応する原画像データが合成に用いられず、方向性照明、同軸落射照明および透過照明にそれぞれ対応する複数の原画像データの一部または全部が合成されることにより表示用画像データが生成されてもよい。

（４）上記実施の形態において、複数の原画像データが合成されることにより表示用画像データが生成されるが、本発明はこれに限定されない。生成された複数の原画像データのうちの１つが選択されることにより表示用画像データが生成されてもよい。この構成においては、より多数の原画像データが生成されることが好ましい。この場合、より正確な表示用画像データを生成することができる。したがって、より多数の原画像データを生成可能にするため、より多数の光出射領域が設けられてもよいし、より多数の位置から光を出射可能に光出射部材が設けられてもよい。あるいは、単一の光出射部材が複数の出射位置に移動可能に設けられてもよい。

（５）上記実施の形態において、投光部１４０は円筒形状を有するが、本発明はこれに限定されない。投光部１４０は円筒形状以外の他の形状を有してもよい。図４２は、投光部１４０の変形例を示す模式図である。図４２の例では、投光部１４０は、例えば半球形状を有し、投光部１４０の内面の任意の位置から観察対象物に複数の出射方向の光を照射可能に複数の光源１４２ａが設けられる。この場合、複数の原画像データを合成することなく、単一の原画像データにより表示用画像データを生成することが容易になる。この構成においては、各出射方向の光の光量を個別に調整可能であることがより好ましい。

（６）上記実施の形態において、表示用画像生成処理においては、使用者により光の仮想的な出射方向が新たに指定されると、表示部４３０に表示される観察対象物Ｓの画像ＳＩが、指定された出射方向の光に対応する画像ＳＩに切り替わるが、本発明はこれに限定されない。

使用者により光の仮想的な出射方向が新たに指定された場合に、更新前の表示用画像データに基づく観察対象物Ｓの画像ＳＩと、更新後の表示用画像データに基づく観察対象物Ｓの画像ＳＩとが表示部４３０に同時に表示されてもよい。この場合、使用者は、出射方向を指定する前の観察対象物Ｓの画像ＳＩと指定後の観察対象物Ｓの画像ＳＩとを比較することができる。したがって、光の仮想的な出射方向を指定しつつ観察対象物Ｓの観察により適切な画像ＳＩを容易に識別することができる。更新前後の画像ＳＩを同時に表示する例は、更新前後の画像ＳＩを並べて表示すること、または更新前後の画像ＳＩを重ねて表示すること等を含む。

［５］請求項の各構成要素と実施の形態の各部との対応関係
以下、請求項の各構成要素と実施の形態の各部との対応の例について説明するが、本発明は下記の例に限定されない。

上記実施の形態では、観察対象物Ｓが観察対象物の例であり、投光部１４０が投光部の例であり、撮像部１３２が撮像部の例であり、位置算出部６３２が位置情報生成部の例であり、データ生成部６１０がデータ生成部の例である。拡大観察装置１が拡大観察装置の例であり、対物レンズ１３１ａが対物レンズの例であり、焦点駆動部１１３が焦点位置変化部の例であり、操作部４４０が操作部の例である。

請求項の各構成要素として、請求項に記載されている構成または機能を有する他の種々の要素を用いることもできる。

本発明は、種々の拡大観察装置に有効に利用することができる。

１ 拡大観察装置
２ 外部装置
１００ 測定ヘッド
１０１ 傾斜機構
１１０ スタンド部
１１１ 設置部
１１２，１１４ 保持部
１１３ 焦点駆動部
１２０ ステージ装置
１２１ ステージ
１２２ ステージ駆動部
１２３ 位置センサ
１３０ 鏡筒部
１３０ｃ 傾斜中心
１３１ レンズユニット
１３１ａ 対物レンズ
１３２ 撮像部
１３３ 傾斜センサ
１４０，１６０，１７０ 投光部
１４０Ａ〜１４０Ｄ 領域
１４０ｏ 光出射部
１４１ 保持部材
１４１ａ 貫通孔
１４２ 光ファイバ
１４２ａ，３１０ 光源
１５０ 制御基板
１６１ ハーフミラー
１７１ ミラー
２００ 処理装置
２０１，２０４ ファイバユニット
２０２，２０３ ケーブル
２１０ 筐体
３００ 光生成部
３２０ 遮光部
４００ 制御装置
４１０ 制御部
４２０ 記憶部
４３０ 表示部
４３０Ａ 観察画面
４３１ 機能表示領域
４３２ 主表示領域
４３２ａ，４３２ｂ 位置調整バー
４３３ 副表示領域
４３３ａ 出射方向指定欄
４３３ｂ 出射方向表示欄
４３３ｃ，４３３ｅ バー
４３３ｄ，４３３ｆ スライダ
４４０ 操作部
５００ 駆動制御部
５１０ 投光制御部
５２０ 撮像制御部
５３０ 焦点制御部
５４０ ステージ制御部
６００ 演算処理部
６１０ データ生成部
６２０ 合焦判定部
６３０ 算出部
６３１ 角度算出部
６３２ 位置算出部
６４０ 条件設定部
６４１ 撮像条件設定部
６４２ 照明条件設定部
Ａ１，Ａ２ 光軸
ｂ１ 深度合成ボタン
ｂ２ ＤＲ調整ボタン
ｂ３ 連結ボタン
ｂ７ 保存ボタン
ｂ１１ 落射ボタン
ｂ１２ 透過ボタン
ＣＧ１，ＣＧ２ 連結画像データ
ｄ１〜ｄ３ 距離
Ｈ１〜Ｈｊ 位置
ＯＧ，ＯＧ１〜ＯＧ４ 原画像データ
ＯＬ１〜ＯＬ３ 重複部分
ＰＡ〜ＰＥ 点
Ｓ 観察対象物
ＳＦ 深度合成画像
ＳＨ 影
ＳＩ 画像
ｓｐ 対象部分画像
ｓｓ０ 対象物位置画像
ｓｓ１ 光アイコン
ｓｓ２ 基準点画像
ｓｓ３ 半球画像
ｓｓ４ 出射位置画像

Claims (11)

1. 観察対象物の表面に設定された単位領域に互いに異なる第１および第２の出射方向の光を選択的に照射する投光部と、
   観察対象物からの光を受光し、観察対象物の単位領域の画像を示す第１または第２の原画像データを生成する撮像部と、
   前記撮像部により前記第１または第２の原画像データが生成された単位領域の位置を示す位置情報を生成する位置情報生成部と、
   使用者により指定された特定の出射方向の光が観察対象物に照射されたと仮定した場合に得られるべき観察対象物の画像を示す表示用画像データを生成するデータ生成部とを備え、
   第１の光照射時に、前記位置情報生成部により生成される位置情報に基づいて前記第１の出射方向の光を前記投光部が複数の単位領域に照射するとともに前記撮像部が複数の前記第１の原画像データを生成し、
   第２の光照射時に、前記位置情報生成部により生成される位置情報に基づいて前記第２の出射方向の光を前記投光部が複数の単位領域に照射するとともに前記撮像部が複数の前記第２の原画像データを生成し、
   前記データ生成部は、前記複数の第１および第２の原画像データの少なくとも一方に基づいて１つの単位領域よりも大きい観察対象物の部分の画像を示す前記表示用画像データを生成する、拡大観察装置。
2. 前記データ生成部は、前記複数の第１および第２の原画像データを合成することにより前記表示用画像データを生成する、請求項１記載の拡大観察装置。
3. 前記データ生成部は、前記特定の出射方向に基づいて前記複数の第１および第２の原画像データの合成の割合を決定する、請求項２記載の拡大観察装置。
4. 前記データ生成部は、隣り合う複数の単位領域をそれぞれ示す前記複数の第１の原画像データを連結することにより１つの単位領域よりも大きい観察対象物の部分の画像を示す第１の連結画像データを生成するとともに隣り合う複数の単位領域をそれぞれ示す前記複数の第２の原画像データを連結することにより１つの単位領域よりも大きい観察対象物の部分の画像を示す第２の連結画像データを生成し、前記第１および第２の連結画像データを合成することにより前記表示用画像データを生成する、請求項２または３記載の拡大観察装置。
5. 前記データ生成部は、パターンマッチングを用いて前記複数の第１の原画像データを連結することにより前記第１の連結画像データを生成する、請求項４記載の拡大観察装置。
6. 前記データ生成部は、前記第１の連結画像データにおける前記複数の第１の原画像データの位置および隣り合う各２つの単位領域にそれぞれ対応する第１の原画像データの重複領域情報に基づいて前記複数の第２の原画像データを連結することにより前記第２の連結画像データを生成する、請求項５記載の拡大観察装置。
7. 前記データ生成部は、共通の単位領域に対応する第１および第２の原画像データを合成することにより合成画像データを生成し、隣り合う複数の単位領域にそれぞれ対応する複数の前記合成画像データを連結することにより前記表示用画像データを生成する、請求項２または３記載の拡大観察装置。
8. 前記データ生成部は、パターンマッチングを用いて複数の前記合成画像データを連結することにより前記表示用画像データを生成する、請求項７記載の拡大観察装置。
9. 前記撮像部は、受光時間が複数変化された状態で前記第１または第２の原画像データを生成し、
   前記データ生成部は、各単位領域について受光時間が複数変化された状態で前記撮像部により生成される複数の前記第１の原画像データおよび各単位領域について受光時間が複数変化された状態で前記撮像部により生成される複数の前記第２の原画像データのうち少なくとも一部に基づいてダイナミックレンジが調整された前記表示用画像データを生成する、請求項１〜８のいずれか一項に記載の拡大観察装置。
10. 観察対象物からの光を集光しつつ前記撮像部に導くように配置された対物レンズと、
    前記対物レンズを通過した光の焦点位置を観察対象物に対して相対的に前記対物レンズの光軸方向に変化させる焦点位置変化部とをさらに備え、
    前記撮像部は、前記焦点位置変化部により光の焦点位置が前記対物レンズの光軸方向に複数変化された状態で複数の前記第１または第２の原画像データを生成し、
    前記データ生成部は、各単位領域について前記焦点位置変化部により光の焦点位置が複数変化された状態で前記撮像部により生成される複数の前記第１の原画像データおよび各単位領域について前記焦点位置変化部により光の焦点位置が複数変化された状態で前記撮像部により生成される複数の前記第２の原画像データのうち少なくとも一部に基づいて観察対象物の各部分に焦点が合った画像を示す前記表示用画像データを生成する、請求項１〜９のいずれか一項に記載の拡大観察装置。
11. 前記特定の出射方向を指定するために使用者により操作される操作部をさらに備え、
    前記データ生成部は、前記操作部により指定された前記特定の出射方向に対応して生成する前記表示用画像データを更新する、請求項１〜１０のいずれか一項に記載の拡大観察装置。

Images