上記の目的を達成するために、本発明の拡大観察装置は、設定された撮像条件に従い、撮像対象の試料を撮像した画像を表示可能な拡大観察装置であって、撮像部で原画像を撮像する際の撮影条件として、少なくとも露光時間を設定するための撮像条件設定手段と、試料の観察位置に対して、撮像条件設定手段で設定された撮像条件に従い、最小輝度と最大輝度の比である所定のダイナミックレンジを有する原画像を撮像するための撮像部と、試料の同一の観察位置において異なる撮像条件で撮像された複数枚の原画像を合成して、該原画像の階調幅よりも高階調な合成画像データを生成するための合成画像生成手段と、撮像部で撮像した画像を表示するための表示部と、合成画像生成手段で生成された合成画像データを、表示部での表示が可能な階調幅の低階調画像データに階調変換するための階調変換手段とを備え、拡大観察装置はさらに、撮像部で複数枚撮像した原画像から合成画像を取得する合成画像撮影モードとして、原画像よりも広いダイナミックレンジを持つ合成画像を作成するダイナミックレンジ拡大撮影モードと、原画像よりも狭いダイナミックレンジにおいて、輝度分解能を原画像よりも向上させた分解能向上撮影モードのいずれかを選択可能なモード選択手段と、階調変換手段が合成画像を低階調画像データに階調変換するための画像処理に関する描画パラメータを、変換対象画像から判別された変換対象画像の特徴に応じて設定するための描画設定手段を備え、階調変換手段で合成画像データを、表示部での表示が可能な階調幅の低階調画像データに変換する際に、合成画像生成手段で合成した合成画像、及び/又は該合成画像を構成する複数の原画像に対する画像解析、あるいは該原画像を撮像した撮像条件に基づいて、描画設定手段が、変換対象の合成画像はダイナミックレンジ拡大用途のものか、分解能向上用途のものかを判別し、描画設定手段がさらに、判別された用途に応じて、ダイナミックレンジ拡大用途の合成画像に対しては画像中のハレーションを抑制するためのハレーション抑制処理を、分解能向上用途の合成画像に対しては画像のコントラストを強調するためのコントラスト強調処理を、それぞれ画像処理として施した上で表示部で表示させるよう構成できる。このように、高階調画像の種別を判別すると共に、判別された高階調画像の種別に応じて、適切な描画パラメータを設定した上で画像処理した低階調画像を表示部にて表示できるので、ユーザは描画パラメータの設定を意識することなく、所望の観察用途に適した低階調画像を取得できる。
また第2の拡大観察装置は、表示部に表示可能な階調以上の階調幅を有する高階調画像を低階調画像に階調変換して表示可能な拡大観察装置であって、低階調画像を表示するための表示部と、高階調画像を、表示部での表示が可能な階調幅の低階調画像データに階調変換するための階調変換手段と、階調変換手段が高階調画像を低階調画像データに階調変換するための画像処理に関する描画パラメータを、変換対象画像から判別された変換対象画像の特徴に応じて設定するための描画設定手段とを備え、階調変換手段で高階調画像を、表示部での表示が可能な階調幅の低階調画像データに変換する際に、高階調画像、及び/又は該高階調画像の元となった複数の原画像に対する画像解析、あるいは該原画像を撮像した撮像条件に基づいて、変換対象の高階調画像はダイナミックレンジ拡大用途のものか、分解能向上用途のものかを判別するモード選択手段と、モード選択手段で判別された用途に応じて、描画設定手段が、ダイナミックレンジ拡大用途の高階調画像に対してはハレーション抑制処理を、分解能向上用途の高階調画像に対してはコントラスト強調処理を、それぞれ画像処理として施した上で表示部で表示させるよう構成できる。このように、判別された高階調画像の種別に応じて、適切な画像処理を自動的に施すことで、ユーザは描画パラメータの設定を意識することなく、所望の観察用途に適した低階調画像を取得できる。
さらに第3の拡大観察装置は、描画設定手段が、描画パラメータを設定するための画像解析において、変換対象の高階調画像または該高階調画像を構成する原画像または該原画像の撮像条件に基づき、変換対象画像に飽和領域が存在するか否かを対象画像の特徴として判断し、対象画像に飽和領域が含まれておれば、ハレーション抑制処理を、含まれていなければコントラスト強調処理を、画像処理として選択するよう構成できる。これにより、対象画像の飽和領域に基づきハレーション抑制処理又はコントラスト強調処理を適切に実行することができる。
さらにまた第4の拡大観察装置は、階調変換手段が、変換対象の高階調画像をテクスチャ成分と概形成分に分離し、描画パラメータの一として、テクスチャ成分に関する増幅率と、概形成分に対する圧縮率とを、それぞれ個別に設定可能に構成できる。これにより、テクスチャ成分と概形成分に対して各々適切な増幅、圧縮を加えることで、適切な階調変換を得ることができ、従来のHDR画像の輝度分布の圧縮によって細かい凹凸感が損なわれるといった問題を効果的に解消できる。また、分解能向上用途の高階調画像に対しては、凹凸成分の内、小さい凹凸部分を増幅することで、細かい模様を強調して観察できる。
さらにまた本発明の第5の拡大観察装置は、階調変換手段が、ハレーション抑制処理においては、テクスチャ増幅率及び概形圧縮率を低く設定し、コントラスト強調処理においては、テクスチャ増幅率及び概形圧縮率を高く設定するよう構成できる。これにより、観察用途に適した一層適切な画像処理を加えることができる。
さらにまた本発明の第6の拡大観察装置は、描画パラメータとして、テクスチャ強調度、概形画像輝度のダイナミックレンジの圧縮率、γパラメータ、彩度強調パラメータの少なくともいずれかを含むことができる。
さらにまた第7の拡大画像観察方法は、表示部に表示可能な階調以上の階調幅を有する高階調画像を低階調画像に階調変換して表示可能な拡大画像観察方法であって、高階調画像を、表示部で表示可能な低階調画像に階調変換するための画像処理に関する描画パラメータを、変換対象画像から判別された変換対象画像の特徴に応じて設定する工程と、設定された描画パラメータに従い、階調変換手段が画像処理を施し高階調画像を低階調画像データに階調変換し、表示部に表示させる工程とを含み、変換対象の高階調画像がダイナミックレンジ拡大用途のものか、分解能向上用途のものかを判別し、判別された用途に応じて、ダイナミックレンジ拡大用途の合成画像に対しては画像中のハレーションを抑制するためのハレーション抑制処理を、分解能向上用途の合成画像に対しては画像のコントラストを強調するためのコントラスト強調処理を、それぞれ画像処理として施した上で表示部で表示させることができる。これにより、高階調画像の種別を判別すると共に、判別された高階調画像の種別に応じて、適切な描画パラメータを設定した上で画像処理した低階調画像を表示部にて表示できるので、ユーザは描画パラメータの設定を意識することなく、所望の観察用途に適した低階調画像を取得できる。
さらにまた第8の拡大画像観察方法は、さらに観察対象に対して、観察位置の位置決めを行うと共に、撮像部で原画像を撮像する際の撮影条件として、少なくとも露光時間を設定する工程と、位置決めされた観察位置に対して、設定された撮像条件に従い、最小輝度と最大輝度の比である所定のダイナミックレンジを有する原画像を、同一の観察位置において異なる露光条件で複数枚撮像する工程と、複数枚の原画像を合成して、表示部で表示可能な画像よりも高階調な合成画像を高階調画像として生成する工程とを含み、記撮像部で複数枚撮像した原画像から合成画像を取得する合成画像撮影モードとして、原画像よりも広いダイナミックレンジを持つ合成画像を作成するダイナミックレンジ拡大撮影モードと、原画像よりも狭いダイナミックレンジにおいて、輝度分解能を原画像よりも向上させた分解能向上撮影モードを切替可能としている。
さらにまた第9の拡大画像観察プログラムは、表示部に表示可能な階調以上の階調幅を有する高階調画像を低階調画像に階調変換して表示可能な拡大画像観察プログラムであって、高階調画像を、表示部で表示可能な低階調画像に階調変換するための画像処理に関する描画パラメータを、変換対象画像から判別された変換対象画像の特徴に応じて設定する機能と、設定された描画パラメータに従い、階調変換手段が画像処理を施し高階調画像を低階調画像データに階調変換し、表示部に表示させる機能と、変換対象の高階調画像がダイナミックレンジ拡大用途のものか、分解能向上用途のものかを判別し、判別された用途に応じて、ダイナミックレンジ拡大用途の合成画像に対しては画像中のハレーションを抑制するためのハレーション抑制処理を、分解能向上用途の合成画像に対しては画像のコントラストを強調するためのコントラスト強調処理を、それぞれ画像処理として施す機能とをコンピュータに実現させることができる。これにより、高階調画像の種別を判別すると共に、判別された高階調画像の種別に応じて、適切な描画パラメータを設定した上で画像処理した低階調画像を表示部にて表示できるので、ユーザは描画パラメータの設定を意識することなく、所望の観察用途に適した低階調画像を取得できる。
さらにまた第10の拡大画像観察プログラムは、さらに観察対象に対して、観察位置の位置決めを行うと共に、撮像部で原画像を撮像する際の撮影条件として、少なくとも露光時間を設定する機能と、位置決めされた観察位置に対して、設定された撮像条件に従い、最小輝度と最大輝度の比である所定のダイナミックレンジを有する原画像を、同一の観察位置において異なる露光条件で複数枚撮像する機能と、複数枚の原画像を合成して、表示部で表示可能な画像よりも高階調な合成画像を高階調画像として生成する機能と、撮像部で複数枚撮像した原画像から合成画像を取得する合成画像撮影モードとして、原画像よりも広いダイナミックレンジを持つ合成画像を作成するダイナミックレンジ拡大撮影モードと、原画像よりも狭いダイナミックレンジにおいて、輝度分解能を原画像よりも向上させた分解能向上撮影モードを切り替える機能とをコンピュータに実現させることができる。
さらにまた第11の拡大画像観察プログラムは、階調変換機能が、描画パラメータを設定するための画像解析において、変換対象の合成画像または該合成画像を構成する原画像または該原画像の撮像条件に基づき、変換対象画像に飽和領域が存在するか否かを対象画像の特徴として判断し、対象画像に飽和領域が含まれておれば、ハレーション抑制処理を、含まれていなければコントラスト強調処理を、画像処理として選択するよう構成できる。これにより、対象画像の飽和領域に基づきハレーション抑制処理又はコントラスト強調処理を適切に実行することができる。
さらにまた第12のコンピュータで読み取り可能な記録媒体は、上記プログラムを格納したものである。記録媒体には、CD−ROM、CD−R、CD−RWやフレキシブルディスク、磁気テープ、MO、DVD−ROM、DVD−RAM、DVD−R、DVD+R、DVD−RW、DVD+RW、Blu−ray、HD DVD(AOD)等の磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。またプログラムには、上記記録媒体に格納されて配布されるものの他、インターネット等のネットワーク回線を通じてダウンロードによって配布される形態のものも含まれる。さらに記録媒体にはプログラムを記録可能な機器、例えば上記プログラムがソフトウェアやファームウェア等の形態で実行可能な状態に実装された汎用もしくは専用機器を含む。さらにまたプログラムに含まれる各処理や機能は、コンピュータで実行可能なプログラムソフトウエアにより実行してもよいし、各部の処理を所定のゲートアレイ(FPGA、ASIC)等のハードウエア、又はプログラムソフトウエアとハードウェアの一部の要素を実現する部分的ハードウエアモジュールとが混在する形式で実現してもよい。
以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体を例示するものであって、本発明は拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体を以下のものに特定しない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。
本発明の実施例において使用される拡大観察装置とこれに接続される操作、制御、表示、その他の処理等のためのコンピュータ、プリンタ、外部記憶装置その他の周辺機器との接続は、例えばIEEE1394、RS−232xやRS−422、USB等のシリアル接続、パラレル接続、あるいは10BASE−T、100BASE−TX、1000BASE−T等のネットワークを介して電気的、あるいは磁気的、光学的に接続して通信を行う。接続は有線を使った物理的な接続に限られず、IEEE802.1x等の無線LANやBluetooth等の電波、赤外線、光通信等を利用した無線接続等でもよい。さらにデータの交換や設定の保存等を行うための記録媒体には、メモリカードや磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等が利用できる。なお本明細書において拡大観察装置とは、拡大観察装置本体のみならず、これにコンピュータ、外部記憶装置等の周辺機器を組み合わせた拡大観察システムも含む意味で使用する。
また、本明細書において拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体は、合成画像を含む画像ファイル生成を行うシステムそのもの、ならびに画像ファイル生成に関連する入出力、表示、演算、通信その他の処理をハードウェア的に行う装置や方法に限定するものではない。ソフトウェア的に処理を実現する装置や方法も本発明の範囲内に包含する。例えば汎用の回路やコンピュータにソフトウェアやプログラム、プラグイン、オブジェクト、ライブラリ、アプレット、コンパイラ、モジュール、特定のプログラム上で動作するマクロ等を組み込んで画像生成そのものあるいはこれに関連する処理を可能とした装置やシステムも、本発明の拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体に該当する。また本明細書においてコンピュータには、汎用あるいは専用の電子計算機の他、ワークステーション、端末、携帯型電子機器、PDCやCDMA、W−CDMA、FOMA(登録商標)、GSM、IMT2000や第4世代等の携帯電話、PHS、PDA、ページャ、スマートフォンその他の電子デバイスも包含する。さらに本明細書においてプログラムとは、単体で使用されるものに限られず、特定のコンピュータプログラムやソフトウェア、サービス等の一部として機能する態様や、必要時に呼び出されて機能する態様、OS等の環境においてサービスとして提供される態様、環境に常駐して動作する態様、バックグラウンドで動作する態様やその他の支援プログラムという位置付けで使用することもできる。
[実施の形態1]
以下、図4から図5を用いて、本発明の実施の形態1に係る拡大観察装置を説明する。拡大観察装置は、図4に示すように観察対象の試料(被写体)を照明するための照明部60と、照明部60により照明された試料を撮像する撮像部10と、撮像部10で撮像された拡大画像を表示する表示部52を有する情報処理装置50を備える。さらに図4の拡大観察装置は、試料を固定する試料固定部(試料Sを載置するステージ30)と、光学系11を介して入射する試料固定部に固定された試料Sからの反射光または透過光を電気的に読み取る撮像素子(CCD12)と、試料固定部と光学系11の光軸方向における相対距離を変化させ焦点を調整する焦点調整部(ステージ昇降器20)とを備える。さらにまた情報処理装置50は、図5に示すように、焦点調整部によって焦点を調整したときの試料固定部と光学系11の光軸方向における相対距離に関する焦点距離情報を、光軸方向とほぼ垂直な面内における試料の2次元位置情報と共に記憶する焦点距離情報記憶部(メモリ53)と、撮像素子によって読み取られた画像を表示する表示部52と、表示部52によって表示された画像の一部の領域を少なくとも一つ設定可能な領域設定部(操作部55、ポインティングデバイス55A)と、領域設定部によって設定された領域に対応する試料Sの一部または全部に関する焦点距離情報記憶部に記憶された焦点距離情報に基づいて、領域設定部によって設定された領域に対応する試料Sの光軸方向における平均高さを演算する演算部(制御部51)とを備える。この拡大観察装置は、光学系を介して入射する試料固定部に固定された試料からの反射光または透過光を電気的に読み取る撮像素子を用いて、指定された領域に対応する試料の光軸方向における平均高さ(深さ)を演算できる。
撮像部10は、図5に示すように、試料Sを載置する試料固定部の一形態であるステージ30と、ステージ30を移動させるステージ昇降器20と、ステージ30に固定された試料に光学系を介して入射される光の反射光または透過光を、2次元状に配置された画素毎に電気的に読み取る撮像素子の一形態としてCCD12と、CCD12を駆動制御するCCD制御回路13とを備える。さらに撮像部10には、拡大観察装置本体である情報処理装置50が接続される。情報処理装置50は、撮像素子によって電気的に読み取られた画像データを記憶する画像データ記憶部の一形態としてメモリ53と、撮像素子によって電気的に読み取られた画像データに基づいて画像を表示するディスプレイやモニタ等の表示部52と、表示部52上に表示される画面に基づいて入力その他の操作を行う操作部55と、操作部55によって入力された情報に基づいて画像処理その他各種の処理を行う制御部51とを備える。表示部52を構成するディスプレイは、高解像度表示が可能なモニタであり、CRTや液晶パネル等が利用される。
操作部55はコンピュータと有線もしくは無線で接続され、あるいはコンピュータに固定されている。一般的な操作部55としては、例えばマウスやキーボード、スライドパッド、トラックポイント、タブレット、ジョイスティック、コンソール、ジョグダイヤル、デジタイザ、ライトペン、テンキー、タッチパッド、アキュポイント等の各種ポインティングデバイスが挙げられる。またこれらの操作部55は、拡大観察用操作プログラムの操作の他、拡大観察装置自体やその周辺機器の操作にも利用できる。さらに、インターフェース画面を表示するディスプレイ自体にタッチスクリーンやタッチパネルを利用して、画面上をユーザが手で直接触れることにより入力や操作を可能としたり、または音声入力その他の既存の入力手段を利用、あるいはこれらを併用することもできる。図4の例では、操作部55はマウス55a等のポインティングデバイス55Aで構成される。
図4に本発明の実施の形態に係る拡大観察装置の外観図を示す。光学系および撮像素子を有するカメラ10aは、スタンド台41から鉛直方向に延びる支柱42に固定されたカメラ取り付け部43に取り付けられる。スタンド台41には、試料Sを載置するステージ30が上部に取り付けられたステージ昇降器20が配置される。カメラ10aおよびステージ昇降器20は情報処理装置50に接続されて制御される。情報処理装置50は、表示部52、およびマウス55a等の操作部55を備える。表示部52には、観察画像が表示される。
また、情報処理装置50である拡大観察装置にはコンピュータ70を接続可能であり、コンピュータ70に別途拡大観察用操作プログラムをインストールして、コンピュータ70側からも拡大観察装置を操作することもできる。本明細書において、コンピュータを使って拡大観察装置を操作する拡大観察用操作プログラムとは、拡大観察装置に外部接続された汎用もしくは専用コンピュータにインストールされる操作プログラムの他、上述した拡大観察装置の制御部である情報処理装置50に内蔵された操作プログラムも含む。拡大観察装置には、予め拡大観察装置を操作する操作機能あるいは操作プログラムが内蔵されている。この操作プログラムは、書き換え可能なソフトウェア、ファームウェア等の形態で拡大観察装置に対してインストール、あるいはアップデートすることも可能である。従って、本明細書において拡大観察用操作プログラムを実行させるコンピュータには、拡大観察装置自体も含まれる。
図5に本発明の実施の形態に係る拡大観察装置のブロック図を示す。情報処理装置50は、表示部52と、制御プログラム・焦点距離情報・受光データ・2次元情報等を記憶するメモリ53と、情報処理装置50がカメラ10aおよびステージ昇降器20とデータを通信するためのインターフェイス54と、操作者が拡大観察装置に関する操作を行う操作部55とから構成される。ステージ昇降器20は、例えばステッピングモータ21と、ステッピングモータ21の昇降を制御するモータ制御回路22とから構成される。撮像部10は、撮像素子として例えばCCD12等の受光素子と、CCD12を駆動制御するCCD制御回路13と、照明部60からステージ30上に載置された試料Sに対して照射された光の透過光や反射光をCCD12上に結像させる光学系11とを備える。
[画素ずらし手段]
さらに撮像部10は、画素ずらしによってCCD12の持つ解像度以上の高解像度を得るための画素ずらし手段を備えることができる。画素ずらしとは、例えば画素ピッチの半分だけ被写体をずらして撮影した画像と、ずらす前の画像とを合成することにより高解像度化を図るものである。代表的な画像ずらしの機構としては、撮像素子を移動させるCCD駆動方式、LPFを傾斜させるLPF傾斜方式、レンズを移動させるレンズ移動方式等がある。図5においては、ステージ30に固定された試料Sから光学系11を介してCCD12に入射される反射光または透過光の入射光路を、少なくとも一の方向に、その方向におけるCCD12の一画素の間隔よりも小さい距離で光学的にシフトさせる光路シフト部14を備える。本発明の一実施形態において画素ずらしを実現するための機構や手法は、上記の構成に限られず、既知の方法や将来開発される方法が適宜利用できる。
情報処理装置50は、モータ制御回路22に対してステッピングモータ21の制御に関する制御データを入力することによって、試料固定部であるステージ30と、光学系11および撮像素子であるCCD12を有するカメラ10aとの光軸方向における相対距離、ここではz方向における高さを変化させる。具体的には、情報処理装置50は、ステージ昇降器20の制御に必要な制御データをモータ制御回路22に入力することによってステッピングモータ21の回転を制御し、ステージ30の高さz(z方向の位置)を昇降させる。ステッピングモータ21は、回転に応じた回転信号を生成する。情報処理装置50は、モータ制御回路22を介して入力される回転信号に基づいて、試料固定部と光学系11の光軸方向における相対距離に関する情報としてのステージ30の高さzを記憶する。このステージは、試料に対して観察位置の位置決めを行う観察位置決め手段30Aとして機能する。なお本実施の形態においては、ステージ30の高さを変化させることによって試料固定部と光学系の光軸方向における相対距離を変化させる例を示したが、ステージ30を固定して光学系11の高さ、例えばカメラ10aの高さを変化させてもよい。また、ステージは拡大観察装置本体に設ける他、本体と別部材としたヘッド部に設けたり、あるいはステージを省略した撮像部をヘッド部に設けることもできる。ステージを省略した撮像部は、取り付けスタンドに装着したり、ユーザが手持ち可能とすることもできる。このようなヘッド部は拡大観察装置本体とケーブルにより接続される。
CCD12は、x方向およびy方向に2次元状に配置された画素毎に受光量を電気的に読み取ることができる。CCD12上に結像された試料Sの像は、CCD12の各画素において受光量に応じて電気信号に変換され、CCD制御回路13においてさらにデジタルデータに変換される。情報処理装置50は、CCD制御回路13において変換されたデジタルデータを受光データDとして、光軸方向(図5中のz方向)とほぼ垂直な面内(図5中のx、y方向)における試料の2次元位置情報としての画素の配置情報(x、y)と共にメモリ53に記憶する。ここで、光軸方向とほぼ垂直な面内とは、厳密に光軸に対して90°をなす面である必要はなく、その光学系および撮像素子における解像度において試料の形状を認識できる程度の傾きの範囲内にある観察面であればよい。
また、以上の説明では試料固定部の一例として、試料がステージに載置される例を示したが、例えばステージの代わりにアームを取り付け、その先端に試料を固定する構成とすることもできる。さらにカメラ10aは、カメラ取り付け部43に装着して使用する他、脱着可能として手持ち等の方法により所望の位置、角度に配置することもできる。
図4に示す照明部60は、試料に落射光を照射するための落射照明60Aと、透過光を照射するための透過照明60Bを備える。これらの照明は、光ファイバー61を介して情報処理装置50と接続される。情報処理装置50は光ファイバー61を接続するコネクタ62を備えると共に、コネクタ62を介して光ファイバー61に光を送出するための光源(図示せず)を内蔵する。光源にはハロゲンランプ等が用いられる。
[制御部51]
制御手段である制御部51は、撮像した観察画像を、表示部52で表示可能な解像度に変換して表示するよう制御する。図4の拡大観察装置においては、撮像部10がCCD12によって試料Sを撮像した観察画像を表示部52に表示する。一般にCCD等の撮像素子の性能は、表示部での表示能力を上回ることが多いので、撮像した観察画像を一画面に表示するためには画像を間引く等して解像度を一画面で表示可能なサイズまで落とし、縮小表示している。撮像部10で読み取ったときの読取解像度を第一の解像度とすると、表示部52においては第一の解像度よりも低い第二の解像度で表示されることとなる。
[実施の形態2]
次に、本発明の実施の形態2に係る拡大観察装置としてレーザマイクロスコープを、図6を用いて説明する。実施の形態2の拡大観察装置において、撮像部であるカメラは、試料Sに対して照射された第1光源(レーザ101)からの光の反射光を第1光学系100を介して第1受光素子(フォトダイオード112)によって受光する第1撮像部と、試料Sに対して照射された第2光源(白色ランプ201)からの光の反射光を第2光学系200を介して第2受光素子(CCD212)によって受光する第2撮像部とを備える。
まず、第1撮像部について説明する。第1光学系100は、試料Sに単色光(例えばレーザ光)を照射するレーザ101、第1コリメートレンズ102、偏光ビームスプリッタ103、1/4波長板104、水平偏向装置105、垂直偏向装置106、第1リレーレンズ107、第2リレーレンズ108、対物レンズ109、結像レンズ110、ピンホール板111、フォトダイオード112を有する。
第1光源には、例えば赤色レーザ光を発する半導体レーザ101が用いられる。レーザ駆動回路115によって駆動されるレーザ101から出射されたレーザ光は、第1コリメートレンズ102を通り、偏光ビームスプリッタ103で光路を変えられ、1/4波長板104を通過する。この後、水平偏向装置105および垂直偏向装置106によって水平(横)方向および垂直(縦)方向に偏向された後、第1リレーレンズ107および第2リレーレンズ108を通過し、対物レンズ109によってステージ30上に置かれた試料Sの表面に集光される。
水平偏向装置105および垂直偏向装置106は、それぞれガルバノミラーで構成され、レーザ光を水平および垂直方向に偏向させることにより、試料Sの表面をレーザ光で走査する。ステージ30は、ステージ昇降器20によりz方向(光軸方向)に駆動される。これにより、対物レンズ109の焦点と試料Sとの光軸方向での相対距離を変化させることができる。
試料Sで反射されたレーザ光は、上記の光路を逆に辿る。すなわち、対物レンズ109、第2リレーレンズ108および第1リレーレンズ107を通り、水平偏向装置105および垂直偏向装置106を介して1/4波長板104を再び通る。この結果、レーザ光は偏光ビームスプリッタ103を透過し、結像レンズ110によって集光される。集光されたレーザ光は、結像レンズ110の焦点位置に配置されたピンホール板111のピンホールを通過してフォトダイオード112に入射する。フォトダイオード112は受光量を電気信号に変換する。受光量に相当する電気信号は、出力アンプおよびゲイン制御回路(図示せず)を介してA/Dコンバータ113に入力され、デジタルデータに変換される。ここでは、第1受光素子としてフォトダイオードを用いる例を示したが、フォトマルチプライヤ等を用いてもよい。また、レーザ101は赤色レーザに限定されず、青色、紫外光レーザを用いてもよい。このような短波長レーザを用いることによって高解像度の高さデータが得られる。
上記のような構成の第1撮像部により、試料Sの高さ(深さ)情報を得ることができる。以下に、その原理を簡単に説明する。上述のように、ステージ30がステージ昇降器20のステッピングモータ21およびモータ制御回路22によってz方向(光軸方向)に駆動されると、対物レンズ109の焦点と試料Sとの光軸方向における相対距離が変化する。そして、対物レンズ109の焦点が試料Sの表面(被測定面)に結ばれたときに、試料Sの表面で反射されたレーザ光は上記の光路を経て結像レンズ110で集光され、殆どすべてのレーザ光がピンホール板111のピンホールを通過する。したがって、このときにフォトダイオード112の受光量が最大になる。逆に、対物レンズ109の焦点が試料Sの表面(被測定面)からずれている状態では、結像レンズ110によって集光されたレーザ光はピンホール板111からずれた位置に焦点を結ぶので、一部のレーザ光しかピンホールを通過することができない。その結果、フォトダイオード112の受光量は著しく低下する。
したがって、試料Sの表面の任意の点について、ステージ30をz方向(光軸方向)に駆動しながらフォトダイオード112の受光量を検出すれば、その受光量が最大になるときのステージ30の高さを求めることができる。
実際には、ステージ30を1ステップ移動するたびに水平偏向装置105および垂直偏向装置106によって試料Sの表面を走査してフォトダイオード112の受光量を取得する。図7は、1つの点(画素)におけるステージ30の高さzに対する受光データDの変化を示す。ステージ30を測定範囲の下端から上端までz方向に移動させたとき、走査範囲内の複数の点(画素)について、図7に示したように高さzに応じて変化する受光データDが得られる。この受光データDに基づいて、最大受光量とそのときの焦点距離Zfが各点(画素)ごとに得られる。この受光データDの最大値に対応するステージ30の高さzが焦点距離Zfとなる。したがって、この焦点距離Zfに基づいて試料Sの表面高さのx−y平面での分布が得られる。この処理は、インターフェイス54を介して入力されると共にメモリ53に記憶されたCCD12の受光データDを画素の配置情報(x、y)および高さ情報zに基づいて、制御部51によって行われる。
得られた表面高さの分布は、いくつかの方法で表示部52に表示することができる。例えば3次元表示によって試料の高さ分布(表面形状)を立体的に表示することができる。あるいは、高さデータを輝度データに変換することにより、明るさの2次元分布として表示できる。高さデータを色差データに変換することにより、高さの分布を色の分布として表示してもよい。
実施の形態2においても、実施の形態1と同様に、第1撮像部によって得られた高さデータに基づき、ポインティングデバイス55A等によって表示部52の画像上の2点を指定することによって矩形状に領域の設定を行い、領域内の平均高さや各領域間の相対高さを演算し、表示部52に表示することができる。
また、x−y走査範囲内の各点(画素)について得られた受光量を輝度データとする輝度信号から、試料wの表面画像(白黒画像)が得られる。各画素における最大受光量を輝度データとして輝度信号を生成すれば、表面高さの異なる各点でピントの合った被写界深度の非常に深い共焦点画像が得られる。また、任意の注目画素で最大受光量が得られた高さ(z方向位置)に固定した場合は、注目画素の部分と高低差が大きい部分の画素の受光量は著しく小さくなるので、注目画素と同じ高さの部分のみが明るい画像が得られる。
次に、第2撮像部について説明する。第2光学系200は、試料Sに白色光(カラー画像撮影用の照明光)を照射するための第2光源201、第2コリメートレンズ202、第1ハーフミラー203、第2ハーフミラー204、第2受光素子としてのCCD212を有する。また、第2光学系200は第1光学系100の対物レンズ109を共用し、両光学系100、200の光軸は一致している。
第2光源201には例えば白色ランプが用いられるが、特に専用の光源を設けず、自然光または室内光を利用してもよい。第2光源201から出た白色光は、第2コリメートレンズ202を通り、第1ハーフミラー203で光路を曲げられ、対物レンズ109によってステージ30上に置かれた試料Sの表面に集光される。
試料Sで反射された白色光は、対物レンズ109、第1ハーフミラー203、第2リレーレンズ108を通過し、第2ハーフミラー204で反射されてカラーで受光可能なCCD212に入射して結像する。CCD212は、第1光学系100のピンホール板111のピンホールと共役または共役に近い位置に設けられている。CCD212で撮像されたカラー画像は、CCD制御回路213によって読み出されると共にデジタルデータに変換される。このようにして得られたカラー画像は、試料Sの観察用の拡大カラー画像として表示部52に表示される。
また、第1撮像部で得られた被写界深度の深い共焦点画像と第2撮像部で得られた通常のカラー画像とを組み合わせて、すべての画素でピントの合った被写界深度の深いカラー共焦点画像を生成し、表示することもできる。例えば、第2撮像部で得られたカラー画像を構成する輝度信号を第1光学系100で得られた共焦点画像の輝度信号で置き換えることにより、簡易的にカラー共焦点画像を生成することができる。
ここでは、共焦点光学系である第1光学系100を有する第1撮像部と非共焦点光学系である第2光学系200を有する第2撮像部を備える拡大観察装置を示したが、第1の撮像部のみを備える構成とすることもできる。
また、実施の形態1に係る拡大観察装置のように、受光素子は2次元状に配置された画素毎に受光量を読み取る2次元撮像素子(例えばCCD)であり、焦点調整部が領域設定部によって設定された領域に対応する試料の一部または全部に対応する受光量の和に基づいて焦点を調整する構成とした場合、共焦点光学系のような複雑な構成を必要とすることなく、簡単な構成で試料の高さを測定することができる。特に、この拡大観察装置においては、画素単位でなく、操作者によって設定された領域単位、すなわち相当数の画素の相対距離に対する受光データの変化から受光データの最大値を判断すると共に、そのときの平均焦点距離に基づいて平均高さを演算することから、白色光を光源としCCDを受光素子として用いた場合であっても、各画素における受光データの焦点距離に対する変化のばらつきを低減でき、信頼性の高い平均高さの測定を行うことができる。さらに、2次元撮像素子としてカラーCCDを用いる場合は、RGBの受光データに基づいてその画素の受光データを算出してもよく、またRGBのうちの1または2の色調の受光データに基づいてその画素の受光データとしてもよい。
また、領域設定部によって設定された領域が、試料の大きさよりも大きく試料の全部を含んでいる場合には、試料以外の部分、すなわちステージの上面は平均高さの演算の対象から除外することが好ましい。より正確な試料の高さを演算することができるからである。この場合ステージの上面であるか否かは、その画素とその画素に隣接する画素との高さの差が所定高さ以上あるか否か等によって判別することができる。もちろん、領域設定部によって設定された領域が、試料の一部であっても、ステージの上面が領域に含まれる場合は、平均高さの演算の対象から除外することが好ましい。
また、以上の実施の形態においては、試料固定部に固定された試料からの反射光を電気的に読み取る例を示したが、試料の背面から光を照射してその透過光を電気的に読み取るように構成してもよい。
(高階調画像)
さらに、複数の原画像を撮像し、これらを合成して高階調の合成画像を生成する拡大観察装置のブロック図を図8に示す。この図に示す拡大観察装置は、拡大観察装置本体を構成する本体部50Aと、撮像部10とを備える。本体部50Aと撮像部10とは、ケーブルで接続される。図8の例では、照明用光源201Aからの照明光を送出するための光ファイバー61と、本体部50Aと撮像部10との間でデータを送受信するための信号線63とで構成される。信号線63を介して、本体部50Aは撮像部10に対して、撮像部10を制御するための撮像部制御信号を送出し、また撮像部10は本体部50Aに対して、撮像した映像信号を送出する。また、これらの撮像部制御信号用の信号線と映像信号用の信号線を個別に設けてもよい。
撮像部10は、CCDやCMOS等の撮像素子12Aと、照明部60とを備えており、試料Sに対して照明部60から照明光を照明し、その反射光を撮像素子12Aで撮像する。一方本体部50Aは、撮像部10を制御する撮像制御部13Aと、照明光を発生させる照明用光源201Aと、これらと接続された本体制御部51Aと、本体制御部51Aと接続されて画像や必要な情報を表示するための表示部52とを備える。本体制御部51Aは、撮像制御部13Aと照明用光源201Aに対して、各々制御信号を送出してこれらの動作を制御する。さらに本体制御部51Aは、撮像制御部13Aが撮像部10から受信した画像データを取り込み、合成等の処理を行う画像演算部81と、画像データや各種設定値を保持するためのメモリ53、後述する合成画像撮影モードを選択するためのモード選択手段82や、撮像部10での撮像条件を設定する撮像条件設定手段83を備えている。また画像演算部81は、複数枚の原画像を合成して、高階調な合成画像データを生成する合成画像生成手段85、階調変換を行う階調変換手段86、階調変換手段86が高階調画像を低階調画像データに階調変換するための描画パラメータを設定するための描画設定手段87として機能する。このような本体制御部51AはASICやLSI等で構成できる。
またこのような画像データやメモリ53に保持された設定内容は、本体制御部51Aと接続された表示部52にて表示させることができる。表示部52はCRTや液晶ディスプレイ、有機EL等のモニタが利用できる。また、本体制御部51Aに対して、ユーザが各種操作を行うための操作部55を本体部50Aに接続している。操作部55はコンソールやマウス等の入力デバイスである。なおこの例においても表示部や操作部は、本体部と一体的に組み込むことも、外付けの部材とすることもできる。さらに表示部をタッチパネルで構成すれば、表示部と操作部を一体に構成することもできる。
(合成画像撮影モード)
この拡大観察装置は、合成画像生成手段85で合成画像を取得する合成画像撮影モードとして、ダイナミックレンジ拡大用途に適したダイナミックレンジ拡大撮影モードと、輝度分解能を向上し、コントラストを強調した分解能向上撮影モードを備える。ダイナミックレンジ拡大撮影モードでは、原画像よりも広いダイナミックレンジを持つ合成画像を生成する。一方、分解能向上撮影モードでは、撮像素子のダイナミックレンジよりも狭いダイナミックレンジで、輝度分解能を原画像よりも向上させた合成画像を生成する。
(ダイナミックレンジ拡大撮影モード)
ダイナミックレンジ拡大撮影モードではいわゆるHDRIを撮像する。HDRI(High Dynamic Range Image:以下「HDR画像」という。)は、従来の画像よりダイナミックレンジ、すなわち最小光量と最大光量の比が格段に高い画像である。例えば標準的なコンピュータのモニタでは、標準色表現として8ビット〜24ビットのカラーが採用されており、256〜1677万階調で表現できるが、現実にはより多くの色が存在しており、人の目は瞳孔の大きさを変えることで適正と思われる基準の明るさに調整して見ている。そこで、モニタの表現能力等を超えた、より多くの色情報を持たせたHDR画像が利用される。このようなHDR画像の取得には、同一の観察対象を同一位置で、異なる撮像条件(典型的には、撮像素子の露光時間)で撮像した複数の画像を合成する等、既知の手法が利用できる。
しかしながらモニタ上では8ビット〜24ビット(256〜1677万色)以上の色を表現できず、表現可能な色範囲よりも明るい色では白とびが、暗い色では黒つぶれが発生してしまう。このままでは画像のテクスチャ等を確認できないことが生じるため、HDR画像をモニタ等に表示させる際には適切に階調変換(トーンマッピング)を行い、白とびや黒つぶれの部分も確認できるような低階調の画像(LDR画像(Low Dynamic Range Image)とも言う。)に変換する。例えば図1に示す画像では金属部分に白とびが発生するが、図3に示す画像ではその部分がはっきり見えている。これは図3の画像の方が、図1で撮影可能な光量よりも大きい光量の部分のデータを持っているからである。一般的な環境で、この光量データはダイナミックレンジが最大で100000:1程度となる。
このようなHDR画像作成方法には種々の方法が提案されているが、本実施の形態においては、上述の通り試料の同一位置の画像を露光時間、ここでは撮像素子のシャッタスピードを変化させて撮影した複数枚の原画像群を合成することで作成する。例えば図2の暗い画像と図1の明るい画像を合成することで、図3に示すHDR画像が作成可能となる。
HDR画像はダイナミックレンジが100000:1にもなるため、通常の256階調の8ビット画像では表現できない。そのため、一般的には浮動小数点でそのデータを表現する。ファイル保存時のフォーマットとしては、例えば32ビット単精度浮動小数点、16ビットの浮動小数点等が利用される。また、HDR画像を描画する際も、ダイナミックレンジが広いため通常の256階調のモニタではそのまま表示できない。またHDR画像を単純に256階調に変換(マッピング)して表示すると、暗い部分が見えなかったり明るい部分が明るすぎたりする場合がある。このため、暗い部分も明るい部分も丁度良く見えるように調整して表示を行う必要がある。具体的には、明るい部分を大きく押し込め、暗い部分を持ち上げるような画像処理を行ったトーンマッピング画像に階調変換する。これによって通常のトーンマッピング画像では見えにくい、細かいテクスチャを強調して表示することができる。以上のような、HDR画像を撮影して表示部に表示させるまでの手順を、図9のフローチャートに基づいて説明する。
まずステップS901で、撮像条件を変えて、複数枚の原画像を撮影する。ここでは撮像部10で8ビット画像の原画像を撮像する。この際、白とびや黒つぶれがないような画像がどの領域でも少なくとも1枚以上撮れるように、適切に露光時間を制御する。撮像枚数は、HDR画像の画質や必要なダイナミックレンジの広さ等に応じて適宜決定される。次にステップS902で、HDR画像を合成する。ここでは、ステップS901で撮影した8ビット画像群を用いて、合成画像生成手段でHDR画像を合成する。次いで、ステップS903でHDR画像を階調変換する。ここでは、合成されたHDR画像を階調変換手段でトーンマッピングして、モニタ等で表示可能な階調幅に変換したトーンマッピング画像を作成する。この例では256階調に押し込める。この際、テクスチャ強調処理等も適宜行う。
最後に、得られたHDR画像及びトーンマッピング画像をステップS904で保存する。ここではHDR画像データを32ビット浮動小数点データとし、ファイル保存の際はHDR画像データを適当なファイル形式に変換して保存する。ここではJPEGやTIFF等の汎用の画像フォーマットでトーンマッピング画像を保存し、さらにこのトーンマッピング画像を生成した元データであるHDR画像をメタデータとして保存する。さらに、トーンマッピング画像作成時のパラメータも併せて保存する。これにより、ユーザは汎用の画像表示プログラムでトーンマッピング画像を表示でき、さらに専用の画像表示プログラムを使用すれば、トーンマッピング画像の差し替えも可能となる。すなわち、HDR画像からパラメータを調整して別のトーンマッピング画像を生成し、該トーンマッピング画像を、変換時のパラメータと共に新たにHDR画像のメータデータに上書き保存する。このようにして、ユーザはトーンマッピング画像の閲覧のみならず、該ファイルに含まれたトーンマッピング画像を所望のトーンマッピング画像に変更することが可能となる。以上のようなHDR画像は、画像中の白とび、黒つぶれ等の飽和を抑制する用途等に利用される。
なお、HDR画像は、撮像素子のダイナミックレンジよりも広いダイナミックレンジの画像を合成するものであるが、撮像素子のダイナミックレンジが十分広い場合、言い換えると撮像素子自体の性能を向上させ、一枚の撮像で十分なダイナミックレンジをカバーできるようになれば、該一枚の原画像を合成画像と同様に扱うことが可能となる。この場合は、撮像素子のみでHDR画像を取得できるので、合成画像生成手段を不要とできる。
(分解能向上撮影モード)
また、上記のダイナミックレンジ拡大用撮影とは逆に、狭いダイナミックレンジで細かな模様が表示できるように分解能を向上させた撮影も可能となる。
分解能向上撮影モードでは、元の画像よりも狭いダイナミックレンジにおいて、より細かく撮像条件を変化させた画像を合成して、輝度分解能を原画像よりも向上させた合成画像を得ることができる。なお、ここで得られる合成画像はダイナミックレンジを拡大していないので字義上HDR画像でないが、HDR画像と同様の高階調画像であり、本明細書では便宜上HDR画像に含めて扱うこととする。また本明細書においてHDR画像とは、ダイナミックレンジが表示部で表示可能なダイナミックレンジよりも広い意味で使用しているが、それに限られず、撮像部の撮像素子で撮像可能なダイナミックレンジよりも広い画像、あるいは24ビット以上、32ビット以上といった特定のビット数を備える画像を意味するものとして取り扱うこともできる。
HDR画像は一般に、その広いダイナミックレンジを利用して、画像データ中に含まれるハレーションを排除したり、逆光を補正する等の用途に適用されることが多い。一方で、例えば殆ど濃淡のない試料に対し、ノイズ/量子化誤差に埋もれてしまっている信号を複数枚の画像合成によって取り出し、上記のテクスチャ強調処理を施すことによって今まで殆ど見えなかった細かいテクスチャを見えるようにすることができる。この場合は限られたダイナミックレンジの範囲で、細かく階調画像を撮像して合成すれば、S/N比や輝度分解能を向上させた高階調画像が得られる。一例として、図10にセラミック表面の画像を示す。この状態ではセラミック表面に殆ど模様が確認できないが、分解能向上用撮影によって図11に示すように、表面の模様を強調して、殆ど見えていなかったテクスチャが判別できるようになる。
HDR技術は従来、ダイナミックレンジ拡大用途での利用を念頭に開発されてきたため、このような逆の発想で分解能向上撮影用途での利用にはこれまで使用されてこなかった。このため、観察用途に応じてダイナミックレンジの拡大と分解能向上とを切り替えて利用できる拡大観察装置とすることで、用途を拡大して一層幅広い用途での観察に活用できるようになる。
このように分解能向上撮影モードは、画像中の細かな模様やコントラストを強調したい用途等に利用される。分解能向上撮影モードにおいては、露光時間の変化量をダイナミックレンジ拡大撮影モードで設定されるそれよりも小さくする。
(モード選択手段82)
これらの合成画像撮影モードは、モード選択手段82によっていずれかが選択される。モード選択手段82は画像解析に基づき、適切な合成画像撮影モードを自動的に判定する。あるいは、ユーザが手動で合成画像撮影モードを選択可能に構成してもよい。例えばユーザは操作部55を操作して、所望の合成画像撮影モードを選択することができる。また、表示部上に、選択された合成画像撮影モードを明示して、いずれの合成画像撮影モードでの撮影が行われているかをユーザに告知することもできる。
(モード選択手段による自動選択)
次に、モード選択手段が合成画像撮影モードを自動選択する手法について説明する。ここでは3通りの手法1〜3について、それぞれ図12〜図14のフローチャートに基づいて説明する。
(手法1 撮影前に観察していた観察画像の解析)
まず、撮影前に観察していた観察画像の解析による手法について、図12のフローチャートに基づき説明する。この手法では、表示部に表示中の画像から飽和領域の有無を調べ、その撮影時に使用する露光時間を決定する。ダイナミックレンジ拡大用途で撮影する場合、ユーザが現在の設定で観察している観察画像の一部に白とび、または黒つぶれといった飽和領域が必ず存在すると思われる。一方で濃淡の強調を行う場合、観察している対象物は濃淡が殆どつかないものであることが多い。そのため観察画像のコントラストも小さく、飽和も起きないと思われる。このように、表示部に表示中の画像から飽和領域の有無を調べ、その撮影時に使用する露光時間を決定する。
具体的な手順を説明すると、まずステップS1201で、原画像の撮影前に、観察していた画像を取得する。ここでは、合成画像の取得を命令した時点で、表示部に表示されていた観察画像を呼び出す。そしてステップS1202で、この観察画像中に飽和している部分が含まれているかどうかをモード選択手段が判定する。含まれている場合は、ステップS1203に進み、ダイナミックレンジ拡大撮影モードに設定する。一方、含まれていない場合はステップS1204に進み、分解能向上撮影モードに設定する。この方法は、最も簡単に適切な合成画像撮影モードを判定、選択できる。また必要に応じて、選択された各合成画像撮影モードに応じた撮像条件を自動設定することもできる。これにより、ユーザは合成画像撮影モードの種別を意識することなく、合成画像を得ることができ、合成画像に詳しくないユーザでも操作できる利点が得られる。
(手法2 仮撮影した複数枚の仮画像の解析)
次に、仮撮影した複数枚の仮画像の解析による手法について、図13のフローチャート及び図15、図16のヒストグラムに基づいて説明する。
(仮合成)
この方法では、原画像の撮像に先だって、予め設定された仮撮像条件で複数枚の仮画像をまず撮影し、次いでその各仮画像について飽和領域が全く存在しない仮画像がないかどうかをモード選択手段で判定する。仮撮像条件は、簡易的に画像を取得するための条件であり、画像の傾向を把握できれば足りるので、条件を適当に変化させて仮画像を複数枚撮像する。このため、合成画像の生成に必要な原画像の撮像条件よりも大まかな設定で足り、仮画像の撮像枚数も合成画像の生成に必要な原画像の枚数よりも少なく、また露光時間の変化幅も大幅に設定する。この例では、合成画像生成手段で仮合成画像を合成しているが、仮画像の合成を高速、簡便に行うための演算手段を別途用意することもできる。
図15、図16に、撮像された仮画像の輝度分布のヒストグラムの例を示す。この例では、異なる試料A、Bの同一部位を仮撮像条件を大まかに変化させて4枚ずつ撮像し、試料Aについて図15(a)〜(d)、試料Bについて図16(a)〜(d)にそれぞれ示している。これらの仮画像は、仮撮像条件として露光時間を変化させた順に表示している。すなわち、図15(a)〜(d)、あるいは図16(a)〜(d)の順に露光時間を長く変化させている。
試料Aについては図15(a)〜(d)のいずれにおいても、飽和領域が存在している。このように、いずれの仮画像でも飽和領域が存在しているということは、試料に含まれる輝度情報全体を把握するためのダイナミックレンジが不足していることを意味する。したがって、この試料はダイナミックレンジ拡大撮影モードが適していると、モード選択手段で判別される。
また試料Bについては、図16(a)、(d)においては飽和領域が見られるが、(b)、(c)には飽和領域が見られない。このように、試料Bについては一枚の仮画像でもすべの輝度分布を細くできる、すなわち輝度分布のダイナミックレンジが狭いことが判る。このような場合は、狭いダイナミックレンジの範囲内で細かく露光時間を変化させて詳細な情報を取得することが好ましいと考えられる。したがって、この試料Bは分解能向上撮影モードが適していると判別される。
以上の具体的な手順を、図13のフローチャートに基づいて説明する。まずステップS1301で、シャッタースピードを変化させて複数回の仮撮像を行う。これにより得られた複数枚の仮画像に対して、ステップS1302で、どの仮画像にも飽和領域が存在するかどうかをモード選択手段が判定する。すべての仮画像に飽和領域が存在する場合は、ステップS1303に進み、ダイナミックレンジ拡大撮影モードを選択する。一方、存在しない、すなわち飽和領域が含まれない仮画像が存在する場合は、ステップS1304に進み、分解能向上撮影モードを選択する。このようにして、図15、図16の例では、図15(a)〜(d)はダイナミックレンジ拡大撮影モード、図16(a)〜(d)は分解能向上撮影モードに、それぞれ適していることをモード選択手段で判別できる。
また上述の通り必要に応じて、選択された各合成画像撮影モードに応じた撮像条件として適切な露光時間を自動設定することもできる。特にこの手法では、適切な合成画像撮影モードを自動選択できることに加えて、各合成画像撮影モードにおいて設定すべき露光時間を変化させる範囲を同時に求めることができる。すなわち、ダイナミックレンジ拡大撮影モードの場合は、白とびがなくなるくらい暗い露光から、黒つぶれがなくなるくらい明るい露光までの範囲で露光時間を変化させる。一方、分解能向上撮影モードでは、飽和がなく、さらに最も濃淡差が現れる部分の露光時間に設定する。このため、合成画像撮影モードの設定のみならず、各合成画像撮影モードでの撮像条件の設定を自動化させることもできる。
(手法2による露光時間の自動設定)
各合成画像撮影モードでの撮像条件として、露光時間を変化させるべき範囲を設定する詳細について、まずダイナミックレンジ拡大撮影モードについて説明する。ヒストグラムにおいて、例えば輝度を8ビットの分解能で撮像した場合、0〜255の輝度分布範囲において、左右の両端のいずれかが値を持っておれば飽和領域が存在することを意味する。例えば図15(a)において左側の軸上(輝度0)で輝度が値を有しているため、これよりも暗い領域が存在しており、そのデータが検出できていないこと、すなわち黒つぶれの発生が確認できる。一方、右側の軸(輝度255)の近傍では、輝度値を有していない。すなわち、白とびは発生していないことが判る。さらに、最も明るい輝度の上限が、図15(a)において丸で囲んだ位置であることが判断できる。
一方、図15(d)においては、右側の軸上では輝度値を示しており、白とびの発生が確認できるが、左側の軸の近傍では、輝度値を示してない。したがって、最も暗い領域の輝度情報については図15(d)で十分補足できていることを意味し、図15(d)の丸で囲んだ領域が、最も暗い輝度の下限であると判断できる。
このようにして、試料Aに対して輝度分布の範囲の上限及び下限が検出できるので、この範囲内で輝度情報を正しく検出できるように、露光時間を設定する。すなわち、上限、下限の輝度値に対応する露光時間を、計算式やルックアップテーブル等から求め、この範囲内で露光時間を変化させることにより、無駄な輝度情報を取得することなく、効率よく高階調画像を撮像できる。
次に分解能向上撮影モードにおいて露光時間の変化範囲を決定する方法を、図16(a)〜(d)に基づいて説明する。まず、飽和領域の存在しない仮画像を抽出する。図16(a)〜(d)の例では、上述の通りの内、(e)と(d)では飽和領域が存在するので、残る(b)、(c)が抽出される。そして、これらの仮画像の中から、濃淡差が最も広い範囲で表現される仮画像を選択する。ここでは、(b)の方が、(c)よりもヒストグラムの分布が広く表現されている。よって、(b)で採用した露光時間であれば、輝度分布の取得可能範囲を無駄にすることなく、効率よく輝度情報を取得できる。このようにして、仮画像を取得した際の仮撮像条件から、適切な露光時間が選択される。
(手法3 仮撮像と仮合成画像の解析による手法)
最後に、仮撮像と仮合成画像の解析による手法について、図14のフローチャートに基づいて説明する。まず、上記と同様にステップS1401で、予め設定された仮撮像条件で仮画像を複数枚撮像する。ここでも、露光時間は原画像の撮像等と比較して大幅に変化させ、比較的少ない枚数に抑える。次にステップS1402で、複数枚の仮画像を合成することで仮合成画像を生成する。さらにステップS1403で、その仮合成画像のダイナミックレンジ、すなわち最小輝度と最大輝度の比を計算し、これが撮像部10の撮像素子のダイナミックレンジより大きいかどうかを判定する。仮合成画像のダイナミックレンジが撮像部10のダイナミックレンジよりも大きい場合は、ステップS1404に進み、ダイナミックレンジが現状では不足しているので、ダイナミックレンジ拡大撮影モードを選択する。一方小さい場合は、ステップS1405に進み、撮像部10のダイナミックレンジは足りているため、その分を輝度分解能の向上に割り当てる、分解能向上撮影モードを選択する。
(手法3による露光時間の自動設定)
またこの手法においても各合成画像撮影モードにおける最適な露光時間を求めることができる。ここで、画像の輝度Iとシーンの光量L、露光時間t、カメラの応答関数(どれだけの光量が撮像素子に入射し、どれくらいの時間露光したときに画素値がいくつになるのかを表した関数)Fとの間には以下の関係式が成立する。
I=F(L*t)
ここでFは予め測定して取得されている。よってダイナミックレンジ拡大撮影モードの場合、仮合成画像の最小・最大光量Lmin、Lmaxがそれぞれ画素値Imin(黒つぶれにならない最小画素値、例えば30程度)、Imax(白とびにならない最大画素値、例えば220程度)になるように露光時間t1〜t2を以下の範囲に設定すればよい。
t1=F−1(Imin)/Lmin
t2=F−1(Imax)/Lmax
一方、分解能向上撮影モードの場合、最小・最大光量が飽和しない範囲(上記t1からt2)の間で、以下の(1)、(2)のいずれかの露光時間に設定すればよい。
(1)IminとImaxの差が最も大きくなるような露光時間
(2)シーンの光量Lの平均値、中央値L1等を計算し、L1*t=x_maxを満たす露光時間
(ここでx_maxは、F(x)の傾き(=微分値F’)が最大となるようなxの値)
(フレーム平均値)
また分解能向上撮影モードにおいて合成画像生成手段で合成画像を合成する際、露光時間を可変して原画像を撮像する方法以外にも、露光時間を一定値に固定して撮像部で複数枚の原画像を撮像し、フレーム平均値をとることで合成画像データを生成することもできる。すなわち、デジタル画像には一般にノイズが混入しており、このノイズは正規分布に従い平均0で加算される。このため、平均値をとることでノイズの影響を排除しつつ、量子化誤差に起因する分解能を向上できる。例えば真値が100.1の画素につき、ノイズがない場合は量子化誤差のため100として出力されるが、ノイズがあるため撮像の度に98,104,101,97等、ばらつきが生じる。これらの平均をとれば、ノイズの影響を排除しつつ、小数点以下の値(100.1)が得られる。この構成によれば、露光時間を固定したままでも高分解能の合成画像を生成できる。
以上の手法を比較すると、1の撮影前に観察していた観察画像の解析が最も簡便な手法であり、2の仮撮影した複数枚の仮画像の解析による手法、3の仮撮像と仮合成画像の解析による手法の順で計算量が増加していく。一方で2、3の手法は各用途における最適露光時間の計算まで行うことができる。
(重み付け撮像条件)
さらに、モード選択手段でダイナミックレンジ拡大撮影モード又は分解能向上撮影モードのいずれか一方を択一的に選択させる構成のみならず、両撮影モードの撮像条件を重み付けして組み合わせた撮像条件を設定する構成とすることもできる。例えば、モード選択手段で撮影用途を解析して、ダイナミックレンジ拡大撮影モード、分解能向上撮影モードそれぞれに対する重み付けの係数を演算し、これに従って撮像条件設定手段が重み付け撮像条件を設定する。これにより、撮影用途をダイナミックレンジ拡大撮影モード又は分解能向上撮影モードのいずれか一方に固定することなく、両者のバランスを考慮して合成した重み付け撮像条件を設定できるので、より柔軟な撮像が行える。モード選択手段で重み付けを演算するには、両撮影目的の比重を決定し、これに応じた重み付け撮像条件を設定する。具体的には、どの程度ハレーション除去の比重が高いのか、あるいはコントラスト強調の比重が高いのかに応じて、適切な撮像条件の設定を行う。例えば図12のステップS1202において、撮影前に観察していた観察画像中に飽和した部分が含まれているかどうかを判定する際に、単純に含まれいる場合はダイナミックレンジ拡大撮影モード、含まれていない場合は分解能向上撮影モードと一律に設定するのでなく、飽和した部分の数や面積を調べ、これに応じて各撮影モードの比重をモード選択手段が判定する。一例として、飽和部分の数が多いほど、あるいは面積比率が大きいほど、ダイナミックレンジ拡大撮影モードの比重を高める。同様に図13のステップS1302で、複数枚の仮画像すべてに飽和領域が存在するかどうかを判定するのでなく、飽和領域が含まれる仮画像数が多いほどダイナミックレンジ拡大撮影モードに、飽和領域が含まれない仮画像が多いほど分解能向上撮影モードに、比重を振るようにモード選択手段が重み付け撮像条件を設定する。さらに図14のステップS1403で、仮合成画像のダイナミックレンジが撮像素子のダイナミックレンジより大きいかどうかを判定する際、どの程度大きいかを判断し、比率あるいは差が大きいほどダイナミックレンジ拡大撮影モード側に、小さいほど分解能向上撮影モード側に、振るようにモード選択手段が重み付け撮像条件を設定する。このように、撮影モードを判定する工程において基準を択一的とせず、比重を連続的に変化させるように撮像条件を設定することで、より適切な撮像を実現する。
(露光時間調整手段84)
また、撮像条件設定手段83が設定した原画像の露光時間を、さらに所望の値に調整するための露光時間調整手段84を備えてもよい。例えばユーザが操作手段等から、露光時間等の撮像条件をユーザが所望の値に調整する。これにより、露光時間を自動設定した後、ユーザがさらに露光時間調整手段84を用いて微調整でき、より詳細、正確な合成画像の取得に資することができる。
また露光時間を表示部に提示し、これをユーザが露光時間調整手段84を用いてさらに微調整することができる。例えば表示部上に、ダイナミックレンジ拡大撮影モード、又は分解能向上撮影モードのいずれの合成画像撮影モードが選択されているかを表示するモード表示領域を設ける。これにより、自動選択された合成画像撮影モードをユーザが表示画面上から容易に確認できる。また必要に応じてユーザが合成画像撮影モードを切り替えることもできる。
(階調変換手段86)
以上のようにして、モード選択手段で適切な合成画像撮影モードを設定して得られた合成画像は、拡大観察装置側で合成画像撮影モードを把握できるため、合成画像のファイル保存時に合成画像撮影モードの情報についても記録しておくことができる。階調変換手段86が該合成画像データを階調変換するに際して、この合成画像撮影モードの情報を読み込み時に読み出すことで、適切な画像処理を施すことができる。あるいは、露光時間等の撮像条件の情報を記録しておくことでも、これらの情報に基づいて該合成画像データの観察用途がダイナミックレンジ拡大用途のものか、分解能向上用途のものかを判別できる。
一方で、これらの情報が無い場合でも、合成画像自体の画像解析、あるいは合成画像を構成した原画像データを解析することで、観察目的を推測し、適切な画像処理を施すこともできる。
以下、階調変換手段で階調変換を行う一例として、高階調画像である合成画像データを低階調画像(LDR画像)であるトーンマッピング画像に変換する場合を説明する。ただし、本発明は合成画像データの階調変換に限られず、高階調画像一般について、これをよりダイナミックレンジの狭い低階調画像に変換する処理に適用できる。例えば、他の撮像装置で予め撮像、合成された高階調画像や、原画像を経ることなく直接撮像された高階調画像に対しても、そのトーンマッピングに適用できる。
(描画設定手段87)
また、本実施の形態では、高階調画像を低階調画像に変換して表示あるいは出力する際の、画像処理に関する描画パラメータの設定を、高階調画像の種別に応じて適切に自動調整することができる。具体的には、変換対象の高階調画像が、ダイナミックレンジ拡大用途のものか、分解能向上用途のものかを描画設定手段87が自動判別し、ダイナミックレンジ拡大用途の場合はハレーション抑制処理を、分解能向上用途の場合はコントラスト強調処理を、それぞれ設定し、階調変換手段で階調変換を行う。このように、判別された高階調画像の種別に応じて、適切な画像処理を自動的に施すことで、ユーザは描画パラメータの設定を意識することなく、所望の観察用途に適した低階調画像を取得できる。
ダイナミックレンジ拡大用途で使用される場合、画像中に含まれる白とび、黒つぶれ等の飽和を起こしている領域の情報を正しく抽出して描画すればよく、それ以外の領域については撮影前の観察画像とほぼ同様の輝度、色合いに維持する必要がある。一方で分解能向上用途の場合は、撮影前の観察画像では殆ど判別できない細かな模様を大きく強調する必要があり、そのためには描画された画像が原画像と色合い等の点で異なっていても構わないと考えられる。したがって、これら変換対象の画像の種別に応じた適切な階調変換を行えるよう、描画設定手段87が変換対象画像の種別に応じた描画パラメータを設定する。
(シンプルモード)
図17及び図18に、描画設定手段の一形態として、拡大画像観察プログラムでトーンマッピングを行う階調変換コンソール画面のユーザインターフェース画面の一例を示す。図17に示す階調変換コンソール画面300は、階調変換の描画パラメータを自動的に設定する自動設定の画面例として、設定画面を簡素化したシンプルモードを、また図18に示す階調変換コンソール画面300Bは、描画パラメータの設定項目を増やした詳細モードを、それぞれ示している。
これらの階調変換コンソール画面300、300Bでは、階調変換の設定手段を切り替えるための階調変換設定切替手段として、「シンプルモード」チェックボックス366を設けている。すなわち図17の階調変換コンソール画面300で「シンプルモード」チェックボックス366をOFFにすると、図18に示す詳細モードに切り替わり、図18の階調変換コンソール画面300Bで「シンプルモード」チェックボックス366をONにすると、図17に示すシンプルモード画面に戻る。
各階調変換コンソール画面300、300Bには、トーンマッピングの描画パラメータを手動で調整するスライダを設けている。具体的には、図17に示すシンプルモード画面は、明るさスライダ312、テクスチャ強調スライダ322を設けている。各スライダの右側には、現在設定されている数値が表示され、スライダを左右に調整することで、数値を増減できる。また、数値を直接入力して指定するよう構成してもよい。
(詳細モード)
一方、図18に示す階調変換コンソール画面300Bの詳細モード画面では、明るさスライダ312、テクスチャ強調スライダ322に加えて、更にコントラストスライダ332、色味スライダ342を設けている。
各スライダを操作すると、図19から図22に示すように、表示部に表示される低階調画像の画質が変化する。まず図19(a)は、ダイナミックレンジの狭い、分解能向上用途で撮像されたセラミックの合成画像につき、明るさスライダ312を、低く設定した例、図19(b)は、高く設定した例を、それぞれ示している。このように、明るさスライダ312はγ(ガンマ)値を調整して画像の明るさを調整できる。また図20(a)は、同じ試料につき、テクスチャ強調スライダ322を低く設定した例、図20(b)は高く設定した例を示している。このように、テクスチャ強調スライダ322は細かい模様を強調できる。特に分解能向上用途においては、これらの描画パラメータを調整することで、従来観察が困難であった濃淡差の少ない試料に対しても、詳細を観察できる。
さらに図21(a)は、別の試料としてダイナミックレンジの広い半田付けした回路を、ダイナミックレンジ拡大撮影モードで撮影、合成した合成画像につき、コントラストスライダ332を低く設定した例、図21(b)は高く設定した例を、それぞれ示している。このように、コントラストスライダ332は、大まかな明暗を調整できる。また図22(a)は色味スライダ342を低く設定した例、図22(b)は高く設定した例を示す。このように色味スライダ342は、モノトーンからカラー画像に、色合い又は色の鮮やかさを調整できる。このように、ユーザが描画パラメータを手動で調整可能とすることで、個々の観察目的に応じた適切なトーンマッピング画像を取得することができ、さらに必要に応じて保存できる。
シンプルモードにおいては、スライダで設定された明るさ、テクスチャ強調度と、撮影後の描画パラメータの推定結果等から、残りの2つの描画パラメータであるコントラストと色味を自動で調整する。これらの推定結果は、シンプルモードから詳細モードに切り替えた際の各スライダの値に反映される。
さらに図17、図18の階調変換コンソール画面300、300Bの下部には、ファイルの読み出し、保存を行うための各種ボタンも設けられている。この例では、合成画像であるHDR画像を読み出すための「HDR読込」ボタン360、合成画像データを含むトーンマッピング画像を読み出すための「JPEG読込」ボタン362、合成画像データを含むトーンマッピング画像を保存するための「JPEG保存」ボタン364を、各々設けている。
(高階調画像の自動階調変換手順)
ここで、高階調画像を低階調画像に階調変換する手順について、図23のフローチャートに基づいて説明する。まずステップS2401で、HDR画像を取得し、ステップS2402で、これを一旦グレー画像に変換する。次にステップS2403で、グレー画像をさらに対数画像に変換する。そしてステップS2404で、対数画像をテクスチャ画像と概形画像に分離する。具体的には、対数画像に含まれる輝度信号の周波数成分の分布から、細かい模様に関するテクスチャの成分と、全体の概形を示す成分とに、周波数フィルタ等を用いて分離する。ここでテクスチャ画像は、HDR画像のようなダイナミックレンジ拡大撮影モードで撮像された画像のような、ダイナミックレンジの広い範囲にわたる画像の特徴を有している。また概形画像は、セラミックのような分解能向上撮影モードで撮像された画像で得られる細かな模様部分の特徴を有している。さらに、テクスチャ画像については、ステップS2405−1で保持又はテクスチャ画像に対する階調変更処理を、概形画像についてはステップS2405−2で階調変更処理を、それぞれ行う。この結果、ステップS2405−1で階調変更処理を施した場合は、微小な凹凸部分が相対的に強調される。
またステップS2405−2では、概形画像のダイナミックレンジが圧縮され、これにより暗い部分の明るさが相対的に大きくなる。ステップS2405−2での描画パラメータは、概形画像輝度のダイナミックレンジの圧縮率となり、図17、図18の例では「コントラスト」に対応する。この意味でコントラストは、ダイナミックレンジの圧縮パラメータを表現している。
その上で、ステップS2406で、各々の画像に対して重み付き加算を行い分離画像を合成し、グレー画像を出力する。ここでの重み付けは、テクスチャを強調するかどうか、どれくらいの画素を飽和させるか等に応じて配分される。ステップS2406での描画パラメータは、図17、図18の例では「テクスチャ強調度」に対応する。
そしてステップS2407で、グレー画像をカラー画像に変換する。さらにステップS2408で得られたカラー画像に対してγ補正、彩度補正を施して出力画像を得る。ここで、γ補正は、図17、図18の例では「明るさ」に対応し、また彩度補正は「色味」に対応する。
このようにテクスチャ成分と概形成分とに分離して、各々の成分に対して別個の画像処理を施すことができるので、効率よく圧縮できる。すなわち、ダイナミックレンジ拡大用途の高階調画像に対しては、輝度分布を圧縮する際に、細かい凹凸成分まで圧縮されて凹凸感が失われるといった現象を、効果的に防止できる。このようにして、原画像の撮影前の観察状態や撮影時の解析結果、高階調画像の特性等から、ユーザがダイナミックレンジ拡大用途又は分解能向上用途のいずれの目的で、階調変換機能を使用しているかを描画設定手段が推定し、適切に描画パラメータを設定する。
(描画パラメータの手動調整)
また、このような自動設定によらず、ユーザが描画パラメータを手動で設定することもできる。あるいは、階調変換手段による自動設定後に、ユーザがさらに最適な描画パラメータに微調整することもできる。これらの微調整には、上述の通り図18の階調変換コンソール画面300Bが利用できる。
(描画パラメータの設定手順)
次に、具体的な描画パラメータの設定手順について、図24のフローチャートに基づいて説明する。まずステップS2501で、変換対象画像の種別を判定し、これに基づいて描画パラメータの内、テクスチャ増幅率aを設定する。具体的には、原画像の撮影時に判断したユーザの使用目的、高階調画像のダイナミックレンジの少なくともいずれかに基づいて、描画パラメータの内、テクスチャ強調度(テクスチャ増幅率a)を決定する。ここでテクスチャ増幅率aは、ダイナミックレンジが小さいほど大きく設定する。テクスチャ増幅率aは、例えば次式で決定できる。
テクスチャ増幅率a=k−w*log(DR)
(k,w:定数、DR:高階調画像のダイナミックレンジ)
次に、画像の明るさを決定する。明るさは、描画パラメータの内、コントラスト、明るさ(γ)で制御できる。まずステップS2502で高階調画像のダイナミックレンジに基づき、コントラストを決定する。ダイナミックレンジが大きければコントラストを大きくする。そして撮影前の観察画像から、飽和領域の重みが小さくなるように重み付けした、画素値の重み付き平均を求める。さらに増幅率a、コントラストに基づいて上記ステップS2406の重み付き加算までの処理を行った画像に、前述の重みで重み付けした重み付き画素値平均を求める。そしてステップS2503で、2つの重み付き画素値平均が近い値になるように、すなわち撮影前観察画像と表示画像との明るさの変化が少なくなるように、γを決定する。
最後に、ステップS2504でγやコントラストに基づいて、彩度補正パラメータを求める。ここではγ変換時のγの値が大きいほど白っぽく色味のない画像になるため、色味(彩度補正パラメータ)を大きくする。
なおこれらの調整は、自動で行う他、ユーザが調整することもできる。この際、各パラメータに対応する図18の複数のスライダ同士の動作をリンクさせて調整することもできる。例えばγが大きいほど、色味も大きくなるように、スライダの動作を連動させる。図18の例においては、テクスチャ強調スライダ322が大きくなるよう操作する程、分解能向上用途の比重が高くなると思われるため、明るさスライダ312及びコントラストスライダ332が低くなるよう、自動的に調整される。逆に明るさスライダ312を大きくする程、ダイナミックレンジ拡大用途の比重が高くなるため、テクスチャ強調スライダ322を小さく、コントラストスライダ332を大きくするよう、各スライダを連動させて移動させる。加えて、このようなスライダ連動機能をON/OFFさせる切替手段を設けることもできる。一方で、変換対象画像のダイナミックレンジや観察目的に応じて、圧縮率等の描画パラメータを自動で設定することもできる。
(重み付け描画パラメータの設定)
さらに、描画設定手段87でダイナミックレンジ拡大用途又は分解能向上用途のいずれか一方に特化した描画パラメータを択一的に設定する構成のみならず、各用途の比重を考慮して重み付けした描画パラメータを設定する構成とすることもできる。例えば、描画設定手段87で観察用途を解析して、ダイナミックレンジ拡大用途、分解能向上用途それぞれに対する重み付けの係数を演算し、これに従って設定された描画パラメータに従い、階調変換手段で階調変換を行う。これにより、描画パラメータをダイナミックレンジ拡大用途又は分解能向上用途のいずれか一方に固定することなく、両者のバランスを考慮した重み付け描画パラメータを設定できるので、より柔軟な画像表示、観察が行える。また、描画設定手段が観察用途の自動判別に際して誤判別した場合も、描画パラメータの重み付けにより他方の観察用途をある程度反映させた表示結果が期待できる利点も得られる。
描画設定手段で重み付けを演算するには、両観察用途の比重を決定し、これに応じた描画パラメータを設定する。具体的には、どの程度ハレーション除去の比重が高いのか、あるいはコントラスト強調の比重が高いのかに応じて、適切な描画パラメータの設定を行う。例えばダイナミックレンジ拡大用途では、ハレーション除去の比重を高めるために、細かいテクスチャ強調は控えめに設定し、ハレーションしていない部分の明るさの変化を抑える方向に設定される。逆に分解能向上用途では、細かいテクスチャを大きく強調し、また画質や画調が多少変化しても構わない等、コントラストを強調する方向に振った設定とする。これらの条件の方向性に従って、テクスチャの強調度等の描画パラメータを、両観察用途の比重に応じて変化させることができる。また、両観察用途の比重を判断するための基準としては、HDR画像や、撮像時の撮像条件の設定等に基づくことが挙げられる。
(HDR画像に基づく判断基準)
HDR画像を用いた判断においては、HDR画像の最小画素値と最大画素値との比、すなわちHDR画像のダイナミックレンジが判断基準となる。この手法では、ダイナミックレンジが大きければハレーション除去用途の比率が高まるため、テクスチャ強調度を控えめに設定し、逆にダイナミックレンジが小さければテクスチャ強調度を大きめに設定することができる。また、HDR画像の輝度分布も利用できる。例えば、輝度分散が大きく、輝度の分布が広範囲に及ぶ場合は、ハレーション除去の比重が高いと推定できる。
(撮像条件に基づく判断基準)
一方、撮像条件を用いた判断においては、撮像手段であるカメラの露光時間設定が利用できる。すなわちHDR画像撮影前に仮撮影をすることで、シーンのダイナミックレンジを推定できる。そしてHDR画像の撮像に用いた露光時間の範囲は、シーンのダイナミックレンジを反映したものとなる。つまり、露光時間の範囲が広い場合にはハレーション除去の比重が高く、一方露光時間の範囲が狭い、又は単一の露光時間で撮影した場合はコントラスト強調の比重が高くなる。
以上のようにして、観察用途がダイナミックレンジ拡大用途、分解能向上用途のいずれを、どれだけ重視したものかを考慮した上で描画パラメータを設定し、階調変換手段で階調変換を行うことにより、ユーザの観察目的に沿ったバランスのとれた観察が可能となる。
(高階調データ添付表示ファイル)
また本実施の形態によれば、合成画像データを保存する際のファイル形式を、この合成画像を階調変換した低階調画像に添付する形での保存形式とすることができる。そして低階調画像データファイルを、JPEGやTIFF等のユーザ領域を備える汎用的な画像フォーマットとすれば、一般の画像表示プログラムでも低階調画像データ部分を表示できる。また、専用の高階調画像ファイル作成プログラムを使用すれば、この低階調画像の元データである合成画像データも扱うことができるようになり、ファイルの可読性を高めつつ、合成画像データも配布できる。
(保存用ファイル形式)
HDR画像データは8ビット階調をはるかに超える階調を持っているため、通常の8ビット画像と同じ形式で保存すると本来のデータが損なわれる。そのため16ビット、32ビット浮動小数点、その他の特殊な符号化を施した形式での保存が一般的である。しかしながら、このような特殊なファイル形式に対応した画像表示ソフトは一般に普及しておらず、殆どのユーザは、通常使用している画像表示ソフトでHDR画像を閲覧することができない。そこで本実施の形態に係る拡大観察装置では、通常のJPEG、TIFFといった画像形式で表示画像を保存し、そのメタデータとしてHDR画像を保存する。これにより、ユーザは普段使用している画像表示ソフトで表示画像を使用できるようになる。
(高階調画像の表示)
描画パラメータを変更することで、その明るさ、テクスチャの強調度、色合い等を変更することができる。描画パラメータを変更したときの例が図25、図26の画像である。これらの図に示す画像はいずれも同一のHDR画像から作成した表示用画像である。図26では細かいテクスチャが強調されていることが判る。また描画パラメータの変更が可能な専用の画像編集プログラムを用いれば、メタデータを読み込むことで、HDR画像の描画パラメータを変更することができる。これによってユーザは撮影したHDR画像を各自のコンピュータで編集し、さまざまな表示用画像を作成することができる。なお、このようなテクスチャ強調を一般の8ビット画像に適用することもできるが、HDR画像と異なり階調に制限があるため、細かいグラデーション等が表現できないことがある。これに対しHDR画像では豊富な階調を持っているので、細かいグラデーションも美しく表現できる。
また、高階調データ添付表示ファイルには、低階調画像の階調変換時の描画パラメータを記録することもできる。これにより、高階調画像ファイル作成プログラムを使用すれば、低階調画像を作成する際に用いた描画パラメータを確認できる。これにより、ユーザはファイル毎に一々メモをとる等して描画パラメータを記憶しておく必要が無く、ファイルに一元的に情報を管理させて極めて使いやすい高階調データ添付表示ファイルとできる。
さらに、異なる描画パラメータで新たに階調変換した低階調画像に更新し、高階調データ添付表示ファイルの低階調画像データを差し替えることもできる。このように、表示用の低階調画像データにそれを生成する基となった高階調画像データを付与することにより、低階調画像の可読性を高め、さらに低階調画像の再チューニングも可能としている。
(高階調データ添付表示ファイルの構造)
図27に、高階調データ添付表示ファイルの構造を示す。この図は、JPEG,TIFF等一般的な画像ファイルの構造と対応させており、ヘッダ領域とデータ領域からなる。ヘッダ領域には、一般的に画像の縦横幅等が格納されている。またヘッダ領域には通常、ユーザが書き込めるユーザ設定領域が設けられている。そこで、この領域に高階調データが存在することを示すフラグを挿入する。一方、データ領域には、低階調画像をJPEG、TIFF等に準拠した8ビットのデータとして保存する。さらに低階調画像データの末尾に、メタデータ扱いで高階調画像領域を設け、ここに高階調画像のヘッダ、及びデータを記録する。高階調画像のヘッダ領域には合成画像データのファイルサイズ等の情報が、高階調画像のデータ領域には合成画像の実データが保存される。実データの保存形式は、既知の32ビット浮動小数点TIFF、log Yuv、OpenEXR等が適宜利用できる。またデータサイズについて非圧縮、可逆圧縮のフォーマットも採用できる。さらに高階調画像領域に、低階調画像の階調変換時の描画パラメータを記録する描画パラメータ保持領域を設けることもできる。また描画パラメータ保持領域は、ユーザ設定領域に設けてもよい。
高階調データ添付表示ファイルは、例えば16ビットの合成画像を8ビットの低階調画像に階調変換した場合、低階調画像データを8ビット表示系のJPEG、TIFF等の汎用的な画像フォーマット形式で保存する。このような画像ファイルには、ユーザが設定可能なユーザ設定領域が存在するため、この部分に合成画像データを含んでいる旨の情報、及び該合成画像から低階調画像に階調変換した際の描画パラメータを記録する。また合成画像データは、浮動小数点等を使用したファイル形式の他、データサイズを圧縮することもできる。データ圧縮方式は既知の方式が適宜採用できる。高階調画像データをファイルに保存する際、多階調データを適当な階調変換手法で従来の8ビット表示系に表示していたときの表示画像データをJPEG、TIFF等の一般的な画像フォーマットで保存し、そのファイルの末尾に多階調データ、多階調データから表示画像データを作成するための表示用パラメータ等のデータを付加して保存する。
(テクスチャ成分、概形成分の抽出、分離)
さらに、高階調データ添付表示ファイル作成時にテクスチャ成分を抽出し、抽出されたテクスチャ成分をファイルに付加することで、ファイルオープンに要する時間を短縮化できる。従来、合成画像をモニタ等に表示する際に、テクスチャを強調して表示するには、テクスチャ成分を合成画像から抽出する作業が必要となり、処理時間がかかるという問題があった。これに対して、ファイル保存時に予めテクスチャ成分を分離して保存しておくことにより、このようなテクスチャ抽出の計算量を短縮でき、ファイルを開いてテクスチャ処理した画像を表示するまでの処理を高速又は低負荷とできる。この場合、テクスチャデータを付加することで高階調データ添付表示ファイルのファイルサイズが増大することになる。そこで、合成画像データからテクスチャ成分を抽出した概形成分を保存し、さらに概形成分を高いデータサイズ圧縮率で保存することにより、ファイルサイズの増大を抑制できる。特に概形成分は一般に変化が少ないため、データサイズ圧縮率を高くしても画質の劣化が少なくて済むという利点が得られる。これにより、データサイズ圧縮率を高めファイルサイズを低減しつつ、画質の劣化も抑制した効率のよいファイル保存が図られる。
(対応画素リンク機能)
さらに、低階調画像と合成画像の画素をリンクさせ、低階調画像上で任意の画素を指定することで、この位置における合成画像の画素値を表示させる対応画素リンク機能を持たせることもできる。合成画像から低階調画像に階調変換することで、表示部に表示される低階調画像は本来の色あいで表示されていないことがある。そこで、低階調画像と合成画像の座標位置を対応させて各画素をリンクさせることにより、低階調画像上で指定された点に対応する合成画像のデータを参照し、情報を読み取って表示させることができる。例えば図19等の画面上から、ユーザがマウス等のポインティングデバイスで低階調画像上の任意の点をクリックすると、該位置と対応した合成画像上の画素値が読み込まれ、表示部上に画素値やその座標位置等の情報が表示される。また、低階調画像上で任意の2点を指定して、その色度差を合成画像の対応位置から演算して表示させることもできる。このような対応画素リンク機能は、例えば画像演算部81を対応画素リンク手段として機能させることにより実現される。このようにHDR画像とLDR画像とを関連付けることにより、表示部の画面上からは判別できない微妙な色の変化等を確認することができる。
(高階調データ添付表示ファイルの作成、保存手順)
次に、高階調データ添付表示ファイルを作成し保存する手順を説明する。まず、複数枚の原画像を合成した合成画像データを構築し、必要に応じて保存する。このデータ構築時に、合成画像からテクスチャ成分の抽出が行なわれる。
次に、合成画像を低階調画像として表示するための描画処理を行う。この際の描画パラメータは、高階調画像ファイル作成プログラムで自動設定される。あるいは、ユーザが自分で設定し、あるいは自動設定された値を微調整してもよい。ここで、描画処理された画像データのファイル形式としてはJPEG,TIFF等の汎用的な画像フォーマットを利用する。このような画像ファイルには、ユーザが利用可能なユーザ設定領域が存在するため、その領域に高階調画像データの有無を示すフラグデータ、高階調画像データの結合領域アドレス、高階調画像データのサイズを書き込む。さらにデータ領域中の指定領域に、高階調画像データを結合した低階調画像ファイルを作成する。また高階調画像領域に設けられた描画パラメータ保持領域に、先の描画パラメータも併せて保存する。具体的な保存の指示は、階調データ保存手段の一形態として図17、図18の階調変換コンソール画面300、300Bの下部に設けられた「JPEG保存」ボタン364を押下して行う。このボタンを押下すると、「名前を付けて保存」ダイヤログが表示され、ユーザは所望のファイル名を指定して、さらに保存形式を指定する。ファイル形式としては、JPEGの他、TIFFが選択できる。また合成画像のみを保存する場合は32ビット浮動小数点TIFF、log Yuv、OpenEXR等が指定できる。あるいは、トーンマッピング画像のみを表示したい場合は、JPEG、TIFF、BMP等が指定できる。
このようにして作成した高階調データ添付表示ファイルは、低階調画像データ部分を一般的な画像表示プログラムで表示可能となる。一方、専用の高階調画像ファイル作成プログラムを用いることで、高階調データ添付表示ファイルの末尾に付加された高階調画像データを表示できる。図17、図18の階調変換コンソール画面300、300Bから「JPEG読込」ボタン362を押下すると、ファイル選択ダイヤログが表示され、ユーザは所望のファイルを指定する。高階調画像ファイル作成プログラムで高階調データ添付表示ファイルを開く際は、まず高階調画像データの結合フラグを確認する。高階調画像データが結合されている画像ファイルであれば、高階調画像データを読み込み、さらに描画パラメータ保持領域に保存された描画パラメータを読み出して、この描画パラメータに従い描画処理を行って表示する。
この状態で、さらにユーザが描画パラメータを再設定して低階調画像を変更することも可能であり、ファイル保存時には、古い低階調画像を変更した新しい低階調画像に差し替えて保存することができる。高階調データ添付表示ファイルの低階調画像を更新する際は、描画パラメータ保持領域の描画パラメータも併せて更新される。さらに、高階調画像データの結合を解除し、合成画像と低階調画像に分離させたり、逆に分離された合成画像と低階調画像とを結合することもできる。
このように、従来HDR画像等の高階調画像のファイル形式は汎用的なものでないため、通常の画像表示プログラムの殆どでは表示できなかったが、この方法であれば少なくとも低階調画像は容易に表示できるようになり、データの内容が把握できるので、高階調画像データの配布には好適である。また高階調画像ファイル作成プログラムを使用すれば、高階調画像データも扱えるため、ファイルの汎用性と特殊性を両立させることができる。特に高階調画像ファイル作成プログラムを使って、描画パラメータを調整した低階調画像に差し替えることもできる。また、ファイルサイズの大きい高階調画像データを付加することで高階調データ添付表示ファイルのファイルサイズが巨大化する点については、合成画像データのデータサイズを圧縮して付加することにより抑制できる。
(合成画像の取得、表示、保存)
本実施の形態に係る拡大観察装置を用いた合成画像の取得と表示、データ保存の流れを、図28に示す。この図に示すように、露光時間を適切に変化させて撮影した複数の8ビット画像を合成し、高階調画像であるHDR画像を生成する。このHDR画像は階調が非常に幅広く、最大コントラストと最小コントラストの比が10000:1程度となる。またHDR画像データは、浮動小数点等を利用して記録される。一方、このHDR画像をモニタ等の表示部52に表示する際は、表示部52で表示可能な8ビット(265階調)等のトーンマッピング画像データに、階調変換(トーンマッピング)する。これによりダイナミックレンジに制限のある表示部でも、高階調のHDR画像を8ビットのカラー画像で表示できる。なお、階調変換処理時の描画パラメータ設定により、トーンマッピング画像は大幅に変化する。
(埋め込み画像ファイル保存)
HDR画像データやトーンマッピング画像データは、それぞれ個別に所定の形式で保存する他、HDR画像を埋め込んだ形でトーンマッピング画像データを保存することもできる。この埋め込み画像ファイルは、先頭にトーンマッピング画像データ、末尾にHDR画像データを記録する。このHDR画像データはメタデータ扱いとなる。このファイルは、汎用的な画像フォーマット形式とできるので、一般の画像表示プログラムでトーンマッピング画像データを表示できる。また、トーンマッピング画像データを扱える専用のソフトを使用すれば、HDR画像から新たにトーンマッピング画像データを生成すると共に、トーンマッピング画像データを更新することができる。これにより、画像の扱いやすさを維持しつつ、HDR画像としての利用も図ることができる。特に、ユーザが好みの画像となるように描画パラメータを設定して差し替えることができるという利点が得られる。