JP2013152334A - 顕微鏡システムおよび顕微鏡観察方法 - Google Patents

Abstract

【課題】顕微鏡で観察する画像に対して最適な画像処理を施すことが可能な顕微鏡システムおよび顕微鏡観察方法を提供すること。
【解決手段】顕微鏡により観察する被写体を撮像する撮像手段と、前記撮像手段により撮像された被写体画像に対して画像処理を行う画像処理手段と、前記画像処理手段により画像処理が施された被写体画像を表示する表示手段とを備え、前記画像処理手段が、ダイナミックレンジ改善モードと微細構造強調モードとを有し、前記ダイナミックレンジ改善モードと前記微細構造強調モードのそれぞれにおいて、高速モードと高精度モードとを有する。
【選択図】図１

Description

本発明は、顕微鏡で観察する画像に対して最適な画像処理を施す顕微鏡システムおよび顕微鏡観察方法に関する。

従来、デジタル画像技術の発展に伴い、顕微鏡とデジタル撮像装置が組み合わされ、デジタル撮像された画像にデジタル画像処理を適用することで、画像のＳＮ比（信号雑音比；Signal-Noise ratio）やコントラスト、ダイナミックレンジを改善することも多くなった。

例えば、位相差観察やＤＩＣ（Differential Interference Contrast；微分干渉）ではコントラストが不足しがちであるので、各種階調変換処理を施してコントラストを上げている。また、工業系の被写体を明視野観察で観察するときにはダイナミックレンジが不足しがちであるので、ハイダイナミックレンジ（ＨＤＲ；High Dynamic Range）処理を適用する（例えば、特許文献１参照。）。

ＨＤＲ処理は通常、異なる露出時間を有する画像を合成して高階調画像を作成する異露光画像合成処理と、その高階調画像を表示機器に表示可能な階調へ圧縮する階調圧縮処理から構成される。ここで、階調圧縮時に画像のコントラストが失われないように、コントラストを保存したまま階調圧縮する方法が知られている。例えば、人の視覚は照明光を除去して外界を見る明暗恒常性や色恒常性を備えているという、Retinex（レチネックス）理論を利用したRetinex処理に代表されるように、高階調画像を照明光成分と反射率成分に分け、主に照明光成分は階調圧縮する一方で反射率成分を保存し、再度両者を合成する。すると、画像の細部の情報は反射率成分に含まれるためにコントラストを保存したまま高階調画像を階調圧縮することが出来る。

また、必ずしも前述のように異露光画像合成処理を伴わなくても、１枚の入力画像において画像のダイナミックレンジを改善することも出来る。各種階調変換のうち簡単なものの１つは広義のガンマ変換であり、ガンマ値を強くすれば暗部の画素値が強く持ち上がる。自動露光（ＡＥ；Automatic Exposure）と組み合わせれば暗部も明部も観察できるようになり、画像のダイナミックレンジを拡大できたと言えるが、一方で画像の細部の階調情報を潰してしまうためにコントラストが下がってしまう。しかし、微小領域毎に最適に階調変換カーブを決定すれば画像の細部を保存したまま階調変換を行うことが出来る。このような適応型階調変換の１つに例えばORMITアルゴリズムがある（特許文献２参照。）。

特開２００８−３０１３３２号公報 特表２００４−５３０３６８号公報

前述したＨＤＲ処理および適応型階調変換処理は、速度と画質の点でお互いに長所と短所を補い合う関係がある。
ＨＤＲ処理は、異露光画像合成処理を伴うため動画に適用した場合に特有の課題が発生する。すなわち、処理時間がかかるために表示フレームレートが落ちることや、異露光画像が位置ずれして合成されることなどである。合成枚数を減らせばそれらの課題は緩和されるが、合成枚数（１枚も含む）が少なくなって合成後階調数が低い場合は、適応型階調変換処理の方が画質改善効果が大きい。

そこで、異露光画像合成によって作成された高階調画像を適応型階調変換処理に入力してダイナミックレンジ拡大画像を作成する構成も考えられるが、ＨＤＲ処理の方が有利な場合がある。例えば、微細構造を観察したい場合では、微細構造は反射率成分に含まれるため、照明光成分と反射率成分を分離、個別調整できるＨＤＲ処理の方が望ましい。よって、適応型階調変換処理とＨＤＲ処理のそれぞれの特性を活かせるように使い分けをしたい。

また、前述ＨＤＲ処理および適応型階調変換処理は、明視野観察によらず顕微鏡の各検鏡法において相性が良い。
例えば、暗視野観察では暗い背景にエッジやキズやゴミが輝く。ところが、小さなキズやゴミは画像が暗すぎると暗い背景に埋もれてしまうため観察できない。一方で、画像を明るくすると、それまで良く識別できていた箇所が飽和する。大きなエッジやキズ・ゴミがある場合も飽和が発生してその箇所が観察しにくくなる。この課題は暗視野観察へダイナミックレンジ拡大処理を適用することによって解決できる。ＨＤＲ処理と適応型階調変換処理のどちらにもダイナミックレンジ拡大の効果がある。

例えば、位相差観察やＤＩＣを使うと明視野では識別しにくかった輪郭や微細構造が観察できるようになる。ところが、それでもコントラストが不足しがちで画像の細部が不明瞭のままという場合もあり、標本の微細構造を光学的に強調した上で、さらに画像処理で微細構造を強調したいケースがある。構成によるが、ＨＤＲ処理と適応型階調変換処理のどちらにも微細構造強調の効果がある。

本発明は、前述のような実状に鑑みたものであり、顕微鏡で観察する画像に対して最適な画像処理を施すことが可能な顕微鏡システムおよび顕微鏡観察方法を提供することを目的とする。

本発明は、前記課題を解決するため、下記のような構成を採用した。
すなわち、本発明の一態様によれば、本発明の顕微鏡システムは、顕微鏡により観察する被写体を撮像する撮像手段と、前記撮像手段により撮像された被写体画像に対して画像処理を行う画像処理手段と、前記画像処理手段により画像処理が施された被写体画像を表示する表示手段とを備え、前記画像処理手段が、ダイナミックレンジ改善モードと微細構造強調モードとを有し、前記ダイナミックレンジ改善モードと前記微細構造強調モードのそれぞれにおいて、高速モードと高精度モードとを有することを特徴とする。

また、本発明の顕微鏡システムは、前記高速モードがヒストグラム平滑化処理と重み関数を組み合わせたものであり、前記重み関数によって前記ヒストグラム平滑化効果が階調に依存して変化することが望ましい。

また、本発明の顕微鏡システムは、前記重み関数が前記微細構造強調モードの場合は全階調に渡って同一の重みを有し、前記ダイナミックレンジ改善モードの場合は低階調側において効果が強く高階調側で効果が弱くなるように重みを有することが望ましい。

また、本発明の顕微鏡システムは、前記重み関数を調整することにより前記ダイナミックレンジ改善モードと前記微細構造強調モードの間の性質を有する複数のモードを有することが望ましい。

また、本発明の顕微鏡システムは、前記重み関数の調整の他に、ゲイン調整手段と、自動露出手段と、画像処理効果全体の強度を調整する手段と、ノイズリダクション手段の何れかを備え、前記重み関数と組み合わせることを特徴とし、前記ダイナミックレンジ改善モードのデフォルト設定を検鏡法別に有し、検鏡法の切り替えに応じて、ゲイン調整と自動露出条件と重み関数と強度とノイズリダクション強度が組み合わせられ、前記微細構造強調モードのデフォルト設定を検鏡法別に有し、検鏡法の切り替えに応じて、ゲイン調整と自動露出条件と重み関数と強度とノイズリダクション強度が組み合わせられることが望ましい。

また、本発明の顕微鏡システムは、前記高精度モードにおいて、異なる露光条件の複数枚の画像を合成する異露光画像合成手段と、前記異露光画像合成手段によって作成された高階調画像を前記表示手段の階調へ変換するための階調変換手段とを備えたことが望ましい。

また、本発明の顕微鏡システムは、前記階調変換手段が、前記高階調画像を照明光成分と反射率成分へ分離する手段と、照明光成分と反射率成分をそれぞれ異なる方法で階調操作する手段と、階調操作した照明光成分と反射率成分を合成する手段とを備えたことが望ましい。

また、本発明の顕微鏡システムは、前記階調変換手段が、ダイナミックレンジ改善モードの場合は、前記照明光成分の階調変換率に比べて前記反射率成分の階調変換率が低くなるように調整して、階調情報がつぶれない程度に階調変換し、微細構造強調モードの場合は、ダイナミックレンジ改善モードに比べて前記反射率成分を強くして、微細構造を強調しつつ階調変換することが望ましい。

また、本発明の顕微鏡システムは、ユーザからの顕微鏡制御に合わせて、前記高速モードと前記高精度モード、及びそれらの間の性質を有しモードのうちいずれかが選択されることが望ましい。

また、本発明の顕微鏡システムは、前記顕微鏡操作がＸＹＺ移動量であり、ＸＹＺ移動のうち何れかの方向の操作量が大きい場合は前記高速モードを選択し、ＸＹＺ移動のうち何れの方向でも操作量が大きくない場合は前記高精度モードを選択することが望ましい。

また、本発明の顕微鏡システムは、前記顕微鏡操作が動画画面の変化量が大きくなる操作であり、動画画面の変化量が大きい操作の場合は前記高速モードを選択し、動画画面の変化量が小さい操作の場合は前記高精度モードを選択することが望ましい。

また、本発明の顕微鏡システムは、前記顕微鏡操作が動画、撮像、録画の開始ボタンや停止ボタンの操作であり、動画においては前記高速モードを選択し、撮像と録画においては前記高精度モードを選択することが望ましい。

また、本発明の一態様によれば、本発明の顕微鏡観察方法は、顕微鏡により観察する被写体を撮像手段で撮像し、前記撮像された被写体画像に対して画像処理を行ない、前記画像処理が施された被写体画像を表示装置に表示する顕微鏡システムが実行する顕微鏡観察方法であって、前記画像処理が、ダイナミックレンジ改善モードと微細構造強調モードとを有し、前記ダイナミックレンジ改善モードと前記微細構造強調モードのそれぞれにおいて、高速モードと高精度モードとを有することを特徴とする。

本発明は、顕微鏡で観察する画像に対して最適な画像処理を施すことができる、という効果を奏する。

第１の実施の形態における顕微鏡システムの構成を例示する図である。 第１の実施の形態における顕微鏡システムの表示部に表示されるＧＵＩ画面を例示する図である。 第１の実施の形態における画像改善処理の流れを示すフローチャートである。 ヒストグラム平滑化処理と組み合わせる重み関数の種類とその効果を説明するための図である。 第１の実施の形態における適応型階調変換処理の流れを示すフローチャートである。 検鏡法と撮影モード別の重み関数等の設定例を示す図である。 第１の実施の形態における階調圧縮処理の流れを示すフローチャートである。 反射率線分の強調係数と仮の強調圧縮率との関係を示す図である。 検鏡法と撮影モードとの組み合わせの概要を示す図である。 第１の実施の形態の変形例１における顕微鏡システムの表示部に表示されるＧＵＩ画面を例示する図である。

以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
前述したＨＤＲ処理や適応型階調変換処理は、エッジ、コントラスト、テクスチャ、微細構造を強調する目的で適用することが出来る。ＨＤＲ処理においては照明光成分に比べて反射率成分を強くすればよい。また、適応型階調変換処理においては階調変換カーブをコントラストが強調できる形にすればよい。

本発明を適用した顕微鏡システムでは、これらの画質改善処理を動画と静止画の両方に適用する。ユーザは標本をステージに置いた後に、観察位置を探すためにステージのＸＹ操作、ピント合わせ、明るさの調整などの大きな画面変動を伴う操作を行う。この場合は動画を観察するために画質改善処理を高速に適用する。一方で、観察位置を固定した後に撮像や測定を行う場合は、比較的高速でなくても構わない。画質改善処理を適用した動画像のうちの１枚を抽出しても構わないし、新たに静止画を取得して画質改善処理を適用しても構わない。
本発明を適用した顕微鏡システムは、顕微鏡により観察する被写体を撮像するデジタルカメラ等の撮像手段を有する。また、撮像手段と接続されたパーソナルコンピュータ等の情報処理装置が、撮像手段から出力された被写体画像に対して画像処理を実行する。そして、画像処理が施された被写体画像を表示装置に表示する。画像処理は、ダイナミックレンジ改善モードと微細構造強調モードとを有する。そして、前記ダイナミックレンジ改善モードと前記微細構造強調モードは、それぞれ高速モードと高精度モードとを有する。

（第１の実施の形態）
図１は、第１の実施の形態における顕微鏡システムの構成を例示する図である。図２は、第１の実施の形態における顕微鏡システムの表示部に表示されるＧＵＩ（Graphical User Interface）画面を例示する図である。図３は、第１の実施の形態における画像改善処理の流れを示すフローチャートである。図４は、ヒストグラム平滑化処理と組み合わせる重み関数とその効果を説明するための図である。図５は、第１の実施の形態における適応型階調変換処理の流れを示すフローチャートである。図６は、検鏡法と撮影モード別の重み関数等の設定例を示す図である。図７は、第１の実施の形態における階調圧縮処理の流れを示すフローチャートである。図８は、反射率線分の強調係数と仮の強調圧縮率との関係を示す図である。図９は、検鏡法と撮影モードとの組み合わせの概要を示す図である。

図１において、顕微鏡システム１は、異露光画像合成部４３と適応型階調変換部４４と階調圧縮部４５を含み、ダイナミックレンジ改善手段と微細構造強調手段を備える。さらに、それぞれ高速モードと高精度モードを備えることにより、検鏡法と利用シーンに応じて画質と処理時間のバランスを適切に設定することができる。なお、本第１の実施の形態では、種々の設定を入力する手段である設定取得部４１として、ＧＵＩ画面が例示されている。

顕微鏡システム１は、標本１１の光学像を形成する顕微鏡２と、顕微鏡２で形成された光学像を画像化するデジタルカメラ等の撮像装置２０と、撮像装置２０の検鏡法を切り替える制御部３１を有するコンピュータ３０を備える。コンピュータ３０は、撮像装置２０で生成された画像データ（原画像）に対して画質を改善するための画像処理を実行することにより検鏡法の光学的特性に由来する画像的特徴を強調または補完する。

顕微鏡２は、蛍光観察を含む各種検鏡法を切替えて利用することが可能であり、検鏡法に応じて使用される、透過照明用の光源３、落射照明用の光源４、ハーフミラー１５等を含んでいる。

顕微鏡２の透過照明光路３ａ上には、光源３から標本１１に向かって順に、コレクタレンズ５、ミラー６、窓レンズ７、視野絞り（ＦＳ；Field Stop）８、開口絞り（ＡＳ；Aperture Stop）９、コンデンサレンズ１０が配置されている。一方、落射照明光路４ａ上には、コレクタレンズや、図示しないＡＳ及びＦＳ、対物レンズ１２に加え、ハーフミラー１５（蛍光観察の場合は交換可能なキューブユニット１５）等が配置されている。また、観察光路Ｓ上には、標本１１側から順に、対物レンズ１２、ハーフミラー１５（またはキューブユニット１５）、結像レンズ１３、ポート１４が配置されている。

照明光路３ａ、４ａや観察光路Ｓには、さらに、各種フィルタや偏光素子等の光学素子が配置されてもよい。また、対物レンズ１２やハーフミラー１５（またはキューブユニット１５）は、観察倍率や検鏡法に応じて切り替え可能に配置されている。

撮像装置２０は、標本１１からの光を電気信号に光電変換する撮像素子２１と、撮像素子２１の駆動を制御する撮像素子駆動部２２と、撮像素子２１から出力される電気信号を映像信号に変換する前置処理部２３と、映像信号をデジタル画像信号データに変換するＡ／Ｄ変換部２４と、信号処理部２５と、バス２６と、制御部２７と、コンピュータ３０と接続されたＩ／Ｆ部２８とを備える。

コンピュータ３０は、制御部３１と、操作部３２と、Ｉ／Ｆ部３３と、表示部３４と、記録部３５と、画像改善部４０と、を含んでいる。さらに、画像改善部４０は、設定取得部４１と、異露光画像合成部４３と、適応型階調変換部４４と、階調圧縮部４５とを備える。

標本１１を落射照明で観察する場合、標本１１の原画像は、顕微鏡２と撮像装置２０が以下のように動作することによりコンピュータ３０に出力される。
まず、落射照明用の光源４から射出された照明光は、コンデンサレンズを通過して、図示しないＦＳ、ＡＳを介してハーフミラー１５へ入射する。ハーフミラー１５で反射された照明光は、対物レンズ１２により標本１１に照射される。

照明光が照射された標本１１から、反射光が戻ってくる。反射光は、対物レンズ１２を介して、ハーフミラー１５へ入射する。この際、ハーフミラー１５は標本１１からの反射光を透過させるため、結像レンズ１３を介して、ポート１４から撮像素子２１に向けて射出される。

ポート１４に接続された撮像装置２０には、結像レンズ１３により標本１１の光学像が投影される位置に、ＣＣＤ（Charge Coupled Device；電荷結合素子）などの撮像素子２１が配置されている。撮像素子２１は、撮像素子駆動部２２からの駆動信号に基づいた露光時間で駆動され、その間入力される標本１１の光学像（または蛍光）を光電変換し、前置処理部２３へ電気信号を出力する。

電気信号が入力された前置処理部２３は、撮像素子駆動部２２からの制御パルスを受信し、電気信号をＲ（赤）、Ｇ（緑）、Ｂ（青）の各色の映像信号に変換してＡ／Ｄ変換部２４へ出力する。Ａ／Ｄ変換部２４は、撮像素子駆動部２２からのクロック信号に基づいて、映像信号をデジタル画像データに変換して出力する。

Ａ／Ｄ変換部２４から出力されたデジタル画像データは、信号処理部２５により、色補正、階調補正などの信号処理が行われた後に、バス２６、制御部２７、Ｉ／Ｆ部２８を介して、原画像としてコンピュータ３０の記録部３５へ出力される。

コンピュータ３０では、操作部３２を介して入力されたユーザから指示により、検鏡法に由来する画像的特徴を改善するプログラムが起動されると、表示部３４に、図２に例示されるＧＵＩ画面５００が表示される。ＧＵＩ画面５００は、検鏡法を切り替える設定入力手段５０２〜５０７と、通常画像および改善後画像を表示する画像表示領域５０１と、動画表示処理を実行させるボタン５１２と、処理時間と画質のバランスを選択するラジオボタン５０８と５０９と、ダイナミックレンジ改善処理をオンまたはオフするボタン５１０と、微細構造強調処理をオンまたはオフするボタン５１１を備える。

図２の例示では、検鏡法の初期状態としてボタン５０２が選択されている。この状態でボタン５０３〜５０７の何れかを選択すれば、検鏡法を切り替えることが出来る。ボタン５０２〜５０７は、それぞれＢＦ（明視野）、ＤＦ（暗視野）、ＤＩＣ（微分干渉）、ＰＨ（位相差）、ＰＯ（偏光）、ＦＬ（蛍光）に相当する。なお、検鏡法は図２に例示される構成に限定されない。

図２において、ライブ開始ボタン５１２が押されるとライブ画像の表示（以下、ライブという）が実行され、ライブ中にボタン５１２が押されるとライブが停止される。また、ダイナミックレンジ改善モードのボタン５１０がオン状態でライブ開始ボタン５１２が押されると、ダイナミックレンジ改善状態のライブ画像が表示される。

また、微細構造強調モードのボタン５１１がオン状態でライブ開始ボタン５１２を押すと、微細構造強調状態のライブ画像が表示される。
図２の例示では、高速モードのラジオボタン５０８が初期状態として選択されている。この状態でボタン５１０がオン状態にされボタン５１２が押し下げられれば、ダイナミックレンジ改善処理を適用した動画処理が、低精度ではあるが高速に実行される。一方ボタン５１１がオン状態にされボタン５１２が押し下げられれば、微細構造強調処理を適用した動画処理が、低精度ではあるが高速に実行される。また、高精度モードのラジオボタン５０９が選択され、同様の操作が行われれば、ダイナミックレンジ改善処理または微細構造強調処理が、低速ではあるが高精度に実行される。

なお、ＧＵＩ画面は、図２に例示される構成に限定されない。例えば、速度と画質のバランスを調整するＧＵＩコントロールはラジオボタン５０８と５０９に限らず、代わりに任意のＧＵＩコントロールを含んで構成されてもよい。

次に、図１乃至図５を参照しながら、本第１の実施の形態に係る顕微鏡システム１による検鏡法に特有の画像的特徴を改善する処理について説明する。
図１に例示される顕微鏡システム１では、検鏡法に由来する画像的特徴を改善するプログラムが起動されると、コンピュータ３０の表示部３４へ、図２に例示されるＧＵＩ画面５００が表示される。

初期状態として、ここではボタン５０２がオン状態となっており、検鏡法の明視野観察が実行される。制御部３１は、顕微鏡２を明視野観察の設定にする。
ユーザによる操作で、ラジオボタン５０８が選択された状態でボタン５１０がオン状態にされボタン５１２が押下されると、顕微鏡システム１では、高速モードおよびダイナミックレンジ改善モードで、図３に例示される画像改善処理が実行される。

画像改善部４０により実行される画像改善処理は、図３に例示されるように、大きく分けて、設定取得処理Ｓ１００と、高速モードまたは高精度モードの分岐処理Ｓ１０２と、適応型階調変換処理Ｓ１０３と、異露光画像合成処理Ｓ１０４と、階調圧縮処理Ｓ１０５から構成されている。

画像改善処理が開始されると、コンピュータ３０でステップＳ１００の設定取得処理が実行される。
具体的には、まず、制御部３１の指示により、設定取得部４１は、顕微鏡システム１の制御状態を含むＧＵＩの設定情報を取り込む。これらの設定情報には、入力設定手段であるＧＵＩ画面５００から入力された検鏡法の種類、高速モードか高精度モード、ダイナミックレンジ改善モードか微細構造強調モード、後述するＡＥ条件などがあり、これらの設定情報を撮影モードと定義する。

次に、ステップＳ１０２において、設定取得部４１で取得された撮影モードのうち高速モードか高精度モードかを判断する。
高速モードの場合は、ステップＳ１０３において、適応型階調変換部４４による適応型階調変換処理が実行される。高精度モードの場合は、ステップＳ１０４において、異露光画像合成部４３による異露光画像合成処理が実行され、ステップＳ１０５において、階調圧縮部４５による階調圧縮処理が実行される。ここで、異露光画像合成部４３は、露光条件の異なる複数の画像を合成して、ダイナミックレンジを拡大する処理であり、高精度にダイナミックレンジ改善または微細構造強調を行うときに必要となる。

例えば、ステップＳ１０２で高速モードが選択されていると判断された場合、適応型階調変換部４４による適応型階調変換処理が開始される（ステップＳ１０３）。この適応型階調変換部４４による適応型階調変換処理について図５を用いて説明する。

適応型階調変換部４４による適応型階調変換処理は、高速という条件を満たしながら画像を改善する処理である。従来のビデオ顕微鏡法として使用される画像改善処理には、ヒストグラム平滑化、ヒストグラム拡大などの濃淡変換や空間フィルタリングや周波数フィルタリングなど様々な画像処理が挙げられる。本第１の実施の形態では、適応型階調変換処理という共通の構成で、高速という条件を満たしつつ様々な検鏡法に適した画像改善を行うことができる。

本第１の実施の形態を適用した適応型階調変換処理の一例として、適応型ヒストグラム平滑化処理に重み関数を組み合わせた処理を上げる。適応型ヒストグラム平滑化処理は、局所的にヒストグラム平滑化を行うことにより、領域毎に最適にコントラストを上げる処理である。さらなる具体例としてはORMITアルゴリズムが挙げられる。そして、本第１の実施の形態における重み関数は、階調別の重みを変えることにより、階調別にヒストグラム平滑化処理の効果を変えることができる。重みを変えた結果、ヒストグラム平滑化効果を低階調側では強く高階調側では弱くすることによって、コントラストを維持しつつ暗部を持ち上げてダイナミックレンジを改善することが出来る。

図４に例示したように、（ａ）のような直線的な重み関数を指定すればヒストグラム平滑化効果が支配的であり、局所的にコントラストを改善できる。これは結果的に画像の微細構造を強調する効果がある。一方で、図４の（ｃ）のように上に凸の曲線を指定すれば、ヒストグラム平滑化効果によってコントラストを保存しながら暗部を持ち上げる効果が出る。これは画像の見た目のダイナミックレンジを改善できることを意味している。また、図４の（ｂ）は、図４の（ａ）と（ｃ）の中間的な効果を持つ例である。ここで、図４の（ｂ）や（ｃ）のように暗部を持ち上げる効果のある重み関数と、暗めのＡＥを併用することにより、画素の飽和を抑制しながら画像の見た目のダイナミックレンジを改善することができる。また、この適応型階調変換処理は、異露光画像合成なしの原画像においても効果があるため、動画の１フレームから適用が可能であり、従って、高速で適用可能である。なお、重み関数の形はこの例に限らない。

各検鏡法において多くの場合懸念となるのが、撮像機器のダイナミックレンジ不足による画素の飽和か、検鏡法の光学的原理や被写体に依存したコントラスト不足である。適応型ヒストグラム平滑化処理を利用することによって、共通の構成でその両方の問題を解決できる。例えば、金属部が飽和しがちな明視野観察や、そもそも観察像のダイナミックレンジが広い暗視野ではダイナミックレンジの改善が望まれる。このような場合は、図４の（ｂ）や(ｃ)に例示した重み関数を用いる。また、例えば、コントラストが不足しがちであるＤＩＣや位相差では、コントラストの改善が望まれる。このような場合は、図４の（ａ）に例示した重み関数を用いる。なお、ここでは重み関数は（ａ）〜（ｃ）の３種類を例示したが、これらの中間の値を含めて例えば１０段程度の設定値を設けてもよい。

次に、図５のフローチャートを説明する。
まず、ステップＳ１３０において、適応型階調変換部４４は、検鏡法と撮影モード別にあらかじめ最適化されたＡＥ条件を設定する。検鏡法によって被写体のダイナミックレンジやヒストグラムの形などに傾向があり、検鏡法別に最適化されたＡＥ条件が望ましい。具体例として、ＡＥアルゴリズムの目標値を各検鏡法別に分けて設定するなどである。ＡＥのアルゴリズムは既存のものを用いて構わない。また、先に述べたように、ＤＲ改善目的の場合はＡＥ条件を暗めにするとよい。

次に、ステップＳ１３１において、検鏡法と撮影モード（微細構造強調モードかＤＲ改善モードか、または高速モードか高精度モードか）によって予め決められた、デフォルトの重み関数を設定する。検鏡法と撮影モード別の重み関数等の設定例を図６に例示した。微細構造強調モードにおいては、この例においては一様に図４の（ａ）の線形の重み関数を設定する。ＤＩＣと位相差以外のＤＲ改善モードでは、図４の（ｃ）のように強めの重み関数を設定する。例えば、ＢＦ／高速モード／微細構造強調モードが選択されている場合は、図４の（ｃ）に示した強めの重み関数が設定され、ＢＦ／高速モード／ダイナミックレンジ改善モードが選択されている場合は、図４の（ｃ）に示した強めの重み関数が設定される。また、ＤＩＣと位相差のＤＲ改善モードの場合は、図４の（ｂ）の中間の重み関数を設定する。これは、主にＤＩＣと位相差では被写体のダイナミックレンジが狭いため、重み関数によって中程度のダイナミックレンジ改善効果を与えたいためである。ただし、図６に示した重み関数等の設定例、及び、それを実現するためのフローチャートである図５は、一例であり、これらに限定されない。例示していない他の検鏡法に対しては、これまで述べた概要を参考に設定すればよい。例えば、レリーフコントラスト観察であれば、ＤＩＣとは原理的には異なるものの、似たようなコントラスト感を持った画像が得られる。そのために、レリーフコントラスト観察であればＤＩＣと同じか近いパラメータを設定すればよい。

次に、ステップＳ１３７において、ステップＳ１３１で指定された重み関数を用いて適応型ヒストグラム平滑化処理を行う。局所的にヒストグラム平滑化処理を適用することにより、領域毎に最適にコントラストが上げられる。

次に、ステップＳ１３８において、検鏡法と撮影モードに合わせて強度を調整する。このステップＳ１３８は、ＳＮと強調効果のバランスを取るための処理であり、例えば、ステップＳ１３７で作成された一時画像と元画像をブレンドすることによって実行する。ブレンドする式の例は以下の通りである。

強度調整処理出力＝Ｋ×一時画像＋（１−Ｋ）×元画像
（Ｋは強度係数であり、０＜Ｋ＜１）
次に、ステップＳ１３９において、彩度を調整する。既知の技術として知られているように、ＲＧＢデータを一度ＹＣbＣrデータなどに変換して、色差信号を調整すればよい。

このようにして、画像改善後の画像が表示部３４によって図２の画像表示領域５０１に表示される。ここで、高速モードが選択されている場合は、改善後画像が高速に表示される。同時に、ＧＵＩ５３０も別ウィンドウまたは画面５００の一部に表示される。次に、ＧＵＩ５３０のスライダー５３１、５３２、５３３に、それぞれ適応型階調変換部４４で決定された、重み関数の値、強度の値、彩度の値が設定される。なお、図２に例示した重み関数のスライダー５３１は、ＧＵＩ５３０上では「コントラスト」という表現にしている。この方がユーザにとっては分かりやすい。

これにより、ユーザは、ＢＦ（明視野）観察において、ダイナミックレンジを改善した画像を高速に観察することが出来る。
次に、ユーザはスライダー５３１、５３２、５３３を調整することによって、動画を観察しながら重み関数、強度、彩度を変更することができる。高速モードが選択されている場合は、効果が変調された画像も高速に表示される。

次に、ユーザがボタン５０４を選択すると検鏡法がＤＩＣに切り替わる。そして、ユーザによってボタン５１１をオン状態にされボタン５１２が押し下げられると、ＤＩＣ／高速モード／微細構造強調モードの画像改善処理が開始される。上述したＢＦ／高速モード／ダイナミックレンジ改善モードとの差分だけ説明すると、図５のステップ１３１において、検鏡法と撮影モードによって異なるデフォルトの重み関数が設定される。そして、図６に示したように、ＤＩＣ／高速モード／微細構造強調モードにおいては、図４の（ａ）に示した線形の重み関数が設定される。このとき、ユーザはＤＩＣにおいて、微細構造が強調された画像を高速に観察することが出来る。なお、図６に示した例では、微細構造強調モードの場合は一様に線形の重み関数となっているが、これは重み関数の設定例を３パターンに絞ったためである。例えば、重み関数を１０段階程度に分け、各検鏡法にとって好ましい重み関数を細かく調整してもよい。その場合、図２のＧＵＩ５３０に例示したように、各検鏡法と撮影モードに適したデフォルト重み関数が１１段階でスライダー５３１へ設定される。ユーザはスライダー５３１を調整することによって、好みの重み関数を選ぶことが出来る。

図２のＧＵＩ５３０には重み関数を調整するためのスライダー５３１の他に、強度を調整するためのスライダー５３２と彩度を調整するためのスライダー５３３がついている。ユーザはデフォルト値による画像が所望するものでない場合、スライダー５３１、５３２、５３３を調整することによって画質を調整することが出来る。デフォルトの重み関数、強度、彩度とその調整については、ダイナミックレンジ改善モードについても同様に考えればよい。

次に、図２のＧＵＩ５００において、ボタン５０３を選択して検鏡法をＤＦ（暗視野）に切り替え、ラジオボタン５０９が選択され、ボタン５１１がオン状態となった結果、撮影モードが高精度モード／ダイナミックレンジ改善モードである場合について説明する。

ライブ開始ボタン５１２が押し下げられ、図３に例示した画像改善処理が開始され、設定取得処理（ステップＳ１００）が実行されるところまでは、上述した例と同様である。
次に、図３のステップＳ１０２で高精度モードとして判断され、ステップＳ１０４おいて、異露光画像合成処理が実行される。異露光画像合成部４３による異露光画像合成処理は、露光条件の異なる複数の画像を合成して、ダイナミックレンジを拡大する処理である。既存のアルゴリズムを利用して合成処理を行って構わない。また、既存のアルゴリズムを利用して異露光画像の露光条件を決めて構わない。

次に、ステップＳ１０５において、階調圧縮部４５による階調圧縮処理が実行される。階調圧縮処理は、異露光画像合成部４３で作成した高階調の画像データを、表示部３４で表示可能な階調へ階調圧縮する役割がある。

次に、図７を用いて階調圧縮処理について説明する。
ステップＳ１１０において、画像から照明光成分と反射率成分を抽出する。階調圧縮処理には様々なアルゴリズムがあるが、本第１の実施の形態では、画像を照明光成分と反射率成分に分け、照明光成分の階調情報を圧縮した後に、照明光成分と反射率成分を合成している。画像から照明光成分と反射率成分を抽出するためにはエッジを保存したＬＰＦ（Low-Pass filter:ローパスフィルタ）がよく用いられるが、それに限らず既存のアルゴリズムを利用して構わない。

次に、ステップＳ１１１において、照明光成分から仮の階調圧縮率を計算する。具体的には以下のように求める。
照明光成分の階調範囲＝ＭＡＸ（照明光成分）−ＭＩＮ（照明光成分）

すなわち、照明光成分の最大値から照明光成分の最小値を減算して照明光成分の階調範囲と定義する。
仮の階調圧縮率＝照明光成分の階調範囲／目標階調範囲

すなわち、照明光成分の階調範囲を目標階調範囲で除算して仮の階調圧縮率を求める。
目標階調範囲とは、仮に表示可能な階調数が８bitであれば２５６に相当する。ここで、仮の階調圧縮率を求める式はこの例に限らない。例えば、照明光成分ではなく、入力された高階調画像そのものから仮の階調圧縮率を求めてもよい。

次に、ステップＳ１１２において、検鏡法と撮影モードから決まる反射率成分の強調関数を求める。
反射率線分の強調係数と仮の強調圧縮率との関係を図８に例示した。横軸はステップＳ１１１で求めた仮の階調圧縮率である。縦軸は反射率成分の強調係数である。

ＤＦ／高精度モード／ダイナミックレンジ改善モードの設定の場合は、図８の関数１５０の線で表される関数となる。仮の階調圧縮率が１である場合、入力である高階調画像と同等もしくはそれに近い階調分布で画像を出力することを意味している。よって、反射率成分を特に強調する必要は無く、１を通るように設定してある。仮の階調圧縮率が高くなるにつれて、照明光成分に比べて反射率成分が相対的に強くなるため、横軸が１以上の場合は次第に強調係数を下げている。逆に、横軸が１以下の場合は次第に強調係数を上げている。

次に、ステップＳ１１３において、下記のように強調関数を用いて反射率成分を強調する。
強調後反射率成分＝強調係数×反射率成分

次に、ステップＳ１１５において、反射率成分の大きさを考慮して、照明光成分の圧縮率を計算する。反射率成分の大きさを考慮して照明光成分を圧縮しないと、２つの成分を合成したあとに画素値の飽和が発生するためである。具体例として、以下の条件を満たすように階調圧縮する。

目標最小値＝ＭＩＮ（照明光成分＋強調後反射率成分）
目標最大値＝ＭＡＸ（照明光成分＋強調後反射率成分）
階調圧縮率＝（目標最大値−目標最小値）／目標階調範囲
なお、ここで例示した階調圧縮率の計算方法を用いずに、既存のアルゴリズムを利用しても構わない。

次に、ステップＳ１１６において、ステップＳ１１５で計算した圧縮率で照明光成分を圧縮する。
次に、ステップＳ１１７において、圧縮した照明光成分と強調後反射率成分を合成する。

次に、ステップＳ１１８において、画像の明るさを整えるためのトーンマッピングと、彩度補正を行う。
このようにして、画像改善後の画像が表示部３４によって図２の画像表示領域５０１に表示される。高精度モードが選択されている場合は、改善後画像が高精度に表示される。同時に、ＧＵＩ５４０も別ウィンドウまたは画面５００の一部に表示される。次に、ＧＵＩ５４０のスライダー５４１、５４２、５４３に、それぞれ階調圧縮部４５で決定された、照明光成分の圧縮率、反射率成分の強度、彩度の値が設定される。ユーザは、ＤＦ（暗視野）観察において、ダイナミックレンジを改善した画像を高精度に観察することが出来る。

次に、ユーザはスライダー５４１、５４２、５４３を調整することによって、動画を観察しながら照明光成分の圧縮率、反射率成分の強度、彩度を変更することができる。チェックボックス５４４やチェックボックス５４５を制御することにより、照明光成分や反射率成分のどちらか片方のみを表示することもできる。今は高精度モードが選択されているため、効果が変調された画像は高精度に表示される。

次に、ユーザがボタン５０４を選択すると検鏡法がＤＩＣに切り替わる。そして、ユーザによりボタン５１１がオン状態にされボタン５１２が押し下げられると、ＤＩＣ／高精度モード／微細構造強調モードの画像改善処理が開始される。このときは図７のステップＳ１１２において、検鏡法と撮影モードによって異なる強調関数が設定される。ＤＩＣ／高精度モード／微細構造強調モードの場合は、図８に示した関数１５２が設定される。図６に示したように、ＤＩＣや位相差においてはコントラストが不足しがちであるので、他の検鏡法に比べて強調係数を高めに設定してある。このとき、ユーザはＤＩＣにおいて、微細構造が強調された画像を高精度に観察することが出来る。

以上説明したように、本第１の実施の形態に係る顕微鏡システム１、及び画像生成方法によれば、ボタン５１０とボタン５１１を切り替えることにより、ダイナミックレンジ改善モードと微細構造強調モードを切り替えることができ、各検鏡法の目的や光学的特性を考慮した画像強調や補完を行うことが出来る。

また、ラジオボタン５０８とラジオボタン５０９のどちらかを選択することにより、任意に高速モードと高精度モードを切り替えることができる。
以上、本発明の実施の形態における検鏡法と撮影モードとの組み合わせを纏めると図９に示したようになる。

なお、図９において、「解決策」は画像処理に関連が深い解決策に絞っており、「微細構造強調」はコントラスト強調、エッジ強調、テクスチャ強調を含む。また、撮影モードの星印（★）は、３つが「需要の高いものまたはベストのもの」を示し、２つが「需要が中程度であるかベターのもの」を示し、１つが「需要が低いもの」を示す。

（第１の実施の形態の変形例１）
顕微鏡システム１の構成は、図１を用いて説明した第１の実施の形態と同様であるので説明は省略する。

図１０は、第１の実施の形態の変形例１における顕微鏡システムの表示部に表示されるＧＵＩ画面を例示する図である。
図１０に示した画面６００では、ダイナミックレンジ改善モードと微細構造強調モードの切り替えをラジオボタン６１０と６１１で例示している。ボタン６６０がオフ状態でボタン６１２が押し下げられた場合は、通常ライブが開始され、ボタン６６０がオン状態でボタン６１２が押し下げられた場合は画質改善処理が適用された動画が開始する。

上述した第１の実施の形態の高速モードの構成において、適応型変換処理の他にノイズリダクション処理を用意すると１フレームに適用型変換処理を適用した場合のノイズ感を和らげることが出来る。
また、図１０に示した画面６００には、照明強度を調整するスライダー６５０と、露出時間またはＡＥ目標値をマニュアル調整するスライダー６５１と、ＡＥをオンまたはオフするボタン６５２と、ＩＳＯ感度を調整するリスト６５３と、倍率を調整するスライダー６５９（ズームレンズの場合）が例示されている。また、図１０に示したＧＵＩ６３０には、ノイズリダクション強度を選択するラジオボタン６５５乃至６５８が例示されている。

高速モードにおいては、原画像１枚からでも画質改善効果が大きい適応型階調変換処理を適用しているが、高精度モードに比べてノイズ感は悪くなる傾向がある。よって、ノイズリダクション処理を用意してノイズ感の軽減を図り、図１０のＧＵＩ６３０に例示したように、ノイズリダクション強度を例えば４段階から選べる構成になっている。

検鏡法によって相応しいノイズリダクション（ＮＲ）強度が異なる。図６における重み関数の強度において、重み関数の強度が大きいときほど暗部が持ち上げられるため、デフォルトのＮＲ強度を強くした方がよい。例えば、重み関数が「強」のときはＮＲ強度が「中」、重み関数が「中」のときはＮＲ強度が「弱」、重み関数が「線形」のときはＮＲ強度が「無し」をデフォルトとして設定するとよい。

検鏡法が明視野の場合を例にして説明する。
例えば、ユーザがＧＵＩ６００において高速モードのラジオボタン６０８を選択して、ダイナミックレンジ改善モードのラジオボタン６１０を選択し、ボタン６６０をオン状態にして、ボタン６１２を押してライブを開始したとする。高速モードにおけるパラメータ調整のＧＵＩ６３０が表示され、スライダー６３１のコントラスト（重み関数の強度）が高めに設定される。このとき、ノイズリダクション強度は中がデフォルト設定となり、ラジオボタン６５７が選択される。ただし、被写体の内容やユーザの好みによってはノイズ感が強すぎたり弱すぎたりすることもあるので、ユーザはラジオボタン６５５乃至ラジオボタン６５８を使って任意のＮＲ強度へ選択しなおすことが出来る。

例外として、検鏡法が暗視野のときは、ＮＲ強度を「無し」、または「弱」とした方がよい。暗視野をキズやゴミの検出用途に用いたときに、ＮＲ強度がつよすぎるとノイズと一緒にエッジもボケてしまい、線の細いキズや小さなゴミをユーザが見逃してしまう可能性があるためである。

また、他の例外として、微分干渉（ＤＩＣ）および位相差（ＰＨ）のときは、ＮＲ強度を「無し」、または「弱」とした方がよい。もとの画像よりコントラストが弱くなる傾向がある検鏡法のため、ＮＲ強度が強すぎるとエッジ成分を減衰させてしまうためである。

また、照明強度、マニュアル露出時間またはＡＥによる露出時間、ＩＳＯ感度の組み合わせによってはノイズ感が変化する。それらの組み合わせによるノイズ感の変化を調べ、それらの組み合わせに適したノイズリダクション強度をあらかじめ決定しておき、それらの組み合わせの変更に従って自動的にノイズリダクション強度を変更してもよい。

以上のようにして、適応型変換処理の他にノイズリダクション処理を用意すると、１フレームに適用型階調変換処理を適用した場合のノイズ感を和らげることが出来る。さらに、ノイズリダクション強度を複数段階用意して、重み関数と強度と彩度の他にノイズリダクション強度を組み合わせられるようにすると使用状況に応じてより適切にノイズ感を調整できる。さらに、照明強度、マニュアル露出時間またはＡＥによる露出時間、ＩＳＯ感度などの組み合わせによってノイズリダクション強度を変更または自動調整できると、より適切にノイズ感を調整できる。

（第１の実施の形態の変形例１の変形例）
被写体のダイナミックレンジやコントラストが変化するのは、検鏡法だけによらない。例えば、倍率が高くなると画素飽和もコントラストも弱くなる傾向があるため、画質改善処理に使う内部パラメータや内部データテーブル類を低倍率側と高倍率側で別々に用意してもよい。ユーザは画面６００のスライダー６５９を操作して倍率を変更するが、倍率に合わせて異なる内部パラメータを適用して画質調整されることになる。なお、スライダー６５９はズームレンズを想定したものである。従来の光学顕微鏡にあるように対物レンズ１２をレボルバーで切り替える場合は、対物レンズ１２の種類などが画面に表示され、対物レンズ１２の倍率に合わせて異なる内部パラメータを適用して画質調整されることになる。

また、広義のガンマ補正やコントラスト補正によっても画像のコントラストが変化する。それらの変更に従って、画質改善処理に使う内部パラメータや内部データテーブル類を変更または自動調整するようにしてもよい。

（第１の実施の形態の変形例２）
この変形例２は、高速モードと高精度モードの切り替えについての変形例である。
上述の第１の実施の形態において、ユーザが高速モードを使用したい主な状況は、ユーザが標本１１を置いて見たい場所を探して決めるまでと想定している。これを高速利用シーンと定義する。また、ユーザが高精度モードを使用したい主な状況は、ユーザが観察位置を決めた後に撮像および測定するタイミングと想定している。これを高精度利用シーンと定義する。

そこで、高速利用シーンと高精度利用シーンを判別して、自動的に高速モードと高精度モードを切り替える方法を説明する。
ユーザは標本１１を置いた直後は、見たい位置を決定するためにステージのＸＹ操作とピント合わせ等の操作をするのが通常であるので、ライブ開始直後は高速利用シーンである。ライブ開始直後のデフォルト設定として高速モードを設定する。

その後は、電動ステージであれば、図１の操作部３２を通じてユーザのＸＹＺ操作量を判定できる。操作量が大きいときは高速利用シーンである。手動ステージであれば、既知の動き推定処理を使って被写体の移動量を推定することになる。被写体の移動量が大きいときは高速利用シーンである。

一方で、電動ステージの操作量または画像から推定した被写体の移動量が小さいときは高精度利用シーンである。例えば、変化量が一定の時間の間にある閾値以下であることを調べて判定することができる。高速利用シーンと高精度利用シーンの切り替わりを判定して、高速利用シーンでは高速モード、高精度利用シーンでは高精度モードへ自動切換えする。

ここで、高速モード／ダイナミックレンジ改善モードで動作していれば、高精度モード／ダイナミックレンジ改善モードへ切り替わり、高速モード／微細構造強調モードで動作していれば、高精度モード／微細構造強調モードへ切り替わる。高精度モードから高速モードへ切り替わる場合も同様である。高速モード時に使用する適応型階調変換処理の重み関数の強度に対して、高精度モード時に使用するＨＤＲ処理の反射率成分強調関数が対応することになる。その重み関数の強度と反射率成分強調関数において、それぞれダイナミックレンジ改善効果と微細構造強調効果の中間となる設定を段階的に用意して、その段階的設定をお互いに結びつけてもよい。

静止画撮像や録画などの操作においては高精度モードが望ましい。撮影ボタンおよび録画ボタンが押されたら高精度モードへ変更して、処理が終わったら以前のモードへ戻す、といった処理を行ってもよい。

（第２の実施の形態）
顕微鏡システム１の構成は、図１を用いて説明した第１の実施の形態と同様であるので説明は省略する。

通常、ユーザは初めの検鏡法として明視野を選択する。そこで、明視野が選択されており、工業系の標本１１を観察している場合を考える。
工業系の標本１１は電気基板や金属など白トビしやすいものが多い。その標本１１に奥行きがあるとさらに白トビ、黒つぶれが起こりやすくなる。白トビ、黒つぶれを解消して画像の階調表現を向上させるためには、ＨＤＲや適応型階調変換処理など上述したダイナミックレンジ改善処理が必要とされる。他にも様々な標本１１が対象となるので、上述の微細構造強調処理が必要とされることも多い。

ダイナミックレンジ改善効果と微細構造強調効果のどちらがより必要とされるかはかなりユーザに依存するため、どちらがデフォルトで合っても構わない。ユーザカスタマイズ処理を用意して、ユーザ設定情報に書かれたモードをアプリケーション起動時のモードとしてもよい。具体的には、ユーザが画面６００において、ボタン６０２を押し下げして明視野観察に切り替えた場合、初期時の設定情報またはユーザ設定情報を読み込む。ダイナミックレンジ改善モードが開始時のデフォルトであれば、ラジオボタン６１０が自動的に選択される。微細構造強調モードが開始時のデフォルトであれば、ラジオボタン６１１が自動的に選択される。ボタン６６０がオフ状態でボタン６１２が押されれば通常ライブが開始されるが、ボタン６６０が押されてオン状態になり、ボタン６１２が押し下げられれば画質改善処理が適用された動画が開始される。偏光観察のようにダイナミックレンジ改善効果と微細構造強調効果のどちらがより必要とされるか分からない他の検鏡法においても同様である。

ただし、生物系の標本１１の場合は、一般に被写体のダイナミックレンジはさほど広くないため、微細構造強調モードをデフォルトとする。あらかじめ生物系の標本１１の用途で使用することが分かっていれば、アプリケーション起動時の設定情報やユーザ設定情報を編集して、微細構造強調モードをデフォルトとするとよい。

次に、検鏡法が暗視野である場合について説明する。
検鏡法を暗視野に切り替えると、明視野では観察しにくかった被写体標本１１の細かい凹凸が観察しやすくなる。標本１１がウェハーなどであれば、キズやゴミ、異純物などの欠陥検査に使える。暗視野では暗い背景をベースとして、被写体標本１１による散乱光を観察する。そのために被写体標本１１のダイナミックレンジが広い訳であり、ダイナミックレンジ改善処理と相性が良い。

実際に、暗視野における課題はＨＤＲなどのダイナミックレンジ改善処理で解決できる。
被写体標本１１の一部に露出条件を合わせた場合に発生する、暗い背景に埋もれた細い線、小さな輝点を発見しやすくする。

被写体標本１１の一部に露出条件を合わせた場合に発生する、ぎらつきや飽和などによって繋がって観察される線や点を識別しやすくする。
これにより、線の太さを識別しやすくする。

これらの課題解決のために、暗視野においてはダイナミックレンジ改善モードをデフォルトとする。
ユーザが画面６００において、ボタン６０３を押し下げして暗視野観察に切り替えた場合、ラジオボタン６１０が自動的に選択され、ダイナミックレンジ改善モードが選択される。ボタン６６０がオフ状態でボタン６１２が押されれば通常ライブが開始されるが、ボタン６６０が押されてオン状態になり、ボタン６１２が押し下げられれば画質改善処理が適用された動画が開始される。

暗視野ではなくとも、同様に被写体標本１１のダイナミックレンジが広い検鏡法の場合は、ダイナミックレンジ改善モードをデフォルトとすればよい。例えば、蛍光観察においてはダイナミックレンジ改善モードをデフォルトとすればよい。

次に、検鏡法が位相差観察または微分干渉観察である場合について説明する。
明視野では観察しにくい、または観察できない微弱な輪郭や微小段差を検出したい場合に用いられる。光学的な原理から被写体標本１１のダイナミックレンジはさほど広くならず、ダイナミックレンジ改善処理はあまり必要とされない。一方で、コントラストは弱くなりがちなので、微細構造強調処理は必要となる。

ユーザが画面６００において、ボタン６０４またはボタン６０５を押し下げして位相差観察または微分干渉観察に切り替えた場合、ラジオボタン６１１が自動的に選択され、微細構造強調モードが選択される。ボタン６６０がオフ状態でボタン６１２が押されれば通常ライブが開始されるが、ボタン６６０が押されてオン状態になり、ボタン６１２が押し下げられれば画質改善処理が適用された動画が開始される。

なお、特に微分干渉の場合は、反射率成分を元の大きさの数倍程度まで極端に強めて観察したいケースも存在する。そのために、第１の実施の形態において説明した図７のステップＳ１１５のように、反射率成分の大きさを考慮して階調圧縮率を計算することが必要となる。

位相差や微分干渉ではなくとも、同様にダイナミックレンジ改善よりも微細構造強調が望まれる検鏡法の場合は微細構造強調モードをデフォルトとすればよい。
以上本発明を適用した各実施の形態を説明してきたが、本発明は、以上に述べた各実施の形態等に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または形状を取ることができる。

なお、上記した各実施の形態から以下の付記１乃至付記１３のような技術的思想が導かれる。
（付記１）
顕微鏡により観察する被写体を撮像する撮像手段と、
前記撮像手段により撮像された被写体画像に対して画像処理を行う画像処理手段と、
前記画像処理手段により画像処理が施された被写体画像を表示する表示手段と、
を備え、
前記画像処理手段は、ダイナミックレンジ改善モードと微細構造強調モードとを有し、前記ダイナミックレンジ改善モードと前記微細構造強調モードのそれぞれにおいて、高速モードと高精度モードとを有する、
ことを特徴とする顕微鏡システム。
（付記２）
前記高速モードは、ヒストグラム平滑化処理と重み関数を組み合わせたものであり、
前記重み関数によって、前記ヒストグラム平滑化効果が階調に依存して変化する、
ことを特徴とする付記１に記載の顕微鏡システム。
（付記３）
前記重み関数は、前記微細構造強調モードの場合は全階調に渡って同一の重みを有し、前記ダイナミックレンジ改善モードの場合は低階調側において効果が強く高階調側で効果が弱くなるように重みを有する、
ことを特徴とする付記２に記載の顕微鏡システム。
（付記４）
前記重み関数を調整することにより、前記ダイナミックレンジ改善モードと前記微細構造強調モードの間の性質を有する複数のモードを有する、
ことを特徴とする付記２または３に記載の顕微鏡システム。
（付記５）
前記重み関数の調整の他に、ゲイン調整手段と、自動露出手段と、画像処理効果全体の強度を調整する手段と、ノイズリダクション手段の何れかを備え、前記重み関数と組み合わせることを特徴とし、
前記ダイナミックレンジ改善モードのデフォルト設定を検鏡法別に有し、検鏡法の切り替えに応じて、ゲイン調整と自動露出条件と重み関数と強度とノイズリダクション強度が組み合わせられ、
前記微細構造強調モードのデフォルト設定を検鏡法別に有し、検鏡法の切り替えに応じて、ゲイン調整と自動露出条件と重み関数と強度とノイズリダクション強度が組み合わせられる、
ことを特徴とする付記２乃至４の何れか１つに記載の顕微鏡システム。
（付記６）
前記高精度モードにおいて、異なる露光条件の複数枚の画像を合成する異露光画像合成手段と、前記異露光画像合成手段によって作成された高階調画像を前記表示手段の階調へ変換するための階調変換手段と、
を備えたことを特徴とする付記１に記載の顕微鏡システム。
（付記７）
前記階調変換手段は、前記高階調画像を照明光成分と反射率成分へ分離する手段と、照明光成分と反射率成分をそれぞれ異なる方法で階調操作する手段と、階調操作した照明光成分と反射率成分を合成する手段と、
を備えたことを特徴とする付記２に記載の顕微鏡システム。
（付記８）
前記階調変換手段は、ダイナミックレンジ改善モードの場合は、前記照明光成分の階調変換率に比べて前記反射率成分の階調変換率が低くなるように調整して、階調情報がつぶれない程度に階調変換し、
微細構造強調モードの場合は、ダイナミックレンジ改善モードに比べて前記反射率成分を強くして、微細構造を強調しつつ階調変換する、
ことを特徴とする付記７に記載の顕微鏡システム。
（付記９）
ユーザからの顕微鏡制御に合わせて、前記高速モードと前記高精度モード、及びそれらの間の性質を有するモードのうち何れかが選択される、
ことを特徴とする付記２乃至８の何れか１つに記載の顕微鏡システム。
（付記１０）
前記顕微鏡操作はＸＹＺ移動量であり、
ＸＹＺ移動のうち何れかの方向の操作量が大きい場合は前記高速モードを選択し、ＸＹＺ移動のうち何れの方向でも操作量が大きくない場合は前記高精度モードを選択する、
ことを特徴とする付記９に記載の顕微鏡システム。
（付記１１）
前記顕微鏡操作は動画画面の変化量が大きくなる操作であり、
動画画面の変化量が大きい操作の場合は前記高速モードを選択し、動画画面の変化量が小さい操作の場合は前記高精度モードを選択する、
ことを特徴とする付記９に記載の顕微鏡システム。
（付記１２）
前記顕微鏡操作は動画、撮像、録画の開始ボタンや停止ボタンの操作であり、
動画においては前記高速モードを選択し、撮像と録画においては前記高精度モードを選択する、
ことを特徴とする付記９に記載の顕微鏡システム。
（付記１３）
顕微鏡により観察する被写体を撮像装置で撮像し、
前記撮像された被写体画像に対して画像処理を行ない、
前記画像処理が施された被写体画像を表示装置に表示する、
顕微鏡システムが実行する顕微鏡観察方法であって、
前記画像処理は、ダイナミックレンジ改善モードと微細構造強調モードとを有し、前記ダイナミックレンジ改善モードと前記微細構造強調モードのそれぞれにおいて、高速モードと高精度モードとを有する、
ことを特徴とする顕微鏡観察方法。

更に、以下の付記１４乃至２８のような技術的思想も導かれる。
（付記１４）
検鏡法を切り替え可能な顕微鏡と、
前記顕微鏡により観察する被写体を撮像する撮像手段と、
前記撮像手段により撮像された被写体画像に対して画像処理を行う画像処理手段と、
前記画像処理手段により画像処理が施された被写体画像を表示する表示手段と、
を備え、
前記画像処理手段は、ダイナミックレンジ改善モードと微細構造強調モードとを有する、
ことを特徴とする顕微鏡システム。
（付記１５）
前記画像処理手段は、ヒストグラム平滑化処理と重み関数を組み合わせたものであり、
前記重み関数によって、前記ヒストグラム平滑化効果が階調に依存して変化する、
ことを特徴とする付記１４に記載の顕微鏡システム。
（付記１６）
前記重み関数は、微細構造強調モードの場合は全階調に渡って同一の重みを有し、ダイナミックレンジ改善モードの場合は低階調側において効果が強く高階調側で効果が弱くなるように重みを有する、
ことを特徴とする付記１５に記載の顕微鏡システム。
（付記１７）
前記重み関数を調整することにより、前記ダイナミックレンジ改善モードと前記微細構造強調モードの間の性質を有する複数のモードを有する、
ことを特徴とする顕微鏡システム。
（付記１８）
前記重み関数の調整の他に、ゲイン調整手段と、自動露出手段と、画像処理効果全体の強度を調整する手段と、ノイズリダクション手段の何れかを備え、前記重み関数と組み合わせることを特徴とし、
前記ダイナミックレンジ改善モードのデフォルト設定を検鏡法別に有し、検鏡法の切り替えに応じて、ゲイン調整と自動露出条件と重み関数と強度とノイズリダクション強度が組み合わせられ、
前記微細構造強調モードのデフォルト設定を検鏡法別に有し、検鏡法の切り替えに応じて、ゲイン調整と自動露出条件と重み関数と強度とノイズリダクション強度が組み合わせられ、
前記自動調整は、観察像のダイナミックレンジまたは観察したい階調範囲の検鏡法別に異なる傾向を有する情報によって調整される、
ことを特徴とする付記１５乃至１７の何れか１つに記載の顕微鏡システム。
（付記１９）
検鏡法の違いに加えて、検鏡法以外の情報も用いて各モードのデフォルト値が調整されることを特徴とし、
前記検鏡法以外の情報は、対物レンズの種類または観察倍率の変化量または被写体の種類を含む、
ことを特徴とする付記１８に記載の顕微鏡システム。
（付記２０）
明視野観察や暗視野観察に代表されるように観察像のダイナミックレンジが広い検鏡法においてはデフォルトモードとして前記ダイナミックレンジ改善モードを選択し、
位相差観察や微分干渉観察に代表されるように観察像のダイナミックレンジが狭い一方で、観察像のコントラストが弱くなりがちな検鏡法においてはデフォルトモードとして前記微細構造強調モードを選択し、
それ以外の検鏡法においては間の性質を有する複数のモードのうち、いずれかのモードをデフォルトモードとして選択すること、
ことを特徴とする付記１５乃至１９の何れか１つの顕微鏡システム。
（付記２１）
前記画像処理手段は、異なる露光条件の１枚以上の画像を合成する異露光画像合成手段と、異露光画像合成手段によって作成された高階調画像を表示機器の階調へ変換するための階調変換手段と、
を備えたことを特徴とする付記１４に記載の顕微鏡システム。
（付記２２）
前記階調変換手段は、前記高階調画像を照明光成分と反射率成分へ分離する手段と、照明光成分と反射率成分をそれぞれ異なる方法で階調操作する手段と、階調操作した照明光成分と反射率成分を合成する手段と、
を備えたことを特徴とする付記２１に記載の顕微鏡システム。
（付記２３）
前記階調変換手段は、ダイナミックレンジ改善モードの場合は、前記照明光成分の階調変換率に比べて前記反射率成分の階調変換率が低くなるように調整して、階調情報がつぶれない程度に階調変換し、
微細構造強調モードの場合は、ダイナミックレンジ改善モードに比べて前記反射率成分を強めにして、微細構造を強調しつつ階調変換する、
ことを特徴とする付記２２に記載の顕微鏡システム。
（付記２４）
検鏡法特有のダイナミックレンジまたは観察目的に応じて、前記照明光成分の階調変換率や前記反射率成分の階調変換率を検鏡別に調整すること、
を特徴とする付記２３に記載の顕微鏡システム。
（付記２５）
検鏡法の違いに加えて、検鏡法以外の情報も用いて各モードのデフォルト値が調整され、
前記検鏡法以外の情報は、対物レンズの種類または観察倍率の変化量または被写体の種類を含む、
ことを特徴とする付記２４に記載の顕微鏡システム。
（付記２６）
明視野観察に代表されるように観察像のダイナミックレンジが広い検鏡法においてはデフォルト値として前記ダイナミックレンジ改善モードを選択し、
位相差観察や微分干渉観察に代表されるように観察像のダイナミックレンジが狭い一方で、観察像のコントラストが弱くなりがちな検鏡法においてはデフォルト値として前記微細構造強調モードを選択し、
暗視野観察に代表されるように観察像のダイナミックレンジが広い一方で微細構造も強調したい検鏡法においては、異露光画像合成処理でダイナミックレンジを拡大した上で前記微細構造強調モードを選択し、
それ以外の検鏡法においてはダイナミックレンジ改善と微細構造強調の間の性質を有する複数のモードのうち、いずれかのモードを選択する、
ことを特徴とする付記２１乃至２５の何れか１つに記載の顕微鏡システム。
（付記２７）
前記重み関数を伴った前記ヒストグラム平滑化処理と、異露光画像合成処理を組み合わせたこと、を特徴とする付記１５乃至２０の何れか１つの顕微鏡システム。
（付記２８）
検鏡法を切り替え可能な顕微鏡により観察する被写体を撮像装置で撮像し、
前記撮像された被写体画像に対して画像処理を行ない、
前記画像処理が施された被写体画像を表示装置に表示する、
顕微鏡システムが実行する顕微鏡観察方法であって、
前記画像処理は、ダイナミックレンジ改善モードと微細構造強調モードとを有する、
ことを特徴とする顕微鏡観察方法。

１ 顕微鏡システム
２ 顕微鏡
３ （透過照明用）光源
３ａ 透過照明光路
４ （落射照明用）光源
４ａ 落射照明光路
５ コレクタレンズ
６ ミラー
７ 窓レンズ
８ 視野絞り（ＦＳ）
９ 開口絞り（ＡＳ）
１０ コンデンサレンズ
１１ 標本
１２ 対物レンズ
１３ 結像レンズ
１４ ポート
１５ キューブユニット（ハーフミラー）
２０ 撮像装置
２１ 撮像素子
２２ 撮像素子駆動部
２３ 前置処理部
２４ Ａ／Ｄ変換部
２５ 信号処理部
２６ バス
２７ 制御部
２８ Ｉ／Ｆ部
３０ コンピュータ
３１ 制御部
３２ 操作部
３３ Ｉ／Ｆ部
３４ 表示部
３５ 記録部
４０ 画像改善部
４１ 設定取得部
４３ 異露光画像合成部
４４ 適応型階調変換部
４５ 階調圧縮部
１５０、１５１、１５２ 関数
５００ 画面
５０１ 画像表示領域
５０２、５０３、５０４、５０５、５０６、５０７ ボタン（設定入力手段）
５０８、５０９ ラジオボタン
５１０、５１１、５１２ ボタン
５３０ ＧＵＩ
５３１、５３２、５３３ スライダー
５４０ ＧＵＩ
５４１、５４２、５４３ スライダー
５４４、５４５ チェックボックス
６００ 画面
６０１ 画像表示領域
６０２、６０３、６０４、６０５、６０６、６０７ ボタン（設定入力手段）
６０８、６０９、６１０、６１１ ラジオボタン
６１２ ボタン
６３０ ＧＵＩ
６３１、６３２、６３３ スライダー
６４０ ＧＵＩ
６４１、６４２、６４３ スライダー
６４４、６４５ チェックボックス
６５０、６５１ スライダー
６５２ ボタン
６５３ リスト
６５５、６５６、６５７、６５８ ラジオボタン
６５９ スライダー
６６０ ボタン
Ｓ 観察光路

Claims (13)

1. 顕微鏡により観察する被写体を撮像する撮像手段と、
   前記撮像手段により撮像された被写体画像に対して画像処理を行う画像処理手段と、
   前記画像処理手段により画像処理が施された被写体画像を表示する表示手段と、
   を備え、
   前記画像処理手段は、ダイナミックレンジ改善モードと微細構造強調モードとを有し、前記ダイナミックレンジ改善モードと前記微細構造強調モードのそれぞれにおいて、高速モードと高精度モードとを有する、
   ことを特徴とする顕微鏡システム。
2. 前記高速モードは、ヒストグラム平滑化処理と重み関数を組み合わせたものであり、
   前記重み関数によって、前記ヒストグラム平滑化効果が階調に依存して変化する、
   ことを特徴とする請求項１に記載の顕微鏡システム。
3. 前記重み関数は、前記微細構造強調モードの場合は全階調に渡って同一の重みを有し、前記ダイナミックレンジ改善モードの場合は低階調側において効果が強く高階調側で効果が弱くなるように重みを有する、
   ことを特徴とする請求項２に記載の顕微鏡システム。
4. 前記重み関数を調整することにより、前記ダイナミックレンジ改善モードと前記微細構造強調モードの間の性質を有する複数のモードを有する、
   ことを特徴とする請求項２または３に記載の顕微鏡システム。
5. 前記重み関数の調整の他に、ゲイン調整手段と、自動露出手段と、画像処理効果全体の強度を調整する手段と、ノイズリダクション手段の何れかを備え、前記重み関数と組み合わせることを特徴とし、
   前記ダイナミックレンジ改善モードのデフォルト設定を検鏡法別に有し、検鏡法の切り替えに応じて、ゲイン調整と自動露出条件と重み関数と強度とノイズリダクション強度が組み合わせられ、
   前記微細構造強調モードのデフォルト設定を検鏡法別に有し、検鏡法の切り替えに応じて、ゲイン調整と自動露出条件と重み関数と強度とノイズリダクション強度が組み合わせられる、
   ことを特徴とする請求項２乃至４の何れか１項に記載の顕微鏡システム。
6. 前記高精度モードにおいて、異なる露光条件の複数枚の画像を合成する異露光画像合成手段と、前記異露光画像合成手段によって作成された高階調画像を前記表示手段の階調へ変換するための階調変換手段と、
   を備えたことを特徴とする請求項１に記載の顕微鏡システム。
7. 前記階調変換手段は、前記高階調画像を照明光成分と反射率成分へ分離する手段と、照明光成分と反射率成分をそれぞれ異なる方法で階調操作する手段と、階調操作した照明光成分と反射率成分を合成する手段と、
   を備えたことを特徴とする請求項２に記載の顕微鏡システム。
8. 前記階調変換手段は、ダイナミックレンジ改善モードの場合は、前記照明光成分の階調変換率に比べて前記反射率成分の階調変換率が低くなるように調整して、階調情報がつぶれない程度に階調変換し、
   微細構造強調モードの場合は、ダイナミックレンジ改善モードに比べて前記反射率成分を強くして、微細構造を強調しつつ階調変換する、
   ことを特徴とする請求項７に記載の顕微鏡システム。
9. ユーザからの顕微鏡制御に合わせて、前記高速モードと前記高精度モード、及びそれらの間の性質を有しモードのうちいずれかが選択される、
   ことを特徴とする請求項２乃至８の何れか１項に記載の顕微鏡システム。
10. 前記顕微鏡操作はＸＹＺ移動量であり、
    ＸＹＺ移動のうち何れかの方向の操作量が大きい場合は前記高速モードを選択し、ＸＹＺ移動のうち何れの方向でも操作量が大きくない場合は前記高精度モードを選択する、
    ことを特徴とする請求項９に記載の顕微鏡システム。
11. 前記顕微鏡操作は動画画面の変化量が大きくなる操作であり、
    動画画面の変化量が大きい操作の場合は前記高速モードを選択し、動画画面の変化量が小さい操作の場合は前記高精度モードを選択する、
    ことを特徴とする請求項９に記載の顕微鏡システム。
12. 前記顕微鏡操作は動画、撮像、録画の開始ボタンや停止ボタンの操作であり、
    動画においては前記高速モードを選択し、撮像と録画においては前記高精度モードを選択する、
    ことを特徴とする請求項９に記載の顕微鏡システム。
13. 顕微鏡により観察する被写体を撮像手段で撮像し、
    前記撮像された被写体画像に対して画像処理を行ない、
    前記画像処理が施された被写体画像を表示装置に表示する、
    顕微鏡システムが実行する顕微鏡観察方法であって、
    前記画像処理は、ダイナミックレンジ改善モードと微細構造強調モードとを有し、前記ダイナミックレンジ改善モードと前記微細構造強調モードのそれぞれにおいて、高速モードと高精度モードとを有する、
    ことを特徴とする顕微鏡観察方法。