JP2020086296A - 拡大観察装置 - Google Patents

Abstract

【課題】拡大観察装置により取得される観察画像において「もや」を低減すること。【解決手段】拡大観察装置は、第一被写界深度で、かつ、それぞれ異なる複数の合焦位置のそれぞれで観察対象物を撮像することで複数の第一輝度画像を取得しＳ７、第二被写界深度で、かつ、それぞれ異なる複数の合焦位置のそれぞれで観察対象物を撮像することで複数の第二輝度画像を取得しＳ１０、複数の第一輝度画像と複数の第二輝度画像を合成することでぼけ（もや）を低減した観察画像を生成するＳ１２。【選択図】図１１

Description

本発明は拡大観察装置に関する。

一般に顕微鏡は観察対象物を精度よく観察するために高い光学性能を有する光学系が求められてきた。また、観察画像をリアルタイムで表示器に表示する顕微鏡が登場し、観察対象物のありのままの姿をいかにして正確かつ詳細に表示できるかについて、顕微鏡メーカーの間で競争されてきた。

一方で、画像処理チップの性能が向上し、顕微鏡にも採用可能となってきた。また、顕微鏡のユーザも生物等の研究者だけでなく、工場で生産された製品の検査（拡大観察）をする検査者に広がってきた。そのため、従来の光学性能追求志向とは異なる志向の顕微鏡の市場ニーズが生まれた。これは従来の顕微鏡と区別して、拡大観察装置と呼ばれることもある（特許文献１）。

特開２０１８−０１３７３４号公報 特開２０１７−５３１２０１号公報

拡大観察装置は、合焦位置を変えながら複数の輝度画像を生成し、複数の輝度画像を深度合成することで広範囲にピントの合った観察画像を生成することがユーザに望まれている。このような観察画像において、観察対象物の表面に存在する段差の周囲に「もや」が写り込んでしまうことがあった。もやは実際には存在しない偽像である。とりわけ、金属など、反射率の高い物質により形成された上面と、反射率の低い下面とにより段差が形成されている場合に、上面で発生する強い反射光によって、下面側にもやが発生してしまう。このようなもやは高ＮＡ（開口数）の光学系を利用したときに顕著に発生するが、低ＮＡの光学系を利用したときには発生しにくい。そこで、本発明は、拡大観察装置により取得される観察画像においてボケ（もや）を低減することを目的とする。

本発明は、たとえば、
対物レンズと結像レンズとを含む光学系と、
前記光学系の被写界深度を調整する調整部と、
前記光学系の視野に載置された観察対象物に対して照明光を照射する照明部と、
前記光学系を介して前記観察対象物からの光を受光して前記観察対象物の輝度画像を生成する撮像部と、
前記光学系の光軸に沿って前記光学系の合焦位置を変化させる変化部と、
前記調整部、前記照明部、前記撮像部および前記変化部を制御する制御部と、
前記観察対象物の画像である観察画像を表示する表示部と
を有し、
前記制御部は、
前記調整部を制御して前記光学系の被写界深度を第一被写界深度に調整し、前記照明部を制御することで前記観察対象物に対して前記照明光を照射し、前記変化部と前記撮像部を制御してそれぞれ異なる複数の合焦位置のそれぞれで前記観察対象物を撮像することで複数の第一輝度画像を取得し、
前記調整部を制御して前記光学系の被写界深度を前記第一被写界深度とは異なる第二被写界深度に調整し、前記照明部を制御することで前記観察対象物に対して前記照明光を照射し、前記変化部と前記撮像部を制御してそれぞれ異なる複数の合焦位置のそれぞれで前記観察対象物を撮像することで複数の第二輝度画像を取得し、
前記複数の第一輝度画像と前記複数の第二輝度画像を用い、前記第一輝度画像の一部の領域に対して、対応する前記第二輝度画像を用いて合成することで観察画像を生成する画像生成部
を有し、
前記表示部は、前記観察画像を表示することを特徴とする拡大観察装置を提供する。

本発明によれば、拡大観察装置により取得される観察画像においてボケ（もや）が低減される。

拡大観察装置１００の概要を説明する図 制御部などを説明する図 画像プロセッサを説明する図 光学系を説明する図 対物レンズを説明する図 対物レンズを説明する図 輝度画像と深度合成画像の一例を示す図 もや低減処理を説明する図 ユーザーインタフェースの一例を示す図 撮像制御部を説明する図 もや低減処理を含む深度合成処理を示すフローチャート

＜拡大観察装置＞
図１は、拡大観察装置１００を示している。拡大観察装置１００は、例えば微小物体等の試料や電子部品、被加工物等のワーク（以下、これらを観察対象物という。）を拡大して表示する装置である。使用者は拡大観察装置１００を使用して観察対象物の外観を検査したり、寸法計測等を行ったりすることができる。拡大観察装置１００は、顕微鏡やデジタルマイクロスコープと呼ばれてもよい。観察対象物は、上述した例に限定されるものではなく、各種物体が観察対象物となりうる。

観察部１は、ベース部１０、スタンド部２０、ヘッド部２２、載置台３０を有している。ベース部１０は、観察部１をぐらつくことなく、机等に置いておくための部分であり、観察部１の略下半部を構成している。ベース部１０には、載置台３０が設けられている。載置台３０は、ベース部１０の前後方向中央部近傍から前側の部分に支持されており、該ベース部１０から上方へ突出している。載置台３０は、観察対象物を載置するための部分であり、この実施形態では、電動載置台で構成されている。すなわち、観察対象物を電動載置台の幅方向（Ｘ方向）及び奥行き方向（Ｙ方向）の両方向に移動可能に支持することができるとともに、上下方向（Ｚ方向）及びＺ軸回りに回動できるようになっている。スタンド部２０はベース部１０に対して揺動可能となっている。たとえば、スタンド部２０は、観察部１を正面から見て右回りおよび左回りに搖動させるこができる。スタンド部２０が搖動することで、ヘッド部２２も搖動する。スタンド部２０およびヘッド部２２は、Ｚ軸方向に移動可能に取り付けられている。ヘッド部２２は、対物レンズ、結像レンズ、照明装置および撮像素子などを有する。ヘッド部２２は、載置台３０に載置された観察対象物に照明光を照射し、該照明光の観察対象物からの反射光又は透過光の受光量を検出して観察対象物の画像を生成する。なお、観察部１の構成と機能の詳細は、本件と同一出願人の特願２０１８−１６１３４７に開示されている、その開示の全ては本明細書の一部として援用（ｉｎｃｏｒｐｏｒａｔｉｏｎ ｈｅｒｅｉｎ ｂｙ ｒｅｆｅｒｅｎｃｅ）される。

表示部２は、例えば、液晶表示パネルや有機ＥＬパネル等のようなカラー表示可能な表示画面２ａを有しており、外部から電力が供給されるようになっている。表示画面２ａにタッチ操作パネル（受付部の一例）を組み込むようにしてもよい。また、この実施形態では、表示部２に制御部６０を組み込んだ例で説明しているが、これに限らず、制御部６０は観察部１に組み込むようにしてもよいし、コンソール部３に組み込むようにしてもよいし、表示部２、観察部１及びコンソール部３とは別体の外部ユニットとしてもよい。表示部２と、観察部１とはケーブル５によって信号の送受が可能に接続されている。観察部１への電力供給は、ケーブル５によって行ってもよいし、図示しない電源ケーブルによって行ってもよい。

コンソール部３は制御部６０に接続されており、一般的なキーボードやマウスとは異なっており、観察部１を操作したり、各種情報の入力や選択操作、画像の選択操作、領域指定、位置指定等を行ったりすることが可能な専用の操作デバイスである。制御部６０にはポインティングデバイスとしてマウス４が接続されている。コンソール部３およびマウス４は、拡大観察装置１００を操作することができればよいので、例えばタッチパネル式の入力装置、音声入力装置等であってもよい。タッチパネル式の入力装置の場合、表示部２と一体化することができ、表示部２に表示されている表示画面上の任意の位置の検出を可能に構成することができる。コンソール部３およびマウス４は、表示部２に表示された画像上で使用者によって指定された任意の位置の入力を受け付ける受付部である。

拡大観察装置１００には、上述した機器や装置以外にも、操作や制御を行うための装置、プリンタ、その他の各種処理を行うためのコンピュータ、記憶装置、周辺機器等を接続することもできる。この場合の接続は、例えば、ＩＥＥＥ１３９４、ＲＳ−２３２ｘやＲＳ−４２２、ＵＳＢ等のシリアル接続、パラレル接続、あるいは１０ＢＡＳＥ−Ｔ、１００ＢＡＳＥ−ＴＸ、１０００ＢＡＳＥ−Ｔ等のネットワークを介して電気的、あるいは磁気的、光学的に接続する方法等を挙げることができる。また、有線接続以外にも、ＩＥＥＥ８０２．ｘ等の無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等の電波、赤外線、光通信等を利用した無線接続等でもよい。さらにデータの交換や各種設定の保存等を行うための記憶装置に用いる記憶媒体としては、例えば、各種メモリカードや磁気ディスク、光磁気ディスク、半導体メモリ、ハードディスク等を利用することができる。拡大観察装置１００は、上記各種ユニットや装置、機器を組み合わせた拡大観察システムということもできる。

＜制御部＞
図２が示すように、制御部６０は、ＣＰＵ６１や画像プロセッサ６６、記憶部６７などを有している。ＣＰＵ６１は記憶部６７のＲＯＭ領域に記憶されているプログラムを実行することで様々な機能を実現する。撮像制御部６２は、ヘッド部２２に設けられたレボルバ２１を回転させるためにレボルバ駆動部２４を制御する。これにより、対物レンズ２３の倍率が変更される。つまり、ある倍率の対物レンズ２３から他の倍率の対物レンズ２３に切り替わる。撮像制御部６２は、対物レンズ２３と通信することで対物レンズ２３を識別する識別部（認識部）を有していてもよい。ヘッド部２２は複数の結像レンズ４１を有してもよい。撮像制御部６２は、結像レンズ駆動部４２（例：モータ）を駆動することで、結像レンズ４１を切り換える。これにより、対物レンズ２３と結像レンズ４１とを含む光学系の倍率が変更される。なお、複数の対物レンズ２３と複数の結像レンズ４１を区別する際には参照符号の末尾に小文字のアルファベットが付与される。電動絞り３７はヘッド部２２の内部や対物レンズ２３の内部に設けられた可変絞りである。電動絞り３７も撮像制御部６２によって制御される。

撮像制御部６２は、対物レンズ２３の合焦位置を変更するためにヘッド部２２を上下させるＺ方向駆動部２８を制御する。撮像制御部６２は、載置台駆動部２９を通じて載置台３０をＸ方向、Ｙ方向、Ｚ方向に移動させたり、載置台３０をθ回転させたりする。撮像制御部６２は、ヘッド部２２に設けられた撮像部２５を制御し、撮像部２５に観察対象物Ｗを撮像させ、観察対象物Ｗの画像を取得する。

表示制御部６３は観察対象物Ｗの画像などを表示部２に表示させる。照明制御部６４は、ヘッド部２２に設けられたリング照明２６や同軸落射照明２７の点灯と消灯とを制御する。ＵＩ部６５は、表示制御部６３を通じて表示部２にＵＩ（ユーザーインタフェース）を表示したり、コンソール部３やマウス４から入力されるユーザ指示を受け付けたりする。画像プロセッサ６６は、撮像部２５により取得された画像信号から様々な画像データを作成する。画像プロセッサ６６はＣＰＵ６１により実現されてもよい。記憶部６７はＲＯＭ領域やＲＡＭ領域、メモリカードなどを有する。

検知部６８は、載置台３０の静止と移動を検知したり、レボルバ２１により対物レンズ２３の倍率が変更されたかどうかを検知したりする。コンソール部３は、載置台３０をＸ方向に移動させたり、Ｙ方向に移動させたりすることを指示するためのジョイスティックを有していてもよい。この場合、検知部６８は、コンソール部３のジョイスティックがいずれかの方向に倒されていれば載置台３０が移動していると検知し、ジョイスティックが中立位置に静止していれば載置台３０が静止していると検知する。また、コンソール部３またはマウス４を通じてレボルバ２１の回転、つまり、対物レンズ２３の倍率変更が指示され、レボルバ駆動部２４がレボルバを回転させると、検知部６８は、倍率が変更されたと検知する。倍率変更が指示されていなければ、検知部６８は、倍率が変更されていないと検知する。検知部６８はユーザによるピント位置の手動調整を検知してもよい。

＜画像プロセッサ＞
図３が示すように、画像プロセッサ６６において、輝度画像生成部３１は、撮像制御部６２を通じて撮像部２５により取得された画像信号から輝度画像を作成する。深度合成部３３は、撮像制御部６２を通じて撮像部２５を制御することで、それぞれ合焦位置の異なる複数のサブ輝度画像を取得し、複数のサブ輝度画像を深度合成することで深度合成画像を生成する。もや低減部３４は、それぞれ異なる被写界深度で取得された複数の深度合成画像を用いてもやの低減された観察画像を生成する。

＜ヘッド部２２の内部構成＞
図４はヘッド部２２の内部構成を示している。レボルバ２１は少なくとも三つのマウント５０ａ、５０ｂ、５０ｃを有している。マウント５０ａ、５０ｂ、５０ｃにはそれぞれ対物レンズ２３ａ、２３ｂ、２３ｃが接続されている。対物レンズ２３ａは、たとえば、低倍率の対物レンズである。対物レンズ２３ａの瞳位置には電動絞り３７ａが設けられている。電動絞り３７ａはモータなどにより駆動されて絞り量が変化する可変絞りである。この例では、対物レンズ２３ａが観察光軸Ａ１に配置されている。対物レンズ２３ａの鏡筒の周囲にはリング照明２６が設けられている。対物レンズ２３ｂも電動絞り３７ｂを有しているが、リング照明２６を有していない。対物レンズ２３ｃの瞳位置は鏡筒の外部に存在するため、鏡筒内には絞りが設けられていない。電動絞り３７ｃは、対物レンズ２３とハーフミラー３８との間に配置された絞りである。この例では、電動絞り３７ｃは対物レンズ２３ｃの瞳位置に設けられている。ハーフミラー３８は観察光軸Ａ１に配置されており、同軸落射照明２７からの照明光を対物レンズ２３に導く。ハーフミラー３８は、対物レンズ２３からの入射光を、結像レンズ４１などを介して撮像部２５へ導く。同軸落射照明２７とハーフミラー３８との間には集光レンズ３９が配置されている。同軸落射照明２７と集光レンズ３９との間には電動絞り３７ｄが配置されている。電動絞り３７ａ〜３７ｄはＣＰＵ６１の撮像制御部６２により制御される。

結像レンズ群は、狭視野の結像レンズ４１ａ、広視野の結像レンズ４１ｂ、レンズアダプタ４３を有している。結像レンズ４１ａと結像レンズ４１ｂはスライド部材４９ａに保持されている。結像レンズ４１ａ、結像レンズ４１ｂ、レンズアダプタ４３の各瞳位置が電動絞り３７ｃの設置位置となるように、結像レンズ４１ａ、結像レンズ４１ｂ、レンズアダプタ４３は設計されている。スライド部材４９ａはフレーム４０ａに対してスライド可能に保持されている。この例ではスライド部材４９ａは結像レンズ駆動部４２により駆動されることで、図４において左右にスライドする。なお、図４における左右は、拡大観察装置１００の前後に相当する。フレーム４０ａの両端には停止部材４４ａ、４４ｂが設けられている。スライド部材４９ａが停止部材４４ｂに接触して停止することで、結像レンズ４１ａが観察光軸Ａ１に位置決めされる。スライド部材４９ａが停止部材４４ａに接触して停止することで、結像レンズ４１ｂが観察光軸Ａ１に位置決めされる。レンズアダプタ４３はスライド部材４９ｂに保持されている。スライド部材４９ｂはフレーム４０ｂに対してスライド可能に保持されている。この例ではスライド部材４９ｂは結像レンズ駆動部４２により駆動されることで、図４において左右にスライドする。なお、レンズアダプタ４３は結像レンズ４１ａと組み合わされて使用される。レンズアダプタ４３は、たとえば、倍率を二倍等に変更するレンズである。スライド部材４９ｂが停止部材４４ｃに接触して停止することで、レンズアダプタ４３が観察光軸Ａ１から離間する。スライド部材４９ｂが停止部材４４ｄに接触して停止することで、レンズアダプタ４３が観察光軸Ａ１に位置決めされる。

このように結像レンズ４１の切替方式としてスライド方式が説明された。スライド方式では、停止部材４４によって結像レンズ４１やレンズアダプタ４３が位置決めされるため、スライド部材４９をスライドさせるためのギア機構のバックラッシュの影響を受けにくい。スライド方式に代えて、レボルバ方式などが採用されてもよい。

レンズアダプタ４３は倍率変換アダプタとして機能する。結像レンズ４１ａ、４１ｂの焦点位置が撮像部２５のＣＭＯＳセンサの受光面に一致するように結像レンズ４１ａ、４１ｂは保持されている。

＜対物レンズ＞
図５、図６は対物レンズ２３とマウント５０との関係を示している。対物レンズ２３は接続部５９を有している。接続部５９はマウント５０に対して嵌合または螺合することで、対物レンズ２３をレボルバ２１に固定する。接続部５９とマウント５０の固定方式としては、たとえば、螺合式とバヨネット式とがある。螺合式では、接続部５９に設けられた内ねじと、マウント５０に設けられた外ねじとが螺合する。図６が示すように、接続部５９はフランジ７５を有している。フランジ７５のフランジ面は光軸に対して垂直である。これにより、観察光軸Ａ１に対して対物レンズ２３の光軸を位置決めしやすくなる。フランジ７５は位置決め穴４５と電子接点４６とを有している。図５が示すように、レボルバ２１に設けられた位置決めピン５１が位置決め穴４５に挿入されることで、対物レンズ２３がレボルバ２１に対して位置決めされる。電子接点４６ａはレボルバ２１側の電子接点４６ｂと電気的に接続する。電子接点４６ａ、４６ｂは電力供給用の接点や通信用の接点などを含む。制御基板４７は、電子接点４６ａ、４６ｂを介してＣＰＵ６１から制御信号を受信し、制御信号にしたがって電動絞り３７ａを駆動するモータ４８やリング照明２６を制御する。制御基板４７は、ＣＰＵ、通信回路、メモリ、光源を駆動する駆動回路、モータ４８を駆動する駆動回路などを有していてもよい。制御基板４７の通信回路はＣＰＵ６１から識別情報の要求を受信すると、メモリから識別情報を読み出して、ＣＰＵ６１に送信する。このように、メモリは対物レンズ２３の識別情報などを記憶している。電動絞り３７ａはモータ４８と絞り羽とを含む。

＜もやの低減＞
図７は観察対象物Ｗの上面にピントが合った輝度画像Ｉ１、観察対象物Ｗの下面にピントが合った輝度画像Ｉｎ、および深度合成画像Ｉａなどを示している。深度合成部３３は、輝度画像Ｉ１と輝度画像Ｉｎとを含む三枚以上の輝度画像Ｉｉ（ｉは１からｎまでの整数）を深度合成することで深度合成画像Ｉａを生成する。深度合成画像Ｉａは全焦点画像と呼ばれることもある。深度合成画像Ｉａ'は深度合成画像Ｉａの一部を拡大した画像である。破線で囲まれた部分にもやが発生している。もやは観察対象物Ｗには存在しない画像であるため、低減されることが望ましい。

図８はもやの低減処理の一例を示す図である。深度合成画像Ｉａ１は低ＮＡの光学系で取得された画像である。つまり、深度合成画像Ｉａ１は、深い被写界深度で取得された複数の輝度画像を合成することで得られる。低ＮＡであるため分解能（解像度）は低下してしまうが、もやはほぼ存在しない。一方、深度合成画像Ｉａ２は高ＮＡの光学系で取得された画像である。深度合成画像Ｉａ２は浅い被写界深度で取得された輝度画像を合成することで生成される。高ＮＡであるため分解能（解像度）は高いが、もやが発生してしまう。

そこで、もや低減部３４は、低ＮＡの光学系で取得された深度合成画像Ｉａ１と高ＮＡの光学系で取得された深度合成画像Ｉａ２とを合成することで、もやの低減された観察画像Ｉｂを生成する。

ここで、もやを低減するための合成手法としてはいくつかの手法が考えられる。たとえば、もや低減部３４は、深度合成画像Ｉａ１と深度合成画像Ｉａ２とのそれぞれについて同一の注目領域の合焦度を求め、より合焦度が高いほうの注目領域を観察画像Ｉｂの注目領域の画像として採用してもよい。合焦度とは合焦度合いを示す指標であり、フォーカス値と呼ばれてもよい。

別の手法では、もや低減部３４が深度合成画像Ｉａ２におけるもやの発生領域を特定し、もやの発生領域の画像を、深度合成画像Ｉａ１の画像に置換してもよい。深度合成部３３は、それぞれ合焦位置の異なるｎ個の輝度画像を深度合成する。深度合成部３３は、ｎ個の輝度画像のそれぞれについて注目領域のフォーカス値を求めて比較し、最も高いフォーカス値の注目領域を有する輝度画像を特定し、特定された輝度画像の注目領域の画像を、深度合成画像における注目領域の画像として採用する。ここで、特定された輝度画像はそれぞれ特定の合焦位置で取得された輝度画像であるため、光学系と対象物との間の距離に関連付けられる。つまり、合焦位置から対象物の高さが判明する。したがって、深度合成画像における各画素は高さの情報を有している。もや低減部３４は、注目領域（例：上面）を構成する複数の画素の高さと、隣接した領域（例：底面）を構成する複数の画素の高さとから段差を示す距離Ｌを算出する。ここで、光学系の開口角をθとすると、もやの発生範囲はＬ・ｔａｎθとして算出される。つまり、段差発生位置からＬ・ｔａｎθの距離内にある領域にもやが発生しうる。もや低減部３４は、深度合成画像Ｉａ２におけるもやの発生領域に含まれる複数の画素を、深度合成画像Ｉａ１における対応する画素に置換することで、もやを低減してもよい。このように、もや低減部３４は、もやの発生領域を推定してもよい。

もや低減部３４は、深度合成画像Ｉａ２における段差および輝度値の差などから、画像中のもやの発生領域を算出してもよい。算出されたもや発生領域における画素値を深度合成画像Ｉａ１の画素値に置換することで、もやが低減されてもよい。

なお、輝度画像の取得処理の高速化を図るために、第二輝度画像の画像サイズが小さくされてもよい。この場合、深度合成画像Ｉａ１のサイズと深度合成画像Ｉａ２のサイズとが異なる。そこで、画像プロセッサ６６は、深度合成画像Ｉａ２のサイズと深度合成画像Ｉａ１のサイズとが一致するように、深度合成画像Ｉａ１をリサイズ（拡大／縮小）してもよい。

ここでは、深度合成画像Ｉａ１と深度合成画像Ｉａ２とが使用されて観察画像Ｉｂが生成されているが、複数の低ＮＡの輝度画像と複数の高ＮＡの輝度画像とから観察画像Ｉｂが生成されてもよい。たとえば、もや低減部３４は、複数の低ＮＡの輝度画像と複数の高ＮＡの輝度画像とのすべてを対象として注目領域のフォーカス値を求め、最良のフォーカス値が得られた注目領域を有する輝度画像から、当該注目領域の画像を切り出して、観察画像Ｉｂにおける注目領域の画像に採用してもよい。

＜ユーザーインタフェース＞
図９はＵＩ部６５が表示部２に表示するユーザーインタフェース７０を示している。画像表示領域７１は、画像プロセッサ６６から表示制御部６３を通じて出力される画像を表示する。この画像は、観察対象物Ｗのライブ画像や深度合成画像などである。載置台３０が移動していたり、対物レンズ２３の切り替えが指示されたりしたことを検知部６８が検知すると、ＵＩ部６５は、観察対象物Ｗのライブ画像を画像表示領域７１に表示する。観察倍率の変更が完了し、かつ、載置台３０が静止したことを検知部６８が検知すると、ＵＩ部６５は、深度合成画像を画像表示領域７１に表示する。深度合成画像が表示されているときに載置台３０が移動することが検知されると、ＵＩ部６５は、ライブ画像を画像表示領域７１に表示する。倍率選択部７３は、ユーザが観察倍率を選択するためのプルダウンリストである。たとえば、ＵＩ部６５は、レボルバ２１に取り付けられた複数の対物レンズ２３のそれぞれの焦点距離を対物レンズ２３の識別情報から取得するとともに、結像レンズ４１ａ、４１ｂおよびレンズアダプタ４３の各焦点距離を記憶部６７から読み出し、これらのレンズの組み合わせにより実現可能なすべての観察倍率を決定し、決定された複数の観察倍率をリストアップしたプルダウンリストを作成する。ユーザがポインタ７４を操作していずれかの観察倍率を選択すると、ＵＩ部６５は選択された観察倍率を撮像制御部６２に通知する。撮像制御部６２は、選択された観察倍率を実現する対物レンズ２３と結像レンズ４１との組み合わせを決定する。結像レンズ４１ａ、４１ｂおよびレンズアダプタ４３は総称して結像レンズ４１と呼ばれる。撮像制御部６２はこの組み合わせを形成する対物レンズ２３をレボルバ駆動部２４に通知する。レボルバ駆動部２４は、通知された対物レンズ２３が観察光軸Ａ１に位置するようにレボルバ２１を回転させる。レボルバ駆動部２４は回転が終了すると、回転終了信号をＣＰＵ６１に出力する。同様に、撮像制御部６２はこの組み合わせを形成する結像レンズ４１を結像レンズ駆動部４２に通知する。結像レンズ駆動部４２は、通知された結像レンズ４１が観察光軸Ａ１上に位置するようにスライド部材４９ａ、４９ｂをスライドさせる。結像レンズ駆動部４２はスライドが終了すると、回転終了信号をＣＰＵ６１に出力する。検知部６８は、レボルバ駆動部２４と結像レンズ駆動部４２とから回転終了信号を受信すると、倍率変更が完了したと判定する。通常、倍率変更が完了すると、視野範囲内で観察部位の位置を調整することが必要となる。ユーザは、載置台３０が移動することで、視野範囲内の所望の位置に観察部位を位置づける。載置台３０が静止すると、ＵＩ部６５は、画像プロセッサ６６に画像の生成を指示する。ＵＩ部６５は、ライブ画像に代えて深度合成画像を画像表示領域７１に表示する。

なお、深度合成画像の表示と、ライブ画像の表示とを明示的に切り換えるための切替ボタンがユーザーインタフェース７０に設けられてもよい。これによりユーザは、深度合成画像が完成した後に、深度合成画像とライブ画像とを切り換えて表示することで両者を対比してもよい。

図９においてもや低減指定部７６は、もや低減処理を有効にするか無効にするかを指定するためのチェックボックスである。モード選択部７８は、画質優先モードと速度優先モードとのどちらかを選択するために使用される。低ＮＡの深度合成画像を求めるために必要となる輝度画像の枚数は、高ＮＡの深度合成画像を求めるために必要となる輝度画像の枚数よりも少なくてもよい。被写界深度が深いため深度合成に使用される画像の数を増やしても、深度合成画像の解像度の向上は少ない。あるいは、解像度が低いため、画素数を増やしても、深度合成画像の解像度の向上は少ない。そこで、速度優先モードでは、低ＮＡの深度合成画像を求めるために使用される低ＮＡの輝度画像の数を、高ＮＡの深度合成画像を求めるために使用される高ＮＡの輝度画像の数よりも少なくする。これにより観察画像Ｉｂがより短時間で作成可能となる。画質優先モードでは、低ＮＡの深度合成画像を求めるために使用される低ＮＡの輝度画像の数は、高ＮＡの深度合成画像を求めるために使用される高ＮＡの輝度画像の数と同じである。

＜撮像制御部＞
図１０は撮像制御部６２を説明する図である。対物レンズ認識部８１は、対物レンズ２３と通信することで対物レンズ２３の識別情報を取得し、識別情報に基づき対物レンズ２３を認識する。ＵＩ部６５は、倍率選択部７３を通じて観察倍率Ｍを受け付けたり、もや低減処理の有効化を受け付けたり、処理モード（画質優先モード／速度優先）の種類を受け付けたりする。

結像レンズ決定部８２はＵＩ部６５を通じて入力された観察倍率Ｍと、対物レンズ認識部８１により認識された対物レンズ２３の焦点距離ｆｏとに基づき、結像レンズ４１の焦点距離ｆｔを求める。結像レンズ決定部８２は、対物レンズ２３の識別情報に対応する焦点距離ｆｏを、記憶部６７に記憶されている対物レンズ情報８５を参照して決定してもよい。さらに、結像レンズ決定部８２は、求められた焦点距離ｆｔの結像レンズ４１が観察光軸Ａ１に位置するように結像レンズ駆動部４２を制御する。なお、結像レンズ決定部８２は、記憶部６７に記憶されている結像レンズ情報８６を参照することで、結像レンズ４１ａ、４１ｂ、レンズアダプタ４３の各焦点距離ｆｔを取得する。絞り決定部８３は、ＵＩ部６５で受け付けられた観察倍率Ｍに基づき絞り量φを決定する。たとえば、絞り決定部８３は、記憶部６７に保持されているテーブル８４を参照し、入力された観察倍率Ｍに対応する低ＮＡと高ＮＡを決定し、さらに、低ＮＡと結像レンズ４１の焦点距離ｆｔとから絞り量φＬを決定し、高ＮＡと結像レンズ４１の焦点距離ｆｔとから絞り量φＨを決定する。なお、φＬ＜φＨである。絞り決定部８３は、対物レンズ認識部８１により認識された対物レンズ２３に対応する電動絞り３７を、対物レンズ２３から取得した識別情報および対物レンズ情報８５に基づき特定する。

＜もや低減処理のフローチャート＞
図１１はもや低減処理を含む深度合成画像の生成処理を示すフローチャートである。

Ｓ１でＣＰＵ６１（ＵＩ部６５）は倍率選択部７３を通じて観察倍率Ｍを受け付ける。

Ｓ２でＣＰＵ６１（対物レンズ認識部８１）は観察光軸Ａ１に配置されている対物レンズ２３と通信し、対物レンズ２３を認識する。たとえば、対物レンズ認識部８１は、対物レンズ２３の制御基板４７から対物レンズ２３の識別情報を取得する。

Ｓ３でＣＰＵ６１（結像レンズ決定部８２）は、観察倍率Ｍと認識された対物レンズ２３とに対応した結像レンズ４１を決定する。これにより、結像レンズ４１ａ、結像レンズ４１ｂまたは結像レンズ４１ａとレンズアダプタ４３の組み合わせのいずれかが選択される。

Ｓ４でＣＰＵ６１（絞り決定部８３）は、認識された対物レンズ２３に対応した電動絞り３７を決定する。対物レンズ２３ａには電動絞り３７ａが対応している。対物レンズ２３ｂには電動絞り３７ｂが対応している。対物レンズ２３ｃには電動絞り３７ｃが対応している。

Ｓ５でＣＰＵ６１（絞り決定部８３）は、低ＮＡの輝度画像を取得するために電動絞り３７の絞り量φＬと、高ＮＡの輝度画像を取得するために電動絞り３７の絞り量φＨとを決定する。絞り量φＬ、φＨはそれぞれ被写界深度を決定するパラメータとなる。

Ｓ６でＣＰＵ６１（絞り決定部８３）は、光学系を低ＮＡに設定する。光学系の被写界深度が相対的に深くなる。たとえば、絞り決定部８３は、絞り量φＬを電動絞り３７に設定する。電動絞り３７は、設定された絞り量φＬが実現されるようモータにより絞り羽を開け／閉めする。

Ｓ７でＣＰＵ６１（撮像制御部６２）は、合焦位置を変えながらｎ個の輝度画像を取得する。撮像制御部６２は、Ｚ方向駆動部２８を駆動させてＺ方向に上昇させることで、合焦位置を一定ステップずつ変更する。撮像制御部６２は、合焦位置が変更されるたびに撮像部２５に観察対象物Ｗを撮像させる。輝度画像生成部３１は撮像部２５からの画像信号に基づき輝度画像を生成する。これによりｎ個の低ＮＡの輝度画像が生成され、記憶部６７に格納される。

Ｓ８でＣＰＵ６１（深度合成部３３）は、ｎ個の低ＮＡの輝度画像を深度合成して低ＮＡの深度合成画像を生成し、表示部２に表示する。上昇した後に低ＮＡの深度合成画像を表示しているので、ユーザは途中の状態も確認することができる。これと並行して、ＣＰＵ６１はｎ個の低ＮＡの輝度画像を解析する。たとえば、高ＮＡでの撮影をスキップするために、ＣＰＵ６１は画像中に合焦箇所が無いＺ位置を探す。また、より高速な処理を行うために、ＣＰＵ６１は低ＮＡの光学系で撮影する画像のサイズを小さくしてもよい。そのため、光学系毎に必ずしも画像サイズを統一することは必要ない。

Ｓ９でＣＰＵ６１（絞り決定部８３）は、光学系を高ＮＡに設定する。つまり、光学系の被写界深度が相対的に浅くなる。たとえば、絞り決定部８３は、絞り量φＨを電動絞り３７に設定する。電動絞り３７は、設定された絞り量φＨが実現されるようモータにより絞り羽を開け／閉めする。

Ｓ１０でＣＰＵ６１（撮像制御部６２）は、合焦位置を変えながらｍ個の輝度画像を取得する。たとえば、撮像制御部６２は、Ｚ方向駆動部２８を駆動することで、合焦位置を一定ステップずつ変更する。ここで、高ＮＡの光学系を用いて深度合成画像を生成するために必要な一定ステップは、低ＮＡの光学系を用いて深度合成画像を生成するために必要な一定ステップよりも小さい。そのため、高ＮＡの光学系で深度合成画像を生成する方が時間がかかる。

Ｓ８では低ＮＡの輝度画像が解析されており、必要なＺ位置でのみ高解像度の画像が取得されてもよい。不要な部分の撮像は高ＮＡでの撮像の際にスキップすることで画像取得に必要な時間が短縮される。低ＮＡを用いて画像を取得しつつ合焦位置を上昇し、画像を分析して必要なＺ位置が決定される。必要なＺ位置でのみ高ＮＡで画像を取得しつつ合焦位置を下降していく。これにより、もや低減をしつつＮＡを変えて深度合成画像を２回取得することによる撮像時間の増加が抑制されてもよい。

撮像制御部６２は、合焦位置が変更されるたびに撮像部２５に観察対象物Ｗを撮像させる。輝度画像生成部３１は撮像部２５からの画像信号に基づき輝度画像を生成する。これによりｍ個の高ＮＡの輝度画像が生成され、記憶部６７に格納される。

Ｓ１１でＣＰＵ６１（深度合成部３３）は、ｍ個の高ＮＡの輝度画像を深度合成して高ＮＡの深度合成画像を生成し、表示部２に表示する。

Ｓ１２でＣＰＵ６１（もや低減部３４）は、低ＮＡの深度合成画像と高ＮＡの深度合成画像とから、もやの低減された観察画像を生成し、表示部２に表示する。もやの具体的な低減手法としては、上述されたいずれの手法が採用されてもよい。

ここで低ＮＡの輝度画像を生成する際におけるヘッド部２２（載置台３０）の移動方向と、高ＮＡの輝度画像を生成する際におけるヘッド部２２（載置台３０）の移動方向とは逆であってもよい。たとえば、観察対象物Ｗと対物レンズ２３との距離を徐々に削減することで、ｎ個の低ＮＡの輝度画像が生成された場合、観察対象物Ｗと対物レンズ２３との距離を徐々に拡大することで、ｍ個の高ＮＡの輝度画像が生成される。これにより、短時間で必要な輝度画像を作成可能となる。

＜まとめ＞
ヘッド部２２は対物レンズ２３と結像レンズ４１とを含む光学系である。電動絞り３７は光学系の被写界深度を調整する調整部として機能する。リング照明２６や同軸落射照明２７は光学系の視野に載置された観察対象物Ｗに対して照明光を照射する照明部として機能する。撮像部２５や画像プロセッサ６６は光学系を介して観察対象物Ｗからの光を受光して観察対象物Ｗの輝度画像を生成する撮像部として機能する。Ｚ方向駆動部２８が光学系の光軸に沿って光学系の合焦位置を変化させる変化部として機能する。ＣＰＵ６１は調整部、照明部、撮像部および変化部を制御する制御部として機能する、表示部２は観察対象物Ｗの画像である観察画像を表示する表示部として機能する。

ＣＰＵ６１および画像プロセッサ６６は調整部を制御して光学系の被写界深度を第一開口数（例：高ＮＡ）に対応した第一被写界深度（例：浅い）に調整し、照明部を制御することで観察対象物Ｗに対して照明光を観察対象物に対して照射し、変化部と撮像部を制御してそれぞれ異なる複数の合焦位置のそれぞれで観察対象物Ｗを撮像することで複数の第一輝度画像を取得する。ＣＰＵ６１および画像プロセッサ６６は画像生成部として機能する。ＣＰＵ６１および画像プロセッサ６６は調整部を制御して光学系の被写界深度を第一開口数よりも小さな第二開口数（低ＮＡ）に対応した第二被写界深度（例：深い）に調整し、照明部を制御することで観察対象物に対して照明光を照射し、変化部と撮像部を制御してそれぞれ異なる複数の合焦位置のそれぞれで観察対象物を撮像することで複数の第二輝度画像を取得する。第一被写界深度と第二被写界深度とは異なっている。ＣＰＵ６１および画像プロセッサ６６は複数の第一輝度画像と複数の第二輝度画像を用い、第一輝度画像の一部の領域に対して、対応する第二輝度画像を用いて合成することで観察画像を生成してもよい。たとえば、ＣＰＵ６１および画像プロセッサ６６は複数の第一輝度画像を合成することでボケの少ない第一合焦画像（例：深度合成画像Ｉａ２）を生成し、複数の第二輝度画像を合成することでボケの少ない第二合焦画像（例：深度合成画像Ｉａ１）を生成し、第一合焦画像と第二合焦画像とを合成することで、第一合焦画像に残っているボケ（例：もや）を低減した観察画像を生成してもよい。表示部２は、観察画像Ｗを表示する。これにより、拡大観察装置１００により取得される観察画像においてもやが低減される。

ＣＰＵ６１および画像プロセッサ６６は第一合焦画像を解析し、ボケが発生している領域の画素を推定してもよい。画像プロセッサ６６は、第一合焦画像のうちボケのあ領域の画素を、第二合焦画像における対応する領域の画素と置換することで観察画像を生成してもよい。

電動絞り３７は光学系に設けられた絞りの一例である。撮像制御部６２は、電動絞り３７を調整することで、光学系の被写界深度を調整してもよい。

対物レンズ２３ａ、２３ｂは、第一対物レンズの一例である。電動絞り３７ａ、３７ｂは、第一対物レンズの鏡筒内であって第一対物レンズの瞳位置に設けられた第一絞りとして機能する。

対物レンズ２３ｃは第二対物レンズの一例である。電動絞り３７ｃは、第二対物レンズと結像レンズとの間であって第二対物レンズの瞳位置に配置された第二絞りとして機能する。

ハーフミラー３８は結像レンズと対物レンズとの間に設けられたハーフミラーの一例である。照明部は、ハーフミラーおよび対物レンズを通じて照明光を観察対象物に照射する光源（例：同軸落射照明２７）を有してもよい。電動絞り３７ｄは、ハーフミラーと光源との間に配置された第三絞りとして機能する。射出瞳径の小さい対物レンズ２３を使用するケースや、広視野観察および深度優先観察のために対物レンズ２３の電動絞りを絞るケースでは、同軸落射照明２７で照明を行うことがある。この場合、同軸落射照明２７は瞳径の外部に照明光を照射することになるため、対物レンズ２３の電動絞りなどで反射した光により不必要な迷光が発生する。このような迷光は画像のコントラストを低下させる。そこで、図４が示すように、同軸落射照明２７の開口絞りとして電動絞り３７ｄが設けられてもよい。撮像制御部６２は、電動絞り３７ｄを制御することで、同軸落射照明２７の光束径を、現在の観察状態の射出瞳径と略同一に制御する。これにより同軸落射照明２７に起因した迷光が生じにくくなり、画像のコントラスが向上する。現在の観察状態の射出瞳径は、観察光軸Ａ１に配置された対物レンズ２３の射出瞳系である。電動絞り３７ａ、３７ｂ、３７ｃの絞り量など、観察光軸Ａ１に配置された対物レンズ２３の絞り量に応じて電動絞り３７ｄの絞り量が決定される。

複数の第二輝度画像の数は複数の第一輝度画像の数よりも小さい。これにより、輝度画像の枚数が削減されるため、もや低減処理に要する処理時間が削減可能となる。

画像プロセッサ６６は、複数の第二輝度画像の取得を、複数の第一輝度画像の取得に先行して実行することで、第二合焦画像を第一合焦画像に先行して生成してもよい。表示部２は、第一合焦画像の生成および観察画像の生成が完了するまでは、第二合焦画像を表示してもよい。複数の第二輝度画像が複数の第一輝度画像よりも少ない場合、第二合焦画像の生成に必要となる時間は第一合焦画像の生成に必要となる時間よりも短い。よって、合焦画像を目にするまでのユーザの待ち時間が削減される。

ＣＰＵ６１および画像プロセッサ６６は、変化部に光学系と観察対象物との距離を減少または増加させることで光学系の合焦位置を変化させ、複数の第二輝度画像を取得し、変化部に光学系と観察対象物との距離を増加または減少させることで光学系の合焦位置を変化させ、複数の第一輝度画像を取得してもよい。これによりヘッド部２２または載置台３０の移動距離が削減されるため、ユーザの待ち時間が減少する。

もや低減部３４は速度優先モードと画質優先モードとを有してもよい。画質優先モードでは、第二輝度画像を構成する画素数と、第一輝度画像を構成する画素数とが同一であってもよい。速度優先モードでは第二輝度画像を構成する画素数が、第一輝度画像を構成する画素数よりも少なくてもよい。モード選択部７８は、速度優先モードまたは画質優先モードを選定する選定部として機能する。一般に、画像を構成する画素数が少なければ少ないほど、深度合成等の画像処理に要する時間が短縮される。解像度が低いため、低ＮＡ輝度画像の画素数は高ＮＡ輝度画像の画素数よりも少なくてもよい。ただし、画素数の異なる複数の画像を合成するためには、画素数を揃えるためのリサイズが必要となる。一般に、画像の枚数が少なければ少ないほど、深度合成等の画像処理に要する時間が短縮される。被写界深度が深いため、低ＮＡ輝度画像の枚数は高ＮＡ輝度画像の枚数よりも少なくてもよい。

画像生成部は、変化部に光学系と観察対象物との距離を増加させることで光学系の合焦位置を変化させ、複数の第二輝度画像を取得し、複数の第二輝度画像を解析し、第一輝度画像を取得しなくてよい相対位置を求める。さらに、画像生成部は、変化部に光学系と観察対象物との距離を減少させることで光学系の合焦位置を変化させ、求められた相対位置での第一輝度画像の取得をスキップしつつ、複数の第一輝度画像を取得してもよい。

Claims (13)

1. 対物レンズと結像レンズとを含む光学系と、
   前記光学系の被写界深度を調整する調整部と、
   前記光学系の視野に載置された観察対象物に対して照明光を照射する照明部と、
   前記光学系を介して前記観察対象物からの光を受光して前記観察対象物の輝度画像を生成する撮像部と、
   前記光学系の光軸に沿って前記光学系の合焦位置を変化させる変化部と、
   前記調整部、前記照明部、前記撮像部および前記変化部を制御する制御部と、
   前記観察対象物の画像である観察画像を表示する表示部と
   を有し、
   前記制御部は、
   前記調整部を制御して前記光学系の被写界深度を第一被写界深度に調整し、前記照明部を制御することで前記観察対象物に対して前記照明光を照射し、前記変化部と前記撮像部を制御してそれぞれ異なる複数の合焦位置のそれぞれで前記観察対象物を撮像することで複数の第一輝度画像を取得し、
   前記調整部を制御して前記光学系の被写界深度を前記第一被写界深度とは異なる第二被写界深度に調整し、前記照明部を制御することで前記観察対象物に対して前記照明光を照射し、前記変化部と前記撮像部を制御してそれぞれ異なる複数の合焦位置のそれぞれで前記観察対象物を撮像することで複数の第二輝度画像を取得し、
   前記複数の第一輝度画像と前記複数の第二輝度画像を用い、前記第一輝度画像の一部の領域に対して、対応する前記第二輝度画像を用いて合成することで観察画像を生成する画像生成部
   を有し、
   前記表示部は、前記観察画像を表示することを特徴とする拡大観察装置。
2. 前記画像生成部は、前記複数の第一輝度画像を合成することでボケの少ない第一合焦画像を生成し、前記複数の第二輝度画像を合成することでボケの少ない第二合焦画像を生成し、前記第一合焦画像と前記第二合焦画像とを合成することで、前記第一合焦画像に残っているボケを低減した前記観察画像を生成することを特徴とする請求項１に記載の拡大観察装置。
3. 前記制御部は、前記第一合焦画像を解析し、ボケが発生している領域の画素を推定し、
   前記画像生成部は、前記第一合焦画像のうちボケのある領域の画素を、前記第二合焦画像における対応する領域の画素と置換することで前記観察画像を生成することを特徴とする請求項２に記載の拡大観察装置。
4. 前記光学系に設けられた絞りをさらに有し、
   前記調整部は、前記絞りを調整することで、前記光学系の被写界深度を調整することを特徴とする請求項１ないし３のいずれか一項に記載の拡大観察装置。
5. 前記対物レンズは、第一対物レンズを含み、
   前記絞りは、前記第一対物レンズの鏡筒内であって前記第一対物レンズの瞳位置に設けられた第一絞りを含むことを特徴とする請求項４に記載の拡大観察装置。
6. 前記対物レンズは、第二対物レンズを含み、
   前記絞りは、前記第二対物レンズと前記結像レンズとの間であって前記第二対物レンズの瞳位置に配置された第二絞りを有することを特徴とする請求項４または５に記載の拡大観察装置。
7. 前記結像レンズと前記対物レンズとの間に設けられたハーフミラーをさらに有し、
   前記照明部は、前記ハーフミラーおよび前記対物レンズを通じて前記照明光を前記観察対象物に照射する光源を有し、
   前記絞りは、前記ハーフミラーと前記光源との間に配置された第三絞りを有することを特徴とする請求項４ないし６のいずれか一項に記載の拡大観察装置。
8. 前記複数の第二輝度画像の数は前記複数の第一輝度画像の数よりも小さく、
   前記画像生成部は、前記複数の第二輝度画像の取得を前記複数の第一輝度画像の取得に先行して実行することで、前記第二合焦画像を前記第一合焦画像に先行して生成することを特徴とする請求項２に記載の拡大観察装置。
9. 前記表示部は、前記第一合焦画像の生成および前記観察画像の生成が完了するまでは、前記第二合焦画像を表示することを特徴とする請求項２または８に記載の拡大観察装置。
10. 前記画像生成部は、前記変化部に前記光学系と前記観察対象物との距離を減少または増加させることで前記光学系の合焦位置を変化させ、前記複数の第二輝度画像を取得し、前記変化部に前記光学系と前記観察対象物との距離を増加または減少させることで前記光学系の合焦位置を変化させ、前記複数の第一輝度画像を取得することを特徴とする請求項１ないし９のいずれか一項に記載の拡大観察装置。
11. 前記複数の第二輝度画像の数が前記複数の第一輝度画像の数よりも小さい速度優先モードと、
    前記複数の第二輝度画像の数が前記複数の第一輝度画像の数と等しい画質優先モードと、
    前記速度優先モードまたは前記画質優先モードを選定する選定部と
    をさらに有することを特徴とする請求項１ないし１０のいずれか一項に記載の拡大観察装置。
12. 前記第二被写界深度は前記第一被写界深度よりも深いことを特徴とする請求項１ないし１１のいずれか一項に記載の拡大観察装置。
13. 前記画像生成部は、前記変化部に前記光学系と前記観察対象物との距離を増加させることで前記光学系の合焦位置を変化させ、前記複数の第二輝度画像を取得し、
    前記複数の第二輝度画像を解析し、前記第一輝度画像を取得しなくてよい相対位置を求め、
    前記変化部に前記光学系と前記観察対象物との距離を減少させることで前記光学系の合焦位置を変化させ、前記求められた相対位置での前記第一輝度画像の取得をスキップしつつ、前記複数の第一輝度画像を取得する請求項１ないし１２のいずれか一項に記載の拡大観察装置。