JP2020086293A - 拡大観察装置 - Google Patents

Abstract

【課題】深度合成された凹凸強調画像を提供すること。【解決手段】拡大観察装置は、照明部を制御することで観察対象物に対して第一照明方向から照明光を観察対象物に対して照射し、変化部と撮像部を制御してそれぞれ異なる複数の合焦位置のそれぞれで観察対象物を撮像することで複数の第一輝度画像を取得しＳ４、照明部を制御することで観察対象物に対して第一照明方向に対して光軸を挟んで対称となる第二照明方向から照明光を観察対象物に対して照射し、変化部と撮像部を制御してそれぞれ異なる複数の合焦位置のそれぞれで観察対象物を撮像することで複数の第二輝度画像を取得しＳ５、複数の第一輝度画像と複数の第二輝度画像とについて深度合成Ｓ６，Ｓ７および凹凸強調Ｓ８，Ｓ９することで観察対象物の表面の凹凸が強調され、かつ、撮像部により取得可能な単一の輝度画像と比較して被写界深度の広い凹凸強調画像Ｓ１０を生成する。【選択図】図５

Description

本発明は拡大観察装置に関する。

一般に顕微鏡は観察対象物を精度よく観察するために高い光学性能を有する光学系が求められてきた。また、観察画像をリアルタイムで表示器に表示する顕微鏡が登場し、観察対象物のありのままの姿をいかにして正確かつ詳細に表示できるかについて、顕微鏡メーカーの間で競争されてきた。

一方で、画像処理チップの性能が向上し、顕微鏡にも採用可能となってきた。また、顕微鏡のユーザも生物等の研究者だけでなく、工場で生産された製品の検査（拡大観察）をする検査者に広がってきた。そのため、従来の光学性能追求志向とは異なる志向の顕微鏡の市場ニーズが生まれた。これは従来の顕微鏡と区別して、拡大観察装置と呼ばれることもある（特許文献１）。

特開２０１８−０１３７３４号公報

ところで、工場で生産された製品の表面の凹凸を拡大観察装置で観察したいというニーズが存在する。ここで問題となるのがレンズの被写界深度である。凹凸の差が被写界深度を超えている場合、凹凸がぼけてしまうため、ユーザは凹凸を正しく確認することができなかった。そこで、本発明は、深度合成された凹凸強調画像を提供することを目的とする。

本発明は、たとえば、
対物レンズと結像レンズとを含む光学系と、
前記光学系の視野に載置された観察対象物に対してそれぞれ異なる方向から照明光を照射する照明部と、
前記光学系を介して前記観察対象物からの光を受光して前記観察対象物の輝度画像を生成する撮像部と、
前記光学系の光軸に沿って前記光学系の合焦位置を変化させる変化部と、
前記照明部、前記撮像部および前記変化部を制御する制御部と、
前記観察対象物の画像である観察画像を表示する表示部と
を有し、
前記制御部は、
前記照明部を制御することで前記観察対象物に対して第一照明方向から前記照明光を前記観察対象物に対して照射し、前記変化部と前記撮像部を制御してそれぞれ異なる複数の合焦位置のそれぞれで前記観察対象物を撮像することで複数の第一輝度画像を取得し、
前記照明部を制御することで前記観察対象物に対して前記第一照明方向に対して前記光軸を挟んで対称となる第二照明方向から前記照明光を前記観察対象物に対して照射し、前記変化部と前記撮像部を制御してそれぞれ異なる複数の合焦位置のそれぞれで前記観察対象物を撮像することで複数の第二輝度画像を取得し、
前記複数の第一輝度画像と前記複数の第二輝度画像とについて深度合成および凹凸強調することで前記観察対象物の表面の凹凸が強調され、かつ、前記撮像部により取得可能な単一の輝度画像と比較して被写界深度の広い凹凸強調画像を生成する画像生成部
を有し、
前記表示部は、前記観察画像として、前記凹凸強調画像を表示することを特徴とする拡大観察装置を提供する。

本発明によれば、深度合成された凹凸強調画像が提供される。

拡大観察装置１００の概要を説明する図 制御部などを説明する図 画像プロセッサを説明する図 深度合成および凹凸強調を説明する図 拡大観察処理を説明するフローチャート （Ａ）は通常の観察画像を示し、（Ｂ）は凹凸強調画像を示し、（Ｃ）は着色された凹凸強調画像を示す図である（図面代用写真）。

＜拡大観察装置＞
図１は、拡大観察装置１００を示している。拡大観察装置１００は、例えば微小物体等の試料や電子部品、被加工物等のワーク（以下、これらを観察対象物という。）を拡大して表示する装置である。使用者は拡大観察装置１００を使用して観察対象物の外観を検査したり、寸法計測等を行ったりすることができる。拡大観察装置１００は、顕微鏡やデジタルマイクロスコープと呼ばれてもよい。観察対象物は、上述した例に限定されるものではなく、各種物体が観察対象物となりうる。

観察部１は、ベース部１０、スタンド部２０、ヘッド部２２、載置台３０を有している。ベース部１０は、観察部１をぐらつくことなく、机等に置いておくための部分であり、観察部１の略下半部を構成している。ベース部１０には、載置台３０が設けられている。載置台３０は、ベース部１０の前後方向中央部近傍から前側の部分に支持されており、該ベース部１０から上方へ突出している。載置台３０は、観察対象物を載置するための部分であり、この実施形態では、電動載置台で構成されている。すなわち、観察対象物を電動載置台の幅方向（Ｘ方向）及び奥行き方向（Ｙ方向）の両方向に移動可能に支持することができるとともに、上下方向（Ｚ方向）及びＺ軸回りに回動できるようになっている。スタンド部２０はベース部１０に対して揺動可能となっている。たとえば、スタンド部２０は、観察部１を正面から見て右回りおよび左回りに搖動させるこができる。スタンド部２０が搖動することで、ヘッド部２２も搖動する。スタンド部２０およびヘッド部２２は、Ｚ軸方向に移動可能に取り付けられている。ヘッド部２２は、対物レンズ、結像レンズ、照明装置および撮像素子などを有する。ヘッド部２２は、載置台３０に載置された観察対象物に照明光を照射し、該照明光の観察対象物からの反射光又は透過光の受光量を検出して観察対象物の画像を生成する。なお、観察部１の構成と機能の詳細は、本件と同一出願人の特願２０１８−１６１３４７に開示されている、その開示の全ては本明細書の一部として援用（ｉｎｃｏｒｐｏｒａｔｉｏｎ ｈｅｒｅｉｎ ｂｙ ｒｅｆｅｒｅｎｃｅ）される。

表示部２は、例えば、液晶表示パネルや有機ＥＬパネル等のようなカラー表示可能な表示画面２ａを有しており、外部から電力が供給されるようになっている。表示画面２ａにタッチ操作パネル（受付部の一例）を組み込むようにしてもよい。また、この実施形態では、表示部２に制御部６０を組み込んだ例で説明しているが、これに限らず、制御部６０は観察部１に組み込むようにしてもよいし、コンソール部３に組み込むようにしてもよいし、表示部２、観察部１及びコンソール部３とは別体の外部ユニットとしてもよい。表示部２と、観察部１とはケーブル５によって信号の送受が可能に接続されている。観察部１への電力供給は、ケーブル５によって行ってもよいし、図示しない電源ケーブルによって行ってもよい。

コンソール部３は制御部６０に接続されており、一般的なキーボードやマウスとは異なっており、観察部１を操作したり、各種情報の入力や選択操作、画像の選択操作、領域指定、位置指定等を行ったりすることが可能な専用の操作デバイスである。制御部６０にはポインティングデバイスとしてマウス４が接続されている。コンソール部３およびマウス４は、拡大観察装置１００を操作することができればよいので、例えばタッチパネル式の入力装置、音声入力装置等であってもよい。タッチパネル式の入力装置の場合、表示部２と一体化することができ、表示部２に表示されている表示画面上の任意の位置の検出を可能に構成することができる。コンソール部３およびマウス４は、表示部２に表示された画像上で使用者によって指定された任意の位置の入力を受け付ける受付部である。

拡大観察装置１００には、上述した機器や装置以外にも、操作や制御を行うための装置、プリンタ、その他の各種処理を行うためのコンピュータ、記憶装置、周辺機器等を接続することもできる。この場合の接続は、例えば、ＩＥＥＥ１３９４、ＲＳ−２３２ｘやＲＳ−４２２、ＵＳＢ等のシリアル接続、パラレル接続、あるいは１０ＢＡＳＥ−Ｔ、１００ＢＡＳＥ−ＴＸ、１０００ＢＡＳＥ−Ｔ等のネットワークを介して電気的、あるいは磁気的、光学的に接続する方法等を挙げることができる。また、有線接続以外にも、ＩＥＥＥ８０２．ｘ等の無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等の電波、赤外線、光通信等を利用した無線接続等でもよい。さらにデータの交換や各種設定の保存等を行うための記憶装置に用いる記憶媒体としては、例えば、各種メモリカードや磁気ディスク、光磁気ディスク、半導体メモリ、ハードディスク等を利用することができる。拡大観察装置１００は、上記各種ユニットや装置、機器を組み合わせた拡大観察システムということもできる。

＜制御部＞
図２が示すように、制御部６０は、ＣＰＵ６１や画像プロセッサ６６、記憶部６７などを有している。ＣＰＵ６１は記憶部６７のＲＯＭ領域に記憶されているプログラムを実行することで様々な機能を実現する。撮像制御部６２は、ヘッド部２２に設けられたレボルバ２１を回転させるためにレボルバ駆動部２４を制御する。これにより、対物レンズ２３の倍率が変更される。つまり、ある倍率の対物レンズ２３から他の倍率の対物レンズ２３に切り替わる。撮像制御部６２は、対物レンズ２３の合焦位置を変更するためにヘッド部２２を上下させるＺ方向駆動部２８を制御する。撮像制御部６２は、載置台駆動部２９を通じて載置台３０をＸ方向、Ｙ方向、Ｚ方向に移動させたり、載置台３０をθ回転させたりする。撮像制御部６２は、ヘッド部２２に設けられた撮像部２５を制御し、撮像部２５に観察対象物Ｗを撮像させ、観察対象物Ｗの画像を取得する。表示制御部６３は観察対象物Ｗの画像などを表示部２に表示させる。照明制御部６４は、ヘッド部２２に設けられたリング照明２６や同軸落射照明２７の点灯と消灯とを制御する。ＵＩ部６５は、表示制御部６３を通じて表示部２にＵＩ（ユーザーインタフェース）を表示したり、コンソール部３やマウス４から入力されるユーザ指示を受け付けたりする。画像プロセッサ６６は、撮像部２５により取得された画像信号から様々な画像データを作成する。画像プロセッサ６６はＣＰＵ６１により実現されてもよい。記憶部６７はＲＯＭ領域やＲＡＭ領域、メモリカードなどを有する。

＜画像プロセッサ＞
図３が示すように、画像プロセッサ６６において、輝度画像生成部３１は、撮像制御部６２を通じて撮像部２５により取得された画像信号から輝度画像を作成する。ＨＤＲ処理部３２は、撮像制御部６２を通じて撮像部２５を制御することで、それぞれ露光時間が異なる複数のサブ輝度画像を取得し、複数のサブ輝度画像をＨＤＲ処理することで輝度画像を生成する。ＨＤＲはハイダイナミックレンジの略称である。深度合成部３３は、撮像制御部６２を通じて撮像部２５を制御することで、それぞれ合焦位置の異なる複数のサブ輝度画像を取得し、複数のサブ輝度画像を深度合成することで深度合成画像を生成する。なお、サブ輝度画像はＨＤＲ処理された輝度画像であってもよい。凹凸強調部３４は、第一照明方向から照明された観察対象物Ｗの第一輝度画像と、第二照明方向から照明された観察対象物Ｗの第二輝度画像とを合成することで、観察対象物Ｗの表面の凹凸が強調された凹凸強調画像を作成する。第一照明方向と第二照明方向は相互に光軸Ａ１を挟んで対称となっている。なお、第一輝度画像と第二輝度画像はそれぞれ深度合成された深度合成画像であってもよい。たとえば、凹凸強調部３４は、第一深度合成画像と第二深度合成画像との輝度の差分に基づき凹凸強調画像を生成してもよい。第一深度合成画像における画素（座標ｘ、ｙ）の輝度値ｉ１と、第二深度合成画像における画素（座標ｘ、ｙ）の輝度値ｉ２とから凹凸強調画像における画素（座標ｘ、ｙ）の画素値Ｉｘｙは、次式から求められてもよい。
Ｉｘｙ＝（ｉ１−ｉ２）／（ｉ１＋ｉ２） ・・・（１）
凹凸強調画像の画素値は、一対の画素値の差分を、一対の画素値を足した合計で割ることで得られる。画素値の差分が正規化されるのであれば、（１）の式とは異なる式が採用されてもよい。

分子である輝度値ｉ２と輝度値ｉ１との差分は、当該画素に対応する観察対象物Ｗの局所位置の面の傾き（傾斜）を反映する。観察対象物Ｗの面の傾きにより凹凸が強調される。

輝度値の絶対値は、観察対象物Ｗの色および材質等の反射率によって変わる。凹凸成分を強調して反映させるため、分母である輝度値ｉ２と輝度値ｉ１の和で分子を割ることにより、正規化が実行される。

着色部３６は、撮像部２５により取得された観察対象物Ｗについてのカラー画像から色情報を取得して凹凸強調画像をカラー化する。高さ画像生成部３５は、凹凸強調画像の各画素を積分することで各画素ごとに観察対象物Ｗの表面の高さを求め、当該高さを各画素とする高さ画像を生成する。高さ画像生成部３５は、高さ画像の各画素を、各画素の高さに応じて着色することでカラー高さ画像を生成してもよい。

このように凹凸強調画像では、観察対象物Ｗの画像における色成分が除去されている。色成分がないと、凹凸を確認しにくい。そのため、着色部３６が色付けを実行している。

図６は観察対象物Ｗの一例としてレーザマーカでマーキングされた観察対象物を示している。図６（Ａ）は通常の観察画像を示している。図６（Ｂ）は凹凸強調画像を示している。図６（Ｃ）は高さ画像生成部３５により高さに応じて凹凸強調画像に着色を施すことで生成された画像を示している。

図６（Ａ）では、観察対象物Ｗの凹凸の様子を把握できないが、図６（Ｂ）では、凹凸の様子を把握できる。図６（Ｂ）では錯視により、凹と凸とが逆転して見えることがある。そのため、図６（Ｃ）が示すように着色することにより凹と凸とを正確に把握することができる。

このように照明の方向を切り替えて、観察対象物Ｗの局所的な面の傾きに応じた輝度値を得ることで、凹凸強調画像が得られる。

＜深度合成と凹凸強調の原理＞
図４（Ａ）はリング照明２６の一部を点灯させることで第一照明方向から観察対象物Ｗに照明光を照射していることを示している。リング照明２６は、四つの光源領域１４０Ａ、１４０Ｂ、１４０Ｃ、１４０Ｄを有している。つまり、リング照明２６は、四つの光源領域１４０Ａ、１４０Ｂ、１４０Ｃ、１４０Ｄを選択的に点灯および消灯することで、四つの照明方向から照明光を観察対象物Ｗに照射できる。光源領域１４０Ａの照明方向と光源領域１４０Ｃの照明方向とは光軸Ａ１に対して対称となっている。光源領域１４０Ｂの照明方向と光源領域１４０Ｄの照明方向とは光軸Ａ１に対して対称となっている。図４（Ａ）では光源領域１４０Ａだけが点灯している。

図４（Ｂ）は第一照明方向から観察対象物Ｗに照明光を照射することで取得された輝度画像Ｉ１を示している。ＳＨは観察対象物Ｗの影を示している。

図４（Ｃ）は光源領域１４０Ｃだけを点灯することで第二照明方向から観察対象物Ｗに照明光を照射することを示している。図４（Ｃ）は第二照明方向から観察対象物Ｗに照明光を照射することで取得された輝度画像Ｉ２を示している。

図４（Ｅ）は第一照明方向から観察対象物Ｗに照明光を照射し、かつ、合焦位置を変えながら取得されたｎ個の第一輝度画像Ｉ１１〜Ｉ１ｎを示している。深度合成部３３は、ｎ個の第一輝度画像Ｉ１１〜Ｉ１ｎを深度合成することで、第一深度合成画像Ｉａ１を作成する。たとえば、深度合成部３３は、複数の第一輝度画像Ｉ１１〜Ｉ１ｎにおいてそれぞれ画素位置が同じである複数の画素を解析し、当該複数の画素のうちで最も合焦度の高い画素を、当該画素位置における合焦画素として選択することで、複数の画素位置でそれぞれ合焦画素からなる第一深度合成画像Ｉ１ａを生成する。

図４（Ｆ）は第二照明方向から観察対象物Ｗに照明光を照射し、かつ、合焦位置を変えながら取得されたｎ個の第二輝度画像Ｉ２１〜Ｉ２ｎを示している。深度合成部３３は、ｎ個の第二輝度画像Ｉ２１〜Ｉ２ｎを深度合成することで、第二深度合成画像Ｉ２ａを作成する。たとえば、深度合成部３３は、複数の第二輝度画像Ｉ２１〜Ｉ２ｎにおいてそれぞれ画素位置が同じである複数の画素を解析し、当該複数の画素のうちで最も合焦度の高い画素を、当該画素位置における合焦画素として選択することで、複数の画素位置でそれぞれ合焦画素からなる第二深度合成画像Ｉ２ａを生成する。

凹凸強調部３４は、第一深度合成画像Ｉ１ａと第二深度合成画像Ｉ２ａとを用いて凹凸強調画像を生成する。凹凸強調部３４は、第一深度合成画像Ｉ１ａと第二深度合成画像Ｉ２ａとの輝度の差分に基づき凹凸強調画像を生成する。

なお、図４においては影ＳＨが生じるような観察対象物Ｗが用いられている。凹凸強調画像により凹凸を把握しやすくなる観察対象物Ｗは、図６に示されたような微小な凹凸を有するものである。

第一照明方向と第二照明方向からの照明光を切り替えて画像が取得され、上述したような方法で凹凸強調画像が生成される。これにより、観察対象物Ｗの表面の凹凸が強調される。

図６（Ａ）の点ｐにおいては、凹凸があるのか把握できない。しかし、図６（Ｂ）が示すような凹凸強調画像においては、同じ点ｐにおいて凹凸があるかどうかを把握できる。

このように、照明方向を切り替えた画像を用いて、観察対象物の微小な傾斜を強調する演算処理をすることで凹凸強調画像が得られる。

＜載置台の移動と画像の表示＞
ＵＩ部６５は、凹凸強調部３４により生成された凹凸強調画像を表示部２に表示する。ユーザは観察対象物Ｗの一部を拡大観察するために凹凸強調画像を利用する。ここで、観察対象物Ｗの複数の箇所が拡大観察の対象となる場合がある。この場合に、ユーザはコンソール部３を操作することで、載置台３０をＸ方向やＹ方向に移動させたり、θ方向に回転させたりする。ＣＰＵ６１はコンソール部３からＸ方向への移動指示が入力されると、載置台駆動部２９により載置台３０をＸ方向へ移動させ、ＣＰＵ６１はコンソール部３からＹ方向への移動指示が入力されると、載置台駆動部２９により載置台３０をＹ方向へ移動させる。このような移動指示が入力されている限り、ＣＰＵ６１は移動指示にしたがって連続的に載置台３０を移動する。ユーザによる移動指示の入力が停止すると、ＣＰＵ６１は載置台駆動部２９による載置台３０の移動を停止させる。

ここで、凹凸強調画像を生成するためには、ある程度の処理時間が必要となるため、載置台３０が移動している期間においては、ＵＩ部６５は、凹凸強調部３４により生成された凹凸強調画像を表示部２に表示できない。そこで、載置台３０が移動している期間において、ＵＩ部６５は、輝度画像生成部３１が生成した観察対象物Ｗの輝度画像を表示部２に表示する。これにより、ユーザは表示部２に表示された輝度画像を確認することで、次の観察部位が撮像部２５の視野範囲に位置しているかどうかを確認できるようになる。ここで、ＵＩ部６５は、一定時間ごとに観察対象物Ｗの輝度画像を更新することで、表示部２には動画のように観察対象物Ｗの輝度画像が表示される。ＣＰＵ６１は、移動指示の入力が停止したこと（載置台３０の停止）を検知すると、画像プロセッサ６６に凹凸強調画像の生成を指示する。これにより、上述した輝度画像の取得、深度合成、および凹凸強調画像が再度実行され、新たな観察位置での凹凸強調画像が表示部２に表示される。ユーザが凹凸強調画像の再生成を指示しなくても、載置台３０の停止に応じて、凹凸強調画像が再生成される。そのため、ユーザは効率よく複数の観察部位を観察できるようになろう。

＜凹凸強調画像の着色＞
凹凸強調画像を構成する各画素は、観察対象物Ｗの表面の凹凸を示しており、表面の色情報を含まない。そのため、ユーザは、観察部位の色と凹凸の位置との関係を把握しにくい。そこで、着色部３６は、リング照明２６の光源領域１４０Ａ〜１４０Ｄをすべて点灯させ、撮像部２５に観察対象物Ｗを撮像させる。こにより、輝度画像生成部３１は観察対象物Ｗのカラー画像（輝度画像）を生成する。着色部３６は、カラー画像から色情報を取得し、凹凸強調画像に色情報をマッピングして凹凸強調画像をカラー化し、表示部２に表示する。これによりユーザは、観察部位の色と凹凸の位置との関係を把握しやすくなる。

＜ＨＤＲ処理＞
観察対象物Ｗの表面が金属である場合、輝度画像において白飛びした画素や黒つぶれした画素が発生することがある。このような場合に、最終的に生成される凹凸強調画像において凹凸を確認しにくくなる。そこで、ＨＤＲ処理部３２が採用されてもよい。ＨＤＲ処理部３２は、一つの合焦位置について、露光時間が異なる複数のサブ輝度画像を取得し、当該複数のサブ輝度画像をＨＤＲ処理することで一つの輝度画像を生成する。ＨＤＲ処理部３２は、合焦位置が変更されるたびに、露光時間が異なる複数のサブ輝度画像を取得し、当該複数のサブ輝度画像をＨＤＲ処理することで一つの輝度画像を生成する。これにより、第一輝度画像Ｉ１１〜Ｉ１ｎと第二輝度画像Ｉ２１〜Ｉ２ｎはいずれもＨＤＲ処理された画像となる。よって、深度合成部３３は、ＨＤＲ処理された第一輝度画像Ｉ１１〜Ｉ１ｎを深度合成して、第一深度画像Ｉ１ａを生成し、ＨＤＲ処理された第二輝度画像Ｉ２１〜Ｉ２ｎを深度合成して、第二深度画像Ｉ２ａを生成する。さらに、凹凸強調部３４は、ＨＤＲ処理された第一深度画像Ｉ１ａおよびＨＤＲ処理された第二深度画像Ｉ２ａを合成することで、ＨＤＲ処理された凹凸強調画像を生成する。これにより、白飛びや黒つぶれが発生しにくくなるため、ユーザは、凹凸強調画像を確認することで、観察対象物Ｗにおける凹凸をより正確に把握しやすくなろう。

＜高さ画像＞
上述された凹凸強調画像は観察対象物Ｗの表面の高さ情報を含まない。そのため、クレーター錯視が発生する。クレーター錯視とは、画像として凹形状と凸形状とが区別できないために、観察者が凹部と凸部とを誤って認識してしまう現象である。そこで、高さ画像生成部３５は、凹凸強調画像の各画素を積分することで各画素ごとに観察対象物Ｗの表面の高さを求め、当該高さを各画素とする高さ画像を生成し、表示部２に表示してもよい。さらに、高さ画像生成部３５は、高さ画像の各画素の高さデータを色情報に変換し、凹凸強調画像に対して色情報をマッピングすることで、高さに応じて異なる色で着色された凹凸強調画像を生成し、表示部２に表示してもよい。これにより、ユーザは、色情報に基づき観察対象物Ｗの表面における凹形状と凸形状とを区別しやすくなろう。

＜その他＞
図４においては光源領域１４０Ａ、１４０Ｃについて説明されたが、この説明は光源領域１４０Ｂ、１４０Ｄにも適用可能である。つまり、画像プロセッサ６６は、光源領域１４０Ａ、１４０Ｃとのペアを用いて凹凸強調画像を生成してもよいし、光源領域１４０Ｂ、１４０Ｄとのペアを用いて凹凸強調画像を生成してもよい。光源領域１４０Ｂの照明方向は第三照明方向と呼ばれてもよい。光源領域１４０Ｄの照明方向は第四照明方向と呼ばれてもよい。第三照明方向と第四照明方向とは光軸Ａ１を挟んで対称（線対称）となっている。

輝度画像生成部３１は、リング照明２６を制御することで観察対象物Ｗに対して第一照明方向および第二照明方向と異なる第三照明方向から照明光を観察対象物Ｗに対して照射する。輝度画像生成部３１は、Ｚ方向駆動部２８や撮像部２５を制御し、それぞれ異なる複数の合焦位置のそれぞれで観察対象物Ｗを撮像することで複数の第三輝度画像を取得する。同様に、輝度画像生成部３１は、リング照明２６を制御することで観察対象物Ｗに対して第四照明方向から照明光を観察対象物Ｗに対して照射する。輝度画像生成部３１は、Ｚ方向駆動部２８や撮像部２５を制御し、それぞれ異なる複数の合焦位置のそれぞれで観察対象物Ｗを撮像することで複数の第四輝度画像を取得する。画像プロセッサ６６は、第一照明方向、第二照明方向、第三照明方向および第四照明方向のうちＵＩ部６５により選択された照明方向に対応した凹凸強調画像を、複数の第一輝度画像、複数の第二輝度画像、複数の第三輝度画像および複数の第四輝度画像のうち選択された照明方向に対応した複数の輝度画像を用いて生成する。表示部２は、選択された照明方向に対応した凹凸強調画像を表示する。上述の実施形態では、第一照明方向が選択されているが、第二照明方向が選択されてもよい。この場合、（１）式におけるｉ１とｉ２とが入れ替わる。第三照明方向が選択された場合、（１）式において、第三輝度画像の各画素の輝度値がｉ１となり、第四輝度画像の各画素の輝度値がｉ２となる。第四照明方向が選択された場合、（１）式において、第四輝度画像の各画素の輝度値がｉ１となり、第三輝度画像の各画素の輝度値がｉ２となる。

＜変形例＞
上述した実施形態では深度合成が実行された後で凹凸強調が実行されている。しかし、凹凸強調が先に実行され、その後に深度合成が実行されてもよい。

凹凸強調部３４は、第一輝度画像Ｉ１１と第二輝度画像Ｉ２１とを用いてサブ凹凸強調画像Ｉ１ｘを生成する。同様に、凹凸強調部３４は、第一輝度画像Ｉ１２と第二輝度画像Ｉ２２とを用いてサブ凹凸強調画像Ｉ２ｘを生成する。以下の同様に繰り返し、最終的に、凹凸強調部３４は、第一輝度画像Ｉ１ｎと第二輝度画像Ｉ２ｎとを用いてサブ凹凸強調画像Ｉｘｎを生成する。これにより、深度合成部３３は、ｎ個のサブ凹凸強調画像Ｉｘ１〜Ｉｘｎを深度合成し、最終的な凹凸強調画像を生成し、表示部２に表示する。

なお、リング照明２６は、対物レンズ２３の周囲に配置されていてもよいし、対物レンズ２３を通じて照明光を観察対象物Ｗに照射するように構成されていてもよい。その他、リング照明２６のレイアウトとしては、本件と同一出願人のＵＳ２０１８／０２４３４６に開示されているものが用いられてもよい。その開示の全ては本明細書の一部として援用（ｉｎｃｏｒｐｏｒａｔｉｏｎ ｈｅｒｅｉｎ ｂｙ ｒｅｆｅｒｅｎｃｅ）される。

なお、観察部１のヘッド部２２を載置台３０に対して搖動して傾斜観察を行う場合であっても，ヘッド部２２が載置台３０に対して垂直であるときと同様に凹凸強調画像を生成することができる。上述したように，凹凸強調画像に対して，さらに深度合成をおこなってもよい。この際，ワークＷの上面をユーセントリック位置に合わせるよう、ヘッド部２２と載置台３０とを駆動制御してもよい。このときの制御についても，特願２０１８−１６１３４７に開示されており，その開示の全てを本明細書の一部として援用（ｉｎｃｏｒｐｏｒａｔｉｏｎ ｈｅｒｅｉｎ ｂｙ ｒｅｆｅｒｅｎｃｅ）する。

＜フローチャート＞
図５は拡大観察処理を示すフローチャートである。マウス４またはコンソール部３により開始が指示されると、ＣＰＵ６１は以下の処理を実行する。

凹凸強調画像が画像表示領域７１に表示されている場合で説明する。

Ｓ０でＣＰＵ６１はマウス４またはコンソール部３などにより入力される移動指示にしたがって載置台駆動部２９を制御し、載置台３０を移動させる。

Ｓ１で移動開始が検知されると、画像表示領域７１にはライブ画像が表示される。つまり、ＣＰＵ６１は撮像制御部６２および照明制御部６４を介して撮像部２５およびリング照明２６を制御し、観察対象物Ｗを撮像させ、画像プロセッサ６６を制御し、観察対象物Ｗのライブ画像（一定時間ごとに更新される輝度画像）を生成させ、表示制御部６３を介して表示部２にライブ画像を表示させる。照明制御部６４は、ライブ画像のために四つの光源領域１４０Ａ〜１４０Ｄをすべて点灯する。ユーザはライブ画像を見ながら、撮像部２５の視野範囲内に観察対象物Ｗが入るように載置台３０をＸ方向、Ｙ方向、Ｚ方向、θ方向に移動させる。

Ｓ２でＣＰＵ６１は載置台３０の移動が終了したかどうかを判定する。たとえば、マウス４またはコンソール部３などによる移動指示の入力が終了し、かつ、一定時間が経過するか、または、明示的な撮像指示が入力されると、ＣＰＵ６１は載置台３０の移動が終了したと判定する。ＣＰＵ６１は、載置台３０の移動が終了したと判定すると、Ｓ３に進む。

Ｓ３でＣＰＵ６１は移動終了したときのライブ画像を画像表示領域７１に表示する。仮にＳ４からＳ１０までの期間において表示領域に観察対象物Ｗの画像が表示されないと、ユーザは観察対象物Ｗを把握しにくくなってしまう。そのため、ＣＰＵ６１は、凹凸強調画像を生成中に、必要に応じて凹凸強調画像を生成する直前の観察対象物Ｗの画像を画像表示領域７１に表示してもよい。

Ｓ４でＣＰＵ６１は第一照明方向についてそれぞれ合焦位置が異なる複数の第一輝度画像Ｉ１１〜Ｉ１ｎを生成する。照明制御部６４は、光源領域１４０Ａ〜１４０Ｄのうち第一照明方向に対応する一つの光源領域を点灯させる。撮像制御部６２は、Ｚ方向駆動部２８を通じて対物レンズ２３の合焦位置を少しずつ変えながら撮像部２５および輝度画像生成部３１に第一輝度画像Ｉ１１〜Ｉ１ｎを取得させる。

Ｓ５でＣＰＵ６１は第二照明方向についてそれぞれ合焦位置が異なる複数の第二輝度画像Ｉ２１〜Ｉ２ｎを生成する。照明制御部６４は、光源領域１４０Ａ〜１４０Ｄのうち第二照明方向に対応する一つの光源領域を点灯させる。撮像制御部６２は、Ｚ方向駆動部２８を通じて対物レンズ２３の合焦位置を少しずつ変えながら撮像部２５および輝度画像生成部３１に第二輝度画像Ｉ２１〜Ｉ２ｎを取得させる。

Ｓ６でＣＰＵ６１は深度合成部３３を用いて第一輝度画像Ｉ１１〜Ｉ１ｎを深度合成することで第一照明方向についての第一深度画像Ｉ１ａを生成する。

Ｓ７でＣＰＵ６１は深度合成部３３を用いて第二輝度画像Ｉ２１〜Ｉ２ｎを深度合成することで第二照明方向についての第二深度画像Ｉ２ａを生成する。

Ｓ８でＣＰＵ６１は凹凸強調部３４を用いて第一深度画像Ｉ１ａと第二深度画像Ｉ２ａとに基づき凹凸強調画像を生成する。

Ｓ９でＣＰＵ６１は着色部３６または高さ画像生成部３５を用いて凹凸強調画像を着色する。これにより、観察対象物Ｗの表面の色が凹凸強調画像に付与されたり、高さ画像から取得した高さデータに応じて凹凸強調画像に着色が施されたりする。

Ｓ１０でＣＰＵ６１はＵＩ部６５および表示制御部６３を通じて表示部２に凹凸強調画像を表示する。つまり、観察対象物Ｗのライブ画像に代えて凹凸強調画像が表示される。

Ｓ１１でＣＰＵ６１は拡大観察処理の終了指示が入力されたかどうかを判定する。マウス４などから終了指示が入力されると、ＣＰＵ６１は拡大観察処理を終了する。終了指示が入力されていなければ、ＣＰＵ６１はＳ１２に進む。

Ｓ１２でＣＰＵ６１はマウス４などから載置台３０の移動指示が入力されているかどうかを判定する。移動指示が入力されていなければ、ＣＰＵ６１はＳ１１に戻る。移動指示が入力されていれば、ＣＰＵ６１はＳ１に戻り、観察対象物Ｗのライブ画像を表示部２に表示する。その後、載置台３０の移動が停止すると、ＣＰＵ６１は凹凸強調画像の生成を再度実行する。

＜まとめ＞
図１などを用いて説明したように、ヘッド部２２は対物レンズと結像レンズとを含む光学系として機能する。リング照明２６は光学系の視野に載置された観察対象物Ｗに対してそれぞれ異なる方向から照明光を照射する照明部として機能する。撮像部２５は光学系を介して観察対象物Ｗからの光を受光して観察対象物Ｗの輝度画像を生成する。Ｚ方向駆動部２８は、光学系の光軸Ａ１に沿って光学系の合焦位置を変化させる変化部として機能する。制御部６０は照明部、撮像部および変化部を制御する制御部として機能する。表示部２は観察対象物Ｗの画像である観察画像を表示する表示部として機能する。画像プロセッサ６６は、（ｉ）照明部を制御することで観察対象物に対して第一照明方向から照明光を観察対象物に対して照射し、変化部と撮像部を制御してそれぞれ異なる複数の合焦位置のそれぞれで観察対象物を撮像することで複数の第一輝度画像を取得し、（ｉｉ）照明部を制御することで観察対象物に対して第一照明方向に対して光軸を挟んで対称となる第二照明方向から照明光を観察対象物に対して照射し、変化部と撮像部を制御してそれぞれ異なる複数の合焦位置のそれぞれで観察対象物を撮像することで複数の第二輝度画像を取得し、（ｉｉｉ）複数の第一輝度画像と複数の第二輝度画像とについて深度合成および凹凸強調することで観察対象物の表面の凹凸が強調され、かつ、撮像部により取得可能な単一の輝度画像と比較して被写界深度の広い凹凸強調画像を生成する画像生成部として機能する。表示部２は、観察画像として、凹凸強調画像を表示する。これにより、深度合成された凹凸強調画像が提供される。

深度合成部３３は、複数の第一輝度画像を深度合成することで第一深度合成画像を生成するとともに、複数の第二輝度画像を深度合成することで第二深度合成画像を生成する深度合成部として機能する。凹凸強調部３４は第一深度合成画像と第二深度合成画像との輝度の差分に基づき凹凸強調画像を生成する強調画像生成部として機能する。

深度合成部３３は、複数の第一輝度画像においてそれぞれ画素位置が同じである複数の画素を解析し、複数の画素のうちで最も合焦度の高い画素を、当該画素位置における合焦画素として選択することで、複数の画素位置それぞれの合焦画素からなる第一深度合成画像を生成してもよい。なお、合焦度は、隣接した複数の画素からなる画素領域ごとに求められてもよい。深度合成部３３は、複数の第二輝度画像においてそれぞれ画素位置が同じである複数の画素を解析し、複数の画素のうちで最も合焦度の高い画素を、当該画素位置における合焦画素として選択することで、複数の画素位置それぞれの合焦画素からなる第二深度合成画像を生成してもよい。

載置台３０は、観察対象物Ｗを載置され、少なくともＸ方向とＹ方向とに移動可能なＸＹステージの一例である。載置台駆動部２９はＸＹステージを駆動する駆動部の一例である。Ｓ１２に関連して説明されたように、ＣＰＵ６１はＸＹステージが移動した後に静止したことを検知する検知部として機能してもよい。ＣＰＵ６１および画像プロセッサ６６は、ＸＹステージが移動した後に静止したことを検知部が検知すると、凹凸強調画像の生成を再度実行してもよい。これにより、ユーザは凹凸強調画像の生成を明示的に指示する手間を省略できるようになる。

なお、検知部は、観察対象物Ｗの画像を基に判断してもよい。検知部は、前の時間と現在の時間とで差分が無いか、あるいは少ないときに、ＸＹステージが停止したと判断してもよい。

ＣＰＵ６１によりＸＹステージが移動していることが検知されると、ＣＰＵ６１は、撮像部２５により取得される動画像（ライブ画像）を表示部２に表示するように構成されていてもよい。ＣＰＵ６１はＸＹステージが静止したことを検知すると、画像プロセッサ６６に凹凸強調画像の生成を再度実行させ、表示部２に凹凸強調画像を表示させてもよい。

着色部３６は、撮像部２５により取得された観察対象物Ｗについてのカラー画像から色情報を取得して凹凸強調画像をカラー化するカラー合成部として機能してもよい。これにより、ユーザは凹凸と表面色との関係を理解しやすくなろう。

画像プロセッサ６６は、第一輝度画像を生成する際にそれぞれ露光時間が異なる複数のサブ輝度画像を取得し、当該複数のサブ輝度画像をＨＤＲ処理することで第一輝度画像を生成ししてもよい。同様に、画像プロセッサ６６は、第二輝度画像を生成する際にそれぞれ露光時間が異なる複数のサブ輝度画像を取得し、当該複数のサブ輝度画像をＨＤＲ処理することで第二輝度画像を生成してもよい。このようにＨＤＲ処理を応用することで、白飛びや黒つぶれが軽減され、かつ、深度合成された凹凸強調画像が得られるようになる。

高さ画像生成部３５は、凹凸強調画像の各画素を積分することで各画素ごとに観察対象物の表面の高さを求め、当該高さを各画素とする高さ画像を生成してもよい。さらに、高さ画像生成部３５は、高さ画像の各画素を、各画素の高さに応じて着色することでカラー高さ画像を生成してもよい。これにより、クレーター錯視が発生しにくくなり、ユーザはより正確に凹形状と凸形状とを区別できるようになろう。

マウス４、コンソール部３およびＣＰＵ６１は照明部の照明方向を選択する選択部として機能してもよい。画像プロセッサ６６は、照明部を制御することで観察対象物Ｗに対して第一照明方向および第二照明方向と異なる第三照明方向から照明光を観察対象物Ｗに対して照射し、変化部と撮像部を制御してそれぞれ異なる複数の合焦位置のそれぞれで観察対象物を撮像することで複数の第三輝度画像を取得してもよい。画像プロセッサ６６は、照明部を制御することで観察対象物に対して第三照明方向に対して光軸を挟んで対称となる第四照明方向から照明光を観察対象物に対して照射し、変化部と撮像部を制御してそれぞれ異なる複数の合焦位置のそれぞれで観察対象物を撮像することで複数の第四輝度画像を取得してもよい。さらに、画像プロセッサ６６は、第一照明方向、第二照明方向、第三照明方向および第四照明方向のうち選択部により選択された照明方向に対応した凹凸強調画像を、複数の第一輝度画像、複数の第二輝度画像、複数の第三輝度画像および複数の第四輝度画像のうち選択部により選択された照明方向に対応した複数の輝度画像を用いて生成してもよい。表示部２は、選択部により選択された照明方向に対応した凹凸強調画像を表示してもよい。

凹凸強調部３４は、複数の第一輝度画像と複数の第二輝度画像とからそれぞれ合焦位置が同じである輝度画像のペアを輝度の差分に基づき合成して、複数の合焦位置のそれぞれについて凹凸の強調された複数のサブ凹凸強調画像を生成してもよい。深度合成部３３は、複数のサブ凹凸強調画像を深度合成することで、深度合成された凹凸強調画像を生成する深度合成画像生成部として機能してもよい。このように凹凸強調と深度合成との順番はどちらが先であってもよい。

照明部は、対物レンズ２３の周囲に配置されたリング照明２６でああってもよい。照明部は、対物レンズ２３を通じて照明光を観察対象物Ｗに照射する、ヘッド部２２の内部に設けられた照明光源であってもよい。

Claims (13)

1. 対物レンズと結像レンズとを含む光学系と、
   前記光学系の視野に載置された観察対象物に対してそれぞれ異なる方向から照明光を照射する照明部と、
   前記光学系を介して前記観察対象物からの光を受光して前記観察対象物の輝度画像を生成する撮像部と、
   前記光学系の光軸に沿って前記光学系の合焦位置を変化させる変化部と、
   前記照明部、前記撮像部および前記変化部を制御する制御部と、
   前記観察対象物の画像である観察画像を表示する表示部と
   を有し、
   前記制御部は、
   前記照明部を制御することで前記観察対象物に対して第一照明方向から前記照明光を前記観察対象物に対して照射し、前記変化部と前記撮像部を制御してそれぞれ異なる複数の合焦位置のそれぞれで前記観察対象物を撮像することで複数の第一輝度画像を取得し、
   前記照明部を制御することで前記観察対象物に対して前記第一照明方向に対して前記光軸を挟んで対称となる第二照明方向から前記照明光を前記観察対象物に対して照射し、前記変化部と前記撮像部を制御してそれぞれ異なる複数の合焦位置のそれぞれで前記観察対象物を撮像することで複数の第二輝度画像を取得し、
   前記複数の第一輝度画像と前記複数の第二輝度画像とについて深度合成および凹凸強調することで前記観察対象物の表面の凹凸が強調され、かつ、前記撮像部により取得可能な単一の輝度画像と比較して被写界深度の広い凹凸強調画像を生成する画像生成部
   を有し、
   前記表示部は、前記観察画像として、前記凹凸強調画像を表示することを特徴とする拡大観察装置。
2. 前記画像生成部は、
   前記複数の第一輝度画像を深度合成することで第一深度合成画像を生成するとともに、前記複数の第二輝度画像を深度合成することで第二深度合成画像を生成する深度合成部と、
   前記第一深度合成画像と前記第二深度合成画像との輝度の差分に基づき前記凹凸強調画像を生成する強調画像生成部と
   を有することを特徴とする請求項１に記載の拡大観察装置。
3. 前記画像生成部は、
   前記複数の第一輝度画像と前記複数の第二輝度画像とからそれぞれ合焦位置が同じである輝度画像のペアを輝度の差分に基づき合成して、前記複数の合焦位置のそれぞれについて凹凸の強調された複数のサブ凹凸強調画像を生成する強調画像生成部と、
   前記複数のサブ凹凸強調画像を深度合成することで前記凹凸強調画像を生成する深度合成画像生成部と
   を有することを特徴とする請求項１または２に記載の拡大観察装置。
4. 前記深度合成部は、
   前記複数の第一輝度画像においてそれぞれ画素位置が同じである複数の画素を解析し、前記複数の画素のうちで最も合焦度の高い画素を、当該画素位置における合焦画素として選択することで、複数の画素位置それぞれの合焦画素からなる前記第一深度合成画像を生成し、
   前記複数の第二輝度画像においてそれぞれ画素位置が同じである複数の画素を解析し、前記複数の画素のうちで最も合焦度の高い画素を、当該画素位置における合焦画素として選択することで、複数の画素位置それぞれの合焦画素からなる前記第二深度合成画像を生成するように構成されていることを特徴とする請求項２に記載の拡大観察装置。
5. 前記観察対象物を載置され、少なくともＸ方向とＹ方向とに移動可能なＸＹステージと、
   前記ＸＹステージを駆動する駆動部と、
   前記ＸＹステージが移動した後に静止したことを検知する検知部と、
   をさらに有し、
   前記画像生成部は、前記ＸＹステージが移動した後に静止したことを前記検知部が検知すると、前記凹凸強調画像の生成を再度実行することを特徴とする請求項１ないし４のいずれか一項に記載の拡大観察装置。
6. 前記表示部は、前記検知部により前記ＸＹステージが移動していることが検知されると、前記撮像部により取得される動画像を表示するように構成されており、
   前記検知部により前記ＸＹステージが静止したことが検知されると、前記画像生成部は、前記凹凸強調画像の生成を再度実行し、
   前記表示部は、前記凹凸強調画像を表示するように構成されていることを特徴とする請求項５に記載の拡大観察装置。
7. 前記撮像部により取得された前記観察対象物についてのカラー画像から色情報を取得して前記凹凸強調画像をカラー化するカラー合成部をさらに有することを特徴とする請求項１ないし６のいずれか一項に記載の拡大観察装置。
8. 前記画像生成部は、
   前記第一輝度画像を生成する際にそれぞれ露光時間が異なる複数のサブ輝度画像を取得し、当該複数のサブ輝度画像をＨＤＲ処理することで前記第一輝度画像を生成し、
   前記第二輝度画像を生成する際にそれぞれ露光時間が異なる複数のサブ輝度画像を取得し、当該複数のサブ輝度画像をＨＤＲ処理することで前記第二輝度画像を生成するように構成されていることを特徴とする請求項１ないし７のいずれか一項に記載の拡大観察装置。
9. 前記凹凸強調画像の各画素を積分することで各画素ごとに前記観察対象物の表面の高さを求め、当該高さを各画素とする高さ画像を生成する高さ画像生成部をさらに有することを特徴とする請求項１ないし８のいずれか一項に記載の拡大観察装置。
10. 前記高さ画像生成部は、前記高さ画像の各画素を、各画素の高さに応じて着色することでカラー高さ画像を生成するように構成されていることを特徴とする請求項９に記載の拡大観察装置。
11. 前記照明部の照明方向を選択する選択部をさらに有し、
    前記画像生成部は、
    前記照明部を制御することで前記観察対象物に対して前記第一照明方向および前記第二照明方向と異なる第三照明方向から前記照明光を前記観察対象物に対して照射し、前記変化部と前記撮像部を制御してそれぞれ異なる複数の合焦位置のそれぞれで前記観察対象物を撮像することで複数の第三輝度画像を取得し、
    前記照明部を制御することで前記観察対象物に対して前記第三照明方向に対して前記光軸を挟んで対称となる第四照明方向から前記照明光を前記観察対象物に対して照射し、前記変化部と前記撮像部を制御してそれぞれ異なる複数の合焦位置のそれぞれで前記観察対象物を撮像することで複数の第四輝度画像を取得し、
    前記画像生成部は、さらに、前記第一照明方向、前記第二照明方向、前記第三照明方向および前記第四照明方向のうち前記選択部により選択された照明方向に対応した凹凸強調画像を、前記複数の第一輝度画像、前記複数の第二輝度画像、前記複数の第三輝度画像および前記複数の第四輝度画像のうち前記選択部により選択された照明方向に対応した複数の輝度画像を用いて生成し、
    前記表示部は、前記選択部により選択された照明方向に対応した凹凸強調画像を表示するように構成されていることを特徴とする請求項１ないし１０のいずれか一項に記載の拡大観察装置。
12. 前記照明部は、前記対物レンズの周囲に配置されたリング照明であることを特徴とする請求項１ないし１１のいずれか一項に記載の拡大観察装置。
13. 前記照明部は、前記対物レンズを通じて前記照明光を前記観察対象物に照射することを特徴とする請求項１ないし１１のいずれか一項に記載の拡大観察装置。