JP2020086295A - 拡大観察装置 - Google Patents

拡大観察装置 Download PDF

Info

Publication number
JP2020086295A
JP2020086295A JP2018223949A JP2018223949A JP2020086295A JP 2020086295 A JP2020086295 A JP 2020086295A JP 2018223949 A JP2018223949 A JP 2018223949A JP 2018223949 A JP2018223949 A JP 2018223949A JP 2020086295 A JP2020086295 A JP 2020086295A
Authority
JP
Japan
Prior art keywords
illumination
image
observation
light source
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018223949A
Other languages
English (en)
Other versions
JP7268992B2 (ja
Inventor
龍太郎 平林
Ryutaro Hirabayashi
龍太郎 平林
修平 藤田
Shuhei Fujita
修平 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keyence Corp
Original Assignee
Keyence Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keyence Corp filed Critical Keyence Corp
Priority to JP2018223949A priority Critical patent/JP7268992B2/ja
Publication of JP2020086295A publication Critical patent/JP2020086295A/ja
Application granted granted Critical
Publication of JP7268992B2 publication Critical patent/JP7268992B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Microscoopes, Condenser (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】拡大観察装置を利用するユーザの利便性を向上すること。【解決手段】拡大観察装置は、第一対物レンズを通過せずに照明光を前記観察対象物に照射する第一照明部と、第二対物レンズを通過して照明光を前記観察対象物に照射する第二照明部と、を有している。制御部は、観察光路に配置されている対物レンズに応じて第一照明部と第二照明部とを選択的に使用する。【選択図】図5

Description

本発明は拡大観察装置に関する。
一般に顕微鏡は観察対象物を精度よく観察するために高い光学性能を有する光学系が求められてきた。また、観察画像をリアルタイムで表示器に表示する顕微鏡が登場し、観察対象物のありのままの姿をいかにして正確かつ詳細に表示できるかについて、顕微鏡メーカーの間で競争されてきた。
一方で、画像処理チップの性能が向上し、顕微鏡にも採用可能となってきた。また、顕微鏡のユーザも生物等の研究者だけでなく、工場で生産された製品の検査(拡大観察)をする検査者に広がってきた。そのため、従来の光学性能追求志向とは異なる志向の顕微鏡の市場ニーズが生まれた。これは従来の顕微鏡と区別して、拡大観察装置と呼ばれることもある(特許文献1)。
特開2018−013734号公報 特開2017−531201号公報
拡大観察装置は複数の対物レンズを有しているが、対物レンズごとに適切な照明装置が異なることがある。このような場合にユーザが手動で照明装置を切り換えることはユーザビリティに欠ける。そこで、本発明は、拡大観察装置を利用するユーザの利便性を向上することを目的とする。
本発明は、たとえば、
第一対物レンズと、第二対物レンズと、結像レンズとを含む光学系と、
前記第一対物レンズと、前記第二対物レンズとを択一的に前記光学系の観察光路に配置するレンズ選択部と、
少なくともX方向とY方向とに前記光学系に対して相対的に移動可能なXYステージと、
前記XYステージに載置された観察対象物に対してそれぞれ異なる方向から照明光を照射する照明装置と、
前記光学系を介して前記観察対象物からの光を受光して前記観察対象物の輝度画像を生成する撮像部と、
前記照明装置と前記撮像部とを制御する制御部と
を有し、
前記照明装置は、
前記第一対物レンズを通過せずに照明光を前記観察対象物に照射する第一照明部と、
前記第二対物レンズを通過して照明光を前記観察対象物に照射する第二照明部と、
を有し、
前記第一照明部は、
前記観察対象物に対して第一照明方向から前記照明光を照射する第一光源と、
前記観察対象物に対して第二照明方向から前記照明光を照射する第二光源と、
を有し、
前記第二照明部は、
前記観察対象物に対して前記第一照明方向から前記照明光を照射する第三光源と、
前記観察対象物に対して前記第二照明方向から前記照明光を照射する第四光源と、
を有し、
前記制御部は、前記観察光路に配置されている対物レンズに応じて前記第一照明部と前記第二照明部とを選択的に使用することを特徴とする拡大観察装置を提供する。
本発明によれば、対物レンズに応じて自動的に照明部が選択されるため、拡大観察装置を利用するユーザの利便性が向上する。
拡大観察装置100の概要を説明する図 制御部などを説明する図 画像プロセッサを説明する図 深度合成および凹凸強調を説明する図 ユーザーインタフェースの一例を示す図 ユーザーインタフェースの一例を示す図 拡大観察処理を説明するフローチャート 光学系を説明する図 結像レンズの切り替えを説明する図 結像レンズの切り替えを説明する図 結像レンズの切り替えを説明する図 結像レンズの切り替えを説明する図 対物レンズを説明する図 対物レンズを説明する図 対物レンズを説明する図 同軸落射照明の光源を説明する図 リング照明を説明する図 リング照明を説明する図 照明の選択方法を示すフローチャート
<拡大観察装置>
図1は、拡大観察装置100を示している。拡大観察装置100は、例えば微小物体等の試料や電子部品、被加工物等のワーク(以下、これらを観察対象物という。)を拡大して表示する装置である。使用者は拡大観察装置100を使用して観察対象物の外観を検査したり、寸法計測等を行ったりすることができる。拡大観察装置100は、顕微鏡やデジタルマイクロスコープと呼ばれてもよい。観察対象物は、上述した例に限定されるものではなく、各種物体が観察対象物となりうる。
観察部1は、ベース部10、スタンド部20、ヘッド部22、載置台30を有している。ベース部10は、観察部1をぐらつくことなく、机等に置いておくための部分であり、観察部1の略下半部を構成している。ベース部10には、載置台30が設けられている。載置台30は、ベース部10の前後方向中央部近傍から前側の部分に支持されており、該ベース部10から上方へ突出している。載置台30は、観察対象物を載置するための部分であり、この実施形態では、電動載置台で構成されている。すなわち、観察対象物を電動載置台の幅方向(X方向)及び奥行き方向(Y方向)の両方向に移動可能に支持することができるとともに、上下方向(Z方向)及びZ軸回りに回動できるようになっている。スタンド部20はベース部10に対して揺動可能となっている。たとえば、スタンド部20は、観察部1を正面から見て右回りおよび左回りに搖動させるこができる。スタンド部20が搖動することで、ヘッド部22も搖動する。スタンド部20およびヘッド部22は、Z軸方向に移動可能に取り付けられている。ヘッド部22は、対物レンズ、結像レンズ、照明装置および撮像素子などを有する。ヘッド部22は、載置台30に載置された観察対象物に照明光を照射し、該照明光の観察対象物からの反射光又は透過光の受光量を検出して観察対象物の画像を生成する。なお、観察部1の構成と機能の詳細は、本件と同一出願人の特願2018−161347に開示されている、その開示の全ては本明細書の一部として援用(incorporation herein by reference)される。
表示部2は、例えば、液晶表示パネルや有機ELパネル等のようなカラー表示可能な表示画面2aを有しており、外部から電力が供給されるようになっている。表示画面2aにタッチ操作パネル(受付部の一例)を組み込むようにしてもよい。また、この実施形態では、表示部2に制御部60を組み込んだ例で説明しているが、これに限らず、制御部60は観察部1に組み込むようにしてもよいし、コンソール部3に組み込むようにしてもよいし、表示部2、観察部1及びコンソール部3とは別体の外部ユニットとしてもよい。表示部2と、観察部1とはケーブル5によって信号の送受が可能に接続されている。観察部1への電力供給は、ケーブル5によって行ってもよいし、図示しない電源ケーブルによって行ってもよい。
コンソール部3は制御部60に接続されており、一般的なキーボードやマウスとは異なっており、観察部1を操作したり、各種情報の入力や選択操作、画像の選択操作、領域指定、位置指定等を行ったりすることが可能な専用の操作デバイスである。制御部60にはポインティングデバイスとしてマウス4が接続されている。コンソール部3およびマウス4は、拡大観察装置100を操作することができればよいので、例えばタッチパネル式の入力装置、音声入力装置等であってもよい。タッチパネル式の入力装置の場合、表示部2と一体化することができ、表示部2に表示されている表示画面上の任意の位置の検出を可能に構成することができる。コンソール部3およびマウス4は、表示部2に表示された画像上で使用者によって指定された任意の位置の入力を受け付ける受付部である。
拡大観察装置100には、上述した機器や装置以外にも、操作や制御を行うための装置、プリンタ、その他の各種処理を行うためのコンピュータ、記憶装置、周辺機器等を接続することもできる。この場合の接続は、例えば、IEEE1394、RS−232xやRS−422、USB等のシリアル接続、パラレル接続、あるいは10BASE−T、100BASE−TX、1000BASE−T等のネットワークを介して電気的、あるいは磁気的、光学的に接続する方法等を挙げることができる。また、有線接続以外にも、IEEE802.x等の無線LANやBluetooth(登録商標)等の電波、赤外線、光通信等を利用した無線接続等でもよい。さらにデータの交換や各種設定の保存等を行うための記憶装置に用いる記憶媒体としては、例えば、各種メモリカードや磁気ディスク、光磁気ディスク、半導体メモリ、ハードディスク等を利用することができる。拡大観察装置100は、上記各種ユニットや装置、機器を組み合わせた拡大観察システムということもできる。
<制御部>
図2が示すように、制御部60は、CPU61や画像プロセッサ66、記憶部67などを有している。CPU61は記憶部67のROM領域に記憶されているプログラムを実行することで様々な機能を実現する。撮像制御部62は、ヘッド部22に設けられたレボルバ21を回転させるためにレボルバ駆動部24を制御する。これにより、対物レンズ23の倍率が変更される。つまり、ある倍率の対物レンズ23から他の倍率の対物レンズ23に切り替わる。撮像制御部62は、対物レンズ23と通信することで対物レンズ23を識別する識別部(認識部)を有していてもよい。ヘッド部22は複数の結像レンズ41を有してもよい。撮像制御部62は、結像レンズ駆動部42(例:モータ)を駆動することで、結像レンズ41を切り換える。これにより、対物レンズ23と結像レンズ41とを含む光学系の倍率が変更される。なお、複数の対物レンズ23と複数の結像レンズ41を区別する際には参照符号の末尾に小文字のアルファベットが付与される。電動絞り37はヘッド部22の内部や対物レンズ23の内部に設けられた可変絞りである。電動絞り37も撮像制御部62によって制御される。
撮像制御部62は、対物レンズ23の合焦位置を変更するためにヘッド部22を上下させるZ方向駆動部28を制御する。撮像制御部62は、載置台駆動部29を通じて載置台30をX方向、Y方向、Z方向に移動させたり、載置台30をθ回転させたりする。撮像制御部62は、ヘッド部22に設けられた撮像部25を制御し、撮像部25に観察対象物Wを撮像させ、観察対象物Wの画像を取得する。
表示制御部63は観察対象物Wの画像などを表示部2に表示させる。照明制御部64は、ヘッド部22に設けられたリング照明26や同軸落射照明27の点灯と消灯とを制御する。UI部65は、表示制御部63を通じて表示部2にUI(ユーザーインタフェース)を表示したり、コンソール部3やマウス4から入力されるユーザ指示を受け付けたりする。画像プロセッサ66は、撮像部25により取得された画像信号から様々な画像データを作成する。画像プロセッサ66はCPU61により実現されてもよい。記憶部67はROM領域やRAM領域、メモリカードなどを有する。
検知部68は、載置台30の静止と移動を検知したり、レボルバ21により対物レンズ23の倍率が変更されたかどうかを検知したりする。コンソール部3は、載置台30をX方向に移動させたり、Y方向に移動させたりすることを指示するためのジョイスティックを有していてもよい。この場合、検知部68は、コンソール部3のジョイスティックがいずれかの方向に倒されていれば載置台30が移動していると検知し、ジョイスティックが中立位置に静止していれば載置台30が静止していると検知する。また、コンソール部3またはマウス4を通じてレボルバ21の回転、つまり、対物レンズ23の倍率変更が指示され、レボルバ駆動部24がレボルバを回転させると、検知部68は、倍率が変更されたと検知する。倍率変更が指示されていなければ、検知部68は、倍率が変更されていないと検知する。検知部68はユーザによるピント位置の手動調整を検知してもよい。
<画像プロセッサ>
図3が示すように、画像プロセッサ66において、輝度画像生成部31は、撮像制御部62を通じて撮像部25により取得された画像信号から輝度画像を作成する。HDR処理部32は、撮像制御部62を通じて撮像部25を制御することで、それぞれ露光時間が異なる複数のサブ輝度画像を取得し、複数のサブ輝度画像をHDR処理することで輝度画像を生成する。HDRはハイダイナミックレンジの略称である。深度合成部33は、撮像制御部62を通じて撮像部25を制御することで、それぞれ合焦位置の異なる複数のサブ輝度画像を取得し、複数のサブ輝度画像を深度合成することで深度合成画像を生成する。なお、サブ輝度画像はHDR処理された輝度画像であってもよい。凹凸強調部34は、第一照明方向から照明された観察対象物Wの第一輝度画像と、第二照明方向から照明された観察対象物Wの第二輝度画像とを合成することで、観察対象物Wの表面の凹凸が強調された凹凸強調画像を作成する。第一照明方向と第二照明方向は相互に光軸A1を挟んで対称となっている。なお、第一輝度画像と第二輝度画像はそれぞれ深度合成された深度合成画像であってもよい。たとえば、凹凸強調部34は、第一深度合成画像と第二深度合成画像との輝度の差分に基づき凹凸強調画像を生成してもよい。第一深度合成画像における画素(座標x、y)の輝度値i1と、第二深度合成画像における画素(座標x、y)の輝度値i2とから凹凸強調画像における画素(座標x、y)の画素値Ixyは、次式から求められてもよい。
Ixy=(i1−i2)/(i1+i2) ・・・(1)
着色部36は、撮像部25により取得された観察対象物Wについてのカラー画像から色情報を取得して凹凸強調画像をカラー化する。高さ画像生成部35は、凹凸強調画像の各画素を積分することで各画素ごとに観察対象物Wの表面の高さを求め、当該高さを各画素とする高さ画像を生成する。高さ画像生成部35は、高さ画像の各画素を、各画素の高さに応じて着色することでカラー高さ画像を生成してもよい。
<深度合成と凹凸強調の原理>
図4(A)はリング照明26の一部を点灯させることで第一照明方向から観察対象物Wに照明光を照射していることを示している。リング照明26は、四つの光源領域140A、140B、140C、140Dを有している。つまり、リング照明26は、四つの光源領域140A、140B、140C、140Dを選択的に点灯および消灯することで、四つの照明方向から照明光を観察対象物Wに照射できる。光源領域140Aの照明方向と光源領域140Cの照明方向とは光軸A1に対して対称となっている。光源領域140Bの照明方向と光源領域140Dの照明方向とは光軸A1に対して対称となっている。図4(A)では光源領域140Aだけが点灯している。
図4(B)は第一照明方向から観察対象物Wに照明光を照射することで取得された輝度画像I1を示している。SHは観察対象物Wの影を示している。
図4(C)は光源領域140Cだけを点灯することで第二照明方向から観察対象物Wに照明光を照射することを示している。図4(C)は第二照明方向から観察対象物Wに照明光を照射することで取得された輝度画像I2を示している。
図4(E)は第一照明方向から観察対象物Wに照明光を照射し、かつ、合焦位置を変えながら取得されたn個の第一輝度画像I11〜I1nを示している。深度合成部33は、n個の第一輝度画像I11〜I1nを深度合成することで、第一深度合成画像Ia1を作成する。たとえば、深度合成部33は、複数の第一輝度画像I11〜I1nにおいてそれぞれ画素位置が同じである複数の画素を解析し、当該複数の画素のうちで最も合焦度の高い画素を、当該画素位置における合焦画素として選択することで、複数の画素位置でそれぞれ合焦画素からなる第一深度合成画像I1aを生成する。
図4(F)は第二照明方向から観察対象物Wに照明光を照射し、かつ、合焦位置を変えながら取得されたn個の第二輝度画像I21〜I2nを示している。深度合成部33は、n個の第二輝度画像I21〜I2nを深度合成することで、第二深度合成画像I2aを作成する。たとえば、深度合成部33は、複数の第二輝度画像I21〜I2nにおいてそれぞれ画素位置が同じである複数の画素を解析し、当該複数の画素のうちで最も合焦度の高い画素を、当該画素位置における合焦画素として選択することで、複数の画素位置でそれぞれ合焦画素からなる第二深度合成画像I2aを生成する。
凹凸強調部34は、第一深度合成画像I1aと第二深度合成画像I2aとを用いて凹凸強調画像を生成する。凹凸強調部34は、第一深度合成画像I1aと第二深度合成画像I2aとの輝度の差分に基づき凹凸強調画像を生成する。
<載置台の移動と画像の表示>
UI部65は、凹凸強調部34により生成された凹凸強調画像を表示部2に表示する。ユーザは観察対象物Wの一部を拡大観察するために凹凸強調画像を利用する。ここで、観察対象物Wの複数の箇所が拡大観察の対象となる場合がある。この場合に、ユーザはコンソール部3を操作することで、載置台30をX方向やY方向に移動させたり、θ方向に回転させたりする。CPU61はコンソール部3からX方向への移動指示が入力されると、載置台駆動部29により載置台30をX方向へ移動させ、CPU61はコンソール部3からY方向への移動指示が入力されると、載置台駆動部29により載置台30をY方向へ移動させる。このような移動指示が入力されている限り、CPU61は移動指示にしたがって連続的に載置台30を移動する。ユーザによる移動指示の入力が停止すると、CPU61は載置台駆動部29による載置台30の移動を停止させる。
ここで、凹凸強調画像を生成するためには、ある程度の処理時間が必要となるため、載置台30が移動している期間においては、UI部65は、凹凸強調部34により生成された凹凸強調画像を表示部2に表示できない。そこで、載置台30が移動している期間において、UI部65は、輝度画像生成部31が生成した観察対象物Wの輝度画像を表示部2に表示する。これにより、ユーザは表示部2に表示された輝度画像を確認することで、次の観察部位が撮像部25の視野範囲に位置しているかどうかを確認できるようになる。ここで、UI部65は、一定時間ごとに観察対象物Wの輝度画像を更新することで、表示部2には動画のように観察対象物Wの輝度画像が表示される。CPU61は、移動指示の入力が停止したこと(載置台30の停止)を検知すると、画像プロセッサ66に凹凸強調画像の生成を指示する。これにより、上述した輝度画像の取得、深度合成、および凹凸強調画像が再度実行され、新たな観察位置での凹凸強調画像が表示部2に表示される。ユーザが凹凸強調画像の再生成を指示しなくても、載置台30の停止に応じて、凹凸強調画像が再生成される。そのため、ユーザは効率よく複数の観察部位を観察できるようになろう。
<凹凸強調画像の着色>
凹凸強調画像を構成する各画素は、観察対象物Wの表面の凹凸を示しており、表面の色情報を含まない。そのため、ユーザは、観察部位の色と凹凸の位置との関係を把握しにくい。そこで、着色部36は、リング照明26の光源領域140A〜140Dをすべて点灯させ、撮像部25に観察対象物Wを撮像させる。こにより、輝度画像生成部31は観察対象物Wのカラー画像(輝度画像)を生成する。着色部36は、カラー画像から色情報を取得し、凹凸強調画像に色情報をマッピングして凹凸強調画像をカラー化し、表示部2に表示する。これによりユーザは、観察部位の色と凹凸の位置との関係を把握しやすくなる。
<HDR処理>
観察対象物Wの表面が金属である場合、輝度画像において白飛びした画素や黒つぶれした画素が発生することがある。このような場合に、最終的に生成される凹凸強調画像において凹凸を確認しにくくなる。そこで、HDR処理部32が採用されてもよい。HDR処理部32は、一つの合焦位置について、露光時間が異なる複数のサブ輝度画像を取得し、当該複数のサブ輝度画像をHDR処理することで一つの輝度画像を生成する。HDR処理部32は、合焦位置が変更されるたびに、露光時間が異なる複数のサブ輝度画像を取得し、当該複数のサブ輝度画像をHDR処理することで一つの輝度画像を生成する。これにより、第一輝度画像I11〜I1nと第二輝度画像I21〜I2nはいずれもHDR処理された画像となる。よって、深度合成部33は、HDR処理された第一輝度画像I11〜I1nを深度合成して、第一深度画像I1aを生成し、HDR処理された第二輝度画像I21〜I2nを深度合成して、第二深度画像I2aを生成する。さらに、凹凸強調部34は、HDR処理された第一深度画像I1aおよびHDR処理された第二深度画像I2aを合成することで、HDR処理された凹凸強調画像を生成する。これにより、白飛びや黒つぶれが発生しにくくなるため、ユーザは、凹凸強調画像を確認することで、観察対象物Wにおける凹凸をより正確に把握しやすくなろう。
<高さ画像>
上述された凹凸強調画像は観察対象物Wの表面の高さ情報を含まない。そのため、クレーター錯視が発生する。クレーター錯視とは、画像として凹形状と凸形状とが区別できないために、観察者が凹部と凸部とを誤って認識してしまう現象である。そこで、高さ画像生成部35は、凹凸強調画像の各画素を積分することで各画素ごとに観察対象物Wの表面の高さを求め、当該高さを各画素とする高さ画像を生成し、表示部2に表示してもよい。さらに、高さ画像生成部35は、高さ画像の各画素の高さデータを色情報に変換し、凹凸強調画像に対して色情報をマッピングすることで、高さに応じて異なる色で着色された凹凸強調画像を生成し、表示部2に表示してもよい。これにより、ユーザは、色情報に基づき観察対象物Wの表面における凹形状と凸形状とを区別しやすくなろう。
<その他>
図4においては光源領域140A、140Cについて説明されたが、この説明は光源領域140B、140Dにも適用可能である。つまり、画像プロセッサ66は、光源領域140A、140Cとのペアを用いて凹凸強調画像を生成してもよいし、光源領域140B、140Dとのペアを用いて凹凸強調画像を生成してもよい。光源領域140Bの照明方向は第三照明方向と呼ばれてもよい。光源領域140Dの照明方向は第四照明方向と呼ばれてもよい。第三照明方向と第四照明方向とは光軸A1を挟んで対称(線対称)となっている。
輝度画像生成部31は、リング照明26を制御することで観察対象物Wに対して第一照明方向および第二照明方向と異なる第三照明方向から照明光を観察対象物Wに対して照射する。輝度画像生成部31は、Z方向駆動部28や撮像部25を制御し、それぞれ異なる複数の合焦位置のそれぞれで観察対象物Wを撮像することで複数の第三輝度画像を取得する。同様に、輝度画像生成部31は、リング照明26を制御することで観察対象物Wに対して第四照明方向から照明光を観察対象物Wに対して照射する。輝度画像生成部31は、Z方向駆動部28や撮像部25を制御し、それぞれ異なる複数の合焦位置のそれぞれで観察対象物Wを撮像することで複数の第四輝度画像を取得する。画像プロセッサ66は、第一照明方向、第二照明方向、第三照明方向および第四照明方向のうちUI部65により選択された照明方向に対応した凹凸強調画像を、複数の第一輝度画像、複数の第二輝度画像、複数の第三輝度画像および複数の第四輝度画像のうち選択された照明方向に対応した複数の輝度画像を用いて生成する。表示部2は、選択された照明方向に対応した凹凸強調画像を表示する。上述の実施形態では、第一照明方向が選択されているが、第二照明方向が選択されてもよい。この場合、(1)式におけるi1とi2とが入れ替わる。第三照明方向が選択された場合、(1)式において、第三輝度画像の各画素の輝度値がi1となり、第四輝度画像の各画素の輝度値がi2となる。第四照明方向が選択された場合、(1)式において、第四輝度画像の各画素の輝度値がi1となり、第三輝度画像の各画素の輝度値がi2となる。
<変形例>
上述した実施形態では深度合成が実行された後で凹凸強調が実行されている。しかし、凹凸強調が先に実行され、その後に深度合成が実行されてもよい。
凹凸強調部34は、第一輝度画像I11と第二輝度画像I21とを用いてサブ凹凸強調画像I1xを生成する。同様に、凹凸強調部34は、第一輝度画像I12と第二輝度画像I22とを用いてサブ凹凸強調画像I2xを生成する。以下の同様に繰り返し、最終的に、凹凸強調部34は、第一輝度画像I1nと第二輝度画像I2nとを用いてサブ凹凸強調画像Ixnを生成する。これにより、深度合成部33は、n個のサブ凹凸強調画像Ix1〜Ixnを深度合成し、最終的な凹凸強調画像を生成し、表示部2に表示する。
なお、リング照明26は、対物レンズ23の周囲に配置されていてもよいし、対物レンズ23を通じて照明光を観察対象物Wに照射するように構成されていてもよい。
<ユーザーインタフェース>
図5はUI部65が表示部2に表示するユーザーインタフェース70を示している。画像表示領域71は、画像プロセッサ66から表示制御部63を通じて出力される画像を表示する。この画像は、観察対象物Wのライブ画像、深度合成された凹凸強調画像、観察対象物Wの表面の色に応じて着色された凹凸強調画像、高さデータに基づき着色されたか凹凸強調画像(カラー高さ画像)などである。載置台30が移動していたり、対物レンズ23の切り替えが指示されたりしたことを検知部68が検知すると、UI部65は、観察対象物Wのライブ画像を画像表示領域71に表示する。倍率の変更が完了し、かつ、載置台30が静止したことを検知部68が検知すると、UI部65は、深度合成された凹凸強調画像を画像表示領域71に表示する。凹凸強調画像が表示されているときに載置台30が移動することが検知されると、UI部65は、ライブ画像を画像表示領域71に表示する。照明方向選択部72は、光源領域140A〜140Dに対応した四つのボタンを有している。上述したように、光源領域140Aと光源領域140Cとがペアを形成しているため、光源領域140Aに対応したボタンがポインタ74により選択されると、光源領域140Aの照明方向が第一照明方向に決定され、光源領域140Cの照明方向が第二照明方向に決定される。同様に、光源領域140Dに対応したボタンがポインタ74により選択されると、光源領域140Dの照明方向が第一照明方向に決定され、光源領域140Bの照明方向が第二照明方向に決定される。倍率選択部73は、レボルバ21に装着された複数の対物レンズ23のうち、いずれか一つの対物レンズ23を選択するためのプルダウンリストである。たとえば、UI部65は、レボルバ21に取り付けられた複数の対物レンズ23のそれぞれの倍率を対物レンズ23の設定情報から取得し、プルダウンリストを作成する。ユーザがポインタ74を操作していずれかの倍率を選択すると、UI部65は選択された倍率(対物レンズ23)をレボルバ駆動部24に通知する。レボルバ駆動部24は、通知された倍率の対物レンズ23が撮影光軸A1上に位置するようにレボルバ21を回転させる。レボルバ駆動部24は回転が終了すると、回転終了信号をCPU61に出力する。検知部68は、回転終了信号を受信すると、倍率変更が完了したと判定する。通常、倍率変更が完了すると、視野範囲内で観察部位の位置を調整することが必要となる。ユーザは、載置台30が移動することで、視野範囲内の所望の位置に観察部位を位置づける。載置台30が静止すると、UI部65は、画像プロセッサ66に凹凸強調画像の生成を指示する。UI部65は、ライブ画像に代えて深度合成された凹凸強調画像を画像表示領域71に表示する。
なお、凹凸強調画像の表示と、ライブ画像の表示とを明示的に切り換えるための切替ボタンがユーザーインタフェース70に設けられてもよい。これによりユーザは、凹凸強調画像が完成した後に、凹凸強調画像とライブ画像とを切り換えて表示することで両者を対比してもよい。
図6はUI部65が表示部2に表示する他の例のユーザーインタフェース70を示している。この例では、画像表示領域71はライブ画像を表示し、画像表示領域75は、深度合成された凹凸強調画像、観察対象物Wの表面の色に応じて着色された凹凸強調画像、高さデータに基づき着色されたか凹凸強調画像(カラー高さ画像)などを表示する。図6において画像表示領域71、75は縦方向に並んでいるが、横方向に並べられてもよい。
着色指定部76は、観察対象物Wの表面の色情報に基づいて、深度合成された凹凸強調画像に着色することを指示するためのラジオボタンと、観察対象物Wの表面の高さ情報に基づき、深度合成された凹凸強調画像に着色することを指示するためのラジオボタンと、着色しないことを指示するためのラジオボタンとを有している。UI部65は着色指定部76において指定された着色指示を画像プロセッサ66に通知する。着色指定部76は、図5に示されたユーザーインタフェース70にも設けられてもよい。深度合成指示部77は、深度合成を有効にするか無効にするかを指定するためのチェックボックスである。深度合成指示部77において深度合成が無効にされている場合、凹凸強調部34は、(1)式にしたがって、第一輝度画像と第二輝度画像とを用いて凹凸強調画像を生成する。この場合、画像表示領域75は、深度合成されていない凹凸強調画像を表示する。
<フローチャート>
図7は拡大観察処理を示すフローチャートである。マウス4またはコンソール部3により開始が指示されると、CPU61は以下の処理を実行する。
凹凸強調画像が画像表示領域71に表示されている場合で説明する。
S0でCPU61はマウス4またはコンソール部3などにより入力される移動指示にしたがって載置台駆動部29を制御し、載置台30を移動させる。
S1で移動開始が検知されると、画像表示領域71にはライブ画像が表示される。つまり、CPU61は撮像制御部62および照明制御部64を介して撮像部25およびリング照明26を制御し、観察対象物Wを撮像させ、画像プロセッサ66を制御し、観察対象物Wのライブ画像(一定時間ごとに更新される輝度画像)を生成させ、表示制御部63を介して表示部2にライブ画像を表示させる。ライブ画像は画像表示領域71に表示される。照明制御部64は、ライブ画像のために四つの光源領域140A〜140Dをすべて点灯する。ユーザはライブ画像を見ながら、撮像部25の視野範囲内に観察対象物Wが入るように載置台30をX方向、Y方向、Z方向、θ方向に移動させる。
S2でCPU61は検知部68を用いて載置台30の移動が終了したかどうかを判定する。たとえば、マウス4またはコンソール部3などによる移動指示の入力が終了し、かつ、一定時間が経過するか、または、明示的な撮像指示が入力されると、CPU61(検知部68)は載置台30の移動が終了したと判定する。CPU61は、載置台30の移動が終了したと判定すると、S3に進む。
S3でCPU61は移動終了したときのライブ画像を画像表示領域71に表示する。仮にS4からS10までの期間において表示領域に観察対象物Wの画像が表示されないと、ユーザは観察対象物Wを把握しにくくなってしまう。そのため、CPU61は、凹凸強調画像を生成中に、必要に応じて凹凸強調画像を生成する直前の観察対象物Wの画像を画像表示領域71に表示してもよい。
S4でCPU61は第一照明方向についてそれぞれ合焦位置が異なる複数の第一輝度画像I11〜I1nを生成する。照明制御部64は、光源領域140A〜140Dのうち第一照明方向に対応する一つの光源領域を点灯させる。撮像制御部62は、Z方向駆動部28を通じて対物レンズ23の合焦位置を少しずつ変えながら撮像部25および輝度画像生成部31に第一輝度画像I11〜I1nを取得させる。
S5でCPU61は第二照明方向についてそれぞれ合焦位置が異なる複数の第二輝度画像I21〜I2nを生成する。照明制御部64は、光源領域140A〜140Dのうち第二照明方向に対応する一つの光源領域を点灯させる。撮像制御部62は、Z方向駆動部28を通じて対物レンズ23の合焦位置を少しずつ変えながら撮像部25および輝度画像生成部31に第二輝度画像I21〜I2nを取得させる。
S6でCPU61は深度合成部33を用いて第一輝度画像I11〜I1nを深度合成することで第一照明方向についての第一深度画像I1aを生成する。
S7でCPU61は深度合成部33を用いて第二輝度画像I21〜I2nを深度合成することで第二照明方向についての第二深度画像I2aを生成する。
S8でCPU61は凹凸強調部34を用いて第一深度画像I1aと第二深度画像I2aとに基づき凹凸強調画像を生成する。
S9でCPU61は着色部36または高さ画像生成部35を用いて凹凸強調画像を着色する。これにより、観察対象物Wの表面の色が凹凸強調画像に付与されたり、高さ画像から取得した高さデータに応じて凹凸強調画像に着色が施されたりする。着色処理を実行するか否かと何の着処理を実行するかは、着色指定部76においてどのラジオボタンが押されているかに依存する。
S10でCPU61はUI部65および表示制御部63を通じて表示部2に凹凸強調画像を表示する。つまり、画像表示領域71には観察対象物Wのライブ画像に代えて凹凸強調画像が表示される。なお、図6に示されたユーザーインタフェース70では、画像表示領域71に観察対象物Wのライブ画像が表示され、画像表示領域75に深度合成された凹凸強調画像が表示される。
S11でCPU61は拡大観察処理の終了指示が入力されたかどうかを判定する。マウス4などから終了指示が入力されると、CPU61は拡大観察処理を終了する。終了指示が入力されていなければ、CPU61はS12に進む。
S12でCPU61は検知部68を用いてマウス4などから載置台30の移動指示または倍率変更指示が入力されているかどうかを判定する。移動指示と倍率変更指示との両方ともが入力されていなければ、CPU61はS11に戻る。移動指示または倍率変更指示が入力されれば、CPU61はS1に戻り、観察対象物Wのライブ画像を表示部2に表示する。その後、載置台30の移動が停止すると、CPU61は凹凸強調画像の生成を再度実行する。
<ヘッド部22の内部構成>
図8はヘッド部22の内部構成を示している。レボルバ21は少なくとも三つのマウント50a、50b、50cを有している。マウント50a、50b、50cにはそれぞれ対物レンズ23a、23b、23cが接続されている。対物レンズ23aは、たとえば、低倍率の対物レンズである。対物レンズ23aの瞳位置には電動絞り37aが設けられている。電動絞り37aはモータなどにより駆動されて絞り量が変化する可変絞りである。この例では、対物レンズ23aが観察光軸A1に配置されている。対物レンズ23aの鏡筒の周囲にはリング照明26が設けられている。対物レンズ23bも電動絞り37bを有しているが、リング照明26を有していない。対物レンズ23cの瞳位置は鏡筒の外部に存在するため、鏡筒内には絞りが設けられていない。電動絞り37cは、対物レンズ23とハーフミラー38との間に配置された絞りである。ハーフミラー38は観察光軸A1に配置されており、同軸落射照明27からの照明光を対物レンズ23に導く。ハーフミラー38は、対物レンズ23からの入射光を、結像レンズ41などを介して撮像部25へ導く。同軸落射照明27とハーフミラー38との間には集光レンズ39が配置されている。同軸落射照明27と集光レンズ39との間には電動絞り37dが配置されている。電動絞り37a〜37dはCPU61の撮像制御部62により制御される。
結像レンズ群は、低倍率の結像レンズ41a、高倍率の結像レンズ41b、レンズアダプタ43を有している。低倍率の結像レンズ41aと高倍率の結像レンズ41bはスライド部材49aに保持されている。スライド部材49aはフレーム40aに対してスライド可能に保持されている。この例ではスライド部材49aは結像レンズ駆動部42により駆動されることで、図8において左右にスライドする。なお、図8における左右は、拡大観察装置100の前後に相当する。フレーム40aの両端には停止部材44a、44bが設けられている。図9が示すように、スライド部材49aが停止部材44bに接触して停止することで、低倍率の結像レンズ41aが観察光軸A1に位置決めされる。図10が示すように、スライド部材49aが停止部材44aに接触して停止することで、高倍率の結像レンズ41bが観察光軸A1に位置決めされる。レンズアダプタ43はスライド部材49bに保持されている。スライド部材49bはフレーム40bに対してスライド可能に保持されている。この例ではスライド部材49bは結像レンズ駆動部42により駆動されることで、図8において左右にスライドする。なお、レンズアダプタ43は低倍率の結像レンズ41aと組み合わされて使用される。レンズアダプタ43は、たとえば、倍率を二倍等に変更するレンズである。図9、図10が示すように、スライド部材49bが停止部材44cに接触して停止することで、レンズアダプタ43が観察光軸A1から離間する。図11が示すように、スライド部材49bが停止部材44dに接触して停止することで、レンズアダプタ43が観察光軸A1に位置決めされる。
図12は、ヘッド部22がチルトしていない状態における低倍率の結像レンズ41a、高倍率の結像レンズ41bおよびフレーム40aおよび停止部材44a、44bを示している。スライド部材49aの図示は省略されている。図13は、ヘッド部22がチルトしている状態における低倍率の結像レンズ41a、高倍率の結像レンズ41b、フレーム40aおよび停止部材44a、44bを示している。図12と図13とからわかるように、低倍率の結像レンズ41aおよび高倍率の結像レンズ41bのスライド方向とチルト軸とは平行である。そのため、ヘッド部22がチルトしても、低倍率の結像レンズ41aと高倍率の結像レンズ41bはスライドしにくくなっている。なお、レンズアダプタ43とスライド部材49bについても同様である。
<対物レンズ>
図14、15は対物レンズ23とマウント50との関係を示している。対物レンズ23は接続部59を有している。接続部59はマウント50に対して嵌合することで、対物レンズ23をレボルバ21に固定する。図15が示すように、接続部59は、位置決め穴45と電子接点46とを有している。図14が示すように、レボルバ21に設けられた位置決めピン51が位置決め穴45に挿入されることで、対物レンズ23がレボルバ21に対して位置決めされる。電子接点46aはレボルバ21側の電子接点46bと電気的に接続する。電子接点46a、46bは電力供給用の接点や通信用の接点などを含む。制御基板47は、電子接点46a、46bを介してCPU61から制御信号を受信し、制御信号にしたがって電動絞り37aを駆動するモータ48やリング照明26を制御する。制御基板47は、CPU、通信回路およびメモリなどを有していてもよい。メモリは対物レンズ23の識別情報などを記憶している。
<同軸落射照明>
図16は同軸落射照明27における光源の配置を示している。光源群54aは第一照明方向から照明光を観察対象物Wに照射するための複数のLED53a、53e、53f、53i、53j、53k、53qを有している。光源群54cは第二照明方向から照明光を観察対象物Wに照射するための複数のLED53c、53e、53g、53h、53m、53n、53oを有している。光源群54bは第三照明方向から照明光を観察対象物Wに照射するための複数のLED53b、53e、53g、53l、53k、53mを有している。光源群54dは第四照明方向から照明光を観察対象物Wに照射するための複数のLED53d、53e、53h、53i、53o、53p、53qを有している。
たとえば、高倍率観察ではLED53eだけが点灯してもよい。高倍率の対物レンズ23を用いて第一照明方向から照明光を偏射する場合には、LED53aだけが点灯してもよい。高倍率の対物レンズ23を用いて第二照明方向から照明光を偏射する場合には、LED53cだけが点灯してもよい。中倍率の対物レンズ23を用いて第一照明方向から照明光を偏射する場合には、LED53a、53jが同時に点灯してもよい。中倍率の対物レンズ23を用いて第二照明方向から照明光を偏射する場合には、LED53c、53nが同時に点灯してもよい。
ところで、低倍率の対物レンズのワーキングディスタンスは長く、高倍率の対物レンズのワーキングディスタンスは短い。そのため、低倍率の対物レンズ23aはリング照明26を採用することで、照明光を適切な斜め角度から照射して、観察対象物Wの表面観察と凹凸観察が実現可能となる。一方、高倍率の対物レンズ23にリング照明26を採用すると、暗視野観察となる。そのため、エッジ部分のみが光り、表面からの反射光が得にくくなる。そのため、高倍率の対物レンズ23に同軸落射照明27を適用することで、観察対象物Wの表面観察が実現される。
図4を用いて説明したように、リング照明26を用いて二方向から照明光を偏射することで凹凸強調画像が得られる。そこで、同軸落射照明27についても二方向から照明光を偏射することで高倍率の対物レンズ23でも凹凸強調画像が得られるようになる。同軸落射照明27を用いた偏射はハレーション除去された観察画像を生成するために利用されてもよい。同軸落射照明27を用いた深度合成も実現可能である。
<リング照明>
図17は、低倍率の対物レンズ23に採用されるリング照明26の構造を示している。複数のLED55はリング状の基板上に取り付けられている。LED55から出力された照明光は集光レンズ56により集光され、照明レンズ57を介して観察対象物Wに照射される。集光レンズ56と照明レンズ57との間には拡散板58が採用されてもよい。LED55は一次光源として機能するが、拡散板58は二次光源として機能する。照明レンズ57は二次光源からの照明光をリレーするリレーレンズとして機能している。これらにより、リング照明26はケーラー照明に近い照明を実現している。照明レンズ57は径方向にのみ曲率を有するため、光量ロスが発生しうる。そこで、半径方向に曲率を持たせるために、集光レンズ56としてトロイダルレンズが採用されてもよい。これにより光量ロスが軽減される。
図18は、高倍率の対物レンズ23に採用されるリング照明26の構造を示している。複数のLED55はリング状の基板上に取り付けられている。LED55から出力された照明光は集光レンズ56により集光され、照明レンズ57と拡散板58を介して観察対象物Wに照射される。図18においては照明レンズ57がミラーにより構成されている。高倍率の対物レンズ23では狭い視野に効率よく照明光を集中させなければならない。光量ロスを軽減するには、LED55からの光をできる限り平行光として観察対象物Wに照射することが求められる。そのため、照明光は対物レンズ23の外周から視野領域に向かって強く屈折しなければならない。そこで、照明レンズ57として、高屈折率の材料が採用されるか、反射光学系が採用される。ただし、このような光学部品を採用すると、光源が視野領域に写り込んでしまう可能性がある。これを解決するために、拡散板58が採用されている。
このように対物レンズ23のNA(開口数)や視野に合わせてリング照明26が設計される。なお、一つのLED55につき一つの集光レンズ56が設けられることで、導光効率が向上する。
<照明の自動切替>
複数の種類の照明装置を有している拡大観察装置100ではユーザが点灯すべき照明装置を選択する作業が必要となる。しかし、対物レンズ23の倍率ごとに適切な照明装置は異なるため、ユーザにとって適切な照明装置を選択することは困難な場合があった。
図19は照明の自動切替を示すフローチャートである。S21でCPU61はコンソール部3などからレボルバ21の回転指示(倍率切替指示)が入力されたかどうかを判定する。回転指示が入力されると、CPU61は、回転指示に基づいてレボルバ駆動部24を制御し、レボルバ21を回転させ、S22に進む。
S22でCPU61は対物レンズ23の識別情報を取得する。たとえば、CPU61は電子接点46a、46bを介して制御基板47と通信することで、制御基板47のメモリに保持されている識別情報を取得してもよい。識別情報は、対物レンズ23の機種名を示す情報であってもよいし、対物レンズ23の倍率を示す倍率情報、照明装置の有無または種類を示す照明情報などを含んでもよい。CPU61は、対物レンズ23の機種名に基づき、対応する倍率情報や照明情報を記憶部67から取得してもよい。
S23でCPU61は対物レンズ23の識別情報に基づき照明を選択する。たとえば、対物レンズ23がリング照明26を有していることを識別情報が直接的または間接的に示している場合、CPU61はリング照明26を照明装置として選択する。対物レンズ23がリング照明26を有していないことを識別情報が直接的または間接的に示している場合、CPU61は同軸落射照明27を照明装置として選択する。直接的とは、対物レンズ23から取得される識別情報に、リング照明26の有無を示す情報が含まれていることを示す。間接的とは、対物レンズ23から取得される識別情報にリング照明26の有無を示す有無情報が含まれていないものの、対物レンズ23から取得される識別情報に紐付されている有無情報が記憶部67などから取得可能であることを示す。
S24でCPU61はユーザにより選択された観察手法に基づき点灯すべき光源と、同時に点灯する各光源の照明光量とを決定する。観察手法としては、たとえば、表面観察と凹凸観察とがあってもよい。また、表面観察には、表面反射による白飛びを軽減するモード(ハレーション除去)などが含まれてもよい。
対物レンズ23aを用いた表面観察が指定されると、CPU61は、リング照明26を選択する。また、CPU61は、光源領域140A〜140Dを同時に点灯させることを選択し、光源領域140A〜140Dの照明光量の合計値が所定光量となるように、光源領域140A〜140Dの各照明光量を決定する。なお、ユーザによりハレーション除去が選択されると、CPU61は光源領域140A〜140Dを一つずつ点灯させて、四つの輝度画像を生成する。画像プロセッサ66は、四つの輝度画像における同一位置の四つの画素の輝度値を比較し、最も輝度値の大きな画素を除いた残りの三つの画素を用いてその位置の画素の輝度値を演算(例:平均値演算)する。この場合、光源領域140A〜140Dを一つずつ点灯するため、光源領域140A〜140Dの各照明光量が所定光量となるようにCPU61は照明光量を決定する。凹凸観察が選択されると、CPU61は、凹凸観察に使用される光源領域140A、140C(または光源領域140B、140D)の各照明光量が所定光量となるようにCPU61は照明光量を決定する。
対物レンズ23b、23cが選択されると、CPU61は同軸落射照明27を選択する。表面観察において、最高倍率の対物レンズ23が選択されると、CPU61はLED53eだけを選択して点灯させてもよい。CPU61はLED53eの照明光量が所定量となるようにLED53eに流れる駆動電流を制御する。凹凸観察において高倍率の対物レンズ23が選択されると、CPU61はLED53a、53cのペア(またはLED53b、53dのペア)を選択して点灯させる。
中倍率の対物レンズ23において表面観察が選択されると、CPU61は、LED53a〜53iを選択し、これらの合計光量が所定光量となるように、LED53a〜53iの各駆動電流を制御する。中倍率の対物レンズ23において凹凸観察が選択されると、CPU61は、LED53a、53cのペア(またはLED53b、53dのペア)を選択して点灯させる。LED53a、53cは同時に点灯しないため、LED53a、53cの各光量が所定光量となるようにCPU61はそれぞれの駆動電流を制御する。
リング照明26を有しない低倍率の対物レンズ23において表面観察が選択されると、CPU61は、LED53a〜53qを選択し、これらの合計光量が所定光量となるように、LED53a〜53qの各駆動電流を制御する。低倍率の対物レンズ23において凹凸観察が選択されると、CPU61は、LED53a、53jと、LED53c、53nとからなるペア(またはLED53b、53lと、LED53d、53pとのペア)を選択して点灯させる。LED53a、53jは同時に点灯するため、LED53a、53jの合計光量が所定光量となるように、CPU61はLED53a、53jの駆動電流を制御する。同様に、LED53c、53nは同時に点灯するため、LED53c、53nの合計光量が所定光量となるように、CPU61はLED53c、53nの駆動電流を制御する。
なお、対物レンズ23の種類や観察手法に依存して、リング照明26と同軸落射照明27との両方が点灯してもよい。
<まとめ>
図1などを用いて説明したように、ヘッド部22は対物レンズと結像レンズとを含む光学系として機能する。載置台30は少なくともX方向とY方向とに光学系に対して相対的に移動可能なXYステージの一例である。検知部68は光学系に対するXYステージの相対的な移動を検知する検知部として機能する。リング照明26は光学系の視野に載置された観察対象物Wに対してそれぞれ異なる方向から照明光を照射する照明部として機能する。撮像部25は光学系を介して観察対象物Wからの光を受光して観察対象物Wの輝度画像を生成する。Z方向駆動部28は、光学系の光軸A1に沿って光学系の合焦位置を変化させる変化部として機能する。制御部60は照明部、撮像部および変化部を制御する制御部として機能する。表示部2は観察対象物Wの画像である観察画像を表示する表示部として機能する。画像プロセッサ66は、(i)照明部を制御することで観察対象物に対して第一照明方向から照明光を観察対象物に対して照射し、変化部と撮像部を制御してそれぞれ異なる複数の合焦位置のそれぞれで観察対象物を撮像することで複数の第一輝度画像を取得し、(ii)照明部を制御することで観察対象物に対して第一照明方向に対して光軸を挟んで対称となる第二照明方向から照明光を観察対象物に対して照射し、変化部と撮像部を制御してそれぞれ異なる複数の合焦位置のそれぞれで観察対象物を撮像することで複数の第二輝度画像を取得し、(iii)複数の第一輝度画像と複数の第二輝度画像とについて深度合成および凹凸強調することで観察対象物の表面の凹凸が強調され、かつ、撮像部により取得可能な単一の輝度画像と比較して被写界深度の広い凹凸強調画像を生成する画像生成部として機能する。表示部2は、観察画像として、凹凸強調画像を表示する。これにより、深度合成された凹凸強調画像が提供される。
表示部2は、検知部68がXYステージの相対的な移動を検知している間は、観察画像として、撮像部25により取得された観察対象物Wの動画像(ライブ画像)を表示する。表示部2は、検知部68がXYステージの相対的な移動の停止を検知すると、観察画像として、XYステージの相対的な移動の停止後に画像生成部により生成された凹凸強調画像を表示する。これにより、ユーザは、撮像部25の視野範囲と観察対象物Wとの関係を確認しながら、XYステージを移動させることが可能となる。また、ユーザは、XYステージが静止すると、すぐに深度合成された凹凸強調画像を見ることができるため、効率よく観察対象物Wを観察することが可能となる。
検知部68は、光学系の倍率の変更をさらに検知するように構成されていてもよい。表示部2は、検知部68がXYステージの相対的な移動を検知している間は、観察画像として、撮像部25により取得された観察対象物Wの動画像を表示する。さらに、表示部2は、検知部68がXYステージの相対的な移動の停止と、光学系の倍率の変更とを検知すると、観察画像として、XYステージの相対的な移動の停止と倍率の変更後に画像生成部により生成された凹凸強調画像を表示してもよい。
図5や図6に示したように、表示部2は、動画像の表示領域と凹凸強調画像の表示領域とを有していてもよい。
検知部68は対物レンズ23のマニュアルまたはオートフォーカスによるピント調整が完了したことを検知してもよい。対物レンズ23の倍率が変更されると、撮像制御部62はZ方向駆動部28を制御し、オートフォーカスを実行する。よって、倍率が変更され、対物レンズ23のピント調整が完了したことをトリガーとして凹凸強調画像が生成されてもよい。
UI部65は、さらに、ユーザーインタフェース70とは別にナビ画像を表示する別ウインドウを表示部2に表示してもよい。ナビ画像とは、倍率の低い対物レンズ23を用いて取得された観察対象物Wの画像などである。ユーザがナビ画像における観察部位をポインタ74で指定すると、UI部65は、ナビ画像における指定位置を載置台30の座標上の位置に変換し、載置台30を当該位置へ移動させる。これにより、簡単に観察部位を視野範囲内に収めることが可能となる。
深度合成部33は、複数の第一輝度画像を深度合成することで第一深度合成画像を生成するとともに、複数の第二輝度画像を深度合成することで第二深度合成画像を生成する深度合成部として機能する。凹凸強調部34は第一深度合成画像と第二深度合成画像との輝度の差分に基づき凹凸強調画像を生成する強調画像生成部として機能する。
深度合成部33は、複数の第一輝度画像においてそれぞれ画素位置が同じである複数の画素を解析し、複数の画素のうちで最も合焦度の高い画素を、当該画素位置における合焦画素として選択することで、複数の画素位置それぞれの合焦画素からなる第一深度合成画像を生成してもよい。なお、合焦度は、隣接した複数の画素からなる画素領域ごとに求められてもよい。深度合成部33は、複数の第二輝度画像においてそれぞれ画素位置が同じである複数の画素を解析し、複数の画素のうちで最も合焦度の高い画素を、当該画素位置における合焦画素として選択することで、複数の画素位置それぞれの合焦画素からなる第二深度合成画像を生成してもよい。
載置台30は、観察対象物Wを載置され、少なくともX方向とY方向とに移動可能なXYステージの一例である。載置台駆動部29はXYステージを駆動する駆動部の一例である。S12に関連して説明されたように、CPU61はXYステージが移動した後に静止したことを検知する検知部として機能してもよい。CPU61および画像プロセッサ66は、XYステージが移動した後に静止したことを検知部が検知すると、凹凸強調画像の生成を再度実行してもよい。これにより、ユーザは凹凸強調画像の生成を明示的に指示する手間を省略できるようになる。
CPU61によりXYステージが移動していることが検知されると、CPU61は、撮像部25により取得される動画像(ライブ画像)を表示部2に表示するように構成されていてもよい。CPU61はXYステージが静止したことを検知すると、画像プロセッサ66に凹凸強調画像の生成を再度実行させ、表示部2に凹凸強調画像を表示させてもよい。
着色部36は、撮像部25により取得された観察対象物Wについてのカラー画像から色情報を取得して凹凸強調画像をカラー化するカラー合成部として機能してもよい。これにより、ユーザは凹凸と表面色との関係を理解しやすくなろう。
画像プロセッサ66は、第一輝度画像を生成する際にそれぞれ露光時間が異なる複数のサブ輝度画像を取得し、当該複数のサブ輝度画像をHDR処理することで第一輝度画像を生成ししてもよい。同様に、画像プロセッサ66は、第二輝度画像を生成する際にそれぞれ露光時間が異なる複数のサブ輝度画像を取得し、当該複数のサブ輝度画像をHDR処理することで第二輝度画像を生成してもよい。このようにHDR処理を応用することで、白飛びや黒つぶれが軽減され、かつ、深度合成された凹凸強調画像が得られるようになる。
高さ画像生成部35は、凹凸強調画像の各画素を積分することで各画素ごとに観察対象物の表面の高さを求め、当該高さを各画素とする高さ画像を生成してもよい。さらに、高さ画像生成部35は、高さ画像の各画素を、各画素の高さに応じて着色することでカラー高さ画像を生成してもよい。これにより、クレーター錯視が発生しにくくなり、ユーザはより正確に凹形状と凸形状とを区別できるようになろう。
マウス4、コンソール部3およびCPU61は照明部の照明方向を選択する選択部として機能してもよい。画像プロセッサ66は、照明部を制御することで観察対象物Wに対して第一照明方向および第二照明方向と異なる第三照明方向から照明光を観察対象物Wに対して照射し、変化部と撮像部を制御してそれぞれ異なる複数の合焦位置のそれぞれで観察対象物を撮像することで複数の第三輝度画像を取得してもよい。画像プロセッサ66は、照明部を制御することで観察対象物に対して第三照明方向に対して光軸を挟んで対称となる第四照明方向から照明光を観察対象物に対して照射し、変化部と撮像部を制御してそれぞれ異なる複数の合焦位置のそれぞれで観察対象物を撮像することで複数の第四輝度画像を取得してもよい。さらに、画像プロセッサ66は、第一照明方向、第二照明方向、第三照明方向および第四照明方向のうち選択部により選択された照明方向に対応した凹凸強調画像を、複数の第一輝度画像、複数の第二輝度画像、複数の第三輝度画像および複数の第四輝度画像のうち選択部により選択された照明方向に対応した複数の輝度画像を用いて生成してもよい。表示部2は、選択部により選択された照明方向に対応した凹凸強調画像を表示してもよい。
凹凸強調部34は、複数の第一輝度画像と複数の第二輝度画像とからそれぞれ合焦位置が同じである輝度画像のペアを輝度の差分に基づき合成して、複数の合焦位置のそれぞれについて凹凸の強調された複数のサブ凹凸強調画像を生成してもよい。深度合成部33は、複数のサブ凹凸強調画像を深度合成することで、深度合成された凹凸強調画像を生成する深度合成画像生成部として機能してもよい。このように凹凸強調と深度合成との順番はどちらが先であってもよい。
照明部は、対物レンズ23の周囲に配置されたリング照明26でああってもよい。照明部は、対物レンズ23を通じて照明光を観察対象物Wに照射する、ヘッド部22の内部に設けられた照明光源であってもよい。
図8が示すように、対物レンズ23a〜23c、結像レンズ41a、41bなどは拡大観察装置100の光学系を形成している。レボルバ21は第一対物レンズと、第二対物レンズとを択一的に光学系の観察光路(観察光軸A1)に配置するレンズ選択部として機能する。リング照明26は第一対物レンズを通過せずに照明光を観察対象物に照射する第一照明部の一例である。同軸落射照明27は第二対物レンズを通過して照明光を観察対象物に照射する第二照明部として機能する。リング照明26の光源領域140Aは観察対象物に対して第一照明方向から照明光を照射する第一光源として機能する。光源領域140Dは観察対象物に対して第二照明方向から照明光を照射する第二光源として機能する。同軸落射照明27のLED53aは観察対象物に対して第一照明方向から照明光を照射する第三光源として機能する。LED53dは観察対象物に対して第二照明方向から照明光を照射する第四光源として機能する。
CPU61は、観察光路に配置されている対物レンズ23に応じて第一照明部と第二照明部とを選択的に使用する。観察光路に配置されている対物レンズ23に応じて照明装置が自動的に選択されるため、拡大観察装置100を利用するユーザの利便性が向上する。
たとえば、CPU61は、第一対物レンズが観察光路に配置されているときに、第一光源を点灯することで第一照明方向から照明光を観察対象物に対して照射し、撮像部25を制御して観察対象物を撮像することで第一輝度画像を取得する。CPU61は、第二光源を点灯することで第二照明方向から照明光を観察対象物に対して照射し、撮像部25を制御して観察対象物を撮像することで第二輝度画像を取得する。CPU61は画像プロセッサ66を使用して、第一輝度画像と第二輝度画像とに基づき第一観察画像を生成し、表示部2に表示してもよい。CPU61は、第二対物レンズが観察光路に配置されているときに、第三光源を点灯することで第一照明方向から照明光を観察対象物に対して照射し、撮像部25を制御して観察対象物を撮像することで第三輝度画像を取得する。CPU61は、第四光源を点灯することで第二照明方向から照明光を観察対象物に対して照射し、撮像部25を制御して観察対象物を撮像することで第四輝度画像を取得する。画像プロセッサ66は第三輝度画像と第四輝度画像とに基づき第二観察画像を生成する。
CPU61は、第一対物レンズが観察光路に配置されているときに、第一光源および第三光源を点灯することで第一照明方向から照明光を観察対象物に対して照射し、撮像部25を制御して観察対象物を撮像することで第一輝度画像を取得してもよい。また、CPU61は、第二光源および第四光源を点灯することで第二照明方向から照明光を観察対象物に対して照射し、撮像部を制御して観察対象物を撮像することで第二輝度画像を取得してもよい。画像プロセッサ66は、このような第一輝度画像と第二輝度画像とに基づき第一観察画像を生成するように構成されていてもよい。このようにリング照明26による偏射と、同軸落射照明27による偏射とが組み合わされてもよい。
ハーフミラー38は、観察光路に配置され、第三光源からの照明光と第四光源から照明光とを第二対物レンズへ導くハーフミラーとして機能する。このようなハーフミラー38を採用することで、同軸落射照明27が実現されてもよい。ここで、同軸落射照明27の光源はヘッド部22の内部に設けられてもよいし、ヘッド部22の外部に設けられてもよい。
CPU61(照明制御部64)は、第一光源、第二光源、第三光源および第四光源のうち同時に点灯する光源の数に応じて当該同時に点灯する光源の光量を制御することで、観察対象物に照射される照明光の光量を所定量に維持してもよい。また、第三光源および第四光源はそれぞれ複数の照明手段(例:LEDなど)を有してもよい。CPU61は、レンズ選択部により選択された対物レンズに応じて、第三光源および第四光源においてそれぞれ点灯させる照明手段を切り替えてもよい。
図8が示すようにマウント50a〜50cは、第一対物レンズが取り付けられる第一マウントと、第二対物レンズが取り付けられる第二マウントとの一例である。CPU61は、第一マウントを介して第一対物レンズからレンズ識別情報を取得することで第一対物レンズを認識し、第二マウントを介して第二対物レンズからレンズ識別情報を取得することで第二対物レンズを認識してもよい。CPU61はレンズ認識部として機能する。図19が示すように、CPU61は、レンズ識別情報に基づき第一光源、第二光源、第三光源および第四光源の点灯/非点灯を制御してもよい。第一対物レンズのレンズ識別情報は、第一対物レンズの鏡筒の周囲に第一照明部が配置されていることを示す情報を含んでもよい。
画像プロセッサ66は上述した手順にしたがって凹凸強調画像を生成してもよい。凹凸強調画像は、被写界深度の広い(深い)凹凸強調画像であってもよい。画像プロセッサ66は、複数の第一輝度画像と複数の第二輝度画像とについて深度合成および凹凸強調することで観察対象物の表面の凹凸が強調され、かつ、撮像部25により取得可能な単一の輝度画像と比較して被写界深度の広い凹凸強調画像を、第一観察画像および第二観察画像として生成してもよい。このように、リング照明26と同軸落射照明27とをそれぞれ使用して、被写界深度の広い凹凸強調画像が生成されてもよい。
照明方向選択部72は、観察画像における照明方向を選択する方向選択部の一例である。第一照明部(例:リング照明26)は、観察対象物に対して第三照明方向から照明光を照射する第五光源(光源領域140B)と、観察対象物に対して第四照明方向から照明光を照射する第六光源(光源領域140D)とを有してもよい。第二照明部(同軸落射照明27)は、観察対象物に対して第三照明方向から照明光を照射する第七光源(例:LED53b)と、観察対象物に対して第四照明方向から照明光を照射する第八光源(LED53d)とを有してもよい。CPU61は、第一対物レンズが観察光路に配置されているときに、第一光源を点灯することで第一照明方向から照明光を観察対象物に対して照射し、撮像部を制御して観察対象物を撮像することで第一輝度画像を取得し、第二光源を点灯することで第二照明方向から照明光を観察対象物に対して照射し、撮像部を制御して観察対象物を撮像することで第二輝度画像を取得し、第五光源を点灯することで第三照明方向から照明光を観察対象物に対して照射し、撮像部を制御して観察対象物を撮像することで第五輝度画像を取得し、第六光源を点灯することで第四照明方向から照明光を観察対象物に対して照射し、撮像部を制御して観察対象物を撮像することで第六輝度画像を取得してもよい。さらに、CPU61は第二対物レンズが観察光路に配置されているときに、第三光源を点灯することで第一照明方向から照明光を観察対象物に対して照射し、撮像部を制御して観察対象物を撮像することで第三輝度画像を取得し、第四光源を点灯することで第二照明方向から照明光を観察対象物に対して照射し、撮像部を制御して観察対象物を撮像することで第四輝度画像を取得し、第七光源を点灯することで第三照明方向から照明光を観察対象物に対して照射し、撮像部を制御して観察対象物を撮像することで第七輝度画像を取得し、第八光源を点灯することで第四照明方向から照明光を観察対象物に対して照射し、撮像部を制御して観察対象物を撮像することで第八輝度画像を取得してもよい。画像プロセッサ66は、第一照明方向、第二照明方向、第三照明方向および第四照明方向のうち方向選択部により選択された照明方向に対応した観察画像を、第一輝度画像、第二輝度画像、第三輝度画像、第四輝度画像、第五輝度画像、第六輝度画像、第七輝度画像、第八輝度画像のうち方向選択部により選択された照明方向に対応した複数の輝度画像を用いて生成してもよい。

Claims (10)

  1. 第一対物レンズと、第二対物レンズと、結像レンズとを含む光学系と、
    前記第一対物レンズと、前記第二対物レンズとを択一的に前記光学系の観察光路に配置するレンズ選択部と、
    少なくともX方向とY方向とに前記光学系に対して相対的に移動可能なXYステージと、
    前記XYステージに載置された観察対象物に対してそれぞれ異なる方向から照明光を照射する照明装置と、
    前記光学系を介して前記観察対象物からの光を受光して前記観察対象物の輝度画像を生成する撮像部と、
    前記照明装置と前記撮像部とを制御する制御部と
    を有し、
    前記照明装置は、
    前記第一対物レンズを通過せずに照明光を前記観察対象物に照射する第一照明部と、
    前記第二対物レンズを通過して照明光を前記観察対象物に照射する第二照明部と、
    を有し、
    前記第一照明部は、
    前記観察対象物に対して第一照明方向から前記照明光を照射する第一光源と、
    前記観察対象物に対して第二照明方向から前記照明光を照射する第二光源と、
    を有し、
    前記第二照明部は、
    前記観察対象物に対して前記第一照明方向から前記照明光を照射する第三光源と、
    前記観察対象物に対して前記第二照明方向から前記照明光を照射する第四光源と、
    を有し、
    前記制御部は、前記観察光路に配置されている対物レンズに応じて前記第一照明部と前記第二照明部とを選択的に使用することを特徴とする拡大観察装置。
  2. 前記第一対物レンズが前記観察光路に配置されているときに、前記第一光源を点灯することで前記第一照明方向から前記照明光を前記観察対象物に対して照射し、前記撮像部を制御して前記観察対象物を撮像することで第一輝度画像を取得し、前記第二光源を点灯することで前記第二照明方向から前記照明光を前記観察対象物に対して照射し、前記撮像部を制御して前記観察対象物を撮像することで第二輝度画像を取得し、前記第一輝度画像と前記第二輝度画像とに基づき第一観察画像を生成し、
    前記第二対物レンズが前記観察光路に配置されているときに、前記第三光源を点灯することで前記第一照明方向から前記照明光を前記観察対象物に対して照射し、前記撮像部を制御して前記観察対象物を撮像することで第三輝度画像を取得し、前記第四光源を点灯することで前記第二照明方向から前記照明光を前記観察対象物に対して照射し、前記撮像部を制御して前記観察対象物を撮像することで第四輝度画像を取得し、前記第三輝度画像と前記第四輝度画像とに基づき第二観察画像を生成する画像生成部
    をさらに有することを特徴とする請求項1に記載の拡大観察装置。
  3. 前記画像生成部は、前記第一対物レンズが前記観察光路に配置されているときに、前記第一光源および前記第三光源を点灯することで前記第一照明方向から前記照明光を前記観察対象物に対して照射し、前記撮像部を制御して前記観察対象物を撮像することで前記第一輝度画像を取得し、前記第二光源および前記第四光源を点灯することで前記第二照明方向から前記照明光を前記観察対象物に対して照射し、前記撮像部を制御して前記観察対象物を撮像することで前記第二輝度画像を取得し、前記第一輝度画像と前記第二輝度画像とに基づき前記第一観察画像を生成するように構成されていることを特徴とする請求項2に記載の拡大観察装置。
  4. 前記観察光路に配置され、前記第三光源からの照明光と前記第四光源から照明光とを前記第二対物レンズへ導くハーフミラーをさらに有することを特徴とする請求項1ないし3のいずれか一項に記載の拡大観察装置。
  5. 前記制御部は、前記第一光源、前記第二光源、前記第三光源および前記第四光源のうち同時に点灯する光源の数に応じて当該同時に点灯する光源の光量を制御することで、前記観察対象物に照射される照明光の光量を所定量に維持することを特徴とする請求項1ないし4のいずれか一項に記載の拡大観察装置。
  6. 前記第三光源および前記第四光源は、それぞれ複数の照明手段を有し、
    前記レンズ選択部により選択された対物レンズに応じて、前記第三光源および前記第四光源においてそれぞれ点灯させる照明手段を切り替えることを特徴とする請求項1ないし5のいずれか一項に記載の拡大観察装置。
  7. 前記レンズ選択部は、
    前記第一対物レンズが取り付けられる第一マウントと、
    前記第二対物レンズが取り付けられる第二マウントと、
    を有し、
    前記制御部は、
    前記第一マウントを介して前記第一対物レンズからレンズ識別情報を取得することで前記第一対物レンズを認識し、
    前記第二マウントを介して前記第二対物レンズからレンズ識別情報を取得することで前記第二対物レンズを認識し、
    前記レンズ識別情報に基づき前記第一光源、前記第二光源、前記第三光源および前記第四光源の点灯/非点灯を制御することを特徴とする請求項1ないし6のいずれか一項に記載の拡大観察装置。
  8. 前記第一対物レンズのレンズ識別情報は、前記第一対物レンズの鏡筒の周囲に前記第一照明部が配置されていることを示す情報を含むことを特徴とする請求項7に記載の拡大観察装置。
  9. 前記画像生成部は、
    前記照明装置を制御することで前記観察対象物に対して前記第一照明方向から前記照明光を前記観察対象物に対して照射し、前記撮像部を制御してそれぞれ異なる複数の合焦位置のそれぞれで前記観察対象物を撮像することで複数の第一輝度画像を取得し、
    前記照明装置を制御することで前記観察対象物に対して前記第一照明方向に対して前記光学系の光軸を挟んで対称となる前記第二照明方向から前記照明光を前記観察対象物に対して照射し、前記撮像部を制御してそれぞれ異なる複数の合焦位置のそれぞれで前記観察対象物を撮像することで複数の第二輝度画像を取得し、
    前記複数の第一輝度画像と前記複数の第二輝度画像とについて深度合成および凹凸強調することで前記観察対象物の表面の凹凸が強調され、かつ、前記撮像部により取得可能な単一の輝度画像と比較して被写界深度の広い凹凸強調画像を前記第一観察画像および前記第二観察画像として生成することを特徴とする請求項2に記載の拡大観察装置。
  10. 観察画像における照明方向を選択する方向選択部をさらに有し、
    前記第一照明部は、
    前記観察対象物に対して第三照明方向から前記照明光を照射する第五光源と、
    前記観察対象物に対して第四照明方向から前記照明光を照射する第六光源と、
    を有し、
    前記第二照明部は、
    前記観察対象物に対して前記第三照明方向から前記照明光を照射する第七光源と、
    前記観察対象物に対して前記第四照明方向から前記照明光を照射する第八光源と、
    を有し、
    前記制御部は、
    前記第一対物レンズが前記観察光路に配置されているときに、前記第一光源を点灯することで前記第一照明方向から前記照明光を前記観察対象物に対して照射し、前記撮像部を制御して前記観察対象物を撮像することで前記第一輝度画像を取得し、前記第二光源を点灯することで前記第二照明方向から前記照明光を前記観察対象物に対して照射し、前記撮像部を制御して前記観察対象物を撮像することで前記第二輝度画像を取得し、前記第五光源を点灯することで前記第三照明方向から前記照明光を前記観察対象物に対して照射し、前記撮像部を制御して前記観察対象物を撮像することで第五輝度画像を取得し、前記第六光源を点灯することで前記第四照明方向から前記照明光を前記観察対象物に対して照射し、前記撮像部を制御して前記観察対象物を撮像することで第六輝度画像を取得し、
    前記第二対物レンズが前記観察光路に配置されているときに、前記第三光源を点灯することで前記第一照明方向から前記照明光を前記観察対象物に対して照射し、前記撮像部を制御して前記観察対象物を撮像することで前記第三輝度画像を取得し、前記第四光源を点灯することで前記第二照明方向から前記照明光を前記観察対象物に対して照射し、前記撮像部を制御して前記観察対象物を撮像することで前記第四輝度画像を取得し、前記第七光源を点灯することで前記第三照明方向から前記照明光を前記観察対象物に対して照射し、前記撮像部を制御して前記観察対象物を撮像することで第七輝度画像を取得し、前記第八光源を点灯することで前記第四照明方向から前記照明光を前記観察対象物に対して照射し、前記撮像部を制御して前記観察対象物を撮像することで第八輝度画像を取得し、
    前記画像生成部は、さらに、前記第一照明方向、前記第二照明方向、前記第三照明方向および前記第四照明方向のうち前記方向選択部により選択された照明方向に対応した観察画像を、前記第一輝度画像、前記第二輝度画像、前記第三輝度画像、前記第四輝度画像、前記第五輝度画像、前記第六輝度画像、前記第七輝度画像、前記第八輝度画像のうち前記方向選択部により選択された照明方向に対応した複数の輝度画像を用いて生成することを特徴とする請求項2または9に記載の拡大観察装置。
JP2018223949A 2018-11-29 2018-11-29 拡大観察装置 Active JP7268992B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018223949A JP7268992B2 (ja) 2018-11-29 2018-11-29 拡大観察装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018223949A JP7268992B2 (ja) 2018-11-29 2018-11-29 拡大観察装置

Publications (2)

Publication Number Publication Date
JP2020086295A true JP2020086295A (ja) 2020-06-04
JP7268992B2 JP7268992B2 (ja) 2023-05-08

Family

ID=70907892

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018223949A Active JP7268992B2 (ja) 2018-11-29 2018-11-29 拡大観察装置

Country Status (1)

Country Link
JP (1) JP7268992B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022014247A1 (ja) * 2020-07-15 2022-01-20 パナソニックIpマネジメント株式会社 撮像システム、検査システム、情報処理装置、情報処理方法及びそのプログラム、並びに撮像制御方法及びそのプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002244047A (ja) * 2001-02-14 2002-08-28 Moritex Corp 拡大撮像装置
JP2015083975A (ja) * 2013-10-25 2015-04-30 ゲルハルト シューベルト ゲーエムベーハーGerhard Schubert GmbH 走行面上の複数の製品の位置と三次元的な形状を非接触で検出する方法およびスキャナ
JP2016009035A (ja) * 2014-06-23 2016-01-18 株式会社キーエンス 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体
JP2016063522A (ja) * 2014-09-22 2016-04-25 カシオ計算機株式会社 画像処理装置、および方法、ならびにプログラム
WO2016158780A1 (ja) * 2015-03-31 2016-10-06 オリンパス株式会社 観察装置および観察方法
WO2018037604A1 (ja) * 2016-08-26 2018-03-01 パナソニックIpマネジメント株式会社 画像処理システム及び画像処理方法
JP2018066967A (ja) * 2016-10-21 2018-04-26 株式会社キーエンス 拡大観察装置および拡大観察装置の制御方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002244047A (ja) * 2001-02-14 2002-08-28 Moritex Corp 拡大撮像装置
JP2015083975A (ja) * 2013-10-25 2015-04-30 ゲルハルト シューベルト ゲーエムベーハーGerhard Schubert GmbH 走行面上の複数の製品の位置と三次元的な形状を非接触で検出する方法およびスキャナ
JP2016009035A (ja) * 2014-06-23 2016-01-18 株式会社キーエンス 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体
JP2016063522A (ja) * 2014-09-22 2016-04-25 カシオ計算機株式会社 画像処理装置、および方法、ならびにプログラム
WO2016158780A1 (ja) * 2015-03-31 2016-10-06 オリンパス株式会社 観察装置および観察方法
WO2018037604A1 (ja) * 2016-08-26 2018-03-01 パナソニックIpマネジメント株式会社 画像処理システム及び画像処理方法
JP2018066967A (ja) * 2016-10-21 2018-04-26 株式会社キーエンス 拡大観察装置および拡大観察装置の制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022014247A1 (ja) * 2020-07-15 2022-01-20 パナソニックIpマネジメント株式会社 撮像システム、検査システム、情報処理装置、情報処理方法及びそのプログラム、並びに撮像制御方法及びそのプログラム

Also Published As

Publication number Publication date
JP7268992B2 (ja) 2023-05-08

Similar Documents

Publication Publication Date Title
US8982457B2 (en) Microscope system and illumination intensity adjusting method
JP6325816B2 (ja) 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体
US9690088B2 (en) Magnifying observation apparatus, magnified image observing method and computer-readable recording medium
JP6487156B2 (ja) 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体
US9772480B2 (en) Image measurement device
JP2013068738A (ja) 拡大観察装置、並びに、拡大観察装置の画像表示方法及び検鏡法切換方法
JP7268991B2 (ja) 拡大観察装置
JP5893314B2 (ja) 表示装置および顕微鏡システム
US10816783B2 (en) Magnifying observation apparatus
JP7268992B2 (ja) 拡大観察装置
JP7251957B2 (ja) 拡大観察装置
US10539775B2 (en) Magnifying observation apparatus
US20220269062A1 (en) Magnified observation apparatus
JP2015127769A (ja) 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体
JP2020086296A (ja) 拡大観察装置
JP2015127771A (ja) 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体
US10859806B2 (en) Magnifying observation apparatus
JP2022127537A (ja) 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体並びに記憶した機器
JP2020086294A (ja) 拡大観察装置
JP5532318B2 (ja) 顕微鏡装置および記録媒体
JP6062028B2 (ja) 拡大観察装置、及び、拡大観察方法
US20220269061A1 (en) Magnified observation apparatus, magnified observation method, and non-transitory computer-readable storage medium or storage device
JP6362435B2 (ja) 顕微鏡システム
JP6928533B2 (ja) 拡大観察装置
US20150355450A1 (en) Observation device, signal output method and computer readable recording medium

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221028

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230324

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230421

R150 Certificate of patent or registration of utility model

Ref document number: 7268992

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150