JP2023108281A - 観察システム、顕微鏡、観察方法、及びプログラム - Google Patents

Abstract

【課題】被検体の傷検出を自動で行う技術を提供する。【解決手段】観察システムは、第１の検鏡方法での試料の画像の取得と第２の検鏡方法での試料の画像の取得とを行う顕微鏡と、顕微鏡により第１の検鏡方法で取得された画像の輝度値である第１の輝度値と顕微鏡により第２の検鏡方法で取得された画像の輝度値である第２の輝度値とを算出し、第１の輝度値と第２の輝度値との差分を算出し、差分と閾値とを比較する輝度情報比較部と、輝度情報比較部の比較結果を出力する出力部とを備える。【選択図】図１

Description

本明細書の開示は、観察システム、顕微鏡、観察方法、及びプログラムに関する。

従来、顕微鏡を用いて試料の傷や凹凸を観察する際には偏斜照明が用いられている。偏斜照明は、試料を斜めから照明する照明法であり、例えば、照明光の一部を遮るための絞りを照明光路に配置することで実現される。偏斜照明を用いることで試料が斜めから照明されるので、試料の傷や凹凸が影で目立ち易くなり、その観察が容易になる。

また、顕微鏡を用いて試料の傷や凹凸を観察する際には、その他、暗視野照明も用いられている。暗視野照明の実現方法として、例えば特許文献１に記載の方法が知られている。特許文献１に記載の方法では、対物レンズの光軸を中心とする１つの円周上に複数の光ファイバを配置し、その複数の光ファイバから光を出射させることで暗視野照明が実現されている。また、特許文献１に記載の方法では、その複数の光ファイバから部分的に光を出射させること等も行われている。

特開２０１８－１３７３７号公報

顕微鏡を用いて被検体の傷検出を行う場合、ユーザ（観察者）は、被検体である試料を偏斜照明や暗視野照明（例えば特許文献１に記載の方法による暗視野照明）にて観察しながら傷の有無を判断する必要があった。そのため、被検体の傷検出にはユーザが傷の有無を判断するという手間が伴うものになっていた。また、ユーザ毎に傷の有無判断にムラが生じて、被検体の傷検出にムラが生じる虞もあった。

本発明の一側面に係る目的は、被検体の傷検出を自動で行う技術を提供することである。

本発明の一態様に係る観察システムは、第１の検鏡方法での試料の画像の取得と第２の検鏡方法での前記試料の画像の取得とを行う顕微鏡と、前記顕微鏡により前記第１の検鏡方法で取得された前記画像の輝度値である第１の輝度値と前記顕微鏡により前記第２の検鏡方法で取得された前記画像の輝度値である第２の輝度値とを算出し、前記第１の輝度値と前記第２の輝度値との差分を算出し、前記差分と閾値とを比較する輝度情報比較部と、前記輝度情報比較部の比較結果を出力する出力部とを備える。

本発明の一態様に係る顕微鏡は、第１の検鏡方法での試料の画像の取得と第２の検鏡方法での前記試料の画像の取得とを行う撮像部と、前記撮像部により前記第１の検鏡方法で取得された前記画像の輝度値である第１の輝度値と前記撮像部により前記第２の検鏡方法で取得された前記画像の輝度値である第２の輝度値とを算出し、前記第１の輝度値と前記第２の輝度値との差分を算出し、前記差分と閾値とを比較する輝度情報比較部と、前記輝度情報比較部の比較結果を出力する出力部とを備える。

本発明の一態様に係る観察方法は、第１の検鏡方法での試料の画像の取得と第２の検鏡方法での前記試料の画像の取得とを行い、前記第１の検鏡方法で取得された前記画像の輝度値である第１の輝度値と前記第２の検鏡方法で取得された前記画像の輝度値である第２の輝度値とを算出し、前記第１の輝度値と前記第２の輝度値との差分を算出し、前記差分と閾値とを比較し、前記比較の結果を出力する。

本発明の一態様に係るプログラムは、第１の検鏡方法での試料の画像の取得と第２の検鏡方法での前記試料の画像の取得とを行い、前記第１の検鏡方法で取得された前記画像の輝度値である第１の輝度値と前記第２の検鏡方法で取得された前記画像の輝度値である第２の輝度値とを算出し、前記第１の輝度値と前記第２の輝度値との差分を算出し、前記差分と閾値とを比較し、前記比較の結果を出力する処理をコンピュータに実行させる。

上記の態様によれば、被検体の傷検出を自動で行う技術を提供することができる。

第１の実施形態に係る観察システム１の構成を例示する図である。 絞り１０３の一例を説明する図である。 第１の実施形態に係る観察画面の一例を説明する図である。 第１の実施形態に係る観察システム１において実行される処理の流れを例示するフローチャートである。 観察画面の一例を示す図である。 観察画面の一例を示す図である。 観察画面の一例を示す図である。 第１の実施形態に係る観察システム１において実行される変形例に係る処理の流れを例示するフローチャートである。 第２の実施形態に係るコントローラ２０の構成を例示する図である。 第２の実施形態に係る観察画面の一例を説明する図である。 第２の実施形態に係る観察システム１において実行される処理の流れを例示するフローチャートである。 第３の実施形態に係るコントローラ２０の構成を例示する図である。 第３の実施形態に係る観察システム１において実行される処理の流れを例示するフローチャートである。 図１３のＳ４０４の処理の具体例を説明する図である。 第４の実施形態に係るコントローラ２０の構成を例示する図である。 第４の実施形態に係る観察システム１において実行される処理の流れを例示するフローチャートである。 第４の実施形態に係る観察システム１において実行される処理の流れを例示するフローチャートである。 図１６のＳ５０２の処理の具体例を説明する図である。 図１７のＳ６０２の処理の具体例を説明する図である。 コンピュータ９００のハードウェア構成を例示する図である。

以下、図面を参照しながら本発明の実施の形態について説明する。

［第１の実施形態］
図１は、第１の実施形態に係る観察システム１の構成を例示する図である。図１に例示した観察システム１は、被検体である試料Ｓの傷検出等に用いられるシステムであって、顕微鏡１０、コントローラ２０、表示装置３０、及び入力装置４０を含む。

顕微鏡１０は、光学ヘッド１００、ＸＹステージ１２０、及びフレーム１３０を含む。

光学ヘッド１００は、光源１０１、照明レンズ１０２、絞り１０３、ハーフミラー１０４、レボルバ１０５、対物レンズ１０６、結像レンズ１０７、及び撮像部１０８を含む。

光源１０１は、明視野観察用及び偏斜観察用等の光源であって、照明光を出射する。光源１０１は、例えば、白色ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、ハロゲンランプ、又はキセノンランプ等である。なお、明視野観察は第１の検鏡方法の一例であり、偏斜観察は第２の検鏡方法の一例である。照明レンズ１０２は、光源１０１から出射された照明光を平行光にする。

絞り１０３は、偏斜照明を実現するために、照明レンズ１０２により平行光にされた照明光の一部を遮る。絞り１０３は、照明光路に対して挿脱可能に構成されており、照明光路に挿入されている場合は偏斜照明が実現され、照明光路から外されている場合は明視野照明が実現される。絞り１０３の詳細については、図２を用いて後述する。

このように顕微鏡１０では、光学ヘッド１００に含まれる絞り１０３によって偏斜照明が実現されるために、特許文献１に記載の照明方法に比べて、対物レンズ１０６の構成の細径化が可能である。特許文献１では、対物レンズの周辺に配置される複数の光ファイバによって照明が実現されるために、対物レンズの構成が太径化し、チルト角度に制約が生じる虞がある。

ハーフミラー１０４は、光源１０１からの照明光（光源１０１から出射して照明レンズ１０２を透過した後に絞り１０３を通過した光、又は、光源１０１から出射して照明レンズ１０２を透過した光）を反射する。また、ハーフミラー１０４は、試料Ｓからの反射光（試料Ｓで反射して対物レンズ１０６を透過した光）を透過する。

レボルバ１０５は、対物レンズ１０６を保持し、光学ヘッド１００に対して回転する。例えば、レボルバ１０５は、複数の対物レンズ１０６を保持し、回転により、観察に使用される対物レンズ１０６を光路に挿入する。レボルバ１０５の回転は、コントローラ２０の制御の下に電動で行われるようにしてもよいし、手動で行われるようにしてもよい。

対物レンズ１０６は、ハーフミラー１０４で反射した光源１０１からの照明光を試料Ｓに集光する。結像レンズ１０７は、ハーフミラー１０４を透過した試料Ｓからの反射光を集光して観察像を結像する。

撮像部１０８は、結像レンズ１０７により結像された観察像を受光して光電変換を行うことで試料Ｓの画像（画像データ）を生成（取得）し、その画像をコントローラ２０に出力する。例えば、撮像部１０８は、明視野観察時の試料Ｓの画像を生成、出力したり、偏斜観察時の試料Ｓの画像を生成、出力したりする。撮像部２８は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサを備えたカメラである。

ＸＹステージ１２０は、試料Ｓが載置され、その試料Ｓを照明光の光軸に対して直交する方向（ＸＹ方向でもある）に移動させる。ＸＹステージ１２０による試料Ｓの移動は、コントローラ２０（ＸＹステージ制御部２０１）の制御の下に電動で行われるものとするが、手動でも行えるようにしてもよい。

フレーム１３０は、ＸＹステージ１２０が設けられると共に、照明光の光軸方向（Ｚ方向でもある）に光学ヘッド１００を移動可能に保持する。フレーム１３０による光学ヘッド１００のＺ方向への移動は、コントローラ２０（Ｚ制御部２０２）の制御の下に電動で行われるものとするが、手動でも行えるようにしてもよい。光学ヘッド１００の移動は、例えば、試料Ｓに合焦させる（ピントを合わせる）際や３次元画像を生成する際（例えば第２の実施形態参照）等に行われる。なお、光学ヘッド１００をＺ方向に移動させる代わりに、ＸＹステージ１２０をＺ方向に移動させるように構成されてもよい。

コントローラ２０は、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）本体等であって、観察システム１の全体動作を制御する。コントローラ２０は、ＸＹステージ制御部２０１、Ｚ制御部２０２、絞り制御部２０３、及び輝度情報比較部２０４を含む。

ＸＹステージ制御部２０１は、ＸＹステージ１２０による試料ＳのＸＹ方向の移動を制御する。Ｚ制御部２０２は、フレーム１３０による光学ヘッド１００のＺ方向の移動を制御する。絞り制御部２０３は、絞り１０３を制御する。絞り１０３の制御の詳細については、図２を用いて後述する。

輝度情報比較部２０４は、顕微鏡１０（撮像部１０８）により明視野観察時に取得された試料Ｓの画像の輝度値（第１の輝度値の一例）と、顕微鏡１０（撮像部１０８）により偏斜観察時に取得された試料Ｓの画像の輝度値（第２の輝度値の一例）とを算出し、それらの輝度値の差分（第１の輝度値と第２の輝度値との差分）を算出し、その差分と輝度閾値とを比較する等の処理を行う。

表示装置３０は、例えば液晶ディスプレイ等あって、観察画面等を表示する。観察画面には、輝度情報比較部２０４の比較結果等が表示される。観察画面の詳細については、図３を用いて後述する。なお、表示装置３０は、輝度情報比較部の比較結果を出力する出力部の一例である。

入力装置４０は、例えばマウス、キーボード、及びジョイスティック等であって、ユーザから各種の入力を受け付ける。また、入力装置４０は、表示装置３０の表示画面上に配置されるタッチパネルを含んでもよい。

図２は、絞り１０３の一例を説明する図である。図２に例示したように、絞り１０３は、それぞれが半月形状の異なる開口部を有する４つのポジション（Ａ～Ｄ）を有する板金として構成され、その何れかのポジションが照明光路にセットされるように絞り１０３が平行移動することで、そのポジションの開口部に応じた偏斜照明が実現される。例えば、ポジションＡが照明光路にセットされた場合は、照明光の約右半分が遮光されるようになり、これにより試料Ｓが左斜め上から照明されるようになる。この場合は、撮像部１０８で取得される試料Ｓの画像として、例えば偏斜画像（偏斜観察時の画像）５０１が得られる。偏斜画像５０１では、左斜め上から照明されることで試料Ｓの凹凸の右側に影が生じている。ポジションＢが照明光路にセットされた場合は、照明光の約左半分が遮光されるようになり、これにより試料Ｓが右斜め上から照明されるようになる。この場合は、撮像部１０８で取得される試料Ｓの画像として、例えば偏斜画像５０２が得られる。偏斜画像５０２では、偏斜画像５０１とは反対に、右斜め上から照明されることで試料Ｓの凹凸の左側に影が生じている。ポジションＣが照明光路にセットされた場合は、照明光の約下半分が遮光されるようになり、これにより奥斜め上から試料Ｓが照明されるようになる。ポジションＤが照明光路にセットされた場合は、照明光の約上半分が遮光されるようになり、これにより手前斜め上から試料Ｓが照明されるようになる。

照明光路にセットされる絞り１０３のポジションは、コントローラ２０（絞り制御部２０３）によって電動で制御されるものとするが、手動でもセットできるように構成されてもよい。また、照明光路に対する絞り１０３の挿脱も、コントローラ２０（絞り制御部２０３）によって電動で制御されるものとするが、手動でも挿脱できるように構成されてもよい。

このような図２に例示した絞り１０３を用いることで、偏斜照明の方向が異なる４種類の偏斜観察が可能になると共に、その絞り１０３が照明光路から外れることで明視野観察が可能になる。なお、絞り１０３が有する開口部の数や形状は、図２に例示したものに限らない。絞り１０３は、図２に例示したものによる４種類以外の１つ又は複数種類の偏斜観察が可能になる構成を有していてもよい。

図３は、観察画面の一例を説明する図である。図３に例示したように、観察画面は、観察画像表示エリア３０１、プレビュー開始ボタン３０２、ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）表示ボタン３０３、及び輝度閾値設定ボタン３０４を含む。

観察画像表示エリア３０１は、顕微鏡１０（撮像部１０８）で取得された画像が表示されるエリアである。例えば、観察画像表示エリア３０１には、試料Ｓの明視野ライブ画像（明視野観察時のライブ画像）、偏斜ライブ画像（偏斜観察時のライブ画像）、明視野画像（明視野観察時の画像）、又は偏斜画像が表示される。

プレビュー開始ボタン３０２は、明視野画像と偏斜画像の輝度値を比較する等の処理が行われる後述のプレビュー処理を開始させるボタンである。ＲＯＩ表示ボタン３０３は、観察画像表示エリア３０１に表示される画像上に、輝度値を比較する際の対象領域を表すＲＯＩ３０１ａを表示させるボタンである。なお、ＲＯＩ３０１ａを表示させる位置やＲＯＩ３０１ａのサイズについては、ユーザが入力装置４０を用いて自由に変更することができる。輝度閾値設定ボタン３０４は、プレビュー処理において使用される輝度閾値の設定を可能にするボタンである。ユーザは、輝度閾値設定ボタン３０４を押下することで、入力装置４０を用いて自由に輝度閾値を設定（変更）することができる。なお、ユーザは、プレビュー開始ボタン３０２、ＲＯＩ表示ボタン３０３、及び輝度閾値設定ボタン３０４の押下を、入力装置４０を用いて行うことができる。

次に、観察システム１において、被検体である試料Ｓの傷検出を行う場合に実行される処理（プレビュー処理を含む）について図４乃至図７を用いて説明する。図４は、第１の実施形態に係る観察システム１において実行される処理の流れを例示するフローチャートである。図５乃至図７は、観察画面の一例を示す図である。

なお、図４に例示した処理で用いられる絞り１０３は、図２に例示した絞り１０３であるとする。また、図４に例示した処理の実行に先立ち、光学ヘッド１００のＺ方向の位置は、ＸＹステージ１２０に載置された試料Ｓに対して合焦させた状態（ピントを合わせた状態）の位置にされているとする。また、表示装置３０には、図３を用いて説明した観察画面が表示されているとする。但し、このときの観察画像表示エリア３０１には何も画像が表示されていないとする。

図４に例示した処理では、まず、ユーザによるプレビュー開始ボタン３０２の押下に応じて、コントローラ２０は、Ｓ１０２以降のプレビュー処理を開始する（Ｓ１０１）。プレビュー処理を開始すると、コントローラ２０は、絞り１０３が照明光路から外れるように制御して、顕微鏡１０（撮像部１０８）から明視野画像を取得する（Ｓ１０２）。そして、取得した明視野画像を、図５に例示したように、観察画像表示エリア３０１に表示する。

次に、コントローラ２０は、ユーザによるＲＯＩ表示ボタン３０３の押下に応じて、図６に例示したように、観察画像表示エリア３０１に表示されている明視野画像上にＲＯＩ３０１ａを表示する（Ｓ１０３）。なお、このときにコントローラ２０は、ユーザの入力装置４０を用いての入力に応じて、ＲＯＩ３０１ａの表示位置を変更してもよい。また、コントローラ２０は、ユーザによる輝度閾値設定ボタン３０４の押下に応じて、輝度閾値を変更してもよい。

次に、コントローラ２０は、絞り１０３を照明光路に挿入すると共に絞り１０３の各ポジションを順に照明光路にセットするように制御して、各ポジションでの偏斜画像を顕微鏡１０（撮像部１０８）から取得する（Ｓ１０４）。すなわち、Ｓ１０４では、偏斜照明の方向が異なる複数（ここでは４つ）の偏斜画像が取得される。なお、偏斜照明の方向が異なる複数の偏斜画像は、観察条件が異なる複数の偏斜画像でもある。Ｓ１０４で取得された複数の偏斜画像と、Ｓ１０２で取得された明視野画像は、試料Ｓの同一領域の画像である。

次に、コントローラ２０（輝度情報比較部２０４）は、Ｓ１０２で取得された明視野画像におけるＲＯＩ３０１ａ内の輝度値とＳ１０４で取得された各偏斜画像におけるＲＯＩ３０１ａ内の輝度値とを算出し、ＲＯＩ３０１ａ内における明視野画像の輝度値と各偏斜画像の輝度値との差分を算出する（Ｓ１０５）。なお、ＲＯＩ３０１ａ内の輝度値は、例えば、ＲＯＩ３０１ａ内に含まれる画素の輝度値の平均を求めることによって算出される。明視野画像におけるＲＯＩ３０１ａの位置（観察画像表示エリア３０１に表示されている明視野画像上のＲＯＩ３０１ａの位置でもある）と各偏斜画像におけるＲＯＩ３０１ａの位置は同じである。

次に、コントローラ２０（輝度情報比較部２０４）は、Ｓ１０５で算出された各差分と輝度閾値とを比較し、Ｓ１０５で算出された差分の中で最も大きい差分（差分最大値）が輝度閾値以上であるか否かを判定する（Ｓ１０６）。Ｓ１０６の判定結果がＹＥＳの場合、コントローラ２０は、図７に例示したように、差分最大値が算出されたときの偏斜画像を観察画像表示エリア３０１に表示する（Ｓ１０７）。なお、このＳ１０７の表示は、輝度情報比較部２０４の比較結果の出力でもある。これにより、例えば、ユーザが傷と判定し得る輝度閾値を予め設定しておくことで、そのような傷をＲＯＩ３０１ａ内に有する試料Ｓの偏斜画像を表示させることができる。これは即ち、試料Ｓの傷が自動で検出されることでもある。また、偏斜画像を表示させることで傷の観察がし易くなることは勿論である。Ｓ１０７が終了すると、図４に例示した処理が終了する。

一方、Ｓ１０６の判定結果がＮＯの場合、コントローラ２０は、ユーザの入力装置４０を用いての入力に応じて、ＲＯＩ３０１ａの表示位置の変更や、ＸＹステージ１２０による試料Ｓの移動（試料位置の変更）を行ったり、ユーザによる輝度閾値設定ボタン３０４の押下に応じて、輝度閾値を変更したりする（Ｓ１０８）。Ｓ１０８が終了すると、処理がＳ１０２、Ｓ１０５、又はＳ１０６に戻る。詳しくは、Ｓ１０８で試料位置の変更が行われた場合は処理がＳ１０２に戻り、Ｓ１０８で試料位置の変更は行われなかったがＲＯＩ３０１ａの表示位置の変更が行われた場合は処理がＳ１０５に戻り、Ｓ１０８で輝度閾値の変更のみが行われた場合は処理がＳ１０６に戻る。

以上のように第１の実施形態によれば、被検体である試料Ｓの傷を自動で検出することができるので、ユーザは傷の有無を判断する必要が無くなり、被検体の傷検出に伴うユーザの手間を省くことができる。また、ユーザ毎に被検体の傷検出にムラが生じる虞もない。

なお、図４に例示した処理では、複数の偏斜画像が取得されて処理が行われたが、１つの偏斜画像のみが取得されて処理が行われるようにしてもよい。この場合の処理を、図８を用いて説明する。図８は、第１の実施形態に係る観察システム１において実行される変形例に係る処理の流れを例示するフローチャートである。

図８に例示した処理において、Ｓ２０１乃至Ｓ２０３の処理は、図４に例示したＳ１０１乃至Ｓ１０３の処理と同様である。Ｓ２０３の後は、コントローラ２０が、絞り１０３を照明光路に挿入すると共に絞り１０３における何れかのポジションを照明光路にセットするように制御して、顕微鏡１０（撮像部１０８）から偏斜画像を取得する（Ｓ２０４）。すなわち、Ｓ２０４では、１つの偏斜画像が取得される。なお、Ｓ２０４において照明光路にセットされる絞り１０３のポジションは、ユーザが入力装置４０を用いて選択するようにしてもよい。Ｓ２０４で取得された偏斜画像と、Ｓ２０２で取得された明視野画像は、試料Ｓの同一領域の画像である。

次に、コントローラ２０（輝度情報比較部２０４）は、Ｓ２０２で取得された明視野画像におけるＲＯＩ３０１ａ内の輝度値とＳ２０４で取得された偏斜画像におけるＲＯＩ３０１ａ内の輝度値とを算出し、ＲＯＩ３０１ａ内における明視野画像の輝度値と偏斜画像の輝度値との差分を算出する（Ｓ２０５）。なお、明視野画像におけるＲＯＩ３０１ａの位置（観察画像表示エリア３０１に表示されている明視野画像上のＲＯＩ３０１ａの位置でもある）と偏斜画像におけるＲＯＩ３０１ａの位置は同じである。

次に、コントローラ２０（輝度情報比較部２０４）は、Ｓ２０５で算出された差分と輝度閾値とを比較し、Ｓ２０５で算出された差分が輝度閾値以上であるか否かを判定する（Ｓ２０６）。Ｓ２０６の判定結果がＹＥＳの場合、コントローラ２０は、Ｓ２０４で取得された偏斜画像を観察画像表示エリア３０１に表示する（Ｓ２０７）。なお、このＳ２０７の表示は、輝度情報比較部２０４の比較結果の出力でもある。これにより、図４に例示した処理と同様に、例えば、ユーザが傷と判定し得る輝度閾値を予め設定しておくことで、そのような傷をＲＯＩ３０１ａ内に有する試料Ｓの偏斜画像を表示させることができる。これは即ち、試料Ｓの傷が自動で検出されることでもある。また、偏斜画像を表示させることで傷の観察がし易くなることは勿論である。Ｓ２０７が終了すると、図８に例示した処理が終了する。

一方、Ｓ２０６の判定結果がＮＯの場合は、Ｓ２０８の処理が行われる。Ｓ２０８の処理は、図４に例示したＳ１０８の処理と同様である。Ｓ２０８が終了すると、処理がＳ２０２、Ｓ２０５、又はＳ２０６に戻る。詳しくは、Ｓ２０８で試料位置の変更が行われた場合は処理がＳ２０２に戻り、Ｓ２０８で試料位置の変更は行われなかったがＲＯＩ３０１ａの表示位置の変更が行われた場合は処理がＳ２０５に戻り、Ｓ２０８で輝度閾値の変更のみが行われた場合は処理がＳ２０６に戻る。

なお、図８に例示した処理では、図２に例示した絞り１０３の代わりに、１種類の偏斜照明を実現するための開口部のみを有する絞りが用いられてもよい。例えば、図２に例示した絞り１０３における何れかのポジションの開口部に相当する開口部のみを有する絞りが用いられてもよい。

また、図８に例示した処理において、Ｓ２０５で算出された差分が０ではない場合に、Ｓ２０６の判定では、Ｓ２０５で算出された差分と輝度閾値とを比較し、Ｓ２０５で算出された差分が輝度閾値未満であるか否かを判定するようにしてもよい。このようにすることで、一見すると傷には見えないような小さな傷の検出が可能になる。

第１の実施形態では、図４等を用いて説明したように、明視野画像と複数の偏斜画像とを取得し、ＲＯＩ３０１ａ内における明視野画像の輝度値と各偏斜画像の輝度値との差分を算出し、その差分の最大値と輝度閾値とを比較するものであったが、例えば、複数の偏斜画像のみを取得し、ＲＯＩ３０１ａ内における各偏斜画像の輝度値を算出し、その輝度値が最大となる偏斜画像を基準偏斜画像として、ＲＯＩ３０１ａ内における基準偏斜画像の輝度値と基準偏斜画像以外の各偏斜画像の輝度値との差分を算出し、その差分の最大値と輝度閾値とを比較するようにしてもよい。そして、その差分の最大値が輝度閾値以上である場合は、その差分の最大値が算出されたときの偏斜画像（基準偏斜画像ではない方の偏斜画像）を観察画像表示エリア３０１に表示するようにしてもよい。

［第２の実施形態］
第２の実施形態は、第１の実施形態に係る観察システム１が更に３次元画像生成機能を備えたものであり、第１の実施形態に対して、主に、コントローラ２０の構成及び表示装置３０に表示される観察画面の構成が異なる。また、それに伴い、第２の実施形態では、観察システム１において後述する図１１に例示する処理が実行される。以下、第１の実施形態に対して異なる点を中心に第２の実施形態について説明する。

図９は、第２の実施形態に係るコントローラ２０の構成を例示する図である。第２の実施形態に係るコントローラ２０は、図９に例示したように、第１の実施形態に係るコントローラ２０（図１参照）に対して、更に、ストローク決定部２０５及び３次元画像生成部２０６を含む。

ストローク決定部２０５は、第１の実施形態で説明した輝度閾値以上の差分最大値（図４のＳ１０６がＹＥＳになる場合の差分最大値）に基づいて、３次元画像生成時の光学ヘッド１００のストローク（Ｚ方向の移動範囲）を決定する。例えば、ストローク決定部２０５は、差分最大値が第１の閾値以上である場合は、第１のストロークを光学ヘッド１００のストロークとして決定し、差分最大値が第１の閾値未満である場合は、第２のストローク（＜第１のストローク）を光学ヘッド１００のストロークとして決定する。これにより、差分最大値が大きい場合（即ち傷が深い場合）は比較的に広い範囲のストロークが光学ヘッド１００のストロークとして決定され、差分最大値が小さい場合（即ち傷が浅い場合）は比較的に狭い範囲のストロークが光学ヘッド１００のストロークとして決定される。なお、ストローク決定部２０５が決定するストロークは、２種類のストロークの何れかに限らず、３種類以上のストロークの何れかであってもよい。この場合は、複数の閾値を用いて３種類以上のストロークの何れかに決定してもよい。このようにストローク決定部２０５は、３次元画像生成時の光学ヘッド１００のストロークを自動で決定する。なお、３次元画像生成時の光学ヘッド１００のストローク（Ｚ方向の移動範囲）は、３次元画像生成時の試料Ｓの高さ方向範囲に対応する。

３次元画像生成部２０６は、ストローク決定部２０５で決定されたストロークの範囲内、又は、後述するストローク設定ボタン３０５及び上下ボタン３０６の押下によってユーザにより設定されたストロークの範囲内、の各位置（例えば所定間隔の位置）で取得された画像（例えば明視野画像）に基づいて３次元画像を生成する。なお、３次元画像の生成は公知技術を用いて行うことができるので詳細は述べないが、例えば、その各位置で取得された画像において、対応する画素毎に、コントラストのピーク値が得られる位置とその位置での画素値（輝度値）とを取得し、それらに基づいて画像合成を行うことで３次元画像を生成することができる。

図１０は、第２の実施形態に係る観察画面の一例を説明する図である。第２の実施形態に係る観察画面は、図１０に例示したように、第１の実施形態に係る観察画面（図３参照）に対して、更に、ストローク設定ボタン３０５と上下ボタン３０６（上ボタン３０６ａ、下ボタン３０６ｂ）とを含む。ストローク設定ボタン３０５は、３次元画像生成時の光学ヘッド１００のストローク（Ｚ方向の移動範囲）を設定可能にするボタンである。上下ボタン３０６は、光学ヘッド１００を上下方向（Ｚ方向）に移動させるボタンである。詳しくは、上ボタン３０６ａは、光学ヘッド１００を上方向に移動させるボタンであり、下ボタン３０６ｂは、光学ヘッド１００を下方向に移動させるボタンである。ユーザは、ストローク設定ボタン３０５の押下と上下ボタン３０６の押下により、３次元画像生成時の光学ヘッド１００のストロークの下限位置と上限位置とを設定することができ、この設定に応じて、３次元画像生成時の光学ヘッド１００のストロークが決定される。なお、ユーザは、これらのボタンの押下を、入力装置４０を用いて行うことができる。

図１１は、第２の実施形態に係る観察システム１において実行される処理の流れを例示するフローチャートである。図１１に例示した処理において、Ｓ３０１乃至Ｓ３０８の処理は、図４に例示したＳ１０１乃至Ｓ１０８の処理と同様である。Ｓ３０７の後は、コントローラ２０が、３次元画像生成処理を行う（Ｓ３０９乃至Ｓ３１１）。

詳しくは、まず、コントローラ２０（ストローク決定部２０５）は、差分最大値に基づいて、３次元画像生成時の光学ヘッド１００のストローク（Ｚ方向の移動範囲）を決定する（Ｓ３０９）。なお、Ｓ３０９では、３次元画像生成時の光学ヘッド１００のストロークが、ユーザのストローク設定ボタン３０５の押下及び上下ボタン３０６の押下によって決定されるものであってもよい。

次に、コントローラ２０は、Ｓ３０９で決定されたストロークの範囲内の各位置（例えば所定間隔の位置）へ順に光学ヘッド１００を移動させながら、その各位置での画像を顕微鏡１０（撮像部１０８）から取得する（Ｓ３１０）。ここで、その各位置での画像として明視野画像を取得する場合には、絞り１０３が照明光路から外された上で、その各位置での画像が取得される。

次に、コントローラ２０は、Ｓ３１０で取得された各位置での画像に基づいて３次元画像を生成する（Ｓ３１１）。ここで生成された３次元画像は、例えば、ユーザの入力装置４０を用いての入力に応じて、表示装置３０に表示されるようにしてもよい。Ｓ３１１が終了すると、図１１に例示した処理が終了する。

以上のように、第２の実施形態によれば、被検体である試料Ｓの傷が自動で検出された後に速やかに３次元画像が自動で生成されるようになるので、３次元画像を生成するために必要となるユーザの操作を削減することができる。

なお、図１０に例示したＳ３０９乃至Ｓ３１１の処理は、例えば、図８に例示したＳ２０７の後に行われてもよい。但し、この場合は、差分最大値が、図８に例示したＳ２０５で算出される差分に置き換えられる。

［第３の実施形態］
第３の実施形態は、第２の実施形態に係る観察システム１が更に画像合成機能を備えたものであり、第２の実施形態に対して、主に、コントローラ２０の構成が異なる。また、それに伴い、第３の実施形態では、更に、観察システム１において後述する図１３に例示する処理が実行される。以下、第２の実施形態に対して異なる点を中心に第３の実施形態について説明する。

図１２は、第３の実施形態に係るコントローラ２０の構成を例示する図である。第３の実施形態に係るコントローラ２０は、図１２に例示したように、第２の実施形態に係るコントローラ２０（図９参照）に対して、更に、偏斜画像合成部２０７を含む。

偏斜画像合成部２０７は、複数の偏斜画像を合成して合成画像を生成する。ここで、複数の偏斜画像は、絞り１０３における複数のポジションの各々が順に照明光路にセットされたときに、その各々において顕微鏡１０（撮像部１０８）から取得されたものである。

図１３は、第３の実施形態に係る観察システム１において実行される処理の流れを例示するフローチャートである。なお、図１３に例示した処理で用いられる絞り１０３は、図２に例示した絞り１０３であるとする。また、図１３に例示した処理の実行に先立ち、光学ヘッド１００のＺ方向の位置は、ＸＹステージ１２０に載置された試料Ｓに対して合焦させた状態（ピントを合わせた状態）の位置にされているとする。

図１３に例示した処理では、まず、コントローラ２０は、絞り１０３を照明光路に挿入し（Ｓ４０１）、絞り１０３における複数のポジションの各々を順に照明光路にセットするように制御して、各ポジションでの偏斜画像を顕微鏡１０（撮像部１０８）から取得する（Ｓ４０２）。ここで、照明光路に順にセットされる複数のポジションは、例えば、ユーザが入力装置４０を用いて予め選択したものであってもよい。ここでは、照明光路に順にセットされる複数のポジションが、ポジションＡとポジションＢの２つであったとし、Ｓ４０２では、その２つのポジションでの偏斜画像が取得されたとする。

次に、コントローラ２０は、Ｓ４０２で取得された２つの偏斜画像の各々の画像合成範囲を決定する（Ｓ４０３）。ここでは、例えば、Ｓ４０２で取得された２つの偏斜画像を表示装置３０に表示し、その各々の偏斜画像に対して、ユーザが入力装置を用いてエリア指定の入力を行うことで、その各々の偏斜画像の画像合成範囲が決定されるようにしてもよい。

次に、コントローラ２０は、Ｓ４０３で決定された画像合成範囲に基づいて、Ｓ４０２で取得された２つの偏斜画像を合成し、合成画像を生成する（Ｓ４０４）。ここでは、例えば、Ｓ４０２で取得された２つの偏斜画像の各々から画像合成範囲の部分画像を切り出し、その両者を貼り合わせることで画像合成が行われてもよい。このときの画像合成では、パターンマッチングが用いられてもよい。また、貼り合わせ代に相当する部分画像は、貼り合わせの境界が目立たないように補正されてもよい。このようにしてＳ４０４で生成された合成画像は、例えば、表示装置３０に表示されてもよい。Ｓ４０４が終了すると、図１３に例示した処理が終了する。

図１４は、図１３のＳ４０４の処理の具体例を説明する図である。図１４に示した具体例では、ポジションＡでの偏斜画像として偏斜画像６０１が取得され、ポジションＢでの偏斜画像として偏斜画像６０２が取得されている。また、偏斜画像６０１に対するユーザのエリア指定により、偏斜画像６０１の画像合成範囲６０１ａが決定され、偏斜画像６０２に対するユーザのエリア指定により、偏斜画像６０２の画像合成範囲６０２ａが決定されている。ここでは、試料Ｓの凹凸がより明確に表されている領域（例えば、影が多く表されている領域）がエリア指定されている。このような場合、Ｓ４０４の処理では、偏斜画像６０１から画像合成範囲６０１ａの部分画像が切り出され、偏斜画像６０２から画像合成範囲６０２ａの部分画像が切り出され、その両者が貼り合わされることで、合成画像６０３が生成される。このとき、両者の貼り合わせにはパターンマッチングが用いられてもよい。また、両者の貼り合わせ代に相当する部分画像は、貼り合わせの境界が目立たないように補正されてもよい。このような合成画像６０３を生成することにより、試料Ｓの凹凸が画像全体としてより明確に表された画像を生成することができる。なお、図１４には、参考として明視野画像（絞り１０３が照明光路から外されているときに取得された画像）６０４も示しており、その明視野画像６０４と比べれば、合成画像６０３において試料Ｓの凹凸が画像全体としてより明確に表されていることが明らかである。

以上のように、第３の実施形態によれば、複数の偏斜画像を合成することで、試料Ｓの凹凸が画像全体としてより明確に表された合成画像を生成することができる。

なお、第３の実施形態では、各偏斜画像の画像合成範囲がユーザのエリア指定により決定されたが、例えば、各偏斜画像の画像合成範囲をコントローラ２０が自動で決定するようにしてもよい。この場合は、例えば、コントローラ２０が、２つの偏斜画像を比較し、各偏斜画像において影が多く表されている領域を検出し、その領域を画像合成範囲として決定するようにしてもよい。ここで、影が多く表されている領域の検出は、例えば、画素の輝度値の平均値が所定の閾値未満となる領域を検出することで行われてもよい。あるいは、コントローラ２０は、２つの偏斜画像を比較し、各偏斜画像において影が少なく表されている領域を検出し、その領域を画像合成範囲として決定するようにしてもよい。ここで、影が少なく表されている領域の検出は、例えば、画素の輝度値の平均値が所定の閾値以上となる領域を検出することで行われてもよい。

また、第３の実施形態において、合成される偏斜画像は２つに限らず、３つ以上でもよい。例えば、図１３のＳ４０２で照明光路に順にセットされる複数のポジションを３つ又は４つとし、その３つ又は４つの各ポジションにて取得された偏斜画像を合成するようにしてもよい。

また、第３の実施形態で述べた画像合成機能は、第１の実施形態に係る観察システム１が備えてもよい。

［第４の実施形態］
第４の実施形態は、第１の実施形態に係る観察システム１が、更に、推論モデルを用いて被検体である試料Ｓの明視野画像から試料Ｓの傷検出を行う機能を備えたものであり、第１の実施形態に対して、主に、コントローラ２０の構成が異なる。また、それに伴い、第４の実施形態では、更に、観察システム１において後述する図１６及び図１７に例示する処理が実行される。以下、第１の実施形態に対して異なる点を中心に第４の実施形態について説明する。

図１５は、第４の実施形態に係るコントローラ２０の構成を例示する図である。第４の実施形態に係るコントローラ２０は、図１５に例示したように、第１の実施形態に係るコントローラ２０（図１参照）に対して、更に、推論エンジン２０８及び推論モデル２０９を含む。なお、推論エンジン２０８は、推論モデル生成部の一例である。

推論エンジン２０８は、教師データを用いて学習させた推論モデル２０９を生成する。ここで、教師データは、明視野画像と傷有り偏斜画像とのペアを複数有すると共に明視野画像と傷無し偏斜画像とのペアを複数有する。ペアとなる明視野画像と傷有り偏斜画像は、同一試料Ｓの同一領域の画像である。ペアとなる明視野画像と傷無し偏斜画像は、同一試料Ｓの同一領域の画像である。例えば、明視野画像は、図４に例示したＳ１０２で取得された明視野画像であり、傷有り偏斜画像は、図４に例示したＳ１０７で表示された偏斜画像であり、傷無し偏斜画像は、図４に例示したＳ１０４で取得された偏斜画像（但し、Ｓ１０７で表示された偏斜画像を除く）である。また、傷有り偏斜画像は、傷有りの情報と傷の位置の情報を含んでおり、それらの情報は、例えば、偏斜画像上に重畳されるＲＯＩによって表されてもよい。この場合、偏斜画像上にＲＯＩが重畳されていることが傷有りの情報を表し、偏斜画像上のＲＯＩの位置が傷の位置の情報を表してもよい。なお、ＲＯＩは、例えば、図４に例示したＳ１０７で表示された偏斜画像上のＲＯＩ３０１ａ（図７参照）であってもよい。また、傷無し偏斜画像は、傷無しの情報を含んでおり、その情報は、例えば、偏斜画像上にＲＯＩが重畳されていないことで表されてもよい。

推論モデル２０９は、推論エンジン２０８により生成された推論モデルであり、入力として、試料Ｓの明視野画像が入力されると、出力として、対応する傷有り偏斜画像様の画像又は傷無し偏斜画像様の画像を出力する。これは即ち、出力として、対応する偏斜画像様の画像を出力すると共に傷の有無並びに傷有りの場合は傷の位置を出力することでもある。

図１６及び図１７は、第４の実施形態に係る観察システム１において実行される処理の流れを例示するフローチャートである。詳しくは、図１６は、推論モデル２０９を生成する処理の流れを例示するフローチャートであり、図１７は、推論モデル２０９を用いて被検体である試料Ｓの明視野画像から試料Ｓの傷検出を行う処理の流れを例示するフローチャートである。

図１６に例示した処理では、まず、コントローラ２０は、教師データを推論エンジン２０８に入力する（Ｓ５０１）。教師データは、上述のとおり、明視野画像と傷有り偏斜画像とのペアを複数有すると共に明視野画像と傷無し偏斜画像とのペアを複数有する。このような教師データは、例えば、図４に例示した処理が実行されることで取得された明視野画像及び偏斜画像から作成される。

次に、推論エンジン２０８は、Ｓ５０１で入力された教師データを用いて学習させた推論モデル２０９を生成する（Ｓ５０２）。これにより、入力として、被検体である試料Ｓの明視野画像が入力されると、出力として、対応する傷有り偏斜画像様の画像又は傷無し偏斜画像様の画像を出力する推論モデル２０９が生成される。これは即ち、試料Ｓの明視野画像が入力されると、対応する偏斜画像様の画像を出力すると共に傷の有無並びに傷有りの場合は傷の位置を出力する推論モデル２０９が生成されることでもある。Ｓ５０２が終了すると、図１６に例示した処理が終了する。

図１７に例示した処理では、まず、コントローラ２０は、被検体である試料Ｓの明視野画像を推論モデル２０９（図１６に例示した処理により生成された推論モデル２０９）に入力する（Ｓ６０１）。ここで入力される明視野画像は、例えば、絞り１０３が照明光路から外された上で顕微鏡１０（撮像部１０８）から取得されたものである。

次に、推論モデル２０９は、入力された明視野画像に対応する傷有り偏斜画像様の画像又は傷無し偏斜画像様の画像を出力する（Ｓ６０２）。これは即ち、対応する偏斜画像様の画像を出力すると共に傷の有無並びに傷有りの場合は傷の位置を出力することでもある。

次に、コントローラ２０は、Ｓ６０２で出力された傷有り偏斜画像様の画像又は傷無し偏斜画像様の画像を表示装置３０に表示する（Ｓ６０３）。これは即ち、偏斜画像様の画像を表示すると共に傷の有無並びに傷有りの場合は傷の位置を表示することでもある。Ｓ６０３が終了すると、図１７に例示した処理が終了する。

図１８は、図１６のＳ５０２の処理の具体例を説明する図である。図１８に例示したように、教師データ７００が推論エンジン２０８に入力されると、推論エンジン２０８は、その教師データ７００を用いて学習させた推論モデル２０９を生成する。教師データ７００は、明視野画像７０１ａと傷有り偏斜画像７０１ｂとのペア７０１を複数有すると共に、明視野画像７０２ａと傷無し偏斜画像７０２ｂとのペア７０２を複数有する。傷有り偏斜画像７０１ｂには、傷有りの情報と傷の位置の情報とを表すＲＯＩ７０１ｃが重畳されている。このような教師データ７００は、例えば、図４に例示した処理が実行されることで取得された明視野画像及び偏斜画像から作成される。このような教師データ７００を用いて学習させることで、入力として、明視野画像が入力されると、出力として、対応する傷有り偏斜画像様の画像又は傷無し偏斜画像様の画像を出力する推論モデル２０９が生成される。これは即ち、明視野画像が入力されると、対応する偏斜画像様の画像を出力すると共に傷の有無並びに傷有りの場合は傷の位置を出力する推論モデル２０９が生成されることでもある。

図１９は、図１７のＳ６０２の処理の具体例を説明する図である。図１９に例示したように、明視野画像８０１が推論モデル２０９に入力されると、推論モデル２０９は、入力された明視野画像８０１に対応する傷有り偏斜画像様の画像又は傷無し偏斜画像様の画像を出力する。図１９の例示では、入力された明視野画像８０１に対応する傷有り偏斜画像様の画像８０２が出力されている。なお、偏斜画像様の画像８０２が傷有りであることは、画像８０２にＲＯＩ８０２ａが重畳されていることによって表され、その傷の位置はＲＯＩ８０２ａの位置によって表されている。図示はしないが、仮に、傷無し偏斜画像様の画像が出力された場合には、その画像にはＲＯＩが重畳されない。

以上のように、第４の実施形態によれば、予め推論エンジン２０８により推論モデル２０９を生成しておけば、被検体である試料Ｓの明視野画像のみから試料Ｓの傷検出が可能になる。また、推論モデル２０９を用いての傷検出の際には、偏斜画像の取得が不要になることから、傷検出に要する処理時間をより短縮することができる。

なお、第４の実施形態で述べた機能は、第２の実施形態に係る観察システム１が備えるようにしてもよいし、第３の実施形態に係る観察システム１が備えるようにしてもよい。

以上、第１乃至第４の実施形態について説明したが、各実施形態において、コントローラ２０、表示装置３０、及び入力装置４０は、図２０に例示するコンピュータ９００により実現されてもよい。

図２０は、コンピュータ９００のハードウェア構成を例示する図である。コンピュータ９００は、図２０に例示したように、プロセッサ９０１、メモリ９０２、入力装置９０３、出力装置９０４、記憶装置９０５、可搬型記憶媒体駆動装置９０６、通信インタフェース９０７、及び入出力インタフェース９０８を備え、その各々は、バス９０９に接続されて互いにデータの送受信が可能である。

プロセッサ９０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等であり、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）やアプリケーション等のプログラムを実行することにより、各種の処理を行う。メモリ９０２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）を含む。ＲＡＭには、プロセッサ９０１が実行するプログラムの一部等が一時的に格納される。また、ＲＡＭは、プロセッサ９０１の作業用記憶領域としても使用される。ＲＯＭには、プロセッサ９０１が実行するプログラムやプログラムの実行に必要な各種データ等が記憶される。

入力装置９０３は、キーボード、マウス、ジョイスティック、タッチパネル等である。出力装置９０４は、液晶ディスプレイ、プリンタ等である。

記憶装置９０５は、データを記憶する装置であり、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等である。可搬型記憶媒体駆動装置９０６は、可搬型記憶媒体９０６ａを駆動し、その記憶内容にアクセスしてデータの読み出しや書き込み等を行う。可搬型記憶媒体９０６ａは、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。この可搬型記憶媒体９０６ａには、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ブルーレイディスク、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ、ＳＤカードメモリ等も含まれる。

通信インタフェース９０７は、有線又は無線によりネットワークに接続され、当該ネットワークに接続された外部装置との間で通信を行うためのインタフェースである。入出力インタフェース９０８は、顕微鏡１０等の外部装置と接続され、当該外部装置との間でデータの入出力を行うためのインタフェースである。

このようなコンピュータ９００において、プロセッサ９０１が実行するプログラムやプログラムの実行に必要な各種データは、メモリ９０２に限らず、記憶装置９０５や可搬型記憶媒体９０６ａに記憶されてもよい。また、プロセッサ９０１が実行するプログラムやプログラムの実行に必要な各種データは、外部装置からネットワーク、通信インタフェース９０７を介して、メモリ９０２、記憶装置９０５、及び可搬型記憶媒体９０６ａのうちの１つ以上に記憶されてもよい。

また、コンピュータ９００は、図２０に例示したものに限らず、図２０に例示した一部の構成要素を複数備えて構成されてもよいし、一部の構成要素を省いて構成されてもよい。例えば、コンピュータ９００は、複数のプロセッサを備えてもよい。

また、コンピュータ９００は、マイクロプロセッサ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェアを含んで構成されてもよい。例えば、プロセッサ９０１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。

図２０に例示したコンピュータ９００によってコントローラ２０、表示装置３０、及び入力装置４０が実現される場合、例えば、ＸＹステージ制御部２０１、Ｚ制御部２０２、絞り制御部２０３、輝度情報比較部２０４、ストローク決定部２０５、３次元画像生成部２０６、偏斜画像合成部２０７、推論エンジン２０８、及びその他のコントローラ２０の機能は、プロセッサ９０１がプログラムを実行することにより実現され、表示装置３０は出力装置９０４により実現され、入力装置４０は入力装置９０３により実現される。また、推論エンジン２０８により生成される推論モデル２０９は、例えば、メモリ９０２、記憶装置９０５、又は可搬型記憶媒体９０６ａに記憶される。

また、各実施形態では、顕微鏡１０が、コントローラ２０、表示装置３０、及び入力装置４０を備えるように構成されてもよい。

以上、本発明の実施形態について説明したが、本発明は、上述した実施形態に限定されることなく、本発明の要旨を逸脱しない範囲内で種々の改良・変更が可能である。

１ 観察システム
１０ 顕微鏡
２０ コントローラ
３０ 表示装置
４０ 入力装置
１００ 光学ヘッド
１０１ 光源
１０２ 照明レンズ
１０３ 絞り
１０４ ハーフミラー
１０５ レボルバ
１０６ 対物レンズ
１０７ 結像レンズ
１０８ 撮像部
１２０ ＸＹステージ
１３０ フレーム
２０１ ＸＹステージ制御部
２０２ Ｚ制御部
２０３ 絞り制御部
２０４ 輝度情報比較部
２０５ ストローク決定部
２０６ ３次元画像生成部
２０７ 偏斜画像合成部
２０８ 推論エンジン
２０９ 推論モデル
３０１ 観察画像表示エリア
３０１ａ ＲＯＩ
３０２ プレビュー開始ボタン
３０３ ＲＯＩ表示ボタン
３０４ 輝度閾値設定ボタン
３０５ ストローク設定ボタン
３０６ 上下ボタン
３０６ａ 上ボタン
３０６ｂ 下ボタン
５０１、５０２ 偏斜画像
６０１、６０２ 偏斜画像
６０１ａ、６０２ａ 画像合成範囲
６０３ 合成画像
６０４ 明視野画像
７００ 教師データ
７０１、７０２ ペア
７０１ａ、７０２ａ 明視野画像
７０１ｂ 傷有り偏斜画像
７０２ｂ 傷無し偏斜画像
７０１ｃ ＲＯＩ
８０１ 明視野画像
８０２ 傷有り偏斜画像様の画像
８０２ａ ＲＯＩ
９００ コンピュータ
９０１ プロセッサ
９０２ メモリ
９０３ 入力装置
９０４ 出力装置
９０５ 記憶装置
９０６ 可搬型記憶媒体駆動装置
９０６ａ 可搬型記憶媒体
９０７ 通信インタフェース
９０８ 入出力インタフェース
９０９ バス
Ａ、Ｂ、Ｃ、Ｄ ポジション
Ｓ 試料

Claims (18)

1. 第１の検鏡方法での試料の画像の取得と第２の検鏡方法での前記試料の画像の取得とを行う顕微鏡と、
   前記顕微鏡により前記第１の検鏡方法で取得された前記画像の輝度値である第１の輝度値と前記顕微鏡により前記第２の検鏡方法で取得された前記画像の輝度値である第２の輝度値とを算出し、前記第１の輝度値と前記第２の輝度値との差分を算出し、前記差分と閾値とを比較する輝度情報比較部と、
   前記輝度情報比較部の比較結果を出力する出力部と
   を備えることを特徴とする観察システム。
2. 前記顕微鏡は、前記第１の検鏡方法で前記試料の１つの画像を取得し、観察条件が異なる前記第２の検鏡方法で前記試料の複数の画像を取得し、
   前記輝度情報比較部は、前記顕微鏡により前記第１の検鏡方法で取得された前記１つの画像ついての前記第１の輝度値を算出し、前記顕微鏡により前記観察条件が異なる前記第２の検鏡方法で取得された前記複数の画像の各々についての前記第２の輝度値を算出し、前記第２の輝度値の各々と前記第１の輝度値との差分を算出し、前記差分の各々と前記閾値とを比較する
   ことを特徴とする請求項１記載の観察システム。
3. 前記顕微鏡は、前記第１の検鏡方法で前記試料の１つの画像を取得し、前記第２の検鏡方法で前記試料の１つの画像を取得し、
   前記輝度情報比較部は、前記顕微鏡により前記第１の検鏡方法で取得された前記１つの画像ついての前記第１の輝度値を算出し、前記顕微鏡により前記第２の検鏡方法で取得された前記１つの画像についての前記第２の輝度値を算出し、前記第１の輝度値と前記第２の輝度値との差分を算出し、前記差分と前記閾値とを比較する
   ことを特徴とする請求項１記載の観察システム。
4. 前記出力部は、前記輝度情報比較部により算出された前記差分の中で最も大きく且つ前記閾値以上である差分が算出されたときの前記第２の輝度値が算出されたときの前記第２の検鏡方法で取得された前記画像を表示する
   ことを特徴とする請求項２記載の観察システム。
5. 前記出力部は、前記差分が前記閾値以上である場合に前記第２の検鏡方法で取得された前記１つの画像を表示する
   ことを特徴とする請求項３記載の観察システム。
6. 前記差分が前記閾値以上である場合に、前記顕微鏡により取得された、前記試料の高さ方向範囲の各位置の画像に基づいて、前記試料の３次元画像を生成する３次元画像生成部
   を更に備えることを特徴とする請求項１乃至５の何れか一項記載の観察システム。
7. 前記差分に基づいて、前記高さ方向範囲を決定する決定部
   を更に備えることを特徴とする請求項６記載の観察システム。
8. 前記高さ方向範囲は、ユーザの入力に応じて決定される
   ことを特徴とする請求項６記載の観察システム。
9. 前記顕微鏡により観察条件が異なる前記第２の検鏡方法で取得された複数の画像の各々に対して決定された画像合成範囲に基づいて当該複数の画像を合成する画像合成部
   を更に備えることを特徴とする請求項１乃至８の何れか一項記載の観察システム。
10. 前記画像合成範囲は、ユーザの入力に応じて決定される
    ことを特徴とする請求項９記載の観察システム。
11. 前記画像合成範囲は、合成される前記複数の画像の輝度値に基づいて決定される
    ことを特徴とする請求項９記載の観察システム。
12. 前記顕微鏡により前記第１の検鏡方法で取得された前記画像と前記顕微鏡により前記第２の検鏡方法で取得された前記画像とに基づいて作成された教師データを用いて推論モデルを生成する推論モデル生成部を更に備え、
    前記推論モデルは、前記第１の検鏡方法で取得された試料の画像が入力されたときに、前記第２の検鏡方法で取得された前記試料の画像様の画像を出力すると共に前記試料の傷の有無並びに前記傷が有る場合の前記傷の位置に関する情報を出力する
    ことを特徴とする請求項１乃至１１の何れか一項に記載の観察システム。
13. 前記第１の輝度値が算出される前記第１の検鏡方法で取得された前記画像と前記第２の輝度値が算出される前記第２の検鏡方法で取得された前記画像は、前記試料の同一領域の画像である
    ことを特徴とする請求項１乃至１２の何れか一項記載の観察システム。
14. 前記第１の検鏡方法は、明視野観察であり、
    前記第２の検鏡方法は、偏斜観察である、
    ことを特徴とする請求項１乃至１３の何れか一項記載の観察システム。
15. 前記第１の検鏡方法は、明視野観察であり、
    前記第２の検鏡方法は、偏斜観察であり、
    前記観察条件が異なる前記第２の検鏡方法は、偏斜照明の方向が異なる前記偏斜観察である
    ことを特徴とする請求項２又は９記載の観察システム。
16. 第１の検鏡方法での試料の画像の取得と第２の検鏡方法での前記試料の画像の取得とを行う撮像部と、
    前記撮像部により前記第１の検鏡方法で取得された前記画像の輝度値である第１の輝度値と前記撮像部により前記第２の検鏡方法で取得された前記画像の輝度値である第２の輝度値とを算出し、前記第１の輝度値と前記第２の輝度値との差分を算出し、前記差分と閾値とを比較する輝度情報比較部と、
    前記輝度情報比較部の比較結果を出力する出力部と
    を備えることを特徴とする顕微鏡。
17. 第１の検鏡方法での試料の画像の取得と第２の検鏡方法での前記試料の画像の取得とを行い、
    前記第１の検鏡方法で取得された前記画像の輝度値である第１の輝度値と前記第２の検鏡方法で取得された前記画像の輝度値である第２の輝度値とを算出し、前記第１の輝度値と前記第２の輝度値との差分を算出し、前記差分と閾値とを比較し、
    前記比較の結果を出力する
    ことを特徴とする観察方法。
18. 第１の検鏡方法での試料の画像の取得と第２の検鏡方法での前記試料の画像の取得とを行い、
    前記第１の検鏡方法で取得された前記画像の輝度値である第１の輝度値と前記第２の検鏡方法で取得された前記画像の輝度値である第２の輝度値とを算出し、前記第１の輝度値と前記第２の輝度値との差分を算出し、前記差分と閾値とを比較し、
    前記比較の結果を出力する
    処理をコンピュータに実行させることを特徴とするプログラム。