JP2023130870A - 顕微鏡システム、重畳ユニット、及び、動作方法 - Google Patents

Abstract

【課題】顕微鏡下で行われる作業の効率を改善する。【解決手段】顕微鏡システムは、接眼レンズ１０６を含み、接眼レンズ１０６の物体側に試料の光学像を形成する顕微鏡光学系１１０と、スライドセットに含まれる順序付けされた複数のスライドの中から選択された対象スライドに関する情報に基づいて、補助画像データを生成する制御装置と、補助画像データに基づいて、対象スライドを含む補助画像を光学像が形成される像面に重畳する重畳装置であるプロジェクタ１１３と、を備える。制御装置は、対象スライドを切り替える指示に応じて、複数のスライドが順序付けされている第１の順序に従って決定されたスライドを新たな前記対象スライドとして選択する。【選択図】図２

Description

本明細書の開示は、顕微鏡システム、重畳ユニット、及び、動作方法に関する。

ロボット等による作業の自動化が進む現在においても、手作業での組み立てが要求される製品は少なくなく、例えば、医療機器はその一例である。医療機器のような精密機器の組み立ては、細かな作業も多いため、顕微鏡下で行われることが多く、対象物を両目で立体視可能な実体顕微鏡がしばしば利用される。

しかしながら、実体顕微鏡で対象物を観察しながら組み立て作業を行っている最中に手順書を確認するためには、実体顕微鏡の接眼レンズから一旦目を離して、手順書が表示されているディスプレイ等に視線を移さなければならない。そして、確認後は、改めて接眼レンズを覗いて組み立て作業を継続することになるため、作業効率が上がりにくい。

このような課題に関連する技術は、例えば、特許文献１に記載されている。特許文献１に記載のシステムでは、顕微鏡の中間像位置に画像を投影することで、接眼レンズを覗いたまま必要な情報を得ることができる。

国際公開第２０２０／０６６０４１号公報

ところで、複数の工程からなる組み立て作業を想定した場合、特定の情報を常時表示するのではなく、必要なタイミングで適切な情報を適宜切り替えて表示することが望まれる。

以上のような実情を踏まえ、本発明の一側面に係る目的は、顕微鏡下で行われる作業の効率を改善する技術を提供することである。

本発明の一態様に係る顕微鏡システムは、接眼レンズを含み、前記接眼レンズの物体側に試料の光学像を形成する顕微鏡光学系と、スライドセットに含まれる順序付けされた複数のスライドの中から選択された対象スライドに関する情報に基づいて、補助画像データを生成する制御装置と、前記補助画像データに基づいて、前記対象スライドを含む補助画像を前記光学像が形成される像面に重畳する重畳装置と、を備える。前記制御装置は、前記対象スライドを切り替える指示に応じて、前記複数のスライドが順序付けされている第１の順序に従って決定されたスライドを新たな前記対象スライドとして選択する。

本発明の一態様に係る重畳ユニットは、接眼レンズの物体側に試料の光学像を形成する顕微鏡光学系を備える顕微鏡に取り付けられる重畳ユニットであって、スライドセットに含まれる順序付けされた複数のスライドの中から選択された対象スライドに関する情報に基づいて、補助画像データを生成する制御装置と、前記補助画像データに基づいて、前記対象スライドを含む補助画像を前記光学像が形成される像面に重畳する重畳装置と、を備える。前記制御装置は、前記対象スライドを切り替える指示に応じて、前記複数のスライドが順序付けされている第１の順序に従って決定されたスライドを新たな前記対象スライドとして選択する。

本発明の一態様に係る動作方法は、接眼レンズの物体側に試料の光学像を形成する顕微鏡光学系と重畳装置とを備える顕微鏡を制御する制御装置の動作方法であって、前記制御装置が、スライドセットに含まれる順序付けされた複数のスライドの中から選択された対象スライドを切り替える指示に応じて、前記複数のスライドが順序付けされている第１の順序に従って決定されたスライドを新たな前記対象スライドとして選択し、前記新たな対象スライドに関する情報に基づいて、補助画像データを生成し、前記重畳装置に、前記補助画像データに基づいて、前記新たな対象スライドを含む補助画像を前記光学像が形成される像面に重畳させることを含む。

上記の態様によれば、顕微鏡下で行われる作業の効率を改善することができる。

本発明の一実施形態に係る顕微鏡システムを例示した図である。 顕微鏡システムに含まれる光学系の構成を例示した図である。 スライドセットの構成を例示した図である。 顕微鏡システムが行う画像投影処理のフローチャートの一例である。 像面に形成される画像の構成を説明するための図である。 モニタに表示されるホーム画面の一例を示した図である。 顕微鏡構成を設定する画面の一例を示した図である。 ＡＲ表示を調整する画面の一例を示した図である。 ＡＲ表示の調整方法を説明するための図である。 ズームセンサを調整する画面の一例を示した図である。 接眼レンズから観察されるホーム画面の一例を示した図である。 組み立て作業支援処理のフローチャートの一例である。 接眼レンズから観察される重畳画像の一例を示した図である。 スライドの切替操作について説明するための図である。 接眼レンズから観察される重畳画像の別の一例を示した図である。 接眼レンズから観察される重畳画像の更に別の例を示した図である。 接眼レンズから観察される重畳画像の更に別の例を示した図である。 接眼レンズから観察される重畳画像の更に別の例を示した図である。 接眼レンズから観察される重畳画像の更に別の例を示した図である。 接眼レンズから観察される重畳画像の更に別の例を示した図である。 接眼レンズから観察される重畳画像の更に別の例を示した図である。 接眼レンズから観察される重畳画像の更に別の例を示した図である。 接眼レンズから観察される重畳画像の更に別の例を示した図である。 接眼レンズから観察される重畳画像の更に別の例を示した図である。 接眼レンズから観察される重畳画像の更に別の例を示した図である。 接眼レンズから観察される重畳画像の更に別の例を示した図である。 接眼レンズから観察される重畳画像の更に別の例を示した図である。 接眼レンズから観察される重畳画像の更に別の例を示した図である。 接眼レンズから観察される撮影画面の一例を示した図である。 モニタで観察される撮影画面の一例を示した図である。 記録用画像の一例を示した図である。 記録用画像の別の例を示した図である。 記録用画像の更に別の例を示した図である。 画像記録方法について説明するための図である。 遠隔地からトレーナが指示する構成を例示した図である。 スライドセット作成処理のフローチャートの一例である。 スライドファイルのパラメータを設定する画面の一例を示した図である。 スライド設定画面の一例を示した図である。 制御装置を実現するためのコンピュータのハードウェア構成を例示した図である。 接眼レンズから観察される重畳画像の更に別の例を示した図である。 接眼レンズから観察される重畳画像の更に別の例を示した図である。

図１は、本発明の一実施形態に係る顕微鏡システムを例示した図である。図２は、顕微鏡システムに含まれる光学系の構成を例示した図である。図３は、スライドセットの構成を例示した図である。図１に示す顕微鏡システム１は、予め用意されたスライドセットを用いることで、利用者が接眼レンズ１０６を覗いたまま行う顕微鏡下での作業中に、必要なタイミングで適切な情報を利用者に提供するものである。図１から図３を参照しながら、顕微鏡システム１の構成について説明する。

顕微鏡システム１は、顕微鏡１００と、制御装置２００と、モニタ３００と、複数の入力装置４００（マウス４０１、キーボード４０２、フットスイッチ４０３、バーコードリーダ４０４）と、Ｗｅｂカメラ５００を備えている。

顕微鏡１００は、試料を立体視することが可能な実体顕微鏡であり、図２に示す顕微鏡光学系１１０を備えている。顕微鏡光学系１１０は、実体顕微鏡用の光学系である。利用者は、顕微鏡光学系１１０が接眼レンズ１０６（接眼レンズ１０６ａ、接眼レンズ１０６ｂ）の物体側に形成した光学像を、接眼レンズ１０６経由で左右の目で観察することが可能であり、試料を立体的に観察することができる。このため、顕微鏡１００は、例えば、精密機器の組み立て作業などの用途に好適である。

顕微鏡１００は、ズームハンドル１３０で操作可能なズームレンズ１０２（ズームレンズ１０２ａ、ズームレンズ１０２ｂ）を備えている。ズームハンドル１３０を操作することで、接眼レンズ１０６を覗いて試料の観察を継続しながら観察倍率を変更することができる。

顕微鏡１００は、焦準ハンドル１４０を備えている。焦準ハンドル１４０を操作することで、試料と対物レンズ１０１の間の距離を変更して試料へピントを合わせることができる。

顕微鏡１００は、試料を撮像し、試料のデジタル画像を取得する撮像装置１１２を備えている。接眼レンズ１０６が取り付けられた接眼鏡筒１２０は３眼鏡筒であり、撮像装置１１２は、接眼鏡筒１２０に取り付けられている。撮像装置１１２には、二次元イメージセンサが設けられている。イメージセンサは、特に限定しないが、例えば、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどである。撮像装置１１２が取得したデジタル画像は、制御装置２００へ出力される。また、デジタル画像は、モニタ３００へ直接出力されてもよい。

図２に示すように、撮像装置１１２には、顕微鏡光学系１１０の左右の光路の一方から例えばハーフミラーなどのビームスプリッタ１０３ａにより分岐した光が結像レンズ１１１を経由して入射する。なお、ビームスプリッタ１０３ａによって生じる左右の光路の光路長を補い、且つ、光量差を抑制するために、他方の光路にはＮＤプリズム１０３ｂが設けられている。

顕微鏡１００は、結像レンズ１０５（結像レンズ１０５ａ、結像レンズ１０５ｂ）が光学像を形成する像面に補助画像を投影するプロジェクタ１１３を備えている。プロジェクタ１１３は、制御装置２００からの命令に従って、補助画像を像面に投影して重畳する装置である。より具体的には、プロジェクタ１１３は、後述する補助画像データに基づいて、補助画像を像面に重畳する。なお、プロジェクタ１１３の種類は特に限定しない。プロジェクタ１１３は、例えば、液晶デバイスやデジタルミラーデバイスを用いて構成されてもよい。

プロジェクタ１１３は、接眼鏡筒１２０内に設けられている。プロジェクタ１１３からの光は、投影レンズ１１４と複数のビームスプリッタ（ビームスプリッタ１１５、ビームスプリッタ１０４ａ、ビームスプリッタ１０４ｂ）を経由して顕微鏡光学系１１０の左右の光路に導かれる。

なお、接眼鏡筒１２０には、図１に示すように操作部１２１が設けられている。利用者は、操作部１２１を操作することで、プロジェクタ１１３のＯＮ／ＯＦＦを切り替えて、像面への補助画像の重畳の開始又は停止する指示することができる。

制御装置２００は、顕微鏡１００を制御する装置である。制御装置２００は、上述した補助画像データを生成し、顕微鏡１００（プロジェクタ１１３）へ出力する。補助画像データは、予め制御装置２００に記憶されている、図３に例示されるスライドセット１０を用いて生成される。

スライドセット１０は、複数のスライド（スライド１１、スライド１２、スライド１３、スライド１４、スライド１５、スライド１６）で構成されている。スライドセット１０は、例えば、精密機器の組み立てを支援する情報であり、より具体的には、組み立て作業の手順書であってもよい。なお、複数のスライドは、並びも予め決まっている。つまり、スライドセット１０は、予め順序付けされた複数のスライドで構成されている。

各スライドには、それぞれ補助画像として像面に投影すべき１つ以上のコンテンツが含まれている。複数のスライドの各々は、精密機器の組み立ての各工程における情報であり、より具体的には、各工程での作業内容や注意事項などを含む情報であってもよい。

制御装置２００は、スライドセット１０に含まれる複数のスライドの中から選択された対象スライドに関する情報に基づいて、補助画像を生成する。補助画像には、対象スライドが含まれている。制御装置２００が対象スライドを適宜切り替えることで、顕微鏡システム１は、像面に投影する補助画像を切り替えて適切な情報を利用者に提供することができる。

モニタ３００及び入力装置４００は、制御装置２００に接続されている。モニタ３００は、例えば、液晶ディスプレイ、有機ＥＬディスプレイなどである。Ｗｅｂカメラ５００は、撮影した画像を、例えばインターネットなどのネットワーク経由で制御装置２００へ送信する。Ｗｅｂカメラ５００は、例えば、顕微鏡システム１を利用する利用者を撮影する。

以上のように構成された顕微鏡システム１は、図４に示す画像投影処理を行う。図４は、顕微鏡システムが行う画像投影処理のフローチャートの一例である。図５は、像面に形成される画像の構成を説明するための図である。以下、図４及び図５を参照しながら、顕微鏡システム１が行う画像投影処理について説明する。

まず、顕微鏡システム１は、試料の光学像を像面に投影する（ステップＳ１）。ここでは、対物レンズ１０１が取り込んだ試料からの光を結像レンズ１０５が像面に集光し、試料の光学像を形成する。これにより、例えば、図５の光学像Ａ１が、像面上に投影される。

次に、顕微鏡システム１は、対象スライドを選択する（ステップＳ２）。ここでは、制御装置２００がスライドセット１０から対象スライドを選択する。制御装置２００は、図４に示す画像投影処理の開始直後であれば、対象スライドとしてスライドセット１０に含まれる順序付けされた複数のスライドから例えば１枚目のスライド１１を選択してもよい。また、対象スライドを切り替える指示を検出すると、制御装置２００は、その指示が次のスライドへ切り替える指示であれば、次のスライド（例えば、スライド１２）を新たな対象スライドとして選択してもよく、その指示が前のスライドへ切り替える指示であれば、前のスライド（例えば、スライド１６）を新たな対象スライドとして選択してもよい。即ち、制御装置２００は、対象スライドを切り替える指示に応じて、複数のスライドが順序付けされている順序に従って決定されたスライドを新たな対象スライドとして選択する。

対象スライドを切り替える指示は、例えば、利用者が入力装置を用いて制御装置２００へ入力してもよい。また、対象スライドを切り替える指示は、例えば、制御装置２００自身が生成してもよい。

制御装置２００は、例えば、タイマーで計測した経過時間に基づいて切替指示を生成してもよい。また、制御装置２００は、撮像装置１１２で撮像した画像の解析結果に基づいて切替指示を生成してもよい。この場合、制御装置２００は、撮像装置１１２で撮像した画像の解析結果に従って決定されたスライドを新たな対象スライドとして選択してもよい。また、制御装置２００は、例えばＷｅｂカメラ５００経由で認識した利用者のジェスチャーに基づいて切替指示を生成してもよい。

対象スライドが選択されると、顕微鏡システム１は、補助画像データを生成する（ステップＳ３）。ここでは、制御装置２００がステップＳ２で選択された対象スライドに関する情報に基づいて補助画像データを生成する。例えば、図３に示すスライド１１が対象スライドとして選択された場合であれば、対象スライドに含まれるコンテンツの種類（長方形のゲージ）、コンテンツのサイズ（幅、高さ）、コンテンツの位置（座標）、その他のオプション（寸法表示の有無）などの情報に基づいて、対象スライド（スライド１１）を含む図５の補助画像Ｂ１に対応する補助画像データを生成する。

最後に、顕微鏡システム１は、補助画像を像面に投影する（ステップＳ４）。ここでは、制御装置２００は、ステップＳ３で生成した補助画像データを顕微鏡１００へ出力し、顕微鏡１００のプロジェクタ１１３が制御装置２００から出力された補助画像データに基づいて補助画像Ｂ１を像面に投影する。これにより、図５に示すように、光学像Ａ１が形成された像面上に補助画像Ｂ１が重畳し、光学像Ａ１と補助画像Ｂ１が重なった重畳画像Ｃ１が形成される。

このように、顕微鏡システム１では、光学像が形成される像面に予め用意されたスライドセットの中から選択されたスライドが補助画像として投影される。また、像面に投影されるスライドは切替指示に応じて予め決められた順序に従って切り替えられる。このため、組み立て作業など工程ごとに必要な情報が異なる作業を行っている場合であっても、利用者は、スライドを切り替えることで、接眼レンズ１０６から眼を離すことなく試料の光学像を観察しながら作業工程に応じた情報を得ることができる。これにより、接眼レンズ１０６とモニタ３００の間で視線を頻繁に行き来させることなく、組み立て作業などの一連の作業を行うことができる。従って、顕微鏡システム１によれば、顕微鏡下で行われる利用者の作業の効率を大幅に改善することができる。

以下、顕微鏡システム１が提供する、顕微鏡下で行う組み立て作業を支援するソフトウェアアプリケーション（以降、作業支援アプリケーションと記す。）の機能についてさらに具体的に説明する。図６は、モニタに表示されるホーム画面の一例を示した図である。顕微鏡システム１では、制御装置２００が所定のプログラムを実行することで、作業支援アプリケーションが起動され、図６に示すウィンドウＷ１がモニタ３００に表示される。

作業支援アプリケーションが起動した直後は、ウィンドウＷ１内には、ホームタブが選択された状態で、図６に示すホーム画面が表示されている。ホーム画面から、利用者は、組み立て作業を支援する作業モードと、トレーナに指導を受けるためのトレーニングモードと、組み立て作業で使用する手順書を作成する手順書モードを選択可能である。

さらに、セットアップタブを選択することで、各種設定の調整も可能である。以下、図７から図１０を参照しながら、作業支援アプリケーションを適切に動作させるための各種設定について説明する。

図７は、顕微鏡構成を設定する画面の一例を示した図である。図８は、ＡＲ表示を調整する画面の一例を示した図である。図９は、ＡＲ表示の調整方法を説明するための図である。図１０は、ズームセンサを調整する画面の一例を示した図である。

セットアップタブ内の顕微鏡構成タブを選択すると、図７に示す画面が表示される。利用者が、図７に示す画面に表示される手順に従って、顕微鏡１００の構成に合わせてズーム鏡体、対物レンズ、中間鏡筒、カメラアダプタ、カメラのそれぞれをプルダウンリストから選択することで、制御装置２００に顕微鏡１００の構成を正しく認識させることができる。これにより、制御装置２００は、例えば、顕微鏡光学系１１０の基準となる倍率（ズーム倍率を除く倍率）についても認識することができる。

セットアップタブ内のＡＲ表示調整タブを選択すると、図８に示す画面が表示される。利用者が、図８に示す画面に表示される手順に従ってＡＲ表示を調整することで、撮像装置１１２で取得したデジタル画像上の位置とＡＲ表示の位置を一致させることができる。これにより、制御装置２００がデジタル画像を介して認識した位置に正しくＡＲ、つまり、補助画像に含まれるスライドの各コンテンツ、を表示させることができる。

なお、ＡＲ表示調整の具体的な手順は、以下のとおりである。利用者は、まず、（１）調整用のサンプルをステージに配置し、（２）接眼レンズ１０６を覗く。ＡＲ表示調整中は、撮像装置１１２で取得したデジタル画像を含む補助画像Ｂ２がプロジェクタ１１３によって像面に投影されている。このため、利用者は接眼レンズ１０６を介して図９に示すような重畳画像Ｃ２を確認することができる。重畳画像Ｃ２は、調整用のサンプルの光学像Ａ２と補助画像Ｂ２が重なった画像である。補助画像Ｂ２には、調整用のサンプルのデジタル画像（コンテンツＢ２ａ）と、調整用メニュー（コンテンツＢ２ｂ）が含まれている。

その後、利用者は、（３）ＡＲ表示が調整用のサンプルに重なるように調整を行う。具体的には、調整用メニューを操作してデジタル画像の投影位置、角度、大きさを調整することで、サンプルのデジタル画像とサンプルの光学像を像面上でぴったりと一致させる。調整が無事完了すると、利用者は、（４）登録ボタンを押下する。これにより、調整後の表示位置（Ｘ、Ｙ）、角度、大きさの情報に基づいて、補助画像を像面に適切に投影するための設定情報が制御装置２００に記録される。この設定情報は、具体的には、撮像装置１１２の画素位置をプロジェクタ１１３の画素位置へ変換する変換式である。この変換式は、上述した調整後の表示位置、角度、大きさの情報から算出される。図８及び図９では、上記３要素を含む例で説明したが、変換式は、大きさ（拡縮）、回転、平行移動、ディストーション係数の要素のうち少なくとも１つ以上が含んでいればよい。

セットアップタブ内のズームセンサ調整タブを選択すると、図１０に示す画面が表示される。利用者が、図１０に示す画面に表示される手順に従ってズームセンサを調整することで、制御装置２００にズームレンズ１０２の設定を正しく認識させることができる。これにより、制御装置２００は、ズームハンドル１３０を操作することで変更されたズーム倍率を、ズームセンサを介して正しく認識することができるため、顕微鏡光学系１１０の基準倍率とズーム倍率とから顕微鏡光学系１１０の現在の倍率を正しく認識することができる。

なお、ズームセンサ調整の具体的な手順は、以下のとおりである。利用者は、（１）ズームハンドル１３０を操作してズームダイヤルを各クリック位置（0.8×、2.0×、3.2×、4.0×、5.6×）に合わせ、その後、取得ボタンを押下する。これにより、制御装置２００は、ズームセンサから各倍率で生じるセンサ情報を取得する。次に、利用者は、（２）調整の実施を指示する。ここでは、制御装置２００は、（１）で取得したセンサ情報と対応するズーム倍率の情報に基づいて、ズームセンサから出力されるセンサ情報とズーム倍率の関係を示す情報を更新する。最後に、利用者は、（３）調整結果を確認する。ここでは、ズームダイヤルを任意の位置に回してダイヤルが示すズーム倍率と画面に表示される倍率センサ値が一致しているかどうかを確認する。

次に、作業支援アプリケーションの作業モードについて説明する。図１１は、接眼レンズから観察されるホーム画面の一例を示した図である。図１２は、組み立て作業支援処理のフローチャートの一例である。

作業モードは、モニタ３００に表示されている図６に示すホーム画面上で、利用者が組み立て作業の開始ボタンを押下することで開始される。また、利用者が入力装置４００を用いて所定の操作（例えば、割り当てキーの押下）を行うことで、プロジェクタ１１３が図１１に示す補助画像Ｂ３を像面に投影し、メニュー画面が視野内に表示される。作業モードは、接眼レンズ１０６から観察されるメニュー画面（補助画像Ｂ３）上で利用者が“開く”を選択することで開始されてもよい。作業モードが開始されると、制御装置２００は、図１２に示す組み立て作業支援処理を開始する。

まず、制御装置２００は、スライドファイルを読み込む（ステップＳ１１）。より詳細には、制御装置２００は、利用者が入力装置４００を用いて選択したスライドファイルを読み込む。スライドファイルは、スライドセットの情報を記録したファイルであり、後述する手順書モードで作成および編集される。

スライドファイルの選択は、典型的には、利用者がフォルダ内のスライドファイルのアイコンをクリックすることによって行われるが、選択方法はこのような方法に限らない。例えば、バーコードリーダ４０４がバーコードからスライドセットの識別情報（例えば、スライドファイルのパス）を取得し、バーコードリーダ４０４が取得した識別情報に基づいて制御装置２００がスライドファイルを読み込んでスライドセットを取得してもよい。つまり、バーコードリーダ４０４は、スライドセットの識別情報を取得する取得装置の一例であり、制御装置２００は、取得装置で取得した識別情報に基づいてスライドセットを取得してもよい。

スライドセットの識別情報を取得する取得装置は、バーコードリーダ４０４のような１次元コードリーダに限らず、ＱＲコードリーダ（ＱＲコードは登録商標）のような２次元コードリーダであってもよく、ＲＦタグリーダであってもよい。さらに、撮像装置１１２が取得したデジタル画像から、例えば２次元コードを検出して識別情報を取得してもよい。即ち、取得装置は、１次元コードリーダ、２次元コードリーダ、ＲＦタグリーダ、撮像装置の少なくとも１つを含んでもよい。

スライドファイルを読み込むと、制御装置２００は、先頭のスライドを対象スライドに選択する（ステップＳ１２）。より詳細には、制御装置２００は、ステップＳ１で選択されたスライドファイルに対応するスライドセットに含まれる順序付けされた複数のスライドから先頭のスライドを対象スライドに選択する。

次に、制御装置２００は、補助画像データを生成する（ステップＳ１３）。より詳細には、制御装置２００は、ステップＳ１２で選択された対象スライド（先頭のスライド）に関する情報に基づいて、補助画像データを生成する。

なお、観察倍率に応じて像面に投影する補助画像のサイズを変更する場合には、制御装置２００は、対象スライドに関する情報と、顕微鏡光学系１１０の倍率情報に基づいて、補助画像データを生成してもよい。上述したズームセンサの調整が予め行われているため、制御装置２００は、顕微鏡光学系１１０倍率情報について正確な情報を容易に取得することができる。

補助画像データが生成されると、制御装置２００は、補助画像が像面に重畳するように重畳装置であるプロジェクタ１１３を制御する（ステップＳ１４）。先頭のスライドに、組み立て作業の全体の流れなどがテキストで箇条書きされている場合であれば、例えば、図１３に示すような、光学像Ａ１にテキストコンテンツからなる補助画像Ｂ４が重なった重畳画像Ｃ４が像面に形成される。これにより、利用者は、視野内に表示された補助画像Ｂ４によって組み立て作業の初期段階でこれから行う作業の内容を一目で確認することができる。なお、図１３は、接眼レンズから観察される重畳画像の一例を示した図である。

その後、制御装置２００は、切替指示を検出したか否かを判定する（ステップＳ１５）。切替指示は、例えば、利用者が入力装置４００を用いて制御装置２００へ入力することができる。図１４は、スライドの切替操作について説明するための図である。例えば、図１４に示すようなズームハンドル１３０の設けられたスイッチ（スイッチ１３１、スイッチ１３２）の押下により切替指示が制御装置２００へ入力されてもよい。スイッチ１３１を押下することで次のスライドへ切り替える指示が制御装置２００へ入力されてもよく、スイッチ１３２を押下することで前のスライドへ切り替える指示が制御装置２００へ入力されてもよい。

マウス４０１のホイールの回転によって切替指示が制御装置２００へ入力されてもよい。ホイールを手前に回転させることで次のスライドへ切り替える指示が制御装置２００へ入力されてもよく、ホイールを奥に向かって回転させることで前のスライドへ切り替える指示が制御装置２００へ入力されてもよい。また、キーボード４０２のショートカットキーを押下することで切替指示が制御装置２００へ入力されてもよい。さらに、フットスイッチ４０３を押下することで切替指示が制御装置２００へ入力されてもよい。フットスイッチ４０３の右側の領域を踏むことで次のスライドへ切り替える指示が制御装置２００へ入力されてもよく、フットスイッチ４０３の左側の領域を踏むことで前のスライドへ切り替える指示が制御装置２００へ入力されてもよい。さらにスライドの切替は音声によって指示されてもよく、図示しないマイクが切替指示を入力する入力装置として機能してもよい。即ち、切替指示を入力する入力装置は、マウス、キーボード、ハンドルに設けられたスイッチ、フットスイッチ、マイクの少なくとも１つを含んでもよい。切替指示を入力する入力装置は、利用者が接眼レンズ１０６を覗いたままで行うことができる簡単な１つの操作で切り替えを指示可能なものであることが望ましい。

切替指示を検出すると（ステップＳ１５ＹＥＳ）、制御装置２００は、新たな対象スライドを選択する（ステップＳ１６）。ここでは、制御装置２００は、次のスライドへ切り替える指示を検出すると、ステップＳ１１で取得したスライドセットに含まれる複数のスライドセットの中からその複数のスライドの順序に従って、現在の対象スライドの次のスライドを対象スライドとして選択する。同様に、制御装置２００は、前のスライドへ切り替える指示を検出すると、複数のスライドセットの中からその複数のスライドの順序に従って、現在の対象スライドの１つ前のスライドを対象スライドとして選択する。

その後、制御装置２００は、再度ステップＳ１３及びステップＳ１４の処理を実行する。新たな対象スライドにこれから行う工程における作業上の注意事項などがテキストで記載されている場合であれば、例えば、図１５に示すような、光学像Ａ１にテキストコンテンツからなる補助画像Ｂ５が重なった重畳画像Ｃ５が像面に形成される。これにより、利用者に作業における注意事項を作業直前に確認させることができるため、作業で生じる人為的なミスを減らす効果が期待できる。なお、図１５は、接眼レンズから観察される重畳画像の一例を示した図である。

制御装置２００は、切替指示の入力に応じてステップＳ１３からステップＳ１６の処理を繰り返し実行する。これにより、例えば、スライドセットに含まれる複数のスライドが順番に像面に投影されて、提供すべき情報が利用者に必要なタイミングで提供されることになる。また、利用者が作業をやり直した場合であっても、スライドが巻き戻されて適切な情報が利用者に提供される。

図１６から図２８は、接眼レンズから観察される重畳画像の別の例を示した図である。以下、図１６から図２８を参照しながら、利用者がスライドを切り替えながら行う組み立て作業の一例について説明する。

図１３及び図１５では、テキストコンテンツを含むスライドが対象スライドに選択された場合を例示したが、スライドには、四角、円、直線などの図形コンテンツが含まれてもよい。図１６には、四角形の図形のコンテンツＢ６ａと円形の図形のコンテンツＢ６ｂとを含む補助画像Ｂ６が像面に投影される例が示されている。補助画像Ｂ６は、例えば、試料の位置合わせに利用されてもよい。利用者は、光学像Ａ１と補助画像Ｂ６が重なった重畳画像Ｃ６を観察しながら、補助画像Ｂ６に含まれるコンテンツが試料内の所定の構造と重なるように、ステージを動かしてもよい。

補助画像Ｂ６を用いた位置合わせが完了すると、利用者はスライドの切替を指示し、試料中の特定構造のサイズが仕様に合致しているか検査してもよい。例えば、図１７には、像面に、長方形のゲージコンテンツを含む補助画像Ｂ７と光学像Ａ１が重なった重畳画像Ｃ７が形成された例が示されている。ゲージコンテンツには、図１７に示すように、縦横の寸法表示が含まれてもよい。ゲージコンテンツは予め仕様に合わせた大きさに作り込まれている。利用者は、補助画像Ｂ７に含まれるゲージコンテンツと光学像に表れる試料の特定構造とを比較することで、特定構造のサイズが仕様に合致しているか検査してもよい。

利用者は、検査中にズームハンドル１３０を操作して観察倍率を変更してもよい。より高い倍率で観察することで試料の特定構造が仕様に合致しているかを慎重に検査してもよい。図１８には、光学像Ａ１よりも高い倍率で拡大された試料の光学像Ａ８と補助画像Ｂ８が重なった重畳画像Ｃ８が例示されている。補助画像Ｂ８は、光学像Ａ２に合わせて拡大されたゲージコンテンツ（コンテンツＢ８ａ）を含んでいる。

また、補助画像Ｂ８には、図１８に示すように、ゲージコンテンツ（コンテンツＢ８ａ）に加えて、顕微鏡１００の現在の倍率を表す設定情報がテキストコンテンツ（コンテンツＢ８ｂ）として含まれてもよい。なお、図１８では、補助画像Ｂ８には、顕微鏡１００の総合倍率とズーム倍率が含まれる例を示したが、これらの一方のみが含まれてもよい。また、総合倍率を影響する各光学系の倍率（例えば、対物レンズの倍率、ズーム倍率、中間鏡筒の倍率、接眼レンズの倍率など）がそれぞれ像面に投影されてもよい。これにより、作業が観察しながら設定倍率を認識すること可能となる。特に、ズーム倍率のような接眼レンズを覗きながら調整が行われる倍率が補助画像として表示されることで、倍率を確認するだけのために接眼レンズから目を離す必要がなくなるため、作業効率の改善に大きく貢献する。なお、設定情報は、例えば、倍率を変更する操作後など、所定のタイミングで表示されてもよい。また、設定情報は、倍率に関する情報に限らず、顕微鏡１００の現在の任意の設定に関する情報であってもよい。例えば、対物レンズの種類、フィルタの設定などを設定情報として補助画像に含めてもよい。

このようなズーム倍率に応じた大きさのコンテンツを含む補助画像の投影は、制御装置２００が顕微鏡光学系１１０の倍率情報と対象スライドに関する情報とに基づいて補助画像データを生成することで実現可能である。より詳細には、制御装置２００は、対象スライドに含まれる１つ以上のコンテンツのうち所定のコンテンツが倍率情報に応じた大きさで補助画像に含まれるように補助画像データを生成すればよい。所定のコンテンツは、第１分類のコンテンツであり、例えば、上述したゲージの他、レチクルなどである。ゲージやレチクルは、寸法計測に用いられるため、観察倍率に応じて大きさを変更して投影することが望ましい。

一方で、制御装置２００は、対象スライドに含まれる１つ以上のコンテンツのうち所定のコンテンツ以外のコンテンツが予め決められた大きさで補助画像に含まれるように補助画像データを生成すればよい。所定のコンテンツ以外のコンテンツは、第２分類のコンテンツであり、例えば、テキストコンテンツなどである。テキストは、観察倍率によらず視野数に対して一定の比率で、つまり、一定の大きさで表示されることが望ましい。

制御装置２００は、スライドに含まれるコンテンツを、例えば、コンテンツの種類の情報に基づいて第１分類のコンテンツか第２分類のコンテンツかに分類し、分類結果に応じてサイズが異なるように補助画像データを生成することが望ましい。なお、コンテンツの種類としては、ペン、図形、テキスト、静止画像、動画像、ゲージ、レチクル、画像解析結果、タイマー、ダッシュボード、外部機器情報、計測用コンテンツなどが挙げられる。

図１９には、像面に、十字形のレチクルコンテンツを含む補助画像Ｂ９と光学像Ａ１が重なった重畳画像Ｃ９が形成された例が示されている。レチクルコンテンツもゲージコンテンツと同様に、第１分類のコンテンツであり、ズーム倍率に応じて拡大縮小して投影される。利用者は、スライドを切り替えることで補助画像Ｂ９が投影されている状態に変更し、補助画像Ｂ９に含まれるレチクルの目盛りで特定構造のサイズを認識することで試料を検査してもよい。

図２０には、テキストコンテンツ（コンテンツＢ１０ａ）と線計測用コンテンツ（コンテンツＢ１０ｂ）とテキストコンテンツ（コンテンツＢ１０ｃ）を含む補助画像Ｂ１０と、光学像Ａ１とが重なった重畳画像Ｃ１０が像面に形成された例が示されている。利用者は、スライドを切り替えることで補助画像Ｂ１０が投影されている状態に変更し、所定の構造のサイズを計測して検査の合否を判断してもよい。図２０に示すように、利用者は計測すべき範囲をマウス４０１などの入力装置で指定することで計測を指示してもよく、制御装置２００は、プロジェクタ１１３に計測結果を含む補助画像Ｂ１０を像面に投影させてもよい。このような動的な表示は、制御装置２００が顕微鏡光学系１１０の倍率情報と対象スライドに関する情報に加えて、利用者が入力した位置情報に基づいて補助画像データを生成することで実現可能である。なお、計測用コンテンツに限らず、面計測用コンテンツが補助画像に含まれてもよい。また、テキストコンテンツとして表示される設定情報（倍率）は、計測時の要件として倍率が指定されている場合に特に有効である。補助画像に倍率が含まれていることで利用者は接眼レンズから目を離すことなくテキストコンテンツで指定された倍率要件を満たしていることを確認し、計測指示を入力することができる。

また、スライドには、コンテンツとして静止画像や動画像が含まれていてもよい。図２１には、静止画像を含む補助画像Ｂ１１と光学像Ａ１１が重なった重畳画像Ｃ１１が像面に形成された例が示されている。利用者は、静止画像で正しく作業が行われた後の試料の状態、つまり、見本を確認しながら作業を行ってもよい。図２２には、動画像を含む補助画像Ｂ１２と光学像Ａ１１が重なった重畳画像Ｃ１２が像面に形成された例が示されている。利用者は、動画像で正しい作業手順を確認しながら作業を行ってもよい。

また、補助画像として像面に表示する画像は、Ｗｅｂカメラ５００でリアルタイムに撮影している画像であってもよい。これにより、利用者は、ミクロ画像（サンプルの光学像）と顕微鏡１００の周辺や利用者の手元などをＷｅｂカメラ５００で撮影したマクロ画像（補助画像）の両方を確認しながら、作業を行うことができる。図２３には、顕微鏡１００周辺に置かれた工具をＷｅｂカメラ５００で撮影した画像を含む補助画像Ｂ１２１と光学像Ａ１１が重なった重畳画像Ｃ１２１が像面に形成された例が示されている。また、図２４には、作業領域とその周辺に置かれた工具を同時にＷｅｂカメラ５００で撮影した画像を含む補助画像Ｂ１２２と光学像Ａ１１が重なった重畳画像Ｃ１２２が像面に形成された例が示されている。図２３や図２４に示すように、周辺の工具を補助画像として映しておくことで、工具の持ち替えなどをスムーズに行うことができる。

また、スライドには、コンテンツとしてタイマーやその他のセンサの情報が含まれてもよい。図２５には、静止画像（コンテンツＢ１３ａ）と作業開始からの経過時間（コンテンツＢ１３ｂ）を含む補助画像Ｂ１３と光学像Ａ１１が重なった重畳画像Ｃ１３が像面に形成された例が示されている。利用者は、コンテンツＢ１３ｂで経過時間を確認することで、時間が掛かりすぎていないか確認しながら作業を行ってもよい。図２６には、静止画像（コンテンツＢ１４ａ）と図示しない温度計で測定した作業領域の温度（コンテンツＢ１４ｂ）を含む補助画像Ｂ１４と光学像Ａ１１が重なった重畳画像Ｃ１４が像面に形成された例が示されている。利用者は、コンテンツＢ１４ｂで作業領域の温度が適正な範囲にあることを確認しながら作業を行ってもよい。

最後のスライドには、作業結果を示すテキストコンテンツが含まれてもよい。図２７には、テキストコンテンツを含む補助画像Ｂ１５と光学像Ａ１１が重なった重畳画像Ｃ１５が像面に形成された例が示されている。利用者は、組み立て作業の進捗や成果を補助画像Ｂ１５で確認してもよい。なお、制御装置２００は、他の装置と通信して情報を集めることで、補助画像Ｂ１５に対応する補助画像データを生成してもよい。

なお、制御装置２００は、利用者が選択したスライドセットに含まれる複数のスライドを切り替え指示に応じて決められた順番に表示するようにプロジェクタ１１３を制御するが、割り込みで特定のスライドが表示されるようにプロジェクタ１１３を制御してもよい。例えば、利用者が担当する製造ラインが休止した場合、顕微鏡システム１は、そのような情報を補助画像によって報知してもよい。図２８には、製造ラインの状態を示すダッシュボードコンテンツを含む補助画像Ｂ１６と光学像Ａ１１が重なった重畳画像Ｃ１６が像面に形成された例が示されている。利用者は、製造ラインの状態を補助画像Ｂ１６で確認してもよい。

図２９は、接眼レンズから観察される撮影画面の一例を示した図である。図３０は、モニタで観察される撮影画面の一例を示した図である。図３１から図３３は、記録用画像を例示した図である。図３４は、画像記録方法について説明するための図である。以下、図２９から図３４を参照しながら、画像を含む作業記録の作成方法について説明する。

利用者は組み立て作業に際して、試料の撮影や録画を指示してもよく、制御装置２００に作業のエビデンスとして静止画や動画を記録してもよい。利用者は、撮影又は録画の指示を、接眼レンズ１０６を覗きながら入力してもよい。例えば、図１１に示すホーム画面上でカメラボタンが押下されると、図２９に示す補助画像Ｂ１７が像面に投影されて、撮影画面が表示される。利用者は、図２９に示す補助画像Ｂ１７内のライブ画像を見ながら撮影指示を入力してもよい。ライブ画像は、例えば、撮像装置１１２で取得すればよい。ライブ画像を確認しながら撮影指示を入力することで、撮影前にフォーカスの調整や明るさの調整などを行うことができる。

なお、撮影指示は、モニタ３００に表示された図３０に示すウィンドウＷ２上から入力してもよい。図３０には、顕微鏡１００の視野を示す視野マークＦＶ内に、撮像装置１１２で取得したライブ画像ＬＶと像面に投影されている補助画像（コンテンツＢ１０ａ、コンテンツＢ１０ｂ）が表示されている様子が示されている。利用者は、ウィンドウＷ２上から撮影指示を入力してもよい。

撮影指示又は録画指示を検出すると（ステップＳ１７ＹＥＳ）、制御装置２００は、撮像装置１１２を制御して撮影又は録画を実行する（ステップＳ１８）。ここでは、制御装置２００は、撮像装置１１２が撮像した試料のデジタル画像（撮像画像）を撮像時に像面に投影されていた補助画像と関連付けて、記録装置に記録させる。なお、記録装置は、制御装置内に設けられてもよく、ネットワーク上に置かれたサーバ上に設けられてもよい。

制御装置２００は、例えば、図３１に示すように、撮像画像Ｄ１と補助画像Ｅ１を合成した記録用画像Ｆ１を作成して、記録装置に記録してもよい。また、制御装置２００は、撮像画像Ｄ１と補助画像Ｅ１をそれぞれ別のファイルとして記録し、それらを関連付ける情報を追加で記録してもよい。撮像装置１１２の視野内に補助画像Ｅ１の一部しか入っていない場合には、視野内に入っている部分だけをトリミングしてから補助画像Ｅ１を記録してもよい。

図３１では、撮像装置１１２の視野が顕微鏡光学系１１０の視野よりも狭い場合を例に記録用画像の構成を説明した。撮像装置１１２の視野が顕微鏡光学系１１０の視野よりも広い場合には、図３２に示すように、制御装置２００は、撮像画像Ｄ２と補助画像Ｅ２に加えて、顕微鏡光学系１１０の視野を示す視野マークＦＶを合成した記録用画像Ｆ２を作成して、記録装置に記録してもよい。制御装置２００は、撮像画像Ｄ２と補助画像Ｅ２と視野マークＦＶをそれぞれ別のファイルとして記録し、それらを関連付ける情報を追加で記録してもよい。

また、制御装置２００は、図３３に示すように、撮像画像Ｄ２と補助画像Ｅ２と視野マークＦＶに加えて、アノテーション画像Ｈ３を合成した記録用画像Ｆ３の画像データを作成して、記録装置に記録してもよい。アノテーション画像Ｈ３は、利用者が入力装置４００を用いて入力した描画指示に応じて作成されるアノテーション画像データを用いて投影される。この点において、アノテーション画像Ｈ３は、スライドに基づく補助画像Ｅ２とは異なっている。ただし、制御装置２００が生成した画像データに基づいてプロジェクタ１１３によって像面に重畳される点では、アノテーションＨ３は、補助画像Ｅ２と同様である。

利用者は、描画指示を、接眼レンズ１０６を覗きながら入力してもよい。例えば、図１１に示すホーム画面上でペンボタンを押下することで、文字や図形などを像面に描画してもよい。また、図３０に示すウィンドウＷ２上で文字や図形などを追加してもよい。この場合、ライブ画像ＬＶ上にペンで文字をコンテンツとして書き込むと、コンテンツが置かれたライブ画像ＬＶ上の位置と一致する光学像上の位置にそのコンテンツが投影される。コンテンツは、ペンで記載した文字などの他、線、矢印、四角、円などの図形であってもよく、テキスト、画像（静止画、動画）などであってもよい。利用者はこのような描画機能を利用して作業結果についてメモやコメントを残すことができる。制御装置２００は、撮像画像Ｄ２と補助画像Ｅ２とアノテーション画像Ｈ３をそれぞれ別のファイルとして記録し、それらを関連付ける情報を追加で記録してもよい。

さらに、制御装置２００は、図３４に示すように、記録画像Ｆ４と関連付けてＷｅｂカメラ５００で撮影した画像Ｇ４を記録装置に記録してもよい。画像Ｇ４を記録画像Ｆ４と関連付けて記録することで、作業時の利用者の様子についても記録に残すことができる。画像Ｇ４と記録画像Ｆ４は１つの画像として記録してもよい。

なお、以上では、組み立て作業の最後に記録画像を取得して利用者が行った作業のエビデンスとして利用する例を示したが、作業記録は、組み立て作業の途中で取得してもよく、作業中の任意のタイミングで複数回取得されてもよい。また、記録画像として静止画を例示したが、記録画像は動画像であってもよく、制御装置２００は、作業開始から作業終了までを動画像に記録してもよい。例えば、図３４に示す画像Ｇ４と記録画像Ｆ４を動画として記録し、且つ、１枚の画像として合成して記録してもよい。これにより、画像Ｇ４と記録画像Ｆ４を同じ時間軸で同時に再生することが可能であり、顕微鏡下での作業内容と利用者の様子の関係を容易に認識することができる。従って、作業の分析も容易になる。また、動画像を記録する場合、動画像に対して補助画像として再生したスライドのページに連動したチャプター情報を書き込んでも良い。それにより後から動画像を確認する際に検索性が向上する。

また、作業記録は画像に限らずその他の情報であってもよい。制御装置２００は、作業記録として、像面には投影しない情報、例えば、顕微鏡システム１の設定情報、をメタ情報として画像と一緒に記録してもよい。また、制御装置２００は、音声データや顕微鏡システム１の操作ログなどを作業記録として記録してもよい。その他、制御装置２００は、タイムサーバから取得した時刻情報や作業支援アプリケーションへのログインに使用したユーザ名などの情報を作業記録として記録してもよく、試料を識別する情報（部品名やシリアルナンバー）などを作業記録として記録してもよい。作業記録は、利用者が明示的に記録を指示した場合に限らず、制御装置２００が自動的に記録してもよい。

撮影指示後に、終了指示が入力されると（ステップＳ１９ＹＥＳ）、制御装置２００は、図１２に示す組み立て作業支援処理を終了する。

顕微鏡システム１が図１２に示す組み立て作業支援処理を実行することで、利用者は、作業工程に応じてスライドを適宜切り替えることができる。このため、接眼レンズ１０６から目を離すことなく必要ないタイミングで必要な情報を得ることができる。従って、顕微鏡システム１によれば、利用者の作業を大幅に効率化することができる。

次に、作業支援アプリケーションのトレーニングモードについて説明する。トレーニングモードは、モニタ３００に表示されている図６に示すホーム画面上で、利用者がトレーニングの開始ボタンを押下することで開始される。トレーニングモードでは、トレーニング用に作成されたスライドファイルが利用される点が作業モードとは異なるが、その他の点は、作業モードと同様である。従って、トレーニングモードでも、制御装置２００は、図１２に示す組み立て作業支援処理を実行する。

トレーニングモードでは、接眼レンズ１０６を覗いて作業を行うトレーニーと、モニタ３００に表示される画像を見ながらトレーニーに指示を与えるトレーナが、顕微鏡システム１を利用する。トレーナは、作業モードにおいてエビデンス作成のために使用された描画機能を利用してプロジェクタ１１３にアノテーション画像を投影させることで、トレーニーにリアルタイムで指示を与えることができる。

なお、トレーナは入力装置４００を用いて制御装置２００を操作してトレーニーへ指示を与える代わりに、遠隔地からトレーニーへ指示を与えてもよい。図３５は、遠隔地からトレーナが指示する構成を例示した図である。図３５に示すように、トレーナは、インターネットなどのネットワークを介して顕微鏡システム１に接続されたリモート端末（リモート端末６０１、リモート端末６０２）から顕微鏡システム１にアクセスしてもよい。例えば、トレーニーは、リモートデスクトップ機能などを用いてリモート端末から制御装置２００にアクセスし、制御装置２００を直接操作することで、トレーニーに指示を与えてもよい。また、リモート端末に作業支援アプリケーションをインストールすることで、リモート端末からトレーニーに指示を与えてもよい。

図３６は、スライドセット作成処理のフローチャートの一例である。図３７は、スライドファイルのパラメータを設定する画面の一例を示した図である。図３８は、スライド設定画面の一例を示した図である。以下、図３６から図３８を参照しながら、作業支援アプリケーションの手順書モードについて説明する。

手順書モードは、モニタ３００に表示されている図６に示すホーム画面上で、利用者が手順書作成の新規作成ボタン又は編集ボタンを押下することで開始される。新規作成ボタンが押下されて手順書モードが開始されると、制御装置２００は、図３６に示すスライドセット作成処理を開始する。

まず、制御装置２００は、スライドファイルを新規に作成する（ステップＳ２１）。スライドファイルが作成されると、制御装置２００は、利用者からの入力に従ってスライドファイルのパラメータを設定する（ステップＳ２２）。利用者は、例えば、図３７に示すウィンドウＷ３内でスライドの追加削除を行うことでスライド枚数を指定することができる。また、スライドを入れ替えることでこれらのスライドの順序を指定することができる。

スライドファイルのパラメータの設定後、制御装置２００は、利用者からの入力に従ってスライドを１枚ずつ作り込む。具体的には、制御装置２００は、スライドごとに、背景の設定（ステップＳ２３）と、コンテンツの配置とコンテンツパラメータの設定（ステップＳ２４）を繰り返す。

ステップＳ２３では、制御装置２００は、図３８に示すウィンドウＷ３の領域２０から利用者が選択したスライドに背景を設定する。具体的には、利用者が領域３０のボタン３１を押下すると、制御装置２００は、そのスライドの背景に何も設定しない。利用者がボタン３２を押下すると、制御装置２００は、そのスライドの背景に撮像装置１１２で取得するライブ画像を設定する。利用者がボタン３３を押下すると、制御装置２００は、そのスライドの背景に予め取得した動画を設定する。利用者がボタン３４を押下すると、制御装置２００は、そのスライドの背景に予め取得した静止画を設定する。図３８では、利用者がボタン３４を押下した結果、領域２０で選択されたスライドを表示する領域４０に予め取得した静止画が表示されている様子が示されている。

背景にライブ画像を設定することは、手順書モードでスライドセットを作成する際に作業モードで使用する試料を用意できるケースにおいて特に好適である。実際に作業モードで使用する試料をライブ画像として表示しながらスライドを作成することで、ステップＳ２４において試料に合わせて適切な位置や大きさでコンテンツを配置することができる。

また、背景に静止画やライブ画像を設定することは、手順書モードでスライドセットを作成する際に作業モードで使用する試料を用意できないケースに置いて特に好適である。試料を用意できない場合でもその試料を予め撮影した静止画や動画を背景にしてスライドを作成することで、ステップＳ２４において試料に合わせて適切な位置や大きさでコンテンツを配置することができる。

なお、ステップＳ２３で設定された背景は、ステップＳ２４のコンテンツの配置及び設定の作業を利用者が容易に行うために利用される。つまり、スライドの作成および編集にのみ用いられ、作業モードで投影される補助画像にはここで設定した背景は表示されない。

ステップＳ２４では、制御装置２００は、ステップＳ２３で背景が設定されたスライドにコンテンツを配置し、そのコンテンツのパラメータを設定する。具体的には、制御装置２００は、利用者からの入力に従ってスライドにコンテンツを配置し、そのコンテンツをスライドの構成要素として組み込む。

スライドに配置するコンテンツの種類は、領域５０で選択可能である。領域５０からコンテンツの種類を選択すると、さらに領域６０からそのコンテンツに属するさらに細分化されたコンテンツ（オブジェクトともいう）を選択することができる。

例えば、領域５０で図形コンテンツを選択すると、例えば、線、矢印、四角、円、テキスト、画像（静止画）、ビデオ（動画）などのコンテンツを領域６０から選択することができる。また、領域５０でゲージコンテンツを選択すると、例えば、直線ゲージ、長方形ゲージ、円形ゲージなどのコンテンツを領域６０から選択することができる。また、領域５０でレチクルコンテンツを選択すると、例えば、十字レチクル、グリッドレチクルなどのコンテンツを領域６０から選択することができる。図３８には、利用者が領域５０でゲージコンテンツを選択し、さらに、領域６０で長方形ゲージを選択した結果、領域２０で選択されたスライドを表示する領域４０に長方形ゲージがコンテンツとして配置されている様子が示されている。

コンテンツのパラメータは、領域７０で設定可能である。コンテンツのパラメータとしては、高さ、幅、回転（向き）、縦位置、横位置などを設定可能である。また、ゲージやレチクルの場合、長さを表示するか否かについてもパラメータとして設定可能である。なお、コンテンツのパラメータは、領域４０でコンテンツを移動又は拡大縮小等させることで設定されてもよい。なお、各コンテンツのパラメータは、ここで例示したものに限られない。各コンテンツは、例えば、色、線幅、線種などその他のパラメータを含んでもよい。

全てのスライドについてステップＳ２３とステップＳ２４の処理が終了すると、制御装置２００は、スライドファイルを保存して（ステップＳ２５）、図３６のスライドセット作成処理を終了する。このように、顕微鏡システム１では、制御装置２００が表示装置であるモニタ３００に表示される作成画面に対する操作に応じて、新たなスライドセットを作成する。

なお、図３６では、スライドセットを新規に作成する処理を説明したが、スライドセットを編集する処理も図３６に示す処理と基本的には同様である。スライドファイルを編集する場合は、領域２０は、ステップＳ２１において、スライドファイルを新規作成する代わりに既存のスライドファイルを読み、その後の処理を実行する。つまり、顕微鏡システム１では、制御装置２００が表示装置であるモニタ３００に表示される編集画面に対する操作に応じて、既存のスライドセットを編集する。

以上の様に、顕微鏡システム１によれば、手順書モードを利用することで、手順書として利用されるスライドセットを利用者が自由に作成し、また、編集することができる。手順書モードで作成された、利用者が必要な情報を必要な順番で並べたスライドセットを用いることで、作業モードにおいて、顕微鏡システム１は、顕微鏡下での作業中に、利用者に必要なタイミングで適切な情報を提供することができる。

図３９は、上述した実施形態に係る制御装置２００を実現するためのコンピュータ２００ａのハードウェア構成を例示した図である。図３９に示すハードウェア構成は、例えば、プロセッサ２０１、メモリ２０２、記憶装置２０３、読取装置２０４、通信インタフェース２０６、及び入出力インタフェース２０７を備える。なお、プロセッサ２０１、メモリ２０２、記憶装置２０３、読取装置２０４、通信インタフェース２０６、及び入出力インタフェース２０７は、例えば、バス２０８を介して互いに接続されている。

プロセッサ２０１は、例えば、シングルプロセッサであっても、マルチプロセッサやマルチコアプロセッサであってもよい。プロセッサ２０１は、記憶装置２０３に格納されているプログラムを読み出して実行することで、図１２、図３６等で例示された制御処理を実行する。

メモリ２０２は、例えば、半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んでいてよい。記憶装置２０３は、例えばハードディスク、フラッシュメモリ等の半導体メモリ、または外部記憶装置である。

読取装置２０４は、例えば、プロセッサ２０１の指示に従って着脱可能記憶媒体２０５にアクセスする。着脱可能記憶媒体２０５は、例えば、半導体デバイス、磁気的作用により情報が入出力される媒体、光学的作用により情報が入出力される媒体などにより実現される。なお、半導体デバイスは、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリである。また、磁気的作用により情報が入出力される媒体は、例えば、磁気ディスクである。光学的作用により情報が入出力される媒体は、例えば、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、Ｂｌｕ－ｒａｙ Ｄｉｓｃ等（Ｂｌｕ－ｒａｙは登録商標）である。

通信インタフェース２０６は、例えば、プロセッサ２０１の指示に従って、他の装置（例えば、顕微鏡１００、Ｗｅｂカメラ５００など）と通信する。入出力インタフェース２０７は、例えば、入力装置４００および出力装置との間のインタフェースである。入力装置４００は、例えば、ユーザからの指示を受け付けるマウス４０１、キーボード４０２、フットスイッチ４０３などのデバイスである。出力装置は、例えばモニタ３００、およびスピーカなどの音声装置である。

プロセッサ２０１が実行するプログラムは、例えば、下記の形態でコンピュータに提供される。
（１）記憶装置２０３に予めインストールされている。
（２）着脱可能記憶媒体２０５により提供される。
（３）プログラムサーバなどのサーバから提供される。

なお、図３９を参照して述べた制御装置を実現するためのコンピュータのハードウェア構成は例示であり、実施形態はこれに限定されるものではない。例えば、上述の構成の一部が、削除されてもよく、また、新たな構成が追加されてもよい。また、別の実施形態では、例えば、上述の処理装置の一部または全部の機能がＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、およびＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）などによるハードウェアとして実装されてもよい。

上述した実施形態は、発明の理解を容易にするために具体例を示したものであり、本発明はこれらの実施形態に限定されるものではない。上述の実施形態を変形した変形形態および上述した実施形態に代替する代替形態が包含され得る。つまり、各実施形態は、その趣旨および範囲を逸脱しない範囲で構成要素を変形することが可能である。また、１つ以上の実施形態に開示されている複数の構成要素を適宜組み合わせることにより、新たな実施形態を実施することができる。また、各実施形態に示される構成要素からいくつかの構成要素を削除してもよく、または実施形態に示される構成要素にいくつかの構成要素を追加してもよい。さらに、各実施形態に示す処理手順は、矛盾しない限り順序を入れ替えて行われてもよい。即ち、本発明の顕微鏡システム、重畳ユニット、及び、動作方法は、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。

上述した実施形態では、顕微鏡システム１全体の動作を制御する制御装置２００が、補助画像データを生成する例を示したが、補助画像データは、接眼鏡筒１２０内に設けられた制御装置によって生成されてもよい。即ち、顕微鏡１００に取り付けられる接眼鏡筒１２０がスライドセットに含まれる順序付けされた複数のスライドの中から選択された対象スライドに関する情報に基づいて補助画像データを生成する制御装置と、補助画像データに基づいて、対象スライドを含む補助画像を光学像が形成される像面に重畳する重畳装置とを備える重畳ユニットとして機能してもよい。

また、上述した実施形態では、特に言及していないが、補助画像が投影される顕微鏡光学系１１０の像面（ＡＲ画面）は、モニタ３００に表示されたスライドの内容がミラーリングされる画面であってもよく、モニタ３００に表示される映像の一部が補助画像として像面に投影されてもよい。さらに、モニタ３００に表示されたマウスカーソルを疑似マウスカーソルとして補助画像に投影してもよい。疑似マウスカーソルは、常時投影する必要なく、例えば、一定時間カーソル移動がない場合には、疑似マウスカーソルを補助画像から削除してもよい。これにより、無駄な疑似マウスカーソルの表示が利用者の集中を妨げることを防止することができる。また、疑似マウスカーソルの位置は、必ずしもモニタ３００に表示されたマウスカーソルの位置と一致している必要はない。例えば、モニタ３００上のマウスカーソルが顕微鏡光学系１１０の視野外に移動した場合には、視野の端に疑似マウスカーソルを表示してもよい。これにより、疑似マウスカーソルが視野外へ移動することで利用者が疑似マウスカーソルを見失ってしまう事態を回避することができる。

また、上述した実施形態では、特に言及していないが、補助画像は、ディープラーニングなどの機械学習によって作成された学習済みモデルを用いて生成されてもよい。スライドセットには、例えば、撮像装置１１２で取得したデジタル画像を学習済みモデルに入力することで得られるコンテンツ（以降、ＡＩコンテンツ）を含むスライドが含まれてもよい。具体的には、例えば、検査対象の試料の欠陥を学習した学習済みモデルを用いることで、デジタル画像から試料の欠陥を検出し、図４０に示すように、欠陥位置を示すバウンディングボックスを含む補助画像Ｂ１８を出力してもよい。また、ＡIコンテンツは、検査用途に限らず作業支援を目的とするものであってもよい。例えば、半田付けが必要な領域を学習した学習済みモデルを用いることで、デジタル画像から半田付けすべき領域を検出し、図４１に示すように、検出した領域を示すバウンディングボックスを含む補助画像Ｂ１９を出力してもよい。なお、バウンディングボックスの形状は、特に限定せず、図４０に示すような矩形でも図４１に示す円形でもよい。スライドセットには作業工程に応じたＡＩコンテンツを含む複数のスライドが含まれて、利用者が複数のスライドを適宜切り替えることで、様々な学習済みモデルを利用して利用者に必要な情報を提供してもよい。

本明細書において、“Ａに基づいて”という表現は、“Ａのみに基づいて”を意味するものではなく、“少なくともＡに基づいて”を意味し、さらに、“少なくともＡに部分的に基づいて”をも意味している。即ち、“Ａに基づいて”はＡに加えてＢに基づいてもよく、Ａの一部に基づいてよい。

１ 顕微鏡システム
１０ スライドセット
１１～１６ スライド
１００ 顕微鏡
１０１ 対物レンズ
１０２、１０２ａ、１０２ｂ ズームレンズ
１０６、１０６ａ、１０６ｂ 接眼レンズ
１１０ 顕微鏡光学系
１１２ 撮像装置
１１３ プロジェクタ
１２０ 接眼鏡筒
１３０ ズームハンドル
２００ 制御装置
２０１ プロセッサ
２０２ メモリ
２０３ 記憶装置
２０４ 読取装置
２０５ 記憶媒体
２０６ 通信インタフェース
２０７ 入出力インタフェース
２０８ バス
３００ モニタ
４０１ マウス
４０２ キーボード
４０３ フットスイッチ
４０４ バーコードリーダ
５００ Ｗｅｂカメラ
６０１、６０２ リモート端末

Claims (21)

1. 接眼レンズを含み、前記接眼レンズの物体側に試料の光学像を形成する顕微鏡光学系と、
   スライドセットに含まれる順序付けされた複数のスライドの中から選択された対象スライドに関する情報に基づいて、補助画像データを生成する制御装置と、
   前記補助画像データに基づいて、前記対象スライドを含む補助画像を前記光学像が形成される像面に重畳する重畳装置と、を備え、
   前記制御装置は、前記対象スライドを切り替える指示に応じて、前記複数のスライドが順序付けされている第１の順序に従って決定されたスライドを新たな前記対象スライドとして選択する
   ことを特徴とする顕微鏡システム。
2. 請求項１に記載の顕微鏡システムにおいて、
   前記制御装置は、前記顕微鏡光学系の倍率情報と、前記対象スライドに関する情報と、に基づいて、前記補助画像データを生成する
   ことを特徴とする顕微鏡システム。
3. 請求項２に記載の顕微鏡システムにおいて、
   前記対象スライドは、１つ以上のコンテンツを含み、
   前記制御装置は、
   前記１つ以上のコンテンツのうち第１分類のコンテンツが、前記倍率情報に応じた大きさで前記補助画像に含まれるように、前記補助画像データを生成し、
   前記１つ以上のコンテンツのうち第２分類のコンテンツが、予め決められた大きさで前記補助画像に含まれるように、前記補助画像データを生成する
   ことを特徴とする顕微鏡システム。
4. 請求項３に記載の顕微鏡システムにおいて、
   前記第１分類のコンテンツは、ゲージとレチクルの少なくとも一方を含む
   ことを特徴とする顕微鏡システム。
5. 請求項３又は請求項４に記載の顕微鏡システムにおいて、
   前記１つ以上のコンテンツは、ペン、図形、テキスト、静止画像、動画像、ゲージ、レチクル、画像解析結果、タイマー、ダッシュボード、外部機器情報、計測用コンテンツの少なくとも１つを含む
   ことを特徴とする顕微鏡システム。
6. 請求項１乃至請求項５のいずれか１項に記載の顕微鏡システムにおいて、さらに、
   前記対象スライドを切り替える前記指示を入力する入力装置を備える
   ことを特徴とする顕微鏡システム。
7. 請求項６に記載の顕微鏡システムにおいて、
   前記入力装置は、マウス、キーボード、ハンドルに設けられたスイッチ、フットスイッチ、マイクの少なくとも１つを含む
   ことを特徴とする顕微鏡システム。
8. 請求項１乃至請求項７のいずれか１項に記載の顕微鏡システムにおいて、さらに、
   前記スライドセットを識別する識別情報を取得する取得装置を備え、
   前記制御装置は、前記取得装置で取得した前記識別情報に基づいて、前記スライドセットを取得する
   ことを特徴とする顕微鏡システム。
9. 請求項８に記載の顕微鏡システムにおいて、
   前記取得装置は、１次元コードリーダ、２次元コードリーダ、ＲＦタグリーダ、撮像装置の少なくとも１つを含む
   ことを特徴とする顕微鏡システム。
10. 請求項１乃至請求項９のいずれか１項に記載の顕微鏡システムにおいて、さらに、
    前記試料を撮像する撮像装置と、
    記録装置と、を備え、
    前記制御装置は、前記記録装置に、前記撮像装置が撮像した前記試料の画像を前記補助画像と関連付けて記録させる
    ことを特徴とする顕微鏡システム。
11. 請求項１乃至請求項９のいずれか１項に記載の顕微鏡システムにおいて、
    前記制御装置は、描画指示に応じて、アノテーション画像データを生成し、
    前記重畳装置は、前記アノテーション画像データに対応するアノテーション画像を前記像面に重畳する
    ことを特徴とする顕微鏡システム。
12. 請求項１１に記載の顕微鏡システムにおいて、さらに、
    前記試料を撮像する撮像装置と、
    記録装置と、を備え、
    前記制御装置は、前記記録装置に、前記撮像装置が撮像した前記試料の画像を前記補助画像及び前記アノテーション画像と関連付けて記録させる
    ことを特徴とする顕微鏡システム。
13. 請求項１乃至請求項９のいずれか１項に記載の顕微鏡システムにおいて、さらに、
    前記試料を撮像する撮像装置と、
    前記制御装置は、前記撮像装置が撮像した前記試料の画像の解析結果に従って決定されたスライドを新たな前記対象スライドとして選択する
    ことを特徴とする顕微鏡システム。
14. 請求項１乃至請求項１３のいずれか１項に記載の顕微鏡システムにおいて、さらに、
    前記接眼レンズを取り付ける接眼鏡筒を備え、
    前記接眼鏡筒は、前記像面への前記補助画像の重畳の開始又は停止する指示する操作部を備える
    ことを特徴とする顕微鏡システム。
15. 請求項１乃至請求項１４のいずれか１項に記載の顕微鏡システムにおいて、さらに、
    表示装置を備え、
    前記制御装置は、前記表示装置に表示される編集画面に対する操作に応じて、前記スライドセットを編集する
    ことを特徴とする顕微鏡システム。
16. 請求項１乃至請求項１４のいずれか１項に記載の顕微鏡システムにおいて、さらに、
    表示装置を備え、
    前記制御装置は、前記表示装置に表示される作成画面に対する操作に応じて、新たなスライドセットを作成する
    ことを特徴とする顕微鏡システム。
17. 請求項１乃至請求項１６のいずれか１項に記載の顕微鏡システムにおいて、
    前記顕微鏡光学系は、実体顕微鏡用の光学系である
    ことを特徴とする顕微鏡システム。
18. 請求項１乃至請求項１７のいずれか１項に記載の顕微鏡システムにおいて、
    前記スライドセットは、精密機器の組み立てを支援する情報であり、
    前記複数のスライドの各々は、前記精密機器の組み立ての各工程における情報である
    ことを特徴とする顕微鏡システム。
19. 請求項１乃至請求項１８のいずれか１項に記載の顕微鏡システムにおいて、
    前記複数のスライドは、前記試料の画像を学習済みモデルに入力することで得られるＡＩコンテンツを含むスライドを含む
    ことを特徴とする顕微鏡システム。
20. 接眼レンズの物体側に試料の光学像を形成する顕微鏡光学系を備える顕微鏡に取り付けられる重畳ユニットであって、
    スライドセットに含まれる順序付けされた複数のスライドの中から選択された対象スライドに関する情報に基づいて、補助画像データを生成する制御装置と、
    前記補助画像データに基づいて、前記対象スライドを含む補助画像を前記光学像が形成される像面に重畳する重畳装置と、を備え、
    前記制御装置は、前記対象スライドを切り替える指示に応じて、前記複数のスライドが順序付けされている第１の順序に従って決定されたスライドを新たな前記対象スライドとして選択する
    ことを特徴とする重畳ユニット。
21. 接眼レンズの物体側に試料の光学像を形成する顕微鏡光学系と重畳装置とを備える顕微鏡を制御する制御装置の動作方法であって、
    前記制御装置が、
    スライドセットに含まれる順序付けされた複数のスライドの中から選択された対象スライドを切り替える指示に応じて、前記複数のスライドが順序付けされている第１の順序に従って決定されたスライドを新たな前記対象スライドとして選択し、
    前記新たな対象スライドに関する情報に基づいて、補助画像データを生成し、
    前記重畳装置に、前記補助画像データに基づいて、前記新たな対象スライドを含む補助画像を前記光学像が形成される像面に重畳させる
    ことを特徴する方法。

Images