JP2022167637A - 観察システム、及び、観察支援方法 - Google Patents

Abstract

【課題】既存の観察装置の構成に大幅な変更を加えることなく、光学画像とともに補助情報を利用者に提供する。【解決手段】観察システム１０００は、観察装置１００と観察補助装置２００を含む。観察装置１００は、接眼レンズ１０２と対物レンズ１０１を含み、接眼レンズ１０２と対物レンズ１０１の間の光路上に試料の実像を形成する。観察補助装置２００は、ユーザに装着され、ユーザに補助情報を出力する。観察補助装置２００は、観察補助装置２００の観察装置１００に対する相対位置に基づいて接眼レンズ１０２を介してユーザによって観察される試料の虚像に補助情報を重ねる。【選択図】図１

Description

本明細書の開示は、観察システム、及び、観察支援方法に関する。

病理診断では、試料のデジタル画像上に画像解析結果に基づく補助情報を重ねた画像を表示装置で表示することで、病理医の診断を補助する技術が知られている。このような補助情報を表示する技術は、病理診断に限らず、様々な分野に適応可能であり、画像解析技術の発展に伴い、ますます利用が拡大されるものと期待されている。

一方で、接眼レンズを覗いて試料の光学画像を目視するニーズも引き続き存在する。これは、一般に、デジタル画像は、光学画像と比較して、色再現性とダイナミックレンジにおいて劣っているためである。

このような課題に関連する技術は、例えば、特許文献１に記載されている。特許文献１に記載の技術を用いることで、光学画像上に補助情報が重畳表示されるため、光学画像で試料を観察しながら、補助情報によって必要な支援を得ることが可能となる。

国際公開第２０１８／２３１２０４号

しかしながら、特許文献１に記載の技術を利用するには、既存の観察装置に投影装置を組み込まなければならない。このため、既存の観察装置の構成に大幅な変更を加える必要がある。

以上のような実情を踏まえ、本発明の一側面に係る目的は、既存の観察装置の構成に大幅な変更を加えることなく、光学画像とともに補助情報を利用者に提供する技術を提供することである。

本発明の一態様に係る観察システムは、接眼レンズと対物レンズを含み、前記接眼レンズと前記対物レンズの間の光路上に試料の実像を形成する観察装置と、ユーザに装着され、前記ユーザに補助情報を出力する観察補助装置であって、前記観察補助装置の前記観察装置に対する相対位置に基づいて前記接眼レンズを介して前記ユーザによって観察される前記試料の虚像に前記補助情報を重ねる観察補助装置と、を備える。

本発明の一態様に係る観察補助方法は、接眼レンズと対物レンズを含む観察装置が、前記接眼レンズと前記対物レンズの間の光路上に試料の実像を形成し、ユーザに装着された観察補助装置が、前記ユーザに補助情報を出力し、前記観察補助装置の前記観察装置に対する相対位置に基づいて前記接眼レンズを介して前記ユーザによって観察される前記試料の虚像に前記補助情報を重ねる。

上記の態様によれば、既存の観察装置の構成に大幅な変更を加えることなく、光学画像とともに補助情報を利用者に提供することが可能となる。

第１の実施形態に係るシステム１０００の構成を説明する図である。 ユーザに提供される重畳画像の構成を説明する図である。 システム１０００で行われる処理の一例を示すフローチャートである。 システム１０００で行われる補助情報取得処理の一例を示すフローチャートである。 システム１０００で行われる相対位置検出処理の一例を示すフローチャートである。 システム１０００で行われる補助情報出力処理の一例を示すフローチャートである。 図６に示す補助情報出力処理による補助情報３の出力位置の調整例を示す図である。 システム１０００で行われる補助情報出力処理の別の例を示すフローチャートである。 図８に示す補助情報出力処理による補助情報３の出力位置の調整例を示す図である。 第１の実施形態に係るシステム１０００の機能的構成を説明する図である。 出力部２２０の構成の一例を説明する図である。 出力部２２０の構成の別の例を説明する図である。 出力部２２０の構成の更に別の例を説明する図である。 第２の実施形態に係るシステムの機能的構成を説明する図である。 第３の実施形態に係るシステムの機能的構成を説明する図である。 出力部２６０と撮影部２７０の構成の一例を説明する図である。 撮影部２７０で撮影された画像の一例を示した図である。 第４の実施形態に係るシステムの機能的構成を説明する図である。 観察補助装置２００ｃにおける補助情報の出力例を示す図である。 第５の実施形態に係るシステムの機能的構成を説明する図である。 観察補助装置２００ｄにおける補助情報の出力例を示す図である。 重畳画像の別の例を示す図である。 重畳画像の更に別の例を示す図である。

［第１の実施形態］
図１は、本実施形態に係るシステム１０００の構成を説明する図である。図２は、ユーザに提供される重畳画像の構成を説明する図である。以下、図１及び図２を参照しながら、システム１０００の構成について説明する。

システム１０００は、図１に示すように、観察装置１００と、観察装置１００と通信可能な観察補助装置２００を含んでいる。以降では、観察装置１００と観察補助装置２００の間の通信が無線通信によって実現される場合を例に説明するが、観察装置１００と観察補助装置２００の間の通信は、有線通信によって実現されてもよい。

観察装置１００は、例えば、顕微鏡装置である。観察装置１００は、対物レンズ１０１と接眼レンズ１０２を備えている。観察装置１００は、対物レンズ１０１と接眼レンズ１０２の間の光路上に試料の光学画像（実像）を形成する。観察装置１００のユーザは、図２に示すように、観察装置１００が形成する光学画像（実像）を拡大した光学画像１（虚像）を、接眼レンズ１０２を介して観察する。

また、観察装置１００は、デジタルカメラ１０３を備えてもよい。観察装置１００は、３眼鏡筒によって対物レンズ１０１からの光を接眼レンズ１０２へ導く光路とデジタルカメラ１０３へ導く光路とに分岐してもよい。デジタルカメラ１０３で取得したデジタル画像２は、例えば、顕微鏡本体を制御する制御装置１０５に出力される。

観察装置１００では、制御装置１０５が、デジタル画像２に対して行われた画像解析の結果に基づいて補助情報３を生成してもよい。補助情報３は、図２に示すような、試料に含まれる特定の対象（例えば、細胞、細胞核など）の輪郭を表示する情報であってもよく、例えば、デジタル画像２に対して行われた物体検出結果に基づいて生成されてもよい。

観察装置１００は、さらに、位置検出用の発信機１０４を備えてもよい。発信機１０４は、後述する受信機２０１と組み合わせて用いることで、観察補助装置２００の観察装置１００に対する相対位置の検出に用いられてもよい。以降では、観察補助装置２００の観察装置１００に対する相対位置を単に相対位置と記す。ユーザの目がアイポイントからどの程度離れているかを把握する場合、発信機１０４は、図１に示すように、接眼レンズ１０２又は接眼レンズ１０２の近傍に設けられることが望ましい。なお、発信機１０４は、ユーザが感知しない信号を発信することが望ましく、例えば、可視域外の電磁波、又は、超音波の少なくとも一方を発信することが望ましい。発信機１０４は、磁場を発生させる磁場発生装置であってもよい。

観察補助装置２００は、例えば、スマートグラスである。観察補助装置２００は、観察装置１００のユーザに装着される装置であり、ユーザが観察装置１００を使用するときに、ユーザに補助情報を出力する。観察補助装置２００は、ユーザが、補助情報を視認できる態様で、出力できればよい。より詳細には、観察補助装置２００は、補助情報を接眼レンズ１０２を介して試料の光学画像を観察しながら視認できる態様で、出力できればよい。

このため、観察補助装置２００は、スマートグラスに限らず、例えば、シースルー型のヘッドマウントディスプレイを含んでもよく、眼球に直接装着されるコンタクトレンズタイプの装置（スマートコンタクトレンズ）を含んでもよく、これらの少なくとも一つを含んでもよい。なお、補助情報をユーザへ出力する方式は、特に限定しない。観察補助装置２００は、例えば、網膜投影方式、網膜走査方式、ホログラム方式、又は、マイクロＬＥＤ方式の装置の少なくとも一つを含んでもよく、それぞれの方式でユーザへ補助情報を出力してもよい。

観察補助装置２００は、相対位置に基づいて、図２に示すように、接眼レンズ１０２を介してユーザによって観察される光学画像１（虚像）に補助情報３を重ねる。これにより、ユーザは、光学画像１に補助情報３が重畳した重畳画像４を観察する。相対位置を利用して補助情報３が光学画像１に対して適切な位置に配置されることで、ユーザは、重畳画像４に含まれる補助情報３から適切な情報を得ることができる。

観察補助装置２００は、位置検出用の受信機２０１を備えてもよい。受信機２０１は、前述した発信機１０４と組み合わせて用いることで、相対位置の検出に用いられてもよい。発信機１０４と受信機２０１による位置検出の方法は、特に限定しない。例えば、観察装置１００には、３つ以上の発信機１０４が設けられていてもよく、測位方法としては、それらの発信機１０４からの信号によって測位する三点測位が用いられてもよい。また、観察補助装置２００には、３つ以上の受信機２０１が設けられていてもよく、測位方法としては、それらの受信機２０１によって受信した信号によって測位する三点測位が用いられてもよい。観察装置１００と観察補助装置２００は、三点測位で相対位置を検出してもよい。

図３は、システム１０００で行われる処理の一例を示すフローチャートである。図４は、システム１０００で行われる補助情報取得処理の一例を示すフローチャートである。図５は、システム１０００で行われる相対位置検出処理の一例を示すフローチャートである。図６は、システム１０００で行われる補助情報出力処理の一例を示すフローチャートである。図７は、図６に示す補助情報出力処理による補助情報３の出力位置の調整例を示す図である。図３から図７を参照しながら、システム１０００によって行われる観察支援方法について説明する。

システム１０００は、図３に示す処理を開始すると、観察装置１００がステージに置かれた試料の光学画像を形成する（ステップＳ１０）。ここでは、観察装置１００が対物レンズ１０１と図示しない結像レンズによって試料からの光を集光して試料の光学画像を形成する。光学画像は、例えば、３眼鏡筒内で分岐した接眼レンズ１０２へ至る光路上とデジタルカメラ１０３の撮像面上のそれぞれに形成される。接眼レンズ１０２へ至る光路上に形成された光学画像は、接眼レンズ１０２を介してユーザに観察される。

また、システム１０００は、補助情報を取得する（ステップＳ２０）。システム１０００は、例えば、図４に示す補助情報取得処理を行うことによって、補助情報を取得してもよい。図４に示す処理が開始されると、観察装置１００は、デジタル画像を取得する（ステップＳ２１）。ステップＳ２１では、撮像面上に形成された光学画像をデジタルカメラ１０３がデジタル画像に変換し制御装置１０５へ出力することで、観察装置１００がデジタル画像を取得する。次に、観察装置１００は、デジタル画像を解析する（ステップＳ２２）。ステップＳ２２では、制御装置１０５が、例えば、デジタル画像に対して物体検出を行い、デジタル画像内における所定の物体の位置を検出する。最後に、観察装置１００は、補助情報を生成する（ステップＳ２３）。ステップＳ２３では、制御装置１０５が、例えば、物体検出によって検出された所定の物体の位置情報に基づいて、所定の物体の輪郭を描く補助情報を生成する。生成された補助情報は、観察装置１００から観察補助装置２００へ送信される。

なお、図４では、補助情報取得処理の一例として、観察装置１００が補助情報を生成し、観察補助装置２００が観察装置１００から補助情報を取得する例を示したが、補助情報は、観察補助装置２００で生成されてもよい。観察補助装置２００は、補助情報とは異なる情報（例えば、デジタル画像）を観察装置１００から取得し、取得した情報に基づいて補助情報を生成してもよい。

また、システム１０００は、相対位置を検出する（ステップＳ３０）。システム１０００は、例えば、図５に示す相対位置検出処理を行うことによって、相対位置を検出してもよい。図５に示す処理では、観察装置１００が、信号を発信し（ステップＳ３１）、観察補助装置２００が、信号を受信する（ステップＳ３２）。より具体的には、発信機１０４が位置検出用の信号（以降、位置信号と記す。）を発信し、受信機２０１が位置信号を受信する。その後、観察補助装置２００は、受信機２０１で検出した位置信号に基づいて相対位置を算出する（ステップＳ３３）。相対位置は、任意の既知の方法により算出し得る。

なお、図５では、相対位置検出処理の一例として、観察装置１００が発信した信号を観察補助装置２００が受信し、観察補助装置２００が相対位置を算出する例を示したが、相対位置は、観察装置１００で算出されてもよい。例えば、観察補助装置２００に発信機を、観察装置１００に受信機を設けて、観察補助装置２００から受信した信号に基づいて観察装置１００が相対位置を算出してもよい。この場合、算出した相対位置の情報は、観察装置１００から観察補助装置２００へ送信される。

ステップＳ１０からステップ３０の処理が終了すると、システム１０００は、補助情報を出力し、光学画像に補助情報を重畳する（ステップＳ４０）。なお、ステップＳ１０からステップＳ３０の処理の順番は、この例に限らない。ステップＳ１０からステップＳ３０の各処理は、ステップＳ４０の処理よりも前に行わればよい。ステップＳ１０からステップＳ３０の処理は、図３に示す処理の順番とは異なる順番に行われてもよく、１つ以上の処理が時間的に並列に行われてもよい。

ステップＳ４０では、システム１０００は、例えば、図６に示す補助情報出力処理を行うことによって、光学画像に補助情報を重畳してもよい。図６に示す処理では、観察補助装置２００は、ステップＳ３３で算出した相対位置に基づいて接眼レンズ１０２の光軸から観察補助装置２００までの距離と方向を算出し（ステップＳ４１）、算出した距離と方向に基づいて補助情報の出力位置を決定する（ステップＳ４２）。これは、観察補助装置２００の一定の位置から補助情報を出力したとしても、接眼レンズ１０２の光軸から観察補助装置２００までの距離と方向によって、ユーザが接眼レンズ１０２を介して観察する光学画像に対する補助情報の位置が変化するからである。

最後に、観察補助装置２００は、ステップＳ４２で決定した出力位置に従ってステップＳ２３で取得した補助情報を出力する（ステップＳ４３）。これにより、ステップＳ４１で算出した距離と方向に基づいて補助情報の出力位置が適宜変更されることになるため、接眼レンズ１０２の光軸を基準とした観察補助装置２００の位置に応じた位置に補助情報を出力することができる。

システム１０００は、上述した図３に示す処理を行うことで、補助情報３を光学画像１上の適切な位置に表示することができる。この点について図７を参照しながら説明する。まず、補助情報３の観察補助装置２００からの出力位置が変化しない場合を考える。この場合、補助情報３が光学画像１上の適切な位置に重ねられた重畳画像４を観察中に、観察補助装置２００を装着したユーザが接眼レンズ１０２に対して移動すると、観察補助装置２００もユーザとともに接眼レンズ１０２に対して移動し、その結果、光学画像１に対して補助情報３が移動してしまう。このため、ユーザは、図７に示すように、補助情報３が光学画像１上の適切な位置からずれた位置に重なった重畳画像５を観察することになる。しかしながら、システム１０００では、接眼レンズ１０２からの距離と方向に基づいて補助情報３の観察補助装置２００からの出力位置が変化することで、上述した重畳画像５に見られるズレが解消される。その結果、ユーザは、接眼レンズ１０２に対して移動した場合であっても、図７に示すように、補助情報３が光学画像１上の適切な位置に重ねられた重畳画像６を観察することができる。

さらに、システム１０００では、既存の観察装置に対して大幅な変更を加えることなく。観察装置１００を構成することができる。具体的には、観察装置１００は、例えば、既存の観察装置に対して発信機１０４を追加するだけで構成可能である。その他の必要な変更は、制御装置１０５によって行われるソフトウェア処理によって実現可能である。

従って、システム１０００によれば、既存の観察装置の構成に対して大幅な変更を加えることなく、光学画像とともに補助情報を利用者に提供することが可能となる。特に、光学画像上の適切な位置に補助情報を重ねて表示することができるため、補助情報を利用者が正しく認識することができる。また、装置が既存の装置と比較して大型化することも回避することができる。

また、観察補助装置２００についても、既存のスマートグラスの構成に対して大幅な変更は必要ない。観察補助装置２００は、例えば、既存のスマートグラスに対して受信機２０１を追加するだけで構成可能である。その他の必要な変更は、観察補助装置２００に含まれるプロセッサによって行われるソフトウェア処理によって実現可能である。

従って、システム１０００によれば、システム１０００に含まれる観察補助装置２００として、他の用途で使用されている既存のスマートグラスを、必要な変更を加えて利用することができる。このため、ユーザは、システム１０００を含む複数のシステムで１つのスマートグラスを利用することが可能であり、使用するシステムに応じてスマートグラスを交換しなければならないといった不便を回避することができる。

図８は、システム１０００で行われる補助情報出力処理の別の例を示すフローチャートである。図９は、図８に示す補助情報出力処理による補助情報３の出力位置の調整例を示す図である。システム１０００は、図６に示す補助情報出力処理の代わりに、図８に示す補助情報出力処理を行ってもよい。

観察補助装置２００は、ステップＳ３３で算出した相対位置に基づいて観察装置１００から観察補助装置２００までの距離（以降、第１の距離と記す。）を算出し（ステップＳ５１）、算出した第１距離が所定距離以上か否かを判定する（ステップＳ５２）。この所定距離は、ユーザが接眼レンズ１０２を覗いていないと判断できる程度にユーザ（観察補助装置２００）が観察装置１００から離れていることを示す距離であればよい。より具体的には、所定距離は、例えば、接眼レンズ１０２からアイポイントまでの距離であるアイレリーフに基づいて予め決定されている。即ち、ステップＳ５２では、観察補助装置２００は、接眼レンズ１０２からユーザの目（例えば、瞳孔）までの距離がアイレリーフに比べて十分に長いか否かを判断する。

観察補助装置２００は、ステップＳ５２で第１距離が所定距離以上であると判定すると（ステップＳ５２ＹＥＳ）、さらに、第１距離が、前回算出された第１距離と比較したときに、所定距離を跨って増加しているか否かを判定する（ステップＳ５３）。観察補助装置２００は、第１距離が所定距離を跨って増加していると判定すると（ステップＳ５３ＹＥＳ）、補助情報３の出力を停止し（ステップＳ５４）、その後、図８に示す補助情報出力処理を終了する。一方、観察補助装置２００は、第１距離が所定距離を跨って増加していないと判定すると（ステップＳ５３ＮＯ）、ステップＳ５４を省略して、補助情報出力処理を終了する。

一方で、観察補助装置２００は、ステップＳ５２で第１距離が所定距離以上でないと判定すると（ステップＳ５２ＮＯ）、ステップＳ３３で算出した相対位置に基づいて接眼レンズ１０２の光軸から観察補助装置２００までの距離（以降、第２距離と記す。）と方向を算出し（ステップＳ５５）、算出した第２距離と方向に基づいて補助情報の出力位置を決定する（ステップＳ５６）。なお、ステップＳ５５とステップＳ５６の処理は、図６のステップＳ４１とステップＳ４２の処理と同様である。

その後、観察補助装置２００は、第１距離が、前回算出された第１距離と比較したときに、所定距離を跨って減少しているか否かを判定する（ステップＳ５７）。観察補助装置２００は、第１距離が所定距離を跨って減少していると判定すると（ステップＳ５７ＹＥＳ）、補助情報３の出力を開始し（ステップＳ５８）、ステップＳ５６で決定した出力位置に従って補助情報を出力し（ステップＳ５９）、その後、図８に示す補助情報出力処理を終了する。一方、観察補助装置２００は、第１距離が所定距離を跨って減少していないと判定すると（ステップＳ５７３ＮＯ）、ステップＳ５８を省略して、ステップＳ５６で決定した出力位置に従って補助情報を出力し（ステップＳ５９）その後、補助情報出力処理を終了する。

図８に示す補助情報出力処理では、観察補助装置２００は、観察装置１００から観察補助装置２００までの距離に基づいて補助情報３の出力を停止し、また、観察装置１００から観察補助装置２００までの距離に基づいて補助情報３の出力を開始する。より具体的には、観察補助装置２００は、観察補助装置２００が観察装置１００に比較的近くに位置した状態（例えば、ユーザの目がアイポイントに位置する状態）から比較的遠くに位置した状態（例えば、ユーザの目がアイポイントから離れた位置にある状態）に変化したときに、補助情報３の出力を停止し、その後、観察補助装置２００が観察装置１００に比較的近くに位置した状態に変化するまで、出力の停止が維持される。また、観察補助装置２００は、観察補助装置２００が観察装置１００に比較的遠くに位置した状態から比較的近くに位置した状態に変化したときに、補助情報３の出力を開始し、その後、観察補助装置２００が観察装置１００に比較的遠くに位置した状態に変化するまで、継続して補助情報３が出力される。

これにより、ユーザの目がアイポイントに位置する場合には、観察補助装置２００から補助情報３が出力されるため、図９に示すように、ユーザは、補助情報３が光学画像１に重畳された重畳画像４を観察することができる。また、ユーザが接眼レンズ１０２を覗いていない状態では、ユーザの目がアイポイントから離れているため、観察補助装置２００から補助情報３が出力されず、補助情報３がユーザの視界を無駄に妨げることがない。さらに、ユーザの目がアイポイントから離れた状態でユーザが接眼レンズ１０２を覗いているとしても、図９に示すように、接眼レンズ１０２から観察できる光学画像７は、視野周辺がケラレた不完全な画像である。このため、ユーザの目がアイポイントから離れた状態で補助情報３が出力されていないことに、実質的な悪影響はない。

システム１０００は、図６に示す補助情報出力処理の代わりに、図８に示す補助情報出力処理を行った場合であっても、図６に示す補助情報出力処理を行った場合を同様の効果を得ることができる。また、図８に示す補助情報出力処理を行うことで、観察装置１００から離れた状態では、観察補助装置２００から補助情報３が出力されないため、観察装置１００で試料を観察していない状態において補助情報３が表示されてユーザの視界が遮られるといった事態を回避することができる。さらに、図８に示す補助情報出力処理を行うことで、観察装置１００に近づいて接眼レンズ１０２を覗くだけで、補助情報３の出力が開始される。このため、ユーザが試料を観察するときだけ自動的に補助情報３が出力されるため、ユーザに負担を強いることがなく補助情報３を必要なタイミングで提供することができる。

図１０は、本実施形態に係るシステム１０００の機能的構成を説明する図である。以下、図１０を参照しながら、システム１０００の機能について説明する。

システム１０００に含まれる観察装置１００は、図１０に示すように、制御部１１０と、撮影部１２０と、送信部１３０と、発信部１４０を備えている。制御部１１０は、例えば、図１に示す制御装置１０５によって構成される。制御部１１０は、プロセッサとメモリを含み、観察装置１００の動作を制御する。撮影部１２０は、例えば、図１に示すデジタルカメラ１０３によって構成される。撮影部１２０は、試料のデジタル画像を取得し、制御部１１０へ出力する。送信部１３０は、例えば、無線通信装置であり、観察補助装置２００へ補助情報を送信する。なお、補助情報は、例えば、撮影部１２０で撮影されたデジタル画像を解析することで制御部１１０によって生成されるが、必ずしもデジタル画像に基づいて生成されなくてもよい。発信部１４０は、例えば、発信機１０４によって構成される。発信部１４０は、相対位置の検出のための位置信号を発信する。

システム１０００に含まれる観察補助装置２００は、図１０に示すように、制御部２１０と、出力部２２０と、受信部２３０と、受信部２４０を備えている。制御部２１０は、プロセッサとメモリを含み、観察補助装置２００の動作を制御する。出力部２２０は、補助情報を出力する。受信部２３０は、例えば、無線通信装置であり、観察装置１００から補助情報を受信する。受信部２４０は、例えば、受信機２０１によって構成される。受信部２４０は、相対位置の検出のための位置信号を受信する。

図１１から図１３は、出力部２２０の構成例を説明する図である。図１１に示す例では、出力部２２０は、表示素子２８１と、レンズ２８４と、凹面鏡２８５を含んでいる。表示素子２８１は、例えば、液晶ディスプレイ（ＬＣＤ）である。表示素子２８１からの光がレンズ２８４及び凹面鏡２８５を介して瞳孔から目３００に入射し、網膜に表示素子２８１の像が投影される。図１１に示す装置は、網膜投影方式の装置の一例である。観察補助装置２００は、網膜投影方式の装置を含んでもよい。

図１２に示す例では、出力部２２０は、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）ミラー２８６と、凹面鏡２８５を含んでいる。ＭＥＭＳミラー２８６を制御することで、瞳孔から目３００に入射した光で網膜を走査する。図１２に示す装置は、網膜走査方式の装置の一例である。観察補助装置２００は、網膜走査方式の装置を含んでもよい。

図１３に示す例では、出力部２２０は、表示素子２８７と、レンズ２８８と、回折式導光素子２８９を含んでいる。表示素子２８７は、例えば、液晶ディスプレイ（ＬＣＤ）である。表示素子２８７からの光はレンズ２８８を介して回折式導光素子２８９へ入射する。回折式導光素子２８９は、例えば、透明な平板と回折光学素子を含んでいる。回折式導光素子２８９へ入射した光が回折反射を繰り返して進行することで、目３００の前に位置する回折光学素子に到達し、画像（補助情報８）が再生される。図１３に示す装置は、ホログラム方式の装置の一例である。観察補助装置２００は、ホログラム方式の装置を含んでもよい。

［第２の実施形態］
図１４は、本実施形態に係るシステムの機能的構成を説明する図である。本実施形態に係るシステム（以降、単に、本システムと記す。）は、図１４に示すように、観察装置１００ａと、観察装置１００ａと通信可能な観察補助装置２００ａを含んでいる。

観察装置１００ａは、発信部１４０の代わりに受信部１５０を含む点が、観察装置１００とは異なる。観察補助装置２００ａは、受信部２４０の代わりに発信部２５０を含む点が、観察補助装置２００とは異なる。

即ち、本システムは、観察装置１００ａが相対位置を検出するための位置信号の受信側として機能し、観察補助装置２００ａが発信側として機能する点が、システム１０００とは異なっている。さらに、本システムでは、相対位置が観察装置１００ａで算出されるため、観察装置１００ａから観察補助装置２００ａへ補助情報とともに相対位置に関する情報も送信される。本システムによっても、システム１０００と同様の効果を得ることができる。

［第３の実施形態］
図１５は、本実施形態に係るシステムの機能的構成を説明する図である。本実施形態に係るシステム（以降、単に、本システムと記す。）は、図１５に示すように、観察装置１００ｂと、観察装置１００ｂと通信可能な観察補助装置２００ｂを含んでいる。

観察装置１００ｂは、発信部１４０を含まない点が、観察装置１００とは異なる。観察補助装置２００ｂは、受信部２４０の代わりに撮影部２７０を含む点が、観察補助装置２００とは異なる。撮影部２７０は、網膜の画像を撮影する撮影装置であり、観察補助装置２００ｂを装着したユーザの網膜の画像を撮影し、制御部２１０は、撮影部２７０で撮影した画像に基づいて相対位置を検出する。即ち、本システムは、観察補助装置２００ｂ単独で、相対位置を検出する点が、システム１０００とは異なっている。

図１６は、出力部２６０と撮影部２７０の構成の一例を説明する図である。図１７は、撮影部２７０で撮影された画像の一例を示した図である。図１６に示す例では、出力部２６０は、図１１に示す出力部２２０と同じ構成を有し、ユーザの網膜に画像を投影する網膜投影装置である。即ち、出力部２６０は、表示素子２８１と、レンズ２８４と、凹面鏡２８５を含んでいる。表示素子２８１からの光がレンズ２８４及び凹面鏡２８５を介して瞳孔から目３００に入射し、網膜に表示素子２８１の像が投影される。

撮影部２７０は、撮像素子２８２と、ハーフミラー２８３と、レンズ２８４と、凹面鏡２８５を含んでいる。網膜からの光は瞳孔を通過して凹面鏡２８５及びレンズ２８４を介してハーフミラー２８３に入射する。さらに、ハーフミラー２８３で反射した光が撮像素子２８２に照射されることで、撮像素子２８２に網膜の像が投影される。

撮影部２７０が網膜の画像を撮影するとき、出力部２６０は、位置検出用画像を網膜に投影する。具体的には、出力部２６０は、例えば、ユーザが接眼レンズ１０２に近づくと、表示素子２８１に接眼レンズ１０２の視野数に合わせたサイズの円環を表示し、相対位置検出用画像１０を網膜に投影する。出力部２６０は、表示素子２８１が可視域外の光を発光することで、可視域外の光で相対位置検出用画像１０を網膜へ投影することが望ましい。可視域外の光としては、例えば、赤外光を用いることが望ましい。撮影部２７０は、出力部２６０で相対位置検出用画像１０を網膜に投影している期間中に網膜の画像を撮影する。これにより、接眼レンズ１０２を介して網膜に投影されている画像９と相対位置検出用画像１０を含む画像が、撮影部２７０によって撮影される。

観察補助装置２００ｂでは、制御部２１０は、出力部２６０で相対位置検出用画像１０を網膜に投影している期間中に撮影部２７０で撮影した網膜の画像に基づいて相対位置を検出する。より具体的には、画像９と相対位置検出用画像１０に基づいて相対位置を検出してもよく、例えば、画像９と相対位置検出用画像１０の中心位置を比較することで相対位置を検出してもよい。

本システムによっても、システム１０００と同様の効果を得ることができる。また、本システムによれば、従来の観察装置１００に対する変形を最小限に抑えることができる。

［第４の実施形態］
図１８は、本実施形態に係るシステムの機能的構成を説明する図である。図１９は、観察補助装置２００ｃにおける補助情報の出力例を示す図である。本実施形態に係るシステム（以降、単に、本システムと記す。）は、図１８に示すように、観察装置１００と、観察装置１００と通信可能な観察補助装置２００ｃを含んでいる。なお、観察装置１００では、送信部１３０は、補助情報とともにデジタル画像を観察補助装置２００ｃへ送信する。

観察補助装置２００ｃは、向き検出部２９１を含む点が、観察補助装置２００とは異なる。向き検出部２９１は、観察補助装置２００ｃの向きを検出するセンサを含んでいる。観察補助装置２００ｃは、相対位置と向き検出部２９１で検出された向きが所定の条件を満たすときに、観察装置１００で撮影されたデジタル画像を補助情報として出力する。これにより、ユーザが試料をステージにセットする作業を支援することができる。

所定の条件は、例えば、観察装置１００と観察補助装置２００の距離が所定距離（第３距離）以上で所定距離（第４距離（＞第３距離））未満であり、且つ、検出された向きが所定の向き（例えば、斜め下向きなど）であることであってもよい。所定の条件は、ユーザが試料（容器）をステージにセットするときに満たされる条件であればよい。

これにより、図１９に示すように、ユーザが試料をステージにセットする作業中に、デジタル画像２が確認することができるため、接眼レンズ１０２を覗くことなく試料をステージの適切な位置に配置することが可能となる。なお、第３距離は、図８に示す第１距離と同じであってもよい。

［第５の実施形態］
図２０は、本実施形態に係るシステムの機能的構成を説明する図である。図２１は、観察補助装置２００ｄにおける補助情報の出力例を示す図である。本実施形態に係るシステム（以降、単に、本システムと記す。）は、図２０に示すように、観察装置１００と、観察装置１００と通信可能な観察補助装置２００ｄを含んでいる。

観察補助装置２００ｄは、照度検出部２９２を含む点が、観察補助装置２００とは異なる。照度検出部２９２は、観察補助装置２００の周囲の明るさを検出する照度センサを含んでいる。観察補助装置２００ｄは、図２１に示すように、相対位置が所定の条件を満たすときに、観察装置１００の位置を示す画像（ワイヤーフレーム１１）を補助画像として出力する。より望ましくは、観察補助装置２００ｄは、相対位置と照度検出部２９２で検出された照度が所定の条件を満たすときに、観察装置１００の位置を示す画像を補助画像として出力することが望ましい。

所定の条件は、例えば、観察装置１００と観察補助装置２００の距離が所定距離（第３距離）以上で所定距離（第４距離（＞第３距離））未満であることであってもよい。また、観察装置１００と観察補助装置２００の距離が所定距離（第３距離）以上で所定距離（第４距離（＞第３距離））未満であることであり、且つ、検出された照度が所定値未満であることであってもよい。所定の条件は、ユーザが観察装置１００にある程度近づいたときに満たされる条件であればよく、より望ましくは、暗い環境でユーザが観察装置１００にある程度近づいたときに満たされる条件であればよい。

これにより、図２１に示すように観察装置１００のワイヤーフレーム１１が表示されるため、ユーザは暗室内で試料を観察する場合であっても、観察装置１００の位置を、観察補助装置２００を通じて把握することができる。従って、暗室内での観察作業をスムーズに行うことができる。なお、第３距離は、図８に示す第１距離と同じであってもよい。

上述した実施形態は、発明の理解を容易にするために具体例を示したものであり、本発明はこれらの実施形態に限定されるものではない。上述の実施形態を変形した変形形態および上述した実施形態に代替する代替形態が包含され得る。つまり、各実施形態は、その趣旨および範囲を逸脱しない範囲で構成要素を変形することが可能である。また、１つ以上の実施形態に開示されている複数の構成要素を適宜組み合わせることにより、新たな実施形態を実施することができる。また、各実施形態に示される構成要素からいくつかの構成要素を削除してもよく、または実施形態に示される構成要素にいくつかの構成要素を追加してもよい。さらに、各実施形態に示す処理手順は、矛盾しない限り順序を入れ替えて行われてもよい。即ち、本発明の観察システム、及び、観察支援方法は、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。

上述した実施形態では、例えば、図２において、観察装置で取得したデジタル画像２に基づいて補助情報３を生成する例を示したが、補助情報は、必ずしもデジタル画像に基づいて生成される必要はない。補助情報は、例えば、対物レンズ１０１の倍率など観察装置１００の設定に関する情報であってもよく、ユーザは、図２２に示すように、対物レンズ１０１の倍率を示す補助情報“２０×”を光学画像に重ねた重畳画像１２を観察してもよい。また、補助情報は、図２２に示すような観察装置から取得した情報に限らない。補助情報は、例えば、所定の時刻からの経過時間や所定時間までの残り時間などの時間に関する情報であってもよく、ユーザは、図２３に示すように、時間を示す補助情報“００：０１：３５”を光学画像に重ねた重畳画像１３を観察してもよい。

上述した実施形態では、図１０において、観察装置１００に発信部１４０を含み、観察補助装置２００に受信部２４０を含む構成を例示し、図１４において、観察装置１００ａに受信部１５０を含み、観察補助装置２００に発信部２５０を含む構成を例示した。即ち、システムでは、観察装置と観察補助装置の一方が、相対位置を検出するための信号を発信する発信部を含み、他方が、相対位置を検出するための信号を受信する受信部を含んでいればよい。

上述した実施形態では、観察補助装置の具体例として、スマートグラス、シースルー型のヘッドマウントディスプレイ、スマートコンタクトレンズを例示したが、スマートグラス又はシースルー型のヘッドマウントディスプレイを観察補助装置として使用する場合、裸眼で接眼レンズ１０２を覗く場合よりもアイレリーフが短いと観察補助装置が干渉して目をアイポイントに置くことができないことがある。このため、観察装置は、所謂ハイアイポイントの接眼レンズ１０２を含むことが望ましく、例えば、観察装置は、４０ｍｍ以上のアイレリーフを有することが望ましい。

本明細書において、“Ａに基づいて”という表現は、“Ａのみに基づいて”を意味するものではなく、“少なくともＡに基づいて”を意味している。即ち、“Ａに基づいて”はＡに加えてＢに基づいてもよい。

１ 光学画像
２ デジタル画像
３、８ 補助情報
４～６、１２、１３ 重畳画像
７、９ 画像
１０ 相対位置検出用画像
１１ ワイヤーフレーム
１００、１００ａ～１００ｃ 観察装置
１０１ 対物レンズ
１０２ 接眼レンズ
１０３ デジタルカメラ
１０４ 発信機
１０５ 制御装置
１１０、２１０ 制御部
１２０、２７０ 撮影部
１３０ 送信部
１４０、２５０ 発信部
１５０、２３０、２４０ 受信部
２００、２００ａ～２００ｄ 観察補助装置
２０１ 受信機
２１０ 制御部
２２０、２６０ 出力部
２８１、２８７ 表示素子
２８２ 撮像素子
２８３ ハーフミラー
２８４、２８８ レンズ
２８５ 凹面鏡
２８６ ＭＥＭＳミラー
２８９ 回折式導光素子
２９１ 向き検出部
２９２ 照度検出部
３００ 目
１０００ システム

Claims (16)

1. 接眼レンズと対物レンズを含み、前記接眼レンズと前記対物レンズの間の光路上に試料の実像を形成する観察装置と、
   ユーザに装着され、前記ユーザに補助情報を出力する観察補助装置であって、前記観察補助装置の前記観察装置に対する相対位置に基づいて前記接眼レンズを介して前記ユーザによって観察される前記試料の虚像に前記補助情報を重ねる観察補助装置と、を備える
   ことを特徴とする観察システム。
2. 請求項１に記載の観察システムにおいて、
   前記観察補助装置は、前記接眼レンズの光軸から前記観察補助装置までの距離と方向に基づいて前記補助情報の出力位置を変更する
   ことを特徴とする観察システム。
3. 請求項１又は請求項２に記載の観察システムにおいて、
   前記観察補助装置は、前記観察装置から前記観察補助装置までの距離に基づいて前記補助情報の出力を停止する
   ことを特徴とする観察システム。
4. 請求項１乃至請求項３のいずれか１項に記載の観察システムにおいて、
   前記観察装置と前記観察補助装置の一方は、前記相対位置を検出するための信号を発信する発信部を含み、
   前記観察装置と前記観察補助装置の他方は、前記相対位置を検出するための信号を受信する受信部を含む
   ことを特徴とする観察システム。
5. 請求項４に記載の観察システムにおいて、
   前記信号は、可視域外の電磁波、又は、超音波の少なくとも一方を含む
   ことを特徴とする観察システム。
6. 請求項４又は請求項５に記載の観察システムにおいて、
   前記観察装置と前記観察補助装置は、三点測位で前記相対位置を検出する
   ことを特徴とする観察システム。
7. 請求項１乃至請求項３のいずれか１項に記載の観察システムにおいて、
   前記観察補助装置は、
   前記ユーザの網膜に画像を投影する網膜投影装置と、
   前記網膜の画像を撮影する撮影装置と、を含み、
   前記網膜投影装置で相対位置検出用画像を前記網膜に投影している期間中に前記撮影装置で撮影した前記網膜の画像に基づいて前記相対位置を検出する
   ことを特徴とする観察システム。
8. 請求項７に記載の観察システムにおいて、
   前記観察補助装置は、それぞれ前記網膜の画像に含まれている、前記網膜に投影された前記相対位置検出用画像と、前記網膜に投影された前記試料の画像と、に基づいて前記相対位置を検出する
   ことを特徴とする観察システム。
9. 請求項７又は請求項８に記載の観察システムにおいて、
   前記網膜投影装置は、可視域外の光で前記相対位置検出用画像を前記網膜へ投影する
   ことを特徴とする観察システム。
10. 請求項９に記載の観察システムにおいて、
    前記可視域外の光は、赤外光である
    ことを特徴とする観察システム。
11. 請求項１乃至請求項１０のいずれか１項に記載の観察システムにおいて、
    前記観察補助装置は、スマートグラス、シースルー型のヘッドマウントディスプレイ、又は、スマートコンタクトレンズの少なくとも一つを含む
    ことを特徴とする観察システム。
12. 請求項１乃至請求項１１のいずれか１項に記載の観察システムにおいて、
    前記観察補助装置は、網膜投影方式、網膜走査方式、ホログラム方式、又は、マイクロＬＥＤ方式の装置の少なくとも一つを含む
    ことを特徴とする観察システム。
13. 請求項１乃至請求項１２のいずれか１項に記載の観察システムにおいて、
    前記観察補助装置は、
    さらに、前記観察補助装置の向きを検出するセンサを備え、
    前記相対位置と前記センサで検出された向きが所定の条件を満たすときに、前記観察装置で撮影された前記試料の画像を前記補助情報として出力する
    ことを特徴とする観察システム。
14. 請求項１乃至請求項１３のいずれか１項に記載の観察システムにおいて、
    前記観察補助装置は、前記相対位置が所定の条件を満たすときに、前記観察装置の位置を示す画像を前記補助情報として出力する
    ことを特徴とする観察システム。
15. 請求項１乃至請求項１４のいずれか１項に記載の観察システムにおいて、
    前記観察装置は、４０ｍｍ以上のアイレリーフを有する
    ことを特徴とする観察システム。
16. 接眼レンズと対物レンズを含む観察装置が、前記接眼レンズと前記対物レンズの間の光路上に試料の実像を形成し、
    ユーザに装着された観察補助装置が、前記ユーザに補助情報を出力し、前記観察補助装置の前記観察装置に対する相対位置に基づいて前記接眼レンズを介して前記ユーザによって観察される前記試料の虚像に前記補助情報を重ねる
    ことを特徴とする観察支援方法。

Images