JP2023000013A - 三次元検出顕微鏡システム - Google Patents

Abstract

【課題】通常の光学顕微鏡に改造をほどこすことなく、高速でリアルタイムに三次元的な画像検出を可能とし、従来の二次元のみであった画像フィードバックを三次元で行うことができる三次元顕微鏡システムを実現する。【解決手段】本発明の観察物の三次元検出を行う三次元顕微鏡システムは、顕微鏡２と、顕微鏡２の観察物３を撮影する複数のカメラ４と、カメラ４を介して取得された観察物３の複数画像が積層化され三次元化される画像処理部７１とを備え、カメラ４と顕微鏡２との間にカメラアダプタ５が装着される。【選択図】図１

Description

本発明は、三次元検出顕微鏡に関し、特に、リアルタイムに三次元検出が可能な三次元検出顕微鏡システムに関する。

従来の微小領域を観察できる顕微鏡では、焦点深度が浅いため、ある焦点での二次元的な画像のみが得られ、高さ方向の情報は得られない。
例えば、図３（ａ）に示すように、観察物３がＸ軸、Ｙ軸、Ｚ軸の三次元情報で現わされる球状の微小物体に対して、観察物３の中心Ｐにマニュピレータ６の針部６５を刺して観察する場合、顕微鏡から得られる顕微鏡像は、観察物の焦点面Ｓ１は、Ｓ１１、Ｓ１２、Ｓ１３の焦点接点の三次元情報であるものの、図３（ｂ）に示すように、焦点面内の中心Ｑは、Ｙ軸とＺ軸の二次元情報に基づく二次元的な画像の中心を表わすにとどまる。
よって、観察物３のＸ軸、Ｙ軸、Ｚ軸の三次元情報の内、図３（ａ）に示す「Ｘ？」で示すように、高さ方向のＸ軸情報は得られないと針部６５と観察物３の中心Ｐとの差分であるＸ軸の高さ方向にどの程度ずれているのか分からない。このような三次元情報を持つ立体的形状の観察物３を観察する場合、高さ方向の大きさも分からないという課題があった。

そこで、この課題を解決するため、顕微鏡視野下で三次元観察を行う手法が必要となる。例えば、顕微鏡で三次元観察を行うには、主に２つの方法があり、一つは二方向から観察し、得られた観察画像を三次元に合成する手法で、もう一つは図４（ａ）に示すように、焦点高さをＳ１からＳ５まで変化させて観察し、これらの得られた複数枚の観察画像から観察物３のような立体的形状の三次元（積層画像）に合成する手法がある。

しかしながら、この種の焦点高さを変化させる手法では一つの三次元画像を取得する際に、焦点高さを逐一変更し画像を取得する必要がある。そのためマニピュレータ等の画像フィードバックを行うアプリケーションにおいてリアルタイム性に欠ける問題があった。
結局、従来技術において、通常の顕微鏡構成でリアルタイムな画像フィードバックはある焦点面の二次元情報でのみ可能で、高さ方向の情報が得られず、三次元では実施できない課題がある。

そこで、高速で複数の焦点高さの画像を取得する方法として、特許文献１のように照明光の位相を変化させて特殊なものにする手法や、対物レンズを液体レンズにして高速で焦点高さを変化させる手法等がある。しかし、これら手法では、専用の顕微鏡を開発或いは改造する必要がある課題がある。

特開２０２０―７９９２９

本発明は、このような課題を解決するためなされたものであり、その目的は、通常の光学顕微鏡に改造をほどこすことなく、高速でリアルタイムに三次元的な画像検出を可能とし、従来の二次元のみであった画像フィードバックを三次元で行うことができる。

この目的を達成するために、第１の発明の三次元検出顕微鏡システムは、概略すると図１に示すように、観察物の三次元検出を行う三次元顕微鏡システム１であって、
顕微鏡２と、
前記顕微鏡２の観察物３を撮影する複数のカメラ４と、
前記カメラ４を介して取得された前記観察物３の複数画像が積層化され三次元化される画像処理部７１を備え、
前記カメラ４と前記顕微鏡２との間にカメラアダプタ５が装着されることを特徴とする。
第２の発明は、第１の発明において、前記顕微鏡２と前記カメラアダプタ５との間隔が複数の前記カメラ４毎に異なるように設けて装着され、前記画像処理部７１は、前記カメラ２による前記観察物３の焦点高さが異なる複数の画像が同時に取得されて積層化の画像処理がなされることを特徴とする。
第３の発明は、第１の発明又は第２の発明において、前記観察物３の複数画像が積層化された三次元検出の生成は、人工知能の支援により行われる人工知能プログラムを備えていることを特徴とする。
第４の発明は、第１の発明乃至第３の発明のいずれかにおいて、前記顕微鏡２の前記観察物３を微細に動かすマニュピレータ６と、前記三次元検出のデータにより前記マニュピレータ６を駆動制御する制御部７３とを備えていることを特徴とする。

このような構成により、顕微鏡に複数のカメラを異なる焦点高さになるように取り付け、得られる画像を同時に処理することで高速で三次元画像を取得可能にする。さらに、制御装置側には人工知能によって少ない積層画像で三次元画像を生成できる。

本発明によれば、通常の光学顕微鏡に改造をほどこすことなく、高速でリアルタイムに三次元的な画像検出を可能とし、従来の二次元のみであった画像フィードバックを三次元で行うことができる三次元検出顕微鏡システムを実現することができる。

（ａ）は本発明の実施形態の概略図で、（ｂ）は観察物と三次元の積層画像の概念を表した図である。 （ａ）は、本発明の顕微鏡とカメラアダプタの間隔が無いケースとその焦点状態を示す図で、（ｂ）は、本発明の顕微鏡とカメラアダプタの間隔があるケースとその焦点状態を示す図である。 （ａ）は、従来技術の観察物の焦点位置を示す図で、（ｂ）は、その焦点面内を示す図である。 （ａ）は、従来技術の観察物の複数の積層画像を示す図で、（ｂ）は、その三次元の積層画像の合成による観察物を概念化した図である。

以下、本発明の三次元検出顕微鏡システムの一実施形態について、添付図面１乃至２を参照して説明する。なお、本実施形態は、本発明の一実施形態であって、何等これに限定解釈されるものではなく本発明の範囲内で設計変更が可能である。

本三次元検出顕微鏡システム１は、図１に示すように、細胞操作、微細加工及び微細物ピックアップの微細操作用途のためのマニピュレーションシテムに用いられる観察物３の三次元検出を行う顕微鏡システムであって、顕微鏡２と、顕微鏡２の観察物３を撮影する複数の顕微鏡カメラ（以下、単にカメラという。）４と、カメラ４を介して取得された観察物３の複数画像が積層化され三次元化される画像処理部７１（制御装置７）と、カメラ４は、顕微鏡２との間にカメラアダプタ５が介在されて装着されている。なお、図１において、カメラ４３（４）が顕微鏡２に装着されないで離れて図示されているのは、本実施形態を分かり易く説明するためであって、実際には、図２に示されているとおり、カメラ４と顕微鏡２（鏡筒２６）との間にカメラアダプタ５を介在させて装着されている。

本三次元検出顕微鏡システム１で用いられる顕微鏡２は、微小対象の試料である観察物３を肉眼で観察する双眼の接眼レンズを有している一般的な光学顕微鏡である。このような顕微鏡２で撮影した高倍率画像な観察物３は、カメラ４を介してデジタルデータとして制御装置７の画像処理部７１に取り込み三次元検出の画像処理が行われる。

顕微鏡２は、図１に示すように、鏡脚２１上に取り付けられた鏡柱２２によって所定位置に固定され、光源２３による光軸は垂直方向である。ステージ２４には、観察物３が載置されている。対物レンズ２５は、倍率を変更して光軸上にある観察物３を観察するためのものである。

カメラ４は、顕微鏡２での観察画像を撮影して、当該観察画像を表している画像データを生成する顕微鏡用デジタルカメラであって、顕微鏡２と制御装置７の画像処理部７１は、ケーブル２７により接続されて相互に電気的信号の送受ができ、カメラ４による撮影動作が可能となる。この顕微鏡２での観察画像は、制御装置７のモニター（図示せず）により確認することができる。

また、本実施形態では、図１に示すように、観察物３を微細に動かすマニュピレータ６が顕微鏡に向かって左右１つずつ備えられている。
マニュピレータ６は、制御部７３から三次元検出のデータ（Ｘ軸、Ｙ軸、Ｚ軸）信号を受けて、顕微鏡２の観察物３である微小体を微細に直交３軸（Ｘ軸、Ｙ軸、Ｚ軸）に動かす機能を有する。マニュピレータ６は、顕微鏡２に向かって左側のホールディング用マニュピレータ６１と、左側のインジェクション用マニュピレータ６４と備えている。そして、ホールディング用マニュピレータ６１の先端にはホールディング用マニピュレータ針部６２と、左側のインジェクション用マニュピレータ６４の先端にはインジェクション用マニピュレータ針部６５を備えている。

このホールディング用マニピュレータ６１は、直交３軸（Ｘ軸、Ｙ軸、Ｚ軸）構成のマニピュレータとして、ホールディング用マニピュレータ駆動装置６３の駆動制御により三次元空間を移動領域として移動し、ステージ２４上の観察物３である微小体等を保持される。また、インジェクション用マニピュレータ６４は、直交３軸（Ｘ軸、Ｙ軸、Ｚ軸）構成のマニピュレータとして、インジェクション用マニピュレータ駆動装置６６の駆動制御により、ステージ２４上の観察物３である微小体等を含む三次元空間を移動領域として移動し、例えば、インジェクション用マニピュレータ針部６５を観察物３に挿入するための挿入位置が制御される。

このように構成された本三次元検出顕微鏡システム１において、顕微鏡２とカメラアダプタ５との間隔が複数のカメラ４毎に異なるように設けて装着され、カメラ２による前記観察物３の焦点高さが異なる複数の画像が同時に取得されて画像処理される三次元検出の原理について、図２（ａ）、（ｂ）を用いて説明する。
先ず、図２（ａ）に示すように、本実施形態のカメラ４と顕微鏡２の鏡筒２６に有するレンズとの間にカメラアダプタ５が介在されて装着され、図２（ａ）は顕微鏡２とカメラアダプタ５との間隔（隙間）が無い隙間ゼロの状態を示している。この場合、マニュピレータ６の針部６２を顕微鏡２で観察すると、その焦点面は、図２（ａ）に示す楕円内のとおりで、針部６２の中間部に合っていて、焦点面以外の針部６２の先端部分は焦点が合わずはっきりと見えないのが分かる。

次に、図２（ｂ）は顕微鏡２とカメラアダプタ５との間隔（隙間）「ｔ」が１ｍｍの状態を示している。この場合、マニュピレータ６の針部６２を顕微鏡２で観察すると、その焦点面は図の楕円内のとおりで、針部６２の先端部に焦点が合っていている。図２に示す本実施形態の例では、間隔（隙間）「ｔ」をゼロから１ｍｍに変化させると焦点の高さが５０μｍになる変化が認められる。
すなわち、このことは、顕微鏡２とカメラアダプタ５の間隔（隙間）を設けることで、焦点高さを変えられることとなる。言い換えれば、焦点高さが異なる複数の焦点面を観察するには、顕微鏡２とカメラアダプタ５の間隔（隙間）「ｔ」を複数異なって設ければよいことになる。

このように、焦点高さが異なる複数の焦点面の画像を観察可能するために、顕微鏡２とカメラアダプタ５の間隔（隙間）「ｔ」が複数異なる複数のカメラ４毎に異なるになるように設ける。
本実施形態では、この原理に基づき、図１（ａ）のように３個のカメラ４１，４２，４３のそれぞれにおいて、顕微鏡２とカメラアダプタ５との間隔（隙間）をずらして異なる設定をした結果、図１（ｂ）に示すように焦点高さが異なる３枚の観察物３の焦点面のＳ１，Ｓ３，Ｓ５をそれぞれのカメラからＸ軸、Ｙ軸、Ｚ軸の三次元情報を検出し合成して三次元画像（立体形状）の観察物画像（積層画像）を生成することができる。
これら３個のカメラ４１，４２，４３のそれぞれ焦点面が異なる画像や合成された観察物画像（積層画像）は、制御装置７のモニター（図示せず）に映し出されて確認することができる。
なお、本実施形態では、複数のカメラ４を３個として説明しているが、例えば、図４（ａ）のように焦点面Ｓ１からＳ５であれば、５個のカメラ４を備えればよく、したがって、カメラ４の個数は観察物３の微細状況等によって変えることができる。

次に、本実施形態では、観察物３の複数画像が積層化された三次元検出の生成は、人工知能の支援により行われる人工知能プログラムを備えている。具体的には、３つのカメラ４１，４２，４３を異なる焦点高さにしつつ、同時のタイミングにより顕微鏡画像（焦点面画像）を取得して、これらを高速化しリアルタイムに積層化された三次元検出を可能とする手段として、画像処理部７１に制御装置７の図示しないメモリにロードされたＡＩ（人工知能）７２のプログラムを組み合わせた構成を備えている。

ＡＩ（人工知能）７２のプログラムは、多数の学習用の観察物３の焦点高さが異なる三次元の画像データを用いて、例えば、観察物３の画像と焦点高さとの関係等を学習し、学習した結果に基づいて、３つのカメラ４１，４２，４３から受信した三次元データが異なる３つの画像が、観察物３の３次元データであるという確信度を算出し予測する。そして、予測された確信度を含む確信度算出結果を制御装置７の制御部７３にマニュピレータ６の制御信号として通知される。画像処理部７１は、選択した確信度算出結果が複数ある場合、複数の確信度算出結果のうち、最も高い確信度を示している確信度算出結果を選択決定する。

なお、ＡＩ（人工知能）７２のプログラムは、機械学習であって、ニューラルネットワークの教師あり学習（ディープラーニング）、パターン認識モデルを用いた教師あり学習（サポートベクターマシーン）または確率モデルを用いた教師あり学習であってもよい。

ハードウエア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、３つのカメラ４１，４２，４３から観察物３の焦点高さが異なる画像を制御装置７の画像処理部７１に送信し、ＡＩ（人工知能）７２において画像処理部７１から受信した複数の画像結果について、画像処理部７１で受信された複数画像に関連付けてＡＩ（人工知能）７２のプログラムによって学習がされた画像情報に対応する確信度が算出され、その予測結果に基づいて、三次元に合成された観察物３の３次元である立体画像を出力するものである。

本実施形態では、画像処理部７１からの積層画像の三次元（Ｘ軸、Ｙ軸、Ｚ軸）データをＡＩ（人工知能）７２のプログラムにより学習及び決定が可能なコンピュータにおいて処理が実行される。このＡＩ（人工知能）７２によれば、カメラ４の映像を通した得た観察物３の三次元（Ｘ軸、Ｙ軸、Ｚ軸）データ、いわゆる焦点の高さ距離や位置や形状まで正確に学習させて検知することができる。

その結果、従来の一つのカメラで逐一焦点を変えて画像を取得後これらの逐一画像を単に合成する方法ではなく、３つのカメラ４１，４２，４３で撮像し取得された観察物３の焦点が異なる積層画像からＡＩ（人工知能）７２のプログラムによる予測支援を得て瞬時のリアルタイムで３つのカメラ４１，４２，４３の少ない画像からでもより完成度の高い観察物３の三次元画像を生成することができる。

このように、本三次元検出顕微鏡システムは、ＡＩ（人工知能）７２が確信度算出結果を予測選択することにより、少ない積層画像でもリアルタイムにて三次元画像を生成することができ、ＡＩ（人工知能）７２との組み合わせによる三次元検出顕微鏡システム１を実現することができる。

したがって、焦点高さを変化させる従来技術にあっては、一つの三次元画像を取得するには焦点高さを逐一変更し、焦点面が異なるようにして積層画像を完成させる必要があったことから画像処理が遅くリアルタイムに欠けていたが、本三次元検出顕微鏡システム１であればこの画像処理のリアルタイムの問題を解決することができる。

さらに、本三次元検出顕微鏡システムにあっては、マニピュレータ６の針部６２、６５と観察物３のＸ軸の高さ方向のずれやずれの大きさを分析し反映された三次元画像がリアルタイムに生成され、観察物３に対し的確に観察できるようにフィードバック制御信号が、ホールディング用マニピュレータ駆動装置６３とインジェクション用マニピュレータ駆動装置６６とに逐次に伝えられる。

このように、焦点面が二次元での画像によるフィードバック制御ではなく、焦点面が三次元での画像によるフィードバック制御がリアルタイムに行われることにより、観察物３の細胞操作や微細加工など三次元上のマニピュレータ操作が正確かつ効率的に可能となる。

本発明の三次元検出顕微鏡システムは、三次元検出顕微鏡を用いた医療分野、生物分野等の最先端分野のマイクロマニピュレータにおいて利用可能である。

１ 三次元検出顕微鏡システム
２ 顕微鏡
２１ 鏡脚
２２ 鏡柱
２３ 光源
２４ ステージ
２５ 対物レンズ
２６ 鏡筒
２７ ケーブル
３ 観察物（微小体）
４ カメラ（顕微鏡カメラ）
５ カメラアダプタ
６ マニュピレータ
６１ ホールディング用マニピュレータ
６２ ホールディング用マニピュレータ針部
６３ ホールディング用マニピュレータ駆動装置
６４ インジェクション用マニピュレータ
６５ インジェクション用マニピュレータ針部
６６ インジェクション用マニピュレータ駆動装置
７ 制御装置
７１ 画像処理部
７２ ＡＩ（人工知能）
７３ 制御部

Claims (4)

1. 観察物の三次元検出を行う三次元顕微鏡システムであって、
   顕微鏡と、
   前記顕微鏡の観察物を撮影する複数のカメラと、
   前記カメラを介して取得された前記観察物の複数画像が積層化され三次元化される画像処理部を備え、
   前記カメラと前記顕微鏡との間にカメラアダプタが装着されていることを特徴とする三次元顕微鏡システム。
2. 前記顕微鏡と前記カメラアダプタとの間隔が複数の前記カメラ毎に異なるように設けて装着され、前記画像処理部は、前記カメラによる前記観察物の焦点高さが異なる複数の画像が同時に取得されて積層化の画像処理がなされることを特徴とする請求項１に記載の三次元顕微鏡システム。
3. 前記観察物の複数画像が積層化された三次元検出の生成は、人工知能の支援により行われる人工知能プログラムを備えていることを特徴とする請求項１又は２に記載の三次元顕微鏡システム。
4. 前記顕微鏡の前記観察物を微細に動かすマニュピレータと、前記三次元検出のデータにより前記マニュピレータを駆動制御する制御部とを備えていることを特徴とする請求項１乃至３のいずれかに記載の三次元顕微鏡システム。
   

Images