JP2015031831A - 細胞追跡装置及び方法、細胞追跡プログラム - Google Patents

Abstract

【課題】短時間露光撮像と長時間露光撮像とにより取得された細胞画像群に基づいて細胞等の生体試料の位置変位を高精度に計測し、生体試料を正確に追跡することができる細胞追跡装置を提供する。【解決手段】複数の時点でそれぞれ短時間露光条件に従って細胞を撮像して複数の短時間露光画像を取得する第１の撮像手段４０１と、複数の時点間の各期間内で、それぞれ細胞を長時間露光条件に従って撮像して長時間露光画像を取得する第２の撮像手段４０２と、短時間露光画像に基づいて細胞の追跡を行う第１の追跡手段４０３と、長時間露光画像に基づいて細胞の追跡を行う第２の追跡手段４０４と、第２の追跡手段による追跡結果に対して第１の追跡手段による追跡結果を補間する補間手段４０５とを具備する。【選択図】図１

Description

本発明は、顕微鏡を用いて収集された細胞画像群に基づいて細胞等の生体試料を追跡し、当該生体試料の位置変位を計測する為の細胞追跡装置及び方法、細胞追跡プログラムに関する。

生物学分野や医学分野の研究では、例えば、生きた細胞等の生体試料の生物学的活性を表す蛍光、発光強度を観測し、生体試料と調べたい生体関連物質とを画像化して、生体試料内外における発現量や形状特徴の変化を経時的に観察することが行われている。また、この観察では、時間経過に沿って発光遺伝子の発現量を捉えるために、個々の生きた細胞からの発光量を経時的に測定している。この発光量の経時的な測定では、細胞等の生体試料内のタンパク質分子の動的な機能発現を捉えるためにタイムラプス（微速度）撮像が行われている。このタイムラプス撮像により時系列の複数のタイムラプス画像列が得られる。

この発光量の経時的な測定の際には、タイムラプス画像列の一枚一枚から細胞等の生体試料の位置を目視で確認し、これら位置上の輝度値、またはこれら位置を中心とした所定領域内の平均輝度等を細胞の発光量としてプロットすることが一般的に行われている。ところが、目視を用いた測定は、非常に煩雑な作業であるので、画像認識技術を応用した細胞位置を正確に追い続けることのできる細胞追跡処理による作業の自動化が望まれている。

このようなことから細胞等の生体試料の変位計測を行う技術として例えば特許文献１がある。この特許文献１は、検出用の撮像と観察用の撮像とを一つの撮像装置で行うことが可能な生体観察装置に関し、試料に近接配置される対物レンズと、この対物レンズを介して試料を撮像する撮像装置と、試料の変位を補正する方向に対物レンズを駆動する対物レンズ駆動装置と、試料の観察用画像と試料の変位とを検出するための検出用画像を取得するように撮像装置の制御を行う制御装置とを備え、観察用画像を長時間露光撮像により取得し、検出用画像を短時間露光撮像により取得することについて開示する。ここで試料の変位検出のために短時間露光撮像による被写体ぶれの少ない画像を用いている。

特開２０１０−１４９６４号公報

上記特許文献１は、観察用画像を取得するための長時間露光撮像と、変位検出用画像を取得するための短時間露光撮像とを分け、被写体ぶれの少ない短時間露光撮像により取得される変位検出用画像だけを用いて試料の変位を計測できることが前提として考えられる。

しかしながら、短時間露光撮像は、ぶれの抑制とＳ／Ｎ低下との間でトレードオフの関係があり、ぶれが抑制されるもののノイズ量が増大するという課題が存在する。ノイズの多い画像からは、必ずしも安定して試料の変位を計測できるとは限らない。
一方、細胞等の生体試料の追跡では、空間分解能が低いが定量的な評価に利用できる安定した画像を経時的に撮ることができる発光画像に基づいて追跡を行う要求があり、この発光画像に基づく追跡は、長時間露光条件に設定して行われる。

従って、細胞等の生体試料の変位計測を出来るだけ高精度に行うためには、被写体ぶれの少ない短時間露光撮像により取得した画像と、ぶれを含むもののノイズが抑制された長時間露光撮像により取得した画像との両方を用いて試料の変位を求めることが効率的であると考えられる。
本発明の目的は、前記事情に鑑みて為されたもので、短時間露光撮像と長時間露光撮像とにより取得された細胞画像群に基づいて細胞等の生体試料の位置変位を高精度に計測し、当該生体試料を正確に追跡できる細胞追跡装置及び方法、細胞追跡プログラムを提供することにある。

本発明の主要な局面に係る細胞追跡装置は、複数の時点でそれぞれ短時間露光条件に従って細胞を撮像して複数の短時間露光画像を取得する第１の撮像手段と、前記複数の時点間の各期間内で、それぞれ前記細胞を長時間露光条件に従って撮像して長時間露光画像を取得する第２の撮像手段と、前記短時間露光画像に基づいて前記細胞の追跡を行う第１の追跡手段と、前記長時間露光画像に基づいて前記細胞の追跡を行う第２の追跡手段と、前記第２の追跡手段による追跡結果に対して前記第１の追跡手段による追跡結果を補間する補間手段とを具備する。

本発明の主要な局面に係る細胞追跡方法は、複数の時点でそれぞれ短時間露光条件に従って細胞を撮像して複数の短時間露光画像を取得し、前記複数の時点間の各期間内で、それぞれ前記細胞を長時間露光条件に従って撮像して長時間露光画像を取得し、前記短時間露光画像に基づいて前記細胞の追跡を行い、前記長時間露光画像に基づいて前記細胞の追跡を行い、前記長時間露光画像に基づく追跡の結果に対して前記短時間露光画像に基づく追跡の結果を補間する。

本発明の主要な局面に係る細胞追跡プログラムは、コンピュータに、複数の時点でそれぞれ短時間露光条件に従って細胞を撮像して複数の短時間露光画像を取得させ第１の撮像機能と、前記複数の時点間の各期間内で、それぞれ前記細胞を長時間露光条件に従って撮像して長時間露光画像を取得させ第２の撮像機能と、前記短時間露光画像に基づいて前記細胞の追跡を行わさせる第１の追跡機能と、前記長時間露光画像に基づいて前記細胞の追跡を行わさせる第２の追跡機能と、前記第２の追跡手段による追跡結果に対して前記第１の追跡手段による追跡結果を補間させる補間機能とを実現させる。

本発明によれば、短時間露光撮像と長時間露光撮像とにより取得された細胞画像群に基づいて細胞等の生体試料の位置変位を高精度に計測し、当該生体試料を正確に追跡できる細胞追跡装置及び方法、細胞追跡プログラムを提供できる。

第１の実施の形態に係る細胞追跡装置を示すブロック構成図。 同装置の具体的な一例を示す構成図。 同装置による位相差画像Ｐi(n)と発光画像Ｌi(n)との取得タイミングの一例を示す図。 同装置における細胞追跡処理フローチャート。 第２の実施の形態に係る細胞追跡装置を示す構成図。 同装置による位相差画像Ｐi(n)と発光画像Ｌi(n)との取得タイミングの一例を示す図。 同装置における細胞追跡処理フローチャート。

［第１の実施の形態］
以下、第１の実施の形態に係る細胞追跡装置について図面を参照して説明する。図１は細胞追跡装置（以下、本装置４００と称する）のブロック構成図を示す。本装置４００は、複数の時点でそれぞれ短時間露光条件に従って細胞を撮像して複数の短時間露光画像を取得する第１の撮像手段４０１と、複数の時点間の各期間内で、それぞれ細胞を長時間露光条件に従って撮像して長時間露光画像を取得する第２の撮像手段４０２と、第１の撮像手段４０１により取得された短時間露光画像に基づいて細胞の追跡を行う第１の追跡手段４０３と、第２の撮像手段４０２により取得された長時間露光画像に基づいて細胞の追跡を行う第２の追跡手段４０４と、第２の追跡手段４０４による追跡結果に対して第１の追跡手段４０３による追跡結果を補間する補間手段４０５とから成る。なお、短時間露光条件は、細胞の変位を検出するための画像を取得する条件であり、長時間露光条件は、細胞の観察用画像を取得するための条件である。

本装置４００は、第１の撮像手段４０１により複数の時点でそれぞれ短時間露光条件に従って細胞を撮像して複数の短時間露光画像を取得し、第２の撮像手段４０２により複数の時点間の各期間内で、それぞれ細胞を長時間露光条件に従って撮像して長時間露光画像を取得し、第１の追跡手段４０３により短時間露光画像に基づいて細胞の追跡を行い、第２の追跡手段４０４により長時間露光画像に基づいて細胞の追跡を行い、第２の追跡手段４０４による追跡結果に対して第１の追跡手段４０３による追跡結果を補間する。

第１の撮像手段４０１と第２の撮像手段４０２とは、互いに異なる顕微法、例えば発光顕微鏡又は位相差顕微鏡による観察手法によって細胞を撮像する。この第１の撮像手段４０１は、例えば位相差顕微鏡又は微分干渉顕微鏡を含む。これにより、第１の撮像手段４０１は、例えば位相差顕微鏡によって短時間露光画像として位相差画像を取得する。第２の撮像手段４０２は、例えば発光顕微鏡又は蛍光顕微鏡を含む。これにより、第２の撮像手段４０２は、例えば発光顕微鏡によって長時間露光画像として発光画像を取得する。

補間手段４０５は、第２の撮像手段４０２により取得した長時間露光画像中の追跡対象の輝度値が所定の閾値以上であれば、第２の追跡手段４０４による細胞の追跡を行い、追跡対象の輝度値が所定の閾値以下であれば、第１の追跡手段４０３による細胞の追跡に切り替える。
具体的に補間手段４０５は、長時間露光画像中の追跡対象周辺の輝度の平均値と所定の閾値とを比較し、輝度の平均値が所定の閾値以上であれば、第２の追跡手段４０４による細胞の追跡を行い、輝度値の平均値が所定の閾値以下であれば、第１の追跡手段４０３による細胞の追跡に切り替える。

図２は本装置４００の具体的な構成の一例を示す。本装置４００は、撮像部１０と、露光時間切替部２０と、観察手法切替部３０と、第１テンプレート設定部２００と、第２テンプレート設定部２１０と、第１の追跡部２２０と、第２の追跡部２３０と、初期位置設定部２４０と、細胞位置記録部２５０と、輝度値算出部２６０と、補間部２７０と、記録部２８０と、制御部８０との各部を備える。

撮像部１０は、ステージ１３０上に載置されている細胞を複数の時点においてタイムラプス（微速度撮像）によって撮像する。この撮像部１０は、上記図１に示す第１の撮像手段４０１と、第２の撮像手段４０２とを含む。この撮像部１０は、例えば、複数の顕微方式を任意のタイミングで切り替えてそれぞれの顕微方式による画像を得る。例えば、この撮像部１０は、短時間露光画像としての位相差画像を取得するための位相差顕微鏡方式、又は長時間露光画像としての発光画像を取得するための発光顕微鏡方式に切り替えられる。これにより、撮像部１０は、細胞を撮像し、位相差顕微鏡方式に切り替えられることにより当該細胞の位相差画像を取得し、発光顕微鏡方式に切り替えられることにより当該細胞の発光画像を取得する。

この撮像部１０は、光軸１８０上に、光源装置１００と、コンデンサレンズ１２０と、ステージ１３０と、対物レンズ１４０と、結像用レンズ１６０と、撮像素子１７０とを順に配置して成る。
リング絞り１１０及び位相板リング１５０は、位相差顕微鏡方式に切り替えられたときの撮像によって位相差画像を取得する場合に必要な器材である。これらリング絞り１１０及び位相板リング１５０は、後述する観察手法切替部３０に接続され、当該観察手法切替部３０によって位相差顕微鏡方式のときに光軸１８０上に配置される。なお、これらリング絞り１１０及び位相板リング１５０は、短時間露光画像としての位相差画像を取得しない場合、光軸１８０上に配置されるものでないので、必ずしも必須の構成要件でない。

撮像素子１７０は、撮像面上に結像したステージ１３０上の細胞の拡大像を電気的信号に変換する。この場合、撮像素子１７０は、撮像部１０が位相差顕微鏡方式であれば、短時間露光画像として、又、撮像部１０が発光顕微鏡方式であれば、長時間露光画像として撮像される。この撮像素子１７０は、Ａ／Ｄコンバータを内蔵し、細胞の拡大像の電気的信号をデジタルに変換し、そのデジタル画像信号を出力する。

撮像部１０には、当該撮像部１０を位相差顕微鏡方式又は発光顕微鏡方式のいずれかに切り替える切替手段としての露光時間切替部２０と観察手法切替部３０とが設けられている。なお、撮像部１０は、微分干渉顕微鏡方式又は蛍光顕微鏡方式のいずれかに切り替えるようにしてもよい。

観察手法切替部３０は、撮像部１０を、短時間露光画像としての位相差画像を取得するための位相差顕微鏡方式、又は長時間露光画像としての発光画像を取得するための発光顕微鏡方式に切り替える。この観察手法切替部３０は、リング絞り１１０及び位相板リング１５０に対して光軸１８０上に挿脱する指令を発するもので、位相差顕微鏡方式による撮像により細胞の位相差画像を取得するときのみに、リング絞り１１０及び位相板リング１５０を同時に光軸１８０上に挿入する指令を発する。
又、観察手法切替部３０は、発光顕微鏡方式による撮像によって細胞の発光画像を取得する際に、リング絞り１１０及び位相板リング１５０に対して光軸１８０上から取り外す指令を発する。

露光時間切替部２０は、短時間露光顕微鏡方式による撮像のときに、撮像素子１７０に対して露光時間を短時間露光条件に設定する指示を発する。短時間露光条件は、例えば数秒以内の露光時間Ｐt、例えば露光時間Ｐt＝１．０secである。
又、露光時間切替部２０は、長時間露光顕微鏡方式による撮像のときに、撮像素子１７０に対して露光時間を長時間露光条件に設定する指示を発する。長時間露光条件は、例えば数十分の露光時間Ｌt、例えば露光時間Ｌt＝３６００secである。

撮像素子１７０は、第１の追跡手段４０３を構成する第１の追跡部２２０と、第２の追跡手段４０４を構成する第２の追跡部２３０とに接続されている。なお、第１の追跡手段４０３は、第１の追跡部２２０と第１テンプレート設定部２００とを含む。第２の追跡手段４０４は、第２の追跡部２３０と第２テンプレート設定部２１０とを含む。
第１テンプレート設定部２００には、第１の追跡部２２０により短時間露光画像としての位相差画像を用いて細胞の追跡を行うための第１テンプレート画像が予め記録されている。
第２テンプレート設定部２１０には、第２の追跡部２３０により長時間露光画像としての発光画像を用いて細胞の追跡を行うための第２テンプレート画像が予め記録されている。

第１の追跡部２２０は、第１テンプレート設定部２００との間で相互にデータ通信可能に接続されている。この第１の追跡部２２０は、第１テンプレート設定部２００に記録されている第１テンプレート画像を用いたテンプレートマッチング手法により短時間露光画像としての位相差画像上での細胞の追跡を行う。

第２の追跡部２３０は、第２テンプレート設定部２１０との間で相互にデータ通信可能に接続されている。この第２の追跡部２３０は、第２テンプレート設定部２１０に記録されている第２テンプレート画像を用いたテンプレートマッチング手法により長時間露光画像としての発光画像上での細胞の追跡を行う。
なお、第１の追跡部２２０と第２の追跡部２３０とは、それぞれテンプレートマッチングを用いた場合について説明したが、細胞の追跡は、テンプレートマッチングに限らず、例えば、パーティクルフィルタを用いた追跡手法や、ミーンシフト法を用いた追跡手法を用いても良い。

これら第１の追跡部２２０と第２の追跡部２３０とは、それぞれ上記補間手段４０５としての補間部２７０と接続されている。又、第２テンプレート設定部２１０は、輝度値算出部２６０を介して補間部２７０に接続されている。この補間部２７０は、細胞位置記録部２５０に接続されている。又、補間部２７０と初期位置設定部２４０とは、それぞれ細胞位置記録部２５０に接続されている。この細胞位置記録部２５０は、第１テンプレート設定部２００と、第２テンプレート設定部２１０と、記録部２８０とにそれぞれ接続されている。

輝度値算出部２６０は、第２テンプレート設定部２１０の記録されている第２テンプレート画像を取得し、この第２テンプレート画像内に含まれる全画素について輝度の平均値を算出する。なお、ここでは、輝度値算出部２６０によって算出した輝度の平均値Ｌum(n-1)を用いているが、これに代わって、輝度値の変動量や、輝度値の標準偏差や輝度勾配、エッジ量を用いても良い。
初期位置設定部２４０は、ユーザによって撮像画像中における追跡対象となる細胞の初期位置座標が指定されると、この初期位置座標を細胞位置記録部２５０に転送する。

この細胞位置記録部２５０は、初期位置設定部２４０から転送された初期位置座標を受け、この初期位置座標を例えば１フレーム目における細胞位置として記録部２８０に記録し、この細胞位置を第１テンプレート設定部２００と第２テンプレート設定部２１０とにそれぞれ転送する。

補間部２７０は、第２の追跡部２３０による追跡結果に対して第１の追跡部２２０による追跡結果を補間するもので、例えば上記細胞位置記録部２５０と共に補間手段４０５を構成する。すなわち、補間部２７０は、撮像部１０により取得した長時間露光画像中の輝度値が所定の閾値以上であれば、細胞位置記録部２５０の細胞位置を第２の追跡部２３０に転送することによって細胞を追跡させ、一方、輝度値が所定の閾値以下であれば、細胞位置記録部２５０の細胞位置を第１の追跡部２２０に転送することによって当該第１の追跡部２２０による細胞の追跡に切り替えさせる。

制御部８０は、本装置４００の上記各部に接続され、それら各部を統括的に制御するシステムコントローラである。この制御部８０は、後述する図２に示す細胞追跡処理フローチャートのプログラムを実行する。

次に、本装置４００における追跡処理を行うための詳細な構成について説明する。
ステージ１３０上には、観察対象の細胞が所定の容器に入れて載せられている。この細胞は、例えば発光試料であり、ここでは具体的にルシフェラーゼ遺伝子を導入した発光細胞を用いている。
撮像部１０には、光源装置１００が設けられている。この光源装置１００は、位相差顕微鏡方式による位相差画像を取得する際に、細胞に照明光を照射する。なお、この光源装置１００は、撮像部１０によって位相差画像、微分干渉画像、発光画像又は蛍光画像を取得する検鏡法に適用するものが用いられる。この光源装置１００は、例えば、水銀ランプ、ハロゲンランプ、又はキセノンランプ等が用いられる。

コンデンサレンズ１２０は、光源装置１００から出力された照明光を集光・調整する。
対物レンズ１４０及び結像用レンズ１６０は、細胞の像を拡大し、この拡大像を撮像素子１７０の撮像面上に結像する。
リング絞り１１０及び位相板リング１５０は、位相差顕微鏡方式による位相差画像の取得時に、撮像部１０の光軸１８０上に配置され、光源装置１００から出力された照明光の位相をずらし、位相差を作り出す。
撮像素子１７０は、撮像面上に結像した細胞の拡大像を電気的信号に変換する。この撮像素子１７０は、Ａ／Ｄコンバータを内蔵し、細胞の拡大像の電気的信号をデジタルに変換し、そのデジタル画像信号を出力する。

露光時間切替部２０は、短時間露光顕微鏡方式による撮像のときに、撮像素子１７０に対して露光時間を短時間露光条件（数秒以内の露光時間Ｐt、例えば露光時間Ｐt＝１．０sec）に設定する指示を発する。
又、露光時間切替部２０は、長時間露光顕微鏡方式による撮像のときに、撮像素子１７０に対して露光時間を長時間露光条件（数十分の露光時間Ｌt、例えば露光時間Ｌt＝３６００sec）に設定する指示を発する。

観察手法切替部３０は、リング絞り１１０及び位相板リング１５０に対して光軸１８０上に挿脱する指令を発するもので、位相差顕微鏡方式による撮像により細胞の位相差画像を取得するときのみに、リング絞り１１０及び位相板リング１５０を同時に光軸１８０上に挿入する指令を発する。
又、観察手法切替部３０は、発光顕微鏡方式による撮像によって細胞の発光画像を取得する際に、リング絞り１１０及び位相板リング１５０に対して光軸１８０上から取り外す指令を発する。

本装置４００は、撮像部１０の撮像により時系列で複数の細胞画像を取得して収集することにより、複数の細胞画像から成る細胞画像群を得る。この細胞画像群は、所定の撮像周期毎に複数の時点においてそれぞれ観察対象の細胞を撮像し、これら撮像により取得して収集した複数の細胞画像から成る。
この撮像部１０の撮像は、観察手法切替部３０と露光時間切替部２０とからの各指示により、１回の撮像毎にそれぞれ露光条件（短時間露光・長時間露光）と顕微鏡方式（例えば、位相差顕微鏡方式・発光顕微鏡方式）とに切り替えられて行われる。すなわち、撮像部１０は、上記の通り、観察手法切替部３０と露光時間切替部２０とからの各指示により、複数の時点でそれぞれ短時間露光条件に従って細胞を撮像して複数の短時間露光画像を取得する第１の撮像手段４０１と、複数の時点間の各期間内で、それぞれ細胞を長時間露光条件に従って撮像して長時間露光画像を取得する第２の撮像手段４０２とを含む。

なお、Ｔを所定時点、Ｉを時間間隔、Ｎを０以上の整数とすると、第１の撮像手段４０１は、複数の時点Ｔ＋Ｎ×Ｉにおいて、細胞を短時間露光条件により撮像して短時間露光画像を取得する。
第２の撮像手段４０２は、期間Ｔ＋Ｎ×Ｉ〜 Ｔ＋（Ｎ＋１）×Ｉ内において、細胞を長時間露光条件により撮像して長時間露光画像を取得する。

これら第１の撮像手段４０１と第２の撮像手段４０２とは、互いに異なる顕微法による観察手法によって細胞を撮像する。例えば、露光条件が短時間露光である場合、顕微鏡方式は、位相差顕微鏡方式に切り替えられる。又、露光条件が長時間露光である場合、顕微鏡方式は、発光顕微鏡方式に切り替えられる。

以降、短時間露光顕微鏡方式でｎ回目に撮像した短時間露光細胞画像をＰi(n)とし、長時間露光顕微鏡方式でｎ回目に撮像した長時間露光細胞画像をＬi(n)として説明する。なお、ｎは自然数で、１，２，３，…、である。
これら位相差画像Ｐi(n)と発光画像Ｌi(n)とは、撮像部１０により交互に、Ｐi(1)、Ｌi(1)、Ｐi(2)、Ｌi(2)、・・・、Ｐi(n)、Ｌi(n)、Ｐi(n+1)、Ｌi(n+1)、・・・の順に撮像されて取得されるものとする。
図３は位相差画像Ｐi(n)と発光画像Ｌi(n)との取得タイミングの一例を示す。同図は例えば発光画像Ｌi(n-1)を取得し、次に位相差画像Ｐi(n)を取得し、次に発光画像Ｌi(n)を取得し、次に位相差画像Ｐi(n＋1)の取得を示す。

又、位相差顕微鏡方式での１回目の撮像開始時点をＴＳ、長時間露光時間をＴＬ、短時間露光時間をＴＰとした場合、位相差画像Ｐi(n)の撮像開始時点は、
ＴＳ＋（ｎ−１）（ＴＰ＋ＴＬ） …（１）
とし、発光画像Ｌi(n)の撮像開始時点は、
ＴＳ＋（ｎ−１）（ＴＰ＋ＴＬ）＋ＴＰ …（２）
とする。
さらに、短時間露光時間ＴＰは、長時間露光時間ＴＬと比較して十分に小さい場合、位相差画像Ｐi(n)と発光画像Ｌi(n)との撮像時点は、近似的にほぼ同時点ＴＳ＋ＴＬ（ｎ−１）と考えても良い。

位相差顕微鏡方式による撮像は、観察手法切替部３０からの指示によりリング絞り１１０及び位相板リング１５０を撮像部１０の光軸１８０上に挿入し、かつ露光時間切替部２０からの指示により露光時間を短時間露光条件（露光時間Ｐt＝１．０sec）に設定して行われる。
この位相差顕微鏡方式は、光の回折現象を利用した顕微方式であり、異なる屈折率を持つ物質間を透過する光の位相差（光路差）をコントラストとして得ることができるので、透明な細胞や微生物等の対象物を観察するのに適している。
また、位相差顕微鏡方式は、背景領域と細胞との境界線上においてハロ（アーティファクト）と呼ばれる強いコントラストが発生するという特徴を有する。このハロは、細胞画像において、主に背景領域と個々の細胞領域との境界部分にオーラ状の光として出現する。これら特徴を持つ位相差顕微鏡方式は、短時間露光撮像条件によりブレの無い鮮明な画像を得ることができる。
なお、位相差顕微鏡方式の代わりに、画質的特徴の類似した微分干渉顕微鏡（DifferentiaＬinterference Contrast Microscope；ＤＩＣ）方式等、他の明視野顕微鏡を利用しても勿論よい。
この位相差顕微鏡方式に切り替えられている状態に、撮像部１０の撮像により取得された位相差短時間露光画像Ｐi(n)は、第１の追跡部２２０に転送される。

一方、発光顕微鏡方式による撮像は、観察手法切替部３０からの指示によりリング絞り１１０及び位相板リング１５０を撮像部１０の光軸１８０上から取り外され、かつ露光時間切替部２０の指示により撮像素子１７０での露光時間を長時間露光条件（数十分の露光時間Ｌt、例えば露光時間Ｌt＝3600sec）に設定して行われる。
発光顕微鏡方式によるイメージングは、ルシフェラーゼ遺伝子を導入した発光細胞から発現する発光タンパク質による微弱な光を高感度で捉えるため、長時間露光条件による撮像や、冷却ＣＣＤ、明るい光学系用いる必要がある。又、この発光顕微鏡方式は、蛍光顕微鏡とは異なり検出に励起光を必要としないので、細胞にダメージを与えること無く発光画像を取得することができる。

なお、発光顕微鏡方式の代わりに、蛍光顕微鏡方式を利用しても良い。蛍光イメージングにおいても細胞へのダメージや蛍光試料の退色を避けるために、弱いレーザ強度による弱励起及び長時間露光撮像を行うことがある。この場合、発光顕微鏡と類似した画質特性を持つ画像が得られる。
この発光顕微鏡方式に切り替えられている状態に、撮像部１０の撮像により取得された発光長時間露光画像Ｌi(n)は、第２の追跡部２３０に転送される。

次に、撮像開始直後の１フレーム目（ｎ＝１）の処理について説明する。
１フレーム目の処理では、過去のフレーム画像が存在しないため細胞の追跡処理を行わず、追跡対象となる細胞の初期位置の設定のみ行う。
この細胞の初期位置の設定では、先ず、撮像部１０の撮像により取得した１フレーム目の位相差画像Ｐi(1)は、第１の追跡部２２０を介して第１テンプレート設定部２００に転送されると共に、１フレーム目の発光画像Ｌi(1)は、第２の追跡部２３０を介して第２テンプレート設定部２１０に転送される。このとき第１の追跡部２２０及び第２の追跡部２３０は、それぞれ細胞の追跡処理を行わない。

次に、初期位置設定部２４０は、ユーザによって撮像画像中における追跡対象となる細胞の初期位置座標ｘ(n)＝ｘ(1)が指定されると、この初期位置座標ｘ(1)を細胞位置記録部２５０に転送する。この初期位置座標ｘ(1)におけるｘは位置ベクトルｘ(ｘ1,ｘ2)であり、ｘ1,ｘ2はそれぞれ細胞画像中におけるＸ（横）座標、Ｙ（縦）座標を表す。なお、細胞の位置座標は、公知の領域分割処理（例えばウォータシェッド法や、レベルセット法、グラフカット法等）を用いることで自動的に検出し、この位置座標を初期位置座標ｘ(1)として自動的に指定するようにしても良い。

細胞位置記録部２５０は、初期位置設定部２４０から転送された初期位置座標ｘ(1)を受け、この初期位置座標ｘ(1)を１フレーム目における細胞位置として記録し、この細胞位置を第１テンプレート設定部２００と第２テンプレート設定部２１０とにそれぞれ転送する。
第１テンプレート設定部２００は、細胞位置記録部２５０から転送された初期位置座標ｘ(1)を受け、この初期位置座標ｘ(1)を中心とした所定サイズの矩形領域（テンプレート領域）内の画像を第１テンプレート画像ＳＰ(1)として位相差画像Ｐi(1)から後述するテンプレートマッチング処理により抽出し、この第１テンプレート画像ＳＰ(1)を記録手段、例えば予め内蔵する画像バッファや、ＲＡＭ、外部メモリ等に一時的に記録する。
第２テンプレート設定部２１０は、細胞位置記録部２５０から転送された初期位置座標ｘ(1)を受け、この初期位置座標ｘ(1)を中心とした所定サイズの矩形領域（テンプレート領域）内の画像を第２テンプレート画像ＳＬ(1)として発光画像Ｌi(1)から後述するテンプレートマッチング処理により抽出し、この第２テンプレート画像ＳＬ(1)を上記第１テンプレート画像ＳＰ(1)と同様に、記録手段、例えば予め内蔵する画像バッファや、ＲＡＭ、外部メモリ等に一時的に記録する。

次に、上記第１の追跡部２２０及び第２の追跡部２３０における追跡手法として適用するテンプレートマッチング処理による追跡処理の概略について説明する。
例えば、前フレーム画像Ｉ(n-1)中の細胞が現フレーム画像Ｉ(n)中のどの位置に移動したかを追跡する場合、テンプレートマッチング手法では、先ず、前フレーム画像Ｉ(n-1)において追跡対象となる細胞を中心とした所定サイズの矩形領域をテンプレート領域Ａ(n-1)として設定する。

次に、現フレーム画像Ｉ(n)内の全画素位置のそれぞれに対して画素を中心としたテンプレート領域Ａ(n-1)のサイズと同サイズの矩形領域Ｂ(n,p)（pは現フレーム画像Ｉ(n)に含まれる画素を表す）を設定し、テンプレート領域Ａ(n-1)と矩形領域Ｂ(n,p)との間の類似度を求める。この類似度としては、例えばＳＳＤ(Sum of Squared Difference)を用いる。
テンプレート領域Ａ(n-1)と矩形領域Ｂ(n,p)との間の類似度の計測の結果、テンプレート領域Ａ(n-1)と最も類似度の高い（誤差の小さい）矩形領域Ｂ(n,p)の画素pの位置座標を現フレーム画像Ｉ(n)上における細胞の移動後の位置と推定する。

次に、ｎフレーム目（ｎ＞１）の処理について説明する。
撮像部１０により撮像したｎフレーム目の位相差画像Ｐi(n)は、第１の追跡部２２０に転送され、発光画像Ｌi(n)は、第２の追跡部２３０に転送される。
この時点で、第１テンプレート設定部２００には、予め前フレーム処理時に設定した第１テンプレート画像ＳＰ(n-1)が記録され、この第１テンプレート画像ＳＰ(n-1)が第１の追跡部２２０に転送される。
又、第２テンプレート設定部２１０には、予め前フレーム処理時に設定した第２テンプレート画像ＳＬ(n-1)が記録され、この第２テンプレート画像ＳＬ(n-1)が第２の追跡部２３０に転送される。

第１の追跡部２２０は、前述したテンプレートマッチング手法により位相差画像Ｐi(n)と第１テンプレート画像ＳＰ(n-1)とから現フレームにおける細胞の位置座標ｘＰ(n)を推定する。この細胞の位置座標ｘＰ(n)は、補間部２７０に転送される。
第２の追跡部２３０は、前述したテンプレートマッチング手法により発光画像Ｌi(n)と第２テンプレート画像ＳＬ(n-1)とから現フレームにおける細胞の位置座標ｘＬ(n)を推定する。この細胞の位置座標ｘＬ(n)も、補間部２７０に転送される。

次に、輝度値算出部２６０は、第２テンプレート設定部２１０から第２テンプレート画像ＳＬ(n-1)を取得し、この第２テンプレート画像ＳＬ(n-1)内に含まれる全画素について輝度の平均値Ｌum(n-1)を算出し、この輝度の平均値Ｌum(n-1)を補間部２７０に転送する。
補間部２７０は、第２の追跡部２３０による追跡結果に対して第１の追跡部２２０による追跡結果を補間する。この補間部２７０は、第２の撮像手段４０２により取得した長時間露光画像中の輝度値が所定の閾値以上であれば、第２の追跡部２３０による細胞の追跡を行い、一方、輝度値が所定の閾値以下であれば、第１の追跡部２２０による細胞の追跡に切り替える。

この補間部２７０は、第１の追跡部２２０から細胞の位置座標ｘＰ(n)を受けると共に、第２の追跡部２３０から細胞の位置座標ｘＬ(n)を受け、かつ輝度値算出部２６０から輝度の平均値Ｌum(n-1)を受け、予め設定された閾値と輝度の平均値Ｌum(n-1)とを比較し、輝度の平均値Ｌum(n-1)が閾値以上の値を示す場合、細胞が発光画像Ｌi(n)上で所定の発光強度を持つものとして発光画像i(n)に基づく追跡結果（位置座標）である細胞の位置座標ｘＬ(n)をｎフレーム目画像における細胞位置ｘ(n)として特定する。この細胞位置ｘ(n)は、細胞位置記録部２５０へ転送される。

一方、輝度の平均値Ｌum(n-1)が閾値より小さい場合、補間部２７０は、発光画像Ｌi(n)上において細胞の発光強度が小さく、追跡処理の信頼度が低下するとし、位相差画像Ｐi(n)に基づいて細胞の追跡を行うものとし、位相差画像Ｐi(n)に基づく追跡結果（位置座標）である細胞の位置座標ｘＰ(n)を、上記発光画像Ｌi(n)から求められた位置座標ｘＬ(n)の代わりにｎフレーム目画像における細胞位置ｘ(n)として特定する。この細胞位置ｘ(n)は、細胞位置記録部２５０へ転送される。

この細胞位置記録部２５０は、ｎフレーム目における発光画像i(n)に基づく追跡結果の細胞位置ｘ(n)、又は位相差画像Ｐi(n)に基づく追跡結果の細胞位置ｘ(n)を記録し、この細胞位置ｘ(n)を第１テンプレート設定部２００と第２テンプレート設定部２１０とに転送する。
第１テンプレート設定部２００は、細胞位置記録部２５０からの細胞位置ｘ(n)を受け、位相差画像Ｐi(n)から細胞位置ｘ(n)を中心とした所定サイズの矩形領域をテンプレートマッチング処理における第１テンプレート画像ＳＰ(n)として抽出し、予め内蔵する画像バッファに一時的に記録する。
又、第２テンプレート設定部２１０は、細胞位置記録部２５０からの細胞位置ｘ(n)を受け、発光画像Ｌi(n)から細胞位置ｘ(n)を中心とした所定サイズの矩形領域をテンプレートマッチング処理における第２テンプレート画像ＳＬ(n)として抽出し、予め内蔵する画像バッファへ一時的に記録する。

撮像部１０による撮像が終了した場合、細胞位置記録部２５０に記録された全フレーム画像中の各細胞位置ｘ(n)（n＝1〜全フレーム数）は、記録部２８０に転送され、所定のメディアへ記録される。
次に、本装置による細胞追跡処理の一例について図４に示す細胞追跡処理のフローチャートに従って説明する。
制御部８０は、ステップＳ１０において、１フレーム目の画像であるか否かを判定し、１フレーム目の画像であれば、ステップＳ２０へ移行する。上記判定の結果、１フレーム目の画像でなく２フレーム目以降であれば、制御部８０は、ステップＳ７０に移行する。

第１の追跡部２２０は、ステップＳ２０において、短時間露光条件により撮像された１フレーム目の位相差画像Ｐi(1)を入力する。
第２の追跡部２３０は、ステップＳ３０において、長時間露光条件により撮像された１フレーム目の発光画像Ｌi(1)を入力する。
初期位置設定部２４０は、ステップＳ４０において、ユーザによって撮像画像中における追跡対象となる細胞の初期位置座標ｘ(1)が指定されると、当該初期位置座標ｘ(1)を設定・記録する。
第１テンプレート設定部２００は、ステップＳ５０において、上記ステップＳ４０で設定された初期位置座標ｘ(1)に基づき、位相差画像Ｐi(1)から細胞位置を中心とした第１テンプレート画像ＳＰ(1)を抽出し、予め内蔵する画像バッファへ一時的に記録する。
第２テンプレート設定部２１０は、ステップＳ６０において、上記ステップＳ４０で設定された初期位置座標ｘ(1)に基づき、発光画像Ｌi(1)から細胞位置を中心とした第２テンプレート画像ＳＬ(1)を抽出し、予め内蔵する画像バッファへ一時的に記録する。

第１の追跡部２２０は、ステップＳ７０において、ｎ（ｎ＞１）フレーム目の位相差画像Ｐi(n)を入力する。
第２の追跡部２３０は、ステップＳ８０において、ｎ（ｎ＞１）フレーム目の発光画像Ｌi(n)を入力する。
第１の追跡部２２０は、ステップＳ９０において、ｎ−１フレーム処理時に、第１テンプレート設定部２００に記録されている第１テンプレート画像ＳＰ(n-1)に基づきｎフレーム目の位相差画像Ｐi(n)上における細胞位置ｘｐ(n)をテンプレートマッチング手法により推定する。
第２の追跡部２３０は、ステップＳ１００において、ｎ−１フレーム処理時に、第２テンプレート設定部２１０に記録されている第２テンプレート画像ＳＬ(n-1)に基づきｎフレーム目の発光画像Ｌi(n)上における細胞位置ｘＬ(n)をテンプレートマッチング手法により推定する。

輝度値算出部２６０は、ステップＳ１１０において、ｎ−１フレーム目の発光画像Ｌi(n-1)に対応する第２テンプレート画像ＳＬ(n-1)の全画素に対して発光輝度の平均値Ｌum(n-1)を算出する。
補間部２７０は、ステップＳ１２０において、第１の追跡部２２０から細胞の位置座標ｘＰ(n)を受けると共に、第２の追跡部２３０から細胞の位置座標ｘＬ(n)を受け、かつ輝度値算出部２６０から輝度の平均値Ｌum(n-1)を受け、予め設定された閾値と輝度の平均値Ｌum(n-1)とを比較し、輝度の平均値Ｌum(n-1)が閾値以上の値を示す場合、細胞が発光画像Ｌi(n)上で所定の発光強度を持つものとして発光画像i(n)に基づく追跡結果（位置座標）である細胞の位置座標ｘＬ(n)をｎフレーム目画像における細胞位置ｘ(n)として特定する。

一方、輝度の平均値Ｌum(n-1)が閾値より小さい場合、補間部２７０は、同ステップＳ１２０において、発光画像Ｌi(n)上において細胞の発光強度が小さく、追跡処理の信頼度が低下するとし、位相差画像Ｐi(n)に基づいて細胞の追跡を行うものとし、位相差画像Ｐi(n)に基づく追跡結果（位置座標）である細胞の位置座標ｘＰ(n)を、上記発光画像Ｌi(n)から求められた位置座標ｘＬ(n)の代わりにｎフレーム目の画像における細胞位置ｘ(n)として特定する。

細胞位置記録部２５０は、ステップＳ１３０において、ｎフレーム目における発光画像i(n)に基づく追跡結果の細胞位置ｘ(n)、又は位相差画像Ｐi(n)に基づく追跡結果の細胞位置ｘ(n)を記録する。
第１テンプレート設定部２００は、ステップＳ１４０において、上記ステップＳ１３０で記録された細胞位置ｘ(n)に基づき、位相差画像Ｐi(n)から細胞位置を中心とした第１テンプレート画像ＳＰ(n)を抽出し、予め内蔵する画像バッファへ一時的に記録する。

第２テンプレート設定部２１０は、ステップＳ１５０において、上記ステップＳ１３０で設定された細胞位置ｘ(n)に基づき、上記ステップＳ１３０で記録された細胞位置ｘ(n)に基づき、発光画像Ｌi(n)から細胞位置を中心とした第２テンプレート画像ＳＬ(n)を抽出し、予め内蔵する画像バッファへ一時的に記録する。

制御部８０は、ステップＳ１６０において、次のフレーム画像がある場合、上記ステップＳ７０へ移行し、次のフレーム画像が無い場合、ステップＳ１７０へ移行する。
制御部８０は、ステップＳ１７０において、全フレーム画像中の細胞位置ｘ(n)を所定のメディアに記録し、処理を終了する。

このように上記第１の実施の形態によれば、発光画像Ｌi(n)の輝度の平均値Ｌum(n-1)と予め設定された閾値とを比較し、発光画像Ｌi(n)の輝度の平均値Ｌum(n-1)が閾値以上の値を示す場合、細胞が発光画像Ｌi(n)上で所定の発光強度を持つものとして発光画像i(n)に基づく追跡結果の細胞位置ｘ(n)を特定して細胞等の生体試料の追跡を行い、一方、発光画像Ｌi(n)の輝度の平均値Ｌum(n-1)が閾値より小さい場合、発光画像Ｌi(n)上において細胞の発光強度が小さく、追跡処理の信頼度が落ちるため、位相差画像Ｐi(n)に基づく追跡結果の細胞位置ｘ(n)を特定して細胞等の生体試料の追跡を行う。

このように発光画像Ｌi(n)に基づく長時間露光撮像と、位相差画像Ｐi(n)に基づく短時間露光撮像とにより取得された細胞画像群に基づいて細胞等の生体試料の位置変位を高精度に計測でき、当該生体試料を正確に追跡することができる。
すなわち、発光画像i(n)に基づく追跡であれば、励起光を照射する必要がなく、空間分解能が低いが定量的な評価に利用できる安定した画像を経時的に撮ることができ、かつ位相差画像Ｐi(n)に基づく追跡であれば、異なる屈折率を持つ物質間を透過する光の位相差（光路差）をコントラストとして得ることにより透明な細胞や微生物等の対象物を観察するのに好適である。

しかるに、生物学分野や医学分野の研究の背景を説明すれば、当該分野では、細胞等の生体試料の生物学的活性をレポータアッセイにより検出する技術が広く利用されている。このレポータアッセイは、活性を調べたい細胞の遺伝子を、蛍光発現・発光を伴うレポーター遺伝子（緑色蛍光タンパク質GFPやルシフェラーゼ遺伝子等）に置き換え、その生物学的活性を表す蛍光、発光強度を観測することにより可視化、例えば生体試料と調べたい生体関連物質とを画像化して生体試料内外における発現量や形状特徴の変化を経時的に観察できる。具体的にレポーター物質としての蛍光や発光を用いる観察を利用する研究分野では、試料内のタンパク質分子の動的な機能発現を捉えるためにタイムラプス（微速度）撮像が行われる。

蛍光試料のタイムラプス撮像では、励起光を照射し続けることで蛍光試料から発せられる光量が時間の経過と共に減少するという性質がある。このため、当該タイムラプス撮像では、空間分解能の高い鮮明な画像を短い露出時間で撮ることができるが、定量的な評価に利用できる安定した画像を経時的に撮ることが困難である。

一方、発光試料を対象としたタイムラプスによる動的変化の経時的観察は、蛍光を用いた撮像と異なり励起光を照射する必要がなく、空間分解能が低いが定量的評価に利用可能な安定した画像を経時的に撮ることができるので、これまで発光試料からの発光量の測定やその形状観察が行われている。但し、各細胞の発光が微弱であるため、当該動的変化の経時的観察では、ＣＣＤカメラや明るい光学系、長時間露光等を用いて撮像される。

発光試料は、細胞内に発光遺伝子（ルシフェラーゼ遺伝子）を導入することにより生成される。この発光遺伝子の導入の方法としては、例えば、細胞に電気パルスをかける電気穿孔法などが用いられる。このルシフェラーゼ遺伝子が導入された細胞の観察では、ルシフェラーゼ遺伝子の発現の強さ（具体的には発現量）や発現の分布から細胞形状を調べる。このために、ルシフェラーゼ活性に因る細胞からの発光量の測定が行われる。

又、時間経過に沿って発光遺伝子の発現量を捉えるために、個々の生きた細胞からの発光量を経時的に測定している。この測定の際、細胞のタイムラプス画像列の一枚一枚から細胞位置を目視で確認し、その位置を中心とした所定領域内の平均輝度等を細胞の発光量としてプロットすることが一般的に行われている。ところが、目視を用いた測定は非常に煩雑な作業であるため、細胞位置を正確に追い続けることのできる細胞追跡処理による作業の自動化が望まれている。

前述の通り、発光試料を撮像する場合、発光量が極めて微弱なため、長時間露光による撮像が必須である。この長時間露光による撮像では、蛍光による撮像等と比較して鮮明な画像を得ることが難しく、また長時間露光撮像を行うことで被写体となる細胞の動きを反映した一般にモーションブラーと呼ばれる動きぶれが発生し、安定して鮮明な発光画像を撮像することが難しい。このため、これら発光画像に対する高精度な細胞追跡処理の実現は、一般的な蛍光画像に基づく処理構築よりも困難になっている。
これに対して本実施の形態によれば、上記のように発光画像Ｌi(n)に基づく長時間露光撮像と、位相差画像Ｐi(n)に基づく短時間露光撮像とにより取得された細胞画像群に基づいて細胞等の生体試料の位置変位を高精度に計測でき、当該生体試料を正確に追跡することができる。
［第２の実施の形態］
次に、第２の実施の形態について図面を参照して説明する。なお、上記第１の実施の形態と同一部分には、同一符号を付してその詳しい説明は省略する。
図５は画像処理装置の構成図を示す。本装置４００は、上記第１の実施の形態における露光時間切替部２０と、観察手法切替部３０とを省き、露光時間切替部３００と、観察手法切替部３１０と、擬似長時間露光画像合成部３２０とを新たに追加している。このうち露光時間切替部３００と観察手法切替部３１０とは、それぞれ上記第１の実施の形態における露光時間切替部２０と観察手法切替部３０とを代えている。

又、撮像素子１７０は、擬似長時間露光画像合成部３２０に接続されている。この擬似長時間露光画像合成部３２０は、第２の追跡部２３０に接続されている。この擬似長時間露光画像合成部３２０は、複数の短時間露光画像を合成することにより、前後を含む期間内において、細胞を長時間露光条件に従って撮像した長時間露光画像に相当する画像を擬似的に作成する。

撮像部１０の撮像は、上記第１の実施の形態と同様に、観察手法切替部３０と露光時間切替部２０とからの各指示により、１回の撮像毎にそれぞれ露光条件（短時間露光又は長時間露光）と顕微鏡方式（位相差顕微鏡方式又は発光顕微鏡方式）とに切り替えられて行われる。
上記第１の実施の形態では、位相差画像Ｐi(n)と発光画像Ｌi(n)との撮像時点がほぼ同一であり、追跡対象の細胞位置に大きなずれが無いことを前提として、発光画像Ｌi(n)の輝度の平均値Ｌum(n-1)が閾値より大きいか又は小さいかを比較し、この比較結果に応じて発光画像Ｌi(n)又は位相差画像Ｐi(n)に基づいて細胞等の生体試料の追跡を行っているが、位相差画像Ｐi(n)の露光時間は１sec未満、発光画像Ｌi(n)の露光時間は６０min弱と非常に大きな差がある。このため、撮像時点を露光時間の開始から終了までの中間時点と考えると、位相差画像Ｐi(n)と発光画像Ｌi(n)との撮像時点には、非常に大きな差が発生すると共に、細胞の位置に変化が生じてしまう。

本第２の実施の形態は、複数の時点の前後を含む期間において、細胞を短時間露光条件に従って撮像した複数の短時間露光画像を取得する。すなわち、本第２の実施の形態では、発光画像Ｌi(n)の取得に際し、位相差画像Ｐi(n)の撮像時点を基準にその前後で短露光による複数枚の発光画像Ｌi(n)を撮像し、これらの複数枚の発光画像Ｌi(n)を合成することで、擬似的に位相差画像Ｐi(n)と撮像時点の一致した発光画像Ｌi(n)を作成し、追跡処理に用いる。

本実施の形態において、撮像部１０は、露光時間切替部３００と、観察手法切替部３１０との制御に基づき、位相差画像Ｐi(n)の撮像時の“前”及び“後”の各時点でそれぞれＭ枚の発光画像Ｌi1(n,m)、Ｌi2(n,m)を撮像する。なお、ｍ＝１〜Ｍである。
すなわち、各発光画像Ｌi1(n,m)は、図６に示すように、
Ｌi2(n-1,1)、・・・、Ｌi1(n-1,M)、Ｌi1(n,1)、・・・、Ｌi1(n,M)、位相差画像Ｐi(n)、Ｌi2(n,1)、・・・、Ｌi2(n,M)、Ｌi1(n+1,1)、・・・、Ｌi1(n+1,M)、・・・、位相差画像Ｐi(n+1)の順に取得される。
又、発光画像Ｌi1(n,m)は、Ｌi1(1,1)、Ｌi1(1,2)、・・・、Ｌi1(1,M)、Ｐi(1)、Ｌi2(1,1)、Ｌi2(1,2)、・・・、Ｌi2(n,M)の順に取得される。
又、発光画像Ｌi1(n,m)は、Ｌi1(n,1)、Ｌi1(n,2) 、・・・、Ｌi1(n,M)、Ｐi(n)、Ｌi2(n,1)、Ｌi2(n,2)、・・・、Ｌi2(n,M)の順に取得される。

発光画像Ｌi1(n,m)、Ｌi2(n,m)の各画像の露光時間は、ＴＬ／（２×Ｍ）であることが望ましい。これら発光画像Ｌi1(n,m)、Ｌi2(n,m)は、擬似長時間露光画像合成部３２０に転送される。
この擬似長時間露光画像合成部３２０は、上記の通り、複数の短時間露光画像を合成することにより、前後を含む期間内において、細胞を長時間露光条件に従って撮像した長時間露光画像に相当する画像を擬似的に作成する。すなわち、擬似長時間露光画像合成部３２０は、発光画像Ｌi1(n,m)、Ｌi2(n,m) （ｍ＝１〜Ｍ）の各画像を累積することで、擬似的に位相差画像Ｐi(n)と撮像時点を一致させた発光画像Ｐi(n)とを作成し、以降の追跡処理に用いる。この位相差画像Ｐi(n)は、第２の追跡部２３０に転送される。
第２の追跡部２３０は、擬似長時間露光画像合成部３２０により擬似的に作成された長時間露光画像に基づいて細胞の追跡を行う。

次に、本装置による細胞追跡処理の一例について図７に示す細胞追跡処理のフローチャートに従って上記第１の実施の形態と相違する処理について説明する。
上記ステップＳ１０、Ｓ２０の後、擬似長時間露光画像合成部３２０は、ステップＳ１８０において、発光画像Ｌi1(1,m)、Ｌi2(1,m)を入力する。
この擬似長時間露光画像合成部３２０は、ステップＳ１９０において、発光画像Ｌi1(1,m)、Ｌi2(1,m)を合成し、擬似的に位相差短時間露光細胞画像Ｐi(n)と撮像時点を一致させた位相差画像Ｐi(1)とを作成する。

次に、ステップＳ４０〜Ｓ７０の後、擬似長時間露光画像合成部３２０は、ステップＳ２００において、発光画像Ｌi1(n,m)、Ｌi2(n,m)を入力する。
擬似長時間露光画像合成部３２０は、ステップＳ２１０において、各発光画像Ｌi1(n,m)、Ｌi2(n,m)を合成し、上記ステップＳ１９０において作成された擬似的に位相差画像Ｐi(n)と撮像時点を一致させた発光画像Ｌi(n)を作成する。
以降、上記ステップＳ１９０において作成した擬似的に位相差画像Ｐi(n)と、上記ステップＳ２１０において作成された発光画像Ｌi(n)とを用いてステップＳ９０〜Ｓ１７０での処理が行われる。

このように上記第２の実施の形態によれば、発光画像Ｌi(n)の取得に際し、位相差画像Ｐi(n)の撮像時点を基準にその前後で短露光による複数枚の発光画像Ｌi(n)を撮像し、これらの複数枚の発光画像Ｌi(n)を合成するので、上記第１の実施の形態と同様の効果を奏することができるのは言うまでもなく、さらに擬似的に位相差画像Ｐi(n)と撮像時点の一致した発光画像Ｌi(n)を作成し、追跡処理に用いることで、擬似的に位相差画像Ｐi(n)と撮像時点の一致した発光画像Ｌi(n)を作成でき、細胞の位置に変化が生じるようなことがなく、追跡処理を行うことができる。

以上、上記第１及び第２の実施形態に基づいて本発明を説明したが、本発明は上述した各実施形態に限定されるものではなく、本発明の要旨の範囲内で、種々の変形及び応用が可能なことは勿論である。
さらに、上述した実施形態には種々の段階の発明が含まれており、開示した複数の構成要件の適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示す全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

４００：細胞追跡装置（本装置）、４０１：第１の撮像手段、４０２：第２の撮像手段、４０３：第１の追跡手段、４０４：第２の追跡手段、４０５：補間手段、１０：撮像部、２０：露光時間切替部、３０：観察手法切替部、８０：制御部、２００：第１テンプレート設定部、２１０：第２テンプレート設定部、２２０：第１追跡部、２３０：第２追跡部、２４０：初期位置設定部、２５０：細胞位置記録部、２６０：輝度値算出部、２７０：補間部、２８０：記録部、３００：露光時間切替部、３１０：観察手法切替部、３２０：擬似長時間露光画像合成部。

Claims (12)

1. 複数の時点でそれぞれ短時間露光条件に従って細胞を撮像して複数の短時間露光画像を取得する第１の撮像手段と、
   前記複数の時点間の各期間内で、それぞれ前記細胞を長時間露光条件に従って撮像して長時間露光画像を取得する第２の撮像手段と、
   前記短時間露光画像に基づいて前記細胞の追跡を行う第１の追跡手段と、
   前記長時間露光画像に基づいて前記細胞の追跡を行う第２の追跡手段と、
   前記第２の追跡手段による追跡結果に対して前記第１の追跡手段による追跡結果を補間する補間手段と、
   を具備することを特徴とする細胞追跡装置。
2. 前記第１の撮像手段と前記第２の撮像手段とは、互いに異なる顕微法による観察手法によって前記細胞を撮像することを特徴とする請求項１に記載の細胞追跡装置。
3. 前記第２の撮像手段は、前記複数の時点の前後を含む期間において、前記細胞を前記短時間露光条件に従って撮像した複数の前記短時間露光画像を取得する第１の手段と、
   前記複数の短時間露光画像を合成することにより、前記前後を含む期間内において、前記細胞を前記長時間露光条件に従って撮像した前記長時間露光画像に相当する画像を擬似的に作成する第２の手段と、
   を有し、
   前記第２の追跡手段は、前記合成手段により前記擬似的に作成された前記長時間露光画像に基づいて前記細胞の追跡を行う、
   ことを特徴とする請求項１又は２に記載の細胞追跡装置。
4. 前記補間手段は、前記第２の撮像手段により取得した前記長時間露光画像中の輝度値が所定の閾値以上であれば、前記第２の追跡手段による前記細胞の追跡を行い、前記輝度値が前記所定の閾値以下であれば、前記第１の追跡手段による前記細胞の追跡に切り替えることを特徴とする請求項１乃至３のうちいずれか１項に記載の細胞追跡装置。
5. 前記補間手段は、前記長時間露光画像中の前記輝度の平均値と前記所定の閾値とを比較し、前記輝度の平均値が前記所定の閾値以上であれば、前記第２の追跡手段による前記細胞の追跡を行い、前記輝度値の平均値が前記所定の閾値以下であれば、前記第１の追跡手段による前記細胞の追跡に切り替えることを特徴とする請求項４に記載の細胞追跡装置。
6. 前記第１の撮像手段は、位相差顕微鏡又は微分干渉顕微鏡を有することを特徴とする請求項１乃至５のうちいずれか１項に記載の細胞追跡装置。
7. 前記第２の撮像手段は、発光顕微鏡又は蛍光顕微鏡を有することを特徴とする請求項１乃至５のうちいずれか１項に記載の細胞追跡装置。
8. 前記第１の撮像手段と前記第２の撮像手段とは、１回の撮像毎に、前記短時間露光条件で位相差顕微鏡を含む前記顕微法と、前記長時間露光条件で発光顕微鏡を含む前記顕微法とを切り替える切替手段を有することを特徴とする請求項１乃至５のうちいずれか１項に記載の細胞追跡装置。
9. Ｔを所定時点、Ｉを時間間隔、Ｎを０以上の整数とすると、
   前記第１の撮像手段は、前記複数の時点Ｔ＋Ｎ×Ｉにおいて、前記細胞を前記短時間露光条件により撮像して前記短時間露光画像を取得し、
   前記第２の撮像手段は、期間Ｔ＋Ｎ×Ｉ 〜 Ｔ＋（Ｎ＋１）×Ｉ内において、前記細胞を前記長時間露光条件により撮像して前記長時間露光画像を取得する、
   ことを特徴とする請求項１に記載の細胞追跡装置。
10. Ｔを所定時点、Ｉを時間間隔、Ｎを０以上の整数とすると、
    前記第２の撮像手段は、前記複数の時点の前後を含む期間としてＴ＋Ｎ×Ｉ−（Ｉ／２） 〜 Ｔ＋Ｎ×Ｉ＋（Ｉ／２）期間内の複数の時点において、前記細胞を前記短時間露光条件に従って撮像した複数の前記短時間露光画像を取得し、
    前記合成手段は、Ｔ＋Ｎ×Ｉ−（Ｉ／２） 〜 Ｔ＋Ｎ×Ｉ＋（Ｉ／２）期間内において、前記細胞を前記長時間露光条件に従って撮像した前記長時間露光画像に相当する画像を擬似的に作成する、
    ことを特徴とする請求項３に記載の細胞追跡装置。
11. 複数の時点でそれぞれ短時間露光条件に従って細胞を撮像して複数の短時間露光画像を取得し、
    前記複数の時点間の各期間内で、それぞれ前記細胞を長時間露光条件に従って撮像して長時間露光画像を取得し、
    前記短時間露光画像に基づいて前記細胞の追跡を行い、
    前記長時間露光画像に基づいて前記細胞の追跡を行い、
    前記長時間露光画像に基づく追跡の結果に対して前記短時間露光画像に基づく追跡の結果を補間する、
    ことを特徴とする細胞追跡方法。
12. コンピュータに、
    複数の時点でそれぞれ短時間露光条件に従って細胞を撮像して複数の短時間露光画像を取得させ第１の撮像機能と、
    前記複数の時点間の各期間内で、それぞれ前記細胞を長時間露光条件に従って撮像して長時間露光画像を取得させ第２の撮像機能と、
    前記短時間露光画像に基づいて前記細胞の追跡を行わさせる第１の追跡機能と、
    前記長時間露光画像に基づいて前記細胞の追跡を行わさせる第２の追跡機能と、
    前記第２の追跡手段による追跡結果に対して前記第１の追跡手段による追跡結果を補間させる補間機能と、
    を実現させる細胞追跡プログラム。

Images