JP2014089191A - 生体物質の動きを追跡するシステム及び方法 - Google Patents

生体物質の動きを追跡するシステム及び方法 Download PDF

Info

Publication number
JP2014089191A
JP2014089191A JP2013242618A JP2013242618A JP2014089191A JP 2014089191 A JP2014089191 A JP 2014089191A JP 2013242618 A JP2013242618 A JP 2013242618A JP 2013242618 A JP2013242618 A JP 2013242618A JP 2014089191 A JP2014089191 A JP 2014089191A
Authority
JP
Japan
Prior art keywords
cell
frame
cells
tracking
current frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013242618A
Other languages
English (en)
Inventor
O Ruanaidh Joseph
オー・ルアナイド,ジョゼフ
Swiatek Marcin
スィアテック,マーチン
Xudong Li
リ,シュドン
Kalusche Geert
カルッチェ,ゲールト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Global Life Sciences Solutions USA LLC
Original Assignee
GE Healthcare Bio Sciences Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Healthcare Bio Sciences Corp filed Critical GE Healthcare Bio Sciences Corp
Publication of JP2014089191A publication Critical patent/JP2014089191A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693Acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

【課題】ユーザが少なくとも1つの細胞がどのように機能するかを判断するために、複数の細胞のうちの少なくとも1つの細胞のような物体の動きを、当該物体が経時的に1つの点から別の点へ動くときに追跡することをユーザに可能にする、自動化されたシステム及び方法を提供する。
【解決手段】少なくとも1つの細胞の動きを追跡し、当該少なくとも1つの細胞の構造が、当該少なくとも1つの細胞が細胞分裂を受けるような変化をしたか否か、又は、二つ以上の細胞が互いに融合しているか否かを判定する。また、少なくとも1つの細胞を最適に追跡して、当該少なくとも1つの細胞が動くときに、当該少なくとも1つの細胞の近似ロケーションを時間及び距離において検出する。
【選択図】図1

Description

本発明は、生体物質の動きを追跡するシステム及び方法に関する。
[関連出願の相互参照]
本出願は、2007年2月9日付けで出願された、米国仮特許出願第60/889,0
06号の優先権を主張するものであり、その開示は、参照によりその全体が本明細書に援
用される。
今日ゲノム配列プログラム及び他の種類のプログラムが成功しているという事実にも関
わらず、一般的に、人間及び他の生物において、ほとんどの遺伝子、細胞、及びウィルス
がどのように機能するかは比較的知られていない。したがって、遺伝子機能を学び、理解
することを可能にする高スループットスクリーニングに対する需要が存在する。高スルー
プットスクリーニングによって、何十万個の遺伝子産物を検討及び分析することが可能に
なる。これらの分析の結果によって、細胞内で発生する生体プロセスを検討することが可
能になる。このことは、細胞追跡が生体アッセイの科学的調査にとって重要であるため、
細胞の分析に必須である。
通常、細胞を追跡するためには、複数の細胞のうちの単一の細胞を色素によってマーク
すると共に、細胞が1つのフレームから別のフレームへ動くときに当該細胞を追跡するた
めにコンピュータを用いる必要がある。マークされた細胞の動きを追跡するこのプロセス
は、誤りを起こしやすく、且つ時間がかかる。これは、1つの細胞がマークされる場合で
あっても、1つのフレームから別のフレームまで存在する複数の細胞から当該細胞を区別
することができない場合があるためである。また、細胞をマークするために利用された色
素が、通常の細胞周期を妨げ、それによって細胞が1つのフレームから別のフレームへ動
くとき、当該細胞がどのように働くかの真の画像を取得しない場合がある。
細胞追跡のためにコンピュータによって利用される、カルマンフィルタ、及び粒子フィ
ルタのような幾つかの異なるアルゴリズムが存在する。カルマンフィルタは、一連の不完
全でノイズの多い測定から動的システムの状態を推定する、効率的な再帰フィルタである
。カルマンフィルタは、細胞のような物体の、1つの点から別の点への動きを追跡するた
めに、二次統計に基づく追跡方法を用いる。カルマンフィルタは、動的モデル及び測定モ
デルがガウス雑音を有する線形であると仮定する追跡方法を用いる。しかしながら、細胞
の画像列に関して、多くの干渉要素、たとえば背景クラッタが存在し、細胞の境界の明瞭
な画像を作り出すのは困難である。これによってしばしばカルマンフィルタによる追跡の
崩壊が発生する。
逐次モンテカルロ法の一形式である粒子フィルタは、ランダムサンプリングに基づく洗
練されたモデル推定技法である。粒子フィルタは、ガウス分布の推定を必要とせず、また
、動的モデル及び測定モデルは非線形であってもよい。粒子フィルタはカルマンフィルタ
の不利益を一切被らない。しかしながら、速度が落ちるという不利益を受けなくてはなら
ない。しかしながら、そのように述べたにも関わらず粒子フィルタは低速ではない。速度
の点では、カルマンフィルタの代わりに粒子フィルタを使用することは、極度に高速な進
行を、ほとんどの用途にちょうど十分な速さに変更することと等価である。
粒子フィルタとカルマンフィルタとの間の根本的な違いは、状態を表す方法にある。カ
ルマンフィルタは、パラメータ毎に1つの値を記憶すると共に、各パラメータ間の対応す
る分散及び相関を共分散行列の形式で記憶する。粒子フィルタは、それぞれが状態ベクト
ルとその対応する重みとを含む対に対応する「粒子」の収集物を維持する。追跡されてい
る物体の挙動全体は粒子の収集物の統計から導出することができる。単一の物体を、数十
、数百、又はさらには数千個の粒子を使用して追跡することができる。粒子フィルタは、
細胞の経過を辿るために、細胞が特定の形状を有することを必要とするが、細胞は1つの
特定の形状を有する物体ではないため、細胞を追跡することが困難であることがある。
したがって、細胞の機能を研究するために細胞の動きの真の画像を示す成果物を作り出
すことができる、自動化された細胞追跡のシステム及び方法に対する需要が存在する。
本発明は上述した背景技術を鑑みて達成され、本発明の目的は細胞の動きを追跡するシ
ステム及び方法を提供することである。
本発明の好ましい実施の形態では、細胞を追跡する方法が開示される。当該方法は、前
のフレーム内の少なくとも1つの細胞の画像をロケーションと共に提供すること、前のフ
レーム内の少なくとも1つの細胞のロケーションに基づいて、或る時間期間にわたって現
在のフレーム内の少なくとも1つの細胞の新たなロケーションを求めること、現在のフレ
ーム内の少なくとも1つの細胞の新たなロケーションを測定すること、及び、現在のフレ
ーム内の少なくとも1つの細胞の測定された新たなロケーションに基づいて、現在のフレ
ーム内の少なくとも1つの細胞のロケーションを更新することを含む。
本発明の別の好ましい実施の形態では、細胞を追跡する方法が開示される。当該方法は
、前のフレーム内の少なくとも1つの細胞の画像を受信すること、前のフレーム内の少な
くとも1つの細胞の画像に関連付けられる複数の粒子を提供することであって、当該複数
の粒子は、少なくとも1つの細胞の、前のフレームから現在のフレーム内の少なくとも1
つの細胞への動きを追跡する、提供すること、及び、複数の粒子を有する現在のフレーム
において、当該複数の粒子を有する前のフレーム内の少なくとも1つの細胞との関連で、
当該少なくとも1つの細胞の近似ロケーションを求めることを含む。
本発明のさらに別の好ましい実施の形態では、細胞の動きを追跡するシステムが開示さ
れる。イメージングシステムは、前のフレーム内の少なくとも1つの細胞の画像を受信す
るように構成され、画像受信装置に接続される。画像受信装置は、前のフレーム内の少な
くとも1つの細胞の画像を受信し、前のフレーム内の少なくとも1つの細胞の画像に関連
付けられる複数の粒子を提供し、なお、当該複数の粒子は、少なくとも1つの細胞の、現
在のフレームから前のフレーム内の少なくとも1つの細胞への動きを追跡し、且つ、複数
の粒子を有する現在のフレームにおいて、当該複数の粒子を有する前のフレーム内の少な
くとも1つの細胞との関連で、当該少なくとも1つの細胞の近似ロケーションを求めるよ
うに構成される。
本発明のこれらの利点及び他の利点は、以下の詳細な説明が添付の図面と併せて読まれ
るときに、より明らかになるであろう。
本発明の一実施形態による、細胞の動きを追跡するシステムのブロック図である。 本発明による図1の画像受信装置の概略図である。 本発明による、図1の細胞追跡システムが利用される方法を示すフローチャートである。 本発明による、複数の細胞の視野の生成のコンピュータスクリーンショットを示す。 本発明による、細胞の特性を示す複数の細胞からの1つの細胞の視野の生成のコンピュータスクリーンショットを示す。 本発明による、図4の複数の細胞の視野に関連付けられる特性のコンピュータスクリーンショットを示す。 本発明による、細胞との関連で選択される特性のコンピュータスクリーンショットを示す。 本発明による、選択されている入力特性のコンピュータスクリーンショットを示す。 本発明による近接アルゴリズムのフローチャートを示す。 本発明による粒子フィルタアルゴリズムのフローチャートを示す。 本発明による、双曲コーシー密度(Hyperbolic Cauchy Density)を生成するための指定のグラフ表現である。 本発明による、細胞融合又は細胞死を判断する一般的な[反比例]距離の使用を示す表の図式的表現である。 本発明による、細胞分裂又は細胞誕生を判断する一般的な[反比例]距離の使用を示す表の図式的表現である。
本発明の現在の好ましい実施形態を図面を参照して説明する。ここで、同様の構成要素
は同じ符号で識別される。好ましい実施形態の説明は例示であり、本発明の範囲を限定す
るようには意図されていない。
図1は、細胞の動きを追跡するシステムを含む、従来の蛍光顕微鏡システムのブロック
図を示す。この自動化された顕微鏡システム100は、任意選択の従来のコンピュータ1
03と、光源105と、光検出器107と、ダイクロイックミラー109と、対物レンズ
111と、試料台113と、試料115と、試料ホルダ119とを備える。
対物レンズ111の下には試料標本ホルダ119があり、試料標本ホルダ119を、通
常のマイクロタイタープレート、顕微鏡スライド、チップ、ガラスプレート、ペトリ皿、
プラスチック、若しくはシリコン、又は対象位置決め台113上に設置された試料115
を保持するのに利用される任意の種類の通常のホルダとみなすことができる。また、本発
明で利用される2つ以上の試料ホルダ119及び/又は2つ以上の試料台113が存在し
てもよい。
別の実施形態では、通信リンク117によって、顕微鏡システム100を従来のコンピ
ュータ103に電気的に又は無線で接続することができる。通信リンク117は、自動化
された顕微鏡システム101とコンピュータ103との間のデータ転送を容易にすること
ができる、ローカルアクセスネットワーク(LAN)、無線ローカルネットワーク、広域
ネットワーク(WAN)、ユニバーサルサービスバス(USB)、イーサネットリンク、
光ファイバ等のような任意のネットワークとすることができる。顕微鏡は複数の対物レン
ズ111を有することもできる。
顕微鏡システム100を、画像送信装置、イメージング装置、又は、光検出器107若
しくは通常の顕微鏡接眼レンズを利用することによって、試料115若しくは試料台11
3に設置される任意の種類の対象物の画像を捕捉することが可能なイメージングシステム
とみなすことができる。また、顕微鏡システム100は、たとえば、ニュージャージー州
ピスカタウェイ所在のGE Healthcareによって製造されたINCELL(商標)Anal
yzer1000又はINCELL(商標)Analyzer3000であってもよい。
試料115は、生きた生物有機体、生体細胞、非生体試料等とすることができる。顕微鏡
システム100は、通常の共焦点顕微鏡、蛍光顕微鏡、落射蛍光顕微鏡、位相差顕微鏡、
微分干渉顕微鏡、又は当業者に既知である任意の種類の顕微鏡とすることができる。別の
実施形態では、顕微鏡システム100は、生物有機体等の画像を迅速に検出、分析、及び
提供することができる、通常のハイスループット・ハイコンテント細胞内イメージング解
析装置とすることができる。また、顕微鏡システム100は、自動化された細胞・細胞内
イメージングシステムとすることができる。
光源105は、ランプ、レーザ、複数のレーザ、発光ダイオード(LED)、複数のL
ED、又は、試料115を照明するために主光路106を介して試料台113へ方向付け
られる光ビーム106を生成する当業者に既知の任意の種類の光源とすることができる。
レーザ走査顕微鏡の場合、走査ミラー109は試料115の上に位置決めされ、この走査
ミラー109が光源105から顕微鏡の視野にわたって光を走査し、光検出器107上で
試料の画像が取得される。蛍光顕微鏡の場合、走査ミラー109をダイクロイックミラー
109とみなすことができ、ダイクロイックミラー109は、励起光を試料に反射し、試
料からの蛍光の光を光検出器107に通す。
試料からの反射光又は蛍光を受ける光検出器107は、光電子増倍管、電荷結合素子(
CCD)、相補型金属酸化膜半導体(CMOS)画像検出器、又は、当業者によって利用
される任意の光検出器とすることができる。光検出器107は、通信リンク117によっ
てコンピュータ103に電気的に又は無線で接続される。別の実施形態では、光検出器1
07を、対物レンズ111と協働して中間画像を標本の詳細を観察することができるよう
にさらに拡大する、通常の顕微鏡接眼レンズ又は接眼鏡と置き換えてもよい。
コンピュータ103を、画像受信装置103又は画像検出装置103とみなすことがで
きる。本発明の別の実施形態では、画像受信装置103を、画像送信装置100の内部に
位置決めすることができる。画像受信装置103は、通常のコンピュータとして機能し、
試料115の画像を光検出器107から受信することが可能であり、次に標準的な画像処
理ソフトウェアプログラム、アルゴリズム、又は式を利用することによって、画像を表示
、保存、又は処理することができる。また、コンピュータ103は、個人情報端末(PD
A)、ラップトップコンピュータ、ノートブックコンピュータ、移動電話、ハードドライ
ブベースの装置、又は通信リンク117を通じて情報を受信、送信、及び記憶することが
できる任意の装置とすることができる。本発明において1つのコンピュータが利用される
が、コンピュータ103の代わりに複数のコンピュータを利用することができる。
図2は、図1の細胞追跡システムの画像受信装置の概略図を示す。画像又はイメージン
グの受信装置103は、従来のコンピュータに関連付けられる通常の構成要素を備える。
画像受信装置103も、画像送信システム100上に格納することができる。画像受信装
置103は、プロセッサ103aと、入出力(I/O)コントローラ103bと、マスス
トレージ103cと、メモリ103dと、ビデオアダプタ103eと、接続インタフェー
ス103fと、上述したシステム構成要素を、動作可能に、電気的に、又は無線でプロセ
ッサ103aに結合するシステムバス103gとを備える。また、システムバスは103
gは、通常のコンピュータシステム構成要素を、電気的に、又は無線でプロセッサ103
aに動作可能に結合する。プロセッサ103aを、処理装置、中央処理装置(CPU)、
複数の処理装置、又は並行処理装置とみなすことができる。システムバス103gを、従
来のコンピュータに関連付けられる通常のバスとすることができる。メモリ103dは、
読出し専用メモリ(ROM)と、ランダムアクセスメモリ(RAM)とを備える。ROM
は基本ルーチンを含む通常の入出力システムを備え、当該入出力システムは、起動中にコ
ンピュータの構成要素間で情報を転送するのを補助する。
入出力コントローラ103bは、バス103gによってプロセッサ103aに接続され
る。ここで、入出力コントローラ103bは、ユーザが、細胞追跡グラフィカルユーザイ
ンタフェース(GUI)、並びに、キーボード及びポインティングデバイスのような入力
装置104を通じて、コマンド及び情報をコンピュータに入力することを可能にするイン
タフェースとして機能する。利用される通常のポインティングデバイスは、ジョイスティ
ック、マウス、ゲームパッド等である。ティスプレイ201は、ビデオアダプタ103e
によって、システムバス103gに電気的に又は無線で接続される。ディスプレイ201
は、通常のコンピュータモニタ、プラズマテレビ、液晶ディスプレイ(LCD)、又は、
コンピュータ103によって生成される文字及び/若しくは静止画像を表示することが可
能な任意の装置とすることができる。コンピュータ103のビデオアダプタ103eと並
んで、接続インタフェース103fが存在する。接続インタフェース103fを、上述し
たように通信リンク117によって光検出器107に接続されるネットワークインタフェ
ースとみなすことができる。また、画像受信装置103はネットワークアダプタ又はモデ
ムを備えることができ、当該ネットワークアダプタ又はモデムによって、画像受信装置1
03を他のコンピュータに結合することが可能になる。
メモリ103dの上にはマスストレージ103cがあり、マスストレージ103cは、
1.ハードディスクに対して読み書きを行うためのハードディスクドライブ構成要素(図
示せず)及びハードディスクドライブインタフェース(図示せず)と、2.磁気ディスク
ドライブ(図示せず)及びハードディスクドライブインタフェース(図示せず)と、3.
CD−ROM又は他の光学式媒体のような取外し可能な光ディスクに対して読書きを行う
ための光ディスクドライブ(図示せず)及び光ディスクドライブインタフェース(図示せ
ず)とを備える。上述したドライブ及びそれらの関連付けられるコンピュータ可読媒体は
、コンピュータ可読命令の不揮発性ストレージ、データ構造、プログラムモジュール、及
び、コンピュータ103のための他のデータを提供する。また、上述したドライブは、本
発明の、細胞の動きを追跡するためのアルゴリズム、ソフトウェア、又は式を有するとい
う技術的効果を含む。当該技術的効果は、図3、図7、及び図8のフローチャートにおい
て説明される。
ソフトウェアは細胞追跡グラフィカルユーザインタフェース(GUI)を有する。細胞
追跡グラフィカルユーザインタフェースは、通常のGUIと同じ機能性のうちの幾らかを
有する、特別にプログラムされたGUIであり、コンピュータユーザがコンピュータ10
3と簡単に対話することを可能にするように設計されたソフトウェアプログラムである。
細胞追跡GUIは、1.図6A、図6B、及び図6Cにおいて論考されるような細胞の特
性(「測度」)を表示するスクリーンショットを含む。
図3は、細胞追跡ソフトウェアアプリケーションにおいて、細胞の動きが追跡される方
法のフローチャートを示す。この説明では1つの細胞を参照するが、この説明は、顕微鏡
システム100によって追跡される複数の細胞にも当てはまる。ユーザは、イメージング
受信システム103によって検証される顕微鏡システム100内に複数の細胞を挿入する
ブロック301において、ユーザは、ポインティングデバイス104を用いて、プロセ
ッサ103a上で、プロトコル内に記憶されている細胞追跡近接アルゴリズム又は粒子フ
ィルタアルゴリズムを開始し、それによって、ユーザは細胞追跡GUIを操作して、図6
Bのコンピュータスクリーンショット上の「〜を使用して細胞の動きを検査する」インジ
ケータをチェックして近接アルゴリズム又は粒子フィルタアルゴリズムを選択する。次に
、ブロック303において、顕微鏡システム100におけるユーザは、図4のコンピュー
タスクリーンショットにおいて示されるような、画像受信装置103における特定の状態
又は「前のフレーム」としても知られる特定のフレームにおける、「シーン」として知ら
れる、複数の細胞の視野(FOV)を観察する。任意選択で、細胞追跡グラフィカルユー
ザインタフェースがコンピュータスクリーンショット上に細胞の特性を表示してもよい。
図6Aを参照すると、コンピュータスクリーンショットは細胞の特性を示している。顕微
鏡システム100上の細胞のそれぞれに関して、ニュージャージー州ピスカタウェイ所在
のGE Healthcareによって製造されたINCELL(商標)Analysis Work
station又はINCELL(商標)Developerにおいて使用される標準画
像分析ソフトウェアに基づいて、各細胞の特性が知られる。
細胞の特性は、細胞核の強度、又は細胞核若しくは細胞核エリアの稠密度等を含む。こ
れらの特性は、核の中心が必須であることを表している。示すことができる多数の細胞の
特性が存在するが、当業者に既知であるため、ここではそれらを完全には開示しない。特
性のそれぞれは、図6Cのコンピュータスクリーンショットに示すように重みを割り当て
られる。ここで、重みは、追跡プロセスに対する各特性の影響を示すものであり、0より
大きく1以下の数で表される。
この時点で、ユーザは、細胞に関連付けられる特性のすべてに対して特定の重みを割り
当てることもできる。たとえば、ユーザは、Nuc cg Xの特性に対して1.00の
重みを要求することができ、Nuc cg Yの特性に対して1.00の重みを要求する
ことができる。Nuc cg X及びNuc cg Yはそれぞれ、X及びYは核の質量
中心の座標である。核の質量中心は核の「重心」と同義である。核細胞は、x1≦i≦
M、y1≦i≦M Nuc cg=−x 1/M MΣi=1 x及びNucg=−
y=1/M MΣi=1 yに位置するM個のピクセルによって表される。また、ユー
ザは、ブロック315において細胞追跡プロセスが完了した後、図6Cのコンピュータス
クリーンショットに示すラベル、追跡ID、イベント、信頼度、及び距離のような出力デ
ータのいずれを受信することを望むかを選択することができる。ラベルは細胞に割り当て
られる一意のラベルであり、所与の時点における細胞の表現ではないが、実際の物理エン
ティティである。追跡IDは親子関係を表す数字であり、通常、細胞のすべての画像化さ
れた子孫はその追跡IDを共有するべきである。イベントは、なし、新規、分裂、又は衝
突等であり、所与の時点における所与の細胞に関連する。信頼度は、現在のフレームのこ
の時点における所与の細胞の、前の時点の当該細胞の親への割り当てが正確である信頼度
を与えられたアルゴリズムである。距離は、前のフレームから現在のフレームへの細胞が
進んだ距離である。
細胞追跡ソフトウェアプログラムは、複数の細胞の画像からの少なくとも1つの細胞を
検出及び分析すると共に、当該少なくとも1つの細胞の特性、すなわち、特徴ベクトル、
細胞位置、エリア、強度、比率、分類等を計算するために、複数の細胞を区分化及び定量
化することを可能にする、標準の区分化・定量化プログラムを含む。「比率」は、不変特
徴、すなわち、物体のサイズが変化するがその形状は変化しない場合であっても値を維持
する特徴の一例であり得る。分類結果は、さらにより多くの特徴である。たとえば、細胞
は当該細胞の寿命期間において複数の段階を経験し、分類器はこれらの段階を判断するこ
とができる。寿命期間における段階に応じて、特徴の異なるセットを用いる場合すらある
。たとえば、細胞分裂の直前に、細胞はサイズ及び輝度が大きくなり、伸長する。これら
の3つの特徴、特に伸長及び「形状要素」は、次のフレーム内で同じ細胞を特定するのに
役立つ。ユーザは、ポインティングデバイス104(図2)を使用してコンピュータ10
3の細胞追跡グラフィカルユーザインタフェース(GUI)を操作し、複数の細胞から少
なくとも1つの細胞を選択することができる。
図5を参照すると、複数の細胞が定量化・区分化プロセスを受けた後、ユーザが或る時
間期間にわたって追跡することを選択した細胞がコンピュータスクリーンショットにおい
て示される。ここで、細胞は拡大され、細胞追跡GUIによって、時点「<<」及び「>
>」間、並びに同じフレーム内の兄弟細胞「<」及び「>」間のナビゲーションを可能に
するボタンが表示される。また、この細胞のコンピュータスクリーンショットは、細胞を
追跡するための追跡id99、及びこの細胞を図4に示されるその他の細胞と区別するた
めの細胞番号98を含む。
ブロック305において、画像受信システム103におけるプロセッサ103aは、検
証されているフレームが画像受信システム103の視野(FOV)における最初のフレー
ム又は前のフレームであるか否かを判断する。第1のフレームが最初のフレームでも前の
フレームでもない場合、ブロック307においてフレームマッチングプロセスが開始する
ブロック307において、ユーザは画像受信装置103を用いて細胞追跡GUIを操作
して、現時点又は現在のフレームにおいて上記少なくとも1つの細胞が観察された場所か
ら、ブロック301における前のフレームへの変化を、或る時間期間にわたって予測する
ことができる。図6Cに示すように、ユーザは、ブロック701において近接アルゴリズ
ムを使用するか、又はブロック801において粒子フィルタアルゴリズムを使用すること
によって、現在のフレーム内の複数の細胞における少なくとも1つの細胞の、前のフレー
ム内の複数の細胞における当該少なくとも1つの細胞までの動きを追跡することができる
。近接アルゴリズムは、現在のフレーム内の複数の細胞における、前のフレーム内の少な
くとも1つの細胞の位置と等しい、少なくとも1つの細胞(最も近い細胞)の位置を表す
。粒子フィルタアルゴリズムは、現在のフレーム内の複数の細胞における、当該複数の細
胞における少なくとも1つの細胞の前のフレームの最終位置+速度×時間+1/2加速度
×時間の二乗+ランダムな変化に等しい、少なくとも1つの細胞の位置を表す。この粒子
フィルタは動的モデルを使用する。近接フィルタアルゴリズム及び粒子フィルタアルゴリ
ズムの目的は、現時点(現在のフレーム)を過去(任意の以前に処理されたフレーム、通
常単純に前のフレーム)とリンクさせるイベントを特定することである。
図7は、近接アルゴリズムを用いて細胞が第1のロケーションから次のロケーションへ
動く場所を予測する方法のフローチャートを示す。ブロック701において、細胞追跡ソ
フトウェアは、文字Pによって表される前のフレームからの細胞と同じ複数の細胞を含む
、文字Tによって表される新規フレーム又は現在のフレームを、たとえば10msの時
間間隔で10ms〜5×10msの時間期間内で生成した。この時点において、前の
フレームの物体毎に追跡が行われており、前のフレーム内の物体又は細胞に十分近接して
いる現在のフレーム内の物体又は細胞は、「候補マッチ」と見なされる。現在のフレーム
Tは、文字tによって表される特徴ベクトル(ロケーション)を有し、前のフレームPは
文字pによって表される特徴ベクトル(ロケーション)を有する。候補マッチは、考察対
象の物体に最も近い物体であるか、又は、候補マッチは、考察対象の物体からその最も近
いマッチまでの距離qよりも考察対象の物体から離れてはいない。シンボルpに関する
候補マッチの集合はMである。現在のフレーム内の、前のフレームに最も近い物体間の
距離は2つのベクトル間の標準ユークリッド距離としても既知であり、ここで各座標は上
述したように重み付けされる。現在のフレームと前のフレームとの間の距離を取得するた
めに、以下の式が適用される:
第1の式において、mは、特徴ベクトルpと、T(重み付けされた距離の意味にお
いてpに最も近い次のフレーム)からの特徴ベクトルとの間の距離を示す。第2の式は
、Pからのベクトルp毎の候補マッチの集合が、Tからのすべての特徴ベクトルtを含む
ことを示し、tとTとの間の重み付けされた距離がqを乗算された最小距離(式1におい
て定義される)以下となるようになっている。第3の式はフレームPとフレームTとの間
のマッピングCを形式的に導き、当該マッピングは、複数の細胞の、前のフレームと現在
のフレームとの間のすべてのマッチに関する情報を表し、3つ1組として、Pからの特徴
p、Tからの特徴ベクトルt(pに対する候補マッチの集合Mpから導出される)、及び
pとtとの間の重み付けされた距離を含む。Cは、前のフレーム内のp個のコールと、P
の候補マッチと見なされるt個の細胞と、対応する距離dとを含むすべてのタプルの集合
である。2本の垂直バーで形成される括弧は、数の絶対値を表さない。垂直バーは、ベク
トルのユークリッドノルムを表し、ここでは点wpと点wtとの間にわたるベクトルであ
る。
ブロック703において、細胞追跡ソフトウェアは、文字Dが、C(タプルの第3の要
素)の要素から取得した重み付けされた距離の母集団として定義されることを示す。距離
d(m)>med(D)+10hout×mad(D)であるCのすべての要素mは、異
常値であるものとして集合から除去される。
定数houtはユーザによって供給される。項medは母集団の中央値を表す。項ma
dは絶対偏差の中央値を表す。
また、ブロック703において、上述したイベントが識別される。たとえば、それぞれ
の特徴ベクトルp及びtに関連する特定の要素PからTにおいて開始又は終了する複数の
エントリに基づいて、イベントは衝突又は分裂である場合がある。ブロック705におい
て、特徴ベクトルp及びtに基づいてPにもTにも直接関連していない物体は、それぞれ
離脱イベント及び到着イベントを生成する孤立した物体又は細胞である。
また、ブロック705において、マッチングされた各レコードの信頼度インジケータが
割り振られる。信頼度の定義は任意であり、マッチングプロセスには直接対応せず、入力
状態に直接対応する。以下に示す式に従って様々なイベントが割り振られる。
4.イベントなし及び衝突イベント:1−d/s、式中、sは、pとTから2番目に
近いマッチとの間の距離である。
5.分裂:b/s、式中、bは、Tと、PにおけるTに最も近いベクトルとの間の
距離である。
6.到着:
7.離脱:
イベントなし及び衝突イベントの式に関して、sは、pとTから2番目に近いマッチ
との間の距離である。分裂の式に関して、bは、tと、PにおけるTに最も近いベクト
ルとの間の距離である。到着イベント及び離脱イベントに関して、b又はmによって
それぞれ除算された母集団Dの平均が数値1から減算される。この時点において、現在の
フレーム内の物体又は少なくとも1つの細胞は、ブロック309に進むことによってラベ
ル付けの準備が完了する。
ブロック309において、現在のフレームすなわちTからの少なくとも1つの細胞が、
前のプロセスにおいて列挙されたイベントに基づいてラベル付けされる。このラベル付け
するステップは、物体の寿命全体を通じて一定であり続けることが予期されると共に、物
理的物体の画像を示すのに使用することができる、識別子又は名前を割り当てる。識別子
によって、プログラムは、ユーザがこれらの関係を把握することができるようにして出力
データを提示することが可能になる。これらのラベルはシーンの第1のフレームで1から
開始する数列から取得される自然数であり、ここで、各シーンは独立してラベル付けされ
る。また、このラベル付けプロセスは、同じ細胞又は前のフレームからの子孫の細胞であ
る細胞系譜木を識別する。物体ラベルと同様に、細胞系譜木も自然数によって識別される
。以下の表の規則に従って、現在のフレームとその直前のフレーム(predecessor)との
間で発生したイベントに基づいて、ラベルが子物体に割り当てられる。
次に、ブロック315において、前のフレームからの現在のフレームの出力データが或
る時間期間にわたって示される。この出力データが以下に示す表のように表される。この
表は、現在のフレーム及び前のフレーム又は親子関係を表形式で示す。この表情報は、イ
ベントラベル、細胞ID、及び親子関係木IDも含むことができる。
考察中のフレームがシーンの第1のフレームである場合、ブロック311において、追
跡アルゴリズムによって必要とされるデータ構造の初期化が発生する。
次に、ブロック313において、衝突、到着、離脱等のような、上述した様々なイベン
トまで追跡された物体のラベル付けが行われる。ブロック315において、上述したよう
に、或る時間期間にわたる現在のフレーム及び前のフレームの出力データが示される。ブ
ロック317において、画像受信装置103によって、シーンの最後のフレームが画像受
信装置103によって取得されたか否かが判断される。本質的には、ユーザは画像受信装
置に通知するか、又は画像受信装置103上にプロトコルが存在するか否かをチェックし
て、1個〜100個のフレーム、好ましくは60個〜80個のフレームの範囲にある複数
の現在のフレームを精査する。視野内の複数の細胞を有する物体又は細胞が或る時間期間
にわたってどのように動くかの正確な説明を得るために、たとえば、100,000ms
〜1,000,000msの時間期間にわたって100個の現在のフレームを精査する。
シーンの最後のフレームが取得されていないと判断される場合、プロセスはブロック30
3に戻る。シーンの最後のフレームが取得され、且つ出力データが取得されていると判断
される場合、プロセスはブロック319に進む。ブロック319において、現時点のフレ
ームと前のフレームとの間の中間データが削除され、このプロセスは終了する。
本発明で使用される粒子フィルタアルゴリズムは、2つの別個の層、内層及び外層を備
える。内層の各構成要素は個々の標的又は細胞を追跡する責任があるサブトラッカーと見
なすことができる。外層はすべての標的又は細胞を追跡する責任があるトラッカーと見な
すことができる。内層は「粒子」のクラウドを含み、当該クラウドはハチの群れのように
、物体又は細胞のような単純な標的を追う。外層は、それぞれが標的を追うように意図さ
れるクラウドのセットを備える。内層及び外層は共に、通常の、予測ステップと、観察/
測定ステップと、更新ステップとを有する。外層は、当該外層の構成要素のクラウドのそ
れぞれに予測を委任することによって各クラウドの所在を予測する、予測段階を有する。
換言すれば、外層は自身では予測を行わず、内層は自身の予測を行う。
また、外層は、2つのステップを包含する測定段階を有する。第1に、各標的のクラウ
ド毎に、当該クラウドから当該各標的への距離が計算される。外層測定段階は2つの局面
を仮定する。第1に、外層測定段階は、コンピュータ103が、各クラウドと各標的との
間の「距離」を測定する方法を知っていると仮定する。これは後にクロスエントロピーの
論考中に開示される。第2の局面は、コンピュータ103が、イベントなし、融合、分裂
、細胞誕生、及び細胞死のイベントを決定するような、これらの距離を対処する方法を知
ることである。測定段階の終了時に、コンピュータ103は、標的又は細胞と同じ数の粒
子クラウドを有するべきである。この終了に向けて、コンピュータ103は、1.細胞分
裂と、2.細胞融合と、3.細胞消滅と、4.細胞誕生との間で判断及び区別をする必要
がある。標的とクラウドとの間の距離の表の客観的分析の判断基準が図10及び図11に
示される。
外層測定段階の次のステップは、コンピュータ103が、ステップ1から計算された距
離を利用する「責任分担表」(RM)を構築することを含む。次に、コンピュータ103
は、細胞における分裂、融合、衝突等に関してRMを分析する。次に、コンピュータ10
3は、粒子クラウドのセットに等しい出力を、標的毎に1つずつ決定する。
外層更新段階は、各粒子クラウドに当該粒子クラウド自身の状態を更新することを委任
する。外層測定段階は非常に複雑であり、多数の新しい局面を含む。外層は画像内の複数
の標的全体に作用し、ここで、標的は、ニュージャージー州ピスカタウェイ所在のGE Hea
lthcareによって製造されたINCELL(商標)1000 Developer To
olboxによって提供されるアルゴリズムのような別個の区分化アルゴリズムによって
定義される。
外層と同様に、内層は通常のベイズ追跡フィルタであり、別個のさかのぼる段階と、観
察段階と、更新段階とを含む。粒子フィルタの内層は、単純な標的を追跡するための粒子
クラウドを含む。内層の予測段階が以下に示される。
予測:
理論
ドリフト:
実践
拡散:
上記の例はゼロ加速度を用いる単純なモデルを示す。通常、3つの異なる動的モデル、
すなわち、1.最終位置=初期位置+速度×時間+ノイズ、2.最終位置=初期位置+ノ
イズ、及び、3.最終位置、又は3.初期位置+速度×時間+0.5×加速度×時間×時
間+ノイズを考慮に入れて、x及びyに関して新たなロケーション又は最終ロケーション
を計算するモデルを用いることができる。
予測段階の理論的局面は、コンピュータ103が密度p(x|xt−1)から直接試
料を引き出すべきであることを宣言するが、第1にこれは可能ではない。実際には、この
密度はコンピュータ103にとって利用可能ではない。カルマンフィルタを使用すること
に関連付けられる陥穽を回避するために、異なる密度が慎重に選択される。当該密度自体
はガウス統計に基づかない。選択の密度は裾の長い密度である。確率密度関数の利用は、
細胞トラッカーのロバスト性に影響を与える。ロバスト統計の分野の背後にある原理は、
1つ又は複数の異常値が有する可能性がある影響を最小にすることである。これを行う1
つの方法は、推定値を裾の厚い密度に基づかせることであり、図9における双曲コーシー
密度は、当該裾の厚い密度の一例である。多数の細胞を追跡した後、理論的サンプリング
を実施することが可能であることに留意されたい。当該サンプリングは、Isard及びBlake
によって、M.Isard及びA.Blake著「Condensation--conditional density propagation fo
r visual tracking」(International Journal of Computer Vision29(1), pp. 5-28, 19
98. http://citeseer.ist.psu.edu/isard98condensation.html)において提案されるよう
に、粒子フィルタの予測段階、すなわちx←p(x|xt−1)によって指示される
双曲コーシー密度の対数確率のグラフは、ガウス分布の対数確率に対して全く異なる性
質を示す。大きな距離の場合、当該グラフの性質は放物形ではなく線形である。小さな距
離の場合、2つの測定はほとんど同一であるが、大きな距離の場合に双曲コーシーはより
寛容である。これは、異常値がより少ない重みを得るため、ロバスト推定器の本質である
。確率密度関数における重い裾は、異常値により少ない重みが与えられたことを意味する
。この密度は小さな誤差にはL2ノルムを使用するが、大きな誤差にはL1ノルムを使用
する。
ガウス統計はロバストではない。これは関連付けられる距離測定が異常値を二乗するた
めである。最終的な結果は、小さな距離の場合にガウス分布であるが、大きな試料の場合
に非ガウス分布までシームレスに変化する、非線形トラッカーとなる。これによって異常
値に対するロバスト性が向上するはずである。特徴間の距離は、ここでは単純に「距離」
のより安定した測度を使用しているという点において、暗黙的に処理されている。
双曲コーシー:小さなx=二乗を加算
大きなx=絶対値を加算
重点サンプリングは、裾の重い密度を使用する他の妥当な理由である。カルマンフィル
タ及び粒子フィルタに関する論考は通常、多数の多次元積分の存在によって過度に複雑に
なる。粒子フィルタリングは、重点サンプリング法を使用するモンテカルロ数値積分の形
態で考察することができる。重点サンプリングにおいて、良好で効率的な提案密度は、真
の統計に可能な限り密接にマッチする。しかしながら、数値安定性のために、提案密度は
裾が重いことが望ましい。
要約すると、重い裾は3つの目的を達成する:
1.異常値(すなわち、突然の大きな変化)に対するロバスト性
2.新たな状態の探索及び調査におけるさらなる目標
3.より安定した数値積分
次に、粒子フィルタの内層は測定構成要素を備える。理論では、p(z|xt−1
に等しい重みである。実践では、密度の確率密度関数を閉形式で利用可能であるため、同
じである。この段階において、各粒子は、確率密度関数によって測定されるような、標的
に対する自身の近接度に応じて決まる重みを取得する。
最後に、内層は、試料が当該試料の個々の重みに従って再サンプリングされる更新構成
要素を含む。良好な予測を行う粒子は、その報いとして1回以上試料となる。劣った予測
をする試料は、小さな重みを有し、おそらく全くサンプリングされない。更新ステップは
粒子の再サンプリングを行い、これは置き換えを伴う。これは、以下のMatlabコー
ドによって示すように、実施するのが非常に単純である:
製品内で使用される対応するCコードは、CDFが単調増加であり、予めソートされて
いるという事実に基づいて二分探索を使用するため、より良く書かれている。
再サンプリング例
入力:(9,0.167)(16,0.333)(7,0.000)(20,0.0
00)(18,0.500)(23,0.000)
出力:(9,0.167)(16,0.167)(16,0.167)(18,0.
167)(18,0.167)(18,0.167)
第1の数がサンプリングされており、第2の数は対応する重みである。ここで出力にお
いて9が1回、16が2回、18が3回現れる。20、7、23は、重みがゼロであるた
め現れない。重みは、再サンプリング後に1に加算するために再度正規化されることに留
意されたい。この例において、ここで、値9、16、7、20、18、23はスカラであ
るが、それらをベクトルとすることができない理由は存在しない。通常、それらはまさに
ベクトルである。
図8のブロック801において、コンピュータは、各標的に当該標的自身のトラッカー
を与えて、粒子フィルタ追跡アルゴリズムを開始する。トラッカーの初期状態は、細胞画
像の元のロケーション及び状態に関連付けられる、細胞位置、画像強度、細胞エリア、形
状要素、又は通常他の測定可能な特徴ベクトル等のような、観察可能な細胞の特性に基づ
く。ブロック803において、粒子フィルタアルゴリズムは、上述した観察可能な特性に
基づいて、速度のような隠れた特性の値を他のベイズ学習アルゴリズムと同じようして推
測することによって、細胞画像のロケーションを予測することができる。
この細胞追跡ソフトウェアプログラムは通常のモンテカルロ粒子フィルタプログラムを
含み、当該モンテカルロ粒子フィルタプログラムによって、ユーザは、前のフレームにお
ける元の状態又はロケーションにある細胞画像を、現在のフレームにおける新たな状態又
はロケーションまで追跡することが可能になる。ここで、モンテカルロプログラムからの
複数の粒子は本質的に、ユーザに応じて決まる特定の時間期間内において、元の細胞に、
当該細胞の開始ロケーションから新たなロケーションまでハチの群れのように従う。粒子
フィルタは、細胞の新たなロケーションの割り当てられた標的を追跡する粒子クラウドの
ようにふるまう100個以上もの「粒子」を含むことができる。
細胞追跡ソフトウェアプログラムは、前のフレーム内の複数の細胞から現在のフレーム
内の少なくとも1つの細胞の近似ロケーションを求めるために、双曲コーシー密度式のよ
うな標準確率密度関数(p.d.f)を、現在のフレーム又は次のフレーム内の少なくと
も1つの細胞のクラウドに適用する。また、このブロック803において、アルゴリズム
は現在のフレーム内の少なくとも1つの細胞のロケーションを評価する。確率密度関数を
利用することは、細胞トラッカーのロバスト性に影響を与える。ロバスト統計の分野の背
後にある原理は、異常値が有する可能性がある影響を最小にすることである。これを行う
1つの方法は、推定値を裾の厚い密度に基づかせることであり、双曲コーシー密度は、上
述した裾の厚い密度の一例である。
次に、ブロック805において、個々の標的が追跡される粒子フィルタアルゴリズムで
ある内層に関して、特徴ベクトル、細胞強度、細胞位置等に基づく細胞の新たなロケーシ
ョンが、前のフレームにおける細胞画像の元のロケーションから現在のフレームにおける
細胞画像の新たなロケーションまでの距離、又は特徴空間(単なる2D空間ではなく、特
徴が定義される多次元空間)内の細胞の観察される位置に対する粒子の対数確率に基づく
一般ノルムに基づいて調べられる。この距離は、通常のユークリッド距離(Lノルム)
若しくはメトロポリス距離(Lノルム)、又は、ブロック807における、再サンプリ
ングを行う更新段階において再サンプリングの必要な各粒子に重みを提供する、後述する
対数確率に基づく或る一般的距離とすることができる。
ブロック805において、トラッカー管理システムである外層に関して、コンピュータ
103は、距離の一般的測度に依拠する上述した責任分担表を計算しなくてはならない。
尤度関数の対数が距離と等価であることは、当業者には既知である。しばしば論考される
古典的例は、独立で同一分布のデータに関するガウス尤度関数の例である。この特殊なケ
ースでは、等価距離測度はユークリッドノルムであり、標準最小二乗法は尤度関数を最大
にすることと等価である(すなわち、距離は負の対数確率と等価である)。
クラウドを含む粒子間の距離の総計を、負の対数確率の合計として表す:
ここで、wijkは、所与の粒子に対する特徴空間における各細胞の位置の確率密度関数
である。(対数確率を合計することは確率を乗算することと等価であり、これは、粒子が
統計的に独立であるため全体的な確率を計算する適切な方法であることに留意されたい)
実際には、合計は見せかけのモンテカルロ積分である。粒子クラウド内の粒子が密度p
(x)から導出される場合、以下となる:
この式の右側はクロスエントロピーとして既知である。
さらに、クロスエントロピーを分解することができることに留意されたい:
における項は自己エントロピーである。エントロピーは一般的に無秩序性の測度として理
解されている。この文脈においては、エントロピーは、密度p(x)がどれだけ均一であ
るかの測度である。粒子フィルタの再サンプリングステップ(すなわち、「更新」ステッ
プ)は粒子の重みを均一な値に再設定し、これによって各粒子を等価にする。
における項は、カルバックライブラー情報量(KLD)である。KLDは一般的に確率密
度間の距離の測度として使用される。(厳密に言うと、KLDは対称ではないため真の距
離の測度ではない)。KLDは、p(x)及びw(x)が同一であるときに最小である。
本発明の「距離」の測度を最小にすることによって、事実上KLDが最小にされる。最小
KLDは、たとえば標的が(標的の周りの粒子の群れの分布が最小オフセットを有する粒
子の真の分布に従うように)粒子クラウドの中心に正面に位置するときに発生する。この
ような環境において、粒子クラウドベースのトラッカーが標的を追尾していると結論付け
ることができる。
図10において、列最大値の選択に関して、5個のクラウド及び6個の標的のクロスエ
ントロピーが示される。クラウド5は標的5及び標的6の両方に対応する。可能性のある
分裂が存在したと推測する。図10の行最大値の選択に関して、標的6はマッチするクラ
ウドを有しない。データの他の可能な解釈は、クラウド5が標的5を追跡しており、標的
6は完全に新しいということである。より可能性が低いのは、クラウド5が標的6を追跡
しており、標的5が新しいという第3のシナリオである。この対立を解決する方法は、表
内の対数確率を使用して、分裂の確率を計算すると共に、当該確率を、追跡されている単
一の細胞の確率と、たとえばベイズ決定法又はベイズネットワーク法を利用してこれらの
確率を対応するグラフ構造に変換することによって比較することである。
図11において、行最大値の選択に関して、上記の表の上半分は既知の標的と存在する
粒子クラウドとの間のクロスエントロピーを示す。下半分は、クロスエントロピーの行最
大値と、それらが発生する場所とを示す。クラウド6はマッチする標的を有せず、これは
、元々クラウド3及びクラウド6によって追跡されていた標的がおそらく融合したことを
意味する。
クラウド3及びクラウド6に対応する2つの標的が融合したのか、又は代替的に、クラ
ウド6によって追跡されていた標的が単純に消滅したのかに関して判断しなくてはならな
い。他の(はるかに可能性が低い)説明は、クラウド3によって追跡されていた標的が消
滅し、標的5がクラウド6によって追跡されているということである。各可能性の確率を
、同時確率表のエントリを合算して必要な周辺確率又は状態確率を取得することによって
計算することができる。標準ベイズ定理を用いることによって、正しい推論を形式的に実
行することができる。クロスエントロピーは、上記の各細胞の確率の対数であることに留
意されたい。表を粗略に調べると、クラウド6が標的5の確率全体にほとんど寄与してい
ないためにクラウド6によって追跡されていた標的が消滅したというのが正しい判断であ
ると示されているように思われるが、実際には任意の他の標的である場合がある。
列最大値に関して、表は、既知の標的と存在する粒子クラウドとの間のクロスエントロ
ピーを示す。下半分は、クロスエントロピーの列最大値と、それらが発生する場所とを示
す。クラウド6はマッチする標的を有せず、これは、標的がおそらく消滅したことを意味
する。ブロック809において、一連の有限の画像における最後のフレームが生じたか否
かを判断し、生じた場合、プロセスは終了し、生じていない場合、プロセスはブロック8
03に戻る。
事例によっては、細胞が融合するとき、これは当該細胞が物理的に融合したためではな
く、ソフトウェア、すなわち、ニュージャージー州ピスカタウェイ所在のGE Healthcare
によって製造されたINCELL(商標) Developer toolboxソフト
ウェアプログラムが、2つの細胞が互いに近接しているために当該2つの細胞を区別する
ことができないためであることがある。このケースでは、実際には2つの細胞が存在する
ことを判別すると共にそれらの細胞を区分化するトラッカー又はソフトウェアを任意選択
で用いることが可能であり得る。
本発明は、ユーザが少なくとも1つの細胞がどのように機能するかを判断するために、
複数の細胞のうちの少なくとも1つの細胞のような物体の動きを、当該物体が経時的に1
つの点から別の点へ動くときに追跡することをユーザに可能にする、自動化されたシステ
ム及び方法を提供する。ユーザは少なくとも1つの細胞の動きを追跡し、当該少なくとも
1つの細胞の構造が、当該少なくとも1つの細胞が細胞分裂を受けるような変化をしたか
否か、又は、二つ以上の細胞が互いに融合しているか否かを判断することができる。この
ユーザは、少なくとも1つの細胞を最適に追跡して、当該少なくとも1つの細胞が動くと
きに、当該少なくとも1つの細胞の近似ロケーションを時間及び距離において検出するこ
とができる。したがって、本発明は、ユーザに、細胞の動きを追跡して細胞機能を研究す
る手段を提供する。
具体的な実施形態に関連して本発明を説明したが、以下の特許請求の範囲によって規定
される本発明の精神及び範囲から逸脱することなく、本発明の多くの変更及び変形を行う
ことができることは当業者に明らかであろう。

Claims (7)

  1. 前の画像フレーム内の位置において、及び、前の画像フレーム内の位置から現在の画像フレーム内の位置までにおいて、複数の細胞の中の、少なくとも1つの生物学的細胞を追跡する方法であって、当該方法が、
    前の、及び、現在の画像フレームを提供するステップと、
    粒子フィルタ・アルゴリズムを、前記少なくとも1つの細胞に適用するステップであって、当該粒子フィルタ・アルゴリズムが、内層と外層を含むものと、
    所定の位置における前のフレームから、次の位置における現在のフレームまで、前記少なくとも1つの細胞を追うように構成される、粒子クラウドを、前記内層に提供するステップと、
    前記所定の位置における前のフレームから、前記次の位置における前記現在のフレームまで、前記複数の細胞の各細胞を追うように構成された、クラウドのセットを、前記外層に提供するステップと、
    前記内層を利用することによって、前記現在のフレームの、前記少なくとも1つの細胞の、次の位置を予測するステップと、
    を含む、
    追跡する方法。
  2. 次の位置を予測するステップが、現在のフレームにおいて個々の細胞を、前のフレームにおける個々の細胞にリンクさせるイベントを識別するステップを含む、請求項1に記載の方法。
  3. 前記イベントが、細胞の誕生、細胞の死、細胞分裂、細胞融合、及び、イベント無し、を含む、 請求項2に記載の方法。
  4. 前記リンク付けイベント、及び、前記前のフレームにおけるセルのラベル、に基づいて、現在のフレームにおける個々の細胞にラベル付けすることを含む、請求項2又は3に記載の方法。
  5. 前記内層が、前記現在のフレームにおける前記個々の細胞の、おおよその位置を決定するための、確率密度関数を含む、請求項1から4のいずれかに記載の方法。
  6. 前記確率密度関数が、双曲コーシー密度のような、濃い裾の密度関数である、請求項5に記載の方法。
  7. ベイズ決定法、又は、ベイズネットワーク法を用いて、イベントが識別される、請求項1から6のいずれかに記載の方法。
JP2013242618A 2007-02-09 2013-11-25 生体物質の動きを追跡するシステム及び方法 Pending JP2014089191A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US88900607P 2007-02-09 2007-02-09
US60/889,006 2007-02-09

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2009549172A Division JP2010525299A (ja) 2007-02-09 2008-01-30 生体物質の動きを追跡するシステム及び方法

Publications (1)

Publication Number Publication Date
JP2014089191A true JP2014089191A (ja) 2014-05-15

Family

ID=39690722

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2009549172A Pending JP2010525299A (ja) 2007-02-09 2008-01-30 生体物質の動きを追跡するシステム及び方法
JP2013242618A Pending JP2014089191A (ja) 2007-02-09 2013-11-25 生体物質の動きを追跡するシステム及び方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2009549172A Pending JP2010525299A (ja) 2007-02-09 2008-01-30 生体物質の動きを追跡するシステム及び方法

Country Status (7)

Country Link
US (1) US8463015B2 (ja)
EP (1) EP2137652B1 (ja)
JP (2) JP2010525299A (ja)
CN (1) CN101611411B (ja)
AU (1) AU2008216585A1 (ja)
CA (1) CA2676125A1 (ja)
WO (1) WO2008100704A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11132553B2 (en) 2017-07-21 2021-09-28 Sony Corporation Information processing apparatus and information processing method

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2270198A4 (en) * 2008-03-24 2013-03-27 Nikon Corp PICTURE ANALYSIS METHOD FOR CELL OBSERVATION, PICTURE PROCESSING PROGRAM AND PICTURE PROCESSING DEVICE
JP5327699B2 (ja) * 2008-09-29 2013-10-30 Toto株式会社 人体検知装置及びそれを備えた小便器
JP2012527236A (ja) * 2009-05-19 2012-11-08 ジーイー・ヘルスケア・バイオサイエンス・アクチボラグ 試料中の動的細胞追跡法
US8908912B2 (en) * 2009-09-24 2014-12-09 Hewlett-Packard Development Company, L.P. Particle tracking methods
JP5414620B2 (ja) * 2010-05-24 2014-02-12 パナソニック株式会社 画像処理装置、画像処理方法、プログラム、及び集積回路
US20120002029A1 (en) * 2010-06-30 2012-01-05 Fluid Imaging Technologies, Inc. System and method for sweeping mirror enhanced imaging flow cytometry
JP6014799B2 (ja) * 2010-07-20 2016-10-26 Linfops有限会社 解析によるミクロな腫瘍免疫挙動の顕微鏡的把握方法
WO2012037642A1 (en) 2010-08-20 2012-03-29 Marksmen Cellject Inc. System and method for automated sperm manipulation
CA2813857A1 (en) * 2010-10-25 2012-05-03 Masahiko Sato Apparatus for systematic single cell tracking of distinctive cellular events
JP5780791B2 (ja) * 2011-03-23 2015-09-16 オリンパス株式会社 細胞の追跡処理方法
JP5810790B2 (ja) * 2011-09-20 2015-11-11 富士通株式会社 可視化処理プログラム、可視化処理方法及び可視化処理装置
CN103575652A (zh) * 2012-08-10 2014-02-12 陈宪璋 自动快速分析生物细胞的装置和其相关的方法
KR101384843B1 (ko) * 2012-09-07 2014-05-07 주식회사 나노엔텍 현미경 및 그 제어방법
US9406144B2 (en) 2013-03-15 2016-08-02 Luminex Corporation Real-time tracking and correlation of microspheres
US9460243B2 (en) 2013-03-15 2016-10-04 International Business Machines Corporation Selective importance sampling
US20150199570A1 (en) * 2014-01-15 2015-07-16 Drvision Technologies Llc Interactive object and track array based image analysis method
US9983115B2 (en) 2015-09-21 2018-05-29 Fluid Imaging Technologies, Inc. System and method for monitoring particles in a fluid using ratiometric cytometry
JP6696152B2 (ja) * 2015-11-11 2020-05-20 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び情報処理システム
US10510150B2 (en) 2017-06-20 2019-12-17 International Business Machines Corporation Searching trees: live time-lapse cell-cycle progression modeling and analysis
CN107316321B (zh) * 2017-06-22 2020-08-18 电子科技大学 多特征融合目标跟踪方法及基于信息熵的权值自适应方法
US10423819B2 (en) * 2017-10-31 2019-09-24 Chung Yuan Christian University Method and apparatus for image processing and visualization for analyzing cell kinematics in cell culture
EP3812467A4 (en) * 2018-06-19 2022-07-20 Teikyo University METHOD OF ANALYZING THE BEHAVIOR OF CELLS AND ITS USE
CN110542406B (zh) * 2019-09-03 2022-05-27 兰州交通大学 基于emd-mpf改进的陀螺仪信号去噪方法
CN114757867A (zh) * 2020-12-29 2022-07-15 上海微创卜算子医疗科技有限公司 细胞跟踪方法、精子优选方法、电子设备和存储介质
CN115540759B (zh) * 2022-11-16 2023-05-09 江西滕创洪科技有限公司 一种基于图像识别技术修饰金属的检测方法及检测系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004187530A (ja) * 2002-12-09 2004-07-08 Kenji Sugimoto 細胞分裂可視化細胞及びその作製方法、蛍光の検出方法、細胞分裂への影響の評価方法、並びにスクリーニング方法
US20050031034A1 (en) * 2003-06-25 2005-02-10 Nejat Kamaci Cauchy-distribution based coding system and method
JP2005165688A (ja) * 2003-12-02 2005-06-23 Fuji Xerox Co Ltd 複数対象物追跡方法及びシステム
JP2005276225A (ja) * 2004-03-25 2005-10-06 Microsoft Corp テーブルを使用したツリーの学習
US20060132354A1 (en) * 2003-01-30 2006-06-22 Qinetiq Limited Method of detecting a target
JP2006238802A (ja) * 2005-03-03 2006-09-14 Olympus Corp 細胞観察装置、細胞観察方法、顕微鏡システム、及び細胞観察プログラム
WO2006097771A1 (en) * 2005-03-17 2006-09-21 Bae Systems Plc Networks
JP2006350740A (ja) * 2005-06-16 2006-12-28 Olympus Corp 画像処理装置および画像処理プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4817186A (en) * 1983-01-07 1989-03-28 International Business Machines Corporation Locating individual images in a field for recognition or the like
US5107422A (en) * 1989-10-02 1992-04-21 Kamentsky Louis A Method and apparatus for measuring multiple optical properties of biological specimens
US6345104B1 (en) * 1994-03-17 2002-02-05 Digimarc Corporation Digital watermarks and methods for security documents
US5987459A (en) * 1996-03-15 1999-11-16 Regents Of The University Of Minnesota Image and document management system for content-based retrieval
US6067409A (en) * 1996-06-28 2000-05-23 Lsi Logic Corporation Advanced modular cell placement system
US6687824B1 (en) * 1998-07-01 2004-02-03 Samsung Electronics Co., Ltd. Digital image coding/decoding apparatus and method for recording and restoring a signature image using watermarking
US7546210B2 (en) * 2000-06-08 2009-06-09 The Regents Of The University Of California Visual-servoing optical microscopy
DE60103428T2 (de) 2000-12-22 2005-06-02 Cellomics, Inc. Identifizierung von zellen während kinetischer versuchsreihen
AU2002334772A1 (en) * 2001-10-12 2003-04-28 Duke University Methods for image analysis of high-density synthetic dna microarrays
US7078911B2 (en) * 2003-02-06 2006-07-18 Cehelnik Thomas G Patent application for a computer motional command interface
US20060127881A1 (en) * 2004-10-25 2006-06-15 Brigham And Women's Hospital Automated segmentation, classification, and tracking of cell nuclei in time-lapse microscopy
US8045783B2 (en) * 2006-11-09 2011-10-25 Drvision Technologies Llc Method for moving cell detection from temporal image sequence model estimation

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004187530A (ja) * 2002-12-09 2004-07-08 Kenji Sugimoto 細胞分裂可視化細胞及びその作製方法、蛍光の検出方法、細胞分裂への影響の評価方法、並びにスクリーニング方法
US20060132354A1 (en) * 2003-01-30 2006-06-22 Qinetiq Limited Method of detecting a target
US20050031034A1 (en) * 2003-06-25 2005-02-10 Nejat Kamaci Cauchy-distribution based coding system and method
JP2005165688A (ja) * 2003-12-02 2005-06-23 Fuji Xerox Co Ltd 複数対象物追跡方法及びシステム
JP2005276225A (ja) * 2004-03-25 2005-10-06 Microsoft Corp テーブルを使用したツリーの学習
JP2006238802A (ja) * 2005-03-03 2006-09-14 Olympus Corp 細胞観察装置、細胞観察方法、顕微鏡システム、及び細胞観察プログラム
WO2006097771A1 (en) * 2005-03-17 2006-09-21 Bae Systems Plc Networks
JP2007528685A (ja) * 2005-03-17 2007-10-11 ビ−エイイ− システムズ パブリック リミテッド カンパニ− ネットワーク
JP2006350740A (ja) * 2005-06-16 2006-12-28 Olympus Corp 画像処理装置および画像処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN5010001204; SHEN, HAILIN et al.: 'Automatic tracking of biological cells and compartments using particle filters and active contours' CHEMOMETRICS AND INTELLIGENT LABORATORY SYSTEM Vol.82, 2006, pp.276-282, Elsevier B. V. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11132553B2 (en) 2017-07-21 2021-09-28 Sony Corporation Information processing apparatus and information processing method

Also Published As

Publication number Publication date
EP2137652A2 (en) 2009-12-30
WO2008100704A3 (en) 2008-10-09
US20100046823A1 (en) 2010-02-25
CN101611411A (zh) 2009-12-23
EP2137652A4 (en) 2012-09-05
WO2008100704A2 (en) 2008-08-21
US8463015B2 (en) 2013-06-11
JP2010525299A (ja) 2010-07-22
CA2676125A1 (en) 2008-08-21
EP2137652B1 (en) 2019-04-24
CN101611411B (zh) 2013-10-16
AU2008216585A1 (en) 2008-08-21

Similar Documents

Publication Publication Date Title
JP2014089191A (ja) 生体物質の動きを追跡するシステム及び方法
Moen et al. Deep learning for cellular image analysis
Lee et al. Unraveling the thousand word picture: an introduction to super-resolution data analysis
Chenouard et al. Objective comparison of particle tracking methods
Li et al. DLBI: deep learning guided Bayesian inference for structure reconstruction of super-resolution fluorescence microscopy
US20120155725A1 (en) Bayesian Inference of Particle Motion and Dynamics from Single Particle Tracking and Fluorescence Correlation Spectroscopy
JP5554776B2 (ja) 1以上のデフォーカス画像又は低コントラスト対雑音比画像を検出し除去するシステム及び方法
CN111105495A (zh) 一种融合视觉语义信息的激光雷达建图方法及系统
Tameling et al. Colocalization for super-resolution microscopy via optimal transport
Xu et al. Template-free detection of macromolecular complexes in cryo electron tomograms
Gardner et al. Model convolution: a computational approach to digital image interpretation
Mailfert et al. A theoretical high-density nanoscopy study leads to the design of UNLOC, a parameter-free algorithm
JP2012522312A (ja) 生体物質を識別するシステム及び方法
Roudot et al. u-track 3D: measuring and interrogating dense particle dynamics in three dimensions
CN110807426B (zh) 一种基于深度学习的寄生虫检测系统及方法
CN113177576B (zh) 一种用于目标检测的多示例主动学习方法
US8538121B2 (en) Method of dynamic cell tracking in a sample
Rickgauer et al. Label-free single-instance protein detection in vitrified cells
Ogundana et al. Fast Hough transform for automated detection of spheres in three-dimensional point clouds
CN107636726A (zh) 用于确定对象的时间行为的方法和设备
Zimmer From microbes to numbers: extracting meaningful quantities from images
JP6999118B2 (ja) 画像処理装置
Mascalchi et al. Which elements to build co-localization workflows? from metrology to analysis
Noreikis et al. SnapTask: Towards efficient visual crowdsourcing for indoor mapping
Monnier Bayesian inference approaches for particle trajectory analysis in cell biology

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150420

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150721

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20151211