JP2018523967A - 物体の時間的挙動を決定するための方法および装置 - Google Patents

Abstract

本発明の実施形態は、物体の時間的挙動を決定する、コンピュータによって実施される方法であって、複数の画像を表すデータを含む画像データを受信するステップであって、画像の少なくともいくつかが、1つまたは複数の細胞を含む、ステップと、複数の画像のうちの1つまたは複数の各々における少なくとも1つの特徴の複数の特性を決定するステップと、複数の画像のうちの第1の画像内の細胞のうちの1つが複数の画像のうちの第2の画像内の特徴に対応することの信頼度を表す信頼値を決定するステップであって、信頼値が、第2の画像内の特徴の特性と、細胞の特性とに基づく、ステップと、信頼値に基づいて、複数の画像のうちの第2の画像内の細胞を識別するステップとを含む方法を提供する。

Description

本発明の実施形態は、物体の時間的挙動を決定するための方法および装置に関する。特に、本発明のいくつかの実施形態は、経時的に撮影された画像のシーケンス内の特徴に基づいて、物体の時間的挙動を決定することに関する。特に、本発明のいくつかの実施形態は、低速度撮影シーケンスのフレーム間の物体を識別し、追跡することに関する。

画像の低速度撮影シーケンス内のあるフレームと別のフレームとの間の物体を識別することは、画像処理における認識された課題である。このことは、体外細胞培養において細胞を追跡することなどのいくつかの実施形態では、物体の特性によって、より難しくなり得る。

本発明の実施形態の一目的は、従来技術の問題のうちの1つまたは複数を少なくとも軽減することである。

ここで、本発明の実施形態が、添付の図面を参照しながら、あくまでも例として説明される。

本発明の一実施形態による装置を示す図である。 本発明の一実施形態による装置のさらなる実例を示す図である。 図1および図2の装置によって生成された画像のシーケンスの実例の図である。 本発明の一実施形態による方法を示すフローチャートである。 本発明の一実施形態による方法を示すフローチャートである。 図3によって表されるシーケンスの画像の一例を示す図である。 画像シーケンス170を形成する複数の画像171、172、173内の物体320を示す。

図面では、同様の部分が同様の参照番号によって示される。

本発明の一態様によれば、添付の特許請求の範囲に記載のような方法、装置、およびコンピュータソフトウェアが提供される。

本発明の実施形態は、一連の画像間の物体の時間的挙動を決定し、または物体を追跡するためのマーカフリー技法またはラベルフリー技法として有用である。しかしながら、実施形態はまた、蛍光を基にした技法などのラベル付け技法とともに使用され得ることが理解されよう。物体は、1つまたは複数の細胞、すなわち細胞のコロニーであり得る。いくつかの実施形態では、細胞が2つ以上の細胞に分裂する間に細胞の追跡が実行される。細胞の祖先、すなわち細胞の親子関係が決定され得る。

本発明の一態様によれば、物体の時間的挙動を決定する、コンピュータによって実施される方法であって、複数の画像の各々における少なくとも1つの特徴の各々の複数の特性を決定するステップと、複数の画像のうちの第1の画像内の特徴の特性と、第2の画像内の特徴の特性とに基づいて、信頼値を決定するステップと、信頼値に基づいて、複数の画像の少なくともいくつかにおいて物体を識別するステップとを含む方法が提供される。

本発明の一態様によれば、物体の時間的挙動を決定するための装置であって、放射源から放射された放射を検出するための画像検出手段と、プロセッサおよびメモリを備えるコンピューティングデバイスとを備え、プロセッサが、本発明の一態様による方法を実行するように構成される装置が提供される。

本発明の一態様によれば、物体の時間的挙動を決定する、コンピュータによって実施される方法であって、複数の画像を表すデータを含む画像データを受信するステップであって、画像の少なくともいくつかが、1つまたは複数の細胞を含む、ステップと、複数の画像のうちの1つまたは複数の各々における少なくとも1つの特徴の複数の特性を決定するステップと、複数の画像のうちの第1の画像内の細胞のうちの1つが複数の画像のうちの第2の画像内の特徴に対応することの信頼度を表す信頼値を決定するステップであって、信頼値が、第2の画像内の特徴の特性と、細胞の特性とに基づく、ステップと、信頼値に基づいて、複数の画像のうちの第2の画像内の細胞を識別するステップとを含む方法が提供される。

本発明の実施形態では、「第1の画像」および「第2の画像」などの用語は、画像のシーケンス内の第1の画像および第2の画像に限定されないことが理解されよう。第1の画像は、画像のシーケンス内の中間画像であり得る。さらに、第2の画像は、画像のシーケンス内の第1の画像に隣接しないことがある。

細胞が複数の画像のうちの第2の画像内で識別されると、方法は反復的に実行され得る。方法の反復的実行において、後続の反復のために方法が実行され、第3の画像内の特徴が第2の画像内の細胞として識別される。方法は、3つ以上などの複数の画像内の細胞を識別するために実行され得、複数の画像は必ずしも順次の画像ではなく、すなわち細胞は、シーケンス内のあらゆる画像内で識別されるものでないことがある。

本発明の実施形態は、前記信頼度が所定の信頼値を超える場合、第1の画像と第2の画像内の特徴の間の関連付けを決定することを含み得る。特性は、特徴のピクセル値合計、面積、平均ピクセル値、半径、真円度、横方向位置、および組織特性のうちの1つまたは複数であり得る。組織特性は、分散、尖度、およびウェーブレット特性のうちの1つまたは複数であり得る。任意選択で、信頼値は、第1および第2の画像内の特徴のそれぞれの特性に基づいてそれぞれ決定された複数の特性信頼値に基づき得る。

信頼値は、複数の特性信頼値に基づく重み付き幾何平均計算によって決定され得る。

重み付き幾何平均計算は以下の形であり得る。

ただし、wは、特性信頼度の各々についてのそれぞれの重み因子である。

本発明の実施形態は、第1の画像と第2の画像との間の持続時間に基づく特徴の時間的特性に基づいて信頼値を決定することを含み得る。信頼値は持続時間に反比例し得る。

信頼値は以下に従って計算され得る。
conf=1-(S_T×(|frame₁-frame₂|-1))
ただし、confは、信頼値であり、frame₁およびframe₂は、第1の画像のフレーム番号および第2の画像のフレーム番号であり、S_Tは感度因子である。計算された信頼値が負である場合、confは0などの値であると決定され得る。

方法は、第1の画像内の特徴の位置と第2の画像内の特徴の位置との間の距離に基づく特徴の位置特性に基づいて、頼値を決定することを含み得る。特徴の位置特性に基づく信頼値は、特徴のサイズに基づき得る。特徴の位置特性に基づく信頼値は、第1の画像内の特徴と第2の画像内の特徴との間の距離と、特徴のサイズとの比に基づき得る。

信頼値は以下に従って計算され得る。

ただし、confは信頼値であり、

は特徴の平均半径であり、dは、第1の画像内の特徴の位置と第2の画像内の特徴の位置との間の距離であり、S_p1は第1の感度因子であり、S_p2は第2の感度因子である。

本発明の実施形態は、第1の画像および第2の画像内の特徴の特性間の差と、特性の合計との比に基づいて信頼値を決定することを含み得る。信頼値は以下に従って計算され得る。

ただし、confは信頼値であり、S₁およびS₂は感度因子であり、characteristic₁およびcharacteristic₂は、第1の画像内の特徴の特性の値および第2の画像内の特徴の特性の値である。方法は、第1の画像内の特徴と第2の画像内の特徴との間の一意の関連付けを決定することを含み得る。一意の関連付けは、特徴間の信頼度を最大化することによって決定され得る。一意の関連付けは、組合せ最適化アルゴリズムに基づいて決定され得、任意選択では、組合せ最適化アルゴリズムは、ハンガリアンアルゴリズムであり、任意選択では、ハンガリアンアルゴリズムは、Munkresアルゴリズムである。

本発明の実施形態は、複数の特性に基づいて、新しい物体が複数の画像のうちの1つにおいて存在するかどうかを判定することを含み得る。本発明の実施形態は、物体が少なくとも第1の物体および第2の物体に分裂したかどうかを判定することを含み得る。物体が分裂したかどうかを判定することは、第1の画像内の物体に関連する特性のサブセットと、第2の画像内の第1の特徴および第2の特徴のうちの少なくとも1つとに基づき得る。

物体が分裂したかどうかを判定することは、第1の画像内の物体の特性のサブセットと、第2の画像内の第1の特徴および第2の特徴のうちの少なくとも1つの特性のサブセットとに基づいて信頼値を決定することを含み得る。

方法は、前記信頼度が所定の分裂信頼値を超える場合、第1の画像内の物体と、第2の画像内の第1の特徴および第2の特徴のうちの少なくとも1つとの間の関連付けを決定することを含み得る。

任意選択で、方法は、第1の物体と第2の物体とが合体したかどうかを判定することを含む。第1の物体と第2の物体とが合体したかどうかを判定することは、第1の画像内の第1の物体および第2の物体に関連する特性のサブセットと、第2の画像内の特徴とに基づき得る。本発明の実施形態は、前記信頼度が所定の合体信頼値を超える場合、第1の画像内の第1の物体および第2の物体のうちの少なくとも1つと、第2の画像内の特徴との間の関連付けを決定することを含み得る。特性のサブセットは、物体サイズに無関係の特性を示し得る。物体は、物理的物体を表す複数の特徴のグループであり得る。特徴は、各画像内の複数のピクセルを含み得る。物体は細胞の表現であり得る。

本発明の一態様によれば、物体の時間的挙動を決定するための装置であって、放射源から放射された放射を検出するように構成された画像検出手段と、プロセッサおよびメモリを備えるコンピューティングデバイスとを備え、プロセッサが、本発明の一態様による方法を実行するように構成される、装置が提供される。

本発明の一態様によれば、コンピュータによって実行されると、本発明の一態様による方法を実行するように構成されたコンピュータソフトウェアが提供される。コンピュータソフトウェアは、コンピュータ可読媒体上に格納され得る。コンピュータソフトウェアは、コンピュータ可読媒体上に有形で記憶され得る。

本発明の一態様によれば、コンピュータによって実行されると、本発明の一態様による方法を実行する命令を記憶したコンピュータ可読データ記憶媒体が提供される。

本発明の一態様によれば、物体の時間的挙動を決定する、コンピュータによって実施される方法であって、1つまたは複数の物体を支持する載置手段に対応する画像データを受信するステップであって、画像データが複数の画像を含み、画像のうちの少なくともいくつかが、1つまたは複数の物体を含、ステップと、複数の画像のうちの1つまたは複数の各々における少なくとも1つの特徴の複数の特性を決定するステップと、複数の画像のうちの第1の画像内の物体のうちの1つが複数の画像のうちの第2の画像内の特徴に対応することの信頼度を表す信頼値を決定するステップであって、信頼値が、複数の画像のうちの第2の画像内の特徴の特性と、物体の特性とに基づく、ステップと、信頼値に基づいて、複数の画像のうちの第2の画像内の物体を識別するステップとを含む方法が提供される。

本発明の実施形態は、物体の時間的挙動を決定するように構成される。特に、本発明のいくつかの実施形態は、物体を追跡するように構成される。このことは、細胞監視の分野など、他の手段を介して追跡することが困難であり、および/または不可能であることが分かる状況で有用であり得る。

図1は、本発明の一実施形態による装置の図である。装置は、使用中の1つまたは複数の物体を支持するための載置手段110を備える。載置手段110は、使用中の1つまたは複数の物体がその上に配置される、送り台、載物台ペトリ皿、またはマイクロタイタープレート110を備え得る。載置手段110は、いくつかのケースでは細胞などのそれらの物体がその中に存在する液体媒質を含む1つまたは複数の物体を保持するのに適している。

光源120または他の放射源が、載置手段110を照明するために使用され、放射/光が透過し、または載置手段110から反射し、入射放射を検出するための検出器130によって検出されるように配置される。検出器130は、画像検出手段130の形態で設けられ得る。画像検出手段130は、カメラを形成するCCDであり得る。画像検出手段130は、期間にわたって載置手段110の複数の画像を出力するように構成される。画像検出手段130はコンピューティングデバイス140に接続される。画像検出手段130は、複数の画像の各々に対応する画像データを出力するように構成される。コンピューティングデバイス140はCPU150およびメモリ160を備える。画像検出手段130によって取り込まれる画像は、コンピューティングデバイス140のメモリ160内に記憶され、時間が進むにつれて、画像シーケンス170が作成される。

次に、コンピューティングデバイス140の構成要素の一例が、図2を参照しながらさらに説明される。図2のコンピューティングデバイス140の構成要素は例示的なものに過ぎず、コンピューティングデバイス140は他の構成要素を備え得ることが理解されよう。上記のように、コンピューティングデバイス140は、命令を読み取って実行するように構成されるCPU150を備える。命令は、ランダムアクセスメモリの形態を取り得る揮発性メモリ220内に記憶され得る。揮発性メモリ220は、CPU150による実行のための命令と、それらの命令によって使用されるデータとを記憶し得る。この実施形態では、揮発性メモリ220内に記憶された命令は、本発明の一実施形態による、物体の時間的挙動を決定するための方法をCPU150に実行させるように構成される。

コンピューティングデバイス140は、上記のようにメモリ160をさらに備える。メモリ160は、ソリッドステートドライブ(「SSD」)、ハードディスクドライブ(「HDD」)などの任意の適切な形態を取り得る。しかしながら、他の形態のメモリが適切であり得ることが理解されよう。

コンピューティングデバイス140は、コンピューティングデバイス140とともに使用される入出力デバイスが接続されるI/Oインターフェース240をさらに備え得る。ディスプレイ250は、方法の視覚的出力を示すように設けられ得る。I/Oインターフェース240に接続された入力デバイスは、コンピューティングデバイス140とのユーザ対話を可能にする物理キー260を含み得る。代替または追加として、ディスプレイ250は、タッチスクリーン上に表示されるユーザインターフェースとユーザが対話することを可能にするタッチスクリーンを設け得る。画像検出手段130は、コンピューティングデバイス140に画像データを伝達することを可能にするI/Oインターフェース240に接続される。具体的には、画像検出手段130は、方法において使用するためにコンピューティングデバイス140によって送り台110の画像データを取り込むことを可能にする。他のコンピューティングデバイスからデータを受信し、他のコンピューティングデバイスにデータを送信するように適切なコンピュータネットワークにコンピューティングデバイス140を接続することを可能にするネットワークインターフェース280が設けられ得る。このようにして、コンピューティングデバイス140は、方法において使用するために最新情報またはさらなる情報を受信し得る。CPU150、揮発性メモリ220、メモリ160、I/Oインターフェース240、およびネットワークインターフェース280は、バス290を介して共に接続される。

図3は、画像検出手段130によって生成された複数の画像を含む画像シーケンス170の表現である。本明細書では、画像は、載置手段110と、ある時点で載置手段110上または載置手段110内に存在する任意の物体との少なくともいくつかの2次元ピクチャに対応する画像データの表現である。それぞれの時点に対応する複数の画像は、期間にわたる画像シーケンスを表し、期間は、シーケンス内の最初の画像の時点と最後の画像の時点との間である。排他的ではないが、通常は、画像は等間隔の時点に対応する。特に画像のシーケンスが複数のフレームまたは画像からなるビデオシーケンスであると考えられるとき、フレームは画像という用語の同義語である。特徴は、物体であり、または物体ではないことがある少なくとも1つの画像内に存在する実体である。物体は、排他的ではないが、生物細胞などの、期間にわたって監視することが望ましい物体である。物体は、細胞のコロニー、すなわち2つ以上の細胞であり得る。物体は、複数の細胞の各々が期間にわたって画像のシーケンス内で個々に監視され得るように一意的に識別され得る。

画像シーケンス170は、少なくとも1つの物体320を保持する載置手段110の画像を含む。画像シーケンスの各画像は、それぞれの特定の時点での送り台110上の物体320を示す。画像シーケンス170が進むにつれて、物体320は、位置、サイズ、組織、および色のうちの1つまたは複数が画像間で変動し得る。たとえば、図3に示されるように、物体320の位置は、シーケンス170の第1の画像171と第2の画像172とでは異なる。第1および第2の画像は、必ずしもシーケンス170内の順次の画像または隣接する画像ではないことが留意されよう。載置手段110上の物体のいくつかの他の特性が、画像シーケンス170の画像間で変動し得ることが理解されよう。

図4は、本発明の一実施形態による物体の時間的挙動の決定において使用される方法400を示す流れ図である。方法400は、画像170のシーケンスの任意の画像171、172内に存在する特徴を識別する初期ステップまたは前処理ステップ(図示せず)を含み得る。上記のように、特徴は、1つまたは複数の物体であり得る画像171、172内の実体である。前処理は、たとえば、色またはピクセル値などに基づく画像171、172の特徴と背景との間の違いに基づいて、特徴を識別することを含み得る。

ステップ410は、画像検出手段130によって取り込まれる画像シーケンス170の画像171、172内の各特徴の複数の特性を決定することを含む。ステップ410は、複数の画像から第1の画像を選択することを含み得る。画像171などの第1の画像は、複数の画像の時間的順序に基づいて選択され得る。たとえば、画像171は、画像171に関連するフレーム番号に基づいて選択され得る。

特性は、画像内の特徴の位置などの特徴の位置を含み得る。画像内の位置は、(x,y)またはx、y、またはz位置などの座標によって定義され得る。特性は、全面積、ピクセル値合計、平均ピクセル値、半径、真円度、および組織に関する情報のうちの1つまたは複数をさらに含み得る。組織特性は、組織、スキューの統計的尺度である尖度、および任意のウェーブレット特性の任意の分散を含み得る。物体を識別するためにいくつかの他の特性が使用され得ることが理解されよう。上記の特性のリストは例示的なものに過ぎず、他の特性が使用され得ることが理解されよう。

方法400は、ステップ420に進み、ステップ420は、画像内のさらなる特徴が依然として解析されるべきであるかどうかを判定するステップと、前記特徴の特性のうちの1つまたは複数を決定するステップとを含む。画像内のさらなる特徴が依然として解析されるべきである場合、方法400は、ステップ410にループバックし、さらなる特徴の特性を決定する。さらなる特徴は、画像内に残る複数の特徴の中から選択され得る。

画像171などの第1の画像内の1つまたは複数の特徴が解析され、その1つまたは複数の特性が決定されると、方法400はステップ430に進む。

ステップ430は、画像172などの画像シーケンス170内のさらなる画像が依然として解析されるべきであるかどうかを判定することを含む。そうである場合、方法400はステップ410にループバックし、第1の画像171よりも後の時刻に撮影された画像であり得る画像シーケンスの別の画像内の任意の特徴の特性を決定することに進む。画像のシーケンス内の各画像を解析することは必要ではないことが理解されよう。たとえば、シーケンス170内の代替画像が解析され得る。複数の画像からの次の画像の選択は、各画像に関連するフレーム番号に基づき得る。

画像シーケンス内の1つまたは複数のさらなる画像がステップ410、420によって処理されると、方法400はステップ440に進む。

ステップ440では、相異なる画像内の少なくともいくつかの特徴の間の関連付けが決定される。ある画像内の特徴は、決定された特性のうちの1つまたは複数に基づいて、別の画像内の特徴に関連付けられ得る。ある画像内の特徴が、ステップ440において別の画像内の2つ以上の特徴に関連付けられ得る。すなわち、ステップ440の結果、必ずしも1対1の関連付けが得られるわけではない。いくつかのケースでは、特徴が別の画像内の2つ以上の特徴との少なくとも何らかの類似性を有する場合、特徴と2つ以上の特徴との間の関連付けが決定される。

ステップ440は、画像シーケンス170の各画像171、172内のその特性のうちの1つまたは複数に基づいて特徴を識別することを含む。画像170のシーケンスにわたって、各特徴の1つまたは複数の特性が比較され、少なくとも1つの信頼値が、画像シーケンスの画像内の特徴の特性間の関係に基づいて計算される。たとえば、ステップ440のいくつかの実施形態では、第1の画像171および第2の画像172内の特徴の位置に基づく信頼値が決定される。

ステップ440は、図3に示される画像171などの、第1の画像内の第1の特徴を選択することを含み得る。第1の画像という用語は、画像170のシーケンス内の第1の画像に限定されないことが理解されよう。第2の画像を表す別の画像内の第2の特徴が選択される。第2の画像は画像172であり得る。第2の画像は画像170のシーケンス内の後続の画像、すなわち第1の画像171よりも後の時点に対応し、したがって後のフレーム番号を有する画像であり得る。第2の画像は、必ずしもシーケンス170内の次の画像ではなく、すなわち画像がスキップまたは省略され得る。第1の特徴と第2の特徴との間で少なくとも1つの信頼値が決定される。次いで、さらにさらなる特徴が選択され、すなわち第3の特徴が選択される。第3の特徴は、第2の特徴、すなわち第2の画像172内、または第2の画像172の後続の画像などのさらに別の画像内の第2の特徴と同一の画像172内にあり得る。第1の特徴と第3の特徴との間で少なくとも1つのさらなるの信頼値が決定される。信頼値を決定するプロセスが反復される。選択された画像のシーケンス内のすべての特徴間で信頼値が決定されるまで、プロセスが反復され得る。信頼値は、特徴間の潜在的関連付けを表す。

またさらにステップ440では、I信頼値が所定のしきい値と比較される。信頼値が前記信頼度しきい値以上である場合、特徴間で関連付けが決定される。すなわち、特徴の対の間の各信頼値がしきい値と比較される。信頼値がしきい値を超える場合、特徴の前記対の間の関連付けが決定される。信頼値がしきい値を少なくとも満たさない場合、特徴の対の間の潜在的関連付けが廃棄される。信頼値がしきい値を少なくとも満たす場合、特徴の対の間の関連付けが決定される。

方法400が進むにつれて、各特徴に複数の関連付けが割り当てられ得る。すなわち、第1の画像171内の特徴が、第2の画像172内の複数の特徴に関連付けられ得る。同様に、低速度撮影シーケンスの別の画像内の第2の特徴が、前の画像内の第1の特徴と同様の特性のグループを有する場合、かつ、関連付けがすでに割り当てられた第1の特徴と比較したとき、第2の特徴についての計算された信頼度が、所定の信頼度を超える場合、第2の特徴に対して同一の関連付けが割り当てられ得る。いくつかの実施形態では、関連付けは、識別子の形態を取り得る。

特徴の面積およびその位置など、相異なる測定値を含む複数の特性があるとすれば、各特徴の対応する特性の間で特性信頼度が計算され得る。すなわち、各特徴について同一の特性に基づいて特性信頼値が計算される。したがって特徴は1つまたは複数の特性信頼値を有し得る。第1の画像171および第2の画像172内の特徴の同一の特性に基づいて特性信頼度が決定される。たとえば、いくつかの実施形態、特徴についての時間的特性が、特徴がその中に存在するそれぞれの画像間の持続時間に反比例すると決定され得る。持続時間は、各画像に関連するフレーム番号に基づき得る。したがって、対応する特性信頼度を決定するために使用されるアルゴリズムは、以下の形態であり得る。
conf=1-(S_T×(|frame₁-frame₂|-1))
ただし、「conf」は特性信頼値であり、「frame₁」および「frame₂」は、画像シーケンス内の第1の画像171のフレーム番号および第2の画像172のフレーム番号を示す。フレーム番号は、画像間の持続時間、あるいは代替えとして画像シーケンス内の画像の位置を示し得る。画像が時間的に離れるほど、計算される信頼度は0に近づく。特性信頼度が1に等しい場合、このことは、画像がシーケンスの連続する画像または隣接する画像であることを示す。「S_T」は0から1の間の所定の感度因子である。「S_T」はユーザによって設定され、装置のメモリ内に記憶され得る。「S_T」が1に設定される場合、画像が画像シーケンス内の連続する画像ではない場合、測定される特性内に特性信頼度はなくなっていくのに対して、「S_T」が0に設定される場合、第1の画像171と第2の画像172との間に任意の数の画像が、計算される特性信頼度に影響を及ぼさないことになる。したがって、「S_T」は、画像間の時間に対する特性信頼値または特性信頼値の感度の低減の速度を制御する。したがって、いくつかの実施形態では、画像が時間的に離れるほど、計算される特性信頼度は0に近づく。いくつかの実施形態では、計算の結果、負の信頼度が得られる場合、特性信頼度は0に設定される。

他の特性は、第1の画像171および第2の画像172内の特徴の位置に関係し得る。潜在的特性に基づく特性信頼度が、特徴のサイズに関連して計算され得る。さらに、特性信頼度はまた、第1の画像171と第2の画像172内の特徴間の距離の比と、特徴のサイズとに基づき得る。いくつかの実施形態では、潜在的特性の特性信頼度が、以下の形態のアルゴリズムによって計算され得る。

ただし、「conf」は特性信頼値であり、

は、第1の画像171および第2の画像172の各々の中で表される特徴の平均半径であり、「d」は、第1の画像171と第2の画像172内の特徴の位置間の距離に関係する。「S_p1」および「S_p2」は、2つの画像間の遷移の感度に関係し、「S_p1」は、信頼値がどれほど迅速に低下するかに関係し得る第1の感度因子に関係し、「S_p2」は、信頼値が0.5より下に低下する地点(すなわち、第1の画像171内の特徴が第2の画像172内の特徴と同一である可能性が低い地点)に関係し得る第2の感度に関係する。

他の特性について、特性信頼度が、第1の画像171および第2の画像172内の特徴の特性間の差と、特性の合計との比に基づいて計算され得る。いくつかの実施形態では、同一のタイプの特性について、特性信頼度が、以下の形のアルゴリズムによって計算され得る。

ただし、「conf」は特性信頼値であり、「S₁」および「S₂」は、信頼度が低下する速度を制御するための感度を定義する。他の信頼度計算の場合と同じく、得られる信頼度が負である場合、信頼度は0に設定され得る。

第1の画像171および第2の画像172内の特徴についての全信頼度または組合せ信頼度を計算するために、重み付き幾何平均アルゴリズムが使用され得る。アルゴリズムは以下の形態であり得る。

「w」は、各特性についての所定の重みであり、大文字πの記号は、重み付き幾何平均演算を表す。「w」は、各特性について同一であり、または特性間で異なり得る。「w」を変更することは、全信頼度を決定するとき、決定すべきある特性を別の特性よりも重要にし、または重要でないようにすることを可能にする。前記全信頼値または組合せ信頼値は、特徴間の複数の特性信頼値に基づくことが理解されよう。全信頼値または組合せ信頼値は、上記で論じられたように、特徴間の関連付けを決定するために、ステップ440でのしきい値に対して比較されるものであり得る。

特徴の各特性に基づいて特性信頼値を決定するために他の技法が使用され得ることが理解されよう。

その計算された信頼度に基づいて1つまたは複数の識別子が割り当てられることなど、第1の画像171および第2の画像172内の特徴が関連付けられると、方法400はステップ450に進む。

ステップ450は、各特徴について計算された全信頼度に基づいて1対1関連付けを決定し、その結果、第1の画像171内の各特徴が第2の画像172内の単一の特徴に関連付けられることを含む。第1の画像171および第2の画像172内の特徴の1対1関連付けを保証するために、組合せ最適化アルゴリズムに基づく技法が使用され得る。そのような一技法はハンガリアンアルゴリズムであり、いくつかの実施形態では、ハンガリアンアルゴリズムはMunkresアルゴリズムであり得る。画像の後続の画像内の特徴が同一の関連付けを有する場合、特徴が同一の物体を表し得ると判定される。特徴が既存の物体を表すようには見えない(すなわち、識別子が画像シーケンスの前の画像内の特徴を表すようには見えない)場合、特徴が画像内の新しい物体であると判定され得る。ステップ450の結果、複数の画像の特徴が関連付けられ、複数の画像の各々に対応する相異なる時点の物体であると判定される。

図7は、画像シーケンス170を形成する複数の画像171、172、173内の物体320を示す。画像シーケンス170は3つの画像171、172、173を含むが、これは例示的なものに過ぎないことが理解されよう。生物細胞であり得る物体320は、画像171、172、173の間で位置を移動する。画像171、172、173の各々における物体320の間で、関連付けが方法400の結果として決定される。第1の関連付け710が、第1の画像171および第2の画像172内の物体の間で決定され、第2の関連付け720が、第2の画像172および第3の画像173内の物体320の間で決定される。第1および第2の関連付けは識別子に関連付けられ得る。識別子は、関連付けが同一の物体320に関係し、すなわち物体320を一意的に識別することを示し得る。いくつかの実施形態では、識別子は、関連付けの時間的順序、すなわち第2の関連付けが第1の関連付けよりも時間的に後であることを示し得る。たとえば、識別子はX-Yの形であり得、ただしXは物体を特定し、Yは、1、2などの関連付けの順序を特定する。

いくつかの実施形態では、物体が画像の視野に入り、および/または視野から出るときを決定することが望ましいことがある。同様に、2つ以上の物体が単一の物体として結合するとき、および/または、さらに単一の物体が2つ以上の別々の物体に分割または分裂するときを判定することが望ましいことがある。このことは、分裂および/または結合事象が生じ得るので、物体が細胞である実施形態において有用であり得る。

これらの実施形態では、上記のように信頼度が計算され、関連付けが決定され、画像シーケンス内の物体が識別される。しかしながら、ある時点で、物体が画像シーケンス内で現れ(すなわち、画像シーケンスの画像内に物体の識別子が最初に現れ)、または消滅する(すなわち、物体の識別子が画像シーケンスの後続の画像内に現れない)。これらの実施形態では、第1の物体が現れる第1の画像と、第2の物体が現れる最後の画像とを解析することによって画像シーケンスの画像を評価することによって、物体がいつどこで現れ、および/または消滅するかを検出することが達成され得る。言い換えれば、画像シーケンス内で物体関連付けがどこで終了し、画像シーケンス内で物体関連付けがどこで始まるかが判定される。

物体が選択されると、さらなる信頼度計算が実行され得る。これらの信頼度計算は前述のように着手され得る。しかしながら、信頼度を計算するために特性のサブセットだけが使用され得る。体積、半径、および面積のうちの1つまたは複数などの、分裂または結合事象の間に変化すると予想される特性は、そのような事象の後に値が増加または減少する可能性が高いので、信頼度計算のために使用されない。たとえば、物体が2つの物体に分裂する場合、それらはそれぞれ、前の単一の物体よりも小さい体積および/または半径を有すると予想される。次いで、潜在的に重み付き幾何平均アルゴリズムを使用して、各特性についての特性信頼度が上記のように組み合わされる。

分裂または結合事象の間に変化し得る特性は、上記で列挙されたものに限定されないことが理解されよう。同様に、上記のように、各特性についての特性信頼値ならびに各物体についての全信頼度または組合せ信頼度を生成するために他の技法が使用され得る。

1つまたは複数の特性信頼度計算が実行されると、第1の物体と第2の物体との間に関係があるかどうかが判定され得る。関係は、計算された全信頼度が所定の親娘信頼度しきい値を超えるかどうかに基づいて決定され得る。親娘信頼度しきい値はユーザによって設定され得る。全信頼度が所定の親娘信頼度しきい値を超える場合、第1の物体と第2の物体とは分裂または結合事象の前または後で同一の物体を表すと判定されるので、第1の物体と第2の物体との間で関連付けが作成される。分裂または結合事象が生じた環境内で、単一の親物体から作成され、または単一の親物体を作成するために結合した3つ以上の娘物体があり得ることが理解されよう。したがって、いくつかの環境では、単一の物体と、第2の画像内の2つ以上の物体の各々との間の全信頼度が親娘信頼度しきい値を超える場合、1つの画像内の単一の物体が、第2の後続の画像内の2つ以上の物体に関連付けられ得る。このことは物体遺伝と呼ばれることがある。

図5は、本発明の第2の実施形態による、物体の時間的挙動の決定において使用される方法500を示す流れ図である。第2の実施形態では、物体遺伝が考慮される。すなわち、いくつかの実施形態では、物体が複数の子孫を有すると判定され得る。すなわち、ある画像内の物体が、別の画像内の2つ以上の物体に関係すると判定され得る。2つ以上の物体が、2つ以上の物体への物体の分裂によって形成され得る子物体を表すと見なされ得る。したがって、第2の実施形態による方法500では物体の遺伝が想定される。

第1の実施形態400の場合と同じく、ステップ510は、画像をセグメント化することによって、画像シーケンス170の、画像171および172などの複数の画像の各々における特徴を決定するための前処理を含み得る。セグメント化は、画像の背景と前景との間の差を計算することによって実行され得る。その結果、画像内の任意の特徴が決定または識別される。

画像内の特徴が決定され、または識別されると、方法500は、各特徴の1つまたは複数の特性を決定することを含むステップ520に進む。特性は、特徴の位置、ピクセル値合計、面積、平均ピクセル値、半径、および特徴についての組織特性を含み得る。列挙されない、決定され得る他の特性があることが理解されよう。

画像シーケンスの画像内の特徴についての特性が決定されると、方法500はステップ530に進む。ステップ530は、1つまたは複数の特性信頼値を計算することによって、画像シーケンスの、画像171などの第1の画像内の第1の特徴の1つまたは複数の特性を、画像シーケンスの、画像172などの第2の画像内の第2の特徴の特性と比較することを含む。特性信頼値は前述の技法によって計算され得る。次いで、全信頼度が、たとえば重み付き幾何平均アルゴリズムによって決定される。全信頼度が所定の信頼度しきい値を越える場合、第1の特徴と第2の特徴との間で関連付けが作成される。全信頼値が、他の特徴についての所定の信頼度しきい値も超える場合、特徴は、画像シーケンスのさらなる画像の複数の他の特徴に関連付けられ得る。画像内の特徴が、1つまたは複数の関連付けを有すると、方法500はステップ540に進む。

ステップ540は、第1の画像171および第2の画像172内の特徴の関連付けを解析して、計算された信頼度に基づいてどの関連付けが最も可能性が高いかを判定することを含む。組合せ最適化アルゴリズムに基づく技法は、特徴間の最適または最小の関連付けのために使用され得る。最小の関連付けは、第1の画像171および第2の画像172内の特徴の1対1関連付けであり得る。そのような一技法はハンガリアンアルゴリズムであり、いくつかの実施形態では、ハンガリアンアルゴリズムはMunkresアルゴリズムであり得る。

画像シーケンスの画像内の特徴に単一の識別子が割り当てられると、方法500はステップ550に進む。ステップ550は、画像シーケンスの第1の画像171内の特徴が画像シーケンスの第2の画像172内の特徴と同一の関連付けを有するかどうかを判定することを含む。そうである場合、両方の特徴が同一の物体を表すと判定される。特徴が既存の物体を表すようには見えない(すなわち、識別子が画像シーケンスの前の画像内の特徴を表すようには見えない)場合、特徴は画像内の新しい物体であると決定され得る。したがって、物体が画像内に最初に現れると判定される。

次いで、方法500は、画像内のさらなる特徴が依然として物体に割り当てられるべきであるかどうかを判定すること、またはさらなる特徴を新しい物体として割り当てる必要があるかどうかを判定することを含むステップ560に進む。そうである場合、方法500はステップ540にループバックし、方法500のステップ540および550を反復して、画像内の残りの特徴を解析し、信頼値を最大化することに基づいて一意の関連付けを割り当てる。特徴に識別子が割り当てられ、特徴が既存の物体に属するか、それとも新しい物体に属するかが判定されると、方法500はステップ570に進む。ステップ570は、画像シーケンス内のさらなる画像が依然として解析されるべきであるかどうかを判定することを含む。そうである場合、方法500はステップ530にループバックし、方法500は、方法500のステップ530から560を反復し、画像シーケンス内のさらなる画像を解析する。

画像シーケンス内の画像が解析されると、方法500はステップ580に進む。ステップ580は、親娘関係が画像シーケンスの画像内の2つの物体の間に存在するかどうかを判定することを含む。そのような関係を決定する方法は上記で説明され、親娘しきい信頼値に対して比較される全信頼値または組合せ信頼値を決定するために、遺伝事象(物体結合または分裂のうちの1つ)において変化するとは予想されない特性信頼値だけが使用される。

図6は、本発明の一実施形態の結果として得られる、画像シーケンス170などの画像シーケンスの画像の一例である。画像は、細胞などの多数の小さい半透明の物体が、前述のような装置によって物体から反射され、または物体を透過した放射の解析によって識別され、番号付けされ、位置が突き止められた一例を示す。

本発明のいくつかの実施形態では、画像データは、いくつかの方法によって生成され得、そのような一方法はタイコグラフィカル反復エンジン(PIE)である。すべての目的のために参照により本明細書に組み込まれるWO2005/106531は、目標物体の領域の画像を構築するための画像データを提供する方法および装置を開示する。入射放射が、放射源から目標物体に供給される。少なくとも1つの検出器を使用して、目標物体によって散乱される放射の強度が検出される。検出した放射に応答して、画像データが供給される。透過関数または照明関数などの可動ソフト変動プローブ関数を使用して、反復プロセスを介してそのような画像データを供給するための方法も開示される。WO2005/106531内で開示される方法および技法もPIEと呼ばれる。

PIEは、回折パターン測定値のセットからの、目標物体の少なくともエリアに関する画像データの回復を実現する。いくつかの回折パターンが、CCDなどの1つまたは複数の検出器を使用して測定面に記録される。目標後物体開口に関連する透過関数、または照明関数であり得るプローブ関数は、既知でなければならず、または推定しなければならない。

すべての目的のために参照による本明細書に組み込まれるWO2010/064051は、プローブ関数を知り、または推定する必要のない拡張PIE(ePIE)方法を開示する。その代わりに、段階的にプローブ関数が反復的に計算されるプロセスが開示され、プローブ関数の実行中の推定が、目標物体に関連する物体関数の実行中の推定を決定するために利用される。

散乱される放射の測定値に基づいて画像データを提供する他の方法も知られている。

物体が細胞である実施形態では、細胞の特性のために画像データを生成する方法として可視光を使用することが難しいことがある。光以外の放射の散乱および吸収を評価するための、PIEもしくはePIEなどのタイコグラフィカル方法、または別の定量的位相撮像方法の使用は、これらの問題のうちのいくつかを克服し、軽減する助けとなり得、したがって、細胞を識別することに本方法を適用するときに有用となり得る。

いくつかの実施形態では、特定の時間枠にわたって物体の移動および挙動を追跡することが可能であり得る。関連付けの使用は、画像シーケンス170の画像171および172などの複数の画像内の物体間でリンクを作成することを可能にする。このことは、時間が進むにつれてユーザが物体の移動、ならびにその特性の何らかの変化をたどることを可能にする。

本発明の実施形態が、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組合せの形態で実現され得ることが理解されよう。任意のそのようなソフトウェアは、たとえば、消去可能または再書込み可能であるかどうかに関わらず、ROMのような記憶デバイスなどの揮発性または不揮発性ストレージの形態で、あるいはたとえば、RAM、メモリチップ、デバイス、または集積回路などのメモリの形態で、あるいはたとえば、CD、DVD、磁気ディスク、または磁気テープなどの光学的または磁気的に可読な媒体上に記憶され得る。記憶デバイスおよび記憶媒体は、実行されるとき、本発明の実施形態を実装する1つまたは複数のプログラムを記憶するのに適している機械可読ストレージの実施形態であることが理解されよう。したがって、実施形態は、任意の先行する請求項において特許請求されるようなシステムまたは方法を実装するためのコードを含むプログラムと、そのようなプログラムを記憶する機械可読ストレージとを提供する。またさらに、本発明の実施形態は、有線または無線接続を介して搬送される通信信号などの任意の媒体を介して電子的に搬送され得、実施形態はそれを適切に包含する。

本明細書で開示される特徴のすべて(任意の添付の請求項、要約、および図面を含む)、ならびに/あるいはそのように開示される任意の方法またはプロセスのステップのすべては、そのような特徴および/またはステップの少なくともいくつかが相互に排他的である組合せを除いて、任意の組合せとして組み合わされ得る。

本明細書で開示される各特徴(任意の添付の請求項、要約、および図面を含む)は、別段に明示されていない限り、同一の目的、等価な目的、または類似の目的の役目を果たす代替の特徴によって置き換えられ得る。したがって、別段に明示されていない限り、開示される各特徴は、一般的な一連の等価な特徴または類似の特徴の一例に過ぎない。

本発明は、いかなる上記の実施形態の詳細にも限定されない。本発明は、本明細書において開示される特徴(任意の添付の請求項、要約、および図面を含む)のうちの任意の新規な1つ、もしくは任意の新規な組合せ、またはそのように開示される任意の方法もしくはプロセスのステップのうちの任意の新規な1つ、もしくは任意の新規な組合せに及ぶ。特許請求の範囲は、上記の実施形態だけを包含するように解釈されるべきではなく、特許請求の範囲の範囲内に収まるいかなる実施形態をも包含するように解釈されるべきである。

110 載置手段
120 光源
130 検出器
140 コンピューティングデバイス
150 CPU
160 メモリ
170 画像シーケンス
171 第1の画像
172 第2の画像
173 第3の画像
220 揮発性メモリ
240 I/Oインターフェース
250 ディスプレイ
260 物理キー
280 ネットワークインターフェース
290 バス
320 物体
710 第1の関連付け
720 第2の関連付け

Claims (34)

1. 物体の時間的挙動を決定する、コンピュータによって実施される方法であって、
   複数の画像を表すデータを含む画像データを受信するステップであって、前記画像の少なくともいくつかが、1つまたは複数の細胞を含む、ステップと、
   前記複数の画像のうちの1つまたは複数の各々における少なくとも1つの特徴の複数の特性を決定するステップと、
   前記複数の画像のうちの第1の画像内の細胞のうちの1つが前記複数の画像のうちの第2の画像内の特徴に対応することの信頼度を表す信頼値を決定するステップであって、前記信頼値が、前記第2の画像内の特徴の特性と、前記細胞の特性とに基づく、ステップと、
   前記信頼値に基づいて、前記複数の画像のうちの第2の画像内の細胞を識別するステップと、を含む方法。
2. 前記信頼度が所定の信頼値を超える場合、前記第1の画像内の細胞のうちの1つと前記第2の画像内の特徴との間の関連付けを決定するステップを含む、請求項1に記載の方法。
3. 前記特性が、ピクセル値合計、面積、平均ピクセル値、半径、真円度、横方向位置、および組織特性のうちの1つまたは複数である、請求項1または2に記載の方法。
4. 前記組織特性が、分散、尖度、およびウェーブレット特性のうちの1つまたは複数である、請求項3に記載の方法。
5. 前記信頼値が、前記特徴のそれぞれの特性に基づいてそれぞれ決定された複数の特性信頼値に基づく、請求項2から4のいずれか一項に記載の方法。
6. 前記信頼値が、前記複数の特性信頼値に基づく重み付き幾何平均計算によって決定される、請求項5に記載の方法。
7. 前記重み付き幾何平均計算が、
   

   

   の形態であり、
   wが、特性信頼度の各々についてのそれぞれの重み因子である、請求項6に記載の方法。
8. 前記第1の画像と前記第2の画像との間の持続時間に基づく前記特徴の時間的特性に基づいて、前記信頼値を決定するステップを含む、請求項2から7のいずれか一項に記載の方法。
9. 前記信頼値が、前記持続時間に反比例する、請求項8に記載の方法。
10. 前記信頼値が、
    conf=1-(S_T×(|frame₁-frame₂|-1))
    に従って計算され、
    confが、前記信頼値であり、frame₁およびframe₂が、前記第1の画像のフレーム番号および前記第2の画像のフレーム番号であり、S_Tが、感度因子である、請求項8または9に記載の方法。
11. 前記計算された信頼値が負である場合、confを所定の値に設定するステップを含み、任意選択で、前記所定の値が0である、請求項10に記載の方法。
12. 前記第1の画像内の細胞の位置と前記第2の画像内の特徴との間の距離に基づく前記特徴の位置特性に基づいて、前記信頼値を決定するステップを含む、請求項2から11のいずれか一項に記載の方法。
13. 前記特徴の位置特性に基づく信頼値が、前記特徴のサイズに基づく、請求項12に記載の方法。
14. 前記特徴の位置特性に基づく信頼値が、前記第1の画像内の細胞と前記第2の画像内の特徴との間の距離の比に基づいており、任意選択で、前記信頼値が、前記特徴のサイズにさらに基づく、請求項13に記載の方法。
15. 前記信頼値が、
    

    

    に従って計算され、
    confが、前記信頼値であり、
    

    

    が、前記特徴の平均半径であり、dが、前記第1の画像および前記第2の画像内の特徴の位置の間の距離であり、S_p1が、第1の感度因子であり、S_p2が、第2の感度因子である、請求項12、13または14に記載の方法。
16. 前記第1の画像および前記第2の画像内の特徴の特性間の差と、前記特性の合計との比に基づいて、前記信頼値を決定するステップを含む、請求項2から15のいずれか一項に記載の方法。
17. 前記信頼値が、
    

    

    に従って計算され、
    confが、前記信頼値であり、S₁およびS₂が、感度因子であり、characteristic₁およびcharacteristic₂が、前記第1の画像内の細胞の特性の値および前記第2の画像内の特徴の特性の値である、請求項16に記載の方法。
18. 前記第1の画像内の細胞と前記第2の画像内の特徴との間の一意の関連付けを決定するステップを含む、請求項2から17のいずれか一項に記載の方法。
19. 前記一意の関連付けが、特徴間の信頼度を最大化することによって決定される、請求項18に記載の方法。
20. 前記一意の関連付けが、組合せ最適化アルゴリズムに基づいて決定され、任意選択で、前記組合せ最適化アルゴリズムが、ハンガリアンアルゴリズムであり、任意選択で、前記ハンガリアンアルゴリズムが、Munkresアルゴリズムである、請求項18または19に記載の方法。
21. 前記複数の特性に基づいて、新しい細胞が前記複数の画像のうちの1つにおいて存在するかどうかを判定するステップを含む、請求項1から20のいずれか一項に記載の方法。
22. 細胞が少なくとも第1の細胞および第2の細胞に分裂したかどうかを判定するステップを含む、請求項1から21のいずれか一項に記載の方法。
23. 前記細胞が分裂したかどうかを判定する前記ステップが、前記第1の画像内の細胞に関連する特性のサブセットと、前記第2の画像内の第1の特徴および第2の特徴のうちの少なくとも1つとに基づく、請求項22に記載の方法。
24. 物体が分裂したかどうかを判定するステップが、前記第1の画像内の細胞の特性のサブセットと、前記第2の画像内の第1の特徴および第2の特徴のうちの少なくとも1つの特性のサブセットとに基づいて、信頼値を決定するステップを含む、請求項23に記載の方法。
25. 前記信頼度が所定の分裂信頼値を超える場合、前記第1の画像内の細胞と、前記第2の画像内の第1の特徴および第2の特徴のうちの少なくとも1つとの間の関連付けを決定するステップを含む、請求項23に記載の方法。
26. 第1の細胞と第2の細胞とが合体したかどうかを判定するステップを含む、請求項1から25のいずれか一項に記載の方法。
27. 前記第1の細胞と前記第2の細胞とが合体したかどうかを判定する前記ステップが、前記第1の画像内の第1の細胞および第2の細胞に関連する特性のサブセットと、前記第2の画像内の特徴とに基づく、請求項22に記載の方法。
28. 前記信頼度が所定の合体信頼値を超える場合、前記第1の画像内の第1の細胞および第2の細胞のうちの少なくとも1つと、前記第2の画像内の特徴との間の関連付けを決定するステップを含む、請求項27に記載の方法。
29. 前記特性のサブセットが、物体サイズに無関係の特性を示す、請求項23から28のいずれか一項に記載の方法。
30. 前記細胞が、単一の細胞または細胞のコロニーのうちの1つであり、任意選択で、前記細胞のコロニーが、2つ以上の細胞を含む、請求項1から29のいずれか一項に記載の方法。
31. 前記特徴が、前記第2の画像内の複数のピクセルを含む、請求項1から30のいずれか一項に記載の方法。
32. 物体の時間的挙動を決定するための装置であって、
    放射源から放射された放射を検出するように構成された画像検出手段と、
    プロセッサ、および
    メモリ
    を備えるコンピューティングデバイスと
    を備え、
    前記プロセッサが、請求項1から31のいずれか一項に記載の方法を実行するように構成された装置。
33. コンピュータによって実行されると、請求項1から32のいずれか一項に記載の方法を実行するように構成されたコンピュータソフトウェア。
34. コンピュータによって実行されると、請求項1から31のいずれか一項に記載の方法を実行する命令を記憶したコンピュータ可読データ記憶媒体。

Images