JP2010205274A - 画像処理装置 - Google Patents

Abstract

【課題】追跡対象を示す対象領域の重なり、分裂に加え、一時的な消失や対象領域の誤検出が散発し検出結果の信憑性に欠けるような不安定な状況においても、より時系列的に整合性の良い追跡を可能にする。
【解決手段】特徴量算出部１０１で算出された対象領域の特徴量を用いて仮追跡処理部１０２で時系列前後の複数の対象画像間における対象領域同士の対応付けを行うことで対象領域の複数の仮追跡を行い、最終追跡処理部１０３では、この複数の仮追跡結果を基に、例えば多数決の概念に従い整合性の良い最終的な追跡結果を求めるようにしたので、追跡対象を示す対象領域の重なり、分裂に加え、一時的な消失や対象領域の誤検出が散発し検出結果の信憑性に欠けるような不安定な状況においても、より時系列的に整合性の良い対象領域の追跡が可能となる。
【選択図】図１

Description

本発明は、複数の時点で時系列に追跡対象を撮影して得られた各時点の対象画像（以後、適宜「フレーム」とも記す）内に存在する追跡対象を示す対象領域を追跡するための画像処理装置に関する。

複数の時点で時系列に撮影された画像内の物体追跡処理としては、特許文献１に、追跡対象物を示す対象領域の連続フレーム間での重なり面積を基に対象領域同士を対応付け、この対応結果に基づき、対象領域の状況を、出現、単連結、結合、消滅、分離のいずれかに分類し、さらには分類が結合又は分離の際には、物体検出時の誤りを補正して物体を追跡する方法が示されている。ここで、物体検出時の誤りとは、例えば、元々複数の物体が、重なり等により１つに連結した領域として検出されることや、元々１つの物体が検出時の何らかの問題により複数に分裂した領域として検出されることを示す。これら検出時の誤りを補正する具体的な方法とは以下の２つである。

第１は、元々複数の物体を示す領域が１つに結合した場合には“連結”と判定し、前フレームにおける連結前の各領域の特徴量を記録する。また、“連結”と判定された領域が分離した場合には、分離時の各領域と、連結前の各領域のあらゆる組み合わせにおいて最も特徴量の一致度が高くなるように領域同士を対応付けて追跡を行う。

第２は、元々１つの物体を示す領域が分離した場合には“分裂”と判定し、分裂している間はパーツとなる各領域を合計した重心を代表位置として追跡を行う。また、“分裂”と判定された領域が結合した場合には、２つに分裂した元々１つの領域が１つに検出されるようになったと判定する。

ここで、このような補正を行う際には、連続フレームの中に、特に信憑性の高い物体検出結果が必要になる。なぜなら、分離という状況でも、連結と判定された領域が分離した場合と、元々１つの物体を示す領域が分離した場合とでは処理が異なるし、結合という状況でも、元々複数の物体を示す領域が結合した場合と、分裂と判定された領域が結合した場合とでは処理が異なるためである。特許文献１では、これを解決するために、画像内の特定範囲内で検出する領域の結果を基準とする初期化ステップが設けられている。これは特許文献１が追跡対象物として人物を想定しており、例えば一度に１人しか通過できないような出入り口付近を映す画像範囲を特定範囲とすれば、その範囲内では信憑性の高い物体検出結果が得られると仮定できるからである。

特開２００２−３４２７６２号公報

ところが、特許文献１では、時系列で連続する２フレーム間で対象領域の対応付けを行いながら対象領域を追跡している。このため、例えばあるフレームＦ０で検出された追跡対象物を示す対象領域が、次フレームＦ１で何らかの問題で検出されず、さらに次のフレームＦ２では再度検出されたという状況の場合、フレームＦ０−Ｆ１間における対応結果より、フレームＦ０内の領域は“消滅”という状況に分類され、フレームＦ２で再び検出されたとしても、同一の対象を示す領域とは判断されない。この場合は、新たに“出現”という状況になり、別の追跡対象物を示す対象領域として追跡が行われる。このように追跡対象物を示す対象領域が追跡途中のフレーム内で全く検出されないという状況は、“人物”を対象とする追跡においては発生しにくい状況かもしれないが、例えば蛍光蛋白を用いて生きた細胞を画像化し、その蛍光画像を用いて生細胞の追跡を行うなどの場合では、蛍光量の変動などの影響による細胞領域の検出の不安定さから十分に発生し得る状況である。つまり、特許文献１では、このような状況において正確な追跡が行えないという課題がある。

さらに、生細胞の追跡においては、画像内の特定範囲内で、信憑性の高い物体検出結果を得るということは難しい。なぜなら、密集する多数の細胞を同時に撮像する状況下では、個々の細胞を個別に良好な条件で撮像し、その細胞を示す領域を正確に検出することは、非常に困難だからである。このため、信憑性の高い検出結果を前提とする特許文献１では、追跡対象を示す対象領域の誤検出が散発する場合には正確な追跡を行えないという課題がある。

本発明は、上記に鑑みてなされたものであって、追跡対象を示す対象領域の重なり、分裂に加え、一時的な消失や対象領域の誤検出が散発し検出結果の信憑性に欠けるような不安定な状況においても、より時系列的に整合性の良い追跡ができる画像処理装置を提供することを目的とする。

かかる目的を達成するために、本発明による画像処理装置は、複数の時点で追跡対象を撮影して得られた各時点の対象画像において前記追跡対象を示す対象領域の特徴量を算出する特徴量算出手段と、算出された前記特徴量を用いて前記対象画像間における前記対象領域の仮追跡結果を複数求める仮追跡処理手段と、前記複数の仮追跡結果の中から前記対象領域の最終的な追跡結果を選出する最終追跡処理手段と、を備え、前記仮追跡処理手段が、時系列で隣接する前記対象画像間における前記対象領域同士の対応付けと時系列で隣接しない前記対象画像間における前記対象領域同士の対応付けを行うことで前記複数の仮追跡結果を得ることを特徴とする。

本発明に係る画像処理装置によれば、算出された対象領域の特徴量を用いて対象画像間における対象領域同士の対応付けを行った仮追跡結果を基に、例えば多数決の概念によって整合性の良い最終的な追跡結果を求めるので、追跡対象を示す対象領域の重なり、分裂に加え、一時的な消失や対象領域の誤検出が散発し検出結果の信憑性に欠けるような不安定な状況においても、より時系列的に整合性の良い対象領域の追跡が可能になるという効果を奏する。

図１は、本発明の実施の形態の画像処理装置の構成例を示す概略ブロック図である。 図２は、本実施の形態の画像処理装置の制御部により実行される処理の流れを示す概略フローチャートである。 図３は、仮追跡処理部により実行される細胞領域の仮追跡処理なるサブルーチンの処理例を示す概略フローチャートである。 図４は、仮追跡を行う時系列範囲としてｎ＝２とした場合の各時刻ｔ(ｉ)用の細胞画像の取得範囲を模式的に示す説明図である。 図５−１は、認識処理の対象となる細胞画像例を示す図である。 図５−２は、領域毎にラベル化された細胞領域の認識画像例を示す図である。 図６は、時刻ｔ(０)〜ｔ(７)の間で時系列に取得された細胞画像の一例を示す模式図である。 図７は、ｉ＝０の場合において、その仮追跡範囲内となる図６に示す時刻ｔ(０)〜ｔ(２)の各細胞画像を起点画像とした場合の仮ＩＤの付与例を示す説明図である。 図８は、時刻ｔ(２)の細胞画像を起点画像とした場合において、時刻ｔ(１)の画像内の細胞領域と、時刻ｔ(２)の起点画像内の細胞領域との対応指標値の算出結果例を示す説明図である。 図９は、時刻ｔ(２)の細胞画像を起点画像とした場合において、時刻ｔ(１)の細胞画像内の細胞領域への仮ＩＤの伝播例を示す説明図である。 図１０は、時刻ｔ(０)の細胞画像を起点画像とした場合において、時刻ｔ(１)の細胞画像内の細胞領域と、時刻ｔ(０)の起点画像内の細胞領域との対応指標値の算出結果例を示す説明図である。 図１１は、時刻ｔ(０)の細胞画像を起点画像とした場合において、時刻ｔ(１)の細胞画像内の細胞領域への仮ＩＤの伝播例を示す説明図である。 図１２は、ｉ＝０の場合の仮追跡範囲内の各時刻の細胞画像を起点画像として各起点画像中の細胞領域毎に対応指標値に従いリンク関係を設定した仮追跡処理例を模式的に示す説明図である。 図１３は、図１２に示す細胞領域間のリンク関係を仮ＩＤの伝播表として示す説明図である。 図１４は、図１３の仮追跡結果の集計例を示す説明図である。 図１５は、ｉ＝１の場合の仮追跡範囲内の各時刻の細胞画像を起点画像として各起点画像中の細胞領域毎に対応指標値に従いリンク関係を設定した仮追跡処理例を模式的に示す説明図である。 図１６は、図１５に示す細胞領域間のリンク関係を仮ＩＤの伝播表として示す説明図である。 図１７は、図１６の仮追跡結果の集計例を示す説明図である。 図１８は、図１４、図１７の集計例に基づく最終ＩＤの付与例を示す説明図である。 図１９は、ｉ＝２の場合の仮追跡範囲内の各時刻の細胞画像を起点画像として各起点画像中の細胞領域毎に対応指標値に従いリンク関係を設定した仮追跡処理例を模式的に示す説明図である。 図２０は、図１９に示す細胞領域間のリンク関係を仮ＩＤの伝播表として示す説明図である。 図２１は、図２０の仮追跡結果の集計例を示す説明図である。 図２２は、図２１の集計例に基づく最終ＩＤの付与例を示す説明図である。 図２３は、ｉ＝４の場合の仮追跡範囲内の各時刻の細胞画像を起点画像として各起点画像中の細胞領域毎に対応指標値に従いリンク関係を設定した仮追跡処理例を模式的に示す説明図である。 図２４は、図２３に示す細胞領域間のリンク関係を仮ＩＤの伝播表として示す説明図である。 図２５は、ｉ＝５の場合の仮追跡範囲内の各時刻の細胞画像を起点画像として各起点画像中の細胞領域毎に対応指標値に従いリンク関係を設定した仮追跡処理例を模式的に示す説明図である。 図２６は、図２５に示す細胞領域間のリンク関係を仮ＩＤの伝播表として示す説明図である。 図２７は、図２６の集計例に基づく最終ＩＤの付与例を示す説明図である。 図２８は、図６に例示した時系列な細胞画像における細胞領域の追跡の結果例を示す模式図である。

本発明を実施するための形態について図面を参照して説明する。以下に説明する本実施の形態では、本発明の追跡対象を示す対象領域として細胞領域の追跡を行う画像処理装置の例を示すが、本発明における追跡対象を示す対象領域は細胞領域に限らず、他の追跡対象を示す対象領域の追跡を行う画像処理装置としても適用可能である。

図１は、本実施の形態の画像処理装置の構成例を示す概略ブロック図である。本実施の形態の画像処理装置１００は、複数の時点で追跡対象としての生細胞を撮影して得られた各時点の対象となる細胞画像において生細胞を示す細胞領域の特徴量を算出する特徴量算出部１０１と、算出された細胞領域の特徴量を用いて細胞画像間における細胞領域同士の対応付けを行うことで該細胞領域の仮追跡を行う仮追跡処理部１０２と、仮追跡処理部１０２による仮追跡の結果に基づいて細胞領域の最終的な追跡結果を求める最終追跡処理部１０３とを備えるマイクロコンピュータ構成の制御部１０４と、入力された画像及び各部で利用するデータを保持しておくメモリ１０５とから構成されている。

ここで、仮追跡処理部１０２は、仮追跡を行う時系列範囲内の複数の時点の細胞画像のそれぞれを該仮追跡の起点となる起点画像として設定する起点画像設定部２０１と、細胞領域を識別するための仮ＩＤを細胞画像における細胞領域のそれぞれに付与する仮ＩＤ付与部２０２と、異なる時点の細胞画像間における細胞領域同士の対応度合いを示す対応指標値を算出する対応指標値算出部２０３と、起点画像における細胞領域から時系列に沿って前方又は後方の時点の細胞画像における細胞領域へ向けて対応指標値が最も高い細胞領域の仮ＩＤを順次伝播することで細胞画像間における細胞領域同士の対応付けを行う仮ＩＤ伝播部２０４とから構成されている。なお、処理対象である時系列の細胞画像の入力構成や、出力後の細胞追跡結果の処理構成に関しては、本実施の形態では特に限定しない。

図２は、本実施の形態の画像処理装置１００の制御部１０４により実行される処理の流れを示す概略フローチャートであり、図３は、仮追跡処理部１０２により実行されるステップＳ５の細胞領域の仮追跡処理なるサブルーチンの処理例を示す概略フローチャートである。ここでは、撮影開始時刻ｔ(０)から撮影終了時刻ｔ(Ｔ)までの複数の時刻（時点）で細胞を撮影して得られた時系列の複数の細胞画像を用いて細胞領域の追跡を行う際の処理の流れを示している。以下、図１に示す構成例と対比しながら追跡処理例について説明する。

まず、制御部１０４は、注目すべき細胞画像の時系列順序を示す符号ｉを０に設定し（ステップＳ１）、時刻ｔ(ｉ−ｎ)〜ｔ(ｉ＋ｎ)の細胞画像を取得する（ステップＳ２）。ｎは後述の仮追跡を行う際の時系列範囲を決定する値であり、本実施の形態では、ｎ＝２として説明する。ここで、ｉ＝０の場合、ｉ−ｎ＝０−２＝−２であり、時刻ｔ(−２)の細胞画像は存在しない。そこで、ｉ−ｎ＜０の場合には、ステップＳ２で取得する画像の時系列先端の画像は時刻ｔ(０)の画像とする。また、符号ｉを順次繰り越し、ｉ＋ｎ＞Ｔとなった場合には、やはり画像が存在しないので、ステップＳ２で取得する画像の時系列後端の画像は時刻ｔ(Ｔ)の画像とする。

図４は、注目すべき細胞画像に対して仮追跡を行う時系列範囲としてｎ＝２とした場合の各時刻ｔ(ｉ)用の細胞画像の取得範囲を模式的に示す説明図である。図４中の黒丸部分は、符号ｉで示される注目すべき細胞画像の撮影時点を表している。結果的に、時系列先端のｉ＝０の場合には３枚の細胞画像（フレーム）を、時系列２番目のｉ＝１の場合には４枚の細胞画像を、時系列中間のｉ＝２〜Ｔ−２の場合には５枚の細胞画像を、ｉ＝Ｔ−１の場合には４枚の細胞画像を、時系列後端のｉ＝Ｔの場合には３枚の細胞画像を取得する。

次に、特徴量算出部１０１は、取得した各細胞画像の細胞領域を認識し、各細胞領域の特徴量を算出する（ステップＳ３）。細胞領域の認識処理に関しては、例えば本出願人による特願２００５−２４５１１なる提案例を利用すればよい。その手順の概略を説明すると、まず、細胞画像に対しシェーディング補正や輪郭強調処理を行う。次に、背景領域を除去し、残りの各画素における輝度勾配方向を求める。次に、各画素が輝度勾配方向に沿って到達する輝度極値画素を求め、近接する輝度極値画素に到達した各画素を同一の画素値とするラベル領域画像を作成する。さらに、各ラベル領域の境界付近における細胞画像の輝度情報を基に、ラベル領域の再統合を行い、最終的な細胞領域画像を得るというものである。例えば、図５−１に示すような細胞画像に対してこのような認識処理を行い、図５−２に示すように領域毎にラベル化された細胞領域の認識画像を得る。

なお、本実施の形態では追跡対象を示す対象領域を抽出する方法として、細胞の認識処理を示したが、追跡対象を示す対象領域の抽出方法は、追跡対象や画像の種類によって変わるものであり、本発明では特に限定しない。

このような認識処理により、細胞領域の認識画像を得た後、特徴量算出部１０１は、各細胞領域の特徴量を得る。特徴量は、細胞領域の位置、大きさ、形状、輝度、色のうちの少なくとも一つに関する数値などで示される特徴量であり、粒子解析と呼ばれる汎用的な画像処理法などを利用して求めることができる。

次いで、仮追跡処理部１０２による処理に移行する。まず、起点画像設定部２０１は、取得した各時刻の細胞画像を、注目すべき細胞領域に対する仮追跡を行う際の起点画像に設定する（ステップＳ４）。つまり、ｉ＝０の場合には、その仮追跡範囲内となる時刻ｔ(０)〜ｔ(２)の各細胞画像を起点画像に順次設定する。次に、仮ＩＤ付与部２０２、対応指標値算出部２０３、仮ＩＤ伝播部２０４は、順次設定される各起点画像を基に細胞領域の仮追跡を行う（ステップＳ５）。

図６は、例えば時刻ｔ(０)〜ｔ(７)の間で時系列に取得された細胞画像の一例を示す模式図である。以後の追跡処理の説明は、この時系列に取得された細胞画像を対象に行う例で説明する。なお、図６では各細胞領域が確認し易いように、図５−２のような領域毎のラベル値による表示を行わず、認識された全ての細胞領域を輪郭線のみで簡単に示すものとする。また、数字（領域No.）は各細胞領域を各時刻の細胞画像内で識別するための通し番号である。

まず、仮ＩＤ付与部２０２は、起点画像内の各細胞領域に対して、同一の細胞を示す細胞領域であることを識別するための仮ＩＤを付与する（ステップＳ５０１）。仮ＩＤは、起点画像内の各細胞領域では異なるように付与する。図７は、図６の時系列画像を処理する際のｉ＝０の場合、つまり、図６に示す時刻ｔ(０)〜ｔ(２)の各細胞画像をそれぞれ起点画像とした場合の仮ＩＤの付与例を示す説明図である。

次に、制御部１０４は、符号ｊを１に設定し（ステップＳ５０２）、追跡起点画像（ここでは便宜上、時刻ｔ(ｓ)の画像とする）の時系列に沿った前方にある時刻ｔ(ｓ−ｊ)の細胞画像が仮追跡時の処理対象画像であるか判定する。この処理は、“ｓ−ｊ≧０？又はｓ−ｊ≧ｉ−ｎ？”を判定することで行われる（ステップＳ５０３）。前者の“ｓ−ｊ≧０？”では、対象となる細胞画像が存在するかを判定し、後者の“ｓ−ｊ≧ｉ−ｎ？”では、対象となる細胞画像が仮追跡を行う際の時系列範囲内であるかを判定する。

ステップＳ５０３の判定結果が肯定（Ｙｅｓ）の場合、対応指標値算出部２０３は、時刻ｔ(ｓ−ｊ)の細胞画像内の細胞領域と、時刻ｔ(ｓ−ｊ＋１)〜ｔ(ｓ−ｊ＋Ｎ)の各細胞画像内の細胞領域との対応指標値を算出する（ステップＳ５０４）。ここで、Ｎは対応指標値を算出する際の細胞画像の時系列範囲を決定する値である。Ｎ＝１の場合、対応指標値は時系列で隣接する２枚の細胞画像内（連続２フレーム内）の細胞領域同士でのみ算出されるが、Ｎ＝２の場合には、前述の算出に加え、時系列で隣接せずに間に１枚の細胞画像を挟む２枚の細胞画像内（不連続２フレーム内）の細胞領域同士でも対応指標値が算出される。つまり、異なる時間間隔の複数の細胞画像間で対応指標値を算出することで、細胞認識処理の問題等で一時的に消失し、再度検出されるような場合があったとしても、同一細胞を示す領域としての対応付けが可能になる。本実施の形態では、Ｎ＝２として説明する。なお、追跡起点画像を跨いだ画像間（ｓ−ｊ＋Ｎ≦ｓで判定される）では対応指標値を算出しない。

ここで、対応指標値とは、異なる細胞画像内の細胞領域Ｒ１，Ｒ２が、同一の細胞を示す領域であるかを推定するための指標値である。具体的には、細胞領域Ｒ１，Ｒ２が存在する２つの細胞画像を重ねた際の細胞領域Ｒ１，Ｒ２の重なり面積Area#OLとＲ１，Ｒ２のそれぞれの面積Area＿R１，Area＿R２より、(１)式により求める方法がある。ここで、ｗは重み係数であり、Ｒ１に対するＲ２の対応指標値と、Ｒ２に対するＲ１の対応指標値を同じとする場合にはｗ＝０．５となる。

また、対応指標値は、特徴量算出部１０１により算出された細胞領域Ｒ１，Ｒ２のＸ個の特徴量により規定される特徴空間における細胞領域Ｒ１，Ｒ２の距離ｄの逆数又は距離ｄを用いた減少関数として求める方法もある。なお、特徴空間での細胞領域Ｒ１，Ｒ２の距離ｄの計算法には、(２)式に挙げる重み付き市街地距離を求める方法、(３)式に挙げる重み付きユークリッド距離を求める方法、(４)式に挙げるマハラノビス汎距離を求める方法などがある。

なお、(４)式における距離ｄは、細胞領域全体の分布の分散による影響を正規化した空間での距離となる。

さらに、細胞領域Ｒ１，Ｒ２が存在する２つの細胞画像が時系列的に離れる程、値が低くなるような係数を設定し、これを前述の２つの方法による対応指標値に乗じて、最終的な対応指標値としても良い。例えば、時系列的に隣接する画像間では係数＝１、時系列で間に１枚の画像を挟む場合には係数＝０．９等のようにする。

前述した２つの方法により算出される対応指標値は、いずれも値が大きいほど、同一の細胞を示す領域である可能性が高くなる。例えば、図８は、時刻ｔ(２)の細胞画像を起点画像とした場合において、ｊ＝１のとき、つまり、時刻ｔ(ｓ−ｊ)＝ｔ(２−１)＝ｔ(１)の画像内の細胞領域と、時刻ｔ(ｓ−ｊ＋１)＝ｔ(２−１＋１)＝ｔ(２)の細胞画像（＝起点画像）内の細胞領域との対応指標値の算出結果例を示す説明図である。この結果より、時刻ｔ(１)の細胞画像内のNo.１の細胞領域は時刻ｔ(２)の細胞画像内のNo.２の細胞領域と同一の細胞を示す領域である可能性が高く、時刻ｔ(１)の細胞画像内のNo.２の細胞領域は時刻ｔ(２)の細胞画像内のNo.３の細胞領域と同一の細胞を示す領域である可能性が高いと推定できる。なお、対応指標値が所定の閾値より低い場合には、細胞領域同士の対応はないとし、図中に表示していない。

対応指標値が算出された後は、仮ＩＤ伝播部２０４は、時刻ｔ(ｓ−ｊ)の画像内の各細胞領域に対し、最も対応指標値の高い細胞領域の仮ＩＤを伝播する（ステップＳ５０５）。図９は、時刻ｔ(２)の細胞画像を起点画像とした場合において、ｊ＝１のとき、つまり、時刻ｔ(ｓ−ｊ)＝t(２−１)＝t(１)の細胞画像内の細胞領域への仮ＩＤの伝播例を示す説明図である。図８に示した結果に従い、最も対応指標値が高い領域の仮ＩＤが伝播されている。すなわち、時刻ｔ(１)の細胞画像内のNo.１の細胞領域には時刻ｔ(２)の細胞画像内のNo.２の細胞領域の仮ＩＤが伝播され、時刻ｔ(１)の細胞画像内のNo.２の細胞領域には時刻ｔ(２)の細胞画像内のNo.３の細胞領域の仮ＩＤが伝播されている。

なお、仮ＩＤの伝播先である細胞領域に対し、対応する細胞領域が存在しない場合には、仮ＩＤ付与部２０２は、その細胞領域に対して新たな仮ＩＤ付与する。つまり、対応指標値が所定の閾値より低い細胞領域同士を対応付けることはなく、仮追跡の精度が向上する。

仮ＩＤの伝播が終了した後は、制御部１０４は、符号ｊ＝ｊ＋１とし（ステップＳ５０６）、再度ステップＳ５０３の判定を行う。以上、ステップＳ５０３〜Ｓ５０６の処理を、異なる起点画像毎にそれぞれ行うことで、起点画像から時系列に沿った前方への複数の仮追跡結果を得る。そして、ステップＳ５０３での判定結果が否定（Ｎｏ）となった時点で、時系列に沿った前方への仮追跡処理を終了する。

時系列に沿った前方への仮追跡処理が終了した後は、制御部１０４は、再度、符号ｊ＝１に設定し（ステップＳ５０７）、今度は起点画像から時系列に沿った後方への仮追跡処理を実行する。手順としては、まず追跡起点画像（時刻ｔ(ｓ)）の時系列に沿った後方にある時刻ｔ(ｓ＋ｊ)の画像が仮追跡時の処理対象画像であるか判定する。この処理は、“ｓ＋ｊ≦Ｔ？又はｓ＋ｊ≦ｉ＋ｎ？”を判定することで行われる（ステップＳ５０８）。前者の“ｓ＋ｊ≦Ｔ？”は、対象となる細胞画像が存在するかを判定し、後者の“ｓ＋ｊ≦ｉ＋ｎ？”は対象の細胞領域画像が仮追跡を行う際の時系列範囲内であるかを判定している。

ステップＳ５０８の判定結果が肯定（Ｙｅｓ）の場合、対応指標値算出部２０３は、時刻ｔ(ｓ＋ｊ)の細胞画像内の細胞領域と、時刻ｔ(ｓ＋ｊ−Ｎ)〜ｔ(Ｓ＋ｊ−１)の各細胞画像内の細胞領域との対応指標値を算出する（ステップＳ５０９）。なお、追跡起点画像を跨いだ画像間（ｓ＋ｊ−Ｎ≧ｓで判定される）では対応指標値を算出しない。

図１０は、時刻ｔ(０)の細胞画像を起点画像とした場合において、ｊ＝１のとき、つまり、時刻ｔ(ｓ＋ｊ)＝ｔ(０＋１)＝ｔ(１)の細胞画像内の細胞領域と、時刻ｔ(ｓ＋ｊ−１)＝ｔ(０＋１＋１)＝ｔ(０)の細胞画像（＝起点画像）内の細胞領域との対応指標値の算出結果例を示す説明図である。この結果より、時刻ｔ(１)の細胞画像内のNo.１の細胞領域は時刻ｔ(０)の細胞画像内のNo.１の細胞領域と同一の細胞を示す領域である可能性が高く、時刻ｔ(１)の細胞画像内のNo.２の細胞領域も時刻ｔ(０)の細胞画像内のNo.１の細胞領域と同一の細胞を示す領域である可能性が高いと推定できる。図８の場合と同様、対応指標値が所定の閾値より低い場合には、細胞領域同士の対応はないとし、図中に表示していない。

対応指標値が算出された後は、仮ＩＤ伝播部２０４は、時刻ｔ(ｓ＋ｊ)の細胞画像内の各細胞領域に対し、最も対応指標値の高い細胞領域の仮ＩＤを伝播する（ステップＳ５１０）。図１１は、時刻ｔ(０)の細胞画像を起点画像とした場合において、ｊ＝１のとき、つまり、時刻ｔ(ｓ＋ｊ)＝ｔ(０−１)＝ｔ(１)の細胞画像内の細胞領域への仮ＩＤの伝播例を示す説明図である。図１０に示した結果に従い、最も対応指標値が高い領域の仮ＩＤが伝播されている。すなわち、時刻ｔ(１)の細胞画像内のNo.１，No.2の細胞領域共に時刻ｔ(０)の細胞画像内のNo.１の細胞領域の仮ＩＤが伝播されている。なお、仮ＩＤの伝播先である細胞領域に対し、対応する細胞領域が存在しない場合には、前方への仮追跡の場合と同様、仮ＩＤ付与部２０２は、その細胞領域に対して新たな仮ＩＤを付与する。

前方への仮追跡の場合も、後方への仮追跡の場合も、対応指標値が最も高い細胞領域の仮ＩＤを順次伝播するので仮追跡の精度が向上する。

仮ＩＤの伝播が終了した後は、制御部１０４は、符号ｊ＝ｊ＋１とし（ステップＳ５１１）、再度ステップＳ５０８の判定を行う。以上、ステップＳ５０８〜Ｓ５１１の処理を、異なる起点画像毎にそれぞれ行うことで、起点画像から時系列に沿って後方への複数の仮追跡結果を得る。そして、ステップＳ５０８での判定結果が否定（Ｎｏ）となった時点で、仮追跡処理を終了する。

つまり、注目すべき時刻ｔ(０)のNo.１，２の細胞領域の追跡結果を求めるためのｉ＝０の場合において、仮追跡処理部１０２は、図１２に模式的に示すように、時刻ｔ(０)〜ｔ(２)の細胞画像をそれぞれ起点画像とし、各起点画像内の細胞領域（図１２中の領域No.を丸付きで示す）毎に最も高い対応指標値に従い時系列に沿って前方又は後方に矢印で示すようなリンク関係を設定する処理を仮追跡として行う。本実施の形態では、このように、起点画像を変更することで得られる更なるリンク関係を用いて追跡の精度を向上させるものである。図１３は、図１２に示す細胞領域間のリンク関係を仮ＩＤの伝播表として示す説明図である。

仮追跡処理が終了した後、最終追跡処理部１０３は、仮追跡の結果に基づいて注目している時刻ｔ(ｉ)の細胞画像内の各細胞領域の最終追跡結果を決定する（Ｓ６）。具体的には、まず、時刻ｔ(ｉ)の細胞画像内の細胞領域の１つに注目し、この細胞領域と同一の仮ＩＤが付与された時刻ｔ(ｉ−ｎ)〜ｔ(ｉ)の細胞画像内の各細胞領域の数を、仮追跡結果を基にカウントする。この場合、注目している細胞領域と同一の仮ＩＤが付与された細胞領域がない場合のみ、注目している細胞領域自身をカウントする。

図１３に示す仮追跡結果を用いて詳細に説明する。図１３は、時刻ｔ(０)の各細胞領域の追跡結果を求めるためのｉ＝０の場合の仮追跡結果である。そこで、まず、時刻ｔ(ｉ)＝ｔ(０)の細胞画像内のNo.１の細胞領域を注目領域とする。そして、図１３中の時刻ｔ(０)を起点画像とする場合の時刻ｔ(ｉ−ｎ)〜ｔ(ｉ)＝ｔ(０−２)〜ｔ(０)の画像、実際には時刻ｔ(０)の画像のみが対象になるが、その時刻ｔ(０)の細胞画像内で注目領域と同一の仮ＩＤが付く細胞領域を確認する。結果的に、注目領域と同一の仮ＩＤが付く領域はない。よって、この場合は注目領域自身をカウントする。

次に、図１３中の時刻ｔ(１)を起点画像とする場合の仮追跡結果を確認すると、注目領域と同一の仮ＩＤが時刻ｔ(０)の細胞画像内のNo.２の細胞領域に付いている。よって、t(０)の細胞画像のNo.２の細胞領域をカウントする。最後に、図１３中の時刻ｔ(２)を起点画像とする場合の仮追跡結果を確認すると、上記と同様に、注目領域と同一の仮ＩＤが時刻ｔ(０)の細胞画像内のNo.２の細胞領域に付いている。よって、時刻ｔ(０)の細胞画像のNo.２の細胞領域を再度カウントし、結果的に２とする。以上で、時刻ｔ(０)の細胞画像内のNo.１の細胞領域に対する仮追跡結果を基にした集計が終了する。

次に、注目領域を、時刻ｔ(０)の細胞画像内のNo.２の細胞領域に変更して同様の処理を行う。図１４は、上述の仮追跡結果の集計例を示す説明図である。

仮追跡結果の集計が終了した後は、多数決の概念に従い、最も数が多い細胞領域と同一の最終ＩＤを注目領域に対して付与する。最終ＩＤとは、同一の細胞を示す細胞領域であることを識別するための最終的なＩＤである。図１４に示す集計例の場合、時刻ｔ(０)の細胞画像のNo.１，２の細胞領域は、互いに他方の細胞領域と同一の最終ＩＤを付与することになり、この場合には２つの細胞領域に対し、同一の最終ＩＤを付与する。

なお、時刻ｔ(０)の細胞画像を起点画像とした、時系列に沿った後方への仮追跡結果は、この時全く参照されないが、符号ｉを繰り越し、次の時刻の細胞画像での最終追跡結果を求める際に参照される。本説明では、時系列に沿った後方への仮追跡結果を説明する都合上、事前に算出する例を説明したものである。

次に、ステップＳ７により符号ｉを順次繰り越した場合の様子を説明する。図１５は、図１２の場合に準じて、注目すべき時刻ｔ(１)の細胞画像の各細胞領域の追跡結果を求めるためのｉ＝１の場合において、時刻ｔ(０)〜ｔ(３)の細胞画像を取得し、これらの時刻ｔ(０)〜ｔ(３)の細胞画像をそれぞれ起点画像とし、各起点画像内の細胞領域毎に最も高い対応指標値に従い時系列に沿って前方又は後方に矢印で示すようなリンク関係を設定した処理例を示す模式図である。

図１６は、図１５に示す細胞領域間のリンク関係を仮ＩＤの伝播表として示す説明図である。

なお、ここで図１３に示した仮追跡結果に対し、図１６で新たに加えられたデータは、時刻ｔ(３)の各細胞領域に対する伝播結果、及び、時刻ｔ(３)の細胞画像を起点画像とする場合の伝播結果である。つまり、符号ｉを繰り越す際には、細胞画像の取得、細胞領域の認識、特徴量の算出、細胞領域の仮追跡は以前の処理で行われていない部分のみを行えばよい。以前の処理で既に行われている部分に関しては、処理時に、そのデータをメモリに記憶しておき、以後、必要な時に読み出して使用すればよい。

図１７は、ｉ＝１の場合の仮追跡結果（図１６に示す仮追跡結果）の集計例を示す説明図である。時刻ｔ(ｉ)＝ｔ(１)の細胞画像のNo.１の細胞領域を注目領域とした場合、時刻ｔ(０)のNo.１の細胞領域が同一の仮ＩＤとなるのは図１６中に示す各時刻ｔ(０)〜ｔ(３)を起点画像とする場合の４回、時刻ｔ(０)のNo.２の細胞領域が同一の仮ＩＤとなるのは図１６中に示す時刻ｔ(１)〜ｔ(３)を起点画像とする場合の３回、時刻ｔ(１)のNo.２の細胞領域が同一の仮ＩＤとなるのは図１６中に示す時刻ｔ(０)を起点画像とする場合の１回である。

同様に、時刻ｔ(ｉ)＝ｔ(１)の細胞画像のNo.２の細胞領域を注目領域とした場合、時刻ｔ(０)のNo.１の細胞領域が同一の仮ＩＤとなるのは図１６中に示す時刻ｔ(０)を起点画像とする場合の１回、時刻ｔ(１)のNo.１の細胞領域が同一の仮ＩＤとなるのは図１６中に示す時刻ｔ(０)を起点画像とする場合の１回、同一の仮ＩＤの細胞領域がなく自身をカウントするのが図１６中に示す時刻ｔ(１)〜ｔ(３)を起点画像とする場合の３回である。

図１８は、図１４、図１７の集計例に基づく最終ＩＤの付与例を示す説明図である。図１４の集計結果より、時刻ｔ(０)の細胞画像内のNo.１，２の２つの細胞領域には同一の最終ＩＤ（F＿ID1）を付与し、その後、図１７の集計結果より、時刻ｔ(１)のNo.１の細胞領域には時刻ｔ(０)のNo.１の細胞領域と同一の最終ＩＤ（F＿ID1）を伝播し、時刻ｔ(１)のNo.２の細胞領域には新たな最終ＩＤ（F＿ID2）を付与する。

同様にして、ｉ＝２，４，５の場合の処理例について説明する。まず、図１９は、図１２、図１５の場合に準じて、注目すべき時刻ｔ(２)の細胞画像の各細胞領域の追跡結果を求めるためのｉ＝２の場合において、時刻ｔ(０)〜ｔ(４)の各細胞画像を取得し、これらの時刻ｔ(０)〜ｔ(４)の各細胞画像をそれぞれ起点画像とし、各起点画像内の細胞領域毎に最も高い対応指標値に従い時系列に沿って前方又は後方に矢印で示すようなリンク関係を設定した処理例を示す模式図である。図２０は、図１９に示す細胞領域間のリンク関係を仮ＩＤの伝播表として示す説明図であり、図２１は、図２０に示した仮追跡結果の集計結果例を示す説明図であり、図２２は、図２１に基づく最終ＩＤの付与例を示す説明図である。

ここで、集計結果においてカウント数が同値の場合には、既に最終ＩＤが付与されている細胞領域のうち時系列的に近いものから最終ＩＤを伝播する。よって、時刻ｔ(２)のNo.１の細胞領域は時刻ｔ(１)のNo.１の細胞領域から、時刻ｔ(２)のNo.２の細胞領域は時刻ｔ(１)のNo.１の細胞領域から、時刻ｔ(２)のNo.３の細胞領域は時刻ｔ(１)のNo.２の細胞領域から、時刻ｔ(２)のNo.４の細胞領域は時刻ｔ(１)のNo.２の細胞領域からそれぞれ最終ＩＤを伝播する。

次に、図２３は、図１２、図１５、図１９の場合に準じて、注目すべき時刻ｔ(４)の細胞画像の各細胞領域の追跡結果を求めるためのｉ＝４の場合において、時刻ｔ(２)〜ｔ(６)の各細胞画像を取得し、これらの時刻ｔ(２)〜ｔ(６)の各細胞画像をそれぞれ起点画像とし、各起点画像中の細胞領域毎に最も高い対応指標値に従い時系列に沿って前方又は後方に矢印で示すようなリンク関係を設定した処理例を示す模式図である。図２４は、図２３に示す細胞領域間のリンク関係を仮ＩＤの伝播表として示す説明図である。この場合、時刻ｔ(３)中のNo.３の細胞領域と時刻ｔ(５)中のNo.２の細胞領域とは、時刻ｔ(４)の細胞画像では追跡関係が一時的に途絶えているが、対応指標値を算出する際に時刻ｔ(３)，ｔ(５)の細胞画像間でも対応指標値が算出されて仮追跡に活かされるため、時刻ｔ(３)中のNo.３の細胞領域と時刻ｔ(５)中のNo.２の細胞領域とは同一の仮ＩＤの伝播付与により対応関係が維持される。

さらに、図２５は、図１２、図１５、図１９、図２３の場合に準じて、注目すべき時刻ｔ(５)の細胞画像の各細胞領域の追跡結果を求めるためのｉ＝５の場合において、時刻ｔ(３)〜ｔ(７)の各細胞画像を取得し、これらの時刻ｔ(３)〜ｔ(７)の各細胞画像をそれぞれ起点画像とし、各起点画像中の細胞領域毎に最も高い対応指標値に従い時系列に沿って前方又は後方に矢印で示すようなリンク関係を設定した処理例を示す模式図である。図２６は、図２５に示す細胞領域間のリンク関係を仮ＩＤの伝播表として示す説明図であり、図２７は、図２６の仮追跡結果の集計結果に基づく最終ＩＤの付与例を示す説明図である。結果的に、時刻ｔ(３)中のNo.３の細胞領域は、時刻ｔ(４)の細胞画像では追跡関係が一時的に途絶えるが、上述のように時刻ｔ(３)，ｔ(５)の細胞画像間でも対応指標値が算出されて仮追跡に活かされるため、時刻ｔ(５)中のNo.２の細胞領域に同一の最終ＩＤ（F＿ID2）が付与される。

以上のように、時系列に沿って前方及び後方の数枚の細胞画像を用い、それぞれ起点画像を変更設定した場合における複数の仮追跡結果を集計し、多数決の概念に従い、最も頻度の高い仮追跡結果を最終的な追跡結果に採用することにより、細胞領域の誤検出が散発し検出結果の信憑性に欠けるような不安定な状況においても、各細胞画像において、より時系列的に整合性の良い最終追跡結果を得ることができる。

なお、本実施の形態では、細胞領域中で注目領域に対し同一の仮ＩＤが付く各細胞領域の数を、仮追跡結果よりカウントし、カウントが多い細胞領域の最終ＩＤを伝播するようにしているが、同一の仮ＩＤが付く各細胞領域に対し、所定の規則に従った得点を加算し、最も得点が多い細胞領域の最終ＩＤを伝播するようにしても良い。

所定の規則としては、例えば、以下のようなものを例示できる。
Ａ．注目領域が存在する時刻ｔ(ｉ)の画像より時系列に沿って前方の細胞画像を起点画像とした場合の仮追跡結果より、時刻ｔ(ｉ)の細胞画像より時系列に沿って後方の細胞画像を起点画像とした場合の仮追跡結果の方が高い得点とする。
Ｂ．注目領域が存在する時刻ｔ(ｉ)の画像から時系列に沿って離れる細胞画像内の細胞領域ほど、低くなるような得点とする。
Ｃ．注目領域との対応指標値に応じた得点とする。

また、本実施の形態では、注目領域が存在する時刻ｔ(ｉ)の細胞画像に対し、時系列に沿って前方と後方とで同数（２枚ずつ）の細胞画像を用いて仮追跡を行っているが、前方と後方とで異なる枚数の細胞画像範囲に設定して仮追跡を行っても良い。

或る注目領域に関して最終追跡結果が決定された後は、制御部１０４は符号ｉ＝i＋１とし（ステップＳ７）、処理対象となる細胞画像の有無をｔ(ｉ)≦ｔ(Ｔ)により判定する（ステップＳ８）。判定結果がｔ(ｉ)≦ｔ(Ｔ)であり、まだ処理対象となる細胞画像がある場合には（ステップＳ８：Ｙｅｓ）、前述のステップＳ２〜Ｓ７を同様に繰り返す。一方、判定結果がｔ(ｉ)＞ｔ(Ｔ)であり、処理対象となる細胞画像がない場合には（ステップＳ８：Ｎｏ）、最終追跡結果を出力して（ステップＳ９）、画像処理装置１００での細胞領域追跡処理を終了する。

図２８は、図６に例示した時系列な細胞画像における細胞領域の追跡の結果例を示す模式図である。図２８では、同一の最終ＩＤが付与された細胞領域に対して同一の斜線処理（ハッチング処理）や各種の色による塗りつぶしの処理を施すことにより対応関係を示している（実際の画像表示例では、色分けなどにより区別される）。図２８より誤認識により生ずる可能性の高い時系列的に不安定な分割線で区切られた領域や一時的に消失した領域に関しては、同一の細胞領域として追跡しており、また、時系列的に安定した分割線で区切られる領域に関しては、異なる細胞領域として追跡している様子が確認できる。

本発明は、上述した実施の形態に限らず、本発明の趣旨を逸脱しない範囲であれば、種々の変形が可能である。例えば、前述の特徴量算出部１０１、仮追跡処理部１０２、最終追跡処理部１０３等の各部による処理手順は、あらかじめ用意された対象領域追跡プログラムをパーソナルコンピュータなどのコンピュータで実行することにより実現するようにしてもよい。この対象領域追跡プログラムは、インターネットなどのネットワークを介して配布することもできる。また、この対象領域追跡プログラムは、ハードディスク、ＦＤ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることにより実行することもできる。

１００ 画像処理装置
１０１ 特徴量算出部
１０２ 仮追跡処理部
１０３ 最終追跡処理部
２０１ 起点画像設定部
２０２ 仮ＩＤ付与部
２０３ 対応指標値算出部
２０４ 仮ＩＤ伝播部

Claims (1)

1. 複数の時点で追跡対象を撮影して得られた各時点の対象画像において前記追跡対象を示す対象領域の特徴量を算出する特徴量算出手段と、
   算出された前記特徴量を用いて前記対象画像間における前記対象領域の仮追跡結果を複数求める仮追跡処理手段と、
   前記複数の仮追跡結果の中から前記対象領域の最終的な追跡結果を選出する最終追跡処理手段と、
   を備え、
   前記仮追跡処理手段は、時系列で隣接する前記対象画像間における前記対象領域同士の対応付けと時系列で隣接しない前記対象画像間における前記対象領域同士の対応付けを行うことで前記複数の仮追跡結果を得ることを特徴とする画像処理装置。