JP6200506B2 - 試料の画像内の繊維および分枝構造の分析のための方法および装置 - Google Patents

Description

（関連出願）
本願は、２０１２年８月２８日に出願された米国特許出願第６１／６９３，９０１号の利益を主張し、その内容は、その全体が参照によって本明細書に援用される。

（発明の分野）
本発明は、画像分析技術に関し、より具体的には、繊維および分岐した管状構造を含む画像の分析に関する。

（背景）
繊維構造は、物質科学画像、生物学および生物医学画像において一般的であり、そのような構造は、種々の工学的繊維、気管支樹、ならびに細胞骨格およびニューロンネットワークを含む。得られた画像の大容量のデータは、これらの構造の接続性および機能性を分析するために使用される。確実な解釈および分析は、正確な定量的測定を要求する。

しかしながら、有用情報を正確かつ迅速に抽出することは、構造の種々の撮像条件および複雑性のため、困難である。異なるソースからの画像は、異なるノイズまたは不均一な背景強度を有し得、繊維の局所形状特性を考慮せずに繊維を抽出する確実な方法を有する可能性を排除する。神経突起の場合、繊維は、細胞から離れるほど、より小さくなりかつ著しくぼやけ、ほとんどのアルゴリズムに、質の悪い結果をもたらさせる。

加えて、画像内の多数の繊維の存在は、処理スピードにとって局所繊維形状推定の効率が重要であることを含意し得る。生物医学分野では、管状構造の画像は、細胞を通して交差および分岐する３Ｄ構造の２Ｄ投影であり得るため、繊維の検出は、一般的工学物質より困難であり得る。

したがって、実用的用途の正確度およびスピード要件を満たす自動繊維トレースを可能にする、局所繊維形状の高度に効率的な推定を提供する方法およびそのためのシステムの必要性がある。

（概要）
繊維含有生物学試料の繊維分析および再構成のためのコンピュータ実装方法およびシステムが、提供される。適応閾値法が、初期トレースシードを取得するために使用される。局所主成分分析（ＰＣＡ）計算が、初期計算から低スコアを伴うシードデータを除去することによって、トレースシード候補の識別のために利用され、続いて、単一繊維区分トレースが行われる。

単一または個々の繊維区分トレース手順は、周囲区域内で繊維特性に最も良く一致するシードを選択することを含む。これらの特性は、形状、強度（明度）、色、または他の顕著な特性から識別されてもよい。次いで、所与の場所における局所繊維画像に最も厳密に一致する矩形を決定し、矩形の軸の方向に沿ってシードを移動させることによって、矩形を拡張させる。この個々の繊維区分トレース手順は、選択されたトレースシード候補毎に行われる。個々の繊維区分は、完全な繊維物体に組み立てられ、その接続は、交差マッチング計算によって行われる。

初期繊維識別手順の後、繊維区画は、ともに接続される。接続は、近接性、類似性、および接続性のルールに基づく。接続手順は、相互にかつ／または分岐ネットワークのように交差する繊維を識別する。繊維区分化は、接続性における情報によって精緻化されてもよく、または付加的分析が、接続性を調節するために行われてもよい。

繊維および分岐構造の分析および再構成のためのシステムもまた、提供される。本システムは、繊維および／または分岐構造を有する物体と、物体の画像を収集するためのデバイスと、物体を識別および測定するための種々のモジュールとを備える。モジュールは、閾値法を行うことによって、初期トレースシードを取得するように動作可能である。トレースシード候補は、主成分分析計算を採用することによって識別される。初期計算から得られた低スコアを伴うシードは、除去され、単一繊維区分トレースが、行われる。

単一繊維区分トレースは、繊維検出およびトレースモジュールによって行われ、繊維検出およびトレースモジュールは、デジタル画像上に最も少ないノイズを有するシードを選択し、所与の場所における局所繊維画像に最も一致する矩形を計算し、矩形軸方向に沿ってシードを移動させることによって矩形を成長させた後、ＰＣＡ適合計算を行うように動作可能である。繊維検出およびトレースモジュールは、全ての候補がトレースされ、画像内の細胞体の識別が行われるまで、繊維区分トレース動作を行うように動作可能である。接続性モデルは、個々の繊維区分の組立を行い、画像内に最終ニューロンネットワークを形成するように動作可能である。

本システムの全側面は、３Ｄ画像に適用されてもよい。これらの３Ｄ画像は、オプティカルセクショニングとして知られるプロセスを通して、選択された深度で試料から収集された一式の２Ｄ画像であり得る。これらの３Ｄ画像はまた、超音波、ＣＴ、ＭＲＩ、またはＰＥＴスキャンによって生成される一式の２Ｄ医療画像であり得る。
本発明は、例えば、以下を提供する。
（項目１）
物体の繊維および分岐構造を分析するコンピュータ実装方法であって、前記コンピュータ実装方法は、
撮像デバイスを利用して、物体の画像を取得することであって、前記物体は、繊維および／または分岐構造を含む、ことと、
適応閾値処理法を使用して、初期トレースシードを取得することと、
局所主成分分析（ＰＣＡ）計算を採用することによって、トレースシード候補を識別することと、
低スコアを有する前記シードを前記初期計算から除去することと、
繊維検出モジュールおよび繊維トレースモジュールを利用して、単一繊維区分をトレースすることと、
接続性モジュールを利用して、個々の繊維区分を組み立てることと、
最終繊維構造を形成および分析することと
を含む、コンピュータ実装方法。
（項目２）
トレースシード候補を識別することは、周囲区域内の繊維の区別可能な特性に最も一致しかつ最高信号対ノイズを有するシードを選択することをさらに含む、項目１に記載のコンピュータ実装方法。
（項目３）
前記繊維の区別可能な特性は、形状、強度、または色を含む、項目２に記載のコンピュータ実装方法。
（項目４）
前記単一繊維区分のトレースは、
所与の場所において、局所繊維画像と一致する最良矩形を計算することと、前記シードを矩形軸方向に沿って移動させることによって前記矩形を成長させることと、次のＰＣＡ適合計算を行うこととを含む、項目２に記載のコンピュータ実装方法。
（項目５）
選択されたシード候補毎に、信号繊維区分のトレースを繰り返すことをさらに含む、項目４に記載のコンピュータ実装方法。
（項目６）
交差マッチング計算を行うことによって、繊維区分接続を提供することをさらに含む、項目５に記載のコンピュータ実装方法。
（項目７）
前記個々の繊維区分は、その近接性、類似性、および接続性のルールに基づいて、ともに接続される、項目６に記載のコンピュータ実装方法。
（項目８）
前記個々の繊維区分は、本体および一対の繊維端部を含む、項目４に記載のコンピュータ実装方法。
（項目９）
繊維交差は、４つの本体および５つの端部を含む、項目６に記載のコンピュータ実装方法。
（項目１０）
前記繊維分岐構造は、２つの本体および３つの端部を含む、項目６に記載のコンピュータ実装方法。
（項目１１）
前記繊維を組み立てることは、
グラフの任意の未検討島状部を選択することと、
未検討島状部を抽出し、最大マッチングの島状部とマッチングさせることと、
前記手順を繰り返すことによって、全ての着目島状部を検討することと、
前記繊維の交差を更新し、前記グラフの最小全域木を規定することと
によって、繊維グラフを構築することを含む、項目６に記載のコンピュータ実装方法。
（項目１２）
視野内に細胞核を含む第２の画像を取得して利用することにより、細胞体の識別を補助することをさらに含む、項目１に記載のコンピュータ実装方法。
（項目１３）
個々の神経突起区画および親ニューロンとの近接性または接続性を通して棘突起を神経突起に関連させることによって、同一または二次画像を使用して、神経棘を識別することをさらに含む、項目１に記載のコンピュータ実装方法。
（項目１４）
繊維および樹状構造またはネットワーク状構造の分析のためのシステムであって、前記システムは、
生物学試料から繊維および／または分岐構造を伴う画像を生成および収集する撮像ユニットと、
前記撮像ユニットによって提供される画像データにアクセスするように動作可能な処理ユニットと、
適応閾値処理を行うことによって、初期トレースシードを取得するように動作可能なシード初期化モジュールと、
局所主成分分析（ＰＣＡ）計算を採用し、単一繊維区分をトレースすることによって、トレースシード候補を識別するように動作可能な繊維検出モジュールおよびトレースモジュールと、
前記繊維検出モジュールおよびトレースモジュールの出力を利用し、前記収集された画像を拒否するまたはその画質を高めるように動作可能な画像前処理モジュールと、
繊維組立または再構成の命令を証明するように動作可能な接続性モジュールと
を備える、システム。
（項目１５）
前記撮像ユニットは、ニューロンの繊維および／または分岐構造を伴う画像を収集し、前記繊維検出モジュールおよび前記トレースモジュールは、視野内に細胞核を含む第２の画像を利用して細胞体の識別を補助するように動作可能である、項目１４に記載の繊維および樹状構造またはネットワーク状構造の分析のためのシステム。
（項目１６）
前記撮像ユニットは、ニューロンの繊維および／または分岐構造を伴う画像を収集し、前記繊維検出モジュールおよび前記トレースモジュールは、個々の神経突起区画および親ニューロンとの近接性または接続性を通して棘突起を神経突起に関連させることによって、同一または二次画像を使用して、神経棘を識別するように動作可能である、項目１４に記載の繊維および樹状構造またはネットワーク状構造の分析のためのシステム。

図１は、繊維および分岐構造の分析のためのシステムの実装の例である。 図２は、本発明の繊維トレースおよび再構成画像のためのコンピュータ実装方法を行うことによって、繊維および分岐構造の分析のためのシステムで取得された出力画像の例である。 図３は、神経突起トレースのためのコンピュータ実装方法を行うことによって、繊維および分岐構造の分析のためのシステムで取得された出力画像の例である。 図４は、シード候補をトレースするための従来の方法ステップのフローチャートである。 図５は、本発明のコンピュータ実装方法による、シード初期化のフローチャートである。 図６は、本発明のコンピュータ実装方法による、シードをトレースするフローチャートである。 図７Ａは、繊維区分接続のグラフ表現である。 図７Ｂは、繊維区分の端部間接続を規定する繊維交差のグラフ表現である。 図７Ｃは、繊維区分の本体間接続を規定する繊維分岐のグラフ表現である。 図８は、本発明のコンピュータ実装方法による、繊維組立手順のフローチャートである。

（詳細な説明）
説明されるシステムおよび方法は、デジタル画像（顕微鏡画像ならびに磁気共鳴画像（ＭＲＩ）のような医療画像）から繊維構造をトレースして再構成するために使用されてもよい。

図１を参照すると、繊維および／または分岐構造を含む生物学試料の高速かつ正確な分析のためのシステムの実装の例が、示される。システム１００は、デジタル画像内の物体を識別および測定するために使用される種々のモジュールを含む。画像は、典型的には、顕微鏡または医療撮像システム１０９を通して視認される試料１１０から収集される。画像は、共焦点顕微鏡走査ＰＭＴ等のカメラ１０８または類似デバイスを用いて収集される。画像は、コンピュータ１０１に提供される。画像は、直接、コンピュータに向けられてもよく、記憶メディアに記憶されてもよく、またはインターネット等の中間配信ネットワークを通して送られてもよい。画像データは、ＲＡＭメモリ１０２内に記憶され、データは、処理ユニット１０３によってアクセスされる。処理するための命令は、シード初期化モジュール１０４によって提供され、次いで、繊維検出およびトレースモジュール１０６によって提供される。これらの機能の出力は、画像を拒否するまたは画像の画質を高めるように動作可能な画像前処理モジュール１０５によって使用される。繊維の再構成のための命令は、接続性モジュール１０７によって提供される。

図２を参照すると、本発明のシステムを利用することによって取得される繊維構造を伴う生物学試料の出力画像が、示される。スクリーンショットは、ユーザが取得し得る繊維検出に関するデータを提供する。モジュールに向けられるデータは、繊維の特性を決定することを可能にし、最適結果を生成する。画像ディスプレイは、全ての識別された繊維を１（または、カラーで示される場合、例えば、緑色）として示し、再構成されて画像内の他の繊維を横断すると決定されたいくつかの個々の繊維を２（または、カラーで示される場合、例えば、橙色）として示す。

図３を参照すると、本発明のシステムを利用することによって取得された、トレースのための分岐構造を含む生物学試料の出力画像が、示される。平面図が、例として提示されるが、本発明は、同様に、３Ｄビューに適用されてもよい。スクリーンショットは、ユーザがニューロンのトレースに適用し得るデータを提供する。ユーザは、通常、ニューロンの特性に対して調整された入力パラメータを設定することによって、より最適な結果を得ることができる。画像は、識別されたニューロンを３および４（または、カラーで示される場合、例えば、それぞれ、橙色および複数色）として表示する。神経突起繊維が、識別される。繊維分岐点は、５（カラーで示される場合、例えば、黄色）として識別される。各繊維区画は、分岐および接続性に基づいて、正確な細胞に割り当てられる。

図２および図３の出力画像は、主成分分析（ＰＣＡ）を使用することによって得られた。ＰＣＡは、画像空間を推定し、主題分析のための矩形である局所形状の統計を特性評価するために使用される。ＰＣＡは、１回の計算で矩形の向きおよびサイズを提供することができ、これは、入力画像データにおける検索のために物体またはパターンを追跡する、従来使用されるテンプレートマッチング方法よりも実質的に高速である（Ａ． Ｃａｎ， Ｈ． Ｓｈｅｎ， Ｊ． Ｎ． Ｔｕｒｎｅｒ， Ｈ． Ｌ． Ｔａｎｅｎｂａｕｍ， ａｎｄ Ｂ． Ｒｏｙｓａｍ（１９９９），"Ｒａｐｉｄ ａｕｔｏｍａｔｅｄ ｔｒａｃｉｎｇ ａｎｄ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ｆｒｏｍ ｌｉｖｅ ｈｉｇｈ−ｒｅｓｏｌｕｔｉｏｎ ｒｅｔｉｎａｌ ｆｕｎｄｕｓ ｉｍａｇｅｓ ｕｓｉｎｇ ｄｉｒｅｃｔ ｅｘｐｌｏｒａｔｏｒｙ ａｌｇｏｒｉｔｈｍｓ，"ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ ｉｎ Ｂｉｏｍｅｄｉｃｉｎｅ， ｖｏｌ． ３， ｎｏ． ２， ｐｐ． １２５−１３８．））。

図３のフローチャートに示される繊維をトレースする従来の方式は、候補シードを識別し、次いで、漸次適合を用いて、各シードを成長させる、現在実施されている最先端の方法に基づく（Ｚｈａｏ Ｔ．， Ｘｉｅ Ｊ．， Ａｍａｔ Ｆ．， Ｃｌａｃｋ Ｎ．， Ａｈａｍｍａｄ Ｐ．， Ｐｅｎｇ Ｈ．， Ｌｏｎｇ Ｆ．， Ｍｙｅｒｓ Ｅ．（２０１１）．Ａｕｔｏｍａｔｅｄ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ ｎｅｕｒｏｎａｌ ｍｏｒｐｈｏｌｏｇｙ ｂａｓｅｄ ｏｎ ｌｏｃａｌ ｇｅｏｍｅｔｒｉｃａｌ ａｎｄ ｇｌｏｂａｌ ｓｔｒｕｃｔｕｒａｌ ｍｏｄｅｌｓ． Ｎｅｕｒｏｉｎｆｏｒｍａｔｉｃｓ ９， ２４７−２６１）。

本発明によると、ＰＣＡは、シード初期化（図５）およびシードトレース（図６）のために使用され、算出時間を大幅に削減することを可能にする。一式の個々の繊維断片を取得した後、一式の個々の繊維断片は、個々の繊維物体または樹状構造を形成するように組み立てられることができる。

図４は、繊維含有生物学試料の画像内のシード候補をトレースするための従来の方法のことを含む、フローチャートを描写する。本方法は、シード候補の識別を可能にし、各シードに対して、漸次適合が続く。

図５および図６は、シード初期化手順およびトレース手順のためのことの詳細な説明を表す。本発明によると、両手順は、ＰＣＡを採用し、個々の繊維物体または樹状構造を形成するように組み立てられ得る一式の個々の繊維断片を取得するための時間を実質的に削減する。

図７Ａから図７Ｃは、繊維区分接続のグラフ表現の例を示す。図７では、示されるように、例示的繊維の本体は、２つの端部を備え、その端部によって、近隣繊維への接続が提供される。図７Ｂは、繊維区分１、２、３、４の端部間接続として規定する繊維交差を示す。繊維交差接続のグラフ表現は、繊維区分の端部間接続として規定される。用語「島状部」が、端部間接続から成るグラフを指すために使用される。図７Ｃを参照すると、繊維分岐が、区分１および区分２を接続するように示される。本接続は、本体間接続として規定される。

画像交差を解決するために、繊維区分が、グラフ内で接続され、各縁の重みは、接続された区分の角度および距離の関数によって特徴付けられる。列挙マッチングアルゴリズムが、マッチングの重みの最大和を含む、最大マッチングを見つけるために適用される。

繊維組立プロセスが、図８のフローチャートに示される。繊維グラフは、グラフの任意の未検討島状部を選択し、それを抽出し、最大マッチングの島状部とマッチングさせ、全ての着目島状部が検討されるまで手順を繰り返すことによって構築される。いずれの未検討島状部も残っていない状態になると、交差は、更新され、グラフの最小全域木が、個々の繊維のさらなる識別のために規定される。

本明細書に説明される本発明は、例えば、長さ、幅、分岐のような繊維形態の正確な測定を可能にし、試料の異なる繊維含有画像のための正確な繊維交差識別を提供する。

Claims (10)

1. 物体の繊維および分岐構造を分析するコンピュータ実装方法であって、前記コンピュータ実装方法は、
   撮像デバイス（１０８、１０９）を利用して、物体の画像を取得することであって、前記物体は、繊維（１、２）および／または分岐構造（５）を含む、ことと、
   適応閾値処理法を前記画像に適用して、初期トレースシードを取得することと、
   局所主成分分析（ＰＣＡ）計算を採用することによって、トレースシード候補を識別することであって、トレースシード候補を識別することは、周囲区域内の繊維の区別可能な特性に最も一致しかつ最高信号対ノイズを有するシードを選択することを含み、前記繊維の区別可能な特性は、形状、強度、または色を含む、ことと、
   低スコアを有する前記シードを初期計算から除去することと、
   繊維検出モジュールおよび繊維トレースモジュール（１０６）を利用して、単一繊維区分をトレースすることであって、前記単一繊維区分をトレースすることを行うことは、
   ＰＣＡ適合計算を行うことによって、所与の場所において、局所繊維画像に一致する最良矩形を計算することと、
   前記シードを矩形軸方向に沿って移動させることによって前記矩形を成長させることと、
   次のＰＣＡ適合計算を行うことと
   を含む、ことと、
   選択されたシード候補毎に、前記単一繊維区分のトレースを繰り返すことと、
   接続性モジュール（１０７）を利用して、個々の繊維区分を組み立てることであって、交差マッチング計算を行うことによって、繊維区分接続を提供し、前記個々の繊維区分は、その近接性、類似性、および接続性のルールに基づいて、ともに接続される、ことと、
   最終繊維構造を形成および分析することと
   を含む、コンピュータ実装方法。
2. 繊維交差は、４つの本体および５つの端部を含み、かつ／または
   前記繊維分岐構造（５）は、２つの本体および３つの端部を含む、請求項１に記載のコンピュータ実装方法。
3. 前記個々の繊維区分は、本体および一対の繊維端部を含む、請求項１または２に記載のコンピュータ実装方法。
4. 前記繊維を組み立てることは、
   繊維グラフを構築することであって、繊維区分は、前記繊維グラフ内で接続され、前記繊維グラフを構築することは、前記グラフの任意の未検討島状部を選択することによって行われ、前記島状部は、前記繊維区分の端部間接続から成るグラフを指している、ことと、
   未検討島状部を抽出し、最大マッチングの島状部とマッチングさせることと、
   前記手順を繰り返すことによって、全ての着目島状部を検討することと、
   前記繊維の交差を更新し、前記グラフの最小全域木を規定することと
   を含む、請求項１〜３のいずれか一項に記載のコンピュータ実装方法。
5. 前記繊維を組み立てることは、
   前記繊維グラフ内で前記繊維区分を接続することであって、前記繊維グラフにおいて、各縁の重みは、前記接続された繊維区分の角度および距離の関数によって特徴付けられ、列挙マッチングアルゴリズムが、マッチングの重みの最大和を含む最大マッチングを見つけるために適用される、こと
   をさらに含む、請求項４に記載のコンピュータ実装方法。
6. 視野内に細胞核を含む第２の画像を取得して利用することにより、細胞体の識別を補助することをさらに含む、請求項１〜５のいずれか一項に記載のコンピュータ実装方法。
7. 個々の神経突起区画および親ニューロン（３、４）との近接性または接続性を通して棘突起を神経突起に関連させることによって、同一または二次画像を使用して、神経棘を識別することをさらに含む、請求項１〜６のいずれか一項に記載のコンピュータ実装方法。
8. 請求項１〜７のいずれか一項による繊維および樹状構造またはネットワーク状構造の分析のためのシステム（１００〜１０９）であって、前記システムは、
   生物学試料から繊維（１、２）および／または分岐構造（５）を伴う画像を生成および収集するように動作可能な撮像ユニット（１０８、１０９）と、
   前記撮像ユニット（１０８、１０９）によって提供される画像データにアクセスするように動作可能な処理ユニット（１０３）と、
   適応閾値処理を前記画像に適用することによって、初期トレースシードを取得するように動作可能なシード初期化モジュール（１０４）と、
   局所主成分分析（ＰＣＡ）計算を採用することによってトレースシード候補を識別することと、初期計算から得られた低スコアを伴うシードを除去することと、単一繊維区分をトレースすることとを行うように動作可能な繊維検出モジュールおよびトレースモジュール（１０６）であって、トレースシード候補を識別することは、周囲区域内の繊維の区別可能な特性に最も一致しかつ最高信号対ノイズを有するシードを選択することを含み、前記繊維の区別可能な特性は、形状、強度、または色を含み、前記単一繊維区分をトレースすることを行うことは、
   ＰＣＡ適合計算を行うことによって、所与の場所において、局所繊維画像に一致する最良矩形を計算することと、
   前記シードを矩形軸方向に沿って移動させることによって前記矩形を成長させることと、
   次のＰＣＡ適合計算を行うことと、
   選択されたシード候補毎に、前記単一繊維区分のトレースを繰り返すことと
   を含む、繊維検出モジュールおよびトレースモジュール（１０６）と、
   前記繊維検出モジュールおよびトレースモジュール（１０６）の出力を利用し、前記収集された画像を拒否するまたはその画質を高めるように動作可能な画像前処理モジュール（１０５）と、
   繊維組立または再構成の命令を証明することと、交差マッチング計算を行うことによって繊維区分接続を提供することとを行うように動作可能な接続性モジュール（１０７）であって、個々の繊維区分は、その近接性、類似性、および接続性のルールに基づいて、ともに接続される、接続性モジュール（１０７）と
   を備える、システム。
9. 前記撮像ユニット（１０８、１０９）は、ニューロン（３、４）の繊維（１、２）および／または分岐構造（５）を伴う画像を収集するように適応させられ、
   前記繊維検出モジュールおよび前記トレースモジュール（１０６）は、視野内に細胞核を含む第２の画像を利用して細胞体の識別を補助するように動作可能である、請求項８に記載の繊維および樹状構造またはネットワーク状構造の分析のためのシステム。
10. 前記撮像ユニット（１０８、１０９）は、ニューロン（３、４）の繊維（１、２）および／または分岐構造（５）を伴う画像を収集するように適応させられ、
    前記繊維検出モジュールおよび前記トレースモジュール（１０６）は、個々の神経突起区画および親ニューロンとの近接性または接続性を通して棘突起を神経突起に関連させることによって、二次画像を使用して、神経棘を識別するように動作可能である、請求項８に記載の繊維および樹状構造またはネットワーク状構造の分析のためのシステム。

Images