JP2017521779A - 画像解析を用いた核のエッジの検出 - Google Patents

Abstract

前景検出のための局所適応的閾値画像を生成するためのシステム及び方法であって、画像領域内の初期エッジ画素の近傍の画素に対してテンソル投票を行うことで、核のエッジ又は境界画素を示す顕著性エッジ強度画像又はレイヤを生成して、真のエッジを精製することを含む動作を行う、システム及び方法が取り上げられる。さらに、初期エッジ画素又は精製されたエッジ画素ごとに前景画素及び背景画素をサンプリングし、背景及び前景両方の、顕著性（又は勾配の大きさ）で変調されたヒストグラムについてヒストグラムを生成し、画像のブロックごとに閾値範囲を決定し、各ブロックにおける閾値範囲に基づいて各画素における閾値を補間することによって、画像の複数の領域又はブロックのそれぞれについて、適応的な閾値画像が決定される。その結果の局所適応的閾値画像と入力画像を比較することによって、著しく改善した前景を抽出することが可能になる。

Description

[001]本主題の開示は、デジタル病理に関する。より詳細には、本主題の開示は、デジタル病理における核セグメント化のための閾値処理方法に関する。

[002]核セグメント化は、多数のデジタル病理用途にとって主要な構成要素である。核又は細胞のマスクを、これらの構造を含む画像から抽出するために多大な努力がなされており、これは、これらの構造の効率的な特性評価に必須である。一般的な核セグメント化フレームワークは、大局的又は局所的閾値処理方法［１］に基づく単離核又は核クラスタの前景検出から開始する。次いで、核クラスタは、分水嶺（ｗａｔｅｒｓｈｅｄ）変換［２、３、４］の一種、たとえば、距離変換［８］により生成される核種（ｎｕｃｌｅｕｓ ｓｅｅｄ）を用いてクラスタを妥当な部分領域に分割するための競争領域成長処理（ｃｏｍｐｅｔｉｔｉｖｅ ｒｅｇｉｏｎ ｇｒｏｗｉｎｇ ｐｒｏｃｅｓｓ）、放射対称性変換の一種［５，６］又はハフ変換の一種［７］などを用いて、いくつかの核に分割される。通常、前景画定が正確な場合、クラスタ化された核の分離は妥当となる。前景検出のための既存の閾値処理方法は、前景（すなわち、単離核又は核クラスタ）が局所的及び／又は大局的に背景（すなわち、空領域又は不特定の染色領域）よりも一貫して明るい（又は暗い）という仮定に依存している。しかしながら、実際には、核又は核クラスタの強度は、同一の画像（又は視野）にわたって大きく変動する。たとえば、画像内の不特定の染色は、単離核又は核クラスタと同じ強度レベルを有する場合がある。従来技術は、主に、エッジ検出フィルタ及び／又は強度統計量に基づく閾値処理を利用しており、これらは、様々な組織密度及び染色のために、完全に効果的ではなかった。たとえば、以下を参照されたい：Ｍ．Ｓｅｚｇｉｎ及びＢ．Ｓａｎｋｕｒ、「Ｓｕｒｖｅｙ ｏｖｅｒ ｉｍａｇｅ ｔｈｒｅｓｈｏｌｄｉｎｇ ｔｅｃｈｎｉｑｕｅｓ ａｎｄ ｑｕａｎｔｉｔａｔｉｖｅ ｐｅｒｆｏｒｍａｎｃｅ ｅｖａｌｕａｔｉｏｎ（画像閾値処理技法及び定量的性能評価に関する調査）」、Ｊｏｕｒｎａｌ ｏｆ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ、Ｖｏｌ．１３、Ｎｏ．１、１４６〜１６５頁、２００４年；Ｌ．Ｖｉｎｃｅｎｔ及びＰ．Ｓｏｉｌｌｅ、「Ｗａｔｅｒｓｈｅｄｓ ｉｎ ｄｉｇｉｔａｌ ｓｐａｃｅｓ：ａｎ ｅｆｆｉｃｉｅｎｔ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｉｍｍｅｒｓｉｏｎ ｓｉｍｕｌａｔｉｏｎｓ（デジタル空間における分水嶺：浸水シミュレーションに基づく効率的なアルゴリズム）」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、Ｖｏｌ．１３、Ｎｏ．６、５８３〜５９８頁、１９９１年；Ｌ．Ｎａｊｍａｎ及びＭ．Ｓｃｈｍｉｔｔ、「Ｇｅｏｄｅｓｉｃ ｓａｌｉｅｎｃｙ ｏｆ ｗａｔｅｒｓｈｅｄ ｃｏｎｔｏｕｒｓ ａｎｄ ｈｉｅｒａｒｃｈｉｃａｌ ｓｅｇｍｅｎｔａｔｉｏｎ（分水嶺輪郭の測地線顕著性（ｓａｌｉｅｎｃｙ）及び階層的セグメント化）」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、Ｖｏｌ．１８、Ｎｏ．１２、１１６３〜１１７３頁、１９９６年；Ｊ．Ｃｏｕｓｔｙ、Ｇ．Ｂｅｒｔｒａｎｄ、Ｌ．Ｎａｊｍａｎ、及びＭ．Ｃｏｕｐｒｉｅ、「Ｗａｔｅｒｓｈｅｄ Ｃｕｔｓ：Ｍｉｎｉｍｕｍ Ｓｐａｎｎｉｎｇ Ｆｏｒｅｓｔｓ ａｎｄ ｔｈｅ Ｄｒｏｐ ｏｆ Ｗａｔｅｒ Ｐｒｉｎｃｉｐｌｅ（分水嶺カット：最小全域森及び水滴原理）」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、Ｖｏｌ．３１、Ｎｏ．８、１３６２〜１３７４頁、２００９年；Ｈｉｄｅｆｕｍｉ Ｋｏｂａｔａｋｅ及びＳｈｉｇｅｒｕ Ｈａｓｈｉｍｏｔｏ、「Ｃｏｎｖｅｒｇｅｎｃｅ Ｉｎｄｅｘ Ｆｉｌｔｅｒ ｆｏｒ Ｖｅｃｔｏｒ Ｆｉｅｌｄｓ（ベクトル場用の集中度フィルタ）」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ、Ｖｏｌ．８、Ｎｏ．８、１０２９〜１０３８頁、１９９９年８月；Ｂａｈｒａｍ Ｐａｒｖｉｎ、Ｑｉｎｇ Ｙａｎｇ、Ｊｕ Ｈａｎ、Ｈａｎｇ Ｃｈａｎｇ、Ｂｊｏｒｎ Ｒｙｄｂｅｒｇ及びＭａｒｙ Ｈｅｌｅｎ Ｂａｒｃｅｌｌｏｓ−Ｈｏｆｆ、「Ｉｔｅｒａｔｉｖｅ Ｖｏｔｉｎｇ ｆｏｒ Ｉｎｆｅｒｅｎｃｅ ｏｆ Ｓｔｒｕｃｔｕｒａｌ Ｓａｌｉｅｎｃｙ ａｎｄ Ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ ｏｆ Ｓｕｂｃｅｌｌｕｌａｒ Ｅｖｅｎｔｓ（構造的顕著性の推定及び細胞内現象の特性評価のための反復投票）」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ、Ｖｏｌ．１６、Ｎｏ．３、６１５〜６２３頁、２００７年３月；Ｄｕｄａ、Ｒ．Ｏ．及びＰ．Ｅ．Ｈａｒｔ、「Ｕｓｅ ｏｆ ｔｈｅ Ｈｏｕｇｈ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｔｏ Ｄｅｔｅｃｔ Ｌｉｎｅｓ ａｎｄ Ｃｕｒｖｅｓ ｉｎ Ｐｉｃｔｕｒｅｓ（ハフ変換を用いた画像内の直線及び曲線の検出）」、Ｃｏｍｍ．ＡＣＭ、Ｖｏｌ．１５、１１〜１５頁、１９５９年；Ｊ．Ｃａｎｎｙ、「Ａ ｃｏｍｐｕｔａｔｉｏｎａｌ ａｐｐｒｏａｃｈ ｔｏ ｅｄｇｅ ｄｅｔｅｃｔｉｏｎ（エッジ検出に対する計算的手法）」、ＩＥＥＥ Ｔｒａｎｓ． Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、Ｖｏｌ．８、Ｎｏ．６、６７９〜６９８頁、１９８６年；Ｇ．Ｇｕｙ及びＧ．Ｍｅｄｉｏｎｉ、「Ｉｎｆｅｒｒｉｎｇ ｇｌｏｂａｌ ｐｅｒｃｅｐｔｕａｌ ｃｏｎｔｏｕｒｓ ｆｒｏｍ ｌｏｃａｌ ｆｅａｔｕｒｅｓ（局所的特徴からの大局的知覚輪郭の推定）」、ｉｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、１９９６年、ｖｏｌ．２０、１１３〜１３３頁；Ｌ．Ａ．Ｌｏｓｓ、Ｇ．Ｂｅｂｉｓ、Ｍ．Ｎｉｃｏｌｅｓｃｕ、Ａ．Ｓｋｕｒｉｋｈｉｎ、「Ａｎ ｉｔｅｒａｔｉｖｅ ｍｕｌｔｉ−ｓｃａｌｅ ｔｅｎｓｏｒ ｖｏｔｉｎｇ ｓｃｈｅｍｅ ｆｏｒ ｐｅｒｃｅｐｔｕａｌ ｇｒｏｕｐｉｎｇ ｏｆ ｎａｔｕｒａｌ ｓｈａｐｅｓ ｉｎ ｃｌｕｔｔｅｒｅｄ ｂａｃｋｇｒｏｕｎｄｓ（雑然とした背景における自然形状の知覚的なグループ化のための反復的マルチスケールテンソル投票方式）」、ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ、２００９年、ｖｏｌ．１１３、１２６〜１４９頁。

[003]参考文献：
・［１］：Ｍ．Ｓｅｚｇｉｎ及びＢ．Ｓａｎｋｕｒ：「Ｓｕｒｖｅｙ ｏｖｅｒ ｉｍａｇｅ ｔｈｒｅｓｈｏｌｄｉｎｇ ｔｅｃｈｎｉｑｕｅｓ ａｎｄ ｑｕａｎｔｉｔｉａｔｉｖｅ ｐｅｒｆｏｒｍａｎｃｅ ｅｖａｌｕａｔｉｏｎ（画像閾値処理技法及び定量的性能評価に関する調査）」、Ｊｏｕｒｎａｌ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ、Ｖｏｌ．１３（１） 、１４６〜１６５頁、２００４年
・［２］：Ｌｕｃ Ｖｉｎｃｅｎｔ及びＰｉｅｒｒｅ Ｓｏｉｌｌｅ：「Ｗａｔｅｒｓｈｅｄｓ ｉｎ Ｄｉｇｉｔａｌ Ｓｐａｃｅｓ：Ａｎ Ｅｆｆｉｃｉｅｎｔ Ａｌｇｏｒｉｔｈｍ Ｂａｓｅｄ ｏｎ Ｉｍｍｅｒｓｉｏｎ Ｓｉｍｕｌａｔｉｏｎｓ（デジタル空間における分水嶺：浸水シミュレーションに基づく効率的なアルゴリズム）」、ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＰＡＴＴＥＲＮ ＡＮＡＬＹＳＩＳ ＡＮＤ ＭＡＣＨＩＮＥ ＩＮＴＥＬＬＩＧＥＮＣＥ、ＶＯＬ．１３、ＮＯ ６、１９９１年６月
・［３］：Ｌａｕｒｅｎｔ Ｎａｊｍａｎ及びＭｉｃｈｅｌ Ｓｃｈｍｉｔｔ：「Ｇｅｏｄｅｓｉｃ Ｓａｌｉｅｎｃｙ ｏｆ Ｗａｔｅｒｓｈｅｄ Ｃｏｎｔｏｕｒｓ ａｎｄ Ｈｉｅｒａｒｃｈｉｃａｌ Ｓｅｇｍｅｎｔａｔｉｏｎ（分水嶺輪郭の測地線顕著性及び階層的セグメント化）」、ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＰＡＴＴＥＲＮ ＡＮＡＬＹＳＩＳ ＡＮＤ ＭＡＣＨＩＮＥ ＩＮＴＥＬＬＩＧＥＮＣＥ；ＶＯＬ．１８、ＮＯ １２、１９９６年１２月
・［４］：Ｊｅａｎ Ｃｏｕｓｔｙ、Ｇｉｌｌｅｓ Ｂｅｒｔｒａｎｄ、Ｌａｕｒｅｎｔ Ｎａｊｍａｎ及びＭｉｃｈｅｌ Ｃｏｕｐｒｉｅ：「Ｗａｔｅｒｓｈｅｄ ｃｕｔｓ： ｍｉｎｉｍｕｍ ｓｐａｎｎｉｎｇ ｆｏｒｅｓｔｓ ａｎｄ ｔｈｅ ｄｒｏｐ ｏｆ ｗａｔｅｒ ｐｒｉｎｃｉｐｌｅ（分水嶺カット：最小全域森及び水滴原理）」、ＳＵＢＭＩＴＴＥＤ ＴＯ ＩＥＥＥ ＰＡＭＩ、２００７年、ＲＥＶＩＳＥＤ ２００８年
・［５］：Ｈ．Ｋｏｂａｔａｋｅ及びＳ．Ｈａｓｈｉｍｏｔｏ、「Ｃｏｎｖｅｒｇｅｎｃｅ ｉｎｄｅｘ ｆｉｌｔｅｒ ｆｏｒ ｖｅｃｔｏｒ ｆｉｅｌｄｓ（ベクトル場用の集中度フィルタ）」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ、Ｖｏｌ．８（８） 、１０２９〜１０３８頁、１９９９年
・［６］：Ｇ．Ｌｏｙ及びＡ．Ｚｅｌｉｎｓｋｙ、「Ｆａｓｔ ｒａｄｉａｌ ｓｙｍｍｅｔｒｙ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｐｏｉｎｔｓ ｏｆ ｉｎｔｅｒｅｓｔ（注目点検出のための高速放射対称性）」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、Ｖｏｌ ２５（８）、９５９〜９７３頁、２００３年
・［７］：Ｒｉｃｈａｒｄｔ Ｏ．Ｄｕｄａ及びＰｅｔｅｒ Ｅ．Ｈａｒｔ：「Ｕｓｅ ｏｆ ｔｈｅ Ｈｏｕｇｈ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ Ｔｏ Ｄｅｔｅｃｔ Ｌｉｎｅｓ ａｎｄ Ｃｕｒｖｅｓ ｉｎ Ｐｉｃｔｕｒｅｓ（ハフ変換を用いた画像内の直線及び曲線の検出）」、Ｇｒａｈｉｃｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ、Ｅｄｉｔｏｒ：Ｗ． Ｎｅｗｍａｎ、１９７２年、１１〜１５頁
・［８］：Ａ．ＲｏｓｅｎＦｅｌｄ及びＪ．Ｐｆａｌｔｚ、「Ｄｉｓｔａｎｃｅ ｆｕｎｃｔｉｏｎｓ ｉｎ ｄｉｇｉｔａｌ ｐｉｃｔｕｒｅｓ（デジタル画像における距離関数）」、Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ、Ｖｏｌ．１、３３〜６１頁、１９６８年

[004]本発明は、デジタル病理用途において細胞核の境界を決定するのに驚くほど有効である。従来技術の技法は画像に存在する核の約６０％しか回復しないのに対して、本発明の技法は９０％を超えて回復することができる。

[005]本発明の一実施形態では、従来技術の技法が、エッジ検出の開始点となり得る。そして、本発明は、テンソル投票を累積して「顕著性画像」とも呼ばれる顕著性エッジ画像を生成し、これを用いて画像に存在するエッジの精製された推定値を提供することで、この初期推定値を精製する。識別されたエッジは、ヒステリシス閾値処理及び多重応答抑制（ｍｕｌｔｉ−ｒｅｓｐｏｎｓｅ ｓｕｐｐｒｅｓｓｉｏｎ）によってさらに精製することができる。

[006]本明細書で使用される「顕著性」という用語は、特定の画素が特定の細胞核の輪郭を表すエッジの一部である信頼性又は確率に関する尺度である。
[007]本発明の他の実施形態は、精製されたエッジ画像をエッジマスクとして、顕著性エッジ画像を重み画像として用いて、エッジ画素を囲む小領域（「ブロック」）内の重み付けられた原画像画素のヒストグラムを形成し、それによって前景ヒストグラム及び背景ヒストグラムを生成することで、この方法を拡張することができる。原画像のその領域内のエッジにおいて使用するための、「最適な閾値」とも呼ばれる「最適な閾値レベル」は、前景及び背景画素サンプルの分類誤差を最小化するヒストグラムの最頻値の間の強度レベル（「強度閾値」）を選択することで得られる。これは、顕著性エッジ画像は一度計算されるが、局所閾値の精度を向上するために二度使用できるという利点を有し得る。したがって、比較的限られた計算量で、精度を大きく向上することができる。

[008]マスクは、たとえば、画素あたり１ビットからなる画像とすることができる。特定のビット、たとえば「０」を有するマスクの一部の領域は、マスク用ビットとみなされ、マスクがマッピングされる他の画像の画素の強度値を隠蔽、削除又は抑制するために使用することができる。たとえば、閾値処理された顕著性エッジ画像をエッジマスクとして用いることは、顕著性値が最小値未満である全画素が、初期画像７０２に重ねて背景ノイズ信号を除去することが可能なマスク画素として表されたマスクを生成することを示唆し得る。

[009]さらに他の実施形態では、前述のヒストグラムの技法は、画像のタイル化された部分領域（「ブロック」）に適用することができ、核の内部及び外部の領域の境界を識別するのに使用可能なエッジ閾値レベルを、隣接するタイル（「ブロック」）で発見される閾値の滑らかな補間として決定することができる。

[0010]本発明の他の改良版は、帯域制限操作可能（ｓｔｅｅｒａｂｌｅ）フィルタ理論をテンソル投票動作に組み込むことができ、その結果、高密度の投票セットをコンピュータにより、高速フーリエ変換（ＦＦＴ）処理を用いて黙示的なベクトル畳み込みを行うことによって、より迅速かつ効率的に扱うことが可能になる。「Ａｎ Ｅｆｆｉｃｉｅｎｔ Ｍｅｔｈｏｄ ｆｏｒ Ｔｅｎｓｏｒ Ｖｏｔｉｎｇ Ｕｓｉｎｇ Ｓｔｅｅｒａｂｌｅ Ｆｉｌｔｅｒｓ（操作可能フィルタを用いたテンソル投票のための効率的な方法）」、Ｅｒｉｋ Ｆｒａｎｋｅｎら、Ｔｅｃｈｎｉｃｈｅ Ｕｎｉｖｅｒｓｉｔｅｉｔ Ｅｉｎｄｈｏｖｅｎを参照されたい。

[0011]本発明のさらに他の改良版は、画像物体に関する領域固有の知識を組み込んで、物体の非対称性又は好ましい境界の方向もしくは形状を構成するようにテンソル投票場を調整する又は制約することができる。細胞核を検査するデジタル病理の分野での一例は、核境界の外側の画素に比べて核内部の画像強度がより高い、閉じたほぼ円形の領域を優先することであってよい。そのような優先は、好適な非対称性を介してテンソル投票場に組み込むことができる。

[0012]したがって、テンソル投票場により制御される投票処理は、実施形態によれば、（疑いのある）核の内部の方向において、前記画素により反対方向に（すなわち、疑いのある核の外部の方向に）行われる投票より高くてもよい投票を行うことになる。どの方向に核の内部が存在するかという疑いは、たとえば、投票を行った画素の強度勾配から導出することができる。したがって、本発明の実施形態による投票処理は、少なくとも、投票画素から同じ距離を有するが、投票画素の強度勾配により与えられる方向に関して反対方向に存在する近傍画素に関して対称ではない。したがって、この非対称性は、識別すべき核種の特徴を組み込んでいる。たとえば、複数の基準組織を特定のバイオマーカー及び／又は核固有の染色剤で標識化することができ、基準スライドにおける核の平均的な半径又は直径を測定することで、判定すべき核種の典型的な半径又は直径を経験的に決定することができる。

[0013]Ｍｅｄｉｏｎｉは、顕著な画像特徴を識別するための数学的技法を開発して、コンピュータに心理学のゲシュタルトの感覚を与え、これにより、干渉ノイズ、不明瞭な境界画素、重なり合った形状などが存在するにもかかわらず、直線、曲線、形状などを画像内で識別することが可能になる。「Ｔｅｎｓｏｒ Ｖｏｔｉｎｇ：Ｔｈｅｏｒｙ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ（テンソル投票：理論及び応用）」、Ｇｅｒａｒｄ Ｍｅｄｉｏｎｉら、Ｉｎｓｔｉｔｕｔｅ ｆｏｒ Ｒｏｂｏｔｉｃｓ ａｎｄ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ、ＵＳＣ。彼の方法は、画像の各画素におけるテンソル値に関して画像を記述することに基づいている。テンソルは、各画素の場所における画像の総合的な性質を記述する。２次元画像について、ボール状及びスティック状のテンソル特性が、各画素において様々な角度で適用される。ある境界曲線に沿って存在する画素はスティック状の特徴を有し、ここで、画素が境界に属すると信じた上で、スティックは境界の接線又は法線を示し得、その長さはハリ感（ｓｅｎｓｅ ｏｆ ｆｉｒｍｎｅｓｓ）を示し得る。いずれの境界に属するとも思われない孤立した画素は、ボール状と記述することができ、これは方向感覚及び境界への所属がほとんどないことを意味する。

[0014]実施形態によれば、初期デジタル画像の各画素は、「スティック状テンソル値」とも呼ばれるスティック状成分と、「ボール状テンソル値」とも呼ばれるボール状成分とを備えるテンソルとして表される。実施形態によれば、投票画素により被投票画素（複数の投票を集計して集計された投票が得られる投票画素の近傍の画素）へ行われる投票の「量」（又は「重み」）は、２つの画素間の距離と共に低下する。加えて、投票画素により被投票画素へ行われる投票の「量」は、投票画素及び被投票画素を接続する曲線の黙示的な曲率の基準曲率とのずれと共に低下する。基準曲率は、識別すべき核種に典型的な曲率とすることができる。投票画素及び被投票画素を接続する弧は、真円の線分曲線とすることができ、識別すべき核種の典型的な曲率からの前記弧の曲率のいかなるずれも、投票画素から被投票画素へ行われる投票の低下につながり得る。

[0015]境界を構成すると考えられるあらゆる画素においてスティック状テンソル値を定義することで、スティック状テンソル値を有する画素により行われる投票に基づいて近傍画素の境界への所属を判定することができる。しかしながら、投票は、距離と、投票場所の画素及び投票画素の間の可能な曲線の黙示的な曲率と共に低下する。投票は、画素におけるテンソル総和を介して累積され、その結果は、スティック状属性及びボール状属性のレベルを示唆する固有値を有する他のテンソルを生成する。スティック状属性を取得することで、原画像から境界曲線の存在を強調するのに役立つ顕著性エッジ画像を形成することができる。その顕著性エッジ画像を用いて、原画像に対する改良されたエッジマスク（「精製されたエッジ画像」）を作成することができる。

[0016]Ｍｅｄｉｏｎｉのこの話題への関心は、機械視覚（ｍａｃｈｉｎｅ ｖｉｓｉｏｎ）、場面における直線境界の識別、及びノイズのある画像からの３Ｄ物体の再構成を対象としていた。機械視覚は、典型的には、ロボット工場組立作業、及び自律車両誘導に適用される。本発明のこれらの技法への関心は、非常に異なっており、デジタル病理用途、特に、染色された組織スライド画像において細胞核を識別することを対象としたこの方法の変形につながる。

[0017]本主題の開示は、単離核及び核クラスタを含む前景特徴を検出するための局所適応的閾値画像を生成するためのシステム及び方法を提示する。本明細書に記載のシステム、方法、及びコンピュータプログラムは、強度値が高いことが、画素が核又は核クラスタのエッジ上に存在する確率が高いこと示す、浮動小数点の数の２次元配列を備える顕著性エッジ画像を作成することを含む動作を行う。顕著性エッジ画像を生成することは、選択された画素（「初期投票画素」として使用される「初期エッジ画素」）の周辺の近傍画素にテンソル投票を行って、顕著なエッジ画素を決定することで可能になる。その結果の顕著性エッジ画像は、画素が核エッジ画素であるか否かの指示子として、従来技術よりも有効である。「顕著なエッジ画素」は、核の輪郭に属すると識別／予測されたエッジ画素とすることができ、ここで、「顕著なエッジ画素」を識別するために、テンソルで生成された顕著性情報が使用される。顕著性エッジ画像は、顕著なエッジ画素が強調された画像とすることができる。たとえば、顕著性エッジ画像内の画素の強度値は、前記画素に行われた投票の総和であるテンソル値が与えられた場合に、前記画素が核又は核クラスタのエッジ画素である確率と相関し得る。

[0018]次いで、顕著性エッジ画像を用いて、多重応答抑制及びヒステリシス閾値処理により、精製されたエッジを生成する。精製されたエッジが与えられると、初期デジタル画像を複数のブロックに分割することができ、複数のブロックのそれぞれについて、（たとえば精製されたエッジの）各エッジ画素における画像勾配方向に沿った前景及び背景画素をサンプリングすることができ、これらに基づいて背景画素のヒストグラム及び前景画素のヒストグラムを生成することができる。我々はこれらを顕著性で変調されたヒストグラムと呼び、その理由は、各前景画素が、前景及び背景画素をサンプリングするための開始点として使用されるエッジ画素の顕著性値により重み付けられるためである。

[0019]デジタル画像において、単離核又は核クラスタは、典型的には、非核画素よりも明るい（すなわち、より高い強度値を有する）。非核画素は、スライドの空領域又は不特定の染色領域を表し得る。染色、標識化及び／又は組織調製手法に応じて、これは逆であってもよく、核画素は一貫して非核画素より暗い。「前景画素」とは、核の中に存在すると予測される／疑いのある画素である。「背景画素」とは、核の中に存在しないと予測される／期待される画素である。本発明の実施形態は、画素を前景画素又は背景画素として分類するために２つの分類手法の組み合わせを使用し、第１の分類手法は、サンプリングステップにおいてエッジ画素の近傍の画素を選択することを備え、ここで、前記エッジ画素の勾配の方向と、勾配に対する選択された画素の位置とによって、前記選択された画素の分類の結果が決まる。第２の分類手法は、強度値が所与の強度閾値を上回る又は下回る画素を２つの異なるクラス、すなわち前景及び背景に分類することを備える。２つの手法は、閾値ベースの前景及び背景画素セットと、第１の手法により識別された前景及び背景画素セットとの間の「誤差」（ずれ）を最小化する最適な強度閾値が特定されるまで、第２の分類手法を複数回異なる閾値を用いて実行することで、組み合わせることができる。

[0020]実施形態によれば、第１の手法による前景及び背景画素のサンプリングと、最適な強度閾値の特定とは、初期デジタル画像の複数のブロックの各ブロックに対して、別々に行われる。

[0021]実施形態によれば、画像のブロックごとの閾値範囲は、前景及び背景両方のヒストグラムに基づいて背景及び前景画素分類についての誤差を最小化することで決定される。各画素における閾値は、各画素における閾値範囲に基づいて補間することで得られ、閾値範囲は、ブロックの中心又はブロック内の全エッジ画素の中心において想定される。その結果は局所適応的閾値画像であり、その生成のために、各画素における強度を、ソース又は入力画像の対応する画素について補間された閾値と比較することができる。ソース画像を局所適応的閾値画像と比較することによって、さらに頑健かつ高精度な前景が得られる。

[0022]一例示的実施形態では、本主題の開示は、各初期投票画素の近傍の画素に対してテンソル投票動作を行うことと、各画素における複数の投票を累積して各画素についての顕著性値を決定することと、エッジ画素を強調した顕著性エッジ強度画像を生成することとを含む動作を行うためにプロセッサにより実行されるコンピュータ実行可能命令を記憶するための、非一時的コンピュータ可読媒体である。一部の実施形態では、テンソル投票動作は、検出すべき構造に関する、核の大きさに限定されない領域知識と、エッジ上の勾配がほぼ同じ位置を指し示すという事実とを組み込む非対称テンソル投票場を使用することができる。

[0023]他の例示的実施形態では、本主題の開示は、初期画像を読み出すことと、初期画像をエッジ検出フィルタでフィルタリングして初期エッジ画像を生成することと、初期投票画素（ＩＶＰ）となる初期エッジ画像内の複数の画素を選択することと、ＩＶＰをトークン化してＩＶＰごとのテンソル要素トークンを生成することと、各ＩＶＰについてのテンソル要素トークンにより示唆されるＩＶＰテンソルと位置合わせされたそのＩＶＰについての重み付けられたテンソル投票場（ＷＴＶＦ）を形成することと、ＩＶＰからの複数のＷＴＶＦを各近傍画素におけるテンソル総和へ累積して、近傍画素にテンソル投票動作を行うことと、各画素における累積されたテンソル総和の固有値を決定することと、画素における固有値に基づいて原画像のエッジ画素を強調した顕著性エッジ強度画像を生成することと、主要固有ベクトルに基づいて多重応答抑制を顕著性エッジ画像に実施し、次いで抑制された顕著性画像のヒステリシス閾値処理を実施して、精製されたエッジマスクを生成することとを含み得る動作を実施するために処理システムにより実行される、物体境界の画定を行うためのコンピュータ実行可能命令を有する、有形非一時的コンピュータ可読媒体である。

[0024]「初期投票画素」（ＩＶＰ：ｉｎｉｔｉａｌ ｖｏｔｉｎｇ ｐｉｘｅｌ）とは、近傍の他の複数の画素にテンソル投票を行う画素である。
[0025]「テンソル値」とは、本明細書では「集約テンソル値」又は「テンソル総和」とも呼ばれるが、特定の被投票画素に行われる複数の投票の要素別総和の結果である。各投票はテンソルである。テンソル値は、２×２行列の形を有することができる。

[0026]画素の「強度勾配」、「画像勾配」又は「勾配ベクトル」とは、たとえば、初期デジタル画像などの画像内の画素の強度の方向性の変化を示すデータ構造である。画像勾配は、画像から情報を抽出するために使用することができる。たとえば、この勾配は、画像内の各画素における、画像強度関数とも呼ばれる２変数関数を示すデータ構造により表現することができ、ここで２つの変数は、画像７０２のｘ（水平）及びｙ（垂直）画素座標である。特定の画素の「勾配ベクトル」又は「強度勾配ベクトル」は、水平及び垂直方向の微分により成分が与えられる２Ｄベクトルであり、ここで勾配ベクトルは、最大の可能な強度増加の方向を指し示し、勾配ベクトルの長さは、その方向の変化率に対応する。

[0027]被投票画素における固有値に基づいて顕著性エッジ強度画像を生成することは、第１及び第２の固有値を比較して、画素がエッジ画素、接合画素（ｊｕｎｃｔｉｏｎ ｐｉｘｅｌ）又は外れ値のいずれであるかを判定することを備えることができる。顕著性エッジ強度画像において、精製されたエッジ画素のみが強調される。「被投票画素」とは、（「初期投票画素」−ＩＶＰとなる）その近傍の投票を受け取る画素である。一部の実施形態によれば、画素Ｐの強調は、前記画素Ｐに行われた全投票を集計して、集計の結果のテンソル値を用いて顕著性値を計算することを備える。前記画素Ｐの顕著性値は、画素Ｐがエッジ画素である尤度を示す。強調は、画素Ｐに顕著性値と相関する強度値を割り当てることをさらに備える。割り当ては、付加的な画像、たとえば顕著性エッジ画像において行うことができる。

[0028]主要固有値に基づいて顕著性エッジ画像に多重応答抑制を行うことは、Ｊ．Ｃａｎｎｙ、「Ａ ｃｏｍｐｕｔａｔｉｏｎａｌ ａｐｐｒｏａｃｈ ｔｏ ｅｄｇｅ ｄｅｔｅｃｔｉｏｎ（エッジ検出に対する計算的手法）」、ＩＥＥＥ Ｔｒａｎｓ．Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、Ｖｏｌ．８、Ｎｏ．６、６７９〜６９８ページ、１９８６年に従って実施することができる。これにより、抑制された顕著性エッジ画像が計算される。多重応答抑制のさらなる例は、当技術分野で知られている。

[0029]実施形態によれば、次のステップにおいて、ヒステリシス閾値処理を抑制された顕著性エッジ画像に適用して、図８Ｂに示された精製されたエッジ画像を生成し、精製されたエッジ画像から精製されたエッジマスクを生成することができる。エッジ検出のためにヒステリシス閾値処理を用いることは、２つの閾値を用いることを備える。高い閾値で処理されたエッジに接続された、低い閾値で処理されたエッジは保持される。高い閾値で処理されたエッジに接続されていない低い閾値で処理されたエッジは除去される。ヒステリシス閾値処理は、Ｊ．Ｃａｎｎｙ、「Ａ ｃｏｍｐｕｔａｔｉｏｎａｌ ａｐｐｒｏａｃｈ ｔｏ ｅｄｇｅ ｄｅｔｅｃｔｉｏｎ（エッジ検出に対する計算的手法）」、ＩＥＥＥ Ｔｒａｎｓ．Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、Ｖｏｌ．８、Ｎｏ．６、６７９〜６９８ページ、１９８６年に従って実施することができる。ヒステリシス閾値処理のさらなる例は、当技術分野で知られている。

[0030]いくつかの実施形態では、これらのステップの実行は、初期画像の一部の領域で不明瞭であるか又は断片化しており、初期エッジ画像内でエッジの一部でないこともある顕著な境界を検出することで、物体の境界の画定を生成するのに有効であり得る。

[0031]他の実施形態によれば、動作は、精製されたエッジマスクの各画素の近傍にわたって顕著性値により重み付けられた前景及び背景画素強度値の局所ヒストグラムを初期画像から生成することと、局所ヒストグラムの統計分析からヒステリシスエッジ検出閾値を決定することと、精製されたエッジマスクの下で初期画像にヒステリシスエッジ検出閾値を適用して物体境界を決定することとをさらに含むことができる。これらの動作は、境界に沿った画像特性を利用して顕著な境界を精製するのに有効であり得る。たとえば、各画素の近傍は、前記画素と同じブロックに含まれる全画素からなることができる。複数の重なり合わない画素ブロックを、初期画像において、たとえば画素ブロックのグリッドとして自動的に決定することができる。局所ヒストグラムは、前記ブロック専用に計算された前景ヒストグラム及び背景ヒストグラムの情報を含むことができる。一方の閾値は、前景ヒストグラムの画素の最小強度値とすることができ他方の閾値は、背景ヒストグラムの画素の最大強度値とすることができる。前記２つの閾値は、ヒステリシスエッジ検出閾値として使用することができる。

[0032]さらに他の例示的実施形態では、本主題の開示は、プロセッサと、プロセッサに結合されたメモリであって、プロセッサにより実行された場合に、デジタル画像により構成される複数の画像ブロック（又は「ブロック」）に対する閾値範囲を決定することと、複数の画像ブロックのそれぞれに対する閾値範囲に基づいて適応的閾値画像を生成することと、適応的閾値画像に基づいて画像から前景を抽出することとを備える動作をプロセッサに行わせるコンピュータ実行可能命令を記憶するための、メモリとを含み、各画像ブロックが、テンソル投票動作により決定される複数のエッジ画素を備える、デジタル病理用のシステムである。

[0033]さらに他の例示的実施形態では、本主題の開示は、非対称投票場を生成して画像の領域内の真の核境界を決定するステップと、初期エッジ点又は顕著性エッジ点、及び顕著性エッジ方向又は勾配方向に基づいて、真の核境界上の画素ごとに前景画素及び背景画素をサンプリングするステップと、画像の各領域に対して、顕著性又は勾配で変調された背景及び前景ヒストグラムを生成するステップと、前景及び背景ヒストグラムを用いて、画像の各領域に対する閾値範囲を計算するステップと、画像の複数の領域に対応する複数の閾値範囲の補間に基づいて閾値画像を生成するステップとを備える、方法である。

[0034]一態様では、本発明は、デジタル病理用の画像処理システムに関する。システムは、プロセッサと、プロセッサに結合されたメモリとを備える。メモリは、生物学的組織サンプルのデジタル画像と、プロセッサにより実行された場合に、生物学的組織サンプルのデジタル画像内の細胞核の境界を識別するための動作をプロセッサに行わせるコンピュータ実行可能命令とを記憶する。前記動作は：
− プロセッサにより、デジタル画像内の１つ又は複数の初期エッジを識別し、識別された初期エッジ内の画素を初期投票画素として使用することと、
− プロセッサにより、テンソル投票場を用いて、初期投票画素のそれぞれの近傍にある画素に対してテンソル投票動作を行うことと、
− プロセッサにより、近傍画素のそれぞれに対する複数の投票を累積して、前記近傍画素に対するテンソル値を決定することであって、投票の量が、前記近傍画素が初期投票画素と同じ核のエッジ画素である可能性が高いかを示し、テンソル値が、近傍に前記近傍画素が存在する全ての初期投票画素により行われた全ての投票の総和である、決定することと、
− プロセッサにより、決定されたテンソル値のそれぞれを分解して、分解されたテンソル値の固有値及び固有ベクトルを決定することと、
− プロセッサにより、決定された固有値及び固有ベクトルを評価して精製されたエッジ画素を識別することであって、精製されたエッジ画素が細胞核の境界を表す、識別することと、
− プロセッサにより、細胞核の境界を表す識別された精製されたエッジ画素を選択的に含む顕著性エッジ強度画像を生成することと
を備える。

[0035]デジタル病理の分野でテンソル投票を用いることは、たとえば適切な染色剤及び／又はバイオマーカーで染色された細胞又は核を用いた場合に、細胞核を検出するための、たとえば細胞を計数する又は癌を細分類（ｓｕｂｔｙｐｉｎｇ）するための、非常に高精度かつ計算的に効率的な方法を提供するという有利な効果を有し得る。

[0036]実施形態によれば、テンソル投票場は、核の１つ又は複数の特徴で符号化される。テンソル投票場は、投票が計算される初期投票画素の強度勾配に沿って非対称である、非対称テンソル投票場である。核の特徴は、判定すべき核種の核内画素の典型的な強度値が核外画素の典型的な強度値より高いか低いかに関する情報を含む。テンソル投票場による初期投票画素の投票の計算が：
− プロセッサにより、初期投票画素におけるデジタル画像の強度勾配の方向を特定することと、
− 投票動作に、第１の近傍画素に対して第２の近傍画素よりも高い投票を行わせることであって、第１及び第２の近傍画素が投票画素から等しく離れて存在し、第１の近傍画素が、強度勾配の特定された方向によれば、核の内側の方向に存在し、第２の近傍画素が、強度勾配の特定された方向によれば、核の外側の方向に存在する、行わせることと
を備えるように、符号化が行われる。

[0037]核の内外の画素の強度は、使用される核染色剤及び／又は背景染色剤、並びに／あるいは検出すべき核種に依存し得る。たとえば、一部の染色剤及び実験設定は、核内画素が核外画素より高い強度を有するように、核の内側を染色することができる。一部の染色剤及び実験設定は、反対の効果を有していてもよい。実施形態によれば、デジタル画像内の核を染色するのに使用される特定の染色剤によって、核外画素よりも核内画素の強度値が高くなるか又は低くなるかという情報を用いて、強度勾配の方向を特定し、これは常に核の内部を指し示すように選択される。したがって、（基準スライド及び対応するデジタル画像などから導出される）特定の核種への特定の染色剤の効果に関する情報を用いて、強度勾配の方向を決定し、想定される核の内部の方向に存在する近傍画素に対して、想定される核の内部から離れる方向に存在する近傍画素よりも高い投票を行うテンソル投票場を計算する。

[0038]実施形態によれば、投票を行うことが：
− １つの初期投票画素及び１つの近傍画素について投票角度θを特定することであって、投票角度θが、線と、１つの初期投票画素における強度勾配に垂直な方向との間の角度であり、線が初期投票画素及び１つの近傍画素を接続し、強度勾配がデジタル画像の強度値の勾配を表し、強度勾配が、判定すべき核種の内部に典型的な強度値の方向を指し示す、特定することと、
− 投票角度が以下の角度範囲：

、又は、

、又は、

の１つに属さなければ、１つの近傍画素に零投票を行うことと
を備える。上記で与えられた角度範囲は、単位円の中心として用いられる投票画素の強度勾配に沿って対称でない角度範囲の多数の可能な例のうちの１つにすぎない。

[0039]実施形態によれば、決定された固有値及び固有ベクトルの評価が、評価される固有値及び固有ベクトルが決定された画素がエッジ画素、接合画素、又は外れ値のいずれであるかを判定することを備える。この情報を用いて、顕著性エッジ強度画像におけるエッジ画素を選択的に強調する。

[0040]実施形態によれば、各画素の決定された固有ベクトルは、第１の（主要）固有ベクトル及び第２の（副次）固有ベクトルを含む。前記画素の決定された固有値は、第１の（主要）固有値及び第２の（副次）固有値を含む。第１の固有値は第１の固有ベクトルの固有値であり、第２の固有値は第２の固有ベクトルの固有値である。第１の固有値及び第２の固有値の差の大きさは、画素のテンソル値へのテンソルスティック成分の寄与に相関する。第２の固有値の大きさは、画素のテンソル値へのテンソルボール成分の寄与に相関する。初期投票画素がエッジ画素、接合画素、又は外れ値のいずれであるかの判定は、前記画素の第１及び第２の固有値を比較することを備える。第１の固有値が第２の固有値より大きく、第２の固有値がほぼ零である場合に、画素はエッジ画素と識別される。第１の固有値が第２の固有値とほぼ同じ大きさであり、両方の固有値の大きさが最小の大きさを上回る場合に、画素は接合画素と識別される。第１及び第２の固有値が両方ともほぼ零である場合に、画素は外れ値と識別される。

[0041]実施形態によれば、画素ごとに決定されたテンソル値は、前記画素についての顕著性値を表す。顕著性値は、前記画素が核のエッジのメンバーである確率に比例する。
[0042]
[0043]実施形態によれば、テンソル投票場の実装は、テンソル投票場を用いて、初期投票画素の１つの、その近傍画素の１つへの各投票を計算するプログラム論理を実装することを備える。

[0044]実施形態によれば、テンソル投票場は、核の１つ又は複数の特徴で符号化される。特徴情報は、内側の核が外側より明るいか又は暗いかの情報を含む。この情報を用いて、強度勾配が核の内側又は外側のいずれを指し示すかを前記情報から推定する。実施形態によれば、核の特徴は、境界を検出すべき核種の半径を含む。たとえば、判定すべき核種の典型的な半径の範囲を用いて、テンソル投票場の曲率制約を計算することができ、これもやはり、１つ又は複数の核の特徴を符号化するテンソル投票場により行われる投票に影響を同様に与える。

[0045]実施形態によれば、核の複数の特徴、たとえば典型的な半径、想定される核の内部の方向を指し示す指示子として使用可能な強度勾配の方向によって、テンソル投票場を変調することができ、特定の近傍画素に行われる投票の重みに影響を与えることができる。また、真の核のエッジ画素の強度勾配がほぼ同じ位置を指し示すことは、テンソル投票場で符号化され得る検出すべき核種の特徴の１つとすることができる。

[0046]実施形態によれば、初期投票画素の１つの、その近傍画素の１つへの各投票の計算は：
− １つの初期投票画素における強度勾配を識別することであって、強度勾配がデジタル画像の強度値の勾配を表し、強度勾配が、判定すべき核種の内部に典型的な強度値の方向を指し示す、識別することと、
− １つの初期投票画素及び近傍画素の１つを接続する円の弧を計算することであって、弧が幾何学的中心を有し、幾何学的中心が、方向が強度勾配の方向と同一である線上に存在し、強度勾配の方向が指し示す前記線の半分に存在する、計算することと、
− １つの近傍画素に行われる投票の量を、前記１つの近傍画素から初期投票画素までの距離に比例して減少させることと、及び／又は、
− 弧の曲率が、事前定義されたずれ閾値を超えて、識別すべき核種の典型的なエッジ曲率からずれている場合に、１つの近傍画素に行われる投票の量を減少させることと
を備える。

[0047]実施形態によれば、弧の曲率が下側曲率閾値未満であるか又は上側曲率閾値を超える場合に、１つの近傍画素へ行われる投票は零である。たとえば、下側曲率閾値Ｋ_ｍｉｎは、

に従って最大核半径に依存することができ、ここでｒ_ｍａｘは、識別すべき核種の半径の上側閾値である。上側曲率閾値Ｋ_ｍａｘは、

に従って最小核半径に依存することができ、ここでｒ_ｍｉｎは、識別すべき核種の半径の下側閾値である。
[0048]実施形態によれば、初期投票画素の１つによりその近傍画素の１つへ行われる個々の投票（Ｓ）が

に従って計算され、
− ｌが、１つの初期投票画素及び１つの近傍画素の間のユークリッド距離であり、
− θが、線と、１つの初期投票画素（Ｏ、３１６）における強度勾配（３１８）に垂直な方向との間の投票角度であり、線が初期投票画素及び１つの近傍画素を接続し、強度勾配がデジタル画像（７０２）の強度値の勾配を表し、強度勾配が、判定すべき核種の内部に典型的な強度値の方向を指し示し、
− ｓが

に従って計算され、弧（３１７）の長さを表し、弧が１つの初期投票画素及び１つの近傍画素を接続し、弧が、幾何学的中心（Ｃ）を有する円の弧であり、
− Ｋが

に従って計算される投票曲率であり、
− σが、前記１つの初期投票画素により行われる投票の量の減衰速度を決定する拡大係数であり、投票の量が、１つの近傍画素から１つの近傍画素までの距離に比例して低下する。

[0049]実施形態によれば、動作は：
− 精製されたエッジ画素を用いて前景画素及び背景画素をサンプリングすることであって、前景画素が核内画素の候補であり、背景画素が核外画素の候補であり、前景及び背景画素が、識別された精製されたエッジ画素の近傍にあるデジタル画像の画素を選択することでサンプリングされ、前景画素及び背景画素がエッジの異なる側から選択される、サンプリングすることと、
− サンプリングされた前景画素の強度値についての前景ヒストグラムを生成することと、
− サンプリングされた背景画素の強度値についての背景ヒストグラムを生成することと、
− 前景及び背景ヒストグラムを評価して最適な強度閾値を特定することであって、最適な強度閾値が、強度値が強度閾値を下回る又は上回ることに応じて、サンプリングされた画素を２つの別々の画素セットへ、前記２つの別々の画素セットが前景及び背景画素サンプルからのずれが最小となるように分離することが可能な強度閾値である、特定することと
をさらに備える。

[0050]実施形態によれば、動作は、前景画像の画素のそれぞれと、背景画像の画素のそれぞれとに重みを割り当てることをさらに備える。重みは、前記サンプリングされた前景及び背景画素の間に存在し、前景画素及び背景画素がその両側からサンプリングされた、識別された精製されたエッジ画素の顕著性値に比例する。あるいは、重みは、前記サンプリングされた前景及び背景画素の間に存在し、前景画素及び背景画素がその両側からサンプリングされた、識別された精製されたエッジ画素の強度勾配の大きさに比例する。

[0051]最適な強度閾値は、強度値が強度閾値を下回る又は上回ることに応じて、及びサンプリングされた画素の重みに応じて、サンプリングされた画素を２つの別々の画素セットへ、前記２つの別々の画素セットが前景及び背景画素サンプルからのずれが最小となるように分離することが可能なように特定される。

[0052]実施形態によれば、精製されたエッジ画素を用いて前景画素及び背景画素をサンプリングすることは、精製されたエッジ画素のそれぞれに対して：
− 前記精製されたエッジ画素における強度勾配を特定することであって、強度勾配が、判定すべき核種の内部に典型的な強度値の方向を指し示す、特定することと、
− 特定された強度勾配の方向の前記精製されたエッジ画素から事前定義された距離に存在する第１の画素を、サンプリングされた前景画素の１つとして選択することと、
− 特定された強度勾配の反対方向の前記精製されたエッジ画素から事前定義された距離に存在する第２の画素を、サンプリングされた背景画素の１つとして選択することと
を備える。

[0053]実施形態によれば、動作は、デジタル画像を複数の部分領域に分割することと、前景及び背景画素のサンプリングと、最適な強度閾値の決定とを、複数の部分領域のそれぞれについて別々に行うこととをさらに備える。部分領域は、たとえば、分離した画素ブロックの形態を有してもよいが、他の形態も可能である。

[0054]実施形態によれば、システムのプロセッサは、初期画像の各画素において複数の部分領域の最適な強度閾値を補間し、前記画素のそれぞれに、その補間された最適な強度閾値を割り当てる。

[0055]実施形態によれば、プロセッサは、デジタル画像の画素の強度値を、それぞれ割り当てられた補間された最適な強度閾値と比較し、前景画像マスクを自動的に生成する。前景画像マスクは、識別すべき核の中に存在しないと予測される全画素を選択的にマスクし隠蔽する。予測は、画素の強度値が、前記画素に割り当てられた補間された強度閾値を下回るか又は上回るかのいずれであると判明したかに依存する。次いで、プロセッサは、前景画像マスクをデジタル画像に適用して、核の中に存在しないと予測されるデジタル画像の全画素を除去又は隠蔽する。

[0056]実施形態によれば、画像分析システムのプロセッサは、複数の事前定義された角度（たとえば、０°、２°、４°、．．．）のそれぞれについて、単一の計算ステップにおいて、それぞれのテンソル投票場を計算する。計算されたテンソル投票場のそれぞれは、画像の各画素における強度勾配の方向に関する情報を組み込み、前記画素に対する複数の近傍画素それぞれの相対位置を組み込む。各計算されたテンソル投票場は、画素の強度勾配の大きさに関する情報を組み込まない（「有さない」）。

[0057]テンソル投票動作は、複数の計算されるテンソル投票場の計算の後に行われる。初期投票画素の１つによりその近傍画素の１つへ投票を行うことは：
− １つの初期投票画素について、ＩＶＰ勾配角度を特定することであって、ＩＶＰ勾配角度が、画像のｘ軸と、１つの初期投票画素における強度勾配の方向との間の角度である、特定することと、
− 特定されたＩＶＰ勾配角度と同一であるか、又は特定されたＩＶＰ勾配角度に最も類似した角度について計算された複数の計算されたテンソル投票場の１つを特定することと、
− 特定されたテンソル投票場をデジタル画像のグリッドと位置合わせすることであって、テンソル場の中心が投票画素に位置し、及び／又はテンソル投票場が計算された角度が、特定されたＩＶＰ勾配角度と位置合わせされるように実行され得る、位置合わせすることと、
− 特定されたテンソル投票場に組み込まれた１つの初期投票画素及び１つの近傍画素の相対位置を用いて、投票を計算するために分解されるテンソル値を特定することと
を備える。

[0058]したがって、計算されたテンソル投票場は、事前計算されたテンソル投票場である。事前計算されたテンソル投票場は、強度勾配の方向に関する情報を組み込むが、それぞれの画素の強度勾配の大きさに関する情報を組み込まない。これには、事前計算されたテンソル投票場を再利用して、勾配の配向が事前計算されたテンソル投票場の角度に対応する複数の初期投票画素の投票の計算を加速できるという利点がある。画像において、典型的には、勾配方向が同一又は非常に類似している多数の画素が存在するが、勾配の大きさは非常に異なり得る。

[0059]テンソル投票場が事前計算される場合、曲率及び弧長は、投票処理で再計算される必要がなくなる。テンソル投票場が事前計算されない場合、曲率及び弧長は、ＩＶＰ−近傍画素のペアごとに計算されることになる。

[0060]初期投票画素の勾配の大きさを有さない／組み込まない特定の角度についてのテンソル投票場を事前計算することによって、実際の投票計算中の時間及びＣＰＵ資源消費を大幅に減少させることができる。

[0061]実施形態によれば、識別されたテンソル投票場を用いて、１つの投票画素の１つの近傍画素への投票を計算することは：
− 前記１つの初期投票画素について、１つの初期投票画素の強度勾配の大きさ（又は一般的には単調関数）によって、識別されたテンソル投票場を重み付けすることであって、たとえば識別されたテンソル投票場に強度勾配の大きさを乗じることで実施可能な、重み付けすることと、
− 識別された重み付けられたテンソル投票場を用いて、特定の初期投票画素の特定の近傍画素への投票を計算することと
を備える。テンソル投票場を用いて投票を計算することは、たとえば当技術分野で知られているようなものに従って実施することができる（Ｇ．Ｇｕｙ及びＧ．Ｍｅｄｉｏｎｉ並びにＧ．Ｂｅｂｉｓ、Ｍ．Ｎｉｃｏｌｅｓｃｕ、Ａ．Ｓｋｕｒｉｋｈｉｎの論文を引用した、本出願の［００７７］で与えられた参考文献を参照されたい）。これにより、実施形態によれば、検出すべき核種の１つ又は複数の特徴に関する情報を組み込んだ非対称なテンソル投票場が使用される。勾配方向情報を選択的に組み込むが勾配大きさ情報を組み込まないテンソル投票場の事前計算によって、投票処理を加速することができる。これは、複数の組織スライドから得られるデジタル画像のリアルタイム画像分析の文脈において特に重要である。

[0062]実施形態によれば、動作は、多重応答抑制を顕著性エッジ画像に実施し、次いで抑制された顕著性エッジ画像のヒステリシス閾値処理を実施して、デジタル画像に対する精製されたエッジマスクを生成することをさらに備える。

[0063]一部の実施形態によれば、初期エッジは、Ｃａｎｎｙ（エッジ検出）フィルタを初期画像に適用することで識別される。
[0064]実施形態によれば、動作は、帯域制限操作可能フィルタの実装を用いてテンソル投票を計算することで、テンソル投票場を計算することをさらに備え、ここで帯域制限操作可能フィルタを用いることで、テンソル投票の畳み込みを高速フーリエ変換と共に行うことが可能になる。

[0065]実施形態によれば、動作は：
− 各初期投票画素における初期画像内での強度勾配を計算することと、
− 初期投票画素における画像勾配を分析して、各初期投票画素のテンソル値のスティックテンソル成分を生成することであって、画素における強度勾配の方向が、その画素におけるスティックテンソル成分の方向として使用され、前記画素における強度勾配の勾配値が、その画素におけるスティックテンソル成分の強度に使用される、生成することと
をさらに備える。

[0066]実施形態によれば、初期画像はグレースケール画像である。
[0067]実施形態によれば、初期画像は複数のカラーチャネルを含む。
[0068]実施形態によれば、動作は、色分解、分離又は逆混合からなるグループから選択される方法を用いて、複数のカラーチャネルから１つのカラーチャネルを抽出することをさらに備える。

[0069]さらなる態様では、本発明は、生物学的組織サンプルのデジタル画像内の細胞核の境界を自動的に識別するための方法に関する。方法は、デジタル病理画像分析システムのプロセッサにより実行される。方法は：
− プロセッサにより、デジタル画像内の１つ又は複数の初期エッジを識別し、識別された初期エッジ内の画素を初期投票画素として使用するステップと、
− プロセッサにより、初期投票画素のそれぞれの近傍にある画素に対してテンソル投票動作を行うステップと、
− プロセッサにより、近傍画素のそれぞれに対する複数の投票を累積して、前記近傍画素に対するテンソル値を決定するステップであって、投票の量が、前記近傍画素が初期投票画素と同じ核のエッジ画素である可能性が高いかを示し、テンソル値が、近傍に前記近傍画素が存在する全ての初期投票画素により行われた全ての投票の総和である、決定するステップと、
− プロセッサにより、決定されたテンソル値のそれぞれを分解して、分解されたテンソル値の固有値及び固有ベクトルを決定するステップと、
− プロセッサにより、決定された固有値及び固有ベクトルを評価して精製されたエッジ画素を識別するステップであって、精製されたエッジ画素が細胞核の境界を表す、識別するステップと、
− プロセッサにより、細胞核の境界を表す識別された精製されたエッジ画素を選択的に含む顕著性エッジ強度画像（８０６）を生成するステップと
を備える。

[0070]実施形態によれば、方法は、本明細書に記載のデジタル病理画像分析システムの実施形態により実行される動作及びステップを備える。
[0071]さらなる態様では、本発明は、処理システムにより実行するためのコンピュータ実行可能命令を有する有形非一時的コンピュータ可読媒体に関する。システムは、複数の異なる実施形態に関して本明細書で説明されるデジタル病理画像分析システムとすることができる。コンピュータ実行可能命令は、生物学的組織サンプルの画像化分析のために物体境界の画定を行うためのものであって、実行された場合に、処理システムに上述の方法を実施させる。

本主題の開示の一例示的実施形態による適応的閾値処理のためのシステムの図である。 本主題の開示の一例示的実施形態によるエッジに基づく適応的閾値処理のための方法の図である。 本主題の開示の一例示的実施形態によるテンソル投票のための方法の図である。 本主題の開示の一例示的実施形態による減衰関数の図である。 本主題の開示の一例示的実施形態による標準的な投票場の図である。 本主題の開示の一例示的実施形態による局所閾値を生成するための方法の図である。 本主題の開示の一例示的実施形態による局所閾値を生成するための方法の図である。 本主題の開示の一例示的実施形態による局所閾値を生成するための方法の図である。 図５Ａは従来技術の方法と対比した本主題の開示の開示された例示的実施形態についての検出された核の図である。図５Ｂは従来技術の方法と対比した本主題の開示の開示された例示的実施形態についての検出された核の図である。 本発明による前景検出のためのフローチャートである。 図７Ａは入力グレースケール画像の図である。図７Ｂは初期エッジ検出画像の図である。 図８Ａは本発明による顕著性エッジ画像８Ａの図である。図８Ｂは本発明による精製されたエッジ画像８Ｂの図である。図８Ｃは本発明による顕著性エッジ強度画像８Ｃの図である。 角度別のテンソル投票場の図である。

[0072]本明細書に記載のシステム、方法、及びコンピュータプログラムは、エッジベースのセグメント化動作を行って、たとえば、核を識別する。本発明による核セグメント化のための前景検出の方法は、勾配ベースエッジ検出と、テンソル投票と、テンソル場事前計算と、局所ヒストグラム生成と、閾値決定とのモジュールを含み、これにより、図７に示されるような、改良された核検出をもたらす画像を生成する。図６に、本発明による前景検出のためのフローチャートを示し、図６に示されたステップは以下で詳細に説明される。

[0073]勾配ベースエッジ検出
[0074]一般的に、本発明によるシステムの一例示的実施形態では、原／初期画像７０２又は画像データのセットがシステムに入力される。システムが原画像又は画像データ（図７Ａ図示）を受信した後、勾配ベースエッジ検出モジュールを用いて、画像内の構造、たとえば、原／初期画像内の全ての構造又は実質的に全ての構造のエッジを検出する（Ｓ６６０）。勾配ベースエッジ検出方法は、当技術分野でよく知られている。

[0075]本発明の一例示的実施形態では、Ｃａｎｎｙエッジ検出方法［８］を用いて勾配ベースエッジ検出を行うことで、初期エッジ検出画像７０４に描かれたエッジを初期画像７０２において検出する。しかしながら、他の勾配ベースエッジ検出方法を使用してもよい。勾配ベースエッジ検出モジュールから生成される画像は、図７Ｂに示された初期エッジ検出画像７０４である。当技術分野で知られている勾配ベースエッジ検出モジュールから検出されたエッジがノイズ（たとえば、髪の毛、気泡、埃、壊れた核などに由来するアーティファクト）を含むことは珍しくない。初期エッジ検出画像におけるノイズの結果、本発明による核を検出する方法は、真の核エッジ画素を強化し、画像から非核エッジ画素を抑制する追加のステップを含む。

[0076]テンソル投票
[0077]初期エッジ検出画像７０４が生成された後、テンソル投票を初期エッジ画像７０４に対して、たとえば初期エッジ画像内の全て又は実質的に全ての画素に対して行って、より高感度かつ詳細な精製されたエッジ画像８０４を生成する（Ｓ６６１）。テンソル投票方法は、概して、（初期エッジ画像７０４の）各初期エッジ画素に近接する又はその周辺の領域内の画素について、近接画素（「近傍画素」とも呼ばれる）のそれぞれが同じ核のエッジ画素である可能性が高いかを判定する（すなわち、投票する）ことを含む。テンソル投票の概念は当技術分野で知られているが、本発明のテンソル投票の方法は、たとえば、同じ核のエッジ上の画素が互いに投票するように設計される。本発明におけるテンソル投票処理は、テンソル投票場を用いて実装される。テンソル投票場は、核の大きさ及び形状、並びに核周辺の画像強度分布に関する事前情報を組み込むように設計され、これらは代表的な画像を探索することで得られる。これによってテンソル投票場が非対称となり、当技術分野における通常の応用から逸脱する。テンソル投票方式の例が、たとえば、Ｇ．Ｇｕｙ及びＧ．Ｍｅｄｉｏｎｉ、「Ｉｎｆｅｒｒｉｎｇ ｇｌｏｂａｌ ｐｅｒｃｅｐｔｕａｌ ｃｏｎｔｏｕｒｓ ｆｒｏｍ ｌｏｃａｌ ｆｅａｔｕｒｅｓ（局所的特徴からの大局的知覚輪郭の推定）」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、１９９６年、ｖｏｌ．２０、１１３〜１３３頁、並びに、Ｌ．Ａ．Ｌｏｓｓ、Ｇ．Ｂｅｂｉｓ、Ｍ．Ｎｉｃｏｌｅｓｃｕ、Ａ．Ｓｋｕｒｉｋｈｉｎ、「Ａｎ ｉｔｅｒａｔｉｖｅ ｍｕｌｔｉ−ｓｃａｌｅ ｔｅｎｓｏｒ ｖｏｔｉｎｇ ｓｃｈｅｍｅ ｆｏｒ ｐｅｒｃｅｐｔｕａｌ ｇｒｏｕｐｉｎｇ ｏｆ ｎａｔｕｒａｌ ｓｈａｐｅｓ ｉｎ ｃｌｕｔｔｅｒｅｄ ｂａｃｋｇｒｏｕｎｄｓ（雑然とした背景における自然形状の知覚的なグループ化のための反復的マルチスケールテンソル投票方式）」、Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ、２００９年、ｖｏｌ．１１３、１２６〜１４９頁に与えられている。

[0078]実施形態によれば、生成されたテンソル投票場によって、各（初期）エッジ画素は、２×２行列である投票をその近傍の画素に対してそのテンソル投票場に基づいて行うことができる。他方、初期画像７０２の各画素は、近傍の初期エッジ画素のそれぞれから投票を受け取り累積する。その結果は、各画素が２×２行列をその値として有するテンソル画像である。したがって、テンソル画像（図示せず）は初期画像７０２の派生物であり、ここで各画素（又は画素の少なくとも一部）はテンソル総和（「テンソル値」）を割り当てており、テンソル総和は、前記画素へその近傍により行われた投票を集計することで得られる。

[0079]テンソル分析
[0080]テンソル画像が生成された後、テンソル分析を行って、図８Ａに示された顕著性エッジ画像と、主要固有ベクトル画像（図示せず）とを生成する。

[0081]テンソル画像の各画素において、固有ベクトル及びそれぞれの固有値を、前記画素について計算されたテンソル値（「テンソル総和」）に基づいて計算することができる。固有ベクトルは、主要固有ベクトルとも呼ばれる第１の固有ベクトルと、副次固有ベクトルとも呼ばれる第２の固有ベクトルとを含むことができる。主要固有ベクトルの固有値は、主要固有値である。副次固有ベクトルの固有値は、副次固有値である。顕著性エッジ画像の各画素の値は、２つの固有値の絶対差として計算される。

[0082]主要固有ベクトル画像の各画素の値は、大きい固有値、すなわち「主要固有値」に対応する固有ベクトルである。したがって、実施形態によれば、主要固有ベクトル画像は、テンソル画像から、各画素に対して２つの固有値を決定し、固有値の大きい方を主要固有値として特定し、特定された主要固有ベクトルに対応する固有ベクトルを主要固有ベクトル画像の各画素を表すデータ値として用いることで計算される。

[0083]顕著性エッジ画像及び主要固有ベクトル画像に基づいて、図８Ｂに示された精製されたエッジ画像８０４が、多重応答抑制及びヒステリシス閾値処理を用いて生成され、これは偽のエッジ及び見逃されたエッジが少ない。

[0084]実施形態によれば、精製されたエッジマスクが精製されたエッジ画像８０４から生成され、ここで精製されたエッジ画像８０４のエッジに属さない全ての画素がマスク画素である。

[0085]図８Ｃに示された顕著性エッジ強度画像８０６が、精製されたエッジマスクに属さない顕著性エッジ画像８０４の画素をゼロにすることで生成され、精製されたエッジマスクは、エッジ画素が存在する場所だけでなく、エッジ画素が真のエッジ画素である尤度を示す。

[0086]局所ヒストグラム生成
[0087]顕著性エッジ強度画像８０６が生成された後、どの画素が核画素であるか、及びどれがそうでないか（核画素とは、決定された核エッジ画素だけでなく、核の任意の画素を指す）を確定するために利用される局所閾値を確定するために、局所ヒストグラム４１０、４１２が生成される。

[0088]本発明の一例示的実施形態では、顕著性エッジ画像８Ａが、画素のブロックに分割される（Ｓ６６２）。ブロックの大きさは、ほぼ細胞核の直径であることが好ましい。たとえば、各ブロックは、幅が核の直径の半分及び２倍の間にある四角形とすることができる。ブロック（画素の四角形）の代わりに、画像の任意の他の形の部分領域、たとえば長方形、三角形、多角形などを用いることができる。

[0089]各ブロックの各エッジ画素４０８について、候補前景画素４０４及び候補背景画素４０６が、そのエッジ画素の勾配方向に基づいてサンプリングされる（Ｓ６６３）。サンプリング処理は、図４Ｂの図の説明でさらに詳細に説明される。本発明の我々の実施形態によれば、核は一般的には背景より明るく、前景画素は勾配方向（暗から明）に沿ってサンプリングされ、背景画素は反対方向でサンプリングされる。核がより暗い場合には、選択は逆の方法で行われる。

[0090]ブロックごとに、背景画素の局所ヒストグラム（「背景ヒストグラム」４１０）と、前景画素の局所ヒストグラム（「前景ヒストグラム」４１２）とが生成される。顕著性エッジ画像８０２のエッジ画素の強度値（ひいては、エッジ画素４０８に行われた全ての投票の総和として計算される前記画素４０８の顕著性値）を、前景画素及び背景画素に対する重みとして用いて、２つのヒストグラムを生成する（Ｓ６６４）。重み無しヒストグラムでは、各強度値（又は強度値ビン）は、前記特定の強度値を有する特定の画素セット内の画素の確率を割り当てている。たとえば、確率は、前記強度値を有する画素セットの画素の数をヒストグラムが生成された画素セットの画素の総数で割ることによって、計算することができる。重み付きヒストグラムでは、特定の強度値を有する画素の数を入力として用いて、検査されるセット内の画素が前記強度値を有する確率を計算するだけでなく、前記画素に割り当てられた重みを入力として用いて、確率分布を表すヒストグラムを生成する。

[0091]閾値決定
[0092]ヒストグラムが決定された後、閾値決定モジュールは、２つのヒストグラム（すなわち、前景ヒストグラム及び背景ヒストグラム）に基づいて、前景及び背景のサンプルについての分類誤差を最小化する、ブロックに対する最適な閾値を決定する（Ｓ６６５）。閾値は、初期画像画素の強度値であり、顕著性値ではない。エッジ画素を有さない画像ブロックについて、ブロック内の最大強度が計算され、閾値として使用される。ブロックごとに計算される閾値が、前記ブロックの中心における閾値として使用される（Ｓ６６６）。

[0093]ブロックごとの局所閾値が生成された後、画像の画素ごとの閾値が、グリッド構造又は三角形分割（ｔｒｉａｎｇｕｌａｔｉｏｎ）を介したリニア又はバイリニアの補間（Ｓ６６７）により生成される。補間の結果、初期画像の各画素は、補間された閾値に対応し、これを割り当てている。

[0094]結果生成
[0095]次に、結果決定モジュールは、顕微鏡画像取得システムから直接的に得られる、又は明視野顕微鏡画像取得システム（たとえばＶｅｎｔａｎａ ｉＳｃａｎ ＣｏｒｅｏもしくはｉＳｃａｎ ＨＴ）から得られるカラー画像から色分解によって間接的に得られるモノクロ画像とすることができる、原入力グレースケール画像７０２に対して決定された閾値を適用して、前景画像を生成する（Ｓ６６８）。さらに、検出された前景を用いて、分水嶺アルゴリズムの変形［２、３、４］に基づいて個々の核をセグメント化する。

[0096]図１に、本主題の開示の一例示的実施形態による適応的閾値処理のためのシステムを示す。システム１００は、アッセイ、顕微鏡、及びスキャナの任意の組み合わせを含む、ソース画像を生成するためのソース１０１を備える。ソース１０１はメモリ１０３と通信可能であり、メモリ１０３は、インターフェース１０７に結合されたプロセッサ１０５により実行される複数の処理モジュール又は論理演算を含む。たとえば、生物標本などのサンプルは、メモリ１０３に結合された顕微鏡、カメラ、スキャナ、又は他の撮像デバイスにより撮像するためにスライドに載せることができ、標本の画像の分析は、本開示によるメモリ１０３に記憶された複数のモジュールの１つ又は複数を実行するプロセッサ１０５により実施される。分析は、標本の識別及び研究のためのものとすることができる。たとえば、生物学的又は病理学的システムは、生体情報を得るために、たとえば組織及び細胞構造、核、タンパク質の存在、タンパク質断片又は癌もしくは他の疾患を示す他のマーカーを検出するために、あるいは他の目的、たとえばゲノムＤＮＡ検出、メッセンジャーＲＮＡ検出、タンパク質検出、ウイルスの検出、遺伝子の検出、又はその他のために、標本を研究することができる。

[0097]標本は、たとえば、譲受人であるＶｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ社のＤｉｓｃｏｖｅｒｙ（商標）自動スライド染色プラットフォームなどの、自動染色／アッセイプラットフォームによって染色することができる。結果のスライド又はアッセイは、光源により照明し、カメラなどの撮像システムにより撮像することができる。光源は狭帯域光源、たとえばレーザ、又は明視野顕微鏡を介して見るためのＲＧＢ白色光を含むことができる。また、カメラプラットフォームは、１つ又は複数の対物レンズ及びデジタル撮像装置、並びにスペクトルフィルタのセットを有する顕微鏡を含むことができる。異なる波長の画像をキャプチャするための他の技法を用いてもよい。染色された生物標本を撮像するのに適したカメラプラットフォームは、当技術分野で知られていて、たとえばＺｅｉｓｓ、Ｃａｎｏｎ、Ａｐｐｌｉｅｄ Ｓｐｅｃｔｒａｌ Ｉｍａｇｉｎｇなどの企業から市販されており、そのようなプラットフォームは、本主題の開示のシステム、方法及び装置での使用に容易に適応可能である。

[0098]画像７０２は、無線によって、有線接続、たとえばソース１０１及びコンピュータ１０７の間のケーブル接続を介して、コンピュータネットワークを介して、又はコンピュータ間でデジタル情報を転送するのに一般的に使用される任意の他の媒体を用いて、メモリ又はコンピュータ可読媒体１０３に供給することができる。画像を、ネットワークを介してネットワークサーバ又はデータベースに供給して、記憶しコンピュータ１０７により後で取り出せるようにすることもできる。プロセッサ１０５及びメモリ１０３に加えて、コンピュータ１０７は入力及び出力デバイス、たとえばキーボード、マウス、スタイラス、及びディスプレイ／タッチスクリーンをさらに含む。以下の議論で説明されるように、プロセッサ１０５はメモリ１０３に記憶されたモジュールを実行して、画像の分析、画像又はそのような画像から得られる画像データのモルフォロジー処理、定量分析、及びユーザ操作コンピュータ１０７への定量的／グラフィカルな結果の表示を行う。

[0099]メモリ１０３に記憶されたモジュールは、勾配検出モジュール１１１、テンソル場計算モジュール１１２、テンソル投票モジュール１１３、局所ヒストグラム生成モジュール１１４、閾値決定モジュール１１５、及び結果生成モジュール１１６を含む。これらのモジュールにより行われる動作は本明細書に記載のものに限定されず、モジュールの並び、構成、及び総数は変化してもよく、現在説明されている実施形態は単に例示の目的のためのものにすぎない。

[00100]たとえば、勾配検出モジュール１１１を実行して、画像の１つ又は複数の画素又は領域が対象構造のエッジの存在に対応する又はこれを示すことを決定することができる。異なる画素間のコントラスト又は勾配が大きいことは、画像ブロック、領域、又は視野の中にエッジが存在することを示し得る。領域は、ソース１０１から受信されたソース画像内の構造又は領域を自動又は手動で選択することによって検出される特徴から選択することができる。特徴は、画像分析、組織不均質などに基づいて自動的に決定することができ、又はユーザにより選択することができる。いくつかの例では、グレースケール画像又はＲＧＢ画像の１つのカラーチャネルをサンプリングして、特定の領域、たとえば細胞又は核を注釈付け（ａｎｎｏｔａｔｅ）することができる。特定された領域を用いて、後続の動作のための視野を定義することができる。いくつかの実施形態では、画像のスケール及び関心のある対象構造に応じて、画像を領域又はブロックに均一に分割することができる。これらの領域又はブロック内の画素は、本明細書に記載の後続の動作のための初期画素として選択することができる。初期エッジ画素を決定するための他の方法は、当業者にとって、本開示を読むと明らかとなろう。

[00101]次いで、テンソル場計算モジュール１１２を実行して、複数のテンソル場を対応する複数の配向について決定する。各配向は、事前定義された角度、たとえば２°、４°、６°、３６０°に対応する。この例では、１８０個の均一に分布した角度がカバーされるが、他の数の分割及び分布も可能である。以下で説明されるように、２次元テンソルは、２×２の行列である。テンソル場は、テンソルの２次元配列を表す。たとえば、テンソル場のテンソルの２次元配列は、原画像７０２に存在する画素と同数のテンソルを含むことができる。効率的に実装するために、複数のテンソル場が、均一に分布した対応する複数の配向（「角度」）において生成され、第１の次元が角度の添字である３次元配列となる。たとえば、角度０°についての第１のテンソル場、角度２°についての第２のテンソル場、及び角度３５８°についての第１８０のテンソル場が存在してもよい。全てのテンソル場は、投票動作の開始前に計算することができる。事前計算されたテンソル場によって、テンソル投票動作を行うときにテンソルをより高速に取り出すことが可能になる。１０００画素を備える画像では１８０．０００個の個別ステップとなり得る、画像の各画素に対する１８０個のテンソルトークン／配向別のテンソルの計算を行うのではなく、比較的少ない数の計算ステップ（たとえば、１８０個の異なる角度／テンソル投票場では１８０個）が、投票処理で使用される入力データを提供するために行われる。

[00102]テンソル投票モジュール１１３を実行して、テンソル投票動作を行うことによってテンソル画像（図示せず）が得られ、これをさらに用いて顕著性エッジ画像８０２の画素に対する顕著性値を生成する。簡単に言えば、各初期エッジ画素３１６は投票画素として指定され、その画素の投票場内の画素が投票され、投票は、投票曲率及び投票角度の閾値範囲に収まる近傍画素に基づいて決定される。閾値は、検出すべき構造の形状及び撮像特性に基づいて選択して、可能性の低いエッジ画素を抑制し可能性の高いものを強化するようにする。いくつかの例が、図９の図の説明の後に与えられる。

[00103]同一の核のエッジ上の画素の勾配は、ほぼ同一の位置を指し示し、初期エッジ画素に重ねられる２次元スティックテンソル場を用いて符号化される。２次元テンソルは、上述の事前計算されたテンソル場から取り出すことができる。これらの動作は、図３Ａ〜３Ｃに関してさらに説明される。その結果のテンソル画像によって、顕著性エッジ画像８０２を生成し、大きい固有値に対応する固有ベクトル、すなわち、各画素における顕著性エッジ法線方向を決定することが可能になる。

[00104]初期エッジ画像７０１にテンソル投票を行うことで、核などの検出すべき構造を含む画像の領域に対して可能性の高いエッジ画素を特定した場合に、画像の領域ごとの閾値範囲が計算される。局所ヒストグラム生成モジュール１１４によって、この動作が、エッジ画素４０８を上回る勾配方向に沿った前景画素４０４と、エッジ画素を下回る背景画素４０６とをサンプリングし、背景及び前景両方についてのヒストグラム４１０、４１２を生成することで可能になる。前景及び背景ヒストグラムの両方を用いて、各ブロックにおける閾値範囲を生成する。続いて、適応的閾値画像が、複数の画像ブロックについての閾値範囲を用いた補間により生成される。最後に、入力画像７０２を局所適応的閾値画像と比較することによって、著しく改善した前景が提供される。

[00105]結果生成モジュール１１６により決定される結果は、端末１０７のユーザもしくは操作者に出力することができ、又はプロセッサ１０５により生成されるレポートにまとめ、ネットワークを介した他のコンピュータに送信するもしくはファイルに保存することができる。上述のように、モジュールは、プロセッサ１０５により実行される論理を含む。「論理」とは、本明細書及び本開示全体で使用される場合、プロセッサの動作に作用するために適用可能な命令信号及び／又はデータの形を有する任意の情報を指す。ソフトウェアは、そのような論理の一例である。プロセッサの例は、コンピュータプロセッサ（処理装置）、マイクロプロセッサ、デジタルシグナルプロセッサ、コントローラ及びマイクロコントローラなどである。論理は、メモリ１０３などのコンピュータ可読媒体上に記憶された信号から形成することができ、これには、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能／電気消去可能プログラム可能読み出し専用メモリ（ＥＰＲＯＭ／ＥＥＰＲＯＭ）、フラッシュメモリなどが含まれる。論理は、デジタル及び／又はアナログハードウェア回路、たとえば、論理的ＡＮＤ、ＯＲ、ＸＯＲ、ＮＡＮＤ、ＮＯＲ及び他の論理演算を備えるハードウェア回路をさらに備えることができる。論理は、ソフトウェア及びハードウェアの組み合わせから形成することができる。ネットワーク上で、論理は、サーバ又はサーバの集合体上でプログラミングすることができる。特定の論理ユニットは、ネットワーク上の単一の論理的な位置に限定されない。

[00106]図２に、本主題の開示の一例示的実施形態による適応的閾値処理のための方法を示す。図２の方法は、本明細書に記載の方法ステップが、記載の順序で実施される必要がなく、本主題の開示を踏まえて当業者により理解可能な任意の順序で実行できるという理解の下で、図１に示されたものと同様のモジュールを実行するコンピュータにより実施することができる。方法は、ソース画像を生成又は受信するためのソース、たとえばアッセイをスキャンするための撮像システムと組み合わせられた顕微鏡から開始する（Ｓ２２０）。画像７０２は、グレースケール画像とすることができ、又は多重画像（ｍｕｌｔｉｐｌｅｘ ｉｍａｇｅ）における単一のチャネルを表すことができる。エッジ画素は、画像において特定された勾配に基づいて、又は組織セグメント化もしくは画像内の領域の手動選択によって検出された特徴から見積もることができる。画像はブロックに分割することができ、画像の適当な大きさのブロックをサンプリングして、特定の領域、たとえば細胞又は核を注釈付けすることができる。各ブロックは、少なくとも１つ又はいくつかの核又は核クラスタを含むような十分な大きさにすることができる。ブロック内のエッジ又は境界の初期選択は、閾値より高い値を有する特徴及び画素を検出することで実施することができる。

[00107]次いで、２次元テンソル投票を適用して（Ｓ２２２）、顕著性エッジ画像８０２を決定し、前記画像から顕著性エッジマスクを決定する。テンソル場は、様々な配向において事前計算することができ、これにより、テンソル投票動作を行うときにテンソルをより高速に取り出すことが可能になる。

[00108]指定された初期エッジ画素４０８、３１６の近傍の、その初期エッジ画素の投票場３１０、３１２内の画素３２２、３２４は、本明細書でさらに説明されるように投票される。テンソル場は、一致した位置及び勾配方向を考慮して設計され、すなわち、同一の核又は核クラスタに属するエッジ画素である可能性が高い近傍画素が、互いにより多く投票する。投票方向の角度及び投票弧（ｖｏｔｉｎｇ ａｒｃ）の曲率に制約を課して、可能性の低いエッジ画素を抑制し可能性の高いものを強化する。これらの動作は、図３Ａ〜３Ｃに関してさらに説明される。画素ごとに受け取られた投票を分析して（Ｓ２２３）、画素が、エッジ／境界画素、もしくは核クラスタ内の接合画素、又は外れ値（エッジでも接合部でもない）である可能性が高いか否かを判定する。この結果を用いて、顕著性エッジ画像８０２を生成し、前記画像から顕著性エッジマスクを生成する。顕著性エッジマスクにおいて、顕著性エッジ画素でない全画素はマスク画素である。

[00109]核などの検出すべき構造を含む画像の領域に対して可能性の高いエッジ画素を特定した場合、画像又は画像ブロックの領域についての強度の閾値範囲（すなわち、最大許容限度及び最小許容限度）を計算して、適応的局所閾値画像を生成できるようにする。前景及び背景ヒストグラム４１０、４１２が、画像のブロックごとに生成される（Ｓ２２４）。これらの動作は、エッジ画素４０８を上回る勾配方向に沿った前景画素４０４及びエッジ画素を下回る背景画素４０６をサンプリングすることと、画素における顕著性値又は勾配の大きさを重みとして用いて、背景及び前景両方についてのヒストグラムを生成することとを含む。次いで、前景及び背景両方のヒストグラムを用いて、各ブロックにおける閾値範囲を決定する。続いて、適応的局所閾値画像が、複数の画像ブロック及びそれらの閾値範囲を用いた補間によって生成される（Ｓ２２６）。

[00110]たとえば、画像を２×２の画像ブロックへ分割することができ、４つのブロックのそれぞれにおける閾値範囲は、［３０，６０］、［４０，８０］、［５０，９０］、及び［６０，１００］である。適応的局所閾値画像は、４つのブロックのそれぞれに対する中心閾値を、たとえば閾値範囲限度の平均として計算することで、生成することができる。上記の例では、４つのブロックの中心閾値は、４５、６０、７０及び８０となる。しかしながら、閾値範囲を用いて同様の結果を得る多数の選択肢が存在する。そして、中心閾値を画像全体にわたって補間して、各画素に補間された閾値を割り当てる。入力画像を局所適応的閾値画像と比較することによって、著しく改善した前景が与えられる。結果は、ユーザに出力することができ（Ｓ２２９）、又はレポートにまとめ、ネットワークを介した他のコンピュータに送信するもしくはファイルに保存することができる。

[00111]図３Ａ〜３Ｃはそれぞれ、本主題の開示の一例示的実施形態による、テンソル投票のための方法、投票角度θ及び投票曲率Ｋでパラメータ化された減衰関数Ｓ、及び上述の角度及び曲率の制約に基づく投票場を示す。図３Ａ〜Ｃの方法は、本明細書に記載の方法ステップが、記載の順序で実施される必要がなく、本主題の開示を踏まえて当業者により理解可能な任意の順序で実行できるという理解の下で、図１に示されたものと同様のモジュールを実行するコンピュータにより実施することができる。

[00112]ここで図３Ａを参照すると、方法は、特定の勾配方向３１８を有する初期エッジ画素３１６から開始する（Ｓ３３０）。画像内の複数の均一に分布した配向について、いくつかのテンソル場が事前計算される（Ｓ３３１）。たとえば、０°及び３６０°の間の角度について、複数の配向を２°又は３°の間隔で均一に分布させることができる。この事前計算によって、各エッジ画素において投票するためのテンソルの迅速な取り出しが可能になる。事前計算（Ｓ３３１）に続いて、初期画素３１６が選択され（Ｓ３３２）、投票画素として指定される。上述のように、初期画素は、勾配値又は検出された特徴に基づいて、エッジ画素から選択することができる。当技術分野で知られている任意の初期エッジ検出アルゴリズムを用いて、初期エッジ画像７０４の初期エッジ画素を検出することができる。

[00113]いずれの場合でも、テンソル投票動作は、その初期画素から開始する。画素において投票するためのテンソル場は、初期画素３１６の勾配方向３１８に基づいて取り出すことができる（Ｓ３３３）。

[00114]いずれの場合でも、さらなる画素が分析されるべきかが判定される（Ｓ３３５）。さらなる初期画素が分析中の画像の領域内に存在する場合、次の初期画素が選択され（Ｓ３３２）、本明細書に記載のように新たなテンソル場が取り出される（Ｓ３３１）。画像又は領域内の全ての初期画素について投票が完了した場合、顕著性エッジ画像８０２が生成され、顕著性エッジマスクを生成するために使用される（Ｓ３３６）。顕著性エッジマスクを生成するために、各画素への投票を集計して、累積されたテンソル（「テンソル総和」）を生成する。検出すべき核の特徴に関する情報を含む個々の投票の一例が、図３Ａの図の説明で説明される。特定の画素Ｐへ行われた全ての投票の集計の結果、すなわち「テンソル値」又は「テンソル総和」もまた、テンソルである。各画素において得られるテンソルは対称非負定値行列であり、これをさらに２つのスティックテンソル成分に分解し使用して、顕著性エッジ画像８０２及び顕著性エッジマスクを生成することができる。たとえば、２次元２次テンソルは対称非負定値２×２行列であり、以下のように記述することができる：

[00115]テンソルＴは、スティックテンソル（「スティックテンソル成分」とも呼ばれる）と、ボールテンソル（「ボールテンソル成分」とも呼ばれる）との総和として分解することができる。Ｔは、外積テンソルの線形結合であり、したがって同様にテンソルである。テンソルＴは２次対称テンソルとすることができ、固有値λ_１、λ_２は実数であって正又は零であり、第１の固有値λ_１（「主要固有値」）は第２の固有値λ_２（「副次固有値」）以上である。上付き文字Ｔは、行列転置を表す。

[00116]λ_１及びｅ_１並びにλ_２及びｅ_２の値はそれぞれ、楕円の第１（主要）軸及び第２（副次）軸の長さ及び方向を表す。
[00117]スティックテンソルは：

と表すことができ、ここでｅ_１は第１の固有ベクトルであり、λ_１は第１の固有ベクトルの対応する第１の固有値である。第１の固有ベクトル及び第１の固有値は共に、スティックテンソルにより表されるスティックの長さ（顕著性）及び配向を記述するものである。幾何学的には、スティック成分の顕著性は、スティック成分の根底にあって、固有値のうちの主要なものにより表されるスティックモデルの長さに対応する。

[00118]ボールテンソルは：

と表すことができ、ここでｅ_２は第２の固有ベクトルであり、λ_２は第２の固有ベクトルの対応する第２の固有値である。第２の固有ベクトル及び第２の固有値は共に、ボールテンソルにより表されるボールの顕著性を記述するものである。幾何学的には、顕著性は、ボール成分の根底にあるボールモデルの半径に対応する。

[00119]２つの固有ベクトルは、楕円の主要方向に対応し、固有値は、楕円の大きさ及び形状を符号化する。
[00120]この結果は、すなわち計算されたスティック及びボールテンソル成分は、各画素が、核クラスタ内の接合部、核のエッジ、又は外れ値にある確率を示す。この判定は、各画素におけるスティック及びボールテンソル成分を比較することで行われる。たとえば、λ_１−λ_２＞λ_２の場合、これが示すのは、画素における累積されたテンソルのスティック成分がボール成分より大きく、画素が核のエッジ上にある可能性が高いことである。λ_１≒λ_２＞０の場合、スティック成分はボール成分より小さく、近傍画素は接合部又は領域にある可能性が高い。λ_１≒λ_２≒０の場合、画素は顕著性が低く、すなわち、エッジ又は境界画素である可能性が低く、外れ値として破棄される。さらに、あらゆる投票は、２×２行列によって表すことができる。各画素に対する投票が累積され、累積された投票のメトリック（テンソル総和のメトリック）を分解して、顕著性エッジ画像８０２（λ_１−λ_２）及び顕著性エッジ法線方向（特定の画素における前記累積されたテンソル総和Ｔの２つの固有値λ_１、λ_２の大きい方に対応する固有ベクトル）を得ることができる。顕著性エッジ法線方向は、特定の画素におけるエッジの法線方向を示す。

[00121]図３Ｂに、テンソル投票場を計算するための数式関数Ｓを示す。この式は、本明細書では、「減衰関数」とも呼ばれる。これを用いて、投票画素の法線方向（すなわち、前記画素の勾配方向）に基づいてテンソル場における要素（テンソル投票）を計算することによって、良好な連続性を示す（又は同一の核のエッジ上に存在する可能性がより高い）画素が互いにより多く投票するという概念を実装する。たとえば、原点Ｏは各初期エッジ画素（投票画素）３１６と位置合わせされ、その勾配方向がｙ軸を向いている（図３Ｂ参照）。小文字ｓは、投票画素Ｏ ３１６と被投票画素Ｐとの間の投票弧３１７の長さを表し、Ｋは曲率を表し、ｌは２つの画素間のユークリッド距離を表す。ｘ軸及びｙ軸は原画像のｘ軸及びｙ軸を表し、ここで座標系の原点が投票画素に位置する。Ｃは、画素Ｏ及びＰを接続する弧３１７の曲率により数学的に暗示される幾何学的中心を表す。シグマ（「σ」）は、投票画素からの被投票画素の距離及び曲率に応じて投票の減衰速度を指定する減衰パラメータである。ほとんどの核の半径は既知であるか又は良く近似されているので、曲率Ｋの閾値をさらに適用してＯからＰへ行うべき投票の大きさを制御する。たとえば、哺乳類細胞の核の平均的な直径は約５〜１５μｍであり、平均的な半径は２．５〜７．５μｍである。

[00122]実施形態によれば、原点Ｏ、すなわち投票画素からより遠い画素Ｐ（被投票画素）は、より少なく投票され、平均又は既知の制約外の曲率を有する投票弧３１７、３２５上の画素もまた、より少なく投票される。

[00123]さらに又はあるいは、実施形態によれば、点Ｐが投票画素Ｏにおける勾配ベクトルの反対方向にある場合（勾配ベクトルは核の方向を指し示す）、初期投票画素Ｏから被投票画素ｐに行われる投票は減少し、又は零である。たとえば、それぞれのＩＶＰにおける勾配の方向の反対側にある画素をカバーする事前定義された角度範囲内にある角度θを有する投票方向についてのテンソル場では、初期投票画素Ｏから被投票画素ｐに行われる投票は減少し、又は零である。そのような事前定義された範囲は、たとえば、１９０度から３５０度までとすることができる。

[00124]任意の投票画素について、正の減衰係数変調テンソル投票が、制約を満たす画素に行われる。一例による投票の計算の詳細な説明は、図３Ａの説明において与えられる。

[00125]（既知の半径に基づく）核の曲率の知識を用いて、図３Ｃに示された近傍画素についての投票場／領域を決定する。図３Ｂの減衰関数Ｓが、投票場の片側又は両側３１０、３１２に適用される。減衰関数は、投票場の上側及び下側において非対称とすることができ、その場合、より高い投票を上側の画素に行うことができる（ここでの「上側」とは、細胞核の内部への想定される方向を意味し、この方向は投票画素３１６における勾配ベクトル３１８から得ることができる）。さらに、投票場は動的であって、初期投票画素３１６の勾配方向３１８に基づいて回転する。投票場は、図３ＡのステップＳ３３１で事前計算されたテンソル場に基づくことができ、これにより、画素間の投票の間にテンソルをより速く生成する又は取り出すことが可能になる。図３Ｃに示されたグレーの箱は、投票画素３１６がグレーの領域外の画素よりも高い投票を行う画素を示す。

[00126]実施形態によれば、長方形の近傍が、ＩＶＰ Ｏにおける勾配の方向と位置合わせされ、ＩＶＰにおける接線方向と位置合わせされる。ＩＶＰ Ｏのテンソル投票場は、ＩＶＰの勾配の方向において非対称である。

[00127]実施形態によれば、ＩＶＰは、強度勾配の反対方向にある、すなわち、想定される核の内部の方向にある任意の画素に対して、より少ない量（「重み」）又は零の投票を行う。

[00128]実施形態によれば、グレー領域３１２、３１０の境界は急峻であり、グレーの長方形の全画素は、Ｏから投票を受け取る初期投票画素Ｏの近傍画素とみなされる。白色領域内の全画素は、画素Ｏの近傍とはみなされず、画素Ｏから投票を受け取らない。たとえば、長方形の長辺は、Ｖｅｎｔａｎａスキャナからの倍率２０倍の画像では、２７画素とすることができる。

[00129]他の実施形態によれば、グレー領域及び白色領域の間の境界は、実際には滑らかであってもよく、すなわち、グレー領域は急峻な境界を有さなくてもよい。むしろ、特定の投票弧３２５が与えられた投票画素からの被投票画素の距離に応じて、投票は徐々に減衰することができる。白色領域の画素への画素Ｏの投票の量／重みは、ほぼ零とすることができる。

[00130]不規則な形状の線３２０が、核の真の輪郭を描くことがある。弧３２５は、投票画素３１６を被投票画素３２４と接続する投票弧であり、画素３２４に対する投票を計算するために使用される。画素３１４は、核の「真の」輪郭上の他の画素である場合がある。投票は、投票画素３１６における接線（勾配法線）の方向において、勾配の方向よりも高い。グレー領域３１０、３１２が非正方形の長方形であることから推論できるように、細胞核の輪郭の典型的な曲率を反映する投票弧に画素がより近い場合に、投票はより高くなる。投票画素から等しく離れている投票画素の強度勾配に沿った点のペア（Ｏ、Ｐ）におけるテンソルが同じである「対称な」投票とは違って、「非対称な」テンソル場では、投票画素が勾配方向において反対方向よりも好意的に投票することになる。

[00131]図４Ａ〜４Ｃに、本主題の開示の一例示的実施形態による、画素のブロックごとに局所閾値を生成するための方法を示す。本明細書に記載のように、初期エッジ画素又はテンソル投票により検出された顕著性エッジ画素４０８ごとに、勾配方向３１８（又は画素４０８の顕著性法線方向）に沿った前景画素４０４及び背景画素４０６がサンプリングされる（すなわち、選択され、画素の前景サンプルセット又は背景サンプルセットに追加される）。２つのサンプリングされた画素及びエッジ画素の間の距離は、たとえば、図４Ｂに示されるように、画像又は画像ブロックのスケール、及び核の大きさに応じて、２〜３画素とすることができる。これらの画素がサンプリングされるエッジ画素３１６、４０８からの距離は、事前定義することができ、核の半径より短いことが好ましい。本明細書に記載のように、画像を小さな部分領域に分割することができる。たとえば、２０倍に拡大された画像を、５０×５０画素のブロックに分割することができる。各ブロックでサンプリングされた前景／背景画素の各セットに対して、図４Ｃにさらに示されるように、２つの対応するヒストグラムをブロックごとに生成することができる。

[00132]図４Ａを参照すると、方法は、本明細書に記載のエッジ画素４０８の選択（Ｓ４４１）から開始することができる。選択されたエッジ画素は、真のエッジである可能性が高く、テンソル投票動作の結果に基づくことができる。エッジ画素を通るエッジに垂直に線が描画され、１つの前景画素４０４及び１つの背景画素４０６が、エッジ画素について勾配方向及び反対方向でサンプリングされる（Ｓ４４２）。１つの例示的な画素選択について、図４Ｂを参照されたい。ブロックにさらなるエッジ画素が存在するか否かについて判定が行われ（Ｓ４４３）、存在する場合、次のエッジ画素が選択され（Ｓ４４１）、前景画素及び背景画素がサンプリングされる（Ｓ４４２）。

[00133]さらなるエッジ画素が存在しない場合、方法は、ブロックについての前景ヒストグラム４１０及び背景ヒストグラム４１２の生成（Ｓ４４４）へ続く。顕著性で変調された背景ヒストグラム及び前景ヒストグラムが、各画像ブロック内でサンプリングされた前景画素及び背景画素に基づいて生成される。これらのヒストグラムは、テンソル投票により決定されたエッジ画素の顕著性値によって、又は勾配の大きさの値に基づいて重み付けられているので、顕著性で変調されている。１つの画像ブロックの背景及び前景に対する例示的なヒストグラムについて、図４Ｃを参照されたい。両方のヒストグラムが、１つのプロット内に示されている。これらのヒストグラムを用いて、画像ブロックに対する閾値範囲を定義して（Ｓ４４５）、ヒストグラムベースの分類誤差を最小化するようにする。背景画素及び前景画素を混同することで生じる誤差を最小化するために、適切な閾値範囲が選択され、この誤差は一般的にはエッジ検出における偽陽性又は偽陰性の結果であって、本明細書に記載の顕著性で変調されたヒストグラムにより軽減されるものである。

[00134]実施形態によれば、２つのヒストグラム４１０、４１２は、エッジの内側から前景画素４０４を取得し、前記エッジ画素の「外側」から背景画素４０６を取得することにより生成される。各エッジ画素４０８の内側、真上及び外側の全画素の強度が均一な強度勾配に従う場合、２つの「理想的な」ヒストグラムは重なり合うことはなく、すなわち、前景ヒストグラム及び背景ヒストグラムの両方で観察される強度値が存在することはない。実際には、撮像ノイズ及び他のノイズ源（染色及び組織調製）によって、２つのヒストグラムは重なり合い、これは画素が前景及び背景両方のヒストグラムに存在する１つ又は複数の強度値が存在することを意味する。誤差を最小化することは、閾値を下回る前景画素と、閾値を上回る背景画素との（顕著性値により重み付けられた）数が最小化されるような強度閾値を自動的に決定することを意味する。背景画素及び前景画素が、サンプリング中に前景画素又は背景画素を選択するために使用される画素のそれらの顕著性値又は勾配値に応じて重み付けられる実施形態によれば、誤差を最小化することは、閾値を下回る前景画素と、閾値を上回る背景画素との、顕著性値で重み付けられた数が最小化されるような強度閾値を自動的に決定することを意味する。

[00135]実施形態によれば、最適な閾値は、特定の値ではなく範囲である。たとえば、第１の強度閾値は、前記第１の閾値を下回る全画素を背景画素として識別することができ（強度ベースの分類）、第２の閾値は、第２の閾値を上回る全画素を前景画素として識別することができる。たとえば、第１の閾値は、前記ブロックの背景ヒストグラム内の最大強度値とすることができ、また、これは前景ヒストグラムに含まれない。第２の閾値は、前記ブロックの前景ヒストグラム内の最小強度値とすることができ、また、これは背景ヒストグラムに含まれない。

[00136]閾値の値／範囲は、各ブロックに対して個別に計算され、前記ブロックの中心に割り当てられる。最後に、閾値は、画像ブロックごとの強度閾値範囲に基づいて、各画素において補間することができる（Ｓ４４６）。ブロック閾値の三角形分割又はバイリニア補間を、各画素において行うことができる。最終結果（Ｓ４４９）は、閾値画像（図示せず）である。

[00137]たとえば、画像７０２は、いくつかのブロック、たとえば１４×１３＝１８２個のブロックに分割することができ、各ブロックは計算された閾値範囲を有する。たとえば、各ブロックの閾値範囲は、下側（「第１の」）閾値及び上側（「第２の」）閾値を含むことができる。第１及び第２の閾値は、たとえば、上述のように計算することができる。ブロックごとに、下側及び上側閾値の平均強度閾値を計算し、ブロックの幾何学的中心に割り当てることができる。閾値画像内の各画素における閾値は、１８２個の閾値範囲に基づいた補間により得られる。

[00138]閾値画像をソース画像と比較して前景を決定することができ、すなわち、画素値が上述の方法により決定された閾値を超えた場合、それは前景画素である。これによって、画像における核の存在をより高精度に判定して、偽陽性及び偽陰性を従来技術から削減することができる。図５Ａ及び５Ｂに、従来技術の方法と対比した、本主題の開示の開示された例示的実施形態についての検出された核を示す。明らかに、核検出結果は、図５Ａに示された従来技術の結果よりも、図５では優れている。

[00139]図９に、投票角度別のテンソル投票場９０２〜９０６を示す。ｘ軸及びｙ軸は、初期画像７０２の軸及びそれぞれの画素に対応する。各画素、たとえばｘ位置２及びｙ位置１における画素９１０は、これは図３Ｂの式に基づいて計算される、２×２行列として表現可能なテンソルＴを割り当てている。

[00140]画像分析システムのプロセッサは、複数の事前定義された角度のそれぞれについて、単一の計算ステップにおいて、それぞれの非対称テンソル投票場を計算する。計算された非対称テンソル投票場それぞれの各テンソルは、テンソル投票場が計算された初期投票画素のそれぞれにおける強度勾配の方向に関する情報を含むが、ＩＶＰの強度勾配の大きさに関する情報は含まない。たとえば、図３Ｂに示された式は、弧長ｓを介した画素距離情報を考慮している。

[00141]実施形態によれば、各テンソル投票場は、前記テンソル投票場が計算された１つの事前定義された角度と勾配方向が同一又は最も類似している画素について事前計算されたテンソルを選択的に含む。

[00142]たとえば、以下の式を用いて、投票を行う画素の勾配方向が９０度の方向と位置合わせされた局所的な極座標系におけるテンソル投票場を計算する：

特定の近傍画素に関する特定のＩＶＰの投票を計算するために、ＩＶＰの勾配角度と同一又は非常に類似している角度について計算された事前計算されたテンソル場が特定され、デジタル画像７０２と位置合わせされる。位置合わせは、テンソル場の中心が投票画素に位置するように行うことができる。これを特定のＩＶＰの特定の勾配方向αについて実現するために、テンソル場の領域（又はその要素、たとえば整数ｘ、ｙ座標のセット）が回転される（時計回りに、

の角度）。回転は、局所的な極座標系で行うことができる。回転の結果、投票計算のための対応する入力パラメータのセット、たとえば、１つの初期投票画素及び１つの近傍画素の間のユークリッド距離を示すパラメータｌと、投票角度θとが得られる。回転から得られる前記入力パラメータは、たとえば図３Ｂに示された式の入力として用いて、投票を計算する。位置合わせが完了した後、１つのＩＶＰ及び１つの近傍画素の相対位置情報を用いて、本文書の他の節で説明されるように投票を行うために使用されるテンソル場からテンソルを得る。

[00143]実施形態によれば、式
[00144]

[00145]は、少なくとも部分的に解かれ、派生式

に変換され、
[00146]ここでＦは、現在のテンソル投票場が事前計算された事前定義された角度にのみ依存する定数である。Ｆは、以下に従って計算することができる：
[00147]

[00148]角度別のテンソル投票場、すなわち、特定の配向に関する画像７０２の全画素についてのテンソルを事前計算することによって、計算資源を節約することができる。各角度別のテンソル投票場９０２、９０４、９０６は、各画素における強度勾配の勾配方向に関する情報を含む。角度別のテンソル投票場は、実際の投票処理が開始する前に計算され、すなわち、「事前計算される」。プロセッサが実際にテンソル投票動作を行う場合、プロセッサは、初期投票画素３１６の強度勾配方向と画像のｘ軸との間の角度を特定する。この角度は、本明細書では、ＩＶＰ勾配角度と呼ばれる。初期投票画素として使用される特定の画素３１６におけるＩＶＰ勾配角度は、たとえば、５．６°とすることができる。事前計算段階において、事前定義された角度０°、２°、４°、６°、３５８°についてのテンソル投票場を計算しておくことができる。投票段階において、特定されたＩＶＰ勾配角度（５．６°）と同一又は最も類似した角度について計算された複数の計算済みのテンソル投票場の１つが特定される（この場合、６°の角度について計算されたテンソル投票場）。そして、プロセッサは特定された事前計算されたテンソル投票場を用いて、１つの初期投票画素により近傍画素に行われる投票を計算する。これには、投票処理を著しく加速できるという利点があり得る。加えて、実施形態によれば、初期投票画素３１６により近傍画素Ｐに行われる投票は、投票画素の強度勾配の大きさに応じて重み付けられる。
生物学的領域知識に基づいたテンソル投票
[00149]以下では、非常に高精度なエッジ検出及び核セグメント化方法を提供するための、エッジを判定すべき核の特徴によるテンソル投票場の修正を示すための例が説明される。

[00150]最初に、デジタル組織病理画像、たとえばＨ＆Ｅ画像又はＩＨＣ画像が、記憶媒体から読み出され、又は顕微鏡もしくは明視野顕微鏡画像取得システム（たとえばＶｅｎｔａｎａ ｉＳｃａｎ Ｃｏｒｅｏ）から動的に受信される。たとえば、デジタル画像は、茶色がかった画像を提供するジアミノベンジジン（ＤＡＢ）及び／又は青みがかった画像を提供するヘマトキシリン（ＨＴＸ）で染色された乳癌組織生検を描画し得る。茶色がかった又は青みがかった画像は、たとえばＰＣＡ又は色分解によってグレースケール画像７０２に変換される。

[00151]次のステップでは、システムは、エッジ検出アルゴリズムをグレースケール画像７０２に適用する。たとえば、Ｃａｎｎｙエッジ検出方法又は当技術分野で知られている任意の他のエッジ検出方法を適用して、画像７０４に描画された初期エッジを識別することができる。典型的には、このステップで特定されたエッジは、いくつかの偽陽性（ノイズ、染色アーティファクト）及び／又は偽陰性（エッジとして識別されなかった真の核のエッジ）を含む。エッジ検出の精度を向上させるために、以下で説明されるさらなるステップが行われる。

[00152]デジタルグレースケール画像７０２の画素ごとに、システムは強度勾配を決定する。勾配ベースエッジ検出アルゴリズムが使用される場合、このステップは、初期エッジ検出の間に既に行われていてもよい。勾配情報を用いて、テンソル画像を生成する。テンソル画像において、グレースケール画像の画素の各画素は、勾配配向情報及びその信頼性又は顕著性の両方をキャプチャしたそれぞれの２次テンソルにより表される。そのようなテンソルは楕円として視覚化することができ、ここでテンソルの形状はキャプチャされた情報のタイプ（点又はエッジ）を定義する。たとえば、非常に顕著なエッジ要素は、主軸が予測されたエッジ方向を表し、長さが予測の顕著性を反映する細い楕円によって表される。各テンソルの第１及び第２の固有ベクトルは楕円の主要方向に対応し、第１及び第２の固有値はそれぞれ楕円の大きさ及び形状を符号化する。

[00153]テンソル画像内のグレースケール画像の勾配情報を符号化した後、システムは、特定の形態のテンソル投票を用いる投票手順を行う。テンソル投票は、２次テンソルによって符号化された最も可能性の高いエッジ法線を伝え集約する処理として説明することができる。

[00154]本発明の実施形態によるテンソル投票手順は、投票を計算するために識別すべき核の構造的特徴の知識を組み込んだ非対称テンソル投票場を用いる。本明細書で使用されるテンソル場は、画像７０２内の投票画素の各近傍画素へテンソルを割り当てるデータ構造である。実施形態によれば、特定の投票画素についてのテンソル投票場は、事前計算されたテンソル場のセットから勾配方向の方向に従って取り出される。テンソル投票場の各テンソルによって行われる投票は、それぞれの画素の強度勾配の大きさによって重み付けられる。

[00155]投票は、エッジが通常は滑らかであり、したがって、投票画素における勾配法線の既知の配向が与えられた場合、近傍画素における法線の配向は、結合する滑らかなカーブ、たとえば真円の弧における法線の変化を追跡することで推定できるという仮説に基づいている。たとえば図３Ｂに示された減衰関数を用いて、近傍画素に行われる投票を重み付けする。

[00156]実施形態によれば、非対称テンソル投票場は、初期投票画素が、強度勾配によれば細胞核の内部に存在すると予測される近傍画素に対して、投票画素から等しく離れているが核の外側に存在すると予測される近傍画素よりも高い投票を行うような投票動作を実施する。特定の染色剤を用いて組織サンプル内の核を染色する場合、これによって、核の境界における強度勾配が特徴的になる。たとえば、この特定の染色剤で染色された核の内側の画素は、典型的には、核の外側の画素より高い強度を有することがある。テンソル投票場は、核の境界における「典型的な」強度勾配に関するこの「知識」を、投票画素の強度勾配の方向と、投票画素及び近傍画素の相対位置とによれば、核の内側に存在する近傍画素に対してより高い投票を行うことで、数学的に組み込む。たとえば、これは、（図３Ｂで与えられた）投票を計算するための式を以下のように変形することで実現することができる（変形式ＭＦ１）：

[00157]Ａ１、Ａ２及びＡ３は、投票角度に関する範囲である。一例によれば、以下の範囲が用いられる：
角度範囲

角度範囲

角度範囲

[00158]単位円表記では、ｙ軸

は投票画素における強度勾配に対応し、ｘ軸（π←→０）は投票画素における勾配法線に対応する。好ましくは、投票画素の勾配方向によれば、（比較的高い確率で）核の内部と同じ側に存在すると予測される画素領域をカバーする角度範囲が、勾配法線の反対側に存在すると予測される画素をカバーする角度範囲よりも広くなるように、角度範囲が選択される。

[00159]実際には、投票画素が上記で指定された角度範囲Ａ１〜Ａ３の１つに属さなければ、投票画素は近傍画素に零投票を行うことになる。これには、投票画素の伸長された勾配法線の近くに存在しない画素が、特にその画素が、投票画素における強度勾配の方向によれば、核の外側に存在する勾配法線の側に存在すると予測される勾配法線の側に存在する場合に、零投票を受け取ることになるという効果がある。

[00160]さらに又はあるいは、非対称テンソル投票場は、特定の近傍画素に対する投票を計算する場合に許容曲率に制約を実施することで、核の構造的特徴の知識を組み込む。たとえば、哺乳類細胞の核の平均半径は、約２．５〜７．５μｍである。したがって、識別すべき核種の半径の上側閾値ｒ_ｍａｘとして、７．５μｍを使用することができる。それに応じて、識別すべき核種の半径の下側閾値ｒ_ｍｉｎとして、２．５μｍを使用することができる。下側曲率閾値Ｋ_ｍｉｎは、

に従って計算され、上側曲率閾値Ｋ_ｍａｘは、

に従って計算される。
[00161]（図３Ｂで与えられた）投票を計算するための式は、以下のように変形することができる（変形式ＭＦ２）：

[00162]実施形態に応じて、変形式ＭＦ１及びＭＦ２の組み合わせを用いることが可能である。さらに又はあるいは、投票画素及び被投票画素と同じ距離を有する２つの真の核エッジ画素の「典型的な平均曲率」からの曲率のずれと間接的に相関し、及び／又は「典型的な角度」からの投票角度のずれと間接的に相関する投票を行う連続減衰関数を用いることが可能である。したがって、離散関数を用いる代わりに、代替的実施形態は、曲率及び／又は投票角度に応じて投票の重みを計算するための滑らかな／連続的な式を用いることができる。

[00163]実際には、特定の近傍画素に対して行われる投票の「重み」は、境界を識別すべき核種の構造的特徴に依存する。
[00164]特定の被投票画素へ行われた全ての投票を集計して、前記画素についてのテンソル総和（「テンソル値」）を計算する。各画素のそのテンソル総和は、前記画素の「スティック性（ｓｔｉｃｋｌｉｋｅ−ｎｅｓｓ）」を推定するために、分解され分析される。顕著性の低い画素は、外れ値であると想定される。

[00165]顕著性が高い（テンソル投票予測によれば、真のエッジ画素である確率が高い）画素が、真のエッジ画素として選択的に強調された顕著性エッジ画像が生成される。
[00166]グレースケール画像に関して説明されているが、開示の実施形態は、カラー画像及び他のタイプの画像、たとえば多重画像にも適用される。カラー画像について、勾配を色空間において計算することができ、本明細書に記載の例示的な方法をその色空間で実施して高精度な前景を決定することができる。グレースケール勾配画像を、カラーチャネルごとに生成することができ、動作がそれに従って行われる。多重画像は、本明細書に記載のテンソル投票及び局所閾値生成動作を実行する前に、成分ベクトルに分離することができる。さらに、開示の方法は、説明された核に加えて、既知又は均一な曲率を有する任意の構造に適用することができる。

[00167]当業者に知られているように、「領域固有の知識」という用語は、画像内で探索される形状が既知である場合に、形状のその知識をテンソル投票場の成形に適用して特別な種類の非対称にすることができることを意味し得る。

[00168]特定の事前計算及びハードウェアアクセラレーションを実施して、ハードウェア及び時間の費用を軽減することができる。たとえば、近傍画素への投票は、いくつかの異なる勾配方向について事前計算することができる。累積画像は、画素のブロックごとに並列的に生成することができる。これらの処理は、画像の同一又は異なる領域に対して並列的に、又は画像全体に対して反復的に、画像で観察される構造又は特徴に基づいてカスタム領域を定義して行うことができ、別々の動作を異なる領域に並列的に実行して、多数のスライドを効率的に処理することが可能になる。さらに、医療用途、たとえば解剖学的又は臨床的病理、前立腺癌／肺癌診断などに加えて、同じ方法を実施して、他のタイプのサンプルを分析する、たとえば地質学的又は天文学的データのリモートセンシングなどを行うことができる。画像は、既知又は明白なノイズ源を除去することによって、たとえば類似の材料からの既知又は理想的な信号セットと比較することによって、さらに精製することができる。大きい又は複数のスライド／画像分析のために、あるいは１つ又は複数の画像キューブを分析するために、本明細書に記載の動作をハードウェアのグラフィクス処理ユニット（ＧＰＵ）に移植することができ、これによりマルチスレッドの並列実行が可能になる。

[00169]本主題の開示の例示的実施形態の前述の開示は、例示及び説明の目的で与えられている。網羅的であることも、開示された正確な形に本主題の開示を限定することも意図していない。本明細書に記載の実施形態の多数の変形及び修正は、上記の開示に照らせば当業者にとって明らかとなろう。本主題の開示の範囲は、本明細書に添付された特許請求の範囲、及びその均等物によってのみ定義されるべきである。さらに、本主題の開示の代表的な実施形態を説明する際に、明細書では、本主題の開示の方法及び／又は処理が特定の順序のステップとして与えられている場合がある。しかしながら、方法又は処理が本明細書に記載されたステップの特定の順序に依存しない限りは、方法又は処理は、記載された特定の順序のステップに限定されるべきではない。当業者であれば理解するように、他の順序のステップも可能である。したがって、本明細書に記載されたステップの特定の順序は、特許請求の範囲への限定と解釈されるべきではない。加えて、本主題の開示の方法及び／又は処理を対象とする特許請求の範囲は、記載の順序でのそれらのステップの実施に限定されるべきではなく、順序は変更されてもよく、なおも本主題の開示の趣旨及び範囲内にあることを当業者は容易に理解できる。

Claims (48)

1. プロセッサ（１０５）と前記プロセッサに結合されたメモリとを備えるデジタル病理用の画像処理システム（１００）であって、前記メモリが、生物学的組織サンプルのデジタル画像（７０２）を記憶し、前記プロセッサにより実行された場合に、前記デジタル画像内の細胞核の境界を識別するための動作を前記プロセッサに行わせるコンピュータ実行可能命令を記憶し、前記動作が、
   前記プロセッサにより、前記デジタル画像（７０２）内の１つ又は複数の初期エッジを識別し、前記識別された初期エッジ内の画素を初期投票画素（Ｏ、３１６）として使用することと、
   前記プロセッサにより、テンソル投票場を用いて、前記初期投票画素（Ｏ、３１６）のそれぞれの近傍にある画素（Ｐ、３２２、３２４、３２８）に対してテンソル投票動作を行うことと、
   前記プロセッサにより、前記近傍画素（Ｐ、３２２、３２４、３２８）のそれぞれに対する複数の投票を累積して、前記近傍画素（Ｐ、３２２、３２４、３２８）に対するテンソル値を決定することであって、前記投票の量が、前記近傍画素が前記初期投票画素と同じ核のエッジ画素である可能性が高いかを示し、前記テンソル値が、近傍に前記近傍画素（Ｐ、３２２、３２４）が存在する全ての初期投票画素により行われた全ての投票の総和である、決定することと、
   前記プロセッサにより、前記決定されたテンソル値のそれぞれを分解して、前記分解されたテンソル値の固有値（λ_１、λ_２）及び固有ベクトル（ｅ_１、ｅ_２）を決定することと、
   前記プロセッサにより、前記決定された固有値及び固有ベクトルを評価して精製されたエッジ画素を識別することであって、前記精製されたエッジ画素が前記細胞核の境界を表す、識別することと、
   前記プロセッサにより、前記細胞核の境界を表す前記識別された精製されたエッジ画素を選択的に含む顕著性エッジ強度画像（８０６）を生成することと
   を備える、画像処理システム（１００）。
2. 前記テンソル投票場が前記核の１つ又は複数の特徴を符号化し、
   前記核の前記１つ又は複数の特徴が、判定すべき核種の核内画素の典型的な強度値が核外画素の典型的な強度値より高いか低いかに関する情報を含み、
   前記テンソル投票場が非対称なテンソル投票場であり、
   前記テンソル投票場が、投票が計算される前記初期投票画素の強度勾配（３１８）に沿って非対称であり、
   前記テンソル投票場による初期投票画素（３１６）の投票の計算が、
   前記プロセッサにより、前記初期投票画素（Ｏ、３１６）における前記デジタル画像（７０２）の強度勾配（３１８）の方向を特定することと、
   前記投票動作に、第１の近傍画素（３２４）に対して第２の近傍画素（３２８）よりも高い投票を行わせることであって、前記第１及び第２の近傍画素が前記投票画素（３１６）から等しく離れて存在し、前記第１の近傍画素が、前記強度勾配（３１８）の前記特定された方向によれば、前記核の内側の方向に存在し、前記第２の近傍画素（３２８）が、前記強度勾配（３１８）の前記特定された方向によれば、前記核の外側の方向に存在する、行わせることと
   を備えるように、前記符号化が行われる、
   請求項１に記載のシステム。
3. 前記投票を行うことが、
   前記１つの初期投票画素及び前記１つの近傍画素について投票角度（θ）を特定することであって、前記投票角度（θ）が、線と、前記１つの初期投票画素（Ｏ、３１６）における前記強度勾配（３１８）に垂直な方向との間の角度であり、前記線が前記初期投票画素及び前記１つの近傍画素を接続し、前記強度勾配が前記デジタル画像（７０２）の強度値の勾配を表し、前記強度勾配が、前記判定すべき核種の内部に典型的な強度値の方向を指し示す、特定することと、
   前記投票角度が以下の角度範囲：
   、又は、
   、又は、
   の１つに属さなければ、前記１つの近傍画素に零投票を行うことと
   を備える、請求項１又は２に記載のシステム。
4. 前記決定された固有値及び固有ベクトルの前記評価が、前記評価される固有値及び固有ベクトルが決定された前記画素がエッジ画素、接合画素、又は外れ値のいずれであるかを判定することを備え、前記方法が、
   この情報を用いて、前記顕著性エッジ強度画像（８０６）における前記エッジ画素を選択的に強調すること
   をさらに備える、請求項１から３のいずれか一項に記載のシステム。
5. 各画素の前記決定された固有ベクトルが第１の固有ベクトル（ｅ_１）及び第２の固有ベクトル（ｅ_２）を含み、
   前記画素の前記決定された固有値が第１の固有値（λ_１）及び第２の固有値（λ_２）を含み、
   前記第１の固有値（λ_１）が前記第１の固有ベクトル（ｅ_１）の固有値であり、前記第２の固有値（λ_２）が前記第２の固有ベクトル（ｅ_２）の固有値であり、
   前記第１の固有値（λ_１）及び前記第２の固有値（λ_２）の差が前記画素の前記テンソル値へのテンソルスティック成分の寄与に相関し、
   前記第２の固有値（λ_２）の大きさが、前記画素の前記テンソル値へのテンソルボール成分の寄与に相関し、
   前記初期投票画素がエッジ画素、接合画素、又は外れ値のいずれであるかの前記判定が、前記画素の前記第１及び前記第２の固有値を比較することであって、
   前記第１の固有値（λ_１）が前記第２の固有値（λ_２）より大きく、前記第２の固有値がほぼ零である場合に、前記画素がエッジ画素と識別され、
   前記第１の固有値（λ_１）が前記第２の固有値とほぼ同じ大きさであり、両方の固有値の大きさが最小の大きさを上回る場合に、前記画素が接合画素と識別され、
   前記第１及び前記第２の固有値が両方ともほぼ零である場合に、前記画素が外れ値と識別される、
   比較することを備える、
   請求項４に記載のシステム。
6. 画素ごとに決定された前記テンソル値が前記画素についての顕著性値を表し、前記顕著性値が、前記画素が核のエッジのメンバーである確率に比例する、請求項１から５のいずれか一項に記載のシステム。
7. 前記テンソル投票場が前記核の特徴により変調され、
   前記核の前記特徴が、境界が検出されるべき前記核種の半径である、
   請求項１から６のいずれか一項に記載のシステム。
8. 前記初期投票画素の１つ（Ｏ、３１６）の、その近傍画素の１つ（Ｐ、３２２、３２４）への各投票（Ｓ）を計算することが、
   前記１つの初期投票画素（Ｏ、３１６）における強度勾配（３１８）を識別することであって、前記強度勾配が前記デジタル画像（７０２）の強度値の勾配を表し、前記強度勾配が、前記判定すべき核種の内部に典型的な強度値の方向を指し示す、識別することと、
   前記１つの初期投票画素（Ｏ、３１６）及び前記近傍画素（Ｐ、３２４）の前記１つを接続する円の弧（３１７）を計算することであって、前記弧が幾何学的中心（Ｃ）を有し、前記幾何学的中心（Ｃ）が、方向が前記強度勾配（３１８）の方向と同一である線上に存在し、前記強度勾配の方向が指し示す前記線の半分に存在する、計算することと、
   前記１つの近傍画素に行われる投票の量を、前記１つの近傍画素から前記初期投票画素（Ｏ、３１６）までの距離（ｌ）に比例して減少させることと、及び／又は、
   前記弧（３１７）の曲率（Ｋ）が、事前定義されたずれ閾値を超えて、前記識別すべき核種の典型的なエッジ曲率からずれている場合に、前記１つの近傍画素に行われる前記投票の量を減少させることと
   を備える、請求項７に記載のシステム。
9. 前記弧（３１７）の曲率（Ｋ）が下側曲率閾値（Ｋ_ｍｉｎ）未満であるか又は上側曲率閾値（Ｋ_ｍａｘ）を超える場合に、前記１つの近傍画素へ行われる前記投票が零であり、
   であり、ｒ_ｍａｘが前記識別すべき核種の半径の上側閾値であり、
   であり、ｒ_ｍｉｎが前記識別すべき核種の半径の下側閾値である、
   請求項８に記載のシステム。
10. 前記初期投票画素の１つ（Ｏ、３１６）の、その近傍画素の１つ（Ｐ、３２２、３２４）への個々の投票（Ｓ）が
    に従って計算され、
    ｌが、前記１つの初期投票画素及び前記１つの近傍画素の間のユークリッド距離であり、
    θが、線と、前記１つの初期投票画素（Ｏ、３１６）における前記強度勾配（３１８）に垂直な方向との間の投票角度であり、前記線が前記初期投票画素及び前記１つの近傍画素を接続し、前記強度勾配が前記デジタル画像（７０２）の強度値の勾配を表し、前記強度勾配が、前記判定すべき核種の内部に典型的な強度値の方向を指し示し、
    ｓが
    に従って計算され、弧（３１７）の長さを表し、前記弧が前記１つの初期投票画素及び前記１つの近傍画素を接続し、前記弧が、幾何学的中心（Ｃ）を有する円の弧であり、
    Ｋが
    に従って計算される投票曲率であり
    σが、前記１つの初期投票画素により行われる投票の量の減衰速度を決定する拡大係数であり、前記投票の量が、前記１つの近傍画素から前記１つの近傍画素までの距離に比例して低下する、
    請求項１から９のいずれか一項に記載のシステム。
11. 前記動作が、
    前記精製されたエッジ画素を用いて前景画素（４０４）及び背景画素（４０６）をサンプリングすることであって、前記前景画素が核内画素の候補であり、前記背景画素が核外画素の候補であり、前記前景及び背景画素が、識別された精製されたエッジ画素（４０８）の近傍にある前記デジタル画像（７０２）の画素を選択することでサンプリングされ、前景画素及び背景画素が前記エッジ（４０２）の異なる側から選択される、サンプリングすることと、
    前記サンプリングされた前景画素（４０４）の強度値についての前景ヒストグラム（４１０）を生成することと、
    前記サンプリングされた背景画素（４０６）の強度値についての背景ヒストグラム（４１２）を生成することと、
    前記前景及び背景ヒストグラムを評価して最適な強度閾値を特定することであって、前記最適な強度閾値が、強度値が強度閾値を下回る又は上回ることに応じて、前記サンプリングされた画素を２つの別々の画素セットへ、前記２つの別々の画素セットが前記前景及び背景画素サンプルからのずれが最小となるように分離することが可能な強度閾値である、特定することと
    をさらに備える、請求項１から１０のいずれか一項に記載のシステム。
12. 前記動作が、
    前記前景画像の画素のそれぞれと、前記背景画像の画素のそれぞれとに重みを割り当てることであって、前記重みが、
    前記識別された精製されたエッジ画素（４０８）の前記顕著性値であって、前記識別された精製されたエッジ画素が、前記サンプリングされた前景（４０４）及び背景（４０６）画素の間に存在し、前記前景画素及び背景画素が両側からサンプリングされた前記精製されたエッジ画素の１つである、顕著性値と、
    前記識別された精製されたエッジ画素（４０８）の強度勾配の大きさであって、前記識別された精製されたエッジ画素が、前記サンプリングされた前景（４０４）及び背景（４０６）画素の間に存在し、前記前景画素及び背景画素が両側からサンプリングされた前記精製されたエッジ画素の１つである、大きさと
    に比例する、割り当てること
    をさらに備え、
    前記最適な強度閾値が、強度値が強度閾値を下回る又は上回ることに応じて、及び前記サンプリングされた画素の前記重みに応じて、前記サンプリングされた画素を２つの別々の画素セットへ、前記２つの別々の画素セットが前記前景及び背景画素サンプルからのずれが最小となるように分離することが可能なように特定される、請求項１１に記載のシステム。
13. 前記精製されたエッジ画素を用いて前景画素（４０４）及び背景画素（４０６）をサンプリングすることが、前記精製されたエッジ画素のそれぞれに対して、
    前記精製されたエッジ画素（４０８）における強度勾配を特定することであって、前記強度勾配が、前記判定すべき核種の内部に典型的な強度値の方向を指し示す、特定することと、
    前記特定された強度勾配の方向の前記精製されたエッジ画素（４０８）から事前定義された距離に存在する第１の画素（４０４）を前記サンプリングされた前景画素の１つとして選択することと、
    前記特定された強度勾配の反対方向の前記精製されたエッジ画素（４０８）から事前定義された距離に存在する第２の画素（４０６）を前記サンプリングされた背景画素の１つとして選択することと
    を備える、請求項１１又は１２に記載のシステム。
14. 前記動作が、
    前記デジタル画像（７０２）を複数の部分領域に分割することと、
    前記前景及び背景画素のサンプリングと、前記最適な強度閾値の決定とを、前記複数の部分領域のそれぞれについて別々に行うことと
    をさらに備える、請求項１１から１３のいずれか一項に記載のシステム。
15. 前記動作が、
    前記初期画像の各画素において前記複数の部分領域の前記最適な強度閾値を補間することと、
    前記画素のそれぞれに、その補間された最適な強度閾値を割り当てることと
    をさらに備える、請求項１４に記載のシステム。
16. 前記動作が、
    前記デジタル画像（７０２）の画素の強度値を、それぞれ割り当てられた補間された最適な強度閾値と比較して、前景画像マスクを自動的に生成することであって、前記前景画像マスクが、識別すべき核の中に存在しないと予測される全画素を選択的にマスクし隠蔽し、前記予測が、画素の強度値が、前記画素に割り当てられた前記補間された強度閾値を下回るか又は上回るかのいずれであると判明したかに依存する、生成することと、
    前記前景画像マスクを前記デジタル画像（７０２）に適用して、核の中に存在しないと予測される前記デジタル画像（７０２）の全画素を除去又は隠蔽することと
    をさらに備える、請求項１５に記載のシステム。
17. 前記動作が、
    複数の事前定義された角度のそれぞれについて、単一の計算ステップにおいて、それぞれのテンソル投票場（９０２、９０４、９０６）を計算することであって、前記計算されたテンソル投票場それぞれの各テンソルが、前記画像（７０２）の各画素（３１６）における強度勾配の方向に関する情報を組み込み、前記画素（３１６）に対する複数の近傍画素それぞれの相対位置を組み込み、各計算されたテンソル投票場が、前記画素の強度勾配の大きさに関する情報を有さない、計算すること
    をさらに備え、
    前記テンソル投票動作が、前記複数のテンソル投票場の計算の後に行われ、前記初期投票画素の１つによりその近傍画素の１つへ投票を行うことが、
    前記１つの初期投票画素（３１６、Ｏ）について、ＩＶＰ勾配角度を特定することであって、前記ＩＶＰ勾配角度が、前記画像のｘ軸と、前記１つの初期投票画素における前記強度勾配の方向との間の角度である、特定することと、
    前記特定されたＩＶＰ勾配角度と同一であるか、又は前記特定されたＩＶＰ勾配角度に最も類似した角度について計算された前記複数のテンソル投票場の１つ（９０４）を特定することと、
    前記特定されたテンソル投票場を前記デジタル画像（７０２）のグリッドと位置合わせすることと、
    前記特定されたテンソル投票場に組み込まれた前記１つの初期投票画素及び前記１つの近傍画素の相対位置を用いて、前記投票を計算するために分解されるテンソル値を特定することと
    を備える、請求項１から１６のいずれか一項に記載のシステム。
18. 前記動作が、
    多重応答抑制を前記顕著性エッジ画像（８０２）に実施し、次いで前記抑制された顕著性エッジ画像のヒステリシス閾値処理を実施して、前記デジタル画像（７０２）に対する精製されたエッジマスク（８０４）を生成すること
    をさらに備える、請求項１から１７のいずれか一項に記載のシステム。
19. 前記初期エッジが、Ｃａｎｎｙエッジ検出フィルタを前記初期画像に適用することで識別される、請求項１から１８のいずれか一項に記載のシステム。
20. 前記動作が、帯域制限操作可能フィルタの実装を用いてテンソル投票を計算することで前記テンソル投票場を計算することをさらに備え、ここで前記帯域制限操作可能フィルタを用いることで、テンソル投票の畳み込みを高速フーリエ変換と共に行うことが可能になる、請求項１から１９のいずれか一項に記載のシステム。
21. 前記動作が、
    各初期投票画素における前記初期画像（７０２）内での強度勾配を計算することと、
    前記初期投票画素における強度勾配を分析して、各初期投票画素のテンソル値のスティックテンソル成分を生成することであって、画素における強度勾配の方向が、その画素におけるスティックテンソル成分の方向として使用され、前記画素における強度勾配の勾配値が、その画素における前記スティックテンソル成分の強度に使用される、生成することと
    をさらに備える、請求項１から２０のいずれか一項に記載のシステム。
22. 前記初期画像（７０２）がグレースケール画像である、請求項１から２１のいずれか一項に記載のシステム。
23. 前記初期画像（７０２）が複数のカラーチャネルを含む、請求項１から２２のいずれか一項に記載のシステム。
24. 前記動作が、色分解、分離又は逆混合からなるグループから選択される方法を用いて、前記複数のカラーチャネルから１つのカラーチャネルを抽出することをさらに備える、請求項２４に記載のシステム。
25. 生物学的組織サンプルのデジタル画像（７０２）内の細胞核の境界を自動的に識別するための方法であって、デジタル病理画像分析システムのプロセッサにより実行され、
    前記プロセッサにより、前記デジタル画像（７０２）内の１つ又は複数の初期エッジを識別し、前記識別された初期エッジ内の画素を初期投票画素（Ｏ、３１６）として使用するステップと、
    前記プロセッサにより、テンソル投票場を用いて、前記初期投票画素（Ｏ、３１６）のそれぞれの近傍にある画素に対してテンソル投票動作を行うステップと、
    前記プロセッサにより、前記近傍画素（Ｐ、３２２、３２４）のそれぞれに対する複数の投票を累積して、前記近傍画素（Ｐ、３２２、３２４）に対するテンソル値を決定するステップであって、前記投票の量が、前記近傍画素が前記初期投票画素と同じ核のエッジ画素である可能性が高いかを示し、前記テンソル値が、近傍に前記近傍画素（Ｐ、３２２、３２４）が存在する全ての初期投票画素により行われた全ての投票の総和である、決定するステップと、
    前記プロセッサにより、前記決定されたテンソル値のそれぞれを分解して、前記分解されたテンソル値の固有値（λ_１、λ_２）及び固有ベクトル（ｅ_１、ｅ_２）を決定するステップと、
    前記プロセッサにより、前記決定された固有値及び固有ベクトルを評価して精製されたエッジ画素を識別するステップであって、前記精製されたエッジ画素が前記細胞核の境界を表す、識別するステップと、
    前記プロセッサにより、前記細胞核の境界を表す前記識別された精製されたエッジ画素を選択的に含む顕著性エッジ強度画像（８０６）を生成するステップと
    を備える、方法。
26. 処理システムにより実行するためのコンピュータ実行可能命令を有する有形非一時的コンピュータ可読媒体であって、前記コンピュータ実行可能命令が、生物学的組織サンプルの画像化分析のために物体境界の画定を行うためのものであり、前記コンピュータ実行可能命令が、実行された場合に、前記処理システムに請求項２５に記載の方法を実施させる、有形非一時的コンピュータ可読媒体。
27. 生物学的組織サンプル内の細胞核の境界を識別するための動作を行うためにプロセッサにより実行されるコンピュータ実行可能命令を記憶するための有形非一時的コンピュータ可読媒体であって、前記動作が、
    （ａ）初期投票画素の近傍の画素に対してテンソル投票動作を行うことと、
    （ｂ）前記近傍画素のそれぞれについての複数の投票を累積してテンソル値を決定することと、
    （ｃ）前記画素のテンソルの固有値及び固有ベクトルに基づいてエッジ画素を強調した顕著性エッジ強度画像を生成することと
    を備え、前記テンソル投票動作が、検出すべき構造に関する、前記核の大きさに限定されない領域知識と、前記エッジ上の勾配がほぼ同じ位置を指し示すという事実とを組み込む非対称テンソル投票場を使用する、有形非一時的コンピュータ可読媒体。
28. 前記初期投票画素がエッジ画素、接合画素、又は外れ値のいずれであるかを判定することをさらに備える、請求項２７に記載のコンピュータ可読媒体。
29. 前記動作が、前記画像を複数の画像ブロックに分割することをさらに備える、請求項２７に記載のコンピュータ可読媒体。
30. 前記動作が、各画像ブロック内の前景画素及び背景画素をサンプリングすることと、画像ブロックごとに、対応する顕著性で変調された／重み付けられた前景及び背景ヒストグラムを生成することとをさらに備える、請求項２９に記載のコンピュータ可読媒体。
31. 前記動作が、前記複数の画像ブロックのそれぞれに対して閾値範囲を決定することをさらに備える、請求項２９に記載のコンピュータ可読媒体。
32. 前記動作が、前記画像内の各エッジ画素における前記閾値を補間することをさらに備える、請求項３１に記載のコンピュータ可読媒体。
33. 処理システムにより実行するためのコンピュータ実行可能命令を有する有形非一時的コンピュータ可読媒体であって、前記コンピュータ実行可能命令が、生物学的組織サンプルの画像化分析のために物体境界の画定を行うためのものであり、前記コンピュータ実行可能命令が、実行された場合に、前記処理システムに、
    （ａ）初期画像（７０２）を読み出すことと、
    （ｂ）前記初期画像をエッジ選択フィルタでフィルタリングして初期エッジ画像（７０４）を生成することと、
    （ｃ）初期投票画素（ＩＶＰ、３１６）となる前記初期エッジ画像内の複数の画素を選択することと、
    （ｄ）前記ＩＶＰをトークン化してＩＶＰごとのテンソル要素トークンを生成することと、
    （ｅ）各ＩＶＰについての前記テンソル要素トークンにより示唆される前記ＩＶＰテンソルと位置合わせされた前記ＩＶＰについての重み付けられたテンソル投票場（ＷＴＶＦ）を形成することと、
    （ｆ）前記ＩＶＰからの複数のＷＴＶＦを各近傍画素におけるテンソル総和へ累積して、近傍画素にテンソル投票動作を行うことと、
    （ｇ）各画素における前記累積されたテンソル総和の固有値及び固有ベクトルを決定することと、
    （ｈ）前記画素における前記固有値及び前記固有ベクトルに基づいて前記初期画像の前記エッジ画素を強調した顕著性エッジ強度画像（８０６）を生成することと、
    （ｉ）多重応答抑制を前記顕著性エッジ画像に実施し、次いで前記抑制された顕著性エッジ画像のヒステリシス閾値処理を実施して、精製されたエッジマスク（８０４）を生成することと
    を備える動作を実施させ、これらのステップの実行が、前記画像の一部の領域で不明瞭である又は断片化している前記顕著な境界を検出することで、物体の境界の画定を生成するのに有効である、有形非一時的コンピュータ可読媒体。
34. （ａ）前記精製されたエッジマスクの各画素の近傍にわたって前記顕著性値により重み付けられた前景及び背景画素強度値の局所ヒストグラムを前記初期画像から生成することと、
    （ｂ）前記局所ヒストグラムの統計分析からヒステリシスエッジ検出閾値を決定することと、
    （ｃ）前記精製されたエッジマスクの下で前記初期画像に前記ヒステリシスエッジ検出閾値を適用して物体境界を決定することと
    をさらに備え、これらのステップの実行が、前記画像境界に沿った画像特徴を利用して前記顕著な境界を精製するのに有効である、請求項３３に記載の媒体。
35. 前記ＩＶＰをトークン化することが、前記検出すべき構造に関する領域固有の知識を用いてＩＶＰ及びそれらに関連付けられたＷＴＶＦの形成を制約することをさらに備える、請求項３３に記載の媒体。
36. ＩＶＰ及びそれらに関連付けられたＷＴＶＦの形成を制約することが、
    （ａ）各ＩＶＰの場所における前記初期画像内の局所画像勾配を計算することと、
    （ｂ）前記ＩＶＰを前記画像勾配でトークン化してＩＶＰごとのスティックテンソル要素トークンを生成することと
    をさらに備え、画素における初期画像局所勾配の方向が、その画素におけるスティックテンソルトークンの方向及び強度属性に使用される、請求項３５に記載の媒体。
37. 前記領域固有の知識が、生物学的細胞核境界を識別する必要性に由来し、細胞核が断面においてほぼ円形であり、境界勾配が全て、前記細胞核の中心付近のほぼ同じ場所を指し示す、請求項３６に記載の媒体。
38. 前記初期画像をフィルタリングすることが、前記初期画像に対する前記エッジ選択フィルタ用にＣａｎｎｙフィルタを用いることをさらに備える、請求項３３に記載の媒体。
39. 前記ＷＴＶＦを形成することが、帯域制限操作可能フィルタの実装を用いてテンソル投票を計算することをさらに備え、ここで前記帯域制限操作可能フィルタを用いることで、テンソル投票の畳み込みをＦＦＴと共に行って、前記計算を大幅に加速することを可能にする、請求項３３に記載の媒体。
40. テンソル投票動作を行うことが、
    （ａ）前記画像を部分領域にタイル化することと、
    （ｂ）各タイルにおいて重み付けられた強度値のヒストグラムを形成することと、
    （ｃ）隣接するタイルにおける前記閾値の補間から原画像の境界閾値処理のための最適な閾値レベルを計算することと
    をさらに備える、請求項３３に記載の媒体。
41. （ａ）プロセッサと、
    （ｂ）前記プロセッサに結合されたメモリであって、前記プロセッサにより実行された場合に、
    ｉ．画像により構成される複数の画像ブロックに対する閾値範囲を決定することと、
    ｉｉ．前記複数の画像ブロックのそれぞれに対する複数の閾値範囲に基づいて適応的閾値画像を生成することと、
    ｉｉｉ．前記適応的閾値画像に基づいて前記画像から前記前景を抽出することと
    を備える動作を前記プロセッサに行わせるコンピュータ実行可能命令を記憶するための、メモリと
    を備え、各画像ブロックが、テンソル投票動作により決定される複数のエッジ画素を備える、デジタル病理用のシステム。
42. 前記テンソル投票動作が、前記初期エッジ画素における法線方向に沿って非対称である投票場を生成することをさらに備える、請求項４１に記載のシステム。
43. 前記動作が、前記近傍画素のそれぞれについての複数の投票を累積して、エッジ画素、接合画素、又は外れ値の１つである画素を判定することをさらに備える、請求項４１に記載のシステム。
44. 前記動作が、前記累積された投票に基づいて真のエッジ画素である画素を強調した顕著性エッジ画像を生成することをさらに備える、請求項４３に記載のシステム。
45. （ａ）非対称投票場及び減衰関数を生成して画像の領域内の真の核境界を決定するステップと、
    （ｂ）勾配方向又は顕著性エッジ方向に基づいて、前記真の核境界上の画素ごとに前景画素及び背景画素をサンプリングするステップと、
    （ｃ）前記画像の前記領域に対して、顕著性又は勾配の大きさで変調された／重み付けられた背景ヒストグラム及び前景ヒストグラムを生成するステップと、
    （ｄ）前記前景ヒストグラム及び前記背景ヒストグラムを用いて、前記画像の前記領域に対する閾値範囲を計算するステップと、
    （ｅ）前記画像の複数の領域に対応する複数の閾値範囲の補間に基づいて閾値画像を生成するステップと
    を備える、方法。
46. 前記画像がグレースケール画像である、請求項４５の方法。
47. 前記画像が複数のカラーチャネルを含む、請求項４５の方法。
48. 色分解、分離又は逆混合からなるグループから選択される方法を用いて、前記複数のカラーチャネルから１つのカラーチャネルを抽出するステップをさらに備える、請求項４７の方法。