JP2018517188A - 細胞画像および映像の分類 - Google Patents

Abstract

細胞分類を実行する方法は、複数の局所的特徴記述（２２０）を入力画像のセット（２１０）から抽出するステップと、符号化プロセスを適用し、複数の局所的特徴記述の各々を多次元符号（２２５）に変換するステップと、を含む。特徴プーリング動作（２３０）は、複数の局所的特徴記述の各々に適用され、複数の画像表現を生成し、各画像表現は、複数の細胞タイプ（２４０）の１つとして分類される。

Description

関連出願についての相互参照
［１］この出願は、２０１５年３月２日に出願された米国仮出願番号第６２／１２６，８２３号の優先権を主張し、この仮出願は、本願明細書に参照によってその全体が組み込まれる。

［２］本発明は、概して、細胞画像および映像の分類を実行する方法、システムおよび装置に関するものである。提案された技術は、例えば、内視鏡検査画像およびデジタルホログラフィック顕微鏡検査画像を分類するために適用されてもよい。

［３］生体内細胞画像処理は、画像処理システム、例えば内視鏡から獲得される画像を用いた、生きている細胞の研究である。蛍光タンパク質および合成フルオロフォア技術の最近の進歩のため、生体内細胞画像処理技術に向けられる研究努力の量は増加しており、生体内細胞画像処理技術は、細胞および組織機能の基本的な性質への洞察を提供する。生体内細胞画像処理技術は、現在複数のモダリティにわたり、例えば、多光子、スピニングディスク顕微鏡検査、蛍光、位相コントラストおよび差動干渉コントラストおよびレーザー走査共焦点ベースデバイスを含む。

［４］顕微鏡検査画像処理データが格納され、デジタル的に処理される量はさらに増加しているので、１つの挑戦は、これらの画像を分類し、医療処置の間、確実に画像を理解することである。これらの技術によって取得された結果を用いて、臨床医の手動／主観的な分析を支援してもよく、より信頼性が高く整合した試験結果を導く。従来のシステムでは、結果は、しばしば、時間がかかり、計算集約的な手動の試験手順を用いて獲得されなければならない。このために、手動の試験手順の欠点に対処するために、自動化技術（および関連するシステム）を提供し、生体内細胞画像のパターンを決定することが望ましい。

［５］本発明の実施形態は、本願明細書において、「局所制約スパース符号化」（ＬＳＣ）と称される特徴符号化プロセスに関する方法、システムおよび装置を提供することによって、上述した欠点の１つまたは複数に対処および解決する。以下で詳述するように、ＬＳＣは、従来技術と比較してより良好な弁別力のための符号スパース性を強化するだけではなく、ＬＳＣは、各記述がその局所座標系内で最良に符号化されるという点で、符号化局所性を保存する。これらの技術は、さまざまな細胞画像および映像分類問題を含む任意の符号化ベースの画像分類問題に適用されてもよい。

［６］いくつかの実施形態によれば、細胞分類を実行する方法は、局所的特徴記述を入力画像のセットから抽出するステップと、符号化プロセスを適用し、局所的特徴記述の各々を多次元符号に変換するステップと、を含む。特徴プーリング動作は、複数の局所的特徴記述の各々に適用され、画像表現を生成する。次に、各画像表現は、複数の細胞タイプの１つとして分類される。いくつかの実施形態では、入力画像のセットは、映像ストリームを備え、それによって、各画像表現は、多数決を用いて所定の長さを有する時間窓内で分類される。

［７］さまざまな技術が、入力画像のセットを獲得するのに用いられてもよい。例えば、いくつかの実施形態では、複数の入力画像は、医療処置の間、例えば完全血球計算血液検査の間、例えば内視鏡検査デバイスまたはデジタルホログラフィック顕微鏡検査デバイスを介して獲得される。エントロピー値は、複数の入力画像ごとに計算される。各エントロピー値は、それぞれの画像内のテクスチャ情報の量を表す。次に、１つまたは複数の低エントロピー画像は、入力画像のセット内で識別される。これらの低エントロピー画像は、各々、閾値未満のそれぞれのエントロピー値に関連付けられる。次に、入力画像のセットは、複数の入力画像に基づいて生成され、低エントロピー画像を除外する。

［８］いくつかの実施形態では、上述した方法で用いられる符号化プロセスは、生成されたコードブックを用いてもよい。例えば、いくつかの実施形態では、訓練特徴は、画像の訓練セットから抽出される。ｋ平均クラスタリングプロセスは、訓練特徴を用いて実行され、特徴クラスタを生成し、特徴クラスタは、次に、コードブックを生成するのに用いられる。ｋ平均クラスタリングプロセスの正確な実施態様は、種々の実施形態に従って変化してもよい。例えば、一実施形態では、ｋ平均クラスタリングプロセスは、全数近傍探索（ｅｘｈａｕｓｔｉｖｅ ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ ｓｅａｒｃｈ）に基づくユークリッド距離を用いて、特徴クラスタを取得する。他の実施態様では、ｋ平均クラスタリングプロセスは、階層的な語彙ツリー探索に基づくユークリッド距離を用いて、特徴クラスタを取得する。コードブックが生成されると、符号化プロセスは、コードブックを用いて、局所的特徴記述の各々を多次元符号に変換してもよい。

［９］さらに、上述した方法で用いられる符号化プロセス自体の実施態様が種々の実施形態において変化してもよいことに留意されたい。いくつかの実施形態では、スパース符号化プロセスが用いられてもよい。例えば、一実施形態では、符号化プロセスは、局所制約線形符号化（ＬＬＣ）の符号化プロセスである。他の実施形態では、符号化プロセスは、ＬＳＣ符号化プロセスである。他の実施形態では、符号化プロセスは、バッグオブワーズ（ＢｏＷ）符号化プロセスである。

［１０］他の実施形態によれば、細胞分類を実行する第２の方法は、医療処置前に、訓練画像に基づいてコードブックを生成するステップを含む。医療処置の間、細胞分類プロセスが実行される。このプロセスは、例えば内視鏡検査デバイスを用いて、入力画像を獲得するステップを含んでもよい。入力画像に関連付けられた特徴記述が決定され、符号化プロセスが適用され、複数の特徴記述を符号化データセットに変換する。特徴プーリング動作は、符号化データセットに適用され、画像表現を生成し、訓練された分類器を用いて、その画像表現に対応するクラスラベルを識別する。識別されたクラスラベルは、例えば、入力画像を獲得した内視鏡検査デバイスに動作可能に結合されたディスプレイに示されてもよい。このクラスラベルは、情報、例えば、入力画像内の生物学的物質が悪性であるか、または、良性であるかの徴候を提供してもよい。上述した第２の方法の符号化プロセスの実施態様は、種々の実施形態に従って変化してもよい。例えば、一実施形態では、符号化プロセスは、特徴記述ごとに最適化問題を反復的に解くステップを含む。この最適化問題は、それぞれの特徴記述に対する符号スパース性および符号局所性を強化するように構成されてもよい。例えば、いくつかの実施形態では、ｋ近傍法は、各特徴記述に適用され、複数の局所ベースを識別する。次に、各最適化問題における符号局所性は、これらの局所ベースを用いて強化されてもよい。各最適化問題は、例えば交互方向乗数のような方法を用いて解かれてもよい。

［１１］他の実施形態によれば、細胞分類を実行するシステムは、顕微鏡検査デバイス、画像処理コンピュータおよびディスプレイを含む。顕微鏡検査デバイスは、医療処置の間、入力画像のセットを取得するように構成される。周知のさまざまな形の顕微鏡検査デバイスを用いてもよく、共焦点レーザー内視鏡検査デバイスまたはデジタルホログラフィック顕微鏡検査デバイスを含むが、これらに限定されるものではない。画像処理コンピュータは、医療処置の間、細胞分類プロセスを実行するように構成される。この細胞分類プロセスは、入力画像のセットに関連付けられた特徴記述を決定するステップと、符号化プロセスを適用し、特徴記述を符号化データセットに変換するステップと、特徴プーリング動作を符号化データセットに適用し、画像表現を生成するステップと、訓練された分類器を用いて、画像表現に対応するクラスラベルを識別するステップと、を含む。ディスプレイは、医療処置の間、クラスラベルを示すように構成される。

［１２］本発明の追加の特徴および効果は、図示の実施形態の以下の詳細な説明から明らかになり、添付の図面を参照しながら詳細な説明を開始する。

［１３］本発明の前述の態様および他の態様は、添付の図面に関連して読まれると、以下の詳細な説明から最も理解される。本発明を例示するために、図面には、現在好適な実施形態が示されるが、本発明が開示される特定の手段に限定されないことを理解されたい。図面には、以下の図が含まれる。

いくつかの実施形態に従う、細胞分類を実行するのに用いてもよい内視鏡検査ベースシステムの一例を提供する。 本発明のいくつかの実施形態において適用されてもよい細胞分類プロセスの概要を提供する。 膠芽腫および髄膜腫の低エントロピーおよび高エントロピーの画像のセットを提供する。 いくつかの実施形態において利用されてもよいような、脳腫瘍データセット画像内の画像エントロピー分布の一例を提供する。 いくつかの実施形態に従う、フィルタ学習の間用いられてもよい交互投影法の一例を提供する。 いくつかの実施形態において用いられてもよい血球データセットからの細胞画像の一例を提供する。 本願明細書に記載されている技術を用いて収集されてもよいような、訓練および試験のための白血球データセットの詳細な統計を有するテーブルを提供する。 いくつかの実施形態に従う、白血球データセットに適用されるときの、種々の方法の認識精度および速度を有するテーブルを提供する。 いくつかの実施形態において収集および利用されてもよいような、膠芽腫および髄膜腫の低エントロピーおよび高エントロピーの画像の図を提供する。 いくつかの実施形態に従う、脳腫瘍データセット上の種々の分類方法の認識精度および速度の図を提供する。 いくつかの実施形態に従う、時間窓サイズに対して多数決ベースの分類の性能を図示するグラフを示す。 本発明の実施形態が実施されてもよい例示的なコンピューティング環境を示す。

［２６］以下の開示は、特徴符号化プロセスに関する方法、システムおよび装置に向けられたいくつかの実施形態を含み、特徴符号化プロセスは、本願明細書では、３部分の分類パイプラインを利用する局所制約スパース符号化（ＬＳＣ）と称される。これらの３部分は、オフラインの教師なしコードブック学習と、オフラインの教師あり分類器訓練と、オンラインの画像および映像分類と、を含む。さらに、いくつかの実施形態では、ＬＳＣ問題に対する高速近似解は、ｋ近傍（Ｋ−ＮＮ）探索および交互方向乗数法（Ａｌｔｅｒｎａｔｉｎｇ Ｄｉｒｅｃｔｉｏｎ Ｍｅｔｈｏｄ ｏｆ Ｍｕｌｔｉｐｌｉｅｒｓ：ＡＤＭＭ）に基づいて決定される。細胞分類のさまざまなシステム、方法および装置は、２つの細胞画像診断法、すなわち、共焦点レーザー内視鏡検査（ＣＬＥ）およびデジタルホログラフィック顕微鏡検査（ＤＨＭ）を参照して記載されている。しかしながら、この開示の各種実施形態がこれらの診断法に限定されず、さまざまな臨床設定において適用されてもよいことを理解されたい。さらに、本願明細書に記載されている技術がさまざまなタイプの医療画像の分類または自然画像の分類にさえ適用されてもよいことを理解されたい。

［２７］図１は、いくつかの実施形態に従う、ＬＳＣを用いて特徴符号化を実行するのに用いられてもよい内視鏡検査ベースシステム１００の一例を提供する。内視鏡検査は、簡潔には、組織学のような画像を人体内部からリアルタイムに「光学的生検」として公知のプロセスにより取得するための技術である。「内視鏡検査」という用語は、一般的に、蛍光共焦点顕微鏡検査を意味するが、多光子顕微鏡検査および光干渉断層撮影もまた内視鏡使用に適用され、同様に各種実施形態において用いられてもよい。市販の臨床内視鏡の非限定的な例は、ＰｅｎｔａｘのＩＳＣ−１０００／ＥＣ３８７０ＣＩＫおよびＣｅｌｌｖｉｚｉｏ（Ｍａｕｎａ Ｋｅａ Ｔｅｃｈｎｏｌｏｇｉｅｓ、パリ、フランス）を含む。主要な用途は、従来は、消化管を画像処理する際、特にバレット食道、膵臓胞および結腸直腸の病変の診断および特性評価のためであった。共焦点内視鏡検査の診断スペクトルは、近年、結腸直腸癌のスクリーニングおよび監視から、バレット食道、ヘリコバクターピロリ関連の胃炎および初期の胃癌の方に拡大した。内視鏡検査は、腸粘膜および生体内組織構造の表面下の分析を、進行中の内視鏡検査の間最大分解能で点走査レーザー蛍光分析によって可能にする。細胞、脈管および接続構造は、詳細に見ることができる。共焦点レーザー内視鏡検査を用いて見られる新規な詳細画像は、腸の表面上および表面下にある細胞構造および機能における固有の観察を可能にする。さらに、以下で詳述するように、内視鏡検査は、悪性（膠芽腫）および良性（髄膜腫）の腫瘍を通常の組織から識別することが臨床的に重要である脳外科手術に適用されてもよい。

［２８］図１の例において、一群のデバイスは、共焦点レーザー内視鏡検査（ＣＬＥ）を実行するように構成される。これらのデバイスは、画像処理コンピュータ１１０に動作可能に結合されるプローブ１０５および画像処理ディスプレイ１１５を含む。図１において、プローブ１０５は、共焦点細径プローブである。しかしながら、さまざまなタイプの細径プローブが用いられてもよく、さまざまな視野、画像深さ、遠位端直径、方位分解能および距離分解能を画像処理するために設計されるプローブを含むことに留意されたい。画像処理コンピュータ１１０は、画像処理の間プローブ１０５により用いられる励起光またはレーザー源を提供する。さらに、画像処理コンピュータ１１０は、タスク、例えば、プローブ１０５によって収集される画像の記録、再構成、修正および／またはエクスポートを実行するための画像処理ソフトウェアを含んでもよい。画像処理コンピュータ１１０は、以下、図２を参照して詳述される細胞分類プロセスを実行するように構成されてもよい。

［２９］フットペダル（図１に示されない）は、画像処理コンピュータ１１０に接続され、ユーザが機能を実行できるようにしてもよく、機能とは、例えば、共焦点画像処理透過の深さの調整、画像獲得の開始および終了、および／または、ローカルのハードドライブまたはリモートのデータベース、例えばデータベースサーバ１２５に画像を保存することである。代替的または追加的に、他の入力デバイス（例えば、コンピュータ、マウス等）が、画像処理コンピュータ１１０に接続され、これらの機能を実行してもよい。画像処理ディスプレイ１１５は、プローブ１０５によってキャプチャされる画像を、画像処理コンピュータ１１０を介して受信し、これらの画像を臨床設定において視認するために示す。

［３０］図１の例を続けると、画像処理コンピュータ１１０は、ネットワーク１２０に（直接的または間接的に）接続される。ネットワーク１２０は、公知技術の任意のコンピュータネットワークを含んでもよく、イントラネットまたはインターネットを含むが、これらに限定されるものではない。ネットワーク１２０によって、画像処理コンピュータ１１０は、画像、映像または他の関連データをリモートのデータベースサーバ１２５に格納することができる。さらに、ユーザコンピュータ１３０は、画像処理コンピュータ１１０またはデータベースサーバ１２５と通信し、データ（例えば、画像、映像または他の関連データ）を検索することができ、このデータは、次に、ユーザコンピュータ１３０でローカルに処理可能である。例えば、ユーザコンピュータ１３０は、画像処理コンピュータ１１０またはデータベースサーバ１２５からデータを検索してもよく、そのデータを用いて、図２で後述する細胞分類プロセスを実行してもよい。

［３１］図１は、ＣＬＥベースのシステムを示すが、他の実施形態では、システムは、ＤＨＭ画像処理デバイスを代替的に用いてもよい。干渉位相顕微鏡検査としても知られるＤＨＭは、透明な標本におけるナノメートル以下の光学的厚さ変化を量的に撮影する能力を提供する画像処理技術である。標本に関する強度（振幅）情報のみがキャプチャされる従来のデジタル顕微鏡検査とは異なり、ＤＨＭは、位相および強度の両方をキャプチャする。ホログラムとしてキャプチャされる位相情報は、コンピュータアルゴリズムを用いて、標本に関する拡張した形態学的情報（例えば、深さおよび表層特徴）を再構成するために使用可能である。最新のＤＨＭの実施態様は、いくつかの追加の利点、例えば高速走査／データ獲得速度、低ノイズ、高分解能およびラベルなしのサンプル獲得の可能性を提供する。ＤＨＭは、１９６０年代に最初に記載されたが、計測器サイズ、動作の複雑性およびコストは、この技術を臨床またはポイントオブケア用途に広範囲に採用する際の大きな障害であった。最近の開発は、これらの障害に対処する試みをしながら、鍵となる特徴を強化し、ＤＨＭが医療および医療以外における中心的かつ多角的な重要技術として魅力的なオプションになりうる可能性を高めている。

［３２］高分解能かつ広視野の画像処理を、拡張した深さおよび形態学的情報で、潜在的にラベルなしの方法で達成するＤＨＭの能力は、いくつかの臨床用途に用いられる技術を位置付けし、臨床用途は、血液学（例えば、赤血球容積測定、白血球差、細胞種類分類）、尿沈渣分析（例えば、層内のマイクロ流体サンプルを走査して沈渣を再構成し、沈渣成分の分類精度を改善する）、組織病理学（例えば、ＤＨＭの拡張形態／コントラストを利用し、新しい組織内でラベル付けなく健康な細胞からガンを識別する）、希少細胞検出（例えば、ＤＨＭの拡張形態／コントラストを利用し、希少細胞、例えば循環腫瘍／上皮細胞、幹細胞、感染細胞等を区別する）を含む。ＤＨＭ技術の最新の進歩、特にサイズ、複雑性およびコストの減少を考えると、これらおよび他の用途（図２において後述する細胞分類プロセスを含む）は、臨床環境内で、または、ポイントオブケアの分散的方法において実行可能である。

［３３］図２は、本発明のいくつかの実施形態に従う、ＬＳＣを適用する細胞分類プロセス２００の概要を提供する。このプロセス２００は、３部分、すなわち、オフラインの教師なしコードブック学習と、オフラインの教師あり分類器訓練と、オンラインの画像および映像分類と、を備えるパイプラインとして示される。プロセス２００の中心的要素は、局所的特徴抽出、特徴符号化、特徴プーリングおよび分類である。簡潔には、局所的特徴点は、入力画像上で検出され、記述は、各特徴点から抽出される。これらの記述は、例えば、ローカルバイナリーパターン（ＬＢＰ）、スケール不変特徴変換（ＳＩＦＴ）、ガボール特徴および／または勾配方向ヒストグラム（ＨＯＧ）を含んでもよい。局所的特徴を符号化するために、コードブックは、オフラインで学習される。ｍ個のエントリを有するコードブックが適用され、各記述を量子化し、「符号」層を生成する。いくつかの実施形態では、Ｋ平均クラスタリング法が利用される。教師あり分類のために、各記述は、次に、Ｒ^ｍ符号に変換される。最後に、分類器は、符号化特徴を用いて訓練される。この分類器は、従来技術において周知の任意の分類器を含んでもよく、例えば、サポートベクターマシン（ＳＶＭ）および／またはランダムフォレスト分類器を含む。入力画像が映像ストリームベースであるいくつかの実施形態では、プロセス１００は、隣接する画像からの視覚的刺激を組み込むことができる。これは、プロセスの性能を大幅に向上させる。入力画像が低コントラストであり、ほとんど分類情報を含まない他の実施態様では、プロセスは、それらの画像をさらなる処理から自動的に廃棄することができる。これは、プロセス１００の全体的なロバストネスを増加させる。細胞分類プロセス２００を実行するための各種要素は、いくつかの実施形態において適用されてもよいいくつかの追加の任意の特徴とともに、以下、より詳細に記載されている。

［３４］細胞分類プロセス２００の開始前に、エントロピーベースの画像剪定要素２０５を任意に用いて、低い画像テクスチャ情報を有する（例えば、低コントラストで、ほとんど分類情報を含まない）画像フレームであって、臨床的に興味がなく、画像分類に適さないかもしれない画像フレームを自動的に除去してもよい。この除去を用いて、例えば、いくつかのＣＬＥデバイスの限定された画像処理能力を対象にしてもよい。画像エントロピーは、画像の「情報性」を記載するのに用いられる量であり、すなわち、画像内に含まれる情報の量である。低エントロピー画像は、ごくわずかなコントラストおよび同一または同様のグレー値を有する大量のピクセルを有する。一方、高エントロピー画像は、あるピクセルから次のピクセルまで多くのコントラストを有する。図３は、膠芽腫および髄膜腫の低エントロピーおよび高エントロピーの画像のセットを提供する。図示のように、低エントロピー画像は、多くの均一な画像領域を含み、一方、高エントロピー画像は、豊富な画像構造によって特徴付けられる。

［３５］いくつかの実施形態では、エントロピーベースの画像剪定要素２０５は、エントロピー閾値を用いて剪定を実行する。この閾値は、データセットの全体にわたって画像エントロピーの分布に基づいて設定されてもよい。図４は、いくつかの実施形態において利用されてもよいような、脳腫瘍データセット画像内の画像エントロピー分布の一例を提供する。図示のように、エントロピーが残りの画像のエントロピーより著しく低い比較的多数の画像が存在する。このように、この例に関して、エントロピー閾値は、画像の１０％が本システムの後のステージから廃棄されるように設定可能である（例えば、図４に示されるデータについては４．０５）。

［３６］局所的特徴２２０は、１つまたは複数の入力画像２１０から抽出される。さまざまな技術が、特徴抽出のために適用されてもよい。いくつかの実施形態では、局所的特徴２２０は、人間設計特徴を用いて抽出され、人間設計特徴は、例えば、スケール不変特徴変換（ＳＩＦＴ）、ローカルバイナリーパターン（ＬＢＰ）、勾配方向ヒストグラム（ＨＯＧ）およびガボール特徴であるが、これらに限定されるものではない。各技術は、臨床応用および他のユーザ所望の結果の特徴に基づいて構成されてもよい。例えば、ＳＩＦＴは、コンピュータービジョンにおける多数の目的のために用いられてきた局所的特徴記述である。ＳＩＦＴは、画像領域内の転換、回転およびスケーリング変換に不変であり、適度な透視変換および照明変動に強い。実験的に、ＳＩＦＴ記述は、現実世界の条件下で画像マッチングおよび物体認識のための実行に非常に役立つということが証明された。一実施形態では、１０ピクセルの間隔を有する格子上で計算される２０×２０ピクセルのパッチの高密度のＳＩＦＴ記述が利用される。この種の高密度の画像記述を用いて、細胞構造内の均一領域、例えば髄膜腫の場合には低コントラスト領域をキャプチャしてもよい。

［３７］いくつかの実施形態では、人間設計特徴を用いるよりはむしろ、機械学習技術が用いられ、訓練画像から学習されたフィルタに基づいて、局所的特徴２２０を自動的に抽出する。これらの機械学習技術は、さまざまな検出技術を用いてもよく、検出技術は、エッジ検出、コーナー検出、塊検出、リッジ検出、エッジ方向、強度変化、動き検出および形状検出を含むが、これらに限定されるものではない。

［３８］図２を続けて参照し、特徴符号化要素２２５は、符号化プロセスを適用し、各局所的特徴２２０をｍ次元の符号ｃ_ｉ＝［ｃ_ｉ１，・・・，ｃ_ｉｍ］^Ｔ∈Ｒ^ｍに変換する。この変換は、ｍ個のエントリのコードブックを用いて実行され、Ｂ＝［ｂ_ｉ，・・・，ｂ_ｎ］∈Ｒ^ｄ×ｎは、構成コードブック要素２１５によってオフラインで生成される。さまざまな技術が、コードブックを生成するために用いられてもよい。例えば、いくつかの実施形態では、ｋ平均クラスタリングは、多数（例えば１０００００）の局所的特徴のランダムなサブセット上で実行され、訓練セットから抽出され、視覚語彙を形成する。各特徴クラスタは、例えば、ユークリッド距離ベースの全数近傍探索または階層的な語彙ツリー構造（バイナリ探索ツリー）を利用することによって取得されてもよい。

［３９］さまざまなタイプの符号化プロセスは、特徴符号化要素２２５によって使用されてもよい。４つの例の符号化プロセス、すなわち、バッグオブワーズ（ＢｏＷ）、スパース符号化、局所制約線形符号化（ＬＬＣ）および局所制約スパース符号化（ＬＳＣ）が本願明細書に記載されている。いくつかの実施形態では、特徴符号化要素２２５によって使用される符号化プロセスは、構成コードブック要素２１５によって生成されるコードブックのパラメータのいくつかを決定するのを支援してもよい。例えば、ＢｏＷ方式のために、８のツリー深さを有する語彙ツリー構造が用いられてもよい。スパース符号化、ＬＬＣおよびＬＳＣのために、ユークリッド距離ベースの全数近傍探索のｋ平均が用いられてもよい。

［４０］Ｘが、画像から抽出されたｄ次元の局所記述のセットであるとする（すなわち、Ｘ＝［ｘ_ｉ，・・・，ｘ_ｎ］∈Ｒ^ｄ×ｎ）。ＢｏＷが符号化プロセスとして使用される場合、局所的特徴ｘ_ｉのために、１と、ただ１つのゼロ以外の符号化係数と、が存在する。ゼロ以外の符号化係数は、所定の距離に影響される最も近い視覚ワードに対応する。ユークリッドの距離が採用されると、符号ｃ_ｉは、（１）のように計算されてもよい。

［４１］スパース符号化方式において、各局所的特徴ｘ_ｉは、コードブックの基底ベクトルのスパースセットの一次結合によって表される。係数ベクトルｃ_ｉは、ｌ_１ノルム正則化問題を解くことによって（２）のように取得される。

ここで、｜｜・｜｜_１は、ベクトルのｌ_１ノルムを意味する。制約ｌ^Ｔ・ｃ_ｉ＝１は、スパース符号要件に従う。

［４２］スパース符号化とは異なり、ＬＬＣは、スパース性の代わりにコードブックの局所性を強化する。これは、ｘ_ｉからさらに離れた基底ベクトルのためのより小さい係数に至る。符号ｃ_ｉは、（３）の正規化最小二乗誤差を解くことによって計算される。

ここで、◎は、要素ごとの乗算を意味し、ｄ_ｉ∈Ｒ^ｍは、局所適応（アダプタ）であり、異なる自由度をその類似性に比例した基礎ベクトルごとに入力記述ｘ_ｉに与える。具体的には、（４）のとおりである。

ここで、ｄｉｓ（ｘ_ｉ，Ｂ）＝［ｄｉｓ（ｘ_ｉ，ｂ_１）・・・ｄｉｓ（ｘ_ｉ，ｂ_ｍ）］^Ｔであり、ｄｉｓ（ｘ_ｉ，ｂ_ｊ）は、ｘ_ｉとｂ_ｊとの間のユークリッド距離である。σの値は、局所適応のための重み低下速度を調整するために用いられる。

［４３］ＬＳＣ機能符号化方法は、より良好な弁別力のための符号スパース性を実施するだけでなく、各記述がその局所座標系内で最良に符号化されるという意味で符号局所性も保存するという点で、従来方法に有利に匹敵する。具体的には、ＬＳＣ符号は、（５）のように定式化可能である。

さまざまなアルゴリズムが従来のスパース符号化問題を解くために存在するが、それは、局所重みベクトルｄ_ｉのために、著しく挑戦的な最適化問題になる。いくつかの実施形態では、交互方向乗数法（ＡＤＭＭ）は、式（５）を解くために用いられる。第一に、ダミー変数ｙ_ｉ∈Ｒ^ｍが導入され、式（５）が（６）のように再公式化されてもよい。

次に、本発明では、上記の対象式の拡大ラグランジュ関数を形成することができ、（７）になる。

ＡＤＭＭは、（８ａ）（８ｂ）（８ｃ）のように、３つの繰り返しを含む。

これによって、第１の問題は、一連の下位問題に分解可能である。下位問題８ａにおいて、本発明では、ｙ_ｉに関してのみ、

を最小化し、

は対象式から消え、対象式を非常に効率的かつ単純な最小二乗の回帰問題にする。下位問題８ｂにおいて、本発明では、ｃ_ｉに関してのみ、

を最小化し、

は消え、ｃ_ｉは、各要素にわたって独立して解くことができる。これによって、ここでは、ソフト閾値処理をより効率的に用いることができる。次に、ｙ_ｉおよびｃ_ｉの現在の推定値は、下位問題８ｃに組み込まれ、ラグランジュ乗数ρおよびγの現在の推定値を更新する。ここで、ρおよびγが特別な役割を果たすことに留意されたい。なぜなら、ρおよびγによって、ｙ_ｉおよびｃ_ｉの両方を解くとき、ρおよびγの不完全な推定値を使用することができるからである。便宜上、（９）のソフト閾値処理（収縮）演算子が使用されてもよい。

［４４］図５は、いくつかの実施形態に従う、式（５）を解くためのアルゴリズムの追加の詳細を提供する。コードブックＢのサイズは、アルゴリズムの計算時間に直接影響を及ぼす。ＬＳＣの高速近似解を見つけるために、本発明は、局所ベースＢ_ｉとしてｘ_ｉのＫ近傍（Ｋ＜ｎ）を単に用いることができ、はるかに小さいスパース再構成システムを解き、（１０）の符号を得ることができる。

Ｋは、通常、非常に小さいので、式（１０）を解くのは、非常に高速である。Ｋ近傍を探索するために、単純ではあるが、効率的な階層的なＫ−ＮＮ探索ストラテジを適用可能である。このようにして、非常に大きいコードブックを用いて、モデリング能力を改善するとともに、ＬＳＣの計算は、高速かつ効率的なままに維持される。

［４５］図２に戻ると、特徴プーリング要素２３０は、１つまたは複数の特徴プーリング動作を適用し、特徴マップをまとめ、最終的な画像表現を生成する。特徴プーリング要素２３０は、例えば、最大プーリング、平均プーリングまたはこれらの組み合わせを含む従来周知の任意のプーリング技術を適用してもよい。例えば、いくつかの実施形態では、特徴プーリング要素２３０は、最大プーリング動作および平均プーリング動作の構成を用いる。例えば、各特徴マップは、規則的間隔の正方形パッチに分割されてもよく、最大プーリング動作が適用されてもよい（すなわち、各正方形パッチ上の特徴のための最大応答が決定されてもよい）。最大プーリング動作は、転換に対する局所不変性を可能にする。次に、最大応答の平均は、正方形パッチから計算されてもよい、すなわち、平均プーリングは、最大プーリング後に適用される。最後に、平均プーリング動作から特徴応答を集約することによって、画像表現が形成されてもよい。

［４６］分類要素２４０は、１つまたは複数の所定の基準に基づいて、最終的な画像表現のための１つまたは複数のクラスラベルを識別する。分類要素２４０は、臨床研究に基づいて訓練および構成されてもよい１つまたは複数の分類器アルゴリズムを利用する。例えば、いくつかの実施形態では、分類器は、脳腫瘍データセットを用いて訓練され、その結果、画像を膠芽腫または髄膜腫にラベル付け（分類）することができる。さまざまなタイプの分類器アルゴリズムは、分類要素２４０により用いられてもよく、サポートベクターマシン（ＳＶＭ）、ｋ近傍（ｋ−ＮＮ）およびランダムフォレストを含むが、これらに限定されるものではない。さらに、異なるタイプの分類器を組み合わせて用いることもできる。

［４７］映像画像シーケンスのために、多数決要素２４５は、映像ストリームのための認識性能を高める多数決ベースの分類方式を任意に実行してもよい。このように、入力画像が映像ストリームベースである場合、プロセス２００は、隣接する画像から視覚的刺激を組み込むことができる。多数決要素２４５は、因果関係を示す方法（ｃａｕｓａｌ ｆａｓｈｉｏｎ）で現行フレームを囲む固定長の時間窓内の画像の多数決結果を用いて、クラスラベルを現在の画像に割り当てる。窓の長さは、ユーザ入力に基づいて構成されてもよい。例えば、ユーザは、この種の値を導出するのに用いてもよい特定の長さの値または臨床設定を提供してもよい。あるいは、長さは、過去の結果の分析に基づいて、時間とともに動的に調整されてもよい。例えば、多数決要素２４５が不十分または準最適な結果を提供していることをユーザが示す場合、小さい値によって窓サイズを修正することによって窓を調整してもよい。時間とともに、多数決要素２４５は、細胞分類プロセス２００によって処理されているデータタイプごとに、最適な窓の長さを学習することができる。

［４８］細胞分類プロセス２００の例示的応用として、白血球データセットを考慮し、白血球データセットは、Ｔ細胞、好中球、単球、好酸球および好塩基球を含む５つの白血球カテゴリの画像を備える。この種のデータセットの一例は、図６に示される。画像サイズは、１２０×１２０である。実験は、それぞれ細胞分類プロセスにより、ＢｏＷ、ＬＬＣおよびＬＳＣの使用の相違を評価するために実行された。図７Ａは、訓練および試験のための血球データセットの詳細な統計を有するテーブルを提供する。図７Ｂは、白血球データセットに適用されるときの種々の方法の認識精度および速度を有するテーブルを提供する。図７Ｂに示すように、ＬＳＣは、ほぼすべての場合において、ＢｏＷおよびＬＬＣより優れているとは言わないまでも同様に良好な認識を提供する。

［４９］他の例として、脳腫瘍組織を検査するために患者の脳内に挿入されるＣＬＥデバイス（図１参照）を用いて収集される内視鏡の映像を考慮する。この収集の結果は、膠芽腫のための映像セットおよび髄膜腫のための映像セットになってもよい。この種の映像において収集される画像の一例は、図３に示される。本願明細書において述べられる技術の性能を評価するために、分析は、１つの映像を抜き出す検証法（ｌｅａｖｅ−ｏｎｅ−ｖｉｄｅｏ−ｏｕｔ）を用いて実行された。より具体的には、第１段階として、１０個の膠芽腫および１０個の髄膜腫のシーケンスがランダムに選択された。次に、第２段階として、その第１のセットからのシーケンスの１対が試験のために選択され、残りのシーケンスが訓練のために選択された。次に、第３段階として、４０００個の膠芽腫フレームおよび４０００個の髄膜腫フレームが、訓練セットから選択される。実験は、１０回繰り返された。図８Ａに示すように、脳腫瘍は、顕微鏡の円領域内のみで視認できるので、円形マスクが各画像に適用され、局所的特徴は、円形マスク内のみから抽出される。図８Ｂは、本願明細書において記載されている種々の技術が、脳腫瘍データセットに適用されたときの認識精度および速度を詳述するテーブルを示す。

［５０］さらに、本願明細書において記載されている多数決のための技術もまた、脳腫瘍データセットを用いて示されてもよい。図９は、時間窓サイズに対して多数決ベースの分類の性能を図示するグラフを示す。この例では、スライドする時間窓は、長さＴに設定され、現行フレームのためのクラスラベルは、スライドする時間窓内のフレームの多数決の結果を用いて導出される。図９に示されるチャートには、時間窓の長さＴに対する認識性能が与えられる。この例では、最適性能は、Ｔ＝５で達成される。より高い認識精度がはるかに長い時間窓を用いて達成可能であることは大いにありうる。しかしながら、実際には、認識、速度および精度の間において、相対的重要性のバランスをとらなければならない。

［５１］図１０は、本発明の実施形態が実施されてもよい例示的なコンピューティング環境１０００を示す。例えば、このコンピューティング環境１０００を用いて、図１に示されている１つまたは複数のデバイスを実施し、図２に記載されている細胞分類プロセス２００を実行してもよい。コンピューティング環境１０００は、コンピュータシステム１０１０を含んでもよく、コンピュータシステム１０１０は、本発明の実施形態が実施されてもよいコンピューティングシステムの一例である。コンピュータおよびコンピューティング環境、例えばコンピュータシステム１０１０およびコンピューティング環境１０００は、当業者に周知であるので、本願明細書では簡潔に記載されている。

［５２］図１０に示すように、コンピュータシステム１０１０は、コンピュータシステム１０１０内で情報を通信するための通信メカニズム、例えばバス１０２１または他の通信メカニズムを含んでもよい。コンピュータシステム１０１０は、バス１０２１に結合され、情報を処理するための１つまたは複数のプロセッサ１０２０をさらに含む。プロセッサ１０２０は、１つまたは複数の中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）または他の任意の周知のプロセッサを含んでもよい。

［５３］コンピュータシステム１０１０は、バス１０２１に結合され、プロセッサ１０２０によって実行される情報および命令を格納するためのシステムメモリ１０３０もまた含む。システムメモリ１０３０は、揮発性および／または不揮発性メモリの形のコンピュータ可読記憶媒体、例えば読み出し専用メモリ（ＲＯＭ）１０３１および／またはランダムアクセスメモリ（ＲＡＭ）１０３２を含んでもよい。システムメモリＲＡＭ１０３２は、他の動的なストレージデバイス（例えば、ダイナミックＲＡＭ、スタティックＲＡＭおよび同期ＤＲＡＭ）を含んでもよい。システムメモリＲＯＭ１０３１は、他のスタティックストレージデバイス（例えば、プログラマブルＲＯＭ、消去可能なＰＲＯＭおよび電気的消去可能ＰＲＯＭ）を含んでもよい。さらに、システムメモリ１０３０を用いて、一時的な変数または他の中間情報を、プロセッサ１０２０による命令の実行中に格納してもよい。コンピュータシステム１０１０内の要素間で情報を転送するのに役立つ基本的なルーチンを含む基本入出力システム１０３３（ＢＩＯＳ）は、例えばスタートアップの間、ＲＯＭ１０３１内に格納されてもよい。ＲＡＭ１０３２は、直ちにアクセス可能である、および／または、現在プロセッサ１０２０によって動作されるデータおよび／またはプログラムモジュールを含んでもよい。システムメモリ１０３０は、例えば、オペレーティングシステム１０３４、アプリケーションプログラム１０３５、他のプログラムモジュール１０３６およびプログラムデータ１０３７をさらに含んでもよい。

［５４］コンピュータシステム１０１０は、バス１０２１に結合され、１つまたは複数のストレージデバイスを制御し、情報および命令を格納するためのディスクコントローラ１０４０、例えばハードディスク１０４１および取り外し可能なメディアドライブ１０４２（例えば、フロッピーディスクドライブ、コンパクトディスクドライブ、テープドライブおよび／またはソリッドステートドライブ）もまた含む。ストレージデバイスは、コンピュータシステム１０１０に、適切なデバイスインタフェース（例えば、スカジ（ＳＣＳＩ）、インテグレートデバイスエレクトロニクス（ＩＤＥ）、ユニバーサルシリアルバス（ＵＳＢ）またはファイヤーワイヤー）を用いて追加されてもよい。

［５５］コンピュータシステム１０１０は、バス１０２１に結合され、ディスプレイ１０６６を制御するためのディスプレイコントローラ１０６５もまた含んでもよく、ディスプレイ１０６６は、例えば、情報をコンピュータユーザに表示するための陰極線管（ＣＲＴ）または液晶ディスプレイ（ＬＣＤ）である。コンピュータシステムは、入力インタフェース１０６０および１つまたは複数の入力デバイス、例えばキーボード１０６２およびポインティングデバイス１０６１を含み、コンピュータユーザと相互作用し、情報をプロセッサ１０２０に提供する。ポインティングデバイス１０６１は、例えば、マウス、トラックボールまたはポインティングスティックでもよく、指示情報および命令選択をプロセッサ１０２０に通信し、ディスプレイ上のカーソル移動を制御する。ディスプレイ１０６６は、タッチスクリーンインタフェースを提供してもよく、タッチスクリーンインタフェースによって、入力は、ポインティングデバイス１０６１による指示情報および命令選択の通信を補充または置換することができる。

［５６］コンピュータシステム１０１０は、メモリ、例えばシステムメモリ１０３０内に含まれる１つまたは複数の命令の１つまたは複数のシーケンスを実行しているプロセッサ１０２０に応答して、本発明の実施形態の処理ステップの一部または全部を実行してもよい。この種の命令は、他のコンピュータ可読媒体、例えばハードディスク１０４１または取り外し可能メディアドライブ１０４２からシステムメモリ１０３０に読み込まれてもよい。ハードディスク１０４１は、本発明の実施形態により用いられる１つまたは複数のデータストアおよびデータファイルを含んでもよい。データストアコンテンツおよびデータファイルは、暗号化されセキュリティを改善してもよい。プロセッサ１０２０は、多重プロセス構成で使用され、システムメモリ１０３０内に含まれる命令の１つまたは複数のシーケンスを実行してもよい。代替実施形態では、配線回路が、ソフトウェア命令の代わりに、または、ソフトウェア命令と組み合わせて用いられてもよい。このように、実施形態は、ハードウェア回路およびソフトウェアのいかなる特定の組み合わせにも限定されない。

［５７］上述したように、コンピュータシステム１０１０は、少なくとも１つのコンピュータ可読媒体またはメモリを含み、本発明の実施形態に従ってプログラムされる命令を保持し、本願明細書に記載されているデータ構造、テーブル、記録または他のデータを含んでもよい。本願明細書で用いられる「コンピュータ可読媒体」という用語は、命令をプロセッサ１０２０に提供し、実行することに関する任意の媒体を意味する。コンピュータ可読媒体は、不揮発性媒体、揮発性媒体および伝送媒体を含むが、これらに限定されず多くの形をとってもよい。不揮発性媒体の非限定的な例は、光ディスク、ソリッドステートドライブ、磁気ディスクおよび光磁気ディスク、例えばハードディスク１０４１または取り外し可能メディアドライブ１０４２を含む。揮発性媒体の非限定的な例は、ダイナミックメモリ、例えばシステムメモリ１０３０を含む。伝送媒体の非限定的な例は、同軸ケーブル、銅線およびファイバオプティクスを含み、バス１０２１を形成する線を含む。伝送媒体は、音響波または光波、例えば電波および赤外線通信の間生成される波の形をとってもよい。

［５８］コンピューティング環境１０００は、ネットワーク環境において、１つまたは複数のリモートコンピュータ、例えばリモートコンピュータ１０８０に対する論理接続を用いて動作するコンピュータシステム１０１０をさらに含んでもよい。リモートコンピュータ１０８０は、パーソナルコンピュータ（ラップトップまたはデスクトップ）、モバイル機器、サーバ、ルータ、ネットワークＰＣ、ピアデバイスまたは他のコモンネットワークノードでもよく、典型的には、コンピュータシステム１０１０に関して上述した要素の多数または全部を含む。ネットワーク環境において用いられるとき、コンピュータシステム１０１０は、ネットワーク１０７１、例えばインターネットを介する通信を確立するためのモデム１０７２を含んでもよい。モデム１０７２は、バス１０２１に、ユーザネットワークインタフェース１０７０を介して、または、他の適切なメカニズムを介して接続されてもよい。

［５９］ネットワーク１０７１は、従来技術において一般的に公知の任意のネットワークまたはシステムでもよく、インターネット、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、直接接続または直列接続、携帯電話ネットワーク、または、コンピュータシステム１０１０と他のコンピュータ（例えば、リモートコンピュータ１０８０）との間の通信を容易にすることができる他の任意のネットワークまたは媒体を含む。ネットワーク１０７１は、有線、無線またはそれらの組み合わせでもよい。有線接続は、イーサネット、ユニバーサルシリアルバス（ＵＳＢ）、ＲＪ−１１または従来技術において一般的に公知の他の任意の有線接続を用いて実施されてもよい。無線接続は、Ｗｉ−Ｆｉ、ＷｉＭＡＸおよびブルートゥース、赤外線、携帯ネットワーク、衛星または従来技術において一般的に公知の他の任意の無線接続方法を用いて実施されてもよい。さらに、いくつかのネットワークは、単独でまたは互いに通信して機能し、ネットワーク１０７１内の通信を容易にしてもよい。

［６０］本発明の実施形態は、ハードウェアおよびソフトウェアの任意の組み合わせによって実施されてもよい。さらに、本発明の実施形態は、例えばコンピュータ可読非一時的媒体を有する製品（例えば、１つまたは複数のコンピュータプログラム製品）に含まれてもよい。媒体は、本願明細書において、例えば、本発明の実施形態のメカニズムを提供および容易にするためのコンピュータ可読プログラム符号を実現してきた。製品は、コンピュータシステムの一部として含まれることもできるし、別々に売られることもできる。

［６１］さまざまな態様および実施形態が本願明細書において開示されてきたが、他の態様および実施形態は、当業者にとって明らかである。本願明細書において開示されるさまざまな態様および実施形態は、説明のためであって、制限することを意図せず、真の範囲および精神は、以下の請求項によって示される。

［６２］本願明細書で用いられる実行可能アプリケーションは、例えば、ユーザ命令または入力に応答して、プロセッサに所定の機能を実施するように調整するための符号または機械読み取り可能な命令を備え、所定の機能は、例えば、オペレーティングシステム、文脈データ獲得システムまたは他の情報処理システムの機能である。実行可能手順は、符号または機械可読命令のセグメント、サブルーチン、または、１つまたは複数の特定のプロセスを実行するための実行可能アプリケーションの部分または符号の他の異なるセクションである。これらのプロセスは、入力データおよび／またはパラメータの受信、受信した入力データ上の動作の実行および／または受信した入力パラメータに応答した機能の実行、結果として生じる出力データおよび／またはパラメータの提供を含んでもよい。

［６３］本願明細書で用いられるグラフィカルユーザインタフェース（ＧＵＩ）は、１つまたは複数の表示画像を含み、ディスプレイプロセッサによって生成され、プロセッサまたは他のデバイスとのユーザ相互作用、関連データの獲得および機能の処理を可能にする。ＧＵＩは、実行可能手順または実行可能アプリケーションもまた含む。実行可能手順または実行可能アプリケーションは、ディスプレイプロセッサにＧＵＩ表示画像を表す信号を生成するように調整する。これらの信号は、ユーザが見るための画像を表示するディスプレイデバイスに供給される。プロセッサは、実行可能手順または実行可能アプリケーションの制御下で、入力デバイスから受信する信号に応答して、ＧＵＩ表示画像を操作する。このようにして、ユーザは、入力デバイスを用いて、表示画像と相互作用してもよく、プロセッサまたは他のデバイスとのユーザ相互作用を可能にする。

［６４］本願明細書における機能およびプロセスステップは、自動的に実行されてもよいし、ユーザ命令に応答して完全にまたは部分的に実行されてもよい。自動的に実行される動作（ステップを含む）は、１つまたは複数の実行可能命令またはデバイス動作に応答して、ユーザが動作を直接開始することなく実行される。

［６５］図面のシステムおよびプロセスは、排他的ではない。他のシステム、プロセスおよびメニューは、本発明の原理に従って同一の目的を達成するために導出されてもよい。本発明は、特定の実施形態を参照して記載されてきたが、本願明細書において図示および記載された実施形態およびバリエーションが単に図示目的のためだけであることを理解されたい。現在の設計に対する変更態様は、当業者によって、本発明の範囲を逸脱することなく実施されてもよい。本願明細書において記載されているように、さまざまなシステム、サブシステム、エージェント、マネージャおよびプロセスは、ハードウェア要素、ソフトウェア要素および／またはそれらの組み合わせを用いて実装可能である。本願明細書における請求項の要素は、その要素が「〜のための手段」という用語を用いて明確に記載されていない限り、米国特許法第１１２条第６段落の規定により解釈されるべきではない。

Claims (20)

1. 細胞分類を実行する方法であって、前記方法は、
   複数の局所的特徴記述を入力画像のセットから抽出するステップと、
   符号化プロセスを適用し、前記複数の局所的特徴記述の各々を多次元符号に変換するステップと、
   特徴プーリング動作を前記複数の局所的特徴記述の各々に適用し、複数の画像表現を生成するステップと、
   各画像表現を複数の細胞タイプの１つとして分類するステップと、
   を含む方法。
2. 複数の入力画像を獲得するステップと、
   前記複数の入力画像ごとにエントロピー値を計算するステップであって、各エントロピー値は、それぞれの画像内のテクスチャ情報の量を表すステップと、
   入力画像の前記セット内の１つまたは複数の低エントロピー画像を識別するステップであって、前記１つまたは複数の低エントロピー画像は、各々、閾値未満のそれぞれのエントロピー値に関連付けられるステップと、
   前記複数の入力画像に基づいて、入力画像の前記セットを生成するステップであって、入力画像の前記セットは、前記１つまたは複数の低エントロピー画像を除外するステップと、
   をさらに含む、
   請求項１に記載の方法。
3. 前記複数の入力画像は、内視鏡検査デバイスを用いて医療処置の間獲得される、
   請求項２に記載の方法。
4. 前記複数の入力画像は、デジタルホログラフィック顕微鏡検査デバイスを用いて完全血球計算血液検査の間獲得される、
   請求項２に記載の方法。
5. 複数の訓練特徴を画像の訓練セットから抽出するステップと、
   前記複数の訓練特徴を用いて、ｋ平均クラスタリングプロセスを実行し、複数の特徴クラスタを生成するステップと、
   前記複数の特徴クラスタに基づいてコードブックを生成するステップと、
   をさらに含み、
   前記符号化プロセスは、前記コードブックを用いて、前記複数の局所的特徴記述の各々を前記多次元符号に変換する、
   請求項１に記載の方法。
6. 前記ｋ平均クラスタリングプロセスは、全数近傍探索に基づくユークリッド距離を用いて、前記複数の特徴クラスタを取得する、
   請求項５に記載の方法。
7. 前記符号化プロセスは、スパース符号化プロセスである、
   請求項６に記載の方法。
8. 前記符号化プロセスは、局所制約線形符号化（ＬＬＣ）の符号化プロセスである、
   請求項６に記載の方法。
9. 前記符号化プロセスは、局所制約スパース符号化（ＬＳＣ）の符号化プロセスである、
   請求項６に記載の方法。
10. 前記ｋ平均クラスタリングプロセスは、階層的な語彙ツリー探索に基づくユークリッド距離を用いて、前記複数の特徴クラスタを取得する、
    請求項５に記載の方法。
11. 前記符号化プロセスは、バッグオブワーズ（ＢｏＷ）符号化プロセスである、
    請求項１０に記載の方法。
12. 入力画像の前記セットは、映像ストリームを備え、各画像表現は、多数決を用いて所定の長さを有する時間窓内で分類される、
    請求項１に記載の方法。
13. 細胞分類を実行する方法であって、前記方法は、
    前記医療処置前に、複数の訓練画像に基づいてコードブックを生成するステップと、
    前記医療処置の間、細胞分類プロセスを実行するステップと、
    を含み、細胞分類プロセスを実行するステップは、
    内視鏡検査デバイスを用いて入力画像を獲得するステップと、
    前記入力画像に関連付けられた複数の特徴記述を決定するステップと、
    符号化プロセスを適用し、前記複数の特徴記述を符号化データセットに変換するステップと、
    特徴プーリング動作を前記符号化データセットに適用し、画像表現を生成するステップと、
    訓練された分類器を用いて、前記画像表現に対応するクラスラベルを識別するステップと、
    前記クラスラベルを、前記内視鏡検査デバイスに動作可能に結合されたディスプレイに示すステップと、
    を含む方法。
14. 前記符号化プロセスは、
    特徴記述ごとに、それぞれの特徴記述に対する符号スパース性および符号局所性を強化する最適化問題を反復的に解くステップを含む、
    請求項１３に記載の方法。
15. 前記最適化問題は、交互方向乗数法を用いて解かれる、
    請求項１４に記載の方法。
16. ｋ近傍法を前記それぞれの特徴記述に適用し、複数の局所ベースを識別するステップをさらに含み、
    各最適化問題における前記符号局所性は、前記複数の局所ベースを用いて強化される、
    請求項１５に記載の方法。
17. 前記クラスラベルは、前記入力画像内の生物学的物質が悪性であるか、または、良性であるかの徴候を提供する、
    請求項１３に記載の方法。
18. 細胞分類を実行するシステムであって、前記システムは、
    医療処置の間、入力画像のセットを獲得するように構成される顕微鏡検査デバイスと、
    前記医療処置の間、細胞分類プロセスを実行するように構成される画像処理コンピュータと、
    ディスプレイと、
    を備え、
    前記細胞分類プロセスは、
    入力画像の前記セットに関連付けられた複数の特徴記述を決定するステップと、
    符号化プロセスを適用し、前記複数の特徴記述を符号化データセットに変換するステップと、
    特徴プーリング動作を前記符号化データセットに適用し、画像表現を生成するステップと、
    訓練された分類器を用いて、前記画像表現に対応するクラスラベルを識別するステップと、
    を含み、
    前記ディスプレイは、前記医療処置の間、前記クラスラベルを示すように構成される、
    システム。
19. 前記顕微鏡検査デバイスは、共焦点レーザー内視鏡検査デバイスである、
    請求項１８に記載のシステム。
20. 前記顕微鏡検査デバイスは、デジタルホログラフィック顕微鏡検査デバイスである、
    請求項１８に記載のシステム。

Images