[22]以下の開示は、細胞オンライン画像分類システムに関する方法、システムおよび装置に向けられたいくつかの実施形態を含み、細胞オンライン画像分類システムは、深層畳み込みネットワークに基づく教師なし特徴学習モデルを利用する。従来技術において理解されているように、深層畳み込みネットワークは、畳み込みの画像分解に基づく教師なし学習フレームワークである。深層畳み込みネットワークは、生物学的に関連した特徴を入力画像から学習する能力を提供し、学習した特徴は、フレームワークのその畳み込み再構成の性質のため変換に不変である。細胞分類のさまざまなシステム、方法および装置は、2つの細胞画像診断法、すなわち、共焦点レーザー内視鏡検査(CLE)およびデジタルホログラフィック顕微鏡検査(DHM)を参照して記載されている。しかしながら、この開示の各種実施形態がこれらの診断法に限定されず、さまざまな臨床設定において適用されてもよいことを理解されたい。さらに、本願明細書に記載されている技術がさまざまなタイプの医療画像の分類または自然画像の分類にさえ適用されてもよいことを理解されたい。
[23]図1は、いくつかの実施形態に従う、細胞分類を実行するのに用いられてもよい内視鏡検査ベースシステム100の一例を提供する。内視鏡検査は、簡潔には、組織学のような画像を人体内部からリアルタイムに「光学的生検」として公知のプロセスにより取得するための技術である。「内視鏡検査」という用語は、一般的に、蛍光共焦点顕微鏡検査を意味するが、多光子顕微鏡検査および光干渉断層撮影もまた内視鏡使用に適用され、同様に各種実施形態において用いられてもよい。市販の臨床内視鏡の非限定的な例は、PentaxのISC−1000/EC3870CIKおよびCellvizio(Mauna Kea Technologies、パリ、フランス)を含む。主要な用途は、従来は、消化管を画像処理する際、特にバレット食道、膵臓胞および結腸直腸の病変の診断および特性評価のためであった。共焦点内視鏡検査の診断スペクトルは、近年、結腸直腸癌のスクリーニングおよび監視から、バレット食道、ヘリコバクターピロリ関連の胃炎および初期の胃癌の方に拡大した。内視鏡検査は、腸粘膜および生体内組織構造の表面下の分析を、進行中の内視鏡検査の間最大分解能で点走査レーザー蛍光分析によって可能にする。細胞、脈管および接続構造は、詳細に見ることができる。共焦点レーザー内視鏡検査を用いて見られる新規な詳細画像は、腸の表面上および表面下にある細胞構造および機能における固有の観察を可能にする。さらに、以下で詳述するように、内視鏡検査は、悪性(膠芽腫)および良性(髄膜腫)の腫瘍を通常の組織から識別することが臨床的に重要である脳外科手術に適用されてもよい。
[24]図1の例において、一群のデバイスは、共焦点レーザー内視鏡検査(CLE)を実行するように構成される。これらのデバイスは、画像処理コンピュータ110に動作可能に結合されるプローブ105および画像処理ディスプレイ115を含む。図1において、プローブ105は、共焦点細径プローブである。しかしながら、さまざまなタイプの細径プローブが用いられてもよく、さまざまな視野、画像深さ、遠位端直径、方位分解能および距離分解能を画像処理するために設計されるプローブを含むことに留意されたい。画像処理コンピュータ110は、画像処理の間プローブ105により用いられる励起光またはレーザー源を提供する。さらに、画像処理コンピュータ110は、タスク、例えば、プローブ105によって収集される画像の記録、再構成、修正および/またはエクスポートを実行するための画像処理ソフトウェアを含んでもよい。画像処理コンピュータ110は、以下、図2を参照して詳述される細胞分類プロセスを実行するように構成されてもよい。
[25]フットペダル(図1に示されない)は、画像処理コンピュータ110に接続され、ユーザが機能を実行できるようにしてもよく、機能とは、例えば、共焦点画像処理透過の深さの調整、画像獲得の開始および終了、および/または、ローカルのハードドライブまたはリモートのデータベース、例えばデータベースサーバ125に画像を保存することである。代替的または追加的に、他の入力デバイス(例えば、コンピュータ、マウス等)が、画像処理コンピュータ110に接続され、これらの機能を実行してもよい。画像処理ディスプレイ115は、プローブ105によってキャプチャされる画像を、画像処理コンピュータ110を介して受信し、これらの画像を臨床設定において視認するために示す。
[26]図1の例を続けると、画像処理コンピュータ110は、ネットワーク120に(直接的または間接的に)接続される。ネットワーク120は、公知技術の任意のコンピュータネットワークを含んでもよく、イントラネットまたはインターネットを含むが、これらに限定されるものではない。ネットワーク120によって、画像処理コンピュータ110は、画像、映像または他の関連データをリモートのデータベースサーバ125に格納することができる。さらに、ユーザコンピュータ130は、画像処理コンピュータ110またはデータベースサーバ125と通信し、データ(例えば、画像、映像または他の関連データ)を検索することができ、このデータは、次に、ユーザコンピュータ130でローカルに処理可能である。例えば、ユーザコンピュータ130は、画像処理コンピュータ110またはデータベースサーバ125からデータを検索してもよく、そのデータを用いて、図2で後述する細胞分類プロセスを実行してもよい。
[27]図1は、CLEベースのシステムを示すが、他の実施形態では、システムは、DHM画像処理デバイスを代替的に用いてもよい。干渉位相顕微鏡検査としても知られるDHMは、透明な標本におけるナノメートル以下の光学的厚さ変化を量的に撮影する能力を提供する画像処理技術である。標本に関する強度(振幅)情報のみがキャプチャされる従来のデジタル顕微鏡検査とは異なり、DHMは、位相および強度の両方をキャプチャする。ホログラムとしてキャプチャされる位相情報は、コンピュータアルゴリズムを用いて、標本に関する拡張した形態学的情報(例えば、深さおよび表層特徴)を再構成するために使用可能である。最新のDHMの実施態様は、いくつかの追加の利点、例えば高速走査/データ獲得速度、低ノイズ、高分解能およびラベルなしのサンプル獲得の可能性を提供する。DHMは、1960年代に最初に記載されたが、計測器サイズ、動作の複雑性およびコストは、この技術を臨床またはポイントオブケア用途に広範囲に採用する際の大きな障害であった。最近の開発は、これらの障害に対処する試みをしながら、鍵となる特徴を強化し、DHMが医療および医療以外における中心的かつ多角的な重要技術として魅力的なオプションになりうる可能性を高めている。
[28]高分解能かつ広視野の画像処理を、拡張した深さおよび形態学的情報で、潜在的にラベルなしの方法で達成するDHMの能力は、いくつかの臨床用途に用いられる技術を位置付けし、臨床用途は、血液学(例えば、赤血球容積測定、白血球差、細胞種類分類)、尿沈渣分析(例えば、層内のマイクロ流体サンプルを走査して沈渣を再構成し、沈渣成分の分類精度を改善する)、組織病理学(例えば、DHMの拡張形態/コントラストを利用し、新しい組織内でラベル付けなく健康な細胞から癌を識別する)、希少細胞検出(例えば、DHMの拡張形態/コントラストを利用し、希少細胞、例えば循環腫瘍/上皮細胞、幹細胞、感染細胞等を区別する)を含む。DHM技術の最新の進歩、特にサイズ、複雑性およびコストの減少を考えると、これらおよび他の用途(図2において後述する細胞分類プロセスを含む)は、臨床環境内で、または、ポイントオブケアの分散的方法において実行可能である。
[29]図2は、本発明のいくつかの実施形態において適用されてもよい細胞分類プロセス200の概要を提供する。このプロセス200は、3部分、すなわち、オフラインの教師なしフィルタ学習と、オフラインの教師あり分類器訓練と、オンラインの画像および映像分類と、を備えるパイプラインとして示される。プロセス100の中心的要素は、フィルタ学習、畳み込みスパース符号化、特徴プーリングおよび分類である。簡潔には、生物学的に特定のフィルタは、1つまたは複数の訓練画像から学習される。1つまたは複数の画像フレームは、生物学的画像処理デバイス(図1参照)から、直接的または間接的に受信される。次に、畳み込みスパース符号化が適用され、学習したフィルタを、学習したフィルタで畳み込まれる画像のためのスパース特徴マップのセットの合計として分解する。次に、これらの特徴マップは、3つの層、すなわち、要素ごとの絶対値修正(element−wise absolute value rectification:Abs)、局所コントラスト正規化(LCN)および特徴プーリング(FP)によって処理される。最後に、分類器は、結果として生じる特徴に適用され、所定の細胞データに基づいて、データのための1つまたは複数のクラスラベルを識別する。これらのクラスラベルは、例えば、特定の組織が悪性であるか、または、良性であるかの徴候を提供してもよい。さらに、いくつかの実施形態では、クラスラベルは、健康な組織の徴候を提供してもよい。細胞分類プロセス200を実行するための各種要素は、いくつかの実施形態において適用されてもよいいくつかの追加の任意の特徴とともに、以下、より詳細に記載されている。
[30]細胞分類プロセス200の開始前に、エントロピーベースの画像剪定要素205を任意に用いて、低い画像テクスチャ情報を有する(例えば、低コントラストで、ほとんど分類情報を含まない)画像フレームであって、臨床的に興味がなく、画像分類に適さないかもしれない画像フレームを自動的に除去してもよい。この除去を用いて、例えば、いくつかのCLEデバイスの限定された画像処理能力を対象にしてもよい。画像エントロピーは、画像の「情報性」を記載するのに用いられる量であり、すなわち、画像内に含まれる情報の量である。低エントロピー画像は、ごくわずかなコントラストおよび同一または同様のグレー値を有する大量のピクセルを有する。一方、高エントロピー画像は、あるピクセルから次のピクセルまで多くのコントラストを有する。図3は、膠芽腫および髄膜腫の低エントロピーおよび高エントロピーの画像のセットを提供する。図示のように、低エントロピー画像は、多くの均一な画像領域を含み、一方、高エントロピー画像は、豊富な画像構造によって特徴付けられる。
[31]いくつかの実施形態では、エントロピーベースの画像剪定要素205は、エントロピー閾値を用いて剪定を実行する。この閾値は、データセットの全体にわたって画像エントロピーの分布に基づいて設定されてもよい。図4は、いくつかの実施形態において利用されてもよいような、脳腫瘍データセット画像内の画像エントロピー分布の一例を提供する。図示のように、エントロピーが残りの画像のエントロピーより著しく低い比較的多数の画像が存在する。このように、この例に関して、エントロピー閾値は、画像の10%が本システムの後のステージから廃棄されるように設定可能である(例えば、図4に示されるデータについては4.05)。
[32]図2を続けて参照し、フィルタ学習要素215は、生物学的に特定のフィルタを訓練画像から学習するように構成される。さまざまな技術が、フィルタを学習する際に用いられてもよい。例えば、いくつかの実施形態では、最適化問題は、反復的に解かれ、フィルタを決定する。X={x
i}
N i=1が2D画像のセットであり、x
i∈R
m×nであり、F={f
k}
N k=1が畳み込みフィルタであり、f
k∈R
w×wであるとする。画像x
iごとに、Z
i={z
i k}
K k=1が特徴マップのセットであり、z
i kは、次元(m+w−1)×(n+w−1)を有する。訓練の間、フィルタ学習要素215は、フィルタの最適セットおよび各訓練画像を再構成する特徴マップについて解くことを意図する。いくつかの実施形態では、これらの計算は、以下の式(1)(2)によって定量化される。
式(1)の第1の項は、画像再構成エラーを意味し、第2の項は、特徴マップにかけられるスパース性の正則化を意味する。この式において、||・||
1は、L1ノルムであり、||・||
2は、L2ノルムである。スター*は、2D離散畳み込み演算を意味する。パラメータλは、スパース性の正則化項の重みパラメータである。ユニットエネルギー制約(式(2))は、フィルタにかけられ、自明な解を回避してもよい。いくつかの実施形態では、式(1)は、交互投影法によって解かれ、フィルタを固定して保ちながら、特徴マップにわたりL(F,Z)を最小化し、次に、特徴マップを固定して保ちながら、フィルタにわたりL(F,Z)を最小化する、ということを交互に行ってもよい。対象式(1)がFおよびZに対して凸結合ではないが、FおよびZの各々に対して、他方が固定されているとき凸である。このように、アルゴリズムの収束は保証される。アルゴリズムの例示的実施態様は、図5において与えられる。
[33]フィルタの学習のために上述した技術が、どのようにフィルタが決定されてもよいかの単なる一例である点に留意されたい。この技術は、種々の実施形態において変化してもよい。例えば、交互投影法以外の最適化アルゴリズムを用いて、式を解いてもよいし(例えば、交互方向乗数法(Alternating Direction Method of Multipliers)または高速反復収縮閾値アルゴリズム(Fast Iterative Shrinkage Thresholding Algorithm))、異なる学習技術が使用されてもよい(例えば、ニューラルネットワーク)。追加的に(または代替的に)、上述した以外の式が、フィルタ計算に用いられてもよい。
[34]畳み込みスパース符号化要素220は、フィルタ学習要素215からの学習したフィルタを利用し、学習したフィルタを、学習したフィルタで畳み込まれる入力画像210のためのスパース特徴マップのセットの合計として分解する。式(1)に対して上述した表記を用いて、これらの特徴マップは、本願明細書において{z
i k}と称される。畳み込みスパース符号化は、直接シフト不変をモデル化するように設計され、スパース符号化技術を大型画像に適用することのスケーラビリティ問題を直接克服する一般的に公知の技術である。畳み込みスパース符号化のための対象式は、(3)のように表現されてもよい。
式(3)は、上述した式(1)を解くのと同様に、最適化方程式を用いて解いてもよい。このように、例えば、FISTAまたは交互方向乗数法のような技術が使用されてもよい。
[35]畳み込みスパース符号化要素220がその処理を完了した後、特徴マップ{z
i k}は、3つの層、すなわち、要素ごとの絶対値修正(Abs)、局所コントラスト正規化(LCN)および特徴プーリング(FP)によって処理される。図2に示されるAbs要素230は、各特徴マップ内の絶対値を要素ごとに計算し、次の動作の取消し効果を回避する。LCN要素235は、局所的減算動作および除算動作を実行することによって、特徴マップ{z
i k}にわたり、より強い特徴応答を強化し、より弱い特徴応答を抑制する。所定の位置z
k i,pq(pおよびqは、特徴マップz
i k上のxおよびy方向のピクセルインデックスである)のための局所的減算動作は、例えば、(4)のように決定されてもよい。
式(4)において、w
ΔpΔqは、Σ
ΔpΔqw
ΔpΔq=1のように正規化された重み関数であり、ΔpΔqは、xおよびy方向のピクセルインデックスである。局所的除算動作は、式(4)に従って実行されてもよい。
[36]特徴プーリング要素240は、1つまたは複数の特徴プーリング動作を適用し、特徴マップをまとめ、最終的な画像表現を生成する。特徴プーリング要素240は、例えば、最大プーリング、平均プーリングまたはこれらの組み合わせを含む従来周知の任意のプーリング技術を適用してもよい。例えば、いくつかの実施形態では、特徴プーリング要素240は、最大プーリング動作および平均プーリング動作の構成を用いる。例えば、各特徴マップは、規則的間隔の正方形パッチに分割されてもよく、最大プーリング動作が適用されてもよい(すなわち、各正方形パッチ上の特徴のための最大応答が決定されてもよい)。最大プーリング動作は、転換に対する局所不変性を可能にする。次に、最大応答の平均は、正方形パッチから計算されてもよい、すなわち、平均プーリングは、最大プーリング後に適用される。最後に、平均プーリング動作から特徴応答を集約することによって、画像表現が形成されてもよい。
[37]分類要素245は、1つまたは複数の所定の基準に基づいて、最終的な画像表現のための1つまたは複数のクラスラベルを識別する。これらのクラスラベルは、例えば、特定の組織が悪性であるか、または、良性であるかの徴候を提供してもよい。さらに、いくつかの実施形態では、クラスラベルは、健康な組織の徴候を提供してもよい。分類要素245は、臨床研究に基づいて訓練および構成されてもよい1つまたは複数の分類器アルゴリズムを利用する。例えば、いくつかの実施形態では、分類器は、脳腫瘍データセットを用いて訓練され、その結果、画像を膠芽腫または髄膜腫にラベル付け(分類)することができる。さまざまなタイプの分類器アルゴリズムは、分類要素245により用いられてもよく、サポートベクターマシン(SVM)、k近傍(k−NN)およびランダムフォレストを含むが、これらに限定されるものではない。さらに、異なるタイプの分類器を組み合わせて用いることもできる。
[38]映像画像シーケンスのために、多数決要素250は、映像ストリームのための認識性能を高める多数決ベースの分類方式を任意に実行してもよい。このように、入力画像が映像ストリームベースである場合、プロセス200は、隣接する画像から視覚的刺激を組み込むことができる。多数決要素250は、因果関係を示す方法(causal fashion)で現行フレームを囲む固定長の時間窓内の画像の多数決結果を用いて、クラスラベルを現在の画像に割り当てる。窓の長さは、ユーザ入力に基づいて構成されてもよい。例えば、ユーザは、この種の値を導出するのに用いてもよい特定の長さの値または臨床設定を提供してもよい。代替的に、長さは、過去の結果の分析に基づいて、時間とともに動的に調整されてもよい。例えば、多数決要素250が不十分または準最適な結果を提供していることをユーザが示す場合、小さい値によって窓サイズを修正することによって窓を調整してもよい。時間とともに、多数決要素250は、細胞分類プロセス200によって処理されているデータタイプごとに、最適な窓の長さを学習することができる。いくつかの実施形態では、窓の長さは、また、フレームレートに依存してもよい。
[39]細胞分類プロセス200の例示的応用として、脳腫瘍組織を検査するために患者の脳内に挿入されるCLEデバイス(図1参照)を用いて収集される内視鏡の映像のデータセットを考慮する。この収集の結果は、膠芽腫のための映像セットおよび髄膜腫のための映像セットになってもよい。この種の映像において収集される画像の一例は、図3に示される。低い画像テクスチャ情報を有するいくつかのフレームが、臨床的に興味がなく、画像分類に弁別的ではないことに注意されたい。画像エントロピーを用いて、画像領域の「情報性」(すなわち、画像内に含まれる情報の量)を測定してもよい。所定の閾値未満の画像エントロピー値を有する画像は、評価から除外されてもよい。
[40]この例を続けて、交互投影アルゴリズム(図5参照)を用いて、生物学的要素に特定のフィルタのセットを学習してもよい。膠芽腫画像および髄膜腫画像の大きいセットが、訓練画像として用いられてもよい。図6は、この種のデータを用いて生成される学習したフィルタの一例を提供する。図6に見られるように、フィルタは、膠芽腫画像および髄膜腫画像内の粒状パターンおよびテクスチャパターンに類似するドットおよびエッジによって特徴付けられる。次に、畳み込みスパース符号化が適用され、学習したフィルタを、学習したフィルタで畳み込まれるスパース特徴マップのセットの合計として分解する。図7は、本願明細書において述べられる技術のいくつかを用いて実行されてもよいような特徴マップ抽出の一例を提供する。上の図は、例示的入力画像のための特徴マップのセットである。所定の膠芽腫画像の特徴マップ内のエントリは、大部分はゼロである。フィルタと画像パターンとの間の類似点および特徴マップのスパース性は、ともに、本発明の特徴を、従来の手動で設計された特徴表現よりも弁別的にする。
[41]細胞分類プロセス200の他の応用は、オンラインの映像分類を実行することである。それゆえ、必ずしも、最初に全部の映像シーケンスを獲得し、次に分類する、ということを行わなくてもよい。
[42]本願明細書において述べられる技術の性能を評価するために、分析は、1つの映像を抜き出す検証法(leave−one−video−out)を用いて実行された。より具体的には、第1段階として、10個の膠芽腫および10個の髄膜腫のシーケンスがランダムに選択された。次に、第2段階として、その第1のセットからのシーケンスの1対が試験のために選択され、残りのシーケンスが訓練のために選択された。次に、第3段階として、4000個の膠芽腫フレームおよび4000個の髄膜腫フレームが、訓練セットから選択される。第2および第3のステップは、5回反復され、平均が計算された。画像ごとに、その特徴マップは、式(3)の対象を最小化することによって計算される。次に、特徴マップは、(図2を参照して上述した)Abs、LCNおよび特徴プーリング技術によって処理され、最終画像を生成した。次に、SVM分類器は、画像の最終的な分類を提供するために利用された。この分析は、異なるプーリングパラメータのセットを用いて実行され、10ピクセルの間隔および30ピクセルのパッチサイズを有する最大プーリングが良好な認識性能を提供することを示し、以下の表に示すように、上述した脳腫瘍データセットについての認識精度を提供する。
[43]図8は、本発明の実施形態が実施されてもよい例示的なコンピューティング環境800を示す。例えば、このコンピューティング環境800を用いて、図1に示されている1つまたは複数のデバイスを実施し、図2に記載されている細胞分類プロセス200を実行してもよい。コンピューティング環境800は、コンピュータシステム810を含んでもよく、コンピュータシステム810は、本発明の実施形態が実施されてもよいコンピューティングシステムの一例である。コンピュータおよびコンピューティング環境、例えばコンピュータシステム810およびコンピューティング環境800は、当業者に周知であるので、本願明細書では簡潔に記載されている。
[44]図8に示すように、コンピュータシステム810は、コンピュータシステム810内で情報を通信するための通信メカニズム、例えばバス821または他の通信メカニズムを含んでもよい。コンピュータシステム810は、バス821に結合され、情報を処理するための1つまたは複数のプロセッサ820をさらに含む。プロセッサ820は、1つまたは複数の中央処理装置(CPU)、グラフィック処理装置(GPU)または他の任意の周知のプロセッサを含んでもよい。
[45]コンピュータシステム810は、バス821に結合され、プロセッサ820によって実行される情報および命令を格納するためのシステムメモリ830もまた含む。システムメモリ830は、揮発性および/または不揮発性メモリの形のコンピュータ可読記憶媒体、例えば読み出し専用メモリ(ROM)831および/またはランダムアクセスメモリ(RAM)832を含んでもよい。システムメモリRAM832は、他の動的なストレージデバイス(例えば、ダイナミックRAM、スタティックRAMおよび同期DRAM)を含んでもよい。システムメモリROM831は、他のスタティックストレージデバイス(例えば、プログラマブルROM、消去可能なPROMおよび電気的消去可能なPROM)を含んでもよい。さらに、システムメモリ830を用いて、一時的な変数または他の中間情報を、プロセッサ820による命令の実行中に格納してもよい。コンピュータシステム810内の要素間で情報を転送するのに役立つ基本的なルーチンを含む基本入出力システム833(BIOS)は、例えばスタートアップの間、ROM831内に格納されてもよい。RAM832は、直ちにアクセス可能である、および/または、現在プロセッサ820によって動作されるデータおよび/またはプログラムモジュールを含んでもよい。システムメモリ830は、例えば、オペレーティングシステム834、アプリケーションプログラム835、他のプログラムモジュール836およびプログラムデータ837をさらに含んでもよい。
[46]コンピュータシステム810は、バス821に結合され、1つまたは複数のストレージデバイスを制御し、情報および命令を格納するためのディスクコントローラ840、例えばハードディスク841および取り外し可能なメディアドライブ842(例えば、フロッピーディスクドライブ、コンパクトディスクドライブ、テープドライブおよび/またはソリッドステートドライブ)もまた含む。ストレージデバイスは、コンピュータシステム810に、適切なデバイスインタフェース(例えば、スカジ(SCSI)、インテグレートデバイスエレクトロニクス(IDE)、ユニバーサルシリアルバス(USB)またはファイヤーワイヤー)を用いて追加されてもよい。
[47]コンピュータシステム810は、バス821に結合され、ディスプレイ866を制御するためのディスプレイコントローラ865もまた含んでもよく、ディスプレイ866は、例えば、情報をコンピュータユーザに表示するための陰極線管(CRT)または液晶ディスプレイ(LCD)である。コンピュータシステムは、入力インタフェース860および1つまたは複数の入力デバイス、例えばキーボード862およびポインティングデバイス861を含み、コンピュータユーザと相互作用し、情報をプロセッサ820に提供する。ポインティングデバイス861は、例えば、マウス、トラックボールまたはポインティングスティックでもよく、指示情報および命令選択をプロセッサ820に通信し、ディスプレイ866上のカーソル移動を制御する。ディスプレイ866は、タッチスクリーンインタフェースを提供してもよく、タッチスクリーンインタフェースによって、入力は、ポインティングデバイス861による指示情報および命令選択の通信を補充または置換することができる。
[48]コンピュータシステム810は、メモリ、例えばシステムメモリ830内に含まれる1つまたは複数の命令の1つまたは複数のシーケンスを実行しているプロセッサ820に応答して、本発明の実施形態の処理ステップの一部または全部を実行してもよい。この種の命令は、他のコンピュータ可読媒体、例えばハードディスク841または取り外し可能メディアドライブ842からシステムメモリ830に読み込まれてもよい。ハードディスク841は、本発明の実施形態により用いられる1つまたは複数のデータストアおよびデータファイルを含んでもよい。データストアコンテンツおよびデータファイルは、暗号化されセキュリティを改善してもよい。プロセッサ820は、多重プロセス構成で使用され、システムメモリ830内に含まれる命令の1つまたは複数のシーケンスを実行してもよい。代替実施形態では、配線回路が、ソフトウェア命令の代わりに、または、ソフトウェア命令と組み合わせて用いられてもよい。このように、実施形態は、ハードウェア回路およびソフトウェアのいかなる特定の組み合わせにも限定されない。
[49]上述したように、コンピュータシステム810は、少なくとも1つのコンピュータ可読媒体またはメモリを含み、本発明の実施形態に従ってプログラムされる命令を保持し、本願明細書に記載されているデータ構造、テーブル、記録または他のデータを含んでもよい。本願明細書で用いられる「コンピュータ可読媒体」という用語は、命令をプロセッサ820に提供し、実行することに関する任意の媒体を意味する。コンピュータ可読媒体は、不揮発性媒体、揮発性媒体および伝送媒体を含むが、これらに限定されず多くの形をとってもよい。不揮発性媒体の非限定的な例は、光ディスク、ソリッドステートドライブ、磁気ディスクおよび光磁気ディスク、例えばハードディスク841または取り外し可能メディアドライブ842を含む。揮発性媒体の非限定的な例は、ダイナミックメモリ、例えばシステムメモリ830を含む。伝送媒体の非限定的な例は、同軸ケーブル、銅線およびファイバオプティクスを含み、バス821を形成する線を含む。伝送媒体は、音響波または光波、例えば電波および赤外線通信の間生成される波の形をとってもよい。
[50]コンピューティング環境800は、ネットワーク環境において、1つまたは複数のリモートコンピュータ、例えばリモートコンピュータ880に対する論理接続を用いて動作するコンピュータシステム810をさらに含んでもよい。リモートコンピュータ880は、パーソナルコンピュータ(ラップトップまたはデスクトップ)、モバイル機器、サーバ、ルータ、ネットワークPC、ピアデバイスまたは他のコモンネットワークノードでもよく、典型的には、コンピュータシステム810に関して上述した要素の多数または全部を含む。ネットワーク環境において用いられるとき、コンピュータシステム810は、ネットワーク871、例えばインターネットを介する通信を確立するためのモデム872を含んでもよい。モデム872は、バス821に、ユーザネットワークインタフェース870を介して、または、他の適切なメカニズムを介して接続されてもよい。
[51]ネットワーク871は、従来技術において一般的に公知の任意のネットワークまたはシステムでもよく、インターネット、イントラネット、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、メトロポリタンエリアネットワーク(MAN)、直接接続または直列接続、携帯電話ネットワーク、または、コンピュータシステム810と他のコンピュータ(例えば、リモートコンピュータ880)との間の通信を容易にすることができる他の任意のネットワークまたは媒体を含む。ネットワーク871は、有線、無線またはそれらの組み合わせでもよい。有線接続は、イーサネット、ユニバーサルシリアルバス(USB)、RJ−11または従来技術において一般的に公知の他の任意の有線接続を用いて実施されてもよい。無線接続は、Wi−Fi、WiMAXおよびブルートゥース、赤外線、携帯ネットワーク、衛星または従来技術において一般的に公知の他の任意の無線接続方法を用いて実施されてもよい。さらに、いくつかのネットワークは、単独でまたは互いに通信して機能し、ネットワーク871内の通信を容易にしてもよい。
[52]本発明の実施形態は、ハードウェアおよびソフトウェアの任意の組み合わせによって実施されてもよい。さらに、本発明の実施形態は、例えばコンピュータ可読非一時的媒体を有する製品(例えば、1つまたは複数のコンピュータプログラム製品)に含まれてもよい。媒体は、本願明細書において、例えば、本発明の実施形態のメカニズムを提供および容易にするためのコンピュータ可読プログラム符号を実現してきた。製品は、コンピュータシステムの一部として含まれることもできるし、別々に売られることもできる。
[53]さまざまな態様および実施形態が本願明細書において開示されてきたが、他の態様および実施形態は、当業者にとって明らかである。本願明細書において開示されるさまざまな態様および実施形態は、説明のためであって、制限することを意図せず、真の範囲および精神は、以下の請求項によって示される。
[54]本願明細書で用いられる実行可能アプリケーションは、例えば、ユーザ命令または入力に応答して、プロセッサに所定の機能を実施するように調整するための符号または機械可読命令を備え、所定の機能は、例えば、オペレーティングシステム、文脈データ獲得システムまたは他の情報処理システムの機能である。実行可能手順は、符号または機械可読命令のセグメント、サブルーチン、または、1つまたは複数の特定のプロセスを実行するための実行可能アプリケーションの部分または符号の他の異なるセクションである。これらのプロセスは、入力データおよび/またはパラメータの受信、受信した入力データ上の動作の実行および/または受信した入力パラメータに応答した機能の実行、結果として生じる出力データおよび/またはパラメータの提供を含んでもよい。
[55]本願明細書で用いられるグラフィカルユーザインタフェース(GUI)は、1つまたは複数の表示画像を含み、ディスプレイプロセッサによって生成され、プロセッサまたは他のデバイスとのユーザ相互作用、関連データの獲得および機能の処理を可能にする。GUIは、実行可能手順または実行可能アプリケーションもまた含む。実行可能手順または実行可能アプリケーションは、ディスプレイプロセッサにGUI表示画像を表す信号を生成するように調整する。これらの信号は、ユーザが見るための画像を表示するディスプレイデバイスに供給される。プロセッサは、実行可能手順または実行可能アプリケーションの制御下で、入力デバイスから受信する信号に応答して、GUI表示画像を操作する。このようにして、ユーザは、入力デバイスを用いて、表示画像と相互作用してもよく、プロセッサまたは他のデバイスとのユーザ相互作用を可能にする。
[56]本願明細書における機能およびプロセスステップは、自動的に実行されてもよいし、ユーザ命令に応答して完全にまたは部分的に実行されてもよい。自動的に実行される動作(ステップを含む)は、1つまたは複数の実行可能命令またはデバイス動作に応答して、ユーザが動作を直接開始することなく実行される。
[57]図面のシステムおよびプロセスは、排他的ではない。他のシステム、プロセスおよびメニューは、本発明の原理に従って同一の目的を達成するために導出されてもよい。本発明は、特定の実施形態を参照して記載されてきたが、本願明細書において図示および記載された実施形態およびバリエーションが単に図示目的のためだけであることを理解されたい。現在の設計に対する変更態様は、当業者によって、本発明の範囲を逸脱することなく実施されてもよい。本願明細書において記載されているように、さまざまなシステム、サブシステム、エージェント、マネージャおよびプロセスは、ハードウェア要素、ソフトウェア要素および/またはそれらの組み合わせを用いて実装可能である。本願明細書における請求項の要素は、その要素が「〜のための手段」という用語を用いて明確に記載されていない限り、米国特許法第112条第6段落の規定により解釈されるべきではない。