JP2015509026A5

JP2015509026A5 -

Info

Publication number: JP2015509026A5
Application number: JP2014555386A
Authority: JP
Filing date: 2013-01-30
Publication date: 2016-03-03
Anticipated expiration: 2033-01-30

Description

生体内画像ストリーム中の運動性事象を表示するためのシステムおよび方法

本発明は、生体内でキャプチャされた画像ストリームの画像処理のための方法およびシステムに関する。より詳細には、本発明は、消化管の画像ストリーム中の運動性事象を分析および表示するためのシステムおよび方法に関する。

小腸（ｓｍａｌｌｂｏｗｅｌ、ｓｍａｌｌｉｎｔｅｓｔｉｎｅとも呼ばれる）は、消化（ＧＩ：ｇａｓｔｒｏｉｎｔｅｓｔｉｎａｌ）管の一部であり、胃と大腸とを繋ぐ。成人の小腸の長さは変動し、状態により３メートルから８メートルであり得る。小腸の主な機能は、食物中に見られる栄養およびミネラルの消化および吸収である。そうするために、小腸は運動という生理学的メカニズムによって食物を押圧する。

腸運動は２つのカテゴリーに分けることができ、例えば、一方向に食物を移動させる責任を担う小腸壁の同期運動である蠕動運動、そして例えば、筋肉が実質的に互いに独立して収縮する小腸壁の非同期運動である独立した収縮であり、これは内容物を混合させる効果があり得るが、上下には動かない。

小腸が筋肉活動を調整する機能を失うと、腸運動の機能障害が現れ、異常な収縮活動を示す（例えば、痙攣または小腸の麻痺）。広義では、小腸の管への食物および分泌物の運搬における任意の代替案は運動性障害とみなされ得る。

現在、小腸の運動性障害を診断するための情報を収集するために、マノメトリーが使用されている。マノメトリー診断は、小腸の固定部分における腸壁圧の変化に基づく。しかしこの技術は、いくつかの欠点があり、例えば、侵入的であり、患者の不快感を引き起こす可能性があり、小腸の表示化を含まず、小腸の一部が評価されるに過ぎず、マノメトリー検査は、比較的複雑な過程であり得るので、その結果の解釈が困難となり得ることがある。

患者の身体内腔を撮像するために、嚥下可能なカプセルを含む生体内撮像システムによって行われるような生体内撮像法を使用することができる。撮像システムは、例えば、カプセルが消化（ＧＩ）内腔を通過する間、消化管の画像をキャプチャし、外部記録装置に転送することができる。カプセルは、例えば、毎秒１〜４０フレームの可変フレームレートで画像をキャプチャすることができる。多数の画像、例えば、１００，０００〜３００，０００の画像を観るために撮像過程で収集することができ、これは１時間から８時間の間で行うことができ、リアルタイムで表示されおよび／または処理され得る。画像は、順番にまとめることができ、例えば、３０〜１２０分の長さの画像ストリームまたは動画がユーザーに提示され得る。

患者のＧＩ管の運動性事象または運動特性を表示するためのシステムおよび方法が、腸運動分析の向上および腸運動性障害を診断するのに役立つ可能性がある。

本発明の実施形態に係る、生体内撮像装置によってキャプチャされた画像ストリームにおける腸運動性事象を表示するための、コンピュータによって実施される方法が提供される。本方法は、生体内撮像装置によってキャプチャされた画像ストリームを受信するステップを含むことができる。画像ストリームは、それぞれのフレームが、アレイに配置された複数の画像ピクセルを含む画像フレームを有することができる。ピクセルのストリップが、例えば、画像ストリームの少なくとも１つのサブセットの画像の各画像から選択され得る。運動性事象バーを生成するために、選択されたストリップが、空間的配置で、例えば、隣接して整列されるかまたは配置されてもよい。いくつかの実施形態において、画像のサブセットは、画像ストリームから１つ以上の連続的な画像フレームのシーケンスを有することができる。

運動性事象バーは、コンピュータモニターまたはディスプレイまたは他の表示ディスプレイユニットに表示されてもよい。いくつかの実施形態において、ピクセルのストリップは、画像フレームから選択された、ピクセルの１つ以上のライン（例えば、直線ライン）を含むことができる。画像ストリームのビデオディスプレイは、例えば運動性事象バーと並べて表示されてもよい。

運動性バーを形成するために画像からピクセルのストリップを選択するための異なる方法が実施され得る。一実施形態において、各画像フレームの固定点が決定されてもよく、選択されたピクセルのストリップがその固定点を通過するように選択されてもよい。固定点は、例えば、画像フレームの中心であってもよい。いくつかの実施形態において、ピクセルストリップの選択は適応的であってもよく、選択のための一定の基準に依存してもよい。基準は、例えば、各画像の検出されたエリアもしくは特徴を含んでいてもよく、または画像の画像特性もしくはピクセル特性に基づいて一定の条件を含んでいてもよい。

ある例では、各画像フレーム（または画像ストリームからのサブセットの画像）において内腔孔が検出されてもよく、各画像フレームの検出された内腔孔を通過するピクセルのストリップが選択され得る。選択されたストリップが、例えば、生成された運動性事象バーにおける内腔孔の視界を最大化するために選択されてもよい。

他の例では、画像フレームの赤い（出血している）領域が検出されてもよく、ストリップは、例えば、検出された領域の中心を通過するため、または検出された領域を通過するピクセル量が、選択されたピクセルのストリップで最大となるように選択され得る。画像からのピクセルストリップの選択のための他の基準は、例えば、混濁した内容物、病状等を示す画像の領域の検出を含むことができる。１つ以上の基準が運動性事象バーの生成のためのピクセルストリップの選択を決定するために使用され得る。

いくつかの実施形態によれば、腸事象は、運動性事象バーに基づいて決定され得る。その事象は、例えば、プロセッサまたはプロセッサに含まれ得るまたは操作可能に接続され得る腸事象検出器によって自動的に決定されてもよい。検出された腸事象は、ＧＩ内腔の一定の状態、例えば、収縮、静的閉塞内腔シーケンス、トンネルシーケンスおよび混濁した内腔シーケンスを示す画像シーケンスを含むことができる。

本発明に係るシステムおよび方法の原理および作用は、図面、および以下の説明を参照し、さらに理解され得るが、これらの図面は、例示的な目的のために与えられるに過ぎず、限定を意味しているわけではない。

本発明の一実施形態に係る生体内撮像システムを示す概略図である。本発明の一実施形態に係るグラフィックユーザーインターフェース（ＧｒａｐｈｉｃＵｓｅｒＩｎｔｅｒｆａｃｅ）の概略図である。本発明の一実施形態に係る画像ストリームから得ることができる異なるタイプの表示を示す。本発明の一実施形態に係る身体内腔内側での可能なカメラの動きを示す。本発明の一実施形態に係る画像カプセルによってキャプチャされ得る異なる生体内画像を示す。本発明の一実施形態に係る、画像カプセルによってキャプチャされた腸事象の例を示す。本発明の実施形態に係る固定カットおよび適応的なカットの例を示す。本発明の実施形態に係る、生体内画像ｉを示された角度で通る例示的なカットを示す。本発明の実施形態に係る、画像ｉを通る全ての可能なカットを示す。本発明の実施形態に係るグラフにおける可能な経路から選択された最適な経路を示す。本発明の実施形態に係る合成的に作成された腸事象の例を示す。本発明の実施形態に係る生成された運動性事象バーの例を示す。本発明の実施形態に係る、異なる腸事象を表す運動性事象バーの例を示す。本発明の実施形態に係る、異なるカットを使用する同じデータから生成された運動性事象バーを示す。本発明の実施形態に係る、生体内画像ストリームのために生成された運動性事象バーの一例を示す。本発明の実施形態に係る、生体内画像ストリームに基づく運動性事象バーを生成および表示するための方法の流れ図である。

図示の簡素化および明確化のために、図において示す要素は必ずしも縮尺通りではないということが認識されるであろう。例えば、要素のいくつかの寸法および／または縦横比は、明確化のために他の要素に対して誇張され得る。さらに、適切であると考慮される場合、一連の図面を通して対応するまたは類似要素を示すために、参照符号が複数の図面で繰り返され得る。

以下の説明に、本発明の種々の態様が記載される。説明目的で、本発明の深い理解を与えるために、特定の構造および詳細が記載される。しかし、本発明は、本明細書において提示されるその特定の詳細無しで実施することができるということもまた当業者にとって明らかであろう。さらに、よく知られた特徴は、本発明を不明確にしないために省略され得るかまたは簡素化され得る。

特段の断りのない限り、以下の説明から明らかであるように、明細書全体を通して「処理する（ｐｒｏｃｅｓｓｉｎｇ）」、「演算する（ｃｏｍｐｕｔｉｎｇ）」、「記憶する（ｓｔｏｒｉｎｇ）」、「決定する（ｄｅｔｅｒｍｉｎｉｎｇ）」などの、またはそのような用語を用いる説明は、コンピュータまたはコンピューティングシステムの動作および／または処理、またはコンピューティングシステムのレジスタおよび／またはメモリ内の電子量などの物理量として示されるデータを、コンピューティングシステムのメモリ、レジスタ、またはその他のそのような情報記憶、転送または表示装置内の物理量として同様に表示されるその他のデータに操作および／変換する類似の電子コンピューティング装置を示すということが認識されよう。

本発明の実施形態と使用するのに最適である記憶および／または表示ユニットを撮像するステップ、受信するステップ、処理するステップを含む本発明の実施形態に係る装置は、それぞれが本出願の共通の譲受人に譲渡されている「ＳｙｓｔｅｍａｎｄＭｅｔｈｏｄｆｏｒＥｄｉｔｉｎｇａｎＩｍａｇｅＳｔｒｅａｍＣａｐｔｕｒｅｄＩｎ−Ｖｉｖｏ（生体内のキャプチャされた画像ストリームを編集するためのシステムおよび方法）」と題された、米国特許出願公開番号２００６／００７４２７５、Ｉｄｄａｎらに付与された、「ＤｅｖｉｃｅｆｏｒＩｎ−ｖｉｖｏＩｍａｇｉｎｇ（生体内撮像のための装置）」と題された、米国特許第７，００９，６３４号、および／または「ＭｅｔｈｏｄｏｆＡｓｓｅｍｂｌｉｎｇａｎＩｎ−ＶｉｖｏＩｍａｇｉｎｇＤｅｖｉｃｅ（生体内撮像装置を組み立てる方法）」と題された、米国特許出願公開番号２００７／０１１８０１２、に記載されている実施形態と同様であってもよい。生体内撮像カプセルによってキャプチャされる画像比較に基づいてＧＩ管内の運動を分析する方法は、例えば、例えば、Ｇｌｕｋｈｏｖｓｋｙらに付与された、米国特許第６，９４４，３１６号に開示されている。Ｈｏｒｎらに付与された、米国特許第７，２１５，３３８号は、生体内でキャプチャされたデータストリームの要約化されたグラフィック表示を作成するためのシステムおよび方法を開示している。グラフィック表示は、カラーバーの形式でもよい。言うまでもなく、本明細書に記載の装置および方法は、他の構造および他のコンポーネントセットを有してもよい。本発明のいくつかの実施形態に係る装置、システムおよび方法は、市販のＰｉｌｌＣａｍ（登録商標）ＳＢ２またはＰｉｌｌＣａｍ（登録商標）ＣｏｌｏｎカプセルおよびＧｉｖｅｎＩｍａｇｉｎｇ，Ｌｔｄ．によって提供された関連するデータレコーダーおよびＲＡＰＩＤ（登録商標）ワークステーションと同様であってもよい。

患者によって嚥下され得る生体内撮像カプセルは、ＧＩ管に沿って受動的に進み得るが、これは腸組織壁を動かす蠕動収縮に起因する。その移動中で、カプセルは、食道、胃、小腸および結腸などの異なるＧＩ器官を通過する。小腸組織壁の比較的狭いトンネル構造により、カプセルが小腸を移動する間、カプセルはトンネルの方向に平行な位置を維持し得る。撮像カプセル長さ方向の軸（例えば、図３Ａの軸Ｘのような、カプセルの長さ寸法を通る軸）は、一般に、小腸でカプセルが進行する方向に対して平行に留まり得る。カプセルの撮像システムは、概して前および／または後ろ向きの位置で撮像を実行するように、内腔の開閉の撮像が、確りと定期的にキャプチャされるように、カプセルの縦方向両端の少なくとも１つに配置され得る。各画像をキャプチャする時間の記録と組み合わせて、内腔孔の開閉をキャプチャする画像データは、小腸の運動性事象、または蠕動運動の種類および頻度の分析、表示および／または計算を可能にし得る。本発明の実施形態は、運動関連情報を効率的に分析し易い方法で医療専門家へ表示することを可能にし得る。

図３Ａを参照し、この図は身体内腔内で可能なカメラの動きを示している。生体内画像ストリームを利用して腸運動を分析するために、腸事象の複雑な様子、腸事象の複雑な解釈および多数の画像などの異なる特徴が考察され得る。

腸事象の複雑な様子は、生体内のカメラの動きに起因し得る。カメラは腸内で前に（口から肛門への方向において、例えば、「シンク（ｓｉｎｋ）」として示される方向３０１）、後に（肛門から口への方向において、例えば、「ソース（ｓｏｕｒｃｅ）」として示される方向３０２）、およびＸ、Ｙ、Ｚで示される３つ全ての回転軸に対して自由に動くことができる。小腸の運動活動および重力によって、（小腸の始まりすなわちソースから、小腸の終わり、すなわちシンクまで）カプセルが小腸を移動する。これらのことは、２つの因子のみがカプセルの動き、速度および方向をコントロールするものであってもよい。一般に、カプセルはシンクに前に移動するが、ある期間にわたって、カプセルは後ろに移動することも可能である。したがって、カプセルの正確な位置または向きを特定することは非常に困難であり得る。

図３Ｂを参照し、この図は撮像カプセルによってキャプチャされ得る複数種類の生体内画像を含む。画像は、内腔孔（画像３３０、３３１、３３３、３３４で示されるような完全な内腔孔）または内腔孔の一部のみ（例えば、画像３３２、３３５に示されるような）を示すことができる。いくつかの画像において、腸壁が示され得るが、例えば、３３６、３３７である。さらに、カプセルの視野はしばしば、腸の内容物（腸液、泡および消化中の食物、例えば、例示的な画像３３８〜３４１に示されるような）によって、部分的にまたは完全に閉塞され得る。

本発明の実施形態によれば、腸組織壁の動きの画像は、腸事象の異なるカテゴリーを示すものに区分され得る。いくつかの実施形態において、腸事象は、いくつかの連続的な画像フレームのシーケンスを通して検出され得る。以下のカテゴリーは、腸事象の例である。
（１）「収縮」−腸壁および／または内腔の動き
（２）「静的閉内腔」−麻痺したまたは実質的に動きのない閉じた内腔孔を有する腸
（３）「トンネル」−麻痺したまたは実質的に動きのない開いた内腔を有する腸、および
（４）「混濁内腔」−腸の内容物によって閉塞している内腔孔および／または壁

その他のカテゴリーが付加的または代替として適用され得る。

多大な量の画像データを得ることは、生理学的事象の詳細な分析を可能とし得る。しかし、多大な量のデータは、長時間のビデオ表示化を必要とし得るので、医師による検査の診断結果に比較的長い時間がかかり得る。腸運動の特定事象の検出および特徴化は、Ｖｕ，Ｈ．，Ｅｃｈｉｇｏ，Ｔ．らの「Ｃｏｎｔｒａｃｔｉｏｎｄｅｔｅｃｔｉｏｎｉｎｓｍａｌｌｂｏｗｅｌｆｒｏｍａｎｉｍａｇｅｓｅｑｕｅｎｃｅｏｆｗｉｒｅｌｅｓｓｃａｐｓｕｌｅｅｎｄｏｓｃｏｐｙ」（ＭＩＣＣＡＩ’０７会報；ｖｏｌ．１２００７，ｐ．７７５−７８３）、Ｖｕ，Ｈ．，Ｅｃｈｉｇｏ，Ｔ．，Ｓａｇａｗａ，Ｒ．，Ｙａｇｉ，Ｋ．，Ｓｈｉｂａ，Ｍ．，Ｈｉｇｕｃｈｉ，Ｋ．らの「Ｄｅｔｅｃｔｉｏｎｏｆｃｏｎｔｒａｃｔｉｏｎｓｉｎａｄａｐｔｉｖｅｔｒａｎｓｉｔｔｉｍｅｏｆｔｈｅｓｍａｌｌｂｏｗｅｌｆｒｏｍｗｉｒｅｌｅｓｓｃａｐｓｕｌｅｅｎｄｏｓｃｏｐｙｖｉｄｅｏｓ」（ＣｏｍｐｕｔＢｉｏｌＭｅｄ２００９；３９：１６−２６）、およびＶｉｌａｒｉｎｏ，Ｆ．，Ｓｐｙｒｉｄｏｎｏｓ，Ｐ．，Ｄｅｉｏｒｉｏ，Ｆ．，Ｖｉｔｒｉａ，Ｊ．，Ａｚｐｉｒｏｚ，Ｆ．，Ｒａｄｅｖａ，Ｐ．の「Ｉｎｔｅｓｔｉｎａｌｍｏｔｉｌｉｔｙａｓｓｅｓｓｍｅｎｔｗｉｔｈｖｉｄｅｏｃａｐｓｕｌｅｅｎｄｏｓｃｏｐｙ：ａｕｔｏｍａｔｉｃａｎｎｏｔａｔｉｏｎｏｆｐｈａｓｉｃｉｎｔｅｓｔｉｎａｌｃｏｎｔｒａｃｔｉｏｎｓ」（ＩＥＥＥＴｒａｎｓＭｅｄＩｍａｇｉｎｇ２０１０；２９（２）：２４６−５９）の腸収縮検出などの腸運動の領域において知られている。

Ｍａｌａｇｅｌａｄａ，Ｃ．，ＤｅＩｏｒｉｏ，Ｆ．，Ａｚｐｉｒｏｚ，Ｆ．，Ａｃｃａｒｉｎｏ，Ａ．，Ｓｅｇｕｉ，Ｓ．，Ｒａｄｅｖａ，Ｐ．らの「Ｎｅｗｉｎｓｉｇｈｔｉｎｔｏｉｎｔｅｓｔｉｎａｌｍｏｔｏｒｆｕｎｃｔｉｏｎｖｉａｎｏｎｉｎｖａｓｉｖｅｅｎｄｏｌｕｍｉｎａｌｉｍａｇｅａｎａｌｙｓｉｓ」（Ｇａｓｔｒｏｅｎｔｅｒｏｌｏｇｙ２００８；１３５（４）：１１５５−６２）およびＭａｌａｇｅｌａｄａ，Ｃ．，Ｌｏｒｉｏ，Ｆ．Ｄ．，Ｓｅｇｕｉ，Ｓ．，Ｍｅｎｄｅｚ，Ｓ．，Ｄｒｏｚｄｚａｌ，Ｍ．，Ｖｉｔｒｉａ，Ｊ．らの「Ｆｕｎｃｔｉｏｎａｌｇｕｔｄｉｓｏｒｄｅｒｓｏｒｄｉｓｏｒｄｅｒｅｄｇｕｔｆｕｎｃｔｉｏｎ？ｓｍａｌｌｂｏｗｅｌｄｙｓｍｏｔｉｌｉｔｙｅｖｉｄｅｎｃｅｄｂｙａｎｏｒｉｇｉｎａｌｔｅｃｈｎｉｑｕｅ」（Ｎｅｕｒｏｇａｓｔｒｏｅｎｔｅｒｏｌｏｇｙ＆Ｍｏｔｉｌｉｔｙ２０１１）において、筆者らは、ワイヤレスカプセル内視鏡画像から運動の評価にアプローチしている。どちらの方法も、初めに、撮像カプセルビデオからいくつかの運動記述子（各記述子は、特定の腸事象を表す）を抽出し、次に、抽出された特徴を組み合わせて小腸運動の結論を下す。しかし、どちらの方法も、多次元および非直線分類子を利用するので、医師による結果の解釈が複雑であり得る。さらに、小腸内で何が起こっているかということの明確な表示または知覚を得るのが困難であり得る。

生体内画像ストリーム表示化の技術に関し、例えば、同様のフレームの消去またはコンパクト化をもたらすビデオコンパクションへの取り組みに重点が置かれている。例えば、Ｖｕ，Ｈ．，Ｓａｇａｗａ，Ｒ．，Ｙａｇｉ，Ｙ．，Ｅｃｈｉｇｏ，Ｔ．，Ｓｈｉｂａ，Ｍ．，Ｈｉｇｕｃｈｉ，Ｋ．らの「Ｅｖａｌｕａｔｉｎｇｔｈｅｃｏｎｔｒｏｌｏｆｔｈｅａｄａｐｔｉｖｅｄｉｓｐｌａｙｒａｔｅｆｏｒｖｉｄｅｏｃａｐｓｕｌｅｅｎｄｏｓｃｏｐｙｄｉａｇｎｏｓｉｓ」（２００８ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＲｏｂｏｔｉｃｓａｎｄＢｉｏｍｉｍｅｔｉｃｓＩＥＥＥＣｏｍｐｕｔｅｒＳｏｃｉｅｔｙ会報．ＩＳＢＮ９７８−１−４２４４−２６７８−２；２００９，ｐ．７４−７９）、Ｈａｉ，Ｖ．，Ｅｃｈｉｇｏ，Ｔ．，その他、の「Ａｄａｐｔｉｖｅｃｏｎｔｒｏｌｏｆｖｉｄｅｏｄｉｓｐｌａｙｆｏｒｄｉａｇｎｏｓｔｉｃａｓｓｉｓｔａｎｃｅｂｙａｎａｌｙｓｉｓｏｆｃａｐｓｕｌｅｅｎｄｏｓｃｏｐｉｃｉｍａｇｅｓ」（ＩＣＰＲ’０６会報；ｖｏｌ．ＩＩＩ．２００６，ｐ．９８０−９８３）およびＹａｇｉ，Ｙ．，Ｖｕ，Ｈ．らの「Ａｄｉａｇｎｏｓｉｓｓｕｐｐｏｒｔｓｙｓｔｅｍｆｏｒｃａｐｓｕｌｅｅｎｄｏｓｃｏｐｙ」（Ｉｎｆｌａｍｍｏｐｈａｒｍａｃｏｌｏｇｙ２００７；５（２）：７８−８３）において。

例えば、Ｓｚｃｚｙｐｉｎｓｋｉ，Ｐ．Ｍ．，Ｓｒｉｒａｍ，Ｒ．Ｄ．，Ｓｒｉｒａｍ，Ｐ．Ｖ．，Ｒｅｄｄｙ，Ｄ．Ｎ．の「Ａｍｏｄｅｌｏｆｄｅｆｏｒｍａｂｌｅｒｉｎｇｓｆｏｒｉｎｔｅｒｐｒｅｔａｔｉｏｎｏｆｗｉｒｅｌｅｓｓｃａｐｓｕｌｅｅｎｄｏｓｃｏｐｉｃｖｉｄｅｏｓ」（ＭｅｄｉｃａｌＩｍａｇｅＡｎａｌｙｓｉｓ２００９；１３（２）：３１２−３２４）に開示されるように、その他の方法は、捕捉ステップで可変サンプリングレートを適用する。この開示において、提案されるビデオ表示化は、フレームの中央部（内腔孔）を取り除き、壁表示化に重点を置く。結果として、内腔情報の存在は、ビデオ表示化で考慮されない。ビデオコンパクションは、カプセルが動かないシーケンスを示すビデオのフレームの消去によって、医療専門家のレビュー過程を低減することを可能にする。

本発明の実施形態は、ＧＩ内腔でキャプチャされた画像フレームから抽出されたデータの分析および処理に基づき、運動データを表示するためのシステムおよび方法を記載する。各画像フレームは、二次元アレイのピクセルとして表示することができ、例えば、一定の高さおよび一定の幅（例えば、３２０×３２０ピクセル）の矩形または四角のピクセルアレイである。各ピクセルは、１以上のビットの情報から構成することができ、画像の輝度をポイントで表し、ＲＧＢトリプルとしてエンコードされ得る色情報を含む可能性がある。

画像データの分析および処理は、処理装置によって、ユーザーの介入なしで自動的に実行され得る。例えば、運動性事象バー、ウィンドウまたは例えば画像ストリップ、カットもしくはスライスを含む表示を利用する運動データの表示が、例えば、１つ以上のプロセッサ、ワークステーション、電気回路、検出器または任意のその他のコンピューティング装置によって実行されてもよい。本発明のいくつかの実施形態によれば、１つ以上の運動表示ウィンドウまたはバーは診断のために医療専門家に表示されてもよい。

図１Ａを参照し、この図は本発明の一実施形態に係る生体内撮像システムの概略図を示す。例示的な一実施形態において、システムは、画像をキャプチャするための１つ以上の撮像器４６を有する画像カプセル４０と、身体内腔を照射するための１つ以上の照明光源４２と、画像および場合により他の情報を受信装置に転送する送信器４１と、を含む。一般に、画像キャプチャ装置は、Ｉｄｄａｎらに付与された米国特許第７，００９，６３４および／またはＧｉｌａｄの米国特許出願公開第ＵＳ−２００７−０１１８０１２号に記載の実施形態に対応していてもよいが、代替実施形態においては他の種類の画像キャプチャ装置であってもよい。撮像器システムによってキャプチャされた画像は、例えば、円形、四角形、矩形、八角形、六角形などを含む任意の適切な形状であってよい。一般に、患者の体の外に１つ以上の位置に位置するのは、受像器１２であり、一般にアンテナまたはアンテナアレイと、受像器記憶装置１６と、データプロセッサ１４と、データプロセッサ記憶装置１９と、特に、カプセル４０によって記録された画像を表示するための画像モニターまたはディスプレイもしくは表示化ディスプレイユニット１８とを含む。一般に、データプロセッサ記憶装置１９は、画像データベース２１を含む。

一般に、データプロセッサ１４、データプロセッサ記憶装置１９、およびモニター１８は、パーソナルコンピュータまたはワークステーション１１の一部であり、プロセッサ１４、メモリ、ディスクドライブ、およびマウスおよびキーボードなどの入出力装置などの標準的な構成要素を含むが、代替構成が可能である。データプロセッサ１４は、マイクロプロセッサ、マルチプロセッサ、アクセラレータボード、または任意のその他のシリアルまたは並列高性能データプロセッサなどの任意の標準データプロセッサを含むことができる。その機能の一部であるデータプロセッサ１４は、画像の表示（例えば、どの画像、様々なウィンドウ間の画像の位置、画像の表示のタイミングまたは長さなど）をコントロールするコントローラとして機能することができる。画像モニター１８は、一般に従来のビデオディスプレイであるが、さらに、画像またはその他のデータを提供することができる任意のその他の装置であってもよい。画像モニター１８は、一般に、静止および動的写真、運動データの形式で画像データを表示し、さらにその他の情報を表示することもできる。例示的な実施形態において、種々のカテゴリーの情報がウィンドウに表示される。ウィンドウは、例えば、ディスプレイまたはモニター上のセクションまたは領域（場合により、線引きまたは囲まれた）であってもよく、その他のウィンドウが使用されてもよい。複数のモニターは、画像、運動特性、運動性事象および、その他のデータを表示するために使用することができ、例えば、画像モニターは受像器１２に含むこともできる。

動作時に、撮像器４６は画像をキャプチャし、その画像を表すデータを、例えば電磁波を使用する受像器１２へ画像を転送する送信器４１に送信することができる。受像器１２は、画像データを受像器記憶装置１６へ転送する。一定期間のデータ収集の後、記憶装置１６に収容された画像データは、データプロセッサ１４またはデータプロセッサ記憶装置１９へ送信され得る。例えば、受像器１２または受像器記憶装置１６は、患者の体から外すことができ、データプロセッサ１４およびデータプロセッサ記憶装置１９を含むパーソナルコンピュータまたはワークステーションに、標準データリンク、例えばシリアル、並列、ＵＳＢまたは知られた構成のワイヤレスインターフェースを介して接続することができる。続いて、画像データは、受像器記憶装置１６からデータプロセッサ記憶装置１９内の画像データベース２１へ転送される。一般に、画像ストリームは一連の画像として画像データベース２１に収容されるが、これは様々な知られた方法で実施することができる。データプロセッサ１４は、データを分析し、その分析されたデータを、ユーザーが画像データを観る画像モニター１８に提供する。例えば、データプロセッサ１４、または他のデータプロセッサ（例えば受像器１２）は、画像を処理し、本発明の実施形態に係る運動性バーを作成する。データプロセッサ１４は、オペレーティングシステムおよび装置ドライバなどの基本的なオペレーティングソフトウェアと協働し、データプロセッサ１４のオペレーションをコントロールするソフトウェアを作動させる。一般に、データプロセッサ１４をコントロールするソフトウェアはＣ＋＋言語で記述されたコードを含み、マイクロソフトのＮＥＴプラットフォーム（Ｍｉｃｒｏｓｏｆｔ社のＮＥＴｐｌａｔｆｏｒｍ）などの種々の開発プラットフォームを利用して実施され得るが、これは様々な知られた方法で実施され得る。

カプセル４０によって記録され、転送された画像データは、デジタルカラー画像データであってよいが、代替実施形態において、その他の画像フォーマットが使用されてもよい。例示的な実施形態において、画像データの各フレームは、それぞれ３２０ピクセルの３２０行（例えば、３２０行×３２０列）を含み、各ピクセルは、知られた方法による、色および輝度のバイトを有する。例えば、各撮像器ピクセルは、赤、緑、または青などの単一原色に対応し得る色センサーを含むことができる。全体のピクセルの輝度は、１バイト（すなわち０〜２５５）の輝度値で記録され得る。画像は、例えば連続してデータプロセッサ記憶装置１９に収容することができる。収容されたデータは、１つ以上のピクセル特性から構成され、色および輝度を含む。その他の画像フォーマットが使用されてもよい。

データプロセッサ記憶装置１９は、カプセル４０によって記録された一連の画像を収容することができる。カプセル４０が記録する画像は、例えば、それが患者のＧＩ管を通して移動するので、連続して結合され画像ストリームとして表示可能な一連の画像を形成することができる。画像ストリームを観るとき、ユーザーには通常モニター１８に１つ以上のウィンドウが提供されるが、代替の実施形態において、複数のウィンドウは使用される必要がなく、画像ストリームのみが表示されてもよい。複数のウィンドウが提供される一実施形態において、例えば画像ウィンドウは、画像ストリームまたはその画像の静止部分を提供することができる。他のウィンドウは、画像の表示、これは例えば、停止、再生、一時停止、画像を捕捉、ステップ、早送り、巻き戻し、またはその他のコントロールなど、を変更することができるボタンまたはその他のコントロールを含むことができる。そのようなコントロールは、例えば、マウスまたはトラックボールなどのポインティング装置によって起動される。一般に、画像ストリームは１つのフレームを観るために停止し、早送りし、または巻き戻すことができるが、セクションは飛ばすことができ、または画像を観るための任意のその他の方法が画像ストリームに適用され得る。

データプロセッサ１４は、運動性表示生成装置２４を含んでもよいが、運動性表示生成装置２４に操作可能に接続されてもよい。例えば、プロセッサ１４はソフトウェアまたは命令を実行し本発明の実施形態に係る方法を行うことができるが、これは運動性表示生成装置２４の機能を含んでいる。運動性表示生成装置２４は、キャプチャされた一連の画像からの画像を処理することができ、ＧＵＩの運動セクションで表示するための画像の表示特性または部分を得ることができる。運動性表示生成装置２４は、画像ストリームの画像から選択されたカットに基づき運動性事象バーを作成することができる。

運動性事象バーを生成するために、画像ストリームからの一連の画像が運動性表示生成装置２４に提供され得る。一連の画像は、例えば、撮像装置によってキャプチャされた全ての画像を含むことができる。いくつかの実施形態において、サブセットの画像は、運動性事象バーの生成のために使用されてもよい。サブセットの画像は、例えば、異なる選択基準により選択することができる。

一例において、運動性事象バーを生成するために使用されるサブセットの画像は、例えば、十二指腸、回盲弁、Ｚ−ライン（胃への入口を示す）などの画像ストリームにおいて特定され得る特定の解剖学的ランドマーク間でキャプチャされた画像を含むことができる。２つの解剖学的ランドマークは選択されてもよく（例えば、システム内で事前に定義されてもよく、またはユーザーによって選択されてもよい）初めにキャプチャされた選択された解剖学的ランドマークから後にキャプチャされた選択された解剖学的ランドマークへカプセルが移動した時間にキャプチャされた全ての画像は運動性事象バーの生成に含まれてもよい。他の例において、画像は、例えば、短縮された動画を作成するための生体内画像ストリームの編集方法を開示するＤａｖｉｄｓｏｎらに付与された米国特許第７，９８６，３３７号に記載された方法と同様に、事前に決定された基準により選択されてもよい。
運動性事象は、短縮された動画の選択された画像に基づいて生成されてもよい。しかし他の例で、画像は、例えば隣接する画像間の類似性に基づいて、マージされるかまたは結合されてもよく、運動性事象バーは、結合またはマージされた画像のサブセットに基づいて生成されてもよい。その他の画像選択方法が、画像のサブセットを決定するために使用されてもよい。いくつかの実施形態において、運動性事象バーの生成に使用され得る画像のサブセットを作成するために、異なる画像選択方法が組み合わされてもよい。

いくつかの実施形態において、運動性バーはＧＩ管の選択された部分のために生成され得る。例えば、運動性事象バーは、選択された臓器（食道、小腸、結腸、胃など）のために、または完全な画像処理からの選択された時間の長さ（例えば初めの２時間）のために生成され得る。本発明の実施形態によれば、運動性事象または運動特性は画像ストリームからの画像に基づいて選択され得るが、例えば、選択する画像フレームまたは画像シーケンス（例えば、画像ストリームからの一連のシーケンス画像フレームであり、これは例えば画像ストリームから選択された複数の連続的なフレームを含み得る）である。

運動性表示生成装置２４は、例えば、一連の画像（例えば、完全な画像ストリームまたは短縮された画像ストリームにおける各画像）の各画像から「ストリップ」を選択することができる。本明細書において使用される画像の「ストリップ」は、カット、ピクセルラインまたは画像からのピクセルのスライス、例えば１ラインに配置された１つ以上の隣接するピクセル、または画像から得てもよくまたはコピーされてもよい１つ以上のピクセルのラインを含むことができる。ストリップは、例えば、画像フレームからの１つ以上のピクセルのラインを含むことができる。ストリップは、異なる基準によって選択されてもよい。例えば、ストリップは「固定された」ストリップでもよく、例えば、画像ピクセルの一部分であって、その部分は固定されたサイズであり、画像の事前に定義された固定位置から選択される。予め決定されたピクセルの列または予め決定されたピクセルの行は、固定されたストリップであり得る。例えば、図５のライン５３０は、固定ラインの一例であり、例えば、画像のシリーズ５０１からの各画像において常に同じ座標を通っている。いくつかの実施形態において、ストリップは、「適応的な」ストリップであってもよく、例えば、各画像の異なる位置または部分から選択される。画像フレームから選択された各ストリップは、異なる長さおよび／または幅を有することができ、または画像毎に固定されたサイズを有することができる。

一般に、ストリップは選択され、例えば、画像の一方側から他方側へ画像を横切ることができる。例えば、丸い画像では、画像の円周上の２つの点が選択されてもよく、それらの点を繋ぐラインは選択されたストリップであってもよい。他の例では、ラインは画像の事前に定義された点を、事前に決定された（例えば、固定された）角度（これは、例えば画像の選択されたラインと固定された垂直な軸の間で測定され得る）または画像ピクセル特性に基づいて決定され得る変化する角度のいずれかで通ることができる。ストリップの端部は画像の境界または運動性事象バー生成のために使用され得る画像の事前に決定された領域の境界に対応し得る。例えば、対象の領域は、画像ストリームのために、撮像システムの知られた光学特性および／または照明特性に基づき、各画像から選択される固定テンプレートまたはマスクとして定義することができる。

ピクセルストライプの選択のための異なる基準はユーザーによって選択されてもよく（または、例えば、記憶装置またはプロセッサで事前に定義されてもよく）、運動性事象バーを生成するために使用されてもよい。いくつかの実施形態において、内腔サイズ最大化は、画像から特定のピクセルのストリップを選択するための基準であり得る。例えば、内腔孔領域は、画像の異なる位置において現れ得るので、各画像の中心にはないことがある。ストリップを選択するための異なる方法は、各画像の選択されたピクセルのストリップにおいて異なる量の内腔孔が示される結果となり得る。一実施形態によれば、ストリップは、内腔孔の出現を最大化するために選択され得るので、これにより生成された運動性事象バーにおいて内腔孔の出現を最大化する。

同様に、ＧＩ画像において検出することができ、および観ている医師の対象であるその他の特徴は、運動性事象バーを生成するための基準として選択され得る。例えば、画像の赤いエリアは出血を示し、混濁したエリアは画像ストリームで混濁した内容物の量の指標を提供することができる。その他の病理学的、解剖学的または医療的に対象となる組織表示が定義され得る。画像の定義された対象領域のそれぞれ（例えば、赤または出血エリアを示す領域、混濁した内容物を含む領域、内腔孔の領域、検出された病状の領域など）に関して、選択基準が事前に定義され得る。

選択基準は、画像からピクセルストリップを選択する過程で、最大化または最適化することができる。異なる選択された基準は、運動性事象バーを生成するために組み合わされてもよく、異なる運動性事象バーが異なる選択されたサブセットの基準に基づいて生成されてもよい（および、例えば、並列または互いと並べて表示される）。運動性事象バーは、特定の（選択されたまたは事前に定義された）１組の基準により、ユーザーリクエスト毎に生成され得る。

ストリップは、事前に定義された点を通るために選択され得る（またはされ得ない）。いくつかの実施形態において、ストリップは、画像の中心点を通り得る。他の実施形態において、事前に定義された特徴は、各画像で検出することができ、ストリップはその検出された特徴を通るために選択され得る。例えば、内腔孔は画像において検出されてもよく、ストリップは検出された内腔孔の中心を通るために選択されてもよく、または選択されたストリップにおいて内腔の長さが最大化され得るように選択されてもよい。他の例では、予め定義された特徴は、画像で示された病状であり得るが、例えばこれは病変またはポリープである。いくつかの実施形態において、ユーザーは、運動性事象バーを作成するためにどのタイプのストリップが画像から選択されるかを選ぶことができる。

異なるタイプのストリップの組み合わせが、例えば画像ストリームの異なる部分から選択され得る。いくつかの実施形態において、複数の運動性事象バーが、異なるストリップ選択基準および／または運動性事象バーを生成するために使用される画像フレームの異なるサブセットに基づいて作成され得る。データプロセッサ１４は、運動性事象バーを生成するためにグラフィックソフトウェアまたはハードウェアを有するかまたは実行することができる。運動性事象バーは、例えばカットを互いに隣接して配置することによって、例えば縦方向の運動性事象バーまたはウィンドウ内で、選択されたカットに基づき、生成され得る。

運動性事象バーを作成するカット（またはストリップ）は、画像ストリームの一連の連続的なフレームのそれぞれのフレームから１つ以上のピクセルのラインをカットまたはコピーすることによって生成され得る。運動性表示生成装置２４は、例えば、運動性事象バーまたは表示を形成するために選択されたストリップまたはピクセルライン（一般に、ストリップまたはピクセルラインのコピー）を隣接して並べるまたは配置することができる。

ストリップは、１つ以上のピクセルの一定のピクセル長および幅のものであってよい。いくつかの実施形態において、ストリップは固定された長さおよび幅のものであり、他の実施形態では、選択されたストリップの長さおよび／または幅は、変化してもよい（例えば、カットのタイプに基づいて）。選択されたストリップの長さおよび／または幅は、例えば、運動性事象バー（例えば、矩形バー）を形成するために、事前に定義された長さおよび／または幅に調整またはサイズ変更され得る。調整は、事前に定義されたサイズにストリップを引き伸ばすかまたは縮小することによって実行され得る（例えば、当業者に知られた内挿および／または外挿法を適用する）。バーは、運動性事象のより明確な表示を得るため、さらにフィルタリング、例えば平滑化、され得る。

運動性事象バーは、撮像過程の間に発生した運動性事象の表示化のため、および／または撮像された内腔の運動特性（例えば、異常な運動を示し得る）の決定のために使用され得る。いくつかの実施形態によれば、運動性事象バーは、表示される必要がなく、運動性事象の自動分析のために使用されてもよい（例えば、プロセッサによって）。例えば、事象は、生成された運動性事象バーによって決定することができ、撮像過程に沿った事象タイプの指標またはラベリングがユーザーに表示され得る（例えば、運動性表示生成装置２４によって）。

運動性表示生成装置２４および本明細書において記載の他のモジュールまたは過程は、プロセッサ１４またはソフトウェアを実行する他のプロセッサによって実行され得るので、いくつかの実施形態においてプロセッサ１４は運動性表示生成装置２４または本明細書に記載のその他のコンポーネントまたはモジュールを含むことができる。他の方法が適用されてもよく、例えば運動性表示生成装置２４は専用のハードウェアまたは電気回路であってもよい。

任意で、運動性表示生成装置２４は、運動性事象を検出することができる。運動性事象は、一定のパターンまたは画像ストリームからの１シーケンスの連続的な画像において示され得る特定の運動関連特性を有し得る画像のシーケンスに関連してよい。例えば、腸事象は、腸収縮に含まれてもよく、これは開−閉−開の内腔孔のパターンを示す１シーケンスの画像として検出され得る。他の例では、腸事象は、静的内腔壁（例えば、開トンネルシーケンスと称され得る開内腔孔の繰り返された撮像）または閉内腔孔の周期を含むことができる。他のタイプの腸事象は、混濁または閉塞内腔の開きである。事象のその他のタイプまたはカテゴリーは、画像ストリームの画像を利用して検出され得る。

腸（例えば、運動）事象は、画像ストリームからの一連の連続的な画像に基づき検出することができ、運動性事象バーまたはウィンドウは、検出された運動性事象により生成することができる。本発明の実施形態によれば、ビデオ表示の定義されたシーケンスの表示検出は、運動性事象バーの運動性事象に相関があり得る。例えば、図１０Ａ−１０Ｈで示されるように、異なるタイプの運動性バー表示は、検出された運動性事象に基づき生成され得る。

図１Ｂを参照し、この図は生体内装置によってキャプチャされた生体内画像ストリームの運動分析および表示のための例示的なグラフィックユーザーインターフェース（ＧＵＩ：ＧｒａｐｈｉｃＵｓｅｒＩｎｔｅｒｆａｃｅ）の概略図である。ＧＵＩは、本発明の一実施形態に係る図１Ａのモニター１８のようなモニターに表示され得る一連の編集ツールを含むことができる。１つ以上の画像ウィンドウ２００１は、画像ストリームの画像、例えば画像ストリームのビデオ表示、を表示することができるが、これは選択されたサブセットの画像、またはオリジナル（例えば、撮像装置４０によってキャプチャされるような）画像ストリームを含む縮小された画像ストリームであり得る。いくつかの実施形態において、画像は一連の縮小サイズ画像、例えばサムネイルまたはより大きな画像、として表示されてもよく、必ずしも画像ストリームとしてではない。

コントロール２０１４は、１つ以上のウィンドウ２００１において画像ストリームの表示を変更することができる。コントロール２０１４は、例えば、停止、再生、一時停止、画像を捕捉、ステップ、早送り、巻き戻し、またはウィンドウ２００１の画像ストリームを停止、早送り、または巻き戻しをするためのその他のコントロールを含むことができる。ユーザーは、入力装置（例えば、キーボードおよび／またはマウスなどの図１Ａの入力装置２２）を使用してコントロール２０１４を操作することができる。

一実施形態において、特定の基準に関連し得る画像ストリームからの画像のストリップ、部分、スライスまたはカットは、例えば、運動性事象バーまたはディスプレイ２０８０に示されるような画像ストリームで検出され得る運動性事象の視覚表示で要約または示すことができ、ユーザーに表示することができる。組み合わされたストリップまたはカットは撮像過程で発生した運動性事象の指標を提供することができ、運動性バーの生成またはその他の表示は、患者のＧＩ管の撮像過程で発生した運動性事象の分析を簡素化または補助することができる。

カーソル２０８１は、運動性事象バー２０８０上に配置されてもよく、画像ウィンドウ２００１における運動性事象バーと現在表示されている画像の相関性を観覧者に表示することができる。例えば、ウィンドウ２００１に表示された画像フレームから得たピクセルのストリップは、カーソル２０８１によって示され得る。いくつかの実施形態において、画像フレームのキャプチャされた時間は、カーソル２０８１によって示すことができ、運動性事象バーは、例えば、時間および組織色バー２０５１と並べて配置され得る。いくつかの実施形態によれば、運動性事象バー２０８０は、例えば、異なるスクリーンで、画像ストリームウィンドウ２００１に平行ではなく別途表示することができるが、そうでなければユーザーリクエストによる。

編集／作成コントロール２００９は、例えば、選択のための複数の可能な基準（例えばタブ、チェックボックス、または特定の基準を示すマーカーをクリックすることによって）の１つのリストから運動性事象バー２０８０の生成のための基準のユーザー選択を可能にするために提供することができる。例えば、ユーザーは、運動性事象バーを作成するために使用されるであろうＧＩ管の区画を選択することができるか、または異なるタイプの運動性事象バー生成基準（例えば、生成されたバーにおける内腔孔の最大化、および／またはその他の予め定義された特徴の最大化）を選択することができる。ピクセルストリップの選択は、ユーザーによって、例えば、生成された運動性事象バーを決定するパラメーターの選択を可能にすることによって、（例えば、図１０Ａおよび１０Ｂに示され、本明細書に詳細に記載されるように）例えば固定されたカット表示および／または適応的なカット表示を選択することによって影響されることもあり得る。

運動性事象の高さ２０８２は、サイズ（例えば、ストリップの長さ）を決定することができる。高さ２０８２は、事前に定義されたサイズに設定することができるか、またはユーザー選択可能なサイズバーを使用して作成することができる。表示ユニット上に表示され得る決定された高さ２０８２によって、選択されたストリップまたはラインの長さは調整（例えば、サイズ変更）されてよい。例えば、画像から選択されたストリップのオリジナルの長さが、長さ２５６ピクセルの場合、決定された高さ２０８２によって、１２８ピクセル、５０ピクセル、またはその他の数のピクセルに縮小することができる。同様に、選択されたストリップのオリジナルの長さが１２０ピクセルで、運動性事象バーの高さ２０８２が２５６ピクセルに設定される場合、ストリップは、例えば、ピクセルを複製することによって、または内挿もしくは外挿法を適用することによって、長さ２５６ピクセルにサイズ変更（例えば、引き伸ばされる）され得る。

いくつかの実施形態において、例えば、Ｄａｖｉｄｓｏｎらに付与され、本出願の共通の譲受人に譲渡され、その全体が本明細書に援用される米国特許第７，４７４，３２７号の図９Ａ、図９Ｂおよび図１０Ａ、１０Ｂに開示されるように、複数の画像ストリームがモニターに同時に表示され得る。例えば、撮像装置が複数の撮像システムを有する場合、１つの撮像システムによって得た複数の画像ストリームは運動表示を生成するために使用され得る。例えば、運動性事象バーにおいて使用されるデータは、単一の撮像過程の１つ以上の画像ストリームから要約され得る。

タイムラインまたは時間バー２０５３は、例えば、撮像過程の最初から開始する画像の捕捉時間を示すラインを表示することによって、画像ストリームのタイムラインまたはタイムチャートを提供することができる。カーソル２０５２は、時間バー２０５３上に配置されてもよく、例えば、ウィンドウ２００１において現在表示されている画像の捕捉時間を示すことができる。

組織色バー２０５１は、例えば、米国特許第８，１４４，１５２号に記載の実施形態により生成され得る。組織色バー２０５１は、時間バー２０５３に重なることができるか、または別に表示することができる。いくつかの実施形態において、組織色バー２０５１は、互いに隣接して並ぶ多数のストリップまたは要素で形成されてもよく、または連続バーにおいてアセンブルされてもよい。組織色バー２０５１の各ストリップまたは要素は、要約された情報を示すことができるが、例えば、事前に定義された時間の長さ（例えば、１分間）の間でキャプチャされた画像フレームの平均または標準の色値または強度である。いくつかの実施形態において、組織色バー２０５１の各ストリップは、１つの画像フレームに対応することができるが、例えば、表示された画像フレームの標準色、強度、ｐＨ値などを要約することができる。

サムネイル画像２０５４、２０５６、２０５８、２０６０は、時間チャート２０５１上の適切な相対時間に関連して表示され得る。関連するアノテーションまたはサマリー２０５５、２０５７、２０５９および２０６１は、各サムネイル画像に対応する画像の画像キャプチャ時間および、それぞれのサムネイル画像に関連したサマリー情報を含んでもよい。時間表示２０５０は、画像ウィンドウ２００１に表示されている現在の画像に対して経過した、またはこれに関連した絶対時間と、編集された画像ストリームおよび／またはオリジナルの未編集の画像ストリームの全長を示すことができる。表示されている現在の画像に対して経過した絶対時間とは、撮像装置（例えば、図１のカプセル４０）が最初に作動した、または受像器（例えば、図１の受像器１２）が撮像装置からの送信を受信し始めた瞬間から、表示されている現在の画像がキャプチャされた、または受信された、あるいは胃から小腸までの経路等、ある生理学的なランドマークにある生体内装置の経路から、キャプチャされた、または受信された瞬間までの経過時間である。１つ以上のモニターまたは画像ウィンドウ２００１は画像ストリームおよび他のデータを表示するために使用されてもよい。

本発明の実施形態によれば、運動性情報をユーザーへ表示するための別のオプションが利用できる。一例を挙げれば、運動性事象バー２０８０はバーとしてディスプレイスクリーン上の所定の位置に、例えば組織色バー２０５１と整列させて（または並べて）、および／または時間バー２０５３と整列させて（または並べて）表示してもよい。表示されている現在画像を示す単一のカーソル（例えば、画像のキャプチャ時間および、運動性事象バーで対応するピクセルストリップを示す）を使用してもよい。

別の例では、運動性事象情報は、例えば画像ストリームウィンドウと並行していない別のウィンドウまたはスクリーンに表示されてもよい。運動性事象バー２０８０はユーザーの要求に応じて、例えばポップアップウィンドウを表示してその中に表示してもよい。

カプセル位置ウィンドウ２０７０は患者の胃腸管内にある撮像装置の現在位置および／または方向を含んでもよく、ＧＩ管の異なるセグメントを異なる色を使用して表示してもよい。カプセル位置は、ＧＩ管内部のカプセルのおよその、または推測された位置である可能性がある。セグメントを強調表示して、現在表示されている画像（または複数の画像）がキャプチャされた時の撮像装置の位置を示してもよい。ウィンドウ２０７０のバーまたはチャートは、撮像装置が通った全経路長を示してもよく、および現在表示されている画像をキャプチャした時点で通過した経路のパーセンテージを推定または計算してもよい。

観察者は、マニュアル表示モード、例えば、未編集の画像ストリームと、ユーザーが所定の基準によって編集されたストリームからの画像のサブセットだけを観察し得る、自動編集表示モードのいずれかをボタン２０４０、２０４２で選択できる。表示ボタン２０４４により、観察者が単一ウィンドウでの画像ストリームの観察、または２画面、４画面またはモザイク表示モードでの複数の画像ストリームの観察を選択できる。表示ボタン２０４８を用いて観察者にオリジナルのストリームからの画像、または出血が疑われる徴候がある選択した画像のみを表示し得る。

表示速度バー２０１２はユーザーにより調整されてもよい。スライダーは例えば、１秒当たりに表示されるフレーム数を示してもよい。ボタン２０１６、２０１８、２０２０、２０２２、２０２４および２０２６を用いて、ユーザーが、ランドマーク画像またはサムネイル画像をキャプチャしたり、画像へのマニュアルスコアまたはコメントを入力したり、観察した画像ストリームに対するレポートを生成したり、および観察者の臨床所見およびマーキングを保存したりできるようにしてもよい。コントロール２０２８によってユーザーがＧＩ管内の病理学的または解剖学的ランドマーク等のサンプル画像の辞典またはアトラスへアクセスできるようにしてもよい。コントロール２０３０によりウィンドウ２００１のディスプレイ上の画像のサイズ変更が可能になってもよい（例えば、拡大縮小）。

図２Ａおよび２Ｂを参照すると、これらの図は、カプセルがキャプチャした画像ストリームから得られ得る、異なる表示を示す。画像ストリームを調査するため、異なるタイプの表示を、例えば組み合わせて、または別々に使用してもよい。つまり、フレーム表示（図２Ａで示すような単一フレーム表示を含んでもよい）、または同一のタイムスロットでいくつかのフレームをユーザーに表示する等のマルチフレーム表示が使用される。フレーム表示は、キャプチャした腸の特定の画像フレームに関する情報（例えば内腔孔２２０および組織壁２３０の外観）を提供してもよい。ビデオストリーム表示には、画像フレームのビデオシーケンスのストリーミング、再生または視覚的な複製を含んでもよい。撮像された組織を、フレーム表示またはビデオストリーム表示で調査すれば、より詳細な調査が可能となる場合がある。運動性事象バーのセグメントの図式的な説明を図２Ｂに示す。運動性事象バーでは、ビデオの所望のセグメントの運動特性（例えば経時的な内腔／壁の変化）が、セグメント２４１、２４２、２４３で示すように視覚化され、分析され得る。

運動性事象バーを生成する方法の１つには、フレームのシーケンスにわたって各画像フレームからピクセルのストリップ（例えば、カットまたはライン）を取得し、取得したラインを例えば連続バンドまたはバーに、キャプチャした時間に沿って隣接させて整列する、並べる、または配置することを含む。ストリップは、各画像内で選択した固定部分、例えば、各画像内で選択したピクセルの所定の固定ストリップ、選択または複製される各画像内の同一部分を含んでもよい。例えば、固定ライン２２５は、運動性事象バーを得るため使用される選択画像のサブセット内の各画像上で対角線上にあるピクセルを含んでもよい。これは例えば、サブセット内の各画像間で、ある同一の位置にあり、ある同一の長さおよび角度を有する。別の例において、固定ストリップは、各画像上で、例えば下から上へ垂直に走るラインとして選択してもよい。実施形態のいくつかにおいて、固定ストリップは画像の中心ポイント（図２ＡのＯ）を通過してもよい。

実施形態のいくつかにおいて、ストリップは各画像において別個に選択、または配置される適応カットでもよい。この文脈において用語、適応とは、各画像ストリーム（例えばビデオ）において、プロセッサまたは計算ユニットが、ストリームの全画像フレーム、または全フレームの中で選択したサブセットのいずれかにある各画像フレームを通して最適なカットを検索し得ることを意味する。各フレームについては、ある生成可能なカットの１セットが考慮されてもよく、また、最適なカットを運動性事象バーの作成に選択してもよい。

適応ストリップを決定または選択するため、固定グリッドまたはラインを画像セットに対して定義してもよい。固定グリッドまたはラインは、例えば各画像フレームの中心を通る垂直線として定義され得る。選択したピクセルストリップと固定グリッドとの間で測定された角度は、ある適応角度（図６Ａを参照）であってもよく、各画像フレームにおいて所定の基準によって選択してもよい。

適応カットの一例においては、画像内で検出され得る内腔孔のある領域を通過するストリップを選択していてもよい、または画像内での内腔孔の推測によって選択していてもよい。これは例えば、画像内で検出された内腔孔領域の中心を走るストリップである。内腔孔は、例えば画像検査での撮像装置の回転によって、異なる画像の異なる領域に現われる場合がある。内腔孔の検出に関する方法は、例えば米国特許８，３３５，３６２の図２に開示されている。これは、本出願と共通の譲受人に譲受されており、参照によりその全体を本明細書に組み入れる。

画像フレームから選択されるラインまたはストリップの長さは変化させてもよく、ラインの選択方法および／またはストリップもしくはラインの取得に使用される画像のサイズに依存してもよい。例えば、幅３２０ピクセルおよび高さ３２０ピクセルの正方形画像の中心を走る垂直線の長さは３２０ピクセルになるであろう（幅は例えば１ピクセルであってもよい）。同じ画像の中心を通る対角線は、長さ約４５２ピクセルになるであろう。画像内で動的に検出される領域（またはポイント）を通過するラインもしくはストリップを選択する場合、および／または、画像の中心を通過する垂直および水平線とラインとが成す角度を決定するために動的な角度選択を使用する場合、ラインの長さは個々の異なるラインの選択毎に変化してもよい。さらに、運動性事象バーを得るために使用される画像は正方形とは異なる形状の場合があり、例えば円形または長方形であってもよく、または角が丸くてもよい。したがっていくつかの実施形態において、ラインの長さは、所定の値へ正規化される必要がある場合があり、例えば運動性事象バー２０８０の選択した高さ２０８２へ正規化されてもよい。同様に、いくつかの実施形態において、画像フレームから選択したラインの幅は変化させてもよく、所定のサイズまたはユーザーが選択可能なサイズに正規化、またはクロップしてもよい。

図４は、撮像カプセルによりキャプチャされた４つのタイプの腸事象の例を示す。この事象は、カプセル４０により連続してキャプチャされた画像のシーケンスを含む。観察されるように、例えば収縮シーケンス４０１で、開−閉−開の内腔孔パターンが見られる場合、収縮パターンが測定される。静止的閉鎖内腔シーケンス４０２で見られるように、腸壁（および／または内腔）の運動が見られない場合、腸が実質的に静止しており、腸内のカプセルが「動いていない」。このシーケンスの画像内で描写される内腔孔は実質上閉じており、したがってシーケンスを静止的閉鎖内腔シーケンスとして分類してもよい。一般に腸が静止していて、内腔孔が（実質上）開いている場合、トンネルシーケンス４０３が決定されてもよい。キャプチャされた画像の大部分に混濁した腸の内容物が含まれ、これが画像内に描写されている組織を閉塞またはブロックしている場合、シーケンスを混濁内腔シーケンス４０４として決定してもよい。

本発明の実施形態によれば、腸の運動パターンは運動性事象バーに基づいて決定してもよい。腸の運動パターンの変化（例えば、生体内の画像ストリームで検出された運動性事象のシーケンス）は、患者のＧＩ管の運動特性の指標、例えば腸の正常な活動または運動性障害の指標となり得る。

腸内部のカプセルが自由に動くため、内腔孔の画像が常に画像フレームの中心にキャプチャされるとは限らない。直線的なアプローチでは固定カット、例えば、フレーム内の固定座標を通過するピクセルの直線（例えば、フレームの中心を通るライン）を選択することが含まれてもよく、運動性情報を提示するのに最適な選択ではない可能性がある。例えば、固定カットを図５の画像５０１のシーケンスに示す。固定カット５３０は、各画像において、運動性事象バーの生成に使用される全画像に対してフレームの中心を垂直に通る。

生体内画像ストリームの視覚化のための方法では、適応させた画像カットに基づいた運動性事象バーを含んでもよい。適応させた画像カット基づいた運動性事象バーは、生体内画像のカットを連続させて生成したバーを含み、腸事象を示す運動性事象バーを生成することができる。異なるカットの位置およびシーケンスを選択して、腸運動の種々の表現を生成してもよいが、カットのシーケンスは、画像ストリームの連続フレームにわたって存在する。適応カット法は、各フレームで選択したラインが内腔孔を示す画像の部分を通過する可能性を最大化する最適化問題に基づいてもよい。画像のシーケンスにわたる適応カットの一例を図５の列５０２に示す。適応カットは各画像の特定のポイント、例えば画像の中心を通るよう選択され得る直線を含んでいてもよい。適応カットは、（例えば内腔孔が画像内で見える場合）内腔孔の位置に基づいて、各画像において別々に選択してもよい。

運動性事象バーを示すことにより、カプセル４０によりキャプチャされた元の画像ストリーム（またはそのサブセット）により提供される情報量が減少する。この理由は二次元バーにおいてはビデオシーケンスを集約して表示するためである。運動性事象バーにより、素早く観察して、（例えば専門家による）腸運動の評価を簡素化できる場合がある。適応カット法を使用することで、提示された運動性情報が、可能な範囲で、患者のＧＩ管の内腔および／または組織壁の情報を保持でき、したがって、運動性事象バーを生成するための画像データの選択が、画像ストリームの運動性事象または運動特性の分析に最適となる可能性が高まり得る。

画像フレームにおける最適なカットの定義または選択は異なる基準および条件によって決定され得る。この基準としては、画像フレーム内に描写された１つ以上の特徴の視認性の最大化、および生成された運動性事象バーの平滑度の維持の１つ以上を含んでもよいが、これらに限定されない。基準を予め決定して、例えば処理装置に操作可能に接続された記憶装置に保存してもよく（この基準は、画像フレームにおいて最適なカットを決定するために使用されてもよい）、またはユーザーにより、例えば利用可能な基準のリストから選択してもよい。

生体内の画像ストリームはｎ連続画像フレームのシリーズとして観察されてもよい。ｎフレームは、運動性事象バーの生成のために使用される画像ストリーム（またはそのサブセット）のフレームの総数であってもよい。一実施形態において、適応カットは所定のポイントＯ（例えば画像の中心）を通過するよう選択されてもよい。フレームｉにはそれぞれ可能なｍ個の適応カットαｉ Ω＝｛１，…，ｍ｝がある。図６Ａで示すように、角度αｉは、フレームの中心を通る垂直線とカットを表わすラインとが成す角度を意味する。図６Ｂは画像ｉにおいて、選択された種々の角度αｉによる可能なカットの１セットを示す。角度αｉをグラフ６０１のｘ軸に示し、選択した角度に対応したピクセルの選択カットを、グラフ６０１のｙ軸に示す。

図６Ｃのグラフ６０２はｎフレーム（ｎ群のノードで表わす）を含む。各フレームｉには、選択可能な角度α_ｉを表わすｍ個のノードがある。フレームｉのカットα_ｉからフレーム（ｉ＋１）のカットα_ｉ＋１までを通過するコストをＶ（α_ｉ，α_ｉ＋１）として表示してもよい。適応させた運動性事象バーの構築は、最適化問題として取り組んでもよく、ある１セットの制約が保持されるべきである。例えば、この制約のセットには内腔孔の視認性および表示の平滑度という２つの制約が含まれていてもよい。他の制約または基準が決定されてもよい。

内腔孔の視認性という制約により、カットが内腔孔を確実に通過するようにできるが、一方で平滑度という制約が、例えば連続する画像フレームにおいて、表示の連続性および読み取りの性能を維持し、カットの種々の角度間の変化の速度を制御する点から重要である。カットの異なる角度間の変化速度が速すぎると、生成された運動性事象バーから読み取れることが少なくなる場合がある。この理由は、バーの隣接したストリップ間の変化が大きすぎて、運動性事象の視認性が悪く、検出性能が低下する可能性があるからである。このタスクは、例えばグラフ６０２のアーク６２０、６２１および６２２により接続されたノード６１０、６１１および６１２により示すように、最適経路を発見する問題として再公式化されてもよい。その問題に対する可能解（α_１，・・・，α_ｎ）のコストは例えば、以下のコスト方程式により定義できる。

項Ｄ（α_ｉ）はｉ番目の画像のカットが内腔孔を通過することを保証するために使用され、Ｖ（α_ｉ−１，α_ｉ）はカットα_ｉ−１およびα_ｉが交換可能であることを保証する（この項は、２つの連続フレームｉ−１とｉとの間の変化のコストをキャプチャする）。最適解は、全ビデオフレームを通るが、コストが最小のものであってもよい。

ＧＩ画像ストリームではフレームが大容量であるため（ｎは例えば、最高６０，０００フレームまたは異なるフレーム数となる場合がある）、ダイナミックプログラミング（ＤＰ）が、式（１）により記述される関数の最小値を見出すため、および画像ストリームに対して生成された適応させた運動性事象バー内のカットの角度を得るために、使用されてもよい。

ＤＰは個別の最適化問題に使用してもよい。ＤＰにより、所与の問題に対して大域最適が見つかる。ＤＰの根本概念はある問題を下位の問題のセットへ分割し、元の解を素早く解き、下位の問題は再帰的な方法で効率的に解くことができる（例えばＦｅｌｚｅｎｓｚｗａｌｂ，Ｐ．Ｆ．，Ｚａｂｉｈ，Ｒ．の「Ｄｙｎａｍｉｃｐｒｏｇｒａｍｍｉｎｇａｎｄｇｒａｐｈａｌｇｏｒｉｔｈｍｓｉｎｃｏｍｐｕｔｅｒｖｉｓｉｏｎ」、ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎｐａｔｔｅｒｎａｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ２０１１；３３：７２１−７４０に開示されているように。よって、典型的な再帰的方法との違いはメモ化（既に解いた下位の問題に対する解を記憶する）である。

テーブルＢ（α_ｉ）は１〜ｉの要素に、最適な角度カットを割り当てたときのコストを示す。このときｉ番目の要素はα_ｉというラベルを有するという制約がある。テーブルＢのサイズはｎ×ｍであり、ｍがセットΩの基数を表示し、ｎは、フレームの数を表示する。テーブルＢ（α_ｉ）は、例えば以下の再帰的な式の使用によりｉを増加させて埋めてもよい（他の式を使用してもよい）。

下位問題は次のように定義してもよい。第１のフレームについては、Ｂ（α_１）は第１のフレームに角度Ｄ（α_１）を割り当てる際のコストである。別の全フレームについては、Ｂ（α_ｉ）は、角度Ｄ（α_ｉ）にｉ−１からｉ番目のフレームへの最小推移コストｍｉｎα_ｉ−１（Ｂ（α_ｉ−１）＋Ｖ（α_ｉ−１，α_ｉ））を加えて割り当てる際のコストである。アルゴリズムの各反復では、サイズ１×ｍのベクターＤおよびサイズｍ×ｍのマトリックスＶが計算される。

下位問題の解を再計算しないようにするため、マトリックスＴはテーブルＢ（α_ｉ）を計算して埋められる。Ｔマトリックスは、下位問題への最適解を記憶してもよく、したがって計算量を少なくでき、下位問題はそれぞれ一度だけ計算される。マトリックスの行はそれぞれ、サイズｍを有しており、（ｉ−１）番目の解からｉ番目の解に到達する最良の方法を記憶する。新しい値がＢ（α_ｉ）に追加される毎に、マトリックスＴはこの規則により更新される。

その結果、マトリックスＴは、その問題の最適解を得るために、アルゴリズムが通過するべきノードの指数を記憶する。最終的には、総合的な解は、ｉ＝ｎを始点とするα_ｉ−１＝Ｔ（α_ｉ）にトラックバックされる。結果として、例えば、画像ストリームの全フレームにわたる最適カットのシーケンス（α_ｉ，…，α_ｎ）が得られ得る。この最適カットのシーケンスは画像ストリームのフレームを通してコストを最小限にする経路と見ることができる。いくつかの実施形態において、平滑化項を適用して斑点の検出率を減少させてもよい。

撮像カプセルがキャプチャした画像における内腔は、通常腸壁に囲まれた暗い領域または斑点として観察されることが多い。腸の内腔孔を通過する画像カットは、色の強度の平均および変動の点で特徴を有することができる。２つ以上のカットまたはストリップが内腔孔を通過してもよい。（生成された運動性事象バーにおける）内腔孔の視認性を確保するため、方法は変動が大きく平均値が低いカットを検索することを含んでもよい（平均および変動はストリップまたはカットを構成するピクセルを使用して計算される）。変動σ^２が大きい場合、可能な範囲で内腔および／または壁の情報を保持するフレームの最大限の情報をカットが保持していることを確実に示す。平均値μが低い場合、カットが画像の暗い領域を通過することを確実に示す。画像の暗い領域は、内腔孔を表す可能性が高い。

ｘ（α_ｉ）は角度α_ｉに配置され、画像の中心を通過する画像カットのピクセルのベクターを示す。例を図６Ａに示す。内腔孔の視認性コストＤは以下のように定義されてもよい。

ベクターｘ（α_ｉ）の値が［０，１］の範囲にあると仮定する。

運動性事象バーの平滑度を保証するために、連続フレームの角度間の変化を制御する項が計算されてもよい。平滑度は２つの因子、角度変化Ｖ^１（α_ｉ−１，α_ｉ）＝１８０°−｜１８０°−｜α_ｉ−１，α_ｉ｜｜、および２つの連続カットＶ^２（α_ｉ−１，α_ｉ）＝｜｜ｘ（α_ｉ−１）−ｘ（α_ｉ）｜｜_２間の類似性により制限されてもよい。最終平滑度項Ｖは、例えば以下の式を使用して定義してもよい（他の式または計算が使用されてもよい）。

急な変化にペナルティを課すためにＶ^１およびＶ^２に２次項が導入される場合、γ_１およびγ_２は正規化項であり、β［０，１］は角度の変化量と連続フレームでのカットの類似性を制御するパラメーターである。

ｍが可能なカットの数を示し、ｎはフレームの数を示す。本方法は各反復で次の計算を含み得る。
１）ｍカットでのピクセルの平均
２）ｍカットでのピクセルの変動
３）ｍ^２連続フレームにおけるカット間の角度差
４）ｍ^２連続フレームにおけるカット間の類似点

アルゴリズムの計算複雑度はＯ（ｍ^２ｎ）である。

本実施形態は合成データ、および撮像カプセルによりキャプチャされた画像データ上でテストされた。画像データはＰｉｌｌＣａｍ（登録商標）ＳＢ２カプセル内視鏡カメラを使用して得られた。カメラはＧｉｖｅｎＩｍａｇｉｎｇ，Ｌｔｄ．、Ｉｓｒａｅｌ．により開発された。

検証において、運動性事象バーの３つのタイプのカットをテストした。
１．（Ａｃｕｔ）−本明細書に記述した適応カット
２．（Ａｃｕｔ−）−平滑化項Ｖの除去により得られた適応カットの実施形態の変形。Ａｃｕｔ−実施形態において、式（１）は次式へ変形させる。

これはエネルギー（コスト）関数で平滑度項Ｖの影響を評価するための式である。
３．（Ｆｃｕｔ）−固定カットの縦方向の表示。

合成データの例を示す図７Ａから７Ｄを参照すると、合成データは、本発明の実施形態に係る表示と分析方法をテストするために生成した。合成データを使用した実験では、４０，０００フレームの合成ビデオが毎秒２フレームのフレームキャプチャレートで作成された。一様な背景に、暗い斑点が配置されている。斑点の位置および斑点の大きさは、連続フレーム上で腸事象により変化した。トンネル、静止、収縮、未定義の運動の腸事象を合成ビデオの作成に使用した。ビデオをより現実的にするため、事象の順序と継続時間を乱数発生器で定義した。混濁した内容物の存在により内腔が閉塞し、フレームの色がピンク−オレンジから緑−茶色まで変化する。実験を単純で、説明できるようにするため、混濁シーケンスを考慮しなかった。トンネル、静止、収縮、未定義の運動の特定の腸事象の定義を画像シーケンスの生成のため使用してもよい。

トンネルシーケンスの一例を図７Ａに示す。トンネルシーケンスでは、腸が動いておらず（例えば、静止している、または実質上動いていない）、内腔孔が開口しているシーケンスと定義する。トンネルシーケンスにおいて内腔孔のサイズは、変動が大変小さく（例えば、２つの連続フレーム間の直径の差が±２ピクセル−他のピクセル数を使用してもよい。）実質上開口している（例えば直径７０ピクセルより大きい）と定義される。

静的なシーケンスの一例を図７Ｂに示す。静的なシーケンスでは、腸は動かず、内腔孔が閉じている（例えばフレーム内で内腔孔が観察されない、または小さな内腔孔が観察される）シーケンスと定義する。

収縮シーケンスの一例を図７Ｃに示す。収縮シーケンスは、腸が収縮しているフレームのシーケンスとして定義できるが、この収縮は内腔の開−閉−開という実質上対称的なパターンとして検出される。パターンの継続時間は例えば９フレーム（フレーム数はこれより多くても少なくてもよい）で、一定の頻度、例えば毎分６収縮（他の収縮数が使用されてもよい）を有する。腸の収縮の中央フレームの内腔サイズは初めの内腔サイズの１０％と定義する。

未定義の運動シーケンスの一例を図７Ｄに示す。未定義の運動シーケンスは、内腔孔サイズ（例えば、連続フレーム間で±３０のピクセル変動）および、撮像カプセル（連続フレーム間で±３０のピクセル変動）の不規則な動きとして定義する。

図８は、合成データから生成され、異なるカットを使用して得た縦方向の表示バーの例を示す。バー８００は、バーの収縮シーケンス８２０、未定義の運動シーケンス８２１、静的なシーケンス８２２、トンネルシーケンス８２３のセグメントにより定義された代表値を表わす。バー８０１は生成されたＦｃｕｔを、バー８０２は生成されたＡｃｕｔ−を、バー８０３は生成されたＡｃｕｔを表示する。

ビデオの分割には例えば、静的、混濁、トンネル、収縮または未定義のシーケンスの１つ以上の視覚的な検出を含んでもよい。他のシーケンスのタイプまたは分類を使用してもよい。この文脈において、検出には、例えば、各タイプのシーケンスの始まりおよび終わりのマーキング、あるいは画像ストリームの開始画像および終了画像を各タイプのシーケンスに関連付けることを含んでもよい。別の例において、画像ストリームの画像は１つ以上のタイプの事象シーケンスに属するとして分類、また起因し得る。

図１０Ａから１０Ｈはカプセルがキャプチャした画像ストリームにＡｃｕｔおよびＦｃｕｔを適用した例を示す。運動性事象バーにおいて確認できる内腔孔は、図１０Ａ、１０Ｃ、１０Ｅおよび１０Ｇに示したＡｃｕｔ法を使用して得られた表示の方が、図１０Ｂ、１０Ｄ、１０Ｆおよび１０Ｈに示したＦｃｕｔ法を使用して得られた表示よりも、大きく表示される可能性がある。

Ａｃｕｔ運動性事象バーの一例を図１１に示す。このバーは、全小腸、例えば十二指腸から盲腸までのデータを表わす。白いストライプ１１００はそれぞれ、ビデオの一部分で等しい長さ、例えば、ビデオの継続時間のうちの１０分間を示してもよい。Ａｃｕｔ運動性事象バーおよび元の画像ストリームは（例えば図１Ｂで示すようにＧＵＩを使用して）医療従事者に提示され、トンネル、静的、収縮、混濁、および未定義の運動等の運動性関連シーケンスの開始時間と終了時間をマーキングされてもよい。

Ａｃｕｔを使用した運動性事象バーの観察時に強調され得る事象シーケンスの例を図９Ａから９Ｈに示す。図９Ａおよび９Ｂは、撮像されたＧＩ管の静的な事象を示す。図９Ａおよび９Ｂで示した、事象バーの均一な（または同質の）テクスチャー部分は、これらの事象バーにおいて表わされた連続画像間に本質的な変化がなかったことを示す。したがって、これらのバーで示された画像ストリームの表示部分を静的な事象として、例えばカプセルが実質上ＧＩ管内の同じ位置にあった時間として同定することが可能である。

図９Ｃおよび９Ｄは、トンネル事象の例を示す。図９Ｃにおける事象バーの暗部９４は、表示画像における内腔孔を示す。暗部９４および明るい部分９３が図９Ｃに示される事象バーの部分に沿って実質上均一であるので、暗部９４により示される内腔孔は、図９Ｃの事象バーにより表わされるＧＩ管部分に沿って実質上開いていると、（例えば画像ストリームを調査する専門家、またはプロセッサ１４等の処理装置、および／もしくは運動性表示生成装置２４により画像処理技術を使用して自動的に）推測されてもよい。同様に暗部９６は、図９Ｄの事象バーで内腔孔を示し、より明るい部分９５、９７が図９Ｄの事象バーにより表わされるＧＩ管部分にある、撮像された組織壁を示している。内腔孔部分９６、組織壁部分９５、９７は、事象バーに沿ってサイズおよび位置が実質上一均質である。

図９Ｅおよび９Ｆは、混濁シーケンスの例を示す。混濁シーケンスは、ＧＩ管の対応部分のキャプチャ画像が、腸の内容物、気泡、食物の残り等を少なくともあるレベルで含む場合と定義し得る。画像ストリームで混濁シーケンスとして示される混濁した内容物のレベルを予め定めて、記憶装置、例えば記憶装置１９内に保存しておいてもよい。混濁シーケンスは画像ストリームにおいて、事象バーを使用して（例えば医療従事者、または処理装置によって自動的に）同定されてもよい。例えば、事象バーでシーケンスの色が緑がかっている、または褐色を帯びている場合、画像のシーケンスは混濁シーケンスとして定義されてもよい。

様々な収縮リズムを異なる収縮シーケンス、例えば図９Ｇおよび９Ｈで示してもよい。図９Ｇおよび９Ｈの両方は、急速に状況が変化する画像のシーケンスを示す。状況の変化は、事象バーでは隣接するライン間での検知可能な差により示される。事象バーにおけるピクセルのラインの暗部（キャプチャされた画像の中の内腔孔に対応する）、およびより明るい部分（キャプチャされた画像中の組織壁に対応する）が、隣接したライン間で交互になっている場合、収縮が事象バーにおいて同定され得る。例えば図９Ｈで、垂直のピクセルのライン９８は大部分で暗い部分を含む（ピクセルラインは実質上暗い）。隣接するピクセルライン９９の多くは明るい部分である。このような交互に現れるテクスチャーは、ピクセルライン９８に対応する画像がキャプチャされた時、身体内腔は広く開いており、ピクセルライン９９に対応する画像がキャプチャされた時には実質上閉じていたことを示唆する。テクスチャーが交互に現れるシーケンスが事象バーにおいて検出された場合、このシーケンスは収縮シーケンスとして定義されてもよく、例えば、画像ストリームの対応部分がＧＩ管の収縮的な活動をキャプチャしている。

医者または看護師等の医療従事者はビデオ表示を使用して、いくつかのタイプ（例えば５タイプ）の事象シーケンスにラベルを付けてもよい。さらに、医療従事者は運動性事象バー（例えば、Ａｃｕｔ）を使用して、シーケンスにラベルを付けてもよい。医療従事者によるラベル付け時間またはアノテーション付け時間を両表示方法で比較すると、運動性事象バーの方が、例えば（運動性関連の事象の検出のための）調査時間を実質上短くでき、有利となる可能性がある。

いくつかの実施形態によれば、運動性データの分析は、運動性データバーを生成するプロセッサにより実行されてもよい。例えば、以下の運動性関連のデータが運動性事象バーに基づいて、同定されてもよい（例えばプロセッサにより自動的に検出されてもよい）。
腸の収縮の頻度および／または回数
収縮シーケンスの継続時間または平均継続時間
トンネルシーケンスの頻度、回数、継続時間または平均継続時間
混濁シーケンスの頻度、回数、継続時間または平均継続時間
静止的閉鎖内腔の頻度、回数、継続時間または平均継続時間

検出された運動性事象は、検出された運動性パラメーターに関して正常な動き、または異常な動きの範囲に照らして表示および／または計算される。この範囲はユーザーへ参考として提示されてもよい。例えば、特定の臓器における、または所定の時間内の正常な収縮の回数が、分析した画像ストリーム中で検出された収縮の回数と並べて表示されてもよい。正常な、または異常な動きは比較に基づいて示されてもよい。

プロセッサは単一の事象を同定し、ユーザーへ事象の表示を提示してもよい。事象および／または運動性に関連したパラメーターの分析をある部位（または複数の部位）、または画像ストリームのセグメントに対して、画像ストリームからの画像のサブセットに対して、または画像ストリーム全体に対して実行してもよい。運動性分析のための運動性バーの構築のための方法が、本発明の実施形態によって提示される。本方法は、コスト関数を最小化することで、内腔の位置に対するフレームのカット角度を適応させてもよい。この問題の公式化により、ダイナミックプログラミングを適用して、提示されたコスト関数に対する全体的な最小値を効率的に発見し得る。合成データと生体内画像ストリーム上の実験結果により、本発明の実施形態では内腔孔および（または）壁の分離が保たれ、専門家によるアノテーションが、ビデオ表示を使用して得られたものとよく一致していてもよいことが示される。さらに、目視での検査に必要な時間ははるかに短くなり、例えば、ビデオストリーム表示と比較して、運動性バーを使用すると４倍速くなる。

本発明の実施形態に係る運動性事象バーを使用すると、運動性事象の違いがより明確となり、運動性分析の単純化を支援し得る。さらに、本方法は異なる収縮リズムおよび／またはパターン（例えば運動性事象シーケンスの種々の頻度、継続時間および反復回数）の分析、例えば自動分析を可能にし得る。興味深い運動性現象を運動性事象バーにおいて強調してもよい。例えば、毎分１１回の収縮頻度を有する規則的な腸の収縮、不規則な混合収縮（例えば食物の混合に起因する収縮）および１分サイクル（例えば、腸は毎分、動き無しと収縮性の運動とのパターンを繰り返しながら状態を変化させる）。本発明の実施形態によれば、運動性事象の他のパターンおよび／またはリズムを検出、分析し、および／またはユーザーに提示し得る。

図１２を参照すると、この図は、本発明の実施形態に係る、生体内画像ストリームに基づいた運動性事象バーを生成する方法のフローチャートである。動作１４１０で、生体内撮像装置がキャプチャした画像ストリームの画像は、例えばワークステーション１１等のワークステーションまたは受信機１２等の受信装置で受信してもよい。画像ストリームは、ある時間にわたって生体内撮像カプセル（例えばカプセル４０）により生体内で連続してキャプチャされた画像を含んでもよく、記憶装置１９または記憶装置１６等の記憶装置に保存されてもよい。画像は例えば処理装置（例えばプロセッサ１４）により処理されてもよい。各画像はピクセルの二次元アレイとして、例えば、３２０×３２０ピクセルの矩形のまたは正方形のピクセル配列として表示されてもよい。ピクセルはそれぞれ主要な色、例えば、赤、緑、または青に対応する値を含んでいてもよい。

任意の動作１４２０において、複数の画像をキャプチャした画像ストリームから選択してもよく、選択された画像は運動性事象バーの生成に使用されてもよい。一実施形態では、画像ストリームの全画像を使用してもよい（すなわち、全画像を選択してもよい）が、他の実施形態では撮像装置によってキャプチャされた画像の全セットから画像のサブセットを選択できる。本方法では画像ストリームから、ある基準に従って画像のサブセットを選択することを含んでいてもよい。例えば、運動性事象バーを作成するために画像ストリームのあるセグメントまたは一部分を選択するが、他のセグメントは選択しなくてもよい。例えば、ＧＩ管のある臓器でキャプチャされた画像のシーケンスを選択してもよい。一例を挙げれば、小腸でキャプチャされた画像のみを運動性事象バーの生成のために使用してもよい。画像ストリームの他の部分またはセグメントを選択してもよい。ぼやけた、明るすぎる、または暗すぎる画像は選択しなくてもよい。

一般的には、選択した画像には、生成された運動性事象バーの平滑度の維持、および画像ストリームにおいて、腸事象または腸の特徴をより強調するために、複数の連続画像（例えば撮像装置により連続してキャプチャされた連続画像フレーム）を含んでもよい。

動作１４３０において、ピクセルのストリップまたはラインは、画像ストリーム（例えば画像のサブセット）から選択された複数の画像のそれぞれの画像から選択されてもよい。ストリップを選択するため別の基準が決定されてもよい（例えばユーザーによって、または事前に決定）。ストリップは固定カットまたは適応カットとして選択されてもよい。例えば、隣接したピクセルの線形のアレイが選択されてもよい。ピクセルのストリップやラインをピクセルの行または列と平行に置く必要はなく、行または列に対して別の角度で配置してもよく、例えば、ストリップまたはラインは対角線であってもよい。

選択したピクセルのストリップには、例えば画像から選択されたピクセルのラインが含まれていてもよい。いくつかの実施形態において、ストリップはピクセルの直線であってもよい。ストリップは、固定ストリップまたはカット、例えば画像内の同一座標にあるピクセルであってもよく、ピクセル配列は各画像から選択してもよい。例えば、画像が水平２５６行のピクセルと垂直２５６列のピクセルを含む場合、選択したストリップはピクセル配列の中央の列（例えば列１２８）の全ピクセルを含んでもよい。ピクセルの２つ以上のラインがストリップにおいて選択されてもよく、例えば、隣接した２つ以上の列（２５６×２５６ピクセルの例では列１２７、１２８および１２９）を選択してもよい。選択したストリップは画像内の所定のポイントを通過してもよい。一実施形態において、所定のポイントは画像の中心点（例えば、ピクセル配列の中心）であり得る。他の所定のポイントを選択してもよい。

いくつかの実施形態おいて、ストリップは画像から選択したピクセルの適応ラインであってもよい。例えば、このラインは、運動性事象バーの作成のため選択した画像内の同一の位置を通過する必要はなく、代わりにラインの位置、方向または他の特性を、画像のある特徴または特性に従って画像毎に選択してもよい。例えば、ある特徴または特性を画像内で検出してもよい（例えば、暗い内腔孔または斑点、画像の明るい部分等）。ストリップは画像の検出された特徴または一部分を通過するよう選択してもよく、例えば中心点または検出された特徴の重心を通過してもよい。いくつかの実施形態において、適応ストリップは、画像の所定のポイント（例えばピクセル配列において中心点または中心ピクセル）を通ってもよく、各画像でストリップを選択するために異なる角度を決定してもよい。他の実施形態では、各画像の所定の（例えば固定）ポイントを通過しないラインの選択が可能である。運動性事象バーの平滑度を維持するため、連続するフレームから選択したストリップの角度変化を制御する項を決定してもよい。他のカットを画像から選択してもよく、いくつかの実施形態において、異なるタイプのカットの組み合わせを運動性事象バーを生成するのに使用してもよい。

動作１４４０において、選択されたストリップまたはライン（一般的には選択したストリップのコピー）は、運動性事象の視覚的な表現を形成するため、例えば垂直に整列させるか配置してもよく、互いに接するか隣接して配置してもよい。運動性事象は画像ストリーム、例えば運動性事象バーまたはディスプレイ２０８０において起こる。ストリップもしくはライン、またはストリップもしくはラインのコピーは、運動性事象バーを形成するために使用されてもよい。選択したストリップの長さ（および／または幅）は異なる長さに変更してもよく、例えば伸ばしても短くしてもよい。

動作１４５０で、運動性事象バーはディスプレイ、例えばモニター１８等の表示装置に（任意で）作成または生成されてもよい。運動性事象バーを画像ストリームのビデオ表示を表示するウィンドウ、例えば図１Ｂで示したウィンドウ２００１と並べて表示してもよい。運動性事象バーを分析し、画像のシーケンスをある運動性事象に関連付けてもよい。例えばトンネルシーケンスは例えば図１０Ａおよび１０Ｂで示すように検出されてもよい。別の例で、収縮リズム分析、例えば種々の収縮頻度を分析してもよい。いくつかの実施形態において、運動性事象バーは、収縮、混濁シーケンス、トンネル、静的フレーム等の異なる運動特性または事象の視覚的な検証に有益であり得る。

運動性事象バーはまた、画像ストリームの運動特性の分析に使用されてもよい。運動性事象は運動性事象バーにおいて検出され、表示されるか、ラベルが付けられ、ユーザーに示されてもよい。種々の運動性に関連した特性は、ＧＩ管などのある部位におけるパターン、タイプ、リズム、頻度および／または収縮の継続時間、収縮の平均継続時間、収縮の頻度等として計算され要約されてもよい。他の運動性事象が検出されてもよく、関連する特性が計算、提示されまたは表示されてもよい。例えば、計算された特性に沿った正常および異常値の範囲がユーザーに提示され、正常な範囲と特性の検出値とを比較できるようにしてもよい。また、いくつかの実施形態において、例えば、検出した異常な動きに関する表示があってもよい。

他の動作または動作のシリーズが使用されてもよい。

異なる実施形態が本明細書に開示される。特定の実施形態の特徴を他の実施形態の特徴と組み合わせてもよく、したがって、特定の実施形態は複数の実施形態の特徴の組み合わせであってもよい。

本発明の実施形態は、コンピュータまたはプロセッサにより読取り可能な持続性記憶装置メディア、例えば、メモリ、ディスクドライブまたはＵＳＢフラッシュメモリ等の品物を含んでいてもよい。これらは、例えば、プロセッサまたはコントローラが実行する場合、プロセッサまたはコントローラに本明細書に開示した方法を実行させる、コンピュータが実行可能な指示を、エンコードする、含む、または保存している。

本発明の実施形態の説明が例および記述の目的で提示されてきた。これは、例外を認めないものではなく、また本発明を開示された形態に厳密に制限することを意図しない。当業者であれば、多くの改変、変種、置換、変更、および均等物が上記の教示を踏まえて為され得ることを理解するであろう。したがって、添付の特許請求の範囲は、本発明の真の趣旨の範囲内に含まれるこうした修正および変更の全てをカバーするように意図されることを理解すべきである。