JP2015528716A - 画像ストリームを表示するシステムおよび方法 - Google Patents

Abstract

Ｉｎ−ｖｉｖｏ撮像デバイスにより取り込まれた画像ストリームを表示するシステムおよび方法を提示する。この方法では、ｉｎ−ｖｉｖｏデバイスにより取り込まれた画像ストリームフレームが受信され、各フレームは複数のピクセルで構成される。要約データ要素を構成する要約データ表示が生成されてもよく、各要約データ要素は画像ストリームの少なくとも１つのフレームに対応する。要約データ要素は、第１のソートパラメータに従って１つまたは複数の画像フレームのピクセルを順序付けすることにより、所定のサンプリングスキームに従って順序付けされたピクセルをサンプリングして順序付けされたピクセルのサブセットを取得し、かつサンプリングされたピクセルを組み合わせてまたは付け加えて要約データ要素を形成することにより、生成される。要約データ要素は、要約画像表示を形成するために組み合わせる。【選択図】図７

Description

本発明は、例えば、生体内（ｉｎ−ｖｉｖｏ）で取り込まれた画像ストリームの画像処理を行う方法およびシステムに関する。より具体的には、本発明は、例えば、胃腸管などの、画像ストリーム内の画像および／または事象の要約表示を生成するシステムおよび方法、および画像ストリームの動的なプレビュー表示を表示するシステムおよび方法に関する。

ヒトの胃腸（ＧＩ）管とは、口腔から肛門に至るまでの器官を指す。小腸とは、胃と大腸を結ぶＧＩ管の一部である。成人の小腸の長さには個人差があるが、平均７メートルである。小腸の主な機能は、食物中に認められる栄養素とミネラルの消化および吸収である。それを行うために、小腸は、腸内運動と呼ばれる生理機能によって食物を送り出す。

結腸は、多くの脊椎動物において消化器系の後続部分にあたる。結腸では、水分、ナトリウム、脂溶性ビタミンの一部が吸収される。この工程は、大腸内の内容物を前後で混合させる結腸の収縮により行われるが、内容物をさらに先へと運ぶことはない。大腸内で生じる第２の運動は、大腸の内容物を先へと運ぶとても強い収縮である、高振幅収縮がある。

腸の運動は、蠕動と収縮の２つに分類され得る。蠕動は、例えば、腸壁の同期的な動きであり、一方向への食物の移動を行い、独立した収縮は、例えば、腸壁の非同期的な動きであり、筋肉が互いに実質的に独立して捻じれ、内容物を混合させる力を有することはあるが内容物を前後に移動させることはない。

嚥下可能カプセルを含むｉｎ−ｖｉｖｏ撮像システムにより実行するなどのｉｎ−ｖｉｖｏ撮像方法は、患者の体管腔を画像化することに使用されてもよい。撮像システムでは、例えば、カプセルがＧＩ管の管腔内を通過する間に、ＧＩ管の画像を外部記録装置に取り込み、送信してもよい。カプセルでは、例えば、１〜４０枚／秒の可変フレームレートで画像が取り込まれてもよい。例えば、１００，０００〜３００，０００枚になる大量の画像は、１〜８時間かけて実行され得る撮像工程の間に観察用に収集されてもよく、リアルタイムで観察および／または処理されてもよい。画像は、順にまとめてもよく、画像ストリームまたは動画でユーザに表示されてもよい。

Ｈｏｒｎ ｅｔ ａｌ．による米国特許第７，２１５，３３８号では、ｉｎ−ｖｉｖｏで取り込まれたデータストリームの固定要約グラフ表示を作成するシステムおよび方法が開示されており、そのすべてが参照によって本明細書に取り込まれる。グラフ表示は、１つまたは複数の画像フレームの平均的な画像ピクセル値に基づいて算出し得るカラーバーの形態でもよい。しかしながら、隣接する画像間の差異は、Ｈｏｒｎ ｅｔ ａｌ．によって開示された固定要約表示では検出されないことがあり、ユーザが固定要約表示を精査する際、１枚の画像にある異なる特徴、部位または断片（例えば、管腔のくぼみ、組織、腸内内容物）を、認識することができないことがある。さらに、開示された固定要約グラフ表示は、詳細に欠け、収縮活動や運動事象の情報が提供されない。そのため、画像の特徴の要約情報を認識可能な形で表示する方法およびシステムを提供することが有用とされ得る。

多様な画像特性、腸内事象、収縮活性または運動は、ｉｎ−ｖｉｖｏ画像シーケンスを使用して測定されてもよいと、例えば、Ｇｌｕｋｈｏｖｓｋｙ ｅｔ ａｌ．による米国特許第６，９４４，３１６号および／または同第７，２００，２５３号およびＧｌｕｋｈｏｖｓｋｙ ｅｔ ａｌ．による米国特許第７，７２４，９２８号で開示されており、それぞれすべてが参照によって本明細書に組み込まれる。折れ線グラフで運動データを表示する形態は、例えば、図３において米国特許第６，９４４，３１６号で開示されている。ストリーム内の大量数の画像により、その表示（例えば、完全な画像ストリームとして）は、モニター上に１つのバーもしくはグラフで表示することは難しいことがある。利用可能な運動データのすべてを表示するために画面内に必要とされる領域は、大きすぎるまたは長すぎるために、画面表示には入りきらないことがあり、これらのデータには、例えば、１つまたは複数の画像ストリームウィンドウおよびユーザに提供される追加の医療情報も含まれることがある。そのため、利用可能な量の画面スペースがあり、グラフィカルユーザインターフェース（ＧＵＩ）表示が取り入れられた新たな表示方法の提供が必要とされる。

米国特許第７，２１５，３３８号明細書 米国特許第６，９４４，３１６号明細書 米国特許第７，２００，２５３号明細書 米国特許第７，７２４，９２８号明細書

例えば、ｉｎ−ｖｉｖｏ撮像デバイスにより取り込まれた腸内画像などの、画像シーケンスの要約画像表示するために、コンピュータ実行方法が本発明の実施形態により提供される。この方法には、例えば、ｉｎ−ｖｉｖｏデバイス、ビデオカメラ、安全または監視カメラによって取り込まれた画像ストリームを受信することを含んでもよい。画像ストリームには、デジタル画像フレームが含まれてもよく、各フレームには、ピクセルアレイに配列された複数の画像ピクセルが含まれてもよい。少なくとも画像フレームのサブセットには、ピクセルストリップなどの要約データ要素で構成される要約画像表示が生成されてもよい。各要約データ要素は、画像ストリームの少なくとも１つのフレームに対応するまたは関連してもよい。ある実施形態では、要約データ要素の生成には、第１のソートパラメータに従って１つまたは複数の画像フレームのピクセルの順序付け、および順序付けされたピクセルのサブセットを獲得するために所定のサンプリングスキームに従って順序付けされたピクセルのサンプリングが含まれてもよい。順序付けされたピクセルの各サブセットは、要約データ要素を形成するために、例えば、ピクセルストリップ、ラインまたはその他の空間配列に、隣接させて整列、位置付けまたは配列された、グラフ形式にまとめられてもよい。一実施形態では、要約データ要素は、ライン、またはピクセルなど、一連のもしくはストリップのサブ要素であるが、他の形態または形状で要約データ要素が使用されてもよい。いくつかの実施形態では、要約画像表示は、グラフ、折れ線、または図表の形態で表示されてもよい。

いくつかの実施形態では、要約表示は、（例えば、画像ストリームのビデオ表示付近または連動する）視覚ディスプレイ装置で表示されてもよい。しかしながら、ビデオ表示および要約表示では、連続的である、または「連動」に近い形にする必要はなく、いくつかの実施形態では、互いが連動していないまたは付近ではない。ビデオ表示には、各タイムスロットに表示される少なくとも１つのフレームが含まれてもよく、フレームは、例えば、フレームの取り込み時間または取り込み順序に従って連続して表示されてもよい。ビデオ表示では、例えば、固定または可変フレーム表示レートで、取り込み順序に従って、動画として取り込まれた画像を再生することが含まれてもよい。

ある実施形態において、ソートパラメータは、ピクセル値に基づいてもよい。例えば、赤（Ｒ）緑（Ｇ）青（Ｂ）のＲＧＢ色空間で表現されるピクセルの赤／緑値、または色相（Ｈ）彩度（Ｓ）明度（Ｖ）のＨＳＶ色空間で表されるピクセルのＨ値などの、彩度関連（例えば、色純度）ピクセル値がある。いくつかの実施形態では、第２のソートパラメータに従って１つまたは複数の画像フレームのピクセルの順序付け（または再順序付け）が含まれてもよく、これらは、例えば、輝度または強度に関連したピクセル値などのピクセル値に基づいてもよい。第２のソートパラメータの例としては、ＲＧＢ色空間のＲ、またはＨＳＶ色空間のＶが挙げられる。他の色空間および／または他のソートパラメータが使用されてもよい。

他の例では、ソートパラメータは、フレームの画像化に利用されてもよい１つまたは複数の特徴検出器のスコアに基づいてもよい。ある例では、混濁内容物検出器でピクセルごとに内容物スコアを作製してもよく、このスコアをソートパラメータとして使用してもよい。いくつかの実施形態では、画像フレーム内で管腔のくぼみが検出されることがあり、ピクセルごとの管腔検出スコアをソートパラメータとして使用してもよい。他の検出器および／または他のスコアが使用されてもよい。いくつかの実施形態では、ソートパラメータは、検出器のスコアおよびピクセル値の組み合わせに基づいてもよい。１つまたは２つより多いソートパラメータが使用されてもよい。いくつかの実施形態では、特定の画像特徴、特性、および／または腸内事象は、例えば、要約画像表示またはその部分に基づき、処理装置によって自動的に判定されてもよい。

画像ストリームの少なくとも一部の詳細なプレビューを動的に表示するためのシステムおよび方法も、記載される。例えば、動的プレビューバーなどの動的プレビュー表示は、連続してまたは逐次可変する方法で、算出され、ユーザに表示されてもよい。画像ストリームは、例えば、要約画像プレビュー表示と同時にまたは平行して、および相関して、ビデオストリームまたは動画で表示されてもよい。画像ストリームの現時点での動的プレビューが生成されてもよく、画像ストリームが続くにつれて、またはユーザがプレビューするストリーム部分を指示するときに（例えば、ユーザが入力デバイスで指し示す、または要約グラフ表示上で停止させることにより）、更新されるまたは調整されてもよい。動的プレビュー表示は、画像ストリームのビデオ表示において、実質的に平行してまたは同時に表示され得る１つまたは複数の画像フレームに相関させてもよい。動的プレビュー表示には、ビデオ表示ウィンドウまたはディスプレイ画面の部分に同時に表示される少なくとも１つのフレームに関連する詳細なデータセグメント、および表示される少なくとも１つのフレームに隣接するフレームが含まれてもよい。動的プレビュー表示には、縮小データセグメントも含まれてもよい。いくつかの実施形態では、動的プレビュー表示は、例えば、画像ストリームのビデオ表示と連動して視覚ディスプレイ装置で表示されてもよい。

本発明によるシステムおよび方法の原理および操作は、図面および下記の説明を参照することでより理解を深めることができるが、これらの図面は、例示的な目的のみに提示されるものであり、限定することを意図するものではないことが理解されるであろう。

本発明の実施形態による要約画像表示を生成するｉｎ−ｖｉｖｏ撮像システムの概略図である。 本発明の実施形態による動的プレビュー表示を生成するｉｎ−ｖｉｖｏ撮像システムの概略図である。 本発明の実施形態による要約画像データの２つの例示的要素を示した図である。 本発明の実施形態による要約画像表示の部分を示した図である。 本発明の実施形態による画像のソートされたピクセルのグラフを示した図である。 本発明の実施形態による要約画像要素を生成する方法を例示したフローチャートである。 本発明の実施形態による画像ストリームの異なる動的プレビューバーを示した図である。 本発明の実施形態による画像ストリームの異なる動的プレビューバーを示した図である。 本発明の実施形態による画像ストリームの異なる動的プレビューバーを示した図である。 本発明の実施形態による画像ストリームの異なる動的プレビューバーを示した図である。 本発明の実施形態による動的プレビュー表示で表示された画像ストリームフレームの時間偏差を例示したグラフである。 本発明の実施形態による動的プレビュー表示で表示された画像ストリームフレームの時間偏差を例示したグラフである。 本発明の実施形態による動的プレビューバーを表示する方法を示したフローチャートである。

簡素かつ明瞭にするため、図内に示された各要素は、必ずしも実際の大きさに描かれていないことが認識されるであろう。例えば、各要素の寸法および／またはアスペクト比は、明瞭にするために、他の各要素に対して誇張されることがある。さらに、適切と判断されるところでは、参照番号は、連続した表示において対応するまたは相似した要素を表すために、図内で繰り返されることがある。

以下の記述では、本発明の様々な様態が記載される。説明を目的として、特定の構成および詳細が、本発明の理解を深めるために明記される。しかしながら、当業者であれば、本明細書に記載された特定の詳細がなくても実行可能であることは明らかであろう。さらに、公知の特徴は、本発明を不明瞭にしないために省略または簡素化されることがある。

他に特別に明記されない限り、以下の説明から明らかなように、本明細書の説明を通して、コンピューティングシステムのメモリ、レジスタまたは他の情報記憶装置、伝送または表示装置内の物理量として表される他の同様のデータ内に、コンピューティングシステムのレジスタおよび／またはメモリ内で、物理量的（電子的になど）として表されるデータを操作および／または変換するコンピュータもしくはコンピューティングシステム、または同様の電子コンピューティングデバイスの行為および／または処理に関連して、「処理する」、「コンピューティング」、「ソートする」、「測定する」等の用語を使用することが認識される。本発明の実施形態としては、例えば、プロセッサまたはコントローラによって実行するときにおいて、本明細書で開示された方法をプロセッサまたはコントローラに実行させるコンピュータ実行可能命令などの、命令をエンコードする、含むまたはソートする、例えば、メモリ、ディスクドライブ、またはＵＳＢフラッシュメモリなどのコンピュータまたはプロセッサの非一過性の記憶媒体などが挙げられる。

本発明の実施形態によるデバイスとしては、本発明の実施形態での使用に適した画像化装置、受信装置、処理装置、記憶装置および／またはディスプレイ装置が挙げられ、Ｄａｖｉｄｓｏｎ ｅｔ ａｌ．による米国特許第７，９８６，３３７号「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｅｄｉｔｉｎｇ ａｎ Ｉｍａｇｅ Ｓｔｒｅａｍ Ｃａｐｕｔｕｒｅｄ Ｉｎ−Ｖｉｖｏ」、Ｉｄｄａｎ ｅｔ ａｌ．による米国特許第７，００９，６３４号「Ｄｅｖｉｃｅ ｆｏｒ Ｉｎ−Ｖｉｖｏ Ｉｍａｇｉｎｇ」、および／または米国特許出願公開第２００７／０１１８０１２号「Ｍｅｔｈｏｄ ｏｆ Ａｓｓｅｍｂｌｉｎｇ ａｎ Ｉｎ−Ｖｉｖｏ Ｉｍａｇｉｎｇ Ｄｅｖｉｃｅ」に記載された実施形態と類似していてもよく、それらは本発明の出願に共通した譲受人に帰属したものであり、そのすべてを参照によって本明細書に組み込まれる。

当然のことながら、本明細書で記載されたデバイスおよびシステムは、他の構成および他の構成要素のセットを備えてもよい。本発明のいくつかの実施形態によるデバイス、システムおよび方法は、Ｇｉｖｅｎ Ｉｍａｇｉｎｇ，Ｌｔｄ．によって提供された市販のＰｉｌｌＣａｍ（登録商標）ＳＢ２またはＣｏｌｏｎカプセルおよび関連するデータレコーダおよびＲＡＰＩＤ（登録商標）ワークステーションに類似していてもよい。

患者によって飲み込まれることになるｉｎ−ｖｉｖｏ撮像カプセルは、腸内組織壁を動かす蠕動収縮によって、操作させてもよく、ＧＩ管に沿って受動的に進ませてもよい。操作中、カプセルは、食道、胃、小腸および結腸などの様々なＧＩ器官を通過する。小腸の組織壁は比較的狭いトンネル構造であるため、カプセルが小腸を通過する間、トンネルの方向に平行して姿勢が保持されることがある。撮像カプセルの長手方向の軸（例えば、図１ＡのＬ軸のようなカプセルの長さ方向軸）は、一般に、カプセルが小腸内で進む方向に平行して保持されることがある。カプセルの撮像システムでは、撮像が一般に小腸のトンネルの向き前進および／または後進方向を向いて行われるように、管腔壁の開口部および閉口部の撮像が極めて定期的に取り込まれるように、カプセルの長手方向の少なくとも一方の端で姿勢が保持されることがある。管腔壁の開口部および閉口部を取り込む画像データは、各画像の取り込み時刻の記録と共に、小腸の運動事象、または蠕動活動のタイプまたは頻度を分析、表示および／または算出に使用されてもよい。本発明の実施形態は、効率的で分析しやすい方法で医療専門家に対して運動に関連した情報を表示することができる。

腸内運動の特定事象の検出および特徴化は、Ｖｕ，Ｈ．，Ｅｃｈｉｇｏ，Ｔ．，Ｅｔ ａｌ．による「Ｃｏｎｔｒａｃｔｉｏｎ ｄｅｔｅｃｔｉｏｎ ｉｎ ｓｍａｌｌ ｂｏｗｅｌ ｆｒｏｍ ａｎ ｉｍａｇｅ ｓｅｑｕｅｎｃｅ ｏｆ ｗｉｒｅｌｅｓｓ ｃａｐｓｕｌｅ ｅｎｄｏｓｃｏｐｙ」（ＭＩＣＣＡＩ’０７；ｖｏｌ．１．２００７，ｐ．７７５−７８３の議事録において）、Ｖｕ，Ｈ．，Ｅｃｈｉｇｏ，Ｔ．，Ｓａｇａｗａ，Ｒ．，Ｙａｇｉ，Ｋ．，Ｓｈｉｂａ，Ｍ．，Ｈｉｇｕｃｈｉ，Ｋ．，ｅｔ ａｌ．による「Ｄｅｔｅｃｔｉｏｎ ｏｆ ｃｏｎｔｒａｃｔｉｏｎｓ ｉｎ ａｄａｐｔｉｖｅ ｔｒａｎｓｉｔ ｔｉｍｅ ｏｆ ｔｈｅ ｓｍａｌｌ ｂｏｗｅｌ ｆｒｏｍ ｗｉｒｅｌｅｓｓ ｃａｐｓｕｌｅ ｅｎｄｏｓｃｏｐｙ ｖｉｄｅｏｓ」（Ｃｏｍｐｕｔ Ｂｉｏｌ Ｍｅｄ ２００９；３９：１６−２６）、およびＶｉｌａｒｉｎｏ，Ｆ．，Ｓｐｙｒｉｄｏｎｏｓ，Ｐ．，Ｄｅｉｏｒｉｏ，Ｆ．，Ｖｉｔｒｉａ，Ｊ．，Ａｚｐｉｒｏｚ，Ｆ．，Ｒａｄｅｖａ，Ｐ．による「Ｉｎｔｅｓｔｉｎａｌ ｍｏｔｉｌｉｔｙ ａｓｓｅｓｍｅｎｔ ｗｉｔｈ ｖｉｄｅｏ ｃａｐｓｕｌｅ ｅｎｄｏｓｃｏｐｙ：ａｕｔｏｍａｔｉｃ ａｎｎｏｔａｔｉｏｎ ｏｆ ｐｈａｓｉｃ ｉｎｔｅｓｔｉｎａｌ ｃｏｎｔｒａｃｔｉｏｎｓ」（ＩＥＥＥ Ｔｒａｎｓ Ｍｅｄ Ｉｍａｇｉｎｇ ２０１０；２９（２）：２４６−５９）において腸内収縮の検出として、腸内運動の領域で知られている。

医師のような専門の読影者がＧＩ管の撮像工程を観察する場合には、観察対象となる、すぐにまたは次のフレームについての詳細な情報データが提供されることは有用であり得る。例えば、１０万枚の大量の画像が、撮像工程の間に取り込まれることがある。従来の寸法および解像度を備えるモニター上で画像ストリームウィンドウに連動する固定の運動性表示内のこれらすべての画像の要約データは、画面のサイズと解像度のパラメータの点から考慮して、固定の運動性表示を構成するピクセルの各ストリップでは、例えば、１００フレームなどのより大規模のサブセットのデータを集約することがあるため、例えば、現時点で表示される画像の前後２０フレームには、比較的小規模の関連する画像ストリームのサブセットのフレーム特徴に関する詳細な情報は提供されないことがある。患者のＧＩ管または多くの腸内内容物を含むＧＩ管における小規模領域の運動事象など、診断に重要となり得るいくつかの事象は、固定表示の解像度に制限があるため、固定表示では明瞭に可視化できないことがある。そのような事象は、比較的少ない画素数で、例えば、２０未満の画像数で、取り込まれることがある。例えば、収縮が、例えば、１０フレームなど一連のフレームを超えて取り込まれることがあり、画像内に表示される管腔のくぼみは、フレームシーケンスの第１の画像では大きく、フレームシーケンスの半ばに向かうにつれて小さくなり、フレームシーケンスの後半に向かって大きくなることがあるため、そのようなフレームシーケンス間の状況の変化は大変重要である。そのため、画像ストリームを観察する間、（例えば、次のフレームに遷移するまで）少ない画像数に対応するデータの詳細なプレビューの表示に、撮像工程を通じて腸内の関心領域または関心ポイントを強調した可視化表示が行われてもよい。

本発明の実施形態では、ＧＩ管内で取り込まれた画像フレームから抽出されたデータの分析および処理に基づいて、画像データの要約表示を表示するシステムおよび方法を記載する。各画像フレームは、例えば、特定の高さおよび特定の幅（例えば、３２０×３２０ピクセル）の長方形または正方形のピクセルアレイのような、２次元のピクセルアレイで表現されてもよい。各ピクセルは、ＲＧＢトリプレットとしてエンコードされてもよい色情報を含むポイントおよび可能性のある画像の明るさを表現する１つまたは複数のビット情報で構成されてもよい。

画像データの分析および処理は、ユーザの介入なしに、処理デバイスによって自動的に行われてもよい。画像データの要約表示は、例えば、要約ピクセルストリップまたは要約画像データの他の配列を含む、例えば、要約バー、ウィンドウまたはディスプレイを使用して、例えば、１つまたは複数のプロセッサ、ワークステーション、回路構成、検出器またはその他のコンピュータデバイスにより実行されてもよい。本発明のいくつかの実施形態によると、１つまたは複数の要約表示ウィンドウまたはバーは、動的または固定ディスプレイを使用して、診断を行う医療従事者に対して表示されてもよい。

画像データを要約してもよく、画像に描かれた様々な構造や内容物に対応する画像ピクセル度数が、ユーザに表示されてもよい。本発明の実施形態によると、腸内組織の画像は、様々なカテゴリーに分類されてもよい。カテゴリーには、画像フレームまたは特定のピクセル特徴に描かれた可視的構造の様々なタイプが含まれてもよい。以下のカテゴリーは、腸内画像で検出されることがあるセグメントタイプの分類例である。
１）管腔のくぼみ（ルーメンホール）とは、画像の残余部分より実質的に暗く組織壁の開口部が描かれていることがある画像の部分
２）組織壁とは、組織壁が描かれた画像の部分、および
３）混濁内容物とは、腸内内容物によって閉塞された管腔のくぼみおよび／または組織壁
他のカテゴリーが追加または置換して使用されてもよい。

相当量の画像データを取得するためには、生理学上の構造または事象の詳細な分析が行われてもよい。しかしながら、大量のデータには、長時間にわたるビデオの映像化が必要となることがあり、医師が患者の撮像工程を診断するために比較的長時間を要することがある。医療従事者が読影した画像ストリーム内で次の画像を表す情報データを表示する動的プレビューバーまたはディスプレイが提供されることは有用となり得る。

腸内事象は、画像ストリームからの一連の連続した画像に描かれることがある特定のパターンまたは特定の運動性に関連した特性を含み得る画像シーケンスに関連付けられることがある。例えば、腸内事象には、開口部−閉口部の管腔のくぼみのパターンを描く一連の連続として検出されることがある腸内収縮が含まれてもよい。他の例では、腸内事象は、管腔壁の静止期間（例えば、開口トンネルシーケンスとして参照されることがある開口した管腔のくぼみの反復画像）や閉口した管腔のくぼみが含まれてもよい。他の腸内事象のタイプは、画像において腸内内容物の存在を示す、混濁したまたは閉塞した管腔の開口部である。事象の他のタイプまたはカテゴリーは、画像ストリームの画像に基づいて検出されてもよい。

図１Ａは、本発明の実施形態による要約画像表示を生成するｉｎ−ｖｉｖｏ撮像システムの概略図を示す。例示的な実施形態では、システムには、画像を取り込む１つまたは複数のイメージャ４６を備えたカプセル４０、体管腔を照らす１つまたは複数の照明源４２、受信デバイスに画像および可能性のある他の情報を送信する送信機４１が含まれる。典型的には、画像取り込みデバイスは、そのすべてを参照して本明細書に取り込まれる、Ｉｄｄａｎ ｅｔ ａｌ．による米国特許第７，００９，６３４号および／またはＧｉｌａｄによる米国特許出願公開第２００７／０１１８０１２号で記載された実施形態に対応してもよいが、別の実施形態では、画像取り込みデバイスの他の種類が含まれてもよい。イメージャシステムによって取り込まれた画像は、例えば、円形、正方形、長方形、八角形、または六角形などを含む、適切な形状にしてもよい。典型的には、患者の体外の１つまたは複数の位置には、画像受信機１２があり、典型的には、カプセル４０により記録された画像を特に表示するために、アンテナもしくはアンテナアレイ、画像受信機記憶装置１６、データプロセッサ１４、データプロセッサ記憶装置１９、および画像モニターまたは視覚ディスプレイ装置１８が含まれる。典型的には、データプロセッサ記憶装置１９には、画像データベース２１が含まれる。

典型的には、データプロセッサ１４、データプロセッサ記憶装置１９およびモニター１８は、プロセッサ１４、メモリ、ディスクドライブ、およびマウスおよびキーボードのような入出力デバイスなどの基本的な構成要素を含むパーソナルコンピュータまたはワークステーション１１の一部であるが、別の構成も可能である。データプロセッサ１４には、マイクロプロセッサ、マルチプロセッサ、アクセラレータボード、または他の直列または並列高性能データプロセッサのような、すべての基本的なデータプロセッサが含まれてもよい。データプロセッサ１４は、その機能の一部として、（例えば、画像、様々なウィンドウ間の画像の位置、画像表示のタイミングまたは期間など）画像の表示を制御するコントローラとして機能してもよい。画像モニター１８は、典型的には、従来のビデオ表示であるが、加えて、画像または他のデータを提供可能などの他のいかなるデバイスであってもよい。画像モニター１８は、典型的には、静止画または動画の形態で運動データの画像データを表示するが、加えて、他の情報が表示されてもよい。例示的な実施形態では、様々なカテゴリーの情報が、ウィンドウ内に表示される。ウィンドウは、例えば、ディスプレイまたはモニター上で（おそらく輪郭または境界が描かれた）部分または領域であってもよく、他のウィンドウが使用されてもよい。複数のモニターが、画像フレーム、要約画像表示、運動特性、運動事象および他のデータを表示するために使用されてもよい。ある実施形態では、画像モニターは、画像受信機１２に含まれてもよい。

画像取り込み工程の間、イメージャ４６が画像を取り込み、画像が含まれたデータが、例えば、電磁波を使って、画像受信機１２に画像を送信する送信機４１に送信されてもよい。画像受信機１２は、画像受信機記憶装置１６に画像データを送信する。特定の時間のデータ収集の後、記憶装置１６に記憶された画像データは、データプロセッサ１４またはデータプロセッサ記憶装置１９に送信されてもよい。例えば、画像受信機１２または画像受信機記憶装置１６は、患者の体から離されて、例えば、既知の構造である直列、並列、ＵＳＢ、または無線インターフェースなどの標準的なデータリンクを介してデータプロセッサ１４およびデータプロセッサ記憶装置１９を含むパーソナルコンピュータまたはワークステーションに接続されてもよい。画像データは、次いで、画像受信機記憶装置１６からデータプロセッサ１９内の画像データベース２１に送信される。典型的には、画像ストリームは、画像データベース２１に一連の画像として保存されるが、既知の様々な方法で実行されてもよい。データベース１４がデータを分析し、分析されたデータはユーザが画像データを観察する画像モニター１８に提供されてもよい。例えば、データプロセッサ１４、または別のデータプロセッサ（例えば、受信機１２）は、本発明の実施形態による画像を処理し、腸内事象バーを作成してもよい。データプロセッサ１４は、オペレーティングシステムおよびデバイスドライバのような基本オペレーティングソフトウェアに連動させてソフトウェアを操作し、データプロセッサ１４の操作を制御する。典型的には、ソフトウェアを制御するデータプロセッサ１４には、Ｃ＋＋言語で記述されたコードが含まれており、マイクロソフト社のＮＥＴプラットフォームなどの様々な開発プラットフォームを使用して実行されてもよいが、既知の様々な方法で実行されてもよい。

カプセル４０により保存され送信された画像データは、デジタルカラー画像データであってもよく、例えば、ＲＧＢ（赤、緑、青）色空間で取り込まれてもよいが、別の実施形態では、他の画像形式が用いられてもよい。例示的な実施形態では、画像データの各フレームには、それぞれ３２０ピクセルの３２０行（例えば、３２０行と３２０列）が含まれており、既知の方法によると、色と明るさについて各ピクセルはバイトで表現される。例えば、各イメージャのピクセルには、赤、緑、または青の主要な単色に対応してもよい色センサーが含まれてもよい。ピクセル全体の明るさは、１バイト（例えば、０−２５５）の値として保存されてもよい。画像は、例えば、データプロセッサ記憶装置１９に、連続して保存されてもよい。保存されたデータは、色および明るさを含む、１つまたは複数のピクセル特性で構成される。画像表現に他の形式が使用されてもよい。あるいは、各ピクセルでは、データは、色相、彩度および明度（ＨＳＬまたはＨＬＳ）、色相、彩度および値または明るさ（ＨＳＶまたはＨＳＢ）、または色相、彩度および強度（ＨＩＳ）のような円筒座標表現形式で表現されてもよい。ＲＧＢ色空間の円筒座標表現は、垂直中心軸周囲の角度によって色と色相の情報が表現されることに特徴があるが、軸からの距離および軸に沿った距離が彩度と明るさのような他の情報に対応する。例えば、ＨＳＶ表現を使用して、色相（Ｈ）値は垂直中心軸周囲の角度、彩度（Ｓ）値は軸からの距離、および値（Ｖ）は軸に沿った距離を示してもよい。あるいは、他の表現では、ＹＣｂＣｒ（Ｙは光度または輝度の構成要素、Ｃｂは青の色差成分の構成要素およびＣｒは赤の色差成分の構成要素）のような、Ｌａｂ色空間などが使用されてもよい。一実施形態によると、画像は、例えば、データプロセッサ記憶装置１９内に連続して保存されてもよい。保存されたデータには、Ｈ、ＳおよびＶを含む、１つまたは複数のピクセル特性が含まれてもよい。

データプロセッサ記憶装置１９には、カプセル４０により保存された一連の画像が保存されてもよい。カプセル４０によって取り込まれた画像は、例えば、患者のＧＩ管を通過して動くまたは操作する際に、連続して組み合わせ、画像ストリームとして表示可能な一連の画像を形成してもよい。画像ストリームを観察するとき、ユーザには、典型的には、モニター１８上で１つまたは複数のウィンドウが表示されるが、別の実施形態では、複数のウィンドウは必要とされず、１つの画像ストリームのみが表示されてもよい。複数のウィンドウを備えるある実施形態では、例えば、画像ウィンドウでは画像ストリーム、またはその画像の静止部分が提供される。別のウィンドウでは、画像のディスプレイを変えることのできるボタンまたは他のコントロール、例えば、停止、再生、一時停止、画像取り込み、ステップ、早送り、巻き戻し、またはその他のコントロールなど、が含まれてもよい。そのようなコントロールは、例えば、マウスやトラックボールなどのポインティングデバイスで作動させてもよい。典型的には、画像ストリームは、１つのフレームを観察するために停止または一時停止、増速、逆転させてもよく、部分的に飛ばされてもよく、または画像を観察する他の方法が画像ストリームに取り入れられてもよい。

画像特性および／または腸内（例えば、運動）事象は、画像ストリームからの１つまたは複数の連続した画像に基づいて検出されてもよい。本発明の実施形態によると、画像ストリームの画像特性および／または明確化されたシーケンスの視覚的検出は、要約表現の特定の特性またはシーケンスに対応してまたは関連してもよい。要約表現は、画像内の腸内内容物の分量、撮像工程中に生じた運動事象、および／または画像化された管腔の運動特性の測定（例えば、異常な運動性を示してもよい）などの画像特性の視覚化に使用されてもよい。１つまたは複数の下記の画像特性および／または腸内事象シーケンスの視覚的検出は、（読影者による、または自動的にプロセッサによる）実行されてもよい：混濁フレーム（腸内内容物の実質的割合）、弛緩した管腔シーケンス、または収縮。他の画像特性および／またはシーケンスカテゴリーが使用されてもよい。ここでの検出では、例えば、腸内内容物に塞がれるフレームを示し、各種のシーケンスの始まりと終わりを印し、画像ストリームから各種のシーケンスへの開始画像および終始画像に相関することが含まれてもよい。別の例では、画像ストリームの画像が、１つまたは複数のカテゴリー（例えば、特定の画像特性および／または事象シーケンスのタイプに関連して）に帰するものとして分類されるまたは属性を関連付けられてもよい。

要約表示またはディスプレイには、複数の要約画像要素が含まれてもよい。要約表示は、一実施形態では、「バー」として形成され、バー以外での視覚データのディスプレイまたは編成およびバー以外の形状で、要約表示として使用されてもよい。データプロセッサ１４としては、要約画像表示生成機３０が挙げられるか、または操作できるように接続されてもよい。要約画像表示生成機３０では、取り込まれた画像セットから画像が加工されてもよく、グラフィカルユーザインターフェース（ＧＵＩ）のプレビュー部分内で表示するために、画像の視覚特性または画像部分が取得されてもよい。要約画像表示生成機３０では、複数の要約データ要素（例えば、ストリップ）を生成することができ、各要素は１つまたは複数の取り込まれた画像のデータを要約したものである。要約データは、例えば、画像ストリームの画像のピクセル特徴に基づいてコンピュータ処理されてもよい。要約データ要素は、例えば、要約バーを形成するために隣接して整列するまたは配置するおよび組み合わせる、付加する、またはまとめるなどして組み合わされてもよい。要約表示を生成するグラフィックソフトウェアまたはハードウェアを実行するために、データプロセッサ１４および／またはディスプレイ１８が含まれるかまたは構成されてもよい。

要約表示を生成するために、画像ストリームの画像セットが、要約画像表示生成機３０に提供されてもよい。画像セットには、例えば、撮像デバイスにより取り込まれたすべての画像が含まれてもよい。いくつかの実施形態では、画像のサブセットは、要約バーを生成するために使用されてもよい。画像のサブセットは、例えば、所定の選択基準に従って選択されてもよい。

いくつかの実施形態では、要約表現または表示は、ＧＩ管の選択部分について生成されてもよい。例えば、要約表示は、選択された器官（食道、小腸、結腸、胃など）、または撮像工程の完了から選択された時間帯（例えば、最初の２時間）について生成されてもよい。本発明の実施形態によると、運動事象または運動特性は、例えば、画像フレームまたは画像シーケンス（例えば、画像ストリームから選択された一続きの連続したフレームが含まれてもよい、例えば、画像ストリームの一連の画像シーケンスのフレーム）を選択して、画像ストリームの画像に基づいて検出されてもよい。

一実施形態では、要約表示を生成するために使用される画像のサブセットは、画像ストリームで同定されることがある特定の関心ポイント間で取り込まれた画像が含まれてもよい。いくつかの実施形態では、解剖学的指標または病理学が、例えば、十二指腸、回盲弁、（胃への入口を示す）Ｚ線などのような、解剖学的指標が関心ポイントとして選択されてもよい。取り込まれた画像ストリーム内の２つの関心ポイントが、選択されてもよい（例えば、システム内で所定の、または観察する画面ストリームがユーザにより選択されてもよい）し、カプセルが第１の選択ポイントから第２の選択ポイントを通過するまでの時間に取り込まれたすべての画像が要約表示の生成に含まれてもよい。いくつかの実施形態では、要約表示では、例えば、第１の十二指腸と第１の結腸との間に取り込まれた撮像工程の部分として、小腸の画像が生成されてもよい。

要約表示を生成する画像は、所定の基準に従って取り込まれた画像の完全なセットから選択されてもよい。いくつかの実施形態では、特定の画像は、例えば、暗すぎるまたは明るすぎる画像などは短縮された画像ストリームから除外されてもよい。短縮された動画を創るためのｉｎ−ｖｉｖｏ画像ストリームの編集方法の実施形態が開示されている、Ｄａｖｉｄｓｏｎ ｅｔ ａｌ．による米国特許第７，９８６，３３７号に記載された方法に類似する方法は、要約表示を生成するための画像選択に使用されてもよい。短縮された画像ストリーム用に選択された画像は、要約表示を生成するために使用されてもよい。さらに別の例では、画像が、例えば、隣接した画像間で類似したものを基にして、まとめられるまたは結合されてもよく、例えば、要約バーの形態で、要約表現が、結合されたまたはまとめられた画像のサブセットに基づいて生成されてもよい。他の画像選択方法が、画像のサブセットを測定するために使用されてもよい。いくつかの実施形態では、要約表示の生成に使用されてもよい画像のサブセットを生成するために、異なる画像選択方法を組み合わせてもよい。

要約画像表示生成機３０では、選択された画像セットの画像または画像群（例えば、完全な画像ストリームまたは短縮された画像ストリーム）が表示される要約データが生成されてもよい。要約データは、例えば、ピクセルのストリップの形態で作成されてもよい。本明細書で使用される、ピクセルの「ストリップ」には、表示された要約表示のストライプ要素が含まれてもよい。ストリップには、ピクセルパラメータを使用してストリップに集約される１つまたは複数のフレームからコンピュータ処理されてもよいピクセル値として、ラインに配列された複数の隣接ピクセルが含まれてもよい。ストリップは、様々な方法で生成されてもよい。ストリップは、典型的には、長方形であり、特定のピクセルの長さおよび１つまたは複数のピクセルの幅であってもよい。例示的なストリップを図２Ａに示す。ストリップまたはストライプ以外で要約表示または表示をなす要素には、ストリップまたはストライプ以外の形態が使用されてもよい。各ピクセル要素またはストリップは、１つまたは複数のフレームに対応する、由来するデータを示す、または関連してもよい。

いくつかの実施形態では、１つの画像または複数の画像のピクセルのサブセットが、要約データ要素を生成するために選択されてもよい。例えば、固定テンプレートまたはマスクが、各画像から選択される関心領域を特定するまたは選択するために、画像ストリーム用に定義されてもよい。関心領域は、カプセル４０の撮像システムの既知の光学特性および／または照度特性に基づいて定義されてもよい。例えば、ピクセルストリップなどの、要約データ要素の生成は、関心領域に含まれるピクセルのサブセットに基づいて行われてもよい。ある実施形態では、取り込まれた画像は、例えば、直径３２０ピクセルの円形に形成されてもよく、画像の関心領域は、取り込まれた画像の中央に位置するより小さな円（例えば、直径２００ピクセル）として定義されてもよい。画像の関心領域は、ほぼ中央のピクセルが画像から選択され、（画像の縁領域にある）より暗いピクセルは選択されない、などと選択されてもよい。そのようなピクセル選択は、画像に描かれた実際の管腔のくぼみではなくｉｎ−ｖｉｖｏ場面における不必要な照明により引き起こされることがある画像内での管腔のくぼみの表示ミスを防ぐ助けとなることがある。

画像内での管腔くぼみの検出は、１つまたは複数の画像（群）の要約プレビューデータを生成するために使用されてもよい。要約形式での１つの画像または複数の画像のプレビュー情報を提供するためには、管腔くぼみが描かれそうなピクセルと、組織と腸内内容物が描かれそうなピクセルとの間を識別することが有用であり得る。これらのピクセルタイプの識別（例えば、分類）は、例えば、要約画像表示生成機３０によって行われてもよく、管腔くぼみおよび表示画像内の管腔のくぼみの相対的な大きさおよび／または位置を示す要約データストリップを生成するために使用されてもよい。ある実施形態では、画像ピクセルのＲＧＢ値が、１つまたは複数の画像内の管腔のくぼみの検出に使用されてもよい。別の実施形態では、管腔検出は、端部検出方法または（例えば、本発明の出願に共通した譲受人に帰属する、Ｓｐｙｒｉｄｏｎｏｓ ｅｔ ａｌ．による米国特許出願公開第２０１１００４４５１５号で開示された）しわ検出に基づいて行われてもよい。一連の画像で検出された管腔のくぼみの大きさおよび推定される大きさから、収縮、トンネルシーケンス、または運動性に関する腸内事象が示されることがある。異なるパラメータが、画像内の管腔のくぼみの検出に組み合わされてもよく、例えば、検出は、ＲＧＢピクセル特性と端部検出の両方に基づいて行われてもよい。

運動情報は、画像内で視覚化される管腔のくぼみの大きさに基づいていてもよい。例えば、収縮は、通常、（画像シーケンス内で）最大収縮期に向かうにつれて小さくなり、収縮終期に再び大きくなる、第１の画像内に大きな管腔のくぼみを描く一連の画像から検出可能であり得る。収縮シーケンスの例は、本発明の出願に共通した譲受人に帰属する、Ｒａｄｅｖａ ｅｔ ａｌ．による米国特許出願公開第２００９０２８４５８９号で開示された図２に示す。

ある実施形態では、要約画像表示生成機３０では、少なくとも１つのピクセルパラメータ値に従って１つの画像フレーム（または複数のフレーム）の選択されたピクセルがソートされてもよい。異なるピクセルパラメータ値では、例えば、（ＲＧＢ色空間で表現される）ピクセルのＲ、ＧまたはＢ値、またはそれらを線形または非線形での組み合わせ、または異なる色空間（例えば、ＨＳＶ、ＨＳＢなどの、色度−輝度の色空間）に変換されたピクセルにも続いてコンピュータ処理されてもよい輝度または色度値が使用されてもよい。ソートされたピクセルは、所定のサンプリングスキームに従ってサンプリングされてもよい。サンプリングされたピクセル値は、例えば、画像ストリームの要約表示に表示されるピクセルストリップの形態で、要約表示要素の生成に使用されてもよい。

他の方法は、要約表示または表示の要約データ要素を生成するために使用されてもよい。いくつかの実施形態では、管腔のくぼみが、各画像内で検出されることがあり、その領域が測定されることがある。測定された領域は、例えば、管腔のくぼみが画像内に占める比率やピクセル数の割合などの相対的な大きさであってもよく、画像内に描かれた管腔のくぼみ領域の絶対的な（例えば、実際の）予想であってもよい。ある実施形態では、管腔のくぼみの部分のみが描かれる場合、くぼみが画像内に完全に描写されていた場合に管腔のくぼみが占有するであろう画像の部分の予想が提示されてもよく、管腔領域の予想値が、画像の要約データ要素の生成に使用されてもよい。

例えば、ｉｎ−ｖｉｖｏ画像などの画像の要約表示の生成は、固定または動的であってもよい。ここで図１Ｂには、本発明の実施形態による動的プレビュー表示を生成するｉｎ−ｖｉｖｏ撮像システムが模式的に例示する。図１Ｂの要素は、図１Ａの要素と類似しており、参照番号は、対応するまたは同一の要素を示す数字が繰り返されている。

動的プレビューバーにより、ユーザが１つまたは複数のフレームに対応する情報の詳細なプレビューの精査が可能となる。画像内に描かれたピクセルデータ、ピクセル特性、構造、画像内で検出された画像の特徴または他の特性等の情報が、詳細なプレビューに示されてもよい。画像ストリームの要約表示の動的表示に対する本明細書で記載された方法およびシステムは、例えば、本明細書で開示された要約表示、米国特許第７，２１５，３３８号で開始された要約グラフ表示、米国特許出願公開第２００７／００６０７９８号で開示された要約グラフ表示、または大量のｉｎ−ｖｉｖｏ画像に対応する要約データが含まれてもよい他の要約データバーなど、様々な要約表示またはバーに適用されてもよい。

動的プレビュー生成機３１では、動的にプレビューバーが作成および／または表示されてもよい。画像ストリームの要約表示を生成および／または表示する工程は、例えば、ユーザに画像ストリームを表示する間に、動的プレビュー生成機３１により、（実質的に）連続してまたは繰り返し実行される動的な継続タスクであってもよく、動的プレビューバーは、連続してまたは繰り返し更新されてもよい。このような連続的な更新は、例えば、Ｎ秒ごとまたはＮマイクロ秒ごと、または他の固定または可変間隔で繰り返して行われることを意味してもよい。画像ストリーム表示ウィンドウに現時点で表示されてもよい各フレーム（またはフレーム群）に対し、画像ストリーム内で隣接するまたは次のフレームの詳細な、クローズアップされた、ズームインされたプレビューを提供するために、動的プレビューバーを調整、更新または再算出させてユーザに表示されてもよい。撮像工程の前半または後半期間に取り込まれた画像フレームの詳細に欠けるプレビューについても、同じプレビューバーで提供されてもよい。

再算出された動的プレビューバーで、フレームごとまたはフレーム群ごとに、例えば、画像ストリームおよび隣接フレームの現時点で表示されたフレームなどの、画像ストリームの部分に対応するまたは関連するプレビューバーの詳細なセグメントの精査により検出可能であり得る、腸内内容物の分量、収縮、他の運動事象の兆候が画像内に描かれることがある、様々な構造のプレビューまたは表示などの、情報データが工程読影者に提供されてもよい。動的プレビューバーは、例えば、表示された画像フレームごとに、頻繁にまたは連続して更新または再算出させてもよく、それによりユーザは、相対的に少量のフレーム（例えば、１０フレーム以上）で生じることがある腸内事象を検出できる詳細な形式で、次のフレーム（例えば、次の１００フレーム）のプレビューを見ることができる。他の実施形態では、動的プレビューバーでは、例えば、５フレームが表示されるごとに、または所定の間隔（例えば、３０秒経過ごと）で所定数のフレーム群を更新または再算出させてもよい。

例えば、動的プレビューバーなどの動的要約表示は、２つ以上のセグメントに区分けされてもよい。第１のセグメントには、画像ストリームのある部分に対応する詳細なデータセグメントが含まれてもよく、第２のセグメントには、画像ストリームの他の部分に対応する縮小データセグメントが含まれてもよい。動的プレビューバーでは、例えば、画像ストリームの関連部分に関連する、または画像ストリームウィンドウに現時点で、同時または実質的に同時に表示される画像ストリームの画像に関連した、詳細なデータセグメントに拡張されたプレビュー情報が提供されてもよい。いくつかの実施形態では、詳細なデータセグメントは、例えば、マウス、ジョイスティック、タッチスクリーンなどの入力デバイスを使用して画像ストリームから画像フレームまたはセグメントを選択するように、画像ストリームの部分をユーザの選択に従って算出または表示されてもよい。画像ストリームの他の部分に関連する短縮されたプレビューデータ（例えば、現時点で表示されていない部分、または画像フレームが連続して表示される前後の特定の時間帯に取り込まれた部分）も、例えば、詳細なセグメントに連動してまたは１つの動的要約表示に詳細なセグメント付近に位置して、表示されてもよい。

２つより多いセグメントが、動的プレビューバーに提供されてもよく、画像ストリームの各部分に対する動的プレビューバー内に表示された詳細レベルはセグメントごとに変更し得る。例えば、第１のセグメントは、第１レベルの詳細なデータを有してもよく、第２のセグメントは第２レベルの詳細なデータを有してもよく、その後も同様である。データの各レベルは、前の詳細レベルと比較して、ユーザに提供された詳細の度合いが少し欠けているまたは短縮されていてもよい。そのように、第１レベルの詳細では、画像ストリームの第１部分に対応する最も詳細なデータが提供されてもよく、第２レベルの詳細では、画像ストリームの第２部分に対応する少し詳細に欠けたデータが提供されてもよく、最終レベルの詳細では、関連する画像ストリームの部分に対応する最低限の詳細が提供されてもよい。ある実施形態では、第１レベルの詳細は、画像ストリームウィンドウに併行してまたは同時に表示させてもよい画像ストリームの部分に関連しており、他のレベルのデータは、撮像工程の前半または後半に取り入れられた画像ストリームの部分に対応してもよい。

いくつかの実施形態では、プレビューバーのデータの詳細レベルは、画像フレームの取り込み時間に従って、次第に上昇または下降させてもよい。例えば、画像ストリームウィンドウに現時点で表示されたフレームに隣接して取り込まれたフレームは、高レベルの詳細で表示させてもよく、少し早くまたは遅く取り込まれたフレームは、動的プレビューバーで次第に下降レベルの詳細に表示されてもよい。ユーザによって表示されたまたは選択された現時点のフレームからのフレームの距離（例えば、測定された時間）が増えるにつれ、動的プレビューバーの関連するセグメントで表示された対応する詳細レベルは下降する。いくつかの実施形態において、フレームＩＤ番号またはフレーム取り込み時間には、例えば、本明細書の図６Ａおよび図６Ｂに例示するように、所定の機能に従って、動的プレビューバーの対応するセグメントに特定の詳細レベルが割り当てられてもよい。

動的プレビューバー３１では、画像ストリームに対する初期プレビューバーがコンピュータ処理されてもよい。初期プレビューバーは、例えば、要約データ要素３１０および３２０などのプレビューバー要素で構成されてもよく、各要素では、１つまたは複数のフレームについて算出してもよい。他の方法では、初期プレビューバーのプレビューバー要素が算出してもよい。動的プレビュー生成機３１では、例えば、各プレビューバー要素には画像ストリームから同量のフレームが表示されることがあり、表示された画像フレーム間の時間偏差を生じることなく初期プレビューバーが生成されてもよい。初期プレビューバーは、固定または静的であってもよい。

ユーザが画像ストリームの再生を始めるとき、またはユーザによる画像フレームまたは画像ストリームセグメントの選択が行われると、動的プレビュー生成機３１では、例えば、画像ストリームが画像ストリームウィンドウ（例えば、図５Ａのウィンドウ２５０）に流れているまたは表示されている間に連続して、更新された動的プレビューバーがコンピュータ処理されてもよい。いくつかの実施形態では、ユーザは、例えば、初期プレビューバーまたは動的プレビューバーを使用して、画面ストリームの部分を選択する、または画面ストリームの部分に合わせるために、マウス、タッチスクリーン、またはジョイスティックなどの入力デバイスなどを使用してもよい。動的プレビュー生成機３１では、ユーザの選択またはプレビューバーに連動して表示された画像ストリームの部分に応じた、新たに（再算出された）動的プレビューバーが動的に生成されてもよい。画像ストリーム表示ウィンドウでは、自動的に、関連した画像フレームが表示されてもよく、画像ストリームの対応する部分に進められるまたは飛ばされてもよい。ユーザが、時系列または動的プレビューバーに連動させて入力デバイスを動かし続けると、または、画像ストリームが表示され続けてフレームが変わると、動的プレビュー生成機３１では、同時に選択されたまたは表示された画像に相関するプレビューを提供するために、連続して動的プレビューバーが再生成される。もはや表示されていないまたは併行して表示された画像ストリームの部分に隣接していない画像は、短縮された形で要約を生成されてもよく、それらの詳細なプレビューは、提供されなくてもよい。ここでの動的プレビューバーの連続的または動的生成には、動的プレビューバーの一定の更新、定期的更新、頻繁な間隔での更新または反復した更新が含まれてもよい。

本発明の実施形態による撮像工程のいくつかのユーザインターフェースでは、自動的にユーザにＧＩ指標（例えば、胃の入口、小腸の入口、結腸の入口など）が提示されてもよい。ユーザは提示を受け入れてもよく、指標として別の画像フレームを選択してもよい。ユーザが提示された指標をクリックすると、動的プレビューバーは、自動的に、ストリーム内の提示ポイントの近くで画像ストリームの部分のプレビューを提供するために調整または修正されてもよい。これにより、提示された指標として特定時間帯の近くまたは内に取り込まれたフレームの詳細なプレビューが、ユーザに提供されるが、自動的に提示された指標はユーザによって都合の良いように微調整されることも可能である。他の実施形態では、指標が自動的に提示されない場合、ユーザは、例えば、要約バー、初期プレビューバー、または動的プレビューバーをクリックすることによって、画像ストリームのポイントを選択してもよく、動的プレビュー生成機３１では、画像ストリームに選択されたポイントに対応する詳細なデータ部分が表示されてもよい。ユーザは、次のおよび／または選択したポイントのすぐ前の画像に対する、動的プレビューバーに提供された詳細なデータに基づいて素早く効率的に指標選択を微調整することができる。

いくつかの実施形態では、動的プレビューバーの特定のセグメントは、固定のまま保持されてもよいが、他の部分は、現時点で表示された画像フレームに従って調整、修正または再算出してもよい。例えば、現時点で表示されたフレームが、撮像工程の（例えば、全８時時間の工程から）３時間目に対応する場合、画像ストリーム表示と共に、近辺に、または近くに表示された動的プレビューバーの部分は固定であってもよいが、動画が再生されるにつれて、３時間目に対応する部分は変化する。動的プレビューおよびディスプレイでは、連続または「連動に」近い形にする必要はなく、いくつかの実施形態では、互いが連動していないまたは近づいていない。一例では、撮像工程の最初の２時間に対応する動画の部分が固定のまま保持されてもよく、最後の４時間に対応する動画の部分についても同様である。動的プレビューバーの変化する部分は、現時点で表示された画像フレーム（例えば、この例では３時間目）に視覚的に結合されて相関されるか、または関連付けられてもよい。

いくつかの実施形態では、要約画像表示生成機３０と動的プレビュー生成機３１の両方は、例えば、１つの処理装置にまたは複数の処理装置を使用して１つのシステムで実行されてもよい。本明細書に記載された要約画像表示生成機３０、動的プレビュー生成機３１および他のモジュールまたは工程は、プロセッサ１４または別のソフトウェア実行プロセッサによって実行されてもよく、いくつかの実施形態では、プロセッサ１４には、本明細書に記載された要約画像生成機３０、動的プレビュー生成機３１および／または他の構成要素またはモジュールが含まれてもよい。他の方法が用いられてもよく、例えば、要約画像表示生成機３０および／または動的プレビュー生成機３１は、専用ハードウェアまたは回路構成であってもよい。

いくつかの実施形態によると、要約表示には、（例えば、プロセッサによる）フレーム特性、および画像ストリーム特徴の自動分析が使用されてもよい。例えば、腸内構造または画像セグメントは、要約表示に基づいた画像フレームで検出または測定されてもよく、撮像工程を通じて同定された画像セグメント、構造、特徴またはその他の事象の兆候または標識が（例えば、要約画像表示生成機３０、動的プレビュー生成機３１、および／またはプロセッサ１４により）ユーザに表示されてもよい。ビデオセグメンテーションは、検出された運動事象に基づいて実行されてもよい。ビデオセグメンテーションには、例えば、複数の腸内事象カテゴリーへの画像シーケンスの分類が含まれてもよい。

要約表示は、画像ストリームの運動特性の分析に使用されてもよい。異なる運動関連特性について、ＧＩ管の特定領域などで、パターン化、タイプ、リズム、頻度および／または収縮時間、平均的収縮時間、収縮頻度などが算出されるまたは要約が作成されてもよい。他の運動事象が検出されてもよく、関連特性が算出または表示されてもよい。通常値および異常値の範囲が、例えば、算出された特性について、特性の通常範囲と検査値との間を比較できるようにユーザに提示されることがあるが、いくつかの実施形態では、例えば、これまで検出されてきたと考えられる異常な動きに関連する兆候が提供されることがある。

図２Ａに、例えば、本発明の実施形態による要約表示のストリップ要素などの例示的な要約データ要素を示す。要約データ要素３１０および３２０には、それぞれ、画像ストリームの１つまたは複数のフレームからの要約色データが含まれてもよい。ストリップ３１０および３２０は、それらの構造を説明するために拡大される。ストリップの典型的なサイズは、例えば、幅１ピクセルおよび長さ数ピクセル（例えば、２．５）であってもよい。ピクセルの他のサイズが使用されてもよい。

要約データ要素３１０および３２０は、例えば、色部分３１１〜３１５および３２１〜３２５などの、それぞれ異なるいくつかの色のピクセル部分で構成されていてもよい。いくつかの実施形態では、色は、例えば、ストリップの上部（例えば、上部３３０）に配列されてもよい特定の条件（例えば、所定の条件）を満たす色値を有するピクセル、およびストリップの底部（例えば、下部３３２）に配列されてもよい異なる条件（例えば、所定の条件）を満たす色値のピクセルのストリップにソートまたは配列されてもよい。

例えば、ｉｎ−ｖｉｖｏ画像内では、典型的にはｉｎ−ｖｉｖｏ組織では赤みがかった色、および／または典型的には腸内内容物は緑がかった色を有することがある。Ｉｎ−ｖｉｖｏ画像内の１つまたは複数の腸内を表す要約データ要素を生成する際、組織壁を描く赤みがかったピクセルは、例えば、要約データ要素の底部３３２に配列されてもよい。腸内内容物により緑がかったまたは黄色がかったピクセルは、要約データ要素の上部３３０に配列されてもよい。そのような配列から、大量の腸内内容物を描く画像では、ストリップの上部に緑がかった色で、ストリップの底部に赤みがかった色になることがある。組織のみを描く画像は上部および下部に赤みがかった色に、腸内内容物のみを描く画像は上部および下部に緑がかった色になる。他の配列も、ソートパラメータに従ってソートされたピクセル値に基づいて可能である。

ソートパラメータには、例えば、（ＲＧＢ色空間が表現されたフレームには）赤、緑、および青の値、（ＨＳＶ色空間で表現されたまたは変換されたフレームには）色相、彩度、明るさが含まれてもよい。ピクセルパラメータの線形または非線形のいかなる組み合わせも、ストリップのピクセルを配列するソートパラメータとして定められてもよい。要約データ要素のピクセルのソート法および順序付け法は、さらに図４に詳述される。

いくつかの実施形態では、例えば、部分３１３および３２３で示される、ストリップの中央部３３１には、１つまたは複数の画像フレームで見られる最も暗い色が含まれてもよい。最も暗い色は、フレームに描かれることがある典型的な管腔のくぼみであり得る。管腔のくぼみがフレーム内で相対的に大きい場合には、対応するストリップ（例えば、ストリップ３１０）では長い中央部３３１に暗い色が含まれる。管腔のくぼみがフレーム内で相対的に小さい場合（例えば、収縮が起こるとき、またはカメラが組織壁を示すとき）には、対応するストリップ（例えば、ストリップ３２０）では短い中央部３３１に暗い色が含まれるか、または実質的に暗い色の部分が含まれないことがある。

いくつかの実施形態では、要約データ要素は、複数の画像フレームで表現されてもよい。要約データ要素の部分では、例えば、複数の画像フレームの中間または平均的な色が表現されてもよい。例えば、要約データ要素で示された管腔のくぼみの（例えば、ピクセルで計測された）大きさは、画像フレームごと、またはフレームごとに算出された要約データ要素の最大または最小、またはその他の線形の組み合わせで算出された管腔のくぼみの大きさの平均値でもよい。他の実施形態では、複数の画像フレームに対して生成された要約データ要素は、複数の画像フレームから結合されたピクセルをソートまたはサンプリングすることで算出してもよい。

例えば、図２Ｂのバー３７０のような要約表示には、１つの長方形のバーを形作って、隣接して位置されたまたは整列された多くのストリップが含まれてもよい。バーの長さは、例えば、視覚ディスプレイ装置で可能な画像ピクセル数および／または画面空間に従って、固定または所定の長さであってもよい。いくつかの実施形態では、表示された要約表示の長さが、視覚ディスプレイ装置の１つの縦または列よりも長いことがあり、コンピュータモニターまたは画面が複数の列に占領されることがある。他の実施形態では、要約表示の長さは固定であってもよく、１つの要約データ要素で表現された画像フレーム数は、例えば、表示されたバーで利用可能なピクセル数を、バーを生成するために使用されたフレーム数で分けることにより、算出してもよい。他の例では、要約表示は、固定サイズであってもよく、１つの要約データ要素に対応する画像フレーム数が、例えば、画像ストリームのビデオ表示に同時表示されるフレーム（群）に従って、動的に変更してもよい（本明細書の図７にさらに記載される）。ビデオ表示には、例えば、動画を生成するために表示される一連の静止画像が含まれてもよい。

各ストリップには、画像ストリームの１つまたは複数のフレームの要約色データが含まれてもよい。ストリップは、画像ストリームが、例えば、ビデオストリームとしてユーザに再生されている間に、例えば、定期的にまたは連続して、更新されてもよい。

例示的な要約表示バー３７０は、図２Ｂに示す。要約表示バー３７０には、互いに隣接して位置されたまたは整列された複数の要約データ要素３５０〜３６１を示す。この例では、各要約データ要素が、１つの画像フレームに関連する。この例の各要約データ要素３５０〜３６１は、３つのセグメント：各要約データ要素の上部に現れる内容物セグメント３４０、各要約データ要素の中央部に現れる管腔のくぼみセグメント３４１、および下部に現れる組織セグメント３４２で構成される。各要約データ要素の部分には、図２Ａで示されたように、いくつかの色値が含まれてもよい。

要約表示バー３７０では、要約データ要素に対応する画像フレームに関連した情報の要約が、ユーザに提供されてもよい。例えば、ユーザは、画像に描かれた内容物（および／または組織）の量を書き留めてもよい。ユーザは、簡素なおよび簡易な方法で管腔のくぼみにおける変化も検出することができる。例えば、要約データ要素３５４、３５６および３５８は、要約データ要素３５０〜３６１の他の管腔のくぼみよりも小さい。これらの要素に対応する画像フレームは、管腔のくぼみが最大収縮期には最小となることがあるため、例えば、ＧＩ管の最大収縮期に相関させてもよい。要約データ要素３５３、３５５、３５７および３５９〜３６１は、要約データ要素３５０〜３６０の他の管腔のくぼみセグメントよりも大きくなる。これらの要素に対応する画像フレームは、例えば、開口したまたは弛緩した管腔のくぼみに相関することがある。

腸内事象などの、事象パターンは、要約表示バー３７０に同定されることがあり、３つの収縮が検出されることがある。第１の収縮は、要素３５３に対応する画像フレームで始まり画像フレーム３５５に対応する画像フレームで終わる。第２の収縮は、要素３５５に対応する画像フレームで始まり画像フレーム３５７に対応する画像フレームで終わり、第３の収縮は、要素３５７に対応する画像フレームで始まり画像フレーム３５９に対応する画像フレームで終わる。

例えば、ＧＩ管に関連した事象など、他のタイプの事象では、例えば、ユーザによっておよび／または自動的にプロセッサ装置によって要約表示バー３７０に基づいて同定されてもよい。例えば、ユーザは、（例えば、画像シーケンス間の大きな類似点、または画像内の大量の内容物などの）実質的に静的で、情報性のない、画像ストリームのセグメント間を容易に差別化することができる。画像ストリームの場面が変わるとき、またはフレームシーケンス間の差異がプレビューバーをざっと見てさらに検出可能であるとき、ユーザは、前もってその変化に対応してもよく、例えば、ストリームを見る速度を緩める、（例えば、ブックマークまたは画像サムネイルを生成して）画像ストリームが変わる位置または時間に印をつける、検出された変化に関連するメモまたはコメントを加えるなどの行為を行ってもよい。別の例では、要約表示バー３７０を分析し、次の画像が有用ではないまたは情報性がないと気づいた場合には、画像を見る速度を速めてもよい。

図３は、本発明の実施形態による要約データ要素の生成に使用されてもよい１つまたは複数の画像フレームのソートされたピクセルの例を示す。この例では、ピクセルの照度値は、ＲＧＢ色空間で表示され、ピクセルは、赤のピクセル値に従って配列される。いくつかの実施形態では、すべての画像ピクセルがソートされるわけではなく、例えば、１つまたは複数の画像から選択されたピクセルのサブセットのみが、画像のトリミング部分として使用されてもよい。トリミングされた部分は、十分に照度がある画像の領域に従って選択されてもよい。これは、デバイスの照度分布に基づいて、ある撮像デバイスから別の撮像デバイスへと変えられてもよい。グラフ４００の本発明の例では、画像内の１０×１０^４ピクセルから３．５×１０^４ピクセルのサブセットがソートされる。ピクセル数は、グラフ４００のＸ軸に示され、０〜２５５の範囲内のピクセル照度値がＹ軸に示される。

グラフ４００のライン４１０は赤のピクセル値、ライン４２０は緑のピクセル値、およびライン４３０は青のピクセル値を表す。色度関連のソートパラメータに従ってピクセルがソートされた後、ピクセルのサブセットは、例えば、色度関連のピクセルソートパラメータの中央値が見出されることにより、２セットに分けられてもよい。グラフ４００のポイント４４４は、この例では、

である、色度関連のピクセルのソートパラメータの中央値にあるピクセルを表す。他の方法では、例えば、ピクセルの平均値、または固定（例えば、所定の）閾値が、ピクセルを２セットに分けることに使用されてもよい。

ピクセルのサブセットは、ピクセルの選択値に基づいて、２セットに分けられてもよい。ある例では、選択値は、第１のソートパラメータの中央値であってもよく、第１のセットには、中央値の下の

値であるすべてのピクセル（例えば、ポイント（０、０）〜ポイント４４４までのすべての値）が含まれてもよい。この例の第２のセットでは、中央値より上の

値であるすべてのピクセル（例えば、グラフのポイント４４４より大きいＸ軸のすべての値）が含まれてもよい。他の値がピクセルを分ける２セットに選択されてもよい。

ピクセルが２セットに分けられた後、第１のセットは、第２のソートパラメータに従って降順に配列されてもよく、第２のセットは、第２のソートパラメータに従って昇順に配列されてもよい。セットは、例えば、順序付けのできる２つのリスト、アレイまたは他のデータ構造に配列されてもよい。第２のソートパラメータは、例えば、ピクセルの明るさに基づいた、輝度関連にしてもよい。例えば、輝度関連のソートパラメータは、ＲＧＢ色空間でピクセルの赤の値であってもよい。Ｉｎ−ｖｉｖｏ画像での赤の値は、ピクセルの明るさにかなり相関していてもよい。別の実施形態では、ピクセルは、ＨＳＶ色空間に変換されてもよく、Ｈ（色相、主波長）は、第１のソートパラメータとして使用されてもよく、Ｖ値（例えば、明るさの値）は、第２のソートパラメータとして使用されてもよい。他の数のソートパラメータが使用されてもよい。

２つの順序付けされたリストが、グラフ４００に示すように、１つのリストに組み合わされるまたは付け加えられてもよい。他の方法および他のピクセルソートパラメータが、ピクセルのソートに使用され、２つ（またはそれ以上）のセットに分けるのに使用されてもよい。１つのセットに組み合された配列リストは、要約データ要素の生成に使用されてもよい。

図４に、本発明の実施形態による要約データ要素を生成する方法のフローチャートを示す。１つまたは複数のフレームが、例えば、要約画像表示生成機３０のようなプロセッサまたはコンピュータデバイスにより受信されてもよい。画像フレーム（群）は、ＲＧＢ色空間で表現されてもよく、ピクセルごとにＲ値、Ｇ値およびＢ値が含まれてもよい。操作５００では、ピクセルのサブセットが、各フレーム（群）から選択されてもよい。ピクセルのサブセットには、例えば、各画像の特定の所定領域内のピクセル（例えば、画像フレームの所定サイズおよび位置の中央の円または四角い領域内のピクセル）が含まれてもよい。いくつかの実施形態では、ピクセルのサブセットは、ピクセルが特定の数学的条件を満たすように選択されてもよい。いくつかの実施形態では、画像フレームのすべてのピクセルが使用されてもよい。

操作５０２では、ピクセルが第１のソートパラメータに従ってソートされてもよい。ある実施形態では、第１のソートパラメータは、色度関連であってもよく、ピクセル色の知覚強度に応じてもよい。第１のソートパラメータの例には、ピクセルのＲ、Ｇ、Ｂ値、または例えば（ＲＧＢ色空間における）

など、これらの値の線形または非線形の組み合わせが含まれる。ピクセルは、ＨＳＶなどの異なる色空間に変換されてもよく、初期色空間または新たな色空間でピクセル値をいかなる線形または非線形の組み合わせで、ソートパラメータとして使用されてもよい。色度関連ソートパラメータの別の例では、ＨＳＶ色空間のピクセルのＨ（色相）値がある。

他のソートパラメータが使用されてもよい。例えば、異なる画像処理検出器が作動されてもよく、検出器のスコアが画像（または複数の画像）内でピクセルごとに取得されてもよい。ある実施形態では、第１のソートパラメータは、ピクセルの内容物の検出スコアであってもよい。ピクセルごとに内容物の検出スコアを取得するために使用される例示的な内容物の検出器は、その双方が、本発明に共通した譲受人に帰属したものであり、そのすべてを参照して本明細書に組み込まれる、Ｂｕｚａｇｌｏ ｅｔ ａｌ．による米国特許第７，７６７，６９２号およびＰｅｌｅｇによる米国特許申請第１３／７２９，２６３号で開示されている。他の方法が、ピクセルごとの内容物検出スコアの取得に使用されてもよい。

操作５０４では、ソートされたピクセルが２セットに分けられてもよい。２セットに分けることは、例えば、ピクセルの第１のソートパラメータ値の中央値または平均値を算出することによって実行されてもよい。例えば、第１のピクセルセットには、中央値よりも低いソートパラメータ値のピクセルが含まれてもよく、第２のピクセルセットには、中央値よりも高いソートパラメータ値が含まれもよい。他の方法が、ソートされたピクセルを２セットに分けることに使用されてもよい。例えば、第１のソートパラメータの所定または固定値は、閾値として使用されてもよく、閾値を超えるすべてのピクセル値は第１のセットに、残りのピクセル値は第２のセットに割り当ててもよい。

操作５０６および操作５０８では、各ピクセルセットが、第２のソートパラメータに従ってソートされてもよい。第２のソートパラメータには、例えば、（ＲＧＢ色空間での）Ｒ、ＧおよびＢのようなピクセル値のいかなる線形または非線形の組み合わせが含まれてもよい。グラフ４００に示された例示的なソートパラメータは、Ｒ（赤の値）である。ピクセルは、ＨＳＶのような異なる色空間に変換されてもよく、新たな色空間でピクセル値のいかなる線形または非線形の組み合わせも、第２のソートパラメータとして使用されてもよい。例えば、ＲＧＢ色空間からＨＳＶ色空間へなどのある色空間から別の色空間への画像ピクセルは、ＨＳＶ色空間で表現される各ピクセルのＶ値が各ピクセルセットのソートに使用されてもよい。第１のセットは、例えば、より低いセットでは、第２のソートパラメータに従ってソートされてもよく、ピクセルは、降順のリストに配列されてもよい。第２のセットは、第２のソートパラメータに従ってソートされてもよく、ピクセルは、昇順のリストにされてもよい。あるセットが降順にソートされて他のセットが昇順にソートされるとき、結果として生じる配列では、要約データ要素でより暗くなる中間部分が作成され、表れた画像フレームに管腔のくぼみを現すおよび／または大きさが示されてもよい。

いくつかの実施形態では、第２のソートパラメータは、管腔検出器のスコアに基づいてもよい。管腔検出器には、例えば、画像フレームのピクセルごとに管腔のスコアが提供される機械的な画像処理が含まれてもよい。管腔のスコアは、画像内で管腔のくぼみを描くピクセルの可能性が示されてもよい。管腔検出は、例えば、ピクセル照度パラメータ、および／または画像の形認識方法の端部検出に基づいて実行されてもよい。使用されることがある管腔のくぼみ（例えば、管腔の小塊）の検出方法の例は、Ｓｐｙｒｉｄｏｎｏｓ ｅｔ ａｌ．による米国特許申請公開第２０１１００４４５１５号で開示されている。この例では、第１のソートパラメータが、ピクセルの内容物スコアに従っていてもよい。内容物スコアが割り当てられた後（例えば、操作５０２で）、ピクセルは、中央または平均の内容物スコアに基づいて２セットに分けられてもよく、ピクセルは、管腔スコアに従ってソートされてもよい。

操作５１０では、順序付けされたリストがサンプリングされてもよい。例えば、順序付けされたリストのピクセル数は、３５，０００枚であってもよいが、要約データ要素に選択されるピクセル数は、例えば、２０〜５０ピクセルの範囲であってもよい。そのため、サンプリングスキームでは、かなりピクセル数を減らす必要があることがある。サンプリングスキームの例では、固定間隔でソートされたリストからピクセルの選択が行われることが含まれてもよく、例えば、ソートされたリストの２００ピクセルごとに１ピクセルが選択されてもよい。選択されたピクセルでは、例えば、間隔内で（ソートパラメータ、または別の選択値）の最高値のピクセルなどの、特定の条件が満たされてもよい。別の例では、Ｎ番ごとのピクセルが（例えば、任意に）選択されてもよい。

さらに別の例では、サンプリングスキームは、要約データ要素に、各部分がフレームの特定の特徴を表す、いくつかの異なる部分が含まれるように定められてもよい。ソートされたピクセルでは、例えば、図２Ａに示されるように、腸内内容物ピクセル（図２Ａの上部）、管腔のくぼみ（図２Ａの中央部）、および組織ピクセル（図２Ａの下部）を表すことがある要約データ要素の上部、中央部、下部の、３つの検出可能な部分が作成される。部間の差異を強調し、有用な要約表示を作成するため、サンプリングスキームは非線形であってもよく、１部分から選択されるピクセル数が、他の複数の部分から選択するピクセル数よりも多くなってもよい。ある実施形態では、複数のピクセルが、例えば、管腔のくぼみを表すより暗いピクセルが含まれる中央部などの、一部のより暗い中央部から選択（サンプリング）されてもよい。例えば、図３のグラフ４を参照すると、複数のピクセルが、管腔のくぼみを表す画像内のより暗いピクセルに対応するポイント４４４の周辺領域からサンプリングされてもよい。そのようなサンプリングスキームでは、画像内の管腔のくぼみの大きさに基づいて検出されることがある画像フレーム特性および／または腸内収縮または他の事象が強調またはハイライト表示されてもよい。グラフの他の領域からのピクセルは、サンプリングの密集度がより低くてもよい。管腔検出が（例えば、ピクセルごとの管腔スコアを測定するために）画像フレームにおいて実行されたとき、管腔のくぼみの領域が（例えば、管腔のくぼみ内のピクセル数を測定することにより）算出されてもよい。同様に、内容物検出が実行されたとき、画像内で内容物が含まれる領域（または、明らかな組織）が算出されてもよい。画像フレームの各領域（内容物、管腔および組織）がサンプリングされてもよく、各領域を表すピクセルが要約データ要素の生成に選択されてもよい。

ピクセルセットがサンプリングされた後、サンプリングされたピクセルは、例えば、画像フレームに表れるストリップなどの、要約データ要素を生成するために組み合わせるまたは添付されてもよい（操作５１２）。いくつかの実施形態では、要約データ要素が複数の画像フレームに対して算出される場合、要約データ要素は、複数の画像の画像ごとに生成されてもよく、次いで要約データ要素の平均が算出されてもよい（例えば、要約データ要素の部分ごとの平均）。他の実施形態では、複数の画像に対する要約データ要素を、複数の画像からピクセルがソートされること、および上記のようにピクセルが順序付けおよびサンプリングされることによって算出してもよい。複数のフレームから要約データ要素が作成される他の方法が使用されてもよい。

複数の生成された要約データ要素（例えば、ピクセルストリップ）は、例えば、要約表示を生成するための長方形またはバーの形態で隣接して要約データ要素が位置されるまたは整列されることにより組み合わされてもよい。生成された要約表示は、図２Ｂの要約表示バー３７０、または、例えば、図５Ａ〜図５Ｄの動的プレビューバーの形態などの、固定（または静的）バーの形態であってもよい。

動的プレビューバーは、例えば、図５Ａ〜図５Ｄの例で示された長手方向のプレビューバーまたはウィンドウ内などに、例えば、互いに隣接した要約データ要素が配置されることにより、要約データ要素に基づいて生成されてもよい。いくつかの実施形態では、動的プレビューバーは、画像ストリーム表示ウィンドウに同時に表示されてもよい、画像ストリームの部分に関連するプレビューバーにズームインされたまたは拡大された、固定または恒常的なプレビューバーの部分にズームインされることによって生成されてもよい。

カプセルにより取り込まれた画像ストリームの観察工程は、専門の読影者（例えば、医師または看護師）にとって相対的に長時間を有することがある。画像ストリーム内で次の部分の詳細なプレビューを表示することは、観察時間を減らす手助けとなることがある。ある実施形態では、画像の詳細なプレビューが、例えば、画像ストリーム表示ウィンドウに連動して提供されてもよい。読影者である医師は、次の画像がほぼ静止画像であり、変化がなく、情報性もない場合に、画像ストリームを見る速度を加速させてもよい。例えば、繰り返されたまたはよく似た画像を描く画像ストリームの部分、またはほぼ混濁内容物を描くストリームの部分については、読影者は動的プレビューバーをざっと見てもよく、次の画像が関心のあるまたは情報性のあるものか否かを分析してもよい。同様に、動的プレビューバーと次のフレームとがかなり異なるものであり、高速で変化があることが示されるとき、または動的プレビューバーから関心のある腸内事象が判定されることがある場合には、読影者は、より注意を払い、見る速度を緩めてもよい。そのような見る速度の加速または減速は、見る時間を減らし、および／または、例えば、観察する効率、質または感度などの観察工程を改善することがある。

動的プレビューバーは、他の目的に使用されてもよい。ある実施形態では、動画ストリームを観察する医師が、ＧＩ指標または器官（例えば、小腸、結腸の入口など）の読影を所望することがある。読影者は、例えば、動的プレビューバー上でマウスのような入力デバイスを動かしてもよく、詳細なプレビューには、入力デバイスで示されるプレビューバーのセグメントに対応する画像ストリームの部分が表示されることがある。これにより医師は、素早く効率的に所望の指標を読影することができる。

ここで図５Ａ〜図５Ｄには、本発明の実施形態による画像ストリームおよび動的プレビューバーの例示的なディスプレイが示される。図５Ａ〜図５Ｄでは、それぞれ、ウィンドウ２５０に表示され、現時点のフレームについて算出された動的プレビューバー２４０の近辺または近くに同時に表示された、画像ストリームの現時点のフレームが含まれる。画像ストリームのフレームおよびプレビューバー２４０は、互いに隣接して表示される必要はないが、互いに近接してもよく、互いに離れていてもよく、互い近接している必要はない。図５Ａ〜図５Ｄでの参照番号は、連続した表示での要素に対応する番号同士が繰り返されている。カーソル２００（点線で示された）は、取り込み時間に従って時系列に並べられた、画像ストリームに取り込まれた完全なフレームセット内で、現時点で表示された画像フレームの位置を表す。フレームの取り込み時間は、例えば、工程の始まりから現時点のフレームが取り込まれるまでの経過時間などで定められてもよく、取り込み時間の他の測定方法が使用されてもよい。時間表示２４１では、動的プレビューバー２４０に連動して、例えば、ライン２０１〜２０７に対応する時間（例えば、時間で）表示される。時間表示２４１は、ウィンドウ２５０に現時点で表示されたフレームに従って、動的プレビューバー２４０に連動して異なる位置または間隔で示されてもよい。

動的プレビューバーのポイントＳおよびＥは、それぞれ、撮像工程の開始と終了を示す。これらのポイントは、例えば、ウィンドウ２５０内で表示されたすべての画像フレームについて同じ位置に示されるなど、動的バー表示に固定されてもよい。例えば、動的プレビューバー２４０は、固定の、所定サイズのバーとして、画像ストリームのディスプレイに連動して同時に表示されてもよい。動的プレビューバー２４０の固定サイズは、例えば、読影者が見るモニター１８および／または使用可能なウィンドウでの使用可能なサイズまたは解像度に従って、あるコンピュータディスプレイから別のコンピュータディスプレイに変更してもよい。例えば、動的プレビューバー２４０は、長さ２００ピクセルおよび高さ２０ピクセルであってもよい。

カーソル２００では、現時点で表示された画像に対応する要約ピクセルデータストリップが示される。カーソル２００は、現時点で表示されたフレーム（または複数のフレーム）の取り込み時間または他の測定順序に従って、ポイントＳとポイントＥとの間の相対的な位置で、動的プレビューバー２４０に連動して位置付けされてもよい。１つの時間スロット内での複数のフレームの表示方法の例は、そのすべてを参照して本明細書に組み込まれる、Ｄａｖｉｄｓｏｎ ｅｔ ａｌ．による米国特許第７，５０５，０６２号に開示されている。例えば、カーソル２００は、工程の開始から現時点で表示された画像の取り込み時間までに経過した時間の割合に対応するポイントＳとポイントＥとの間に位置付けされてもよい。例えば、カーソルがポイントＳとポイントＥとの間の丁度中間点に位置するとき、現時点で表示された画像は撮像工程期間の半分までが取り込まれたことを示す。

いくつかの実施形態では、現時点で表示された画像付近に近接して取り込まれた画像に対応するさらなる詳細なデータが提供されるため、画像の取り込み時間に応じる時間ライン表示２４１（例えば、撮像工程の開始からの経過時間）が、動的プレビューバー２４０に印しがつけられた間隔（例えば、１時間）と同じ時間偏差とされてもよく、固定距離に均等に分布されなくてもよく、カーソル２００の位置または現時点で表示されたフレームに従って動的に変更してもよい。カーソル２００は、時間ラインのどの位置にあってもよく、撮像工程の開始から現時点で表示された画像までの経過時間の割合または比率、および工程の終了までの総経過時間が示されてもよい。時間スケールに偏差があっても、プレビューバー２４０に連動するカーソル２００の位置は、正確にこの割合に応じてもよい点に留意されたい。取り込み時間に従って同時に表示されたフレームに対応するフレームの分布は、本明細書の図６Ａおよび図６Ｂに詳述される。

ライン２０１〜２０７は、フレームの取り込み時間の固定間隔が示されてもよい。フレームの取り込み時間は、例えば、絶対時間（フレームが取り込まれた日時）、画像取り込み開始に関連する時間、または他の時間測定であってもよい。例えば、図５Ａ〜図５Ｄに表示された工程では全部で８時間続き、各ラインが１時間を示してもよい。他の時間間隔が使用されてもよい。一連の図５Ａ〜図５Ｄの各数字で見られるように、ライン２０１〜２０７は、ウィンドウ２５０内に現時点で表示された画像の取り込み時間に従って、動的プレビューバー２４０に連動して異なる位置にあってもよい。図５Ａ〜図５Ｄには、１つの撮像工程を通じて昇順の時間で取り込まれた４つの画像が示す。図５Ａおよび図５Ｂは、工程の（ライン２１０で示された）１時間目と（ライン２０２で示された）２時間目との間に取り込まれた画像であり、図５Ｃおよび図５Ｄは、工程の２時間目と（ライン２０３で示された）３時間目との間に取り込まれた画像である。

動的プレビューバー２４０には、例えば、ポイントＳからライン２０１までの間、およびライン２０３からラインＥの間に位置する動的プレビューバー２４０の部分など、図５Ａ〜図５Ｄの４つすべてに非常に類似した部分が含まれることが認められ得る。最も変化のある部位は、ウィンドウ２５０に現時点で表示された画像に関連して、この例では、ライン２０１〜２０３の間に位置する。これらの部分は、現時点および／または最近表示された画像フレーム（群）のピクセル特徴に応じて修正され、画像ストリーム内で次のフレームの詳細なプレビューに提供されてもよい。プレビューバー２４０に連動して印をつけても、つけなくてもよい、または視覚的に強調されても、強調されなくてもよい、プレビューウィンドウ２４２には、最も詳細なまたはズームインされたプレビューバー２４０の部分が示されてもよい。いくつかの実施形態では、動的プレビューバー２４０の最も詳細なプレビュー部分が、次の画像および最近見た画像の両方に対して提供されてもよい。カーソル２００の直前、またはカーソル２００の直後にある動的プレビューバー２４０の部分では、読影者に最も詳細な情報が提供されてもよく、動的プレビューバー２４０の残余の部分では、詳細度および解像度のより低い情報が提供されてもよい。そのような動的プレビューバー２４０の連続した更新処理により、画像ストリーム内の異なるフレーム特徴および／または運動性関連の事象が検出でき、例えば、画像ストリームの実質的に静的または情報性のない部分を観察するときに、読影している医師は、画像ストリーム内で次の変化に対応することができる。

図６は、本発明の実施形態による動的プレビューバーに位置する（画像フレームを表す）プレビューバーの要素の時間偏差の例を示す。例では、画像ストリームを表示するウィンドウに表示される１つまたは複数の特定の画像フレームを表す動的プレビューバー要素のプレビューバー上（または、例えば、入力デバイスによって選択されたプレビューバー要素）の位置に応じたまたは対応する時間偏差機能を表す。この例での動的プレビューバーは、グラフ４４０のＸ軸で示された、長さがおよそ５１０のピクセルが含まれる。他の長さが使用されてもよい。画像ストリーム内の画像数は、グラフ４４０のＹ軸にフレームＩＤとして示されたように、およそ５６，０００枚である。曲線４５０は、（例えば、撮像工程の開始から取り入れられた一連のフレームの）フレームＩＤを、生成された動的プレビューバーの位置に相関させている。グラフ内のポイント４５２は、この例ではフレームＩＤ１５０，０００に対応する画像ストリーム表示ウィンドウに表示される現時点のフレームに対応する。

グラフ４４０に示された機能は、区分的線形または非線形であってもよい。この例では、機能は非線形であり、３つの区間に分けられてもよい：グラフ内のポイント（０，０）からポイント４５１までの第１の区間、ポイント４５１から４５３までの第２の区間、およびポイント４５３から４５５までの第３の区間。曲線の坂は、これらの区間の間で実施的に変化してもよい。つまり、第１の区間はかなり急でありポイント４５１に近づくにつれ坂が次第になだらかになり、曲線４５０の第２の区間ではほぼ平ら（ほぼ水平）で実質的に線形であり、および第３の区間では坂が水平に近い状態からポイント４５５に向けて次第に急になる。第１の区間に対応する画像フレーム数は、（動的プレビューバー内で）ピクセルのおよそ１００ストリップで表される、およそ１６，０００枚である。第２の区画では、各フレームは、動的プレビューバーの１つのピクセルストリップに対応し、換言すると、長さ１００ピクセルのバーは１００枚の画像を示す。第２の区間は、曲線の第２の区間に関連した画像フレームに相関する最も詳細な情報を提供する、動的プレビューバーの詳細な部分に対応する。第３の区間（ポイント４５３〜４５５）に対応する画像フレーム数は、およそ４０，０００枚であり、これらのフレームは、残余のピクセルストリップ（例えば、この例では、３１０）が含まれる動的プレビューバーの後ろの部分に関連する。他のストリップ数およびフレーム数が使用されてもよい。この例では、曲線の第１の区間および第３の区間が、動的プレビューバーで短縮されたデータ部分に関連する。最も短縮されたデータは、画像ストリームの端部または端（例えば、ストリームの最初と最後）に関連しており、フレームＩＤは、表示されている現時点のフレームにより近いものに与えられるのに応じて、データがより詳細になるように、これらの区間での時間偏差は、線形ではなく、区間ごとに変わることに留意されたい。

他の実施形態では、機能は、区分的線形であってもよく、同様に、画像ストリームで先に見た画像に対応する所定の急な坂である第１の区間、ほぼ水平の坂（例えば、プレビューバーのウィンドウ２４２などの、プレビューウィンドウに対応する）第２の区間、および画像ストリームにまだ表示されてなく、現時点で表示された画像フレームとは距離がある画像に対応する所定の急な坂である第３の区間、の３つの区間に分けられてもよい。

これらの例では、現時点で表示されたフレームに隣接した画像フレームに対しては詳細なデータ、および距離のあるフレームに対してはより少ないデータを提供するために、動的プレビューバーに位置されたプレビューバー要素の時間偏差が説明される。時間偏差機能は、例えば、表示されたフレームごと、または所定の時間ごとに、調整されてもよい。表示された画像ストリームが観察されると、現時点のフレームＩＤが進み、時間偏差機能が、現時点で表示されたフレームおよび、それに隣接する限られたフレーム数（例えば、１ピクセルストリップは、一連の１００フレームに対して１フレームを表す）、および現時点で表示されたフレームから離れたフレーム（１ピクセルストリップが、例えば、５０または１００フレームを表す）に対するより少ない詳細性の情報に対応する、より詳細なピクセルおよびフレーム情報を提供するため、定期的に再算出または更新されてもよい。いくつかの実施形態では、曲線４５０には、３つより多い区間が含まれてもよく、異なる時間偏差機能が区間に適用されてもよい。

図６Ｂは、異なる時間に取り込まれた画像フレームごとの様々な時間偏差機能を示す。図６Ａおよび図６Ｂでは、対応する要素を示すために、参照番号が繰り返されている。３つの動的プレビューバーは、曲線４５０、４６０および４７０で表された時間偏差機能に従って生成されてもよい。すべての動的プレビューバーは、同じ画像ストリームに対して生成され、変数は表示される現時点の画像フレームに起因する。動的プレビューバーでは、この例では、グラフ４４１の「動的プレビューバーの位置」のＸ軸に示された長さがおよそ５１０のピクセルが生成されており（他の長さが使用されてもよい）、および動的プレビューバーで表される画像ストリームの画像数は、グラフ４４１のＹ軸にフレームＩＤで示されたおよそ５６，０００である。曲線４５０、４６０および４７０は、それぞれ、生成された動的プレビューバー内のプレビューバー要素に対応する位置のフレームＩＤに相関する。曲線４５０上のポイント４５２は、この例では、フレームＩＤ１５０，０００に対応する、画像ストリーム表示ウィンドウ内に表示されるフレームにおいて、画像ストリームの観察中における時点に対応する。曲線４６０上のポイント４６２は、同じ画像ストリームの観察中における異なる時点であり、フレームＩＤ２３０，０００に対応する画像ストリーム表示ウィンドウに表示される画像に対応する。曲線４７０上のポイント４７２は、さらに同じ画像ストリームの観察中における異なる時点であり、フレームＩＤ３８０，０００に対応する画像ストリーム表示ウィンドウに表示されるフレームに対応する。いくつかの実施形態では、動的プレビューウィンドウのフレーム位置の相関は、フレームＩＤではなくフレームの取り込み時間に基づいて算出してもよい。

様々な時点で表示される現時点のフレームを表すすべてのポイント（例えば、ポイント４５２、４６２、４７２）は、直線４８０に位置することに留意されたい。これは、動的プレビューバー上の画像を表す他のプレビューバーの位置を測定する時間偏差機能に関わりなく、表示される画像の取り込み時間に対応するポイントの動的プレビューバー上の位置にあるカーソル（例えば、カーソル２００）の線形進行を反映する。

ポイント４５１およびポイント４５３の間に位置する曲線４５０のセグメントは、表示された動的プレビューバーの最も詳細なデータセグメントに相関しており、フレームＩＤ１５０，０００が表示されている。同様に、ポイント４６１および４６３の間に位置する曲線４６０のセグメントは、表示された動的プレビューバーの最も詳細なデータセグメントに相関しており、フレームＩＤ２３０，０００が表示されており、およびポイント４７１およびポイント４７３の間に位置する曲線４７０のセグメントは、表示された動的プレビューバーの最も詳細なデータセグメントに相関しており、フレームＩＤ３８０，０００が表示されている。

図７には、本発明の実施形態による動的プレビューバーを表示する方法のフローチャートを示す。操作６００では、画像ストリームが、例えば、受信機１２のような画像受信機により受信されてもよく、記憶されてもよい。ストリームには、例えば、ビデオカメラやｉｎ−ｖｉｖｏ撮像デバイスなどにより、連続して取り込まれた複数の画像が含まれてもよく、各画像には、連番が付けられていてもよく、取り込み時間に関連していてもよい。

操作６０２では、初期プレビューバーが、画像ストリームについてコンピュータ処理されてもよい。初期プレビューバーには、例えば、要約データ要素３１０および３２０などのプレビューバー要素で構成されていてもよく、各要素では、１つまたは複数の画像フレームについて算出されてもよい。いくつかの実施形態では、初期プレブーバーのプレビューバー要素は、他の方法、例えば、画像フレームの平均的な色を算出することにより、算出されてもよい。初期状態では、プレビューバーは、表された画像フレーム間に時間偏差がないまま生成されてもよい、例えば、各プレビューバー要素は画像ストリームから同じ量数のフレームが表されてもよい。初期プレビューバーは、固定または静的であってもよい。他の実施形態では、初期プレビューバーは、詳細なプレビューデータが画像ストリームの第１のフレーム群（例えば、第１のフレームおよび隣接するフレームの特定数）を生成するように生成されてもよく、短縮されたプレビューデータは残余のフレームに対して生成される。この実施形態では、プレビューバーの第１の部分は、詳細なプレビュー情報を使用して、輝度パラメータ、色または色度パラメータ、管腔のくぼみの大きさ、外観、位置およびが画像特性の変数、または詳細なプレビュー部分に連動する場面変化などの、画像特性を検出することがあるユーザにこの情報が表示されてもよい。ユーザは、動的プレビューバーの詳細部分に関連したフレームの混濁内容物のレベルを検出してもよい。いくつかの実施形態では、これらの特性の検出は、（例えば、プロセッサ１４のような処理装置により）自動的に実行されてもよく、画像ストリーム内で検出された特性または変化がユーザに表示されてもよい。ある実施例では、場面の変化は、動的プレビューバーの詳細な部分を分析することにより画像ストリーム内で検出されることがあるし、変化の兆候は、例えば、動的プレビューバー上で、または画像ストリームに連動して、印または指標として、ユーザに表示されてもよい。

操作６０４では、ストリームからの第１の画像（または複数の画像）が、例えば、初期プレビューバーの近辺で、ユーザに表示されてもよい。例えば、ユーザが、画像をストリーミングに関連したＵＩ上の「再生」ボタンを押すなどして、画像ストリームの再生が開始されるとき、初期プレビューバーが、本明細書に記載されるように、動的プレビューバーと置換されてもよい。

操作６０６では、動的プレビューバーでは、画像ストリームから同時に、実質的に同時にまたは併行して表示されてもよい画像（または複数の画像）についてコンピュータ処理されてもよい。別のオプションでは、ユーザは、例えば、マウスなどの入力デバイスを使用して、動的プレビューバー上の、または初期プレビューバー上の、ポイントまたはセグメントを選択してもよく、新たな動的プレビューバーで、画像ストリームの選択された部分についてコンピュータ処理または表示されてもよい。動的プレビューバーは、詳細なプレビューデータが併行して表示された画像に隣接する画像に対応して算出されるように、および短縮されたプレビューデータが離れた画像に対応するように算出されるように生成されてもよい。プレビューバー要素の生成には、例えば、本明細書の図４に掲示された操作などが含まれてもよい。いくつかの実施形態では、画像のプレビューバーまたは要約グラフ表示を生成する他の方法、例えば、Ｈｏｒｎ ｅｔ ａｌ．による米国特許第７，２１５，３３８号および／またはＨｏｒｎ ｅｔ ａｌ．による米国特許申請公開第２００７００６０７９８号に開示された方法が使用されてもよい。詳細なプレビューデータの生成には、例えば、ピクセルストリップの形態でのプレビューバー要素である、１つのフレームに対応する要約ピクセルデータの生成が含まれてもよい。詳細なプレビューデータは、撮像工程の読影者が見る現時点で表示された画像フレーム（群）、および現時点のフレームに隣接した位置にある画像フレームについて生成されてもよい。ある実施形態では、詳細なプレビューデータでは、表示された現時点の画像（群）について、および画像内ストリーム内で先におよび／または次に遷移される所定数の画像数（例えば、５０）について、または現時点で表示された画像の前および／または後の所定時間帯に取り込まれた画像について、コンピュータ処理されてもよい。

短縮されたプレビューデータは、現時点で表示された画像から離れた位置にある画像、例えば、画像ストリームのシーケンス内の現時点のフレームから所定の画像数を超えて位置された画像（または現時点で表示された画像の前または後の所定またはコンピュータで処理された時間帯を超えた取り込まれた画像）について生成されよい。ある実施形態では、短縮されたプレビューデータには、複数のプレビューバー要素（例えば、ピクセルストリップ）、画像ストリームからの複数の画像シーケンスに対応するピクセルデータの要約を作成する各プレビューバー要素が含まれてもよい。いくつかの実施形態では、異なる程度に短縮されたプレビューデータがあってもよく、例えば、現時点のフレームからのフレームの距離に従って、現時点で表示されたフレームから離れたフレームについてプレビューバー内に表示される詳細レベルの段階的な短縮があってもよい。他の実施形態では、プレビューウィンドウ（例えば、プレビューウィンドウ２４２）では、画像ストリームの部分についての詳細なプレビューデータが表示されてもよいが、プレビューバーの残余の部分では、動的プレビューバーのプレビューウィンドウの部分に関連しない画像についての短縮されたプレビューデータが表示されてもよい。

操作６０８では、画像ストリームの１つまたは複数のフレームが、例えば、現時点で表示されたフレーム（群）について生成された動的プレビューウィンドウに連動して、表示されてもよい。動的プレビューバーは、ディスプレイ上の様々な位置に位置付けされてもよい。いくつかの実施形態では、画像ストリームおよび動的プレビューバーが、別々のモニターまたはディスプレイで、同時に表示されてもよい。ユーザによる入力が行われてもよい、例えば、ユーザは、動的プレビューバーの特定のポイントを選択またはクリックして、クリックして選択された時点に関連するセグメントまたは画像の部分を表示させてもよい。

操作６０６〜操作６０８は、例えば、断続的に、例えば、固定または可変の時間間隔で、または表示されるフレームの所定数後ごとに、繰り返され、ループされまたは反復されてもよい。操作６０６〜操作６０８は、動的プレビューバーがビデオストリームウィンドウ内に現時点で表示されたフレームを繰り返し再算出して調整されるように、例えば、画像ストリームの観察中を通じて連続的にまたは実質的に連続的に繰り返されてもよい。

画像ストリームは、必ずしもｉｎ−ｖｉｖｏ画像ストリームである必要はないことに留意されたい。短縮されたおよび動的プレビューデータは、例えば、保安または監視カメラなど、により取り込まれた動画、画像ストリームなどの他の画像のタイプについて生成されてもよい。

他の操作または一連の操作が使用されてもよい。

異なる実施形態が、本明細書で開示される。特定の実施形態の特性は、他の実施形態の特性と組み合わせてもよい、つまり、特定の実施形態は、複数の実施形態の特性の組み合わせであってもよい。

本発明の実施形態の前述の説明は、例示および説明を目的として示す。開示された詳細な形態により本発明を誇張するまたは限定することは意図していない。当然のことながら、当業者であれば、多くの修正、変形、代用、変更および等価物が上述の教示に照らして可能である。そのため、添付の請求項は、本発明の真の趣旨の範囲内であるものとして、そのような修正および変更をすべて包含することを意図していることは、理解されるであろう。

Claims (21)

1. Ｉｎ−ｖｉｖｏ撮像デバイスにより取り込まれた画像ストリームを表示するコンピュータ実行方法であって、
   複数の画像フレームを備え、各フレームが複数のピクセルを備えた画像ストリームであって、ｉｎ−ｖｉｖｏデバイスにより取り込まれた画像ストリームを受信することと、
   少なくとも１つのフレームが各タイムスロットに表示され、かつ前記フレームはそれらのフレーム取り込み時間に従って連続して表示される、前記画像ストリームのビデオ表示を表示することと、
   動的プレビューバーは前記ビデオ表示内に同時に表示される少なくとも１つの画像フレームに相関し、前記動的プレビューバーは詳細なデータセグメントおよび縮小データセグメントを備え、かつ前記詳細なデータセグメントは前記ビデオ表示内に同時に表示される前記少なくとも１つのフレームが生成される、前記動的プレビューバーを生成することと、
   前記画像ストリームの前記ビデオ表示に連動して前記動的プレビューバーを視覚ディスプレイ装置上で表示することと、
   を含む、コンピュータ実行方法。
2. 前記詳細なデータセグメントは、前記ビデオ表示内に同時に表示される前記少なくとも１つのフレームに隣接するフレームが生成される、請求項１の方法。
3. 前記詳細なデータセグメントは、ユーザにより選択される前記画像ストリームのセグメントが生成される、請求項１の方法。
4. 前記縮小データセグメントは、前記ビデオ表示内に現時点で表示された前記フレームに隣接していないフレームが生成される、請求項１の方法。
5. 前記動的プレビューバーは、前記画像ストリームから表示される現時点の画像に従って連続して更新される、請求項１の方法。
6. 前記詳細なデータセグメントは、前記視覚ディスプレイ装置上で視覚的に拡大される、請求項１の方法。
7. Ｉｎ−ｖｉｖｏ撮像デバイスにより取り込まれた画像ストリームを表示するためのシステムであって、
   複数の画像フレームを備え、各フレームが複数のピクセルを備えた画像ストリームであって、ｉｎ−ｖｉｖｏデバイスにより取り込まれた画像ストリームを受信し、かつ
   動的プレビューバーを生成し、前記動的プレビューバーは前記ビデオ表示内に現時点で表示された前記画像フレームに相関し、前記動的プレビューバーは、詳細なデータセグメントおよび短縮されたデータ部分を備え、かつ前記詳細なデータセグメントを前記ビデオ表示内に現時点で表示されたフレームおよび隣接するフレームを生成する、プロセッサと、
   前記画像ストリームのビデオ表示を表示し、少なくとも１つのフレームが各タイムスロット内に表示され、かつ前記フレームはそれらのフレーム取り込み時間に従って連続的に表示され、さらに前記画像ストリームの前記ビデオ表示に連動して前記動的プレビューバーを表示する、視覚ディスプレイ装置と、
   を備えるシステム。
8. 前記プロセッサは、前記ビデオ表示内に同時に表示される前記少なくとも１つのフレームに隣接するフレームの前記詳細なデータセグメントを生成する、請求項７のシステム。
9. 前記プロセッサは、前記画像ストリームから表示される現時点の画像に従って前記動的プレビューバーを連続的に更新する、請求項７のシステム。
10. Ｉｎ−ｖｉｖｏ撮像デバイスにより取り込まれた画像ストリームを表示するためのコンピュータ実行方法であって、前記方法は、
    複数の画像フレームを備え、各フレームが複数のピクセルを備えた画像ストリームであって、前記ｉｎ−ｖｉｖｏデバイスにより取り込まれた画像ストリームを受信することと、
    前記要約データ要素を組み合わせて要約画像表示を形成すること、かつ
    前記要約画像表示を視覚ディスプレイ装置上に表示することとを、含み、
    前記フレームの少なくとも１つのサブセットでは、要約データ要素を生成し、各要約データ要素は、前記画像ストリームの少なくとも１つのフレームに対応し、
    前記要約データ要素を生成することは、
    第１のソートパラメータに従って１つまたは複数の画像フレームのピクセルを順序付けすること、
    前記順序付けされたピクセルは、所定のサンプリングスキームに従ってサンプリングされ、順序付けされたピクセルのサンプリングされたセットを取得すること、かつ
    前記順序付けされたピクセルのサンプリングされたセットのピクセルを組み合わせて要約データ要素を形成することを含む、コンピュータ実行方法。
11. 要約データ要素の生成には、任意の所定の条件に従って各画像フレームからピクセルのサブセットが選択されることを含み、ピクセルの順序付けには、前記ピクセルのサブセットの順序付けを含む、請求項１０の方法。
12. 前記要約データ要素を組み合わせて要約画像表示の形成することには、前記要約データ要素を隣接して位置付けることを含む、請求項１０の方法。
13. 前記第１のソートパラメータは、前記画像フレームの管腔のくぼみを検出することに基づく、請求項１０の方法。
14. ピクセルは、Ｒ、Ｇ、Ｂ（赤、緑、青）色空間で表現され、かつ前記第１のソートパラメータは、Ｒ、Ｇおよび／またはＢ値の組み合わせに基づいてコンピュータで処理される、請求項１０の方法。
15. 任意の視覚ディスプレイ装置上で前記画像ストリームのビデオ表示が表示されることを含む方法であって、少なくとも１つのフレームは、各タイムスロット内に表示され、かつ前記フレームはそれらのフレーム取り込み時間に従って連続して表示され、前記要約画像表示は、前記画像ストリームの前記ビデオ表示に連動して表示される、請求項１０の方法。
16. 要約データ要素の生成は、第２のソートパラメータに従って１つまたは複数の画像フレームのピクセルの再順序付けが行われる、請求項１０の方法。
17. 請求項１６の方法であって、
    前記ソートされたピクセルは、前記第１のソートパラメータに基づいて２セットに分けること、
    前記第１のセットは、前記第２のソートパラメータの降順に配列すること、かつ
    前記第２のセットは、前記ソートパラメータの昇順に配置すること、を含む方法。
18. 前記要約データ要素が、ピクセルラインである、請求項１０の方法。
19. 前記フレームのサブセットとして、前記画像ストリームからの連続した画像フレームシーケンスが挙げられる、請求項１０の方法。
20. 画像特性または腸内事象は、前記プレビューバーに基づいて判定することを含む、請求項１０の方法。
21. Ｉｎ−ｖｉｖｏ撮像デバイスにより取り込まれた画像ストリームを表示するためのシステムであって、前記システムは、
    複数の画像フレームを備え、各フレームが複数のピクセルを備えた画像ストリームであって、ｉｎ−ｖｉｖｏ装置により取り込まれた画像ストリームを受信し、
    前記要約データ要素を組み合わせて要約画像表示を形成する、プロセッサと、
    前記要約画像表示を表示する、視覚ディスプレイ装置と、
    を備え、
    前記フレームの少なくとも１つのサブセットについて、要約データ要素を構成するプレビューバーが生成され、各要約データ要素は、前記画像ストリームからの少なくとも１つのフレームに対応し、
    前記要約データ要素の生成することには、
    第１のソートパラメータに従って１つまたは複数の画像フレームのピクセルを順序付けすること、
    前記順序付けされたピクセルは、所定のサンプリングスキームに従ってサンプリングされ、順序付けされたピクセルのサンプリングされたサブセットを取得すること、かつ
    前記順序付けされたピクセルのサブセットのピクセルを組み合わせて要約データ要素を形成すること、
    を含む、システム。

Images