JP2007519440A - 画像ストリームを表示するシステムおよび方法 - Google Patents

Abstract

システムおよび方法が、画像ストリーム２００を表示することができ、元の画像ストリームは、２つ以上のサブセット画像ストリームに分割されることができ、各タイムスロット２１０Ａ〜２４０Ｄにおいて同時に、または実質的に同時に表示される各サブセット画像ストリームは、所定の基準に基づいて可変的に調整され得る。画像は、胃腸管を横断する、服用可能なカプセルから収集され得る。

Description

本発明は、画像ストリームを表示し、かつ／または検討する方法およびシステムに関する。

一連の静止画像から画像ストリームが組み立てられ、ユーザに表示され得る。画像は、様々なソースから作成されることも、収集されることもできる。例えば、飲み込むことができるカプセルを含む、知られている生体内撮像システムが、例えば、胃腸（ＧＩ）管などの内腔の画像を取り込むことができ、そうした画像を外部の記録装置に伝送することができる。多数の画像が、閲覧するために収集され、例えば、シーケンスに合成される。例えば約４，８００フレームを含む、例えば４０分の長さの画像ストリームが、例えば保健専門家にとって検討用に利用可能であり得る。他のフレーム数も長さも用いられ得る。一実施形態では、保健専門家が、例えば、画像を使って、胃腸管の病態を診断することができ、さらに、システムは、こうした病変の場所についての情報を提供することができる。病変は、存在する場合、通常、長い胃腸管横断中にごくわずかの場所で、したがって記録された画像のうち、ごく一部で見つけられ得る。

概して、可能な場合、ユーザは、ストリームに含まれる画像のいずれかに存在し得る重要な情報を見落とすことなく、画像ストリームを迅速に検討することができる最高レートに、ストリーム再生レートを設定しようと試みる場合がある。ユーザが画像ストリームを効率よく検討することができるレートは、ストリーム中に表示される個々の画像中の一定の詳細が、それを超えると生理学的にフィルタリングで取り除かれる可能性がある生理学的平均化によって制限され得る。

本発明のいくつかの実施形態によるシステムおよび方法は、関心をもたれ得る画像（例えば、病理画像）を強調しながら、画像ストリームが閲覧されることを可能にし得る。したがって、ユーザは、関心をもっている、選択された画像を、長時間に渡る画像ストリームの中から迅速に見つけ出すことができ、効率的な短い閲覧時間が実現され得る。本発明のいくつかの実施形態による画像表示方法の、他の用途も利益も存在し得る。

一実施形態では、画像ストリームにある多数の画像が１つのタイムスロット内で実質的に同時に表示されるように、画像ストリームを表示するシステムおよび方法が提供される。実質的に同時ということは、同時ということを含み得る。このようなシングルフレームストリーム表示は、閲覧時間が比較的短い可能性があるマルチフレームストリーム表示に変換され得る。本発明のそれ以外の実施形態では、各タイムスロット内で実質的に同時に表示される画像の空間的位置は、所定の基準に基づいて、可変的に調整され得る。例えば、各タイムスロット内で実質的に同時に表示される画像の空間的順序または位置は、選択され、または生成された参照画像に対比した、各画像の変化程度に対応し得る。さらに別の例では、病的に見える組織を表示する画像は、健康に見える組織を表示する画像とは離れて位置決めされ得る。本発明の一実施形態では、グループ中の他の画像と比較して高い変化程度を含む、実質的に同時に表示される画像グループにある画像が、閲覧者が通常最初に目を留め得る空間的位置に表示され得る。いくつかの実施形態では、画像は、胃腸管を横断する自律カプセル（ａｕｔｏｎｏｍｏｕｓ ｃａｐｓｕｌｅ）から収集され得る。

以下の詳細な説明を図面と併せ読むことにより、本発明がより完全に理解されよう。

説明を簡潔かつ明確にするために、図中に示される要素は、必ずしも正確にも実物大でも描かれていないことが理解されよう。例えば、要素の一部の大きさは、他の要素と比べて、明確にするために誇張されている場合もあり、いくつかの物理構成要素が、１つの機能ブロックまたは要素に含まれている場合もある。さらに、適切と思われる場合は、対応し、または類似している要素を示す複数の図面中で参照番号が繰り返される場合がある。

以下の説明では、本発明の様々な態様が説明される。説明を目的として、具体的な構成および詳細が、本発明を完全に理解させるために示される。しかしながら、本発明は、本明細書において提示される具体的な詳細なしでも実施され得ることも、当業者には明らかであろう。さらに、よく知られている特徴は、本発明を不明瞭にしないために、省略される場合も、簡略化される場合もある。

本発明の一実施形態による生体内撮像システムの概略図を示す図１Ａを参照する。例示的な実施形態では、本システムは、例えば、画像を取り込む画像センサ４６と、生体内腔を照射する照明源４２と、送信機４１と、画像および場合によっては他の情報を、例えば受信装置に伝送するアンテナ４４とを有するカプセルなどの撮像装置４０を含み得る。通常、撮像装置は、Ｉｄｄａｎらに与えられた米国特許第５６０４５３１号明細書に記載されている実施形態、およびＧｌｕｋｈｏｖｓｋｙらに与えられた国際公開第０１／６５９９５号パンフレットに記載されている実施形態に対応するものでよく、両方とも、全体が参照により本明細書に組み込まれているが、代替実施形態では、他のタイプの撮像装置もあり得る。一実施形態では、撮像装置は、複数の画像センサを含み得る。画像センサは、例えば、わずかに異なる位置または異なる角度で、装置４０の片側どちらかにも、装置の同じ側にも配置されてよい。複数の画像センサを含む装置は、例えば、本発明の共通の譲受人に譲渡されており、参照により本明細書に組み込まれている国際公開第０２／０５４９３２号パンフレットの「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｗｉｄｅ Ｆｉｅｌｄ Ｉｍａｇｉｎｇ ｏｆ Ｂｏｄｙ Ｌｕｍｅｎｓ」に記載されている。各画像センサが、生体内画像を取り込み、生体内画像を、送信機４１を介して、または異なる送信機を介して伝送することができる。取り込まれた異なる生体内画像ストリームは、２つのストリームの間での画像比較に基づいて、または他の基準に基づいて、単一の生体内画像ストリームに合成され得る。

本発明の別の実施形態では、装置４０は、例えば温度センサ、圧力センサ、血液センサ、ｐＨセンサ、超音波センサ、酸素センサ、それ以外のセンサなど、例えば画像センサ以外のセンサでも、かつ／または複数のセンサでもよいセンサ４３を含み得る。センサ４３からサンプル抽出されたデータは、例えば、送信機４１を介しても、異なる送信機を介しても伝送され得る。

通常、患者の体の外側で、１つまたは複数の場所に配置されるのは、画像受信機１２、データプロセッサ１４、および画像モニタ１８でよい。画像受信機１２は通常、アンテナまたはアンテナアレイ１５および画像受信機記憶ユニット１６を含み得る。データプロセッサ１４は、例えばプロセッサ１９および記憶ユニット２１を含み得る。本発明の一実施形態では、記憶ユニット２１は、例えば画像データベース２２を含み得る。画像モニタ１８は、特に、例えば装置４０によって伝送された画像を表示することができる。通常、データプロセッサ１４およびモニタ１８は、プロセッサ１９、メモリ、ディスクドライブ、および入出力装置などの標準構成要素を含むが代替構成が可能なパーソナルコンピュータまたはワークステーションの一部でよい。データプロセッサ１４は通常、その機能の一部として、画像の表示を制御するコントローラとして作用し得る。画像モニタ１８は通常、従来のビデオディスプレイでよいが、さらに、画像または他のデータを提供することが可能な他のどの装置でもよく、小型のパームタイプモニタや大型投射サイズモニタを含む、どのサイズのモニタでもよい。画像モニタ１８は、画像データを、通常は静止およびストリーミング画像フレームの形で提示し、さらに、他の情報を提示することもできる。例示的な実施形態では、様々なカテゴリの情報が、ウィンドウに表示される。他の表示形式も用いられ得る。多様なモニタが、画像および他のデータを表示するのに用いられ得る。撮像システムによって取り込まれる画像は、例えば円、正方形、矩形、または六角形、楕円などを含む、適切などの形のものでもよい。

動作の際、画像センサ４６は、画像を取り込むことができ、データ、例えば画像データを送信機４１に送ることができ、送信機４１は、例えば無線電磁波を用いて、受信機１２にデータを送信することができる。画像データ以外の他のタイプのデータも伝送され得る。受信機１２は、データを、受信機記憶ユニット１６に転送することができる。記憶ユニット１６に格納されている画像データは、データプロセッサ１４および／またはデータプロセッサ記憶ユニット２１に転送され得る。例えば、受信機１２または受信機記憶ユニット１６は、患者の体から取り去ることができ、データプロセッサ１４を含み得るパーソナルコンピュータまたはワークステーションに、標準データリンク、例えば知られている構成の直列、並列、ＵＳＢ、またはワイヤレスインターフェースを介して接続されることができる。データ、例えば画像データは次いで、受信機記憶ユニット１６から、データプロセッサ記憶ユニット２１に含まれ得るデータベース２２に転送され得る。通常、画像ストリームは、知られている様々なやり方で実現され得る画像データベース２２に、一連の画像として格納される。専用ソフトウェアを含むデータプロセッサ１４は、データを分析し、分析済みのデータを画像モニタ１８に提供することができ、モニタ１８で、ユーザは、画像データおよび／または他のデータを閲覧することができる。本発明の一実施形態において、複数の画像ストリームが、複数の画像センサから取り込まれ得る。本実施形態では、データプロセッサ１４が、異なる画像ストリームを１つの画像ストリームに合成するのに用いられ得る。２つ以上の画像ストリームの合成は、例えば、各画像ストリームにある画像の比較に基づき、画像の取込み時間に基づき、あるいは他の１つまたは複数の基準に基づき得る。他の構成が、リアルタイムの閲覧を可能にすることができ、例えば、装置４０または受信機１２は、モニタ１８でのリアルタイムの閲覧のために、データプロセッサ１４にリアルタイムでデータを伝送することができる。

通常、一実施形態によれば、例えば装置４０などの生体内撮像装置が、胃腸管を横断することができるので、一連の静止画像を収集する。本発明の一実施形態では、装置４０は、胃腸管を横断するのに数時間を要し得るが、大量のデータを収集することができ、例えば、毎秒２枚の画像というレートで画像を記録することができ、その結果、例えば数千枚の画像を記録する。画像記録レート（またはフレーム取込みレート）および記録期間は、変えられ得る。

通常、装置４０によって取り込まれ伝送されるデータは、デジタルカラー画像データでよいが、代替実施形態では、他の画像形式も用いられることができ、画像データ以外の、かつ／またはそれに加えて他のデータが伝送され得る。例示的な実施形態では、画像データの各フレームは、例えば、２５６列分の２５６ピクセルを含んでよく、各ピクセルは、知られている方法によれば、例えば色および輝度用のバイトを含んでよい。他の実施形態では、画像データは、より多くのまたはより少ないピクセルも含むことができ、各ピクセルは、他の情報も含んでよく他のバイト数からなってもよい。画像データを記録する他の適切な方法も用いられ得る。通常、画像は、例えば、データプロセッサ記憶ユニット２１に順次格納され得る。他の実施形態では、画像データおよび／または他のデータは、受信機記憶装置１６に格納され得る。

通常、データプロセッサ記憶ユニット２１は、例えば、患者の胃腸管の中を動く際に装置４０によって取り込まれた一連の画像を格納することができる。こうした一連の画像は、連続して合成されて、画像ストリームを形成し得る。画像ストリームを閲覧する際、ユーザは通常、モニタ１８において、１つまたは複数のウィンドウを提示され得る。代替実施形態では、多数のウィンドウが用いられる必要はなく、この画像ストリームのみが表示され得る。ここで、ディスプレイ１８の概略図を示す図１Ｂを参照する。多数のウィンドウが提供される実施形態では、例えば、画像ウィンドウ５０が、画像ストリームまたはその画像ストリームの静止部分を表示することができる。センサウィンドウ５３が、画像センサ以外のセンサ、例えば、超音波、圧力、温度、血液、酸素、および／またはｐＨセンサからの並行データストリームを表示することができる。他のセンサも用いられ得る。場所ウィンドウ５２が、表示される画像フレームの取込み時の、撮像装置、例えば装置４０の場所についての情報を表示することができる。制御ウィンドウ５４は、画像の表示を変更するのに用いられ得るボタンまたは他のコントロール、例えば停止、再生、一時停止、画像取込み、ステップ、早送り、逆戻り、またはそれ以外を含み得る。このようなコントロールは、例えば、マウスやトラックボールなどの指示装置によって活動化され得る。通常、画像ストリームは、１つのフレームまたは１組のフレームを閲覧するために静止させられ、速度を上げられ、または逆方向に流されることができ、セクションがスキップされることができ、あるいは画像を閲覧するための他のどの方法も、画像ストリームに適用され得る。他のウィンドウも含まれ得る。

以下の説明は、装置４０からのデータが、後で使うために格納される場合に関するが、本発明のシステムおよび方法は、画像データのリアルタイムの閲覧を可能にするシステムとともに用いられ得る。

さらに、通常は、画像データを受諾し、処理し、表示する構成要素は、ワークステーションシステムまたはＰＣ内部に含まれるが、他のシステムも用いられることができ、他の（例えば、分散された）構成要素が、このような画像受諾、処理および表示を実施することができる。例えば、大型投射タイプモニタが、複数の画像を実質的に同時に閲覧するのに用いられ得る。

本発明の一実施形態では、装置４０は、複数の撮像機を有し得る。多数の画像ストリームが、同じ装置内にある多数の撮像機から、または場合によっては、１つの画像ストリームを多数の画像ストリームに分裂させることによって生じ得る。画像ストリームの合成は例えば、処理装置、例えばプロセッサ１９によって実施され得る。ここで、多数の画像ストリームを単一画像ストリームに合成する方法を記述する例示的なフローチャートを示す図６を参照する。各画像センサは、生体内画像を取り込み、こうした生体内画像を、送信機４１を介して、または異なる送信機を介して伝送することができる。あるいは、１つの画像ストリームが分裂され得る（例えば、画像が１つおきに、２つの画像ストリームの１つの中に配置され得る、など）。多数の画像センサから取得された異なる画像ストリームが、格納され得る（ステップ６１０）。異なる画像ストリームから取り込まれたフレームの間で、比較が行われ得る（ステップ６２０）。本発明の他の実施形態では、異なる画像ストリームは、比較が行われる前に全体が格納されることはできない。比較に基づいて、異なる画像ストリームそれぞれにあるフレームが、単一画像ストリームにはめ込まれ得る（ステップ６３０）。フレームの比較に加えて、他の方法も、多数の画像ストリームを合成するのに用いられ得る。異なる画像ストリームは、同様の光景を表示するフレームが、互いに極めて近接してはめ込まれるように合成され得る。したがって、多数の画像ストリームは、可変順序および／またはやり方で表示され得る。他の適切な基準も、同様に用いられ得る。

一実施形態では、画像表示ウィンドウ（例えば、モニタ１８）は、多数の画像が各タイムスロット内で実質的に同時に表示されるマルチフレームストリームを表示することができ、そうすることによって、閲覧時間を削減する。一実施形態では、プロセッサ１９は、実質的に同時に表示されるフレームそれぞれの空間的位置決めを決定することができる。例えば、一実施形態では、元の画像ストリームは、例えば、単一のタイムスロット内で実質的に同時に表示される異なる画像ストリームに分割され得る。元の画像ストリームを、実質的に同時に流される複数の画像ストリームに分離するのに、様々な方法が用いられ得る。一例では、元の画像ストリームにある画像が、例えば、１６個のサブセット画像ストリームに分割されることができ、そうすることによって、例えば、第１のタイムスロットにおいて、元の画像ストリームの最初の１６枚の画像が実質的に同時に表示されることができ、第２のタイムスロットにおいて、元の画像ストリームの次の１６枚の画像が、実質的に同時に表示されることができる、などのようになる。他の枚数の画像ストリームも用いられることができ、元のストリーム中のいくつかのフレームはスキップされ得る。代替実施形態では、画像は、分離され、例えば、プロセッサ１４内の異なるファイルまたはメモリブロックに配置され得る。一実施形態では、その結果生じた各画像ストリームは、元の画像ストリームとは異なる画像サブセットを含み得る。代替実施形態では、生じた各画像ストリームにある画像が重複し得る。本発明の別の実施形態では、元の画像ストリームの画像は、適切であり得る代替的なやり方で、異なる画像ストリームに分割され得る。通常、フレーム、例えば、対応する異なる画像ストリームから取得されたフレームの空間的位置決め、および／または順序は、各タイムスロットごとに変わり得る。

一実施形態では、元の画像ストリームにある画像は、閲覧時に適切なスクリーン位置に向けられるだけでよく、画像ストリームは、例えば、異なる画像ストリーム中に実際には分離されなくてよい。このような実施形態では、異なる枚数の画像が、すべてのタイムスロットに対して実質的に同時に表示され得る。通常、実質的に同時に表示される１つまたは複数のフレームの空間的位置決めは、可変順序、例えば、フレームが取り込まれた時系列順以外の順序でよい。一実施形態では、各タイムスロットが、指定された領域から取り込まれた全画像フレームを表示することができる。例えば、第１のタイムスロットは、食道内で取り込まれた全フレームを含むことができ、第２のタイムスロットは、胃の中で取り込まれた全画像を表示することができる、などのようになる。代替実施形態では、各時間枠において同じ数の画像フレームが表示され得る。

図２は、本発明の実施形態によるディスプレイの一部分を示す。ディスプレイ２００は、例えば、単一タイムスロットにおいて実質的に同時に表示される１６個の画像フレーム（２１０Ａ〜２４０Ｄ）を含み得る。例示的な実施形態では、ウィンドウまたは閲覧エリア２１０Ａ、２１０Ｂなどは、フレームの間に最低限の余白または黒色空間を有して、互いに接近してよく、通常、閲覧者が、目をほとんど動かさずにフレーム全体を見ることができるように、行列の形で表示され得る。他の適切な空間的配置も用いられ得る。

単一タイムスロットにおいて表示される画像フレームの空間的順序または位置は、例えば、プロセッサ１９によって行われる計算に基づいて調整され、かつ／または変えられることができる。実質的に同時に表示される画像フレームの空間的順序は、画像が取り込まれたであろう時系列順に対応してよく、所定の複数の基準に対する所定の代替基準、または対象となっている他の基準に対応してよい。本発明の一実施形態において、表示されるフレームの空間的順序または位置は、所定の基準、および／または対象となっている基準に基づき得る。本発明の一実施形態において、単一タイムスロットにおいて表示される画像フレームは、例えば、色変化の所定の基準に基づいて空間的に位置決めされ得る。他の基準、例えば焦点合わせ、照明、血液検出なども用いられ得る。

例示的なアルゴリズムが、図３に列挙されている。ブロック３１８を参照すると、単一タイムスロットにおいて実質的に同時に表示される１組の画像フレームが選択され得る。本発明のいくつかの実施形態では、単一タイムスロットにおいて実質的に同時に表示される画像の組は、例えば所定の基準に基づいて選択され得る。例えば、指定された特徴、例えば色方式を表示する画像が、単一タイムスロット中に実質的に同時に表示されるように選択され得る。他の適切な基準、例えば、焦点合わせ、照明、血液検出、形状特徴なども用いられ得る。照明の正常化または調整が、表示される画像フレームに対して実施され得る（ブロック３２０）。この正常化または調整は、例えば、画像フレームが複数の画像センサから取り込まれ得る際の、影付け、照明強度の変化、または照明および画像センサプロパティの変化によるどの色変化も削減するように実施され得る。続いて、表示される画像フレームに基づいて、参照画像が生成され得る（３３０）。本発明の一実施形態において、参照画像フレームは、例えば、単一タイムスロット内で実質的に同時に表示される画像フレームの平均または和を表す画像でよい。本発明の別の実施形態では、参照画像は、例えば、知られているいくつかのプロパティを有し得る選択された画像フレーム、直前のタイムスロットから選択され、または生成される画像、または他の適切な画像でよい。本発明の一実施形態において、参照画像は、通常は健康に見える組織を表し得る。ステップ３４０で、タイムスロットにおいて表示されている画像フレームが、生成された画像と比較され得る。比較は、画像のセクションの比較に基づいてもよく、画像全体の比較に基づいてもよい。一例では、病変を表示する画像は、例えば、参照画像が通常は健康な組織を表し得る際に、参照画像に対して、高い変化程度を示し得る。実施された比較に基づいて、各画像にスコアが与えられ得る（ブロック３５０）。本発明の別の実施形態では、単一タイムスロットにおいて表示される画像フレームは、複数の参照画像と比較され、複数のスコアを受け取ることができる。表示される画像フレームの空間的位置および／または他の適切なパラメータ、例えばサイズは、割り当てられたスコアに基づき得る（３６０）。例えば、一実施形態によれば、同様のスコアを有するピクチャは、閲覧者が通常、最初に目を留める可能性がある場所、例えば、ディスプレイの隅に位置決めされ得る。

他の後処理方法も、例えば、病変を表示しているかもしれない画像と、例えば、病変にも対象となっている他の基準にも関連していない可能性がある、胃腸管中の泡、内容物、または他の変化を表示しているかもしれない画像とを区別するために同様に含まれ得る。本発明の別の実施形態では、生成された画像は、元の画像ストリーム全体から、元の画像ストリームの所定のセクションから、または多くの自主提供者から撮られた画像ストリームから生成された平均画像を表すことができる。別の例では、生成され、かつ／または予め選択された画像は、病変も、複数の画像ストリーム中で捜し求められている特定の情報も表すことができる。したがって、参照画像に対して変化程度が最も低い画像は、関心をもたれる画像の代表となり得る。他のアルゴリズムも、同様に用いられ得る。一例として、血液を表示するものとして検出された画像が、対象となっている基準でよい。血液検出用アルゴリズムは、２００２年３月１４日に出願し、本発明の共通の譲受人に譲渡され、参照により本明細書に組み込まれている米国特許出願第１０／０９７０９６号明細書に記載されている。本発明の別の実施形態では、色変化の他に、またはそれとともに、他の基準が用いられ得る。例えば、形状変化が、胃腸管の中のポリープの識別を手助けする基準として用いられ得る。選択され、または生成された画像に基づく、一定の閾値を上回り、または下回る変化が用いられ得る。閾値は、感度を増大させるようにも、減少させるようにも調整され得る。他の適切な基準も同様に用いられ得る。

本発明のさらに別の実施形態では、各タイムスロットにおける画像フレームの空間的順序を決定し得る、対象となっている基準、およびタイムスロットごとに表示される画像枚数は、画像センサ以外のセンサから一斉に、または実質的に一斉に取得される示度（ｒｅａｄｉｎｇ）に基づいてよく、例えば、単一タイムスロットにおいて実質的に同時に表示される画像フレームの空間的位置決めは、本明細書において言及される、１つまたは複数の非画像センサから取得される示度に基づいてよい。

本発明のいくつかの実施形態では、生体内センサの示度は、例えば、プロセッサ１９への入力として、各タイムスロットにおけるフレームの空間的位置決めをソートするのに用いられ得る。空間的位置決めを決定する、他の適切な方法も用いられ得る。ここで、単一タイムスロットにおいて実質的に同時に表示される画像フレームをソートするフローチャートを示す図４を参照する。ステップ５１０で、実質的に同時に表示される画像が選択され得る。１つまたは複数の非画像センサ（例えば、温度センサ、圧力センサ、血液センサ、ｐＨセンサ、超音波センサ、酸素センサなど）からの、対応するセンサ示度が選択され得る（ステップ５２０）。例えば、ステップ５１０で選択された画像フレームの取込み時の間に記録された温度の示度が用いられ得る。ステップ５１０で選択された画像は、ステップ５２０で選択された、対応するセンサデータに基づいて、例えば昇順または降順でソートされ得る（ステップ５３０）。他のソート方法も実施され得る。本発明の一実施形態では、ソートは、複数のセンサの示度に基づいてよく、画像分析、または画像分析ならびにセンサ示度に基づいてよい。本発明の別の実施形態では、画像は、例えば、センサの１または０出力に基づいてソートされてもよく、そうすることによって、１出力に対応する全画像が、１つのグループにまとめられることができ、０出力に対応する全画像が、１つのグループにまとめられることができる。定義済みの閾値を渡すセンサ示度に対応する画像が、タグ付けされ得る（５４０）。このような画像は、本明細書において記載され得るように、表示中に強調され得る。

通常、単一タイムスロットにおいて実質的に同時に表示される画像フレームの数を増やすと、例えば、病変を示す比較的少数のフレームを、例えば、通常は健康に見える組織を示す比較的多数のフレームから選び出すような、図３および図４で説明された例などの処理方法が可能になり得る。単一タイムスロットにおいて表示される画像枚数を増やすと、例えば、健康な組織での、小さい変化に対する強調を弱め、場合によっては、例えば病理学的組織内で現れ得る大きい変化に対する強調を強める可能性がある。さらに、単一タイムスロットにおいて表示される画像枚数を増やすと、表示画像ストリームの閲覧時間および／または長さを低減させる可能性がある。

本発明の一実施形態において、例えば高い変化程度を示した可能性がある画像フレームが、例えば、モニタ１８上で、ユーザが最初に一瞥する可能性が最も高い場所に位置決めされることができ、例えば、低い変化程度を示した可能性がある画像フレームが、例えば、ユーザが最後に一瞥する可能性が最も高い場所に位置決めされることができる。本発明の一実施形態では、ユーザは、最初に左上の隅から画像行列を走査し得ると仮定され得る。本実施形態では、関心をもたれている可能性がある、例えば、健康に見える組織を例えば表すフレームに対して高い変化程度を示す画像フレームが、例えばフレーム２１０Ａ（図２）で始まる左上の隅に位置決めされ得る。最も関心がもたれていない可能性がある画像フレーム、例えば、健康に見える組織を表す画像に対して低い変化程度を示す画像が、例えばフレーム２４０Ｄ（図２）で終わる右下の隅に位置決めされ得る。フレームは、変化程度の降順で配置され得る。フレーム２１０Ａからフレーム２４０Ｄまでの進行は、行ごと（例えば、２１０Ａ、２１０Ｂ、．．．、２２０Ａ、２２０Ｂ、．．．２３０Ａ、．．２４０Ｄ）、列ごと（例えば、２１０Ａ、２２０Ａ、．．．、２１０Ｂ、２２０Ｂ、．．．２１０Ｃ、．．．２４０Ｄ）、または放射状（例えば、２１０Ａ、２１０Ｂ、２２０Ｂ、２２０Ａ、２１０Ｃ、２２０Ｃ、２３０Ｃ、２３０Ｂ、．．．２４０Ｄ）でよい。他の適切な進行系列も用いられ得る。本発明の別の実施形態では、関心をもたれている可能性がある、例えば、高い変化程度を示す画像フレームが、画像ウィンドウの中心に、例えば、最下部から２／３の高さの所で位置決めされることができ、低い変化程度を示す画像は、画像ウィンドウの周辺部に位置決めされることができる。高い変化程度を示す画像フレームから、低い変化程度を示す画像フレームへの進行は、らせん形状でよい。らせん状の進行は、時計回りのらせん状の進行でも、反時計回りの進行でもよい。変化程度の他に、他の適切な基準も用いられ得る。

他の適切な画像フレーム配置も、同様に用いられ得る。例えば、定義された閾値を上回る、対象となっている特定の基準を満たす、単一のタイムスロットにおける画像フレームは、本発明の一実施形態では、例えば、単一エンティティを形成するための、境界線での融合によって、強調に関して１つのグループにまとめられることも、例えば、グループ化された画像フレーム周辺の境界線をハイライト表示し、挿入することなどによって、強調されることもできる。例えば、図２で、画像フレーム２１０Ａ、２１０Ｂは、境界線２９９によって強調され得る。他のフレーム数もグループ化のタイプ数も、用いられ得る。

本発明の一実施形態において、実質的に同時に表示される画像は、異なるサイズまたは形のものでよい。一例では、実質的に同時に表示される画像グループにある特定の画像は、拡大され、すなわち画像を強調するように、より大きいサイズで表示されることができる。ここで、一例として、実質的に同時に表示される４６個の画像フレームを示す図５を参照する。本発明の一実施形態において、例えば、指定された基準による最高の変化程度を有する画像フレームが、例えば、中心（例えば、水平の位置決めに対して）の、最下部から高さ２／３の所に配置される。一例では、所定の閾値を上回る変化を有する画像が、１つのグループにまとめられ、フレーム４０１、４０２、４０３、４０４、および４０５、４０６など、より大きいフレームで表示され得る。例えば、指定された閾値を下回る他の画像は、例えばフレーム４０７〜４４６など、より小さいフレームで表示され得るであろう。このグループ化の感度は、定義された閾値を増大させ、または低減させることによって調整され得る。閾値は、ユーザによっても、例えば、他の基準とともに、単一タイムスロットにおいて同時に表示される、定義された最大および最小数の大きなフレームに基づいて閾値を調整するアルゴリズムによっても調整され得る。

本発明の別の実施形態では、より大きいフレームは、最上部の左隅に位置決めされ得る。本発明のさらに別の実施形態では、異なるサイズフレームが、他の適切な配置で位置決めされ得る。したがって、多数の画像が、保健専門家などのユーザによって検討されることができ、関心をもたれている情報を最も含みそうな、通常、数枚の画像のみを強調する。関心をもたれている情報を比較的含みそうにない画像の、通常、大多数は、素早い一瞥で検討され得る。本発明の一実施形態において、ユーザは、特に関心がある画像を識別する際、画像のストリーミングを一時停止させることができる。したがって、ユーザは、関心がある１枚または複数の画像および関心がある画像付近で撮られた画像をより注意深く調べることができる。画像が実質的に同時に示され得る順序は、例えば、時系列順で画像を示すように改変され得る。他の適切な特徴も、取得された画像の分析を助けるのに同様に用いられ得る。

本発明の一実施形態において、明るい方の画像は概して、画像ウィンドウ５０、（図１Ｂ）の上部に位置決めされることができ、概して、暗い方の画像は、画像ウィンドウ５０の下側に位置決めされることができる。したがって、後続タイムスロットの間の継続性は、ストリームのより簡単な閲覧のために高められ得る。本発明の他の実施形態では、画像フレームの順序を決定する他の適切なパラメータも用いられ得る。

通常、普通はシングルフレームストリームが一定のレートで表示され得る場合、マルチフレームストリームは、より遅いレートで表示され得る。例えば、通常はシングルフレームストリームが毎秒２０フレームで表示され得る場合、マルチフレームストリームは、例えば、毎秒５フレーム以下で表示され得る。このような場合、閲覧時間全体は、元のシングルフレームストリームの閲覧時間の最大４分の１となり得る。他の適切な閲覧レート、ならびにシングルフレームストリームとマルチフレームストリーム閲覧時間との間の比も用いられ得る。本発明の一実施形態において、マルチフレームストリームの閲覧レートまたは他の閲覧パラメータは、各タイムスロットにおいて表示されるフレームの内容に基づいて、かつ連続タイムスロットの遷移に基づいて調整され得る。例えば、対象となっている基準を満たし得るフレームを含むタイムスロットは、対象となっている基準を満たすフレームを含み得ないタイムスロットより遅いレートで表示され得る。別の例では、隣接するタイムスロットの間の遷移において色内容に大きな変化があり得る場合、閲覧レートは低下され得る。本発明のさらに別の実施形態では、ユーザが、フレームレートならびに実質的に同時に表示されるフレーム数を調整することができる。

本発明の一実施形態による、マルチフレームストリームのストリームレートを調整する例示的なフローチャートを示す図７を参照する。一例では、単一タイムスロットにおいて表示される１組のフレームが調べられ得る（ステップ７１０）。１つまたは複数のフレームが、対象となっている基準など、所定の基準を満たす（ステップ７２０）場合、ストリームレートは調整され（ステップ７５０）、例えば低下され得る。この調整は、関心をもたれ得るフレームをさらに強調するのを手助けすることができる。別の例では、隣接するタイムスロットの間の遷移において色内容に大きな変化があり得る場合、閲覧レートは低下され得る。隣接するタイムスロットにおいて表示されるフレームが、比較され得る（ステップ７３０）。隣接するタイムスロットにおいて表示されるフレームに、大きな変化、例えば色内容やテクスチャに大きな変化がある場合、ストリームレートは低下され得る（ステップ７４０）。重大な変化がなく、対象となっている基準を満たすフレームがない場合、ストリームレートは維持され得る（ステップ７６０）。本発明のさらに別の実施形態では、ユーザが、フレームレートならびに実質的に同時に表示されるフレーム数を調整することができる。

例示的な実施形態では、ユーザは、例えば、１つのストリームとしての画像の閲覧と、複数のストリームとしての画像の閲覧との間のモードを、キーストローク、マウス、またはスクリーン上のボタンなどの制御を用いて、切り換えることができる。ユーザは、複数のストリームを、単一ストリームの制御と同様のやり方で、例えば、スクリーン上のコントロールを用いることによって制御することができる。代替実装形態では、ただ１つのモードがユーザに提供され得る。本発明のさらなる代替実施形態では、ユーザが、対象となっている、定義された基準を満たす画像のみを閲覧するというモードを選択することができる。

いくつかの実施形態では、各画像が、異なる後処理で表示され得る。例えば、ある画像が、特定のフィルタリングまたは操作（例えば、赤や緑のフィルタリング、対比強化、明るさ変更）の対象である場合があり、その他の画像は、異なるフィルタリングまたは操作の対象である場合も、どのフィルタリングまたは操作の対象でもない場合もある。一実施形態では、実質的に同時に表示される、複数のストリーム中の２枚以上の画像が、例えば境界線で融合されることができ、単一エンティティとして表示されることができる。したがって、ユーザは、画像それぞれに示される情報を、簡単かつ同時に組み込むことができるとともに、画像が隔てられる際に画像の間に現れ得る、接続エッジの間の、または画像と背景色の間の、通常、著しい対比によって引き起こされ得る混乱を避ける。いくつかの実施形態によれば、それぞれ別個の画像の間の融合境界線は、平滑化による畳込み（ｓｍｏｏｔｈｉｎｇ ｃｏｎｖｏｌｕｔｉｏｎ）、ミラーリング、重複、線形または非線形フェードアウト、フェードイン、切捨て、線形の形状歪み、非線形の形状歪み、正規化または強度、あるいは他の適切な後処理を含むがそれに限定されない、当該分野においてよく知られている、例えば、１つまたは複数の後処理アルゴリズムによって遂行され得る。

本発明は、上で具体的に示され記載されている内容によって限定されないことが当業者には理解されよう。本発明の範囲は、添付の特許請求の範囲によって定義される。

本発明の一実施形態による生体内撮像システムを示す概略図である。 本発明の一実施形態によるモニタ表示の概略図を示す図である。 本発明の実施形態によるディスプレイの一部分を示す図である。 本発明の一実施形態による、実質的に同時に表示される複数の画像フレームを空間的に位置決めする方法を示すフローチャートである。 本発明の別の実施形態による、実質的に同時に表示される複数の画像フレームを空間的に位置決めする方法を示すフローチャートである。 本発明の第２の実施形態によるディスプレイの一部分を示す図である。 本発明の一実施形態による、多数の画像ストリームを単一画像ストリームに合成する方法を示す例示的なフローチャートである。 本発明の一実施形態による、マルチフレームストリームのストリームレートの調整を示す例示的なフローチャートである。

Claims (23)

1. 生体内画像ストリームを表示する方法であって、
   生体内画像ストリームにある複数のフレームを実質的に同時に表示すること、および
   所定の基準に基づく空間的順序でフレームを位置決めすることを含む方法。
2. 生体内画像ストリームを、マルチフレーム画像ストリームとして表示することを含む請求項１に記載の方法。
3. マルチフレーム画像ストリームが表示されるレートを、フレームの内容に基づいて調整することを含む請求項２に記載の方法。
4. 所定の基準が、参照画像と比較した、表示画像の変化程度を含む請求項１に記載の方法。
5. 所定の基準が、表示画像の間の色の変化程度を含む請求項１に記載の方法。
6. 所定の基準が、非画像センサからの示度に基づく請求項１に記載の方法。
7. 所定の基準に基づいて、複数のフレームそれぞれにスコアを割り当てることを含む請求項１に記載の方法。
8. 表示されるフレームそれぞれを、割り当てられたスコアに基づく順序で空間的に位置決めすることを含む請求項７に記載の方法。
9. 表示されるフレームのうち、少なくとも１つのフレームのサイズを、割り当てられたスコアに基づいて調整することを含む請求項７に記載の方法。
10. 生体内画像ストリームが、複数の画像センサから取り込まれたフレームを含む請求項１に記載の方法。
11. 画像センサ以外のセンサからのセンサデータを、生体内画像ストリームからのフレームと実質的に同時に表示することを含む請求項１に記載の方法。
12. 生体内画像ストリームを表示するシステムであって、
    生体内画像ストリームを伝送するための生体内撮像装置と、
    生体内画像ストリームから、マルチフレーム画像ストリームを生成し、マルチフレーム画像ストリーム中で実質的に同時に表示されるべきフレームの空間的位置を、所定の基準に基づいて決定するためのプロセッサと、
    前記マルチフレーム画像ストリームを表示するためのディスプレイとを備えるシステム。
13. 生体内撮像装置が、自律カプセルである請求項１３に記載のシステム。
14. ｐＨセンサを備える請求項１３に記載のシステム。
15. 所定の基準が、センサ示度を含む請求項１３に記載のシステム。
16. 画像取込み装置が、非画像センサを備える請求項１３に記載のシステム。
17. プロセッサが、マルチフレーム画像ストリームのストリームレートを調整するためのものである請求項１３に記載のシステム。
18. 生体内画像ストリームを表示する方法であって、
    生体内画像ストリームから複数のフレームを選択すること、
    複数のフレームを、対象となっている基準に基づく順序で位置決めすること、および
    複数のフレームを実質的に同時に表示することを含む方法。
19. 複数のフレームの中から１つのフレームを、参照画像と比較することを含む請求項１８に記載の方法。
20. 対象となっている基準に基づいて、複数のフレームにスコアを割り当てることを含む請求項１８に記載の方法。
21. 複数のフレームを、異なるサイズで実質的に同時に表示することを含む請求項１８に記載の方法。
22. 対象となっている基準の閾値を定義することを含む請求項１８に記載の方法。
23. 対象となっている基準が、複数のフレームの間の色変化である請求項１８に記載の方法。

Images