JP2016519968A - 生体内マルチカメラカプセルからの画像再構築 - Google Patents

Abstract

生体内マルチカメラカプセルからの画像の再構築の方法及び装置が開示されている。本発明の一つの具体的な実施例においては、カプセルは、オーバラップ視界（ＦＯＶ）を有する２つのカメラを含む。内部画像基準の姿勢推定はオーバラップエリアに関連する部分画像に適用され、カプセル装置の姿勢推定を改善する。本発明の別の具体的な実施例においては、視差調整されたオーバラップ部分画像の線型重み付け合計を利用することにより、前記２つの視界に対応する２つの画像が融合される。さらに別の具体的な実施例においては、タイムインスタンス表示のために、マルチカメラカプセルからの画像はステッチされる。

Description

本発明は、２０１３年５月２９日付で出願されて名称が“Reconstruction of Images from an in vivo Multi-Cameras Capsule”である整理番号第６１／８２８，６５３号米国仮特許出願の優先権を主張する。本発明は、２００６年１２月１９日付で出願されて名称が“In Vivo Image Capturing System Including Capsule Enclosing A Camera”である整理番号第１１／６４２，２７５号米国特許出願、２００８年１１月２５日付で出願されて名称が“Camera System with Multiple Pixel Arrays on a Chip”である整理番号第１２／３２３，２１９号米国特許出願、２０１０年１０月１９日付で出願されて名称が“Panoramic Imaging System”である整理番号第７，８１７，３５４号米国特許、及び２０１２年９月２５日付で出願されて名称が“Camera System with Multiple Pixel on a Chip”である整理番号第１３／６２６，１６８号米国特許出願に関するものである。ここに上記米国仮特許出願、米国特許出願、及び米国特許の全体内容を引用し併合した。

本発明は、マルチカメラ付の生体カプセルを使用して取り込んだ画像からの画像再構築に関する。

生体の体腔または管を撮像する装置は当分野において知られており、内視鏡と自主カプセルカメラを含む。内視鏡は、開口部または手術の切口から体内に挿入され、一般的に口を介して食道に、または直腸を介して結腸に進入するフレキシブルまたは剛性パイプである。画像は、レンズを用いて遠位端に形成され、レンズリレーシステムまたはコヒレント光ファイバーによって近位端、すなわち体外に伝送される。概念上に類似の道具は例えばＣＣＤやＣＭＯＳアレイを用いて、遠位端で電子的に画像を記録し、ケーブルを介して前記画像データを電気信号として近位端に転送してもよい。内視鏡は、その視界を医者が制御することが許容され、広く利用されている診断ツールである。しかしながら、それらは確かにいくつの制限があり、患者にリスクを負担させ、患者にとっては侵入性であり不快感を感じさせている。それらのコストは、定期健康診断ツールとしての応用を制限している。

曲りくねる通路を通過することは困難であるので、内視鏡は小腸の大半に達することができない。これにより、結腸全体に達するのには特殊な技術及び予防処置が必要になり、コストが高くなる。内視鏡のリスクは、通過した肉体器官の貫通、及び麻酔による併発症を含む。また、治療期間における患者の苦痛、健康危害、及び麻酔関連のプロセス後の休止時間の間のトレードオフも必要である。内視鏡は、臨床医の時間を大量に占用する必要な医療資源であるので、コストがかかる。

これら数多くの問題を対処する他の生体内イメージセンサはカプセル内視鏡である。カメラは、データをベースステーション受信機または送受信機に伝送する無線（radio）伝送器と共に、嚥下可能なカプセル内に収納される。体外のデータ記録器を伝送されるデータの受信と記録に利用してもよい。データは主にデジタルカメラが記録した画像を含んでいる。無線周波数の送信以外に、周波数の低い電磁信号を使用してもよい。電力は、誘導方式により外部インダクタから内部インダクタに供給されてもよく、またはカプセル内のバッテリーから供給されてもよい。

２００６年９月１９日にて提出されて出願名称が“In Vivo Autonomous Camera with On-Board Data Storage or Digital Wireless Transmission in Regulatory Approved Band”の第１１／５３３，３０４号米国特許出願には、内蔵データストレージ付の自律型カプセルカメラシステムが開示されている。当該出願には、たとえば半導体不揮発性アーカイバルメモリを使用して撮像した画像を保存するカプセルシステムが開示されている。カプセルは、人体から離脱した後、回収される。カプセルハウジングを開封して、保存された画像はコンピュータワークステーションに転送され、保存及び分析に用いられる。無線送信を介して受信され、または内蔵ストレージから取り出されたいずれのカプセル画像は、診断医により表示及び検査が行われ、その潜在的異常現象を判別する必要がある。

上記前面撮像型カプセルカメラの他には、側面図またはパノラマ図を提供するカプセルカメラがある。組織表面を適宜に検査するため、側辺または反転角は必要である。従来の装置は、その視界（ＦＯＶ）が実質的に前面撮像型であるので、このような表面を見ることはできない。的確に診断できるように、ポリープまたは他の不規則体を徹底的に観察することが必要であるため、医者にこれらの器官のすべてのエリアを見せることが重要である。従来のカプセルはリブ部周辺の隠蔽されたエリアを見えないため、不規則体を見逃される可能性があり、深刻な医療状況における重要な診断に欠陥がある恐れがある。２００６年１２月１９日にて提出されて出願名称が“In vivo sensor with panoramic camera”という第１１／６４２，２７５号米国特許出願には、カメラ周辺環境のパノラマ画像を撮像するように配置されたカメラが開示されている。パノラマカメラシステムには、カプセル縦軸に対して視角範囲によって限定される縦方向視界（ＦＯＶ）、及び縦軸近傍方位角のパノラマ範囲によって限定される緯度視界が配置されており、カメラが実質的に３６０°緯度方向ＦＯＶのパノラマ画像を撮像できるようにした。

概念的には、複数の独立したカメラを３６０°緯度方向のＦＯＶを完全または実質的にカバーするように配置してもよい。しかしながら、このようなパノラマカプセルシステムは、複数の画像センサまたは関連電子装置が必要となり、高価になる可能性がある。２００７年１月１７日にて提出されて出願名称が“Panoramic Imaging System”である第１１／６２４，２０９号米国特許出願には、コスト効率の高いパノラマカプセルシステムが開示されている。当該パノラマカプセルシステムには、３６０°の視野を占めることができるように、複数の視界を合併されて配置された光学システムが使用されている。また、合併された視界を単一のセンサに投影して、コストが削減されている。これにより、当該単一センサカプセルシステムは低コストで効率的に複数のカメラとしての機能を果たしている。パノラマ図をサポートするセンサ構造及び操作については、２００８年１１月２５日にて提出されて出願名称が“Camera System with Multiple Pixel Arrays on a Chip”である第１２／３２３，２１９号米国特許出願、及び２０１２年９月２５日にて提出されて出願名称が“Camera System with Multiple Pixel Arrays on a Chip”という第１３／６２６，１６８号米国特許出願でさらに説明する。

自律型カプセルシステムにおいて、カプセルカメラが消化管（ＧＩ）を通過する時には、通過の期間に複数の画像とその他のデータを収集する。一般的には、画像及びデータは診断医または医療専門家の検査のため、表示装置で表示される。検査効率を向上させるために、たとえば表示速度、早送り、巻き戻し、及び停止などの表示制御により画像を映像のように連続表示し、ユーザが画像序列を介して容易に検索することができる。画像を収集し映像データとして表示させることにより、検査の効率を実質的に改善することができる。しかしながら、それぞれの画像は消化管における小さいセクション制限された視野しか提供されていない。カプセル画像を一枚の消化管表面断面図である大きい画像に合併させることが好ましい。ユーザは、高解像度の大画面表示装置を利用して、その大きい画像からより多くの情報を閲覧できる。画像の間の余ったオーバラップ領域を取り除いた後、大面積の内消化管表面が同時に閲覧できる。また、大きい画像は内消化管表面の全体図または重要部位を提供することが可能である。診断医または医療専門家はたとえばポリープなどの注目エリアをより容易かつ迅速に認識するはずである。

本願は、カプセルハウジング内に固定配置されており、任意の２つの隣接しているカメラの間にオーバラップ視界（ＦＯＶ）を有する複数のカメラを含むカプセル装置を用いて撮像した人体消化管（ＧＩ）の画像を表示する方法であって、前記複数のカメラが撮像した複数の画像序列を別々に受信するステップであって、前記複数の画像序列は内部画像の複数セットを含み、ｉセット目の内部画像はタイムインデックスｉにおいて複数のカメラが撮像した同時画像に対応するステップと、異なるタイムインスタンスに対応する前記内部画像の複数セットをステッチして合成画像を生成するステップと、表示装置に前記合成画像を表示させるステップとを含む、方法を提供する。

オーバラップ視界を有する２つのカメラの例示態様を示す。 図１Ａに示す２つのカメラから画像を撮像する画像センサアレイの例示態様を示す。 図１Ａに示す２つのカメラが撮像する画像の重ねていない領域とオーバラップ領域を示す。 ２つのオーバラップ画像を１つのワイド画像に合併される例示的な画像融合を示す。 側面図カプセルカメラシステムのカプセル回転及び並進の効果を示す。 カプセルカメラシステムのカメラ傾斜効果を示す。 本発明の一つの具体的な実施例にかかるカプセルカメラシステムが撮像した複数の画像の実施例を示し、これら複数の画像がワープされて合成画像に形成される。 撮像された画像の局所変形のダイナミック（時空間）表示の実施例を示す。 本発明の一つの具体的な実施例にかかるカプセルカメラシステムが撮像した複数の画像の実施例を示し、重要事件は便通に基づいて選択される。 本発明の一つの具体的な実施例にかかるカプセルカメラシステムが撮像した複数の画像の実施例を示し、重要事件は回転角度に基づいて選択される。 本発明の一つの具体的な実施例にかかるカプセルカメラシステムが撮像した複数の画像の実施例を示し、便通状態は複数の段階に分類されており、各段階に関連する画像は同じグループに分類される。 本発明の一つの具体的な実施例にかかるカプセルカメラシステムが撮像した複数の画像の実施例を示し、類似な回転角度の画像は同じグループに分類される。 本発明の一つの具体的な実施例にかかるカプセルカメラシステムが撮像した複数の画像の実施例を示し、便通状態は複数の段階に分類されており、１つの段階に関連する画像とグループ内の隣接画像との間に隙間が存在してもよい。 本発明の一つの具体的な実施例にかかるカプセルカメラシステムが撮像した複数の画像の実施例を示し、回転角度は複数の段階に分類されており、１つの段階に関連する画像とグループ内の隣接画像との間に隙間が存在してもよい。 複数の局所変形を有する例示的画像序列を示す。 本発明の一つの具体的な実施例にかかるカプセルカメラシステムが撮像した複数の画像の実施例を示し、局所変形に対応する画像セグメントは同時に表示されている。 クラウドで合併された画像を計算し、最終映像をクライアントに伝送することを示す。 クラウドで画像ペアの間にすべての変換を計算し、クライアント機器でリアルタイム画像ワープ及び混合を適用する実施例を示す。 ４つのカメラの態様の実施例を示し、３６０°の全視野パノラマ画像を形成するように、２つの隣接するカメラの間にはオーバラップ視界が存在している。 ３６０°の全視野パノラマ画像のカプセル回転及び並進効果を示す。 ３６０°の全視野パノラマ画像の回転補償実施例を示す。

本明細書及び図面に説明または示されるように、本発明の要素は、様々の異なる態様を利用して設置及び設計されることは容易に理解される。そのため、図に示されるように、下記の本発明のシステム及び方法の具体的な実施例はのより詳細の説明は、特許請求の範囲の通り、本発明の範囲を限定するものではなく、本発明の選択される具体的な実施例を示すだけのものである。本明細書に参照される“１つの具体的な実施例”、“一つの具体的な実施例”、または似たような用語は、具体的な実施例と合わせて説明される特定の特徴、構造または特性を本発明の少なくとも一つの具体実施例に含ませることを意味する。従って、本明細書の全文に渡って様々な箇所にある“一つの実施例においては”または“一実施例においては”という用語は、必ずしも全部が同じ具体的な実施例を指しているものではない。

また、記載された特徴、構造または特性はいかなる適切な方法により、１つまたは多数の実施例に組み合わせられてもよい。当業者は、１つまたは多数の特定な詳細なしに、または他の方法や部材などにより、本発明は実施することができると認識している。他の実例において、本発明を紛らわしくさせないために、周知構造及び操作は詳細に表示または記載しない。本発明の図示された実施例は、全文に渡って似ている部材が似ている符号が割り当てられる図面を参照すればよく理解できる。下記説明は、単に例示であって、装置及び方法のある選択された実施例を簡単に説明するものであり、特許請求の範囲に記載の発明と一致している。

自律型カプセルカメラが人体消化管を通過し、画像を生成する過程において、通常は数万枚の画像を撮像する。それぞれの画像はカメラ光学装置の視界内のシーンに対応する。そのカプセルは前面カメラまたは側面カメラを有してもよい。どちらも、それぞれのカメラは消化管表面の非常に小さいエリアまたはセグメントに対応する。計算撮影の領域において、画像モザイキング技術は、小さい画像を大きい画像にステッチすることに発展している。上記の技術はコンシューマデジタルカメラに使用されることにより、ユーザはカメラを旋回させることによりパノラマ画像が撮像できる。パノラマ全自動構築は、Brown 及び Lowe により、Proceeding of Ninth IEEE International Conference on Computer Vision 第２巻１２１８〜１２２５ページ目の“Recognising Panoramas”という文献に開示されている。BrownとLoweは、回転及びスケール不変局所特徴に基づいた画像マッチング技術を使用してマッチする画像を選択し、確率モデルを利用して検証を行う。この方法は画像の順番、方向、スケール及び照度に敏感ではなく、ノイズを有する画像に対しても敏感ではない。画像アラインメント及びステッチの一般的な技術については、２００６年１２月１０日のMicrosoft Research Technical Report MSR-TR-2004-92、Szeliskiが記述した“Image Alignment and Stitching: A Tutorial”に見られる。

画像モザイキングのために、まず、画像間の対応の部分、オブジェクト、エリアを識別する。対応の部分、オブジェクト、エリアを識別した後、対応の部分、オブジェクト、エリアをアラインメントすることにより、画像をステッチする。両画像は画素ドメインにおいて直接マッチすることができ、また、画像基準の画像マッチングはダイレクトマッチングとも呼ばれる。しかしながら、これは非常に高密度の計算が伴う。代替的な手段として、特徴基準の画像マッチングが用いられる。画像毎に１セットの特徴ポイントを決定し、対応の特徴記述子を比較することによりマッチングを行う。特徴ポイントの数は、一般的には対応画像の画素の数よりはるかに少ない。これにより、特徴基準の画像マッチングの計算負荷は、実質的に画像基準の画像マッチングよりも少ない。しかしながら、ペアワイズのマッチングは依然として時間がかかる。一般的にはk-dツリーを用いてこのプロセスを加速させる。よって、特徴基準の画像マッチングは当分野において広く利用されている。それでも、特徴基準のマッチングはある種の画像に対して有効に機能することができない。この状況において、ダイレクトマッチングを予備モードとして利用し、または上記２つの方法の組み合わせを利用することが好ましい。

２つの画像において特徴ポイントを決定するとき、選択された基準における両セットの最適マッチングを識別することにより、両特徴セットをマッチングする。特徴ポイントは非平面のシーンにおけるある異なる特徴に対応する。このマッチングは、２つの画像の画像撮像期間において、シーンの中のオブジェクトの三次元幾何態様を考慮する必要がある。従って、この両セットの特徴ポイントは、二次元並進以上の数学モデルに基づいて行っている。この両セットの特徴ポイントを関連付けられる様々の変換モデルがある。１つは、回転及び並進に関連する剛体モデルが一般的に使われている。ｘ_ｉ（ｉ∈[１，ｍ]）とｙ_ｉ（ｉ∈[１，ｑ]）とをそれぞれ画像ＩＡとＩＢの特徴ポイントの３×１の列ベクトルに対応させる。ＸとＹとは、ｘ_ｉとｙ_ｉとをそれぞれの列ベクトルとする３×ｍの行列と３×ｑの行列である。特徴ポイントｙ_ｉは（Ｒｙ_ｊ（Ｐ）−ｔ）<->ｘ_ｉに基づいて、ｘ_ｉとマッチングし、ここで、Ｒは３×３の回転行列であり、ｔは３×１の並進ベクトル（translation vector）であり、Ｐはｍ×ｑの順序行列であり、ここで、ｘ_ｉとｙ_ｉとがマッチングした場合、ｐｉｊ＝１であり、そうではない場合には０である。Ｌ_２（平方）誤差測度を用いると、与えられた回転Ｒ、並進ｔ、及び順序Ｐに対するＬ_２誤差は：

３×ｑ行列ＴをＴ＝[ｔ，ｔ，…，ｔ]に定義すると、上記の式を

に書き換える。

全ての可能性のある回転及び順序に対して、式（２）における誤差測度を最小化にすることにより、当該両セットの特徴の間に最適のマッチングを求めることができるが、これにより克服し難い計算負荷が生ずる可能性がある。回転及び順序を同時に最適化する際の計算複雑性の問題を克服するために、最適化のプロセスを２つのサブ問題に分割し、２００７年１０月１４〜２１日、Proceedings of IEEE 11th International Conference on Computer Vision１〜８ページ目、Liなどが提出した“The 3D-3D Registration Problem Revisited”に記載された逐次法を利用して解を求めることができる。画像を与え、画像マッチングを適用することにより、対応性を求める順序ステップを簡略化できる。一般的には、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）と最小二乗法（ＬＭＳ）を利用して、最適変換を求める。

特徴基準の画像レジストレーションの回転モデルのほか、複数の画像の間の特徴ポイントの関係を説明する他の変換モデルがある。たとえば、２００６年１２月１０日、Microsoft Research Technical Report MSR-TR-2004-92の“Image Alinment and Stitching: A Tutorial”にて、Szeliskiにおいて、全ての画像に関連する回転及びカメラ焦点距離に関するモデルが開示していた。そして回転行列及び焦点距離アップデートは最適マッチングの特定に用いられる。ステッチ問題については、二次元画像座標のみを考慮する。２つの画像ポイントの間の変換は、下記の式を利用して計算することができる：

ここで、ｕ_ｉとｕ_ｊは、ｕ_ｉ＝[ｘ_ｉ，ｙ_ｉ，１]とｕ_ｊ＝[ｘ_ｊ，ｙ_ｊ，１]の同次座標である。Ｋは焦点距離及びその他のカメラパラメータを含む３×３カメラ内部行列である。Ｒ_ｉとＲ_ｊは各カメラの３×３回転行列である。Ｈ_ｉｊは２つの画像の間の３×３変換行列であり、ホモグラフィーとしられている。より一般的には、Ｈ_ｉｊは２つの未知数（並進）、４つの未知数（並進＋回転）、６つの未知数（アフィン）、または８つの未知数（投影）を有してもよい。一般的には、ホモグラフィーは２つの画像の間の線型変換を意味する。

カプセルカメラの応用において、一連の画像は消化管を通過する期間において収集される。対応の部分、オブジェクトまたはエリアを識別かつマッチングでき、また画像をステッチして閲覧用の大きい合成画像を形成することが望ましい。上記で説明した識別、マッチング及び画像をステッチする技術はカプセルカメラ応用に関するものである。しかしながら、カプセル画像においては、その状況は更に挑戦的である。まず、物体距離（消化管表面からカメラまで）は、通常非常に接近している。よく使われているアフィンカメラモデルは、カメラとの距離に比べて画像に見えるポイントセットの深度変化は小さい場合に有効なモデルである。カプセルカメラシステム環境において、内腔壁とカメラとの間の短い距離、及び折畳みまたは他の理由による内腔壁の凸凹により、アフィンカメラモデルを無効にしてしまう。その代わりとして、投影モデルのようなより複雑なモデルを考慮しなければならない。

距離の問題以外に、消化管の蠕動は、撮像された画像に顕著な動きをもたらす。このような局所的な変形は前記のような線型変換で処理できない。式（３）における変換行列Ｈ_ｉｊは非線型変換関数ｆ、すなわちｕ_ｉ＝ｆ（ｕ_ｊ）に置き換えられる。このような非線型変換関数は、シンプレート、放射基底関数などを含む。この問題を解決するには、非常に複雑な非線型最適化プロセスが伴う。一方、カプセル画像のフレーム再生速度は遅いため（数秒で一画面ないし一秒あたり数個の画面程度）、連続する画像間の動きは目立っていてもよい。画像マッチング研究の大部分は、シーンは一部の動きオブジェクトに対して静止状態を呈する。通常、オーバラップエリアに対して動くオブジェクトがカバーされたエリアは小さい。従って、一般的には、画像マッチングは、合理的パフォーマンスを許容するオーバラップ静止エリアを有する。一方、２つの連続するカプセル画像は、内腔壁の変形及びカメラの動きにより、２つの異なる内腔壁シーンに対応することがある。本発明にかかる一つの方法によれば、カプセル内の複数のカメラを利用してオーバラップ部分を有する複数のカプセル画像を同時に撮像し、カメラの信頼性を向上させる。２つの画像のオーバラップエリアは同時に撮像されたので、２つのオーバラップエリア間の相対運動が伴わない。従って、各タイムインスタンスにおいて、オーバラップエリアに対してより信頼性の高い剛体カメラモデルが導出されるので、複数のカメラのオーバラップエリア間の動きを配慮する必要はない。各タイムインスタンスにおいて大きな画像を合併すれば、異なるタイムフレーム間に、より多くのオーバラップエリアをステッチに用いられる。消化管の一部のセクションに対応する画像には少数の特徴が含まれていることが観察されている。本発明の一つの具体的な実施例において、画像特徴の導出は、画像の強度、階調度及び明暗情報に基づくものであってもよい。近傍フィールドの証明の校正も必要である。

図１Ａは、本発明一つの実施例にかかる例示的マルチカメラ配置を示している。レンズ１０１とレンズ１０２が、視界（ＦＯＶ）１１１及び１１２のそれぞれのシーンの画像センサの各部分に投影する。視界１１１と視界１１２には、オーバラップエリア１２０を有する。図１Ｂのように、レンズ１０１と１０２に対応するシーンを画像センサ１５１と１５２の各部分に投影させる。図１Ｂのように、オーバラップエリア１２０のシーンを画像センサ１５１のエリア１６１、及び画像センサ１５２のエリア１６２に投影させる。破線矢印１７１及び１７２はオーバラップエリア１２０の中央線を示す。レンズ１０１及び１０２はともに図１Ａに図示していないカプセルハウジング内に固定設置されている。これにより、この２つのレンズの相対位置及び方向を維持する。カプセル内のカメラの光学システムを校正し、この２つのレンズに適宜整合することができる。校正後、オーバラップエリアの中央線１３０を画像センサの既知位置１７１と１７２に投影させる。本発明の一配置によれば、位置１７１と１７２をオーバラップエリアの中央に対応させるように、画像センササブエリア１５１と１５２とを適宜位置決めてもよい。周辺表面とカメラとの間に異なる距離がある場合には、破線矢印１７１と１７２をオーバラップエリア１６１と１６２の中央線に位置させることができない。図１Ａに示されるマルチカメラ配置は、２つの独立視界に対応する２つの画像を合併されることにより、拡張された視界を提供できる。

各画像におけるオーバラップエリアは、カメラの姿勢位置により導出または制限される。また、カメラの姿勢パラメータを画像間の変換の初期化に用いられる。本発明の別の実施例において、カプセルの一側面は消化管に接触している。これにより、撮像表面は円柱の一部である。オーバラップエリアは２つの隣接するカメラのオーバラップ視界によって決定されてもよい。一つの具体的な実施例において、サブ画素まで画像マッチングを最適化してもよい。別の具体的な実施例において、カメラに保存された校正画像を使用して、マルチカメラのカメラ姿勢位置を導出してもよい。さらに別の具体的な実施例において、これらカメラ姿勢パラメータを画像間変換の制限に用いてもよい。

＜内部画像ステッチ＞
図２は、本開示に使用される一部の命名習慣を示している。画像Ｉ_ＡとＩ_Ｂは、それぞれ画像センササブエリア１５１と１５２で撮像した画像を示す。各画像が重ねていないエリア（Ｉ_ＡまたはＩ_Ｂ）とオーバラップエリア（Ｉ_Ａ”またはＩ_Ｂ”）から構成される。校正後、一定の精度でオーバラップエリアＩ_Ａ”とＩ_Ｂ”が決定される。従来のカメラシステムは一回で１つの画像（たとえば、Ｉ_Ａ”）しか撮像しない。画像マッチング、レジストレーション及びモザイキングは対応する画像序列Ｉ_Ａ”に基づき、また、ｊは画像序列のタイムインデックスである。本発明の一つの具体的な実施例が併合している例示的システムは、２つのオーバラップエリアに対応するサブ序列Ｉ_Ａｊ”とＩ_Ｂｊ”を含む２つの同時の序列Ｉ_ＡｊとＩ_Ｂｊを撮像する。

サブ序列Ｉ_Ａｊ”とＩ_Ｂｊ”は同じシーンに対応しているので、マッチング及びレジストレーションのプロセスに付加の制限条件が与えられる。例えば、タイムインスタンスｊにおいて、回転Ｒ_ＡＢｊ及び焦点距離ｆ_Ａｊとｆ_Ｂｊに基づいたカメラモデルを２つの画像Ｉ_Ａｊ”とＩ_Ｂｊ”間の画像マッチング及びレジストレーションに用いる。言い換えれば、これら２つの画像間の変換は、式（３）を用いて説明することができる。

従来のシステムでは、１つの序列しか撮像しない。特徴取出、画像マッチング及びレジストレーションはこの１つの序列に基づいて行われる。本発明の一つの具体的な実施例にかかるマルチカメラが併合していたシステムでは、単一の画像序列で従来の特徴取出、画像マッチング及びレジストレーションを行うことができる。また、複数の序列における既知オーバラップエリアを用いて、信頼性の改善及び／またはより早い演算法収束によりシステムパフォーマンスを改善することができる。Ｍ個のカメラ及びカメラ毎に撮像されたＮ個の画像がある場合、あわせてＮ×Ｍ個の画像がある。１つの選択は、制限なしで全セットの画像をステッチする。消化管の局所変形により、２つの画像間の全ての変換は非線型モデルが使用される。加速かつパフォーマンスを向上させるためのもう１つの選択は、ツーステップステッチを適用することである。各タイムインデックスは、異なるカメラからのＭ個の画像を有する。それらは同じ時間で撮像されたので、Ｍ個の画像のオーバラップエリアには、同じ内容が観察されているはずである。言い換えれば、このＭ個の画像間には局所的な変形がない。便宜上、これらＭ個のカメラにより同じ時間で撮像されたＭ個の画像を内部画像と呼ばれる。これにより、より簡単かつ早く解ける線型カメラモデルを利用してＭ個の画像をステッチすることができる。Ｎ個の構成画像は非線型カメラモデルでステッチすることができる。変換ミスを回避するために、１つの構成画像内のＭ個の内部画像に対して導出されたＨ行列は、マルチカメラの既知カメラ相対位置に一致する必要がある。精細化が必要である場合、カメラが保存したまたは他の方法で取得できる画像データを、マルチカメラの精度アブソリュートと相対位置の決定に用いる。

＜オーバラップエリアの画像融合＞
ユーザにとって、２つの独立した画像の代わりに、Ｉ_ＡｊとＩ_Ｂｊを使用してワイド画像を「構成（composing）」することにより、２つの視界に対応する２つの画像はより閲覧しやすい。図３は本発明の一つ具体的な実施例にかかる線型重み付けと線型視差調整を利用した画像融合の実施例を示している。カメラ光学機器は適宜校正されたので、二本の破線において、オーバラップエリアにおける２つのカメラシーンを特定の視角に整合したことができる。画像構成の簡単の方法は、破線１７１と１７２においての切り取り及びスライスにより達成される。しかしながら、種々の深度を有する周辺表面に対しては実現できない。それでも、シームレス画像合併されは２つのオーバラップエリアを“融合する”ことにより達成される。例えば、ラプラシアンピラミッド混合法及びグラディアントドメイン混合法といったより高度な融合／混合技術がある。基本的に、混合は異なる周波数領域にて発生する。更なる詳細は、２００６年１０月１０日、Microsoft Research Technical Report MSR-TR-2004-92、Szeliskiによる“Image Alignment and Stitching: A Tutorial”に記載される。

＜マルチカメラからの序列の画像ステッチ＞
カプセルカメラシステムは、消化管を通過する期間において数万枚の画像を撮ることができる。デジタル無線送信または内蔵ストレージのいずれかを有するカプセルシステムにおいて、医療専門家の分析及び検査のために、撮像された画像が再生される。閲覧の効率を向上させるためには、一般的には、撮像された画像がビデオ序列として連続再生される。再生期間に、診断医はできるだけ迅速かつ効率的にポリープ又はほかの注目ポイントを探し出すことができる。再生は制御可能なフレームレートにおいて実行でき、また閲覧時間を短縮するようにフレームレートを増加することが可能である。撮像された画像の数は膨大であるため、映像として画像を連続再生されても、全ての画像を閲覧するには時間がかかる。例えば、１秒当たり３０フレームで３０，０００個のビデオ序列となる画像を閲覧するには、中断なしに１６.６７分閲覧する必要がある。異常現象の可能性の精密検査のための一時停止、低フレーム再生及び逆サーチを考慮すると、検査を完了するには３０分またはそれ以上の時間がかかる。通常、典型的のカプセル画像は表示装置が支援できる解像度よりかなり低い解像度を有する。これにより、通常は、表示画面の一部しか利用されない。また、連続画像は通常、実質的なオーバラップエリアを有する。これにより、画像をビデオ序列に表示する方法の代わりとして、画像をステッチして、１つまたは複数の大きい合成画像を形成することができる。大きい合成画像は消化管内表面の断面図に対応する。もう一つの実施例において、ステッチ画像はトンネル像に形成される。医療専門家が消化管のいかなる異常現象または消化管の健康部分を迅速に識別できるように、高解像度表示装置にて大きい合成画像を表示させてもよい。合成画像サイズは表示装置の解像度より大きい場合には、合成画像を縮小表示してもよい。あるいは、一部の合成画像を表示し、かつ画像を移動させる操作を許容するユーザインターフェイスを提供してもよい。

画像ステッチ又は画像モザイキング技術はデジタル撮影分野において周知されている。画像ステッチまたは画像モザイキングプロセスには、１つのシーンをカバーし、画像間に常に適宜の画像アラインメントができるようにオーバラップエリアを有する１セットの画像が入力される。ステッチの前に、画像を整合またはマッチングする必要がある。直接（画像基準）アラインメント及び特徴基準のレジストレーションのいずれも利用可能である。一般的には、特徴基準のマッチングは必要計算量の削減に用いられる。この段階において、低計算負荷を維持するために、画像マッチングは、通常、独立してペアで行われる。しかしながら、独立マッチングは大きな全体的なアラインメント誤差を生じうる。全体的なアラインメント誤差を減少させるために、バンドル調整法と呼ばれるプロセスを全画像の姿勢パラメータの同時調整に適用される。バンドル調整の期間において、適宜アラインメントできない画像は削除され、画像合併される際の潜在的アーティファクトが緩和される。バンドル調整後、対となる画像は、ステッチまたは構成により大きい画像を形成する用意ができる。すべての画像の重ね合わせが完成した後、選択された複合表面及び閲覧に対して、最終の画像構成が行われる。続いて、適宜な重み付け及び混合を利用して、ソース画素が最終合成表面に対応付けられる。

消化管壁の焦点距離及び局所移動距離が相対的に短いため、デジタル撮影に比べ、カプセル画像の画像ステッチはより困難である。また、カプセルカメラが消化管を通過するとき、縦方向移動以外に、回転もする。図４Ａは、ツーカメラ側面視カプセル装置がカプセル回転を受けて撮像した画像の実施例を示しており、ここで、水平方向は消化管に沿った縦方向に対応する。カプセル回転により、撮像された画像は縦方向に垂直な方向に変位されている（即ち、上方変位または下方変位）。カプセル装置は消化管の蠕動により動かされているので、フレームからフレームへの移動量は一意にはならない。

従来の画像ステッチにおいて、全ての画像のペアのオーバラップエリアは、本質的に画像マッチング期間中において決定されている。基本的には、特徴取出及びマッチングは画像全体にわたって適用される。従って、大部分のマッチされた特徴ペアはオーバラップエリアに位置される。本発明にかかるシステムでは、全ての画像のペアにおけるオーバラップエリアは動き情報に基づき決定される。運動推定技術は当分野においては周知されている。ブロック運動推定及びオプティカルフロー運動推定を各画像のペアにおけるオーバラップエリアの決定に用いられる。運動推定は大量な計算が伴うとしても、本発明に係るシステムは、高効率の画像圧縮を達成するために、すでに運動推定が使用されていてもよい。これにより、運動推定を画像ペアのオーバラップエリアに用いることには、別途の計算は必要ない。運動推定を画像ステッチに用いる目的は、オーバラップエリアの決定にある。そこで、この目的のために、グローバル運動ベクトルは十分である。従って、必要な運動推定のタイプはグローバル運動推定である。局所運動推定を使用すると、局所運動ベクトルまたは動きフィールドを処理することにより、グローバル運動ベクトルを導出する。たとえば、グローバル運動ベクトルとして、ドミナント運動ベクトルを選択してもよい。画像ペアにてオーバラップエリアを識別し、特徴基準または画像基準の画像マッチングをオーバラップエリアに適用することにより、画像マッチングのプロセスを加速させる。

カプセルが消化管を通過するとき傾斜することもある。カプセル傾斜は、撮像された画像を縦方向に対して回転させる。図４Ｂは、カメラ傾斜による画像回転の実施例を示している。運動推定技術は大半並進モデルと想定し、画像の回転を考慮しない。カプセル傾斜角を決定するために、選択された運動推定技術は、画像回転を制御できるものである。或いは、特徴基準の画像マッチングは、通常、画像マッチングモデルに回転行列を含ませているので、画像マッチングの間に、画像の回転を固有に扱える。三次元カプセル運動を決定するように、カプセル装置は、ジャイロスコープ、加速計、または電子コンパスを備えてもよい。この場合では、カプセル傾斜及び／または移動パラメータを読み出し、画像ステッチに用いてもよい。図４Ａ及び図４Ｂにおいて、二回の撮像された画像が融合され、ワイド画像が形成される。他の構成では、２つの対応するカメラが、２つの独立した画像序列を形成することができる。個々の画像序列にて先に画像ステッチを行ってもよい。続いて２つのステッチした合成画像を融合しワイドのステッチした合成画像を形成する。１つの代替解決案として、タイムインスタンス毎に２つのカメラからの２つの画像をステッチする。２つの内部画像を撮像するときのシーンに変動が生じていないので、この案は更に容易である。続いて、ワイドのステッチした画像序列に画像ステッチを行う。

カプセルカメラ環境において、照明光源がカプセルシステムにより提供されて制御される。これにより、光条件は既知である。本発明の一つの具体的な実施例において、画像の光条件は保存される。照明情報は、画像ステッチ期間において取り出されて照明変化の補償に用いられる。

ステッチ用の画像は、１つの期間に亘って撮影される。この期間内において、オブジェクト動きがあってもよい。合成画像の各エリアは、画像ステッチの期間において、その対応性が複数の画像から求められる。デジタル撮影に用いられる従来画像ステッチにおいて最終合成画像を獲得するように、これらの対応エリアが混合される。画像の中の動きと、平均、中央数フィルタまたは重み付け合計に基づく画像混合により、ブレ（またはダブル画像）は生じてしまう。デジタル撮影に適用するブレがない合成画像を生成するために、この分野においてすでに種々の先行画像混合技術が開発されている。例えば、２００６年１２月１０日、Microsoft Research Technical Report MSR-TR-2004-92、Szeliskiによる“Image Alinment and Stitching: A Tutorial”に提出されるp-norm、Vornoi、weighted ROD vertex conver with feathering、graph cut seams with Poisson、ラプラシアンピラミッド混合法、グラディアントドメイン混合法などの画像混合技術。一般的には、これらの先行混合技術は特定の規則に基づき、１つの画像から混合に用いる１つ又は複数の画素を選択する。これらの画像混合技術はブレない合成画像を生成できるが、合成画像において一部のオブジェクトと局所変形は可視でない場合は多い。カプセル画像応用は、ブレているまたは欠けているオブジェクトを許容できない。これらの問題を克服するために、本発明にかかるシステムは合成画像に対して時空間を用いて表示しており、これにより縫い合わされたシーンの時間変化の本質が説明される。

消化管の特性を考慮すれば、本発明の一つの実施例において、撮像された画像は、フレキシブルスペクトル撮像カラー強化などのカラー空間変換を応用して前処理される。これにより画像特徴可視性及びステッチパフォーマンスが改善される。

便通の性質を一定させ、カプセルは一箇所に一定の時間で停止し、同じシーンの複数の画像を撮像することができる。本発明の一つの実施例において、隣接する画像の差分を余分の画像を取り除くことに利用できる。照明変化及びグラディアント情報を隣接する画像の差分を評価することに利用することも考えられる。これにより、画像序列のサイズ及び読み込み時間を実質的に縮小することができる。

＜時空間表示＞
本発明の一つの実施例において、時空間表示は、ユーザが選択したタイムインスタンス毎に静止状態合成画像を表示する。例えば、タイムインデックス１において、全て単独の画像は第一の画像座標上でワープされる。第一の画像を基準とし、第一の画像により撮像された局所変形は第一の合成画像に表示される。いずれのタイムインスタンスにおいても、スクロールバーを利用してユーザが時空間画像を閲覧することができる。タイムインデックスｉまでにバーをスクロールすることにより、ｉ番目の画像座標に全ての単独画像がワープされている新しい合成画像が画面に表示される。これにより、ｉ番目の画像により撮像される局所変形を観察できる。スクロールポインタの位置に関係なく、現在タイムインデックスの局所変形は画面に表示され、他の画像もワープされかつ現在時間に適応される。

消化管中の一部の清潔でないセクションについて、例えば、食べ物の残りかすは画像に表れる。これは、診断の観点においては役に立たないが、有意義な画像特徴を提供ことはできる。本発明の一つの実施例において、カラー及びパターン分析をステッチの前に適用し、画像からそれらのエリアを取り除く。同じ技術は、気泡または水泡を有するセッションの取り除きにも適用される。機械学習アルゴリズムはそれらの不要な画像エリアの検出に適用される。

著しい画像変化及びグラディアント特徴を有しない一部の消化管のセクションについて、明暗情報が表面深度の概略推定に用いられる。この方法を利用して推定された深度マップから、表面下の腫瘍などの病理特徴を検出できる。本発明の一つの実施例において、このような病理特徴が検出されると、データ漏れを回避するように、２つの画像を単純にスタックする。２つの画像のスタック以外に、病理特徴が現れていなければ、１つの画像をもう１つの画像に重ねることにより、ストレージ及び読み込み時間を節約できる。上記方法により、連続時空間表示を生成できる。

本発明の一つの実施例において、図５のように、画像５０１〜５０４はｔ−２〜ｔ＋１から撮像されたワープ画像に対応する。ユーザがワープ前のオリジナル画像５０５〜５０８を閲覧することを選択できる。カメラの数は１であると、オリジナル画像は最初に撮像された画像であってもよい。そうでない場合では、オリジナル画像は、マルチカメラが撮像した内部画像の構成画像を意味する。本発明の一つの具体的な実施例にかかるユーザインターフェイスは、画像５０１〜５０４に対応する構成画像を表示する。ユーザは構成画像のいずれのセクションをクリックしたら、関連する全てのオリジナル画像５０５〜５０８は表示される。

図６は、ユーザが時間ｔからｔ−１まで（巻き戻し）閲覧中の、本発明の一つの具体的な実施例にかかる時空間表示実施例の合成画像を示している。図６では、水平スクロールの実施例を示しているが、垂直スクロールでも実施できる。ユーザが画像序列にわたってスクロールすることを許容するスクロールバー６３０が提供される。画像６０４は、時間ｔにて撮像された単一撮像画像またはマルチカメラが撮像した合成画像を示す。領域６０３は時間ｔにおける局所変形を示す。合成画像６０９は、ｔ−４からｔ＋３までに撮像された全ての隣接画像に対応する。図６のように、表示ウィンドウ６２０に合成画像を表示させる。ユーザは隣接画像の数をカスタマイズできる。時間ｔの画像６０４を基準として用いることにより、全ての隣接画像をワープする。時間ｔにて最初に撮像された画像（即ち画像６０６と領域６０５）に対応するワープ画像６０２とワープ局所変形領域６０１は、図６における時間ｔにてそれらが現れるべき位置に表示される。ユーザがツールバーを時間ｔ−１に巻き戻したとき、他の合成画像６１０は表示される。この画像において、画像６０６を基準に、すべての隣接画像がワープされる。画像領域６０５は、時間ｔ−１にて撮像された局所変形を示す。時間ｔにて最初に撮像された画像（即ち画像６０４と領域６０３）に対応するワープ画像６０８とワープ局所変形領域６０７は、図６における時間ｔ−１にてそれらが現れるべき位置に表示される。

図６に示す実施例において、動的方式で画像ステッチを行う。全ての局所的動きのあるセクションは、特定の周期の異なるタイムインスタンスについて画像をステッチする。消化管内のカプセル装置の移動は遅いので、全てのセクションは複数の連続画像間のオーバラップエリアに対応できる。これにより、局所的動きのあるセクションの時空間表示を示すことができる。

本発明の別の実施例において、時空間表示は静止状態の合成画像を順番に映像に表示する。例えば、本発明の一つの具体的な実施例は、時間ｔにて合成画像６０９に対応する静止画像を表示する代わりに、ｔ−４〜ｔ＋３で撮像した画像を基準として使用し、一連の合成画像からの単独画像を表示する。これにより、ユーザはマニュアルで繰り返しスクロールする必要はない。ユーザは、当該系列の単独画像（例えば、ｔ−４〜ｔ＋３）のタイムウィンドウを表示することを選択できる。空間−時間の視覚効果をより改善させるように、隣接変形を含む映像を表示する。ステッチした画像の連続でスムーズな動きは、自然便通に類似している。ステッチ画像を生成するプロセスは、従来のカプセル映像によく知られるカメラ動きに関連するジャーキネス（JERKINESS）を減少させる。

本発明の一つの実施例において、ユーザは、時空間全体を閲覧する際に、ステップを特定することができる。例えば、図６のように、現在表示ウィンドウは、タイムインデックスｔ−４〜ｔ＋３の合成画像又は合成映像についての一連の隣接画像を表示する。ステッピングフォワードの際に、ｔ＋３から開始してｔ−４までの単一フレームにおけるステッピングの代わりに、ステッピングはｔ−４〜ｔ＋３の期間と重ねた次の期間に前進してもよい。例えば、ステッピングはｔ〜ｔ＋８から次の期間へ移行してもよい。これにより、２つの表示セグメントに亘る境界情報をロストせずに、読み込み時間を短縮することができる。

本発明の一つの実施例において、各フレームを順に基準として合成画像を表示することの代わりに、ユーザはキーフレームを選択して基準としてもよい。キーフレームを選択する一つの選択肢は、自然便通に基づくものである。図７に示されたフレームｔｉ＋１、ｔｉ＋４及びｔｉ＋７のように、消化管の最大収縮と最大弛緩をキーイベントとされることもよい。光源変化を考慮することにより、このようなキーイベントの検出を実現することができる。これにより、光源変化を追跡できる。照明条件を一定に維持するように、カプセルからの照明は自動的に調整される。消化管が収縮すると、カプセルは壁部に接近し、必要とする照明は少ない。一方、消化管が弛緩すると、カプセルは壁部から離れ、良好な画像品質に必要な照明は多い。周囲組織の反射モデル（例えば、ランバート面）を選択することにより、画像強度と、入力ニアフィールド照明強度と、光源と壁面との間の距離との関連性は、次の式により説明される

ここで、Ｉは画像強度であり、

は表面光輝度を画像強度にマッピングしたカメラ応答関数であり、ρは表面の反射プロパティを示す表面アルベド（surface albedo）である。光源をＶ個に仮定し、トータル表面輝度はすべての光源の寄与の合計である。

はｉ番目の光源の強度／強さであり、

は表面法線であり、

は光源と表面シーンポイントとの間の距離である。光源調整後の光源の方向は変更がなければ、入力光と表面法線とがなす角度が一定に維持される。距離が離れるほど、表面輝度は暗く、より照明が必要となる。照明変化を追跡することにより、消化管の収縮と弛緩を検出することができる。これにより、観察された最大及び最小の照明に対応するフレームをキーフレームとして使用することができる。事前に外的要素の影響、特に排泄物要素を取り除くことにより、光強度／画像強度の計算への影響を回避する。異なるカラーの比率及び／または他の手段により排泄物要素を識別することができる。このようなキーフレームの検出は上記方法に限られたものではない。例えば、機械学習方法を異なる排泄パターンの検出に用いることができる。上記時空間表示は読み込み時間を短縮し、かつより簡易な方式で消化管を表示する。

本発明のもう一つの実施形態において、異なる角度からの視界はユーザに異なる情報を与えることができるので、便通のキーフレームに利用する代わりに、カプセルの回転角度を使用してキーイベントを示す。隣接画像と校正後のカメラ内部行列Ｋとの間の計算された変換Ｈが与えられ、式（３）に基づいて隣接画像間の回転角度を推定する。図８のように、ユーザが自動またはマニュアルで基準とする画像を選択することにより、これらの回転角度を幾つかの種類に分類できる。画像ｔｉ及びｔｉ＋２はグループ１に属し、画像ｔｉ＋１、ｔｉ＋５、ｔｉ＋６、ｔｉ＋８及びｔｉ＋９はグループ２に属し、画像ｔｉ＋３、ｔｉ＋４及びｔｉ＋７はグループ３に属する。各グループは１つのフレームを選択してキーフレームとすることができる。また、これら全てのフレームはタイムウィンドウから選択することができ、そのサイズはユーザが予め定義または選択する。

図９に示された本発明の一つの実施例において、腸管状態９０１は便通の弛緩から収縮までの中間状態を示している。腸管状態９０２（太線円形）は消化管の収縮を示す。腸管状態９０３（破線円形）は、便通の収縮から弛緩までの中間状態を示す。腸管状態９０４（破線円形）は、消化管の弛緩を示す。便通は、幾つかのフェーズに分類されることができる。例えば、フェーズＩは収縮（９０２）を示し、フェーズＩＩは弛緩（９０４）を示し、フェーズＩＩＩはニュートラル状態（９０１及び９０３）を示す。時間ｔｉで腸管状態９０１に対応する画像ｔｉが撮像される。時間ｔｉ＋ｑ１で腸管状態９０２に対応する画像ｔｉ＋ｑ１が撮像される。時間ｔｉ＋ｑ２で腸管状態９０３に対応する画像ｔｉ＋ｑ２が撮像される。時間ｔｉ＋ｑ３で腸管状態９０４に対応する画像ｔｉ＋ｑ３が撮像される。１秒あたりに画像の撮像は数回行われる。従って、このｔｉ〜ｔｉ＋ｑのタイムウィンドウにおいて、カプセルの進行は少ない。蠕動フェーズに基づいて画像をグループに分けられると、たとえグループごとの画像は時間方向に沿って連続していなくても、十分に重ねることができる。上記のようにこのｔｉ〜ｔｉ＋ｑのタイムウィンドウにおけるすべての画像をステッチに利用することではなく、各グループ／フェーズのいずれにおいても画像のステッチを行うことができる。タイムウィンドウ全体は少数の異なるフェーズの少数のステッチ画像だけを表示すればよい。フェーズ数はどのぐらいの詳細なフェーズ変化が表示させるのかを反映しており、これはユーザによって決定される。これにより、異なるフェーズ間の大きな変形によるゴースト効果を有するステッチ画像を回避することができる。

図１０に示される本発明の別の実施例において、キー画像１００１〜１００３は、カプセル回転により異なる角度から撮像された３つの画像に対応する。正常の撮像回数では、このｔｉ〜ｔｉ＋ｑのタイムウィンドウにおけるカプセルの進行は少ない。異なる角度に基づいて画像をグループ分けすると、たとえグループ毎の画像は時間方向に沿って連続していなくても、十分に重ねることができる。上記のようにこのｔｉ〜ｔｉ＋ｑのタイムウィンドウにおけるすべての画像をステッチに利用することではなく、各グループ／角度の画像のみのステッチを行う。タイムウィンドウ全体に対して、異なる３つの角度は、異なる３つのステッチ画像だけを必要とする。角度の数はどのぐらいの詳細な角度変化を表示させるのかを反映しており、これはユーザによって決定される。隣接画像間の角度の基準画像は、ユーザで決定してもよい。これにより、異なる閲覧方向間の大きな曖昧さによるゴースト効果を有するステッチ画像を回避することができる。

図１１は、本発明の別の具体的な実施例を示している。腸管状態１１０１は便通の弛緩から収縮までの中間状態を示す。腸管状態１１０２（太線円形）は消化管の収縮を示す。腸管状態１１０３（破線円形）は便通の収縮から弛緩までの中間状態を示す。腸管状態１１０４（太破線円形）は消化管の弛緩を示す。便通を幾つかのフェーズに分類することができる。例えば、フェーズＩは収縮１１０２を示し、フェーズＩＩは弛緩１３０４を示し、フェーズＩＩＩはニュートラル状態（１１０１及び１１０３）を示す。時間ｔｉで腸管状態１１０１に対応する画像ｔｉが撮像される。時間ｔｉ＋ｑ１で腸管状態１１０２に対応する画像ｔｉ＋ｑ１が撮像される。同様に、時間ｔｉ＋ｑ２と時間ｔｉ＋ｑ３で、それぞれ腸管状態１１０３と１１０４に対応する画像ｔｉ＋ｑ２とｔｉ＋ｑ３が撮像される。時間ｔｉ＋ｑｍ＋１で腸管状態１１０５に対応する画像ｔｉ＋ｑｍ＋１が撮像される。時間ｔｉ＋ｑｍ＋２で腸管状態１１０６に対応する画像ｔｉ＋ｑｍ＋２が撮像される。時間ｔｉ＋ｑｍ＋３で腸管状態１１０７に対応する画像ｔｉ＋ｑｍ＋３が撮像される。ｔｉ＋ｑｍ＋１〜ｔｉ＋ｑｍ＋３において、その原因は、例えば破損画像、遮蔽などの原因で、カプセルはフェーズＩとＩＩＩに関連する画像しか撮像しない。これにより、フェーズＩＩに関連する画像のステッチが行われているとき、ｔｉ＋ｑｍ＋１〜ｔｉ＋ｑｍ＋３にギャップが生ずる。２つの隣接するフェーズＩＩ画像の間にオーバラップが生成できないほどギャップが大きくなる場合、ステッチした画像を２つに分けて表示する。

図１２に示される本発明の別の実施例において、キー画像１２０１〜１２０３はカプセルの回転により異なる角度から撮像された３つの画像に対応する。正常の撮像回数では、ｔｉ〜ｔｉ＋ｑのタイムウィンドウにおけてカプセルはあまり進行しない。異なる角度に基づいて画像をグループに分けられると、たとえグループ毎の画像は時間方向に沿って連続していなくても、十分に重ねることができる。この状況において、カプセルが進行中で１８０°で回転することは少ないので、ｔｉ〜ｔｉ＋ｑのタイムウィンドウから２つの角度グループに対応する画像だけを撮像する。画像１２０４と１２０６は、画像１２０３と同じグループに属する。画像１２０５は、画像１２０２と同じグループに属する。従って、画像１２０１が属するグループの画像ステッチが行われる際に、ｔｉ＋ｑｍ＋１〜ｔｉ＋ｑｍ＋３にギャップが生ずる。本発明にかかる一つの実施例において、このグループにおける２つの画像の間にオーバラップが生成できないほどギャップが大きくなると、ステッチした画像を２つに分けて表示する。

本発明の一つの実施例において、画像をグループに分けられる前に、角度またはフェーズに基づいて画像マッチングを適用する。グループ境界に位置する画像は、各グループにおける隣接画像とマッチングされる。この画像をベストマッチのグループに割り当てる。

本発明の一つの実施例において、統計情報は画像のグループ分けに用いられる。タイムウィンドウ（図９〜１２に示すｔｉ〜ｔｉ＋ｑ）内に、画像フェーズと角度の統計分布を計算する。統計資料に基づいて、局所最大数（number of local maximum）を画像のグループ分けに用いられることができる。ステッチした画像は、最初に撮像された角度またはフェーズに対応する最適表示を提供する。

本発明の一つの実施例において、一回に局所変形を有するセクションを表示する。例えば、ブロックＡ、Ｂ、Ｃ、Ｄ、及びＥは、図１３Ａに示される画像序列の異なる時間セクションにおける異なる局所変形を示す。セグメントＡはｔ_ｉ〜ｔ_ｉ＋２に発生する変形に対応し、セグメントＢはｔ_ｉ＋２〜ｔ_ｉ＋１２に発生する変形に対応し、セグメントＣはｔ_ｉ＋１２〜ｔ_ｉ＋１５に発生する変形に対応し、セグメントＤはｔ_ｉ＋１５〜ｔ_ｉ＋２２に発生する変形に対応し、セグメントＥはｔ_ｉ＋２２〜ｔ_ｉ＋２９に発生する変形に対応する。最長の変形は１０秒を継続したＢである。しかしながら、全ての局所変形を観察するように、ユーザは２９秒を使う必要がある。これらのセグメントの画像総数が膨大である場合には、これらのセグメントに関連する局所変形を動画化すると、長時間がかかる可能性がある。動的表示を加速させるために、局所変形のセグメントを複数のグループに分けて、各グループは図１３Ａに示されるような変形から構成される。例えば、セグメントＡは消化管の収縮を示し、セグメントＢは消化管の弛緩を示す。これは、これらのセグメント内の合成画像に局所変形検知及び分割を適用することにより達成される。図１３Ｂに示すように、グループを動作中に表示させることができ、かつ一回に各グループに関連するセグメントを再生することができる。分割の直後にセグメントＡ、Ｂ、Ｃ、Ｄ、Ｅの表示を開始させることができる。図１３Ｂのように、セグメントＡのような短いセクションの表示は複数回繰り返せる。従って、必要とする表示時間を実質的に短縮することができる。図１３Ｂの実施例は、表示時間を２９秒から１０秒に短縮したケースを示す。隣接するグループに亘った境界の混合をスムーズな表示の確保に適用することができる。

図１４Ａのように、本発明の一つの実施例において、クラウドベース計算をローカル機器の計算負荷の軽減に用いることができる。カプセルが取り出されると、撮像された全ての画像をクラウドにアップロードできる。特徴の検出、画像対応性及び変換の計算、及び画像ワープと混合などの全ての計算はクラウドにて実現される。そして、ステッチした大きい画像から構成された前計算された複数のビデオストリームを、ローカル機器にダウンロードして表示させる。オリジナル映像のサイズと比べて、新しい映像のすべてのフレームはｕ×ｖ個のオリジナル映像からなる合成画像に対応しており、ここで、ｕは各カメラが撮像したフレームの数であり、ｖはカメラの数である。従って、新しい映像は大容量のストレージスペース及び／または長いダウンロード時間が必要である。この問題を解決するために、クラウドでは画像間の変換しか計算しない。図１４Ｂのように、各合成画像の混合及び最終描画はローカル機器にて行われる。

＜４つのカメラを使用する３６０°全視界パノラマカプセルへの拡張＞
図１Ａはオーバラップ視界を有する２つのカメラの実施例を示している。本発明の一実施例において、図１５のように、４つのカメラを使用する。この４つのカメラは、２つの隣接するカメラの視界中心が実質的に９０°で分離するように配置されている。この４つのカメラの４つのレンズ（１５０１〜１５０４）は、それぞれの視界１５１１〜１５１４を有する。２つの隣接する視界はオーバラップエリア１５３１〜１５３４を有する。この４つのカメラは、統合された３６０°の視界をカバーするように配置されている。

本システムは、同時に４つのカメラから画像を撮像するように配置されている。オーバラップエリアにおけるシーンは２つの隣接するカメラにより同時に撮像される。前述のように、内部画像基準の姿勢推定を姿勢推定の精確さの改善に用いられることができる。４つの視界が包囲されており、かつ４つのレンズの間には４つのオーバラップエリアが存在している。４つの視界が３６０°をカバーする事実を含むように内部画像基準の姿勢推定を拡張してもよい。例えば、レンズ１５０１と１５０２に関連するカメラに対して、１５０３におけるオーバラップに関連する画像を用いて姿勢推定を補助する。レンズ１５０２と１５０３に関連するカメラに対して、１５０２におけるオーバラップに関連する画像を用いて姿勢推定を補助する。レンズ１５０３と１５０４に関連するカメラに対して、１５３３におけるオーバラップに関連する画像を用いて姿勢推定を補助する。また、レンズ１５０４と１５０１に関連するカメラに対して、１５３４におけるオーバラップに関連する画像を用いて姿勢推定を補助する。一連の内部画像基準の姿勢推定はサークルを形成する。レンズ１５０１の関連画像基準の姿勢推定と循環チェーン基準の姿勢推定との間に何らかの矛盾があった場合には、誤差は他の循環チェーンを介して姿勢推定を繰り返して調整されることができる。

カプセルは、消化管を通過する際に回転する。カプセル回転の影響により、撮像される画像は、図４Ａのように、上方および下方へ移動する。３６０°全視界パノラマカプセルについて、４つのカメラからの組み合わせたワイド画像は全視界パノラマ画像に対応する。図１６Ａのように、カプセルの回転時に、撮像された画像は垂直方向に沿って円周方向に変位する。遮蔽エリアは２つのカメラ間の融合エリアに対応する。全視界パノラマ画像は４つの融合エリアを有する。それでも、便宜上、各画像には１つの融合エリアのみ表示する。カプセル回転は運動推定により検出される。破線は第一の画像の相対画像エッジを示す。本発明の一つの実施例において、グローバル運動推定をカメラの回転量の決定に用い、かつこの回転が補償されることができる。図１６Ｂは、回転が補償された画像の実施例を示している。カメラの回転を決定するように、カプセル装置には、ジャイロスコープ、加速計、または電気コンパスが配されてもよい。カプセル回転情報は装置から読み出されて回転補償に用いられる。

本発明は、精神及び本質特徴を離脱しない範囲で他の特定の形式で具体化することができる。説明された例は説明するためのものであり、制限ではないと考えるべきである。そのため、本発明の範囲は、前述の説明ではなく、特許請求の範囲に示される。請求の範囲に均等の意味及び範囲内の変化はその範囲に含まれる。

１０１，１０２ レンズ
１５１，１５２ 画像センサ

Claims (34)

1. カプセルハウジング内に固定配置されており、任意の２つの隣接しているカメラの間にオーバラップ視界（ＦＯＶ）を有する複数のカメラを含むカプセル装置を用いて撮像した人体消化管（ＧＩ）の画像を表示する方法であって、
   前記複数のカメラが撮像した複数の画像序列を別々に受信するステップであって、前記複数の画像序列は内部画像の複数セットを含み、ｉセット目の内部画像はタイムインデックスｉにおいて複数のカメラが撮像した同時画像に対応するステップと、
   異なるタイムインスタンスに対応する前記内部画像の複数セットをステッチして合成画像を生成するステップと、
   表示装置に前記合成画像を表示させるステップとを含む、方法。
2. 画像序列における各カメラに対応する画像メンバーをステッチして部分合成画像を生成してから、前記複数のカメラに対応する前記部分合成画像を融合させ、前記合成画像を生成する、請求項１に記載の方法。
3. 内部画像の各セットの画像メンバーを融合させてワイド画像を形成してから、複数のワイド画像に基づいて前記合成画像を形成し、
   それぞれのワイド画像は内部画像の１つのセットに対応する、請求項１に記載の方法。
4. 前記複数の画像序列における隣接画像間の差分を用いて余分画像を決定し、前記余分画像を前記内部画像の複数セットの前記ステッチから取り除く、請求項１に記載の方法。
5. 前記隣接画像の照明変化及びグラディアント情報を、前記隣接画像間の差分の決定の評価に用いる、請求項４に記載の方法。
6. １つの画像序列内の２つの隣接画像の特徴を検出し、
   前記２つの隣接画像の特徴が異なる場合、前記内部画像の複数セットのステッチは、２つの隣接画像のうち少なくとも１つを除外する、請求項１に記載の方法。
7. 前記２つの隣接画像の特徴は異なる場合、前記２つの隣接画像を表示装置の異なる表示エリアに表示する、請求項６に記載の方法。
8. カメラ傾斜パラメータ、カメラ回転パラメータ、またはカメラ運動パラメータを前記内部画像の複数セットの前記ステッチの補助に用いる、請求項１に記載の方法。
9. 運動推定に基づいて、前記カメラ傾斜パラメータ、カメラ回転パラメータ、またはカメラ運動パラメータを決定する、請求項８に記載の方法。
10. 前記カメラ傾斜パラメータ、カメラ回転パラメータ、またはカメラ運動パラメータを、前記カメラ装置に搭載されたジャイロスコープ、加速計、または電気コンパスにより決定する、請求項８に記載の方法。
11. 前記内部画像の複数セットのステッチは、前記カプセル装置から取得された照明状態に関連する照明状態を使用して、前記複数の画像序列の照明変化を補償する、請求項１に記載の方法。
12. 気泡または水泡を含む画像エリアを、前記内部画像の複数セットのステッチから取り除く、請求項１に記載の方法。
13. 選択されたタイムインデックスの前記内部画像のセットに基づいて前記複数の画像序列の内部画像の複数セットをワープして、前記選択されたタイムインデックスの前記内部画像のセットに対するワープされた内部画像の複数セットを生成するステップをさらに含み、
    前記合成画像の生成は前記選択されたタイムインデックスのために行われ、
    前記内部画像の複数セットのステッチは、前記選択されたタイムインデックスに対応する前記内部画像のセットに対するワープされた内部画像の複数セットに基づいて行われ、
    前記合成画像の表示は前記選択されたインデックスのために前記合成画像の表示に対応する、請求項１に記載の方法。
14. 前記選択されたタイムインデックスは、ユーザインターフェイスを介してユーザにより選択される、請求項１３に記載の方法。
15. 前記選択されたタイムインデックスの前記内部画像のセットに基づいた前記複数の画像序列の内部画像の複数セットのワープ、及び前記選択されたタイムインデックスのための前記合成画像の表示は、選択されたタイムインデックス毎に、タイムインデックスの範囲内に実行される、請求項１３に記載の方法。
16. 前記タイムインデックスの範囲は、ユーザインターフェイスを介してユーザにより選択される、請求項１５に記載の方法。
17. 前記複数の画像序列の内部画像の複数セットの前記ワープ、または前記ワープされた内部画像の複数セットのステッチのために、前記複数の画像序列に関連する画像特徴を抽出する、請求項１３に記載の方法。
18. 強度、グラディアントまたは画像の遮蔽情報に基づいて、前記複数の画像序列に関連する前記画像特徴を抽出する、請求項１７に記載の方法。
19. 前記複数の画像序列にカラー変換を用いて、前記画像特徴の可視性を強調する、請求項１７に記載の方法。
20. 変換モデル、及び前記変換モデルの初期化に用いられる前記複数のカメラに関連するカメラ姿勢パラメータに基づいて、内部画像の１つのセットの２つの隣接画像に関連する画像特徴間の特徴マッチングを行う、請求項１７に記載の方法。
21. 前記カプセル装置に保存された校正画像を使用し、前記複数のカメラに関連するカメラ姿勢パラメータを導出し、導出された前記カメラ姿勢パラメータを前記カプセル装置に保存する、請求項２０に記載の方法。
22. 前記画像特徴に基づいて画像マッチングを加速させるために、１つの画像序列内の２つの隣接画像の間のオーバラップエリアを特定し、運動推定を用いて前記オーバラップエリアを決定する、請求項１７に記載の方法。
23. グローバル運動推定を用いて前記オーバラップエリアを決定する、請求項２２に記載の方法。
24. カプセルカメラを利用し、撮像した人体消化管（ＧＩ）の画像表示の方法であって、
    前記カメラにより撮像された画像序列を受信するステップと、
    前記画像序列の各画像に関連する画像特性により、前記画像序列からキー画像セットを選択するステップと、
    １つのキー画像に基づいて前記画像序列内の画像をワープし、前記１つのキー画像についてワープ画像を生成するステップと、
    前記１つのキー画像について前記ワープ画像に基づいて、前記１つのキー画像に関連する合成画像を生成するステップと、
    前記１つのキー画像のための前記合成画像を表示するステップと
    を含む、方法。
25. 前記画像特性に基づいて、前記画像序列内の前記画像を複数のグループに分割する、請求項２４に記載の方法。
26. 前記複数のグループの各グループから１つのキー画像を選択する、請求項２５に記載の方法。
27. 前記１つのキー画像による同一グループ内の画像のワープ画像に基づいて、前記１つのキー画像に関連する前記合成画像を生成する、請求項２６に記載の方法。
28. 同じグループの画像にギャップが存在する場合には、前記１つのキー画像に関連する合成画像は２つの部分に分割されて表示され、
    前記２つの部分は、同じ画像内のギャップの両側の画像に対応する、請求項２７に記載の方法。
29. 前記画像特性は、前記画像序列の各画像に関連する蠕動のフェーズに対応する、請求項２４に記載の方法。
30. 各画像に関連する前記蠕動のフェーズは、カメラからの照明強度及び各画像の画像強度により決定される、請求項２９に記載の方法。
31. 各画像に関連する前記蠕動のフェーズを、機械学習を用いて決定する、請求項２９に記載の方法。
32. 前記画像特性は、前記画像序列内の各画像に関連するカプセルの回転角度に対応する、請求項２４に記載の方法。
33. 前記カプセルの回転角度を、隣接画像に基づいた運動推定を用いて決定する、請求項３２に記載の方法。
34. 前記カプセルの回転角度は、前記カプセルカメラに搭載されたジャイロスコープ、加速計、または電気コンパスにより決定される、請求項３２に記載の方法。

Images