JP2022516472A - 部分的深度マップからの合成３次元撮像の発生 - Google Patents

Abstract

部分的深度マップからの合成３次元撮像の発生が、提供される。種々の実施形態において、解剖学的構造の画像が、カメラから受信される。画像に対応する深度マップが、カメラの一部またはカメラと別個であり得る深度センサから受信される。解剖学的構造に対応する予備的な点群が、深度マップおよび画像に基づいて発生させられる。予備的な点群は、解剖学的構造のモデルと位置合わせされる。拡張点群が、予備的な点群とモデルとから発生させられる。拡張点群は、空間内で回転させられる。拡張点群は、レンダリングされる。レンダリングされた拡張点群は、ユーザに表示される。

Description

（関連出願の相互参照）
本願は、参照することによってその全体として本明細書に組み込まれる２０１８年１２月２８日に出願された米国仮特許出願第６２／７８５，９５０号の利益を主張する。

本開示の実施形態は、合成３次元撮像に関し、より具体的に、部分的深度マップからの合成３次元撮像の発生に関する。

本開示の実施形態によると、合成３次元撮像の方法およびそのためのコンピュータプログラム製品が、提供される。種々の実施形態において、解剖学的構造の画像がカメラから受信され、方法が、実施される。画像に対応する深度マップが、深度センサから受信され、深度センサは、カメラの一部であることも、カメラと別個であることもある。解剖学的構造に対応する点群が、深度マップおよび画像に基づいて発生させられる。点群は、空間内で回転させられる。点群は、レンダリングされる。レンダリングされた点群は、ユーザに表示される。

種々の実施形態において、点群は、予備的な点群である。種々の実施形態において、予備的な点群は、解剖学的構造のモデルと位置合わせされる。種々の実施形態において、拡張点群が、予備的な点群およびモデルから発生させられる。種々の実施形態において、拡張点群は、空間内で回転させられ、レンダリングされ、ユーザに表示される。

種々の実施形態において、ユーザから、拡張点群をさらに回転させるための指示が、受信され、拡張点群は、指示に従って、空間内で回転させられ、拡張点群は、さらなる回転の後、レンダリングされ、レンダリングされた拡張点群は、さらなる回転の後、ユーザに表示される。種々の実施形態において、カメラは、深度センサを含む。種々の実施形態において、カメラは、深度センサと別個である。種々の実施形態において、深度センサは、構造光センサと、構造化光プロジェクタとを含む。種々の実施形態において、深度センサは、飛行時間センサを含む。種々の実施形態において、深度マップは、単一の画像フレームから決定される。種々の実施形態において、深度マップは、２つ以上の画像フレームから決定される。

種々の実施形態において、方法は、予備的な点群から表面メッシュを発生させることをさらに含む。種々の実施形態において、表面メッシュを発生させることは、予備的な点群を補間することを含む。種々の実施形態において、補間することは、直接実施される。種々の実施形態において、補間することは、グリッド上で実施される。種々の実施形態において、補間することは、スプライン処理することを含む。種々の実施形態において、表面メッシュを発生させることに先立って、予備的な点群は、２つ以上の意味領域にセグメント化され得る。種々の実施形態において、表面メッシュを発生させることは、２つ以上の意味領域の各々に関して別個の表面メッシュを発生させることを含む。種々の実施形態において、方法は、別個の表面メッシュの各々を組み合わせられた表面メッシュに組み合わせることをさらに含む。種々の実施形態において、方法は、組み合わせられた表面メッシュをユーザに表示することをさらに含む。

種々の実施形態において、解剖学的構造のモデルは、仮想３Ｄモデルを含む。種々の実施形態において、解剖学的構造のモデルは、解剖学的図解書から決定される。種々の実施形態において、解剖学的構造のモデルは、患者の術前撮像から決定される。種々の実施形態において、解剖学的構造のモデルは、術前撮像からの３Ｄ再構築物である。種々の実施形態において、術前撮像は、医療用画像管理システム（ｐｉｃｔｕｒｅ ａｒｃｈｉｖｉｎｇ ａｎｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｓｙｓｔｅｍ，ＰＡＣＳ）から読み出され得る。種々の実施形態において、位置合わせすることは、変形可能な位置合わせを含む。種々の実施形態において、位置合わせすることは、剛体位置合わせを含む。種々の実施形態において、点群の中の各点は、深度マップから導出される深度値と、画像から導出される色値とを含む。

種々の実施形態において、体腔の内部を撮像するように構成されたデジタルカメラと、ディスプレイと、それを用いて具現化されるプログラム命令を有するコンピュータ読み取り可能な記憶媒体を含むコンピューティングノードとを含むシステムが、提供される。プログラム命令は、プロセッサに、方法を実施させるように、コンピューティングノードのプロセッサによって実行可能であり、解剖学的構造の画像が、カメラから受信される。画像に対応する深度マップが、カメラの一部であるか、またはカメラと別個であり得る深度センサから受信される。解剖学的構造に対応する点群が、深度マップおよび画像に基づいて発生させられる。点群は、空間内で回転させられる。点群は、レンダリングされる。レンダリングされた点群は、ユーザに表示される。

種々の実施形態において、点群は、予備的な点群である。種々の実施形態において、予備的な点群は、解剖学的構造のモデルと位置合わせされる。種々の実施形態において、拡張点群が、予備的な点群およびモデルから発生させられる。種々の実施形態において、拡張点群は、空間内で回転させられ、レンダリングされ、ユーザに表示される。

種々の実施形態において、ユーザから、拡張点群をさらに回転させるための指示が、受信され、拡張点群は、指示に従って空間内で回転させられ、拡張点群は、さらなる回転の後、レンダリングされ、レンダリングされた拡張点群は、さらなる回転の後、ユーザに表示される。種々の実施形態において、カメラは、深度センサを含む。種々の実施形態において、カメラは、深度センサと別個である。種々の実施形態において、深度センサは、構造光センサと、構造化光プロジェクタとを含む。種々の実施形態において、深度センサは、飛行時間センサを含む。種々の実施形態において、深度マップは、単一の画像フレームから決定される。種々の実施形態において、深度マップは、２つ以上の画像フレームから決定される。

種々の実施形態において、方法は、予備的な点群から表面メッシュを発生させることをさらに含む。種々の実施形態において、表面メッシュを発生させることは、予備的な点群を補間することを含む。種々の実施形態において、補間することは、直接実施される。種々の実施形態において、補間することは、グリッド上で実施される。種々の実施形態において、補間することは、スプライン処理することを含む。種々の実施形態において、表面メッシュを発生させることに先立って、予備的な点群は、２つ以上の意味領域にセグメント化され得る。種々の実施形態において、表面メッシュを発生させることは、２つ以上の意味領域の各々に関して別個の表面メッシュを発生させることを含む。種々の実施形態において、方法は、別個の表面メッシュの各々を組み合わせられた表面メッシュに組み合わせることをさらに含む。種々の実施形態において、方法は、組み合わせられた表面メッシュをユーザに表示することをさらに含む。

種々の実施形態において、解剖学的構造のモデルは、仮想３Ｄモデルを含む。種々の実施形態において、解剖学的構造のモデルは、解剖学的図解書から決定される。種々の実施形態において、解剖学的構造のモデルは、患者の術前撮像から決定される。種々の実施形態において、解剖学的構造のモデルは、術前撮像からの３Ｄ再構築物である。種々の実施形態において、術前撮像は、医療用画像管理システム（ＰＡＣＳ）から読み出され得る。種々の実施形態において、位置合わせすることは、変形可能な位置合わせを含む。種々の実施形態において、位置合わせすることは、剛体位置合わせを含む。種々の実施形態において、点群の中の各点は、深度マップから導出される深度値と、画像から導出される色値とを含む。

種々の実施形態において、それを用いて具現化されるプログラム命令を有するコンピュータ読み取り可能な記憶媒体を含む合成３次元撮像のためのコンピュータプログラム製品が、提供される。プログラム命令は、プロセッサに、方法を実施させるように、コンピューティングノードのプロセッサによって実行可能であり、解剖学的構造の画像が、カメラから受信される。画像に対応する深度マップが、カメラの一部である、またはカメラと別個であり得る深度センサから受信される。解剖学的構造に対応する点群が、深度マップおよび画像に基づいて発生させられる。点群は、空間内で回転させられる。点群は、レンダリングされる。レンダリングされた点群は、ユーザに表示される。

種々の実施形態において、点群は、予備的な点群である。種々の実施形態において、予備的な点群は、解剖学的構造のモデルと位置合わせされる。種々の実施形態において、拡張点群が、予備的な点群およびモデルから発生させられる。種々の実施形態において、拡張点群は、空間内で回転させられ、レンダリングされ、ユーザに表示される。

種々の実施形態において、ユーザから、拡張点群をさらに回転させるための指示が、受信され、拡張点群は、指示に従って空間内で回転させられ、拡張点群は、さらなる回転の後、レンダリングされ、レンダリングされた拡張点群は、さらなる回転の後、ユーザに表示される。種々の実施形態において、カメラは、深度センサを含む。種々の実施形態において、カメラは、深度センサと別個である。種々の実施形態において、深度センサは、構造光センサと、構造化光プロジェクタとを含む。種々の実施形態において、深度センサは、飛行時間センサを含む。種々の実施形態において、深度マップは、単一の画像フレームから決定される。種々の実施形態において、深度マップは、２つ以上の画像フレームから決定される。

種々の実施形態において、方法は、予備的な点群から表面メッシュを発生させることをさらに含む。種々の実施形態において、表面メッシュを発生させることは、予備的な点群を補間することを含む。種々の実施形態において、補間することは、直接実施される。種々の実施形態において、補間することは、グリッド上で実施される。種々の実施形態において、補間することは、スプライン処理することを含む。種々の実施形態において、表面メッシュを発生させることに先立って、予備的な点群は、２つ以上の意味領域にセグメント化され得る。種々の実施形態において、表面メッシュを発生させることは、２つ以上の意味領域の各々に関して別個の表面メッシュを発生させることを含む。種々の実施形態において、方法は、別個の表面メッシュの各々を組み合わせられた表面メッシュに組み合わせることをさらに含む。種々の実施形態において、方法は、組み合わせられた表面メッシュをユーザに表示することをさらに含む。

種々の実施形態において、解剖学的構造のモデルは、仮想３Ｄモデルを含む。種々の実施形態において、解剖学的構造のモデルは、解剖学的図解書から決定される。種々の実施形態において、解剖学的構造のモデルは、患者の術前撮像から決定される。種々の実施形態において、解剖学的構造のモデルは、術前撮像からの３Ｄ再構築物である。種々の実施形態において、術前撮像は、医療用画像管理システム（ＰＡＣＳ）から読み出され得る。種々の実施形態において、位置合わせすることは、変形可能な位置合わせを含む。種々の実施形態において、位置合わせすることは、剛体位置合わせを含む。種々の実施形態において、点群の中の各点は、深度マップから導出される深度値と、画像から導出される色値とを含む。

図１は、本開示の実施形態による、ロボット外科手術のためのシステムを描写する。

図２Ａ－２Ｂは、本開示の実施形態による、第１の合成図を示す。

図３Ａ－３Ｂは、本開示の実施形態による、第２の合成図を示す。

図４Ａ－４Ｂは、本開示の実施形態による、第３の合成図を示す。

図５Ａは、本開示の実施形態による、腎臓を示す。図５Ｂは、本開示の実施形態による、図５Ａに示される腎臓の点群を示す。

図６Ａは、本開示の実施形態による、腎臓を示す。図６Ｂは、本開示の実施形態による、図６Ａに示される腎臓の拡張点群を示す。

図７は、本開示の実施形態による、合成３次元撮像の方法を図示する。

図８は、例示的な医療用画像管理システム（ＰＡＣＳ）を描写する。

図９は、本開示のある実施形態による、コンピューティングノードを描写する。

内視鏡は、照明付きの光学式の典型的に細長い管状の器具（あるタイプのボアスコープ）であり、身体内を見るために使用される。内視鏡は、診断または外科手術の目的のために内臓を検査するために使用され得る。特殊な器具、例えば、膀胱鏡（膀胱）、腎臓鏡（腎臓）、気管支鏡（気管支）、関節鏡（関節）、結腸鏡（結腸）、腹腔鏡（腹部または骨盤）は、それらの標的解剖学的構造にちなんで名付けられる。

腹腔鏡下外科手術は、一般的に、腹腔鏡の補助を借りて、小さい切開（通常、０．５～１．５ｃｍ）を使用して腹部または骨盤において実施される。そのような低侵襲性技法の利点は、周知であり、観血術と比較してより小さい切開に起因する低減された疼痛と、より少ない出血と、より短い回復時間とを含む。

腹腔鏡は、（さらに下で説明されるように）２次元画像、ステレオ画像、または被写界深度画像を提供するように装備され得る。

ロボット外科手術は、それも、小さい切開、カメラ、および外科手術器具を使用する限りにおいて、腹腔鏡下外科手術に類似する。しかしながら、外科手術器具を直接保持および操作することの代わりに、外科医は、ロボットを遠隔で操作するために制御を使用する。コンソールは、外科医に、増加した正確度および視覚を可能にする高解像度画像を提供する。

画像コンソールは、３次元の高解像度、かつ拡大された画像を提供することができる。種々の電子ツールが、適用され、外科医をさらに補助し得る。これらは、視覚的倍率（例えば、可視性を改良する大型視認スクリーンの使用）と、安定化（例えば、機械または揺れるヒトの手に起因する振動の電気機械式減衰）とを含む。シミュレータも、外科手術における医師の熟練度を改良するための特殊仮想現実訓練ツールの形態において提供され得る。

ロボット外科手術および従来の腹腔鏡下外科手術の両方において、被写界深度カメラが、画像と同時に被写界深度を収集するために使用され得る。

被写界深度カメラのある例は、そうでなければ従来の画像センサの正面に設置される、マイクロレンズのアレイを使用し、強度、色、および距離情報を感知するプレノティックカメラである。マルチカメラアレイは、別のタイプの明視野カメラである。標準的プレノティックカメラは、異なるタイプのプレノティック（または明視野）カメラを比較するために研究者によって使用される標準化された数学モデルである。定義上、標準的プレノティックカメラは、センサの画像面から１焦点距離だけ離して設置されたマイクロレンズを有する。研究は、その最大ベースラインが主要なレンズの入射瞳サイズに限られることを示しており、それは、立体視設定と比較して小さいことが証明されている。これは、標準的プレノプティックカメラが、カメラのパラメータに基づいて計量的に予測され得る非常に近距離において増加した深度分解能を示すので、近距離用途のために意図され得ることを暗に意味する。焦点調節プレノプティックカメラ、符号化開口カメラ、および／またはプレノプティックカメラを伴うステレオ等、他のタイプ／向きのプレノプティックカメラが、使用され得る。

本願が種々の実施形態における内視鏡デバイス内でのカメラの使用を述べているが、そのような内視鏡デバイスが、代替として、限定ではないが、飛行時間センサおよび構造化光センサを含む他のタイプのセンサを含み得ることを理解されたい。種々の実施形態において、構造化されたパターンが、構造化された光源から投影され得る。種々の実施形態において、投影されたパターンは、表面上に投影されると、パターン特徴の形状、サイズ、および／または間隔を変化させ得る。種々の実施形態において、１つ以上のカメラ（例えば、デジタルカメラ）が、これらの変化を検出し、システムによって記憶された既知のパターンを与えられた構造化された光パターンに対する変化に基づいて、位置情報（例えば、深度情報）を決定し得る。例えば、システムは、線の具体的な構造化されたパターン（例えば、ドットの行列または一連のストライプ）を物体（例えば、解剖学的構造）の表面上に投影する構造化された光源（例えば、プロジェクタ）を含み得る。線のパターンは、源のそれと異なる他の視点から歪んで見える照明の線を生産し、これらの線は、表面形状の幾何学的再構築のために使用され、したがって、物体の表面についての位置情報を提供することができる。

種々の実施形態において、測距撮像が、本明細書に説明されるシステムおよび方法と共に使用され、例えば、測距カメラを使用して、場面の位置および／または深度情報を決定し得る。種々の実施形態において、１つ以上の飛行時間（ＴｏＦ）センサが、使用され得る。種々の実施形態において、飛行時間センサは、フラッシュＬＩＤＡＲセンサであり得る。種々の実施形態において、飛行時間センサは、非常に短い赤外光パルスを放出し、カメラセンサの各ピクセルが、戻り時間を測定する。種々の実施形態において、飛行時間センサは、単一のショットにおいて場面の深度を測定することができる。種々の実施形態において、位置および／または深度情報を決定するために使用され得る他の測距技法は、ステレオ三角測量法、光三角測量法のシート、構造化された光、干渉分光法、および符号化開口を含む。種々の実施形態において、３Ｄ飛行時間レーザレーダは、ミリメートル未満の深度分解能を達成するように構成された高速ゲート増強電荷結合素子（ＣＣＤ）カメラを含む。種々の実施形態において、短いレーザパルスは、場面を照明し得、増強されたＣＣＤカメラは、その高速シャッタを開放する。種々の実施形態において、高速シャッタは、数百ピコ秒のみにわたって開放し得る。種々の実施形態において、３Ｄ ＴｏＦ情報が、レーザパルスとシャッタ開放との間の増加する遅延を伴って採集された２Ｄ画像場面から計算され得る。

種々の実施形態において、例えば、音および／または光等の種々のタイプの信号（キャリアとも呼ばれる）が、ＴｏＦと共に使用される。種々の実施形態において、キャリアとして光センサを使用することは、速度、範囲、軽量、および眼の安全性を組み合わせ得る。種々の実施形態において、赤外光が、より少ない信号外乱と自然周囲光からのより容易な区別とを提供し、所与のサイズおよび重量に関してより高性能のセンサをもたらし得る。種々の実施形態において、超音波センサが、使用され、物体（反射体）の近接を決定し得る。種々の実施形態において、超音波センサが、飛行時間センサにおいて使用されると、最も近い反射体の距離が、空気中の音の速度と放出されたパルスおよびエコーの到着時間とを使用して決定され得る。

画像コンソールが、立体撮像に基づいて、または被写界深度カメラに基づいて限定された３次元画像を提供し得るが、基本的なステレオまたは被写界深度ビューは、外科医のための包括的な空間認識を提供しない。

故に、本開示の種々の実施形態は、部分的深度マップからの合成３次元撮像の発生を提供する。

図１を参照すると、本開示による、例示的なロボット外科手術設定が、図示される。ロボットアーム１０１が、腹部１０３内でスコープ１０２を展開する。デジタル画像が、スコープ１０２を介して収集される。いくつかの実施形態において、デジタル画像が、スコープ先端における１つ以上のデジタルカメラによって捕捉される。いくつかの実施形態において、デジタル画像が、スコープ先端から他所における１つ以上のデジタルカメラまで伸びる１つ以上の光ファイバ要素によって捕捉される。

デジタル画像は、コンピューティングノード１０４に提供され、それは、処理され、次いで、ディスプレイ１０５上に表示される。

いくつかの実施形態において、各ピクセルが、対応する深度情報と対にされる。そのような実施形態において、デジタル画像の各ピクセルは、３次元空間内の点に関連付けられる。種々の実施形態によると、デジタル画像のピクセルのピクセル値が、次いで、空間内の点群を定義するために使用され得る。そのような点群は、次いで、当技術分野において公知である技法を使用してレンダリングされ得る。点群が定義されると、それは、カメラのもとの地点に加えて、複数の地点からレンダリングされ得る。故に、医師は、次いで、基本の解剖学的構造の合成図を回転、ズーム、または別様に変化させ得る。例えば、合成側面図が、レンダリングされ、外科医が従来の直視よりロバストな位置認識を取得することを可能にし得る。

種々の実施形態において、１つ以上のカメラは、深度センサを含み得る。例えば、１つ以上のカメラは、各ピクセルにおいて深度データを捕捉するように構成された明視野カメラを含み得る。種々の実施形態において、深度センサは、１つ以上のカメラと別個であり得る。例えば、システムは、ＲＧＢ画像を捕捉するように構成されたデジタルカメラを含み得、深度センサは、深度データを捕捉するように構成された明視野カメラを含み得る。

種々の実施形態において、１つ以上のカメラは、立体視カメラを含み得る。種々の実施形態において、立体視カメラは、２つの別個のカメラによって実装され得る。種々の実施形態において、２つの別個のカメラは、互いに所定の距離に配置され得る。種々の実施形態において、立体視カメラは、外科手術器具（例えば、腹腔鏡、内視鏡等）の最遠位端に位置し得る。位置情報が、本明細書で使用されるように、概して、３次元座標系における（Ｘ，Ｙ，Ｚ）として定義され得る。

種々の実施形態において、１つ以上のカメラは、例えば、赤外線放射を放出し、放出される赤外線放射の反射を検出する赤外線カメラであり得る。他の実施形態において、１つ以上のカメラは、当技術分野において公知のようなデジタルカメラであり得る。他の実施形態において、１つ以上のカメラは、プレノプティックカメラであり得る。種々の実施形態において、１つ以上の（例えば、１つ、２つ、３つ、４つ、または５つの）カメラは、構造化された光源（例えば、プロジェクタ）からの投影されるパターンを検出することが可能であり得る。１つ以上のカメラは、下でより詳細に説明されるように、コンピューティングノードに接続され得る。１つ以上のカメラからの画像を使用して、コンピューティングノードは、物体の表面に沿った任意の好適な数の点に関する位置情報（Ｘ，Ｙ，Ｚ）を算出し、それによって、表面の深度マップを発生させ得る。

種々の実施形態において、１つ以上のカメラは、明視野カメラ（例えば、プレノティックカメラ）を含み得る。プレノプティックカメラは、適切なズームおよび焦点深度設定を有することによって、物体の表面に関する正確な位置情報を発生させるために使用され得る。

種々の実施形態において、本開示に従って使用され得る１つのタイプの明視野（例えば、プレノプティック）カメラは、その他の点で従来の画像センサの正面に設置されるマイクロレンズのアレイを使用し、強度、色、および方向性情報を感知する。マルチカメラアレイは、別のタイプの明視野カメラである。「標準的プレノプティックカメラ」は、異なるタイプのプレノプティック（または明視野）カメラを比較するために研究者によって使用される標準化された数学的モデルである。定義上、「標準的プレノプティックカメラ」は、センサの画像面から１焦点距離だけ離して設置されたマイクロレンズを有する。研究は、その最大ベースラインが主要なレンズの入射瞳サイズに限られることを示しており、入射瞳サイズは、立体視設定と比較して小さいことが証明されている。これは、「標準的プレノプティックカメラ」が、カメラのパラメータに基づいて計量的に予測され得る非常に近距離において増加した深度分解能を示すので、近距離用途のために意図され得ることを暗に意味する。焦点調節プレノプティックカメラ、符号化開口カメラ、および／またはプレノプティックカメラを伴うステレオ等、他のタイプ／向きのプレノプティックカメラが、使用され得る。

種々の実施形態において、各ピクセルにおいて算出された深度を含む結果として生じる深度マップは、後処理され得る。深度マップ後処理は、特定の用途のために使用可能であるような深度マップの処理を指す。種々の実施形態において、深度マップ後処理は、正確度改良を含み得る。種々の実施形態において、深度マップ後処理は、性能を加速させるため、および／または審美的理由のために使用され得る。本開示のシステムおよび方法との使用のために好適である多くの特殊後処理技法が、存在する。例えば、撮像デバイス／センサが、用途のために技術的に必要なものより高い分解能で起動される場合、深度マップのサブサンプリングは、深度マップのサイズを減少させ、それは、スループット改良およびより短い処理時間につながり得る。種々の実施形態において、サブサンプリングは、バイアスされ得る。例えば、サブサンプリングは、深度値を欠いている（例えば、計算されることが可能ではない、および／またはゼロの値を有する）、深度ピクセルを除去するためにバイアスされ得る。種々の実施形態において、空間フィルタリング（例えば、平滑化）が、単一深度フレーム内の雑音を減少させるために使用されることができ、それは、単純空間平均化および非線形縁保存技法を含み得る。種々の実施形態において、時間的フィルタリングが、複数のフレームからのデータを使用して、時間的深度雑音を減少させるために実施され得る。種々の実施形態において、単純または時間バイアスされた平均が、採用され得る。種々の実施形態において、深度マップ内の孔は、例えば、ピクセルが一貫せず深度値を示すとき、充填されることができる。種々の実施形態において、信号内の時間的変動（例えば、場面内の運動）は、ぼけにつながり得、ぼけを減少および／または除去するための処理を要求し得る。種々の実施形態において、いくつかの用途は、ピクセル毎に存在する深度値を要求し得る。そのような状況に関して、正確度が、それほど重視されないとき、後処理技法は、深度マップを全てのピクセルに外挿するために使用され得る。種々の実施形態において、外挿は、任意の好適な形態の外挿（例えば、線形、指数関数的、対数等）を用いて実施され得る。

種々の実施形態において、２つ以上のフレームが、１つ以上のカメラによって捕捉され得る。種々の実施形態において、点群が、２つ以上のフレームから決定され得る。種々の実施形態において、２つ以上のフレームから点群を決定することは、雑音低減を提供し得る。種々の実施形態において、２つ以上のフレームから点群を決定することは、視線妨害物の周囲における３Ｄ図の発生を可能にし得る。

種々の実施形態において、点群が、２つ以上のフレームにおける各捕捉されたフレームに関して決定され得る。種々の実施形態において、各点群が、他の点群のうちの１つ以上のもの（例えば、全て）に整列させられ得る。種々の実施形態において、点群は、剛体位置合わせを介して整列させられ得る。種々の実施形態において、剛体位置合わせアルゴリズムは、回転、平行移動、ズーム、および／または剪断を含み得る。種々の実施形態において、点群は、変形可能な位置合わせを介して整列させられ得る。種々の実施形態において、変形可能な位置合わせアルゴリズムは、Ｂスプライン法、レベルセットモーション法、オリジナルデーモン法、修正されたデーモン法、対称力デーモン法、倍力デーモン法、強度同時補正法を用いた変形、オリジナルＨｏｒｎ－Ｓｃｈｕｎｃｋオプティカルフロー、組み合わせられたＨｏｒｎ－ＳｃｈｕｎｃｋおよびＬｕｃａｓ－Ｋａｎａｄｅ法、および／またはフリーフォーム変形法を含み得る。

図２を参照すると、本開示の実施形態による、第１の合成図が、図示される。図２Ａは、もとのソース画像を示す。図２Ｂは、もとの画像のピクセルと対応する深度情報とから組み立てられたレンダリングされた点群を示す。

図３を参照すると、本開示の実施形態による、第２の合成図が、図示される。図３Ａは、もとのソース画像を示す。図３Ｂは、もとの画像のピクセルと対応する深度情報とから組み立てられたレンダリングされた点群を示す。図３Ｂの図では、対象が、側面図を提供するように回転させられている。

図４を参照すると、本開示の実施形態による、第３の合成図が、図示される。図４Ａは、もとのソース画像を示す。図４Ｂは、もとの画像のピクセルと対応する深度情報とから組み立てられたレンダリングされた点群を示す。図４Ｂの図では、対象が、側面図を提供するように回転させられている。

種々の実施形態において、３Ｄ表面メッシュが、３Ｄ点群のうちのいずれかから発生させられ得る。種々の実施形態において、３Ｄ表面メッシュは、（例えば、直接的またはグリッド上における）３Ｄ点群の補間によって発生させられ得る。種々の実施形態において、３Ｄ表面メッシュは、レンダリングされたメッシュをズームイン／アウトするとき、より良好に性能を発揮し得る。

種々の実施形態において、意味セグメント化が、３Ｄ表面メッシュ上で実施され、それによって、解剖学的境界において生じ得る任意の３Ｄアーチファクトを平滑にし得る。種々の実施形態において、３Ｄメッシュの発生に先立って、点群は、２つ以上の意味領域にセグメント化されることができる。例えば、第１の意味領域は、第１の３Ｄ構造（例えば、肝臓）として識別され得、第２の意味領域は、第２の３Ｄ構造（例えば、胃）として識別され得、第３の意味領域は、場面内の第３の３Ｄ構造（例えば、腹腔鏡器具）として識別され得る。種々の実施形態において、画像フレームが、任意の好適な公知のセグメント化技法を使用してセグメント化され得る。種々の実施形態において、各識別された意味領域に関する点群が、各意味領域に関する別個の３Ｄ表面メッシュを発生させるために使用され得る。種々の実施形態において、別個の３Ｄ表面メッシュの各々は、単一のディスプレイ内でレンダリングされ、撮像された場面の幾何学形状を提供し得る。種々の実施形態において、別個のメッシュを提示することは、定義される領域（例えば、器官）の境界において生じる、種々のアーチファクトを回避し得る。

種々の実施形態において、深度マップからレンダリングされた点群は、視認可能な表面の３Ｄ描写を提供するので、点群は、画像内の特定の物体の近似形状または予期される形状の１つ以上のモデルを用いて拡張され得る。例えば、器官（例えば、腎臓）の点群が、レンダリングされるとき、点群は、特定の器官の仮想３Ｄモデル（例えば、腎臓の３Ｄモデル）を用いて拡張され得る。種々の実施形態において、点群によって表わされる表面が、場面内で物体の仮想３Ｄモデルを位置合わせするために使用され得る。

図５Ａは、本開示の実施形態による、腎臓５０２を示す。図５Ｂは、本開示の実施形態による、図５Ａに示される腎臓の点群を示す。種々の実施形態において、腎臓５０２を含む場面の点群５０４が、デジタルカメラおよび／または深度センサを用いて腎臓を撮像することによって、発生させられ得る。

種々の実施形態において、点群は、物体（例えば、腎臓）の仮想３Ｄモデルを介して拡張され得る。図６Ａは、本開示の実施形態による、腎臓６０２を示す。腎臓６０２の仮想３Ｄモデル６０６が、発生させられ、腎臓６０４を含む場面の発生させられた点群６０４に適用され得る。図６Ｂは、本開示の実施形態による、図６Ａに示される腎臓の拡張点群を示す。図６Ｂに示されるように、腎臓６０２の仮想３Ｄモデル６０６は、点群６０４と位置合わせ（すなわち、整列）され、それによって、カメラおよび／または深度センサの視点からは見えない腎臓６０２の部分に関する追加の幾何学情報を提供する。種々の実施形態において、仮想３Ｄモデル６０６は、上で説明されるような任意の好適な方法を使用して、点群６０４に位置合わせされる。図６Ｂは、したがって、場面内の物体（例えば、腎臓６０２）のより明瞭な斜視図を提供する。種々の実施形態において、仮想３Ｄモデルは、限定ではないが、製造業者、器官の一般的な解剖学的図解書、本開示に提示されるシステムを使用した複数の視認点からの患者の標的解剖学的構造の術前３Ｄ撮像再構築物等を含む任意の好適なソースから取得され得る。

種々の実施形態において、システムは、（例えば、前後方向、内外方向等の）事前にプログラムされた臨床的な解剖学的視認点を含み得る。種々の実施形態において、臨床的な解剖学的視認点は、臨床的手技のためにさらに調整され得る（例えば、心臓の幾何学形状に関して、右前斜位図）。種々の実施形態において、３Ｄ図を恣意的に回転させるのではなく、ユーザは、事前にプログラムされた視認点のうちの１つから、３Ｄ合成図を提示するために選定し得る。種々の実施形態において、事前にプログラムされた図は、医師が、手技中に向きを失った場合、自身を向け直すことに役立ち得る。

図７を参照すると、本開示の実施形態による、合成３次元撮像のための方法が、図示される。７０１において、患者の解剖学的構造の画像が、カメラから受信される。７０２において、画像に対応する深度マップが、深度センサから受信される。７０３において、解剖学的構造に対応する点群が、深度マップと画像とに基づいて発生させられる。７０４において、点群が、空間内で回転させられる。７０５において、点群が、レンダリングされる。７０６において、レンダリングされた点群が、ユーザに表示される。

種々の実施形態において、本明細書に説明されるシステムおよび方法は、例えば、診断用途および／または外科手術用途等の任意の好適な用途において使用され得る。診断用途の例として、本明細書に説明されるシステムおよび方法は、結腸内視鏡検査において、胃腸管内のポリープを撮像し、ポリープの寸法を決定するために使用され得る。ポリープの寸法等の情報は、医療従事者によって、患者のための治療計画（例えば、外科手術、化学療法、さらなる試験等）を決定するために使用され得る。別の例では、本明細書に説明されるシステムおよび方法は、内臓の一部または全体を抽出するとき、切開部または孔のサイズを測定するために使用され得る。外科手術用途の例として、本明細書に説明されるシステムおよび方法は、例えば、ハンドヘルド腹腔鏡外科手術、ハンドヘルド内視鏡手技、および／または撮像および深度感知が必要であり得る任意の他の好適な外科手術用途等、ハンドヘルド外科手術用途において使用され得る。種々の実施形態において、本明細書に説明されるシステムおよび方法は、組織、器官、糸、および／または任意の器具を含む外科手術野の深度を算出するために使用され得る。種々の実施形態において、本明細書に説明されるシステムおよび方法は、絶対単位（例えば、ミリメートル）で測定を行うことが可能であり得る。

種々の実施形態は、内視鏡等の胃腸（ＧＩ）カテーテルにおける使用のために適合され得る。特に、内視鏡は、霧状噴霧器と、ＩＲ源と、カメラシステムおよび光学系と、ロボットアームと、画像プロセッサとを含み得る。

図８を参照すると、例示的なＰＡＣＳ８００は、４つの主要なコンポーネントから成る。コンピュータ断層撮影（ＣＴ）８０１、磁気共鳴撮像（ＭＲＩ）８０２、または超音波（ＵＳ）８０３等の種々の撮像モダリティ８０１・・・８０９が、システムに像を提供する。いくつかの実装において、像が、アーカイブ８１２内に記憶される前、ＰＡＣＳゲートウェイ８１１に伝送される。アーカイブ８１２は、画像および報告の記憶および読み出しを提供する。ワークステーション８２１・・・８２９は、アーカイブ８１２内の画像を解釈および精査することを提供する。いくつかの実施形態において、セキュリティ保護されたネットワークが、システムのコンポーネント間での患者情報の伝送のために使用される。いくつかの実施形態において、ワークステーション８２１・・・８２９は、ウェブベースのビューアであり得る。ＰＡＣＳは、画像、解釈、および関連するデータへのタイムリーで効率的なアクセスをもたらし、従来的なフィルムベースの画像読み出し、配布、および表示の欠点を排除する。

ＰＡＣＳは、Ｘ線プレーンフィルム（ＰＦ）、超音波（ＵＳ）、磁気共鳴（ＭＲ）、核医学撮像、陽電子放出断層撮影（ＰＥＴ）、コンピュータ断層撮影（ＣＴ）、内視鏡検査（ＥＳ）、マンモグラム（ＭＧ）、デジタルＸ線撮影（ＤＲ）、コンピュータＸ線撮影（ＣＲ）、組織病理学、または眼科等の種々の医学的撮像器具からの画像に対処し得る。しかしながら、ＰＡＣＳは、所定の画像のリストに限定されず、放射線学、心臓学、腫瘍学、または消化器学等の従来の撮像のソースを超えた臨床分野を支援する。

異なるユーザが、ＰＡＣＳシステム全体の中への異なるビューを有し得る。例えば、放射線医師が、典型的に、視認ステーションにアクセスし得る一方、技術者が、典型的に、ＱＡワークステーションにアクセスし得る。

いくつかの実装において、ＰＡＣＳゲートウェイ８１１は、品質保証（ＱＡ）ワークステーションを備える。ＱＡワークステーションは、患者人口統計が、検査の他の重要な属性と同様に正しいことを確認するためのチェックポイントを提供する。検査情報が、正しい場合、画像は、記憶のためにアーカイブ８１２に渡される。中央記憶デバイス、すなわち、アーカイブ８１２は、画像、いくつかの実装において、画像とともに常駐する報告、測定値、および他の情報を記憶する。

画像が、アーカイブ８１２に記憶されると、それらは、読み取りワークステーション８２１・・・８２９からアクセスされ得る。読み取りワークステーションは、放射線医師が患者の検査を精査し、それらの診断をまとめる場所である。いくつかの実装において、報告パッケージが、読み取りワークステーションに結び付けられ、放射線医師が最終報告を決定することを補助する。従来的な決定に依拠するそれらを含む種々の報告システムが、ＰＡＣＳと統合され得る。いくつかの実装において、ＣＤまたはＤＶＤ編集支援ソフトウェアが、患者または紹介医への配布のための患者検査をコピーするために、ワークステーション８２１・・・８２９内に含まれる。

いくつかの実装において、ＰＡＣＳは、ワークステーション８２１・・・８２９のためのウェブベースのインターフェースを含む。そのようなウェブインターフェースは、インターネットまたは広域ネットワーク（ＷＡＮ）を介してアクセスされ得る。いくつかの実装において、接続セキュリティが、ＶＰＮ（仮想プライベートネットワーク）またはＳＳＬ（セキュアソケットレイヤ）によって提供される。クライアント側ソフトウェアは、ＡｃｔｉｖｅＸ、Ｊａｖａ（登録商標）Ｓｃｒｉｐｔ、またはＪａｖａ（登録商標） Ａｐｐｌｅｔを含む。ＰＡＣＳクライアントは、それらがウェブ環境の外側において実行しているコンピュータの十分なリソースを活用するフルアプリケーションでもあり得る。

ＰＡＣＳ内の通信は、概して、医学におけるデジタルイメージングおよび通信（ＤＩＣＯＭ）を介して提供される。ＤＩＣＯＭは、医療用撮像における情報を取り扱い、記憶し、印刷し、伝送するための規格を提供する。これは、ファイルフォーマット定義と、ネットワーク通信プロトコルとを含む。通信プロトコルは、システム間で通信するためにＴＣＰ／ＩＰを使用するアプリケーションプロトコルである。ＤＩＣＯＭファイルは、ＤＩＣＯＭフォーマットにおける画像および患者データを受信することが可能である２つのエンティティ間で交換されることができる。

ＤＩＣＯＭは、情報をデータセットに群化する。例えば、特定の画像を含むファイルは、概して、ファイル内に患者ＩＤを含み、それによって、画像は、誤ってこの情報から決して分離されることができない。ＤＩＣＯＭデータオブジェクトは、氏名および患者ＩＤ等のアイテムを含むいくつかの属性、および画像ピクセルデータを含む特別な属性から成る。したがって、主要なオブジェクトは、そのようなヘッダを有していないが、代わりに、ピクセルデータを含む属性のリストを含む。ピクセルデータを含むＤＩＣＯＭオブジェクトは、単一の画像に対応し得るか、または、複数のフレームを含み得、シネループまたは他のマルチフレームデータの記憶を可能にする。ＤＩＣＯＭは、単一のＤＩＣＯＭオブジェクト内にカプセル化される３または４次元データを支援する。ピクセルデータは、ＪＰＥＧ、ロスレスＪＰＥＧ、ＪＰＥＧ ２０００、およびランレングス符号化（ＲＬＥ）を含む種々の規格を使用して圧縮され得る。ＬＺＷ（ｚｉｐ）圧縮が、データセット全体またはピクセルデータのみに使用され得る。

ここで図９を参照すると、コンピューティングノードのある例の概略図が、示される。コンピューティングノード１０は、好適なコンピューティングノードの一例にすぎず、本明細書に説明される実施形態の使用または機能性の範囲に関する任意の限界を示唆することを意図するものではない。それにもかかわらず、コンピューティングノード１０は、実装される、および／または前述に記載される機能性のうちのいずれかを実施することが可能である。

コンピューティングノード１０において、コンピュータシステム／サーバ１２が、存在し、それは、多数の他の汎用目的または特殊目的コンピューティングシステム環境または構成で動作する。コンピュータシステム／サーバ１２との使用のために好適であり得る周知のコンピューティングシステム、環境、および／または構成の例は、限定ではないが、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、シッククライアント、ハンドヘルドまたはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラマブル消費者電子機器、ネットワークＰＣ、ミニコンピュータシステム、メインフレームコンピュータシステム、および上記のシステムまたはデバイスのいずれかを含む分散型クラウドコンピューティング環境等を含む。

コンピュータシステム／サーバ１２は、コンピュータシステムによって実行されるプログラムモジュール等のコンピュータシステム実行可能命令の一般的コンテキストにおいて説明され得る。概して、プログラムモジュールは、特定のタスクを実施するルーチン、プログラム、オブジェクト、コンポーネント、論理、データ構造等、または特定の抽象データタイプを実装するそれらを含み得る。コンピュータシステム／サーバ１２は、タスクが通信ネットワークを通してリンクされる遠隔処理デバイスによって実施される分散型クラウドコンピューティング環境内で実践され得る。分散型クラウドコンピューティング環境では、プログラムモジュールは、メモリ記憶デバイスを含むローカルおよび遠隔コンピュータシステム記憶媒体の両方内に位置し得る。

図９に示されるように、コンピューティングノード１０内のコンピュータシステム／サーバ１２は、汎用目的コンピューティングデバイスの形態で示される。コンピュータシステム／サーバ１２のコンポーネントは、限定ではないが、１つ以上のプロセッサまたは処理ユニット１６、システムメモリ２８、およびシステムメモリ２８を含む種々のシステムコンポーネントをプロセッサ１６に結合するバス１８を含み得る。

バス１８は、種々のバスアーキテクチャのいずれかを使用するメモリバスまたはメモリコントローラ、周辺バス、加速グラフィックポート、およびプロセッサまたはローカルバスを含むいくつかのタイプのバス構造のいずれかのうちの１つ以上のものを表す。一例として、限定ではなく、そのようなアーキテクチャは、産業標準アーキテクチャ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、拡張ＩＳＡ（ＥＩＳＡ）バス、Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ（ＶＥＳＡ）ローカルバス、周辺コンポーネント相互接続（ＰＣＩ）バス、Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｅｘｐｒｅｓｓ（ＰＣＩｅ）、および高度マイクロコントローラバスアーキテクチャ（ＡＭＢＡ）を含む。

コンピュータシステム／サーバ１２は、典型的に、種々のコンピュータシステム読み取り可能な媒体を含む。そのような媒体は、コンピュータシステム／サーバ１２によってアクセス可能な任意の利用可能な媒体であり得、揮発性および不揮発性媒体のリムーバブルおよび非リムーバブル媒体の両方を含む。

システムメモリ２８は、ランダムアクセスメモリ（ＲＡＭ）３０および／またはキャッシュメモリ３２等の揮発性メモリの形態におけるコンピュータシステム読み取り可能な媒体を含むことができる。コンピュータシステム／サーバ１２は、他のリムーバブル／非リムーバブル揮発性／不揮発性コンピュータシステム記憶媒体をさらに含み得る。一例にすぎないが、記憶システム３４は、非リムーバブル不揮発性磁気媒体（示されないが、典型的に、「ハードドライブ」と呼ばれる）から読み取り、それに書き込むために提供されることができる。図示されないが、リムーバブル不揮発性磁気ディスク（例えば、「フロッピー（登録商標）ディスク」）から読み取り、それに書き込むための磁気ディスクドライブ、およびＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、または他の光学媒体等のリムーバブル不揮発性光ディスクから読み取り、それに書き込むための光ディスクドライブが、提供されることができる。そのようなインスタンスでは、それぞれ、１つ以上のデータ媒体インターフェースによって、バス１８に接続されることができる。下記にさらに描写および説明されるであろうように、メモリ２８は、本開示の実施形態の機能を行うように構成されるプログラムモジュールの組（例えば、少なくとも１つ）を有する少なくとも１つのプログラム製品を含み得る。

プログラムモジュール４２の組（少なくとも１つ）を有するプログラム／ユーティリティ４０は、一例として、限定ではなく、メモリ２８、およびオペレーティングシステム、１つ以上のアプリケーションプログラム、他のプログラムモジュール、およびプログラムデータの中に記憶され得る。オペレーティングシステム、１つ以上のアプリケーションプログラム、他のプログラムモジュール、およびプログラムデータまたはそれらのある組み合わせの各々は、ネットワーキング環境の実装を含み得る。プログラムモジュール４２は、概して、本明細書に説明される実施形態の機能および／または方法論を行う。

コンピュータシステム／サーバ１２は、キーボード、ポインティングデバイス、ディスプレイ２４等の１つ以上の外部デバイス１４、ユーザがコンピュータシステム／サーバ１２と相互作用することを可能にする１つ以上のデバイス、および／またはコンピュータシステム／サーバ１２が１つ以上の他のコンピューティングデバイスと通信することを可能にする任意のデバイス（例えば、ネットワークカード、モデム等）とも通信し得る。そのような通信は、入力／出力（Ｉ／Ｏ）インターフェース２２を介して生じ得る。なおもさらに、コンピュータシステム／サーバ１２は、ネットワークアダプタ２０を介して、ローカルエリアネットワーク（ＬＡＮ）、一般的広域ネットワーク（ＷＡＮ）、および／またはパブリックネットワーク（例えば、インターネット）等の１つ以上のネットワークと通信することができる。描写されるように、ネットワークアダプタ２０は、バス１８を介して、コンピュータシステム／サーバ１２の他のコンポーネントと通信する。図示されないが、他のハードウェアおよび／またはソフトウェアコンポーネントも、コンピュータシステム／サーバ１２と共に使用され得ることを理解されたい。例は、限定ではないが、マイクロコード、デバイスドライバ、冗長処理ユニット、外部ディスクドライブアレイ、ＲＡＩＤシステム、テープドライブ、およびデータアーカイブ記憶システム等を含む。

本開示は、システム、方法、および／またはコンピュータプログラム製品として具現化され得る。コンピュータプログラム製品は、プロセッサに本開示の側面を行わせるためのコンピュータ読み取り可能なプログラム命令をその上に有するコンピュータ読み取り可能な記憶媒体（または複数の媒体）を含み得る。

コンピュータ読み取り可能な記憶媒体は、命令実行デバイスによる使用のための命令を保持し、記憶し得る有形デバイスであることができる。コンピュータ読み取り可能な記憶媒体は、例えば、限定ではないが、電子記憶デバイス、磁気記憶デバイス、光学記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、または前述の任意の好適な組み合わせであり得る。コンピュータ読み取り可能な記憶媒体のより具体的例の非包括的リストは、以下を含む：ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラム可能読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピー（登録商標）ディスク、その上に記録される命令を有するパンチカードまたは溝内の隆起構造等の機械的にエンコードされたデバイス、および前述の任意の好適な組み合わせ。コンピュータ読み取り可能な記憶媒体は、本明細書で使用される場合、それ自体では、無線波または他の自由に伝搬する電磁波、導波管または他の伝送媒体を通して伝搬する電磁波（例えば、光ファイバケーブルを通して通過する光パルス）、またはワイヤを通して伝送される電気信号等の一過性信号であるとして解釈されるべきではない。

本明細書に説明されるコンピュータ読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶媒体からそれぞれのコンピューティング／処理デバイスに、またはネットワーク、例えば、インターネット、ローカルエリアネットワーク、広域ネットワーク、および／または無線ネットワークを介して、外部コンピュータまたは外部記憶デバイスにダウンロードされることができる。ネットワークは、銅伝送ケーブル、光学伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、および／またはエッジサーバを備え得る。各コンピューティング／処理デバイス内のネットワークアダプタカードまたはネットワークインターフェースは、コンピュータ読み取り可能なプログラム命令をネットワークから受信し、それぞれのコンピューティング／処理デバイス内のコンピュータ読み取り可能な記憶媒体内への記憶のために、コンピュータ読み取り可能なプログラム命令を転送する。

本開示の動作を行うためのコンピュータ読み取り可能なプログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋等のオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または類似プログラミング言語等の従来の手続型プログラミング言語を含む１つ以上のプログラミング言語の任意の組み合わせで書き込まれるソースコードまたはオブジェクトコードのいずれかであり得る。コンピュータ読み取り可能なプログラム命令は、ユーザのコンピュータ上で完全に、ユーザのコンピュータ上で部分的に、独立型ソフトウェアパッケージとして、部分的にユーザのコンピュータ上および部分的に遠隔コンピュータ上で、または完全に遠隔コンピュータまたはサーバ上で実行され得る。後者のシナリオでは、遠隔コンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを通して、ユーザのコンピュータに接続され得るか、または、接続は、外部コンピュータに行われ得る（例えば、インターネットサービスプロバイダを使用して、インターネットを通して）。いくつかの実施形態において、例えば、プログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブル論理アレイ（ＰＬＡ）を含む電子回路網が、本開示の側面を実施するために、コンピュータ読み取り可能なプログラム命令の状態情報を利用し、電子回路網を個人化することによって、コンピュータ読み取り可能なプログラム命令を実行し得る。

本開示の側面は、本開示の実施形態による、方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図および／またはブロック図を参照して本明細書に説明される。フローチャート図および／またはブロック図の各ブロックおよびフローチャート図および／またはブロック図内のブロックの組み合わせが、コンピュータ読み取り可能なプログラム命令によって実装され得ることを理解されたい。

これらのコンピュータ読み取り可能なプログラム命令は、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行される命令がフローチャートおよび／またはブロック図のブロックまたは複数のブロックにおいて規定される機能／行為を実装するための手段を作成するような機械を生産するために、汎用目的コンピュータ、特殊目的コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供され得る。これらのコンピュータ読み取り可能なプログラム命令は、命令を記憶しているコンピュータ読み取り可能な記憶媒体がフローチャートおよび／またはブロック図のブロックまたは複数のブロックにおいて規定される機能／行為の側面を実装する命令を含む製造品を構成するように、コンピュータ、プログラマブルデータ処理装置、および／または他のデバイスに、特定の様式において機能するように指示し得るコンピュータ読み取り可能な記憶媒体内にも記憶され得る。

コンピュータ読み取り可能なプログラム命令は、コンピュータ、他のプログラマブル装置、または他のデバイス上で実行される命令がフローチャートおよび／またはブロック図のブロックまたは複数のブロックにおいて規定される機能／行為を実装するように、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイス上にもロードされ、一連の動作ステップをコンピュータ、他のプログラマブル装置、または他のデバイス上で実施させ、コンピュータ実装プロセスを生産し得る。

図中のフローチャートおよびブロック図は、本開示の種々の実施形態による、システム、方法、およびコンピュータプログラム製品の可能な実装のアーキテクチャ、機能性、および動作を図示する。この点において、フローチャートまたはブロック図内の各ブロックが、規定された論理機能を実装するための１つ以上の実行可能命令を備えるモジュール、セグメント、または命令の一部を表し得る。いくつかの代替実装において、ブロック内に記載される機能は、図に記載の順序から外れて生じ得る。例えば、連続して示される２つのブロックは、実際は、実質的に並行して実行され得るか、または、ブロックは、時として、関わる機能性に応じて、逆の順序で実行され得る。ブロック図および／またはフローチャート図の各ブロック、およびブロック図および／またはフローチャート図内のブロックの組み合わせが、規定された機能または行為を実施する、または特殊目的ハードウェアおよびコンピュータ命令の組み合わせを行う特殊目的のハードウェアベースのシステムによって実装され得ることにも留意されたい。

本開示の種々の実施形態の説明は、例証目的のために提示されているが、包括的である、または開示される実施形態に限定されることを意図するものではない。多くの修正および変形例が、説明される実施形態の範囲および精神から逸脱することなく、当業者に明白となるであろう。本明細書で使用される専門用語は、実施形態の原理、市場に見出される技術に優る実践的用途または技術的改良を最良に説明する、または当業者が本明細書に開示される実施形態を理解することを可能にするように選定された。

Claims (78)

1. 方法であって、前記方法は、
   カメラから、患者の解剖学的構造の画像を受信することと、
   深度センサから、前記画像に対応する深度マップを受信することと、
   前記深度マップおよび前記画像に基づいて、前記解剖学的構造に対応する点群を発生させることと、
   空間内で前記点群を回転させることと、
   前記点群をレンダリングすることと、
   前記レンダリングされた点群をユーザに表示することと
   を含む、方法。
2. 前記点群は、予備的な点群であり、前記方法は、
   前記予備的な点群を前記解剖学的構造のモデルと位置合わせすることと、
   前記予備的な点群と前記モデルとから拡張点群を発生させることと
   をさらに含む、請求項１に記載の方法。
3. 前記ユーザから、前記拡張点群をさらに回転させるための指示を受信することと、
   前記指示に従って、空間内で前記拡張点群を回転させることと、
   回転の後、前記拡張点群をレンダリングすることと、
   前記レンダリングされた拡張点群を前記ユーザに表示することと
   をさらに含む、請求項２に記載の方法。
4. 前記カメラは、前記深度センサを備えている、請求項２に記載の方法。
5. 前記カメラは、前記深度センサと別個である、請求項２に記載の方法。
6. 前記深度センサは、構造光センサと、構造化光プロジェクタとを備えている、請求項５に記載の方法。
7. 前記深度センサは、飛行時間センサを備えている、請求項５に記載の方法。
8. 前記深度マップは、単一の画像フレームから決定される、請求項２に記載の方法。
9. 前記深度マップは、２つ以上の画像フレームから決定される、請求項２に記載の方法。
10. 前記予備的な点群から表面メッシュを発生させることをさらに含む、請求項２に記載の方法。
11. 表面メッシュを発生させることは、前記予備的な点群を補間することを含む、請求項１０に記載の方法。
12. 補間することは、直接実施される、請求項１１に記載の方法。
13. 補間することは、グリッド上で実施される、請求項１１に記載の方法。
14. 補間することは、スプライン処理することを含む、請求項１１に記載の方法。
15. 表面メッシュを発生させることに先立って、前記予備的な点群を２つ以上の意味領域にセグメント化することをさらに含む、請求項１０に記載の方法。
16. 表面メッシュを発生させることは、前記２つ以上の意味領域の各々に関して別個の表面メッシュを発生させることを含む、請求項１５に記載の方法。
17. 前記別個の表面メッシュの各々を組み合わせられた表面メッシュに組み合わせることをさらに含む、請求項１６に記載の方法。
18. 前記組み合わせられた表面メッシュを前記ユーザに表示することをさらに含む、請求項１７に記載の方法。
19. 前記解剖学的構造のモデルは、仮想３Ｄモデルを備えている、請求項２に記載の方法。
20. 前記解剖学的構造のモデルは、解剖学的図解書から決定される、請求項１９に記載の方法。
21. 前記解剖学的構造のモデルは、前記患者の術前撮像から決定される、請求項１９に記載の方法。
22. 前記解剖学的構造のモデルは、前記術前撮像からの３Ｄ再構築物である、請求項２１に記載の方法。
23. 前記術前撮像は、医療用画像管理システム（ＰＡＣＳ）から読み出される、請求項２１に記載の方法。
24. 位置合わせすることは、変形可能な位置合わせを含む、請求項２に記載の方法。
25. 位置合わせすることは、剛体位置合わせを含む、請求項２に記載の方法。
26. 前記点群の中の各点は、前記深度マップから導出される深度値と、前記画像から導出される色値とを備えている、請求項１に記載の方法。
27. システムであって、前記システムは、
    体腔の内部を撮像するように構成されたデジタルカメラと、
    ディスプレイと、
    コンピュータ読み取り可能な記憶媒体を備えているコンピューティングノードと
    を備え、
    前記記憶媒体は、それを用いて具現化されたプログラム命令を有し、前記プログラム命令は、プロセッサに方法を実施させるように前記コンピューティングノードの前記プロセッサによって実行可能であり、前記方法は、
    カメラから、患者の解剖学的構造の画像を受信することと、
    カメラ深度センサから、前記画像に対応する深度マップを受信することと、
    前記深度マップおよび前記画像に基づいて、前記解剖学的構造に対応する点群を発生させることと、
    空間内で前記点群を回転させることと、
    前記点群をレンダリングすることと、
    前記レンダリングされた点群をユーザに表示することと
    を含む、システム。
28. 前記点群は、予備的な点群であり、前記方法は、
    前記予備的な点群を前記解剖学的構造のモデルと位置合わせすることと、
    前記予備的な点群と前記モデルとから拡張点群を発生させることと
    をさらに含む、請求項２７に記載のシステム。
29. 前記方法は、
    前記ユーザから、前記拡張点群をさらに回転させるための指示を受信することと、
    前記指示に従って、空間内で前記拡張点群を回転させることと、
    回転の後、前記拡張点群をレンダリングすることと、
    前記レンダリングされた拡張点群を前記ユーザに表示することと
    をさらに含む、請求項２８に記載のシステム。
30. 前記カメラは、前記深度センサを備えている、請求項２８に記載のシステム。
31. 前記カメラは、前記深度センサと別個である、請求項２８に記載のシステム。
32. 前記深度センサは、構造光センサと、構造化光プロジェクタとを備えている、請求項３１に記載のシステム。
33. 前記深度センサは、飛行時間センサを備えている、請求項３１に記載のシステム。
34. 前記深度マップは、単一の画像フレームから決定される、請求項２８に記載のシステム。
35. 前記深度マップは、２つ以上の画像フレームから決定される、請求項２８に記載のシステム。
36. 前記予備的な点群から表面メッシュを発生させることをさらに含む、請求項２８に記載のシステム。
37. 表面メッシュを発生させることは、前記予備的な点群を補間することを含む、請求項３６に記載のシステム。
38. 補間することは、直接実施される、請求項３７に記載のシステム。
39. 補間することは、グリッド上で実施される、請求項３７に記載のシステム。
40. 補間することは、スプライン処理することを含む、請求項３７に記載のシステム。
41. 表面メッシュを発生させることに先立って、前記予備的な点群を２つ以上の意味領域にセグメント化することをさらに含む、請求項３６に記載のシステム。
42. 表面メッシュを発生させることは、前記２つ以上の意味領域の各々に関して別個の表面メッシュを発生させることを含む、請求項４１に記載のシステム。
43. 前記別個の表面メッシュの各々を組み合わせられた表面メッシュに組み合わせることをさらに含む、請求項４２に記載のシステム。
44. 前記組み合わせられた表面メッシュを前記ユーザに表示することをさらに含む、請求項４３に記載のシステム。
45. 前記解剖学的構造のモデルは、仮想３Ｄモデルを備えている、請求項２８に記載のシステム。
46. 前記解剖学的構造のモデルは、解剖学的図解書から決定される、請求項４５に記載のシステム。
47. 前記解剖学的構造のモデルは、前記患者の術前撮像から決定される、請求項４５に記載のシステム。
48. 前記解剖学的構造のモデルは、前記術前撮像からの３Ｄ再構築物である、請求項４７に記載のシステム。
49. 前記術前撮像は、医療用画像管理システム（ＰＡＣＳ）から読み出される、請求項４７に記載のシステム。
50. 位置合わせすることは、変形可能な位置合わせを含む、請求項２８に記載のシステム。
51. 位置合わせすることは、剛体位置合わせを含む、請求項２８に記載のシステム。
52. 前記点群の中の各点は、前記深度マップから導出される深度値と、前記画像から導出される色値とを備えている、請求項２７に記載のシステム。
53. 合成３次元撮像のためのコンピュータプログラム製品であって、前記コンピュータプログラム製品は、コンピュータ読み取り可能な記憶媒体を備え、前記記憶媒体は、それを用いて具現化されたプログラム命令を有し、前記プログラム命令は、プロセッサに方法を実施させるように前記プロセッサによって実行可能であり、前記方法は、
    カメラから、解剖学的構造の画像を受信することと、
    カメラ深度センサから、前記画像に対応する深度マップを受信することと、
    前記深度マップおよび前記画像に基づいて、前記解剖学的構造に対応する点群を発生させることと、
    空間内で前記点群を回転させることと、
    前記点群をレンダリングすることと、
    前記レンダリングされた点群をユーザに表示することと
    を含む、コンピュータプログラム製品。
54. 前記点群は、予備的な点群であり、前記方法は、
    前記予備的な点群を前記解剖学的構造のモデルと位置合わせすることと、
    前記予備的な点群と前記モデルとから拡張点群を発生させることと
    をさらに含む、請求項５３に記載のコンピュータプログラム製品。
55. 前記方法は、
    前記ユーザから、前記拡張点群をさらに回転させるための指示を受信することと、
    前記指示に従って、空間内で前記拡張点群を回転させることと、
    回転の後、前記拡張点群をレンダリングすることと、
    前記レンダリングされた拡張点群を前記ユーザに表示することと
    をさらに含む、請求項５４に記載のコンピュータプログラム製品。
56. 前記カメラは、前記深度センサを備えている、請求項５４に記載のコンピュータプログラム製品。
57. 前記カメラは、前記深度センサと別個である、請求項５４に記載のコンピュータプログラム製品。
58. 前記深度センサは、構造光センサと、構造化光プロジェクタとを備えている、請求項５７に記載のコンピュータプログラム製品。
59. 前記深度センサは、飛行時間センサを備えている、請求項５７に記載のコンピュータプログラム製品。
60. 前記深度マップは、単一の画像フレームから決定される、請求項５４に記載のコンピュータプログラム製品。
61. 前記深度マップは、２つ以上の画像フレームから決定される、請求項５４に記載のコンピュータプログラム製品。
62. 前記予備的な点群から表面メッシュを発生させることをさらに含む、請求項５４に記載のコンピュータプログラム製品。
63. 表面メッシュを発生させることは、前記予備的な点群を補間することを含む、請求項６２に記載のコンピュータプログラム製品。
64. 補間することは、直接実施される、請求項６３に記載のコンピュータプログラム製品。
65. 補間することは、グリッド上で実施される、請求項６３に記載のコンピュータプログラム製品。
66. 補間することは、スプライン処理することを含む、請求項６３に記載のコンピュータプログラム製品。
67. 表面メッシュを発生させることに先立って、前記予備的な点群を２つ以上の意味領域にセグメント化することをさらに含む、請求項６２に記載のコンピュータプログラム製品。
68. 表面メッシュを発生させることは、前記２つ以上の意味領域の各々に関して別個の表面メッシュを発生させることを含む、請求項６７に記載のコンピュータプログラム製品。
69. 前記別個の表面メッシュの各々を組み合わせられた表面メッシュに組み合わせることをさらに含む、請求項６８に記載のコンピュータプログラム製品。
70. 前記組み合わせられた表面メッシュを前記ユーザに表示することをさらに含む、請求項６９に記載のコンピュータプログラム製品。
71. 前記解剖学的構造のモデルは、仮想３Ｄモデルを備えている、請求項５４に記載のコンピュータプログラム製品。
72. 前記解剖学的構造のモデルは、解剖学的図解書から決定される、請求項７１に記載のコンピュータプログラム製品。
73. 前記解剖学的構造のモデルは、前記患者の術前撮像から決定される、請求項７１に記載のコンピュータプログラム製品。
74. 前記解剖学的構造のモデルは、前記術前撮像からの３Ｄ再構築物である、請求項７３に記載のコンピュータプログラム製品。
75. 前記術前撮像は、医療用画像管理システム（ＰＡＣＳ）から読み出される、請求項７３に記載のコンピュータプログラム製品。
76. 位置合わせすることは、変形可能な位置合わせを含む、請求項５４に記載のコンピュータプログラム製品。
77. 位置合わせすることは、剛体位置合わせを含む、請求項５４に記載のコンピュータプログラム製品。
78. 前記点群の中の各点は、前記深度マップから導出される深度値と、前記画像から導出される色値とを備えている、請求項５３に記載のコンピュータプログラム製品。

Images