JP2018513755A - 解剖学的手術中の手術ツール位置特定の方法及びそのためのシステム - Google Patents

Abstract

解剖学的手術中に手術ツールを位置特定するために、画像取り込みデバイス（２１８）は、手術現場の画像を取り込み、プロセッサ（２０２）は、色制約及び幾何学的制約に基づいて画像（例えば、４０６ｂ）に存在する手術ツールの物理特性を決定する（９０６）。手術ツールの２Ｄマスクが、手術ツールの物理特性に基づいて検出される（９０８）。更に、手術ツールの姿勢が、手術ツールの２Ｄマスクが手術ツールの先端及び／又は終端で遮蔽されている時に推定される（９１２）。【選択図】図１

Description

〔関連出願への相互参照／引用による組み込み〕
本出願は、これにより引用によってその内容全体が組み込まれる２０１５年２月１９日出願の米国仮特許出願第６２／１１８，０４３号に対する優先権を主張するものである。

本発明の開示の様々な実施形態は、手術ツール位置特定の方法及びそのためのシステムに関する。より具体的には、本発明の開示の様々な実施形態は、解剖学的手術中の手術ツール位置特定の方法及びそのためのシステムに関する。

最近の医療科学における進歩により、今日では様々な手術手順及び診断手順は、最小侵襲技術を用いて実行することができる。そのような最小侵襲技術は、患者の皮膚を通して体腔内に内視鏡手術器具又は腹腔鏡手術器具を挿入するために小さい切開を必要とする場合がある。内視鏡手術ツール及び／又は腹腔鏡手術ツールは、体腔のビデオ画像を取り込むための内蔵カメラを含む場合がある。ビデオ映像は、医師が体腔内の指定解剖領域に対して手術手順又は診断手順を実行することを可能にするために医師に実時間で表示することができる。

ある一定のシナリオでは、体腔内の手術器具の１又は２以上の部分の明瞭な視野が、体腔内の別の手術器具、手術ガーゼ、組織、及び／又は煙／霞の１又は２以上の部分によって遮蔽される場合がある。この遮蔽は、医師が手術手順又は診断手順を実行する時に医師に対して障害を引き起こす場合がある。従って、体腔内で手術器具をモニタして位置特定するための手術手順又は診断手順のビデオ映像の実時間解析に対する必要性が存在する。

従来的手法及び因習的手法の更に別の限界及び欠点は、本出願の残りの部分で図面を参照して示すような本発明の開示の一部の態様との説明するシステムの比較を通して当業者には明らかになるであろう。

特許請求の範囲により完全に列挙するような実質的に図のうちの少なくとも１つに示し、及び／又はそれに関連付けて説明するような解剖学的手術中に手術ツールを位置特定する方法及びシステム。

本発明の開示のこれら及び他の特徴及び利点は、全体を通して類似の参照番号が類似の部分を指す添付図面と共に本発明の開示の以下の詳細説明の精査から認めることができる。

本発明の開示の実施形態によるネットワーク環境を示すブロック図である。 本発明の開示の実施形態による例示的画像処理サーバを示すブロック図である。 本発明の開示の実施形態による例示的ユーザ端末を示すブロック図である。 本発明の開示の実施形態によりビデオフレーム内で１又は２以上の手術ツールの姿勢を推定する方法の例示的流れ図である。 本発明の開示の実施形態によりビデオフレームから１又は２以上の煙ブロックを除去する方法の例示的流れ図である。 本発明の開示の実施形態によりビデオフレーム内の１又は２以上の手術ツールの予備２次元（２Ｄ）マスクを精緻化する方法の例示的流れ図である。 本発明の開示の実施形態によるビデオフレーム内の１又は２以上の手術ツールの姿勢の例示的シナリオを示す図である。 本発明の開示の実施形態によるビデオフレーム内の１又は２以上の手術ツールの姿勢の例示的シナリオを示す図である。 本発明の開示の実施形態によるビデオフレーム内の１又は２以上の手術ツールの姿勢の例示的シナリオを示す図である。 本発明の開示の実施形態によるビデオフレーム内の１又は２以上の手術ツールの姿勢の例示的シナリオを示す図である。 本発明の開示の実施形態によりユーザ端末上に提示することができるユーザインタフェース（ＵＩ）の例示的シナリオを示す図である。 本発明の開示の実施形態により解剖学的手術中に手術ツールを位置特定する例示的方法を示す例示的流れ図である。

以下で説明する実施は、解剖学的手術中の手術ツール位置特定のための本発明の開示の方法及びシステムに見出すことができる。本発明の開示の例示的態様は、画像処理エンジンに実施可能な方法を含むことができる。画像処理エンジンは、画像取り込みデバイスに通信的に結合することができる。画像取り込みデバイスは、１又は２以上のビデオフレームを取り込むように構成することができる。本方法は、１又は２以上のビデオフレームに存在する１又は２以上の手術ツールの１又は２以上の物理特性の決定を含むことができる。１又は２以上の物理特性の決定は、１又は２以上の色制約及び幾何学的制約に基づく場合がある。その後に、決定された１又は２以上の手術ツールの１又は２以上の物理特性に基づいて、１又は２以上のビデオフレームに存在する１又は２以上の手術ツールの２次元（２Ｄ）マスクを検出することができる。更に、１又は２以上の手術ツールの２Ｄマスクが１又は２以上の手術ツールの先端及び／又は終端で遮蔽されている時に、１又は２以上の手術ツール内の１又は２以上の手術ツールの姿勢を推定することができる。

実施形態により、１又は２以上のビデオフレームが１又は２以上の煙ブロックで遮蔽されている時に煙なしビデオフレームを発生させるために、１又は２以上のビデオフレームから１又は２以上の煙ブロックを除去することができる。実施形態により、１又は２以上のビデオフレームの前のビデオフレームセットの各々内で、１又は２以上の煙領域を検出することができる。１又は２以上のビデオフレームからの１又は２以上の煙ブロックの除去は、１又は２以上のビデオフレームの前のビデオフレームセットの各々内の検出された１又は２以上の煙領域内のピクセルセットの累積強度に基づく場合がある。

実施形態により、煙なしビデオフレーム内の１又は２以上の手術ツールの検出された２Ｄマスク内の１又は２以上の手術ツールの色特性に基づいて輪郭展開を実行することができる。輪郭展開の実行は、煙なしビデオフレーム内の検出された２Ｄマスクの輪郭の内側及び／又は外側の領域の曲率と強度分散とに更に基づく場合がある。更に、煙なしビデオフレーム内で１又は２以上の手術ツールを検出するために、輪郭展開に基づいて煙なしビデオフレームのセグメント化を実行することができる。

実施形態により、１又は２以上のビデオフレームの各領域に対して適応色フィルタリングを実行することができる。適応色フィルタリングは、１又は２以上の色制約に対応し、かつ１又は２以上のビデオフレームの各領域内のピクセル強度に基づく場合がある。適応色フィルタリングは、ｏｐｐ２色強度ベースのフィルタリング及び／又は正規化ｏｐｐ２色強度ベースのフィルタリングのうちの１つ又は２つに基づいて実行することができる。実施形態により、１又は２以上のビデオフレームに存在する１又は２以上の手術ツールの２Ｄマスクの検出は、適応色フィルタリングに基づく場合がある。

実施形態により、１又は２以上の手術ツールの検出された２Ｄマスクの解析に基づいて、１又は２以上のビデオフレーム内の１又は２以上の手術ツールの先端及び／又は終端の位置を推定することができる。検出された２Ｄマスクの解析は、１又は２以上の手術ツールの検出された２Ｄマスクの長手主軸に沿って延びることができる第１の方向ベクトルに沿って実行することができる。実施形態により、１又は２以上のビデオフレーム内の１又は２以上の手術ツールの先端及び／又は終端の位置の重心を決定することができる。重心が１又は２以上の手術ツールの検出された２Ｄマスクの外側に位置する時又は重心が遮蔽されている時に、１又は２以上のビデオフレーム内の１又は２以上の手術ツールの先端及び／又は終端の位置を再推定することができる。１又は２以上の手術ツールの先端及び／又は終端の位置の再推定は、第２の方向ベクトルに沿った１又は２以上の手術ツールの検出された２Ｄマスクの解析に基づく場合がある。第２の方向ベクトルは、第１の方向ベクトルに対して予め決められた角度にあるとすることができる。

実施形態により、１又は２以上の手術ツールの姿勢の推定は、１又は２以上の手術ツールの先端が遮蔽されている時の１又は２以上の手術ツールの終端の推定位置に基づく場合がある。更に、１又は２以上の手術ツールの姿勢の推定は、１又は２以上の手術ツールの重心及び／又は終端が遮蔽されている時の１又は２以上の手術ツールの先端の推定位置に基づく場合がある。

実施形態により、１又は２以上のビデオフレーム内の１又は２以上の手術ツールの姿勢の推定に基づいて、画像取り込みデバイスの１又は２以上の画像取り込み設定を調節することができる。１又は２以上の画像取り込み設定の例は、自動露光、自動フォーカス、自動ホワイトバランス、又は自動照明を含むことができるがこれらに限定されない。

実施形態により、解剖学的手術中に現在の１又は２以上のビデオフレームをユーザインタフェース（ＵＩ）を通してユーザ（医師のような）に実時間で表示することができる。１又は２以上の手術ツールは、ＵＩを通してユーザに表示される現在の１又は２以上のビデオフレーム内でマスキング又は強調表示することができる。実施形態により、１又は２以上の手術ツールの先端及び／又は終端での１又は２以上の手術ツールの遮蔽を示す通知を発生させることができる。通知の例は、音声警告、文字警告、視覚警告、又は触覚警告を含むことができるがこれらに限定されない。

図１は、本発明の開示の実施形態によるネットワーク環境を示すブロック図である。図１を参照すると、ネットワーク環境１００が示されている。ネットワーク環境１００は、手術デバイス１０２と、画像処理サーバ１０４と、ビデオデータベース１０６と、ユーザ端末１０８と、通信ネットワーク１１０とを含むことができる。手術デバイス１０２は、通信ネットワーク１１０を通じて画像処理サーバ１０４、ビデオデータベース１０６、及びユーザ端末１０８に通信的に結合することができる。

手術デバイス１０２は、患者の１又は２以上の解剖学的領域に関する１又は２以上の手術手順及び／又は診断分析を実施するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。手術デバイス１０２の例は、最小侵襲手術／診断デバイス、最小切開手術／診断デバイス、及び／又は内視鏡／腹腔鏡手術／診断デバイスを含むことができるがこれらに限定されない。

実施形態により、手術デバイス１０２は、画像取り込みデバイス（図１には示していない）を更に含むことができる。画像取り込みデバイスは、患者の解剖学的領域に対して手術手順又は診断手順が実行される時にこの解剖学的領域の１又は２以上のビデオフレームを取り込むことができる。これに代えて、手術デバイス１０２は、通信ネットワーク１１０を通じて画像取り込みデバイスに通信的に結合することができる。画像取り込みデバイスの例は、内視鏡／腹腔鏡カメラ、医療共鳴撮像（ＭＲＩ）デバイス、コンピュータ断層撮像（ＣＴ）走査デバイス、最小侵襲医療撮像デバイス、及び／又は最小切開医療撮像デバイスを含むことができるがこれらに限定されない。

画像処理サーバ１０４は、ユーザ端末１０８及び／又は手術デバイス１０２等の１又は２以上の認可電子デバイスに画像処理サービスを提供することができる１又は２以上のサーバを含むことができる。実施形態により、画像処理サーバ１０４は、手術手順又は診断手順が実行されている間に画像取り込みデバイスによって取り込まれた１又は２以上のビデオフレームを解析するように構成することができる。次いで、画像処理サーバ１０４は、１又は２以上のビデオフレームの解析に基づいて１又は２以上のビデオフレーム内で手術ツールの検出を実行することができる。実施形態により、画像処理サーバ１０４は、当業者に公知のいくつかの技術を使用する複数のクラウドベースのリソースとして実施することができる。更に、画像処理サーバ１０４は、１又は複数のサービスプロバイダに関連付けることができる。１又は２以上のサーバの例は、Ａｐａｃｈｅ（登録商標）ＨＴＴＰサーバ、Ｍｉｃｒｏｓｏｆｔ（登録商標）インターネット情報サービス（ＩＩＳ）、ＩＢＭ（登録商標）アプリケーションサーバ、Ｓｕｎ Ｊａｖａ（登録商標）システムウェブサーバ、及び／又はファイルサーバを含むことができるがこれらに限定されない。

当業者は、本発明の開示の範囲が別々のエンティティとしての画像処理サーバ１０４と手術デバイス１０２との実施に限定されないことを理解するであろう。実施形態により、画像処理サーバ１０４の機能は、本発明の開示の範囲から逸脱することなく手術デバイス１０２によって実施することができる。

ビデオデータベース１０６は、画像取り込みデバイスによって取り込まれた１又は２以上のビデオフレームのリポジトリを格納することができる。実施形態により、ビデオデータベース１０６は、画像処理サーバ１０４に通信的に結合することができる。ビデオデータベース１０６は、画像取り込みデバイスが１又は２以上のビデオフレームを取り込んだ時に画像処理サーバ１０４を通して１又は２以上のビデオフレームを受信することができる。実施形態により、ビデオデータベース１０６は、当業技術で公知の様々なデータベース技術を用いて実行することができる。ビデオデータベース１０６の例は、Ｍｉｃｒｏｓｏｆｔ（登録商標）ＳＱＬサーバ、Ｏｒａｃｌｅ（登録商標）、ＩＢＭ ＤＢ２（登録商標）、Ｍｉｃｒｏｓｏｆｔ Ａｃｃｅｓｓ（登録商標）、ＰｏｓｔｇｒｅＳＱＬ（登録商標）、ＭｙＳＱＬ（登録商標）、及び／又はＳＱＬｉｔｅ（登録商標）を含むことができるがこれらに限定されない。実施形態により、画像処理サーバ１０４は、１又は２以上のプロトコルに基づいてビデオデータベース１０６に接続することができる。そのような１又は２以上のプロトコルの例は、Ｏｐｅｎ Ｄａｔａｂａｓｅ Ｃｏｎｎｅｃｔｉｖｉｔｙ（ＯＤＢＣ）（登録商標）プロトコル及びＪａｖａ Ｄａｔａｂａｓｅ Ｃｏｎｎｅｃｔｉｖｉｔｙ（ＪＤＢＣ）（登録商標）プロトコルを含むことができるがこれらに限定されない。

当業者は、本発明の開示の範囲が別々のエンティティとしての画像処理サーバ１０４とビデオデータベース１０６との実施に限定されないことを理解するであろう。実施形態により、ビデオデータベース１０６の機能は、本発明の開示の範囲から逸脱することなく画像処理サーバ１０４によって実施することができる。

ユーザ端末１０８は、１又は２以上のビデオフレームを医師等のユーザに表示するためのユーザインタフェース（ＵＩ）を提示するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、ユーザ端末１０８は、患者の解剖学的領域に対して手術手順又は診断手順が実行される間に１又は２以上のビデオフレームを実時間で表示することができる。ユーザ端末１０８は、画像処理サーバ１０４によって１又は２以上のビデオフレームの各々内で位置特定された１又は２以上の手術ツールを表示するように更に構成することができる。ユーザ端末１０８の例は、スマート電話、カメラ、タブレットコンピュータ、ラップトップ、着用可能電子デバイス、テレビジョン、インターネットプロトコルテレビジョン（ＩＰＴＶ）、及び／又は携帯情報端末（ＰＤＡ）デバイスを含むことができるがこれらに限定されない。

当業者は、本発明の開示の範囲が別々のエンティティとしてのユーザ端末１０８と画像処理サーバ１０４との実施に限定されないことを理解するであろう。実施形態により、画像処理サーバ１０４の機能は、本発明の開示の範囲から逸脱することなくユーザ端末１０８によって実施することができる。例えば、画像処理サーバ１０４は、ユーザ端末１０８上で実行及び／又はインストールされるアプリケーションプログラムとして実施することができる。

当業者は、実施形態に従ってユーザ端末１０８を手術デバイス１０２と統合することができることを更に理解するであろう。これに代えて、ユーザ端末１０８は、手術デバイス１０２に通信的に結合することができ、ユーザ端末１０８の医師等のユーザは、ユーザ端末１０８のＵＩを通じて手術デバイス１０２を制御することができる。

通信ネットワーク１１０は、手術デバイス１０２及び／又はユーザ端末１０８が画像処理サーバ１０４等の１又は２以上のサーバと通信することを可能にする媒体を含むことができる。通信ネットワーク１１０の例は、インターネット、クラウドネットワーク、無線フィデリティ（Ｗｉ−Ｆｉ）ネットワーク、無線ローカルエリアネットワーク（ＷＬＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、従来の電話サービス（ＰＯＴＳ）、及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）を含むことができるがこれらに限定されない。ネットワーク環境１００内の様々なデバイスは、様々な有線及び無線の通信プロトコルに従って通信ネットワーク１１０に接続するように構成することができる。そのような有線及び無線の通信プロトコルの例は、送信制御プロトコル及びインターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ファイル転送プロトコル（ＦＴＰ）、ＺｉｇＢｅｅ、ＥＤＧＥ、赤外線（ＩＲ）、ＩＥＥＥ ８０２．１１、８０２．１６、セルラー通信プロトコル、及び／又はＢｌｕｅｔｏｏｔｈ（登録商標）（ＢＴ）通信プロトコルを含むことができるがこれらに限定されない。

作動時には、画像取り込みデバイスは、１又は２以上のビデオフレームを取り込むように構成することができる。画像処理サーバ１０４は、取り込まれた１又は２以上のビデオフレームのうちの特定のビデオフレームに存在する１又は２以上の手術ツールの１又は２以上の物理特性を決定するように構成することができる。実施形態により、１又は２以上の手術ツールの１又は２以上の物理特性の決定は、１又は２以上の色制約及び幾何学的制約に基づく場合がある。その後に、画像処理サーバ１０４は、決定した１又は２以上の手術ツールの１又は２以上の物理特性に基づいて、ビデオフレームに存在する１又は２以上の手術ツールの２次元（２Ｄ）マスクを検出することができる。画像処理サーバ１０４は、１又は２以上の手術ツールの先端及び／又は終端で１又は２以上の手術ツールの２Ｄマスクが遮蔽された時にビデオフレーム内で１又は２以上の手術ツールの姿勢を推定するように更に構成することができる。

実施形態により、画像処理サーバ１０４は、当該ビデオフレームの前のビデオフレームセットを解析するように構成することができる。画像処理サーバ１０４は、当該ビデオフレームの前のビデオフレームセットからの各ビデオフレーム内で１又は２以上の煙領域を検出することができる。更に、画像処理サーバ１０４は、当該ビデオフレームの前のビデオフレームセットの各々内で検出された１又は２以上の煙領域内でピクセルセットの累積強度を決定することができる。その後に、画像処理サーバ１０４は、ビデオフレームが１又は２以上の煙ブロックで遮蔽されている時に煙なしビデオフレームを発生させるために、ビデオフレームから１又は２以上の煙ブロックを除去することができる。実施形態により、１又は２以上の煙ブロックの除去は、当該ビデオフレームの前のビデオフレームセットの各々内で検出された１又は２以上の煙領域内のピクセルセットの累積強度に基づく場合がある。

実施形態により、煙なしビデオフレーム内の１又は２以上の手術ツールの検出された２Ｄマスク内の１又は２以上の手術ツールの色特性に基づいて輪郭展開を実行することができる。更に、輪郭展開の実行は、煙なしビデオフレーム内で検出された２Ｄマスクの輪郭の内側及び／又は外側の領域の曲率と強度分散とに基づく場合がある。更に、煙なしビデオフレーム内で１又は２以上の手術ツールを検出するために、輪郭展開に基づいて煙なしビデオフレームのセグメント化を実行することができる。

実施形態により、ビデオフレーム内の各領域に対して適応色フィルタリングを実行することができる。適応色フィルタリングは、１又は２以上の色制約に対応することができ、かつビデオフレーム内の各領域内のピクセル強度に基づく場合がある。適応色フィルタリングは、ｏｐｐ２色強度ベースのフィルタリング及び／又は正規化ｏｐｐ２色強度ベースのフィルタリングに基づいて実行することができる。実施形態により、ビデオフレームに存在する１又は２以上の手術ツールの２Ｄマスクの検出は、適応色フィルタリングに基づく場合がある。

実施形態により、ビデオフレーム内の１又は２以上の手術ツールの先端及び／又は終端の位置を推定することができる。推定は、１又は２以上の手術ツールの検出された２Ｄマスクの解析に基づく場合がある。決定された２Ｄマスクの解析は、このマスクの長手主軸に沿って延びることができる第１の方向ベクトル（以下では、交換可能に「第１の主方向」又は「第１の主軸」と呼ぶ）に沿って実行することができる。実施形態により、ビデオフレーム内の１又は２以上の手術ツールの先端及び／又は終端の位置の重心を決定することができる。ビデオフレーム内の１又は２以上の手術ツールの先端及び／又は終端の位置は、この重心が１又は２以上の手術ツールの検出された２Ｄマスクの外側に位置する時、及び／又は重心が遮蔽されている時に再推定することができる。１又は２以上の手術ツールの先端及び／又は終端の位置の再推定は、決定された２Ｄマスクの第２の方向ベクトル（以下では交換可能に「第２の主方向」又は「第２の主軸」と呼ぶ）に沿った決定された１又は２以上の手術ツールの２Ｄマスクの解析に基づく場合がある。第２の主方向は、第１の主方向に対して予め決められた角度にあるとすることができる。例えば、第２の主方向は、第１の主方向に対して直交することができる。

実施形態により、１又は２以上の手術ツールの姿勢の推定は、１又は２以上の手術ツールの先端が遮蔽されている時の１又は２以上の手術ツールの終端の推定位置に基づく場合がある。更に、１又は２以上の手術ツールの姿勢の推定は、１又は２以上の手術ツールの重心及び／又は終端が遮蔽されている時の１又は２以上の手術ツールの先端の推定位置に基づく場合がある。

実施形態により、画像処理サーバ１０４は、煙領域の決定に基づいて画像取り込みデバイスの１又は２以上の画像取り込み設定を実時間で調節するように構成することができる。１又は２以上の画像取り込み設定の例は、自動露光、自動フォーカス、自動ホワイトバランス、及び／又は自動照明を含むことができるがこれらに限定されない。

実施形態により、画像処理サーバ１０４は、手術手順又は診断手順が実行される間に１又は２以上のビデオフレームをユーザ端末１０８のＵＩを通してユーザ（医師のような）に表示するように更に構成することができる。これらのフレームは現在のビデオフレームを含むことができる。現在のビデオフレーム内で位置特定された１又は２以上の手術ツールは、ＵＩを通してユーザに表示される現在のビデオフレーム内でマスキング又は強調表示することができる。実施形態により、画像処理サーバ１０４は、現在のビデオフレーム内の１又は２以上の手術ツールの位置特定を示す通知を発生させるように更に構成することができる。通知は、現在のビデオフレーム内の各手術ツールの遮蔽の広がり及び／又はタイプを示すことができる。画像処理サーバ１０４は、通知を手術デバイス１０２及び／又はユーザ端末１０８に送信することができる。通知は、手術デバイス１０２及び／又はユーザ端末１０８によってユーザ（医師のような）に提供することができる。通知の例は、音声警告、文字警告、視覚警告、及び／又は触覚警告を含むことができるがこれらに限定されない。

図２は、本発明の開示の実施形態による例示的画像処理サーバを示すブロック図である。図２は、図１に記載の要素に関連付けて説明する。図２を参照すると、画像処理サーバ１０４が示されている。画像処理サーバ１０４は、プロセッサ２０２等の１又は２以上のプロセッサと、送受信機２０４等の１又は２以上の送受信機と、メモリ２０６と、手術場面解析ユニット２０８とを含むことができる。手術場面解析ユニット２０８は、画像フィルタリングエンジン２１０と、ツール位置特定エンジン２１２と、データベースコネクタ２１４と、ＵＩマネージャ２１６と、カメラ制御ユニット２１８とを含むことができる。実施形態により、画像処理サーバ１０４は、通信ネットワーク１１０を通じて、送受信機２０４を通じてビデオデータベース１０６に通信的に結合することができる。これに代えて、画像処理サーバ１０４は、ビデオデータベース１０６を含むことができる。例えば、ビデオデータベース１０６は、メモリ２０６内に実施することができる。

プロセッサ２０２は、送受信機２０４、メモリ２０６、及び手術場面解析ユニット２０８に通信的に結合することができる。送受信機２０４は、通信ネットワーク１１０を通じて手術デバイス１０２及びユーザ端末１０８と通信するように構成することができる。

プロセッサ２０２は、メモリ２０６に格納された命令セットを実行するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。プロセッサ２０２は、当業技術で公知のいくつかのプロセッサ技術に基づいて実行することができる。プロセッサ２０２の例は、Ｘ８６ベースのプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピュータ（ＣＩＳＣ）プロセッサ、及び／又は他のプロセッサとすることができる。

送受信機２０４は、通信ネットワーク１１０を通じてユーザ端末１０８及び／又は手術デバイス１０２と通信する（図１に示すように）ように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。送受信機２０４は、画像処理サーバ１０４と通信ネットワーク１１０との有線又は無線の通信をサポートする公知の技術を実行することができる。送受信機２０４の様々な構成要素は、アンテナ、無線周波（ＲＦ）送受信機、１又は２以上の増幅器、チューナ、１又は２以上の発振器、デジタル信号プロセッサ、符号復号器（ＣＯＤＥＣ）チップセット、加入者識別モジュール（ＳＩＭ）カード、及び／又はローカルバッファを含むことができるがこれらに限定されない。

送受信機２０４は、無線通信を通じて、インターネット、イントラネットのようなネットワーク、及び／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）、及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）のような無線ネットワークと通信することができる。無線通信は、移動通信のためのグローバルシステム（ＧＳＭ（登録商標））、拡張データＧＳＭ（登録商標）環境（ＥＤＧＥ）、広帯域符号分割多重アクセス（Ｗ−ＣＤＭＡ）、符号分割多重アクセス（ＣＤＭＡ）、時分割多重アクセス（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線フィデリティ（Ｗｉ−Ｆｉ）（ＩＥＥＥ ８０２．１１ａ、ＩＥＥＥ ８０２．１１ｂ、ＩＥＥＥ ８０２．１１ｇ、及び／又はＩＥＥＥ ８０２．１１ｎ等）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、Ｗｉ−ＭＡＸ、電子メールのためのプロトコル、インスタントメッセージ、及び／又はショートメッセージサービス（ＳＭＳ）等の複数の通信規格、プロトコル、及び技術のうちのいずれも使用することができる。

メモリ２０６は、プロセッサ２０２によって実行可能な少なくとも１つのコードセクションを有する機械コード及び／又はコンピュータプログラムを格納するように構成することができる適切な論理部、回路、及び／又はインタフェースを含むことができる。実施形態により、メモリ２０６は、画像取り込みデバイスによって取り込まれた１又は２以上のビデオフレームを格納するように更に構成することができる。メモリ２０６の実施の例は、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、及び／又はセキュアデジタル（ＳＤ）カードを含むことができるがこれらに限定されない。

手術場面解析ユニット２０８は、画像取り込みデバイスによって取り込まれた１又は２以上のビデオフレームを解析及び処理するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、手術場面解析ユニット２０８は、プロセッサ２０２の一部とすることができる。これに代えて、手術場面解析ユニット２０８は、画像処理サーバ１０４内の個別のプロセッサ又は回路として実施することができる。実施形態により、手術場面解析ユニット２０８とプロセッサ２０２は、手術場面解析ユニット２０８とプロセッサ２０２の機能を実施する統合プロセッサ又はプロセッサのクラスターとして実施することができる。別の実施形態により、手術場面解析ユニット２０８は、プロセッサ２０２による実行時に手術場面解析ユニット２０８の機能を実行することができるメモリ２０６に格納されたコンピュータプログラムコードとして実施することができる。

画像フィルタリングエンジン２１０は、各ビデオフレームに存在する１又は２以上の手術ツールの２次元（２Ｄ）マスクを検出するために１又は２以上のビデオフレームを解析するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、画像フィルタリングエンジン２１０は、１又は２以上のビデオフレームのうちの特定のビデオフレームに存在する１又は２以上の手術ツールの１又は２以上の物理特性を決定するように構成することができる。１又は２以上の手術ツールの１又は２以上の物理特性の決定は、１又は２以上の色制約及び幾何学的制約に基づく場合がある。画像フィルタリングエンジン２１０は、１又は２以上の手術ツールの決定された１又は２以上の物理特性に基づいて１又は２以上の手術ツールの２Ｄマスクを検出することができる。実施形態により、画像フィルタリングエンジン２１０は、ビデオフレームが１又は２以上の煙ブロックによって遮蔽されている時に煙なしビデオフレームを発生させるために、ビデオフレームから１又は２以上の煙ブロックを除去するように更に構成することができる。

ツール位置特定エンジン２１２は、ビデオフレーム内で１又は２以上の手術ツールの姿勢を推定するように構成することができる適切な論理部、回路、インタフェース及び／又はコードを含むことができる。実施形態により、ツール位置特定エンジン２１２は、ビデオフレーム内の１又は２以上の手術ツールの検出された２Ｄマスクを解析するように構成することができる。この検出は、ビデオフレーム内で１又は２以上の手術ツールの姿勢を推定することができる。ツール位置特定エンジン２１２は、ビデオフレーム内で１又は２以上の手術ツールの先端及び／又は終端の位置を推定するように更に構成することができる。次いで、ツール位置特定エンジン２１２は、１又は２以上の手術ツールの先端及び／又は終端の位置の重心を決定することができる。更に、ツール位置特定エンジン２１２は、重心が１又は２以上の手術ツールの検出された２Ｄマスクの外側に位置する時及び／又は重心が遮蔽されている時に１又は２以上の手術ツールの先端及び／又は終端の位置を再推定することができる。実施形態により、１又は２以上の手術ツールの姿勢は、先端が遮蔽されている時の終端の推定位置に基づいて推定することができる。更に、１又は２以上の手術ツールの姿勢は、重心及び／又は終端が遮蔽されている時の先端の推定位置に基づいて推定することができる。

当業者は、本発明の開示の範囲が、別々のエンティティとしての画像フィルタリングエンジン２１０とツール位置特定エンジン２１２との実施に限定されないことを理解するであろう。実施形態により、画像フィルタリングエンジン２１０とツール位置特定エンジン２１２は、これら両方の機能を実施するように構成することができる単一のエンティティに統合することができる。

データベースコネクタ２１４は、手術場面解析ユニット２０８にビデオデータベース１０６へのアクセス及び接続性を与えるように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、データベースコネクタ２１４は、手術場面解析ユニット２０８とビデオデータベース１０６の間のデータベースセッションを確立することができる。データベースセッションを確立するのに使用される１又は２以上の通信プロトコルの例は、Ｏｐｅｎ Ｄａｔａｂａｓｅ Ｃｏｎｎｅｃｔｉｖｉｔｙ（ＯＤＢＣ）（登録商標）プロトコル及びＪａｖａ Ｄａｔａｂａｓｅ Ｃｏｎｎｅｃｔｉｖｉｔｙ（ＪＤＢＣ）（登録商標）プロトコルを含むことができるがこれらに限定されない。

ＵＩマネージャ２１６は、ユーザ端末１０８上に提示されているＵＩを管理するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、ＵＩマネージャ２１６は、ユーザ端末１０８のユーザ（医師等）に手術場面インタフェースを提供することができる。手術場面インタフェースは、ユーザ端末１０８のＵＩを通じてユーザ端末１０８の表示デバイス上でユーザに提示することができる。実施形態により、手術場面インタフェースは、現在のビデオフレームを含む１又は２以上のビデオフレームをユーザに表示するように構成することができる。現在のビデオフレーム内で位置特定された１又は２以上の手術ツールは、手術場面インタフェースを通してユーザに表示される現在のビデオフレーム内でマスキングされるか又は強調表示することができる。

カメラ制御ユニット２１８は、画像取り込みデバイスの１又は２以上の画像取り込み設定を調節するために画像取り込みデバイスと通信するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、カメラ制御ユニット２１８は、１又は２以上の手術ツール位置特定に基づいて、１又は２以上のビデオフレームを取り込むのに適するか又は最適とすることができる１又は２以上の画像取り込み設定の値を決定するように構成することができる。その後に、カメラ制御ユニット２１８は、１又は２以上の画像取り込み設定の決定値を画像取り込みデバイスに送受信機２０４を通して送信するように構成することができる。画像取り込みデバイスは、カメラ制御ユニット２１８によって送られた対応する値に基づいてその画像取り込み設定を調節することができる。１又は２以上の画像取り込み設定の例は、自動露光、自動フォーカス、自動ホワイトバランス、及び／又は自動照明を含むことができるがこれらに限定されない。

作動時に、医師は、手術デバイス１０２及び１又は２以上の手術器具を用いて患者の解剖領域に対して手術手順又は診断手順を実行することができる。１又は２以上の手術器具の例は、内視鏡カテーテル、手術鉗子、手術切開器具、及び／又は手術ガーゼを含むことができるがこれらに限定されない。手術手順又は診断手順の例は、最小侵襲手術／診断手順、最小切開手術／診断手順、腹腔鏡、及び／又は内視鏡を含むことができるがこれらに限定されない。実施形態により、手術手順又は診断手順は、自動化され、医師からの監督又は指示なく手術ロボットが実施することができる。実施形態により、手術手順又は診断手順は、半自動化され、医師からの１又は２以上の入力信号及び／又は指令によって手術ロボットが実施することができる。実施形態により、画像取り込みデバイス（図１には示していない）は、手術デバイス１０２に通信的に結合することができる（又はそこに含めることができる）。画像取り込みデバイスは、解剖領域に対して手術手順又は診断手順が実行される間に解剖領域の１又は２以上のビデオフレームを実時間で取り込むことができる。その後に、手術デバイス１０２（又は画像取り込みデバイス）は、取り込んだビデオフレームを通信ネットワーク１１０を通して画像処理サーバ１０４に送信することができる。

画像処理サーバ１０４内の送受信機２０４は、手術デバイス１０２から通信ネットワーク１１０を通じて１又は２以上のビデオフレームを受信するように構成することができる。実施形態により、１又は２以上のビデオフレームは、実時間搬送プロトコル及び／又は実時間ストリーミングプロトコル（ＲＴＳＰ）等の通信プロトコルを用いて実時間ストリーミング媒体コンテンツとして受信することができる。データベースコネクタ２１４は、ビデオデータベース１０６とのデータベースセッションを確立し、受信したビデオフレームをビデオデータベース１０６に格納するように構成することができる。更に、ビデオフレームは、メモリ２０６に格納することができる。

画像フィルタリングエンジン２１０は、１又は２以上のビデオフレームを解析するように構成することができる。実施形態により、ビデオフレームは、予め決められた数のビデオフレームが手術デバイス１０２から受信された時にバッチモード（オフライン処理）で解析することができる。実施形態により、ビデオフレームは、各新しいビデオフレームの受信時に実時間ベースで解析することができる（オンライン処理）。画像フィルタリングエンジン２１０は、ビデオフレームの解析に向けてビデオフレームをメモリ２０６又はビデオデータベース１０６から検索して取得することができる。

実施形態により、１又は２以上の手術ツールの２Ｄマスクを検出するための現在のビデオフレームの解析の前に、画像フィルタリングエンジン２１０は、現在のビデオフレームが１又は２以上の煙ブロックで遮蔽されているか否かを決定するように構成することができる。画像フィルタリングエンジン２１０は、ビデオフレームが１又は２以上の煙ブロックで遮蔽されている時に煙なしビデオフレームを発生させるために、現在のビデオフレームから１又は２以上の煙ブロックを除去するように構成することができる。実施形態により、画像フィルタリングエンジン２１０は、現在のビデオフレームの前のビデオフレームセットからの各ビデオフレーム内で１又は２以上の煙領域を検出することができる。その後に、画像フィルタリングエンジン２１０は、現在のビデオフレームの前のビデオフレームセットからの各ビデオフレーム内で検出された１又は２以上の煙領域内のピクセルセットの累積強度を決定することができる。現在のビデオフレームからの１又は２以上の煙ブロックの除去は、ピクセルセットの決定された累積強度に基づく場合がある。例えば、画像フィルタリングエンジン２１０は、決定された１又は２以上の煙領域に対応するピクセルセットの累積強度を現在のビデオフレーム内の対応するピクセルの強度から減算することができる。この減算は、煙なしビデオフレームを発生させるために行うことができる。当業者は、ピクセルセットの累積強度が予め決められた強度閾値範囲にある時には現在のビデオフレームからの１又は２以上の煙ブロックの除去を省略することができることを理解するであろう。煙なしビデオフレームを発生させるために現在のビデオフレームから１又は２以上の煙ブロックを除去する方法を示す例示的流れ図に対しては図５で説明する。

実施形態により、画像フィルタリングエンジン２１０は、現在のビデオフレームに存在する１又は２以上の手術ツールの１又は２以上の物理特性を決定するために現在のビデオフレーム（又は煙なしビデオフレーム）を解析するように構成することができる。１又は２以上の手術ツールの１又は２以上の物理特性の決定は、１又は２以上の色制約及び幾何学的制約に基づく場合がある。その後に、画像フィルタリングエンジン２１０は、１又は２以上の手術ツールの１又は２以上の物理特性に基づいてビデオフレーム内で１又は２以上の手術ツールの２Ｄマスクを検出することができる。

実施形態により、画像フィルタリングエンジン２１０は、現在のビデオフレーム（又は煙なしビデオフレーム）内の各領域内のピクセル強度に基づいて適応色フィルタリングを実行することによって１又は２以上の色制約を適用することができる。適応色フィルタリングは、ｏｐｐ２色強度ベースのフィルタリング又は正規化ｏｐｐ２色強度ベースのフィルタリングに基づいて現在のビデオフレーム（又は煙なしビデオフレーム）内の各領域に対して実行することができる。実施形態により、画像フィルタリングエンジン２１０は、適応色フィルタリングを実行するのに以下の条件を解析することができる。

ここで、「Ｉ_gray」は、ビデオフレームのピクセルのグレースケール強度を表し、
「ｏｐｐ２」は、次式で与えられるピクセルのｏｐｐ２色成分を表し、

「ｏｐｐ２_norm」は、次式で与えられるピクセルの正規化ｏｐｐ２色成分を表し、

「Ｒ」、「Ｇ」、「Ｂ」は、ピクセルの赤、緑、及び青の色成分を表している。

実施形態により、画像フィルタリングエンジン２１０は、ビデオフレーム内の１又は２以上の手術ツールに対応することができる１又は２以上の着目領域を決定するために条件「条件１」及び「条件２」を解析することができる。画像フィルタリングエンジン２１０は、ビデオフレーム内で高輝度ピクセルを有する領域（１００よりも高いか又はそれに等しいグレースケール強度を有するピクセルを含む領域のような）に関して条件「条件１」を解析することができる。更に、画像フィルタリングエンジン２１０は、ビデオフレーム内で低輝度ピクセルを有する領域（１００よりも低いグレースケール強度を有するピクセルを含む領域のような）に関して条件「条件２」を検査することができる。明らかなように、条件「条件１」は、ビデオフレームの高輝度領域内でｏｐｐ２色強度ベースのフィルタリングの実行を必要とする可能性がある。更に、条件「条件２」は、ビデオフレームの低輝度領域内で正規化ｏｐｐ２色強度ベースのフィルタリングの実行を必要とする可能性がある。当業者は、１又は２以上の手術ツールを含む領域が、赤及び緑の色成分において僅かな差のみを有するピクセルを包含する可能性があることを理解するであろう。従って、ビデオフレーム内で１又は２以上の手術ツールに対応することができる１又は２以上の領域を決定するのにｏｐｐ２色強度ベースのフィルタリングを使用することができる。しかし、ｏｐｐ２色強度ベースのフィルタリングは、ビデオフレームの低輝度領域内で１又は２以上の手術ツールを決定するのには効率的ではない可能性がある。１又は２以上の手術ツールは、低輝度領域内では正規化ｏｐｐ２色強度ベースのフィルタリングを用いて実質的に検出することができる。従って、ビデオフレーム内で１又は２以上の手術ツールに対応することができる着目領域は、適応色フィルタリングを用いてｏｐｐ２色強度ベースのフィルタリングと正規化ｏｐｐ２色強度ベースのフィルタリングとの両方に基づいて決定することができる。

実施形態により、画像フィルタリングエンジン２１０は、ビデオフレーム内で１又は２以上の手術ツールの２Ｄマスクを検出するために、決定された１又は２以上の着目領域に対して１又は２以上の幾何学的制約を適用するように構成することができる。例えば、画像フィルタリングエンジン２１０は、各着目領域のサイズが予め決められたサイズ閾値よりも大きいか否かを検査することができる。更に、画像フィルタリングエンジン２１０は、決定された１又は２以上の着目領域に対してエッジ検出を実行することができる。その後に、画像フィルタリングエンジン２１０は、各着目領域内のエッジの個数が予め決められたエッジ計数値よりも大きいか否かを検査することができる。更に、画像フィルタリングエンジン２１０は、着目領域がビデオフレーム内で外側から内への方位に所在するか否かを決定することができる。画像フィルタリングエンジン２１０は、着目領域が上述のサイズ、エッジ、及び／又は方位の条件を満たしている場合にこの着目領域を１又は２以上の手術ツールの２Ｄマスクの一部として指定することができる。従って、ビデオフレーム内の１又は２以上の手術ツールの２Ｄマスクの検出は、ビデオフレームの各領域に対する適応色フィルタリング、及び／又は１又は２以上の幾何学的制約の適用に基づく場合がある。

実施形態により、画像フィルタリングエンジン２１０は、１又は２以上の手術ツールの検出された２Ｄマスクを精緻化するように更に構成することができる。この精緻化は、現在のビデオフレーム内で１又は２以上の手術ツールを検出するために行うことができる。実施形態により、画像フィルタリングエンジン２１０は、１又は２以上の手術ツールの検出された２Ｄマスク内で輪郭を決定するように構成することができる。その後に、画像フィルタリングエンジン２１０は、現在のビデオフレーム（又は煙なしビデオフレーム）内の１又は２以上の手術ツールの検出された２Ｄマスク内で決定された輪郭に対して輪郭展開を実行することができる。輪郭展開は、１又は２以上の手術ツールの検出された２Ｄマスク内の１又は２以上の手術ツールの色特性に基づいて実行することができる。実施形態により、画像フィルタリングエンジン２１０は、輪郭展開を実行するのに次の式（３）及び（４）を使用することによるレベル集合ベースの技術を使用することができる。

ここで、

は、輪郭上のピクセルでのタンジェンシャルの瞬間の傾きを表し、

は、平均曲率運動を表し、
「ｕ₀」は、ピクセル強度を表し、
「ｃ₁」は、輪郭の内側の平均ピクセル強度を表し、
「ｃ₂」は、輪郭の外側の平均ピクセル強度を表している。

このように画像フィルタリングエンジン２１０は、１又は２以上の手術ツールの検出された２Ｄマスクに対して輪郭展開を実行して検出された２Ｄマスクを精緻化するために微分方程式（３）及び（４）を適用することができる。実施形態により、輪郭展開は、現在のビデオフレーム（又は煙なしビデオフレーム）内で検出された２Ｄマスクの輪郭の内側及び／又は外側の領域の曲率と強度分散とに基づく場合がある。明らかなように、式（３）における表現式：

は、決定された２Ｄマスクに対応する着目領域内の輪郭の高い曲率に罰則を与えるために使用することができる。更に、着目領域内の輪郭の内側及び外側それぞれの強度分散を最小にするために表現式「（ｕ₀−ｃ₁）²」及び「（ｕ₀−ｃ₂）²」を使用することができる。着目領域内のエッジでの輪郭を展開させるために式（４）を使用することができる。当業者は、着目領域内のピクセルの色特性を上記で説明した適応色フィルタリングに従って使用することができることを理解するであろう。例えば、輪郭展開の実行を考慮するのに、高輝度ピクセル（１００よりも高いか又はそれに等しい強度を有するピクセル）に対してｏｐｐ２色強度を考慮することができ、それに対して着目領域内の低輝度ピクセルに対して正規化ｏｐｐ２色強度を考慮することができる。これに代えて、画像フィルタリングエンジン２１０は、着目領域内のピクセルの平均ピクセル強度を決定することができる。画像フィルタリングエンジン２１０は、平均ピクセル強度が高い（１００よりも高いか又はそれに等しいのような）場合に着目領域内のピクセルのｏｐｐ２色強度を考慮することができる。他の場合は着目領域内のピクセルの正規化ｏｐｐ２色強度を考慮することができる。現在のビデオフレーム内で１又は２以上の手術ツールの予備２Ｄマスクを精緻化する方法を示す例示的流れ図に対しては図６で説明する。

実施形態により、画像フィルタリングエンジン２１０は、１又は２以上の手術ツールの検出された２Ｄマスクに対する輪郭展開の実行に基づいて現在のビデオフレーム（又は煙なしビデオフレーム）のセグメント化を実行することができる。次いで、画像フィルタリングエンジン２１０は、セグメント化処理の結果に基づいて１又は２以上の手術ツールを検出することができる。こうして画像フィルタリングエンジン２１０は、現在のビデオフレーム内で１又は２以上の手術ツールを検出するために、１又は２以上の手術ツールの２Ｄマスクを精緻化することができる。

実施形態により、ツール位置特定エンジン２１２は、１又は２以上の手術ツールの２Ｄマスクが１又は２以上の手術ツールの先端及び／又は終端で遮蔽されている時にビデオフレーム内の１又は２以上の手術ツールの姿勢を推定するように構成することができる。ツール位置特定エンジン２１２は、１又は２以上の手術ツールの姿勢を推定するために、ビデオフレーム内の１又は２以上の手術ツールの先端及び／又は終端の位置を推定することができる。実施形態により、先端及び／又は終端の位置の推定は、第１の主方向に沿った１又は２以上の手術ツールの検出された２Ｄマスクの解析に基づく場合がある。実施形態により、第１の主方向は、１又は２以上の手術ツールの検出された２Ｄマスクの長手主軸に沿って延びることができる。更に、ツール位置特定エンジン２１２は、１又は２以上の手術ツールの先端及び／又は終端の位置の重心を決定することができる。実施形態により、ツール位置特定エンジン２１２は、重心が１又は２以上の手術ツールの検出された２Ｄマスクの外側に位置する時又は重心が遮蔽されている時に１又は２以上の手術ツールの先端及び／又は終端の位置を再推定するように更に構成することができる。先端及び／又は終端の位置の再推定は、第２の主方向に沿った１又は２以上の手術ツールの２Ｄマスクの解析に基づく場合がある。第２の主方向は、第１の主方向に対して予め決められた角度にあるとすることができる。実施形態により、第２の主方向は、第１の主方向に対して直交する緯度方向主軸に沿って延びることができる。そのようなシナリオでは、予め決められた角度を直角（又は「９０度」）とすることができる。しかし、当業者は、本発明の開示の範囲が直角としての予め決められた角度に限定されるものではないことを理解するであろう。予め決められた角度は、鋭角（又は「０度から９０度」）、鈍角（又は「９０度から１８０度」）、又は優角（又は「１８０度から３６０度」）等のあらゆる他の角度とすることができる。

実施形態により、１又は２以上の手術ツールの姿勢の推定は、１又は２以上の手術ツールの先端が遮蔽されている時の１又は２以上の手術ツールの終端の推定（又は再推定）位置に基づく場合がある。更に、１又は２以上の手術ツールの姿勢の推定は、１又は２以上の手術ツールの重心及び／又は終端が遮蔽されている時の１又は２以上の手術ツールの推定（又は再推定）位置に基づく場合がある。ビデオフレーム内の１又は２以上の手術ツールの姿勢の例示的シナリオに対しては図７Ａから図７Ｄに関して説明する。更に、ビデオフレーム内で１又は２以上の手術ツールの姿勢を推定する方法を示す例示的流れ図に対しては図４に関して説明する。

当業者は、様々な予め決められた閾値が例示的な値であることを理解するであろう。予め決められた閾値は、本発明の開示の範囲から逸脱することなく実施、ソフトウエア、ハードウエア、及び／又はユーザ要件に基づいて変えることができる。

実施形態により、ＵＩマネージャ２１６は、手術場面インタフェースをユーザ端末１０８の医師等のユーザに提示するように構成することができる。手術場面インタフェースは、ユーザ端末１０８のＵＩを通してユーザ端末１０８の表示デバイス上でユーザに提示することができる。実施形態により、手術場面インタフェースは、現在のビデオフレームを含む１又は２以上のビデオフレームをユーザに表示するように構成することができる。現在のビデオフレーム内で位置特定された１又は２以上の手術ツールは、手術場面インタフェースを通してユーザに表示される現在のビデオフレーム内でマスキング又は強調表示することができる。手術場面インタフェースの例示的シナリオに対しては図８で説明する。

実施形態により、ＵＩマネージャ２１６は、現在のビデオフレーム内の１又は２以上の手術ツール位置特定を合図することができる通知を発生させるように更に構成することができる。通知は、現在のビデオフレーム内の各手術ツールの遮蔽の広がり及び／又はタイプを示すことができる。ＵＩマネージャ２１６は、発生された通知をユーザ端末１０８に通信することができる。通知は、ユーザ端末１０８のＵＩを通してユーザに提示することができる。１又は２以上の手術ツール位置特定のための１又は２以上のビデオフレームの実時間解析又はオンライン解析の場合に、ＵＩマネージャ２１６は、発生された通知を送受信機２０４を通して手術デバイス１０２に送信することができる。通知の例は、音声警告、文字警告、視覚警告、及び／又は触覚フィードバックを含むことができるがこれらに限定されない。

実施形態により、カメラ制御ユニット２１８は、現在のビデオフレーム内の１又は２以上の手術ツールの位置特定に基づいて画像取り込みデバイスの１又は２以上の画像取り込み設定に対する最適値を決定するように構成することができる。１又は２以上の画像取り込み設定の例は、自動露光、自動フォーカス、自動ホワイトバランス、又は自動照明を含むことができるがこれらに限定されない。実施形態により、１又は２以上の画像取り込み設定の最適値は、１又は２以上の手術ツールを包含する領域のサイズ、この領域内の平均ピクセル強度、１又は２以上の手術ツールの遮蔽の広がり、又はこの領域の１又は２以上の特徴等の１又は２以上の条件に基づいて決定することができる。実施形態において、最適値の決定は、ユーザ指定基準に基づく場合がある。カメラ制御ユニット２１８は、１又は２以上の画像取り込み設定の最適値を送受信機２０４を通して画像取り込みデバイスに送信するように構成することができる。画像取り込みデバイスの１又は２以上の画像取り込み設定は、カメラ制御ユニット２１８によって送られたそれぞれの最適値に基づいて調節することができる。

実施形態により、ＵＩマネージャ２１６は、１又は２以上の画像取り込み設定の最適値をユーザ端末１０８のＵＩを通じてユーザに提示することができる。ＵＩマネージャ２１６は、ユーザがユーザ端末１０８のＵＩを通じて最適値を確認又は調節することを可能にすることができる。ＵＩマネージャ２１６は、最適値の確認又は調節を示すユーザ入力をユーザ端末１０８から送受信機２０４を通じて受信することができる。その後に、カメラ制御ユニット２１８は、ユーザ入力に基づいて最適値を更新し、更新した最適値を送受信機２０４を通じて画像取り込みデバイスに送信することができる。画像取り込みデバイスの１又は２以上の画像取り込み設定は、カメラ制御ユニット２１８から受信した更新された最適値に基づいて調節することができる。

図３は、本発明の開示の実施形態による例示的ユーザ端末を示すブロック図である。図３を図１に記載の要素に関連付けて説明する。図３を参照すると、ユーザ端末１０８が示されている。ユーザ端末１０８は、プロセッサ３０２等の１又は２以上のプロセッサと、送受信機３０４等の１又は２以上の送受信機と、メモリ３０６と、クライアントインタフェースユニット３０８と、表示デバイス３１４とを含むことができる。クライアントインタフェースユニット３０８は、ＵＩマネージャ３１０と表示アダプタ３１２とを含むことができる。プロセッサ３０２は、送受信機３０４、メモリ３０６、クライアントインタフェースユニット３０８、及び表示デバイス３１４に通信的に結合することができる。送受信機３０４は、画像処理サーバ１０４及び／又は手術デバイス１０２と通信ネットワーク１１０を通じて通信するように構成することができる。

プロセッサ３０２は、メモリ３０６に格納された命令セットを実行するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。プロセッサ３０２は、当業技術で公知のいくつかのプロセッサ技術に基づいて実行することができる。プロセッサ３０２の例は、Ｘ８６ベースのプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピュータ（ＣＩＳＣ）プロセッサ、及び／又は他のプロセッサとすることができる。

送受信機３０４は、通信ネットワーク１１０を通じて画像処理サーバ１０４及び／又は手術デバイス１０２と通信する（図１に示すように）ように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。送受信機３０４は、ユーザ端末１０８と通信ネットワーク１１０との有線又は無線の通信をサポートする公知の技術を実行することができる。送受信機３０４は、アンテナ、無線周波（ＲＦ）送受信機、１又は２以上の増幅器、チューナ、１又は２以上の発振器、デジタル信号プロセッサ、符号復号器（ＣＯＤＥＣ）チップセット、加入者識別モジュール（ＳＩＭ）カード、及び／又はローカルバッファを含むことができるがこれらに限定されない。

送受信機３０４は、無線通信を通じて、インターネット、イントラネットのようなネットワーク、及び／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）、及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）のような無線ネットワークと通信することができる。無線通信は、移動通信のためのグローバルシステム（ＧＳＭ（登録商標））、拡張データＧＳＭ（登録商標）環境（ＥＤＧＥ）、広帯域符号分割多重アクセス（Ｗ−ＣＤＭＡ）、符号分割多重アクセス（ＣＤＭＡ）、時分割多重アクセス（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線フィデリティ（Ｗｉ−Ｆｉ）（ＩＥＥＥ ８０２．１１ａ、ＩＥＥＥ ８０２．１１ｂ、ＩＥＥＥ ８０２．１１ｇ、及び／又はＩＥＥＥ ８０２．１１ｎ等）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、Ｗｉ−ＭＡＸ、電子メールのためのプロトコル、インスタントメッセージ、及び／又はショートメッセージサービス（ＳＭＳ）等の複数の通信規格、プロトコル、及び技術のうちのいずれも使用することができる。

メモリ３０６は、プロセッサ３０２によって実行可能な少なくとも１つのコードセクションを有する機械コード及び／又はコンピュータプログラムを格納するように構成することができる適切な論理部、回路、及び／又はインタフェースを含むことができる。メモリ３０６の実施例は、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、及び／又はセキュアデジタル（ＳＤ）カードを含むことができるがこれらに限定されない。

クライアントインタフェースユニット３０８は、ユーザ端末１０８上に提示されている１又は２以上のＵＩをレンダリングし、管理するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、クライアントインタフェースユニット３０８は、プロセッサ３０２の一部とすることができる。これに代えて、クライアントインタフェースユニット３０８は、ユーザ端末１０８内の個別のプロセッサ又は回路として実施することができる。例えば、クライアントインタフェースユニット３０８は、プロセッサ３０２に通信的に結合された専用グラフィックプロセッサ又はグラフィックチップセットとして実施することができる。実施形態により、クライアントインタフェースユニット３０８とプロセッサ３０２は、クライアントインタフェースユニット３０８とプロセッサ３０２の機能を実施する統合プロセッサ又はプロセッサクラスターとして実施することができる。実施形態により、クライアントインタフェースユニット３０８は、プロセッサ３０２による実行時にクライアントインタフェースユニット３０８の機能を実行することができるメモリ３０６に格納されたコンピュータプログラムコードとして実施することができる。

ＵＩマネージャ３１０は、ユーザ端末１０８のＵＩを管理するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、ＵＩマネージャ３１０は、ユーザ端末１０８の入力デバイス（図示していない）を通して、ユーザ端末１０８のＵＩを通じて受信されるユーザ入力を受信かつ処理するように更に構成することができる。実施形態により、入力デバイスは、ユーザ端末１０８に通信的に結合する（又はそこに含める）ことができる。入力デバイスの例は、キーボード、マウス、ジョイスティック、トラックパッド、音声対応入力デバイス、タッチ対応入力デバイス、及び／又は動作対応入力デバイスを含むことができるがこれらに限定されない。

実施形態により、ＵＩマネージャ３１０は、画像処理サーバ１０４のＵＩマネージャ２１６と送受信機３０４を通して通信するように更に構成することができる。そのような通信は、手術場面インタフェースに対応する情報の受信を容易にすることができる。その後に、ＵＩマネージャ３１０は、手術場面インタフェースをユーザ端末１０８のＵＩを通じて提示することができる。

表示アダプタ３１２は、ＵＩマネージャ３１０と表示デバイス３１４とをインタフェースで接続するように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、表示アダプタ３１２は、表示デバイス３１４の表示構成に基づいてユーザ端末１０８のＵＩのレンダリング及び表示特性の調節を実行することができる。表示調節を実施するために使用することができる１又は２以上の技術の例は、画像改善、画像安定化、コントラスト調節、輝度調節、解像度調節、及び／又は歪み／回転の調節を含むことができるがこれらに限定されない。

表示デバイス３１４は、ＵＩをレンダリングするように構成することができる適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、表示デバイス３１４は、ユーザ端末１０８の一部として実施することができる。別の実施形態により、表示デバイス３１４は、ユーザ端末１０８に通信的に結合することができる。表示デバイス３１４は、ブラウン管（ＣＲＴ）ベースのディスプレイ、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ベースのディスプレイ、有機ＬＥＤディスプレイ技術、及び／又はＲｅｔｉｎａディスプレイなどのようないくつかの公知の技術を用いて実現することができる。更に、実施形態により、表示デバイス３１４は、ユーザから入力を受信することができる。そのようなシナリオでは、表示デバイス３１４は、ユーザが入力を与えることを可能にするタッチスクリーンとすることができる。実施形態により、タッチスクリーンは、抵抗タッチスクリーン、容量タッチスクリーン、及び／又は熱タッチスクリーンなどのうちの少なくとも１つに対応することができる。実施形態により、表示デバイス３１４は、仮想キーパッド、スタイラス、動作ベースの入力、及び／又はタッチベースの入力を通して入力を受信することができる。そのような場合に、入力デバイスは、表示デバイス３１４内に統合することができる。これに加えて、実施形態により、ユーザ端末１０８は、タッチスクリーンベースの表示デバイス３１４とは別に補助的な入力デバイスを含むことができる。

作動時に、ユーザ端末１０８の送受信機３０４は、画像処理サーバ１０４のＵＩマネージャ２１６から通信ネットワーク１１０を通して手術場面インタフェースに対応する情報を受信することができる。実施形態により、その後に、ユーザ端末１０８のＵＩマネージャ３１０は、手術場面インタフェースをユーザ端末１０８のＵＩを通してユーザに提示することができる。実施形態により、手術場面インタフェースは、現在のビデオフレームを含むことができる１又は２以上のビデオフレームをユーザに提示することができる。実施形態により、現在のビデオフレームがユーザに表示される時に、現在のビデオフレーム内で位置特定された１又は２以上の手術ツールをマスキング又は強調表示することができる。手術場面インタフェースの例に対しては図６でより詳細に説明する。

実施形態により、手術場面インタフェースによって提示される１又は２以上のビデオフレームは、手術手順又は診断手順が実行される間に画像取り込みデバイスによって取り込まれる実時間ビデオ映像とすることができる。そのような場合に、画像処理サーバ１０４は、１又は２以上のビデオフレームからの現在のビデオフレームに存在する１又は２以上の手術ツールを位置特定するために実時間ベース（オンライン処理）で１又は２以上のビデオフレームを解析することができる。現在のビデオフレーム内で位置特定することができる１又は２以上の手術ツールは、手術場面インタフェースを通して現在のビデオフレーム内のマスキング領域又は強調表示領域としてユーザに同時に提示することができる。

実施形態により、手術場面インタフェースは、現在のビデオフレームに存在する１又は２以上の手術ツール位置特定を示す通知をユーザに提示するように更に構成することができる。通知は、現在のビデオフレーム内の各手術ツールの遮蔽の広がり及び／又はタイプを示すことができる。通知の例は、音声警告、文字警告、視覚警告、及び／又は触覚警告を含むことができるがこれらに限定されない。ユーザ（医師のような）に対して、通知に基づいて行動を起こすように促すことができる。例えば、手術場面インタフェースは、画像取り込みデバイスの１又は２以上の画像取り込み設定を調節するようにユーザに促すことができる。実施形態により、画像処理サーバ１０４のカメラ制御ユニット２１８は、１又は２以上の手術ツールの位置特定に基づいて１又は２以上の画像取り込み設定に対する最適値を決定するように構成することができる。手術場面インタフェースは、これらの最適値を１又は２以上の画像取り込み設定に対する提案値としてユーザに提示することができる。ユーザは、ユーザに提示された提案値に基づいて画像取り込みデバイスの１又は２以上の画像取り込み設定を調節することができる。画像取り込みデバイスの１又は２以上の画像取り込み設定の調節に加えて、ユーザ（医師のような）は、１又は２以上の手術ツールの遮蔽の広がりを低減するために解剖領域内で１又は２以上の手術ツールを再位置合わせ／再位置決めすることができる。

図４は、本発明の開示の実施形態によりビデオフレーム内で１又は２以上の手術ツールの姿勢を推定する方法の例示的流れ図を示している。図４を図１及び図２に記載の要素に関連付けて説明する。図４を参照すると、流れ図４００が示されている。流れ図４００は、入力ビデオフレーム４０２と、解剖領域４０４と、第１の手術ツール４０６ａと、第２の手術ツール４０６ｂと、色／幾何学的フィルタリング済みビデオフレーム４０８と、マスキングされたビデオフレーム４１０と、第１の２Ｄマスク４１２ａと、第２の２Ｄマスク４１２ｂとを含む。流れ図４００は、予備姿勢推定されたビデオフレーム４１４と、第１の先端４１６ａと、第２の先端４１６ｂと、第３の先端４１６ｃと、第１の終端４１８と、重心４２０と、出力ビデオフレーム４２２と、第１の姿勢４２４ａと、第２の姿勢４２４ｂとを更に含む。

流れ図４００に示すように、入力ビデオフレーム４０２は、画像取り込みデバイスによって取り込まれた１又は２以上のビデオフレームからのビデオフレームのスナップショットを示している。入力ビデオフレーム４０２は、第１の手術ツール４０６ａと第２の手術ツール４０６ｂとを用いて手術手順又は診断手順が実行される解剖領域４０４を表している。実施形態により、画像処理サーバ１０４の画像フィルタリングエンジン２１０は、入力ビデオフレーム４０２が１又は２以上の煙ブロックで遮蔽されている場合に煙なしビデオフレーム（図示せず）を発生させるために、入力ビデオフレーム４０２から１又は２以上の煙ブロックを除去することができる。煙なしビデオフレームを発生させるために、入力ビデオフレーム４０２から１又は２以上の煙ブロックを除去する方法を示す例示的流れ図に対しては図５に関連付けて説明する。

実施形態により、画像フィルタリングエンジン２１０は、入力ビデオフレーム４０２内で１又は２以上の手術ツール（第１の手術ツール４０６ａ及び第２の手術ツール４０６ｂのような）の１又は２以上の物理特性を決定するために入力ビデオフレーム４０２（又は煙なしビデオフレーム）を解析するように構成することができる。１又は２以上の物理特性の決定は、１又は２以上の色制約及び幾何学的制約に基づく場合がある。１又は２以上の色制約は、図２において詳述したように条件「条件１」及び「条件２」に基づいて実行することができる適応色フィルタリングに対応することができる。画像フィルタリングエンジン２１０は、入力ビデオフレーム４０２内で第１の手術ツール４０６ａ及び第２の手術ツール４０６ｂに対応することができる１又は２以上の着目領域を１又は２以上の色制約に基づいて検出することができる。更に、画像フィルタリングエンジン２１０は、入力ビデオフレーム４０２内で１又は２以上の手術ツール（第１の手術ツール４０６ａ及び第２の手術ツール４０６ｂのような）の予備２Ｄマスクを検出するために、決定された１又は２以上の領域に対して１又は２以上の幾何学的制約を適用することができる。先に解説したように、１又は２以上の幾何学的制約は、各着目領域がサイズ、エッジ個数、及び／又は方位の条件を満たすか否かの決定に対応することができる。上述の条件を満たす着目領域を予備２Ｄマスクの一部と表示することができる。色／幾何学的フィルタリング済みビデオフレーム４０８は、入力ビデオフレーム４０２（又は煙なしビデオフレーム）に対する１又は２以上の色制約及び幾何学的制約の適用に基づいて取得することができる得られるビデオフレームを示している。

実施形態により、画像フィルタリングエンジン２１０は、１又は２以上の色制約及び幾何学的制約に基づいて検出された予備２Ｄマスクを精緻化するように構成することができる。画像フィルタリングエンジン２１０は、予備２Ｄマスク内で輪郭を決定し、次いで、決定された輪郭に対して輪郭展開を実行することができる。輪郭展開は、図２において式（３）及び（４）で詳述したレベル集合ベースの技術を用いて第１の手術ツール４０６ａ及び第２の手術ツール４０６ｂの色特性に基づいて実行することができる。実施形態により、輪郭展開は、予備２Ｄマスクの輪郭の内側及び／又は外側の領域の曲率と強度分散とに基づく場合がある。画像フィルタリングエンジン２１０は、輪郭展開に基づいて輪郭展開されたビデオフレーム（図示せず）を取得することができる。

その後に、画像フィルタリングエンジン２１０は、ツールセグメント化されたビデオフレーム（図示せず）を取得するために、輪郭展開されたビデオフレーム（図示せず）に対してセグメント化を実行することができる。ツールセグメント化されたビデオフレームは、１又は２以上の手術ツール（第１の手術ツール４０６ａ及び第２の手術ツール４０６ｂのような）の精緻化された２Ｄマスクを含むことができる。入力ビデオフレーム４０２内で１又は２以上の手術ツール（第１の手術ツール４０６ａ及び第２の手術ツール４０６ｂのような）の予備２Ｄマスクを精緻化する方法を示す例示的流れ図に対しては図６で説明する。マスキングされたビデオフレーム４１０は、ツールセグメント化されたビデオフレーム（図示せず）が入力ビデオフレーム４０２の上に重ね合わされた時に取得することができる得られるビデオフレームを示している。図４に示すように、マスキングされたビデオフレーム４１０は、第１の２Ｄマスク４１２ａと第２の２Ｄマスク４１２ｂを含む。第１の２Ｄマスク４１２ａは、第１の手術ツール４０６ａを包含する２Ｄマスクに対応することができ、それに対して第２の２Ｄマスク４１２ｂは、第２の手術ツール４０６ｂを包含する２Ｄマスクに対応することができる。

実施形態により、画像処理サーバ１０４のツール位置特定エンジン２１２は、マスキングされたビデオフレーム４１０から１又は２以上の手術ツール（第１の手術ツール４０６ａ及び第２の手術ツール４０６ｂのような）の姿勢を推定するように構成することができる。ツール位置特定エンジン２１２は、第１の２Ｄマスク４１２ａ及び第２の２Ｄマスク４１２ｂそれぞれの解析に基づいて第１の手術ツール４０６ａ及び第２の手術ツール４０６ｂの先端及び／又は終端の位置を推定することができる。その後に、ツール位置特定エンジン２１２は、１又は２以上の手術ツール（第１の手術ツール４０６ａ及び第２の手術ツール４０６ｂのような）の先端及び／又は終端の位置の重心の位置を決定することができる。例えば、ツール位置特定エンジン２１２は、第１の手術ツール４０６ａの第１の２Ｄマスク４１２ａに基づいて第１の先端４１６ａ及び第２の先端４１６ｂの位置を推定することができる。更に、ツール位置特定エンジン２１２は、第２の手術ツール４０６ｂの第２の２Ｄマスク４１２ｂに基づいて第３の先端４１６ｃ及び第１の終端４１８の位置を推定することができる。次いで、ツール位置特定エンジン２１２は、第１の先端４１６ａ、第２の先端４１６ｂ、第３の先端４１６ｃ、及び第１の終端４１８の位置に基づいて重心４２０の位置を推定することができる。予備姿勢推定されたビデオフレーム４１４は、マスキングされたビデオフレーム４１０から先端（第１の先端４１６ａ、第２の先端４１６ｂ、及び第３の先端４１６ｃのような）、終端（第１の終端４１８のような）、及び重心（重心４２０）の位置が推定された時に取得することができる得られるビデオフレームを示している。

実施形態により、ツール位置特定エンジン２１２は、更に、先端（第１の先端４１６ａ、第２の先端４１６ｂ、及び第３の先端４１６ｃのような）、終端（第１の終端４１８のような）、及び／又は重心（重心４２０のような）が遮蔽されているか否かを決定するために予備姿勢推定されたビデオフレーム４１４を解析することができる。更に、ツール位置特定エンジン２１２は、重心（重心４２０のような）が２Ｄマスク（第１の２Ｄマスク４１２ａ及び第２の２Ｄマスク４１２ｂのような）の外側に位置するか否かを決定することができる。実施形態により、ツール位置特定エンジン２１２は、重心（重心４２０）が２Ｄマスク（第１の２Ｄマスク４１２ａ及び第２の２Ｄマスク４１２ｂのような）の外側に位置するか又は重心（重心４２０）が遮蔽されている場合に、先端（第１の先端４１６ａ、第２の先端４１６ｂ、及び第３の先端４１６ｃのような）及び／又は終端（第１の終端４１８のような）の位置を再推定することができる。

次いで、ツール位置特定エンジン２１２は、先端（第１の先端４１６ａ、第２の先端４１６ｂ、及び第３の先端４１６ｃのような）及び／又は終端（第１の終端４１８のような）の位置の再推定に基づいて重心（重心４２０）の位置を更新することができる。実施形態により、ツール位置特定エンジン２１２は、先端（第１の先端４１６ａ、第２の先端４１６ｂ、及び第３の先端４１６ｃのような）、終端（第１の終端４１８のような）、及び重心（重心４２０）の推定位置に基づいて１又は２以上の手術ツール（第１の手術ツール４０６ａ及び第２の手術ツール４０６ｂのような）の姿勢を推定することができる。姿勢の推定は、先端（第１の先端４１６ａ、第２の先端４１６ｂ、及び第３の先端４１６ｃのような）が遮蔽されている時の終端（第１の終端４１８のような）の位置に基づく場合がある。

更に、姿勢の推定は、終端（第１の終端４１８のような）及び／又は重心（重心４２０）が遮蔽されている時の先端（第１の先端４１６ａ、第２の先端４１６ｂ、及び第３の先端４１６ｃのような）の位置に基づく場合がある。１又は２以上の手術ツール（第１の手術ツール４０６ａ及び第２の手術ツール４０６ｂのような）の姿勢の推定に対しては、図７Ａから図７Ｄに示す例示的な姿勢を参照してより詳しく説明する。出力ビデオフレーム４２２は、予備姿勢推定されたビデオフレーム４１４からの１又は２以上の手術ツール（第１の手術ツール４０６ａ及び第２の手術ツール４０６ｂのような）の姿勢の推定に基づいて取得することができる得られるビデオフレームに対応する。

図４に示すように、出力ビデオフレーム４２２は、入力ビデオフレーム４０２内で第１の手術ツール４０６ａ及び第２の手術ツール４０６ｂに関して推定された姿勢にそれぞれ対応する第１の姿勢４２４ａ及び第２の姿勢４２４ｂを含むことができる。第１の姿勢４２４ａ内に第１の手術ツール４０６ａの第１の主軸及び第２の主軸を表している。更に、第２の姿勢４２４ｂ内に第２の手術ツール４０６ｂの第１及び第２の主軸を表している。

図５は、本発明の開示の実施形態によりビデオフレームから１又は２以上の煙ブロックを除去する方法の例示的流れ図を示している。図５を図１及び図２に記載の要素に関連付けて説明する。図５を参照すると、流れ図５００が示されている。流れ図５００は、ビデオフレーム５０２ａから５０２ｎを含む前のビデオフレームセット５０２を含む。流れ図５００は、累積煙ビデオフレーム５０４と、現在のビデオフレーム５０６と、解剖領域５０８と、第１の手術ツール５１０ａ及び第２の手術ツール５１０ｂと、１又は２以上の煙ブロック５１２と、煙なしビデオフレーム５１４とを更に含む。

実施形態により、現在のビデオフレーム５０６は、画像取り込みデバイスによって取り込まれた１又は２以上のビデオフレームからのビデオフレームに対応することができる。更に、前のビデオフレームセット５０２は、現在のビデオフレーム５０６の取り込みの前に画像取り込みデバイスによって取り込まれたものとすることができるビデオフレームに対応することができる。従って、前のビデオフレームセット５０２は、画像取り込みデバイスによって取り込まれた１又は２以上のビデオフレームの順番で現在のビデオフレーム５０６の時間的に前に発生したものとすることができる。

実施形態により、画像処理サーバ１０４の画像フィルタリングエンジン２１０は、現在のビデオフレーム５０６の前に取り込まれた予め決められた数のビデオフレーム（前のビデオフレームセット５０２のような）を順番に解析することができる。前のビデオフレーム（前のビデオフレームセット５０２のような）の解析に基づいて、画像フィルタリングエンジン２１０は、各前のビデオフレーム（５０２ａから５０２ｎのような）内で１又は２以上の煙領域を検出することができる。次いで、画像フィルタリングエンジン２１０は、各前のビデオフレーム（５０２ａから５０２ｎのような）内の１又は２以上の煙領域の各々内に包含されるピクセルセットの累積強度を決定することができる。画像フィルタリングエンジン２１０は、各前のビデオフレーム（５０２ａから５０２ｎのような）から検出された１又は２以上の煙領域内のピクセルセットの累積強度を表す累積煙ビデオフレーム５０４を発生させることができる。

流れ図５００に示すように、現在のビデオフレーム５０６は、第１の手術ツール５１０ａと第２の手術ツール５１０ｂとを用いて手術手順又は診断手順が実行される解剖領域５０８を表している。更に、現在のビデオフレーム５０６は、１又は２以上のブロック（１又は２以上の煙ブロック５１２のような）内に包含される煙で遮蔽されている可能性がある。実施形態により、画像フィルタリングエンジン２１０は、煙なしビデオフレーム５１４を発生させるために現在のビデオフレーム５０６から１又は２以上の煙ブロック５１２を除去することができる。実施形態により、画像フィルタリングエンジン２１０は、当該煙ブロック内の平均ピクセル強度が予め決められた閾値内に収まっている時には現在のビデオフレーム５０６から煙ブロック（１又は２以上の煙ブロック５１２のうちの）を除去しないことができる。

実施形態により、現在のビデオフレーム５０６からの１又は２以上の煙ブロック５１２の除去は、累積煙ビデオフレーム５０４に基づく場合がある。例えば、画像フィルタリングエンジン２１０は、煙なしビデオフレーム５１４を発生させるために、累積煙ビデオフレーム５０４内のピクセルの強度を現在のビデオフレーム５０６内の対応するピクセルの強度から差し引くことができる。

図６は、本発明の開示の実施形態によりビデオフレーム内で１又は２以上の手術ツールの予備２Ｄマスクを精緻化する方法の例示的流れ図を示している。図６を図１及び図２に記載の要素に関連付けて説明する。図６を参照すると、流れ図６００が示されている。流れ図６００は、前処理されたビデオフレーム６０２と、解剖領域６０４と、１又は２以上の手術ツール（第１の手術ツール６０６ａ、第２の手術ツール６０６ｂ、及び第３の手術ツール６０６ｃのような）と、１又は２以上の２Ｄマスク（第１の２Ｄマスク６０８ａ、第２の２Ｄマスク６０８ｂ、及び第３の２Ｄマスク６０８ｃのような）とを含む。更に、流れ図６００は、輪郭付きビデオフレーム６１０と、１又は２以上のツール輪郭（第１のツール輪郭６１２ａ、第２のツール輪郭６１２ｂ、及び第３のツール輪郭６１２ｃのような）と、輪郭展開されたビデオフレーム６１４と、１又は２以上の展開された輪郭（第１の展開された輪郭６１６ａ、第２の展開された輪郭６１６ｂ、及び第３の展開された輪郭６１６ｃのような）とを含む。更に、流れ図６００は、ツールセグメント化されたビデオフレーム６１８と、１又は２以上のツールセグメント（第１のツールセグメント６２０ａ、第２のツールセグメント６２０ｂ、及び第３のツールセグメント６２０ｃのような）とを含む。

実施形態により、画像処理サーバ１０４の画像フィルタリングエンジン２１０は、画像取り込みデバイスによって取り込まれた１又は２以上のビデオフレームからの現在のビデオフレーム（図示せず）の予備解析を実行することができる。予備解析に基づいて、画像フィルタリングエンジン２１０は、図４で先に解説したように、現在のビデオフレーム内で１又は２以上の手術ツール（６０６ａ、６０６ｂ、及び６０６ｃのような）の予備２Ｄマスクを検出することができる。前処理されたビデオフレーム６０２は、予備解析に基づいて現在のビデオフレーム（図示せず）から発生させることができる得られるビデオフレームを示している。前処理されたビデオフレーム６０２は、現在のビデオフレーム内で検出することができる第１の２Ｄマスク６０８ａ、第２の２Ｄマスク６０８ｂ、及び第３の２Ｄマスク６０８ｃ等の予備２Ｄマスクを含むことができる。前処理されたビデオフレーム６０２は、第１の手術ツール６０６ａと、第２の手術ツール６０６ｂと、第３の手術ツール６０６ｃとを更に含む。第１の２Ｄマスク６０８ａは、第１の手術ツール６０６ａを包含することができ、第２の２Ｄマスク６０８ｂは、第２の手術ツール６０６ｂを包含することができる。更に、第３の手術ツール６０６ｃは、第３の２Ｄマスク６０８ｃ内に包含される場合がある。

実施形態により、画像フィルタリングエンジン２１０は、前処理されたビデオフレーム６０２から検出された予備２Ｄマスク（６０８ａ、６０８ｂ、及び６０８ｃのような）の輪郭を決定するように構成することができる。輪郭付きビデオフレーム６１０は、決定された予備２Ｄマスク（第１の２Ｄマスク６０８ａ、第２の２Ｄマスク６０８ｂ、及び第３の２Ｄマスク６０８ｃのような）の輪郭の決定に基づいて前処理されたビデオフレーム６０２から発生させることができる得られるビデオフレームを示している。輪郭付きビデオフレーム６１０は、第１のツール輪郭６１２ａ、第２のツール輪郭６１２ｂ、及び第３のツール輪郭６１２ｃ等の決定された輪郭を含むことができる。第１のツール輪郭６１２ａは、第１の２Ｄマスク６０８ａ（第１の手術ツール６０６ａの）に対応することができ、それに対して第２のツール輪郭６１２ｂは、第２の２Ｄマスク６０８ｂ（第２の手術ツール６０６ｂの）に対応することができる。更に、第３のツール輪郭６１２ｃは、第３の２Ｄマスク６０８ｃ（第３の手術ツール６０６ｃの）に対応することができる。

実施形態により、画像フィルタリングエンジン２１０は、輪郭付きビデオフレーム６１０内の決定された輪郭（第１のツール輪郭６１２ａ、第２のツール輪郭６１２ｂ、及び第３のツール輪郭６１２ｃのような）に対して輪郭展開を実行するように更に構成することができる。輪郭展開は、図２に詳述した式（３）及び（４）で説明したレベル集合ベースの技術を用いて１又は２以上の手術ツール（第１の手術ツール６０６ａ、第２の手術ツール６０６ｂ、及び第３の手術ツール６０６ｃのような）の色特性に基づいて実行することができる。実施形態により、輪郭展開は、輪郭（第１のツール輪郭６１２ａ、第２のツール輪郭６１２ｂ、及び第３のツール輪郭６１２ｃのような）の内側及び／又は外側の領域の曲率と強度分散とに基づく場合がある。輪郭展開されたビデオフレーム６１４は、輪郭（第１のツール輪郭６１２ａ、第２のツール輪郭６１２ｂ、及び第３のツール輪郭６１２ｃのような）に対する輪郭展開の実行に基づいて輪郭付きビデオフレーム６１０から取得することができる得られるビデオフレームを示している。輪郭展開されたビデオフレーム６１４は、第１の展開された輪郭６１６ａ、第２の展開された輪郭６１６ｂ、及び第３の展開された輪郭６１６ｃ等の１又は２以上の展開された輪郭を含むことができる。第１の展開された輪郭６１６ａは、第１のツール輪郭６１２ａに対応することができ、それに対して第２の展開された輪郭６１６ｂは、第２のツール輪郭６１２ｂに対応することができる。更に、第３の展開された輪郭６１６ｃは、第３のツール輪郭６１２ｃに対応することができる。

実施形態により、画像フィルタリングエンジン２１０は、ツールセグメント化されたビデオフレーム６１８を取得するために、輪郭展開されたビデオフレーム６１４のセグメント化を実行するように更に構成することができる。ツールセグメント化されたビデオフレーム６１８は、第１のツールセグメント６２０ａ、第２のツールセグメント６２０ｂ、及び第３のツールセグメント６２０ｃ等の１又は２以上のツールセグメントを含むことができる。第１のツールセグメント６２０ａは、第１の展開された輪郭６１６ａのセグメント化に基づいて決定することができる。更に、第２のツールセグメント６２０ｂ及び第３のツールセグメント６２０ｃは、それぞれ第２の展開された輪郭６１６ｂ及び第３の展開された輪郭６１６ｃのセグメント化に基づいて決定することができる。実施形態により、画像フィルタリングエンジン２１０は、１又は２以上の手術ツール（第１の手術ツール６０６ａ、第２の手術ツール６０６ｂ、及び第３の手術ツール６０６ｃのような）の予備２Ｄマスク（第１の２Ｄマスク６０８ａ、第２の２Ｄマスク６０８ｂ、及び第３の２Ｄマスク６０８ｃのような）を精緻化することができる。精緻化は、１又は２以上のツールセグメント（第１のツールセグメント６２０ａ、第２のツールセグメント６２０ｂ、及び第３のツールセグメント６２０ｃのような）に基づく場合がある。

図７Ａから図７Ｄは、本発明の開示の実施形態によるビデオフレーム内の１又は２以上の手術ツールの姿勢の例示的シナリオを示している。図７Ａを参照すると、第１の例示的シナリオ７００ａが示されている。更に、図７Ｂは第２の例示的シナリオ７００ｂを表し、一方、図７Ｃ及び図７Ｄは、それぞれ第３の例示的シナリオ７００ｃ及び第４の例示的シナリオ７００ｄを表している。４つの例示的シナリオ（７００ａから７００ｄのような）の各々は、第１の手術ツール７０４と第２の手術ツール７０６とを含むビデオフレーム７０２を表している。しかし、手術ツール７０４及び７０６の姿勢は、これら４つの例示的シナリオ７００ａから７００ｄにおいて異なっている。

第１の例示的シナリオ７００ａは、第１の手術ツール７０４の先端（７０４ａで表す）での遮蔽を表しており、それに対して第２の例示的シナリオ７００ｂは、第２の手術ツール７０６の先端（７０６ａで表す）での遮蔽を表している。更に、第３の例示的シナリオ７００ｃは、２つの手術ツールの先端及び終端の重心（７０８で表す）での遮蔽を表している。更に、第４の例示的シナリオ７００ｄは、第１の手術ツール７０４の終端（７０４ｂで表す）での遮蔽を表している。各例示的シナリオ（７００ａから７００ｄのような）は、第１の主軸セット（主軸７１０ａ及び７１２ａを含む）と第２の主軸セット（主軸７１０ｂ及び７１２ｂを含む）を更に表している。主軸７１０ａ及び７１０ｂは、それぞれ第１の手術ツール７０４の第１の主軸及び第２の主軸に対応することができる。主軸７１２ａ及び７１２ｂは、それぞれ第２の手術ツール７０６の第１の主軸及び第２の主軸に対応することができる。実施形態により、第２の主軸セットの各々は、第１の主軸セットからの関連の主軸に対して予め決められた角度にあるとすることができる。例えば、主軸７１０ａと７１０ｂと（第１の手術ツール７０４の）は、互いに対して直交することができる。同様に、主軸７１２ａと７１２ｂと（第２の手術ツール７０６の）も互いに対して直交することができる。

実施形態により、画像処理サーバ１０４のツール位置特定エンジン２１２は、ビデオフレーム７０２内で１又は２以上の手術ツール（第１の手術ツール７０４及び第２の手術ツール７０６のような）の先端及び／又は終端の位置を推定することができる。先端及び／又は終端の位置は、ビデオフレーム７０２内で検出された１又は２以上の手術ツール（第１の手術ツール７０４及び第２の手術ツール７０６のような）の２Ｄマスクの解析に基づいて推定することができる。２Ｄマスクの検出に対しては図２及び図４において詳細に記述している。

実施形態により、ツール位置特定エンジン２１２は、先端及び／又は終端の位置を推定するために、第１の主軸（長手主軸のような）に沿って２Ｄマスクを解析することができる。例えば、ツール位置特定エンジン２１２は、第１の手術ツール７０４の２Ｄマスクをこのツール７０４の７１０ａ等の第１の主軸に沿って解析することができる。更に、ツール位置特定エンジン２１２は、第２の手術ツール７０６の２Ｄマスクをこのツールの７０６の７１０ｂ等の第１の主軸に沿って解析することができる。ツール位置特定エンジン２１２は、この位置に基づいて先端及び／又は終端の重心の位置を決定することができる。

実施形態により、重心が遮蔽されている時又は重心が検出された２Ｄマスクの外側に位置する時に、ツール位置特定エンジン２１２は、１又は２以上の手術ツール（第１の手術ツール７０４及び第２の手術ツール７０６のような）の先端及び／又は終端の位置を再推定することができる。例えば、第１の例示的シナリオ７００ａ及び第４の例示的シナリオ７００ｄでは、重心は、検出された２Ｄマスクの外側に位置することができ、それに対して第３の例示的シナリオ７００ｃでは、重心は、遮蔽されている可能性がある。従って、７００ａ、７００ｃ、及び７００ｄ等のそれぞれ第１、第３、及び第４の例示的シナリオの場合に、ツール位置特定エンジン２１２は、１又は２以上の手術ツール（第１の手術ツール７０４及び第２の手術ツール７０６のような）の先端及び／又は終端の位置を再推定することができる。

更に、ツール位置特定エンジン２１２は、先端及び／又は終端の再推定位置に基づいて重心の位置を更新することができる。先端及び／又は終端の位置の再推定は、第２の主軸（第１の手術ツール７０４の第２の主軸７１０ｂ及び第２の手術ツール７０６の第２の主軸７１２ｂ）に沿った検出された２Ｄマスクの解析に基づく場合がある。第２の主軸は、第１の主軸に対して予め決められた角度にあるとすることができる。例えば、第２の主軸は、第１の主軸に対して直交することができる。従って、第１の主軸が、検出された２Ｄマスクの緯度方向主軸に対応する場合に、第２の主軸は、検出された２Ｄマスクの長手主軸に対応することができる。実施形態により、ツール位置特定エンジン２１２は、先端及び／又は終端の推定位置に基づいてビデオフレーム７０２内の１又は２以上の手術ツール（第１の手術ツール７０４及び第２の手術ツール７０６のような）の姿勢を推定することができる。

図７Ａの第１の例示的シナリオ７００ａは、第１の手術ツール７０４の先端（７０４ａで表す）が第２の手術ツール７０６の先端（７０６ａで表す）によって鈍角（「９０度」よりも大きく「１８０度」よりも小さい）で遮蔽されるシナリオを示している。ツール位置特定エンジン２１２は、第１の手術ツール７０４及び第２の手術ツール７０６の２Ｄマスクをそれぞれの手術ツールの第１の主軸（７１０ａ及び７１２ａで表す）に沿って解析することができる。この場合に、第１の手術ツール７０４及び第２の手術ツール７０６の非遮蔽先端の個数及び非遮蔽終端の個数は１に等しい。第１の主軸に沿った２Ｄマスクの解析に基づいて、ツール位置特定エンジン２１２は、先端と終端との重心（７０８で表す）が２Ｄマスクの外側に位置すると決定することができる。従って、ツール位置特定エンジン２１２は、先端のうちの１又は２以上が遮蔽されている可能性があることを確認することができる。手術ツール７０４及び７０６の姿勢を推定するために、ツール位置特定エンジン２１２は、更にこれらのツールの２Ｄマスクをそれぞれの手術ツールの第２の主軸（７１０ｂ及び７１２ｂで表す）に沿って解析することができる。この場合に、第１の手術ツール７０４及び第２の手術ツール７０６の姿勢の推定は、第１の手術ツール７０４及び第２の手術ツール７０６のそれぞれの終端の推定位置にそれぞれ基づく場合がある。

図７Ｂの第２の例示的シナリオ７００ｂは、第２の手術ツール７０６の先端（７０６ａで表す）が第１の手術ツール７０４の先端（７０４ａで表す）によって鋭角（「９０度」よりも小さい）で遮蔽されるシナリオを示している。ツール位置特定エンジン２１２は、手術ツール７０４及び７０６の先端及び終端を検出するために、手術ツール７０４及び７０６の２Ｄマスクをそれぞれの手術ツールの第１の主軸（７１０ａ及び７１２ａで表す）に沿って解析することができる。この場合に、１又は２以上の手術ツール（第１の手術ツール７０４及び第２の手術ツール７０６のような）の非遮蔽先端の個数は、非遮蔽終端の個数よりも少ないとすることができる。当業者は、現シナリオでは先端及び終端の重心（７０８によって表す）が２Ｄマスクの内側に位置する可能性があるので、ツール位置特定エンジン２１２が手術ツール７０４及び７０６の２Ｄマスクをこれらのツールの第２の主軸（それぞれ７１０ｂ及び７１２ｂ）に沿って解析する必要がないことを認めるであろう。更に、このシナリオでは、ツール位置特定エンジン２１２は、第１の手術ツール７０４及び第２の手術ツール７０６のそれぞれの終端の推定位置に基づいて第１の手術ツール７０４及び第２の手術ツール７０６の姿勢をそれぞれ推定することができる。

図７Ｃの第３の例示的シナリオ７００ｃは、第１の手術ツール７０４及び第２の手術ツール７０６の先端及び／又は終端の重心（遮蔽された重心７０８のような）での遮蔽を示している。ツール位置特定エンジン２１２は、手術ツール７０４及び７０６の先端及び終端を検出するために、手術ツール７０４及び７０６の２Ｄマスクをそれぞれの手術ツールの第１の主軸（７１０ａ及び７１２ａで表す）に沿って解析することができる。この場合に、非遮蔽先端の個数は、１又は２以上の手術ツール（第１の手術ツール７０４及び第２の手術ツール７０６のような）の非遮蔽終端の個数よりも多いか又はそれに等しいとすることができる。当業者は、現シナリオでは先端及び終端の重心（７０８によって表す）が２Ｄマスクの内側に位置する可能性があるので、ツール位置特定エンジン２１２は、手術ツール７０４及び７０６の２Ｄマスクをこれらのツールの第２の主軸（それぞれ７１０ｂ及び７１２ｂ）に沿って解析する必要がないことを認めるであろう。更に、このシナリオでは、ツール位置特定エンジン２１２は、第１の手術ツール７０４及び第２の手術ツール７０６のそれぞれの先端の推定位置に基づいて第１の手術ツール７０４及び第２の手術ツール７０６の姿勢をそれぞれ推定することができる。

図７Ｄの第４の例示的シナリオ７００ｄは、第１の手術ツール７０４の終端（７０４ｂで表す）が第２の手術ツール７０６の終端（７０６ｂによって表す）によって遮蔽されるシナリオを示している。ツール位置特定エンジン２１２は、手術ツール７０４及び７０６の先端及び終端を検出するために、手術ツール７０４及び７０６の２Ｄマスクをそれぞれの手術ツールの第１の主軸（７１０ａ及び７１２ａで表す）に沿って解析することができる。この場合に、非遮蔽先端の個数は、１又は２以上の手術ツール（第１の手術ツール７０４及び第２の手術ツール７０６のような）の非遮蔽終端の個数よりも多いか又はそれに等しい。第１の主軸に沿った２Ｄマスクの解析に基づいて、ツール位置特定エンジン２１２は、先端及び終端の重心（７０８によって表す）が２Ｄマスクの外側に位置すると決定することができる。従って、ツール位置特定エンジン２１２は、終端のうちの１又は２以上が遮蔽されている可能性があることを確認することができる。手術ツール７０４及び７０６の姿勢を推定するために、ツール位置特定エンジン２１２は、これらのツールの２Ｄマスクをそれぞれの手術ツールの第２の主軸（７１０ｂ及び７１２ｂで表す）に沿って更に解析することができる。この場合に、ツール位置特定エンジン２１２は、第１の手術ツール７０４及び第２の手術ツール７０６のそれぞれの先端の推定位置に基づいて第１の手術ツール７０４及び第２の手術ツール７０６の姿勢をそれぞれ推定することができる。

図８は、本発明の開示の実施形態によるユーザ端末１０８上に提示することができるＵＩの例示的シナリオを示している。図８を図１の要素に関連付けて説明する。図８を参照すると、ユーザ端末１０８のユーザに提示することができるユーザインタフェース（ＵＩ）が示されている。

実施形態により、ＵＩは、１又は２以上のビデオフレームをユーザに提示するための手術場面インタフェース８０２を表示するように構成することができる。例えば、図８に示すように、手術場面インタフェース８０２は、患者の解剖領域８０４の斜視断面図のスナップショットを含むビデオフレームを表示することができる。スナップショットは、解剖領域８０４に対して手術手順又は診断手順が実行される間に取り込むことができる。

スナップショット内に示すように、手術手順又は診断手順は、手術ガーゼ８０８等の１又は２以上の手術ガーゼと、手術鉗子８０６（第１の手術ツール）及び内視鏡手術器具８１０（第２の手術ツール）等の１又は２以上の手術器具とを用いて実行することができる。例えば、図８に示すように、内視鏡手術器具８１０を用いて手術手順又は診断手順が実行される時に、解剖領域８０４の面は、手術鉗子８０６を用いて保持することができる。更に、手術手順又は診断手順が実行される間に滲出する可能性がある血液又は他の体液を吸収するために手術ガーゼ８０８を使用することができる。図８には単一の手術ガーゼ及び２つの手術器具しか示していないが、手術手順又は診断手順を実行するのに、本発明の開示の範囲から逸脱することなく１又は２以上の追加の手術ガーゼ及び／又は手術器具を使用することができる。図８に示すように、手術場面インタフェース８０２は、手術鉗子８０６及び内視鏡手術器具８１０をそれぞれ取り囲む第１の境界８１２ａ及び第２の境界８１２ｂをビデオフレームのスナップショット内に更に例示している。手術場面インタフェース８０２は、第１の境界８１２ａ内に手術鉗子８０６の第１の姿勢軸（８１４ａで表す）と第２の姿勢軸（８１４ｂで表す）とを更に示している。これに加えて、手術場面インタフェース８０２は、第２の境界８１２ｂ内に内視鏡手術器具８１０の第１及び第２の姿勢軸（それぞれ８１６ａ及び８１６ｂで表す）を示している。

作動時に、手術場面インタフェース８０２内への特定のビデオフレームの表示の前に、画像処理サーバ１０４は、ビデオフレームを解析することができる。実施形態により、画像処理サーバ１０４の画像フィルタリングエンジン２１０は、１又は２以上の手術ツール（手術鉗子８０６及び内視鏡手術器具８１０のような）の１又は２以上の物理特性を決定することができる。１又は２以上の物理特性の決定は、１又は２以上の色制約及び幾何学的制約に基づく場合がある。その後に、画像フィルタリングエンジン２１０は、決定した１又は２以上の物理特性に基づいて、ビデオフレームに存在する１又は２以上の手術ツール（８０６及び８１０のような）の２Ｄマスクを検出することができる。更に、画像処理サーバ１０４のツール位置特定エンジン２１２は、１又は２以上の手術ツールの先端及び／又は終端での遮蔽に基づいてビデオフレーム内の１又は２以上の手術ツール（８０６及び８１０のような）の姿勢を推定することができる。それぞれの手術ツールの推定姿勢に基づいて、１又は２以上の手術ツール（８０６及び８１０のような）の位置は、ビデオフレーム内で決定することができる。

実施形態により、手術場面インタフェース８０２は、ビデオフレームがユーザに提示されている間にビデオフレーム内で位置特定することができる１又は２以上の手術ツール（８０６及び８１０のような）をマスキング又は強調表示することができる。例えば、手術場面インタフェース８０２は、ビデオフレーム内で手術鉗子８０６を取り囲む第１の境界８１２ａを手術鉗子８０６の位置特定と姿勢推定とに基づいて表示することができる。同様に、手術場面インタフェース８０２は、ビデオフレーム内で内視鏡手術器具８１０を取り囲む第２の境界８１２ｂを内視鏡手術器具８１０の位置特定と姿勢推定とに基づいて表示することができる。実施形態により、手術場面インタフェース８０２は、手術鉗子８０６の姿勢の推定に基づいて第１の境界８１２ａ内における手術鉗子８０６の第１の姿勢軸８１４ａと第２の姿勢軸８１４ｂとを表示することができる。更に、内視鏡手術器具８１０の姿勢の推定に基づいて、手術場面インタフェース８０２は、内視鏡手術器具８１０の第１及び第２の姿勢軸（それぞれ８１６ａ及び８１６ｂのような）を表示することができる。

実施形態により、手術場面インタフェース８０２は、ビデオフレーム内の１又は２以上の手術ツール（手術鉗子８０６及び内視鏡手術器具８１０のような）の位置特定を示す通知をユーザに提示するように更に構成することができる。通知は、現在のビデオフレーム内の各手術ツール（８０６及び８１０のような）の遮蔽の広がり及び／又はタイプを示すことができる。通知の例は、音声警告、文字警告、視覚警告、及び／又は触覚警告を含むことができるがこれらに限定されない。ビデオフレームが実時間で提示される場合に、手術場面インタフェース８０２は、通知に基づいて特定の行動を起こすようにユーザ（医師のような）に促すことができる。例えば、手術場面インタフェース８０２は、画像取り込みデバイスの１又は２以上の画像取り込み設定を調節するようにユーザに促すことができる。

手術場面インタフェース８０２は、１又は２以上の画像取り込み設定に対する最適値を提案することができる。ユーザは、ユーザに提示された提案最適値に基づいて画像取り込みデバイスの１又は２以上の画像取り込み設定を調節することができる。画像取り込みデバイスの１又は２以上の画像取り込み設定の調節に加えて、ユーザ（医師のような）は、１又は２以上の手術ツール（８０６及び８１０のような）の遮蔽の広がりを低減するために、解剖領域内で１又は２以上の手術ツール（８０６及び８１０のような）を再位置合わせ／再位置決めすることができる。当業者は、図８のＵＩが例証目的のために提供したものであり、本発明の開示の範囲を限定するものと解釈すべきではないことを理解するであろう。

本発明の開示の様々な実施形態は、多くの利点を包含することができる。上記で解説したように、画像処理サーバ１０４は、各ビデオフレーム内で１又は２以上の手術ツールの位置を実時間で決定するために、１又は２以上の手術ツールの姿勢の推定に基づいて１又は２以上のビデオフレームを解析することができる。ビデオフレームの解析中に、画像処理サーバ１０４は、最初に１又は２以上の色制約及び幾何学的制約に基づいて１又は２以上の手術ツールの１又は２以上の物理特性を決定することができる。画像処理サーバ１０４は、ビデオフレームが１又は２以上の煙ブロックで遮蔽されている時に煙なしビデオフレームを発生させるために、ビデオフレームから１又は２以上の煙ブロックを除去することができる。１又は２以上の煙ブロックの除去は、１又は２以上の手術ツールの位置特定の処理の精度を改善することができる。更に、画像処理サーバ１０４は、１又は２以上の物理特性と１又は２以上の煙ブロックの除去とに基づいて１又は２以上の手術ツールの２Ｄマスクを検出することができる。解説したように、画像処理サーバ１０４は、１又は２以上の手術ツールの検出された２Ｄマスクに関する輪郭の輪郭展開に基づいて１又は２以上の手術ツールの検出された２Ｄマスクを精緻化することができる。すなわち、最初に検出された２Ｄマスクは、精緻化することができ、それによってビデオフレーム内の１又は２以上の手術ツールの検出を更に改善することができる。

実施形態により、画像処理サーバ１０４は、１又は２以上の手術ツールの検出された２Ｄマスクにおける１又は２以上の手術ツールの先端／終端の遮蔽に基づいて１又は２以上の手術ツールの姿勢を推定するように構成することができる。そのような姿勢推定は、１又は２以上の手術ツールの先端及び／又は終端の遮蔽に対してロバストである場合がある。

手術手順又は診断手順中に、画像処理サーバ１０４は、ビデオフレーム内の１又は２以上の手術ツール位置特定を示すことができる通知を医師に実時間で提供することができる。通知は、１又は２以上の手術ツールの遮蔽の広がり及び／又はタイプを更に示すことができる。実時間通知に基づいて、医師は、手術手順又は診断手順が実行される間に１又は２以上の手術ツールの遮蔽の広がりを低減するために、解剖領域内で１又は２以上の手術ツールを再位置合わせ／再位置決めすることができる。

更に、解説するように、画像処理サーバ１０４は、医師が、特定のビデオフレーム内の１又は２以上の手術ツールの位置特定に基づいて画像取り込みデバイスの１又は２以上の画像取り込み設定を調節することを可能にすることができる。１又は２以上の画像取り込み設定におけるそのような調節は、画像取り込みデバイスによって取り込まれる１又は２以上のビデオフレームの品質の実時間の改善に役立たせることができる。

図９は、本発明の開示の実施形態により解剖学的手術中に手術ツールを位置特定する例示的方法を示す例示的流れ図である。図９を参照すると、流れ図９００が示されている。流れ図９００を図１及び図２に関連付けて説明する。本方法は、段階９０２で始まって段階９０４に進行する。

段階９０４において、煙なしビデオフレームを発生させるために、ビデオフレームの１又は２以上の煙ブロックをビデオフレームから除去することができる。実施形態により、画像フィルタリングエンジン２１０は、ビデオフレームが１又は２以上の煙ブロックで遮蔽されている時に煙なしビデオフレームを発生させるためにビデオフレームの１又は２以上の煙ブロックを除去するように構成することができる。実施形態により、画像フィルタリングエンジン２１０は、前のビデオフレームセットからの各ビデオフレーム内で１又は２以上の煙領域を検出するために、前のビデオフレームセット（時間的に現在のビデオフレームの前に発生する予め決められた数のビデオフレーム）を解析することができる。画像フィルタリングエンジン２１０は、前のビデオフレームセット内で検出された１又は２以上の煙領域内のピクセルセットの累積強度を決定することができる。ビデオフレームからの１又は２以上の煙ブロックの除去は、前のビデオフレームセット内で検出された１又は２以上の煙領域内のピクセルセットの累積強度に基づく場合がある。

段階９０６において、ビデオフレームに存在する１又は２以上の手術ツールの１又は２以上の物理特性を決定することができる。実施形態により、画像処理サーバ１０４の画像フィルタリングエンジン２１０は、ビデオフレーム（又は煙なしビデオフレーム）内の１又は２以上の手術ツールの１又は２以上の物理特性を決定するように構成することができる。実施形態により、１又は２以上の手術ツールの１又は２以上の物理特性は、１又は２以上の色制約及び幾何学的制約に基づいて決定することができる。１又は２以上の色制約及び幾何学的制約に対しては図２を参照して詳述している。

段階９０８において、ビデオフレームに存在する１又は２以上の手術ツールの２Ｄマスクを検出することができる。実施形態により、画像フィルタリングエンジン２１０は、１又は２以上の手術ツールの決定された１又は２以上の物理特性に基づいて１又は２以上の手術ツールの２Ｄマスクを検出するように構成することができる。１又は２以上の手術ツールの２Ｄマスクの決定に対しては図２において詳細に記述している。実施形態により、画像フィルタリングエンジン２１０は、１又は２以上のツールの初期２Ｄマスクに関する輪郭の輪郭展開に基づいて１又は２以上の手術ツールの２Ｄマスクを精緻化するように構成することができる。１又は２以上の手術ツールの２Ｄマスクの精緻化に対しては図６において詳細に記述している。

段階９１０において、ビデオフレーム内で１又は２以上の手術ツールの先端／終端の位置を推定することができる。実施形態により、ツール位置特定エンジン２１２は、ビデオフレーム内で１又は２以上の手術ツールの先端及び／又は終端の位置を推定するように構成することができる。先端及び／又は端部の位置の推定は、１又は２以上の手術ツールの検出された２Ｄの解析に基づく場合がある。更に、ツール位置特定エンジン２１２は、１又は２以上のツールの先端及び／又は終端の重心の位置を決定することができる。実施形態により、ツール位置特定エンジン２１２は、重心が遮蔽されている時又は重心が１又は２以上の手術ツールの２Ｄマスクの外側に位置する時に、１又は２以上の手術ツールの先端及び／又は終端の位置を再推定することができる。更に、ツール位置特定エンジン２１２は、１又は２以上の手術ツールの先端及び／又は終端の再推定位置に基づいて重心の位置を更新することができる。１又は２以上の手術ツールの先端／終端の位置の推定（及び／又は再推定）に対しては図２において詳細に記述している。

段階９１２において、ビデオフレーム内の１又は２以上の手術ツールの姿勢を推定することができる。実施形態により、ツール位置特定エンジン２１２は、１又は２以上の手術ツールの先端及び／又は終端の遮蔽に基づいて１又は２以上の手術ツールの姿勢を推定するように構成することができる。実施形態により、１又は２以上の手術ツールの姿勢の推定は、１又は２以上の手術ツールの先端が遮蔽されている時の１又は２以上の手術ツールの終端の推定位置に基づくことができる。更に、１又は２以上の手術ツールの姿勢の推定は、１又は２以上の手術ツールの重心及び／又は終端が遮蔽されている時の１又は２以上の手術ツールの先端の推定位置に基づく場合がある。１又は２以上の手術ツールの姿勢の例示的シナリオに対しては図７Ａから図７Ｄにおいて詳細に記述している。更に、１又は２以上の手術ツールの姿勢の推定に対しては図２において詳細に記述している。制御は、終了段階９１４に渡される。

本発明の開示の実施形態により、解剖学的手術中に手術ツールを位置特定するためのシステムを開示している。システムは、画像取り込みデバイス（図１には示していない）に通信ネットワーク１１０を通して通信的に結合された画像処理サーバ１０４を含むことができる。画像取り込みデバイスは、解剖学的手術中に１又は２以上のビデオフレームを取り込むように構成することができる。画像処理サーバ１０４は、１又は２以上のビデオフレームからのビデオフレームに存在する１又は２以上の手術ツールの１又は２以上の物理特性を１又は２以上の色制約及び幾何学的制約に基づいて決定するように構成することができる。画像処理サーバ１０４は、１又は２以上の手術ツールの決定された１又は２以上の物理特性に基づいて、ビデオフレームに存在する１又は２以上の手術ツールの２Ｄマスクを検出するように更に構成することができる。更に、画像処理サーバ１０４は、１又は２以上の手術ツールの２Ｄマスクが１又は２以上の手術ツールの先端及び／又は終端で遮蔽されている時にビデオフレーム内の１又は２以上の手術ツールの姿勢を推定するように構成することができる。

本発明の開示の様々な実施形態は、解剖学的手術中に手術ツールを位置特定するために機械及び／又はコンピュータによって実行可能な少なくとも１つのコードセクションを有する機械コード及び／又はコンピュータプログラムが格納された非一時的コンピュータ可読媒体及び／又はストレージ媒体、及び／又は非一時的機械可読媒体及び／又はストレージ媒体を提供することができる。画像処理サーバ１０４内の少なくとも１つのコードセクションは、１又は２以上の色制約及び幾何学的制約に基づく１又は２以上のビデオフレームからのビデオフレームに存在する１又は２以上の手術ツールの１又は２以上の物理特性の決定を含む段階を機械及び／又はコンピュータに実行させることができる。１又は２以上のビデオフレームは、画像処理サーバ１０４に通信ネットワーク１１０を通して通信的に結合することができる画像取り込みデバイスによって取り込むことができる。実施形態により、１又は２以上の手術ツールの決定された１又は２以上の物理特性に基づいて、ビデオフレームに存在する１又は２以上の手術ツールの２Ｄマスクを検出することができる。更に、１又は２以上の手術ツールの２Ｄマスクが１又は２以上の手術ツールの先端及び／又は終端で遮蔽されている時に、ビデオフレーム内の１又は２以上の手術ツールの姿勢を推定することができる。

本発明の開示は、ハードウエア、又はハードウエアとソフトウエアの組合せに実現することができる。本発明の開示は、少なくとも１つのコンピュータシステムにおいて中央集中様式に実現するか、又は相互接続したいくつかのコンピュータシステムにわたって様々な要素を分散させることができる分散様式に実現することができる。本明細書で説明する方法を実施するように適応化されたコンピュータシステム又は他の装置が適切である場合がある。ハードウエアとソフトウエアの組合せは、ロードされて実行された時に、本明細書で説明する方法を実施するようにコンピュータシステムを制御することができるコンピュータプログラムを有する汎用コンピュータシステムとすることができる。本発明の開示は、他の機能も実行する集積回路の一部分を含むハードウエアに実現することができる。

本発明の開示はまた、本明細書に記述した方法の実施を可能にする全ての特徴を含み、かつコンピュータシステムにロードされた時にこれらの方法を実行することができるコンピュータプログラム製品に具現化することができる。コンピュータプログラムは、本発明の関連において、特定の機能を直接に、又はａ）別の言語、コード、又は表記への変換とｂ）異なる材料形態における複製とのいずれか又は両方の後で情報処理機能を有するシステムに実行させることが意図された命令セットのあらゆる言語、コード、又は表記におけるあらゆる表現を意味する。

本発明の開示をある一定の実施形態を参照して記述したが、当業者は、本発明の開示の範囲から逸脱することなく様々な変更を加えることができ、かつ均等物で代用することができることを理解するであろう。これに加えて、本発明の開示の教示に対してその範囲から逸脱することなく特定の状況又は材料を適応させるために多くの修正を加えることができる。従って、本発明の開示は、開示した特定の実施形態に限定されず、むしろ添付の特許請求の範囲に収まる全ての実施形態を含むことになるように意図している。

１００ ネットワーク環境
１０２ 手術デバイス
１０４ 画像処理サーバ
１０８ ユーザ端末
１１０ 通信ネットワーク

Claims (26)

1. 解剖学的手術中の手術ツール位置特定のためのシステムであって、
   １又は２以上のビデオフレームを取り込むように構成された画像取り込みデバイスに通信的に結合された画像処理エンジン内の１又は２以上の回路、
   を含み、
   前記１又は２以上の回路は、
   １又は２以上の色制約及び幾何学的制約に基づいて、前記１又は２以上のビデオフレームに存在する１又は２以上の手術ツールの１又は２以上の物理特性を決定し、
   前記１又は２以上のビデオフレームに存在する前記１又は２以上の手術ツールの２次元（２Ｄ）マスクを該１又は２以上の手術ツールの前記決定された１又は２以上の物理特性に基づいて検出し、かつ
   前記１又は２以上のビデオフレーム内の前記１又は２以上の手術ツールの姿勢を該１又は２以上の手術ツールの前記２Ｄマスクが該１又は２以上の手術ツールの先端及び／又は終端で遮蔽されている時に推定する、
   ように構成される、
   ことを特徴とするシステム。
2. 前記１又は２以上の回路は、前記１又は２以上のビデオフレームが１又は２以上の煙ブロックで遮蔽されている時に、該１又は２以上のビデオフレームから該１又は２以上の煙ブロックを除去して煙なしビデオフレームを発生させるように更に構成されることを特徴とする請求項１に記載のシステム。
3. 前記１又は２以上の回路は、前記１又は２以上のビデオフレームの前のビデオフレームセットの各々内で１又は２以上の煙領域を検出するように更に構成されることを特徴とする請求項２に記載のシステム。
4. 前記１又は２以上の煙ブロックは、前記１又は２以上のビデオフレームから該１又は２以上のビデオフレームの前の前記ビデオフレームセットの各々内の前記検出された１又は２以上の煙領域内のピクセルセットの累積強度に基づいて除去されることを特徴とする請求項３に記載のシステム。
5. 前記１又は２以上の回路は、前記煙なしビデオフレーム内の前記１又は２以上の手術ツールの前記検出された２Ｄマスク内の該１又は２以上の手術ツールの色特性に基づいて輪郭展開を実行するように更に構成されることを特徴とする請求項２に記載のシステム。
6. 前記輪郭展開は、前記煙なしビデオフレーム内の前記検出された２Ｄマスクの輪郭の内側及び／又は外側の領域の曲率と強度分散とに基づいて実行されることを特徴とする請求項５に記載のシステム。
7. 前記１又は２以上の回路は、前記輪郭展開に基づいて、前記煙なしビデオフレームのセグメント化を実行して該煙なしビデオフレーム内の前記１又は２以上の手術ツールを検出するように更に構成されることを特徴とする請求項５に記載のシステム。
8. 前記１又は２以上の回路は、前記１又は２以上のビデオフレームの各領域内のピクセル強度に基づいて前記１又は２以上の色制約に対応する適応色フィルタリングを実行するように更に構成されることを特徴とする請求項１に記載のシステム。
9. 前記適応色フィルタリングは、前記１又は２以上のビデオフレームの前記各領域に対してｏｐｐ２色強度ベースのフィルタリング又は正規化されたｏｐｐ２色強度ベースのフィルタリングに基づいて実行されることを特徴とする請求項８に記載のシステム。
10. 前記１又は２以上のビデオフレームに存在する前記１又は２以上の手術ツールの前記２Ｄマスクの前記検出は、前記適応色フィルタリングに基づいていることを特徴とする請求項８に記載のシステム。
11. 前記１又は２以上の回路は、前記１又は２以上のビデオフレーム内の前記１又は２以上の手術ツールの前記先端及び／又は前記終端の位置を該１又は２以上の手術ツールの前記検出された２Ｄマスクの長手主軸に沿って延びる第１の方向ベクトルに沿って該１又は２以上の手術ツールの該検出された２Ｄマスクの解析に基づいて推定するように更に構成されることを特徴とする請求項１に記載のシステム。
12. 前記１又は２以上の回路は、前記１又は２以上のビデオフレーム内の前記１又は２以上の手術ツールの前記先端及び／又は前記終端の前記位置の重心を決定するように更に構成されることを特徴とする請求項１１に記載のシステム。
13. 前記１又は２以上の回路は、前記１又は２以上のビデオフレーム内の前記１又は２以上の手術ツールの前記先端及び／又は前記終端の前記位置を前記第１の方向ベクトルに対して予め決められた角度にある第２の方向ベクトルに沿って該１又は２以上の手術ツールの前記検出された２Ｄマスクの解析に基づいて再推定するように更に構成され、
    先端及び／又は終端の前記位置は、前記重心が前記１又は２以上の手術ツールの前記検出された２Ｄマスクの外側に位置するか又は該重心が遮蔽されている時に再推定される、
    ことを特徴とする請求項１２に記載のシステム。
14. 前記１又は２以上の手術ツールの前記姿勢の前記推定は、該１又は２以上の手術ツールの前記先端が遮蔽されている時に、該１又は２以上の手術ツールの前記終端の前記推定された位置に基づいていることを特徴とする請求項１１に記載のシステム。
15. 前記１又は２以上の手術ツールの前記姿勢の前記推定は、該１又は２以上の手術ツールの前記重心及び／又は前記終端が遮蔽されている時に、該１又は２以上の手術ツールの前記先端の前記推定された位置に基づいていることを特徴とする請求項１１に記載のシステム。
16. 前記画像取り込みデバイスの１又は２以上の画像取り込み設定が、前記１又は２以上のビデオフレーム内の前記１又は２以上の手術ツールの前記姿勢の前記推定に基づいて調節されることを特徴とする請求項１に記載のシステム。
17. 前記１又は２以上の画像取り込み設定は、自動露光、自動フォーカス、自動ホワイトバランス、又は自動照明のうちの１又は２以上を含むことを特徴とする請求項１に記載のシステム。
18. 前記１又は２以上の回路は、前記解剖学的手術中にユーザインタフェースを通じて前記１又は２以上のビデオフレームを表示するように更に構成され、
    前記１又は２以上の手術ツールは、前記表示された１又は２以上のビデオフレーム内でマスキング又は強調表示される、
    ことを特徴とする請求項１に記載のシステム。
19. 前記１又は２以上の回路は、前記１又は２以上の手術ツールの前記先端及び／又は前記終端での該１又は２以上の手術ツールの遮蔽を示す通知を発生させるように更に構成され、
    前記通知は、音声警告、文字警告、視覚警告、又は触覚警告のうちの１又は２以上に対応する、
    ことを特徴とする請求項１に記載のシステム。
20. 解剖学的手術中の手術ツール位置特定の方法であって、
    画像取り込みデバイスに通信的に結合された画像処理エンジンにおいて、
    １又は２以上の色制約及び幾何学的制約に基づいて、１又は２以上のビデオフレームに存在する１又は２以上の手術ツールの１又は２以上の物理特性を決定する段階であって、前記画像取り込みデバイスが、該１又は２以上のビデオフレームを取り込むように構成される前記決定する段階と、
    前記１又は２以上のビデオフレームに存在する前記１又は２以上の手術ツールの２次元（２Ｄ）マスクを該１又は２以上の手術ツールの前記決定された１又は２以上の物理特性に基づいて検出する段階と、
    前記１又は２以上のビデオフレーム内の前記１又は２以上の手術ツールの姿勢を該１又は２以上の手術ツールの前記２Ｄマスクが該１又は２以上の手術ツールの先端及び／又は終端で遮蔽されている時に推定する段階と、
    を含むことを特徴とする方法。
21. 前記１又は２以上のビデオフレーム内の前記１又は２以上の手術ツールの前記先端及び／又は前記終端の位置を該１又は２以上の手術ツールの前記検出された２Ｄマスクの長手主軸に沿って延びる第１の方向ベクトルに沿って該１又は２以上の手術ツールの該検出された２Ｄマスクの解析に基づいて推定する段階を更に含むことを特徴とする請求項２０に記載の方法。
22. 前記１又は２以上のビデオフレーム内の前記１又は２以上の手術ツールの前記先端及び／又は前記終端の前記位置の重心を決定する段階を更に含むことを特徴とする請求項２１に記載の方法。
23. 前記１又は２以上のビデオフレーム内の前記１又は２以上の手術ツールの前記先端及び／又は前記終端の前記位置を前記第１の方向ベクトルに対して予め決められた角度にある第２の方向ベクトルに沿って該１又は２以上の手術ツールの前記検出された２Ｄマスクの解析に基づいて再推定する段階を更に含み、
    先端及び／又は終端の前記位置は、前記重心が前記１又は２以上の手術ツールの前記検出された２Ｄマスクの外側に位置するか又は該重心が遮蔽されている時に再推定される、
    ことを特徴とする請求項２２に記載の方法。
24. 前記１又は２以上の手術ツールの前記姿勢の前記推定は、該１又は２以上の手術ツールの前記先端が遮蔽されている時に、該１又は２以上の手術ツールの前記終端の前記推定された位置に基づいていることを特徴とする請求項２１に記載の方法。
25. 前記１又は２以上の手術ツールの前記姿勢の前記推定は、該１又は２以上の手術ツールの前記重心及び／又は前記終端が遮蔽されている時に、該１又は２以上の手術ツールの前記先端の前記推定された位置に基づいていることを特徴とする請求項２１に記載の方法。
26. コンピュータをして、
    １又は２以上の色制約及び幾何学的制約に基づいて、１又は２以上のビデオフレームに存在する１又は２以上の手術ツールの１又は２以上の物理特性を決定する段階であって、前記コンピュータが、該１又は２以上のビデオフレームを取り込むように構成された画像取り込みデバイスに通信的に結合される前記決定する段階と、
    前記１又は２以上のビデオフレームに存在する前記１又は２以上の手術ツールの２次元（２Ｄ）マスクを該１又は２以上の手術ツールの前記決定された１又は２以上の物理特性に基づいて検出する段階と、
    前記１又は２以上のビデオフレーム内の前記１又は２以上の手術ツールの姿勢を該１又は２以上の手術ツールの前記２Ｄマスクが該１又は２以上の手術ツールの先端及び／又は終端で遮蔽されている時に推定する段階と、
    を含む段階を実行させるためのコンピュータ実行可能命令セットが格納された非一時的コンピュータ可読ストレージ媒体。

Images