JP2019162339A - 手術支援システムおよび表示方法 - Google Patents

Abstract

【課題】術者同士のコミュニケーションの向上を図る。【解決手段】表示制御部は、術野画像の２以上の表示領域への表示を制御し、第１の重畳部は、表示領域のうち、第１の表示領域に表示されている術野画像上のユーザにより指定された指定位置に、視覚情報を重畳する。第２の重畳部は、第１の表示領域とは異なる第２の表示領域にリアルタイムに表示されている術野画像上の指定位置に追従して、視覚情報を重畳する。本開示は、例えば、内視鏡手術システムに適用することができる。【選択図】図３

Description

本開示は、手術支援システムおよび表示方法に関し、特に、術者同士のコミュニケーションの向上を図ることができるようにした手術支援システムおよび表示方法に関する。

手術現場においては、経験の浅い執刀医を補助するために、指導医が、手術箇所を提示するなどの手術支援を行うことがある。また、複数の執刀医同士が互いに相談しながら手術を進めることもある。そこで、１人の術者の指示を、他の術者に明確に伝える機能を有する医療機器が求められる。

例えば、特許文献１には、３次元手術画像にアノテーションを書き込み可能な３次元観察装置が開示されている。

国際公開２０１３／１７９９０５号

しかしながら、従来の構成においては、１つの術野画像を介して、指導医が手術箇所を提示したり、執刀医が提示されたその手術箇所を確認したりしていた。

この場合、術野画像へのアノテーションの書き込みの動作が、その術野画像を確認しながら手術を行う術者の妨げになり、術者同士がうまくコミュニケーションを取れなくなるおそれがあった。

本開示は、このような状況に鑑みてなされたものであり、術者同士のコミュニケーションの向上を図ることができるようにするものである。

本開示の手術支援システムは、術野画像の２以上の表示領域への表示を制御する表示制御部と、前記表示領域のうち、第１の表示領域に表示されている前記術野画像上のユーザにより指定された指定位置に、視覚情報を重畳する第１の重畳部と、前記第１の表示領域とは異なる第２の表示領域にリアルタイムに表示されている前記術野画像上の前記指定位置に追従して、前記視覚情報を重畳する第２の重畳部とを備える。

本開示の表示方法は、手術支援システムが、術野画像の２以上の表示領域への表示を制御し、前記表示領域のうち、第１の表示領域に表示されている前記術野画像上のユーザにより指定された指定位置に、視覚情報を重畳し、前記第１の表示領域とは異なる第２の表示領域にリアルタイムに表示されている前記術野画像上の前記指定位置に追従して、前記視覚情報を重畳する表示方法である。

本開示においては、術野画像の２以上の表示領域への表示が制御され、前記表示領域のうち、第１の表示領域に表示されている前記術野画像上のユーザにより指定された指定位置に、視覚情報が重畳され、前記第１の表示領域とは異なる第２の表示領域にリアルタイムに表示されている前記術野画像上の前記指定位置に追従して、前記視覚情報が重畳される。

本開示によれば、術者同士のコミュニケーションの向上を図ることが可能となる。

本実施の形態に係る手術支援システムの構成例を示す図である。 アノテーションの表示について説明する図である。 手術支援システムの機能構成例を示すブロック図である。 センシング部と画像データ生成部の詳細な構成例を示すブロック図である。 センシング部と画像データ生成部の詳細な構成例を示すブロック図である。 センシング部と画像データ生成部の詳細な構成例を示すブロック図である。 アノテーション書き込み処理について説明するフローチャートである。 アノテーション書き込み処理について説明するフローチャートである。 アノテーション書き込み処理における術野画像の表示例を示す図である。 アノテーション書き込み処理における術野画像の表示例を示す図である。 アノテーション書き込み処理における術野画像の表示例を示す図である。 アノテーション書き込み処理における術野画像の表示例を示す図である。 アノテーション書き込み処理における術野画像の表示例を示す図である。 アノテーション書き込み処理における術野画像の表示例を示す図である。 アノテーション書き込み処理における術野画像の表示例を示す図である。 術野画像の表示形態について説明する図である。 術野画像の表示形態について説明する図である。 術野画像の表示形態について説明する図である。 術野画像の表示形態について説明する図である。 過去の術野画像に対するアノテーションの書き込みの例を示す図である。 マスキング表示の例を示す図である。 ３次元画像のプレビュー表示の例を示す図である。 アノテーションの書き込み手法について説明する図である。 アノテーションの表示例を示す図である。 アノテーションの表示例を示す図である。 アノテーションの表示例を示す図である。 本実施の形態に係る手術支援システムの他の構成例を示す図である。 情報処理装置のハードウェア構成例を示すブロック図である。

以下、本開示を実施するための形態（以下、実施の形態とする）について説明する。なお、説明は以下の順序で行う。

１．システム構成
２．アノテーション書き込み処理の流れ
３．術野画像の表示形態
４．変形例
５．適用例
６．ハードウェア構成
７．まとめ

＜１．システム構成＞
（手術支援システムの構成例）
図１は、本実施の形態に係る手術支援システムの構成例を示す図である。

図１は、例えば、医療現場において従来の開腹手術に代わって行われる、腹部の内視鏡外科手術において用いられる内視鏡手術システムの一例を示している。

図１の手術支援システム１においては、腹部の内視鏡外科手術では、従来のように腹壁を切って開腹する代わりに、トロッカ２５ａ，２５ｂと呼ばれる開孔器具が腹壁に数か所取り付けられる。そして、トロッカ２５ａ，２５ｂに設けられている孔から、患者の体内を観察する観察用医療機器としての腹腔鏡（以下、内視鏡ともいう）１１、エネルギ処置具２２や鉗子２３などが体内に挿入される。

術者は、内視鏡１１によってビデオ撮像された患者の体内にある患部（腫瘍など）Ｕの画像をリアルタイムに見ながら、エネルギ処置具２２などによって患部Ｕを切除するなどの処置を行う。内視鏡１１、エネルギ処置具２２や鉗子２３は、術者またはロボットなどにより保持される。なお、術者とは、手術室で行われる手術に関わっている医療従事者をいい、術者には、例えば手術の執刀医、助手、スコピスト、看護師の他、手術室とは別の場所からその手術をモニタしている医者などが含まれる。

このような内視鏡下手術を行う手術室内には、内視鏡下手術のための装置類を搭載するカート３１、患者が横たわる患者ベッド３３、フットスイッチ３５などが配置される。カート３１には、医療機器として、例えば、カメラコントロールユニット（ＣＣＵ）１３、光源装置１７、処置具用装置２１、気腹装置２４、表示装置１５、レコーダ２６、およびプリンタ２７などの装置類が載置される。

内視鏡１１の観察光学系を通じて撮像された患部Ｕの画像信号は、カメラケーブルを介してＣＣＵ１３に伝送される。ＣＣＵ１３は、カメラケーブルを介して内視鏡１１に接続される他、無線の通信経路を介して内視鏡１１に接続されてもよい。ＣＣＵ１３は、内視鏡１１から出力される画像信号に対して信号処理を施し、信号処理後の画像信号を表示装置１５に出力する。このような構成により、患部Ｕの内視鏡画像が表示装置１５に表示される。

なお、ＣＣＵ１３は、信号処理後の画像信号をレコーダ２６に出力することで、レコーダ２６に、患部Ｕの内視鏡画像を画像データ（例えば、動画像のデータ）として記録させてもよい。また、ＣＣＵ１３は、信号処理後の画像信号をプリンタ２７に出力することで、プリンタ２７に、患部Ｕの内視鏡画像を印刷させてもよい。

光源装置１７は、ライトガイドケーブルを介して内視鏡１１に接続され、患部Ｕに対してさまざまな波長の光を切り替えて照射することが可能である。光源装置１７から照射される光は、例えば、補助光として用いられる場合もある。

処置具用装置２１は、例えば、電気熱を用いて患部Ｕを切断するエネルギ処置具２２に対して高周波電流を出力する高周波出力装置に相当する。

気腹装置２４は、送気、吸気手段を備え、患者体内の例えば腹部領域に空気を送気する。

フットスイッチ３５は、術者や助手などのフット操作をトリガ信号として、ＣＣＵ１３や処置具用装置２１などを制御する。

（アノテーションの表示について）
本実施の形態の手術支援システムは、内視鏡１１で撮像された内視鏡画像（以下、術野画像という）に映る臓器や体腔表面に対するアノテーションの書き込みを実現する。ここでいうアノテーションとは、術者が他の術者に対して手術箇所などを提示するための視覚情報である。

具体的には、図２左に示される術野画像に映る臓器の表面上に、ユーザ（術者）がアノテーションを書き込みたい位置を指定すると、図２中央に示されるように、術野画像上のユーザにより指定された位置（指定位置）に、線状のアノテーションが重畳される。

内視鏡１１の位置や姿勢が変化した場合であっても、図２右に示されるように、書き込まれたアノテーションは、術野画像上の指定位置に追従して表示される。

本実施の形態の手術支援システムにおいては、術野画像に映る臓器や体腔表面の視覚的・立体構造的なテクスチャとその位置関係に基づいて、アノテーションの位置（指定位置）が保持され、内視鏡１１の向きや位置（動き）が推定される。そして、動きの推定結果に基づいて、アノテーションが常に臓器上の同じ位置に留まっているように表示位置が更新される。

アノテーションの位置（指定位置）は、術野画像が表示される画面上の座標によらず一定である。そのため、術野画像を停止した静止画像や、記録された過去の術野画像に対してアノテーションを書き込んだ場合でも、その結果は、現在表示されている術野画像中に反映されるようになる。

（手術支援システムの機能構成例）
図３は、上述したアノテーションの表示を実現可能とする手術支援システムの機能構成例を示すブロック図である。

図３の手術支援システム１００は、センシング部１１０、情報処理装置１３０、および表示装置１５０から構成される。

センシング部１１０は、図１の内視鏡１１に相当し、撮像した画像信号を情報処理装置１３０に供給する。

情報処理装置１３０は、図１のＣＣＵ１３に相当し、センシング部１１０からの画像信号に対して信号処理を施し、表示装置１５０に供給する。

表示装置１５０は、図１の表示装置１５に相当し、情報処理装置１３０からの画像信号に基づいて術野画像を表示する。詳細は後述するが、表示装置１５０には、２つの表示領域（第１の表示領域１５１および第２の表示領域１５２）が設けられ、その表示領域それぞれに１つの術野画像が表示される。

情報処理装置１３０は、画像データ生成部１３１、表示制御部１３２、指定位置算出部１３３、および３次元表面マップデータ記憶部１３４を備えている。

画像データ生成部１３１は、センシング部１１０からの画像信号に対して現像処理を行うことで、複数フレームからなる術野画像の画像データを表示制御部１３２に供給する。

また、画像データ生成部１３１は、術野画像を構成する各フレームに基づいて、内視鏡１１の動きを推定することで、その動きを表す位置・姿勢情報を生成し、表示制御部１３２と指定位置算出部１３３に供給する。

さらに、画像データ生成部１３１は、術野画像を構成する各フレームと、推定された内視鏡１１の動きに基づいて、術野画像に映る被写体（臓器や体腔内）の３次元構造を表す３次元情報を生成する。生成された３次元情報は、３次元表面マップデータとして３次元表面マップデータ記憶部１３４に記憶される。

センシング部１１０と画像データ生成部１３１の詳細な構成については後述する。

表示制御部１３２は、画像データ生成部１３１からの画像データに基づいて、表示装置１５０の２つの表示領域（第１の表示領域１５１および第２の表示領域１５２）それぞれへの術野画像の表示を制御する。

表示制御部１３２は、第１の重畳部１４１と第２の重畳部１４２を備えている。

第１の重畳部１４１は、第１の表示領域１５１に表示されている術野画像上のユーザにより指定された位置（指定位置）に、アノテーションを重畳する。具体的には、第１の重畳部１４１は、画像データ生成部１３１からの位置・姿勢情報と、指定位置算出部１３３により算出された指定位置に基づいて、第１の表示領域１５１に表示されている術野画像上の指定位置を求め、アノテーションを重畳する。

一方、第２の重畳部１４２は、第２の表示領域１５２に表示されている術野画像上の指定位置に追従して、アノテーションを重畳する。具体的には、第２の重畳部１４２は、画像データ生成部１３１からの位置・姿勢情報と、指定位置算出部１３３により算出された指定位置に基づいて、第２の表示領域１５２に表示されている術野画像上の指定位置を求め、アノテーションを重畳する。

指定位置算出部１３３は、ユーザの操作を表す操作情報として、第１の表示領域１５１に表示されている術野画像に対するアノテーションの書き込みを表す情報を取得すると、画像データ生成部１３１からの位置・姿勢情報と、３次元表面マップデータ記憶部１３４の３次元表面マップデータに基づいて、指定位置を算出する。

具体的には、指定位置算出部１３３は、位置・姿勢情報で表される現在の内視鏡１１の位置および姿勢に基づいて、アノテーションが書き込まれた位置が、３次元表面マップデータ上のどこに該当するかを求める。このようにして求められた指定位置は、指定位置算出部１３３に保持され、第１の重畳部１４１と第２の重畳部１４２に供給される。

（センシング部と画像データ生成部の詳細な構成例１）
ここで、図４を参照して、センシング部１１０と画像データ生成部１３１の詳細な構成例について説明する。

センシング部１１０は、イメージセンサ２１１を備えており、撮像した画像信号を情報処理装置１３０に供給する。

画像データ生成部１３１は、現像処理部２２１、初期３次元データ生成部２２２、カメラ位置・姿勢推定部２２３、および３次元表面復元部２２４から構成される。

現像処理部２２１は、イメージセンサ２１１からの画像信号に対して現像処理を行うことで画像データを生成する。生成された画像データは、初期３次元データ生成部２２２、カメラ位置・姿勢推定部２２３、および３次元表面復元部２２４それぞれに供給される。

初期３次元データ生成部２２２は、現像処理部２２１から時系列に供給される画像データ（フレームデータ）それぞれにおける臓器表面のテクスチャの一致する画素位置の対応関係から、被写体の３次元構造を表す３次元情報を取得する。テクスチャとしては、画像データの画素値がそのまま用いられたり、画像データから抽出された特徴量が用いられる。初期３次元データ生成部２２２は、取得した３次元情報を用いて、最初の３次元表面マップデータを生成する。

カメラ位置・姿勢推定部２２３は、現像処理部２２１から時系列に供給される画像データ（フレームデータ）毎の画素値や特徴量と、時間的に前の画像データの画素値や特徴量との対応関係から、カメラ位置・姿勢の推定を行う（内視鏡１１の動きを推定する）。カメラ位置・姿勢推定部２２３は、動きの推定結果に基づいて、内視鏡１１の動きを表す位置・姿勢情報を生成する。

３次元表面復元部２２４は、カメラ位置・姿勢推定部２２３によって推定された内視鏡１１の動きから、画像データの画素値や特徴量に基づいた３次元情報を復元し、初期３次元データ生成部２２２により生成された３次元表面マップデータを更新する。更新された３次元表面マップデータは、３次元表面マップデータ記憶部１３４に記憶される。また、３次元表面復元部２２４は、３次元表面マップデータ記憶部１３４に記憶されている３次元表面マップデータを３次元情報として読み出して、３次元表面マップデータを更新するようにしてもよい。

上述した３次元表面マップデータの作成と、カメラ位置・姿勢の推定には、SLAM（Simultaneous Localization And Mapping）技術を用いることができる。単眼カメラを用いたSLAM技術の基本的な原理は、例えば「Andrew J. Davison, “Real-Time Simultaneous Localization and Mapping with a Single Camera”, Proceedings of the 9th IEEE International Conference on Computer Vision Volume 2, 2003, pp.1403-1410」において説明されている。なお、カメラ画像を用いて視覚的に位置を推定するSLAM技術は、特にVisual SLAMともいわれている。

（センシング部と画像データ生成部の詳細な構成例２）
センシング部１１０と画像データ生成部１３１は、図５に示されるような構成を採ることもできる。

図５のセンシング部１１０は、イメージセンサ２３１に加え、デプスセンサ２３２を備えており、撮像した画像信号とともに、撮像範囲の深度データを画像データ生成部１３１に供給する。

図５の画像データ生成部１３１は、現像処理部２４１、３次元表面復元部２４２、およびカメラ位置・姿勢推定部２４３から構成される。

現像処理部２４１は、イメージセンサ２３１からの画像信号に対して現像処理を行うことで画像データを生成する。

３次元表面復元部２４２は、デプスセンサ２３２からの深度データから被写体の３次元情報を取得することで、３次元表面マップデータを生成したり、３次元空間内での位置合わせを行うことで、３次元表面マップデータを更新する。

カメラ位置・姿勢推定部２４３は、現状、デプスセンサ２３２から得られる深度データと、３次元表面復元部２４２により生成・復元されている３次元表面マップデータと比較することで、カメラ位置・姿勢の推定を行う（内視鏡１１の動きを推定する）。

図５の構成においては、内視鏡１１の動きが推定されることにより、３次元表面復元部２４２による３次元空間内での位置合わせの探索空間を小さくすることができる。

（センシング部と画像データ生成部の詳細な構成例３）
センシング部１１０と画像データ生成部１３１は、図６に示されるような構成を採ることもできる。

図６のセンシング部１１０は、ステレオカメラとして構成され、一対のイメージセンサ２５１，２５２を備えており、撮像した画像信号それぞれを画像データ生成部１３１に供給する。

図６の画像データ生成部１３１は、現像処理部２６１、３次元表面復元部２６２、およびカメラ位置・姿勢推定部２６３から構成される。

現像処理部２６１は、イメージセンサ２５１からの画像信号に対して現像処理を行うことで画像データを生成する。

また、現像処理部２６１は、イメージセンサ２５１，２５２からの画像信号を用いた視差による三角測量により、撮像範囲の深度データを生成し、３次元表面復元部２６２、およびカメラ位置・姿勢推定部２６３に供給する。

３次元表面復元部２６２は、現像処理部２６１からの深度データから被写体の３次元情報を取得することで、３次元表面マップデータを生成したり、３次元空間内での位置合わせを行うことで、３次元表面マップデータを更新する。

カメラ位置・姿勢推定部２６３は、現状、現像処理部２６１から得られる深度データと、３次元表面復元部２６２により生成・復元されている３次元表面マップデータと比較することで、カメラ位置・姿勢の推定を行う（内視鏡１１の動きを推定する）。

以上のようにして構成される手術支援システム１００により、術野画像に対して書き込まれたアノテーションは、内視鏡１１が動いた場合であっても、最初に書き込まれた箇所に留まっているように表示される。

（３次元情報の補間について）
手術支援システム１００において、ユーザがアノテーションを書き込む際、３次元表面マップデータが密でなく、アノテーションが重畳される位置（指定位置）に対応する３次元情報が存在しない場合には、その３次元情報が補間されるようにしてもよい。

例えば、３次元表面マップデータにおける、指定位置周辺の点に対応する３次元情報を用いて、指定位置の３次元情報が推定されるようにする。

また、手術支援システム１００が図４の構成を備える場合、カメラ位置・姿勢推定部２２３により推定されたカメラ位置・姿勢と、それに対応する画像データを複数フレーム分用いて、多視点ステレオ技術によって密な３次元表面マップデータが得られるようにしてもよい。この場合、得られた密な３次元表面マップデータを用いて、指定位置の３次元情報を推定することができる。

（３次元情報の更新について）
手術支援システム１００においては、体腔内の観察対象が動いたり変形した場合、その変化にあわせてアノテーションの位置が変更されるようにすることもできる。

例えば、３次元表面復元部２６２によって復元された３次元情報を用いて、３次元表面マップデータを更新する際、ある領域の位置が大きく変化している場合、その領域の３次元情報を、復元された最新の３次元情報に更新する。

さらに、３次元表面マップデータにおいて、各位置の３次元情報に対して生成・更新された時刻を表す時刻情報を付加することで、３次元表面マップデータ全体の信頼度を向上させることができる。信頼度の高い最新の情報を残すように３次元表面マップデータを更新することで、体腔内の観察対象に動きや変形が発生しても、アノテーションを追従して表示することができる。

＜２．アノテーション書き込み処理の流れ＞
次に、図７および図８のフローチャートを参照して、本実施の形態の手術支援システム１００におけるアノテーション書き込み処理の流れについて説明する。

図７および図８の処理は、例えば、経験の浅い執刀医を補助するために、指導医が手術箇所を提示する際などに実行される。ここでは、指導医は、第１の表示領域１５１に表示される術野画像を用いて手術箇所を提示し、執刀医は、第２の表示領域１５２に表示される術野画像を見ながら手術を行うものとする。

ステップＳ１１において、表示制御部１３２は、ユーザ（具体的には指導医）の操作を表す操作情報に基づいて、アノテーションの書き込みを可能とする書き込みモードが選択されたか否かを判定する。

図９は、第１の表示領域１５１と第２の表示領域１５２に表示される術野画像の表示例を示している。

第１の表示領域１５１には、センシング部１１０により取り込まれている術野画像がリアルタイムに表示されており、その画面左上には、そのことを表す「Ｌｉｖｅ」の文字が表示されている。なお、第２の表示領域１５２には、何も表示されていない。

タッチパネル機能を備える第１の表示領域１５１の右下には、書き込みモードボタン３１１とフリーズモードボタン３１２が表示されている。指導医が、第１の表示領域１５１に表示されている書き込みモードボタン３１１をタッチ操作することで、書き込みモードが選択される。

すなわち、ステップＳ１１の処理は、指導医が書き込みモードボタン３１１をタッチ操作するまで繰り返され、書き込みモードボタン３１１がタッチ操作されると、処理はステップＳ１２に進む。

ステップＳ１２において、表示制御部１３２は、第１の表示領域１５１および第２の表示領域１５２それぞれに術野画像を表示する。

具体的には、図１０に示されるように、第２の表示領域１５２にも、第１の表示領域１５１と同様にして、術野画像がリアルタイムに表示され、その画面左上には、そのことを表す「Ｌｉｖｅ」の文字が表示される。

ステップＳ１３において、表示制御部１３２は、ユーザ（指導医）の操作を表す操作情報に基づいて、第１の表示領域１５１の表示をフリーズさせる（停止させる）ためのフリーズモードが選択されたか否かを判定する。具体的には、指導医が、第１の表示領域１５１に表示されているフリーズモードボタン３１２をタッチ操作したか否かが判定される。

したがって、ステップＳ１３において、指導医によりフリーズモードボタン３１２がタッチ操作されると、処理はステップＳ１４に進む。

ステップＳ１４において、表示制御部１３２は、第１の表示領域１５１にリアルタイムに表示されている術野画像に代えて、その術野画像の１フレームである静止画像を表示する。

具体的には、図１１に示されるように、第１の表示領域１５１には、フリーズモードボタン３１２がタッチ操作されたタイミングの術野画像の１フレームが静止画像として表示される。また、第１の表示領域１５１の画面左上には、静止画像が表示されていることを表す「Ｐａｕｓｅ」の文字が表示される。このとき、表示制御部１３２は、フリーズモードボタン３１２がタッチ操作されたタイミングの静止画像とともに、そのときの画像データ生成部１３１からの位置・姿勢情報を保持する。

一方、ステップＳ１３において、指導医によりフリーズモードボタン３１２がタッチ操作されない場合、ステップＳ１４はスキップされる。

ステップＳ１５において、表示制御部１３２は、ユーザ（指導医）の操作を表す操作情報に基づいて、第１の表示領域１５１に表示されている術野画像に対してアノテーションが書き込みされたか否かを判定する。例えば、指導医が、第１の表示領域１５１に対して手術箇所をなぞるなどの操作をすることで、アノテーションが書き込まれる。

ここで、第１の表示領域１５１に静止画像が表示されている場合には、静止画像へのアノテーションの書き込みが受け付けられる。一方、第１の表示領域１５１にリアルタイムに表示される術野画像（動画像）が表示されている場合には、動画像へのアノテーションの書き込みが受け付けられる。

ステップＳ１５の処理は、アノテーションが書き込まれるまで繰り返され、アノテーションが書き込まれると、処理はステップＳ１６に進む。

このとき、指定位置算出部１３３は、アノテーションの書き込みに応じて、画像データ生成部１３１からの位置・姿勢情報と、３次元表面マップデータ記憶部１３４に記憶されている３次元表面マップデータに基づいて、指定位置を算出する。

ステップＳ１６において、表示制御部１３２は、アノテーションが書き込まれた位置（指定位置）が、十分な３次元表面マップデータが構築されている領域であるか否かを判定する。

ステップＳ１６において、アノテーションが書き込まれた位置が、十分な３次元表面マップデータが構築されている領域であると判定された場合、処理はステップＳ１７に進む。

ステップＳ１７において、第１の重畳部１４１は、第１の表示領域１５１に表示されている術野画像上の指定位置にアノテーションを重畳する。

続いて、ステップＳ１８において、第２の重畳部１４２は、第２の表示領域１５２に表示されている術野画像の指定位置に追従してアノテーションを重畳する。

例えば、フリーズモードが選択されている場合、図１２に示されるように、第１の表示領域１５１に表示されている静止画像上の、指定位置算出部１３３により算出された指定位置に、アノテーション３３１が重畳される。

一方、第２の表示領域１５２にリアルタイムに表示されている術野画像上の指定位置には、画像データ生成部１３１からの位置・姿勢情報に基づいて、アノテーション３３１と同様のアノテーション３３２が追従して重畳される。

図１２の例では、第２の表示領域１５２に表示されている術野画像において、第１の表示領域１５１に静止画像が表示された状態から、内視鏡１１の位置や姿勢が変化し、画像に映る臓器の位置や向きが変化している。このような場合であっても、アノテーション３３２は、第２の表示領域１５２に表示されている術野画像上の指定位置に追従して表示される。

また、フリーズモードが選択されていない場合には、図１３に示されるように、第１の表示領域１５１にリアルタイムに表示されている術野画像上の、指定位置算出部１３３により算出された指定位置に、アノテーション３３１が重畳される。

同様に、第２の表示領域１５２にリアルタイムに表示されている術野画像上の指定位置には、画像データ生成部１３１からの位置・姿勢情報に基づいて、アノテーション３３１と同様のアノテーション３３２が追従して重畳される。

さて、ステップＳ１６において、アノテーションが書き込まれた位置が、十分な３次元表面マップデータが構築されている領域でないと判定された場合、処理はステップＳ１９に進む。

ステップＳ１９において、表示制御部１３２は、第１の表示領域１５１に、アノテーションが重畳された静止画像を表示する。

具体的には、図１４に示されるように、フリーズモードが選択されている場合には、第１の重畳部１４１は、第１の表示領域１５１に表示されている静止画像上の指定位置に、アノテーション３３１を重畳する。

また、フリーズモードが選択されていない場合、表示制御部１３２は、第１の表示領域１５１に表示されている術野画像に代えて、アノテーションが書き込まれたタイミングの１フレームを静止画像として表示する。そして、第１の重畳部１４１は、第１の表示領域１５１に表示されている静止画像上の指定位置に、アノテーション３３１を重畳する。

このとき、第１の表示領域１５１の画面左上には、アノテーション３３１が重畳された静止画像が保持されていることを表す「Ｓａｖｅｄ」の文字が表示される。

一方、第２の重畳部１４２は、フリーズモードが選択されているか否かにかかわらず、第２の表示領域１５２に表示されている術野画像上にはアノテーションを重畳しない。

アノテーションが書き込まれた領域に、十分な３次元表面マップデータが構築されていない場合、アノテーションの追従の精度低下を招く可能性がある。そこで、アノテーション書き込み時の静止画像のみを表示し、リアルタイムに表示される術野画像にはアノテーションを反映させないことで、執刀医のユーザビリティを損なうことなく、安全性を担保することができる。

以上の処理によれば、指導医による、第１の表示領域１５１に表示される術野画像に対するアノテーションの書き込みが、執刀医が見ている第２の表示領域１５２に表示される術野画像中に反映されるようになる。したがって、指導医による術野画像へのアノテーションの書き込みの動作が、術野画像を確認しながら手術を行う執刀医の妨げになることなく、術者同士のコミュニケーションの向上を図ることが可能となる。

特に、フリーズモードにおいては、指導医は、アノテーションを書き込みやすくするために、術野画像をフリーズすることができるとともに、書き込まれたアノテーションを、執刀医が見ている術野画像に反映させることができる。すなわち、指導医は、より正確な位置にアノテーションを書き込むことができる上に、執刀医は、指導医の指示を正しく理解しながら、アノテーションが反映された術野画像の観察を継続して行うことが可能となる。

ここで、図１５に示されるように、執刀医が見ている第２の表示領域１５２に表示される術野画像において、アノテーション３３２の表示／非表示（重畳表示のＯＮ／ＯＦＦ）が、執刀医の操作によって切り替えられるようにしてもよい。これにより、アノテーション３３２の表示自体が手術の進行の妨げにならないようにすることができる。

また、図１５の例に加えて、第１の表示領域１５１に表示される術野画像において、アノテーション３３１の重畳表示のＯＮ／ＯＦＦが、指導医の操作によって切り替えられるようにしてもよい。

なお、以上においては、第１の表示領域１５１に表示される術野画像に対して書き込まれたアノテーションが、第２の表示領域１５２に表示される術野画像に反映されるものとしたが、その逆の機能が設けられてもよい。すなわち、第２の表示領域１５２に表示される術野画像に対して書き込まれたアノテーションが、第１の表示領域１５１に表示される術野画像に反映されるようにしてもよい。

このような構成によれば、例えば２人の執刀医同士が、互いに手術箇所の位置などを確認しあうなど、双方向のコミュニケーションを取りながら手術を進めることが可能となる。

＜３．術野画像の表示形態＞
ここで、表示制御部１３２によって、第１の表示領域１５１と第２の表示領域１５２に表示される術野画像の表示形態について説明する。

図１６は、術野画像の表示形態の第１の例を示している。

図１６の例においては、１つの表示装置３５０の画面において、第１の表示領域３５１と第２の表示領域３５２がサイドバイサイド表示されている。

図１７は、術野画像の表示形態の第２の例を示している。

図１７の例においては、１つの表示装置３５０の画面において、第１の表示領域３５１と第２の表示領域３５２がピクチャインピクチャ表示されている。具体的には、表示装置３５０の画面全体に表示される第１の表示領域３５１の左下に、第１の表示領域３５１より小さい第２の表示領域３５２が設けられている。

図１８は、術野画像の表示形態の第３の例を示している。

図１８の例においては、１つの表示装置３５０の画面において、第１の表示領域３５１と第２の表示領域３５２が切り替わって表示される様子が示されている。

図１９は、術野画像の表示形態の第４の例を示している。

図１９の例に示されるように、第１の表示領域３５１と第２の表示領域３５２が、互いに通信回線で接続される別個の表示装置３５０−１，３５０−２にそれぞれ表示されるようにしてもよい。

図１９の構成によれば、物理的に離れた位置に表示装置３５０−１，３５０−２を設置することができるので、指導医は、遠隔地にいる執刀医に対して、アノテーションを提示することが可能となる。

＜４．変形例＞
以下においては、上述した実施の形態の変形例について説明する。

（過去の術野画像に対するアノテーションの書き込み）
リアルタイムに表示されている術野画像や、その所定の１フレームである静止画像に対するアノテーションの書き込みに限らず、所定時間分の過去の術野画像に対するアノテーションの書き込みを受け付けるようにしてもよい。

図２０は、過去の術野画像に対するアノテーションの書き込みの例を示す図である。

図２０の例では、図１７の例と同様、１つの表示装置３５０の画面において、第１の表示領域３５１と第２の表示領域３５２がピクチャインピクチャ表示されている。

さらに、図２０の例では、例えば２０秒間などの所定時間分の過去の術野画像の時間的な位置の指定が可能なシークバー３７０が、第２の表示領域３５２の右側に表示されている。シークバー３７０の右端は現在を表し、その左端は現在時刻から２０秒前を表している。シークバー３７０上には、過去の術野画像の時間的な位置を指定するためのスライダ３７１と、術野画像において指定された時間的な位置のフレームのサムネイル３７２が表示される。

ユーザは、シークバー３７０上でスライダ３７１を操作することで、過去２０秒間分の術野画像における時間的な位置を指定する。これにより、術野画像において指定された時間的な位置のフレームである静止画像が、第１の表示領域３５１に表示される。

そして、ユーザにより、第１の表示領域３５１に表示されている静止画像にアノテーションが書き込まれることで、第２の表示領域３５２にリアルタイムに表示されている現在の術野画像にも、そのアノテーションを反映させることができる。

このようにして、過去に遡って、術野画像に対するアノテーションの書き込みを行うようにすることもできる。

（マスキング表示）
以上においては、アノテーションが書き込まれた位置が、十分な３次元表面マップデータが構築されている領域でない場合には、リアルタイムに表示される術野画像にはアノテーションを反映させないようにした。

これに限らず、十分な３次元表面マップデータが構築されていない領域には、マスキング表示を施すようにしてもよい。

図２１は、マスキング表示の例を示す図である。

図２１の例では、図１７の例と同様、表示装置３５０の画面において、第１の表示領域３５１と第２の表示領域３５２がピクチャインピクチャ表示されている。図２１の例においては、フリーズモードが選択されており、第１の表示領域３５１には静止画像が、第２の表示領域３５２にはリアルタイムな術野画像が表示されているものとする。

そして、第１の表示領域３５１に表示されている静止画像に映る臓器の一部領域には、マスキング表示３８０が施されている。マスキング表示３８０が施されている領域には、アノテーションの書き込みが受け付けられないようになされている。

これにより、十分な３次元表面マップデータが構築されていない領域に、アノテーションが書き込まれることを防ぐことができ、結果として、アノテーションの追従の精度低下を招くことを避けることが可能となる。

（３次元画像のプレビュー表示）
例えば、ユーザが書き込んだアノテーションが意図した箇所に重畳されているかを、ユーザ自身が確認できるように、３次元画像をプレビュー表示するようにしてもよい。

図２２は、３次元画像のプレビュー表示の例を示す図である。

図２２の例では、表示装置３５０の画面全体に、第１の表示領域３５１が表示されている。図２２の例においては、フリーズモードが選択されており、第１の表示領域３５１には静止画像が表示されているものとする。

さらに、図２２の例では、表示装置３５０の画面右端に、書き込みモードボタン３１１とフリーズモードボタン３１２に加え、３次元画像表示ボタン３９１が表示されている。

第１の表示領域３５１に表示されている術野画像に対してアノテーションが書き込まれ、かつ、３次元画像表示ボタン３９１がタッチ操作されると、第１の表示領域３５１の左下に、３次元情報（３次元表面マップデータ）に基づいた３次元画像３９２が表示される。

３次元画像３９２は、ユーザの操作により、被写体の表示される向きや角度が自在に変えられる。図２２の例では、３次元画像３９２において、第１の表示領域３５１に表示されている静止画像上の指定位置（アノテーションが書き込まれた位置）に対応する位置に、アノテーションが重畳されている。

このようにして、アノテーションが重畳された３次元画像３９２が表示されることで、ユーザは、ユーザ自身が書き込んだアノテーションが意図した箇所に重畳されているかを、容易に確認することができるようになる。

（アノテーションの書き込み手法）
以上においては、アノテーションの書き込み（指定位置の指定）は、タッチパネル機能を備える表示装置に対するタッチ操作により実現されるものとしたが、これ以外の手法により実現されるようにしてもよい。

例えば、画面上でアノテーションを書き込む座標位置を、マウスを用いて入力するようにしてもよいし、画面内に映る鉗子などの術具により指示された領域を画像認識して、その座標位置を取得するようにしてもよい。

さらに、音声によってアノテーションの書き込みを指示するようにしてもよいし、ユーザの視線や体の向きによってアノテーションの書き込みを指示するようにしてもよい。

また、アノテーションの書き込みの指示は、画面上の座標位置を直接指定する手法に限られない。

例えば、領域を指定するアノテーションの書き込みを指示する場合、図２３左に示されるように、指定したいがん領域４１１を枠Ｅ１で囲うことで、がん領域４１１の境界が自動で認識されるようにする。そして、図２３右に示されるように、がん領域４１１を表すアノテーション４１２が表示されるようにする。

また、３次元表面マップデータに対して、臓器毎にセグメンテーションを行い、その臓器表面にマスキングを施すことで、アノテーションの書き込みができないようにしてもよい。

本実施の形態の手術支援システムにおいて、アノテーションが書き込まれる臓器には、個々の内臓、血管、腫瘍、リンパ系、神経、脂肪組織、腹壁、出血領域や変色領域などが含まれる。したがって、アノテーションの書き込みは、これら臓器の把持位置や穿刺箇所の表示などにも利用できる。

（アノテーションの表示例）
アノテーションは、画面上でユーザに指定された点（指定位置）を示す点画像であってもよいし、点の集合である線を示す線画像であってもよい。ここでいう線には、２点を結ぶ線分、複数の線分からなる折れ線、ユーザにより描かれた曲線、閉じた折れ線や閉じた曲線が含まれる。また、アノテーションは、閉じた折れ線や閉じた曲線で囲まれた領域を示す面画像であってもよい。面画像には、例えば臓器の表面領域だけでなく、体積をもった領域を表現する幾何パターンが含まれる。

このように、アノテーションは、その用途に応じた表示態様を採ることができる。

さらに、３次元表面マップデータ（３次元情報）を用いることで、術野画像に映る臓器表面の位置や領域に加え、その奥行き方向の位置や領域（立体領域）を示すアノテーションが書き込まれる（重畳される）ようにしてもよい。これらの位置や領域にはそれぞれ３次元情報が対応付けられているので、点間の距離や、領域の面積・体積が、臓器に直接触れることなく仮想的に算出することができる。

例えば、図２４の例では、術野画像に映る臓器表面の点画像４２１，４２２を結ぶ線画像と、面画像４２３が、アノテーションとして術野画像上に重畳されている。図２４の例では、点画像４２１と点画像４２２との間の距離は４２ｍｍと算出され、面画像４２３の面積は２００ｍｍ^２と算出されている。

なお、図２４に示されるように、面画像４２３の境界から所定距離（例えば１２ｍｍ）だけ離れて面画像４２３を囲う閉曲線４２４が、アノテーションとして術野画像上に重畳されるようにしてもよい。

また、図２５の例では、術野画像に映る臓器表面の領域４３１の奥行き方向で体積をもった立体画像４３２と、領域４３１上の点画像４３３が、アノテーションとして術野画像上に重畳されている。図２５の例では、立体画像４３２の体積は３２５２６ｍｍ^３と算出され、点画像４３３と立体画像４３２との距離は２５ｍｍと算出されている。

さらに、内視鏡１１の観察光学系からの距離に応じて、アノテーションとして表示される点画像や面画像の色や濃度を変えることで遠近感をもたせ、ユーザに、アノテーションの３次元的な位置を直感的に把握させるようにしてもよい。

また、以上においては、１つの表示領域（第１の表示領域１５１）に表示される術野画像に１人のユーザ（例えば指導医）がアノテーションを書き込む例について説明した。これに限らず、１つの表示領域に表示される術野画像に複数の指導医がアノテーションを書き込むようにしてもよい。また、複数の指導医毎に表示領域を設け、それぞれの表示領域に表示される術野画像に、指導医それぞれがアノテーションを書き込むようにしてもよい。

この場合、アノテーションを書き込んだ指導医（術野画像上で指定位置を指定したユーザ）毎に色や形状を変えるなど、異なる表示態様のアノテーションが重畳されるようにしてもよい。例えば、図２６に示されるように、第１の指導医により書き込まれたアノテーション３３１−１は実線で表示され、第２の指導医により書き込まれたアノテーション３３１−２は点線で表示されるようにする。

これにより、術野画像上に重畳されたアノテーションが、誰によって書き込まれたものであるかを判別できるようになる。

また、上述した例において、複数のユーザによって書き込まれたアノテーションのうち、特定のユーザにより書き込まれたアノテーションをリセット（消去）できるようにしてもよい。

さらに、術野画像に、他のモダリティ（ＣＴ（Computed Tomography）装置やＭＲＩ（Magnetic Resonance Imaging）装置などの医用画像を撮影する装置）で取得された画像や３次元情報を重ね合わせるようにしてもよい。これにより、アノテーションを、あたかも臓器の内部に書き込まれているように表示することができる。

加えて、アノテーションの書き込みの起点となる位置に、その部位に関する各種の情報を表示させるようにすることで、あとでその部位を確認したユーザ自身や他のユーザに対して、有用な情報を提示したり注意を促すことが可能となる。

（記録された術野画像に対するアノテーションの書き込み）
以上においては、センシング部１１０により撮像された、リアルタイムに表示されている術野画像に対してアノテーションを書き込むものとした。これに限らず、センシング部１１０により撮像された術野画像を記録し、記録された術野画像に対してアノテーションを書き込むようにしてもよい。このような形態は、医療の教育現場などで活用することができる。

（絶対的な３次元情報の取得）
本実施の形態においては、動き推定によるカメラ位置・姿勢の結果、相対的な３次元情報が得られるが、観察対象となる患者の体腔外を基準とした絶対的な３次元情報が得られるようにしてもよい。具体的には、患者の体腔外に基準座標系をもつ光学式・磁気式で画像認識機能を備えるトラッキングシステムを内視鏡１１に設け、その座標系を基準とすることで、絶対的な３次元情報が得られるようにする。これにより、絶対的なアノテーションの３次元位置を提示させることができる。

（機械学習の利用）
近年、機械学習やディープラーニングなどのＡＩを用いて腫瘍などの自動検出を行うことが可能になってきたが、この検出結果をアノテーションとして用いるようにしてもよい。これにより、術野画像のある１フレームにおいて検出された腫瘍の位置や領域に、アノテーションを常に重畳表示し続けることができる。この場合においても、アノテーションの重畳表示のＯＮ／ＯＦＦが切り替えられるようにすることで、アノテーションの表示自体が手術の進行の妨げにならないようにすることができる。

＜５．適用例＞
次に、図２７を参照して、本実施の形態に係る手術支援システムの他の適用例として、アームを備えた手術用ビデオ顕微鏡装置が用いられる場合の一例について説明する。

図２７は、患者の体内を観察する観察用医療機器としての手術用ビデオ顕微鏡装置を用いた顕微鏡手術システムの一例を示している。

図２７には、施術者（ユーザ）５２０である医師が、例えばメス、鑷子、鉗子などの手術用の器具５２１を使用して、施術台５３０上の施術対象（患者）５４０に対して手術を行っている様子が示されている。

なお、以下の説明において、施術とは、手術や検査など、ユーザ５２０である医師が施術対象５４０である患者に対して行う各種の医療的な処置の総称であるものとする。また、図２７の例では、施術の一例として手術の様子が示されているが、手術用ビデオ顕微鏡装置５１０が用いられる施術は手術に限定されず、他の各種の施術であってもよい。

施術台５３０の脇には、本実施の形態に係る手術用ビデオ顕微鏡装置５１０が設けられる。

手術用ビデオ顕微鏡装置５１０は、基台であるベース部５１１、ベース部５１１から延伸するアーム部５１２、そして、アーム部５１２の先端に先端ユニットとして接続される撮像ユニット５１５を備える。

アーム部５１２は、複数の関節部５１３ａ，５１３ｂ，５１３ｃ、関節部５１３ａ，５１３ｂによって連結される複数のリンク５１４ａ，５１４ｂ、そして、アーム部５１２の先端に設けられる撮像ユニット５１５を有する。

図２７の例では、簡単のため、アーム部５１２は３つの関節部５１３ａ乃至５１３ｃと２つのリンク５１４ａ，５１４ｂを有している。実際には、アーム部５１２と撮像ユニット５１５の位置および姿勢の自由度を考慮して、所望の自由度を実現するように関節部５１３ａ乃至５１３ｃとリンク５１４ａ，５１４ｂの数や形状、関節部５１３ａ乃至５１３ｃの駆動軸の方向などが適宜設定されてもよい。

関節部５１３ａ乃至５１３ｃは、リンク５１４ａ，５１４ｂを互いに回動可能に連結する機能を有し、関節部５１３ａ乃至５１３ｃの回転が駆動されることにより、アーム部５１２の駆動が制御される。

アーム部５１２の先端には、先端ユニットとして撮像ユニット５１５が接続されている。

撮像ユニット５１５は、被写体の光学像を取得する光学系を含むことで、撮像対象の画像を取得するユニットであり、例えば動画像や静止画像を撮像できるカメラなどとして構成される。図２７に示されるように、アーム部５１２の先端に設けられた撮像ユニット５１５が、施術対象５４０の施術部位の様子を撮像するように、手術用ビデオ顕微鏡装置５１０によってアーム部５１２と撮像ユニット５１５の姿勢や位置が制御される。

なお、アーム部５１２の先端に先端ユニットとして接続される撮像ユニット５１５の構成は特に限定されず、例えば、撮像ユニット５１５は、内視鏡や顕微鏡として構成されてもよい。また、撮像ユニット５１５は、アーム部５１２に対して着脱可能に構成されてもよい。

このような構成により、例えば、利用用途に応じた撮像ユニット５１５が、アーム部５１２の先端に先端ユニットとして適宜接続されてもよい。なお、ここでは、先端ユニットとして撮像ユニット５１５が適用されている場合に着目して説明するが、アーム部５１２の先端に接続される先端ユニットは、必ずしも撮像ユニット５１５に限定されないことは言うまでもない。

また、ユーザ５２０と対向する位置には、モニタやディスプレイなどの表示装置５５０が設置される。撮像ユニット５１５により取得された施術部位の画像は、例えば、手術用ビデオ顕微鏡装置５１０に内蔵または外付けされた画像処理装置により、各種画像処理が施されたうえで、表示装置５５０の表示画面に電子画像として表示される。

このような構成により、ユーザ５２０は、表示装置５５０の表示画面に表示される施術部位の電子画像を見ながら各種の処置（例えば手術など）を行うことが可能となる。

ここで、図２７の例では、撮像ユニット５１５が、例えば、図３を参照して説明したセンシング部１１０を含む。また、撮像ユニット５１５により取得された施術部位の画像に対して、各種画像処理を施す画像処理装置が、図３を参照して説明した情報処理装置１３０の一例に相当する。同様に、表示装置５５０が、図３を参照して説明した表示装置１５０の一例に相当する。

＜６．ハードウェア構成＞
次に、図２８を参照して、本実施の形態に係る手術支援システムを構成する情報処理装置のハードウェア構成の一例について、詳細に説明する。

図２８は、本実施の形態に係る手術支援システムを構成する情報処理装置９００のハードウェア構成の一例を示すブロック図である。

図２８に示されるように、情報処理装置９００は、ＣＰＵ９０１，ＲＯＭ９０３，およびＲＡＭ９０５を備えている。さらに、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インタフェース９１３、入力装置９１５、出力装置９１７、およびストレージ装置９１９を備えている。なお、情報処理装置９００は、ドライブ９２１、接続ポート９２３、通信装置９２５を備えてもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３，ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。

ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータなどを一次記憶する。これらは、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。なお、図３を参照して説明した情報処理装置１３０の各構成は、例えばＣＰＵ９０１により実現される。

ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス９１１に接続されている。外部バス９１１には、インタフェース９１３を介して、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、および通信装置９２５が接続される。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー、およびペダルなど、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡなどの外部接続機器９２９であってもよい。

入力装置９１５は、例えば、上述した操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。

ユーザは、入力装置９１５を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。具体的には、出力装置９１７は、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置、およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置、プリンタ装置などとして構成される。

出力装置９１７は、例えば、情報処理装置９００が行った各種の処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データなどからなるオーディオ信号をアナログ信号に変換して出力する。なお、図３を参照して説明した表示装置１５０は、例えば、出力装置９１７により実現される。

ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データなどを格納する。

ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置９００に内蔵されるか、または外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７に記録を書き込むことも可能である。

リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア、またはＢｌｕ−ｒａｙ（登録商標）メディアなどである。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣＦ：CompactFlash）、フラッシュメモリ、またはＳＤ（Secure Digital）メモリカードなどであってもよい。さらに、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣ（Integrated Circuit）カード、または電子機器などであってもよい。

接続ポート９２３は、外部接続機器９２９を情報処理装置９００に直接接続するためのポートである。接続ポート９２３の一例としては、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポートなどがある。接続ポート９２３の別の例としては、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートなどがある。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。

通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイスなどで構成された通信インタフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Wireless ＵＳＢ）用の通信カードなどである。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または各種通信用のモデムなどであってもよい。

通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰなどの所定のプロトコルに則して信号を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線または無線によって接続されたネットワークなどにより構成されるようにしてもよい。通信網９３１は、例えば、インターネットや家庭内ＬＡＮであってもよいし、赤外線通信、ラジオ波通信、または衛星通信が行われる通信網であってもよい。

上述した情報処理装置９００の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。したがって、本実施の形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。

さらに、本実施の形態に係る手術支援システムを構成する情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータなどに実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することも可能である。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、コンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

＜７．まとめ＞
以上のように、本実施の形態の手術支援システムにおいては、第１の表示領域に表示されている術野画像上のユーザにより指定された指定位置に、アノテーションが重畳される。そして、第２の表示領域にリアルタイムに表示されている術野画像上の指定位置に追従して、アノテーションが重畳される。

これにより、指導医による、第１の表示領域に表示される術野画像に対するアノテーションの書き込みが、執刀医が見ている第２の表示領域に表示される術野画像中に反映されるようになる。

従来、内視鏡下手術や顕微鏡を用いた手術は、画面を介した手術であるため、口頭では、術者同士の間での手技に関わる細かな指示の意思疎通が困難であった。

そこで、本実施の形態の手術支援システムによれば、アノテーションによる仮想的なマーキングにより、指導的な立場にいる指導医や執刀医、助手やコメディカルスタッフとの連携を図ることが可能となる。

また、本実施の形態の手術支援システムによれば、教育目的で術野画像上にマーキングを書き込んだり、録画された術野画像にも後からマーキングを書き込むことができる。

このような仮想的なマーキングによれば、臓器に侵襲的なマーキングを直接書き込んだり、鉗子などを用いて指示したりすることがないので、臓器を傷付けることがない。また、手術の計画を立てる際にも、マーキングを書き込みながら方針を決定したり、そのマーキングが不要になった場合には、再度書き込み直すことが可能となる。

なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、本開示は以下のような構成をとることができる。
（１）
術野画像の２以上の表示領域への表示を制御する表示制御部と、
前記表示領域のうち、第１の表示領域に表示されている前記術野画像上のユーザにより指定された指定位置に、視覚情報を重畳する第１の重畳部と、
前記第１の表示領域とは異なる第２の表示領域にリアルタイムに表示されている前記術野画像上の前記指定位置に追従して、前記視覚情報を重畳する第２の重畳部と
を備える手術支援システム。
（２）
前記表示制御部は、前記ユーザの指示に基づいて、前記第１の表示領域にリアルタイムに表示されている前記術野画像に代えて、前記術野画像の所定の１フレームである静止画像を表示し、
前記第１の重畳部は、前記第１の表示領域に表示されている前記静止画像上の前記ユーザにより指定された前記指定位置に、前記視覚情報を重畳する
（１）に記載の手術支援システム。
（３）
前記第１の重畳部は、前記第１の表示領域にリアルタイムに表示されている前記術野画像上の前記ユーザにより指定された前記指定位置に、前記視覚情報を重畳する
（１）に記載の手術支援システム。
（４）
前記表示制御部は、所定時間分の過去の前記術野画像を、前記第１の表示領域へ表示し、
前記第１の重畳部は、前記第１の表示領域に表示されている過去の前記術野画像上の前記ユーザにより指定された前記指定位置に、前記視覚情報を重畳する
（１）に記載の手術支援システム。
（５）
前記表示制御部は、１つの表示装置において、前記第１の表示領域と前記第２の表示領域をサイドバイサイド表示する
（１）乃至（４）のいずれかに記載の手術支援システム。
（６）
前記表示制御部は、１つの表示装置において、前記第１の表示領域と前記第２の表示領域をピクチャインピクチャ表示する
（１）乃至（４）のいずれかに記載の手術支援システム。
（７）
前記表示制御部は、１つの表示装置において、前記第１の表示領域と前記第２の表示領域を切り替えて表示する
（１）乃至（４）のいずれかに記載の手術支援システム。
（８）
前記表示制御部は、前記第１の表示領域と前記第２の表示領域を、別個の表示装置に表示する
（１）乃至（４）のいずれかに記載の手術支援システム。
（９）
前記表示制御部は、前記ユーザの指示に基づいて、少なくとも前記第２の表示領域に表示されている前記術野画像に重畳された前記視覚情報の表示／非表示を切り替える
（１）乃至（８）のいずれかに記載の手術支援システム。
（１０）
前記第１および第２の重畳部は、前記術野画像上で前記指定位置を指定した前記ユーザ毎に異なる表示態様の前記視覚情報を重畳する
（１）乃至（９）のいずれかに記載の手術支援システム。
（１１）
前記第１および第２の重畳部は、前記視覚情報として、前記ユーザの操作に応じた点画像、線画像、および面画像の少なくともいずれかを重畳する
（１）乃至（１０）のいずれかに記載の手術支援システム。
（１２）
前記第１および第２の重畳部は、前記術野画像について構築された３次元情報に基づいて、前記術野画像の奥行き方向の位置を示す前記視覚情報を重畳する
（１１）に記載の手術支援システム。
（１３）
前記表示制御部は、前記第１の表示領域に表示されている前記術野画像において十分な３次元情報が構築されていない領域にマスキング表示を施す
（１）乃至（１２）のいずれかに記載の手術支援システム。
（１４）
前記表示制御部は、前記第１の表示領域に表示されている前記術野画像上で前記ユーザにより前記指定位置が指定された場合、前記術野画像上の前記指定位置に対応する位置に前記視覚情報が重畳された３次元画像をプレビュー表示する
（１）乃至（１２）のいずれかに記載の手術支援システム。
（１５）
前記第２の重畳部は、前記第１の表示領域に表示されている前記術野画像の、十分な３次元情報が構築されていない領域上で前記指定位置が指定された場合、前記第２の表示領域に表示された前記静止画像上に前記視覚情報を重畳しない
（１）乃至（１２）のいずれかに記載の手術支援システム。
（１６）
前記第１の表示領域に表示されている前記術野画像の、十分な前記３次元情報が構築されていない領域上で前記指定位置が指定された場合、
前記表示制御部は、前記第１の表示領域にリアルタイムに表示されている前記術野画像に代えて、前記術野画像の所定の１フレームである静止画像を表示し、
前記第１の重畳部は、前記第１の表示領域に表示されている前記静止画像上の前記ユーザにより指定された前記指定位置に、前記視覚情報を重畳する
（１５）に記載の手術支援システム。
（１７）
前記術野画像は、患者の体内を観察する観察用医療機器により撮像された画像である
（１）乃至（１６）のいずれかに記載の手術支援システム。
（１８）
前記観察用医療機器は、前記患者の体内を被写体として撮像する内視鏡である
（１７）に記載の手術支援システム。
（１９）
前記観察用医療機器は、被写体の光学像を取得する光学系を含む顕微鏡である
（１７）に記載の手術支援システム。
（２０）
手術支援システムが、
術野画像の２以上の表示領域への表示を制御し、
前記表示領域のうち、第１の表示領域に表示されている前記術野画像上のユーザにより指定された指定位置に、視覚情報を重畳し、
前記第１の表示領域とは異なる第２の表示領域にリアルタイムに表示されている前記術野画像上の前記指定位置に追従して、前記視覚情報を重畳する
表示方法。

１ 手術支援システム， １１ 内視鏡， １３ ＣＣＵ， １５ 表示装置， １００ 手術支援システム， １１０ センシング部， １３０ 情報処理装置， １３１ 画像データ生成部， １３２ 表示制御部， １３３ 指定位置算出部， １３４ ３次元表面マップデータ記憶部， １４１ 第１の重畳部， １４２ 第２の重畳部， １５０ 表示装置， １５１ 第１の表示領域， １５２ 第２の表示領域

Claims (20)

1. 術野画像の２以上の表示領域への表示を制御する表示制御部と、
   前記表示領域のうち、第１の表示領域に表示されている前記術野画像上のユーザにより指定された指定位置に、視覚情報を重畳する第１の重畳部と、
   前記第１の表示領域とは異なる第２の表示領域にリアルタイムに表示されている前記術野画像上の前記指定位置に追従して、前記視覚情報を重畳する第２の重畳部と
   を備える手術支援システム。
2. 前記表示制御部は、前記ユーザの指示に基づいて、前記第１の表示領域にリアルタイムに表示されている前記術野画像に代えて、前記術野画像の所定の１フレームである静止画像を表示し、
   前記第１の重畳部は、前記第１の表示領域に表示されている前記静止画像上の前記ユーザにより指定された前記指定位置に、前記視覚情報を重畳する
   請求項１に記載の手術支援システム。
3. 前記第１の重畳部は、前記第１の表示領域にリアルタイムに表示されている前記術野画像上の前記ユーザにより指定された前記指定位置に、前記視覚情報を重畳する
   請求項１に記載の手術支援システム。
4. 前記表示制御部は、所定時間分の過去の前記術野画像を、前記第１の表示領域へ表示し、
   前記第１の重畳部は、前記第１の表示領域に表示されている過去の前記術野画像上の前記ユーザにより指定された前記指定位置に、前記視覚情報を重畳する
   請求項１に記載の手術支援システム。
5. 前記表示制御部は、１つの表示装置において、前記第１の表示領域と前記第２の表示領域をサイドバイサイド表示する
   請求項１に記載の手術支援システム。
6. 前記表示制御部は、１つの表示装置において、前記第１の表示領域と前記第２の表示領域をピクチャインピクチャ表示する
   請求項１に記載の手術支援システム。
7. 前記表示制御部は、１つの表示装置において、前記第１の表示領域と前記第２の表示領域を切り替えて表示する
   請求項１に記載の手術支援システム。
8. 前記表示制御部は、前記第１の表示領域と前記第２の表示領域を、別個の表示装置に表示する
   請求項１に記載の手術支援システム。
9. 前記表示制御部は、前記ユーザの指示に基づいて、少なくとも前記第２の表示領域に表示されている前記術野画像に重畳された前記視覚情報の表示／非表示を切り替える
   請求項１に記載の手術支援システム。
10. 前記第１および第２の重畳部は、前記術野画像上で前記指定位置を指定した前記ユーザ毎に異なる表示態様の前記視覚情報を重畳する
    請求項１に記載の手術支援システム。
11. 前記第１および第２の重畳部は、前記視覚情報として、前記ユーザの操作に応じた点画像、線画像、および面画像の少なくともいずれかを重畳する
    請求項１に記載の手術支援システム。
12. 前記第１および第２の重畳部は、前記術野画像について構築された３次元情報に基づいて、前記術野画像の奥行き方向の位置を示す前記視覚情報を重畳する
    請求項１１に記載の手術支援システム。
13. 前記表示制御部は、前記第１の表示領域に表示されている前記術野画像において十分な３次元情報が構築されていない領域にマスキング表示を施す
    請求項１に記載の手術支援システム。
14. 前記表示制御部は、前記第１の表示領域に表示されている前記術野画像上で前記ユーザにより前記指定位置が指定された場合、前記術野画像上の前記指定位置に対応する位置に前記視覚情報が重畳された３次元画像をプレビュー表示する
    請求項１に記載の手術支援システム。
15. 前記第２の重畳部は、前記第１の表示領域に表示されている前記術野画像の、十分な３次元情報が構築されていない領域上で前記指定位置が指定された場合、前記第２の表示領域に表示された前記静止画像上に前記視覚情報を重畳しない
    請求項１に記載の手術支援システム。
16. 前記第１の表示領域に表示されている前記術野画像の、十分な前記３次元情報が構築されていない領域上で前記指定位置が指定された場合、
    前記表示制御部は、前記第１の表示領域にリアルタイムに表示されている前記術野画像に代えて、前記術野画像の所定の１フレームである静止画像を表示し、
    前記第１の重畳部は、前記第１の表示領域に表示されている前記静止画像上の前記ユーザにより指定された前記指定位置に、前記視覚情報を重畳する
    請求項１５に記載の手術支援システム。
17. 前記術野画像は、患者の体内を観察する観察用医療機器により撮像された画像である
    請求項１に記載の手術支援システム。
18. 前記観察用医療機器は、前記患者の体内を被写体として撮像する内視鏡である
    請求項１７に記載の手術支援システム。
19. 前記観察用医療機器は、被写体の光学像を取得する光学系を含む顕微鏡である
    請求項１７に記載の手術支援システム。
20. 手術支援システムが、
    術野画像の２以上の表示領域への表示を制御し、
    前記表示領域のうち、第１の表示領域に表示されている前記術野画像上のユーザにより指定された指定位置に、視覚情報を重畳し、
    前記第１の表示領域とは異なる第２の表示領域にリアルタイムに表示されている前記術野画像上の前記指定位置に追従して、前記視覚情報を重畳する
    表示方法。

Images