JP2020046893A - 手術支援システム及び仮想手術支援システム - Google Patents

Abstract

【課題】 そこで、本発明は、人為的ミスを低減しつつ、手術技能の標準化や効果的な教育を行うことを可能にする手術支援システムを提供すること。【解決手段】本発明による手術支援システムは、手術対象に対し手術を行うオペレータの手術情報を取得する手段と、手術に関する情報を学習した学習済情報を有し手術情報と学習済情報とに基づいてオペレータによる手術を支援する手術支援手段と、を備ている。詳しくは、システムは、手術対象に対し手術を行う作業ユニット；作業ユニットに対するオペレータからの操作を受け付ける操作ユニット；並びに作業ユニット及び操作ユニットを制御する制御ユニット；を有する手術装置と、学習済情報を備え、手術装置と通信可能に構成された手術支援装置であって、手術情報と学習済情報とに基づいて少なくとも手術装置による手術を支援する手術支援装置と、を備えている。【選択図】図１

Description

本発明は、手術支援システム及び仮想手術システムに関し、特に作業ユニットを利用して行われる手術の支援を行う技術に関する。

近年、身体への外傷が少なく、回復が早く、入院期間が短くなるなどの多くの利益を患者に提供する低侵襲遠隔手術システム（以下、「手術システム」と呼ぶ）が提案されている（例えば、特許文献１参照）。

また、このようなシステムにおいて、外科医にとって必要な情報をシステムのディスプレイ（ディスプレイ等に）に重畳して表示する技術も提案されている（特許文献２及び特許文献３）。

特表２０１３−５３１５３８号公報 特表２０１５−５２９４８９号公報 特開２０１７−１０４５６７号公報

ところで、このような手術システムは、システムを利用するために相当の訓練が必要であり、経験のある外科医であってもその熟練度のばらつきがある。また、経験数がない又は浅い外科医が当該システムの操作を訓練するための実践的な機会が少ないことも課題となっている。

即ち、図１に示されるように、経験のある外科医の場合、経験に基づいて手術をしていることもあり、作業の理屈を説明することができない一方、初心者は経験によってしかその技能を育成することができない。

また、初心者にとっては、技術の上達は経験を積み重ねていく必要があり、人によって技能のレベルがばらばらであり、かつ、手術においては絶対的な判断軸（統一的な判断軸）がない。これに対して、経験のある外科医の場合、そもそも効果的に教える方法がないことに加え、教える時間も少ない。

上述した特許文献１乃至特許文献３のいずれの文献においては、外科医に対する一定の支援策はあるものの、このような熟練度のバラツキや教育機会に対する課題等の根本的な部分の解決については何ら触れられていない。

そこで、本発明は、人為的ミスを低減しつつ、手術技能の標準化や効果的な教育を行うことを可能にする手術支援システムを提供することを目的とする。

図２に示されるように、本発明の上述した課題へのアプローチとしては、外科医の手術内容をノウハウとして蓄積し、初心者の外科医等に認識の補助や、計画のガイド、そして、最終的には操作の代行ということを視野に入れつつ解決するものである。

即ち、本発明によれば
手術対象に対し手術を行うオペレータの手術情報を取得する手段と、
手術に関する情報を学習した学習済情報を有し前記手術情報と前記学習済情報とに基づいて前記オペレータによる前記手術を支援する手術支援手段と、を備える
手術支援システムが得られる。

本発明によれば、人為的ミスを低減しつつ、手術技能の標準化や効果的な教育を行うことを可能にする手術支援システムを提供することができる。

本発明に関するシステムの背景と課題とを説明する表である。 本発明に関するシステムの課題に対するアプローチを説明する表である。 本発明に関するシステムの技術を概念的に示す図である。 本発明の実施の形態によるシステムの構成を示す図である。 本発明の第１の実施の形態によるシステムの機能ブロック図である。 本発明の第１の実施の形態によるシステムの学習済情報を利用した制御の一例を示す図である。 本発明の第１の実施の形態によるシステムの学習済情報を構築するための入力情報を示す図である。 本発明の第２の実施の形態によるシステムの機能ブロック図である。 本発明の第２の実施の形態によるシステムの学習済情報を利用した制御の一例を示す図である。 本発明の第２の実施の形態によるシステムの学習済情報を構築するための入力情報を示す図である。 本発明の第３の実施の形態によるシステムの機能ブロック図である。 本発明の第３の実施の形態によるシステムの学習済情報を利用した制御の一例を示す図である。 本発明の第３の実施の形態によるシステムの学習済情報を構築するための入力情報を示す図である。 本発明のシステムを利用したプラットフォームの概念図。

本発明の実施形態の内容を列記して説明する。本発明の実施の形態による手術支援システムは、以下のような構成を備える。
［項目１］
手術対象に対し手術を行うオペレータの手術情報を取得する手段と、
手術に関する情報を学習した学習済情報を有し前記手術情報と前記学習済情報とに基づいて前記オペレータによる前記手術を支援する手術支援手段と、を備える
手術支援システム。
［項目２］
項目１に記載の手術支援システムであって、
前記手術対象に対し前記手術を行う作業ユニット；前記作業ユニットに対する前記オペレータからの操作を受け付ける操作ユニット；並びに前記作業ユニット及び前記操作ユニットを制御する制御ユニット；を有する手術装置と、
前記学習済情報を備え、前記手術装置と通信可能に構成された手術支援装置であって、前記手術情報と前記学習済情報とに基づいて少なくとも前記手術装置による前記手術を支援する手術支援装置と、を備える
手術支援システム
［項目３］
項目２に記載の手術支援システムであって、
前記作業ユニットは、手術に利用するインスツルメント部と、少なくとも前記手術対象の状態又は前記インスツルメント部のいずれかの状態を把握するセンサ部と、を備えており、
前記操作ユニットは、前記オペレータの操作を受けるコントローラ部と、前記オペレータへ情報を表示するディスプレイ部とを備えている、
手術支援システム。
［項目４］
項目３に記載の手術支援システムであって、
前記手術支援装置は、前記操作ユニットに対して前記手術の支援のための情報を出力する、
手術支援システム。
［項目５］
項目３又は項目４に記載の手術支援システムであって、
前記手術支援装置は、前記ディスプレイ部に前記手術のためのガイド情報を表示する、
手術支援システム。
［項目６］
項目３乃至項目５のいずれかに記載の手術支援システムであって、
前記手術支援装置は、前記コントローラ部を制御する、
手術支援システム。
［項目７］
項目３乃至項目６のいずれかに記載の手術支援システムであって、
前記手術支援装置は、前記インスツルメント部を制御する、
手術支援システム。
［項目８］
項目３乃至項目７のいずれかに記載の手術支援システムであって、
前記センサ部はカメラ部を含み、
前記手術支援装置は、前記カメラ部を制御する、
手術支援システム。
［項目９］
項目３乃至項目８のいずれかに記載の手術支援システムであって、
前記学習済情報は、前記オペレータによる前記操作ユニットの操作に関する情報を元に学習されたものである
手術支援システム。
［項目１０］
項目９に記載の手術支援システムであって、
前記学習済情報は、前記オペレータによる前記コントローラ部の操作に関する情報を元に学習されたものである
手術支援システム。
［項目１１］
項目３乃至項目１０のいずれかに記載の手術支援システムであって、
前記学習済情報は、前記オペレータによって前記ディスプレイ部に表示させていた表示内容に関する情報を元に学習されたものである
手術支援システム。
［項目１２］
項目３乃至項目１１のいずれかに記載の手術支援システムであって、
前記操作ユニットは、前記オペレータの視線を取得する手段を有しており、
前記学習済情報は、前記視線に関する情報を元に学習されたものである
手術支援システム。
［項目１３］
項目３乃至項目１２のいずれかに記載の手術支援システムであって、
前記学習済情報は、前記インスツルメント部に対する作用に関する情報を元に学習されたものである
手術支援システム。
［項目１４］
項目３乃至項目１３のいずれかに記載の手術支援システムであって、
前記学習済情報は、前記手術装置から得られたデータにラベル付けした情報を元に学習されたものである
手術支援システム。
［項目１５］
項目３乃至項目１４のいずれかに記載の手術支援システムであって、
前記学習済情報は、前記センサ部によって取得された情報を元に学習されたものである
手術支援システム。
［項目１６］
項目３乃至項目１５のいずれかに記載の手術支援システムであって、
前記学習済情報は、前記手術対象の属性情報を元に学習されたものである
手術支援システム。
［項目１７］
項目３乃至項目１６のいずれかに記載の手術支援システムであって、
前記学習済情報は、前記手術対象のバイタル情報を元に学習されたものである
手術支援システム。
［項目１８］
項目１に記載の手術支援システムであって、
前記手術対象に対し前記手術を行う作業部；及び前記作業部に対する前記オペレータからの操作を受け付ける操作部；を有する手術器と、
前記学習済情報；及び少なくとも前記オペレータに情報を提供するための表示部；を備え、前記手術情報と前記学習済情報とに基づいて少なくとも前記表示部に対して前記手術の支援に関する情報を提供する手術支援装置と、を備える
手術支援システム
［項目１９］
項目１８に記載の手術支援システムであって、
前記作業部は、手術に利用するインスツルメント部と、少なくとも前記手術対象の状態又は前記インスツルメント部のいずれかの状態を把握するセンサ部と、を備えており、
前記操作部は、前記オペレータの操作を受け付ける、
手術支援システム。
［項目２０］
項目１９に記載の手術支援システムであって、
前記手術支援装置は、前記操作部に対して前記手術の支援のための情報を出力する、
手術支援システム。
［項目２１］
項目１９又は項目２０に記載の手術支援システムであって、
前記手術支援装置は、前記表示部に前記手術のためのガイド情報を表示する、
手術支援システム。
［項目２２］
項目１９乃至項目２１のいずれかに記載の手術支援システムであって、
前記手術支援装置は、前記操作部を制御する、
手術支援システム。
［項目２３］
項目１９乃至項目２２のいずれかに記載の手術支援システムであって、
前記手術支援装置は、前記インスツルメント部を制御する、
手術支援システム。
［項目２４］
項目１９乃至項目２３のいずれかに記載の手術支援システムであって、
前記センサ部はカメラ部を含み
前記手術支援装置は、前記カメラ部を制御する、
手術支援システム。
［項目２５］
項目１９乃至項目２４のいずれかに記載の手術支援システムであって、
前記学習済情報は、前記オペレータによる前記操作部の操作に関する情報を元に学習されたものである
手術支援システム。
［項目２６］
項目１９乃至項目２５のいずれかに記載の手術支援システムであって、
前記オペレータの視線を取得する手段を更に有しており、
前記学習済情報は、前記視線に関する情報を元に学習されたものである
手術支援システム。
［項目２７］
項目１９乃至項目２６のいずれかに記載の手術支援システムであって、
前記学習済情報は、前記インスツルメント部に対する作用に関する情報を元に学習されたものである
手術支援システム。
［項目２８］
項目１９乃至項目２７のいずれかに記載の手術支援システムであって、
前記学習済情報は、前記手術器から得られたデータにラベル付けした情報を元に学習されたものである
手術支援システム。
［項目２９］
項目１９乃至項目２８のいずれかに記載の手術支援システムであって、
前記学習済情報は、前記センサ部によって取得された情報を元に学習されたものである
手術支援システム。
［項目３０］
項目１９乃至項目２９のいずれかに記載の手術支援システムであって、
前記学習済情報は、前記手術対象の属性情報を元に学習されたものである
手術支援システム。
［項目３１］
項目１９乃至項目３０のいずれかに記載の手術支援システムであって、
前記学習済情報は、前記手術対象のバイタル情報を元に学習されたものである
手術支援システム。
［項目３２］
項目１に記載の手術支援システムであって、
仮想空間内に存在する仮想手術対象への仮想手術の支援を行うためのものであり、
当該仮想手術対象に対して仮想手術を行うための仮想作業ユニット、前記仮想作業ユニットに対するオペレータからの操作を受け付ける操作ユニット、並びに前記仮想作業ユニット及び前記操作ユニットを制御する制御ユニットを有する仮想手術装置と、
前記学習済情報を備え、前記仮想手術装置と通信可能に構成された仮想手術支援装置とであって、前記手術情報と前記学習済情報とに基づいて少なくとも前記仮想手術装置による前記仮想手術を支援する仮想手術支援装置と、を備える
仮想手術支援システム。
［項目３３］
項目３２に記載の仮想手術支援システムであって、
前記仮想作業ユニットは、前記仮想空間内において、前記仮想手術に利用するインスツルメント部と、少なくとも前記仮想手術対象の状態又は前記インスツルメント部のいずれかの状態を把握するセンサ部と、を備えており、
前記操作ユニットは、前記オペレータの操作を受けるコントローラ部と、前記オペレータへ情報を表示するディスプレイ部とを備えている、
仮想手術支援システム。
［項目３４］
項目３３に記載の仮想手術支援システムであって、
前記仮想手術支援装置は、前記操作ユニットに対して前記仮想手術の支援のための情報を出力する、
仮想手術支援システム。
［項目３５］
項目３３又は項目３４に記載の仮想手術支援システムであって、
前記仮想手術支援装置は、前記ディスプレイ部に前記仮想手術のためのガイド情報を表示する、
仮想手術支援システム。
［項目３６］
項目３３乃至項目３５のいずれかに記載の仮想手術支援システムであって、
前記仮想手術支援装置は、前記コントローラ部を制御する、
仮想手術支援システム。
［項目３７］
項目３３乃至項目３６のいずれかに記載の仮想手術支援システムであって、
前記仮想手術支援装置は、前記インスツルメント部を制御する、
仮想手術支援システム。
［項目３８］
項目３３乃至項目３７のいずれかに記載の仮想手術支援システムであって、
前記センサ部はカメラ部を含み、
前記仮想手術支援装置は、前記カメラ部を制御する、
仮想手術支援システム。
［項目３９］
項目３３乃至項目３８のいずれかに記載の仮想手術支援システムであって、
前記学習済情報は、前記オペレータによる前記操作ユニットの操作に関する情報を元に学習されたものである
仮想手術支援システム。
［項目４０］
項目３９に記載の仮想手術支援システムであって、
前記学習済情報は、前記オペレータによる前記コントローラ部の操作に関する情報を元に学習されたものである
仮想手術支援システム。
［項目４１］
項目３３乃至項目４０のいずれかに記載の仮想手術支援システムであって、
前記学習済情報は、前記オペレータによって前記ディスプレイ部に表示させていた表示内容に関する情報を元に学習されたものである
仮想手術支援システム。
［項目４２］
項目３３乃至項目４１のいずれかに記載の仮想手術支援システムであって、
前記操作ユニットは、前記オペレータの視線を取得する手段を有しており、
前記学習済情報は、前記視線に関する情報を元に学習されたものである
仮想手術支援システム。
［項目４３］
項目３３乃至項目４２のいずれかに記載の仮想手術支援システムであって、
前記学習済情報は、前記インスツルメント部に対する作用に関する情報を元に学習されたものである
仮想手術支援システム。
［項目４４］
項目３３乃至項目４３のいずれかに記載の仮想手術支援システムであって、
前記学習済情報は、前記手術装置から得られたデータにラベル付けした情報を元に学習されたものである
仮想手術支援システム。
［項目４５］
項目４３乃至項目４４のいずれかに記載の仮想手術支援システムであって、
前記学習済情報は、前記センサ部によって取得された情報を元に学習されたものである
仮想手術支援システム。
［項目４６］
項目４３乃至項目４５のいずれかに記載の仮想手術支援システムであって、
前記学習済情報は、前記仮想手術対象の属性情報を元に学習されたものである
仮想手術支援システム。
［項目４７］
項目４３乃至項目４６のいずれかに記載の仮想手術支援システムであって、
前記学習済情報は、前記手術対象の仮想バイタル情報を元に学習されたものである
仮想手術支援システム。

＜発明の概略＞
図３に示されるように、本発明の実施の形態による手術支援システムは、概略、過去に行われた複数の既手術情報を所謂ＡＩ（Ａｅｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ：人工知能）に学習させることにより（ＳＱ１）、手術支援に資する学習済手術情報を取得する（ＳＱ２）。学習の一例としては、過去に行われた手術に関する情報（画像、動画、テキスト、報告書、医師の動作・判断等、手術の実施に関連するあらゆるドキュメントを含む）を入力データとして、どのような状況・どのような条件・どのような場面においてどのような操作・動作・判断が行われたのかについて、学習器（推論部）の機械学習を行う。システムは、現在行われている（これから行われようとしている、もしくはこれまで行われてきた）新規手術情報を取得して入力値とし（ＳＱ３）、当該学習済手術情報と比較等することにより、当該手術を支援するための最適な情報を出力する（ＳＱ４）ものである。即ち、上記入力データと学習結果との組み合わせによって学習された学習器（推論部）を利用して、現在行われている手術（これから行われようとしている手術）に関する情報（画像、動画、テキスト、報告書、医師の動作・判断等、手術の実施に関連するあらゆるドキュメントを含む）が入力されると、ある状況・ある条件・ある場面においてどのような操作・動作・判断を行うべきなのか（行っていけないのか）に関する情報が出力される。これら学習結果は、手術支援装置で利用する学習済情報として作成される。

学習には、機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）をはじめとする各種の学習方法（深層学習：Ｄｅｅｐ Ｌｅａｒｎｉｎｇ、強化学習：Ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ）が採用可能である。

また、学習に際しては、手術者（以下「オペレータ」という）側に関する情報、手術対象者の情報、その他の要因等のあらゆる要素が対象となる。これらの学習に関して単独で又は組み合わせて適用可能な学習手法を例示すれば、線形回帰、ロジスティック回帰、サポートベクターマシーン（Ｓａｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ：ＳＶＭ）、決定木、回帰木、ランダムフォレスト、勾配ブースティング木、パーセプトロン、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）、再起型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＲＮＮ）、残差ネットワーク（ＲｅｓＮｅｔ）、単純ベイズ（ナイーブベイズ）、移動平均（Ｍｏｖｉｎｇ Ａｖｅｒａｇｅ：ＭＡ）、自自己回帰（Ａｕｔｏｒｅｇｒｅｓｓｉｖｅ：ＡＲ）、自己回帰和分移動平均（Ａｕｔｏｒｅｇｒｅｓｓｉｖｅ， Ｉｎｔｅｇｒａｔｅｄ ａｎｄ Ｍｏｖｉｎｇ Ａｖｅｒａｇｅ：ＡＲＩＭＡ）、状態空間モデル、ｋ近傍法（ｋ−ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ：ＫＮＮ）、ブースティング、バギング、階層型クラスタリング（ユークリッド距離・ウォード法など）、非階層型クラスタリング（ｋ−ｍｅａｎｓなど）、トピックモデル（Ｌａｔｅｎｔ Ｄｉｒｉｃｈｌｅｔ Ａｌｌｏｃａｔｉｏｎ：ＬＤＡなど）、自己組織化マップ（Ｓｅｌｆ−Ｏｒｇａｎｉｚｉｎｇ Ｍａｐ：ＳＯＭ）、アソシエーション分析、協調フィルタリング（アイテムベース、ユーザベースなど）などを目的・用途に応じて適宜採用可能である。

（第１の実施の形態）
＜構成概要＞
図４は、本実施の形態による手術支援システム（以下、単に「システム」と呼ぶ）１を構成する要素を示す概略図である。なお、図の構成は一例であり、これら以外の要素が含まれていてもよい。

システム１は、手術装置２と手術支援装置３とを備えている。手術装置２は、手術対象４に対してオペレータ５による手術を実施するための装置である。本実施の形態によるオペレータは手術の執刀医等であり、手術対象４は患者等である。

＜手術装置＞
手術装置２は、手術対象４に対し実際に手術を行う（即ち、手術対象４の身体に直接に作用する）作業ユニット２０と、作業ユニット２０に対するオペレータ５からの操作を受け付ける操作ユニット２２と、作業ユニット２０及び操作ユニット２２を制御する制御ユニット２４を有している。本実施の形態による手術装置２は、所謂腹腔鏡下で行うことができる手術、眼科手術、脳外科手術、脊髄手術、人口関節手術等のように、手術対象領域（閉じられた空間に限られない）に対して、当該領域に手術器具を貫通させるための小さな孔を作り、当該孔から手術器具を領域へと挿入することによって低侵襲で行う手術方法のための装置である。例示すれば、喉頭内視鏡、気管支鏡、消化管内視鏡、十二指腸内視鏡、小腸内視鏡、大腸内視鏡、胸腔鏡、腹腔鏡、膀胱鏡、胆道鏡、関節鏡、脊椎内視鏡、血管内視鏡、硬膜外腔内視鏡等が挙げられるがこれに限られない。

＜作業ユニット＞
図５に示されるように、作業ユニット２０は、手術に利用するインスツルメント部２００と、少なくとも手術対象４の手術野の状態又はインスツルメント部２００の状態を把握するセンサ部２０２とを備えている。センサ部２０２には内視鏡カメラ部２０２’が含まれている。

インスツルメント部２００は、操作可能な可動アームの先端に手術器具が取付られている。これらの器具は操作ユニット２２によって受け付けた操作によって使用することができる。手術器具としては、ピンセット、剪刀、鉗子、持針器、メス（電気メス等）等やこれらと同等の機能を発揮するものが含まれるが、用途に応じてこれ以外の器具を使用されていてもよい。

センサ部２０２は、例えば、インスツルメント部２００の状態を検知するための圧力センサ、ジャイロセンサ、加速度センサ、温度センサ、カメラ等、各種のセンサを採用可能である。カメラとしては、光学カメラ、赤外線カメラ、Ｘ線カメラ等取得したい情報に応じて適宜採用可能である。

＜操作ユニット＞
操作ユニット２２は、オペレータ５の操作を受けるコントローラ部２２２と、オペレータ５へ情報を表示するディスプレイ部２２４と、オペレータ５へ音声等による情報を提供するスピーカ部２２６とを備えている。

コントローラ部２２２は、例えば、ジョイスティック状の入力機器やフットペダル等を組み合わせることができる。本実施の形態によるディスプレイ部２２４は、所謂ＶＲ（Ｖｅｒｔｕａｌ Ｒｅａｌｉｔｙ）のＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）状の構造を有しており、ユーザの両目による視差を利用して手術対象領域の立体視が可能である。なお、ディスプレイ部は、依正モニタや、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）等、オペレータに対して作業ユニット２０や手術対象者の情報等、手術の実施にあたって必要な情報を視覚的に提供することができるものであればよい。

＜制御ユニット＞
制御ユニット２４は、作業ユニット２０と操作ユニット２２との情報通信を制御する。例えば、操作ユニット２２が受け付けた操作を作業ユニット２０に伝達したり、カメラ部２０２’で取得した画像情報をディスプレイ部２２４表示したりする。

＜手術支援装置＞
手術支援装置３は、学習済情報３０（後述する）を備え、手術装置２と通信可能に構成されている。手術支援装置３は、オペレータ５による手術から得られる情報を手術情報として取得し、当該手術情報と学習済情報３０とに基づいてオペレータ５の手術の様々な支援を行う。

より詳しくは、手術支援装置３は、概念的には、学習済情報３０と、推論部３０２と、制御部３０４と、取得部３０６とを有している。

学習済み情報３０は、前述した通り、過去の手術から得られた情報に基づいて、場面（条件）毎に推奨される操作、注意点、注視点、リスク判定、判断基準等に関する情報である。この情報があることによって、経験の浅いオペレータ５であっても、正確で効率的な手術を行うことができる。

推論部３０２は、取得部３０６によって取得した手術情報を学習済情報３０に入力し、手術の支援に必要な情報を生成する。制御部３０４は、当該比較の結果に基づいて手術の支援に必要な情報を操作ユニット２２又は作業ユニット２０などに伝達する。

＜制御＞
図６を参照して、学習済情報３０に基づいて、システム１によって支援（制御）される内容を例示する。図示されるように、ディスプレイ部２２４には、手術を安全に、円滑に、効率的に実施するためのガイド情報が表示される。例えば、手術対象４の情報や、現在の進行ステータスに関する情報、カメラ部２０２’に表示される画像に重畳して表示される情報等が例示できる。特に、本実施の形態においては、カメラ部２０２’によって取得された画像のうち、例えば、処理の対象となっている（処理してはいけない）領域や、注視すべき領域、動作の手本動画、正しい組織の認識などの情報を実際の画像に重ねて表示する。当該表示は、例えば、学習済情報に基づいて自動で認識される。

システム１は、コントローラ部２２２を制御する。コントローラ部２２２の制御としては、例えば、不適切な処理がされようとしている場合の操作の停止や、コントローラ部２２２の変位量とインスツルメント部２００の変位量との比率（例えば、コントローラ部２２２を１ｃｍ変位させた際、インスツルメント部の変位量は１ｍｍとする等）の自動変更や、緊急時のコントローラ部のロック等が例示できる。

システム１は、オペレータ５に対して音声、振動、光などといった方法で情報を伝達することもできる。例えば、不適切な処理を行おうとした場合のアラート音や、切除時のクリック感等が例示できる。

一方、システム１は、カメラ部２０２’の向きや映像モードを変更したり、他のセンサのオン／オフや感度等を変更する制御を行うことができる。

システム１は、インスツルメント部２００の変位等を制御等することができる。

システム１は、必要に応じて、手術対象のさらなる情報の取得のための処置や、投薬などを行うことができる。

＜学習済情報＞
図７を参照して、本実施の形態による学習済情報の学習の基礎（教師データ、入力データ等）となり得る情報を説明する。

学習済情報３０は、オペレータ５によってディスプレイ部２２４に表示させていた表示内容に関する情報を元に学習を行う。例えば、表示画面内に表示させていたバイタル情報や操作ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等が例示される。

学習済情報３０は、オペレータ５による操作ユニット２２の操作全般に関する情報を元に学習される。特に、学習済情報３０は、オペレータ５によるコントローラ部２２２の操作に関する情報を元に学習される。コントローラ部２２２の操作は、例えば、いつコントローラ部２２２をどの程度操作したか等という情報である。

学習済情報３０は、オペレータの視線や音声等に関する情報を元に学習されるものである。例えば、ディスプレイ部２２４の視野内でどの部分を見ているときにどのインスツルメント部を動かしていたのか、どの頻度でどの部分を注視しているか等である。

学習済情報３０は、インスツルメント部に対する作用に関する情報を元に学習されたものである。例えば、インスタルメント部が外部から受けた圧力や衝撃などが例示できる。

学習済情報３０は、手術装置から得られたデータにラベル付けした情報を元に学習されたものである。例えば、カメラ２０２’で得られた画像に事後的にラベリング（切除してよい領域と切除してはいけない領域等、血管の場所、等）を受け付け、当該ラベリングされた画像に基づいて学習を行い、類似の状況を検知するとオペレータ５に対して適切な情報を提供する。

学習済情報３０は、センサ部によって取得された情報を元に学習されたものである。例えば、圧力センサ、ジャイロセンサ、加速度センサ、温度センサ、カメラ等、各種のセンサによって得られた情報である。また、カメラ部２０２’としては、光学カメラ、赤外線カメラ、Ｘ線カメラ等で取得された情報に基づいて学習されたものである。

学習済情報３０は、手術対象の属性情報を元に学習されたものである。属性情報は、例えば、カルテ情報や、基礎的な生体データなどが例示できる。

学習済情報３０は、手術対象のバイタル情報を元に学習されたものである。バイタル情報は、例えば、手術中に測定している血圧、心電図、筋電図などの情報である。

以上説明した本発明の第１の実施の形態によれば、所謂ベテランのオペレータ（手術装置による手術経験が豊富な医師等）が、どのような状況／条件のときに、どのような操作／動作をしたかというデータの蓄積に基づいて、経験の浅いオペレータに対して手術の支援に資する情報／誘導を提供することができる。

（第２の実施の形態）
続いて、図８を参照しながら、本発明の第２の実施の形態による手術支援システム（以下、単に「システム」と呼ぶ）１を説明する。本実施の形態によるシステム１は、上述した第１の実施の形態における手術装置（図５等参照）が手術器２に置き換わったものである。

＜構成概要＞
即ち、本実施の形態によるシステム１は、手術器２’と手術支援装置３とを備えている。手術器２’は、手術対象４に対してオペレータ５による手術を実施するための機器である。本実施の形態においても、オペレータは手術の執刀医等であり、手術対象４は患者等である。

＜手術器＞
手術器２’は、典型的には所謂腹腔鏡手術において使用する手術機器などである。詳しくは、手術対象４に対し実際に手術を行う（即ち、手術対象４の身体に直接に作用する）作業部２０’と、作業部２０’に対するオペレータ５からの操作を受け付ける操作部２２’とを有している。本実施の形態による手術器２’もまた、所謂腹腔鏡下で行うことができる手術等のように、体表に開けた小さな孔から手術器具を体内（臓器内）に挿入することによって低侵襲で行う手術方法のための機器である。

＜作業部＞
図５に示されるように、作業部２０’は、手術に利用するインスツルメント部２００と、少なくとも手術対象４の手術野の状態又はインスツルメント部２００の状態を把握するセンサ部２０２とを備えている。センサ部２０２には内視鏡カメラ部２０２’が含まれている。

インスツルメント部２００は、アームの先端に手術器具が取付られている。これらの器具は操作部２２’によって受け付けた操作によって使用することができる。手術器具としては、ピンセット、剪刀、鉗子、持針器、メス（電気メス等）等やこれらと同等の機能を発揮するものが含まれるが、用途に応じてこれ以外の器具を使用されていてもよい。

センサ部２０２は、例えば、インスツルメント部２００の状態を検知するための圧力センサ、ジャイロセンサ、加速度センサ、温度センサ、カメラ等、各種のセンサを採用可能である。カメラとしては、光学カメラ、赤外線カメラ、Ｘ線カメラ等取得したい情報に応じて適宜採用可能である。

＜手術支援装置＞
手術支援装置３は、学習済情報３０（後述する）を備え、手術器２’及びオペレータ５の状態／動作を把握可能に構成されている。手術支援装置３は、オペレータ５による手術から得られる情報を手術情報として取得し、当該手術情報と学習済情報３０とに基づいてオペレータ５の手術の様々な支援を行う。

より詳しくは、手術支援装置３は、概念的には、学習済情報３０と、推論部３０２と、制御部３０４と、取得部３０６と、スピーカ部３２０と、表示部３１０とを有している。

本実施の形態による取得部３０６は、例えば、オペレータ５の動作情報を取得する各種センサや手術器２’側に取り付け可能なセンサ類、カメラ部２０２’により取得された画像情報等が入力される。

学習済み情報３０は、前述した通り、過去の手術から得られた情報に基づいて、場面（条件）毎に推奨される操作に関する情報である。この情報があることによって、経験の浅いオペレータ５であっても、正確で効率的な手術を行うことができる。

推論部３０２は、取得部３０６によって取得した手術情報と、学習済情報３０とを比較する。制御部３０４は、当該比較の結果に基づいて手術の支援に必要な情報を表示部３１０やスピーカ部３２０に出力する。また、カメラ部２０２’で取得した画像情報や、その他のセンサ部２０２で取得した情報、さらには、手術対象４の情報は表示部３１０に表示される。オペレータ５は、表示部３１０を確認しながら手術を進める。

表示部３１０及びスピーカ部３２０は、制御部３０４の制御に従って、手術の支援に必要な情報をオペレータに伝達する。

＜制御＞
図９を参照して、学習済情報３０に基づいて、システム１によって支援（制御）される内容を例示する。表示部３１０には、手術を安全に、円滑に、効率的に実施するためのガイド情報が表示される。例えば、手術対象４の情報や、現在の進行ステータスに関する情報、カメラ部２０２’に表示される画像に重畳して表示される情報等が例示できる。特に、本実施の形態においては、カメラ部２０２’によって取得された画像のうち、例えば、処理の対象となっている（処理してはいけない）領域や、注視すべき領域、動作の手本動画等を実際の画像に重ねて表示する。当該表示は、例えば、学習済情報に基づいて自動で認識される。

システム１は、スピーカ部３２０を介してオペレータ５に対して音による情報提供も行うことができる。例えば、不適切な処理がされようとしている場合や、緊急時において、スピーカ部から所定の音を流すことにより情報を伝達する。また、作業部２０’の体内における位置（例えば、表層からの深さ等）や、組織にかかっている負荷の量を音の高低によって知らせることとしてもよい。

システム１は、オペレータ５に対して音声、振動、光などといった方法で情報を伝達することもできる。例えば、不適切な処理を行おうとした場合のアラート音や、切除時のクリック感等が例示できる。

システム１は、表示部３１０を介して、カメラ部２０２’の向きや映像モードを変更したり、他のセンサのオン／オフや感度等を変更する制御を行うように促したり、インスツルメント部２００の変位を促したりすることができる。なお、手術支援装置３がカメラ部２０２’やインスツルメント部２００の制御を行える構成にしてもよい。また、手術対象のさらなる情報の取得のための処置や、投薬などを行うことができる。

＜学習済情報＞
図１０を参照して、本実施の形態による学習済情報の学習の基礎（教師データ、入力データ等）となり得る情報を説明する。なお、以下における説明は、手術器２’を利用した過去の手術情報の蓄積のみならず、上述した第１の実施の形態による手術装置を利用した過去の手術情報をも学習の基礎にすることができる。以下においては、第１の実施の形態と異なる点のみを説明する。

学習済情報３０は、オペレータ５による操作部２２’の操作全般に関する情報を元に学習される。操作部２２’の操作は、例えば、いつ操作部２２’をどの程度操作したか等という情報である。

学習済情報３０は、オペレータ５の視線や音声等に関する情報を元に学習されるものである。例えば、表示部３１０のどの部分を見ているときにどのインスツルメント部２００を動かしていたのか、どの頻度でどの部分を注視しているか等である。

学習済情報３０は、インスツルメント部２００に対する作用に関する情報を元に学習されたものである。例えば、インスタルメント部２００が外部から受けた圧力や衝撃などが例示できる。

第１の実施の形態と同様に、学習済情報３０は、手術装置（図５等参照）から得られたデータにラベル付けした情報を元に学習され、当該ラベリングされた画像を表示部３１０に提供する。

学習済情報３０は、センサ部２０２によって取得された情報を元に学習されたものである。例えば、圧力センサ、ジャイロセンサ、加速度センサ、温度センサ、カメラ等、各種のセンサによって得られた情報である。また、カメラ部２０２’としては、光学カメラ、赤外線カメラ、Ｘ線カメラ等で取得された情報に基づいて学習されたものである。

学習済情報３０は、手術対象の属性情報を元に学習されたものである。属性情報は、例えば、カルテ情報や、基礎的な生体データなどが例示できる。

学習済情報３０は、手術対象のバイタル情報を元に学習されたものである。バイタル情報は、例えば、手術中に測定している血圧、心電図、筋電図などの情報である。

以上説明した本発明の第２の実施の形態によれば、手術器２’を利用した手術においても、所謂ベテランのオペレータ（手術装置による手術経験が豊富な医師等）が、どのような状況／条件のときに、どのような操作／動作をしたかというデータの蓄積に基づいて、経験の浅いオペレータに対して手術の支援に資する情報／誘導を提供することができる。

（第３の実施の形態）
続いて、図１１を参照しながら、本発明の第３の実施の形態による手術支援システム（以下、単に「システム」と呼ぶ）１を説明する。本実施の形態によるシステム１は、上述した第１の実施の形態における手術装置（図５等参照）のうちの作業ユニットが仮想空間内にシミュレートされたものである。

＜構成概要＞
即ち、本実施の形態によるシステム１は、仮想空間（ＶＲ空間）内に存在する仮想手術対象への仮想手術の支援を行うためのものである。システム１は、仮想手術装置２’と仮想手術支援装置３’を備えている。本実施の形態によるオペレータ５は手術のシミュレーションを行う者等であり、仮想手術対象４’は仮想上の患者等である。

＜手術装置＞
仮想手術装置２’は、仮想手術対象４’に対し仮想空間内において仮想的に手術を行う（即ち、仮想手術対象４’の身体に仮想的に作用する）仮想作業ユニット２０’’と、仮想作業ユニット２０’’に対するオペレータ５からの操作を受け付ける操作ユニット２２と、仮想作業ユニット２０’’及び操作ユニット２２を制御する制御ユニット２４を有している。

以下、手術に関しては全て仮想上の例として説明する。

本実施の形態による仮想手術装置２’は、所謂腹腔鏡下で行うことができる手術、眼科手術、脳外科手術、脊髄手術等、体表に開けた小さな孔から手術器具を体内（臓器内）に挿入することによって低侵襲で行う手術方法のための装置である。例示すれば、喉頭内視鏡、気管支鏡、消化管内視鏡、十二指腸内視鏡、小腸内視鏡、大腸内視鏡、胸腔鏡、腹腔鏡、膀胱鏡、胆道鏡、関節鏡、脊椎内視鏡、血管内視鏡、硬膜外腔内視鏡等が挙げられるがこれに限られない。

＜仮想作業ユニット＞
図１１に示されるように、仮想作業ユニット２０’’は、手術に利用するインスツルメント部２２０と、少なくとも手術対象４の手術野の状態又はインスツルメント部２２０の状態を把握するセンサ部２１２とを備えている。センサ部２１２には内視鏡カメラ部２１２’が含まれている。

インスツルメント部２２０は、操作可能な可動アームの先端に手術器具が取付られている。これらの器具は操作ユニット２２によって受け付けた操作によって使用することができる。手術器具としては、ピンセット、剪刀、鉗子、持針器、メス（電気メス等）等やこれらと同等の機能を発揮するものが含まれるが、用途に応じてこれ以外の器具を使用されていてもよい。

センサ部２１２は、例えば、インスツルメント部２２０の状態を検知するための圧力センサ、ジャイロセンサ、加速度センサ、温度センサ、カメラ等、各種のセンサを採用可能である。カメラとしては、光学カメラ、赤外線カメラ、Ｘ線カメラ等取得したい情報に応じて適宜採用可能である。

＜操作ユニット＞
操作ユニット２２は、オペレータ５の操作を受けるコントローラ部２２２と、オペレータ５へ情報を表示するディスプレイ部２２４と、オペレータ５へ音声等による情報を提供するスピーカ部２２６とを備えている。

コントローラ部２２２は、例えば、ジョイスティック状の入力機器やフットペダル等を組み合わせることができる。本実施の形態によるディスプレイ部２２４は、所謂ＶＲ（Ｖｅｒｔｕａｌ Ｒｅａｌｉｔｙ）のＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）状の構造を有しており、ユーザの両目による視差を利用して手術対象領域の立体視が可能である。なお、ディスプレイ部は、依正モニタや、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）等、オペレータに対して仮想作業ユニット２０’’や手術対象者の情報等、手術の実施にあたって必要な情報を視覚的に提供することができるものであればよい。

＜制御ユニット＞
制御ユニット２４は、仮想作業ユニット２０’’と操作ユニット２２との情報通信を制御する。例えば、操作ユニット２２が受け付けた操作を仮想作業ユニット２０’’に伝達したり、カメラ部２１２’で取得した画像情報をディスプレイ部２２４表示したりする。

＜仮想手術支援装置＞
仮想手術支援装置３は、学習済情報３０（後述する）を備え、仮想手術装置２’と通信可能に構成されている。仮想手術支援装置３は、オペレータ５による手術から得られる情報を手術情報として取得し、当該手術情報と学習済情報３０とに基づいてオペレータ５の手術の様々な支援を行う。

より詳しくは、仮想手術支援装置３は、概念的には、学習済情報３０と、推論部３０２と、制御部３０４と、取得部３０６とを有している。

学習済み情報３０は、前述した通り、過去の手術から得られた情報に基づいて、場面（条件）毎に推奨される操作に関する情報である。この情報があることによって、経験の浅いオペレータ５であっても、正確で効率的な手術を行うことができる。

推論部３０２は、取得部３０６によって取得した手術情報と、学習済情報３０とを比較する。制御部３０４は、当該比較の結果に基づいて手術の支援に必要な情報を操作ユニット２２又は仮想作業ユニット２０’’などに伝達する。

＜制御＞
図１３を参照して、学習済情報３０に基づいて、システム１によって支援（制御）される内容を例示する。図示されるように、ディスプレイ部２２４には、手術を安全に、円滑に、効率的に実施するためのガイド情報が表示される。例えば、仮想手術対象４’の情報や、現在の進行ステータスに関する情報、カメラ部２１２’に表示される画像に重畳して表示される情報等が例示できる。特に、本実施の形態においては、カメラ部２１２’によって取得された画像のうち、例えば、処理の対象となっている（処理してはいけない）領域や、注視すべき領域、動作の手本動画等を実際の画像に重ねて表示する。当該表示は、例えば、学習済情報に基づいて自動で認識される。

システム１は、コントローラ部２２２を制御する。コントローラ部２２２の制御としては、例えば、不適切な処理がされようとしている場合の操作の停止や、コントローラ部２２２の変位量とインスツルメント部２２０の変位量との比率（例えば、コントローラ部２２２を１ｃｍ変位させた際、インスツルメント部の変位量は１ｍｍとする等）の自動変更や、緊急時のコントローラ部のロック等が例示できる。

システム１は、オペレータ５に対して音声、振動、光などといった方法で情報を伝達することもできる。例えば、不適切な処理を行おうとした場合のアラート音や、切除時のクリック感等が例示できる。

一方、システム１は、カメラ部２１２’の向きや映像モードを変更したり、他のセンサのオン／オフや感度等を変更する制御を行うことができる。

システム１は、インスツルメント部２２０の変位等を制御等することができる。

システム１は、必要に応じて、仮想手術対象４’のさらなる情報の取得のための処置や、投薬などを行うことができる。

＜学習済情報＞
図１３を参照して、本実施の形態による学習済情報の学習の基礎（教師データ、入力データ等）となり得る情報を説明する。

学習済情報３０は、オペレータ５によってディスプレイ部２２４に表示させていた表示内容に関する情報を元に学習を行う。例えば、表示画面内に表示させていたバイタル情報や操作ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等が例示される。

学習済情報３０は、オペレータ５による操作ユニット２２の操作全般に関する情報を元に学習される。特に、学習済情報３０は、オペレータ５によるコントローラ部２２２の操作に関する情報を元に学習される。コントローラ部２２２の操作は、例えば、いつコントローラ部２２２をどの程度操作したか等という情報である。

学習済情報３０は、オペレータの視線や音声等に関する情報を元に学習されるものである。例えば、ディスプレイ部２２４の視野内でどの部分を見ているときにどのインスツルメント部を動かしていたのか、どの頻度でどの部分を注視しているか等である。

学習済情報３０は、インスツルメント部に対する作用に関する情報を元に学習されたものである。例えば、インスタルメント部が外部から受けた圧力や衝撃などが例示できる。

学習済情報３０は、手術装置から得られたデータにラベル付けした情報を元に学習されたものである。例えば、カメラ２０２’で得られた画像に事後的にラベリング（切除してよい領域と切除してはいけない領域等、血管の場所、等）を受け付け、当該ラベリングされた画像に基づいて学習を行い、類似の状況を検知するとオペレータ５に対して適切な情報を提供する。

学習済情報３０は、センサ部によって取得された情報を元に学習されたものである。例えば、圧力センサ、ジャイロセンサ、加速度センサ、温度センサ、カメラ等、各種のセンサによって得られた情報である。また、カメラ部２１２’としては、光学カメラ、赤外線カメラ、Ｘ線カメラ等で取得された情報に基づいて学習されたものである。

学習済情報３０は、仮想手術対象４’の属性情報を元に学習されたものである。属性情報は、例えば、カルテ情報や、基礎的な生体データなどが例示できる。

学習済情報３０は、手術対象のバイタル情報を元に学習されたものである。バイタル情報は、例えば、手術中に測定している血圧、心電図、筋電図などの情報である。

以上説明した本発明の第３の実施の形態によれば、所謂ベテランのオペレータ（手術装置による手術経験が豊富な医師等）が、どのような状況／条件のときに、どのような操作／動作をしたかというデータの蓄積に基づいて、経験の浅いオペレータに対して、仮想空間内における手術の支援に資する情報／誘導を提供することができる。かかる構成によれば、経験の浅い者はいつでも、自己の技術を磨くことができる。

＜実施方法＞
本発明のシステムの実施方法としては、例えば、以下のようなフェーズを経るというロードマップを考えることができる。また、これに伴い、例えば、フェイルセーフ（個々の構成要素に故障やバグがあっても必ず安全側に落ち着くようにする設計）、フォールトトレランス（個々の構成要素に故障やバグがあっても別の手段によって機能を維持しようとする機能）、エラープルーフの要素（間違った操作をしようとしても危険が発生しないようにする設計）を考慮してもよい。
［フェーズ１］
所謂ベテランのオペレータが実際に行った手術の全ての動作／行動履歴を記録（動画等）し、後日、経験の浅いオペレータに当該記録を提供する
［フェーズ２］
例えば、手術装置を複数台用意し、１台目は所謂ベテランのオペレータが操作し、２台目以降の手術装置を利用して経験の浅いオペレータがリアルタイムでその内容を勉強させることとしてもよい。この際、ディスプレイ部にはカメラ部によって取得された画像に重畳された認識結果（臓器の特定、各組織の特定等）やガイド情報等を表示することとすればよい。
［フェーズ３］
経験の浅い者が、学習済情報に基づいて、各組織の認識結果の表示補助を受けながら手術を行う。
［フェーズ４］
学習済み情報に基づいて、オペレータに指示等を出し、オペレータは当該指示に従って、手術を実行する
［フェーズ５］
手術支援装置がオペレータの代わりに手術を行う。即ち、完全自動手術を行う。

＜技能測定＞
本発明による手術支援システムを利用して、経験の浅いオペレータの技能の測定を行うこととしてもよい。特に上述した第３の実施の形態によるシステムを利用すれば、学習済情報に基づいて、当該オペレータの技能とベテランのオペレータの技能との乖離度を測定することとしてもよい。

＜データプラットフォーム＞
図１４に示されるように、本システムは、学習済情報の学習の基礎となり得る手術が行われる多数の作業ユニット２０から学習された学習済み情報を手術支援装置に集積し、モデル動作のデータを提供するデータプラットフォームとすることができる。これにより、様々な症例、様々なオペレータの手術技能を集積・分析することが可能となり、手術技能の標準化に資することとなる。

学習済情報は、手術の際に利用することとしてもよいし、教育用のシミュレーションに利用することとしてもよい。

また、上述した学習済情報は、手術装置が存在する前提のものであったが、このような手術装置を使用しない通常の手術にも本発明は適用可能である。例えば、ベテランの外科医等の手術の様子をカメラ等のセンサでモニタリングし、学習済情報として蓄積し、このモデル動作を他の外科医の手術の際にディスプレイ等に表示することとしてもよい。この際、ディスプレイには、当該他の外科医の手術の様子をカメラ等で映し出しておき、その映像にモデル動作を重畳して表示することとすれば、より好ましい

手術における手術装置の数は１台に限られず、複数台あってもよい。この場合、操作ユニットと作業ユニットの動きは夫々同期していてもよいし、別個独立に機能（１台目の手術装置と２台目の手術装置との動きは連動していないように）することとしてもよい。

また、本システムの手術対象は人体だけに限らず、動物、練習対象としての物体、植物等であってもよい。

（産業上の実施可能性）
本発明は、手術の他に、農作業、製造業、インフラ修復、バイオテクノロジー分野等の実験・研究、ゲームやeスポーツの技能、伝統工芸といった、モデル動作を学習可能な技術分野に応用可能である。

１ 手術支援システム
２ 手術装置
２’ 手術器
２’’ 仮想手術装置
３ 手術支援装置
３ 仮想手術支援装置
４ 手術対象
４’ 仮想手術対象
５ オペレータ
２０ 作業ユニット
２０’ 作業部
２０’’ 仮想作業ユニット
２００、２２０ インスツルメント部
２０２、２１２ センサ部
２０２’、２１２’ カメラ部
２２ 操作ユニット
２２’ 操作部
２２２ コントローラ部
２２４ ディスプレイ部
２２６ スピーカ部
２４ 制御ユニット
３０ 学習済情報
３０２ 推論部
３０４ 制御部
３０６ 取得部
３１０ 表示部
３２０ スピーカ部
４０ 対象属性情報
４０２ カルテデータベース
４０４ バイタルセンサ


・クレーム構成

Claims (47)

1. 手術対象に対し手術を行うオペレータの手術情報を取得する手段と、
   手術に関する情報を学習した学習済情報を有し前記手術情報と前記学習済情報とに基づいて前記オペレータによる前記手術を支援する手術支援手段と、を備える
   手術支援システム。
2. 請求項１に記載の手術支援システムであって、
   前記手術対象に対し前記手術を行う作業ユニット；前記作業ユニットに対する前記オペレータからの操作を受け付ける操作ユニット；並びに前記作業ユニット及び前記操作ユニットを制御する制御ユニット；を有する手術装置と、
   前記学習済情報を備え、前記手術装置と通信可能に構成された手術支援装置であって、前記手術情報と前記学習済情報とに基づいて少なくとも前記手術装置による前記手術を支援する手術支援装置と、を備える
   手術支援システム
3. 請求項２に記載の手術支援システムであって、
   前記作業ユニットは、手術に利用するインスツルメント部と、少なくとも前記手術対象の状態又は前記インスツルメント部のいずれかの状態を把握するセンサ部と、を備えており、
   前記操作ユニットは、前記オペレータの操作を受けるコントローラ部と、前記オペレータへ情報を表示するディスプレイ部とを備えている、
   手術支援システム。
4. 請求項３に記載の手術支援システムであって、
   前記手術支援装置は、前記操作ユニットに対して前記手術の支援のための情報を出力する、
   手術支援システム。
5. 請求項３又は請求項４に記載の手術支援システムであって、
   前記手術支援装置は、前記ディスプレイ部に前記手術のためのガイド情報を表示する、
   手術支援システム。
6. 請求項３乃至請求項５のいずれかに記載の手術支援システムであって、
   前記手術支援装置は、前記コントローラ部を制御する、
   手術支援システム。
7. 請求項３乃至請求項６のいずれかに記載の手術支援システムであって、
   前記手術支援装置は、前記インスツルメント部を制御する、
   手術支援システム。
8. 請求項３乃至請求項７のいずれかに記載の手術支援システムであって、
   前記センサ部はカメラ部を含み、
   前記手術支援装置は、前記カメラ部を制御する、
   手術支援システム。
9. 請求項３乃至請求項８のいずれかに記載の手術支援システムであって、
   前記学習済情報は、前記オペレータによる前記操作ユニットの操作に関する情報を元に学習されたものである
   手術支援システム。
10. 請求項９に記載の手術支援システムであって、
    前記学習済情報は、前記オペレータによる前記コントローラ部の操作に関する情報を元に学習されたものである
    手術支援システム。
11. 請求項３乃至請求項１０のいずれかに記載の手術支援システムであって、
    前記学習済情報は、前記オペレータによって前記ディスプレイ部に表示させていた表示内容に関する情報を元に学習されたものである
    手術支援システム。
12. 請求項３乃至請求項１１のいずれかに記載の手術支援システムであって、
    前記操作ユニットは、前記オペレータの視線を取得する手段を有しており、
    前記学習済情報は、前記視線に関する情報を元に学習されたものである
    手術支援システム。
13. 請求項３乃至請求項１２のいずれかに記載の手術支援システムであって、
    前記学習済情報は、前記インスツルメント部に対する作用に関する情報を元に学習されたものである
    手術支援システム。
14. 請求項３乃至請求項１３のいずれかに記載の手術支援システムであって、
    前記学習済情報は、前記手術装置から得られたデータにラベル付けした情報を元に学習されたものである
    手術支援システム。
15. 請求項３乃至請求項１４のいずれかに記載の手術支援システムであって、
    前記学習済情報は、前記センサ部によって取得された情報を元に学習されたものである
    手術支援システム。
16. 請求項３乃至請求項１５のいずれかに記載の手術支援システムであって、
    前記学習済情報は、前記手術対象の属性情報を元に学習されたものである
    手術支援システム。
17. 請求項３乃至請求項１６のいずれかに記載の手術支援システムであって、
    前記学習済情報は、前記手術対象のバイタル情報を元に学習されたものである
    手術支援システム。
18. 請求項１に記載の手術支援システムであって、
    前記手術対象に対し前記手術を行う作業部；及び前記作業部に対する前記オペレータからの操作を受け付ける操作部；を有する手術器と、
    前記学習済情報；及び少なくとも前記オペレータに情報を提供するための表示部；を備え、前記手術情報と前記学習済情報とに基づいて少なくとも前記表示部に対して前記手術の支援に関する情報を提供する手術支援装置と、を備える
    手術支援システム
19. 請求項１８に記載の手術支援システムであって、
    前記作業部は、手術に利用するインスツルメント部と、少なくとも前記手術対象の状態又は前記インスツルメント部のいずれかの状態を把握するセンサ部と、を備えており、
    前記操作部は、前記オペレータの操作を受け付ける、
    手術支援システム。
20. 請求項１９に記載の手術支援システムであって、
    前記手術支援装置は、前記操作部に対して前記手術の支援のための情報を出力する、
    手術支援システム。
21. 請求項１９又は請求項２０に記載の手術支援システムであって、
    前記手術支援装置は、前記表示部に前記手術のためのガイド情報を表示する、
    手術支援システム。
22. 請求項１９乃至請求項２１のいずれかに記載の手術支援システムであって、
    前記手術支援装置は、前記操作部を制御する、
    手術支援システム。
23. 請求項１９乃至請求項２２のいずれかに記載の手術支援システムであって、
    前記手術支援装置は、前記インスツルメント部を制御する、
    手術支援システム。
24. 請求項１９乃至請求項２３のいずれかに記載の手術支援システムであって、
    前記センサ部はカメラ部を含み
    前記手術支援装置は、前記カメラ部を制御する、
    手術支援システム。
25. 請求項１９乃至請求項２４のいずれかに記載の手術支援システムであって、
    前記学習済情報は、前記オペレータによる前記操作部の操作に関する情報を元に学習されたものである
    手術支援システム。
26. 請求項１９乃至請求項２５のいずれかに記載の手術支援システムであって、
    前記オペレータの視線を取得する手段を更に有しており、
    前記学習済情報は、前記視線に関する情報を元に学習されたものである
    手術支援システム。
27. 請求項１９乃至請求項２６のいずれかに記載の手術支援システムであって、
    前記学習済情報は、前記インスツルメント部に対する作用に関する情報を元に学習されたものである
    手術支援システム。
28. 請求項１９乃至請求項２７のいずれかに記載の手術支援システムであって、
    前記学習済情報は、前記手術器から得られたデータにラベル付けした情報を元に学習されたものである
    手術支援システム。
29. 請求項１９乃至請求項２８のいずれかに記載の手術支援システムであって、
    前記学習済情報は、前記センサ部によって取得された情報を元に学習されたものである
    手術支援システム。
30. 請求項１９乃至請求項２９のいずれかに記載の手術支援システムであって、
    前記学習済情報は、前記手術対象の属性情報を元に学習されたものである
    手術支援システム。
31. 請求項１９乃至請求項３０のいずれかに記載の手術支援システムであって、
    前記学習済情報は、前記手術対象のバイタル情報を元に学習されたものである
    手術支援システム。
32. 請求項１に記載の手術支援システムであって、
    仮想空間内に存在する仮想手術対象への仮想手術の支援を行うためのものであり、
    当該仮想手術対象に対して仮想手術を行うための仮想作業ユニット、前記仮想作業ユニットに対するオペレータからの操作を受け付ける操作ユニット、並びに前記仮想作業ユニット及び前記操作ユニットを制御する制御ユニットを有する仮想手術装置と、
    前記学習済情報を備え、前記仮想手術装置と通信可能に構成された仮想手術支援装置とであって、前記手術情報と前記学習済情報とに基づいて少なくとも前記仮想手術装置による前記仮想手術を支援する仮想手術支援装置と、を備える
    仮想手術支援システム。
33. 請求項３２に記載の仮想手術支援システムであって、
    前記仮想作業ユニットは、前記仮想空間内において、前記仮想手術に利用するインスツルメント部と、少なくとも前記仮想手術対象の状態又は前記インスツルメント部のいずれかの状態を把握するセンサ部と、を備えており、
    前記操作ユニットは、前記オペレータの操作を受けるコントローラ部と、前記オペレータへ情報を表示するディスプレイ部とを備えている、
    仮想手術支援システム。
34. 請求項３３に記載の仮想手術支援システムであって、
    前記仮想手術支援装置は、前記操作ユニットに対して前記仮想手術の支援のための情報を出力する、
    仮想手術支援システム。
35. 請求項３３又は請求項３４に記載の仮想手術支援システムであって、
    前記仮想手術支援装置は、前記ディスプレイ部に前記仮想手術のためのガイド情報を表示する、
    仮想手術支援システム。
36. 請求項３３乃至請求項３５のいずれかに記載の仮想手術支援システムであって、
    前記仮想手術支援装置は、前記コントローラ部を制御する、
    仮想手術支援システム。
37. 請求項３３乃至請求項３６のいずれかに記載の仮想手術支援システムであって、
    前記仮想手術支援装置は、前記インスツルメント部を制御する、
    仮想手術支援システム。
38. 請求項３３乃至請求項３７のいずれかに記載の仮想手術支援システムであって、
    前記センサ部はカメラ部を含み、
    前記仮想手術支援装置は、前記カメラ部を制御する、
    仮想手術支援システム。
39. 請求項３３乃至請求項３８のいずれかに記載の仮想手術支援システムであって、
    前記学習済情報は、前記オペレータによる前記操作ユニットの操作に関する情報を元に学習されたものである
    仮想手術支援システム。
40. 請求項３９に記載の仮想手術支援システムであって、
    前記学習済情報は、前記オペレータによる前記コントローラ部の操作に関する情報を元に学習されたものである
    仮想手術支援システム。
41. 請求項３３乃至請求項４０のいずれかに記載の仮想手術支援システムであって、
    前記学習済情報は、前記オペレータによって前記ディスプレイ部に表示させていた表示内容に関する情報を元に学習されたものである
    仮想手術支援システム。
42. 請求項３３乃至請求項４１のいずれかに記載の仮想手術支援システムであって、
    前記操作ユニットは、前記オペレータの視線を取得する手段を有しており、
    前記学習済情報は、前記視線に関する情報を元に学習されたものである
    仮想手術支援システム。
43. 請求項３３乃至請求項４２のいずれかに記載の仮想手術支援システムであって、
    前記学習済情報は、前記インスツルメント部に対する作用に関する情報を元に学習されたものである
    仮想手術支援システム。
44. 請求項３３乃至請求項４３のいずれかに記載の仮想手術支援システムであって、
    前記学習済情報は、前記手術装置から得られたデータにラベル付けした情報を元に学習されたものである
    仮想手術支援システム。
45. 請求項４３乃至請求項４４のいずれかに記載の仮想手術支援システムであって、
    前記学習済情報は、前記センサ部によって取得された情報を元に学習されたものである
    仮想手術支援システム。
46. 請求項４３乃至請求項４５のいずれかに記載の仮想手術支援システムであって、
    前記学習済情報は、前記仮想手術対象の属性情報を元に学習されたものである
    仮想手術支援システム。
47. 請求項４３乃至請求項４６のいずれかに記載の仮想手術支援システムであって、
    前記学習済情報は、前記手術対象の仮想バイタル情報を元に学習されたものである
    仮想手術支援システム。