JP2021168160A - 医療用観察装置、医療用観察方法、およびプログラム - Google Patents

Abstract

【課題】非接触の入力により手術用装置を制御する場合に手術用装置の誤動作を防止することができるようにする。
【解決手段】状態推定部は、認識部により認識された術者からの少なくとも１種類の非接触の入力に基づいて、術者の状態を推定する。指令部は、状態推定部により推定された状態に応じて、認識部により認識された術者からの少なくとも１種類の非接触の入力に基づく術用カメラ、カメラアーム、または画像処理部の制御を制限する。本開示は、例えば、術用カメラ、カメラアーム、動作認識用カメラ、ディスプレイ、制御装置、眼鏡、マイクロフォン、マーカ、フットスイッチ等を有し、画像を参照した処置を可能にする手術システム等に適用することができる。
【選択図】図３

Description

本開示は、手術用制御装置、手術用制御方法、およびプログラムに関し、特に、非接触の入力により手術用装置を制御する場合に手術用装置の誤動作を防止することができるようにした手術用制御装置、手術用制御方法、およびプログラムに関する。

音声、ジェスチャ、視線などの非接触の入力により、手術用装置を制御する手術システムが考案されている（例えば、特許文献１参照）。このような手術システムでは、滅菌対策が必須である術者が、操作ボタン等に接触することなく手術用装置を制御することができる。

しかしながら、非接触の入力は、接触による入力に比べて、入力が誤認識される可能性があり、手術用装置が誤動作する場合がある。手術システムにおいては、手術用装置の誤動作が患者の生命を左右するため、手術用装置の誤動作を防止することは必須である。

米国特許出願公開第2011/026678号明細書

従って、非接触の入力により手術用装置を制御する場合にフェールセーフを実現し、手術用装置の誤動作を防止することが求められている。

本開示は、このような状況に鑑みてなされたものであり、非接触の入力により手術用装置を制御する場合に手術用装置の誤動作を防止することができるようにするものである。

本開示の一側面の手術用制御装置は、第１の非接触入力認識部により認識されたユーザからの少なくとも１種類の非接触の入力に基づいて、前記ユーザの状態を推定する状態推定部と、前記状態推定部により推定された前記状態に応じて、第２の非接触入力認識部により認識された前記ユーザからの少なくとも１種類の非接触の入力に基づく手術用装置の制御を制限する制限部とを備える手術用制御装置である。

本開示の一側面の手術用制御方法およびプログラムは、本開示の一側面の手術用制御装置に対応する。

本開示の一側面においては、第１の非接触入力認識部により認識されたユーザからの少なくとも１種類の非接触の入力に基づいて、前記ユーザの状態が推定され、推定された前記状態に応じて、第２の非接触入力認識部により認識された前記ユーザからの少なくとも１種類の非接触の入力に基づく手術用装置の制御が制限される。

本開示の一側面によれば、手術用装置を制御することができる。また、本開示の一側面によれば、非接触の入力により手術用装置を制御する場合に手術用装置の誤動作を防止することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本開示を適用した手術システムの第１実施の形態の構成例を示すブロック図である。 図１のカメラアームによる術用カメラの駆動を説明する図である。 図１の制御装置の構成例を示すブロック図である。 入力情報と指令の関係の例を示す図である。 図３の制御部によるピボット動作指令の実行を説明する図である。 図３の制御部によるスライド動作指令の実行を説明する図である。 図３の状態推定部により推定される術者の状態の例を示す図である。 図３の状態推定部における術者の状態の推定方法を説明する図である。 図１の手術システムの制御装置の制御処理を説明するフローチャートである。 図９の状態推定処理の詳細を説明するフローチャートである。 本開示を適用した手術システムの第２実施の形態の構成例を示すブロック図である。 コンピュータのハードウエアの構成例を示すブロック図である。

以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：手術システム（図１乃至図１０）
２．第２実施の形態：手術システム（図１１）
３．第３実施の形態：コンピュータ（図１２）

＜第１実施の形態＞
（手術システムの第１実施の形態の構成例）
図１は、本開示を適用した手術システムの第１実施の形態の構成例を示すブロック図である。

手術システム１０は、術用カメラ１１、カメラアーム１２、動作認識用カメラ１３、ディスプレイ１４、制御装置１５、手術台１６、眼鏡１７、マイクロフォン１８、マーカ１９、およびフットスイッチ２０により構成される。手術システム１０は、手術室等に配置され、術用カメラ１１により撮影される画像を参照した外科手術等の処置を可能にする。

具体的には、手術システム１０の術用カメラ１１（手術用撮影装置）は、カメラアーム１２により保持された３Ｄカメラ等のモダリティ機器である。術用カメラ１１は、手術台１６に横たわる患者２１の術野等を撮影し、その結果得られる３Ｄ画像を術野画像として制御装置１５に送信する。カメラアーム１２は、術用カメラ１１を保持し、術用カメラ１１の位置や角度を制御する。

動作認識用カメラ１３は、例えば２Ｄカメラであり、ディスプレイ１４の上に配置される。動作認識用カメラ１３は、眼鏡１７、マイクロフォン１８、およびマーカ１９を頭部２２Ａに装着した術者２２を撮影する。動作認識用カメラ１３は、撮影の結果得られる２Ｄ画像を術者画像として制御装置１５に送信する。

ディスプレイ１４は、比較的大きい画面を有する３Ｄディスプレイであり、術者２２から比較的離れた位置（図１の例では、手術台１６を挟んで術者２２と対向する位置）に配置される。制御装置１５から送信されてくる術野画像等を表示する。

制御装置１５は、動作モードを、手動モードまたはハンズフリーモードに設定する。手動モードとは、術者２２の手による入力（例えば、カメラアーム１２への加力や、各部に設けられた図示せぬ操作ボタン等の操作）に基づいて手術システム１０の制御を行うモードである。ハンズフリーモードとは、術者２２の手によらない、音声、視線、頭部２２Ａの動きや方向、ジェスチャなどの非接触の入力やフットフットスイッチ２０への脚部２２Ｂの接触による入力に基づいて、手術システム１０の制御を行うモードである。

また、制御装置１５は、動作認識用カメラ１３から送信されてくる術者画像を受信し、術者画像内の術者２２の頭部２２Ａに装着されたマーカ１９の位置を検出することにより、頭部２２Ａの動きの検出（ヘッドトラッキング）や頭部２２Ａの方向の認識を行う。さらに、制御装置１５は、術者画像から術者２２のジェスチャを認識する。

制御装置１５は、眼鏡１７から送信されてくる術者２２の視線の方向を表す情報を受信し、その情報と頭部２２Ａの位置および方向とに基づいてディスプレイ１４の画面上の視線の位置を認識する。制御装置１５は、マイクロフォン１８から送信されてくる音声を受信し、その音声に対して音声認識を行う。制御装置１５は、フットスイッチ２０から送信されてくるフットスイッチ２０に対する操作を表す操作信号を受信し、その操作信号に基づいてフットスイッチ２０に対する操作の内容を認識する。

さらに、動作モードがハンズフリーモードである場合、制御装置１５は、頭部２２Ａの動きや方向、術者２２のジェスチャ、ディスプレイ１４の画面上の視線の位置を表す視線位置情報、音声認識結果、音量、およびフットスイッチ２０に対する操作の内容を表す操作情報を入力情報とする。制御装置１５は、入力情報に基づいて術者２２からの指令および術者２２の状態を認識する。

制御装置１５は、術者２２の状態に応じて、術者２２からの指令を許可する。制御装置１５は、許可された指令に応じて、術用カメラ１１の撮影を制御したり、カメラアーム１２の駆動を制御したり、ディスプレイ１４の表示を制御したり、動作モードを変更したりする。

眼鏡１７は、術者２２の頭部２２Ａに装着され、３Ｄ偏光眼鏡と視線検出デバイスにより構成される。術者２２は、眼鏡１７の３Ｄ偏光眼鏡を介してディスプレイ１４を見ることにより、ディスプレイ１４に表示される術野画像を３Ｄ画像として認識することができる。

また、術者２２は、眼鏡１７を介して周囲を見ることにより、眼鏡１７に視線を入力する。眼鏡１７の視線検出デバイスは、術者２２の視線を検出し、視線の方向を表す情報を制御装置１５に送信する。

マイクロフォン１８は、術者２２の頭部２２Ａに装着される。マイクロフォンは、術者２２の音声等を含む周囲の音声を取得し、制御装置１５に送信する。マーカ１９は、術者２２の頭部２２Ａに装着される。

フットスイッチ２０は、術者２２の周囲に配置され、術者２２の脚部２２Ｂの接触により操作される。フットスイッチ２０は、術者２２からの脚部２２Ｂの操作を表す操作信号を制御装置１５に送信する。

以上のように構成される手術システム１０では、術者２２は、患者２１を手術台１６の上に横たわらせ、ディスプレイ１４に表示される術野画像等を、眼鏡１７を介して見ながら、外科手術等の処置を行う。

また、術者２２は、動作モード、術用カメラ１１の撮影条件、術用カメラ１１の位置や角度、ディスプレイ１４の表示等を変更する場合、非接触の入力または足の接触による入力を行う。従って、術者２２は、図示せぬ術具を把持した状態で入力を行うことができる。また、術者２２は、入力を行うたびに、滅菌処理を行う必要がない。

なお、視線検出方法、術者２２の頭部２２Ａの動きや方向、および、ジェスチャの検出方法、音声の取得方法としては、任意の方法を採用することができる。例えば、視線検出デバイスやマイクロフォン１８は、ウェアラブルデバイスでなくてもよい。

本明細書では、ディスプレイ１４の水平方向をｘ方向といい、垂直方向をｙ方向といい、ディスプレイ１４の画面に対して垂直な方向をｚ方向という。

（術用カメラの駆動の説明）
図２は、図１のカメラアーム１２による術用カメラ１１の駆動を説明する図である。

図２のＡに示すように、カメラアーム１２は、術用カメラ１１に、撮影中心を変更せずに撮影角度を変更するピボット動作を行わせることができる。具体的には、カメラアーム１２は、術用カメラ１１の撮影対象である術野の中心Ｐからの距離が常に一定になるように、術用カメラ１１を移動させることができる。これにより、術用カメラ１１は、術野の中心Ｐが同一であり、撮影角度が異なる術野画像を撮影することができる。

また、図２のＢに示すように、カメラアーム１２は、術用カメラ１１に、撮影中心をｘ方向に移動させるｘ方向へのスライド動作を行わせることができる。具体的には、カメラアーム１２は、術用カメラ１１をｘ方向に移動させることができる。これにより、術用カメラ１１は、撮影対象である術野の中心Ｐをｘ方向に移動させることができる。

さらに、図示は省略するが、カメラアーム１２は、術用カメラ１１にｙ方向やｚ方向へのスライド動作を行わせることができる。術用カメラ１１がｙ方向へのスライド動作を行う場合、術用カメラ１１は、撮影範囲を拡大または縮小することができる。また、術用カメラ１１がｚ方向へのスライド動作を行う場合、術用カメラ１１は、撮影対象である術野の中心Ｐをｚ方向に移動させることができる。

なお、本明細書では、術用カメラ１１のスライド動作が、カメラアーム１２による術用カメラ１１の移動によって行われるものとするが、カメラアーム１２による術用カメラ１１の撮影角度の変更によって行われるようにしてもよい。

（制御装置の構成例）
図３は、図１の制御装置１５の構成例を示すブロック図である。

図３の制御装置１５は、認識部６１、指令部６２、モード設定部６３、状態推定部６４、制御部６５、および画像処理部６６により構成される。

制御装置１５の認識部６１は、音声認識部７１、視線認識部７２、頭部認識部７３、ジェスチャ認識部７４、および操作認識部７５により構成される。

音声認識部７１（非接触入力認識部）は、マイクロフォン１８から送信されてくる音声に対して音声認識を行い、術者２２（ユーザ）の非接触の入力として、発話を認識する。また、音声認識部７１は、術者２２の非接触の入力として、マイクロフォン１８から送信されてくる音声の音量を認識する。音声認識部７１は、音声認識結果である発話および音量を入力情報として指令部６２に供給する。

視線認識部７２（非接触入力認識部）は、眼鏡１７から送信されてくる視線の方向を表す情報と、頭部認識部７３により認識される頭部２２Ａの位置および方向とに基づいて、術者２２の非接触の入力として、ディスプレイ１４の画面上の視線の位置を認識する。視線認識部７２は、その位置を表す視線位置情報を入力情報として指令部６２、状態推定部６４、および画像処理部６６に供給する。

頭部認識部７３（非接触入力認識部）は、動作認識用カメラ１３から送信されてくる術者画像から術者画像内のマーカ１９の位置を検出することにより、術者２２からの非接触の入力として、術者２２の頭部２２Ａの位置、動き、および方向を認識する。頭部認識部７３は、頭部２２Ａの動きや方向を入力情報として指令部６２と状態推定部６４に供給する。また、頭部認識部７３は、頭部２２Ａの位置および方向を視線認識部７２に供給する。

ジェスチャ認識部７４（非接触入力認識部）は、動作認識用カメラ１３から送信されてくる術者画像から、術者２２からの非接触の入力として、術者２２のジェスチャの入力を認識する。ジェスチャ認識部７４は、術者２２のジェスチャを入力情報として指令部６２に供給する。

操作認識部７５（接触入力認識部）は、フットスイッチ２０から送信されてくる操作信号を受信し、術者２２からの接触による入力として、フットスイッチ２０に対する操作の内容を認識する。操作認識部７５は、その操作の内容を表す操作情報を入力情報として指令部６２に供給する。

指令部６２は、認識部６１から供給される入力情報に基づいて、術者２２からの指令を認識する。指令部６２は、認識された指令が動作モードを変更する指令である場合、その指令をモード設定部６３に通知する。

一方、術者２２から認識された指令が動作モードを変更する指令ではない場合、指令部６２（制限部）は、状態推定部６４から供給される状態に応じて、術者２２からの指令を制限する。即ち、指令部６２は、状態推定部６４から供給される状態に応じて、術者２２からの所定の指令を許可する。指令部６２は、許可された指令を制御部６５に供給する。

モード設定部６３は、指令部６２から供給される指令に応じて、動作モードを手動モードまたはハンズフリーモードに設定する。モード設定部６３は、設定された動作モードを状態推定部６４に供給する。

状態推定部６４は、モード設定部６３から供給される動作モードがハンズフリーモードである場合、認識部６１から供給される入力情報に基づいて術者２２の状態を推定する。状態推定部６４は、推定された状態を指令部６２に通知する。

制御部６５は、指令部６２から供給される指令を実行する。具体的には、指令部６２から供給される指令が、術用カメラ１１の撮影制御に関する指令である場合、制御部６５は、その指令に応じて術用カメラ１１（手術用装置）の撮影制御を行う。

また、指令部６２から供給される指令が、カメラアーム１２の駆動制御に関する指令である場合、制御部６５は、その指令に応じてカメラアーム１２（手術用装置）の駆動制御を行う。また、指令部６２から供給される指令が、ディスプレイ１４の表示制御に関する指令である場合、制御部６５は、その指令を画像処理部６６に供給することにより画像処理部６６（手術用装置）を制御する。

画像処理部６６は、術用カメラ１１から送信されてくる術野画像を処理する。具体的には、画像処理部６６は、術用カメラ１１から送信されてくる術野画像をそのままディスプレイ１４に供給し、表示させる。

また、画像処理部６６は、制御部６５から供給される指令が、アノテーション表示指令である場合、視線認識部７２から供給される視線位置情報に基づいて、術用カメラ１１から送信されてくる術野画像内の術者２２の視線に対応する位置にマーク（所定の画像）を重畳させる。そして、画像処理部６６は、マークが重畳された術野画像をディスプレイ１４に供給し、表示させる。

さらに、画像処理部６６は、制御部６５から供給される指令が、メニューボタンなどのGUI（Graphical User Interface）をディスプレイ１４に表示させるメニュー表示指令である場合、術用カメラ１１から送信されてくる術野画像にGUIの画像を重畳させる。画像処理部６６は、GUIが重畳された術野画像をディスプレイ１４に供給し、表示させる。

（入力情報と指令の関係の例）
図４は、入力情報と指令の関係の例を示す図である。

図４に示すように、入力情報のうちの音声認識結果が「ズームイン」であり、かつ、視線位置情報がディスプレイ１４の画面内の位置を表す場合、指令部６２は、術者２２からの指令が、視線位置情報が表す視線の位置に対応する被写体を中心に術用カメラ１１にズームイン撮影させる指令（以下、ズームイン撮影指令という）であることを認識する。

同様に、入力情報のうちの音声認識結果が「ズームアウト」であり、かつ、視線位置情報がディスプレイ１４の画面内の位置を表す場合、指令部６２は、術者２２からの指令が、視線位置情報が表す視線の位置に対応する被写体を中心に術用カメラ１１にズームアウト撮影させる指令（以下、ズームアウト撮影指令という）であることを認識する。

また、入力情報のうちの音声認識結果が「フォーカス」であり、かつ、視線位置情報がディスプレイ１４の画面内の位置を表す場合、指令部６２は、術者２２からの指令が、視線位置情報が表す視線の位置に対応する被写体で合焦するように術用カメラ１１のフォーカス制御を行う指令（以下、フォーカス制御指令という）であることを認識する。

なお、ズームイン撮影指令、ズームアウト撮影指令、およびフォーカス制御指令は、術用カメラ１１の撮影制御に関する指令であるため、これらの指令の種類は、「撮影制御」に分類される。

以上により、術者２２は、コマンド入力に適している音声で撮影制御の内容を入力し、位置入力に適している視線で撮影制御に必要な位置を入力することができる。従って、術者２２は、撮影制御に関する指令を容易に行うことができる。

また、入力情報のうちの音声認識結果が「ピボット」であり、視線位置情報がディスプレイ１４の画面内の位置を表し、視線位置情報が時間的に変化せず、頭部２２Ａの動きが移動である場合、かつ、操作情報がフットスイッチ２０の押下を表す場合、指令部６２は、術者２２からの指令が、頭部２２Ａの動きに応じて術用カメラ１１がピボット動作するようにカメラアーム１２を制御する指令（以下、ピボット動作指令という）であることを認識する。

入力情報のうちの音声認識結果が「スライド」であり、頭部２２Ａの動きが回転であり、視線位置情報がディスプレイ１４の画面内の位置を表し、視線位置情報が表す位置の時間的変化の方向が、頭部２２Ａの回転方向と同一である場合、かつ、操作情報がフットスイッチ２０の押下を表す場合、指令部６２は、術者２２からの指令が、視線の位置に応じて術用カメラ１１がスライド動作するようにカメラアーム１２を制御する指令（以下、スライド動作指令という）であることを認識する。

なお、ピボット動作指令およびスライド動作指令は、カメラアーム１２の駆動制御に関する指令であるため、これらの指令の種類は、「カメラアーム制御」に分類される。

以上のように、２以上の入力情報の組み合わせが条件を満たしていない場合、指令部６２は、術者２２からの指令として、種類が「撮影制御」または「カメラアーム制御」である、術野画像を変更する指令を認識しない。

例えば、入力情報のうちの音声認識結果が「ズームイン」（「ズームアウト」、「フォーカス」）である場合であっても、視線位置情報が画面内の位置を表さない場合には、指令部６２は、誤認識と判断し、術者２２からの指令がズームイン撮影指令（ズームアウト撮影指令、フォーカス制御指令）であることを認識しない。

逆に、入力情報のうちの視線位置情報が画面内の位置を表す場合であっても、音声認識結果が「ズームイン」（「ズームアウト」、「フォーカス」）ではない場合には、指令部６２は、誤認識と判断し、術者２２からの指令がズームイン撮影指令（ズームアウト撮影指令、フォーカス制御指令）であることを認識しない。

入力情報のうちの音声認識結果が「フォーカス」であり、視線位置情報が画面内の位置を表し、頭部２２Ａの動きが移動であり、操作情報がフットスイッチ２０の押下を表す場合であっても、視線位置情報が時間的に変化している場合、指令部６２は、誤認識と判断し、術者２２からの指令がピボット動作指令であることを認識しない。

また、入力情報のうちの音声認識結果が「フォーカス」であり、視線位置情報が画面内の位置を表し、頭部２２Ａの動きが移動であり、視線位置情報が時間的に変化していない場合であっても、操作情報がフットスイッチ２０の押下を表さない場合、指令部６２は、誤認識と判断し、術者２２からの指令がピボット動作指令であることを認識しない。

従って、手術への影響が大きい、術野画像が変更される指令の認識正答率を向上させることができる。その結果、手術の安全性を向上させることができる。

また、種類が「カメラアーム制御」である、術野画像の内容を大きく変更する指令は、種類が「撮影制御」である指令に比べて、手術への影響が大きい。従って、図４の例では、種類が「カメラアーム制御」である指令の認識条件における入力情報の数が、種類が「撮影制御」である指令の認識条件における入力情報の数である２より大きい３になっている。

なお、種類が「撮影制御」である指令の認識条件として、操作情報がフットスイッチ２０の押下を表す場合という条件を追加し、認識条件における入力情報の数を３つにしてもよい。

入力情報のうちの音声認識結果が「メニュー」であり、かつ、操作情報がフットスイッチ２０の押下を表す場合、指令部６２は、術者２２からの指令がメニュー表示指令であることを認識する。なお、メニュー表示指令は、画像処理部６６（表示制御装置）のメニューボタンなどのGUIの表示制御に関する指令であるため、メニュー表示指令の種類は、「メニュー表示制御」に分類される。

また、入力情報のうちの音声認識結果が「アノテーション」または「ポインタ」であり、かつ、操作情報がフットスイッチ２０の押下を表す場合、指令部６２は、術者２２からの指令が、ディスプレイ１４の画面内の術者２２の視線に対応する位置にマークをアノテーションとして表示させるアノテーション表示指令であることを認識する。なお、アノテーション表示指令は、画像処理部６６のアノテーションの表示制御に関する指令であるため、アノテーション表示指令の種類は、「アノテーション表示制御」に分類される。

さらに、入力情報のうちの音声認識結果が「ハンズフリー」であり、かつ、操作情報がフットスイッチ２０の押下を表す場合、指令部６２は、術者２２からの指令が、動作モードをハンズフリーモードに設定させる指令（以下、ハンズフリーモード指令という）であることを認識する。

入力情報のうちの音声認識結果が「停止」であり、かつ、操作情報がフットスイッチ２０の押下を表す場合、指令部６２は、術者２２からの指令が、通常状態における動作モードを手動モードに設定させる指令（以下、手動モード指令という）であることを認識する。

以上のように、術者２２が、メニュー表示指令、アノテーション表示指令、または手動モード指令に関する発話をマイクロフォン１８に入力し、フットスイッチ２０を押下することにより決定操作を行うと、指令部６２は、その指令を認識する。

また、入力情報のうちの操作情報がフットスイッチ２０の長押しを表す場合、指令部６２は、術者２２からの指令が通常状態における手動モード指令であることを認識する。入力情報のうちの視線位置情報が表す位置がディスプレイ１４の画面外であり、かつ、操作情報がフットスイッチ２０の押下を表す場合、指令部６２は、術者２２からの指令が通常状態における手動モード指令であることを認識する。

さらに、入力情報のうちの術者２２のジェスチャが予め登録されたジェスチャ以外である場合、または、入力情報のうちの音量が所定値より大きい場合、指令部６２は、緊急状態における手動モード指令であることを認識する。緊急状態とは、誤動作などにより緊急にハンズフリーモードの停止が必要になった状態である。

なお、緊急状態における手動モード指令の認識条件は、他の指令の認識条件以外の条件であれば、術者２２のジェスチャが予め登録されたジェスチャ以外である、または、音量が所定値より大きいという条件以外であってもよい。

ハンズフリーモード指令および手動モード指令は、制御装置１５の動作モードの制御に関する指令であるため、これらの指令の種類は、「モード制御」に分類される。

なお、入力情報と指令の関係は、上述した図４の例に限定されない。

即ち、術者２２が、指令の認識に必要な入力内容を、その入力内容の種類に適した音声や音量、視線、頭部２２Ａの動きや方向、ジェスチャ、またはフットフットスイッチ２０の操作を用いて入力することができれば、認識条件はどのようなものであってもよい。例えば、図４の例では、種類が「メニュー表示制御」、「アノテーション表示制御」、および「モード制御」である指令の認識条件における非接触の入力の入力情報の種類は、１つであったが、複数であってもよい。

また、指令部６２により認識される指令は、手術システム１０の各部を制御する指令であれば、どのような指令であってもよい。例えば、指令部６２は、術用カメラ１１の各種のパラメータを設定する指令を認識するようにしてもよい。

（ピボット動作指令の実行の説明）
図５は、図３の制御部６５によるピボット動作指令の実行を説明する図である。

なお、図５のＡは、ｙ方向から見た頭部２２Ａとディスプレイ１４を示す図であり、図５のＢは、ｚ方向とｙ方向の間の方向から見た術用カメラ１１を示す図である。

図５のＡに示すように、術者２２が「ピボット」という音声を発し、術者２２の視線がディスプレイ１４の画面内の位置Ｒに存在するとき、術者２２が、フットスイッチ２０を押下しながら、画面上の視線の位置を動かさずに頭部２２Ａだけｘ方向に移動すると、指令部６２は、ピボット動作指令を認識する。

制御部６５は、指令部６２からピボット動作指令が供給された場合、カメラアーム１２を駆動制御し、術用カメラ１１をｘ方向に頭部２２Ａの移動量に応じた量だけピボット動作させる。これにより、図５のＢに示すように、術用カメラ１１は、中心Ｐからの距離を変更させずに、ｘ方向に頭部２２Ａの移動量に応じた量だけ移動する。

（スライド動作指令の実行の説明）
図６は、図３の制御部６５によるスライド動作指令の実行を説明する図である。

なお、図６のＡは、ｙ方向から見た頭部２２Ａとディスプレイ１４を示す図であり、図６のＢは、ｚ方向から見た術用カメラ１１を示す図である。

図６のＡに示すように、術者２２が「スライド」という音声を発し、術者２２の視線がディスプレイ１４の画面内の位置Ｒに存在するとき、術者２２が、フットスイッチ２０を押下しながら、頭部２２Ａを右方向に角度αだけ回転させ、画面上の視線の位置をｘ方向に移動させると、指令部６２は、スライド動作指令を認識する。

制御部６５は、指令部６２からスライド動作指令が供給された場合、カメラアーム１２を駆動制御し、移動後の画面上の視線の位置Ｒ´に対応する被写体が撮影中心となるように、術用カメラ１１をｘ方向にスライド動作させる。これにより、術用カメラ１１の撮影対象である術野の中心Ｐがｘ方向に移動する。

なお、制御部６５は、頭部２２Ａの回転速度に応じて、スライド動作の速度を制御するようにしてもよい。

（推定される術者の状態の例）
図７は、図３の状態推定部６４により推定される術者２２の状態の例を示す図である。

図７に示すように、状態推定部６４は、術者２２の状態を、手技外動作状態、俯瞰状態、注視状態、または観察状態と推定する。

手技外動作状状態とは、術者２２が手技以外の動作（例えば、鉗子などを把持した手元の確認、周囲の助手やスタッフなどの状況把握など）を行っている状態である。手技外動作状態では、術者２２はディスプレイ１４に正対していないと想定される。従って、術野画像を変更する必要性はない。よって、指令部６２は、術者２２の状態が手技外動作状態であると推定された場合、動作モードを変更する、種類が「モード制御」である指令以外の術者２２からの指令を、術野画像を変更しない、種類が「メニュー表示制御」である指令に制限する。

俯瞰状態とは、術者２２が、組織の損傷や出血の有無の確認などを行うために術野を俯瞰している状態である。俯瞰状態では、術者２２の視線がディスプレイ１４の画面内で頻繁に動いていると想定される。また、俯瞰状態では、術者２２は、周囲の助手やスタッフなどに術野画像内の所定の位置を指示したい場合がある。従って、術者２２の状態が俯瞰状態であると推定された場合、種類が「モード制御」である指令以外の術者２２からの指令を、種類が「メニュー表示制御」である指令と、術野画像にアノテーションを重畳する、種類が「アノテーション表示制御」である指令に制限する。

注視状態とは、術者２２が術野画像内の一点を注視して手技を行っている状態である。注視状態では、術者２２の視線がディスプレイ１４の画面内にあり、術者２２の視線の動きは少ないが、術者２２は動いていると想定される。注視状態では、術者２２は、術野画像の内容を変更する必要はないが、手技に適した撮影条件で撮影された術野画像を見る必要がある。従って、指令部６２は、術者２２の状態が注視状態であると推定された場合、種類が「モード制御」である指令以外の術者２２からの指令を、種類が「メニュー表示制御」および「アノテーション表示制御」である指令と、撮影条件を変更する、種類が「撮影制御」である指令に制限する。

観察状態とは、術者２２が手技を一旦中断し、重要な処置を行うために患者２１を観察している状態である。観察状態では、術者２２の視線がディスプレイ１４の画面内にあり、術者２２の視線の動きおよび術者２２の動きが少ないと想定される。観察状態では、術者２２は、術野を多方面から観察する必要があるため、術野画像の内容を変更する必要がある。

従って、指令部６２は、術者２２の状態が観察状態であると推定された場合、種類が「モード制御」である指令以外の術者２２からの指令の全てを許可する。即ち、指令部６２は、種類が「メニュー表示制御」、「アノテーション表示制御」、および「撮影制御」である指令だけでなく、術用カメラ１１の位置を変更する、種類が「カメラアーム制御」である指令も許可する。

以上のように、術野画像を変更する必要性は、低い方から順に、手技外動作状態、俯瞰状態、注視状態、観察状態となる。

なお、ここでは、術野画像を変更する必要性がより高い状態では、より低い状態において許可される指令が全て許可されるものとするが、許可される指令は状態ごとに決定されるようにしてもよい。

例えば、術者２２の状態が、手技外動作状態、俯瞰状態、注視状態、観察状態である場合、それぞれ、種類が「メニュー表示制御」、「アノテーション表示制御」、「撮影制御」、「カメラアーム制御」である指令のみ許可されるようにしてもよい。

（術者の状態の推定方法の説明）
図８は、図３の状態推定部６４における術者２２の状態の推定方法を説明する図である。

状態推定部６４は、入力情報のうちの頭部２２Ａの方向または視線位置情報に基づいて、術者２２がディスプレイ１４と正対しているかどうかを判定する。

具体的には、状態推定部６４は、頭部２２Ａの方向が、ディスプレイ１４への方向である場合、術者２２がディスプレイ１４と正対していると判断し、ディスプレイ１４への方向ではない場合、ディスプレイ１４と正対していないと判断する。

または、状態推定部６４は、視線位置情報が表す位置がディスプレイ１４の画面内である場合、ディスプレイ１４と正対していると判断し、画面外である場合、ディスプレイ１４と正対していないと判断する。

また、状態推定部６４は、視線位置情報が表す位置の所定の時間内の移動量に基づいて、移動量が所定値より大きい場合、視線の移動量が多いと判定し、所定値以下である場合、視線の移動量が少ないと判定する。

さらに、状態推定部６４は、頭部２２Ａの動きに基づいて、所定の時間内の頭部２２Ａの動き量が所定値より大きい場合、術者２２が動いていると判定し、所定値以下である場合、術者２２が動いていないと判定する。

なお、認識部６１が、術者２２の頭部２２Ａ以外の部分の動きを認識し、状態推定部６４は、術者２２の頭部２２Ａ以外の部分の動きに基づいて、術者２２の動きの有無を判定するようにしてもよい。この場合、認識部６１は、所定の時間内の術者２２の頭部２２Ａ以外の部分の動き量が所定値より大きいとき、術者２２が動いていると判定し、所定値以下である場合、術者２２が動いていないと判定する。

図８に示すように、状態推定部６４は、術者２２がディスプレイ１４と正対していないと判定した場合、術者２２の状態を手技外動作と推定する。この場合、「モード制御」以外の、許可される術者２２からの指令の種類は、「メニュー表示制御」である。

また、状態推定部６４は、術者２２がディスプレイ１４と正対していると判定し、かつ、視線の移動量が多いと判定した場合、術者２２の状態を俯瞰状態と推定する。この場合、「モード制御」以外の、許可される指令の種類は、「メニュー表示制御」、および「アノテーション表示制御」である。

さらに、状態推定部６４は、術者２２がディスプレイ１４と正対していると判定し、視線の移動量が少ないと判定し、術者２２が動いていると判定した場合、術者２２の状態を注視状態と推定する。この場合、「モード制御」以外の、許可される指令の種類は、「メニュー表示制御」、「アノテーション表示制御」、および「撮影制御」である。

また、状態推定部６４は、術者２２がディスプレイ１４と正対していると判定し、視線の移動量が少ないと判定し、術者２２が動いていないと判定した場合、術者２２の状態を観察状態と推定する。この場合、「モード制御」以外の、許可される指令の種類は、「メニュー表示制御」、「アノテーション表示制御」、「撮影制御」、および「カメラアーム制御」である。

なお、術者２２は、ディスプレイ１４を見ながら鉗子等を用いて手技を行うため、一般的に、手技中の術者２２の頭部２２Ａの動きは非常に少ないが、手元の動きは多い。従って、頭部２２Ａの動き量が所定値より大きい場合ではなく、頭部２２Ａの動きが所定値以下であり、頭部２２Ａ以外の動きが所定値より大きい場合に、状態推定部６４が、術者２２の状態を注視状態と判定するようにしてもよい。

（手術システムの処理の説明）
図９は、図１の手術システム１０の制御装置１５の制御処理を説明するフローチャートである。この制御処理は、例えば、制御装置１５の電源がオンにされたとき開始される。

図９のステップＳ１１において、モード設定部６３は、動作モードを手動モードに設定し、状態推定部６４に供給する。

ステップＳ１２において、認識部６１は、入力情報を認識する。認識部６１は、入力情報のうちの音声認識結果、音量、ジェスチャ、操作情報を指令部６２に供給する。また、認識部６１は、視線位置情報を指令部６２、状態推定部６４、および画像処理部６６に供給する。認識部６１は、頭部２２Ａの動きや方向を入力情報として指令部６２と状態推定部６４に供給する。

ステップＳ１３において、指令部６２は、認識部６１から供給される入力情報に基づいて、術者２２からの指令を認識する。ステップＳ１４において、指令部６２は、認識された指令の種類が「モード制御」であるかどうかを判定する。

ステップＳ１４で認識された指令の種類が「モード制御」であると判定された場合、指令部６２は、その指令をモード設定部６３に通知し、処理をステップＳ１５に進む。ステップＳ１５において、モード設定部６３は、指令部６２から供給される指令に応じて、動作モードを変更する。モード設定部６３は、変更後の動作モードを状態推定部６４に供給し、処理をステップＳ１６に進める。

一方、ステップＳ１４で認識された指令の種類が「モード制御」ではないと判定された場合、処理はステップＳ１６に進む。

ステップＳ１６において、状態推定部６４は、モード設定部６３から供給される動作モードがハンズフリーモードであるかどうかを判定する。ステップＳ１６で動作モードがハンズフリーモードであると判定された場合、処理はステップＳ１７に進む。

ステップＳ１７において、制御装置１５は、認識部６１から供給される入力情報に基づいて術者２２の状態を推定する状態推定処理を行う。この状態推定処理の詳細は、後述する図１０を参照して説明する。

ステップＳ１８において、指令部６２は、ステップＳ１３で認識された、種類が「モード制御」である指令以外の術者２２からの指令の種類が許可されているかどうかを判定する。ステップＳ１８で許可されていると判定された場合、指令部６２は、その指令を制御部６５に供給する。

そして、ステップＳ１９において、制御部６５は、指令部６２から供給される指令を実行し、処理をステップＳ２０に進める。

一方、ステップＳ１６で動作モードがハンズフリーモードではないと判定された場合、または、ステップＳ１８で種類が「モード制御」である指令以外の術者２２からの指令の種類が許可されていないと判定された場合、処理はステップＳ２０に進む。

ステップＳ２０において、制御装置１５は、制御装置１５の電源をオフにするかどうか、例えば、術者２２から制御装置１５の電源のオフが指令されたかどうかを判定する。ステップＳ２０で制御装置１５の電源をオフにしないと判定された場合、処理はステップＳ１２に戻り、ステップＳ１２乃至Ｓ２０の処理が繰り返される。

一方、ステップＳ２０で制御装置１５の電源をオフにすると判定された場合、処理は終了する。

図１０は、図９のステップＳ１７の状態推定処理の詳細を説明するフローチャートである。

図１０のステップＳ４１において、状態推定部６４は、入力情報のうちの頭部２２Ａの方向または視線位置情報に基づいて、術者２２がディスプレイ１４と正対しているかどうかを判定する。

ステップＳ４１で術者２２がディスプレイ１４と正対していないと判定された場合、ステップＳ４２において、状態推定部６４は、術者２２の状態を手技外動作状態と推定し、指令部６２に通知する。

ステップＳ４３において、指令部６２は、「モード制御」以外の、許可する術者２２からの指令の種類を「メニュー表示制御」とする。そして、処理は図９のステップＳ１７に戻り、ステップＳ１８の処理が行われる。

一方、ステップＳ４１で術者２２がディスプレイ１４と正対していると判定された場合、ステップＳ４４において、状態推定部６４は、視線位置情報が表す位置の所定の時間内の移動量に基づいて、視線の移動量が多いかどうかを判定する。

ステップＳ４４で視線の移動量が多いと判定された場合、ステップＳ４５において、状態推定部６４は、術者２２の状態を俯瞰状態と推定し、指令部６２に通知する。

ステップＳ４６において、指令部６２は、「モード制御」以外の、許可する術者２２からの指令の種類を「メニュー表示制御」および「アノテーション表示制御」とする。そして、処理は図９のステップＳ１７に戻り、ステップＳ１８の処理が行われる。

また、ステップＳ４４で視線の移動量が少ないと判定された場合、ステップＳ４７において、状態推定部６４は、頭部２２Ａの動きに基づいて、術者２２が動いているかどうかを判定する。ステップＳ４７で術者２２が動いていると判定された場合、ステップＳ４８において、状態推定部６４は、術者２２の状態を注視状態と推定し、指令部６２に通知する。

ステップＳ４９において、指令部６２は、「モード制御」以外の、許可する術者２２からの指令の種類を「メニュー表示制御」、「アノテーション表示制御」、および「撮影制御」とする。そして、処理は図９のステップＳ１７に戻り、ステップＳ１８の処理が行われる。

一方、ステップＳ４７で術者２２が動いていないと判定された場合、ステップＳ５０において、状態推定部６４は、術者２２の状態を観察状態と推定し、指令部６２に通知する。

ステップＳ５１において、指令部６２は、許可する術者２２からの指令の種類を「メニュー表示制御」、「アノテーション表示制御」、「撮影制御」、および「カメラアーム制御」とする。そして、処理は図９のステップＳ１７に戻り、ステップＳ１８の処理が行われる。

以上のように、手術システム１０は、複数の種類の非接触の入力の組み合わせに基づいて、術用カメラ１１、カメラアーム１２、または画像処理部６６を制御する。従って、術者２２は、例えば、各入力内容の種類に適した非接触の入力を行うことにより、簡便に、直感的に術用カメラ１１、カメラアーム１２、および画像処理部６６を制御することができる。即ち、手術システム１０は、NUI（Natural User Interface）を実現することができる。その結果、術者２２の負担が軽減する。

また、１種類の非接触の入力により術用カメラ１１、カメラアーム１２、または画像処理部６６を制御する場合に比べて、入力の認識正答率が向上し、手術の安全性が向上する。

また、手術システム１０は、非接触または脚部２２Ｂの接触により入力を行うことができるので、両手を手技で使用している場合であっても、術者２２自身が入力を行うことができる。その結果、術者２２が手で入力を行う場合に比べて、入力のために手技を中断する必要がないため、手術時間を短縮することができる。また、術者２２以外の人が操作する場合に比べて、術者２２の意図通りの制御を行うことができるので、術者２２の負担が軽減する。

さらに、手術システム１０は、術者２２の状態に応じて術者２２からの指令の実行を制限することによりフェールセーフを実現し、術者２２からの指令の誤認識による術者２２の意図しない制御を防止することができる。従って、手術の安全性が向上する。

また、手術システム１０は、動作モードをハンズフリーモードから手動モードに変更することができるため、術者２２からの指令の誤認識により術者２２の意図しない制御が行われた場合に、その制御を停止することができる。

＜第２実施の形態＞
（手術システムの第２実施の形態の構成例）
図１１は、本開示を適用した手術システムの第２実施の形態の構成例を示すブロック図である。

図１１に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１１の手術システム１００の構成は、ディスプレイ１４、制御装置１５の代わりに、ディスプレイ１０１、制御装置１０２が設けられる点と、眼鏡１７およびマーカ１９が設けられない点とが、図１の手術システム１０の構成と異なる。

手術システム１００では、ディスプレイ１０１と術者２２との距離が、ディスプレイ１４と術者２２との距離に比べて短くなっており、術者２２は、眼鏡１７を装着せずに裸眼でディスプレイ１０１に表示された術野画像を３Ｄ画像として認識する。

具体的には、手術システム１００のディスプレイ１０１は、比較的小さい画面を有する３Ｄディスプレイであり、術者２２から比較的近い位置（図１１の例では、手術台１６の上の術者２２に近い位置）に配置される。ディスプレイ１０１は、制御装置１０２から送信されてくる術野画像等を表示する。ディスプレイ１０１の上には動作認識用カメラ１３が配置される。

制御装置１０２は、視線および頭部２２Ａの動きや方向の認識方法を除いて、制御装置１５と同様であるので、以下では、その認識方法についてのみ説明する。制御装置１０２は、動作認識用カメラ１３から送信されてくる術者画像内の頭部２２Ａの位置を検出することにより、頭部２２Ａの動きや方向を認識する。また、制御装置１０２は、術者画像から術者２２の視線の方向を検出し、その方向に基づいてディスプレイ１４の画面上の視線の位置を認識する。

なお、手術システム１００では、術者２２が眼鏡１７を装着しないため、視線検出は、動作認識用カメラ１３により撮影された術者画像を用いて行われるようにしたが、術者２２が、視線検出デバイスを備えた眼鏡を装着し、視線検出デバイスが視線検出を行うようにしてもよい。

また、手術システム１００では、動作認識用カメラ１３と術者２２との距離が短いため、術者画像から頭部２２Ａの動きや方向を検出したが、術者２２がマーカ１９を装着し、術者画像内のマーカ１９の位置から頭部２２Ａの動きや方向を検出するようにしてもよい。

さらに、ディスプレイ１０１は、術者２２から比較的遠い位置に配置されるようにしてもよい。また、ディスプレイ１０１が、術者２２が３Ｄ偏光眼鏡を用いることにより３Ｄ画像を認識可能な３Ｄディスプレイであり、術者２２は、３Ｄ偏光眼鏡を装着するようにしてもよい。

＜第３実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の制御装置１５（１０２）の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。

入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。

以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータ２００では、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、第１乃至第３実施の形態では、制御装置１５（１０２）は、複数の種類の非接触の入力の組み合わせに基づいて制御を行うこと、および、術者２２の状態に応じて制御を制限することの両方により、手術の安全性を向上させたが、いずれか一方のみにより手術の安全性を向上させるようにしてもよい。

また、制御装置１５（１０２）による制御対象は、手術用装置であれば、どのようなものであってもよい。例えば、制御装置１５（１０２）は、内視鏡やビデオ顕微鏡等の手術用撮影装置を制御することもできる。

さらに、ズーム制御は、術用カメラ１１の撮影制御によって行われるのではなく、画像処理部６６において術野画像を処理することにより行われるようにしてもよい。

この場合、画像処理部６６は、ズームイン撮影指令に応じて、術用カメラ１１から送信されてくる術野画像を拡大することにより、視線の位置に対応する被写体を中心にズームイン撮影されたズームイン画像を術野画像から生成する電子ズームを行う。同様に、画像処理部６６は、ズームアウト撮影指令に応じて、術用カメラ１１から送信されてくる術野画像を縮小することにより、視線の位置に対応する被写体を中心にズームアウト撮影されたズームアウト画像を術野画像から生成する。なお、このとき、画像処理部６６は、視線位置情報に基づいて、ズームイン画像やズームアウト画像内の視線に対応する位置にマーカを重畳するようにしてもよい。

また、ディスプレイ１４に術野画像が表示されている間、常に、アノテーション表示が行われるようにしてもよい。非接触の入力は、術者２２の音声、視線、頭部２２Ａの動きや方向、およびジェスチャに限定されない。例えば、術者２２の頭部２２Ａ以外の動きや姿勢などであってもよい。

非接触の入力を受け付ける手段は、眼鏡１７やマイクロフォン１８などのようにウェアラブルであってもよいし、ウェアラブルでなくてもよい。

制御装置１５（１０２）は、動作モードが手動モードである場合であっても、術者２２の状態を推定し、その状態に応じて術用カメラ１１、カメラアーム１２、および画像処理部６６の制御を制限するようにしてもよい。

なお、本開示は、以下のような構成もとることができる。

（１）
第１の非接触入力認識部により認識されたユーザからの少なくとも１種類の非接触の入力に基づいて、前記ユーザの状態を推定する状態推定部と、
前記状態推定部により推定された前記状態に応じて、第２の非接触入力認識部により認識された前記ユーザからの少なくとも１種類の非接触の入力に基づく手術用装置の制御を制限する制限部と
を備える手術用制御装置。
（２）
前記非接触の入力は、前記ユーザの音声、視線、動き、またはジェスチャの入力である
ように構成された
前記（１）に記載の手術用制御装置。
（３）
前記制御は、前記第２の非接触入力認識部により認識された前記ユーザからの少なくとも１種類の非接触の入力と、接触入力認識部により認識された前記ユーザからの接触による入力とに基づいて行われる
ように構成された
前記（１）または（２）に記載の手術用制御装置。
（４）
前記状態推定部は、前記ユーザの状態を、手技外動作状態、俯瞰状態、注視状態、または観察状態と推定する
ように構成された
前記（１）乃至（３）のいずれかに記載の手術用制御装置。
（５）
前記手術用装置の制御は、表示制御装置のメニュー表示制御、表示制御装置のアノテーション表示制御、術野画像を撮影する手術用撮影装置の撮影制御、または前記手術用撮影装置を保持するアームの駆動制御である
ように構成された
前記（４）に記載の手術用制御装置。
（６）
前記制限部は、前記状態推定部により前記ユーザの状態が手技外動作状態であると推定された場合、前記手術用装置の制御を前記表示制御装置のメニュー表示制御に制限する
ように構成された
前記（５）に記載の手術用制御装置。
（７）
前記制限部は、前記状態推定部により前記ユーザの状態が俯瞰状態であると推定された場合、前記手術用装置の制御を前記表示制御装置のアノテーション表示制御に制限する
ように構成された
前記（５）または（６）に記載の手術用制御装置。
（８）
前記制限部は、前記状態推定部により前記ユーザの状態が注視状態であると推定された場合、前記手術用装置の制御を前記手術用撮影装置の撮影制御に制限する
ように構成された
前記（５）乃至（７）のいずれかに記載の手術用制御装置。
（９）
前記制限部は、前記状態推定部により前記ユーザの状態が観察状態であると推定された場合、前記手術用装置の制御を前記アームの駆動制御に制限する
ように構成された
前記（５）乃至（８）のいずれかに記載の手術用制御装置。
（１０）
前記第２の非接触入力認識部により認識された前記ユーザからの少なくとも１種類の非接触の入力に基づいて、前記手術用制御装置の動作モードを設定するモード設定部
をさらに備える
前記（１）乃至（９）のいずれかに記載の手術用制御装置。
（１１）
前記状態推定部は、前記動作モードが、前記ユーザからの少なくとも１種類の非接触の入力に基づいて前記手術用装置を制御するモードである場合、前記状態を推定する
ように構成された
前記（１０）に記載の手術用制御装置。
（１２）
手術用制御装置が、
第１の非接触入力認識部により認識されたユーザからの少なくとも１種類の非接触の入力に基づいて、前記ユーザの状態を推定する状態推定ステップと、
前記状態推定ステップの処理により推定された前記状態に応じて、第２の非接触入力認識部により認識された前記ユーザからの少なくとも１種類の非接触の入力に基づく手術用装置の制御を制限する制限ステップと
を含む手術用制御方法。
（１３）
コンピュータを、
第１の非接触入力認識部により認識されたユーザからの少なくとも１種類の非接触の入力に基づいて、前記ユーザの状態を推定する状態推定部と、
前記状態推定部により推定された前記状態に応じて、第２の非接触入力認識部により認識された前記ユーザからの少なくとも１種類の非接触の入力に基づく手術用装置の制御を制限する制限部と
して機能させるためのプログラム。

１１ 術用カメラ, １２ カメラアーム, １５ 制御装置, ６２ 指令部, ６３ モード設定部, ６４ 状態推定部, ６６ 画像処理部, ７１ 音声認識部, ７２ 視線認識部, ７３ 頭部認識部, ７４ ジェスチャ認識部, ７５ 操作認識部

本開示は、医療用観察装置、医療用観察方法、およびプログラムに関し、特に、非接触の入力により手術用装置を制御する場合に手術用装置の誤動作を防止することができるようにした医療用観察装置、医療用観察方法、およびプログラムに関する。

本開示の一側面の医療用観察装置は、術野画像を取得するカメラを保持するアーム部と、第１の非接触入力認識部により認識されたユーザからの少なくとも前記ユーザの視線を含む非接触の入力に基づいて、前記ユーザの状態を推定する状態推定部と、前記状態推定部により推定された前記ユーザの状態に基づいて前記術野画像を変更するよう制御する制御部とを備える医療用観察装置である。

本開示の一側面の医療用観察方法およびプログラムは、本開示の一側面の医療用観察装置に対応する。

本開示の一側面においては、第１の非接触入力認識部により認識されたユーザからの少なくとも前記ユーザの視線を含む非接触の入力に基づいて、前記ユーザの状態が推定され、推定された前記ユーザの状態に基づいて術野画像を変更するよう制御される。

Claims (13)

1. 第１の非接触入力認識部により認識されたユーザからの少なくとも１種類の非接触の入力に基づいて、前記ユーザの状態を推定する状態推定部と、
   前記状態推定部により推定された前記状態に応じて、第２の非接触入力認識部により認識された前記ユーザからの少なくとも１種類の非接触の入力に基づく手術用装置の制御を制限する制限部と
   を備える手術用制御装置。
2. 前記非接触の入力は、前記ユーザの音声、視線、動き、またはジェスチャの入力である
   ように構成された
   請求項１に記載の手術用制御装置。
3. 前記制御は、前記第２の非接触入力認識部により認識された前記ユーザからの少なくとも１種類の非接触の入力と、接触入力認識部により認識された前記ユーザからの接触による入力とに基づいて行われる
   ように構成された
   請求項１に記載の手術用制御装置。
4. 前記状態推定部は、前記ユーザの状態を、手技外動作状態、俯瞰状態、注視状態、または観察状態と推定する
   ように構成された
   請求項１に記載の手術用制御装置。
5. 前記手術用装置の制御は、表示制御装置のメニュー表示制御、表示制御装置のアノテーション表示制御、術野画像を撮影する手術用撮影装置の撮影制御、または前記手術用撮影装置を保持するアームの駆動制御である
   ように構成された
   請求項４に記載の手術用制御装置。
6. 前記制限部は、前記状態推定部により前記ユーザの状態が手技外動作状態であると推定された場合、前記手術用装置の制御を前記表示制御装置のメニュー表示制御に制限する
   ように構成された
   請求項５に記載の手術用制御装置。
7. 前記制限部は、前記状態推定部により前記ユーザの状態が俯瞰状態であると推定された場合、前記手術用装置の制御を前記表示制御装置のアノテーション表示制御に制限する
   ように構成された
   請求項５に記載の手術用制御装置。
8. 前記制限部は、前記状態推定部により前記ユーザの状態が注視状態であると推定された場合、前記手術用装置の制御を前記手術用撮影装置の撮影制御に制限する
   ように構成された
   請求項５に記載の手術用制御装置。
9. 前記制限部は、前記状態推定部により前記ユーザの状態が観察状態であると推定された場合、前記手術用装置の制御を前記アームの駆動制御に制限する
   ように構成された
   請求項５に記載の手術用制御装置。
10. 前記第２の非接触入力認識部により認識された前記ユーザからの少なくとも１種類の非接触の入力に基づいて、前記手術用制御装置の動作モードを設定するモード設定部
    をさらに備える
    請求項１に記載の手術用制御装置。
11. 前記状態推定部は、前記動作モードが、前記ユーザからの少なくとも１種類の非接触の入力に基づいて前記手術用装置を制御するモードである場合、前記状態を推定する
    ように構成された
    請求項１０に記載の手術用制御装置。
12. 手術用制御装置が、
    第１の非接触入力認識部により認識されたユーザからの少なくとも１種類の非接触の入力に基づいて、前記ユーザの状態を推定する状態推定ステップと、
    前記状態推定ステップの処理により推定された前記状態に応じて、第２の非接触入力認識部により認識された前記ユーザからの少なくとも１種類の非接触の入力に基づく手術用装置の制御を制限する制限ステップと
    を含む手術用制御方法。
13. コンピュータを、
    第１の非接触入力認識部により認識されたユーザからの少なくとも１種類の非接触の入力に基づいて、前記ユーザの状態を推定する状態推定部と、
    前記状態推定部により推定された前記状態に応じて、第２の非接触入力認識部により認識された前記ユーザからの少なくとも１種類の非接触の入力に基づく手術用装置の制御を制限する制限部と
    して機能させるためのプログラム。

Images