JP2021118883A - 医療用アーム装置、医療用アーム装置の作動方法、及び情報処理装置 - Google Patents

Abstract

【課題】医療行為における安全性をより高めることが可能な、新規かつ改良された医療用安全制御装置、医療用安全制御方法、及び医療用支援システムを提供する。【解決手段】術具によって患者の生体組織に対して処置を行っている間に検出される前記術具と前記生体組織との距離である術具生体組織間距離に基づいて、前記術具を支持する支持アーム装置のアーム部１２０の動作を制限する制限動作指示を発行する、医療用安全制御装置を提供する。【選択図】図２

Description

本開示は、医療用安全制御装置、医療用安全制御方法、及び医療用支援システムに関する。

近年、医療現場においては、検査や手術をサポートするために支持アーム装置が用いられつつある。例えば、支持アーム装置のアーム部によって内視鏡や電子撮像式の顕微鏡（ビデオ式の顕微鏡）等の術部を拡大観察するための観察用器具を支持し、当該観察用器具によって撮影された映像を見ながら医師が検査や手術を行う方法が提案されている。あるいは、アーム部の先端に鉗子やレトラクタ等の処置具を設け、従来人手で行われていた処置具の支持や操作を、支持アーム装置に行わせる方法も提案されている。

また、このような支持アーム装置を用いた手術を対象とした手術支援システムが開発されている。例えば、特許文献１には、マニピュレータによって術具（上述した観察用器具や処置具）を支持し、当該マニピュレータを操作することによって手術を行う際に、事前に取得されたＭＲＩ（Magnetic Resonance Imaging）やＣＴ（Computed Tomography）の情報から患者の体腔内の生体組織の３次元情報を生成するとともに、手術中における術具の位置を検出し、表示装置に、その３次元情報から生成される生体組織の画像と当該生体組織に対する術具の位置を表示する技術が開示されている。更に、特許文献１に記載の技術では、事前に設定された領域や経路から術具が離れた場合に警告が発せられる。このように、当該技術では、ユーザが術部と術具との相対的な位置関係を常に把握することができるとともに、例えば体腔内への進入経路から術具が外れた場合には警告が発せられることにより、術者による手術の実行が支援される。

特開２００４−２２３１２８号公報

ここで、上記特許文献１に記載の技術では、手術前に取得されたＭＲＩやＣＴの情報に基づいて術部の３次元情報が生成される。そして、手術中における生体組織の位置は、この手術前に生成された３次元情報に基づいて特定されている。しかしながら、手術中には、患者の生体組織の位置や形状は経時的に変化し得る。従って、実際の手術時における体腔内の生体組織の状況は、必ずしも手術前に取得された情報に基づく生体組織の３次元情報とは一致しない場合がある。このような場合には、特許文献１に記載の技術では、警告が有効に働かず、安全を十分に確保できない恐れがある。

また、特許文献１に記載の技術では、事前に設定された領域や経路から術具が離れた場合に警告が発せられる。つまり、ユーザは、安全な領域や経路から術具が離れたときに、初めて自身の操作が誤っていたかもしれないこと、すなわち危険が生じ得る状況であることに気付くこととなる。しかしながら、安全性をより確実に確保するためには、より早期に、危険の発生が予期される場合に、ユーザがその状況を把握できることが望ましい。

このように、これまで提案されている、医療行為における安全を確保するための技術には、安全性の観点から更なる改善の余地があると考えられる。そこで、本開示では、医療行為における安全性をより高めることが可能な、新規かつ改良された医療用安全制御装置、医療用安全制御方法、及び医療用支援システムを提供する。

本開示によれば、術具によって患者の生体組織に対して処置を行っている間に検出される前記術具と前記生体組織との距離である術具生体組織間距離に基づいて、前記術具を支持する支持アーム装置のアーム部の動作を制限する制限動作指示を発行する、医療用安全制御装置が提供される。

また、本開示によれば、術具によって患者の生体組織に対して処置を行っている間に検出される前記術具と前記生体組織との距離である術具生体組織間距離に基づいて、前記術具を支持する支持アーム装置のアーム部の動作を制限する制限動作指示を発行すること、を含む、医療用安全制御方法が提供される。

また、本開示によれば、アーム部によって術具を支持する支持アーム部と、前記支持アーム部の駆動を制御するアーム制御部と、前記術具によって患者の生体組織に対して処置を行っている間に検出される前記術具と前記生体組織との距離である術具生体組織間距離に基づいて、前記アーム部の動作を制限する制限動作指示を、前記アーム制御部に対して発行する医療用安全制御部と、を備える、医療用支援システムが提供される。

本開示によれば、術具によって患者の生体組織に対して処置を行っている間に、当該術具と当該生体組織との距離である術具生体組織間距離が検出される。そして、検出された当該術具生体組織間距離に基づいて、当該術具を支持する支持アーム装置のアーム部の動作を制限する制限動作指示が発行される。このように、いわばリアルタイムで検出された術具生体組織間距離を用いることにより、最新の術具と生体組織との位置関係に応じて、術具を支持するアーム部に対して制限動作指示がなされるため、医療行為における安全性をより高めることができる。

以上説明したように本開示によれば、医療行為における安全性をより高めることが可能になる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。

本実施形態に係る内視鏡手術システムの一構成例を示す図である。 本実施形態に係る支援システムの機能構成の一例を示すブロック図である。 面測距の様子を概略的に示す図である。 面測距の結果を概略的に示す図である。 本実施形態に係る支援システムを用いた手術の様子を表す図である。 支援システムにおけるＮＵＩについて説明するための図である。 第１制限距離の範囲を変更する際のＵＩの一表示例を示す図である。 第１制限距離の範囲を変更する際のＵＩの他の表示例を示す図である。 本実施形態に係る安全制御方法の処理手順の一例を示すフロー図である。 内視鏡の先端に測距センサが設けられる変形例に係る支援システムの機能構成の一例を示すブロック図である。 １点測距の様子を概略的に示す図である。 内視鏡の先端に測距センサが設けられる変形例に係る安全制御方法の処理手順の一例を示すフロー図である。 内視鏡の鏡筒を外部から観測する距離検出部が設けられる変形例に係る支援システムの機能構成の一例を示すブロック図である。 動作制限として退避動作が実行される変形例に係る安全制御方法の処理手順の一例を示すフロー図である。 動作制限として退避動作が実行される変形例に係る安全制御方法の処理手順の他の例を示すフロー図である。 ＮＵＩを介して内視鏡手術システムの他の構成に対する操作入力が可能に構成された支援システムの機能構成の一例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．内視鏡手術システムの構成
２．支援システムの構成
３．動作制限情報の入力方法
４．安全制御方法
５．変形例
５−１．測距方法
５−１−１．鏡筒の先端に測距センサが設けられる場合
５−１−２．外部に距離検出部が設けられる場合
５−２．退避動作
５−３．ＮＵＩを介したその他の構成の操作
５−４．マスタースレイブ方式の支持アーム装置への適用
５−５．３Ｄモデルの利用
６．補足

なお、以下では、本開示の好適な一実施形態として、内視鏡手術システムに対して本技術が適用される場合を例に挙げて説明する。ただし、本技術はかかる例に限定されず、支持アーム装置によって術具（観察用器具及び／又は処置具）を支持して行う医療行為（各種の検査や手術等）に対して適用可能である。また、以下の説明において、「ユーザ」とは、内視鏡手術システムを用いる医療スタッフ（手術を行う術者、内視鏡を操作するスコピスト、助手等）の少なくともいずれかのことを意味するものとする。特に区別する必要がある場合のみ、当該ユーザを、術者又はスコピスト等と記載する。

（１．内視鏡手術システムの構成）
図１を参照して、本実施形態に係る支援システムが適用され得る内視鏡手術システムの構成について説明する。図１は、本実施形態に係る内視鏡手術システムの一構成例を示す図である。

図１では、術者（医師）３５０１が、内視鏡手術システム３０００を用いて、患者ベッド３５０３上の患者３５０５に手術を行っている様子が図示されている。図示するように、内視鏡手術システム３０００は、内視鏡３１００と、その他の術具３２００と、内視鏡３１００を支持する支持アーム装置３３００と、内視鏡下手術のための各種の装置が搭載されたカート３４００と、から構成される。内視鏡手術システム３０００に対して本実施形態に係る支援システムが適用されることにより、より安全な手術が実現され得る。

内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ３２０７ａ〜３２０７ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ３２０７ａ〜３２０７ｄから、内視鏡３１００の鏡筒３１０１や、その他の術具３２００が患者３５０５の体腔内に挿入される。図示する例では、その他の術具３２００として、気腹チューブ３２０１、エネルギー処置具３２０３及び鉗子３２０５が、患者３５０５の体腔内に挿入されている。エネルギー処置具３２０３は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具３２００はあくまで一例であり、術具３２００としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。

内視鏡３１００によって撮影された患者３５０５の体腔内の術部の画像が、後述する表示装置３４０３に表示される。術者３５０１は、表示装置３４０３に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具３２０３や鉗子３２０５を用いて、例えば患部を切除する等の処置を行う。

なお、図示は省略しているが、気腹チューブ３２０１、エネルギー処置具３２０３及び鉗子３２０５は、手術中に、術者３５０１又は助手等によって支持される。あるいは、図示する例では、内視鏡３１００を支持する支持アーム装置３３００が１基のみ備えられているが、支持アーム装置３３００が複数備えられ、気腹チューブ３２０１、エネルギー処置具３２０３及び鉗子３２０５がその複数の支持アーム装置３３００のそれぞれによって支持されてもよい。

（支持アーム装置）
支持アーム装置３３００は、ベース部３３０１から延伸するアーム部３３０３を備える。図示する例では、アーム部３３０３は、関節部３３０５ａ、３３０５ｂ、３３０５ｃ、及びリンク３３０７ａ、３３０７ｂから構成されており、アーム制御装置３４０７からの制御により駆動される。アーム部３３０３によって内視鏡３１００が支持され、その位置及び姿勢が制御される。これにより、内視鏡３１００の安定的な位置の固定が実現され得る。

ただし、図１では、簡単のため、アーム部３３０３の構成を簡略化して図示している。実際には、アーム部３３０３が所望の自由度を有するように、関節部３３０５ａ〜３３０５ｃ及びリンク３３０７ａ、３３０７ｂの形状、数及び配置、並びに関節部３３０５ａ〜３３０５ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部３３０３は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部３３０３の可動範囲内において内視鏡３１００を自由に移動させることが可能になるため、所望の方向から内視鏡３１００の鏡筒３１０１を患者３５０５の体腔内に挿入することが可能になる。

関節部３３０５ａ〜３３０５ｃにはアクチュエータが設けられており、関節部３３０５ａ〜３３０５ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動が後述するアーム制御装置３４０７によって制御されることにより、各関節部３３０５ａ〜３３０５ｃの回転角度が制御され、アーム部３３０３の駆動が制御される。これにより、内視鏡３１００の位置及び姿勢が制御される。

具体的には、関節部３３０５ａ〜３３０５ｃに設けられるアクチュエータには、各関節部の回転角度を検出するエンコーダや、各関節部に作用するトルクを検出するトルクセンサ等の、各関節部の状態を検出するための各種のセンサが設けられる。これらのセンサの検出値は、アーム制御装置３４０７に送信される。アーム制御装置３４０７は、アーム部３３０３の幾何学的状態及び力学的状態が支持アーム装置３３００の内部座標によって表現された内部モデルを有しており、当該内部モデルと、当該センサの検出値と、に基づいて、現在の関節部３３０５ａ〜３３０５ｃの状態、すなわち現在のアーム部３３０３の状態（位置、姿勢、速度等）を把握することができる。アーム制御装置３４０７は、把握したアーム部３３０３の状態に基づいて、ユーザによるアーム部３３０３の動作に対する操作入力に対応する各関節部の駆動制御量（例えば、回転角度や駆動トルク）を算出し、当該駆動制御量に応じて各関節部を駆動させる。

本実施形態では、アーム制御装置３４０７は、力制御によって、アーム部３３０３の駆動を制御する。力制御が適用される場合には、アーム制御装置３４０７は、内視鏡３１００を操作する医師（スコピスト）がアーム部３３０３又は内視鏡３１００に直接触れて行う操作（以下、直接操作ともいう）に応じて、その直接操作における外力にならってスムーズにアーム部３３０３が移動するように各関節部３３０５ａ〜３３０５ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行うことができる。これにより、スコピストが直接アーム部３３０３に触れながらアーム部３３０３を移動させる際に、比較的軽い力で当該アーム部３３０３を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡３１００を移動させることが可能となり、スコピストの利便性を向上させることができる。

ただし、本実施形態はかかる例に限定されず、アーム制御装置３４０７は、位置制御によってアーム部３３０３の駆動を制御してもよい。また、直接操作以外の他の方法に応じて、アーム部３３０３が操作されてもよい。例えば、ユーザが、入力装置３４０９（フットスイッチ３４１９を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置３４０７によってアーム部３３０３の駆動が適宜制御され、内視鏡３１００の位置及び姿勢が制御されてよい。あるいは、アーム部３３０３は、ユーザのジェスチャ等によって操作されてもよい。あるいは、アーム部３３０３は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部３３０３は、手術室から離れた場所に設置される入力装置３４０９を介してユーザによって遠隔操作され得る。このような、直接操作以外の操作に応じたアーム部３３０３の駆動については、下記（５−３．ＮＵＩを介したその他の構成の操作）及び（５−４．マスタースレイブ方式の支持アーム装置への適用）で改めて説明する。

（内視鏡）
内視鏡３１００は、先端から所定の長さの領域が患者３５０５の体腔内に挿入される鏡筒３１０１と、鏡筒３１０１の基端に接続されるカメラヘッド３１０３と、から構成される。内視鏡３１００は、硬性の鏡筒３１０１を有するいわゆる硬性鏡である。ただし、本実施形態はかかる例に限定されず、内視鏡３１００は、軟性の鏡筒３１０１を有するいわゆる軟性鏡として構成されてもよい。

鏡筒３１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡３１００は、鏡筒３１０１の延伸方向と光軸が略一致するように上記対物レンズが設置される直視鏡として構成される。内視鏡３１００には後述する光源装置３４０５が接続されており、当該光源装置３４０５によって生成された光が、鏡筒３１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者３５０５の体腔内の観察対象に向かって照射される。なお、本実施形態はかかる例に限定されず、内視鏡３１００は、斜視鏡又は側視鏡であってもよい。

カメラヘッド３１０３の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとして後述するカメラコントロールユニット（ＣＣＵ：Camera Control Unit）３４０１に送信される。なお、カメラヘッド３１０３には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載され得る。

なお、本実施形態では、立体視（３Ｄ表示）等に対応するために、カメラヘッド３１０３には撮像素子が複数設けられる。すなわち、内視鏡３１００は、ステレオカメラとして構成され得る。この場合、鏡筒３１０１の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。ただし、本実施形態はかかる例に限定されず、内視鏡３１００は、カメラヘッド３１０３が単一の撮像素子を有するように構成されてもよい。

（カートに搭載される各種の装置）
ＣＣＵ３４０１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のプロセッサによって構成され、内視鏡３１００及び表示装置３４０３の動作を統括的に制御する。具体的には、ＣＣＵ３４０１は、カメラヘッド３１０３から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ３４０１は、当該画像処理を施した画像信号を表示装置３４０３に提供する。また、ＣＣＵ３４０１は、カメラヘッド３１０３に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。

表示装置３４０３は、ＣＣＵ３４０１からの制御により、当該ＣＣＵ３４０１によって画像処理が施された画像信号に基づく画像を表示する。内視鏡３１００が例えば４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置３４０３としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。また、表示装置３４０３は、後述する安全制御装置３４０８からの指示に応じて、スコピストによる内視鏡３１００の操作に対する警告を、例えばテキスト等の形式で表示する。

光源装置３４０５は、例えばＬＥＤ（light emitting diode）等の光源から構成され
、術部を撮影する際の照射光を内視鏡３１００に供給する。

アーム制御装置３４０７は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置３３００のアーム部３３０３の駆動を制御する。なお、アーム制御装置３４０７がアーム部３３０３の駆動を制御するための具体的な方法としては、各種の公知な方法を適用することができるため、ここではその詳細な説明は省略する。

安全制御装置３４０８は、例えばＣＰＵ等のプロセッサによって構成され、ＣＣＵ３４０１及びアーム制御装置３４０７と連携し、内視鏡手術システム３０００を用いた手術において、安全を確保することを目的として、スコピストの操作を支援するための各種の制御を行う。安全制御装置３４０８の機能の詳細については、下記（２．支援システムの構成）で改めて説明する。

入力装置３４０９は、内視鏡手術システム３０００に対する入力インタフェースである。ユーザは、入力装置３４０９を介して、内視鏡手術システム３０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置３４０９を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置３４０９を介して、アーム部３３０３を駆動させる旨の指示や、内視鏡３１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。また、ユーザは、入力装置３４０９を介して、支援システムにおいて処理される各種の情報（後述する動作制限情報等）を入力することができる。

入力装置３４０９の種類は限定されず、入力装置３４０９は各種の公知の入力装置であってよい。入力装置３４０９としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ３４１９及び／又はレバー等が適用され得る。入力装置３４０９としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置３４０３の表示面上に設けられてもよい。

あるいは、入力装置３４０９は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであってもよく、これらのデバイスによって検出されるユーザのジェスチャや視線の動き、ヘッドトラック等に応じて各種の入力が行われてもよい。あるいは、入力装置３４０９は、ユーザの動きを検出可能なカメラであってもよい。当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われ得る。あるいは、入力装置３４０９は、ユーザの声を収音可能なマイクロフォンであってもよい。当該マイクロフォンを介して音声によって各種の入力が行われ得る。このように、入力装置３４０９が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者３５０１）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。

処置具制御装置３４１１は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具３２０３の駆動を制御する。気腹装置３４１３は、内視鏡３１００による視野の確保及び術者３５０１の作業空間の確保の目的で、患者３５０５の体腔を膨らめるために、気腹チューブ３２０１を介して当該体腔内にガスを送り込む。レコーダ３４１５は、手術に関する各種の情報を記録可能な装置である。プリンタ３４１７は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

以上、内視鏡手術システム３０００の構成について説明した。

（２．支援システムの構成）
図２を参照して、以上説明した内視鏡手術システム３０００に適用される、本実施形態に係る支援システムの構成について説明する。図２は、本実施形態に係る支援システムの機能構成の一例を示すブロック図である。なお、本実施形態に係る支援システムは、検査時や手術時において、支持アーム装置によって支持される術具を当該支持アーム装置を介して操作するユーザを支援するものである。本実施形態では、一例として、支援システムが、スコピストが支持アーム装置のアーム部を直接操作によって動かしながら内視鏡を操作する際に、当該スコピストの操作を支援する場合について説明する。ただし、本実施形態はかかる例に限定されず、支持アーム装置によって支持される他の術具が他のユーザによって操作される場合には、支援システムは、当該他のユーザによる当該他の術具の操作を支援してもよい。

図２を参照すると、本実施形態に係る支援システム１は、その機能として、内視鏡部１１０と、支持アーム部１２０と、アーム制御部１３０と、画像処理距離算出部１４０と、入力部１５０と、出力部１６０と、安全制御部１７０と、を備える。

内視鏡部１１０の機能は、図１に示す内視鏡３１００によって実現され得る。内視鏡部１１０は、患者の体腔内における術部の画像を撮影する。内視鏡部１１０は、撮影した患者の術部の画像についての情報を、画像処理距離算出部１４０に提供する。

支持アーム部１２０の機能は、図１に示す支持アーム装置３３００によって実現され得る。支持アーム部１２０は、そのアーム部によって内視鏡部１１０を支持するとともに、アーム制御部１３０からの制御により当該アーム部を駆動することにより、内視鏡部１１０の位置、姿勢及び動作を制御する。支持アーム部１２０からは、アーム部の各関節部に設けられる各種のセンサ（エンコーダやトルクセンサ等）によって取得される、当該各関節部の状態を示す情報が、アーム制御部１３０に提供される。なお、図２では、支持アーム部１２０のアーム部によって内視鏡部１１０が支持されていることを示すために、両者を破線で結んでいる。

アーム制御部１３０の機能は、図１に示すアーム制御装置３４０７によって実現され得る。アーム制御部１３０は、支持アーム部１２０から提供される各関節部の状態を示す情報、及びスコピストによる操作入力に応じて、支持アーム部１２０におけるアーム部の駆動を制御することにより、内視鏡部１１０の位置、姿勢及び動作を制御する。このとき、本実施形態では、アーム制御部１３０は、安全制御部１７０から、支持アーム部１２０の動作を制限する旨の指示（以下、動作制限指示ともいう）を受け、当該動作制限指示に従って制限を設けた上でアーム部を駆動させる。安全制御部１７０による動作制限指示の詳細については後述する。

画像処理距離算出部１４０は、内視鏡部１１０から提供される術部の画像についての情報に基づいて、内視鏡の鏡筒の先端と、その画像に含まれる物体（患者の体腔内の生体組織）との距離（以下、鏡筒生体組織間距離ともいう）を算出する。図示する構成例では、内視鏡部１１０はステレオカメラとして構成されており、その撮像画像は３次元情報を有するものとして取得されるため、画像処理距離算出部１４０は、内視鏡部１１０において取得された画像信号に対して各種の画像処理を施すとともに、距離の算出処理を行うことにより、鏡筒生体組織間距離を算出することができる。なお、ステレオカメラを用いた距離の算出の具体的な方法としては、各種の公知の方法が用いられてよいため、ここでは詳細な説明は省略する。

本実施形態では、画像処理距離算出部１４０は、手術中にリアルタイムで鏡筒生体組織
間距離を算出する。ここで、本明細書において、「手術中」とは、少なくとも術具によって患者の生体組織に対して処置を行っている期間を意味する。例えば、今説明している実施形態のように内視鏡手術システム３０００におけるスコピストの操作を支援の対象とする場合であれば、「手術中」とは、少なくとも内視鏡部１１０による術部の撮影が行われている期間を意味する。また、本明細書において、「リアルタイムに実行される」とは、手術中に少なくとも１度は実行されることを意味する。本実施形態では、例えば、画像処理距離算出部１４０は、内視鏡部１１０による撮影のフレームレートごとに、各フレームレートにおいて取得された画像信号に基づいて鏡筒生体組織間距離を算出する。ただし、画像処理距離算出部１４０による鏡筒生体組織間距離の算出間隔はかかる例に限定されず、画像処理距離算出部１４０は、より広い時間間隔で鏡筒生体組織間距離を算出してもよい。当該算出間隔は、後述する鏡筒生体組織間距離に応じた支持アーム部１２０の動作制限によって安全性が十分に確保され得るように、適宜決定されてよい。

画像処理距離算出部１４０は、算出した鏡筒生体組織間距離についての情報を、算出する度に随時、安全制御部１７０に提供する。

なお、画像処理距離算出部１４０の機能は、ＣＣＵ３４０１及び安全制御装置３４０８が協働することにより実現され得る。この場合、例えば、画像処理がＣＣＵ３４０１によって実行され、距離算出に係る演算処理が安全制御装置３４０８によって実行される。あるいは、画像処理距離算出部１４０の機能は、ＣＣＵ３４０１及び安全制御装置３４０８のいずれか一方によって実現されてもよい。

入力部１５０の機能は、図１に示す入力装置３４０９によって実現され得る。入力部１５０は、ユーザによる、支持アーム部１２０の動作制限についての情報（以下、動作制限情報ともいう）を受け付ける。具体的には、動作制限情報は、動作制限を規定する各種の条件についての情報、例えば、動作制限を実行するか否かについての情報、後述する第１制限距離及び第２制限距離、進行領域及び周辺領域、並びに動作速度を制限する際の許容速度等についての情報を含む。

本実施形態では、入力部１５０は多様な入力方法に対応し得る。図示する構成例では、入力部１５０は、更にその機能として、音声検出部１５１と、視線検出部１５２と、ヘッドトラック検出部１５３と、ジェスチャ検出部１５４と、装置操作検出部１５５と、を有する。ユーザは、これらのいずれかの機能を利用して、動作制限情報を入力することができる。

音声検出部１５１は、例えばマイクロフォン等の収音装置によって実現され、ユーザの音声を検出する。視線検出部１５２は、例えばＨＭＤや眼鏡型のウェアラブルデバイスに設けられる視線検出センサによって実現され、ユーザの視線の動きを検出する。ヘッドトラック検出部１５３は、例えばＨＭＤや眼鏡型のウェアラブルデバイス等のユーザの頭部に装着されるデバイスに設けられる加速度センサによって実現され、ユーザの頭部の動きを検出する。ジェスチャ検出部１５４は、例えば手術室内に設けられるユーザを撮影可能なカメラ装置や、例えば腕時計型のウェアラブルデバイス等のユーザの身体に装着されるデバイスに設けられる加速度センサによって実現され、ユーザのジェスチャを検出する。装置操作検出部１５５は、上述した以外の各種の入力装置（例えば、フットスイッチ、レバー、ボタン、タッチセンサ等）によって実現され、これらの装置を介したユーザの操作入力を検出する。

なお、以上説明した音声検出部１５１、視線検出部１５２、ヘッドトラック検出部１５３及びジェスチャ検出部１５４を介した操作入力は、いわゆるＮＵＩ（Natural User Interface）を介した操作入力であり、非接触での操作入力を可能とするものである。一方、装置操作検出部１５５は、ＮＵＩ以外の操作入力を受け付ける機能を有するものである。ここで、医療現場では、清潔域に属するユーザが、不潔域に属する装置に対して操作入力を与えたい場合がある。このような場合において、非接触での操作入力が行えない場合には、当該ユーザが直接入力装置に触れながら操作入力を行うことができないため、例えば助手に口頭で指示を行い、当該助手が入力装置を介して操作入力を行う必要があり、非効率である。これに対して、本実施形態では、ＮＵＩを適用することにより、非接触での操作入力が可能となるため、不潔域に属する装置に対しても、清潔域に属するユーザが直接操作入力を行うことが可能となる。従って、より直感的な操作入力が可能となり、ユーザの利便性を向上させることができる。なお、動作制限情報を入力するためのＵＩの例については、下記（３．動作制限情報の入力方法）で改めて説明する。

入力部１５０は、ユーザによって入力された動作制限情報を、安全制御部１７０に提供する。

出力部１６０の機能は、図１に示す表示装置３４０３によって実現され得る。また、出力部１６０は、図１には図示しないランプ等の他の視覚的な出力装置や、スピーカ等の音声出力装置によって実現されてもよい。出力部１６０は、安全制御部１７０からの指示に基づいて、表示、音等により、スコピストによる内視鏡部１１０の操作に対する警告を行う。当該警告は、表示装置によるテキスト等の表示、ランプの発光、並びに／又は音声出力装置による音声及びアラーム等の出力によって行われ得る。このとき、本実施形態では、安全制御部１７０からの警告の指示は段階的に設定され得る。これに対応して、出力部１６０は、警告を段階的に発するように構成され得る。例えば、出力部１６０は、表示されるテキストのフォントの大きさや、ランプの発光強度や色の種類、音の大きさ等を適宜制御することにより、比較的小規模な警告と、比較的大規模な警告と、をそれぞれ発することが可能である。

安全制御部１７０の機能は、図１に示す安全制御装置３４０８によって実現され得る。安全制御部１７０は、画像処理距離算出部１４０から提供される鏡筒生体組織間距離と、入力部１５０から提供される動作制限情報に基づいて、動作制限指示をアーム制御部１３０に発行する。また、安全制御部１７０は、当該鏡筒生体組織間距離及び当該動作制限情報に基づいて、警告を発する旨の指示を出力部１６０に発行する。なお、このとき、安全制御部１７０は、アーム制御部１３０からアーム部の状態についての情報を取得し、当該情報に基づいて把握される内視鏡の鏡筒の位置を利用して、画像処理距離算出部１４０から提供された鏡筒生体組織間距離を、適宜補正してもよい。

具体的には、安全制御部１７０は、動作制限情報に基づいて、第１制限距離及び第２制限距離を設定する。ここで、第１制限距離は、安全を確保するために許容され得る鏡筒と術部との最小距離（許容限界距離）に近い値として設定される。また、第２制限距離は、第１制限距離よりも長い距離であり、直ちに危険が及ぶことはないものの、そのまま内視鏡が進行すればまもなく許容限界距離に達する恐れのある距離として設定される。安全制御部１７０は、鏡筒生体組織間距離と、第１制限距離及び第２制限距離との関係に応じて、動作制限指示及び警告の指示を発行する。

ただし、上述したように、本実施形態では、ステレオカメラによる撮像画像に基づいて鏡筒生体組織間距離が算出されるため、鏡筒生体組織間距離として、内視鏡の撮影範囲に含まれる各物体と鏡筒との距離が算出され得る。つまり、鏡筒の進行方向と略垂直な面内における鏡筒生体組織間距離の２次元的な分布を得ることができる。これを利用して、本実施形態では、安全制御部１７０は、鏡筒の進行方向に複数の領域を設定し、これら複数の領域のそれぞれにおける、鏡筒生体組織間距離と第１制限距離及び第２制限距離との関係性に応じて、動作制限指示及び警告の指示を発行する。なお、以下では、便宜的に、このような鏡筒生体組織間距離の２次元的な分布を取得することができる測距のことを、面測距とも呼称する。

面測距及び領域分割の一例について、図３及び図４を参照して説明する。図３は、面測距の様子を概略的に示す図である。図４は、面測距の結果を概略的に示す図である。

図３に示すように、体腔内において、鏡筒２０１の進行方向の正面に生体組織２０３が存在し、鏡筒２０１の進行方向に位置しているが、正面からは外れた場所に位置している他の生体組織２０５が存在しているとする。ただし、生体組織２０５は、生体組織２０３よりも鏡筒２０１に近い場所に位置している。

この場合において、ステレオカメラによる撮像画像に基づいて鏡筒生体組織間距離を算出すると、撮像画像内における当該鏡筒生体組織間距離の分布を得ることができる。図４は、この撮像画像内における当該鏡筒生体組織間距離の分布を概略的に図示したものである。図４に示す例では、算出した鏡筒生体組織間距離を３段階に分け、それぞれの距離に属する領域に異なるハッチングを付けて図示している。近距離領域２０７ａは、鏡筒生体組織間距離が比較的近い領域であり、中距離領域２０７ｂは、鏡筒生体組織間距離が中程度の領域であり、遠距離領域２０７ｃは、鏡筒生体組織間距離が比較的遠い領域である。図４を参照すると、近距離領域２０７ａに位置する生体組織２０５が検出されていることが分かる。

ここで、説明の便宜のため、第１制限距離が近距離領域２０７ａと中距離領域２０７ｂとの境界の値として設定され、第２制限距離が中距離領域２０７ｂと遠距離領域２０７ｃとの境界の値として設定されているとする。この場合、例えば、安全制御部１７０は、撮像画像内に近距離領域２０７ａ及び／又は中距離領域２０７ｂが存在していることを判断基準として、動作制限指示及び警告の指示を発行してもよい。

しかしながら、図４を参照すると、近距離領域２０７ａは、撮像画像内の中央から外れた場所に分布している。従って、図３に示す位置関係からも明らかなように、鏡筒２０１がこのままその延伸方向に進行したとしても、鏡筒２０１が、近距離領域２０７ａに位置する生体組織２０５に衝突する危険性は低いと考えられる。このような場合に、上記のように撮像画像内に近距離領域２０７ａ及び／又は中距離領域２０７ｂが存在していることを単純に判断基準として動作制限指示及び警告の指示を発行すると、かえってスコピストの操作の妨げとなる恐れがある。

従って、本実施形態では、安全制御部１７０は、動作制限情報に基づいて、鏡筒２０１の進行方向に複数の領域を設定する。当該複数の領域は、鏡筒２０１の光軸を中心とする同心円状の領域として設定され得る。図示する例では、鏡筒２０１が今後進行する領域である進行領域２０９と、当該進行領域の周辺の領域である周辺領域２１１が設定されている。進行領域２０９は、鏡筒２０１の進行方向において、鏡筒２０１の外径よりも若干大きな直径を有する円柱形状の領域として設定される。周辺領域２１１は、当該進行領域２０９の外周を取り囲む円筒形状の領域として設定される。

安全制御部１７０は、進行領域２０９と周辺領域２１１において、それぞれ、鏡筒生体組織間距離と第１制限距離及び／又は第２制限距離との関係性に応じて、動作制限指示及び警告の指示を発行する。具体的には、安全制御部１７０は、進行領域２０９において鏡筒生体組織間距離が第１制限距離以下である場合には、進行方向への鏡筒２０１の移動を停止させるように（すなわち、支持アーム部１２０のアーム部のそのときの移動方向への動作を停止させるように）、アーム制御部１３０に対して動作制限指示を発行する。また、安全制御部１７０は、併せて、出力部１６０に対して、比較的大規模な警告を発する旨の指示を発行する。

また、安全制御部１７０は、進行領域２０９において鏡筒生体組織間距離が第２制限距離以下である場合には、鏡筒２０１の移動速度（すなわち、支持アーム部１２０のアーム部の動作速度）を制限するように、アーム制御部１３０に対して動作制限指示を発行する。また、安全制御部１７０は、併せて、出力部１６０に対して、比較的小規模な警告を発する旨の指示を発行する。

また、安全制御部１７０は、周辺領域２１１において鏡筒生体組織間距離が第１制限距離以下である場合には、動作速度を制限するように、アーム制御部１３０に対して指示を出す。また、安全制御部１７０は、併せて、出力部１６０に対して、比較的小規模な警告を発する旨の指示を出す。

また、安全制御部１７０は、上記以外の場合には、動作制限指示及び警告の指示を発行せず、アーム制御部１３０に対してアーム部に通常動作を行わせる旨の指示を出す。ここで、通常動作とは、動作制限が課されることなく、スコピストの操作に従って、アーム部が自由に移動する動作である。

アーム制御部１３０は、安全制御部１７０からの指示を受けて、制限を設けた上で支持アーム部１２０を駆動させる。このとき、アーム制御部１３０は、スコピストによる支持アーム部１２０に対する操作よりも、安全制御部１７０からの指示を優先して、支持アーム部１２０を駆動させる。これにより、万が一スコピストが操作を誤り、鏡筒２０１が生体組織２０３、２０５に必要以上に近付いたとしても、鏡筒２０１の移動速度が低下される、又は鏡筒２０１の移動が停止されることとなり、患者の安全性が確保される。また、同時に、出力部１６０により、比較的小規模な警告又は大規模な警告が行われるため、スコピストは、当該警告により自身の操作に問題が生じていることを把握することができる。このとき、本実施形態によれば、鏡筒生体組織間距離がリアルタイムで検出されているため、より正確な鏡筒２０１と生体組織２０３、２０５との位置関係に基づいて、安全制御部１７０による指示がなされる。従って、手術の安全性をより向上させることが可能になる。

また、本実施形態では、上記のように、２種類の制限距離（第１制限距離及び第２制限距離）を設定することにより、鏡筒生体組織間距離に応じて、支持アーム部１２０のアーム部の動作制限、及び出力部１６０による警告が、段階的に行われる。従って、スコピストは、支持アーム部１２０のアーム部の動作速度が制限されたこと、及び出力部１６０によって小規模な警告がなされた段階で、危険が生じる可能性があることを把握し、自身の操作を改めることができる。このように、本実施形態によれば、実際に危険が生じる前に、より早い段階で、鏡筒２０１と生体組織２０３、２０５との位置関係をスコピストに知らせることができるため、更に安全性を高めることができる。

また、上記のように、鏡筒２０１の進行領域２０９及び周辺領域２１１も考慮して動作制限指示及び警告の指示を発行することにより、動作制限を行うかどうか及び警告を行うかどうかの判断基準をより細かく設定することができ、動作制限及び警告をより多段階で行うことが可能となる。従って、不要な動作制限及び警告を減少させることができ、スコピストの利便性をより向上させることができる。なお、上記の例では２つの領域（進行領域２０９及び周辺領域２１１）を設定していたが、より多くの領域が設定されてもよく、これらの領域に応じて、動作制限を行うかどうか及び警告を行うかどうかの判断基準も、更に詳細に設定されてもよい。これにより、更に多段階の動作制限及び警告がなされることとなり、スコピストの利便性を更に向上させることができる。

また、上記の実施形態では、進行領域２０９及び周辺領域２１１をそれぞれ円柱形状及び円筒形状の領域として設定していたが、進行領域２０９及び周辺領域２１１はかかる例に限定されない。進行領域２０９及び周辺領域２１１の大きさや形状は、任意に設定されてよい。例えば、進行領域２０９及び周辺領域２１１は、鏡筒２０１の先端を頂点とする錐体（円錐、三角錐等）として設定されてもよい。

なお、進行領域２０９及び周辺領域２１１は、例えば図３に示すようにそれぞれ円柱形状及び円筒形状の領域として空間上に設定されるが、実際には、安全制御部１７０は、図４に示すような撮像画像（測距画像）に対して、仮想的に進行領域２０９及び周辺領域２１１を設定することとなる。従って、安全制御部１７０は、進行領域２０９及び周辺領域２１１を設定する際には、内視鏡部１１０の光学系の構成、生体組織の検出距離、並びに、進行領域２０９及び周辺領域２１１の形状等に基づいて、所望の進行領域２０９及び周辺領域２１１が設定され得るように、適宜補正処理等を行ってよい。

ここで、動作制限情報は、手術前又は手術中に、入力部１５０を介してユーザによって入力されてよい。手術中に動作制限情報を入力可能なことにより、ユーザ、特に内視鏡部１１０を操作しているスコピストの利便性を向上させることができる。例えば、手術中に、より鏡筒を生体組織に接近させる必要が生じた場合等、いわばイレギュラーな操作を行う必要が生じた場合には、安全制御部１７０による動作制限が、かえってスコピストの操作を妨害してしまう恐れがある。このような場合に、手術中にスコピスト自身によって動作制限についての設定が適宜変更可能であることにより、例えば当該スコピストは必要に応じて動作制限を解除したり、第１制限距離及び第２制限距離をより短くしたりすることができ、より円滑に操作を行うことが可能になる。なお、動作制限情報の入力方法については、下記（３．動作制限情報の入力方法）で改めて説明する。

なお、支援システム１では、安全制御部１７０において、ユーザの指示に従って、動作制限を規定する各種の条件（第１制限距離、第２制限距離、進行領域及び周辺領域等）が設定される設定モードと、ユーザによるアーム部が操作される操作モードとが切り替え可能である。ユーザは、設定モードに切り替えてから、動作制限情報の入力を行う。安全制御部１７０は、設定モードにおいて、入力された動作制限情報に基づいて、動作制限を規定する各種の条件を設定する。動作制限情報の入力が終了したら、ユーザは、操作モードに切り替えた後、アーム部の操作を行う。安全制御部１７０は、操作モードにおいて、設定された動作制限を規定する各種の条件に従って、適宜動作制限指示及び警告の指示を発行する。

ここで、上記の実施形態において安全制御部１７０が進行方向への鏡筒２０１の移動を停止させるようにアーム制御部１３０に対して動作制限指示を発行した場合（すなわち、アーム部の動作を停止させるようにアーム制御部１３０に対して動作制限指示を発行した場合）に、その後、設定モードにおいてこの動作制限が解除されるまでスコピストが鏡筒２０１を動かせないことになると、手術の続行の妨げになってしまうことが懸念される。従って、安全制御部１７０がアーム部の動作を停止させるようにアーム制御部１３０に対して動作制限指示を発行した場合には、当該安全制御部１７０は、所定の時間の後、鏡筒生体組織間距離を増やす方向にのみ動作速度を制限しながら鏡筒２０１が移動可能であるようにアーム部を動作させる旨の動作制限指示を、アーム制御部１３０に対して発行してもよい。これにより、動作制限によりアーム部の動作が停止されたとしても、間もなく、より安全な方向により安全な速度であれば、スコピストの操作によって鏡筒２０１を移動させることが可能となるため、円滑に手術を続行することが可能になる。

以上、本実施形態に係る支援システム１の構成について説明した。以上説明したように、本実施形態によれば、リアルタイムで検出される鏡筒生体組織間距離に基づいて、支持アーム部１２０に対して動作制限指示が発行されるとともに、出力部１６０に対して警告の指示が発行される。従って、より安全な手術が実現され得る。

ここで、本実施形態に係る支援システム１は、スコピストが支持アーム部１２０に対する直接操作により内視鏡部１１０を操作する際に、特に有益である。図５を参照して、その理由について説明する。

図５は、本実施形態に係る支援システム１を用いた手術の様子を表す図である。図５では、スコピスト３０１が、患者ベッド３０３上の患者３０５に対して、内視鏡３０７の鏡筒を挿入し、その位置及び姿勢を操作している様子が図示されている。内視鏡３０７は支持アーム装置３０９によって支持されており、スコピスト３０１は、当該支持アーム装置３０９に対する直接操作により、内視鏡３０７を操作することができる。内視鏡３０７及び支持アーム装置３０９は、図２における内視鏡部１１０及び支持アーム部１２０を構成し得るものである。

支援システム１によれば、内視鏡部１１０の鏡筒の先端と患者３０５の体腔内の生体組織３１１との距離である鏡筒生体組織間距離ｄがリアルタイムで検出される。そして、その検出された鏡筒生体組織間距離ｄに基づいて、支持アーム装置３０９の動作が制限される。また、鏡筒生体組織間距離ｄに基づいて、警告が発せられる。例えば、鏡筒が生体組織３１１に近付き過ぎている場合には、その距離に応じて、支持アーム装置３０９の動作速度が制限されるとともに小規模な警告が発せられる、又は支持アーム装置３０９の動作が停止されるとともに大規模な警告が発せられる。

この際、スコピスト３０１が、直接操作により支持アーム装置３０９を介して内視鏡３０７を操作している場合には、当該スコピスト３０１は、アーム部の速度が低下したこと又はアーム部の動作が停止したことを直感的に認識することができる。つまり、スコピスト３０１に対してより直感的に鏡筒と生体組織３１１との位置関係を通知することができるため、スコピスト３０１は、操作を変更する等の対応をより迅速に行うことが可能になる。よって、手術の安全性を更に向上させることができる。

なお、以上説明した実施形態では、支持アーム部１２０における動作制限と、出力部１６０による警告が同時に行われていたが、本実施形態はかかる例に限定されない。本実施形態では、支援システム１は、アーム制御部１３０に対する動作制限指示、及び出力部１６０に対する警告の指示の、少なくともいずれかが行われるように構成することができる。

また、支持アーム部１２０に対する動作制限の種類も、上述した例に限定されない。本実施形態では、安全制御部１７０は、鏡筒生体組織間距離に応じて徐々にスコピストに対して危険性を通知し得るように動作制限指示を発行すればよく、その具体的な動作制限の内容は適宜設定可能である。例えば、安全制御部１７０は、第１制限距離と第２制限距離との間に更に複数の制限距離を設定し、それら複数の制限距離と鏡筒生体組織間距離との関係に応じて、速度制限制御における許容速度を段階的に変更してもよい。つまり、安全制御部１７０は、鏡筒が生体組織に近付くほど、アーム部の動作速度が遅くなるように、動作指示を行ってもよい。これにより、スコピストが、更に直感的に鏡筒と生体組織との位置関係を把握することが可能になるため、手術の更なる安全性の向上が実現され得る。

あるいは、支持アーム部１２０の駆動が力制御によって制御される場合には、安全制御部１７０は、動作速度の制限に代えて、スコピストの操作に対して抵抗感を付与するようにアーム部の各関節部に設けられるアクチュエータを動作させる旨の動作制限指示を発行してもよい。このような動作制限が実行されることによって、特に図５に示すようなスコピスト３０１が支持アーム装置３０９に対する直接操作により内視鏡３０７を操作する場合において、当該スコピスト３０１に対して、鏡筒と生体組織との位置関係を更に直感的に通知することが可能になる。

（３．動作制限情報の入力方法）
上述したように、本実施形態では、動作制限情報は、手術前又は手術中に、ユーザによって適宜入力され得る。ここでは、動作制限情報の具体的な入力方法のいくつかの例について説明する。

なお、支援システム１では、上述したように、ＮＵＩを用いて非接触で動作制限情報を入力することができる。これにより、術者やスコピストが、手術中に動作制限の設定を変更したい場合に、自身の作業を継続しながら、音声や視線等により、よりスムーズに動作制限情報を入力することが可能になる。従って、以下の動作制限情報の入力方法についての説明では、主にＮＵＩを用いた入力方法について説明する。

図６は、支援システム１におけるＮＵＩについて説明するための図である。図４では、スコピスト４０１が、患者ベッド４０３上の患者４０５に対して内視鏡４０７を操作している様子が図示されている。患者４０５の体腔内に、支持アーム装置４０９によって支持された内視鏡４０７の鏡筒が挿入されており、当該内視鏡４０７によって撮影された術部の画像が、手術室内に設けられる表示装置４１１に表示される。スコピスト４０１は、当該表示装置４１１の画像を参照しながら、術部について所望の画像が得られるように、鏡筒の位置を調整する。なお、表示装置４１１は、図１に示す表示装置３４０３に対応し得るものである。また、内視鏡４０７及び支持アーム装置４０９は、図２における内視鏡部１１０及び支持アーム部１２０を構成し得るものである。

図２を参照して説明したように、支援システム１では、ＮＵＩのための入力装置が設けられ得る。図示する例では、表示装置４１１の上部に、スコピスト４０１の様子を撮影するためのカメラ装置４１３が設けられている（図２に示すジェスチャ検出部１５４に対応する）。当該カメラ装置４１３によって撮影された画像に基づいて、スコピスト４０１のジェスチャが検出され得る。

また、図示する例では、スコピスト４０１は、眼鏡型のウェアラブルデバイス４１５を装着している。当該ウェアラブルデバイス４１５には、視線検出センサ（図２に示す視線検出部１５２に対応する）及び加速度センサ（図２に示すヘッドトラック検出部１５３に対応する）が設けられる。加速度センサの検出値に基づいて、スコピスト４０１の頭部の動きが検出され得る。なお、スコピスト４０１は、ウェアラブルデバイス４１５の代わりに、視線検出センサ及び加速度センサが備えられたＨＭＤを装着してもよい。

また、スコピスト４０１は、ヘッドセット（図示せず）を更に装着し得る。当該ヘッドセットのマイクロフォン（図２に示す音声検出部１５１に対応する）を介して、スコピスト４０１の音声が検出され得る。

支援システム１では、これらの、スコピスト４０１のジェスチャ、視線、ヘッドトラック及び音声による入力と、他の入力装置（フットスイッチ等）による入力を適宜組み合わせることにより、より円滑な動作制限情報の入力が可能となる。以下、いくつかの入力方法の具体例について説明する。

例えば、動作制限を行うか否かについての情報は、音声による入力とフットスイッチによる入力が組み合わされて行われ得る。当該入力例では、スコピスト４０１が、安全制御部１７０のモードを設定モードに切り替えた後、「リミットオン」等の予め設定されたキーワードを音声で入力した上で、フットスイッチを押下することにより、支持アーム装置４０９に対して動作制限が適用される。また、同様に、スコピスト４０１が、「リミットオフ」等の予め設定されたキーワードを音声で入力した上で、フットスイッチを押下することにより、支持アーム装置４０９に対する動作制限が解除される。

また、例えば、第１制限距離の値を変更する旨の情報は、音声による入力と、視線による入力と、フットスイッチによる入力が組み合わされて行われ得る。図７は、第１制限距離の範囲を変更する際のＵＩの一表示例を示す図である。例えば、スコピスト４０１が、安全制御部１７０のモードを設定モードに切り替えた上で、「ディスタンス」等の予め設定されたキーワードを音声で入力すると、図７に示す表示画面４２１が表示装置４１１に表示される。図示する例では、第１制限距離の値を３段階で設定可能であり、表示画面４２１には、これに対応して、第１制限距離の値を指定するための３つのアイコン４２３ａ、４２３ｂ、４２３ｃが表示されている。アイコン４２３ａには、比較的短い距離であることを表す「ｓｈｏｒｔ」との表示が記載されており、アイコン４２３ｂには、中程度の距離であることを表す「ｍｉｄｄｌｅ」との表示が記載されており、アイコン４２３ｃには、比較的長い距離であることを表す「ｌｏｎｇ」との表示が記載されている。

更に、表示画面４２１には、ポインタ４２５が表示される。当該ポインタ４２５は、スコピスト４０１の視線に応じて移動させることが可能である。スコピスト４０１は、希望する第１制限距離に応じて、アイコン４２３ａ、４２３ｂ、４２３ｃのいずれかの上に、視線によってポインタ４２５を移動させる。ポインタ４２５によって、アイコン４２３ａ、４２３ｂ、４２３ｃのいずれかが選択されている状態で、スコピスト４０１がフットスイッチを押下することにより、その選択されたアイコンに対応する値に、第１制限距離が変更される。

また、他の入力方法として、第１制限距離の値を変更する旨の情報は、音声による入力と、ヘッドトラックによる入力と、フットスイッチによる入力が組み合わされて行われ得る。図８は、第１制限距離の範囲を変更する際のＵＩの他の表示例を示す図である。図８に示す例では、図７に示すＵＩよりも、より詳細に第１制限距離を設定可能なＵＩが提供される。

例えば、スコピスト４０１が、安全制御部１７０のモードを設定モードに切り替えた上で、「ディスタンス」等の予め設定されたキーワードを音声で入力すると、図８に示す表示画面４３１が表示装置４１１に表示される。図示する例では、第１制限距離の値をより多段階で設定可能であり、表示画面４３１には、これに対応して、第１制限距離の値を指定するための目盛りのついた数直線４３３が表示されている。数直線４３３の値は、新たに設定する第１制限距離の値に対応しており、その一端から他端に向かうにつれて、第１制限距離がより長い距離に設定され得ることを示している。

更に、表示画面４３１には、ポインタ４３５が表示される。当該ポインタ４３５は、数直線４３３の下部に表示され、スコピスト４０１のヘッドトラックに応じて、数直線４３３に沿って、１目盛りごとに移動させることが可能である。スコピスト４０１は、希望する第１制限距離に応じて、数直線４３３上の所望の数値の下に、ヘッドトラックによってポインタ４３５を移動させる。ポインタ４３５によって数直線４３３上のいずれかの位置が選択されている状態で、スコピスト４０１がフットスイッチを押下することにより、その選択された位置に応じた値に、第１制限距離が変更される。

以上、ＮＵＩを用いた動作制限情報の入力方法のいくつかの具体例について説明した。なお、以上説明した具体例では、動作制限を行うか否かについての情報、及び第１制限距離についての情報しか扱わなかったが、もちろん他の動作制限情報についても同様に入力可能である。例えば、第２制限距離、進行領域、周辺領域、動作速度を制限する際の許容速度の値等は、図７又は図８を参照して説明した方法と同様にして設定され得る。また、以上説明した入力方法はあくまで一例であり、本実施形態では、以上説明した図２に示す入力部１５０を介した任意の方法によって、動作制限情報が入力可能である。また、以上の説明ではスコピスト４０１による動作制限情報の入力について説明したが、動作制限情報の入力は、スコピスト４０１だけでなく、他のユーザによっても同様に実行され得る。

（４．安全制御方法）
図９を参照して、本実施形態に係る安全制御方法の処理手順について説明する。図９は、本実施形態に係る安全制御方法の処理手順の一例を示すフロー図である。なお、図９に示す各ステップにおける処理は、図２に示す安全制御部１７０によって実行される処理に対応している。

図９を参照すると、本実施形態に係る安全制御方法では、まず、操作モード又は設定モードの切り替えが行われる（ステップＳ１０１）。具体的には、ステップＳ１０１では、ユーザからの指示に従ってこれらのモードが切り替えられる。

次に、操作モードか設定モードかの判断処理が行われる（ステップＳ１０３）。ステップＳ１０３で現在のモードが設定モードであると判断された場合には、ユーザが入力した動作制限情報に基づいて、動作制限を規定する各種の条件（例えば、第１制限距離、第２制限距離、進行領域及び周辺領域等）が設定される（ステップＳ１０５）。このとき、動作制限情報は、上記（３．動作制限情報の入力方法）で説明したように、例えばＮＵＩを介して入力され得る。

ステップＳ１０３で現在のモードが操作モードであると判断された場合、又はステップＳ１０５での動作制限を規定する各種の条件の設定処理が終わった場合には、ステップＳ１０７に進む。以降のステップＳ１０７〜ステップＳ１２１における処理は、スコピストの操作に従いアーム部が移動している間に実行される処理である。

ステップＳ１０７では、アーム部の移動中に、鏡筒生体組織間距離についての距離情報が取得される。具体的には、ステップＳ１０７では、図２に示す画像処理距離算出部１４０によって撮像画像から鏡筒生体組織間距離が算出され、当該鏡筒生体組織間距離についての情報が安全制御部１７０に提供される。

次に、進行領域内で鏡筒生体組織間距離が第１制限距離よりも大きいかどうかが判断される（ステップＳ１０９）。進行領域内で鏡筒生体組織間距離が第１制限距離以下である場合は、危険を及ぼし得る位置まで鏡筒が生体組織に接近しつつある状態を意味している。従って、この場合には、ステップＳ１１１に進み、アーム部の動作を停止させる旨の指示、及び比較的大規模な警告を実行する旨の指示が発行される。具体的には、ステップＳ１１１では、図２に示す安全制御部１７０が、アーム制御部１３０に対してアーム部の動作を停止させる旨の指示を発行するとともに、出力部１６０に対して比較的大規模な警告を実行する旨の指示を発行する。アーム制御部１３０及び出力部１６０がこれらの指示に従って動作することにより、アーム部の動作停止、及び比較的大規模な警告が実行される。

一方、ステップＳ１０９で進行領域内で鏡筒生体組織間距離が第１制限距離よりも大きいと判断された場合には、ステップＳ１１３に進む。ステップＳ１１３では、進行領域内で鏡筒生体組織間距離が第２制限距離よりも大きいかどうかが判断される。進行領域内で鏡筒生体組織間距離が第２制限距離以下である場合は、第１制限距離までは接近していないものの、鏡筒が生体組織に接近しつつある状態を意味しているため、そのまま鏡筒が移動すると危険が生じる恐れがある。従って、この場合には、ステップＳ１１５に進み、アーム部の動作速度を制限する旨の指示、及び比較的小規模な警告を実行する旨の指示が発行される。具体的には、ステップＳ１１５では、図２に示す安全制御部１７０が、アーム制御部１３０に対してアーム部の動作速度を制限させる旨の指示を発行するとともに、出力部１６０に対して比較的小規模な警告を実行する旨の指示を発行する。アーム制御部１３０及び出力部１６０がこれらの指示に従って動作することにより、アーム部の動作速度の制限、及び比較的小規模な警告が実行される。

ステップＳ１１３で進行領域内で鏡筒生体組織間距離が第２制限距離よりも大きいと判断された場合には、ステップＳ１１７に進む。ステップＳ１１７では、周辺領域内で鏡筒生体組織間距離が第１制限距離よりも大きいかどうかが判断される。周辺領域内で鏡筒生体組織間距離が第２制限距離以下である場合は、そのままの方向に鏡筒が進行すれば危険が生じる可能性は低いものの、鏡筒の比較的近くに生体組織が存在している状態を意味している。従って、この場合には、ステップＳ１１９に進み、アーム部の動作速度を制限する旨の指示、及び比較的小規模な警告を実行する旨の指示が発行される。具体的には、ステップＳ１１９では、ステップＳ１１５と同様に、図２に示す安全制御部１７０が、アーム制御部１３０に対してアーム部の動作速度を制限させる旨の指示を発行するとともに、出力部１６０に対して比較的小規模な警告を実行する旨の指示を発行する。アーム制御部１３０及び出力部１６０がこれらの指示に従って動作することにより、アーム部の動作速度の制限、及び比較的小規模な警告が実行される。

ステップＳ１１７で周辺領域内で鏡筒生体組織間距離が第１制限距離よりも大きいと判断された場合には、ステップＳ１２１に進む。ステップＳ１２１では、アーム部に通常動作をさせる旨の指示が発行される。具体的には、ステップＳ１２１では、図２に示す安全制御部１７０が、アーム制御部１３０に対してアーム部に通常動作を行わせる旨の指示を発行する。アーム制御部１３０が当該指示に従って動作することにより、アーム部の通常動作が実行される。

ステップＳ１１１、ステップＳ１１５、ステップＳ１１７又はステップＳ１２１における処理が終了したら、ステップＳ１０１に戻る。そして、以上説明した一連の処理が手術中に繰り返し実行される。

以上、本実施形態に係る安全制御方法の処理手順について説明した。なお、ステップＳ１１１における処理では、アーム部の動作を停止させる旨の指示、及び比較的大規模な警告を実行する旨の指示が発行された後、更に、鏡筒生体組織間距離を増やす方向にのみ動作速度が制限されながら鏡筒が移動可能であるようにアーム部を動作させる旨の動作制限指示が発行されてもよい。これにより、アーム部の動作を停止させる旨の指示が発行された場合であっても、ステップＳ１０１〜ステップＳ１０５まで戻って設定モードにおいて動作制限を解除する旨の指示を入力するまでもなく、安全が確保された状態で鏡筒を移動させることが可能となるため、手術をより円滑に続行することが可能になる。

（５．変形例）
以上説明した実施形態におけるいくつかの変形例について説明する。なお、以上説明した実施形態に係る構成、及び以下に説明する各変形例に係る構成は、可能な範囲で互いに組み合わされてよい。

（５−１．測距方法）
以上説明した実施形態では、内視鏡がステレオカメラとして構成されており、その撮像画像に基づいて鏡筒生体組織間距離が検出されていた。しかし、本実施形態はかかる例に限定されず、他の方法によって鏡筒生体組織間距離が検出されてもよい。ここでは、本実施形態の変形例として、他の測距方法が適用される場合における支援システムの構成、及び当該支援システムにおいて実行される処理について説明する。なお、本変形例に係る支援システムも、上述した実施形態と同様に、図１に示す内視鏡手術システム３０００に適用され得るものである。

（５−１−１．鏡筒の先端に測距センサが設けられる場合）
例えば、内視鏡の鏡筒の先端に測距センサが設けられてもよい。図１０は、このような、内視鏡の先端に測距センサが設けられる変形例に係る支援システムの機能構成の一例を示すブロック図である。

図１０を参照すると、本変形例に係る支援システム１ａは、その機能として、内視鏡部１１０と、支持アーム部１２０と、アーム制御部１３０と、入力部１５０と、出力部１６０と、安全制御部１７０と、距離検出部１８０ａと、を備える。なお、本変形例に係る支援システム１ａは、鏡筒生体組織間距離の測定方法が異なること、及びそれに伴い安全制御部１７０における処理が異なること以外は、図２に示す支援システム１と略同様の構成を有する。従って、以下の支援システム１ａについての説明では、支援システム１との相違点について主に説明することとし、重複する事項についてはその詳細な説明を省略する。

図１０に示すように、支援システム１ａは、支援システム１が備えていた画像処理距離算出部１４０の機能を有していない。その代わりに、支援システム１ａには、距離検出部１８０ａの機能が設けられる。

距離検出部１８０ａは、内視鏡部１１０の鏡筒の先端と、当該鏡筒の進行方向に存在する生体組織との間の距離を検出する。当該距離検出部１８０ａの機能は、内視鏡部１１０の鏡筒の先端に設けられる測距センサによって実現され得る。当該測距センサの種類は限定されず、例えば赤外線センサ、超音波センサ等、各種の公知のものを用いることができる。距離検出部１８０ａは、検出した鏡筒生体組織間距離についての情報を、安全制御部１７０に提供する。なお、図１０では、距離検出部１８０ａが内視鏡部１１０の鏡筒の先端に設けられ得ることを示すために、両者を破線で結んでいる。

ここで、一般的に、測距センサによる測距では、ステレオカメラの撮像画像に基づく測距のように面測距を行うことはできず、対象となる所定の点との距離を検出することができる。以下、便宜的に、このような、対象となる所定の点との距離を検出する測距のことを１点測距とも呼称することとする。

図１１は、１点測距の様子を概略的に示す図である。図１１では、図３と同様に、体腔内における、鏡筒２０１、鏡筒２０１の進行方向の正面に位置する生体組織２０３、及び鏡筒２０１の進行方向に位置しているが、正面からは外れた場所に位置している他の生体組織２０５の位置関係を図示している。

図３を参照して説明したように、上記の実施形態では、面測距が実行可能であったため、２次元的な鏡筒生体組織間距離の分布を得ることができた。一方、図１１に示すように、本変形例では、鏡筒２０１の先端と、当該鏡筒２０１の延伸方向における１点との距離のみが検出され得る。つまり、本変形例では、鏡筒２０１と生体組織２０３との距離は検出することができるものの、鏡筒２０１と他の生体組織２０５との距離は検出することができない。そのため、安全制御部１７０にも、鏡筒生体組織間距離についての情報として、１点測距によって検出された、鏡筒２０１の先端と生体組織２０５表面の所定の点との距離についての情報が提供されることとなる。このように、本変形例では、１点での鏡筒生体組織間距離しか検出され得ないため、上述した実施形態のように進行領域や周辺領域を設定し、これらの領域ごとに鏡筒生体組織間距離の判定を行うことは困難である。

従って、本変形例では、安全制御部１７０における処理も、上述した実施形態から変更される。図１２は、本変形例に係る安全制御方法の処理手順の一例を示すフロー図である。なお、図１２に示す各ステップにおける処理は、図１１に示す安全制御部１７０によって実行される処理に対応している。

図１２を参照すると、本変形例に係る安全制御方法では、ステップＳ２０１〜ステップＳ２０７における処理は、図９に示す上述した実施形態に係る安全制御方法でのステップＳ１０１〜ステップＳ１０７における処理と略同様である。すなわち、まず、操作モード又は設定モードの切り替えが行われ（ステップＳ２０１）、次いで、モードの判断処理が行われる（ステップＳ２０３）。そして、設定モードである場合には、動作制限を規定する各種の条件が設定される（ステップＳ２０５）。ただし、ステップＳ２０５では、ステップＳ１０５とは異なり、進行領域及び周辺領域は設定されない。次に、アーム部の移動中に鏡筒生体組織間距離についての距離情報が取得される（ステップＳ２０７）。ただし、ステップＳ２０７では、図１０に示す距離検出部１８０ａによって１点測距によって検出された鏡筒生体組織間距離についての情報が、安全制御部１７０に提供される。

本変形例では、以降の処理が、上述した実施形態と大きく異なる。具体的には、本変形例では、次に、鏡筒生体組織間距離が第１制限距離よりも大きいかどうかが判断される（ステップＳ２０９）。鏡筒生体組織間距離が第１制限距離以下である場合は、危険を及ぼし得る位置まで鏡筒が生体組織に接近しつつある状態を意味している。従って、この場合には、ステップＳ２１１に進み、アーム部の動作を停止させる旨の指示、及び比較的大規模な警告を実行する旨の指示が発行される。具体的には、ステップＳ２１１では、図１０に示す安全制御部１７０が、アーム制御部１３０に対してアーム部の動作を停止させる旨の指示を発行するとともに、出力部１６０に対して比較的大規模な警告を実行する旨の指示を発行する。アーム制御部１３０及び出力部１６０がこれらの指示に従って動作することにより、アーム部の動作停止、及び比較的大規模な警告が実行される。なお、上述した実施形態と同様に、ステップＳ２１１における処理では、アーム部の動作を停止させる旨の指示、及び比較的大規模な警告を実行する旨の指示が発行された後、更に、鏡筒生体組織間距離を増やす方向にのみ動作速度が制限されながら鏡筒が移動可能であるようにアーム部を動作させる旨の動作制限指示が発行されてもよい。

一方、ステップＳ２０９で鏡筒生体組織間距離が第１制限距離よりも大きいと判断された場合には、ステップＳ２１３に進む。ステップＳ２１３では、鏡筒生体組織間距離が第２制限距離よりも大きいかどうかが判断される。鏡筒生体組織間距離が第２制限距離以下である場合は、第１制限距離までは接近していないものの、鏡筒が生体組織に接近しつつある状態を意味しているため、そのまま鏡筒が移動すると危険が生じる恐れがある。従って、この場合には、ステップＳ２１５に進み、アーム部の動作速度を制限する旨の指示、及び比較的小規模な警告を実行する旨の指示が出される。具体的には、ステップＳ２１５では、図１０に示す安全制御部１７０が、アーム制御部１３０に対してアーム部の動作速度を制限させる旨の指示を発行するとともに、出力部１６０に対して比較的小規模な警告を実行する旨の指示を発行する。アーム制御部１３０及び出力部１６０がこれらの指示に従って動作することにより、アーム部の動作速度の制限、及び比較的小規模な警告が実行される。

ステップＳ２１３で鏡筒生体組織間距離が第２制限距離よりも大きいと判断された場合には、ステップＳ２１７に進む。ステップＳ２１７では、アーム部に通常動作をさせる旨の指示が発行される。具体的には、ステップＳ２１７では、図１０に示す安全制御部１７０が、アーム制御部１３０に対してアーム部に通常動作を行わせる旨の指示を発行する。アーム制御部１３０が当該指示に従って動作することにより、アーム部の通常動作が実行される。

ステップＳ２１１、ステップＳ２１５及びステップＳ２１７における処理が終了したら、ステップＳ２０１に戻る。そして、以上説明した一連の処理が手術中に繰り返し実行される。

以上説明したように、本変形例によれば、進行領域及び周辺領域を考慮せずに、アーム部の動作を制限するか否かの判断処理が行われる。このような、進行領域及び周辺領域を考慮しない安全制御方法であっても、鏡筒の進行方向における所定の点を対象とした鏡筒生体組織間距離に基づいてアーム部の動作の制限が行われるため、鏡筒の進行方向における当該鏡筒と生体組織との接触は効果的に防止することが可能である。このように、例えば内視鏡がステレオカメラとして構成されておらず、測距センサを用いて鏡筒生体組織間距離を検出する場合であっても、上述した実施形態と同様に、手術の安全性をより高める効果を得ることが可能である。

（５−１−２．外部に距離検出部が設けられる場合）
更に他の測距方法として、内視鏡の鏡筒を外部から観測し得る位置に距離検出部を設け、当該距離検出部によって鏡筒生体組織間距離を検出する方法が考えられる。図１３は、このような、内視鏡の鏡筒を外部から観測する距離検出部が設けられる変形例に係る支援システムの機能構成の一例を示すブロック図である。

図１３を参照すると、本変形例に係る支援システム１ｂは、その機能として、内視鏡部１１０と、支持アーム部１２０と、アーム制御部１３０と、入力部１５０と、出力部１６０と、安全制御部１７０と、距離検出部１８０ｂと、を備える。なお、本変形例に係る支援システム１ｂは、鏡筒生体組織間距離の測定方法が異なること、及びそれに伴い安全制御部１７０における処理が異なること以外は、図２に示す支援システム１と略同様の構成を有する。従って、以下の支援システム１ｂについての説明では、支援システム１との相違点について主に説明することとし、重複する事項についてはその詳細な説明を省略する。

図１３に示すように、支援システム１ｂは、支援システム１が備えていた画像処理距離算出部１４０の機能を有していない。その代わりに、支援システム１ｂには、距離検出部１８０ｂの機能が設けられる。

距離検出部１８０ｂは、内視鏡部１１０の鏡筒の先端と、当該鏡筒の進行方向に存在する生体組織との間の距離を検出する。当該距離検出部１８０ｂの機能は、例えば、内視鏡部１１０の鏡筒、及び当該鏡筒の進行方向に位置する生体組織を観測し得る位置に設けられる測距センサによって実現され得る。当該測距センサは、例えば、内視鏡部１１０の鏡筒や他の術具等とは別に、患者の体腔内に挿入される。当該測距センサとしては、空間上の２点間の距離を測定可能な、各種の公知なセンサ（例えば、超音波センサ等）を適用することができる。あるいは、距離検出部１８０ｂの機能は、内視鏡部１１０とは異なる、他の内視鏡によって実現されてもよい。当該他の内視鏡がステレオカメラとして構成されていれば、当該他の内視鏡の鏡筒を、内視鏡部１１０の鏡筒、及び当該鏡筒の進行方向に位置する生体組織を観測し得る位置まで挿入し、当該内視鏡部１１０の鏡筒及び当該生体組織を含む画角で撮像画像を撮影することにより、その撮像画像から、当該内視鏡部１１０の鏡筒と当該生体組織との距離を検出することができる。距離検出部１８０ｂは、検出した鏡筒生体組織間距離についての情報を、安全制御部１７０に提供する。

ここで、本変形例では、距離検出部１８０ｂは、面測距を実行可能に構成されてもよい
し、１点測距を実行可能に構成されてもよい。距離検出部１８０ｂが面測距を実行可能に構成される場合には、安全制御部１７０は、図９に示す処理手順に従って、安全制御方法を実行することができる。また、距離検出部１８０ｂが１点測距を実行可能に構成される場合には、安全制御部１７０は、図１２に示す処理手順に従って、安全制御方法を実行することができる。このように、本変形例では、距離検出部１８０ｂの構成に応じて、図９又は図１２に示す安全制御方法が適宜実行され得る。

以上説明したように、本変形例のように外部に設けられる距離検出部によって鏡筒生体組織間距離を検出する場合であっても、上述した実施形態又は上述した変形例と同様の安全制御方法を実行可能である。従って、本変形例においても、上述した実施形態と同様に、手術の安全性をより高める効果を得ることが可能である。

なお、内視鏡が斜視鏡又は側視鏡である場合には、ステレオカメラによる撮像画像に基づく測距では、当該内視鏡の鏡筒の先端と、当該鏡筒の進行方向に存在する生体組織との間の距離を測定することはできない。これに対して、以上説明した変形例によれば、内視鏡が斜視鏡又は側視鏡であっても、当該内視鏡の鏡筒の先端と、当該鏡筒の進行方向に存在する生体組織との間の距離を測定することが可能である。このように、以上説明した他の測距方法に係る変形例は、好適に、内視鏡が斜視鏡又は側視鏡である場合に対して適用され得る。

（５−２．退避動作）
上述した実施形態では、アーム部に対する動作制限として、動作の停止及び動作速度の制限が行われていた。ただし、動作制限の種類はかかる例に限定されず、本実施形態では、他の動作制限が行われてもよい。

例えば、鏡筒生体組織間距離が比較的小さい場合（例えば、鏡筒が第１制限距離以下まで生体組織に接近している場合）には、鏡筒が生体組織から離れる動作（退避動作）を行うように、アーム部の動作が制御されてもよい。

例えば、上述した実施形態において、アーム部の動作を制限する際に、その動作を停止させる代わりに退避動作が行われてもよい。これにより、鏡筒が生体組織に第１制限距離よりも接近した場合に、鏡筒の動きが停止するだけでなく、鏡筒を当該生体組織から離れるように動作させることが可能になる。従って、手術の安全性を更に高めることが可能になる。

なお、このとき、退避動作では、鏡筒が進行してきた経路を一定距離自動で逆向きに辿るように、鏡筒が移動することが好ましい。鏡筒が進行してきた経路は、既に鏡筒が通過してきた経路であるから、いわば安全が確保された経路であると言える。従って、鏡筒が自動的に退避動作を行ったとしても、そのことが患者に危険を及ぼすことはない。

このような、動作制限として退避動作が実行される変形例に係る支援システムは、図２に示す上述した実施形態に係る支援システム１と同様の機能構成によって実現可能である。従って、本変形例に係る支援システムの機能構成についての説明は省略する。ただし、本変形例に係る支援システムでは、安全制御部１７０における処理が、上述した実施形態とは異なる。

図１４を参照して、本変形例に係る安全制御部における処理について説明する。図１４は、動作制限として退避動作が実行される変形例に係る安全制御方法の処理手順の一例を示すフロー図である。

図１４を参照すると、本変形例に係る安全制御方法では、ステップＳ３０１〜ステップＳ３０９、及びステップＳ３１３〜ステップＳ３２１における処理は、図９に示す上述した実施形態に係る安全制御方法でのステップＳ１０１〜ステップＳ１０９、及びステップＳ１１３〜ステップＳ１２１における処理と略同様である。従って、これらの処理については、詳細な説明は省略する。

本変形例では、ステップＳ３０９において進行領域内で鏡筒生体組織間距離が第１制限距離以下であると判断された場合に、鏡筒を退避させる旨の指示、及び比較的大規模な警告を実行する旨の指示が発行される（ステップＳ３１１）。具体的には、ステップＳ３１１では、図２に示す安全制御部１７０が、アーム制御部１３０に対してアーム部に退避動作を実行させる旨の指示を発行するとともに、出力部１６０に対して比較的大規模な警告を実行する旨の指示を発行する。アーム制御部１３０及び出力部１６０がこれらの指示に従って動作することにより、鏡筒の退避動作、及び比較的大規模な警告が実行される。

ここで、図１４に示す処理手順は、上述した実施形態と同様に、支援システムが面測距を実行可能に構成される場合に対応するものである。しかし、本変形例はかかる例に限定されず、上記（５−１−１．鏡筒の先端に測距センサが設けられる場合）で説明したような、１点測距を実行可能に構成される支援システムに対しても適用可能である。つまり、本変形例に係る支援システムは、図１０に示す支援システム１ａと同様の機能構成によって実現されてもよい。

この場合における安全制御部１７０における処理について、図１５を参照して説明する。図１５は、動作制限として退避動作が実行される変形例に係る安全制御方法の処理手順の他の例を示すフロー図である。

図１５を参照すると、本変形例に係る安全制御方法では、ステップＳ４０１〜ステップＳ４０９、及びステップＳ４１３〜ステップＳ４１７における処理は、図１２に示す鏡筒の先端に測距センサが設けられる変形例に係る安全制御方法でのステップＳ２０１〜ステップＳ２０９、及びステップＳ２１３〜ステップＳ２１７における処理と略同様である。従って、これらの処理については、詳細な説明は省略する。

本変形例では、ステップＳ４０９において鏡筒生体組織間距離が第１制限距離以下であると判断された場合に、鏡筒を退避させる旨の指示、及び比較的大規模な警告を実行する旨の指示が出される（ステップＳ４１１）。具体的には、ステップＳ４１１では、図１０に示す安全制御部１７０が、アーム制御部１３０に対してアーム部に退避動作を実行させる旨の指示を発行するとともに、出力部１６０に対して比較的大規模な警告を実行する旨の指示を発行する。アーム制御部１３０及び出力部１６０がこれらの指示に従って動作することにより、鏡筒の退避動作、及び比較的大規模な警告が実行される。

以上説明したように、本変形例によれば、鏡筒生体組織間距離が比較的小さい場合に鏡筒の退避動作が行われることにより、更に手術の安全性を確保することが可能になる。また、その際、測距方法にかかわらず、本変形例を適用することが可能である。

（５−３．ＮＵＩを介したその他の構成の操作）
上述した実施形態では、ＮＵＩを介して動作制限情報が入力可能であった。ただし、本実施形態はかかる例に限定されず、ＮＵＩを介して図１に示す内視鏡手術システム３０００の他の構成に対する操作入力が可能であってもよい。

図１６は、本実施形態の一変形例である、ＮＵＩを介して内視鏡手術システム３０００の他の構成に対する操作入力が可能に構成された支援システムの機能構成の一例を示すブロック図である。

図１６を参照すると、本変形例に係る支援システム１ｃは、その機能として、内視鏡部１１０と、支持アーム部１２０と、アーム制御部１３０と、画像処理距離算出部１４０と、入力部１５０と、出力部１６０と、安全制御部１７０と、撮像制御部１８１と、表示制御部１８２と、を備える。なお、本変形例に係る支援システム１ｃは、アーム制御部１３０及び画像処理距離算出部１４０の機能が一部変更されるとともに、撮像制御部１８１及び表示制御部１８２の機能が追加されること以外は、図２に示す支援システム１と略同様の構成を有する。従って、以下の本変形例に係る支援システム１ｃについての説明では、支援システム１との相違点について主に説明することとし、重複する事項についてはその詳細な説明を省略する。

支援システム１ｃでは、入力部１５０からの操作入力により、内視鏡部１１０における撮像条件（例えば、照射光の種類、倍率及び／又は焦点距離等）が変更可能に構成される。具体的には、支援システム１ｃは、その機能として、内視鏡部１１０における撮像条件を制御する撮像制御部１８１を備え、内視鏡部１１０に対するユーザの操作入力についての情報が、入力部１５０から当該撮像制御部１８１に提供される。撮像制御部１８１は、ユーザの指示に従って、内視鏡部１１０の撮像条件を適宜制御する。なお、撮像制御部１８１の機能は、図１に示すＣＣＵ３４０１によって実現され得る。

また、支援システム１ｃでは、入力部１５０からの操作入力により、支持アーム部１２０のアーム部を操作可能に構成される。つまり、直接操作以外の操作入力によって、アーム部が操作され得る。具体的には、支援システム１ｃでは、当該アーム部に対するユーザの操作入力についての情報が、入力部１５０からアーム制御部１３０に提供される。アーム制御部１３０は、ユーザの指示に従って、アーム部の動作を適宜制御する。

また、支援システム１ｃでは、入力部１５０からの操作入力により、出力部１６０を構成する表示装置（図１に示す表示装置３４０３に対応する）における表示を操作可能に構成される。具体的には、支援システム１ｃでは、画像処理距離算出部１４０が、鏡筒生体組織間距離の算出処理とともに、内視鏡部１１０によって取得された画像信号に対して、当該画像信号に基づく画像を表示装置に表示させるための各種の画像処理（例えば、現像処理等）を施す。そして、画像処理距離算出部１４０は、画像処理を施した画像信号を表示制御部１８２に提供する。表示制御部１８２は、出力部１６０を構成する表示装置を駆動させ、その表示を制御する機能を有しており、当該画像信号に基づいて、撮像画像を当該表示装置に表示させる。本変形例では、当該表示装置に対するユーザの操作入力についての情報が、入力部１５０から表示制御部１８２に提供される。表示制御部１８２は、ユーザの指示に従って、当該表示装置における表示を適宜制御する。例えば、ユーザによる操作により、表示する画像の倍率や、明度等が変更されてよい。なお、表示制御部１８２の機能は、図１に示すＣＣＵ３４０１によって実現され得る。

なお、以上説明した撮像制御部１８１及び表示制御部１８２の機能は、図１に示す内視鏡手術システム３０００に元々備えられている機能である。つまり、図１６では、説明のため、これらの機能をあえて明示したが、撮像制御部１８１による内視鏡部１１０の撮像条件の制御や、表示制御部１８２による表示装置における表示の制御は、上述した実施形態及び各変形例に係る支援システムでも同様に行われている。つまり、本変形例は、支援システム１ｃを適用することにより新たに導入された操作の入力方法（例えばＮＵＩを介した操作入力）によって、内視鏡手術システム３０００に元々備えられている機能を制御可能にするものである。

以上説明したように、本変形例によれば、ＮＵＩを介した操作入力により、内視鏡部１１０の撮像条件、支持アーム部１２０のアーム部の動作、及び出力部１６０を構成する表示装置の表示を適宜操作することが可能である。ＮＵＩを用いることにより、非接触で操作入力を行うことが可能となるため、例えば清潔域に属するユーザであっても不潔域に属する入力装置に触れることなく、操作入力を行うことができる。また、より簡易な動作で、より直感的に操作入力を行うことができるため、作業の手を止めずに、各種の操作入力を行うことができる。従って、本変形例のように、ＮＵＩを介して内視鏡手術システム３０００における各構成を操作可能であることにより、ユーザの利便性を格段に高めることが可能になる。

（５−４．マスタースレイブ方式の支持アーム装置への適用）
以上説明した実施形態では、内視鏡を支持する支持アーム装置は、スコピストによる直接操作によって操作可能に構成されていた。しかし、本実施形態はかかる例に限定されない。上記（１．内視鏡手術システムの構成）で説明したように、本実施形態に係る支援システムが適用され得る支持アーム装置は、マスタースレイブ方式で操作可能に構成されてもよい。

支持アーム装置がマスタースレイブ方式で操作可能に構成される場合であっても、例えば図２に示す支援システム１の構成によって、上述した実施形態と同様に、安全制御を実行することが可能である。ただし、マスタースレイブ方式では、ユーザが直接支持アーム装置のアーム部に触れることがないので、動作制限が行われた際に、ユーザがそのことを直感的に把握し難いことが懸念される。従って、マスタースレイブ方式の支持アーム装置に対して支援システムが適用される場合には、動作制限が行われたことが、ユーザに対してより積極的に通知されることが好ましい。

例えば、ユーザが操作入力を行うコントローラに対して、動作制限に応じたフィードバックが行われ得る。具体的には、アーム部の動作速度が制限された場合には、その動作速度に応じて、ユーザが操作するジョイスティック等の操作体の動作に抵抗感が付与されてもよい。あるいは、アーム部の動作が停止された場合には、それに連動して、ユーザが操作する操作体も動かなくなるように固定されてもよい。更に、このような操作体への抵抗感の付与、又は操作体の固定とともに、コントローラが振動してもよい。このような動作制限に応じた種々のフィードバックがユーザに対してなされることにより、当該ユーザは、動作制限が行われていることをより直観的に把握することが可能になる。

（５−５．３Ｄモデルの利用）
上述した実施形態において鏡筒生体組織間距離を算出する際に、例えば上記特許文献１に記載されているような、体腔内の生体組織の３Ｄモデルが併用されてもよい。例えば、３Ｄモデルを併用する変形例に係る支援システムは、図２に示す支援システム１に対して、３Ｄモデルを構築するための患者の体腔内の生体組織の３次元情報を記憶する記憶部が更に設けられることによって実現され得る。

例えば、本変形例に係る支援システムでは、手術前に患者に対して実行されるＭＲＩやＣＴによって得られた情報に基づいて、患者の体腔内の生体組織の位置及び形状を示す３次元情報を生成しておく。当該３次元情報は上記記憶部に記憶されており、支援システムは当該３次元情報に適宜アクセスすることが可能である。

ここで、本変形例では、鏡筒生体組織間距離を患者の体腔内でリアルタイムで検出することができる。これを利用して、検出された当該鏡筒生体組織間距離によって、当該記憶部に格納されている３次元情報を手術中に随時更新する。鏡筒の位置は、アーム制御部から提供されるアーム部の状態を示す情報に基づいて算出可能であるため、安全制御部は、更新された３次元情報から最新の生体組織の３Ｄモデルを構築し、算出された鏡筒の位置と、構築した３Ｄモデルと、検出された鏡筒生体組織間距離と、を組み合わせることにより、鏡筒と当該鏡筒の周囲の生体組織との位置関係を同定することができる。そして、安全制御部は、その位置関係に応じて、上述した実施形態と同様に、動作制限指示及び警告の指示を適宜発行することができる。

ここで、上記特許文献１に記載の技術では、手術前に取得された３次元情報に基づいて構築された３Ｄモデルを用いて、鏡筒と生体組織との距離を算出していたため、実際の手術時の生体の位置及び形状が正確に反映できていない可能性があった。これに対して、本変形例によれば、上述したように、リアルタイムで検出された鏡筒生体組織間距離によって、３次元情報が随時更新される。従って、実際の状況を反映した生体組織の３Ｄモデルを構築することができ、鏡筒と生体組織との距離をより正確に同定することが可能となる。このように、本実施形態に係る支援システムに、生体組織の３Ｄモデルを用いて鏡筒と生体組織との位置関係を把握する方法を併用することにより、動作制限及び警告をより適切に行うことが可能となり、更に安全な手術を提供することが可能になる。

（６．補足）
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的なものではない。つまり、本開示に係る技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。

例えば、上記実施形態では、一例として内視鏡手術システムにおける内視鏡の操作に対して、本開示に係る支援システムが適用された場合について説明したが、本技術はかかる例に限定されない。例えば、鉗子やレトラクタ等の他の術具に対して、本開示に係る支援システムが適用されてもよい。この場合には、これらの術具の先端に測距センサを設けたり、これらの術具を外部から観測し得る位置に測距センサを設けたりすることにより、上記（５−１．測距方法）で説明した変形例に係る支援システムを適用することが可能である。また、術部を拡大観察するための顕微鏡が支持アーム装置によって支持される、顕微鏡手術システムに対して、本開示に係る支援システムが適用されてもよい。この場合には、例えばステレオカメラからなる顕微鏡の撮像画像、顕微鏡に設けられる測距センサの検出値、又は顕微鏡を外部から観測し得る位置に設けられる測距センサの検出値、に基づいて、顕微鏡と当該顕微鏡の対物レンズと対向する生体組織との間の距離が検出され、顕微鏡と患者の生体組織とが接触しないように、安全制御が実行され得る。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
術具によって患者の生体組織に対して処置を行っている間に検出される前記術具と前記生体組織との距離である術具生体組織間距離に基づいて、前記術具を支持する支持アーム装置のアーム部の動作を制限する制限動作指示を発行する、
医療用安全制御装置。
（２）
前記術具生体組織間距離が所定の第１制限距離以下である場合に、前記制限動作指示として、前記アーム部の動作を停止させる旨の指示を発行する、
前記（１）に記載の医療用安全制御装置。
（３）
前記術具生体組織間距離が前記第１制限距離よりも大きい所定の第２制限距離以下である場合に、前記制限動作指示として、前記アーム部の動作速度を所定の値以下に制限する旨の指示を発行する、
前記（２）に記載の医療用安全制御装置。
（４）
前記アーム部の動作速度を制限する前記所定の値は、前記術具生体組織間距離に応じて変化する、
前記（３）に記載の医療用安全制御装置。
（５）
前記術具生体組織間距離が所定の第１制限距離以下である場合に、前記制限動作指示として、前記術具が前記生体組織から離れる退避動作を行うように前記アーム部を動作させる旨の指示を発行する、
前記（１）、（３）又は（４）に記載の医療用安全制御装置。
（６）
前記退避動作では、前記術具が進行してきた経路を逆に辿って移動する、
前記（５）に記載の医療用安全制御装置。
（７）
前記術具生体組織間距離に基づいて、警告を発する旨の指示を更に発行する、
前記（１）〜（６）のいずれか１項に記載の医療用安全制御装置。
（８）
前記警告は、前記術具生体組織間距離に応じて段階的に設定される、
前記（７）に記載の医療用安全制御装置。
（９）
前記術具は、ステレオカメラとして構成される内視鏡であり、
前記術具生体組織間距離は、前記内視鏡による撮像画像に基づいて検出される、
前記（１）〜（８）のいずれか１項に記載の医療用安全制御装置。
（１０）
前記術具の進行方向と略垂直な面内における前記術具生体組織間距離の分布が検出され、
前記術具の進行方向に設定される複数の領域のそれぞれにおける前記術具生体組織間距離に基づいて、前記制限動作指示を発行する、
前記（９）に記載の医療用安全制御装置。
（１１）
前記術具生体組織間距離は、前記術具の先端に設けられる測距センサによって検出される、
前記（１）〜（８）のいずれか１項に記載の医療用安全制御装置。
（１２）
前記術具生体組織間距離は、前記術具及び前記生体組織を観測可能な位置に設けられる距離検出部によって検出される、
前記（１）〜（８）のいずれか１項に記載の医療用安全制御装置。
（１３）
前記アーム部の動作の制限を規定する条件は、ユーザによるＮＵＩを介した入力に従って設定される、
前記（１）〜（１２）のいずれか１項に記載の医療用安全制御装置。
（１４）
前記ＮＵＩを介した入力は、ユーザの音声、ユーザの視線の動き、ユーザの頭部の動き、及びユーザのジェスチャの少なくともいずれかによって実行される、
前記（１３）に記載の医療用安全制御装置。
（１５）
前記アーム部に対して、ユーザが前記アーム部に加えた外力にならって前記アーム部が
駆動されるパワーアシスト制御が実行される、
前記（１）〜（１４）のいずれか１項に記載の医療用安全制御装置。
（１６）
術具によって患者の生体組織に対して処置を行っている間に検出される前記術具と前記生体組織との距離である術具生体組織間距離に基づいて、前記術具を支持する支持アーム装置のアーム部の動作を制限する制限動作指示を発行すること、
を含む、医療用安全制御方法。
（１７）
アーム部によって術具を支持する支持アーム部と、
前記支持アーム部の駆動を制御するアーム制御部と、
前記術具によって患者の生体組織に対して処置を行っている間に検出される前記術具と前記生体組織との距離である術具生体組織間距離に基づいて、前記アーム部の動作を制限する制限動作指示を、前記アーム制御部に対して発行する医療用安全制御部と、
を備える、医療用支援システム。

１、１ａ、１ｂ、１ｃ 支援システム
１１０ 内視鏡部
１２０ 支持アーム部
１３０ アーム制御部
１４０ 画像処理距離算出部
１５０ 入力部
１５１ 音声検出部
１５２ 視線検出部
１５３ ヘッドトラック検出部
１５４ ジェスチャ検出部
１５５ 装置操作検出部
１６０ 出力部
１７０ 安全制御部
１８０ａ、１８０ｂ 距離検出部
１８１ 撮像制御部
１８２ 表示制御部
３０００ 内視鏡手術システム
３１００ 内視鏡
３３００ 支持アーム装置
３４０１ ＣＣＵ
３４０３ 表示装置
３４０７ アーム制御装置
３４０８ 安全制御装置
３４０９ 入力装置

本開示は、医療用アーム装置、医療用アーム装置の作動方法、及び情報処理装置に関する。

このように、これまで提案されている、医療行為における安全を確保するための技術には、安全性の観点から更なる改善の余地があると考えられる。そこで、本開示では、医療行為における安全性をより高めることが可能な、新規かつ改良された医療用アーム装置、医療用アーム装置の作動方法、及び情報処理装置を提供する。

本開示によれば、患者の生体組織を撮像する撮像部を支持するアーム部と、前記撮像部により取得された二次元画像情報に基づいて前記撮像部と前記生体組織との間の距離を算出し、前記アーム部の可動域における安全領域を出力する安全制御部と、具備する、医療用アーム装置が提供される。

また、本開示によれば、医療用アーム装置が、患者の生体組織を撮像する撮像部により取得された二次元画像情報に基づいて前記撮像部と前記生体組織との間の距離を算出し、前記撮像部を支持するアーム部の可動域における安全領域を出力すること、を含む、医療用アーム装置の作動方法が提供される。

また、本開示によれば、患者の生体組織を撮像する撮像部により取得された二次元画像情報に基づいて前記撮像部と前記生体組織との間の距離を算出し、前記撮像部を支持するアーム部の可動域における安全領域を出力する、情報処理装置が提供される。

本開示によれば、患者の生体組織を撮像する撮像部により取得された二次元画像情報に基づいて撮像部と生体組織との間の距離が算出され、撮像部を支持するアーム部の可動域における安全領域が出力される。医療行為における安全性をより高めることができる。

Claims (17)

1. 術具によって患者の生体組織に対して処置を行っている間に検出される前記術具と前記生体組織との距離である術具生体組織間距離に基づいて、前記術具を支持する支持アーム装置のアーム部の動作を制限する制限動作指示を発行する、
   医療用安全制御装置。
2. 前記術具生体組織間距離が所定の第１制限距離以下である場合に、前記制限動作指示として、前記アーム部の動作を停止させる旨の指示を発行する、
   請求項１に記載の医療用安全制御装置。
3. 前記術具生体組織間距離が前記第１制限距離よりも大きい所定の第２制限距離以下である場合に、前記制限動作指示として、前記アーム部の動作速度を所定の値以下に制限する旨の指示を発行する、
   請求項２に記載の医療用安全制御装置。
4. 前記アーム部の動作速度を制限する前記所定の値は、前記術具生体組織間距離に応じて変化する、
   請求項３に記載の医療用安全制御装置。
5. 前記術具生体組織間距離が所定の第１制限距離以下である場合に、前記制限動作指示として、前記術具が前記生体組織から離れる退避動作を行うように前記アーム部を動作させる旨の指示を発行する、
   請求項１に記載の医療用安全制御装置。
6. 前記退避動作では、前記術具が進行してきた経路を逆に辿って移動する、
   請求項５に記載の医療用安全制御装置。
7. 前記術具生体組織間距離に基づいて、警告を発する旨の指示を更に発行する、
   請求項１に記載の医療用安全制御装置。
8. 前記警告は、前記術具生体組織間距離に応じて段階的に設定される、
   請求項７に記載の医療用安全制御装置。
9. 前記術具は、ステレオカメラとして構成される内視鏡であり、
   前記術具生体組織間距離は、前記内視鏡による撮像画像に基づいて検出される、
   請求項１に記載の医療用安全制御装置。
10. 前記術具の進行方向と略垂直な面内における前記術具生体組織間距離の分布が検出され、
    前記術具の進行方向に設定される複数の領域のそれぞれにおける前記術具生体組織間距離に基づいて、前記制限動作指示を発行する、
    請求項９に記載の医療用安全制御装置。
11. 前記術具生体組織間距離は、前記術具の先端に設けられる測距センサによって検出される、
    請求項１に記載の医療用安全制御装置。
12. 前記術具生体組織間距離は、前記術具及び前記生体組織を観測可能な位置に設けられる距離検出部によって検出される、
    請求項１に記載の医療用安全制御装置。
13. 前記アーム部の動作の制限を規定する条件は、ユーザからの入力に従って設定される、
    請求項１に記載の医療用安全制御装置。
14. 前記ユーザからの入力は、ユーザの音声、ユーザの視線の動き、ユーザの頭部の動き、及びユーザのジェスチャの少なくともいずれかによって実行される、
    請求項１３に記載の医療用安全制御装置。
15. 前記アーム部に対して、ユーザが前記アーム部に加えた外力にならって前記アーム部が駆動されるパワーアシスト制御が実行される、
    請求項１に記載の医療用安全制御装置。
16. 術具によって患者の生体組織に対して処置を行っている間に検出される前記術具と前記生体組織との距離である術具生体組織間距離に基づいて、前記術具を支持する支持アーム装置のアーム部の動作を制限する制限動作指示を発行すること、
    を含む、医療用安全制御方法。
17. アーム部によって術具を支持する支持アーム部と、
    前記支持アーム部の駆動を制御するアーム制御部と、
    前記術具によって患者の生体組織に対して処置を行っている間に検出される前記術具と前記生体組織との距離である術具生体組織間距離に基づいて、前記アーム部の動作を制限する制限動作指示を、前記アーム制御部に対して発行する医療用安全制御部と、
    を備える、医療用支援システム。

Images