JP2017177297A - 制御装置及び制御方法 - Google Patents

Abstract

【課題】ロボットの動作をより適切に制御するための情報を得ることが可能な技術を提供する。【解決手段】外力に基づいて前記外力の意図を推定する制御部を備える、制御装置が提供される。【選択図】図１

Description

本開示は、制御装置及び制御方法に関する。

近年、ロボットの監視結果に基づいて安全にロボットを動作させる技術が開示されている。例えば、外部環境からロボットに作用する外力を推定し、推定した外力が所定の条件を満たす場合にロボットを停止させる技術が開示されている（例えば、特許文献１参照。）。

特開２０１５−２０８８３４号公報

しかし、ロボットの動作をより適切に制御するための情報を得ることが重要である。そこで、本開示においては、ロボットの動作をより適切に制御するための情報を得ることが可能な技術を提供する。

本開示によれば、外力に基づいて前記外力の意図を推定する制御部を備える、制御装置が提供される。

また、本開示によれば、プロセッサにより、外力に基づいて前記外力の意図を推定することを含む、制御方法が提供される。

以上説明したように本開示によれば、ロボットの動作をより適切に制御するための情報を得ることが可能になる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。

本実施形態に係る内視鏡手術システムの一構成例を示す図である。 本実施形態に係る支援システムの機能構成の一例を示すブロック図である。 制御部の機能の概要を説明するための図である。 手術の意図がない外力の例を説明するための図である。 手術の意図がない外力の例を説明するための図である。 手術の意図がない外力の例を説明するための図である。 制御部の全体的な動作の例を示すフローチャートである。 アーム部が止まっている状態からアーム部が動いている状態になるまでの詳細な動作例を示すフローチャートである。 外力の大きさの変化が漸進的である場合の例を示す図である。 外力の大きさの変化が不漸進的である場合の例を示す図である。 外力の方向の変化が漸進的である場合の例を示す図である。 外力の方向の変化が不漸進的である場合の例を示す図である。 アーム部が動いている状態からアーム部が止まっている状態になるまでの詳細な動作例を示すフローチャートである。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．内視鏡手術システムの構成
２．支援システムの構成
３．補足

なお、以下では、本開示の好適な一実施形態として、内視鏡手術システムに対して本技術が適用される場合を例に挙げて説明する。ただし、本技術はかかる例に限定されず、支持アーム装置によって術具（観察用器具及び／又は処置具）を支持して行う医療行為（各種の検査や手術等）に対して適用可能である。また、以下の説明において、「ユーザ」とは、内視鏡手術システムを用いる医療スタッフ（手術を行う術者、内視鏡を操作するスコピスト、助手等）の少なくともいずれかのことを意味するものとする。特に区別する必要がある場合のみ、当該ユーザを、術者又はスコピスト等と記載する。

（１．内視鏡手術システムの構成）
図１を参照して、本実施形態に係る支援システムが適用され得る内視鏡手術システムの構成について説明する。図１は、本実施形態に係る内視鏡手術システムの一構成例を示す図である。

図１では、術者（医師）３５０１が、内視鏡手術システム３０００を用いて、患者ベッド３５０３上の患者３５０５に手術を行っている様子が図示されている。図示するように、内視鏡手術システム３０００は、内視鏡３１００と、その他の術具３２００と、内視鏡３１００を支持する支持アーム装置３３００と、内視鏡下手術のための各種の装置が搭載されたカート３４００と、から構成される。内視鏡手術システム３０００に対して本実施形態に係る支援システムが適用されることにより、より安全な手術が実現され得る。

内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ３２０７ａ〜３２０７ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ３２０７ａ〜３２０７ｄから、内視鏡３１００の鏡筒３１０１や、その他の術具３２００が患者３５０５の体腔内に挿入される。図示する例では、その他の術具３２００として、気腹チューブ３２０１、エネルギー処置具３２０３及び鉗子３２０５が、患者３５０５の体腔内に挿入されている。エネルギー処置具３２０３は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具３２００はあくまで一例であり、術具３２００としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。

内視鏡３１００によって撮影された患者３５０５の体腔内の術部の画像が、後述する表示装置３４０３に表示される。術者３５０１は、表示装置３４０３に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具３２０３や鉗子３２０５を用いて、例えば患部を切除する等の処置を行う。

なお、図示は省略しているが、気腹チューブ３２０１、エネルギー処置具３２０３及び鉗子３２０５は、手術中に、術者３５０１又は助手等によって支持される。あるいは、図示する例では、内視鏡３１００を支持する支持アーム装置３３００が１基のみ備えられているが、支持アーム装置３３００が複数備えられ、気腹チューブ３２０１、エネルギー処置具３２０３及び鉗子３２０５がその複数の支持アーム装置３３００のそれぞれによって支持されてもよい。

（支持アーム装置）
支持アーム装置３３００は、ベース部３３０１から延伸するアーム部３３０３を備える。図示する例では、アーム部３３０３は、アーム制御装置３４０７からの制御により駆動される。アーム部３３０３によって内視鏡３１００が支持され、その位置及び姿勢が制御される。これにより、内視鏡３１００の安定的な位置の固定が実現され得る。

（内視鏡）
内視鏡３１００は、先端から所定の長さの領域が患者３５０５の体腔内に挿入される鏡筒３１０１と、鏡筒３１０１の基端に接続されるカメラヘッド３１０３と、から構成される。内視鏡３１００は、硬性の鏡筒３１０１を有するいわゆる硬性鏡である。ただし、本実施形態はかかる例に限定されず、内視鏡３１００は、軟性の鏡筒３１０１を有するいわゆる軟性鏡として構成されてもよい。

鏡筒３１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡３１００は、鏡筒３１０１の延伸方向と光軸が略一致するように上記対物レンズが設置される直視鏡として構成される。内視鏡３１００には後述する光源装置３４０５が接続されており、当該光源装置３４０５によって生成された光が、鏡筒３１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者３５０５の体腔内の観察対象に向かって照射される。なお、本実施形態はかかる例に限定されず、内視鏡３１００は、斜視鏡又は側視鏡であってもよい。

カメラヘッド３１０３の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとして後述するカメラコントロールユニット（ＣＣＵ：Camera Control Unit）３４０１に送信される。なお、カメラヘッド３１０３には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載され得る。

なお、本実施形態では、立体視（３Ｄ表示）等に対応するために、カメラヘッド３１０３には撮像素子が複数設けられる。すなわち、内視鏡３１００は、ステレオカメラとして構成され得る。この場合、鏡筒３１０１の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。ただし、本実施形態はかかる例に限定されず、内視鏡３１００は、カメラヘッド３１０３が単一の撮像素子を有するように構成されてもよい。

（カートに搭載される各種の装置）
ＣＣＵ３４０１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のプロセッサによって構成され、内視鏡３１００及び表示装置３４０３の動作を統括的に制御する。具体的には、ＣＣＵ３４０１は、カメラヘッド３１０３から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ３４０１は、当該画像処理を施した画像信号を表示装置３４０３に提供する。また、ＣＣＵ３４０１は、カメラヘッド３１０３に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。

表示装置３４０３は、ＣＣＵ３４０１からの制御により、当該ＣＣＵ３４０１によって画像処理が施された画像信号に基づく画像を表示する。内視鏡３１００が例えば４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置３４０３としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。また、表示装置３４０３は、後述する制御装置３４０８からの指示に応じて、スコピストによる内視鏡３１００の操作に対する警告を、例えばテキスト等の形式で表示する。

光源装置３４０５は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡３１００に供給する。

アーム制御装置３４０７は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置３３００のアーム部３３０３の駆動を制御する。なお、アーム制御装置３４０７がアーム部３３０３の駆動を制御するための具体的な方法としては、各種の公知な方法を適用することができるため、ここではその詳細な説明は省略する。

制御装置３４０８は、例えばＣＰＵ等のプロセッサによって構成され、ＣＣＵ３４０１及びアーム制御装置３４０７と連携し、内視鏡手術システム３０００を用いた手術において、安全を確保することを目的として、スコピストの操作を支援するための各種の制御を行う。制御装置３４０８の機能の詳細については、下記（２．支援システムの構成）で改めて説明する。

入力装置３４０９は、内視鏡手術システム３０００に対する入力インタフェースである。ユーザは、入力装置３４０９を介して、内視鏡手術システム３０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置３４０９を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置３４０９を介して、アーム部３３０３を駆動させる旨の指示や、内視鏡３１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。また、ユーザは、入力装置３４０９を介して、支援システムにおいて処理される各種の情報（後述する動作制限情報等）を入力することができる。

入力装置３４０９の種類は限定されず、入力装置３４０９は各種の公知の入力装置であってよい。入力装置３４０９としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ３４１９及び／又はレバー等が適用され得る。入力装置３４０９としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置３４０３の表示面上に設けられてもよい。

あるいは、入力装置３４０９は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであってもよく、これらのデバイスによって検出されるユーザのジェスチャや視線の動き、ヘッドトラック等に応じて各種の入力が行われてもよい。あるいは、入力装置３４０９は、ユーザの動きを検出可能なカメラであってもよい。当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われ得る。あるいは、入力装置３４０９は、ユーザの声を収音可能なマイクロフォンであってもよい。当該マイクロフォンを介して音声によって各種の入力が行われ得る。このように、入力装置３４０９が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者３５０１）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。

処置具制御装置３４１１は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具３２０３の駆動を制御する。気腹装置３４１３は、内視鏡３１００による視野の確保及び術者３５０１の作業空間の確保の目的で、患者３５０５の体腔を膨らめるために、気腹チューブ３２０１を介して当該体腔内にガスを送り込む。レコーダ３４１５は、手術に関する各種の情報を記録可能な装置である。プリンタ３４１７は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

以上、内視鏡手術システム３０００の構成について説明した。

（２．支援システムの構成）
図２を参照して、以上説明した内視鏡手術システム３０００に適用される、本実施形態に係る支援システムの構成について説明する。図２は、本実施形態に係る支援システムの機能構成の一例を示すブロック図である。なお、本実施形態に係る支援システムは、検査時や手術時において、支持アーム装置によって支持される術具を当該支持アーム装置を介して操作するユーザを支援するものである。本実施形態では、一例として、支援システムが、スコピストが支持アーム装置のアーム部を直接操作によって動かしながら内視鏡を操作する際に、当該スコピストの操作を支援する場合について説明する。ただし、本実施形態はかかる例に限定されず、支持アーム装置によって支持される他の術具が他のユーザによって操作される場合には、支援システムは、当該他のユーザによる当該他の術具の操作を支援してもよい。

図２を参照すると、本実施形態に係る支援システム１は、その機能として、制御部１１０と、アーム制御部１３０と、検出部１５０と、を備える。

検出部１５０は、力センサ１５１、トルクセンサ１５２、加速度センサ１５３、エンコーダ１５４、速度センサ１５５および人間存在検出部１５６を備える。力センサ１５１は、支持アーム装置３３００の各関節部に作用する力を検出する。また、トルクセンサ１５２は、支持アーム装置３３００の各関節部に作用するトルクを検出する。加速度センサ１５３は、支持アーム装置３３００の各リンクに生じる加速度を検出する。エンコーダ１５４は、支持アーム装置３３００の各関節部の回転角度を検出する。速度センサ１５５は、支持アーム装置３３００の各リンクに生じる速度を検出する。

なお、本明細書においては、アーム部３３０３は、複数のリンクまたは複数の関節部を含み、複数のリンクまたは複数の関節部それぞれに別個のセンサが設けられる例を主に説明する。しかし、アーム部３３０３は、複数のリンクまたは複数の関節部を含み、複数のリンクまたは複数の関節部の少なくとも先端のリンクにセンサが設けられていればよい。

人間存在検出部１５６は、周囲に存在する人間を検出する。例えば、人間存在検出部１５６を構成する具体的なセンサの種類は特に限定されない。例えば、人間存在検出部１５６は、温度センサを含んでもよいし、赤外線センサを含んでもよいし、人間が触れたときの電流の流れまたは電気抵抗の変化を測定する測定器を含んでもよい。あるいは、人間存在検出部１５６は、可視光カメラを含んでもよいし、高周波センサを含んでもよい。

アーム制御部１３０の機能は、図１に示すアーム制御装置３４０７によって実現され得る。アーム制御部１３０は、支持アーム装置３３００から提供される各関節部の状態を示す情報、及びスコピストによる操作入力に応じて、支持アーム装置３３００におけるアーム部３３０３の駆動を制御することにより、内視鏡３１００の位置、姿勢及び動作を制御する。このとき、本実施形態では、アーム制御部１３０は、制御部１１０による制御に従ってアーム部３３０３を駆動させる。

制御部１１０の機能は、図１に示す制御装置３４０８によって実現され得る。制御部１１０の機能の概要について、図３を参照しながら説明する。図３は、本開示の制御部１１０の機能の概要を説明するための図である。図３に示すように、術者３５０１および助手３５０６などによってアーム部３３０３に対する操作がなされると、アーム部３３０３の手術的な動作Ｃ１１がなされる。このとき、制御部１１０は、検出部１５０による検出結果からアーム部３３０３に発生する外力に手術の意図があると判断して、アーム部３３０３を動作させる。

一方、図３に示すように、アーム部３３０３に対して異常な動きＣ２２が与えられたり、障害物Ｃ２１が接触したりすると、制御部１１０は、検出部１５０による検出結果からアーム部３３０３に発生する外力に手術の意図がないと判断して、アーム部３３０３を固定（停止）させる。このように、制御部１１０は、検出部１５０による検出結果、すなわち、アーム部３３０３の外力（以下、単に「外力」とも言う。）に基づいて外力の意図を推定する。かかる構成により、アーム部３３０３の動作をより適切に制御するための情報を得ることが可能となる。

さらに、制御部１１０は、推定した意図に基づいて、アーム部３３０３を動かすか停止させるかを制御する。そして、アーム制御部１３０は、制御部１１０による制御に従ってアーム部３３０３を駆動させる。これにより、アーム部３３０３の動作がより適切に制御される。ここで、外力の種類は特に限定されない。例えば、外力は、力、トルク、加速度および速度の少なくともいずれか一つを含んでよい。

なお、力は、力センサ１５１によって検出されてよい。また、トルクは、トルクセンサ１５２によって検出されてよい。加速度は、加速度センサによって検出されてもよいし、エンコーダの検出結果（支持アーム装置３３００の各関節部の回転角度）から算出されてもよい。また、速度は、速度センサによって検出されてもよいし、エンコーダの検出結果（支持アーム装置３３００の各関節部の回転角度）から算出されてもよい。

以上、制御部１１０の機能の概要について説明した。続いて、図４〜図６を参照しながら、手術の意図がない外力の例について説明する。図４〜図６は、手術の意図がない外力の例を説明するための図である。まず、図４を参照しながら、アーム部３３０３の構成について簡単に説明する。図４に示すように、アーム部３３０３は、関節部３３０５ａ〜３３０５ｆ、及びリンク３３０７ａ〜３３０７ｅを有する。なお、本明細書においては、アーム部３３０３が５つのリンクと６つの関節部を有する例を説明するが、リンクおよび関節部それぞれの数は特に限定されない。

関節部３３０５ａ〜３３０５ｆにはアクチュエータが設けられており、関節部３３０５ａ〜３３０５ｆは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置３４０７によって制御されることにより、各関節部３３０５ａ〜３３０５ｆの回転角度が制御され、アーム部３３０３の駆動が制御される。これにより、内視鏡３１００の位置及び姿勢が制御される。

具体的には、関節部３３０５ａ〜３３０５ｆに設けられるアクチュエータには、各関節部の回転角度を検出するエンコーダや、各関節部に作用するトルクを検出するトルクセンサ等の、各関節部の状態を検出するための各種のセンサが設けられる。これらのセンサの検出値は、制御部１１０に送信される。制御部１１０は、アーム部３３０３の幾何学的状態及び力学的状態が支持アーム装置３３００の内部座標によって表現された内部モデルを有しており、当該内部モデルと、当該センサの検出値と、に基づいて、現在の関節部３３０５ａ〜３３０５ｆの状態、すなわち現在のアーム部３３０３の状態（位置、姿勢、速度等）を把握することができる。アーム制御装置３４０７は、把握したアーム部３３０３の状態に基づいて、ユーザによるアーム部３３０３の動作に対する操作入力に対応する各関節部の駆動制御量（例えば、回転角度や駆動トルク）を算出し、当該駆動制御量に応じて各関節部を駆動させる。

本実施形態では、アーム制御装置３４０７は、力制御によって、アーム部３３０３の駆動を制御する。力制御が適用される場合には、アーム制御装置３４０７は、内視鏡３１００を操作する医師（スコピスト）がアーム部３３０３又は内視鏡３１００に直接触れて行う操作（以下、直接操作ともいう）に応じて、その直接操作における外力にならってスムーズにアーム部３３０３が移動するように各関節部３３０５ａ〜３３０５ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行うことができる。これにより、スコピストが直接アーム部３３０３に触れながらアーム部３３０３を移動させる際に、比較的軽い力で当該アーム部３３０３を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡３１００を移動させることが可能となり、スコピストの利便性を向上させることができる。

図４には、アーム部３３０３のうち、ベース部３３０１に近い位置（例えば、リンク３３０７ｃから３３０７ｅまでの間）に所定の力よりも強い力が生じた例が示されている。このような場合には、制御部１１０は、手術の意図がないと判断し、アーム部３３０３を停止させるのがよい。なお、ベース部３３０１に近い位置は特に限定されず、スコピストがアーム部３３０３を操作するときに直接触れる可能性が低い位置であればよい。また、所定の力の大きさも特に限定されない。

図５には、アーム部３３０３のうち、スコピストによる操作によって先端のリンク３３０７ａが方向Ｖ１に動かされている一方、アーム部３３０３が障害物Ｃ２１に衝突してしまっている状態が示されている。このような場合には、制御部１１０は、異常な状態が発生したと判断して、アーム部３３０３を停止させてもよいし、障害物Ｃ２１にアーム部３３０３が接触しないようにアーム部３３０３を制御してもよい。

図６には、アーム部３３０３のうち、スコピストによる操作によって先端のリンク３３０７ａに対して急激に力Ｆ２が加えられている状態が示されている。このような場合には、制御部１１０は、患者に対して危害が加わることを防止するために、アーム部３３０３を停止させるのがよい。

続いて、制御部１１０の機能の詳細について説明する。図７は、制御部１１０の全体的な動作の例を示すフローチャートである。なお、以降のフローチャートにおける条件判断文においては、力が条件判断に利用される代わりに加速度が条件判断に利用されてもよいし、力と加速度との双方が条件判断に利用されてもよい。図７に示すように、制御部１１０は、動作を開始すると（Ｓ１１０）、アーム部３３０３が止まった状態をとる（Ｓ１２０）。続いて、力センサ１５１またはトルクセンサ１５２によるセンサ値を測定する（Ｓ１２１）。

続いて、制御部１１０は、アーム部３３０３の所定部分に外力が発生したという条件、外力の大きさ（Ｆ）と閾値（αおよびβ）との関係が所定の関係（α＜Ｆ＜β）を満たすという条件、および、外力の大きさと方向の変化が漸進的であるという条件の一部または全部が成立しない場合（Ｓ１２２において「ＮＯ」）、アーム部３３０３を固定して（Ｓ１４２）、Ｓ１２０に動作を移行させる。一方、制御部１１０は、これらの条件のすべてが満たされた場合、アーム部３３０３を動かし（Ｓ１４２）、動作をＳ１３０に移行させる。

なお、アーム部３３０３の所定部分は特に限定されず、スコピストがアーム部３３０３を操作するときに直接触れる可能性が高い位置であればよい。アーム部３３０３が動いている状態となると（Ｓ１３０）、力センサ１５１またはトルクセンサ１５２によってセンサ値が測定され、エンコーダ１５４または速度センサ１５５によってセンサ値が測定される（Ｓ１３１）。また、外力の大きさ（Ｆ）がα以下である場合には、アーム部３３０３に意図しない小さな力（ノイズ）が加わったことが考えられる。また、外力の大きさ（Ｆ）がβ以上である場合には、アーム部３３０３に意図しない強い力（医療チームの誰かのアーム部３３０３への衝突など）が加わったことが考えられる。

続いて、アーム部３３０３の所定部分に外力が発生したという条件、外力の大きさ（Ｆ）と閾値（αおよびβ）との関係が所定の関係（α＜Ｆ＜β）を満たすという条件、および、速度（Ｓ）と閾値（θおよびγ）の関係が所定の関係（θ＜Ｓ＜γ）を満たすという条件の一部または全部が成立しない場合（Ｓ１３２において「ＮＯ」）、アーム部３３０３を固定して（Ｓ１４２）、Ｓ１２０に動作を移行させる。一方、制御部１１０は、これらの条件のすべてが満たされた場合、アーム部３３０３を動かし（Ｓ１４２）、動作をＳ１３０に移行させる。

なお、速度（Ｓ）がθ以下である場合には、アーム部３３０３の速度が低すぎることが想定される（例えば、スコピストがアーム部３３０３から手を離すときにアーム部３３０３が低い速度を有しているがアーム部３３０３が停止されるべきである場合が想定される）。また、速度（Ｓ）がγ以上である場合には、アーム部３３０３の速度が大きすぎることが想定される（例えば、医療チームの誰かが誤ってアーム部３３０３を押してしまった場合が想定される）。

図８は、アーム部３３０３が止まっている状態Ｓ１２０からアーム部３３０３が動いている状態Ｓ１３０になるまでの詳細な動作例を示すフローチャートである。図８に示すように、アーム部３３０３が止まった状態をとっていると（Ｓ１２０）、アーム部３３０３に外力が発生する（Ｓ１５１）。このとき、制御部１１０は、周囲に人がいない場合には（Ｓ１５２において「ＮＯ」）、アーム部３３０３を固定し（Ｓ１４２）、動作をＳ１２０に移行させる。なお、周囲に人がいるか否かは、人間存在検出部１５６によるセンサ値に基づいて判断され得る。

一方、制御部１１０は、周囲に人がいる場合には（Ｓ１５２において「ＹＥＳ」）、「複数軸（関節部３３０５ａ〜３３０５ｆ）のトルクセンサ１５２によるセンサ値または複数軸（関節部３３０５ａ〜３３０５ｆ）の力センサ１５１によるセンサ値」または「トルクセンサ１５２によるセンサ値または力センサ１５１によるセンサ値とエンコーダ１５４の値」に基づいて、外力を受けた位置を特定する（Ｓ１５３）。

なお、外力を受けた位置はどのように特定されてもよい。例えば、制御部１１０は、複数軸（関節部３３０５ａ〜３３０５ｆ）のトルクセンサ１５２によるセンサ値または複数軸（関節部３３０５ａ〜３３０５ｆ）の力センサ１５１によるセンサ値の比較に基づいて、外力を受けた位置を特定してもよい。あるいは、制御部１１０は、上記した内部モデルを用いた推定によって、さらに高精度に外力を受けた位置を特定してもよい。

続いて、制御部１１０は、アーム部３３０３の所定部位に外力が発生しない場合には（Ｓ１２２ａにおいて「ＮＯ」）、アーム部３３０３を固定させて（Ｓ１４２）、動作をＳ１２０に移行させる。一方、制御部１１０は、アーム部３３０３の所定部位に外力が発生した場合には（Ｓ１２２ａにおいて「ＹＥＳ」）、複数軸（関節部３３０５ａ〜３３０５ｆ）のトルクセンサ１５２によるセンサ値または複数軸（関節部３３０５ａ〜３３０５ｆ）の力センサ１５１によるセンサ値と軸構成とに基づいて、特定した位置が受ける外力の大きさを検出する（Ｓ１５４）。

続いて、制御部１１０は、外力の大きさ（Ｆ）と閾値（αおよびβ）との関係が所定の関係（α＜Ｆ＜β）を満たさない場合（Ｓ１２２ｂにおいて「ＮＯ」）、アーム部３３０３を固定させて（Ｓ１４２）、動作をＳ１２０に移行させる。一方、制御部１１０は、外力の大きさ（Ｆ）と閾値（αおよびβ）との関係が所定の関係（α＜Ｆ＜β）を満たす場合（Ｓ１２２ｂにおいて「ＹＥＳ」）、Ｓ１２２ｃに動作を移行させる。

続いて、制御部１１０は、外力の大きさと外力の方向の変化との少なくとも一方が漸進的ではない場合には（１２２ｃにおいて「ＮＯ」）、アーム部３３０３を固定させて（Ｓ１４２）、動作をＳ１２０に移行させる。一方、制御部１１０は、外力の大きさと外力の方向の変化との双方が漸進的である場合には（Ｓ１２２ｃにおいて「ＹＥＳ」）、Ｓ１５５に動作を移行させる。

外力の大きさの変化が漸進的である場合と不漸進的である場合とについて説明する。図９は、外力の大きさの変化が漸進的である場合の例を示す図である。図９に示すように、外力の大きさの変化が漸進的である場合には、時間経過に対して、外力の大きさが緩やかに変化する。したがって、制御部１１０は、外力の大きさを時間で微分することによって得られる値の絶対値が所定の値を下回る場合には、外力の大きさの変化が漸進的であると判断してよい。

図１０は、外力の大きさの変化が不漸進的である場合の例を示す図である。図１０に示すように、外力の大きさの変化が不漸進的である場合には、時間経過に対して、外力の大きさが急激に変化する。したがって、制御部１１０は、外力の大きさを時間で微分することによって得られる値の絶対値が所定の値を上回る場合には、外力の大きさの変化が不漸進的であると判断してよい。

図１１は、外力の方向の変化が漸進的である場合の例を示す図である。図１１に示すように、外力の方向の変化が漸進的である場合には、時間経過に対して、外力の方向が緩やかに変化する。したがって、制御部１１０は、外力の方向を示すベクトルの成分を時間で微分することによって得られる値それぞれの絶対値が所定の値を下回る場合には、外力の方向の変化が漸進的であると判断してよい。

図１２は、外力の方向の変化が不漸進的である場合の例を示す図である。図１２に示すように、外力の方向の変化が不漸進的である場合には、時間経過に対して、外力の方向が急激に変化する。したがって、制御部１１０は、外力の方向を示すベクトルの成分を時間で微分することによって得られる値のいずれかの絶対値が所定の値を上回る場合には、外力の方向の変化が不漸進的であると判断してよい。

図８に戻って説明を続ける。制御部１１０は、外力とアーム部３３０３を固定するか否かを示すデータとの組み合わせがあらかじめ複数入力されることによって、機械学習により、入力された外力に対応してアーム部３３０３を固定するか否かを示すデータを出力することが可能にされる。そこで、制御部１１０は、外力が機械学習で学んだデータに対応しない場合には（Ｓ１５５において「ＮＯ」）、アーム部３３０３を固定させて（Ｓ１４２）、動作をＳ１２０に移行させる。一方、制御部１１０は、外力が機械学習で学んだデータに対応する場合には（Ｓ１５５において「ＹＥＳ」）、アーム部３３０３を動かして（Ｓ１４１）、アーム部３３０３を動いている状態にする（Ｓ１３０）。

図１３は、アーム部３３０３が動いている状態Ｓ１３０からアーム部３３０３が止まっている状態Ｓ１２０になるまでの詳細な動作例を示すフローチャートである。図１３に示すように、アーム部３３０３が動いている状態をとっていると（Ｓ１３０）、検出部１５０によるセンサ測定がなされる（Ｓ１６１）。このとき、制御部１１０は、周囲に人がいない場合には（Ｓ１５２において「ＮＯ」）、アーム部３３０３を停止させ（Ｓ１６４）、アーム部３３０３が止まっている状態とする（Ｓ１２０）。

一方、制御部１１０は、周囲に人がいる場合には（Ｓ１５２において「ＹＥＳ」）、「複数軸（関節部３３０５ａ〜３３０５ｆ）のトルクセンサ１５２によるセンサ値または複数軸（関節部３３０５ａ〜３３０５ｆ）の力センサ１５１によるセンサ値」または「トルクセンサ１５２によるセンサ値または力センサ１５１によるセンサ値とエンコーダ１５４の値」に基づいて、外力を受けた位置を特定する（Ｓ１５３）。

続いて、制御部１１０は、アーム部３３０３の所定部位に外力が発生しない場合には（Ｓ１２２ａにおいて「ＮＯ」）、アーム部３３０３を停止させて（Ｓ１６４）、アーム部３３０３が止まっている状態とする（Ｓ１２０）。一方、制御部１１０は、アーム部３３０３の所定部位に外力が発生した場合には（Ｓ１２２ａにおいて「ＹＥＳ」）、複数軸（関節部３３０５ａ〜３３０５ｆ）のトルクセンサ１５２によるセンサ値または複数軸（関節部３３０５ａ〜３３０５ｆ）の力センサ１５１によるセンサ値と軸構成とに基づいて、特定した位置が受ける外力の大きさを検出する（Ｓ１５４）。

続いて、制御部１１０は、外力の大きさ（Ｆ）と閾値（αおよびβ）との関係が所定の関係（α＜Ｆ＜β）を満たさない場合（Ｓ１２２ｂにおいて「ＮＯ」）、アーム部３３０３を停止させて（Ｓ１４２）、アーム部３３０３が止まっている状態とする（Ｓ１２０）。一方、制御部１１０は、外力の大きさ（Ｆ）と閾値（αおよびβ）との関係が所定の関係（α＜Ｆ＜β）を満たす場合（Ｓ１２２ｂにおいて「ＹＥＳ」）、Ｓ１２２ｃに動作を移行させる。

続いて、制御部１１０は、外力の大きさと外力の方向の変化との少なくとも一方が漸進的ではない場合には（１２２ｃにおいて「ＮＯ」）、アーム部３３０３を停止させて（Ｓ１６４）、アーム部３３０３が止まっている状態とする（Ｓ１２０）。一方、制御部１１０は、外力の大きさと外力の方向の変化との双方が漸進的である場合には（Ｓ１２２ｃにおいて「ＹＥＳ」）、Ｓ１６２に動作を移行させる。

続いて、制御部１１０は、特定した位置の速度を検出し（Ｓ１６２）、速度（Ｓ）と閾値（θおよびγ）の関係が所定の関係（θ＜Ｓ＜γ）を満たさない場合（Ｓ１６３において「ＮＯ」）、アーム部３３０３を停止させて（Ｓ１６４）、アーム部３３０３が止まっている状態とする（Ｓ１２０）。一方、制御部１１０は、速度（Ｓ）と閾値（θおよびγ）の関係が所定の関係（θ＜Ｓ＜γ）を満たす場合（Ｓ１６３において「ＹＥＳ」）、Ｓ１５５に動作を移行させる。

続いて、制御部１１０は、外力が機械学習で学んだデータに対応しない場合には（Ｓ１５５において「ＮＯ」）、アーム部３３０３を停止させて（Ｓ１６４）、アーム部３３０３が止まっている状態とする（Ｓ１２０）。一方、制御部１１０は、外力が機械学習で学んだデータに対応する場合には（Ｓ１５５において「ＹＥＳ」）、アーム部３３０３を動かして（Ｓ１４１）、アーム部３３０３を動いている状態にする（Ｓ１３０）。

以上、本実施形態に係る支援システム１の構成について説明した。

（３．補足）
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、操作対象が医療用ロボット（特に、手術用ロボットのアーム部）である場合について説明したが、操作対象はかかる例に限定されない。例えば、操作対象は、産業用ロボットや人間型ロボットなどであってもよい。また、上記実施形態では、推定された意図に応じて、アーム部を動かすか固定させるかを制御する例を示したが、他の制御を行ってもよい。例えば、制御部１１０は、意図が操作対象に対するユーザ操作の意図に沿っている場合、ユーザに対する所定のインタラクションを制御してもよい。

また、上記実施形態では、推定された意図に応じて、アーム部を動かすか固定させるかを制御する例を示したが、制御部１１０は、意図が前記操作対象に対するユーザ操作の意図に沿っていない場合、所定のアラームの出力を制御してもよい。アラームの出力は、表示によってなされてもよいし、音声出力によってなされてもよい。

また、上記実施形態では、センサとして、力センサ１５１、トルクセンサ１５２、加速度センサ１５３、エンコーダ１５４および速度センサ１５５を例に挙げたが、センサの例は、かかる例に限定されない。例えば、支持アーム装置３３００に触覚センサが設けられる場合、触覚センサによる検出結果に基づいて、ユーザの意図が推定されてもよい。あるいは、支持アーム装置３３００に圧力センサが設けられる場合、圧力センサによる検出結果に基づいて、ユーザの意図が推定されてもよい。また、センサを有するウェアラブルデバイス等をユーザが装着する場合には、そのセンサによる検出結果に基づいて、ユーザの意図が推定されてもよい。

また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的なものではない。つまり、本開示に係る技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
外力に基づいて前記外力の意図を推定する制御部を備える、制御装置。
（２）
前記制御部は、所定の操作対象の前記外力に基づいて前記外力の意図を推定する、
前記（１）に記載の制御装置。
（３）
前記制御部は、前記意図に基づいて、前記操作対象を動かすか停止させるかを制御する、
前記（２）に記載の制御装置。
（４）
前記制御部は、前記外力の発生した位置が前記操作対象における所定の範囲内であるか否かに応じて、前記操作対象を動かすか停止させるかを制御する、
前記（２）または（３）に記載の制御装置。
（５）
前記制御部は、前記外力の大きさが所定の範囲内であるか否かに応じて、前記操作対象を動かすか停止させるかを制御する、
前記（２）〜（４）のいずれか一項に記載の制御装置。
（６）
前記制御部は、前記外力の大きさの変化が漸進的であるか否かに応じて、前記操作対象を動かすか停止させるかを制御する、
前記（２）〜（５）のいずれか一項に記載の制御装置。
（７）
前記制御部は、前記外力の方向の変化が漸進的であるか否かに応じて、前記操作対象を動かすか停止させるかを制御する、
前記（２）〜（６）のいずれか一項に記載の制御装置。
（８）
前記制御部は、人間の存在が検出されたか否かに基づいて、前記操作対象を動かすか停止させるかを制御する、
前記（２）〜（７）のいずれか一項に記載の制御装置。
（９）
前記制御部は、前記外力と機械学習による学習結果とに基づいて、前記操作対象を動かすか停止させるかを制御する、
前記（２）〜（８）のいずれか一項に記載の制御装置。
（１０）
前記制御部は、前記操作対象が動いているか否かに応じて、前記意図の推定手法を異ならせる、
前記（２）〜（９）のいずれか一項に記載の制御装置。
（１１）
前記制御部は、前記操作対象が止まっている場合、前記操作対象に与えられる力の立ち上がり速度が所定の範囲内であるか否かに応じて、前記操作対象を動かすか否かを制御する、
前記（１０）のいずれか一項に記載の制御装置。
（１２）
前記制御部は、前記操作対象が動いている場合、前記操作対象の速度が所定の範囲内であるか否かに応じて、前記操作対象を動かすか否かを制御する、
前記（１０）のいずれか一項に記載の制御装置。
（１３）
前記操作対象は、複数のリンクまたは複数の関節部を含み、前記複数のリンクまたは前記複数の関節部の少なくとも先端のリンクにセンサが設けられる、
前記（２）〜（１２）のいずれか一項に記載の制御装置。
（１４）
前記操作対象は、複数のリンクまたは複数の関節部を含み、前記複数のリンクまたは前記複数の関節部それぞれに別個のセンサが設けられる、
前記（１３）に記載の制御装置。
（１５）
前記制御部は、前記意図が前記操作対象に対するユーザ操作の意図に沿っている場合、前記ユーザに対する所定のインタラクションを制御する、
前記（２）〜（１４）のいずれか一項に記載の制御装置。
（１６）
前記制御部は、前記意図が前記操作対象に対するユーザ操作の意図に沿っていない場合、所定のアラームの出力を制御する、
前記（２）〜（１４）のいずれか一項に記載の制御装置。
（１７）
前記外力は、力、トルク、加速度および速度の少なくともいずれか一つを含む、
前記（１）〜（１６）のいずれか一項に記載の制御装置。
（１８）
前記加速度は、加速度センサによって検出され、または、操作対象のリンク間に存在する関節部の回転角度を検出するエンコーダの検出結果から算出される、
前記（１７）に記載の制御装置。
（１９）
前記速度は、速度センサによって検出され、または、操作対象のリンク間に存在する関節部の回転角度を検出するエンコーダの検出結果から算出される、
前記（１７）に記載の制御装置。
（２０）
プロセッサにより、外力に基づいて前記外力の意図を推定することを含む、制御方法。

１ 支援システム
１１０ 制御部
１３０ アーム制御部
１５０ 検出部
１５１ 力センサ
１５２ トルクセンサ
１５３ 加速度センサ
１５４ エンコーダ
３０００ 内視鏡手術システム
３１００ 内視鏡
３１０１ 鏡筒
３１０３ カメラヘッド
３２００ 術具
３２０１ 気腹チューブ
３２０３ エネルギー処置具
３２０５ 鉗子
３２０７ａ トロッカ
３３００ 支持アーム装置
３３０１ ベース部
３３０３ アーム部
３４００ カート
３４０１ ＣＣＵ
３４０３ 表示装置
３４０５ 光源装置
３４０７ アーム制御装置
３４０８ 制御装置
３４０９ 入力装置
３４１１ 処置具制御装置
３４１３ 気腹装置
３４１５ レコーダ
３４１７ プリンタ
３４１９ フットスイッチ
３５０１ 術者
３５０３ 患者ベッド
３５０５ 患者

Claims (20)

1. 外力に基づいて前記外力の意図を推定する制御部を備える、制御装置。
2. 前記制御部は、所定の操作対象の前記外力に基づいて前記外力の意図を推定する、
   請求項１に記載の制御装置。
3. 前記制御部は、前記意図に基づいて、前記操作対象を動かすか停止させるかを制御する、
   請求項２に記載の制御装置。
4. 前記制御部は、前記外力の発生した位置が前記操作対象における所定の範囲内であるか否かに応じて、前記操作対象を動かすか停止させるかを制御する、
   請求項２に記載の制御装置。
5. 前記制御部は、前記外力の大きさが所定の範囲内であるか否かに応じて、前記操作対象を動かすか停止させるかを制御する、
   請求項２に記載の制御装置。
6. 前記制御部は、前記外力の大きさの変化が漸進的であるか否かに応じて、前記操作対象を動かすか停止させるかを制御する、
   請求項２に記載の制御装置。
7. 前記制御部は、前記外力の方向の変化が漸進的であるか否かに応じて、前記操作対象を動かすか停止させるかを制御する、
   請求項２に記載の制御装置。
8. 前記制御部は、人間の存在が検出されたか否かに基づいて、前記操作対象を動かすか停止させるかを制御する、
   請求項２に記載の制御装置。
9. 前記制御部は、前記外力と機械学習による学習結果とに基づいて、前記操作対象を動かすか停止させるかを制御する、
   請求項２に記載の制御装置。
10. 前記制御部は、前記操作対象が動いているか否かに応じて、前記意図の推定手法を異ならせる、
    請求項２に記載の制御装置。
11. 前記制御部は、前記操作対象が止まっている場合、前記操作対象に与えられる力の立ち上がり速度が所定の範囲内であるか否かに応じて、前記操作対象を動かすか否かを制御する、
    請求項１０に記載の制御装置。
12. 前記制御部は、前記操作対象が動いている場合、前記操作対象の速度が所定の範囲内であるか否かに応じて、前記操作対象を動かすか否かを制御する、
    請求項１０に記載の制御装置。
13. 前記操作対象は、複数のリンクまたは複数の関節部を含み、前記複数のリンクまたは前記複数の関節部の少なくとも先端のリンクにセンサが設けられる、
    請求項２に記載の制御装置。
14. 前記操作対象は、複数のリンクまたは複数の関節部を含み、前記複数のリンクまたは前記複数の関節部それぞれに別個のセンサが設けられる、
    請求項１３に記載の制御装置。
15. 前記制御部は、前記意図が前記操作対象に対するユーザ操作の意図に沿っている場合、前記ユーザに対する所定のインタラクションを制御する、
    請求項２に記載の制御装置。
16. 前記制御部は、前記意図が前記操作対象に対するユーザ操作の意図に沿っていない場合、所定のアラームの出力を制御する、
    請求項２に記載の制御装置。
17. 前記外力は、力、トルク、加速度および速度の少なくともいずれか一つを含む、
    請求項１に記載の制御装置。
18. 前記加速度は、加速度センサによって検出され、または、操作対象のリンク間に存在する関節部の回転角度を検出するエンコーダの検出結果から算出される、
    請求項１７に記載の制御装置。
19. 前記速度は、速度センサによって検出され、または、操作対象のリンク間に存在する関節部の回転角度を検出するエンコーダの検出結果から算出される、
    請求項１７に記載の制御装置。
20. プロセッサにより、外力に基づいて前記外力の意図を推定することを含む、制御方法。

Images