JP2022020592A - 医療用アーム制御システム、医療用アーム制御方法、及びプログラム - Google Patents

Abstract

【課題】様々な体内環境に適した、ロボットアーム装置のための自律動作制御情報をリアルタイムで生成することが可能な医療用アーム制御システムを提供する。【解決手段】外部入力情報に基づいて、医療用アームを自律的に動作させるための自律動作制御情報を生成する制御情報生成部と、前記医療用アームの動作シミュレーションを行うシミュレーション部と、前記医療用アームの動作シミュレーションの結果に基づき、前記自律動作制御情報をリアルタイムで修正する修正部とを備える、医療用アーム制御システムを提供する。【選択図】図７

Description

本開示は、医療用アーム制御システム、医療用アーム制御方法、及びプログラムに関する。

近年、内視鏡手術においては、内視鏡を用いて患者の腹腔内を撮像し、内視鏡が撮像する撮像画像をディスプレイに表示しながら手術が行われている。例えば、下記特許文献１には、内視鏡を支持するアームの制御と、内視鏡の電子ズームの制御とを連動させる技術が開示されている。

国際公開第２０１７／１４５４７５号

ところで、近年、医療用観察システムにおいては、内視鏡を支持するロボットアーム装置を自律的に動作させるための開発が進められている。例えば、ロボットアーム装置が術中の内視鏡の移動（スコープワーク）を自律的に制御し、その環境下で、術者が術具を用いた手技を行えるようにする試みなどがある。

しかしながら、患者ごとに体内環境の状態が異なることから、自律動作を行うために事前に複数症例の学習を行っていたとしても、実際の手術において未知の環境が存在することは避けられない。

そこで、本開示では、様々な体内環境に適した、ロボットアーム装置のための自律動作制御情報をリアルタイムで生成することが可能な医療用アーム制御システム、医療用アーム制御方法、及びプログラムを提案する。

本開示によれば、外部入力情報に基づいて、医療用アームを自律的に動作させるための自律動作制御情報を生成する制御情報生成部と、前記医療用アームの動作シミュレーションを行うシミュレーション部と、前記医療用アームの動作シミュレーションの結果に基づき、前記自律動作制御情報をリアルタイムで修正する修正部と、を備える、医療用アーム制御システムが提供される。

また、本開示によれば、医療用アーム制御装置により、外部入力情報に基づいて、医療用アームを自律的に動作させるための自律動作制御情報を生成し、前記医療用アームの動作シミュレーションを行い、前記医療用アームの動作シミュレーションの結果に基づき、前記自律動作制御情報をリアルタイムで修正する、ことを含む、医療用アーム制御方法が提供される。

さらに、本開示によれば、コンピュータを、外部入力情報に基づいて、医療用アームを自律的に動作させるための自律動作制御情報を生成する制御情報生成部と、前記医療用アームの動作シミュレーションを行うシミュレーション部と、前記医療用アームの動作シミュレーションの結果に基づき、前記自律動作制御情報をリアルタイムで修正する修正部と、として機能させる、プログラムが提供される。

本開示に係る技術が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。 図１に示すカメラヘッド及びＣＣＵ（Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）の機能構成の一例を示すブロック図である。 本開示の実施形態に係る斜視鏡の構成を示す模式図である。 本開示の実施形態に係る医療用観察システムの構成の一例を示すブロック図である。 本開示の実施形態に係る学習モデル生成ユニットの構成の一例を示すブロック図である。 本開示の実施形態に係る学習モデル生成段階での制御方法のフローチャートである。 本開示の実施形態に係る自律動作実行ユニットの構成の一例を示すブロック図である。 本開示の実施形態に係る提示装置の構成の一例を示すブロック図である。 本開示の実施形態に係る自律動作実行段階での制御方法のフローチャート（その１）である。 図９に示すステップＳ２００のサブフローチャートである。 本開示の実施形態に係る制御方法の詳細を説明するための説明図（その１）である。 本開示の実施形態に係る制御方法の詳細を説明するための説明図（その２）である。 本開示の実施形態に係る制御方法の詳細を説明するための説明図（その３）である。 本開示の実施形態に係る制御方法の詳細を説明するための説明図（その４）である。 本開示の実施形態に係る制御方法の詳細を説明するための説明図（その５）である。 本開示の実施形態に係る制御方法の詳細を説明するための説明図（その６）である。 本開示の実施形態に係る制御方法の詳細を説明するための説明図（その７）である。 本開示の実施形態に係る制御方法の詳細を説明するための説明図（その８）である。 本開示の実施形態に係る制御方法の詳細を説明するための説明図（その９）である。 本開示の実施形態に係る制御方法の詳細を説明するための説明図（その１０）である。 図９に示すステップＳ３００のサブフローチャートである。 本開示の実施形態に係る制御方法の詳細を説明するための説明図（その１１）である。 本開示の実施形態に係る制御方法の詳細を説明するための説明図（その１２）である。 本開示の実施形態に係る制御方法の詳細を説明するための説明図（その１３）である。 本開示の実施形態に係る制御方法の詳細を説明するための説明図（その１４）である。 本開示の実施形態に係る自律動作実行段階での制御方法のフローチャート（その２）である。 本開示の実施形態に係る制御方法の詳細を説明するための説明図（その１５）である。 本開示の実施形態に係る自律動作実行ユニットの機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に、添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。また、本明細書及び図面において、実質的に同一又は類似の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、実質的に同一又は類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

なお、説明は以下の順序で行うものとする。
１． 内視鏡手術システム５０００の構成例
１．１ 内視鏡手術システム５０００の概略的な構成
１．２ 支持アーム装置５０２７の詳細構成例
１．３ 光源装置５０４３の詳細構成例
１．４ カメラヘッド５００５及びＣＣＵ５０３９の詳細構成例
１．５ 内視鏡５００１の構成例
２． 医療用観察システム
３． 本開示の実施形態を創作するに至る背景
４． 実施形態
４．１ 学習モデル生成ユニット１００の詳細構成例
４．２ 学習モデル生成段階での制御方法
４．３ 自律動作実行ユニット２００の詳細構成例
４．４ 自律動作実行段階での制御方法
４．５ 変形例
５． ハードウェア構成
６． 補足

＜＜１． 内視鏡手術システム５０００の構成例＞＞
＜１．１ 内視鏡手術システム５０００の概略的な構成＞
まず、本開示の実施形態の詳細を説明する前に、図１を参照して、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成について説明する。図１は、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成の一例を示す図である。図１では、術者（医師）５０６７が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図１に示すように、内視鏡手術システム５０００は、内視鏡５００１と、その他の術具５０１７と、内視鏡５００１を支持する支持アーム装置５０２７と、内視鏡下手術のための各種の装置が搭載されたカート５０３７とを有する。以下、内視鏡手術システム５０００の詳細について、順次説明する。

（術具５０１７）
内視鏡手術では、腹壁を切って開腹する代わりに、例えば、トロッカ５０２５ａ～５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ～５０２５ｄから、内視鏡５００１の鏡筒５００３や、その他の術具５０１７が患者５０７１の体腔内に挿入される。図１に示す例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３が、患者５０７１の体腔内に挿入されている。また、エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図１に示す術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具を挙げることができる。

（支持アーム装置５０２７）
支持アーム装置５０２７は、ベース部５０２９から延伸するアーム部５０３１を有する。図１に示す例では、アーム部５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃ、及びリンク５０３５ａ、５０３５ｂから構成されており、アーム制御装置５０４５からの制御により駆動される。そして、アーム部５０３１によって内視鏡５００１が支持され、内視鏡５００１の位置及び姿勢が制御される。これにより、内視鏡５００１の安定的な位置の固定が実現され得る。

（内視鏡５００１）
内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３と、鏡筒５００３の基端に接続されるカメラヘッド５００５とから構成される。図１に示す例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよく、本開示の実施形態においては、特に限定されるものではない。

鏡筒５００３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５００１には光源装置５０４３が接続されており、当該光源装置５０４３によって生成された光が、鏡筒５００３の内部に延設されるライトガイドによって当該鏡筒の先端まで導かれ、対物レンズを介して患者５０７１の体腔内の観察対象に向かって照射される。なお、本開示の実施形態においては、内視鏡５００１は、前方直視鏡であってもよいし、斜視鏡であってもよく、特に限定されるものではない。

カメラヘッド５００５の内部には光学系及び受光素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該受光素子に集光される。当該受光素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画素信号が生成される。当該画素信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）５０３９に送信される。なお、カメラヘッド５００５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。

なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５００５には受光素子が複数設けられてもよい。この場合、鏡筒５００３の内部には、当該複数の受光素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられることとなる。

（カートに搭載される各種の装置について）
まず、表示装置５０４１は、ＣＣＵ５０３９からの制御により、当該ＣＣＵ５０３９によって画素信号に対して画像処理が施されて生成された画像信号に基づく画像を表示する。内視鏡５００１が、例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は、３Ｄ表示に対応したものである場合には、表示装置５０４１として、それぞれに対応する、高解像度の表示が可能なもの、及び／又は、３Ｄ表示可能なものが用いられる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５０４１が設けられていてもよい。

また、内視鏡５００１によって撮影された患者５０７１の体腔内の術部の画像は、当該表示装置５０４１に表示される。術者５０６７は、表示装置５０４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５０２１や鉗子５０２３を用いて、例えば患部を切除する等の処置を行うことができる。なお、図示を省略しているが、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３は、手術中に、術者５０６７又は助手等によって支持されてもよい。

また、ＣＣＵ５０３９は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって構成され、内視鏡５００１及び表示装置５０４１の動作を統括的に制御することができる。具体的には、ＣＣＵ５０３９は、カメラヘッド５００５から受け取った画素信号に対して、例えば現像処理（デモザイク処理）等の、当該画素信号に基づく画像を表示するための各種の画像処理を施す。さらに、ＣＣＵ５０３９は、当該画像処理を施して生成された画像信号を表示装置５０４１に提供する。また、ＣＣＵ５０３９は、カメラヘッド５００５に対して制御信号を送信し、その駆動を制御する。当該制御信号は、倍率や焦点距離等、撮像条件に関する情報を含むことができる。

光源装置５０４３は、例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の光源から構成され、術部を撮影する際の照射光を内視鏡５００１に供給する。

アーム制御装置５０４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５０２７のアーム部５０３１の駆動を制御する。

入力装置５０４７は、内視鏡手術システム５０００に対する入力インターフェイスである。術者５０６７は、入力装置５０４７を介して、内視鏡手術システム５０００に対して各種の情報の入力や指示入力を行うことができる。例えば、術者５０６７は、入力装置５０４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、術者５０６７は、入力装置５０４７を介して、アーム部５０３１を駆動させる旨の指示や、内視鏡５００１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５０２１を駆動させる旨の指示等を入力することができる。なお、入力装置５０４７の種類は限定されず、入力装置５０４７は各種の公知の入力装置であってよい。入力装置５０４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５０５７、及び／又は、レバー等が適用され得る。例えば、入力装置５０４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５０４１の表示面上に設けられていてもよい。

あるいは、入力装置５０４７は、例えば、メガネ型のウェアラブルデバイスやＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）等の、術者５０６７によって装着されるデバイスであってもよい。この場合、これらのデバイスによって検出される術者５０６７のジェスチャや視線に応じて、各種の入力が行われることとなる。また、入力装置５０４７は、術者５０６７の動きを検出可能なカメラを含むことができ、当該カメラによって撮像された画像から検出される術者５０６７のジェスチャや視線に応じて、各種の入力が行われてもよい。さらに、入力装置５０４７は、術者５０６７の声を収音可能なマイクロフォンを含むことができ、当該マイクロフォンを介して音声によって各種の入力が行われてもよい。このように、入力装置５０４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５０６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、術者５０６７は、所持している術具から手を離すことなく機器を操作することが可能となるため、術者５０６７の利便性が向上する。

処置具制御装置５０４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５０２１の駆動を制御する。気腹装置５０５１は、内視鏡５００１による視野の確保及び術者の作業空間の確保の目的で、患者５０７１の体腔を膨らめるために、気腹チューブ５０１９を介して当該体腔内にガスを送り込む。レコーダ５０５３は、手術に関する各種の情報を記録可能な装置である。プリンタ５０５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

＜１．２ 支持アーム装置５０２７の詳細構成例＞
さらに、支持アーム装置５０２７の詳細構成の一例について説明する。支持アーム装置５０２７は、基台であるベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１とを有する。図１に示す例では、アーム部５０３１は、複数の関節部５０３３ａ、５０３３ｂ、５０３３ｃと、関節部５０３３ｂによって連結される複数のリンク５０３５ａ、５０３５ｂとから構成されているが、図１では、簡単のため、アーム部５０３１の構成を簡略化して図示している。具体的には、アーム部５０３１が所望の自由度を有するように、関節部５０３３ａ～５０３３ｃ及びリンク５０３５ａ、５０３５ｂの形状、数及び配置、並びに関節部５０３３ａ～５０３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５０３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５０３１の可動範囲内において内視鏡５００１を自由に移動させることが可能になるため、所望の方向から内視鏡５００１の鏡筒５００３を患者５０７１の体腔内に挿入することが可能になる。

関節部５０３３ａ～５０３３ｃにはアクチュエータが設けられており、関節部５０３３ａ～５０３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５０４５によって制御されることにより、各関節部５０３３ａ～５０３３ｃの回転角度が制御され、アーム部５０３１の駆動が制御される。これにより、内視鏡５００１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５０４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５０３１の駆動を制御することができる。

例えば、術者５０６７が、入力装置５０４７（フットスイッチ５０５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５０４５によってアーム部５０３１の駆動が適宜制御され、内視鏡５００１の位置及び姿勢が制御されてよい。なお、アーム部５０３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５０３１（スレーブ）は、手術室から離れた場所または手術室内に設置される入力装置５０４７（マスターコンソール）を介して術者５０６７によって遠隔操作され得る。

ここで、一般的には、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５００１が支持されていた。これに対して、本開示の実施形態においては、支持アーム装置５０２７を用いることにより、人手によらずに内視鏡５００１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。

なお、アーム制御装置５０４５は必ずしもカート５０３７に設けられなくてもよい。また、アーム制御装置５０４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５０４５は、支持アーム装置５０２７のアーム部５０３１の各関節部５０３３ａ～５０３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置５０４５が互いに協働することにより、アーム部５０３１の駆動制御が実現されてもよい。

＜１．３ 光源装置５０４３の詳細構成例＞
次に、光源装置５０４３の詳細構成の一例について説明する。光源装置５０４３は、内視鏡５００１に術部を撮影する際の照射光を供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５０４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５００５の受光素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該受光素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置５０４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５００５の受光素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置５０４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Ｎａｒｒｏｗ Ｂａｎｄ Ｉｍａｇｉｎｇ）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又は、インドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５０４３は、このような特殊光観察に対応した狭帯域光、及び／又は、励起光を供給可能に構成され得る。

＜１．４ カメラヘッド５００５及びＣＣＵ５０３９の詳細構成例＞
次に、図２を参照して、カメラヘッド５００５及びＣＣＵ５０３９の詳細構成の一例について説明する。図２は、図１に示すカメラヘッド５００５及びＣＣＵ５０３９の機能構成の一例を示すブロック図である。

詳細には、図２に示すように、カメラヘッド５００５は、その機能として、レンズユニット５００７と、撮像部５００９と、駆動部５０１１と、通信部５０１３と、カメラヘッド制御部５０１５とを有する。また、ＣＣＵ５０３９は、その機能として、通信部５０５９と、画像処理部５０６１と、制御部５０６３とを有する。そして、カメラヘッド５００５とＣＣＵ５０３９とは、伝送ケーブル５０６５によって双方向に通信可能に接続されている。

まず、カメラヘッド５００５の機能構成について説明する。レンズユニット５００７は、鏡筒５００３との接続部に設けられる光学系である。鏡筒５００３の先端から取り込まれた観察光は、カメラヘッド５００５まで導光され、当該レンズユニット５００７に入射する。レンズユニット５００７は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５００７は、撮像部５００９の受光素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。

撮像部５００９は受光素子によって構成され、レンズユニット５００７の後段に配置される。レンズユニット５００７を通過した観察光は、当該受光素子の受光面に集光され、光電変換によって、観察像に対応した画素信号が生成される。撮像部５００９によって生成された画素信号は、通信部５０１３に提供される。

撮像部５００９を構成する受光素子としては、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該受光素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５０６７は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。

また、撮像部５００９を構成する受光素子は、３Ｄ表示に対応する右目用及び左目用の画素信号をそれぞれ取得するための１対の受光素子を有するように構成されてもよい（ステレオ方式）。３Ｄ表示が行われることにより、術者５０６７は術部における生体組織の奥行きをより正確に把握することや、生体組織までの距離を把握することが可能になる。なお、撮像部５００９が多板式で構成される場合には、各受光素子に対応して、レンズユニット５００７も複数系統設けられてもよい。

また、撮像部５００９は、必ずしもカメラヘッド５００５に設けられなくてもよい。例えば、撮像部５００９は、鏡筒５００３の内部に、対物レンズの直後に設けられてもよい。

駆動部５０１１は、アクチュエータによって構成され、カメラヘッド制御部５０１５からの制御により、レンズユニット５００７のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５００９による撮像画像の倍率及び焦点が適宜調整され得る。

通信部５０１３は、ＣＣＵ５０３９との間で各種の情報を送受信するための通信装置によって構成される。通信部５０１３は、撮像部５００９から得た画素信号をＲＡＷデータとして伝送ケーブル５０６５を介してＣＣＵ５０３９に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画素信号は光通信によって送信されることが好ましい。手術の際には、術者５０６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５０１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画素信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５０６５を介してＣＣＵ５０３９に送信される。

また、通信部５０１３は、ＣＣＵ５０３９から、カメラヘッド５００５の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、及び／又は、撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５０１３は、受信した制御信号をカメラヘッド制御部５０１５に提供する。なお、ＣＣＵ５０３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５０１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５０１５に提供される。

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画素信号に基づいてＣＣＵ５０３９の制御部５０６３によって自動的に設定される。つまり、いわゆるＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）機能、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）機能及びＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）機能が内視鏡５００１に搭載される。

カメラヘッド制御部５０１５は、通信部５０１３を介して受信したＣＣＵ５０３９からの制御信号に基づいて、カメラヘッド５００５の駆動を制御する。例えば、カメラヘッド制御部５０１５は、撮像画像のフレームレートを指定する旨の情報、及び／又は、撮像時の露光を指定する旨の情報に基づいて、撮像部５００９の受光素子の駆動を制御する。また、例えば、カメラヘッド制御部５０１５は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５０１１を介してレンズユニット５００７のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５０１５は、さらに、鏡筒５００３やカメラヘッド５００５を識別するための情報を記憶する機能を有していてもよい。

なお、レンズユニット５００７や撮像部５００９等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５００５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。

次に、ＣＣＵ５０３９の機能構成について説明する。通信部５０５９は、カメラヘッド５００５との間で各種の情報を送受信するための通信装置によって構成される。通信部５０５９は、カメラヘッド５００５から、伝送ケーブル５０６５を介して送信される画素信号を受信する。この際、上記のように、当該画素信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５０５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５０５９は、電気信号に変換した画素信号を画像処理部５０６１に提供する。

また、通信部５０５９は、カメラヘッド５００５に対して、カメラヘッド５００５の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。

画像処理部５０６１は、カメラヘッド５００５から送信されたＲＡＷデータである画素信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）処理、及び／又は、手ブレ補正処理等）、及び／又は、拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５０６１は、ＡＥ、ＡＦ及びＡＷＢを行うための、画素信号に対する検波処理を行う。

画像処理部５０６１は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５０６１が複数のＧＰＵによって構成される場合には、画像処理部５０６１は、画素信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。

制御部５０６３は、内視鏡５００１による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５０６３は、カメラヘッド５００５の駆動を制御するための制御信号を生成する。この際、撮像条件が術者５０６７によって入力されている場合には、制御部５０６３は、当該術者５０６７による入力に基づいて制御信号を生成する。あるいは、内視鏡５００１にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５０６３は、画像処理部５０６１による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。

また、制御部５０６３は、画像処理部５０６１によって画像処理が施されて生成された画像信号に基づいて、術部の画像を表示装置５０４１に表示させる。この際、制御部５０６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５０６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５０２１使用時のミスト等を認識することができる。制御部５０６３は、表示装置５０４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５０６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。

カメラヘッド５００５及びＣＣＵ５０３９を接続する伝送ケーブル５０６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又は、これらの複合ケーブルである。

ここで、図示する例においては、伝送ケーブル５０６５を用いて有線で通信が行われているものしていたが、カメラヘッド５００５とＣＣＵ５０３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５０６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５０６５によって妨げられる事態が解消され得る。

＜１．５ 内視鏡５００１の構成例＞
続いて、図３を参照して、内視鏡５００１の一例として斜視鏡の基本的構成について説明する。図３は、本開示の一実施形態に係る斜視鏡４１００の構成を示す模式図である。

詳細には、図３に示すように、斜視鏡４１００は、カメラヘッド４２００の先端に装着されている。斜視鏡４１００は図１及び図２で説明した鏡筒５００３に対応し、カメラヘッド４２００は、図１及び図２で説明したカメラヘッド５００５に対応する。斜視鏡４１００とカメラヘッド４２００は互いに独立して回動可能とされている。斜視鏡４１００とカメラヘッド４２００の間には、各関節部５０３３ａ，５０３３ｂ，５０３３ｃと同様にアクチュエータが設けられており、斜視鏡４１００はアクチュエータの駆動によってカメラヘッド４２００に対して回転する。

斜視鏡４１００は、支持アーム装置５０２７によって支持される。支持アーム装置５０２７は、スコピストの代わりに斜視鏡４１００を保持し、また術者や助手の操作によって斜視鏡４１００を所望の部位が観察できるように移動させる機能を有する。

なお、本開示の実施形態においては、内視鏡５００１は、斜視鏡４１００に限定されるものではない。例えば、内視鏡５００１は、内視鏡の先端部の前方を捉える前方直視鏡（図示省略）であってもよく、さらには、内視鏡で捉えた広角画像から画像を切り出す機能（広角／切り出し機能）を有していてもよい。また、例えば、内視鏡５００１は、内視鏡の先端部が術者５０６７の操作に従って自由に湾曲することにより視野を可変することができる先端湾曲機能付きの内視鏡（図示省略）であってもよい。また、例えば、内視鏡５００１は、内視鏡の先端部に、視野の異なる複数のカメラユニットを内蔵させて、それぞれのカメラによって異なる画像を得ることができる他方向同時撮影機能付きの内視鏡（図示省略）であってもよい。

以上、本開示に係る技術が適用され得る内視鏡手術システム５０００の一例について説明した。なお、ここでは、一例として内視鏡手術システム５０００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、顕微鏡手術システムに適用されてもよい。

＜＜２． 医療用観察システム＞＞
さらに、図４を参照して、上述した内視鏡手術システム５０００と組み合わせることが可能な、本開示の実施形態に係る医療用観察システム１の構成について説明する。図４は、本開示の実施形態に係る医療用観察システム１の構成の一例を示すブロック図である。図４に示すように、医療用観察システム１は、ロボットアーム装置１０と、撮像部１２と、光源部１３と、制御部２０と、提示装置４０と、記憶部６０とを主に有する。以下、医療用観察システム１に含まれる各機能部について説明する。

まず、医療用観察システム１の構成の詳細を説明する前に、医療用観察システム１の処理の概要について説明する。医療用観察システム１においては、まず、患者の腹腔内を撮像して腹腔内の環境を認識し、腹腔内の環境の認識結果に基づいて、ロボットアーム装置１０を駆動させることができる。

（ロボットアーム装置１０）
ロボットアーム装置１０は、複数の関節部と複数のリンクから構成される多リンク構造体であるアーム部１１（多関節アーム）を有し、当該アーム部を可動範囲内で駆動させることにより、当該アーム部の先端に設けられる先端ユニットの位置及び姿勢の制御を行う。ロボットアーム装置１０は、図１に示す支持アーム装置５０２７に対応している。

ロボットアーム装置１０には、例えば、図２に図示のＣＣＵ５０３９と、ＣＣＵ５０３９から受けた撮影対象物を撮像した画像から所定の領域を切り出して、後述するＧＵＩ生成部に出力する電子切り出し制御部（図示省略）と、アーム部１１の位置及び姿勢を制御する姿勢制御部（図示省略）と、電子切り出し制御部から切り出した画像に各種の処理を施した画像データを生成するＧＵＩ生成部（図示省略）とを有することができる。

本開示の実施形態に係るロボットアーム装置１０においては、撮像された画像を切り出す（広角／切り出し機能）ことで視線を変更する電子的な自由度と、アーム部１１のアクチュエータによる自由度を全てロボットの自由度として扱う。これにより、視線を変更する電子的な自由度と、アクチュエータによる関節の自由度とを連動した運動制御を実現することが可能となる。

詳細には、アーム部１１は、複数の関節部と複数のリンクから構成される多リンク構造体であり、後述するアーム制御部２３からの制御によりその駆動が制御される。アーム部１１は、図１に示すアーム部５０３１に対応している。図４では、複数の関節部を代表して１つの関節部１１１としている。詳細には、関節部１１１は、アーム部１１においてリンク間を互いに回動可能に連結するとともに、アーム制御部２３からの制御によりその回転駆動が制御されることによりアーム部１１を駆動する。本実施形態においては、アーム部１１に含まれる関節部５０３３やリンク５０３５等による関節角やリンク長に基づいて、アーム部１１の位置や姿勢の情報を得ることができる。なお、本実施形態においては、アーム部１１は、アーム部１１の位置や姿勢の情報を得るために、加速度センサ、ジャイロセンサ、地磁気センサ等を含むモーションセンサ（図示省略）を有していてもよい。

（撮像部１２）
撮像部（医療用観察装置）１２は、アーム部（医療用アーム）１１の先端に設けられ、各種の撮像対象物の画像を撮像する。すなわち、アーム部１１は、撮像部１２を支持している。撮像部１２は、先に説明したように、例えば、斜視鏡４１００、広角／切り出し機能付きの前方直視鏡（図示省略）、先端湾曲機能付きの内視鏡（図示省略）、他方向同時撮影機能付きの内視鏡（図示省略）であってもよく、もしくは、顕微鏡であってもよく、特に限定されるものではない。

さらに、撮像部１２は、例えば、患者の腹腔内の各種の医療用器具、臓器等を含む術野画像を撮像する。具体的には、撮像部１２は、撮影対象を動画や静止画の形式で撮影することのできるカメラ等である。より具体的には、撮像部１２は、広角光学系で構成された広角カメラである。例えば、通常の内視鏡の画角が８０°程度であることに対し、本実施形態に係る撮像部１２の画角は１４０°であってもよい。なお、撮像部１２の画角は８０°を超えていれば１４０°よりも小さくてもよいし、１４０°以上であってもよい。撮像部１２は、撮像した画像に対応する電気信号（画素信号）を制御部２０に送信する。また、アーム部１１は、鉗子５０２３等の医療用器具を支持していてもよい。

また、本開示の実施形態においては、撮像部１２は、測距することが可能なステレオ方式の内視鏡（ステレオ内視鏡）であってもよい。もしくは、本実施形態においては、撮像部１２とは別に、ｄｅｐｔｈセンサ（測距装置）（図示省略）が設けられていてもよい。この場合、撮像部１２は、単眼方式の内視鏡であることができる。詳細には、ｄｅｐｔｈセンサは、例えば、被写体からのパルス光の反射の戻り時間を用いて測距を行うＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式や、格子状のパターン光を照射して、パターンの歪みにより測距を行うストラクチャードライト方式を用いて測距を行うセンサであることができる。もしくは、本実施形態においては、撮像部１２自体に、ｄｅｐｔｈセンサが設けられていてもよい。この場合、撮像部１２は、撮像と同時に、ＴｏＦ方式による測距を行うことができる。詳細には、撮像部１２は、複数の受光素子（図示省略）を含み、受光素子から得らえた画素信号に基づいて、画像を生成したり、距離情報を算出したりすることができる。

（光源部１３）
光源部１３は、撮像部１２が撮像対象物に光を照射する。光源部１３は、例えば、広角レンズ用のＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）で実現することができる。光源部１３は、例えば、通常のＬＥＤと、レンズとを組み合わせて構成し、光を拡散させてもよい。また、光源部１３は、光ファイバ（ライトガイド）で伝達された光をレンズで拡散させる（広角化させる）構成であってもよい。また、光源部１３は、光ファイバ自体を複数の方向に向けて光を照射することで照射範囲を広げてもよい。

（制御部２０）
制御部２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって、後述する記憶部６０に記憶されたプログラム（例えば、本開示の実施形態に係るプログラム）がＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を作業領域として実行されることにより実現される。また、制御部２０は、コントローラ（ｃｏｎｔｒｏｌｌｅｒ）であり、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路により実現されてもよい。具体的には、制御部２０は、画像処理部２１と、撮像制御部２２と、アーム制御部２３と、受付部２５と、表示制御部２６とを主に有する。

画像処理部２１は、撮像部１２によって撮像された撮像対象物に対して種々の処理を実行する。詳細には、画像処理部２１は、撮像部１２によって撮像された撮像対象物の画像を取得し、撮像部１２によって撮像された画像に基づいて種々の画像を生成する。具体的には、画像処理部２１は、撮像部１２によって撮像された画像のうち表示対象領域を切り出して拡大することで画像を生成することができる。この場合、画像処理部２１は、例えば、アーム部１１の位置及び姿勢に応じて切り出す位置を変更するようにしてもよい。

撮像制御部２２は、撮像部１２を制御する。撮像制御部２２は、例えば、撮像部１２を制御して術野を撮像する。撮像制御部２２は、例えば、撮像部１２の拡大率を制御する。また、撮像制御部２２は、例えば、受付部２５で受け付けた術者５０６７からの入力情報に基づいて、撮像部１２の拡大率を制御してもよい。

また、撮像制御部２２は、光源部１３を制御する。撮像制御部２２は、例えば、撮像部１２が術野を撮像する際に光源部１３の明るさを制御する。撮像制御部２２は、例えば、受付部２５で受け付けた術者５０６７からの入力情報に基づいて、光源部１３の明るさを制御する。

アーム制御部２３は、ロボットアーム装置１０を統合的に制御するとともに、アーム部１１の駆動を制御する。具体的には、アーム制御部２３は、関節部１１ａの駆動を制御することにより、アーム部１１の駆動を制御する。より具体的には、アーム制御部２３は、関節部１１ａのアクチュエータにおけるモータに対して供給される電流量を制御することにより、当該モータの回転数を制御し、関節部１１ａにおける回転角度及び発生トルクを制御する。

アーム制御部２３は、例えば、後述する学習モデルに基づいて、アーム部１１の位置・姿勢を自律的に制御することができる。アーム制御部２３は、例えば、受付部２５で受け付けた術者５０６７からの入力情報や撮像部１２で得られた画像等の各種データ（外部入力情報）を学習データとする機械学習を行うことによって得らえた学習モデル（学習済みモデル）を用いて、アーム部１１の位置・姿勢を自律的に制御する。この場合、アーム制御部２３は、例えば、術者５０６７の視野を遮る医療用器具を避けるように、アーム部１１の関節部１１ａを駆動して、アーム部１１の位置・姿勢を制御してもよい。
アーム制御部２３は、例えば、後述する学習モデルに基づいて、アーム部１１の位置・姿勢を自律的に制御することができる。アーム制御部２３は、例えば、受付部２５で受け付けた術者５０６７からの入力情報や撮像部１２で得られた画像等の各種データ（外部入力情報）に基づいて、学習データを機械学習することによって得らえた学習モデルを参照して、アーム部１１の位置・姿勢を自律的に制御する。この場合、アーム制御部２３は、例えば、術者５０６７の視野を遮る医療用器具を避けるように、アーム部１１の関節部１１ａを駆動して、アーム部１１の位置・姿勢を制御してもよい。

上記学習モデルは、例えば、その他の手術に関するデータに基づいて、生成されてもよい。手術に関するデータは、例えば、手術で使用される医療用器具に関する情報を含んでよい。ここで、医療用器具に関する情報は、例えば、医療用器具によって生成された画像データと、医療用器具の操作に関する情報を含んでよい。本開示の実施形態では、各種の医療用器具によって撮像された画像データや、各種の医療用器具の操作に関する情報に基づいて生成された学習モデルを用いることで、判別精度を向上させることができる。

具体的には、学習データは、例えば、ステレオセンサ、デプスセンサ、及びモーションセンサのうちの少なくとも１つから得られたセンシングデータを含んでよい。より具体的には、学習データは、ステレオセンサ、デプスセンサ、及びモーションセンサのうちの少なくとも１つから得られた医療用器具の位置、姿勢、種類、動き、及び、臓器の位置、姿勢、種類のうちの少なくとも１つを含む術野環境の情報を含んでいてもよい。

また、学習済みモデルを生成する際に使用される手術に関するデータは、アーム部１１に関する情報を含んでもよい。アーム部１１に関する情報は、例えば、アーム部１１の関節部１１ａの状態に関する情報を含んでよい。アーム部１１の関節部１１ａの状態に関する情報は、例えば、アーム部１１の関節部の位置、姿勢、及び、動き等の各種の情報を含んでよい。本開示の実施形態では、アーム部１１の各種の情報に基づいて生成された学習モデルを用いることで、判別精度を向上させることができる。

また、アーム部１１に関する情報は、アーム部１１に把持された医療用器具に関する情報を含んでよい。医療用器具に関する情報は、例えば、医療用器具の種類、医療用器具の位置情報及び姿勢情報の少なくとも１つを含んでよい。

また、本開示の実施形態では、制御部２０が、学習モデルを生成する機能を有していてもよい。この場合、制御部２０は、学習モデルを生成し、生成した学習モデルを後述する記憶部６０に記憶する。

本開示の実施形態で使用する学習モデルは、入力情報の分類や分類結果に応じた処理を行う際に用いる各種の入力情報が有する特徴等を学習することにより生成される。学習モデルは、入力層と、複数の中間層（隠れ層）と、出力層とを含む複数のノードを有する多層のニューラルネットワークであるＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等により実現されてもよい。しかしながら、本開示の実施形態においては、これに限定されるものではない。例えば、学習モデルの生成は、まず、入力層を介して各種の入力情報が入力され、直列に接続された複数の中間層において入力情報が有する特徴の抽出処理等を行う。次に、出力層を介して、中間層が出力した情報に基づく分類結果等の各種処理結果を入力された入力情報に対応する出力情報として出力することによって、学習モデルを生成することができる。

制御部２０は、各種の手術に関する学習モデルを生成してもよいし予め決められたモデルを保持してもよい。制御部２０は、例えば、執刀医による処置に関する情報を含む処置ステータスと、スコピストによるカメラ操作に関する内視鏡捜査データを含む学習用データから学習モデルを生成する。制御部２０は、例えば、トラッキングデバイスで測定された医療用器具と内視鏡の位置および姿勢とを学習用データとして学習モデルを生成する。制御部２０は、例えば、ステレオ内視鏡で撮影された各対象物のデプスと動きや、医療用器具の種類などを含む内視鏡画像を学習データとして学習モデルを生成する。

制御部２０は、各種の手術ロボットに関するデータを学習用データとして、学習モデルを生成してもよい。制御部２０は、例えば、医師およびスコピストによる手術ロボットに対する各種の操作情報を学習用データとして、学習モデルを生成する。制御部２０は、例えば、図１に示す支持アーム装置５０２７を用いた処置を学習用データとして学習モデルを生成してもよい。

受付部２５は、術者５０６７による入力操作や、他の装置（センサ）からの各種の入力情報を受け付け、撮像制御部２２と、アーム制御部２３とに出力する。なお、入力情報の詳細については後述する。

表示制御部２６は、各種の画像を後述する提示装置４０に表示させる。表示制御部２６は、例えば、撮像部１２から取得した画像を提示装置４０に表示させる。

（提示装置４０）
提示装置４０は、各種の画像を表示する。提示装置４０は、例えば、撮像部１２によって撮像された画像を表示する。提示装置４０は、例えば、液晶ディスプレイ（ＬＣＤ:Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等を含むディスプレイであることができる。

（記憶部６０）
記憶部６０は、各種の情報を格納する。記憶部６０は、例えば、学習モデルを格納する。記憶部６０は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ)、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。

＜＜３． 本開示の実施形態を創作するに至る背景＞＞
ところで、近年、上述した医療用観察システム１においては、ロボットアーム装置１０を自律的に動作させるための開発が進められている。例えば、医療用観察システム１におけるロボットアーム装置１０の自律的動作は、様々な段階にレベル分けすることができる。例えば、（１）術者（医師）５０６７をシステムによってガイドするレベル、（２）システムによって、上述したスコピストが行う撮像部１２の位置を移動させる、術部の縫合を行う等といった手術における一部の動作（タスク）を自律的に実行するレベルを挙げることができる。さらには、（３）システムによって手術における動作内容を自動生成し、自動生成した動作から、医師が選択した動作をロボットアーム装置１０が行うレベル等を挙げることができる。そして、将来的には、（４，５）医師の監視下、もしくは、医師の監視なしに、ロボットアーム装置１０が手術における全てのタスクを実行するレベルも考えられる。

なお、以下に説明する本開示の実施形態においては、ロボットアーム装置１０が、スコピストの代わりに、撮像部１２の位置を移動させるタスクを自律的に実行し、移動させた撮像部１２による画像を参照して、術者５０６７が直接的に手術、又は、遠隔操作により手術を行う場合を例に説明する。

ロボットアーム装置１０の自律的動作のためには、自律動作のための自律動作制御情報（例えば、自律制御目標値等）を予め生成することが求められる。そこで、あらかじめ、体内環境情報（例えば、腹腔内の３次元構造、臓器態様、患部状態）とそれに対応する術者５０６７の手術動作等を機械学習することによって得られた学習モデルや、動作ルール等を参照して、実際の体内環境情報（例えば、患部等の態様）に基づく、自律動作制御情報を生成することとなる。しかしながら、患者ごとに体型、臓器形態、臓器位置等が異なることから、全ての体内環境情報について予め機械学習することは、現実的には難しく、上記学習モデル等では保障しきれない未知の体内環境が存在することは避けらない。従って、例えば、自律動作制御情報に従って撮像部１２（例えば、内視鏡５００１等）が移動する環境下での手術においては、自律動作制御情報の保障外の体内環境であった場合、鉗子操作に対する撮像部１２の視野のずれや、撮像部１２と対象外物体(臓器や組織)との干渉（撮像部１２の視野が、対象外物体によって遮られることや、撮像部１２自体が物体と衝突すること）等が発生する懸念があることから、好適に、且つ、スムーズに手術を遂行することが難しい。

また、未知の体内環境に対しては、当該体内環境の情報を取得した上での学習モデルを再構築してから、再構築後の学習モデルを用いて自律動作制御情報を生成することが考えられるが、再構築のためには一定の準備時間を要するため、リアルタイムで学習モデルや自律動作制御情報を生成することが難しい。さらに、学習モデルや自律動作制御情報をリアルタイムに生成することができても、術者５０６７の鉗子操作に対して撮像部１２の移動等に遅れが発生する。そこで、このような遅れに対応するために、術者５０６７が撮像部１２の画像の変化を予測しながら、鉗子操作を行うことが考えられるが、難しい予測が伴うことから、やはり、好適に、且つ、スムーズに手術を遂行することが難しいこととなる。

そこで、本発明者らは、上述のような状況を鑑みて、様々な体内環境に適した、ロボットアーム装置１０のための自律動作制御情報をリアルタイムで生成することが可能な、本開示の実施形態を創作した。本開示の実施形態においては、各種データ（外部入力情報）に基づいて生成された自律動作制御情報を、実際の体内環境におけるロボットアーム装置１０の動作シミュレーションの結果、及び、理想体内環境におけるロボットアーム装置１０の動作シミュレーションの結果に基づき、修正を行うことにより、様々な体内環境に適した自律動作制御情報をリアルタイムで生成することができる。そして、このような自律動作制御情報に従って制御されたロボットアーム装置１０によって支援を受けることにより、術者５０６７は、好適に、且つ、スムーズに手術を遂行することができる。以下に、本発明者らが創作した本開示の実施形態の詳細を順次説明する。

＜＜４． 実施形態＞＞
本発明者らが創作した本開示の実施形態は、自律動作制御情報を生成する際に用いられる学習モデル等を事前に生成する段階（学習モデル生成段階）と、生成した学習モデル等に基づいて、自律動作を行う段階（自律動作実行段階）との、主に２つの段階に分けることができる。まずは、本実施形態に係る学習モデル生成段階について説明する。

＜４．１ 学習モデル生成ユニット１００の詳細構成例＞
まずは、図５を参照して、本開示の実施形態に係る学習モデル生成ユニット１００の詳細構成例について説明する。図５は、本開示の実施形態に係る学習モデル生成ユニット１００の構成の一例を示すブロック図である。本実施形態に係る学習モデル生成ユニット１００は、自律動作制御情報（詳細には、自律動作目標値）を生成する際に用いられる学習モデル１３２、ルールベース制御モデル１３４及び理想体内環境地図１３６を生成することができる。なお、学習モデル生成ユニット１００は、上述した、図４に示すロボットアーム装置１０、又は、制御部２０と一体の装置であってもよく、別体の装置であってもよく、もしくは、クラウド上に設けられ、ロボットアーム装置１０や制御部２０と通信可能に接続された装置であってもよい。

詳細には、図５に示すように、学習モデル生成ユニット１００は、外部入力情報取得部１１０と、自律動作学習モデル生成部１２０と、自律動作ルール生成部１２２と、理想地図生成部１２４と、記憶部１３０と、出力部１４０とを主に有する。以下に、学習モデル生成ユニット１００の各機能部の詳細について順次説明する。

（外部入力情報取得部１１０）
外部入力情報取得部１１０は、各種のデータ（外部入力情報）を取得し、自律動作学習モデル生成部１２０、自律動作ルール生成部１２２、及び、理想地図生成部１２４へ出力する。本実施形態においては、各種データとしては、例えば、理想的に遂行された手術における、左右両手に保持される各鉗子（図示省略）の先端位置・姿勢データ（実環境における医療用器具の位置情報及び姿勢情報）、撮像部１２（詳細には、内視鏡５００１）の先端位置・姿勢データ（実環境における医療用アームの位置情報及び姿勢情報）、撮像部１２の画像（医療用観察装置による実環境の画像）、測距センサ（ステレオ式内視鏡、デプスセンサ等）（図示省略）からのセンシングデータ等を挙げることができる。具体的には、本実施形態においては、先端位置・姿勢データは、例えば、アーム部１１に設けられたモーションセンサ（図示省略）や、上述した測距センサ（ステレオ式内視鏡（ステレオカメラ）、ストラクチャードライトセンサ、ＴｏＦセンサ）からのセンシングデータを利用することにより、取得してもよい。なお、本実施形態においては、先端位置・姿勢データの情報は、絶対座標値で表現されてもよく、もしくは、所定の基準点からの相対座標値で表現されてもよく、特に限定されるものではない。

（自律動作学習モデル生成部１２０）
自律動作学習モデル生成部１２０は、例えば、外部入力情報取得部１１０から出力された左右両手に保持される各鉗子（図示省略）及び撮像部１２の先端位置・姿勢データの対を教師データとして機械学習を実行し、任意の左右両手に保持される各鉗子の位置・姿勢に対する撮像部１２の位置・姿勢を出力する学習モデル１３２を生成する。本実施形態においては、理想的に遂行された手術における、多数の、左右両手に保持される各鉗子及び撮像部１２の先端位置・姿勢データの対を用いて機械学習を行うことにより、ロボットアーム装置１０のアーム部１１等の自律動作を実現するための学習モデル１３２を生成することができる。

もしくは、自律動作学習モデル生成部１２０は、撮像部１２の画像及び撮像部１２の先端位置・姿勢データの対を教師データとして機械学習を実行し、任意の撮像部１２の先端位置・姿勢に対する、撮像部１２の視野の中心に位置する注視点の位置、撮像部１２から注視点までの距離、注視点への視野方向等の情報からなる視野情報を出力する学習モデル１３２を生成することができる。なお、自律動作学習モデル生成部１２０が生成した学習モデル１３２は、後述する記憶部１３０に格納される。

（自律動作ルール生成部１２２）
自律動作ルール生成部１２２は、理想的に遂行された手術において収集された複数のデータを分析することにより、ロボットアーム装置１０のアーム部１１等の自律動作の際に許容される制御ルール（臓器との許容される距離や位置関係、鉗子との許容される距離や位置関係等）を規定するルールベース制御モデル１３４を生成することができる。なお、自律動作ルール生成部１２２が生成したルールベース制御モデル１３４は、後述する記憶部１３０に格納される。

具体的には、自律動作ルール生成部１２２は、例えば、外部入力情報取得部１１０から出力された左右両手に保持される各鉗子（図示省略）及び撮像部１２の先端位置・姿勢データの対から、任意の左右両手に保持される各鉗子の位置・姿勢に対する撮像部１２の位置・姿勢のルールを抽出することにより、ルールベース制御モデル１３４を生成する。もしくは、自律動作ルール生成部１２２は、例えば、撮像部１２の画像及び撮像部１２の先端位置・姿勢データの対から、任意の撮像部１２の画像に対する撮像部１２の視野情報のルールを抽出することにより、ルールベース制御モデル１３４を生成する。

（理想地図生成部１２４）
理想地図生成部１２４は、学習モデル１３２及びルールベース制御モデル１３４の生成の際に用いた各種データに基づき、体内環境地図を複数生成する。ここでは、最も理想に近い撮像部１２（詳細には、アーム部１１）の動作（スコープワークとも呼ぶ）を実現する体内における３次元地図情報（体内環境地図）を「理想体内環境地図」と呼ぶ。また、最も理想に近いスコープワークを実現する体内環境を理想環境又は理想体内環境と呼ぶ。そして、理想地図生成部１２４が生成した理想体内環境地図１３６は、後述する記憶部１３０に格納され、後述するシミュレーションの際に利用される。なお、本実施形態においては、理想体内環境地図１３６は１つに限定する必要はなく、複数存在してもよく、例えば、シーンごとにシミュレーション実行環境を更新する等を行い、更新されたシミュレータの機能に応じて、複数の理想体内環境地図１３６の中から１つを選択してもよい。なお、本明細書においては、「理想に近いスコープワーク」は、術者５０６７が手技を遂行するために、術部（臓器・組織等の処置の対象となっている部位）及び鉗子操作部（鉗子の先端部等に位置する、組織の把持等を行う箇所）を視野外に外すことなく、また、鉗子の挿抜時に鉗子先端の移動に追従して、これらを画面の中心により捉えつつ、術者５０６７が、周辺臓器や組織及び鉗子の先端部を視覚的に認識できるよう適切な拡大量で表示する画像を提供することができるスコープワークのことを意味する。すなわち、本明細書においては、「理想に近いスコープワーク」とは、上記のような画像を提供することができる、「適切なスコープワーク」と言い換えることができる。なお、本明細書においては、「鉗子操作」は鉗子先端の開閉による切除や把持操作だけでなく、鉗子先端位置の変更や挿抜などの鉗子先端部の移動も含む場合がある。また、本明細書においては、「理想体内環境地図」は、学習モデルが理想のスコープワークを実現できる一つの地図パターンの情報である。すなわち、単なる体内における３次元地図情報ではなく、データベースに格納された学習モデルやルールベース制御モデルを用いて理想に近いスコープワークが実現できる、既知の体内の３次元地図のことを意味するものとする。

具体的には、理想地図生成部１２４は、撮像部１２の画像及び撮像部１２の先端位置・姿勢データの対に基づいて、画像から抽出した臓器の位置情報と撮像部１２の位置・姿勢情報から、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）を用いて、理想体内環境地図１３６を生成する。もしくは、理想地図生成部１２４は、撮像部１２の画像及び測距センサ（ステレオ内視鏡、デプスセンサ等）（図示省略）からのセンシングデータの対に基づいて、画像から抽出した臓器の位置情報と撮像部１２の位置・姿勢情報から、ＳＬＡＭを用いて、理想体内環境地図１３６を生成する。なお、理想体内環境地図１３６は、Ｇｒｉｄ、Ｂｏｘｅｌ、点群等の表現法を用いた計量地図(Ｍｅｔｒｉｃ ｍａｐ)であることが好ましい。

（記憶部１３０）
記憶部１３０は、上述した学習モデル１３２、ルールベース制御モデル１３４及び理想体内環境地図１３６を格納する。記憶部１３０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。

（出力部１４０）
出力部１４０は、上述した学習モデル１３２、ルールベース制御モデル１３４及び理想体内環境地図１３６を後述する自律動作実行ユニット２００へ出力することができる。

なお、本実施形態においては、学習モデル生成ユニット１００の詳細構成は、図５に示す構成に限定されるものではない。

＜４．２ 学習モデル生成段階での制御方法＞
次に、図６を参照して、本実施形態に係る、学習モデル生成段階での制御方法について説明する。図６は、本実施形態に係る学習モデル生成段階での制御方法のフローチャートである。図８に示すように、本実施形態に係る学習モデル生成段階での制御方法は、ステップＳ１０からステップＳ４０までのステップを主に含むことができる。以下に、本実施形態に係るこれら各ステップの概要について説明する。

まず、学習モデル生成ユニット１００の外部入力情報取得部１１０は、理想的に遂行された手術において収集された各種のデータ（外部入力情報）を取得する（ステップＳ１０）。次に、自律動作学習モデル生成部１２０は、各種のデータを教師データとして機械学習を実行し、学習モデル１３２を生成し、記憶部１３０や自律動作実行ユニット２００へ出力する（ステップＳ２０）。さらに、自律動作ルール生成部１２２は、各種のデータ（外部入力情報）を分析することにより、ルールベース制御モデル１３４を生成し、記憶部１３０や自律動作実行ユニット２００へ出力する（ステップＳ３０）。そして、理想地図生成部１２４は、各種データに基づき、体内環境地図を生成し、記憶部１３０や自律動作実行ユニット２００へ出力する（ステップＳ４０）。

＜４．３ 自律動作実行ユニット２００の詳細構成例＞
次に、本実施形態に係る自律動作を行う段階（自律動作実行段階）について説明する。図７を参照して、本開示の実施形態に係る自律動作実行ユニット２００の詳細構成例について説明する。図７は、本実施形態に係る自律動作実行ユニット２００の構成の一例を示すブロック図である。本実施形態に係る自律動作実行ユニット２００は、各種データ（外部入力情報）に基づき、リアルタイムで自律動作を実行するようにロボットアーム装置１０（例えば、アーム部１１）の制御を行うことができる。詳細には、図７に示すように、自律動作実行ユニット２００は、制御ユニット２１０とシミュレータユニット２５０との２つのユニットから主に構成される。なお、自律動作実行ユニット２００は、上述した、図４に示すロボットアーム装置１０、又は、制御部２０と一体の装置であってもよく、別体の装置であってもよく、もしくは、クラウド上に設けられ、ロボットアーム装置１０や制御部２０と通信可能に接続された装置であってもよい。

～制御ユニット２１０～
まずは、制御ユニット２１０を説明する。詳細には、図７に示すように、制御ユニット２１０は、入力情報取得部２１２、自律動作生成部（制御情報生成部）２１４、自律動作修正部（修正部）２１６、カメラ予測視野算出部２１８、視野連動制御演算部（回避制御情報生成部）２２０、ユーザ指示調停部２２４、アーム制御部（制御部）２２６、先端制御部２２８及び切出視野生成部（予測画像生成部）２３０を主に有する。以下に、制御ユニット２１０の各機能部の詳細について順次説明する。

（入力情報取得部２１２）
入力情報取得部２１２は、実際に現在行われている手術等（実環境）で得られた各種のデータ（外部入力情報）を取得し、後述する自律動作生成部２１４及びシミュレータユニット２５０へ出力する。本実施形態においては、各種データとしては、例えば、左右両手に保持される各鉗子（図示省略）の先端位置・姿勢データ（実環境における医療用器具の位置情報及び姿勢情報）、撮像部１２の先端位置・姿勢データ（実環境における医療用アームの位置情報及び姿勢情報）、撮像部１２の画像（医療用観察装置による実環境の画像）、測距センサ（ステレオ内視鏡、デプスセンサ等）（図示省略）からのセンシングデータ等を挙げることができる。本実施形態においては、先端位置・姿勢データは、アーム部１１に設けられたモーションセンサ（図示省略）や、上述した測距センサからのセンシングデータを利用することにより、リアルタイムで取得してもよい。また、本実施形態においては、マスタースレイブ方式で操作されている場合には、入力装置５０４７（マスターコンソール）に入力された情報を用いて、先端位置・姿勢データを生成してもよい。なお、本実施形態においては、先端位置・姿勢データの情報は、絶対座標値で表現されてもよく、もしくは、所定の基準点からの相対座標値で表現されてもよく、特に限定されるものではない。

（自律動作生成部２１４）
自律動作生成部２１４は、入力情報取得部２１２から出力された各種のデータ（外部入力情報）に基づき、ロボットアーム装置１０（例えば、アーム部１１）（医療用アーム）を自律的に動作させるための自律動作目標値（自律動作制御情報）を生成することができる。詳細には、自律動作生成部２１４は、上述した学習モデル１３２及びルールベース制御モデル１３４を参照して、実際の、左右両手に保持される各鉗子（図示省略）の先端位置・姿勢データに基づき、自律動作目標値として、撮像部１２の位置・姿勢（例えば、各鉗子のみを視野内に捉えるための撮像部１２の位置・姿勢）の情報を生成する。もしくは、自律動作生成部２１４は、自律動作目標値として、撮像部１２の視野の中心に位置する注視点の位置、撮像部１２から注視点までの距離、注視点への視野方向等の情報からなる視野情報を生成する。そして、自律動作生成部２１４は、生成した自律動作目標値を後述する自律動作修正部２１６へ出力する。

（自律動作修正部２１６）
自律動作修正部２１６は、ロボットアーム装置１０（例えば、アーム部１１）の動作シミュレーションの結果に基づき、自律動作目標値（自律動作制御情報）をリアルタイムで修正することができる。詳細には、自律動作修正部２１６は、実際の現在の体内環境（実環境）に基づくロボットアーム装置１０（例えば、アーム部１１）の動作シミュレーションの結果、及び、理想体内環境（理想環境）に基づくロボットアーム装置１０（例えば、アーム部１１）の動作シミュレーションの結果に基づき、自律動作目標値（自律動作制御情報）をリアルタイムで修正することができる。より具体的には、自律動作修正部２１６は、自律動作生成部２１４で生成された自律動作目標値を、後述するシミュレータユニット２５０から取得した自律動作修正パラメータ（差分）に基づき、リアルタイムで修正する。そして、自律動作修正部２１６は、修正した自律動作目標値を、後述する視野連動制御演算部２２０に出力する。

（カメラ予測視野算出部２１８）
カメラ予測視野算出部２１８は、後述するシミュレータユニット２５０から取得した干渉予測情報（干渉すると予測される臓器の位置、干渉時の撮像部１２の位置・姿勢情報等）に基づき、干渉対象物の事前提示及び衝突回避のための撮像部１２の目標視野を決定する。詳細には、撮像部１２が先端湾曲機能付きの内視鏡（図示省略）であった場合には、カメラ予測視野算出部２１８は、後述する視野連動制御演算部２２０に、撮像部１２の先端の目標姿勢や目標視野の情報を出力する。また、撮像部１２が広角／切り出し機能付きの内視鏡（図示省略）であった場合には、カメラ予測視野算出部２１８は、後述する切出視野生成部２３０に、切り出す視野範囲や視野の情報を出力する。

（視野連動制御演算部２２０）
視野連動制御演算部２２０は、修正された自律動作目標値及び撮像部１２の先端の目標姿勢（干渉予測情報）に基づき、干渉を回避してロボットアーム装置１０（例えば、アーム部１１）を動作させるための制御情報（先端自由度制御指令値、アーム制御指令値）を生成することができる。すなわち、本実施形態においては、撮像部１２が先端湾曲機能付きの内視鏡（図示省略）である場合には、視野連動制御演算部２２０は、アーム部１１と撮像部１２の先端とを連動させて動かすように制御するための制御情報を生成することができる。そして、視野連動制御演算部２２０は、生成した制御情報を後述するユーザ指示調停部２２４に出力する。なお、撮像部１２が先端湾曲機能付きの内視鏡（図示省略）でない場合には、視野連動制御演算部２２０は、修正された自律動作目標値をそのままユーザ指示調停部２２４に出力する。

（ユーザ指示調停部２２４）
ユーザ指示調停部２２４は、視野連動制御演算部２２０から出力された制御情報（制御指令値）と、術者（ユーザ）５０６７が手動入力した修正指示（例えば、注視点のオフセットやズーム量オフセット等）に基づき、制御情報（先端制御指令値、アーム制御指令値）を更新することができる。そして、ユーザ指示調停部２２４は、更新された制御情報（先端制御指令値、アーム制御指令値）を後述するアーム制御部２２６や先端制御部２２８へ出力する。なお、本実施形態においては、術者（ユーザ）５０６７からの入力がない場合には、視野連動制御演算部２２０から出力された制御情報（制御指令値）を、そのままアーム制御部２２６や先端制御部２２８へ出力する。

（アーム制御部２２６）
アーム制御部２２６は、更新された制御情報（上記アーム制御指令値）に基づき、アーム部（医療用アーム）１１を制御することができる。

（先端制御部２２８）
先端制御部２２８は、更新された制御情報（先端制御指令値）に基づき、上述したアーム制御部２２６と同期して、撮像部１２の先端の方向（視野方向）、ズーム量、撮像部１２の先端の姿勢等を制御することができる。

（切出視野生成部２３０）
切出視野生成部２３０は、カメラ予測視野算出部２１８から取得した切り出す視野範囲や視野に基づき、撮像部１２で取得した広角画像に対して切り出し処理を行った場合に切り出されるであろう予測画像を生成し、提示装置４０へ出力する。

～シミュレータユニット２５０～
次に、シミュレータユニット２５０を説明する。シミュレータユニット２５０は、各種データ（外部入力情報）に基づき、ロボットアーム装置１０（例えば、アーム部１１）の動作シミュレーションを行うことができる。詳細には、図７に示すように、シミュレータユニット２５０は、入力情報受信部２５２、理想環境地図保持部２５４、体内環境地図生成部２５６、理想環境入力補正部２５８、理想環境自律動作生成部２６０、理想環境シミュレーション部２６２、現在環境自律動作生成部２６４、現在環境シミュレーション部（実環境シミュレーション部）２６６、自律動作結果比較部（比較部）２６８、自律動作修正パラメータ生成部２７０、自律動作修正部２７２、現在環境シミュレーション更新部（再シミュレーション部）２７４、干渉予測部（予測部）２７６及び画像生成部２７８を主に有する。以下に、シミュレータユニット２５０の各機能部の詳細について順次説明する。

（入力情報受信部２５２）
入力情報受信部２５２は、上述した制御ユニット２１０の入力情報取得部２１２から、環境地図生成に用いるデータを体内環境地図生成部２５６に出力し、自律動作のためのデータ生成に用いるデータを理想環境入力補正部２５８及び現在環境自律動作生成部２６４に出力する。さらに、入力情報受信部２５２は、左右両手に保持される各鉗子（図示省略）の先端位置・姿勢データ、撮像部１２の先端位置・姿勢データ、撮像部１２の画像、測距センサ（図示省略）からのセンシングデータ等を、体内環境地図生成部２５６に出力する。

（理想環境地図保持部２５４）
理想環境地図保持部２５４は、理想地図生成部１２４で生成した、理想体内環境地図１３６を格納し、理想環境入力補正部２５８及び理想環境シミュレーション部２６２に出力する。

（体内環境地図生成部２５６）
体内環境地図生成部２５６は、入力情報受信部２５２から取得した、左右両手に保持される各鉗子（図示省略）の先端位置・姿勢データ、撮像部１２の先端位置・姿勢データ、撮像部１２の画像、測距センサ（図示省略）からのセンシングデータ等を含む、各種データ（外部入力情報）に基づき、実際の現在の体内環境地図（実環境地図）をリアルタイムで生成することができる。例えば、体内環境地図生成部２５６は、撮像部１２の画像に基づき、ＳＬＡＭ法を用いて、現在体内環境地図を生成する。そして、生成された現在体内環境地図は、後述する理想環境入力補正部２５８にて、理想体内環境地図との比較によるデータ補正を行う際に利用される。ここでは、実際に、現在手術中の体内（現在環境（実環境）又は現在体内環境と呼ぶ）における３次元地図情報（体内環境地図）を「現在体内環境地図」と呼ぶ。

（理想環境入力補正部２５８）
理想環境入力補正部２５８は、例えば、現在の撮像部１２の先端位置・姿勢データや左右両手に保持される各鉗子（図示省略）の先端位置・姿勢データ等を利用して、理想環境地図保持部２５４に格納された理想体内環境地図情報と、体内環境地図生成部２５６で生成された現在体内環境地図との特徴点を抽出し、抽出した特徴点の差分を算出する。そして、理想環境入力補正部２５８は、算出された差分に基づき、入力情報受信部２５２から取得した、自律動作のためのデータを生成するために用いるデータ（外部入力情報）の補正を行うことができる。例えば、理想環境入力補正部２５８は、補正された理想環境での左右両手に保持される各鉗子の先端位置・姿勢データ等の各種データ（外部入力情報）を理想環境自律動作生成部２６０に出力する。

（理想環境自律動作生成部２６０）
理想環境自律動作生成部２６０は、学習モデル１３２又はルールベース制御モデル１３４を参照して、補正された各種データ（外部入力情報）に基づき、ロボットアーム装置１０（例えば、アーム部１１）の自律動作目標値（理想環境での自律動作制御情報）を生成することができる。詳細には、理想環境自律動作生成部２６０は、上述した学習モデル１３２及びルールベース制御モデル１３４を参照して、左右両手に保持される各鉗子（図示省略）の先端位置・姿勢データに基づき、自律動作目標値として、撮像部１２の位置・姿勢（例えば、各鉗子のみを視野内に捉えるための撮像部１２の位置・姿勢）の情報を生成する。もしくは、理想環境自律動作生成部２６０は、自律動作目標値として、撮像部１２の視野の中心に位置する注視点の位置、撮像部１２から注視点までの距離、注視点への視野方向等の情報からなる視野情報を生成する。そして、理想環境自律動作生成部２６０は、生成した自律動作目標値を理想環境シミュレーション部２６２へ出力する。

（理想環境シミュレーション部２６２）
理想環境シミュレーション部２６２は、理想環境地図保持部２５４に格納された理想体内環境地図（理想環境地図）と、理想環境自律動作生成部２６０で生成された自律動作目標値とに基づき、理想環境におけるロボットアーム装置１０（例えば、アーム部１１）の動作シミュレーションを行うことができる。理想環境シミュレーション部２６２は、シミュレーション結果として、理想体内環境における撮像部１２の画像や、撮像部１２と鉗子と位置関係情報、撮像部１２と周辺臓器との位置関係情報を、自律動作結果比較部２６８へ出力する。

（現在環境自律動作生成部２６４）
現在環境自律動作生成部２６４は、学習モデル１３２、ルールベース制御モデル１３４を参照して、入力情報受信部２５２からの各種データ（外部入力情報）に基づき、ロボットアーム装置１０（例えば、アーム部１１）の自律動作目標値（実環境での自律動作制御情報）を生成することができる。詳細には、現在環境自律動作生成部２６４は、上述した学習モデル１３２及びルールベース制御モデル１３４を参照して、左右両手に保持される各鉗子（図示省略）の先端位置・姿勢データに基づき、自律動作目標値として、撮像部１２の位置・姿勢（例えば、各鉗子のみを視野内に捉えるための撮像部１２の位置・姿勢）の情報を生成する。もしくは、現在環境自律動作生成部２６４は、自律動作目標値として、撮像部１２の視野の中心に位置する注視点の位置、撮像部１２から注視点までの距離、注視点への視野方向等の情報からなる視野情報を生成する。そして、現在環境自律動作生成部２６４は、生成した自律動作目標値を後述する現在環境シミュレーション部２６６へ出力する。

（現在環境シミュレーション部２６６）
現在環境シミュレーション部２６６は、体内環境地図生成部２５６でリアルタイムに生成される現在体内環境地図（実環境地図）と、現在環境自律動作生成部２６４で生成した自律動作目標値とに基づき、現在環境（実環境）におけるロボットアーム装置１０（例えば、アーム部１１）の動作シミュレーションを行うことができる。現在環境シミュレーション部２６６は、シミュレーション結果として、現体内環境での撮像部１２の画像や、撮像部１２と鉗子と位置関係情報、撮像部１２と周辺臓器との位置関係情報を、自律動作結果比較部２６８へ出力する。

（自律動作結果比較部２６８）
自律動作結果比較部２６８は、理想環境シミュレーション部２６２での理想環境における動作シミュレーションの結果と、現在環境シミュレーション部２６６での現在環境（実環境）における動作シミュレーションの結果との差分を抽出することができる。詳細には、自律動作結果比較部２６８は、理想環境での撮像部１２の画像、現在環境での撮像部１２の画像や、理想環境及び現在環境における、撮像部と鉗子と位置関係情報、撮像部１２と周辺臓器との位置関係情報等に基づき、差分として、撮像部１２の画像の特徴点の差分や、撮像部１２と鉗子と位置関係の差分、撮像部１２と周辺臓器との位置関係の差分を自律動作修正パラメータ生成部２７０へ出力する。

（自律動作修正パラメータ生成部２７０）
自律動作修正パラメータ生成部２７０は、自律動作結果比較部２６８からの取得した差分に基づき、ロボットアーム装置１０（例えば、アーム部１１）の自律動作目標を修正するための修正パラメータ（撮像部１２の位置・姿勢のオフセットやズーム量）を生成する。そして、自律動作修正パラメータ生成部２７０は、生成した修正パラメータを自律動作修正部２１６、２７２へ出力する。

（自律動作修正部２７２）
自律動作修正部２７２は、現在環境自律動作生成部２６４で生成されたロボットアーム装置１０（例えば、アーム部１１）の自律動作目標値（実環境での自律動作制御情報）と、自律動作修正パラメータ生成部２７０で生成された修正パラメータ（撮像部１２の位置・姿勢のオフセットやズーム量）とに基づき、ロボットアーム装置１０（例えば、アーム部１１）の自律動作目標値（実環境での自律動作制御情報）を修正することができる。そして、自律動作修正部２７２は、修正した自律動作目標値を後述する現在環境シミュレーション更新部２７４に出力する。

（現在環境シミュレーション更新部２７４）
現在環境シミュレーション更新部２７４は、自律動作修正部２７２で修正された自律動作目標値に基づき、現在環境における動作シミュレーションを再度行うことができる。詳細には、現在環境シミュレーション更新部２７４は、体内環境地図生成部２５６でリアルタイムに更新される現在体内環境地図（実環境地図）と、自律動作修正部２７２で修正された自律動作目標値とに基づき、現在環境におけるロボットアーム装置１０（例えば、アーム部１１）の動作シミュレーションを再度行うことができる。そして、現在環境シミュレーション更新部２７４は、シミュレーション結果として、現在環境における撮像部１２の画像や、撮像部１２と鉗子と位置関係情報、撮像部１２と周辺臓器との位置関係情報を、後述する干渉予測部２７６及び画像生成部２７８へ出力する。

（干渉予測部２７６）
干渉予測部２７６は、現在環境シミュレーション更新部２７４での再シミュレーションの結果に基づき、周辺臓器（他のオブジェクト）との干渉予測や接触判定等を行い、干渉予測情報(干渉が予測される干渉臓器（他の部位）の位置、干渉時の撮像部１２（又は、アーム部１１）の位置・姿勢等の情報)を制御ユニット２１０へ出力することができる。

（画像生成部２７８）
画像生成部２７８は、現在環境シミュレーション更新部２７４での再シミュレーションの結果に基づき、上記干渉臓器と干渉した際に、撮像部１２で得られるであろう予測画像（干渉予測画像）を生成し、提示装置４０へ出力することができる。

なお、本実施形態においては、自律動作実行ユニット２００の詳細構成は、図７に示す構成に限定されるものではない。

～提示装置４０～
次に、図８を参照して、提示装置４０を説明する。図８は、本実施形態に係る提示装置４０の構成の一例を示すブロック図である。詳細には、図８に示すように、提示装置４０は、実画像取得部４０２、仮想画像取得部４０４及び予測結果生成部４０６を主に有する。以下に、提示装置４０の各機能部の詳細について順次説明する。

（実画像取得部４０２）
実画像取得部４０２は、制御ユニット２１０から、撮像部１２からの実際の画像（例えば、広角画像）と、上述した切出視野生成部２３０にて生成された切り出されるであろう予測画像を取得し、後述する予測結果生成部４０６へ出力することができる。

（仮想画像取得部４０４）
仮想画像取得部４０４は、シミュレータユニット２５０から、干渉臓器と干渉した際に、撮像部１２で得られるであろう干渉予測画像を取得し、後述する予測結果生成部４０６へ出力することができる。

（予測結果生成部４０６）
予測結果生成部４０６は、撮像部１２からの実際の画像（例えば、広角画像）、切り出されるであろう予測画像、及び、シミュレータユニット２５０から予測される予測画像（例えば、干渉臓器と干渉した際に、撮像部１２で得られるであろう干渉予測画像）のうち、いずれか１つ、２つ又は３つを同時に術者（ユーザ）５０６７に向けて提示することができる。

なお、本実施形態においては、提示装置４０の詳細構成は、図８に示す構成に限定されるものではない。

＜４．４ 自律動作実行段階での制御方法＞
～概要～
次に、本実施形態に係る、自律動作実行段階での制御方法について説明する。まず、図９を参照して、本実施形態に係る制御方法の概要を説明する。図９は、本実施形態に係る自律動作実行段階での制御方法のフローチャートである。

図９に示すように、本実施形態に係る自律動作実行段階での制御方法は、ステップＳ１００からステップＳ３００までのステップを主に含むことができる。以下に、本これら各ステップの概要について説明する。以下に説明する制御方法は、各種データ（外部入力情報）を取得することによって開始され、自律動作実行ユニット２００の手術タスクが終了するまでの間、繰り返し実行される。

まず、自律動作実行ユニット２００は、左右両手に保持される各鉗子（図示省略）の先端位置・姿勢データ（実環境における医療用器具の位置情報及び姿勢情報）、撮像部１２の先端位置・姿勢データ（実環境における医療用アームの位置情報及び姿勢情報）、撮像部１２の画像（医療用観察装置による実環境の画像）、測距センサ（ステレオ内視鏡、デプスセンサ等）（図示省略）からのセンシングデータ等の各種データ（外部入力情報）を取得する（ステップＳ１００）。

次に、自律動作実行ユニット２００は、取得した各種データに基づき、主に、シミュレータユニット２５０を動作させて、シミュレーションを実行する（ステップＳ２００）。

さらに、自律動作実行ユニット２００は、上述のステップＳ２００のシミュレーション結果に基づき、主に、制御ユニット２１０を動作させて、アーム部１１を制御する（ステップＳ３００）。自律動作実行ユニット２００は、タスクが終了するまでの間、図９に示すフローを繰り返し実行する。

～シミュレータユニット動作段階～
次に、図９に示すステップＳ２００の詳細について、図１０から図２０を参照して説明する。図１０は、図９に示すステップＳ２００のサブフローチャートであり、図１１から図２０は、本実施形態に係る制御方法の詳細を説明するための説明図である。図１０に示すように、ステップＳ２００は、サブステップＳ２０１からサブステップＳ２１５までの複数のサブステップを主に含むことができる。以下に、これら各サブステップの詳細について説明する。なお、図１０においては、通常の情報処理のフローチャートと異なり、１つのサブステップから複数のサブステップへ矢印が分岐している個所については、複数のサブステップが並列で処理されることを意味している。

入力情報受信部２５２は、上述した制御ユニット２１０の入力情報取得部２１２から、環境地図生成に用いるデータを体内環境地図生成部２５６に出力し、自律動作のために用いるデータを理想環境入力補正部２５８及び現在環境自律動作生成部２６４に出力する。さらに、入力情報受信部２５２は、例えば、左右両手に保持される各鉗子（図示省略）の先端位置・姿勢データ、内視鏡５００１の先端位置・姿勢データ、撮像部１２の画像、測距センサ（図示省略）からのセンシングデータ等を、体内環境地図生成部２５６に出力する（サブステップＳ２０１）。

体内環境地図生成部２５６は、入力情報受信部２５２から取得した、左右両手に保持される各鉗子（図示省略）の先端位置・姿勢データ、撮像部１２の先端位置・姿勢データ、撮像部１２の画像、測距センサ（図示省略）からのセンシングデータ等を含む、各種データ（外部入力情報）に基づき、現在体内環境地図（実環境地図）をリアルタイムで生成する（サブステップＳ２０２）。

自律動作生成部２１４は、入力情報取得部２１２から出力された各種のデータ（外部入力情報）に基づき、ロボットアーム装置１０（例えば、アーム部１１）を自律的に動作させるための自律動作目標値（自律動作制御情報）を生成する（サブステップＳ２０３）。

理想環境入力補正部２５８は、例えば、現在の撮像部１２の先端位置・姿勢データや左右両手に保持される各鉗子（図示省略）の先端位置・姿勢データ等を利用して、理想環境地図保持部２５４に格納された理想体内環境地図情報と、体内環境地図生成部２５６で生成された現在体内環境地図との特徴点を抽出し、抽出した特徴点の差分を算出する。例えば、図１１に示すように、理想環境入力補正部２５８は、現在の体内画像１３８における臓器の輪郭の特徴点を抽出することにより、理想環境における画像１３６ｃとの差分５００を抽出することができる。

そして、理想環境入力補正部２５８は、差分に基づき、入力情報受信部２５２から取得した理想環境における自律動作のために用いる入力データの補正を行う。理想環境入力補正部２５８は、例えば、図１２に示すように、臓器の位置の差分５００に基づき、鉗子の位置を補正するための補正量５０２を算出することができる。そして、理想環境入力補正部２５８は、算出した補正量に基づき、鉗子位置を、例えば、図１３の左側に示す画像１３６ａの状態から、右側に示す画像１３６ｂの状態へと補正することができる（サブステップＳ２０４）。

理想環境自律動作生成部２６０は、学習モデル１３２、ルールベース制御モデル１３４を参照して、補正された各種データ（外部入力情報）に基づき、理想環境におけるロボットアーム装置１０（例えば、アーム部１１）の自律動作目標値（理想環境での自律動作制御情報）を生成する（サブステップＳ２０５）。

現在環境自律動作生成部２６４は、学習モデル１３２、ルールベース制御モデル１３４を参照して、入力情報受信部２５２からの各種データ（外部入力情報）に基づき、現在環境におけるロボットアーム装置１０（例えば、アーム部１１）の自律動作目標値（実環境での自律動作制御情報）を生成する。そして、現在環境シミュレーション部２６６は、体内環境地図生成部２５６でリアルタイムに更新される現在体内環境地図（実環境地図）と、現在環境自律動作生成部２６４で生成した自律動作目標値とに基づき、現在環境におけるロボットアーム装置１０（例えば、アーム部１１）の動作シミュレーションを行う（サブステップＳ２０６）。例えば、現在環境シミュレーション部２６６は、図１４に示すように、現在環境において撮像部１２で得られる画像６０２のシミュレーションを行う。

理想環境シミュレーション部２６２は、理想環境地図保持部２５４に格納された理想体内環境地図情報と、理想環境自律動作生成部２６０で生成された自律動作目標値とに基づき、理想環境におけるロボットアーム装置１０（例えば、アーム部１１）の動作シミュレーションを行う（サブステップＳ２０７）。例えば、理想環境シミュレーション部２６２は、図１５に示すように、理想環境において撮像部１２で得られる画像６００のシミュレーションを行う（サブステップＳ２０７）。

自律動作結果比較部２６８は、理想環境シミュレーション部２６２での理想環境における動作シミュレーションの結果と、現在環境シミュレーション部２６６での現在環境における動作シミュレーションの結果との差分を抽出する（サブステップＳ２０８）。例えば、自律動作結果比較部２６８は、図１６に示すように、理想環境シミュレーション部２６２での理想環境における動作シミュレーションの結果である撮像部１２による画像６００と、現在環境シミュレーション部２６６での現在環境における動作シミュレーションの結果である撮像部１２による画像６０２との差分（相違点）５０４を抽出する。

自律動作修正パラメータ生成部２７０は、自律動作結果比較部２６８からの取得した差分に基づき、ロボットアーム装置１０（例えば、アーム部１１）の自律動作目標を修正するための修正パラメータ（撮像部１２の位置・姿勢のオフセットやズーム量）を生成する（サブステップＳ２０９）。例えば、自律動作修正パラメータ生成部２７０は、図１７に示すように、修正パラメータ５０６として、撮像部１２の注視点のオフセット量とズーム量とを算出する。

自律動作実行ユニット２００は、図２１に示すサブステップＳ３０２の処理へ進む（サブステップＳ２１０）。

自律動作修正部２７２は、現在環境自律動作生成部２６４で生成されたロボットアーム装置１０（例えば、アーム部１１）の自律動作目標値（実環境での自律動作制御情報）と、自律動作修正パラメータ生成部２７０で生成された修正パラメータ（撮像部１２の位置・姿勢のオフセットやズーム量）とに基づき、ロボットアーム装置１０（例えば、アーム部１１）の自律動作目標値を修正する（サブステップＳ２１１）。例えば、自律動作修正部２７２は、図１８に示すように、修正パラメータ５０６に基づいて、撮像部１２の目標視野を修正する。

現在環境シミュレーション更新部２７４は、自律動作修正部２７２で修正された自律動作目標値に基づき、現在体内環境における動作シミュレーションを再度実行する（サブステップＳ２１２）。

干渉予測部２７６は、現在環境シミュレーション更新部２７４での再シミュレーションの結果に基づき、周辺臓器との干渉予測及び接触判定を行い、干渉予測情報を制御ユニット２１０へ出力する（サブステップＳ２１３）。例えば、干渉予測部２７６は、図１９に示すように、シミュレーションにおいて周辺臓器との干渉を検出する。

画像生成部２７８は、現在環境シミュレーション更新部２７４での再シミュレーションの結果に基づき、予測される周辺臓器の干渉の際に得られるであろう干渉予測画像を生成し、提示装置４０へ出力する（サブステップＳ２１４）。例えば、画像生成部２７８は、図２０に示すような、干渉予測画像６０４を生成する。

自律動作実行ユニット２００は、図２１に示すサブステップＳ３０３の処理へ進む（サブステップＳ２１５）。

～制御ユニット動作段階～
次に、図９に示すステップＳ３００の詳細について、図２１から図２５を参照して説明する。図２１は、図９に示すステップＳ３００のサブフローチャートであり、図２２から図２５は、本実施形態に係る制御方法の詳細を説明するための説明図である。図２１に示すように、ステップＳ３００は、サブステップＳ３０１からサブステップＳ３０９までの複数のサブステップを主に含むことができる。以下に、これら各サブステップの詳細について説明する。なお、図２１においては、通常の情報処理のフローチャートと異なり、１つのサブステップから複数のサブステップへ矢印が分岐している個所については、複数のサブステップが並列で処理されることを意味している。

自律動作生成部２１４は、入力情報取得部２１２から出力された各種のデータ（外部入力情報）に基づき、ロボットアーム装置１０（例えば、アーム部１１）を自律的に動作させるための自律動作目標値（自律動作制御情報）を生成する（サブステップＳ３０１）。

自律動作修正部２１６は、実際の現在の体内環境（実環境）におけるロボットアーム装置１０（例えば、アーム部１１）の動作シミュレーションの結果、及び、理想体内環境におけるロボットアーム装置１０（例えば、アーム部１１）の動作シミュレーションの結果に基づき、自律動作目標値（自律動作制御情報）をリアルタイムで修正する（サブステップＳ３０２）。

カメラ予測視野算出部２１８は、後述するシミュレータユニット２５０から取得した干渉予測情報に基づき、干渉の事前提示及び干渉回避のための撮像部１２の目標視野を決定する（サブステップＳ３０３）。詳細には、例えば、撮像部１２が広角／切り出し機能付きの内視鏡（図示省略）であった場合には、カメラ予測視野算出部２１８は、切り出す視野範囲６３０を図２２の左側に示す範囲から右側に示す範囲へ変更する。

切出視野生成部２３０は、撮像部１２が広角／切り出し機能付きの内視鏡（図示省略）であった場合には、カメラ予測視野算出部２１８から取得した切り出す視野範囲に基づき、図２３に示すような、撮像部１２で取得した広角画像６０６に対して切り出し処理を行った場合に切り出されるであろう予測画像６０８を生成する（サブステップＳ３０４）。

視野連動制御演算部２２０は、修正された自律動作目標値及び撮像部１２の先端の目標姿勢（干渉予測情報）に基づき、干渉を回避してロボットアーム装置１０（例えば、アーム部１１）を動作させるための制御情報（先端自由度制御指令値、アーム制御指令値）を生成する（サブステップＳ３０５）。例えば、撮像部１２が先端湾曲機能付きの内視鏡（図示省略）である場合には、視野連動制御演算部２２０は、図２４に示すように、アーム部１１と撮像部１２の先端とを連動させて動かして干渉を回避することができる制御情報を生成する。本実施形態においては、生成した制御情報に基づき、図２５に示されるような、干渉回避時に撮像部１２で得られるであろう予測画像６１０を生成してもよい。

ユーザ指示調停部２２４は、視野連動制御演算部２２０から出力された制御情報（制御指令値）と、術者（ユーザ）５０６７が手動入力した修正指示（例えば、注視点のオフセットやズーム量オフセット等）に基づき、制御情報（先端制御指令値、アーム制御指令値）を修正する（サブステップＳ３０６）。

アーム制御部２２６は、更新された制御情報（アーム制御指令値）に基づき、アーム部１１を制御する（サブステップＳ３０７）。

先端制御部２２８は、制御情報（先端制御指令値）に基づき、撮像部１２の視野方向、ズーム量等を制御する（サブステップＳ３０８）。

自律動作実行ユニット２００は、図９に示すステップＳ１００の処理へ進む（サブステップＳ３０９）。

～提示段階～
次に、図２６及び図２７を参照して、本実施形態に係る提示段階での制御方法について説明する。図２６は、本実施形態に係る制御方法のフローチャートであり、図２７は、本実施形態に係る制御方法の詳細を説明するための説明図である。なお、図２６においては、通常の情報処理のフローチャートと異なり、１つのサブステップから複数のサブステップへ矢印が分岐している個所については、複数のサブステップが並列で処理されることを意味している。

本実施形態に係る提示段階は、自律動作実行段階に続いて実行される。図２６に示すように、提示段階での制御方法は、ステップＳ４０１からステップＳ４０３までの複数のサブステップを主に含むことができる。以下に、これら各ステップの詳細について説明する。

実画像取得部４０２は、制御ユニット２１０から、撮像部１２からの実際の画像（広角画像）と、切り出し視野による予測画像を取得する（ステップＳ４０１）。

仮想画像取得部４０４は、シミュレータユニット２５０から予測される干渉予測画像を取得する（ステップＳ４０２）。

予測結果生成部４０６は、図２７に示すように、撮像部１２からの実際の画像６１０、切り出されるであろう切り出し視野による予測画像６１２、及び、シミュレータユニット２５０によって予測される干渉予測画像のうち、いずれか１つ、２つ又は３つを同時に術者（ユーザ）５０６７に向けて提示する（ステップＳ４０３）。本実施形態においては、切り出されるであろう切り出し視野による予測画像６１２や、シミュレータユニット２５０によって予測される干渉予測画像等を、医者の動作に先行して提示することができることから、医者の視野の移動やスムーズな鉗子操作や干渉等を回避する動作を可能にする。

以上のように、本開示の実施形態によれば、各種データ（外部入力情報）に基づいて生成された自律動作制御情報を、実際の体内環境におけるロボットアーム装置１０の動作シミュレーションの結果、及び、理想体内環境におけるロボットアーム装置１０の動作シミュレーションの結果に基づき、修正を行うことにより、様々な体内環境に適した自律動作制御情報をリアルタイムで生成することができる。そして、このような自律動作制御情報に従って制御されたロボットアーム装置１０によって支援を受けることにより、医者は、好適に、且つ、スムーズに手術を遂行することができる。

＜４．５ 変形例＞
本開示の実施形態においては、いわゆるマスタースレイブ方式での操作に適用することもできる。この場合、アーム部１１に支持された撮像部１２や鉗子（図示省略）等が、手術室から離れた場所または手術室内に設置される入力装置５０４７（マスターコンソール）を介して術者（ユーザ）５０６７によって遠隔操作され得る。

＜＜５． ハードウェア構成＞＞
上述してきた各実施形態に係る自律動作実行ユニット２００等の情報処理装置は、例えば図２８に示すような構成のコンピュータ１０００によって実現される。以下、本開示の実施形態に係る自律動作実行ユニット２００を例に挙げて説明する。図２８は、本開示の実施形態に係る自律動作実行ユニット２００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３００、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１４００、通信インターフェイス１５００、及び、入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に保存されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に保存されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。

ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を保存する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る医療用アーム制御方法のためのプログラムを記録する記録媒体である。

通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。

入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、コンピュータ読み取り可能な所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＰＤ（Ｐｈａｓｅ ｃｈａｎｇｅ ｒｅｗｒｉｔａｂｌｅ Ｄｉｓｋ）等の光学記録媒体、ＭＯ（Ｍａｇｎｅｔｏ-Ｏｐｔｉｃａｌ ｄｉｓｋ）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が本開示の実施形態に係る自律動作実行ユニット２００
として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた医療用アーム制御方法のためのプログラムを実行することにより、シミュレータユニット２５０等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る医療用アーム制御方法のためのプログラムや、記憶部６０内のデータが保存されてもよい。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置から情報処理プログラムを取得してもよい。

また、本実施形態に係る自律動作実行ユニット２００は、例えばクラウドコンピューティング等のように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る自律動作実行ユニット２００は、例えば、複数の装置により本実施形態に係る医療用観察システム１として実現することも可能である。

以上、自律動作実行ユニット２００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更され得る。

＜＜６． 補足＞＞
なお、先に説明した本開示の実施形態は、例えば、上記で説明したような情報処理装置又は情報処理システムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、及びプログラムが記録された一時的でない有形の媒体を含みうる。また、当該プログラムをインターネット等の通信回線（無線通信も含む）を介して頒布してもよい。

また、上述した本開示の実施形態の情報処理方法における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能部によって他の方法により処理されていてもよい。

上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、本技術は以下のような構成も取ることができる。
（１）
外部入力情報に基づいて、医療用アームを自律的に動作させるための自律動作制御情報を生成する制御情報生成部と、
前記医療用アームの動作シミュレーションを行うシミュレーション部と、
前記医療用アームの動作シミュレーションの結果に基づき、前記自律動作制御情報をリアルタイムで修正する修正部と、
を備える、医療用アーム制御システム。
（２）
前記修正部は、前記外部入力情報から得られた実環境における、前記医療用アームの動作シミュレーションの結果、及び、理想環境における、前記医療用アームの動作シミュレーションの結果に基づき、前記自律動作制御情報をリアルタイムで修正する、上記（１）に記載の医療用アーム制御システム。
（３）
前記理想環境における動作シミュレーションの結果と前記実環境における動作シミュレーションの結果との差分を抽出する比較部を有し、
前記修正部は、前記差分に基づき、前記自律動作制御情報をリアルタイムで修正する、 上記（２）に記載の医療用アーム制御システム。
（４）
前記外部入力情報は、実環境における前記医療用アームの位置情報及び姿勢情報を含む、上記（１）～（３）のいずれか１つに記載の医療用アーム制御システム。
（５）
前記医療用アームは医療用観察装置を支持する、上記（１）～（４）のいずれか１つに記載の医療用アーム制御システム。
（６）
前記外部入力情報は、前記医療用観察装置による実環境の画像を含む、上記（５）に記載の医療用アーム制御システム。
（７）
前記医療用観察装置は、内視鏡である、上記（５）又は（６）に記載の医療用アーム制御システム。
（８）
前記外部入力情報は、前記実環境における医療用器具の位置情報及び姿勢情報を含む、上記（４）に記載の医療用アーム制御システム。
（９）
前記医療用アームは医療用器具を支持する、上記（８）に記載の医療用アーム制御システム。
（１０）
前記外部入力情報は、測距装置によるセンシングデータを含む、上記（１）～（９）のいずれか１つに記載の医療用アーム制御システム。
（１１）
前記測距装置は、ステレオ方式、ＴｏＦ方式又はストラクチャードライト方式を用いて測距を行う、上記（１０）に記載の医療用アーム制御システム。
（１２）
前記自律動作制御情報は、前記医療用アームの目標位置情報及び目標姿勢情報を含む、上記（１）～（１１）のいずれか１つに記載の医療用アーム制御システム。
（１３）
前記制御情報生成部は、機械学習によって得られた学習モデルに基づき、前記自律動作制御情報を生成する、上記（１）～（１２）のいずれか１つに記載の医療用アーム制御システム。
（１４）
修正された前記自律動作制御情報に基づき、前記医療用アームを制御する制御部をさらに備える、
上記（１）～（１３）のいずれか１つに記載の医療用アーム制御システム。
（１５）
前記医療用アームをさらに備える、上記（１）～（１４）のいずれか１つに記載の医療用アーム制御システム。
（１６）
前記シミュレーション部は、
実環境地図を参照して、前記実環境における前記医療用アームの動作シミュレーションを行う実環境シミュレーション部と、
理想環境地図を参照して、前記理想環境における前記医療用アームの動作シミュレーションを行う理想環境シミュレーション部と、
を含む、
上記（２）に記載の医療用アーム制御システム。
（１７）
前記実環境シミュレーション部は、前記外部入力情報に基づき生成された実環境地図、及び、前記外部入力情報に基づき生成された前記自律動作制御情報を用いて、前記実環境における前記医療用アームの動作シミュレーションを行う、上記（１６）に記載の医療用アーム制御システム。
（１８）
前記理想環境シミュレーション部は、理想環境地図、及び、補正された前記外部入力情報に基づき生成された前記自律動作制御情報を用いて、前記理想環境における前記医療用アームの動作シミュレーションを行う、上記（１７）に記載の医療用アーム制御システム。
（１９）
前記理想環境地図と前記実環境地図との差分に基づき、前記外部入力情報を補正する理想環境入力補正部をさらに備える、上記（１８）に記載の医療用アーム制御システム。
（２０）
前記理想環境地図及び前記実環境地図は、人体内における３次元地図情報である、上記（１９）に記載の医療用アーム制御システム。
（２１）
前記実環境地図は、前記実環境の画像に基づいてＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）法により生成される、上記（２０）に記載の医療用アーム制御システム。
（２２）
修正された前記自律動作制御情報に基づき、前記実環境における前記医療用アームの動作シミュレーションを行う再シミュレーション部をさらに備える、
上記（２）に記載の医療用アーム制御システム。
（２３）
前記再シミュレーション部のシミュレーション結果に基づき、他の部位との干渉を予測する予測部をさらに備える、
上記（２２）に記載の医療用アーム制御システム。
（２４）
前記予測部は、干渉予測情報として、
干渉が予測される前記他の部位の位置情報と、
予測される干渉時の前記医療用アームの位置情報及び姿勢情報と、
を出力する、
上記（２３）に記載の医療用アーム制御システム。
（２５）
前記干渉予測情報に基づき、干渉回避するための制御情報を生成する回避制御情報生成部をさらに備える、
上記（２４）に記載の医療用アーム制御システム。
（２６）
前記再シミュレーション部のシミュレーション結果に基づき、予測される画像を生成する予測画像を生成する予測画像生成部をさらに備える、
上記（２２）～（２５）のいずれか１つに記載の医療用アーム制御システム。
（２７）
前記予測画像は、実環境の画像とともにユーザに提示される、上記（２６）に記載の医療用アーム制御システム。
（２８）
医療用アーム制御装置により、
外部入力情報に基づいて、医療用アームを自律的に動作させるための自律動作制御情報を生成し、
前記医療用アームの動作シミュレーションを行い、
前記医療用アームの動作シミュレーションの結果に基づき、前記自律動作制御情報をリアルタイムで修正する、
ことを含む、医療用アーム制御方法。
（２９）
コンピュータを、
外部入力情報に基づいて、医療用アームを自律的に動作させるための自律動作制御情報を生成する制御情報生成部と、
前記医療用アームの動作シミュレーションを行うシミュレーション部と、
前記医療用アームの動作シミュレーションの結果に基づき、前記自律動作制御情報をリアルタイムで修正する修正部と、
として機能させる、プログラム。

１ 医療用観察システム
１０ ロボットアーム装置
１１ アーム部
１１ａ 関節部
１２ 撮像部
１３ 光源部
２０ 制御部
２１ 画像処理部
２２ 撮像制御部
２３ アーム制御部
２５ 受付部
２６ 表示制御部
４０ 提示装置
６０、１３０ 記憶部
１００ 学習モデル生成ユニット
１１０ 外部入力情報取得部
１２０ 自律動作学習モデル生成部
１２２ 自律動作ルール生成部
１２４ 理想地図生成部
１３２ 学習モデル
１３４ ルールベース制御モデル
１３６ 理想体内環境地図
１３６ａ、１３６ｂ、１３６ｃ、１３８、６００、６０２、６０６、６０８、６１０、６１２ 画像
１４０ 出力部
２００ 自律動作実行ユニット
２１０ 制御ユニット
２１２ 入力情報取得部
２１４ 自律動作生成部
２１６、２７２ 自律動作修正部
２１８ カメラ予測視野算出部
２２０ 視野連動制御演算部
２２４ ユーザ指示調停部
２２６ アーム制御部
２２８ 先端制御部
２３０ 切出視野生成部
２５０ シミュレータユニット
２５２ 入力情報受信部
２５４ 理想環境地図保持部
２５６ 体内環境地図生成部
２５８ 理想環境入力補正部
２６０ 理想環境自律動作生成部
２６２ 理想環境シミュレーション部
２６４ 現在環境自律動作生成部
２６６ 現在環境シミュレーション部
２６８ 自律動作結果比較部
２７０ 自律動作修正パラメータ生成部
２７４ 現在環境シミュレーション更新部
２７６ 干渉予測部
２７８ 画像生成部
４０２ 実画像取得部
４０４ 仮想画像取得部
４０６ 予測結果生成部
５００ 差分
５０２ 補正量
５０４ 相違点
５０６ パラメータ
６３０ 視野範囲

Claims (29)

1. 外部入力情報に基づいて、医療用アームを自律的に動作させるための自律動作制御情報を生成する制御情報生成部と、
   前記医療用アームの動作シミュレーションを行うシミュレーション部と、
   前記医療用アームの動作シミュレーションの結果に基づき、前記自律動作制御情報をリアルタイムで修正する修正部と、
   を備える、医療用アーム制御システム。
2. 前記修正部は、前記外部入力情報から得られた実環境における、前記医療用アームの動作シミュレーションの結果、及び、理想環境における、前記医療用アームの動作シミュレーションの結果に基づき、前記自律動作制御情報をリアルタイムで修正する、請求項１に記載の医療用アーム制御システム。
3. 前記理想環境における動作シミュレーションの結果と前記実環境における動作シミュレーションの結果との差分を抽出する比較部を有し、
   前記修正部は、前記差分に基づき、前記自律動作制御情報をリアルタイムで修正する、 請求項２に記載の医療用アーム制御システム。
4. 前記外部入力情報は、実環境における前記医療用アームの位置情報及び姿勢情報を含む、請求項１に記載の医療用アーム制御システム。
5. 前記医療用アームは医療用観察装置を支持する、請求項１に記載の医療用アーム制御システム。
6. 前記外部入力情報は、前記医療用観察装置による実環境の画像を含む、請求項５に記載の医療用アーム制御システム。
7. 前記医療用観察装置は、内視鏡である、請求項５に記載の医療用アーム制御システム。
8. 前記外部入力情報は、前記実環境における医療用器具の位置情報及び姿勢情報を含む、請求項４に記載の医療用アーム制御システム。
9. 前記医療用アームは医療用器具を支持する、請求項８に記載の医療用アーム制御システム。
10. 前記外部入力情報は、測距装置によるセンシングデータを含む、請求項１に記載の医療用アーム制御システム。
11. 前記測距装置は、ステレオ方式、ＴｏＦ方式又はストラクチャードライト方式を用いて測距を行う、請求項１０に記載の医療用アーム制御システム。
12. 前記自律動作制御情報は、前記医療用アームの目標位置情報及び目標姿勢情報を含む、請求項１に記載の医療用アーム制御システム。
13. 前記制御情報生成部は、機械学習によって得られた学習モデルに基づき、前記自律動作制御情報を生成する、請求項１に記載の医療用アーム制御システム。
14. 修正された前記自律動作制御情報に基づき、前記医療用アームを制御する制御部をさらに備える、
    請求項１に記載の医療用アーム制御システム。
15. 前記医療用アームをさらに備える、請求項１に記載の医療用アーム制御システム。
16. 前記シミュレーション部は、
    実環境地図を参照して、前記実環境における前記医療用アームの動作シミュレーションを行う実環境シミュレーション部と、
    理想環境地図を参照して、前記理想環境における前記医療用アームの動作シミュレーションを行う理想環境シミュレーション部と、
    を含む、
    請求項２に記載の医療用アーム制御システム。
17. 前記実環境シミュレーション部は、前記外部入力情報に基づき生成された実環境地図、及び、前記外部入力情報に基づき生成された前記自律動作制御情報を用いて、前記実環境における前記医療用アームの動作シミュレーションを行う、請求項１６に記載の医療用アーム制御システム。
18. 前記理想環境シミュレーション部は、理想環境地図、及び、補正された前記外部入力情報に基づき生成された前記自律動作制御情報を用いて、前記理想環境における前記医療用アームの動作シミュレーションを行う、請求項１７に記載の医療用アーム制御システム。
19. 前記理想環境地図と前記実環境地図との差分に基づき、前記外部入力情報を補正する理想環境入力補正部をさらに備える、請求項１８に記載の医療用アーム制御システム。
20. 前記理想環境地図及び前記実環境地図は、人体内における３次元地図情報である、請求項１９に記載の医療用アーム制御システム。
21. 前記実環境地図は、前記実環境の画像に基づいてＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）法により生成される、請求項２０に記載の医療用アーム制御システム。
22. 修正された前記自律動作制御情報に基づき、前記実環境における前記医療用アームの動作シミュレーションを行う再シミュレーション部をさらに備える、
    請求項２に記載の医療用アーム制御システム。
23. 前記再シミュレーション部のシミュレーション結果に基づき、他の部位との干渉を予測する予測部をさらに備える、
    請求項２２に記載の医療用アーム制御システム。
24. 前記予測部は、干渉予測情報として、
    干渉が予測される前記他の部位の位置情報と、
    予測される干渉時の前記医療用アームの位置情報及び姿勢情報と、
    を出力する、
    請求項２３に記載の医療用アーム制御システム。
25. 前記干渉予測情報に基づき、干渉回避するための制御情報を生成する回避制御情報生成部をさらに備える、
    請求項２４に記載の医療用アーム制御システム。
26. 前記再シミュレーション部のシミュレーション結果に基づき、予測される画像を生成する予測画像を生成する予測画像生成部をさらに備える、
    請求項２２に記載の医療用アーム制御システム。
27. 前記予測画像は、実環境の画像とともにユーザに提示される、請求項２６に記載の医療用アーム制御システム。
28. 医療用アーム制御装置により、
    外部入力情報に基づいて、医療用アームを自律的に動作させるための自律動作制御情報を生成し、
    前記医療用アームの動作シミュレーションを行い、
    前記医療用アームの動作シミュレーションの結果に基づき、前記自律動作制御情報をリアルタイムで修正する、
    ことを含む、医療用アーム制御方法。
29. コンピュータを、
    外部入力情報に基づいて、医療用アームを自律的に動作させるための自律動作制御情報を生成する制御情報生成部と、
    前記医療用アームの動作シミュレーションを行うシミュレーション部と、
    前記医療用アームの動作シミュレーションの結果に基づき、前記自律動作制御情報をリアルタイムで修正する修正部と、
    として機能させる、プログラム。

Images