JP2021013412A - 医療用観察システム、制御装置及び制御方法 - Google Patents

Abstract

【課題】画像の認識精度を向上させるとともに、画像に基づいて適切にアーム装置の動きを制御すること。【解決手段】医療用観察システムは、複数のリンクが関節部により連結されたアーム部と、アーム部に支持され、第１術野画像を撮像する撮像部と、第１術野画像に基づいてアーム部の関節部を駆動して撮像部の位置及び姿勢を制御する制御部と、を備える。制御部は、第１術野画像のうち表示対象領域に基づいて第２術野画像を生成して外部へ出力し、第１術野画像に基づく術野環境の認識結果に基づいて撮像部の位置及び姿勢を決定する。【選択図】図１

Description

本開示は、医療用観察システム、制御装置及び制御方法に関する。

近年、内視鏡手術においては、内視鏡を用いて患者の腹腔内を撮像し、内視鏡が撮像する撮像画像をディスプレイに表示しながら手術が行われている。

例えば、特許文献１には、内視鏡を支持するアームの制御と、内視鏡の電子ズームの制御とを連動させる技術が開示されている。

国際公開第２０１７／１４５４７５号

従来の腹腔鏡では体内自由度を有さないために視野展開において制限があり死角が発生していた。また、画像認識によって器具を認識してカメラを追従等させる機能を有するアーム装置が提案されているが、現在の内視鏡の画角は８０°程度と狭く、拡大視を行った際に器具が部分的にしか映らず、画面端ではその認識精度が低下する可能性があった。さらに、認識精度が低下することで、アームの制御性が悪化することが懸念されている。

そこで、本開示では、画像の認識精度を向上させるとともに、画像に基づいて適切にアーム装置の動きを制御することのできる医療用観察システム、制御装置及び制御方法を提案する。

上記の課題を解決するために、本開示に係る一態様の医療用観察システムは、複数のリンクが関節部により連結されたアーム部と、前記アーム部に支持され、第１術野画像を撮像する撮像部と、前記第１術野画像に基づいて前記アーム部の関節部を駆動して前記撮像部の位置及び姿勢を制御する制御部と、を備える医療用観察システムであって、前記制御部は、前記第１術野画像のうち表示対象領域に基づいて第２術野画像を生成して外部へ出力し、前記第１術野画像に基づく術野環境の認識結果に基づいて、前記撮像部の位置及び姿勢を決定する。

本開示に係る技術が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。 図１に示すカメラヘッド及びＣＣＵ（Camera Control Unit）の機能構成の一例を示すブロック図である。 本開示の実施形態に係る支持アーム装置の外観を示す概略図である。 本開示の実施形態に係る斜視鏡の構成を示す模式図である。 本開示の実施形態に係る斜視鏡と直視鏡を対比して示す模式図である。 本開示の実施形態に係る医療用観察システムの構成の一例を示すブロック図である。 本開示の実施形態に係るロボットアーム装置の構成の概要を説明するための図である。 本開示の実施形態に係る医療用観察システム１の処理の流れの概要を説明するための図である。 本開示の実施形態に係る撮像部が撮像する術野画像を説明するための図である。 本開示の実施形態に係る第１術野画像と、第２術野画像とを説明するための図である。 本開示の実施形態に係る第１術野画像を示す図である。 本開示の実施形態に係る第２術野画像を示す図である。 本開示の実施形態に係る第２術野画像に対して施す処理を説明するための図である。 本開示の実施形態に係る認識部が認識する情報を説明するための図である。 本開示の実施形態に係る認識部が認識する情報を説明するための図である。 本開示の実施形態に係る認識部が認識する情報を説明するための図である。 本開示の実施形態に係る認識部が認識する情報を説明するための図である。 本開示の実施形態に係る認識部が認識する情報を説明するための図である。 本開示の実施形態に係る学習部の判定結果を説明するための図である。 本開示の実施形態に係る学習部の判定結果を説明するための図である。 本開示の実施形態に係る学習部の判定結果を説明するための図である。 本発明の実施形態に係る制御部がアーム部の位置・姿勢を制御する処理の流れの一例を示すフローチャートである。 本発明の実施形態に係る制御部が第１術野画像から医師用の第２術野画像を生成する処理の流れの一例を説明するためのフローチャートである。 第１術野画像の認識結果に基づいて、第２術野画像の切り出し位置を制御する処理の流れの一例を示すフローチャートである。 斜視鏡の光軸を説明するための図である。 モデル化と制御について説明するための図である。 全身協調制御の拡張を６軸アームおよび斜視鏡ユニットに適用した場合における各リンク構成の例を示す図である。 制御装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

以下に示す項目順序に従って本開示を説明する。
１．内視鏡システムの構成例
２．支持アーム装置の具体的構成例
３．斜視鏡の基本的構成
４．医療用観察システム
５．斜視鏡を支持するアームの制御
６．仮想リンクの設定
７．ハードウェア構成

［１．内視鏡システムの構成例］
図１は、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成の一例を示す図である。図１では、術者（医師）５０６７が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図示するように、内視鏡手術システム５０００は、内視鏡５００１と、その他の術具５０１７と、内視鏡５００１を支持する支持アーム装置５０２７と、内視鏡下手術のための各種の装置が搭載されたカート５０３７と、から構成される。

内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５０２５ａ〜５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ〜５０２５ｄから、内視鏡５００１の鏡筒５００３や、その他の術具５０１７が患者５０７１の体腔内に挿入される。図示する例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３が、患者５０７１の体腔内に挿入されている。また、エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。

内視鏡５００１によって撮影された患者５０７１の体腔内の術部の画像が、表示装置５０４１に表示される。術者５０６７は、表示装置５０４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５０２１や鉗子５０２３を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３は、手術中に、術者５０６７又は助手等によって支持される。

（支持アーム装置）
支持アーム装置５０２７は、ベース部５０２９から延伸するアーム部５０３１を備える。図示する例では、アーム部５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃ、及びリンク５０３５ａ、５０３５ｂから構成されており、アーム制御装置５０４５からの制御により駆動される。アーム部５０３１によって内視鏡５００１が支持され、その位置及び姿勢が制御される。これにより、内視鏡５００１の安定的な位置の固定が実現され得る。

（内視鏡）
内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３と、鏡筒５００３の基端に接続されるカメラヘッド５００５と、から構成される。図示する例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよい。

鏡筒５００３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５００１には光源装置５０４３が接続されており、当該光源装置５０４３によって生成された光が、鏡筒５００３の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５０７１の体腔内の観察対象に向かって照射される。なお、内視鏡５００１は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド５００５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）５０３９に送信される。なお、カメラヘッド５００５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。

なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５００５には撮像素子が複数設けられてもよい。この場合、鏡筒５００３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。

（カートに搭載される各種の装置）
ＣＣＵ５０３９は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡５００１及び表示装置５０４１の動作を統括的に制御する。具体的には、ＣＣＵ５０３９は、カメラヘッド５００５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５０３９は、当該画像処理を施した画像信号を表示装置５０４１に提供する。また、ＣＣＵ５０３９は、カメラヘッド５００５に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。

表示装置５０４１は、ＣＣＵ５０３９からの制御により、当該ＣＣＵ５０３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５００１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５０４１としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５０４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５０４１が設けられてもよい。

光源装置５０４３は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５００１に供給する。

アーム制御装置５０４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５０２７のアーム部５０３１の駆動を制御する。

入力装置５０４７は、内視鏡手術システム５０００に対する入力インタフェースである。ユーザは、入力装置５０４７を介して、内視鏡手術システム５０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５０４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５０４７を介して、アーム部５０３１を駆動させる旨の指示や、内視鏡５００１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５０２１を駆動させる旨の指示等を入力する。

入力装置５０４７の種類は限定されず、入力装置５０４７は各種の公知の入力装置であってよい。入力装置５０４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５０５７及び／又はレバー等が適用され得る。入力装置５０４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５０４１の表示面上に設けられてもよい。

あるいは、入力装置５０４７は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５０４７は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５０４７は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５０４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５０６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。

処置具制御装置５０４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５０２１の駆動を制御する。気腹装置５０５１は、内視鏡５００１による視野の確保及び術者の作業空間の確保の目的で、患者５０７１の体腔を膨らめるために、気腹チューブ５０１９を介して当該体腔内にガスを送り込む。レコーダ５０５３は、手術に関する各種の情報を記録可能な装置である。プリンタ５０５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

以下、内視鏡手術システム５０００において特に特徴的な構成について、更に詳細に説明する。

（支持アーム装置）
支持アーム装置５０２７は、基台であるベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１と、を備える。図示する例では、アーム部５０３１は、複数の関節部５０３３ａ、５０３３ｂ、５０３３ｃと、関節部５０３３ｂによって連結される複数のリンク５０３５ａ、５０３５ｂと、から構成されているが、図１では、簡単のため、アーム部５０３１の構成を簡略化して図示している。実際には、アーム部５０３１が所望の自由度を有するように、関節部５０３３ａ〜５０３３ｃ及びリンク５０３５ａ、５０３５ｂの形状、数及び配置、並びに関節部５０３３ａ〜５０３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５０３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５０３１の可動範囲内において内視鏡５００１を自由に移動させることが可能になるため、所望の方向から内視鏡５００１の鏡筒５００３を患者５０７１の体腔内に挿入することが可能になる。

関節部５０３３ａ〜５０３３ｃにはアクチュエータが設けられており、関節部５０３３ａ〜５０３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５０４５によって制御されることにより、各関節部５０３３ａ〜５０３３ｃの回転角度が制御され、アーム部５０３１の駆動が制御される。これにより、内視鏡５００１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５０４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５０３１の駆動を制御することができる。

例えば、術者５０６７が、入力装置５０４７（フットスイッチ５０５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５０４５によってアーム部５０３１の駆動が適宜制御され、内視鏡５００１の位置及び姿勢が制御されてよい。当該制御により、アーム部５０３１の先端の内視鏡５００１を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５０３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５０３１（スレーブ）は、手術室から離れた場所または手術室内に設置される入力装置５０４７（マスターコンソール）を介してユーザによって遠隔操作され得る。

また、力制御が適用される場合には、アーム制御装置５０４５は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５０３１が移動するように、各関節部５０３３ａ〜５０３３ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５０３１に触れながらアーム部５０３１を移動させる際に、比較的軽い力で当該アーム部５０３１を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５００１を移動させることが可能となり、ユーザの利便性を向上させることができる。

ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５００１が支持されていた。これに対して、支持アーム装置５０２７を用いることにより、人手によらずに内視鏡５００１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。

なお、アーム制御装置５０４５は必ずしもカート５０３７に設けられなくてもよい。また、アーム制御装置５０４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５０４５は、支持アーム装置５０２７のアーム部５０３１の各関節部５０３３ａ〜５０３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置５０４５が互いに協働することにより、アーム部５０３１の駆動制御が実現されてもよい。

（光源装置）
光源装置５０４３は、内視鏡５００１に術部を撮影する際の照射光を供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５０４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置５０４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置５０４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５０４３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

（カメラヘッド及びＣＣＵ）
図２を参照して、内視鏡５００１のカメラヘッド５００５及びＣＣＵ５０３９の機能についてより詳細に説明する。図２は、図１に示すカメラヘッド５００５及びＣＣＵ５０３９の機能構成の一例を示すブロック図である。

図２を参照すると、カメラヘッド５００５は、その機能として、レンズユニット５００７と、撮像部５００９と、駆動部５０１１と、通信部５０１３と、カメラヘッド制御部５０１５と、を有する。また、ＣＣＵ５０３９は、その機能として、通信部５０５９と、画像処理部５０６１と、制御部５０６３と、を有する。カメラヘッド５００５とＣＣＵ５０３９とは、伝送ケーブル５０６５によって双方向に通信可能に接続されている。

まず、カメラヘッド５００５の機能構成について説明する。レンズユニット５００７は、鏡筒５００３との接続部に設けられる光学系である。鏡筒５００３の先端から取り込まれた観察光は、カメラヘッド５００５まで導光され、当該レンズユニット５００７に入射する。レンズユニット５００７は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５００７は、撮像部５００９の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。

撮像部５００９は撮像素子によって構成され、レンズユニット５００７の後段に配置される。レンズユニット５００７を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５００９によって生成された画像信号は、通信部５０１３に提供される。

撮像部５００９を構成する撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５０６７は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。

また、撮像部５００９を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５０６７は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５００９が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５００７も複数系統設けられる。

また、撮像部５００９は、必ずしもカメラヘッド５００５に設けられなくてもよい。例えば、撮像部５００９は、鏡筒５００３の内部に、対物レンズの直後に設けられてもよい。

駆動部５０１１は、アクチュエータによって構成され、カメラヘッド制御部５０１５からの制御により、レンズユニット５００７のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５００９による撮像画像の倍率及び焦点が適宜調整され得る。

通信部５０１３は、ＣＣＵ５０３９との間で各種の情報を送受信するための通信装置によって構成される。通信部５０１３は、撮像部５００９から得た画像信号をＲＡＷデータとして伝送ケーブル５０６５を介してＣＣＵ５０３９に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５０６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５０１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５０６５を介してＣＣＵ５０３９に送信される。

また、通信部５０１３は、ＣＣＵ５０３９から、カメラヘッド５００５の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５０１３は、受信した制御信号をカメラヘッド制御部５０１５に提供する。なお、ＣＣＵ５０３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５０１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５０１５に提供される。

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５０３９の制御部５０６３によって自動的に設定される。つまり、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡５００１に搭載される。

カメラヘッド制御部５０１５は、通信部５０１３を介して受信したＣＣＵ５０３９からの制御信号に基づいて、カメラヘッド５００５の駆動を制御する。例えば、カメラヘッド制御部５０１５は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５００９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５０１５は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５０１１を介してレンズユニット５００７のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５０１５は、更に、鏡筒５００３やカメラヘッド５００５を識別するための情報を記憶する機能を備えてもよい。

なお、レンズユニット５００７や撮像部５００９等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５００５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。

次に、ＣＣＵ５０３９の機能構成について説明する。通信部５０５９は、カメラヘッド５００５との間で各種の情報を送受信するための通信装置によって構成される。通信部５０５９は、カメラヘッド５００５から、伝送ケーブル５０６５を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５０５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５０５９は、電気信号に変換した画像信号を画像処理部５０６１に提供する。

また、通信部５０５９は、カメラヘッド５００５に対して、カメラヘッド５００５の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。

画像処理部５０６１は、カメラヘッド５００５から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５０６１は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。

画像処理部５０６１は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５０６１が複数のＧＰＵによって構成される場合には、画像処理部５０６１は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。

制御部５０６３は、内視鏡５００１による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５０６３は、カメラヘッド５００５の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５０６３は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５００１にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５０６３は、画像処理部５０６１による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。

また、制御部５０６３は、画像処理部５０６１によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５０４１に表示させる。この際、制御部５０６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５０６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５０２１使用時のミスト等を認識することができる。制御部５０６３は、表示装置５０４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５０６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。

カメラヘッド５００５及びＣＣＵ５０３９を接続する伝送ケーブル５０６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

ここで、図示する例では、伝送ケーブル５０６５を用いて有線で通信が行われていたが、カメラヘッド５００５とＣＣＵ５０３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５０６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５０６５によって妨げられる事態が解消され得る。

以上、本開示に係る技術が適用され得る内視鏡手術システム５０００の一例について説明した。なお、ここでは、一例として内視鏡手術システム５０００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。

［２．支持アーム装置の具体的構成例］
次に、本開示の実施の形態に係る支持アーム装置の具体的構成例について詳細に説明する。以下に説明する支持アーム装置は、アーム部の先端に内視鏡を支持する支持アーム装置として構成された例であるが、本実施形態は係る例に限定されない。また、本開示の実施の形態に係る支持アーム装置が医療分野に適用された場合、本開示の実施の形態に係る支持アーム装置は、医療用支持アーム装置として機能し得る。

＜２−１．支持アーム装置の外観＞
まず、図３を参照して、本実施形態に係る支持アーム装置４００の概略構成について説明する。図３は、本実施形態に係る支持アーム装置４００の外観を示す概略図である。

本実施形態に係る支持アーム装置４００は、ベース部４１０及びアーム部４２０を備える。ベース部４１０は支持アーム装置４００の基台であり、ベース部４１０からアーム部４２０が延伸される。また、図３には図示しないが、ベース部４１０内には、支持アーム装置４００を統合的に制御する制御部が設けられてもよく、アーム部４２０の駆動が当該制御部によって制御されてもよい。当該制御部は、例えばＣＰＵやＤＳＰ等の各種の信号処理回路によって構成される。

アーム部４２０は、複数の能動関節部４２１ａ〜４２１ｆと、複数のリンク４２２ａ〜４２２ｆと、アーム部４２０の先端に設けられた先端ユニットとしての内視鏡装置４２３とを有する。

リンク４２２ａ〜４２２ｆは略棒状の部材である。リンク４２２ａの一端が能動関節部４２１ａを介してベース部４１０と連結され、リンク４２２ａの他端が能動関節部４２１ｂを介してリンク４２２ｂの一端と連結され、さらに、リンク４２２ｂの他端が能動関節部４２１ｃを介してリンク４２２ｃの一端と連結される。リンク４２２ｃの他端は受動スライド機構１００を介してリンク４２２ｄに連結され、さらに、リンク４２２ｄの他端は受動関節部４３３を介してリンク４２２ｅの一端と連結される。リンク４２２ｅの他端は能動関節部４２１ｄ，４２１ｅを介してリンク４２２ｆの一端と連結される。内視鏡装置４２３は、アーム部４２０の先端、すなわち、リンク４２２ｆの他端に、能動関節部４２１ｆを介して連結される。このように、ベース部４１０を支点として、複数のリンク４２２ａ〜４２２ｆの端同士が、能動関節部４２１ａ〜４２１ｆ、受動スライド機構１００及び受動関節部４３３によって互いに連結されることにより、ベース部４１０から延伸されるアーム形状が構成される。

かかるアーム部４２０のそれぞれの能動関節部４２１ａ〜４２１ｆに設けられたアクチュエータが駆動制御されることにより、内視鏡装置４２３の位置及び姿勢が制御される。本実施形態において、内視鏡装置４２３は、その先端が施術部位である患者の体腔内に進入して施術部位の一部領域を撮影する。ただし、アーム部４２０の先端に設けられる先端ユニットは内視鏡装置４２３に限定されず、アーム部４２０の先端には先端ユニットとして各種の医療用器具が接続されてよい。このように、本実施形態に係る支持アーム装置４００は、医療用器具を備えた医療用支持アーム装置として構成される。

ここで、以下では、図３に示すように座標軸を定義して支持アーム装置４００の説明を行う。また、座標軸に合わせて、上下方向、前後方向、左右方向を定義する。すなわち、床面に設置されているベース部４１０に対する上下方向をｚ軸方向及び上下方向と定義する。また、ｚ軸と互いに直交する方向であって、ベース部４１０からアーム部４２０が延伸されている方向（すなわち、ベース部４１０に対して内視鏡装置４２３が位置している方向）をｙ軸方向及び前後方向と定義する。さらに、ｙ軸及びｚ軸と互いに直交する方向をｘ軸方向及び左右方向と定義する。

能動関節部４２１ａ〜４２１ｆはリンク同士を互いに回動可能に連結する。能動関節部４２１ａ〜４２１ｆはアクチュエータを有し、当該アクチュエータの駆動により所定の回転軸に対して回転駆動される回転機構を有する。各能動関節部４２１ａ〜４２１ｆにおける回転駆動をそれぞれ制御することにより、例えばアーム部４２０を伸ばしたり、縮めたり（折り畳んだり）といった、アーム部４２０の駆動を制御することができる。ここで、能動関節部４２１ａ〜４２１ｆは、例えば公知の全身協調制御及び理想関節制御によってその駆動が制御され得る。上述したように、能動関節部４２１ａ〜４２１ｆは回転機構を有するため、以下の説明において、能動関節部４２１ａ〜４２１ｆの駆動制御とは、具体的には、能動関節部４２１ａ〜４２１ｆの回転角度及び／又は発生トルク（能動関節部４２１ａ〜４２１ｆが発生させるトルク）が制御されることを意味する。

受動スライド機構１００は、受動形態変更機構の一態様であり、リンク４２２ｃとリンク４２２ｄとを所定方向に沿って互いに進退動可能に連結する。例えば受動スライド機構１００は、リンク４２２ｃとリンク４２２ｄとを互いに直動可能に連結してもよい。ただし、リンク４２２ｃとリンク４２２ｄとの進退運動は直線運動に限られず、円弧状を成す方向への進退運動であってもよい。受動スライド機構１００は、例えばユーザによって進退動の操作が行われ、リンク４２２ｃの一端側の能動関節部４２１ｃと受動関節部４３３との間の距離を可変とする。これにより、アーム部４２０の全体の形態が変化し得る。

受動関節部４３３は、受動形態変更機構の一態様であり、リンク４２２ｄとリンク４２２ｅとを互いに回動可能に連結する。受動関節部４３３は、例えばユーザによって回動の操作が行われ、リンク４２２ｄとリンク４２２ｅとの成す角度を可変とする。これにより、アーム部４２０の全体の形態が変化し得る。

なお、本明細書において、「アーム部の姿勢」とは、一つ又は複数のリンクを挟んで隣り合う能動関節部同士の間の距離が一定の状態で、制御部による能動関節部４２１ａ〜４２１ｆに設けられたアクチュエータの駆動制御によって変化し得るアーム部の状態をいう。なお、本開示では、「アーム部の姿勢」は、アクチュエータの駆動制御によって変化し得るアーム部の状態に限定されない。例えば、「アーム部の姿勢」は、関節部が協調的に動作することで変化した、アーム部の状態であってもよい。また、本開示では、アーム部は、必ずしも関節部を備えている必要はない。この場合、「アーム部の姿勢」は、対象物に対する位置や、対象物に対する相対角度となる。また、「アーム部の形態」とは、受動形態変更機構が操作されることに伴って、リンクを挟んで隣り合う能動関節部同士の間の距離や、隣り合う能動関節部の間をつなぐリンク同士の成す角度が変わることで変化し得るアーム部の状態をいう。本開示では、「アーム部の形態」は、リンクを挟んで隣り合う能動関節部同士の間の距離や、隣り合う能動関節部の間をつなぐリンク同士の成す角度が変わることで変化し得るアーム部の状態に限定されない。例えば、「アーム部の形態」は、関節部が協調的に動作することで、関節部同士の位置関係や、角度が変わることで変化し得るアーム部の状態であってもよい。また、アーム部が関節部を備えていない場合には、「アーム部の形態」は、対象物に対する位置や、対象物に対する相対角度が変わることで変化し得るアーム部の状態であってもよい。

本実施形態に係る支持アーム装置４００は、６つの能動関節部４２１ａ〜４２１ｆを有し、アーム部４２０の駆動に関して６自由度が実現されている。つまり、支持アーム装置４００の駆動制御は制御部による６つの能動関節部４２１ａ〜４２１ｆの駆動制御により実現される一方、受動スライド機構１００及び受動関節部４３３は、制御部による駆動制御の対象とはなっていない。

具体的には、図３に示すように、能動関節部４２１ａ，４２１ｄ，４２１ｆは、接続されている各リンク４２２ａ，４２２ｅの長軸方向及び接続されている内視鏡装置４２３の撮影方向を回転軸方向とするように設けられている。能動関節部４２１ｂ，４２１ｃ，４２１ｅは、接続されている各リンク４２２ａ〜４２２ｃ，４２２ｅ，４２２ｆ及び内視鏡装置４２３の連結角度をｙ−ｚ平面（ｙ軸とｚ軸とで規定される平面）内において変更する方向であるｘ軸方向を回転軸方向とするように設けられている。このように、本実施形態においては、能動関節部４２１ａ，４２１ｄ，４２１ｆは、いわゆるヨーイングを行う機能を有し、能動関節部４２１ｂ，４２１ｃ，４２１ｅは、いわゆるピッチングを行う機能を有する。

このようなアーム部４２０の構成を有することにより、本実施形態に係る支持アーム装置４００ではアーム部４２０の駆動に対して６自由度が実現されるため、アーム部４２０の可動範囲内において内視鏡装置４２３を自由に移動させることができる。図３では、内視鏡装置４２３の移動可能範囲の一例として半球を図示している。半球の中心点ＲＣＭ（遠隔運動中心）が内視鏡装置４２３によって撮影される施術部位の撮影中心であるとすれば、内視鏡装置４２３の撮影中心を半球の中心点に固定した状態で、内視鏡装置４２３を半球の球面上で移動させることにより、施術部位を様々な角度から撮影することができる。

以上、本実施形態に係る支持アーム装置４００の概略構成について説明した。次に、本実施形態に係る支持アーム装置４００におけるアーム部４２０の駆動、すなわち、能動関節部４２１ａ〜４２１ｆの駆動を制御するための全身協調制御及び理想関節制御について説明する。

なお、支持アーム装置２００のアーム部２２０は複数の関節部を有し、６自由度を持つものとして説明したが、本開示はこれに限定されない。具体的には、アーム部２２０は、先端に内視鏡装置２２３または外視鏡を設けられ構造を有していればよい。例えば、アーム部２２０は、内視鏡装置２２３が患者の体腔内への進入する方向と、後退する方向とに移動するように駆動する１自由度のみを持つ構成であってもよい。

［３．斜視鏡の基本的構成］
続いて、内視鏡の例として斜視鏡の基本的構成について説明する。

図４は、本開示の一実施形態に係る斜視鏡４１００の構成を示す模式図である。図４に示すように、斜視鏡４１００は、カメラヘッド４２００の先端に装着されている。斜視鏡４１００は図１及び図２で説明した鏡筒５００３に対応し、カメラヘッド４２００は、図１及び図２で説明したカメラヘッド５００５に対応する。斜視鏡４１００とカメラヘッド４２００は互いに独立して回動可能とされている。斜視鏡４１００とカメラヘッド４２００の間には、各関節部５０３３ａ，５０３３ｂ，５０３３ｃと同様にアクチュエータが設けられており、斜視鏡４１００はアクチュエータの駆動によってカメラヘッド４２００に対して回転する。これにより、後述する回転角θ_Ｚが制御される。

斜視鏡４１００は支持アーム装置５０２７によって支持される。支持アーム装置５０２７は、スコピストの代わりに斜視鏡４１００を保持し、また術者や助手の操作によって斜視鏡４１００を所望の部位が観察できるように移動させる機能を有する。

図５は、斜視鏡４１００と直視鏡４１５０を対比して示す模式図である。直視鏡４１５０では、対物レンズの被写体への向き（Ｃ１）と直視鏡４１５０の長手方向（Ｃ２）は一致する。一方、斜視鏡４１００では、対物レンズの被写体への向き（Ｃ１）は、斜視鏡４１００の長手方向（Ｃ２）に対して所定の角度φを有している。なお、角度φが９０度のときは側視鏡と呼ばれる。

［４．医療用観察システム］
図６を用いて、本開示の実施形態に係る医療用観察システムの構成について説明する。図６は、本開示の実施形態に係る医療用観察システムの構成の一例を示すブロック図である。

図６に示すように、医療用観察システム１は、ロボットアーム装置１０と、制御部２０と、操作部３０と、第１術野画像表示部４０と、第２術野画像表示部５０と、記憶部６０とを備える。

医療用観察システム１の構成の詳細を説明する前に、医療用観察システム１の処理の概要について説明する。医療用観察システム１においては、まず、患者の腹腔内を撮像して腹腔内の環境を認識する。医療用観察システム１は、腹腔内の環境の認識結果に基づいて、ロボットアーム装置１０を駆動させる。ここで、ロボットアーム装置１０を駆動することで、腹腔内の撮像範囲は変化する。医療用観察システム１は、腹腔内の撮像範囲が変化すると、変化した環境を認識し、認識結果に基づいて、ロボットアーム装置１０を駆動させる。医療用観察システム１は、腹腔内の環境の画像認識と、ロボットアーム装置１０との駆動とを繰り返す。すなわち、医療用観察システム１は、画像認識処理と、ロボットアーム装置１０の位置と姿勢とを制御する処理とを融合した処理を実行する。

ロボットアーム装置１０は、複数の関節部と複数のリンクから構成される多リンク構造体であるアーム部１１（多関節アーム）を有し、当該アーム部を可動範囲内で駆動させることにより、当該アーム部の先端に設けられる先端ユニットの位置及び姿勢の制御を行う。ロボットアーム装置１０は、図３に示す支持アーム装置４００に対応している。

図７を用いて、本開示の実施形態に係るロボットアーム装置の構成の概要について説明する。

図７に示すように、ロボットアーム装置１０のアーム部１１は、第１関節部１１１_１と、第２関節部１１１_２と、第３関節部１１１_３と、第４関節部１１１_４とを備える。ロボットアーム装置１０には、カメラコントロールユニット５３０と、電子切り出し制御部５４０と、姿勢制御部５５０と、ＧＵＩ生成部５６０と、ユーザインターフェース部５７０と、モニタ５８０とが接続されている。

第１関節部１１１_１は、モータ５０１_１と、エンコーダ５０２_１と、モータコントローラ５０３_１と、モータドライバ５０４_１とを有する。第２関節部１１１_２〜第４関節部１１１_４についても、第１関節部１１１_１と同様の構成を有しているので、以下では、第１関節部１１１_１を例に説明する。

モータ５０１_１は、モータドライバ５０４_１の制御に従って駆動して、第１関節部１１１_１を駆動する。モータ５０１_１は、例えば、第１関節部１１１_１に付された矢印の方向に第１関節部１１１_１を駆動する。モータ５０１_１は、第１関節部１１１_１を駆動することで、アーム部１１の位置及び姿勢や、鏡筒（光学系５１０）およびカメラ５２０（カメラヘッド５００５に相当）の位置及び姿勢を制御する。なお、本実施形態ではまた、内視鏡の一形態として、鏡筒の先端にカメラ５２０（この場合は例えばレンズユニット５００７及び撮像部５００９に相当）を設けてもよい。

エンコーダ５０２_１は、モータコントローラ５０３_１からの制御に従って、第１関節部１１１_１の回転角度に関する情報を検出する。すなわち、エンコーダ５０２_１は、第１関節部１１１_１の姿勢に関する情報を取得する。

光学系５１０は、例えば、広角レンズで構成された広角光学系である。カメラ５２０は、例えば、患者の臓器や、処置に使用される医療用器具などの撮影対象物を撮像する。後述するが、本開示では、例えば、広角視野Ｒ１のうちユーザが所望する表示対象領域Ｒ２を切り出して第２術野画像を生成する。

カメラコントロールユニット５３０は、図２に図示のＣＣＵ５０３９に対応している。すなわち、カメラコントロールユニット５３０は、カメラ５２０による撮像処理及びモニタ５８０に表示する映像処理の動作を統括的に制御する。

電子切り出し制御部５４０は、カメラコントロールユニット５３０から受けた撮影対象物を撮像した映像から所定の領域を切り出してＧＵＩ生成部５６０に出力する。撮影対象物を撮像した映像から所定の領域を切り出す処理については後述する。

ＧＵＩ生成部５６０は、電子切り出し制御部５４０から切り出した映像に各種の処理を施した映像データを生成し、モニタ５８０に出力する。これにより、モニタ５８０は、ＧＵＩ生成部５６０によって生成された各種の映像を表示する。なお、電子切り出し制御部５４０とＧＵＩ生成部５６０は、一部または両方をカメラコントロールユニット５３０内に設けてもよい。

姿勢制御部５５０は、アーム部１１の位置及び姿勢を制御する。具体的には、姿勢制御部５５０は、モータコントローラ５０３_１〜５０３_４及びモータドライバ５０４_１〜５０４_４等を制御して、第１関節部１１１_１〜第４関節部１１１_４を制御する。これにより、姿勢制御部５５０は、アーム部１１の位置及び姿勢を制御する。なお、姿勢制御部５５０はカメラコントロールユニット５３０に含まれてもよい。

ユーザインターフェース部５７０は、ユーザからの各種の操作を受け付ける。ユーザインターフェース部５７０は、例えば、アーム部１１の位置及び姿勢を制御するための操作を受け付ける。ユーザインターフェース部５７０は、受け付けた操作に応じた操作信号を姿勢制御部５５０に出力する。この場合、姿勢制御部５５０は、ユーザインターフェース部５７０から受け付けた操作に従って、第１関節部１１１_１〜第４関節部１１１_４を制御して、アーム部１１の位置及び姿勢を制御する。

ロボットアーム装置１０において、カメラ５２０によって撮像されたカメラ画像を切り出すことで視線を変更する電子的な自由度と、アーム部１１のアクチュエータによる自由度を全てロボットの自由度として扱う。これにより、視線を変更する電子的な自由度と、アクチュエータによる自由度とを連動した運動制御を実現することが可能となる。

図８を用いて、本開示の実施形態に係る医療用観察システム１の処理の流れの概要について説明する。

上述したように、医療用観察システム１は、画像認識処理と、ロボットアーム装置１０の位置および姿勢を制御する処理とを融合した処理を実行する。

まず、医療用観察システム１において、カメラ５２０によって撮影対象物の広角画像が撮影される（ステップＳ１）。カメラ５２０によって撮像された広角画像に基づいて、医師等が視認するための映像を切り出すための電子切り出し処理（ステップＳ２）と、術野を認識するための画像認識処理（ステップＳ３）とが実行される。ステップＳ２と、ステップＳ３との処理は並行して実行されてもよい。

ステップＳ２で電子的に切り出された映像に対して、医師が視認しやすくするために超解像処理が実行されて、超解像画像が生成されてもよい（ステップＳ４）。生成された画像は、モニタ５８０に表示される。

ステップＳ３で画像認識処理を実行すると、画像に含まれる各種の物体・場面・状況等の認識結果を出力する（ステップＳ５）。認識結果に関する情報は、ＡＩ（Artificial Intelligence）処理を実行する際に用いられる。

カメラ５２０の位置及び姿勢を自律的に制御するために、各種の手術に関するデータを学習データとして事前に学習した学習済みモデル（ＡＩ）に対して、実行中の手術に関するデータが入力される（ステップＳ６）。各種の手術に関するデータには、例えば、内視鏡画像、医師による内視鏡の操舵データに関する情報、ロボットアーム装置１０の操作情報、およびアーム部１１の位置及び姿勢に関する情報等が含まれる。学習済みモデルの詳細については後述する。

ステップＳ５で認識された各種の認識結果に関する情報と、ステップＳ６で入力された手術に関するデータに基づいて、カメラ５２０の位置及び姿勢を自律制御するためのＡＩ処理が実行される（ステップＳ７）。ＡＩ処理の結果、カメラ５２０の位置を自律的に制御するための制御情報を出力する（ステップＳ８）。また、ステップＳ３の画像認識処理で用いられた広角画像をＧＵＩ生成部５６０に入力される。これにより、ＧＵＩ生成部５６０は、術野の広角画像を表示する。

ステップＳ８で出力された制御情報は、姿勢制御部５５０に入力される。姿勢制御部５５０は、カメラ５２０の位置及び姿勢を制御する。カメラ５２０の位置及び姿勢は、ユーザインターフェース部５７０によって指定されてもよい。

姿勢制御部５５０によって制御された位置及び姿勢に基づいて、広角画像に対する切り出し位置が判定される。そして、判定された切り出し位置に基づいて、切り出し位置が指定される（ステップＳ９）。これにより、カメラ５２０によって撮像された広角画像を再度切り出す。

本開示では、図８に示した処理を繰り返すことで、画像認識処理と、ロボットアーム装置１０の位置および姿勢を制御する処理とを融合した処理を実行する。

再び図６を参照する。アーム部１１は、複数の関節部と複数のリンクから構成される多リンク構造体であり、アーム制御部２３からの制御によりその駆動が制御される。アーム部１１は、図３に示すアーム部４２０に対応している。図６では、それら複数の関節部を代表して１つの関節部１１１の構成を図示している。

撮像部１２は、アーム部１１の先端に設けられ、各種の撮像対象物の画像を撮像する。撮像部１２は、例えば、患者の腹腔内の各種の医療用器具、臓器等を含む術野画像を撮像する。撮像部１２が撮像した術野画像は、第１術野画像とも呼ばれる。具体的には、撮像部１２は、撮影対象を動画や静止画の形式で撮影することのできるカメラ等である。より具体的には、撮像部１２は、広角光学系で構成された広角カメラである。すなわち、第１術野画像は、広角カメラで撮像された術野画像である。例えば、通常の内視鏡の画角が８０°程度であることに対し、本実施形態に係る撮像部１２の画角は１４０°であってもよい。なお、撮像部１２の画角は８０°を超えていれば１４０°よりも小さくてもよいし、１４０°以上であってもよい。撮像部１２は、撮像した画像に対応する電気信号（画像信号）を制御部２０に送信する。なお、図６において、撮像部１２はロボットアーム装置に含まれる必要はなく、アーム部１１に支持されていればその態様は限定されない。

図９を用いて、撮像部１２が撮像する術野画像の一例について説明する。図９は、撮像部１２が撮像する術野画像を説明するための図である。

図９には、通常画角の撮像部１２で撮像された術野画像ＩＭ１と、術野画像ＩＭ３と、術野画像ＩＭ５とが示されている。また、図９には、広画角の撮像部１２で撮像された術野画像ＩＭ２と、術野画像ＩＭ４と、術野画像ＩＭ６とが示されている。術野画像ＩＭ１〜術野画像ＩＭ６は、臓器Ｏに対して医療用器具ＭＤ１と、医療用器具ＭＤ２とで処置している同一の術野を撮影した画像である。術野画像ＩＭ１と、術野画像ＩＭ２とは、拡大率が大の術野画像である。術野画像ＩＭ３と、術野画像ＩＭ４とは、拡大率が中の術野画像である。術野画像ＩＭ５と、術野画像ＩＭ６とは、拡大率が小の術野画像である。

拡大率が大である術野画像ＩＭ１と、術野画像ＩＭ２とを比較する。術野画像ＩＭ１では、医療用器具ＭＤ１および医療用器具ＭＤ２のエンドエフェクタが部分的に映っていることに対し、術野画像ＩＭ２では医療用器具ＭＤ１および医療用器具ＭＤ２のエンドエフェクタの全体が映っている。このため、術野を最も拡大した場合であっても、医師などは、術野画像ＩＭ２を参照することで、医療用器具ＭＤ１と、医療用器具ＭＤ２とのエンドエフェクタの全貌を把握することができる。また、拡大率が大である術野画像ＩＭ１では、医療用器具ＭＤ１と、医療用器具ＭＤ２とのエンドエフェクタの全体が映っていないため、画像認識処理を実行し医療用器具の種別を認識する際に、画面の端の認識精度が低下する傾向がある。それに対し、術野画像ＩＭ２では、医療用器具ＭＤ１と、医療用器具ＭＤ２との全体が映っているので、画像認識処理を実行した際の医療用器具ＭＤ１と、医療用器具ＭＤ２との医療用器具の種別の認識精度が向上する。

拡大率が小の術野画像ＩＭ６は、術野全体が映っている。このため、医師などは、術野画像ＩＭ６を参照することで、術野の環境の全体を把握することができる。

すなわち、本開示では、広角レンズを用いることで広い視野を得ることができる。これにより、従来の内視鏡の画角においてズーム機能を用いて対象物に近寄った際には画面端に位置する認識対象の全貌を視認することができないため、認識率の低下を招くことがあった。そのため、アーム部１１の制御性に影響を与える可能性あった。これに対し、本開示では、広角レンズを用いることによって画面端で視認できなくなる部分を減らして、認識率を向上させることができる。これにより、本開示では、認識率を向上させた結果、アーム部１１の制御性を向上させることができる。

光源部１３は、撮像部１２が撮像対象物に光を照射する。光源部１３は、例えば、広角レンズ用のＬＥＤ（Light Emitting Diode）で実現することができる。光源部１３は、例えば、通常のＬＥＤと、レンズとを組み合わせて構成し、光を拡散させてもよい。また、光源部１３は、光ファイバで伝達された光をレンズで拡散させる（広角化させる）構成であってもよい。また、光源部１３は、光ファイバ自体を複数の方向に向けて光を照射することで照射範囲を広げてもよい。なお、図６において、光源部１３は必ずしもロボットアーム装置１０に含まれる必要はなく、アーム部１１に支持される撮像部１２に照射光を導光できればその態様は限定されない。

関節部１１１は、アーム部１１においてリンク間を互いに回動可能に連結するとともに、アーム制御部２３からの制御によりその回転駆動が制御されることによりアーム部１１を駆動する。関節部１１１は、図３に示す能動関節部４２１ａ〜４２１ｆに対応している。また、関節部１１１は、アクチュエータを有する。

関節部１１１は、関節駆動部１１１ａ及び関節状態検出部１１１ｂを有する。

関節駆動部１１１ａは、関節部１１１のアクチュエータにおける駆動機構であり、関節駆動部１１１ａが駆動することにより関節部１１１が回転駆動する。関節駆動部１１１ａは、図７に図示したモータ５０１_１などに対応する。関節駆動部１１１ａは、アーム制御部２３によってその駆動が制御される。例えば、関節駆動部１１１ａは、モータ及びモータドライバに対応する構成であり、関節駆動部１１１ａが駆動することは、モータドライバがアーム制御部２３からの指令に応じた電流量でモータを駆動することに対応している。

関節状態検出部１１１ｂは、関節部１１１の状態を検出する。ここで、関節部１１１の状態とは、関節部１１１の運動の状態を意味していてよい。例えば、関節部１１１の状態には、関節部１１１の回転角度、回転角速度、回転角加速度、発生トルク等の情報が含まれる。関節状態検出部１１１ｂは、図７に図示のエンコーダ５０２_１等に対応している。本実施形態においては、関節状態検出部１１１ｂは、関節部１１１の回転角度を検出する回転角度検出部及び関節部１１１の発生トルク及び外トルクを検出するトルク検出部を有する。なお、回転角度検出部及びトルク検出部は、アクチュエータのエンコーダ及びトルクセンサに、それぞれ対応している。関節状態検出部１１１ｂは、検出した関節部１１１の状態を制御部２０に送信する。

制御部２０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、図示しない記憶部に記憶されたプログラム（例えば、本発明に係るプログラム）がＲＡＭ（Random Access Memory）等を作業領域として実行されることにより実現される。また、制御部２０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。制御部２０は、画像処理部２１と、撮像制御部２２と、アーム制御部２３と、判別部２４と、受付部２５と、表示制御部２６とを備える。

画像処理部２１は、撮像部１２によって撮像された撮像対象物に対して種々の処理を実行する。画像処理部２１は、取得部２１１と、生成部２１２と、加工部２１３と、認識部２１４と、評価部２１５とを有する。

取得部２１１は、各種の画像を取得する。取得部２１１は、例えば、撮像部１２によって撮像された撮像対象物の画像を取得する。取得部２１１は、例えば、撮像部１２によって撮像された患者の腹腔内の第１術野画像を取得する。

生成部２１２は、撮像部１２によって撮像された第１術野画像に基づいて種々の画像を生成する。生成部２１２は、例えば、第１術野画像のうち医師が興味を持つ領域（ＲＯＩ、Region of Interest）である表示対象領域に関する画像を生成する。表示対象領域は、例えば、認識部２１４の認識結果に基づいて判断されてもよい。表示対象領域は、例えば、判別部２４によって判断されてもよい。表示対象領域は、例えば、医師が操作部３０を用いて指定してもよい。生成部２１２は、例えば、第１術野画像のうち表示対象領域を切り出すことで表示対象領域に関する画像を生成する。具体的には、生成部２１２は、第１術野画像のうち表示対象領域を切り出して拡大することで画像を生成する。この場合、生成部２１２は、アーム部１１の位置及び姿勢に応じて切り出す位置を変更するようにしてもよい。具体的には、生成部２１２は、例えば、アーム部１１の位置及び姿勢が変更した際に、表示画面に表示される画像が変化しないように、切り出し位置を変更する。生成部２１２が生成する画像は、第２術野画像と呼ばれる。

図１０を用いて、第１術野画像と第２術野画像について説明する。

図１０に示すように、斜視鏡４１００の先端部に撮像部１２が設けられているものとする。撮像部１２は、半球（２πステラジアン）の広角視野Ｒ１を撮像する。生成部２１２は、広角視野Ｒ１のうちユーザが所望する表示対象領域Ｒ２を切り出して第２術野画像を生成する。具体的には、生成部２１２は、ピッチ角θ、ロール角η、画角を任意に設定して第２術野画像を生成する。生成部２１２は、表示対象領域Ｒ２に対してズームインまたはズームアウトして第２術野画像を生成する。

従来、直視鏡におけるピッチ・ロール・ズームの３自由度や、斜視鏡におけるピッチ・ロール・ズーム・ヨーの４自由の動きは、患者の体外の機構的な自由度を用いて、直視鏡または斜視鏡の位置・姿勢を変更することで実現していた。それに対し、本開示では、図１０に示すような構成を有しているので、電子的にピッチと、ロールと、ズームとの３自由度を有しているシステムであれば、体外の機構の動きを伴わずに、従来求められていた動きと同等の動きを実現できる。また、対象までの距離を一定にした見回し動作の実現など従来の内視鏡では動きに制約を伴ったものも実現することができる。例えば、従来では、観察対象の一点を捉え続けながら見回し動作を実現するためには、斜視鏡４１００の観察軸をその点に向けた状態で円錐状に動かすことが必要であった。それに対し、本開示では、そのように斜視鏡４１００を円錐状に動かさなくとも広角視野Ｒ１内において、対象物との距離を一定にした見回し動作の姿勢を自由に取ることが可能である。また、斜視鏡４１００を観察軸方向にズームしながら見回す向きを変えるような動きでは、電子的なズームの動作を加えることで、対象物の拡大率を一定のまま見回すことができる。また、本開示では、斜視鏡４１００のピッチ、ロールの動作を電子的に実行できるので、斜視鏡４１００のピッチ、ロールの動作と、医師の作業とが干渉することを防止できる。これにより、医師の作業性が向上する。また、斜視鏡４１００のピッチ、ロールの動作を電子的に実行することで、観察対象を見回す際に、医師が斜視鏡４１００を手動で動かす動作をなくすことができる。これにより、医師の作業性が向上する。

図１１Ａと、図１１Ｂとを用いて、第１術野画像に基づいて第２術野画像を生成する処理について説明する。図１１Ａは、第１術野画像を示す図である。図１１Ｂは、第２術野画像を示す図である。

図１１Ａには、第１術野画像ＩＭ１１が示されている。第１術野画像ＩＭ１１は、患者の臓器に対して処置を施している様子を捉えた画像であり、医療用器具ＭＤ１と、医療用器具ＭＤ２と、医療用器具ＭＤ３とを含む。第１術野画像ＩＭ１１において、医療用器具ＭＤ２で処置を行っている箇所が表示対象領域Ｒ２であるとする。

生成部２１２は、第１術野画像ＩＭ２から表示対象領域Ｒ２を切り出す。生成部２１２は、図１１Ｂに示すように、切り出した表示対象領域Ｒ２を拡大して、第２術野画像ＩＭ１２を生成する。

再び図６を参照する。加工部２１３は、第１術野画像および第２術野画像に対して種々の処理を施す。加工部２１３は、例えば、第２術野画像に対して高画質化処理を施してもよい。加工部２１３は、例えば、第２術野画像に対して高画質化処理として超解像処理を施してもよい。加工部２１３は、第２術野画像に対して高画質化処理として、帯域強調処理、ＮＲ（Noise reduction）処理、手ブレ補正、輝度補正処理等を施してもよい。また、加工部２１３は、例えば、第１術野画像に対して第２術野画像と同様の画像処理を施してもよい。なお、本開示において、高画質化処理はこれらに限定されず、その他の各種の処理が含まれてよい。

図１２を用いて、第２術野画像に対して施す処理について説明する。図１２は、第２術野画像に対して施す処理を説明するための図である。

図１２に示される第２術野画像ＩＭ１２Ａは、加工部２１３が図１０Ｂに示した第２術野画像ＩＭ１２に対して高画質化処理を施した画像である。加工部２１３が高画質化処理を施すことで、表示対象領域の高画質の映像を医師に提供することができる。これにより、医師は、第２術野画像ＩＭ１２Ａを参照することで、術野を把握しやすくなる。また、上述したように、加工部２１３は、帯域強調処理、ＮＲ処理、手ブレ補正処理等を施してもよい。帯域強調処理を施すことで、特定の帯域の色を強調した画像を医師に提供することができる。これにより、医師は術野における色の違いを認識しやすくなる。また、ＮＲ処理を施すことで画像に含まれるランダムノイズを除去することができる。これにより、医師は術野を把握しやすくなる。また、手ブレ補正を施すことで画像に含まれるブレを補正することができる。これにより、医師は術野を把握しやすくなる。

再び図６を参照する。加工部２１３は、第１術野画像に対して低解像度化処理を施して第３術野画像を生成してもよい。加工部２１３は、例えば、第１術野画像の画質を劣化させて第３術野画像を生成してもよい。加工部２１３は、第３術野画像を生成することで術野画像の容量を小さくすることができる。加工部２１３は、例えば、第２術野画像とは異なる視野の第３術野画像を生成してもよい。また、加工部２１３は、第２術野画像に対しても低画質化処理を施してもよい。これにより、術野画像の容量を更に小さくすることができる。

加工部２１３は、広角の第１術野画像を加工してもよい。加工部２１３は、例えば、第１術野画像を補正してもよい。加工部２１３は、例えば、第１術野画像の端の歪み等を補正してもよい。これにより、第１術野画像に対する認識部２１４による認識精度を向上させることができる。また、加工部２１３が第１術野画像することによって、生成部２１２は、補正後の第１術野画像に基づいて、第２術野画像を生成する。これにより、第２術野画像の画質を向上させることができる。

加工部２１３は、生成部２１２が第２術野画像を生成する際に、第１術野画像における第２術野画像の切り出し位置に応じて、第２術野画像に対する補正の種類を変更してもよい。すなわち、加工部２１３は、切り出し位置が変更されるたびに補正内容を変更してもよい。加工部２１３は、例えば、切り出し位置に応じて歪み補正の強度を変更してもよい。具体的には、加工部２１３は、第２術野画像の端に近づくほど中央の領域よりも強度を強くして補正してもよい。また、加工部２１３は、第２術野画像の中央領域は強度を弱くして補正してもよいし、補正しなくてもよい。これにより、加工部２１３は、切り出し位置に応じて最適な補正を第２術野画像に対して施すことができる。その結果、第２術野画像に対する認識部２１４による認識精度を向上させることができる。また、一般に広角画像の端に近づくほど歪みが強くなりやすいため、切り出し位置に応じて補正の強度を変更することで、医師が術野の状況を違和感なく把握しやすい第２術野画像を生成することが可能となる。

加工部２１３は、アーム部１１の位置・姿勢に応じて、第２術野画像に対する補正の種類を変更してもよい。すなわち、加工部２１３は、アーム部１１の位置・姿勢が変更されるたびに補正内容を変更してもよい。これにより、加工部２１３は、アーム部１１の位置・姿勢に応じて最適な補正を第２術野画像に対して施すことができる。その結果、第２術野画像に対する認識部２１４による認識精度を向上させることができる。

加工部２１３は、制御部２０に入力された情報に基づいて、第２術野画像に施す処理を変更してもよい。具体的には、加工部２１３は、例えば、アーム部１１の関節部１１１の動きに関する情報と、第１術野画像に基づく術野環境の認識結果と、第１術野画像に含まれる物体および処置ステータスとのうちの少なくとも１つに基づいて、第２術野画像に対して施す画像処理を変更してもよい。加工部２１３が各種の状況に応じて画像処理を変更することで、医師などは第２術野画像を認識しやすくなる。

認識部２１４は、第１術野画像に基づいて、種々の情報を認識する。認識部２１４は、例えば、第１術野画像に含まれる医療用器具に関する各種の情報を認識する。認識部２１４は、例えば、第１術野画像に含まれる臓器に関する各種の情報を認識する。

図１３Ａと、図１３Ｂと、図１３Ｃと、図１３Ｄと、図１３Ｅとを用いて、認識部２１４が認識する情報について説明する。図１３Ａ〜図１３Ｅは、認識部２１４が認識する情報を説明するための図である。

図１３Ａに示す第１術野画像ＩＭ２１は、臓器Ｏに対して、医療用器具ＭＤ１１と、医療用器具ＭＤ１２と、医療用器具ＭＤ１３とを用いて処置を施している画像である。第１術野画像ＩＭ２１は、例えば、ステレオセンサで撮像された画像データである。認識部２１４は、例えば、第１術野画像ＩＭ１１に含まれる医療用器具ＭＤ１１と、医療用器具ＭＤ１２と、医療用器具ＭＤ１３との種別を認識する。認識部２１４が認識する医療用器具の種別としては、鉗子、メス、リトラクタ、内視鏡などを挙げられるが、これらに限られない。

図１３Ｂに示す第１術野画像ＩＭ２１Ａでは、各医療用器具の座標を認識している。図１３Ｂに示すように、認識部２１４は、医療用器具ＭＤ１１と、医療用器具ＭＤ１２と、医療用器具ＭＤ１３との腹腔内における３次元直交座標系における座標を認識する。認識部２１４は、例えば、医療用器具ＭＤ１１の一方の端部の座標（ｘ１，ｙ１，ｚ１）と、他方の端部の座標（ｘ２，ｙ２，ｚ２）とを認識する。認識部２１４は、例えば、医療用器具ＭＤ１２の一方の端部の座標（ｘ３，ｙ３，ｚ３）と、他方の端部の座標（ｘ４，ｙ４，ｚ４）とを認識する。認識部２１４は、例えば、医療用器具ＭＤ１３の一方の端部の座標（ｘ５，ｙ５，ｚ５）と、他方の端部の座標（ｘ６，ｙ６，ｚ６）とを認識する。

図１３Ｃに示す第１術野画像ＩＭ２１Ｂでは、臓器の深度を認識している。第１術野画像ＩＭ２１Ｂは、例えば、デプスセンサで測定された画像データである。図１３Ｃに示すように、認識部２１４は、臓器Ｏの形状を認識する。認識部２１４は、臓器Ｏにおける各箇所の深度を認識する。具体的には、認識部２１４は、深度Ｄ１と、深度Ｄ２と、深度Ｄ３と、深度Ｄ４とを認識する。図１３Ｃに示す例では、深度Ｄ１、深度Ｄ２、深度Ｄ３、深度Ｄ４の順に浅くなっている。認識部２１４は、臓器Ｏの各部の深度を認識することで、臓器Ｏの形状を立体的に認識する。

図１３Ｄに示す第１術野画像ＩＭ２１Ｃでは、各医療用器具の動きを認識している。図１３Ｄに示すように、認識部２１４は、医療用器具ＭＤ１１と、医療用器具ＭＤ１２と、医療用器具ＭＤ１３との動きを認識する。認識部２１４は、例えば、医療用器具ＭＤ１１の動きベクトルＶ１を認識することで、医療用器具ＭＤ１１の動きを認識する。認識部２１４は、例えば、医療用器具ＭＤ１３の動きベクトルＶ２を認識することで、医療用器具ＭＤ１３の動きを認識する。図１３Ｄにおいて、動きベクトルＶ１と、動きベクトルＶ２とは、例えば、モーションセンサで取得することができる。

図１３Ｅに示す第１術野画像ＩＭ２１Ｄでは、臓器の動きを認識している。図１３Ｅに示すように、認識部２１４は、臓器Ｏの動きを認識する。認識部２１４は、例えば、臓器Ｏの各箇所における動きベクトルＶ１１を認識することで、臓器Ｏの動きを認識する。図１１Ｅにおいて、動きベクトルＶ１１は、例えば、モーションセンサで取得することができる。また、第１術野画像ＩＭ２１Ｄに基づいて、オプティカルフロー等の画像処理に関するアルゴリズムによって、動きベクトルＶ１１を認識してもよい。ここで、認識された動きベクトルＶ１１に基づいて、撮像部１２の動きをキャンセルする処理を実行してもよい。

すなわち、認識部２１４は、医療用器具および臓器などの物体と、医療用器具の動きを含む処置ステータスの少なくとも一方を認識する。すなわち、本開示では、認識部２１４は、医師が視認する第２術野では視認することができない、第２術野の周辺の領域の各種の状況を認識することができる。言い換えれば、認識部２１４は、第２術野の周辺の領域を監視することができる。

再び図６を参照する。評価部２１５は、第１術野画像から第２術野画像を生成する表示対象領域として医師の興味領域を評価する。評価部２１５は、例えば、認識部２１４による術野の認識結果に基づいて、医師の興味領域を判定する。

撮像制御部２２は、撮像部１２を制御する。撮像制御部２２は、例えば、撮像部１２を制御して術野を撮像する。撮像制御部２２は、例えば、撮像部１２の拡大率を制御する。

撮像制御部２２は、例えば、判別部２４から受けた判定結果に基づいて、撮像部１２の拡大率を制御する。撮像制御部２２は、例えば、受付部２５で受け付けた操作部３０からの操作情報に基づいて、撮像部１２の拡大率を制御する。

また、撮像制御部２２は、光源部１３を制御する。撮像制御部２２は、例えば、撮像部１２が術野を撮像する際に光源部１３の明るさを制御する。

撮像制御部２２は、例えば、判別部２４から受けた判定結果に基づいて、光源部１３の明るさを制御する。撮像制御部２２は、例えば、興味領域に対する撮像部１２の位置関係に基づいて、光源部１３の明るさを制御する。撮像制御部２２は、例えば、受付部２５で受け付けた操作部３０からの操作情報に基づいて、光源部１３の明るさを制御する。

アーム制御部２３は、ロボットアーム装置１０を統合的に制御するとともに、アーム部１１の駆動を制御する。具体的には、アーム制御部２３は、関節部１３０の駆動を制御することにより、アーム部１１の駆動を制御する。より具体的には、アーム制御部２３は、関節部１３０のアクチュエータにおけるモータに対して供給される電流量を制御することにより、当該モータの回転数を制御し、関節部１３０における回転角度及び発生トルクを制御する。

アーム制御部２３は、例えば、判別部２４から受けた認識部２１４の認識結果に対する判定結果に基づいてアーム部１１の位置・姿勢を制御する。アーム制御部２３は、学習済みモデルに基づいて、アーム部１１の位置・姿勢を制御する。アーム制御部２３は、例えば、受付部２５で受け付けた操作部３０からの操作情報に基づいてアーム部の位置・姿勢を制御する。アーム制御部２３は、例えば、判別部２４から受けた判定結果に基づいて、第２術野画像の切り出し位置を制御する。アーム制御部２３は、例えば、判別部２４から受けた判定結果に基づいて、第２術野画像のサイズを制御する。

アーム制御部２３は、例えば、評価部２１５によって判定された第１術野画像における興味領域の画質を向上させるようにアーム部１１の位置・姿勢を制御する。アーム制御部２３は、例えば、興味領域からの鏡面反射を避けるように、アーム部１１の位置・姿勢を制御する。これにより、アーム制御部２３は、興味領域に対する撮像部１２と光源部１３の相対的な位置関係を変更する。具体的には、アーム制御部２３は、興味領域の端部の歪みを抑えるように撮像部１２の位置・姿勢を制御する。

この場合、アーム制御部２３は、例えば、ユーザの視野を遮る医療用器具を避けるように、アーム部１１の関節部１１１を駆動して、アーム部１１の位置・姿勢を制御してもよい。また、アーム制御部２３は、例えば、第１術野画像の中心から興味領域をずらすように、アーム部１１の位置・姿勢を制御して、アーム部１１の位置・姿勢を制御してもよい。

また、アーム制御部２３は、興味領域が第１術野画像の略中心に位置するように制御してもよい。これにより、医師などは興味領域を視認しやすくなる。

判別部２４は、予め学習された学習済みモデルに基づいて、各種の判定結果を出力する。学習済みモデルは、判別部２４が記憶していてもよいし、記憶部６０が記憶していてもよい。判別部２４は、例えば、例えば、執刀医による処置に関する情報を含む処置ステータスと、スコピストによるカメラ操作に関する内視鏡操作データを含む学習用データを学習することで生成された学習済みモデルに基づいて、各種の判定結果を出力する。判別部２４は、例えば、学習済みモデルに基づいて術野における医師の興味領域を判定する。

なお、本開示において、学習済みモデルを生成する際に使用される学習データは、処置ステータスと、内視鏡操作データに限られない。学習済みモデルは、例えば、その他の手術に関するデータに基づいて、生成されてもよい。手術に関するデータは、例えば、手術で使用される医療用器具に関する情報を含んでよい。ここで、医療用器具に関する情報は、例えば、医療用器具によって生成された画像データと、医療用器具の操作に関する情報を含んでよい。本開示では、各種の医療用器具によって撮像された画像データや、各種の医療用器具の操作に関する情報に基づいて生成された学習済みモデルを用いることで、判別精度を向上させることができる。

具体的には、学習データは、例えば、ステレオセンサ、デプスセンサ、及びモーションセンサの少なくとも一つの測定結果を含んでよい。より具体的には、学習データは、ステレオセンサ、デプスセンサ、及びモーションセンサの少なくとも１つから得られた医療用器具の位置、姿勢、種類、動き、及び臓器の少なくとも１つを含む術野環境の情報を含んでよい。ステレオセンサ、デプスセンサ、及びモーションセンサの少なくとも一つの測定結果に基づいた学習済みモデルを用いることで、手術中に測定されたステレオセンサ、デプスセンサ、及びモーションセンサ等の測定結果を用いて、医師の興味領域を判定することができる。

また、学習済みモデルを生成する際に使用される手術に関するデータは、アーム部１１に関する情報を含んでもよい。アーム部１１に関する情報は、例えば、アーム部１１の関節部１１１の状態に関する情報を含んでよい。アーム部１１の関節部１１１の状態に関する情報は、例えば、アーム部１１の関節部の位置、姿勢、および動き等の各種の情報を含んでよい。本開示では、アーム部１１の各種の情報に基づいて生成された学習済みモデルを用いることで、判別精度を向上させることができる。

また、アーム部１１に関する情報は、アーム部１１に把持された医療用器具に関する情報を含んでよい。医療用器具に関する情報は、例えば、医療用器具の種類、医療用器具の位置情報及び姿勢情報の少なくとも１つを含んでよい、本開示では、アーム部１１に把持された医療用器具に関する各種の情報に基づいて生成された学習済みモデルを用いることで、判別精度を向上させることができる。

判別部２４は、例えば、予め生成された学習済みモデルに基づいて、医師が視認したい興味エリア（興味領域）、撮像部１２の取るべき位置及び姿勢、内証鏡の先端から対象物までの距離情報を含む視線ベクトルを判定する。アーム制御部２３は、判別部２４の判定結果に基づいて、アーム部１１の位置及び姿勢と、第２術野画像の切り出し位置を計算し、計算結果に基づいて駆動する。

また、本開示では、制御部２０が、学習済みモデルを生成する機能を有していてもよい。この場合、制御部２０は、学習用のモデルを保持し、生成した学習済みモデルを記憶部６０に記憶する。

本開示で使用する学習済みモデルは、各種の入力情報が有する特徴に基づいて、入力情報の分類や分類結果に応じた処理を行う学習済みモデルの学習を行うことで生成される。学習済みモデルは、入力層と、中間層（隠れ層）と、出力層とを含む複数のノードを有する多層のニューラルネットワークで実現されてもよい。判別部２４は、例えば複数の隠れ層を有するＤＮＮ（Deep Neural Network）を学習済みモデルとする学習を行う。以下では、判別部２４がＤＮＮを実行する場合を例に説明するが、本開示はこれに限定されない。

学習済みモデルには、入力層を介して各種の入力情報が入力される。学習済みモデルは、入力層を介して各種の入力情報が入力されると、複数の中間層において入力情報が有する特徴の抽出処理等を行う。より具体的には、モデルは、直列に接続された複数の中間層を有し、入力情報に対し、各中間層が各種の処理を順次行うこととなる。そして、モデルは、出力層を介して、中間層が出力した情報に基づく分類結果等の各種処理結果を入力された入力情報に対応する出力情報として出力する。このようなモデルは、所定の入力情報を入力した際に、所望する出力情報を出力するようにノード間の接続係数を補正することで、入力情報が有する特徴を学習することとなる。このような学習は、例えば、バックプロパゲーション等の手法により実現可能である。

制御部２０は、各種の手術に関する学習済みモデルを生成してもよいし予め決められたモデルを保持してもよい。制御部２０は、例えば、執刀医による処置に関する情報を含む処置ステータスと、スコピストによるカメラ操作に関する内視鏡捜査データを含む学習用データから学習済みモデルを生成する。制御部２０は、例えば、トラッキングデバイスで測定された医療用器具と、内視鏡の位置および姿勢とを学習用データとして学習済みモデルを生成する。制御部２０は、例えば、ステレオ内視鏡で撮影された各対象物のデプスと動きや、医療用器具の種類などを含む内視鏡画像を学習データとして学習済みモデルを生成する。

制御部２０は、各種の手術ロボットに関するデータを学習用データとして、学習済みモデルを生成してもよい。制御部２０は、例えば、医師およびスコピストによる手術ロボットに対する各種の操作情報を学習用データとして、学習済みモデルを生成する。制御部２０は、例えば、図３に図示の支持アーム装置４００を用いた処置を学習用データとして学習済みモデルを生成してもよい。

判別部２４は、学習済みモデルを用いたディープラーニングを実行する。判別部２４は、例えば、図１３Ａ〜図１３Ｅを用いて説明した認識部２１４による各種の認識結果を受け付ける。判別部２４は、例えば、認識結果に基づいて、医師が所望する広角画像における術野の切り出し位置や、アーム部１１の位置や姿勢を判定する。

図１４Ａと、図１４Ｂと、図１４Ｃとを用いて、判別部２４の判定結果について説明する。図１４Ａ〜図１４Ｃは、判別部２４の判定結果を説明するための図である。

図１４Ａに示すように、判別部２４は、例えば、認識部２１４による各種の認識結果に基づいて、医療用器具ＭＤ１２（内視鏡）を向けるべき注視点Ｐ１を判定する。判別部２４は、例えば、医療用器具ＭＤ１１と、臓器Ｏの対象領域Ｒ１１との間の距離Ｌ１を判定する。判別部２４は、例えば、医療用器具ＭＤ１２と、対象領域Ｒ１１との間の距離Ｌ２を判定する。判別部２４は、例えば、医療用器具ＭＤ１３と、対象領域Ｒ１１との間の距離Ｌ３を判定する。

図１４Ｂに示すように、判別部２４は、例えば、認識部２１４の各種の認識結果に基づいて、医療用器具ＭＤ１２（内視鏡）の先端と、内視鏡を向けるべき注視点Ｐ２とを結んだ視線ベクトルＶ２１を判定する。または、判別部２４は、医療用器具ＭＤ１２（内視鏡）を注視点Ｐ２に向けるための軌道計画を判定する。

図１４Ｃに示すように、判別部２４は、例えば、認識部２１４の各種の認識結果に基づいて、医療用器具ＭＤ１２（内視鏡）の先端と、内視鏡を向けるべき注視点Ｐ３とを結んだ視線ベクトルＶ２１を判定する。判別部２４は、例えば、医療用器具ＭＤ１２（内視鏡）の先端と、内視鏡を向けるべき注視点Ｐ２とを結んだ視線ベクトルが視線ベクトルＶ２１となるような医療用器具ＭＤ１２（内視鏡）の位置・姿勢ＰＰ１を判定する。

判別部２４は、図１４Ａ〜図１４Ｃで示したような各種の判定結果を、撮像制御部２２と、アーム制御部２３とに出力する。撮像制御部２２は、例えば、判別部２４から受けた判定結果に基づいて、撮像部１２の拡大率を制御する。アーム制御部２３は、例えば、判別部２４から受けた判定結果に基づいてアーム部１１の位置・姿勢を制御する。

すなわち、判別部２４は、第１術野画像に含まれる物体（例えば、医療用器具及び臓器）および処置ステータスのうち少なくとも一方に基づいて、アーム部１１の位置・姿勢を決定する。また、判別部２４は、臓器の種類及び形状と、医療用器具の位置、姿勢及び形状との少なくとも一方に基づいてアーム部１１の位置・姿勢を決定する。

判別部２４は、判定結果に基づいてアーム部の位置・姿勢を制御した結果が、医師が所望していた制御であるか否かに基づいて、学習済みモデルの重みを更新する。具体的には、判別部２４は、例えば、判定結果に基づいてアーム部の位置・姿勢を制御した結果が、誤った判定結果であった場合に、学習済みモデルの重みを更新する。判別部２４は、重みを更新した学習済みモデルを記憶部６０に記憶する。判別部２４は、例えば、学習済みモデルの重みを更新するたびに、その学習済みモデルを記憶部６０に記憶する。

受付部２５は、操作部３０に入力された各種の操作情報を受け付ける。操作情報は、音声で入力されたものであってもよいし、物理的な機構で入力されたものであってもよい。操作部３０からの操作情報は、例えば、撮像部１２の拡大率や、アーム部１１の位置・姿勢を変更するための指示情報である。受付部２５は、例えば、指示情報を撮像制御部２２と、アーム制御部２３とに出力する。撮像制御部２２は、例えば、受付部２５から受けた指示情報に基づいて、撮像部１２の拡大率を制御する。アーム制御部２３は、例えば、受付部から受けた指示情報に基づいて、アーム部１１の位置・姿勢を制御する。

表示制御部２６は、各種の映像を第１術野画像表示部４０と、第２術野画像表示部５０とに表示させる。表示制御部２６は、例えば、取得部２１１が撮像部１２から取得した第１術野画像を第１術野画像表示部４０に表示する。表示制御部２６は、例えば、生成部２１２が生成した第２術野画像を第２術野画像表示部５０に表示する。

操作部３０は、ユーザからの各種の操作情報を受け付ける。操作部３０は、例えば、音声を検出するマイク、視線を検出する視線センサ、物理的な操作を受け付けるスイッチやタッチパネルで構成される。操作部３０は、その他の物理的な機構で構成されてもよい。

第１術野画像表示部４０と第２術野画像表示部５０とは、各種の画像を表示する。第１術野画像表示部４０は、例えば、撮像部１２によって撮像された第１術野画像を表示する。第２術野画像表示部５０は、例えば、生成部２１２によって生成された第２術野画像を表示する。第１術野画像表示部４０と、第２術野画像表示部５０とは、例えば、液晶ディスプレイ（LCD：Liquid Crystal Display）または有機ＥＬ（Organic Electro-Luminescence）ディスプレイ等を含むディスプレイである。

また、本開示の、医療用観察システム１は、例えば、上述した第３術野画像を表示する図示しない第３術野画像表示部を備えていてもよい。第３術野画像表示部は、例えば、執刀医の助手によって視認される表示部である。本開示では、助手用の第３術野画像表示部を備えることで、作業性を向上させることができる。

記憶部６０は、各種の情報を記憶する。記憶部６０は、例えば、判別部２４によって生成された学習済みモデルを記憶する。記憶部６０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。

上述のとおり、本開示では、従来の内視鏡に相当する第２術野画像に対して超解像処理を施した精密な画像を医師に提供することができる。また、撮像部１２で撮像した第１術野画像に認識処理を実行することで、医師の視認できない死角で発生する事象の検出が可能となる。

また、上述したようにアーム部１１の位置・姿勢は、ユーザから受け付けた操作部３０への操作情報に加えて、判別部２４からの第１術野画像の判定結果に基づいて、自律的に制御することができる。判別部２４による操作と、操作部３０による操作とは、切り替えてもよいし、同時に使用してもよい。例えば、操作部３０が視線検出センサで構成されている場合、ユーザが第２術野画像表示部５０における注視点を検出し、判別部２４によって注視点の拡大量を決めるなど組み合わせて使用してもよい。

また、患者の体内環境で内視鏡の視線を６自由度で制御しようとした場合、従来ではマスタースレーブ装置のような多自由度の入力装置でなければ制御が困難であった。本開示では、術野の広角映像に基づいてアーム部１１を自律的に制御することによって、患者の体内環境下における視線を制御している。そのため、ユーザの操作や特殊な入力装置を用いることなく、患者の体内環境で視線を自由に変更することが可能となる。

図１５を用いて、本発明の実施形態に係る制御部２０がアーム部の位置・姿勢を制御する処理について説明する。図１５は、本発明の実施形態に係る制御部２０がアーム部の位置・姿勢を制御する処理の流れの一例を示すフローチャートである。

まず、制御部２０は、第１術野画像を取得する（ステップＳ１０１）。具体的には、取得部２１１が、第１術野画像を撮像部１２から取得する。そして、ステップＳ１０２に進む。

次いで、制御部２０は、第１術野画像に基づいて、術野を認識する（ステップＳ１０２）。具体的には、認識部２１４が、第１術野画像に含まれる医療用器具の種別や、医療用器具および臓器の状態などを認識する。そして、ステップＳ１０３に進む。

次いで、制御部２０は、アーム部１１の取るべき位置・姿勢を判定する（ステップＳ１０３）。具体的には、判別部２４が、ステップＳ１０２における認識部２１４の認識結果に基づいて、アーム部１１が取るべき位置・姿勢（認識された術野環境において理想的な位置・姿勢）を判定する。そして、ステップＳ１０４に進む。

次いで、制御部２０は、アーム部１１の位置・姿勢を制御する（ステップＳ１０４）。具体的には、アーム制御部２３が、ステップＳ１０３における判別部２４の判定結果に基づいて、アーム部１１の位置・姿勢を制御する。そして、図１５の処理を終了する。

図１６を用いて、本発明の実施形態に係る制御部２０が第１術野画像から医師用の第２術野画像を生成する処理について説明する。図１６は、本発明の実施形態に係る制御部２０が第１術野画像から医師用の第２術野画像を生成する処理の流れの一例を説明するためのフローチャートである。

本開示では、図１５に図示のアーム部１１の位置・姿勢を制御する処理と、図１６に図示の第１術野画像から第２術野画像を生成する処理は並行して実行される。

まず、制御部２０は、第１術野画像を取得する（ステップＳ２０１）。具体的には、取得部２１１が、第１術野画像を撮像部１２から取得する。そして、ステップＳ２０２に進む。

次に、制御部２０は、第２術野画像の切り出し位置を判定する（ステップＳ２０２）。具体的には、認識部２１４が、第１術野画像に含まれる医療用器具や臓器に基づいて、切り出し位置を判定する。そして、ステップＳ２０３に進む。

次に、制御部２０は、第２術野画像を生成する（ステップＳ２０３）。具体的には、生成部２１２が、ステップＳ２０２における判定結果に基づいて、第１術野画像から第２術野画像を切り出して生成する。そして、ステップＳ２０４に進む。

次に、制御部２０は、第２術野画像を第２術野画像表示部５０に表示する（ステップＳ２０４）。具体的には、表示制御部２６が、ステップＳ２０３で生成された第２術野画像を第２術野画像表示部５０に表示する。そして、図１６の処理を終了する。

図１７を用いて、本発明の実施形態に係る制御部２０が第１術野画像の認識結果に基づいて、第２術野画像の切り出し位置を制御する処理の流れについて説明する。図１７は、本発明の実施形態に係る制御部２０が第１術野画像の認識結果に基づいて、第２術野画像の切り出し位置を制御する処理の流れの一例を示すフローチャートである。

まず、制御部２０は、第１術野画像を取得する（ステップＳ３０１）。具体的には、取得部２１１が、第１術野画像を撮像部１２から取得する。そして、ステップＳ３０２に進む。

次いで、制御部２０は、第１術野画像に基づいて、術野を認識する（ステップＳ３０２）。具体的には、認識部２１４が、第１術野画像に含まれる医療用器具の種別や、医療用器具および臓器の状態などを認識する。そして、ステップＳ３０３に進む。

次いで、制御部２０は、第１術野画像の認識結果に基づいて、撮像部１２の取るべき位置及び姿勢を算出する（ステップＳ３０３）。具体的には、判別部２４が、ステップＳ３０２における認識結果と、学習済みモデルとに基づいて、撮像部１２の取るべき位置及び姿勢（最適な位置及び姿勢）を算出する。そして、ステップＳ３０４に進む。

次いで、制御部２０は、アーム部１１の取るべき位置及び姿勢と、第２術野画像の切り出し位置を判定する（ステップＳ３０４）。具体的には、アーム制御部２３が、ステップＳ３０３の算出結果に基づいて、アーム部１１の取るべき位置及び姿勢と、第２術野画像の切り出し位置を判定する。そして、ステップＳ３０５に進む。

次いで、制御部２０は、アーム部１１の取るべき位置及び姿勢と、第２術野画像の切り出し位置を制御する（ステップＳ３０５）。具体的には、アーム制御部２３が、ステップＳ３０４の判定結果に基づいて、アーム部１１の取るべき位置及び姿勢と、第２術野画像の切り出し位置を制御する。そして、図１７の処理を終了する。

［５．斜視鏡を支持するアームの制御］
本実施形態では、ハンドアイコーディネートを維持した内視鏡ホルダアームを実現することを可能とする技術について主に説明する。なお、ハンドアイコーディネートは、手の感覚と目の感覚（視覚）との協調（手の感覚と目の感覚（視覚）とが合うこと）を意味し得る。かかる技術は、「（１）斜視鏡ユニットを、複数の連動リンクとしてモデル化すること」を特徴の一つとして有する。また、かかる技術は、「（２）アームの全身協調制御を拡張し、相対運動空間と連動リンクとの関係性を用い制御を行うこと」を特徴の一つとして有する。

図１８を用いて、硬性鏡の一例である斜視鏡の使用方法と動作について説明する。図１８は、斜視鏡の光軸を説明するための図である。図１８を参照すると、斜視鏡４１００における硬性鏡軸Ｃ２および斜視鏡光軸Ｃ１が示されている。

ここで、スコピストは手術中に、斜視鏡の回転操作に伴い、術者のハンドアイコーディネートを維持するため、カメラヘッドＣＨを回転させ、モニタ画面の調整を行う。そして、スコピストがカメラヘッドＣＨを回転させると、硬性鏡軸Ｃ２周りにアーム動特性が変化する。モニタ上の表示画面は、斜視鏡光軸Ｃ１周りに回転する。

本開示では、スコピストが実施していた内視鏡の回転操作等を、上述したとおり電子的な自由度を変更することで、ハンドアイコーディネートを維持する。

続いて、上記の「（１）斜視鏡ユニットを、複数の連動リンクとしてモデル化すること」について説明する。本実施形態においては、上記のような硬性鏡軸Ｃ２周りの動作および斜視鏡光軸Ｃ１周りの動作の特性をモデル化して制御を行う。まず、斜視鏡を、実回転リンクと仮想回転リンクとでモデル化する。なお、本明細書においては、実リンクの例として実回転リンクを用い、仮想リンクの例として仮想回転リンクを用いて主に説明する。しかし、実回転リンクの代わりに他の実リンク（並進する実リンクなど）が用いられてもよいし、仮想回転リンクの代わりに他の仮想リンク（並進する仮想リンクなど）が用いられてもよい。実回転リンクの軸は、硬性鏡軸Ｃ２（＝イメージャの回転軸）であってよく、仮想回転リンクの軸は、斜視鏡光軸Ｃ１であってよい。ここで、仮想回転リンクは、実際には存在しないリンクであり、実回転リンクと連動して動作を行う。

図１９は、モデル化と制御について説明するための図である。図１９を参照すると、各リンクにおける回転角度が示されている。また、図１９を参照すると、モニタ座標系ＭＮＴが示されている。具体的には、下記の（１）で表される相対運動空間Ｃが０になるように制御がなされる。

続いて、上記の「（２）アームの全身協調制御を拡張し、相対運動空間と連動リンクとの関係性を用い制御を行うこと」について説明する。本実施形態においては、連動リンクと相対運動空間を用いた拡張により、統一的に全身協調制御を行う。関節空間には、実回転軸と仮想回転軸が考慮される。実回転軸と仮想回転軸は、アーム構成に依らない。また、運動目的には、デカルト空間に加え、相対運動空間が考慮される。デカルト空間の運動目的を変えることで、様々な動作が可能となる。

例えば、かかる全身協調制御の拡張を６軸アームおよび斜視鏡ユニットに適用した場合を想定する。図３には、各リンクにおける回転角度がｑ_１〜ｑ_８として示されている。ｑ_７が上記の実回転リンクの軸（＝イメージャの回転軸）周りの回転角度に相当し、ｑ_８が仮想回転リンクの軸周りの回転角度に相当している。図２０は、全身協調制御の拡張を６軸アームおよび斜視鏡ユニットに適用した場合における各リンク構成の例を示す図である。このとき、制御式は、下記の（２）のように表される。

ここで、上記の（２）において、ｑ_８の時間微分値と相対運動空間ｃの時間微分値とが、全身協調制御の拡張部分に相当する。

以上、「（２）アームの全身協調制御を拡張し、相対運動空間と連動リンクとの関係性を用い制御を行うこと」について説明した。

［６．仮想リンクの設定］
続いて、仮想リンクの設定について説明する。まず、本開示の仮想リンクを設定する方法を説明する前にアームの機構を制御して、仮想リンクを設定する方法について説明する。

仮想リンクの条件を設定する演算条件設定部は、仮想リンクの例としての仮想回転リンクを設定する仮想リンク設定部として機能し得る。例えば、演算条件設定部は、仮想リンクの距離および向きの少なくともいずれか一方を設定することによって仮想リンクを設定する。図２０に「仮想回転リンク」と「実回転リンク」との例が示されている。図２０に示されるように、実回転リンクは、スコープの鏡筒軸に対応するリンクである。仮想回転リンクは、スコープの斜視鏡光軸Ｃ１に対応するリンクである。

演算条件設定部は、アームの実回転リンク先端と、斜視鏡光軸Ｃ１上に存在する任意の点及び上記点間を結ぶ線を基準に定義された座標系に基づき仮想回転リンクをモデル化し、全身協調制御を用いる。これによって、アームのハードウェア構成に依存せずに、仮想回転リンク座標系における姿勢固定や、術中であればスコープ挿入位置となるトロッカ点の位置を維持しながら仮想回転リンク先端にある任意点方向への視点固定などの運動目的の実現が可能となる。なお、実回転リンク先端は、アーム上の光軸Ｃ１が通過する点を意味し得る。

演算条件設定部は、接続されるスコープ仕様や、空間上の任意の点に基づいて仮想回転リンクを設定することが可能である。スコープ仕様に基づく仮想回転リンクの設定によれば、仮想回転リンクが設定される条件を、特定のスコープが用いられる場合に限定する必要がないため、スコープ変更時に仮想回転リンク設定による動的なモデル更新のみで、運動目的の動作実現が可能となる。

スコープ仕様は、スコープの構造的仕様およびスコープの機能的仕様のうち少なくともいずれか一方を含み得る。このとき、スコープの構造的仕様は、スコープの斜視角、スコープの寸法のうち少なくともいずれか一方を含んでよい。スコープ仕様は、スコープの軸の位置を含んでもよい（スコープの軸に関する情報は、実回転リンクの設定に利用され得る）。また、スコープの機能的仕様は、スコープのフォーカス距離を含んでよい。

例えば、スコープ仕様に基づく仮想回転リンク設定のケースにおいては、斜視角情報からは実回転リンク先端からの接続リンクとなる仮想回転リンクの方向決定が可能となる。また、スコープ寸法情報からは実回転リンク先端に接続する仮想回転リンクまでの距離の決定が可能となる。フォーカス距離情報からは、フォーカス点を運動目的の固定対象とするために仮想回転リンクの長さを決定することが可能となる。これによって、同一制御アルゴリズムを用いて、仮想回転リンクの設定変更のみで、様々な種類のスコープ変更に対応した運動目的の動作実現が可能となる。

さらに、スコープが変更される場合において、上記の仮想回転リンクは、アームのハードウェア構成に依存しない仮想的なリンクとして動的に変更され得る。例えば、斜視角３０度の斜視鏡から斜視角４５度の斜視鏡に変更された際に、変更後のスコープ仕様に基づき新たな仮想回転リンクを再設定することが可能となる。これによって、スコープ変更に応じた運動目的の切り替えが可能となる。

スコープ仕様に基づく仮想回転リンク設定は、スコープ仕様の情報がアームシステムに設定された時点で更新されるが、アームシステムへの情報入力手段は限定されない。例えば、演算条件設定部が、スコープ接続時にスコープに対応するスコープＩＤを認識し、認識したスコープＩＤに対応するスコープの仕様を取得することも可能である。

このとき、演算条件設定部は、スコープＩＤがスコープのメモリに書き込まれている場合には、当該メモリから読み込んだスコープＩＤを認識してもよい。かかる場合には、変更後のスコープ仕様がユーザから入力されなくても仮想回転リンクが更新されるため、手術をスムーズに継続され得る。あるいは、スコープ表面にスコープＩＤの表記がある場合などには、当該スコープＩＤを見たユーザが入力部２１０を介してスコープＩＤを入力情報として入力し、演算条件設定部は、入力情報に基づいてスコープＩＤを認識してもよい。

また、スコープＩＤに対応するスコープ仕様は、どこから取得されてもよい。例えば、スコープ仕様がアームシステム内のメモリに蓄積されている場合には、アームシステム内のメモリからスコープ仕様が取得されてもよい。あるいは、スコープ仕様がネットワークに接続された外部装置に蓄積されている場合には、ネットワーク経由でスコープ仕様が取得されてもよい。このようにして取得されたスコープ仕様に基づいて仮想回転リンクが自動設定され得る。

仮想回転リンクは、接続されるスコープ先端から任意の距離に存在する観察対象物の任意点を仮想回転リンク先端として設定することも考えられる。そこで、演算条件設定部は、センサから得られるスコープ先端から観察対象物までの距離または向きに基づいて仮想回転リンクを設定または変更してもよい。演算条件設定部は、観察対象物の位置が動的に変化するケースにおいても、観察対象物の空間的な位置を特定するためのセンサ情報を基に、スコープ先端に対する方向や距離情報を取得し、その情報をもとに仮想回転リンクの設定または更新を行ってもよい。これによって、観察対象物を注視し続ける動作要求に対して、術中に観察対象物の切り替えを行いながら、注視動作の実現が可能となる。

従来では、スコープ先端から観察対象物までの距離または向きを取得し、取得した情報に基づいて、仮想回転リンクの設定または変更を行っている。

それに対して、本開示は、図１０を用いて説明したように、電子的にピッチと、ロールと、ズームとの３自由度を有している。また、対象までの距離を一定にした見回しの動作の実現など従来の内視鏡では動きに制約を伴ったものも実現することができる。例えば、本開示では、対象物との距離を一定にした見回し動作の姿勢を自由にとれる。また、本開示では、電子的なズームの動作を加えることで、対象物の拡大率を一定のまま見回すことができる。すなわち、本開示は、機構の動きを必要とせずに、電子的な自由度の動きによって仮想リンクの動きを実現することができる。

［７．ハードウェア構成］
上述してきた制御部２０等の情報機器は、例えば図２１に示すような構成のコンピュータ１０００によって実現される。図２１は、制御部２０等の情報処理装置の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。以下、実施形態に係る制御部２０を例に挙げて説明する。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read Only Memory）１３００、ＨＤＤ（Hard Disk Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。

ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic Input Output System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。

通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。

入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が実施形態に係る制御部２０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、制御部２０等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る情報処理プログラムや、記憶部１４内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。

（効果）
医療用観察システム１は、複数のリンクが関節部により連結されたアーム部１１と、アーム部１１に支持され、第１術野画像を撮像する撮像部１２と、第１術野画像に基づいてアーム部１１の関節部１１１を駆動してアーム部１１の位置及び姿勢を制御する制御部２０と、を備える。制御部２０は、第１術野画像のうち表示対象領域に基づいて第２術野画像を生成して外部へ出力し、第１術野画像に基づく術野環境の認識結果に基づいて、撮像部の位置及び姿勢を決定する。

この構成によれば、画像処理における電子的自由度と、アーム部１１の機構的自由度とを組み合わせた、医療用観察システムを提供することができる。これにより、アーム部１１の機構をシンプルにすることができるので、コストの向上を抑制することができる。また、所望の動きを実現する際のアーム部の動きを最小化し、患者の体内の医療用器具等との干渉を軽減することができる。また、ハンドアイコーディネートを適切に調整し、医師の作業性を向上することができる。

撮像部１２は、広角光学系を有してよい。

この構成によれば、画像処理における電子的自由度と、アーム部１１の機構的自由度とを組み合わせた、医療用観察システムを提供することができる。これにより、アーム部１１の機構をシンプルにすることができるので、コストの向上を抑制することができる。また、所望の動きを実現する際のアーム部の動きを最小化し、患者の体内の医療用器具等との干渉を軽減することができる。また、ハンドアイコーディネートを適切に調整し、医師の作業性を向上することができる。

制御部２０は、第１術野画像の少なくとも一部を切り出すことで第２術野画像を生成してよい。

この構成によれば、広角で撮像された第１術野画像から医師が見たい領域である第２術野画像を切り出して生成することができる。これにより、仮想リンクの向きと長さを、特別な機構を必要とせずに実現することができる。

制御部２０は、アーム部１１の位置及び姿勢に応じて切り出す位置を変更して第２術野画像を生成してよい。

この構成によれば、アーム部１１の位置及び姿勢が変更された際に、切り出し位置を再設定することができる。これにより、アーム部１１の位置及び姿勢が変更された場合であっても、画面上における第２術野画像を変化しないようにすることができる。

制御部２０は、認識結果に基づいて第１術野画像から切り出す位置を決定して、第２術野画像を生成してよい。

この構成によれば、認識結果に基づいた、第２術野画像を生成することができる。その結果、医師が所望する第２術野画像を精度よく生成することができる。

制御部２０は、認識結果に基づいて第１術野画像中の注視点を判定し、注視点を含む第２術野画像を生成してよい。

この構成によれば、第１術野画像中の注視点を第２術野画像を生成することができる。その結果、医師が所望する第２術野画像をより精度よく生成することができる。

制御部２０は、手術に関するデータを学習データとして生成された学習済みモデルに基づいてアーム部１１の関節部１１１を駆動してよい。

この構成によれば、手術に関する学習データに基づいてアーム部１１を制御することができる。そのため、医師の指示がなくても、自律的にアーム部１１の位置及び姿勢を制御することができる。また、過去の手術に関する学習データに基づいて生成された学習済みモデルに基づくことで、最適な制御を実現することができる。

手術に関するデータは、手術で使用される医療用器具に関する情報を含んでよい。

この構成によれば、手術で使用される医療用器具に基づいて制御することができる。そのため、医師の指示がなくても、医療用器具に応じて自律的にアーム部１１の位置及び姿勢を制御することができる。

医療用器具に関する情報は、医療用器具の画像と、医療用器具の操作に関するデータを含んでよい。

この構成によれば、手術で使用される医療用器具の画像と、医療用器具の操作に関するデータに基づいて制御することができる。その結果、アーム部１１の位置・姿勢をより適切に制御することができる。

医療用器具は、内視鏡であってよい。

この構成によれば、手術で使用される内視鏡の画像と、内視鏡の操作に関するデータに基づいて制御することができる。

手術に関するデータは、アーム部１１に関する情報を含む。

この構成によれば、アーム部１１に関する情報に基づいて制御することができる。そのため、医師の指示がなくても、アーム部１１に関する情報に応じて自律的にアーム部１１の位置及び姿勢を制御することができる。

アーム部１１に関する情報は、アーム部１１の関節部１１１の状態に関する情報を含む。

この構成によれば、アーム部１１の関節部１１１の状態に関する情報に基づいて制御することができる。その結果、アーム部１１の位置・姿勢をより適切に制御することができる。

アーム部１１の関節部１１１に関する情報は、アーム部１１の関節部１１１の動きに関する情報を含む。

この構成によれば、アーム部１１の関節部１１１の動きに関する情報に基づいて制御することができる。その結果、アーム部１１の位置・姿勢をより適切に制御することができる。

アーム部１１に関する情報は、アーム部１１に把持された医療用器具に関する情報を含む。

この構成によれば、アーム部１１に把持された医療用器具に関する情報に基づいて制御することができる。そのため、医師の指示がなくても、アーム部１１に把持された医療用器具に関する情報に応じて自律的にアーム部１１の位置及び姿勢を制御することができる。

アーム部１１に把持された医療用器具に関する情報は、医療用器具の種類、医療用器具の位置情報及び姿勢情報の少なくとも１つを含む。

この構成によれば、アーム部１１に把持された医療用器具の位置情報及び姿勢情報の少なくとも一方に基づいて制御することができる。その結果、アーム部１１の位置・姿勢をより適切に制御することができる。

学習データは、ステレオセンサ、デプスセンサ、及びモーションセンサの少なくとも一つの測定結果を含む。

この構成によれば、ステレオセンサ、デプスセンサ、及びモーションセンサの少なくとも一つの測定結果を含む学習データを用いて、アーム部１１の関節部１１１を駆動することができる。これにより、手術中のステレオセンサ、デプスセンサ、及びモーションセンサによる測定結果に基づいて、アーム部１１の位置・姿勢をより適切に制御することができる。

学習データは、ステレオセンサ、デプスセンサ、及びモーションセンサの少なくとも１つから得られた医療用器具の位置、姿勢、種類、動き、及び臓器の少なくとも１つを含む術野環境の情報を含む。

この構成によれば、ステレオセンサ、デプスセンサ、及びモーションセンサの少なくとも１つから得られた医療用器具の位置、姿勢、種類、動き、及び臓器等の情報に基づいて、アーム部１１の関節部１１１を駆動することができる。これにより、手術中のステレオセンサ、デプスセンサ、及びモーションセンサによる測定結果に基づいて、アーム部１１の位置・姿勢をより適切に制御することができる。

判別部２４は、ステレオセンサ、デプスセンサ、およびモーションセンサの測定結果、及びアーム部１１の姿勢情報のうちの少なくとも１つの測定結果に基づいて、アーム部１１の位置及び姿勢を決定する。

この構成によれば、判別部２４は、各種のセンサの測定結果に基づいて、アーム部１１の位置及び姿勢を決定する。その結果、アーム部１１の位置・姿勢をより適切に制御することができる。

判別部２４は、第１術野画像に含まれる物体および処置ステータスのうち少なくとも一方に基づいて、アーム部１１の位置及び姿勢を決定する。

この構成によれば、判別部２４は、学習済みモデルに入力して実行するためのデータとして、第１術野画像に含まれる物体と、処置の内容とを用いることができる。

物体は、第１術野画像に含まれる臓器および医療用器具である。

この構成によれば、判別部２４は、学習済みモデルに入力して実行するためのデータとして、第１術野画像に含まれる医療用器具を用いることができる。

判別部２４は、臓器の種類及び形状と、医療用器具の位置、姿勢及び形状との少なくとも一方に基づいてアーム部１１の位置及び姿勢を決定する。

この構成によれば、判別部２４は、学習済みモデルに入力して実行するためのデータとして、臓器の種類及び形状と、医療用器具の位置、姿勢及び形状との少なくとも一方を用いることができる。

第２術野画像に対して画像を補正するための画像処理を施す加工部２１３を備えてよい。

この構成によれば、第２術野画像に対して各種の画像処理を実行することができる。

制御部２０は、第１術野画像に対して画像処理を施してよい。

この構成によれば、第１術野画像に対して各種の画像処理を実行することができる。

制御部２０は、第２術野画像に対して高画質化処理を施してよい。

この構成によれば、医師が視認する第２術野画像を高画質で提供することができる。具体的には、従来の内視鏡と同様の精細な画質で提供することができる。

加工部２１３は、第２術野画像に対して、超解像処理、ひずみ補正、帯域強調処理、ＮＲ（Noise reduction）処理、手ブレ補正、輝度補正処理の少なくとも１つを施してよい。

この構成によれば、第２術野画像に対して各種の高画像処理を施すことができる。

制御部２０は、第２術野画像の切り出し位置に応じて、第２術野画像に対して施す画像処理を変更してよい。

この構成によれば、第２術野画像の切り出し位置に応じた、最適な画像処理を実行することができるので、第２術野画像の画質を向上させることができる。

制御部２０は、制御部２０に入力された情報に基づいて、第２術野画像に対して施す処理を変更してよい。

この構成によれば、制御部２０に入力された情報に応じた、最適な画像処理を実行することができるので、第２術野画像の画質を向上させることができる。

加工部２１３は、アーム部１１の関節部１１１の動きに関する情報と、第１術野画像に基づく術野環境の認識結果と、第１術野画像に含まれる物体および処置ステータスとのうちの少なくとも１つに基づいて、第２術野画像に対して施す画像処理を変更してよい。

この構成によれば、制御部２０に入力する情報として、アーム部１１の関節部１１１の動きに関する情報と、第１術野画像に基づく術野環境の認識結果と、第１術野画像に含まれる物体および処置ステータスとのうちの少なくとも１つを用いることができる。

制御部２０は、第１術野画像に基づいても低画質化処理を施した第３術野画像を生成し、判別部２４は、第３術野画像に基づいて術野環境を認識し、認識結果に基づいてアーム部１１の位置及び姿勢を決定してよい。

この構成によれば、解像度を落とした画像に基づいて認識することができるので、処理負荷を軽減することができる。その結果、消費電力を少なくすることができる。

制御部２０は、第２術野画像に対して低画質化処理を施してよい。

この構成によれば、解像度を落とした第２術野画像を生成することができるので、処理負荷を軽減することができる。その結果、消費電力を少なくすることができる。

制御部２０は、表示対象領域としてユーザの興味領域を判定し、興味領域の画質を向上させるように、アーム部１１の関節部１１１を駆動してよい。

この構成によれば、自律的に医師の興味領域を判定し、判定結果に基づいて、アーム部１１の位置及び姿勢を制御することができる。これにより、興味領域の画質を向上させることができる。

制御部２０は、興味領域に対してユーザの視野を遮る医療用器具を避けるように、アーム部１１の関節部１１１を駆動してよい。

この構成によれば、興味領域に医療用器具が有ると判定された場合には、医療用器具を避けるようにアーム部１１を制御することができる。これにより、興味領域の視認性向上させることができる。

制御部２０は、画面の中心から興味領域をずらすように、アーム部１１の関節部１１１を駆動してよい。

この構成によれば、医療用器具は画面の中心に位置していることが想定される場合に、興味領域を画面の端に映るようにアーム部１１を制御することができる。これにより、興味領域の視認性向上させることができる。

制御部２０は、興味領域からの鏡面反射を避けるように、アーム部１１の関節部１１１を駆動してよい。

この構成によれば、興味領域からの光の反射を避けるように、アーム部１１の位置及び姿勢を変更することができる。これにより、興味領域からの光の反射が低減するので、興味領域の画質を向上させることができる。

制御部２０は、興味領域に対する光源部１３の位置および撮像部１２の位置を変更してよい。

この構成によれば、アーム部１１の位置及び姿勢を変更し、光源部１３の位置および撮像部１２の位置を変更することで、興味領域からの光の反射を低減することができる。これにより、興味領域の画質を向上させることができる。

制御部２０は、興味領域に対する撮像部１２の位置関係に基づいて、光源部１３の光量を制御してよい。

この構成によれば、興味領域に対する撮像部１２の位置に応じて、光源部１３の光量を調整することができる。その結果、撮像部１２の位置に応じて、最適な光量を実現できるので、光を反射が抑制され、興味領域の視認性が向上する。

制御部２０は、興味領域の端部の歪みを抑えるようにアーム部１１の位置及び姿勢を制御してよい。

この構成によれば、興味領域の中心を観察したり、処置したりする際の、歪みを抑制することができる。これにより、興味領域の画質を向上させることができる。

制御部２０は、興味領域が第１術野画像の略中心に位置するようにアーム部１１の関節部１１１を駆動してよい。

この構成によれば、医師が視認する興味領域を第１術野画像の略中心に位置するようになるので、第１術野画像において医師の処置を確認しやすくなる。

制御装置は、第１術野画像に基づいてアーム部１１の関節部１１１を駆動して撮像部の位置及び姿勢を制御する制御部を備える。制御部は、第１術野画像のうち表示対象領域に基づいて第２術野画像を生成して外部へ出力し、第１術野画像に基づく術野環境の認識結果に基づいて、撮像部の位置及び姿勢を決定する。

この構成によれば、画像処理における電子的自由度と、アーム部１１の機構的自由度とを組み合わせた、医療用観察システムを提供することができる。これにより、アーム部１１の機構をシンプルにすることができるので、コストの向上を抑制することができる。また、所望の動きを実現する際のアーム部の動きを最小化し、患者の体内の医療用器具等との干渉を軽減することができる。また、ハンドアイコーディネートを適切に調整し、医師の作業性を向上することができる。

医療用観察システムの制御方法は、アーム部１１により支持される撮像部１２によって撮像された第１術野画像のうち表示対象領域に基づいて第２術野画像を生成して外部へ出力し、第１術野画像に基づく術野環境の認識結果に基づいて撮像部１２の位置及び姿勢を決定する。

この方法によれば、画像処理における電子的自由度と、アーム部１１の機構的自由度とを組み合わせた、医療用観察システムを提供することができる。これにより、アーム部１１の機構をシンプルにすることができるので、コストの向上を抑制することができる。また、所望の動きを実現する際のアーム部の動きを最小化し、患者の体内の医療用器具等との干渉を軽減することができる。また、ハンドアイコーディネートを適切に調整し、医師の作業性を向上することができる。

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

なお、本技術は以下のような構成も取ることができる。
（１）
複数のリンクが関節部により連結されたアーム部と、
前記アーム部に支持され、第１術野画像を撮像する撮像部と、
前記第１術野画像に基づいて前記アーム部の関節部を駆動して前記撮像部の位置及び姿勢を制御する制御部と、
を備える医療用観察システムであって、
前記制御部は、
前記第１術野画像のうち表示対象領域に基づいて第２術野画像を生成して外部へ出力し、
前記第１術野画像に基づく術野環境の認識結果に基づいて、前記撮像部の位置及び姿勢を決定する、
医療用観察システム。
（２）
前記撮像部は、広角光学系を有する、
前記（１）に記載の医療用観察システム。
（３）
前記制御部は、前記第１術野画像の少なくとも一部を切り出すことで前記第２術野画像を生成する、
前記（１）または（２）に記載の医療用観察システム。
（４）
前記制御部は、前記撮像部の位置及び姿勢に応じて切り出す位置を変更して前記第２術野画像を生成する、
前記（１）〜（３）のいずれか１つに記載の医療用観察システム。
（５）
前記制御部は、前記認識結果に基づいて前記第１術野画像から切り出す位置を決定して、前記第２術野画像を生成する、
前記（３）に記載の医療用観察システム。
（６）
前記制御部は、前記認識結果に基づいて前記第１術野画像中の注視点を判定し、前記注視点を含む前記第２術野画像を生成する、
前記（５）に記載の医療用観察システム。
（７）
前記制御部は、手術に関するデータを学習データとして生成された学習済みモデルに基づいて前記アーム部の関節部を駆動する、
前記（１）〜（６）のいずれか１つに記載の医療用観察システム。
（８）
前記手術に関するデータは、前記手術で使用される医療用器具に関する情報を含む、
前記（７）に記載の医療用観察システム。
（９）
前記医療用器具に関する情報は、前記医療用器具の画像と、前記医療用器具の操作に関するデータを含む、
前記（８）に記載の医療用観察システム。
（１０）
前記医療用器具は、内視鏡である、
前記（９）に記載の医療用観察システム。
（１１）
前記手術に関するデータは、前記アーム部に関する情報を含む、
前記（７）〜（１０）のいずれか１つに記載の医療用観察システム。
（１２）
前記アーム部に関する情報は、前記アーム部の関節部の状態に関する情報を含む、
前記（１１）に記載の医療用観察システム。
（１３）
前記アーム部の関節部に関する情報は、前記アーム部の関節部の動きに関する情報を含む、
前記（１２）に記載の医療用観察システム。
（１４）
前記アーム部に関する情報は、前記アーム部に把持された医療用器具に関する情報を含む、
前記（１１）〜（１３）のいずれか１つに記載の医療用観察システム。
（１５）
前記アーム部に把持された前記医療用器具に関する情報は、前記医療用器具の種類、前記医療用器具の位置情報及び姿勢情報の少なくとも１つを含む、
前記（１４）に記載の医療用観察システム。
（１６）
前記学習データは、ステレオセンサ、デプスセンサ、及びモーションセンサの少なくとも一つの測定結果を含む、
前記（７）〜（１５）のいずれか１つに記載の医療用観察システム。
（１７）
前記学習データは、前記ステレオセンサ、前記デプスセンサ、及び前記モーションセンサの少なくとも１つから得られた前記医療用器具の位置、姿勢、種類、動き、及び臓器の少なくとも１つを含む術野環境の情報を含む、
前記（１６）に記載の医療用観察システム。
（１８）
前記制御部は、ステレオセンサ、デプスセンサ、およびモーションセンサの測定結果、及び前記アーム部の姿勢情報のうちの少なくとも１つの測定結果に基づいて、前記撮像部の位置及び姿勢を決定する、
前記（１）〜（１７）のいずれか１つに記載の医療用観察システム。
（１９）
前記制御部は、前記第１術野画像に含まれる物体および処置ステータスのうち少なくとも一方に基づいて、前記撮像部の位置及び姿勢を決定する、
前記（１）〜（１８）のいずれか１つに記載の医療用観察システム。
（２０）
前記物体は、前記第１術野画像に含まれる臓器および医療用器具である、
前記（１９）に記載の医療用観察システム。
（２１）
前記制御部は、前記臓器の種類及び形状と、前記医療用器具の位置、姿勢及び形状との少なくとも一方に基づいて前記撮像部の位置及び姿勢を決定する、
前記（２０）に記載の医療用観察システム。
（２２）
前記制御部は、前記第２術野画像に対して画像を補正するための画像処理を施す、
前記（１）〜（２１）のいずれか１つに記載の医療用観察システム。
（２３）
前記制御部は、前記第１術野画像に対して前記画像処理を施す、
前記（２２）に記載の医療用観察システム。
（２４）
前記制御部は、前記第２術野画像に対して高画質化処理を施す、
前記（２２）または（２３）に記載の医療用観察システム。
（２５）
前記制御部は、前記第２術野画像に対して、超解像処理、ひずみ補正、帯域強調処理、ＮＲ（Noise reduction）処理、手ブレ補正、輝度補正処理の少なくとも１つを施す、
前記（２４）に記載の医療用観察システム。
（２６）
前記制御部は、前記第２術野画像の切り出し位置に応じて、前記第２術野画像に対して施す画像処理を変更する、
前記（２２）〜（２５）のいずれか１つに記載の医療用観察システム。
（２７）
前記制御部は、前記制御部に入力された情報に基づいて、前記第２術野画像に対して施す処理を変更する、
前記（２２）〜（２６）のいずれか１つに記載の医療用観察システム。
（２８）
前記制御部は、前記アーム部の関節部の動きに関する情報と、前記第１術野画像に基づく術野環境の認識結果と、前記第１術野画像に含まれる物体および処置ステータスとのうちの少なくとも１つに基づいて、前記第２術野画像に対して施す画像処理を変更する、
前記（２７）に記載の医療用観察システム。
（２９）
前記制御部は、前記第１術野画像に基づいても低画質化処理を施した第３術野画像を生成し、
前記第３術野画像に基づく前記術野環境の認識結果に基づいて前記撮像部の位置及び姿勢を決定する、
前記（１）〜（２８）のいずれか１つに記載の医療用観察システム。
（３０）
前記制御部は、前記第２術野画像に対して低画質化処理を施す、
前記（１）〜（２９）のいずれか１つに記載の医療用観察システム。
（３１）
前記制御部は、前記表示対象領域としてユーザの興味領域を判定し、前記興味領域の画質を向上させるように、前記アーム部の関節部を駆動する、
前記（１）〜（３０）のいずれか１つに記載の医療用観察システム。
（３２）
前記制御部は、前記興味領域に対して前記ユーザの視野を遮る医療用器具を避けるように、前記アーム部の関節部を駆動する、
前記（３１）に記載の医療用観察システム。
（３３）
前記制御部は、画面の中心から前記興味領域をずらすように、前記アーム部の関節部を駆動する、
前記（３１）または（３２）に記載の医療用観察システム。
（３４）
前記制御部は、前記興味領域からの鏡面反射を避けるように、前記アーム部の関節部を駆動する、
前記（３１）〜（３３）のいずれか１つに記載の医療用観察システム。
（３５）
前記制御部は、前記興味領域に対する光源部の位置および前記撮像部の位置を変更する、
前記（３１）〜（３４）のいずれか１つに記載の医療用観察システム。
（３６）
前記制御部は、前記興味領域に対する前記撮像部の位置関係に基づいて、前記光源部の光量を制御する、
前記（３５）に記載の医療用観察システム。
（３７）
前記制御部は、前記興味領域の端部の歪みを抑えるように前記撮像部の位置及び姿勢を制御する、
前記（３１）〜（３６）のいずれか１つに記載の医療用観察システム。
（３８）
前記制御部は、前記興味領域が前記第１術野画像の略中心に位置するように前記アーム部の関節部を駆動する、
前記（３１）〜（３７）のいずれか１つに記載の医療用観察システム。
（３９）
第１術野画像に基づいてアーム部の関節部を駆動して撮像部の位置及び姿勢を制御する制御部を備え、
前記制御部は、
前記第１術野画像のうち表示対象領域に基づいて第２術野画像を生成して外部へ出力し、
前記第１術野画像に基づく術野環境の認識結果に基づいて、前記撮像部の位置及び姿勢を決定する、
医療用観察システムの制御装置。
（４０）
アーム部により支持される撮像部によって撮像された第１術野画像のうち表示対象領域に基づいて第２術野画像を生成して外部へ出力し、
前記第１術野画像に基づく術野環境の認識結果に基づいて前記撮像部の位置及び姿勢を決定する、
医療用観察システムの制御方法。

１ 医療用観察システム
１０ ロボットアーム装置
１１ アーム部
２０ 制御部（制御装置）
２１ 画像処理部
２２ 撮像制御部
２３ アーム制御部
２４ 学習部
２５ 受付部
２６ 表示制御部
３０ 操作部
４０ 第１術野画像表示部
５０ 第２術野画像表示部
６０ 記憶部
１１１ 撮像部
１１２ 光源部
１１３ 関節部
２１１ 取得部
２１２ 生成部
２１３ 加工部
２１４ 認識部
２１５ 評価部

Claims (35)

1. 複数のリンクが関節部により連結されたアーム部と、
   前記アーム部に支持され、第１術野画像を撮像する撮像部と、
   前記第１術野画像に基づいて前記アーム部の関節部を駆動して前記撮像部の位置及び姿勢を制御する制御部と、
   を備える医療用観察システムであって、
   前記制御部は、
   前記第１術野画像のうち表示対象領域に基づいて第２術野画像を生成して外部へ出力し、
   前記第１術野画像に基づく術野環境の認識結果に基づいて、前記撮像部の位置及び姿勢を決定する、
   医療用観察システム。
2. 前記撮像部は、広角光学系を有する、
   請求項１に記載の医療用観察システム。
3. 前記制御部は、前記第１術野画像の少なくとも一部を切り出すことで前記第２術野画像を生成する、
   請求項２に記載の医療用観察システム。
4. 前記制御部は、前記撮像部の位置及び姿勢に応じて前記第１術野画像から切り出す位置を変更して前記第２術野画像を生成する、
   請求項３に記載の医療用観察システム。
5. 前記制御部は、前記認識結果に基づいて前記第１術野画像から切り出す位置を決定して、前記第２術野画像を生成する、
   請求項３に記載の医療用観察システム。
6. 前記制御部は、前記認識結果に基づいて前記第１術野画像中の注視点を判定し、前記注視点を含む前記第２術野画像を生成する、
   請求項５に記載の医療用観察システム。
7. 前記制御部は、手術に関するデータを学習データとして生成された学習済みモデルに基づいて前記アーム部の関節部を駆動する、
   請求項１に記載の医療用観察システム。
8. 前記手術に関するデータは、前記手術で使用される医療用器具に関する情報を含む、
   請求項７に記載の医療用観察システム。
9. 前記医療用器具に関する情報は、前記医療用器具により取得された画像データと、前記医療用器具の操作に関するデータを含む、
   請求項８に記載の医療用観察システム。
10. 前記医療用器具は、内視鏡である、
    請求項９に記載の医療用観察システム。
11. 前記手術に関するデータは、前記アーム部に関する情報を含む、
    請求項７に記載の医療用観察システム。
12. 前記アーム部に関する情報は、前記アーム部の関節部の状態に関する情報を含む、
    請求項１１に記載の医療用観察システム。
13. 前記アーム部の関節部に関する情報は、前記アーム部の関節部の動きに関する情報を含む、
    請求項１２に記載の医療用観察システム。
14. 前記アーム部に関する情報は、前記アーム部に把持された医療用器具に関する情報を含む、
    請求項１１に記載の医療用観察システム。
15. 前記アーム部に把持された前記医療用器具に関する情報は、前記医療用器具の種類、前記医療用器具の位置情報及び姿勢情報の少なくとも１つを含む、
    請求項１４に記載の医療用観察システム。
16. 前記制御部は、ステレオセンサ、デプスセンサ、およびモーションセンサのうち少なくとも一つによる測定結果、及び前記アーム部の姿勢情報うちの少なくとも１つの測定結果に基づいて、前記撮像部の位置及び姿勢を決定する、
    請求項１に記載の医療用観察システム。
17. 前記制御部は、前記第１術野画像に含まれる物体および処置ステータスのうち少なくとも一方に基づいて、前記撮像部の位置及び姿勢を決定する、
    請求項１に記載の医療用観察システム。
18. 前記物体は、前記第１術野画像に含まれる臓器および医療用器具である、
    請求項１７に記載の医療用観察システム。
19. 前記制御部は、前記臓器の種類及び形状と、前記医療用器具の位置、姿勢及び形状との少なくとも一方に基づいて前記撮像部の位置及び姿勢を決定する、
    請求項１８に記載の医療用観察システム。
20. 前記制御部は、さらに前記第２術野画像に対して画像を補正するための画像処理を施す、
    請求項１に記載の医療用観察システム。
21. 前記制御部は、前記第２術野画像に対して高画質化処理を施す、
    請求項２０に記載の医療用観察システム。
22. 前記制御部は、前記第２術野画像に対して、超解像処理、ひずみ補正、帯域強調処理、ＮＲ（Noise reduction）処理、手ブレ補正、輝度補正処理の少なくとも１つを施す、
    請求項２１に記載の医療用観察システム。
23. 前記制御部は、前記第２術野画像の切り出し位置に応じて、前記第２術野画像に対して施す画像処理を変更する、
    請求項２０に記載の医療用観察システム。
24. 前記制御部は、前記制御部に入力された情報に基づいて、前記第２術野画像に対して施す処理を変更する、
    請求項２０に記載の医療用観察システム。
25. 前記制御部は、前記アーム部の関節部の動きに関する情報と、前記第１術野画像に基づく術野環境の認識結果と、前記第１術野画像に含まれる物体および処置ステータスとのうちの少なくとも１つに基づいて、前記第２術野画像に対して施す画像処理を変更する、前記第２術野画像に対して施す画像処理を変更する、
    請求項２３に記載の医療用観察システム。
26. 前記制御部は、前記第１術野画像に基づいて低画質化処理を施した第３術野画像を生成し、
    前記第３術野画像に基づく前記術野環境の認識結果に基づいて前記撮像部の位置及び姿勢を決定する、
    請求項１に記載の医療用観察システム。
27. 前記制御部は、前記表示対象領域としてユーザの興味領域を判定し、前記興味領域の画質を向上させるように、前記アーム部の関節部を駆動する、
    請求項１に記載の医療用観察システム。
28. 前記制御部は、前記興味領域に対して前記ユーザの視野を遮る医療用器具を避けるように、前記アーム部の関節部を駆動する、
    請求項２７に記載の医療用観察システム。
29. 前記制御部は、画面の中心から前記興味領域をずらすように、前記アーム部の関節部を駆動する、
    請求項２７に記載の医療用観察システム。
30. 前記制御部は、前記興味領域に対する光源部の位置および前記撮像部の位置を変更する、
    請求項２７に記載の医療用観察システム。
31. 前記制御部は、前記興味領域に対する前記撮像部の位置関係に基づいて、前記光源部の光量を制御する、
    請求項３０に記載の医療用観察システム。
32. 前記制御部は、前記興味領域の端部の歪みを抑えるように前記撮像部の位置及び姿勢を制御する、
    請求項２７に記載の医療用観察システム。
33. 前記制御部は、前記興味領域が前記第１術野画像の略中心に位置するように前記アーム部の関節部を駆動する、
    請求項２７に記載の医療用観察システム。
34. 第１術野画像に基づいてアーム部の関節部を駆動して撮像部の位置及び姿勢を制御する制御部を備え、
    前記制御部は、
    前記第１術野画像のうち表示対象領域に基づいて第２術野画像を生成して外部へ出力し、
    前記第１術野画像に基づく術野環境の認識結果に基づいて、前記撮像部の位置及び姿勢を決定する、
    医療用観察システムの制御装置。
35. アーム部により支持される撮像部によって撮像された第１術野画像のうち表示対象領域に基づいて第２術野画像を生成して外部へ出力し、
    前記第１術野画像に基づく術野環境の認識結果に基づいて前記撮像部の位置及び姿勢を決定する、
    医療用観察システムの制御方法。

Images