JP2022045236A - 医療用撮像装置、学習モデル生成方法および学習モデル生成プログラム - Google Patents

医療用撮像装置、学習モデル生成方法および学習モデル生成プログラム Download PDF

Info

Publication number
JP2022045236A
JP2022045236A JP2020150815A JP2020150815A JP2022045236A JP 2022045236 A JP2022045236 A JP 2022045236A JP 2020150815 A JP2020150815 A JP 2020150815A JP 2020150815 A JP2020150815 A JP 2020150815A JP 2022045236 A JP2022045236 A JP 2022045236A
Authority
JP
Japan
Prior art keywords
unit
posture
learning
image
medical imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020150815A
Other languages
English (en)
Inventor
由香 有木
Yuka Ariki
優 薄井
Masaru Usui
大輔 長尾
Daisuke Nagao
和人 横山
Kazuto Yokoyama
容平 黒田
Yohei Kuroda
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to JP2020150815A priority Critical patent/JP2022045236A/ja
Priority to PCT/JP2021/033054 priority patent/WO2022054847A1/en
Priority to CN202180053623.3A priority patent/CN116096535A/zh
Priority to US17/916,045 priority patent/US20230142404A1/en
Publication of JP2022045236A publication Critical patent/JP2022045236A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/32—Surgical robots operating autonomously
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/303—Surgical robots specifically adapted for manipulations within body lumens, e.g. within lumen of gut, spine, or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots

Abstract

【課題】内視鏡の自律動作をより適切に実行可能とすることを目的とする。【解決手段】本開示に係る医療用撮像装置は、複数のリンクが関節部により連結され、術野画像を撮像する撮像部を支持するアーム部と、術野画像に基づいてアーム部の関節部を駆動して撮像部の位置および／または姿勢を制御する制御部と、を備える。制御部は、撮像部の位置および／または姿勢に対する操作に基づき位置および／または姿勢の軌跡を学習した学習済モデルを生成し、学習済モデルを用いて撮像部の位置および／または姿勢を予測する学習部と、予測に基づき駆動されている撮像部の位置および／または姿勢に対する、医師による評価結果に基づいて軌跡を学習する修正部と、を含む。【選択図】図７

Description

本開示は、医療用撮像装置、学習モデル生成方法および学習モデル生成プログラムに関する。
近年、内視鏡手術においては、内視鏡を用いて患者の腹腔内を撮像し、内視鏡が撮像する撮像画像をディスプレイに表示しながら手術が行われている。この場合、ディスプレイに術部が適切に表示されるように、例えば医師あるいは医師の指示に応じた助手が内視鏡を動作させ、撮像画像による撮像範囲を調整するのが一般的であった。このような内視鏡手術において、内視鏡の自律動作を可能とすることで、医師の負担を減らすことができる。特許文献１および２には、内視鏡の自律動作に適用可能な技術が記載されている。
特開２０１７－１７７２９７号公報 特許第６３３４７１４号公報
内視鏡の自律動作に関し、例えば、医師あるいは医師の指示に応じた内視鏡動作のみを計測し、計測された内視鏡動作を再現する方法が考えられる。しかしながら、この方法では、再現された内視鏡動作による撮像画像と、実際の手術に必要な撮像範囲との間にずれが生じてしまうおそれがあった。また、医師が用いる器具位置の中心点に内視鏡を移動させるヒューリスティックな方法も考えられるが、この方法では、医師により不自然であると評価されることが多かった。
本開示は、内視鏡の自律動作をより適切に実行可能とする医療用撮像装置、学習モデル生成方法および学習モデル生成プログラムを提供することを目的とする。
本開示に係る医療用撮像装置は、複数のリンクが関節部により連結され、術野画像を撮像する撮像部を支持するアーム部と、術野画像に基づいてアーム部の関節部を駆動して撮像部の位置および／または姿勢を制御する制御部と、を備え、制御部は、撮像部の位置および／または姿勢に対する操作に基づき位置および／または姿勢の軌跡を学習した学習済モデルを生成し、学習済モデルを用いて撮像部の位置および／または姿勢を予測する学習部と、予測に基づき駆動されている撮像部の位置および／または姿勢に対する、医師による評価結果に基づいて軌跡を学習する修正部と、を含む。
本開示の実施形態に適用可能な内視鏡手術システムの構成の一例を概略的に示す図である。 実施形態に適用可能なカメラヘッドおよびＣＣＵの機能構成の一例を示すブロック図である。 実施形態に適用可能な支持アーム装置の一例の外観を示す概略図である。 実施形態に適用可能な斜視鏡の構成を示す模式図である。 斜視鏡と直視鏡とを対比して示す模式図である。 実施形態に適用可能なロボットアーム装置の一例の構成を示す図である。 実施形態に係る医療用撮像システムの機能を説明するための一例の機能ブロック図である。 実施形態に係る制御部を実現可能なコンピュータの一例の構成を示すブロック図である。 実施形態に係る学習・修正部の機能を説明するための一例の機能ブロック図である。 内視鏡装置により撮像された撮像画像の例を示す図である。 内視鏡装置により撮像された撮像画像の例を示す図である。 実施形態に係るアーム部の制御を説明するための模式図である。 実施形態に係る学習部による処理を概略的に説明するための模式図である。 実施形態に係る学習部による処理を概略的に説明するための模式図である。 実施形態に係る修正部による処理を概略的に説明するための模式図である。 実施形態に係る修正部による処理を概略的に説明するための模式図である。 実施形態に係る学習部における学習処理を説明するための模式図である。 実施形態に係る学習モデルの例について説明するための模式図である。 実施形態に係る学習・修正部による処理を示す一例のフローチャートである。 既存技術による内視鏡システムを用いた手術の様子を模式的に示す図である。 実施形態に係る医療用撮像システム１ａが適用された場合の手術の様子を模式的に示す図である。 実施形態に適用可能な音声によるトリガ信号出力に対応する場合の医療用撮像システムの機能構成の例を示す機能ブロック図である。
以下、本開示の実施形態について、図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。
以下、本開示の実施形態について、下記の順序に従って説明する。
１．本開示の実施形態に適用可能な技術
１－１．実施形態に適用可能な内視鏡手術システムの構成例
１－２．支持アーム装置の具体的構成例
１－３．斜視鏡の基本的構成
１－４．実施形態に適用可能なロボットアーム装置の構成例
２．本開示の実施形態
２－１．実施形態の概要
２－２．実施形態に係る医療用撮像システムの構成例
２－３．実施形態に係る医療用撮像システムによる処理の概要
２－４．実施形態に係る医療用撮像システムによる処理の詳細
２－４－１．実施形態に係る学習部の処理
２－４－２．実施形態に係る修正部の処理
２－４－３．実施形態に係る医療用撮像システムが適用された場合の手術概要
２－５．実施形態の変形例
２－６．実施形態の効果
２－７．本開示の技術の応用例
［１．本開示の実施形態に適用可能な技術］
先ず、本開示の実施形態の説明に先立って、理解を容易とするために、本開示の実施形態に適用可能な技術について説明する。
（１－１．実施形態に適用可能な内視鏡手術システムの構成例）
（内視鏡手術システムの概要）
図１は、本開示の実施形態に適用可能な内視鏡手術システム５０００の構成の一例を概略的に示す図である。図１では、医師（医師）５０６７が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図１の例では、内視鏡手術システム５０００は、内視鏡５００１と、その他の術具５０１７と、内視鏡５００１を支持する支持アーム装置５０２７と、内視鏡下手術のための各種の装置が搭載されたカート５０３７と、を含む。
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５０２５ａ～５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ～５０２５ｄから、内視鏡５００１の鏡筒５００３や、その他の術具５０１７が患者５０７１の体腔内に挿入される。
図１の例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１および鉗子５０２３が、患者５０７１の体腔内に挿入されている。また、エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開および剥離、または血管の封止等を行う処置具である。ただし、図１に示す術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
内視鏡５００１によって撮影された患者５０７１の体腔内の術部の画像が、表示装置５０４１に表示される。医師５０６７は、表示装置５０４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５０２１や鉗子５０２３を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５０１９、エネルギー処置具５０２１および鉗子５０２３は、手術中に、医師５０６７または助手等によって支持される。
（支持アーム装置）
支持アーム装置５０２７は、ベース部５０２９から延伸するアーム部５０３１を備える。図１の例では、アーム部５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃ、およびリンク５０３５ａ、５０３５ｂから構成されており、アーム制御装置５０４５からの制御により駆動される。アーム部５０３１によって内視鏡５００１が支持され、その位置および／または姿勢が制御される。これにより、内視鏡５００１の安定的な位置の固定が実現され得る。
なお、内視鏡の位置は、内視鏡の空間内での位置を示し、例えば座標（ｘ，ｙ，ｚ）などの３次元座標として表現できる。また、内視鏡の姿勢は、内視鏡が向く方向を示し、例えば３次元のベクトルとして表現できる。
（内視鏡）
内視鏡５００１について、概略的に説明する。内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３と、鏡筒５００３の基端に接続されるカメラヘッド５００５と、から構成される。図示する例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよい。
鏡筒５００３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５００１には、カート５０３７に搭載される光源装置５０４３が接続されており、当該光源装置５０４３によって生成された光が、鏡筒５００３の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５０７１の体腔内の観察対象に向かって照射される。なお、内視鏡５００１は、直視鏡であってもよいし、斜視鏡または側視鏡であってもよい。
カメラヘッド５００５の内部には光学系および撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）５０３９に送信される。なお、カメラヘッド５００５には、その光学系を適宜駆動させることにより、倍率および焦点距離を調整する機能が搭載される。
なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５００５には撮像素子が複数設けられてもよい。この場合、鏡筒５００３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
（カートに搭載される各種の装置）
図１の例では、カート５０３７に対して、ＣＣＵ５０３９と、光源装置５０４３と、アーム制御装置５０４５と、入力装置５０４７と、処理具制御装置５０４９と、気腹装置５０５１と、レコーダ５０５３と、プリンタ５０５５と、が搭載されている。
ＣＣＵ５０３９は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡５００１および表示装置５０４１の動作を統括的に制御する。具体的には、ＣＣＵ５０３９は、カメラヘッド５００５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５０３９は、当該画像処理を施した画像信号を表示装置５０４１に提供する。また、ＣＣＵ５０３９は、カメラヘッド５００５に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
表示装置５０４１は、ＣＣＵ５０３９からの制御により、当該ＣＣＵ５０３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５００１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）または８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、および／または３Ｄ表示に対応したものである場合には、表示装置５０４１としては、それぞれに対応して、高解像度の表示が可能なもの、および／または３Ｄ表示可能なものが用いられ得る。４Ｋまたは８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５０４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５０４１が設けられてもよい。
光源装置５０４３は、例えばＬＥＤ(light emitting diode)といった発光素子およびそれを駆動する駆動回路を含み、術部を撮影する際の照射光を内視鏡５００１に供給する。
アーム制御装置５０４５は、例えばＣＰＵ等のプロセッサを含み、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５０２７のアーム部５０３１の駆動を制御する。
入力装置５０４７は、内視鏡手術システム５０００に対する入力インタフェースである。ユーザは、入力装置５０４７を介して、内視鏡手術システム５０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５０４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５０４７を介して、アーム部５０３１を駆動させる旨の指示や、内視鏡５００１による撮像条件（照射光の種類、倍率および焦点距離等）を変更する旨の指示、エネルギー処置具５０２１を駆動させる旨の指示等を入力する。
入力装置５０４７の種類は限定されず、入力装置５０４７は各種の公知の入力装置であってよい。入力装置５０４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、レバー、ジョイスティックなどの入力デバイスを適用できる。入力装置５０４７として、複数種類の入力デバイスを混在して適用することもできる。また、操作者（例えば医師）の足により操作されるフットスイッチ５０５７も、入力装置５０４７として適用可能である。入力装置５０４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５０４１の表示面上に設けられてもよい。
入力装置５０４７は、上述の例に限定されない。例えば、入力装置５０４７は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスを適用することができる。この場合、入力装置５０４７は、これらのユーザによって装着されるデバイスによって検出されるユーザのジェスチャや視線に応じて、各種の入力を行うことができる。
また、入力装置５０４７は、ユーザの動きを検出可能なカメラを含むことができる。この場合、入力装置５０４７は、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて、各種の入力を行うことができる。さらに、入力装置５０４７は、ユーザの声を収音可能なマイクロホンを含無事ができる。この場合、当該マイクロホンにより収音された音声によって、各種の入力を行うことができる。
このように、入力装置５０４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば医師５０６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
処置具制御装置５０４９は、組織の焼灼、切開または血管の封止等のためのエネルギー処置具５０２１の駆動を制御する。気腹装置５０５１は、内視鏡５００１による視野の確保および医師の作業空間の確保の目的で、患者５０７１の体腔を膨らめるために、気腹チューブ５０１９を介して当該体腔内にガスを送り込む。レコーダ５０５３は、手術に関する各種の情報を記録可能な装置である。プリンタ５０５５は、手術に関する各種の情報を、テキスト、画像またはグラフ等各種の形式で印刷可能な装置である。
以下、内視鏡手術システム５０００において特に特徴的な構成について、更に詳細に説明する。
（支持アーム装置）
支持アーム装置５０２７は、基台であるベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１と、を備える。図１の例では、アーム部５０３１は、複数の関節部５０３３ａ、５０３３ｂおよび５０３３ｃと、関節部５０３３ｂによって連結される複数のリンク５０３５ａおよび５０３５ｂと、を含んで構成されている。なお、図１では、簡単のため、アーム部５０３１の構成を簡略化して図示している。
実際には、アーム部５０３１が所望の自由度を有するように、関節部５０３３ａ～５０３３ｃおよびリンク５０３５ａ、５０３５ｂの形状、数および配置、ならびに、関節部５０３３ａ～５０３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５０３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５０３１の可動範囲内において内視鏡５００１を自由に移動させることが可能になるため、所望の方向から内視鏡５００１の鏡筒５００３を患者５０７１の体腔内に挿入することが可能になる。
関節部５０３３ａ～５０３３ｃにはアクチュエータが設けられており、関節部５０３３ａ～５０３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５０４５によって制御されることにより、各関節部５０３３ａ～５０３３ｃの回転角度が制御され、アーム部５０３１の駆動が制御される。これにより、内視鏡５００１の位置および／または姿勢の制御が実現され得る。この際、アーム制御装置５０４５は、力制御または位置制御等、各種の公知の制御方式によってアーム部５０３１の駆動を制御することができる。
例えば、医師５０６７が、入力装置５０４７（フットスイッチ５０５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５０４５によってアーム部５０３１の駆動が適宜制御され、内視鏡５００１の位置および／または姿勢が制御されてよい。当該制御により、アーム部５０３１の先端の内視鏡５００１を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５０３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５０３１（スレーブ）は、手術室から離れた場所または手術室内に設置される入力装置５０４７（マスターコンソール）を介してユーザによって遠隔操作され得る。
また、力制御が適用される場合には、アーム制御装置５０４５は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５０３１が移動するように、各関節部５０３３ａ～５０３３ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５０３１に触れながらアーム部５０３１を移動させる際に、比較的軽い力で当該アーム部５０３１を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５００１を移動させることが可能となり、ユーザの利便性を向上させることができる。
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５００１が支持されていた。これに対して、支持アーム装置５０２７を用いることにより、人手によらずに内視鏡５００１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
なお、アーム制御装置５０４５は必ずしもカート５０３７に設けられなくてもよい。また、アーム制御装置５０４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５０４５は、支持アーム装置５０２７のアーム部５０３１の各関節部５０３３ａ～５０３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置５０４５が互いに協働することにより、アーム部５０３１の駆動制御が実現されてもよい。
（光源装置）
光源装置５０４３は、内視鏡５００１に術部を撮影する際の照射光を供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源またはこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度および出力タイミングを高精度に制御することができるため、光源装置５０４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置５０４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれおよび白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置５０４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。
あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、またはインドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。
光源装置５０４３は、このような特殊光観察に対応した狭帯域光および／または励起光を供給可能に構成され得る。
（カメラヘッドおよびＣＣＵ）
図２を参照して、内視鏡５００１のカメラヘッド５００５およびＣＣＵ５０３９の機能についてより詳細に説明する。図２は、図１に示すカメラヘッド５００５およびＣＣＵ５０３９の機能構成の一例を示すブロック図である。
図２を参照すると、カメラヘッド５００５は、その機能として、レンズユニット５００７と、撮像部５００９と、駆動部５０１１と、通信部５０１３と、カメラヘッド制御部５０１５と、を有する。また、ＣＣＵ５０３９は、その機能として、通信部５０５９と、画像処理部５０６１と、制御部５０６３と、を有する。カメラヘッド５００５とＣＣＵ５０３９とは、伝送ケーブル５０６５によって双方向に通信可能に接続されている。
まず、カメラヘッド５００５の機能構成について説明する。レンズユニット５００７は、鏡筒５００３との接続部に設けられる光学系である。鏡筒５００３の先端から取り込まれた観察光は、カメラヘッド５００５まで導光され、当該レンズユニット５００７に入射する。レンズユニット５００７は、ズームレンズおよびフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５００７は、撮像部５００９の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズおよびフォーカスレンズは、撮像画像の倍率および焦点の調整のため、その光軸上の位置が移動可能に構成される。
撮像部５００９は撮像素子によって構成され、レンズユニット５００７の後段に配置される。レンズユニット５００７を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５００９によって生成された画像信号は、通信部５０１３に提供される。
撮像部５００９を構成する撮像素子としては、例えばＣＭＯＳ(Complementary Metal Oxide Semiconductor)タイプのイメージセンサであり、Ｒ（赤）色、Ｇ（緑）色およびＢ（青）色それぞれのカラーフィルタがＢａｙｅｒ配列により配列されたを有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、医師５０６７は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
また、撮像部５００９を構成する撮像素子は、３Ｄ表示に対応する右目用および左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、医師５０６７は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５００９が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５００７も複数系統設けられる。
また、撮像部５００９は、必ずしもカメラヘッド５００５に設けられなくてもよい。例えば、撮像部５００９は、鏡筒５００３の内部に、対物レンズの直後に設けられてもよい。
駆動部５０１１は、アクチュエータによって構成され、カメラヘッド制御部５０１５からの制御により、レンズユニット５００７のズームレンズおよびフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５００９による撮像画像の倍率および焦点が適宜調整され得る。
通信部５０１３は、ＣＣＵ５０３９との間で各種の情報を送受信するための通信装置によって構成される。通信部５０１３は、撮像部５００９から得た画像信号をＲＡＷデータとして伝送ケーブル５０６５を介してＣＣＵ５０３９に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、医師５０６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５０１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５０６５を介してＣＣＵ５０３９に送信される。
また、通信部５０１３は、ＣＣＵ５０３９から、カメラヘッド５００５の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／または撮像画像の倍率および焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５０１３は、受信した制御信号をカメラヘッド制御部５０１５に提供する。なお、ＣＣＵ５０３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５０１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５０１５に提供される。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５０３９の制御部５０６３によって自動的に設定される。つまり、いわゆるＡＥ(Auto Exposure)機能、ＡＦ(Auto Focus)機能およびＡＷＢ(Auto White Balance)機能が内視鏡５００１に搭載される。
カメラヘッド制御部５０１５は、通信部５０１３を介して受信したＣＣＵ５０３９からの制御信号に基づいて、カメラヘッド５００５の駆動を制御する。例えば、カメラヘッド制御部５０１５は、撮像画像のフレームレートを指定する旨の情報および／または撮像時の露光を指定する旨の情報に基づいて、撮像部５００９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５０１５は、撮像画像の倍率および焦点を指定する旨の情報に基づいて、駆動部５０１１を介してレンズユニット５００７のズームレンズおよびフォーカスレンズを適宜移動させる。カメラヘッド制御部５０１５は、さらに、鏡筒５００３やカメラヘッド５００５を識別するための情報を記憶する機能を備えてもよい。
なお、レンズユニット５００７や撮像部５００９等の構成を、気密性および防水性が高い密閉構造内に配置することで、カメラヘッド５００５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
次に、ＣＣＵ５０３９の機能構成について説明する。通信部５０５９は、カメラヘッド５００５との間で各種の情報を送受信するための通信装置によって構成される。通信部５０５９は、カメラヘッド５００５から、伝送ケーブル５０６５を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５０５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５０５９は、電気信号に変換した画像信号を画像処理部５０６１に提供する。
また、通信部５０５９は、カメラヘッド５００５に対して、カメラヘッド５００５の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
画像処理部５０６１は、カメラヘッド５００５から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理および高画質化処理が含まれる。高画質化処理は、例えば、帯域強調処理、超解像処理、ＮＲ(Noise reduction)処理、手ブレ補正処理などの処理を１以上含むことができる。また、当該画像処理として、拡大処理（電子ズーム処理）など、各種の公知の信号処理を含むことができる。さらに、画像処理部５０６１は、ＡＥ、ＡＦおよびＡＷＢを行うための、画像信号に対する検波処理を行う。
画像処理部５０６１は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５０６１が複数のＧＰＵによって構成される場合には、画像処理部５０６１は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。
制御部５０６３は、内視鏡５００１による術部の撮像、およびその撮像画像の表示に関する各種の制御を行う。例えば、制御部５０６３は、カメラヘッド５００５の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５０６３は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５００１にＡＥ機能、ＡＦ機能およびＡＷＢ機能が搭載されている場合には、制御部５０６３は、画像処理部５０６１による検波処理の結果に応じて、最適な露出値、焦点距離およびホワイトバランスを適宜算出し、制御信号を生成する。
また、制御部５０６３は、画像処理部５０６１によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５０４１に表示させる。この際、制御部５０６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５０６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５０２１使用時のミスト等を認識することができる。制御部５０６３は、表示装置５０４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、医師５０６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
カメラヘッド５００５およびＣＣＵ５０３９を接続する伝送ケーブル５０６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、またはこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル５０６５を用いて有線で通信が行われていたが、カメラヘッド５００５とＣＣＵ５０３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５０６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５０６５によって妨げられる事態が解消され得る。
以上、本開示に係る技術が適用され得る内視鏡手術システム５０００の一例について説明した。なお、ここでは、一例として内視鏡手術システム５０００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
（１－２．支持アーム装置の具体的構成例）
次に、実施形態に適用可能な支持アーム装置のより具体的な構成の例について説明する。以下に説明する支持アーム装置は、アーム部の先端に内視鏡を支持する支持アーム装置として構成された例であるが、実施形態は係る例に限定されない。また、本開示の実施形態に係る支持アーム装置が医療分野に適用された場合、本開示の実施形態に係る支持アーム装置は、医療用支持アーム装置として機能し得る。
（支持アーム装置の外観）
まず、図３を参照して、本開示の実施形態に適用可能な支持アーム装置４００の概略構成について説明する。図３は、実施形態に適用可能な支持アーム装置４００の一例の外観を示す概略図である。図３に例示する支持アーム装置４００は、図１を用いて説明した支持アーム装置５０２７に適用することができる。
図３に示す支持アーム装置４００は、ベース部４１０およびアーム部４２０を備える。ベース部４１０は支持アーム装置４００の基台であり、ベース部４１０からアーム部４２０が延伸される。また、図３では省略するが、ベース部４１０内には、支持アーム装置４００を統合的に制御する制御部が設けられてもよく、アーム部４２０の駆動が当該制御部によって制御されてもよい。当該制御部は、例えばＣＰＵやＤＳＰ(Digital Signal Processor)等の各種の信号処理回路によって構成される。
アーム部４２０は、複数の能動関節部４２１ａ～４２１ｆと、複数のリンク４２２ａ～４２２ｆと、アーム部４２０の先端に設けられた先端ユニットとしての内視鏡装置４２３とを有する。
リンク４２２ａ～４２２ｆは、略棒状の部材である。リンク４２２ａの一端が能動関節部４２１ａを介してベース部４１０と連結され、リンク４２２ａの他端が能動関節部４２１ｂを介してリンク４２２ｂの一端と連結され、さらに、リンク４２２ｂの他端が能動関節部４２１ｃを介してリンク４２２ｃの一端と連結される。リンク４２２ｃの他端は受動スライド機構４３１を介してリンク４２２ｄに連結され、さらに、リンク４２２ｄの他端は受動関節部４３３を介してリンク４２２ｅの一端と連結される。リンク４２２ｅの他端は能動関節部４２１ｄ、４２１ｅを介してリンク４２２ｆの一端と連結される。内視鏡装置４２３は、アーム部４２０の先端、すなわち、リンク４２２ｆの他端に、能動関節部４２１ｆを介して連結される。
このように、ベース部４１０を支点として、複数のリンク４２２ａ～４２２ｆの端同士が、能動関節部４２１ａ～４２１ｆ、受動スライド機構４３１および受動関節部４３３によって互いに連結されることにより、ベース部４１０から延伸されるアーム形状が構成される。
かかるアーム部４２０のそれぞれの能動関節部４２１ａ～４２１ｆに設けられたアクチュエータが駆動制御されることにより、内視鏡装置４２３の位置および／または姿勢が制御される。実施形態において、内視鏡装置４２３は、その先端が手術部位である患者の体腔内に進入して手術部位の一部領域を撮影する。ただし、アーム部４２０の先端に設けられる先端ユニットは内視鏡装置４２３に限定されず、アーム部４２０の先端には先端ユニットとして各種の術具（医療用器具）が接続されてよい。このように、実施形態に係る支持アーム装置４００は、術具を備えた医療用支持アーム装置として構成される。
ここで、以下では、図３に示すように座標軸を定義して支持アーム装置４００の説明を行う。また、座標軸に合わせて、上下方向、前後方向、左右方向を定義する。すなわち、床面に設置されているベース部４１０に対する上下方向をｚ軸方向および上下方向と定義する。また、ｚ軸と互いに直交する方向であって、ベース部４１０からアーム部４２０が延伸されている方向（すなわち、ベース部４１０に対して内視鏡装置４２３が位置している方向）をｙ軸方向および前後方向と定義する。さらに、ｙ軸およびｚ軸と互いに直交する方向をｘ軸方向および左右方向と定義する。
能動関節部４２１ａ～４２１ｆは、リンク同士を互いに回動可能に連結する。能動関節部４２１ａ～４２１ｆは、アクチュエータを有し、当該アクチュエータの駆動により所定の回転軸に対して回転駆動される回転機構を有する。各能動関節部４２１ａ～４２１ｆにおける回転駆動をそれぞれ制御することにより、例えばアーム部４２０を伸ばしたり、縮めたり（折り畳んだり）といった、アーム部４２０の駆動を制御することができる。ここで、能動関節部４２１ａ～４２１ｆは、例えば公知の全身協調制御および理想関節制御によってその駆動が制御され得る。
上述したように、能動関節部４２１ａ～４２１ｆは回転機構を有するため、以下の説明において、能動関節部４２１ａ～４２１ｆの駆動制御とは、具体的には、能動関節部４２１ａ～４２１ｆの回転角度および発生トルクのうち少なくとも一方が制御されることを意味する。なお、発生トルクは、能動関節部４２１ａ～４２１ｆが発生させるトルクである。
受動スライド機構４３１は、受動形態変更機構の一態様であり、リンク４２２ｃとリンク４２２ｄとを所定方向に沿って互いに進退動可能に連結する。例えば受動スライド機構４３１は、リンク４２２ｃとリンク４２２ｄとを互いに直動可能に連結してもよい。ただし、リンク４２２ｃとリンク４２２ｄとの進退運動は直線運動に限られず、円弧状を成す方向への進退運動であってもよい。受動スライド機構４３１は、例えばユーザによって進退動の操作が行われ、リンク４２２ｃの一端側の能動関節部４２１ｃと受動関節部４３３との間の距離を可変とする。これにより、アーム部４２０の全体の形態が変化し得る。
受動関節部４３３は、受動形態変更機構の一態様であり、リンク４２２ｄとリンク４２２ｅとを互いに回動可能に連結する。受動関節部４３３は、例えばユーザによって回動の操作が行われ、リンク４２２ｄとリンク４２２ｅとの成す角度を可変とする。これにより、アーム部４２０の全体の形態が変化し得る。
なお、本明細書において、「アーム部の姿勢」とは、１つまたは複数のリンクを挟んで隣り合う能動関節部同士の間の距離が一定の状態で、制御部による能動関節部４２１ａ～４２１ｆに設けられたアクチュエータの駆動制御によって変化し得るアーム部の状態をいう。
なお、本開示では、「アーム部の姿勢」は、アクチュエータの駆動制御によって変化し得るアーム部の状態に限定されない。例えば、「アーム部の姿勢」は、関節部が協調的に動作することで変化した、アーム部の状態であってもよい。また、本開示では、アーム部は、必ずしも関節部を備えている必要はない。この場合、「アーム部の姿勢」は、対象物に対する位置や、対象物に対する相対角度となる。
また、「アーム部の形態」とは、受動形態変更機構が操作されることに伴って、リンクを挟んで隣り合う能動関節部同士の間の距離や、隣り合う能動関節部の間をつなぐリンク同士の成す角度が変わることで変化し得るアーム部の状態をいう。
本開示では、「アーム部の形態」は、リンクを挟んで隣り合う能動関節部同士の間の距離や、隣り合う能動関節部の間をつなぐリンク同士の成す角度が変わることで変化し得るアーム部の状態に限定されない。例えば、「アーム部の形態」は、関節部が協調的に動作することで、関節部同士の位置関係や、角度が変わることで変化し得るアーム部の状態であってもよい。また、アーム部が関節部を備えていない場合には、「アーム部の形態」は、対象物に対する位置や、対象物に対する相対角度が変わることで変化し得るアーム部の状態であってもよい。
図３に示す支持アーム装置４００は、６つの能動関節部４２１ａ～４２１ｆを有し、アーム部４２０の駆動に関して６自由度が実現されている。つまり、支持アーム装置４００の駆動制御は制御部による６つの能動関節部４２１ａ～４２１ｆの駆動制御により実現される一方、受動スライド機構４３１および受動関節部４３３は、制御部による駆動制御の対象とはなっていない。
具体的には、図３に示すように、能動関節部４２１ａ、４２１ｄ、４２１ｆは、接続されている各リンク４２２ａ、４２２ｅの長軸方向および接続されている内視鏡装置４２３の撮影方向を回転軸方向とするように設けられている。能動関節部４２１ｂ、４２１ｃ、４２１ｅは、接続されている各リンク４２２ａ～４２２ｃ、４２２ｅ、４２２ｆおよび内視鏡装置４２３の連結角度をｙ－ｚ平面（ｙ軸とｚ軸とで規定される平面）内において変更する方向であるｘ軸方向を回転軸方向とするように設けられている。
このように、実施形態においては、能動関節部４２１ａ、４２１ｄおよび４２１ｆは、いわゆるヨーイングを行う機能を有し、能動関節部４２１ｂ、４２１ｃおよび４２１ｅは、いわゆるピッチングを行う機能を有する。
このようなアーム部４２０の構成を有することにより、実施形態に適用可能な支持アーム装置４００は、アーム部４２０の駆動に対して６自由度が実現される。そのため、アーム部４２０の可動範囲内において内視鏡装置４２３を自由に移動させることができる。図３では、内視鏡装置４２３の移動可能範囲の一例として半球を図示している。半球の中心点ＲＣＭ（遠隔運動中心）が内視鏡装置４２３によって撮影される手術部位の撮影中心であるとすれば、内視鏡装置４２３の撮影中心を半球の中心点に固定した状態で、内視鏡装置４２３を半球の球面上で移動させることにより、手術部位を様々な角度から撮影することができる。
（１－３．斜視鏡の基本的構成）
次に、実施形態に適用可能な内視鏡の例として、斜視鏡の基本的構成について説明する。
図４は、実施形態に適用可能な斜視鏡の構成を示す模式図である。図４に示すように、斜視鏡４１００は、カメラヘッド４２００の先端に装着されている。なお、斜視鏡４１００は、図１および図２で説明した鏡筒５００３に対応し、カメラヘッド４２００は、図１および図２で説明したカメラヘッド５００５に対応する。
斜視鏡４１００とカメラヘッド４２００は、互いに独立して回動可能とされている。斜視鏡４１００とカメラヘッド４２００の間には、各関節部５０３３ａ、５０３３ｂおよび５０３３ｃと同様にアクチュエータが設けられており（図示しない）、斜視鏡４１００は、アクチュエータの駆動によってカメラヘッド４２００に対して、その長手方向の軸を回転軸として回転する。
斜視鏡４１００は、支持アーム装置５０２７によって支持される。支持アーム装置５０２７は、スコピストの代わりに斜視鏡４１００を保持し、また医師や助手の操作によって斜視鏡４１００を所望の部位が観察できるように移動させる機能を有する。
図５は、斜視鏡４１００と直視鏡４１５０とを対比して示す模式図である。図５の左側に示す直視鏡４１５０では、対物レンズの被写体への向き（Ｃ１）と直視鏡４１５０の長手方向（Ｃ２）とが一致する。一方、図５の右側に示す斜視鏡４１００では、対物レンズの被写体への向き（Ｃ１）は、斜視鏡４１００の長手方向（Ｃ２）に対して所定の角度φを有している。なお、角度φが９０度のときは側視鏡と呼ばれる。
（１－４．実施形態に適用可能なロボットアーム装置の構成例）
次に、実施形態に適用可能な支持アーム装置としてのロボットアーム装置について、より具体的に説明する。図６は、実施形態に適用可能なロボットアーム装置の一例の構成を示す図である。
図６において、ロボットアーム装置１０は、図３のアーム部４２０に対応するアーム部１１と、アーム部１１を駆動するための構成とを含む。アーム部１１は、第１関節部１１１1と、第２関節部１１１2と、第３関節部１１１3と、第４関節部１１１4と、を備える。第１関節部１１１1に対して、鏡筒１３を有する内視鏡装置１２が支持される。また、ロボットアーム装置１０に対して、姿勢制御部５５０が接続される。姿勢制御部５５０には、ユーザインタフェース部５７０が接続されている。
なお、図６に示されるアーム部１１は、説明のため、図３を用いて説明したアーム部４２０を簡略化して示している。
第１関節部１１１1は、モータ５０１1と、エンコーダ５０２1と、モータコントローラ５０３1と、モータドライバ５０４1とによるアクチュエータを有する。
第２関節部１１１2～第４関節部１１１4についても、第１関節部１１１1と同様の構成によるアクチュエータをそれぞれ有する。すなわち、第２関節部１１１2は、モータ５０１2と、エンコーダ５０２2と、モータコントローラ５０３2と、モータドライバ５０４2とによるアクチュエータを有する。第３関節部１１１3は、モータ５０１3と、エンコーダ５０２3と、モータコントローラ５０３3と、モータドライバ５０４3とによるアクチュエータを有する。また、第４関節部１１１4は、モータ５０１4と、エンコーダ５０２4と、モータコントローラ５０３4と、モータドライバ５０４4とによるアクチュエータを有する。
以下では、第１関節部１１１1～第４関節部１１１4について、第１関節部１１１1を例に説明する。
モータ５０１1は、モータドライバ５０４1の制御に従って動作し、第１関節部１１１1を駆動する。モータ５０１1は、例えば、第１関節部１１１1に付された矢印の方向、すなわち、第１関節部１１１1の軸を回転軸として、時計回りおよび反時計回りの両方向に第１関節部１１１1を駆動する。モータ５０１1は、第１関節部１１１1を駆動することで、アーム部１１の形態を変化させ、内視鏡装置１２の位置および／または姿勢を制御する。
なお、図６の例では、鏡筒１３の根本部分に内視鏡装置１２が設けられているが、これはこの例に限定されない。例えば、内視鏡の一形態として、鏡筒１３の先端に内視鏡装置１２を設けてもよい。
エンコーダ５０２1は、モータコントローラ５０３1からの制御に従って、第１関節部１１１1の回転角度に関する情報を検出する。すなわち、エンコーダ５０２1は、第１関節部１１１1の姿勢に関する情報を取得する。
姿勢制御部５５０は、アーム部１１の形態を変化させ、内視鏡装置１２の位置および／または姿勢を制御する。具体的には、姿勢制御部５５０は、モータコントローラ５０３1～５０３4およびモータドライバ５０４1～５０４4などを制御して、第１関節部１１１1～第４関節部１１１4を制御する。これにより、姿勢制御部５５０は、アーム部１１の形態を変化させ、アーム部１１に支持される内視鏡装置１２の位置および／または姿勢を制御する。なお、姿勢制御部５５０は、図１の構成において、例えばアーム制御装置５０４５に含むことができる。
ユーザインタフェース部５７０は、ユーザからの各種の操作を受け付ける。ユーザインタフェース部５７０は、例えば、アーム部１１に支持される内視鏡装置１２の位置および／または姿勢を制御するための操作を受け付ける。ユーザインタフェース部５７０は、受け付けた操作に応じた操作信号を姿勢制御部５５０に出力する。この場合、姿勢制御部５５０は、ユーザインタフェース部５７０から受け付けた操作に従い第１関節部１１１1～第４関節部１１１4を制御してアーム部１１の形態を変化させ、アーム部１１に支持される内視鏡装置１２の位置および／または姿勢を制御する。
なお、ロボットアーム装置１０において、内視鏡装置１２によって撮像された撮像画像は、所定の領域を切り出して用いることができる。ロボットアーム装置１０において、内視鏡装置１２により撮像された撮像画像を切り出すことで視線を変更する電子的な自由度と、アーム部１１のアクチュエータによる自由度を全てロボットの自由度として扱う。これにより、視線を変更する電子的な自由度と、アクチュエータによる自由度とを連動した運動制御を実現することが可能となる。
［２．本開示の実施形態］
次に、本開示の実施形態について説明する。
（２－１．実施形態の概要）
先ず、本開示の実施形態の概要について説明する。実施形態では、ロボットアーム装置１０を制御する制御部は、医師による内視鏡装置１２の位置および／または姿勢に対する操作に応じて、内視鏡装置１２の位置および／または姿勢の軌跡を学習し、内視鏡装置１２の位置および／または姿勢に関する学習済モデルを生成する。制御部は、生成した学習済モデルを用いて次時刻の内視鏡装置１２の位置および／または姿勢を予測し、予測に基づき内視鏡装置１２の位置および／または姿勢を制御する。これにより、ロボットアーム装置１０の自律動作が行われる。
上述の自律動作において、表示装置に表示される術野画像に対して、医師が所望する撮像範囲が適正に含まれない場合がある。この場合、医師は、術野画像が所望の範囲を含んでいない旨の評価を行い、ロボットアーム装置１０に対して指示を与えて自律動作を中止させる。医師は、術野画像が適正な撮像範囲を撮像するように、ロボットアーム装置１０を操作して、内視鏡装置１２の位置および／または姿勢を変更する。医師は、術野画像が適正な撮像範囲を含む旨の評価を行うと、制御部に対し、ロボットアーム装置１０の自律動作の再開を指示する。
ここで、制御部は、医師により自律動作の再開が指示されると、内視鏡装置１２の位置および／または姿勢の変更により変化した、アーム部１１および内視鏡装置１２に係る各情報に基づき、内視鏡装置１２の軌跡を学習し、学習済モデルを修正する。制御部は、このようにして修正された学習済モデルに基づき、再開後の自律動作における内視鏡装置１２の位置および／または姿勢を予測し、この予測に基づきロボットアーム装置１０を駆動する。
このように、実施形態に係るロボットアーム装置１０は、自律動作中に実行された不適正な動作に対する医師の評価に応じて自律動作を停止させて学習済モデルを修正し、修正された学習済モデルに基づき自律動作を再開させる。これにより、ロボットアーム装置１０および内視鏡装置１２の自律動作をより適切とすることができ、内視鏡装置１２により撮像される術野画像を、医師が所望する撮像範囲を含む画像とすることが可能となる。
（２－２．実施形態に係る医療用撮像システムの構成例）
次に、実施形態に係る医療用撮像システムの構成例について説明する。図７は、実施形態に係る医療用撮像システムの機能を説明するための一例の機能ブロック図である。
図７において、実施形態に係る医療用撮像システム１ａは、ロボットアーム装置１０と、内視鏡装置１２と、制御部２０ａと、記憶部２５と、操作部３０と、表示部３１と、を含む。
ここで、実施形態に係る医療用撮像システム１ａの構成の説明に先立って、医療用撮像システム１ａによる処理の概要について説明する。医療用撮像システム１ａにおいては、先ず、患者の腹腔内を撮像して腹腔内の環境を認識する。医療用撮像システム１ａは、腹腔内の環境の認識結果に基づいて、ロボットアーム装置１０を駆動させる。ここで、ロボットアーム装置１０を駆動することで、腹腔内の撮像範囲は変化する。医療用撮像システム１ａは、腹腔内の撮像範囲が変化すると、変化した環境を認識し、認識結果に基づいて、ロボットアーム装置１０を駆動させる。医療用撮像システム１ａは、腹腔内の環境の画像認識と、ロボットアーム装置１０との駆動とを繰り返す。すなわち、医療用撮像システム１ａは、画像認識処理と、ロボットアーム装置１０の位置と姿勢とを制御する処理とを融合した処理を実行する。
ロボットアーム装置１０は、上述したように、複数の関節部と複数のリンクから構成される多リンク構造体であるアーム部１１（多関節アーム）を有し、このアーム部１１を可動範囲内で駆動させることにより、アーム部１１の先端に設けられる先端ユニットすなわち内視鏡装置１２の位置および／または姿勢の制御を行う。
ロボットアーム装置１０は、図３に示す支持アーム装置４００の構成を適用することができる。また、以下では、説明のため、ロボットアーム装置１０が図６の構成を有するものとして説明を行う。
説明を図７に戻し、ロボットアーム装置１０は、アーム部１１と、アーム部１１に支持される内視鏡装置１２と、を含む。アーム部１１は関節部１１１を有し、関節部１１１は、関節駆動部１１１ａおよび関節状態検出部１１１ｂを含む関節部１１０を含む。
ここで、関節部１１１は、図６に示す第１関節部１１１1～第４関節部１１１4を代表して示している。関節駆動部１１１ａは、関節部１１１を駆動するアクチュエータにおける駆動機構であり、図６の第１関節部１１１1を参照すると、モータ５０１1およびモータドライバ５０４1を含む構成に対応する。関節駆動部１１１ａによる駆動は、モータドライバ５０４1が後述するアーム制御部２３からの指示に応じた電流量でモータ５０１1を駆動する動作に対応する。
関節状態検出部１１１ｂは、各関節部１１１の状態を検出する。ここで、関節部１１１の状態とは、関節部１１１の運動の状態を意味していてよい。
例えば、関節部１１１の状態を示す情報には、関節部１１１の回転角度、回転角速度、回転角加速度、発生トルクなどのモータの回転に関する情報が含まれる。図６の第１関節部１１１1を参照すると、関節状態検出部１１１ｂは、エンコーダ５０２1に対応する。関節状態検出部１１１ｂは、関節部１１１の回転角度を検出する回転角度検出部と、関節部１１１の発生トルクおよび外トルクを検出するトルク検出部とを含むことができる。なお、回転角度検出部は、モータ５０１1の例では、例えばエンコーダ５０２1に対応している。トルク検出部は、モータ５０１1の例では、トルクセンサ（図示しない）に対応する。関節状態検出部１１１ｂは、検出した関節部１１１の状態を示す情報を制御部２０に送信する。
内視鏡装置１２は、撮像部１２０と光源部１２１とを含む。撮像部１２０は、アーム部１１の先端に設けられ、各種の撮像対象物の画像を撮像する。撮像部１２０は、例えば、患者の腹腔内の各種の術具、臓器等を含む術野画像を撮像する。具体的には、撮像部１２０は、撮像素子およびその駆動回路などを含み、撮影対象を動画や静止画の形式で撮影可能な例えばカメラである。撮像部１２０は、後述する撮像制御部２２の制御により画角を変化させ、なお、図７では、撮像部１２０がロボットアーム装置１０に含まれるように示しているが、これはこの例に限定されない。すなわち、撮像部１２０は、アーム部１１に支持されていればその態様は限定されない。
光源部１２１は、撮像部１２０が撮像を行う撮像対象物に光を照射する。光源部１２１は、例えば、広角レンズ用のＬＥＤで実現することができる。光源部１２１は、例えば、通常のＬＥＤとレンズとを組み合わせて構成し、光を拡散させてもよい。また、光源部１２１は、光ファイバで伝達された光をレンズで拡散させる（広角化させる）構成であってもよい。また、光源部１２１は、光ファイバ自体を複数の方向に向けて光を照射することで照射範囲を広げてもよい。なお、図７では、光源部１２１がロボットアーム装置１０に含まれるように示しているが、これはこの例に限定されない。すなわち、光源部１２１は、アーム部１１に支持される撮像部１２に照射光を導光できればその態様は限定されない。
図７において、制御部２０ａは、画像処理部２１と、撮像制御部２２と、アーム制御部２３と、学習・修正部２４と、入力部２６と、表示制御部２７と、を含む。これら画像処理部２１、撮像制御部２２、アーム制御部２３、学習・修正部２４、入力部２６および表示制御部２７は、ＣＰＵ上で所定のプログラムが動作することで実現される。これに限らず、これら画像処理部２１、撮像制御部２２、アーム制御部２３、学習・修正部２４、入力部２６および表示制御部２７の一部または全部を、互いに協働して動作するハードウェア回路により実現することもできる。制御部２０ａは、例えば図１のアーム制御装置５０４５に含まれる構成とすることができる。
画像処理部２１は、撮像部１２０によって撮像された撮像画像（術野画像）に対して種々の画像処理を実行する。画像処理部２１は、取得部２１０と、加工部２１１と、認識部２１２とを含む。
取得部２１０は、撮像部１２０で撮像された撮像画像を取得する。加工部２１１は、取得部２１０により取得された撮像画像を加工し、種々の画像を生成することができる。例えば、加工部２１１は、撮像画像から、医師が興味を持つ領域（ＲＯＩ、Region of Interest）である表示対象領域に関する画像（術野画像と呼ぶ）を抽出することができる。加工部２１１は、例えば、後述する認識部２１２の認識結果に基づく判断により表示対象領域を抽出してもよいし、医師による操作部３０の操作に応じて表示対象領域を抽出してもよい。さらに、加工部２１１は、後述する学習・修正部２４により生成された学習済モデルに基づき表示対象領域を抽出することもできる。
例えば、加工部２１１は、撮像画像のうち表示対象領域を切り出して拡大することで術野画像を生成する。この場合、加工部２１１は、アーム部１１に支持される内視鏡装置１２の位置および／または姿勢に応じて切り出す位置を変更するようにしてもよい。例えば、加工部２１１は、内視鏡装置１２の位置および／または姿勢が変更した際に、表示部３１の表示画面に表示される術野画像が変化しないように、切り出し位置を変更することができる。
また、加工部２１１は、術野画像に対して種々の画像処理を施す。加工部２１１は、例えば、術野画像に対して高画質化処理を施すことができる。加工部２１１は、例えば、術野画像に対して高画質化処理として超解像処理を施してもよい。加工部２１１は、また、術野画像に対して高画質化処理として、帯域強調処理、ノイズ除去処理、手ブレ補正処理、輝度補正処理などを施してもよい。なお、本開示において、高画質化処理はこれらに限定されず、その他の各種の処理が含まれてよい。
さらに、加工部２１１は、術野画像に対して低解像度処理を施して、術野画像の容量を削減してもよい。さらにまた、加工部２１１は、術野画像に対して歪補正などを施すこともできる。術野画像に対して歪補正を施すことで、後述する認識部２１２における認識制度を向上させることが可能である。
また、加工部２１１は、撮像画像から術野画像が切り取られる位置に応じて、術野画像に対する補正などの画像処理の種類を変更することもできる。例えば、加工部２１１は、術野画像の端に近付くに連れ術野画像の中央の領域よりも強度を強くして補正してもよい。また、加工部２１１は、術野画像の中央領域は強度を弱くして補正してもよいし、補正しなくてもよい。これにより、加工部２１１は、切り出し位置に応じて最適な補正を術野画像に対して施すことができる。その結果、術野画像に対する認識部２１２による認識精度を向上させることができる。また、一般的に、広角画像は、画像の端に近付くに連れ歪みが強くなりやすいため、切り出し位置に応じて補正の強度を変更することで、医師が術野の状況を違和感なく把握可能な術野画像を生成することが可能となる。
さらに、加工部２１１は、制御部２０ａに入力された情報に基づいて、術野画像に施す処理を変更してもよい。例えば、加工部２１１は、アーム部１１の各関節部１１１の動きに関する情報と、撮像画像に基づく術野環境の認識結果と、撮像画像に含まれる物体および処置ステータスと、のうち少なくとも１つに基づいて、術野画像に対して施す画像処理を変更してもよい。加工部２１１が各種の状況に応じて画像処理を変更することで、医師などは、術野画像を認識しやすくなる。
認識部２１２は、例えば取得部２１０に取得された撮像画像に基づいて、種々の情報を認識する。認識部２１２は、例えば、撮像画像に含まれる術具（術具）に関する各種の情報を認識することができる。また例えば、認識部２１２は、撮像画像に含まれる臓器に関する各種の情報を認識することができる。
認識部２１２は、撮像画像に基づき、当該撮像画像に含まれる各種の術具の種別を認識することができる。このとき、撮像部１２０がステレオセンサを含み、このステレオセンサを用いて撮像された撮像画像を用いることで、より高精度で、術具の種別を認識可能となる。認識部２１２が認識する術具の種別としては、鉗子、メス、リトラクタ、内視鏡などを挙げられるが、これらに限られない。
また、認識部２１２は、撮像画像に基づき、撮像画像に含まれる各種の術具の腹腔内における３次元直交座標系における座標を認識することができる。より具体的には、認識部２１２は、例えば、撮像画像内に含まれる第１の術具一方の端部の座標（ｘ1，ｙ1，ｚ1）と、他方の端部の座標（ｘ2，ｙ２,ｚ2）と、を認識する。認識部２１２は、例えば、同撮像画像内に含まれる第２の術具の一方および他方の端部の座標（ｘ3，ｙ3，ｚ3）および座標（ｘ4，ｙ4，ｚ4）と、を認識する。
さらに、認識部２１２は、撮像画像内における深度を認識することができる。例えば、撮像部１２０がデプスセンサを含み、認識部２１２は、このデプスセンサで測定された画像データに基づき深度を計測することができる。これにより、撮像画像内に含まれる体内の奥行を計測することができ、複数箇所の奥行を計測することで、臓器の３次元形状を認識することが可能となる。
さらにまた、認識部２１２は、撮像画像内に含まれる各術具の動きを認識することができる。認識部２１２は、例えば、撮像画像内において認識した術具の画像の動きベクトルを認識することで、当該術具の動きを認識する。術具の動きベクトルは、例えば、モーションセンサを用いて取得することができる。これに限らず、動画として撮像された撮像画像をフレーム間で比較して、動きベクトルを求めることも可能である。
また、認識部２１２は、撮像画像内に含まれる臓器の動きを認識することができる。認識部２１２は、例えば、撮像画像内において認識した臓器の画像の動きベクトルを認識することで、当該臓器の動きを認識する。臓器の動きベクトルは、例えば、モーションセンサを用いて取得することができる。これに限らず、動画として撮像された撮像画像をフレーム間で比較して、動きベクトルを求めることも可能である。これに限らず、認識部２１２は、撮像画像に基づいて、オプティカルフロー等の画像処理に関するアルゴリズムによって、動きベクトルを認識してもよい。ここで、認識された動きベクトルに基づいて、撮像部１２０の動きをキャンセルする処理を実行してもよい。
このように、認識部２１２は、術具および臓器などの物体と、術具の動きを含む処置ステータスと、のうち少なくとも一方を認識する。
撮像制御部２２は、撮像部１２０を制御する。例えば、撮像制御部２２は、撮像部１２０を制御して術野の撮像を行う。また例えば、撮像制御部２２は、撮像部１２０による撮像の拡大率などを制御する。撮像制御部２２は、例えば、後述する入力部２６に入力された操作部３０からの操作情報や、後述する学習・修正部２４の指示に応じて、撮像部１２０の拡大率の変更を含めた撮像動作を制御する。
撮像制御部２２は、さらに、光源部１２１を制御する。撮像制御部２２は、例えば、撮像部１２０が術野を撮像する際に光源部１２１の明るさを制御する。撮像制御部２２は、例えば、学習・修正部２４からの指示に応じて光源部１２１の明るさを制御することができる。また、撮像制御部２２は、例えば、興味領域に対する撮像部１２０の位置関係に基づいて、光源部１２１の明るさを制御することもできる。さらに、撮像制御部２２は、例えば、入力部２６入力された操作部３０からの操作情報に応じて、光源部１２１の明るさを制御することができる。
アーム制御部２３は、ロボットアーム装置１０を統合的に制御するとともに、アーム部１１の駆動を制御する。具体的には、アーム制御部２３は、関節部１１１の駆動を制御することにより、アーム部１１の駆動を制御する。より具体的には、アーム制御部２３は、関節部１１１のアクチュエータにおけるモータ（例えばモータ５０１1）に対して供給される電流量を制御することにより、当該モータの回転数を制御し、関節部１１１における回転角度および発生トルクを制御する。これにより、アーム制御部２３は、アーム部１１の形態を制御し、アーム部１１に支持される内視鏡装置１２の位置および／または姿勢を制御することができる。
アーム制御部２３は、例えば、認識部２１２の認識結果に対する判定結果に基づいてアーム部１１の形態を制御することができる。アーム制御部２３は、入力部２６入力された操作部３０からの操作情報に基づいてアーム部１１の形態を制御する。また、アーム制御部２３は、後述する学習・修正部２４による学習済みモデルに基づく指示に応じて、アーム部１１の形態を制御することができる。
操作部３０は、１以上の操作子を有し、ユーザ（例えば医師）による操作子に対する操作に応じた操作情報を出力する。操作部３０が有する操作子としては、ユーザが直接的あるいは間接的に接触して操作するスイッチ、レバー（ジョイスティックを含む）、フットスイッチ、タッチパネルなどを適用することができる。これに限らず、音声を検出するためのマイクロホンや、視線を検出するための視線センサを操作子として適用することも可能である。
入力部２６は、操作部３０がユーザ操作に応じて出力した各種の操作情報が入力される。操作情報は、物理的な機構（例えば操作子）で入力されたものであってもよいし、音声で入力されたものであってもよい（音声入力については後述する）。操作部３０からの操作情報は、例えば、撮像部１２の拡大率（ズーム量）や、アーム部１１の位置および／または姿勢を変更するための指示情報である。入力部２６は、例えば、指示情報を撮像制御部２２と、アーム制御部２３とに出力する。撮像制御部２２は、例えば、入力部２６から受けた指示情報に基づいて、撮像部１２の拡大率を制御する。アーム制御部２３は、例えば、受付部から受けた指示情報に基づいて、アーム部１１の位置・姿勢を制御する。
さらに、入力部２６は、操作部３０に対する所定の操作に応じて、学習・修正部２４に対してトリガ信号を出力する。
表示制御部２７は、画像処理部２１から出力される術野画像や撮像画像に基づき、表示部３１が表示可能な表示信号を生成する。表示制御部２７で生成された表示信号は、表示部３１に供給される。表示部３１は、ＬＣＤ(Liquid Crystal Display)や有機ＥＬ(Electro-Luminescence)ディスプレイといった表示デバイスと、当該表示デバイスを駆動する駆動回路とを含む。表示部３１は、表示制御部２７から供給された表示信号に従い、表示デバイスの表示領域に対して画像や映像を表示させる。医師は、この表示部３１に表示される画像、映像を見ながら、内視鏡手術を実施することができる。
記憶部２５は、データを不揮発に記憶し、記憶したデータを読み出す。記憶部２５は、例えばハードディスクドライブやフラッシュメモリといった、不揮発性の記憶媒体と、当該記憶媒体に対するデータの書き込みおよび当該記憶媒体からのデータの読み出しを行うコントローラと、を含むストレージ装置を適用できる。
学習・修正部２４は、ロボットアーム装置１０から取得される各種の情報や、入力部２６に入力された、操作部３０に対する操作に応じた操作情報を含む入力情報を学習データとして学習を行い、ロボットアーム装置１０の各関節部１１１の駆動を制御するための学習済モデルを生成する。学習・修正部２４は、学習済モデルに基づきアーム部１１の駆動を制御するためのアーム制御信号を生成する。アーム部１１は、このアーム制御信号に従い、自律動作を実行することができる。
また、学習・修正部２４は、操作部３０に対する操作などに応じて入力部２６から出力されるトリガ信号に応じて、学習済モデルの修正を行い、修正された学習済モデルで、修正前の学習済モデルを上書きする。
ここで、学習・修正部２４は、入力部２６から受け取ったトリガ信号に応じて、アーム部１１の自律動作を中止するアーム制御信号を出力する。アーム部１１は、このアーム制御信号に応じて、学習済モデルに基づく自律動作を中止する。アーム部１１の自律動作が注視している間は、内視鏡装置１２の位置および／または姿勢の手動による修正が可能となる。
また、学習・修正部２４は、当該トリガ信号の次に入力部２６から受け取ったトリガ信号に応じて、アーム部１１の駆動制御を再開するためのアーム制御信号を出力する。アーム部１１は、このアーム制御信号に応じて、修正された学習済モデルを用いて、自律動作を再開する。
以降、アーム部１１の自律動作を中止し修正操作を開始するためのトリガ信号を開始トリガ信号と呼ぶ。また、修正操作が終了し自律動作を再開するためのトリガ信号を終了トリガ信号と呼ぶ。
図８は、実施形態に係る制御部２０ａを実現可能なコンピュータの一例の構成を示すブロック図である。例えば、このコンピュータ２０００は、図１で示したカート５０３７に搭載され、アーム制御装置５０４５の機能を実現する。制御部２０ａの機能は、アーム制御装置５０４５に含まれるものとすることができる。
コンピュータ２０００は、ＣＰＵ２０２０と、ＲＯＭ(Read Only Memory)２０２１と、ＲＡＭ(Random Access Memory)２０２２と、グラフィックＩ／Ｆ２０２３と、ストレージ装置２０２４と、制御Ｉ／Ｆ２０２５と、入出力Ｉ／Ｆ２０２６と、通信Ｉ／Ｆ２０２８と、を備え、これら各部がバス２０１０により互いに通信可能に接続される。
ストレージ装置２０２４は、例えばハードディスクドライブやフラッシュメモリといった不揮発性の記憶媒体と、当該記憶媒体に係るデータの書き込みおよび読み出しを行うコントローラとを含む。
ＣＰＵ２０２０は、ストレージ装置２０２４やＲＯＭ２０２１に記憶されたプログラムに従い、ＲＡＭ２０２２をワークメモリとして用いて、このコンピュータ２０００の全体の動作を制御する。グラフィックＩ／Ｆ２０２３は、ＣＰＵ２０２０によりプログラムに従い生成された表示制御信号を、表示デバイスが表示可能な形式の表示信号に変換する。
制御Ｉ／Ｆ２０２５は、ロボットアーム装置１０に対するインタフェースである。ＣＰＵ２０２０は、制御Ｉ／Ｆ２０２５を介してロボットアーム装置１０のアーム部１１および内視鏡装置１２と通信を行い、アーム部１１および内視鏡装置１２の動作を制御する。また、制御Ｉ／Ｆ２０２５は、各種レコーダや測定装置を接続することもできる。
入出力Ｉ／Ｆ２０２６は、コンピュータ２０００に接続される入力デバイスおよび出力デバイスに対するインタフェースである。コンピュータ２０００に接続される入力デバイスとしては、マウスやタッチパッドといったポインティングデバイスや、キーボードが挙げられる。これに限らず、入力デバイスとして、各種スイッチ、レバーやジョイスティックなどを適用することもできる。コンピュータ２０００に接続される出力デバイスとしては、プリンタやプロッタなどがある。出力デバイスとしてスピーカを適用することもできる。
また、内視鏡装置１２において撮像部１２０で撮像された撮像画像を、この入出力Ｉ／Ｆ２０２６を介してコンピュータ２０００に入力することができる。撮像画像は、上述の制御Ｉ／Ｆ２０２５を介してコンピュータ２０００に入力してもよい。
通信Ｉ／Ｆ２０２７は、外部の装置と有線または無線で通信を行うためのインタフェースである。通信Ｉ／Ｆ２０２７は、例えばＬＡＮ(Local Area Network)などのネットワークに接続可能とされ、ネットワークを介してサーバ装置やネットワークプリンタといったネットワーク機器と通信を行ったり、インターネットに対する通信を行うことができる。
例えば、ＣＰＵ２０２０は、実施形態に係るプログラムが実行されることにより、上述した画像処理部２１、撮像制御部２２、アーム制御部２３、学習・修正部２４、入力部２６および表示制御部２７をＲＡＭ２０１２における主記憶領域上に、それぞれ例えばモジュールとして構成する。ここで、学習・修正部２４を構成するモジュールは、例えば、当該プログラムに含まれる学習済モデル生成プログラムがＣＰＵ２０２０により実行されることで、主記憶領域上に構成される。
当該プログラムは、例えば通信Ｉ／Ｆ２０２７を介した通信により、外部（例えばサーバ装置）から取得し、当該コンピュータ２０００上にインストールすることが可能とされている。これに限らず、当該プログラムは、ＣＤ(Compact Disk)やＤＶＤ(Digital Versatile Disk)、ＵＳＢ(Universal Serial Bus)メモリといった着脱可能な記憶媒体に記憶されて提供されてもよい。また、学習済モデル生成プログラムは、当該プログラムとは別途に提供、インストールされてもよい。
（２－３．実施形態に係る医療用撮像システムによる処理の概要）
次に、実施形態に係る医療用撮像システムによる処理の概要について説明する。以下では、図８を用いて説明した、操作部３０に対する操作と音声入力とに対応した医療用撮像システム１ｂを例にとって説明を行う。
図９は、実施形態に係る学習・修正部２４の機能を説明するための一例の機能ブロック図である。図８において、学習・修正部２４は、学習部２４０と、修正部２４１と、を含む。
学習部２４０は、術具（鉗子など）の軌道および内視鏡装置１２の軌道の少なくとも一方を、例えば医師による実際の動作に基づくデータサンプルから学習して学習済モデルを生成し、この学習済モデルに基づき予測を行う。学習部２４０は、予測に基づきアーム制御信号を生成してアーム部１１を駆動制御し、内視鏡装置１２の軌跡を学習済モデルに基づく予測に追従させる。
医師は、この学習済モデルに基づく予測に従い駆動制御されるアーム部１１およびアーム部１１に支持される内視鏡装置１２を実際に使用し、使用中に評価を発生させる。評価の発生は、入力部２６から出力されるトリガ信号（開始トリガ信号、終了トリガ信号）により、学習・修正部２４に通知される。
修正部２４１は、評価が発生した時点での内視鏡装置１２の軌跡を示す情報を用いて、学習済モデルの再学習を行うインタフェースを提供する。すなわち、修正部２４１は、医師の評価に応じて正解ラベルを獲得し、この正解ラベルに基づき学習済モデルの再学習を行い、当該学習済モデルを修正するインタフェースを実現する。
評価は、例えば、内視鏡装置１２により撮像される術野画像に異常や違和感が認められ、医師によりアーム部１１の自律動作が中止された時点、および、医師により、術野画像の異常や違和感が解消されるように、内視鏡装置１２の位置および／または姿勢が修正された時点で発生する。このとき、医師によりアーム部１１の自律動作が中止された時点での正解ラベルは、不正解を示す値（例えば「０」）とされ、内視鏡装置１２の位置および／または姿勢が修正された時点での正解ラベルは、正解を示す値（例えば「１」）とされる。
（２－４．実施形態に係る医療用撮像システムによる処理の詳細）
次に、実施形態に係る医療用撮像システムによる処理について、より詳細に説明する。実施形態では、医師の使用する術具の位置に基づいて内視鏡装置１２の位置および／または姿勢、例えば、内視鏡装置１２の先端（鏡筒１３の先端）の位置を制御する。
図１０Ａおよび図１０Ｂは、内視鏡装置１２により撮像された撮像画像の例を示す図である。図１０Ａに示す撮像画像ＩＭ１と、図１０Ｂに示す撮像画像ＩＭ２とは、同一の術野が含まれる範囲を異なる拡大率で撮像した画像であり、撮像画像ＩＭ１は、撮像画像ＩＭ２に対して拡大率（ズーム量）が大きい。図１０Ａを例にとると、撮像画像ＩＭ１は、医師が操作する術具ＭＤ１およびＭＤ２の画像と、手術対象部位ＡＰの画像とを含む。図１０Ａにおいて、術具ＭＤ１の先端部分が位置Ｅに、ＭＤ２の先端部分が位置Ｆに、それぞれ示されている。以降、この術具ＭＤ１およびＭＤ２の先端部分の位置ＥおよびＦを、それぞれ術具ＭＤ１およびＭＤ２の位置とする。
図１１は、実施形態に係るアーム部１１の制御を説明するための模式図である。図１１の例では、アーム部１１は、可動部分として、図中にＡ、ＢおよびＣとして示される第１関節部１１１11と、第２関節部１１１12と、第３関節部１１１13と、を備えている。第１関節部１１11に接続される支持部に対して、内視鏡装置１２が支持される。なお、図１１では、内視鏡装置１２を、鏡筒により代表して示している。
実施形態では、図１０Ａおよび図１０Ｂを用いて説明した術具ＭＤ１およびＭＤ２の位置に基づき、アーム部１１に支持される内視鏡装置１２の先端部分（図１１にＤとして示す）の位置および／または姿勢を制御する。
図１２Ａおよび図１２Ｂは、実施形態に係る学習部２４０による処理を概略的に説明するための模式図である。
図１２Ａは、既存技術により想定された注視点の例を示している。撮像画像ＩＭ３において、位置Ｈおよび位置Ｇに、それぞれ術具ＭＤ１およびＭＤ２が当てられており、医師の注視点を、これら位置ＨおよびＧの略中間点の位置Ｉと想定している。そのため、既存技術では、例えばこの位置Ｉが撮像画像ＩＭ３の略中央に位置するように、内視鏡装置１２の位置および／または姿勢などを制御していた。
ここで、例えば、医師の実際の注視点が位置Ｉとは離れた位置の位置Ｊである場合、位置Ｉが撮像画像ＩＭ３の中心に来るように内視鏡装置１２の位置および／または姿勢を制御すると、実際の注視点である位置Ｊが撮像画像ＩＭ３の周辺部に移動してしまい、医師にとって好ましい術野画像が得られないことになる。したがって、この位置Ｉは、不適正な予測位置である。
図１２Ｂは、図１２Ａの撮像画像ＩＭ３に対して、実施形態に係る学習部２４０により、医師の注視点を適正に予測した場合の例を示している。図１２Ｂの例では、撮像画像ＩＭ３’において、図１２Ａの位置Ｊに対応する位置Ｊ’が略中心に来るように内視鏡装置１２の位置および／または姿勢が制御され、位置Ｊ’に術具Ｄ２が当てられている。また、術具ＭＤ１は、図１２Ａにおける位置Ｈに対応する位置Ｈ’に移動されている。このように、実施形態に係る学習部２４０により学習した学習済モデルを用いて医師の実際の注視点を予測し、予測された注視点に応じて内視鏡装置１２の位置および／または姿勢を制御することで、医師は、手術を容易に実行することが可能となる。
図１３Ａおよび図１３Ｂは、実施形態に係る修正部２４１による処理を概略的に説明するための模式図である。
図１３Ａは、予測された不適正な内視鏡装置１２の位置および／または姿勢により撮像された撮像画像ＩＭ４の例を示している。図１３Ａの例では、医師が用いている術具ＭＤ１およびＭＤ２のうち、位置Ｋに当てられている一方の術具ＭＤ２の画像のみが含まれている。ここで、実際の医師の注視点が撮像画像ＩＭ４からはみ出た位置Ｌであるものとする。
図１３Ａの例では、撮像画像ＩＭ４は、医師が所望する注視点を含まないと共に、例えば他方の術具ＭＤ１を含んでおらず、医師の処置に支障が生じるおそれがある。そのため、医師は、操作部３０に対する操作や、音声などで、ロボットアーム装置１０の自律動作を中止させて、手動にて、内視鏡装置１２の位置および／または姿勢を修正する。
図１３Ｂは、医師により位置および／または姿勢を修正された内視鏡装置１２により撮像された撮像画像ＩＭ４’の例を示している。撮像画像ＩＭ４’では、医師が所望する注視点の位置Ｌ’が撮像画像ＩＭ４’の略中央とされると共に、医師が用いる術具ＭＤ１およびＭＤ２の画像がそれぞれ撮像画像ＩＭ４’に含まれている。修正部２４１は、このように修正された内視鏡装置１２の位置および／または姿勢、ならびに、各術具ＭＤ１およびＭＤ２の位置ＭおよびＫ’を用いて、学習部２４０により生成された学習済モデルを修正する。
この修正された学習済モデルにより内視鏡装置１２の位置および／または姿勢を予測し制御することで、内視鏡装置１２により撮像される撮像画像の撮像範囲が適正となり、内視鏡装置１２および内視鏡装置１２を支持するアーム部１１の自律動作が可能となる。
（２－４－１．実施形態に係る学習部の処理）
実施形態に係る学習部２４０における処理について説明する。図１４は、実施形態に係る学習部２４０における学習処理を説明するための模式図である。学習部２４０は、学習モデル６０により、時刻ｔにおける複数の入力情報ｓtを用いて模倣学習を行い、次時刻ｔ＋１における予測値としての出力情報ｙt+1を出力する。実施形態では、学習部２４０は、医師による手術に係る手術データを計測し、その手術データの軌跡を用いて、学習モデル６０の学習を行う。
より具体的には、学習部２４０は、医師が手術において使用している鉗子などの術具の位置および／または姿勢と、医師の助手（別の医師、スコピストなど）が手動で内視鏡装置１２（アーム部１１）を動かした場合の手術中の内視鏡装置１２（アーム部１１）の位置および／または姿勢と、を用いて学習モデル６０の学習を行う。
なお、最初の学習モデル６０を学習するためのデータセットは、予め生成しておく。このデータセットは、実際に複数の医師による手術の動作を計測して生成してもよいし、シミュレーションなどにより生成してもよい。医療用撮像システム１ａは、このデータセットを、例えば記憶部２５に予め記憶する。これに限らず、このデータセットをネットワーク上のサーバなどに保存しておいてもよい。
医師が使用する術具の位置および／または姿勢、ならびに、医師の助手が内視鏡装置１２を動かした場合の内視鏡装置１２の位置および／または姿勢は、例えばモーションキャプチャといった計測装置を用いて計測できる。
これに限らず、医師が使用する術具の位置および／または姿勢は、内視鏡装置１２により撮像された撮像画像に基づき検出することもできる。この場合には、例えば、撮像画像に対する認識部２１２による認識処理の結果を複数フレームで比較することで、術具の位置および／または姿勢を検出することが可能である。また、医師の助手がロボットアーム装置１０を、操作部３０に配される操作子に対する操作により手動にて動かした場合には、アーム部１１の各関節部１１１の状態をエンコーダなどの情報に基づき知ることができ、これにより、内視鏡装置１２の位置および／または姿勢を計測できる。なお、内視鏡装置１２の位置および／または姿勢に加え、内視鏡装置１２の姿勢を計測すると好ましい。
入力情報ｓtは、例えば現在（時刻ｔ）の内視鏡装置１２の位置および／または姿勢、ならびに、術具の位置および／または姿勢を含む。また、出力情報ｙt+1は、例えば制御に用いる次時刻（時刻t+1）の内視鏡装置１２の位置および／または姿勢を含む。すなわち、出力情報ｙt+1は、内視鏡装置１２の時刻ｔ＋１における位置および／または姿勢を時刻ｔにおいて予測した予測値である。
入力情報ｓtは、現在の内視鏡装置１２の位置および／または姿勢、ならびに、術具の位置および／または姿勢に限定されない。図１４の例では、入力情報ｓtとして、カメラ位置・姿勢、体内奥行情報、変化情報、術具位置・姿勢、術具種類およびＲＡＷ画像が提供され、これらのうちカメラ位置・姿勢、体内奥行情報、術具位置・姿勢および術具種類が学習モデル６０の学習に用いられている。例えば、学習部２４０は、取得可能な各入力情報ｓtによる最小セットから順次、学習モデル６０の学習を試していく。
なお、入力情報ｓtのうち、「カメラ位置・姿勢」は、内視鏡装置１２の位置および／または姿勢である。「体内奥行情報」は、認識部２１２によりデプスセンサを用いて計測された、腹腔内の撮像画像の範囲における奥行を示す情報である。「変化情報」は、例えば手術対象部位ＡＰの変化を示す情報である。「術具位置・姿勢」は、撮像画像に含まれる術具の位置および／または姿勢を示す情報である。「術具種類」は、撮像画像に含まれる術具の種類を示す情報である。また、ＲＡＷ画像は、内視鏡装置１２により撮像され、デモザイク処理などが施されていない、撮像画像である。ここで、「変化情報」、「術具位置・姿勢」および「術具種類」は、例えば認識部２１２による撮像画像に対する認識処理に基づき取得できる。
また、図１４に示した各入力情報ｓtは、一例であって、これらに限られるものではない。
学習モデル６０は、次式（１）および（２）により、次時刻の内視鏡装置１２の位置および／または姿勢を予測する。
ｓt+1＝ｆ(ｓt) …（１）
ｙt＝ｇ(ｓt) …（２）
式（１）は、時刻ｔ＋１における入力情報ｓt+1が、時刻ｔにおける入力情報ｓtの関数ｆで表されることを示している。また、式（２）は、時刻ｔにおける出力情報ｙtが、時刻ｔにおける入力情報ｓtの関数ｇで表されることを示している。これら式（１）と式（２）とを組み合わせることで、時刻ｔにおいて、次時刻である時刻ｔ＋１の出力情報ｙt+1を予測することができる。
学習部２４０は、学習モデル６０において、各入力情報ｓtおよび出力情報ｙtに基づき関数ｆおよび関数ｇを学習する。これらの関数ｆおよび関数ｇは、逐次的に変化する。また、関数ｆおよび関数ｇは、医師によっても異なるものとなる。
図１５は、実施形態に係る学習モデル６０の例について説明するための模式図である。実施形態に係る学習モデル６０は、複数の学習器（予測モデル）を用いたアンサンブル学習により生成することができる。図１５の例では、学習モデル６０は、複数の学習器６００1、６００2、…、６００nを含む。各学習器６００1、６００2、…、６００nは、それぞれ弱学習器を適用することができる。
入力情報ｓtが各学習器６００1、６００2、…、６００nに入力される。各学習器６００1、６００2、…、６００nそれぞれの出力は、予測器６０１に入力される。予測器６０１は、入力された各学習器６００1、６００2、…、６００nそれぞれの出力を統合して、最終的な予測値である出力情報ｙt+1を得る。学習モデル６０による学習が十分に行われたと判断された場合、学習部２４０は、学習された学習モデル６０を、学習済学習モデルとして、例えば記憶部２５に記憶する。
アンサンブル学習を用いることで、比較的少ない入力情報ｓtから高い精度の出力情報ｙt+1を得ることができる。
なお、学習モデル６０の学習手法は、非線形モデルを用いた学習手法であれば、特に限定されない。本開示の出願人は、本開示の検討時においては、データ数が少ない非線形モデルであるためガウシアンプロセス（ＧＰ）を用いて、非線形関数を学習した。学習手法は、学習データに依存するため、ＧＰを他の非線形関数学習手法にて置き換えることも可能である。この、他の非線形関数学習手法の例としては、混合ガウスモデル（ＧＭＭ）、カルマンフィルタ（ＫＦ）、隠れマルコフモデル（ＨＭＭ）、ＳＳＭＳ(SQL Server Management Studio)を用いた手法、などダイナミクスを含む確率モデルが考えられる。これに限らず、ＣＮＮ(Convolutional Neural Network)やＲＮＮ(Recurrent Neural Network)といった、ディープラーニングの手法を適用することも可能である。
上述では、学習モデル６０をアンサンブル学習の手法としてブースティングを用いているが、これはこの例に限定されない。例えば、学習・修正部２４は、学習モデル６０を、アンサンブル学習の手法として、決定木を弱学習器として用いるランダムフォレストや、学習データを復元抽出することでデータセットに多様性を持たせるバギングなどを用いて学習してもよい。
最初の学習モデル６０を学習するデータセットは、医療用撮像システム１ａのがローカルに記憶していてもよいし、クラウドネットワークなどに保存しておいてもよい。
また、一般的に、手術のパターンは医師毎に異なり、それに伴い、内視鏡装置１２の軌跡も医師毎に異なるものとなる。そのため、学習・修正部２４は、内視鏡装置１２の軌跡などの学習を、医師毎に実行し、医師毎の学習済モデルを生成し、医師を識別する情報と関連付けて例えば記憶部２５に記憶する。学習・修正部２４は、医療用撮像システム１ａに対する医師の認証情報や、医療用撮像システム１ａから提示される医師のリストからの選択に応じて、記憶部２５に記憶される学習済モデルから、当該医師に対応する学習済モデルを読み出して適用する。
（２－４－２．実施形態に係る修正部の処理）
実施形態に係る修正部２４１における処理について説明する。図１６は、実施形態に係る学習・修正部２４による処理を示す一例のフローチャートである。
なお、ここでは、説明のため、学習部２４０に対する入力情報Ｓtは、内視鏡装置１２の位置、および、医師が使用している術具の位置、であり、出力情報ｙt+1は、内視鏡装置１２の位置であるものとする。また、ロボットアーム装置１０の動作モードは、当該フローチャートの初期においては、予め生成された学習済モデルに基づく自律動作を行う自律動作モードとされているものとする。
ステップＳ１０で、学習・修正部２４は、現在（時刻ｔ）の医師の器具（術具）位置と内視鏡装置１２の位置とを取得する。術具の位置は、認識部２１２による撮像画像に対する術具の認識処理の結果に基づき取得できる。また、内視鏡装置１２の位置は、アーム制御部２３から取得できる。
次のステップＳ１１で、学習・修正部２４は、学習部２４０により、ステップＳ１０で取得された時刻ｔにおける術具および内視鏡装置１２の位置に基づき、学習済モデルによる、次時刻ｔ＋１における内視鏡装置１２の位置を予測する。学習部２４０は、予測した内視鏡装置１２の位置を示す情報を、例えば内視鏡情報として保持する。
次のステップＳ１２で、学習・修正部２４は、学習部２４０により、ステップＳ１１で保持された内視鏡情報に基づきロボットアーム制御処理を行う。より具体的には、学習部２４０は、ステップＳ１１で保持された内視鏡情報に基づきアーム制御信号を生成し、生成したアーム制御信号をアーム部１１に渡す。アーム部１１は、渡されたアーム制御信号に従い、各関節部１１１を駆動制御する。これにより、ロボットアーム装置１０は、自律制御される。
次のステップＳ１３で、学習・修正部２４は、ステップＳ１１による予測が正しいか否かを判定する。より具体的には、学習・修正部２４は、入力部２６から開始トリガ信号が出力された場合に、予測が正しくない（不正解である）と判定する。
例えば、医師は、表示部３１に表示される撮像画像（術野画像）が、図１３Ａに示したような、異常な、あるいは不自然な撮像範囲で撮像されたものである場合、操作部３０部に対して、ロボットアーム装置１０による自律動作の中止を指示する操作を行う。入力部２６は、操作部３０に対するこの操作に応じて、開始トリガ信号を学習・修正部２４に対して出力する。
学習・修正部２４は、ステップＳ１３で予測が正しいと判定した場合（ステップＳ１３、「Ｙｅｓ」）、処理をステップＳ１０に戻し、ステップＳ１０以降の処理を繰り返す。一方、学習・修正部２４は、ステップＳ１３で予測が正しくないと判定した場合（ステップＳ１３、「Ｎｏ」）、処理をステップＳ１４に移行する。
ステップＳ１４で、学習・修正部２４は、修正部２４１により、学習済モデルを修正するための修正データを取得する。
より具体的には、例えば、学習・修正部２４は、入力部２６から受け取った開始トリガ信号に応じて、ロボットアーム装置１０の手動による操作を可能とするためのアーム制御信号を生成し、生成したアーム制御信号をロボットアーム装置１０に渡す。このアーム制御信号に応じて、ロボットアーム装置１０の動作モードが、自律動作モードから手動操作可能モードに遷移される。
医師は、手動操作可能モードにおいて、表示部３１に表示される撮像画像が所望の撮像範囲を含むように、アーム部１１を手動にて操作して、内視鏡装置１２の位置および／または姿勢を修正する。医師は、内視鏡装置１２の位置および／または姿勢の修正が完了すると、操作部３０に対して、ロボットアーム装置１０による自律動作の再開を指示する操作を行う。入力部２６は、操作部３０に対するこの操作に応じて、終了トリガ信号を学習・修正部２４に対して出力する。
学習・修正部２４は、学習部２４０により、入力部２６から終了トリガ信号、すなわち、上述のステップＳ１３で受け取った開始トリガ信号の次のトリガ信号を受け取ると、終了トリガ信号を受け取った時点での入力情報ｓtを、修正部２４１に渡す。これにより、修正部２４１は、学習済モデルを修正するための修正データを取得する。また、修正部２４１は、記憶部２５に記憶される学習済モデルを取得する。
次のステップＳ１５で、修正部２４１は、ステップＳ１４で取得した修正データに基づき、記憶部２５から取得した学習済モデルを修正する。修正部２４１は、修正した学習済モデルにより、記憶部２５に記憶される修正前の学習済モデルを上書きする。
より具体的には、修正部２４１は、取得した学習済モデルに含まれる各学習器６００1、６００2、…、６００nに対し、修正データに基づき重み付けを行う。このとき、修正部２４１は、内視鏡装置１２の位置に関して不適正位置を出力した学習器（予測モデル）に対して罰則となる重み、例えばより大きな重みを与え、ブースティングを行う。すなわち、不適正位置を出力したデータを重視して、正解データを得ることができるように学習を行う。図１５を用いて説明したように、各学習器（予測モデル）に対して重み付けを行った総和が、学習モデル６０すなわち修正した学習済モデルの出力となる。重み付けの具体例については、後述する。
学習・修正部２４は、ステップＳ１５での学習済モデルの修正および上書き後、処理をステップＳ１１に戻し、ロボットアーム装置１０の動作モードを手動操作可能モードから自律動作モードに遷移させて、修正された学習済モデルによる予測、ロボットアーム装置１０の駆動制御を実行する。
ステップＳ１５の修正部２４１による重み付けの具体例について説明する。修正を行う修正情報としての入力情報ｓtについては、次のようになる。
・医師により修正された内視鏡装置１２の位置（適正位置）
・医師により異常と見做された内視鏡装置１２の位置（不適正位置）
この場合、例えば不適正位置を出力した学習器（予測モデル）に対してより大きな重みを与えることができる。また、適正位置または不適正位置における内視鏡装置１２のズーム量や撮像画像そのものに係る学習器に対して重み付けを行ってもよい。さらに、入力情報ｓtとして他の情報が用いられる場合には、これら他の情報に係る学習器について、適正位置または不適正位置に応じて重み付けを行ってもよい。
修正部２４１は、さらに、トリガ信号に応じた重み付けを行うことができる。例えば、修正部２４１は、自律動作が開始されてから開始トリガ信号が出力されるまでの時間を、修正情報として用いることができる。
修正部２４１は、さらに、正解または不正解を示す正解ラベルに応じて重み付けを行うことができる。上述では、修正部２４１は、自律動作が中止された時点、および、自律動作の再開の直前で正解ラベルを獲得しているが、これはこの霊に限定されない。例えば、開始トリガ信号に応じて自律動作が中止された時点での各入力情報ｓtと、終了トリガ信号が入力部２６から出力された時点での修正情報（各入力情報ｓt+1）とを比較した結果に応じて正解ラベルを獲得することが考えられる。
また、修正部２４１は、０または１の２値にて表される正解ラベルに限らず、例えば０≦ｒ≦１の値を取る信頼度ｒに応じて重み付けを行うようにもできる。信頼度ｒは、例えば、上述の各入力情報ｓtと各修正情報（入力情報ｓt+1）とを比較した結果に応じた値として、学習器６００1～６００nそれぞれについて求めることが考えられる。
修正部２４１は、さらに、各学習器６００1～６００nを重み付けられた予測モデル自体に、重み付けを行うことができる。例えば、図１５を用いて説明した各学習器６００1～６００nを有する構成を予測モデルとし、学習モデル６０は、この予測モデルを図１５の各学習器６００1～６００nのように複数含んで構成されるレイヤ構造を持つものとする。この構造において、各予測モデル、または、弱学習器としての、各予測モデルに含まれる各学習器６００1～６００nに対して、重み付けを行う。また、各弱学習器における弱教師の特徴量に対して重み付けを行うことも考えられる。
このようにして、各学習器６００1～６００nなどに対するサンプルに関するパラメータの重み付けを行うことで、オンライン学習による学習済モデルの再学習を効率的に実行可能となる。
上述では、予測モデルに対して重み付けを行うことで、既存の学習済モデルの修正を行っているが、これはこの例に限定されず、例えば内視鏡装置１２などの適正位置を含む新規の予測モデルを生成するようにしてもよい。
上述した図１６のフローチャートによる処理について、より具体的な例を用いて説明する。医療用撮像システム１ａにおいて、予め生成された学習済モデルに基づきロボットアーム装置１０を自律動作させ、アーム部１１に支持される内視鏡装置１２により撮像された撮像画像あるいは撮像画像に基づく術野画像を表示部３１に表示させる。医師は、この表示部３１に表示される画像を見ながら術具を操作し、手術を行う。
医師が、表示部３１に表示される画像において、不自然な撮像位置に気づいた場合、操作部３０に対して、自律動作を中止し、手動による内視鏡装置１２の位置の修正を開始する旨を指示する操作を行う。入力部２６は、この操作に応じて、開始トリガ信号を学習・修正部２４に対して出力する（図１６のステップＳ１３、「Ｎｏ」）。
学習・修正部２４は、この開始トリガ信号に応じて、現在の内視鏡装置１２の位置が不適正位置であるとして、この不適切位置を出力した予測モデルに対して不適正ラベル（あるいは不正解ラベル）を付与する。また、学習・修正部２４は、自律動作の中止し手動での操作を可能とするアーム制御信号を出力する。これにより、ロボットアーム装置１０の動作モードが自律動作モードから手動操作可能モードに遷移される。
医師は、表示部３１に表示される撮像画像を確認しながら、内視鏡装置１２の位置を、手動にて正解位置に修正する。医師は、位置修正が終了すると、操作部３０に対してその旨を示す操作を行う。入力部２６は、この操作に応じて終了トリガ信号を学習・修正部２４に対して出力する。
学習・修正部２４は、この終了トリガ信号に応じて、内視鏡装置１２の現在位置を取得し（図１６のステップＳ１４）、取得した位置が適正位置であるとして適正ラベル（あるいは正解ラベル）を付与する。例えば、学習・修正部２４は、この適正位置に近い位置を出力した予測モデルに対して適正ラベルを付与する。
学習・修正部２４は、予測モデルに対して付与したラベルに基づき、予測モデルの修正を行う（図１６、ステップＳ１５）。例えば、学習・修正部２４は、不適正ラベルが付与された予測モデルに対して罰則となる重みを与え、適正ラベルが付与された予測モデルの重みを上げる。学習・修正部２４は、予測モデルに対して付与したラベルに基づき、新たな予測モデルを生成してもよい。学習・修正部２４は、各予測モデルに付与した重みと、各予測モデルとにより、出力を決定する。
（２－４－３．実施形態に係る医療用撮像システムが適用された場合の手術概要）
次に、実施形態に係る医療用撮像システム１ａが適用された場合の手術の様子について、概略的に説明する。図１７Ａは、既存技術による内視鏡システムを用いた手術の様子を模式的に示す図である。既存技術では、患者７２の手術に際して、実際に術具を用いて手術を行う医師７０と、内視鏡装置を操作する助手（スコピスト）７１とが患者７２の側に付いている必要があった。医師７０は、助手７１が操作する内視鏡装置により撮像される術野画像を表示部３１にて確認しながら手術を行う。
図１７Ｂは、実施形態に係る医療用撮像システム１ａが適用された場合の手術の様子を模式的に示す図である。上述したように、実施形態に係る医療用撮像システム１ａでは、内視鏡装置１２が支持されるアーム部１１を含むロボットアーム装置１０が、学習済モデルに基づき自律動作する。医師７０は、表示部３１に表示される術野画像に不自然、あるいは異常を認めた場合に自律動作を中止させ、手動にて内視鏡装置１２の位置を修正することができる。医療用撮像システム１ａは、修正された位置に基づき学習済モデルを再学習し、再学習した学習済モデルに基づきロボットアーム装置１０の自律動作を再開させる。
そのため、ロボットアーム装置１０のより高精度な自律動作が可能となり、最終的には、図１７Ｂに示されるように、内視鏡装置１２による撮像をロボットアーム装置１０に任せ、医師７０のみが患者７２の側に付く、といった手術が可能となる。これにより、助手７１が不要となり、患者７２の周囲を広く使えることができるようになる。
また、実施形態に係る医療用撮像システム１ａを適用した場合の具体例としては、次のようなものが挙げられる。
具体例（１）：医師が手術式１の最中に内視鏡装置１２の不自然な自律動作を確認、当該医師が自律動作を中止させてその場で軽度な修正を行い、自律動作を再開する。自律動作の再開後の手術では、不自然な自律動作は発生しなかった。
具体例（２）：医師が、術式前のシミュレーション作業中に内視鏡装置１２の不自然な動きを確認、音声で修正後（音声による修正については後述する）、実際の手術時には不自然な動作は起こらなかった。
具体例（３）：医師Ａの手術パターンと医師Ｂの手術パターンは、一般的には異なる。そのため、医師Ａが手術を行う際に、医師Ｂの手術動作に基づき学習された学習済モデル用いてしまった場合、内視鏡装置１２の軌跡が医師Ａが所望する軌跡とは異なったものとなってしまう。このような場合でも、医師Ａの所望する内視鏡装置１２の軌跡に、術中、術前トレーニング中に適応することが可能である。
なお、手術対象が異なる場合、手術パターンが異なり、医師が所望する内視鏡装置１２の軌跡が異なることが考えられる。この場合であっても、学習済モデルにより学習された手術パターンであれば、対応が可能である。これに限らず、手術対象をカテゴライズして、カテゴリ毎に学習済モデルを生成することも可能である。
（２－５．実施形態の変形例）
次に、実施形態の変形例について説明する。上述の実施形態に係る医療用撮像システム１ａでは、入力部２６は、開始トリガ信号および終了トリガ信号を、操作部３０に対する操作に応じて出力するように説明したが、これはこの例に限定されない。実施形態の変形例は、入力部２６が、音声に応じて開始トリガ信号および終了トリガ信号を出力するようにした例である。
図１８は、実施形態に適用可能な、音声によるトリガ信号出力に対応する場合の医療用撮像システムの機能構成の例を示す機能ブロック図である。図１８に示す医療用撮像システム１ｂは、図７で説明した医療用撮像システム１ａに対して、音声入力部３２が追加され、制御部２０ｂは、図７で説明した医療用撮像システム１ａにおける制御部２０ａに対して音声処理・解析部３３が追加されている。
医療用撮像システム１ｂにおいて、音声入力部３２は、例えばマイクロホンであり、音声を収音し、アナログ形式の音声信号を出力する。音声入力部３２から出力された音声信号は、音声処理・解析部３３に入力される。音声処理・解析部３３は、音声入力部３２から入力されたアナログ形式の音声信号をデジタル形式の音声信号に変換し、変換された音声信号に対してノイズ除去、イコライジング処理などの音声処理を施す。音声処理・解析部３３は、音声処理を施された音声信号に対して音声認識処理を施して、音声信号に含まれる所定の発声を抽出する。ここでの音声認識処理としては、例えば隠れマルコフモデル、統計的手法といった既知の手法を適用できる。
音声処理・解析部３３は、音声信号からアーム部１１の自律動作を中止する発声（「やめ」、「中止」など）が抽出された場合、その旨を入力部２６に入力する。入力部２６は、この通知に応じて、開始トリガ信号を出力する。また、音声処理・解析部３３は、音声信号からアーム部１１の自律動作を再開する発声（「はじめ」、「再開」など）が抽出された場合、その旨を入力部２６に入力する。入力部２６は、この通知に応じて、終了トリガ信号を出力する。
音声を用いてトリガ信号を出力することで、例えば医師は、自らの手を術具から離すこと無く、アーム部１１の自律動作の中止、再開を指示することができる。
また、医療用撮像システム１ｂは、音声により、内視鏡装置１２の位置および／または姿勢の修正を実行することができる。例えば、音声処理・解析部３３は、ロボットアーム装置１０の動作モードが手動操作可能モードであり、音声入力部３２から入力された音声信号から、内視鏡装置１２の位置および／または姿勢を修正するための所定のキーワード（「右に」、「少し左に」、「上に」など）が抽出された場合に、当該キーワードにそれぞれ対応する指示信号をアーム制御部２３に渡す。アーム制御部２３は、音声処理・解析部３３から渡された指示信号に応じてアーム部１１の駆動制御を実行する。これにより、医師は、自らの手を術具から離すこと無く、内視鏡装置１２の位置および／または姿勢を修正することができる。
（２－６．実施形態の効果）
次に、実施形態の効果について説明する。先ず、実施形態の効果について、既存技術と対比させて説明する。
上述した特許文献１には、内視鏡の自動動作に関する技術が開示されている。特許文献１の技術によれば、制御パラメータをフィードバックする点において、本開示と関わる部分がある。しかしながら、特許文献１の技術では、制御部が主であり、外部入力として制御入力のみを用いている。そのため、術者の違いや、手術の僅かな違いに反応してしまう可能性がある。また、制御部が主であり、制御部に対するフィードバックが回答となるため、正解データを与えることが難しい。
これに対して、本開示では、医師自身の判断に基づき手動にて内視鏡装置１２の位置および／または姿勢の修正を行っている。そのため、特許文献１のような、手術の僅かな違いに対して反応しても、その場で修正することが可能である。また、医師により、内視鏡装置１２の軌跡の不自然さや異常が判断され、内視鏡装置１２の位置および／または姿勢が修正されるため、正解データを与えることが容易である。
また、特許文献２には、ロボットによる手術のための連続画像の統合に関する技術が開示されている。特許文献２は、画像統合に対する画像ベースのアプローチであり、内視鏡を保持するロボットの自律動作については、開示されておらず、認識と予測を行うためのシステムである。
これに対して、本開示は、内視鏡装置１２を支持するロボットアーム装置１０の自律動作に関するものであり、画像に依存していない。
このように、本開示に係る技術は、特許文献１および特許文献２に開示される技術とは、明確な差異がある。
また、実施形態およびその変形例によれば、内視鏡装置１２の位置および／または姿勢を、ヒューリスティックな位置および／または姿勢ではなく、医師が実際に手術において行っている術具の位置に対応した位置および／または姿勢により与えることができる。
また、実施形態およびその変形例によれば、ある時点での学習済モデルによる制御では不十分な点を、実際に医師が使用している場面で修正することが可能である。また、不適切な出力が繰り返されないように設計することが可能である。
また、実施形態およびその変形例によれば、医師毎に適切な内視鏡装置１２の位置および／または姿勢を、修正部２４１により最適化することが可能である。これにより、複数の医師による手術に対応することが可能である。
また、実施形態およびその変形例によれば、医師自身の判断に基づきロボットアーム装置１０の自律動作を中止させ、手動にて内視鏡装置１２の位置および／または姿勢の修正を行い、修正終了後に、修正を反映した学習済モデルに基づく自律動作を再開している。そのため、実時間で修正が可能であり、医師が内視鏡装置１２の軌跡に違和感を感じた場合に即座に修正を行うことができる。
また、実施形態およびその変形例によれば、自律動作が撮像画像による影響を受けにくいため、術部に対するライティングや内視鏡装置１２における撮像部１２０の影響を抑制できる。
また、実施形態の変形例では、音声による対応が可能とされ、医師は、ロボットアーム装置１０とのスムースなインタラクションを取ることが可能である。
さらに、実施形態およびその変形例では、撮像画像からの術具の位置を推定することも可能であり、術具の位置を計測する処理を省くことができる。
（２－７．本開示の技術の応用例）
上述では、本開示に係る技術が医療用撮像システムに適用されるように説明したが、これはこの例に限定されない。本開示に係る技術は、自律動作を行っているロボットに対するユーザの評価により正解ラベルを与え、撮像画像（ストリーミングによる動画像）を修正する技術と同義であると考えることができる。
したがって、本開示に係る技術は、例えば映画撮影用のカメラワーク、スポーツ観戦用のカメラワークロボットやドローンカメラといった、自律動作により動画撮影を行うシステムに適用可能である。本開示の技術をこのようなシステムに適用することで、例えば、熟練した撮影者あるいは操作者が自身の操作感に合わせて自律動作を逐次的にカスタマイズすることが可能である。
一例として、映画撮影用のカメラワークに対する入出力において、予測モデル（学習モデル）に関しては、次のようになる。
・入力情報：時刻ｔにおけるカメラの撮像画像、グローバル位置、速度、加速度およびズーム量
・出力情報：時刻ｔ＋１におけるカメラの撮像画像、グローバル位置、速度、加速度およびズーム量
修正モデルについては、次のようになる。
・入力情報：修正前および修正後のカメラの撮像画像、グローバル位置、速度、加速度およびズーム量、修正前および修正後それぞれの正解ラベル
・出力情報：各予測器（学習器）と各予測器に付与されたと重み、あるいは、重み付けがなされた予測モデル
また、本開示の技術をスポーツ観戦用のカメラワークロボットに適用する場合、さらに、バスケットボール、サッカーといったスポーツ種目毎の予測モデルを生成することが考えられる。このとき、実際のアクシデントや、そのときのチームの状況などに合わせて予測モデルを逐次的に修正することで、カメラワークを変更可能である。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
なお、本技術は以下のような構成も取ることができる。
（１）
複数のリンクが関節部により連結され、術野画像を撮像する撮像部を支持するアーム部と、
前記術野画像に基づいて前記アーム部の関節部を駆動して前記撮像部の位置および／または姿勢を制御する制御部と、
を備え、
前記制御部は、
前記撮像部の前記位置および／または姿勢に対する操作に基づき前記位置および／または姿勢の軌跡を学習した学習済モデルを生成し、前記学習済モデルを用いて前記撮像部の前記位置および／または姿勢を予測する学習部と、
前記予測に基づき駆動されている前記撮像部の前記位置および／または姿勢に対する、医師による評価結果に基づいて前記軌跡を学習する修正部と、
を含む、
医療用撮像装置。
（２）
医師による指示を入力可能な入力部をさらに備え、
前記修正部は、
前記入力部に入力された前記指示に応じて変更された前記撮像部の前記位置および／または姿勢に基づき前記軌跡を学習する、
前記（１）に記載の医療用撮像装置。
（３）
前記入力部は、操作子に対する操作に応じて前記指示が入力される、
前記（２）に記載の医療用撮像装置。
（４）
前記入力部は、音声に応じて前記指示が入力される、
前記（２）または（３）に記載の医療用撮像装置。
（５）
前記学習部は、
複数の学習器を用いて生成された前記学習済モデルに基づき前記予測を行い、
前記修正部は、
前記複数の学習器それぞれに対して、出力に応じた重み付けを行う、
前記（１）乃至（４）の何れかに記載の医療用撮像装置。
（６）
前記修正部は、
前記出力が適切か不適切かに応じて前記重み付けを行う、
前記（５）に記載の医療用撮像装置。
（７）
前記修正部は、
前記出力の信頼度に応じて前記重み付けを行う、
前記（５）に記載の医療用撮像装置。
（８）
前記出力は、前記撮像部の位置および／または姿勢を含む、
前記（５）乃至（７）の何れかに記載の医療用撮像装置。
（９）
前記出力は、前記撮像部に撮像された前記術野画像を含む、
前記（５）乃至（８）の何れかに記載の医療用撮像装置。
（１０）
前記出力は、前記撮像部の速度を含む、
前記（５）乃至（９）の何れかに記載の医療用撮像装置。
（１１）
前記出力は、前記術野画像のズーム量を含む、
前記（５）乃至（１０）の何れかに記載の医療用撮像装置。
（１２）
医師による指示を入力可能な入力部をさらに備え、
前記修正部は、
前記入力部に入力された前記指示に応じて変更された前記撮像部の前記位置および／または姿勢に基づき前記軌跡を学習し、前記指示のタイミングに応じて前記重み付けを行う、
前記（５）乃至（１１）の何れかに記載の医療用撮像装置。
（１３）
前記評価結果は、
前記評価結果に基づいて前記軌跡を学習する以前のラベルを含む、
前記（１）乃至（１２）の何れかに記載の医療用撮像装置。
（１４）
前記評価結果は、
前記評価結果に基づいて前記軌跡を学習した結果に基づくラベルをさらに含む、
前記（１３）に記載の医療用撮像装置。
（１５）
前記学習部は、
前記撮像部の位置と、前記撮像部の速度と、前記撮像部に撮像された術野画像に基づき抽出される術具の位置と、前記術具の速度と、前記術野画像のズーム量と、を含む入力情報に基づく学習により前記学習済モデルを生成する、
前記（１）乃至（１４）の何れかに記載の医療用撮像装置。
（１６）
前記修正部は、
前記予測からの、手動による前記撮像部の前記位置および／または姿勢の変更が完了した時点の前記入力情報を用いて、前記医師による評価結果に基づいた前記軌跡の学習を行う、
前記（１５）に記載の医療用撮像装置。
（１７）
前記学習部は、前記学習済モデルを医師毎に生成する、
前記（１）乃至（１６）の何れかに記載の医療用撮像装置。
（１８）
前記学習済モデルは、非線形モデルである、
前記（１）乃至（１７）の何れかに記載の医療用撮像装置。
（１９）
複数のリンクが関節部により連結され、術野画像を撮像する撮像部を支持するアーム部と、
前記術野画像に基づいて前記アーム部の関節部を駆動して前記撮像部の位置および／または姿勢を制御する制御部と、を備える医療用撮像装置の学習済モデル生成方法であって、
プロセッサにより実行される、
前記撮像部の前記位置および／または姿勢に対する操作に基づき前記位置および／または姿勢の軌跡を学習した学習済モデルを生成し、前記学習済モデルを用いて前記撮像部の前記位置および／または姿勢を予測する学習工程と、
前記予測に基づき駆動されている前記撮像部の前記位置および／または姿勢に対する、医師による評価結果に基づいて前記軌跡を学習する修正工程と、
を含む、
学習モデル生成方法。
（２０）
複数のリンクが関節部により連結され、術野画像を撮像する撮像部を支持するアーム部と、
前記術野画像に基づいて前記アーム部の関節部を駆動して前記撮像部の位置および／または姿勢を制御する制御部と、を備える医療用撮像装置に搭載されるコンピュータに実行させるための学習済モデル生成プログラムであって、
前記撮像部の位置および／または姿勢に対する操作に基づき前記位置および／または姿勢の軌跡を学習した学習済モデルを生成し、前記学習済モデルを用いて前記撮像部の前記位置および／または姿勢を予測する学習工程と、
前記予測に基づき駆動されている前記撮像部の前記位置および／または姿勢に対する、医師による評価結果に基づいて前記軌跡を学習する修正工程と、
を前記コンピュータに実行させるための学習モデル生成プログラム。
１ａ，１ｂ 医療用撮像システム
１０ ロボットアーム装置
１１ アーム部
１２ 内視鏡装置
１３，５００３ 鏡筒
２０ａ，２０ｂ 制御部
２１ 画像処理部
２２ 撮像制御部
２３ アーム制御部
２４ 学習・修正部
２５ 記憶部
２６ 入力部
３０ 操作部
３１ 表示部
３２ 音声入力部
３３ 音声処理・解析部
６０ 学習モデル
１１１ 関節部
１１１1，１１１11 第１関節部
１１１2，１１１12 第２関節部
１１１3，１１１13 第３関節部
１１１4 第４関節部
１１１ａ 関節駆動部
１１１ｂ 関節状態検出部
１２０ 撮像部
１２１ 光源部
２４０ 学習部
２４１ 修正部
６００1，６００2，６００n 学習器
６０１ 予測器

Claims (20)

  1. 複数のリンクが関節部により連結され、術野画像を撮像する撮像部を支持するアーム部と、
    前記術野画像に基づいて前記アーム部の関節部を駆動して前記撮像部の位置および／または姿勢を制御する制御部と、
    を備え、
    前記制御部は、
    前記撮像部の前記位置および／または姿勢に対する操作に基づき前記位置および／または姿勢の軌跡を学習した学習済モデルを生成し、前記学習済モデルを用いて前記撮像部の前記位置および／または姿勢を予測する学習部と、
    前記予測に基づき駆動されている前記撮像部の前記位置および／または姿勢に対する、医師による評価結果に基づいて前記軌跡を学習する修正部と、
    を含む、
    医療用撮像装置。
  2. 医師による指示を入力可能な入力部をさらに備え、
    前記修正部は、
    前記入力部に入力された前記指示に応じて変更された前記撮像部の前記位置および／または姿勢に基づき前記軌跡を学習する、
    請求項１に記載の医療用撮像装置。
  3. 前記入力部は、操作子に対する操作に応じて前記指示が入力される、
    請求項２に記載の医療用撮像装置。
  4. 前記入力部は、音声に応じて前記指示が入力される、
    請求項２に記載の医療用撮像装置。
  5. 前記学習部は、
    複数の学習器を用いて生成された前記学習済モデルに基づき前記予測を行い、
    前記修正部は、
    前記複数の学習器それぞれに対して、出力に応じた重み付けを行う、
    請求項１に記載の医療用撮像装置。
  6. 前記修正部は、
    前記出力が適切か不適切かに応じて前記重み付けを行う、
    請求項５に記載の医療用撮像装置。
  7. 前記修正部は、
    前記出力の信頼度に応じて前記重み付けを行う、
    請求項５に記載の医療用撮像装置。
  8. 前記出力は、前記撮像部の位置および／または姿勢を含む、
    請求項５に記載の医療用撮像装置。
  9. 前記出力は、前記撮像部に撮像された前記術野画像を含む、
    請求項５に記載の医療用撮像装置。
  10. 前記出力は、前記撮像部の速度を含む、
    請求項５に記載の医療用撮像装置。
  11. 前記出力は、前記術野画像のズーム量を含む、
    請求項５に記載の医療用撮像装置。
  12. 医師による指示を入力可能な入力部をさらに備え、
    前記修正部は、
    前記入力部に入力された前記指示に応じて変更された前記撮像部の前記位置および／または姿勢に基づき前記軌跡を学習し、前記指示のタイミングに応じて前記重み付けを行う、
    請求項５に記載の医療用撮像装置。
  13. 前記評価結果は、
    前記評価結果に基づいて前記軌跡を学習する以前のラベルを含む、
    請求項１に記載の医療用撮像装置。
  14. 前記評価結果は、
    前記評価結果に基づいて前記軌跡を学習した結果に基づくラベルをさらに含む、
    請求項１３に記載の医療用撮像装置。
  15. 前記学習部は、
    前記撮像部の位置と、前記撮像部の速度と、前記撮像部に撮像された術野画像に基づき抽出される術具の位置と、前記術具の速度と、前記術野画像のズーム量と、を含む入力情報に基づく学習により前記学習済モデルを生成する、
    請求項１に記載の医療用撮像装置。
  16. 前記修正部は、
    前記予測からの、手動による前記撮像部の前記位置および／または姿勢の変更が完了した時点の前記入力情報を用いて、前記医師による評価結果に基づいた前記軌跡の学習を行う、
    請求項１５に記載の医療用撮像装置。
  17. 前記学習部は、前記学習済モデルを医師毎に生成する、
    請求項１に記載の医療用撮像装置。
  18. 前記学習済モデルは、非線形モデルである、
    請求項１に記載の医療用撮像装置。
  19. 複数のリンクが関節部により連結され、術野画像を撮像する撮像部を支持するアーム部と、
    前記術野画像に基づいて前記アーム部の関節部を駆動して前記撮像部の位置および／または姿勢を制御する制御部と、を備える医療用撮像装置の学習済モデル生成方法であって、
    プロセッサにより実行される、
    前記撮像部の前記位置および／または姿勢に対する操作に基づき前記位置および／または姿勢の軌跡を学習した学習済モデルを生成し、前記学習済モデルを用いて前記撮像部の前記位置および／または姿勢を予測する学習工程と、
    前記予測に基づき駆動されている前記撮像部の前記位置および／または姿勢に対する、医師による評価結果に基づいて前記軌跡を学習する修正工程と、
    を含む、
    学習モデル生成方法。
  20. 複数のリンクが関節部により連結され、術野画像を撮像する撮像部を支持するアーム部と、
    前記術野画像に基づいて前記アーム部の関節部を駆動して前記撮像部の位置および／または姿勢を制御する制御部と、を備える医療用撮像装置に搭載されるコンピュータに実行させるための学習済モデル生成プログラムであって、
    前記撮像部の位置および／または姿勢に対する操作に基づき前記位置および／または姿勢の軌跡を学習した学習済モデルを生成し、前記学習済モデルを用いて前記撮像部の前記位置および／または姿勢を予測する学習工程と、
    前記予測に基づき駆動されている前記撮像部の前記位置および／または姿勢に対する、医師による評価結果に基づいて前記軌跡を学習する修正工程と、
    を前記コンピュータに実行させるための学習モデル生成プログラム。
JP2020150815A 2020-09-08 2020-09-08 医療用撮像装置、学習モデル生成方法および学習モデル生成プログラム Pending JP2022045236A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020150815A JP2022045236A (ja) 2020-09-08 2020-09-08 医療用撮像装置、学習モデル生成方法および学習モデル生成プログラム
PCT/JP2021/033054 WO2022054847A1 (en) 2020-09-08 2021-09-08 Medical imaging apparatus, learning model generation method, and learning model generation program
CN202180053623.3A CN116096535A (zh) 2020-09-08 2021-09-08 医学成像装置、学习模型生成方法和学习模型生成程序
US17/916,045 US20230142404A1 (en) 2020-09-08 2021-09-08 Medical imaging apparatus, learning model generation method, and learning model generation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020150815A JP2022045236A (ja) 2020-09-08 2020-09-08 医療用撮像装置、学習モデル生成方法および学習モデル生成プログラム

Publications (1)

Publication Number Publication Date
JP2022045236A true JP2022045236A (ja) 2022-03-18

Family

ID=77951782

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020150815A Pending JP2022045236A (ja) 2020-09-08 2020-09-08 医療用撮像装置、学習モデル生成方法および学習モデル生成プログラム

Country Status (4)

Country Link
US (1) US20230142404A1 (ja)
JP (1) JP2022045236A (ja)
CN (1) CN116096535A (ja)
WO (1) WO2022054847A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11612306B2 (en) * 2017-11-01 2023-03-28 Sony Corporation Surgical arm system and surgical arm control system
US11844585B1 (en) * 2023-02-10 2023-12-19 Distalmotion Sa Surgical robotics systems and devices having a sterile restart, and methods thereof

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7164968B2 (en) * 2002-04-05 2007-01-16 The Trustees Of Columbia University In The City Of New York Robotic scrub nurse
CN110325093B (zh) * 2017-02-28 2022-04-08 索尼公司 医疗用臂系统、控制装置与控制方法
KR20180100831A (ko) * 2017-03-02 2018-09-12 한국전자통신연구원 수술로봇 카메라의 시점 제어 방법 및 이를 위한 장치
JP6886869B2 (ja) * 2017-06-09 2021-06-16 川崎重工業株式会社 動作予測システム及び動作予測方法
JP6632095B1 (ja) * 2019-01-16 2020-01-15 株式会社エクサウィザーズ 学習済モデル生成装置、ロボット制御装置、及び、プログラム

Also Published As

Publication number Publication date
WO2022054847A1 (en) 2022-03-17
CN116096535A (zh) 2023-05-09
US20230142404A1 (en) 2023-05-11

Similar Documents

Publication Publication Date Title
JP7003985B2 (ja) 医療用支持アームシステムおよび制御装置
JP7115493B2 (ja) 手術アームシステム及び手術アーム制御システム
WO2020196338A1 (en) Medical arm system, control device, and control method
US20220192777A1 (en) Medical observation system, control device, and control method
US20230017738A1 (en) Method, apparatus and system for controlling an image capture device during surgery
JP7334499B2 (ja) 手術支援システム、制御装置及び制御方法
US20230172438A1 (en) Medical arm control system, medical arm control method, medical arm simulator, medical arm learning model, and associated programs
JP2019162231A (ja) 医療用撮像装置及び医療用観察システム
WO2022054847A1 (en) Medical imaging apparatus, learning model generation method, and learning model generation program
WO2021049438A1 (ja) 医療用支持アーム、及び医療用システム
JPWO2019239942A1 (ja) 手術用観察装置、手術用観察方法、手術用光源装置、及び手術用の光照射方法
WO2021049220A1 (ja) 医療用支持アーム、及び医療用システム
US20220096164A1 (en) Systems and methods for facilitating optimization of an imaging device viewpoint during an operating session of a computer-assisted operation system
WO2021125056A1 (en) Method, apparatus and system for controlling an image capture device during surgery
WO2018043205A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
WO2021044900A1 (ja) 施術システム、画像処理装置、画像処理方法、及びプログラム
CN115916482A (zh) 信息处理装置、程序、学习模型以及学习模型生成方法